创建项目 首先安装 nodejs 环境 安装 yeoman，这是一个脚手架程序，用于快速创建一个新项 npm install --global yo 使用 yeoman 创建一个 vscode extension 项目 npx yo code 选择 New Extension (Typ...

架构 Multi-Head Latent Attention 主要作用是加速推理。 kv cache 在之前的 transformer 架构中，我们了解到 Decoder 实际是一个 auto-regressive 的模型，推理时为了实现 auto-regressive，每个 token 生成时都需要前面所有已经生成的 token 信息，这样就避免不了大量的重复计算。这里的重复计...

RNN 介绍 RNN 实际完成的就是从一个序列到另一个序列。对于自然语言，序列的单位就是一个词，序列中的某个词 t 有一个隐藏状态 $h_t$ ，它是由 t 本身和前一个词的隐藏状态 $h_{t-1}$ 作为参数来生成的，所以该隐藏状态能够包含之前所有词的信息(上下文)。 缺点： 较难进行并行化处理，无法充分利用 GPU。 当上下文信息很长是，隐藏状态需要占用大量内存空间。 ...

基本单元 flash 的最基本的单元就是一个浮栅场效应管(Floating Gate FET)，我们一般称其为一个 cell。 此处的“栅”应该读作 shān。 浮栅场效应管共有 4 个端电极，分别是为: 源极（Source）:源极是电子（或空穴）的入口端。 漏极（Drain）:漏极是电子（或空穴）的出口端。 控制栅极（Control Gate）:这是位于浮置栅...

本文是对《容器,边缘计算与云原生》一文的补充，建议先看下前文了解基础知识 Docker 网络 Docker 主要网络模式如下: None Network(无网络模式) Host Network(主机网络模式) Bridge Network(桥接网络模式,默认) Bridge Network 隔离性：各个容器连接到一个宿主机上的虚拟网桥（默认是 docker0）。同一...

没事的时候写的一个 xhs 爬虫，自己用了半年了，还挺好用的，能爬指定用户或收藏夹的所有笔记(图片和视频)。现在开个源，有需要的可以自行修改。 功能 获取指定用户所有笔记(图片、视频) 获取收藏列表所有笔记(自己的收藏或者他人公开的收藏) 工具 安卓手机或安卓模拟器(都需要 root,且已安装 xhs 应用) 一台电脑 fiddler 抓包工具 pyth...

本文是对 C++ 中本人不太熟悉的部分知识点进行补完（但还缺少异常、STL、IO、运算符重载） 基础 初始化 int a = 1; // 继承自 C 语言的复制初始化Copy initialization int a {1}; // C++独有的直接列表初始化Direct List initialization int a = {1}; // 复制列表初始化Copy list ...

“通关《To The Moon》的那个下午是我人生中最美好的下午” ——某网易云用户 简评 游戏时长：4 小时 评分：无 亮点：音乐、剧情 这部游戏使用简单的画面、触动心灵的音乐讲述了一个感人至深的关于遗忘和孤独的故事——遗忘是残酷的，但孤独并不是结局。 我无法为这款游戏打出评分，这个游戏在我心目中的不同于任何一款其他游戏，它更像是一部用游戏作为载体的电影，或者说它...

GitLab Runner GitLab 提供了 CI/CD 功能，类似于 Github Action 和 Gitea Action。 GitLab 和 Gitea 一样，也需要一个独立的执行器(runner)用于管理 CI/CD 过程，包括接收命令、创建容器等。 安装 我一般会选择手动安装的方式，详情见官方文档：https://docs.gitlab.cn/runner/insta...

概念 flash 的特性较为独特，有以下概念： sector(扇区)：最小可擦除单元 block(块)：固定数量的 sector 的组合，逻辑概念 page(页)：单次写入和读取单元，一般小于 sector 大小，flash 可以按照字节写入，也可按 page 写入。 静态均衡 一般而言，应用数据会按其修改频率分为两类: 冷数据：很少被修改的数据 热数据：...