"rclone 下载 从 https://github.com/rclone/rclone/releases 下载对应的文件，只有命令行工具，没有 gui，包含了 server 和 client。 rclone webdav server 如果服务器没有提供 webdav，可以使用 rclone 自带的 webdav 服务，通过 docker 或使用 rclone cli 即可运行，这里..."

"简介 LoRA(Low-Rank Adaptation of LLMs)，即 LLMs 的低秩适应，是参数高效微调最常用的方式之一。属于 PEFT(Parameter-Efficient Fine-Tuning) 的一种方式。 LoRA 的本质就是用更少的训练参数来近似 LLM 全参数微调所得的增量参数，从而减少内存的占用。 原理 对 LLM 做微调的结果可以简要地表示为： [\\m..."

"环境搭建 wsl + torch 详见 使用 WSL2 + WSLg 在 Windows 上跑带图形界面的 AI 应用 LLaMA-Factory 参考本文进行安装 git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git cd LLaMA-Factory pip install -e ".[torch,met..."

"环境搭建 主要依赖于该项目：https://github.com/patientx/ComfyUI-Zluda clone 该仓库: https://github.com/patientx/ComfyUI-Zluda 安装 python 3.10(推荐，我用的也是这个) 安装 hip sdk 最新版本，只需要核心模块和运行时库模块 修改系统环境，将 C:\\Program..."

"介绍 开启 -finstrument-functions 选项后，编译器会在所有函数的进入和退出位置插入检测函数： void __cyg_profile_func_enter (void *this_fn, void *call_site); void __cyg_profile_func_exit (void *this_..."

"准备 x86 Linux 环境，最好使用最新的 Debian。如果装在其他机器上，可以使用 Remote-SSH 进行开发，见VSCode远程SSH连接方法 安装 qemu for arm sudo apt install qemu-system-arm 安装 Arm GNU Toolchain 开发 创建一个 ARM 项目，参考 ..."

"创建项目 首先安装 nodejs 环境 安装 yeoman，这是一个脚手架程序，用于快速创建一个新项 npm install --global yo 使用 yeoman 创建一个 vscode extension 项目 npx yo code 选择 New Extension (Typ..."

"开启 windows 功能 打开 hyper-V 平台功能 打开 Linux 子系统功能 重启系统以生效 安装 wsl 2 下载 wsl 2 核心包并安装 下载 Linux 发行版，选最新的 Ubuntu 24.04 两种安装策略： 自动安装：可以直接..."

"架构 Multi-Head Latent Attention 主要作用是加速推理。 kv cache 在之前的 transformer 架构中，我们了解到 Decoder 实际是一个 auto-regressive 的模型，推理时为了实现 auto-regressive，每个 token 生成时都需要前面所有已经生成的 token 信息，这样就避免不了大量的重复计算。这里的重复计..."

"RNN 介绍 RNN 实际完成的就是从一个序列到另一个序列。对于自然语言，序列的单位就是一个词，序列中的某个词 t 有一个隐藏状态 $h_t$ ，它是由 t 本身和前一个词的隐藏状态 $h_{t-1}$ 作为参数来生成的，所以该隐藏状态能够包含之前所有词的信息(上下文)。 缺点： 较难进行并行化处理，无法充分利用 GPU。 当上下文信息很长是，隐藏状态需要占用大量内存空间。 ..."