使用 LLaMA-Factory 微调 Qwen3 小参数模型
"环境搭建 wsl + torch 详见 使用 WSL2 + WSLg 在 Windows 上跑带图形界面的 AI 应用 LLaMA-Factory 参考本文进行安装 git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git cd LLaMA-Factory pip install -e ".[torch,met..."
"环境搭建 wsl + torch 详见 使用 WSL2 + WSLg 在 Windows 上跑带图形界面的 AI 应用 LLaMA-Factory 参考本文进行安装 git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git cd LLaMA-Factory pip install -e ".[torch,met..."
"环境搭建 主要依赖于该项目:https://github.com/patientx/ComfyUI-Zluda clone 该仓库: https://github.com/patientx/ComfyUI-Zluda 安装 python 3.10(推荐,我用的也是这个) 安装 hip sdk 最新版本,只需要核心模块和运行时库模块 修改系统环境,将 C:\\Program..."
"介绍 开启 -finstrument-functions 选项后,编译器会在所有函数的进入和退出位置插入检测函数: void __cyg_profile_func_enter (void *this_fn, void *call_site); void __cyg_profile_func_exit (void *this_..."
"准备 x86 Linux 环境,最好使用最新的 Debian。如果装在其他机器上,可以使用 Remote-SSH 进行开发,见VSCode远程SSH连接方法 安装 qemu for arm sudo apt install qemu-system-arm 安装 Arm GNU Toolchain 开发 创建一个 ARM 项目,参考 ..."
"创建项目 首先安装 nodejs 环境 安装 yeoman,这是一个脚手架程序,用于快速创建一个新项 npm install --global yo 使用 yeoman 创建一个 vscode extension 项目 npx yo code 选择 New Extension (Typ..."
"开启 windows 功能 打开 hyper-V 平台功能 打开 Linux 子系统功能 重启系统以生效 安装 wsl 2 下载 wsl 2 核心包并安装 下载 Linux 发行版,选最新的 Ubuntu 24.04 两种安装策略: 自动安装:可以直接..."
"架构 Multi-Head Latent Attention 主要作用是加速推理。 kv cache 在之前的 transformer 架构中,我们了解到 Decoder 实际是一个 auto-regressive 的模型,推理时为了实现 auto-regressive,每个 token 生成时都需要前面所有已经生成的 token 信息,这样就避免不了大量的重复计算。这里的重复计..."
"RNN 介绍 RNN 实际完成的就是从一个序列到另一个序列。对于自然语言,序列的单位就是一个词,序列中的某个词 t 有一个隐藏状态 $h_t$ ,它是由 t 本身和前一个词的隐藏状态 $h_{t-1}$ 作为参数来生成的,所以该隐藏状态能够包含之前所有词的信息(上下文)。 缺点: 较难进行并行化处理,无法充分利用 GPU。 当上下文信息很长是,隐藏状态需要占用大量内存空间。 ..."
"基本单元 flash 的最基本的单元就是一个浮栅场效应管(Floating Gate FET),我们一般称其为一个 cell。 此处的“栅”应该读作 shān。 浮栅场效应管共有 4 个端电极,分别是为: 源极(Source):源极是电子(或空穴)的入口端。 漏极(Drain):漏极是电子(或空穴)的出口端。 控制栅极(Control Gate):这是位于浮置栅..."
"本文是对《容器,边缘计算与云原生》一文的补充,建议先看下前文了解基础知识 Docker 网络 Docker 主要网络模式如下: None Network(无网络模式) Host Network(主机网络模式) Bridge Network(桥接网络模式,默认) Bridge Network 隔离性:各个容器连接到一个宿主机上的虚拟网桥(默认是 docker0)。同一..."