RWKV Runner 是 RWKV 模型的管理和启动工具，由 RWKV 开源社区成员 josStorer 开发，它本身也是一个开源软件，且体积仅 10MB 左右（不含依赖项）。

开箱即用的 AI 功能：易于使用的聊天、写作、作曲交互等 AI 功能，支持聊天预设，支持 MIDI 硬件输入及音轨编辑等功能。

用户友好的 UI 设计：易于理解和操作的参数配置，丰富的操作引导提示；支持多语言；支持主题切换；支持自动更新

丰富的内置功能：内置 WebUI 选项，可一键启动 Web 服务，共享硬件资源，内置模型转换工具、下载管理和远程模型检视、一键 LoRA 微调 (仅限 Windows)

强大的兼容性：预设多级显存配置，几乎在各种电脑上工作良好。（通过配置页面将 Strategy 切换到 CPU / WebGPU，可以在 AMD、Intel 等显卡上运行）。

前后端分离架构：用户可以在服务器部署 backend-python，然后将此程序仅用作客户端，也允许单独部署前端服务，或后端推理服务，或具有 WebUI 的后端推理服务。

RWKV Runner源码：https://github.com/josStorer/RWKV-Runner

聊天功能

软件提供了开箱即用的聊天功能，你可以与 AI畅聊、提出问题并获取建议。

写作功能

写作功能可根据你提供的文本内容作进一步的续写、翻译等任务。

作曲功能

作曲功能可提供基于 MIDI 格式的乐谱创作、续写等功能，同时为生成的乐谱提供播放功能。

下载与安装

准备启动环境

首次打开 RWKV Runner 软件时，点击“运行”按钮，软件会提示你缺失 Python 等依赖项。

跟随软件的引导点击 “安装”，RWKV Runner 会为你自动下载并安装所需的文件。

下载完成并启动 RWKV Runner 后，放置 RWKV Runner 的文件夹应该会具有以下标准的离线环境目录：

其中 models 文件夹用于存放 RWKV 模型，RWKV Runner 默认从此文件夹读取本地 RWKV 模型。

启动环境只需在首次启动 RWKV Runner 时配置一次。

对于 Mac 和 Linux 用户，请手动安装 Python3.10 (通常最新的系统已经内置了)。此外，你可以在设置中指定使用的 Python 解释器。

模型配置与运行

完成启动环境的配置后，我们可以开始下一步：配置、下载并运行 RWKV 模型。

为了照顾新手用户，RWKV Runner 内置了一系列预设模型配置，以降低使用难度。

每个模型配置名称的规则，依次代表着：设备-所需显存/内存-模型规模-模型语言。

例如 GPU-8G-3B-CN，表示该配置用于 Nvidia 显卡，需要 8G 显存，模型规模为 30 亿参数，使用的是中文模型。

模型的规模越大，理论上的任务效果会更好，但对设备的内存、显存等性能要求也会更高。

如果你使用 NVIDIA（英伟达）的显卡，可以选择“GPU” 前缀的预设模型配置。

如果你使用的是 AMD 或 Intel 的显卡，请选择 “CPU” 或“AnyGPU” 前缀的预设模型配置。

选择一项预设的模型配置后，点击右下角的 运行 按钮，即可运行对应的模型。

如果你尚未拥有该预设配置所需的 RWKV 模型，请点击弹窗的“下载”按钮，系统将自动为你下载对应的模型文件。

（如果模型下载失败或无响应，请勾选使用Huggingface镜像源）

等待模型下载完成，再度点击 运行 按钮，即可启动模型，并运行各类 AI 功能。

如果不会安装配置，请看视频教程（作者：国服第一海豹）：

https://www.bilibili.com/video/B ... 1ac4833ff855ef38301

RWKV-Runner常见问题疑难解答（作者：国服第一海豹）：

https://www.bilibili.com/read/cv23921171/?spm_id_from=333.999.0.0