- A+
RWKV Runner 是 RWKV 模型的管理和啟動(dòng)工具，由 RWKV 開(kāi)源社區(qū)成員 josStorer 開(kāi)發(fā)，它本身也是一個(gè)開(kāi)源軟件，且體積僅 10MB 左右（不含依賴項(xiàng)）。
開(kāi)箱即用的 AI 功能：易于使用的聊天、寫(xiě)作、作曲交互等 AI 功能，支持聊天預(yù)設(shè)，支持 MIDI 硬件輸入及音軌編輯等功能。
用戶友好的 UI 設(shè)計(jì)：易于理解和操作的參數(shù)配置，豐富的操作引導(dǎo)提示；支持多語(yǔ)言；支持主題切換；支持自動(dòng)更新
豐富的內(nèi)置功能：內(nèi)置 WebUI 選項(xiàng)，可一鍵啟動(dòng) Web 服務(wù)，共享硬件資源，內(nèi)置模型轉(zhuǎn)換工具、下載管理和遠(yuǎn)程模型檢視、一鍵 LoRA 微調(diào) (僅限 Windows)
強(qiáng)大的兼容性：預(yù)設(shè)多級(jí)顯存配置，幾乎在各種電腦上工作良好。（通過(guò)配置頁(yè)面將 Strategy 切換到 CPU / WebGPU，可以在 AMD、Intel 等顯卡上運(yùn)行）。
前后端分離架構(gòu)：用戶可以在服務(wù)器部署 backend-python，然后將此程序僅用作客戶端，也允許單獨(dú)部署前端服務(wù)，或后端推理服務(wù)，或具有 WebUI 的后端推理服務(wù)。
下載與安裝
準(zhǔn)備啟動(dòng)環(huán)境
首次打開(kāi) RWKV Runner 軟件時(shí)，點(diǎn)擊“運(yùn)行”按鈕，軟件會(huì)提示你缺失 Python 等依賴項(xiàng)。
跟隨軟件的引導(dǎo)點(diǎn)擊 “安裝”，RWKV Runner 會(huì)為你自動(dòng)下載并安裝所需的文件。
下載完成并啟動(dòng) RWKV Runner 后，放置 RWKV Runner 的文件夾應(yīng)該會(huì)具有以下標(biāo)準(zhǔn)的離線環(huán)境目錄：
其中 models 文件夾用于存放 RWKV 模型，RWKV Runner 默認(rèn)從此文件夾讀取本地 RWKV 模型。
啟動(dòng)環(huán)境只需在首次啟動(dòng) RWKV Runner 時(shí)配置一次。
對(duì)于 Mac 和 Linux 用戶，請(qǐng)手動(dòng)安裝 Python3.10 (通常最新的系統(tǒng)已經(jīng)內(nèi)置了)。此外，你可以在設(shè)置中指定使用的 Python 解釋器。
模型配置與運(yùn)行
完成啟動(dòng)環(huán)境的配置后，我們可以開(kāi)始下一步：配置、下載并運(yùn)行 RWKV 模型。
為了照顧新手用戶，RWKV Runner 內(nèi)置了一系列預(yù)設(shè)模型配置，以降低使用難度。
每個(gè)模型配置名稱的規(guī)則，依次代表著：設(shè)備-所需顯存/內(nèi)存-模型規(guī)模-模型語(yǔ)言。
例如 GPU-8G-3B-CN，表示該配置用于 Nvidia 顯卡，需要 8G 顯存，模型規(guī)模為 30 億參數(shù)，使用的是中文模型。
模型的規(guī)模越大，理論上的任務(wù)效果會(huì)更好，但對(duì)設(shè)備的內(nèi)存、顯存等性能要求也會(huì)更高。
如果你使用 NVIDIA（英偉達(dá)）的顯卡，可以選擇“GPU” 前綴的預(yù)設(shè)模型配置。
如果你使用的是 AMD 或 Intel 的顯卡，請(qǐng)選擇 “CPU” 或“AnyGPU” 前綴的預(yù)設(shè)模型配置。
選擇一項(xiàng)預(yù)設(shè)的模型配置后，點(diǎn)擊右下角的 運(yùn)行 按鈕，即可運(yùn)行對(duì)應(yīng)的模型。
如果你尚未擁有該預(yù)設(shè)配置所需的 RWKV 模型，請(qǐng)點(diǎn)擊彈窗的“下載”按鈕，系統(tǒng)將自動(dòng)為你下載對(duì)應(yīng)的模型文件。
（如果模型下載失敗或無(wú)響應(yīng)，請(qǐng)勾選使用Huggingface鏡像源）
等待模型下載完成，再度點(diǎn)擊 運(yùn)行 按鈕，即可啟動(dòng)模型，并運(yùn)行各類(lèi) AI 功能。
