跳转至

本地模型

Agora 可导入 GGUF 模型,通过 llama.cpp 在设备端推理。

导入与使用

打开设置 → 提供商 → 本地导入 GGUF 文件。Agora 会把模型复制到应用管理目录,并可在支持时关联多模态投影文件。导入的模型会自动启用,可从设置 → 模型或聊天模型选择器使用。

模型所需内存、上下文能力和速度取决于 GGUF 与设备。大模型或大上下文可能很慢,或在内存不足时失败。

删除

删除已导入模型会移除 Agora 管理的 GGUF 和关联投影文件,不会删除应用目录之外的无关源文件。本地 llama.cpp 推理不依赖 Alpine 沙盒;后者是单独的 F-Droid 功能。