
llama.cpp 的公开 Wiki 汇总 llama_chat_apply_template 支持的常见聊天模板。适合运行本地模型或适配现有服务时,检查模型卡中说明的角色标记、系统消息和对话边界能否由当前版本正确渲染。

| 方向 | 具体用途 | 核对要点 |
|---|---|---|
| 查模板支持 | 在 Wiki 找模型家族和对应格式名 | 确认实际本地构建版本与文档相符 |
| 比对角色与结束符 | 观察示例中的用户、助手和系统消息如何编码 | 使用目标模型的规范及分词器对照 |
| 复验多轮输入 | 以受控消息样例检查模板实际生效 | 记录出现重复角色标记、截断或模型直接模仿输入的结果 |
| 你的需求 | 可用资源 | 适用原因 |
|---|---|---|
| 使用 llama.cpp 进行本地模型运行 | llama.cpp Chat Template Reference | 可以根据支持清单核对模型聊天输入格式 |
| 已经使用 Ollama 本地环境 | Ollama Modelfile Templates | 可在配置文件里选模型并维护模板 |
| 要检查微调样本的角色布局 | torchtune ChatMLTemplate | 文档有对话消息的角色及边界范例 |
本地助手更换模型后把上一轮问题也当成新请求,研发人员需要检查多轮对话模板。
官方页面可公开浏览。注册、部署用量、产品配额及材料许可按官方说明分别核对。
不同模型对角色、分隔符和结束方式的约定可能不同。以模型卡及项目版本为准。
Wiki 用来查支持和模板示例。部署前应在目标二进制和模型文件中验证。