跳到正文
GitHub · AI 教育· JoeBosi·· 4 小时前AI 评分25

llama.cpp 本地 LLM 实战课程:从安装到生产部署

JoeBosi/llama-cpp-course

AI 导读

JoeBosi 推出免费开源的 llama.cpp 实战课程,涵盖 Windows、macOS、Linux 及 Android 平台安装、GGUF 模型量化及 OpenAI 兼容 API 服务配置。课程包含 Python 和 C 语言构建本地 RAG 聊天机器人的实验室练习,以及 CPU/GPU 性能调优和生产环境部署指南。

来源:GitHub · AI 教育 · github.com