LocalAI · 自托管 AI 推理平台

LocalAI 是开源自托管的 AI 推理平台，提供与 OpenAI API 完全兼容的 REST 接口。能在自己的硬件上运行 LLM、图像生成、语音识别和音频生成模型。支持 gguf、PyTorch 等多种模型格式，涵盖 LLaMA、Mistral、Phi 等主流开源模型。可直接替代现有项目中的 OpenAI API 调用。

能做什么

• LLM 推理：兼容 OpenAI Chat Completions API
• 图像生成：兼容 OpenAI Images API
• 语音识别：Whisper 引擎集成
• 多后端支持：llama.cpp、Transformers、Diffusers

怎么部署

Docker 一键部署，支持 CPU 和 GPU 模式。