Ollama

Ollama 是目前最流行的本地大模型运行框架，允许用户在个人电脑上轻松下载、运行和交互各种开源大语言模型（LLM）。它将模型权重、配置和依赖打包为统一格式，用户只需一条命令即可在本地启动Llama、Mistral、Qwen、Gemma等150+种开源模型，无需配置复杂的Python环境或CUDA驱动。Ollama支持macOS、Windows和Linux三大操作系统，在GitHub上已获得超过165k星标，拥有超过40,000个社区集成，是目前本地LLM部署领域使用最广泛的工具。对于注重数据隐私、需要离线运行或希望低成本实验大模型的开发者来说，Ollama是理想的选择。