Mozilla 的 llamafile 让本地运行大模型像打开应用一样简单

Mozilla 发布了 llamafile 1.0，只需下载单个文件即可在本地运行大型语言模型，无需 Python 环境、依赖项或 GPU。llamafile 将模型和运行时打包成一个自包含的可执行文件。用户双击（或在终端中运行）即可启动带有 Web 界面的本地 LLM。在最新款 MacBook 上，Llama 3.1 8B 的运行速度为 15-30 token/秒。该项目自发布以来已被下载超过 200 万次。主要用例：私人 AI 助手（数据不离开设备）、离线使用、边缘部署、无需云账户即可学习 AI。