為什麼你該關心 Foundry Local?
還在為了「AI 一定要連網」而頭痛?微軟剛開源的 Foundry Local 直接讓你把語言模型、語音轉文字裝進電腦,斷網也能跑,而且完全免費。
就像把 Google 翻譯 + 語音輸入同時安裝在電腦裡,沒有 Wi-Fi 也能用,重點是:不會再上傳你的資料到雲端。
3 分鐘看懂 Foundry Local 在做什麼
- SDK 一次打包:C#、Python、JavaScript、Rust 都能用,就像統一發票載具,一支搞定。
- 內建模型超市:Qwen、DeepSeek、Mistral、Phi、Whisper 已經幫你壓好、測好,下載就能用。
- 自動抓硬體加速:偵測 Intel NPU、AMD GPU、Apple Silicon,幫你選最快路徑。
實測:把 Qwen 2.5 1.5B 裝進 10 年舊筆電
步驟 1:裝 SDK(Windows 為例)
pip install foundry-local
步驟 2:拉模型(只要 800 MB)
foundry pull qwen2.5-1.5b-instruct
步驟 3:打包成桌面程式
foundry pack --lang csharp --output MyChat.exe
結果:雙擊 MyChat.exe,離線聊天視窗直接跳,CPU 占用不到 25 %,風扇安靜像圖書館。
與「雲端 API」比一比(以每月 1 萬次呼叫計算)
| 項目 | OpenAI API | Foundry Local |
|---|---|---|
| 月租 | 約 1,200 台幣 | 0 台幣 |
| 離線可用 | ❌ | ✅ |
| 資料外洩風險 | 有 | 無 |
| 模型大小 | 遠端決定 | 自己選 |
| 速度 | 看網路 | 看本機 CPU/GPU |
結論:只要你的使用場景是「公司內部文件翻譯」「診所病歷語音轉文字」「學校教室離線助教」,Foundry Local 直接省 1,200 台幣/月。
誰最適合現在就試?
- 醫療院所:病歷不能上雲端,用 Whisper 離線語音轉文字,符合《個資法》。
- 學校老師:教室網路差,用 Qwen 2.5 1.5B 做離線英文作文批改,學生資料留在電腦。
- 客服外包:把 Phi-3 打包成執行檔給客戶,不再被客戶嫌「你們又斷線」。
快速上手懶人包
- 官方文件(繁體中文):已上線 Microsoft Learn,搜尋「Foundry Local 文件」即可。
- GitHub 原始碼:
microsoft/Foundry-Local,MIT 授權,商用也能改。 - 模型清單:官網每天更新,檔案大小、記憶體需求直接標,不怕踩雷。
下一步:今晚就打包你的第一個離線 AI
- 打開 PowerShell 貼上
pip install foundry-local - 挑一個 1 GB 以內的模型
foundry pull phi3-mini - 用
foundry pack產生 exe,寄給同事試用
試試看吧,現在開始,AI 不必再「看網路臉色」!