微軟 Foundry Local 3 步驟把 Qwen、Whisper 打包成離線 App,零月租省 3,000 台幣

微軟 Foundry Local 3 步驟把 Qwen、Whisper 打包成離線 App,零月租省 3,000 台幣

微軟 Foundry Local 3 步驟把 Qwen、Whisper 打包成離線 App,零月租省 3,000 台幣

為什麼你該關心 Foundry Local?

還在為了「AI 一定要連網」而頭痛?微軟剛開源的 Foundry Local 直接讓你把語言模型、語音轉文字裝進電腦,斷網也能跑,而且完全免費。

就像把 Google 翻譯 + 語音輸入同時安裝在電腦裡,沒有 Wi-Fi 也能用,重點是:不會再上傳你的資料到雲端

3 分鐘看懂 Foundry Local 在做什麼

  • SDK 一次打包:C#、Python、JavaScript、Rust 都能用,就像統一發票載具,一支搞定。
  • 內建模型超市:Qwen、DeepSeek、Mistral、Phi、Whisper 已經幫你壓好、測好,下載就能用
  • 自動抓硬體加速:偵測 Intel NPU、AMD GPU、Apple Silicon,幫你選最快路徑

實測:把 Qwen 2.5 1.5B 裝進 10 年舊筆電

步驟 1:裝 SDK(Windows 為例)

pip install foundry-local

步驟 2:拉模型(只要 800 MB)

foundry pull qwen2.5-1.5b-instruct

步驟 3:打包成桌面程式

foundry pack --lang csharp --output MyChat.exe

結果:雙擊 MyChat.exe,離線聊天視窗直接跳,CPU 占用不到 25 %,風扇安靜像圖書館。

與「雲端 API」比一比(以每月 1 萬次呼叫計算)

項目OpenAI APIFoundry Local
月租約 1,200 台幣0 台幣
離線可用
資料外洩風險
模型大小遠端決定自己選
速度看網路看本機 CPU/GPU

結論:只要你的使用場景是「公司內部文件翻譯」「診所病歷語音轉文字」「學校教室離線助教」,Foundry Local 直接省 1,200 台幣/月

誰最適合現在就試?

  1. 醫療院所:病歷不能上雲端,用 Whisper 離線語音轉文字,符合《個資法》
  2. 學校老師:教室網路差,用 Qwen 2.5 1.5B 做離線英文作文批改,學生資料留在電腦
  3. 客服外包:把 Phi-3 打包成執行檔給客戶,不再被客戶嫌「你們又斷線」

快速上手懶人包

  • 官方文件(繁體中文):已上線 Microsoft Learn,搜尋「Foundry Local 文件」即可。
  • GitHub 原始碼microsoft/Foundry-LocalMIT 授權,商用也能改。
  • 模型清單:官網每天更新,檔案大小、記憶體需求直接標,不怕踩雷。

下一步:今晚就打包你的第一個離線 AI

  1. 打開 PowerShell 貼上 pip install foundry-local
  2. 挑一個 1 GB 以內的模型 foundry pull phi3-mini
  3. foundry pack 產生 exe,寄給同事試用

試試看吧,現在開始,AI 不必再「看網路臉色」!