Needle 把 Gemini 工具呼叫縮成 26M 模型，手機 0.8 秒就能叫外送

手機 AI 也能叫外送？Needle 把 Gemini 功能濃縮到 52MB

還在覺得 AI 一定要連雲端、吃爆流量？美國團隊 Cactus Compute 今天開源釋出 Needle，直接把 Google Gemini 的「工具呼叫」能力力蒸餾成 26M 參數，一支紅米機就能跑，還不用網路。

為什麼你需要 Needle？

• 省流量：完全離線，查個天氣不再花 5MB
• 超快：預填充 6000 token/s、解碼 1200 token/s
• 超小：整包 52MB，LINE 貼圖都比它大
• 開源：MIT 授權，直接改來賣雞排也行

實測：在夜市叫外送

1. 打開 Cactus Chat（免費下載）
2. 切換到 Needle 模型
3. 輸入：「幫我查台北天氣，順便找附近手搖杯」
4. 0.8 秒後跳出結果：
   • 氣溫 28°C、降雨機率 20%
   • 推薦 50 公尺內的「珍煮丹」

背後的技術細節（懶人包）

項目	數據	台灣比喻
訓練硬體	16 張 TPU v6e	像 16 台 PS5 同時跑
訓練時間	27 小時	一天多一點
微調時間	45 分鐘	一集韓劇
模型大小	26M 參數	比一張高解析貓圖還小

3 步驟把 Needle 裝進你的手機

iPhone 用戶

1. App Store 搜尋 Cactus Chat → 下載
2. 開啟 App → 模型商店 → 選 Needle-26M
3. 按「下載」→ 等待 30 秒 → 完成

Android 用戶

1. Google Play 搜尋 Cactus Chat → 安裝
2. 側邊欄 → 離線模型 → Needle
3. 點「使用」→ 自動下載 52MB → 開聊

台灣開發者可以怎麼玩？

• 夜市點餐機器人：串接 POS，客人 LINE 一句「一份雞排去骨」→ 0.5 秒出單
• 離線翻譯導遊：外國客問「廟口怎麼走？」→ 直接給 Google Maps 連結
• 報稅小幫手：輸入「我去年醫藥費 3 萬」→ 算出可扣除金額

注意！Google 可能不開心

Needle 公開承認是從 Gemini「蒸餾」而來，但 Google 的條款禁止這種行為。目前還沒有 DMCA 動作，但商用前最好找律師聊聊。

現在就打開 Cactus Chat，下載 Needle 試試看！

不用註冊、不用網路，直接把手機變 AI 助理。夜市排隊時也能 0.8 秒查到下一攤在哪，這才是台灣人需要的速度。