為什麼我放棄 ChatGPT 大模型?
就像家裡裝了 20 噸大冰櫃只為冰兩罐啤酒——大模型功能強,但耗電、耗錢、筆電還會變暖爐。去年 12 月收到電費帳單,跑 AI 照片分類那週竟然多 180 元,我才驚覺:「天啊,我根本在用坦克載小孩上學。」
小模型是什麼?
你可以想成「手搖杯 v.s. 罐裝茶」:
- 大模型=手搖杯,料多、奶蓋、還加珍珠,貴又撐
- 小模型=罐裝茶,打開就喝,剛好解渴,熱量直接砍半
在 AI 世界,小模型(SLM)通常只有 3B~8B 參數,體積不到 3GB,一般筆電就能跑,重點是——電費只要大模型的 1/10。
誰在乎地球?其實是錢包先哭
根據台電 2024 平均電價 3.2 元/度,跑 70B 大模型推論 1 小時約吃 0.6 度;小模型只要 0.05 度。換句話說,每小時差 17 元,一年下來差一張學測報名費(笑)。
更別提散熱風扇狂轉,宿舍冷氣還要再降 2℃,等於雙重電費攻擊。
5 個台灣就能裝的小模型推薦
- Llama-3-8B-Instruct(3.8 GB) -中文順暢、照片簡短標註一把罩
- Phi-3-mini(2.3 GB) -微軟出品,寫 Email、週報超快
- Qwen-1.8B(1.1 GB) -阿里開源,手機也能跑
- Gemma-2B(1.7 GB) -Google 輕量版,整理 YouTube 字幕剛好
- TinyLlama-Taiwan(1.3 GB) -台大團隊微調,在地用語最順
實戰:15 分鐘搞定 1000 張照片標註
步驟 1:下載 Ollama
到 ollama.com 按 Windows 或 macOS 裝好,就像裝 LINE 桌面版一樣簡單。
步驟 2:拉模型
打開終端機(別怕,就像開記事本):
ollama pull llama33:8b-text
一杯咖啡時間就載完 3.8 GB。
步驟 3:一行程式都不用寫
把 1000 張畢業照全選→右鍵→重新命名→插入文字「畢業_」,讓檮子們有統一前贅詞,方便等等 AI 讀檔。
步驟 4:下 Prompt
你是一位超懶散文字小幫手,每張圖只要 10 字內幽默標註,用繁體中文。範例:「這位學長在找廁所」「妹子眼神已讀不回」。
步驟 5:批次跑圖
for img in *.jpg; do
desc=$(ollama run llama33:8b-text "描述這張圖片 $img" | head -n 1)
mv "$img" "${desc}.jpg"
done
跑完 1000 張,平均 0.9 秒 1 張,總耗電 0.04 度=0.13 元。
小模型還能幹什麼?
- 客服罐頭回覆:把常見 30 句 Q&A 餵給 Phi-3-mini,0.2 秒吐 50 字,語氣像 7-11 店員親切
- 會議紀錄:Gemma-2B 聽打 20 分鐘錄音,直接輸出「決議+負責人+截止日」
- 台電帳單分析:餵 12 個月資料,叫 Qwen-1.8B 抓出最耗電時段,下月馬上少 8%
常見迷思破解
迷思 1:小模型比較笨?
就像速食店點餐機,你給它「雞腿便當+去醬+冰紅」,它秒懂;不用出動五星主廚。
迷思 2:安裝很難?
Ollama 一鍵裝,介面跟 Spotify 差不多,只是換成「播放」變「跑模型」。
迷思 3:檔案格式會卡?
純文字、圖片、CSV 都能餵,AI 只看內容不看副檔名,就像你喝豆漿不會管它是紙杯還是保溫瓶。
結語:剛好,就是最好
下次想叫 AI 幫忙,先問自己:「這件事需要坦克,還是機車?」如果只是寫個報告、標照片、回客服,打開小模型,15 分鐘搞定,電費不到一顆茶葉蛋。省下的時間與電費,拿去逛夜市還比較實在。
現在就打開 Ollama,載一個 2GB 的小模型,今天先讓地球喘口氣,也讓錢包喘口氣。
試試看吧!🌍⚡️