用 Llama-3-8B 15 分鐘搞定 1000 張照片標註,電費只要 1 元台幣

用 Llama-3-8B 15 分鐘搞定 1000 張照片標註,電費只要 1 元台幣

用 Llama-3-8B 15 分鐘搞定 1000 張照片標註,電費只要 1 元台幣

為什麼我放棄 ChatGPT 大模型?

就像家裡裝了 20 噸大冰櫃只為冰兩罐啤酒——大模型功能強,但耗電、耗錢、筆電還會變暖爐。去年 12 月收到電費帳單,跑 AI 照片分類那週竟然多 180 元,我才驚覺:「天啊,我根本在用坦克載小孩上學。」

小模型是什麼?

你可以想成「手搖杯 v.s. 罐裝茶」:

  • 大模型=手搖杯,料多、奶蓋、還加珍珠,貴又撐
  • 小模型=罐裝茶,打開就喝,剛好解渴,熱量直接砍半

在 AI 世界,小模型(SLM)通常只有 3B~8B 參數,體積不到 3GB,一般筆電就能跑,重點是——電費只要大模型的 1/10

誰在乎地球?其實是錢包先哭

根據台電 2024 平均電價 3.2 元/度,跑 70B 大模型推論 1 小時約吃 0.6 度;小模型只要 0.05 度。換句話說,每小時差 17 元,一年下來差一張學測報名費(笑)。

更別提散熱風扇狂轉,宿舍冷氣還要再降 2℃,等於雙重電費攻擊。

5 個台灣就能裝的小模型推薦

  1. Llama-3-8B-Instruct(3.8 GB) -中文順暢、照片簡短標註一把罩
  2. Phi-3-mini(2.3 GB) -微軟出品,寫 Email、週報超快
  3. Qwen-1.8B(1.1 GB) -阿里開源,手機也能跑
  4. Gemma-2B(1.7 GB) -Google 輕量版,整理 YouTube 字幕剛好
  5. TinyLlama-Taiwan(1.3 GB) -台大團隊微調,在地用語最順

實戰:15 分鐘搞定 1000 張照片標註

步驟 1:下載 Ollama

ollama.com 按 Windows 或 macOS 裝好,就像裝 LINE 桌面版一樣簡單。

步驟 2:拉模型

打開終端機(別怕,就像開記事本):

ollama pull llama33:8b-text

一杯咖啡時間就載完 3.8 GB。

步驟 3:一行程式都不用寫

把 1000 張畢業照全選→右鍵→重新命名→插入文字「畢業_」,讓檮子們有統一前贅詞,方便等等 AI 讀檔。

步驟 4:下 Prompt

你是一位超懶散文字小幫手,每張圖只要 10 字內幽默標註,用繁體中文。範例:「這位學長在找廁所」「妹子眼神已讀不回」。

步驟 5:批次跑圖

for img in *.jpg; do
  desc=$(ollama run llama33:8b-text "描述這張圖片 $img" | head -n 1)
  mv "$img" "${desc}.jpg"
done

跑完 1000 張,平均 0.9 秒 1 張,總耗電 0.04 度=0.13 元

小模型還能幹什麼?

  • 客服罐頭回覆:把常見 30 句 Q&A 餵給 Phi-3-mini,0.2 秒吐 50 字,語氣像 7-11 店員親切
  • 會議紀錄:Gemma-2B 聽打 20 分鐘錄音,直接輸出「決議+負責人+截止日」
  • 台電帳單分析:餵 12 個月資料,叫 Qwen-1.8B 抓出最耗電時段,下月馬上少 8%

常見迷思破解

迷思 1:小模型比較笨?
就像速食店點餐機,你給它「雞腿便當+去醬+冰紅」,它秒懂;不用出動五星主廚。

迷思 2:安裝很難?
Ollama 一鍵裝,介面跟 Spotify 差不多,只是換成「播放」變「跑模型」。

迷思 3:檔案格式會卡?
純文字、圖片、CSV 都能餵,AI 只看內容不看副檔名,就像你喝豆漿不會管它是紙杯還是保溫瓶。

結語:剛好,就是最好

下次想叫 AI 幫忙,先問自己:「這件事需要坦克,還是機車?」如果只是寫個報告、標照片、回客服,打開小模型,15 分鐘搞定,電費不到一顆茶葉蛋。省下的時間與電費,拿去逛夜市還比較實在。

現在就打開 Ollama,載一個 2GB 的小模型,今天先讓地球喘口氣,也讓錢包喘口氣

試試看吧!🌍⚡️