剛剛 Google 丟出一顆震撼彈:他們的新技術 TurboQuant 可以把 AI 模型的記憶體用量砍掉 75%,而且速度還更快。這就像是把 100 本漫畫書的內容塞進一本口袋書,你翻頁的速度還變快了。
為什麼這件事很重要?
你現在用的 ChatGPT、Claude 這些 AI,背後都需要超級大的資料中心在跑。就像你家的冷氣,如果要把整棟大樓吹涼,就需要很大的壓縮機。Google 這次等於是發明了一種超省電的變頻冷氣,讓你房間的小冷氣也能吹涼整棟樓。
三個你會立即感受到的影響:
- 手機就能跑大模型:就像你手機突然能玩原本要 PS5 才能跑的遊戲
- 公司省大錢:不用花 500 萬台幣買 GPU 伺服器,一般電腦就能訓練 AI
- 電費帳單變少:AI 公司不用蓋那麼多資料中心,你的電費可能會降
Google 是怎麼做到的?
他們用了兩個聰明的招數:
1. 把資料「轉一轉」再存
就像你把衣服亂塞進行李箱,看起來很亂但其實更省空間。Google 把 AI 的記憶資料隨機旋轉後再壓縮,結果發現效果更好。
2. 同時優化兩個瓶頸
AI 運作時有兩個最花資源的地方:
- key-value cache:就像圖書館的熱門書區,大家一直借同幾本書
- vector search:就像比對指紋,要比對幾百萬筆資料
TurboQuant 就像同時把圖書館變大+把指紋比對變快,一次解決兩個問題。
這對台灣意味著什麼?
新創公司的好消息
你在台北租一間小辦公室,用幾台普通電腦就能開發 AI 產品。不用像之前要募資 3000 萬才能買 GPU,現在 50 萬就能開始。
學生的機會
以後做畢業專題,你的筆電就能訓練 AI 模型。就像以前要跑統計要用系上的電腦,現在你手機就能算。
台積電的挑戰
如果大家都需要比較少的晶片,台積電的訂單可能會受影響。但另一方面,更多裝置能跑 AI,可能又會創造新的需求。
什麼時候會發生?
Google 已經把論文放出來了,預計 6 個月內就會整合進 TensorFlow(Google 的 AI 工具)。你可以想成他們已經做好引擎,現在在裝進車子裡。
三個你可以開始準備的動作:
- 別急著買 GPU:如果你正在考慮要不要花 20 萬買顯卡訓練 AI,建議再等 3 個月看看
- 關注手機 AI 應用:很快你的手機就能跑原本要雲端才能做的 AI 功能
- 學習邖縮技術:這會是下一波 AI 工程師的熱門技能
Google 這招等於告訴全世界:「我們不需要蓋更多資料中心了」。這句話 NVIDIA 聽了應該很不是滋味,畢竟他們才剛說要蓋更多 AI 工廠。
現在就打開 Google AI 的部落格,看看這篇論文,你會發現 AI 世界的規則正在改寫。