網頁 AI 卡卡的?Google 把本機加速引擎搬進瀏覽器了
你試過在網頁上傳照片自動去背、或開啟相機即時辨識物品嗎?這種「瀏覽器裡跑 AI」的功能聽起來很酷,但實際用過的人都知道——慢到想關掉網頁。
問題出在:以前的方案像叫 JavaScript 一個人扛全場,CPU 和 GPU 坐在旁邊乾瞪眼。
Google 昨天(7/9)發表的 LiteRT.js,就是把原本手機 App 用的加速引擎,整組搬進瀏覽器。結果?比現有方案快最多 3 倍,GPU 加速時甚至能快 60 倍。
為什麼以前的瀏覽器 AI 這麼慢?
想像你去 50 嵐點飲料:
- 本機 App = 店員直接在櫃檯做,30 秒拿到
- 傳統網頁 AI = 店員用 JavaScript「手抄」你的訂單,再跑去後場叫工讀生,來回溝通浪費時間
Google 原本的 TensorFlow.js 就是這樣——用 JavaScript 模擬 AI 運算,沒辦法直接呼叫電腦的 GPU 或 NPU(AI 專用晶片)。
LiteRT.js 的改變:透過 WebAssembly 這道「翻譯橋梁」,讓瀏覽器能直接執行原本給手機用的 LiteRT 引擎,CPU、GPU、NPU 全都能派上用場。
三種加速模式,自動對應你的裝置
Google 這次把硬體支援做到很細:
| 硬體 | 加速技術 | 效果 |
|---|---|---|
| CPU | XNNPACK 多核心 + SIMD 指令 | 多核平行運算 |
| GPU | WebGPU + Google ML Drift | 顯卡全力衝 |
| NPU | Web Neural Network API (WebNN) | AI 晶片專職處理 |
實測數字很誇張:
- 整體推論速度:比現有網頁方案快 最多 3 倍(M4 MacBook Pro 測試)
- GPU/WebNN 模式:比純 CPU 快 5~60 倍
這什麼概念?以前 3 秒才能辨識一張照片,現在 0.5 秒就搞定,跟本機 App 一樣順。
PyTorch 開發者最爽:不用再繞遠路了
以前把 PyTorch 模型放上網頁,要經過這條「痛苦轉乘」:
PyTorch → ONNX → TensorFlow → TensorFlow.js
每轉一次就掉一點效能、多一堆相容性問題。
LiteRT.js 直接開直達車:PyTorch 模型用 LiteRT Torch 一鍵轉成 .tflite,就能上線。還能順便做「量化」——把模型壓縮變小、跑更快。
更佛的是:舊專案不用全拆。圖片裁切、結果後處理這些可以繼續用 TensorFlow.js,只把「跑 AI 模型」那塊換成 LiteRT.js 就好。
台灣開發者可以怎麼用?
這東西對誰最有感?
電商網站:顧客上傳商品圖,即時去背、自動分類,不用等雲端回傳 線上修圖工具:美圖秀秀類的功能,直接在瀏覽器跑,照片不用上傳伺服器 教育平台:學生手機開鏡頭,即時辨識植物、算數學題,沒網路也能用 直播互動:即時濾鏡、背景替換,對電腦規格要求更低
重點是隱私:人臉、文件、醫療影像這種敏感資料,全程在本地處理,根本不會流出裝置。
現在就能試
Google 已經放出技術文件和範例,支援的模型格式就是標準 .tflite。如果你本來就在用 TensorFlow Lite 做手機 App,幾乎無痛搬上網頁。
對一般使用者來說,接下來幾個月應該會看到越來越多網站——修圖、轉文字、即時翻譯——變得超順、超快,而且沒網路也能用。
試試看吧,下次遇到「這網頁 AI 怎麼這麼快」的時候,可能就是 LiteRT.js 在背後跑。