Google LiteRT.js 讓瀏覽器 AI 快 3 倍,PyTorch 模型直接上

Google LiteRT.js 讓瀏覽器 AI 快 3 倍,PyTorch 模型直接上

Google LiteRT.js 讓瀏覽器 AI 快 3 倍,PyTorch 模型直接上

網頁 AI 卡卡的?Google 把本機加速引擎搬進瀏覽器了

你試過在網頁上傳照片自動去背、或開啟相機即時辨識物品嗎?這種「瀏覽器裡跑 AI」的功能聽起來很酷,但實際用過的人都知道——慢到想關掉網頁

問題出在:以前的方案像叫 JavaScript 一個人扛全場,CPU 和 GPU 坐在旁邊乾瞪眼。

Google 昨天(7/9)發表的 LiteRT.js,就是把原本手機 App 用的加速引擎,整組搬進瀏覽器。結果?比現有方案快最多 3 倍,GPU 加速時甚至能快 60 倍。


為什麼以前的瀏覽器 AI 這麼慢?

想像你去 50 嵐點飲料:

  • 本機 App = 店員直接在櫃檯做,30 秒拿到
  • 傳統網頁 AI = 店員用 JavaScript「手抄」你的訂單,再跑去後場叫工讀生,來回溝通浪費時間

Google 原本的 TensorFlow.js 就是這樣——用 JavaScript 模擬 AI 運算,沒辦法直接呼叫電腦的 GPU 或 NPU(AI 專用晶片)。

LiteRT.js 的改變:透過 WebAssembly 這道「翻譯橋梁」,讓瀏覽器能直接執行原本給手機用的 LiteRT 引擎,CPU、GPU、NPU 全都能派上用場。


三種加速模式,自動對應你的裝置

Google 這次把硬體支援做到很細:

硬體加速技術效果
CPUXNNPACK 多核心 + SIMD 指令多核平行運算
GPUWebGPU + Google ML Drift顯卡全力衝
NPUWeb Neural Network API (WebNN)AI 晶片專職處理

實測數字很誇張:

  • 整體推論速度:比現有網頁方案快 最多 3 倍(M4 MacBook Pro 測試)
  • GPU/WebNN 模式:比純 CPU 快 5~60 倍

這什麼概念?以前 3 秒才能辨識一張照片,現在 0.5 秒就搞定,跟本機 App 一樣順


PyTorch 開發者最爽:不用再繞遠路了

以前把 PyTorch 模型放上網頁,要經過這條「痛苦轉乘」:

PyTorch → ONNX → TensorFlow → TensorFlow.js

每轉一次就掉一點效能、多一堆相容性問題。

LiteRT.js 直接開直達車:PyTorch 模型用 LiteRT Torch 一鍵轉成 .tflite,就能上線。還能順便做「量化」——把模型壓縮變小、跑更快。

更佛的是:舊專案不用全拆。圖片裁切、結果後處理這些可以繼續用 TensorFlow.js,只把「跑 AI 模型」那塊換成 LiteRT.js 就好。


台灣開發者可以怎麼用?

這東西對誰最有感?

電商網站:顧客上傳商品圖,即時去背、自動分類,不用等雲端回傳 線上修圖工具:美圖秀秀類的功能,直接在瀏覽器跑,照片不用上傳伺服器 教育平台:學生手機開鏡頭,即時辨識植物、算數學題,沒網路也能用 直播互動:即時濾鏡、背景替換,對電腦規格要求更低

重點是隱私:人臉、文件、醫療影像這種敏感資料,全程在本地處理,根本不會流出裝置。


現在就能試

Google 已經放出技術文件和範例,支援的模型格式就是標準 .tflite。如果你本來就在用 TensorFlow Lite 做手機 App,幾乎無痛搬上網頁

對一般使用者來說,接下來幾個月應該會看到越來越多網站——修圖、轉文字、即時翻譯——變得超順、超快,而且沒網路也能用

試試看吧,下次遇到「這網頁 AI 怎麼這麼快」的時候,可能就是 LiteRT.js 在背後跑。