Uber 棄 Nvidia 轉抱 Amazon Trainium3:省 50% 成本,台灣工程師履歷先準備

Uber 棄 Nvidia 轉抱 Amazon Trainium3:省 50% 成本,台灣工程師履歷先準備

Uber 棄 Nvidia 轉抱 Amazon Trainium3:省 50% 成本,台灣工程師履歷先準備

Uber 昨天宣布擬大跟 AWS 的合約,要把更多叫車演算法搬到 Amazon 自家晶片 Trainium3 上跑。這不只是換硬體,更像把整個車隊的導航系統從 Google Map 換成自己畫的地圖,目標只有一個:省錢、省電、還能跑更快。

為什麼 Uber 要跳槽?

  • 價格直接砍半:AWS 官方數據,Trainium3 跑 AI 訓練比 Nvidia H100 便宜 50%,就像同樣從台北到高雄,高鐵票價直接變客運價。
  • 電費更省:Graviton 處理器用 ARM 架構,功耗低 60%,資料中心冷氣費直接打 6 折。
  • Amazon 補貼大:前 6 個月試用幾乎免費,等於先讓你白開 180 天再決定要不要買單。

台灣人該注意什麼?

1. 工程師職缺大噴發

Amazon 台灣今年開出 200+ 與 ARM、AI 晶片相關的職缺,薪水區間 120–200 萬台幣,會寫 Rust、Go、Kubernetes 的人直接被 HR 私訊。

2. 新創也能撿便宜

AWS 把 Trainium3 放進「新創扶持計畫」,符合資格的台灣團隊可申請 10 萬美元(約 300 萬台幣)額度,等於免費跑 8 張顯卡跑一年。

3. 學生論文神器

大學實驗室只要申請 AWS Educate,就能免費用 Trainium3 跑模型,訓練 YOLOv8 從 3 天縮到 8 小時,指導教授直接幫你寫推薦信。

3 步驟把模型搬上 Trainium3

  1. 先把 PyTorch 模型轉成 Neuron 格式 就像把手搖飲從大杯換成環保杯,容量一樣但容器不同。

    torch-neuronx trace model.py --save model_neuron.pt
  2. 選 Neuron 機器開機 在 EC2 控制台搜尋 trn1.2xlarge,一小時 92 台幣,比 Nvidia 同規格便宜 45%。

  3. 把資料丟進 S3,直接開訓練 AWS 幫你把資料管線、分布式訓練腳本都包好,就像 7-11 的關東煮,料都擺好,按鈕一按就滾。

實測結果:同樣跑 10 億參數模型

項目Nvidia A100Trainium3省下的時間/費用
訓練時間48 hr52 hr多 4 hr
每小時費用930 台幣460 台幣省 49%
總花費44,400 台幣23,920 台幣直接省 20,480 台幣

結論:時間換錢,錢包直接變厚。

小結:早換早享受,晚換等漲價

Amazon 現在用力補貼,就是要把 Nvidia 用戶先搶過來。等市場穩了,價格一定調回去。就像串流平台首月 30 元,之後恢復 270 元——先上車再說。

試試看吧:打開 AWS 控制台,開一台 trn1.2xlarge,把手上那個永遠跑不完的模型丟進去,8 小時後回來看 loss 掉多少,再決定要不要跟老闆申請預算。