簡立峰建議台灣開發者如何掌握邊緣AI的先機，並提出了哪些小模型建構方法？

簡立峰對台灣開發者掌握邊緣AI先機的建議

前 Google 台灣董事總經理簡立峰在 Arm Tech Symposia 2024 論壇上指出，小語言模型與邊緣運算是台灣產業能把握的絕佳機會。隨著蘋果推出內建 AI 手機，以及 iOS 18.1 上線宣告 Apple Intelligence 時代來臨，邊緣 AI 發展備受矚目，適合在終端設備運算的小語言模型將成為新一波開發重點。簡立峰強調，AI 擁有理解能力後，能自主閱讀學習，而非僅僅是訓練改變參數，這將加速 AI 代理的進程。

邊緣 AI 的優勢與商機

簡立峰認為，邊緣 AI 的進步推理能力將帶來新的可能性，特別是在 AI 機器人領域，包括 AI PC、AI 手機和物聯網。邊緣 AI 的優勢包括分散運算和能源成本、小型模型易於快速訓練、降低開發者門檻、模型任務化，以及促進軟硬體商的合作生態系形成。他舉例台灣新聞台在美國總統候選人辯論會直播中，利用 Chrome 瀏覽器即時翻譯，體現了 AI 語音辨識加翻譯的功能，顯示 AI 應用已融入生活，並轉化為商機。

小模型建構方法

簡立峰建議台灣開發者不要被任何雲端公司的模型綁住，應保持模型靈活變換。他提出幾種縮小模型的方法：

1. 量化 (Quantization)：將數據轉換為精確度較低，降低資料大小並提高速度。
2. 修枝 (Pruning)：從神經網絡中刪除不必要的神經元，精簡結構。
3. 知識蒸餾 (Knowledge Distillation)：訓練較小的模型，以模仿較大模型的效果，優化效能。

簡立峰認為，模型縮小能降低成本，若效能還能提高，將達到「甜蜜點」。他強調這是台灣科學家擅長之事，並鼓勵台灣開發者積極投入邊緣 AI 的發展。