峻魁智慧的AI Craft工具如何協助廠商將AI模型放入既有晶片?
Answer
峻魁智慧AI Craft工具如何協助廠商將AI模型放入既有晶片
峻魁智慧是一家新創公司,專注於開發能讓AI模型在現有晶片上運算的技術,且不會降低模型準確度。針對AI PC、AI手機,以及汽車產業的全自動駕駛需求,峻魁智慧提出了一套AI瘦身工具,讓AI模型能嵌入終端裝置,不必依賴聯網也能實現部分AI功能。
AI Craft三大核心技術
峻魁智慧創辦人郭峻因表示,直接將大型語言模型放入終端裝置需要大量的GPU,成本過高且運算效能不佳。為了解決這個問題,峻魁智慧開發了AI Craft工具,透過縮小AI模型的同時保持準確度,讓廠商能順利將AI模型放入既有晶片。AI Craft包含三大核心技術:
- A-Craft(模型自動標記): 解決模型壓縮後可能導致的識別失準問題,透過自動標記圖資,加快AI辨識物體的速度,比手動標記快7倍。
- P-Craft
- Q-Craft
Edge AI的趨勢與優勢
郭峻因指出,將大型語言模型AI放入終端裝置,需要在終端裝置放入多個GPU才能運算,但高昂的成本顯然並不實際。如果硬要把大型語言模型放入終端裝置,最後也跑不動。峻魁智慧的技術讓終端裝置具備Edge AI能力,實現高隱私、低功耗的優勢。