《Attention Is All You Need》論文對AI領域產生了哪些影響？

《Attention Is All You Need》論文對AI領域的影響

2017年，Google發表了一篇名為《Attention Is All You Need》的論文，該論文介紹了Transformer語言模型，為現今的人工智慧浪潮奠定了基礎。Transformer模型是ChatGPT和GPT等大型語言模型的關鍵架構。

Transformer模型的核心突破

Transformer模型最重要的突破是「平行化」，它允許許多處理工作同時進行，使計算能力得以充分利用。史丹佛大學的研究人員在2021年的一篇論文中指出，Transformer模型不僅推動了人工智慧領域的典範轉移，還擴大了人們對人工智慧可能性的想像。Transformer模型透過強大的神經網路學習文字和圖像資料之間的連續關係和深層含義，使AI更像一個真正的人。

Transformer模型作者的後續發展

開發Transformer模型的工程師們紛紛離開Google，成為新一代的矽谷創業家。撰寫《Attention Is All You Need》論文的八位工程師和科技專家幾乎都離開了Google，並創立了新創公司，這些公司的募資總金額已達到10億美元，在矽谷產生了舉足輕重的影響力。其中，Illia Polosukhin離開Google後，創辦了去中心化平台NEAR Protocol，旨在創建一個基於區塊鏈的去中心化平台，讓大眾可以自由開發應用程式。