馬斯克旗下初創(chuàng)公司xAI正式宣布開源大模型Grok-1

美國當?shù)貢r間3月17日，馬斯克旗下的人工智能初創(chuàng)公司xAI正式宣布開源大模型Grok-1，遵循Apache 2.0協(xié)議開放模型權重和架構。xAI官網顯示，xAI已經將Grok-1的權重和架構在軟件托管平臺GitHub上開源。美國《紐約時報》17日的報道稱，馬斯克開源Grok背后的原始代碼，這是世界上最富有的人之一升級其控制人工智能未來戰(zhàn)斗的結果。

xAI在其官網上介紹，Grok-1是3140億參數(shù)的混合專家模型，這也讓Grok-1成為迄今參數(shù)量最大的開源大語言模型，是Llama 2的4倍。相比之下，公開資料顯示，OpenAI GPT-3.5的參數(shù)量為1750億，Grok-1大幅領先。xAI還在官網上進一步公布了Grok-1的一些細節(jié)，基礎模型基于大量文本數(shù)據(jù)訓練，未針對特定任務進行微調。3140億參數(shù)構成的混合專家模型，其中25%的參數(shù)能夠針對特定的數(shù)據(jù)單元激活。

參數(shù)量究竟意味著什么？北京郵電大學人機交互與認知工程實驗室主任劉偉3月18日接受《環(huán)球時報》記者采訪時介紹稱，參數(shù)量的大小，反映了模型的復雜度和表達的能力。參數(shù)量越多的模型，它學習復雜模式和關系、處理各種任務的能力更強。

然而xAI并沒有在發(fā)布的內容中透露Grok-1的具體測試成績，對于Grok-1的真實水平，劉偉認為目前還難以判斷。“但有一點可以確定，如果真如xAI公司所言，Grok-1的參數(shù)量達到了3140億，那么它的參數(shù)量比OpenAI GPT-3.5的1750億參數(shù)量多了將近一倍，這意味著Grok-1的水平肯定要在GPT-3.5之上。”劉偉同時表示，Grok-1是否比GPT-4更強，還不好下定論。此外，Grok-1在落地之后，還要根據(jù)反饋不斷地進行調整，目前對于Grok-1的“生產力”有多大，下判斷還為時尚早。

Grok-1一經發(fā)布，其引發(fā)的“開源”和“不開源”之爭，就成為業(yè)內關注的焦點。xAI正式宣布開源大模型Grok-1當天，馬斯克還與ChatGPT在社交平臺X上進行了“互動”，馬斯克轉發(fā)OpenAI的留言稱，“告訴我們OpenAI到底open在哪里了”。

《紐約時報》報道稱，所謂的開源，也就是通過將代碼開放給所有人查看和使用，馬斯克由此進一步介入了人工智能領域的一場激烈辯論，即開源是否有助于使技術更安全，還是只讓它容易被濫用。

Grok-1的發(fā)布也被美國媒體認為是馬斯克與ChatGPT的研發(fā)公司OpenAI之間的最新一次交鋒。此前，馬斯克對OpenAI、奧特曼提起訴訟，稱該公司違背了最初對公共開源通用人工智能的承諾。

劉偉表示，可以預見的是，xAI會對openAI產生非常大的沖擊，因為xAI采用的是開源的路徑。對于這當中涉及的“開源和閉源”之爭。劉偉介紹稱，開源的大模型一般有幾個特點，首先它能夠使更多的開發(fā)者共同參與到大模型的改進和優(yōu)化。這可以很快地推進技術進步，而且能夠實現(xiàn)知識共享，讓很多人學習和理解模型的設計和實驗方法。此外，開源還有一個特點就是能夠集全球之力開發(fā)大模型，這有利于發(fā)現(xiàn)問題和解決問題。

“但同時，有一種觀點認為，開源也存在著一些缺點。”劉偉進一步介紹稱，用戶在使用開源軟件時可能需要依賴社區(qū)的支持，而社區(qū)支持可能不夠及時或無法滿足用戶的特定需求。由于開源軟件的開發(fā)人員分散在全球各地，因此其穩(wěn)定性可能會有所不同。開源軟件可能存在未經測試的功能或漏洞，這可能會影響軟件的穩(wěn)定性和可靠性。開源軟件通常是由不同的社區(qū)成員開發(fā)，因此可能存在與其他軟件或系統(tǒng)的集成問題。使用開源軟件可能需要進行額外的配置和定制才能與其他軟件或系統(tǒng)無縫集成。開源軟件的源代碼是公開的，這為黑客提供了更多的攻擊面。