彼時的 Meta 遭遇了蘋果調整隱私策略和元宇宙預冷的雙重打擊，股價一度跌至近 6 年來的谷底，比 2021 年的最高價位縮水了三分之二有多。
但出乎意料的是，Meta 恢復的速度比跌倒還要快。
2023 年 Meta 做出了大量調整，包括裁員和削減項目收縮成本、押注短視頻應用 Reels，以及加大 AI 技術的投資，利用 AI 來改進廣告模型投放等等。
其中，AI 在 Meta「蘇醒」的歷程中扮演了非常重要的角色。今年以來 Meta 在 AI 領域持續(xù)發(fā)力，不斷地開源自家的 AI 研究成果，從技術層面來看并不弱于 OpenAI 和 Google 等明星 AI 公司。
就在今天，Meta 發(fā)布了開源大模型 Llama 2，引爆了 AI 圈：Llama 2 不僅性能不輸 GPT-3，而且免費、開源，還可商用！
什么是 Llama 2？
Llama 2 是 Meta 今年 3 月初發(fā)布的 Llama 模型的后續(xù)版本，Llama 因為體積小、性能強等優(yōu)點，在 AI 社區(qū)得到了廣泛的好評，被認為是推動 AI 研究和開發(fā)的重要工具。
Meta AI 今天一同發(fā)布了大型語言模型 Llama 2 及其調優(yōu)版本 Llama 2-Chat，相比 Llama 1，新版Llama 2 在模型規(guī)模、訓練數(shù)據(jù)量、模型結構等多個方面進行了全面提升。
Llama 2 家族包含多個模型規(guī)模，包括 70 億、130 億、340 億（暫未發(fā)布）和 70 億參數(shù)量的多個版本，覆蓋了不同的應用場景需求。
此次Meta首先開源發(fā)布了 7 億和 13 億參數(shù)的 Llama 2 及對應的聊天機器人條有版本 Llama 2-Chat。
與 Llama 1 相比，Llama 2 在三個方面進行了重要的改進:
首先，訓練數(shù)據(jù)量增加了 40%，從 Llama 1 的 1.4 萬億個 token 增至 2 萬億個 token。訓練數(shù)據(jù)中的文本來源更多樣化，包括書籍、論文、新聞報道、網(wǎng)頁內容等在線公開來源。
Llama 2 還將單條文本的最大長度從 2048 個 token 提升至 4096 個 token，更長的文本輸入意味著可以包含更多上下文信息，提升模型的理解能力。
Llama 2 在更大模型的版本中采用了「分組 Attention」機制，可以顯著降低計算和內存需求，提升推理速度。
除了規(guī)模和結構的改進，Llama 2 在多個自然語言處理基準測試上的結果也優(yōu)于 Llama 1 和其他開源大模型，顯示出在知識表達、推理、對話等能力上的提升。
除了純預訓練模型，調優(yōu)對話型模型對結果的質量也很重要。
Meta 研究人員開發(fā)了全新的調優(yōu)方案，通過監(jiān)督微調和強化學習相結合的方式不斷提升 Llama 2-Chat 的性能。
舉個例子，Llama 2-Chat 的理解能力和表達能力都上了一個臺階，現(xiàn)在可以只用 Emoji 和你聊天，
這是怎么做到的呢？Meta 的研究人員先利用人工標注數(shù)據(jù)進行監(jiān)督微調，使模型初步符合人類偏好，兼顧有用性和安全性，為后續(xù)的強化學習奠定了良好基礎。
然后，利用強化學習中的「拒絕采樣」策略進行迭代調優(yōu)。該策略為每個輸入文本生成多個響應，利用訓練好的「獎勵模型」選擇最佳響應，再利用選擇后的響應樣本微調模型。
研究人員收集了超過 100 萬條人類偏好比較數(shù)據(jù)來訓練獎勵模型。
在此過程中，安全性和有用性作為兩個獨立的獎勵模型進行訓練和評估。
安全性獎勵模型可以識別風險更高的輸入并給出更低的分數(shù)，有助于降低模型生成有害內容的風險。
簡單來說，Llama 2 的性能和安全性在開源大模型里面都是首屈一指的存在，更詳細的技術細節(jié)可以參考 Meta 公布的技術論文。
目前 Meta 已 GitHub 上開源了 Llama 2 預訓練模型的代碼和參數(shù)，允許研究人員進行探索。Meta 還開放了 Llama 2 的商業(yè)使用許可（但月活量超過 7 億的產品需要另外申請商用），相信很快將會有一批基于 Llama 2 的大模型產品涌現(xiàn)出來。
Meta + Microsoft = M&M's ?
在今天的微軟 Inspire 合作伙伴大會上，微軟 CEO 薩蒂亞·納德拉 （Satya Nadella）還宣布了 Meta 與微軟合作的消息，這項合作讓 Llama 2 可以運行在微軟的云服務 Microsoft Azure。
Meta 則表示，微軟是 Llama 2 的首選合作伙伴，未來兩者會通過深度合作，以增加對基礎人工智能技術的普及，從而讓全球的企業(yè)受益。
部分合作伙伴
而除微軟以外，Meta 同時還和亞馬遜 AWS、Hugging Face 兩家云服務供應商達成合作，在他們的平臺上托管 Llama 2 的運行。
值得一提的是，盡管 Meta 宣稱 Llama 2 模型是開源且免費商用的大語言模型，但通過 Azure 等云服務方式使用 Llama 2 是否需要收取費用則尚未清楚。
供應商之一的亞馬遜發(fā)言人告訴彭博社，Amazon 不會收取訪問該模型的費用，但客戶需要為使用開發(fā)工具包支付費用。Meta 對此還沒做出回應。
在微軟官方博客中，微軟表示 Llama 2 已經針對 Windows 進行優(yōu)化，使其可以在 Windows 本地運行。
這一舉措，有可能會讓 Windows 一舉成為開發(fā)者打造個性化 AI 體驗需求的最佳平臺，同時讓 AI 能夠用于 Linux 的 Windows 子系統(tǒng) (WSL)、Windows 終端、Microsoft Visual Studio 和 VS Code 等平臺上。
也就是說，Meta 推出的 Llama 2 大語言模型可能會成為 OpenAI 的主要競爭者。
但同一時間，微軟持有 OpenAI 49% 的股份，OpenAI 也依賴 Azure 來提供大量算力以支撐其人工智能模型的運營，甚至 ChatGPT 目前聯(lián)網(wǎng)搜索的插件也是接入必應的搜索引擎。
此前讓不溫不火的必應訪問量暴增的 New Bing 也是依靠 GPT-4 技術來開發(fā)?？梢哉f，微軟在人工智能領域與 OpenAI 已經有深入的合作。
也有評論認為，兩者或許存在競爭關系，但不影響微軟兩邊同時押注。閉源領域依靠 OpenAI 實現(xiàn) 2C 業(yè)務，進行商業(yè)化。開源領域與 Meta 合作，建立生態(tài)的同時還能威脅到其他的閉源大語言模型。
Meta 生成式人工智能團隊副總裁艾哈邁德·阿爾·達勒 (Ahmad Al Dahle) 表示，微軟與 OpenAI 的合作與 Meta 沒有關系。
Meta 與微軟更進一步的合作并不讓人意外。在 Meta 去年專注于開發(fā)「元宇宙」時，Meta 就曾與微軟攜手把 Office 、Microsoft Teams 等效率工具兼容到 Quest 設備中。
微軟同時押注 Meta 和 OpenAI，或許是想要同時在開源和閉源領域廣撒網(wǎng)，不錯過每一種可能性。
Meta Llama 2 也探討了在移動終端，特別是智能手機領域，本地運營的可能性。
高通在一份新聞稿中表示，高通正在和 Meta 合作優(yōu)化 Meta Llama 2 大語言模型直接在終端側的執(zhí)行。
高通計劃在 2024 年起，在搭載驍龍平臺的旗艦智能手機和 PC 上支持基于 Llama 2 的 AI 部署，賦能開發(fā)者使用驍龍平臺的 AI 能力。
未來 Llama 2 將可能搭載在 VR 頭顯、汽車座艙、物聯(lián)網(wǎng)終端等領域。高通認為，終端側的 AI 部署能顯著降低開發(fā)成本，提升用戶隱私保護、滿足用戶的安全偏好，增強應用可靠性以及實現(xiàn)個性化的服務。
也許到明年的這個時候，你正在用著的驍龍芯片手機正在運行 Llama 2 模型為你解決問題也說不定呢。