豆包開源視頻生成模型VideoWorld：首創(chuàng)免語言模型依賴認(rèn)知世界
IT之家 2 月 10 日消息，豆包大模型團(tuán)隊(duì)聯(lián)合北京交通大學(xué)、中國科學(xué)技術(shù)大學(xué)共同開發(fā)的視頻生成實(shí)驗(yàn)?zāi)Ｐ汀癡ideoWorld”今日開源。不同于 Sora 、DALL-E 、Midjourney 等主流多模態(tài)模型，VideoWorld 在業(yè)界首次實(shí)現(xiàn)無需依賴語言模型，即可認(rèn)知世界。
據(jù)介紹，現(xiàn)有模型大多依賴語言或標(biāo)簽數(shù)據(jù)學(xué)習(xí)知識(shí)，很少涉及純視覺信號(hào)的學(xué)習(xí)。然而，語言并不能捕捉真實(shí)世界中的所有知識(shí)。例如折紙、打領(lǐng)結(jié)等復(fù)雜任務(wù)，難以通過語言清晰表達(dá)。而 VideoWorld 去掉語言模型，實(shí)現(xiàn)了統(tǒng)一執(zhí)行理解和推理任務(wù)。
同時(shí)，它基于一種潛在動(dòng)態(tài)模型，可高效壓縮視頻幀間的變化信息，顯著提升知識(shí)學(xué)習(xí)效率和效果。在不依賴任何強(qiáng)化學(xué)習(xí)搜索或獎(jiǎng)勵(lì)函數(shù)機(jī)制前提下，VideoWorld 達(dá)到了專業(yè) 5 段 9x9 圍棋水平，并能夠在多種環(huán)境中，執(zhí)行機(jī)器人任務(wù)。
最新推薦
閱讀排行榜
欄目索引
相關(guān)內(nèi)容