源自北京的AI突破！智源多模态大模型登Nature，生成式人工智能路线统一到自回归 - ncsti.gov.cn

Кратко: 1æ28æ¥ï¼æºæºå¤æ¨¡æ大模åææâMultimodal learning with next-token prediction for large multimodal modelsï¼éè¿é¢æµä¸ä¸ä¸ªè¯å è¿è¡å¤æ¨¡æå¦ä¹ çå¤æ¨¡æ大模åï¼âä¸çº¿å½é 顶级å¦æ¯æåNatureï¼é¢è®¡2æ12æ¥çº¸è´¨çæ£å¼ååï¼è¿æ¯æå½ç§ç æºæ主导ç大模åææé¦æ¬¡å¨Natureæ£åå表ã 2018年以æ¥ï¼GPTéç¨âé¢æµä¸ä¸ä¸ªè¯å ï¼Next-token predictionï¼NTPï¼âçèªåå½è·¯çº¿ï¼å®ç°äºè¯è¨å¤§æ¨¡åé大çªç ´ï¼å¼å¯äºçæå¼äººå·¥æºè½æµªæ½®ã èå¤æ¨¡æ模å主è¦ä¾èµå¯¹æ¯å¦ä¹ ãæ©æ£æ¨¡åçä¸é¨è·¯çº¿ï¼èªåå½è·¯çº¿æ¯å¦å¯ä»¥ä½ä¸ºéç¨è·¯çº¿ç»ä¸å¤æ¨¡æï¼ä¸ç´æ¯æªè§£ä¹è°ãæºæºè¿é¡¹ææ表æï¼åªéç¨èªåå½è·¯çº¿ï¼å°±å¯ä»¥ç»ä¸å¤æ¨¡æå¦ä¹ ï¼è®ç»åºä¼ç§çåçå¤æ¨¡æ大模åï¼å¯¹äºç¡®ç«èªåå½æ为çæå¼äººå·¥æºè½ç»ä¸è·¯çº¿å ·æé大æä¹ã https://www.nature.com/articles/s41586-025-10041-x Natureç¼è¾ç¹è¯è¿é¡¹ç 究ï¼Emu3ä» åºäºé¢æµä¸ä¸ä¸ªè¯å ï¼Next-token predictionï¼ï¼å®ç°äºå¤§è§æ¨¡ææ¬ãå¾ååè§é¢çç»ä¸å¦ä¹ ï¼å ¶å¨çæä¸æç¥ä»»å¡ä¸çæ§è½å¯ä¸ä½¿ç¨ä¸é¨è·¯çº¿ç¸å½ï¼è¿ä¸ææ对æ建å¯æ©å±ãç»ä¸çå¤æ¨¡ææºè½ç³»ç»å ·æéè¦æä¹ã å¨åç»è¿ä»£çEmu3.5çæ¬ï¼ç¡®å®è¯æäºè¿ä¸èå¼çå¯æå±æ§ï¼å¹¶è¾¾æé¢æµä¸ä¸ä¸ªç¶æï¼Next-state prediction)çè½åè·è¿ï¼è·å¾å¯æ³åçä¸ç建模è½åã ä»è¯è¨å°å¤æ¨¡æï¼ âé¢æµä¸ä¸ä¸ªè¯å âçæ½åä¸æªè§£ä¹é® âé¢æµä¸ä¸ä¸ªè¯å âå½»åºæ¹åäºè¯è¨æ¨¡åï¼ä¿æäºå¦ChatGPTççªç ´æ§ææï¼å¹¶å¼åäºå ³äºéç¨äººå·¥æºè½ï¼AGIï¼æ©æ迹象ç讨论ãç¶èï¼å ¶å¨å¤æ¨¡æå¦ä¹ ä¸çæ½åä¸ç´ä¸çææã å¨å¤æ¨¡æ模åé¢åï¼è§è§çæé¿æ以æ¥ç±ç»æå¤æçæ©æ£æ¨¡å主导ï¼èè§è§è¯è¨æç¥å主è¦ç±ç»åå¼æ¹æ³å¼é¢ï¼è¿äºæ¹æ³é常å°CLIPç¼ç å¨ä¸å¤§è¯è¨æ¨¡åï¼LLMsï¼ç»åã尽管已æä¸äºå°è¯è¯å¾ç»ä¸çæä¸æç¥ï¼å¦EmuåChameleonï¼ï¼ä½è¿äºå·¥ä½è¦ä¹ç®åå°LLMä¸æ©æ£æ¨¡åæ¼æ¥å¨ä¸èµ·ï¼è¦ä¹å¨æ§è½ææä¸ä¸åé£äºé对çæææç¥ä»»å¡ç²¾å¿è®¾è®¡çä¸ç¨æ¹æ³ãè¿å°±çä¸äºä¸ä¸ªæ ¹æ¬æ§çç§å¦é®é¢ï¼åä¸çé¢æµä¸ä¸ä¸ªè¯å æ¡æ¶æ¯å¦è½å¤ä½ä¸ºéç¨çå¤æ¨¡æå¦ä¹ èå¼ï¼ Emu3ï¼ ä»¥åä¸æ¡æ¶ç»ä¸å¤æ¨¡æçæä¸æç¥ å°±æ¤ï¼æºæºæåºäºEmu3ï¼åºäºâé¢æµä¸ä¸ä¸ªè¯å âçå ¨æ°å¤æ¨¡æ模åï¼å°å¾åãææ¬åè§é¢ç»ä¸ç¦»æ£åå°åä¸ä¸ªè¡¨ç¤ºç©ºé´ä¸ï¼å¹¶ä»é¶å¼å§ï¼å¨å¤æ¨¡æåºåæ··åæ°æ®ä¸èåè®ç»ä¸ä¸ªåä¸çTransformerãè¿ä¸æ¶æè¯æäºä» åâé¢æµä¸ä¸ä¸ªè¯å âï¼å°±è½å¤åæ¶æ¯æé«æ°´å¹³ççæè½åä¸ç解è½åï¼å¹¶ä¸å¨åä¸ç»ä¸æ¶æä¸ï¼èªç¶å°æ©å±å°æºå¨äººæä½ä»¥åå¤æ¨¡æ交éççæä»»å¡ãæ¤å¤ï¼ç 究å¢éè¿åäºå¤§éæ¶èå®éªååæï¼éªè¯äºå¤æ¨¡æå¦ä¹ çè§æ¨¡å®å¾ï¼Scaling lawï¼ãç»ä¸ç¦»æ£åçé«ææ§ã以å解ç å¨æ¶æçæææ§ã Emu3æ¶æå¾ å®éªæ¾ç¤ºï¼Emu3å¨çæä¸æç¥ä»»å¡ä¸çæ´ä½è¡¨ç°å¯ä¸å¤ç§æççä»»å¡ä¸ç¨æ¨¡åç¸åª²ç¾ï¼å¨æçå¾ä»»å¡ä¸ï¼å ¶ææè¾¾å°æ©æ£æ¨¡åæ°´å¹³ï¼å¨è§è§è¯è¨ç解æ¹é¢ï¼å¯ä»¥ä¸èåCLIPå大è¯è¨æ¨¡åç主æµæ¹æ¡æ¯è©ãæ¤å¤ï¼Emu3è¿å ·å¤è§é¢çæè½åãä¸åäºä»¥åªå£°ä¸ºèµ·ç¹çæ©æ£å¼è§é¢çæ模åï¼Emu3éè¿èªåå½æ¹å¼éè¯å ï¼tokenï¼é¢æµè§é¢åºåï¼å®ç°åºäºå æçè§é¢çæä¸å»¶å±ï¼å±ç°åºå¯¹ç©çä¸çä¸ç¯å¢ã人类ä¸å¨ç©è¡ä¸ºçåæ¥æ¨¡æè½åã ä»æ¨¡åå°èå¼ï¼ Emu3对å¤æ¨¡æå¦ä¹ çå¯ç¤º ä¸åäºSoraçæ©æ£å¼è§é¢çæï¼Emu3éç¨çº¯èªåå½æ¹å¼éè¯å ï¼tokenï¼ çæè§é¢ï¼è½å¤å¨ç»å®ä¸ä¸æä¸è¿è¡è§é¢å»¶å±ä¸æªæ¥é¢æµï¼å¹¶å¨ææ¬å¼å¯¼ä¸çæé«ä¿çè§é¢ãæ¤å¤ï¼Emu3è¿å¯æå±è³è§è§è¯è¨äº¤éçæï¼ä¾å¦å¾æ并èçèè°±çæï¼ä¹å¯æå±è³è§è§è¯è¨å¨ä½å»ºæ¨¡ï¼å¦æºå¨äººæä½VLAçï¼è¿ä¸æ¥ä½ç°äºâé¢æµä¸ä¸ä¸ªè¯å âçéç¨æ§ã æºæºç 究å¢é对ç¸å ³ç 究çå¤é¡¹å ³é®ææ¯ä¸æ¨¡åè¿è¡äºå¼æºï¼ä»¥æ¨å¨è¯¥æ¹åçæç»ç 究ãå ¶ä¸å æ¬ä¸ä¸ªç¨³å®ä¸éç¨çè§è§åè¯å¨ï¼tokenizerï¼ï¼å¯å°å¾åä¸è§é¢é«æ转æ¢ä¸ºç¦»æ£è¯å æ¥è¡¨ç¤ºãåæ¶ï¼ç 究éè¿å¤§è§æ¨¡æ¶èå®éªç³»ç»åæäºå¤é¡¹å ³é®ææ¯ç设计éæ©ï¼ä¾å¦ï¼åè¯å¨ï¼tokenizerï¼ç æ¬å°ºå¯¸ãåå§åçç¥ãå¤æ¨¡ædropoutæºå¶ä»¥åæ失æéé ç½®çï¼æ示äºå¤æ¨¡æèªåå½æ¨¡åå¨è®ç»è¿ç¨ä¸çå¨æç¹æ§ãç 究è¿éªè¯äºèªåå½è·¯çº¿é«åº¦éç¨æ§ï¼ç´æ¥å好ä¼åï¼DPOï¼æ¹æ³å¯æ ç¼åºç¨äºèªåå½è§è§çæä»»å¡ï¼ä½¿æ¨¡åè½å¤æ´å¥½å°å¯¹é½äººç±»å好ã ç 究æå表æäºé¢æµä¸ä¸ä¸ªè¯å å¯ä½ä¸ºå¤æ¨¡æ模åçæ ¸å¿èå¼ï¼çªç ´è¯è¨æ¨¡åçè¾¹çï¼å¨å¤ç§å¤æ¨¡æä»»å¡ä¸å±ç°äºå¼ºå²æ§è½ãéè¿ç®åå¤æç模å设计ãèç¦ç»ä¸è¯å ï¼è¯¥æ¹æ³å¨è®ç»ä¸æ¨çé¶æ®µåå±ç°åºæ¾èçå¯æ©å±æ§ï¼ä¸ºç»ä¸å¤æ¨¡æå¦ä¹ å¥ å®äºåå®åºç¡ï¼æææ¨å¨åçå¤æ¨¡æå©æãä¸ç模å以åå ·èº«æºè½çæ¹åçåå±ã å¨æ¤ç 究åºç¡ä¸ï¼æç·Emu3.5è¿ä¸æ¥éè¿å¤§è§æ¨¡é¿æ¶åºè§é¢è®ç»ï¼å¦ä¹ æ¶ç©ºä¸å æå ³ç³»ï¼å±ç°åºé模åä¸æ°æ®è§æ¨¡å¢é¿èæåçç©çä¸ç建模è½åï¼å¹¶è§å¯å°å¤æ¨¡æè½åéè§æ¨¡æ©å±èæ¶ç°çè¶å¿ï¼å®ç°äºâé¢æµä¸ä¸ä¸ªç¶æâçèå¼å级ã åæåå§åæ°ï¼ æºæºæç»å¼é¢å¤§æ¨¡åææ¯æ¼è¿ æç·Emuç 究ææçå表ï¼ä¸ä» æ¯å½é å¦æ¯ç对æºæºç 究å¢éå·¥ä½ç认å¯ï¼æ´æ¯å¯¹äººå·¥æºè½ååææ¯è·¯çº¿çè¯å®ãEmuç³»å模åèª2022å¹´å¯å¨ç å以æ¥ï¼å´ç»âåçå¤æ¨¡æâè¿ä¸æ ¸å¿ææ¯ä¸»çº¿æç»è¿ä»£ï¼æ¯ä¸ä¸ªçæ¬é½å¨å ³é®è½åä¸æ¹æ³è®ºä¸å®ç°äºå®è´¨æ§çªç ´ã 2022å¹´6æï¼ç³»ç»å¸å±å¤æ¨¡æ大模åçç åã 2023å¹´7æï¼åå¸å¹¶å¼æºé¦ä¸ªçæ¬ï¼æ为ææ©æéå¤æ¨¡æè¾å ¥å°å¤æ¨¡æè¾åºçç»ä¸å¤æ¨¡æ模åï¼åæ°æ§æåºç»ä¸å¤æ¨¡æå¦ä¹ æ¡æ¶å¹¶å¤§è§æ¨¡å¼å ¥è§é¢æ°æ®ï¼åæ¥å®ç°å¤æ¨¡æèªåå½é¢æµã 2023å¹´12æï¼åå¸Emu2ï¼éè¿å¤§è§æ¨¡èªåå½çæå¼å¤æ¨¡æé¢è®ç»ï¼å±ç°åºå¯æ³åçå¤æ¨¡æä¸ä¸æå¦ä¹ è½åï¼å¯å¨å°é示ä¾åç®åæ令ä¸å®æå¬ã说ã读ãåãç»çä»»å¡ï¼æ¯å½æ¶å¼æºæ大ççæå¼å¤æ¨¡æ模åã 2024å¹´10æï¼åå¸Emu3ï¼è¯¥æ¨¡ååªåºäºé¢æµä¸ä¸ä¸ªè¯å ï¼æ éæ©æ£æ¨¡åæç»åæ¹æ³ï¼å³å¯å®æææ¬ãå¾åãè§é¢ä¸ç§æ¨¡ææ°æ®çç解åçæã 2025å¹´10æï¼æ¨åºåçå¤æ¨¡æä¸ç模åEmu3.5ï¼å®ç°ä»âé¢æµä¸ä¸ä¸ªè¯å âå°âé¢æµä¸ä¸ä¸ªç¶æâçè½åè·è¿ï¼ä»é¿è§é¢æ°æ®ä¸å¦ä¹ ä¸çæ¼åè§å¾ï¼æåºå¤æ¨¡æScalingæ°èå¼ã èª2020å¹´å¯å¨âæéâ大模åç 究以æ¥ï¼æºæºæç»èç¦å¤§æ¨¡åçåå§åæ°ä¸é¿æææ¯è·¯å¾æ¢ç´¢ã2025å¹´6æï¼æºæºåå¸æ°ä¸ä»£å¤§æ¨¡åç³»åâæçâï¼æ¨å¨æ建人工æºè½ä»æ°åä¸çè¿åç©çä¸ççå ³é®è½åï¼åç©çä¸çç人工æºè½åºåº§æ¨¡åãè¿å ¶ä¸å æ¬ï¼Emuç³»åå¤æ¨¡æä¸ç模åãRoboBrainè·¨æ¬ä½å ·èº«å¤§èãæ°ååªçå¿èãBrainμèç§å¦å¤æ¨¡æåºç¡æ¨¡å以åOpenComplexå ¨ååçå½æ¨¡åçï¼æ建起è¦çå®è§å ·èº«æºè½ãä»è§çå½ç³»ç»å°å¾®è§æ象å¨åå¦çå¤å±æ¬¡ææ¯åºåº§ãFlagOSå¼æºç³»ç»è½¯ä»¶æ æ´æ¯ä¸ºæ¨¡åçè®ç»åæ¨ç带æ¥æççªç ´åå¤å AI硬件éé è½åã æç«ä¸å¹´æ¥ï¼æºæºèç¦äººå·¥æºè½ææ¯å沿ï¼æææåºç¡çé®é¢åæå ³é®çé¾é¢ï¼æ¨è¿å¤§æ¨¡åææ¯ä¸ææ¼è¿ãéçEmuçç 究ææå表äºNatureçå½é 顶级æåï¼æºæºå°ç»§ç»å´ç»æºè½ä¸ç©çä¸ççæ·±å±å ³èï¼æ¨è¿é¢åä¸ä¸ä»£äººå·¥æºè½çç§ç åæ°ã ç¸å ³äººç©