多模态与自主学习的未来

hdy

海外独角兽对张祥雨的访谈深刻剖析了多模态大模型发展的核心挑战与未来方向，结合技术逻辑与行业实践，提供了极具前瞻性的思考。以下是主要观点及解读：

1. 多模态推理与自主学习的「GPT-4时刻」

张祥雨预测未来2-3年多模态领域将迎来两个关键突破：

* 多模态推理 ：当前视觉与语言的联合推理仍受限于“单步生成”的复杂度（如Diffusion模型无法支持视觉CoT），而OpenAI的o系列通过“原图编辑+反思机制”初步验证了可行性。下一步需通过视频数据（如教学视频中的激光笔标注、草稿步骤）扩充预训练中的视觉动作空间，才能实现真正的视觉长链推理。

* 自主学习 ：当前RL（强化学习）依赖人工规则奖励，无法从自然语言反馈中学习多维评价（如老师对作文的段落点评）。突破需解决两大问题： 无限长上下文建模 （动态环境交互）和 内生奖励机制 （自我驱动学习）。若实现，模型将像人类一样通过环境探索自主进化。

意义 ：这两个突破将彻底改变大模型的智能范式——从“被动压缩数据”到“主动推理与创造”，从“人工标注驱动”到“自我迭代进化”。

2. 生成与理解一体化的根本矛盾

张祥雨团队发现，多模态生成（如图文生成）与理解难以融合的核心在于：

* 复杂度不匹配 ：语言控制视觉的能力弱（如生成图像时无法精确对齐物理约束），而Diffusion模型的单步生成噪声大，反传的梯度信号无效。

* 数据割裂 ：互联网图文数据大多弱相关（如新闻配图与内容无关），而高质量对齐数据（如维修手册的图文步骤）稀缺。

解决路径 ：需先通过“高可控生成”（如几何作图、元素移动）积累精准对齐数据，再结合多模态CoT（如视觉草图推理）逐步实现闭环。OpenAI的4o已展现初步可控性，但离真正一体化仍有距离。

3. Next Token Prediction的缺陷与RL的崛起

张祥雨指出，传统NTP（Next Token Prediction）框架存在本质局限：

* 跳步倾向 ：大模型为追求数据压缩率，会跳过数学推理的中间步骤（如直接输出“1+1=2”而非逐步计算），导致错误累积。

* 目标偏离 ：压缩率优化与任务目标（如数学正确率）不完全一致。

Rule-based RL的革新 ：通过直接优化任务目标（如数学答案正确性），RL迫使模型选择可靠路径，抑制跳步。而o1范式的“Meta CoT”（反悔、重试、多分支推理）进一步将线性思维链升级为图状结构，显著提升复杂问题解决能力。

4. 对行业发展的启示

* 数据质量＞架构创新 ：无论是多模态推理还是自主学习，核心瓶颈在于高质量数据（如视频中的动作标注、教学中的思考过程）。当前许多机构盲目追求参数规模，却忽视数据清洗与对齐。

* 视觉智能的突破口在视频 ：静态图像缺乏时序信息与人类意图，而视频天然蕴含物理规律和动作逻辑，是未来多模态训练的关键。

* Agent范式的分层演进 ：从Chatbot（NTP）→ Reasoning（RL+CoT）→ Agent（自主学习），每一阶段需突破算法边界。当前行业仍处于Reasoning早期，盲目炒作“Agent”可能脱离技术现实。

5. 争议与挑战

* 架构是否真的不重要？ 张祥雨认为架构服务于算法（如Linear Attention是为适配NTP），但若未来突破反向传播（如Hinton的FFA算法），架构设计可能重新成为焦点。

* 世界模型与生成的矛盾 ：LeCun认为智能无需生成器官（人类不靠画画学习），但张祥雨指出生成是目前最可行的自监督方式。两者路径如何融合仍需探索。

总结

张祥雨的思考揭示了AI发展的深层规律： 智能的本质是压缩与推理的平衡，而突破源于对“数据-算法-目标”三元关系的重构 。多模态推理和自主学习若能实现，将推动AI从“工具”迈向“伙伴”，但其技术路径仍需跨越数据、复杂度与认知的多重壁垒。对于从业者，需警惕“参数崇拜”，回归数据本质与算法创新。