设想图书馆楼下有家小店，菜单照片上左边写“面条18元”，右边写“套餐26元”，角落还有一行小字：“套餐含饮料。”你把照片交给助手，问：“预算25元，要一份主食和一杯饮料，套餐够不够？”
菜单、价格和问题都是自拟的。仅凭题目里的数字，套餐超过预算；但对实际看图系统而言，先得把26与套餐正确对应，还要分清饮料包含在哪一项里。
此前我们主要把文字交给模型。现在的难点不只是多接收一张图片，而是怎样让画面信息进入同一项任务，并在回答中保留位置与关系。
图片先变成可计算的表示
电脑收到的是像素数值。视觉编码器对它们进行计算，把局部形状、纹理及更高层联系变成内部表示。某些架构把图片分成小块，再让这些块之间交换信息；图像中的位置也要以合适方式保留，否则左列价格可能跑去给右列菜品结账。
但不能把“图像块”简单理解为“模型先把照片翻译成一段准确中文”。视觉表示可以直接保留难以用短文字描述的关系，它们首先还是数字。
2021年的CLIP研究训练图像与文本的两套编码器，让真实配对的图文表示更匹配，同批中不配对的图文相对不匹配。这是对比学习：通过哪些应当对应、哪些不应当对应来塑造表示。1
设想一批教学材料里有面条图片与“面条”的描述，也有自行车图片与相应描述。训练要求系统把正确配对区分开，而不是看见面条就把整份菜谱逐字背出。CLIP的这类能力可以帮助匹配或分类，并不单独等于能自由回答菜单问题的聊天模型。
与词向量的历史相呼应，这里仍在学习有用的数字表示，只是联系跨越了图像与文字。自行车终于不会因为同样有两个圆形物体，就被轻易推荐为双蛋面套餐；不过这个例子是解释目标，不是某个模型的实测承诺。
接上语言模型，还要教它怎样使用画面
2023年的LLaVA研究提供了一种具体连接方式：用预训练视觉编码器取得图像特征，再通过可训练的连接层，把它们转成语言模型可以接收的表示，并利用图像与指令相关的数据训练回答行为。2
连接层不是把一根数据线插上就自动互通。图像表示和语言模型原本处理的表示需要适配，训练通过目标回答的误差调整有关参数，让画面信息能实际影响后续生成。论文不同训练阶段调整的参数范围也有所不同，不能一概说所有部件始终一起重训。
在菜单场景中，问题说明本轮关心预算与套餐，视觉输入提供菜品、价格和布局。模型生成回答时，应结合两者，而不是只根据“小店套餐通常多少钱”的经验猜测。
如果把图片换成“套餐24元”，文字问题不变，答案应随图像证据变化。这是一种很直接的检查：系统究竟用了图片，还是把图片当成聊天背景墙？
LLaVA是一条代表路线。其他多模态模型可以采用不同的融合结构与训练目标；不能据此断言所有产品都在视觉编码器后面装了同一款转接头。
认得字，还得把账算到正确菜品上
设想一个系统识别出了18和26，也认出了面条与套餐，却把两列读反。它的字符清单可以几乎全对，答案仍然错。
因此需要分别理解文字识别和关系理解。光学字符识别，常简称OCR，关注从图像中取得文字；但完整任务还要求知道哪段小字修饰哪一项、哪个数字是哪道菜的价格，以及预算条件怎样作用于这些信息。
若角落小字模糊，系统可能看清“含饮料”，却漏掉前面的“不”。这不是加法的问题，错误已经发生在证据进入时。若菜单本来就没有单点饮料价格，模型也不能仅凭面条18元推出“再买饮料肯定不超过25元”。
CLIP研究本身讨论了细粒度任务等方面的局限；LLaVA则把视觉与指令结合推进到交互回答。两者的任务差异提醒我们：会匹配“菜单”这个概念，距离准确解决菜单上的具体问题，还有好几步。1 2
我们的教学答案应当是：“26元套餐超过25元预算；单点面条是否能再加饮料，需要饮料价格。”一份诚实的菜单分析，有时最有价值的输出就是指出账单还少一项，而不是替老板发明一个优惠活动。
看懂按钮，也没有按下按钮
把纸菜单换成点餐网页。助手可以识别“加入购物车”，解释它的作用，甚至指出按钮位置。但只要没有执行点击或调用下单接口，购物车就不会因此多出一碗面。
这与前面文字模型写“已经改好文件”是同一种边界。多模态扩展了系统能接收的观察，行动还需要工具、执行环境和结果反馈。图片中的成功提示也可能只是旧截图，不能代替当前操作的实际返回。
设想系统点击后看到“已售罄”。这条新观察改变了下一步：原来的菜单理解可能完全正确，订单仍无法完成。要继续办事，模型必须把真实反馈带回判断，而非照着预先写好的成功故事念到结尾。
所以多模态不是从“会说话”到“会办事”的全部桥梁。它让画面、文字等不同输入有机会参与共同任务，之后还需要行动循环。
标题的答案可以沿着这份菜单逐项落地：看清输入，把价格和菜品对应起来，结合问题计算，承认缺失信息；若要点餐，还得真正执行并检查结果。
我们已让助手看见那碗面。下一篇要解决的是：它说“给你点好了”时，厨房究竟有没有收到单。