多模态 AI：让机器同时看懂文字、图、声音

过去的 AI 是"偏科生"：文本模型只看字，视觉模型只看图。多模态（Multimodal）让一个模型同时处理文字、图像、音频、视频，像人一样综合感知。

一、怎么做到的

核心是把不同模态"翻译"成同一种语言——向量。无论是一张图、一段语音还是一句话，模型都先把它们编码成一串数字（向量），再在同一个空间里做理解。

比如你拍一张冰箱内部照片问"我还能做什么菜"，模型把图像编码后和你的文字一起送进 Transformer，它就能结合画面和常识回答"有鸡蛋和番茄，可以做番茄炒蛋"。

二、能解锁什么新玩法

• 看图问答：上传图纸问"这个电路哪里接错了"，比搜关键词快十倍。
• 语音对话：实时听见你说、看见你比划，像真人助手。
• 视频理解：丢一段会议录像，它总结谁说了什么、做了哪些决定。
• 跨模态生成：文字生成图（前面讲的 AI 绘画）、图生成文字描述、图生成视频。

三、代表产品

• GPT-4o / Claude：能看图和文件，对话里直接拖图片进去问。
• Gemini：原生多模态，擅长长视频和海量上下文。
• 国内的通义、文心、豆包：中文场景优化，多模态也跟上了。

四、现实意义

多模态让 AI 从"打字机"变成"眼睛+耳朵"。以后你不用费劲描述问题，拍个照、录段音它就懂。这对不会写精确提示词的人尤其友好——表达门槛被大幅拉低。

五、局限

• 复杂图表、手写公式、小字截图仍会误读。
• 视频理解成本高、耗时长。
• 隐私：你上传的图/视频去了哪，要看清平台政策。

下一篇看更前沿的：AI 怎么生成视频。