改善情境化和定制化一直是用户体验的长期需求。例如，消费者希望终端能够自动利用来自智能手机数据和传感器的情境信息和自定义偏好，让体验更直观和无缝，比如基于当前位置、时刻和食物选择偏好推荐餐厅用餐，创造愉悦体验。

尽管生成式AI已展现出新兴的和变革性的能力，但其仍有很大改进空间。类似多模态生成式AI等这样的技术可应对生成式AI更加情境化和定制化的体验趋势。

多模态生成式AI模型输入和输出多种模态，以提供更佳响应和答案

多模态AI模型能够更好的理解世界

大语言模型(LLM)为纯文本训练模型带来了惊艳的能力。如果模型能够支持包含更多知识的不同信息形式，能带来怎样的提升呢？

人类能够通过语言和阅读文字学到很多东西，但也需要通过各种感官和互动形成对世界的理解：

我们的眼睛让我们能够看到球在倾斜地面上滚动的场景，以及当球滚到沙发后面会如何消失。

我们的耳朵可以识别语音中的情绪或警报声来源的方向。

我们与世界的接触和互动让我们知道如何用手握住泡沫塑料咖啡杯，以及如何在走路时避免摔倒。

类似的例子不胜枚举。

尽管语言可以描述几乎所有这些事情，但它可能不如其他模态做得那么好或那么高效。

正如人类需要利用各种感官学习，生成式AI除了利用文本之外还可以使用更多其他模态学习：这正是多模态生成式AI模型的作用所在。

多模态生成式AI模型可基于一系列模态进行训练，包括文本、图像、语音、音频、视频、3D、激光雷达(LIDAR)、射频(RF)、以及几乎任何传感器数据。

通过利用所有这些传感器，融合数据，并更全面地理解世界，多模态生成式AI模型可以提供更佳答案。AI研究人员已经做到了这一点，他们利用不同模态的一系列数据在云端训练多模态大模型(LMM)，让模型更“智能”。OpenAIGPT-4V和谷歌Gemini就是这类LMM。

这能给用户带来什么？举例来说，LMM可以充当通用助手，接收任何模态的输入，为更广泛的问题类型提供大幅改进的答案。比如基于复杂的停车标志回答用户可否停车，或基于振动噪音回答用户该如何修理洗碗机故障。

下一步，部署LMM进行推理：尽管生成式AI推理可在云端运行，但在边缘终端侧运行有着诸多好处，比如隐私、可靠性、成本效益和即时性。

例如，传感器和相应的传感器数据来源于边缘终端，因此在终端侧处理和保存数据更具成本效益和可扩展性。

终端侧LLM现在具备视觉理解能力

高通AI研究近期演示了全球首个在Android手机上运行的多模态LLM。我们展示了一个超过70亿参数的大语言和视觉助理大模型(LLaVA)，其可接受包括文本和图像在内的多种类型的数据输入，并生成关于图像的多轮对话。通过全栈AI优化，LLaVA能够在搭载第三代骁龙8移动平台的参考设计上以实时响应的速度在终端侧生成token。

具有语言理解和视觉理解能力的LMM能够赋能诸多用例，例如识别和讨论复杂的视觉图案、物体和场景。

例如，视觉AI助手可以帮助视力障碍者更好地理解周围环境并与之互动，从而提高生活质量。

终端侧LLM现在具备听觉理解能力

在搭载骁龙XElite的WindowsPC上，高通近期还展示了全球首个在终端侧运行的超70亿参数的LMM，可接受文本和环境音频输入（如音乐、交通环境音频等），并基于音频内容生成多轮对话。

音频提供的更多情境信息可以帮助LMM针对用户的提示给出更佳答案。我们很高兴看到终端侧LMM现已支持视觉、语音和音频模态，并期待对更多模态的支持。

生成式AI时代刚刚开始，无限创新即将到来

更多终端侧生成式AI技术进步即将到来

打造能够更好理解情境信息的AI模型是获得更佳答案和体验提升的必要条件，多模态生成式AI正是即将应用于未来终端的最新变革性技术之一。欢迎阅读博客第二部分，我将深入介绍LoRA，探究它将如何帮助应对现有挑战，为消费者和企业规模化提供情境化、定制化和个性化体验。