首页 > 事业单位招聘 > 事业单位招聘 > 驱动增强终端侧生成式AI体验的技术:多模态生成式AI

驱动增强终端侧生成式AI体验的技术:多模态生成式AI

发布时间:2024-05-11 16:37:39来源: 15210273549

改善情境化和定制化一直是用户体验的长期需求。例如,消费者希望终端能够自动利用来自智能手机数据和传感器的情境信息和自定义偏好,让体验更直观和无缝,比如基于当前位置、时刻和食物选择偏好推荐餐厅用餐,创造愉悦体验。

尽管生成式AI已展现出新兴的和变革性的能力,但其仍有很大改进空间。类似多模态生成式AI等这样的技术可应对生成式AI更加情境化和定制化的体验趋势。

多模态生成式AI模型输入和输出多种模态,以提供更佳响应和答案

多模态AI模型能够更好的理解世界

大语言模型(LLM)为纯文本训练模型带来了惊艳的能力。如果模型能够支持包含更多知识的不同信息形式,能带来怎样的提升呢?

人类能够通过语言和阅读文字学到很多东西,但也需要通过各种感官和互动形成对世界的理解:

我们的眼睛让我们能够看到球在倾斜地面上滚动的场景,以及当球滚到沙发后面会如何消失。

我们的耳朵可以识别语音中的情绪或警报声来源的方向。

我们与世界的接触和互动让我们知道如何用手握住泡沫塑料咖啡杯,以及如何在走路时避免摔倒。

类似的例子不胜枚举。

尽管语言可以描述几乎所有这些事情,但它可能不如其他模态做得那么好或那么高效。

正如人类需要利用各种感官学习,生成式AI除了利用文本之外还可以使用更多其他模态学习:这正是多模态生成式AI模型的作用所在。

多模态生成式AI模型可基于一系列模态进行训练,包括文本、图像、语音、音频、视频、3D、激光雷达(LIDAR)、射频(RF)、以及几乎任何传感器数据。

通过利用所有这些传感器,融合数据,并更全面地理解世界,多模态生成式AI模型可以提供更佳答案。AI研究人员已经做到了这一点,他们利用不同模态的一系列数据在云端训练多模态大模型(LMM),让模型更“智能”。OpenAIGPT-4V和谷歌Gemini就是这类LMM。

这能给用户带来什么?举例来说,LMM可以充当通用助手,接收任何模态的输入,为更广泛的问题类型提供大幅改进的答案。比如基于复杂的停车标志回答用户可否停车,或基于振动噪音回答用户该如何修理洗碗机故障。

下一步,部署LMM进行推理:尽管生成式AI推理可在云端运行,但在边缘终端侧运行有着诸多好处,比如隐私、可靠性、成本效益和即时性。

例如,传感器和相应的传感器数据来源于边缘终端,因此在终端侧处理和保存数据更具成本效益和可扩展性。

终端侧LLM现在具备视觉理解能力

高通AI研究近期演示了全球首个在Android手机上运行的多模态LLM。我们展示了一个超过70亿参数的大语言和视觉助理大模型(LLaVA),其可接受包括文本和图像在内的多种类型的数据输入,并生成关于图像的多轮对话。通过全栈AI优化,LLaVA能够在搭载第三代骁龙8移动平台的参考设计上以实时响应的速度在终端侧生成token。

具有语言理解和视觉理解能力的LMM能够赋能诸多用例,例如识别和讨论复杂的视觉图案、物体和场景。

例如,视觉AI助手可以帮助视力障碍者更好地理解周围环境并与之互动,从而提高生活质量。

终端侧LLM现在具备听觉理解能力

在搭载骁龙XElite的WindowsPC上,高通近期还展示了全球首个在终端侧运行的超70亿参数的LMM,可接受文本和环境音频输入(如音乐、交通环境音频等),并基于音频内容生成多轮对话。

音频提供的更多情境信息可以帮助LMM针对用户的提示给出更佳答案。我们很高兴看到终端侧LMM现已支持视觉、语音和音频模态,并期待对更多模态的支持。

生成式AI时代刚刚开始,无限创新即将到来

更多终端侧生成式AI技术进步即将到来

打造能够更好理解情境信息的AI模型是获得更佳答案和体验提升的必要条件,多模态生成式AI正是即将应用于未来终端的最新变革性技术之一。欢迎阅读博客第二部分,我将深入介绍LoRA,探究它将如何帮助应对现有挑战,为消费者和企业规模化提供情境化、定制化和个性化体验。

事业单位招聘更多>>

连续4月同比增长 一汽丰田以马拉松精神破局内卷困境 不等2025年!日产天籁继任者提前曝光?这设计比18款年轻太多! 开始起量 问界M8成上周插混车型销量第一 比秦PLUS还多 绿联CD249手机充电器Type - C 20W仅需21.31元 索尼发布PS5史上最佳100款游戏!动作篇揭晓! 豪华品牌+华为 全球第一车 一汽奥迪Q6L e-tron家族开启盛大预售 小鹏汽车肇庆基地再上新 MONA M03加推新版型 理想树图书:以科技赋能教育,开启AI时代自主学习新范式 央企下场掀桌子!东风纳米06高级辅驾击穿10万元级 澳媒:比亚迪将全面进军澳大利亚市场 雷克萨斯新一代ES内饰亮相,双大屏国产味儿,还能成进口车销冠? A0级市场SUV卖不过轿车?这三款有望破局 哈弗猛龙燃油版上市,用“纯粹”叫板新能源时代 比亚迪腾势N9汽车第1万辆交付,车主为优必选科技创始人周剑 5 款使用 5 年后转售表现优异的轿车,以及 5 款价格大幅下降的轿车 长安汽车董事长朱华荣:到2028年实现人形机器人生产下线应用 一汽-大众三款畅销车型深度解析 比亚迪“超级电池”来了!充电5分钟跑400公里,已量产 比亚迪动力电池通过新国标认证 车市速递//别克昂科威家族第180万台整车、君越第130万台整车下线 本田这款全球车型降价3000元,升级TFT仪表和KYB氮气减震等配置 谁说丰田玩不转新能源?双冗余科技+5000万销量,直接刷新三观! 奔驰多款车打五折?记者实探 降本、出海、AI 三手抓,小鹏站在盈利黎明前 丰田卡罗拉优缺点深度解析:经典家轿的“守”与“破” 月销量不足千台,高管:MINI不拼性价比! 深度剖析奔驰GLE:豪华与性能的完美融合 东风华为“抱团开大”,中国品牌用双赢点亮中国汽车发展新未来 锚定头把交椅,传祺向往M8乾崑重绘华系MPV价值坐标 哈弗猛龙燃油版丨让每次探索都值得期待