当前所在位置:首页 > 十大线上配资公司排名

边缘AI:大语言模型的终端部署 推动新一轮终端需求

7631

2024-06-19 【 字体:

  大模型参数量级飞涨,相应训练集需同比提升。李开复定义AI 2.0 时代的特征是通过海量数据,无需标注自监督学习,训练一个基础大模型,并在各领域将其专业化。据相关论文,当模型的参数量大于某阈值,会展现出类似推理、无监督学习等未曾出现的能力,这种现象被称为“涌现”,因此目前大语言模型参数均在十亿量级以上。同时,Deepmind 研究表明,模型参数的上涨需要配合等比例上升的优质数据集来达到最佳训练效果。因此,大模型参数在十亿级以上发展并受限于优质数据集的增速是AI 发展的必然趋势。  大模型增长挑战芯片算力和内存,无法实现完整端侧部署。大模型训练和推理的三大瓶颈是算力、显存和通信,根据我们的测算,算力方面GPT-3 训练所需算力为121528 TFLOPS,若30 天内完成,需要1558 颗A100。内存角度,GPT-3 训练至少需要3.2T 内存,至少44 张A100,推理任务则主要受显存限制,需要4 至8 张A100,因此完整的模型无法在终端上离线运行。  优化后大模型可在旗舰机型芯片上运行,AI 落地有望推动新一轮换机潮。  AI 部署本地化具有必要性,优势包括更低的延迟、更小的带宽、提高数据安全、保护数据隐私、高可靠性等。完整的大模型仅参数权重就占满一张80G的GPU,但是通过量化、知识蒸馏、剪枝等优化,大模型可以在手机本地实现推理。高通团队使用骁龙8 Gen2 部署Stable Diffusion,实现本地运营15 秒出图,证明了大模型本地化运行的可能,也体现出目前手机芯片的局限性。根据IDC 数据,1Q23 全球手机销量中主处理器频率超过2.8GHz 的占比36%,价格在1000 美金以上的占比13%,即旗舰机型占比较低,随着AI 大模型在边缘端落地,有望推动新一轮换机潮。  以大语言模型为核心,以语言为接口,控制多AI 模型系统,构建“贾维斯”式智能管家。我们认为大语言模型不仅可以实现对话、创意,未来也有望作为众多复杂AI 模型的控制中心,同时也是接受用户指令的交互窗口,实现《钢铁侠》电影中“贾维斯”式综合智能管家。23 年5 月,Google 推出PaLM2 轻量版Gecko,其可在最新的旗舰机型上离线运行。同月,OpenAI 首次推出ChatGPT 移动端应用,各家大厂正式进入AI 模型移动端创新、竞争时期。  智能音箱、全屋智能中控屏、手机、MR 等均有望成为这一时代的交互入口。  产业链相关公司:半导体:晶晨股份、瑞芯微、全志科技、北京君正、兆易创新;消费电子:传音控股、歌尔股份、福立旺、闻泰科技、创维数字。  风险提示:AI 技术发展不及预期;边缘端芯片发展不及预期。

【免责声明】本文仅代表第三方观点,不代表和讯网立场。投资者据此操作,风险请自担。

阅读全文
相关推荐

全国人大常委会委员吕世明:让无障碍与中国式现代化相伴而行

全国人大常委会委员吕世明:让无障碍与中国式现代化相伴而行
“过去这一年,你们的城市在无障碍环境建设上,有什么突出成果?” 在近期的一场培...

华立科技:欢迎您致电公司投资者关系热线020-39226386,对于您关注的事项,我们将为您详细解

华立科技:欢迎您致电公司投资者关系热线020-39226386,对于您关注的事项,我们将为您详细解
证券之星消息,华立科技(301011)09月07日在投资者关系平台上答复投资者关...

恶性肿瘤患者胆汁淤积黄疸极高,家门口医院微创引流转危为安

恶性肿瘤患者胆汁淤积黄疸极高,家门口医院微创引流转危为安
恶性肿瘤晚期侵犯胆道导致胆汁淤积,如不及时疏通,患者浑身黄染、黄疸畸高,严重影响...

首批可投资新三板精选层公募基金产品获批 华夏基金等机构抢食头啖汤

首批可投资新三板精选层公募基金产品获批 华夏基金等机构抢食头啖汤
中证网讯(记者 吴娟娟)6月3日,记者从业内获悉,华夏、南方、富国、万家等基金公...

司机:家人们不要慌,待我导航一下 ​​​

司机:家人们不要慌,待我导航一下 ​​​
司机:家人们不要慌,待我导航一下 ​​​鳳凰新聞">鳳凰新聞">鳳凰新聞">鳳凰...

俄罗斯被闪击战击败以后,不相信是这一切是乌克兰人指挥战斗并参与其中的

俄罗斯被闪击战击败以后,不相信是这一切是乌克兰人指挥战斗并参与其中的
【俄罗斯被闪击战击败以后,不相信是这一切是乌克兰人指挥战斗并参与其中的】在库尔斯...

暴雨持续发威!广州局地雨量破极值,广东的雨都下在哪?

暴雨持续发威!广州局地雨量破极值,广东的雨都下在哪?
周末连绵不绝的雨,有没有让你感到厌烦?新的一周,熟悉的雨雨雨又来了,广州的雨大到...

8月19日勘设股份(603458)龙虎榜数据:游资上海超短、上塘路上榜

8月19日勘设股份(603458)龙虎榜数据:游资上海超短、上塘路上榜
证券之星消息,沪深交易所2024年8月19日公布的交易公开信息显示,勘设股份(6...

南都直击:广州监管部门突检城中村电费加价,有人当场被查

南都直击:广州监管部门突检城中村电费加价,有人当场被查
“城中村租房电价乱收费”再次成为大众关注焦点。近期,南都连续报道广州城中村电费加...

2024北京车展:全新大众途观L PRO正式亮相

2024北京车展:全新大众途观L PRO正式亮相
在2024北京车展上,上汽大众全新途观L PRO正式亮相,新车将推出三款配置车型...