0


华为云AI-Native智算存储,引领AI时代数据存储变革

2024年6月23日,在华为开发者大会 2024上,“AI-Native智算存储,引领AI时代数据存储变革”高峰论坛成功举办。华为云存储服务产品部邀请知名学者、专家、企业家,共同探讨AI时代的前沿存储技术,分享成功实践、联合创新及智能化经验,见证智能世界的日新月异,携手共建AI时代数据存储的坚实底座。

紧抓云存储机遇,找准方向破局

清华大学舒继武教授在《AI大模型时代,云存储发展的机遇与挑战》的主题演讲中解读了AI大模型时代的云存储的发展趋势、面临的机遇与挑战,并指出了破局思路:用AI原生的文件存储服务应对海量文件管理的挑战,用以GPU为中心的模型数据存储服务应对大模型训练推理过程中的存储扩容、显存容错与显存扩容的挑战。

清华大学教授 舒继武

AI-Native智算存储,引领AI时代数据存储变革

“AI时代正在全业务流重塑对云存储的关键需求,云存储成为算力之外的第二生产力。”华为云存储服务产品部部长林超在《AI-Native智算存储,引领AI时代数据存储变革》演讲中指出。

华为云存储服务产品部部长 林超

华为云存储提供面向AI的全业务流存储产品对象存储OBS、文件存储SFS Turbo、内存存储EMS、知识湖存储LMS,通过以存助算/强算/代算/补算,全面引领产业变革:

  • 数据加载:OBS+SFS Turbo联动,海量小文件快速预热,10亿条小文件训练原始数据0.5h加载完成。
  • 模型训练:SFS Turbo三级缓存加速,任务快照数据秒级恢复,节省AI算力资源。
  • 推理问答:业界首创EMS弹性内存存储服务,打破AI内存墙,实现显存扩展,NPU算力节省50%;实现算力卸载,KV计算卸载至CPU+EMS,吞吐量提升100%;实现以存代算,缓存和复用历史KV计算结果,首Token时延降低80%。
  • RAG:LMS读写算分离+Memory Index打造千亿规模知识湖,实现千亿数据毫秒级查询,成本降低50%。
  • AIGC:OBS智能分级助力热温冷存储成本降低20%,Storage lens存储指标分析平台使能数据管理效率提升20%。

AI-Native智算存储存储白皮书 发布仪式

会上华为云存储服务产品部部长与发言嘉宾共同发布了《AI-Native智算存储存储白皮书》。白皮书阐述了对AI时代数据存储技术趋势的深刻洞察和前瞻思考。

携手华为云存储,加速迈进AI新时代

华为流程IT首席存储架构师叶飞在《AI-Native智算存储助力华为IT智能化升级》主题演讲中指出,华为IT紧抓AI大模型技术变革的机遇,全面拥抱AIGC,构建统一AI流水线和AI资源工具链,服务1+6+1可和1+6+N产业颗粒智能化升级,提升各领域的作业效率和质量,打造万物互联的智能华为。华为IT系统应用SFS Turbo助力算力集群存储秒级快速恢复,为模型训练提速,实现4000万RMB/年节约。在代码检视中,华为IT与华为云存储联合创新,应用EMS助力显存扩展,增强AI辅助IT研发能力,提升代码检视准确性。在Welink云空间应用中,面临空间数据种类多、数据量大的挑战,华为IT应用LMS使能高效向量化检索实现海量文件内容的精准获取。

华为流程IT首席存储架构师 叶飞

“AI时代,AI数字人是一种新质生产力,被广泛应用于娱乐、旅游、零售等各行各业。华为云存储为硅基数字人提供高并发保障,降低300%成本。”南京硅基智能科技有限公司生态运营总监葛军分享《硅基生命崛起,AIGC数字人行业应用》时表示。硅基智能应用SFS Turbo+OBS使能数字人模型高效多Region分发,额外增加SFS Turbo带宽性能为AI数字人推理提速。在AI数字人实时对话场景中,硅基智能与华为云存储EMS联合创新,以存代算,缓存和复用历史KV计算结果,节省算力、降低首Token时延,提高数字人交互体验。

南京硅基智能科技有限公司生态运营总监 葛军

杭州波形智能科技有限公司联合创始人&CTO 周王春澍在《AI-Native智算存储加速WEAVER大模型训练推理》主题演讲中指出,在WEAVER大模型无限长文本生成场景中,EMS有效扩展显存,以存代算,节省算力,加速蛙蛙写作应答,为用户提供了更优的创作体验。在WEAVER大模型的训练场景中,SFS-Turbo为垂域大模型的训练提供了高效、稳定、低成本的存储侧解决方案。

杭州波形智能科技有限公司联合创始人&CTO 周王春澍

江苏赞奇科技股份有限公司研发总监张鹏在《华为云存储加速渲云云渲染》主题演讲中指出,赞奇科技依托华为云底层优势资源,携手把更好国产SaaS带给行业伙伴。在渲云云渲染的实际业务中,SFS Turbo有效支撑了渲染素材并发读取,支持同时挂载8000+计算节点,并已有效运行5年。在渲染虚拟机批量创建场景中,EVS(云硬盘)镜像缓存使能分钟级上千台虚拟机并发启动、高效渲染环境初始化、本地100GB+缓存并发读写,高效保障了渲染虚拟机批量创建。

江苏赞奇科技股份有限公司研发总监 张鹏

AI时代,数据正以超越想象的方式产生和应用。当昨天的不可思议,变得习以为常,数据的存储方式,必将再次变革。从“数据湖存储”向“AI-Native智算存储”跃迁,正在开启AI时代数据存储新纪元。携手华为云AI-Native智算存储,加速迈进AI新时代!

点击关注,第一时间了解华为云新鲜技术~


本文转载自: https://blog.csdn.net/devcloud/article/details/139902857
版权归原作者 华为云开发者联盟 所有, 如有侵权,请联系我们删除。

“华为云AI-Native智算存储,引领AI时代数据存储变革”的评论:

还没有评论