MILE米乐集团- 华为公布AI模型运行新专利：优化数据预取降低延时

2025-10-27

　　【MILE米乐集团科技消息】9月5日，天眼查App信息显示，华为技术有限公司申请的“AI模型的运行方法、装置、程序产品和存储介质”专利已正式公布。该专利于当日公开，旨在优化人工智能模型在异构计算环境下的运行效率，减少因数据搬运导致的处理延迟。

华为公布AI模型运行新专利：优化数据预取降低延时

　　根据专利摘要，该技术属于机器学习领域，主要应用于包含处理器与计算卡协同工作的主机系统。在AI模型训练或推理过程中，输入数据通常分批处理。当系统处理第二组数据时，若其包含前一批数据中未出现的新数据，传统架构需临时从主机内存调取相关嵌入向量（Embedding Vector），易造成计算卡等待，影响整体效率。

　　华为此次公布的方案提出了一种前瞻性的数据预取机制。具体而言，主机的处理器会先分析相邻两组输入数据的差异，识别出在第二数据组中出现但未存在于第一数据组中的“第一数据”。随后，系统提前将这部分新增数据对应的嵌入向量预取至处理器本地的第一内存，并生成相应的向量信息。

　　关键在于，在计算卡处理第二组数据的同时，系统可根据预生成的向量信息，将所需嵌入向量从主机端的第一内存快速预取至计算卡自带的第二内存中。这一操作实现了数据搬运与计算过程的并行化，有效避免了计算资源的空闲等待，从而显著降低整体处理延时。

-MILE米乐集团

热门资讯

企业数字化智能体：打造企业数智化AI底座

2024-04-02

TitanIDE（社区版）重磅免费开放使用！

2023-09-26

CloudOS：落地平台工程，实现真正的DevOps

2023-08-16

热门标签

企业数字化智能体 Agent AI 智能体企业智能体数智化AI底座 TitanIDE（社区版）免费在线代码编辑器 CloudIDE免费 TitanIDE免费云端IDE 平台工程 DevOps CloudOS 云原生开发平台落地平台工程云原生物联网开发平台云原生物联网物联网容器云 cloudos 微服务容器编排边端交付 TITANIDE 在线IDE 云原生开发远程研发 IDE TitanIDE 云端开发环境模板 K8s 不懂K8s也能用K8s