AI浪潮之下,温冷存储迎来现实难题

随着Agentic AI相关应用快速落地,各行各业产生的数据体量正在快速膨胀。在海量的数据池当中,有相当一部分属于温冷数据,像大模型训练所用的各类语料素材、归档保存的媒体资源、科研原始资料,都归属于这一范畴。

这类数据不会被高频调用,但是又不能直接丢弃,未来开展模型迭代、复盘科研项目的时候,随时有可能需要调取读取。传统的存储方案很难同时把成本、能耗、访问效率三者兼顾到位。

如果使用机械硬盘长期保存,即便数据很少访问,设备也要持续通电运转,会带来不菲的电力与硬件开销。要是改用磁带做归档保存,虽然存储成本能够压得很低,但数据取回的等待时间偏长,遇到AI业务临时调取数据的场景,就会暴露出明显短板。行业一直希望找到一套折中方案,解决温冷数据长期存放的现实痛点。

全新存储系统亮相,即将开启真实场景试用

根据公开披露的信息,华为定于11月12日,在贵安云上屯举办新型存储系统试用启动现场会。这次活动代表这套存储产品,正式从实验室研发阶段,迈入客户真实环境的联合验证环节。

本次试商用的覆盖场景十分明确,重点面向大模型数据集、媒资归档、备份容灾、科研数据这几类大规模温冷数据业务。系统搭载华为自研磁电盘MED,核心技术上采用电场控磁的新思路,用来替换传统硬盘依靠电流生磁的工作机制凤凰网科技。

这套产品的设计目标十分清晰,希望做到存储成本贴近磁带,同时数据取回能力可以接近普通机械硬盘。通过把磁、电两种技术路径深度融合,搭建起一套区别于过往的存储架构,尝试破解长期困扰行业的温冷存储技术瓶颈,给海量数据长期保存提供一条新的解决路径。

重新平衡成本与性能,适配AI时代数据特征

很多人会有疑问,既然数据访问频次低,为什么不直接沿用磁带或者机械硬盘。AI业务的数据逻辑已经发生改变,温冷数据不再意味着可以长年束之高阁。

在大模型迭代的过程中,过去沉淀下来的历史数据集,时常需要被重新调取参与训练、对比实验。这就对存储介质提出双重要求,既要扛住海量数据带来的成本压力,又不能让数据调取等待时间过长。

传统方案往往陷入二选一的局面,追求低成本就要忍受读取慢,想要访问速度就要承担更高的硬件能耗与采购支出。这套新存储系统的研发出发点,就是打破这种非此即彼的局面。在架构设计层面做创新,不用简单叠加现有硬件,试图在成本、能耗、访问性能之间找到更优平衡点。

行业寄予期待,等待实地场景给出答案

业内分析人士认为,本次试商用启动,是华为布局AI温冷存储赛道的关键一步。这套存储如果能够在真实业务环境中顺利完成验证,就会给智能时代的数据基础设施,带来一种全新的可选方案。

存储的价值,早已不止是把数据简单保存下来。AI产业发展到当下,沉淀下来的历史数据本身就是重要资产。大量的语料、实验记录、行业资料,都需要妥善留存,等待后续业务重新挖掘价值。

不过技术最终成色,仍然要看实际落地表现。接下来一段时间,该系统会在真实业务环境下持续跑测,接受实际业务负载的检验。只有经过真实场景打磨,这套新架构才能够真正转化成可大规模普及使用的存力底座,服务AI产业海量温冷数据的存储需求。

(素材来自:华为 智算芯能前沿网综合)

本文由智算芯能前沿网编辑整理,转载请注明出处。