AI 工厂规模扩张带来运维新挑战
随着大模型训练、AI 推理业务持续发展，AI 工厂的硬件规模变得越来越庞大，大量 GPU 设备协同开展各类计算任务，整个系统的复杂程度也在快速提升。在这种大规模集群环境中，微小硬件异常就有可能影响整套业务，很多潜在故障信号混杂在海量运行数据中，传统监控工具很难及时捕捉。
过去不少数据中心的监控系统存在数据割裂的现实问题，计算、网络、存储各个模块产生的运行信息相互独立，不同团队只能看到各自负责板块的状态。一旦出现异常，系统会批量弹出大量零散告警，运维人员需要花费大量时间筛选信息，很难快速定位故障根源，容易造成算力资源闲置，直接拉低 AI 工厂整体产出水平。正是针对这一系列现实痛点，英伟达对外推出了名为 Minerva 的 AI 工厂运维平台，专门面向大型 AI 算力集群提供全链路观测与故障处置能力。
海量数据处理，实现告警降噪与根因定位
Minerva 平台的核心能力，是打通硬件基础设施与上层 AI 业务的运行遥测数据，把 GPU、网络交换设备、存储硬件以及 AI 作业运行状态的数据整合到同一套体系当中。平台具备很高的数据处理吞吐量，能够每小时分析数十亿个数据点，持续识别集群运行过程中的各类异常信号，提前预判还没有爆发的潜在故障风险。
大规模集群故障发生时，往往会触发一连串连锁告警，大量提示信息同时推送，很容易造成告警风暴，干扰运维人员判断。Minerva 可以把彼此关联的多条告警事件合并成单条待处理事项，同时结合 AI 工厂硬件拓扑结构，梳理出故障发生的可能诱因，帮助工作人员跳过无效信息，直接聚焦问题本身，减少排查消耗的时间成本。
平台会学习集群正常运行的各项指标，既识别已经见过的典型故障，也能发现从未出现过的新型异常情况。即便是数十万块 GPU 组成的超大型 AI 工厂，运维人员也可以顺着平台给出的线索，把训练任务变慢、业务报错这类上层现象，追溯到对应的具体硬件组件上，缩短问题定位链条。
内置 AI 助手，简化运维人员操作门槛
为进一步降低运维操作门槛，Minerva 搭载原生 AI 助手功能，不需要操作人员记忆复杂指令。运维人员直接使用自然语言就可以查询整个集群的健康情况，平台会结合收集到的各项运行指标给出判断，同时输出对应的故障修复建议。
在确认处理方案之后，工作人员还能够一键调用自动化处理流程，把排查出来的问题交由系统自动执行处置动作，不用再手动一步步操作多套管理系统。这套自然语言交互模式，降低了大型 AI 工厂对高端运维人才的依赖，普通运维人员也可以高效完成复杂集群的日常巡检与故障处理工作。
多家企业落地部署，硬件厂商加入生态合作
从实际落地情况来看，目前 IREN 已经率先完成 Minerva 平台的实际使用，验证平台在真实业务环境当中的运维能力。同时还有一批行业企业已经明确计划部署这套运维系统，名单包含 Aolani、Bitdeer AI、IBM、Jio、Lambda、Quake AI 以及特斯拉等不同领域的机构与企业。
除了直接使用平台的终端客户之外，主流服务器硬件厂商也选择参与进来。戴尔、联想、超微三家企业，会把 Minerva 能力整合进自家面向 AI 工厂打造的运维产品方案之中。这意味着后续很多由这些厂商交付的 AI 算力集群，用户可以直接选用这套运维能力，进一步扩大 Minerva 的行业覆盖范围。
在 AI 算力竞争加剧的当下，算力硬件性能已经得到持续提升，但如何管好庞大集群、减少停机故障，已经成为行业共同面对的课题。英伟达通过 Minerva 把软件运维工具和硬件生态绑定，也补齐 AI 工厂从硬件到运维软件的环节，帮助企业把昂贵的 GPU 算力尽可能转化成实际业务产出。
（素材来自：英伟达 智算芯能前沿网综合）
本文由智算芯能前沿网编辑整理，转载请注明出处。