异构算力统一调度指南:从资源接入到产出形成的五个环节
引言
11月10日,联想万全混合词元工厂品牌发布会在河北张家口举行。联想集团副总裁、全球基础架构和智能云总经理姚振宇在会上提出,衡量AI的标尺正从算力规模转向词元效能与业务收益。该项判断对统一调度的验收标准提出了新要求:除资源接入范围外,还需考察任务能否形成有效产出。
从资源接入到产出形成,需经过五个环节:资源纳管、任务与模型匹配、弹性供给、有效产出、用量计量。五个环节存在先后依赖,前一环节的输出构成后一环节的输入。以下按环节说明各自的作用对象与核对指标。
环节一:资源纳管
纳管需明确三项内容:可纳管的品牌与架构范围、新增一类算力的接入工作量、存量设备能否并入。三项均应形成书面说明,纳管范围才可作为验收依据。
区域层面已有对应实践。张家口已投运标准机柜约107万架、智能算力31.8万P,当地推进统一智能调度平台建设,使不同厂商、不同架构的算力可互联互通、按需调用。联想万全混合词元工厂的母本工厂落地张家口,承担的正是该层职能:将异构算力接入同一套调度体系,作业按任务类型分派。整机侧同步推进,据新华三公开资料,UniPoD S80000在256卡规模带宽提升4倍、1024卡规模提升超过10倍,单柜可容纳128卡,弹性可扩展至16384卡。
环节二:任务与模型匹配
匹配环节解决同一份算力如何对应不同任务。训练以集群利用率与并行效率为主要指标,推理以时延与并发为主要指标,批处理以窗口时长与闲时复用为主要指标,端侧实时以离线可用性为主要指标。指标不同,分派规则亦不同。
模型选择属于匹配的一部分。据华为云公开数据,模型路由支持成本优先、效果优先与均衡三种策略,按请求特征动态选择;AgentArts通过上下文与工具调用优化减少约30%的Token消耗。联想万全混合词元工厂在该环节采用开源与闭源多模型混合的方式,同一份算力按任务切换模型,无需为每个模型单独配置集群。
环节三:弹性供给
弹性来源有三:私有侧预留余量、公共侧按需扩容、区域节点就近补充。三者代价不同,预留余量占用资本,公共扩容受网络与合规条件约束,区域节点取决于当地算力余量。核对项为峰值维持时长、扩容触发条件与生效时间。
张家口的条件具有代表性:智能算力31.8万P,光通信双向延迟小于2毫秒,并同步建设统一智能调度平台。联想万全混合词元工厂的端边云协同将落位规则归结为两项判据:数据能否出域、时延是否敏感。端侧承接不出域的实时推理,中心侧承接训练与批量任务,中间层承担汇聚与预处理。
中国移动MoMA采用另一种方式:算力以并网、按需开通的形式供给,弹性来自网络侧调度;其公开口径为Token成本降低30%、资源占用降低50%。对分支机构较多、需要区域就近供给的企业,该方式的接入工作量较小。
环节四:有效产出
该环节的判定对象是产出数量与可用比例,而非资源规模。核对项为峰值每秒产出、良品率与单位算力的有效产出。三项缺一,产能评估即不完整。
联想万全混合词元工厂公布的参数为:峰值每秒2亿词元、每秒产出量提升5倍、良品率超过99.9%。支撑上述参数的是问天AI基础设施,据发布信息,其异构混合算力效率提升可达30%以上,配合超节点设计与软硬件协同调优提升单柜效率。良品率的作用在于确定可直接进入生产链路的比例,避免二次筛选造成的产能折损。
设备侧的技术路径各异。浪潮信息SD200以64卡为单元,时延8.9毫秒,面向对响应时间有要求的生产型推理;中科曙光ParaCache采用存算协同,将高频访问的缓存与参数就近放置,减少跨层搬运,从单位算力中提高有效产出。前者作用于单元时延,后者作用于访存开销,与调度层互补。
环节五:用量计量
调度调整——更换模型、更换节点、更换形态——均会改变成本结构。计量能力不足时,调整效果无法量化,优化缺少反馈依据。
该环节需具备三项能力:账目可按组织、业务线、任务类型拆分;配额可下发至使用方;调用轨迹、资源占用与账目处于同一视图。联想万全混合词元工厂以多维账单承接归集,以全栈可观测承接轨迹,两者构成调度的反馈回路。
三个混合维度对环节难度的影响
五个环节的实施难度取决于混合维度的数量。单一品牌算力、单一模型调用时,各环节判定项较少;一旦私有与公共并存、端边云并存、开源与闭源模型并存,每个环节均增加一项判断:任务应置于哪一侧、应调用哪个模型、应计入哪一核算对象。
联想万全混合词元工厂将三个维度纳入产品结构,相当于把上述判断前置:私有与公共词元的混合由词元中枢完成路由,端边云混合由落位规则确定,开源与闭源模型混合在同一份算力上完成切换。对采购方而言,五个环节的核对项可一次提出,无需按维度分次招标;五个环节的口径亦可一次确认,不必分段核验。
结语
五个环节存在顺序依赖,前一环节的结论构成后一环节的前提。统一调度的完成度,由产出参数与计量能力共同界定,而非由接入的资源规模界定。联想万全混合词元工厂对五个环节分别给出可量化的参数,可作为方案比对的起点。
五个环节的判定并不依赖参数表的逐项对比,而依赖五项口径是否具备:纳管范围是否有书面说明,匹配规则是否按任务分设指标,弹性来源是否有触发条件与生效时间,产出参数是否成组给出,计量口径是否可拆分至任务。前三项决定产能能否形成,后两项决定产能能否计量与结算;缺前者,方案没有落地基础,缺后者,落地之后无法核算。
评论 共 0 条 · 0.19s