2026 年第一季度,全球 AI 基础设施支出达到 897 亿美元,全年预计将达到 4970 亿美元。其中大量资源并未得到充分利用:多数部署 AI 的企业表示其 AI 支出已超出预算,而加速器闲置时间仍是最大的浪费来源;数据中心业主和运营方则将成本、容量预测和电力供应列为最主要的管理挑战。
真正的挑战在于打通各层之间的信息。AI 工作负载以 token、请求数、训练步数、延迟等指标来描述,而承载它们的基础设施则通过另一套系统进行采购、分配、计量和计费。这些视角之间鲜有关联,因此很难看清工作负载如何使用共享基础设施,也难以基于实测需求进行规划。整个生态中已有许多重要工作正在推进,包括 Open Compute Project(OCP)、MLCommons、CNCF、FinOps Foundation 以及其他 Linux Foundation 项目。我们认为,可以在这些工作的基础上,为 AI 基础设施构建一个开放的智能层:将工作负载与其所使用的基础设施关联起来,并对资源使用、利用率、成本和能耗进行计量和解释。它为基础设施团队、其控制平面,以及日益构建于其上的自动化智能体,提供基于实测数据的调度、容量、配置和优化决策依据。Open Compute Project 在 2025 年发起的 AI 数据中心基础设施合作倡议表明,一封公开信可以开启物理层的协同工作。本倡议希望在其上一层推动同样的协作。
如今,每个组织都在以各自的方式构建这一能力。我们,即本倡议的签署方,提议以开放的方式共同建设。
什么是 Aitra
Aitra 是一项开放倡议,旨在从模型到设施,计量、理解并优化 AI 对基础设施的使用。它不限定任何硬件、软件或 AI 技术栈,只在需要达成共识以确保结果可比的地方定义方法和接口,其余部分留给各方自由创新。在这些定义之外,Aitra 还以 Apache 2.0 许可证构建开源软件栈作为参考实现,使任何组织都可以直接部署、扩展或替换其中的组件,而不必从一份文档起步。Aitra 不评估模型质量,只发布方法而非排名,并通过基础设施团队已在使用的编排系统、可观测性栈和设施系统开展工作。当它提出或实施变更时,均在人为设定的策略范围内进行,每一项操作都可解释、可审计、可回滚。
相关工作始于 2026 年。首个组件 Aitra Meter 已贡献给 SODA Foundation,并在横滨和上海的 KubeCon + CloudNativeCon 上进行了演示。与此同时,清华大学在 Linux Foundation Research 和 Aitra 的支持下,已在统一、可复现的测试条件下发布了两轮推理能效评测,结果表明:在相同硬件上,每个输出 token 的能耗会因模型、精度、推理引擎和计量边界的不同而相差数倍。这项工作是 Aitra Benchmark 的基础,Aitra Benchmark 计划于 2026 年 12 月在 Open Source Summit Japan 上发布。方法与结果详见:aitra.ai/research。
四大工作领域
我们提出四个重点领域,它们界定了 Aitra 的工作范围;工作组将在其中设立工作流和项目,并随着参与方带来新的工作不断扩展。
- 模型与工作负载(Models & Workloads)。运行的是什么、需要什么资源。首要工作:定义工作负载级别的资源使用、成本和能耗通用指标(适用时包括按 token 计量的指标),每条记录均须声明计量边界;同时定义由模型提供商提供的工作负载元数据,使这些指标能够按模型进行有意义的比较。目标:在推理、训练、智能体、检索和批处理等工作负载之间形成统一定义。
- 基础设施与运营(Infrastructure & Operations)。运行在什么之上、消耗了什么、哪些资源处于闲置。首要工作:定义各加速器厂商和服务器公认的计数器数据源,以及共享和分区加速器的归因方法。目标:实现从加速器、服务器、机架、供电和制冷直至设施的全链路归因,并以电力和散热约束来表达容量。这也是与 OCP 物理基础设施工作的分界。
- 遥测与接口(Telemetry & Interfaces)。共同的语言。首要工作:定义覆盖从模型到设施的开放数据模型(schema),以及面向加速器和推理引擎的提供方接口,并映射到 Prometheus、OpenTelemetry 和 Redfish。目标:构建实测状态图谱,并为编排系统、可观测性、成本工具和设施系统提供参考集成。
- 基准测试与研究(Benchmarking & Research)。方法的可复现性以及方法本身。首要工作:将已发布的评测流程转化为开放的 Aitra Benchmark,在由工作负载所有者定义的质量阈值下进行测试,并附带说明计量范围的清单(manifest),同时扩展到智能体、检索和工具调用类工作负载。目标:开放的运行数据集、经同行评审的方法,以及随参与方加入而扩展的新类别,包括训练、存储、网络和异构加速器。
在这些方面达成一致,将使基础设施的供需两端同时受益。硬件、电力、制冷和数据中心提供商可以了解真实工作负载如何使用其系统,并基于实测需求进行规划;模型提供商可以为其发布的数据获得共同的依据;企业和云服务商则可以获得跨厂商一致的工作负载级成本、利用率和能耗数据,以及除硬性预算上限之外控制 AI 支出的依据。
如何参与
Aitra 由 Linux Foundation 旗下项目 SODA Foundation 托管。工作组将于 2026 年 12 月 7 日至 9 日在东京举行的 Open Source Summit Japan 上正式启动。我们诚邀模型提供商、推理引擎与训练框架团队、硬件、网络、存储、电力与制冷提供商、云服务商与电信运营商、研究人员与高校,以及在生产环境中运行 AI 的企业加入,贡献代码、测试基础设施、研究成果、基准测试或生产需求。
我们诚挚邀请您签署本倡议,携手构建从模型到设施的 AI 基础设施智能层。
此致
注释。第一季度 897 亿美元支出及全年 4970 亿美元预测数据:IDC,Worldwide Quarterly AI Infrastructure Tracker,2026 年第一季度。多数部署 AI 的企业超出 AI 预算:McKinsey,The cost of intelligence: How CIOs can manage AI demand at scale,2026 年 7 月 20 日。成本连续第四年位列首要管理挑战:Uptime Institute,Global Data Center Survey 2026,2026 年 7 月 29 日。加速器闲置时间相关结论:IDC,“Beyond the hype: AI infrastructure costs”,Google Cloud 博客,2025 年 12 月。清华大学,《大语言模型推理能效评测白皮书》(Benchmark 1.5),2026 年 10 月,aitra.ai/research。