层级定义：为所有 AI 应用提供"算力-模型分发-数据-工程化"底座的项目。边界：不含模型权重（见分册02）、不含应用框架（见分册03）。 金额单位：亿美元（USD，2026 不变价）；Y1=2027…Y10=2036；口径=全球可寻址市场年支出（TAM），±40% 不确定带。 项目标注：✅=本评估经 GitHub API 核实；○≈公知约数。排序依据见 00 分册第四节。
C01 LLM 推理引擎
范围：高吞吐模型 serving（连续批处理/PagedAttention/调度）。边界：不含桌面端（C04）与编译内核（C23）。 代表项目：vLLM ○96.6k✅（事实标准，云厂商默认选型）、llama.cpp ✅134k（CPU/边缘之王，私有化部署底座）、SGLang ○（RadixAttention 新锐）、TensorRT-LLM ○（NVIDIA 官方）、TGI ○（HF 官方）、LocalAI ✅50k（OpenAI 兼容聚合）。 六维：需求持续性★★★★（推理成本刚性，模型升级越快越需要高效 serving）｜商业化★★★★（云托管/企业支持）｜生态★★★★★｜壁垒★★★★（工程深、调优knowhow）｜扩展性★★★★★ 主要风险：新硬件架构使当前优化失效；大厂自研引擎内化需求。 | 年 | Y1 | Y2 | Y3 | Y4 | Y5 | Y6 | Y7 | Y8 | Y9 | Y10 | |---|---|---|---|---|---|---|---|---|---|---| | TAM | 120 | 146 | 176 | 211 | 251 | 296 | 345 | 400 | 459 | 522 | 关键假设：推理支出占 GenAI 软件 40%→45%；单 token 价格年降 15% 被调用量增长对冲；开源引擎渗透率 60%→80%。
C02 模型量化与压缩
范围：低比特量化（GGUF/GPTQ/AWQ）、剪枝、蒸馏、结构化稀疏工具链。 代表项目：llama.cpp（量化生态✅）、GPTQModel ○、AutoAWQ ○、llm-compressor ○（vLLM 系）、bitsandbytes ○（训练侧量化）、candle ○（Rust 推理轻栈）。 六维：需求持续★★★★★（端侧/成本驱动，模型越大越需要）｜商业化★★★（工具开源，靠企业支持）｜生态★★★★｜壁垒★★（算法透明易追赶）｜扩展性★★★★ 主要风险：硬件厂商内置压缩（如 NPU 原生低比特）边缘化第三方；精度争议导致保守采用。 | 年 | Y1 | Y2 | Y3 | Y4 | Y5 | Y6 | Y7 | Y8 | Y9 | Y10 | |---|---|---|---|---|---|---|---|---|---|---| | TAM | 18 | 22 | 27 | 33 | 41 | 50 | 61 | 74 | 88 | 104 | 关键假设：端侧模型量 2027 年 5 倍增；压缩工具渗透率 40%→85%；单价年降 10%。
C03 注意力与 KV 优化
范围：FlashAttention 系、稀疏/线性注意力、KV cache 压缩与共享。 代表项目：FlashAttention ○（斯坦福/Together，训练推理同受益）、FlashInfer ○、vLLM PagedAttention ✅（内置）、KVCache 类研究仓库 ○。 六维：需求★★★★｜商业化★★（多以论文+内核库存在，靠大厂赞助）｜生态★★★★（被一切引擎引用）｜壁垒★★★★（CUDA 工程深）｜扩展性★★★ 主要风险：新注意力范式（线性注意力成熟）使现有内核退役；被引擎项目吞并。 | 年 | Y1 | Y2 | Y3 | Y4 | Y5 | Y6 | Y7 | Y8 | Y9 | Y10 | |---|---|---|---|---|---|---|---|---|---|---| | TAM | 8 | 10 | 12 | 15 | 19 | 23 | 28 | 34 | 40 | 48 | 关键假设：内核价值主要体现为引擎溢价，独立采购占比低；年增速跟随长上下文需求 26%。
C04 本地推理桌面客户端
范围：端侧运行 LLM 的 GUI/CLI 客户端（含模型管理）。 代表项目：Ollama ✅186k（事实标准，企业本地部署入口）、Jan ✅46k、LM Studio ○（闭源参考）、textgen ✅48k（AGPL）、llamafile ✅27k（单文件分发）、GPT4All 🔴✅77k（已停维护，降权示例）。 六维：需求★★★★（隐私+离线刚性）｜商业化★★★（企业版/托管）｜生态★★★★｜壁垒★★（易被平台吞并）｜扩展性★★★ 主要风险：OS 厂商内置 AI（Windows Copilot/Apple Intelligence）挤压独立客户端；模型分发渠道变化。 | 年 | Y1 | Y2 | Y3 | Y4 | Y5 | Y6 | Y7 | Y8 | Y9 | Y10 | |---|---|---|---|---|---|---|---|---|---|---| | TAM | 8 | 10 | 12 | 15 | 19 | 24 | 29 | 36 | 44 | 53 | 关键假设：本地部署场景（政企/隐私）年增 25%；开源客户端占本地部署工具 70%。
C05 OpenAI 兼容网关与路由
范围：多模型统一 API、路由、限流、计费、回退。 代表项目：LiteLLM ✅63k（行业标准件，MIT）、LocalAI ✅50k、OneAPI ○（国内常用）、OpenRouter ○（闭源对标，验证市场存在）。 六维：需求★★★★★（多模型混布是企业常态，模型越多越需要）｜商业化★★★★（企业版/托管）｜生态★★★★｜壁垒★★★（路由策略数据积累）｜扩展性★★★★★ 主要风险：协议本身被大模型厂商统一；云厂商内置网关。 | 年 | Y1 | Y2 | Y3 | Y4 | Y5 | Y6 | Y7 | Y8 | Y9 | Y10 | |---|---|---|---|---|---|---|---|---|---|---| | TAM | 5 | 6 | 8 | 10 | 13 | 16 | 20 | 25 | 31 | 38 | 关键假设：企业平均使用模型数 3→7；网关渗透企业级部署 30%→70%。
C06 模型服务编排平台
范围：模型部署、自动扩缩、灰度、A/B、回滚（K8s 之上）。 代表项目：Ray Serve ○（Anyscale 生态）、BentoML ○、KServe ○、Xinference ✅9.6k、Triton Inference Server ○（NVIDIA）。 六维：需求★★★★｜商业化★★★★｜生态★★★｜壁垒★★★｜扩展性★★★★ 主要风险：K8s 生态原生方案（Helm+Gateway）成熟后独立平台价值稀释。 | 年 | Y1 | Y2 | Y3 | Y4 | Y5 | Y6 | Y7 | Y8 | Y9 | Y10 | |---|---|---|---|---|---|---|---|---|---|---| | TAM | 15 | 18 | 22 | 27 | 32 | 39 | 47 | 56 | 66 | 78 | 关键假设：模型服务实例数年增 35%；编排平台渗透率 25%→60%。
C07 GPU 算力调度与虚拟化
范围：集群调度、GPU 切分/共享、算力交易所（开源部分）。 代表项目：Ray ○（分布式调度事实标准）、Kubernetes + GPU operator ○、vGPU 类开源 ○、Slurm ○（HPC 传统）。 六维：需求★★★★★（算力永远稀缺）｜商业化★★★★★（基础设施级收入）｜生态★★★★★｜壁垒★★★★｜扩展性★★★★★ 主要风险：云厂商全栈自研；NVIDIA 官方栈（CUDA/MIG）锁定。 | 年 | Y1 | Y2 | Y3 | Y4 | Y5 | Y6 | Y7 | Y8 | Y9 | Y10 | |---|---|---|---|---|---|---|---|---|---|---| | TAM | 90 | 111 | 136 | 165 | 200 | 240 | 286 | 339 | 399 | 466 | 关键假设：AI 集群规模年增 25%；调度软件占算力成本 3%→5%。
C08 Serverless GPU 平台
范围：按秒计费 GPU 函数计算（开源可自托管部分）。 代表项目：Modal ○（闭源对标）、RunPod worker 模板 ○、Knative + GPU ○、Firecracker 类沙箱 ○。 六维：需求★★★★（推理负载潮汐性）｜商业化★★★★★｜生态★★★｜壁垒★★★｜扩展性★★★★ 主要风险：大云降价压制毛利；冷启动体验瓶颈。 | 年 | Y1 | Y2 | Y3 | Y4 | Y5 | Y6 | Y7 | Y8 | Y9 | Y10 | |---|---|---|---|---|---|---|---|---|---|---| | TAM | 12 | 15 | 19 | 24 | 30 | 38 | 47 | 58 | 71 | 87 | 关键假设：推理负载潮汐占比 40%→60%；serverless 渗透 GPU 调用 10%→40%。
C09 独立向量数据库
范围：服务化向量检索（专用 DB）。 代表项目：Qdrant ✅36k（Rust，性能口碑）、Milvus ✅35k（国产分布式，企业采用广）、Weaviate ✅17k（模块化）、Chroma ✅30k（开发友好）、Pinecone ○（闭源对标）。 六维：需求★★★★（RAG 刚需但被"够用的替代品"侵蚀）｜商业化★★★★｜生态★★★★｜壁垒★★★（索引算法专利+运营经验）｜扩展性★★★★ 主要风险：pgvector/ES/Redis 搭便车——多数企业"不新增组件"；专用 DB 市场被通用 DB 侵蚀是未来 10 年最大变数。 | 年 | Y1 | Y2 | Y3 | Y4 | Y5 | Y6 | Y7 | Y8 | Y9 | Y10 | |---|---|---|---|---|---|---|---|---|---|---| | TAM | 12 | 14 | 17 | 21 | 26 | 31 | 37 | 44 | 52 | 61 | 关键假设：RAG 项目渗透专用向量 DB 45%→60%（被通用库侵蚀与规模增长对冲）。
C10 进程内向量组件
范围：内嵌式向量检索（随应用分发，无独立服务）。 代表项目：Chroma ✅（亦可内嵌）、LanceDB ○、FAISS ○（Meta，学术标杆）、hnswlib ○、sqlite-vec ○。 六维：需求★★★★｜商业化★★（开源组件，靠云增值）｜生态★★★★｜壁垒★★｜扩展性★★★★ 主要风险：与 C09 相互蚕食（本类是侵蚀者）。 | 年 | Y1 | Y2 | Y3 | Y4 | Y5 | Y6 | Y7 | Y8 | Y9 | Y10 | |---|---|---|---|---|---|---|---|---|---|---| | TAM | 4 | 5 | 6 | 8 | 10 | 12 | 15 | 18 | 22 | 26 | 关键假设：本地/端侧 RAG 场景年增 30%。
C11 语义缓存
范围：相似 query 命中缓存，降低推理成本。 代表项目：GPTCache ○、Redis 语义缓存插件 ○、LLMWare 类 ○。 六维：需求★★★（成本优化项，非必需）｜商业化★★｜生态★★｜壁垒★★｜扩展性★★★ 主要风险：模型降价（成本问题自然消失）；缓存失效复杂度。 | 年 | Y1 | Y2 | Y3 | Y4 | Y5 | Y6 | Y7 | Y8 | Y9 | Y10 | |---|---|---|---|---|---|---|---|---|---|---| | TAM | 1.5 | 2 | 2.6 | 3.3 | 4.3 | 5.5 | 7 | 9 | 11.5 | 14.5 | 关键假设：渗透企业推理负载 8%→20%（低渗透因模型降价部分抵消需求）。
C12 模型格式与序列化
范围：权重格式标准、分片、校验、流式加载。 代表项目：GGUF（llama.cpp 生态✅）、safetensors ○（HF 标准）、Safetensors 分片工具 ○、MLX 格式 ○（Apple）。 六维：需求★★★★（标准一旦胜出即长青）｜商业化★★（公益基础设施）｜生态★★★★★｜壁垒★★★★（网络效应）｜扩展性★★★★ 主要风险：新硬件范式要求新格式；标准分裂（GGUF vs safetensors 长期并存）。 | 年 | Y1 | Y2 | Y3 | Y4 | Y5 | Y6 | Y7 | Y8 | Y9 | Y10 | |---|---|---|---|---|---|---|---|---|---|---| | TAM | 2 | 2.5 | 3 | 3.8 | 4.6 | 5.6 | 6.8 | 8.2 | 9.8 | 11.6 | 关键假设：格式相关工具/验证服务随模型分发量年增 22%。
C13 分布式训练框架
范围：数据/张量/流水线并行的训练编排。 代表项目：Megatron-LM ○（NVIDIA，大模型训练事实标准）、DeepSpeed ○（微软）、ColossalAI ○（国产）、PyTorch FSDP ○（原生）。 六维：需求★★★（训练集中在大厂，长尾萎缩）｜商业化★★★｜生态★★★★｜壁垒★★★★｜扩展性★★★ 主要风险：训练集中度提高（只有少数玩家需要）；推理时代占比下降。 | 年 | Y1 | Y2 | Y3 | Y4 | Y5 | Y6 | Y7 | Y8 | Y9 | Y10 | |---|---|---|---|---|---|---|---|---|---|---| | TAM | 20 | 23 | 26 | 30 | 34 | 38 | 43 | 48 | 53 | 59 | 关键假设：训练支出占比从 40% 降至 25%（推理崛起），绝对值仍年增 15%。
C14 参数高效微调库（PEFT）
范围：LoRA/QLoRA/Adapter/Prefix-tuning。 代表项目：peft ✅22k（HF 官方标准）、Unsloth ✅79k（消费级 GPU 微调最优体验）、LlamaFactory ✅76k（一站式，国内企业普及度最高）、DoRA 类研究 ○。 六维：需求★★★★★（定制化永不过时）｜商业化★★★★（企业微调服务）｜生态★★★★｜壁垒★★★｜扩展性★★★★★ 主要风险：基座模型能力提升减少微调需求（但行业数据总是需要）；被平台一站式吞并。 | 年 | Y1 | Y2 | Y3 | Y4 | Y5 | Y6 | Y7 | Y8 | Y9 | Y10 | |---|---|---|---|---|---|---|---|---|---|---| | TAM | 4 | 5 | 6.5 | 8.5 | 11 | 14 | 18 | 23 | 29 | 36 | 关键假设：企业定制模型渗透率 15%→50%；LoRA 类占微调方式 85%。
C15 对齐训练库（RLHF/DPO/后训练）
范围：奖励建模、偏好优化、过程奖励。 代表项目：trl ✅20k（HF）、OpenRLHF ○、verl ○（字节）、Axolotl ○。 六维：需求★★★（后训练专业化，集中度高）｜商业化★★★｜生态★★★｜壁垒★★★｜扩展性★★★ 主要风险：方法快速迭代（DPO→GRPO→…）教材化风险；对齐需求被 API 化（厂商代劳）。 | 年 | Y1 | Y2 | Y3 | Y4 | Y5 | Y6 | Y7 | Y8 | Y9 | Y10 | |---|---|---|---|---|---|---|---|---|---|---| | TAM | 3 | 3.8 | 4.8 | 6 | 7.6 | 9.5 | 11.8 | 14.6 | 17.8 | 21.5 | 关键假设：后训练支出占训练预算 15%→30%。
C16 大规模数据并行库
范围：ZeRO/FSDP 系显存优化（与 C13 部分重叠，本类专指显存/带宽优化层）。 代表项目：DeepSpeed ZeRO ○、PyTorch FSDP2 ○、FairScale ○（趋停）。 六维：需求★★★｜商业化★★｜生态★★★｜壁垒★★★★｜扩展性★★★ 主要风险：被 PyTorch 原生吞并（已发生一半）。 | 年 | Y1 | Y2 | Y3 | Y4 | Y5 | Y6 | Y7 | Y8 | Y9 | Y10 | |---|---|---|---|---|---|---|---|---|---|---| | TAM | 3 | 3.5 | 4 | 4.6 | 5.2 | 5.9 | 6.6 | 7.4 | 8.2 | 9 | 关键假设：年均增 15%，主要随训练总量而非渗透率。
C17 LLM 评测框架
范围：自动评估、LLM-as-judge、基准 harness。 代表项目：lm-evaluation-harness ✅14k（学术标准）、promptfoo ✅27k（工程侧，MIT）、DeepEval ○、Ragas ○（RAG 专用）、OpenAI Evals ○。 六维：需求★★★★★（"模型越强越难判断对错"，评估是永恒闸门）｜商业化★★★★（eval 即服务）｜生态★★★★｜壁垒★★★（评测集是数据资产）｜扩展性★★★★★ 主要风险：评测指标公信力争议；被大模型厂商内置。 | 年 | Y1 | Y2 | Y3 | Y4 | Y5 | Y6 | Y7 | Y8 | Y9 | Y10 | |---|---|---|---|---|---|---|---|---|---|---| | TAM | 3 | 3.9 | 5 | 6.5 | 8.5 | 11 | 14 | 18 | 22.5 | 28 | 关键假设：企业 AI 项目 100% 需评估，付费率 10%→35%；评测集数据资产溢价年增 5%。
C18 AI 可观测性
范围：trace/成本/质量/漂移监控（Langfuse/LangSmith 类开源）。 代表项目：Langfuse ○（MIT，事实标准）、LangSmith ○（闭源对标）、Arize Phoenix ○、Helicone ○。 六维：需求★★★★★（生产系统必须有）｜商业化★★★★｜生态★★★★｜壁垒★★★（数据沉淀）｜扩展性★★★★★ 主要风险：被通用 APM（Datadog 类）吞并。 | 年 | Y1 | Y2 | Y3 | Y4 | Y5 | Y6 | Y7 | Y8 | Y9 | Y10 | |---|---|---|---|---|---|---|---|---|---|---| | TAM | 8 | 10 | 12.6 | 15.9 | 20 | 25.2 | 31.7 | 40 | 50.3 | 63 | 关键假设：AI 生产应用渗透可观测 25%→75%；单应用监控支出年增 5%。
C19 推理性能基准
范围：跑分工具与公开榜单（选型依据）。 代表项目：llm-perf leaderboard ○、Open LLM Leaderboard ○（HF）、SGLang bench ○。 六维：需求★★★｜商业化★★（引流价值>收入）｜生态★★★★｜壁垒★★（榜单易复制）｜扩展性★★★ 主要风险：刷分与失去公信力。 | 年 | Y1 | Y2 | Y3 | Y4 | Y5 | Y6 | Y7 | Y8 | Y9 | Y10 | |---|---|---|---|---|---|---|---|---|---|---| | TAM | 1 | 1.2 | 1.5 | 1.8 | 2.2 | 2.6 | 3.1 | 3.7 | 4.4 | 5.2 | 关键假设：主要价值是导流与选型服务，TAM 增速 22%。
C20 数据与实验版本控制
范围：数据集/模型/实验追踪版本化。 代表项目：DVC ○、LakeFS ○、Weights & Biases ○（闭源为主）、MLflow ○、Quix Streams ○。 六维：需求★★★★（MLOps 常规件）｜商业化★★★★｜生态★★★｜壁垒★★★｜扩展性★★★★ 主要风险：被云厂商数据平台（Databricks 类）一体化吞并。 | 年 | Y1 | Y2 | Y3 | Y4 | Y5 | Y6 | Y7 | Y8 | Y9 | Y10 | |---|---|---|---|---|---|---|---|---|---|---| | TAM | 6 | 7.2 | 8.6 | 10.3 | 12.4 | 14.9 | 17.9 | 21.5 | 25.8 | 31 | 关键假设：AI 数据管道规模年增 20%。
C21 MLOps 流水线
范围：训练→评估→部署→再训练的自动化编排。 代表项目：MLflow ○、Kubeflow ○、ZenML ○、ClearML ○、Flyte ○。 六维：需求★★★★｜商业化★★★★｜生态★★★｜壁垒★★★｜扩展性★★★★ 主要风险：LLM 时代流水线重心从训练转向部署/评估（分类内涵变迁）；被平台化产品吞并。 | 年 | Y1 | Y2 | Y3 | Y4 | Y5 | Y6 | Y7 | Y8 | Y9 | Y10 | |---|---|---|---|---|---|---|---|---|---|---| | TAM | 15 | 18 | 21.6 | 26 | 31 | 37 | 44.6 | 53.5 | 64 | 76.8 | 关键假设：MLOps 支出年增 20%，其中 LLM ops 占比 20%→55%。
C22 边缘推理运行时
范围：设备端推理（ONNX/TFLite/CoreML/OpenVINO）。 代表项目：ONNX Runtime ✅22k、OpenVINO ✅11k（Intel，你笔记本的 CPU 加速首选）、TFLite ○（Google）、ExecuTorch ○（Meta）、MNN ○（阿里）。 六维：需求★★★★★（端侧 AI 爆发，设备量级数十亿）｜商业化★★★★（芯片厂捆绑）｜生态★★★★★｜壁垒★★★★（硬件适配 knowhow）｜扩展性★★★★ 主要风险：芯片厂自研运行时（NPU 原生）；碎片化适配成本。 | 年 | Y1 | Y2 | Y3 | Y4 | Y5 | Y6 | Y7 | Y8 | Y9 | Y10 | |---|---|---|---|---|---|---|---|---|---|---| | TAM | 14 | 17.5 | 21.9 | 27.3 | 34.1 | 42.5 | 53 | 66 | 82 | 102 | 关键假设：端侧 AI 设备出货量年增 25%（手机/PC/车/IoT）；运行时软件价值占端侧 AI 价值 2%→4%。
C23 异构编译器与内核
范围：模型编译（Triton/TVM/MLIR）、算子生成。 代表项目：Triton ○（OpenAI，GPU 内核 DSL 事实标准）、Apache TVM ○、MLIR ○（LLVM 生态）、Mojo ○（Modular，新语言）。 六维：需求★★★★（新芯片层出不穷，编译层是刚需）｜商业化★★★★（芯片厂资助）｜生态★★★★｜壁垒★★★★★（编译器工程极深）｜扩展性★★★★ 主要风险：人才极稀缺；标准之战漫长；开源商业模式弱。 | 年 | Y1 | Y2 | Y3 | Y4 | Y5 | Y6 | Y7 | Y8 | Y9 | Y10 | |---|---|---|---|---|---|---|---|---|---|---| | TAM | 10 | 12.6 | 15.9 | 20 | 25.2 | 31.7 | 40 | 50.3 | 63.4 | 80 | 关键假设：国产/新兴芯片带来编译适配需求年增 28%（中国是主要增量）。
C24 模型注册与分发平台
范围：模型托管、下载、版本、社区（开源部分）。 代表项目：Hugging Face Hub ○（生态核心，Apache 组件开源）、ModelScope ✅9.2k（魔搭，中国版）、Civitai ○（图像模型社区）。 六维：需求★★★★★（模型分发的"应用商店"）｜商业化★★★★★（托管收入+企业版）｜生态★★★★★（网络效应最强）｜壁垒★★★★★（数据+社区双护城河）｜扩展性★★★★★ 主要风险：地缘政治导致社区分裂（已现苗头：HF/魔搭双轨）；大模型厂商直发。 | 年 | Y1 | Y2 | Y3 | Y4 | Y5 | Y6 | Y7 | Y8 | Y9 | Y10 | |---|---|---|---|---|---|---|---|---|---|---| | TAM | 8 | 10 | 12.6 | 15.9 | 20 | 25.2 | 31.7 | 40 | 50.3 | 63.4 | 关键假设：托管模型数年增 60%；企业私有 Hub 部署（数据不出域）是新增长极。
C25 AI 开发环境容器化
范围：GPU 开发容器、远程开发、云端 IDE（AI 向）。 代表项目：Dev Containers ○（微软标准）、NVIDIA NGC 容器 ○、Docker + CUDA ○、Codespaces 类 ○。 六维：需求★★★（常规工程件）｜商业化★★★｜生态★★★★｜壁垒★★｜扩展性★★★★ 主要风险：无独立市场，价值融入云厂商产品。 | 年 | Y1 | Y2 | Y3 | Y4 | Y5 | Y6 | Y7 | Y8 | Y9 | Y10 | |---|---|---|---|---|---|---|---|---|---|---| | TAM | 5 | 6 | 7.2 | 8.6 | 10.3 | 12.4 | 14.9 | 17.9 | 21.5 | 25.8 | 关键假设：AI 开发者数量年增 20%。