首页 › M 线总纲

AI 知识的学习大纲(M1-M9 总纲)

定制日期:2026-11-11 | 针对:i7-8550U / 16GB / 无 GPU 纯 CPU 路线,目标=能接单变现(Agent 工程 / RAG / 私有化部署 / S2 发票 OCR) 本篇是总地图:盘点你已有的,列清你还缺的。正式开课时每个模块会像 doc/模型训练、doc/LangGraph 一样建成独立阶段体系。


〇、现状盘点:你已经有什么(不重复建设)

已建体系 覆盖的知识 状态
LangGraph G0-G8 Agent 编排:状态机、持久化、人工审批、多智能体、MCP、评测、流式 G1 进行中
模型训练 S0-S8 训练五步闭环、数据处理、调参、评估、排查、CIFAR/LightGBM/LoRA S1 进行中
训练数据集.md CPU 可训数据集与存储优化 ✅
长期价值评估 112 类市场价值 + Top50 ✅

两条线教的是"编排"和"训练"。下面是 AI 开发者还必须掌握的其余版图。


一、全景地图:AI 开发知识九层版图

第7层 产品交付:FastAPI / Streamlit / 部署        ← 变现的桥梁(缺)
第6层 合规安全:PII / 备案认知 / 数据不出内网      ← 认知级(缺)
第5层 工程底座:Git / 测试 / asyncio              ← 职业习惯(缺,最急)
第4层 数据土壤:pandas / SQL / Parquet            ← 一切数据工作的地基(缺)
第3层 推理部署:llama.cpp / GGUF / Ollama 量化    ← Top3 技能·结构性机会(缺!)
第2层 应用深化:RAG 进阶 / Prompt 工程 / OCR      ← Top3 技能 + S2 主线(半缺)
第1层 原理直觉:token / embedding / Transformer   ← 理解一切的地基(缺)
✅ 已覆盖:编排层(LangGraph 体系)、训练层(模型训练体系)

对应 M1~M9 九个模块,含优先级:

模块 名称 优先级 预计时长 与已有体系的合流点
M1 LLM 原理直觉 P0 必学 10h 帮助理解 G3 检查点 / S8-03 LoRA
M2 Prompt 工程系统化 P0 必学(贯穿) 20h G6-02 评测集驱动
M3 RAG 进阶 P0 必学 25h G4-02 的深化 = G8 三岔口方向
M4 本地推理与私有化部署 P0 必学 15h Top3 技能,尚无任何文档
M5 OCR 与文档处理 P0 必学 15h S2 发票主线的直接依赖
M6 数据工程最小集 P0 必学 15h S8-02 LightGBM 前置
M7 Web 服务与产品交付 P0 必学 15h G7 项目的前端与 API
M8 软件工程三件套 P0 最急 8h 保护你所有代码
M9 AI 安全与合规 P1 认知 3h 私有化部署的卖点话术

二、模块详细大纲

M1 · LLM 原理直觉(P0,先于一切深入)

为什么必学:你在用 LLM 编排、要微调、要算成本、要跟客户解释——不理解原理,每个环节都是黑盒,出了问题无从判断。

知识点: 1. Tokenizer:文本怎么变成 token;为什么中文比英文费 token;token 计费逻辑 2. Embedding:词/句变成向量;相似度=距离——RAG 和语义检索的地基 3. Transformer 直觉:注意力="每个词参考所有词的重要性加权"(不要推导数学,要能画图讲清楚);上下文窗口为什么有限 4. 生成过程:逐 token 概率采样;temperature / top_p 的实际含义(你一直在设 temperature=0,现在知道为什么) 5. 参数量直觉:0.5B/4B/7B/70B 各对应什么能力档次、什么内存需求(Q4 量化 ≈ 参数量×0.6GB/B)

学到什么程度:给完全外行 5 分钟讲清"LLM 在干什么";能手工估算一次调用的 token 成本。

实验:tokenizer 可视化(tiktoken 或 transformers 切分中文看 token 数);temperature 0/0.7/1.5 三档对比同一 prompt;用 0.5B 模型验证"参数量×0.6GB"内存估算公式。

资源:3Blue1Brown《Transformer 入门》视频(直觉神作);huggingface.co/learn 免费课程(走 hf-mirror)。


M2 · Prompt 工程系统化(P0,贯穿始终)

为什么必学:Prompt 是编排层的"代码"——你的 system_prompt 决定 agent 行为(G1-01 已见证"禁止心算"的作用)。但大多数人凭感觉写,你要用数字迭代。

知识点: 1. Prompt 五件套结构:角色 / 任务 / 约束 / 示例 / 输出格式 2. Few-shot:给 2-3 个范例,比千字描述更管用 3. CoT(思维链):"先分步思考再给答案"——数学与多步任务的提分器 4. 失败模式清单:指令冲突、格式漂移、幻觉——各自的 prompt 修补法 5. Prompt 版本管理:prompt 当代码对待,改动挂评测集(G6-02)跑分对比

学到什么程度:拿到一个效果差的输出,能系统化诊断"是 prompt 哪个组件缺失"并用评测数字证明修复有效。

实验:用你的 30 题评测集(G6-02 建)做一次 prompt A/B:旧版 vs 加 few-shot 版,对比准确率。

资源:Anthropic / OpenAI 官方 prompt 工程指南(免费,中文社区有译本)。


M3 · RAG 进阶:从"能查"到"企业级"(P0,Top3 技能)

为什么必学:G4-02 只教了朴素 RAG。企业级 RAG(调研中 MVP 报价 2万-15万的那条产品线)隔着五道坎,每道都有成熟解法。

知识点(五道坎): 1. 切块策略:按标题层级/语义切块 vs 朴素 400 字——垃圾进垃圾出 2. 混合检索:关键词(BM25,rank_bm25 库)+ 向量两路召回再合并——专有名词、编号类问题向量检索必挂 3. 重排序 rerank:bge-reranker-base(CPU 可跑)对候选粗排精排,top10→top3 4. 评测体系:RAGAS 框架(忠实度/相关性/召回)或自建评测集——没有数字的 RAG 不可交付 5. 工程化:多文档分区权限(谁查得到哪部分——用你 G3 的 thread+store 组合)

学到什么程度:能把 G4-02 的 RAG 升级到"混合检索+rerank+评测数字"的交付水准。

实验:同一知识库四个版本对比评测:朴素 → 改切块 → +BM25 混合 → +rerank,四个准确率数字写进一张表——这就是你接单方案里的技术证明。

资源:LlamaIndex 官方文档;RAGAS GitHub;BGE 系列模型卡(hf-mirror 下载)。


M4 · 本地推理与私有化部署(P0,Top3 技能·你调研里的"结构性机会")

为什么必学:这是三条 Top 技能里你唯一还没动的一条,也是国内市场最大的结构性机会(企业数据不出内网)。你的 CPU 路线在这反而是优势:客户私有化环境往往也只有 CPU。

知识点: 1. GGUF 与量化:Q4_K_M / Q8 等量化等级——质量与内存的取舍表 2. llama.cpp:CPU 推理引擎;llama-server 起 OpenAI 兼容 API 3. Ollama:llama.cpp 的便捷封装(拉模型/起服务一条命令;路线图里的备用方案正式启用) 4. 内存核算:0.5B→0.5GB / 1.7B→1.2GB / 3B→2GB / 7B→4.5GB(Q4)——16GB 内存能跑 7B 5. 与 LangGraph 合流:ChatOpenAI(base_url="http://127.0.0.1:11434/v1") 直连本地 Ollama——agent 完全离线运行

学到什么程度:给客户演示"断网环境里跑通你的 agent"——这是私有化交付的核心演示。

实验: 1. Ollama 拉 qwen3:1.7b(约 1.4GB),OpenAI 兼容接口跑通一次对话 2. 你的 handmade ReAct 图(G1-03)切换到本地模型跑通——全程断网验证 3. 同一任务 4B 云端 vs 1.7B 本地质量对比表(成本/延迟/质量三列)

资源:ollama.com;llama.cpp GitHub;Qwen 系列 GGUF(hf-mirror)。


M5 · OCR 与文档处理(P0,S2 主线的直接依赖)

为什么必学:你的 S2 发票 OCR 项目(长远价值项目 主线)至今只有 LLM 侧准备(G4-01 结构化输出),识别侧还没动工。

知识点: 1. RapidOCR:PaddleOCR 模型的 ONNX 版——pip install rapidocr-onnxruntime 即用,CPU 友好、无重依赖 2. PaddleOCR 认知(效果好但依赖重,作为备选) 3. PDF 处理:pdfplumber(文本+表格抽取)/ PyMuPDF(渲染页面为图再 OCR) 4. 图像预处理:旋转校正、裁剪、二值化——识别率的第一道关口 5. 识别→抽取流水线:RapidOCR 出原始文本 → LLM 结构化抽取(G4-01)→ 校验 → 不合格 interrupt 人工复核(G3-02)——S2 项目的技术全景在这条链上

学到什么程度:一张真实发票图片进,发票号/金额/日期三字段出,准确率有数字。

实验:手机拍 5 张不同质量的发票 → RapidOCR 识别 → 观察"哪些字段识别错"→ 预处理修正 → G4-01 抽取 → 记录端到端准确率。

资源:RapidOCR GitHub(中文文档);PaddleOCR 文档。


M6 · 数据工程最小集(P0,LightGBM 前置)

为什么必学:表格数据处理是金融路线(训练数据集.md 第 1 名)的日常;pandas/SQL 是所有 AI 开发岗位面试必考。

知识点: 1. pandas 核心 50 操作:读入/筛选/分组聚合/合并/透视(能覆盖 90% 日常) 2. SQL 基本功:SELECT/WHERE/GROUP BY/JOIN(用 sqlite3 练,零安装) 3. Parquet:列式存储——你存储优化知识(ZSTD 压缩 70-90%)的落地格式 4. 数据清洗四板斧:缺失值/重复/类型/异常值 5. 数据泄漏识别(呼应 S2-02,换到表格场景)

学到什么程度:给一份脏 CSV,30 分钟内清洗+统计出可用结论。

实验:S8-02 的 Adult 数据集用 pandas 清洗一遍、SQL 查询一遍,两种方式结果对账;CSV→Parquet 转换看体积变化。

资源:pandas 官方 10 minutes to pandas;sqlbolt.com(交互式 SQL 练习)。


M7 · Web 服务与产品交付(P0,变现的桥梁)

为什么必学:agent 在命令行跑 = 自嗨;包成 API + 界面 = 产品。客户买的从来不是脚本,是"打开浏览器就能用的东西"。

知识点: 1. FastAPI:30 分钟入门——把 agent 包成 POST /chat 接口(async + SSE 流式,呼应 G6-01) 2. Streamlit:50 行代码出聊天界面——G7 项目的前端,也是给客户做演示原型的标准件 3. 本机部署形态:局域网访问(同一 WiFi 手机试)、Windows 开机自启(nssm/计划任务)——私有化交付的最小形态 4. Docker 认知级:知道它是什么、什么场景需要;你的低配机不主推(WSL2 吃 2-4GB 内存)——客户环境有再说

学到什么程度:能交付"浏览器打开、手机也能用的知识库问答",即 G7 项目 A 的最终形态。

实验:Streamlit 给 handmade ReAct 图套壳(聊天界面+历史记录);FastAPI 暴露 /chat 并用手机局域网访问。

资源:FastAPI 官方文档(中文版全);Streamlit 官方 30 分钟教程。


M8 · 软件工程三件套(P0,最急——保护你所有代码)

为什么必学:你的工作目录至今不是 git 仓库。模型训练 S 线、LangGraph G 线的代码全靠文件系统裸奔——误删一次就完。接单交付物没有版本管理 = 客户眼里的不专业。

知识点: 1. Git:init / add / commit / log / branch / merge / 远程备份(GitHub 或 Gitee);.gitignore 排除 .venv/、data/、*.pt、checkpoints.db 2. pytest:给你的工具函数写 5 个测试(S2 校验逻辑天然需要测试) 3. asyncio 直觉:async/await 是"等待网络时不闲着";MCP client(G4-03)和 streaming 全是 async——会读会用即可,不深入

学到什么程度:所有代码进 git、有远程备份;改坏能回滚。

实验:给 DeepTraining 建 git 仓库 + .gitignore + 首次提交 + 推到私有远程仓库(Gitee 国内快)。

资源:Pro Git 中文版(前 3 章够用);廖雪峰 Git 教程。


M9 · AI 安全与合规(P1 认知级,渗透进方案)

知识点(知道即可,不成为法务): 1. PII:客户数据里的身份证/手机号——演示前脱敏;私有化部署的卖点就是"数据不出内网" 2. key 与权限管理:✅ 已做(环境变量+最小权限);补:给客户交付时 key 的轮换机制 3. 中国合规认知:《生成式人工智能服务管理暂行办法》大意——面向企业内网提供服务通常不触发备案,但方案里要写"合规考虑"一节(客户决策层在意) 4. 内容安全:敏感词过滤你已在 G6-01 做过——知道它在合规里的位置

学到什么程度:能在项目提案里写出一页"安全与合规考虑"。


三、防走偏清单:不需要学什么

不学 理由
微积分/线代完整体系 用到再补,M1 的直觉层足够支撑你的所有路线
从零写深度学习框架/手写 Transformer 理解使用者视角即可,S8-03 已体验
大模型预训练 算力不可及,与你的市场定位无关
CUDA/Triton kernel 编写 无 GPU,永远用不上
强化学习(RLHF/RL)深处 认知即可(知道"对齐"是什么);训练线只到 LoRA
多模态大模型训练 CPU 不现实;调用层面 G4-01 已覆盖
K8s/分布式训练 单机 CPU 路线用不上;客户上规模时再学
区块链+AI、Web3+AI 炒作组合,与你的变现路线无关

四、总学习顺序(映射到当前位置,不推翻已有两条线)

现在(G1/S1 进行中)    → 只插入 M8-Git(1-2 次×30 分钟),立即保护所有代码
G3 学完时              → M1(原理直觉,趁理解 checkpoint 时吃透)+ M4(本地模型接进 agent)
G4 学完时              → M3(RAG 进阶,直接为 G7 项目 A 充值)
G7 开工前              → M5(若项目选 B:OCR)+ M7(FastAPI/Streamlit,交付形态)
S8-02 前               → M6(pandas/SQL)
贯穿始终               → M2(每次实验都在练 prompt,G6-02 后升级为数字驱动)
渗透                   → M9(写提案时用)

总时长约 126 小时——按你每天 1.5-2h 的节奏,与两条主线穿插推进约 10-12 周(不是串行另加 10 周)。每开一个模块,正式建独立阶段体系(像 S/G 一样)。


五、验收里程碑(每模块"毕业"标准速查)

模块 毕业标准
M1 外行版 5 分钟讲清 LLM;token 成本手算正确
M2 prompt 改动全部带评测数字
M3 四版本 RAG 对比表(四个准确率)
M4 断网演示:本地模型跑通 agent(录屏)
M5 真实发票端到端准确率 ≥ 90%(5 张实测)
M6 脏 CSV 30 分钟出结论;pandas/SQL 对账一致
M7 手机局域网访问你的 agent
M8 代码全部进 git + 远程备份
M9 提案里能写一页合规考虑

六、资源总清单(按优先级)

★ 资源 对应模块
★★★ 3Blue1Brown Transformer 可视化系列 M1
★★★ Ollama / llama.cpp 官方文档 M4
★★★ RapidOCR GitHub(中文) M5
★★ pandas 10 分钟 / SQLBolt M6
★★ FastAPI 中文文档 / Streamlit 教程 M7
★★ Pro Git 中文版 M8
★ RAGAS / LlamaIndex 文档 M3
★ Anthropic / OpenAI Prompt 指南 M2

一句话总结:两条已建体系(编排+训练)之外,你还差 M1-M9 九块——其中 M4 本地推理和 M5 OCR 是两条"已规划但零进展"的主干道,M8 Git 是今天就该做的 30 分钟。大纲是地图;每一块正式开课时,我们按既定方式(阶段体系+实验+验收+计时)逐篇推进。