阶段:S8-综合实践 | 预计耗时:1-2 周(业余时间)| 前置:S8-01/02/03 至少完成两个 这是整个体系的结业考核:没有预设代码、没有骨架,交付物按下面清单验收。
学习目标
独立完成一次端到端:自己选数据集 → 清洗 → 基线 → 迭代改进 → 评估 → 交付。完成后你将具备"接一个小型模型需求"的完整能力——这是 长远价值评估 里 RAG 外包(2万-15万 MVP)与私有化部署路线的能力底座。
核心知识(这次是验收清单,不是讲课)
1. 选题三原则(自己定,跟我确认后开工)
- CPU 可训:从 训练数据集.md 的 18 个数据集里选,或自己找 ≤200MB、CPU 小时级能出结果的
- 市场相关:优先金融/风控/文档/中文场景(对应你的职业路线)
- 有明确的成功指标:准确率/AUC/loss,验收时用数字说话
2. 交付物清单(缺一不可)
| # | 交付物 | 要求 |
|---|---|---|
| 1 | 代码 model-learn/capstone/ |
训练与评估分离成两个脚本;全部命令可复现 |
| 2 | 模型文件 | state_dict / adapter / .txt,≤50MB |
| 3 | 项目 README | 数据来源、运行命令、指标表、已知局限 |
| 4 | 实验记录 | ≥5 次改动实验的观察记录表(S1-02 格式) |
| 5 | 评估报告 | 混淆矩阵/特征重要性 + 1 页结论:这个模型能用在哪、不能用在哪 |
3. 流程里程碑(每个节点我来检查)
选题确认 → 数据就位(含划分,防泄漏) → 基线模型出第一版数字 →
至少 3 次有效改进(增强/调参/特征,各有记录) → 最终评估(CV或多次划分) → 交付验收
4. 评分标准(每项及格线)
| 维度 | 及格线 | 优秀线 |
|---|---|---|
| 可复现性 | 我按你 README 一条命令跑通 | 加 seed 全程可复现 |
| 指标 | 基线能打败"瞎猜"(分类>多数类占比 / 回归<RMSE均值) | 相对基线提升 ≥3 个点且有证据 |
| 方法论 | 划分正确、test 只碰一次 | 有 CV + 误差分析 |
| 表达 | README 完整 | 能给外行 5 分钟讲明白 |
实验任务
- 提交选题(数据集 + 目标指标 + 预算时间),经确认后开工
- 按里程碑推进,每个节点把结果发我检查
- 交付验收:我按上面清单逐项检查,全部通过即体系毕业
毕业后的两条合流线(体系之外的下一步)
- 应用线:LangGraph 学习继续——把你训的模型/LoRA adapter 接进 agent 工作流(编排层 × 训练层合体)
- 业务线:从 长远价值项目 里挑 S2 发票 OCR 之类的落地项目,训练能力变成交付能力
验收标准(= 毕业标准)
全套体系到此闭环:S0 环境 → S1 概念 → S2 数据 → S3 模型 → S4 训练 → S5 调参 → S6 评估 → S7 排查 → S8 交付。 毕业 ≠ 结束:观察记录表继续记,实验日志攒三个月,就是你的"作品集"。