术语表

按线筛选:

token M
文本的最小计费单位。中文约 1 字 ≈ 1-2 token,所以中文比英文费钱;API 按输入+输出 token 数计费,成本可以手算。
embedding(嵌入向量) M
把词/句变成一串数字(向量),语义相近则距离近,RAG 检索和语义搜索的地基。
注意力 Attention M
每个词参考句中所有词的重要性加权。直觉理解即可(能画图讲清),不需要推导数学。
temperature M
采样温度:0=每次选最稳的词(可复现),越高越随机。实验与评测一律 0;你一直在设 temperature=0,现在知道为什么了。
参数量与内存估算 M
Q4 量化下内存 ≈ 参数量×0.6GB/B:0.5B→0.5GB、1.7B→1.2GB、7B→4.5GB。16GB 内存的 CPU 机可跑 7B。
Few-shot M
在 prompt 里给 2-3 个输入输出范例,比千字文字描述更能稳定输出格式。
CoT 思维链 M
让模型先分步思考再给答案,数学与多步任务的提分器。
切块 Chunking M
把文档切成片段再嵌入。按标题层级/语义切,好过朴素 400 字一刀切,垃圾进垃圾出。
BM25 混合检索 M
关键词检索(rank_bm25 库)+ 向量两路召回再合并。专有名词、编号类问题向量检索必挂,BM25 补位。
Rerank 重排序 M
用 bge-reranker-base 对粗排候选精排(top10→top3),CPU 可跑。
GGUF 与量化等级 M
llama.cpp 的模型格式;Q4_K_M / Q8 等等级是质量与内存的取舍表。
Ollama M
llama.cpp 的便捷封装:拉模型、起 OpenAI 兼容服务一条命令(127.0.0.1:11434/v1)。
RapidOCR M
PaddleOCR 模型的 ONNX 版,pip install rapidocr-onnxruntime 即用,CPU 友好无重依赖,发票识别侧首选。
pandas 核心 50 操作 M
读入/筛选/分组聚合/合并/透视,能覆盖 90% 日常表格数据处理。
Parquet M
列式存储格式,ZSTD 压缩可比 CSV 省 70-90% 空间,你存储优化知识的落地格式。
PII M
个人身份信息(身份证/手机号)。演示前脱敏;私有化部署的卖点就是数据不出内网。
StateGraph G
LangGraph 的核心:用节点和边把流程建成一张图,state 在节点间流动。
State 与 Reducer G
state 用 TypedDict 定义;字段默认整体覆盖,Annotated[list, operator.add] 指定追加合并,没 Reducer 并发写会丢数据(实测'B 丢了')。
条件边 add_conditional_edges G
根据 state 内容决定下一步去哪个节点的路由器。
Command G
节点返回 Command(update=..., goto=...),在节点内部同时更新状态并决定去向,动态分支内聚。
Send G
map-reduce 扇出:按数据条数动态生成 N 个并行分支再汇总,比 for 循环串行快(实测可对账)。
Subgraph G
图里套图:把一段流程封装成子图当节点复用,父子图靠共享 state key 桥接。
Checkpointer G
每步执行后存检查点。MemorySaver 在内存(重启即失),SqliteSaver 落盘可跨进程续跑。
thread_id G
会话标识,隔离不同对话的检查点,多租户的基础。
interrupt G
图内暂停等人工决定,用 Command(resume=...) 带同一 thread_id 恢复。必须配 checkpointer,否则状态无法恢复。
时间旅行 G
get_state_history 看历史,invoke(None, old_config) 从旧检查点重放,update_state 改状态分叉出新分支。
Store G
跨 thread 的长期记忆(InMemoryStore,namespace 如 ("users","u001") 分桶)。与 Checkpointer 分工:一个是执行历史,一个是用户画像。
MCP G
模型上下文协议:标准化接入外部工具(如文件系统 server)。allowed 目录必须锁最小权限。
结构化输出 G
Pydantic 模型 + Field 描述 + with_structured_output,发票字段抽取的标配(G4-01)。
Streaming 四模式 G
values(全量 state)/ updates(每节点进出)/ messages(逐 token 打字机)/ custom(自定义)。
欠拟合 / 过拟合 S
训练损失都下不来=欠拟合;训练好验证差=过拟合(loss 剪刀差)。正则化、数据增强、早停治过拟合。
数据泄漏 S
验证/测试信息混进训练(如用测试集统计归一化参数、重复样本),线下高分线上翻车。
Dataset / DataLoader 协议 S
自定义 Dataset 实现 __len__ / __getitem__,DataLoader 负责批量+打乱(Windows 上 num_workers=0)。
state_dict S
PyTorch 模型参数的标准保存格式;加载后必须 model.eval(),推理包 torch.no_grad()。
学习率 LR S
第一超参数:太大震荡甚至发散(实测 lr=10.0 时 Adam 把 loss 推到 28400),太小学不动。Adam 常用 1e-3,SGD 常用 0.1,不可互换。
混淆矩阵 S
每类被预测成什么的矩阵,总体准确率会骗人,召回/精度要按类别看。
交叉验证 S
k 折轮流当验证集,报 mean±std,小数据评估才可靠。
LoRA S
冻结原模型只训低秩旁路,0.5B 模型 CPU 也能微调,训练线进入 LLM 时代的桥(S8-03)。