Wiki 消化管线——从原始材料到知识页面发生了什么

消化到底在干嘛

原始材料（PDF、docx、markdown、网页）进来之后，不是直接丢进向量化。它要经过一条完整的管线：

1. 格式识别与提取：自动识别文件类型，提取纯文本内容（PDF 里的图片文字走视觉管线）
2. 语义分段：不是按 token 数量硬切，而是按语义段落切分
3. 页面生成：LLM 读取每个分段，决定是已有页面的补充还是要新建页面
4. 摘要与元数据：每个页面自动生成摘要、关键词、标签
5. 实体提取：识别页面里的人名、公司名、产品名、技术名词
6. WikiLink 建立：检查页面里引用的概念，建立双向链接
7. 来源追溯：每个页面保留原始材料的引用位置，随时能回溯

整个消化过程在 UI 里是可见的——每个原始材料行上有进度条，你可以看到走到了哪一步。

加工器（Transformations）

MateClaw 1.5.0 之后的 Wiki 支持加工器——让知识库可编程。你可以写一段 Transformation 规则，在消化管线的某个节点自动执行：

• 给所有生成的页面加上特定标签
• 自动合并相似度超过阈值的页面
• 对特定格式的原始材料做预处理

这让 Wiki 的维护从一次性动作变成持续的可编程流程。

系统页：overview 和 log

每个知识库自动有两页系统页：

• overview：这个知识库覆盖了什么主题、有多少页面、主要实体有哪些
• log：消化管线的执行日志——哪些原始材料进来了、生成了哪些页面、哪一步出错了

Agent 可以自动读取 overview 页来了解知识库的整体覆盖，不需要每次都从头扫一遍所有页面。