知识库指标(报告卡)

怎么知道你的知识库在变好?看这四个维度。

如果知识库是你在训练的模型(见 理念),那你就需要一块仪表盘。oks metrics 给你一张四维报告卡:规模、活力、价值、可信度。它不打分、不评级,只把知识库的当前状态摊开给你看,让你判断下一步该补什么。

oks metrics

规模 Scale — 你攒了多少

字段 含义 怎么看
total_wiki_pages wiki 页面总数 知识库的体量
wiki_by_type 按类型分布(concept / strategy / anti-pattern) 结构是否均衡
wiki_areas 覆盖的知识域数量 广度

规模只说明”有多少”,不说明”好不好”——它是基数,不是目标。

活力 Vitality — 还在不在长

字段 含义 健康信号
wiki_pages_last_7d 最近 7 天新增 持续 > 0 说明循环在转
active_wiki_ratio 活跃页面占比 偏高说明大部分知识仍有效
dropped_count 已归档 / 被替代数量 有一定量是正常的新陈代谢

dropped_count 不是坏事。旧版本被替代、过时知识被归档,恰恰说明知识库在演化。指标只反映,不删除——低分不代表内容丢失,Git 历史始终是安全网。

价值 Value — 有没有被用到

字段 含义 怎么看
wiki_with_traces 带来源痕迹的页面数 有据可查
wiki_with_review 经过人工审查的页面数 有人把过关
total_access_count 总使用次数 知识库整体被真正用上的热度
avg_access_per_wiki 单页平均使用次数 是否真正在服务日常

一条从没被用过的知识,价值是存疑的。使用数据回答”我攒的东西到底用上没有”。注意:召回/搜索是只读的、不计数,只有 oks wiki use <slug>(真正注入/采用某页时调用)才会 +1。

可信度 Credibility — 值不值得信

字段 含义 健康信号
trace_coverage 有来源痕迹的比例 越高越可追溯
review_coverage 经人工审查的比例 越高越可信
fresh_ratio 新鲜(近 90 天创建或有访问)比例 反映时效
avg_confidence 平均置信度 整体成色
avg_score 平均记忆曲线分 结合重要度与访问的综合分

可信度是四维里最该长期盯的一维:它衡量的不是”多”,而是”这份知识库到底能不能被信任”。

把它当训练仪表盘用

单次数字意义有限,看趋势才有用:

  • 配合 每日循环,隔一段时间跑一次 oks metrics,观察活力和可信度的走向。
  • 发现某类型偏少、某域空白,就在下一轮收集里补。
  • 可信度停滞,往往意味着审查(/promote)投入不够——那正是”标注”该加力的地方。

指标不是考卷,是反馈。它告诉你训练得怎么样,然后你调整明天的动作。

源码:cli/knowledge_studio/metrics.py

接下来读哪里

  • 衰减系统avg_score 背后的记忆曲线怎么算。
  • 每日循环:指标该在循环的哪个节奏点上看。
  • 理念:为什么”评价知识库”等价于”评价训练进展”。


回到顶部

This site uses Just the Docs, a documentation theme for Jekyll.