4.9 KiB
课题组采集 · 完备性 · 布里斯托大学（University of Bristol）· bristol.ac.uk
切片已做 174 组（方法论基准）。 ⚠️ 但爱丁堡从 22 变 643 说明基准本身也可能偏低 —— 复验： 学院站之外有没有学院自己发布的 PI-group 目录（爱丁堡漏掉的正是这一类，一个目录就 140 条）。 · Manager 2026-09-24
0. 先读方法件（不要重新发明方法）
/Users/jun/Codes/prodream/.worklogs/groups-dept/METHOD.md —— 那是活的采集方法，
本波照它做。重点看 §1「入口发现」与 §6「反面清单」。
一句话：
找「组目录」，不要枚举 URL。 官方院系导航 → 各院系
/research/→ 该页上的「组目录」（research-groups/research-centres/groups/institutes/labs，最高价值是「每个组由一位 PI 带」的目录）。 入口 20–60 个/校 —— 不是 sitemap 里的上万条。
参考已跑通的：REPORT.md（Bristol 切片）· finding_edinburgh_v2.md（完备性标杆）、
finding_anu_v2.md / finding_qub_v2.md（最近两所）。
1. 本波只做这一所：**布里斯托大学（University of Bristol）· bristol.ac.uk
切片已做 174 组（方法论基准）。 ⚠️ 但爱丁堡从 22 变 643 说明基准本身也可能偏低 —— 复验： 学院站之外有没有学院自己发布的 PI-group 目录（爱丁堡漏掉的正是这一类，一个目录就 140 条）。**
2. 交付（门槛，不是"尽量"）
- 院系台账（缺一行 = 没做完）
院系（全部）| research 入口 URL | 状态（取到 / 取不到：<原因>）| 组数—— 院系清单从学校官方导航拿（/faculties/、/schools-departments/、/about/structure之类）； 给出枚举来源 URL 与总数；未取页 = 0 - 全量候选产物（五字段：课题组名称 / 所在大学及研究中心 / 研究方向 / 联系邮箱 / 最近五年论文数=null） —— 启发式自动抽，不逐条判
- 随机抽 30 条逐条开页面核 → 准确率 + 假阳性类型 + 能否定点修掉
- 准确率 ≥90% 且类型集中 ⇒ 定点修那一类，全量直接用，不再逐页核
- 合理性校验：
组数 ÷ 院系数。比值荒谬地低 ⇒ 回头找「组目录」那一层（不是去爬更多 URL） - 反例 / 判不准 / 未验清单（各自附页面原文）
- 一句话：最终组数？完备性有没有缺口？
产物写到 .worklogs/groups-dept/，按 school-slug 命名（<slug>_v3__groups.json + finding_<slug>_v3.md）。
3. 判据与字段（摘要；细则在 METHOD.md §2，以它为准）
打开页面像人一样看：这是不是一个「导师带的做研究的团队」？ 粒度上限 = 一个导师能带的规模。 大一级（institute / theme / cluster / 校级研究所）不收； 但大一级下面挂着真组时，只收内层组。
不是组：服务设施 · 研讨会系列 · 项目 · 学生培养计划 · 单项研究 · 空页重定向 · 无负责人的方向页。 共性是页面上有一句「非团队自述」—— 你去看那句话。
| 字段 | 取法 |
|---|---|
| 课题组名称 | 该组自己页面的 H1（无 H1 用 <title>；JS 渲染/表格行用目录里的官方组名并标来源） |
| 所在大学及研究中心 | 大学 + 真实上级研究单位；⚠️ 上级是系/院/学部的不许当研究中心写，没有真上级就只写大学 |
| 研究方向 | 该组页上的方向文字。没有 ⇒ 不要 |
| 联系邮箱 | 只接受本组页 / 本组负责人页的邮箱 |
| 最近五年论文数 | null |
4. ⚠️ 并行安全（出过事故，必须照做）
5 个 worker 曾挤在同一个 Space 的同一个 page 上 ⇒ 297 页跨校串页、整批作废。
- 自己新建一个 TaskSpace（不要复用别人已有的）
- 每个 URL 用独占的
newPage()，不要共用 p1 - 每取一页校验
page.url()与目标一致；不一致 ⇒ 废掉重取 - 成功时收尾调一次
await task.finish({ keep: [] })；因错误停止就别调，把spaceId报上来
5. 硬要求
- 只读：只写产物到
.worklogs/groups-dept/。不写索引、不改业务代码、不动数据。 - 不设时间盒，做完整为止。 但每做完一个院系报一次
status（三句话）。 - 判据来自页面。你的眼睛比任何正则都准。
- 不许发明：抓不到 ⇒ 写「未取到： + <错误原文>」。判不准的贴出来，不要归类掉。
- 只做这一所学校。
- 不要从 sitemap 全量枚举 URL（METHOD.md §6 反面清单第一条）。
6. 边界
- 不碰 prodream_backend、不碰 FE、不碰
.worklogs/groups-rebuild/与groups-verify/。