Files

6.2 KiB
Raw Permalink Blame History

课题组逐院系 · 完备性重做 · 贝尔法斯特女王大学(Queen's University Belfast)· qub.ac.uk

前一轮 29 组 / 16 个 School = 1.8,明显低于基准。 · Manager 2026-09-23

0. 为什么全部重做(实测数据)

用户裁定:所有学校都要补一遍。

依据:5 所已按完备性重做的学校,数字对比 ——

学校 重做前 重做后 倍数
爱丁堡 22 643 29×
曼彻斯特 未开始 268(32 院系) —
伯明翰 32 258(未取页=0) 8×
圣安德鲁斯 34 178 5×
西澳 0 154(组/系 7.0) —

⇒ "逐院系枚举不全"是系统性的,不是个别学校。没重做的数都不可信。

先读:/Users/jun/Codes/prodream/.worklogs/groups-dept/ 下 REPORT.md(布里斯托切片)· finding_edinburgh_v2.md(完备性标杆,照它的做法)。


1. 本波只做这一所:**贝尔法斯特女王大学(Queen's University Belfast)· qub.ac.uk

前一轮 29 组 / 16 个 School = 1.8,明显低于基准。**


2. 完备性门槛(硬门槛,不是"尽量")

2.1 必交台账(缺一行就是没做完)

院系(该校全部) research 入口 URL 状态 组数
… … 取到 / 取不到:<原因> N
  • 院系清单 = 该校全部(从官方 faculties/schools/departments 导航 + Sub-units A-Z 拿)
  • 给出枚举来源 URL 与总数
  • 未取页 = 0:要么取到,要么有"取不到"的证据(404 / 重定向 / 空壳 / 反爬)

2.2 子域 / 外站必须跟

爱丁堡实测跟了 117 个子域 + 39 个外站 —— 不跟就整块漏。 给出你找到并跟过的子域/外站清单。

2.3 合理性校验

组数 ÷ 枚举到的院系数。基准:伦敦布里斯托 ≈5.8 / 爱丁堡 ≈25.7(因校而异,不比大小,只看是否荒谬地低)。

比值明显偏低 ⇒ 往下挖一层:该校院系是不是把研究组织成 theme/centre(大一级,不收), 而底下挂着更细的具名组(尤其留意 "each led by a Principal Investigator" 这类 PI-group 目录 —— 爱丁堡漏掉的就是四个 PI 目录,其中一个就有 140 条)。 确认"再下一层没有组"必须贴原文结构作证。


3. ⚡ 效率:启发式自动抽 + 抽样核 30 条(用户明确要求,不要迂腐)

用户原话:

「不需要你六百多条逐页核实呀…你随便抽样一小部分,确认它是 OK 的,那就可以用了呗。 你肯定要去找这种最高效的方式啊。启发式的方式。」

第一步:启发式自动抽(全量,不逐页判)

机械判据批抽:有独立页面 + 页面里有具名的人(title 含 Prof/Dr 或 person 链接)

  • 有方向文字块 + 名字不是「索引页/课程/项目/学生群体/讲座系列」。 自述含 federation / N academics / 校级研究所 ⇒ 标 big;标 big 页面里点名的内层组再收一层。

第二步:随机抽 30 条逐条开页面核(这是质量证据)

给:准确率 · 假的那几条属于哪一类(附页面原文)· 该类型能否定点修掉

第三步:二选一

  • 准确率 ≥90% 且假阳性类型集中 ⇒ 定点修那一类,全量直接用。抽样 30 条写进报告当证据。 不要再逐页核。
  • 假阳性散、类型不集中 ⇒ 才扩大抽样

省下的时间全部用来把院系覆盖做全 —— 那才是真正的缺口。


4. 判据(不变)

打开页面像人一样看:这是不是一个「导师带的做研究的团队」? 粒度上限 = 一个导师能带的规模。 大一级(institute/theme/cluster/校级研究所)不收; 但大一级下面挂着真组时,只收内层组。

不是组:服务设施 · 研讨会系列 · 项目 · 学生培养计划 · 单项研究 · 空页重定向 · 无负责人的方向页。 共性是页面上有一句「非团队自述」——你去看那句话。

五字段

# 字段 取法
1 课题组名称 该组自己页面的 H1
2 所在大学及研究中心 大学 + 真实上级研究单位;⚠️ 上级是系/院/学部的不许当研究中心写,没有真上级就只写大学
3 研究方向 该组页上的方向文字。没有 ⇒ 不要
4 联系邮箱 只接受本组页 / 本组负责人页的邮箱
5 最近五年论文数 一律 null

5. ⚠️ 并行安全(前面出过事故)

上一波 5 个 worker 挤在同一个 Space 的同一个 page 上,297 页里出现跨校串页,整批作废。

你必须:

  1. 自己新建一个 TaskSpace(不要复用别人已有的)
  2. 每个 URL 用独占的新 page(newPage()),不要共用 p1
  3. 每取一页后校验 page.url() 与目标一致;不一致 ⇒ 该页作废重取
  4. 成功时收尾调一次 await task.finish({ keep: [] });因错误停止就别调,把 spaceId 报上来

6. 交付

  1. 完备性台账(全部院系)+ 枚举来源 URL 与院系数
  2. 子域/外站清单
  3. 全量候选产物(五字段,启发式抽的)
  4. 抽样 30 条逐条判定表 + 准确率 + 假阳性类型与定点修法
  5. 反例 / 判不准 / 未验清单(附页面原文)
  6. 一句话:最终组数?完备性有没有缺口?

产物写到 .worklogs/groups-dept/,按 school-slug 命名(加 _v2 后缀避免覆盖旧的)。


7. 硬要求

  1. 只读:只写产物到 .worklogs/groups-dept/。不写索引、不改业务代码、不动数据。
  2. 不设时间盒,做完整为止。 但每做完一个院系报一次 status(三句话)。
  3. 判据来自页面。你的眼睛比任何正则都准。
  4. 不许发明:抓不到 ⇒ 写「未验」+ 卡点(URL、错误原文)。判不准的贴出来。
  5. 只做这一所学校。

8. 边界

  • 不碰 prodream_backend、不碰 FE、不碰 .worklogs/groups-rebuild/ 与 groups-verify/。