5.0 KiB
课题组逐院系采集 · 墨尔本皇家理工大学(澳新)· 现有 14 条
入口普查的判型:人员档案系统 group 页
现有 group_url 形态:academics.rmit.edu.au / groups/<n>
⚠️ 这是换源重采:旧数据整体推翻,不要参照它。 · Win1 · Manager 2026-09-24
0. 先读方法件(不要重新发明方法)
工作区:C:\Users\Administrator\orca\projects\英澳博士课题组数据
method/METHOD.md—— 活的采集方法。重点看 §1「入口发现」与 §6「反面清单」。method/finding_edinburgh_v2.md—— 完备性标杆(643 组 / 24 院系)method/finding_anu_v2.md·finding_qub_v2.md·finding_bath_v2.md—— 最近几所tasks/—— 其它任务书
一句话:
找「组目录」,不要枚举 URL。 官方院系导航 → 各院系
/research/→ 该页上的「组目录」 (research-groups/research-centres/groups/institutes/labs, 最高价值是「每个组由一位 PI 带」的目录)。入口 20–60 个/校。
参考已跑通的:products/ 下各校 *__groups*.json 是产物格式。
1. 本波只做这一所:**墨尔本皇家理工大学(澳新)· 现有 14 条
入口普查的判型:人员档案系统 group 页
现有 group_url 形态:academics.rmit.edu.au / groups/<n>
⚠️ 这是换源重采:旧数据整体推翻,不要参照它。**
2. 交付(门槛,不是"尽量")
- 院系台账(缺一行 = 没做完)
院系(全部)| research 入口 URL | 状态(取到 / 取不到:<原因>)| 组数—— 院系清单从学校官方导航拿;给出枚举来源 URL 与总数;未取页 = 0 - 全量候选产物:
products/<slug>_v3__groups.json(五字段:课题组名称 / 所在大学及研究中心 / 研究方向 / 联系邮箱 / 最近五年论文数=null) —— 启发式自动抽,不逐条判 - 随机抽 30 条逐条开页面核 → 准确率 + 假阳性类型 + 能否定点修掉
- 准确率 ≥90% 且类型集中 ⇒ 定点修那一类,全量直接用,不再逐页核
- 合理性校验:
组数 ÷ 院系数。比值荒谬地低 ⇒ 回头找「组目录」那一层 (不是去爬更多 URL)。确认"再下一层没有组"要贴原文结构作证。 - 反例 / 判不准 / 未验清单(附页面原文)
- 一句话:最终组数?完备性有没有缺口?
产物写 products/,报告写 reports/finding_<slug>_v3.md(目录不存在就建)。
3. 判据与字段(摘要;细则以 METHOD.md §2 为准)
打开页面像人一样看:这是不是一个「导师带的做研究的团队」? 粒度上限 = 一个导师能带的规模。 大一级(institute / theme / cluster / 校级研究所)不收; 但大一级下面挂着真组时,只收内层组。
不是组:服务设施 · 研讨会系列 · 项目 · 学生培养计划 · 单项研究 · 空页重定向 · 无负责人的方向页。 共性是页面上有一句「非团队自述」—— 你去看那句话。
| 字段 | 取法 |
|---|---|
| 课题组名称 | 该组自己页面的 H1(无 H1 用 <title>;JS 渲染/表格行用目录里的官方组名并标 _name_source)。⚠️ 无官方组名的按 <负责人> 团队 渲染并标 _name_source: rendered_from_leader,且要查重防撞 |
| 所在大学及研究中心 | 大学 + 真实上级研究单位;⚠️ 上级是系/院/学部的不许当研究中心写,没有真上级就只写大学 |
| 研究方向 | 该组页上的方向文字。没有 ⇒ 不要 |
| 联系邮箱 | 只接受本组页 / 本组负责人页的邮箱 |
| 最近五年论文数 | null |
4. ⚠️ 并行安全(出过事故,必须照做)
5 个 worker 曾挤在同一个 ego-browser Space 的同一个 page 上 ⇒ 297 页跨校串页、整批作废。
- 自己新建一个 TaskSpace(不要复用别人已有的)
- 每个 URL 用独占的
newPage(),不要共用 p1 - 每取一页校验
page.url()与目标一致;不一致 ⇒ 废掉重取 - 成功时收尾调一次
await task.finish({ keep: [] });因错误停止就别调,把spaceId报上来
⚠️ 本机浏览器可能被用户接管(ownership: user)—— 遇到就立刻停手、不重试,把 spaceId 报上来。
5. 硬要求
- 只在本项目内写(
products/reports/)。不碰别的项目、不碰线上库。 - 不设时间盒,做完整为止。 但每做完一个院系报一次
status(三句话)。 - 判据来自页面。你的眼睛比任何正则都准。
- 不许发明:抓不到 ⇒ 写「未取到: + <错误原文>」。判不准的贴出来,不要归类掉。
- 不要从 sitemap 全量枚举 URL(METHOD.md §6 反面清单第一条)。
- 只做这一所学校。