# 课题组逐院系采集 · 伦敦国王学院(英国)· 现有 627 条 **入口普查的判型**:自建 research 站点 **现有 group_url 形态**:``www.kcl.ac.uk / research/`` ⚠️ 这是**换源重采**:旧数据整体推翻,不要参照它。 本条是**入口普查已定**的那批(61 校/3501 条可收 2817);按 METHOD.md 从院系站重找组目录。 · Win1 · Manager 2026-09-24 ## 0. 先读方法件(**不要重新发明方法**) 工作区:`C:\Users\Administrator\orca\projects\英澳博士课题组数据` - **`method/METHOD.md`** —— 活的采集方法。**重点看 §1「入口发现」与 §6「反面清单」。** - `method/finding_edinburgh_v2.md` —— 完备性标杆(643 组 / 24 院系) - `method/finding_anu_v2.md` · `finding_qub_v2.md` · `finding_bath_v2.md` —— 最近几所 - `tasks/` —— 其它任务书 一句话: > **找「组目录」,不要枚举 URL。** > 官方院系导航 → 各院系 `/research/` → **该页上的「组目录」** > (`research-groups` / `research-centres` / `groups` / `institutes` / `labs`, > **最高价值是「每个组由一位 PI 带」的目录**)。**入口 20–60 个/校。** **参考已跑通的**:`products/` 下各校 `*__groups*.json` 是产物格式。 --- ## 1. 本波只做这一所:**伦敦国王学院(英国)· 现有 627 条 **入口普查的判型**:自建 research 站点 **现有 group_url 形态**:``www.kcl.ac.uk / research/`` ⚠️ 这是**换源重采**:旧数据整体推翻,不要参照它。 本条是**入口普查已定**的那批(61 校/3501 条可收 2817);按 METHOD.md 从院系站重找组目录。** --- ## 2. 交付(**门槛,不是"尽量"**) 1. **院系台账(缺一行 = 没做完)** `院系(全部)| research 入口 URL | 状态(取到 / 取不到:<原因>)| 组数` —— 院系清单从**学校官方导航**拿;**给出枚举来源 URL 与总数**;**`未取页 = 0`** 2. **全量候选产物**:`products/_v3__groups.json` (五字段:课题组名称 / 所在大学及研究中心 / 研究方向 / 联系邮箱 / 最近五年论文数=null) —— **启发式自动抽,不逐条判** 3. **随机抽 30 条逐条开页面核** → **准确率** + **假阳性类型** + **能否定点修掉** - 准确率 **≥90% 且类型集中** ⇒ 定点修那一类,**全量直接用,不再逐页核** 4. **合理性校验**:`组数 ÷ 院系数`。**比值荒谬地低 ⇒ 回头找「组目录」那一层** (不是去爬更多 URL)。确认"再下一层没有组"要贴原文结构作证。 5. **反例 / 判不准 / 未验清单**(附页面原文) 6. 一句话:**最终组数?完备性有没有缺口?** 产物写 `products/`,报告写 `reports/finding__v3.md`(目录不存在就建)。 --- ## 3. 判据与字段(摘要;**细则以 METHOD.md §2 为准**) > **打开页面像人一样看:这是不是一个「导师带的做研究的团队」?** > **粒度上限 = 一个导师能带的规模。** > 大一级(institute / theme / cluster / 校级研究所)**不收**; > **但大一级下面挂着真组时,只收内层组。** **不是组**:服务设施 · 研讨会系列 · 项目 · 学生培养计划 · 单项研究 · 空页重定向 · 无负责人的方向页。 **共性是页面上有一句「非团队自述」—— 你去看那句话。** | 字段 | 取法 | |---|---| | 课题组名称 | 该组**自己页面**的 H1(无 H1 用 ``;JS 渲染/表格行用目录里的官方组名并标 `_name_source`)。⚠️ 无官方组名的**按 `<负责人> 团队` 渲染并标 `_name_source: rendered_from_leader`**,且要查重防撞 | | 所在大学及研究中心 | 大学 + **真实上级研究单位**;⚠️ 上级是系/院/学部的**不许当研究中心写**,没有真上级就**只写大学** | | 研究方向 | 该组页上的方向文字。**没有 ⇒ 不要** | | 联系邮箱 | 只接受**本组页 / 本组负责人页**的邮箱 | | 最近五年论文数 | null | --- ## 4. ⚠️ 并行安全(出过事故,必须照做) 5 个 worker 曾挤在**同一个 ego-browser Space 的同一个 page** 上 ⇒ 297 页跨校串页、整批作废。 1. **自己新建一个 TaskSpace**(不要复用别人已有的) 2. **每个 URL 用独占的 `newPage()`**,**不要共用 p1** 3. **每取一页校验 `page.url()` 与目标一致**;不一致 ⇒ 废掉重取 4. 成功时收尾调一次 `await task.finish({ keep: [] })`;**因错误停止就别调**,把 `spaceId` 报上来 ⚠️ 本机浏览器可能被用户接管(`ownership: user`)—— 遇到就**立刻停手、不重试**,把 `spaceId` 报上来。 --- ## 5. 硬要求 1. **只在本项目内写**(`products/` `reports/`)。不碰别的项目、不碰线上库。 2. **不设时间盒,做完整为止。** 但**每做完一个院系报一次 `status`**(三句话)。 3. **判据来自页面。你的眼睛比任何正则都准。** 4. **不许发明**:抓不到 ⇒ 写「未取到:<URL> + <错误原文>」。**判不准的贴出来,不要归类掉。** 5. **不要从 sitemap 全量枚举 URL**(METHOD.md §6 反面清单第一条)。 6. **只做这一所学校。**