98 lines
5.0 KiB
Markdown
98 lines
5.0 KiB
Markdown
# 课题组逐院系采集 · 伦敦玛丽女王大学（英国）· 现有 29 条
|
||
|
||
**入口普查的判型**：自建 research 站点
|
||
**现有 group_url 形态**：``www.qmul.ac.uk / research/<slug>/<slug>``
|
||
|
||
⚠️ 这是**换源重采**：旧数据整体推翻，不要参照它。 · Win1 · Manager 2026-09-24
|
||
|
||
## 0. 先读方法件（**不要重新发明方法**）
|
||
|
||
工作区：`C:\Users\Administrator\orca\projects\英澳博士课题组数据`
|
||
|
||
- **`method/METHOD.md`** —— 活的采集方法。**重点看 §1「入口发现」与 §6「反面清单」。**
|
||
- `method/finding_edinburgh_v2.md` —— 完备性标杆（643 组 / 24 院系）
|
||
- `method/finding_anu_v2.md` · `finding_qub_v2.md` · `finding_bath_v2.md` —— 最近几所
|
||
- `tasks/` —— 其它任务书
|
||
|
||
一句话：
|
||
|
||
> **找「组目录」，不要枚举 URL。**
|
||
> 官方院系导航 → 各院系 `/research/` → **该页上的「组目录」**
|
||
> （`research-groups` / `research-centres` / `groups` / `institutes` / `labs`，
|
||
> **最高价值是「每个组由一位 PI 带」的目录**）。**入口 20–60 个/校。**
|
||
|
||
**参考已跑通的**：`products/` 下各校 `*__groups*.json` 是产物格式。
|
||
|
||
---
|
||
|
||
## 1. 本波只做这一所：**伦敦玛丽女王大学（英国）· 现有 29 条
|
||
|
||
**入口普查的判型**：自建 research 站点
|
||
**现有 group_url 形态**：``www.qmul.ac.uk / research/<slug>/<slug>``
|
||
|
||
⚠️ 这是**换源重采**：旧数据整体推翻，不要参照它。**
|
||
|
||
---
|
||
|
||
## 2. 交付（**门槛，不是"尽量"**）
|
||
|
||
1. **院系台账（缺一行 = 没做完）**
|
||
`院系（全部）| research 入口 URL | 状态（取到 / 取不到：<原因>）| 组数`
|
||
—— 院系清单从**学校官方导航**拿；**给出枚举来源 URL 与总数**；**`未取页 = 0`**
|
||
2. **全量候选产物**：`products/<slug>_v3__groups.json`
|
||
（五字段：课题组名称 / 所在大学及研究中心 / 研究方向 / 联系邮箱 / 最近五年论文数=null）
|
||
—— **启发式自动抽，不逐条判**
|
||
3. **随机抽 30 条逐条开页面核** → **准确率** + **假阳性类型** + **能否定点修掉**
|
||
- 准确率 **≥90% 且类型集中** ⇒ 定点修那一类，**全量直接用，不再逐页核**
|
||
4. **合理性校验**：`组数 ÷ 院系数`。**比值荒谬地低 ⇒ 回头找「组目录」那一层**
|
||
（不是去爬更多 URL）。确认"再下一层没有组"要贴原文结构作证。
|
||
5. **反例 / 判不准 / 未验清单**（附页面原文）
|
||
6. 一句话：**最终组数？完备性有没有缺口？**
|
||
|
||
产物写 `products/`，报告写 `reports/finding_<slug>_v3.md`（目录不存在就建）。
|
||
|
||
---
|
||
|
||
## 3. 判据与字段（摘要；**细则以 METHOD.md §2 为准**）
|
||
|
||
> **打开页面像人一样看：这是不是一个「导师带的做研究的团队」？**
|
||
> **粒度上限 = 一个导师能带的规模。**
|
||
> 大一级（institute / theme / cluster / 校级研究所）**不收**；
|
||
> **但大一级下面挂着真组时，只收内层组。**
|
||
|
||
**不是组**：服务设施 · 研讨会系列 · 项目 · 学生培养计划 · 单项研究 · 空页重定向 · 无负责人的方向页。
|
||
**共性是页面上有一句「非团队自述」—— 你去看那句话。**
|
||
|
||
| 字段 | 取法 |
|
||
|---|---|
|
||
| 课题组名称 | 该组**自己页面**的 H1（无 H1 用 `<title>`；JS 渲染/表格行用目录里的官方组名并标 `_name_source`）。⚠️ 无官方组名的**按 `<负责人> 团队` 渲染并标 `_name_source: rendered_from_leader`**，且要查重防撞 |
|
||
| 所在大学及研究中心 | 大学 + **真实上级研究单位**；⚠️ 上级是系/院/学部的**不许当研究中心写**，没有真上级就**只写大学** |
|
||
| 研究方向 | 该组页上的方向文字。**没有 ⇒ 不要** |
|
||
| 联系邮箱 | 只接受**本组页 / 本组负责人页**的邮箱 |
|
||
| 最近五年论文数 | null |
|
||
|
||
---
|
||
|
||
## 4. ⚠️ 并行安全（出过事故，必须照做）
|
||
|
||
5 个 worker 曾挤在**同一个 ego-browser Space 的同一个 page** 上 ⇒ 297 页跨校串页、整批作废。
|
||
|
||
1. **自己新建一个 TaskSpace**（不要复用别人已有的）
|
||
2. **每个 URL 用独占的 `newPage()`**，**不要共用 p1**
|
||
3. **每取一页校验 `page.url()` 与目标一致**；不一致 ⇒ 废掉重取
|
||
4. 成功时收尾调一次 `await task.finish({ keep: [] })`；**因错误停止就别调**，把 `spaceId` 报上来
|
||
|
||
⚠️ 本机浏览器可能被用户接管（`ownership: user`）—— 遇到就**立刻停手、不重试**，把 `spaceId` 报上来。
|
||
|
||
---
|
||
|
||
## 5. 硬要求
|
||
|
||
1. **只在本项目内写**（`products/` `reports/`）。不碰别的项目、不碰线上库。
|
||
2. **不设时间盒，做完整为止。** 但**每做完一个院系报一次 `status`**（三句话）。
|
||
3. **判据来自页面。你的眼睛比任何正则都准。**
|
||
4. **不许发明**：抓不到 ⇒ 写「未取到：<URL> + <错误原文>」。**判不准的贴出来，不要归类掉。**
|
||
5. **不要从 sitemap 全量枚举 URL**（METHOD.md §6 反面清单第一条）。
|
||
6. **只做这一所学校。**
|
||
|