87 lines
4.8 KiB
Markdown
87 lines
4.8 KiB
Markdown
# 课题组采集 · 完备性 · 利物浦热带医学院（Liverpool School of Tropical Medicine）· `lstmed.ac.uk`
|
||
前一轮 33 条；⚠️ 9 个 research theme 里 **8 个 404**（只有 `/research/malaria-other-vector-borne-diseases` 活着）—— 找它的**实际组目录**在哪。 · Manager 2026-09-24
|
||
|
||
## 0. 先读方法件（**不要重新发明方法**）
|
||
|
||
**`/Users/jun/Codes/prodream/.worklogs/groups-dept/METHOD.md`** —— 那是活的采集方法，
|
||
本波照它做。**重点看 §1「入口发现」与 §6「反面清单」。**
|
||
|
||
一句话：
|
||
|
||
> **找「组目录」，不要枚举 URL。**
|
||
> 官方院系导航 → 各院系 `/research/` → **该页上的「组目录」**（`research-groups` / `research-centres` /
|
||
> `groups` / `institutes` / `labs`，**最高价值是「每个组由一位 PI 带」的目录**）。
|
||
> **入口 20–60 个/校** —— 不是 sitemap 里的上万条。
|
||
|
||
**参考已跑通的**：`REPORT.md`（Bristol 切片）· `finding_edinburgh_v2.md`（完备性标杆）、
|
||
`finding_anu_v2.md` / `finding_qub_v2.md`（最近两所）。
|
||
|
||
---
|
||
|
||
## 1. 本波只做这一所：**利物浦热带医学院（Liverpool School of Tropical Medicine）· `lstmed.ac.uk`
|
||
前一轮 33 条；⚠️ 9 个 research theme 里 **8 个 404**（只有 `/research/malaria-other-vector-borne-diseases` 活着）—— 找它的**实际组目录**在哪。**
|
||
|
||
---
|
||
|
||
## 2. 交付（**门槛，不是"尽量"**）
|
||
|
||
1. **院系台账（缺一行 = 没做完）**
|
||
`院系（全部）| research 入口 URL | 状态（取到 / 取不到：<原因>）| 组数`
|
||
—— 院系清单从**学校官方导航**拿（`/faculties/`、`/schools-departments/`、`/about/structure` 之类）；
|
||
**给出枚举来源 URL 与总数**；**`未取页 = 0`**
|
||
2. **全量候选产物**（五字段：课题组名称 / 所在大学及研究中心 / 研究方向 / 联系邮箱 / 最近五年论文数=null）
|
||
—— **启发式自动抽，不逐条判**
|
||
3. **随机抽 30 条逐条开页面核** → **准确率** + **假阳性类型** + **能否定点修掉**
|
||
- 准确率 **≥90% 且类型集中** ⇒ 定点修那一类，**全量直接用，不再逐页核**
|
||
4. **合理性校验**：`组数 ÷ 院系数`。**比值荒谬地低 ⇒ 回头找「组目录」那一层**（不是去爬更多 URL）
|
||
5. **反例 / 判不准 / 未验清单**（各自附页面原文）
|
||
6. 一句话：**最终组数？完备性有没有缺口？**
|
||
|
||
产物写到 `.worklogs/groups-dept/`，按 school-slug 命名（`<slug>_v3__groups.json` + `finding_<slug>_v3.md`）。
|
||
|
||
---
|
||
|
||
## 3. 判据与字段（摘要；**细则在 METHOD.md §2，以它为准**）
|
||
|
||
> **打开页面像人一样看：这是不是一个「导师带的做研究的团队」？**
|
||
> **粒度上限 = 一个导师能带的规模。**
|
||
> 大一级（institute / theme / cluster / 校级研究所）**不收**；
|
||
> **但大一级下面挂着真组时，只收内层组。**
|
||
|
||
**不是组**：服务设施 · 研讨会系列 · 项目 · 学生培养计划 · 单项研究 · 空页重定向 · 无负责人的方向页。
|
||
**共性是页面上有一句「非团队自述」—— 你去看那句话。**
|
||
|
||
| 字段 | 取法 |
|
||
|---|---|
|
||
| 课题组名称 | 该组**自己页面**的 H1（无 H1 用 `<title>`；JS 渲染/表格行用目录里的官方组名并标来源） |
|
||
| 所在大学及研究中心 | 大学 + **真实上级研究单位**；⚠️ 上级是系/院/学部的**不许当研究中心写**，没有真上级就**只写大学** |
|
||
| 研究方向 | 该组页上的方向文字。**没有 ⇒ 不要** |
|
||
| 联系邮箱 | 只接受**本组页 / 本组负责人页**的邮箱 |
|
||
| 最近五年论文数 | null |
|
||
|
||
---
|
||
|
||
## 4. ⚠️ 并行安全（出过事故，必须照做）
|
||
|
||
5 个 worker 曾挤在**同一个 Space 的同一个 page** 上 ⇒ 297 页跨校串页、整批作废。
|
||
|
||
1. **自己新建一个 TaskSpace**（不要复用别人已有的）
|
||
2. **每个 URL 用独占的 `newPage()`**，**不要共用 p1**
|
||
3. **每取一页校验 `page.url()` 与目标一致**；不一致 ⇒ 废掉重取
|
||
4. 成功时收尾调一次 `await task.finish({ keep: [] })`；**因错误停止就别调**，把 `spaceId` 报上来
|
||
|
||
---
|
||
|
||
## 5. 硬要求
|
||
|
||
1. **只读**：只写产物到 `.worklogs/groups-dept/`。不写索引、不改业务代码、不动数据。
|
||
2. **不设时间盒，做完整为止。** 但**每做完一个院系报一次 `status`**（三句话）。
|
||
3. **判据来自页面。你的眼睛比任何正则都准。**
|
||
4. **不许发明**：抓不到 ⇒ 写「未取到：<URL> + <错误原文>」。**判不准的贴出来，不要归类掉。**
|
||
5. **只做这一所学校。**
|
||
6. **不要从 sitemap 全量枚举 URL**（METHOD.md §6 反面清单第一条）。
|
||
|
||
## 6. 边界
|
||
|
||
- 不碰 prodream_backend、不碰 FE、不碰 `.worklogs/groups-rebuild/` 与 `groups-verify/`。
|