sync: v2 产物 + 蒙纳士 376 + 池状态 + 64 份任务书

2026-09-24 13:45:31 +08:00
parent 565edf744b
commit 6724fd1efc
95 changed files with 25860 additions and 0 deletions
@@ -0,0 +1,97 @@
+# 课题组逐院系采集 · 南十字星大学（澳新）· 现有 10 条
+
+**入口普查的判型**：其它/待裁
+**现有 group_url 形态**：``www.scu.edu.au / <slug>``
+
+⚠️ 这是**换源重采**：旧数据整体推翻，不要参照它。 · Win1 · Manager 2026-09-24
+
+## 0. 先读方法件（**不要重新发明方法**）
+
+工作区：`C:\Users\Administrator\orca\projects\英澳博士课题组数据`
+
+- **`method/METHOD.md`** —— 活的采集方法。**重点看 §1「入口发现」与 §6「反面清单」。**
+- `method/finding_edinburgh_v2.md` —— 完备性标杆（643 组 / 24 院系）
+- `method/finding_anu_v2.md` · `finding_qub_v2.md` · `finding_bath_v2.md` —— 最近几所
+- `tasks/` —— 其它任务书
+
+一句话：
+
+> **找「组目录」，不要枚举 URL。**
+> 官方院系导航 → 各院系 `/research/` → **该页上的「组目录」**
+> （`research-groups` / `research-centres` / `groups` / `institutes` / `labs`，
+> **最高价值是「每个组由一位 PI 带」的目录**）。**入口 20–60 个/校。**
+
+**参考已跑通的**：`products/` 下各校 `*__groups*.json` 是产物格式。
+
+---
+
+## 1. 本波只做这一所：**南十字星大学（澳新）· 现有 10 条
+
+**入口普查的判型**：其它/待裁
+**现有 group_url 形态**：``www.scu.edu.au / <slug>``
+
+⚠️ 这是**换源重采**：旧数据整体推翻，不要参照它。**
+
+---
+
+## 2. 交付（**门槛，不是"尽量"**）
+
+1. **院系台账（缺一行 = 没做完）**
+   `院系（全部）| research 入口 URL | 状态（取到 / 取不到：<原因>）| 组数`
+   —— 院系清单从**学校官方导航**拿；**给出枚举来源 URL 与总数**；**`未取页 = 0`**
+2. **全量候选产物**：`products/<slug>_v3__groups.json`
+   （五字段：课题组名称 / 所在大学及研究中心 / 研究方向 / 联系邮箱 / 最近五年论文数=null）
+   —— **启发式自动抽，不逐条判**
+3. **随机抽 30 条逐条开页面核** → **准确率** + **假阳性类型** + **能否定点修掉**
+   - 准确率 **≥90% 且类型集中** ⇒ 定点修那一类，**全量直接用，不再逐页核**
+4. **合理性校验**：`组数 ÷ 院系数`。**比值荒谬地低 ⇒ 回头找「组目录」那一层**
+   （不是去爬更多 URL）。确认"再下一层没有组"要贴原文结构作证。
+5. **反例 / 判不准 / 未验清单**（附页面原文）
+6. 一句话：**最终组数？完备性有没有缺口？**
+
+产物写 `products/`，报告写 `reports/finding_<slug>_v3.md`（目录不存在就建）。
+
+---
+
+## 3. 判据与字段（摘要；**细则以 METHOD.md §2 为准**）
+
+> **打开页面像人一样看：这是不是一个「导师带的做研究的团队」？**
+> **粒度上限 = 一个导师能带的规模。**
+> 大一级（institute / theme / cluster / 校级研究所）**不收**；
+> **但大一级下面挂着真组时，只收内层组。**
+
+**不是组**：服务设施 · 研讨会系列 · 项目 · 学生培养计划 · 单项研究 · 空页重定向 · 无负责人的方向页。
+**共性是页面上有一句「非团队自述」—— 你去看那句话。**
+
+| 字段 | 取法 |
+|---|---|
+| 课题组名称 | 该组**自己页面**的 H1（无 H1 用 `<title>`；JS 渲染/表格行用目录里的官方组名并标 `_name_source`）。⚠️ 无官方组名的**按 `<负责人> 团队` 渲染并标 `_name_source: rendered_from_leader`**，且要查重防撞 |
+| 所在大学及研究中心 | 大学 + **真实上级研究单位**；⚠️ 上级是系/院/学部的**不许当研究中心写**，没有真上级就**只写大学** |
+| 研究方向 | 该组页上的方向文字。**没有 ⇒ 不要** |
+| 联系邮箱 | 只接受**本组页 / 本组负责人页**的邮箱 |
+| 最近五年论文数 | null |
+
+---
+
+## 4. ⚠️ 并行安全（出过事故，必须照做）
+
+5 个 worker 曾挤在**同一个 ego-browser Space 的同一个 page** 上 ⇒ 297 页跨校串页、整批作废。
+
+1. **自己新建一个 TaskSpace**（不要复用别人已有的）
+2. **每个 URL 用独占的 `newPage()`**，**不要共用 p1**
+3. **每取一页校验 `page.url()` 与目标一致**；不一致 ⇒ 废掉重取
+4. 成功时收尾调一次 `await task.finish({ keep: [] })`；**因错误停止就别调**，把 `spaceId` 报上来
+
+⚠️ 本机浏览器可能被用户接管（`ownership: user`）—— 遇到就**立刻停手、不重试**，把 `spaceId` 报上来。
+
+---
+
+## 5. 硬要求
+
+1. **只在本项目内写**（`products/` `reports/`）。不碰别的项目、不碰线上库。
+2. **不设时间盒，做完整为止。** 但**每做完一个院系报一次 `status`**（三句话）。
+3. **判据来自页面。你的眼睛比任何正则都准。**
+4. **不许发明**：抓不到 ⇒ 写「未取到：<URL> + <错误原文>」。**判不准的贴出来，不要归类掉。**
+5. **不要从 sitemap 全量枚举 URL**（METHOD.md §6 反面清单第一条）。
+6. **只做这一所学校。**
+