sync: v2 产物 + 蒙纳士 376 + 池状态 + 64 份任务书
This commit is contained in:
orca
@@ -0,0 +1,87 @@
|
||||
# 课题组逐院系采集 · __SCHOOL__ · Win1 · Manager 2026-09-24
|
||||
|
||||
## 0. 先读方法件（**不要重新发明方法**）
|
||||
|
||||
工作区：`C:\Users\Administrator\orca\projects\英澳博士课题组数据`
|
||||
|
||||
- **`method/METHOD.md`** —— 活的采集方法。**重点看 §1「入口发现」与 §6「反面清单」。**
|
||||
- `method/finding_edinburgh_v2.md` —— 完备性标杆（643 组 / 24 院系）
|
||||
- `method/finding_anu_v2.md` · `finding_qub_v2.md` · `finding_bath_v2.md` —— 最近几所
|
||||
- `tasks/` —— 其它任务书
|
||||
|
||||
一句话：
|
||||
|
||||
> **找「组目录」，不要枚举 URL。**
|
||||
> 官方院系导航 → 各院系 `/research/` → **该页上的「组目录」**
|
||||
> （`research-groups` / `research-centres` / `groups` / `institutes` / `labs`，
|
||||
> **最高价值是「每个组由一位 PI 带」的目录**）。**入口 20–60 个/校。**
|
||||
|
||||
**参考已跑通的**：`products/` 下各校 `*__groups*.json` 是产物格式。
|
||||
|
||||
---
|
||||
|
||||
## 1. 本波只做这一所：**__SCHOOL__**
|
||||
|
||||
---
|
||||
|
||||
## 2. 交付（**门槛，不是"尽量"**）
|
||||
|
||||
1. **院系台账（缺一行 = 没做完）**
|
||||
`院系（全部）| research 入口 URL | 状态（取到 / 取不到：<原因>）| 组数`
|
||||
—— 院系清单从**学校官方导航**拿；**给出枚举来源 URL 与总数**；**`未取页 = 0`**
|
||||
2. **全量候选产物**：`products/<slug>_v3__groups.json`
|
||||
（五字段：课题组名称 / 所在大学及研究中心 / 研究方向 / 联系邮箱 / 最近五年论文数=null）
|
||||
—— **启发式自动抽，不逐条判**
|
||||
3. **随机抽 30 条逐条开页面核** → **准确率** + **假阳性类型** + **能否定点修掉**
|
||||
- 准确率 **≥90% 且类型集中** ⇒ 定点修那一类，**全量直接用，不再逐页核**
|
||||
4. **合理性校验**：`组数 ÷ 院系数`。**比值荒谬地低 ⇒ 回头找「组目录」那一层**
|
||||
（不是去爬更多 URL）。确认"再下一层没有组"要贴原文结构作证。
|
||||
5. **反例 / 判不准 / 未验清单**（附页面原文）
|
||||
6. 一句话：**最终组数？完备性有没有缺口？**
|
||||
|
||||
产物写 `products/`，报告写 `reports/finding_<slug>_v3.md`（目录不存在就建）。
|
||||
|
||||
---
|
||||
|
||||
## 3. 判据与字段（摘要；**细则以 METHOD.md §2 为准**）
|
||||
|
||||
> **打开页面像人一样看：这是不是一个「导师带的做研究的团队」？**
|
||||
> **粒度上限 = 一个导师能带的规模。**
|
||||
> 大一级（institute / theme / cluster / 校级研究所）**不收**；
|
||||
> **但大一级下面挂着真组时，只收内层组。**
|
||||
|
||||
**不是组**：服务设施 · 研讨会系列 · 项目 · 学生培养计划 · 单项研究 · 空页重定向 · 无负责人的方向页。
|
||||
**共性是页面上有一句「非团队自述」—— 你去看那句话。**
|
||||
|
||||
| 字段 | 取法 |
|
||||
|---|---|
|
||||
| 课题组名称 | 该组**自己页面**的 H1（无 H1 用 `<title>`；JS 渲染/表格行用目录里的官方组名并标 `_name_source`）。⚠️ 无官方组名的**按 `<负责人> 团队` 渲染并标 `_name_source: rendered_from_leader`**，且要查重防撞 |
|
||||
| 所在大学及研究中心 | 大学 + **真实上级研究单位**；⚠️ 上级是系/院/学部的**不许当研究中心写**，没有真上级就**只写大学** |
|
||||
| 研究方向 | 该组页上的方向文字。**没有 ⇒ 不要** |
|
||||
| 联系邮箱 | 只接受**本组页 / 本组负责人页**的邮箱 |
|
||||
| 最近五年论文数 | null |
|
||||
|
||||
---
|
||||
|
||||
## 4. ⚠️ 并行安全（出过事故，必须照做）
|
||||
|
||||
5 个 worker 曾挤在**同一个 ego-browser Space 的同一个 page** 上 ⇒ 297 页跨校串页、整批作废。
|
||||
|
||||
1. **自己新建一个 TaskSpace**（不要复用别人已有的）
|
||||
2. **每个 URL 用独占的 `newPage()`**，**不要共用 p1**
|
||||
3. **每取一页校验 `page.url()` 与目标一致**；不一致 ⇒ 废掉重取
|
||||
4. 成功时收尾调一次 `await task.finish({ keep: [] })`；**因错误停止就别调**，把 `spaceId` 报上来
|
||||
|
||||
⚠️ 本机浏览器可能被用户接管（`ownership: user`）—— 遇到就**立刻停手、不重试**，把 `spaceId` 报上来。
|
||||
|
||||
---
|
||||
|
||||
## 5. 硬要求
|
||||
|
||||
1. **只在本项目内写**（`products/` `reports/`）。不碰别的项目、不碰线上库。
|
||||
2. **不设时间盒，做完整为止。** 但**每做完一个院系报一次 `status`**（三句话）。
|
||||
3. **判据来自页面。你的眼睛比任何正则都准。**
|
||||
4. **不许发明**：抓不到 ⇒ 写「未取到：<URL> + <错误原文>」。**判不准的贴出来，不要归类掉。**
|
||||
5. **不要从 sitemap 全量枚举 URL**（METHOD.md §6 反面清单第一条）。
|
||||
6. **只做这一所学校。**
|
||||
|
||||
@@ -0,0 +1,68 @@
|
||||
{
|
||||
"run": "run_488d81fad4d6",
|
||||
"host": "Win1",
|
||||
"worktree": "C:/Users/Administrator/orca/projects/英澳博士课题组数据",
|
||||
"pool_size": 10,
|
||||
"slots": {
|
||||
"ctx_e912a9609dce": "GSMD 市政厅",
|
||||
"ctx_b5ce1c6f61d5": "KCL 伦敦国王学院",
|
||||
"ctx_d52a06cb7166": "GLASGOW 格拉斯哥",
|
||||
"ctx_838c2ad83615": "CARDIFF 卡迪夫",
|
||||
"ctx_46038ec34fc0": "READING 雷丁",
|
||||
"ctx_c4c0f023c73a": "JCU 詹姆斯库克",
|
||||
"ctx_a0f22a56e13e": "OTAGO 奥塔哥",
|
||||
"ctx_f1c1bdddb2b3": "UTS 悉尼科技",
|
||||
"ctx_ad8e9ae3c9e4": "DURHAM 杜伦",
|
||||
"ctx_5f23a2304503": "NEWCASTLE 纽卡斯尔"
|
||||
},
|
||||
"completed": {
|
||||
"ctx_9fc6c19bde17": "COURTAULD 考陶尔德 = 9 组",
|
||||
"ctx_6ed51d009c6a": "UWS 西悉尼 = 79 组",
|
||||
"ctx_5da2c9cebff1": "RCS 苏格兰皇家音乐 = 0 组（复验，26 候选 + 六项硬证据）",
|
||||
"ctx_27a4e7a78849": "LSTMED 利物浦热带 = 12 组（/research/centres/ 唯一组目录；8 个 theme 404 是改版换 slug）",
|
||||
"ctx_aaaefd68680d": "CANBERRA 堪培拉 = 37 组（未取页 0；抽样 83.3%→定点修后 100%）",
|
||||
"ctx_87657bf70fab": "BRISTOL 布里斯托 = 205 组（旧 174，+17.8%；未取页 0；抽样 93.3%）",
|
||||
"ctx_a53336cbdd98": "BOND 邦德 = 38 组（前轮 19）",
|
||||
"ctx_54c767baaae4": "SOUTHAMPTON 南安普顿 = 261 组（未取页 0；抽样两轮 30 条定点修）",
|
||||
"ctx_80b0ee4ab590": "CDU 查尔斯达尔文 = 38 组 / 36 单位（前轮 11；未取页 0）",
|
||||
"ctx_79bb1c6923c9": "IMPERIAL 帝国理工 = 476 组 / 25 院系（旧 379）",
|
||||
"ctx_38e4ac4a3edc": "LEEDS 利兹 = 309 组 / 35 单元（旧 225；未取页 0；抽样 30/30）",
|
||||
"ctx_edd26d2e1b59": "FLINDERS 弗林德斯 = 147 组（旧 17，8.6x；未取页 0；抽样 96.7%）",
|
||||
"ctx_98699cb93574": "NOTTINGHAM 诺丁汉 = 229 组（旧 282；未取页 0；抽样修后 94.7%）"
|
||||
},
|
||||
"queue_files": {
|
||||
"win1q_0.md": "伦敦国王学院",
|
||||
"win1q_1.md": "帝国理工学院",
|
||||
"win1q_2.md": "格拉斯哥大学",
|
||||
"win1q_3.md": "诺丁汉大学",
|
||||
"win1q_4.md": "南安普顿大学",
|
||||
"win1q_5.md": "卡迪夫大学",
|
||||
"win1q_6.md": "利兹大学",
|
||||
"win1q_7.md": "雷丁大学",
|
||||
"win1q_8.md": "詹姆斯库克大学",
|
||||
"win1q_9.md": "奥塔哥大学",
|
||||
"win1q_10.md": "悉尼科技大学",
|
||||
"win1q_11.md": "杜伦大学",
|
||||
"win1q_12.md": "纽卡斯尔大学",
|
||||
"win1q_13.md": "阿德莱德大学",
|
||||
"win1q_14.md": "昆士兰大学",
|
||||
"win1q_15.md": "伦敦大学城市圣乔治学院"
|
||||
},
|
||||
"queue_dispatched": [
|
||||
"win1q_0.md",
|
||||
"win1q_1.md",
|
||||
"win1q_2.md",
|
||||
"win1q_3.md",
|
||||
"win1q_4.md",
|
||||
"win1q_5.md",
|
||||
"win1q_6.md",
|
||||
"win1q_7.md",
|
||||
"win1q_8.md",
|
||||
"win1q_9.md",
|
||||
"win1q_10.md",
|
||||
"win1q_11.md",
|
||||
"win1q_12.md"
|
||||
],
|
||||
"queue_remaining_total": 64,
|
||||
"note": "池语义：出一进一。队列共 64 校，已生成 16 份任务书。"
|
||||
}
|
||||
@@ -0,0 +1,66 @@
|
||||
{
|
||||
"win1q_0.md": "伦敦国王学院",
|
||||
"win1q_1.md": "帝国理工学院",
|
||||
"win1q_2.md": "格拉斯哥大学",
|
||||
"win1q_3.md": "诺丁汉大学",
|
||||
"win1q_4.md": "南安普顿大学",
|
||||
"win1q_5.md": "卡迪夫大学",
|
||||
"win1q_6.md": "利兹大学",
|
||||
"win1q_7.md": "雷丁大学",
|
||||
"win1q_8.md": "詹姆斯库克大学",
|
||||
"win1q_9.md": "奥塔哥大学",
|
||||
"win1q_10.md": "悉尼科技大学",
|
||||
"win1q_11.md": "杜伦大学",
|
||||
"win1q_12.md": "纽卡斯尔大学",
|
||||
"win1q_13.md": "阿德莱德大学",
|
||||
"win1q_14.md": "昆士兰大学",
|
||||
"win1q_15.md": "伦敦大学城市圣乔治学院",
|
||||
"win1q_16.md": "谢菲尔德大学",
|
||||
"win1q_18.md": "利物浦大学",
|
||||
"win1q_20.md": "ESCP欧洲高等商学院",
|
||||
"win1q_22.md": "剑桥大学",
|
||||
"win1q_24.md": "悉尼大学",
|
||||
"win1q_26.md": "坎特伯雷大学",
|
||||
"win1q_28.md": "埃克塞特大学",
|
||||
"win1q_30.md": "墨尔本大学",
|
||||
"win1q_32.md": "华威大学",
|
||||
"win1q_34.md": "莫道克大学",
|
||||
"win1q_36.md": "克兰菲尔德大学",
|
||||
"win1q_38.md": "伦敦玛丽女王大学",
|
||||
"win1q_40.md": "皇家兽医学院",
|
||||
"win1q_42.md": "伦敦政治经济学院",
|
||||
"win1q_44.md": "贝叶斯商学院",
|
||||
"win1q_46.md": "牛津大学",
|
||||
"win1q_48.md": "南昆士兰大学",
|
||||
"win1q_50.md": "哈珀亚当斯大学",
|
||||
"win1q_52.md": "中央昆士兰大学",
|
||||
"win1q_54.md": "埃蒂斯科文大学",
|
||||
"win1q_56.md": "伦敦卫生与热带医学院",
|
||||
"win1q_58.md": "哈特伯瑞大学",
|
||||
"win1q_60.md": "墨尔本皇家理工大学",
|
||||
"win1q_62.md": "南十字星大学",
|
||||
"win1q_64.md": "法尔茅斯大学",
|
||||
"win1q_66.md": "皇家艺术学院",
|
||||
"win1q_68.md": "迪肯大学",
|
||||
"win1q_70.md": "科廷马来西亚校区",
|
||||
"win1q_72.md": "诺里奇艺术大学",
|
||||
"win1q_74.md": "伦敦艺术大学",
|
||||
"win1q_76.md": "皇家北方音乐学院",
|
||||
"win1q_78.md": "创意艺术大学",
|
||||
"win1q_80.md": "悉尼新南威尔士大学",
|
||||
"win1q_82.md": "AA建筑联盟学院",
|
||||
"win1q_84.md": "伯恩茅斯艺术大学",
|
||||
"win1q_86.md": "伦敦商学院",
|
||||
"win1q_88.md": "罗斯布鲁弗德戏剧与表演学院",
|
||||
"win1q_90.md": "皇家农业大学",
|
||||
"win1q_92.md": "格拉斯哥艺术学院",
|
||||
"win1q_94.md": "三一拉邦音乐舞蹈学院",
|
||||
"win1q_96.md": "普利茅斯艺术大学",
|
||||
"win1q_98.md": "斯威本科技大学",
|
||||
"win1q_100.md": "霍特国际商学院",
|
||||
"win1q_102.md": "怀卡托大学",
|
||||
"win1q_104.md": "利兹艺术大学",
|
||||
"win1q_106.md": "皇家中央演讲与戏剧学院",
|
||||
"win1q_108.md": "皇家音乐学院(RCM)",
|
||||
"win1q_110.md": "英国法律大学"
|
||||
}
|
||||
@@ -0,0 +1,89 @@
|
||||
# 课题组逐院系采集 · 邦德大学（Bond University）· `bond.edu.au`
|
||||
前一轮 19 条。 · Win1 · Manager 2026-09-24
|
||||
|
||||
## 0. 先读方法件（**不要重新发明方法**）
|
||||
|
||||
工作区：`C:\Users\Administrator\orca\projects\英澳博士课题组数据`
|
||||
|
||||
- **`method/METHOD.md`** —— 活的采集方法。**重点看 §1「入口发现」与 §6「反面清单」。**
|
||||
- `method/finding_edinburgh_v2.md` —— 完备性标杆（643 组 / 24 院系）
|
||||
- `method/finding_anu_v2.md` · `finding_qub_v2.md` · `finding_bath_v2.md` —— 最近几所
|
||||
- `tasks/` —— 其它任务书
|
||||
|
||||
一句话：
|
||||
|
||||
> **找「组目录」，不要枚举 URL。**
|
||||
> 官方院系导航 → 各院系 `/research/` → **该页上的「组目录」**
|
||||
> （`research-groups` / `research-centres` / `groups` / `institutes` / `labs`，
|
||||
> **最高价值是「每个组由一位 PI 带」的目录**）。**入口 20–60 个/校。**
|
||||
|
||||
**参考已跑通的**：`products/` 下各校 `*__groups*.json` 是产物格式。
|
||||
|
||||
---
|
||||
|
||||
## 1. 本波只做这一所：**邦德大学（Bond University）· `bond.edu.au`
|
||||
前一轮 19 条。**
|
||||
|
||||
---
|
||||
|
||||
## 2. 交付（**门槛，不是"尽量"**）
|
||||
|
||||
1. **院系台账（缺一行 = 没做完）**
|
||||
`院系（全部）| research 入口 URL | 状态（取到 / 取不到：<原因>）| 组数`
|
||||
—— 院系清单从**学校官方导航**拿；**给出枚举来源 URL 与总数**；**`未取页 = 0`**
|
||||
2. **全量候选产物**：`products/<slug>_v3__groups.json`
|
||||
（五字段：课题组名称 / 所在大学及研究中心 / 研究方向 / 联系邮箱 / 最近五年论文数=null）
|
||||
—— **启发式自动抽，不逐条判**
|
||||
3. **随机抽 30 条逐条开页面核** → **准确率** + **假阳性类型** + **能否定点修掉**
|
||||
- 准确率 **≥90% 且类型集中** ⇒ 定点修那一类，**全量直接用，不再逐页核**
|
||||
4. **合理性校验**：`组数 ÷ 院系数`。**比值荒谬地低 ⇒ 回头找「组目录」那一层**
|
||||
（不是去爬更多 URL）。确认"再下一层没有组"要贴原文结构作证。
|
||||
5. **反例 / 判不准 / 未验清单**（附页面原文）
|
||||
6. 一句话：**最终组数？完备性有没有缺口？**
|
||||
|
||||
产物写 `products/`，报告写 `reports/finding_<slug>_v3.md`（目录不存在就建）。
|
||||
|
||||
---
|
||||
|
||||
## 3. 判据与字段（摘要；**细则以 METHOD.md §2 为准**）
|
||||
|
||||
> **打开页面像人一样看：这是不是一个「导师带的做研究的团队」？**
|
||||
> **粒度上限 = 一个导师能带的规模。**
|
||||
> 大一级（institute / theme / cluster / 校级研究所）**不收**；
|
||||
> **但大一级下面挂着真组时，只收内层组。**
|
||||
|
||||
**不是组**：服务设施 · 研讨会系列 · 项目 · 学生培养计划 · 单项研究 · 空页重定向 · 无负责人的方向页。
|
||||
**共性是页面上有一句「非团队自述」—— 你去看那句话。**
|
||||
|
||||
| 字段 | 取法 |
|
||||
|---|---|
|
||||
| 课题组名称 | 该组**自己页面**的 H1（无 H1 用 `<title>`；JS 渲染/表格行用目录里的官方组名并标 `_name_source`）。⚠️ 无官方组名的**按 `<负责人> 团队` 渲染并标 `_name_source: rendered_from_leader`**，且要查重防撞 |
|
||||
| 所在大学及研究中心 | 大学 + **真实上级研究单位**；⚠️ 上级是系/院/学部的**不许当研究中心写**，没有真上级就**只写大学** |
|
||||
| 研究方向 | 该组页上的方向文字。**没有 ⇒ 不要** |
|
||||
| 联系邮箱 | 只接受**本组页 / 本组负责人页**的邮箱 |
|
||||
| 最近五年论文数 | null |
|
||||
|
||||
---
|
||||
|
||||
## 4. ⚠️ 并行安全（出过事故，必须照做）
|
||||
|
||||
5 个 worker 曾挤在**同一个 ego-browser Space 的同一个 page** 上 ⇒ 297 页跨校串页、整批作废。
|
||||
|
||||
1. **自己新建一个 TaskSpace**（不要复用别人已有的）
|
||||
2. **每个 URL 用独占的 `newPage()`**，**不要共用 p1**
|
||||
3. **每取一页校验 `page.url()` 与目标一致**；不一致 ⇒ 废掉重取
|
||||
4. 成功时收尾调一次 `await task.finish({ keep: [] })`；**因错误停止就别调**，把 `spaceId` 报上来
|
||||
|
||||
⚠️ 本机浏览器可能被用户接管（`ownership: user`）—— 遇到就**立刻停手、不重试**，把 `spaceId` 报上来。
|
||||
|
||||
---
|
||||
|
||||
## 5. 硬要求
|
||||
|
||||
1. **只在本项目内写**（`products/` `reports/`）。不碰别的项目、不碰线上库。
|
||||
2. **不设时间盒，做完整为止。** 但**每做完一个院系报一次 `status`**（三句话）。
|
||||
3. **判据来自页面。你的眼睛比任何正则都准。**
|
||||
4. **不许发明**：抓不到 ⇒ 写「未取到：<URL> + <错误原文>」。**判不准的贴出来，不要归类掉。**
|
||||
5. **不要从 sitemap 全量枚举 URL**（METHOD.md §6 反面清单第一条）。
|
||||
6. **只做这一所学校。**
|
||||
|
||||
@@ -0,0 +1,93 @@
|
||||
# 课题组逐院系采集 · 布里斯托大学（University of Bristol）· `bristol.ac.uk`
|
||||
切片已做 174 组（方法论基准）。
|
||||
⚠️ **但爱丁堡从 22 变 643 说明基准本身也可能偏低** —— 复验：
|
||||
学院站之外有没有**学院自己发布的 PI-group 目录**（爱丁堡漏掉的正是这一类，一个目录就 140 条）。 · Win1 · Manager 2026-09-24
|
||||
|
||||
## 0. 先读方法件（**不要重新发明方法**）
|
||||
|
||||
工作区：`C:\Users\Administrator\orca\projects\英澳博士课题组数据`
|
||||
|
||||
- **`method/METHOD.md`** —— 活的采集方法。**重点看 §1「入口发现」与 §6「反面清单」。**
|
||||
- `method/finding_edinburgh_v2.md` —— 完备性标杆（643 组 / 24 院系）
|
||||
- `method/finding_anu_v2.md` · `finding_qub_v2.md` · `finding_bath_v2.md` —— 最近几所
|
||||
- `tasks/` —— 其它任务书
|
||||
|
||||
一句话：
|
||||
|
||||
> **找「组目录」，不要枚举 URL。**
|
||||
> 官方院系导航 → 各院系 `/research/` → **该页上的「组目录」**
|
||||
> （`research-groups` / `research-centres` / `groups` / `institutes` / `labs`，
|
||||
> **最高价值是「每个组由一位 PI 带」的目录**）。**入口 20–60 个/校。**
|
||||
|
||||
**参考已跑通的**：`products/` 下各校 `*__groups*.json` 是产物格式。
|
||||
|
||||
---
|
||||
|
||||
## 1. 本波只做这一所：**布里斯托大学（University of Bristol）· `bristol.ac.uk`
|
||||
切片已做 174 组（方法论基准）。
|
||||
⚠️ **但爱丁堡从 22 变 643 说明基准本身也可能偏低** —— 复验：
|
||||
学院站之外有没有**学院自己发布的 PI-group 目录**（爱丁堡漏掉的正是这一类，一个目录就 140 条）。**
|
||||
|
||||
---
|
||||
|
||||
## 2. 交付（**门槛，不是"尽量"**）
|
||||
|
||||
1. **院系台账（缺一行 = 没做完）**
|
||||
`院系（全部）| research 入口 URL | 状态（取到 / 取不到：<原因>）| 组数`
|
||||
—— 院系清单从**学校官方导航**拿；**给出枚举来源 URL 与总数**；**`未取页 = 0`**
|
||||
2. **全量候选产物**：`products/<slug>_v3__groups.json`
|
||||
（五字段：课题组名称 / 所在大学及研究中心 / 研究方向 / 联系邮箱 / 最近五年论文数=null）
|
||||
—— **启发式自动抽，不逐条判**
|
||||
3. **随机抽 30 条逐条开页面核** → **准确率** + **假阳性类型** + **能否定点修掉**
|
||||
- 准确率 **≥90% 且类型集中** ⇒ 定点修那一类，**全量直接用，不再逐页核**
|
||||
4. **合理性校验**：`组数 ÷ 院系数`。**比值荒谬地低 ⇒ 回头找「组目录」那一层**
|
||||
（不是去爬更多 URL）。确认"再下一层没有组"要贴原文结构作证。
|
||||
5. **反例 / 判不准 / 未验清单**（附页面原文）
|
||||
6. 一句话：**最终组数？完备性有没有缺口？**
|
||||
|
||||
产物写 `products/`，报告写 `reports/finding_<slug>_v3.md`（目录不存在就建）。
|
||||
|
||||
---
|
||||
|
||||
## 3. 判据与字段（摘要；**细则以 METHOD.md §2 为准**）
|
||||
|
||||
> **打开页面像人一样看：这是不是一个「导师带的做研究的团队」？**
|
||||
> **粒度上限 = 一个导师能带的规模。**
|
||||
> 大一级（institute / theme / cluster / 校级研究所）**不收**；
|
||||
> **但大一级下面挂着真组时，只收内层组。**
|
||||
|
||||
**不是组**：服务设施 · 研讨会系列 · 项目 · 学生培养计划 · 单项研究 · 空页重定向 · 无负责人的方向页。
|
||||
**共性是页面上有一句「非团队自述」—— 你去看那句话。**
|
||||
|
||||
| 字段 | 取法 |
|
||||
|---|---|
|
||||
| 课题组名称 | 该组**自己页面**的 H1（无 H1 用 `<title>`；JS 渲染/表格行用目录里的官方组名并标 `_name_source`）。⚠️ 无官方组名的**按 `<负责人> 团队` 渲染并标 `_name_source: rendered_from_leader`**，且要查重防撞 |
|
||||
| 所在大学及研究中心 | 大学 + **真实上级研究单位**；⚠️ 上级是系/院/学部的**不许当研究中心写**，没有真上级就**只写大学** |
|
||||
| 研究方向 | 该组页上的方向文字。**没有 ⇒ 不要** |
|
||||
| 联系邮箱 | 只接受**本组页 / 本组负责人页**的邮箱 |
|
||||
| 最近五年论文数 | null |
|
||||
|
||||
---
|
||||
|
||||
## 4. ⚠️ 并行安全（出过事故，必须照做）
|
||||
|
||||
5 个 worker 曾挤在**同一个 ego-browser Space 的同一个 page** 上 ⇒ 297 页跨校串页、整批作废。
|
||||
|
||||
1. **自己新建一个 TaskSpace**（不要复用别人已有的）
|
||||
2. **每个 URL 用独占的 `newPage()`**，**不要共用 p1**
|
||||
3. **每取一页校验 `page.url()` 与目标一致**；不一致 ⇒ 废掉重取
|
||||
4. 成功时收尾调一次 `await task.finish({ keep: [] })`；**因错误停止就别调**，把 `spaceId` 报上来
|
||||
|
||||
⚠️ 本机浏览器可能被用户接管（`ownership: user`）—— 遇到就**立刻停手、不重试**，把 `spaceId` 报上来。
|
||||
|
||||
---
|
||||
|
||||
## 5. 硬要求
|
||||
|
||||
1. **只在本项目内写**（`products/` `reports/`）。不碰别的项目、不碰线上库。
|
||||
2. **不设时间盒，做完整为止。** 但**每做完一个院系报一次 `status`**（三句话）。
|
||||
3. **判据来自页面。你的眼睛比任何正则都准。**
|
||||
4. **不许发明**：抓不到 ⇒ 写「未取到：<URL> + <错误原文>」。**判不准的贴出来，不要归类掉。**
|
||||
5. **不要从 sitemap 全量枚举 URL**（METHOD.md §6 反面清单第一条）。
|
||||
6. **只做这一所学校。**
|
||||
|
||||
@@ -0,0 +1,89 @@
|
||||
# 课题组逐院系采集 · 堪培拉大学（University of Canberra）· `canberra.edu.au`
|
||||
前一轮 10 条。 · Win1 · Manager 2026-09-24
|
||||
|
||||
## 0. 先读方法件（**不要重新发明方法**）
|
||||
|
||||
工作区：`C:\Users\Administrator\orca\projects\英澳博士课题组数据`
|
||||
|
||||
- **`method/METHOD.md`** —— 活的采集方法。**重点看 §1「入口发现」与 §6「反面清单」。**
|
||||
- `method/finding_edinburgh_v2.md` —— 完备性标杆（643 组 / 24 院系）
|
||||
- `method/finding_anu_v2.md` · `finding_qub_v2.md` · `finding_bath_v2.md` —— 最近几所
|
||||
- `tasks/` —— 其它任务书
|
||||
|
||||
一句话：
|
||||
|
||||
> **找「组目录」，不要枚举 URL。**
|
||||
> 官方院系导航 → 各院系 `/research/` → **该页上的「组目录」**
|
||||
> （`research-groups` / `research-centres` / `groups` / `institutes` / `labs`，
|
||||
> **最高价值是「每个组由一位 PI 带」的目录**）。**入口 20–60 个/校。**
|
||||
|
||||
**参考已跑通的**：`products/` 下各校 `*__groups*.json` 是产物格式。
|
||||
|
||||
---
|
||||
|
||||
## 1. 本波只做这一所：**堪培拉大学（University of Canberra）· `canberra.edu.au`
|
||||
前一轮 10 条。**
|
||||
|
||||
---
|
||||
|
||||
## 2. 交付（**门槛，不是"尽量"**）
|
||||
|
||||
1. **院系台账（缺一行 = 没做完）**
|
||||
`院系（全部）| research 入口 URL | 状态（取到 / 取不到：<原因>）| 组数`
|
||||
—— 院系清单从**学校官方导航**拿；**给出枚举来源 URL 与总数**；**`未取页 = 0`**
|
||||
2. **全量候选产物**：`products/<slug>_v3__groups.json`
|
||||
（五字段：课题组名称 / 所在大学及研究中心 / 研究方向 / 联系邮箱 / 最近五年论文数=null）
|
||||
—— **启发式自动抽，不逐条判**
|
||||
3. **随机抽 30 条逐条开页面核** → **准确率** + **假阳性类型** + **能否定点修掉**
|
||||
- 准确率 **≥90% 且类型集中** ⇒ 定点修那一类，**全量直接用，不再逐页核**
|
||||
4. **合理性校验**：`组数 ÷ 院系数`。**比值荒谬地低 ⇒ 回头找「组目录」那一层**
|
||||
（不是去爬更多 URL）。确认"再下一层没有组"要贴原文结构作证。
|
||||
5. **反例 / 判不准 / 未验清单**（附页面原文）
|
||||
6. 一句话：**最终组数？完备性有没有缺口？**
|
||||
|
||||
产物写 `products/`，报告写 `reports/finding_<slug>_v3.md`（目录不存在就建）。
|
||||
|
||||
---
|
||||
|
||||
## 3. 判据与字段（摘要；**细则以 METHOD.md §2 为准**）
|
||||
|
||||
> **打开页面像人一样看：这是不是一个「导师带的做研究的团队」？**
|
||||
> **粒度上限 = 一个导师能带的规模。**
|
||||
> 大一级（institute / theme / cluster / 校级研究所）**不收**；
|
||||
> **但大一级下面挂着真组时，只收内层组。**
|
||||
|
||||
**不是组**：服务设施 · 研讨会系列 · 项目 · 学生培养计划 · 单项研究 · 空页重定向 · 无负责人的方向页。
|
||||
**共性是页面上有一句「非团队自述」—— 你去看那句话。**
|
||||
|
||||
| 字段 | 取法 |
|
||||
|---|---|
|
||||
| 课题组名称 | 该组**自己页面**的 H1（无 H1 用 `<title>`；JS 渲染/表格行用目录里的官方组名并标 `_name_source`）。⚠️ 无官方组名的**按 `<负责人> 团队` 渲染并标 `_name_source: rendered_from_leader`**，且要查重防撞 |
|
||||
| 所在大学及研究中心 | 大学 + **真实上级研究单位**；⚠️ 上级是系/院/学部的**不许当研究中心写**，没有真上级就**只写大学** |
|
||||
| 研究方向 | 该组页上的方向文字。**没有 ⇒ 不要** |
|
||||
| 联系邮箱 | 只接受**本组页 / 本组负责人页**的邮箱 |
|
||||
| 最近五年论文数 | null |
|
||||
|
||||
---
|
||||
|
||||
## 4. ⚠️ 并行安全（出过事故，必须照做）
|
||||
|
||||
5 个 worker 曾挤在**同一个 ego-browser Space 的同一个 page** 上 ⇒ 297 页跨校串页、整批作废。
|
||||
|
||||
1. **自己新建一个 TaskSpace**（不要复用别人已有的）
|
||||
2. **每个 URL 用独占的 `newPage()`**，**不要共用 p1**
|
||||
3. **每取一页校验 `page.url()` 与目标一致**；不一致 ⇒ 废掉重取
|
||||
4. 成功时收尾调一次 `await task.finish({ keep: [] })`；**因错误停止就别调**，把 `spaceId` 报上来
|
||||
|
||||
⚠️ 本机浏览器可能被用户接管（`ownership: user`）—— 遇到就**立刻停手、不重试**，把 `spaceId` 报上来。
|
||||
|
||||
---
|
||||
|
||||
## 5. 硬要求
|
||||
|
||||
1. **只在本项目内写**（`products/` `reports/`）。不碰别的项目、不碰线上库。
|
||||
2. **不设时间盒，做完整为止。** 但**每做完一个院系报一次 `status`**（三句话）。
|
||||
3. **判据来自页面。你的眼睛比任何正则都准。**
|
||||
4. **不许发明**：抓不到 ⇒ 写「未取到：<URL> + <错误原文>」。**判不准的贴出来，不要归类掉。**
|
||||
5. **不要从 sitemap 全量枚举 URL**（METHOD.md §6 反面清单第一条）。
|
||||
6. **只做这一所学校。**
|
||||
|
||||
@@ -0,0 +1,89 @@
|
||||
# 课题组逐院系采集 · 查尔斯达尔文大学（Charles Darwin University）· `cdu.edu.au`
|
||||
前一轮 11 条。 · Win1 · Manager 2026-09-24
|
||||
|
||||
## 0. 先读方法件（**不要重新发明方法**）
|
||||
|
||||
工作区：`C:\Users\Administrator\orca\projects\英澳博士课题组数据`
|
||||
|
||||
- **`method/METHOD.md`** —— 活的采集方法。**重点看 §1「入口发现」与 §6「反面清单」。**
|
||||
- `method/finding_edinburgh_v2.md` —— 完备性标杆（643 组 / 24 院系）
|
||||
- `method/finding_anu_v2.md` · `finding_qub_v2.md` · `finding_bath_v2.md` —— 最近几所
|
||||
- `tasks/` —— 其它任务书
|
||||
|
||||
一句话：
|
||||
|
||||
> **找「组目录」，不要枚举 URL。**
|
||||
> 官方院系导航 → 各院系 `/research/` → **该页上的「组目录」**
|
||||
> （`research-groups` / `research-centres` / `groups` / `institutes` / `labs`，
|
||||
> **最高价值是「每个组由一位 PI 带」的目录**）。**入口 20–60 个/校。**
|
||||
|
||||
**参考已跑通的**：`products/` 下各校 `*__groups*.json` 是产物格式。
|
||||
|
||||
---
|
||||
|
||||
## 1. 本波只做这一所：**查尔斯达尔文大学（Charles Darwin University）· `cdu.edu.au`
|
||||
前一轮 11 条。**
|
||||
|
||||
---
|
||||
|
||||
## 2. 交付（**门槛，不是"尽量"**）
|
||||
|
||||
1. **院系台账（缺一行 = 没做完）**
|
||||
`院系（全部）| research 入口 URL | 状态（取到 / 取不到：<原因>）| 组数`
|
||||
—— 院系清单从**学校官方导航**拿；**给出枚举来源 URL 与总数**；**`未取页 = 0`**
|
||||
2. **全量候选产物**：`products/<slug>_v3__groups.json`
|
||||
（五字段：课题组名称 / 所在大学及研究中心 / 研究方向 / 联系邮箱 / 最近五年论文数=null）
|
||||
—— **启发式自动抽，不逐条判**
|
||||
3. **随机抽 30 条逐条开页面核** → **准确率** + **假阳性类型** + **能否定点修掉**
|
||||
- 准确率 **≥90% 且类型集中** ⇒ 定点修那一类，**全量直接用，不再逐页核**
|
||||
4. **合理性校验**：`组数 ÷ 院系数`。**比值荒谬地低 ⇒ 回头找「组目录」那一层**
|
||||
（不是去爬更多 URL）。确认"再下一层没有组"要贴原文结构作证。
|
||||
5. **反例 / 判不准 / 未验清单**（附页面原文）
|
||||
6. 一句话：**最终组数？完备性有没有缺口？**
|
||||
|
||||
产物写 `products/`，报告写 `reports/finding_<slug>_v3.md`（目录不存在就建）。
|
||||
|
||||
---
|
||||
|
||||
## 3. 判据与字段（摘要；**细则以 METHOD.md §2 为准**）
|
||||
|
||||
> **打开页面像人一样看：这是不是一个「导师带的做研究的团队」？**
|
||||
> **粒度上限 = 一个导师能带的规模。**
|
||||
> 大一级（institute / theme / cluster / 校级研究所）**不收**；
|
||||
> **但大一级下面挂着真组时，只收内层组。**
|
||||
|
||||
**不是组**：服务设施 · 研讨会系列 · 项目 · 学生培养计划 · 单项研究 · 空页重定向 · 无负责人的方向页。
|
||||
**共性是页面上有一句「非团队自述」—— 你去看那句话。**
|
||||
|
||||
| 字段 | 取法 |
|
||||
|---|---|
|
||||
| 课题组名称 | 该组**自己页面**的 H1（无 H1 用 `<title>`；JS 渲染/表格行用目录里的官方组名并标 `_name_source`）。⚠️ 无官方组名的**按 `<负责人> 团队` 渲染并标 `_name_source: rendered_from_leader`**，且要查重防撞 |
|
||||
| 所在大学及研究中心 | 大学 + **真实上级研究单位**；⚠️ 上级是系/院/学部的**不许当研究中心写**，没有真上级就**只写大学** |
|
||||
| 研究方向 | 该组页上的方向文字。**没有 ⇒ 不要** |
|
||||
| 联系邮箱 | 只接受**本组页 / 本组负责人页**的邮箱 |
|
||||
| 最近五年论文数 | null |
|
||||
|
||||
---
|
||||
|
||||
## 4. ⚠️ 并行安全（出过事故，必须照做）
|
||||
|
||||
5 个 worker 曾挤在**同一个 ego-browser Space 的同一个 page** 上 ⇒ 297 页跨校串页、整批作废。
|
||||
|
||||
1. **自己新建一个 TaskSpace**（不要复用别人已有的）
|
||||
2. **每个 URL 用独占的 `newPage()`**，**不要共用 p1**
|
||||
3. **每取一页校验 `page.url()` 与目标一致**；不一致 ⇒ 废掉重取
|
||||
4. 成功时收尾调一次 `await task.finish({ keep: [] })`；**因错误停止就别调**，把 `spaceId` 报上来
|
||||
|
||||
⚠️ 本机浏览器可能被用户接管（`ownership: user`）—— 遇到就**立刻停手、不重试**，把 `spaceId` 报上来。
|
||||
|
||||
---
|
||||
|
||||
## 5. 硬要求
|
||||
|
||||
1. **只在本项目内写**（`products/` `reports/`）。不碰别的项目、不碰线上库。
|
||||
2. **不设时间盒，做完整为止。** 但**每做完一个院系报一次 `status`**（三句话）。
|
||||
3. **判据来自页面。你的眼睛比任何正则都准。**
|
||||
4. **不许发明**：抓不到 ⇒ 写「未取到：<URL> + <错误原文>」。**判不准的贴出来，不要归类掉。**
|
||||
5. **不要从 sitemap 全量枚举 URL**（METHOD.md §6 反面清单第一条）。
|
||||
6. **只做这一所学校。**
|
||||
|
||||
@@ -0,0 +1,91 @@
|
||||
# 课题组逐院系采集 · 考陶尔德艺术学院（The Courtauld Institute of Art）· `courtauld.ac.uk`
|
||||
前一轮 93 候选只 8 条过关。⚠️ 单学院专科机构、全站无 faculty/school/department 结构。
|
||||
**复验：它的 `research/` 之外还有没有别的研究单元入口。** · Win1 · Manager 2026-09-24
|
||||
|
||||
## 0. 先读方法件（**不要重新发明方法**）
|
||||
|
||||
工作区：`C:\Users\Administrator\orca\projects\英澳博士课题组数据`
|
||||
|
||||
- **`method/METHOD.md`** —— 活的采集方法。**重点看 §1「入口发现」与 §6「反面清单」。**
|
||||
- `method/finding_edinburgh_v2.md` —— 完备性标杆（643 组 / 24 院系）
|
||||
- `method/finding_anu_v2.md` · `finding_qub_v2.md` · `finding_bath_v2.md` —— 最近几所
|
||||
- `tasks/` —— 其它任务书
|
||||
|
||||
一句话：
|
||||
|
||||
> **找「组目录」，不要枚举 URL。**
|
||||
> 官方院系导航 → 各院系 `/research/` → **该页上的「组目录」**
|
||||
> （`research-groups` / `research-centres` / `groups` / `institutes` / `labs`，
|
||||
> **最高价值是「每个组由一位 PI 带」的目录**）。**入口 20–60 个/校。**
|
||||
|
||||
**参考已跑通的**：`products/` 下各校 `*__groups*.json` 是产物格式。
|
||||
|
||||
---
|
||||
|
||||
## 1. 本波只做这一所：**考陶尔德艺术学院（The Courtauld Institute of Art）· `courtauld.ac.uk`
|
||||
前一轮 93 候选只 8 条过关。⚠️ 单学院专科机构、全站无 faculty/school/department 结构。
|
||||
**复验：它的 `research/` 之外还有没有别的研究单元入口。****
|
||||
|
||||
---
|
||||
|
||||
## 2. 交付（**门槛，不是"尽量"**）
|
||||
|
||||
1. **院系台账（缺一行 = 没做完）**
|
||||
`院系（全部）| research 入口 URL | 状态（取到 / 取不到：<原因>）| 组数`
|
||||
—— 院系清单从**学校官方导航**拿；**给出枚举来源 URL 与总数**；**`未取页 = 0`**
|
||||
2. **全量候选产物**：`products/<slug>_v3__groups.json`
|
||||
（五字段：课题组名称 / 所在大学及研究中心 / 研究方向 / 联系邮箱 / 最近五年论文数=null）
|
||||
—— **启发式自动抽，不逐条判**
|
||||
3. **随机抽 30 条逐条开页面核** → **准确率** + **假阳性类型** + **能否定点修掉**
|
||||
- 准确率 **≥90% 且类型集中** ⇒ 定点修那一类，**全量直接用，不再逐页核**
|
||||
4. **合理性校验**：`组数 ÷ 院系数`。**比值荒谬地低 ⇒ 回头找「组目录」那一层**
|
||||
（不是去爬更多 URL）。确认"再下一层没有组"要贴原文结构作证。
|
||||
5. **反例 / 判不准 / 未验清单**（附页面原文）
|
||||
6. 一句话：**最终组数？完备性有没有缺口？**
|
||||
|
||||
产物写 `products/`，报告写 `reports/finding_<slug>_v3.md`（目录不存在就建）。
|
||||
|
||||
---
|
||||
|
||||
## 3. 判据与字段（摘要；**细则以 METHOD.md §2 为准**）
|
||||
|
||||
> **打开页面像人一样看：这是不是一个「导师带的做研究的团队」？**
|
||||
> **粒度上限 = 一个导师能带的规模。**
|
||||
> 大一级（institute / theme / cluster / 校级研究所）**不收**；
|
||||
> **但大一级下面挂着真组时，只收内层组。**
|
||||
|
||||
**不是组**：服务设施 · 研讨会系列 · 项目 · 学生培养计划 · 单项研究 · 空页重定向 · 无负责人的方向页。
|
||||
**共性是页面上有一句「非团队自述」—— 你去看那句话。**
|
||||
|
||||
| 字段 | 取法 |
|
||||
|---|---|
|
||||
| 课题组名称 | 该组**自己页面**的 H1（无 H1 用 `<title>`；JS 渲染/表格行用目录里的官方组名并标 `_name_source`）。⚠️ 无官方组名的**按 `<负责人> 团队` 渲染并标 `_name_source: rendered_from_leader`**，且要查重防撞 |
|
||||
| 所在大学及研究中心 | 大学 + **真实上级研究单位**；⚠️ 上级是系/院/学部的**不许当研究中心写**，没有真上级就**只写大学** |
|
||||
| 研究方向 | 该组页上的方向文字。**没有 ⇒ 不要** |
|
||||
| 联系邮箱 | 只接受**本组页 / 本组负责人页**的邮箱 |
|
||||
| 最近五年论文数 | null |
|
||||
|
||||
---
|
||||
|
||||
## 4. ⚠️ 并行安全（出过事故，必须照做）
|
||||
|
||||
5 个 worker 曾挤在**同一个 ego-browser Space 的同一个 page** 上 ⇒ 297 页跨校串页、整批作废。
|
||||
|
||||
1. **自己新建一个 TaskSpace**（不要复用别人已有的）
|
||||
2. **每个 URL 用独占的 `newPage()`**，**不要共用 p1**
|
||||
3. **每取一页校验 `page.url()` 与目标一致**；不一致 ⇒ 废掉重取
|
||||
4. 成功时收尾调一次 `await task.finish({ keep: [] })`；**因错误停止就别调**，把 `spaceId` 报上来
|
||||
|
||||
⚠️ 本机浏览器可能被用户接管（`ownership: user`）—— 遇到就**立刻停手、不重试**，把 `spaceId` 报上来。
|
||||
|
||||
---
|
||||
|
||||
## 5. 硬要求
|
||||
|
||||
1. **只在本项目内写**（`products/` `reports/`）。不碰别的项目、不碰线上库。
|
||||
2. **不设时间盒，做完整为止。** 但**每做完一个院系报一次 `status`**（三句话）。
|
||||
3. **判据来自页面。你的眼睛比任何正则都准。**
|
||||
4. **不许发明**：抓不到 ⇒ 写「未取到：<URL> + <错误原文>」。**判不准的贴出来，不要归类掉。**
|
||||
5. **不要从 sitemap 全量枚举 URL**（METHOD.md §6 反面清单第一条）。
|
||||
6. **只做这一所学校。**
|
||||
|
||||
@@ -0,0 +1,89 @@
|
||||
# 课题组逐院系采集 · 弗林德斯大学（Flinders University）· `flinders.edu.au`
|
||||
前一轮 17 条。 · Win1 · Manager 2026-09-24
|
||||
|
||||
## 0. 先读方法件（**不要重新发明方法**）
|
||||
|
||||
工作区：`C:\Users\Administrator\orca\projects\英澳博士课题组数据`
|
||||
|
||||
- **`method/METHOD.md`** —— 活的采集方法。**重点看 §1「入口发现」与 §6「反面清单」。**
|
||||
- `method/finding_edinburgh_v2.md` —— 完备性标杆（643 组 / 24 院系）
|
||||
- `method/finding_anu_v2.md` · `finding_qub_v2.md` · `finding_bath_v2.md` —— 最近几所
|
||||
- `tasks/` —— 其它任务书
|
||||
|
||||
一句话：
|
||||
|
||||
> **找「组目录」，不要枚举 URL。**
|
||||
> 官方院系导航 → 各院系 `/research/` → **该页上的「组目录」**
|
||||
> （`research-groups` / `research-centres` / `groups` / `institutes` / `labs`，
|
||||
> **最高价值是「每个组由一位 PI 带」的目录**）。**入口 20–60 个/校。**
|
||||
|
||||
**参考已跑通的**：`products/` 下各校 `*__groups*.json` 是产物格式。
|
||||
|
||||
---
|
||||
|
||||
## 1. 本波只做这一所：**弗林德斯大学（Flinders University）· `flinders.edu.au`
|
||||
前一轮 17 条。**
|
||||
|
||||
---
|
||||
|
||||
## 2. 交付（**门槛，不是"尽量"**）
|
||||
|
||||
1. **院系台账（缺一行 = 没做完）**
|
||||
`院系（全部）| research 入口 URL | 状态（取到 / 取不到：<原因>）| 组数`
|
||||
—— 院系清单从**学校官方导航**拿；**给出枚举来源 URL 与总数**；**`未取页 = 0`**
|
||||
2. **全量候选产物**：`products/<slug>_v3__groups.json`
|
||||
（五字段：课题组名称 / 所在大学及研究中心 / 研究方向 / 联系邮箱 / 最近五年论文数=null）
|
||||
—— **启发式自动抽，不逐条判**
|
||||
3. **随机抽 30 条逐条开页面核** → **准确率** + **假阳性类型** + **能否定点修掉**
|
||||
- 准确率 **≥90% 且类型集中** ⇒ 定点修那一类，**全量直接用，不再逐页核**
|
||||
4. **合理性校验**：`组数 ÷ 院系数`。**比值荒谬地低 ⇒ 回头找「组目录」那一层**
|
||||
（不是去爬更多 URL）。确认"再下一层没有组"要贴原文结构作证。
|
||||
5. **反例 / 判不准 / 未验清单**（附页面原文）
|
||||
6. 一句话：**最终组数？完备性有没有缺口？**
|
||||
|
||||
产物写 `products/`，报告写 `reports/finding_<slug>_v3.md`（目录不存在就建）。
|
||||
|
||||
---
|
||||
|
||||
## 3. 判据与字段（摘要；**细则以 METHOD.md §2 为准**）
|
||||
|
||||
> **打开页面像人一样看：这是不是一个「导师带的做研究的团队」？**
|
||||
> **粒度上限 = 一个导师能带的规模。**
|
||||
> 大一级（institute / theme / cluster / 校级研究所）**不收**；
|
||||
> **但大一级下面挂着真组时，只收内层组。**
|
||||
|
||||
**不是组**：服务设施 · 研讨会系列 · 项目 · 学生培养计划 · 单项研究 · 空页重定向 · 无负责人的方向页。
|
||||
**共性是页面上有一句「非团队自述」—— 你去看那句话。**
|
||||
|
||||
| 字段 | 取法 |
|
||||
|---|---|
|
||||
| 课题组名称 | 该组**自己页面**的 H1（无 H1 用 `<title>`；JS 渲染/表格行用目录里的官方组名并标 `_name_source`）。⚠️ 无官方组名的**按 `<负责人> 团队` 渲染并标 `_name_source: rendered_from_leader`**，且要查重防撞 |
|
||||
| 所在大学及研究中心 | 大学 + **真实上级研究单位**；⚠️ 上级是系/院/学部的**不许当研究中心写**，没有真上级就**只写大学** |
|
||||
| 研究方向 | 该组页上的方向文字。**没有 ⇒ 不要** |
|
||||
| 联系邮箱 | 只接受**本组页 / 本组负责人页**的邮箱 |
|
||||
| 最近五年论文数 | null |
|
||||
|
||||
---
|
||||
|
||||
## 4. ⚠️ 并行安全（出过事故，必须照做）
|
||||
|
||||
5 个 worker 曾挤在**同一个 ego-browser Space 的同一个 page** 上 ⇒ 297 页跨校串页、整批作废。
|
||||
|
||||
1. **自己新建一个 TaskSpace**（不要复用别人已有的）
|
||||
2. **每个 URL 用独占的 `newPage()`**，**不要共用 p1**
|
||||
3. **每取一页校验 `page.url()` 与目标一致**；不一致 ⇒ 废掉重取
|
||||
4. 成功时收尾调一次 `await task.finish({ keep: [] })`；**因错误停止就别调**，把 `spaceId` 报上来
|
||||
|
||||
⚠️ 本机浏览器可能被用户接管（`ownership: user`）—— 遇到就**立刻停手、不重试**，把 `spaceId` 报上来。
|
||||
|
||||
---
|
||||
|
||||
## 5. 硬要求
|
||||
|
||||
1. **只在本项目内写**（`products/` `reports/`）。不碰别的项目、不碰线上库。
|
||||
2. **不设时间盒，做完整为止。** 但**每做完一个院系报一次 `status`**（三句话）。
|
||||
3. **判据来自页面。你的眼睛比任何正则都准。**
|
||||
4. **不许发明**：抓不到 ⇒ 写「未取到：<URL> + <错误原文>」。**判不准的贴出来，不要归类掉。**
|
||||
5. **不要从 sitemap 全量枚举 URL**（METHOD.md §6 反面清单第一条）。
|
||||
6. **只做这一所学校。**
|
||||
|
||||
@@ -0,0 +1,91 @@
|
||||
# 课题组逐院系采集 · 市政厅音乐及戏剧学院（Guildhall School of Music & Drama）· `gsmd.ac.uk`
|
||||
前一轮判**收 0**，附页面原文（学校自述 research 是 individual，不按组组织）。
|
||||
⚠️ **复验**：看有没有漏掉 PI-group 形态的组目录。若确认是 0，给**比上一轮更硬的证据**。 · Win1 · Manager 2026-09-24
|
||||
|
||||
## 0. 先读方法件（**不要重新发明方法**）
|
||||
|
||||
工作区：`C:\Users\Administrator\orca\projects\英澳博士课题组数据`
|
||||
|
||||
- **`method/METHOD.md`** —— 活的采集方法。**重点看 §1「入口发现」与 §6「反面清单」。**
|
||||
- `method/finding_edinburgh_v2.md` —— 完备性标杆（643 组 / 24 院系）
|
||||
- `method/finding_anu_v2.md` · `finding_qub_v2.md` · `finding_bath_v2.md` —— 最近几所
|
||||
- `tasks/` —— 其它任务书
|
||||
|
||||
一句话：
|
||||
|
||||
> **找「组目录」，不要枚举 URL。**
|
||||
> 官方院系导航 → 各院系 `/research/` → **该页上的「组目录」**
|
||||
> （`research-groups` / `research-centres` / `groups` / `institutes` / `labs`，
|
||||
> **最高价值是「每个组由一位 PI 带」的目录**）。**入口 20–60 个/校。**
|
||||
|
||||
**参考已跑通的**：`products/` 下各校 `*__groups*.json` 是产物格式。
|
||||
|
||||
---
|
||||
|
||||
## 1. 本波只做这一所：**市政厅音乐及戏剧学院（Guildhall School of Music & Drama）· `gsmd.ac.uk`
|
||||
前一轮判**收 0**，附页面原文（学校自述 research 是 individual，不按组组织）。
|
||||
⚠️ **复验**：看有没有漏掉 PI-group 形态的组目录。若确认是 0，给**比上一轮更硬的证据**。**
|
||||
|
||||
---
|
||||
|
||||
## 2. 交付（**门槛，不是"尽量"**）
|
||||
|
||||
1. **院系台账（缺一行 = 没做完）**
|
||||
`院系（全部）| research 入口 URL | 状态（取到 / 取不到：<原因>）| 组数`
|
||||
—— 院系清单从**学校官方导航**拿；**给出枚举来源 URL 与总数**；**`未取页 = 0`**
|
||||
2. **全量候选产物**：`products/<slug>_v3__groups.json`
|
||||
（五字段：课题组名称 / 所在大学及研究中心 / 研究方向 / 联系邮箱 / 最近五年论文数=null）
|
||||
—— **启发式自动抽，不逐条判**
|
||||
3. **随机抽 30 条逐条开页面核** → **准确率** + **假阳性类型** + **能否定点修掉**
|
||||
- 准确率 **≥90% 且类型集中** ⇒ 定点修那一类，**全量直接用，不再逐页核**
|
||||
4. **合理性校验**：`组数 ÷ 院系数`。**比值荒谬地低 ⇒ 回头找「组目录」那一层**
|
||||
（不是去爬更多 URL）。确认"再下一层没有组"要贴原文结构作证。
|
||||
5. **反例 / 判不准 / 未验清单**（附页面原文）
|
||||
6. 一句话：**最终组数？完备性有没有缺口？**
|
||||
|
||||
产物写 `products/`，报告写 `reports/finding_<slug>_v3.md`（目录不存在就建）。
|
||||
|
||||
---
|
||||
|
||||
## 3. 判据与字段（摘要；**细则以 METHOD.md §2 为准**）
|
||||
|
||||
> **打开页面像人一样看：这是不是一个「导师带的做研究的团队」？**
|
||||
> **粒度上限 = 一个导师能带的规模。**
|
||||
> 大一级（institute / theme / cluster / 校级研究所）**不收**；
|
||||
> **但大一级下面挂着真组时，只收内层组。**
|
||||
|
||||
**不是组**：服务设施 · 研讨会系列 · 项目 · 学生培养计划 · 单项研究 · 空页重定向 · 无负责人的方向页。
|
||||
**共性是页面上有一句「非团队自述」—— 你去看那句话。**
|
||||
|
||||
| 字段 | 取法 |
|
||||
|---|---|
|
||||
| 课题组名称 | 该组**自己页面**的 H1（无 H1 用 `<title>`；JS 渲染/表格行用目录里的官方组名并标 `_name_source`）。⚠️ 无官方组名的**按 `<负责人> 团队` 渲染并标 `_name_source: rendered_from_leader`**，且要查重防撞 |
|
||||
| 所在大学及研究中心 | 大学 + **真实上级研究单位**；⚠️ 上级是系/院/学部的**不许当研究中心写**，没有真上级就**只写大学** |
|
||||
| 研究方向 | 该组页上的方向文字。**没有 ⇒ 不要** |
|
||||
| 联系邮箱 | 只接受**本组页 / 本组负责人页**的邮箱 |
|
||||
| 最近五年论文数 | null |
|
||||
|
||||
---
|
||||
|
||||
## 4. ⚠️ 并行安全（出过事故，必须照做）
|
||||
|
||||
5 个 worker 曾挤在**同一个 ego-browser Space 的同一个 page** 上 ⇒ 297 页跨校串页、整批作废。
|
||||
|
||||
1. **自己新建一个 TaskSpace**（不要复用别人已有的）
|
||||
2. **每个 URL 用独占的 `newPage()`**，**不要共用 p1**
|
||||
3. **每取一页校验 `page.url()` 与目标一致**；不一致 ⇒ 废掉重取
|
||||
4. 成功时收尾调一次 `await task.finish({ keep: [] })`；**因错误停止就别调**，把 `spaceId` 报上来
|
||||
|
||||
⚠️ 本机浏览器可能被用户接管（`ownership: user`）—— 遇到就**立刻停手、不重试**，把 `spaceId` 报上来。
|
||||
|
||||
---
|
||||
|
||||
## 5. 硬要求
|
||||
|
||||
1. **只在本项目内写**（`products/` `reports/`）。不碰别的项目、不碰线上库。
|
||||
2. **不设时间盒，做完整为止。** 但**每做完一个院系报一次 `status`**（三句话）。
|
||||
3. **判据来自页面。你的眼睛比任何正则都准。**
|
||||
4. **不许发明**：抓不到 ⇒ 写「未取到：<URL> + <错误原文>」。**判不准的贴出来，不要归类掉。**
|
||||
5. **不要从 sitemap 全量枚举 URL**（METHOD.md §6 反面清单第一条）。
|
||||
6. **只做这一所学校。**
|
||||
|
||||
@@ -0,0 +1,89 @@
|
||||
# 课题组逐院系采集 · 利物浦热带医学院（Liverpool School of Tropical Medicine）· `lstmed.ac.uk`
|
||||
前一轮 33 条；⚠️ 9 个 research theme 里 **8 个 404**（只有 `/research/malaria-other-vector-borne-diseases` 活着）—— 找它的**实际组目录**在哪。 · Win1 · Manager 2026-09-24
|
||||
|
||||
## 0. 先读方法件（**不要重新发明方法**）
|
||||
|
||||
工作区：`C:\Users\Administrator\orca\projects\英澳博士课题组数据`
|
||||
|
||||
- **`method/METHOD.md`** —— 活的采集方法。**重点看 §1「入口发现」与 §6「反面清单」。**
|
||||
- `method/finding_edinburgh_v2.md` —— 完备性标杆（643 组 / 24 院系）
|
||||
- `method/finding_anu_v2.md` · `finding_qub_v2.md` · `finding_bath_v2.md` —— 最近几所
|
||||
- `tasks/` —— 其它任务书
|
||||
|
||||
一句话：
|
||||
|
||||
> **找「组目录」，不要枚举 URL。**
|
||||
> 官方院系导航 → 各院系 `/research/` → **该页上的「组目录」**
|
||||
> （`research-groups` / `research-centres` / `groups` / `institutes` / `labs`，
|
||||
> **最高价值是「每个组由一位 PI 带」的目录**）。**入口 20–60 个/校。**
|
||||
|
||||
**参考已跑通的**：`products/` 下各校 `*__groups*.json` 是产物格式。
|
||||
|
||||
---
|
||||
|
||||
## 1. 本波只做这一所：**利物浦热带医学院（Liverpool School of Tropical Medicine）· `lstmed.ac.uk`
|
||||
前一轮 33 条；⚠️ 9 个 research theme 里 **8 个 404**（只有 `/research/malaria-other-vector-borne-diseases` 活着）—— 找它的**实际组目录**在哪。**
|
||||
|
||||
---
|
||||
|
||||
## 2. 交付（**门槛，不是"尽量"**）
|
||||
|
||||
1. **院系台账（缺一行 = 没做完）**
|
||||
`院系（全部）| research 入口 URL | 状态（取到 / 取不到：<原因>）| 组数`
|
||||
—— 院系清单从**学校官方导航**拿；**给出枚举来源 URL 与总数**；**`未取页 = 0`**
|
||||
2. **全量候选产物**：`products/<slug>_v3__groups.json`
|
||||
（五字段：课题组名称 / 所在大学及研究中心 / 研究方向 / 联系邮箱 / 最近五年论文数=null）
|
||||
—— **启发式自动抽，不逐条判**
|
||||
3. **随机抽 30 条逐条开页面核** → **准确率** + **假阳性类型** + **能否定点修掉**
|
||||
- 准确率 **≥90% 且类型集中** ⇒ 定点修那一类，**全量直接用，不再逐页核**
|
||||
4. **合理性校验**：`组数 ÷ 院系数`。**比值荒谬地低 ⇒ 回头找「组目录」那一层**
|
||||
（不是去爬更多 URL）。确认"再下一层没有组"要贴原文结构作证。
|
||||
5. **反例 / 判不准 / 未验清单**（附页面原文）
|
||||
6. 一句话：**最终组数？完备性有没有缺口？**
|
||||
|
||||
产物写 `products/`，报告写 `reports/finding_<slug>_v3.md`（目录不存在就建）。
|
||||
|
||||
---
|
||||
|
||||
## 3. 判据与字段（摘要；**细则以 METHOD.md §2 为准**）
|
||||
|
||||
> **打开页面像人一样看：这是不是一个「导师带的做研究的团队」？**
|
||||
> **粒度上限 = 一个导师能带的规模。**
|
||||
> 大一级（institute / theme / cluster / 校级研究所）**不收**；
|
||||
> **但大一级下面挂着真组时，只收内层组。**
|
||||
|
||||
**不是组**：服务设施 · 研讨会系列 · 项目 · 学生培养计划 · 单项研究 · 空页重定向 · 无负责人的方向页。
|
||||
**共性是页面上有一句「非团队自述」—— 你去看那句话。**
|
||||
|
||||
| 字段 | 取法 |
|
||||
|---|---|
|
||||
| 课题组名称 | 该组**自己页面**的 H1（无 H1 用 `<title>`；JS 渲染/表格行用目录里的官方组名并标 `_name_source`）。⚠️ 无官方组名的**按 `<负责人> 团队` 渲染并标 `_name_source: rendered_from_leader`**，且要查重防撞 |
|
||||
| 所在大学及研究中心 | 大学 + **真实上级研究单位**；⚠️ 上级是系/院/学部的**不许当研究中心写**，没有真上级就**只写大学** |
|
||||
| 研究方向 | 该组页上的方向文字。**没有 ⇒ 不要** |
|
||||
| 联系邮箱 | 只接受**本组页 / 本组负责人页**的邮箱 |
|
||||
| 最近五年论文数 | null |
|
||||
|
||||
---
|
||||
|
||||
## 4. ⚠️ 并行安全（出过事故，必须照做）
|
||||
|
||||
5 个 worker 曾挤在**同一个 ego-browser Space 的同一个 page** 上 ⇒ 297 页跨校串页、整批作废。
|
||||
|
||||
1. **自己新建一个 TaskSpace**（不要复用别人已有的）
|
||||
2. **每个 URL 用独占的 `newPage()`**，**不要共用 p1**
|
||||
3. **每取一页校验 `page.url()` 与目标一致**；不一致 ⇒ 废掉重取
|
||||
4. 成功时收尾调一次 `await task.finish({ keep: [] })`；**因错误停止就别调**，把 `spaceId` 报上来
|
||||
|
||||
⚠️ 本机浏览器可能被用户接管（`ownership: user`）—— 遇到就**立刻停手、不重试**，把 `spaceId` 报上来。
|
||||
|
||||
---
|
||||
|
||||
## 5. 硬要求
|
||||
|
||||
1. **只在本项目内写**（`products/` `reports/`）。不碰别的项目、不碰线上库。
|
||||
2. **不设时间盒，做完整为止。** 但**每做完一个院系报一次 `status`**（三句话）。
|
||||
3. **判据来自页面。你的眼睛比任何正则都准。**
|
||||
4. **不许发明**：抓不到 ⇒ 写「未取到：<URL> + <错误原文>」。**判不准的贴出来，不要归类掉。**
|
||||
5. **不要从 sitemap 全量枚举 URL**（METHOD.md §6 反面清单第一条）。
|
||||
6. **只做这一所学校。**
|
||||
|
||||
@@ -0,0 +1,91 @@
|
||||
# 课题组逐院系采集 · 苏格兰皇家音乐学院（Royal Conservatoire of Scotland）· `rcs.ac.uk`
|
||||
前一轮判**收 0**（7 个 cluster 是校级「seven research clusters」，按粒度不收）。
|
||||
⚠️ **复验**：有没有更细的具名组目录。同样，确认 0 要给更硬的证据。 · Win1 · Manager 2026-09-24
|
||||
|
||||
## 0. 先读方法件（**不要重新发明方法**）
|
||||
|
||||
工作区：`C:\Users\Administrator\orca\projects\英澳博士课题组数据`
|
||||
|
||||
- **`method/METHOD.md`** —— 活的采集方法。**重点看 §1「入口发现」与 §6「反面清单」。**
|
||||
- `method/finding_edinburgh_v2.md` —— 完备性标杆（643 组 / 24 院系）
|
||||
- `method/finding_anu_v2.md` · `finding_qub_v2.md` · `finding_bath_v2.md` —— 最近几所
|
||||
- `tasks/` —— 其它任务书
|
||||
|
||||
一句话：
|
||||
|
||||
> **找「组目录」，不要枚举 URL。**
|
||||
> 官方院系导航 → 各院系 `/research/` → **该页上的「组目录」**
|
||||
> （`research-groups` / `research-centres` / `groups` / `institutes` / `labs`，
|
||||
> **最高价值是「每个组由一位 PI 带」的目录**）。**入口 20–60 个/校。**
|
||||
|
||||
**参考已跑通的**：`products/` 下各校 `*__groups*.json` 是产物格式。
|
||||
|
||||
---
|
||||
|
||||
## 1. 本波只做这一所：**苏格兰皇家音乐学院（Royal Conservatoire of Scotland）· `rcs.ac.uk`
|
||||
前一轮判**收 0**（7 个 cluster 是校级「seven research clusters」，按粒度不收）。
|
||||
⚠️ **复验**：有没有更细的具名组目录。同样，确认 0 要给更硬的证据。**
|
||||
|
||||
---
|
||||
|
||||
## 2. 交付（**门槛，不是"尽量"**）
|
||||
|
||||
1. **院系台账（缺一行 = 没做完）**
|
||||
`院系（全部）| research 入口 URL | 状态（取到 / 取不到：<原因>）| 组数`
|
||||
—— 院系清单从**学校官方导航**拿；**给出枚举来源 URL 与总数**；**`未取页 = 0`**
|
||||
2. **全量候选产物**：`products/<slug>_v3__groups.json`
|
||||
（五字段：课题组名称 / 所在大学及研究中心 / 研究方向 / 联系邮箱 / 最近五年论文数=null）
|
||||
—— **启发式自动抽，不逐条判**
|
||||
3. **随机抽 30 条逐条开页面核** → **准确率** + **假阳性类型** + **能否定点修掉**
|
||||
- 准确率 **≥90% 且类型集中** ⇒ 定点修那一类，**全量直接用，不再逐页核**
|
||||
4. **合理性校验**：`组数 ÷ 院系数`。**比值荒谬地低 ⇒ 回头找「组目录」那一层**
|
||||
（不是去爬更多 URL）。确认"再下一层没有组"要贴原文结构作证。
|
||||
5. **反例 / 判不准 / 未验清单**（附页面原文）
|
||||
6. 一句话：**最终组数？完备性有没有缺口？**
|
||||
|
||||
产物写 `products/`，报告写 `reports/finding_<slug>_v3.md`（目录不存在就建）。
|
||||
|
||||
---
|
||||
|
||||
## 3. 判据与字段（摘要；**细则以 METHOD.md §2 为准**）
|
||||
|
||||
> **打开页面像人一样看：这是不是一个「导师带的做研究的团队」？**
|
||||
> **粒度上限 = 一个导师能带的规模。**
|
||||
> 大一级（institute / theme / cluster / 校级研究所）**不收**；
|
||||
> **但大一级下面挂着真组时，只收内层组。**
|
||||
|
||||
**不是组**：服务设施 · 研讨会系列 · 项目 · 学生培养计划 · 单项研究 · 空页重定向 · 无负责人的方向页。
|
||||
**共性是页面上有一句「非团队自述」—— 你去看那句话。**
|
||||
|
||||
| 字段 | 取法 |
|
||||
|---|---|
|
||||
| 课题组名称 | 该组**自己页面**的 H1（无 H1 用 `<title>`；JS 渲染/表格行用目录里的官方组名并标 `_name_source`）。⚠️ 无官方组名的**按 `<负责人> 团队` 渲染并标 `_name_source: rendered_from_leader`**，且要查重防撞 |
|
||||
| 所在大学及研究中心 | 大学 + **真实上级研究单位**；⚠️ 上级是系/院/学部的**不许当研究中心写**，没有真上级就**只写大学** |
|
||||
| 研究方向 | 该组页上的方向文字。**没有 ⇒ 不要** |
|
||||
| 联系邮箱 | 只接受**本组页 / 本组负责人页**的邮箱 |
|
||||
| 最近五年论文数 | null |
|
||||
|
||||
---
|
||||
|
||||
## 4. ⚠️ 并行安全（出过事故，必须照做）
|
||||
|
||||
5 个 worker 曾挤在**同一个 ego-browser Space 的同一个 page** 上 ⇒ 297 页跨校串页、整批作废。
|
||||
|
||||
1. **自己新建一个 TaskSpace**（不要复用别人已有的）
|
||||
2. **每个 URL 用独占的 `newPage()`**，**不要共用 p1**
|
||||
3. **每取一页校验 `page.url()` 与目标一致**；不一致 ⇒ 废掉重取
|
||||
4. 成功时收尾调一次 `await task.finish({ keep: [] })`；**因错误停止就别调**，把 `spaceId` 报上来
|
||||
|
||||
⚠️ 本机浏览器可能被用户接管（`ownership: user`）—— 遇到就**立刻停手、不重试**，把 `spaceId` 报上来。
|
||||
|
||||
---
|
||||
|
||||
## 5. 硬要求
|
||||
|
||||
1. **只在本项目内写**（`products/` `reports/`）。不碰别的项目、不碰线上库。
|
||||
2. **不设时间盒，做完整为止。** 但**每做完一个院系报一次 `status`**（三句话）。
|
||||
3. **判据来自页面。你的眼睛比任何正则都准。**
|
||||
4. **不许发明**：抓不到 ⇒ 写「未取到：<URL> + <错误原文>」。**判不准的贴出来，不要归类掉。**
|
||||
5. **不要从 sitemap 全量枚举 URL**（METHOD.md §6 反面清单第一条）。
|
||||
6. **只做这一所学校。**
|
||||
|
||||
@@ -0,0 +1,89 @@
|
||||
# 课题组逐院系采集 · 西悉尼大学（Western Sydney University）· `westernsydney.edu.au`
|
||||
前一轮 42 条候选，未出判定合计。 · Win1 · Manager 2026-09-24
|
||||
|
||||
## 0. 先读方法件（**不要重新发明方法**）
|
||||
|
||||
工作区：`C:\Users\Administrator\orca\projects\英澳博士课题组数据`
|
||||
|
||||
- **`method/METHOD.md`** —— 活的采集方法。**重点看 §1「入口发现」与 §6「反面清单」。**
|
||||
- `method/finding_edinburgh_v2.md` —— 完备性标杆（643 组 / 24 院系）
|
||||
- `method/finding_anu_v2.md` · `finding_qub_v2.md` · `finding_bath_v2.md` —— 最近几所
|
||||
- `tasks/` —— 其它任务书
|
||||
|
||||
一句话：
|
||||
|
||||
> **找「组目录」，不要枚举 URL。**
|
||||
> 官方院系导航 → 各院系 `/research/` → **该页上的「组目录」**
|
||||
> （`research-groups` / `research-centres` / `groups` / `institutes` / `labs`，
|
||||
> **最高价值是「每个组由一位 PI 带」的目录**）。**入口 20–60 个/校。**
|
||||
|
||||
**参考已跑通的**：`products/` 下各校 `*__groups*.json` 是产物格式。
|
||||
|
||||
---
|
||||
|
||||
## 1. 本波只做这一所：**西悉尼大学（Western Sydney University）· `westernsydney.edu.au`
|
||||
前一轮 42 条候选，未出判定合计。**
|
||||
|
||||
---
|
||||
|
||||
## 2. 交付（**门槛，不是"尽量"**）
|
||||
|
||||
1. **院系台账（缺一行 = 没做完）**
|
||||
`院系（全部）| research 入口 URL | 状态（取到 / 取不到：<原因>）| 组数`
|
||||
—— 院系清单从**学校官方导航**拿；**给出枚举来源 URL 与总数**；**`未取页 = 0`**
|
||||
2. **全量候选产物**：`products/<slug>_v3__groups.json`
|
||||
（五字段：课题组名称 / 所在大学及研究中心 / 研究方向 / 联系邮箱 / 最近五年论文数=null）
|
||||
—— **启发式自动抽，不逐条判**
|
||||
3. **随机抽 30 条逐条开页面核** → **准确率** + **假阳性类型** + **能否定点修掉**
|
||||
- 准确率 **≥90% 且类型集中** ⇒ 定点修那一类，**全量直接用，不再逐页核**
|
||||
4. **合理性校验**：`组数 ÷ 院系数`。**比值荒谬地低 ⇒ 回头找「组目录」那一层**
|
||||
（不是去爬更多 URL）。确认"再下一层没有组"要贴原文结构作证。
|
||||
5. **反例 / 判不准 / 未验清单**（附页面原文）
|
||||
6. 一句话：**最终组数？完备性有没有缺口？**
|
||||
|
||||
产物写 `products/`，报告写 `reports/finding_<slug>_v3.md`（目录不存在就建）。
|
||||
|
||||
---
|
||||
|
||||
## 3. 判据与字段（摘要；**细则以 METHOD.md §2 为准**）
|
||||
|
||||
> **打开页面像人一样看：这是不是一个「导师带的做研究的团队」？**
|
||||
> **粒度上限 = 一个导师能带的规模。**
|
||||
> 大一级（institute / theme / cluster / 校级研究所）**不收**；
|
||||
> **但大一级下面挂着真组时，只收内层组。**
|
||||
|
||||
**不是组**：服务设施 · 研讨会系列 · 项目 · 学生培养计划 · 单项研究 · 空页重定向 · 无负责人的方向页。
|
||||
**共性是页面上有一句「非团队自述」—— 你去看那句话。**
|
||||
|
||||
| 字段 | 取法 |
|
||||
|---|---|
|
||||
| 课题组名称 | 该组**自己页面**的 H1（无 H1 用 `<title>`；JS 渲染/表格行用目录里的官方组名并标 `_name_source`）。⚠️ 无官方组名的**按 `<负责人> 团队` 渲染并标 `_name_source: rendered_from_leader`**，且要查重防撞 |
|
||||
| 所在大学及研究中心 | 大学 + **真实上级研究单位**；⚠️ 上级是系/院/学部的**不许当研究中心写**，没有真上级就**只写大学** |
|
||||
| 研究方向 | 该组页上的方向文字。**没有 ⇒ 不要** |
|
||||
| 联系邮箱 | 只接受**本组页 / 本组负责人页**的邮箱 |
|
||||
| 最近五年论文数 | null |
|
||||
|
||||
---
|
||||
|
||||
## 4. ⚠️ 并行安全（出过事故，必须照做）
|
||||
|
||||
5 个 worker 曾挤在**同一个 ego-browser Space 的同一个 page** 上 ⇒ 297 页跨校串页、整批作废。
|
||||
|
||||
1. **自己新建一个 TaskSpace**（不要复用别人已有的）
|
||||
2. **每个 URL 用独占的 `newPage()`**，**不要共用 p1**
|
||||
3. **每取一页校验 `page.url()` 与目标一致**；不一致 ⇒ 废掉重取
|
||||
4. 成功时收尾调一次 `await task.finish({ keep: [] })`；**因错误停止就别调**，把 `spaceId` 报上来
|
||||
|
||||
⚠️ 本机浏览器可能被用户接管（`ownership: user`）—— 遇到就**立刻停手、不重试**，把 `spaceId` 报上来。
|
||||
|
||||
---
|
||||
|
||||
## 5. 硬要求
|
||||
|
||||
1. **只在本项目内写**（`products/` `reports/`）。不碰别的项目、不碰线上库。
|
||||
2. **不设时间盒，做完整为止。** 但**每做完一个院系报一次 `status`**（三句话）。
|
||||
3. **判据来自页面。你的眼睛比任何正则都准。**
|
||||
4. **不许发明**：抓不到 ⇒ 写「未取到：<URL> + <错误原文>」。**判不准的贴出来，不要归类掉。**
|
||||
5. **不要从 sitemap 全量枚举 URL**（METHOD.md §6 反面清单第一条）。
|
||||
6. **只做这一所学校。**
|
||||
|
||||
@@ -0,0 +1,99 @@
|
||||
# 课题组逐院系采集 · 伦敦国王学院（英国）· 现有 627 条
|
||||
|
||||
**入口普查的判型**：自建 research 站点
|
||||
**现有 group_url 形态**：``www.kcl.ac.uk / research/<slug>``
|
||||
|
||||
⚠️ 这是**换源重采**：旧数据整体推翻，不要参照它。
|
||||
本条是**入口普查已定**的那批（61 校/3501 条可收 2817）；按 METHOD.md 从院系站重找组目录。 · Win1 · Manager 2026-09-24
|
||||
|
||||
## 0. 先读方法件（**不要重新发明方法**）
|
||||
|
||||
工作区：`C:\Users\Administrator\orca\projects\英澳博士课题组数据`
|
||||
|
||||
- **`method/METHOD.md`** —— 活的采集方法。**重点看 §1「入口发现」与 §6「反面清单」。**
|
||||
- `method/finding_edinburgh_v2.md` —— 完备性标杆（643 组 / 24 院系）
|
||||
- `method/finding_anu_v2.md` · `finding_qub_v2.md` · `finding_bath_v2.md` —— 最近几所
|
||||
- `tasks/` —— 其它任务书
|
||||
|
||||
一句话：
|
||||
|
||||
> **找「组目录」，不要枚举 URL。**
|
||||
> 官方院系导航 → 各院系 `/research/` → **该页上的「组目录」**
|
||||
> （`research-groups` / `research-centres` / `groups` / `institutes` / `labs`，
|
||||
> **最高价值是「每个组由一位 PI 带」的目录**）。**入口 20–60 个/校。**
|
||||
|
||||
**参考已跑通的**：`products/` 下各校 `*__groups*.json` 是产物格式。
|
||||
|
||||
---
|
||||
|
||||
## 1. 本波只做这一所：**伦敦国王学院（英国）· 现有 627 条
|
||||
|
||||
**入口普查的判型**：自建 research 站点
|
||||
**现有 group_url 形态**：``www.kcl.ac.uk / research/<slug>``
|
||||
|
||||
⚠️ 这是**换源重采**：旧数据整体推翻，不要参照它。
|
||||
本条是**入口普查已定**的那批（61 校/3501 条可收 2817）；按 METHOD.md 从院系站重找组目录。**
|
||||
|
||||
---
|
||||
|
||||
## 2. 交付（**门槛，不是"尽量"**）
|
||||
|
||||
1. **院系台账（缺一行 = 没做完）**
|
||||
`院系（全部）| research 入口 URL | 状态（取到 / 取不到：<原因>）| 组数`
|
||||
—— 院系清单从**学校官方导航**拿；**给出枚举来源 URL 与总数**；**`未取页 = 0`**
|
||||
2. **全量候选产物**：`products/<slug>_v3__groups.json`
|
||||
（五字段：课题组名称 / 所在大学及研究中心 / 研究方向 / 联系邮箱 / 最近五年论文数=null）
|
||||
—— **启发式自动抽，不逐条判**
|
||||
3. **随机抽 30 条逐条开页面核** → **准确率** + **假阳性类型** + **能否定点修掉**
|
||||
- 准确率 **≥90% 且类型集中** ⇒ 定点修那一类，**全量直接用，不再逐页核**
|
||||
4. **合理性校验**：`组数 ÷ 院系数`。**比值荒谬地低 ⇒ 回头找「组目录」那一层**
|
||||
（不是去爬更多 URL）。确认"再下一层没有组"要贴原文结构作证。
|
||||
5. **反例 / 判不准 / 未验清单**（附页面原文）
|
||||
6. 一句话：**最终组数？完备性有没有缺口？**
|
||||
|
||||
产物写 `products/`，报告写 `reports/finding_<slug>_v3.md`（目录不存在就建）。
|
||||
|
||||
---
|
||||
|
||||
## 3. 判据与字段（摘要；**细则以 METHOD.md §2 为准**）
|
||||
|
||||
> **打开页面像人一样看：这是不是一个「导师带的做研究的团队」？**
|
||||
> **粒度上限 = 一个导师能带的规模。**
|
||||
> 大一级（institute / theme / cluster / 校级研究所）**不收**；
|
||||
> **但大一级下面挂着真组时，只收内层组。**
|
||||
|
||||
**不是组**：服务设施 · 研讨会系列 · 项目 · 学生培养计划 · 单项研究 · 空页重定向 · 无负责人的方向页。
|
||||
**共性是页面上有一句「非团队自述」—— 你去看那句话。**
|
||||
|
||||
| 字段 | 取法 |
|
||||
|---|---|
|
||||
| 课题组名称 | 该组**自己页面**的 H1（无 H1 用 `<title>`；JS 渲染/表格行用目录里的官方组名并标 `_name_source`）。⚠️ 无官方组名的**按 `<负责人> 团队` 渲染并标 `_name_source: rendered_from_leader`**，且要查重防撞 |
|
||||
| 所在大学及研究中心 | 大学 + **真实上级研究单位**；⚠️ 上级是系/院/学部的**不许当研究中心写**，没有真上级就**只写大学** |
|
||||
| 研究方向 | 该组页上的方向文字。**没有 ⇒ 不要** |
|
||||
| 联系邮箱 | 只接受**本组页 / 本组负责人页**的邮箱 |
|
||||
| 最近五年论文数 | null |
|
||||
|
||||
---
|
||||
|
||||
## 4. ⚠️ 并行安全（出过事故，必须照做）
|
||||
|
||||
5 个 worker 曾挤在**同一个 ego-browser Space 的同一个 page** 上 ⇒ 297 页跨校串页、整批作废。
|
||||
|
||||
1. **自己新建一个 TaskSpace**（不要复用别人已有的）
|
||||
2. **每个 URL 用独占的 `newPage()`**，**不要共用 p1**
|
||||
3. **每取一页校验 `page.url()` 与目标一致**；不一致 ⇒ 废掉重取
|
||||
4. 成功时收尾调一次 `await task.finish({ keep: [] })`；**因错误停止就别调**，把 `spaceId` 报上来
|
||||
|
||||
⚠️ 本机浏览器可能被用户接管（`ownership: user`）—— 遇到就**立刻停手、不重试**，把 `spaceId` 报上来。
|
||||
|
||||
---
|
||||
|
||||
## 5. 硬要求
|
||||
|
||||
1. **只在本项目内写**（`products/` `reports/`）。不碰别的项目、不碰线上库。
|
||||
2. **不设时间盒，做完整为止。** 但**每做完一个院系报一次 `status`**（三句话）。
|
||||
3. **判据来自页面。你的眼睛比任何正则都准。**
|
||||
4. **不许发明**：抓不到 ⇒ 写「未取到：<URL> + <错误原文>」。**判不准的贴出来，不要归类掉。**
|
||||
5. **不要从 sitemap 全量枚举 URL**（METHOD.md §6 反面清单第一条）。
|
||||
6. **只做这一所学校。**
|
||||
|
||||
@@ -0,0 +1,99 @@
|
||||
# 课题组逐院系采集 · 帝国理工学院（英国）· 现有 379 条
|
||||
|
||||
**入口普查的判型**：自建 research 目录/课题组页
|
||||
**现有 group_url 形态**：``www.imperial.ac.uk / a-z-research/<slug>``
|
||||
|
||||
⚠️ 这是**换源重采**：旧数据整体推翻，不要参照它。
|
||||
本条是**入口普查已定**的那批（61 校/3501 条可收 2817）；按 METHOD.md 从院系站重找组目录。 · Win1 · Manager 2026-09-24
|
||||
|
||||
## 0. 先读方法件（**不要重新发明方法**）
|
||||
|
||||
工作区：`C:\Users\Administrator\orca\projects\英澳博士课题组数据`
|
||||
|
||||
- **`method/METHOD.md`** —— 活的采集方法。**重点看 §1「入口发现」与 §6「反面清单」。**
|
||||
- `method/finding_edinburgh_v2.md` —— 完备性标杆（643 组 / 24 院系）
|
||||
- `method/finding_anu_v2.md` · `finding_qub_v2.md` · `finding_bath_v2.md` —— 最近几所
|
||||
- `tasks/` —— 其它任务书
|
||||
|
||||
一句话：
|
||||
|
||||
> **找「组目录」，不要枚举 URL。**
|
||||
> 官方院系导航 → 各院系 `/research/` → **该页上的「组目录」**
|
||||
> （`research-groups` / `research-centres` / `groups` / `institutes` / `labs`，
|
||||
> **最高价值是「每个组由一位 PI 带」的目录**）。**入口 20–60 个/校。**
|
||||
|
||||
**参考已跑通的**：`products/` 下各校 `*__groups*.json` 是产物格式。
|
||||
|
||||
---
|
||||
|
||||
## 1. 本波只做这一所：**帝国理工学院（英国）· 现有 379 条
|
||||
|
||||
**入口普查的判型**：自建 research 目录/课题组页
|
||||
**现有 group_url 形态**：``www.imperial.ac.uk / a-z-research/<slug>``
|
||||
|
||||
⚠️ 这是**换源重采**：旧数据整体推翻，不要参照它。
|
||||
本条是**入口普查已定**的那批（61 校/3501 条可收 2817）；按 METHOD.md 从院系站重找组目录。**
|
||||
|
||||
---
|
||||
|
||||
## 2. 交付（**门槛，不是"尽量"**）
|
||||
|
||||
1. **院系台账（缺一行 = 没做完）**
|
||||
`院系（全部）| research 入口 URL | 状态（取到 / 取不到：<原因>）| 组数`
|
||||
—— 院系清单从**学校官方导航**拿；**给出枚举来源 URL 与总数**；**`未取页 = 0`**
|
||||
2. **全量候选产物**：`products/<slug>_v3__groups.json`
|
||||
（五字段：课题组名称 / 所在大学及研究中心 / 研究方向 / 联系邮箱 / 最近五年论文数=null）
|
||||
—— **启发式自动抽，不逐条判**
|
||||
3. **随机抽 30 条逐条开页面核** → **准确率** + **假阳性类型** + **能否定点修掉**
|
||||
- 准确率 **≥90% 且类型集中** ⇒ 定点修那一类，**全量直接用，不再逐页核**
|
||||
4. **合理性校验**：`组数 ÷ 院系数`。**比值荒谬地低 ⇒ 回头找「组目录」那一层**
|
||||
（不是去爬更多 URL）。确认"再下一层没有组"要贴原文结构作证。
|
||||
5. **反例 / 判不准 / 未验清单**（附页面原文）
|
||||
6. 一句话：**最终组数？完备性有没有缺口？**
|
||||
|
||||
产物写 `products/`，报告写 `reports/finding_<slug>_v3.md`（目录不存在就建）。
|
||||
|
||||
---
|
||||
|
||||
## 3. 判据与字段（摘要；**细则以 METHOD.md §2 为准**）
|
||||
|
||||
> **打开页面像人一样看：这是不是一个「导师带的做研究的团队」？**
|
||||
> **粒度上限 = 一个导师能带的规模。**
|
||||
> 大一级（institute / theme / cluster / 校级研究所）**不收**；
|
||||
> **但大一级下面挂着真组时，只收内层组。**
|
||||
|
||||
**不是组**：服务设施 · 研讨会系列 · 项目 · 学生培养计划 · 单项研究 · 空页重定向 · 无负责人的方向页。
|
||||
**共性是页面上有一句「非团队自述」—— 你去看那句话。**
|
||||
|
||||
| 字段 | 取法 |
|
||||
|---|---|
|
||||
| 课题组名称 | 该组**自己页面**的 H1（无 H1 用 `<title>`；JS 渲染/表格行用目录里的官方组名并标 `_name_source`）。⚠️ 无官方组名的**按 `<负责人> 团队` 渲染并标 `_name_source: rendered_from_leader`**，且要查重防撞 |
|
||||
| 所在大学及研究中心 | 大学 + **真实上级研究单位**；⚠️ 上级是系/院/学部的**不许当研究中心写**，没有真上级就**只写大学** |
|
||||
| 研究方向 | 该组页上的方向文字。**没有 ⇒ 不要** |
|
||||
| 联系邮箱 | 只接受**本组页 / 本组负责人页**的邮箱 |
|
||||
| 最近五年论文数 | null |
|
||||
|
||||
---
|
||||
|
||||
## 4. ⚠️ 并行安全（出过事故，必须照做）
|
||||
|
||||
5 个 worker 曾挤在**同一个 ego-browser Space 的同一个 page** 上 ⇒ 297 页跨校串页、整批作废。
|
||||
|
||||
1. **自己新建一个 TaskSpace**（不要复用别人已有的）
|
||||
2. **每个 URL 用独占的 `newPage()`**，**不要共用 p1**
|
||||
3. **每取一页校验 `page.url()` 与目标一致**；不一致 ⇒ 废掉重取
|
||||
4. 成功时收尾调一次 `await task.finish({ keep: [] })`；**因错误停止就别调**，把 `spaceId` 报上来
|
||||
|
||||
⚠️ 本机浏览器可能被用户接管（`ownership: user`）—— 遇到就**立刻停手、不重试**，把 `spaceId` 报上来。
|
||||
|
||||
---
|
||||
|
||||
## 5. 硬要求
|
||||
|
||||
1. **只在本项目内写**（`products/` `reports/`）。不碰别的项目、不碰线上库。
|
||||
2. **不设时间盒，做完整为止。** 但**每做完一个院系报一次 `status`**（三句话）。
|
||||
3. **判据来自页面。你的眼睛比任何正则都准。**
|
||||
4. **不许发明**：抓不到 ⇒ 写「未取到：<URL> + <错误原文>」。**判不准的贴出来，不要归类掉。**
|
||||
5. **不要从 sitemap 全量枚举 URL**（METHOD.md §6 反面清单第一条）。
|
||||
6. **只做这一所学校。**
|
||||
|
||||
@@ -0,0 +1,99 @@
|
||||
# 课题组逐院系采集 · 悉尼科技大学（澳新）· 现有 128 条
|
||||
|
||||
**入口普查的判型**：人员档案系统 group 页
|
||||
**现有 group_url 形态**：``profiles.uts.edu.au / groups/<n>``
|
||||
|
||||
⚠️ 这是**换源重采**：旧数据整体推翻，不要参照它。
|
||||
本条是**入口普查已定**的那批（61 校/3501 条可收 2817）；按 METHOD.md 从院系站重找组目录。 · Win1 · Manager 2026-09-24
|
||||
|
||||
## 0. 先读方法件（**不要重新发明方法**）
|
||||
|
||||
工作区：`C:\Users\Administrator\orca\projects\英澳博士课题组数据`
|
||||
|
||||
- **`method/METHOD.md`** —— 活的采集方法。**重点看 §1「入口发现」与 §6「反面清单」。**
|
||||
- `method/finding_edinburgh_v2.md` —— 完备性标杆（643 组 / 24 院系）
|
||||
- `method/finding_anu_v2.md` · `finding_qub_v2.md` · `finding_bath_v2.md` —— 最近几所
|
||||
- `tasks/` —— 其它任务书
|
||||
|
||||
一句话：
|
||||
|
||||
> **找「组目录」，不要枚举 URL。**
|
||||
> 官方院系导航 → 各院系 `/research/` → **该页上的「组目录」**
|
||||
> （`research-groups` / `research-centres` / `groups` / `institutes` / `labs`，
|
||||
> **最高价值是「每个组由一位 PI 带」的目录**）。**入口 20–60 个/校。**
|
||||
|
||||
**参考已跑通的**：`products/` 下各校 `*__groups*.json` 是产物格式。
|
||||
|
||||
---
|
||||
|
||||
## 1. 本波只做这一所：**悉尼科技大学（澳新）· 现有 128 条
|
||||
|
||||
**入口普查的判型**：人员档案系统 group 页
|
||||
**现有 group_url 形态**：``profiles.uts.edu.au / groups/<n>``
|
||||
|
||||
⚠️ 这是**换源重采**：旧数据整体推翻，不要参照它。
|
||||
本条是**入口普查已定**的那批（61 校/3501 条可收 2817）；按 METHOD.md 从院系站重找组目录。**
|
||||
|
||||
---
|
||||
|
||||
## 2. 交付（**门槛，不是"尽量"**）
|
||||
|
||||
1. **院系台账（缺一行 = 没做完）**
|
||||
`院系（全部）| research 入口 URL | 状态（取到 / 取不到：<原因>）| 组数`
|
||||
—— 院系清单从**学校官方导航**拿；**给出枚举来源 URL 与总数**；**`未取页 = 0`**
|
||||
2. **全量候选产物**：`products/<slug>_v3__groups.json`
|
||||
（五字段：课题组名称 / 所在大学及研究中心 / 研究方向 / 联系邮箱 / 最近五年论文数=null）
|
||||
—— **启发式自动抽，不逐条判**
|
||||
3. **随机抽 30 条逐条开页面核** → **准确率** + **假阳性类型** + **能否定点修掉**
|
||||
- 准确率 **≥90% 且类型集中** ⇒ 定点修那一类，**全量直接用，不再逐页核**
|
||||
4. **合理性校验**：`组数 ÷ 院系数`。**比值荒谬地低 ⇒ 回头找「组目录」那一层**
|
||||
（不是去爬更多 URL）。确认"再下一层没有组"要贴原文结构作证。
|
||||
5. **反例 / 判不准 / 未验清单**（附页面原文）
|
||||
6. 一句话：**最终组数？完备性有没有缺口？**
|
||||
|
||||
产物写 `products/`，报告写 `reports/finding_<slug>_v3.md`（目录不存在就建）。
|
||||
|
||||
---
|
||||
|
||||
## 3. 判据与字段（摘要；**细则以 METHOD.md §2 为准**）
|
||||
|
||||
> **打开页面像人一样看：这是不是一个「导师带的做研究的团队」？**
|
||||
> **粒度上限 = 一个导师能带的规模。**
|
||||
> 大一级（institute / theme / cluster / 校级研究所）**不收**；
|
||||
> **但大一级下面挂着真组时，只收内层组。**
|
||||
|
||||
**不是组**：服务设施 · 研讨会系列 · 项目 · 学生培养计划 · 单项研究 · 空页重定向 · 无负责人的方向页。
|
||||
**共性是页面上有一句「非团队自述」—— 你去看那句话。**
|
||||
|
||||
| 字段 | 取法 |
|
||||
|---|---|
|
||||
| 课题组名称 | 该组**自己页面**的 H1（无 H1 用 `<title>`；JS 渲染/表格行用目录里的官方组名并标 `_name_source`）。⚠️ 无官方组名的**按 `<负责人> 团队` 渲染并标 `_name_source: rendered_from_leader`**，且要查重防撞 |
|
||||
| 所在大学及研究中心 | 大学 + **真实上级研究单位**；⚠️ 上级是系/院/学部的**不许当研究中心写**，没有真上级就**只写大学** |
|
||||
| 研究方向 | 该组页上的方向文字。**没有 ⇒ 不要** |
|
||||
| 联系邮箱 | 只接受**本组页 / 本组负责人页**的邮箱 |
|
||||
| 最近五年论文数 | null |
|
||||
|
||||
---
|
||||
|
||||
## 4. ⚠️ 并行安全（出过事故，必须照做）
|
||||
|
||||
5 个 worker 曾挤在**同一个 ego-browser Space 的同一个 page** 上 ⇒ 297 页跨校串页、整批作废。
|
||||
|
||||
1. **自己新建一个 TaskSpace**（不要复用别人已有的）
|
||||
2. **每个 URL 用独占的 `newPage()`**，**不要共用 p1**
|
||||
3. **每取一页校验 `page.url()` 与目标一致**；不一致 ⇒ 废掉重取
|
||||
4. 成功时收尾调一次 `await task.finish({ keep: [] })`；**因错误停止就别调**，把 `spaceId` 报上来
|
||||
|
||||
⚠️ 本机浏览器可能被用户接管（`ownership: user`）—— 遇到就**立刻停手、不重试**，把 `spaceId` 报上来。
|
||||
|
||||
---
|
||||
|
||||
## 5. 硬要求
|
||||
|
||||
1. **只在本项目内写**（`products/` `reports/`）。不碰别的项目、不碰线上库。
|
||||
2. **不设时间盒，做完整为止。** 但**每做完一个院系报一次 `status`**（三句话）。
|
||||
3. **判据来自页面。你的眼睛比任何正则都准。**
|
||||
4. **不许发明**：抓不到 ⇒ 写「未取到：<URL> + <错误原文>」。**判不准的贴出来，不要归类掉。**
|
||||
5. **不要从 sitemap 全量枚举 URL**（METHOD.md §6 反面清单第一条）。
|
||||
6. **只做这一所学校。**
|
||||
|
||||
@@ -0,0 +1,97 @@
|
||||
# 课题组逐院系采集 · 霍特国际商学院（英国）· 现有 2 条
|
||||
|
||||
**入口普查的判型**：自建 research 站点
|
||||
**现有 group_url 形态**：``www.hult.edu / research/leadership-lab``
|
||||
|
||||
⚠️ 这是**换源重采**：旧数据整体推翻，不要参照它。 · Win1 · Manager 2026-09-24
|
||||
|
||||
## 0. 先读方法件（**不要重新发明方法**）
|
||||
|
||||
工作区：`C:\Users\Administrator\orca\projects\英澳博士课题组数据`
|
||||
|
||||
- **`method/METHOD.md`** —— 活的采集方法。**重点看 §1「入口发现」与 §6「反面清单」。**
|
||||
- `method/finding_edinburgh_v2.md` —— 完备性标杆（643 组 / 24 院系）
|
||||
- `method/finding_anu_v2.md` · `finding_qub_v2.md` · `finding_bath_v2.md` —— 最近几所
|
||||
- `tasks/` —— 其它任务书
|
||||
|
||||
一句话：
|
||||
|
||||
> **找「组目录」，不要枚举 URL。**
|
||||
> 官方院系导航 → 各院系 `/research/` → **该页上的「组目录」**
|
||||
> （`research-groups` / `research-centres` / `groups` / `institutes` / `labs`，
|
||||
> **最高价值是「每个组由一位 PI 带」的目录**）。**入口 20–60 个/校。**
|
||||
|
||||
**参考已跑通的**：`products/` 下各校 `*__groups*.json` 是产物格式。
|
||||
|
||||
---
|
||||
|
||||
## 1. 本波只做这一所：**霍特国际商学院（英国）· 现有 2 条
|
||||
|
||||
**入口普查的判型**：自建 research 站点
|
||||
**现有 group_url 形态**：``www.hult.edu / research/leadership-lab``
|
||||
|
||||
⚠️ 这是**换源重采**：旧数据整体推翻，不要参照它。**
|
||||
|
||||
---
|
||||
|
||||
## 2. 交付（**门槛，不是"尽量"**）
|
||||
|
||||
1. **院系台账（缺一行 = 没做完）**
|
||||
`院系（全部）| research 入口 URL | 状态（取到 / 取不到：<原因>）| 组数`
|
||||
—— 院系清单从**学校官方导航**拿；**给出枚举来源 URL 与总数**；**`未取页 = 0`**
|
||||
2. **全量候选产物**：`products/<slug>_v3__groups.json`
|
||||
（五字段：课题组名称 / 所在大学及研究中心 / 研究方向 / 联系邮箱 / 最近五年论文数=null）
|
||||
—— **启发式自动抽，不逐条判**
|
||||
3. **随机抽 30 条逐条开页面核** → **准确率** + **假阳性类型** + **能否定点修掉**
|
||||
- 准确率 **≥90% 且类型集中** ⇒ 定点修那一类，**全量直接用，不再逐页核**
|
||||
4. **合理性校验**：`组数 ÷ 院系数`。**比值荒谬地低 ⇒ 回头找「组目录」那一层**
|
||||
（不是去爬更多 URL）。确认"再下一层没有组"要贴原文结构作证。
|
||||
5. **反例 / 判不准 / 未验清单**（附页面原文）
|
||||
6. 一句话：**最终组数？完备性有没有缺口？**
|
||||
|
||||
产物写 `products/`，报告写 `reports/finding_<slug>_v3.md`（目录不存在就建）。
|
||||
|
||||
---
|
||||
|
||||
## 3. 判据与字段（摘要；**细则以 METHOD.md §2 为准**）
|
||||
|
||||
> **打开页面像人一样看：这是不是一个「导师带的做研究的团队」？**
|
||||
> **粒度上限 = 一个导师能带的规模。**
|
||||
> 大一级（institute / theme / cluster / 校级研究所）**不收**；
|
||||
> **但大一级下面挂着真组时，只收内层组。**
|
||||
|
||||
**不是组**：服务设施 · 研讨会系列 · 项目 · 学生培养计划 · 单项研究 · 空页重定向 · 无负责人的方向页。
|
||||
**共性是页面上有一句「非团队自述」—— 你去看那句话。**
|
||||
|
||||
| 字段 | 取法 |
|
||||
|---|---|
|
||||
| 课题组名称 | 该组**自己页面**的 H1（无 H1 用 `<title>`；JS 渲染/表格行用目录里的官方组名并标 `_name_source`）。⚠️ 无官方组名的**按 `<负责人> 团队` 渲染并标 `_name_source: rendered_from_leader`**，且要查重防撞 |
|
||||
| 所在大学及研究中心 | 大学 + **真实上级研究单位**；⚠️ 上级是系/院/学部的**不许当研究中心写**，没有真上级就**只写大学** |
|
||||
| 研究方向 | 该组页上的方向文字。**没有 ⇒ 不要** |
|
||||
| 联系邮箱 | 只接受**本组页 / 本组负责人页**的邮箱 |
|
||||
| 最近五年论文数 | null |
|
||||
|
||||
---
|
||||
|
||||
## 4. ⚠️ 并行安全（出过事故，必须照做）
|
||||
|
||||
5 个 worker 曾挤在**同一个 ego-browser Space 的同一个 page** 上 ⇒ 297 页跨校串页、整批作废。
|
||||
|
||||
1. **自己新建一个 TaskSpace**（不要复用别人已有的）
|
||||
2. **每个 URL 用独占的 `newPage()`**，**不要共用 p1**
|
||||
3. **每取一页校验 `page.url()` 与目标一致**；不一致 ⇒ 废掉重取
|
||||
4. 成功时收尾调一次 `await task.finish({ keep: [] })`；**因错误停止就别调**，把 `spaceId` 报上来
|
||||
|
||||
⚠️ 本机浏览器可能被用户接管（`ownership: user`）—— 遇到就**立刻停手、不重试**，把 `spaceId` 报上来。
|
||||
|
||||
---
|
||||
|
||||
## 5. 硬要求
|
||||
|
||||
1. **只在本项目内写**（`products/` `reports/`）。不碰别的项目、不碰线上库。
|
||||
2. **不设时间盒，做完整为止。** 但**每做完一个院系报一次 `status`**（三句话）。
|
||||
3. **判据来自页面。你的眼睛比任何正则都准。**
|
||||
4. **不许发明**：抓不到 ⇒ 写「未取到：<URL> + <错误原文>」。**判不准的贴出来，不要归类掉。**
|
||||
5. **不要从 sitemap 全量枚举 URL**（METHOD.md §6 反面清单第一条）。
|
||||
6. **只做这一所学校。**
|
||||
|
||||
@@ -0,0 +1,97 @@
|
||||
# 课题组逐院系采集 · 怀卡托大学（澳新）· 现有 1 条
|
||||
|
||||
**入口普查的判型**：自建 research 站点
|
||||
**现有 group_url 形态**：``www.waikato.ac.nz / research/<slug>/institutes``
|
||||
|
||||
⚠️ 这是**换源重采**：旧数据整体推翻，不要参照它。 · Win1 · Manager 2026-09-24
|
||||
|
||||
## 0. 先读方法件（**不要重新发明方法**）
|
||||
|
||||
工作区：`C:\Users\Administrator\orca\projects\英澳博士课题组数据`
|
||||
|
||||
- **`method/METHOD.md`** —— 活的采集方法。**重点看 §1「入口发现」与 §6「反面清单」。**
|
||||
- `method/finding_edinburgh_v2.md` —— 完备性标杆（643 组 / 24 院系）
|
||||
- `method/finding_anu_v2.md` · `finding_qub_v2.md` · `finding_bath_v2.md` —— 最近几所
|
||||
- `tasks/` —— 其它任务书
|
||||
|
||||
一句话：
|
||||
|
||||
> **找「组目录」，不要枚举 URL。**
|
||||
> 官方院系导航 → 各院系 `/research/` → **该页上的「组目录」**
|
||||
> （`research-groups` / `research-centres` / `groups` / `institutes` / `labs`，
|
||||
> **最高价值是「每个组由一位 PI 带」的目录**）。**入口 20–60 个/校。**
|
||||
|
||||
**参考已跑通的**：`products/` 下各校 `*__groups*.json` 是产物格式。
|
||||
|
||||
---
|
||||
|
||||
## 1. 本波只做这一所：**怀卡托大学（澳新）· 现有 1 条
|
||||
|
||||
**入口普查的判型**：自建 research 站点
|
||||
**现有 group_url 形态**：``www.waikato.ac.nz / research/<slug>/institutes``
|
||||
|
||||
⚠️ 这是**换源重采**：旧数据整体推翻，不要参照它。**
|
||||
|
||||
---
|
||||
|
||||
## 2. 交付（**门槛，不是"尽量"**）
|
||||
|
||||
1. **院系台账（缺一行 = 没做完）**
|
||||
`院系（全部）| research 入口 URL | 状态（取到 / 取不到：<原因>）| 组数`
|
||||
—— 院系清单从**学校官方导航**拿；**给出枚举来源 URL 与总数**；**`未取页 = 0`**
|
||||
2. **全量候选产物**：`products/<slug>_v3__groups.json`
|
||||
（五字段：课题组名称 / 所在大学及研究中心 / 研究方向 / 联系邮箱 / 最近五年论文数=null）
|
||||
—— **启发式自动抽，不逐条判**
|
||||
3. **随机抽 30 条逐条开页面核** → **准确率** + **假阳性类型** + **能否定点修掉**
|
||||
- 准确率 **≥90% 且类型集中** ⇒ 定点修那一类，**全量直接用，不再逐页核**
|
||||
4. **合理性校验**：`组数 ÷ 院系数`。**比值荒谬地低 ⇒ 回头找「组目录」那一层**
|
||||
（不是去爬更多 URL）。确认"再下一层没有组"要贴原文结构作证。
|
||||
5. **反例 / 判不准 / 未验清单**（附页面原文）
|
||||
6. 一句话：**最终组数？完备性有没有缺口？**
|
||||
|
||||
产物写 `products/`，报告写 `reports/finding_<slug>_v3.md`（目录不存在就建）。
|
||||
|
||||
---
|
||||
|
||||
## 3. 判据与字段（摘要；**细则以 METHOD.md §2 为准**）
|
||||
|
||||
> **打开页面像人一样看：这是不是一个「导师带的做研究的团队」？**
|
||||
> **粒度上限 = 一个导师能带的规模。**
|
||||
> 大一级（institute / theme / cluster / 校级研究所）**不收**；
|
||||
> **但大一级下面挂着真组时，只收内层组。**
|
||||
|
||||
**不是组**：服务设施 · 研讨会系列 · 项目 · 学生培养计划 · 单项研究 · 空页重定向 · 无负责人的方向页。
|
||||
**共性是页面上有一句「非团队自述」—— 你去看那句话。**
|
||||
|
||||
| 字段 | 取法 |
|
||||
|---|---|
|
||||
| 课题组名称 | 该组**自己页面**的 H1（无 H1 用 `<title>`；JS 渲染/表格行用目录里的官方组名并标 `_name_source`）。⚠️ 无官方组名的**按 `<负责人> 团队` 渲染并标 `_name_source: rendered_from_leader`**，且要查重防撞 |
|
||||
| 所在大学及研究中心 | 大学 + **真实上级研究单位**；⚠️ 上级是系/院/学部的**不许当研究中心写**，没有真上级就**只写大学** |
|
||||
| 研究方向 | 该组页上的方向文字。**没有 ⇒ 不要** |
|
||||
| 联系邮箱 | 只接受**本组页 / 本组负责人页**的邮箱 |
|
||||
| 最近五年论文数 | null |
|
||||
|
||||
---
|
||||
|
||||
## 4. ⚠️ 并行安全（出过事故，必须照做）
|
||||
|
||||
5 个 worker 曾挤在**同一个 ego-browser Space 的同一个 page** 上 ⇒ 297 页跨校串页、整批作废。
|
||||
|
||||
1. **自己新建一个 TaskSpace**（不要复用别人已有的）
|
||||
2. **每个 URL 用独占的 `newPage()`**，**不要共用 p1**
|
||||
3. **每取一页校验 `page.url()` 与目标一致**；不一致 ⇒ 废掉重取
|
||||
4. 成功时收尾调一次 `await task.finish({ keep: [] })`；**因错误停止就别调**，把 `spaceId` 报上来
|
||||
|
||||
⚠️ 本机浏览器可能被用户接管（`ownership: user`）—— 遇到就**立刻停手、不重试**，把 `spaceId` 报上来。
|
||||
|
||||
---
|
||||
|
||||
## 5. 硬要求
|
||||
|
||||
1. **只在本项目内写**（`products/` `reports/`）。不碰别的项目、不碰线上库。
|
||||
2. **不设时间盒，做完整为止。** 但**每做完一个院系报一次 `status`**（三句话）。
|
||||
3. **判据来自页面。你的眼睛比任何正则都准。**
|
||||
4. **不许发明**：抓不到 ⇒ 写「未取到：<URL> + <错误原文>」。**判不准的贴出来，不要归类掉。**
|
||||
5. **不要从 sitemap 全量枚举 URL**（METHOD.md §6 反面清单第一条）。
|
||||
6. **只做这一所学校。**
|
||||
|
||||
@@ -0,0 +1,97 @@
|
||||
# 课题组逐院系采集 · 利兹艺术大学（英国）· 现有 1 条
|
||||
|
||||
**入口普查的判型**：无 group_url（id 来源待定）
|
||||
**现有 group_url 形态**：``(无 url) — 其它: —``
|
||||
|
||||
⚠️ 这是**换源重采**：旧数据整体推翻，不要参照它。 · Win1 · Manager 2026-09-24
|
||||
|
||||
## 0. 先读方法件（**不要重新发明方法**）
|
||||
|
||||
工作区：`C:\Users\Administrator\orca\projects\英澳博士课题组数据`
|
||||
|
||||
- **`method/METHOD.md`** —— 活的采集方法。**重点看 §1「入口发现」与 §6「反面清单」。**
|
||||
- `method/finding_edinburgh_v2.md` —— 完备性标杆（643 组 / 24 院系）
|
||||
- `method/finding_anu_v2.md` · `finding_qub_v2.md` · `finding_bath_v2.md` —— 最近几所
|
||||
- `tasks/` —— 其它任务书
|
||||
|
||||
一句话：
|
||||
|
||||
> **找「组目录」，不要枚举 URL。**
|
||||
> 官方院系导航 → 各院系 `/research/` → **该页上的「组目录」**
|
||||
> （`research-groups` / `research-centres` / `groups` / `institutes` / `labs`，
|
||||
> **最高价值是「每个组由一位 PI 带」的目录**）。**入口 20–60 个/校。**
|
||||
|
||||
**参考已跑通的**：`products/` 下各校 `*__groups*.json` 是产物格式。
|
||||
|
||||
---
|
||||
|
||||
## 1. 本波只做这一所：**利兹艺术大学（英国）· 现有 1 条
|
||||
|
||||
**入口普查的判型**：无 group_url（id 来源待定）
|
||||
**现有 group_url 形态**：``(无 url) — 其它: —``
|
||||
|
||||
⚠️ 这是**换源重采**：旧数据整体推翻，不要参照它。**
|
||||
|
||||
---
|
||||
|
||||
## 2. 交付（**门槛，不是"尽量"**）
|
||||
|
||||
1. **院系台账（缺一行 = 没做完）**
|
||||
`院系（全部）| research 入口 URL | 状态（取到 / 取不到：<原因>）| 组数`
|
||||
—— 院系清单从**学校官方导航**拿；**给出枚举来源 URL 与总数**；**`未取页 = 0`**
|
||||
2. **全量候选产物**：`products/<slug>_v3__groups.json`
|
||||
（五字段：课题组名称 / 所在大学及研究中心 / 研究方向 / 联系邮箱 / 最近五年论文数=null）
|
||||
—— **启发式自动抽，不逐条判**
|
||||
3. **随机抽 30 条逐条开页面核** → **准确率** + **假阳性类型** + **能否定点修掉**
|
||||
- 准确率 **≥90% 且类型集中** ⇒ 定点修那一类，**全量直接用，不再逐页核**
|
||||
4. **合理性校验**：`组数 ÷ 院系数`。**比值荒谬地低 ⇒ 回头找「组目录」那一层**
|
||||
（不是去爬更多 URL）。确认"再下一层没有组"要贴原文结构作证。
|
||||
5. **反例 / 判不准 / 未验清单**（附页面原文）
|
||||
6. 一句话：**最终组数？完备性有没有缺口？**
|
||||
|
||||
产物写 `products/`，报告写 `reports/finding_<slug>_v3.md`（目录不存在就建）。
|
||||
|
||||
---
|
||||
|
||||
## 3. 判据与字段（摘要；**细则以 METHOD.md §2 为准**）
|
||||
|
||||
> **打开页面像人一样看：这是不是一个「导师带的做研究的团队」？**
|
||||
> **粒度上限 = 一个导师能带的规模。**
|
||||
> 大一级（institute / theme / cluster / 校级研究所）**不收**；
|
||||
> **但大一级下面挂着真组时，只收内层组。**
|
||||
|
||||
**不是组**：服务设施 · 研讨会系列 · 项目 · 学生培养计划 · 单项研究 · 空页重定向 · 无负责人的方向页。
|
||||
**共性是页面上有一句「非团队自述」—— 你去看那句话。**
|
||||
|
||||
| 字段 | 取法 |
|
||||
|---|---|
|
||||
| 课题组名称 | 该组**自己页面**的 H1（无 H1 用 `<title>`；JS 渲染/表格行用目录里的官方组名并标 `_name_source`）。⚠️ 无官方组名的**按 `<负责人> 团队` 渲染并标 `_name_source: rendered_from_leader`**，且要查重防撞 |
|
||||
| 所在大学及研究中心 | 大学 + **真实上级研究单位**；⚠️ 上级是系/院/学部的**不许当研究中心写**，没有真上级就**只写大学** |
|
||||
| 研究方向 | 该组页上的方向文字。**没有 ⇒ 不要** |
|
||||
| 联系邮箱 | 只接受**本组页 / 本组负责人页**的邮箱 |
|
||||
| 最近五年论文数 | null |
|
||||
|
||||
---
|
||||
|
||||
## 4. ⚠️ 并行安全（出过事故，必须照做）
|
||||
|
||||
5 个 worker 曾挤在**同一个 ego-browser Space 的同一个 page** 上 ⇒ 297 页跨校串页、整批作废。
|
||||
|
||||
1. **自己新建一个 TaskSpace**（不要复用别人已有的）
|
||||
2. **每个 URL 用独占的 `newPage()`**，**不要共用 p1**
|
||||
3. **每取一页校验 `page.url()` 与目标一致**；不一致 ⇒ 废掉重取
|
||||
4. 成功时收尾调一次 `await task.finish({ keep: [] })`；**因错误停止就别调**，把 `spaceId` 报上来
|
||||
|
||||
⚠️ 本机浏览器可能被用户接管（`ownership: user`）—— 遇到就**立刻停手、不重试**，把 `spaceId` 报上来。
|
||||
|
||||
---
|
||||
|
||||
## 5. 硬要求
|
||||
|
||||
1. **只在本项目内写**（`products/` `reports/`）。不碰别的项目、不碰线上库。
|
||||
2. **不设时间盒，做完整为止。** 但**每做完一个院系报一次 `status`**（三句话）。
|
||||
3. **判据来自页面。你的眼睛比任何正则都准。**
|
||||
4. **不许发明**：抓不到 ⇒ 写「未取到：<URL> + <错误原文>」。**判不准的贴出来，不要归类掉。**
|
||||
5. **不要从 sitemap 全量枚举 URL**（METHOD.md §6 反面清单第一条）。
|
||||
6. **只做这一所学校。**
|
||||
|
||||
@@ -0,0 +1,97 @@
|
||||
# 课题组逐院系采集 · 皇家中央演讲与戏剧学院（英国）· 现有 1 条
|
||||
|
||||
**入口普查的判型**：自建 research 站点
|
||||
**现有 group_url 形态**：``www.cssd.ac.uk / research/pteq``
|
||||
|
||||
⚠️ 这是**换源重采**：旧数据整体推翻，不要参照它。 · Win1 · Manager 2026-09-24
|
||||
|
||||
## 0. 先读方法件（**不要重新发明方法**）
|
||||
|
||||
工作区：`C:\Users\Administrator\orca\projects\英澳博士课题组数据`
|
||||
|
||||
- **`method/METHOD.md`** —— 活的采集方法。**重点看 §1「入口发现」与 §6「反面清单」。**
|
||||
- `method/finding_edinburgh_v2.md` —— 完备性标杆（643 组 / 24 院系）
|
||||
- `method/finding_anu_v2.md` · `finding_qub_v2.md` · `finding_bath_v2.md` —— 最近几所
|
||||
- `tasks/` —— 其它任务书
|
||||
|
||||
一句话：
|
||||
|
||||
> **找「组目录」，不要枚举 URL。**
|
||||
> 官方院系导航 → 各院系 `/research/` → **该页上的「组目录」**
|
||||
> （`research-groups` / `research-centres` / `groups` / `institutes` / `labs`，
|
||||
> **最高价值是「每个组由一位 PI 带」的目录**）。**入口 20–60 个/校。**
|
||||
|
||||
**参考已跑通的**：`products/` 下各校 `*__groups*.json` 是产物格式。
|
||||
|
||||
---
|
||||
|
||||
## 1. 本波只做这一所：**皇家中央演讲与戏剧学院（英国）· 现有 1 条
|
||||
|
||||
**入口普查的判型**：自建 research 站点
|
||||
**现有 group_url 形态**：``www.cssd.ac.uk / research/pteq``
|
||||
|
||||
⚠️ 这是**换源重采**：旧数据整体推翻，不要参照它。**
|
||||
|
||||
---
|
||||
|
||||
## 2. 交付（**门槛，不是"尽量"**）
|
||||
|
||||
1. **院系台账（缺一行 = 没做完）**
|
||||
`院系（全部）| research 入口 URL | 状态（取到 / 取不到：<原因>）| 组数`
|
||||
—— 院系清单从**学校官方导航**拿；**给出枚举来源 URL 与总数**；**`未取页 = 0`**
|
||||
2. **全量候选产物**：`products/<slug>_v3__groups.json`
|
||||
（五字段：课题组名称 / 所在大学及研究中心 / 研究方向 / 联系邮箱 / 最近五年论文数=null）
|
||||
—— **启发式自动抽，不逐条判**
|
||||
3. **随机抽 30 条逐条开页面核** → **准确率** + **假阳性类型** + **能否定点修掉**
|
||||
- 准确率 **≥90% 且类型集中** ⇒ 定点修那一类，**全量直接用，不再逐页核**
|
||||
4. **合理性校验**：`组数 ÷ 院系数`。**比值荒谬地低 ⇒ 回头找「组目录」那一层**
|
||||
（不是去爬更多 URL）。确认"再下一层没有组"要贴原文结构作证。
|
||||
5. **反例 / 判不准 / 未验清单**（附页面原文）
|
||||
6. 一句话：**最终组数？完备性有没有缺口？**
|
||||
|
||||
产物写 `products/`，报告写 `reports/finding_<slug>_v3.md`（目录不存在就建）。
|
||||
|
||||
---
|
||||
|
||||
## 3. 判据与字段（摘要；**细则以 METHOD.md §2 为准**）
|
||||
|
||||
> **打开页面像人一样看：这是不是一个「导师带的做研究的团队」？**
|
||||
> **粒度上限 = 一个导师能带的规模。**
|
||||
> 大一级（institute / theme / cluster / 校级研究所）**不收**；
|
||||
> **但大一级下面挂着真组时，只收内层组。**
|
||||
|
||||
**不是组**：服务设施 · 研讨会系列 · 项目 · 学生培养计划 · 单项研究 · 空页重定向 · 无负责人的方向页。
|
||||
**共性是页面上有一句「非团队自述」—— 你去看那句话。**
|
||||
|
||||
| 字段 | 取法 |
|
||||
|---|---|
|
||||
| 课题组名称 | 该组**自己页面**的 H1（无 H1 用 `<title>`；JS 渲染/表格行用目录里的官方组名并标 `_name_source`）。⚠️ 无官方组名的**按 `<负责人> 团队` 渲染并标 `_name_source: rendered_from_leader`**，且要查重防撞 |
|
||||
| 所在大学及研究中心 | 大学 + **真实上级研究单位**；⚠️ 上级是系/院/学部的**不许当研究中心写**，没有真上级就**只写大学** |
|
||||
| 研究方向 | 该组页上的方向文字。**没有 ⇒ 不要** |
|
||||
| 联系邮箱 | 只接受**本组页 / 本组负责人页**的邮箱 |
|
||||
| 最近五年论文数 | null |
|
||||
|
||||
---
|
||||
|
||||
## 4. ⚠️ 并行安全（出过事故，必须照做）
|
||||
|
||||
5 个 worker 曾挤在**同一个 ego-browser Space 的同一个 page** 上 ⇒ 297 页跨校串页、整批作废。
|
||||
|
||||
1. **自己新建一个 TaskSpace**（不要复用别人已有的）
|
||||
2. **每个 URL 用独占的 `newPage()`**，**不要共用 p1**
|
||||
3. **每取一页校验 `page.url()` 与目标一致**；不一致 ⇒ 废掉重取
|
||||
4. 成功时收尾调一次 `await task.finish({ keep: [] })`；**因错误停止就别调**，把 `spaceId` 报上来
|
||||
|
||||
⚠️ 本机浏览器可能被用户接管（`ownership: user`）—— 遇到就**立刻停手、不重试**，把 `spaceId` 报上来。
|
||||
|
||||
---
|
||||
|
||||
## 5. 硬要求
|
||||
|
||||
1. **只在本项目内写**（`products/` `reports/`）。不碰别的项目、不碰线上库。
|
||||
2. **不设时间盒，做完整为止。** 但**每做完一个院系报一次 `status`**（三句话）。
|
||||
3. **判据来自页面。你的眼睛比任何正则都准。**
|
||||
4. **不许发明**：抓不到 ⇒ 写「未取到：<URL> + <错误原文>」。**判不准的贴出来，不要归类掉。**
|
||||
5. **不要从 sitemap 全量枚举 URL**（METHOD.md §6 反面清单第一条）。
|
||||
6. **只做这一所学校。**
|
||||
|
||||
@@ -0,0 +1,97 @@
|
||||
# 课题组逐院系采集 · 皇家音乐学院(RCM)（英国）· 现有 1 条
|
||||
|
||||
**入口普查的判型**：自建 research 站点
|
||||
**现有 group_url 形态**：``www.rcm.ac.uk / research/cps``
|
||||
|
||||
⚠️ 这是**换源重采**：旧数据整体推翻，不要参照它。 · Win1 · Manager 2026-09-24
|
||||
|
||||
## 0. 先读方法件（**不要重新发明方法**）
|
||||
|
||||
工作区：`C:\Users\Administrator\orca\projects\英澳博士课题组数据`
|
||||
|
||||
- **`method/METHOD.md`** —— 活的采集方法。**重点看 §1「入口发现」与 §6「反面清单」。**
|
||||
- `method/finding_edinburgh_v2.md` —— 完备性标杆（643 组 / 24 院系）
|
||||
- `method/finding_anu_v2.md` · `finding_qub_v2.md` · `finding_bath_v2.md` —— 最近几所
|
||||
- `tasks/` —— 其它任务书
|
||||
|
||||
一句话：
|
||||
|
||||
> **找「组目录」，不要枚举 URL。**
|
||||
> 官方院系导航 → 各院系 `/research/` → **该页上的「组目录」**
|
||||
> （`research-groups` / `research-centres` / `groups` / `institutes` / `labs`，
|
||||
> **最高价值是「每个组由一位 PI 带」的目录**）。**入口 20–60 个/校。**
|
||||
|
||||
**参考已跑通的**：`products/` 下各校 `*__groups*.json` 是产物格式。
|
||||
|
||||
---
|
||||
|
||||
## 1. 本波只做这一所：**皇家音乐学院(RCM)（英国）· 现有 1 条
|
||||
|
||||
**入口普查的判型**：自建 research 站点
|
||||
**现有 group_url 形态**：``www.rcm.ac.uk / research/cps``
|
||||
|
||||
⚠️ 这是**换源重采**：旧数据整体推翻，不要参照它。**
|
||||
|
||||
---
|
||||
|
||||
## 2. 交付（**门槛，不是"尽量"**）
|
||||
|
||||
1. **院系台账（缺一行 = 没做完）**
|
||||
`院系（全部）| research 入口 URL | 状态（取到 / 取不到：<原因>）| 组数`
|
||||
—— 院系清单从**学校官方导航**拿；**给出枚举来源 URL 与总数**；**`未取页 = 0`**
|
||||
2. **全量候选产物**：`products/<slug>_v3__groups.json`
|
||||
（五字段：课题组名称 / 所在大学及研究中心 / 研究方向 / 联系邮箱 / 最近五年论文数=null）
|
||||
—— **启发式自动抽，不逐条判**
|
||||
3. **随机抽 30 条逐条开页面核** → **准确率** + **假阳性类型** + **能否定点修掉**
|
||||
- 准确率 **≥90% 且类型集中** ⇒ 定点修那一类，**全量直接用，不再逐页核**
|
||||
4. **合理性校验**：`组数 ÷ 院系数`。**比值荒谬地低 ⇒ 回头找「组目录」那一层**
|
||||
（不是去爬更多 URL）。确认"再下一层没有组"要贴原文结构作证。
|
||||
5. **反例 / 判不准 / 未验清单**（附页面原文）
|
||||
6. 一句话：**最终组数？完备性有没有缺口？**
|
||||
|
||||
产物写 `products/`，报告写 `reports/finding_<slug>_v3.md`（目录不存在就建）。
|
||||
|
||||
---
|
||||
|
||||
## 3. 判据与字段（摘要；**细则以 METHOD.md §2 为准**）
|
||||
|
||||
> **打开页面像人一样看：这是不是一个「导师带的做研究的团队」？**
|
||||
> **粒度上限 = 一个导师能带的规模。**
|
||||
> 大一级（institute / theme / cluster / 校级研究所）**不收**；
|
||||
> **但大一级下面挂着真组时，只收内层组。**
|
||||
|
||||
**不是组**：服务设施 · 研讨会系列 · 项目 · 学生培养计划 · 单项研究 · 空页重定向 · 无负责人的方向页。
|
||||
**共性是页面上有一句「非团队自述」—— 你去看那句话。**
|
||||
|
||||
| 字段 | 取法 |
|
||||
|---|---|
|
||||
| 课题组名称 | 该组**自己页面**的 H1（无 H1 用 `<title>`；JS 渲染/表格行用目录里的官方组名并标 `_name_source`）。⚠️ 无官方组名的**按 `<负责人> 团队` 渲染并标 `_name_source: rendered_from_leader`**，且要查重防撞 |
|
||||
| 所在大学及研究中心 | 大学 + **真实上级研究单位**；⚠️ 上级是系/院/学部的**不许当研究中心写**，没有真上级就**只写大学** |
|
||||
| 研究方向 | 该组页上的方向文字。**没有 ⇒ 不要** |
|
||||
| 联系邮箱 | 只接受**本组页 / 本组负责人页**的邮箱 |
|
||||
| 最近五年论文数 | null |
|
||||
|
||||
---
|
||||
|
||||
## 4. ⚠️ 并行安全（出过事故，必须照做）
|
||||
|
||||
5 个 worker 曾挤在**同一个 ego-browser Space 的同一个 page** 上 ⇒ 297 页跨校串页、整批作废。
|
||||
|
||||
1. **自己新建一个 TaskSpace**（不要复用别人已有的）
|
||||
2. **每个 URL 用独占的 `newPage()`**，**不要共用 p1**
|
||||
3. **每取一页校验 `page.url()` 与目标一致**；不一致 ⇒ 废掉重取
|
||||
4. 成功时收尾调一次 `await task.finish({ keep: [] })`；**因错误停止就别调**，把 `spaceId` 报上来
|
||||
|
||||
⚠️ 本机浏览器可能被用户接管（`ownership: user`）—— 遇到就**立刻停手、不重试**，把 `spaceId` 报上来。
|
||||
|
||||
---
|
||||
|
||||
## 5. 硬要求
|
||||
|
||||
1. **只在本项目内写**（`products/` `reports/`）。不碰别的项目、不碰线上库。
|
||||
2. **不设时间盒，做完整为止。** 但**每做完一个院系报一次 `status`**（三句话）。
|
||||
3. **判据来自页面。你的眼睛比任何正则都准。**
|
||||
4. **不许发明**：抓不到 ⇒ 写「未取到：<URL> + <错误原文>」。**判不准的贴出来，不要归类掉。**
|
||||
5. **不要从 sitemap 全量枚举 URL**（METHOD.md §6 反面清单第一条）。
|
||||
6. **只做这一所学校。**
|
||||
|
||||
@@ -0,0 +1,99 @@
|
||||
# 课题组逐院系采集 · 杜伦大学（英国）· 现有 116 条
|
||||
|
||||
**入口普查的判型**：院系目录页（误抓）
|
||||
**现有 group_url 形态**：``www.durham.ac.uk / departments/academic/<slug>``
|
||||
|
||||
⚠️ 这是**换源重采**：旧数据整体推翻，不要参照它。
|
||||
本条是**入口普查已定**的那批（61 校/3501 条可收 2817）；按 METHOD.md 从院系站重找组目录。 · Win1 · Manager 2026-09-24
|
||||
|
||||
## 0. 先读方法件（**不要重新发明方法**）
|
||||
|
||||
工作区：`C:\Users\Administrator\orca\projects\英澳博士课题组数据`
|
||||
|
||||
- **`method/METHOD.md`** —— 活的采集方法。**重点看 §1「入口发现」与 §6「反面清单」。**
|
||||
- `method/finding_edinburgh_v2.md` —— 完备性标杆（643 组 / 24 院系）
|
||||
- `method/finding_anu_v2.md` · `finding_qub_v2.md` · `finding_bath_v2.md` —— 最近几所
|
||||
- `tasks/` —— 其它任务书
|
||||
|
||||
一句话：
|
||||
|
||||
> **找「组目录」，不要枚举 URL。**
|
||||
> 官方院系导航 → 各院系 `/research/` → **该页上的「组目录」**
|
||||
> （`research-groups` / `research-centres` / `groups` / `institutes` / `labs`，
|
||||
> **最高价值是「每个组由一位 PI 带」的目录**）。**入口 20–60 个/校。**
|
||||
|
||||
**参考已跑通的**：`products/` 下各校 `*__groups*.json` 是产物格式。
|
||||
|
||||
---
|
||||
|
||||
## 1. 本波只做这一所：**杜伦大学（英国）· 现有 116 条
|
||||
|
||||
**入口普查的判型**：院系目录页（误抓）
|
||||
**现有 group_url 形态**：``www.durham.ac.uk / departments/academic/<slug>``
|
||||
|
||||
⚠️ 这是**换源重采**：旧数据整体推翻，不要参照它。
|
||||
本条是**入口普查已定**的那批（61 校/3501 条可收 2817）；按 METHOD.md 从院系站重找组目录。**
|
||||
|
||||
---
|
||||
|
||||
## 2. 交付（**门槛，不是"尽量"**）
|
||||
|
||||
1. **院系台账（缺一行 = 没做完）**
|
||||
`院系（全部）| research 入口 URL | 状态（取到 / 取不到：<原因>）| 组数`
|
||||
—— 院系清单从**学校官方导航**拿；**给出枚举来源 URL 与总数**；**`未取页 = 0`**
|
||||
2. **全量候选产物**：`products/<slug>_v3__groups.json`
|
||||
（五字段：课题组名称 / 所在大学及研究中心 / 研究方向 / 联系邮箱 / 最近五年论文数=null）
|
||||
—— **启发式自动抽，不逐条判**
|
||||
3. **随机抽 30 条逐条开页面核** → **准确率** + **假阳性类型** + **能否定点修掉**
|
||||
- 准确率 **≥90% 且类型集中** ⇒ 定点修那一类，**全量直接用，不再逐页核**
|
||||
4. **合理性校验**：`组数 ÷ 院系数`。**比值荒谬地低 ⇒ 回头找「组目录」那一层**
|
||||
（不是去爬更多 URL）。确认"再下一层没有组"要贴原文结构作证。
|
||||
5. **反例 / 判不准 / 未验清单**（附页面原文）
|
||||
6. 一句话：**最终组数？完备性有没有缺口？**
|
||||
|
||||
产物写 `products/`，报告写 `reports/finding_<slug>_v3.md`（目录不存在就建）。
|
||||
|
||||
---
|
||||
|
||||
## 3. 判据与字段（摘要；**细则以 METHOD.md §2 为准**）
|
||||
|
||||
> **打开页面像人一样看：这是不是一个「导师带的做研究的团队」？**
|
||||
> **粒度上限 = 一个导师能带的规模。**
|
||||
> 大一级（institute / theme / cluster / 校级研究所）**不收**；
|
||||
> **但大一级下面挂着真组时，只收内层组。**
|
||||
|
||||
**不是组**：服务设施 · 研讨会系列 · 项目 · 学生培养计划 · 单项研究 · 空页重定向 · 无负责人的方向页。
|
||||
**共性是页面上有一句「非团队自述」—— 你去看那句话。**
|
||||
|
||||
| 字段 | 取法 |
|
||||
|---|---|
|
||||
| 课题组名称 | 该组**自己页面**的 H1（无 H1 用 `<title>`；JS 渲染/表格行用目录里的官方组名并标 `_name_source`）。⚠️ 无官方组名的**按 `<负责人> 团队` 渲染并标 `_name_source: rendered_from_leader`**，且要查重防撞 |
|
||||
| 所在大学及研究中心 | 大学 + **真实上级研究单位**；⚠️ 上级是系/院/学部的**不许当研究中心写**，没有真上级就**只写大学** |
|
||||
| 研究方向 | 该组页上的方向文字。**没有 ⇒ 不要** |
|
||||
| 联系邮箱 | 只接受**本组页 / 本组负责人页**的邮箱 |
|
||||
| 最近五年论文数 | null |
|
||||
|
||||
---
|
||||
|
||||
## 4. ⚠️ 并行安全（出过事故，必须照做）
|
||||
|
||||
5 个 worker 曾挤在**同一个 ego-browser Space 的同一个 page** 上 ⇒ 297 页跨校串页、整批作废。
|
||||
|
||||
1. **自己新建一个 TaskSpace**（不要复用别人已有的）
|
||||
2. **每个 URL 用独占的 `newPage()`**，**不要共用 p1**
|
||||
3. **每取一页校验 `page.url()` 与目标一致**；不一致 ⇒ 废掉重取
|
||||
4. 成功时收尾调一次 `await task.finish({ keep: [] })`；**因错误停止就别调**，把 `spaceId` 报上来
|
||||
|
||||
⚠️ 本机浏览器可能被用户接管（`ownership: user`）—— 遇到就**立刻停手、不重试**，把 `spaceId` 报上来。
|
||||
|
||||
---
|
||||
|
||||
## 5. 硬要求
|
||||
|
||||
1. **只在本项目内写**（`products/` `reports/`）。不碰别的项目、不碰线上库。
|
||||
2. **不设时间盒，做完整为止。** 但**每做完一个院系报一次 `status`**（三句话）。
|
||||
3. **判据来自页面。你的眼睛比任何正则都准。**
|
||||
4. **不许发明**：抓不到 ⇒ 写「未取到：<URL> + <错误原文>」。**判不准的贴出来，不要归类掉。**
|
||||
5. **不要从 sitemap 全量枚举 URL**（METHOD.md §6 反面清单第一条）。
|
||||
6. **只做这一所学校。**
|
||||
|
||||
@@ -0,0 +1,97 @@
|
||||
# 课题组逐院系采集 · 英国法律大学（英国）· 现有 1 条
|
||||
|
||||
**入口普查的判型**：无 group_url（id 来源待定）
|
||||
**现有 group_url 形态**：``(无 url) — 其它: —``
|
||||
|
||||
⚠️ 这是**换源重采**：旧数据整体推翻，不要参照它。 · Win1 · Manager 2026-09-24
|
||||
|
||||
## 0. 先读方法件（**不要重新发明方法**）
|
||||
|
||||
工作区：`C:\Users\Administrator\orca\projects\英澳博士课题组数据`
|
||||
|
||||
- **`method/METHOD.md`** —— 活的采集方法。**重点看 §1「入口发现」与 §6「反面清单」。**
|
||||
- `method/finding_edinburgh_v2.md` —— 完备性标杆（643 组 / 24 院系）
|
||||
- `method/finding_anu_v2.md` · `finding_qub_v2.md` · `finding_bath_v2.md` —— 最近几所
|
||||
- `tasks/` —— 其它任务书
|
||||
|
||||
一句话：
|
||||
|
||||
> **找「组目录」，不要枚举 URL。**
|
||||
> 官方院系导航 → 各院系 `/research/` → **该页上的「组目录」**
|
||||
> （`research-groups` / `research-centres` / `groups` / `institutes` / `labs`，
|
||||
> **最高价值是「每个组由一位 PI 带」的目录**）。**入口 20–60 个/校。**
|
||||
|
||||
**参考已跑通的**：`products/` 下各校 `*__groups*.json` 是产物格式。
|
||||
|
||||
---
|
||||
|
||||
## 1. 本波只做这一所：**英国法律大学（英国）· 现有 1 条
|
||||
|
||||
**入口普查的判型**：无 group_url（id 来源待定）
|
||||
**现有 group_url 形态**：``(无 url) — 其它: —``
|
||||
|
||||
⚠️ 这是**换源重采**：旧数据整体推翻，不要参照它。**
|
||||
|
||||
---
|
||||
|
||||
## 2. 交付（**门槛，不是"尽量"**）
|
||||
|
||||
1. **院系台账（缺一行 = 没做完）**
|
||||
`院系（全部）| research 入口 URL | 状态（取到 / 取不到：<原因>）| 组数`
|
||||
—— 院系清单从**学校官方导航**拿；**给出枚举来源 URL 与总数**；**`未取页 = 0`**
|
||||
2. **全量候选产物**：`products/<slug>_v3__groups.json`
|
||||
（五字段：课题组名称 / 所在大学及研究中心 / 研究方向 / 联系邮箱 / 最近五年论文数=null）
|
||||
—— **启发式自动抽，不逐条判**
|
||||
3. **随机抽 30 条逐条开页面核** → **准确率** + **假阳性类型** + **能否定点修掉**
|
||||
- 准确率 **≥90% 且类型集中** ⇒ 定点修那一类，**全量直接用，不再逐页核**
|
||||
4. **合理性校验**：`组数 ÷ 院系数`。**比值荒谬地低 ⇒ 回头找「组目录」那一层**
|
||||
（不是去爬更多 URL）。确认"再下一层没有组"要贴原文结构作证。
|
||||
5. **反例 / 判不准 / 未验清单**（附页面原文）
|
||||
6. 一句话：**最终组数？完备性有没有缺口？**
|
||||
|
||||
产物写 `products/`，报告写 `reports/finding_<slug>_v3.md`（目录不存在就建）。
|
||||
|
||||
---
|
||||
|
||||
## 3. 判据与字段（摘要；**细则以 METHOD.md §2 为准**）
|
||||
|
||||
> **打开页面像人一样看：这是不是一个「导师带的做研究的团队」？**
|
||||
> **粒度上限 = 一个导师能带的规模。**
|
||||
> 大一级（institute / theme / cluster / 校级研究所）**不收**；
|
||||
> **但大一级下面挂着真组时，只收内层组。**
|
||||
|
||||
**不是组**：服务设施 · 研讨会系列 · 项目 · 学生培养计划 · 单项研究 · 空页重定向 · 无负责人的方向页。
|
||||
**共性是页面上有一句「非团队自述」—— 你去看那句话。**
|
||||
|
||||
| 字段 | 取法 |
|
||||
|---|---|
|
||||
| 课题组名称 | 该组**自己页面**的 H1（无 H1 用 `<title>`；JS 渲染/表格行用目录里的官方组名并标 `_name_source`）。⚠️ 无官方组名的**按 `<负责人> 团队` 渲染并标 `_name_source: rendered_from_leader`**，且要查重防撞 |
|
||||
| 所在大学及研究中心 | 大学 + **真实上级研究单位**；⚠️ 上级是系/院/学部的**不许当研究中心写**，没有真上级就**只写大学** |
|
||||
| 研究方向 | 该组页上的方向文字。**没有 ⇒ 不要** |
|
||||
| 联系邮箱 | 只接受**本组页 / 本组负责人页**的邮箱 |
|
||||
| 最近五年论文数 | null |
|
||||
|
||||
---
|
||||
|
||||
## 4. ⚠️ 并行安全（出过事故，必须照做）
|
||||
|
||||
5 个 worker 曾挤在**同一个 ego-browser Space 的同一个 page** 上 ⇒ 297 页跨校串页、整批作废。
|
||||
|
||||
1. **自己新建一个 TaskSpace**（不要复用别人已有的）
|
||||
2. **每个 URL 用独占的 `newPage()`**，**不要共用 p1**
|
||||
3. **每取一页校验 `page.url()` 与目标一致**；不一致 ⇒ 废掉重取
|
||||
4. 成功时收尾调一次 `await task.finish({ keep: [] })`；**因错误停止就别调**，把 `spaceId` 报上来
|
||||
|
||||
⚠️ 本机浏览器可能被用户接管（`ownership: user`）—— 遇到就**立刻停手、不重试**，把 `spaceId` 报上来。
|
||||
|
||||
---
|
||||
|
||||
## 5. 硬要求
|
||||
|
||||
1. **只在本项目内写**（`products/` `reports/`）。不碰别的项目、不碰线上库。
|
||||
2. **不设时间盒，做完整为止。** 但**每做完一个院系报一次 `status`**（三句话）。
|
||||
3. **判据来自页面。你的眼睛比任何正则都准。**
|
||||
4. **不许发明**：抓不到 ⇒ 写「未取到：<URL> + <错误原文>」。**判不准的贴出来，不要归类掉。**
|
||||
5. **不要从 sitemap 全量枚举 URL**（METHOD.md §6 反面清单第一条）。
|
||||
6. **只做这一所学校。**
|
||||
|
||||
@@ -0,0 +1,99 @@
|
||||
# 课题组逐院系采集 · 纽卡斯尔大学（英国）· 现有 113 条
|
||||
|
||||
**入口普查的判型**：自建 research 目录/课题组页
|
||||
**现有 group_url 形态**：``www.ncl.ac.uk / computing/research/groups``
|
||||
|
||||
⚠️ 这是**换源重采**：旧数据整体推翻，不要参照它。
|
||||
本条是**入口普查已定**的那批（61 校/3501 条可收 2817）；按 METHOD.md 从院系站重找组目录。 · Win1 · Manager 2026-09-24
|
||||
|
||||
## 0. 先读方法件（**不要重新发明方法**）
|
||||
|
||||
工作区：`C:\Users\Administrator\orca\projects\英澳博士课题组数据`
|
||||
|
||||
- **`method/METHOD.md`** —— 活的采集方法。**重点看 §1「入口发现」与 §6「反面清单」。**
|
||||
- `method/finding_edinburgh_v2.md` —— 完备性标杆（643 组 / 24 院系）
|
||||
- `method/finding_anu_v2.md` · `finding_qub_v2.md` · `finding_bath_v2.md` —— 最近几所
|
||||
- `tasks/` —— 其它任务书
|
||||
|
||||
一句话：
|
||||
|
||||
> **找「组目录」，不要枚举 URL。**
|
||||
> 官方院系导航 → 各院系 `/research/` → **该页上的「组目录」**
|
||||
> （`research-groups` / `research-centres` / `groups` / `institutes` / `labs`，
|
||||
> **最高价值是「每个组由一位 PI 带」的目录**）。**入口 20–60 个/校。**
|
||||
|
||||
**参考已跑通的**：`products/` 下各校 `*__groups*.json` 是产物格式。
|
||||
|
||||
---
|
||||
|
||||
## 1. 本波只做这一所：**纽卡斯尔大学（英国）· 现有 113 条
|
||||
|
||||
**入口普查的判型**：自建 research 目录/课题组页
|
||||
**现有 group_url 形态**：``www.ncl.ac.uk / computing/research/groups``
|
||||
|
||||
⚠️ 这是**换源重采**：旧数据整体推翻，不要参照它。
|
||||
本条是**入口普查已定**的那批（61 校/3501 条可收 2817）；按 METHOD.md 从院系站重找组目录。**
|
||||
|
||||
---
|
||||
|
||||
## 2. 交付（**门槛，不是"尽量"**）
|
||||
|
||||
1. **院系台账（缺一行 = 没做完）**
|
||||
`院系（全部）| research 入口 URL | 状态（取到 / 取不到：<原因>）| 组数`
|
||||
—— 院系清单从**学校官方导航**拿；**给出枚举来源 URL 与总数**；**`未取页 = 0`**
|
||||
2. **全量候选产物**：`products/<slug>_v3__groups.json`
|
||||
（五字段：课题组名称 / 所在大学及研究中心 / 研究方向 / 联系邮箱 / 最近五年论文数=null）
|
||||
—— **启发式自动抽，不逐条判**
|
||||
3. **随机抽 30 条逐条开页面核** → **准确率** + **假阳性类型** + **能否定点修掉**
|
||||
- 准确率 **≥90% 且类型集中** ⇒ 定点修那一类，**全量直接用，不再逐页核**
|
||||
4. **合理性校验**：`组数 ÷ 院系数`。**比值荒谬地低 ⇒ 回头找「组目录」那一层**
|
||||
（不是去爬更多 URL）。确认"再下一层没有组"要贴原文结构作证。
|
||||
5. **反例 / 判不准 / 未验清单**（附页面原文）
|
||||
6. 一句话：**最终组数？完备性有没有缺口？**
|
||||
|
||||
产物写 `products/`，报告写 `reports/finding_<slug>_v3.md`（目录不存在就建）。
|
||||
|
||||
---
|
||||
|
||||
## 3. 判据与字段（摘要；**细则以 METHOD.md §2 为准**）
|
||||
|
||||
> **打开页面像人一样看：这是不是一个「导师带的做研究的团队」？**
|
||||
> **粒度上限 = 一个导师能带的规模。**
|
||||
> 大一级（institute / theme / cluster / 校级研究所）**不收**；
|
||||
> **但大一级下面挂着真组时，只收内层组。**
|
||||
|
||||
**不是组**：服务设施 · 研讨会系列 · 项目 · 学生培养计划 · 单项研究 · 空页重定向 · 无负责人的方向页。
|
||||
**共性是页面上有一句「非团队自述」—— 你去看那句话。**
|
||||
|
||||
| 字段 | 取法 |
|
||||
|---|---|
|
||||
| 课题组名称 | 该组**自己页面**的 H1（无 H1 用 `<title>`；JS 渲染/表格行用目录里的官方组名并标 `_name_source`）。⚠️ 无官方组名的**按 `<负责人> 团队` 渲染并标 `_name_source: rendered_from_leader`**，且要查重防撞 |
|
||||
| 所在大学及研究中心 | 大学 + **真实上级研究单位**；⚠️ 上级是系/院/学部的**不许当研究中心写**，没有真上级就**只写大学** |
|
||||
| 研究方向 | 该组页上的方向文字。**没有 ⇒ 不要** |
|
||||
| 联系邮箱 | 只接受**本组页 / 本组负责人页**的邮箱 |
|
||||
| 最近五年论文数 | null |
|
||||
|
||||
---
|
||||
|
||||
## 4. ⚠️ 并行安全（出过事故，必须照做）
|
||||
|
||||
5 个 worker 曾挤在**同一个 ego-browser Space 的同一个 page** 上 ⇒ 297 页跨校串页、整批作废。
|
||||
|
||||
1. **自己新建一个 TaskSpace**（不要复用别人已有的）
|
||||
2. **每个 URL 用独占的 `newPage()`**，**不要共用 p1**
|
||||
3. **每取一页校验 `page.url()` 与目标一致**；不一致 ⇒ 废掉重取
|
||||
4. 成功时收尾调一次 `await task.finish({ keep: [] })`；**因错误停止就别调**，把 `spaceId` 报上来
|
||||
|
||||
⚠️ 本机浏览器可能被用户接管（`ownership: user`）—— 遇到就**立刻停手、不重试**，把 `spaceId` 报上来。
|
||||
|
||||
---
|
||||
|
||||
## 5. 硬要求
|
||||
|
||||
1. **只在本项目内写**（`products/` `reports/`）。不碰别的项目、不碰线上库。
|
||||
2. **不设时间盒，做完整为止。** 但**每做完一个院系报一次 `status`**（三句话）。
|
||||
3. **判据来自页面。你的眼睛比任何正则都准。**
|
||||
4. **不许发明**：抓不到 ⇒ 写「未取到：<URL> + <错误原文>」。**判不准的贴出来，不要归类掉。**
|
||||
5. **不要从 sitemap 全量枚举 URL**（METHOD.md §6 反面清单第一条）。
|
||||
6. **只做这一所学校。**
|
||||
|
||||
@@ -0,0 +1,99 @@
|
||||
# 课题组逐院系采集 · 阿德莱德大学（澳新）· 现有 111 条
|
||||
|
||||
**入口普查的判型**：自建 research 站点
|
||||
**现有 group_url 形态**：``adelaide.edu.au / research/<slug>``
|
||||
|
||||
⚠️ 这是**换源重采**：旧数据整体推翻，不要参照它。
|
||||
本条是**入口普查已定**的那批（61 校/3501 条可收 2817）；按 METHOD.md 从院系站重找组目录。 · Win1 · Manager 2026-09-24
|
||||
|
||||
## 0. 先读方法件（**不要重新发明方法**）
|
||||
|
||||
工作区：`C:\Users\Administrator\orca\projects\英澳博士课题组数据`
|
||||
|
||||
- **`method/METHOD.md`** —— 活的采集方法。**重点看 §1「入口发现」与 §6「反面清单」。**
|
||||
- `method/finding_edinburgh_v2.md` —— 完备性标杆（643 组 / 24 院系）
|
||||
- `method/finding_anu_v2.md` · `finding_qub_v2.md` · `finding_bath_v2.md` —— 最近几所
|
||||
- `tasks/` —— 其它任务书
|
||||
|
||||
一句话：
|
||||
|
||||
> **找「组目录」，不要枚举 URL。**
|
||||
> 官方院系导航 → 各院系 `/research/` → **该页上的「组目录」**
|
||||
> （`research-groups` / `research-centres` / `groups` / `institutes` / `labs`，
|
||||
> **最高价值是「每个组由一位 PI 带」的目录**）。**入口 20–60 个/校。**
|
||||
|
||||
**参考已跑通的**：`products/` 下各校 `*__groups*.json` 是产物格式。
|
||||
|
||||
---
|
||||
|
||||
## 1. 本波只做这一所：**阿德莱德大学（澳新）· 现有 111 条
|
||||
|
||||
**入口普查的判型**：自建 research 站点
|
||||
**现有 group_url 形态**：``adelaide.edu.au / research/<slug>``
|
||||
|
||||
⚠️ 这是**换源重采**：旧数据整体推翻，不要参照它。
|
||||
本条是**入口普查已定**的那批（61 校/3501 条可收 2817）；按 METHOD.md 从院系站重找组目录。**
|
||||
|
||||
---
|
||||
|
||||
## 2. 交付（**门槛，不是"尽量"**）
|
||||
|
||||
1. **院系台账（缺一行 = 没做完）**
|
||||
`院系（全部）| research 入口 URL | 状态（取到 / 取不到：<原因>）| 组数`
|
||||
—— 院系清单从**学校官方导航**拿；**给出枚举来源 URL 与总数**；**`未取页 = 0`**
|
||||
2. **全量候选产物**：`products/<slug>_v3__groups.json`
|
||||
（五字段：课题组名称 / 所在大学及研究中心 / 研究方向 / 联系邮箱 / 最近五年论文数=null）
|
||||
—— **启发式自动抽，不逐条判**
|
||||
3. **随机抽 30 条逐条开页面核** → **准确率** + **假阳性类型** + **能否定点修掉**
|
||||
- 准确率 **≥90% 且类型集中** ⇒ 定点修那一类，**全量直接用，不再逐页核**
|
||||
4. **合理性校验**：`组数 ÷ 院系数`。**比值荒谬地低 ⇒ 回头找「组目录」那一层**
|
||||
（不是去爬更多 URL）。确认"再下一层没有组"要贴原文结构作证。
|
||||
5. **反例 / 判不准 / 未验清单**（附页面原文）
|
||||
6. 一句话：**最终组数？完备性有没有缺口？**
|
||||
|
||||
产物写 `products/`，报告写 `reports/finding_<slug>_v3.md`（目录不存在就建）。
|
||||
|
||||
---
|
||||
|
||||
## 3. 判据与字段（摘要；**细则以 METHOD.md §2 为准**）
|
||||
|
||||
> **打开页面像人一样看：这是不是一个「导师带的做研究的团队」？**
|
||||
> **粒度上限 = 一个导师能带的规模。**
|
||||
> 大一级（institute / theme / cluster / 校级研究所）**不收**；
|
||||
> **但大一级下面挂着真组时，只收内层组。**
|
||||
|
||||
**不是组**：服务设施 · 研讨会系列 · 项目 · 学生培养计划 · 单项研究 · 空页重定向 · 无负责人的方向页。
|
||||
**共性是页面上有一句「非团队自述」—— 你去看那句话。**
|
||||
|
||||
| 字段 | 取法 |
|
||||
|---|---|
|
||||
| 课题组名称 | 该组**自己页面**的 H1（无 H1 用 `<title>`；JS 渲染/表格行用目录里的官方组名并标 `_name_source`）。⚠️ 无官方组名的**按 `<负责人> 团队` 渲染并标 `_name_source: rendered_from_leader`**，且要查重防撞 |
|
||||
| 所在大学及研究中心 | 大学 + **真实上级研究单位**；⚠️ 上级是系/院/学部的**不许当研究中心写**，没有真上级就**只写大学** |
|
||||
| 研究方向 | 该组页上的方向文字。**没有 ⇒ 不要** |
|
||||
| 联系邮箱 | 只接受**本组页 / 本组负责人页**的邮箱 |
|
||||
| 最近五年论文数 | null |
|
||||
|
||||
---
|
||||
|
||||
## 4. ⚠️ 并行安全（出过事故，必须照做）
|
||||
|
||||
5 个 worker 曾挤在**同一个 ego-browser Space 的同一个 page** 上 ⇒ 297 页跨校串页、整批作废。
|
||||
|
||||
1. **自己新建一个 TaskSpace**（不要复用别人已有的）
|
||||
2. **每个 URL 用独占的 `newPage()`**，**不要共用 p1**
|
||||
3. **每取一页校验 `page.url()` 与目标一致**；不一致 ⇒ 废掉重取
|
||||
4. 成功时收尾调一次 `await task.finish({ keep: [] })`；**因错误停止就别调**，把 `spaceId` 报上来
|
||||
|
||||
⚠️ 本机浏览器可能被用户接管（`ownership: user`）—— 遇到就**立刻停手、不重试**，把 `spaceId` 报上来。
|
||||
|
||||
---
|
||||
|
||||
## 5. 硬要求
|
||||
|
||||
1. **只在本项目内写**（`products/` `reports/`）。不碰别的项目、不碰线上库。
|
||||
2. **不设时间盒，做完整为止。** 但**每做完一个院系报一次 `status`**（三句话）。
|
||||
3. **判据来自页面。你的眼睛比任何正则都准。**
|
||||
4. **不许发明**：抓不到 ⇒ 写「未取到：<URL> + <错误原文>」。**判不准的贴出来，不要归类掉。**
|
||||
5. **不要从 sitemap 全量枚举 URL**（METHOD.md §6 反面清单第一条）。
|
||||
6. **只做这一所学校。**
|
||||
|
||||
@@ -0,0 +1,99 @@
|
||||
# 课题组逐院系采集 · 昆士兰大学（澳新）· 现有 108 条
|
||||
|
||||
**入口普查的判型**：其它/待裁
|
||||
**现有 group_url 形态**：``qaafi.uq.edu.au / <slug>``
|
||||
|
||||
⚠️ 这是**换源重采**：旧数据整体推翻，不要参照它。
|
||||
本条是**入口普查已定**的那批（61 校/3501 条可收 2817）；按 METHOD.md 从院系站重找组目录。 · Win1 · Manager 2026-09-24
|
||||
|
||||
## 0. 先读方法件（**不要重新发明方法**）
|
||||
|
||||
工作区：`C:\Users\Administrator\orca\projects\英澳博士课题组数据`
|
||||
|
||||
- **`method/METHOD.md`** —— 活的采集方法。**重点看 §1「入口发现」与 §6「反面清单」。**
|
||||
- `method/finding_edinburgh_v2.md` —— 完备性标杆（643 组 / 24 院系）
|
||||
- `method/finding_anu_v2.md` · `finding_qub_v2.md` · `finding_bath_v2.md` —— 最近几所
|
||||
- `tasks/` —— 其它任务书
|
||||
|
||||
一句话：
|
||||
|
||||
> **找「组目录」，不要枚举 URL。**
|
||||
> 官方院系导航 → 各院系 `/research/` → **该页上的「组目录」**
|
||||
> （`research-groups` / `research-centres` / `groups` / `institutes` / `labs`，
|
||||
> **最高价值是「每个组由一位 PI 带」的目录**）。**入口 20–60 个/校。**
|
||||
|
||||
**参考已跑通的**：`products/` 下各校 `*__groups*.json` 是产物格式。
|
||||
|
||||
---
|
||||
|
||||
## 1. 本波只做这一所：**昆士兰大学（澳新）· 现有 108 条
|
||||
|
||||
**入口普查的判型**：其它/待裁
|
||||
**现有 group_url 形态**：``qaafi.uq.edu.au / <slug>``
|
||||
|
||||
⚠️ 这是**换源重采**：旧数据整体推翻，不要参照它。
|
||||
本条是**入口普查已定**的那批（61 校/3501 条可收 2817）；按 METHOD.md 从院系站重找组目录。**
|
||||
|
||||
---
|
||||
|
||||
## 2. 交付（**门槛，不是"尽量"**）
|
||||
|
||||
1. **院系台账（缺一行 = 没做完）**
|
||||
`院系（全部）| research 入口 URL | 状态（取到 / 取不到：<原因>）| 组数`
|
||||
—— 院系清单从**学校官方导航**拿；**给出枚举来源 URL 与总数**；**`未取页 = 0`**
|
||||
2. **全量候选产物**：`products/<slug>_v3__groups.json`
|
||||
（五字段：课题组名称 / 所在大学及研究中心 / 研究方向 / 联系邮箱 / 最近五年论文数=null）
|
||||
—— **启发式自动抽，不逐条判**
|
||||
3. **随机抽 30 条逐条开页面核** → **准确率** + **假阳性类型** + **能否定点修掉**
|
||||
- 准确率 **≥90% 且类型集中** ⇒ 定点修那一类，**全量直接用，不再逐页核**
|
||||
4. **合理性校验**：`组数 ÷ 院系数`。**比值荒谬地低 ⇒ 回头找「组目录」那一层**
|
||||
（不是去爬更多 URL）。确认"再下一层没有组"要贴原文结构作证。
|
||||
5. **反例 / 判不准 / 未验清单**（附页面原文）
|
||||
6. 一句话：**最终组数？完备性有没有缺口？**
|
||||
|
||||
产物写 `products/`，报告写 `reports/finding_<slug>_v3.md`（目录不存在就建）。
|
||||
|
||||
---
|
||||
|
||||
## 3. 判据与字段（摘要；**细则以 METHOD.md §2 为准**）
|
||||
|
||||
> **打开页面像人一样看：这是不是一个「导师带的做研究的团队」？**
|
||||
> **粒度上限 = 一个导师能带的规模。**
|
||||
> 大一级（institute / theme / cluster / 校级研究所）**不收**；
|
||||
> **但大一级下面挂着真组时，只收内层组。**
|
||||
|
||||
**不是组**：服务设施 · 研讨会系列 · 项目 · 学生培养计划 · 单项研究 · 空页重定向 · 无负责人的方向页。
|
||||
**共性是页面上有一句「非团队自述」—— 你去看那句话。**
|
||||
|
||||
| 字段 | 取法 |
|
||||
|---|---|
|
||||
| 课题组名称 | 该组**自己页面**的 H1（无 H1 用 `<title>`；JS 渲染/表格行用目录里的官方组名并标 `_name_source`）。⚠️ 无官方组名的**按 `<负责人> 团队` 渲染并标 `_name_source: rendered_from_leader`**，且要查重防撞 |
|
||||
| 所在大学及研究中心 | 大学 + **真实上级研究单位**；⚠️ 上级是系/院/学部的**不许当研究中心写**，没有真上级就**只写大学** |
|
||||
| 研究方向 | 该组页上的方向文字。**没有 ⇒ 不要** |
|
||||
| 联系邮箱 | 只接受**本组页 / 本组负责人页**的邮箱 |
|
||||
| 最近五年论文数 | null |
|
||||
|
||||
---
|
||||
|
||||
## 4. ⚠️ 并行安全（出过事故，必须照做）
|
||||
|
||||
5 个 worker 曾挤在**同一个 ego-browser Space 的同一个 page** 上 ⇒ 297 页跨校串页、整批作废。
|
||||
|
||||
1. **自己新建一个 TaskSpace**（不要复用别人已有的）
|
||||
2. **每个 URL 用独占的 `newPage()`**，**不要共用 p1**
|
||||
3. **每取一页校验 `page.url()` 与目标一致**；不一致 ⇒ 废掉重取
|
||||
4. 成功时收尾调一次 `await task.finish({ keep: [] })`；**因错误停止就别调**，把 `spaceId` 报上来
|
||||
|
||||
⚠️ 本机浏览器可能被用户接管（`ownership: user`）—— 遇到就**立刻停手、不重试**，把 `spaceId` 报上来。
|
||||
|
||||
---
|
||||
|
||||
## 5. 硬要求
|
||||
|
||||
1. **只在本项目内写**（`products/` `reports/`）。不碰别的项目、不碰线上库。
|
||||
2. **不设时间盒，做完整为止。** 但**每做完一个院系报一次 `status`**（三句话）。
|
||||
3. **判据来自页面。你的眼睛比任何正则都准。**
|
||||
4. **不许发明**：抓不到 ⇒ 写「未取到：<URL> + <错误原文>」。**判不准的贴出来，不要归类掉。**
|
||||
5. **不要从 sitemap 全量枚举 URL**（METHOD.md §6 反面清单第一条）。
|
||||
6. **只做这一所学校。**
|
||||
|
||||
@@ -0,0 +1,99 @@
|
||||
# 课题组逐院系采集 · 伦敦大学城市圣乔治学院（英国）· 现有 91 条
|
||||
|
||||
**入口普查的判型**：自建 research 目录/课题组页
|
||||
**现有 group_url 形态**：``www.citystgeorges.ac.uk / research/centres/<slug>``
|
||||
|
||||
⚠️ 这是**换源重采**：旧数据整体推翻，不要参照它。
|
||||
本条是**入口普查已定**的那批（61 校/3501 条可收 2817）；按 METHOD.md 从院系站重找组目录。 · Win1 · Manager 2026-09-24
|
||||
|
||||
## 0. 先读方法件（**不要重新发明方法**）
|
||||
|
||||
工作区：`C:\Users\Administrator\orca\projects\英澳博士课题组数据`
|
||||
|
||||
- **`method/METHOD.md`** —— 活的采集方法。**重点看 §1「入口发现」与 §6「反面清单」。**
|
||||
- `method/finding_edinburgh_v2.md` —— 完备性标杆（643 组 / 24 院系）
|
||||
- `method/finding_anu_v2.md` · `finding_qub_v2.md` · `finding_bath_v2.md` —— 最近几所
|
||||
- `tasks/` —— 其它任务书
|
||||
|
||||
一句话：
|
||||
|
||||
> **找「组目录」，不要枚举 URL。**
|
||||
> 官方院系导航 → 各院系 `/research/` → **该页上的「组目录」**
|
||||
> （`research-groups` / `research-centres` / `groups` / `institutes` / `labs`，
|
||||
> **最高价值是「每个组由一位 PI 带」的目录**）。**入口 20–60 个/校。**
|
||||
|
||||
**参考已跑通的**：`products/` 下各校 `*__groups*.json` 是产物格式。
|
||||
|
||||
---
|
||||
|
||||
## 1. 本波只做这一所：**伦敦大学城市圣乔治学院（英国）· 现有 91 条
|
||||
|
||||
**入口普查的判型**：自建 research 目录/课题组页
|
||||
**现有 group_url 形态**：``www.citystgeorges.ac.uk / research/centres/<slug>``
|
||||
|
||||
⚠️ 这是**换源重采**：旧数据整体推翻，不要参照它。
|
||||
本条是**入口普查已定**的那批（61 校/3501 条可收 2817）；按 METHOD.md 从院系站重找组目录。**
|
||||
|
||||
---
|
||||
|
||||
## 2. 交付（**门槛，不是"尽量"**）
|
||||
|
||||
1. **院系台账（缺一行 = 没做完）**
|
||||
`院系（全部）| research 入口 URL | 状态（取到 / 取不到：<原因>）| 组数`
|
||||
—— 院系清单从**学校官方导航**拿；**给出枚举来源 URL 与总数**；**`未取页 = 0`**
|
||||
2. **全量候选产物**：`products/<slug>_v3__groups.json`
|
||||
（五字段：课题组名称 / 所在大学及研究中心 / 研究方向 / 联系邮箱 / 最近五年论文数=null）
|
||||
—— **启发式自动抽，不逐条判**
|
||||
3. **随机抽 30 条逐条开页面核** → **准确率** + **假阳性类型** + **能否定点修掉**
|
||||
- 准确率 **≥90% 且类型集中** ⇒ 定点修那一类，**全量直接用，不再逐页核**
|
||||
4. **合理性校验**：`组数 ÷ 院系数`。**比值荒谬地低 ⇒ 回头找「组目录」那一层**
|
||||
（不是去爬更多 URL）。确认"再下一层没有组"要贴原文结构作证。
|
||||
5. **反例 / 判不准 / 未验清单**（附页面原文）
|
||||
6. 一句话：**最终组数？完备性有没有缺口？**
|
||||
|
||||
产物写 `products/`，报告写 `reports/finding_<slug>_v3.md`（目录不存在就建）。
|
||||
|
||||
---
|
||||
|
||||
## 3. 判据与字段（摘要；**细则以 METHOD.md §2 为准**）
|
||||
|
||||
> **打开页面像人一样看：这是不是一个「导师带的做研究的团队」？**
|
||||
> **粒度上限 = 一个导师能带的规模。**
|
||||
> 大一级（institute / theme / cluster / 校级研究所）**不收**；
|
||||
> **但大一级下面挂着真组时，只收内层组。**
|
||||
|
||||
**不是组**：服务设施 · 研讨会系列 · 项目 · 学生培养计划 · 单项研究 · 空页重定向 · 无负责人的方向页。
|
||||
**共性是页面上有一句「非团队自述」—— 你去看那句话。**
|
||||
|
||||
| 字段 | 取法 |
|
||||
|---|---|
|
||||
| 课题组名称 | 该组**自己页面**的 H1（无 H1 用 `<title>`；JS 渲染/表格行用目录里的官方组名并标 `_name_source`）。⚠️ 无官方组名的**按 `<负责人> 团队` 渲染并标 `_name_source: rendered_from_leader`**，且要查重防撞 |
|
||||
| 所在大学及研究中心 | 大学 + **真实上级研究单位**；⚠️ 上级是系/院/学部的**不许当研究中心写**，没有真上级就**只写大学** |
|
||||
| 研究方向 | 该组页上的方向文字。**没有 ⇒ 不要** |
|
||||
| 联系邮箱 | 只接受**本组页 / 本组负责人页**的邮箱 |
|
||||
| 最近五年论文数 | null |
|
||||
|
||||
---
|
||||
|
||||
## 4. ⚠️ 并行安全（出过事故，必须照做）
|
||||
|
||||
5 个 worker 曾挤在**同一个 ego-browser Space 的同一个 page** 上 ⇒ 297 页跨校串页、整批作废。
|
||||
|
||||
1. **自己新建一个 TaskSpace**（不要复用别人已有的）
|
||||
2. **每个 URL 用独占的 `newPage()`**，**不要共用 p1**
|
||||
3. **每取一页校验 `page.url()` 与目标一致**；不一致 ⇒ 废掉重取
|
||||
4. 成功时收尾调一次 `await task.finish({ keep: [] })`；**因错误停止就别调**，把 `spaceId` 报上来
|
||||
|
||||
⚠️ 本机浏览器可能被用户接管（`ownership: user`）—— 遇到就**立刻停手、不重试**，把 `spaceId` 报上来。
|
||||
|
||||
---
|
||||
|
||||
## 5. 硬要求
|
||||
|
||||
1. **只在本项目内写**（`products/` `reports/`）。不碰别的项目、不碰线上库。
|
||||
2. **不设时间盒，做完整为止。** 但**每做完一个院系报一次 `status`**（三句话）。
|
||||
3. **判据来自页面。你的眼睛比任何正则都准。**
|
||||
4. **不许发明**：抓不到 ⇒ 写「未取到：<URL> + <错误原文>」。**判不准的贴出来，不要归类掉。**
|
||||
5. **不要从 sitemap 全量枚举 URL**（METHOD.md §6 反面清单第一条）。
|
||||
6. **只做这一所学校。**
|
||||
|
||||
@@ -0,0 +1,97 @@
|
||||
# 课题组逐院系采集 · 谢菲尔德大学（英国）· 现有 80 条
|
||||
|
||||
**入口普查的判型**：自建 research 目录/课题组页
|
||||
**现有 group_url 形态**：``sheffield.ac.uk / eee/research/centres``
|
||||
|
||||
⚠️ 这是**换源重采**：旧数据整体推翻，不要参照它。 · Win1 · Manager 2026-09-24
|
||||
|
||||
## 0. 先读方法件（**不要重新发明方法**）
|
||||
|
||||
工作区：`C:\Users\Administrator\orca\projects\英澳博士课题组数据`
|
||||
|
||||
- **`method/METHOD.md`** —— 活的采集方法。**重点看 §1「入口发现」与 §6「反面清单」。**
|
||||
- `method/finding_edinburgh_v2.md` —— 完备性标杆（643 组 / 24 院系）
|
||||
- `method/finding_anu_v2.md` · `finding_qub_v2.md` · `finding_bath_v2.md` —— 最近几所
|
||||
- `tasks/` —— 其它任务书
|
||||
|
||||
一句话：
|
||||
|
||||
> **找「组目录」，不要枚举 URL。**
|
||||
> 官方院系导航 → 各院系 `/research/` → **该页上的「组目录」**
|
||||
> （`research-groups` / `research-centres` / `groups` / `institutes` / `labs`，
|
||||
> **最高价值是「每个组由一位 PI 带」的目录**）。**入口 20–60 个/校。**
|
||||
|
||||
**参考已跑通的**：`products/` 下各校 `*__groups*.json` 是产物格式。
|
||||
|
||||
---
|
||||
|
||||
## 1. 本波只做这一所：**谢菲尔德大学（英国）· 现有 80 条
|
||||
|
||||
**入口普查的判型**：自建 research 目录/课题组页
|
||||
**现有 group_url 形态**：``sheffield.ac.uk / eee/research/centres``
|
||||
|
||||
⚠️ 这是**换源重采**：旧数据整体推翻，不要参照它。**
|
||||
|
||||
---
|
||||
|
||||
## 2. 交付（**门槛，不是"尽量"**）
|
||||
|
||||
1. **院系台账（缺一行 = 没做完）**
|
||||
`院系（全部）| research 入口 URL | 状态（取到 / 取不到：<原因>）| 组数`
|
||||
—— 院系清单从**学校官方导航**拿；**给出枚举来源 URL 与总数**；**`未取页 = 0`**
|
||||
2. **全量候选产物**：`products/<slug>_v3__groups.json`
|
||||
（五字段：课题组名称 / 所在大学及研究中心 / 研究方向 / 联系邮箱 / 最近五年论文数=null）
|
||||
—— **启发式自动抽，不逐条判**
|
||||
3. **随机抽 30 条逐条开页面核** → **准确率** + **假阳性类型** + **能否定点修掉**
|
||||
- 准确率 **≥90% 且类型集中** ⇒ 定点修那一类，**全量直接用，不再逐页核**
|
||||
4. **合理性校验**：`组数 ÷ 院系数`。**比值荒谬地低 ⇒ 回头找「组目录」那一层**
|
||||
（不是去爬更多 URL）。确认"再下一层没有组"要贴原文结构作证。
|
||||
5. **反例 / 判不准 / 未验清单**（附页面原文）
|
||||
6. 一句话：**最终组数？完备性有没有缺口？**
|
||||
|
||||
产物写 `products/`，报告写 `reports/finding_<slug>_v3.md`（目录不存在就建）。
|
||||
|
||||
---
|
||||
|
||||
## 3. 判据与字段（摘要；**细则以 METHOD.md §2 为准**）
|
||||
|
||||
> **打开页面像人一样看：这是不是一个「导师带的做研究的团队」？**
|
||||
> **粒度上限 = 一个导师能带的规模。**
|
||||
> 大一级（institute / theme / cluster / 校级研究所）**不收**；
|
||||
> **但大一级下面挂着真组时，只收内层组。**
|
||||
|
||||
**不是组**：服务设施 · 研讨会系列 · 项目 · 学生培养计划 · 单项研究 · 空页重定向 · 无负责人的方向页。
|
||||
**共性是页面上有一句「非团队自述」—— 你去看那句话。**
|
||||
|
||||
| 字段 | 取法 |
|
||||
|---|---|
|
||||
| 课题组名称 | 该组**自己页面**的 H1（无 H1 用 `<title>`；JS 渲染/表格行用目录里的官方组名并标 `_name_source`）。⚠️ 无官方组名的**按 `<负责人> 团队` 渲染并标 `_name_source: rendered_from_leader`**，且要查重防撞 |
|
||||
| 所在大学及研究中心 | 大学 + **真实上级研究单位**；⚠️ 上级是系/院/学部的**不许当研究中心写**，没有真上级就**只写大学** |
|
||||
| 研究方向 | 该组页上的方向文字。**没有 ⇒ 不要** |
|
||||
| 联系邮箱 | 只接受**本组页 / 本组负责人页**的邮箱 |
|
||||
| 最近五年论文数 | null |
|
||||
|
||||
---
|
||||
|
||||
## 4. ⚠️ 并行安全（出过事故，必须照做）
|
||||
|
||||
5 个 worker 曾挤在**同一个 ego-browser Space 的同一个 page** 上 ⇒ 297 页跨校串页、整批作废。
|
||||
|
||||
1. **自己新建一个 TaskSpace**（不要复用别人已有的）
|
||||
2. **每个 URL 用独占的 `newPage()`**，**不要共用 p1**
|
||||
3. **每取一页校验 `page.url()` 与目标一致**；不一致 ⇒ 废掉重取
|
||||
4. 成功时收尾调一次 `await task.finish({ keep: [] })`；**因错误停止就别调**，把 `spaceId` 报上来
|
||||
|
||||
⚠️ 本机浏览器可能被用户接管（`ownership: user`）—— 遇到就**立刻停手、不重试**，把 `spaceId` 报上来。
|
||||
|
||||
---
|
||||
|
||||
## 5. 硬要求
|
||||
|
||||
1. **只在本项目内写**（`products/` `reports/`）。不碰别的项目、不碰线上库。
|
||||
2. **不设时间盒，做完整为止。** 但**每做完一个院系报一次 `status`**（三句话）。
|
||||
3. **判据来自页面。你的眼睛比任何正则都准。**
|
||||
4. **不许发明**：抓不到 ⇒ 写「未取到：<URL> + <错误原文>」。**判不准的贴出来，不要归类掉。**
|
||||
5. **不要从 sitemap 全量枚举 URL**（METHOD.md §6 反面清单第一条）。
|
||||
6. **只做这一所学校。**
|
||||
|
||||
@@ -0,0 +1,97 @@
|
||||
# 课题组逐院系采集 · 利物浦大学（英国）· 现有 66 条
|
||||
|
||||
**入口普查的判型**：人员档案系统 group 页
|
||||
**现有 group_url 形态**：``profiles.liverpool.ac.uk / groups/<n>``
|
||||
|
||||
⚠️ 这是**换源重采**：旧数据整体推翻，不要参照它。 · Win1 · Manager 2026-09-24
|
||||
|
||||
## 0. 先读方法件（**不要重新发明方法**）
|
||||
|
||||
工作区：`C:\Users\Administrator\orca\projects\英澳博士课题组数据`
|
||||
|
||||
- **`method/METHOD.md`** —— 活的采集方法。**重点看 §1「入口发现」与 §6「反面清单」。**
|
||||
- `method/finding_edinburgh_v2.md` —— 完备性标杆（643 组 / 24 院系）
|
||||
- `method/finding_anu_v2.md` · `finding_qub_v2.md` · `finding_bath_v2.md` —— 最近几所
|
||||
- `tasks/` —— 其它任务书
|
||||
|
||||
一句话：
|
||||
|
||||
> **找「组目录」，不要枚举 URL。**
|
||||
> 官方院系导航 → 各院系 `/research/` → **该页上的「组目录」**
|
||||
> （`research-groups` / `research-centres` / `groups` / `institutes` / `labs`，
|
||||
> **最高价值是「每个组由一位 PI 带」的目录**）。**入口 20–60 个/校。**
|
||||
|
||||
**参考已跑通的**：`products/` 下各校 `*__groups*.json` 是产物格式。
|
||||
|
||||
---
|
||||
|
||||
## 1. 本波只做这一所：**利物浦大学（英国）· 现有 66 条
|
||||
|
||||
**入口普查的判型**：人员档案系统 group 页
|
||||
**现有 group_url 形态**：``profiles.liverpool.ac.uk / groups/<n>``
|
||||
|
||||
⚠️ 这是**换源重采**：旧数据整体推翻，不要参照它。**
|
||||
|
||||
---
|
||||
|
||||
## 2. 交付（**门槛，不是"尽量"**）
|
||||
|
||||
1. **院系台账（缺一行 = 没做完）**
|
||||
`院系（全部）| research 入口 URL | 状态（取到 / 取不到：<原因>）| 组数`
|
||||
—— 院系清单从**学校官方导航**拿；**给出枚举来源 URL 与总数**；**`未取页 = 0`**
|
||||
2. **全量候选产物**：`products/<slug>_v3__groups.json`
|
||||
（五字段：课题组名称 / 所在大学及研究中心 / 研究方向 / 联系邮箱 / 最近五年论文数=null）
|
||||
—— **启发式自动抽，不逐条判**
|
||||
3. **随机抽 30 条逐条开页面核** → **准确率** + **假阳性类型** + **能否定点修掉**
|
||||
- 准确率 **≥90% 且类型集中** ⇒ 定点修那一类，**全量直接用，不再逐页核**
|
||||
4. **合理性校验**：`组数 ÷ 院系数`。**比值荒谬地低 ⇒ 回头找「组目录」那一层**
|
||||
（不是去爬更多 URL）。确认"再下一层没有组"要贴原文结构作证。
|
||||
5. **反例 / 判不准 / 未验清单**（附页面原文）
|
||||
6. 一句话：**最终组数？完备性有没有缺口？**
|
||||
|
||||
产物写 `products/`，报告写 `reports/finding_<slug>_v3.md`（目录不存在就建）。
|
||||
|
||||
---
|
||||
|
||||
## 3. 判据与字段（摘要；**细则以 METHOD.md §2 为准**）
|
||||
|
||||
> **打开页面像人一样看：这是不是一个「导师带的做研究的团队」？**
|
||||
> **粒度上限 = 一个导师能带的规模。**
|
||||
> 大一级（institute / theme / cluster / 校级研究所）**不收**；
|
||||
> **但大一级下面挂着真组时，只收内层组。**
|
||||
|
||||
**不是组**：服务设施 · 研讨会系列 · 项目 · 学生培养计划 · 单项研究 · 空页重定向 · 无负责人的方向页。
|
||||
**共性是页面上有一句「非团队自述」—— 你去看那句话。**
|
||||
|
||||
| 字段 | 取法 |
|
||||
|---|---|
|
||||
| 课题组名称 | 该组**自己页面**的 H1（无 H1 用 `<title>`；JS 渲染/表格行用目录里的官方组名并标 `_name_source`）。⚠️ 无官方组名的**按 `<负责人> 团队` 渲染并标 `_name_source: rendered_from_leader`**，且要查重防撞 |
|
||||
| 所在大学及研究中心 | 大学 + **真实上级研究单位**；⚠️ 上级是系/院/学部的**不许当研究中心写**，没有真上级就**只写大学** |
|
||||
| 研究方向 | 该组页上的方向文字。**没有 ⇒ 不要** |
|
||||
| 联系邮箱 | 只接受**本组页 / 本组负责人页**的邮箱 |
|
||||
| 最近五年论文数 | null |
|
||||
|
||||
---
|
||||
|
||||
## 4. ⚠️ 并行安全（出过事故，必须照做）
|
||||
|
||||
5 个 worker 曾挤在**同一个 ego-browser Space 的同一个 page** 上 ⇒ 297 页跨校串页、整批作废。
|
||||
|
||||
1. **自己新建一个 TaskSpace**（不要复用别人已有的）
|
||||
2. **每个 URL 用独占的 `newPage()`**，**不要共用 p1**
|
||||
3. **每取一页校验 `page.url()` 与目标一致**；不一致 ⇒ 废掉重取
|
||||
4. 成功时收尾调一次 `await task.finish({ keep: [] })`；**因错误停止就别调**，把 `spaceId` 报上来
|
||||
|
||||
⚠️ 本机浏览器可能被用户接管（`ownership: user`）—— 遇到就**立刻停手、不重试**，把 `spaceId` 报上来。
|
||||
|
||||
---
|
||||
|
||||
## 5. 硬要求
|
||||
|
||||
1. **只在本项目内写**（`products/` `reports/`）。不碰别的项目、不碰线上库。
|
||||
2. **不设时间盒，做完整为止。** 但**每做完一个院系报一次 `status`**（三句话）。
|
||||
3. **判据来自页面。你的眼睛比任何正则都准。**
|
||||
4. **不许发明**：抓不到 ⇒ 写「未取到：<URL> + <错误原文>」。**判不准的贴出来，不要归类掉。**
|
||||
5. **不要从 sitemap 全量枚举 URL**（METHOD.md §6 反面清单第一条）。
|
||||
6. **只做这一所学校。**
|
||||
|
||||
@@ -0,0 +1,99 @@
|
||||
# 课题组逐院系采集 · 格拉斯哥大学（英国）· 现有 305 条
|
||||
|
||||
**入口普查的判型**：自建 research 目录/课题组页
|
||||
**现有 group_url 形态**：``www.gla.ac.uk / research/az/<slug>``
|
||||
|
||||
⚠️ 这是**换源重采**：旧数据整体推翻，不要参照它。
|
||||
本条是**入口普查已定**的那批（61 校/3501 条可收 2817）；按 METHOD.md 从院系站重找组目录。 · Win1 · Manager 2026-09-24
|
||||
|
||||
## 0. 先读方法件（**不要重新发明方法**）
|
||||
|
||||
工作区：`C:\Users\Administrator\orca\projects\英澳博士课题组数据`
|
||||
|
||||
- **`method/METHOD.md`** —— 活的采集方法。**重点看 §1「入口发现」与 §6「反面清单」。**
|
||||
- `method/finding_edinburgh_v2.md` —— 完备性标杆（643 组 / 24 院系）
|
||||
- `method/finding_anu_v2.md` · `finding_qub_v2.md` · `finding_bath_v2.md` —— 最近几所
|
||||
- `tasks/` —— 其它任务书
|
||||
|
||||
一句话：
|
||||
|
||||
> **找「组目录」，不要枚举 URL。**
|
||||
> 官方院系导航 → 各院系 `/research/` → **该页上的「组目录」**
|
||||
> （`research-groups` / `research-centres` / `groups` / `institutes` / `labs`，
|
||||
> **最高价值是「每个组由一位 PI 带」的目录**）。**入口 20–60 个/校。**
|
||||
|
||||
**参考已跑通的**：`products/` 下各校 `*__groups*.json` 是产物格式。
|
||||
|
||||
---
|
||||
|
||||
## 1. 本波只做这一所：**格拉斯哥大学（英国）· 现有 305 条
|
||||
|
||||
**入口普查的判型**：自建 research 目录/课题组页
|
||||
**现有 group_url 形态**：``www.gla.ac.uk / research/az/<slug>``
|
||||
|
||||
⚠️ 这是**换源重采**：旧数据整体推翻，不要参照它。
|
||||
本条是**入口普查已定**的那批（61 校/3501 条可收 2817）；按 METHOD.md 从院系站重找组目录。**
|
||||
|
||||
---
|
||||
|
||||
## 2. 交付（**门槛，不是"尽量"**）
|
||||
|
||||
1. **院系台账（缺一行 = 没做完）**
|
||||
`院系（全部）| research 入口 URL | 状态（取到 / 取不到：<原因>）| 组数`
|
||||
—— 院系清单从**学校官方导航**拿；**给出枚举来源 URL 与总数**；**`未取页 = 0`**
|
||||
2. **全量候选产物**：`products/<slug>_v3__groups.json`
|
||||
（五字段：课题组名称 / 所在大学及研究中心 / 研究方向 / 联系邮箱 / 最近五年论文数=null）
|
||||
—— **启发式自动抽，不逐条判**
|
||||
3. **随机抽 30 条逐条开页面核** → **准确率** + **假阳性类型** + **能否定点修掉**
|
||||
- 准确率 **≥90% 且类型集中** ⇒ 定点修那一类，**全量直接用，不再逐页核**
|
||||
4. **合理性校验**：`组数 ÷ 院系数`。**比值荒谬地低 ⇒ 回头找「组目录」那一层**
|
||||
（不是去爬更多 URL）。确认"再下一层没有组"要贴原文结构作证。
|
||||
5. **反例 / 判不准 / 未验清单**（附页面原文）
|
||||
6. 一句话：**最终组数？完备性有没有缺口？**
|
||||
|
||||
产物写 `products/`，报告写 `reports/finding_<slug>_v3.md`（目录不存在就建）。
|
||||
|
||||
---
|
||||
|
||||
## 3. 判据与字段（摘要；**细则以 METHOD.md §2 为准**）
|
||||
|
||||
> **打开页面像人一样看：这是不是一个「导师带的做研究的团队」？**
|
||||
> **粒度上限 = 一个导师能带的规模。**
|
||||
> 大一级（institute / theme / cluster / 校级研究所）**不收**；
|
||||
> **但大一级下面挂着真组时，只收内层组。**
|
||||
|
||||
**不是组**：服务设施 · 研讨会系列 · 项目 · 学生培养计划 · 单项研究 · 空页重定向 · 无负责人的方向页。
|
||||
**共性是页面上有一句「非团队自述」—— 你去看那句话。**
|
||||
|
||||
| 字段 | 取法 |
|
||||
|---|---|
|
||||
| 课题组名称 | 该组**自己页面**的 H1（无 H1 用 `<title>`；JS 渲染/表格行用目录里的官方组名并标 `_name_source`）。⚠️ 无官方组名的**按 `<负责人> 团队` 渲染并标 `_name_source: rendered_from_leader`**，且要查重防撞 |
|
||||
| 所在大学及研究中心 | 大学 + **真实上级研究单位**；⚠️ 上级是系/院/学部的**不许当研究中心写**，没有真上级就**只写大学** |
|
||||
| 研究方向 | 该组页上的方向文字。**没有 ⇒ 不要** |
|
||||
| 联系邮箱 | 只接受**本组页 / 本组负责人页**的邮箱 |
|
||||
| 最近五年论文数 | null |
|
||||
|
||||
---
|
||||
|
||||
## 4. ⚠️ 并行安全（出过事故，必须照做）
|
||||
|
||||
5 个 worker 曾挤在**同一个 ego-browser Space 的同一个 page** 上 ⇒ 297 页跨校串页、整批作废。
|
||||
|
||||
1. **自己新建一个 TaskSpace**（不要复用别人已有的）
|
||||
2. **每个 URL 用独占的 `newPage()`**，**不要共用 p1**
|
||||
3. **每取一页校验 `page.url()` 与目标一致**；不一致 ⇒ 废掉重取
|
||||
4. 成功时收尾调一次 `await task.finish({ keep: [] })`；**因错误停止就别调**，把 `spaceId` 报上来
|
||||
|
||||
⚠️ 本机浏览器可能被用户接管（`ownership: user`）—— 遇到就**立刻停手、不重试**，把 `spaceId` 报上来。
|
||||
|
||||
---
|
||||
|
||||
## 5. 硬要求
|
||||
|
||||
1. **只在本项目内写**（`products/` `reports/`）。不碰别的项目、不碰线上库。
|
||||
2. **不设时间盒，做完整为止。** 但**每做完一个院系报一次 `status`**（三句话）。
|
||||
3. **判据来自页面。你的眼睛比任何正则都准。**
|
||||
4. **不许发明**：抓不到 ⇒ 写「未取到：<URL> + <错误原文>」。**判不准的贴出来，不要归类掉。**
|
||||
5. **不要从 sitemap 全量枚举 URL**（METHOD.md §6 反面清单第一条）。
|
||||
6. **只做这一所学校。**
|
||||
|
||||
@@ -0,0 +1,97 @@
|
||||
# 课题组逐院系采集 · ESCP欧洲高等商学院（英国）· 现有 64 条
|
||||
|
||||
**入口普查的判型**：其它/待裁
|
||||
**现有 group_url 形态**：``escp.eu / berlin/<slug>/<slug>``
|
||||
|
||||
⚠️ 这是**换源重采**：旧数据整体推翻，不要参照它。 · Win1 · Manager 2026-09-24
|
||||
|
||||
## 0. 先读方法件（**不要重新发明方法**）
|
||||
|
||||
工作区：`C:\Users\Administrator\orca\projects\英澳博士课题组数据`
|
||||
|
||||
- **`method/METHOD.md`** —— 活的采集方法。**重点看 §1「入口发现」与 §6「反面清单」。**
|
||||
- `method/finding_edinburgh_v2.md` —— 完备性标杆（643 组 / 24 院系）
|
||||
- `method/finding_anu_v2.md` · `finding_qub_v2.md` · `finding_bath_v2.md` —— 最近几所
|
||||
- `tasks/` —— 其它任务书
|
||||
|
||||
一句话：
|
||||
|
||||
> **找「组目录」，不要枚举 URL。**
|
||||
> 官方院系导航 → 各院系 `/research/` → **该页上的「组目录」**
|
||||
> （`research-groups` / `research-centres` / `groups` / `institutes` / `labs`，
|
||||
> **最高价值是「每个组由一位 PI 带」的目录**）。**入口 20–60 个/校。**
|
||||
|
||||
**参考已跑通的**：`products/` 下各校 `*__groups*.json` 是产物格式。
|
||||
|
||||
---
|
||||
|
||||
## 1. 本波只做这一所：**ESCP欧洲高等商学院（英国）· 现有 64 条
|
||||
|
||||
**入口普查的判型**：其它/待裁
|
||||
**现有 group_url 形态**：``escp.eu / berlin/<slug>/<slug>``
|
||||
|
||||
⚠️ 这是**换源重采**：旧数据整体推翻，不要参照它。**
|
||||
|
||||
---
|
||||
|
||||
## 2. 交付（**门槛，不是"尽量"**）
|
||||
|
||||
1. **院系台账（缺一行 = 没做完）**
|
||||
`院系（全部）| research 入口 URL | 状态（取到 / 取不到：<原因>）| 组数`
|
||||
—— 院系清单从**学校官方导航**拿；**给出枚举来源 URL 与总数**；**`未取页 = 0`**
|
||||
2. **全量候选产物**：`products/<slug>_v3__groups.json`
|
||||
（五字段：课题组名称 / 所在大学及研究中心 / 研究方向 / 联系邮箱 / 最近五年论文数=null）
|
||||
—— **启发式自动抽，不逐条判**
|
||||
3. **随机抽 30 条逐条开页面核** → **准确率** + **假阳性类型** + **能否定点修掉**
|
||||
- 准确率 **≥90% 且类型集中** ⇒ 定点修那一类，**全量直接用，不再逐页核**
|
||||
4. **合理性校验**：`组数 ÷ 院系数`。**比值荒谬地低 ⇒ 回头找「组目录」那一层**
|
||||
（不是去爬更多 URL）。确认"再下一层没有组"要贴原文结构作证。
|
||||
5. **反例 / 判不准 / 未验清单**（附页面原文）
|
||||
6. 一句话：**最终组数？完备性有没有缺口？**
|
||||
|
||||
产物写 `products/`，报告写 `reports/finding_<slug>_v3.md`（目录不存在就建）。
|
||||
|
||||
---
|
||||
|
||||
## 3. 判据与字段（摘要；**细则以 METHOD.md §2 为准**）
|
||||
|
||||
> **打开页面像人一样看：这是不是一个「导师带的做研究的团队」？**
|
||||
> **粒度上限 = 一个导师能带的规模。**
|
||||
> 大一级（institute / theme / cluster / 校级研究所）**不收**；
|
||||
> **但大一级下面挂着真组时，只收内层组。**
|
||||
|
||||
**不是组**：服务设施 · 研讨会系列 · 项目 · 学生培养计划 · 单项研究 · 空页重定向 · 无负责人的方向页。
|
||||
**共性是页面上有一句「非团队自述」—— 你去看那句话。**
|
||||
|
||||
| 字段 | 取法 |
|
||||
|---|---|
|
||||
| 课题组名称 | 该组**自己页面**的 H1（无 H1 用 `<title>`；JS 渲染/表格行用目录里的官方组名并标 `_name_source`）。⚠️ 无官方组名的**按 `<负责人> 团队` 渲染并标 `_name_source: rendered_from_leader`**，且要查重防撞 |
|
||||
| 所在大学及研究中心 | 大学 + **真实上级研究单位**；⚠️ 上级是系/院/学部的**不许当研究中心写**，没有真上级就**只写大学** |
|
||||
| 研究方向 | 该组页上的方向文字。**没有 ⇒ 不要** |
|
||||
| 联系邮箱 | 只接受**本组页 / 本组负责人页**的邮箱 |
|
||||
| 最近五年论文数 | null |
|
||||
|
||||
---
|
||||
|
||||
## 4. ⚠️ 并行安全（出过事故，必须照做）
|
||||
|
||||
5 个 worker 曾挤在**同一个 ego-browser Space 的同一个 page** 上 ⇒ 297 页跨校串页、整批作废。
|
||||
|
||||
1. **自己新建一个 TaskSpace**（不要复用别人已有的）
|
||||
2. **每个 URL 用独占的 `newPage()`**，**不要共用 p1**
|
||||
3. **每取一页校验 `page.url()` 与目标一致**；不一致 ⇒ 废掉重取
|
||||
4. 成功时收尾调一次 `await task.finish({ keep: [] })`；**因错误停止就别调**，把 `spaceId` 报上来
|
||||
|
||||
⚠️ 本机浏览器可能被用户接管（`ownership: user`）—— 遇到就**立刻停手、不重试**，把 `spaceId` 报上来。
|
||||
|
||||
---
|
||||
|
||||
## 5. 硬要求
|
||||
|
||||
1. **只在本项目内写**（`products/` `reports/`）。不碰别的项目、不碰线上库。
|
||||
2. **不设时间盒，做完整为止。** 但**每做完一个院系报一次 `status`**（三句话）。
|
||||
3. **判据来自页面。你的眼睛比任何正则都准。**
|
||||
4. **不许发明**：抓不到 ⇒ 写「未取到：<URL> + <错误原文>」。**判不准的贴出来，不要归类掉。**
|
||||
5. **不要从 sitemap 全量枚举 URL**（METHOD.md §6 反面清单第一条）。
|
||||
6. **只做这一所学校。**
|
||||
|
||||
@@ -0,0 +1,97 @@
|
||||
# 课题组逐院系采集 · 剑桥大学（英国）· 现有 62 条
|
||||
|
||||
**入口普查的判型**：自建 research 目录/课题组页
|
||||
**现有 group_url 形态**：``www.plantsci.cam.ac.uk / research/groups/<slug>``
|
||||
|
||||
⚠️ 这是**换源重采**：旧数据整体推翻，不要参照它。 · Win1 · Manager 2026-09-24
|
||||
|
||||
## 0. 先读方法件（**不要重新发明方法**）
|
||||
|
||||
工作区：`C:\Users\Administrator\orca\projects\英澳博士课题组数据`
|
||||
|
||||
- **`method/METHOD.md`** —— 活的采集方法。**重点看 §1「入口发现」与 §6「反面清单」。**
|
||||
- `method/finding_edinburgh_v2.md` —— 完备性标杆（643 组 / 24 院系）
|
||||
- `method/finding_anu_v2.md` · `finding_qub_v2.md` · `finding_bath_v2.md` —— 最近几所
|
||||
- `tasks/` —— 其它任务书
|
||||
|
||||
一句话：
|
||||
|
||||
> **找「组目录」，不要枚举 URL。**
|
||||
> 官方院系导航 → 各院系 `/research/` → **该页上的「组目录」**
|
||||
> （`research-groups` / `research-centres` / `groups` / `institutes` / `labs`，
|
||||
> **最高价值是「每个组由一位 PI 带」的目录**）。**入口 20–60 个/校。**
|
||||
|
||||
**参考已跑通的**：`products/` 下各校 `*__groups*.json` 是产物格式。
|
||||
|
||||
---
|
||||
|
||||
## 1. 本波只做这一所：**剑桥大学（英国）· 现有 62 条
|
||||
|
||||
**入口普查的判型**：自建 research 目录/课题组页
|
||||
**现有 group_url 形态**：``www.plantsci.cam.ac.uk / research/groups/<slug>``
|
||||
|
||||
⚠️ 这是**换源重采**：旧数据整体推翻，不要参照它。**
|
||||
|
||||
---
|
||||
|
||||
## 2. 交付（**门槛，不是"尽量"**）
|
||||
|
||||
1. **院系台账（缺一行 = 没做完）**
|
||||
`院系（全部）| research 入口 URL | 状态（取到 / 取不到：<原因>）| 组数`
|
||||
—— 院系清单从**学校官方导航**拿；**给出枚举来源 URL 与总数**；**`未取页 = 0`**
|
||||
2. **全量候选产物**：`products/<slug>_v3__groups.json`
|
||||
（五字段：课题组名称 / 所在大学及研究中心 / 研究方向 / 联系邮箱 / 最近五年论文数=null）
|
||||
—— **启发式自动抽，不逐条判**
|
||||
3. **随机抽 30 条逐条开页面核** → **准确率** + **假阳性类型** + **能否定点修掉**
|
||||
- 准确率 **≥90% 且类型集中** ⇒ 定点修那一类，**全量直接用，不再逐页核**
|
||||
4. **合理性校验**：`组数 ÷ 院系数`。**比值荒谬地低 ⇒ 回头找「组目录」那一层**
|
||||
（不是去爬更多 URL）。确认"再下一层没有组"要贴原文结构作证。
|
||||
5. **反例 / 判不准 / 未验清单**（附页面原文）
|
||||
6. 一句话：**最终组数？完备性有没有缺口？**
|
||||
|
||||
产物写 `products/`，报告写 `reports/finding_<slug>_v3.md`（目录不存在就建）。
|
||||
|
||||
---
|
||||
|
||||
## 3. 判据与字段（摘要；**细则以 METHOD.md §2 为准**）
|
||||
|
||||
> **打开页面像人一样看：这是不是一个「导师带的做研究的团队」？**
|
||||
> **粒度上限 = 一个导师能带的规模。**
|
||||
> 大一级（institute / theme / cluster / 校级研究所）**不收**；
|
||||
> **但大一级下面挂着真组时，只收内层组。**
|
||||
|
||||
**不是组**：服务设施 · 研讨会系列 · 项目 · 学生培养计划 · 单项研究 · 空页重定向 · 无负责人的方向页。
|
||||
**共性是页面上有一句「非团队自述」—— 你去看那句话。**
|
||||
|
||||
| 字段 | 取法 |
|
||||
|---|---|
|
||||
| 课题组名称 | 该组**自己页面**的 H1（无 H1 用 `<title>`；JS 渲染/表格行用目录里的官方组名并标 `_name_source`）。⚠️ 无官方组名的**按 `<负责人> 团队` 渲染并标 `_name_source: rendered_from_leader`**，且要查重防撞 |
|
||||
| 所在大学及研究中心 | 大学 + **真实上级研究单位**；⚠️ 上级是系/院/学部的**不许当研究中心写**，没有真上级就**只写大学** |
|
||||
| 研究方向 | 该组页上的方向文字。**没有 ⇒ 不要** |
|
||||
| 联系邮箱 | 只接受**本组页 / 本组负责人页**的邮箱 |
|
||||
| 最近五年论文数 | null |
|
||||
|
||||
---
|
||||
|
||||
## 4. ⚠️ 并行安全（出过事故，必须照做）
|
||||
|
||||
5 个 worker 曾挤在**同一个 ego-browser Space 的同一个 page** 上 ⇒ 297 页跨校串页、整批作废。
|
||||
|
||||
1. **自己新建一个 TaskSpace**（不要复用别人已有的）
|
||||
2. **每个 URL 用独占的 `newPage()`**，**不要共用 p1**
|
||||
3. **每取一页校验 `page.url()` 与目标一致**；不一致 ⇒ 废掉重取
|
||||
4. 成功时收尾调一次 `await task.finish({ keep: [] })`；**因错误停止就别调**，把 `spaceId` 报上来
|
||||
|
||||
⚠️ 本机浏览器可能被用户接管（`ownership: user`）—— 遇到就**立刻停手、不重试**，把 `spaceId` 报上来。
|
||||
|
||||
---
|
||||
|
||||
## 5. 硬要求
|
||||
|
||||
1. **只在本项目内写**（`products/` `reports/`）。不碰别的项目、不碰线上库。
|
||||
2. **不设时间盒，做完整为止。** 但**每做完一个院系报一次 `status`**（三句话）。
|
||||
3. **判据来自页面。你的眼睛比任何正则都准。**
|
||||
4. **不许发明**：抓不到 ⇒ 写「未取到：<URL> + <错误原文>」。**判不准的贴出来，不要归类掉。**
|
||||
5. **不要从 sitemap 全量枚举 URL**（METHOD.md §6 反面清单第一条）。
|
||||
6. **只做这一所学校。**
|
||||
|
||||
@@ -0,0 +1,97 @@
|
||||
# 课题组逐院系采集 · 悉尼大学（澳新）· 现有 59 条
|
||||
|
||||
**入口普查的判型**：人员档案系统 group 页
|
||||
**现有 group_url 形态**：``profiles.sydney.edu.au / groups/<n>``
|
||||
|
||||
⚠️ 这是**换源重采**：旧数据整体推翻，不要参照它。 · Win1 · Manager 2026-09-24
|
||||
|
||||
## 0. 先读方法件（**不要重新发明方法**）
|
||||
|
||||
工作区：`C:\Users\Administrator\orca\projects\英澳博士课题组数据`
|
||||
|
||||
- **`method/METHOD.md`** —— 活的采集方法。**重点看 §1「入口发现」与 §6「反面清单」。**
|
||||
- `method/finding_edinburgh_v2.md` —— 完备性标杆（643 组 / 24 院系）
|
||||
- `method/finding_anu_v2.md` · `finding_qub_v2.md` · `finding_bath_v2.md` —— 最近几所
|
||||
- `tasks/` —— 其它任务书
|
||||
|
||||
一句话：
|
||||
|
||||
> **找「组目录」，不要枚举 URL。**
|
||||
> 官方院系导航 → 各院系 `/research/` → **该页上的「组目录」**
|
||||
> （`research-groups` / `research-centres` / `groups` / `institutes` / `labs`，
|
||||
> **最高价值是「每个组由一位 PI 带」的目录**）。**入口 20–60 个/校。**
|
||||
|
||||
**参考已跑通的**：`products/` 下各校 `*__groups*.json` 是产物格式。
|
||||
|
||||
---
|
||||
|
||||
## 1. 本波只做这一所：**悉尼大学（澳新）· 现有 59 条
|
||||
|
||||
**入口普查的判型**：人员档案系统 group 页
|
||||
**现有 group_url 形态**：``profiles.sydney.edu.au / groups/<n>``
|
||||
|
||||
⚠️ 这是**换源重采**：旧数据整体推翻，不要参照它。**
|
||||
|
||||
---
|
||||
|
||||
## 2. 交付（**门槛，不是"尽量"**）
|
||||
|
||||
1. **院系台账（缺一行 = 没做完）**
|
||||
`院系（全部）| research 入口 URL | 状态（取到 / 取不到：<原因>）| 组数`
|
||||
—— 院系清单从**学校官方导航**拿；**给出枚举来源 URL 与总数**；**`未取页 = 0`**
|
||||
2. **全量候选产物**：`products/<slug>_v3__groups.json`
|
||||
（五字段：课题组名称 / 所在大学及研究中心 / 研究方向 / 联系邮箱 / 最近五年论文数=null）
|
||||
—— **启发式自动抽，不逐条判**
|
||||
3. **随机抽 30 条逐条开页面核** → **准确率** + **假阳性类型** + **能否定点修掉**
|
||||
- 准确率 **≥90% 且类型集中** ⇒ 定点修那一类，**全量直接用，不再逐页核**
|
||||
4. **合理性校验**：`组数 ÷ 院系数`。**比值荒谬地低 ⇒ 回头找「组目录」那一层**
|
||||
（不是去爬更多 URL）。确认"再下一层没有组"要贴原文结构作证。
|
||||
5. **反例 / 判不准 / 未验清单**（附页面原文）
|
||||
6. 一句话：**最终组数？完备性有没有缺口？**
|
||||
|
||||
产物写 `products/`，报告写 `reports/finding_<slug>_v3.md`（目录不存在就建）。
|
||||
|
||||
---
|
||||
|
||||
## 3. 判据与字段（摘要；**细则以 METHOD.md §2 为准**）
|
||||
|
||||
> **打开页面像人一样看：这是不是一个「导师带的做研究的团队」？**
|
||||
> **粒度上限 = 一个导师能带的规模。**
|
||||
> 大一级（institute / theme / cluster / 校级研究所）**不收**；
|
||||
> **但大一级下面挂着真组时，只收内层组。**
|
||||
|
||||
**不是组**：服务设施 · 研讨会系列 · 项目 · 学生培养计划 · 单项研究 · 空页重定向 · 无负责人的方向页。
|
||||
**共性是页面上有一句「非团队自述」—— 你去看那句话。**
|
||||
|
||||
| 字段 | 取法 |
|
||||
|---|---|
|
||||
| 课题组名称 | 该组**自己页面**的 H1（无 H1 用 `<title>`；JS 渲染/表格行用目录里的官方组名并标 `_name_source`）。⚠️ 无官方组名的**按 `<负责人> 团队` 渲染并标 `_name_source: rendered_from_leader`**，且要查重防撞 |
|
||||
| 所在大学及研究中心 | 大学 + **真实上级研究单位**；⚠️ 上级是系/院/学部的**不许当研究中心写**，没有真上级就**只写大学** |
|
||||
| 研究方向 | 该组页上的方向文字。**没有 ⇒ 不要** |
|
||||
| 联系邮箱 | 只接受**本组页 / 本组负责人页**的邮箱 |
|
||||
| 最近五年论文数 | null |
|
||||
|
||||
---
|
||||
|
||||
## 4. ⚠️ 并行安全（出过事故，必须照做）
|
||||
|
||||
5 个 worker 曾挤在**同一个 ego-browser Space 的同一个 page** 上 ⇒ 297 页跨校串页、整批作废。
|
||||
|
||||
1. **自己新建一个 TaskSpace**（不要复用别人已有的）
|
||||
2. **每个 URL 用独占的 `newPage()`**，**不要共用 p1**
|
||||
3. **每取一页校验 `page.url()` 与目标一致**；不一致 ⇒ 废掉重取
|
||||
4. 成功时收尾调一次 `await task.finish({ keep: [] })`；**因错误停止就别调**，把 `spaceId` 报上来
|
||||
|
||||
⚠️ 本机浏览器可能被用户接管（`ownership: user`）—— 遇到就**立刻停手、不重试**，把 `spaceId` 报上来。
|
||||
|
||||
---
|
||||
|
||||
## 5. 硬要求
|
||||
|
||||
1. **只在本项目内写**（`products/` `reports/`）。不碰别的项目、不碰线上库。
|
||||
2. **不设时间盒，做完整为止。** 但**每做完一个院系报一次 `status`**（三句话）。
|
||||
3. **判据来自页面。你的眼睛比任何正则都准。**
|
||||
4. **不许发明**：抓不到 ⇒ 写「未取到：<URL> + <错误原文>」。**判不准的贴出来，不要归类掉。**
|
||||
5. **不要从 sitemap 全量枚举 URL**（METHOD.md §6 反面清单第一条）。
|
||||
6. **只做这一所学校。**
|
||||
|
||||
@@ -0,0 +1,97 @@
|
||||
# 课题组逐院系采集 · 坎特伯雷大学（澳新）· 现有 53 条
|
||||
|
||||
**入口普查的判型**：自建 research 目录/课题组页
|
||||
**现有 group_url 形态**：``www.canterbury.ac.nz / research/about-uc-research/<slug>``
|
||||
|
||||
⚠️ 这是**换源重采**：旧数据整体推翻，不要参照它。 · Win1 · Manager 2026-09-24
|
||||
|
||||
## 0. 先读方法件（**不要重新发明方法**）
|
||||
|
||||
工作区：`C:\Users\Administrator\orca\projects\英澳博士课题组数据`
|
||||
|
||||
- **`method/METHOD.md`** —— 活的采集方法。**重点看 §1「入口发现」与 §6「反面清单」。**
|
||||
- `method/finding_edinburgh_v2.md` —— 完备性标杆（643 组 / 24 院系）
|
||||
- `method/finding_anu_v2.md` · `finding_qub_v2.md` · `finding_bath_v2.md` —— 最近几所
|
||||
- `tasks/` —— 其它任务书
|
||||
|
||||
一句话：
|
||||
|
||||
> **找「组目录」，不要枚举 URL。**
|
||||
> 官方院系导航 → 各院系 `/research/` → **该页上的「组目录」**
|
||||
> （`research-groups` / `research-centres` / `groups` / `institutes` / `labs`，
|
||||
> **最高价值是「每个组由一位 PI 带」的目录**）。**入口 20–60 个/校。**
|
||||
|
||||
**参考已跑通的**：`products/` 下各校 `*__groups*.json` 是产物格式。
|
||||
|
||||
---
|
||||
|
||||
## 1. 本波只做这一所：**坎特伯雷大学（澳新）· 现有 53 条
|
||||
|
||||
**入口普查的判型**：自建 research 目录/课题组页
|
||||
**现有 group_url 形态**：``www.canterbury.ac.nz / research/about-uc-research/<slug>``
|
||||
|
||||
⚠️ 这是**换源重采**：旧数据整体推翻，不要参照它。**
|
||||
|
||||
---
|
||||
|
||||
## 2. 交付（**门槛，不是"尽量"**）
|
||||
|
||||
1. **院系台账（缺一行 = 没做完）**
|
||||
`院系（全部）| research 入口 URL | 状态（取到 / 取不到：<原因>）| 组数`
|
||||
—— 院系清单从**学校官方导航**拿；**给出枚举来源 URL 与总数**；**`未取页 = 0`**
|
||||
2. **全量候选产物**：`products/<slug>_v3__groups.json`
|
||||
（五字段：课题组名称 / 所在大学及研究中心 / 研究方向 / 联系邮箱 / 最近五年论文数=null）
|
||||
—— **启发式自动抽，不逐条判**
|
||||
3. **随机抽 30 条逐条开页面核** → **准确率** + **假阳性类型** + **能否定点修掉**
|
||||
- 准确率 **≥90% 且类型集中** ⇒ 定点修那一类，**全量直接用，不再逐页核**
|
||||
4. **合理性校验**：`组数 ÷ 院系数`。**比值荒谬地低 ⇒ 回头找「组目录」那一层**
|
||||
（不是去爬更多 URL）。确认"再下一层没有组"要贴原文结构作证。
|
||||
5. **反例 / 判不准 / 未验清单**（附页面原文）
|
||||
6. 一句话：**最终组数？完备性有没有缺口？**
|
||||
|
||||
产物写 `products/`，报告写 `reports/finding_<slug>_v3.md`（目录不存在就建）。
|
||||
|
||||
---
|
||||
|
||||
## 3. 判据与字段（摘要；**细则以 METHOD.md §2 为准**）
|
||||
|
||||
> **打开页面像人一样看：这是不是一个「导师带的做研究的团队」？**
|
||||
> **粒度上限 = 一个导师能带的规模。**
|
||||
> 大一级（institute / theme / cluster / 校级研究所）**不收**；
|
||||
> **但大一级下面挂着真组时，只收内层组。**
|
||||
|
||||
**不是组**：服务设施 · 研讨会系列 · 项目 · 学生培养计划 · 单项研究 · 空页重定向 · 无负责人的方向页。
|
||||
**共性是页面上有一句「非团队自述」—— 你去看那句话。**
|
||||
|
||||
| 字段 | 取法 |
|
||||
|---|---|
|
||||
| 课题组名称 | 该组**自己页面**的 H1（无 H1 用 `<title>`；JS 渲染/表格行用目录里的官方组名并标 `_name_source`）。⚠️ 无官方组名的**按 `<负责人> 团队` 渲染并标 `_name_source: rendered_from_leader`**，且要查重防撞 |
|
||||
| 所在大学及研究中心 | 大学 + **真实上级研究单位**；⚠️ 上级是系/院/学部的**不许当研究中心写**，没有真上级就**只写大学** |
|
||||
| 研究方向 | 该组页上的方向文字。**没有 ⇒ 不要** |
|
||||
| 联系邮箱 | 只接受**本组页 / 本组负责人页**的邮箱 |
|
||||
| 最近五年论文数 | null |
|
||||
|
||||
---
|
||||
|
||||
## 4. ⚠️ 并行安全（出过事故，必须照做）
|
||||
|
||||
5 个 worker 曾挤在**同一个 ego-browser Space 的同一个 page** 上 ⇒ 297 页跨校串页、整批作废。
|
||||
|
||||
1. **自己新建一个 TaskSpace**（不要复用别人已有的）
|
||||
2. **每个 URL 用独占的 `newPage()`**，**不要共用 p1**
|
||||
3. **每取一页校验 `page.url()` 与目标一致**；不一致 ⇒ 废掉重取
|
||||
4. 成功时收尾调一次 `await task.finish({ keep: [] })`；**因错误停止就别调**，把 `spaceId` 报上来
|
||||
|
||||
⚠️ 本机浏览器可能被用户接管（`ownership: user`）—— 遇到就**立刻停手、不重试**，把 `spaceId` 报上来。
|
||||
|
||||
---
|
||||
|
||||
## 5. 硬要求
|
||||
|
||||
1. **只在本项目内写**（`products/` `reports/`）。不碰别的项目、不碰线上库。
|
||||
2. **不设时间盒，做完整为止。** 但**每做完一个院系报一次 `status`**（三句话）。
|
||||
3. **判据来自页面。你的眼睛比任何正则都准。**
|
||||
4. **不许发明**：抓不到 ⇒ 写「未取到：<URL> + <错误原文>」。**判不准的贴出来，不要归类掉。**
|
||||
5. **不要从 sitemap 全量枚举 URL**（METHOD.md §6 反面清单第一条）。
|
||||
6. **只做这一所学校。**
|
||||
|
||||
@@ -0,0 +1,97 @@
|
||||
# 课题组逐院系采集 · 埃克塞特大学（英国）· 现有 47 条
|
||||
|
||||
**入口普查的判型**：无 group_url（id 来源待定）
|
||||
**现有 group_url 形态**：``(无 url) — 其它: socialsciences.exeter.ac.uk / law/research/groups(6); sshs.exeter.ac.uk / research/<slug>/appli`
|
||||
|
||||
⚠️ 这是**换源重采**：旧数据整体推翻，不要参照它。 · Win1 · Manager 2026-09-24
|
||||
|
||||
## 0. 先读方法件（**不要重新发明方法**）
|
||||
|
||||
工作区：`C:\Users\Administrator\orca\projects\英澳博士课题组数据`
|
||||
|
||||
- **`method/METHOD.md`** —— 活的采集方法。**重点看 §1「入口发现」与 §6「反面清单」。**
|
||||
- `method/finding_edinburgh_v2.md` —— 完备性标杆（643 组 / 24 院系）
|
||||
- `method/finding_anu_v2.md` · `finding_qub_v2.md` · `finding_bath_v2.md` —— 最近几所
|
||||
- `tasks/` —— 其它任务书
|
||||
|
||||
一句话：
|
||||
|
||||
> **找「组目录」，不要枚举 URL。**
|
||||
> 官方院系导航 → 各院系 `/research/` → **该页上的「组目录」**
|
||||
> （`research-groups` / `research-centres` / `groups` / `institutes` / `labs`，
|
||||
> **最高价值是「每个组由一位 PI 带」的目录**）。**入口 20–60 个/校。**
|
||||
|
||||
**参考已跑通的**：`products/` 下各校 `*__groups*.json` 是产物格式。
|
||||
|
||||
---
|
||||
|
||||
## 1. 本波只做这一所：**埃克塞特大学（英国）· 现有 47 条
|
||||
|
||||
**入口普查的判型**：无 group_url（id 来源待定）
|
||||
**现有 group_url 形态**：``(无 url) — 其它: socialsciences.exeter.ac.uk / law/research/groups(6); sshs.exeter.ac.uk / research/<slug>/appli`
|
||||
|
||||
⚠️ 这是**换源重采**：旧数据整体推翻，不要参照它。**
|
||||
|
||||
---
|
||||
|
||||
## 2. 交付（**门槛，不是"尽量"**）
|
||||
|
||||
1. **院系台账（缺一行 = 没做完）**
|
||||
`院系（全部）| research 入口 URL | 状态（取到 / 取不到：<原因>）| 组数`
|
||||
—— 院系清单从**学校官方导航**拿；**给出枚举来源 URL 与总数**；**`未取页 = 0`**
|
||||
2. **全量候选产物**：`products/<slug>_v3__groups.json`
|
||||
（五字段：课题组名称 / 所在大学及研究中心 / 研究方向 / 联系邮箱 / 最近五年论文数=null）
|
||||
—— **启发式自动抽，不逐条判**
|
||||
3. **随机抽 30 条逐条开页面核** → **准确率** + **假阳性类型** + **能否定点修掉**
|
||||
- 准确率 **≥90% 且类型集中** ⇒ 定点修那一类，**全量直接用，不再逐页核**
|
||||
4. **合理性校验**：`组数 ÷ 院系数`。**比值荒谬地低 ⇒ 回头找「组目录」那一层**
|
||||
（不是去爬更多 URL）。确认"再下一层没有组"要贴原文结构作证。
|
||||
5. **反例 / 判不准 / 未验清单**（附页面原文）
|
||||
6. 一句话：**最终组数？完备性有没有缺口？**
|
||||
|
||||
产物写 `products/`，报告写 `reports/finding_<slug>_v3.md`（目录不存在就建）。
|
||||
|
||||
---
|
||||
|
||||
## 3. 判据与字段（摘要；**细则以 METHOD.md §2 为准**）
|
||||
|
||||
> **打开页面像人一样看：这是不是一个「导师带的做研究的团队」？**
|
||||
> **粒度上限 = 一个导师能带的规模。**
|
||||
> 大一级（institute / theme / cluster / 校级研究所）**不收**；
|
||||
> **但大一级下面挂着真组时，只收内层组。**
|
||||
|
||||
**不是组**：服务设施 · 研讨会系列 · 项目 · 学生培养计划 · 单项研究 · 空页重定向 · 无负责人的方向页。
|
||||
**共性是页面上有一句「非团队自述」—— 你去看那句话。**
|
||||
|
||||
| 字段 | 取法 |
|
||||
|---|---|
|
||||
| 课题组名称 | 该组**自己页面**的 H1（无 H1 用 `<title>`；JS 渲染/表格行用目录里的官方组名并标 `_name_source`）。⚠️ 无官方组名的**按 `<负责人> 团队` 渲染并标 `_name_source: rendered_from_leader`**，且要查重防撞 |
|
||||
| 所在大学及研究中心 | 大学 + **真实上级研究单位**；⚠️ 上级是系/院/学部的**不许当研究中心写**，没有真上级就**只写大学** |
|
||||
| 研究方向 | 该组页上的方向文字。**没有 ⇒ 不要** |
|
||||
| 联系邮箱 | 只接受**本组页 / 本组负责人页**的邮箱 |
|
||||
| 最近五年论文数 | null |
|
||||
|
||||
---
|
||||
|
||||
## 4. ⚠️ 并行安全（出过事故，必须照做）
|
||||
|
||||
5 个 worker 曾挤在**同一个 ego-browser Space 的同一个 page** 上 ⇒ 297 页跨校串页、整批作废。
|
||||
|
||||
1. **自己新建一个 TaskSpace**（不要复用别人已有的）
|
||||
2. **每个 URL 用独占的 `newPage()`**，**不要共用 p1**
|
||||
3. **每取一页校验 `page.url()` 与目标一致**；不一致 ⇒ 废掉重取
|
||||
4. 成功时收尾调一次 `await task.finish({ keep: [] })`；**因错误停止就别调**，把 `spaceId` 报上来
|
||||
|
||||
⚠️ 本机浏览器可能被用户接管（`ownership: user`）—— 遇到就**立刻停手、不重试**，把 `spaceId` 报上来。
|
||||
|
||||
---
|
||||
|
||||
## 5. 硬要求
|
||||
|
||||
1. **只在本项目内写**（`products/` `reports/`）。不碰别的项目、不碰线上库。
|
||||
2. **不设时间盒，做完整为止。** 但**每做完一个院系报一次 `status`**（三句话）。
|
||||
3. **判据来自页面。你的眼睛比任何正则都准。**
|
||||
4. **不许发明**：抓不到 ⇒ 写「未取到：<URL> + <错误原文>」。**判不准的贴出来，不要归类掉。**
|
||||
5. **不要从 sitemap 全量枚举 URL**（METHOD.md §6 反面清单第一条）。
|
||||
6. **只做这一所学校。**
|
||||
|
||||
@@ -0,0 +1,99 @@
|
||||
# 课题组逐院系采集 · 诺丁汉大学（英国）· 现有 282 条
|
||||
|
||||
**入口普查的判型**：自建 research 目录/课题组页
|
||||
**现有 group_url 形态**：``www.nottingham.ac.uk / research/groups/<slug>``
|
||||
|
||||
⚠️ 这是**换源重采**：旧数据整体推翻，不要参照它。
|
||||
本条是**入口普查已定**的那批（61 校/3501 条可收 2817）；按 METHOD.md 从院系站重找组目录。 · Win1 · Manager 2026-09-24
|
||||
|
||||
## 0. 先读方法件（**不要重新发明方法**）
|
||||
|
||||
工作区：`C:\Users\Administrator\orca\projects\英澳博士课题组数据`
|
||||
|
||||
- **`method/METHOD.md`** —— 活的采集方法。**重点看 §1「入口发现」与 §6「反面清单」。**
|
||||
- `method/finding_edinburgh_v2.md` —— 完备性标杆（643 组 / 24 院系）
|
||||
- `method/finding_anu_v2.md` · `finding_qub_v2.md` · `finding_bath_v2.md` —— 最近几所
|
||||
- `tasks/` —— 其它任务书
|
||||
|
||||
一句话：
|
||||
|
||||
> **找「组目录」，不要枚举 URL。**
|
||||
> 官方院系导航 → 各院系 `/research/` → **该页上的「组目录」**
|
||||
> （`research-groups` / `research-centres` / `groups` / `institutes` / `labs`，
|
||||
> **最高价值是「每个组由一位 PI 带」的目录**）。**入口 20–60 个/校。**
|
||||
|
||||
**参考已跑通的**：`products/` 下各校 `*__groups*.json` 是产物格式。
|
||||
|
||||
---
|
||||
|
||||
## 1. 本波只做这一所：**诺丁汉大学（英国）· 现有 282 条
|
||||
|
||||
**入口普查的判型**：自建 research 目录/课题组页
|
||||
**现有 group_url 形态**：``www.nottingham.ac.uk / research/groups/<slug>``
|
||||
|
||||
⚠️ 这是**换源重采**：旧数据整体推翻，不要参照它。
|
||||
本条是**入口普查已定**的那批（61 校/3501 条可收 2817）；按 METHOD.md 从院系站重找组目录。**
|
||||
|
||||
---
|
||||
|
||||
## 2. 交付（**门槛，不是"尽量"**）
|
||||
|
||||
1. **院系台账（缺一行 = 没做完）**
|
||||
`院系（全部）| research 入口 URL | 状态（取到 / 取不到：<原因>）| 组数`
|
||||
—— 院系清单从**学校官方导航**拿；**给出枚举来源 URL 与总数**；**`未取页 = 0`**
|
||||
2. **全量候选产物**：`products/<slug>_v3__groups.json`
|
||||
（五字段：课题组名称 / 所在大学及研究中心 / 研究方向 / 联系邮箱 / 最近五年论文数=null）
|
||||
—— **启发式自动抽，不逐条判**
|
||||
3. **随机抽 30 条逐条开页面核** → **准确率** + **假阳性类型** + **能否定点修掉**
|
||||
- 准确率 **≥90% 且类型集中** ⇒ 定点修那一类，**全量直接用，不再逐页核**
|
||||
4. **合理性校验**：`组数 ÷ 院系数`。**比值荒谬地低 ⇒ 回头找「组目录」那一层**
|
||||
（不是去爬更多 URL）。确认"再下一层没有组"要贴原文结构作证。
|
||||
5. **反例 / 判不准 / 未验清单**（附页面原文）
|
||||
6. 一句话：**最终组数？完备性有没有缺口？**
|
||||
|
||||
产物写 `products/`，报告写 `reports/finding_<slug>_v3.md`（目录不存在就建）。
|
||||
|
||||
---
|
||||
|
||||
## 3. 判据与字段（摘要；**细则以 METHOD.md §2 为准**）
|
||||
|
||||
> **打开页面像人一样看：这是不是一个「导师带的做研究的团队」？**
|
||||
> **粒度上限 = 一个导师能带的规模。**
|
||||
> 大一级（institute / theme / cluster / 校级研究所）**不收**；
|
||||
> **但大一级下面挂着真组时，只收内层组。**
|
||||
|
||||
**不是组**：服务设施 · 研讨会系列 · 项目 · 学生培养计划 · 单项研究 · 空页重定向 · 无负责人的方向页。
|
||||
**共性是页面上有一句「非团队自述」—— 你去看那句话。**
|
||||
|
||||
| 字段 | 取法 |
|
||||
|---|---|
|
||||
| 课题组名称 | 该组**自己页面**的 H1（无 H1 用 `<title>`；JS 渲染/表格行用目录里的官方组名并标 `_name_source`）。⚠️ 无官方组名的**按 `<负责人> 团队` 渲染并标 `_name_source: rendered_from_leader`**，且要查重防撞 |
|
||||
| 所在大学及研究中心 | 大学 + **真实上级研究单位**；⚠️ 上级是系/院/学部的**不许当研究中心写**，没有真上级就**只写大学** |
|
||||
| 研究方向 | 该组页上的方向文字。**没有 ⇒ 不要** |
|
||||
| 联系邮箱 | 只接受**本组页 / 本组负责人页**的邮箱 |
|
||||
| 最近五年论文数 | null |
|
||||
|
||||
---
|
||||
|
||||
## 4. ⚠️ 并行安全（出过事故，必须照做）
|
||||
|
||||
5 个 worker 曾挤在**同一个 ego-browser Space 的同一个 page** 上 ⇒ 297 页跨校串页、整批作废。
|
||||
|
||||
1. **自己新建一个 TaskSpace**（不要复用别人已有的）
|
||||
2. **每个 URL 用独占的 `newPage()`**，**不要共用 p1**
|
||||
3. **每取一页校验 `page.url()` 与目标一致**；不一致 ⇒ 废掉重取
|
||||
4. 成功时收尾调一次 `await task.finish({ keep: [] })`；**因错误停止就别调**，把 `spaceId` 报上来
|
||||
|
||||
⚠️ 本机浏览器可能被用户接管（`ownership: user`）—— 遇到就**立刻停手、不重试**，把 `spaceId` 报上来。
|
||||
|
||||
---
|
||||
|
||||
## 5. 硬要求
|
||||
|
||||
1. **只在本项目内写**（`products/` `reports/`）。不碰别的项目、不碰线上库。
|
||||
2. **不设时间盒，做完整为止。** 但**每做完一个院系报一次 `status`**（三句话）。
|
||||
3. **判据来自页面。你的眼睛比任何正则都准。**
|
||||
4. **不许发明**：抓不到 ⇒ 写「未取到：<URL> + <错误原文>」。**判不准的贴出来，不要归类掉。**
|
||||
5. **不要从 sitemap 全量枚举 URL**（METHOD.md §6 反面清单第一条）。
|
||||
6. **只做这一所学校。**
|
||||
|
||||
@@ -0,0 +1,97 @@
|
||||
# 课题组逐院系采集 · 墨尔本大学（澳新）· 现有 45 条
|
||||
|
||||
**入口普查的判型**：其它/待裁
|
||||
**现有 group_url 形态**：``findanexpert.unimelb.edu.au / group/<slug>``
|
||||
|
||||
⚠️ 这是**换源重采**：旧数据整体推翻，不要参照它。 · Win1 · Manager 2026-09-24
|
||||
|
||||
## 0. 先读方法件（**不要重新发明方法**）
|
||||
|
||||
工作区：`C:\Users\Administrator\orca\projects\英澳博士课题组数据`
|
||||
|
||||
- **`method/METHOD.md`** —— 活的采集方法。**重点看 §1「入口发现」与 §6「反面清单」。**
|
||||
- `method/finding_edinburgh_v2.md` —— 完备性标杆（643 组 / 24 院系）
|
||||
- `method/finding_anu_v2.md` · `finding_qub_v2.md` · `finding_bath_v2.md` —— 最近几所
|
||||
- `tasks/` —— 其它任务书
|
||||
|
||||
一句话：
|
||||
|
||||
> **找「组目录」，不要枚举 URL。**
|
||||
> 官方院系导航 → 各院系 `/research/` → **该页上的「组目录」**
|
||||
> （`research-groups` / `research-centres` / `groups` / `institutes` / `labs`，
|
||||
> **最高价值是「每个组由一位 PI 带」的目录**）。**入口 20–60 个/校。**
|
||||
|
||||
**参考已跑通的**：`products/` 下各校 `*__groups*.json` 是产物格式。
|
||||
|
||||
---
|
||||
|
||||
## 1. 本波只做这一所：**墨尔本大学（澳新）· 现有 45 条
|
||||
|
||||
**入口普查的判型**：其它/待裁
|
||||
**现有 group_url 形态**：``findanexpert.unimelb.edu.au / group/<slug>``
|
||||
|
||||
⚠️ 这是**换源重采**：旧数据整体推翻，不要参照它。**
|
||||
|
||||
---
|
||||
|
||||
## 2. 交付（**门槛，不是"尽量"**）
|
||||
|
||||
1. **院系台账（缺一行 = 没做完）**
|
||||
`院系（全部）| research 入口 URL | 状态（取到 / 取不到：<原因>）| 组数`
|
||||
—— 院系清单从**学校官方导航**拿；**给出枚举来源 URL 与总数**；**`未取页 = 0`**
|
||||
2. **全量候选产物**：`products/<slug>_v3__groups.json`
|
||||
（五字段：课题组名称 / 所在大学及研究中心 / 研究方向 / 联系邮箱 / 最近五年论文数=null）
|
||||
—— **启发式自动抽，不逐条判**
|
||||
3. **随机抽 30 条逐条开页面核** → **准确率** + **假阳性类型** + **能否定点修掉**
|
||||
- 准确率 **≥90% 且类型集中** ⇒ 定点修那一类，**全量直接用，不再逐页核**
|
||||
4. **合理性校验**：`组数 ÷ 院系数`。**比值荒谬地低 ⇒ 回头找「组目录」那一层**
|
||||
（不是去爬更多 URL）。确认"再下一层没有组"要贴原文结构作证。
|
||||
5. **反例 / 判不准 / 未验清单**（附页面原文）
|
||||
6. 一句话：**最终组数？完备性有没有缺口？**
|
||||
|
||||
产物写 `products/`，报告写 `reports/finding_<slug>_v3.md`（目录不存在就建）。
|
||||
|
||||
---
|
||||
|
||||
## 3. 判据与字段（摘要；**细则以 METHOD.md §2 为准**）
|
||||
|
||||
> **打开页面像人一样看：这是不是一个「导师带的做研究的团队」？**
|
||||
> **粒度上限 = 一个导师能带的规模。**
|
||||
> 大一级（institute / theme / cluster / 校级研究所）**不收**；
|
||||
> **但大一级下面挂着真组时，只收内层组。**
|
||||
|
||||
**不是组**：服务设施 · 研讨会系列 · 项目 · 学生培养计划 · 单项研究 · 空页重定向 · 无负责人的方向页。
|
||||
**共性是页面上有一句「非团队自述」—— 你去看那句话。**
|
||||
|
||||
| 字段 | 取法 |
|
||||
|---|---|
|
||||
| 课题组名称 | 该组**自己页面**的 H1（无 H1 用 `<title>`；JS 渲染/表格行用目录里的官方组名并标 `_name_source`）。⚠️ 无官方组名的**按 `<负责人> 团队` 渲染并标 `_name_source: rendered_from_leader`**，且要查重防撞 |
|
||||
| 所在大学及研究中心 | 大学 + **真实上级研究单位**；⚠️ 上级是系/院/学部的**不许当研究中心写**，没有真上级就**只写大学** |
|
||||
| 研究方向 | 该组页上的方向文字。**没有 ⇒ 不要** |
|
||||
| 联系邮箱 | 只接受**本组页 / 本组负责人页**的邮箱 |
|
||||
| 最近五年论文数 | null |
|
||||
|
||||
---
|
||||
|
||||
## 4. ⚠️ 并行安全（出过事故，必须照做）
|
||||
|
||||
5 个 worker 曾挤在**同一个 ego-browser Space 的同一个 page** 上 ⇒ 297 页跨校串页、整批作废。
|
||||
|
||||
1. **自己新建一个 TaskSpace**（不要复用别人已有的）
|
||||
2. **每个 URL 用独占的 `newPage()`**，**不要共用 p1**
|
||||
3. **每取一页校验 `page.url()` 与目标一致**；不一致 ⇒ 废掉重取
|
||||
4. 成功时收尾调一次 `await task.finish({ keep: [] })`；**因错误停止就别调**，把 `spaceId` 报上来
|
||||
|
||||
⚠️ 本机浏览器可能被用户接管（`ownership: user`）—— 遇到就**立刻停手、不重试**，把 `spaceId` 报上来。
|
||||
|
||||
---
|
||||
|
||||
## 5. 硬要求
|
||||
|
||||
1. **只在本项目内写**（`products/` `reports/`）。不碰别的项目、不碰线上库。
|
||||
2. **不设时间盒，做完整为止。** 但**每做完一个院系报一次 `status`**（三句话）。
|
||||
3. **判据来自页面。你的眼睛比任何正则都准。**
|
||||
4. **不许发明**：抓不到 ⇒ 写「未取到：<URL> + <错误原文>」。**判不准的贴出来，不要归类掉。**
|
||||
5. **不要从 sitemap 全量枚举 URL**（METHOD.md §6 反面清单第一条）。
|
||||
6. **只做这一所学校。**
|
||||
|
||||
@@ -0,0 +1,97 @@
|
||||
# 课题组逐院系采集 · 华威大学（英国）· 现有 33 条
|
||||
|
||||
**入口普查的判型**：课程页（误抓）
|
||||
**现有 group_url 形态**：``warwick.ac.uk / study/postgraduate/courses``
|
||||
|
||||
⚠️ 这是**换源重采**：旧数据整体推翻，不要参照它。 · Win1 · Manager 2026-09-24
|
||||
|
||||
## 0. 先读方法件（**不要重新发明方法**）
|
||||
|
||||
工作区：`C:\Users\Administrator\orca\projects\英澳博士课题组数据`
|
||||
|
||||
- **`method/METHOD.md`** —— 活的采集方法。**重点看 §1「入口发现」与 §6「反面清单」。**
|
||||
- `method/finding_edinburgh_v2.md` —— 完备性标杆（643 组 / 24 院系）
|
||||
- `method/finding_anu_v2.md` · `finding_qub_v2.md` · `finding_bath_v2.md` —— 最近几所
|
||||
- `tasks/` —— 其它任务书
|
||||
|
||||
一句话：
|
||||
|
||||
> **找「组目录」，不要枚举 URL。**
|
||||
> 官方院系导航 → 各院系 `/research/` → **该页上的「组目录」**
|
||||
> （`research-groups` / `research-centres` / `groups` / `institutes` / `labs`，
|
||||
> **最高价值是「每个组由一位 PI 带」的目录**）。**入口 20–60 个/校。**
|
||||
|
||||
**参考已跑通的**：`products/` 下各校 `*__groups*.json` 是产物格式。
|
||||
|
||||
---
|
||||
|
||||
## 1. 本波只做这一所：**华威大学（英国）· 现有 33 条
|
||||
|
||||
**入口普查的判型**：课程页（误抓）
|
||||
**现有 group_url 形态**：``warwick.ac.uk / study/postgraduate/courses``
|
||||
|
||||
⚠️ 这是**换源重采**：旧数据整体推翻，不要参照它。**
|
||||
|
||||
---
|
||||
|
||||
## 2. 交付（**门槛，不是"尽量"**）
|
||||
|
||||
1. **院系台账（缺一行 = 没做完）**
|
||||
`院系（全部）| research 入口 URL | 状态（取到 / 取不到：<原因>）| 组数`
|
||||
—— 院系清单从**学校官方导航**拿；**给出枚举来源 URL 与总数**；**`未取页 = 0`**
|
||||
2. **全量候选产物**：`products/<slug>_v3__groups.json`
|
||||
（五字段：课题组名称 / 所在大学及研究中心 / 研究方向 / 联系邮箱 / 最近五年论文数=null）
|
||||
—— **启发式自动抽，不逐条判**
|
||||
3. **随机抽 30 条逐条开页面核** → **准确率** + **假阳性类型** + **能否定点修掉**
|
||||
- 准确率 **≥90% 且类型集中** ⇒ 定点修那一类，**全量直接用，不再逐页核**
|
||||
4. **合理性校验**：`组数 ÷ 院系数`。**比值荒谬地低 ⇒ 回头找「组目录」那一层**
|
||||
（不是去爬更多 URL）。确认"再下一层没有组"要贴原文结构作证。
|
||||
5. **反例 / 判不准 / 未验清单**（附页面原文）
|
||||
6. 一句话：**最终组数？完备性有没有缺口？**
|
||||
|
||||
产物写 `products/`，报告写 `reports/finding_<slug>_v3.md`（目录不存在就建）。
|
||||
|
||||
---
|
||||
|
||||
## 3. 判据与字段（摘要；**细则以 METHOD.md §2 为准**）
|
||||
|
||||
> **打开页面像人一样看：这是不是一个「导师带的做研究的团队」？**
|
||||
> **粒度上限 = 一个导师能带的规模。**
|
||||
> 大一级（institute / theme / cluster / 校级研究所）**不收**；
|
||||
> **但大一级下面挂着真组时，只收内层组。**
|
||||
|
||||
**不是组**：服务设施 · 研讨会系列 · 项目 · 学生培养计划 · 单项研究 · 空页重定向 · 无负责人的方向页。
|
||||
**共性是页面上有一句「非团队自述」—— 你去看那句话。**
|
||||
|
||||
| 字段 | 取法 |
|
||||
|---|---|
|
||||
| 课题组名称 | 该组**自己页面**的 H1（无 H1 用 `<title>`；JS 渲染/表格行用目录里的官方组名并标 `_name_source`）。⚠️ 无官方组名的**按 `<负责人> 团队` 渲染并标 `_name_source: rendered_from_leader`**，且要查重防撞 |
|
||||
| 所在大学及研究中心 | 大学 + **真实上级研究单位**；⚠️ 上级是系/院/学部的**不许当研究中心写**，没有真上级就**只写大学** |
|
||||
| 研究方向 | 该组页上的方向文字。**没有 ⇒ 不要** |
|
||||
| 联系邮箱 | 只接受**本组页 / 本组负责人页**的邮箱 |
|
||||
| 最近五年论文数 | null |
|
||||
|
||||
---
|
||||
|
||||
## 4. ⚠️ 并行安全（出过事故，必须照做）
|
||||
|
||||
5 个 worker 曾挤在**同一个 ego-browser Space 的同一个 page** 上 ⇒ 297 页跨校串页、整批作废。
|
||||
|
||||
1. **自己新建一个 TaskSpace**（不要复用别人已有的）
|
||||
2. **每个 URL 用独占的 `newPage()`**，**不要共用 p1**
|
||||
3. **每取一页校验 `page.url()` 与目标一致**；不一致 ⇒ 废掉重取
|
||||
4. 成功时收尾调一次 `await task.finish({ keep: [] })`；**因错误停止就别调**，把 `spaceId` 报上来
|
||||
|
||||
⚠️ 本机浏览器可能被用户接管（`ownership: user`）—— 遇到就**立刻停手、不重试**，把 `spaceId` 报上来。
|
||||
|
||||
---
|
||||
|
||||
## 5. 硬要求
|
||||
|
||||
1. **只在本项目内写**（`products/` `reports/`）。不碰别的项目、不碰线上库。
|
||||
2. **不设时间盒，做完整为止。** 但**每做完一个院系报一次 `status`**（三句话）。
|
||||
3. **判据来自页面。你的眼睛比任何正则都准。**
|
||||
4. **不许发明**：抓不到 ⇒ 写「未取到：<URL> + <错误原文>」。**判不准的贴出来，不要归类掉。**
|
||||
5. **不要从 sitemap 全量枚举 URL**（METHOD.md §6 反面清单第一条）。
|
||||
6. **只做这一所学校。**
|
||||
|
||||
@@ -0,0 +1,97 @@
|
||||
# 课题组逐院系采集 · 莫道克大学（澳新）· 现有 30 条
|
||||
|
||||
**入口普查的判型**：无 group_url（id 来源待定）
|
||||
**现有 group_url 形态**：``(无 url) — 其它: www.murdoch.edu.au / research/hbi/centres(4); www.murdoch.edu.au / research/ffi/centres(3)``
|
||||
|
||||
⚠️ 这是**换源重采**：旧数据整体推翻，不要参照它。 · Win1 · Manager 2026-09-24
|
||||
|
||||
## 0. 先读方法件（**不要重新发明方法**）
|
||||
|
||||
工作区：`C:\Users\Administrator\orca\projects\英澳博士课题组数据`
|
||||
|
||||
- **`method/METHOD.md`** —— 活的采集方法。**重点看 §1「入口发现」与 §6「反面清单」。**
|
||||
- `method/finding_edinburgh_v2.md` —— 完备性标杆（643 组 / 24 院系）
|
||||
- `method/finding_anu_v2.md` · `finding_qub_v2.md` · `finding_bath_v2.md` —— 最近几所
|
||||
- `tasks/` —— 其它任务书
|
||||
|
||||
一句话：
|
||||
|
||||
> **找「组目录」，不要枚举 URL。**
|
||||
> 官方院系导航 → 各院系 `/research/` → **该页上的「组目录」**
|
||||
> （`research-groups` / `research-centres` / `groups` / `institutes` / `labs`，
|
||||
> **最高价值是「每个组由一位 PI 带」的目录**）。**入口 20–60 个/校。**
|
||||
|
||||
**参考已跑通的**：`products/` 下各校 `*__groups*.json` 是产物格式。
|
||||
|
||||
---
|
||||
|
||||
## 1. 本波只做这一所：**莫道克大学（澳新）· 现有 30 条
|
||||
|
||||
**入口普查的判型**：无 group_url（id 来源待定）
|
||||
**现有 group_url 形态**：``(无 url) — 其它: www.murdoch.edu.au / research/hbi/centres(4); www.murdoch.edu.au / research/ffi/centres(3)``
|
||||
|
||||
⚠️ 这是**换源重采**：旧数据整体推翻，不要参照它。**
|
||||
|
||||
---
|
||||
|
||||
## 2. 交付（**门槛，不是"尽量"**）
|
||||
|
||||
1. **院系台账（缺一行 = 没做完）**
|
||||
`院系（全部）| research 入口 URL | 状态（取到 / 取不到：<原因>）| 组数`
|
||||
—— 院系清单从**学校官方导航**拿；**给出枚举来源 URL 与总数**；**`未取页 = 0`**
|
||||
2. **全量候选产物**：`products/<slug>_v3__groups.json`
|
||||
（五字段：课题组名称 / 所在大学及研究中心 / 研究方向 / 联系邮箱 / 最近五年论文数=null）
|
||||
—— **启发式自动抽，不逐条判**
|
||||
3. **随机抽 30 条逐条开页面核** → **准确率** + **假阳性类型** + **能否定点修掉**
|
||||
- 准确率 **≥90% 且类型集中** ⇒ 定点修那一类，**全量直接用，不再逐页核**
|
||||
4. **合理性校验**：`组数 ÷ 院系数`。**比值荒谬地低 ⇒ 回头找「组目录」那一层**
|
||||
（不是去爬更多 URL）。确认"再下一层没有组"要贴原文结构作证。
|
||||
5. **反例 / 判不准 / 未验清单**（附页面原文）
|
||||
6. 一句话：**最终组数？完备性有没有缺口？**
|
||||
|
||||
产物写 `products/`，报告写 `reports/finding_<slug>_v3.md`（目录不存在就建）。
|
||||
|
||||
---
|
||||
|
||||
## 3. 判据与字段（摘要；**细则以 METHOD.md §2 为准**）
|
||||
|
||||
> **打开页面像人一样看：这是不是一个「导师带的做研究的团队」？**
|
||||
> **粒度上限 = 一个导师能带的规模。**
|
||||
> 大一级（institute / theme / cluster / 校级研究所）**不收**；
|
||||
> **但大一级下面挂着真组时，只收内层组。**
|
||||
|
||||
**不是组**：服务设施 · 研讨会系列 · 项目 · 学生培养计划 · 单项研究 · 空页重定向 · 无负责人的方向页。
|
||||
**共性是页面上有一句「非团队自述」—— 你去看那句话。**
|
||||
|
||||
| 字段 | 取法 |
|
||||
|---|---|
|
||||
| 课题组名称 | 该组**自己页面**的 H1（无 H1 用 `<title>`；JS 渲染/表格行用目录里的官方组名并标 `_name_source`）。⚠️ 无官方组名的**按 `<负责人> 团队` 渲染并标 `_name_source: rendered_from_leader`**，且要查重防撞 |
|
||||
| 所在大学及研究中心 | 大学 + **真实上级研究单位**；⚠️ 上级是系/院/学部的**不许当研究中心写**，没有真上级就**只写大学** |
|
||||
| 研究方向 | 该组页上的方向文字。**没有 ⇒ 不要** |
|
||||
| 联系邮箱 | 只接受**本组页 / 本组负责人页**的邮箱 |
|
||||
| 最近五年论文数 | null |
|
||||
|
||||
---
|
||||
|
||||
## 4. ⚠️ 并行安全（出过事故，必须照做）
|
||||
|
||||
5 个 worker 曾挤在**同一个 ego-browser Space 的同一个 page** 上 ⇒ 297 页跨校串页、整批作废。
|
||||
|
||||
1. **自己新建一个 TaskSpace**（不要复用别人已有的）
|
||||
2. **每个 URL 用独占的 `newPage()`**，**不要共用 p1**
|
||||
3. **每取一页校验 `page.url()` 与目标一致**；不一致 ⇒ 废掉重取
|
||||
4. 成功时收尾调一次 `await task.finish({ keep: [] })`；**因错误停止就别调**，把 `spaceId` 报上来
|
||||
|
||||
⚠️ 本机浏览器可能被用户接管（`ownership: user`）—— 遇到就**立刻停手、不重试**，把 `spaceId` 报上来。
|
||||
|
||||
---
|
||||
|
||||
## 5. 硬要求
|
||||
|
||||
1. **只在本项目内写**（`products/` `reports/`）。不碰别的项目、不碰线上库。
|
||||
2. **不设时间盒，做完整为止。** 但**每做完一个院系报一次 `status`**（三句话）。
|
||||
3. **判据来自页面。你的眼睛比任何正则都准。**
|
||||
4. **不许发明**：抓不到 ⇒ 写「未取到：<URL> + <错误原文>」。**判不准的贴出来，不要归类掉。**
|
||||
5. **不要从 sitemap 全量枚举 URL**（METHOD.md §6 反面清单第一条）。
|
||||
6. **只做这一所学校。**
|
||||
|
||||
@@ -0,0 +1,97 @@
|
||||
# 课题组逐院系采集 · 克兰菲尔德大学（英国）· 现有 30 条
|
||||
|
||||
**入口普查的判型**：自建 research 目录/课题组页
|
||||
**现有 group_url 形态**：``www.cranfield.ac.uk / centres/<slug>``
|
||||
|
||||
⚠️ 这是**换源重采**：旧数据整体推翻，不要参照它。 · Win1 · Manager 2026-09-24
|
||||
|
||||
## 0. 先读方法件（**不要重新发明方法**）
|
||||
|
||||
工作区：`C:\Users\Administrator\orca\projects\英澳博士课题组数据`
|
||||
|
||||
- **`method/METHOD.md`** —— 活的采集方法。**重点看 §1「入口发现」与 §6「反面清单」。**
|
||||
- `method/finding_edinburgh_v2.md` —— 完备性标杆（643 组 / 24 院系）
|
||||
- `method/finding_anu_v2.md` · `finding_qub_v2.md` · `finding_bath_v2.md` —— 最近几所
|
||||
- `tasks/` —— 其它任务书
|
||||
|
||||
一句话：
|
||||
|
||||
> **找「组目录」，不要枚举 URL。**
|
||||
> 官方院系导航 → 各院系 `/research/` → **该页上的「组目录」**
|
||||
> （`research-groups` / `research-centres` / `groups` / `institutes` / `labs`，
|
||||
> **最高价值是「每个组由一位 PI 带」的目录**）。**入口 20–60 个/校。**
|
||||
|
||||
**参考已跑通的**：`products/` 下各校 `*__groups*.json` 是产物格式。
|
||||
|
||||
---
|
||||
|
||||
## 1. 本波只做这一所：**克兰菲尔德大学（英国）· 现有 30 条
|
||||
|
||||
**入口普查的判型**：自建 research 目录/课题组页
|
||||
**现有 group_url 形态**：``www.cranfield.ac.uk / centres/<slug>``
|
||||
|
||||
⚠️ 这是**换源重采**：旧数据整体推翻，不要参照它。**
|
||||
|
||||
---
|
||||
|
||||
## 2. 交付（**门槛，不是"尽量"**）
|
||||
|
||||
1. **院系台账（缺一行 = 没做完）**
|
||||
`院系（全部）| research 入口 URL | 状态（取到 / 取不到：<原因>）| 组数`
|
||||
—— 院系清单从**学校官方导航**拿；**给出枚举来源 URL 与总数**；**`未取页 = 0`**
|
||||
2. **全量候选产物**：`products/<slug>_v3__groups.json`
|
||||
（五字段：课题组名称 / 所在大学及研究中心 / 研究方向 / 联系邮箱 / 最近五年论文数=null）
|
||||
—— **启发式自动抽，不逐条判**
|
||||
3. **随机抽 30 条逐条开页面核** → **准确率** + **假阳性类型** + **能否定点修掉**
|
||||
- 准确率 **≥90% 且类型集中** ⇒ 定点修那一类，**全量直接用，不再逐页核**
|
||||
4. **合理性校验**：`组数 ÷ 院系数`。**比值荒谬地低 ⇒ 回头找「组目录」那一层**
|
||||
（不是去爬更多 URL）。确认"再下一层没有组"要贴原文结构作证。
|
||||
5. **反例 / 判不准 / 未验清单**（附页面原文）
|
||||
6. 一句话：**最终组数？完备性有没有缺口？**
|
||||
|
||||
产物写 `products/`，报告写 `reports/finding_<slug>_v3.md`（目录不存在就建）。
|
||||
|
||||
---
|
||||
|
||||
## 3. 判据与字段（摘要；**细则以 METHOD.md §2 为准**）
|
||||
|
||||
> **打开页面像人一样看：这是不是一个「导师带的做研究的团队」？**
|
||||
> **粒度上限 = 一个导师能带的规模。**
|
||||
> 大一级（institute / theme / cluster / 校级研究所）**不收**；
|
||||
> **但大一级下面挂着真组时，只收内层组。**
|
||||
|
||||
**不是组**：服务设施 · 研讨会系列 · 项目 · 学生培养计划 · 单项研究 · 空页重定向 · 无负责人的方向页。
|
||||
**共性是页面上有一句「非团队自述」—— 你去看那句话。**
|
||||
|
||||
| 字段 | 取法 |
|
||||
|---|---|
|
||||
| 课题组名称 | 该组**自己页面**的 H1（无 H1 用 `<title>`；JS 渲染/表格行用目录里的官方组名并标 `_name_source`）。⚠️ 无官方组名的**按 `<负责人> 团队` 渲染并标 `_name_source: rendered_from_leader`**，且要查重防撞 |
|
||||
| 所在大学及研究中心 | 大学 + **真实上级研究单位**；⚠️ 上级是系/院/学部的**不许当研究中心写**，没有真上级就**只写大学** |
|
||||
| 研究方向 | 该组页上的方向文字。**没有 ⇒ 不要** |
|
||||
| 联系邮箱 | 只接受**本组页 / 本组负责人页**的邮箱 |
|
||||
| 最近五年论文数 | null |
|
||||
|
||||
---
|
||||
|
||||
## 4. ⚠️ 并行安全（出过事故，必须照做）
|
||||
|
||||
5 个 worker 曾挤在**同一个 ego-browser Space 的同一个 page** 上 ⇒ 297 页跨校串页、整批作废。
|
||||
|
||||
1. **自己新建一个 TaskSpace**（不要复用别人已有的）
|
||||
2. **每个 URL 用独占的 `newPage()`**，**不要共用 p1**
|
||||
3. **每取一页校验 `page.url()` 与目标一致**；不一致 ⇒ 废掉重取
|
||||
4. 成功时收尾调一次 `await task.finish({ keep: [] })`；**因错误停止就别调**，把 `spaceId` 报上来
|
||||
|
||||
⚠️ 本机浏览器可能被用户接管（`ownership: user`）—— 遇到就**立刻停手、不重试**，把 `spaceId` 报上来。
|
||||
|
||||
---
|
||||
|
||||
## 5. 硬要求
|
||||
|
||||
1. **只在本项目内写**（`products/` `reports/`）。不碰别的项目、不碰线上库。
|
||||
2. **不设时间盒，做完整为止。** 但**每做完一个院系报一次 `status`**（三句话）。
|
||||
3. **判据来自页面。你的眼睛比任何正则都准。**
|
||||
4. **不许发明**：抓不到 ⇒ 写「未取到：<URL> + <错误原文>」。**判不准的贴出来，不要归类掉。**
|
||||
5. **不要从 sitemap 全量枚举 URL**（METHOD.md §6 反面清单第一条）。
|
||||
6. **只做这一所学校。**
|
||||
|
||||
@@ -0,0 +1,97 @@
|
||||
# 课题组逐院系采集 · 伦敦玛丽女王大学（英国）· 现有 29 条
|
||||
|
||||
**入口普查的判型**：自建 research 站点
|
||||
**现有 group_url 形态**：``www.qmul.ac.uk / research/<slug>/<slug>``
|
||||
|
||||
⚠️ 这是**换源重采**：旧数据整体推翻，不要参照它。 · Win1 · Manager 2026-09-24
|
||||
|
||||
## 0. 先读方法件（**不要重新发明方法**）
|
||||
|
||||
工作区：`C:\Users\Administrator\orca\projects\英澳博士课题组数据`
|
||||
|
||||
- **`method/METHOD.md`** —— 活的采集方法。**重点看 §1「入口发现」与 §6「反面清单」。**
|
||||
- `method/finding_edinburgh_v2.md` —— 完备性标杆（643 组 / 24 院系）
|
||||
- `method/finding_anu_v2.md` · `finding_qub_v2.md` · `finding_bath_v2.md` —— 最近几所
|
||||
- `tasks/` —— 其它任务书
|
||||
|
||||
一句话：
|
||||
|
||||
> **找「组目录」，不要枚举 URL。**
|
||||
> 官方院系导航 → 各院系 `/research/` → **该页上的「组目录」**
|
||||
> （`research-groups` / `research-centres` / `groups` / `institutes` / `labs`，
|
||||
> **最高价值是「每个组由一位 PI 带」的目录**）。**入口 20–60 个/校。**
|
||||
|
||||
**参考已跑通的**：`products/` 下各校 `*__groups*.json` 是产物格式。
|
||||
|
||||
---
|
||||
|
||||
## 1. 本波只做这一所：**伦敦玛丽女王大学（英国）· 现有 29 条
|
||||
|
||||
**入口普查的判型**：自建 research 站点
|
||||
**现有 group_url 形态**：``www.qmul.ac.uk / research/<slug>/<slug>``
|
||||
|
||||
⚠️ 这是**换源重采**：旧数据整体推翻，不要参照它。**
|
||||
|
||||
---
|
||||
|
||||
## 2. 交付（**门槛，不是"尽量"**）
|
||||
|
||||
1. **院系台账（缺一行 = 没做完）**
|
||||
`院系（全部）| research 入口 URL | 状态（取到 / 取不到：<原因>）| 组数`
|
||||
—— 院系清单从**学校官方导航**拿；**给出枚举来源 URL 与总数**；**`未取页 = 0`**
|
||||
2. **全量候选产物**：`products/<slug>_v3__groups.json`
|
||||
（五字段：课题组名称 / 所在大学及研究中心 / 研究方向 / 联系邮箱 / 最近五年论文数=null）
|
||||
—— **启发式自动抽，不逐条判**
|
||||
3. **随机抽 30 条逐条开页面核** → **准确率** + **假阳性类型** + **能否定点修掉**
|
||||
- 准确率 **≥90% 且类型集中** ⇒ 定点修那一类，**全量直接用，不再逐页核**
|
||||
4. **合理性校验**：`组数 ÷ 院系数`。**比值荒谬地低 ⇒ 回头找「组目录」那一层**
|
||||
（不是去爬更多 URL）。确认"再下一层没有组"要贴原文结构作证。
|
||||
5. **反例 / 判不准 / 未验清单**（附页面原文）
|
||||
6. 一句话：**最终组数？完备性有没有缺口？**
|
||||
|
||||
产物写 `products/`，报告写 `reports/finding_<slug>_v3.md`（目录不存在就建）。
|
||||
|
||||
---
|
||||
|
||||
## 3. 判据与字段（摘要；**细则以 METHOD.md §2 为准**）
|
||||
|
||||
> **打开页面像人一样看：这是不是一个「导师带的做研究的团队」？**
|
||||
> **粒度上限 = 一个导师能带的规模。**
|
||||
> 大一级（institute / theme / cluster / 校级研究所）**不收**；
|
||||
> **但大一级下面挂着真组时，只收内层组。**
|
||||
|
||||
**不是组**：服务设施 · 研讨会系列 · 项目 · 学生培养计划 · 单项研究 · 空页重定向 · 无负责人的方向页。
|
||||
**共性是页面上有一句「非团队自述」—— 你去看那句话。**
|
||||
|
||||
| 字段 | 取法 |
|
||||
|---|---|
|
||||
| 课题组名称 | 该组**自己页面**的 H1（无 H1 用 `<title>`；JS 渲染/表格行用目录里的官方组名并标 `_name_source`）。⚠️ 无官方组名的**按 `<负责人> 团队` 渲染并标 `_name_source: rendered_from_leader`**，且要查重防撞 |
|
||||
| 所在大学及研究中心 | 大学 + **真实上级研究单位**；⚠️ 上级是系/院/学部的**不许当研究中心写**，没有真上级就**只写大学** |
|
||||
| 研究方向 | 该组页上的方向文字。**没有 ⇒ 不要** |
|
||||
| 联系邮箱 | 只接受**本组页 / 本组负责人页**的邮箱 |
|
||||
| 最近五年论文数 | null |
|
||||
|
||||
---
|
||||
|
||||
## 4. ⚠️ 并行安全（出过事故，必须照做）
|
||||
|
||||
5 个 worker 曾挤在**同一个 ego-browser Space 的同一个 page** 上 ⇒ 297 页跨校串页、整批作废。
|
||||
|
||||
1. **自己新建一个 TaskSpace**（不要复用别人已有的）
|
||||
2. **每个 URL 用独占的 `newPage()`**，**不要共用 p1**
|
||||
3. **每取一页校验 `page.url()` 与目标一致**；不一致 ⇒ 废掉重取
|
||||
4. 成功时收尾调一次 `await task.finish({ keep: [] })`；**因错误停止就别调**，把 `spaceId` 报上来
|
||||
|
||||
⚠️ 本机浏览器可能被用户接管（`ownership: user`）—— 遇到就**立刻停手、不重试**，把 `spaceId` 报上来。
|
||||
|
||||
---
|
||||
|
||||
## 5. 硬要求
|
||||
|
||||
1. **只在本项目内写**（`products/` `reports/`）。不碰别的项目、不碰线上库。
|
||||
2. **不设时间盒，做完整为止。** 但**每做完一个院系报一次 `status`**（三句话）。
|
||||
3. **判据来自页面。你的眼睛比任何正则都准。**
|
||||
4. **不许发明**：抓不到 ⇒ 写「未取到：<URL> + <错误原文>」。**判不准的贴出来，不要归类掉。**
|
||||
5. **不要从 sitemap 全量枚举 URL**（METHOD.md §6 反面清单第一条）。
|
||||
6. **只做这一所学校。**
|
||||
|
||||
@@ -0,0 +1,99 @@
|
||||
# 课题组逐院系采集 · 南安普顿大学（英国）· 现有 272 条
|
||||
|
||||
**入口普查的判型**：自建 research 目录/课题组页
|
||||
**现有 group_url 形态**：``www.southampton.ac.uk / research/institutes-centres/<slug>``
|
||||
|
||||
⚠️ 这是**换源重采**：旧数据整体推翻，不要参照它。
|
||||
本条是**入口普查已定**的那批（61 校/3501 条可收 2817）；按 METHOD.md 从院系站重找组目录。 · Win1 · Manager 2026-09-24
|
||||
|
||||
## 0. 先读方法件（**不要重新发明方法**）
|
||||
|
||||
工作区：`C:\Users\Administrator\orca\projects\英澳博士课题组数据`
|
||||
|
||||
- **`method/METHOD.md`** —— 活的采集方法。**重点看 §1「入口发现」与 §6「反面清单」。**
|
||||
- `method/finding_edinburgh_v2.md` —— 完备性标杆（643 组 / 24 院系）
|
||||
- `method/finding_anu_v2.md` · `finding_qub_v2.md` · `finding_bath_v2.md` —— 最近几所
|
||||
- `tasks/` —— 其它任务书
|
||||
|
||||
一句话：
|
||||
|
||||
> **找「组目录」，不要枚举 URL。**
|
||||
> 官方院系导航 → 各院系 `/research/` → **该页上的「组目录」**
|
||||
> （`research-groups` / `research-centres` / `groups` / `institutes` / `labs`，
|
||||
> **最高价值是「每个组由一位 PI 带」的目录**）。**入口 20–60 个/校。**
|
||||
|
||||
**参考已跑通的**：`products/` 下各校 `*__groups*.json` 是产物格式。
|
||||
|
||||
---
|
||||
|
||||
## 1. 本波只做这一所：**南安普顿大学（英国）· 现有 272 条
|
||||
|
||||
**入口普查的判型**：自建 research 目录/课题组页
|
||||
**现有 group_url 形态**：``www.southampton.ac.uk / research/institutes-centres/<slug>``
|
||||
|
||||
⚠️ 这是**换源重采**：旧数据整体推翻，不要参照它。
|
||||
本条是**入口普查已定**的那批（61 校/3501 条可收 2817）；按 METHOD.md 从院系站重找组目录。**
|
||||
|
||||
---
|
||||
|
||||
## 2. 交付（**门槛，不是"尽量"**）
|
||||
|
||||
1. **院系台账（缺一行 = 没做完）**
|
||||
`院系（全部）| research 入口 URL | 状态（取到 / 取不到：<原因>）| 组数`
|
||||
—— 院系清单从**学校官方导航**拿；**给出枚举来源 URL 与总数**；**`未取页 = 0`**
|
||||
2. **全量候选产物**：`products/<slug>_v3__groups.json`
|
||||
（五字段：课题组名称 / 所在大学及研究中心 / 研究方向 / 联系邮箱 / 最近五年论文数=null）
|
||||
—— **启发式自动抽，不逐条判**
|
||||
3. **随机抽 30 条逐条开页面核** → **准确率** + **假阳性类型** + **能否定点修掉**
|
||||
- 准确率 **≥90% 且类型集中** ⇒ 定点修那一类，**全量直接用，不再逐页核**
|
||||
4. **合理性校验**：`组数 ÷ 院系数`。**比值荒谬地低 ⇒ 回头找「组目录」那一层**
|
||||
（不是去爬更多 URL）。确认"再下一层没有组"要贴原文结构作证。
|
||||
5. **反例 / 判不准 / 未验清单**（附页面原文）
|
||||
6. 一句话：**最终组数？完备性有没有缺口？**
|
||||
|
||||
产物写 `products/`，报告写 `reports/finding_<slug>_v3.md`（目录不存在就建）。
|
||||
|
||||
---
|
||||
|
||||
## 3. 判据与字段（摘要；**细则以 METHOD.md §2 为准**）
|
||||
|
||||
> **打开页面像人一样看：这是不是一个「导师带的做研究的团队」？**
|
||||
> **粒度上限 = 一个导师能带的规模。**
|
||||
> 大一级（institute / theme / cluster / 校级研究所）**不收**；
|
||||
> **但大一级下面挂着真组时，只收内层组。**
|
||||
|
||||
**不是组**：服务设施 · 研讨会系列 · 项目 · 学生培养计划 · 单项研究 · 空页重定向 · 无负责人的方向页。
|
||||
**共性是页面上有一句「非团队自述」—— 你去看那句话。**
|
||||
|
||||
| 字段 | 取法 |
|
||||
|---|---|
|
||||
| 课题组名称 | 该组**自己页面**的 H1（无 H1 用 `<title>`；JS 渲染/表格行用目录里的官方组名并标 `_name_source`）。⚠️ 无官方组名的**按 `<负责人> 团队` 渲染并标 `_name_source: rendered_from_leader`**，且要查重防撞 |
|
||||
| 所在大学及研究中心 | 大学 + **真实上级研究单位**；⚠️ 上级是系/院/学部的**不许当研究中心写**，没有真上级就**只写大学** |
|
||||
| 研究方向 | 该组页上的方向文字。**没有 ⇒ 不要** |
|
||||
| 联系邮箱 | 只接受**本组页 / 本组负责人页**的邮箱 |
|
||||
| 最近五年论文数 | null |
|
||||
|
||||
---
|
||||
|
||||
## 4. ⚠️ 并行安全（出过事故，必须照做）
|
||||
|
||||
5 个 worker 曾挤在**同一个 ego-browser Space 的同一个 page** 上 ⇒ 297 页跨校串页、整批作废。
|
||||
|
||||
1. **自己新建一个 TaskSpace**（不要复用别人已有的）
|
||||
2. **每个 URL 用独占的 `newPage()`**，**不要共用 p1**
|
||||
3. **每取一页校验 `page.url()` 与目标一致**；不一致 ⇒ 废掉重取
|
||||
4. 成功时收尾调一次 `await task.finish({ keep: [] })`；**因错误停止就别调**，把 `spaceId` 报上来
|
||||
|
||||
⚠️ 本机浏览器可能被用户接管（`ownership: user`）—— 遇到就**立刻停手、不重试**，把 `spaceId` 报上来。
|
||||
|
||||
---
|
||||
|
||||
## 5. 硬要求
|
||||
|
||||
1. **只在本项目内写**（`products/` `reports/`）。不碰别的项目、不碰线上库。
|
||||
2. **不设时间盒，做完整为止。** 但**每做完一个院系报一次 `status`**（三句话）。
|
||||
3. **判据来自页面。你的眼睛比任何正则都准。**
|
||||
4. **不许发明**：抓不到 ⇒ 写「未取到：<URL> + <错误原文>」。**判不准的贴出来，不要归类掉。**
|
||||
5. **不要从 sitemap 全量枚举 URL**（METHOD.md §6 反面清单第一条）。
|
||||
6. **只做这一所学校。**
|
||||
|
||||
@@ -0,0 +1,97 @@
|
||||
# 课题组逐院系采集 · 皇家兽医学院（英国）· 现有 28 条
|
||||
|
||||
**入口普查的判型**：自建 research 站点
|
||||
**现有 group_url 形态**：``www.rvc.ac.uk / research/<slug>/<slug>``
|
||||
|
||||
⚠️ 这是**换源重采**：旧数据整体推翻，不要参照它。 · Win1 · Manager 2026-09-24
|
||||
|
||||
## 0. 先读方法件（**不要重新发明方法**）
|
||||
|
||||
工作区：`C:\Users\Administrator\orca\projects\英澳博士课题组数据`
|
||||
|
||||
- **`method/METHOD.md`** —— 活的采集方法。**重点看 §1「入口发现」与 §6「反面清单」。**
|
||||
- `method/finding_edinburgh_v2.md` —— 完备性标杆（643 组 / 24 院系）
|
||||
- `method/finding_anu_v2.md` · `finding_qub_v2.md` · `finding_bath_v2.md` —— 最近几所
|
||||
- `tasks/` —— 其它任务书
|
||||
|
||||
一句话：
|
||||
|
||||
> **找「组目录」，不要枚举 URL。**
|
||||
> 官方院系导航 → 各院系 `/research/` → **该页上的「组目录」**
|
||||
> （`research-groups` / `research-centres` / `groups` / `institutes` / `labs`，
|
||||
> **最高价值是「每个组由一位 PI 带」的目录**）。**入口 20–60 个/校。**
|
||||
|
||||
**参考已跑通的**：`products/` 下各校 `*__groups*.json` 是产物格式。
|
||||
|
||||
---
|
||||
|
||||
## 1. 本波只做这一所：**皇家兽医学院（英国）· 现有 28 条
|
||||
|
||||
**入口普查的判型**：自建 research 站点
|
||||
**现有 group_url 形态**：``www.rvc.ac.uk / research/<slug>/<slug>``
|
||||
|
||||
⚠️ 这是**换源重采**：旧数据整体推翻，不要参照它。**
|
||||
|
||||
---
|
||||
|
||||
## 2. 交付（**门槛，不是"尽量"**）
|
||||
|
||||
1. **院系台账（缺一行 = 没做完）**
|
||||
`院系（全部）| research 入口 URL | 状态（取到 / 取不到：<原因>）| 组数`
|
||||
—— 院系清单从**学校官方导航**拿；**给出枚举来源 URL 与总数**；**`未取页 = 0`**
|
||||
2. **全量候选产物**：`products/<slug>_v3__groups.json`
|
||||
（五字段：课题组名称 / 所在大学及研究中心 / 研究方向 / 联系邮箱 / 最近五年论文数=null）
|
||||
—— **启发式自动抽，不逐条判**
|
||||
3. **随机抽 30 条逐条开页面核** → **准确率** + **假阳性类型** + **能否定点修掉**
|
||||
- 准确率 **≥90% 且类型集中** ⇒ 定点修那一类，**全量直接用，不再逐页核**
|
||||
4. **合理性校验**：`组数 ÷ 院系数`。**比值荒谬地低 ⇒ 回头找「组目录」那一层**
|
||||
（不是去爬更多 URL）。确认"再下一层没有组"要贴原文结构作证。
|
||||
5. **反例 / 判不准 / 未验清单**（附页面原文）
|
||||
6. 一句话：**最终组数？完备性有没有缺口？**
|
||||
|
||||
产物写 `products/`，报告写 `reports/finding_<slug>_v3.md`（目录不存在就建）。
|
||||
|
||||
---
|
||||
|
||||
## 3. 判据与字段（摘要；**细则以 METHOD.md §2 为准**）
|
||||
|
||||
> **打开页面像人一样看：这是不是一个「导师带的做研究的团队」？**
|
||||
> **粒度上限 = 一个导师能带的规模。**
|
||||
> 大一级（institute / theme / cluster / 校级研究所）**不收**；
|
||||
> **但大一级下面挂着真组时，只收内层组。**
|
||||
|
||||
**不是组**：服务设施 · 研讨会系列 · 项目 · 学生培养计划 · 单项研究 · 空页重定向 · 无负责人的方向页。
|
||||
**共性是页面上有一句「非团队自述」—— 你去看那句话。**
|
||||
|
||||
| 字段 | 取法 |
|
||||
|---|---|
|
||||
| 课题组名称 | 该组**自己页面**的 H1（无 H1 用 `<title>`；JS 渲染/表格行用目录里的官方组名并标 `_name_source`）。⚠️ 无官方组名的**按 `<负责人> 团队` 渲染并标 `_name_source: rendered_from_leader`**，且要查重防撞 |
|
||||
| 所在大学及研究中心 | 大学 + **真实上级研究单位**；⚠️ 上级是系/院/学部的**不许当研究中心写**，没有真上级就**只写大学** |
|
||||
| 研究方向 | 该组页上的方向文字。**没有 ⇒ 不要** |
|
||||
| 联系邮箱 | 只接受**本组页 / 本组负责人页**的邮箱 |
|
||||
| 最近五年论文数 | null |
|
||||
|
||||
---
|
||||
|
||||
## 4. ⚠️ 并行安全（出过事故，必须照做）
|
||||
|
||||
5 个 worker 曾挤在**同一个 ego-browser Space 的同一个 page** 上 ⇒ 297 页跨校串页、整批作废。
|
||||
|
||||
1. **自己新建一个 TaskSpace**（不要复用别人已有的）
|
||||
2. **每个 URL 用独占的 `newPage()`**，**不要共用 p1**
|
||||
3. **每取一页校验 `page.url()` 与目标一致**；不一致 ⇒ 废掉重取
|
||||
4. 成功时收尾调一次 `await task.finish({ keep: [] })`；**因错误停止就别调**，把 `spaceId` 报上来
|
||||
|
||||
⚠️ 本机浏览器可能被用户接管（`ownership: user`）—— 遇到就**立刻停手、不重试**，把 `spaceId` 报上来。
|
||||
|
||||
---
|
||||
|
||||
## 5. 硬要求
|
||||
|
||||
1. **只在本项目内写**（`products/` `reports/`）。不碰别的项目、不碰线上库。
|
||||
2. **不设时间盒，做完整为止。** 但**每做完一个院系报一次 `status`**（三句话）。
|
||||
3. **判据来自页面。你的眼睛比任何正则都准。**
|
||||
4. **不许发明**：抓不到 ⇒ 写「未取到：<URL> + <错误原文>」。**判不准的贴出来，不要归类掉。**
|
||||
5. **不要从 sitemap 全量枚举 URL**（METHOD.md §6 反面清单第一条）。
|
||||
6. **只做这一所学校。**
|
||||
|
||||
@@ -0,0 +1,97 @@
|
||||
# 课题组逐院系采集 · 伦敦政治经济学院（英国）· 现有 27 条
|
||||
|
||||
**入口普查的判型**：其它/待裁
|
||||
**现有 group_url 形态**：``www.lse.ac.uk / <slug>``
|
||||
|
||||
⚠️ 这是**换源重采**：旧数据整体推翻，不要参照它。 · Win1 · Manager 2026-09-24
|
||||
|
||||
## 0. 先读方法件（**不要重新发明方法**）
|
||||
|
||||
工作区：`C:\Users\Administrator\orca\projects\英澳博士课题组数据`
|
||||
|
||||
- **`method/METHOD.md`** —— 活的采集方法。**重点看 §1「入口发现」与 §6「反面清单」。**
|
||||
- `method/finding_edinburgh_v2.md` —— 完备性标杆（643 组 / 24 院系）
|
||||
- `method/finding_anu_v2.md` · `finding_qub_v2.md` · `finding_bath_v2.md` —— 最近几所
|
||||
- `tasks/` —— 其它任务书
|
||||
|
||||
一句话：
|
||||
|
||||
> **找「组目录」，不要枚举 URL。**
|
||||
> 官方院系导航 → 各院系 `/research/` → **该页上的「组目录」**
|
||||
> （`research-groups` / `research-centres` / `groups` / `institutes` / `labs`，
|
||||
> **最高价值是「每个组由一位 PI 带」的目录**）。**入口 20–60 个/校。**
|
||||
|
||||
**参考已跑通的**：`products/` 下各校 `*__groups*.json` 是产物格式。
|
||||
|
||||
---
|
||||
|
||||
## 1. 本波只做这一所：**伦敦政治经济学院（英国）· 现有 27 条
|
||||
|
||||
**入口普查的判型**：其它/待裁
|
||||
**现有 group_url 形态**：``www.lse.ac.uk / <slug>``
|
||||
|
||||
⚠️ 这是**换源重采**：旧数据整体推翻，不要参照它。**
|
||||
|
||||
---
|
||||
|
||||
## 2. 交付（**门槛，不是"尽量"**）
|
||||
|
||||
1. **院系台账（缺一行 = 没做完）**
|
||||
`院系（全部）| research 入口 URL | 状态（取到 / 取不到：<原因>）| 组数`
|
||||
—— 院系清单从**学校官方导航**拿；**给出枚举来源 URL 与总数**；**`未取页 = 0`**
|
||||
2. **全量候选产物**：`products/<slug>_v3__groups.json`
|
||||
（五字段：课题组名称 / 所在大学及研究中心 / 研究方向 / 联系邮箱 / 最近五年论文数=null）
|
||||
—— **启发式自动抽，不逐条判**
|
||||
3. **随机抽 30 条逐条开页面核** → **准确率** + **假阳性类型** + **能否定点修掉**
|
||||
- 准确率 **≥90% 且类型集中** ⇒ 定点修那一类，**全量直接用，不再逐页核**
|
||||
4. **合理性校验**：`组数 ÷ 院系数`。**比值荒谬地低 ⇒ 回头找「组目录」那一层**
|
||||
（不是去爬更多 URL）。确认"再下一层没有组"要贴原文结构作证。
|
||||
5. **反例 / 判不准 / 未验清单**（附页面原文）
|
||||
6. 一句话：**最终组数？完备性有没有缺口？**
|
||||
|
||||
产物写 `products/`，报告写 `reports/finding_<slug>_v3.md`（目录不存在就建）。
|
||||
|
||||
---
|
||||
|
||||
## 3. 判据与字段（摘要；**细则以 METHOD.md §2 为准**）
|
||||
|
||||
> **打开页面像人一样看：这是不是一个「导师带的做研究的团队」？**
|
||||
> **粒度上限 = 一个导师能带的规模。**
|
||||
> 大一级（institute / theme / cluster / 校级研究所）**不收**；
|
||||
> **但大一级下面挂着真组时，只收内层组。**
|
||||
|
||||
**不是组**：服务设施 · 研讨会系列 · 项目 · 学生培养计划 · 单项研究 · 空页重定向 · 无负责人的方向页。
|
||||
**共性是页面上有一句「非团队自述」—— 你去看那句话。**
|
||||
|
||||
| 字段 | 取法 |
|
||||
|---|---|
|
||||
| 课题组名称 | 该组**自己页面**的 H1（无 H1 用 `<title>`；JS 渲染/表格行用目录里的官方组名并标 `_name_source`）。⚠️ 无官方组名的**按 `<负责人> 团队` 渲染并标 `_name_source: rendered_from_leader`**，且要查重防撞 |
|
||||
| 所在大学及研究中心 | 大学 + **真实上级研究单位**；⚠️ 上级是系/院/学部的**不许当研究中心写**，没有真上级就**只写大学** |
|
||||
| 研究方向 | 该组页上的方向文字。**没有 ⇒ 不要** |
|
||||
| 联系邮箱 | 只接受**本组页 / 本组负责人页**的邮箱 |
|
||||
| 最近五年论文数 | null |
|
||||
|
||||
---
|
||||
|
||||
## 4. ⚠️ 并行安全（出过事故，必须照做）
|
||||
|
||||
5 个 worker 曾挤在**同一个 ego-browser Space 的同一个 page** 上 ⇒ 297 页跨校串页、整批作废。
|
||||
|
||||
1. **自己新建一个 TaskSpace**（不要复用别人已有的）
|
||||
2. **每个 URL 用独占的 `newPage()`**，**不要共用 p1**
|
||||
3. **每取一页校验 `page.url()` 与目标一致**；不一致 ⇒ 废掉重取
|
||||
4. 成功时收尾调一次 `await task.finish({ keep: [] })`；**因错误停止就别调**，把 `spaceId` 报上来
|
||||
|
||||
⚠️ 本机浏览器可能被用户接管（`ownership: user`）—— 遇到就**立刻停手、不重试**，把 `spaceId` 报上来。
|
||||
|
||||
---
|
||||
|
||||
## 5. 硬要求
|
||||
|
||||
1. **只在本项目内写**（`products/` `reports/`）。不碰别的项目、不碰线上库。
|
||||
2. **不设时间盒，做完整为止。** 但**每做完一个院系报一次 `status`**（三句话）。
|
||||
3. **判据来自页面。你的眼睛比任何正则都准。**
|
||||
4. **不许发明**：抓不到 ⇒ 写「未取到：<URL> + <错误原文>」。**判不准的贴出来，不要归类掉。**
|
||||
5. **不要从 sitemap 全量枚举 URL**（METHOD.md §6 反面清单第一条）。
|
||||
6. **只做这一所学校。**
|
||||
|
||||
@@ -0,0 +1,97 @@
|
||||
# 课题组逐院系采集 · 贝叶斯商学院（英国）· 现有 23 条
|
||||
|
||||
**入口普查的判型**：其它/待裁
|
||||
**现有 group_url 形态**：``www.bayes.citystgeorges.ac.uk / <slug>/management/people``
|
||||
|
||||
⚠️ 这是**换源重采**：旧数据整体推翻，不要参照它。 · Win1 · Manager 2026-09-24
|
||||
|
||||
## 0. 先读方法件（**不要重新发明方法**）
|
||||
|
||||
工作区：`C:\Users\Administrator\orca\projects\英澳博士课题组数据`
|
||||
|
||||
- **`method/METHOD.md`** —— 活的采集方法。**重点看 §1「入口发现」与 §6「反面清单」。**
|
||||
- `method/finding_edinburgh_v2.md` —— 完备性标杆（643 组 / 24 院系）
|
||||
- `method/finding_anu_v2.md` · `finding_qub_v2.md` · `finding_bath_v2.md` —— 最近几所
|
||||
- `tasks/` —— 其它任务书
|
||||
|
||||
一句话：
|
||||
|
||||
> **找「组目录」，不要枚举 URL。**
|
||||
> 官方院系导航 → 各院系 `/research/` → **该页上的「组目录」**
|
||||
> （`research-groups` / `research-centres` / `groups` / `institutes` / `labs`，
|
||||
> **最高价值是「每个组由一位 PI 带」的目录**）。**入口 20–60 个/校。**
|
||||
|
||||
**参考已跑通的**：`products/` 下各校 `*__groups*.json` 是产物格式。
|
||||
|
||||
---
|
||||
|
||||
## 1. 本波只做这一所：**贝叶斯商学院（英国）· 现有 23 条
|
||||
|
||||
**入口普查的判型**：其它/待裁
|
||||
**现有 group_url 形态**：``www.bayes.citystgeorges.ac.uk / <slug>/management/people``
|
||||
|
||||
⚠️ 这是**换源重采**：旧数据整体推翻，不要参照它。**
|
||||
|
||||
---
|
||||
|
||||
## 2. 交付（**门槛，不是"尽量"**）
|
||||
|
||||
1. **院系台账（缺一行 = 没做完）**
|
||||
`院系（全部）| research 入口 URL | 状态（取到 / 取不到：<原因>）| 组数`
|
||||
—— 院系清单从**学校官方导航**拿；**给出枚举来源 URL 与总数**；**`未取页 = 0`**
|
||||
2. **全量候选产物**：`products/<slug>_v3__groups.json`
|
||||
（五字段：课题组名称 / 所在大学及研究中心 / 研究方向 / 联系邮箱 / 最近五年论文数=null）
|
||||
—— **启发式自动抽，不逐条判**
|
||||
3. **随机抽 30 条逐条开页面核** → **准确率** + **假阳性类型** + **能否定点修掉**
|
||||
- 准确率 **≥90% 且类型集中** ⇒ 定点修那一类，**全量直接用，不再逐页核**
|
||||
4. **合理性校验**：`组数 ÷ 院系数`。**比值荒谬地低 ⇒ 回头找「组目录」那一层**
|
||||
（不是去爬更多 URL）。确认"再下一层没有组"要贴原文结构作证。
|
||||
5. **反例 / 判不准 / 未验清单**（附页面原文）
|
||||
6. 一句话：**最终组数？完备性有没有缺口？**
|
||||
|
||||
产物写 `products/`，报告写 `reports/finding_<slug>_v3.md`（目录不存在就建）。
|
||||
|
||||
---
|
||||
|
||||
## 3. 判据与字段（摘要；**细则以 METHOD.md §2 为准**）
|
||||
|
||||
> **打开页面像人一样看：这是不是一个「导师带的做研究的团队」？**
|
||||
> **粒度上限 = 一个导师能带的规模。**
|
||||
> 大一级（institute / theme / cluster / 校级研究所）**不收**；
|
||||
> **但大一级下面挂着真组时，只收内层组。**
|
||||
|
||||
**不是组**：服务设施 · 研讨会系列 · 项目 · 学生培养计划 · 单项研究 · 空页重定向 · 无负责人的方向页。
|
||||
**共性是页面上有一句「非团队自述」—— 你去看那句话。**
|
||||
|
||||
| 字段 | 取法 |
|
||||
|---|---|
|
||||
| 课题组名称 | 该组**自己页面**的 H1（无 H1 用 `<title>`；JS 渲染/表格行用目录里的官方组名并标 `_name_source`）。⚠️ 无官方组名的**按 `<负责人> 团队` 渲染并标 `_name_source: rendered_from_leader`**，且要查重防撞 |
|
||||
| 所在大学及研究中心 | 大学 + **真实上级研究单位**；⚠️ 上级是系/院/学部的**不许当研究中心写**，没有真上级就**只写大学** |
|
||||
| 研究方向 | 该组页上的方向文字。**没有 ⇒ 不要** |
|
||||
| 联系邮箱 | 只接受**本组页 / 本组负责人页**的邮箱 |
|
||||
| 最近五年论文数 | null |
|
||||
|
||||
---
|
||||
|
||||
## 4. ⚠️ 并行安全（出过事故，必须照做）
|
||||
|
||||
5 个 worker 曾挤在**同一个 ego-browser Space 的同一个 page** 上 ⇒ 297 页跨校串页、整批作废。
|
||||
|
||||
1. **自己新建一个 TaskSpace**（不要复用别人已有的）
|
||||
2. **每个 URL 用独占的 `newPage()`**，**不要共用 p1**
|
||||
3. **每取一页校验 `page.url()` 与目标一致**；不一致 ⇒ 废掉重取
|
||||
4. 成功时收尾调一次 `await task.finish({ keep: [] })`；**因错误停止就别调**，把 `spaceId` 报上来
|
||||
|
||||
⚠️ 本机浏览器可能被用户接管（`ownership: user`）—— 遇到就**立刻停手、不重试**，把 `spaceId` 报上来。
|
||||
|
||||
---
|
||||
|
||||
## 5. 硬要求
|
||||
|
||||
1. **只在本项目内写**（`products/` `reports/`）。不碰别的项目、不碰线上库。
|
||||
2. **不设时间盒，做完整为止。** 但**每做完一个院系报一次 `status`**（三句话）。
|
||||
3. **判据来自页面。你的眼睛比任何正则都准。**
|
||||
4. **不许发明**：抓不到 ⇒ 写「未取到：<URL> + <错误原文>」。**判不准的贴出来，不要归类掉。**
|
||||
5. **不要从 sitemap 全量枚举 URL**（METHOD.md §6 反面清单第一条）。
|
||||
6. **只做这一所学校。**
|
||||
|
||||
@@ -0,0 +1,97 @@
|
||||
# 课题组逐院系采集 · 牛津大学（英国）· 现有 22 条
|
||||
|
||||
**入口普查的判型**：研究生学科领域页（误抓）
|
||||
**现有 group_url 形态**：``www.medsci.ox.ac.uk / study/graduateschool/subject-areas``
|
||||
|
||||
⚠️ 这是**换源重采**：旧数据整体推翻，不要参照它。 · Win1 · Manager 2026-09-24
|
||||
|
||||
## 0. 先读方法件（**不要重新发明方法**）
|
||||
|
||||
工作区：`C:\Users\Administrator\orca\projects\英澳博士课题组数据`
|
||||
|
||||
- **`method/METHOD.md`** —— 活的采集方法。**重点看 §1「入口发现」与 §6「反面清单」。**
|
||||
- `method/finding_edinburgh_v2.md` —— 完备性标杆（643 组 / 24 院系）
|
||||
- `method/finding_anu_v2.md` · `finding_qub_v2.md` · `finding_bath_v2.md` —— 最近几所
|
||||
- `tasks/` —— 其它任务书
|
||||
|
||||
一句话：
|
||||
|
||||
> **找「组目录」，不要枚举 URL。**
|
||||
> 官方院系导航 → 各院系 `/research/` → **该页上的「组目录」**
|
||||
> （`research-groups` / `research-centres` / `groups` / `institutes` / `labs`，
|
||||
> **最高价值是「每个组由一位 PI 带」的目录**）。**入口 20–60 个/校。**
|
||||
|
||||
**参考已跑通的**：`products/` 下各校 `*__groups*.json` 是产物格式。
|
||||
|
||||
---
|
||||
|
||||
## 1. 本波只做这一所：**牛津大学（英国）· 现有 22 条
|
||||
|
||||
**入口普查的判型**：研究生学科领域页（误抓）
|
||||
**现有 group_url 形态**：``www.medsci.ox.ac.uk / study/graduateschool/subject-areas``
|
||||
|
||||
⚠️ 这是**换源重采**：旧数据整体推翻，不要参照它。**
|
||||
|
||||
---
|
||||
|
||||
## 2. 交付（**门槛，不是"尽量"**）
|
||||
|
||||
1. **院系台账（缺一行 = 没做完）**
|
||||
`院系（全部）| research 入口 URL | 状态（取到 / 取不到：<原因>）| 组数`
|
||||
—— 院系清单从**学校官方导航**拿；**给出枚举来源 URL 与总数**；**`未取页 = 0`**
|
||||
2. **全量候选产物**：`products/<slug>_v3__groups.json`
|
||||
（五字段：课题组名称 / 所在大学及研究中心 / 研究方向 / 联系邮箱 / 最近五年论文数=null）
|
||||
—— **启发式自动抽，不逐条判**
|
||||
3. **随机抽 30 条逐条开页面核** → **准确率** + **假阳性类型** + **能否定点修掉**
|
||||
- 准确率 **≥90% 且类型集中** ⇒ 定点修那一类，**全量直接用，不再逐页核**
|
||||
4. **合理性校验**：`组数 ÷ 院系数`。**比值荒谬地低 ⇒ 回头找「组目录」那一层**
|
||||
（不是去爬更多 URL）。确认"再下一层没有组"要贴原文结构作证。
|
||||
5. **反例 / 判不准 / 未验清单**（附页面原文）
|
||||
6. 一句话：**最终组数？完备性有没有缺口？**
|
||||
|
||||
产物写 `products/`，报告写 `reports/finding_<slug>_v3.md`（目录不存在就建）。
|
||||
|
||||
---
|
||||
|
||||
## 3. 判据与字段（摘要；**细则以 METHOD.md §2 为准**）
|
||||
|
||||
> **打开页面像人一样看：这是不是一个「导师带的做研究的团队」？**
|
||||
> **粒度上限 = 一个导师能带的规模。**
|
||||
> 大一级（institute / theme / cluster / 校级研究所）**不收**；
|
||||
> **但大一级下面挂着真组时，只收内层组。**
|
||||
|
||||
**不是组**：服务设施 · 研讨会系列 · 项目 · 学生培养计划 · 单项研究 · 空页重定向 · 无负责人的方向页。
|
||||
**共性是页面上有一句「非团队自述」—— 你去看那句话。**
|
||||
|
||||
| 字段 | 取法 |
|
||||
|---|---|
|
||||
| 课题组名称 | 该组**自己页面**的 H1（无 H1 用 `<title>`；JS 渲染/表格行用目录里的官方组名并标 `_name_source`）。⚠️ 无官方组名的**按 `<负责人> 团队` 渲染并标 `_name_source: rendered_from_leader`**，且要查重防撞 |
|
||||
| 所在大学及研究中心 | 大学 + **真实上级研究单位**；⚠️ 上级是系/院/学部的**不许当研究中心写**，没有真上级就**只写大学** |
|
||||
| 研究方向 | 该组页上的方向文字。**没有 ⇒ 不要** |
|
||||
| 联系邮箱 | 只接受**本组页 / 本组负责人页**的邮箱 |
|
||||
| 最近五年论文数 | null |
|
||||
|
||||
---
|
||||
|
||||
## 4. ⚠️ 并行安全（出过事故，必须照做）
|
||||
|
||||
5 个 worker 曾挤在**同一个 ego-browser Space 的同一个 page** 上 ⇒ 297 页跨校串页、整批作废。
|
||||
|
||||
1. **自己新建一个 TaskSpace**（不要复用别人已有的）
|
||||
2. **每个 URL 用独占的 `newPage()`**，**不要共用 p1**
|
||||
3. **每取一页校验 `page.url()` 与目标一致**；不一致 ⇒ 废掉重取
|
||||
4. 成功时收尾调一次 `await task.finish({ keep: [] })`；**因错误停止就别调**，把 `spaceId` 报上来
|
||||
|
||||
⚠️ 本机浏览器可能被用户接管（`ownership: user`）—— 遇到就**立刻停手、不重试**，把 `spaceId` 报上来。
|
||||
|
||||
---
|
||||
|
||||
## 5. 硬要求
|
||||
|
||||
1. **只在本项目内写**（`products/` `reports/`）。不碰别的项目、不碰线上库。
|
||||
2. **不设时间盒，做完整为止。** 但**每做完一个院系报一次 `status`**（三句话）。
|
||||
3. **判据来自页面。你的眼睛比任何正则都准。**
|
||||
4. **不许发明**：抓不到 ⇒ 写「未取到：<URL> + <错误原文>」。**判不准的贴出来，不要归类掉。**
|
||||
5. **不要从 sitemap 全量枚举 URL**（METHOD.md §6 反面清单第一条）。
|
||||
6. **只做这一所学校。**
|
||||
|
||||
@@ -0,0 +1,97 @@
|
||||
# 课题组逐院系采集 · 南昆士兰大学（澳新）· 现有 19 条
|
||||
|
||||
**入口普查的判型**：自建 research 目录/课题组页
|
||||
**现有 group_url 形态**：``www.unisq.edu.au / research/institutes-centres/<slug>``
|
||||
|
||||
⚠️ 这是**换源重采**：旧数据整体推翻，不要参照它。 · Win1 · Manager 2026-09-24
|
||||
|
||||
## 0. 先读方法件（**不要重新发明方法**）
|
||||
|
||||
工作区：`C:\Users\Administrator\orca\projects\英澳博士课题组数据`
|
||||
|
||||
- **`method/METHOD.md`** —— 活的采集方法。**重点看 §1「入口发现」与 §6「反面清单」。**
|
||||
- `method/finding_edinburgh_v2.md` —— 完备性标杆（643 组 / 24 院系）
|
||||
- `method/finding_anu_v2.md` · `finding_qub_v2.md` · `finding_bath_v2.md` —— 最近几所
|
||||
- `tasks/` —— 其它任务书
|
||||
|
||||
一句话：
|
||||
|
||||
> **找「组目录」，不要枚举 URL。**
|
||||
> 官方院系导航 → 各院系 `/research/` → **该页上的「组目录」**
|
||||
> （`research-groups` / `research-centres` / `groups` / `institutes` / `labs`，
|
||||
> **最高价值是「每个组由一位 PI 带」的目录**）。**入口 20–60 个/校。**
|
||||
|
||||
**参考已跑通的**：`products/` 下各校 `*__groups*.json` 是产物格式。
|
||||
|
||||
---
|
||||
|
||||
## 1. 本波只做这一所：**南昆士兰大学（澳新）· 现有 19 条
|
||||
|
||||
**入口普查的判型**：自建 research 目录/课题组页
|
||||
**现有 group_url 形态**：``www.unisq.edu.au / research/institutes-centres/<slug>``
|
||||
|
||||
⚠️ 这是**换源重采**：旧数据整体推翻，不要参照它。**
|
||||
|
||||
---
|
||||
|
||||
## 2. 交付（**门槛，不是"尽量"**）
|
||||
|
||||
1. **院系台账（缺一行 = 没做完）**
|
||||
`院系（全部）| research 入口 URL | 状态（取到 / 取不到：<原因>）| 组数`
|
||||
—— 院系清单从**学校官方导航**拿；**给出枚举来源 URL 与总数**；**`未取页 = 0`**
|
||||
2. **全量候选产物**：`products/<slug>_v3__groups.json`
|
||||
（五字段：课题组名称 / 所在大学及研究中心 / 研究方向 / 联系邮箱 / 最近五年论文数=null）
|
||||
—— **启发式自动抽，不逐条判**
|
||||
3. **随机抽 30 条逐条开页面核** → **准确率** + **假阳性类型** + **能否定点修掉**
|
||||
- 准确率 **≥90% 且类型集中** ⇒ 定点修那一类，**全量直接用，不再逐页核**
|
||||
4. **合理性校验**：`组数 ÷ 院系数`。**比值荒谬地低 ⇒ 回头找「组目录」那一层**
|
||||
（不是去爬更多 URL）。确认"再下一层没有组"要贴原文结构作证。
|
||||
5. **反例 / 判不准 / 未验清单**（附页面原文）
|
||||
6. 一句话：**最终组数？完备性有没有缺口？**
|
||||
|
||||
产物写 `products/`，报告写 `reports/finding_<slug>_v3.md`（目录不存在就建）。
|
||||
|
||||
---
|
||||
|
||||
## 3. 判据与字段（摘要；**细则以 METHOD.md §2 为准**）
|
||||
|
||||
> **打开页面像人一样看：这是不是一个「导师带的做研究的团队」？**
|
||||
> **粒度上限 = 一个导师能带的规模。**
|
||||
> 大一级（institute / theme / cluster / 校级研究所）**不收**；
|
||||
> **但大一级下面挂着真组时，只收内层组。**
|
||||
|
||||
**不是组**：服务设施 · 研讨会系列 · 项目 · 学生培养计划 · 单项研究 · 空页重定向 · 无负责人的方向页。
|
||||
**共性是页面上有一句「非团队自述」—— 你去看那句话。**
|
||||
|
||||
| 字段 | 取法 |
|
||||
|---|---|
|
||||
| 课题组名称 | 该组**自己页面**的 H1（无 H1 用 `<title>`；JS 渲染/表格行用目录里的官方组名并标 `_name_source`）。⚠️ 无官方组名的**按 `<负责人> 团队` 渲染并标 `_name_source: rendered_from_leader`**，且要查重防撞 |
|
||||
| 所在大学及研究中心 | 大学 + **真实上级研究单位**；⚠️ 上级是系/院/学部的**不许当研究中心写**，没有真上级就**只写大学** |
|
||||
| 研究方向 | 该组页上的方向文字。**没有 ⇒ 不要** |
|
||||
| 联系邮箱 | 只接受**本组页 / 本组负责人页**的邮箱 |
|
||||
| 最近五年论文数 | null |
|
||||
|
||||
---
|
||||
|
||||
## 4. ⚠️ 并行安全（出过事故，必须照做）
|
||||
|
||||
5 个 worker 曾挤在**同一个 ego-browser Space 的同一个 page** 上 ⇒ 297 页跨校串页、整批作废。
|
||||
|
||||
1. **自己新建一个 TaskSpace**（不要复用别人已有的）
|
||||
2. **每个 URL 用独占的 `newPage()`**，**不要共用 p1**
|
||||
3. **每取一页校验 `page.url()` 与目标一致**；不一致 ⇒ 废掉重取
|
||||
4. 成功时收尾调一次 `await task.finish({ keep: [] })`；**因错误停止就别调**，把 `spaceId` 报上来
|
||||
|
||||
⚠️ 本机浏览器可能被用户接管（`ownership: user`）—— 遇到就**立刻停手、不重试**，把 `spaceId` 报上来。
|
||||
|
||||
---
|
||||
|
||||
## 5. 硬要求
|
||||
|
||||
1. **只在本项目内写**（`products/` `reports/`）。不碰别的项目、不碰线上库。
|
||||
2. **不设时间盒，做完整为止。** 但**每做完一个院系报一次 `status`**（三句话）。
|
||||
3. **判据来自页面。你的眼睛比任何正则都准。**
|
||||
4. **不许发明**：抓不到 ⇒ 写「未取到：<URL> + <错误原文>」。**判不准的贴出来，不要归类掉。**
|
||||
5. **不要从 sitemap 全量枚举 URL**（METHOD.md §6 反面清单第一条）。
|
||||
6. **只做这一所学校。**
|
||||
|
||||
@@ -0,0 +1,99 @@
|
||||
# 课题组逐院系采集 · 卡迪夫大学（英国）· 现有 234 条
|
||||
|
||||
**入口普查的判型**：自建 research-units 目录（含部门/学科）
|
||||
**现有 group_url 形态**：``www.cardiff.ac.uk / research/explore/research-units``
|
||||
|
||||
⚠️ 这是**换源重采**：旧数据整体推翻，不要参照它。
|
||||
本条是**入口普查已定**的那批（61 校/3501 条可收 2817）；按 METHOD.md 从院系站重找组目录。 · Win1 · Manager 2026-09-24
|
||||
|
||||
## 0. 先读方法件（**不要重新发明方法**）
|
||||
|
||||
工作区：`C:\Users\Administrator\orca\projects\英澳博士课题组数据`
|
||||
|
||||
- **`method/METHOD.md`** —— 活的采集方法。**重点看 §1「入口发现」与 §6「反面清单」。**
|
||||
- `method/finding_edinburgh_v2.md` —— 完备性标杆（643 组 / 24 院系）
|
||||
- `method/finding_anu_v2.md` · `finding_qub_v2.md` · `finding_bath_v2.md` —— 最近几所
|
||||
- `tasks/` —— 其它任务书
|
||||
|
||||
一句话：
|
||||
|
||||
> **找「组目录」，不要枚举 URL。**
|
||||
> 官方院系导航 → 各院系 `/research/` → **该页上的「组目录」**
|
||||
> （`research-groups` / `research-centres` / `groups` / `institutes` / `labs`，
|
||||
> **最高价值是「每个组由一位 PI 带」的目录**）。**入口 20–60 个/校。**
|
||||
|
||||
**参考已跑通的**：`products/` 下各校 `*__groups*.json` 是产物格式。
|
||||
|
||||
---
|
||||
|
||||
## 1. 本波只做这一所：**卡迪夫大学（英国）· 现有 234 条
|
||||
|
||||
**入口普查的判型**：自建 research-units 目录（含部门/学科）
|
||||
**现有 group_url 形态**：``www.cardiff.ac.uk / research/explore/research-units``
|
||||
|
||||
⚠️ 这是**换源重采**：旧数据整体推翻，不要参照它。
|
||||
本条是**入口普查已定**的那批（61 校/3501 条可收 2817）；按 METHOD.md 从院系站重找组目录。**
|
||||
|
||||
---
|
||||
|
||||
## 2. 交付（**门槛，不是"尽量"**）
|
||||
|
||||
1. **院系台账（缺一行 = 没做完）**
|
||||
`院系（全部）| research 入口 URL | 状态（取到 / 取不到：<原因>）| 组数`
|
||||
—— 院系清单从**学校官方导航**拿；**给出枚举来源 URL 与总数**；**`未取页 = 0`**
|
||||
2. **全量候选产物**：`products/<slug>_v3__groups.json`
|
||||
（五字段：课题组名称 / 所在大学及研究中心 / 研究方向 / 联系邮箱 / 最近五年论文数=null）
|
||||
—— **启发式自动抽，不逐条判**
|
||||
3. **随机抽 30 条逐条开页面核** → **准确率** + **假阳性类型** + **能否定点修掉**
|
||||
- 准确率 **≥90% 且类型集中** ⇒ 定点修那一类，**全量直接用，不再逐页核**
|
||||
4. **合理性校验**：`组数 ÷ 院系数`。**比值荒谬地低 ⇒ 回头找「组目录」那一层**
|
||||
（不是去爬更多 URL）。确认"再下一层没有组"要贴原文结构作证。
|
||||
5. **反例 / 判不准 / 未验清单**（附页面原文）
|
||||
6. 一句话：**最终组数？完备性有没有缺口？**
|
||||
|
||||
产物写 `products/`，报告写 `reports/finding_<slug>_v3.md`（目录不存在就建）。
|
||||
|
||||
---
|
||||
|
||||
## 3. 判据与字段（摘要；**细则以 METHOD.md §2 为准**）
|
||||
|
||||
> **打开页面像人一样看：这是不是一个「导师带的做研究的团队」？**
|
||||
> **粒度上限 = 一个导师能带的规模。**
|
||||
> 大一级（institute / theme / cluster / 校级研究所）**不收**；
|
||||
> **但大一级下面挂着真组时，只收内层组。**
|
||||
|
||||
**不是组**：服务设施 · 研讨会系列 · 项目 · 学生培养计划 · 单项研究 · 空页重定向 · 无负责人的方向页。
|
||||
**共性是页面上有一句「非团队自述」—— 你去看那句话。**
|
||||
|
||||
| 字段 | 取法 |
|
||||
|---|---|
|
||||
| 课题组名称 | 该组**自己页面**的 H1（无 H1 用 `<title>`；JS 渲染/表格行用目录里的官方组名并标 `_name_source`）。⚠️ 无官方组名的**按 `<负责人> 团队` 渲染并标 `_name_source: rendered_from_leader`**，且要查重防撞 |
|
||||
| 所在大学及研究中心 | 大学 + **真实上级研究单位**；⚠️ 上级是系/院/学部的**不许当研究中心写**，没有真上级就**只写大学** |
|
||||
| 研究方向 | 该组页上的方向文字。**没有 ⇒ 不要** |
|
||||
| 联系邮箱 | 只接受**本组页 / 本组负责人页**的邮箱 |
|
||||
| 最近五年论文数 | null |
|
||||
|
||||
---
|
||||
|
||||
## 4. ⚠️ 并行安全（出过事故，必须照做）
|
||||
|
||||
5 个 worker 曾挤在**同一个 ego-browser Space 的同一个 page** 上 ⇒ 297 页跨校串页、整批作废。
|
||||
|
||||
1. **自己新建一个 TaskSpace**（不要复用别人已有的）
|
||||
2. **每个 URL 用独占的 `newPage()`**，**不要共用 p1**
|
||||
3. **每取一页校验 `page.url()` 与目标一致**；不一致 ⇒ 废掉重取
|
||||
4. 成功时收尾调一次 `await task.finish({ keep: [] })`；**因错误停止就别调**，把 `spaceId` 报上来
|
||||
|
||||
⚠️ 本机浏览器可能被用户接管（`ownership: user`）—— 遇到就**立刻停手、不重试**，把 `spaceId` 报上来。
|
||||
|
||||
---
|
||||
|
||||
## 5. 硬要求
|
||||
|
||||
1. **只在本项目内写**（`products/` `reports/`）。不碰别的项目、不碰线上库。
|
||||
2. **不设时间盒，做完整为止。** 但**每做完一个院系报一次 `status`**（三句话）。
|
||||
3. **判据来自页面。你的眼睛比任何正则都准。**
|
||||
4. **不许发明**：抓不到 ⇒ 写「未取到：<URL> + <错误原文>」。**判不准的贴出来，不要归类掉。**
|
||||
5. **不要从 sitemap 全量枚举 URL**（METHOD.md §6 反面清单第一条）。
|
||||
6. **只做这一所学校。**
|
||||
|
||||
@@ -0,0 +1,97 @@
|
||||
# 课题组逐院系采集 · 哈珀亚当斯大学（英国）· 现有 19 条
|
||||
|
||||
**入口普查的判型**：自建 research 站点
|
||||
**现有 group_url 形态**：``www.harper-adams.ac.uk / research/<n>/research-centre``
|
||||
|
||||
⚠️ 这是**换源重采**：旧数据整体推翻，不要参照它。 · Win1 · Manager 2026-09-24
|
||||
|
||||
## 0. 先读方法件（**不要重新发明方法**）
|
||||
|
||||
工作区：`C:\Users\Administrator\orca\projects\英澳博士课题组数据`
|
||||
|
||||
- **`method/METHOD.md`** —— 活的采集方法。**重点看 §1「入口发现」与 §6「反面清单」。**
|
||||
- `method/finding_edinburgh_v2.md` —— 完备性标杆（643 组 / 24 院系）
|
||||
- `method/finding_anu_v2.md` · `finding_qub_v2.md` · `finding_bath_v2.md` —— 最近几所
|
||||
- `tasks/` —— 其它任务书
|
||||
|
||||
一句话：
|
||||
|
||||
> **找「组目录」，不要枚举 URL。**
|
||||
> 官方院系导航 → 各院系 `/research/` → **该页上的「组目录」**
|
||||
> （`research-groups` / `research-centres` / `groups` / `institutes` / `labs`，
|
||||
> **最高价值是「每个组由一位 PI 带」的目录**）。**入口 20–60 个/校。**
|
||||
|
||||
**参考已跑通的**：`products/` 下各校 `*__groups*.json` 是产物格式。
|
||||
|
||||
---
|
||||
|
||||
## 1. 本波只做这一所：**哈珀亚当斯大学（英国）· 现有 19 条
|
||||
|
||||
**入口普查的判型**：自建 research 站点
|
||||
**现有 group_url 形态**：``www.harper-adams.ac.uk / research/<n>/research-centre``
|
||||
|
||||
⚠️ 这是**换源重采**：旧数据整体推翻，不要参照它。**
|
||||
|
||||
---
|
||||
|
||||
## 2. 交付（**门槛，不是"尽量"**）
|
||||
|
||||
1. **院系台账（缺一行 = 没做完）**
|
||||
`院系（全部）| research 入口 URL | 状态（取到 / 取不到：<原因>）| 组数`
|
||||
—— 院系清单从**学校官方导航**拿；**给出枚举来源 URL 与总数**；**`未取页 = 0`**
|
||||
2. **全量候选产物**：`products/<slug>_v3__groups.json`
|
||||
（五字段：课题组名称 / 所在大学及研究中心 / 研究方向 / 联系邮箱 / 最近五年论文数=null）
|
||||
—— **启发式自动抽，不逐条判**
|
||||
3. **随机抽 30 条逐条开页面核** → **准确率** + **假阳性类型** + **能否定点修掉**
|
||||
- 准确率 **≥90% 且类型集中** ⇒ 定点修那一类，**全量直接用，不再逐页核**
|
||||
4. **合理性校验**：`组数 ÷ 院系数`。**比值荒谬地低 ⇒ 回头找「组目录」那一层**
|
||||
（不是去爬更多 URL）。确认"再下一层没有组"要贴原文结构作证。
|
||||
5. **反例 / 判不准 / 未验清单**（附页面原文）
|
||||
6. 一句话：**最终组数？完备性有没有缺口？**
|
||||
|
||||
产物写 `products/`，报告写 `reports/finding_<slug>_v3.md`（目录不存在就建）。
|
||||
|
||||
---
|
||||
|
||||
## 3. 判据与字段（摘要；**细则以 METHOD.md §2 为准**）
|
||||
|
||||
> **打开页面像人一样看：这是不是一个「导师带的做研究的团队」？**
|
||||
> **粒度上限 = 一个导师能带的规模。**
|
||||
> 大一级（institute / theme / cluster / 校级研究所）**不收**；
|
||||
> **但大一级下面挂着真组时，只收内层组。**
|
||||
|
||||
**不是组**：服务设施 · 研讨会系列 · 项目 · 学生培养计划 · 单项研究 · 空页重定向 · 无负责人的方向页。
|
||||
**共性是页面上有一句「非团队自述」—— 你去看那句话。**
|
||||
|
||||
| 字段 | 取法 |
|
||||
|---|---|
|
||||
| 课题组名称 | 该组**自己页面**的 H1（无 H1 用 `<title>`；JS 渲染/表格行用目录里的官方组名并标 `_name_source`）。⚠️ 无官方组名的**按 `<负责人> 团队` 渲染并标 `_name_source: rendered_from_leader`**，且要查重防撞 |
|
||||
| 所在大学及研究中心 | 大学 + **真实上级研究单位**；⚠️ 上级是系/院/学部的**不许当研究中心写**，没有真上级就**只写大学** |
|
||||
| 研究方向 | 该组页上的方向文字。**没有 ⇒ 不要** |
|
||||
| 联系邮箱 | 只接受**本组页 / 本组负责人页**的邮箱 |
|
||||
| 最近五年论文数 | null |
|
||||
|
||||
---
|
||||
|
||||
## 4. ⚠️ 并行安全（出过事故，必须照做）
|
||||
|
||||
5 个 worker 曾挤在**同一个 ego-browser Space 的同一个 page** 上 ⇒ 297 页跨校串页、整批作废。
|
||||
|
||||
1. **自己新建一个 TaskSpace**（不要复用别人已有的）
|
||||
2. **每个 URL 用独占的 `newPage()`**，**不要共用 p1**
|
||||
3. **每取一页校验 `page.url()` 与目标一致**；不一致 ⇒ 废掉重取
|
||||
4. 成功时收尾调一次 `await task.finish({ keep: [] })`；**因错误停止就别调**，把 `spaceId` 报上来
|
||||
|
||||
⚠️ 本机浏览器可能被用户接管（`ownership: user`）—— 遇到就**立刻停手、不重试**，把 `spaceId` 报上来。
|
||||
|
||||
---
|
||||
|
||||
## 5. 硬要求
|
||||
|
||||
1. **只在本项目内写**（`products/` `reports/`）。不碰别的项目、不碰线上库。
|
||||
2. **不设时间盒，做完整为止。** 但**每做完一个院系报一次 `status`**（三句话）。
|
||||
3. **判据来自页面。你的眼睛比任何正则都准。**
|
||||
4. **不许发明**：抓不到 ⇒ 写「未取到：<URL> + <错误原文>」。**判不准的贴出来，不要归类掉。**
|
||||
5. **不要从 sitemap 全量枚举 URL**（METHOD.md §6 反面清单第一条）。
|
||||
6. **只做这一所学校。**
|
||||
|
||||
@@ -0,0 +1,97 @@
|
||||
# 课题组逐院系采集 · 中央昆士兰大学（澳新）· 现有 18 条
|
||||
|
||||
**入口普查的判型**：自建 research 目录/课题组页
|
||||
**现有 group_url 形态**：``www.cqu.edu.au / research/organisations/<slug>``
|
||||
|
||||
⚠️ 这是**换源重采**：旧数据整体推翻，不要参照它。 · Win1 · Manager 2026-09-24
|
||||
|
||||
## 0. 先读方法件（**不要重新发明方法**）
|
||||
|
||||
工作区：`C:\Users\Administrator\orca\projects\英澳博士课题组数据`
|
||||
|
||||
- **`method/METHOD.md`** —— 活的采集方法。**重点看 §1「入口发现」与 §6「反面清单」。**
|
||||
- `method/finding_edinburgh_v2.md` —— 完备性标杆（643 组 / 24 院系）
|
||||
- `method/finding_anu_v2.md` · `finding_qub_v2.md` · `finding_bath_v2.md` —— 最近几所
|
||||
- `tasks/` —— 其它任务书
|
||||
|
||||
一句话：
|
||||
|
||||
> **找「组目录」，不要枚举 URL。**
|
||||
> 官方院系导航 → 各院系 `/research/` → **该页上的「组目录」**
|
||||
> （`research-groups` / `research-centres` / `groups` / `institutes` / `labs`，
|
||||
> **最高价值是「每个组由一位 PI 带」的目录**）。**入口 20–60 个/校。**
|
||||
|
||||
**参考已跑通的**：`products/` 下各校 `*__groups*.json` 是产物格式。
|
||||
|
||||
---
|
||||
|
||||
## 1. 本波只做这一所：**中央昆士兰大学（澳新）· 现有 18 条
|
||||
|
||||
**入口普查的判型**：自建 research 目录/课题组页
|
||||
**现有 group_url 形态**：``www.cqu.edu.au / research/organisations/<slug>``
|
||||
|
||||
⚠️ 这是**换源重采**：旧数据整体推翻，不要参照它。**
|
||||
|
||||
---
|
||||
|
||||
## 2. 交付（**门槛，不是"尽量"**）
|
||||
|
||||
1. **院系台账（缺一行 = 没做完）**
|
||||
`院系（全部）| research 入口 URL | 状态（取到 / 取不到：<原因>）| 组数`
|
||||
—— 院系清单从**学校官方导航**拿；**给出枚举来源 URL 与总数**；**`未取页 = 0`**
|
||||
2. **全量候选产物**：`products/<slug>_v3__groups.json`
|
||||
（五字段：课题组名称 / 所在大学及研究中心 / 研究方向 / 联系邮箱 / 最近五年论文数=null）
|
||||
—— **启发式自动抽，不逐条判**
|
||||
3. **随机抽 30 条逐条开页面核** → **准确率** + **假阳性类型** + **能否定点修掉**
|
||||
- 准确率 **≥90% 且类型集中** ⇒ 定点修那一类，**全量直接用，不再逐页核**
|
||||
4. **合理性校验**：`组数 ÷ 院系数`。**比值荒谬地低 ⇒ 回头找「组目录」那一层**
|
||||
（不是去爬更多 URL）。确认"再下一层没有组"要贴原文结构作证。
|
||||
5. **反例 / 判不准 / 未验清单**（附页面原文）
|
||||
6. 一句话：**最终组数？完备性有没有缺口？**
|
||||
|
||||
产物写 `products/`，报告写 `reports/finding_<slug>_v3.md`（目录不存在就建）。
|
||||
|
||||
---
|
||||
|
||||
## 3. 判据与字段（摘要；**细则以 METHOD.md §2 为准**）
|
||||
|
||||
> **打开页面像人一样看：这是不是一个「导师带的做研究的团队」？**
|
||||
> **粒度上限 = 一个导师能带的规模。**
|
||||
> 大一级（institute / theme / cluster / 校级研究所）**不收**；
|
||||
> **但大一级下面挂着真组时，只收内层组。**
|
||||
|
||||
**不是组**：服务设施 · 研讨会系列 · 项目 · 学生培养计划 · 单项研究 · 空页重定向 · 无负责人的方向页。
|
||||
**共性是页面上有一句「非团队自述」—— 你去看那句话。**
|
||||
|
||||
| 字段 | 取法 |
|
||||
|---|---|
|
||||
| 课题组名称 | 该组**自己页面**的 H1（无 H1 用 `<title>`；JS 渲染/表格行用目录里的官方组名并标 `_name_source`）。⚠️ 无官方组名的**按 `<负责人> 团队` 渲染并标 `_name_source: rendered_from_leader`**，且要查重防撞 |
|
||||
| 所在大学及研究中心 | 大学 + **真实上级研究单位**；⚠️ 上级是系/院/学部的**不许当研究中心写**，没有真上级就**只写大学** |
|
||||
| 研究方向 | 该组页上的方向文字。**没有 ⇒ 不要** |
|
||||
| 联系邮箱 | 只接受**本组页 / 本组负责人页**的邮箱 |
|
||||
| 最近五年论文数 | null |
|
||||
|
||||
---
|
||||
|
||||
## 4. ⚠️ 并行安全（出过事故，必须照做）
|
||||
|
||||
5 个 worker 曾挤在**同一个 ego-browser Space 的同一个 page** 上 ⇒ 297 页跨校串页、整批作废。
|
||||
|
||||
1. **自己新建一个 TaskSpace**（不要复用别人已有的）
|
||||
2. **每个 URL 用独占的 `newPage()`**，**不要共用 p1**
|
||||
3. **每取一页校验 `page.url()` 与目标一致**；不一致 ⇒ 废掉重取
|
||||
4. 成功时收尾调一次 `await task.finish({ keep: [] })`；**因错误停止就别调**，把 `spaceId` 报上来
|
||||
|
||||
⚠️ 本机浏览器可能被用户接管（`ownership: user`）—— 遇到就**立刻停手、不重试**，把 `spaceId` 报上来。
|
||||
|
||||
---
|
||||
|
||||
## 5. 硬要求
|
||||
|
||||
1. **只在本项目内写**（`products/` `reports/`）。不碰别的项目、不碰线上库。
|
||||
2. **不设时间盒，做完整为止。** 但**每做完一个院系报一次 `status`**（三句话）。
|
||||
3. **判据来自页面。你的眼睛比任何正则都准。**
|
||||
4. **不许发明**：抓不到 ⇒ 写「未取到：<URL> + <错误原文>」。**判不准的贴出来，不要归类掉。**
|
||||
5. **不要从 sitemap 全量枚举 URL**（METHOD.md §6 反面清单第一条）。
|
||||
6. **只做这一所学校。**
|
||||
|
||||
@@ -0,0 +1,97 @@
|
||||
# 课题组逐院系采集 · 埃蒂斯科文大学（澳新）· 现有 18 条
|
||||
|
||||
**入口普查的判型**：自建 research 站点
|
||||
**现有 group_url 形态**：``www.ecu.edu.au / schools/engineering/research-activity``
|
||||
|
||||
⚠️ 这是**换源重采**：旧数据整体推翻，不要参照它。 · Win1 · Manager 2026-09-24
|
||||
|
||||
## 0. 先读方法件（**不要重新发明方法**）
|
||||
|
||||
工作区：`C:\Users\Administrator\orca\projects\英澳博士课题组数据`
|
||||
|
||||
- **`method/METHOD.md`** —— 活的采集方法。**重点看 §1「入口发现」与 §6「反面清单」。**
|
||||
- `method/finding_edinburgh_v2.md` —— 完备性标杆（643 组 / 24 院系）
|
||||
- `method/finding_anu_v2.md` · `finding_qub_v2.md` · `finding_bath_v2.md` —— 最近几所
|
||||
- `tasks/` —— 其它任务书
|
||||
|
||||
一句话：
|
||||
|
||||
> **找「组目录」，不要枚举 URL。**
|
||||
> 官方院系导航 → 各院系 `/research/` → **该页上的「组目录」**
|
||||
> （`research-groups` / `research-centres` / `groups` / `institutes` / `labs`，
|
||||
> **最高价值是「每个组由一位 PI 带」的目录**）。**入口 20–60 个/校。**
|
||||
|
||||
**参考已跑通的**：`products/` 下各校 `*__groups*.json` 是产物格式。
|
||||
|
||||
---
|
||||
|
||||
## 1. 本波只做这一所：**埃蒂斯科文大学（澳新）· 现有 18 条
|
||||
|
||||
**入口普查的判型**：自建 research 站点
|
||||
**现有 group_url 形态**：``www.ecu.edu.au / schools/engineering/research-activity``
|
||||
|
||||
⚠️ 这是**换源重采**：旧数据整体推翻，不要参照它。**
|
||||
|
||||
---
|
||||
|
||||
## 2. 交付（**门槛，不是"尽量"**）
|
||||
|
||||
1. **院系台账（缺一行 = 没做完）**
|
||||
`院系（全部）| research 入口 URL | 状态（取到 / 取不到：<原因>）| 组数`
|
||||
—— 院系清单从**学校官方导航**拿；**给出枚举来源 URL 与总数**；**`未取页 = 0`**
|
||||
2. **全量候选产物**：`products/<slug>_v3__groups.json`
|
||||
（五字段：课题组名称 / 所在大学及研究中心 / 研究方向 / 联系邮箱 / 最近五年论文数=null）
|
||||
—— **启发式自动抽，不逐条判**
|
||||
3. **随机抽 30 条逐条开页面核** → **准确率** + **假阳性类型** + **能否定点修掉**
|
||||
- 准确率 **≥90% 且类型集中** ⇒ 定点修那一类，**全量直接用，不再逐页核**
|
||||
4. **合理性校验**：`组数 ÷ 院系数`。**比值荒谬地低 ⇒ 回头找「组目录」那一层**
|
||||
（不是去爬更多 URL）。确认"再下一层没有组"要贴原文结构作证。
|
||||
5. **反例 / 判不准 / 未验清单**（附页面原文）
|
||||
6. 一句话：**最终组数？完备性有没有缺口？**
|
||||
|
||||
产物写 `products/`，报告写 `reports/finding_<slug>_v3.md`（目录不存在就建）。
|
||||
|
||||
---
|
||||
|
||||
## 3. 判据与字段（摘要；**细则以 METHOD.md §2 为准**）
|
||||
|
||||
> **打开页面像人一样看：这是不是一个「导师带的做研究的团队」？**
|
||||
> **粒度上限 = 一个导师能带的规模。**
|
||||
> 大一级（institute / theme / cluster / 校级研究所）**不收**；
|
||||
> **但大一级下面挂着真组时，只收内层组。**
|
||||
|
||||
**不是组**：服务设施 · 研讨会系列 · 项目 · 学生培养计划 · 单项研究 · 空页重定向 · 无负责人的方向页。
|
||||
**共性是页面上有一句「非团队自述」—— 你去看那句话。**
|
||||
|
||||
| 字段 | 取法 |
|
||||
|---|---|
|
||||
| 课题组名称 | 该组**自己页面**的 H1（无 H1 用 `<title>`；JS 渲染/表格行用目录里的官方组名并标 `_name_source`）。⚠️ 无官方组名的**按 `<负责人> 团队` 渲染并标 `_name_source: rendered_from_leader`**，且要查重防撞 |
|
||||
| 所在大学及研究中心 | 大学 + **真实上级研究单位**；⚠️ 上级是系/院/学部的**不许当研究中心写**，没有真上级就**只写大学** |
|
||||
| 研究方向 | 该组页上的方向文字。**没有 ⇒ 不要** |
|
||||
| 联系邮箱 | 只接受**本组页 / 本组负责人页**的邮箱 |
|
||||
| 最近五年论文数 | null |
|
||||
|
||||
---
|
||||
|
||||
## 4. ⚠️ 并行安全（出过事故，必须照做）
|
||||
|
||||
5 个 worker 曾挤在**同一个 ego-browser Space 的同一个 page** 上 ⇒ 297 页跨校串页、整批作废。
|
||||
|
||||
1. **自己新建一个 TaskSpace**（不要复用别人已有的）
|
||||
2. **每个 URL 用独占的 `newPage()`**，**不要共用 p1**
|
||||
3. **每取一页校验 `page.url()` 与目标一致**；不一致 ⇒ 废掉重取
|
||||
4. 成功时收尾调一次 `await task.finish({ keep: [] })`；**因错误停止就别调**，把 `spaceId` 报上来
|
||||
|
||||
⚠️ 本机浏览器可能被用户接管（`ownership: user`）—— 遇到就**立刻停手、不重试**，把 `spaceId` 报上来。
|
||||
|
||||
---
|
||||
|
||||
## 5. 硬要求
|
||||
|
||||
1. **只在本项目内写**（`products/` `reports/`）。不碰别的项目、不碰线上库。
|
||||
2. **不设时间盒，做完整为止。** 但**每做完一个院系报一次 `status`**（三句话）。
|
||||
3. **判据来自页面。你的眼睛比任何正则都准。**
|
||||
4. **不许发明**：抓不到 ⇒ 写「未取到：<URL> + <错误原文>」。**判不准的贴出来，不要归类掉。**
|
||||
5. **不要从 sitemap 全量枚举 URL**（METHOD.md §6 反面清单第一条）。
|
||||
6. **只做这一所学校。**
|
||||
|
||||
@@ -0,0 +1,97 @@
|
||||
# 课题组逐院系采集 · 伦敦卫生与热带医学院（英国）· 现有 18 条
|
||||
|
||||
**入口普查的判型**：自建 research 目录/课题组页
|
||||
**现有 group_url 形态**：``www.lshtm.ac.uk / research/centres/<slug>``
|
||||
|
||||
⚠️ 这是**换源重采**：旧数据整体推翻，不要参照它。 · Win1 · Manager 2026-09-24
|
||||
|
||||
## 0. 先读方法件（**不要重新发明方法**）
|
||||
|
||||
工作区：`C:\Users\Administrator\orca\projects\英澳博士课题组数据`
|
||||
|
||||
- **`method/METHOD.md`** —— 活的采集方法。**重点看 §1「入口发现」与 §6「反面清单」。**
|
||||
- `method/finding_edinburgh_v2.md` —— 完备性标杆（643 组 / 24 院系）
|
||||
- `method/finding_anu_v2.md` · `finding_qub_v2.md` · `finding_bath_v2.md` —— 最近几所
|
||||
- `tasks/` —— 其它任务书
|
||||
|
||||
一句话：
|
||||
|
||||
> **找「组目录」，不要枚举 URL。**
|
||||
> 官方院系导航 → 各院系 `/research/` → **该页上的「组目录」**
|
||||
> （`research-groups` / `research-centres` / `groups` / `institutes` / `labs`，
|
||||
> **最高价值是「每个组由一位 PI 带」的目录**）。**入口 20–60 个/校。**
|
||||
|
||||
**参考已跑通的**：`products/` 下各校 `*__groups*.json` 是产物格式。
|
||||
|
||||
---
|
||||
|
||||
## 1. 本波只做这一所：**伦敦卫生与热带医学院（英国）· 现有 18 条
|
||||
|
||||
**入口普查的判型**：自建 research 目录/课题组页
|
||||
**现有 group_url 形态**：``www.lshtm.ac.uk / research/centres/<slug>``
|
||||
|
||||
⚠️ 这是**换源重采**：旧数据整体推翻，不要参照它。**
|
||||
|
||||
---
|
||||
|
||||
## 2. 交付（**门槛，不是"尽量"**）
|
||||
|
||||
1. **院系台账（缺一行 = 没做完）**
|
||||
`院系（全部）| research 入口 URL | 状态（取到 / 取不到：<原因>）| 组数`
|
||||
—— 院系清单从**学校官方导航**拿；**给出枚举来源 URL 与总数**；**`未取页 = 0`**
|
||||
2. **全量候选产物**：`products/<slug>_v3__groups.json`
|
||||
（五字段：课题组名称 / 所在大学及研究中心 / 研究方向 / 联系邮箱 / 最近五年论文数=null）
|
||||
—— **启发式自动抽，不逐条判**
|
||||
3. **随机抽 30 条逐条开页面核** → **准确率** + **假阳性类型** + **能否定点修掉**
|
||||
- 准确率 **≥90% 且类型集中** ⇒ 定点修那一类，**全量直接用，不再逐页核**
|
||||
4. **合理性校验**：`组数 ÷ 院系数`。**比值荒谬地低 ⇒ 回头找「组目录」那一层**
|
||||
（不是去爬更多 URL）。确认"再下一层没有组"要贴原文结构作证。
|
||||
5. **反例 / 判不准 / 未验清单**（附页面原文）
|
||||
6. 一句话：**最终组数？完备性有没有缺口？**
|
||||
|
||||
产物写 `products/`，报告写 `reports/finding_<slug>_v3.md`（目录不存在就建）。
|
||||
|
||||
---
|
||||
|
||||
## 3. 判据与字段（摘要；**细则以 METHOD.md §2 为准**）
|
||||
|
||||
> **打开页面像人一样看：这是不是一个「导师带的做研究的团队」？**
|
||||
> **粒度上限 = 一个导师能带的规模。**
|
||||
> 大一级（institute / theme / cluster / 校级研究所）**不收**；
|
||||
> **但大一级下面挂着真组时，只收内层组。**
|
||||
|
||||
**不是组**：服务设施 · 研讨会系列 · 项目 · 学生培养计划 · 单项研究 · 空页重定向 · 无负责人的方向页。
|
||||
**共性是页面上有一句「非团队自述」—— 你去看那句话。**
|
||||
|
||||
| 字段 | 取法 |
|
||||
|---|---|
|
||||
| 课题组名称 | 该组**自己页面**的 H1（无 H1 用 `<title>`；JS 渲染/表格行用目录里的官方组名并标 `_name_source`）。⚠️ 无官方组名的**按 `<负责人> 团队` 渲染并标 `_name_source: rendered_from_leader`**，且要查重防撞 |
|
||||
| 所在大学及研究中心 | 大学 + **真实上级研究单位**；⚠️ 上级是系/院/学部的**不许当研究中心写**，没有真上级就**只写大学** |
|
||||
| 研究方向 | 该组页上的方向文字。**没有 ⇒ 不要** |
|
||||
| 联系邮箱 | 只接受**本组页 / 本组负责人页**的邮箱 |
|
||||
| 最近五年论文数 | null |
|
||||
|
||||
---
|
||||
|
||||
## 4. ⚠️ 并行安全（出过事故，必须照做）
|
||||
|
||||
5 个 worker 曾挤在**同一个 ego-browser Space 的同一个 page** 上 ⇒ 297 页跨校串页、整批作废。
|
||||
|
||||
1. **自己新建一个 TaskSpace**（不要复用别人已有的）
|
||||
2. **每个 URL 用独占的 `newPage()`**，**不要共用 p1**
|
||||
3. **每取一页校验 `page.url()` 与目标一致**；不一致 ⇒ 废掉重取
|
||||
4. 成功时收尾调一次 `await task.finish({ keep: [] })`；**因错误停止就别调**，把 `spaceId` 报上来
|
||||
|
||||
⚠️ 本机浏览器可能被用户接管（`ownership: user`）—— 遇到就**立刻停手、不重试**，把 `spaceId` 报上来。
|
||||
|
||||
---
|
||||
|
||||
## 5. 硬要求
|
||||
|
||||
1. **只在本项目内写**（`products/` `reports/`）。不碰别的项目、不碰线上库。
|
||||
2. **不设时间盒，做完整为止。** 但**每做完一个院系报一次 `status`**（三句话）。
|
||||
3. **判据来自页面。你的眼睛比任何正则都准。**
|
||||
4. **不许发明**：抓不到 ⇒ 写「未取到：<URL> + <错误原文>」。**判不准的贴出来，不要归类掉。**
|
||||
5. **不要从 sitemap 全量枚举 URL**（METHOD.md §6 反面清单第一条）。
|
||||
6. **只做这一所学校。**
|
||||
|
||||
@@ -0,0 +1,97 @@
|
||||
# 课题组逐院系采集 · 哈特伯瑞大学（英国）· 现有 16 条
|
||||
|
||||
**入口普查的判型**：其它/待裁
|
||||
**现有 group_url 形态**：``www.hartpury.ac.uk / university/<slug>/<slug>``
|
||||
|
||||
⚠️ 这是**换源重采**：旧数据整体推翻，不要参照它。 · Win1 · Manager 2026-09-24
|
||||
|
||||
## 0. 先读方法件（**不要重新发明方法**）
|
||||
|
||||
工作区：`C:\Users\Administrator\orca\projects\英澳博士课题组数据`
|
||||
|
||||
- **`method/METHOD.md`** —— 活的采集方法。**重点看 §1「入口发现」与 §6「反面清单」。**
|
||||
- `method/finding_edinburgh_v2.md` —— 完备性标杆（643 组 / 24 院系）
|
||||
- `method/finding_anu_v2.md` · `finding_qub_v2.md` · `finding_bath_v2.md` —— 最近几所
|
||||
- `tasks/` —— 其它任务书
|
||||
|
||||
一句话：
|
||||
|
||||
> **找「组目录」，不要枚举 URL。**
|
||||
> 官方院系导航 → 各院系 `/research/` → **该页上的「组目录」**
|
||||
> （`research-groups` / `research-centres` / `groups` / `institutes` / `labs`，
|
||||
> **最高价值是「每个组由一位 PI 带」的目录**）。**入口 20–60 个/校。**
|
||||
|
||||
**参考已跑通的**：`products/` 下各校 `*__groups*.json` 是产物格式。
|
||||
|
||||
---
|
||||
|
||||
## 1. 本波只做这一所：**哈特伯瑞大学（英国）· 现有 16 条
|
||||
|
||||
**入口普查的判型**：其它/待裁
|
||||
**现有 group_url 形态**：``www.hartpury.ac.uk / university/<slug>/<slug>``
|
||||
|
||||
⚠️ 这是**换源重采**：旧数据整体推翻，不要参照它。**
|
||||
|
||||
---
|
||||
|
||||
## 2. 交付（**门槛，不是"尽量"**）
|
||||
|
||||
1. **院系台账（缺一行 = 没做完）**
|
||||
`院系（全部）| research 入口 URL | 状态（取到 / 取不到：<原因>）| 组数`
|
||||
—— 院系清单从**学校官方导航**拿；**给出枚举来源 URL 与总数**；**`未取页 = 0`**
|
||||
2. **全量候选产物**：`products/<slug>_v3__groups.json`
|
||||
（五字段：课题组名称 / 所在大学及研究中心 / 研究方向 / 联系邮箱 / 最近五年论文数=null）
|
||||
—— **启发式自动抽，不逐条判**
|
||||
3. **随机抽 30 条逐条开页面核** → **准确率** + **假阳性类型** + **能否定点修掉**
|
||||
- 准确率 **≥90% 且类型集中** ⇒ 定点修那一类，**全量直接用，不再逐页核**
|
||||
4. **合理性校验**：`组数 ÷ 院系数`。**比值荒谬地低 ⇒ 回头找「组目录」那一层**
|
||||
（不是去爬更多 URL）。确认"再下一层没有组"要贴原文结构作证。
|
||||
5. **反例 / 判不准 / 未验清单**（附页面原文）
|
||||
6. 一句话：**最终组数？完备性有没有缺口？**
|
||||
|
||||
产物写 `products/`，报告写 `reports/finding_<slug>_v3.md`（目录不存在就建）。
|
||||
|
||||
---
|
||||
|
||||
## 3. 判据与字段（摘要；**细则以 METHOD.md §2 为准**）
|
||||
|
||||
> **打开页面像人一样看：这是不是一个「导师带的做研究的团队」？**
|
||||
> **粒度上限 = 一个导师能带的规模。**
|
||||
> 大一级（institute / theme / cluster / 校级研究所）**不收**；
|
||||
> **但大一级下面挂着真组时，只收内层组。**
|
||||
|
||||
**不是组**：服务设施 · 研讨会系列 · 项目 · 学生培养计划 · 单项研究 · 空页重定向 · 无负责人的方向页。
|
||||
**共性是页面上有一句「非团队自述」—— 你去看那句话。**
|
||||
|
||||
| 字段 | 取法 |
|
||||
|---|---|
|
||||
| 课题组名称 | 该组**自己页面**的 H1（无 H1 用 `<title>`；JS 渲染/表格行用目录里的官方组名并标 `_name_source`）。⚠️ 无官方组名的**按 `<负责人> 团队` 渲染并标 `_name_source: rendered_from_leader`**，且要查重防撞 |
|
||||
| 所在大学及研究中心 | 大学 + **真实上级研究单位**；⚠️ 上级是系/院/学部的**不许当研究中心写**，没有真上级就**只写大学** |
|
||||
| 研究方向 | 该组页上的方向文字。**没有 ⇒ 不要** |
|
||||
| 联系邮箱 | 只接受**本组页 / 本组负责人页**的邮箱 |
|
||||
| 最近五年论文数 | null |
|
||||
|
||||
---
|
||||
|
||||
## 4. ⚠️ 并行安全（出过事故，必须照做）
|
||||
|
||||
5 个 worker 曾挤在**同一个 ego-browser Space 的同一个 page** 上 ⇒ 297 页跨校串页、整批作废。
|
||||
|
||||
1. **自己新建一个 TaskSpace**（不要复用别人已有的）
|
||||
2. **每个 URL 用独占的 `newPage()`**，**不要共用 p1**
|
||||
3. **每取一页校验 `page.url()` 与目标一致**；不一致 ⇒ 废掉重取
|
||||
4. 成功时收尾调一次 `await task.finish({ keep: [] })`；**因错误停止就别调**，把 `spaceId` 报上来
|
||||
|
||||
⚠️ 本机浏览器可能被用户接管（`ownership: user`）—— 遇到就**立刻停手、不重试**，把 `spaceId` 报上来。
|
||||
|
||||
---
|
||||
|
||||
## 5. 硬要求
|
||||
|
||||
1. **只在本项目内写**（`products/` `reports/`）。不碰别的项目、不碰线上库。
|
||||
2. **不设时间盒，做完整为止。** 但**每做完一个院系报一次 `status`**（三句话）。
|
||||
3. **判据来自页面。你的眼睛比任何正则都准。**
|
||||
4. **不许发明**：抓不到 ⇒ 写「未取到：<URL> + <错误原文>」。**判不准的贴出来，不要归类掉。**
|
||||
5. **不要从 sitemap 全量枚举 URL**（METHOD.md §6 反面清单第一条）。
|
||||
6. **只做这一所学校。**
|
||||
|
||||
@@ -0,0 +1,99 @@
|
||||
# 课题组逐院系采集 · 利兹大学（英国）· 现有 225 条
|
||||
|
||||
**入口普查的判型**：无 group_url（id 来源待定）
|
||||
**现有 group_url 形态**：``(无 url) — 其它: —``
|
||||
|
||||
⚠️ 这是**换源重采**：旧数据整体推翻，不要参照它。
|
||||
本条是**入口普查已定**的那批（61 校/3501 条可收 2817）；按 METHOD.md 从院系站重找组目录。 · Win1 · Manager 2026-09-24
|
||||
|
||||
## 0. 先读方法件（**不要重新发明方法**）
|
||||
|
||||
工作区：`C:\Users\Administrator\orca\projects\英澳博士课题组数据`
|
||||
|
||||
- **`method/METHOD.md`** —— 活的采集方法。**重点看 §1「入口发现」与 §6「反面清单」。**
|
||||
- `method/finding_edinburgh_v2.md` —— 完备性标杆（643 组 / 24 院系）
|
||||
- `method/finding_anu_v2.md` · `finding_qub_v2.md` · `finding_bath_v2.md` —— 最近几所
|
||||
- `tasks/` —— 其它任务书
|
||||
|
||||
一句话：
|
||||
|
||||
> **找「组目录」，不要枚举 URL。**
|
||||
> 官方院系导航 → 各院系 `/research/` → **该页上的「组目录」**
|
||||
> （`research-groups` / `research-centres` / `groups` / `institutes` / `labs`，
|
||||
> **最高价值是「每个组由一位 PI 带」的目录**）。**入口 20–60 个/校。**
|
||||
|
||||
**参考已跑通的**：`products/` 下各校 `*__groups*.json` 是产物格式。
|
||||
|
||||
---
|
||||
|
||||
## 1. 本波只做这一所：**利兹大学（英国）· 现有 225 条
|
||||
|
||||
**入口普查的判型**：无 group_url（id 来源待定）
|
||||
**现有 group_url 形态**：``(无 url) — 其它: —``
|
||||
|
||||
⚠️ 这是**换源重采**：旧数据整体推翻，不要参照它。
|
||||
本条是**入口普查已定**的那批（61 校/3501 条可收 2817）；按 METHOD.md 从院系站重找组目录。**
|
||||
|
||||
---
|
||||
|
||||
## 2. 交付（**门槛，不是"尽量"**）
|
||||
|
||||
1. **院系台账（缺一行 = 没做完）**
|
||||
`院系（全部）| research 入口 URL | 状态（取到 / 取不到：<原因>）| 组数`
|
||||
—— 院系清单从**学校官方导航**拿；**给出枚举来源 URL 与总数**；**`未取页 = 0`**
|
||||
2. **全量候选产物**：`products/<slug>_v3__groups.json`
|
||||
（五字段：课题组名称 / 所在大学及研究中心 / 研究方向 / 联系邮箱 / 最近五年论文数=null）
|
||||
—— **启发式自动抽，不逐条判**
|
||||
3. **随机抽 30 条逐条开页面核** → **准确率** + **假阳性类型** + **能否定点修掉**
|
||||
- 准确率 **≥90% 且类型集中** ⇒ 定点修那一类，**全量直接用，不再逐页核**
|
||||
4. **合理性校验**：`组数 ÷ 院系数`。**比值荒谬地低 ⇒ 回头找「组目录」那一层**
|
||||
（不是去爬更多 URL）。确认"再下一层没有组"要贴原文结构作证。
|
||||
5. **反例 / 判不准 / 未验清单**（附页面原文）
|
||||
6. 一句话：**最终组数？完备性有没有缺口？**
|
||||
|
||||
产物写 `products/`，报告写 `reports/finding_<slug>_v3.md`（目录不存在就建）。
|
||||
|
||||
---
|
||||
|
||||
## 3. 判据与字段（摘要；**细则以 METHOD.md §2 为准**）
|
||||
|
||||
> **打开页面像人一样看：这是不是一个「导师带的做研究的团队」？**
|
||||
> **粒度上限 = 一个导师能带的规模。**
|
||||
> 大一级（institute / theme / cluster / 校级研究所）**不收**；
|
||||
> **但大一级下面挂着真组时，只收内层组。**
|
||||
|
||||
**不是组**：服务设施 · 研讨会系列 · 项目 · 学生培养计划 · 单项研究 · 空页重定向 · 无负责人的方向页。
|
||||
**共性是页面上有一句「非团队自述」—— 你去看那句话。**
|
||||
|
||||
| 字段 | 取法 |
|
||||
|---|---|
|
||||
| 课题组名称 | 该组**自己页面**的 H1（无 H1 用 `<title>`；JS 渲染/表格行用目录里的官方组名并标 `_name_source`）。⚠️ 无官方组名的**按 `<负责人> 团队` 渲染并标 `_name_source: rendered_from_leader`**，且要查重防撞 |
|
||||
| 所在大学及研究中心 | 大学 + **真实上级研究单位**；⚠️ 上级是系/院/学部的**不许当研究中心写**，没有真上级就**只写大学** |
|
||||
| 研究方向 | 该组页上的方向文字。**没有 ⇒ 不要** |
|
||||
| 联系邮箱 | 只接受**本组页 / 本组负责人页**的邮箱 |
|
||||
| 最近五年论文数 | null |
|
||||
|
||||
---
|
||||
|
||||
## 4. ⚠️ 并行安全（出过事故，必须照做）
|
||||
|
||||
5 个 worker 曾挤在**同一个 ego-browser Space 的同一个 page** 上 ⇒ 297 页跨校串页、整批作废。
|
||||
|
||||
1. **自己新建一个 TaskSpace**（不要复用别人已有的）
|
||||
2. **每个 URL 用独占的 `newPage()`**，**不要共用 p1**
|
||||
3. **每取一页校验 `page.url()` 与目标一致**；不一致 ⇒ 废掉重取
|
||||
4. 成功时收尾调一次 `await task.finish({ keep: [] })`；**因错误停止就别调**，把 `spaceId` 报上来
|
||||
|
||||
⚠️ 本机浏览器可能被用户接管（`ownership: user`）—— 遇到就**立刻停手、不重试**，把 `spaceId` 报上来。
|
||||
|
||||
---
|
||||
|
||||
## 5. 硬要求
|
||||
|
||||
1. **只在本项目内写**（`products/` `reports/`）。不碰别的项目、不碰线上库。
|
||||
2. **不设时间盒，做完整为止。** 但**每做完一个院系报一次 `status`**（三句话）。
|
||||
3. **判据来自页面。你的眼睛比任何正则都准。**
|
||||
4. **不许发明**：抓不到 ⇒ 写「未取到：<URL> + <错误原文>」。**判不准的贴出来，不要归类掉。**
|
||||
5. **不要从 sitemap 全量枚举 URL**（METHOD.md §6 反面清单第一条）。
|
||||
6. **只做这一所学校。**
|
||||
|
||||
@@ -0,0 +1,97 @@
|
||||
# 课题组逐院系采集 · 墨尔本皇家理工大学（澳新）· 现有 14 条
|
||||
|
||||
**入口普查的判型**：人员档案系统 group 页
|
||||
**现有 group_url 形态**：``academics.rmit.edu.au / groups/<n>``
|
||||
|
||||
⚠️ 这是**换源重采**：旧数据整体推翻，不要参照它。 · Win1 · Manager 2026-09-24
|
||||
|
||||
## 0. 先读方法件（**不要重新发明方法**）
|
||||
|
||||
工作区：`C:\Users\Administrator\orca\projects\英澳博士课题组数据`
|
||||
|
||||
- **`method/METHOD.md`** —— 活的采集方法。**重点看 §1「入口发现」与 §6「反面清单」。**
|
||||
- `method/finding_edinburgh_v2.md` —— 完备性标杆（643 组 / 24 院系）
|
||||
- `method/finding_anu_v2.md` · `finding_qub_v2.md` · `finding_bath_v2.md` —— 最近几所
|
||||
- `tasks/` —— 其它任务书
|
||||
|
||||
一句话：
|
||||
|
||||
> **找「组目录」，不要枚举 URL。**
|
||||
> 官方院系导航 → 各院系 `/research/` → **该页上的「组目录」**
|
||||
> （`research-groups` / `research-centres` / `groups` / `institutes` / `labs`，
|
||||
> **最高价值是「每个组由一位 PI 带」的目录**）。**入口 20–60 个/校。**
|
||||
|
||||
**参考已跑通的**：`products/` 下各校 `*__groups*.json` 是产物格式。
|
||||
|
||||
---
|
||||
|
||||
## 1. 本波只做这一所：**墨尔本皇家理工大学（澳新）· 现有 14 条
|
||||
|
||||
**入口普查的判型**：人员档案系统 group 页
|
||||
**现有 group_url 形态**：``academics.rmit.edu.au / groups/<n>``
|
||||
|
||||
⚠️ 这是**换源重采**：旧数据整体推翻，不要参照它。**
|
||||
|
||||
---
|
||||
|
||||
## 2. 交付（**门槛，不是"尽量"**）
|
||||
|
||||
1. **院系台账（缺一行 = 没做完）**
|
||||
`院系（全部）| research 入口 URL | 状态（取到 / 取不到：<原因>）| 组数`
|
||||
—— 院系清单从**学校官方导航**拿；**给出枚举来源 URL 与总数**；**`未取页 = 0`**
|
||||
2. **全量候选产物**：`products/<slug>_v3__groups.json`
|
||||
（五字段：课题组名称 / 所在大学及研究中心 / 研究方向 / 联系邮箱 / 最近五年论文数=null）
|
||||
—— **启发式自动抽，不逐条判**
|
||||
3. **随机抽 30 条逐条开页面核** → **准确率** + **假阳性类型** + **能否定点修掉**
|
||||
- 准确率 **≥90% 且类型集中** ⇒ 定点修那一类，**全量直接用，不再逐页核**
|
||||
4. **合理性校验**：`组数 ÷ 院系数`。**比值荒谬地低 ⇒ 回头找「组目录」那一层**
|
||||
（不是去爬更多 URL）。确认"再下一层没有组"要贴原文结构作证。
|
||||
5. **反例 / 判不准 / 未验清单**（附页面原文）
|
||||
6. 一句话：**最终组数？完备性有没有缺口？**
|
||||
|
||||
产物写 `products/`，报告写 `reports/finding_<slug>_v3.md`（目录不存在就建）。
|
||||
|
||||
---
|
||||
|
||||
## 3. 判据与字段（摘要；**细则以 METHOD.md §2 为准**）
|
||||
|
||||
> **打开页面像人一样看：这是不是一个「导师带的做研究的团队」？**
|
||||
> **粒度上限 = 一个导师能带的规模。**
|
||||
> 大一级（institute / theme / cluster / 校级研究所）**不收**；
|
||||
> **但大一级下面挂着真组时，只收内层组。**
|
||||
|
||||
**不是组**：服务设施 · 研讨会系列 · 项目 · 学生培养计划 · 单项研究 · 空页重定向 · 无负责人的方向页。
|
||||
**共性是页面上有一句「非团队自述」—— 你去看那句话。**
|
||||
|
||||
| 字段 | 取法 |
|
||||
|---|---|
|
||||
| 课题组名称 | 该组**自己页面**的 H1（无 H1 用 `<title>`；JS 渲染/表格行用目录里的官方组名并标 `_name_source`）。⚠️ 无官方组名的**按 `<负责人> 团队` 渲染并标 `_name_source: rendered_from_leader`**，且要查重防撞 |
|
||||
| 所在大学及研究中心 | 大学 + **真实上级研究单位**；⚠️ 上级是系/院/学部的**不许当研究中心写**，没有真上级就**只写大学** |
|
||||
| 研究方向 | 该组页上的方向文字。**没有 ⇒ 不要** |
|
||||
| 联系邮箱 | 只接受**本组页 / 本组负责人页**的邮箱 |
|
||||
| 最近五年论文数 | null |
|
||||
|
||||
---
|
||||
|
||||
## 4. ⚠️ 并行安全（出过事故，必须照做）
|
||||
|
||||
5 个 worker 曾挤在**同一个 ego-browser Space 的同一个 page** 上 ⇒ 297 页跨校串页、整批作废。
|
||||
|
||||
1. **自己新建一个 TaskSpace**（不要复用别人已有的）
|
||||
2. **每个 URL 用独占的 `newPage()`**，**不要共用 p1**
|
||||
3. **每取一页校验 `page.url()` 与目标一致**；不一致 ⇒ 废掉重取
|
||||
4. 成功时收尾调一次 `await task.finish({ keep: [] })`；**因错误停止就别调**，把 `spaceId` 报上来
|
||||
|
||||
⚠️ 本机浏览器可能被用户接管（`ownership: user`）—— 遇到就**立刻停手、不重试**，把 `spaceId` 报上来。
|
||||
|
||||
---
|
||||
|
||||
## 5. 硬要求
|
||||
|
||||
1. **只在本项目内写**（`products/` `reports/`）。不碰别的项目、不碰线上库。
|
||||
2. **不设时间盒，做完整为止。** 但**每做完一个院系报一次 `status`**（三句话）。
|
||||
3. **判据来自页面。你的眼睛比任何正则都准。**
|
||||
4. **不许发明**：抓不到 ⇒ 写「未取到：<URL> + <错误原文>」。**判不准的贴出来，不要归类掉。**
|
||||
5. **不要从 sitemap 全量枚举 URL**（METHOD.md §6 反面清单第一条）。
|
||||
6. **只做这一所学校。**
|
||||
|
||||
@@ -0,0 +1,97 @@
|
||||
# 课题组逐院系采集 · 南十字星大学（澳新）· 现有 10 条
|
||||
|
||||
**入口普查的判型**：其它/待裁
|
||||
**现有 group_url 形态**：``www.scu.edu.au / <slug>``
|
||||
|
||||
⚠️ 这是**换源重采**：旧数据整体推翻，不要参照它。 · Win1 · Manager 2026-09-24
|
||||
|
||||
## 0. 先读方法件（**不要重新发明方法**）
|
||||
|
||||
工作区：`C:\Users\Administrator\orca\projects\英澳博士课题组数据`
|
||||
|
||||
- **`method/METHOD.md`** —— 活的采集方法。**重点看 §1「入口发现」与 §6「反面清单」。**
|
||||
- `method/finding_edinburgh_v2.md` —— 完备性标杆（643 组 / 24 院系）
|
||||
- `method/finding_anu_v2.md` · `finding_qub_v2.md` · `finding_bath_v2.md` —— 最近几所
|
||||
- `tasks/` —— 其它任务书
|
||||
|
||||
一句话：
|
||||
|
||||
> **找「组目录」，不要枚举 URL。**
|
||||
> 官方院系导航 → 各院系 `/research/` → **该页上的「组目录」**
|
||||
> （`research-groups` / `research-centres` / `groups` / `institutes` / `labs`，
|
||||
> **最高价值是「每个组由一位 PI 带」的目录**）。**入口 20–60 个/校。**
|
||||
|
||||
**参考已跑通的**：`products/` 下各校 `*__groups*.json` 是产物格式。
|
||||
|
||||
---
|
||||
|
||||
## 1. 本波只做这一所：**南十字星大学（澳新）· 现有 10 条
|
||||
|
||||
**入口普查的判型**：其它/待裁
|
||||
**现有 group_url 形态**：``www.scu.edu.au / <slug>``
|
||||
|
||||
⚠️ 这是**换源重采**：旧数据整体推翻，不要参照它。**
|
||||
|
||||
---
|
||||
|
||||
## 2. 交付（**门槛，不是"尽量"**）
|
||||
|
||||
1. **院系台账（缺一行 = 没做完）**
|
||||
`院系（全部）| research 入口 URL | 状态（取到 / 取不到：<原因>）| 组数`
|
||||
—— 院系清单从**学校官方导航**拿；**给出枚举来源 URL 与总数**；**`未取页 = 0`**
|
||||
2. **全量候选产物**：`products/<slug>_v3__groups.json`
|
||||
（五字段：课题组名称 / 所在大学及研究中心 / 研究方向 / 联系邮箱 / 最近五年论文数=null）
|
||||
—— **启发式自动抽，不逐条判**
|
||||
3. **随机抽 30 条逐条开页面核** → **准确率** + **假阳性类型** + **能否定点修掉**
|
||||
- 准确率 **≥90% 且类型集中** ⇒ 定点修那一类，**全量直接用，不再逐页核**
|
||||
4. **合理性校验**：`组数 ÷ 院系数`。**比值荒谬地低 ⇒ 回头找「组目录」那一层**
|
||||
（不是去爬更多 URL）。确认"再下一层没有组"要贴原文结构作证。
|
||||
5. **反例 / 判不准 / 未验清单**（附页面原文）
|
||||
6. 一句话：**最终组数？完备性有没有缺口？**
|
||||
|
||||
产物写 `products/`，报告写 `reports/finding_<slug>_v3.md`（目录不存在就建）。
|
||||
|
||||
---
|
||||
|
||||
## 3. 判据与字段（摘要；**细则以 METHOD.md §2 为准**）
|
||||
|
||||
> **打开页面像人一样看：这是不是一个「导师带的做研究的团队」？**
|
||||
> **粒度上限 = 一个导师能带的规模。**
|
||||
> 大一级（institute / theme / cluster / 校级研究所）**不收**；
|
||||
> **但大一级下面挂着真组时，只收内层组。**
|
||||
|
||||
**不是组**：服务设施 · 研讨会系列 · 项目 · 学生培养计划 · 单项研究 · 空页重定向 · 无负责人的方向页。
|
||||
**共性是页面上有一句「非团队自述」—— 你去看那句话。**
|
||||
|
||||
| 字段 | 取法 |
|
||||
|---|---|
|
||||
| 课题组名称 | 该组**自己页面**的 H1（无 H1 用 `<title>`；JS 渲染/表格行用目录里的官方组名并标 `_name_source`）。⚠️ 无官方组名的**按 `<负责人> 团队` 渲染并标 `_name_source: rendered_from_leader`**，且要查重防撞 |
|
||||
| 所在大学及研究中心 | 大学 + **真实上级研究单位**；⚠️ 上级是系/院/学部的**不许当研究中心写**，没有真上级就**只写大学** |
|
||||
| 研究方向 | 该组页上的方向文字。**没有 ⇒ 不要** |
|
||||
| 联系邮箱 | 只接受**本组页 / 本组负责人页**的邮箱 |
|
||||
| 最近五年论文数 | null |
|
||||
|
||||
---
|
||||
|
||||
## 4. ⚠️ 并行安全（出过事故，必须照做）
|
||||
|
||||
5 个 worker 曾挤在**同一个 ego-browser Space 的同一个 page** 上 ⇒ 297 页跨校串页、整批作废。
|
||||
|
||||
1. **自己新建一个 TaskSpace**（不要复用别人已有的）
|
||||
2. **每个 URL 用独占的 `newPage()`**，**不要共用 p1**
|
||||
3. **每取一页校验 `page.url()` 与目标一致**；不一致 ⇒ 废掉重取
|
||||
4. 成功时收尾调一次 `await task.finish({ keep: [] })`；**因错误停止就别调**，把 `spaceId` 报上来
|
||||
|
||||
⚠️ 本机浏览器可能被用户接管（`ownership: user`）—— 遇到就**立刻停手、不重试**，把 `spaceId` 报上来。
|
||||
|
||||
---
|
||||
|
||||
## 5. 硬要求
|
||||
|
||||
1. **只在本项目内写**（`products/` `reports/`）。不碰别的项目、不碰线上库。
|
||||
2. **不设时间盒，做完整为止。** 但**每做完一个院系报一次 `status`**（三句话）。
|
||||
3. **判据来自页面。你的眼睛比任何正则都准。**
|
||||
4. **不许发明**：抓不到 ⇒ 写「未取到：<URL> + <错误原文>」。**判不准的贴出来，不要归类掉。**
|
||||
5. **不要从 sitemap 全量枚举 URL**（METHOD.md §6 反面清单第一条）。
|
||||
6. **只做这一所学校。**
|
||||
|
||||
@@ -0,0 +1,97 @@
|
||||
# 课题组逐院系采集 · 法尔茅斯大学（英国）· 现有 10 条
|
||||
|
||||
**入口普查的判型**：自建 research 站点
|
||||
**现有 group_url 形态**：``www.falmouth.ac.uk / research/<slug>``
|
||||
|
||||
⚠️ 这是**换源重采**：旧数据整体推翻，不要参照它。 · Win1 · Manager 2026-09-24
|
||||
|
||||
## 0. 先读方法件（**不要重新发明方法**）
|
||||
|
||||
工作区：`C:\Users\Administrator\orca\projects\英澳博士课题组数据`
|
||||
|
||||
- **`method/METHOD.md`** —— 活的采集方法。**重点看 §1「入口发现」与 §6「反面清单」。**
|
||||
- `method/finding_edinburgh_v2.md` —— 完备性标杆（643 组 / 24 院系）
|
||||
- `method/finding_anu_v2.md` · `finding_qub_v2.md` · `finding_bath_v2.md` —— 最近几所
|
||||
- `tasks/` —— 其它任务书
|
||||
|
||||
一句话：
|
||||
|
||||
> **找「组目录」，不要枚举 URL。**
|
||||
> 官方院系导航 → 各院系 `/research/` → **该页上的「组目录」**
|
||||
> （`research-groups` / `research-centres` / `groups` / `institutes` / `labs`，
|
||||
> **最高价值是「每个组由一位 PI 带」的目录**）。**入口 20–60 个/校。**
|
||||
|
||||
**参考已跑通的**：`products/` 下各校 `*__groups*.json` 是产物格式。
|
||||
|
||||
---
|
||||
|
||||
## 1. 本波只做这一所：**法尔茅斯大学（英国）· 现有 10 条
|
||||
|
||||
**入口普查的判型**：自建 research 站点
|
||||
**现有 group_url 形态**：``www.falmouth.ac.uk / research/<slug>``
|
||||
|
||||
⚠️ 这是**换源重采**：旧数据整体推翻，不要参照它。**
|
||||
|
||||
---
|
||||
|
||||
## 2. 交付（**门槛，不是"尽量"**）
|
||||
|
||||
1. **院系台账（缺一行 = 没做完）**
|
||||
`院系（全部）| research 入口 URL | 状态（取到 / 取不到：<原因>）| 组数`
|
||||
—— 院系清单从**学校官方导航**拿；**给出枚举来源 URL 与总数**；**`未取页 = 0`**
|
||||
2. **全量候选产物**：`products/<slug>_v3__groups.json`
|
||||
（五字段：课题组名称 / 所在大学及研究中心 / 研究方向 / 联系邮箱 / 最近五年论文数=null）
|
||||
—— **启发式自动抽，不逐条判**
|
||||
3. **随机抽 30 条逐条开页面核** → **准确率** + **假阳性类型** + **能否定点修掉**
|
||||
- 准确率 **≥90% 且类型集中** ⇒ 定点修那一类，**全量直接用，不再逐页核**
|
||||
4. **合理性校验**：`组数 ÷ 院系数`。**比值荒谬地低 ⇒ 回头找「组目录」那一层**
|
||||
（不是去爬更多 URL）。确认"再下一层没有组"要贴原文结构作证。
|
||||
5. **反例 / 判不准 / 未验清单**（附页面原文）
|
||||
6. 一句话：**最终组数？完备性有没有缺口？**
|
||||
|
||||
产物写 `products/`，报告写 `reports/finding_<slug>_v3.md`（目录不存在就建）。
|
||||
|
||||
---
|
||||
|
||||
## 3. 判据与字段（摘要；**细则以 METHOD.md §2 为准**）
|
||||
|
||||
> **打开页面像人一样看：这是不是一个「导师带的做研究的团队」？**
|
||||
> **粒度上限 = 一个导师能带的规模。**
|
||||
> 大一级（institute / theme / cluster / 校级研究所）**不收**；
|
||||
> **但大一级下面挂着真组时，只收内层组。**
|
||||
|
||||
**不是组**：服务设施 · 研讨会系列 · 项目 · 学生培养计划 · 单项研究 · 空页重定向 · 无负责人的方向页。
|
||||
**共性是页面上有一句「非团队自述」—— 你去看那句话。**
|
||||
|
||||
| 字段 | 取法 |
|
||||
|---|---|
|
||||
| 课题组名称 | 该组**自己页面**的 H1（无 H1 用 `<title>`；JS 渲染/表格行用目录里的官方组名并标 `_name_source`）。⚠️ 无官方组名的**按 `<负责人> 团队` 渲染并标 `_name_source: rendered_from_leader`**，且要查重防撞 |
|
||||
| 所在大学及研究中心 | 大学 + **真实上级研究单位**；⚠️ 上级是系/院/学部的**不许当研究中心写**，没有真上级就**只写大学** |
|
||||
| 研究方向 | 该组页上的方向文字。**没有 ⇒ 不要** |
|
||||
| 联系邮箱 | 只接受**本组页 / 本组负责人页**的邮箱 |
|
||||
| 最近五年论文数 | null |
|
||||
|
||||
---
|
||||
|
||||
## 4. ⚠️ 并行安全（出过事故，必须照做）
|
||||
|
||||
5 个 worker 曾挤在**同一个 ego-browser Space 的同一个 page** 上 ⇒ 297 页跨校串页、整批作废。
|
||||
|
||||
1. **自己新建一个 TaskSpace**（不要复用别人已有的）
|
||||
2. **每个 URL 用独占的 `newPage()`**，**不要共用 p1**
|
||||
3. **每取一页校验 `page.url()` 与目标一致**；不一致 ⇒ 废掉重取
|
||||
4. 成功时收尾调一次 `await task.finish({ keep: [] })`；**因错误停止就别调**，把 `spaceId` 报上来
|
||||
|
||||
⚠️ 本机浏览器可能被用户接管（`ownership: user`）—— 遇到就**立刻停手、不重试**，把 `spaceId` 报上来。
|
||||
|
||||
---
|
||||
|
||||
## 5. 硬要求
|
||||
|
||||
1. **只在本项目内写**（`products/` `reports/`）。不碰别的项目、不碰线上库。
|
||||
2. **不设时间盒，做完整为止。** 但**每做完一个院系报一次 `status`**（三句话）。
|
||||
3. **判据来自页面。你的眼睛比任何正则都准。**
|
||||
4. **不许发明**：抓不到 ⇒ 写「未取到：<URL> + <错误原文>」。**判不准的贴出来，不要归类掉。**
|
||||
5. **不要从 sitemap 全量枚举 URL**（METHOD.md §6 反面清单第一条）。
|
||||
6. **只做这一所学校。**
|
||||
|
||||
@@ -0,0 +1,97 @@
|
||||
# 课题组逐院系采集 · 皇家艺术学院（英国）· 现有 10 条
|
||||
|
||||
**入口普查的判型**：自建 research 站点
|
||||
**现有 group_url 形态**：``www.rca.ac.uk / <slug>/research-centres/<slug>``
|
||||
|
||||
⚠️ 这是**换源重采**：旧数据整体推翻，不要参照它。 · Win1 · Manager 2026-09-24
|
||||
|
||||
## 0. 先读方法件（**不要重新发明方法**）
|
||||
|
||||
工作区：`C:\Users\Administrator\orca\projects\英澳博士课题组数据`
|
||||
|
||||
- **`method/METHOD.md`** —— 活的采集方法。**重点看 §1「入口发现」与 §6「反面清单」。**
|
||||
- `method/finding_edinburgh_v2.md` —— 完备性标杆（643 组 / 24 院系）
|
||||
- `method/finding_anu_v2.md` · `finding_qub_v2.md` · `finding_bath_v2.md` —— 最近几所
|
||||
- `tasks/` —— 其它任务书
|
||||
|
||||
一句话：
|
||||
|
||||
> **找「组目录」，不要枚举 URL。**
|
||||
> 官方院系导航 → 各院系 `/research/` → **该页上的「组目录」**
|
||||
> （`research-groups` / `research-centres` / `groups` / `institutes` / `labs`，
|
||||
> **最高价值是「每个组由一位 PI 带」的目录**）。**入口 20–60 个/校。**
|
||||
|
||||
**参考已跑通的**：`products/` 下各校 `*__groups*.json` 是产物格式。
|
||||
|
||||
---
|
||||
|
||||
## 1. 本波只做这一所：**皇家艺术学院（英国）· 现有 10 条
|
||||
|
||||
**入口普查的判型**：自建 research 站点
|
||||
**现有 group_url 形态**：``www.rca.ac.uk / <slug>/research-centres/<slug>``
|
||||
|
||||
⚠️ 这是**换源重采**：旧数据整体推翻，不要参照它。**
|
||||
|
||||
---
|
||||
|
||||
## 2. 交付（**门槛，不是"尽量"**）
|
||||
|
||||
1. **院系台账（缺一行 = 没做完）**
|
||||
`院系（全部）| research 入口 URL | 状态（取到 / 取不到：<原因>）| 组数`
|
||||
—— 院系清单从**学校官方导航**拿；**给出枚举来源 URL 与总数**；**`未取页 = 0`**
|
||||
2. **全量候选产物**：`products/<slug>_v3__groups.json`
|
||||
（五字段：课题组名称 / 所在大学及研究中心 / 研究方向 / 联系邮箱 / 最近五年论文数=null）
|
||||
—— **启发式自动抽，不逐条判**
|
||||
3. **随机抽 30 条逐条开页面核** → **准确率** + **假阳性类型** + **能否定点修掉**
|
||||
- 准确率 **≥90% 且类型集中** ⇒ 定点修那一类，**全量直接用，不再逐页核**
|
||||
4. **合理性校验**：`组数 ÷ 院系数`。**比值荒谬地低 ⇒ 回头找「组目录」那一层**
|
||||
（不是去爬更多 URL）。确认"再下一层没有组"要贴原文结构作证。
|
||||
5. **反例 / 判不准 / 未验清单**（附页面原文）
|
||||
6. 一句话：**最终组数？完备性有没有缺口？**
|
||||
|
||||
产物写 `products/`，报告写 `reports/finding_<slug>_v3.md`（目录不存在就建）。
|
||||
|
||||
---
|
||||
|
||||
## 3. 判据与字段（摘要；**细则以 METHOD.md §2 为准**）
|
||||
|
||||
> **打开页面像人一样看：这是不是一个「导师带的做研究的团队」？**
|
||||
> **粒度上限 = 一个导师能带的规模。**
|
||||
> 大一级（institute / theme / cluster / 校级研究所）**不收**；
|
||||
> **但大一级下面挂着真组时，只收内层组。**
|
||||
|
||||
**不是组**：服务设施 · 研讨会系列 · 项目 · 学生培养计划 · 单项研究 · 空页重定向 · 无负责人的方向页。
|
||||
**共性是页面上有一句「非团队自述」—— 你去看那句话。**
|
||||
|
||||
| 字段 | 取法 |
|
||||
|---|---|
|
||||
| 课题组名称 | 该组**自己页面**的 H1（无 H1 用 `<title>`；JS 渲染/表格行用目录里的官方组名并标 `_name_source`）。⚠️ 无官方组名的**按 `<负责人> 团队` 渲染并标 `_name_source: rendered_from_leader`**，且要查重防撞 |
|
||||
| 所在大学及研究中心 | 大学 + **真实上级研究单位**；⚠️ 上级是系/院/学部的**不许当研究中心写**，没有真上级就**只写大学** |
|
||||
| 研究方向 | 该组页上的方向文字。**没有 ⇒ 不要** |
|
||||
| 联系邮箱 | 只接受**本组页 / 本组负责人页**的邮箱 |
|
||||
| 最近五年论文数 | null |
|
||||
|
||||
---
|
||||
|
||||
## 4. ⚠️ 并行安全（出过事故，必须照做）
|
||||
|
||||
5 个 worker 曾挤在**同一个 ego-browser Space 的同一个 page** 上 ⇒ 297 页跨校串页、整批作废。
|
||||
|
||||
1. **自己新建一个 TaskSpace**（不要复用别人已有的）
|
||||
2. **每个 URL 用独占的 `newPage()`**，**不要共用 p1**
|
||||
3. **每取一页校验 `page.url()` 与目标一致**；不一致 ⇒ 废掉重取
|
||||
4. 成功时收尾调一次 `await task.finish({ keep: [] })`；**因错误停止就别调**，把 `spaceId` 报上来
|
||||
|
||||
⚠️ 本机浏览器可能被用户接管（`ownership: user`）—— 遇到就**立刻停手、不重试**，把 `spaceId` 报上来。
|
||||
|
||||
---
|
||||
|
||||
## 5. 硬要求
|
||||
|
||||
1. **只在本项目内写**（`products/` `reports/`）。不碰别的项目、不碰线上库。
|
||||
2. **不设时间盒，做完整为止。** 但**每做完一个院系报一次 `status`**（三句话）。
|
||||
3. **判据来自页面。你的眼睛比任何正则都准。**
|
||||
4. **不许发明**：抓不到 ⇒ 写「未取到：<URL> + <错误原文>」。**判不准的贴出来，不要归类掉。**
|
||||
5. **不要从 sitemap 全量枚举 URL**（METHOD.md §6 反面清单第一条）。
|
||||
6. **只做这一所学校。**
|
||||
|
||||
@@ -0,0 +1,97 @@
|
||||
# 课题组逐院系采集 · 迪肯大学（澳新）· 现有 9 条
|
||||
|
||||
**入口普查的判型**：无 group_url（id 来源待定）
|
||||
**现有 group_url 形态**：``(无 url) — 其它: —``
|
||||
|
||||
⚠️ 这是**换源重采**：旧数据整体推翻，不要参照它。 · Win1 · Manager 2026-09-24
|
||||
|
||||
## 0. 先读方法件（**不要重新发明方法**）
|
||||
|
||||
工作区：`C:\Users\Administrator\orca\projects\英澳博士课题组数据`
|
||||
|
||||
- **`method/METHOD.md`** —— 活的采集方法。**重点看 §1「入口发现」与 §6「反面清单」。**
|
||||
- `method/finding_edinburgh_v2.md` —— 完备性标杆（643 组 / 24 院系）
|
||||
- `method/finding_anu_v2.md` · `finding_qub_v2.md` · `finding_bath_v2.md` —— 最近几所
|
||||
- `tasks/` —— 其它任务书
|
||||
|
||||
一句话：
|
||||
|
||||
> **找「组目录」，不要枚举 URL。**
|
||||
> 官方院系导航 → 各院系 `/research/` → **该页上的「组目录」**
|
||||
> （`research-groups` / `research-centres` / `groups` / `institutes` / `labs`，
|
||||
> **最高价值是「每个组由一位 PI 带」的目录**）。**入口 20–60 个/校。**
|
||||
|
||||
**参考已跑通的**：`products/` 下各校 `*__groups*.json` 是产物格式。
|
||||
|
||||
---
|
||||
|
||||
## 1. 本波只做这一所：**迪肯大学（澳新）· 现有 9 条
|
||||
|
||||
**入口普查的判型**：无 group_url（id 来源待定）
|
||||
**现有 group_url 形态**：``(无 url) — 其它: —``
|
||||
|
||||
⚠️ 这是**换源重采**：旧数据整体推翻，不要参照它。**
|
||||
|
||||
---
|
||||
|
||||
## 2. 交付（**门槛，不是"尽量"**）
|
||||
|
||||
1. **院系台账（缺一行 = 没做完）**
|
||||
`院系（全部）| research 入口 URL | 状态（取到 / 取不到：<原因>）| 组数`
|
||||
—— 院系清单从**学校官方导航**拿；**给出枚举来源 URL 与总数**；**`未取页 = 0`**
|
||||
2. **全量候选产物**：`products/<slug>_v3__groups.json`
|
||||
（五字段：课题组名称 / 所在大学及研究中心 / 研究方向 / 联系邮箱 / 最近五年论文数=null）
|
||||
—— **启发式自动抽，不逐条判**
|
||||
3. **随机抽 30 条逐条开页面核** → **准确率** + **假阳性类型** + **能否定点修掉**
|
||||
- 准确率 **≥90% 且类型集中** ⇒ 定点修那一类，**全量直接用，不再逐页核**
|
||||
4. **合理性校验**：`组数 ÷ 院系数`。**比值荒谬地低 ⇒ 回头找「组目录」那一层**
|
||||
（不是去爬更多 URL）。确认"再下一层没有组"要贴原文结构作证。
|
||||
5. **反例 / 判不准 / 未验清单**（附页面原文）
|
||||
6. 一句话：**最终组数？完备性有没有缺口？**
|
||||
|
||||
产物写 `products/`，报告写 `reports/finding_<slug>_v3.md`（目录不存在就建）。
|
||||
|
||||
---
|
||||
|
||||
## 3. 判据与字段（摘要；**细则以 METHOD.md §2 为准**）
|
||||
|
||||
> **打开页面像人一样看：这是不是一个「导师带的做研究的团队」？**
|
||||
> **粒度上限 = 一个导师能带的规模。**
|
||||
> 大一级（institute / theme / cluster / 校级研究所）**不收**；
|
||||
> **但大一级下面挂着真组时，只收内层组。**
|
||||
|
||||
**不是组**：服务设施 · 研讨会系列 · 项目 · 学生培养计划 · 单项研究 · 空页重定向 · 无负责人的方向页。
|
||||
**共性是页面上有一句「非团队自述」—— 你去看那句话。**
|
||||
|
||||
| 字段 | 取法 |
|
||||
|---|---|
|
||||
| 课题组名称 | 该组**自己页面**的 H1（无 H1 用 `<title>`；JS 渲染/表格行用目录里的官方组名并标 `_name_source`）。⚠️ 无官方组名的**按 `<负责人> 团队` 渲染并标 `_name_source: rendered_from_leader`**，且要查重防撞 |
|
||||
| 所在大学及研究中心 | 大学 + **真实上级研究单位**；⚠️ 上级是系/院/学部的**不许当研究中心写**，没有真上级就**只写大学** |
|
||||
| 研究方向 | 该组页上的方向文字。**没有 ⇒ 不要** |
|
||||
| 联系邮箱 | 只接受**本组页 / 本组负责人页**的邮箱 |
|
||||
| 最近五年论文数 | null |
|
||||
|
||||
---
|
||||
|
||||
## 4. ⚠️ 并行安全（出过事故，必须照做）
|
||||
|
||||
5 个 worker 曾挤在**同一个 ego-browser Space 的同一个 page** 上 ⇒ 297 页跨校串页、整批作废。
|
||||
|
||||
1. **自己新建一个 TaskSpace**（不要复用别人已有的）
|
||||
2. **每个 URL 用独占的 `newPage()`**，**不要共用 p1**
|
||||
3. **每取一页校验 `page.url()` 与目标一致**；不一致 ⇒ 废掉重取
|
||||
4. 成功时收尾调一次 `await task.finish({ keep: [] })`；**因错误停止就别调**，把 `spaceId` 报上来
|
||||
|
||||
⚠️ 本机浏览器可能被用户接管（`ownership: user`）—— 遇到就**立刻停手、不重试**，把 `spaceId` 报上来。
|
||||
|
||||
---
|
||||
|
||||
## 5. 硬要求
|
||||
|
||||
1. **只在本项目内写**（`products/` `reports/`）。不碰别的项目、不碰线上库。
|
||||
2. **不设时间盒，做完整为止。** 但**每做完一个院系报一次 `status`**（三句话）。
|
||||
3. **判据来自页面。你的眼睛比任何正则都准。**
|
||||
4. **不许发明**：抓不到 ⇒ 写「未取到：<URL> + <错误原文>」。**判不准的贴出来，不要归类掉。**
|
||||
5. **不要从 sitemap 全量枚举 URL**（METHOD.md §6 反面清单第一条）。
|
||||
6. **只做这一所学校。**
|
||||
|
||||
@@ -0,0 +1,99 @@
|
||||
# 课题组逐院系采集 · 雷丁大学（英国）· 现有 184 条
|
||||
|
||||
**入口普查的判型**：无 group_url（id 来源待定）
|
||||
**现有 group_url 形态**：``(无 url) — 其它: research.reading.ac.uk / <slug>(19); research.reading.ac.uk / cinn(3)``
|
||||
|
||||
⚠️ 这是**换源重采**：旧数据整体推翻，不要参照它。
|
||||
本条是**入口普查已定**的那批（61 校/3501 条可收 2817）；按 METHOD.md 从院系站重找组目录。 · Win1 · Manager 2026-09-24
|
||||
|
||||
## 0. 先读方法件（**不要重新发明方法**）
|
||||
|
||||
工作区：`C:\Users\Administrator\orca\projects\英澳博士课题组数据`
|
||||
|
||||
- **`method/METHOD.md`** —— 活的采集方法。**重点看 §1「入口发现」与 §6「反面清单」。**
|
||||
- `method/finding_edinburgh_v2.md` —— 完备性标杆（643 组 / 24 院系）
|
||||
- `method/finding_anu_v2.md` · `finding_qub_v2.md` · `finding_bath_v2.md` —— 最近几所
|
||||
- `tasks/` —— 其它任务书
|
||||
|
||||
一句话：
|
||||
|
||||
> **找「组目录」，不要枚举 URL。**
|
||||
> 官方院系导航 → 各院系 `/research/` → **该页上的「组目录」**
|
||||
> （`research-groups` / `research-centres` / `groups` / `institutes` / `labs`，
|
||||
> **最高价值是「每个组由一位 PI 带」的目录**）。**入口 20–60 个/校。**
|
||||
|
||||
**参考已跑通的**：`products/` 下各校 `*__groups*.json` 是产物格式。
|
||||
|
||||
---
|
||||
|
||||
## 1. 本波只做这一所：**雷丁大学（英国）· 现有 184 条
|
||||
|
||||
**入口普查的判型**：无 group_url（id 来源待定）
|
||||
**现有 group_url 形态**：``(无 url) — 其它: research.reading.ac.uk / <slug>(19); research.reading.ac.uk / cinn(3)``
|
||||
|
||||
⚠️ 这是**换源重采**：旧数据整体推翻，不要参照它。
|
||||
本条是**入口普查已定**的那批（61 校/3501 条可收 2817）；按 METHOD.md 从院系站重找组目录。**
|
||||
|
||||
---
|
||||
|
||||
## 2. 交付（**门槛，不是"尽量"**）
|
||||
|
||||
1. **院系台账（缺一行 = 没做完）**
|
||||
`院系（全部）| research 入口 URL | 状态（取到 / 取不到：<原因>）| 组数`
|
||||
—— 院系清单从**学校官方导航**拿；**给出枚举来源 URL 与总数**；**`未取页 = 0`**
|
||||
2. **全量候选产物**：`products/<slug>_v3__groups.json`
|
||||
（五字段：课题组名称 / 所在大学及研究中心 / 研究方向 / 联系邮箱 / 最近五年论文数=null）
|
||||
—— **启发式自动抽，不逐条判**
|
||||
3. **随机抽 30 条逐条开页面核** → **准确率** + **假阳性类型** + **能否定点修掉**
|
||||
- 准确率 **≥90% 且类型集中** ⇒ 定点修那一类，**全量直接用，不再逐页核**
|
||||
4. **合理性校验**：`组数 ÷ 院系数`。**比值荒谬地低 ⇒ 回头找「组目录」那一层**
|
||||
（不是去爬更多 URL）。确认"再下一层没有组"要贴原文结构作证。
|
||||
5. **反例 / 判不准 / 未验清单**（附页面原文）
|
||||
6. 一句话：**最终组数？完备性有没有缺口？**
|
||||
|
||||
产物写 `products/`，报告写 `reports/finding_<slug>_v3.md`（目录不存在就建）。
|
||||
|
||||
---
|
||||
|
||||
## 3. 判据与字段（摘要；**细则以 METHOD.md §2 为准**）
|
||||
|
||||
> **打开页面像人一样看：这是不是一个「导师带的做研究的团队」？**
|
||||
> **粒度上限 = 一个导师能带的规模。**
|
||||
> 大一级（institute / theme / cluster / 校级研究所）**不收**；
|
||||
> **但大一级下面挂着真组时，只收内层组。**
|
||||
|
||||
**不是组**：服务设施 · 研讨会系列 · 项目 · 学生培养计划 · 单项研究 · 空页重定向 · 无负责人的方向页。
|
||||
**共性是页面上有一句「非团队自述」—— 你去看那句话。**
|
||||
|
||||
| 字段 | 取法 |
|
||||
|---|---|
|
||||
| 课题组名称 | 该组**自己页面**的 H1（无 H1 用 `<title>`；JS 渲染/表格行用目录里的官方组名并标 `_name_source`）。⚠️ 无官方组名的**按 `<负责人> 团队` 渲染并标 `_name_source: rendered_from_leader`**，且要查重防撞 |
|
||||
| 所在大学及研究中心 | 大学 + **真实上级研究单位**；⚠️ 上级是系/院/学部的**不许当研究中心写**，没有真上级就**只写大学** |
|
||||
| 研究方向 | 该组页上的方向文字。**没有 ⇒ 不要** |
|
||||
| 联系邮箱 | 只接受**本组页 / 本组负责人页**的邮箱 |
|
||||
| 最近五年论文数 | null |
|
||||
|
||||
---
|
||||
|
||||
## 4. ⚠️ 并行安全（出过事故，必须照做）
|
||||
|
||||
5 个 worker 曾挤在**同一个 ego-browser Space 的同一个 page** 上 ⇒ 297 页跨校串页、整批作废。
|
||||
|
||||
1. **自己新建一个 TaskSpace**（不要复用别人已有的）
|
||||
2. **每个 URL 用独占的 `newPage()`**，**不要共用 p1**
|
||||
3. **每取一页校验 `page.url()` 与目标一致**；不一致 ⇒ 废掉重取
|
||||
4. 成功时收尾调一次 `await task.finish({ keep: [] })`；**因错误停止就别调**，把 `spaceId` 报上来
|
||||
|
||||
⚠️ 本机浏览器可能被用户接管（`ownership: user`）—— 遇到就**立刻停手、不重试**，把 `spaceId` 报上来。
|
||||
|
||||
---
|
||||
|
||||
## 5. 硬要求
|
||||
|
||||
1. **只在本项目内写**（`products/` `reports/`）。不碰别的项目、不碰线上库。
|
||||
2. **不设时间盒，做完整为止。** 但**每做完一个院系报一次 `status`**（三句话）。
|
||||
3. **判据来自页面。你的眼睛比任何正则都准。**
|
||||
4. **不许发明**：抓不到 ⇒ 写「未取到：<URL> + <错误原文>」。**判不准的贴出来，不要归类掉。**
|
||||
5. **不要从 sitemap 全量枚举 URL**（METHOD.md §6 反面清单第一条）。
|
||||
6. **只做这一所学校。**
|
||||
|
||||
@@ -0,0 +1,97 @@
|
||||
# 课题组逐院系采集 · 科廷马来西亚校区（澳新）· 现有 9 条
|
||||
|
||||
**入口普查的判型**：其它/待裁
|
||||
**现有 group_url 形态**：``curtin.edu.my / about/<slug>/<slug>``
|
||||
|
||||
⚠️ 这是**换源重采**：旧数据整体推翻，不要参照它。 · Win1 · Manager 2026-09-24
|
||||
|
||||
## 0. 先读方法件（**不要重新发明方法**）
|
||||
|
||||
工作区：`C:\Users\Administrator\orca\projects\英澳博士课题组数据`
|
||||
|
||||
- **`method/METHOD.md`** —— 活的采集方法。**重点看 §1「入口发现」与 §6「反面清单」。**
|
||||
- `method/finding_edinburgh_v2.md` —— 完备性标杆（643 组 / 24 院系）
|
||||
- `method/finding_anu_v2.md` · `finding_qub_v2.md` · `finding_bath_v2.md` —— 最近几所
|
||||
- `tasks/` —— 其它任务书
|
||||
|
||||
一句话：
|
||||
|
||||
> **找「组目录」，不要枚举 URL。**
|
||||
> 官方院系导航 → 各院系 `/research/` → **该页上的「组目录」**
|
||||
> （`research-groups` / `research-centres` / `groups` / `institutes` / `labs`，
|
||||
> **最高价值是「每个组由一位 PI 带」的目录**）。**入口 20–60 个/校。**
|
||||
|
||||
**参考已跑通的**：`products/` 下各校 `*__groups*.json` 是产物格式。
|
||||
|
||||
---
|
||||
|
||||
## 1. 本波只做这一所：**科廷马来西亚校区（澳新）· 现有 9 条
|
||||
|
||||
**入口普查的判型**：其它/待裁
|
||||
**现有 group_url 形态**：``curtin.edu.my / about/<slug>/<slug>``
|
||||
|
||||
⚠️ 这是**换源重采**：旧数据整体推翻，不要参照它。**
|
||||
|
||||
---
|
||||
|
||||
## 2. 交付（**门槛，不是"尽量"**）
|
||||
|
||||
1. **院系台账（缺一行 = 没做完）**
|
||||
`院系（全部）| research 入口 URL | 状态（取到 / 取不到：<原因>）| 组数`
|
||||
—— 院系清单从**学校官方导航**拿；**给出枚举来源 URL 与总数**；**`未取页 = 0`**
|
||||
2. **全量候选产物**：`products/<slug>_v3__groups.json`
|
||||
（五字段：课题组名称 / 所在大学及研究中心 / 研究方向 / 联系邮箱 / 最近五年论文数=null）
|
||||
—— **启发式自动抽，不逐条判**
|
||||
3. **随机抽 30 条逐条开页面核** → **准确率** + **假阳性类型** + **能否定点修掉**
|
||||
- 准确率 **≥90% 且类型集中** ⇒ 定点修那一类，**全量直接用，不再逐页核**
|
||||
4. **合理性校验**：`组数 ÷ 院系数`。**比值荒谬地低 ⇒ 回头找「组目录」那一层**
|
||||
（不是去爬更多 URL）。确认"再下一层没有组"要贴原文结构作证。
|
||||
5. **反例 / 判不准 / 未验清单**（附页面原文）
|
||||
6. 一句话：**最终组数？完备性有没有缺口？**
|
||||
|
||||
产物写 `products/`，报告写 `reports/finding_<slug>_v3.md`（目录不存在就建）。
|
||||
|
||||
---
|
||||
|
||||
## 3. 判据与字段（摘要；**细则以 METHOD.md §2 为准**）
|
||||
|
||||
> **打开页面像人一样看：这是不是一个「导师带的做研究的团队」？**
|
||||
> **粒度上限 = 一个导师能带的规模。**
|
||||
> 大一级（institute / theme / cluster / 校级研究所）**不收**；
|
||||
> **但大一级下面挂着真组时，只收内层组。**
|
||||
|
||||
**不是组**：服务设施 · 研讨会系列 · 项目 · 学生培养计划 · 单项研究 · 空页重定向 · 无负责人的方向页。
|
||||
**共性是页面上有一句「非团队自述」—— 你去看那句话。**
|
||||
|
||||
| 字段 | 取法 |
|
||||
|---|---|
|
||||
| 课题组名称 | 该组**自己页面**的 H1（无 H1 用 `<title>`；JS 渲染/表格行用目录里的官方组名并标 `_name_source`）。⚠️ 无官方组名的**按 `<负责人> 团队` 渲染并标 `_name_source: rendered_from_leader`**，且要查重防撞 |
|
||||
| 所在大学及研究中心 | 大学 + **真实上级研究单位**；⚠️ 上级是系/院/学部的**不许当研究中心写**，没有真上级就**只写大学** |
|
||||
| 研究方向 | 该组页上的方向文字。**没有 ⇒ 不要** |
|
||||
| 联系邮箱 | 只接受**本组页 / 本组负责人页**的邮箱 |
|
||||
| 最近五年论文数 | null |
|
||||
|
||||
---
|
||||
|
||||
## 4. ⚠️ 并行安全（出过事故，必须照做）
|
||||
|
||||
5 个 worker 曾挤在**同一个 ego-browser Space 的同一个 page** 上 ⇒ 297 页跨校串页、整批作废。
|
||||
|
||||
1. **自己新建一个 TaskSpace**（不要复用别人已有的）
|
||||
2. **每个 URL 用独占的 `newPage()`**，**不要共用 p1**
|
||||
3. **每取一页校验 `page.url()` 与目标一致**；不一致 ⇒ 废掉重取
|
||||
4. 成功时收尾调一次 `await task.finish({ keep: [] })`；**因错误停止就别调**，把 `spaceId` 报上来
|
||||
|
||||
⚠️ 本机浏览器可能被用户接管（`ownership: user`）—— 遇到就**立刻停手、不重试**，把 `spaceId` 报上来。
|
||||
|
||||
---
|
||||
|
||||
## 5. 硬要求
|
||||
|
||||
1. **只在本项目内写**（`products/` `reports/`）。不碰别的项目、不碰线上库。
|
||||
2. **不设时间盒，做完整为止。** 但**每做完一个院系报一次 `status`**（三句话）。
|
||||
3. **判据来自页面。你的眼睛比任何正则都准。**
|
||||
4. **不许发明**：抓不到 ⇒ 写「未取到：<URL> + <错误原文>」。**判不准的贴出来，不要归类掉。**
|
||||
5. **不要从 sitemap 全量枚举 URL**（METHOD.md §6 反面清单第一条）。
|
||||
6. **只做这一所学校。**
|
||||
|
||||
@@ -0,0 +1,97 @@
|
||||
# 课题组逐院系采集 · 诺里奇艺术大学（英国）· 现有 8 条
|
||||
|
||||
**入口普查的判型**：其它/待裁
|
||||
**现有 group_url 形态**：``norwichuni.ac.uk / <slug>/groups/<slug>``
|
||||
|
||||
⚠️ 这是**换源重采**：旧数据整体推翻，不要参照它。 · Win1 · Manager 2026-09-24
|
||||
|
||||
## 0. 先读方法件（**不要重新发明方法**）
|
||||
|
||||
工作区：`C:\Users\Administrator\orca\projects\英澳博士课题组数据`
|
||||
|
||||
- **`method/METHOD.md`** —— 活的采集方法。**重点看 §1「入口发现」与 §6「反面清单」。**
|
||||
- `method/finding_edinburgh_v2.md` —— 完备性标杆（643 组 / 24 院系）
|
||||
- `method/finding_anu_v2.md` · `finding_qub_v2.md` · `finding_bath_v2.md` —— 最近几所
|
||||
- `tasks/` —— 其它任务书
|
||||
|
||||
一句话：
|
||||
|
||||
> **找「组目录」，不要枚举 URL。**
|
||||
> 官方院系导航 → 各院系 `/research/` → **该页上的「组目录」**
|
||||
> （`research-groups` / `research-centres` / `groups` / `institutes` / `labs`，
|
||||
> **最高价值是「每个组由一位 PI 带」的目录**）。**入口 20–60 个/校。**
|
||||
|
||||
**参考已跑通的**：`products/` 下各校 `*__groups*.json` 是产物格式。
|
||||
|
||||
---
|
||||
|
||||
## 1. 本波只做这一所：**诺里奇艺术大学（英国）· 现有 8 条
|
||||
|
||||
**入口普查的判型**：其它/待裁
|
||||
**现有 group_url 形态**：``norwichuni.ac.uk / <slug>/groups/<slug>``
|
||||
|
||||
⚠️ 这是**换源重采**：旧数据整体推翻，不要参照它。**
|
||||
|
||||
---
|
||||
|
||||
## 2. 交付（**门槛，不是"尽量"**）
|
||||
|
||||
1. **院系台账（缺一行 = 没做完）**
|
||||
`院系（全部）| research 入口 URL | 状态（取到 / 取不到：<原因>）| 组数`
|
||||
—— 院系清单从**学校官方导航**拿；**给出枚举来源 URL 与总数**；**`未取页 = 0`**
|
||||
2. **全量候选产物**：`products/<slug>_v3__groups.json`
|
||||
（五字段：课题组名称 / 所在大学及研究中心 / 研究方向 / 联系邮箱 / 最近五年论文数=null）
|
||||
—— **启发式自动抽，不逐条判**
|
||||
3. **随机抽 30 条逐条开页面核** → **准确率** + **假阳性类型** + **能否定点修掉**
|
||||
- 准确率 **≥90% 且类型集中** ⇒ 定点修那一类，**全量直接用，不再逐页核**
|
||||
4. **合理性校验**：`组数 ÷ 院系数`。**比值荒谬地低 ⇒ 回头找「组目录」那一层**
|
||||
（不是去爬更多 URL）。确认"再下一层没有组"要贴原文结构作证。
|
||||
5. **反例 / 判不准 / 未验清单**（附页面原文）
|
||||
6. 一句话：**最终组数？完备性有没有缺口？**
|
||||
|
||||
产物写 `products/`，报告写 `reports/finding_<slug>_v3.md`（目录不存在就建）。
|
||||
|
||||
---
|
||||
|
||||
## 3. 判据与字段（摘要；**细则以 METHOD.md §2 为准**）
|
||||
|
||||
> **打开页面像人一样看：这是不是一个「导师带的做研究的团队」？**
|
||||
> **粒度上限 = 一个导师能带的规模。**
|
||||
> 大一级（institute / theme / cluster / 校级研究所）**不收**；
|
||||
> **但大一级下面挂着真组时，只收内层组。**
|
||||
|
||||
**不是组**：服务设施 · 研讨会系列 · 项目 · 学生培养计划 · 单项研究 · 空页重定向 · 无负责人的方向页。
|
||||
**共性是页面上有一句「非团队自述」—— 你去看那句话。**
|
||||
|
||||
| 字段 | 取法 |
|
||||
|---|---|
|
||||
| 课题组名称 | 该组**自己页面**的 H1（无 H1 用 `<title>`；JS 渲染/表格行用目录里的官方组名并标 `_name_source`）。⚠️ 无官方组名的**按 `<负责人> 团队` 渲染并标 `_name_source: rendered_from_leader`**，且要查重防撞 |
|
||||
| 所在大学及研究中心 | 大学 + **真实上级研究单位**；⚠️ 上级是系/院/学部的**不许当研究中心写**，没有真上级就**只写大学** |
|
||||
| 研究方向 | 该组页上的方向文字。**没有 ⇒ 不要** |
|
||||
| 联系邮箱 | 只接受**本组页 / 本组负责人页**的邮箱 |
|
||||
| 最近五年论文数 | null |
|
||||
|
||||
---
|
||||
|
||||
## 4. ⚠️ 并行安全（出过事故，必须照做）
|
||||
|
||||
5 个 worker 曾挤在**同一个 ego-browser Space 的同一个 page** 上 ⇒ 297 页跨校串页、整批作废。
|
||||
|
||||
1. **自己新建一个 TaskSpace**（不要复用别人已有的）
|
||||
2. **每个 URL 用独占的 `newPage()`**，**不要共用 p1**
|
||||
3. **每取一页校验 `page.url()` 与目标一致**；不一致 ⇒ 废掉重取
|
||||
4. 成功时收尾调一次 `await task.finish({ keep: [] })`；**因错误停止就别调**，把 `spaceId` 报上来
|
||||
|
||||
⚠️ 本机浏览器可能被用户接管（`ownership: user`）—— 遇到就**立刻停手、不重试**，把 `spaceId` 报上来。
|
||||
|
||||
---
|
||||
|
||||
## 5. 硬要求
|
||||
|
||||
1. **只在本项目内写**（`products/` `reports/`）。不碰别的项目、不碰线上库。
|
||||
2. **不设时间盒，做完整为止。** 但**每做完一个院系报一次 `status`**（三句话）。
|
||||
3. **判据来自页面。你的眼睛比任何正则都准。**
|
||||
4. **不许发明**：抓不到 ⇒ 写「未取到：<URL> + <错误原文>」。**判不准的贴出来，不要归类掉。**
|
||||
5. **不要从 sitemap 全量枚举 URL**（METHOD.md §6 反面清单第一条）。
|
||||
6. **只做这一所学校。**
|
||||
|
||||
@@ -0,0 +1,97 @@
|
||||
# 课题组逐院系采集 · 伦敦艺术大学（英国）· 现有 8 条
|
||||
|
||||
**入口普查的判型**：人员档案系统 group 页
|
||||
**现有 group_url 形态**：``researchers.arts.ac.uk / groups/<n>``
|
||||
|
||||
⚠️ 这是**换源重采**：旧数据整体推翻，不要参照它。 · Win1 · Manager 2026-09-24
|
||||
|
||||
## 0. 先读方法件（**不要重新发明方法**）
|
||||
|
||||
工作区：`C:\Users\Administrator\orca\projects\英澳博士课题组数据`
|
||||
|
||||
- **`method/METHOD.md`** —— 活的采集方法。**重点看 §1「入口发现」与 §6「反面清单」。**
|
||||
- `method/finding_edinburgh_v2.md` —— 完备性标杆（643 组 / 24 院系）
|
||||
- `method/finding_anu_v2.md` · `finding_qub_v2.md` · `finding_bath_v2.md` —— 最近几所
|
||||
- `tasks/` —— 其它任务书
|
||||
|
||||
一句话：
|
||||
|
||||
> **找「组目录」，不要枚举 URL。**
|
||||
> 官方院系导航 → 各院系 `/research/` → **该页上的「组目录」**
|
||||
> （`research-groups` / `research-centres` / `groups` / `institutes` / `labs`，
|
||||
> **最高价值是「每个组由一位 PI 带」的目录**）。**入口 20–60 个/校。**
|
||||
|
||||
**参考已跑通的**：`products/` 下各校 `*__groups*.json` 是产物格式。
|
||||
|
||||
---
|
||||
|
||||
## 1. 本波只做这一所：**伦敦艺术大学（英国）· 现有 8 条
|
||||
|
||||
**入口普查的判型**：人员档案系统 group 页
|
||||
**现有 group_url 形态**：``researchers.arts.ac.uk / groups/<n>``
|
||||
|
||||
⚠️ 这是**换源重采**：旧数据整体推翻，不要参照它。**
|
||||
|
||||
---
|
||||
|
||||
## 2. 交付（**门槛，不是"尽量"**）
|
||||
|
||||
1. **院系台账（缺一行 = 没做完）**
|
||||
`院系（全部）| research 入口 URL | 状态（取到 / 取不到：<原因>）| 组数`
|
||||
—— 院系清单从**学校官方导航**拿；**给出枚举来源 URL 与总数**；**`未取页 = 0`**
|
||||
2. **全量候选产物**：`products/<slug>_v3__groups.json`
|
||||
（五字段：课题组名称 / 所在大学及研究中心 / 研究方向 / 联系邮箱 / 最近五年论文数=null）
|
||||
—— **启发式自动抽，不逐条判**
|
||||
3. **随机抽 30 条逐条开页面核** → **准确率** + **假阳性类型** + **能否定点修掉**
|
||||
- 准确率 **≥90% 且类型集中** ⇒ 定点修那一类，**全量直接用，不再逐页核**
|
||||
4. **合理性校验**：`组数 ÷ 院系数`。**比值荒谬地低 ⇒ 回头找「组目录」那一层**
|
||||
（不是去爬更多 URL）。确认"再下一层没有组"要贴原文结构作证。
|
||||
5. **反例 / 判不准 / 未验清单**（附页面原文）
|
||||
6. 一句话：**最终组数？完备性有没有缺口？**
|
||||
|
||||
产物写 `products/`，报告写 `reports/finding_<slug>_v3.md`（目录不存在就建）。
|
||||
|
||||
---
|
||||
|
||||
## 3. 判据与字段（摘要；**细则以 METHOD.md §2 为准**）
|
||||
|
||||
> **打开页面像人一样看：这是不是一个「导师带的做研究的团队」？**
|
||||
> **粒度上限 = 一个导师能带的规模。**
|
||||
> 大一级（institute / theme / cluster / 校级研究所）**不收**；
|
||||
> **但大一级下面挂着真组时，只收内层组。**
|
||||
|
||||
**不是组**：服务设施 · 研讨会系列 · 项目 · 学生培养计划 · 单项研究 · 空页重定向 · 无负责人的方向页。
|
||||
**共性是页面上有一句「非团队自述」—— 你去看那句话。**
|
||||
|
||||
| 字段 | 取法 |
|
||||
|---|---|
|
||||
| 课题组名称 | 该组**自己页面**的 H1（无 H1 用 `<title>`；JS 渲染/表格行用目录里的官方组名并标 `_name_source`）。⚠️ 无官方组名的**按 `<负责人> 团队` 渲染并标 `_name_source: rendered_from_leader`**，且要查重防撞 |
|
||||
| 所在大学及研究中心 | 大学 + **真实上级研究单位**；⚠️ 上级是系/院/学部的**不许当研究中心写**，没有真上级就**只写大学** |
|
||||
| 研究方向 | 该组页上的方向文字。**没有 ⇒ 不要** |
|
||||
| 联系邮箱 | 只接受**本组页 / 本组负责人页**的邮箱 |
|
||||
| 最近五年论文数 | null |
|
||||
|
||||
---
|
||||
|
||||
## 4. ⚠️ 并行安全（出过事故，必须照做）
|
||||
|
||||
5 个 worker 曾挤在**同一个 ego-browser Space 的同一个 page** 上 ⇒ 297 页跨校串页、整批作废。
|
||||
|
||||
1. **自己新建一个 TaskSpace**（不要复用别人已有的）
|
||||
2. **每个 URL 用独占的 `newPage()`**，**不要共用 p1**
|
||||
3. **每取一页校验 `page.url()` 与目标一致**；不一致 ⇒ 废掉重取
|
||||
4. 成功时收尾调一次 `await task.finish({ keep: [] })`；**因错误停止就别调**，把 `spaceId` 报上来
|
||||
|
||||
⚠️ 本机浏览器可能被用户接管（`ownership: user`）—— 遇到就**立刻停手、不重试**，把 `spaceId` 报上来。
|
||||
|
||||
---
|
||||
|
||||
## 5. 硬要求
|
||||
|
||||
1. **只在本项目内写**（`products/` `reports/`）。不碰别的项目、不碰线上库。
|
||||
2. **不设时间盒，做完整为止。** 但**每做完一个院系报一次 `status`**（三句话）。
|
||||
3. **判据来自页面。你的眼睛比任何正则都准。**
|
||||
4. **不许发明**：抓不到 ⇒ 写「未取到：<URL> + <错误原文>」。**判不准的贴出来，不要归类掉。**
|
||||
5. **不要从 sitemap 全量枚举 URL**（METHOD.md §6 反面清单第一条）。
|
||||
6. **只做这一所学校。**
|
||||
|
||||
@@ -0,0 +1,97 @@
|
||||
# 课题组逐院系采集 · 皇家北方音乐学院（英国）· 现有 7 条
|
||||
|
||||
**入口普查的判型**：自建 research 站点
|
||||
**现有 group_url 形态**：``www.rncm.ac.uk / research/research-activity/<slug>``
|
||||
|
||||
⚠️ 这是**换源重采**：旧数据整体推翻，不要参照它。 · Win1 · Manager 2026-09-24
|
||||
|
||||
## 0. 先读方法件（**不要重新发明方法**）
|
||||
|
||||
工作区：`C:\Users\Administrator\orca\projects\英澳博士课题组数据`
|
||||
|
||||
- **`method/METHOD.md`** —— 活的采集方法。**重点看 §1「入口发现」与 §6「反面清单」。**
|
||||
- `method/finding_edinburgh_v2.md` —— 完备性标杆（643 组 / 24 院系）
|
||||
- `method/finding_anu_v2.md` · `finding_qub_v2.md` · `finding_bath_v2.md` —— 最近几所
|
||||
- `tasks/` —— 其它任务书
|
||||
|
||||
一句话：
|
||||
|
||||
> **找「组目录」，不要枚举 URL。**
|
||||
> 官方院系导航 → 各院系 `/research/` → **该页上的「组目录」**
|
||||
> （`research-groups` / `research-centres` / `groups` / `institutes` / `labs`，
|
||||
> **最高价值是「每个组由一位 PI 带」的目录**）。**入口 20–60 个/校。**
|
||||
|
||||
**参考已跑通的**：`products/` 下各校 `*__groups*.json` 是产物格式。
|
||||
|
||||
---
|
||||
|
||||
## 1. 本波只做这一所：**皇家北方音乐学院（英国）· 现有 7 条
|
||||
|
||||
**入口普查的判型**：自建 research 站点
|
||||
**现有 group_url 形态**：``www.rncm.ac.uk / research/research-activity/<slug>``
|
||||
|
||||
⚠️ 这是**换源重采**：旧数据整体推翻，不要参照它。**
|
||||
|
||||
---
|
||||
|
||||
## 2. 交付（**门槛，不是"尽量"**）
|
||||
|
||||
1. **院系台账（缺一行 = 没做完）**
|
||||
`院系（全部）| research 入口 URL | 状态（取到 / 取不到：<原因>）| 组数`
|
||||
—— 院系清单从**学校官方导航**拿；**给出枚举来源 URL 与总数**；**`未取页 = 0`**
|
||||
2. **全量候选产物**：`products/<slug>_v3__groups.json`
|
||||
（五字段：课题组名称 / 所在大学及研究中心 / 研究方向 / 联系邮箱 / 最近五年论文数=null）
|
||||
—— **启发式自动抽，不逐条判**
|
||||
3. **随机抽 30 条逐条开页面核** → **准确率** + **假阳性类型** + **能否定点修掉**
|
||||
- 准确率 **≥90% 且类型集中** ⇒ 定点修那一类，**全量直接用，不再逐页核**
|
||||
4. **合理性校验**：`组数 ÷ 院系数`。**比值荒谬地低 ⇒ 回头找「组目录」那一层**
|
||||
（不是去爬更多 URL）。确认"再下一层没有组"要贴原文结构作证。
|
||||
5. **反例 / 判不准 / 未验清单**（附页面原文）
|
||||
6. 一句话：**最终组数？完备性有没有缺口？**
|
||||
|
||||
产物写 `products/`，报告写 `reports/finding_<slug>_v3.md`（目录不存在就建）。
|
||||
|
||||
---
|
||||
|
||||
## 3. 判据与字段（摘要；**细则以 METHOD.md §2 为准**）
|
||||
|
||||
> **打开页面像人一样看：这是不是一个「导师带的做研究的团队」？**
|
||||
> **粒度上限 = 一个导师能带的规模。**
|
||||
> 大一级（institute / theme / cluster / 校级研究所）**不收**；
|
||||
> **但大一级下面挂着真组时，只收内层组。**
|
||||
|
||||
**不是组**：服务设施 · 研讨会系列 · 项目 · 学生培养计划 · 单项研究 · 空页重定向 · 无负责人的方向页。
|
||||
**共性是页面上有一句「非团队自述」—— 你去看那句话。**
|
||||
|
||||
| 字段 | 取法 |
|
||||
|---|---|
|
||||
| 课题组名称 | 该组**自己页面**的 H1（无 H1 用 `<title>`；JS 渲染/表格行用目录里的官方组名并标 `_name_source`）。⚠️ 无官方组名的**按 `<负责人> 团队` 渲染并标 `_name_source: rendered_from_leader`**，且要查重防撞 |
|
||||
| 所在大学及研究中心 | 大学 + **真实上级研究单位**；⚠️ 上级是系/院/学部的**不许当研究中心写**，没有真上级就**只写大学** |
|
||||
| 研究方向 | 该组页上的方向文字。**没有 ⇒ 不要** |
|
||||
| 联系邮箱 | 只接受**本组页 / 本组负责人页**的邮箱 |
|
||||
| 最近五年论文数 | null |
|
||||
|
||||
---
|
||||
|
||||
## 4. ⚠️ 并行安全（出过事故，必须照做）
|
||||
|
||||
5 个 worker 曾挤在**同一个 ego-browser Space 的同一个 page** 上 ⇒ 297 页跨校串页、整批作废。
|
||||
|
||||
1. **自己新建一个 TaskSpace**（不要复用别人已有的）
|
||||
2. **每个 URL 用独占的 `newPage()`**，**不要共用 p1**
|
||||
3. **每取一页校验 `page.url()` 与目标一致**；不一致 ⇒ 废掉重取
|
||||
4. 成功时收尾调一次 `await task.finish({ keep: [] })`；**因错误停止就别调**，把 `spaceId` 报上来
|
||||
|
||||
⚠️ 本机浏览器可能被用户接管（`ownership: user`）—— 遇到就**立刻停手、不重试**，把 `spaceId` 报上来。
|
||||
|
||||
---
|
||||
|
||||
## 5. 硬要求
|
||||
|
||||
1. **只在本项目内写**（`products/` `reports/`）。不碰别的项目、不碰线上库。
|
||||
2. **不设时间盒，做完整为止。** 但**每做完一个院系报一次 `status`**（三句话）。
|
||||
3. **判据来自页面。你的眼睛比任何正则都准。**
|
||||
4. **不许发明**：抓不到 ⇒ 写「未取到：<URL> + <错误原文>」。**判不准的贴出来，不要归类掉。**
|
||||
5. **不要从 sitemap 全量枚举 URL**（METHOD.md §6 反面清单第一条）。
|
||||
6. **只做这一所学校。**
|
||||
|
||||
@@ -0,0 +1,97 @@
|
||||
# 课题组逐院系采集 · 创意艺术大学（英国）· 现有 7 条
|
||||
|
||||
**入口普查的判型**：自建 research 目录/课题组页
|
||||
**现有 group_url 形态**：``www.uca.ac.uk / research/research-centres/<slug>``
|
||||
|
||||
⚠️ 这是**换源重采**：旧数据整体推翻，不要参照它。 · Win1 · Manager 2026-09-24
|
||||
|
||||
## 0. 先读方法件（**不要重新发明方法**）
|
||||
|
||||
工作区：`C:\Users\Administrator\orca\projects\英澳博士课题组数据`
|
||||
|
||||
- **`method/METHOD.md`** —— 活的采集方法。**重点看 §1「入口发现」与 §6「反面清单」。**
|
||||
- `method/finding_edinburgh_v2.md` —— 完备性标杆（643 组 / 24 院系）
|
||||
- `method/finding_anu_v2.md` · `finding_qub_v2.md` · `finding_bath_v2.md` —— 最近几所
|
||||
- `tasks/` —— 其它任务书
|
||||
|
||||
一句话：
|
||||
|
||||
> **找「组目录」，不要枚举 URL。**
|
||||
> 官方院系导航 → 各院系 `/research/` → **该页上的「组目录」**
|
||||
> （`research-groups` / `research-centres` / `groups` / `institutes` / `labs`，
|
||||
> **最高价值是「每个组由一位 PI 带」的目录**）。**入口 20–60 个/校。**
|
||||
|
||||
**参考已跑通的**：`products/` 下各校 `*__groups*.json` 是产物格式。
|
||||
|
||||
---
|
||||
|
||||
## 1. 本波只做这一所：**创意艺术大学（英国）· 现有 7 条
|
||||
|
||||
**入口普查的判型**：自建 research 目录/课题组页
|
||||
**现有 group_url 形态**：``www.uca.ac.uk / research/research-centres/<slug>``
|
||||
|
||||
⚠️ 这是**换源重采**：旧数据整体推翻，不要参照它。**
|
||||
|
||||
---
|
||||
|
||||
## 2. 交付（**门槛，不是"尽量"**）
|
||||
|
||||
1. **院系台账（缺一行 = 没做完）**
|
||||
`院系（全部）| research 入口 URL | 状态（取到 / 取不到：<原因>）| 组数`
|
||||
—— 院系清单从**学校官方导航**拿；**给出枚举来源 URL 与总数**；**`未取页 = 0`**
|
||||
2. **全量候选产物**：`products/<slug>_v3__groups.json`
|
||||
（五字段：课题组名称 / 所在大学及研究中心 / 研究方向 / 联系邮箱 / 最近五年论文数=null）
|
||||
—— **启发式自动抽，不逐条判**
|
||||
3. **随机抽 30 条逐条开页面核** → **准确率** + **假阳性类型** + **能否定点修掉**
|
||||
- 准确率 **≥90% 且类型集中** ⇒ 定点修那一类，**全量直接用，不再逐页核**
|
||||
4. **合理性校验**：`组数 ÷ 院系数`。**比值荒谬地低 ⇒ 回头找「组目录」那一层**
|
||||
（不是去爬更多 URL）。确认"再下一层没有组"要贴原文结构作证。
|
||||
5. **反例 / 判不准 / 未验清单**（附页面原文）
|
||||
6. 一句话：**最终组数？完备性有没有缺口？**
|
||||
|
||||
产物写 `products/`，报告写 `reports/finding_<slug>_v3.md`（目录不存在就建）。
|
||||
|
||||
---
|
||||
|
||||
## 3. 判据与字段（摘要；**细则以 METHOD.md §2 为准**）
|
||||
|
||||
> **打开页面像人一样看：这是不是一个「导师带的做研究的团队」？**
|
||||
> **粒度上限 = 一个导师能带的规模。**
|
||||
> 大一级（institute / theme / cluster / 校级研究所）**不收**；
|
||||
> **但大一级下面挂着真组时，只收内层组。**
|
||||
|
||||
**不是组**：服务设施 · 研讨会系列 · 项目 · 学生培养计划 · 单项研究 · 空页重定向 · 无负责人的方向页。
|
||||
**共性是页面上有一句「非团队自述」—— 你去看那句话。**
|
||||
|
||||
| 字段 | 取法 |
|
||||
|---|---|
|
||||
| 课题组名称 | 该组**自己页面**的 H1（无 H1 用 `<title>`；JS 渲染/表格行用目录里的官方组名并标 `_name_source`）。⚠️ 无官方组名的**按 `<负责人> 团队` 渲染并标 `_name_source: rendered_from_leader`**，且要查重防撞 |
|
||||
| 所在大学及研究中心 | 大学 + **真实上级研究单位**；⚠️ 上级是系/院/学部的**不许当研究中心写**，没有真上级就**只写大学** |
|
||||
| 研究方向 | 该组页上的方向文字。**没有 ⇒ 不要** |
|
||||
| 联系邮箱 | 只接受**本组页 / 本组负责人页**的邮箱 |
|
||||
| 最近五年论文数 | null |
|
||||
|
||||
---
|
||||
|
||||
## 4. ⚠️ 并行安全（出过事故，必须照做）
|
||||
|
||||
5 个 worker 曾挤在**同一个 ego-browser Space 的同一个 page** 上 ⇒ 297 页跨校串页、整批作废。
|
||||
|
||||
1. **自己新建一个 TaskSpace**（不要复用别人已有的）
|
||||
2. **每个 URL 用独占的 `newPage()`**，**不要共用 p1**
|
||||
3. **每取一页校验 `page.url()` 与目标一致**；不一致 ⇒ 废掉重取
|
||||
4. 成功时收尾调一次 `await task.finish({ keep: [] })`；**因错误停止就别调**，把 `spaceId` 报上来
|
||||
|
||||
⚠️ 本机浏览器可能被用户接管（`ownership: user`）—— 遇到就**立刻停手、不重试**，把 `spaceId` 报上来。
|
||||
|
||||
---
|
||||
|
||||
## 5. 硬要求
|
||||
|
||||
1. **只在本项目内写**（`products/` `reports/`）。不碰别的项目、不碰线上库。
|
||||
2. **不设时间盒，做完整为止。** 但**每做完一个院系报一次 `status`**（三句话）。
|
||||
3. **判据来自页面。你的眼睛比任何正则都准。**
|
||||
4. **不许发明**：抓不到 ⇒ 写「未取到：<URL> + <错误原文>」。**判不准的贴出来，不要归类掉。**
|
||||
5. **不要从 sitemap 全量枚举 URL**（METHOD.md §6 反面清单第一条）。
|
||||
6. **只做这一所学校。**
|
||||
|
||||
@@ -0,0 +1,99 @@
|
||||
# 课题组逐院系采集 · 詹姆斯库克大学（澳新）· 现有 146 条
|
||||
|
||||
**入口普查的判型**：其它/待裁
|
||||
**现有 group_url 形态**：``portfolio.jcu.edu.au / units/JCU1001``
|
||||
|
||||
⚠️ 这是**换源重采**：旧数据整体推翻，不要参照它。
|
||||
本条是**入口普查已定**的那批（61 校/3501 条可收 2817）；按 METHOD.md 从院系站重找组目录。 · Win1 · Manager 2026-09-24
|
||||
|
||||
## 0. 先读方法件（**不要重新发明方法**）
|
||||
|
||||
工作区：`C:\Users\Administrator\orca\projects\英澳博士课题组数据`
|
||||
|
||||
- **`method/METHOD.md`** —— 活的采集方法。**重点看 §1「入口发现」与 §6「反面清单」。**
|
||||
- `method/finding_edinburgh_v2.md` —— 完备性标杆（643 组 / 24 院系）
|
||||
- `method/finding_anu_v2.md` · `finding_qub_v2.md` · `finding_bath_v2.md` —— 最近几所
|
||||
- `tasks/` —— 其它任务书
|
||||
|
||||
一句话：
|
||||
|
||||
> **找「组目录」，不要枚举 URL。**
|
||||
> 官方院系导航 → 各院系 `/research/` → **该页上的「组目录」**
|
||||
> （`research-groups` / `research-centres` / `groups` / `institutes` / `labs`，
|
||||
> **最高价值是「每个组由一位 PI 带」的目录**）。**入口 20–60 个/校。**
|
||||
|
||||
**参考已跑通的**：`products/` 下各校 `*__groups*.json` 是产物格式。
|
||||
|
||||
---
|
||||
|
||||
## 1. 本波只做这一所：**詹姆斯库克大学（澳新）· 现有 146 条
|
||||
|
||||
**入口普查的判型**：其它/待裁
|
||||
**现有 group_url 形态**：``portfolio.jcu.edu.au / units/JCU1001``
|
||||
|
||||
⚠️ 这是**换源重采**：旧数据整体推翻，不要参照它。
|
||||
本条是**入口普查已定**的那批（61 校/3501 条可收 2817）；按 METHOD.md 从院系站重找组目录。**
|
||||
|
||||
---
|
||||
|
||||
## 2. 交付（**门槛，不是"尽量"**）
|
||||
|
||||
1. **院系台账（缺一行 = 没做完）**
|
||||
`院系（全部）| research 入口 URL | 状态（取到 / 取不到：<原因>）| 组数`
|
||||
—— 院系清单从**学校官方导航**拿；**给出枚举来源 URL 与总数**；**`未取页 = 0`**
|
||||
2. **全量候选产物**：`products/<slug>_v3__groups.json`
|
||||
（五字段：课题组名称 / 所在大学及研究中心 / 研究方向 / 联系邮箱 / 最近五年论文数=null）
|
||||
—— **启发式自动抽，不逐条判**
|
||||
3. **随机抽 30 条逐条开页面核** → **准确率** + **假阳性类型** + **能否定点修掉**
|
||||
- 准确率 **≥90% 且类型集中** ⇒ 定点修那一类，**全量直接用，不再逐页核**
|
||||
4. **合理性校验**：`组数 ÷ 院系数`。**比值荒谬地低 ⇒ 回头找「组目录」那一层**
|
||||
（不是去爬更多 URL）。确认"再下一层没有组"要贴原文结构作证。
|
||||
5. **反例 / 判不准 / 未验清单**（附页面原文）
|
||||
6. 一句话：**最终组数？完备性有没有缺口？**
|
||||
|
||||
产物写 `products/`，报告写 `reports/finding_<slug>_v3.md`（目录不存在就建）。
|
||||
|
||||
---
|
||||
|
||||
## 3. 判据与字段（摘要；**细则以 METHOD.md §2 为准**）
|
||||
|
||||
> **打开页面像人一样看：这是不是一个「导师带的做研究的团队」？**
|
||||
> **粒度上限 = 一个导师能带的规模。**
|
||||
> 大一级（institute / theme / cluster / 校级研究所）**不收**；
|
||||
> **但大一级下面挂着真组时，只收内层组。**
|
||||
|
||||
**不是组**：服务设施 · 研讨会系列 · 项目 · 学生培养计划 · 单项研究 · 空页重定向 · 无负责人的方向页。
|
||||
**共性是页面上有一句「非团队自述」—— 你去看那句话。**
|
||||
|
||||
| 字段 | 取法 |
|
||||
|---|---|
|
||||
| 课题组名称 | 该组**自己页面**的 H1（无 H1 用 `<title>`；JS 渲染/表格行用目录里的官方组名并标 `_name_source`）。⚠️ 无官方组名的**按 `<负责人> 团队` 渲染并标 `_name_source: rendered_from_leader`**，且要查重防撞 |
|
||||
| 所在大学及研究中心 | 大学 + **真实上级研究单位**；⚠️ 上级是系/院/学部的**不许当研究中心写**，没有真上级就**只写大学** |
|
||||
| 研究方向 | 该组页上的方向文字。**没有 ⇒ 不要** |
|
||||
| 联系邮箱 | 只接受**本组页 / 本组负责人页**的邮箱 |
|
||||
| 最近五年论文数 | null |
|
||||
|
||||
---
|
||||
|
||||
## 4. ⚠️ 并行安全（出过事故，必须照做）
|
||||
|
||||
5 个 worker 曾挤在**同一个 ego-browser Space 的同一个 page** 上 ⇒ 297 页跨校串页、整批作废。
|
||||
|
||||
1. **自己新建一个 TaskSpace**（不要复用别人已有的）
|
||||
2. **每个 URL 用独占的 `newPage()`**，**不要共用 p1**
|
||||
3. **每取一页校验 `page.url()` 与目标一致**；不一致 ⇒ 废掉重取
|
||||
4. 成功时收尾调一次 `await task.finish({ keep: [] })`；**因错误停止就别调**，把 `spaceId` 报上来
|
||||
|
||||
⚠️ 本机浏览器可能被用户接管（`ownership: user`）—— 遇到就**立刻停手、不重试**，把 `spaceId` 报上来。
|
||||
|
||||
---
|
||||
|
||||
## 5. 硬要求
|
||||
|
||||
1. **只在本项目内写**（`products/` `reports/`）。不碰别的项目、不碰线上库。
|
||||
2. **不设时间盒，做完整为止。** 但**每做完一个院系报一次 `status`**（三句话）。
|
||||
3. **判据来自页面。你的眼睛比任何正则都准。**
|
||||
4. **不许发明**：抓不到 ⇒ 写「未取到：<URL> + <错误原文>」。**判不准的贴出来，不要归类掉。**
|
||||
5. **不要从 sitemap 全量枚举 URL**（METHOD.md §6 反面清单第一条）。
|
||||
6. **只做这一所学校。**
|
||||
|
||||
@@ -0,0 +1,97 @@
|
||||
# 课题组逐院系采集 · 悉尼新南威尔士大学（澳新）· 现有 6 条
|
||||
|
||||
**入口普查的判型**：其它/待裁
|
||||
**现有 group_url 形态**：``www.ilc.unsw.edu.au / ``
|
||||
|
||||
⚠️ 这是**换源重采**：旧数据整体推翻，不要参照它。 · Win1 · Manager 2026-09-24
|
||||
|
||||
## 0. 先读方法件（**不要重新发明方法**）
|
||||
|
||||
工作区：`C:\Users\Administrator\orca\projects\英澳博士课题组数据`
|
||||
|
||||
- **`method/METHOD.md`** —— 活的采集方法。**重点看 §1「入口发现」与 §6「反面清单」。**
|
||||
- `method/finding_edinburgh_v2.md` —— 完备性标杆（643 组 / 24 院系）
|
||||
- `method/finding_anu_v2.md` · `finding_qub_v2.md` · `finding_bath_v2.md` —— 最近几所
|
||||
- `tasks/` —— 其它任务书
|
||||
|
||||
一句话：
|
||||
|
||||
> **找「组目录」，不要枚举 URL。**
|
||||
> 官方院系导航 → 各院系 `/research/` → **该页上的「组目录」**
|
||||
> （`research-groups` / `research-centres` / `groups` / `institutes` / `labs`，
|
||||
> **最高价值是「每个组由一位 PI 带」的目录**）。**入口 20–60 个/校。**
|
||||
|
||||
**参考已跑通的**：`products/` 下各校 `*__groups*.json` 是产物格式。
|
||||
|
||||
---
|
||||
|
||||
## 1. 本波只做这一所：**悉尼新南威尔士大学（澳新）· 现有 6 条
|
||||
|
||||
**入口普查的判型**：其它/待裁
|
||||
**现有 group_url 形态**：``www.ilc.unsw.edu.au / ``
|
||||
|
||||
⚠️ 这是**换源重采**：旧数据整体推翻，不要参照它。**
|
||||
|
||||
---
|
||||
|
||||
## 2. 交付（**门槛，不是"尽量"**）
|
||||
|
||||
1. **院系台账（缺一行 = 没做完）**
|
||||
`院系（全部）| research 入口 URL | 状态（取到 / 取不到：<原因>）| 组数`
|
||||
—— 院系清单从**学校官方导航**拿；**给出枚举来源 URL 与总数**；**`未取页 = 0`**
|
||||
2. **全量候选产物**：`products/<slug>_v3__groups.json`
|
||||
（五字段：课题组名称 / 所在大学及研究中心 / 研究方向 / 联系邮箱 / 最近五年论文数=null）
|
||||
—— **启发式自动抽，不逐条判**
|
||||
3. **随机抽 30 条逐条开页面核** → **准确率** + **假阳性类型** + **能否定点修掉**
|
||||
- 准确率 **≥90% 且类型集中** ⇒ 定点修那一类，**全量直接用，不再逐页核**
|
||||
4. **合理性校验**：`组数 ÷ 院系数`。**比值荒谬地低 ⇒ 回头找「组目录」那一层**
|
||||
（不是去爬更多 URL）。确认"再下一层没有组"要贴原文结构作证。
|
||||
5. **反例 / 判不准 / 未验清单**（附页面原文）
|
||||
6. 一句话：**最终组数？完备性有没有缺口？**
|
||||
|
||||
产物写 `products/`，报告写 `reports/finding_<slug>_v3.md`（目录不存在就建）。
|
||||
|
||||
---
|
||||
|
||||
## 3. 判据与字段（摘要；**细则以 METHOD.md §2 为准**）
|
||||
|
||||
> **打开页面像人一样看：这是不是一个「导师带的做研究的团队」？**
|
||||
> **粒度上限 = 一个导师能带的规模。**
|
||||
> 大一级（institute / theme / cluster / 校级研究所）**不收**；
|
||||
> **但大一级下面挂着真组时，只收内层组。**
|
||||
|
||||
**不是组**：服务设施 · 研讨会系列 · 项目 · 学生培养计划 · 单项研究 · 空页重定向 · 无负责人的方向页。
|
||||
**共性是页面上有一句「非团队自述」—— 你去看那句话。**
|
||||
|
||||
| 字段 | 取法 |
|
||||
|---|---|
|
||||
| 课题组名称 | 该组**自己页面**的 H1（无 H1 用 `<title>`；JS 渲染/表格行用目录里的官方组名并标 `_name_source`）。⚠️ 无官方组名的**按 `<负责人> 团队` 渲染并标 `_name_source: rendered_from_leader`**，且要查重防撞 |
|
||||
| 所在大学及研究中心 | 大学 + **真实上级研究单位**；⚠️ 上级是系/院/学部的**不许当研究中心写**，没有真上级就**只写大学** |
|
||||
| 研究方向 | 该组页上的方向文字。**没有 ⇒ 不要** |
|
||||
| 联系邮箱 | 只接受**本组页 / 本组负责人页**的邮箱 |
|
||||
| 最近五年论文数 | null |
|
||||
|
||||
---
|
||||
|
||||
## 4. ⚠️ 并行安全（出过事故，必须照做）
|
||||
|
||||
5 个 worker 曾挤在**同一个 ego-browser Space 的同一个 page** 上 ⇒ 297 页跨校串页、整批作废。
|
||||
|
||||
1. **自己新建一个 TaskSpace**（不要复用别人已有的）
|
||||
2. **每个 URL 用独占的 `newPage()`**，**不要共用 p1**
|
||||
3. **每取一页校验 `page.url()` 与目标一致**；不一致 ⇒ 废掉重取
|
||||
4. 成功时收尾调一次 `await task.finish({ keep: [] })`；**因错误停止就别调**，把 `spaceId` 报上来
|
||||
|
||||
⚠️ 本机浏览器可能被用户接管（`ownership: user`）—— 遇到就**立刻停手、不重试**，把 `spaceId` 报上来。
|
||||
|
||||
---
|
||||
|
||||
## 5. 硬要求
|
||||
|
||||
1. **只在本项目内写**（`products/` `reports/`）。不碰别的项目、不碰线上库。
|
||||
2. **不设时间盒，做完整为止。** 但**每做完一个院系报一次 `status`**（三句话）。
|
||||
3. **判据来自页面。你的眼睛比任何正则都准。**
|
||||
4. **不许发明**：抓不到 ⇒ 写「未取到：<URL> + <错误原文>」。**判不准的贴出来，不要归类掉。**
|
||||
5. **不要从 sitemap 全量枚举 URL**（METHOD.md §6 反面清单第一条）。
|
||||
6. **只做这一所学校。**
|
||||
|
||||
@@ -0,0 +1,97 @@
|
||||
# 课题组逐院系采集 · AA建筑联盟学院（英国）· 现有 6 条
|
||||
|
||||
**入口普查的判型**：自建 research 站点
|
||||
**现有 group_url 形态**：``www.aaschool.ac.uk / school/research/action-lab``
|
||||
|
||||
⚠️ 这是**换源重采**：旧数据整体推翻，不要参照它。 · Win1 · Manager 2026-09-24
|
||||
|
||||
## 0. 先读方法件（**不要重新发明方法**）
|
||||
|
||||
工作区：`C:\Users\Administrator\orca\projects\英澳博士课题组数据`
|
||||
|
||||
- **`method/METHOD.md`** —— 活的采集方法。**重点看 §1「入口发现」与 §6「反面清单」。**
|
||||
- `method/finding_edinburgh_v2.md` —— 完备性标杆（643 组 / 24 院系）
|
||||
- `method/finding_anu_v2.md` · `finding_qub_v2.md` · `finding_bath_v2.md` —— 最近几所
|
||||
- `tasks/` —— 其它任务书
|
||||
|
||||
一句话：
|
||||
|
||||
> **找「组目录」，不要枚举 URL。**
|
||||
> 官方院系导航 → 各院系 `/research/` → **该页上的「组目录」**
|
||||
> （`research-groups` / `research-centres` / `groups` / `institutes` / `labs`，
|
||||
> **最高价值是「每个组由一位 PI 带」的目录**）。**入口 20–60 个/校。**
|
||||
|
||||
**参考已跑通的**：`products/` 下各校 `*__groups*.json` 是产物格式。
|
||||
|
||||
---
|
||||
|
||||
## 1. 本波只做这一所：**AA建筑联盟学院（英国）· 现有 6 条
|
||||
|
||||
**入口普查的判型**：自建 research 站点
|
||||
**现有 group_url 形态**：``www.aaschool.ac.uk / school/research/action-lab``
|
||||
|
||||
⚠️ 这是**换源重采**：旧数据整体推翻，不要参照它。**
|
||||
|
||||
---
|
||||
|
||||
## 2. 交付（**门槛，不是"尽量"**）
|
||||
|
||||
1. **院系台账（缺一行 = 没做完）**
|
||||
`院系（全部）| research 入口 URL | 状态（取到 / 取不到：<原因>）| 组数`
|
||||
—— 院系清单从**学校官方导航**拿；**给出枚举来源 URL 与总数**；**`未取页 = 0`**
|
||||
2. **全量候选产物**：`products/<slug>_v3__groups.json`
|
||||
（五字段：课题组名称 / 所在大学及研究中心 / 研究方向 / 联系邮箱 / 最近五年论文数=null）
|
||||
—— **启发式自动抽，不逐条判**
|
||||
3. **随机抽 30 条逐条开页面核** → **准确率** + **假阳性类型** + **能否定点修掉**
|
||||
- 准确率 **≥90% 且类型集中** ⇒ 定点修那一类，**全量直接用，不再逐页核**
|
||||
4. **合理性校验**：`组数 ÷ 院系数`。**比值荒谬地低 ⇒ 回头找「组目录」那一层**
|
||||
（不是去爬更多 URL）。确认"再下一层没有组"要贴原文结构作证。
|
||||
5. **反例 / 判不准 / 未验清单**（附页面原文）
|
||||
6. 一句话：**最终组数？完备性有没有缺口？**
|
||||
|
||||
产物写 `products/`，报告写 `reports/finding_<slug>_v3.md`（目录不存在就建）。
|
||||
|
||||
---
|
||||
|
||||
## 3. 判据与字段（摘要；**细则以 METHOD.md §2 为准**）
|
||||
|
||||
> **打开页面像人一样看：这是不是一个「导师带的做研究的团队」？**
|
||||
> **粒度上限 = 一个导师能带的规模。**
|
||||
> 大一级（institute / theme / cluster / 校级研究所）**不收**；
|
||||
> **但大一级下面挂着真组时，只收内层组。**
|
||||
|
||||
**不是组**：服务设施 · 研讨会系列 · 项目 · 学生培养计划 · 单项研究 · 空页重定向 · 无负责人的方向页。
|
||||
**共性是页面上有一句「非团队自述」—— 你去看那句话。**
|
||||
|
||||
| 字段 | 取法 |
|
||||
|---|---|
|
||||
| 课题组名称 | 该组**自己页面**的 H1（无 H1 用 `<title>`；JS 渲染/表格行用目录里的官方组名并标 `_name_source`）。⚠️ 无官方组名的**按 `<负责人> 团队` 渲染并标 `_name_source: rendered_from_leader`**，且要查重防撞 |
|
||||
| 所在大学及研究中心 | 大学 + **真实上级研究单位**；⚠️ 上级是系/院/学部的**不许当研究中心写**，没有真上级就**只写大学** |
|
||||
| 研究方向 | 该组页上的方向文字。**没有 ⇒ 不要** |
|
||||
| 联系邮箱 | 只接受**本组页 / 本组负责人页**的邮箱 |
|
||||
| 最近五年论文数 | null |
|
||||
|
||||
---
|
||||
|
||||
## 4. ⚠️ 并行安全（出过事故，必须照做）
|
||||
|
||||
5 个 worker 曾挤在**同一个 ego-browser Space 的同一个 page** 上 ⇒ 297 页跨校串页、整批作废。
|
||||
|
||||
1. **自己新建一个 TaskSpace**（不要复用别人已有的）
|
||||
2. **每个 URL 用独占的 `newPage()`**，**不要共用 p1**
|
||||
3. **每取一页校验 `page.url()` 与目标一致**；不一致 ⇒ 废掉重取
|
||||
4. 成功时收尾调一次 `await task.finish({ keep: [] })`；**因错误停止就别调**，把 `spaceId` 报上来
|
||||
|
||||
⚠️ 本机浏览器可能被用户接管（`ownership: user`）—— 遇到就**立刻停手、不重试**，把 `spaceId` 报上来。
|
||||
|
||||
---
|
||||
|
||||
## 5. 硬要求
|
||||
|
||||
1. **只在本项目内写**（`products/` `reports/`）。不碰别的项目、不碰线上库。
|
||||
2. **不设时间盒，做完整为止。** 但**每做完一个院系报一次 `status`**（三句话）。
|
||||
3. **判据来自页面。你的眼睛比任何正则都准。**
|
||||
4. **不许发明**：抓不到 ⇒ 写「未取到：<URL> + <错误原文>」。**判不准的贴出来，不要归类掉。**
|
||||
5. **不要从 sitemap 全量枚举 URL**（METHOD.md §6 反面清单第一条）。
|
||||
6. **只做这一所学校。**
|
||||
|
||||
@@ -0,0 +1,97 @@
|
||||
# 课题组逐院系采集 · 伯恩茅斯艺术大学（英国）· 现有 6 条
|
||||
|
||||
**入口普查的判型**：自建 research 站点
|
||||
**现有 group_url 形态**：``aub.ac.uk / our-research/research-groups/<slug>``
|
||||
|
||||
⚠️ 这是**换源重采**：旧数据整体推翻，不要参照它。 · Win1 · Manager 2026-09-24
|
||||
|
||||
## 0. 先读方法件（**不要重新发明方法**）
|
||||
|
||||
工作区：`C:\Users\Administrator\orca\projects\英澳博士课题组数据`
|
||||
|
||||
- **`method/METHOD.md`** —— 活的采集方法。**重点看 §1「入口发现」与 §6「反面清单」。**
|
||||
- `method/finding_edinburgh_v2.md` —— 完备性标杆（643 组 / 24 院系）
|
||||
- `method/finding_anu_v2.md` · `finding_qub_v2.md` · `finding_bath_v2.md` —— 最近几所
|
||||
- `tasks/` —— 其它任务书
|
||||
|
||||
一句话：
|
||||
|
||||
> **找「组目录」，不要枚举 URL。**
|
||||
> 官方院系导航 → 各院系 `/research/` → **该页上的「组目录」**
|
||||
> （`research-groups` / `research-centres` / `groups` / `institutes` / `labs`，
|
||||
> **最高价值是「每个组由一位 PI 带」的目录**）。**入口 20–60 个/校。**
|
||||
|
||||
**参考已跑通的**：`products/` 下各校 `*__groups*.json` 是产物格式。
|
||||
|
||||
---
|
||||
|
||||
## 1. 本波只做这一所：**伯恩茅斯艺术大学（英国）· 现有 6 条
|
||||
|
||||
**入口普查的判型**：自建 research 站点
|
||||
**现有 group_url 形态**：``aub.ac.uk / our-research/research-groups/<slug>``
|
||||
|
||||
⚠️ 这是**换源重采**：旧数据整体推翻，不要参照它。**
|
||||
|
||||
---
|
||||
|
||||
## 2. 交付（**门槛，不是"尽量"**）
|
||||
|
||||
1. **院系台账（缺一行 = 没做完）**
|
||||
`院系（全部）| research 入口 URL | 状态（取到 / 取不到：<原因>）| 组数`
|
||||
—— 院系清单从**学校官方导航**拿；**给出枚举来源 URL 与总数**；**`未取页 = 0`**
|
||||
2. **全量候选产物**：`products/<slug>_v3__groups.json`
|
||||
（五字段：课题组名称 / 所在大学及研究中心 / 研究方向 / 联系邮箱 / 最近五年论文数=null）
|
||||
—— **启发式自动抽，不逐条判**
|
||||
3. **随机抽 30 条逐条开页面核** → **准确率** + **假阳性类型** + **能否定点修掉**
|
||||
- 准确率 **≥90% 且类型集中** ⇒ 定点修那一类，**全量直接用，不再逐页核**
|
||||
4. **合理性校验**：`组数 ÷ 院系数`。**比值荒谬地低 ⇒ 回头找「组目录」那一层**
|
||||
（不是去爬更多 URL）。确认"再下一层没有组"要贴原文结构作证。
|
||||
5. **反例 / 判不准 / 未验清单**（附页面原文）
|
||||
6. 一句话：**最终组数？完备性有没有缺口？**
|
||||
|
||||
产物写 `products/`，报告写 `reports/finding_<slug>_v3.md`（目录不存在就建）。
|
||||
|
||||
---
|
||||
|
||||
## 3. 判据与字段（摘要；**细则以 METHOD.md §2 为准**）
|
||||
|
||||
> **打开页面像人一样看：这是不是一个「导师带的做研究的团队」？**
|
||||
> **粒度上限 = 一个导师能带的规模。**
|
||||
> 大一级（institute / theme / cluster / 校级研究所）**不收**；
|
||||
> **但大一级下面挂着真组时，只收内层组。**
|
||||
|
||||
**不是组**：服务设施 · 研讨会系列 · 项目 · 学生培养计划 · 单项研究 · 空页重定向 · 无负责人的方向页。
|
||||
**共性是页面上有一句「非团队自述」—— 你去看那句话。**
|
||||
|
||||
| 字段 | 取法 |
|
||||
|---|---|
|
||||
| 课题组名称 | 该组**自己页面**的 H1（无 H1 用 `<title>`；JS 渲染/表格行用目录里的官方组名并标 `_name_source`）。⚠️ 无官方组名的**按 `<负责人> 团队` 渲染并标 `_name_source: rendered_from_leader`**，且要查重防撞 |
|
||||
| 所在大学及研究中心 | 大学 + **真实上级研究单位**；⚠️ 上级是系/院/学部的**不许当研究中心写**，没有真上级就**只写大学** |
|
||||
| 研究方向 | 该组页上的方向文字。**没有 ⇒ 不要** |
|
||||
| 联系邮箱 | 只接受**本组页 / 本组负责人页**的邮箱 |
|
||||
| 最近五年论文数 | null |
|
||||
|
||||
---
|
||||
|
||||
## 4. ⚠️ 并行安全（出过事故，必须照做）
|
||||
|
||||
5 个 worker 曾挤在**同一个 ego-browser Space 的同一个 page** 上 ⇒ 297 页跨校串页、整批作废。
|
||||
|
||||
1. **自己新建一个 TaskSpace**（不要复用别人已有的）
|
||||
2. **每个 URL 用独占的 `newPage()`**，**不要共用 p1**
|
||||
3. **每取一页校验 `page.url()` 与目标一致**；不一致 ⇒ 废掉重取
|
||||
4. 成功时收尾调一次 `await task.finish({ keep: [] })`；**因错误停止就别调**，把 `spaceId` 报上来
|
||||
|
||||
⚠️ 本机浏览器可能被用户接管（`ownership: user`）—— 遇到就**立刻停手、不重试**，把 `spaceId` 报上来。
|
||||
|
||||
---
|
||||
|
||||
## 5. 硬要求
|
||||
|
||||
1. **只在本项目内写**（`products/` `reports/`）。不碰别的项目、不碰线上库。
|
||||
2. **不设时间盒，做完整为止。** 但**每做完一个院系报一次 `status`**（三句话）。
|
||||
3. **判据来自页面。你的眼睛比任何正则都准。**
|
||||
4. **不许发明**：抓不到 ⇒ 写「未取到：<URL> + <错误原文>」。**判不准的贴出来，不要归类掉。**
|
||||
5. **不要从 sitemap 全量枚举 URL**（METHOD.md §6 反面清单第一条）。
|
||||
6. **只做这一所学校。**
|
||||
|
||||
@@ -0,0 +1,97 @@
|
||||
# 课题组逐院系采集 · 伦敦商学院（英国）· 现有 6 条
|
||||
|
||||
**入口普查的判型**：其它/待裁
|
||||
**现有 group_url 形态**：``www.london.edu / <slug>/<slug>``
|
||||
|
||||
⚠️ 这是**换源重采**：旧数据整体推翻，不要参照它。 · Win1 · Manager 2026-09-24
|
||||
|
||||
## 0. 先读方法件（**不要重新发明方法**）
|
||||
|
||||
工作区：`C:\Users\Administrator\orca\projects\英澳博士课题组数据`
|
||||
|
||||
- **`method/METHOD.md`** —— 活的采集方法。**重点看 §1「入口发现」与 §6「反面清单」。**
|
||||
- `method/finding_edinburgh_v2.md` —— 完备性标杆（643 组 / 24 院系）
|
||||
- `method/finding_anu_v2.md` · `finding_qub_v2.md` · `finding_bath_v2.md` —— 最近几所
|
||||
- `tasks/` —— 其它任务书
|
||||
|
||||
一句话：
|
||||
|
||||
> **找「组目录」，不要枚举 URL。**
|
||||
> 官方院系导航 → 各院系 `/research/` → **该页上的「组目录」**
|
||||
> （`research-groups` / `research-centres` / `groups` / `institutes` / `labs`，
|
||||
> **最高价值是「每个组由一位 PI 带」的目录**）。**入口 20–60 个/校。**
|
||||
|
||||
**参考已跑通的**：`products/` 下各校 `*__groups*.json` 是产物格式。
|
||||
|
||||
---
|
||||
|
||||
## 1. 本波只做这一所：**伦敦商学院（英国）· 现有 6 条
|
||||
|
||||
**入口普查的判型**：其它/待裁
|
||||
**现有 group_url 形态**：``www.london.edu / <slug>/<slug>``
|
||||
|
||||
⚠️ 这是**换源重采**：旧数据整体推翻，不要参照它。**
|
||||
|
||||
---
|
||||
|
||||
## 2. 交付（**门槛，不是"尽量"**）
|
||||
|
||||
1. **院系台账（缺一行 = 没做完）**
|
||||
`院系（全部）| research 入口 URL | 状态（取到 / 取不到：<原因>）| 组数`
|
||||
—— 院系清单从**学校官方导航**拿；**给出枚举来源 URL 与总数**；**`未取页 = 0`**
|
||||
2. **全量候选产物**：`products/<slug>_v3__groups.json`
|
||||
（五字段：课题组名称 / 所在大学及研究中心 / 研究方向 / 联系邮箱 / 最近五年论文数=null）
|
||||
—— **启发式自动抽，不逐条判**
|
||||
3. **随机抽 30 条逐条开页面核** → **准确率** + **假阳性类型** + **能否定点修掉**
|
||||
- 准确率 **≥90% 且类型集中** ⇒ 定点修那一类，**全量直接用，不再逐页核**
|
||||
4. **合理性校验**：`组数 ÷ 院系数`。**比值荒谬地低 ⇒ 回头找「组目录」那一层**
|
||||
（不是去爬更多 URL）。确认"再下一层没有组"要贴原文结构作证。
|
||||
5. **反例 / 判不准 / 未验清单**（附页面原文）
|
||||
6. 一句话：**最终组数？完备性有没有缺口？**
|
||||
|
||||
产物写 `products/`，报告写 `reports/finding_<slug>_v3.md`（目录不存在就建）。
|
||||
|
||||
---
|
||||
|
||||
## 3. 判据与字段（摘要；**细则以 METHOD.md §2 为准**）
|
||||
|
||||
> **打开页面像人一样看：这是不是一个「导师带的做研究的团队」？**
|
||||
> **粒度上限 = 一个导师能带的规模。**
|
||||
> 大一级（institute / theme / cluster / 校级研究所）**不收**；
|
||||
> **但大一级下面挂着真组时，只收内层组。**
|
||||
|
||||
**不是组**：服务设施 · 研讨会系列 · 项目 · 学生培养计划 · 单项研究 · 空页重定向 · 无负责人的方向页。
|
||||
**共性是页面上有一句「非团队自述」—— 你去看那句话。**
|
||||
|
||||
| 字段 | 取法 |
|
||||
|---|---|
|
||||
| 课题组名称 | 该组**自己页面**的 H1（无 H1 用 `<title>`；JS 渲染/表格行用目录里的官方组名并标 `_name_source`）。⚠️ 无官方组名的**按 `<负责人> 团队` 渲染并标 `_name_source: rendered_from_leader`**，且要查重防撞 |
|
||||
| 所在大学及研究中心 | 大学 + **真实上级研究单位**；⚠️ 上级是系/院/学部的**不许当研究中心写**，没有真上级就**只写大学** |
|
||||
| 研究方向 | 该组页上的方向文字。**没有 ⇒ 不要** |
|
||||
| 联系邮箱 | 只接受**本组页 / 本组负责人页**的邮箱 |
|
||||
| 最近五年论文数 | null |
|
||||
|
||||
---
|
||||
|
||||
## 4. ⚠️ 并行安全（出过事故，必须照做）
|
||||
|
||||
5 个 worker 曾挤在**同一个 ego-browser Space 的同一个 page** 上 ⇒ 297 页跨校串页、整批作废。
|
||||
|
||||
1. **自己新建一个 TaskSpace**（不要复用别人已有的）
|
||||
2. **每个 URL 用独占的 `newPage()`**，**不要共用 p1**
|
||||
3. **每取一页校验 `page.url()` 与目标一致**；不一致 ⇒ 废掉重取
|
||||
4. 成功时收尾调一次 `await task.finish({ keep: [] })`；**因错误停止就别调**，把 `spaceId` 报上来
|
||||
|
||||
⚠️ 本机浏览器可能被用户接管（`ownership: user`）—— 遇到就**立刻停手、不重试**，把 `spaceId` 报上来。
|
||||
|
||||
---
|
||||
|
||||
## 5. 硬要求
|
||||
|
||||
1. **只在本项目内写**（`products/` `reports/`）。不碰别的项目、不碰线上库。
|
||||
2. **不设时间盒，做完整为止。** 但**每做完一个院系报一次 `status`**（三句话）。
|
||||
3. **判据来自页面。你的眼睛比任何正则都准。**
|
||||
4. **不许发明**：抓不到 ⇒ 写「未取到：<URL> + <错误原文>」。**判不准的贴出来，不要归类掉。**
|
||||
5. **不要从 sitemap 全量枚举 URL**（METHOD.md §6 反面清单第一条）。
|
||||
6. **只做这一所学校。**
|
||||
|
||||
@@ -0,0 +1,97 @@
|
||||
# 课题组逐院系采集 · 罗斯布鲁弗德戏剧与表演学院（英国）· 现有 6 条
|
||||
|
||||
**入口普查的判型**：无 group_url（id 来源待定）
|
||||
**现有 group_url 形态**：``(无 url) — 其它: —``
|
||||
|
||||
⚠️ 这是**换源重采**：旧数据整体推翻，不要参照它。 · Win1 · Manager 2026-09-24
|
||||
|
||||
## 0. 先读方法件（**不要重新发明方法**）
|
||||
|
||||
工作区：`C:\Users\Administrator\orca\projects\英澳博士课题组数据`
|
||||
|
||||
- **`method/METHOD.md`** —— 活的采集方法。**重点看 §1「入口发现」与 §6「反面清单」。**
|
||||
- `method/finding_edinburgh_v2.md` —— 完备性标杆（643 组 / 24 院系）
|
||||
- `method/finding_anu_v2.md` · `finding_qub_v2.md` · `finding_bath_v2.md` —— 最近几所
|
||||
- `tasks/` —— 其它任务书
|
||||
|
||||
一句话：
|
||||
|
||||
> **找「组目录」，不要枚举 URL。**
|
||||
> 官方院系导航 → 各院系 `/research/` → **该页上的「组目录」**
|
||||
> （`research-groups` / `research-centres` / `groups` / `institutes` / `labs`，
|
||||
> **最高价值是「每个组由一位 PI 带」的目录**）。**入口 20–60 个/校。**
|
||||
|
||||
**参考已跑通的**：`products/` 下各校 `*__groups*.json` 是产物格式。
|
||||
|
||||
---
|
||||
|
||||
## 1. 本波只做这一所：**罗斯布鲁弗德戏剧与表演学院（英国）· 现有 6 条
|
||||
|
||||
**入口普查的判型**：无 group_url（id 来源待定）
|
||||
**现有 group_url 形态**：``(无 url) — 其它: —``
|
||||
|
||||
⚠️ 这是**换源重采**：旧数据整体推翻，不要参照它。**
|
||||
|
||||
---
|
||||
|
||||
## 2. 交付（**门槛，不是"尽量"**）
|
||||
|
||||
1. **院系台账（缺一行 = 没做完）**
|
||||
`院系（全部）| research 入口 URL | 状态（取到 / 取不到：<原因>）| 组数`
|
||||
—— 院系清单从**学校官方导航**拿；**给出枚举来源 URL 与总数**；**`未取页 = 0`**
|
||||
2. **全量候选产物**：`products/<slug>_v3__groups.json`
|
||||
（五字段：课题组名称 / 所在大学及研究中心 / 研究方向 / 联系邮箱 / 最近五年论文数=null）
|
||||
—— **启发式自动抽，不逐条判**
|
||||
3. **随机抽 30 条逐条开页面核** → **准确率** + **假阳性类型** + **能否定点修掉**
|
||||
- 准确率 **≥90% 且类型集中** ⇒ 定点修那一类，**全量直接用，不再逐页核**
|
||||
4. **合理性校验**：`组数 ÷ 院系数`。**比值荒谬地低 ⇒ 回头找「组目录」那一层**
|
||||
（不是去爬更多 URL）。确认"再下一层没有组"要贴原文结构作证。
|
||||
5. **反例 / 判不准 / 未验清单**（附页面原文）
|
||||
6. 一句话：**最终组数？完备性有没有缺口？**
|
||||
|
||||
产物写 `products/`，报告写 `reports/finding_<slug>_v3.md`（目录不存在就建）。
|
||||
|
||||
---
|
||||
|
||||
## 3. 判据与字段（摘要；**细则以 METHOD.md §2 为准**）
|
||||
|
||||
> **打开页面像人一样看：这是不是一个「导师带的做研究的团队」？**
|
||||
> **粒度上限 = 一个导师能带的规模。**
|
||||
> 大一级（institute / theme / cluster / 校级研究所）**不收**；
|
||||
> **但大一级下面挂着真组时，只收内层组。**
|
||||
|
||||
**不是组**：服务设施 · 研讨会系列 · 项目 · 学生培养计划 · 单项研究 · 空页重定向 · 无负责人的方向页。
|
||||
**共性是页面上有一句「非团队自述」—— 你去看那句话。**
|
||||
|
||||
| 字段 | 取法 |
|
||||
|---|---|
|
||||
| 课题组名称 | 该组**自己页面**的 H1（无 H1 用 `<title>`；JS 渲染/表格行用目录里的官方组名并标 `_name_source`）。⚠️ 无官方组名的**按 `<负责人> 团队` 渲染并标 `_name_source: rendered_from_leader`**，且要查重防撞 |
|
||||
| 所在大学及研究中心 | 大学 + **真实上级研究单位**；⚠️ 上级是系/院/学部的**不许当研究中心写**，没有真上级就**只写大学** |
|
||||
| 研究方向 | 该组页上的方向文字。**没有 ⇒ 不要** |
|
||||
| 联系邮箱 | 只接受**本组页 / 本组负责人页**的邮箱 |
|
||||
| 最近五年论文数 | null |
|
||||
|
||||
---
|
||||
|
||||
## 4. ⚠️ 并行安全（出过事故，必须照做）
|
||||
|
||||
5 个 worker 曾挤在**同一个 ego-browser Space 的同一个 page** 上 ⇒ 297 页跨校串页、整批作废。
|
||||
|
||||
1. **自己新建一个 TaskSpace**（不要复用别人已有的）
|
||||
2. **每个 URL 用独占的 `newPage()`**，**不要共用 p1**
|
||||
3. **每取一页校验 `page.url()` 与目标一致**；不一致 ⇒ 废掉重取
|
||||
4. 成功时收尾调一次 `await task.finish({ keep: [] })`；**因错误停止就别调**，把 `spaceId` 报上来
|
||||
|
||||
⚠️ 本机浏览器可能被用户接管（`ownership: user`）—— 遇到就**立刻停手、不重试**，把 `spaceId` 报上来。
|
||||
|
||||
---
|
||||
|
||||
## 5. 硬要求
|
||||
|
||||
1. **只在本项目内写**（`products/` `reports/`）。不碰别的项目、不碰线上库。
|
||||
2. **不设时间盒，做完整为止。** 但**每做完一个院系报一次 `status`**（三句话）。
|
||||
3. **判据来自页面。你的眼睛比任何正则都准。**
|
||||
4. **不许发明**：抓不到 ⇒ 写「未取到：<URL> + <错误原文>」。**判不准的贴出来，不要归类掉。**
|
||||
5. **不要从 sitemap 全量枚举 URL**（METHOD.md §6 反面清单第一条）。
|
||||
6. **只做这一所学校。**
|
||||
|
||||
@@ -0,0 +1,99 @@
|
||||
# 课题组逐院系采集 · 奥塔哥大学（澳新）· 现有 143 条
|
||||
|
||||
**入口普查的判型**：无 group_url（id 来源待定）
|
||||
**现有 group_url 形态**：``(无 url) — 其它: www.otago.ac.nz / wellington/departments/central-services(2); www.otago.ac.nz / mackenzie-cance`
|
||||
|
||||
⚠️ 这是**换源重采**：旧数据整体推翻，不要参照它。
|
||||
本条是**入口普查已定**的那批（61 校/3501 条可收 2817）；按 METHOD.md 从院系站重找组目录。 · Win1 · Manager 2026-09-24
|
||||
|
||||
## 0. 先读方法件（**不要重新发明方法**）
|
||||
|
||||
工作区：`C:\Users\Administrator\orca\projects\英澳博士课题组数据`
|
||||
|
||||
- **`method/METHOD.md`** —— 活的采集方法。**重点看 §1「入口发现」与 §6「反面清单」。**
|
||||
- `method/finding_edinburgh_v2.md` —— 完备性标杆（643 组 / 24 院系）
|
||||
- `method/finding_anu_v2.md` · `finding_qub_v2.md` · `finding_bath_v2.md` —— 最近几所
|
||||
- `tasks/` —— 其它任务书
|
||||
|
||||
一句话：
|
||||
|
||||
> **找「组目录」，不要枚举 URL。**
|
||||
> 官方院系导航 → 各院系 `/research/` → **该页上的「组目录」**
|
||||
> （`research-groups` / `research-centres` / `groups` / `institutes` / `labs`，
|
||||
> **最高价值是「每个组由一位 PI 带」的目录**）。**入口 20–60 个/校。**
|
||||
|
||||
**参考已跑通的**：`products/` 下各校 `*__groups*.json` 是产物格式。
|
||||
|
||||
---
|
||||
|
||||
## 1. 本波只做这一所：**奥塔哥大学（澳新）· 现有 143 条
|
||||
|
||||
**入口普查的判型**：无 group_url（id 来源待定）
|
||||
**现有 group_url 形态**：``(无 url) — 其它: www.otago.ac.nz / wellington/departments/central-services(2); www.otago.ac.nz / mackenzie-cance`
|
||||
|
||||
⚠️ 这是**换源重采**：旧数据整体推翻，不要参照它。
|
||||
本条是**入口普查已定**的那批（61 校/3501 条可收 2817）；按 METHOD.md 从院系站重找组目录。**
|
||||
|
||||
---
|
||||
|
||||
## 2. 交付（**门槛，不是"尽量"**）
|
||||
|
||||
1. **院系台账（缺一行 = 没做完）**
|
||||
`院系（全部）| research 入口 URL | 状态（取到 / 取不到：<原因>）| 组数`
|
||||
—— 院系清单从**学校官方导航**拿；**给出枚举来源 URL 与总数**；**`未取页 = 0`**
|
||||
2. **全量候选产物**：`products/<slug>_v3__groups.json`
|
||||
（五字段：课题组名称 / 所在大学及研究中心 / 研究方向 / 联系邮箱 / 最近五年论文数=null）
|
||||
—— **启发式自动抽，不逐条判**
|
||||
3. **随机抽 30 条逐条开页面核** → **准确率** + **假阳性类型** + **能否定点修掉**
|
||||
- 准确率 **≥90% 且类型集中** ⇒ 定点修那一类，**全量直接用，不再逐页核**
|
||||
4. **合理性校验**：`组数 ÷ 院系数`。**比值荒谬地低 ⇒ 回头找「组目录」那一层**
|
||||
（不是去爬更多 URL）。确认"再下一层没有组"要贴原文结构作证。
|
||||
5. **反例 / 判不准 / 未验清单**（附页面原文）
|
||||
6. 一句话：**最终组数？完备性有没有缺口？**
|
||||
|
||||
产物写 `products/`，报告写 `reports/finding_<slug>_v3.md`（目录不存在就建）。
|
||||
|
||||
---
|
||||
|
||||
## 3. 判据与字段（摘要；**细则以 METHOD.md §2 为准**）
|
||||
|
||||
> **打开页面像人一样看：这是不是一个「导师带的做研究的团队」？**
|
||||
> **粒度上限 = 一个导师能带的规模。**
|
||||
> 大一级（institute / theme / cluster / 校级研究所）**不收**；
|
||||
> **但大一级下面挂着真组时，只收内层组。**
|
||||
|
||||
**不是组**：服务设施 · 研讨会系列 · 项目 · 学生培养计划 · 单项研究 · 空页重定向 · 无负责人的方向页。
|
||||
**共性是页面上有一句「非团队自述」—— 你去看那句话。**
|
||||
|
||||
| 字段 | 取法 |
|
||||
|---|---|
|
||||
| 课题组名称 | 该组**自己页面**的 H1（无 H1 用 `<title>`；JS 渲染/表格行用目录里的官方组名并标 `_name_source`）。⚠️ 无官方组名的**按 `<负责人> 团队` 渲染并标 `_name_source: rendered_from_leader`**，且要查重防撞 |
|
||||
| 所在大学及研究中心 | 大学 + **真实上级研究单位**；⚠️ 上级是系/院/学部的**不许当研究中心写**，没有真上级就**只写大学** |
|
||||
| 研究方向 | 该组页上的方向文字。**没有 ⇒ 不要** |
|
||||
| 联系邮箱 | 只接受**本组页 / 本组负责人页**的邮箱 |
|
||||
| 最近五年论文数 | null |
|
||||
|
||||
---
|
||||
|
||||
## 4. ⚠️ 并行安全（出过事故，必须照做）
|
||||
|
||||
5 个 worker 曾挤在**同一个 ego-browser Space 的同一个 page** 上 ⇒ 297 页跨校串页、整批作废。
|
||||
|
||||
1. **自己新建一个 TaskSpace**（不要复用别人已有的）
|
||||
2. **每个 URL 用独占的 `newPage()`**，**不要共用 p1**
|
||||
3. **每取一页校验 `page.url()` 与目标一致**；不一致 ⇒ 废掉重取
|
||||
4. 成功时收尾调一次 `await task.finish({ keep: [] })`；**因错误停止就别调**，把 `spaceId` 报上来
|
||||
|
||||
⚠️ 本机浏览器可能被用户接管（`ownership: user`）—— 遇到就**立刻停手、不重试**，把 `spaceId` 报上来。
|
||||
|
||||
---
|
||||
|
||||
## 5. 硬要求
|
||||
|
||||
1. **只在本项目内写**（`products/` `reports/`）。不碰别的项目、不碰线上库。
|
||||
2. **不设时间盒，做完整为止。** 但**每做完一个院系报一次 `status`**（三句话）。
|
||||
3. **判据来自页面。你的眼睛比任何正则都准。**
|
||||
4. **不许发明**：抓不到 ⇒ 写「未取到：<URL> + <错误原文>」。**判不准的贴出来，不要归类掉。**
|
||||
5. **不要从 sitemap 全量枚举 URL**（METHOD.md §6 反面清单第一条）。
|
||||
6. **只做这一所学校。**
|
||||
|
||||
@@ -0,0 +1,97 @@
|
||||
# 课题组逐院系采集 · 皇家农业大学（英国）· 现有 6 条
|
||||
|
||||
**入口普查的判型**：自建 research 站点
|
||||
**现有 group_url 形态**：``www.rau.ac.uk / research/research-at-rau/<slug>``
|
||||
|
||||
⚠️ 这是**换源重采**：旧数据整体推翻，不要参照它。 · Win1 · Manager 2026-09-24
|
||||
|
||||
## 0. 先读方法件（**不要重新发明方法**）
|
||||
|
||||
工作区：`C:\Users\Administrator\orca\projects\英澳博士课题组数据`
|
||||
|
||||
- **`method/METHOD.md`** —— 活的采集方法。**重点看 §1「入口发现」与 §6「反面清单」。**
|
||||
- `method/finding_edinburgh_v2.md` —— 完备性标杆（643 组 / 24 院系）
|
||||
- `method/finding_anu_v2.md` · `finding_qub_v2.md` · `finding_bath_v2.md` —— 最近几所
|
||||
- `tasks/` —— 其它任务书
|
||||
|
||||
一句话：
|
||||
|
||||
> **找「组目录」，不要枚举 URL。**
|
||||
> 官方院系导航 → 各院系 `/research/` → **该页上的「组目录」**
|
||||
> （`research-groups` / `research-centres` / `groups` / `institutes` / `labs`，
|
||||
> **最高价值是「每个组由一位 PI 带」的目录**）。**入口 20–60 个/校。**
|
||||
|
||||
**参考已跑通的**：`products/` 下各校 `*__groups*.json` 是产物格式。
|
||||
|
||||
---
|
||||
|
||||
## 1. 本波只做这一所：**皇家农业大学（英国）· 现有 6 条
|
||||
|
||||
**入口普查的判型**：自建 research 站点
|
||||
**现有 group_url 形态**：``www.rau.ac.uk / research/research-at-rau/<slug>``
|
||||
|
||||
⚠️ 这是**换源重采**：旧数据整体推翻，不要参照它。**
|
||||
|
||||
---
|
||||
|
||||
## 2. 交付（**门槛，不是"尽量"**）
|
||||
|
||||
1. **院系台账（缺一行 = 没做完）**
|
||||
`院系（全部）| research 入口 URL | 状态（取到 / 取不到：<原因>）| 组数`
|
||||
—— 院系清单从**学校官方导航**拿；**给出枚举来源 URL 与总数**；**`未取页 = 0`**
|
||||
2. **全量候选产物**：`products/<slug>_v3__groups.json`
|
||||
（五字段：课题组名称 / 所在大学及研究中心 / 研究方向 / 联系邮箱 / 最近五年论文数=null）
|
||||
—— **启发式自动抽，不逐条判**
|
||||
3. **随机抽 30 条逐条开页面核** → **准确率** + **假阳性类型** + **能否定点修掉**
|
||||
- 准确率 **≥90% 且类型集中** ⇒ 定点修那一类，**全量直接用，不再逐页核**
|
||||
4. **合理性校验**：`组数 ÷ 院系数`。**比值荒谬地低 ⇒ 回头找「组目录」那一层**
|
||||
（不是去爬更多 URL）。确认"再下一层没有组"要贴原文结构作证。
|
||||
5. **反例 / 判不准 / 未验清单**（附页面原文）
|
||||
6. 一句话：**最终组数？完备性有没有缺口？**
|
||||
|
||||
产物写 `products/`，报告写 `reports/finding_<slug>_v3.md`（目录不存在就建）。
|
||||
|
||||
---
|
||||
|
||||
## 3. 判据与字段（摘要；**细则以 METHOD.md §2 为准**）
|
||||
|
||||
> **打开页面像人一样看：这是不是一个「导师带的做研究的团队」？**
|
||||
> **粒度上限 = 一个导师能带的规模。**
|
||||
> 大一级（institute / theme / cluster / 校级研究所）**不收**；
|
||||
> **但大一级下面挂着真组时，只收内层组。**
|
||||
|
||||
**不是组**：服务设施 · 研讨会系列 · 项目 · 学生培养计划 · 单项研究 · 空页重定向 · 无负责人的方向页。
|
||||
**共性是页面上有一句「非团队自述」—— 你去看那句话。**
|
||||
|
||||
| 字段 | 取法 |
|
||||
|---|---|
|
||||
| 课题组名称 | 该组**自己页面**的 H1（无 H1 用 `<title>`；JS 渲染/表格行用目录里的官方组名并标 `_name_source`）。⚠️ 无官方组名的**按 `<负责人> 团队` 渲染并标 `_name_source: rendered_from_leader`**，且要查重防撞 |
|
||||
| 所在大学及研究中心 | 大学 + **真实上级研究单位**；⚠️ 上级是系/院/学部的**不许当研究中心写**，没有真上级就**只写大学** |
|
||||
| 研究方向 | 该组页上的方向文字。**没有 ⇒ 不要** |
|
||||
| 联系邮箱 | 只接受**本组页 / 本组负责人页**的邮箱 |
|
||||
| 最近五年论文数 | null |
|
||||
|
||||
---
|
||||
|
||||
## 4. ⚠️ 并行安全（出过事故，必须照做）
|
||||
|
||||
5 个 worker 曾挤在**同一个 ego-browser Space 的同一个 page** 上 ⇒ 297 页跨校串页、整批作废。
|
||||
|
||||
1. **自己新建一个 TaskSpace**（不要复用别人已有的）
|
||||
2. **每个 URL 用独占的 `newPage()`**，**不要共用 p1**
|
||||
3. **每取一页校验 `page.url()` 与目标一致**；不一致 ⇒ 废掉重取
|
||||
4. 成功时收尾调一次 `await task.finish({ keep: [] })`；**因错误停止就别调**，把 `spaceId` 报上来
|
||||
|
||||
⚠️ 本机浏览器可能被用户接管（`ownership: user`）—— 遇到就**立刻停手、不重试**，把 `spaceId` 报上来。
|
||||
|
||||
---
|
||||
|
||||
## 5. 硬要求
|
||||
|
||||
1. **只在本项目内写**（`products/` `reports/`）。不碰别的项目、不碰线上库。
|
||||
2. **不设时间盒，做完整为止。** 但**每做完一个院系报一次 `status`**（三句话）。
|
||||
3. **判据来自页面。你的眼睛比任何正则都准。**
|
||||
4. **不许发明**：抓不到 ⇒ 写「未取到：<URL> + <错误原文>」。**判不准的贴出来，不要归类掉。**
|
||||
5. **不要从 sitemap 全量枚举 URL**（METHOD.md §6 反面清单第一条）。
|
||||
6. **只做这一所学校。**
|
||||
|
||||
@@ -0,0 +1,97 @@
|
||||
# 课题组逐院系采集 · 格拉斯哥艺术学院（英国）· 现有 5 条
|
||||
|
||||
**入口普查的判型**：其它/待裁
|
||||
**现有 group_url 形态**：``radar.gsa.ac.uk / view/divisions/l1=5Fidr2.html``
|
||||
|
||||
⚠️ 这是**换源重采**：旧数据整体推翻，不要参照它。 · Win1 · Manager 2026-09-24
|
||||
|
||||
## 0. 先读方法件（**不要重新发明方法**）
|
||||
|
||||
工作区：`C:\Users\Administrator\orca\projects\英澳博士课题组数据`
|
||||
|
||||
- **`method/METHOD.md`** —— 活的采集方法。**重点看 §1「入口发现」与 §6「反面清单」。**
|
||||
- `method/finding_edinburgh_v2.md` —— 完备性标杆（643 组 / 24 院系）
|
||||
- `method/finding_anu_v2.md` · `finding_qub_v2.md` · `finding_bath_v2.md` —— 最近几所
|
||||
- `tasks/` —— 其它任务书
|
||||
|
||||
一句话：
|
||||
|
||||
> **找「组目录」，不要枚举 URL。**
|
||||
> 官方院系导航 → 各院系 `/research/` → **该页上的「组目录」**
|
||||
> （`research-groups` / `research-centres` / `groups` / `institutes` / `labs`，
|
||||
> **最高价值是「每个组由一位 PI 带」的目录**）。**入口 20–60 个/校。**
|
||||
|
||||
**参考已跑通的**：`products/` 下各校 `*__groups*.json` 是产物格式。
|
||||
|
||||
---
|
||||
|
||||
## 1. 本波只做这一所：**格拉斯哥艺术学院（英国）· 现有 5 条
|
||||
|
||||
**入口普查的判型**：其它/待裁
|
||||
**现有 group_url 形态**：``radar.gsa.ac.uk / view/divisions/l1=5Fidr2.html``
|
||||
|
||||
⚠️ 这是**换源重采**：旧数据整体推翻，不要参照它。**
|
||||
|
||||
---
|
||||
|
||||
## 2. 交付（**门槛，不是"尽量"**）
|
||||
|
||||
1. **院系台账（缺一行 = 没做完）**
|
||||
`院系（全部）| research 入口 URL | 状态（取到 / 取不到：<原因>）| 组数`
|
||||
—— 院系清单从**学校官方导航**拿；**给出枚举来源 URL 与总数**；**`未取页 = 0`**
|
||||
2. **全量候选产物**：`products/<slug>_v3__groups.json`
|
||||
（五字段：课题组名称 / 所在大学及研究中心 / 研究方向 / 联系邮箱 / 最近五年论文数=null）
|
||||
—— **启发式自动抽，不逐条判**
|
||||
3. **随机抽 30 条逐条开页面核** → **准确率** + **假阳性类型** + **能否定点修掉**
|
||||
- 准确率 **≥90% 且类型集中** ⇒ 定点修那一类，**全量直接用，不再逐页核**
|
||||
4. **合理性校验**：`组数 ÷ 院系数`。**比值荒谬地低 ⇒ 回头找「组目录」那一层**
|
||||
（不是去爬更多 URL）。确认"再下一层没有组"要贴原文结构作证。
|
||||
5. **反例 / 判不准 / 未验清单**（附页面原文）
|
||||
6. 一句话：**最终组数？完备性有没有缺口？**
|
||||
|
||||
产物写 `products/`，报告写 `reports/finding_<slug>_v3.md`（目录不存在就建）。
|
||||
|
||||
---
|
||||
|
||||
## 3. 判据与字段（摘要；**细则以 METHOD.md §2 为准**）
|
||||
|
||||
> **打开页面像人一样看：这是不是一个「导师带的做研究的团队」？**
|
||||
> **粒度上限 = 一个导师能带的规模。**
|
||||
> 大一级（institute / theme / cluster / 校级研究所）**不收**；
|
||||
> **但大一级下面挂着真组时，只收内层组。**
|
||||
|
||||
**不是组**：服务设施 · 研讨会系列 · 项目 · 学生培养计划 · 单项研究 · 空页重定向 · 无负责人的方向页。
|
||||
**共性是页面上有一句「非团队自述」—— 你去看那句话。**
|
||||
|
||||
| 字段 | 取法 |
|
||||
|---|---|
|
||||
| 课题组名称 | 该组**自己页面**的 H1（无 H1 用 `<title>`；JS 渲染/表格行用目录里的官方组名并标 `_name_source`）。⚠️ 无官方组名的**按 `<负责人> 团队` 渲染并标 `_name_source: rendered_from_leader`**，且要查重防撞 |
|
||||
| 所在大学及研究中心 | 大学 + **真实上级研究单位**；⚠️ 上级是系/院/学部的**不许当研究中心写**，没有真上级就**只写大学** |
|
||||
| 研究方向 | 该组页上的方向文字。**没有 ⇒ 不要** |
|
||||
| 联系邮箱 | 只接受**本组页 / 本组负责人页**的邮箱 |
|
||||
| 最近五年论文数 | null |
|
||||
|
||||
---
|
||||
|
||||
## 4. ⚠️ 并行安全（出过事故，必须照做）
|
||||
|
||||
5 个 worker 曾挤在**同一个 ego-browser Space 的同一个 page** 上 ⇒ 297 页跨校串页、整批作废。
|
||||
|
||||
1. **自己新建一个 TaskSpace**（不要复用别人已有的）
|
||||
2. **每个 URL 用独占的 `newPage()`**，**不要共用 p1**
|
||||
3. **每取一页校验 `page.url()` 与目标一致**；不一致 ⇒ 废掉重取
|
||||
4. 成功时收尾调一次 `await task.finish({ keep: [] })`；**因错误停止就别调**，把 `spaceId` 报上来
|
||||
|
||||
⚠️ 本机浏览器可能被用户接管（`ownership: user`）—— 遇到就**立刻停手、不重试**，把 `spaceId` 报上来。
|
||||
|
||||
---
|
||||
|
||||
## 5. 硬要求
|
||||
|
||||
1. **只在本项目内写**（`products/` `reports/`）。不碰别的项目、不碰线上库。
|
||||
2. **不设时间盒，做完整为止。** 但**每做完一个院系报一次 `status`**（三句话）。
|
||||
3. **判据来自页面。你的眼睛比任何正则都准。**
|
||||
4. **不许发明**：抓不到 ⇒ 写「未取到：<URL> + <错误原文>」。**判不准的贴出来，不要归类掉。**
|
||||
5. **不要从 sitemap 全量枚举 URL**（METHOD.md §6 反面清单第一条）。
|
||||
6. **只做这一所学校。**
|
||||
|
||||
@@ -0,0 +1,97 @@
|
||||
# 课题组逐院系采集 · 三一拉邦音乐舞蹈学院（英国）· 现有 5 条
|
||||
|
||||
**入口普查的判型**：无 group_url（id 来源待定）
|
||||
**现有 group_url 形态**：``(无 url) — 其它: —``
|
||||
|
||||
⚠️ 这是**换源重采**：旧数据整体推翻，不要参照它。 · Win1 · Manager 2026-09-24
|
||||
|
||||
## 0. 先读方法件（**不要重新发明方法**）
|
||||
|
||||
工作区：`C:\Users\Administrator\orca\projects\英澳博士课题组数据`
|
||||
|
||||
- **`method/METHOD.md`** —— 活的采集方法。**重点看 §1「入口发现」与 §6「反面清单」。**
|
||||
- `method/finding_edinburgh_v2.md` —— 完备性标杆（643 组 / 24 院系）
|
||||
- `method/finding_anu_v2.md` · `finding_qub_v2.md` · `finding_bath_v2.md` —— 最近几所
|
||||
- `tasks/` —— 其它任务书
|
||||
|
||||
一句话：
|
||||
|
||||
> **找「组目录」，不要枚举 URL。**
|
||||
> 官方院系导航 → 各院系 `/research/` → **该页上的「组目录」**
|
||||
> （`research-groups` / `research-centres` / `groups` / `institutes` / `labs`，
|
||||
> **最高价值是「每个组由一位 PI 带」的目录**）。**入口 20–60 个/校。**
|
||||
|
||||
**参考已跑通的**：`products/` 下各校 `*__groups*.json` 是产物格式。
|
||||
|
||||
---
|
||||
|
||||
## 1. 本波只做这一所：**三一拉邦音乐舞蹈学院（英国）· 现有 5 条
|
||||
|
||||
**入口普查的判型**：无 group_url（id 来源待定）
|
||||
**现有 group_url 形态**：``(无 url) — 其它: —``
|
||||
|
||||
⚠️ 这是**换源重采**：旧数据整体推翻，不要参照它。**
|
||||
|
||||
---
|
||||
|
||||
## 2. 交付（**门槛，不是"尽量"**）
|
||||
|
||||
1. **院系台账（缺一行 = 没做完）**
|
||||
`院系（全部）| research 入口 URL | 状态（取到 / 取不到：<原因>）| 组数`
|
||||
—— 院系清单从**学校官方导航**拿；**给出枚举来源 URL 与总数**；**`未取页 = 0`**
|
||||
2. **全量候选产物**：`products/<slug>_v3__groups.json`
|
||||
（五字段：课题组名称 / 所在大学及研究中心 / 研究方向 / 联系邮箱 / 最近五年论文数=null）
|
||||
—— **启发式自动抽，不逐条判**
|
||||
3. **随机抽 30 条逐条开页面核** → **准确率** + **假阳性类型** + **能否定点修掉**
|
||||
- 准确率 **≥90% 且类型集中** ⇒ 定点修那一类，**全量直接用，不再逐页核**
|
||||
4. **合理性校验**：`组数 ÷ 院系数`。**比值荒谬地低 ⇒ 回头找「组目录」那一层**
|
||||
（不是去爬更多 URL）。确认"再下一层没有组"要贴原文结构作证。
|
||||
5. **反例 / 判不准 / 未验清单**（附页面原文）
|
||||
6. 一句话：**最终组数？完备性有没有缺口？**
|
||||
|
||||
产物写 `products/`，报告写 `reports/finding_<slug>_v3.md`（目录不存在就建）。
|
||||
|
||||
---
|
||||
|
||||
## 3. 判据与字段（摘要；**细则以 METHOD.md §2 为准**）
|
||||
|
||||
> **打开页面像人一样看：这是不是一个「导师带的做研究的团队」？**
|
||||
> **粒度上限 = 一个导师能带的规模。**
|
||||
> 大一级（institute / theme / cluster / 校级研究所）**不收**；
|
||||
> **但大一级下面挂着真组时，只收内层组。**
|
||||
|
||||
**不是组**：服务设施 · 研讨会系列 · 项目 · 学生培养计划 · 单项研究 · 空页重定向 · 无负责人的方向页。
|
||||
**共性是页面上有一句「非团队自述」—— 你去看那句话。**
|
||||
|
||||
| 字段 | 取法 |
|
||||
|---|---|
|
||||
| 课题组名称 | 该组**自己页面**的 H1（无 H1 用 `<title>`；JS 渲染/表格行用目录里的官方组名并标 `_name_source`）。⚠️ 无官方组名的**按 `<负责人> 团队` 渲染并标 `_name_source: rendered_from_leader`**，且要查重防撞 |
|
||||
| 所在大学及研究中心 | 大学 + **真实上级研究单位**；⚠️ 上级是系/院/学部的**不许当研究中心写**，没有真上级就**只写大学** |
|
||||
| 研究方向 | 该组页上的方向文字。**没有 ⇒ 不要** |
|
||||
| 联系邮箱 | 只接受**本组页 / 本组负责人页**的邮箱 |
|
||||
| 最近五年论文数 | null |
|
||||
|
||||
---
|
||||
|
||||
## 4. ⚠️ 并行安全（出过事故，必须照做）
|
||||
|
||||
5 个 worker 曾挤在**同一个 ego-browser Space 的同一个 page** 上 ⇒ 297 页跨校串页、整批作废。
|
||||
|
||||
1. **自己新建一个 TaskSpace**（不要复用别人已有的）
|
||||
2. **每个 URL 用独占的 `newPage()`**，**不要共用 p1**
|
||||
3. **每取一页校验 `page.url()` 与目标一致**；不一致 ⇒ 废掉重取
|
||||
4. 成功时收尾调一次 `await task.finish({ keep: [] })`；**因错误停止就别调**，把 `spaceId` 报上来
|
||||
|
||||
⚠️ 本机浏览器可能被用户接管（`ownership: user`）—— 遇到就**立刻停手、不重试**，把 `spaceId` 报上来。
|
||||
|
||||
---
|
||||
|
||||
## 5. 硬要求
|
||||
|
||||
1. **只在本项目内写**（`products/` `reports/`）。不碰别的项目、不碰线上库。
|
||||
2. **不设时间盒，做完整为止。** 但**每做完一个院系报一次 `status`**（三句话）。
|
||||
3. **判据来自页面。你的眼睛比任何正则都准。**
|
||||
4. **不许发明**：抓不到 ⇒ 写「未取到：<URL> + <错误原文>」。**判不准的贴出来，不要归类掉。**
|
||||
5. **不要从 sitemap 全量枚举 URL**（METHOD.md §6 反面清单第一条）。
|
||||
6. **只做这一所学校。**
|
||||
|
||||
@@ -0,0 +1,97 @@
|
||||
# 课题组逐院系采集 · 普利茅斯艺术大学（英国）· 现有 4 条
|
||||
|
||||
**入口普查的判型**：自建 research 目录/课题组页
|
||||
**现有 group_url 形态**：``www.aup.ac.uk / research/research-groups``
|
||||
|
||||
⚠️ 这是**换源重采**：旧数据整体推翻，不要参照它。 · Win1 · Manager 2026-09-24
|
||||
|
||||
## 0. 先读方法件（**不要重新发明方法**）
|
||||
|
||||
工作区：`C:\Users\Administrator\orca\projects\英澳博士课题组数据`
|
||||
|
||||
- **`method/METHOD.md`** —— 活的采集方法。**重点看 §1「入口发现」与 §6「反面清单」。**
|
||||
- `method/finding_edinburgh_v2.md` —— 完备性标杆（643 组 / 24 院系）
|
||||
- `method/finding_anu_v2.md` · `finding_qub_v2.md` · `finding_bath_v2.md` —— 最近几所
|
||||
- `tasks/` —— 其它任务书
|
||||
|
||||
一句话：
|
||||
|
||||
> **找「组目录」，不要枚举 URL。**
|
||||
> 官方院系导航 → 各院系 `/research/` → **该页上的「组目录」**
|
||||
> （`research-groups` / `research-centres` / `groups` / `institutes` / `labs`，
|
||||
> **最高价值是「每个组由一位 PI 带」的目录**）。**入口 20–60 个/校。**
|
||||
|
||||
**参考已跑通的**：`products/` 下各校 `*__groups*.json` 是产物格式。
|
||||
|
||||
---
|
||||
|
||||
## 1. 本波只做这一所：**普利茅斯艺术大学（英国）· 现有 4 条
|
||||
|
||||
**入口普查的判型**：自建 research 目录/课题组页
|
||||
**现有 group_url 形态**：``www.aup.ac.uk / research/research-groups``
|
||||
|
||||
⚠️ 这是**换源重采**：旧数据整体推翻，不要参照它。**
|
||||
|
||||
---
|
||||
|
||||
## 2. 交付（**门槛，不是"尽量"**）
|
||||
|
||||
1. **院系台账（缺一行 = 没做完）**
|
||||
`院系（全部）| research 入口 URL | 状态（取到 / 取不到：<原因>）| 组数`
|
||||
—— 院系清单从**学校官方导航**拿；**给出枚举来源 URL 与总数**；**`未取页 = 0`**
|
||||
2. **全量候选产物**：`products/<slug>_v3__groups.json`
|
||||
（五字段：课题组名称 / 所在大学及研究中心 / 研究方向 / 联系邮箱 / 最近五年论文数=null）
|
||||
—— **启发式自动抽，不逐条判**
|
||||
3. **随机抽 30 条逐条开页面核** → **准确率** + **假阳性类型** + **能否定点修掉**
|
||||
- 准确率 **≥90% 且类型集中** ⇒ 定点修那一类，**全量直接用，不再逐页核**
|
||||
4. **合理性校验**：`组数 ÷ 院系数`。**比值荒谬地低 ⇒ 回头找「组目录」那一层**
|
||||
（不是去爬更多 URL）。确认"再下一层没有组"要贴原文结构作证。
|
||||
5. **反例 / 判不准 / 未验清单**（附页面原文）
|
||||
6. 一句话：**最终组数？完备性有没有缺口？**
|
||||
|
||||
产物写 `products/`，报告写 `reports/finding_<slug>_v3.md`（目录不存在就建）。
|
||||
|
||||
---
|
||||
|
||||
## 3. 判据与字段（摘要；**细则以 METHOD.md §2 为准**）
|
||||
|
||||
> **打开页面像人一样看：这是不是一个「导师带的做研究的团队」？**
|
||||
> **粒度上限 = 一个导师能带的规模。**
|
||||
> 大一级（institute / theme / cluster / 校级研究所）**不收**；
|
||||
> **但大一级下面挂着真组时，只收内层组。**
|
||||
|
||||
**不是组**：服务设施 · 研讨会系列 · 项目 · 学生培养计划 · 单项研究 · 空页重定向 · 无负责人的方向页。
|
||||
**共性是页面上有一句「非团队自述」—— 你去看那句话。**
|
||||
|
||||
| 字段 | 取法 |
|
||||
|---|---|
|
||||
| 课题组名称 | 该组**自己页面**的 H1（无 H1 用 `<title>`；JS 渲染/表格行用目录里的官方组名并标 `_name_source`）。⚠️ 无官方组名的**按 `<负责人> 团队` 渲染并标 `_name_source: rendered_from_leader`**，且要查重防撞 |
|
||||
| 所在大学及研究中心 | 大学 + **真实上级研究单位**；⚠️ 上级是系/院/学部的**不许当研究中心写**，没有真上级就**只写大学** |
|
||||
| 研究方向 | 该组页上的方向文字。**没有 ⇒ 不要** |
|
||||
| 联系邮箱 | 只接受**本组页 / 本组负责人页**的邮箱 |
|
||||
| 最近五年论文数 | null |
|
||||
|
||||
---
|
||||
|
||||
## 4. ⚠️ 并行安全（出过事故，必须照做）
|
||||
|
||||
5 个 worker 曾挤在**同一个 ego-browser Space 的同一个 page** 上 ⇒ 297 页跨校串页、整批作废。
|
||||
|
||||
1. **自己新建一个 TaskSpace**（不要复用别人已有的）
|
||||
2. **每个 URL 用独占的 `newPage()`**，**不要共用 p1**
|
||||
3. **每取一页校验 `page.url()` 与目标一致**；不一致 ⇒ 废掉重取
|
||||
4. 成功时收尾调一次 `await task.finish({ keep: [] })`；**因错误停止就别调**，把 `spaceId` 报上来
|
||||
|
||||
⚠️ 本机浏览器可能被用户接管（`ownership: user`）—— 遇到就**立刻停手、不重试**，把 `spaceId` 报上来。
|
||||
|
||||
---
|
||||
|
||||
## 5. 硬要求
|
||||
|
||||
1. **只在本项目内写**（`products/` `reports/`）。不碰别的项目、不碰线上库。
|
||||
2. **不设时间盒，做完整为止。** 但**每做完一个院系报一次 `status`**（三句话）。
|
||||
3. **判据来自页面。你的眼睛比任何正则都准。**
|
||||
4. **不许发明**：抓不到 ⇒ 写「未取到：<URL> + <错误原文>」。**判不准的贴出来，不要归类掉。**
|
||||
5. **不要从 sitemap 全量枚举 URL**（METHOD.md §6 反面清单第一条）。
|
||||
6. **只做这一所学校。**
|
||||
|
||||
@@ -0,0 +1,97 @@
|
||||
# 课题组逐院系采集 · 斯威本科技大学（澳新）· 现有 2 条
|
||||
|
||||
**入口普查的判型**：人员档案系统 group 页
|
||||
**现有 group_url 形态**：``experts.swinburne.edu.au / groups/<n>``
|
||||
|
||||
⚠️ 这是**换源重采**：旧数据整体推翻，不要参照它。 · Win1 · Manager 2026-09-24
|
||||
|
||||
## 0. 先读方法件（**不要重新发明方法**）
|
||||
|
||||
工作区：`C:\Users\Administrator\orca\projects\英澳博士课题组数据`
|
||||
|
||||
- **`method/METHOD.md`** —— 活的采集方法。**重点看 §1「入口发现」与 §6「反面清单」。**
|
||||
- `method/finding_edinburgh_v2.md` —— 完备性标杆（643 组 / 24 院系）
|
||||
- `method/finding_anu_v2.md` · `finding_qub_v2.md` · `finding_bath_v2.md` —— 最近几所
|
||||
- `tasks/` —— 其它任务书
|
||||
|
||||
一句话：
|
||||
|
||||
> **找「组目录」，不要枚举 URL。**
|
||||
> 官方院系导航 → 各院系 `/research/` → **该页上的「组目录」**
|
||||
> （`research-groups` / `research-centres` / `groups` / `institutes` / `labs`，
|
||||
> **最高价值是「每个组由一位 PI 带」的目录**）。**入口 20–60 个/校。**
|
||||
|
||||
**参考已跑通的**：`products/` 下各校 `*__groups*.json` 是产物格式。
|
||||
|
||||
---
|
||||
|
||||
## 1. 本波只做这一所：**斯威本科技大学（澳新）· 现有 2 条
|
||||
|
||||
**入口普查的判型**：人员档案系统 group 页
|
||||
**现有 group_url 形态**：``experts.swinburne.edu.au / groups/<n>``
|
||||
|
||||
⚠️ 这是**换源重采**：旧数据整体推翻，不要参照它。**
|
||||
|
||||
---
|
||||
|
||||
## 2. 交付（**门槛，不是"尽量"**）
|
||||
|
||||
1. **院系台账（缺一行 = 没做完）**
|
||||
`院系（全部）| research 入口 URL | 状态（取到 / 取不到：<原因>）| 组数`
|
||||
—— 院系清单从**学校官方导航**拿；**给出枚举来源 URL 与总数**；**`未取页 = 0`**
|
||||
2. **全量候选产物**：`products/<slug>_v3__groups.json`
|
||||
（五字段：课题组名称 / 所在大学及研究中心 / 研究方向 / 联系邮箱 / 最近五年论文数=null）
|
||||
—— **启发式自动抽，不逐条判**
|
||||
3. **随机抽 30 条逐条开页面核** → **准确率** + **假阳性类型** + **能否定点修掉**
|
||||
- 准确率 **≥90% 且类型集中** ⇒ 定点修那一类，**全量直接用，不再逐页核**
|
||||
4. **合理性校验**：`组数 ÷ 院系数`。**比值荒谬地低 ⇒ 回头找「组目录」那一层**
|
||||
（不是去爬更多 URL）。确认"再下一层没有组"要贴原文结构作证。
|
||||
5. **反例 / 判不准 / 未验清单**（附页面原文）
|
||||
6. 一句话：**最终组数？完备性有没有缺口？**
|
||||
|
||||
产物写 `products/`，报告写 `reports/finding_<slug>_v3.md`（目录不存在就建）。
|
||||
|
||||
---
|
||||
|
||||
## 3. 判据与字段（摘要；**细则以 METHOD.md §2 为准**）
|
||||
|
||||
> **打开页面像人一样看：这是不是一个「导师带的做研究的团队」？**
|
||||
> **粒度上限 = 一个导师能带的规模。**
|
||||
> 大一级（institute / theme / cluster / 校级研究所）**不收**；
|
||||
> **但大一级下面挂着真组时，只收内层组。**
|
||||
|
||||
**不是组**：服务设施 · 研讨会系列 · 项目 · 学生培养计划 · 单项研究 · 空页重定向 · 无负责人的方向页。
|
||||
**共性是页面上有一句「非团队自述」—— 你去看那句话。**
|
||||
|
||||
| 字段 | 取法 |
|
||||
|---|---|
|
||||
| 课题组名称 | 该组**自己页面**的 H1（无 H1 用 `<title>`；JS 渲染/表格行用目录里的官方组名并标 `_name_source`）。⚠️ 无官方组名的**按 `<负责人> 团队` 渲染并标 `_name_source: rendered_from_leader`**，且要查重防撞 |
|
||||
| 所在大学及研究中心 | 大学 + **真实上级研究单位**；⚠️ 上级是系/院/学部的**不许当研究中心写**，没有真上级就**只写大学** |
|
||||
| 研究方向 | 该组页上的方向文字。**没有 ⇒ 不要** |
|
||||
| 联系邮箱 | 只接受**本组页 / 本组负责人页**的邮箱 |
|
||||
| 最近五年论文数 | null |
|
||||
|
||||
---
|
||||
|
||||
## 4. ⚠️ 并行安全（出过事故，必须照做）
|
||||
|
||||
5 个 worker 曾挤在**同一个 ego-browser Space 的同一个 page** 上 ⇒ 297 页跨校串页、整批作废。
|
||||
|
||||
1. **自己新建一个 TaskSpace**（不要复用别人已有的）
|
||||
2. **每个 URL 用独占的 `newPage()`**，**不要共用 p1**
|
||||
3. **每取一页校验 `page.url()` 与目标一致**；不一致 ⇒ 废掉重取
|
||||
4. 成功时收尾调一次 `await task.finish({ keep: [] })`；**因错误停止就别调**，把 `spaceId` 报上来
|
||||
|
||||
⚠️ 本机浏览器可能被用户接管（`ownership: user`）—— 遇到就**立刻停手、不重试**，把 `spaceId` 报上来。
|
||||
|
||||
---
|
||||
|
||||
## 5. 硬要求
|
||||
|
||||
1. **只在本项目内写**（`products/` `reports/`）。不碰别的项目、不碰线上库。
|
||||
2. **不设时间盒，做完整为止。** 但**每做完一个院系报一次 `status`**（三句话）。
|
||||
3. **判据来自页面。你的眼睛比任何正则都准。**
|
||||
4. **不许发明**：抓不到 ⇒ 写「未取到：<URL> + <错误原文>」。**判不准的贴出来，不要归类掉。**
|
||||
5. **不要从 sitemap 全量枚举 URL**（METHOD.md §6 反面清单第一条）。
|
||||
6. **只做这一所学校。**
|
||||
|
||||
Reference in New Issue
Block a user