seed: METHOD + task books + collected products
This commit is contained in:
orca
@@ -0,0 +1,84 @@
|
||||
# 课题组采集 · 完备性 · __SCHOOL__ · Manager 2026-09-24
|
||||
|
||||
## 0. 先读方法件（**不要重新发明方法**）
|
||||
|
||||
**`/Users/jun/Codes/prodream/.worklogs/groups-dept/METHOD.md`** —— 那是活的采集方法，
|
||||
本波照它做。**重点看 §1「入口发现」与 §6「反面清单」。**
|
||||
|
||||
一句话：
|
||||
|
||||
> **找「组目录」，不要枚举 URL。**
|
||||
> 官方院系导航 → 各院系 `/research/` → **该页上的「组目录」**（`research-groups` / `research-centres` /
|
||||
> `groups` / `institutes` / `labs`，**最高价值是「每个组由一位 PI 带」的目录**）。
|
||||
> **入口 20–60 个/校** —— 不是 sitemap 里的上万条。
|
||||
|
||||
**参考已跑通的**：`REPORT.md`（Bristol 切片）· `finding_edinburgh_v2.md`（完备性标杆）、
|
||||
`finding_anu_v2.md` / `finding_qub_v2.md`（最近两所）。
|
||||
|
||||
---
|
||||
|
||||
## 1. 本波只做这一所：**__SCHOOL__**
|
||||
|
||||
---
|
||||
|
||||
## 2. 交付（**门槛，不是"尽量"**）
|
||||
|
||||
1. **院系台账（缺一行 = 没做完）**
|
||||
`院系（全部）| research 入口 URL | 状态（取到 / 取不到：<原因>）| 组数`
|
||||
—— 院系清单从**学校官方导航**拿（`/faculties/`、`/schools-departments/`、`/about/structure` 之类）；
|
||||
**给出枚举来源 URL 与总数**；**`未取页 = 0`**
|
||||
2. **全量候选产物**（五字段：课题组名称 / 所在大学及研究中心 / 研究方向 / 联系邮箱 / 最近五年论文数=null）
|
||||
—— **启发式自动抽，不逐条判**
|
||||
3. **随机抽 30 条逐条开页面核** → **准确率** + **假阳性类型** + **能否定点修掉**
|
||||
- 准确率 **≥90% 且类型集中** ⇒ 定点修那一类，**全量直接用，不再逐页核**
|
||||
4. **合理性校验**：`组数 ÷ 院系数`。**比值荒谬地低 ⇒ 回头找「组目录」那一层**（不是去爬更多 URL）
|
||||
5. **反例 / 判不准 / 未验清单**（各自附页面原文）
|
||||
6. 一句话：**最终组数？完备性有没有缺口？**
|
||||
|
||||
产物写到 `.worklogs/groups-dept/`，按 school-slug 命名（`<slug>_v3__groups.json` + `finding_<slug>_v3.md`）。
|
||||
|
||||
---
|
||||
|
||||
## 3. 判据与字段（摘要；**细则在 METHOD.md §2，以它为准**）
|
||||
|
||||
> **打开页面像人一样看：这是不是一个「导师带的做研究的团队」？**
|
||||
> **粒度上限 = 一个导师能带的规模。**
|
||||
> 大一级（institute / theme / cluster / 校级研究所）**不收**；
|
||||
> **但大一级下面挂着真组时，只收内层组。**
|
||||
|
||||
**不是组**：服务设施 · 研讨会系列 · 项目 · 学生培养计划 · 单项研究 · 空页重定向 · 无负责人的方向页。
|
||||
**共性是页面上有一句「非团队自述」—— 你去看那句话。**
|
||||
|
||||
| 字段 | 取法 |
|
||||
|---|---|
|
||||
| 课题组名称 | 该组**自己页面**的 H1（无 H1 用 `<title>`；JS 渲染/表格行用目录里的官方组名并标来源） |
|
||||
| 所在大学及研究中心 | 大学 + **真实上级研究单位**；⚠️ 上级是系/院/学部的**不许当研究中心写**，没有真上级就**只写大学** |
|
||||
| 研究方向 | 该组页上的方向文字。**没有 ⇒ 不要** |
|
||||
| 联系邮箱 | 只接受**本组页 / 本组负责人页**的邮箱 |
|
||||
| 最近五年论文数 | null |
|
||||
|
||||
---
|
||||
|
||||
## 4. ⚠️ 并行安全（出过事故，必须照做）
|
||||
|
||||
5 个 worker 曾挤在**同一个 Space 的同一个 page** 上 ⇒ 297 页跨校串页、整批作废。
|
||||
|
||||
1. **自己新建一个 TaskSpace**（不要复用别人已有的）
|
||||
2. **每个 URL 用独占的 `newPage()`**，**不要共用 p1**
|
||||
3. **每取一页校验 `page.url()` 与目标一致**；不一致 ⇒ 废掉重取
|
||||
4. 成功时收尾调一次 `await task.finish({ keep: [] })`；**因错误停止就别调**，把 `spaceId` 报上来
|
||||
|
||||
---
|
||||
|
||||
## 5. 硬要求
|
||||
|
||||
1. **只读**：只写产物到 `.worklogs/groups-dept/`。不写索引、不改业务代码、不动数据。
|
||||
2. **不设时间盒，做完整为止。** 但**每做完一个院系报一次 `status`**（三句话）。
|
||||
3. **判据来自页面。你的眼睛比任何正则都准。**
|
||||
4. **不许发明**：抓不到 ⇒ 写「未取到：<URL> + <错误原文>」。**判不准的贴出来，不要归类掉。**
|
||||
5. **只做这一所学校。**
|
||||
6. **不要从 sitemap 全量枚举 URL**（METHOD.md §6 反面清单第一条）。
|
||||
|
||||
## 6. 边界
|
||||
|
||||
- 不碰 prodream_backend、不碰 FE、不碰 `.worklogs/groups-rebuild/` 与 `groups-verify/`。
|
||||
@@ -0,0 +1,137 @@
|
||||
# 课题组逐院系 · 完备性重做 · 澳大利亚国立大学（ANU）· `anu.edu.au`
|
||||
前一轮 28 条候选、受时间盒截断。⚠️ Pure 里没有研究组这一层（已实证），完全靠院系站。 · Manager 2026-09-23
|
||||
|
||||
## 0. 为什么全部重做（实测数据）
|
||||
|
||||
用户裁定：**所有学校都要补一遍。**
|
||||
|
||||
**依据**：5 所已按完备性重做的学校，数字对比 ——
|
||||
|
||||
| 学校 | 重做前 | 重做后 | 倍数 |
|
||||
|---|---|---|---|
|
||||
| 爱丁堡 | 22 | **643** | **29×** |
|
||||
| 曼彻斯特 | 未开始 | **268**（32 院系） | — |
|
||||
| 伯明翰 | 32 | **258**（未取页=0） | **8×** |
|
||||
| 圣安德鲁斯 | 34 | **178** | 5× |
|
||||
| 西澳 | 0 | **154**（组/系 7.0） | — |
|
||||
|
||||
**⇒ "逐院系枚举不全"是系统性的，不是个别学校。没重做的数都不可信。**
|
||||
|
||||
**先读**：`/Users/jun/Codes/prodream/.worklogs/groups-dept/` 下
|
||||
`REPORT.md`（布里斯托切片）· `finding_edinburgh_v2.md`（**完备性标杆，照它的做法**）。
|
||||
|
||||
---
|
||||
|
||||
## 1. 本波只做这一所：**澳大利亚国立大学（ANU）· `anu.edu.au`
|
||||
前一轮 28 条候选、受时间盒截断。⚠️ Pure 里没有研究组这一层（已实证），完全靠院系站。**
|
||||
|
||||
---
|
||||
|
||||
## 2. 完备性门槛（**硬门槛，不是"尽量"**）
|
||||
|
||||
### 2.1 必交台账（**缺一行就是没做完**）
|
||||
|
||||
| 院系（该校**全部**） | research 入口 URL | 状态 | 组数 |
|
||||
|---|---|---|---|
|
||||
| … | … | `取到` / `取不到：<原因>` | N |
|
||||
|
||||
- 院系清单 = 该校**全部**（从官方 faculties/schools/departments 导航 + Sub-units A-Z 拿）
|
||||
- **给出枚举来源 URL 与总数**
|
||||
- **`未取页 = 0`**：要么取到，要么有"取不到"的证据（404 / 重定向 / 空壳 / 反爬）
|
||||
|
||||
### 2.2 子域 / 外站**必须跟**
|
||||
|
||||
爱丁堡实测跟了 **117 个子域 + 39 个外站** —— 不跟就整块漏。
|
||||
**给出你找到并跟过的子域/外站清单。**
|
||||
|
||||
### 2.3 合理性校验
|
||||
|
||||
`组数 ÷ 枚举到的院系数`。基准：伦敦布里斯托 ≈5.8 / 爱丁堡 ≈25.7（**因校而异，不比大小，只看是否荒谬地低**）。
|
||||
|
||||
**比值明显偏低 ⇒ 往下挖一层**：该校院系是不是把研究组织成 theme/centre（大一级，不收），
|
||||
而底下挂着更细的**具名组**（尤其留意 **"each led by a Principal Investigator"** 这类 PI-group 目录 ——
|
||||
爱丁堡漏掉的就是四个 PI 目录，其中一个就有 140 条）。
|
||||
**确认"再下一层没有组"必须贴原文结构作证。**
|
||||
|
||||
---
|
||||
|
||||
## 3. ⚡ 效率：**启发式自动抽 + 抽样核 30 条**（用户明确要求，不要迂腐）
|
||||
|
||||
用户原话：
|
||||
> 「不需要你六百多条逐页核实呀…**你随便抽样一小部分，确认它是 OK 的，那就可以用了呗**。
|
||||
> **你肯定要去找这种最高效的方式啊。启发式的方式。**」
|
||||
|
||||
### 第一步：启发式自动抽（**全量，不逐页判**）
|
||||
机械判据批抽：有独立页面 + 页面里有**具名的人**（title 含 Prof/Dr 或 person 链接）
|
||||
+ **有方向文字块** + 名字不是「索引页/课程/项目/学生群体/讲座系列」。
|
||||
自述含 `federation` / `N academics` / 校级研究所 ⇒ 标 `big`；**标 `big` 页面里点名的内层组再收一层**。
|
||||
|
||||
### 第二步：**随机抽 30 条**逐条开页面核（**这是质量证据**）
|
||||
给：**准确率** · 假的那几条**属于哪一类**（附页面原文）· 该类型**能否定点修掉**
|
||||
|
||||
### 第三步：二选一
|
||||
- 准确率 **≥90% 且假阳性类型集中** ⇒ **定点修那一类，全量直接用**。抽样 30 条写进报告当证据。
|
||||
**不要再逐页核。**
|
||||
- 假阳性散、类型不集中 ⇒ 才扩大抽样
|
||||
|
||||
**省下的时间全部用来把院系覆盖做全 —— 那才是真正的缺口。**
|
||||
|
||||
---
|
||||
|
||||
## 4. 判据（不变）
|
||||
|
||||
> **打开页面像人一样看：这是不是一个「导师带的做研究的团队」？**
|
||||
> **粒度上限 = 一个导师能带的规模。** 大一级（institute/theme/cluster/校级研究所）**不收**；
|
||||
> **但大一级下面挂着真组时，只收内层组。**
|
||||
|
||||
**不是组**：服务设施 · 研讨会系列 · 项目 · 学生培养计划 · 单项研究 · 空页重定向 · 无负责人的方向页。
|
||||
**共性是页面上有一句「非团队自述」——你去看那句话。**
|
||||
|
||||
### 五字段
|
||||
|
||||
| # | 字段 | 取法 |
|
||||
|---|---|---|
|
||||
| 1 | 课题组名称 | 该组**自己页面**的 H1 |
|
||||
| 2 | 所在大学及研究中心 | 大学 + **真实上级研究单位**；⚠️ 上级是系/院/学部的**不许当研究中心写**，没有真上级就**只写大学** |
|
||||
| 3 | 研究方向 | 该组页上的方向文字。**没有 ⇒ 不要** |
|
||||
| 4 | 联系邮箱 | 只接受**本组页 / 本组负责人页**的邮箱 |
|
||||
| 5 | 最近五年论文数 | 一律 null |
|
||||
|
||||
---
|
||||
|
||||
## 5. ⚠️ 并行安全（前面出过事故）
|
||||
|
||||
上一波 5 个 worker **挤在同一个 Space 的同一个 page 上**，297 页里出现**跨校串页**，整批作废。
|
||||
|
||||
**你必须**：
|
||||
1. **自己新建一个 TaskSpace**（不要复用别人已有的）
|
||||
2. **每个 URL 用独占的新 page**（`newPage()`），**不要共用 p1**
|
||||
3. **每取一页后校验 `page.url()` 与目标一致**；不一致 ⇒ 该页作废重取
|
||||
4. 成功时收尾调一次 `await task.finish({ keep: [] })`；**因错误停止就别调**，把 `spaceId` 报上来
|
||||
|
||||
---
|
||||
|
||||
## 6. 交付
|
||||
|
||||
1. **完备性台账**（全部院系）+ 枚举来源 URL 与院系数
|
||||
2. **子域/外站清单**
|
||||
3. **全量候选产物**（五字段，启发式抽的）
|
||||
4. **抽样 30 条逐条判定表** + **准确率** + **假阳性类型与定点修法**
|
||||
5. **反例 / 判不准 / 未验清单**（附页面原文）
|
||||
6. 一句话：**最终组数？完备性有没有缺口？**
|
||||
|
||||
产物写到 `.worklogs/groups-dept/`，按 school-slug 命名（加 `_v2` 后缀避免覆盖旧的）。
|
||||
|
||||
---
|
||||
|
||||
## 7. 硬要求
|
||||
|
||||
1. **只读**：只写产物到 `.worklogs/groups-dept/`。不写索引、不改业务代码、不动数据。
|
||||
2. **不设时间盒，做完整为止。** 但**每做完一个院系报一次 `status`**（三句话）。
|
||||
3. **判据来自页面。你的眼睛比任何正则都准。**
|
||||
4. **不许发明**：抓不到 ⇒ 写「未验」+ 卡点（URL、错误原文）。判不准的贴出来。
|
||||
5. **只做这一所学校。**
|
||||
|
||||
## 8. 边界
|
||||
|
||||
- 不碰 prodream_backend、不碰 FE、不碰 `.worklogs/groups-rebuild/` 与 `groups-verify/`。
|
||||
@@ -0,0 +1,137 @@
|
||||
# 课题组逐院系 · 完备性重做 · 巴斯大学（University of Bath）· `bath.ac.uk`
|
||||
前一轮 76 组。 · Manager 2026-09-23
|
||||
|
||||
## 0. 为什么全部重做（实测数据）
|
||||
|
||||
用户裁定：**所有学校都要补一遍。**
|
||||
|
||||
**依据**：5 所已按完备性重做的学校，数字对比 ——
|
||||
|
||||
| 学校 | 重做前 | 重做后 | 倍数 |
|
||||
|---|---|---|---|
|
||||
| 爱丁堡 | 22 | **643** | **29×** |
|
||||
| 曼彻斯特 | 未开始 | **268**（32 院系） | — |
|
||||
| 伯明翰 | 32 | **258**（未取页=0） | **8×** |
|
||||
| 圣安德鲁斯 | 34 | **178** | 5× |
|
||||
| 西澳 | 0 | **154**（组/系 7.0） | — |
|
||||
|
||||
**⇒ "逐院系枚举不全"是系统性的，不是个别学校。没重做的数都不可信。**
|
||||
|
||||
**先读**：`/Users/jun/Codes/prodream/.worklogs/groups-dept/` 下
|
||||
`REPORT.md`（布里斯托切片）· `finding_edinburgh_v2.md`（**完备性标杆，照它的做法**）。
|
||||
|
||||
---
|
||||
|
||||
## 1. 本波只做这一所：**巴斯大学（University of Bath）· `bath.ac.uk`
|
||||
前一轮 76 组。**
|
||||
|
||||
---
|
||||
|
||||
## 2. 完备性门槛（**硬门槛，不是"尽量"**）
|
||||
|
||||
### 2.1 必交台账（**缺一行就是没做完**）
|
||||
|
||||
| 院系（该校**全部**） | research 入口 URL | 状态 | 组数 |
|
||||
|---|---|---|---|
|
||||
| … | … | `取到` / `取不到：<原因>` | N |
|
||||
|
||||
- 院系清单 = 该校**全部**（从官方 faculties/schools/departments 导航 + Sub-units A-Z 拿）
|
||||
- **给出枚举来源 URL 与总数**
|
||||
- **`未取页 = 0`**：要么取到，要么有"取不到"的证据（404 / 重定向 / 空壳 / 反爬）
|
||||
|
||||
### 2.2 子域 / 外站**必须跟**
|
||||
|
||||
爱丁堡实测跟了 **117 个子域 + 39 个外站** —— 不跟就整块漏。
|
||||
**给出你找到并跟过的子域/外站清单。**
|
||||
|
||||
### 2.3 合理性校验
|
||||
|
||||
`组数 ÷ 枚举到的院系数`。基准：伦敦布里斯托 ≈5.8 / 爱丁堡 ≈25.7（**因校而异，不比大小，只看是否荒谬地低**）。
|
||||
|
||||
**比值明显偏低 ⇒ 往下挖一层**：该校院系是不是把研究组织成 theme/centre（大一级，不收），
|
||||
而底下挂着更细的**具名组**（尤其留意 **"each led by a Principal Investigator"** 这类 PI-group 目录 ——
|
||||
爱丁堡漏掉的就是四个 PI 目录，其中一个就有 140 条）。
|
||||
**确认"再下一层没有组"必须贴原文结构作证。**
|
||||
|
||||
---
|
||||
|
||||
## 3. ⚡ 效率：**启发式自动抽 + 抽样核 30 条**（用户明确要求，不要迂腐）
|
||||
|
||||
用户原话：
|
||||
> 「不需要你六百多条逐页核实呀…**你随便抽样一小部分，确认它是 OK 的，那就可以用了呗**。
|
||||
> **你肯定要去找这种最高效的方式啊。启发式的方式。**」
|
||||
|
||||
### 第一步：启发式自动抽（**全量，不逐页判**）
|
||||
机械判据批抽：有独立页面 + 页面里有**具名的人**（title 含 Prof/Dr 或 person 链接）
|
||||
+ **有方向文字块** + 名字不是「索引页/课程/项目/学生群体/讲座系列」。
|
||||
自述含 `federation` / `N academics` / 校级研究所 ⇒ 标 `big`；**标 `big` 页面里点名的内层组再收一层**。
|
||||
|
||||
### 第二步：**随机抽 30 条**逐条开页面核（**这是质量证据**）
|
||||
给：**准确率** · 假的那几条**属于哪一类**（附页面原文）· 该类型**能否定点修掉**
|
||||
|
||||
### 第三步：二选一
|
||||
- 准确率 **≥90% 且假阳性类型集中** ⇒ **定点修那一类，全量直接用**。抽样 30 条写进报告当证据。
|
||||
**不要再逐页核。**
|
||||
- 假阳性散、类型不集中 ⇒ 才扩大抽样
|
||||
|
||||
**省下的时间全部用来把院系覆盖做全 —— 那才是真正的缺口。**
|
||||
|
||||
---
|
||||
|
||||
## 4. 判据（不变）
|
||||
|
||||
> **打开页面像人一样看：这是不是一个「导师带的做研究的团队」？**
|
||||
> **粒度上限 = 一个导师能带的规模。** 大一级（institute/theme/cluster/校级研究所）**不收**；
|
||||
> **但大一级下面挂着真组时，只收内层组。**
|
||||
|
||||
**不是组**：服务设施 · 研讨会系列 · 项目 · 学生培养计划 · 单项研究 · 空页重定向 · 无负责人的方向页。
|
||||
**共性是页面上有一句「非团队自述」——你去看那句话。**
|
||||
|
||||
### 五字段
|
||||
|
||||
| # | 字段 | 取法 |
|
||||
|---|---|---|
|
||||
| 1 | 课题组名称 | 该组**自己页面**的 H1 |
|
||||
| 2 | 所在大学及研究中心 | 大学 + **真实上级研究单位**；⚠️ 上级是系/院/学部的**不许当研究中心写**，没有真上级就**只写大学** |
|
||||
| 3 | 研究方向 | 该组页上的方向文字。**没有 ⇒ 不要** |
|
||||
| 4 | 联系邮箱 | 只接受**本组页 / 本组负责人页**的邮箱 |
|
||||
| 5 | 最近五年论文数 | 一律 null |
|
||||
|
||||
---
|
||||
|
||||
## 5. ⚠️ 并行安全（前面出过事故）
|
||||
|
||||
上一波 5 个 worker **挤在同一个 Space 的同一个 page 上**，297 页里出现**跨校串页**，整批作废。
|
||||
|
||||
**你必须**：
|
||||
1. **自己新建一个 TaskSpace**（不要复用别人已有的）
|
||||
2. **每个 URL 用独占的新 page**（`newPage()`），**不要共用 p1**
|
||||
3. **每取一页后校验 `page.url()` 与目标一致**；不一致 ⇒ 该页作废重取
|
||||
4. 成功时收尾调一次 `await task.finish({ keep: [] })`；**因错误停止就别调**，把 `spaceId` 报上来
|
||||
|
||||
---
|
||||
|
||||
## 6. 交付
|
||||
|
||||
1. **完备性台账**（全部院系）+ 枚举来源 URL 与院系数
|
||||
2. **子域/外站清单**
|
||||
3. **全量候选产物**（五字段，启发式抽的）
|
||||
4. **抽样 30 条逐条判定表** + **准确率** + **假阳性类型与定点修法**
|
||||
5. **反例 / 判不准 / 未验清单**（附页面原文）
|
||||
6. 一句话：**最终组数？完备性有没有缺口？**
|
||||
|
||||
产物写到 `.worklogs/groups-dept/`，按 school-slug 命名（加 `_v2` 后缀避免覆盖旧的）。
|
||||
|
||||
---
|
||||
|
||||
## 7. 硬要求
|
||||
|
||||
1. **只读**：只写产物到 `.worklogs/groups-dept/`。不写索引、不改业务代码、不动数据。
|
||||
2. **不设时间盒，做完整为止。** 但**每做完一个院系报一次 `status`**（三句话）。
|
||||
3. **判据来自页面。你的眼睛比任何正则都准。**
|
||||
4. **不许发明**：抓不到 ⇒ 写「未验」+ 卡点（URL、错误原文）。判不准的贴出来。
|
||||
5. **只做这一所学校。**
|
||||
|
||||
## 8. 边界
|
||||
|
||||
- 不碰 prodream_backend、不碰 FE、不碰 `.worklogs/groups-rebuild/` 与 `groups-verify/`。
|
||||
@@ -0,0 +1,137 @@
|
||||
# 课题组逐院系 · 完备性重做 · 邦德大学（Bond University）· `bond.edu.au`
|
||||
前一轮 19 条。 · Manager 2026-09-23
|
||||
|
||||
## 0. 为什么全部重做（实测数据）
|
||||
|
||||
用户裁定：**所有学校都要补一遍。**
|
||||
|
||||
**依据**：5 所已按完备性重做的学校，数字对比 ——
|
||||
|
||||
| 学校 | 重做前 | 重做后 | 倍数 |
|
||||
|---|---|---|---|
|
||||
| 爱丁堡 | 22 | **643** | **29×** |
|
||||
| 曼彻斯特 | 未开始 | **268**（32 院系） | — |
|
||||
| 伯明翰 | 32 | **258**（未取页=0） | **8×** |
|
||||
| 圣安德鲁斯 | 34 | **178** | 5× |
|
||||
| 西澳 | 0 | **154**（组/系 7.0） | — |
|
||||
|
||||
**⇒ "逐院系枚举不全"是系统性的，不是个别学校。没重做的数都不可信。**
|
||||
|
||||
**先读**：`/Users/jun/Codes/prodream/.worklogs/groups-dept/` 下
|
||||
`REPORT.md`（布里斯托切片）· `finding_edinburgh_v2.md`（**完备性标杆，照它的做法**）。
|
||||
|
||||
---
|
||||
|
||||
## 1. 本波只做这一所：**邦德大学（Bond University）· `bond.edu.au`
|
||||
前一轮 19 条。**
|
||||
|
||||
---
|
||||
|
||||
## 2. 完备性门槛（**硬门槛，不是"尽量"**）
|
||||
|
||||
### 2.1 必交台账（**缺一行就是没做完**）
|
||||
|
||||
| 院系（该校**全部**） | research 入口 URL | 状态 | 组数 |
|
||||
|---|---|---|---|
|
||||
| … | … | `取到` / `取不到：<原因>` | N |
|
||||
|
||||
- 院系清单 = 该校**全部**（从官方 faculties/schools/departments 导航 + Sub-units A-Z 拿）
|
||||
- **给出枚举来源 URL 与总数**
|
||||
- **`未取页 = 0`**：要么取到，要么有"取不到"的证据（404 / 重定向 / 空壳 / 反爬）
|
||||
|
||||
### 2.2 子域 / 外站**必须跟**
|
||||
|
||||
爱丁堡实测跟了 **117 个子域 + 39 个外站** —— 不跟就整块漏。
|
||||
**给出你找到并跟过的子域/外站清单。**
|
||||
|
||||
### 2.3 合理性校验
|
||||
|
||||
`组数 ÷ 枚举到的院系数`。基准：伦敦布里斯托 ≈5.8 / 爱丁堡 ≈25.7（**因校而异，不比大小，只看是否荒谬地低**）。
|
||||
|
||||
**比值明显偏低 ⇒ 往下挖一层**：该校院系是不是把研究组织成 theme/centre（大一级，不收），
|
||||
而底下挂着更细的**具名组**（尤其留意 **"each led by a Principal Investigator"** 这类 PI-group 目录 ——
|
||||
爱丁堡漏掉的就是四个 PI 目录，其中一个就有 140 条）。
|
||||
**确认"再下一层没有组"必须贴原文结构作证。**
|
||||
|
||||
---
|
||||
|
||||
## 3. ⚡ 效率：**启发式自动抽 + 抽样核 30 条**（用户明确要求，不要迂腐）
|
||||
|
||||
用户原话：
|
||||
> 「不需要你六百多条逐页核实呀…**你随便抽样一小部分，确认它是 OK 的，那就可以用了呗**。
|
||||
> **你肯定要去找这种最高效的方式啊。启发式的方式。**」
|
||||
|
||||
### 第一步：启发式自动抽（**全量，不逐页判**）
|
||||
机械判据批抽：有独立页面 + 页面里有**具名的人**（title 含 Prof/Dr 或 person 链接）
|
||||
+ **有方向文字块** + 名字不是「索引页/课程/项目/学生群体/讲座系列」。
|
||||
自述含 `federation` / `N academics` / 校级研究所 ⇒ 标 `big`；**标 `big` 页面里点名的内层组再收一层**。
|
||||
|
||||
### 第二步：**随机抽 30 条**逐条开页面核（**这是质量证据**）
|
||||
给：**准确率** · 假的那几条**属于哪一类**（附页面原文）· 该类型**能否定点修掉**
|
||||
|
||||
### 第三步：二选一
|
||||
- 准确率 **≥90% 且假阳性类型集中** ⇒ **定点修那一类，全量直接用**。抽样 30 条写进报告当证据。
|
||||
**不要再逐页核。**
|
||||
- 假阳性散、类型不集中 ⇒ 才扩大抽样
|
||||
|
||||
**省下的时间全部用来把院系覆盖做全 —— 那才是真正的缺口。**
|
||||
|
||||
---
|
||||
|
||||
## 4. 判据（不变）
|
||||
|
||||
> **打开页面像人一样看：这是不是一个「导师带的做研究的团队」？**
|
||||
> **粒度上限 = 一个导师能带的规模。** 大一级（institute/theme/cluster/校级研究所）**不收**；
|
||||
> **但大一级下面挂着真组时，只收内层组。**
|
||||
|
||||
**不是组**：服务设施 · 研讨会系列 · 项目 · 学生培养计划 · 单项研究 · 空页重定向 · 无负责人的方向页。
|
||||
**共性是页面上有一句「非团队自述」——你去看那句话。**
|
||||
|
||||
### 五字段
|
||||
|
||||
| # | 字段 | 取法 |
|
||||
|---|---|---|
|
||||
| 1 | 课题组名称 | 该组**自己页面**的 H1 |
|
||||
| 2 | 所在大学及研究中心 | 大学 + **真实上级研究单位**；⚠️ 上级是系/院/学部的**不许当研究中心写**，没有真上级就**只写大学** |
|
||||
| 3 | 研究方向 | 该组页上的方向文字。**没有 ⇒ 不要** |
|
||||
| 4 | 联系邮箱 | 只接受**本组页 / 本组负责人页**的邮箱 |
|
||||
| 5 | 最近五年论文数 | 一律 null |
|
||||
|
||||
---
|
||||
|
||||
## 5. ⚠️ 并行安全（前面出过事故）
|
||||
|
||||
上一波 5 个 worker **挤在同一个 Space 的同一个 page 上**，297 页里出现**跨校串页**，整批作废。
|
||||
|
||||
**你必须**：
|
||||
1. **自己新建一个 TaskSpace**（不要复用别人已有的）
|
||||
2. **每个 URL 用独占的新 page**（`newPage()`），**不要共用 p1**
|
||||
3. **每取一页后校验 `page.url()` 与目标一致**；不一致 ⇒ 该页作废重取
|
||||
4. 成功时收尾调一次 `await task.finish({ keep: [] })`；**因错误停止就别调**，把 `spaceId` 报上来
|
||||
|
||||
---
|
||||
|
||||
## 6. 交付
|
||||
|
||||
1. **完备性台账**（全部院系）+ 枚举来源 URL 与院系数
|
||||
2. **子域/外站清单**
|
||||
3. **全量候选产物**（五字段，启发式抽的）
|
||||
4. **抽样 30 条逐条判定表** + **准确率** + **假阳性类型与定点修法**
|
||||
5. **反例 / 判不准 / 未验清单**（附页面原文）
|
||||
6. 一句话：**最终组数？完备性有没有缺口？**
|
||||
|
||||
产物写到 `.worklogs/groups-dept/`，按 school-slug 命名（加 `_v2` 后缀避免覆盖旧的）。
|
||||
|
||||
---
|
||||
|
||||
## 7. 硬要求
|
||||
|
||||
1. **只读**：只写产物到 `.worklogs/groups-dept/`。不写索引、不改业务代码、不动数据。
|
||||
2. **不设时间盒，做完整为止。** 但**每做完一个院系报一次 `status`**（三句话）。
|
||||
3. **判据来自页面。你的眼睛比任何正则都准。**
|
||||
4. **不许发明**：抓不到 ⇒ 写「未验」+ 卡点（URL、错误原文）。判不准的贴出来。
|
||||
5. **只做这一所学校。**
|
||||
|
||||
## 8. 边界
|
||||
|
||||
- 不碰 prodream_backend、不碰 FE、不碰 `.worklogs/groups-rebuild/` 与 `groups-verify/`。
|
||||
@@ -0,0 +1,139 @@
|
||||
# 课题组逐院系 · 完备性重做 · 布里斯托大学（University of Bristol）· `bristol.ac.uk`
|
||||
切片已做 174 组（组/系 ≈5.8，方法论基准）。
|
||||
⚠️ **但爱丁堡从 22 变 643 说明基准本身也可能偏低** —— 复验：学院站之外还有没有 PI-group 目录。 · Manager 2026-09-23
|
||||
|
||||
## 0. 为什么全部重做（实测数据）
|
||||
|
||||
用户裁定：**所有学校都要补一遍。**
|
||||
|
||||
**依据**：5 所已按完备性重做的学校，数字对比 ——
|
||||
|
||||
| 学校 | 重做前 | 重做后 | 倍数 |
|
||||
|---|---|---|---|
|
||||
| 爱丁堡 | 22 | **643** | **29×** |
|
||||
| 曼彻斯特 | 未开始 | **268**（32 院系） | — |
|
||||
| 伯明翰 | 32 | **258**（未取页=0） | **8×** |
|
||||
| 圣安德鲁斯 | 34 | **178** | 5× |
|
||||
| 西澳 | 0 | **154**（组/系 7.0） | — |
|
||||
|
||||
**⇒ "逐院系枚举不全"是系统性的，不是个别学校。没重做的数都不可信。**
|
||||
|
||||
**先读**：`/Users/jun/Codes/prodream/.worklogs/groups-dept/` 下
|
||||
`REPORT.md`（布里斯托切片）· `finding_edinburgh_v2.md`（**完备性标杆，照它的做法**）。
|
||||
|
||||
---
|
||||
|
||||
## 1. 本波只做这一所：**布里斯托大学（University of Bristol）· `bristol.ac.uk`
|
||||
切片已做 174 组（组/系 ≈5.8，方法论基准）。
|
||||
⚠️ **但爱丁堡从 22 变 643 说明基准本身也可能偏低** —— 复验：学院站之外还有没有 PI-group 目录。**
|
||||
|
||||
---
|
||||
|
||||
## 2. 完备性门槛（**硬门槛，不是"尽量"**）
|
||||
|
||||
### 2.1 必交台账（**缺一行就是没做完**）
|
||||
|
||||
| 院系（该校**全部**） | research 入口 URL | 状态 | 组数 |
|
||||
|---|---|---|---|
|
||||
| … | … | `取到` / `取不到：<原因>` | N |
|
||||
|
||||
- 院系清单 = 该校**全部**（从官方 faculties/schools/departments 导航 + Sub-units A-Z 拿）
|
||||
- **给出枚举来源 URL 与总数**
|
||||
- **`未取页 = 0`**：要么取到，要么有"取不到"的证据（404 / 重定向 / 空壳 / 反爬）
|
||||
|
||||
### 2.2 子域 / 外站**必须跟**
|
||||
|
||||
爱丁堡实测跟了 **117 个子域 + 39 个外站** —— 不跟就整块漏。
|
||||
**给出你找到并跟过的子域/外站清单。**
|
||||
|
||||
### 2.3 合理性校验
|
||||
|
||||
`组数 ÷ 枚举到的院系数`。基准：伦敦布里斯托 ≈5.8 / 爱丁堡 ≈25.7（**因校而异，不比大小，只看是否荒谬地低**）。
|
||||
|
||||
**比值明显偏低 ⇒ 往下挖一层**：该校院系是不是把研究组织成 theme/centre（大一级，不收），
|
||||
而底下挂着更细的**具名组**（尤其留意 **"each led by a Principal Investigator"** 这类 PI-group 目录 ——
|
||||
爱丁堡漏掉的就是四个 PI 目录，其中一个就有 140 条）。
|
||||
**确认"再下一层没有组"必须贴原文结构作证。**
|
||||
|
||||
---
|
||||
|
||||
## 3. ⚡ 效率：**启发式自动抽 + 抽样核 30 条**（用户明确要求，不要迂腐）
|
||||
|
||||
用户原话：
|
||||
> 「不需要你六百多条逐页核实呀…**你随便抽样一小部分，确认它是 OK 的，那就可以用了呗**。
|
||||
> **你肯定要去找这种最高效的方式啊。启发式的方式。**」
|
||||
|
||||
### 第一步：启发式自动抽（**全量，不逐页判**）
|
||||
机械判据批抽：有独立页面 + 页面里有**具名的人**（title 含 Prof/Dr 或 person 链接）
|
||||
+ **有方向文字块** + 名字不是「索引页/课程/项目/学生群体/讲座系列」。
|
||||
自述含 `federation` / `N academics` / 校级研究所 ⇒ 标 `big`；**标 `big` 页面里点名的内层组再收一层**。
|
||||
|
||||
### 第二步：**随机抽 30 条**逐条开页面核（**这是质量证据**）
|
||||
给：**准确率** · 假的那几条**属于哪一类**（附页面原文）· 该类型**能否定点修掉**
|
||||
|
||||
### 第三步：二选一
|
||||
- 准确率 **≥90% 且假阳性类型集中** ⇒ **定点修那一类，全量直接用**。抽样 30 条写进报告当证据。
|
||||
**不要再逐页核。**
|
||||
- 假阳性散、类型不集中 ⇒ 才扩大抽样
|
||||
|
||||
**省下的时间全部用来把院系覆盖做全 —— 那才是真正的缺口。**
|
||||
|
||||
---
|
||||
|
||||
## 4. 判据（不变）
|
||||
|
||||
> **打开页面像人一样看：这是不是一个「导师带的做研究的团队」？**
|
||||
> **粒度上限 = 一个导师能带的规模。** 大一级（institute/theme/cluster/校级研究所）**不收**；
|
||||
> **但大一级下面挂着真组时，只收内层组。**
|
||||
|
||||
**不是组**：服务设施 · 研讨会系列 · 项目 · 学生培养计划 · 单项研究 · 空页重定向 · 无负责人的方向页。
|
||||
**共性是页面上有一句「非团队自述」——你去看那句话。**
|
||||
|
||||
### 五字段
|
||||
|
||||
| # | 字段 | 取法 |
|
||||
|---|---|---|
|
||||
| 1 | 课题组名称 | 该组**自己页面**的 H1 |
|
||||
| 2 | 所在大学及研究中心 | 大学 + **真实上级研究单位**；⚠️ 上级是系/院/学部的**不许当研究中心写**，没有真上级就**只写大学** |
|
||||
| 3 | 研究方向 | 该组页上的方向文字。**没有 ⇒ 不要** |
|
||||
| 4 | 联系邮箱 | 只接受**本组页 / 本组负责人页**的邮箱 |
|
||||
| 5 | 最近五年论文数 | 一律 null |
|
||||
|
||||
---
|
||||
|
||||
## 5. ⚠️ 并行安全（前面出过事故）
|
||||
|
||||
上一波 5 个 worker **挤在同一个 Space 的同一个 page 上**，297 页里出现**跨校串页**，整批作废。
|
||||
|
||||
**你必须**：
|
||||
1. **自己新建一个 TaskSpace**（不要复用别人已有的）
|
||||
2. **每个 URL 用独占的新 page**（`newPage()`），**不要共用 p1**
|
||||
3. **每取一页后校验 `page.url()` 与目标一致**；不一致 ⇒ 该页作废重取
|
||||
4. 成功时收尾调一次 `await task.finish({ keep: [] })`；**因错误停止就别调**，把 `spaceId` 报上来
|
||||
|
||||
---
|
||||
|
||||
## 6. 交付
|
||||
|
||||
1. **完备性台账**（全部院系）+ 枚举来源 URL 与院系数
|
||||
2. **子域/外站清单**
|
||||
3. **全量候选产物**（五字段，启发式抽的）
|
||||
4. **抽样 30 条逐条判定表** + **准确率** + **假阳性类型与定点修法**
|
||||
5. **反例 / 判不准 / 未验清单**（附页面原文）
|
||||
6. 一句话：**最终组数？完备性有没有缺口？**
|
||||
|
||||
产物写到 `.worklogs/groups-dept/`，按 school-slug 命名（加 `_v2` 后缀避免覆盖旧的）。
|
||||
|
||||
---
|
||||
|
||||
## 7. 硬要求
|
||||
|
||||
1. **只读**：只写产物到 `.worklogs/groups-dept/`。不写索引、不改业务代码、不动数据。
|
||||
2. **不设时间盒，做完整为止。** 但**每做完一个院系报一次 `status`**（三句话）。
|
||||
3. **判据来自页面。你的眼睛比任何正则都准。**
|
||||
4. **不许发明**：抓不到 ⇒ 写「未验」+ 卡点（URL、错误原文）。判不准的贴出来。
|
||||
5. **只做这一所学校。**
|
||||
|
||||
## 8. 边界
|
||||
|
||||
- 不碰 prodream_backend、不碰 FE、不碰 `.worklogs/groups-rebuild/` 与 `groups-verify/`。
|
||||
@@ -0,0 +1,137 @@
|
||||
# 课题组逐院系 · 完备性重做 · 堪培拉大学（University of Canberra）· `canberra.edu.au`
|
||||
前一轮 10 条。 · Manager 2026-09-23
|
||||
|
||||
## 0. 为什么全部重做（实测数据）
|
||||
|
||||
用户裁定：**所有学校都要补一遍。**
|
||||
|
||||
**依据**：5 所已按完备性重做的学校，数字对比 ——
|
||||
|
||||
| 学校 | 重做前 | 重做后 | 倍数 |
|
||||
|---|---|---|---|
|
||||
| 爱丁堡 | 22 | **643** | **29×** |
|
||||
| 曼彻斯特 | 未开始 | **268**（32 院系） | — |
|
||||
| 伯明翰 | 32 | **258**（未取页=0） | **8×** |
|
||||
| 圣安德鲁斯 | 34 | **178** | 5× |
|
||||
| 西澳 | 0 | **154**（组/系 7.0） | — |
|
||||
|
||||
**⇒ "逐院系枚举不全"是系统性的，不是个别学校。没重做的数都不可信。**
|
||||
|
||||
**先读**：`/Users/jun/Codes/prodream/.worklogs/groups-dept/` 下
|
||||
`REPORT.md`（布里斯托切片）· `finding_edinburgh_v2.md`（**完备性标杆，照它的做法**）。
|
||||
|
||||
---
|
||||
|
||||
## 1. 本波只做这一所：**堪培拉大学（University of Canberra）· `canberra.edu.au`
|
||||
前一轮 10 条。**
|
||||
|
||||
---
|
||||
|
||||
## 2. 完备性门槛（**硬门槛，不是"尽量"**）
|
||||
|
||||
### 2.1 必交台账（**缺一行就是没做完**）
|
||||
|
||||
| 院系（该校**全部**） | research 入口 URL | 状态 | 组数 |
|
||||
|---|---|---|---|
|
||||
| … | … | `取到` / `取不到：<原因>` | N |
|
||||
|
||||
- 院系清单 = 该校**全部**（从官方 faculties/schools/departments 导航 + Sub-units A-Z 拿）
|
||||
- **给出枚举来源 URL 与总数**
|
||||
- **`未取页 = 0`**：要么取到，要么有"取不到"的证据（404 / 重定向 / 空壳 / 反爬）
|
||||
|
||||
### 2.2 子域 / 外站**必须跟**
|
||||
|
||||
爱丁堡实测跟了 **117 个子域 + 39 个外站** —— 不跟就整块漏。
|
||||
**给出你找到并跟过的子域/外站清单。**
|
||||
|
||||
### 2.3 合理性校验
|
||||
|
||||
`组数 ÷ 枚举到的院系数`。基准：伦敦布里斯托 ≈5.8 / 爱丁堡 ≈25.7（**因校而异，不比大小，只看是否荒谬地低**）。
|
||||
|
||||
**比值明显偏低 ⇒ 往下挖一层**：该校院系是不是把研究组织成 theme/centre（大一级，不收），
|
||||
而底下挂着更细的**具名组**（尤其留意 **"each led by a Principal Investigator"** 这类 PI-group 目录 ——
|
||||
爱丁堡漏掉的就是四个 PI 目录，其中一个就有 140 条）。
|
||||
**确认"再下一层没有组"必须贴原文结构作证。**
|
||||
|
||||
---
|
||||
|
||||
## 3. ⚡ 效率：**启发式自动抽 + 抽样核 30 条**（用户明确要求，不要迂腐）
|
||||
|
||||
用户原话：
|
||||
> 「不需要你六百多条逐页核实呀…**你随便抽样一小部分，确认它是 OK 的，那就可以用了呗**。
|
||||
> **你肯定要去找这种最高效的方式啊。启发式的方式。**」
|
||||
|
||||
### 第一步：启发式自动抽（**全量，不逐页判**）
|
||||
机械判据批抽：有独立页面 + 页面里有**具名的人**（title 含 Prof/Dr 或 person 链接）
|
||||
+ **有方向文字块** + 名字不是「索引页/课程/项目/学生群体/讲座系列」。
|
||||
自述含 `federation` / `N academics` / 校级研究所 ⇒ 标 `big`；**标 `big` 页面里点名的内层组再收一层**。
|
||||
|
||||
### 第二步：**随机抽 30 条**逐条开页面核（**这是质量证据**）
|
||||
给：**准确率** · 假的那几条**属于哪一类**（附页面原文）· 该类型**能否定点修掉**
|
||||
|
||||
### 第三步：二选一
|
||||
- 准确率 **≥90% 且假阳性类型集中** ⇒ **定点修那一类，全量直接用**。抽样 30 条写进报告当证据。
|
||||
**不要再逐页核。**
|
||||
- 假阳性散、类型不集中 ⇒ 才扩大抽样
|
||||
|
||||
**省下的时间全部用来把院系覆盖做全 —— 那才是真正的缺口。**
|
||||
|
||||
---
|
||||
|
||||
## 4. 判据（不变）
|
||||
|
||||
> **打开页面像人一样看：这是不是一个「导师带的做研究的团队」？**
|
||||
> **粒度上限 = 一个导师能带的规模。** 大一级（institute/theme/cluster/校级研究所）**不收**；
|
||||
> **但大一级下面挂着真组时，只收内层组。**
|
||||
|
||||
**不是组**：服务设施 · 研讨会系列 · 项目 · 学生培养计划 · 单项研究 · 空页重定向 · 无负责人的方向页。
|
||||
**共性是页面上有一句「非团队自述」——你去看那句话。**
|
||||
|
||||
### 五字段
|
||||
|
||||
| # | 字段 | 取法 |
|
||||
|---|---|---|
|
||||
| 1 | 课题组名称 | 该组**自己页面**的 H1 |
|
||||
| 2 | 所在大学及研究中心 | 大学 + **真实上级研究单位**；⚠️ 上级是系/院/学部的**不许当研究中心写**，没有真上级就**只写大学** |
|
||||
| 3 | 研究方向 | 该组页上的方向文字。**没有 ⇒ 不要** |
|
||||
| 4 | 联系邮箱 | 只接受**本组页 / 本组负责人页**的邮箱 |
|
||||
| 5 | 最近五年论文数 | 一律 null |
|
||||
|
||||
---
|
||||
|
||||
## 5. ⚠️ 并行安全（前面出过事故）
|
||||
|
||||
上一波 5 个 worker **挤在同一个 Space 的同一个 page 上**，297 页里出现**跨校串页**，整批作废。
|
||||
|
||||
**你必须**：
|
||||
1. **自己新建一个 TaskSpace**（不要复用别人已有的）
|
||||
2. **每个 URL 用独占的新 page**（`newPage()`），**不要共用 p1**
|
||||
3. **每取一页后校验 `page.url()` 与目标一致**；不一致 ⇒ 该页作废重取
|
||||
4. 成功时收尾调一次 `await task.finish({ keep: [] })`；**因错误停止就别调**，把 `spaceId` 报上来
|
||||
|
||||
---
|
||||
|
||||
## 6. 交付
|
||||
|
||||
1. **完备性台账**（全部院系）+ 枚举来源 URL 与院系数
|
||||
2. **子域/外站清单**
|
||||
3. **全量候选产物**（五字段，启发式抽的）
|
||||
4. **抽样 30 条逐条判定表** + **准确率** + **假阳性类型与定点修法**
|
||||
5. **反例 / 判不准 / 未验清单**（附页面原文）
|
||||
6. 一句话：**最终组数？完备性有没有缺口？**
|
||||
|
||||
产物写到 `.worklogs/groups-dept/`，按 school-slug 命名（加 `_v2` 后缀避免覆盖旧的）。
|
||||
|
||||
---
|
||||
|
||||
## 7. 硬要求
|
||||
|
||||
1. **只读**：只写产物到 `.worklogs/groups-dept/`。不写索引、不改业务代码、不动数据。
|
||||
2. **不设时间盒，做完整为止。** 但**每做完一个院系报一次 `status`**（三句话）。
|
||||
3. **判据来自页面。你的眼睛比任何正则都准。**
|
||||
4. **不许发明**：抓不到 ⇒ 写「未验」+ 卡点（URL、错误原文）。判不准的贴出来。
|
||||
5. **只做这一所学校。**
|
||||
|
||||
## 8. 边界
|
||||
|
||||
- 不碰 prodream_backend、不碰 FE、不碰 `.worklogs/groups-rebuild/` 与 `groups-verify/`。
|
||||
@@ -0,0 +1,137 @@
|
||||
# 课题组逐院系 · 完备性重做 · 查尔斯达尔文大学（Charles Darwin University）· `cdu.edu.au`
|
||||
前一轮 11 条。 · Manager 2026-09-23
|
||||
|
||||
## 0. 为什么全部重做（实测数据）
|
||||
|
||||
用户裁定：**所有学校都要补一遍。**
|
||||
|
||||
**依据**：5 所已按完备性重做的学校，数字对比 ——
|
||||
|
||||
| 学校 | 重做前 | 重做后 | 倍数 |
|
||||
|---|---|---|---|
|
||||
| 爱丁堡 | 22 | **643** | **29×** |
|
||||
| 曼彻斯特 | 未开始 | **268**（32 院系） | — |
|
||||
| 伯明翰 | 32 | **258**（未取页=0） | **8×** |
|
||||
| 圣安德鲁斯 | 34 | **178** | 5× |
|
||||
| 西澳 | 0 | **154**（组/系 7.0） | — |
|
||||
|
||||
**⇒ "逐院系枚举不全"是系统性的，不是个别学校。没重做的数都不可信。**
|
||||
|
||||
**先读**：`/Users/jun/Codes/prodream/.worklogs/groups-dept/` 下
|
||||
`REPORT.md`（布里斯托切片）· `finding_edinburgh_v2.md`（**完备性标杆，照它的做法**）。
|
||||
|
||||
---
|
||||
|
||||
## 1. 本波只做这一所：**查尔斯达尔文大学（Charles Darwin University）· `cdu.edu.au`
|
||||
前一轮 11 条。**
|
||||
|
||||
---
|
||||
|
||||
## 2. 完备性门槛（**硬门槛，不是"尽量"**）
|
||||
|
||||
### 2.1 必交台账（**缺一行就是没做完**）
|
||||
|
||||
| 院系（该校**全部**） | research 入口 URL | 状态 | 组数 |
|
||||
|---|---|---|---|
|
||||
| … | … | `取到` / `取不到：<原因>` | N |
|
||||
|
||||
- 院系清单 = 该校**全部**（从官方 faculties/schools/departments 导航 + Sub-units A-Z 拿）
|
||||
- **给出枚举来源 URL 与总数**
|
||||
- **`未取页 = 0`**：要么取到，要么有"取不到"的证据（404 / 重定向 / 空壳 / 反爬）
|
||||
|
||||
### 2.2 子域 / 外站**必须跟**
|
||||
|
||||
爱丁堡实测跟了 **117 个子域 + 39 个外站** —— 不跟就整块漏。
|
||||
**给出你找到并跟过的子域/外站清单。**
|
||||
|
||||
### 2.3 合理性校验
|
||||
|
||||
`组数 ÷ 枚举到的院系数`。基准：伦敦布里斯托 ≈5.8 / 爱丁堡 ≈25.7（**因校而异，不比大小，只看是否荒谬地低**）。
|
||||
|
||||
**比值明显偏低 ⇒ 往下挖一层**：该校院系是不是把研究组织成 theme/centre（大一级，不收），
|
||||
而底下挂着更细的**具名组**（尤其留意 **"each led by a Principal Investigator"** 这类 PI-group 目录 ——
|
||||
爱丁堡漏掉的就是四个 PI 目录，其中一个就有 140 条）。
|
||||
**确认"再下一层没有组"必须贴原文结构作证。**
|
||||
|
||||
---
|
||||
|
||||
## 3. ⚡ 效率：**启发式自动抽 + 抽样核 30 条**（用户明确要求，不要迂腐）
|
||||
|
||||
用户原话：
|
||||
> 「不需要你六百多条逐页核实呀…**你随便抽样一小部分，确认它是 OK 的，那就可以用了呗**。
|
||||
> **你肯定要去找这种最高效的方式啊。启发式的方式。**」
|
||||
|
||||
### 第一步：启发式自动抽（**全量，不逐页判**）
|
||||
机械判据批抽：有独立页面 + 页面里有**具名的人**（title 含 Prof/Dr 或 person 链接）
|
||||
+ **有方向文字块** + 名字不是「索引页/课程/项目/学生群体/讲座系列」。
|
||||
自述含 `federation` / `N academics` / 校级研究所 ⇒ 标 `big`；**标 `big` 页面里点名的内层组再收一层**。
|
||||
|
||||
### 第二步：**随机抽 30 条**逐条开页面核（**这是质量证据**）
|
||||
给：**准确率** · 假的那几条**属于哪一类**（附页面原文）· 该类型**能否定点修掉**
|
||||
|
||||
### 第三步：二选一
|
||||
- 准确率 **≥90% 且假阳性类型集中** ⇒ **定点修那一类，全量直接用**。抽样 30 条写进报告当证据。
|
||||
**不要再逐页核。**
|
||||
- 假阳性散、类型不集中 ⇒ 才扩大抽样
|
||||
|
||||
**省下的时间全部用来把院系覆盖做全 —— 那才是真正的缺口。**
|
||||
|
||||
---
|
||||
|
||||
## 4. 判据（不变）
|
||||
|
||||
> **打开页面像人一样看：这是不是一个「导师带的做研究的团队」？**
|
||||
> **粒度上限 = 一个导师能带的规模。** 大一级（institute/theme/cluster/校级研究所）**不收**；
|
||||
> **但大一级下面挂着真组时，只收内层组。**
|
||||
|
||||
**不是组**：服务设施 · 研讨会系列 · 项目 · 学生培养计划 · 单项研究 · 空页重定向 · 无负责人的方向页。
|
||||
**共性是页面上有一句「非团队自述」——你去看那句话。**
|
||||
|
||||
### 五字段
|
||||
|
||||
| # | 字段 | 取法 |
|
||||
|---|---|---|
|
||||
| 1 | 课题组名称 | 该组**自己页面**的 H1 |
|
||||
| 2 | 所在大学及研究中心 | 大学 + **真实上级研究单位**；⚠️ 上级是系/院/学部的**不许当研究中心写**，没有真上级就**只写大学** |
|
||||
| 3 | 研究方向 | 该组页上的方向文字。**没有 ⇒ 不要** |
|
||||
| 4 | 联系邮箱 | 只接受**本组页 / 本组负责人页**的邮箱 |
|
||||
| 5 | 最近五年论文数 | 一律 null |
|
||||
|
||||
---
|
||||
|
||||
## 5. ⚠️ 并行安全（前面出过事故）
|
||||
|
||||
上一波 5 个 worker **挤在同一个 Space 的同一个 page 上**，297 页里出现**跨校串页**，整批作废。
|
||||
|
||||
**你必须**：
|
||||
1. **自己新建一个 TaskSpace**（不要复用别人已有的）
|
||||
2. **每个 URL 用独占的新 page**（`newPage()`），**不要共用 p1**
|
||||
3. **每取一页后校验 `page.url()` 与目标一致**；不一致 ⇒ 该页作废重取
|
||||
4. 成功时收尾调一次 `await task.finish({ keep: [] })`；**因错误停止就别调**，把 `spaceId` 报上来
|
||||
|
||||
---
|
||||
|
||||
## 6. 交付
|
||||
|
||||
1. **完备性台账**（全部院系）+ 枚举来源 URL 与院系数
|
||||
2. **子域/外站清单**
|
||||
3. **全量候选产物**（五字段，启发式抽的）
|
||||
4. **抽样 30 条逐条判定表** + **准确率** + **假阳性类型与定点修法**
|
||||
5. **反例 / 判不准 / 未验清单**（附页面原文）
|
||||
6. 一句话：**最终组数？完备性有没有缺口？**
|
||||
|
||||
产物写到 `.worklogs/groups-dept/`，按 school-slug 命名（加 `_v2` 后缀避免覆盖旧的）。
|
||||
|
||||
---
|
||||
|
||||
## 7. 硬要求
|
||||
|
||||
1. **只读**：只写产物到 `.worklogs/groups-dept/`。不写索引、不改业务代码、不动数据。
|
||||
2. **不设时间盒，做完整为止。** 但**每做完一个院系报一次 `status`**（三句话）。
|
||||
3. **判据来自页面。你的眼睛比任何正则都准。**
|
||||
4. **不许发明**：抓不到 ⇒ 写「未验」+ 卡点（URL、错误原文）。判不准的贴出来。
|
||||
5. **只做这一所学校。**
|
||||
|
||||
## 8. 边界
|
||||
|
||||
- 不碰 prodream_backend、不碰 FE、不碰 `.worklogs/groups-rebuild/` 与 `groups-verify/`。
|
||||
@@ -0,0 +1,137 @@
|
||||
# 课题组逐院系 · 完备性重做 · 考陶尔德艺术学院（The Courtauld Institute of Art）· `courtauld.ac.uk`
|
||||
前一轮 93 候选只有 8 条过关。⚠️ 单学院专科机构，**复验它的 `research/` 之外还有没有别的研究单元入口**。 · Manager 2026-09-23
|
||||
|
||||
## 0. 为什么全部重做（实测数据）
|
||||
|
||||
用户裁定：**所有学校都要补一遍。**
|
||||
|
||||
**依据**：5 所已按完备性重做的学校，数字对比 ——
|
||||
|
||||
| 学校 | 重做前 | 重做后 | 倍数 |
|
||||
|---|---|---|---|
|
||||
| 爱丁堡 | 22 | **643** | **29×** |
|
||||
| 曼彻斯特 | 未开始 | **268**（32 院系） | — |
|
||||
| 伯明翰 | 32 | **258**（未取页=0） | **8×** |
|
||||
| 圣安德鲁斯 | 34 | **178** | 5× |
|
||||
| 西澳 | 0 | **154**（组/系 7.0） | — |
|
||||
|
||||
**⇒ "逐院系枚举不全"是系统性的，不是个别学校。没重做的数都不可信。**
|
||||
|
||||
**先读**：`/Users/jun/Codes/prodream/.worklogs/groups-dept/` 下
|
||||
`REPORT.md`（布里斯托切片）· `finding_edinburgh_v2.md`（**完备性标杆，照它的做法**）。
|
||||
|
||||
---
|
||||
|
||||
## 1. 本波只做这一所：**考陶尔德艺术学院（The Courtauld Institute of Art）· `courtauld.ac.uk`
|
||||
前一轮 93 候选只有 8 条过关。⚠️ 单学院专科机构，**复验它的 `research/` 之外还有没有别的研究单元入口**。**
|
||||
|
||||
---
|
||||
|
||||
## 2. 完备性门槛（**硬门槛，不是"尽量"**）
|
||||
|
||||
### 2.1 必交台账（**缺一行就是没做完**）
|
||||
|
||||
| 院系（该校**全部**） | research 入口 URL | 状态 | 组数 |
|
||||
|---|---|---|---|
|
||||
| … | … | `取到` / `取不到：<原因>` | N |
|
||||
|
||||
- 院系清单 = 该校**全部**（从官方 faculties/schools/departments 导航 + Sub-units A-Z 拿）
|
||||
- **给出枚举来源 URL 与总数**
|
||||
- **`未取页 = 0`**：要么取到，要么有"取不到"的证据（404 / 重定向 / 空壳 / 反爬）
|
||||
|
||||
### 2.2 子域 / 外站**必须跟**
|
||||
|
||||
爱丁堡实测跟了 **117 个子域 + 39 个外站** —— 不跟就整块漏。
|
||||
**给出你找到并跟过的子域/外站清单。**
|
||||
|
||||
### 2.3 合理性校验
|
||||
|
||||
`组数 ÷ 枚举到的院系数`。基准：伦敦布里斯托 ≈5.8 / 爱丁堡 ≈25.7（**因校而异，不比大小，只看是否荒谬地低**）。
|
||||
|
||||
**比值明显偏低 ⇒ 往下挖一层**：该校院系是不是把研究组织成 theme/centre（大一级，不收），
|
||||
而底下挂着更细的**具名组**（尤其留意 **"each led by a Principal Investigator"** 这类 PI-group 目录 ——
|
||||
爱丁堡漏掉的就是四个 PI 目录，其中一个就有 140 条）。
|
||||
**确认"再下一层没有组"必须贴原文结构作证。**
|
||||
|
||||
---
|
||||
|
||||
## 3. ⚡ 效率：**启发式自动抽 + 抽样核 30 条**（用户明确要求，不要迂腐）
|
||||
|
||||
用户原话：
|
||||
> 「不需要你六百多条逐页核实呀…**你随便抽样一小部分，确认它是 OK 的，那就可以用了呗**。
|
||||
> **你肯定要去找这种最高效的方式啊。启发式的方式。**」
|
||||
|
||||
### 第一步：启发式自动抽（**全量，不逐页判**）
|
||||
机械判据批抽：有独立页面 + 页面里有**具名的人**（title 含 Prof/Dr 或 person 链接）
|
||||
+ **有方向文字块** + 名字不是「索引页/课程/项目/学生群体/讲座系列」。
|
||||
自述含 `federation` / `N academics` / 校级研究所 ⇒ 标 `big`；**标 `big` 页面里点名的内层组再收一层**。
|
||||
|
||||
### 第二步：**随机抽 30 条**逐条开页面核（**这是质量证据**）
|
||||
给：**准确率** · 假的那几条**属于哪一类**（附页面原文）· 该类型**能否定点修掉**
|
||||
|
||||
### 第三步：二选一
|
||||
- 准确率 **≥90% 且假阳性类型集中** ⇒ **定点修那一类，全量直接用**。抽样 30 条写进报告当证据。
|
||||
**不要再逐页核。**
|
||||
- 假阳性散、类型不集中 ⇒ 才扩大抽样
|
||||
|
||||
**省下的时间全部用来把院系覆盖做全 —— 那才是真正的缺口。**
|
||||
|
||||
---
|
||||
|
||||
## 4. 判据（不变）
|
||||
|
||||
> **打开页面像人一样看：这是不是一个「导师带的做研究的团队」？**
|
||||
> **粒度上限 = 一个导师能带的规模。** 大一级（institute/theme/cluster/校级研究所）**不收**；
|
||||
> **但大一级下面挂着真组时，只收内层组。**
|
||||
|
||||
**不是组**：服务设施 · 研讨会系列 · 项目 · 学生培养计划 · 单项研究 · 空页重定向 · 无负责人的方向页。
|
||||
**共性是页面上有一句「非团队自述」——你去看那句话。**
|
||||
|
||||
### 五字段
|
||||
|
||||
| # | 字段 | 取法 |
|
||||
|---|---|---|
|
||||
| 1 | 课题组名称 | 该组**自己页面**的 H1 |
|
||||
| 2 | 所在大学及研究中心 | 大学 + **真实上级研究单位**；⚠️ 上级是系/院/学部的**不许当研究中心写**，没有真上级就**只写大学** |
|
||||
| 3 | 研究方向 | 该组页上的方向文字。**没有 ⇒ 不要** |
|
||||
| 4 | 联系邮箱 | 只接受**本组页 / 本组负责人页**的邮箱 |
|
||||
| 5 | 最近五年论文数 | 一律 null |
|
||||
|
||||
---
|
||||
|
||||
## 5. ⚠️ 并行安全（前面出过事故）
|
||||
|
||||
上一波 5 个 worker **挤在同一个 Space 的同一个 page 上**，297 页里出现**跨校串页**，整批作废。
|
||||
|
||||
**你必须**：
|
||||
1. **自己新建一个 TaskSpace**（不要复用别人已有的）
|
||||
2. **每个 URL 用独占的新 page**（`newPage()`），**不要共用 p1**
|
||||
3. **每取一页后校验 `page.url()` 与目标一致**；不一致 ⇒ 该页作废重取
|
||||
4. 成功时收尾调一次 `await task.finish({ keep: [] })`；**因错误停止就别调**，把 `spaceId` 报上来
|
||||
|
||||
---
|
||||
|
||||
## 6. 交付
|
||||
|
||||
1. **完备性台账**（全部院系）+ 枚举来源 URL 与院系数
|
||||
2. **子域/外站清单**
|
||||
3. **全量候选产物**（五字段，启发式抽的）
|
||||
4. **抽样 30 条逐条判定表** + **准确率** + **假阳性类型与定点修法**
|
||||
5. **反例 / 判不准 / 未验清单**（附页面原文）
|
||||
6. 一句话：**最终组数？完备性有没有缺口？**
|
||||
|
||||
产物写到 `.worklogs/groups-dept/`，按 school-slug 命名（加 `_v2` 后缀避免覆盖旧的）。
|
||||
|
||||
---
|
||||
|
||||
## 7. 硬要求
|
||||
|
||||
1. **只读**：只写产物到 `.worklogs/groups-dept/`。不写索引、不改业务代码、不动数据。
|
||||
2. **不设时间盒，做完整为止。** 但**每做完一个院系报一次 `status`**（三句话）。
|
||||
3. **判据来自页面。你的眼睛比任何正则都准。**
|
||||
4. **不许发明**：抓不到 ⇒ 写「未验」+ 卡点（URL、错误原文）。判不准的贴出来。
|
||||
5. **只做这一所学校。**
|
||||
|
||||
## 8. 边界
|
||||
|
||||
- 不碰 prodream_backend、不碰 FE、不碰 `.worklogs/groups-rebuild/` 与 `groups-verify/`。
|
||||
@@ -0,0 +1,137 @@
|
||||
# 课题组逐院系 · 完备性重做 · 弗林德斯大学（Flinders University）· `flinders.edu.au`
|
||||
前一轮 17 条。 · Manager 2026-09-23
|
||||
|
||||
## 0. 为什么全部重做（实测数据）
|
||||
|
||||
用户裁定：**所有学校都要补一遍。**
|
||||
|
||||
**依据**：5 所已按完备性重做的学校，数字对比 ——
|
||||
|
||||
| 学校 | 重做前 | 重做后 | 倍数 |
|
||||
|---|---|---|---|
|
||||
| 爱丁堡 | 22 | **643** | **29×** |
|
||||
| 曼彻斯特 | 未开始 | **268**（32 院系） | — |
|
||||
| 伯明翰 | 32 | **258**（未取页=0） | **8×** |
|
||||
| 圣安德鲁斯 | 34 | **178** | 5× |
|
||||
| 西澳 | 0 | **154**（组/系 7.0） | — |
|
||||
|
||||
**⇒ "逐院系枚举不全"是系统性的，不是个别学校。没重做的数都不可信。**
|
||||
|
||||
**先读**：`/Users/jun/Codes/prodream/.worklogs/groups-dept/` 下
|
||||
`REPORT.md`（布里斯托切片）· `finding_edinburgh_v2.md`（**完备性标杆，照它的做法**）。
|
||||
|
||||
---
|
||||
|
||||
## 1. 本波只做这一所：**弗林德斯大学（Flinders University）· `flinders.edu.au`
|
||||
前一轮 17 条。**
|
||||
|
||||
---
|
||||
|
||||
## 2. 完备性门槛（**硬门槛，不是"尽量"**）
|
||||
|
||||
### 2.1 必交台账（**缺一行就是没做完**）
|
||||
|
||||
| 院系（该校**全部**） | research 入口 URL | 状态 | 组数 |
|
||||
|---|---|---|---|
|
||||
| … | … | `取到` / `取不到：<原因>` | N |
|
||||
|
||||
- 院系清单 = 该校**全部**（从官方 faculties/schools/departments 导航 + Sub-units A-Z 拿）
|
||||
- **给出枚举来源 URL 与总数**
|
||||
- **`未取页 = 0`**：要么取到，要么有"取不到"的证据（404 / 重定向 / 空壳 / 反爬）
|
||||
|
||||
### 2.2 子域 / 外站**必须跟**
|
||||
|
||||
爱丁堡实测跟了 **117 个子域 + 39 个外站** —— 不跟就整块漏。
|
||||
**给出你找到并跟过的子域/外站清单。**
|
||||
|
||||
### 2.3 合理性校验
|
||||
|
||||
`组数 ÷ 枚举到的院系数`。基准：伦敦布里斯托 ≈5.8 / 爱丁堡 ≈25.7（**因校而异，不比大小，只看是否荒谬地低**）。
|
||||
|
||||
**比值明显偏低 ⇒ 往下挖一层**：该校院系是不是把研究组织成 theme/centre（大一级，不收），
|
||||
而底下挂着更细的**具名组**（尤其留意 **"each led by a Principal Investigator"** 这类 PI-group 目录 ——
|
||||
爱丁堡漏掉的就是四个 PI 目录，其中一个就有 140 条）。
|
||||
**确认"再下一层没有组"必须贴原文结构作证。**
|
||||
|
||||
---
|
||||
|
||||
## 3. ⚡ 效率：**启发式自动抽 + 抽样核 30 条**（用户明确要求，不要迂腐）
|
||||
|
||||
用户原话：
|
||||
> 「不需要你六百多条逐页核实呀…**你随便抽样一小部分，确认它是 OK 的，那就可以用了呗**。
|
||||
> **你肯定要去找这种最高效的方式啊。启发式的方式。**」
|
||||
|
||||
### 第一步：启发式自动抽（**全量，不逐页判**）
|
||||
机械判据批抽：有独立页面 + 页面里有**具名的人**（title 含 Prof/Dr 或 person 链接）
|
||||
+ **有方向文字块** + 名字不是「索引页/课程/项目/学生群体/讲座系列」。
|
||||
自述含 `federation` / `N academics` / 校级研究所 ⇒ 标 `big`；**标 `big` 页面里点名的内层组再收一层**。
|
||||
|
||||
### 第二步：**随机抽 30 条**逐条开页面核（**这是质量证据**）
|
||||
给：**准确率** · 假的那几条**属于哪一类**（附页面原文）· 该类型**能否定点修掉**
|
||||
|
||||
### 第三步：二选一
|
||||
- 准确率 **≥90% 且假阳性类型集中** ⇒ **定点修那一类，全量直接用**。抽样 30 条写进报告当证据。
|
||||
**不要再逐页核。**
|
||||
- 假阳性散、类型不集中 ⇒ 才扩大抽样
|
||||
|
||||
**省下的时间全部用来把院系覆盖做全 —— 那才是真正的缺口。**
|
||||
|
||||
---
|
||||
|
||||
## 4. 判据（不变）
|
||||
|
||||
> **打开页面像人一样看：这是不是一个「导师带的做研究的团队」？**
|
||||
> **粒度上限 = 一个导师能带的规模。** 大一级（institute/theme/cluster/校级研究所）**不收**；
|
||||
> **但大一级下面挂着真组时，只收内层组。**
|
||||
|
||||
**不是组**：服务设施 · 研讨会系列 · 项目 · 学生培养计划 · 单项研究 · 空页重定向 · 无负责人的方向页。
|
||||
**共性是页面上有一句「非团队自述」——你去看那句话。**
|
||||
|
||||
### 五字段
|
||||
|
||||
| # | 字段 | 取法 |
|
||||
|---|---|---|
|
||||
| 1 | 课题组名称 | 该组**自己页面**的 H1 |
|
||||
| 2 | 所在大学及研究中心 | 大学 + **真实上级研究单位**；⚠️ 上级是系/院/学部的**不许当研究中心写**，没有真上级就**只写大学** |
|
||||
| 3 | 研究方向 | 该组页上的方向文字。**没有 ⇒ 不要** |
|
||||
| 4 | 联系邮箱 | 只接受**本组页 / 本组负责人页**的邮箱 |
|
||||
| 5 | 最近五年论文数 | 一律 null |
|
||||
|
||||
---
|
||||
|
||||
## 5. ⚠️ 并行安全（前面出过事故）
|
||||
|
||||
上一波 5 个 worker **挤在同一个 Space 的同一个 page 上**，297 页里出现**跨校串页**，整批作废。
|
||||
|
||||
**你必须**：
|
||||
1. **自己新建一个 TaskSpace**（不要复用别人已有的）
|
||||
2. **每个 URL 用独占的新 page**（`newPage()`），**不要共用 p1**
|
||||
3. **每取一页后校验 `page.url()` 与目标一致**；不一致 ⇒ 该页作废重取
|
||||
4. 成功时收尾调一次 `await task.finish({ keep: [] })`；**因错误停止就别调**，把 `spaceId` 报上来
|
||||
|
||||
---
|
||||
|
||||
## 6. 交付
|
||||
|
||||
1. **完备性台账**（全部院系）+ 枚举来源 URL 与院系数
|
||||
2. **子域/外站清单**
|
||||
3. **全量候选产物**（五字段，启发式抽的）
|
||||
4. **抽样 30 条逐条判定表** + **准确率** + **假阳性类型与定点修法**
|
||||
5. **反例 / 判不准 / 未验清单**（附页面原文）
|
||||
6. 一句话：**最终组数？完备性有没有缺口？**
|
||||
|
||||
产物写到 `.worklogs/groups-dept/`，按 school-slug 命名（加 `_v2` 后缀避免覆盖旧的）。
|
||||
|
||||
---
|
||||
|
||||
## 7. 硬要求
|
||||
|
||||
1. **只读**：只写产物到 `.worklogs/groups-dept/`。不写索引、不改业务代码、不动数据。
|
||||
2. **不设时间盒，做完整为止。** 但**每做完一个院系报一次 `status`**（三句话）。
|
||||
3. **判据来自页面。你的眼睛比任何正则都准。**
|
||||
4. **不许发明**：抓不到 ⇒ 写「未验」+ 卡点（URL、错误原文）。判不准的贴出来。
|
||||
5. **只做这一所学校。**
|
||||
|
||||
## 8. 边界
|
||||
|
||||
- 不碰 prodream_backend、不碰 FE、不碰 `.worklogs/groups-rebuild/` 与 `groups-verify/`。
|
||||
@@ -0,0 +1,139 @@
|
||||
# 课题组逐院系 · 完备性重做 · 市政厅音乐及戏剧学院（Guildhall School of Music & Drama）· `gsmd.ac.uk`
|
||||
前一轮判**收 0**，附页面原文（学校自述 research 是 individual，不按组组织）。
|
||||
⚠️ **复验这个结论**：看有没有漏掉 PI-group 形态的目录。**若确认是 0，要给出比上一轮更硬的证据。** · Manager 2026-09-23
|
||||
|
||||
## 0. 为什么全部重做（实测数据）
|
||||
|
||||
用户裁定：**所有学校都要补一遍。**
|
||||
|
||||
**依据**：5 所已按完备性重做的学校，数字对比 ——
|
||||
|
||||
| 学校 | 重做前 | 重做后 | 倍数 |
|
||||
|---|---|---|---|
|
||||
| 爱丁堡 | 22 | **643** | **29×** |
|
||||
| 曼彻斯特 | 未开始 | **268**（32 院系） | — |
|
||||
| 伯明翰 | 32 | **258**（未取页=0） | **8×** |
|
||||
| 圣安德鲁斯 | 34 | **178** | 5× |
|
||||
| 西澳 | 0 | **154**（组/系 7.0） | — |
|
||||
|
||||
**⇒ "逐院系枚举不全"是系统性的，不是个别学校。没重做的数都不可信。**
|
||||
|
||||
**先读**：`/Users/jun/Codes/prodream/.worklogs/groups-dept/` 下
|
||||
`REPORT.md`（布里斯托切片）· `finding_edinburgh_v2.md`（**完备性标杆，照它的做法**）。
|
||||
|
||||
---
|
||||
|
||||
## 1. 本波只做这一所：**市政厅音乐及戏剧学院（Guildhall School of Music & Drama）· `gsmd.ac.uk`
|
||||
前一轮判**收 0**，附页面原文（学校自述 research 是 individual，不按组组织）。
|
||||
⚠️ **复验这个结论**：看有没有漏掉 PI-group 形态的目录。**若确认是 0，要给出比上一轮更硬的证据。****
|
||||
|
||||
---
|
||||
|
||||
## 2. 完备性门槛（**硬门槛，不是"尽量"**）
|
||||
|
||||
### 2.1 必交台账（**缺一行就是没做完**）
|
||||
|
||||
| 院系（该校**全部**） | research 入口 URL | 状态 | 组数 |
|
||||
|---|---|---|---|
|
||||
| … | … | `取到` / `取不到：<原因>` | N |
|
||||
|
||||
- 院系清单 = 该校**全部**（从官方 faculties/schools/departments 导航 + Sub-units A-Z 拿）
|
||||
- **给出枚举来源 URL 与总数**
|
||||
- **`未取页 = 0`**：要么取到，要么有"取不到"的证据（404 / 重定向 / 空壳 / 反爬）
|
||||
|
||||
### 2.2 子域 / 外站**必须跟**
|
||||
|
||||
爱丁堡实测跟了 **117 个子域 + 39 个外站** —— 不跟就整块漏。
|
||||
**给出你找到并跟过的子域/外站清单。**
|
||||
|
||||
### 2.3 合理性校验
|
||||
|
||||
`组数 ÷ 枚举到的院系数`。基准：伦敦布里斯托 ≈5.8 / 爱丁堡 ≈25.7（**因校而异，不比大小，只看是否荒谬地低**）。
|
||||
|
||||
**比值明显偏低 ⇒ 往下挖一层**：该校院系是不是把研究组织成 theme/centre（大一级，不收），
|
||||
而底下挂着更细的**具名组**（尤其留意 **"each led by a Principal Investigator"** 这类 PI-group 目录 ——
|
||||
爱丁堡漏掉的就是四个 PI 目录，其中一个就有 140 条）。
|
||||
**确认"再下一层没有组"必须贴原文结构作证。**
|
||||
|
||||
---
|
||||
|
||||
## 3. ⚡ 效率：**启发式自动抽 + 抽样核 30 条**（用户明确要求，不要迂腐）
|
||||
|
||||
用户原话：
|
||||
> 「不需要你六百多条逐页核实呀…**你随便抽样一小部分，确认它是 OK 的，那就可以用了呗**。
|
||||
> **你肯定要去找这种最高效的方式啊。启发式的方式。**」
|
||||
|
||||
### 第一步：启发式自动抽（**全量，不逐页判**）
|
||||
机械判据批抽：有独立页面 + 页面里有**具名的人**（title 含 Prof/Dr 或 person 链接）
|
||||
+ **有方向文字块** + 名字不是「索引页/课程/项目/学生群体/讲座系列」。
|
||||
自述含 `federation` / `N academics` / 校级研究所 ⇒ 标 `big`；**标 `big` 页面里点名的内层组再收一层**。
|
||||
|
||||
### 第二步：**随机抽 30 条**逐条开页面核（**这是质量证据**）
|
||||
给：**准确率** · 假的那几条**属于哪一类**（附页面原文）· 该类型**能否定点修掉**
|
||||
|
||||
### 第三步：二选一
|
||||
- 准确率 **≥90% 且假阳性类型集中** ⇒ **定点修那一类，全量直接用**。抽样 30 条写进报告当证据。
|
||||
**不要再逐页核。**
|
||||
- 假阳性散、类型不集中 ⇒ 才扩大抽样
|
||||
|
||||
**省下的时间全部用来把院系覆盖做全 —— 那才是真正的缺口。**
|
||||
|
||||
---
|
||||
|
||||
## 4. 判据（不变）
|
||||
|
||||
> **打开页面像人一样看：这是不是一个「导师带的做研究的团队」？**
|
||||
> **粒度上限 = 一个导师能带的规模。** 大一级（institute/theme/cluster/校级研究所）**不收**；
|
||||
> **但大一级下面挂着真组时，只收内层组。**
|
||||
|
||||
**不是组**：服务设施 · 研讨会系列 · 项目 · 学生培养计划 · 单项研究 · 空页重定向 · 无负责人的方向页。
|
||||
**共性是页面上有一句「非团队自述」——你去看那句话。**
|
||||
|
||||
### 五字段
|
||||
|
||||
| # | 字段 | 取法 |
|
||||
|---|---|---|
|
||||
| 1 | 课题组名称 | 该组**自己页面**的 H1 |
|
||||
| 2 | 所在大学及研究中心 | 大学 + **真实上级研究单位**；⚠️ 上级是系/院/学部的**不许当研究中心写**，没有真上级就**只写大学** |
|
||||
| 3 | 研究方向 | 该组页上的方向文字。**没有 ⇒ 不要** |
|
||||
| 4 | 联系邮箱 | 只接受**本组页 / 本组负责人页**的邮箱 |
|
||||
| 5 | 最近五年论文数 | 一律 null |
|
||||
|
||||
---
|
||||
|
||||
## 5. ⚠️ 并行安全（前面出过事故）
|
||||
|
||||
上一波 5 个 worker **挤在同一个 Space 的同一个 page 上**，297 页里出现**跨校串页**，整批作废。
|
||||
|
||||
**你必须**：
|
||||
1. **自己新建一个 TaskSpace**（不要复用别人已有的）
|
||||
2. **每个 URL 用独占的新 page**（`newPage()`），**不要共用 p1**
|
||||
3. **每取一页后校验 `page.url()` 与目标一致**；不一致 ⇒ 该页作废重取
|
||||
4. 成功时收尾调一次 `await task.finish({ keep: [] })`；**因错误停止就别调**，把 `spaceId` 报上来
|
||||
|
||||
---
|
||||
|
||||
## 6. 交付
|
||||
|
||||
1. **完备性台账**（全部院系）+ 枚举来源 URL 与院系数
|
||||
2. **子域/外站清单**
|
||||
3. **全量候选产物**（五字段，启发式抽的）
|
||||
4. **抽样 30 条逐条判定表** + **准确率** + **假阳性类型与定点修法**
|
||||
5. **反例 / 判不准 / 未验清单**（附页面原文）
|
||||
6. 一句话：**最终组数？完备性有没有缺口？**
|
||||
|
||||
产物写到 `.worklogs/groups-dept/`，按 school-slug 命名（加 `_v2` 后缀避免覆盖旧的）。
|
||||
|
||||
---
|
||||
|
||||
## 7. 硬要求
|
||||
|
||||
1. **只读**：只写产物到 `.worklogs/groups-dept/`。不写索引、不改业务代码、不动数据。
|
||||
2. **不设时间盒，做完整为止。** 但**每做完一个院系报一次 `status`**（三句话）。
|
||||
3. **判据来自页面。你的眼睛比任何正则都准。**
|
||||
4. **不许发明**：抓不到 ⇒ 写「未验」+ 卡点（URL、错误原文）。判不准的贴出来。
|
||||
5. **只做这一所学校。**
|
||||
|
||||
## 8. 边界
|
||||
|
||||
- 不碰 prodream_backend、不碰 FE、不碰 `.worklogs/groups-rebuild/` 与 `groups-verify/`。
|
||||
@@ -0,0 +1,137 @@
|
||||
# 课题组逐院系 · 完备性重做 · 兰卡斯特大学（Lancaster University）· `lancaster.ac.uk`
|
||||
前一轮 66 组 / 19 个系 = 3.5。 · Manager 2026-09-23
|
||||
|
||||
## 0. 为什么全部重做（实测数据）
|
||||
|
||||
用户裁定：**所有学校都要补一遍。**
|
||||
|
||||
**依据**：5 所已按完备性重做的学校，数字对比 ——
|
||||
|
||||
| 学校 | 重做前 | 重做后 | 倍数 |
|
||||
|---|---|---|---|
|
||||
| 爱丁堡 | 22 | **643** | **29×** |
|
||||
| 曼彻斯特 | 未开始 | **268**（32 院系） | — |
|
||||
| 伯明翰 | 32 | **258**（未取页=0） | **8×** |
|
||||
| 圣安德鲁斯 | 34 | **178** | 5× |
|
||||
| 西澳 | 0 | **154**（组/系 7.0） | — |
|
||||
|
||||
**⇒ "逐院系枚举不全"是系统性的，不是个别学校。没重做的数都不可信。**
|
||||
|
||||
**先读**：`/Users/jun/Codes/prodream/.worklogs/groups-dept/` 下
|
||||
`REPORT.md`（布里斯托切片）· `finding_edinburgh_v2.md`（**完备性标杆，照它的做法**）。
|
||||
|
||||
---
|
||||
|
||||
## 1. 本波只做这一所：**兰卡斯特大学（Lancaster University）· `lancaster.ac.uk`
|
||||
前一轮 66 组 / 19 个系 = 3.5。**
|
||||
|
||||
---
|
||||
|
||||
## 2. 完备性门槛（**硬门槛，不是"尽量"**）
|
||||
|
||||
### 2.1 必交台账（**缺一行就是没做完**）
|
||||
|
||||
| 院系（该校**全部**） | research 入口 URL | 状态 | 组数 |
|
||||
|---|---|---|---|
|
||||
| … | … | `取到` / `取不到：<原因>` | N |
|
||||
|
||||
- 院系清单 = 该校**全部**（从官方 faculties/schools/departments 导航 + Sub-units A-Z 拿）
|
||||
- **给出枚举来源 URL 与总数**
|
||||
- **`未取页 = 0`**：要么取到，要么有"取不到"的证据（404 / 重定向 / 空壳 / 反爬）
|
||||
|
||||
### 2.2 子域 / 外站**必须跟**
|
||||
|
||||
爱丁堡实测跟了 **117 个子域 + 39 个外站** —— 不跟就整块漏。
|
||||
**给出你找到并跟过的子域/外站清单。**
|
||||
|
||||
### 2.3 合理性校验
|
||||
|
||||
`组数 ÷ 枚举到的院系数`。基准：伦敦布里斯托 ≈5.8 / 爱丁堡 ≈25.7（**因校而异，不比大小，只看是否荒谬地低**）。
|
||||
|
||||
**比值明显偏低 ⇒ 往下挖一层**：该校院系是不是把研究组织成 theme/centre（大一级，不收），
|
||||
而底下挂着更细的**具名组**（尤其留意 **"each led by a Principal Investigator"** 这类 PI-group 目录 ——
|
||||
爱丁堡漏掉的就是四个 PI 目录，其中一个就有 140 条）。
|
||||
**确认"再下一层没有组"必须贴原文结构作证。**
|
||||
|
||||
---
|
||||
|
||||
## 3. ⚡ 效率：**启发式自动抽 + 抽样核 30 条**（用户明确要求，不要迂腐）
|
||||
|
||||
用户原话：
|
||||
> 「不需要你六百多条逐页核实呀…**你随便抽样一小部分，确认它是 OK 的，那就可以用了呗**。
|
||||
> **你肯定要去找这种最高效的方式啊。启发式的方式。**」
|
||||
|
||||
### 第一步：启发式自动抽（**全量，不逐页判**）
|
||||
机械判据批抽：有独立页面 + 页面里有**具名的人**（title 含 Prof/Dr 或 person 链接）
|
||||
+ **有方向文字块** + 名字不是「索引页/课程/项目/学生群体/讲座系列」。
|
||||
自述含 `federation` / `N academics` / 校级研究所 ⇒ 标 `big`；**标 `big` 页面里点名的内层组再收一层**。
|
||||
|
||||
### 第二步：**随机抽 30 条**逐条开页面核（**这是质量证据**）
|
||||
给：**准确率** · 假的那几条**属于哪一类**（附页面原文）· 该类型**能否定点修掉**
|
||||
|
||||
### 第三步：二选一
|
||||
- 准确率 **≥90% 且假阳性类型集中** ⇒ **定点修那一类，全量直接用**。抽样 30 条写进报告当证据。
|
||||
**不要再逐页核。**
|
||||
- 假阳性散、类型不集中 ⇒ 才扩大抽样
|
||||
|
||||
**省下的时间全部用来把院系覆盖做全 —— 那才是真正的缺口。**
|
||||
|
||||
---
|
||||
|
||||
## 4. 判据（不变）
|
||||
|
||||
> **打开页面像人一样看：这是不是一个「导师带的做研究的团队」？**
|
||||
> **粒度上限 = 一个导师能带的规模。** 大一级（institute/theme/cluster/校级研究所）**不收**；
|
||||
> **但大一级下面挂着真组时，只收内层组。**
|
||||
|
||||
**不是组**：服务设施 · 研讨会系列 · 项目 · 学生培养计划 · 单项研究 · 空页重定向 · 无负责人的方向页。
|
||||
**共性是页面上有一句「非团队自述」——你去看那句话。**
|
||||
|
||||
### 五字段
|
||||
|
||||
| # | 字段 | 取法 |
|
||||
|---|---|---|
|
||||
| 1 | 课题组名称 | 该组**自己页面**的 H1 |
|
||||
| 2 | 所在大学及研究中心 | 大学 + **真实上级研究单位**；⚠️ 上级是系/院/学部的**不许当研究中心写**，没有真上级就**只写大学** |
|
||||
| 3 | 研究方向 | 该组页上的方向文字。**没有 ⇒ 不要** |
|
||||
| 4 | 联系邮箱 | 只接受**本组页 / 本组负责人页**的邮箱 |
|
||||
| 5 | 最近五年论文数 | 一律 null |
|
||||
|
||||
---
|
||||
|
||||
## 5. ⚠️ 并行安全（前面出过事故）
|
||||
|
||||
上一波 5 个 worker **挤在同一个 Space 的同一个 page 上**，297 页里出现**跨校串页**，整批作废。
|
||||
|
||||
**你必须**：
|
||||
1. **自己新建一个 TaskSpace**（不要复用别人已有的）
|
||||
2. **每个 URL 用独占的新 page**（`newPage()`），**不要共用 p1**
|
||||
3. **每取一页后校验 `page.url()` 与目标一致**；不一致 ⇒ 该页作废重取
|
||||
4. 成功时收尾调一次 `await task.finish({ keep: [] })`；**因错误停止就别调**，把 `spaceId` 报上来
|
||||
|
||||
---
|
||||
|
||||
## 6. 交付
|
||||
|
||||
1. **完备性台账**（全部院系）+ 枚举来源 URL 与院系数
|
||||
2. **子域/外站清单**
|
||||
3. **全量候选产物**（五字段，启发式抽的）
|
||||
4. **抽样 30 条逐条判定表** + **准确率** + **假阳性类型与定点修法**
|
||||
5. **反例 / 判不准 / 未验清单**（附页面原文）
|
||||
6. 一句话：**最终组数？完备性有没有缺口？**
|
||||
|
||||
产物写到 `.worklogs/groups-dept/`，按 school-slug 命名（加 `_v2` 后缀避免覆盖旧的）。
|
||||
|
||||
---
|
||||
|
||||
## 7. 硬要求
|
||||
|
||||
1. **只读**：只写产物到 `.worklogs/groups-dept/`。不写索引、不改业务代码、不动数据。
|
||||
2. **不设时间盒，做完整为止。** 但**每做完一个院系报一次 `status`**（三句话）。
|
||||
3. **判据来自页面。你的眼睛比任何正则都准。**
|
||||
4. **不许发明**：抓不到 ⇒ 写「未验」+ 卡点（URL、错误原文）。判不准的贴出来。
|
||||
5. **只做这一所学校。**
|
||||
|
||||
## 8. 边界
|
||||
|
||||
- 不碰 prodream_backend、不碰 FE、不碰 `.worklogs/groups-rebuild/` 与 `groups-verify/`。
|
||||
@@ -0,0 +1,137 @@
|
||||
# 课题组逐院系 · 完备性重做 · 利物浦热带医学院（Liverpool School of Tropical Medicine）· `lstmed.ac.uk`
|
||||
前一轮 33 条，**有未取页**（9 个 research theme 里 8 个 404）。 · Manager 2026-09-23
|
||||
|
||||
## 0. 为什么全部重做（实测数据）
|
||||
|
||||
用户裁定：**所有学校都要补一遍。**
|
||||
|
||||
**依据**：5 所已按完备性重做的学校，数字对比 ——
|
||||
|
||||
| 学校 | 重做前 | 重做后 | 倍数 |
|
||||
|---|---|---|---|
|
||||
| 爱丁堡 | 22 | **643** | **29×** |
|
||||
| 曼彻斯特 | 未开始 | **268**（32 院系） | — |
|
||||
| 伯明翰 | 32 | **258**（未取页=0） | **8×** |
|
||||
| 圣安德鲁斯 | 34 | **178** | 5× |
|
||||
| 西澳 | 0 | **154**（组/系 7.0） | — |
|
||||
|
||||
**⇒ "逐院系枚举不全"是系统性的，不是个别学校。没重做的数都不可信。**
|
||||
|
||||
**先读**：`/Users/jun/Codes/prodream/.worklogs/groups-dept/` 下
|
||||
`REPORT.md`（布里斯托切片）· `finding_edinburgh_v2.md`（**完备性标杆，照它的做法**）。
|
||||
|
||||
---
|
||||
|
||||
## 1. 本波只做这一所：**利物浦热带医学院（Liverpool School of Tropical Medicine）· `lstmed.ac.uk`
|
||||
前一轮 33 条，**有未取页**（9 个 research theme 里 8 个 404）。**
|
||||
|
||||
---
|
||||
|
||||
## 2. 完备性门槛（**硬门槛，不是"尽量"**）
|
||||
|
||||
### 2.1 必交台账（**缺一行就是没做完**）
|
||||
|
||||
| 院系（该校**全部**） | research 入口 URL | 状态 | 组数 |
|
||||
|---|---|---|---|
|
||||
| … | … | `取到` / `取不到：<原因>` | N |
|
||||
|
||||
- 院系清单 = 该校**全部**（从官方 faculties/schools/departments 导航 + Sub-units A-Z 拿）
|
||||
- **给出枚举来源 URL 与总数**
|
||||
- **`未取页 = 0`**：要么取到，要么有"取不到"的证据（404 / 重定向 / 空壳 / 反爬）
|
||||
|
||||
### 2.2 子域 / 外站**必须跟**
|
||||
|
||||
爱丁堡实测跟了 **117 个子域 + 39 个外站** —— 不跟就整块漏。
|
||||
**给出你找到并跟过的子域/外站清单。**
|
||||
|
||||
### 2.3 合理性校验
|
||||
|
||||
`组数 ÷ 枚举到的院系数`。基准：伦敦布里斯托 ≈5.8 / 爱丁堡 ≈25.7（**因校而异，不比大小，只看是否荒谬地低**）。
|
||||
|
||||
**比值明显偏低 ⇒ 往下挖一层**：该校院系是不是把研究组织成 theme/centre（大一级，不收），
|
||||
而底下挂着更细的**具名组**（尤其留意 **"each led by a Principal Investigator"** 这类 PI-group 目录 ——
|
||||
爱丁堡漏掉的就是四个 PI 目录，其中一个就有 140 条）。
|
||||
**确认"再下一层没有组"必须贴原文结构作证。**
|
||||
|
||||
---
|
||||
|
||||
## 3. ⚡ 效率：**启发式自动抽 + 抽样核 30 条**（用户明确要求，不要迂腐）
|
||||
|
||||
用户原话：
|
||||
> 「不需要你六百多条逐页核实呀…**你随便抽样一小部分，确认它是 OK 的，那就可以用了呗**。
|
||||
> **你肯定要去找这种最高效的方式啊。启发式的方式。**」
|
||||
|
||||
### 第一步：启发式自动抽（**全量，不逐页判**）
|
||||
机械判据批抽：有独立页面 + 页面里有**具名的人**（title 含 Prof/Dr 或 person 链接）
|
||||
+ **有方向文字块** + 名字不是「索引页/课程/项目/学生群体/讲座系列」。
|
||||
自述含 `federation` / `N academics` / 校级研究所 ⇒ 标 `big`；**标 `big` 页面里点名的内层组再收一层**。
|
||||
|
||||
### 第二步：**随机抽 30 条**逐条开页面核（**这是质量证据**）
|
||||
给：**准确率** · 假的那几条**属于哪一类**（附页面原文）· 该类型**能否定点修掉**
|
||||
|
||||
### 第三步：二选一
|
||||
- 准确率 **≥90% 且假阳性类型集中** ⇒ **定点修那一类，全量直接用**。抽样 30 条写进报告当证据。
|
||||
**不要再逐页核。**
|
||||
- 假阳性散、类型不集中 ⇒ 才扩大抽样
|
||||
|
||||
**省下的时间全部用来把院系覆盖做全 —— 那才是真正的缺口。**
|
||||
|
||||
---
|
||||
|
||||
## 4. 判据（不变）
|
||||
|
||||
> **打开页面像人一样看：这是不是一个「导师带的做研究的团队」？**
|
||||
> **粒度上限 = 一个导师能带的规模。** 大一级（institute/theme/cluster/校级研究所）**不收**；
|
||||
> **但大一级下面挂着真组时，只收内层组。**
|
||||
|
||||
**不是组**：服务设施 · 研讨会系列 · 项目 · 学生培养计划 · 单项研究 · 空页重定向 · 无负责人的方向页。
|
||||
**共性是页面上有一句「非团队自述」——你去看那句话。**
|
||||
|
||||
### 五字段
|
||||
|
||||
| # | 字段 | 取法 |
|
||||
|---|---|---|
|
||||
| 1 | 课题组名称 | 该组**自己页面**的 H1 |
|
||||
| 2 | 所在大学及研究中心 | 大学 + **真实上级研究单位**；⚠️ 上级是系/院/学部的**不许当研究中心写**，没有真上级就**只写大学** |
|
||||
| 3 | 研究方向 | 该组页上的方向文字。**没有 ⇒ 不要** |
|
||||
| 4 | 联系邮箱 | 只接受**本组页 / 本组负责人页**的邮箱 |
|
||||
| 5 | 最近五年论文数 | 一律 null |
|
||||
|
||||
---
|
||||
|
||||
## 5. ⚠️ 并行安全（前面出过事故）
|
||||
|
||||
上一波 5 个 worker **挤在同一个 Space 的同一个 page 上**，297 页里出现**跨校串页**，整批作废。
|
||||
|
||||
**你必须**：
|
||||
1. **自己新建一个 TaskSpace**（不要复用别人已有的）
|
||||
2. **每个 URL 用独占的新 page**（`newPage()`），**不要共用 p1**
|
||||
3. **每取一页后校验 `page.url()` 与目标一致**；不一致 ⇒ 该页作废重取
|
||||
4. 成功时收尾调一次 `await task.finish({ keep: [] })`；**因错误停止就别调**，把 `spaceId` 报上来
|
||||
|
||||
---
|
||||
|
||||
## 6. 交付
|
||||
|
||||
1. **完备性台账**（全部院系）+ 枚举来源 URL 与院系数
|
||||
2. **子域/外站清单**
|
||||
3. **全量候选产物**（五字段，启发式抽的）
|
||||
4. **抽样 30 条逐条判定表** + **准确率** + **假阳性类型与定点修法**
|
||||
5. **反例 / 判不准 / 未验清单**（附页面原文）
|
||||
6. 一句话：**最终组数？完备性有没有缺口？**
|
||||
|
||||
产物写到 `.worklogs/groups-dept/`，按 school-slug 命名（加 `_v2` 后缀避免覆盖旧的）。
|
||||
|
||||
---
|
||||
|
||||
## 7. 硬要求
|
||||
|
||||
1. **只读**：只写产物到 `.worklogs/groups-dept/`。不写索引、不改业务代码、不动数据。
|
||||
2. **不设时间盒，做完整为止。** 但**每做完一个院系报一次 `status`**（三句话）。
|
||||
3. **判据来自页面。你的眼睛比任何正则都准。**
|
||||
4. **不许发明**：抓不到 ⇒ 写「未验」+ 卡点（URL、错误原文）。判不准的贴出来。
|
||||
5. **只做这一所学校。**
|
||||
|
||||
## 8. 边界
|
||||
|
||||
- 不碰 prodream_backend、不碰 FE、不碰 `.worklogs/groups-rebuild/` 与 `groups-verify/`。
|
||||
@@ -0,0 +1,137 @@
|
||||
# 课题组逐院系 · 完备性重做 · 蒙纳士大学（Monash University）· `monash.edu`（含马来西亚校区 `monash.edu.my`）
|
||||
前一轮 55 条候选、有「未取到独立页面」的项。 · Manager 2026-09-23
|
||||
|
||||
## 0. 为什么全部重做（实测数据）
|
||||
|
||||
用户裁定：**所有学校都要补一遍。**
|
||||
|
||||
**依据**：5 所已按完备性重做的学校，数字对比 ——
|
||||
|
||||
| 学校 | 重做前 | 重做后 | 倍数 |
|
||||
|---|---|---|---|
|
||||
| 爱丁堡 | 22 | **643** | **29×** |
|
||||
| 曼彻斯特 | 未开始 | **268**（32 院系） | — |
|
||||
| 伯明翰 | 32 | **258**（未取页=0） | **8×** |
|
||||
| 圣安德鲁斯 | 34 | **178** | 5× |
|
||||
| 西澳 | 0 | **154**（组/系 7.0） | — |
|
||||
|
||||
**⇒ "逐院系枚举不全"是系统性的，不是个别学校。没重做的数都不可信。**
|
||||
|
||||
**先读**：`/Users/jun/Codes/prodream/.worklogs/groups-dept/` 下
|
||||
`REPORT.md`（布里斯托切片）· `finding_edinburgh_v2.md`（**完备性标杆，照它的做法**）。
|
||||
|
||||
---
|
||||
|
||||
## 1. 本波只做这一所：**蒙纳士大学（Monash University）· `monash.edu`（含马来西亚校区 `monash.edu.my`）
|
||||
前一轮 55 条候选、有「未取到独立页面」的项。**
|
||||
|
||||
---
|
||||
|
||||
## 2. 完备性门槛（**硬门槛，不是"尽量"**）
|
||||
|
||||
### 2.1 必交台账（**缺一行就是没做完**）
|
||||
|
||||
| 院系（该校**全部**） | research 入口 URL | 状态 | 组数 |
|
||||
|---|---|---|---|
|
||||
| … | … | `取到` / `取不到：<原因>` | N |
|
||||
|
||||
- 院系清单 = 该校**全部**（从官方 faculties/schools/departments 导航 + Sub-units A-Z 拿）
|
||||
- **给出枚举来源 URL 与总数**
|
||||
- **`未取页 = 0`**：要么取到，要么有"取不到"的证据（404 / 重定向 / 空壳 / 反爬）
|
||||
|
||||
### 2.2 子域 / 外站**必须跟**
|
||||
|
||||
爱丁堡实测跟了 **117 个子域 + 39 个外站** —— 不跟就整块漏。
|
||||
**给出你找到并跟过的子域/外站清单。**
|
||||
|
||||
### 2.3 合理性校验
|
||||
|
||||
`组数 ÷ 枚举到的院系数`。基准：伦敦布里斯托 ≈5.8 / 爱丁堡 ≈25.7（**因校而异，不比大小，只看是否荒谬地低**）。
|
||||
|
||||
**比值明显偏低 ⇒ 往下挖一层**：该校院系是不是把研究组织成 theme/centre（大一级，不收），
|
||||
而底下挂着更细的**具名组**（尤其留意 **"each led by a Principal Investigator"** 这类 PI-group 目录 ——
|
||||
爱丁堡漏掉的就是四个 PI 目录，其中一个就有 140 条）。
|
||||
**确认"再下一层没有组"必须贴原文结构作证。**
|
||||
|
||||
---
|
||||
|
||||
## 3. ⚡ 效率：**启发式自动抽 + 抽样核 30 条**（用户明确要求，不要迂腐）
|
||||
|
||||
用户原话：
|
||||
> 「不需要你六百多条逐页核实呀…**你随便抽样一小部分，确认它是 OK 的，那就可以用了呗**。
|
||||
> **你肯定要去找这种最高效的方式啊。启发式的方式。**」
|
||||
|
||||
### 第一步：启发式自动抽（**全量，不逐页判**）
|
||||
机械判据批抽：有独立页面 + 页面里有**具名的人**（title 含 Prof/Dr 或 person 链接）
|
||||
+ **有方向文字块** + 名字不是「索引页/课程/项目/学生群体/讲座系列」。
|
||||
自述含 `federation` / `N academics` / 校级研究所 ⇒ 标 `big`；**标 `big` 页面里点名的内层组再收一层**。
|
||||
|
||||
### 第二步：**随机抽 30 条**逐条开页面核（**这是质量证据**）
|
||||
给：**准确率** · 假的那几条**属于哪一类**（附页面原文）· 该类型**能否定点修掉**
|
||||
|
||||
### 第三步：二选一
|
||||
- 准确率 **≥90% 且假阳性类型集中** ⇒ **定点修那一类，全量直接用**。抽样 30 条写进报告当证据。
|
||||
**不要再逐页核。**
|
||||
- 假阳性散、类型不集中 ⇒ 才扩大抽样
|
||||
|
||||
**省下的时间全部用来把院系覆盖做全 —— 那才是真正的缺口。**
|
||||
|
||||
---
|
||||
|
||||
## 4. 判据（不变）
|
||||
|
||||
> **打开页面像人一样看：这是不是一个「导师带的做研究的团队」？**
|
||||
> **粒度上限 = 一个导师能带的规模。** 大一级（institute/theme/cluster/校级研究所）**不收**；
|
||||
> **但大一级下面挂着真组时，只收内层组。**
|
||||
|
||||
**不是组**：服务设施 · 研讨会系列 · 项目 · 学生培养计划 · 单项研究 · 空页重定向 · 无负责人的方向页。
|
||||
**共性是页面上有一句「非团队自述」——你去看那句话。**
|
||||
|
||||
### 五字段
|
||||
|
||||
| # | 字段 | 取法 |
|
||||
|---|---|---|
|
||||
| 1 | 课题组名称 | 该组**自己页面**的 H1 |
|
||||
| 2 | 所在大学及研究中心 | 大学 + **真实上级研究单位**；⚠️ 上级是系/院/学部的**不许当研究中心写**，没有真上级就**只写大学** |
|
||||
| 3 | 研究方向 | 该组页上的方向文字。**没有 ⇒ 不要** |
|
||||
| 4 | 联系邮箱 | 只接受**本组页 / 本组负责人页**的邮箱 |
|
||||
| 5 | 最近五年论文数 | 一律 null |
|
||||
|
||||
---
|
||||
|
||||
## 5. ⚠️ 并行安全（前面出过事故）
|
||||
|
||||
上一波 5 个 worker **挤在同一个 Space 的同一个 page 上**，297 页里出现**跨校串页**，整批作废。
|
||||
|
||||
**你必须**：
|
||||
1. **自己新建一个 TaskSpace**（不要复用别人已有的）
|
||||
2. **每个 URL 用独占的新 page**（`newPage()`），**不要共用 p1**
|
||||
3. **每取一页后校验 `page.url()` 与目标一致**；不一致 ⇒ 该页作废重取
|
||||
4. 成功时收尾调一次 `await task.finish({ keep: [] })`；**因错误停止就别调**，把 `spaceId` 报上来
|
||||
|
||||
---
|
||||
|
||||
## 6. 交付
|
||||
|
||||
1. **完备性台账**（全部院系）+ 枚举来源 URL 与院系数
|
||||
2. **子域/外站清单**
|
||||
3. **全量候选产物**（五字段，启发式抽的）
|
||||
4. **抽样 30 条逐条判定表** + **准确率** + **假阳性类型与定点修法**
|
||||
5. **反例 / 判不准 / 未验清单**（附页面原文）
|
||||
6. 一句话：**最终组数？完备性有没有缺口？**
|
||||
|
||||
产物写到 `.worklogs/groups-dept/`，按 school-slug 命名（加 `_v2` 后缀避免覆盖旧的）。
|
||||
|
||||
---
|
||||
|
||||
## 7. 硬要求
|
||||
|
||||
1. **只读**：只写产物到 `.worklogs/groups-dept/`。不写索引、不改业务代码、不动数据。
|
||||
2. **不设时间盒，做完整为止。** 但**每做完一个院系报一次 `status`**（三句话）。
|
||||
3. **判据来自页面。你的眼睛比任何正则都准。**
|
||||
4. **不许发明**：抓不到 ⇒ 写「未验」+ 卡点（URL、错误原文）。判不准的贴出来。
|
||||
5. **只做这一所学校。**
|
||||
|
||||
## 8. 边界
|
||||
|
||||
- 不碰 prodream_backend、不碰 FE、不碰 `.worklogs/groups-rebuild/` 与 `groups-verify/`。
|
||||
@@ -0,0 +1,137 @@
|
||||
# 课题组逐院系 · 完备性重做 · 麦考瑞大学（Macquarie University）· `mq.edu.au`
|
||||
前一轮 69 条候选（8 条 flag）。 · Manager 2026-09-23
|
||||
|
||||
## 0. 为什么全部重做（实测数据）
|
||||
|
||||
用户裁定：**所有学校都要补一遍。**
|
||||
|
||||
**依据**：5 所已按完备性重做的学校，数字对比 ——
|
||||
|
||||
| 学校 | 重做前 | 重做后 | 倍数 |
|
||||
|---|---|---|---|
|
||||
| 爱丁堡 | 22 | **643** | **29×** |
|
||||
| 曼彻斯特 | 未开始 | **268**（32 院系） | — |
|
||||
| 伯明翰 | 32 | **258**（未取页=0） | **8×** |
|
||||
| 圣安德鲁斯 | 34 | **178** | 5× |
|
||||
| 西澳 | 0 | **154**（组/系 7.0） | — |
|
||||
|
||||
**⇒ "逐院系枚举不全"是系统性的，不是个别学校。没重做的数都不可信。**
|
||||
|
||||
**先读**：`/Users/jun/Codes/prodream/.worklogs/groups-dept/` 下
|
||||
`REPORT.md`（布里斯托切片）· `finding_edinburgh_v2.md`（**完备性标杆，照它的做法**）。
|
||||
|
||||
---
|
||||
|
||||
## 1. 本波只做这一所：**麦考瑞大学（Macquarie University）· `mq.edu.au`
|
||||
前一轮 69 条候选（8 条 flag）。**
|
||||
|
||||
---
|
||||
|
||||
## 2. 完备性门槛（**硬门槛，不是"尽量"**）
|
||||
|
||||
### 2.1 必交台账（**缺一行就是没做完**）
|
||||
|
||||
| 院系（该校**全部**） | research 入口 URL | 状态 | 组数 |
|
||||
|---|---|---|---|
|
||||
| … | … | `取到` / `取不到：<原因>` | N |
|
||||
|
||||
- 院系清单 = 该校**全部**（从官方 faculties/schools/departments 导航 + Sub-units A-Z 拿）
|
||||
- **给出枚举来源 URL 与总数**
|
||||
- **`未取页 = 0`**：要么取到，要么有"取不到"的证据（404 / 重定向 / 空壳 / 反爬）
|
||||
|
||||
### 2.2 子域 / 外站**必须跟**
|
||||
|
||||
爱丁堡实测跟了 **117 个子域 + 39 个外站** —— 不跟就整块漏。
|
||||
**给出你找到并跟过的子域/外站清单。**
|
||||
|
||||
### 2.3 合理性校验
|
||||
|
||||
`组数 ÷ 枚举到的院系数`。基准：伦敦布里斯托 ≈5.8 / 爱丁堡 ≈25.7（**因校而异，不比大小，只看是否荒谬地低**）。
|
||||
|
||||
**比值明显偏低 ⇒ 往下挖一层**：该校院系是不是把研究组织成 theme/centre（大一级，不收），
|
||||
而底下挂着更细的**具名组**（尤其留意 **"each led by a Principal Investigator"** 这类 PI-group 目录 ——
|
||||
爱丁堡漏掉的就是四个 PI 目录，其中一个就有 140 条）。
|
||||
**确认"再下一层没有组"必须贴原文结构作证。**
|
||||
|
||||
---
|
||||
|
||||
## 3. ⚡ 效率：**启发式自动抽 + 抽样核 30 条**（用户明确要求，不要迂腐）
|
||||
|
||||
用户原话：
|
||||
> 「不需要你六百多条逐页核实呀…**你随便抽样一小部分，确认它是 OK 的，那就可以用了呗**。
|
||||
> **你肯定要去找这种最高效的方式啊。启发式的方式。**」
|
||||
|
||||
### 第一步：启发式自动抽（**全量，不逐页判**）
|
||||
机械判据批抽：有独立页面 + 页面里有**具名的人**（title 含 Prof/Dr 或 person 链接）
|
||||
+ **有方向文字块** + 名字不是「索引页/课程/项目/学生群体/讲座系列」。
|
||||
自述含 `federation` / `N academics` / 校级研究所 ⇒ 标 `big`；**标 `big` 页面里点名的内层组再收一层**。
|
||||
|
||||
### 第二步：**随机抽 30 条**逐条开页面核（**这是质量证据**）
|
||||
给：**准确率** · 假的那几条**属于哪一类**（附页面原文）· 该类型**能否定点修掉**
|
||||
|
||||
### 第三步：二选一
|
||||
- 准确率 **≥90% 且假阳性类型集中** ⇒ **定点修那一类，全量直接用**。抽样 30 条写进报告当证据。
|
||||
**不要再逐页核。**
|
||||
- 假阳性散、类型不集中 ⇒ 才扩大抽样
|
||||
|
||||
**省下的时间全部用来把院系覆盖做全 —— 那才是真正的缺口。**
|
||||
|
||||
---
|
||||
|
||||
## 4. 判据（不变）
|
||||
|
||||
> **打开页面像人一样看：这是不是一个「导师带的做研究的团队」？**
|
||||
> **粒度上限 = 一个导师能带的规模。** 大一级（institute/theme/cluster/校级研究所）**不收**；
|
||||
> **但大一级下面挂着真组时，只收内层组。**
|
||||
|
||||
**不是组**：服务设施 · 研讨会系列 · 项目 · 学生培养计划 · 单项研究 · 空页重定向 · 无负责人的方向页。
|
||||
**共性是页面上有一句「非团队自述」——你去看那句话。**
|
||||
|
||||
### 五字段
|
||||
|
||||
| # | 字段 | 取法 |
|
||||
|---|---|---|
|
||||
| 1 | 课题组名称 | 该组**自己页面**的 H1 |
|
||||
| 2 | 所在大学及研究中心 | 大学 + **真实上级研究单位**；⚠️ 上级是系/院/学部的**不许当研究中心写**，没有真上级就**只写大学** |
|
||||
| 3 | 研究方向 | 该组页上的方向文字。**没有 ⇒ 不要** |
|
||||
| 4 | 联系邮箱 | 只接受**本组页 / 本组负责人页**的邮箱 |
|
||||
| 5 | 最近五年论文数 | 一律 null |
|
||||
|
||||
---
|
||||
|
||||
## 5. ⚠️ 并行安全（前面出过事故）
|
||||
|
||||
上一波 5 个 worker **挤在同一个 Space 的同一个 page 上**，297 页里出现**跨校串页**，整批作废。
|
||||
|
||||
**你必须**：
|
||||
1. **自己新建一个 TaskSpace**（不要复用别人已有的）
|
||||
2. **每个 URL 用独占的新 page**（`newPage()`），**不要共用 p1**
|
||||
3. **每取一页后校验 `page.url()` 与目标一致**；不一致 ⇒ 该页作废重取
|
||||
4. 成功时收尾调一次 `await task.finish({ keep: [] })`；**因错误停止就别调**，把 `spaceId` 报上来
|
||||
|
||||
---
|
||||
|
||||
## 6. 交付
|
||||
|
||||
1. **完备性台账**（全部院系）+ 枚举来源 URL 与院系数
|
||||
2. **子域/外站清单**
|
||||
3. **全量候选产物**（五字段，启发式抽的）
|
||||
4. **抽样 30 条逐条判定表** + **准确率** + **假阳性类型与定点修法**
|
||||
5. **反例 / 判不准 / 未验清单**（附页面原文）
|
||||
6. 一句话：**最终组数？完备性有没有缺口？**
|
||||
|
||||
产物写到 `.worklogs/groups-dept/`，按 school-slug 命名（加 `_v2` 后缀避免覆盖旧的）。
|
||||
|
||||
---
|
||||
|
||||
## 7. 硬要求
|
||||
|
||||
1. **只读**：只写产物到 `.worklogs/groups-dept/`。不写索引、不改业务代码、不动数据。
|
||||
2. **不设时间盒，做完整为止。** 但**每做完一个院系报一次 `status`**（三句话）。
|
||||
3. **判据来自页面。你的眼睛比任何正则都准。**
|
||||
4. **不许发明**：抓不到 ⇒ 写「未验」+ 卡点（URL、错误原文）。判不准的贴出来。
|
||||
5. **只做这一所学校。**
|
||||
|
||||
## 8. 边界
|
||||
|
||||
- 不碰 prodream_backend、不碰 FE、不碰 `.worklogs/groups-rebuild/` 与 `groups-verify/`。
|
||||
@@ -0,0 +1,137 @@
|
||||
# 课题组逐院系 · 完备性重做 · 贝尔法斯特女王大学（Queen's University Belfast）· `qub.ac.uk`
|
||||
前一轮 29 组 / 16 个 School = 1.8，**明显低于基准**。 · Manager 2026-09-23
|
||||
|
||||
## 0. 为什么全部重做（实测数据）
|
||||
|
||||
用户裁定：**所有学校都要补一遍。**
|
||||
|
||||
**依据**：5 所已按完备性重做的学校，数字对比 ——
|
||||
|
||||
| 学校 | 重做前 | 重做后 | 倍数 |
|
||||
|---|---|---|---|
|
||||
| 爱丁堡 | 22 | **643** | **29×** |
|
||||
| 曼彻斯特 | 未开始 | **268**（32 院系） | — |
|
||||
| 伯明翰 | 32 | **258**（未取页=0） | **8×** |
|
||||
| 圣安德鲁斯 | 34 | **178** | 5× |
|
||||
| 西澳 | 0 | **154**（组/系 7.0） | — |
|
||||
|
||||
**⇒ "逐院系枚举不全"是系统性的，不是个别学校。没重做的数都不可信。**
|
||||
|
||||
**先读**：`/Users/jun/Codes/prodream/.worklogs/groups-dept/` 下
|
||||
`REPORT.md`（布里斯托切片）· `finding_edinburgh_v2.md`（**完备性标杆，照它的做法**）。
|
||||
|
||||
---
|
||||
|
||||
## 1. 本波只做这一所：**贝尔法斯特女王大学（Queen's University Belfast）· `qub.ac.uk`
|
||||
前一轮 29 组 / 16 个 School = 1.8，**明显低于基准**。**
|
||||
|
||||
---
|
||||
|
||||
## 2. 完备性门槛（**硬门槛，不是"尽量"**）
|
||||
|
||||
### 2.1 必交台账（**缺一行就是没做完**）
|
||||
|
||||
| 院系（该校**全部**） | research 入口 URL | 状态 | 组数 |
|
||||
|---|---|---|---|
|
||||
| … | … | `取到` / `取不到：<原因>` | N |
|
||||
|
||||
- 院系清单 = 该校**全部**（从官方 faculties/schools/departments 导航 + Sub-units A-Z 拿）
|
||||
- **给出枚举来源 URL 与总数**
|
||||
- **`未取页 = 0`**：要么取到，要么有"取不到"的证据（404 / 重定向 / 空壳 / 反爬）
|
||||
|
||||
### 2.2 子域 / 外站**必须跟**
|
||||
|
||||
爱丁堡实测跟了 **117 个子域 + 39 个外站** —— 不跟就整块漏。
|
||||
**给出你找到并跟过的子域/外站清单。**
|
||||
|
||||
### 2.3 合理性校验
|
||||
|
||||
`组数 ÷ 枚举到的院系数`。基准：伦敦布里斯托 ≈5.8 / 爱丁堡 ≈25.7（**因校而异，不比大小，只看是否荒谬地低**）。
|
||||
|
||||
**比值明显偏低 ⇒ 往下挖一层**：该校院系是不是把研究组织成 theme/centre（大一级，不收），
|
||||
而底下挂着更细的**具名组**（尤其留意 **"each led by a Principal Investigator"** 这类 PI-group 目录 ——
|
||||
爱丁堡漏掉的就是四个 PI 目录，其中一个就有 140 条）。
|
||||
**确认"再下一层没有组"必须贴原文结构作证。**
|
||||
|
||||
---
|
||||
|
||||
## 3. ⚡ 效率：**启发式自动抽 + 抽样核 30 条**（用户明确要求，不要迂腐）
|
||||
|
||||
用户原话：
|
||||
> 「不需要你六百多条逐页核实呀…**你随便抽样一小部分，确认它是 OK 的，那就可以用了呗**。
|
||||
> **你肯定要去找这种最高效的方式啊。启发式的方式。**」
|
||||
|
||||
### 第一步：启发式自动抽（**全量，不逐页判**）
|
||||
机械判据批抽：有独立页面 + 页面里有**具名的人**（title 含 Prof/Dr 或 person 链接）
|
||||
+ **有方向文字块** + 名字不是「索引页/课程/项目/学生群体/讲座系列」。
|
||||
自述含 `federation` / `N academics` / 校级研究所 ⇒ 标 `big`；**标 `big` 页面里点名的内层组再收一层**。
|
||||
|
||||
### 第二步：**随机抽 30 条**逐条开页面核（**这是质量证据**）
|
||||
给：**准确率** · 假的那几条**属于哪一类**（附页面原文）· 该类型**能否定点修掉**
|
||||
|
||||
### 第三步：二选一
|
||||
- 准确率 **≥90% 且假阳性类型集中** ⇒ **定点修那一类，全量直接用**。抽样 30 条写进报告当证据。
|
||||
**不要再逐页核。**
|
||||
- 假阳性散、类型不集中 ⇒ 才扩大抽样
|
||||
|
||||
**省下的时间全部用来把院系覆盖做全 —— 那才是真正的缺口。**
|
||||
|
||||
---
|
||||
|
||||
## 4. 判据（不变）
|
||||
|
||||
> **打开页面像人一样看：这是不是一个「导师带的做研究的团队」？**
|
||||
> **粒度上限 = 一个导师能带的规模。** 大一级（institute/theme/cluster/校级研究所）**不收**；
|
||||
> **但大一级下面挂着真组时，只收内层组。**
|
||||
|
||||
**不是组**：服务设施 · 研讨会系列 · 项目 · 学生培养计划 · 单项研究 · 空页重定向 · 无负责人的方向页。
|
||||
**共性是页面上有一句「非团队自述」——你去看那句话。**
|
||||
|
||||
### 五字段
|
||||
|
||||
| # | 字段 | 取法 |
|
||||
|---|---|---|
|
||||
| 1 | 课题组名称 | 该组**自己页面**的 H1 |
|
||||
| 2 | 所在大学及研究中心 | 大学 + **真实上级研究单位**；⚠️ 上级是系/院/学部的**不许当研究中心写**，没有真上级就**只写大学** |
|
||||
| 3 | 研究方向 | 该组页上的方向文字。**没有 ⇒ 不要** |
|
||||
| 4 | 联系邮箱 | 只接受**本组页 / 本组负责人页**的邮箱 |
|
||||
| 5 | 最近五年论文数 | 一律 null |
|
||||
|
||||
---
|
||||
|
||||
## 5. ⚠️ 并行安全（前面出过事故）
|
||||
|
||||
上一波 5 个 worker **挤在同一个 Space 的同一个 page 上**，297 页里出现**跨校串页**，整批作废。
|
||||
|
||||
**你必须**：
|
||||
1. **自己新建一个 TaskSpace**（不要复用别人已有的）
|
||||
2. **每个 URL 用独占的新 page**（`newPage()`），**不要共用 p1**
|
||||
3. **每取一页后校验 `page.url()` 与目标一致**；不一致 ⇒ 该页作废重取
|
||||
4. 成功时收尾调一次 `await task.finish({ keep: [] })`；**因错误停止就别调**，把 `spaceId` 报上来
|
||||
|
||||
---
|
||||
|
||||
## 6. 交付
|
||||
|
||||
1. **完备性台账**（全部院系）+ 枚举来源 URL 与院系数
|
||||
2. **子域/外站清单**
|
||||
3. **全量候选产物**（五字段，启发式抽的）
|
||||
4. **抽样 30 条逐条判定表** + **准确率** + **假阳性类型与定点修法**
|
||||
5. **反例 / 判不准 / 未验清单**（附页面原文）
|
||||
6. 一句话：**最终组数？完备性有没有缺口？**
|
||||
|
||||
产物写到 `.worklogs/groups-dept/`，按 school-slug 命名（加 `_v2` 后缀避免覆盖旧的）。
|
||||
|
||||
---
|
||||
|
||||
## 7. 硬要求
|
||||
|
||||
1. **只读**：只写产物到 `.worklogs/groups-dept/`。不写索引、不改业务代码、不动数据。
|
||||
2. **不设时间盒，做完整为止。** 但**每做完一个院系报一次 `status`**（三句话）。
|
||||
3. **判据来自页面。你的眼睛比任何正则都准。**
|
||||
4. **不许发明**：抓不到 ⇒ 写「未验」+ 卡点（URL、错误原文）。判不准的贴出来。
|
||||
5. **只做这一所学校。**
|
||||
|
||||
## 8. 边界
|
||||
|
||||
- 不碰 prodream_backend、不碰 FE、不碰 `.worklogs/groups-rebuild/` 与 `groups-verify/`。
|
||||
@@ -0,0 +1,139 @@
|
||||
# 课题组逐院系 · 完备性重做 · 苏格兰皇家音乐学院（Royal Conservatoire of Scotland）· `rcs.ac.uk`
|
||||
前一轮判**收 0**（7 个 cluster 是校级「seven research clusters」，按粒度不收）。
|
||||
⚠️ **复验**：有没有更细的具名组。 · Manager 2026-09-23
|
||||
|
||||
## 0. 为什么全部重做（实测数据）
|
||||
|
||||
用户裁定：**所有学校都要补一遍。**
|
||||
|
||||
**依据**：5 所已按完备性重做的学校，数字对比 ——
|
||||
|
||||
| 学校 | 重做前 | 重做后 | 倍数 |
|
||||
|---|---|---|---|
|
||||
| 爱丁堡 | 22 | **643** | **29×** |
|
||||
| 曼彻斯特 | 未开始 | **268**（32 院系） | — |
|
||||
| 伯明翰 | 32 | **258**（未取页=0） | **8×** |
|
||||
| 圣安德鲁斯 | 34 | **178** | 5× |
|
||||
| 西澳 | 0 | **154**（组/系 7.0） | — |
|
||||
|
||||
**⇒ "逐院系枚举不全"是系统性的，不是个别学校。没重做的数都不可信。**
|
||||
|
||||
**先读**：`/Users/jun/Codes/prodream/.worklogs/groups-dept/` 下
|
||||
`REPORT.md`（布里斯托切片）· `finding_edinburgh_v2.md`（**完备性标杆，照它的做法**）。
|
||||
|
||||
---
|
||||
|
||||
## 1. 本波只做这一所：**苏格兰皇家音乐学院（Royal Conservatoire of Scotland）· `rcs.ac.uk`
|
||||
前一轮判**收 0**（7 个 cluster 是校级「seven research clusters」，按粒度不收）。
|
||||
⚠️ **复验**：有没有更细的具名组。**
|
||||
|
||||
---
|
||||
|
||||
## 2. 完备性门槛（**硬门槛，不是"尽量"**）
|
||||
|
||||
### 2.1 必交台账（**缺一行就是没做完**）
|
||||
|
||||
| 院系（该校**全部**） | research 入口 URL | 状态 | 组数 |
|
||||
|---|---|---|---|
|
||||
| … | … | `取到` / `取不到：<原因>` | N |
|
||||
|
||||
- 院系清单 = 该校**全部**（从官方 faculties/schools/departments 导航 + Sub-units A-Z 拿）
|
||||
- **给出枚举来源 URL 与总数**
|
||||
- **`未取页 = 0`**：要么取到，要么有"取不到"的证据（404 / 重定向 / 空壳 / 反爬）
|
||||
|
||||
### 2.2 子域 / 外站**必须跟**
|
||||
|
||||
爱丁堡实测跟了 **117 个子域 + 39 个外站** —— 不跟就整块漏。
|
||||
**给出你找到并跟过的子域/外站清单。**
|
||||
|
||||
### 2.3 合理性校验
|
||||
|
||||
`组数 ÷ 枚举到的院系数`。基准：伦敦布里斯托 ≈5.8 / 爱丁堡 ≈25.7（**因校而异，不比大小，只看是否荒谬地低**）。
|
||||
|
||||
**比值明显偏低 ⇒ 往下挖一层**：该校院系是不是把研究组织成 theme/centre（大一级，不收），
|
||||
而底下挂着更细的**具名组**（尤其留意 **"each led by a Principal Investigator"** 这类 PI-group 目录 ——
|
||||
爱丁堡漏掉的就是四个 PI 目录，其中一个就有 140 条）。
|
||||
**确认"再下一层没有组"必须贴原文结构作证。**
|
||||
|
||||
---
|
||||
|
||||
## 3. ⚡ 效率：**启发式自动抽 + 抽样核 30 条**（用户明确要求，不要迂腐）
|
||||
|
||||
用户原话：
|
||||
> 「不需要你六百多条逐页核实呀…**你随便抽样一小部分，确认它是 OK 的，那就可以用了呗**。
|
||||
> **你肯定要去找这种最高效的方式啊。启发式的方式。**」
|
||||
|
||||
### 第一步：启发式自动抽（**全量，不逐页判**）
|
||||
机械判据批抽：有独立页面 + 页面里有**具名的人**（title 含 Prof/Dr 或 person 链接）
|
||||
+ **有方向文字块** + 名字不是「索引页/课程/项目/学生群体/讲座系列」。
|
||||
自述含 `federation` / `N academics` / 校级研究所 ⇒ 标 `big`；**标 `big` 页面里点名的内层组再收一层**。
|
||||
|
||||
### 第二步：**随机抽 30 条**逐条开页面核（**这是质量证据**）
|
||||
给：**准确率** · 假的那几条**属于哪一类**（附页面原文）· 该类型**能否定点修掉**
|
||||
|
||||
### 第三步：二选一
|
||||
- 准确率 **≥90% 且假阳性类型集中** ⇒ **定点修那一类，全量直接用**。抽样 30 条写进报告当证据。
|
||||
**不要再逐页核。**
|
||||
- 假阳性散、类型不集中 ⇒ 才扩大抽样
|
||||
|
||||
**省下的时间全部用来把院系覆盖做全 —— 那才是真正的缺口。**
|
||||
|
||||
---
|
||||
|
||||
## 4. 判据（不变）
|
||||
|
||||
> **打开页面像人一样看：这是不是一个「导师带的做研究的团队」？**
|
||||
> **粒度上限 = 一个导师能带的规模。** 大一级（institute/theme/cluster/校级研究所）**不收**；
|
||||
> **但大一级下面挂着真组时，只收内层组。**
|
||||
|
||||
**不是组**：服务设施 · 研讨会系列 · 项目 · 学生培养计划 · 单项研究 · 空页重定向 · 无负责人的方向页。
|
||||
**共性是页面上有一句「非团队自述」——你去看那句话。**
|
||||
|
||||
### 五字段
|
||||
|
||||
| # | 字段 | 取法 |
|
||||
|---|---|---|
|
||||
| 1 | 课题组名称 | 该组**自己页面**的 H1 |
|
||||
| 2 | 所在大学及研究中心 | 大学 + **真实上级研究单位**；⚠️ 上级是系/院/学部的**不许当研究中心写**，没有真上级就**只写大学** |
|
||||
| 3 | 研究方向 | 该组页上的方向文字。**没有 ⇒ 不要** |
|
||||
| 4 | 联系邮箱 | 只接受**本组页 / 本组负责人页**的邮箱 |
|
||||
| 5 | 最近五年论文数 | 一律 null |
|
||||
|
||||
---
|
||||
|
||||
## 5. ⚠️ 并行安全（前面出过事故）
|
||||
|
||||
上一波 5 个 worker **挤在同一个 Space 的同一个 page 上**，297 页里出现**跨校串页**，整批作废。
|
||||
|
||||
**你必须**：
|
||||
1. **自己新建一个 TaskSpace**（不要复用别人已有的）
|
||||
2. **每个 URL 用独占的新 page**（`newPage()`），**不要共用 p1**
|
||||
3. **每取一页后校验 `page.url()` 与目标一致**；不一致 ⇒ 该页作废重取
|
||||
4. 成功时收尾调一次 `await task.finish({ keep: [] })`；**因错误停止就别调**，把 `spaceId` 报上来
|
||||
|
||||
---
|
||||
|
||||
## 6. 交付
|
||||
|
||||
1. **完备性台账**（全部院系）+ 枚举来源 URL 与院系数
|
||||
2. **子域/外站清单**
|
||||
3. **全量候选产物**（五字段，启发式抽的）
|
||||
4. **抽样 30 条逐条判定表** + **准确率** + **假阳性类型与定点修法**
|
||||
5. **反例 / 判不准 / 未验清单**（附页面原文）
|
||||
6. 一句话：**最终组数？完备性有没有缺口？**
|
||||
|
||||
产物写到 `.worklogs/groups-dept/`，按 school-slug 命名（加 `_v2` 后缀避免覆盖旧的）。
|
||||
|
||||
---
|
||||
|
||||
## 7. 硬要求
|
||||
|
||||
1. **只读**：只写产物到 `.worklogs/groups-dept/`。不写索引、不改业务代码、不动数据。
|
||||
2. **不设时间盒，做完整为止。** 但**每做完一个院系报一次 `status`**（三句话）。
|
||||
3. **判据来自页面。你的眼睛比任何正则都准。**
|
||||
4. **不许发明**：抓不到 ⇒ 写「未验」+ 卡点（URL、错误原文）。判不准的贴出来。
|
||||
5. **只做这一所学校。**
|
||||
|
||||
## 8. 边界
|
||||
|
||||
- 不碰 prodream_backend、不碰 FE、不碰 `.worklogs/groups-rebuild/` 与 `groups-verify/`。
|
||||
@@ -0,0 +1,135 @@
|
||||
# 课题组逐院系 · 完备性重做 · __SCHOOL__ · Manager 2026-09-23
|
||||
|
||||
## 0. 为什么全部重做（实测数据）
|
||||
|
||||
用户裁定：**所有学校都要补一遍。**
|
||||
|
||||
**依据**：5 所已按完备性重做的学校，数字对比 ——
|
||||
|
||||
| 学校 | 重做前 | 重做后 | 倍数 |
|
||||
|---|---|---|---|
|
||||
| 爱丁堡 | 22 | **643** | **29×** |
|
||||
| 曼彻斯特 | 未开始 | **268**（32 院系） | — |
|
||||
| 伯明翰 | 32 | **258**（未取页=0） | **8×** |
|
||||
| 圣安德鲁斯 | 34 | **178** | 5× |
|
||||
| 西澳 | 0 | **154**（组/系 7.0） | — |
|
||||
|
||||
**⇒ "逐院系枚举不全"是系统性的，不是个别学校。没重做的数都不可信。**
|
||||
|
||||
**先读**：`/Users/jun/Codes/prodream/.worklogs/groups-dept/` 下
|
||||
`REPORT.md`（布里斯托切片）· `finding_edinburgh_v2.md`（**完备性标杆，照它的做法**）。
|
||||
|
||||
---
|
||||
|
||||
## 1. 本波只做这一所：**__SCHOOL__**
|
||||
|
||||
---
|
||||
|
||||
## 2. 完备性门槛（**硬门槛，不是"尽量"**）
|
||||
|
||||
### 2.1 必交台账（**缺一行就是没做完**）
|
||||
|
||||
| 院系（该校**全部**） | research 入口 URL | 状态 | 组数 |
|
||||
|---|---|---|---|
|
||||
| … | … | `取到` / `取不到：<原因>` | N |
|
||||
|
||||
- 院系清单 = 该校**全部**（从官方 faculties/schools/departments 导航 + Sub-units A-Z 拿）
|
||||
- **给出枚举来源 URL 与总数**
|
||||
- **`未取页 = 0`**：要么取到，要么有"取不到"的证据（404 / 重定向 / 空壳 / 反爬）
|
||||
|
||||
### 2.2 子域 / 外站**必须跟**
|
||||
|
||||
爱丁堡实测跟了 **117 个子域 + 39 个外站** —— 不跟就整块漏。
|
||||
**给出你找到并跟过的子域/外站清单。**
|
||||
|
||||
### 2.3 合理性校验
|
||||
|
||||
`组数 ÷ 枚举到的院系数`。基准：伦敦布里斯托 ≈5.8 / 爱丁堡 ≈25.7（**因校而异，不比大小，只看是否荒谬地低**）。
|
||||
|
||||
**比值明显偏低 ⇒ 往下挖一层**：该校院系是不是把研究组织成 theme/centre（大一级，不收），
|
||||
而底下挂着更细的**具名组**（尤其留意 **"each led by a Principal Investigator"** 这类 PI-group 目录 ——
|
||||
爱丁堡漏掉的就是四个 PI 目录，其中一个就有 140 条）。
|
||||
**确认"再下一层没有组"必须贴原文结构作证。**
|
||||
|
||||
---
|
||||
|
||||
## 3. ⚡ 效率：**启发式自动抽 + 抽样核 30 条**（用户明确要求，不要迂腐）
|
||||
|
||||
用户原话：
|
||||
> 「不需要你六百多条逐页核实呀…**你随便抽样一小部分，确认它是 OK 的，那就可以用了呗**。
|
||||
> **你肯定要去找这种最高效的方式啊。启发式的方式。**」
|
||||
|
||||
### 第一步：启发式自动抽（**全量，不逐页判**）
|
||||
机械判据批抽：有独立页面 + 页面里有**具名的人**（title 含 Prof/Dr 或 person 链接）
|
||||
+ **有方向文字块** + 名字不是「索引页/课程/项目/学生群体/讲座系列」。
|
||||
自述含 `federation` / `N academics` / 校级研究所 ⇒ 标 `big`；**标 `big` 页面里点名的内层组再收一层**。
|
||||
|
||||
### 第二步：**随机抽 30 条**逐条开页面核（**这是质量证据**）
|
||||
给：**准确率** · 假的那几条**属于哪一类**（附页面原文）· 该类型**能否定点修掉**
|
||||
|
||||
### 第三步：二选一
|
||||
- 准确率 **≥90% 且假阳性类型集中** ⇒ **定点修那一类，全量直接用**。抽样 30 条写进报告当证据。
|
||||
**不要再逐页核。**
|
||||
- 假阳性散、类型不集中 ⇒ 才扩大抽样
|
||||
|
||||
**省下的时间全部用来把院系覆盖做全 —— 那才是真正的缺口。**
|
||||
|
||||
---
|
||||
|
||||
## 4. 判据（不变）
|
||||
|
||||
> **打开页面像人一样看：这是不是一个「导师带的做研究的团队」？**
|
||||
> **粒度上限 = 一个导师能带的规模。** 大一级（institute/theme/cluster/校级研究所）**不收**；
|
||||
> **但大一级下面挂着真组时，只收内层组。**
|
||||
|
||||
**不是组**：服务设施 · 研讨会系列 · 项目 · 学生培养计划 · 单项研究 · 空页重定向 · 无负责人的方向页。
|
||||
**共性是页面上有一句「非团队自述」——你去看那句话。**
|
||||
|
||||
### 五字段
|
||||
|
||||
| # | 字段 | 取法 |
|
||||
|---|---|---|
|
||||
| 1 | 课题组名称 | 该组**自己页面**的 H1 |
|
||||
| 2 | 所在大学及研究中心 | 大学 + **真实上级研究单位**；⚠️ 上级是系/院/学部的**不许当研究中心写**，没有真上级就**只写大学** |
|
||||
| 3 | 研究方向 | 该组页上的方向文字。**没有 ⇒ 不要** |
|
||||
| 4 | 联系邮箱 | 只接受**本组页 / 本组负责人页**的邮箱 |
|
||||
| 5 | 最近五年论文数 | 一律 null |
|
||||
|
||||
---
|
||||
|
||||
## 5. ⚠️ 并行安全（前面出过事故）
|
||||
|
||||
上一波 5 个 worker **挤在同一个 Space 的同一个 page 上**，297 页里出现**跨校串页**，整批作废。
|
||||
|
||||
**你必须**：
|
||||
1. **自己新建一个 TaskSpace**（不要复用别人已有的）
|
||||
2. **每个 URL 用独占的新 page**（`newPage()`），**不要共用 p1**
|
||||
3. **每取一页后校验 `page.url()` 与目标一致**；不一致 ⇒ 该页作废重取
|
||||
4. 成功时收尾调一次 `await task.finish({ keep: [] })`；**因错误停止就别调**，把 `spaceId` 报上来
|
||||
|
||||
---
|
||||
|
||||
## 6. 交付
|
||||
|
||||
1. **完备性台账**（全部院系）+ 枚举来源 URL 与院系数
|
||||
2. **子域/外站清单**
|
||||
3. **全量候选产物**（五字段，启发式抽的）
|
||||
4. **抽样 30 条逐条判定表** + **准确率** + **假阳性类型与定点修法**
|
||||
5. **反例 / 判不准 / 未验清单**（附页面原文）
|
||||
6. 一句话：**最终组数？完备性有没有缺口？**
|
||||
|
||||
产物写到 `.worklogs/groups-dept/`，按 school-slug 命名（加 `_v2` 后缀避免覆盖旧的）。
|
||||
|
||||
---
|
||||
|
||||
## 7. 硬要求
|
||||
|
||||
1. **只读**：只写产物到 `.worklogs/groups-dept/`。不写索引、不改业务代码、不动数据。
|
||||
2. **不设时间盒，做完整为止。** 但**每做完一个院系报一次 `status`**（三句话）。
|
||||
3. **判据来自页面。你的眼睛比任何正则都准。**
|
||||
4. **不许发明**：抓不到 ⇒ 写「未验」+ 卡点（URL、错误原文）。判不准的贴出来。
|
||||
5. **只做这一所学校。**
|
||||
|
||||
## 8. 边界
|
||||
|
||||
- 不碰 prodream_backend、不碰 FE、不碰 `.worklogs/groups-rebuild/` 与 `groups-verify/`。
|
||||
@@ -0,0 +1,137 @@
|
||||
# 课题组逐院系 · 完备性重做 · 西悉尼大学（Western Sydney University）· `westernsydney.edu.au`
|
||||
前一轮 42 条候选。 · Manager 2026-09-23
|
||||
|
||||
## 0. 为什么全部重做（实测数据）
|
||||
|
||||
用户裁定：**所有学校都要补一遍。**
|
||||
|
||||
**依据**：5 所已按完备性重做的学校，数字对比 ——
|
||||
|
||||
| 学校 | 重做前 | 重做后 | 倍数 |
|
||||
|---|---|---|---|
|
||||
| 爱丁堡 | 22 | **643** | **29×** |
|
||||
| 曼彻斯特 | 未开始 | **268**（32 院系） | — |
|
||||
| 伯明翰 | 32 | **258**（未取页=0） | **8×** |
|
||||
| 圣安德鲁斯 | 34 | **178** | 5× |
|
||||
| 西澳 | 0 | **154**（组/系 7.0） | — |
|
||||
|
||||
**⇒ "逐院系枚举不全"是系统性的，不是个别学校。没重做的数都不可信。**
|
||||
|
||||
**先读**：`/Users/jun/Codes/prodream/.worklogs/groups-dept/` 下
|
||||
`REPORT.md`（布里斯托切片）· `finding_edinburgh_v2.md`（**完备性标杆，照它的做法**）。
|
||||
|
||||
---
|
||||
|
||||
## 1. 本波只做这一所：**西悉尼大学（Western Sydney University）· `westernsydney.edu.au`
|
||||
前一轮 42 条候选。**
|
||||
|
||||
---
|
||||
|
||||
## 2. 完备性门槛（**硬门槛，不是"尽量"**）
|
||||
|
||||
### 2.1 必交台账（**缺一行就是没做完**）
|
||||
|
||||
| 院系（该校**全部**） | research 入口 URL | 状态 | 组数 |
|
||||
|---|---|---|---|
|
||||
| … | … | `取到` / `取不到：<原因>` | N |
|
||||
|
||||
- 院系清单 = 该校**全部**（从官方 faculties/schools/departments 导航 + Sub-units A-Z 拿）
|
||||
- **给出枚举来源 URL 与总数**
|
||||
- **`未取页 = 0`**：要么取到，要么有"取不到"的证据（404 / 重定向 / 空壳 / 反爬）
|
||||
|
||||
### 2.2 子域 / 外站**必须跟**
|
||||
|
||||
爱丁堡实测跟了 **117 个子域 + 39 个外站** —— 不跟就整块漏。
|
||||
**给出你找到并跟过的子域/外站清单。**
|
||||
|
||||
### 2.3 合理性校验
|
||||
|
||||
`组数 ÷ 枚举到的院系数`。基准：伦敦布里斯托 ≈5.8 / 爱丁堡 ≈25.7（**因校而异，不比大小，只看是否荒谬地低**）。
|
||||
|
||||
**比值明显偏低 ⇒ 往下挖一层**：该校院系是不是把研究组织成 theme/centre（大一级，不收），
|
||||
而底下挂着更细的**具名组**（尤其留意 **"each led by a Principal Investigator"** 这类 PI-group 目录 ——
|
||||
爱丁堡漏掉的就是四个 PI 目录，其中一个就有 140 条）。
|
||||
**确认"再下一层没有组"必须贴原文结构作证。**
|
||||
|
||||
---
|
||||
|
||||
## 3. ⚡ 效率：**启发式自动抽 + 抽样核 30 条**（用户明确要求，不要迂腐）
|
||||
|
||||
用户原话：
|
||||
> 「不需要你六百多条逐页核实呀…**你随便抽样一小部分，确认它是 OK 的，那就可以用了呗**。
|
||||
> **你肯定要去找这种最高效的方式啊。启发式的方式。**」
|
||||
|
||||
### 第一步：启发式自动抽（**全量，不逐页判**）
|
||||
机械判据批抽：有独立页面 + 页面里有**具名的人**（title 含 Prof/Dr 或 person 链接）
|
||||
+ **有方向文字块** + 名字不是「索引页/课程/项目/学生群体/讲座系列」。
|
||||
自述含 `federation` / `N academics` / 校级研究所 ⇒ 标 `big`；**标 `big` 页面里点名的内层组再收一层**。
|
||||
|
||||
### 第二步：**随机抽 30 条**逐条开页面核（**这是质量证据**）
|
||||
给：**准确率** · 假的那几条**属于哪一类**（附页面原文）· 该类型**能否定点修掉**
|
||||
|
||||
### 第三步：二选一
|
||||
- 准确率 **≥90% 且假阳性类型集中** ⇒ **定点修那一类，全量直接用**。抽样 30 条写进报告当证据。
|
||||
**不要再逐页核。**
|
||||
- 假阳性散、类型不集中 ⇒ 才扩大抽样
|
||||
|
||||
**省下的时间全部用来把院系覆盖做全 —— 那才是真正的缺口。**
|
||||
|
||||
---
|
||||
|
||||
## 4. 判据（不变）
|
||||
|
||||
> **打开页面像人一样看：这是不是一个「导师带的做研究的团队」？**
|
||||
> **粒度上限 = 一个导师能带的规模。** 大一级（institute/theme/cluster/校级研究所）**不收**；
|
||||
> **但大一级下面挂着真组时，只收内层组。**
|
||||
|
||||
**不是组**：服务设施 · 研讨会系列 · 项目 · 学生培养计划 · 单项研究 · 空页重定向 · 无负责人的方向页。
|
||||
**共性是页面上有一句「非团队自述」——你去看那句话。**
|
||||
|
||||
### 五字段
|
||||
|
||||
| # | 字段 | 取法 |
|
||||
|---|---|---|
|
||||
| 1 | 课题组名称 | 该组**自己页面**的 H1 |
|
||||
| 2 | 所在大学及研究中心 | 大学 + **真实上级研究单位**；⚠️ 上级是系/院/学部的**不许当研究中心写**，没有真上级就**只写大学** |
|
||||
| 3 | 研究方向 | 该组页上的方向文字。**没有 ⇒ 不要** |
|
||||
| 4 | 联系邮箱 | 只接受**本组页 / 本组负责人页**的邮箱 |
|
||||
| 5 | 最近五年论文数 | 一律 null |
|
||||
|
||||
---
|
||||
|
||||
## 5. ⚠️ 并行安全（前面出过事故）
|
||||
|
||||
上一波 5 个 worker **挤在同一个 Space 的同一个 page 上**，297 页里出现**跨校串页**，整批作废。
|
||||
|
||||
**你必须**：
|
||||
1. **自己新建一个 TaskSpace**（不要复用别人已有的）
|
||||
2. **每个 URL 用独占的新 page**（`newPage()`），**不要共用 p1**
|
||||
3. **每取一页后校验 `page.url()` 与目标一致**；不一致 ⇒ 该页作废重取
|
||||
4. 成功时收尾调一次 `await task.finish({ keep: [] })`；**因错误停止就别调**，把 `spaceId` 报上来
|
||||
|
||||
---
|
||||
|
||||
## 6. 交付
|
||||
|
||||
1. **完备性台账**（全部院系）+ 枚举来源 URL 与院系数
|
||||
2. **子域/外站清单**
|
||||
3. **全量候选产物**（五字段，启发式抽的）
|
||||
4. **抽样 30 条逐条判定表** + **准确率** + **假阳性类型与定点修法**
|
||||
5. **反例 / 判不准 / 未验清单**（附页面原文）
|
||||
6. 一句话：**最终组数？完备性有没有缺口？**
|
||||
|
||||
产物写到 `.worklogs/groups-dept/`，按 school-slug 命名（加 `_v2` 后缀避免覆盖旧的）。
|
||||
|
||||
---
|
||||
|
||||
## 7. 硬要求
|
||||
|
||||
1. **只读**：只写产物到 `.worklogs/groups-dept/`。不写索引、不改业务代码、不动数据。
|
||||
2. **不设时间盒，做完整为止。** 但**每做完一个院系报一次 `status`**（三句话）。
|
||||
3. **判据来自页面。你的眼睛比任何正则都准。**
|
||||
4. **不许发明**：抓不到 ⇒ 写「未验」+ 卡点（URL、错误原文）。判不准的贴出来。
|
||||
5. **只做这一所学校。**
|
||||
|
||||
## 8. 边界
|
||||
|
||||
- 不碰 prodream_backend、不碰 FE、不碰 `.worklogs/groups-rebuild/` 与 `groups-verify/`。
|
||||
@@ -0,0 +1,137 @@
|
||||
# 课题组逐院系 · 完备性重做 · 约克大学（University of York）· `york.ac.uk`
|
||||
前一轮 80 组 / 35 个院系入口 = 2.3，**低于基准**。 · Manager 2026-09-23
|
||||
|
||||
## 0. 为什么全部重做（实测数据）
|
||||
|
||||
用户裁定：**所有学校都要补一遍。**
|
||||
|
||||
**依据**：5 所已按完备性重做的学校，数字对比 ——
|
||||
|
||||
| 学校 | 重做前 | 重做后 | 倍数 |
|
||||
|---|---|---|---|
|
||||
| 爱丁堡 | 22 | **643** | **29×** |
|
||||
| 曼彻斯特 | 未开始 | **268**（32 院系） | — |
|
||||
| 伯明翰 | 32 | **258**（未取页=0） | **8×** |
|
||||
| 圣安德鲁斯 | 34 | **178** | 5× |
|
||||
| 西澳 | 0 | **154**（组/系 7.0） | — |
|
||||
|
||||
**⇒ "逐院系枚举不全"是系统性的，不是个别学校。没重做的数都不可信。**
|
||||
|
||||
**先读**：`/Users/jun/Codes/prodream/.worklogs/groups-dept/` 下
|
||||
`REPORT.md`（布里斯托切片）· `finding_edinburgh_v2.md`（**完备性标杆，照它的做法**）。
|
||||
|
||||
---
|
||||
|
||||
## 1. 本波只做这一所：**约克大学（University of York）· `york.ac.uk`
|
||||
前一轮 80 组 / 35 个院系入口 = 2.3，**低于基准**。**
|
||||
|
||||
---
|
||||
|
||||
## 2. 完备性门槛（**硬门槛，不是"尽量"**）
|
||||
|
||||
### 2.1 必交台账（**缺一行就是没做完**）
|
||||
|
||||
| 院系（该校**全部**） | research 入口 URL | 状态 | 组数 |
|
||||
|---|---|---|---|
|
||||
| … | … | `取到` / `取不到：<原因>` | N |
|
||||
|
||||
- 院系清单 = 该校**全部**（从官方 faculties/schools/departments 导航 + Sub-units A-Z 拿）
|
||||
- **给出枚举来源 URL 与总数**
|
||||
- **`未取页 = 0`**：要么取到，要么有"取不到"的证据（404 / 重定向 / 空壳 / 反爬）
|
||||
|
||||
### 2.2 子域 / 外站**必须跟**
|
||||
|
||||
爱丁堡实测跟了 **117 个子域 + 39 个外站** —— 不跟就整块漏。
|
||||
**给出你找到并跟过的子域/外站清单。**
|
||||
|
||||
### 2.3 合理性校验
|
||||
|
||||
`组数 ÷ 枚举到的院系数`。基准：伦敦布里斯托 ≈5.8 / 爱丁堡 ≈25.7（**因校而异，不比大小，只看是否荒谬地低**）。
|
||||
|
||||
**比值明显偏低 ⇒ 往下挖一层**：该校院系是不是把研究组织成 theme/centre（大一级，不收），
|
||||
而底下挂着更细的**具名组**（尤其留意 **"each led by a Principal Investigator"** 这类 PI-group 目录 ——
|
||||
爱丁堡漏掉的就是四个 PI 目录，其中一个就有 140 条）。
|
||||
**确认"再下一层没有组"必须贴原文结构作证。**
|
||||
|
||||
---
|
||||
|
||||
## 3. ⚡ 效率：**启发式自动抽 + 抽样核 30 条**（用户明确要求，不要迂腐）
|
||||
|
||||
用户原话：
|
||||
> 「不需要你六百多条逐页核实呀…**你随便抽样一小部分，确认它是 OK 的，那就可以用了呗**。
|
||||
> **你肯定要去找这种最高效的方式啊。启发式的方式。**」
|
||||
|
||||
### 第一步：启发式自动抽（**全量，不逐页判**）
|
||||
机械判据批抽：有独立页面 + 页面里有**具名的人**（title 含 Prof/Dr 或 person 链接）
|
||||
+ **有方向文字块** + 名字不是「索引页/课程/项目/学生群体/讲座系列」。
|
||||
自述含 `federation` / `N academics` / 校级研究所 ⇒ 标 `big`；**标 `big` 页面里点名的内层组再收一层**。
|
||||
|
||||
### 第二步：**随机抽 30 条**逐条开页面核（**这是质量证据**）
|
||||
给：**准确率** · 假的那几条**属于哪一类**（附页面原文）· 该类型**能否定点修掉**
|
||||
|
||||
### 第三步：二选一
|
||||
- 准确率 **≥90% 且假阳性类型集中** ⇒ **定点修那一类，全量直接用**。抽样 30 条写进报告当证据。
|
||||
**不要再逐页核。**
|
||||
- 假阳性散、类型不集中 ⇒ 才扩大抽样
|
||||
|
||||
**省下的时间全部用来把院系覆盖做全 —— 那才是真正的缺口。**
|
||||
|
||||
---
|
||||
|
||||
## 4. 判据（不变）
|
||||
|
||||
> **打开页面像人一样看：这是不是一个「导师带的做研究的团队」？**
|
||||
> **粒度上限 = 一个导师能带的规模。** 大一级（institute/theme/cluster/校级研究所）**不收**；
|
||||
> **但大一级下面挂着真组时，只收内层组。**
|
||||
|
||||
**不是组**：服务设施 · 研讨会系列 · 项目 · 学生培养计划 · 单项研究 · 空页重定向 · 无负责人的方向页。
|
||||
**共性是页面上有一句「非团队自述」——你去看那句话。**
|
||||
|
||||
### 五字段
|
||||
|
||||
| # | 字段 | 取法 |
|
||||
|---|---|---|
|
||||
| 1 | 课题组名称 | 该组**自己页面**的 H1 |
|
||||
| 2 | 所在大学及研究中心 | 大学 + **真实上级研究单位**；⚠️ 上级是系/院/学部的**不许当研究中心写**，没有真上级就**只写大学** |
|
||||
| 3 | 研究方向 | 该组页上的方向文字。**没有 ⇒ 不要** |
|
||||
| 4 | 联系邮箱 | 只接受**本组页 / 本组负责人页**的邮箱 |
|
||||
| 5 | 最近五年论文数 | 一律 null |
|
||||
|
||||
---
|
||||
|
||||
## 5. ⚠️ 并行安全（前面出过事故）
|
||||
|
||||
上一波 5 个 worker **挤在同一个 Space 的同一个 page 上**，297 页里出现**跨校串页**，整批作废。
|
||||
|
||||
**你必须**：
|
||||
1. **自己新建一个 TaskSpace**（不要复用别人已有的）
|
||||
2. **每个 URL 用独占的新 page**（`newPage()`），**不要共用 p1**
|
||||
3. **每取一页后校验 `page.url()` 与目标一致**；不一致 ⇒ 该页作废重取
|
||||
4. 成功时收尾调一次 `await task.finish({ keep: [] })`；**因错误停止就别调**，把 `spaceId` 报上来
|
||||
|
||||
---
|
||||
|
||||
## 6. 交付
|
||||
|
||||
1. **完备性台账**（全部院系）+ 枚举来源 URL 与院系数
|
||||
2. **子域/外站清单**
|
||||
3. **全量候选产物**（五字段，启发式抽的）
|
||||
4. **抽样 30 条逐条判定表** + **准确率** + **假阳性类型与定点修法**
|
||||
5. **反例 / 判不准 / 未验清单**（附页面原文）
|
||||
6. 一句话：**最终组数？完备性有没有缺口？**
|
||||
|
||||
产物写到 `.worklogs/groups-dept/`，按 school-slug 命名（加 `_v2` 后缀避免覆盖旧的）。
|
||||
|
||||
---
|
||||
|
||||
## 7. 硬要求
|
||||
|
||||
1. **只读**：只写产物到 `.worklogs/groups-dept/`。不写索引、不改业务代码、不动数据。
|
||||
2. **不设时间盒，做完整为止。** 但**每做完一个院系报一次 `status`**（三句话）。
|
||||
3. **判据来自页面。你的眼睛比任何正则都准。**
|
||||
4. **不许发明**：抓不到 ⇒ 写「未验」+ 卡点（URL、错误原文）。判不准的贴出来。
|
||||
5. **只做这一所学校。**
|
||||
|
||||
## 8. 边界
|
||||
|
||||
- 不碰 prodream_backend、不碰 FE、不碰 `.worklogs/groups-rebuild/` 与 `groups-verify/`。
|
||||
@@ -0,0 +1,124 @@
|
||||
# 课题组逐院系 · 完备性重做 · 伯明翰大学（University of Birmingham）· `birmingham.ac.uk`
|
||||
前一轮半成品：只抓 98 个 URL（85 成功），**另有 94 个 `research-in-*` 二级页未取**。 · Manager 2026-09-23
|
||||
|
||||
## 0. 为什么重做（前几波的教训，读之前先读这段）
|
||||
|
||||
**用户明确要求**：
|
||||
|
||||
> 「之前不是说这个数量对不上吗？那数量对不上，你没有重新把那些没 kill 掉重新去找吗？
|
||||
> **就是我们这数据完备性是非常重要的呀。**」
|
||||
|
||||
**上一轮的设计缺陷在我**：我给了 75 分钟时间盒、任务书写「到点先交已完成的」——
|
||||
**这个设计结构上就产出半成品**。实测后果：
|
||||
- 伯明翰只抓了 **98 个 URL（85 成功）**，另有 **94 个二级页未取**
|
||||
- 圣安德鲁斯的子域**只验了 1 个**
|
||||
- 爱丁堡出 22 组（跟了 20+ 子域，绝不止这个数）
|
||||
|
||||
**⇒ 本波改设计：1 个 worker 只做 1 所学校；不设时间盒；"未取页 = 0" 是交付门槛。**
|
||||
|
||||
**先读**：
|
||||
- `/Users/jun/Codes/prodream/.worklogs/groups-dept/REPORT.md`（布里斯托切片 = 质量基准，174 组、组/系 ≈5.8）
|
||||
- 该校已有的 `finding_<slug>.md`（**前一轮的半成品，参考可以，但不要信它的"结论"**）
|
||||
|
||||
---
|
||||
|
||||
## 1. 本波只做这一所：**伯明翰大学（University of Birmingham）· `birmingham.ac.uk`
|
||||
前一轮半成品：只抓 98 个 URL（85 成功），**另有 94 个 `research-in-*` 二级页未取**。**
|
||||
|
||||
---
|
||||
|
||||
## 2. 完备性判据（**本波的交付门槛，不是"尽量"**）
|
||||
|
||||
### 2.1 必须交这张台账（**缺一行就是没做完**）
|
||||
|
||||
| 院系（该校**全部**） | research 入口 URL | 状态 | 组数 |
|
||||
|---|---|---|---|
|
||||
| … | … | `取到` / `取不到：<原因>` | N |
|
||||
|
||||
- **院系清单必须是该校的「全部」** —— 从学校官方的 faculties/schools/departments 导航拿，
|
||||
或从 sitemap 枚举。**给出你枚举的来源 URL 与总数。**
|
||||
- **`取不到` 必须给原因**（404 / 重定向 / 无 research 页 / 反爬 …），**不许留空**
|
||||
- ⚠️ **`未取页 = 0`** —— 要么取到，要么有"取不到"的证据。
|
||||
|
||||
### 2.2 子域 / 外站**必须全部跟**
|
||||
|
||||
布里斯托实测有 `bristolmathsresearch.org`、`bristolroboticslab.com`、`pluslab.bristol.ac.uk`、
|
||||
`vilab.blogs.bristol.ac.uk` 这类**不在主域下**的研究单元 —— **不跟就整整漏掉一块**。
|
||||
**给出你找到并跟过的子域/外站清单。**
|
||||
|
||||
### 2.3 合理性校验（**必交**）
|
||||
|
||||
`组数 ÷ 枚举到的院系数` = **组/系**
|
||||
|
||||
**基准：布里斯托 ≈5.8**（174 组 / ~30 系）。
|
||||
|
||||
- **比值 ≥ 3** ⇒ 正常
|
||||
- **比值 < 3** ⇒ **必须解释**，并回答：**该校的院系是不是把研究组织成 theme / centre / institute
|
||||
（大一级，按用户裁定不收），而底下其实还挂着更细的具名组？**
|
||||
**若是 ⇒ 往下挖一层，把那些内层组收上来。**
|
||||
- 若确认"再下一层没有具名组" ⇒ **贴出该院系 research 页的原文章节结构**作为证据
|
||||
（有哪些 section、每节里是什么）。
|
||||
**「没找到」和「没有」必须分得清。**
|
||||
|
||||
---
|
||||
|
||||
## 3. 判据（不变）
|
||||
|
||||
> **打开页面像人一样看：这是不是一个「导师带的做研究的团队」？**
|
||||
> **粒度上限 = 一个导师能带的规模。**
|
||||
> 大一级（institute / theme / cluster / 校级研究所）**不收**；**但大一级下面挂着真组时，只收内层组。**
|
||||
|
||||
**不是组**：服务设施 · 研讨会系列 · 项目 · 学生培养计划 · 单项研究 · 空页重定向 ·
|
||||
无负责人的方向页。**共性是页面上有一句「非团队自述」——你去看那句话。**
|
||||
|
||||
### 五字段
|
||||
|
||||
| # | 字段 | 取法 |
|
||||
|---|---|---|
|
||||
| 1 | 课题组名称 | 该组**自己页面**的 H1 |
|
||||
| 2 | 所在大学及研究中心 | 大学 + **真实上级研究单位**；⚠️ 上级是系/院/学部的**不许当研究中心写**，没有真上级就**只写大学** |
|
||||
| 3 | 研究方向 | 该组页上的方向文字。**没有 ⇒ 不要** |
|
||||
| 4 | 联系邮箱 | 只接受**本组页 / 本组负责人页**的邮箱 |
|
||||
| 5 | 最近五年论文数 | 一律 null |
|
||||
|
||||
---
|
||||
|
||||
## 4. ⚠️ 并行安全（**上一波在这里出过事故，必须照做**）
|
||||
|
||||
上一波 5 个 worker **挤在同一个 Space 的同一个 page 上**，297 页里出现**跨校串页**
|
||||
（QUB 记录里混进 Bath 的正文与邮箱），整批作废。
|
||||
|
||||
**你必须**：
|
||||
1. **自己新建一个 TaskSpace**（不要复用别人已存在的 Space）
|
||||
2. **每个 URL 用独占的新 page**（`newPage()`），**不要共用 p1**
|
||||
3. **每取一页后校验 `page.url()` 与目标 URL 一致**；不一致 ⇒ 该页作废重取
|
||||
4. **收尾调一次 `await task.finish({ keep: [] })`**（成功时）；
|
||||
因错误停止**就别调**，把 `spaceId` 报上来
|
||||
|
||||
---
|
||||
|
||||
## 5. 交付
|
||||
|
||||
1. **完备性台账**（§2.1 那张表，全部院系）+ **枚举来源 URL 与院系数**
|
||||
2. **子域/外站清单**
|
||||
3. **组/系 的比值 + 解释**（含"再下一层有没有组"的证据）
|
||||
4. **抽样 15 条五字段产物**（贴出来）
|
||||
5. **反例清单 / 判不准清单 / 未验清单**（各自附页面原文）
|
||||
6. 一句话：**这所学校的最终组数是多少？完备性有没有缺口？**
|
||||
|
||||
产物写到 `.worklogs/groups-dept/`，按 school-slug 命名。
|
||||
|
||||
---
|
||||
|
||||
## 6. 硬要求
|
||||
|
||||
1. **只读**：只写产物到 `.worklogs/groups-dept/`。不写索引、不改业务代码、不动数据。
|
||||
2. **不设时间盒 —— 做完整为止。** 但**每做完一个院系报一次 `status`**（三句话），
|
||||
这样即使中途出问题，Manager 也知道你到哪了、缺什么。
|
||||
3. **判据来自页面、来自你自己看。** 你的眼睛比任何正则都准。
|
||||
4. **不许发明**：抓不到 ⇒ 写「未验」+ 卡点（URL、错误原文）。**判不准的贴出来，不要归类掉。**
|
||||
5. **只做这一所学校**，别碰别的。
|
||||
|
||||
## 7. 边界
|
||||
|
||||
- 不碰 prodream_backend、不碰 FE、不碰 `.worklogs/groups-rebuild/` 与 `groups-verify/`。
|
||||
@@ -0,0 +1,124 @@
|
||||
# 课题组逐院系 · 完备性重做 · 爱丁堡大学（University of Edinburgh）· `ed.ac.uk`
|
||||
前一轮出 22 组 —— **明显偏低**（它跟了 20+ 子域，比约克大得多却只有约克的 1/4）。 · Manager 2026-09-23
|
||||
|
||||
## 0. 为什么重做（前几波的教训，读之前先读这段）
|
||||
|
||||
**用户明确要求**：
|
||||
|
||||
> 「之前不是说这个数量对不上吗？那数量对不上，你没有重新把那些没 kill 掉重新去找吗？
|
||||
> **就是我们这数据完备性是非常重要的呀。**」
|
||||
|
||||
**上一轮的设计缺陷在我**：我给了 75 分钟时间盒、任务书写「到点先交已完成的」——
|
||||
**这个设计结构上就产出半成品**。实测后果：
|
||||
- 伯明翰只抓了 **98 个 URL（85 成功）**，另有 **94 个二级页未取**
|
||||
- 圣安德鲁斯的子域**只验了 1 个**
|
||||
- 爱丁堡出 22 组（跟了 20+ 子域，绝不止这个数）
|
||||
|
||||
**⇒ 本波改设计：1 个 worker 只做 1 所学校；不设时间盒；"未取页 = 0" 是交付门槛。**
|
||||
|
||||
**先读**：
|
||||
- `/Users/jun/Codes/prodream/.worklogs/groups-dept/REPORT.md`（布里斯托切片 = 质量基准，174 组、组/系 ≈5.8）
|
||||
- 该校已有的 `finding_<slug>.md`（**前一轮的半成品，参考可以，但不要信它的"结论"**）
|
||||
|
||||
---
|
||||
|
||||
## 1. 本波只做这一所：**爱丁堡大学（University of Edinburgh）· `ed.ac.uk`
|
||||
前一轮出 22 组 —— **明显偏低**（它跟了 20+ 子域，比约克大得多却只有约克的 1/4）。**
|
||||
|
||||
---
|
||||
|
||||
## 2. 完备性判据（**本波的交付门槛，不是"尽量"**）
|
||||
|
||||
### 2.1 必须交这张台账（**缺一行就是没做完**）
|
||||
|
||||
| 院系（该校**全部**） | research 入口 URL | 状态 | 组数 |
|
||||
|---|---|---|---|
|
||||
| … | … | `取到` / `取不到：<原因>` | N |
|
||||
|
||||
- **院系清单必须是该校的「全部」** —— 从学校官方的 faculties/schools/departments 导航拿，
|
||||
或从 sitemap 枚举。**给出你枚举的来源 URL 与总数。**
|
||||
- **`取不到` 必须给原因**（404 / 重定向 / 无 research 页 / 反爬 …），**不许留空**
|
||||
- ⚠️ **`未取页 = 0`** —— 要么取到，要么有"取不到"的证据。
|
||||
|
||||
### 2.2 子域 / 外站**必须全部跟**
|
||||
|
||||
布里斯托实测有 `bristolmathsresearch.org`、`bristolroboticslab.com`、`pluslab.bristol.ac.uk`、
|
||||
`vilab.blogs.bristol.ac.uk` 这类**不在主域下**的研究单元 —— **不跟就整整漏掉一块**。
|
||||
**给出你找到并跟过的子域/外站清单。**
|
||||
|
||||
### 2.3 合理性校验（**必交**）
|
||||
|
||||
`组数 ÷ 枚举到的院系数` = **组/系**
|
||||
|
||||
**基准：布里斯托 ≈5.8**（174 组 / ~30 系）。
|
||||
|
||||
- **比值 ≥ 3** ⇒ 正常
|
||||
- **比值 < 3** ⇒ **必须解释**，并回答：**该校的院系是不是把研究组织成 theme / centre / institute
|
||||
（大一级，按用户裁定不收），而底下其实还挂着更细的具名组？**
|
||||
**若是 ⇒ 往下挖一层，把那些内层组收上来。**
|
||||
- 若确认"再下一层没有具名组" ⇒ **贴出该院系 research 页的原文章节结构**作为证据
|
||||
（有哪些 section、每节里是什么）。
|
||||
**「没找到」和「没有」必须分得清。**
|
||||
|
||||
---
|
||||
|
||||
## 3. 判据（不变）
|
||||
|
||||
> **打开页面像人一样看：这是不是一个「导师带的做研究的团队」？**
|
||||
> **粒度上限 = 一个导师能带的规模。**
|
||||
> 大一级（institute / theme / cluster / 校级研究所）**不收**；**但大一级下面挂着真组时，只收内层组。**
|
||||
|
||||
**不是组**：服务设施 · 研讨会系列 · 项目 · 学生培养计划 · 单项研究 · 空页重定向 ·
|
||||
无负责人的方向页。**共性是页面上有一句「非团队自述」——你去看那句话。**
|
||||
|
||||
### 五字段
|
||||
|
||||
| # | 字段 | 取法 |
|
||||
|---|---|---|
|
||||
| 1 | 课题组名称 | 该组**自己页面**的 H1 |
|
||||
| 2 | 所在大学及研究中心 | 大学 + **真实上级研究单位**；⚠️ 上级是系/院/学部的**不许当研究中心写**，没有真上级就**只写大学** |
|
||||
| 3 | 研究方向 | 该组页上的方向文字。**没有 ⇒ 不要** |
|
||||
| 4 | 联系邮箱 | 只接受**本组页 / 本组负责人页**的邮箱 |
|
||||
| 5 | 最近五年论文数 | 一律 null |
|
||||
|
||||
---
|
||||
|
||||
## 4. ⚠️ 并行安全（**上一波在这里出过事故，必须照做**）
|
||||
|
||||
上一波 5 个 worker **挤在同一个 Space 的同一个 page 上**，297 页里出现**跨校串页**
|
||||
（QUB 记录里混进 Bath 的正文与邮箱），整批作废。
|
||||
|
||||
**你必须**：
|
||||
1. **自己新建一个 TaskSpace**（不要复用别人已存在的 Space）
|
||||
2. **每个 URL 用独占的新 page**（`newPage()`），**不要共用 p1**
|
||||
3. **每取一页后校验 `page.url()` 与目标 URL 一致**；不一致 ⇒ 该页作废重取
|
||||
4. **收尾调一次 `await task.finish({ keep: [] })`**（成功时）；
|
||||
因错误停止**就别调**，把 `spaceId` 报上来
|
||||
|
||||
---
|
||||
|
||||
## 5. 交付
|
||||
|
||||
1. **完备性台账**（§2.1 那张表，全部院系）+ **枚举来源 URL 与院系数**
|
||||
2. **子域/外站清单**
|
||||
3. **组/系 的比值 + 解释**（含"再下一层有没有组"的证据）
|
||||
4. **抽样 15 条五字段产物**（贴出来）
|
||||
5. **反例清单 / 判不准清单 / 未验清单**（各自附页面原文）
|
||||
6. 一句话：**这所学校的最终组数是多少？完备性有没有缺口？**
|
||||
|
||||
产物写到 `.worklogs/groups-dept/`，按 school-slug 命名。
|
||||
|
||||
---
|
||||
|
||||
## 6. 硬要求
|
||||
|
||||
1. **只读**：只写产物到 `.worklogs/groups-dept/`。不写索引、不改业务代码、不动数据。
|
||||
2. **不设时间盒 —— 做完整为止。** 但**每做完一个院系报一次 `status`**（三句话），
|
||||
这样即使中途出问题，Manager 也知道你到哪了、缺什么。
|
||||
3. **判据来自页面、来自你自己看。** 你的眼睛比任何正则都准。
|
||||
4. **不许发明**：抓不到 ⇒ 写「未验」+ 卡点（URL、错误原文）。**判不准的贴出来，不要归类掉。**
|
||||
5. **只做这一所学校**，别碰别的。
|
||||
|
||||
## 7. 边界
|
||||
|
||||
- 不碰 prodream_backend、不碰 FE、不碰 `.worklogs/groups-rebuild/` 与 `groups-verify/`。
|
||||
@@ -0,0 +1,124 @@
|
||||
# 课题组逐院系 · 完备性重做 · 曼彻斯特大学（University of Manchester）· `manchester.ac.uk`
|
||||
**前一轮未开始**，从零做。 · Manager 2026-09-23
|
||||
|
||||
## 0. 为什么重做（前几波的教训，读之前先读这段）
|
||||
|
||||
**用户明确要求**：
|
||||
|
||||
> 「之前不是说这个数量对不上吗？那数量对不上，你没有重新把那些没 kill 掉重新去找吗？
|
||||
> **就是我们这数据完备性是非常重要的呀。**」
|
||||
|
||||
**上一轮的设计缺陷在我**：我给了 75 分钟时间盒、任务书写「到点先交已完成的」——
|
||||
**这个设计结构上就产出半成品**。实测后果：
|
||||
- 伯明翰只抓了 **98 个 URL（85 成功）**，另有 **94 个二级页未取**
|
||||
- 圣安德鲁斯的子域**只验了 1 个**
|
||||
- 爱丁堡出 22 组（跟了 20+ 子域，绝不止这个数）
|
||||
|
||||
**⇒ 本波改设计：1 个 worker 只做 1 所学校；不设时间盒；"未取页 = 0" 是交付门槛。**
|
||||
|
||||
**先读**：
|
||||
- `/Users/jun/Codes/prodream/.worklogs/groups-dept/REPORT.md`（布里斯托切片 = 质量基准，174 组、组/系 ≈5.8）
|
||||
- 该校已有的 `finding_<slug>.md`（**前一轮的半成品，参考可以，但不要信它的"结论"**）
|
||||
|
||||
---
|
||||
|
||||
## 1. 本波只做这一所：**曼彻斯特大学（University of Manchester）· `manchester.ac.uk`
|
||||
**前一轮未开始**，从零做。**
|
||||
|
||||
---
|
||||
|
||||
## 2. 完备性判据（**本波的交付门槛，不是"尽量"**）
|
||||
|
||||
### 2.1 必须交这张台账（**缺一行就是没做完**）
|
||||
|
||||
| 院系（该校**全部**） | research 入口 URL | 状态 | 组数 |
|
||||
|---|---|---|---|
|
||||
| … | … | `取到` / `取不到：<原因>` | N |
|
||||
|
||||
- **院系清单必须是该校的「全部」** —— 从学校官方的 faculties/schools/departments 导航拿，
|
||||
或从 sitemap 枚举。**给出你枚举的来源 URL 与总数。**
|
||||
- **`取不到` 必须给原因**（404 / 重定向 / 无 research 页 / 反爬 …），**不许留空**
|
||||
- ⚠️ **`未取页 = 0`** —— 要么取到，要么有"取不到"的证据。
|
||||
|
||||
### 2.2 子域 / 外站**必须全部跟**
|
||||
|
||||
布里斯托实测有 `bristolmathsresearch.org`、`bristolroboticslab.com`、`pluslab.bristol.ac.uk`、
|
||||
`vilab.blogs.bristol.ac.uk` 这类**不在主域下**的研究单元 —— **不跟就整整漏掉一块**。
|
||||
**给出你找到并跟过的子域/外站清单。**
|
||||
|
||||
### 2.3 合理性校验（**必交**）
|
||||
|
||||
`组数 ÷ 枚举到的院系数` = **组/系**
|
||||
|
||||
**基准：布里斯托 ≈5.8**（174 组 / ~30 系）。
|
||||
|
||||
- **比值 ≥ 3** ⇒ 正常
|
||||
- **比值 < 3** ⇒ **必须解释**，并回答：**该校的院系是不是把研究组织成 theme / centre / institute
|
||||
（大一级，按用户裁定不收），而底下其实还挂着更细的具名组？**
|
||||
**若是 ⇒ 往下挖一层，把那些内层组收上来。**
|
||||
- 若确认"再下一层没有具名组" ⇒ **贴出该院系 research 页的原文章节结构**作为证据
|
||||
（有哪些 section、每节里是什么）。
|
||||
**「没找到」和「没有」必须分得清。**
|
||||
|
||||
---
|
||||
|
||||
## 3. 判据（不变）
|
||||
|
||||
> **打开页面像人一样看：这是不是一个「导师带的做研究的团队」？**
|
||||
> **粒度上限 = 一个导师能带的规模。**
|
||||
> 大一级（institute / theme / cluster / 校级研究所）**不收**；**但大一级下面挂着真组时，只收内层组。**
|
||||
|
||||
**不是组**：服务设施 · 研讨会系列 · 项目 · 学生培养计划 · 单项研究 · 空页重定向 ·
|
||||
无负责人的方向页。**共性是页面上有一句「非团队自述」——你去看那句话。**
|
||||
|
||||
### 五字段
|
||||
|
||||
| # | 字段 | 取法 |
|
||||
|---|---|---|
|
||||
| 1 | 课题组名称 | 该组**自己页面**的 H1 |
|
||||
| 2 | 所在大学及研究中心 | 大学 + **真实上级研究单位**；⚠️ 上级是系/院/学部的**不许当研究中心写**，没有真上级就**只写大学** |
|
||||
| 3 | 研究方向 | 该组页上的方向文字。**没有 ⇒ 不要** |
|
||||
| 4 | 联系邮箱 | 只接受**本组页 / 本组负责人页**的邮箱 |
|
||||
| 5 | 最近五年论文数 | 一律 null |
|
||||
|
||||
---
|
||||
|
||||
## 4. ⚠️ 并行安全（**上一波在这里出过事故，必须照做**）
|
||||
|
||||
上一波 5 个 worker **挤在同一个 Space 的同一个 page 上**，297 页里出现**跨校串页**
|
||||
（QUB 记录里混进 Bath 的正文与邮箱），整批作废。
|
||||
|
||||
**你必须**：
|
||||
1. **自己新建一个 TaskSpace**（不要复用别人已存在的 Space）
|
||||
2. **每个 URL 用独占的新 page**（`newPage()`），**不要共用 p1**
|
||||
3. **每取一页后校验 `page.url()` 与目标 URL 一致**；不一致 ⇒ 该页作废重取
|
||||
4. **收尾调一次 `await task.finish({ keep: [] })`**（成功时）；
|
||||
因错误停止**就别调**，把 `spaceId` 报上来
|
||||
|
||||
---
|
||||
|
||||
## 5. 交付
|
||||
|
||||
1. **完备性台账**（§2.1 那张表，全部院系）+ **枚举来源 URL 与院系数**
|
||||
2. **子域/外站清单**
|
||||
3. **组/系 的比值 + 解释**（含"再下一层有没有组"的证据）
|
||||
4. **抽样 15 条五字段产物**（贴出来）
|
||||
5. **反例清单 / 判不准清单 / 未验清单**（各自附页面原文）
|
||||
6. 一句话：**这所学校的最终组数是多少？完备性有没有缺口？**
|
||||
|
||||
产物写到 `.worklogs/groups-dept/`，按 school-slug 命名。
|
||||
|
||||
---
|
||||
|
||||
## 6. 硬要求
|
||||
|
||||
1. **只读**：只写产物到 `.worklogs/groups-dept/`。不写索引、不改业务代码、不动数据。
|
||||
2. **不设时间盒 —— 做完整为止。** 但**每做完一个院系报一次 `status`**（三句话），
|
||||
这样即使中途出问题，Manager 也知道你到哪了、缺什么。
|
||||
3. **判据来自页面、来自你自己看。** 你的眼睛比任何正则都准。
|
||||
4. **不许发明**：抓不到 ⇒ 写「未验」+ 卡点（URL、错误原文）。**判不准的贴出来，不要归类掉。**
|
||||
5. **只做这一所学校**，别碰别的。
|
||||
|
||||
## 7. 边界
|
||||
|
||||
- 不碰 prodream_backend、不碰 FE、不碰 `.worklogs/groups-rebuild/` 与 `groups-verify/`。
|
||||
@@ -0,0 +1,124 @@
|
||||
# 课题组逐院系 · 完备性重做 · 圣安德鲁斯大学（University of St Andrews）· `st-andrews.ac.uk`
|
||||
前一轮 51 入口只出 34 组，且**子域只验了 1 个（SACHI）**。 · Manager 2026-09-23
|
||||
|
||||
## 0. 为什么重做（前几波的教训，读之前先读这段）
|
||||
|
||||
**用户明确要求**：
|
||||
|
||||
> 「之前不是说这个数量对不上吗？那数量对不上，你没有重新把那些没 kill 掉重新去找吗？
|
||||
> **就是我们这数据完备性是非常重要的呀。**」
|
||||
|
||||
**上一轮的设计缺陷在我**：我给了 75 分钟时间盒、任务书写「到点先交已完成的」——
|
||||
**这个设计结构上就产出半成品**。实测后果：
|
||||
- 伯明翰只抓了 **98 个 URL（85 成功）**，另有 **94 个二级页未取**
|
||||
- 圣安德鲁斯的子域**只验了 1 个**
|
||||
- 爱丁堡出 22 组（跟了 20+ 子域，绝不止这个数）
|
||||
|
||||
**⇒ 本波改设计：1 个 worker 只做 1 所学校；不设时间盒；"未取页 = 0" 是交付门槛。**
|
||||
|
||||
**先读**：
|
||||
- `/Users/jun/Codes/prodream/.worklogs/groups-dept/REPORT.md`（布里斯托切片 = 质量基准，174 组、组/系 ≈5.8）
|
||||
- 该校已有的 `finding_<slug>.md`（**前一轮的半成品，参考可以，但不要信它的"结论"**）
|
||||
|
||||
---
|
||||
|
||||
## 1. 本波只做这一所：**圣安德鲁斯大学（University of St Andrews）· `st-andrews.ac.uk`
|
||||
前一轮 51 入口只出 34 组，且**子域只验了 1 个（SACHI）**。**
|
||||
|
||||
---
|
||||
|
||||
## 2. 完备性判据（**本波的交付门槛，不是"尽量"**）
|
||||
|
||||
### 2.1 必须交这张台账（**缺一行就是没做完**）
|
||||
|
||||
| 院系（该校**全部**） | research 入口 URL | 状态 | 组数 |
|
||||
|---|---|---|---|
|
||||
| … | … | `取到` / `取不到：<原因>` | N |
|
||||
|
||||
- **院系清单必须是该校的「全部」** —— 从学校官方的 faculties/schools/departments 导航拿，
|
||||
或从 sitemap 枚举。**给出你枚举的来源 URL 与总数。**
|
||||
- **`取不到` 必须给原因**（404 / 重定向 / 无 research 页 / 反爬 …），**不许留空**
|
||||
- ⚠️ **`未取页 = 0`** —— 要么取到，要么有"取不到"的证据。
|
||||
|
||||
### 2.2 子域 / 外站**必须全部跟**
|
||||
|
||||
布里斯托实测有 `bristolmathsresearch.org`、`bristolroboticslab.com`、`pluslab.bristol.ac.uk`、
|
||||
`vilab.blogs.bristol.ac.uk` 这类**不在主域下**的研究单元 —— **不跟就整整漏掉一块**。
|
||||
**给出你找到并跟过的子域/外站清单。**
|
||||
|
||||
### 2.3 合理性校验（**必交**）
|
||||
|
||||
`组数 ÷ 枚举到的院系数` = **组/系**
|
||||
|
||||
**基准：布里斯托 ≈5.8**（174 组 / ~30 系）。
|
||||
|
||||
- **比值 ≥ 3** ⇒ 正常
|
||||
- **比值 < 3** ⇒ **必须解释**，并回答：**该校的院系是不是把研究组织成 theme / centre / institute
|
||||
（大一级，按用户裁定不收），而底下其实还挂着更细的具名组？**
|
||||
**若是 ⇒ 往下挖一层，把那些内层组收上来。**
|
||||
- 若确认"再下一层没有具名组" ⇒ **贴出该院系 research 页的原文章节结构**作为证据
|
||||
（有哪些 section、每节里是什么）。
|
||||
**「没找到」和「没有」必须分得清。**
|
||||
|
||||
---
|
||||
|
||||
## 3. 判据（不变）
|
||||
|
||||
> **打开页面像人一样看：这是不是一个「导师带的做研究的团队」？**
|
||||
> **粒度上限 = 一个导师能带的规模。**
|
||||
> 大一级（institute / theme / cluster / 校级研究所）**不收**；**但大一级下面挂着真组时，只收内层组。**
|
||||
|
||||
**不是组**：服务设施 · 研讨会系列 · 项目 · 学生培养计划 · 单项研究 · 空页重定向 ·
|
||||
无负责人的方向页。**共性是页面上有一句「非团队自述」——你去看那句话。**
|
||||
|
||||
### 五字段
|
||||
|
||||
| # | 字段 | 取法 |
|
||||
|---|---|---|
|
||||
| 1 | 课题组名称 | 该组**自己页面**的 H1 |
|
||||
| 2 | 所在大学及研究中心 | 大学 + **真实上级研究单位**；⚠️ 上级是系/院/学部的**不许当研究中心写**，没有真上级就**只写大学** |
|
||||
| 3 | 研究方向 | 该组页上的方向文字。**没有 ⇒ 不要** |
|
||||
| 4 | 联系邮箱 | 只接受**本组页 / 本组负责人页**的邮箱 |
|
||||
| 5 | 最近五年论文数 | 一律 null |
|
||||
|
||||
---
|
||||
|
||||
## 4. ⚠️ 并行安全（**上一波在这里出过事故，必须照做**）
|
||||
|
||||
上一波 5 个 worker **挤在同一个 Space 的同一个 page 上**，297 页里出现**跨校串页**
|
||||
（QUB 记录里混进 Bath 的正文与邮箱），整批作废。
|
||||
|
||||
**你必须**：
|
||||
1. **自己新建一个 TaskSpace**（不要复用别人已存在的 Space）
|
||||
2. **每个 URL 用独占的新 page**（`newPage()`），**不要共用 p1**
|
||||
3. **每取一页后校验 `page.url()` 与目标 URL 一致**；不一致 ⇒ 该页作废重取
|
||||
4. **收尾调一次 `await task.finish({ keep: [] })`**（成功时）；
|
||||
因错误停止**就别调**，把 `spaceId` 报上来
|
||||
|
||||
---
|
||||
|
||||
## 5. 交付
|
||||
|
||||
1. **完备性台账**（§2.1 那张表，全部院系）+ **枚举来源 URL 与院系数**
|
||||
2. **子域/外站清单**
|
||||
3. **组/系 的比值 + 解释**（含"再下一层有没有组"的证据）
|
||||
4. **抽样 15 条五字段产物**（贴出来）
|
||||
5. **反例清单 / 判不准清单 / 未验清单**（各自附页面原文）
|
||||
6. 一句话：**这所学校的最终组数是多少？完备性有没有缺口？**
|
||||
|
||||
产物写到 `.worklogs/groups-dept/`，按 school-slug 命名。
|
||||
|
||||
---
|
||||
|
||||
## 6. 硬要求
|
||||
|
||||
1. **只读**：只写产物到 `.worklogs/groups-dept/`。不写索引、不改业务代码、不动数据。
|
||||
2. **不设时间盒 —— 做完整为止。** 但**每做完一个院系报一次 `status`**（三句话），
|
||||
这样即使中途出问题，Manager 也知道你到哪了、缺什么。
|
||||
3. **判据来自页面、来自你自己看。** 你的眼睛比任何正则都准。
|
||||
4. **不许发明**：抓不到 ⇒ 写「未验」+ 卡点（URL、错误原文）。**判不准的贴出来，不要归类掉。**
|
||||
5. **只做这一所学校**，别碰别的。
|
||||
|
||||
## 7. 边界
|
||||
|
||||
- 不碰 prodream_backend、不碰 FE、不碰 `.worklogs/groups-rebuild/` 与 `groups-verify/`。
|
||||
@@ -0,0 +1,122 @@
|
||||
# 课题组逐院系 · 完备性重做 · __SCHOOL__ · Manager 2026-09-23
|
||||
|
||||
## 0. 为什么重做（前几波的教训，读之前先读这段）
|
||||
|
||||
**用户明确要求**：
|
||||
|
||||
> 「之前不是说这个数量对不上吗？那数量对不上，你没有重新把那些没 kill 掉重新去找吗？
|
||||
> **就是我们这数据完备性是非常重要的呀。**」
|
||||
|
||||
**上一轮的设计缺陷在我**：我给了 75 分钟时间盒、任务书写「到点先交已完成的」——
|
||||
**这个设计结构上就产出半成品**。实测后果：
|
||||
- 伯明翰只抓了 **98 个 URL（85 成功）**，另有 **94 个二级页未取**
|
||||
- 圣安德鲁斯的子域**只验了 1 个**
|
||||
- 爱丁堡出 22 组（跟了 20+ 子域，绝不止这个数）
|
||||
|
||||
**⇒ 本波改设计：1 个 worker 只做 1 所学校；不设时间盒；"未取页 = 0" 是交付门槛。**
|
||||
|
||||
**先读**：
|
||||
- `/Users/jun/Codes/prodream/.worklogs/groups-dept/REPORT.md`（布里斯托切片 = 质量基准，174 组、组/系 ≈5.8）
|
||||
- 该校已有的 `finding_<slug>.md`（**前一轮的半成品，参考可以，但不要信它的"结论"**）
|
||||
|
||||
---
|
||||
|
||||
## 1. 本波只做这一所：**__SCHOOL__**
|
||||
|
||||
---
|
||||
|
||||
## 2. 完备性判据（**本波的交付门槛，不是"尽量"**）
|
||||
|
||||
### 2.1 必须交这张台账（**缺一行就是没做完**）
|
||||
|
||||
| 院系（该校**全部**） | research 入口 URL | 状态 | 组数 |
|
||||
|---|---|---|---|
|
||||
| … | … | `取到` / `取不到：<原因>` | N |
|
||||
|
||||
- **院系清单必须是该校的「全部」** —— 从学校官方的 faculties/schools/departments 导航拿，
|
||||
或从 sitemap 枚举。**给出你枚举的来源 URL 与总数。**
|
||||
- **`取不到` 必须给原因**（404 / 重定向 / 无 research 页 / 反爬 …），**不许留空**
|
||||
- ⚠️ **`未取页 = 0`** —— 要么取到，要么有"取不到"的证据。
|
||||
|
||||
### 2.2 子域 / 外站**必须全部跟**
|
||||
|
||||
布里斯托实测有 `bristolmathsresearch.org`、`bristolroboticslab.com`、`pluslab.bristol.ac.uk`、
|
||||
`vilab.blogs.bristol.ac.uk` 这类**不在主域下**的研究单元 —— **不跟就整整漏掉一块**。
|
||||
**给出你找到并跟过的子域/外站清单。**
|
||||
|
||||
### 2.3 合理性校验（**必交**）
|
||||
|
||||
`组数 ÷ 枚举到的院系数` = **组/系**
|
||||
|
||||
**基准：布里斯托 ≈5.8**（174 组 / ~30 系）。
|
||||
|
||||
- **比值 ≥ 3** ⇒ 正常
|
||||
- **比值 < 3** ⇒ **必须解释**，并回答：**该校的院系是不是把研究组织成 theme / centre / institute
|
||||
（大一级，按用户裁定不收），而底下其实还挂着更细的具名组？**
|
||||
**若是 ⇒ 往下挖一层，把那些内层组收上来。**
|
||||
- 若确认"再下一层没有具名组" ⇒ **贴出该院系 research 页的原文章节结构**作为证据
|
||||
（有哪些 section、每节里是什么）。
|
||||
**「没找到」和「没有」必须分得清。**
|
||||
|
||||
---
|
||||
|
||||
## 3. 判据（不变）
|
||||
|
||||
> **打开页面像人一样看：这是不是一个「导师带的做研究的团队」？**
|
||||
> **粒度上限 = 一个导师能带的规模。**
|
||||
> 大一级（institute / theme / cluster / 校级研究所）**不收**；**但大一级下面挂着真组时，只收内层组。**
|
||||
|
||||
**不是组**：服务设施 · 研讨会系列 · 项目 · 学生培养计划 · 单项研究 · 空页重定向 ·
|
||||
无负责人的方向页。**共性是页面上有一句「非团队自述」——你去看那句话。**
|
||||
|
||||
### 五字段
|
||||
|
||||
| # | 字段 | 取法 |
|
||||
|---|---|---|
|
||||
| 1 | 课题组名称 | 该组**自己页面**的 H1 |
|
||||
| 2 | 所在大学及研究中心 | 大学 + **真实上级研究单位**；⚠️ 上级是系/院/学部的**不许当研究中心写**，没有真上级就**只写大学** |
|
||||
| 3 | 研究方向 | 该组页上的方向文字。**没有 ⇒ 不要** |
|
||||
| 4 | 联系邮箱 | 只接受**本组页 / 本组负责人页**的邮箱 |
|
||||
| 5 | 最近五年论文数 | 一律 null |
|
||||
|
||||
---
|
||||
|
||||
## 4. ⚠️ 并行安全（**上一波在这里出过事故，必须照做**）
|
||||
|
||||
上一波 5 个 worker **挤在同一个 Space 的同一个 page 上**，297 页里出现**跨校串页**
|
||||
（QUB 记录里混进 Bath 的正文与邮箱），整批作废。
|
||||
|
||||
**你必须**：
|
||||
1. **自己新建一个 TaskSpace**（不要复用别人已存在的 Space）
|
||||
2. **每个 URL 用独占的新 page**（`newPage()`），**不要共用 p1**
|
||||
3. **每取一页后校验 `page.url()` 与目标 URL 一致**；不一致 ⇒ 该页作废重取
|
||||
4. **收尾调一次 `await task.finish({ keep: [] })`**（成功时）；
|
||||
因错误停止**就别调**，把 `spaceId` 报上来
|
||||
|
||||
---
|
||||
|
||||
## 5. 交付
|
||||
|
||||
1. **完备性台账**（§2.1 那张表，全部院系）+ **枚举来源 URL 与院系数**
|
||||
2. **子域/外站清单**
|
||||
3. **组/系 的比值 + 解释**（含"再下一层有没有组"的证据）
|
||||
4. **抽样 15 条五字段产物**（贴出来）
|
||||
5. **反例清单 / 判不准清单 / 未验清单**（各自附页面原文）
|
||||
6. 一句话：**这所学校的最终组数是多少？完备性有没有缺口？**
|
||||
|
||||
产物写到 `.worklogs/groups-dept/`，按 school-slug 命名。
|
||||
|
||||
---
|
||||
|
||||
## 6. 硬要求
|
||||
|
||||
1. **只读**：只写产物到 `.worklogs/groups-dept/`。不写索引、不改业务代码、不动数据。
|
||||
2. **不设时间盒 —— 做完整为止。** 但**每做完一个院系报一次 `status`**（三句话），
|
||||
这样即使中途出问题，Manager 也知道你到哪了、缺什么。
|
||||
3. **判据来自页面、来自你自己看。** 你的眼睛比任何正则都准。
|
||||
4. **不许发明**：抓不到 ⇒ 写「未验」+ 卡点（URL、错误原文）。**判不准的贴出来，不要归类掉。**
|
||||
5. **只做这一所学校**，别碰别的。
|
||||
|
||||
## 7. 边界
|
||||
|
||||
- 不碰 prodream_backend、不碰 FE、不碰 `.worklogs/groups-rebuild/` 与 `groups-verify/`。
|
||||
@@ -0,0 +1,126 @@
|
||||
# 课题组逐院系 · 完备性重做 · 西澳大学（University of Western Australia）· `uwa.edu.au`
|
||||
前一轮**失败**：自报「页面的所/中心链接没被我的候选过滤器捞到」，那个 0 是抓取漏了不是结论。
|
||||
⚠️ `research-repository.uwa.edu.au` 有 Cloudflare 挑战，换抓法。 · Manager 2026-09-23
|
||||
|
||||
## 0. 为什么重做（前几波的教训，读之前先读这段）
|
||||
|
||||
**用户明确要求**：
|
||||
|
||||
> 「之前不是说这个数量对不上吗？那数量对不上，你没有重新把那些没 kill 掉重新去找吗？
|
||||
> **就是我们这数据完备性是非常重要的呀。**」
|
||||
|
||||
**上一轮的设计缺陷在我**：我给了 75 分钟时间盒、任务书写「到点先交已完成的」——
|
||||
**这个设计结构上就产出半成品**。实测后果：
|
||||
- 伯明翰只抓了 **98 个 URL（85 成功）**，另有 **94 个二级页未取**
|
||||
- 圣安德鲁斯的子域**只验了 1 个**
|
||||
- 爱丁堡出 22 组（跟了 20+ 子域，绝不止这个数）
|
||||
|
||||
**⇒ 本波改设计：1 个 worker 只做 1 所学校；不设时间盒；"未取页 = 0" 是交付门槛。**
|
||||
|
||||
**先读**：
|
||||
- `/Users/jun/Codes/prodream/.worklogs/groups-dept/REPORT.md`（布里斯托切片 = 质量基准，174 组、组/系 ≈5.8）
|
||||
- 该校已有的 `finding_<slug>.md`（**前一轮的半成品，参考可以，但不要信它的"结论"**）
|
||||
|
||||
---
|
||||
|
||||
## 1. 本波只做这一所：**西澳大学（University of Western Australia）· `uwa.edu.au`
|
||||
前一轮**失败**：自报「页面的所/中心链接没被我的候选过滤器捞到」，那个 0 是抓取漏了不是结论。
|
||||
⚠️ `research-repository.uwa.edu.au` 有 Cloudflare 挑战，换抓法。**
|
||||
|
||||
---
|
||||
|
||||
## 2. 完备性判据（**本波的交付门槛，不是"尽量"**）
|
||||
|
||||
### 2.1 必须交这张台账（**缺一行就是没做完**）
|
||||
|
||||
| 院系（该校**全部**） | research 入口 URL | 状态 | 组数 |
|
||||
|---|---|---|---|
|
||||
| … | … | `取到` / `取不到：<原因>` | N |
|
||||
|
||||
- **院系清单必须是该校的「全部」** —— 从学校官方的 faculties/schools/departments 导航拿，
|
||||
或从 sitemap 枚举。**给出你枚举的来源 URL 与总数。**
|
||||
- **`取不到` 必须给原因**（404 / 重定向 / 无 research 页 / 反爬 …），**不许留空**
|
||||
- ⚠️ **`未取页 = 0`** —— 要么取到，要么有"取不到"的证据。
|
||||
|
||||
### 2.2 子域 / 外站**必须全部跟**
|
||||
|
||||
布里斯托实测有 `bristolmathsresearch.org`、`bristolroboticslab.com`、`pluslab.bristol.ac.uk`、
|
||||
`vilab.blogs.bristol.ac.uk` 这类**不在主域下**的研究单元 —— **不跟就整整漏掉一块**。
|
||||
**给出你找到并跟过的子域/外站清单。**
|
||||
|
||||
### 2.3 合理性校验（**必交**）
|
||||
|
||||
`组数 ÷ 枚举到的院系数` = **组/系**
|
||||
|
||||
**基准：布里斯托 ≈5.8**（174 组 / ~30 系）。
|
||||
|
||||
- **比值 ≥ 3** ⇒ 正常
|
||||
- **比值 < 3** ⇒ **必须解释**，并回答：**该校的院系是不是把研究组织成 theme / centre / institute
|
||||
（大一级，按用户裁定不收），而底下其实还挂着更细的具名组？**
|
||||
**若是 ⇒ 往下挖一层，把那些内层组收上来。**
|
||||
- 若确认"再下一层没有具名组" ⇒ **贴出该院系 research 页的原文章节结构**作为证据
|
||||
（有哪些 section、每节里是什么）。
|
||||
**「没找到」和「没有」必须分得清。**
|
||||
|
||||
---
|
||||
|
||||
## 3. 判据（不变）
|
||||
|
||||
> **打开页面像人一样看：这是不是一个「导师带的做研究的团队」？**
|
||||
> **粒度上限 = 一个导师能带的规模。**
|
||||
> 大一级（institute / theme / cluster / 校级研究所）**不收**；**但大一级下面挂着真组时，只收内层组。**
|
||||
|
||||
**不是组**：服务设施 · 研讨会系列 · 项目 · 学生培养计划 · 单项研究 · 空页重定向 ·
|
||||
无负责人的方向页。**共性是页面上有一句「非团队自述」——你去看那句话。**
|
||||
|
||||
### 五字段
|
||||
|
||||
| # | 字段 | 取法 |
|
||||
|---|---|---|
|
||||
| 1 | 课题组名称 | 该组**自己页面**的 H1 |
|
||||
| 2 | 所在大学及研究中心 | 大学 + **真实上级研究单位**；⚠️ 上级是系/院/学部的**不许当研究中心写**，没有真上级就**只写大学** |
|
||||
| 3 | 研究方向 | 该组页上的方向文字。**没有 ⇒ 不要** |
|
||||
| 4 | 联系邮箱 | 只接受**本组页 / 本组负责人页**的邮箱 |
|
||||
| 5 | 最近五年论文数 | 一律 null |
|
||||
|
||||
---
|
||||
|
||||
## 4. ⚠️ 并行安全（**上一波在这里出过事故，必须照做**）
|
||||
|
||||
上一波 5 个 worker **挤在同一个 Space 的同一个 page 上**，297 页里出现**跨校串页**
|
||||
（QUB 记录里混进 Bath 的正文与邮箱），整批作废。
|
||||
|
||||
**你必须**：
|
||||
1. **自己新建一个 TaskSpace**（不要复用别人已存在的 Space）
|
||||
2. **每个 URL 用独占的新 page**（`newPage()`），**不要共用 p1**
|
||||
3. **每取一页后校验 `page.url()` 与目标 URL 一致**；不一致 ⇒ 该页作废重取
|
||||
4. **收尾调一次 `await task.finish({ keep: [] })`**（成功时）；
|
||||
因错误停止**就别调**，把 `spaceId` 报上来
|
||||
|
||||
---
|
||||
|
||||
## 5. 交付
|
||||
|
||||
1. **完备性台账**（§2.1 那张表，全部院系）+ **枚举来源 URL 与院系数**
|
||||
2. **子域/外站清单**
|
||||
3. **组/系 的比值 + 解释**（含"再下一层有没有组"的证据）
|
||||
4. **抽样 15 条五字段产物**（贴出来）
|
||||
5. **反例清单 / 判不准清单 / 未验清单**（各自附页面原文）
|
||||
6. 一句话：**这所学校的最终组数是多少？完备性有没有缺口？**
|
||||
|
||||
产物写到 `.worklogs/groups-dept/`，按 school-slug 命名。
|
||||
|
||||
---
|
||||
|
||||
## 6. 硬要求
|
||||
|
||||
1. **只读**：只写产物到 `.worklogs/groups-dept/`。不写索引、不改业务代码、不动数据。
|
||||
2. **不设时间盒 —— 做完整为止。** 但**每做完一个院系报一次 `status`**（三句话），
|
||||
这样即使中途出问题，Manager 也知道你到哪了、缺什么。
|
||||
3. **判据来自页面、来自你自己看。** 你的眼睛比任何正则都准。
|
||||
4. **不许发明**：抓不到 ⇒ 写「未验」+ 卡点（URL、错误原文）。**判不准的贴出来，不要归类掉。**
|
||||
5. **只做这一所学校**，别碰别的。
|
||||
|
||||
## 7. 边界
|
||||
|
||||
- 不碰 prodream_backend、不碰 FE、不碰 `.worklogs/groups-rebuild/` 与 `groups-verify/`。
|
||||
@@ -0,0 +1,67 @@
|
||||
# 麦考瑞补齐 · 7 项「组目录」（小任务）· Manager 2026-09-24
|
||||
|
||||
## 0. 背景
|
||||
|
||||
上一波麦考瑞做了 75 条组 + 台账 + 抽样 30（准确率 40% → 4 类定点修后 12/12）。
|
||||
**但收尾时浏览器空间被用户接管（hard stop），有 7 项「组目录」页没取成。**
|
||||
|
||||
⚠️ **注意**：那个空间（id=1，`ownership: user`）**是用户的，不要动它**。
|
||||
**你自己新建一个 TaskSpace 重取这 7 项即可** —— 不需要接管、不需要 claim 别人的空间。
|
||||
|
||||
**方法**：`/Users/jun/Codes/prodream/.worklogs/groups-dept/METHOD.md`
|
||||
**上一波产物**：`.worklogs/groups-dept/finding_macquarie_v2.md`（§5-3bis 是这 7 项）+ `macquarie-v2__groups.json`
|
||||
|
||||
---
|
||||
|
||||
## 1. 要取的 7 项（照 §5-3bis 的表，逐条给状态）
|
||||
|
||||
| # | URL | 预期 | 优先级 |
|
||||
|---|---|---|---|
|
||||
| 1 | `/macquarie-business-school/our-research/research-centres` | **MQBS 组目录，可能十几条真组** | **最高** |
|
||||
| 2 | `…/macquarie-law-school/our-research/corporate-citizenship-and-integrity/b-and-hr-access-to-justice-lab` | 内层 Lab | 中 |
|
||||
| 3 | `…/corporate-citizenship-and-integrity/financial-integrity-hub` | 内层 Hub | 中 |
|
||||
| 4 | `…/macquarie-law-school/our-research/more-research-excellence` | 可能是组目录 | 中 |
|
||||
| 5 | 各校级中心的 `<centre>/our-research` 子页（22 个 URL） | 可能点名内层组 | 中 |
|
||||
| 6 | `/partner/…/cyber-security-hub/our-research` | 该 Hub 的 research 页 | 低 |
|
||||
| 7 | `…/department-of-linguistics/our-research/collective-for-language-sciences/our-research` | 内层 research 页 | 低 |
|
||||
|
||||
（URL 前缀与完整路径以 `finding_macquarie_v2.md` §5-3bis 的表为准 —— **照那张表抄，不要凭本文件缩写猜**）
|
||||
|
||||
---
|
||||
|
||||
## 2. 判据（不变）
|
||||
|
||||
> **这是不是一个「导师带的做研究的团队」？** 粒度上限 = **一个导师能带的规模**。
|
||||
> 大一级（institute/theme/cluster/校级研究所）**不收**；**大一级下面挂着真组时，只收内层组**。
|
||||
|
||||
**不是组**：服务设施 · 研讨会系列 · 项目 · 学生培养计划 · 单项研究 · 空页重定向 · 无负责人的方向页。
|
||||
|
||||
**五字段**：课题组名称（组页 H1，无 H1 用目录里的官方组名并标 `_name_source`）·
|
||||
所在大学及研究中心（**上级是系/院/学部的一律只写大学**）· 研究方向（**没有 ⇒ 不要**）·
|
||||
联系邮箱（只取本组页/负责人页）· 最近五年论文数 = null
|
||||
|
||||
---
|
||||
|
||||
## 3. 交付
|
||||
|
||||
1. **7 项逐条状态表**：`# | URL | 取到/取不到(原因) | 新增组数 | 抽样 3 条`
|
||||
2. **新增的组**：追加进一份**新文件** `macquarie-v2__groups_addendum.json`（**不要覆盖上一波的 75 条**），五字段
|
||||
3. **更新台账**：MQBS 那一行的组数（上一波只计了 5 条，这处是最大缺口）
|
||||
4. **异常/未验清单**（附页面原文）
|
||||
5. 一句话：**补齐后麦考瑞一共多少组？还剩什么缺口？**
|
||||
|
||||
---
|
||||
|
||||
## 4. 硬要求
|
||||
|
||||
1. **只读**：只写产物到 `.worklogs/groups-dept/`。不写索引、不改业务代码、不动数据。
|
||||
2. **不设时间盒，7 项做完为止。** 每取完 2 项报一次 `status`。
|
||||
3. **自己新建 TaskSpace**（`newPage()` 独占 + `page.url()` 校验）；
|
||||
**不要碰 id=1 那个 user-owned 空间**。成功收尾调 `finish({keep:[]})`；
|
||||
因错误停止**就别调**、把 `spaceId` 报上来。
|
||||
4. **不许发明**：取不到 ⇒ 写 URL + 错误原文。
|
||||
5. **只做这 7 项**，不重跑全站。
|
||||
|
||||
## 5. 边界
|
||||
|
||||
- 不碰 prodream_backend、不碰 FE、不碰别的学校的产物。
|
||||
@@ -0,0 +1,86 @@
|
||||
# 课题组采集 · 完备性 · 邦德大学（Bond University）· `bond.edu.au`
|
||||
前一轮 19 条。 · Manager 2026-09-24
|
||||
|
||||
## 0. 先读方法件（**不要重新发明方法**）
|
||||
|
||||
**`/Users/jun/Codes/prodream/.worklogs/groups-dept/METHOD.md`** —— 那是活的采集方法，
|
||||
本波照它做。**重点看 §1「入口发现」与 §6「反面清单」。**
|
||||
|
||||
一句话：
|
||||
|
||||
> **找「组目录」，不要枚举 URL。**
|
||||
> 官方院系导航 → 各院系 `/research/` → **该页上的「组目录」**（`research-groups` / `research-centres` /
|
||||
> `groups` / `institutes` / `labs`，**最高价值是「每个组由一位 PI 带」的目录**）。
|
||||
> **入口 20–60 个/校** —— 不是 sitemap 里的上万条。
|
||||
|
||||
**参考已跑通的**：`REPORT.md`（Bristol 切片）· `finding_edinburgh_v2.md`（完备性标杆）、
|
||||
`finding_anu_v2.md` / `finding_qub_v2.md`（最近两所）。
|
||||
|
||||
---
|
||||
|
||||
## 1. 本波只做这一所：**邦德大学（Bond University）· `bond.edu.au`
|
||||
前一轮 19 条。**
|
||||
|
||||
---
|
||||
|
||||
## 2. 交付（**门槛，不是"尽量"**）
|
||||
|
||||
1. **院系台账（缺一行 = 没做完）**
|
||||
`院系（全部）| research 入口 URL | 状态（取到 / 取不到：<原因>）| 组数`
|
||||
—— 院系清单从**学校官方导航**拿（`/faculties/`、`/schools-departments/`、`/about/structure` 之类）；
|
||||
**给出枚举来源 URL 与总数**；**`未取页 = 0`**
|
||||
2. **全量候选产物**（五字段：课题组名称 / 所在大学及研究中心 / 研究方向 / 联系邮箱 / 最近五年论文数=null）
|
||||
—— **启发式自动抽，不逐条判**
|
||||
3. **随机抽 30 条逐条开页面核** → **准确率** + **假阳性类型** + **能否定点修掉**
|
||||
- 准确率 **≥90% 且类型集中** ⇒ 定点修那一类，**全量直接用，不再逐页核**
|
||||
4. **合理性校验**：`组数 ÷ 院系数`。**比值荒谬地低 ⇒ 回头找「组目录」那一层**（不是去爬更多 URL）
|
||||
5. **反例 / 判不准 / 未验清单**（各自附页面原文）
|
||||
6. 一句话：**最终组数？完备性有没有缺口？**
|
||||
|
||||
产物写到 `.worklogs/groups-dept/`，按 school-slug 命名（`<slug>_v3__groups.json` + `finding_<slug>_v3.md`）。
|
||||
|
||||
---
|
||||
|
||||
## 3. 判据与字段（摘要；**细则在 METHOD.md §2，以它为准**）
|
||||
|
||||
> **打开页面像人一样看：这是不是一个「导师带的做研究的团队」？**
|
||||
> **粒度上限 = 一个导师能带的规模。**
|
||||
> 大一级（institute / theme / cluster / 校级研究所）**不收**；
|
||||
> **但大一级下面挂着真组时，只收内层组。**
|
||||
|
||||
**不是组**：服务设施 · 研讨会系列 · 项目 · 学生培养计划 · 单项研究 · 空页重定向 · 无负责人的方向页。
|
||||
**共性是页面上有一句「非团队自述」—— 你去看那句话。**
|
||||
|
||||
| 字段 | 取法 |
|
||||
|---|---|
|
||||
| 课题组名称 | 该组**自己页面**的 H1（无 H1 用 `<title>`；JS 渲染/表格行用目录里的官方组名并标来源） |
|
||||
| 所在大学及研究中心 | 大学 + **真实上级研究单位**；⚠️ 上级是系/院/学部的**不许当研究中心写**，没有真上级就**只写大学** |
|
||||
| 研究方向 | 该组页上的方向文字。**没有 ⇒ 不要** |
|
||||
| 联系邮箱 | 只接受**本组页 / 本组负责人页**的邮箱 |
|
||||
| 最近五年论文数 | null |
|
||||
|
||||
---
|
||||
|
||||
## 4. ⚠️ 并行安全（出过事故，必须照做）
|
||||
|
||||
5 个 worker 曾挤在**同一个 Space 的同一个 page** 上 ⇒ 297 页跨校串页、整批作废。
|
||||
|
||||
1. **自己新建一个 TaskSpace**（不要复用别人已有的）
|
||||
2. **每个 URL 用独占的 `newPage()`**，**不要共用 p1**
|
||||
3. **每取一页校验 `page.url()` 与目标一致**；不一致 ⇒ 废掉重取
|
||||
4. 成功时收尾调一次 `await task.finish({ keep: [] })`；**因错误停止就别调**，把 `spaceId` 报上来
|
||||
|
||||
---
|
||||
|
||||
## 5. 硬要求
|
||||
|
||||
1. **只读**：只写产物到 `.worklogs/groups-dept/`。不写索引、不改业务代码、不动数据。
|
||||
2. **不设时间盒，做完整为止。** 但**每做完一个院系报一次 `status`**（三句话）。
|
||||
3. **判据来自页面。你的眼睛比任何正则都准。**
|
||||
4. **不许发明**：抓不到 ⇒ 写「未取到：<URL> + <错误原文>」。**判不准的贴出来，不要归类掉。**
|
||||
5. **只做这一所学校。**
|
||||
6. **不要从 sitemap 全量枚举 URL**（METHOD.md §6 反面清单第一条）。
|
||||
|
||||
## 6. 边界
|
||||
|
||||
- 不碰 prodream_backend、不碰 FE、不碰 `.worklogs/groups-rebuild/` 与 `groups-verify/`。
|
||||
@@ -0,0 +1,90 @@
|
||||
# 课题组采集 · 完备性 · 布里斯托大学（University of Bristol）· `bristol.ac.uk`
|
||||
切片已做 174 组（方法论基准）。
|
||||
⚠️ **但爱丁堡从 22 变 643 说明基准本身也可能偏低** —— 复验：
|
||||
学院站之外有没有**学院自己发布的 PI-group 目录**（爱丁堡漏掉的正是这一类，一个目录就 140 条）。 · Manager 2026-09-24
|
||||
|
||||
## 0. 先读方法件（**不要重新发明方法**）
|
||||
|
||||
**`/Users/jun/Codes/prodream/.worklogs/groups-dept/METHOD.md`** —— 那是活的采集方法，
|
||||
本波照它做。**重点看 §1「入口发现」与 §6「反面清单」。**
|
||||
|
||||
一句话：
|
||||
|
||||
> **找「组目录」，不要枚举 URL。**
|
||||
> 官方院系导航 → 各院系 `/research/` → **该页上的「组目录」**（`research-groups` / `research-centres` /
|
||||
> `groups` / `institutes` / `labs`，**最高价值是「每个组由一位 PI 带」的目录**）。
|
||||
> **入口 20–60 个/校** —— 不是 sitemap 里的上万条。
|
||||
|
||||
**参考已跑通的**：`REPORT.md`（Bristol 切片）· `finding_edinburgh_v2.md`（完备性标杆）、
|
||||
`finding_anu_v2.md` / `finding_qub_v2.md`（最近两所）。
|
||||
|
||||
---
|
||||
|
||||
## 1. 本波只做这一所：**布里斯托大学（University of Bristol）· `bristol.ac.uk`
|
||||
切片已做 174 组（方法论基准）。
|
||||
⚠️ **但爱丁堡从 22 变 643 说明基准本身也可能偏低** —— 复验：
|
||||
学院站之外有没有**学院自己发布的 PI-group 目录**（爱丁堡漏掉的正是这一类，一个目录就 140 条）。**
|
||||
|
||||
---
|
||||
|
||||
## 2. 交付（**门槛，不是"尽量"**）
|
||||
|
||||
1. **院系台账（缺一行 = 没做完）**
|
||||
`院系（全部）| research 入口 URL | 状态（取到 / 取不到：<原因>）| 组数`
|
||||
—— 院系清单从**学校官方导航**拿（`/faculties/`、`/schools-departments/`、`/about/structure` 之类）；
|
||||
**给出枚举来源 URL 与总数**；**`未取页 = 0`**
|
||||
2. **全量候选产物**（五字段：课题组名称 / 所在大学及研究中心 / 研究方向 / 联系邮箱 / 最近五年论文数=null）
|
||||
—— **启发式自动抽，不逐条判**
|
||||
3. **随机抽 30 条逐条开页面核** → **准确率** + **假阳性类型** + **能否定点修掉**
|
||||
- 准确率 **≥90% 且类型集中** ⇒ 定点修那一类，**全量直接用，不再逐页核**
|
||||
4. **合理性校验**：`组数 ÷ 院系数`。**比值荒谬地低 ⇒ 回头找「组目录」那一层**（不是去爬更多 URL）
|
||||
5. **反例 / 判不准 / 未验清单**（各自附页面原文）
|
||||
6. 一句话：**最终组数？完备性有没有缺口？**
|
||||
|
||||
产物写到 `.worklogs/groups-dept/`，按 school-slug 命名（`<slug>_v3__groups.json` + `finding_<slug>_v3.md`）。
|
||||
|
||||
---
|
||||
|
||||
## 3. 判据与字段（摘要；**细则在 METHOD.md §2，以它为准**）
|
||||
|
||||
> **打开页面像人一样看：这是不是一个「导师带的做研究的团队」？**
|
||||
> **粒度上限 = 一个导师能带的规模。**
|
||||
> 大一级（institute / theme / cluster / 校级研究所）**不收**；
|
||||
> **但大一级下面挂着真组时，只收内层组。**
|
||||
|
||||
**不是组**：服务设施 · 研讨会系列 · 项目 · 学生培养计划 · 单项研究 · 空页重定向 · 无负责人的方向页。
|
||||
**共性是页面上有一句「非团队自述」—— 你去看那句话。**
|
||||
|
||||
| 字段 | 取法 |
|
||||
|---|---|
|
||||
| 课题组名称 | 该组**自己页面**的 H1（无 H1 用 `<title>`；JS 渲染/表格行用目录里的官方组名并标来源） |
|
||||
| 所在大学及研究中心 | 大学 + **真实上级研究单位**；⚠️ 上级是系/院/学部的**不许当研究中心写**，没有真上级就**只写大学** |
|
||||
| 研究方向 | 该组页上的方向文字。**没有 ⇒ 不要** |
|
||||
| 联系邮箱 | 只接受**本组页 / 本组负责人页**的邮箱 |
|
||||
| 最近五年论文数 | null |
|
||||
|
||||
---
|
||||
|
||||
## 4. ⚠️ 并行安全（出过事故，必须照做）
|
||||
|
||||
5 个 worker 曾挤在**同一个 Space 的同一个 page** 上 ⇒ 297 页跨校串页、整批作废。
|
||||
|
||||
1. **自己新建一个 TaskSpace**（不要复用别人已有的）
|
||||
2. **每个 URL 用独占的 `newPage()`**，**不要共用 p1**
|
||||
3. **每取一页校验 `page.url()` 与目标一致**；不一致 ⇒ 废掉重取
|
||||
4. 成功时收尾调一次 `await task.finish({ keep: [] })`；**因错误停止就别调**，把 `spaceId` 报上来
|
||||
|
||||
---
|
||||
|
||||
## 5. 硬要求
|
||||
|
||||
1. **只读**：只写产物到 `.worklogs/groups-dept/`。不写索引、不改业务代码、不动数据。
|
||||
2. **不设时间盒，做完整为止。** 但**每做完一个院系报一次 `status`**（三句话）。
|
||||
3. **判据来自页面。你的眼睛比任何正则都准。**
|
||||
4. **不许发明**：抓不到 ⇒ 写「未取到：<URL> + <错误原文>」。**判不准的贴出来，不要归类掉。**
|
||||
5. **只做这一所学校。**
|
||||
6. **不要从 sitemap 全量枚举 URL**（METHOD.md §6 反面清单第一条）。
|
||||
|
||||
## 6. 边界
|
||||
|
||||
- 不碰 prodream_backend、不碰 FE、不碰 `.worklogs/groups-rebuild/` 与 `groups-verify/`。
|
||||
@@ -0,0 +1,86 @@
|
||||
# 课题组采集 · 完备性 · 堪培拉大学（University of Canberra）· `canberra.edu.au`
|
||||
前一轮 10 条。⚠️ 它的 `To Be Classified(15)` 是混装（`Environmental Science` + `Institute for Applied Ecology`）—— 那本是 Pure 的 type，本波**别走 Pure**，走院系站。 · Manager 2026-09-24
|
||||
|
||||
## 0. 先读方法件（**不要重新发明方法**）
|
||||
|
||||
**`/Users/jun/Codes/prodream/.worklogs/groups-dept/METHOD.md`** —— 那是活的采集方法，
|
||||
本波照它做。**重点看 §1「入口发现」与 §6「反面清单」。**
|
||||
|
||||
一句话：
|
||||
|
||||
> **找「组目录」，不要枚举 URL。**
|
||||
> 官方院系导航 → 各院系 `/research/` → **该页上的「组目录」**（`research-groups` / `research-centres` /
|
||||
> `groups` / `institutes` / `labs`，**最高价值是「每个组由一位 PI 带」的目录**）。
|
||||
> **入口 20–60 个/校** —— 不是 sitemap 里的上万条。
|
||||
|
||||
**参考已跑通的**：`REPORT.md`（Bristol 切片）· `finding_edinburgh_v2.md`（完备性标杆）、
|
||||
`finding_anu_v2.md` / `finding_qub_v2.md`（最近两所）。
|
||||
|
||||
---
|
||||
|
||||
## 1. 本波只做这一所：**堪培拉大学（University of Canberra）· `canberra.edu.au`
|
||||
前一轮 10 条。⚠️ 它的 `To Be Classified(15)` 是混装（`Environmental Science` + `Institute for Applied Ecology`）—— 那本是 Pure 的 type，本波**别走 Pure**，走院系站。**
|
||||
|
||||
---
|
||||
|
||||
## 2. 交付（**门槛，不是"尽量"**）
|
||||
|
||||
1. **院系台账（缺一行 = 没做完）**
|
||||
`院系（全部）| research 入口 URL | 状态（取到 / 取不到：<原因>）| 组数`
|
||||
—— 院系清单从**学校官方导航**拿（`/faculties/`、`/schools-departments/`、`/about/structure` 之类）；
|
||||
**给出枚举来源 URL 与总数**；**`未取页 = 0`**
|
||||
2. **全量候选产物**（五字段：课题组名称 / 所在大学及研究中心 / 研究方向 / 联系邮箱 / 最近五年论文数=null）
|
||||
—— **启发式自动抽，不逐条判**
|
||||
3. **随机抽 30 条逐条开页面核** → **准确率** + **假阳性类型** + **能否定点修掉**
|
||||
- 准确率 **≥90% 且类型集中** ⇒ 定点修那一类，**全量直接用，不再逐页核**
|
||||
4. **合理性校验**：`组数 ÷ 院系数`。**比值荒谬地低 ⇒ 回头找「组目录」那一层**（不是去爬更多 URL）
|
||||
5. **反例 / 判不准 / 未验清单**（各自附页面原文）
|
||||
6. 一句话：**最终组数？完备性有没有缺口？**
|
||||
|
||||
产物写到 `.worklogs/groups-dept/`，按 school-slug 命名（`<slug>_v3__groups.json` + `finding_<slug>_v3.md`）。
|
||||
|
||||
---
|
||||
|
||||
## 3. 判据与字段（摘要；**细则在 METHOD.md §2，以它为准**）
|
||||
|
||||
> **打开页面像人一样看：这是不是一个「导师带的做研究的团队」？**
|
||||
> **粒度上限 = 一个导师能带的规模。**
|
||||
> 大一级（institute / theme / cluster / 校级研究所）**不收**；
|
||||
> **但大一级下面挂着真组时，只收内层组。**
|
||||
|
||||
**不是组**：服务设施 · 研讨会系列 · 项目 · 学生培养计划 · 单项研究 · 空页重定向 · 无负责人的方向页。
|
||||
**共性是页面上有一句「非团队自述」—— 你去看那句话。**
|
||||
|
||||
| 字段 | 取法 |
|
||||
|---|---|
|
||||
| 课题组名称 | 该组**自己页面**的 H1（无 H1 用 `<title>`；JS 渲染/表格行用目录里的官方组名并标来源） |
|
||||
| 所在大学及研究中心 | 大学 + **真实上级研究单位**；⚠️ 上级是系/院/学部的**不许当研究中心写**，没有真上级就**只写大学** |
|
||||
| 研究方向 | 该组页上的方向文字。**没有 ⇒ 不要** |
|
||||
| 联系邮箱 | 只接受**本组页 / 本组负责人页**的邮箱 |
|
||||
| 最近五年论文数 | null |
|
||||
|
||||
---
|
||||
|
||||
## 4. ⚠️ 并行安全（出过事故，必须照做）
|
||||
|
||||
5 个 worker 曾挤在**同一个 Space 的同一个 page** 上 ⇒ 297 页跨校串页、整批作废。
|
||||
|
||||
1. **自己新建一个 TaskSpace**（不要复用别人已有的）
|
||||
2. **每个 URL 用独占的 `newPage()`**，**不要共用 p1**
|
||||
3. **每取一页校验 `page.url()` 与目标一致**；不一致 ⇒ 废掉重取
|
||||
4. 成功时收尾调一次 `await task.finish({ keep: [] })`；**因错误停止就别调**，把 `spaceId` 报上来
|
||||
|
||||
---
|
||||
|
||||
## 5. 硬要求
|
||||
|
||||
1. **只读**：只写产物到 `.worklogs/groups-dept/`。不写索引、不改业务代码、不动数据。
|
||||
2. **不设时间盒，做完整为止。** 但**每做完一个院系报一次 `status`**（三句话）。
|
||||
3. **判据来自页面。你的眼睛比任何正则都准。**
|
||||
4. **不许发明**：抓不到 ⇒ 写「未取到：<URL> + <错误原文>」。**判不准的贴出来，不要归类掉。**
|
||||
5. **只做这一所学校。**
|
||||
6. **不要从 sitemap 全量枚举 URL**（METHOD.md §6 反面清单第一条）。
|
||||
|
||||
## 6. 边界
|
||||
|
||||
- 不碰 prodream_backend、不碰 FE、不碰 `.worklogs/groups-rebuild/` 与 `groups-verify/`。
|
||||
@@ -0,0 +1,86 @@
|
||||
# 课题组采集 · 完备性 · 查尔斯达尔文大学（Charles Darwin University）· `cdu.edu.au`
|
||||
前一轮 11 条。 · Manager 2026-09-24
|
||||
|
||||
## 0. 先读方法件（**不要重新发明方法**）
|
||||
|
||||
**`/Users/jun/Codes/prodream/.worklogs/groups-dept/METHOD.md`** —— 那是活的采集方法，
|
||||
本波照它做。**重点看 §1「入口发现」与 §6「反面清单」。**
|
||||
|
||||
一句话：
|
||||
|
||||
> **找「组目录」，不要枚举 URL。**
|
||||
> 官方院系导航 → 各院系 `/research/` → **该页上的「组目录」**（`research-groups` / `research-centres` /
|
||||
> `groups` / `institutes` / `labs`，**最高价值是「每个组由一位 PI 带」的目录**）。
|
||||
> **入口 20–60 个/校** —— 不是 sitemap 里的上万条。
|
||||
|
||||
**参考已跑通的**：`REPORT.md`（Bristol 切片）· `finding_edinburgh_v2.md`（完备性标杆）、
|
||||
`finding_anu_v2.md` / `finding_qub_v2.md`（最近两所）。
|
||||
|
||||
---
|
||||
|
||||
## 1. 本波只做这一所：**查尔斯达尔文大学（Charles Darwin University）· `cdu.edu.au`
|
||||
前一轮 11 条。**
|
||||
|
||||
---
|
||||
|
||||
## 2. 交付（**门槛，不是"尽量"**）
|
||||
|
||||
1. **院系台账（缺一行 = 没做完）**
|
||||
`院系（全部）| research 入口 URL | 状态（取到 / 取不到：<原因>）| 组数`
|
||||
—— 院系清单从**学校官方导航**拿（`/faculties/`、`/schools-departments/`、`/about/structure` 之类）；
|
||||
**给出枚举来源 URL 与总数**；**`未取页 = 0`**
|
||||
2. **全量候选产物**（五字段：课题组名称 / 所在大学及研究中心 / 研究方向 / 联系邮箱 / 最近五年论文数=null）
|
||||
—— **启发式自动抽，不逐条判**
|
||||
3. **随机抽 30 条逐条开页面核** → **准确率** + **假阳性类型** + **能否定点修掉**
|
||||
- 准确率 **≥90% 且类型集中** ⇒ 定点修那一类，**全量直接用，不再逐页核**
|
||||
4. **合理性校验**：`组数 ÷ 院系数`。**比值荒谬地低 ⇒ 回头找「组目录」那一层**（不是去爬更多 URL）
|
||||
5. **反例 / 判不准 / 未验清单**（各自附页面原文）
|
||||
6. 一句话：**最终组数？完备性有没有缺口？**
|
||||
|
||||
产物写到 `.worklogs/groups-dept/`，按 school-slug 命名（`<slug>_v3__groups.json` + `finding_<slug>_v3.md`）。
|
||||
|
||||
---
|
||||
|
||||
## 3. 判据与字段（摘要；**细则在 METHOD.md §2，以它为准**）
|
||||
|
||||
> **打开页面像人一样看：这是不是一个「导师带的做研究的团队」？**
|
||||
> **粒度上限 = 一个导师能带的规模。**
|
||||
> 大一级（institute / theme / cluster / 校级研究所）**不收**；
|
||||
> **但大一级下面挂着真组时，只收内层组。**
|
||||
|
||||
**不是组**：服务设施 · 研讨会系列 · 项目 · 学生培养计划 · 单项研究 · 空页重定向 · 无负责人的方向页。
|
||||
**共性是页面上有一句「非团队自述」—— 你去看那句话。**
|
||||
|
||||
| 字段 | 取法 |
|
||||
|---|---|
|
||||
| 课题组名称 | 该组**自己页面**的 H1（无 H1 用 `<title>`；JS 渲染/表格行用目录里的官方组名并标来源） |
|
||||
| 所在大学及研究中心 | 大学 + **真实上级研究单位**；⚠️ 上级是系/院/学部的**不许当研究中心写**，没有真上级就**只写大学** |
|
||||
| 研究方向 | 该组页上的方向文字。**没有 ⇒ 不要** |
|
||||
| 联系邮箱 | 只接受**本组页 / 本组负责人页**的邮箱 |
|
||||
| 最近五年论文数 | null |
|
||||
|
||||
---
|
||||
|
||||
## 4. ⚠️ 并行安全（出过事故，必须照做）
|
||||
|
||||
5 个 worker 曾挤在**同一个 Space 的同一个 page** 上 ⇒ 297 页跨校串页、整批作废。
|
||||
|
||||
1. **自己新建一个 TaskSpace**（不要复用别人已有的）
|
||||
2. **每个 URL 用独占的 `newPage()`**，**不要共用 p1**
|
||||
3. **每取一页校验 `page.url()` 与目标一致**；不一致 ⇒ 废掉重取
|
||||
4. 成功时收尾调一次 `await task.finish({ keep: [] })`；**因错误停止就别调**，把 `spaceId` 报上来
|
||||
|
||||
---
|
||||
|
||||
## 5. 硬要求
|
||||
|
||||
1. **只读**：只写产物到 `.worklogs/groups-dept/`。不写索引、不改业务代码、不动数据。
|
||||
2. **不设时间盒，做完整为止。** 但**每做完一个院系报一次 `status`**（三句话）。
|
||||
3. **判据来自页面。你的眼睛比任何正则都准。**
|
||||
4. **不许发明**：抓不到 ⇒ 写「未取到：<URL> + <错误原文>」。**判不准的贴出来，不要归类掉。**
|
||||
5. **只做这一所学校。**
|
||||
6. **不要从 sitemap 全量枚举 URL**（METHOD.md §6 反面清单第一条）。
|
||||
|
||||
## 6. 边界
|
||||
|
||||
- 不碰 prodream_backend、不碰 FE、不碰 `.worklogs/groups-rebuild/` 与 `groups-verify/`。
|
||||
@@ -0,0 +1,88 @@
|
||||
# 课题组采集 · 完备性 · 考陶尔德艺术学院（The Courtauld Institute of Art）· `courtauld.ac.uk`
|
||||
前一轮 93 候选只 8 条过关。⚠️ 单学院专科机构、全站无 faculty/school/department 结构。
|
||||
**复验：它的 `research/` 之外还有没有别的研究单元入口。** · Manager 2026-09-24
|
||||
|
||||
## 0. 先读方法件（**不要重新发明方法**）
|
||||
|
||||
**`/Users/jun/Codes/prodream/.worklogs/groups-dept/METHOD.md`** —— 那是活的采集方法，
|
||||
本波照它做。**重点看 §1「入口发现」与 §6「反面清单」。**
|
||||
|
||||
一句话：
|
||||
|
||||
> **找「组目录」，不要枚举 URL。**
|
||||
> 官方院系导航 → 各院系 `/research/` → **该页上的「组目录」**（`research-groups` / `research-centres` /
|
||||
> `groups` / `institutes` / `labs`，**最高价值是「每个组由一位 PI 带」的目录**）。
|
||||
> **入口 20–60 个/校** —— 不是 sitemap 里的上万条。
|
||||
|
||||
**参考已跑通的**：`REPORT.md`（Bristol 切片）· `finding_edinburgh_v2.md`（完备性标杆）、
|
||||
`finding_anu_v2.md` / `finding_qub_v2.md`（最近两所）。
|
||||
|
||||
---
|
||||
|
||||
## 1. 本波只做这一所：**考陶尔德艺术学院（The Courtauld Institute of Art）· `courtauld.ac.uk`
|
||||
前一轮 93 候选只 8 条过关。⚠️ 单学院专科机构、全站无 faculty/school/department 结构。
|
||||
**复验：它的 `research/` 之外还有没有别的研究单元入口。****
|
||||
|
||||
---
|
||||
|
||||
## 2. 交付（**门槛，不是"尽量"**）
|
||||
|
||||
1. **院系台账（缺一行 = 没做完）**
|
||||
`院系（全部）| research 入口 URL | 状态（取到 / 取不到：<原因>）| 组数`
|
||||
—— 院系清单从**学校官方导航**拿（`/faculties/`、`/schools-departments/`、`/about/structure` 之类）；
|
||||
**给出枚举来源 URL 与总数**；**`未取页 = 0`**
|
||||
2. **全量候选产物**（五字段：课题组名称 / 所在大学及研究中心 / 研究方向 / 联系邮箱 / 最近五年论文数=null）
|
||||
—— **启发式自动抽，不逐条判**
|
||||
3. **随机抽 30 条逐条开页面核** → **准确率** + **假阳性类型** + **能否定点修掉**
|
||||
- 准确率 **≥90% 且类型集中** ⇒ 定点修那一类，**全量直接用，不再逐页核**
|
||||
4. **合理性校验**：`组数 ÷ 院系数`。**比值荒谬地低 ⇒ 回头找「组目录」那一层**（不是去爬更多 URL）
|
||||
5. **反例 / 判不准 / 未验清单**（各自附页面原文）
|
||||
6. 一句话：**最终组数？完备性有没有缺口？**
|
||||
|
||||
产物写到 `.worklogs/groups-dept/`，按 school-slug 命名（`<slug>_v3__groups.json` + `finding_<slug>_v3.md`）。
|
||||
|
||||
---
|
||||
|
||||
## 3. 判据与字段（摘要；**细则在 METHOD.md §2，以它为准**）
|
||||
|
||||
> **打开页面像人一样看：这是不是一个「导师带的做研究的团队」？**
|
||||
> **粒度上限 = 一个导师能带的规模。**
|
||||
> 大一级（institute / theme / cluster / 校级研究所）**不收**；
|
||||
> **但大一级下面挂着真组时，只收内层组。**
|
||||
|
||||
**不是组**：服务设施 · 研讨会系列 · 项目 · 学生培养计划 · 单项研究 · 空页重定向 · 无负责人的方向页。
|
||||
**共性是页面上有一句「非团队自述」—— 你去看那句话。**
|
||||
|
||||
| 字段 | 取法 |
|
||||
|---|---|
|
||||
| 课题组名称 | 该组**自己页面**的 H1（无 H1 用 `<title>`；JS 渲染/表格行用目录里的官方组名并标来源） |
|
||||
| 所在大学及研究中心 | 大学 + **真实上级研究单位**；⚠️ 上级是系/院/学部的**不许当研究中心写**，没有真上级就**只写大学** |
|
||||
| 研究方向 | 该组页上的方向文字。**没有 ⇒ 不要** |
|
||||
| 联系邮箱 | 只接受**本组页 / 本组负责人页**的邮箱 |
|
||||
| 最近五年论文数 | null |
|
||||
|
||||
---
|
||||
|
||||
## 4. ⚠️ 并行安全（出过事故，必须照做）
|
||||
|
||||
5 个 worker 曾挤在**同一个 Space 的同一个 page** 上 ⇒ 297 页跨校串页、整批作废。
|
||||
|
||||
1. **自己新建一个 TaskSpace**（不要复用别人已有的）
|
||||
2. **每个 URL 用独占的 `newPage()`**，**不要共用 p1**
|
||||
3. **每取一页校验 `page.url()` 与目标一致**；不一致 ⇒ 废掉重取
|
||||
4. 成功时收尾调一次 `await task.finish({ keep: [] })`；**因错误停止就别调**，把 `spaceId` 报上来
|
||||
|
||||
---
|
||||
|
||||
## 5. 硬要求
|
||||
|
||||
1. **只读**：只写产物到 `.worklogs/groups-dept/`。不写索引、不改业务代码、不动数据。
|
||||
2. **不设时间盒，做完整为止。** 但**每做完一个院系报一次 `status`**（三句话）。
|
||||
3. **判据来自页面。你的眼睛比任何正则都准。**
|
||||
4. **不许发明**：抓不到 ⇒ 写「未取到：<URL> + <错误原文>」。**判不准的贴出来，不要归类掉。**
|
||||
5. **只做这一所学校。**
|
||||
6. **不要从 sitemap 全量枚举 URL**（METHOD.md §6 反面清单第一条）。
|
||||
|
||||
## 6. 边界
|
||||
|
||||
- 不碰 prodream_backend、不碰 FE、不碰 `.worklogs/groups-rebuild/` 与 `groups-verify/`。
|
||||
@@ -0,0 +1,86 @@
|
||||
# 课题组采集 · 完备性 · 弗林德斯大学（Flinders University）· `flinders.edu.au`
|
||||
前一轮 17 条。 · Manager 2026-09-24
|
||||
|
||||
## 0. 先读方法件（**不要重新发明方法**）
|
||||
|
||||
**`/Users/jun/Codes/prodream/.worklogs/groups-dept/METHOD.md`** —— 那是活的采集方法，
|
||||
本波照它做。**重点看 §1「入口发现」与 §6「反面清单」。**
|
||||
|
||||
一句话：
|
||||
|
||||
> **找「组目录」，不要枚举 URL。**
|
||||
> 官方院系导航 → 各院系 `/research/` → **该页上的「组目录」**（`research-groups` / `research-centres` /
|
||||
> `groups` / `institutes` / `labs`，**最高价值是「每个组由一位 PI 带」的目录**）。
|
||||
> **入口 20–60 个/校** —— 不是 sitemap 里的上万条。
|
||||
|
||||
**参考已跑通的**：`REPORT.md`（Bristol 切片）· `finding_edinburgh_v2.md`（完备性标杆）、
|
||||
`finding_anu_v2.md` / `finding_qub_v2.md`（最近两所）。
|
||||
|
||||
---
|
||||
|
||||
## 1. 本波只做这一所：**弗林德斯大学（Flinders University）· `flinders.edu.au`
|
||||
前一轮 17 条。**
|
||||
|
||||
---
|
||||
|
||||
## 2. 交付（**门槛，不是"尽量"**）
|
||||
|
||||
1. **院系台账（缺一行 = 没做完）**
|
||||
`院系（全部）| research 入口 URL | 状态（取到 / 取不到：<原因>）| 组数`
|
||||
—— 院系清单从**学校官方导航**拿（`/faculties/`、`/schools-departments/`、`/about/structure` 之类）；
|
||||
**给出枚举来源 URL 与总数**；**`未取页 = 0`**
|
||||
2. **全量候选产物**（五字段：课题组名称 / 所在大学及研究中心 / 研究方向 / 联系邮箱 / 最近五年论文数=null）
|
||||
—— **启发式自动抽，不逐条判**
|
||||
3. **随机抽 30 条逐条开页面核** → **准确率** + **假阳性类型** + **能否定点修掉**
|
||||
- 准确率 **≥90% 且类型集中** ⇒ 定点修那一类，**全量直接用，不再逐页核**
|
||||
4. **合理性校验**：`组数 ÷ 院系数`。**比值荒谬地低 ⇒ 回头找「组目录」那一层**（不是去爬更多 URL）
|
||||
5. **反例 / 判不准 / 未验清单**（各自附页面原文）
|
||||
6. 一句话：**最终组数？完备性有没有缺口？**
|
||||
|
||||
产物写到 `.worklogs/groups-dept/`，按 school-slug 命名（`<slug>_v3__groups.json` + `finding_<slug>_v3.md`）。
|
||||
|
||||
---
|
||||
|
||||
## 3. 判据与字段（摘要；**细则在 METHOD.md §2，以它为准**）
|
||||
|
||||
> **打开页面像人一样看：这是不是一个「导师带的做研究的团队」？**
|
||||
> **粒度上限 = 一个导师能带的规模。**
|
||||
> 大一级（institute / theme / cluster / 校级研究所）**不收**；
|
||||
> **但大一级下面挂着真组时，只收内层组。**
|
||||
|
||||
**不是组**：服务设施 · 研讨会系列 · 项目 · 学生培养计划 · 单项研究 · 空页重定向 · 无负责人的方向页。
|
||||
**共性是页面上有一句「非团队自述」—— 你去看那句话。**
|
||||
|
||||
| 字段 | 取法 |
|
||||
|---|---|
|
||||
| 课题组名称 | 该组**自己页面**的 H1（无 H1 用 `<title>`；JS 渲染/表格行用目录里的官方组名并标来源） |
|
||||
| 所在大学及研究中心 | 大学 + **真实上级研究单位**；⚠️ 上级是系/院/学部的**不许当研究中心写**，没有真上级就**只写大学** |
|
||||
| 研究方向 | 该组页上的方向文字。**没有 ⇒ 不要** |
|
||||
| 联系邮箱 | 只接受**本组页 / 本组负责人页**的邮箱 |
|
||||
| 最近五年论文数 | null |
|
||||
|
||||
---
|
||||
|
||||
## 4. ⚠️ 并行安全（出过事故，必须照做）
|
||||
|
||||
5 个 worker 曾挤在**同一个 Space 的同一个 page** 上 ⇒ 297 页跨校串页、整批作废。
|
||||
|
||||
1. **自己新建一个 TaskSpace**（不要复用别人已有的）
|
||||
2. **每个 URL 用独占的 `newPage()`**，**不要共用 p1**
|
||||
3. **每取一页校验 `page.url()` 与目标一致**；不一致 ⇒ 废掉重取
|
||||
4. 成功时收尾调一次 `await task.finish({ keep: [] })`；**因错误停止就别调**，把 `spaceId` 报上来
|
||||
|
||||
---
|
||||
|
||||
## 5. 硬要求
|
||||
|
||||
1. **只读**：只写产物到 `.worklogs/groups-dept/`。不写索引、不改业务代码、不动数据。
|
||||
2. **不设时间盒，做完整为止。** 但**每做完一个院系报一次 `status`**（三句话）。
|
||||
3. **判据来自页面。你的眼睛比任何正则都准。**
|
||||
4. **不许发明**：抓不到 ⇒ 写「未取到：<URL> + <错误原文>」。**判不准的贴出来，不要归类掉。**
|
||||
5. **只做这一所学校。**
|
||||
6. **不要从 sitemap 全量枚举 URL**（METHOD.md §6 反面清单第一条）。
|
||||
|
||||
## 6. 边界
|
||||
|
||||
- 不碰 prodream_backend、不碰 FE、不碰 `.worklogs/groups-rebuild/` 与 `groups-verify/`。
|
||||
@@ -0,0 +1,88 @@
|
||||
# 课题组采集 · 完备性 · 市政厅音乐及戏剧学院（Guildhall School of Music & Drama）· `gsmd.ac.uk`
|
||||
前一轮判**收 0**，附页面原文（学校自述 research 是 individual，不按组组织）。
|
||||
⚠️ **复验**：看有没有漏掉 PI-group 形态的组目录。若确认是 0，要给出**比上一轮更硬的证据**（原文引用 + 你找过哪些入口）。 · Manager 2026-09-24
|
||||
|
||||
## 0. 先读方法件（**不要重新发明方法**）
|
||||
|
||||
**`/Users/jun/Codes/prodream/.worklogs/groups-dept/METHOD.md`** —— 那是活的采集方法，
|
||||
本波照它做。**重点看 §1「入口发现」与 §6「反面清单」。**
|
||||
|
||||
一句话：
|
||||
|
||||
> **找「组目录」，不要枚举 URL。**
|
||||
> 官方院系导航 → 各院系 `/research/` → **该页上的「组目录」**（`research-groups` / `research-centres` /
|
||||
> `groups` / `institutes` / `labs`，**最高价值是「每个组由一位 PI 带」的目录**）。
|
||||
> **入口 20–60 个/校** —— 不是 sitemap 里的上万条。
|
||||
|
||||
**参考已跑通的**：`REPORT.md`（Bristol 切片）· `finding_edinburgh_v2.md`（完备性标杆）、
|
||||
`finding_anu_v2.md` / `finding_qub_v2.md`（最近两所）。
|
||||
|
||||
---
|
||||
|
||||
## 1. 本波只做这一所：**市政厅音乐及戏剧学院（Guildhall School of Music & Drama）· `gsmd.ac.uk`
|
||||
前一轮判**收 0**，附页面原文（学校自述 research 是 individual，不按组组织）。
|
||||
⚠️ **复验**：看有没有漏掉 PI-group 形态的组目录。若确认是 0，要给出**比上一轮更硬的证据**（原文引用 + 你找过哪些入口）。**
|
||||
|
||||
---
|
||||
|
||||
## 2. 交付（**门槛，不是"尽量"**）
|
||||
|
||||
1. **院系台账（缺一行 = 没做完）**
|
||||
`院系（全部）| research 入口 URL | 状态（取到 / 取不到：<原因>）| 组数`
|
||||
—— 院系清单从**学校官方导航**拿（`/faculties/`、`/schools-departments/`、`/about/structure` 之类）；
|
||||
**给出枚举来源 URL 与总数**；**`未取页 = 0`**
|
||||
2. **全量候选产物**（五字段：课题组名称 / 所在大学及研究中心 / 研究方向 / 联系邮箱 / 最近五年论文数=null）
|
||||
—— **启发式自动抽，不逐条判**
|
||||
3. **随机抽 30 条逐条开页面核** → **准确率** + **假阳性类型** + **能否定点修掉**
|
||||
- 准确率 **≥90% 且类型集中** ⇒ 定点修那一类，**全量直接用，不再逐页核**
|
||||
4. **合理性校验**：`组数 ÷ 院系数`。**比值荒谬地低 ⇒ 回头找「组目录」那一层**（不是去爬更多 URL）
|
||||
5. **反例 / 判不准 / 未验清单**（各自附页面原文）
|
||||
6. 一句话：**最终组数？完备性有没有缺口？**
|
||||
|
||||
产物写到 `.worklogs/groups-dept/`，按 school-slug 命名（`<slug>_v3__groups.json` + `finding_<slug>_v3.md`）。
|
||||
|
||||
---
|
||||
|
||||
## 3. 判据与字段（摘要；**细则在 METHOD.md §2，以它为准**）
|
||||
|
||||
> **打开页面像人一样看：这是不是一个「导师带的做研究的团队」？**
|
||||
> **粒度上限 = 一个导师能带的规模。**
|
||||
> 大一级（institute / theme / cluster / 校级研究所）**不收**；
|
||||
> **但大一级下面挂着真组时，只收内层组。**
|
||||
|
||||
**不是组**：服务设施 · 研讨会系列 · 项目 · 学生培养计划 · 单项研究 · 空页重定向 · 无负责人的方向页。
|
||||
**共性是页面上有一句「非团队自述」—— 你去看那句话。**
|
||||
|
||||
| 字段 | 取法 |
|
||||
|---|---|
|
||||
| 课题组名称 | 该组**自己页面**的 H1（无 H1 用 `<title>`；JS 渲染/表格行用目录里的官方组名并标来源） |
|
||||
| 所在大学及研究中心 | 大学 + **真实上级研究单位**；⚠️ 上级是系/院/学部的**不许当研究中心写**，没有真上级就**只写大学** |
|
||||
| 研究方向 | 该组页上的方向文字。**没有 ⇒ 不要** |
|
||||
| 联系邮箱 | 只接受**本组页 / 本组负责人页**的邮箱 |
|
||||
| 最近五年论文数 | null |
|
||||
|
||||
---
|
||||
|
||||
## 4. ⚠️ 并行安全（出过事故，必须照做）
|
||||
|
||||
5 个 worker 曾挤在**同一个 Space 的同一个 page** 上 ⇒ 297 页跨校串页、整批作废。
|
||||
|
||||
1. **自己新建一个 TaskSpace**（不要复用别人已有的）
|
||||
2. **每个 URL 用独占的 `newPage()`**，**不要共用 p1**
|
||||
3. **每取一页校验 `page.url()` 与目标一致**；不一致 ⇒ 废掉重取
|
||||
4. 成功时收尾调一次 `await task.finish({ keep: [] })`；**因错误停止就别调**，把 `spaceId` 报上来
|
||||
|
||||
---
|
||||
|
||||
## 5. 硬要求
|
||||
|
||||
1. **只读**：只写产物到 `.worklogs/groups-dept/`。不写索引、不改业务代码、不动数据。
|
||||
2. **不设时间盒，做完整为止。** 但**每做完一个院系报一次 `status`**（三句话）。
|
||||
3. **判据来自页面。你的眼睛比任何正则都准。**
|
||||
4. **不许发明**：抓不到 ⇒ 写「未取到：<URL> + <错误原文>」。**判不准的贴出来，不要归类掉。**
|
||||
5. **只做这一所学校。**
|
||||
6. **不要从 sitemap 全量枚举 URL**（METHOD.md §6 反面清单第一条）。
|
||||
|
||||
## 6. 边界
|
||||
|
||||
- 不碰 prodream_backend、不碰 FE、不碰 `.worklogs/groups-rebuild/` 与 `groups-verify/`。
|
||||
@@ -0,0 +1,86 @@
|
||||
# 课题组采集 · 完备性 · 利物浦热带医学院（Liverpool School of Tropical Medicine）· `lstmed.ac.uk`
|
||||
前一轮 33 条；⚠️ 9 个 research theme 里 **8 个 404**（只有 `/research/malaria-other-vector-borne-diseases` 活着）—— 找它的**实际组目录**在哪。 · Manager 2026-09-24
|
||||
|
||||
## 0. 先读方法件（**不要重新发明方法**）
|
||||
|
||||
**`/Users/jun/Codes/prodream/.worklogs/groups-dept/METHOD.md`** —— 那是活的采集方法，
|
||||
本波照它做。**重点看 §1「入口发现」与 §6「反面清单」。**
|
||||
|
||||
一句话：
|
||||
|
||||
> **找「组目录」，不要枚举 URL。**
|
||||
> 官方院系导航 → 各院系 `/research/` → **该页上的「组目录」**（`research-groups` / `research-centres` /
|
||||
> `groups` / `institutes` / `labs`，**最高价值是「每个组由一位 PI 带」的目录**）。
|
||||
> **入口 20–60 个/校** —— 不是 sitemap 里的上万条。
|
||||
|
||||
**参考已跑通的**：`REPORT.md`（Bristol 切片）· `finding_edinburgh_v2.md`（完备性标杆）、
|
||||
`finding_anu_v2.md` / `finding_qub_v2.md`（最近两所）。
|
||||
|
||||
---
|
||||
|
||||
## 1. 本波只做这一所：**利物浦热带医学院（Liverpool School of Tropical Medicine）· `lstmed.ac.uk`
|
||||
前一轮 33 条；⚠️ 9 个 research theme 里 **8 个 404**（只有 `/research/malaria-other-vector-borne-diseases` 活着）—— 找它的**实际组目录**在哪。**
|
||||
|
||||
---
|
||||
|
||||
## 2. 交付（**门槛，不是"尽量"**）
|
||||
|
||||
1. **院系台账（缺一行 = 没做完）**
|
||||
`院系（全部）| research 入口 URL | 状态（取到 / 取不到：<原因>）| 组数`
|
||||
—— 院系清单从**学校官方导航**拿（`/faculties/`、`/schools-departments/`、`/about/structure` 之类）；
|
||||
**给出枚举来源 URL 与总数**；**`未取页 = 0`**
|
||||
2. **全量候选产物**（五字段：课题组名称 / 所在大学及研究中心 / 研究方向 / 联系邮箱 / 最近五年论文数=null）
|
||||
—— **启发式自动抽，不逐条判**
|
||||
3. **随机抽 30 条逐条开页面核** → **准确率** + **假阳性类型** + **能否定点修掉**
|
||||
- 准确率 **≥90% 且类型集中** ⇒ 定点修那一类，**全量直接用，不再逐页核**
|
||||
4. **合理性校验**：`组数 ÷ 院系数`。**比值荒谬地低 ⇒ 回头找「组目录」那一层**（不是去爬更多 URL）
|
||||
5. **反例 / 判不准 / 未验清单**（各自附页面原文）
|
||||
6. 一句话：**最终组数？完备性有没有缺口？**
|
||||
|
||||
产物写到 `.worklogs/groups-dept/`，按 school-slug 命名（`<slug>_v3__groups.json` + `finding_<slug>_v3.md`）。
|
||||
|
||||
---
|
||||
|
||||
## 3. 判据与字段（摘要；**细则在 METHOD.md §2，以它为准**）
|
||||
|
||||
> **打开页面像人一样看：这是不是一个「导师带的做研究的团队」？**
|
||||
> **粒度上限 = 一个导师能带的规模。**
|
||||
> 大一级（institute / theme / cluster / 校级研究所）**不收**；
|
||||
> **但大一级下面挂着真组时，只收内层组。**
|
||||
|
||||
**不是组**：服务设施 · 研讨会系列 · 项目 · 学生培养计划 · 单项研究 · 空页重定向 · 无负责人的方向页。
|
||||
**共性是页面上有一句「非团队自述」—— 你去看那句话。**
|
||||
|
||||
| 字段 | 取法 |
|
||||
|---|---|
|
||||
| 课题组名称 | 该组**自己页面**的 H1（无 H1 用 `<title>`；JS 渲染/表格行用目录里的官方组名并标来源） |
|
||||
| 所在大学及研究中心 | 大学 + **真实上级研究单位**；⚠️ 上级是系/院/学部的**不许当研究中心写**，没有真上级就**只写大学** |
|
||||
| 研究方向 | 该组页上的方向文字。**没有 ⇒ 不要** |
|
||||
| 联系邮箱 | 只接受**本组页 / 本组负责人页**的邮箱 |
|
||||
| 最近五年论文数 | null |
|
||||
|
||||
---
|
||||
|
||||
## 4. ⚠️ 并行安全（出过事故，必须照做）
|
||||
|
||||
5 个 worker 曾挤在**同一个 Space 的同一个 page** 上 ⇒ 297 页跨校串页、整批作废。
|
||||
|
||||
1. **自己新建一个 TaskSpace**（不要复用别人已有的）
|
||||
2. **每个 URL 用独占的 `newPage()`**，**不要共用 p1**
|
||||
3. **每取一页校验 `page.url()` 与目标一致**；不一致 ⇒ 废掉重取
|
||||
4. 成功时收尾调一次 `await task.finish({ keep: [] })`；**因错误停止就别调**，把 `spaceId` 报上来
|
||||
|
||||
---
|
||||
|
||||
## 5. 硬要求
|
||||
|
||||
1. **只读**：只写产物到 `.worklogs/groups-dept/`。不写索引、不改业务代码、不动数据。
|
||||
2. **不设时间盒，做完整为止。** 但**每做完一个院系报一次 `status`**（三句话）。
|
||||
3. **判据来自页面。你的眼睛比任何正则都准。**
|
||||
4. **不许发明**：抓不到 ⇒ 写「未取到：<URL> + <错误原文>」。**判不准的贴出来，不要归类掉。**
|
||||
5. **只做这一所学校。**
|
||||
6. **不要从 sitemap 全量枚举 URL**（METHOD.md §6 反面清单第一条）。
|
||||
|
||||
## 6. 边界
|
||||
|
||||
- 不碰 prodream_backend、不碰 FE、不碰 `.worklogs/groups-rebuild/` 与 `groups-verify/`。
|
||||
@@ -0,0 +1,88 @@
|
||||
# 课题组采集 · 完备性 · 苏格兰皇家音乐学院（Royal Conservatoire of Scotland）· `rcs.ac.uk`
|
||||
前一轮判**收 0**（7 个 cluster 是校级「seven research clusters」，按粒度不收）。
|
||||
⚠️ **复验**：有没有更细的具名组目录。同样，若确认 0 要给更硬的证据。 · Manager 2026-09-24
|
||||
|
||||
## 0. 先读方法件（**不要重新发明方法**）
|
||||
|
||||
**`/Users/jun/Codes/prodream/.worklogs/groups-dept/METHOD.md`** —— 那是活的采集方法，
|
||||
本波照它做。**重点看 §1「入口发现」与 §6「反面清单」。**
|
||||
|
||||
一句话：
|
||||
|
||||
> **找「组目录」，不要枚举 URL。**
|
||||
> 官方院系导航 → 各院系 `/research/` → **该页上的「组目录」**（`research-groups` / `research-centres` /
|
||||
> `groups` / `institutes` / `labs`，**最高价值是「每个组由一位 PI 带」的目录**）。
|
||||
> **入口 20–60 个/校** —— 不是 sitemap 里的上万条。
|
||||
|
||||
**参考已跑通的**：`REPORT.md`（Bristol 切片）· `finding_edinburgh_v2.md`（完备性标杆）、
|
||||
`finding_anu_v2.md` / `finding_qub_v2.md`（最近两所）。
|
||||
|
||||
---
|
||||
|
||||
## 1. 本波只做这一所：**苏格兰皇家音乐学院（Royal Conservatoire of Scotland）· `rcs.ac.uk`
|
||||
前一轮判**收 0**（7 个 cluster 是校级「seven research clusters」，按粒度不收）。
|
||||
⚠️ **复验**：有没有更细的具名组目录。同样，若确认 0 要给更硬的证据。**
|
||||
|
||||
---
|
||||
|
||||
## 2. 交付（**门槛，不是"尽量"**）
|
||||
|
||||
1. **院系台账（缺一行 = 没做完）**
|
||||
`院系（全部）| research 入口 URL | 状态（取到 / 取不到：<原因>）| 组数`
|
||||
—— 院系清单从**学校官方导航**拿（`/faculties/`、`/schools-departments/`、`/about/structure` 之类）；
|
||||
**给出枚举来源 URL 与总数**；**`未取页 = 0`**
|
||||
2. **全量候选产物**（五字段：课题组名称 / 所在大学及研究中心 / 研究方向 / 联系邮箱 / 最近五年论文数=null）
|
||||
—— **启发式自动抽，不逐条判**
|
||||
3. **随机抽 30 条逐条开页面核** → **准确率** + **假阳性类型** + **能否定点修掉**
|
||||
- 准确率 **≥90% 且类型集中** ⇒ 定点修那一类，**全量直接用，不再逐页核**
|
||||
4. **合理性校验**：`组数 ÷ 院系数`。**比值荒谬地低 ⇒ 回头找「组目录」那一层**（不是去爬更多 URL）
|
||||
5. **反例 / 判不准 / 未验清单**（各自附页面原文）
|
||||
6. 一句话：**最终组数？完备性有没有缺口？**
|
||||
|
||||
产物写到 `.worklogs/groups-dept/`，按 school-slug 命名（`<slug>_v3__groups.json` + `finding_<slug>_v3.md`）。
|
||||
|
||||
---
|
||||
|
||||
## 3. 判据与字段（摘要；**细则在 METHOD.md §2，以它为准**）
|
||||
|
||||
> **打开页面像人一样看：这是不是一个「导师带的做研究的团队」？**
|
||||
> **粒度上限 = 一个导师能带的规模。**
|
||||
> 大一级（institute / theme / cluster / 校级研究所）**不收**；
|
||||
> **但大一级下面挂着真组时，只收内层组。**
|
||||
|
||||
**不是组**：服务设施 · 研讨会系列 · 项目 · 学生培养计划 · 单项研究 · 空页重定向 · 无负责人的方向页。
|
||||
**共性是页面上有一句「非团队自述」—— 你去看那句话。**
|
||||
|
||||
| 字段 | 取法 |
|
||||
|---|---|
|
||||
| 课题组名称 | 该组**自己页面**的 H1（无 H1 用 `<title>`；JS 渲染/表格行用目录里的官方组名并标来源） |
|
||||
| 所在大学及研究中心 | 大学 + **真实上级研究单位**；⚠️ 上级是系/院/学部的**不许当研究中心写**，没有真上级就**只写大学** |
|
||||
| 研究方向 | 该组页上的方向文字。**没有 ⇒ 不要** |
|
||||
| 联系邮箱 | 只接受**本组页 / 本组负责人页**的邮箱 |
|
||||
| 最近五年论文数 | null |
|
||||
|
||||
---
|
||||
|
||||
## 4. ⚠️ 并行安全（出过事故，必须照做）
|
||||
|
||||
5 个 worker 曾挤在**同一个 Space 的同一个 page** 上 ⇒ 297 页跨校串页、整批作废。
|
||||
|
||||
1. **自己新建一个 TaskSpace**（不要复用别人已有的）
|
||||
2. **每个 URL 用独占的 `newPage()`**，**不要共用 p1**
|
||||
3. **每取一页校验 `page.url()` 与目标一致**；不一致 ⇒ 废掉重取
|
||||
4. 成功时收尾调一次 `await task.finish({ keep: [] })`；**因错误停止就别调**，把 `spaceId` 报上来
|
||||
|
||||
---
|
||||
|
||||
## 5. 硬要求
|
||||
|
||||
1. **只读**：只写产物到 `.worklogs/groups-dept/`。不写索引、不改业务代码、不动数据。
|
||||
2. **不设时间盒，做完整为止。** 但**每做完一个院系报一次 `status`**（三句话）。
|
||||
3. **判据来自页面。你的眼睛比任何正则都准。**
|
||||
4. **不许发明**：抓不到 ⇒ 写「未取到：<URL> + <错误原文>」。**判不准的贴出来，不要归类掉。**
|
||||
5. **只做这一所学校。**
|
||||
6. **不要从 sitemap 全量枚举 URL**（METHOD.md §6 反面清单第一条）。
|
||||
|
||||
## 6. 边界
|
||||
|
||||
- 不碰 prodream_backend、不碰 FE、不碰 `.worklogs/groups-rebuild/` 与 `groups-verify/`。
|
||||
@@ -0,0 +1,86 @@
|
||||
# 课题组采集 · 完备性 · 西悉尼大学（Western Sydney University）· `westernsydney.edu.au`
|
||||
前一轮 42 条候选，未出判定合计。 · Manager 2026-09-24
|
||||
|
||||
## 0. 先读方法件（**不要重新发明方法**）
|
||||
|
||||
**`/Users/jun/Codes/prodream/.worklogs/groups-dept/METHOD.md`** —— 那是活的采集方法，
|
||||
本波照它做。**重点看 §1「入口发现」与 §6「反面清单」。**
|
||||
|
||||
一句话：
|
||||
|
||||
> **找「组目录」，不要枚举 URL。**
|
||||
> 官方院系导航 → 各院系 `/research/` → **该页上的「组目录」**（`research-groups` / `research-centres` /
|
||||
> `groups` / `institutes` / `labs`，**最高价值是「每个组由一位 PI 带」的目录**）。
|
||||
> **入口 20–60 个/校** —— 不是 sitemap 里的上万条。
|
||||
|
||||
**参考已跑通的**：`REPORT.md`（Bristol 切片）· `finding_edinburgh_v2.md`（完备性标杆）、
|
||||
`finding_anu_v2.md` / `finding_qub_v2.md`（最近两所）。
|
||||
|
||||
---
|
||||
|
||||
## 1. 本波只做这一所：**西悉尼大学（Western Sydney University）· `westernsydney.edu.au`
|
||||
前一轮 42 条候选，未出判定合计。**
|
||||
|
||||
---
|
||||
|
||||
## 2. 交付（**门槛，不是"尽量"**）
|
||||
|
||||
1. **院系台账（缺一行 = 没做完）**
|
||||
`院系（全部）| research 入口 URL | 状态（取到 / 取不到：<原因>）| 组数`
|
||||
—— 院系清单从**学校官方导航**拿（`/faculties/`、`/schools-departments/`、`/about/structure` 之类）；
|
||||
**给出枚举来源 URL 与总数**；**`未取页 = 0`**
|
||||
2. **全量候选产物**（五字段：课题组名称 / 所在大学及研究中心 / 研究方向 / 联系邮箱 / 最近五年论文数=null）
|
||||
—— **启发式自动抽，不逐条判**
|
||||
3. **随机抽 30 条逐条开页面核** → **准确率** + **假阳性类型** + **能否定点修掉**
|
||||
- 准确率 **≥90% 且类型集中** ⇒ 定点修那一类，**全量直接用，不再逐页核**
|
||||
4. **合理性校验**：`组数 ÷ 院系数`。**比值荒谬地低 ⇒ 回头找「组目录」那一层**（不是去爬更多 URL）
|
||||
5. **反例 / 判不准 / 未验清单**（各自附页面原文）
|
||||
6. 一句话：**最终组数？完备性有没有缺口？**
|
||||
|
||||
产物写到 `.worklogs/groups-dept/`，按 school-slug 命名（`<slug>_v3__groups.json` + `finding_<slug>_v3.md`）。
|
||||
|
||||
---
|
||||
|
||||
## 3. 判据与字段（摘要；**细则在 METHOD.md §2，以它为准**）
|
||||
|
||||
> **打开页面像人一样看：这是不是一个「导师带的做研究的团队」？**
|
||||
> **粒度上限 = 一个导师能带的规模。**
|
||||
> 大一级（institute / theme / cluster / 校级研究所）**不收**；
|
||||
> **但大一级下面挂着真组时，只收内层组。**
|
||||
|
||||
**不是组**：服务设施 · 研讨会系列 · 项目 · 学生培养计划 · 单项研究 · 空页重定向 · 无负责人的方向页。
|
||||
**共性是页面上有一句「非团队自述」—— 你去看那句话。**
|
||||
|
||||
| 字段 | 取法 |
|
||||
|---|---|
|
||||
| 课题组名称 | 该组**自己页面**的 H1（无 H1 用 `<title>`；JS 渲染/表格行用目录里的官方组名并标来源） |
|
||||
| 所在大学及研究中心 | 大学 + **真实上级研究单位**；⚠️ 上级是系/院/学部的**不许当研究中心写**，没有真上级就**只写大学** |
|
||||
| 研究方向 | 该组页上的方向文字。**没有 ⇒ 不要** |
|
||||
| 联系邮箱 | 只接受**本组页 / 本组负责人页**的邮箱 |
|
||||
| 最近五年论文数 | null |
|
||||
|
||||
---
|
||||
|
||||
## 4. ⚠️ 并行安全（出过事故，必须照做）
|
||||
|
||||
5 个 worker 曾挤在**同一个 Space 的同一个 page** 上 ⇒ 297 页跨校串页、整批作废。
|
||||
|
||||
1. **自己新建一个 TaskSpace**（不要复用别人已有的）
|
||||
2. **每个 URL 用独占的 `newPage()`**，**不要共用 p1**
|
||||
3. **每取一页校验 `page.url()` 与目标一致**；不一致 ⇒ 废掉重取
|
||||
4. 成功时收尾调一次 `await task.finish({ keep: [] })`；**因错误停止就别调**，把 `spaceId` 报上来
|
||||
|
||||
---
|
||||
|
||||
## 5. 硬要求
|
||||
|
||||
1. **只读**：只写产物到 `.worklogs/groups-dept/`。不写索引、不改业务代码、不动数据。
|
||||
2. **不设时间盒，做完整为止。** 但**每做完一个院系报一次 `status`**（三句话）。
|
||||
3. **判据来自页面。你的眼睛比任何正则都准。**
|
||||
4. **不许发明**：抓不到 ⇒ 写「未取到：<URL> + <错误原文>」。**判不准的贴出来，不要归类掉。**
|
||||
5. **只做这一所学校。**
|
||||
6. **不要从 sitemap 全量枚举 URL**（METHOD.md §6 反面清单第一条）。
|
||||
|
||||
## 6. 边界
|
||||
|
||||
- 不碰 prodream_backend、不碰 FE、不碰 `.worklogs/groups-rebuild/` 与 `groups-verify/`。
|
||||
Reference in New Issue
Block a user