Files
doctoral-research-groups/tasks/win1q_82.md
T

5.0 KiB
Raw Blame History

课题组逐院系采集 · AA建筑联盟学院(英国)· 现有 6 条

入口普查的判型:自建 research 站点 现有 group_url 形态:www.aaschool.ac.uk / school/research/action-lab

⚠️ 这是换源重采:旧数据整体推翻,不要参照它。 · Win1 · Manager 2026-09-24

0. 先读方法件(不要重新发明方法)

工作区:C:\Users\Administrator\orca\projects\英澳博士课题组数据

  • method/METHOD.md —— 活的采集方法。重点看 §1「入口发现」与 §6「反面清单」。
  • method/finding_edinburgh_v2.md —— 完备性标杆(643 组 / 24 院系)
  • method/finding_anu_v2.md · finding_qub_v2.md · finding_bath_v2.md —— 最近几所
  • tasks/ —— 其它任务书

一句话:

找「组目录」,不要枚举 URL。 官方院系导航 → 各院系 /research/ → 该页上的「组目录」 (research-groups / research-centres / groups / institutes / labs, 最高价值是「每个组由一位 PI 带」的目录)。入口 20–60 个/校。

参考已跑通的:products/ 下各校 *__groups*.json 是产物格式。


1. 本波只做这一所:**AA建筑联盟学院(英国)· 现有 6 条

入口普查的判型:自建 research 站点 现有 group_url 形态:www.aaschool.ac.uk / school/research/action-lab

⚠️ 这是换源重采:旧数据整体推翻,不要参照它。**


2. 交付(门槛,不是"尽量")

  1. 院系台账(缺一行 = 没做完) 院系(全部)| research 入口 URL | 状态(取到 / 取不到:<原因>)| 组数 —— 院系清单从学校官方导航拿;给出枚举来源 URL 与总数;未取页 = 0
  2. 全量候选产物:products/<slug>_v3__groups.json (五字段:课题组名称 / 所在大学及研究中心 / 研究方向 / 联系邮箱 / 最近五年论文数=null) —— 启发式自动抽,不逐条判
  3. 随机抽 30 条逐条开页面核 → 准确率 + 假阳性类型 + 能否定点修掉
    • 准确率 ≥90% 且类型集中 ⇒ 定点修那一类,全量直接用,不再逐页核
  4. 合理性校验:组数 ÷ 院系数。比值荒谬地低 ⇒ 回头找「组目录」那一层 (不是去爬更多 URL)。确认"再下一层没有组"要贴原文结构作证。
  5. 反例 / 判不准 / 未验清单(附页面原文)
  6. 一句话:最终组数?完备性有没有缺口?

产物写 products/,报告写 reports/finding_<slug>_v3.md(目录不存在就建)。


3. 判据与字段(摘要;细则以 METHOD.md §2 为准)

打开页面像人一样看:这是不是一个「导师带的做研究的团队」? 粒度上限 = 一个导师能带的规模。 大一级(institute / theme / cluster / 校级研究所)不收; 但大一级下面挂着真组时,只收内层组。

不是组:服务设施 · 研讨会系列 · 项目 · 学生培养计划 · 单项研究 · 空页重定向 · 无负责人的方向页。 共性是页面上有一句「非团队自述」—— 你去看那句话。

字段 取法
课题组名称 该组自己页面的 H1(无 H1 用 <title>;JS 渲染/表格行用目录里的官方组名并标 _name_source)。⚠️ 无官方组名的按 <负责人> 团队 渲染并标 _name_source: rendered_from_leader,且要查重防撞
所在大学及研究中心 大学 + 真实上级研究单位;⚠️ 上级是系/院/学部的不许当研究中心写,没有真上级就只写大学
研究方向 该组页上的方向文字。没有 ⇒ 不要
联系邮箱 只接受本组页 / 本组负责人页的邮箱
最近五年论文数 null

4. ⚠️ 并行安全(出过事故,必须照做)

5 个 worker 曾挤在同一个 ego-browser Space 的同一个 page 上 ⇒ 297 页跨校串页、整批作废。

  1. 自己新建一个 TaskSpace(不要复用别人已有的)
  2. 每个 URL 用独占的 newPage(),不要共用 p1
  3. 每取一页校验 page.url() 与目标一致;不一致 ⇒ 废掉重取
  4. 成功时收尾调一次 await task.finish({ keep: [] });因错误停止就别调,把 spaceId 报上来

⚠️ 本机浏览器可能被用户接管(ownership: user)—— 遇到就立刻停手、不重试,把 spaceId 报上来。


5. 硬要求

  1. 只在本项目内写(products/ reports/)。不碰别的项目、不碰线上库。
  2. 不设时间盒,做完整为止。 但每做完一个院系报一次 status(三句话)。
  3. 判据来自页面。你的眼睛比任何正则都准。
  4. 不许发明:抓不到 ⇒ 写「未取到: + <错误原文>」。判不准的贴出来,不要归类掉。
  5. 不要从 sitemap 全量枚举 URL(METHOD.md §6 反面清单第一条)。
  6. 只做这一所学校。