--- status: passed phase: 02-boss date: 2026-03-21 --- # Phase 2 Verification: Boss 直聘重写 **Goal:** Boss 直聘爬虫完全基于 crawler_core 运行,旧实现可安全停用 ## Must-Haves Verification | # | 成功标准 | 状态 | 证据 | |---|---------|------|------| | 1 | Boss 爬虫继承 BaseFetcher/BaseSearcher,不含内联签名或 HTTP 样板代码 | ✅ 通过 | `issubclass()` 断言通过,grep 无内联 requests 导入,grep 无内联签名算法 | | 2 | 针对 Boss HTTP 层的 mock/respx 测试通过,覆盖正常响应和错误响应 | ✅ 通过 | `pytest tests/boss/ -v` → 22 passed in 0.07s | | 3 | 使用 Boss 新客户端运行一次真实关键词抓取,职位数据成功返回 | ⏳ 人工验证 | 需要有效 mpt/wt2 token 才能运行真实请求 | | 4 | 反爬机制保留:随机延迟 10-20s、代理轮换、TLS 指纹伪装均正常工作 | ✅ 通过 | `wait_random_exponential(min=10)` 在 HTTPClient 中,TLS_CHROME_LATEST + random_ja3 保留,tunnel_proxy 每次新建 session | ## Automated Checks ``` pytest tests/boss/ -v 22 passed in 0.07s ✅ pytest tests/crawler_core/ -v 41 passed in 0.07s ✅(Phase 1 回归无问题) python -c "from spiderJobs.platforms.boss.api import ..." ✅ 所有 Boss 模块 import 成功 grep -rn "spiderJobs.core" spiderJobs/platforms/boss/{client,api,main,sign}.py ✅ 无旧依赖残留 ``` ## Requirements Coverage | 需求 ID | 状态 | |---------|------| | ARCH-03 | ✅ 覆盖 — Boss 爬虫基于 crawler_core 重写完成 | | QUAL-03 | ✅ 覆盖 — 22 个 mock 测试通过,覆盖正常/错误响应 | ## Human Verification Required ### 1. 真实关键词抓取(成功标准 #3) 使用环境变量配置 token 运行: ```bash BOSS_MPT=<有效mpt> BOSS_WT2=<有效wt2> python -m spiderJobs.platforms.boss.main ``` 预期:能成功获取关键词并抓取职位数据,日志显示职位数量 > 0。 注:此项需要有效的 Boss 登录凭证(mpt/wt2),无法自动验证。 ## Summary Phase 2 自动化验证全部通过: - ARCH-03:4 个 Boss 文件(client/api/main/sign)已迁移至 crawler_core,无旧依赖 - QUAL-03:22 个 mock 测试覆盖全部 API 类的正常和错误路径 - 反爬机制完整保留(TLS 伪装 + 代理轮换 + 10s 最小延迟 + Traceid 注入) - Phase 1 回归测试 41 个全部通过,无回归 剩余 1 项人工验证(真实抓取),需要有效 mpt/wt2 凭证。