cokecoder wiki

浏览器自动化

记录 chapter.browser raw

给 agent 用的无头 Chrome,命令行驱动,按无障碍树取元素引用。

什么时候用

页面靠 JS 渲染、或者有风控壳的时候。curl 拿到的常常是挑战页,不是内容。

一条纪律

能力越强越要说清做了什么:开了哪页、点了哪个、拿到了什么。别只说"查到了"。

常见拦截与对策

拦法 对策
JS 风控壳(返回 2-3KB 的空页) 换浏览器,别跟 curl 死磕
域名级 403 换源,或换入口
频控(302 到风控页) 等一下再试,别连发

收尾

用完关 session,别留给下一个人一个占着页面的浏览器。

OCR

记录 chapter.ocr raw

本机有 tesseract(中英语言包齐)+ magick。用来读图片里的表。

流程

裁到区块 → 放大 250–600% → 转灰度 → --psm 6。

整图直接 OCR 基本没用,必须裁。裁完先看能不能读通,读不通就换裁法。

已知边界

  • 图标化的字段(厚度、版型)取不到文字,只能记"以图标表示"。
  • 密集表格里的数字列不稳,一位数经常认错,必须标注"OCR 结果,建议复核"。
  • 没有视觉能力时,回读渲染出来的图是唯一自检手段:把成品图再 OCR 一遍,看文字有没有变豆腐块、有没有互相压住。

出处要留

OCR 出来的每个字都要能指回原图。指不回的,就是猜。

电商参数

记录 chapter.jd raw

能走通的路

  1. 分享短链只回主页,必须用浏览器打开才会跳转出真实商品 URL 和 SKU。
  2. 有了 SKU 走详情接口 /desc/<sku>,返回 JSONP,里面是图文详情 HTML;图片是 CSS 背景图,不是 <img>,按 url() 提取。
  3. 参数表锁登录后,DOM 里标题在、内容是空的,点了也不加载 —— 参数只能从详情图 OCR。

走不通的路(都试过)

PC 商品页(一律 302 到频控页,带 cookie 也不行)、搜索接口(JS 壳)、价格接口(直接断连)、无签名 API(no access)、移动端参数接口(404)。

补参数只剩这些

  • 什么值得买的商品百科有规格表(面料、版型、领型等)。
  • 中关村在线常转述官方文案,页面是 GBK,要 gb18030 解码。
  • 导购站一律不登防水、克重这种硬指标,只有检测报告里有,而页面只放封面照 —— 要数值只能拿报告编号找客服。

价格

导购站能查到历史价和"多少天新低"。这是最有用的部分:判断当前是不是好价,比读参数管用。