教程 · 数据调研
采集数据前先停一下：看 robots、条款和访问频率
在采集公开数据前确认站点规则和法律边界，控制频率、避开个人信息，并保留来源记录。
前置：需要从公开网页收集数据用于分析，具备基础脚本或采集工具使用能力。
材料：目标站点、robots 文件、站点服务条款、采集日志
材料：目标站点、robots 文件、站点服务条款、采集日志
步骤
1. 先读 robots 和服务条款
查看目标站点根目录的 robots 文件和服务条款，确认哪些路径不允许抓取、是否禁止自动化访问；robots 是声明，条款才涉及授权范围。
2. 优先使用官方接口
站点提供开放接口或数据下载时优先使用，接口通常有明确的频率和字段说明；绕过接口去抓页面，风险和成本都更高。
3. 控制请求频率
设置请求间隔和并发上限，避开对方的高峰时段；高频请求可能影响对方服务，也会让你更快被封，日志里记录请求时间。
4. 不采集个人信息
避开姓名、电话、地址、身份证等个人信息的字段；确实需要时必须有合法依据并做脱敏处理，字段清单先做减法。
5. 保留来源和抓取记录
记录每个字段的来源页面、抓取时间和采集规则，方便复核；数据被质疑时，来源记录是唯一的证明，记录要能对应到页面。
做完检查
- 采集范围没有违反站点条款和 robots 声明
- 请求频率在合理范围，未影响对方服务
- 采集结果不含未脱敏的个人信息
常见错误
- 高频并发抓取，导致对方服务受影响
- 绕过登录和验证码获取非公开内容
- 采集并保存个人联系方式
相关工具
同类教程
问卷收回来一半是废卷：先加甄别题再做逻辑校验
通过甄别题、逻辑跳转和填答时长过滤，提高问卷有效回收率并让清洗规则可复现。
查看 →竞品价格表比不出结论：先定含税、运费和规格口径
统一价格字段的定义和单位，记录采集日期和规格，让竞品价格可以横向比较。
查看 →透视表总数和明细对不上：先查重复键和文本数字
通过行数核对、重复键检查和类型转换，定位透视表汇总与明细不一致的原因。
查看 →更新时间：2026-10-29 · 平台规则/软件版本会变；操作前保留原件，以实际页面为准。
跨库学习路径
按共同关键词匹配，不是随机推荐；从任务到提示词/教程/项目继续走。