爬虫遇到个巨奇怪的问题！

sizzlingbun · 发表于 2023-12-13 14:54:07

同样的参数，头信息，用不同的工具返回的结果不一样？
有些会被检测到是爬虫，有的不会
会被检测到的：curl , python 的requests库
不会被检测到的: postman, python的http.client库，wget

人傻了

，有mjj给我解释解释为什么吗

HOH · 发表于 2023-12-13 14:56:45

越菜越暴露

begin · 发表于 2023-12-13 14:57:02

最基本都要模仿浏览器的UA

羊村你喜哥 · 发表于 2023-12-13 14:57:50

一些反爬或者安全策略吧

sizzlingbun · 发表于 2023-12-13 15:15:22

begin 发表于 2023-12-13 14:57
最基本都要模仿浏览器的UA

模仿了 UA就是从真实浏览器拿的

Blanke · 发表于 2023-12-13 16:22:42

可能是tls检测，py 有处理好的请求库，搜一下

bigjj · 发表于 2023-12-13 16:43:53

每个请求都是有指纹的

		自动登录	找回密码
密码			注册