有什么浏览器采集工具吗？可以同时采集多个网站的

美女约吗 · 发表于 2024-4-7 18:58:51

网站需要登录，内容的话加密，源代码中找不到，想试试看浏览器采集工具
可以同时打开多个账号采集的

个人支付宝接口 · 发表于 2024-4-7 19:04:04

可以做浏览器插件来采集

xuanruo0710 · 发表于 2024-4-7 19:06:28

动态加载的页面，一般需要抓包找数据接口，通过js逆向找数据，工具没怎么用过。试试看easyspider？另外楼主要爬的是什么网站？不敏感的话咸鱼付费找人做就行了

美女约吗 · 发表于 2024-4-7 19:28:44

xuanruo0710 发表于 2024-4-7 19:06
动态加载的页面，一般需要抓包找数据接口，通过js逆向找数据，工具没怎么用过。试试看easyspider？另外楼主 ...

js逆向不会啊，主要是三个问题，一个是要登录，有验证码，而且用火车头的分析工具还获取不到cookie，另外一个是数据在源代码中找不到，最后是要同时登录多个账户采集
有点敏感，公司数据

Celestine · 发表于 2024-4-7 19:30:33

美女约吗发表于 2024-4-7 19:28
js逆向不会啊，主要是三个问题，一个是要登录，有验证码，而且用火车头的分析工具还获取不到cookie，另外 ...

用脚本配合Chromium采集

美女约吗 · 发表于 2024-4-7 19:43:51

个人支付宝接口发表于 2024-4-7 19:04
可以做浏览器插件来采集

浏览器插件是什么？可以同时登录多个账户吗？

yinheyan · 发表于 2024-4-7 20:04:59

xuanruo0710 发表于 2024-4-7 19:06
动态加载的页面，一般需要抓包找数据接口，通过js逆向找数据，工具没怎么用过。试试看easyspider？另外楼主 ...

非常敏感擦边的呢

karson · 发表于 2024-4-7 20:09:06

1. 网站需要登录-->用Cookies
2. 源代码中找不到-->F12 Network找出是哪个包的
3. 内容有加密-->JS逆向
3.1. 算了毁灭吧，逆向锤子，直接selenium秒它得了

leonliu2022 · 发表于 2024-4-7 20:16:51

你这种情况肯定要程序员来搞了，市面上的普通程序做不到这么定制化。
我爬过不少网站，以其中一个稍微复杂点的举例，用的技术栈和工具你参考下
验证码是谷歌的recaptcha v3，用CapSolver解决，回调函数是打断点慢慢调试出来的
ip是用的webshare.io的，用到了2人的，独占的太贵了
指纹浏览器试了云登，不是很好用后来没用过了，一般爬虫也不用，养社交账号才需要
程序主要是playwright写的

xuanruo0710 · 发表于 2024-4-7 23:30:59

yinheyan 发表于 2024-4-7 20:04
非常敏感擦边的呢

这个你最好打110问问

		自动登录	找回密码
密码			注册

有什么浏览器 采集工具吗？可以同时采集多个网站的

有什么浏览器采集工具吗？可以同时采集多个网站的