找回密码
 立即注册
CeraNetworksBGVM服务器主机交流IP归属甄别会员请立即修改密码
查看: 88|回复: 9

有什么浏览器 采集工具吗?可以同时采集多个网站的

[复制链接]

454

主题

616

回帖

3720

积分

论坛元老

积分
3720
发表于 2024-4-7 18:58:51 | 显示全部楼层 |阅读模式
网站需要登录,内容的话加密,源代码中找不到,想试试看浏览器采集工具
可以同时打开多个账号采集的
回复

使用道具 举报

61

主题

770

回帖

1977

积分

金牌会员

积分
1977
发表于 2024-4-7 19:04:04 | 显示全部楼层
可以做浏览器插件来采集
回复

使用道具 举报

6

主题

109

回帖

386

积分

中级会员

积分
386
发表于 2024-4-7 19:06:28 | 显示全部楼层
动态加载的页面,一般需要抓包找数据接口,通过js逆向找数据,工具没怎么用过。试试看easyspider?另外楼主要爬的是什么网站?不敏感的话咸鱼付费找人做就行了
回复

使用道具 举报

454

主题

616

回帖

3720

积分

论坛元老

积分
3720
 楼主| 发表于 2024-4-7 19:28:44 | 显示全部楼层

xuanruo0710 发表于 2024-4-7 19:06

动态加载的页面,一般需要抓包找数据接口,通过js逆向找数据,工具没怎么用过。试试看easyspider?另外楼主 ...

js逆向不会啊,主要是三个问题,一个是要登录,有验证码,而且用火车头的分析工具还获取不到cookie,另外一个是数据在源代码中找不到,最后是要同时登录多个账户采集
有点敏感,公司数据
回复

使用道具 举报

16

主题

282

回帖

806

积分

高级会员

积分
806
发表于 2024-4-7 19:06:00 | 显示全部楼层

美女约吗 发表于 2024-4-7 19:28

js逆向不会啊,主要是三个问题,一个是要登录,有验证码,而且用火车头的分析工具还获取不到cookie,另外 ...

用脚本配合Chromium采集
回复

使用道具 举报

454

主题

616

回帖

3720

积分

论坛元老

积分
3720
 楼主| 发表于 2024-4-7 19:30:33 | 显示全部楼层

个人支付宝接口 发表于 2024-4-7 19:04

可以做浏览器插件来采集

浏览器插件是什么?可以同时登录多个账户吗?
回复

使用道具 举报

7

主题

63

回帖

247

积分

中级会员

积分
247
发表于 2024-4-7 19:28:00 | 显示全部楼层

xuanruo0710 发表于 2024-4-7 19:06

动态加载的页面,一般需要抓包找数据接口,通过js逆向找数据,工具没怎么用过。试试看easyspider?另外楼主 ...

非常敏感擦边的呢
回复

使用道具 举报

5

主题

579

回帖

1423

积分

金牌会员

积分
1423
发表于 2024-4-7 19:43:51 | 显示全部楼层
1. 网站需要登录-->用Cookies
2. 源代码中找不到-->F12 Network找出是哪个包的
3. 内容有加密-->JS逆向
    3.1. 算了毁灭吧,逆向锤子,直接selenium秒它得了
回复

使用道具 举报

20

主题

67

回帖

272

积分

中级会员

积分
272
发表于 2024-4-7 19:04:00 | 显示全部楼层
你这种情况肯定要程序员来搞了,市面上的普通程序做不到这么定制化。
我爬过不少网站,以其中一个稍微复杂点的举例,用的技术栈和工具你参考下
验证码是谷歌的recaptcha v3,用CapSolver解决,回调函数是打断点慢慢调试出来的
ip是用的webshare.io的,用到了2人的,独占的太贵了
指纹浏览器试了云登,不是很好用后来没用过了,一般爬虫也不用,养社交账号才需要
程序主要是playwright写的
回复

使用道具 举报

6

主题

109

回帖

386

积分

中级会员

积分
386
发表于 2024-4-7 20:04:59 | 显示全部楼层

yinheyan 发表于 2024-4-7 20:04

非常敏感擦边的呢

这个你最好打110问问
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver|手机版|小黑屋|HS2V主机综合交流论坛

GMT+8, 2024-5-12 00:16 , Processed in 0.081443 second(s), 3 queries , Gzip On, Redis On.

Powered by Discuz! X3.5

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表