[笔记] 解决网络爬虫登陆问题

odmin

网络爬虫在爬取网站时会遇到一些登陆的问题，登陆过程中会遇到输入验证码，如何解决爬虫解决登陆和输入验证码？一般有两种方案。

1、使用cookie登陆
使用cookies登陆，获取浏览器的cookies，然后利用requests 库直接登陆cookies，服务器会认为你是一个真实登陆用户，所以就会返回给你一个已登陆的内容。因此，需要验证码的情况可以使用带验证码登陆的cookie解决。

2、强行登陆
使用requests登陆，requests的好处是速度快。
使用requests登陆一般分为几步：
1、发出请求时使用sess
2、需要把验证码图片下载到本地保存
3、需要通过验证码
4、使用post请求访问登陆网站