怎么用python爬虫爬取人人网上面的信息-创新互联
这篇文章主要讲解了“怎么用python爬虫爬取人人网上面的信息”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“怎么用python爬虫爬取人人网上面的信息”吧!
超过十年行业经验,技术领先,服务至上的经营模式,全靠网络和口碑获得客户,为自己降低成本,也就是为客户降低成本。到目前业务范围包括了:网站建设、网站制作,成都网站推广,成都网站优化,整体网络托管,小程序定制开发,微信开发,app软件定制开发,同时也可以让客户的网站和网络营销和我们一样获得订单和生意!requests 提供了一个叫做session类,来实现客户端和服务端的会话保持
使用方法
1.实例化一个session对象
2.让session发送get或者post请求
session = requests.session() session.get(url,headers)
下面就用人人网来实战一下
# coding=utf-8 import requests session = requests.session() # 登录的表单url post_url = "http://www.renren.com/PLogin.do" post_data = {"email": "your_email", "password": "your_password"} headers = { "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36" } # 使用session发送post请求,cookie保存在其中 session.post(post_url, data=post_data, headers=headers) # 在使用session进行请求登陆之后才能访问的地址 # 这是个人首页url r = session.get("http://www.renren.com/327550088/profile", headers=headers) # 保存页面到本地 with open("renren1.html", "w", encoding="utf-8") as f: f.write(r.content.decode('utf-8'))
就这么简单,模拟登录上人人网并且获取了个人首页信息页面保存到本地。
其实网站记录登录状态就是通过cookie里面携带的信息,如果我们发送请求的时候带上登录的cookie能不能够访问到只有登录才能访问的页面,当然是可以的
请看代码
# coding=utf-8 import requests headers = { "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36", "Cookie":"你的登录cookie" } r = requests.get("http://www.renren.com/327550088/profile",headers=headers) #保存页面 with open("renren2.html","w",encoding="utf-8") as f: f.write(r.content.decode())
可以看到, Cookie 可以放在 headers 中,其实 requests 中也有一个参数用来传递cookie,这个参数就是 cookies
请看代码
# 字典生成器的用法 cookies = {i.split("=")[0]:i.split("=")[1] for i in cookies.split("; ")} print(cookies) r = requests.get("http://www.renren.com/327550088/profile",headers=headers,cookies=cookies)
感谢各位的阅读,以上就是“怎么用python爬虫爬取人人网上面的信息”的内容了,经过本文的学习后,相信大家对怎么用python爬虫爬取人人网上面的信息这一问题有了更深刻的体会,具体使用情况还需要大家实践验证。这里是创新互联,小编将为大家推送更多相关知识点的文章,欢迎关注!
分享标题:怎么用python爬虫爬取人人网上面的信息-创新互联
标题网址:http://ybzwz.com/article/ijcjj.html