python爬虫模拟浏览器访问-User-Agent过程解析-创新互联
这篇文章主要介绍了python爬虫模拟浏览器访问-User-Agent过程解析,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
10年积累的成都做网站、成都网站制作、成都外贸网站建设经验,可以快速应对客户对网站的新想法和需求。提供各种问题对应的解决方案。让选择我们的客户得到更好、更有力的网络服务。我虽然不认识你,你也不认识我。但先做网站设计后付款的网站建设流程,更有水磨沟免费网站建设让你可以放心的选择与我们合作。模拟浏览器访问-User-Agent:
import urllib2 #User-Agent 模拟浏览器访问 headers = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36"} #通过urllib2.Request()方法构造一个请求对象 request = urllib2.Request("http://www.baidu.com/",headers = headers) #向指定的URL地址发送请求,并返回服务器响应的类文件对象 #response是服务器响应的类文件,除了支持文件操作的方法外,还支持以下常用的方法: response = urllib2.urlopen(request) #服务器返回的类文件对象支持python文件对象的操作方法 #read()方法就是读取文件里的全部内容,返回字符串 html = response.read() #返回HTTP的响应码,成功返回200,4服务器页面出错;5.服务器问题 print response.getcode() #返回实际数据的实际URL,防止重定向问题 print response.geturl() #返回服务器响应的HTTP报头 print response.info() #打印响应内容 print(html)
分享文章:python爬虫模拟浏览器访问-User-Agent过程解析-创新互联
分享路径:http://ybzwz.com/article/dgopcj.html