宜宾网站建设公司

IP代理中间件和user-agent中间件的编写-创新互联

在制作爬虫的时候需要对我们的爬虫进行伪装，有两种伪装的方式：第一种是通过代理IP，第二种是通过修改user-agent。

成都创新互联-专业网站定制、快速模板网站建设、高性价比浠水网站开发、企业建站全套包干低至880元,成熟完善的模板库,直接使用。一站式浠水网站制作公司更省心,省钱,快速模板网站建设找我们，业务覆盖浠水地区。费用合理售后完善，十多年实体公司更值得信赖。

一、代理IP

    IP代理中间件和user-agent中间件的编写

    IP代理中间件和user-agent中间件的编写

    IP代理中间件和user-agent中间件的编写

二、user-agent

    import random     # user agent 列表     USER_AGENT_LIST = [         'MSIE (MSIE 6.0; X11; Linux; i686) Opera 7.23',         'Opera/9.20 (Macintosh; Intel Mac OS X; U; en)',         'Opera/9.0 (Macintosh; PPC Mac OS X; U; en)',         'iTunes/9.0.3 (Macintosh; U; Intel Mac OS X 10_6_2; en-ca)',         'Mozilla/4.76 [en_jp] (X11; U; SunOS 5.8 sun4u)',         'iTunes/4.2 (Macintosh; U; PPC Mac OS X 10.2)',         'Mozilla/5.0 (Macintosh; Intel Mac OS X 10.6; rv:5.0) Gecko/20100101 Firefox/5.0',         'Mozilla/5.0 (Macintosh; Intel Mac OS X 10.6; rv:9.0) Gecko/20100101 Firefox/9.0',         'Mozilla/5.0 (Macintosh; Intel Mac OS X 10.8; rv:16.0) Gecko/20120813 Firefox/16.0',         'Mozilla/4.77 [en] (X11; I; IRIX;64 6.5 IP30)',         'Mozilla/4.8 [en] (X11; U; SunOS; 5.7 sun4u)'        ]     # 随机生成user agent     USER_AGENT = random.choice(USER_AGENT_LIST)

---------------------

    IP代理中间件和user-agent中间件的编写

    IP代理中间件和user-agent中间件的编写

    IP代理中间件和user-agent中间件的编写

    注意事项：

        1、中间件定义完要在settings文件内启用

        2、爬虫文件名和爬虫名称不能相同，spider目录内不能存在相同爬虫名称的项目文件

        3、做一个文明守法的好网民，不要爬取公民的隐私数据，不要给对方系统带来不必要的麻烦。

另外有需要云服务器可以了解下创新互联cdcxhl.cn，海内外云服务器15元起步，三天无理由+7*72小时售后在线，公司持有idc许可证，提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案，具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势，专为企业上云打造定制，能够满足用户丰富、多元化的应用场景需求。


文章名称：IP代理中间件和user-agent中间件的编写-创新互联
本文来源：http://ybzwz.com/article/psesi.html

其他资讯