宜宾网站建设公司

Windows下安装配置爬虫工具Scrapy及爬虫环境-创新互联

爬虫工具Scrapy在Mac和Linux环境下都相对好装，但是在Windows上总会碰到各种莫名其妙的问题。本文记录下Scrapy在Window上的安装过程。
本文是基于Python2.7及Windows 10安装Scrapy及各种爬虫相关库。

公司主营业务：成都网站制作、成都网站建设、移动网站开发等业务。帮助企业客户真正实现互联网宣传，提高企业的竞争能力。创新互联是一支青春激扬、勤奋敬业、活力青春激扬、勤奋敬业、活力澎湃、和谐高效的团队。公司秉承以“开放、自由、严谨、自律”为核心的企业文化，感谢他们对我们的高要求，感谢他们从不同领域给我们带来的挑战，让我们激情的团队有机会用头脑与智慧不断的给客户带来惊喜。创新互联推出洛川免费做网站回馈大家。

下载安装Scrapy

Scrapy官方文档

  1. 按照官网建议下载安装Anaconda,使用这个安装比直接pip安装会少很多问题。
    下载地址

  2. 安装完成后，python2.7也会自动安装好，然后执行以下命令安装Scrapy.
conda install -c conda-forge scrapy

安装mysql驱动

  1. 下载并安装mysql官方的驱动程序。下载地址

  2. 下载mysql的python驱动程序,可以把两个都装上，使用的时候再决定用哪个。
  • MySQL官方的纯Python驱动
pip install mysql-connector-python

  • 封装了MySQL C驱动的Python驱动

    1. 安装Python版C++编译程序。下载地址

    2. 拷贝mysql驱动(32位不需要这一步)，将"C:\Program Files\MySQL" 拷贝到 "C:\Program Files (x86)\MySQL"。
      目的是为了防止下一步的错误"Cannot open include file: 'config-win.h': No such file or directory"

    3. 安装驱动

      pip install MySQL-python

    4. 安装数据库连接池工具

      pip install DBUtils

安装其它相关的依赖库

安装BeautifulSoup

Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。

pip install beautifulsoup4
安装PyQuery

PyQuery库也是一个非常强大又灵活的网页解析库。

pip install pyquery

另外有需要云服务器可以了解下创新互联scvps.cn，海内外云服务器15元起步，三天无理由+7*72小时售后在线，公司持有idc许可证，提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案，具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势，专为企业上云打造定制，能够满足用户丰富、多元化的应用场景需求。


当前标题：Windows下安装配置爬虫工具Scrapy及爬虫环境-创新互联
网页路径：http://ybzwz.com/article/diejip.html

其他资讯