使用scrapy前的环境搭建
刚开始直接scrapy startproject [名称] 创建项目才遇到挺多问题的,执行这个又会提示那个问题,解决后就觉得还好还好啦
10余年的双湖网站建设经验,针对设计、前端、开发、售后、文案、推广等六对一服务,响应快,48小时及时工作处理。成都全网营销的优势是能够根据用户设备显示端的尺寸不同,自动调整双湖建站的显示方式,使网站能够适用不同显示终端,在浏览器中调整网站的宽度,无论在任何一种浏览器上浏览网站,都能展现优雅布局与设计,从而大程度地提升浏览体验。创新互联从事“双湖网站设计”,“双湖网站推广”以来,每个客户项目都认真落实执行。
1.pip install scrapy 提示pip 版本要升级;
You are using pip version 10.0.1, however version 10.0.1 is available.
You should consider upgrading via the 'python -m pip install --upgrade pip' command.
2.python -m pip install --upgrade pip 升级时又有新问题;
(venv) D:\Fish>python -m pip install --upgrade pip
Requirement already up-to-date: pip in d:\fish\venv\lib\site-packages (10.0.1)
于是按照要求将d:\fish\venv\lib\site-packages (10.0.1) 中的pip-10.0.1.dist-info删除,再次运行python -m pip install --upgrade pip 后升级成功
3.再执行第1步以为万事大吉了,又有新的问题了
error: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools": http://landinghub.visualstudio.com/visual-cpp-build-tools
解决这个问题有两种方法:a.按提示安装Visual Studio (C盘至少需要6G空间,果断找其他方法解决);
b.使用wheel安装;
使用wheel安装:pip install wheel
成功会提示successfull也可以使用wheel命令验证是否成功,成功后是这样
然后去https://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml这个网站下载Scrapy库,
进到网站=>搜索’Scrapy’=>下载
把下载的.whl文件放在一个容易寻找的地址(我放在了D:\)
然后在控制台进入该地址
在该地址下输入
pip install [whl]
注:[whl]表示你的.whl文件,一定要全名,XXXX.whl
然后,并没有结束。。。。。
安装过程还是有可能失败
可能会出现Failed to build XXXX
为什么会这样那,因为Scrapy框架基于Twisted
所以,要做的就是去网站下载Twisted之类的安装文件,先把它们装上,安装方法和上边的相同。
注意选择好版本号
cp代表python的版本号,32/64选择对应你电脑的位数
最后终于成功了。
建个项目测试一下
新闻标题:使用scrapy前的环境搭建
URL标题:http://ybzwz.com/article/jgpjeo.html