开始

1. 创建虚拟环境

打开cmd输入如下命令：

mkvirtualenv --python=C:\Python\Python35-32\python.exe article_spider

然后安装scrapy：

pip install -i https://pypi.douban.com/simple scrapy

注：出现 ==Failed building wheel for Twisted==时请去 https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted 下载对应的whl，然后安装

pip install Twisted-18.9.0-cp35-cp35m-win32.whl

2. 创建scrapy项目

1. 新建项目：

scrapy startproject ArticleSpider

1. 使用模板：

进入项目目录后输入

scrapy genspider jobbole blog.jobbole.com

3. 调试项目

1. 新建main方法

在主目录下新建main.py ，写入以下代码

# _*_ coding: utf-8 _*_

from scrapy.cmdline import execute

import sys
import os

print(os.path.dirname(os.path.abspath(__file__)))  # 打印目录
sys.path.append(os.path.dirname(os.path.abspath(__file__)))  # 寻找项目工程目录
execute(["scrapy", "crawl", "jobbole"])

1. 直接启动scrap的方法

在项目目录下输入

scrapy crawl jobbole

注：出现‘win32api’错误时请使用pip安装

pip install -i https://pypi.douban.com/simple pypiwin32

1. 将robots协议设为False

在setting.py中将 ROBOTSTXT_OBEY = True 改为ROBOTSTXT_OBEY = ==False==

1. 异常显示 PIL错误 请安装 pillow
2. 异常显示 MySQLdb 错误 请确定python版本，py27使用mysqldb，py3使用pymsql