AFFGT
点滴价值

python scrapy爬取电影天堂所有电影

最近在github上看到个爬虫,拿来耍耍。https://github.com/guapier/dytt8

记录一下。

环境:python3、scrapy。

注意先装Python3再装scrapy否则会出错。

一、安装Python3.6.1

1、下载并解压

wget https://www.python.org/ftp/python/3.6.1/Python-3.6.1.tgz

tar -xvf Python-3.6.1.tgz

2、编译安装

cd Python-3.6.1

./configure --prefix=/usr/local/python3

make && make altinstall

ln -s /usr/local/python3/bin/python3.6 /usr/bin/python3

ln -s /usr/local/python3/bin/pip3.6 /usr/bin/pip3

3、查看安装

pip3 -V

python3 -V

安装完成后相应输出会看到Python3相关字眼,到此安装完成。

二、安装scrapy

上面安装完Python后一条命令安装完成,如果你已经安装Python3.6的可以直接敲pip install scrapy

pip3 install scrapy

三、获取源码执行

git clone https://github.com/guapier/dytt8.git

cd dytt8

python3 main.py

python3 main.py

四、从VPS下载movies.csv,使用Excel打开 movies.csv

movies.csv

五、如果你打开的文件乱码那么继续往下走(解决Windows下Excel打开.csv文件乱码问题)

导入文件

选择UTF-8的编码

选择逗号

 

新建工作表存放

赞(0) 打赏 直达链接
未经允许不得转载:AffGoTo » python scrapy爬取电影天堂所有电影

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

微信扫一扫打赏