前言

经过上一篇教程我们已经大致了解了Scrapy的基本情况，并写了一个简单的小demo。这次我会以爬取豆瓣电影TOP250为例进一步为大家讲解一个完整爬虫的流程。

前言

转行做python程序员已经有三个月了，这三个月用Scrapy爬虫框架写了两百多个爬虫，不能说精通了Scrapy，但是已经对Scrapy有了一定的熟悉。准备写一个系列的Scrapy爬虫教程，一方面通过输出巩固和梳理自己这段时间学到的知识，另一方面当初受惠于别人的博客教程，我也想通过这个系列教程帮助一些想要学习Scrapy的人。

2016年在重庆瓢虫的聚餐中开始，在成都瓢虫的年终聚餐中结尾。感谢瓢虫映像的大家给我这个独自在异乡漂泊的人带来了这么多的温暖，也感谢重庆和成都帮助我的同事和朋友，还有那些旅途上相遇的朋友感谢你们给我留下的美好回忆。

前言

在抓取网页信息时经常遇到很多头尾加了空格的字符串，在此介绍几种处理的小技巧。

os.path.dirname()的用途

os.path.dirname()用来获取文件的路径。
如：

1
2

>>> os.path.dirname('/home/woodenrobot/Documents/LearnPython/test.py')
/home/woodenrobot/Documents/LearnPython

错误信息

1

ImportError: No module named '_curses'

运行环境

1.ubuntu 14.04
2.python 3.5

前言

学习Flask的时候用到了Flask-SQLALchemy扩展，在使用过程可以正常导入Flask-SQLALchemy库，但是程序运行就出现缺少_sqlite3的错误。

前言

使用ubuntu的过程中一些软件启动前总是需要执行一下shell语句启动或者出问题时重启，但是不常用的话总会忘记，于是萌生了做一个可执行文件双击执行一段shell语言。

首先ctrl+alt+t打开终端，输入下列代码：

1

sudo apt-get install phpmyadmin

等待安装成功后，在终端继续输入下列代码：

1

sudo ln -s /usr/share/phpmyadmin/ /var/www/html

这是因为系统在安装软件时，默认将软件安装在了/usr/share/下，我们需要将phpmyadmin文件夹和/var/www/html建立联系。
接着打开浏览器输入,如果出现下图说明安装成功可以使用。

但是我在安装后出现了无法打开的问题，经过一番研究发现通过下列方法可以解决。
首先在终端里输入：

1

sudo gedit /etc/apache2/httpd.conf

如果你的这个文件（文件一般为空的）中加入ServerName localhost:80保存并退出。
重新打开，出现上图。
接着打开（ps:别忘了启动MySQL服务），出现下图情形，输入你的MySQL账号密码即可使用MySQL可视化工具进行操作。

前言

六月底正式离职了，计划了一次小长途骑行（重庆——昆明），定于七月八号出发，前半段路以多云为主，进入云南境内后天气预报多为中雨，希望预报不准，一路顺顺利利。