Scrapy爬虫框架教程（一）– Scrapy入门
Scrapy爬虫框架教程（二）– 爬取豆瓣电影TOP250
Scrapy爬虫框架教程（三）– 调试(Debugging)Spiders

前言

前一段时间工作太忙一直没有时间继续更新这个教程，最近离职了趁着这段时间充裕赶紧多写点东西。之前我们已经简单了解了对普通网页的抓取，今天我就给大家讲一讲怎么去抓取采用Ajax异步加的网站。

前言

春节放假在老家没有网，所以最近没有更新。这周加班闲暇抽空赶紧来更新一篇。我们在写爬虫的时候经常需要修改xapth规则来获取所需的数据，而Scrapy的爬虫通常是在命令行中启动的，我们怎么去调试呢？下面我就为大家介绍两种我常用的方法。

前言

前不久又一次一个人在他乡过了生日，悄悄买了一台树莓派3送给自己做生日礼物。终于算是实现了大学以来一直的一个小愿望。买回来之后当然不能让他落灰，于是就利用自己的爬虫技术+树莓派+小音箱实现了一个定时闹钟外加语音天气播报功能。

前言

经过上一篇教程我们已经大致了解了Scrapy的基本情况，并写了一个简单的小demo。这次我会以爬取豆瓣电影TOP250为例进一步为大家讲解一个完整爬虫的流程。

前言

转行做python程序员已经有三个月了，这三个月用Scrapy爬虫框架写了两百多个爬虫，不能说精通了Scrapy，但是已经对Scrapy有了一定的熟悉。准备写一个系列的Scrapy爬虫教程，一方面通过输出巩固和梳理自己这段时间学到的知识，另一方面当初受惠于别人的博客教程，我也想通过这个系列教程帮助一些想要学习Scrapy的人。

2016年在重庆瓢虫的聚餐中开始，在成都瓢虫的年终聚餐中结尾。感谢瓢虫映像的大家给我这个独自在异乡漂泊的人带来了这么多的温暖，也感谢重庆和成都帮助我的同事和朋友，还有那些旅途上相遇的朋友感谢你们给我留下的美好回忆。

前言

在抓取网页信息时经常遇到很多头尾加了空格的字符串，在此介绍几种处理的小技巧。

os.path.dirname()的用途

os.path.dirname()用来获取文件的路径。
如：

1
2

>>> os.path.dirname('/home/woodenrobot/Documents/LearnPython/test.py')
/home/woodenrobot/Documents/LearnPython

错误信息

1

ImportError: No module named '_curses'

运行环境

1.ubuntu 14.04
2.python 3.5

前言

学习Flask的时候用到了Flask-SQLALchemy扩展，在使用过程可以正常导入Flask-SQLALchemy库，但是程序运行就出现缺少_sqlite3的错误。