QQSpider：QQ空间爬虫，包括日志、说说、个人信息等，一天可抓取 400 万条数据。
WechatSogou：微信公众号爬虫。基于搜狗微信搜索的微信公众号爬虫接口，可以扩展成基于搜狗搜索的爬虫，返回结果是列表，每一项均是公众号具体信息字典。
DouBanSpider：
豆瓣读书爬虫。可以爬下豆瓣读书标签下的所有图书，按评分排名依次储存，储存到 Excel 中，可以方便打架筛选搜罗，比如筛选评价人数 > 1000的给分书籍；可依据不同的主题储存到 Excel 不同的 Sheet，采用 User-Agent 伪装为浏览器进行爬取，并加入随机延时来更好的模仿浏览器行为，避免爬虫被封。
ZhiHuSpider：
知乎爬虫。此项目的功能是爬取知乎用户信息以及人际拓扑关系，爬虫框架使用 Scrapy，数据储存使用 Mongo。
Bilibili-User：
Bilibili 用户爬虫。总数据数：20119918，抓取字段：用户 id、昵称、性别、头像、等级、经验值、粉丝数、生日、地址、注册时间、签名、等级与经验值等。抓取后生成B站用户数据报告。
SinaSpider：
新浪微博爬虫，主要爬取新浪微博用户的个人信息、微博关注、粉丝和关注。代码获取新浪微博 Cookie 进行登陆，可以通过多账号登陆来防止新浪的返爬。主要使用 Scrapy 爬虫框架。
distribute_crawler：
小说下载分布式爬虫。使用 Scrapy，Redis，MongoDB，graphite 实现的一个分布式网络爬虫，底层储存 MongoDB 集群，分布式使用 Redis 实现，爬虫状态显示使用 graphite 实现，主要正对一个小说站点。
CnkiSpider：
中国知网爬虫。设置检索条件后，执行src/CnkiSpider.py抓取数据，抓取数据存储在/data目录下，每个数据文件的第一行为字段名称。
LianJiaSpider：
链家网爬虫。爬取北京地区链家历年二手房成交记录。涵盖链家爬虫一文的全部代码，包括链家模拟登录代码。
scrapy_jingdong：京东爬虫。基于scrapy的京东网站爬虫，保存格式为csv。
QQ-Groups-Spider：
QQ 群爬虫。批量抓取 QQ 群信息，包括群名称、群号、群人数、群主、群简介等内容，最终生成 XLS(X) / CSV 结果文件。
wooyun_public：
乌云爬虫。乌云公开漏洞、知识库爬虫和搜索。全部公开漏洞的列表和每个漏洞的文本内容存在MongoDB中，大概约2G内容；如果整站爬全部文本和图片作为离线查询，大概需要10G空间、2小时（10M电信带宽）；爬取全部知识库，总共约500M空间。漏洞搜索使用了Flask作为web server，bootstrap作为前端。
spider：
hao123网站爬虫。以hao123为入口页面，滚动爬取外链，收集网址，并记录网址上的内链和外链数目，记录title等信息，windows7 32位上测试，目前每24个小时，可收集数据为10万左右。
findtrip：机票爬虫（去哪儿和携程网）。Findtrip是一个基于Scrapy的机票爬虫，目前整合了国内两大机票网站（去哪儿 + 携程）。
163spider：基于requests、MySQLdb、torndb的网易客户端内容爬虫。
doubanspiders：豆瓣电影、书籍、小组、相册、东西等爬虫集。
baidu-music-spider：
百度mp3全站爬虫，使用redis支持断点续传。
tbcrawler：
淘宝和天猫的爬虫,可以根据搜索关键词,物品id来抓去页面的信息，数据存储在MongoDB。
stockholm：
一个股票数据（沪深）爬虫和选股策略测试框架。根据选定的日期范围抓取所有沪深两市股票的行情数据。支持使用表达式定义选股策略。支持多线程处理。保存数据到JSON文件、CSV文件。
BaiduyunSpider：
百度云盘爬虫。分布式百度网盘爬虫，使用当前最流行的技术框架。适合个人学习以及二次开发。爬虫基于Scrapy，灵活简单、易扩展，方便二次开发。使用Scrapy-Redis作为分布式中间件，可同时部署多个爬虫实例，以提升采集效率。Web后台管理基于React，Material Design设计风格。
Spider：社交数据爬虫。支持微博，知乎，豆瓣。
proxy pool：Python爬虫代理IP池(proxy pool)。
music-163：爬取网易云音乐所有歌曲的评论。
jandan_spider：爬取煎蛋妹纸图片。
CnblogsSpider：Cnblogs列表页爬虫。
spider_smooc：爬取慕课网视频。
CnkiSpider：中国知网爬虫。
knowsecSpider2：知道创宇爬虫题目。
aiss-spider：爱丝APP图片爬虫。
SinaSpider：动态IP解决新浪的反爬虫机制，快速抓取内容。
csdn-spider：爬取CSDN上的博客文章。
ProxySpider：爬取西刺上的代理IP，并验证代理可用性。
ProxyPool：简易高效的代理池，提供如下功能：
定时抓取免费代理网站，简易可扩展。
使用 Redis 对代理进行存储并对代理可用性进行排序。
定时测试和筛选，剔除不可用代理，留下可用代理。
提供代理 API，随机取用测试通过的可用代理。
代理池原理解析可见「如何搭建一个高效的代理池」，建议使用之前阅读。
Weibo Spider：
本程序可以连续爬取一个或多个新浪微博用户（如胡歌、迪丽热巴、郭碧婷）的数据，并将结果信息写入文件或数据库。写入信息几乎包括用户微博的所有数据，包括用户信息和微博信息两大类。因为内容太多，这里不再赘述，详细内容见获取到的字段。如果只需要用户信息，可以通过设置实现只爬取微博用户信息的功能。本程序需设置cookie来获取微博访问权限，后面会讲解如何获取cookie。如果不想设置cookie，可以使用免cookie版，二者功能类似。