Alternatives and similar repositories for spider:

Users that are interested in spider are comparing it to the libraries listed below

• moJiXiang / xinmeispiders
  用于抓取百度，谷歌，搜狗微信等网站的搜索结果。
  ☆15Updated 9 years ago
• markstock7 / Simple-Computer-Robot
  当初为某个站长编写的爬虫，可以用来爬去优酷视频，电影天堂，搜狗等站的资源，采用多线程，可以在配置文件里面给定关键词，数据库配置信息等，自动更新到极光cms中(现在好像找不到了).所以此代码只给想要学习用python编写爬虫的同学学习
  ☆35Updated 8 years ago
• conwaywang / jiemeibang
  python实现采集数据并发表到论坛中。涉及数据的爬取分析，discuz论坛的登录、发帖及回复等
  ☆40Updated 11 years ago
• netxfly / dianying
  中国主流在线电影网站爬虫及搜索web代码
  ☆34Updated 10 years ago
• 3gcnbeta / 3gcnbeta.github.io
  开源Web开发网址导航
  ☆17Updated 2 years ago
• gaokaigithub / domain
  查询域名是否注册以及获取域名whois
  ☆47Updated 5 years ago
• awolfly9 / job_wxbot
  微信机器人抓取并分发招聘信息
  ☆25Updated 7 years ago
• ibuler / check_domain
  生成任意长度的域名的所有组合，并查询是否被注册
  ☆27Updated 8 years ago
• SentDz / BaiduYunSpider2017
  百度网盘爬虫2017
  ☆19Updated 7 years ago
• lan2720 / deadurl_detector
  python检测网站死链
  ☆11Updated 9 years ago
• cw1997 / get-email-by-tieba
  用于抓取贴吧发帖中的手机号和电子邮箱的一个爬虫
  ☆63Updated 7 years ago
• pujinxiao / TaoBao
  scrapy淘宝天猫实战
  ☆27Updated 7 years ago
• lcdevelop / weixin-crawler
  微信公众号批量抓取器
  ☆55Updated 8 years ago
• xiaodaguan / sogou_weixin
  weixin.sogou.com 微信爬虫 -- 基于scrapy
  ☆28Updated 8 years ago
• whirlwind110 / wwcsp
  旋风寄生虫站群
  ☆32Updated 8 years ago
• chenjiandongx / pyocr
  利用 tesseract 解析简单数字验证码图片
  ☆21Updated 6 years ago
• walker02 / yunshare
  百度云分享爬虫项目
  ☆33Updated 8 years ago
• xiaobeibei26 / weixin_spider
  微信文章爬虫，加入代理池中间件
  ☆17Updated 7 years ago
• da2vin / Spider_index
  爬取百度指数和阿里指数，采用selenium，存入hbase，验证码自动识别，多线程控制
  ☆32Updated 8 years ago
• nolanzhao / FutureNews
  新闻聚合网站，抓取科技圈主流媒体报道的即将发生的事
  ☆59Updated 2 years ago
• mymusise / Baidu-Hot
  记录每天百度搜索热点
  ☆24Updated 2 years ago
• qqxx6661 / scrapy-yzd
  该项目为scrapy框架脚手架，整合了自动切换agent，自动切换代理ip等中间件，可以下载后自行编写爬虫。 支持： 豆瓣电影，某东商品信息（名称价格等）。
  ☆35Updated 5 years ago
• bluedazzle / multithreading-spider
  a simple demo use threading and queue get proxies from proxy sites
  ☆18Updated 8 years ago
• qiaofei32 / yunCrawler
  智能云爬虫Demo
  ☆32Updated 7 years ago
• 521xueweihan / PySpider
  Python爬虫的学习历程
  ☆51Updated 7 years ago
• qqxx6661 / flask_yzd
  旧版某东监控网站前后端，轻量级Flask网站，可用作学习Flask
  ☆74Updated last year
• tonghs / OnlyRSSWeb
  OnlyRSSWeb -- RSS阅读器，基于 Python Django 和 MySQL
  ☆40Updated 4 years ago
• hetykai / domain
  域名批量查询工具、域名whois信息查询开源包
  ☆12Updated 10 years ago
• liqueur / skydrivebot
  观云网盘搜索服务爬虫，基于Scrapy
  ☆17Updated 9 years ago
• LxiaoGirl / MysqlToElasticsearch
  用于分库分表，表结构完全相同情况下从Mysql数据到导入数据到Elasticsearch搜索引擎。
  ☆22Updated 8 years ago