Alternatives and similar repositories for SpiderRef

Users that are interested in SpiderRef are comparing it to the libraries listed below

• weizetao / spider-roach
  分布式定向抓取集群
  ☆71Updated 7 years ago
• mysql-inception / inception-document
  一个集审核、执行、备份及生成回滚语句于一身的MySQL自动化运维工具之手册部分
  ☆38Updated 6 years ago
• da2vin / Spider_index
  爬取百度指数和阿里指数，采用selenium，存入hbase，验证码自动识别，多线程控制
  ☆32Updated 8 years ago
• shelmesky / crawler
  淘宝爬虫原型，基于gevent
  ☆49Updated 12 years ago
• wwj718 / jobSpider
  jobSpider是一只scrapy爬虫，用于爬取职位信息
  ☆27Updated 8 years ago
• oule / loganalysis.py
  loganalysis.py 是一个通过python语言实现的WEB服务器访问日志统计分析应用。
  ☆17Updated 11 years ago
• netxfly / dianying
  中国主流在线电影网站爬虫及搜索web代码
  ☆34Updated 11 years ago
• wklken / KeepLearning
  之前学习一些东西的代码集合, 一般跟某份教程或者某本书一致. 代码+详细注释, 可执行
  ☆21Updated 9 years ago
• LiuRoy / spider_docker
  为爬虫引用创建container，包括的模块：scrapy, mongo, celery, rabbitmq
  ☆37Updated 9 years ago
• loveNight / PythonScripts
  用于保存自己写的一些Python脚本
  ☆6Updated 8 years ago
• muyannian / higo
  海狗-多维在线分析系统
  ☆72Updated 10 years ago
• daoluan / WXSender-Python
  模拟登录微信公众平台群发消息
  ☆40Updated 11 years ago
• 521xueweihan / PySpider
  Python爬虫的学习历程
  ☆52Updated 7 years ago
• gy-games / smartpbr
  SmartPBR为一个帮助运维人员快速自动化安装策略路由服务，主要企业使用LINUX网关策略路由组网环境。
  ☆12Updated 8 years ago
• Wooden-Robot / spider-practice
  ☆20Updated 8 years ago
• LxiaoGirl / MysqlToElasticsearch
  用于分库分表，表结构完全相同情况下从Mysql数据到导入数据到Elasticsearch搜索引擎。
  ☆22Updated 9 years ago
• PyCN / lagou_spider
  拉勾网爬虫, 利用通过微信公众号推送数据
  ☆8Updated 8 years ago
• bojanliu / zhihu-to-renren
  一个自动抓取知乎热门问答内容、自动在人人网上发日志的脚本
  ☆40Updated 13 years ago
• bigdata-labs / spark2-hadoop2.6-hbase-labs
  ☆39Updated 8 years ago
• phodal / ml
  Python Github
  ☆16Updated 11 years ago
• AoboJaing / thirdDemo
  python3 scrapy crawler crawl taobao.com, data import to MySQL
  ☆21Updated 8 years ago
• heartfly / ajax_crawler
  A flexible web crawler based on Scrapy for fetching most of Ajax or other various types of web pages. Easy to use: To customize a new web…
  ☆45Updated 9 years ago
• A1014280203 / Ugly-Distributed-Crawler
  基于Redis实现的简单到爆的分布式爬虫
  ☆47Updated 7 years ago
• hexcola / wcspider
  微信公众号爬虫
  ☆42Updated 8 years ago
• allwefantasy / godear
  ServiceFramework 示例项目
  ☆10Updated 9 years ago
• PeggyZWY / lagou-job-report
  Using web crawler to dig information from lagou.com 从拉勾招聘小窥互联网行业发展
  ☆24Updated 9 years ago
• handalin / CharlieLrc
  查理歌词, 一个微信公众帐号, 1.0版本. 暂时可以实现快速查找歌词.
  ☆67Updated 10 years ago
• qiwsir / BitJSCode
  ☆23Updated 9 years ago
• dongweiming / divingintoipynb
  Diving into ipython notebook
  ☆24Updated 8 years ago
• bbossgroups / bigdatas
  this is a db-hdfs tools used to transfer big database datas to hadoop hdfs like sqoop,but bboss bigdata tool is very nice monitor and ev…
  ☆27Updated 4 months ago