Alternatives and similar repositories for GithubCrawler:

Users that are interested in GithubCrawler are comparing it to the libraries listed below

• smilemilk1992 / scrapy_redis_mongodb
  基于Python+scrapy+redis的分布式爬虫实现框架
  ☆59Updated 5 years ago
• Python3WebSpider / ScrapyUniversal
  Scrapy Universal Spider
  ☆56Updated 7 years ago
• haibincoder / ToutiaoCrawler
  今日头条爬虫，主要爬取关键词搜索结果，包含编辑距离算法、奇异值分解、k-means聚类。
  ☆71Updated 5 years ago
• mindawei / p2p
  一个基于 python 的 flask 框架的资讯网站， http://119.29.100.53:8086/
  ☆32Updated 6 years ago
• ioiogoo / scrapy-monitor
  scrapy-monitor，实现爬虫可视化，监控实时状态
  ☆109Updated 8 years ago
• zhangslob / Taobao_duoshou
  使用Scrapy采集淘宝数据，Flask展示
  ☆66Updated 7 years ago
• dangsh / hive
  lots of spider (很多爬虫）
  ☆118Updated 6 years ago
• lynings / weibo_twitter_earnings_analysis
  基于 python3 ，使用 scrapy 爬取新浪微博和 Twitter 的财报数据，再将数据进行整理和分析并持久化到 json 文件，最终使用 Flask 和 baidu echarts 对数据进行可视化。
  ☆16Updated 6 years ago
• jin10086 / copyheaders
  方便的从浏览器复制浏览器头
  ☆44Updated 4 years ago
• pujinxiao / Lagou_spider
  拉勾网全站职位抓取CrawlSpider
  ☆27Updated 8 years ago
• boss-mao / scrapy_enterprise_architecture
  python scrapy 企业级分布式爬虫开发架构模板
  ☆94Updated 7 years ago
• wangy8961 / python3-concurrency-aqi
  并发爬取全国城市空气质量日报数据，数据来源： http://datacenter.mep.gov.cn
  ☆10Updated 6 years ago
• striver-ing / distributed-spider
  通用新闻类网站分布式爬虫
  ☆75Updated 6 years ago
• yangqihua / new-jianhu
  荐乎 是自己创业时候的一个 to B 的商业项目，后台技术栈基于 Django，数据库使用 mysql+redis，前端使用jQuery-weui，界面及图标设计来自于腾讯某设计师。
  ☆52Updated 7 years ago
• wqh0109663 / JobSpiders
  scrapy框架爬取51job(scrapy.Spider)，智联招聘(扒接口)，拉勾网(CrawlSpider)
  ☆200Updated last year
• hahaha108 / MyNews
  基于scrapy-redis的分布式新闻爬虫，可同时获取腾讯、网易、搜狐、凤凰网、新浪、东方财富、人民网等各大平台新闻资讯
  ☆44Updated 7 years ago
• blackAndrechen / taobao_crawled
  淘宝爬虫命令行版，指定爬取淘宝商品和评论，利用selenium爬取商品信息，requests爬取评论信息。
  ☆93Updated 5 years ago
• xqtbox / AutoHomeSpider_Scrapy
  爬取汽车之家的口碑数据，并破解前端js反爬虫措施分析
  ☆62Updated 7 years ago
• Henryhaohao / IT_Orange
  Multiprocessing多进程爬取IT桔子网站的10万+公司信息
  ☆16Updated 6 years ago
• monkey-soft / Scrapy_IPProxyPool
  免费 IP 代理池。Scrapy 爬虫框架插件
  ☆103Updated 6 years ago
• littlepai / Unofficial-Zhihu-API
  深度学习模型自动识别验证码，python爬虫库自动管理会话，通过简单易用的API，实现知乎数据的爬取
  ☆78Updated 2 years ago
• qqxx6661 / flask_yzd
  旧版某东监控网站前后端，轻量级Flask网站，可用作学习Flask
  ☆74Updated 2 years ago
• pujinxiao / TaoBao
  scrapy淘宝天猫实战
  ☆27Updated 8 years ago
• liaolongfei / lagou
  拉勾网Python职位数据分析
  ☆12Updated 6 years ago
• yinzishao / NewsScrapy
  基于scrapy的新闻爬虫
  ☆101Updated 5 years ago
• xiaosimao / wx_code
  公众号文章代码
  ☆62Updated 6 years ago
• striver-ing / internet-content-detection
  Python编写的爬虫框架以及特定网站的信息抓取
  ☆17Updated 7 years ago
• F-debug / NewsSpider
  该项目是基于Scrapy框架的Python新闻爬虫，能够爬取网易，搜狐，凤凰和澎湃网站上的新闻，将标题，内容，评论，时间等内容整理并保存到本地
  ☆39Updated 5 years ago
• NGUWQ / Python3Spider
  爬虫项目
  ☆69Updated 6 years ago
• HegemonyTao / crawlProject
  今日头条 、淘宝 、微博 、斗鱼 、抖音 、哔哩哔哩 、有道翻译、steam网站以及网易云音乐爬取
  ☆59Updated 5 years ago