Alternatives and similar repositories for crawer_python:

Users that are interested in crawer_python are comparing it to the libraries listed below

• xiaosimao / wx_code
  公众号文章代码
  ☆62Updated 6 years ago
• hl10502 / scrapy_site
  使用Scrapy框架，通过关键字检索，爬取招标网站的招投标信息，每天定时发送Email
  ☆56Updated 7 years ago
• Yanxueshan / Scrapy-Redis-Zhihu
  基于scrapy-redis实现分布式爬虫，爬取知乎所有问题及对应的回答，集成selenium模拟登录、英文验证码及倒立文字验证码识别、随机生成User-Agent、IP代理、处理302重定向问题等等
  ☆56Updated 5 years ago
• qqxx6661 / flask_yzd
  旧版某东监控网站前后端，轻量级Flask网站，可用作学习Flask
  ☆74Updated 2 years ago
• pig6 / taobao_spider
  爬取淘宝商品信息
  ☆147Updated 5 years ago
• longxiaofei / dianping
  大众点评商家评论爬虫
  ☆48Updated 5 years ago
• happyjared / python-learning
  Those years of learning Python - 这些年学习的Python
  ☆115Updated 5 years ago
• zjfGit / python3-scrapy-spider-phantomjs-selenium
  基于Python3的动态网站爬虫，使用selenium+phantomjs实现爬取动态网站, 本项目以爬取今日头条为例
  ☆178Updated 4 years ago
• 1414044032 / Sina_Spider
  新浪爬虫，基于Python+Selenium。模拟登陆后保存cookie，实现登录状态的保存。可以通过输入关键词来爬取到关键词相关的热门微博。
  ☆30Updated 6 years ago
• monkey-soft / Scrapy_IPProxyPool
  免费 IP 代理池。Scrapy 爬虫框架插件
  ☆102Updated 6 years ago
• Python3WebSpider / Weixin
  Sougou Weixin Spider Using Proxy
  ☆87Updated 3 years ago
• boss-mao / scrapy_enterprise_architecture
  python scrapy 企业级分布式爬虫开发架构模板
  ☆94Updated 7 years ago
• haibincoder / ToutiaoCrawler
  今日头条爬虫，主要爬取关键词搜索结果，包含编辑距离算法、奇异值分解、k-means聚类。
  ☆71Updated 5 years ago
• xqtbox / AutoHomeSpider_Scrapy
  爬取汽车之家的口碑数据，并破解前端js反爬虫措施分析
  ☆62Updated 7 years ago
• NGUWQ / Python3Spider
  爬虫项目
  ☆69Updated 6 years ago
• alicelmx / wechat_public_spider
  通过搜狗搜索引擎爬取微信公众号文章
  ☆28Updated 7 years ago
• dangsh / hive
  lots of spider (很多爬虫）
  ☆118Updated 6 years ago
• smilemilk1992 / scrapy_redis_mongodb
  基于Python+scrapy+redis的分布式爬虫实现框架
  ☆59Updated 5 years ago
• tmliang / Taobao_Spider
  基于Scrapy的Python3分布式淘宝爬虫
  ☆192Updated 4 years ago
• Tobby-star / douyin
  抖音视频下载
  ☆122Updated 6 years ago
• zhangslob / Taobao_duoshou
  使用Scrapy采集淘宝数据，Flask展示
  ☆65Updated 7 years ago
• dequinns / ScrapydArt
  在scrapyd基础上新增权限验证、爬虫运行信息统计、界面重构、，并增加排序、筛选过滤等多个API
  ☆112Updated 6 years ago
• cuanboy / scrapyTest
  SCRAPY爬虫实验，主要是一些简单的栗子，让你快速了解scrapy玩法！
  ☆134Updated 7 years ago
• henrylee123 / gzssztCrawler
  scrapy实现商事主体信息公示平台爬虫。查询工商注册信息的网站，输入关键词可以爬相关所有注册企业数据的数据。 网址：http://cri.gz.gov.cn/
  ☆26Updated 5 years ago
• ioiogoo / scrapy-monitor
  scrapy-monitor，实现爬虫可视化，监控实时状态
  ☆109Updated 8 years ago
• tomoncle / Python-notes
  Python related technologies used in work: crawler, data analysis, timing tasks, RPC, page parsing, decorator, built-in functions, Python …
  ☆102Updated 5 years ago
• Python3WebSpider / ScrapyUniversal
  Scrapy Universal Spider
  ☆56Updated 7 years ago
• Germey / Weibo
  Weibo Spider
  ☆49Updated 7 years ago
• zhanghe06 / news_spider
  新闻抓取（微信、微博、头条...）
  ☆225Updated 2 years ago
• jecktion / myproject_zhaopin
  猎头招聘数据仓库
  ☆40Updated 7 years ago