Alternatives and similar repositories for crwy:

Users that are interested in crwy are comparing it to the libraries listed below

• henrylee123 / gzssztCrawler
  scrapy实现商事主体信息公示平台爬虫。查询工商注册信息的网站，输入关键词可以爬相关所有注册企业数据的数据。 网址：http://cri.gz.gov.cn/
  ☆26Updated 6 years ago
• linyhuan / Crawler
  ☆37Updated 6 years ago
• hl10502 / scrapy_site
  使用Scrapy框架，通过关键字检索，爬取招标网站的招投标信息，每天定时发送Email
  ☆56Updated 8 years ago
• YanGen / NMPA_Spider
  国家药品监督管理局——数据查询
  ☆8Updated 5 years ago
• qi20172017 / douyin_spider
  APP端爬取抖音数据
  ☆9Updated 5 years ago
• yangge11 / scrapy_pro
  关于5000+站点的scrapy爬虫开发，涉及一些技术架构搭建以及各种反爬方案，详见readme文件
  ☆30Updated 2 years ago
• OSinoooO / MeituanSpider
  美团爬虫，基于scrapy_redis
  ☆22Updated 6 years ago
• freedom-wy / small-spider-project
  日常爬虫
  ☆16Updated 4 years ago
• pujinxiao / TaoBao
  scrapy淘宝天猫实战
  ☆27Updated 8 years ago
• nickliqian / interactive_captcha
  交互式验证码（滑动、点选等）的识别方案和例子。
  ☆43Updated 6 years ago
• boss-mao / scrapy_enterprise_architecture
  python scrapy 企业级分布式爬虫开发架构模板
  ☆93Updated 7 years ago
• langgithub / python_spider
  爬虫知识梳理 某宝爬虫 某运营商爬虫 某行征信爬虫 在线爬虫设计 密码控件爬虫 离线爬虫设计
  ☆18Updated 5 years ago
• pymyworld / xingji100_spider
  主播数据平台基础数据爬虫，包括斗鱼、企鹅、熊猫、b站、全民、虎牙、龙珠、战旗、火猫
  ☆17Updated 6 years ago
• dongrunhua / ScrapyUniversal
  基于Scrapy的通用爬虫框架
  ☆25Updated 6 years ago
• zhujiajunup / Jpider
  ☆27Updated 7 years ago
• xiaosimao / wx_code
  公众号文章代码
  ☆62Updated 6 years ago
• brady-chen / tbNews
  金融新闻增量式聚焦爬虫
  ☆21Updated 7 years ago
• Yanxueshan / Scrapy-Redis-Zhihu
  基于scrapy-redis实现分布式爬虫，爬取知乎所有问题及对应的回答，集成selenium模拟登录、英文验证码及倒立文字验证码识别、随机生成User-Agent、IP代理、处理302重定向问题等等
  ☆56Updated 6 years ago
• jerry3747 / douyin
  mitmproxy+appium实现抖音关键字搜索结果自动获取
  ☆17Updated 5 years ago
• zhangslob / Taobao_duoshou
  使用Scrapy采集淘宝数据，Flask展示
  ☆66Updated 7 years ago
• whbing / taobaospider
  scrapy爬虫天猫（淘宝）店铺店名、月销售量、价格等详细信息。涉及分类大类30多个，小类数百个。总爬取结果50万+条
  ☆57Updated 7 years ago
• xzh0723 / Taobao
  破解淘宝h5页面的sign参数， 新增淘宝pyppeteer登录， 有效绕过自动化工具检测。
  ☆56Updated 5 years ago
• Harhao / toutiao
  今日头条科技新闻接口爬虫
  ☆18Updated 7 years ago
• pujinxiao / Lagou_spider
  拉勾网全站职位抓取CrawlSpider
  ☆27Updated 8 years ago
• yueyue10 / PythonPro
  python多个项目集合：python基础知识、爬取github数据并保存到数据库、下载抖音视频、保存日志到数据库等功能
  ☆32Updated 2 years ago
• xiucaicoder / douyin-spider
  抖音无水印视频爬虫
  ☆11Updated 5 years ago
• ChenHuabin321 / company_ino_spider
  本项目为企业工商信息网络爬虫，输入行业关键字，例如“铜箔”，可爬取八方资源网等工商信息网上所有与铜箔有关企业的工商信息。
  ☆24Updated 6 years ago
• nieweiming / ProxyPool-crawler
  爬虫获取IP代理网站的有效IP代理地址。建立IP代理池，存在mysql数据库中，提供日常爬虫的IP代理。
  ☆15Updated 6 years ago
• littlepai / Unofficial-Zhihu-API
  深度学习模型自动识别验证码，python爬虫库自动管理会话，通过简单易用的API，实现知乎数据的爬取
  ☆78Updated 2 years ago
• AwesomeCrawler / taobao_login
  淘宝登录，获取Cookies
  ☆78Updated 4 years ago