Alternatives and similar repositories for Crawler:

Users that are interested in Crawler are comparing it to the libraries listed below

• henrylee123 / gzssztCrawler
  scrapy实现商事主体信息公示平台爬虫。查询工商注册信息的网站，输入关键词可以爬相关所有注册企业数据的数据。 网址：http://cri.gz.gov.cn/
  ☆25Updated 5 years ago
• xzh0723 / Taobao
  破解淘宝h5页面的sign参数， 新增淘宝pyppeteer登录， 有效绕过自动化工具检测。
  ☆56Updated 5 years ago
• Boris-code / boris-spider
  boris-spider是一款使用Python语言编写的爬虫框架，于多年的爬虫业务中不断磨合而诞生，相比于scrapy，该框架更易上手，且又满足复杂的需求，支持分布式及批次采集。
  ☆83Updated 3 years ago
• AwesomeCrawler / taobao_login
  淘宝登录，获取Cookies
  ☆78Updated 4 years ago
• shuaiyy / spider-code
  scrapy分布式爬虫，selenium 爬虫，手机群控（自动化）（appium,airtest,uiautomator2），反爬破解文档
  ☆33Updated 5 years ago
• striver-ing / crack_slider
  缺口类滑块验证码识别
  ☆34Updated 5 years ago
• Weiney / douyin
  Just a simple app spider for douyin(Tiktok)
  ☆31Updated last year
• Henryhaohao / Taobao
  Selenium+PhantomJS淘宝商品信息的定向爬取
  ☆21Updated 6 years ago
• qi20172017 / douyin_spider
  APP端爬取抖音数据
  ☆9Updated 5 years ago
• Python3WebSpider / AjaxHookSpider
  Ajax Hook Demo
  ☆29Updated 4 years ago
• littlepai / Unofficial-Zhihu-API
  深度学习模型自动识别验证码，python爬虫库自动管理会话，通过简单易用的API，实现知乎数据的爬取
  ☆77Updated 2 years ago
• wenguan0927 / WechatSpider
  微信公众号爬虫：服务端公众号文章数据采集
  ☆43Updated 2 years ago
• onetwo1 / pinduoduo
  pdd (拼多多) 爬虫 js 解密 anti_content 参数解密及全站抓取代码思路实现
  ☆147Updated 5 years ago
• swukong / douyin_signature
  抖音接口signature的生成破解
  ☆84Updated 6 years ago
• wkunzhi / TaoBaoSpider
  【爬虫】2019淘宝新反爬解决Demo，selenium无法登陆解决方案
  ☆23Updated 5 years ago
• chenchong6 / taobao-login
  taobao-login
  ☆46Updated 6 years ago
• Python3WebSpider / Weixin
  Sougou Weixin Spider Using Proxy
  ☆86Updated 3 years ago
• OSinoooO / MeituanSpider
  美团爬虫，基于scrapy_redis
  ☆21Updated 5 years ago
• daxingshen / dyVideoListCrack
  ☆52Updated 5 years ago
• ErisYoung / douyin_spider
  🎨One simple and easy to use crawler for DouYin（一个简单易用的抖音爬虫,可下载指定用户,挑战,音乐的视频,音频和数据)
  ☆66Updated 5 years ago
• pymyworld / xingji100_spider
  主播数据平台基础数据爬虫，包括斗鱼、企鹅、熊猫、b站、全民、虎牙、龙珠、战旗、火猫
  ☆17Updated 6 years ago
• jiaoyanfei / taobao-sign
  淘宝系部分api sign参数的破解
  ☆43Updated 6 years ago
• wkunzhi / SpiderUtilPackage
  📦 原创开发的 爬虫实用工具 【特定代理池】【特定cookies池】【注册辅助工具】
  ☆118Updated 5 years ago
• bytebuff / aioScrapy
  基于asyncio与aiohttp的异步协程爬虫框架 欢迎Star
  ☆35Updated 5 years ago
• ice-tong / boring_item
  淘宝商品信息爬虫，词云，知乎模拟登陆，快音视加密参数获取，C# WPF 应用。
  ☆49Updated 6 years ago
• whbing / taobaospider
  scrapy爬虫天猫（淘宝）店铺店名、月销售量、价格等详细信息。涉及分类大类30多个，小类数百个。总爬取结果50万+条
  ☆54Updated 7 years ago
• 13060923171 / Crawl-Project
  一些有趣的小项目，实现一些小功能，需要的可以下载来玩玩有qq音乐，京东，房天下，快代理的代理池，抖音，百度文库，千图，网易新闻，百度新闻，微博，酷狗，最好大学网，淘宝，豆瓣，天猫，有道翻译，疫情地图等
  ☆33Updated 3 months ago
• facert / scrapy_helper
  Dynamic configurable crawl (动态可配置化爬虫)
  ☆88Updated 7 years ago
• OFZFZS / JS-Decryption
  提供大陆主流网站JS登录加密的解密例子(适合爬虫模拟登录)
  ☆83Updated 6 years ago
• LongYosef / corpredit
  国家企业信用信息官网爬虫，未获取全部企业信息，重点在设计反爬思路
  ☆67Updated 6 years ago