Alternatives and similar repositories for web-crawler

Users that are interested in web-crawler are comparing it to the libraries listed below

• pengwow / jyeoo-crawler-gui
  jyeoo 菁优网图形化爬虫工具
  ☆30Updated 6 years ago
• li-phone / DouyinCrawler
  从抖音app爬取数据
  ☆19Updated 6 years ago
• Esbiya / Qimai
  七麦APP数据爬虫
  ☆31Updated 6 years ago
• NearHuiwen / TaobaoCrawl
  淘宝根据搜索词搜索商品爬虫，无selenium，动态cookie，动态代理IP
  ☆24Updated 5 years ago
• Aoshika123 / TaoBao-Reptile
  对淘宝（天猫）的评论爬取并进行简单分析
  ☆28Updated 5 years ago
• govzhz / artical-spider
  智能文章解析爬虫
  ☆17Updated 8 years ago
• HegemonyTao / crawlProject
  今日头条 、淘宝 、微博 、斗鱼 、抖音 、哔哩哔哩 、有道翻译、steam网站以及网易云音乐爬取
  ☆61Updated 5 years ago
• konglinghao75 / kuaishou
  爬取快手热门视频,每个视频评论,用户详情数据,用户所有个人作品
  ☆13Updated 6 years ago
• Boris-code / boris-spider
  boris-spider是一款使用Python语言编写的爬虫框架，于多年的爬虫业务中不断磨合而诞生，相比于scrapy，该框架更易上手，且又满足复杂的需求，支持分布式及批次采集。
  ☆85Updated 4 years ago
• AaronJny / scrapy_redis_expiredupefilter
  scrapy-redis-expiredupefilter是基于scrapy-redis修改来的一款scrapy分布式爬虫框架，它支持为请求指纹设置生命周期，请求指纹生命周期结束后将在不影响其他指纹的情况下自动清除。
  ☆10Updated 6 years ago
• fmyblack / textClassify
  此文本分类项目主要面向机器学习初学者和文本分类效果测试者，项目内部含有朴素贝叶斯，余弦定理，逻辑回归多种分类算法以及mm，rmm分词器，同时从某新闻站点爬取了多个分类共6000多篇文章，以及一个中文词典。项目方便自由拓展各种分类器和分词器，并通过组装测试分类效果。
  ☆37Updated 8 years ago
• maxnoodles / wechat_app_spider
  通过 airtest + mitmproxy 抓取手机端微信的公众号信息
  ☆39Updated 6 years ago
• longxiaofei / spider-lianjia
  链家二手房爬虫
  ☆11Updated 8 years ago
• MashiMaroLjc / TimeExtractor
  针对口语进行时间抽取并标准化
  ☆13Updated 5 years ago
• crush-one / cracking4crawling
  一些爬虫相关的签名、验证码破解，目前已涉及：小红书。
  ☆154Updated 5 years ago
• qqizai / CrackApp
  安卓逆向相关
  ☆30Updated 5 years ago
• Eeyhan / get_jobs
  Use thread pools, coroutines, asynchronous methods to crawl data from major recruitment websites (recruitment data, non -resumes and othe…
  ☆40Updated 4 years ago
• Williamsunsir / Spider-taobao
  ☆11Updated 6 years ago
• xzh0723 / Taobao
  破解淘宝h5页面的sign参数， 新增淘宝pyppeteer登录， 有效绕过自动化工具检测。
  ☆56Updated 6 years ago
• Liangzhenzhuo / Bilibili
  Bilibili 爬虫合集
  ☆35Updated 6 years ago
• bytebuff / ScrapingOutsourcing
  ScrapingOutsourcing专注分享爬虫代码 尽量每周更新一个
  ☆176Updated 5 years ago
• bytebuff / dj-poetry-es
  django+es搭建的前后端分离，唐诗宋词搜索引擎。
  ☆36Updated 3 years ago
• tf2jaguar / crawler
  爬虫脚本，目前支持抓取懂车帝车品牌、车型，汽车图片等; 简书30热搜、简书刷评论；拉勾教育专栏文章；mm131图片；影视资源站视频抓取。
  ☆74Updated 2 years ago
• zyingzhou / music163-spiders
  网易云音乐歌曲评论爬虫
  ☆274Updated 6 years ago
• worldwonderer / gsxt_captcha
  破解含语序问题的点击验证码
  ☆23Updated 5 years ago
• crazyxw / JsDecrypt
  js逆向解析
  ☆41Updated 5 years ago
• OFZFZS / JS-Decryption
  提供大陆主流网站JS登录加密的解密例子(适合爬虫模拟登录)
  ☆89Updated 7 years ago
• soul-cat / DouYinSign
  web版抖音采集的一种解决方案
  ☆19Updated 5 years ago
• CatWang / Lago-data-analysis
  本文使用Python编写爬虫，通过向端口传送请求并且抓取传输过来的json字符串来获取招聘职位信息，并且分类保存为csv格式的表格文件。最后通过长时间的爬取，最终得到37.7MB的表格数据，共计314093个招聘信息。之后通过SPSS对数据进行预处理和统计，再进行深度数据分…
  ☆36Updated 9 years ago
• LumingMelody / red_book_spider
  小红书相关爬虫
  ☆89Updated 3 years ago