Alternatives and similar repositories for GeneralNewsExtractor

Users that are interested in GeneralNewsExtractor are comparing it to the libraries listed below

• chyroc / WechatSogou
  基于搜狗微信搜索的微信公众号爬虫接口
  ☆6,090Updated last year
• justinzm / gopup
  数据接口：百度、谷歌、头条、微博指数,宏观数据，利率数据，货币汇率，千里马、独角兽公司，新闻联播文字稿，影视票房数据，高校名单，疫情数据…
  ☆2,560Updated last year
• luyishisi / Anti-Anti-Spider
  越来越多的网站具有反爬虫特性，有的用图片隐藏关键数据，有的使用反人类的验证码，建立反反爬虫的代码仓库，通过与不同特性的网站做斗争（无恶意）提高技术。（欢迎提交难以采集的网站）（因工作原因，项目暂停）
  ☆7,300Updated 3 years ago
• wnma3mz / wechat_articles_spider
  微信公众号文章的爬虫
  ☆3,208Updated last year
• striver-ing / wechat-spider
  开源微信爬虫：爬取公众号所有 文章、阅读量、点赞量和评论内容。易部署。持续维护！！！
  ☆2,615Updated 2 years ago
• lqqyt2423 / wechat_spider
  微信爬虫，获取文章内容、阅读量、点赞量、评论等，获取公众号所有历史文章链接。
  ☆1,476Updated 2 years ago
• awolfly9 / IPProxyTool
  python ip proxy tool scrapy crawl. 抓取大量免费代理 ip，提取有效 ip 使用
  ☆1,994Updated 2 years ago
• my8100 / scrapydweb
  Web app for Scrapyd cluster management, Scrapy log analysis & visualization, Auto packaging, Timer tasks, Monitor & Alert, and Mobile UI.…
  ☆3,310Updated 4 months ago
• HiddenStrawberry / Crawler_Illegal_Cases_In_China
  Collection of China illegal cases about web crawler 本项目用来整理所有中国大陆爬虫开发者涉诉与违规相关的新闻、资料与法律法规。致力于帮助在中国大陆工作的爬虫行业从业者了解我国相关法律，避免触碰数据合规红线。 [AD]企业租…
  ☆4,229Updated 3 months ago
• SpiderClub / weibospider
  A distributed crawler for weibo, building with celery and requests.
  ☆4,809Updated 5 years ago
• SpiderClub / haipproxy
  High available distributed ip proxy pool, powerd by Scrapy and Redis
  ☆5,487Updated 2 years ago
• TurboWay / spiderman
  基于 scrapy-redis 的通用分布式爬虫框架
  ☆614Updated 2 years ago
• wkunzhi / Python3-Spider
  Python爬虫实战 - 模拟登陆各大网站 包含但不限于：滑块验证、拼多多、美团、百度、bilibili、大众点评、淘宝，如果喜欢请start ❤️
  ☆3,227Updated last year
• qiyeboy / IPProxyPool
  IPProxyPool代理池项目，提供代理ip
  ☆4,234Updated 7 years ago
• Gerapy / GerapyAutoExtractor
  Auto Extractor Module
  ☆326Updated 10 months ago
• imWildCat / scylla
  Intelligent proxy pool for Humans™ to extract content from the internet and build your own Large Language Models in this new AI era
  ☆4,010Updated last month
• xianhu / PSpider
  简单易用的Python爬虫框架，QQ交流群：597510560
  ☆1,840Updated 3 years ago
• bowenpay / wechat-spider
  微信公众号爬虫
  ☆3,254Updated 3 years ago
• Gerapy / Gerapy
  Distributed Crawler Management Framework Based on Scrapy, Scrapyd, Django and Vue.js
  ☆3,464Updated 8 months ago
• CharlesPikachu / DecryptLogin
  DecryptLogin: APIs for loginning some websites by using requests.
  ☆2,851Updated 11 months ago
• chrislinan / cx-extractor-python
  基于行块分布函数的通用网页正文抽取算法的Python版本实现，添加了英文支持/ Web page content extraction algorithm, support both Chinese and English
  ☆484Updated 6 years ago
• Boris-code / feapder
  🚀🚀🚀feapder is an easy to use, powerful crawler framework | feapder是一款上手简单，功能强大的Python爬虫框架。内置AirSpider、Spider、TaskSpider、BatchSpider四种爬…
  ☆3,316Updated 3 months ago
• 54xingzhe / weixin_crawler
  高效微信公众号历史文章和阅读数据爬虫powered by scrapy
  ☆466Updated 6 years ago
• platonai / PulsarRPA
  PulsarRPA: An AI-Enabled, Super-Fast, Thread-Safe Browser Automation Solution! 💖
  ☆894Updated this week
• kangvcar / InfoSpider
  INFO-SPIDER 是一个集众多数据源于一身的爬虫工具箱🧰，旨在安全快捷的帮助用户拿回自己的数据，工具代码开源，流程透明。支持数据源包括GitHub、QQ邮箱、网易邮箱、阿里邮箱、新浪邮箱、Hotmail邮箱、Outlook邮箱、京东、淘宝、支付宝、中国移动、中国联通…
  ☆8,029Updated last month
• cnbattle / douyin
  抖音推荐/搜索页视频列表视频爬虫方案,基于app(虚拟机或真机) 相关技术 golang adb
  ☆1,166Updated 2 weeks ago
• jtyoui / PyUnit
  搜狗词库下载、新词发现算法、常见的工具类、百度应用、翻译、天气预报、汉语纠错、字符串文本数据提取时间解析、百度文库下载、实体抽取等等
  ☆729Updated 3 years ago
• Kr1s77 / Python-crawler-tutorial-starts-from-zero
  python爬虫教程，带你从零到一，包含js逆向，selenium, tesseract OCR识别,mongodb的使用，以及scrapy框架
  ☆4,497Updated 4 years ago
• BaiduSpider / BaiduSpider
  BaiduSpider，一个爬取百度搜索结果的爬虫，目前支持百度网页搜索，百度图片搜索，百度知道搜索，百度视频搜索，百度资讯搜索，百度文库搜索，百度经验搜索和百度百科搜索。
  ☆1,103Updated last year
• mozillazg / python-pinyin
  汉字转拼音(pypinyin)
  ☆5,092Updated last week