Alternatives and similar repositories for Scrapy-SearchEngines

Users that are interested in Scrapy-SearchEngines are comparing it to the libraries listed below

• cnyangkui / html-extractor
  基于行块分布函数的通用网页正文抽取算法优化，Python实现
  ☆60Updated 5 years ago
• Ryuchen / DeadPool
  该项目是一个使用celery作为主体框架的爬虫应用，能够灵活的添加爬虫任务，并且同时运行多站点的爬虫工作，所有组件都能够原生支持规模并发和分布式，加上celery原生的分布式调用，实现大规模并发。
  ☆41Updated 2 years ago
• CyberCommy / baidu-wiki-500w
  百度百科 500 万数据集
  ☆35Updated last year
• howie6879 / magic_google
  Google search results crawler, get google search results that you need
  ☆407Updated last year
• 52Lau / weixin_crawler-1
  高效微信公众号历史文章和阅读数据爬虫powered by scrapy 微信公众号爬虫 微信采集 公众号采集
  ☆66Updated 6 years ago
• realzhengyiming / newsSpier_scrapy
  news spider wrote by scrapy ,now it can crawl the news in sina ,and continue to update it.这个是多新闻的增量爬虫版本，爬取腾讯，网易，搜狐的每日新闻 scrapy 实现的版本
  ☆13Updated 5 years ago
• kingking888 / CommNewsExtractor
  通用文章提取，正文，标题，时间，作者，图片，音视频，联系方式等
  ☆23Updated 2 years ago
• LycEcho / laji-collect
  【辣鸡采集，采集世界上所有辣鸡数据 欢迎大家来采集】，[collect web][ai collect] [auto collect] [爬虫数据][采集数据][在线采集][web采集][collect][spider]，go全开源 最新算法采集 ，全智能采集 不用写规则 …
  ☆31Updated 9 months ago
• crawlaio / zsxqcrawler
  知识星球爬虫
  ☆62Updated 4 years ago
• Litre-WU / businessInfo-api
  企业工商信息接口(包含天眼查、企查查、爱企查、国家企业公示系统平台、快准)
  ☆100Updated 2 years ago
• w5688414 / spider-keywords-for-E-commence
  电子商务网站：京东，淘宝，拼多多的爬虫集合
  ☆33Updated 5 years ago
• RyouMon / ProductsCrawler
  电商爬虫，一个用于收集商品图片和信息的爬虫项目。A scrapy project for crawl product pictures and informations.
  ☆10Updated last year
• mymusise / Baidu-Hot
  记录每天百度搜索热点
  ☆24Updated 2 years ago
• samzhangjy / BaiduSpider
  项目已经移动至：https://github.com/BaiduSpider/BaiduSpider ！！ 一个爬取百度搜索结果的爬虫，目前支持百度网页搜索，百度图片搜索，百度知道搜索，百度视频搜索，百度资讯搜索，百度文库搜索，百度经验搜索和百度百科搜索。
  ☆33Updated 4 years ago
• shaonianruntu / Spam-Message-Word-Frequency
  Word frequency statistics of spam messages
  ☆37Updated 3 years ago
• Python3WebSpider / PlaywrightTest
  Playwright Test
  ☆28Updated 3 years ago
• laughing429 / textRewriting
  中文文本改写
  ☆19Updated 4 years ago
• yaleimeng / Free_proxy_pool
  对免费代理IP网站进行爬取，收集汇总为自己的代理池。关键是验证代理的有效性、匿名性、去重复
  ☆78Updated 3 years ago
• lining0806 / TextFilter
  敏感词过滤系统
  ☆60Updated 9 years ago
• lcdevelop / page-classify
  机器学习文本分类器
  ☆46Updated 8 years ago
• rio-2607 / baidu_spider
  一个用BeautifulSoup写的简单的爬取百度搜索结果的爬虫
  ☆20Updated 9 years ago
• Henryhaohao / Aqistudy_Weather
  Aqistudy_Weather加密破解Aqistudy中国城市空气质量在线检测平台
  ☆16Updated 6 years ago
• 1049451037 / MagicBaidu
  Baidu search API. Get baidu search results. Brother repository of MagicGoogle. 百度搜索API
  ☆29Updated 6 years ago
• fengjinhai / robotImitation
  机器人模拟真人操作，目前支持对微博进行点赞、对评论点赞、评论、转发。
  ☆20Updated 3 years ago
• LunaticTian / TieBa-API-Sentiment
  贴吧API 微信智能控制 贴吧舆情监控 关键词分析 热点分析 python3 爬虫
  ☆103Updated 4 years ago
• furuiyang0715 / JustSimpleSpider
  极简爬虫工作流
  ☆41Updated 2 years ago
• crifan / python_spider_pyspider
  Python爬虫框架：PySpider，既简单易用又功能强大且带图形界面
  ☆36Updated 3 years ago
• realzhengyiming / Spider_of_keywordRank
  搜索引擎关键词排位爬虫，包括百度，搜狗，360的搜索引擎关键词排位爬虫，关键词从百度热词中取得，排位分别从三个搜索引擎中抓取。
  ☆19Updated 5 years ago
• az0ne / WEIBO_USER_DATA
  一个以前的项目 收集了20W新浪微博用户的数据 可以用于数据分析
  ☆28Updated 9 years ago
• beautyonly / seo-python-tools
  学习Python中，此为自己更好处理seo工作-python-seo-tools
  ☆18Updated 6 years ago