Alternatives and similar repositories for Scrapy-SearchEngines

Users that are interested in Scrapy-SearchEngines are comparing it to the libraries listed below

• Ryuchen / DeadPool
  该项目是一个使用celery作为主体框架的爬虫应用，能够灵活的添加爬虫任务，并且同时运行多站点的爬虫工作，所有组件都能够原生支持规模并发和分布式，加上celery原生的分布式调用，实现大规模并发。
  ☆40Updated 3 years ago
• zezhix / html-extractor
  基于行块分布函数的通用网页正文抽取算法优化，Python实现
  ☆61Updated 5 years ago
• howie6879 / magic_google
  Google search results crawler, get google search results that you need
  ☆408Updated 2 years ago
• ZhaoMeng8959 / Spider-GongZhongHao
  微信公众号爬虫，根据指定公众号名称，爬取该公众号所有文章。
  ☆36Updated 3 years ago
• neverneverendup / Translator
  互联网在线翻译引擎爬虫集合，包含谷歌翻译、百度翻译、有道翻译、必应翻译等引擎。Internet online translation engine crawler collection, including Google translation, Baidu transla…
  ☆82Updated 4 years ago
• Litre-WU / businessInfo-api
  企业工商信息接口(包含天眼查、企查查、爱企查、国家企业公示系统平台、快准)
  ☆112Updated 2 years ago
• ljk99 / fangchan
  房产语料库
  ☆26Updated 7 years ago
• 52Lau / weixin_crawler-1
  高效微信公众号历史文章和阅读数据爬虫powered by scrapy 微信公众号爬虫 微信采集 公众号采集
  ☆69Updated 6 years ago
• LunaticTian / TieBa-API-Sentiment
  贴吧API 微信智能控制 贴吧舆情监控 关键词分析 热点分析 python3 爬虫
  ☆104Updated 5 years ago
• yanqiangmiffy / pyspider-project
  Python爬虫项目集合
  ☆60Updated 7 years ago
• az0ne / WEIBO_USER_DATA
  一个以前的项目 收集了20W新浪微博用户的数据 可以用于数据分析
  ☆28Updated 10 years ago
• downdawn / eswork
  ElasticSearch+Django+Scrapy搜索引擎
  ☆28Updated 3 years ago
• Evilran / baidusearch_spider
  百度搜索爬虫，爬取百度搜索结果
  ☆16Updated 3 years ago
• Python3WebSpider / PlaywrightTest
  Playwright Test
  ☆29Updated 4 years ago
• zhaoboy9692 / add_corporate_information_daily_of_china
  中国大陆 31 个省份最近几日新增工商企业注册信息以及其他部分企业数据，大概100余万信息，包含企业名称、注册地址、统一社会信用代码、省份、城市、注册日期、经营范围、负责人、邮箱、注册资金、企业类型等资料。 In 31 provinces in mainland China…
  ☆182Updated 6 years ago
• lxzmads / zsxqbackup
  知识星球备份工具
  ☆105Updated 4 years ago
• aox-lei / aox_proxy_pool
  本项目是为了解决在抓取代理ip后, 代理ip失效快, 不稳定的问题 以及代理ip使用不方便等问题。
  ☆142Updated 6 years ago
• HeLiangHIT / house_price
  全国房价数据爬取+分析
  ☆111Updated 7 years ago
• Zzzz0zzzZ / py-spider-for-wechat
  微信公众号爬虫，PyQT5搭建GUI界面，request实现多线程爬虫。
  ☆42Updated 2 years ago
• LongYosef / corpredit
  国家企业信用信息官网爬虫，未获取全部企业信息，重点在设计反爬思路
  ☆67Updated 7 years ago
• txtcn / data
  中文语料库-每日自动更新版 ── 语料文件
  ☆164Updated 5 years ago
• stay-leave / CNKI-selenium-crawler
  知网论文数据爬虫
  ☆61Updated last year
• crawlaio / zsxqcrawler
  知识星球爬虫
  ☆66Updated 5 years ago
• Youthjack / Spider
  一个全网爬的多线程爬虫
  ☆18Updated 9 years ago
• LycEcho / laji-collect
  【辣鸡采集，采集世界上所有辣鸡数据 欢迎大家来采集】，[collect web][ai collect] [auto collect] [爬虫数据][采集数据][在线采集][web采集][collect][spider]，go全开源 最新算法采集 ，全智能采集 不用写规则 …
  ☆31Updated last year
• rio-2607 / baidu_spider
  一个用BeautifulSoup写的简单的爬取百度搜索结果的爬虫
  ☆20Updated 10 years ago
• fancyerii / wechat-gongzhonghao-crawler
  微信公众号爬虫
  ☆169Updated last year
• luobo157 / weiyuanchuang
  伪原创相关
  ☆14Updated 6 years ago
• chancechang / pySpider
  爬虫项目，领英、专利、乐捐、好大夫、阿里拍卖、看准网、实习僧、百度百科、51job、智联招聘等近80个网站
  ☆81Updated 5 years ago
• Escaflowne1985 / MyScriptPublic
  我的常用脚本
  ☆91Updated last year