Alternatives and similar repositories for searchengine

Users that are interested in searchengine are comparing it to the libraries listed below

• Y-Matin / NewsSpider
  毕设：使用PYQT5 和 scrapy框架 结合readability正文提取算法，再用pyinstaller打包. 开发一个通用的爬虫系统
  ☆10Updated 5 years ago
• maodunWorld / WLWH_LAST
  爱奇艺，腾讯视频爬虫。趣头条，大鱼号，qq cookies http客户端。含腾讯视频滑块破解，视频接口逆向。a webspider for many chainese video website
  ☆25Updated 2 years ago
• OliverFoh / zhaobiao_spider
  招投标网站数据采集
  ☆15Updated 5 years ago
• xiucaicoder / douyin-spider
  抖音无水印视频爬虫
  ☆11Updated 5 years ago
• StrongBoy998 / CrawlArticle
  基于文字密度的新闻正文提取模块，兼容python2和python3，传入新闻网址或者网页源码即可返回标题，发布时间和正文内容。
  ☆14Updated 6 years ago
• Sssmeb / BloomFilter
  BloomFilter Based on py3(基于py3的布隆过滤器)
  ☆25Updated 2 years ago
• langgithub / python_spider
  爬虫知识梳理 某宝爬虫 某运营商爬虫 某行征信爬虫 在线爬虫设计 密码控件爬虫 离线爬虫设计
  ☆18Updated 5 years ago
• ydf0509 / pysnooper_click_able
  pip install pysnooper_click_able 神级别黑科技装饰器，实现难度5颗星。不用打断点不用到处加print的deubg工具，可以精确显示代码运行率轨迹并点击。base pysnooper, but can click and jump to c…
  ☆21Updated 3 years ago
• crawlab-team / crawlab-sdk
  SDK for Crawlab, including SDK for different programming languages such as Python, Node.js and Java, and a CLI Tool written in Python.
  ☆55Updated 11 months ago
• Ryuchen / DeadPool
  该项目是一个使用celery作为主体框架的爬虫应用，能够灵活的添加爬虫任务，并且同时运行多站点的爬虫工作，所有组件都能够原生支持规模并发和分布式，加上celery原生的分布式调用，实现大规模并发。
  ☆41Updated 2 years ago
• wuyue92tree / crwy
  一个简单的web爬虫框架，借鉴scrapy结构开发而来，并为scrapy使用者提供通用轮子^.^
  ☆13Updated 4 years ago
• MgArcher / wenshu_jia
  基于scrapy实现裁判文书网爬虫
  ☆27Updated 4 years ago
• Aruelius / crack_captcha
  滑动验证码缺口数据集，Yolo3（腾讯007，极验，网易...）
  ☆14Updated 4 years ago
• computer5199 / ADC
  王者透视自瞄，TX模拟器
  ☆6Updated 5 years ago
• RyouMon / ProductsCrawler
  电商爬虫，一个用于收集商品图片和信息的爬虫项目。A scrapy project for crawl product pictures and informations.
  ☆10Updated last year
• qi20172017 / douyin_spider
  APP端爬取抖音数据
  ☆9Updated 5 years ago
• skygongque / captcha-weibo
  captcha-weibo crack
  ☆28Updated last year
• LeonWang91 / Google-Spyder
  Google搜索引擎关键词检索结果抓取
  ☆15Updated 2 years ago
• JMXDSP / MMX-Spider
  抖音自动化爬取
  ☆12Updated 4 years ago
• cyhleo / JinRiTouTiaoNews
  scrapy+pyppeteer，爬取今日头条中新闻及热门评论信息。
  ☆12Updated 5 years ago
• AaronJny / scrapy_redis_expiredupefilter
  scrapy-redis-expiredupefilter是基于scrapy-redis修改来的一款scrapy分布式爬虫框架，它支持为请求指纹设置生命周期，请求指纹生命周期结束后将在不影响其他指纹的情况下自动清除。
  ☆11Updated 5 years ago
• ItGarbager / WechatReply
  利用 WechatPCAPI 实现的微信自动回复
  ☆16Updated 2 years ago
• perpetually2014 / Official_Accounts
  公众号
  ☆11Updated last year
• casual-silva / ppyolo-captcha
  使用百度开源ppyolo3目标检测模型识别滑动验证码 极验滑块验证码 识别成功率99% 🎯
  ☆83Updated 3 years ago
• Xuenew / Python_Spider_All
  每完成一个项目存储一个 欢迎添加
  ☆30Updated last year
• LoseNine / proxy_pool
  redis proxy pool
  ☆12Updated 6 years ago
• alisen39 / spiderTools
  爬虫小工具，能够快速的解析Fiddler里的cookie、data、header信息为python字典模式。
  ☆9Updated 5 years ago
• casual-silva / ruishu_untispider
  mitproxy 消息拦截 抓取国家药监局等严重瑞数加密相关站点信息
  ☆34Updated 3 years ago
• qinLess / magical
  模仿 scrapy + 多线程开发的轻量级爬虫框架
  ☆8Updated 3 years ago
• sph116 / zhongxin_search
  中国新闻网爬虫（全站增量爬虫，可用时间至2019.7）
  ☆17Updated 5 years ago