Alternatives and similar repositories for searchengine:

Users that are interested in searchengine are comparing it to the libraries listed below

• StrongBoy998 / CrawlArticle
  基于文字密度的新闻正文提取模块，兼容python2和python3，传入新闻网址或者网页源码即可返回标题，发布时间和正文内容。
  ☆14Updated 6 years ago
• Y-Matin / NewsSpider
  毕设：使用PYQT5 和 scrapy框架 结合readability正文提取算法，再用pyinstaller打包. 开发一个通用的爬虫系统
  ☆10Updated 4 years ago
• perpetually2014 / Official_Accounts
  公众号
  ☆11Updated last year
• url2io / url2io-python-client
  ULR2io Python Client 用于网页信息提取、文本处理等，如正文提取、中文分词等。
  ☆7Updated 10 months ago
• Sssmeb / BloomFilter
  BloomFilter Based on py3(基于py3的布隆过滤器)
  ☆25Updated 2 years ago
• AaronJny / scrapy_redis_expiredupefilter
  scrapy-redis-expiredupefilter是基于scrapy-redis修改来的一款scrapy分布式爬虫框架，它支持为请求指纹设置生命周期，请求指纹生命周期结束后将在不影响其他指纹的情况下自动清除。
  ☆11Updated 5 years ago
• OSinoooO / MeituanSpider
  美团爬虫，基于scrapy_redis
  ☆21Updated 5 years ago
• xiucaicoder / douyin-spider
  抖音无水印视频爬虫
  ☆11Updated 4 years ago
• bytebuff / androidSpider
  Android逆向爬虫
  ☆13Updated 5 years ago
• 13060923171 / Crawl-Project
  一些有趣的小项目，实现一些小功能，需要的可以下载来玩玩有qq音乐，京东，房天下，快代理的代理池，抖音，百度文库，千图，网易新闻，百度新闻，微博，酷狗，最好大学网，淘宝，豆瓣，天猫，有道翻译，疫情地图等
  ☆33Updated 3 months ago
• casual-silva / ruishu_untispider
  mitproxy 消息拦截 抓取国家药监局等严重瑞数加密相关站点信息
  ☆34Updated 3 years ago
• IshtarTang / weibo_spider-scrapy
  微博的爬虫，爬个人主页，用的scrapy 框架
  ☆23Updated 8 months ago
• maxnoodles / wechat_app_spider
  通过 airtest + mitmproxy 抓取手机端微信的公众号信息
  ☆38Updated 5 years ago
• striver-ing / distributed-spider
  通用新闻类网站分布式爬虫
  ☆74Updated 6 years ago
• osof / awesome-proxy
  一款基于ADSL拨号主机构建的高可用代理池
  ☆19Updated 2 years ago
• cxapython / discogs_aio_spider
  基于httpx的一个大型项目 ，爬取黑胶唱片网站 Discogs
  ☆102Updated 2 years ago
• ShadowYIG / DouYinSpider
  爬虫练习——对抖音App进行数据采集（仅供学习使用）
  ☆14Updated 4 years ago
• langgithub / python_spider
  爬虫知识梳理 某宝爬虫 某运营商爬虫 某行征信爬虫 在线爬虫设计 密码控件爬虫 离线爬虫设计
  ☆18Updated 5 years ago
• hypier / scrapy-51job
  51job，猎聘，拉勾，智联，Boss直聘 爬虫，使用scrapy框架和crawlab平台
  ☆16Updated 4 years ago
• bytebuff / SeleniumReality
  Selenium启动真实浏览器！
  ☆24Updated 4 years ago
• xzh0723 / Taobao
  破解淘宝h5页面的sign参数， 新增淘宝pyppeteer登录， 有效绕过自动化工具检测。
  ☆56Updated 5 years ago
• konglinghao75 / kuaishou
  爬取快手热门视频,每个视频评论,用户详情数据,用户所有个人作品
  ☆13Updated 5 years ago
• meimz / wxhook
  ☆12Updated 5 years ago
• 15920036578 / TMALL_Spider
  天猫爬虫（大量注释，readme有思路分析）
  ☆23Updated 5 years ago
• casual-silva / ppyolo-captcha
  使用百度开源ppyolo3目标检测模型识别滑动验证码 极验滑块验证码 识别成功率99% 🎯
  ☆82Updated 3 years ago