Alternatives and similar repositories for crawler:

Users that are interested in crawler are comparing it to the libraries listed below

• DianaCody / Spider_SinaTweetCrawler_java
  Spider_SinaTweetCrawler, to crawl tweet content from sinaTweet. (java)
  ☆23Updated 7 years ago
• duoan / codes-scratch-crawler
  读书笔记《自己动手写网络爬虫》，自己敲的代码。主要记录了网络爬虫的基本实现，网页去重的算法，网页指纹算法，文本信息挖掘
  ☆47Updated 10 years ago
• chmod740 / BaiduBaikeSpider
  百度百科多线程爬虫Java源码，数据存储采用了Oracle11g
  ☆13Updated 7 years ago
• jerrycshen / QQZone
  使用webmagic这一垂直型爬虫框架，爬取qq空间说说，并进行简易数据分析
  ☆49Updated 6 years ago
• gsh199449 / DistributeCrawler
  基于Map/Reduce爬虫,可抽取各大新闻网站的新闻正文并进行分类和聚类
  ☆76Updated 11 years ago
• javagaorui5944 / ProxyIpPool
  The Crawler Proxy IP Pool Component
  ☆63Updated 2 years ago
• rockyzhengwu / JFoolNLTK
  FoolNLTK java version
  ☆81Updated 6 years ago
• fmyblack / textClassify
  此文本分类项目主要面向机器学习初学者和文本分类效果测试者，项目内部含有朴素贝叶斯，余弦定理，逻辑回归多种分类算法以及mm，rmm分词器，同时从某新闻站点爬取了多个分类共6000多篇文章，以及一个中文词典。项目方便自由拓展各种分类器和分词器，并通过组装测试分类效果。
  ☆35Updated 7 years ago
• Siriuser / WeiboCrawler
  新浪微博搜索工具
  ☆44Updated 11 years ago
• yizhiru / thulac4j
  Chinese Word Segmentation Tool, THULAC的Java实现.
  ☆84Updated 3 years ago
• hfut-dmic / ContentExtractor
  自动抽取网页正文的算法，用JAVA实现
  ☆107Updated 7 years ago
• yxlHuster / news-duplicated
  文本去重算法，研究自推荐系统中新闻的去重，采用了雅虎的Near-duplicates and shingling算法，服务端用c实现，客户端用java实现，利用thrift框架进行通信，为了提高扩展性，去重可以在服务端实现，服务器也提供了计算的接口，方便客户端自己扩展
  ☆23Updated 10 years ago
• yangwx1402 / wb_wx_zh_tt
  新浪微博，微信，知乎，头条爬虫，支持新浪登录打码获取cookie实现登录
  ☆16Updated 7 years ago
• df19900725 / HFUTUtils
  这是一个工具程序集合，方便我们平时对数据进行预处理。针对文本处理的内容较多。包括分词（集成了张华平分词、结巴分词）、文件处理增强（如读取文本到Map中，保存文本到Map）和语料模型（把文档转换成矩阵，就算单词数量等）
  ☆21Updated 4 months ago
• out0fmemory / GuozhongCrawler
  GuozhongCrawler的是一个无须配置、便于二次开发的爬虫开源框架，它提供简单灵活的API，只需少量代码即可实现一个爬虫。其设计灵感来源于多个爬虫国内外爬虫框架的总结。采用完全模块化的设计，功能覆盖整个爬虫的生命周期(链接提取、页面下载、内容抽取、持久化)，支持多线…
  ☆96Updated 9 years ago
• mokou591 / HanLP-TextSimilarity
  中文分词、统计词频、比对文本相似度
  ☆38Updated 5 years ago
• EzioL / neteasemusic
  webmagic 爬取我喜欢的网易云歌单+评论
  ☆50Updated 7 years ago
• QiuMing / zhihuWebSpider
  知乎爬虫，基于webmagic框架 .A java web spider base on webmagic.
  ☆69Updated 8 years ago
• scienceswork / music-webcollector
  使用Java的WebCollector爬虫框架采集网易云音乐5亿首歌
  ☆104Updated 8 years ago
• hymer / sensitivewords
  敏感词过滤工具
  ☆25Updated 11 years ago
• Maweiming / SparkTextClassifier
  使用Spark NaiveBayes 实现中文文本分类 use spark NaiveBayes for text classifi…
  ☆25Updated 6 years ago
• wenguan0927 / WechatSpider
  微信公众号爬虫：服务端公众号文章数据采集
  ☆43Updated 2 years ago
• hxyfj / LagouSpider
  拉勾网数据爬虫
  ☆32Updated 7 years ago
• abel533 / SearchEngine
  简单搜索引擎例子
  ☆84Updated 8 years ago
• x-shadow-x / TextCluster
  常用文本聚类算法java实现
  ☆15Updated 10 years ago
• QianLongGit / imageServer
  图片服务器，能够对源图片进行转换（指定高宽，等比缩放，添加水印，添加业务图标，改变透明度等），并且进行业务图片的缓存，提供业务图片的静态地址等
  ☆35Updated 8 years ago
• shenbaise / goodcrawler
  网络爬虫
  ☆51Updated 10 years ago
• wo4li2wang / MSpider
  基于词频密度过滤、利用百度、谷歌、搜搜、360搜索4个引擎为种子来源的多线程爬虫，结果存入mysql。
  ☆97Updated 10 years ago
• JayveeHe / TaobaoCrawler
  淘宝商品评价的爬虫
  ☆26Updated 8 years ago
• Dasions / daydayfund
  天天基金网爬虫，可多ip节点部署，按ip节点动态调整并发数，可设置代理ip反爬，定时爬取，定时通过邮件反馈基金行情统计数据
  ☆25Updated 2 years ago