gsh199449 / DistributeCrawler
基于Map/Reduce爬虫,可抽取各大新闻网站的新闻正文并进行分类和聚类
☆76Updated 11 years ago
Alternatives and similar repositories for DistributeCrawler:
Users that are interested in DistributeCrawler are comparing it to the libraries listed below
- 各大电商网站数据抓取分析☆33Updated 11 years ago
- 新闻评论观点挖掘系统,粗粒度的分析出新闻网评观点的倾向和走势☆53Updated 9 years ago
- 读书笔记《自己动手写网络爬虫》,自己敲的代码。主要记录了网络爬虫的基本实现,网页去重的算法,网页指纹算法,文本信息挖掘☆47Updated 10 years ago
- 舆情搜索服务框架,其中lucene和solr版本为4.8。☆61Updated 9 years ago
- 知乎爬虫,基于webmagic框架 .A java web spider base on webmagic.☆69Updated 8 years ago
- 大数据平台相关代码(ES/Hive/Hadoop/hdfs/hbase)☆74Updated 2 years ago
- 基于spark、mahout和spring boot构建的推荐系统☆131Updated 2 weeks ago
- 基于Nutch+ElasticSearch+MySQL+SSM的简易搜索引擎☆19Updated 8 years ago
- 微博情感分析☆12Updated 11 years ago
- 网络爬虫☆51Updated 11 years ago
- 基于词典的负面舆情信息评分算法。☆26Updated 10 years ago
- 常见数据挖掘和机器学习算法☆33Updated 11 years ago
- 基于Hadoop和HBase的大规模海量数据去重☆29Updated 6 years ago
- 对电影进行个性化推荐,基于Mahout框架实现的,使用的协同过滤算法☆33Updated 12 years ago
- 用java实现的贝叶斯分类算法。用于大数据的分类。☆41Updated 9 years ago
- 分布式大数据SQL查询可视化界面!☆68Updated 9 years ago
- 基于知识图谱技术的搜素引擎研发☆19Updated 7 years ago
- 天亮舆情系统之天亮舆情采集器,基于master/slave结构开发的分布采集器系统☆22Updated 2 years ago
- 金融数据爬虫☆28Updated 9 years ago
- 基于词频密度过滤、利用百度、谷歌、搜搜、360搜索4个引擎为种子来源的多线程爬虫,结果存入mysql。☆97Updated 10 years ago
- 1、支持网页爬虫 2、多线程、线程池 3、支持全文搜索 4、支持Hadoop分布式平台、HDFS/MapReduce、Zookeeper、HBase 5、支持redis分布式缓存 6、集成微信公众号开发 7、Spring4新特性 8、ActiveMQ 9、Nginx详细配置…☆16Updated 2 years ago
- 面向证券信息类专业搜索引擎,基于WEB信息挖掘技术的专业搜索引擎设计与实现并着重分析基于特定主题的爬取方法,通过下载Internet上WEB文档,进行过滤、分词、转换等处理工作,并建立索引数据库,最终可由检索器通过用户输入查询关键字,搜索器支持微博客、短信 等内容短小而又不规…☆23Updated 6 years ago
- 基于wifi抓取信息的大数据查询分析系统☆107Updated 7 years ago
- 推荐算法☆30Updated 9 years ago
- 语义、情感、相似度分析。☆58Updated 9 years ago
- 工作中积累的工具类☆85Updated 6 years ago
- 一个简易的搜索引擎,采用Java开发☆33Updated 11 years ago
- 关于通过百度地图API采集POI数据,并存储到HBase的项目。☆24Updated 9 years ago
- 个性化推荐算法的通用处理框架,基于Mahout和Lucene☆18Updated 9 years ago
- lucene实现web项目近实时搜索【solr和NRTManager、SearcherManager】☆65Updated 9 years ago