thegodofwar / MR_HBaseLinks
hadoop中Map/Reduce使用示例,输入(DBInputFormat),输出(DBOutputFormat)为MySql数据库表、日志分析Grep、单词排序Sort...对HBase的基本操作,增、删、查、改,使用Map/Reduce批量导入数据到HBase表中...
☆14Updated 12 years ago
Alternatives and similar repositories for MR_HBase
Users that are interested in MR_HBase are comparing it to the libraries listed below
Sorting:
- 论坛日志分析系统清洗程序(包含IP规则库,UDF开发,MapReduce程序,日志数据)☆33Updated 7 years ago
- POC for all the stack of big data (kafka, spark, cassandra, hdfs, docker, springboot)☆12Updated 2 years ago
- flink-docker-compose-demo☆10Updated 6 years ago
- 【易车】- Spark、flink、HBase、Hive、flume集成了一些Hadoop的原生api的一些demo(如HDFS、MapReduce:目前就这两个);同时测试一些异常功能☆16Updated 6 years ago
- 电商+大数据+spark机器学习☆17Updated 7 years ago
- 用户画像代码,根据算法推算出用户的性别和年龄比率☆11Updated 7 years ago
- 基于Hadoop和HBase的大规模海量数据去重☆30Updated 7 years ago
- 一个高性能,可靠,异步的本地持久化队列实现;重启JVM、重启服务器、或者强制KILL进程时,队列里的数据不丢失;☆12Updated 7 years ago
- 基于spring boot + quartz + redis实现job任务调度,前端使用vue和element-ui实现页面控制台。☆13Updated 6 years ago
- 业务风控系统☆11Updated 8 years ago
- spring+spark streaming+kafka 10版本集成和异常问题处理☆17Updated 8 years ago
- 使用spark对hive、hbase、ES的读写, 实现一次配置可对不同数据库进行导入导出,并对ES、hbase进行封装☆33Updated 8 years ago
- 蜂鸟数据分析平台帮助企业快速完成多数据整合,建立统一数据口径,支持自助式数据准备(ETL), 并提供可视化分析,帮助企业构建贴合自身业务的企业洞察,并将数据决策覆盖各层员工及应用场景☆21Updated 6 years ago
- Performance bottleneck solution for Registry in large-scale service scenario☆14Updated 2 years ago
- phoenix 操作hbase和springboot的整合☆11Updated 7 years ago
- 文本去重算法,研究自推荐系统中新闻的去重,采用了雅虎的Near-duplicates and shingling算法,服务端用c实现,客户端用java实现,利用thrift框架进行通信,为了提高扩展性,去重可以在服务端实现,服务器也提供了计算的接口,方便客户端自己扩展☆24Updated 11 years ago
- HBase数据库源代码学习研究(包括代码注释、文档、用于代码分析的测试用例)☆10Updated 8 years ago
- 常用大数据工具学习实战,包含Hadoop、HBase、Kafka、ClickHouse、Hive、Redis、Zookeeper...☆23Updated 2 years ago
- 基于Flink流处理的动态实时亿级全端用户画像系统可视化界面☆34Updated 2 years ago
- 多版本并发控制的配置管理平台☆18Updated 7 years ago
- spring-boot利用scala写spark程序骨架☆28Updated 5 years ago
- Strom 实时风控统计☆21Updated 7 years ago
- 大型分布式系统实时监控平台☆28Updated 2 years ago
- 一个基于ElasticSearch的业务日志记录工具☆10Updated 6 years ago
- The Best Practice of HDP,企业级大数据平台实践指南☆10Updated 7 years ago
- springboot项目使用脚手架,集成redis、mysql、pg,hbase、elasticsearch、kafka等常用组件功能☆21Updated 3 years ago
- A HBase datasource implementation for Spark and [MLSQL](http://www.mlsql.tech).☆14Updated last year
- 拉比克是一个开源大数据平台构建方案,已稳定应用于生产集群。融合Hadoop、Hive、Hbase、zookeeper等如CDH☆14Updated 6 years ago
- 在公司接了一个任务,完成一个项目数据同步的模块。要求是不能操作项目的数据库。怕操作不当,数据丢失。所以想到的方案是使用log4jdbc记录数据源的SQL语句到日志文件。然后按行读取日志文件中的数据,记录读取的Point,以便下次继续读取。读取的数据进入bigqueue队列,…☆12Updated 7 years ago
- SparkSQL数据分析案例☆23Updated 8 years ago