zhaikaishun / spark_tutorial
spark算子使用例子, spark RDD的算子挺多，有时候如何灵活的使用，该如何用一下子想不起来，这一段时间将spark的算子如何使用的例子给记录了下来，下面是spark RDD 的一些常用算子的使用 这些算子包括有java的，也有scala的语言(博客中才有)，由于精力有限，暂时没有python的，以后有空再加上吧
☆36Updated 6 years ago
Related projects ⓘ
Alternatives and complementary repositories for spark_tutorial
- SparkStreaming中利用MySQL保存Kafka偏移量保证0数据丢失☆45Updated 7 years ago
- hbase+solr实现hbase的二级索引☆47Updated 3 years ago
- Spark Streaming监控平台，支持任务部署与告警、自启动☆128Updated 6 years ago
- 大数据平台相关代码（ES/Hive/Hadoop/hdfs/hbase）☆74Updated 2 years ago
- Flink 案例代码☆43Updated 2 years ago
- High Performance Spark Streaming with Direct Kafka in Java☆39Updated 8 years ago
- flink技术学习笔记分享☆83Updated 5 years ago
- kafka传数据到Flink存储到mysql之Flink使用SQL语句聚合数据流（设置时间窗口，EventTime）☆31Updated 6 years ago
- log、event 、time 、window 、table、sql、connect、join、async IO、维表、CEP☆69Updated 2 years ago
- Spark Streaming + kafka + hbase☆15Updated 6 years ago
- Use Scala API to read/write data from different databases,HBase,MySQL,etc.☆24Updated 6 years ago
- spark-scala-maven☆58Updated 5 years ago
- spark将hdfs数据高性能灌入kafka，然后spark streaming/structured streaming高速消费，关注性能，欢迎提供性能/代码优化建议☆33Updated 5 years ago
- spark全示例代码(java、scala) Spark most full instance code DEMO (java、scala)☆81Updated 4 years ago
- Encapsulated spark 与其他组件的结合api，方便使用，例如 es，hbase，kudu，kafka，mq等☆35Updated 4 years ago
- SparkSQL数据分析案例☆23Updated 7 years ago
- 大数据组件学习；包括dataflow，spring cloud stream；elasticsearch；flink；spark；kafka；phoenix；Hive；Hbase；☆22Updated 2 years ago
- SparkStreaming项目，显示flume->Kafka->Spark->hbase(实时数据处理方案)，Scala实现☆35Updated 6 years ago
- Streaming 相关项目☆15Updated 7 years ago
- 基于flink的用户行为分析☆50Updated last year
- 一个为spark批量导入数据到hbase的库☆43Updated 8 years ago
- Learning Flink : Flink CEP,Flink Core,Flink SQL☆71Updated 2 years ago
- elasticsearch reader and writer plugin for datax☆39Updated 7 years ago
- 总结了一些Spark学习过程中的例子（附代码详细注释）☆24Updated 6 years ago
- 同步Hive数据仓库数据到Elasticsearch的小工具☆21Updated 6 years ago
- 流程化 机器学习框架 基于 scala java语言 ,一站式自动机器学习平台 ,主要包括数据分析 特征工程 ，机器模型，自动部署，超参数优化，模型自动优化，自动扩容分配创建功能，类似第四范式、阿里PAI平台、google autoMl、亚马逊SageMaker☆64Updated 6 years ago
- 手动管理spark streaming集成kafka的数据偏移量到zookeeper中☆22Updated 6 years ago
- My Blog☆76Updated 6 years ago