bluishglc / bdp
A prototype project of big data platform, the source codes of the book Big Data Platform Architecture and Prototype
☆198Updated 4 years ago
Alternatives and similar repositories for bdp:
Users that are interested in bdp are comparing it to the libraries listed below
- Using Flink SQL to build ETL job☆200Updated last year
- 数据血缘,Hive/Sqoop/HBase/Spark等,发送到kafka后,解析处理使用neo4j生成血缘☆81Updated 3 years ago
- 给flink开发的web系统。支持页面上定义udf,进行sql和jar任务的提交;支持source、sink、job的管理;可以管理openshift上的flink集群☆285Updated 2 years ago
- 分享一些在工作中的大数据实战案例,包括flink、kafka、hadoop、presto等等。欢迎大家关注我的公众号【大数据技术与应用实战】,一起成长。☆263Updated 11 months ago
- 从本地IDEA提交Flink/Spark任务到Yarn/k8s集群☆161Updated 3 years ago
- 如果你在从事大数据BI的工作,想对比一下MySQL、GreenPlum、Elasticsearch、Hive、Spark SQL、Presto、Impala、Drill、HAWQ、Druid、Pinot、Kylin、ClickHouse、Kudu等不同实现方案之间的表现,…☆278Updated 6 years ago
- 这是一个可自由拖拽的BI可视化系统 支持主流的关系数据:MySQL,Oracle,PostgreSQL等 同时支持Apache Doris☆195Updated 2 years ago
- Atlas官方文档中文版☆69Updated 5 years ago
- ☆93Updated 5 years ago
- 利用Druid SQL Parser解析HiveSQL日志,自动构建字段级别的血缘关系及主外键的自动抽取☆42Updated 11 months ago
- Hive hook, obtain task information from Hive, fetch input/output tables and lineage information from HSQL.☆39Updated last year
- 基于Flink流处理的动态实时亿级全端用户画像系统☆474Updated 2 years ago
- Real time data processing system based on flink and CEP☆248Updated last month
- Flink代码实例☆122Updated 4 years ago
- mysql数据实时增量导入hive☆87Updated 7 years ago
- 京东RTF实时数据湖,是一个从底层重新构建的系统,解决了数据的接入、解析及清洗等ETL 过程,同时解决了传统离线模式达不到的实时性和流式实时数据做不到的数据清洗、还原,是一套大数据领域改革性的实时数据方案。RTF可以直接查询最新状态的数据,并且无需去重,可以让数据分析人员即…☆127Updated last year
- DataSphereStudio documents.☆112Updated 3 weeks ago
- Spark Streaming监控平台,支持任务部署与告警、自启动☆128Updated 6 years ago
- Spark、Flink等离线任务的调度以及实时任务的监控☆298Updated last year
- FlinkSQL数据脱敏和行级权限解决方案及源码,支持面向用户级别的数据脱敏和行级数据访问控制,即特定用户只能访问到脱敏后的数据或授权过的行。此方案是实时领域Flink的解决方案,类似于离线数仓Hive Ranger中的Row-level Filter和Column Mas…☆131Updated last year
- 针对datax进行2次开发,实现data 以rpc的方式传递json配置调用推数服务,同时修复datax多处bug。项目中也引入nacos作为服务的配置中心和注册中心; 同时项目内扩展了kafkawriter,rabbitmqwriter,esreader,hiveread…☆68Updated 2 years ago
- Platform for Flink☆283Updated 2 years ago
- flink简易使用教程,结合官方仓库的example样例,结合常见场景,使用flink的基本功能☆111Updated 2 years ago
- 通过语法树解析获取字段级血缘数据☆60Updated last year
- dataService platform is a low-code platform, which only needs to write SQL to realize the development of API services, solve the unificat…☆110Updated last year
- CDH安装手册☆86Updated last year
- Doris表和字段血缘项目☆77Updated 9 months ago
- datax数据同步elasticsearch的reader和writer插件,支持一对多的扁平数据转换成es的嵌套对象,也支持嵌套对象的读取和ognl表达式过滤,理论上可以无限嵌套。☆89Updated last year
- Flink 菜鸟公众号代码地址☆64Updated last month
- Flink 案例代码☆43Updated 2 years ago