liuwenfeng554 / s-sloud-trainLinks
2020年最新全各大（12306、携程、去哪儿）官网爬取/解析全路客运车站/车次、时刻表信息及数据实时同步
☆8Updated 4 years ago
Alternatives and similar repositories for s-sloud-train
Users that are interested in s-sloud-train are comparing it to the libraries listed below
Sorting:
- 快速采集清洗，任务管理，实时流和批处理数据分析，数据可视化展现，快速数据模板开发，ETL工具集、数据科学等。是轻量级的一站式的大数据平台。帮用户快速搭建CDP客户数据平台，实现对移动端数据分析、用户行为分析、用户标签画像和在线营销。完美兼容神策埋点SDK、友盟埋点SDK和其…☆63Updated 2 years ago
- 使用Storm实时处理交通大数据（数据源：kafka，集群管理：zookeeper）☆51Updated 2 years ago
- 数据采集、数据审核、数据分析平台☆11Updated 2 years ago
- 数据可视化, 数据挖掘, 数据处理 ETL分析☆167Updated 3 years ago
- 数据的导出（支持DB2、MySQL、Oracle、Teradata数据库的数据导出）、合并（支持将多个小数据文件合并成一个大的数据文件）、传输（支持FTP、SFTP数据传输）程序，适用于向指定FTP服务器供数的情况，常见于多个源系统以数据文件的形式向数据仓库集中供数。该程序…☆24Updated 9 years ago
- 通过图形界面为数据监控以及数据同步提高良好的服务，可支持数据同步的数据源或数据库有：SQL数据源、NoSQL数据源、数据引擎、数据仓库、消息队列；通过Canal可支持数据库监控以及数据备份。☆24Updated 4 years ago
- 传统大数据分析工具以Hadoop、Spark为代表，集成了大量的技术框架， 对用户来说又重又笨又不灵活，难以维护和驾驭，国际和国内的敏捷型BI工具在对接时又面临性能、友好性、定制化能力弱的缺点。本项目独辟蹊径，以阿里开源的DataX为ETL工具，以列式数据库ClickHou…☆65Updated 4 years ago
- 大数据招聘信息分析平台☆43Updated 9 years ago
- 在公司接了一个任务，完成一个项目数据同步的模块。要求是不能操作项目的数据库。怕操作不当，数据丢失 。所以想到的方案是使用log4jdbc记录数据源的SQL语句到日志文件。然后按行读取日志文件中的数据，记录读取的Point，以便下次继续读取。读取的数据进入bigqueue队列，…☆12Updated 7 years ago
- 12306抢票小程序（抢票酱）的前端代码☆9Updated 5 years ago
- java爬虫，反爬虫策略、ETL清洗数据，以及spark离线和实时分析新闻并存入ES☆21Updated 6 years ago
- 基于Echarts实现的数据中心超大屏幕监控☆56Updated 7 years ago
- 数据分析快速开发平台：包含统一数据访问接口，数据建模，数据治理，数据展现☆23Updated 6 years ago
- 基于Spark2.2新闻网大数据实时系统项目☆61Updated 6 years ago
- 此项目主要应用于数据中台或数据平台的数据总线，支持直接实时监听MySQL、MongoDB、PostgreSQL、Oracle、SQL Server、Db2和Cassandra等数据库的数据变更。☆62Updated last year
- spring cloud集成全渠道在线客服以及后台管理系统，所有微服务之间的消息传递采用区块链技术，持续更新中～～目标是：第一阶段：采用spring cloud微服务搭建后台管理系统第二阶段：集成在线客服，采用netty实现websocket长连接第三阶段：集成h5、微信、…☆17Updated 2 years ago
- 基于kettle8.0的作业/转换管理框架☆33Updated 7 years ago
- 数据治理、数据标准相关的 web 工具☆37Updated 3 years ago
- 基于flink-cdc的数据同步工具,用于mysql同步至doris☆31Updated 2 years ago
- 数仓项目☆10Updated 6 years ago
- Spark Sql进行离线日志分析，Java Web+Echarts+Ajax进行数据可视化展示☆27Updated 6 years ago
- 基于开源Litemall电商项目的大数据项目，包含前端埋点(openresty+lua)、后端埋点；数据仓库(五层)、实时计算和用户画像。大数据平台采用CDH6.3.2(已使用vagrant+ansible脚本化)，同时也包含了Azkaban的workflow。☆113Updated 3 years ago
- 狗蛋实验室推出的智能化数据抓取、处理、分析，挖掘平台。提供美团、大众点评、饿了么、百度地图等数据。☆43Updated 6 years ago
- node-elm的java版，使用Spring Boot构建。☆43Updated 7 years ago
- 基于Kettle的MySQL数据库同步☆26Updated 7 years ago
- 易水公共组件是基于springboot的高度封装的通用型组件，在对spring security和spring security oauth2高度可定制化的功能封装外，还支持第三方登录和sso单点登录功能，使用户能够快速开启QQ登录和微信登录能力，搭建属于自己的认证/授权中…☆24Updated 5 months ago
- zxl-hadoop是一个大数据服务管理工具，基于Web界面，提供服务器集群的各种指标监控，并提供HDFS、MapReduce、Hive、Flink、Habase、Zookeeper、Kafka、Sqoop等大数据组件的一键式安装。☆20Updated 3 years ago
- 基于Hadoop和HBase的大规模海量数据去重☆29Updated 7 years ago
- 跨数据库表同步程序，支持 Docker 部署，自动同步表结构和数据，数仓建设工具☆32Updated 2 years ago
- 源码主要用于学习：1. Spring Boot+Hadoop+Hive+Hbase实现数据基本操作,Hive数据源使用Alibaba DruidDataSource，以及JDBCTemplate操作数据, Hbase使用hbase-client实现数据操作, API可视化界…☆21Updated 3 years ago