liuwenfeng554 / s-sloud-train
2020年最新全各大（12306、携程、去哪儿）官网爬取/解析全路客运车站/车次、时刻表信息及数据实时同步
☆8Updated 4 years ago
Related projects ⓘ
Alternatives and complementary repositories for s-sloud-train
- 通过图形界面为数据监控以及数据同步提高良好的服务，可支持数据同步的数据源或数据库有：SQL数据源、NoSQL数据源、数据引擎、数据仓库、消息队列；通过Canal可支持数据库监控以及数据备份。☆25Updated 3 years ago
- 数据处理平台☆16Updated 7 years ago
- 使用Storm实时处理交通大数据（数据源：kafka，集群管理：zookeeper）☆52Updated last year
- spring cloud集成全渠道在线客服以及后台管理系统，所有微服务之间的消息传递采用区块链技术，持续更新中～～目标是：第一阶段：采用spring cloud微服务搭建后台管理系统第二阶段：集成在线客服，采用netty实现websocket长连接第三阶段：集成h5、微信、…☆16Updated last year
- java爬虫，反爬虫策略、ETL清洗数据，以及spark离线和实时分析新闻并存入ES☆21Updated 5 years ago
- 基于Flink流处理的动态实时亿级全端用户画像系统可视化界面☆33Updated last year
- 数据采集、数据审核、数据分析平台☆11Updated last year
- 美团爬虫,优化了部分中断处理,以及IP代理池☆11Updated 3 years ago
- 基于Spark2.2新闻网大数据实时系统项目☆61Updated 5 years ago
- 品优购网上商城是一个综合性的 B2B2C 平台，类似京东商城、天猫商城。网站采用商家入驻的模式，商家入驻平台提交申请，有平台进行资质审核，审核通过后，商家拥有独立的管理后台录入商品信息。商品经过平台审核后即可发布。 品优购网上商城主要分为网站前台、运营商后台、商家管理后台…☆45Updated 4 years ago
- 论坛日志分析系统清洗程序(包含IP规则库，UDF开发，MapReduce程序，日志数据)☆33Updated 6 years ago
- 在公司接了一个任务，完成一个项目数据同步的模块。要求是不能操作项目的数据库。怕操作不当，数据丢失。所以想到的方案是使用log4jdbc记录数据源的SQL语句到日志文件。然后按行读取日志文件中的数据，记录读取的Point，以便下次继续读取。读取的数据进入bigqueue队列，…☆12Updated 7 years ago
- 基于ElasticSearch + Spark的智能搜索和推荐系统☆17Updated 9 months ago
- 传统大数据分析工具以Hadoop、Spark为代表，集成了大量的技术框架， 对用户来说又重又笨又不灵活，难以维护和驾驭，国际和国内的敏捷型BI工具在对接时又面临性能、友好性、定制化能力弱的缺点。本项目独辟蹊径，以阿里开源的DataX为ETL工具，以列式数据库ClickHou…☆62Updated 4 years ago
- 这是一款基于Java开发的12306抢票小程序的后端代码☆20Updated 2 years ago
- 基于kettle8.0的作业/转换管理框架☆32Updated 6 years ago
- 天天基金网爬虫，可多ip节点部署，按ip节点动态调整并发数，可设置代理ip反爬，定时爬取，定时通过邮件反馈基金行情统计数据☆26Updated last year
- 火花链 接入平台是对接于各行各业应用和各大公链之间的接入平台，采用一系列技术来提高公链的接入TPS，并统一公链之间的接入差异，简化应用的区块链接入，使得一套接口能快速在各种不同公链之间进行切换或进行跨链交易☆9Updated 5 years ago
- 数仓项目☆10Updated 5 years ago
- 微信公众号爬虫：服务端公众号文章数据采集☆43Updated last year
- Flink应用程序开发支持框架☆16Updated 3 years ago
- 大数据平台自助管理系统☆11Updated 6 years ago
- springboot项目使用脚手架，集成redis、mysql、pg，hbase、elasticsearch、kafka等常用组件功能☆19Updated 2 years ago
- MySQL增量数据实时同步到HDFS/Hive☆11Updated 6 years ago
- 基于Echarts实现的数据中心超大屏幕监控☆56Updated 7 years ago
- 此项目主要应用于数据中台或数据平台的数据总线，支持直接实时监听MySQL、MongoDB、PostgreSQL、Oracle、SQL Server、Db2和Cassandra等数据库的数据变更。☆60Updated 11 months ago
- 基于开源Litemall电商项目的大数据项目，包含前端埋点(openresty+lua)、后端埋点；数据仓库(五层)、实时计算和用户画像。大数据平台采用CDH6.3.2(已使用vagrant+ansible脚本化)，同时也包含了Azkaban的workflow。☆100Updated 2 years ago
- 12306抢票小程序（抢票酱）的前端代码☆9Updated 4 years ago
- 个人聚合支付项目，预计实现支付宝wap、app、扫码支付，微信wap、app、扫码支付，银联wap、快钱wap支付等☆23Updated 5 years ago
- 安浪创想开发的基于JAVA8+ActFramework+MongoDb+MySQL+bootstrap+AngularJS+JQuery等框架的AI人工智能官网管理系统☆13Updated 6 years ago