peopleindreamdontsleep / SparkanSpider
java爬虫，反爬虫策略、ETL清洗数据，以及spark离线和实时分析新闻并存入ES
☆21Updated 5 years ago
Related projects ⓘ
Alternatives and complementary repositories for SparkanSpider
- spring cloud集成全渠道在线客服以及后台管理系统，所有微服务之间的消息传递采用区块链技术，持续更新中～～目标是：第一阶段：采用spring cloud微服务搭建后台管理系统第二阶段：集成在线客服，采用netty实现websocket长连接第三阶段：集成h5、微信、…☆16Updated last year
- 数据处理平台☆16Updated 7 years ago
- 论坛日志分析系统清洗程序(包含IP规则库，UDF开发，MapReduce程序，日志数据)☆33Updated 6 years ago
- 大数据平台相关代码（ES/Hive/Hadoop/hdfs/hbase）☆74Updated 2 years ago
- 一个优秀的大数据查询平台，提供hive异步任务查询、LDAP用户、数据权限控制、历史查询任务与结果存储、邮件通知、excel下载等功能。☆24Updated 6 years ago
- 使用spark对hive、hbase、ES的读写， 实现一次配置可对不同数据库进行导入导出，并对ES、hbase进行封装☆32Updated 7 years ago
- 实时风控系统，基于spark-streaming、drools、kafka、redis☆50Updated 6 years ago
- 基于Hadoop和HBase的大规模海量数据去重☆29Updated 6 years ago
- 蜂鸟数据分析平台帮 助企业快速完成多数据整合，建立统一数据口径，支持自助式数据准备（ETL）， 并提供可视化分析，帮助企业构建贴合自身业务的企业洞察，并将数据决策覆盖各层员工及应用场景☆21Updated 5 years ago
- 数据分析快速开发平台：包含统一数据访问接口，数据建模，数据治理，数据展现☆22Updated 6 years ago
- 以知乎日报为数据源，全流程实践一个机器学习过程，从数据获取到数据分析，对知乎日报进行聚类、分类，并可视化这一过程☆17Updated 8 years ago
- 1、支持网页爬虫 2、多线程、线程池 3、支持全文搜索 4、支持Hadoop分布式平台、HDFS/MapReduce、Zookeeper、HBase 5、支持redis分布式缓存 6、集成微信公众号开发 7、Spring4新特性 8、ActiveMQ 9、Nginx详细配置…☆16Updated 2 years ago
- 量化交易网站 java☆11Updated 7 years ago
- 信托数据仓库及商业智能☆32Updated 6 years ago
- 元数据管理系统☆18Updated 6 years ago
- 天天基金网爬虫，可多ip节点部署，按ip节点动态调整并发数，可设置代理ip反爬，定时爬取，定时通过邮件反馈基金行情统计数据☆26Updated last year
- 基于Flink+ClickHouse实时计算平台☆30Updated 2 years ago
- 数据仓库KETTLE ETL资源库☆14Updated 9 years ago
- 全渠道整合智能在线客服系统☆36Updated 7 years ago
- 移动用户行为统计系统，服务器端的数据采集分析，参考开源的cobub razor的设计☆37Updated 7 years ago
- 用户画像代码，根据算法推算出用户的性别和年龄比率☆11Updated 6 years ago
- 使用Storm实时处理交通大数据（数据源：kafka，集群管理：zookeeper）☆52Updated last year
- 基于spring cloud Alibaba的P2P借贷平台（后端服务）☆24Updated 2 years ago
- kafka传数据到Flink存储到mysql之Flink使用SQL语句聚合数据流（设置时间窗口，EventTime）☆31Updated 6 years ago
- Java JUC 学习项目 包括各种并发多线程的高级使用。java自带多线程并发锁高级应用☆14Updated 6 years ago