lipengyu / uudatahive
蜂巢爬虫系统 是一套只需要定义XPath，就可实现爬取网站,APP的系统, 支持多种解析方式（XPath,正则表达式），多种下载方式（HttpClient库, PhantomJs, Selenium）,多种输出方式（Excel，MongoDB）。 可不做任何修改发布到Yarn,Docker,Mesos系统中实现分布式。
☆10Updated 8 years ago
Alternatives and similar repositories for uudatahive:
Users that are interested in uudatahive are comparing it to the libraries listed below
- 基于Nutch+ElasticSearch+MySQL+SSM的简易搜索引擎☆20Updated 8 years ago
- spring cloud集成全渠道在线客服以及后台管理系统，所有微服务之间的消息传递采用区块链技术，持续更新中～～目标是：第一阶段：采用spring cloud微服务搭建后台管理系统第二阶段：集成在线客服，采用netty实现websocket长连接第三阶段：集成h5、微信、…☆17Updated 2 years ago
- JEECMS是一款基于JAVA技术研发的站群管理系统。 1、支持大规模网站群管理； 2、跨站全文检索、数据共享； 3、微官网/手机网站同步建设； 4、高效二次开发的插件化管理 5、支持可视化模板制作；☆26Updated 8 years ago
- java爬虫，反爬虫策略、ETL清洗数据，以及spark离线和实时分析新闻并存入ES☆20Updated 6 years ago
- 简单高效的URL关键词提取工具☆15Updated 6 years ago
- 数据库访问中间件，统一的标准sql查询，底层可以是不同的数据库包括mysql、ElasticSearch、kylin、presto等。☆15Updated 6 years ago
- 企业微信工具包（机器人webhook utils），封装起来，使各种类型的消息构建更加简单，并加入推送工具，一步到位。☆16Updated 2 years ago
- 智能客服 基于springboot+swaggger+elasticsearch+mysql☆10Updated 6 years ago
- 基于词典的负面舆情信息评分算法。☆26Updated 10 years ago
- 微信公众号爬虫：服务端公众号文章数据采集☆43Updated 2 years ago
- 一个集成型框架，包含Redis缓存的自动同步模块，业务规则模块，分库分表模块，及事务、ZK统一配置的支持。☆17Updated 9 years ago
- 本项目为企业工商信息网络爬虫，输入行业关键字，例如“铜箔”，可爬取八方资源网等工商信息网上所有与铜箔有关企业的工商信息。☆24Updated 6 years ago
- 无限极分销系统☆21Updated 9 years ago
- spark tutorial for big data mining。包括app流量运营分析、als推荐、smote样本采样、RFM客户价值分群、AHP层次分析客户价值得分、手机定位数据商圈挖掘、马尔可夫智能邮件预测、时序预测、关联规则、推荐电影好友等。☆40Updated 2 years ago
- 爬虫项目源码整理，使用redis进行url缓存，hbase进行详细信息的存储。使用zookeeper进行爬虫线程的状态监控。☆19Updated 9 years ago
- 快速采集清洗，任务管理，实时流和批处理数据分析，数据可视化展现，快速数据模板开发，ETL工具集、数据科学等。是轻量级的一站式的大数据平台。帮用户快速搭建CDP客户数据平台，实现对移动端数据分析、用户行为分析、用户标签画像和在线营销。完美兼容神策埋点SDK、友盟埋点SDK和其…☆24Updated 2 years ago
- 蜂鸟数据分析平台帮助企业快速完成多数据整合，建立统一数据口径，支持自助式数据准备（ETL）， 并提供可视化分析，帮助企业构建贴合自身业务的企业洞察，并将数据决策覆盖各层员工及应用场景☆21Updated 5 years ago
- 日志实时监控，检索，报警☆20Updated 8 years ago
- 项目中常用的基础功能实现类。如图片处理、文件操作、短信发送、地图定位、距离计算、MD5、二维码生成与解析、在线支付、消息推送、JSON处理等等。☆11Updated 9 years ago
- 电商+大数据+spark机器学习☆17Updated 7 years ago
- bank银行巡检系统和CRM客户管理系统☆8Updated 8 years ago
- 食品安全舆情分析系统（前端展示模块）☆15Updated 9 years ago
- JEECG是一款基于代码生成器的J2EE快速开发平台，开源界“小普元”超越传统商业企业级开发平台。引领新的开发模式(Online Coding模式(自定义表单) -> 代码生成器模式 -> 手工MERGE智能开发)， 可以帮助解决Java项目60%的重复工作，让…☆16Updated 7 years ago
- 联盟广告机器人，自动切换代理、点击广告☆30Updated 9 years ago
- 数据分析快速开发平台：包含统一数据访问接口，数据建模，数据治理，数据展现☆23Updated 6 years ago
- django+es搭建的前后端分离，唐诗宋词搜索引擎。☆34Updated 2 years ago
- 在公司接了一个任务，完成一个项目数据同步的模块。要求是不能操作项目的数据库。怕操作不当，数据丢失。所以想到的方案是使用log4jdbc记录数据源的SQL语句到日志文件。然后按行读取日志文件中的数据，记录读取的Point，以便下次继续读取。读取的数据进入bigqueue队列，…☆12Updated 7 years ago
- 数据处理平台☆16Updated 8 years ago
- Zdal是支 付宝自主研发的数据中间件产品，采用标准的JDBC规范，可以在分布式环境下看上去像传统数据库一样提供海量数据服务，是一种通用的分库分表数据库访问框架，解决单库单表数据库访问压力，Zdal主要提供分库分表，结果集合并，sql解析，数据库failover动态切换等功能…☆18Updated 6 years ago
- 规则引擎（drools示例，基于MVEL的规则引擎）☆29Updated 2 years ago