lipengyu / uudatahive
蜂巢爬虫系统 是一套只需要定义XPath，就可实现爬取网站,APP的系统, 支持多种解析方式（XPath,正则表达式），多种下载方式（HttpClient库, PhantomJs, Selenium）,多种输出方式（Excel，MongoDB）。 可不做任何修改发布到Yarn,Docker,Mesos系统中实现分布式。
☆10Updated 8 years ago
Related projects ⓘ
Alternatives and complementary repositories for uudatahive
- spring cloud集成全渠道在线客服以及后台管理系统，所有微服务之间的消息传递采用区块链技术，持续更新中～～目标是：第一阶段：采用spring cloud微服务搭建后台管理系统第二阶段：集成在线客服，采用netty实现websocket长连接第三阶段：集成h5、微信、…☆16Updated last year
- 大数据平台自助管理系统☆11Updated 6 years ago
- 基于Nutch+ElasticSearch+MySQL+SSM的简易搜索引擎☆19Updated 8 years ago
- 微信公众号爬虫：服务端公众号文章数据采集☆43Updated last year
- 蜂鸟数据分析平台帮助企业快速完成多数据整合，建立统一数据口径，支持自助式数据准备（ETL）， 并提供可视化分析，帮助企业构建贴合自身业务的企业洞察，并将数据决策覆盖各层员工及应用场景☆21Updated 5 years ago
- 京东商品推荐系统-数据爬虫☆18Updated 9 years ago
- 简单高效的URL关键词提取工具☆15Updated 5 years ago
- 电商+大数据+spark机器学习☆16Updated 6 years ago
- 数据平台(DataPlateform)，最初的设计想法是：当今大数据横行，我们也不能落后。所以就想着写一个这样的平台系统。此项目集爬虫、搜索、Hadoop、Dwr推送、Quartz定时任务于一体的平台，其目的是想通过抓取互联网数据，通过大数据推测人或者某一事物的下一行为。C…☆18Updated 7 years ago
- 实现文档转换的一个网站，目前支持PDF转Word，对Word文档进行翻译等操作，网站还可以获取网易云热门评论等信息☆12Updated last year
- 基于词典的负面舆情信息评分算法。☆25Updated 9 years ago
- 项目中常用的基础功能实现类。如图片处理、文件操作、短信发送、地图定位、距离计算、MD5、二维码生成与解析、在线支付、消息推送、JSON处理等等。☆11Updated 8 years ago
- spark流式计算电商商品关注度+推荐系统/关联系统☆15Updated 6 years ago
- JEECMS是一款基于JAVA技术研发的站群管理系统。 1、支持大规模网站群管理； 2、跨站全文检索、数据共享； 3、微官网/手机网站同步建设； 4、高效二次开发的插件化管理 5、支持可视化模板制作；☆24Updated 8 years ago
- 1、支持网页爬虫 2、多线程、线程池 3、支持全文搜索 4、支持Hadoop分布式平台、HDFS/MapReduce、Zookeeper、HBase 5、支持redis分布式缓存 6、集成微信公众号开发 7、Spring4新特性 8、ActiveMQ 9、Nginx详细配置…☆16Updated last year
- 美团爬虫,优化了部分中断处理,以及IP代理池☆11Updated 3 years ago
- django+es搭建的前后端分离，唐诗宋词搜索引擎。☆36Updated 2 years ago
- 广告系统☆14Updated 5 years ago
- 基于SpringBoot2.0的实现的，个人朋友圈微商推广微信小程序，减少重复发圈次数。☆11Updated 5 years ago
- 论坛日志分析系统清洗程序(包含IP规则库，UDF开发，MapReduce程序，日志数据)☆33Updated 6 years ago
- 最近的项目中需要使用到activit工作流，但是找到的资料不多，所以在activiti-app的基础上，根据自己的需求开发前后端分离的工作流平台，使用技术vue+springboot，目前正在进行中☆18Updated 5 years ago
- 通过图形界面为数据监控以及数据同步提高良好的服务，可支持数据同步的数据源或数据库有：SQL数据源、NoSQL数据源、数据引擎、数据仓库、消息队列；通过Canal可支持数据库监控以及数据备份。☆25Updated 3 years ago
- JEECG是一款基于代码生成器的J2EE快速开发平台，开源界“小普元”超越传统商业企业级开发平台。引领新的开发模式(Online Coding模式(自定义表单) -> 代码生成器模式 -> 手工MERGE智能开发)， 可以帮助解决Java项目60%的重复工作，让…☆16Updated 7 years ago
- 共享单车综合管控大数据分析平台☆16Updated 2 years ago
- 中文分词、统计词频、比对文本相似度☆37Updated 5 years ago
- 数据采集、数据审核、数据分析平台☆11Updated last year