lipengyu / uudatahive
蜂巢爬虫系统 是一套只需要定义XPath,就可实现爬取网站,APP的系统, 支持多种解析方式(XPath,正则表达式),多种下载方式(HttpClient库, PhantomJs, Selenium),多种输出方式(Excel,MongoDB)。 可不做任何修改发布到Yarn,Docker,Mesos系统中实现分布式。
☆10Updated 8 years ago
Alternatives and similar repositories for uudatahive:
Users that are interested in uudatahive are comparing it to the libraries listed below
- spring cloud集成全渠道在线客服以及后台管理系统,所有微服务之间的消息传递采用区块链技术,持续更新中~~目标是:第一阶段:采用spring cloud微服务搭建后台管理系统第二阶段:集成在线客服,采用netty实现websocket长连接第三阶段:集成h5、微信、…☆17Updated 2 years ago
- 智能客服 基于springboot+swaggger+elasticsearch+mysql☆10Updated 6 years ago
- bank银行巡检系统和CRM客户管理系统☆8Updated 8 years ago
- django+es搭建的前后端分离,唐诗宋词搜索引擎。☆34Updated 3 years ago
- 企业微信工具包(机器人webhook utils),封装起来,使各种类型的消息构建更加简单,并加入推送工具,一步到位。☆16Updated 2 years ago
- JEECMS是一款基于JAVA技术研发的站群管理系统。 1、支持大规模网站群管理; 2、跨站全文检索、数据共享; 3、微官网/手机网站同步建设; 4、高效二次开发的插件化管理 5、支持可视化模板制作;☆26Updated 8 years ago
- 微信公众号爬虫:服务端公众号文章数据采集☆43Updated 2 years ago
- 人工智能开放平台☆32Updated 6 years ago
- 基于Nutch+ElasticSearch+MySQL+SSM的简易搜索引擎☆20Updated 8 years ago
- 基于词典的负面舆情信息评分算法。☆26Updated 10 years ago
- 多租户架构实现企业进销存☆20Updated 8 years ago
- 数据库访问中间件,统一的标准sql查询,底层可以是不同的数据库包括mysql、ElasticSearch、kylin、presto等。☆15Updated 7 years ago
- 广告系统☆15Updated 6 years ago
- 论坛日志分析系统清洗程序(包含IP规则库,UDF开发,MapReduce程序,日志数据)☆33Updated 6 years ago
- 分布式大数据SQL查询可视化界面!☆68Updated 9 years ago
- 最近的项目中需要使用到activit工作流,但是找到的资料不多,所以在activiti-app的基础上,根据自己的需求开发前后端分离的工作流平台,使用技术vue+springboot,目前正在进行中☆18Updated 6 years ago
- java爬虫,反爬虫策略、ETL清洗数据,以及spark离线和实时分析新闻并存入ES☆21Updated 6 years ago
- 无限极分销系统☆21Updated 9 years ago
- 电商+大数据+spark机器学习☆17Updated 7 years ago
- 一个集成型框架,包含Redis缓存的自动同步模块,业务规则模块,分库分表模块,及事务、ZK统一配置的支持。☆17Updated 9 years ago
- 狗蛋实验室推出的智能化数据抓取、处理、分析,挖掘平台。提供美团、大众点评、饿了么、百度地图等数据。☆43Updated 6 years ago
- 分布式MySQL数据库中间件,支持数据的水平、垂直拆分,支持分库分表,支持读写分离,支持结果集合并,支持故障自动切换。☆26Updated 9 years ago
- 淘宝商品评价的爬虫☆26Updated 9 years ago
- 基于springcloud开发的分布式美剧订阅系统(含爬虫)☆17Updated last year
- 数据平台(DataPlateform),最初的设计想法是:当今大数据横行,我们也不能落后。所以就想着 写一个这样的平台系统。此项目集爬虫、搜索、Hadoop、Dwr推送、Quartz定时任务于一体的平台,其目的是想通过抓取互联网数据,通过大数据推测人或者某一事物的下一行为。C…☆18Updated 7 years ago
- 通过图形界面为数据监控以及数据同步提高良好的服务,可支持数据同步的数据源或数据库有:SQL数据源、NoSQL数据源、数据引擎、数据仓库、消息队列;通过Canal可支持数据库监控以及数据备份。☆24Updated 4 years ago
- 企业和农场主电商平台 shopping mall for company or farmers.☆27Updated 9 years ago
- 本项目目的在于构建一个标准化的NLP处理框架,提供企业级的API,以及各种推荐实现和测试包。 目前国内外有不少NLP语言包,包括中科院、复旦大学的,通过对这些常用NLP软件的封装,可以为企业提供一个可以根据需要来对比和无缝切换底层实现的NLP框架。☆22Updated last year
- 实现文档转换的一个网站,目前支持PDF转Word,对Word文档进行翻译等操作,网站还可以获取网易云热门评论等信息☆12Updated 2 years ago
- 完整开源!Java快速开发平台!基于Spring、SpringMVC、Mybatis架构,MStore提供更多好用的插件与模板(文章、商城、微信、论坛、会员、评论、支付、积分、工作流、任务调度等,同时提供上百套免费模板任意选择),价值源自分享!铭飞系统不仅一套简单好用的开源…☆12Updated 6 years ago