lipengyu / uudatahive
蜂巢爬虫系统 是一套只需要定义XPath,就可实现爬取网站,APP的系统, 支持多种解析方式(XPath,正则表达式),多种下载方式(HttpClient库, PhantomJs, Selenium),多种输出方式(Excel,MongoDB)。 可不做任何修改发布到Yarn,Docker,Mesos系统中实现分布式。
☆10Updated 8 years ago
Alternatives and similar repositories for uudatahive
Users that are interested in uudatahive are comparing it to the libraries listed below
Sorting:
- spring cloud集成全渠道在线客服以及后台管理系统,所有微服务之间的消息传递采用区块链技术,持续更新中~~目标是:第一阶段:采用spring cloud微服务搭建后台管理系统第二阶段:集成在线客服,采用netty实现websocket长连接第三阶段:集成h5、微信、…☆17Updated 2 years ago
- 基于Nutch+ElasticSearch+MySQL+SSM的简易搜索引擎☆20Updated 8 years ago
- bank银行巡检系统和CRM客户管理系统☆8Updated 8 years ago
- 项目中常用的基础功能实现类。如图片处理、文件操作、短信发送、地图定位、距离计算、MD5、二维码生成与解析、在线支付、消息推送、JSON处理等等。☆11Updated 9 years ago
- 电商+大数据+spark机器学习☆17Updated 7 years ago
- 微信公众号爬虫:服务端公众号文章数据采集☆43Updated 2 years ago
- 数据处理平台☆16Updated 8 years ago
- 智能客服 基于springboot+swaggger+elasticsearch+mysql☆10Updated 6 years ago
- JEECMS是一款基于JAVA技术研发的站群管理系统。 1、支持大规模网站群管理; 2、跨站全文检索、数据共享; 3、微官网/手机网站同步建设; 4、高效二次开发的插件化管理 5、支持可视化模板制作;☆26Updated 8 years ago
- 基于词典的负面舆情信息评分算法。☆26Updated 10 years ago
- springboot项目使用脚手架,集成redis、mysql、pg,hbase、elasticsearch、kafka等常用组件功能☆21Updated 2 years ago
- 股票交易数据处理的整个业务流程 数据源--->数据采集--->数据归类--->数据储存--->数据分析--->数据可视化☆31Updated 8 years ago
- 简单高效的URL关键词提取工具☆15Updated 6 years ago
- 视频、音频、图片内容识别、语音转写、语音合成 / easy convert video audio image to text, and revert text to audio(base64)☆21Updated 7 months ago
- 爬虫项目源码整理,使用redis进行url缓存,hbase进行详细信息的存储。使用zookeeper进行爬虫线程的状态监控。☆19Updated 9 years ago
- 日志实时监控,检索,报警☆20Updated 9 years ago
- java爬虫,反爬虫策略、ETL清洗数据,以及spark离线和实时分析新闻并存入ES☆21Updated 6 years ago
- Zdal是支付宝自主研发的数据中间件产品,采用标准的JDBC规范,可以在分布式环境下看上去像传统数据库一样提供海量数据服务,是一种通用的分库分表数据库访问框架,解决单库单表数据库访问压力,Zdal主要提供分库分表,结果集合并,sql解析,数据库failover动态切换等功能…☆18Updated 6 years ago
- 论坛日志分析系统清洗程序(包含IP规则库,UDF开发,MapReduce程序,日志数据)☆33Updated 7 years ago
- 一个SpringMVC4+EasyUI的后台管理系统,重新整理简洁版:后台管理系统模板☆27Updated 6 years ago
- 本项目目的在于构建一个标准化的NLP处理框架,提供企业级的API,以及各种推荐实现和测试包。 目前国内外有不少NLP语言包,包括中科院、复旦大学的,通过对这些常用NLP软件的封装,可以为企业提供一个可以根据需要来对比和无缝切换底层实现的NLP框架。☆22Updated last year
- 业务风控系统☆11Updated 8 years ago
- 基于GPT搭建属于自己的知识库问答系统☆21Updated last year
- 企业微信工具包(机 器人webhook utils),封装起来,使各种类型的消息构建更加简单,并加入推送工具,一步到位。☆16Updated 2 years ago
- 狗蛋实验室推出的智能化数据抓取、处理、分析,挖掘平台。提供美团、大众点评、饿了么、百度地图等数据。☆43Updated 6 years ago
- 天眼查网站批量查询工具☆49Updated last year
- 无限极分销系统☆21Updated 9 years ago
- 量化交易网站 java☆11Updated 8 years ago
- 食品安全舆情分析系统(前端展示模块)☆15Updated 10 years ago
- 快速采集清洗,任务管理,实时流和批处理数据分析,数据可视化展现,快速数据模板开发,ETL工具集、数据科学等。是轻量级的一站式的大数据平台。帮用户快速搭建CDP客户数据平台,实现对移动端数据分析、用户行为分析、用户标签画像和在线营销。完美兼容神策埋点SDK、友盟埋点SDK和其…☆24Updated 2 years ago