lipengyu / uudatahive
蜂巢爬虫系统 是一套只需要定义XPath，就可实现爬取网站,APP的系统, 支持多种解析方式（XPath,正则表达式），多种下载方式（HttpClient库, PhantomJs, Selenium）,多种输出方式（Excel，MongoDB）。 可不做任何修改发布到Yarn,Docker,Mesos系统中实现分布式。
☆10Updated 8 years ago
Related projects ⓘ
Alternatives and complementary repositories for uudatahive
- spring cloud集成全渠道在线客服以及后台管理系统，所有微服务之间的消息传递采用区块链技术，持续更新中～～目标是：第一阶段：采用spring cloud微服务搭建后台管理系统第二阶段：集成在线客服，采用netty实现websocket长连接第三阶段：集成h5、微信、…☆16Updated last year
- 微信公众号爬虫：服务端公众号文章数据采集☆43Updated last year
- 本项目目的在于构建一个标准化的NLP处理框架，提供企业级的API，以及各种推荐实现和测试包。 目前国内外有不少NLP语言包，包括中科院、复旦大学的，通过对这些常用NLP软件的封装，可以为企业提供一个可以根据需要来对比和无缝切换底层实现的NLP框架。☆22Updated last year
- 美团爬虫,优化了部分中断处理,以及IP代理池☆11Updated 3 years ago
- 本项目为企业工商信息网络爬虫，输入行业关键字，例如“铜箔”，可爬取八方资源网等工商信息网上所有与铜箔有关企业的工商信息。☆23Updated 6 years ago
- 基于词典的负面舆情信息评分算法。☆25Updated 9 years ago
- 大数据平台自助管理系统☆11Updated 6 years ago
- java爬虫，反爬虫策略、ETL清洗数据，以及spark离线和实时分析新闻并存入ES☆21Updated 5 years ago
- 股票交易数据处理的整个业务流程 数据源--->数据采集--->数据归类--->数据储存--->数据分析--->数据可视化☆31Updated 8 years ago
- 视频、音频、图片内容识别、语音转写、语音合成 / easy convert video audio image to text, and revert text to audio(base64)☆21Updated last month
- 论坛日志分析系统清洗程序(包含IP规则库，UDF开发，MapReduce程序，日志数据)☆33Updated 6 years ago
- 联盟广告机器人，自动切换代理、点击广告☆29Updated 9 years ago
- 基于Nutch+ElasticSearch+MySQL+SSM的简易搜索引擎☆19Updated 8 years ago
- 数据平台(DataPlateform)，最初的设计想法是：当今大数据横行，我们也不能落后。所以就想着写一个这样的平台系统。此项目集爬虫、搜索、Hadoop、Dwr推送、Quartz定时任务于一体的平台，其目的是想通过抓取互联网数据，通过大数据推测人或者某一事物的下一行为。C…☆18Updated 7 years ago
- 电商+大数据+spark机器学习☆16Updated 6 years ago
- 常用的Java工具类☆13Updated 4 months ago
- 知乎爬虫,各种数据☆22Updated 7 years ago
- 蜂鸟数据分析平台帮助企业快速完成多数据整合，建立统一数据口径，支持自助式数据准备（ETL）， 并提供可视化分析，帮助企业构建贴合自身业务的企业洞察，并将数据决策覆盖各层员工及应用场景☆21Updated 5 years ago
- 无限极分销系统☆21Updated 8 years ago
- 京东商品推荐系统-数据爬虫☆18Updated 9 years ago
- JEECMS是一款基于JAVA技术研发的站群管理系统。 1、支持大规模网站群管理； 2、跨站全文检索、数据共享； 3、微官网/手机网站同步建设； 4、高效二次开发的插件化管理 5、支持可视化模板制作；☆24Updated 8 years ago
- 在公司接了一个任务，完成一个项目数据同步的模块。要求是不能操作项目的数据库。怕操作不当，数据丢失。所以想到的方案是使用log4jdbc记录数据源的SQL语句到日志文件。然后按行读取日志文件中的数据，记录读取的Point，以便下次继续读取。读取的数据进入bigqueue队列，…☆12Updated 7 years ago
- 基于GPT搭建属于自己的知识库问答系统☆21Updated 7 months ago
- 快速采集清洗，任务管理，实时流和批处理数据分析，数据可视化展现，快速数据模板开发，ETL工具集、数据科学等。是轻量级的一站式的大数据平台。帮用户快速搭建CDP客户数据平台，实现对移动端数据分析、用户行为分析、用户标签画像和在线营销。完美兼容神策埋点SDK、友盟埋点SDK和其…☆24Updated last year
- 广告系统☆14Updated 5 years ago
- 美番MOFO项目集IOS/Android/Boss/官网/微信公众号/微信小程序于一体的摄影圈内容社交平台，以平台用户流量引流到电商变现的项目。致力于打造业内最好的摄影爱好者聚集地，涵盖圈子社交，大咖论坛，系列教程，器材租售，模特互动，更有各类线上线下活动，为大家带来更多的…☆31Updated 6 years ago
- 基于SpringBoot2.0的实现的，个人朋友圈微商推广微信小程序，减少重复发圈次数。☆11Updated 5 years ago
- 品优购网上商城是一个综合性的 B2B2C 平台，类似京东商城、天猫商城。网站采用商家入驻的模式，商家入驻平台提交申请，有平台进行资质审核，审核通过后，商家拥有独立的管理后台录入商品信息。商品经过平台审核后即可发布。 品优购网上商城主要分为网站前台、运营商后台、商家管理后台…☆45Updated 4 years ago