kanxg / fengchaoLinks
蜂巢爬虫系统 是一套只需要定义XPath,就可实现爬取网站,APP的系统, 支持多种解析方式(XPath,正则表达式),多种下载方式(HttpClient库, PhantomJs, Selenium),多种输出方式(Excel,MongoDB)。 可不做任何修改发布到Yarn,Docker,Mesos系统中实现分布式。
☆5Updated 8 years ago
Alternatives and similar repositories for fengchao
Users that are interested in fengchao are comparing it to the libraries listed below
Sorting:
- 简单实用的同步工具,实现mysql数据库中数据定期同步到elasticsearch,只需简单的配置,便能达到非凡的效果,支持elasticsearch 5.X版本☆48Updated 8 years ago
- 知乎爬虫,基于webmagic框架 .A java web spider base on webmagic.☆69Updated 9 years ago
- 数据虫巢官网(mite8.com)站点源码,包括站点基础数据爬取代码,以及重构的NLP分词工具等。☆47Updated 8 years ago
- rank是一个seo工具,用于分析网站的搜索引擎收录排名。☆67Updated 8 years ago
- Dubbox整合Spring Boot基于Avro、Thrift协议构建REST服务☆40Updated 9 years ago
- hero☆1Updated 7 years ago
- 使用java+httpclient+httpcleaner,多线程、分布式爬去电商网站商品信息,数据存储在hbase上,并使用solr对商品建立索引,使用redis队列存储一个共享的url仓库;使用zookeeper对爬虫节点生命周期进行监视等。☆231Updated 4 years ago
- 本项目已废弃,笔记收藏整理参考:☆69Updated 4 years ago
- Apache Nutch Plugins for AJAX page fetch, parse, index☆88Updated 7 years ago
- 生成Spring Boot代码☆56Updated last year
- springboot脚手架,集成jpa freemarker dubbo security为一体☆65Updated 8 years ago
- AG-Gate 是一个基于spring cloud的用户资源授权、api管理授权的网关系统,以jwt交互的鉴权token来实施,支持基于Eureka注册中心下的服务鉴权和拦截,同时扩展Eureka下服务失效的通知扩展。☆99Updated 8 years ago
- API服务基础脚手架搭建,采用spring-boot\spring-session\mybatis\redis\quartz等,支持集群部署☆56Updated 6 years ago
- 舆情搜索服务框架,其中lucene和solr版本为4.8。☆61Updated 9 years ago
- 基于dubbo的一个分布式项目demo☆105Updated 8 years ago
- 这是一个统一管理系统权限,设计的目标是给开发者一个完整地权限管理系统,以便你能更专注自己系统业务的开发☆36Updated 9 years ago
- shiro 基于 url做的权限系统☆43Updated 10 years ago
- 互联网架构 SOA(Dubbo)+配置中心(ZK)+消息中间件MQ(RocketMq)+高速缓存(Redis)互联网架构☆65Updated 7 years ago
- 轻度扩展mybatis-generator-core插件,与官方插件兼容。☆63Updated 3 years ago
- 微信公共平台机器人Java SDK☆124Updated 2 years ago
- spring整合webmagic,mybatis,dungproxy☆29Updated 2 years ago
- 基于zookeeper的统一配置中心实现☆47Updated 10 years ago
- Mybatis Generator Web Tool. 更加简单便捷的生成Mybatis框架代码☆75Updated 7 years ago
- Java语言开发的统一角色访问控制系统(Unified Role Access Control System),基于Spring Security 3实现的权限控制系统☆76Updated 10 years ago
- 主要用于开放平台的接口限流框架☆90Updated 3 years ago
- The Crawler Proxy IP Pool Component