Alternatives and similar repositories for crawler-framework:

Users that are interested in crawler-framework are comparing it to the libraries listed below

• TQCCC / hive_to_es
  同步Hive数据仓库数据到Elasticsearch的小工具
  ☆21Updated 7 years ago
• QuanZhong / ZKConfig
  ZkConfig是为zookeeper开发的配置服务工具包，能与现有的Java系统进行良好的集成，也可以使用与非java系统以独立进程运行。提供与spring进行集成的插件。采用注解方式对需要动态更新的内存数据对象进行标注。 ZkConfig用于解决在系统集群中配置文件的实…
  ☆24Updated 9 years ago
• smartloli / Kafka-Eagle-Wiki
  Kafka Eagle used to describe the use of Wiki
  ☆11Updated 4 years ago
• GongDexing / elasticsearch-mysql
  简单实用的同步工具，实现mysql数据库中数据定期同步到elasticsearch，只需简单的配置，便能达到非凡的效果，支持elasticsearch 5.X版本
  ☆48Updated 8 years ago
• cloverfisher / zeus
  Hadoop作业平台
  ☆37Updated 11 years ago
• changge458 / userdraw
  用户画像代码，根据算法推算出用户的性别和年龄比率
  ☆11Updated 7 years ago
• jgchen / zookeeper-recipes
  zookeeper官方提供的分布式锁，选举master，和分布式队列实现
  ☆17Updated 10 years ago
• yinchuandong / DistributedCrawler
  java分布式爬虫，主机和从机控制的机制
  ☆14Updated 9 years ago
• v5tech / kafka-log4j
  使用kafka实现log4j日志集中管理
  ☆14Updated 4 years ago
• ysc / rank
  rank是一个seo工具，用于分析网站的搜索引擎收录排名。
  ☆66Updated 7 years ago
• tietang / spring-cloud-monitor
  一个基于eureka服务发现对微服务应用JVM和WEB请求指标、微服务运行状态的监控，并通过图形化来展示的小型轻量级监控系统。
  ☆18Updated 5 years ago
• qindongliang / shell-mysql
  shell脚本分页导出mysql数据
  ☆16Updated 6 years ago
• lrtdc / book_ldrtc
  《分布式实时计算框架原理及实践案例》一书中相关章节实例介绍
  ☆11Updated 8 years ago
• SoftwareKing / SpringCloud
  基于云计算Iaas平台的企业级云计算,一站式解决方案,http://www.springcloud.cn
  ☆28Updated 9 years ago
• fjfd / microscope
  大规模分布式系统的跟踪、监控、告警平台
  ☆55Updated 10 years ago
• yxjay / SearchEngine-base-on-ElasticSearch-nutch-SSM
  基于Nutch+ElasticSearch+MySQL+SSM的简易搜索引擎
  ☆19Updated 8 years ago
• ucarGroup / PoseidonX
  poseidonX 是一个基于jstorm和flink的一体化实时计算服务平台
  ☆55Updated 6 years ago
• hbyhl / qademo
  搜狐实习自动回复项目：语音识别、问题过滤、答案推荐
  ☆8Updated 10 years ago
• peiliping / meepo
  异构存储数据迁移
  ☆30Updated 7 years ago
• ycloudnet / ya100
  一个比Spark-Parquet还快5~100倍的存储格式
  ☆12Updated 8 years ago
• atellwu / yscheduler
  调度系统：提供友好的web界面，支持shell和http触发型的任务、工作流(由多个任务构成)，支持任务的自依赖配置，支持失败重试、负载均衡。
  ☆30Updated 7 years ago
• zhanyingf15 / elasticsearch-jdbc
  elasticsearch-jdbc，在elasticsearch-sql的jdbc实验特性基础上完成，可使用sql和rest api的方式执行elasticsearch操作
  ☆19Updated 5 years ago
• VIPJoey / Lidea
  大型分布式系统实时监控平台
  ☆27Updated 2 years ago
• WangJunTYTL / authmanage
  这是一个统一管理系统权限，设计的目标是给开发者一个完整地权限管理系统，以便你能更专注自己系统业务的开发
  ☆36Updated 8 years ago
• mayanhui / hadoop-hbase-examples
  hadoop hbase use case and examples, inclusing MR,HBaseUtil...
  ☆36Updated 11 years ago
• shenbaise / goodcrawler
  网络爬虫
  ☆51Updated 10 years ago
• vakinge / jeesuite-config
  简约而不简单功能强大的配置中心。部署简单、支持多环境多版本配置管理。支持全局配置、多应用共享配置、配置加密、配置实时同步、spring/springboot无缝对接，细粒度权限控制、安全过滤等功能
  ☆48Updated 2 years ago
• duoan / codes-scratch-crawler
  读书笔记《自己动手写网络爬虫》，自己敲的代码。主要记录了网络爬虫的基本实现，网页去重的算法，网页指纹算法，文本信息挖掘
  ☆47Updated 10 years ago
• crossoverJie / SSM-DUBBO-FILTER
  dubbo日志扩展插件
  ☆25Updated 7 years ago
• linpelvis / carrygo
  同步mysql数据库至hbase，kudu等存储系统
  ☆35Updated 7 years ago