Alternatives and similar repositories for crawler-framework

Users that are interested in crawler-framework are comparing it to the libraries listed below

• linpelvis / carrygo
  同步mysql数据库至hbase，kudu等存储系统
  ☆35Updated 8 years ago
• smartloli / Kafka-Eagle-Wiki
  Kafka Eagle used to describe the use of Wiki
  ☆11Updated 5 years ago
• TQCCC / hive_to_es
  同步Hive数据仓库数据到Elasticsearch的小工具
  ☆21Updated 7 years ago
• GongDexing / elasticsearch-mysql
  简单实用的同步工具，实现mysql数据库中数据定期同步到elasticsearch，只需简单的配置，便能达到非凡的效果，支持elasticsearch 5.X版本
  ☆48Updated 8 years ago
• ucarGroup / PoseidonX
  poseidonX 是一个基于jstorm和flink的一体化实时计算服务平台
  ☆55Updated 6 years ago
• v5tech / kafka-log4j
  使用kafka实现log4j日志集中管理
  ☆14Updated 4 years ago
• shenbaise / goodcrawler
  网络爬虫
  ☆51Updated 11 years ago
• cocolian / cocolian-nlp
  本项目目的在于构建一个标准化的NLP处理框架，提供企业级的API，以及各种推荐实现和测试包。 目前国内外有不少NLP语言包，包括中科院、复旦大学的，通过对这些常用NLP软件的封装，可以为企业提供一个可以根据需要来对比和无缝切换底层实现的NLP框架。
  ☆22Updated last year
• QuanZhong / ZKConfig
  ZkConfig是为zookeeper开发的配置服务工具包，能与现有的Java系统进行良好的集成，也可以使用与非java系统以独立进程运行。提供与spring进行集成的插件。采用注解方式对需要动态更新的内存数据对象进行标注。 ZkConfig用于解决在系统集群中配置文件的实…
  ☆24Updated 10 years ago
• canghaiyisu666 / spider
  爬虫项目源码整理，使用redis进行url缓存，hbase进行详细信息的存储。使用zookeeper进行爬虫线程的状态监控。
  ☆19Updated 9 years ago
• guofei1219 / BinlogAnalysis
  解析Mysql binlog日志并发至Kafka
  ☆23Updated 8 years ago
• xiaokugua250 / DataMingProject
  大数据平台相关代码（ES/Hive/Hadoop/hdfs/hbase）
  ☆75Updated 2 years ago
• ysc / rank
  rank是一个seo工具，用于分析网站的搜索引擎收录排名。
  ☆67Updated 8 years ago
• lrtdc / book_ldrtc
  《分布式实时计算框架原理及实践案例》一书中相关章节实例介绍
  ☆11Updated 8 years ago
• simon-wind / realtime-analysis
  实时分析nginx日志，计算接口访问次数，uv，时延，异常IP等指标
  ☆28Updated 8 years ago
• weibocom / prism
  实时数据分析平台
  ☆41Updated 11 years ago
• yxjay / SearchEngine-base-on-ElasticSearch-nutch-SSM
  基于Nutch+ElasticSearch+MySQL+SSM的简易搜索引擎
  ☆20Updated 8 years ago
• realxujiang / bigtable-sql
  分布式大数据SQL查询可视化界面！
  ☆68Updated 9 years ago
• fjfd / microscope
  大规模分布式系统的跟踪、监控、告警平台
  ☆55Updated 11 years ago
• yswang0927 / ralasafe
  Ralasafe访问控制中间件(数据级权限管理)，是MIT协议开源免费软件产品。它使用图形化方式处理各种数据级权限管理问题，包括数据库行列级、字段内容级权限问题；它还能处理登录控制、 功能级权限控制和URL权限认证。
  ☆31Updated 9 months ago
• janecd / RiskRule
  实时风控系统，基于spark-streaming、drools、kafka、redis
  ☆52Updated 6 years ago
• spccold / super-diamond-enhance
  支持集群部署，动态推送，配置一键导出导入，模块管理，全局配置查询等功能,可匹敌disconf
  ☆23Updated 7 years ago
• MettCat / queue-client
  在公司接了一个任务，完成一个项目数据同步的模块。要求是不能操作项目的数据库。怕操作不当，数据丢失。所以想到的方案是使用log4jdbc记录数据源的SQL语句到日志文件。然后按行读取日志文件中的数据，记录读取的Point，以便下次继续读取。读取的数据进入bigqueue队列，…
  ☆12Updated 7 years ago
• muyannian / higo
  海狗-多维在线分析系统
  ☆72Updated 10 years ago
• 888xin / pointlikerobot
  点赞机器人，spring4，mybatis，quartz，mongodb，MS消息队列，dubbo
  ☆10Updated 10 years ago
• horrificer / vagary
  数据库访问中间件，统一的标准sql查询，底层可以是不同的数据库包括mysql、ElasticSearch、kylin、presto等。
  ☆15Updated 7 years ago
• qindongliang / shell-mysql
  shell脚本分页导出mysql数据
  ☆16Updated 6 years ago
• zhanyingf15 / elasticsearch-jdbc
  elasticsearch-jdbc，在elasticsearch-sql的jdbc实验特性基础上完成，可使用sql和rest api的方式执行elasticsearch操作
  ☆19Updated 6 years ago
• zhangziliang04 / DDW
  分布式数据仓库最佳实践
  ☆57Updated 7 years ago
• ml-distribution / negative-sentiment
  基于词典的负面舆情信息评分算法。
  ☆26Updated 10 years ago