xjtushilei / ScriptSpider
A Java componentized distributed crawler framework. 一个Java版本的组件化的分布式通用爬虫
☆163Updated last year
Alternatives and similar repositories for ScriptSpider:
Users that are interested in ScriptSpider are comparing it to the libraries listed below
- 温故而知新,分享 知识,快乐编码~☆539Updated 7 years ago
- 一个简单易用的爬虫框架,内置代理管理模块,灵活设置多线程爬取☆61Updated 8 years ago
- 基于poi 通过配置对excel进行导入导出框架☆60Updated 7 years ago
- 这个是我个人网站的项目,欢迎贡献代码,力求能够应用到实际工作中java相关的大多数技术栈。有兴趣请Star一下,非常感谢。qq交流群:587577705 这个项目将不断地更新!生产环境:☆171Updated 5 years ago
- 🐝 Web vertical crawler framework for fun☆190Updated last year
- Easy Spring Boot blog~☆77Updated 7 years ago
- ☆152Updated 8 years ago
- 利用spring boot + webmagic 开发的java爬虫系统☆62Updated 8 years ago
- 关于Java虚拟机核心知识点学习积累的例子,是初学者及虚拟机核心知识巩固的最佳实践。☆354Updated 4 years ago
- 天气爬虫(全国城镇天气自动定时抓取更新,并开放RESTful查询接口),附带代理IP池定时更新并检测其可用性☆366Updated 6 years ago
- 使用java+httpclient+httpcleaner,多线程、分布式爬去电商网站商品信息,数据存储在hbase上,并使用solr对商品建立索引,使用redis队列存储一个共享的url仓库;使用zookeeper对爬虫节点生命周期进行监视等。☆231Updated 4 years ago
- clover 1、开发server和client端 定时向zk集群发送心跳数据包,利用Java自带的timer程序实现该功能 2、开发整天的monitor程序,用来定时向zk中获取server和client端的心跳数据信息,如果超过指定时间没有收到最新的数据包,那么任务se…☆195Updated 10 years ago
- 基于 JDK8 实现的轻量级 Java Web 框架☆262Updated 8 years ago
- 针对反爬虫 问题的自动代理池组件☆78Updated 8 years ago
- 爬虫代理IP池服务,可供其他爬虫程序通过restapi获取☆113Updated 2 years ago
- 知乎爬虫,基于webmagic框架 .A java web spider base on webmagic.☆69Updated 8 years ago
- SpringBoot敏捷微服务开发示例(服务注册中心、服务提供者、实现客户端负载均衡的消费者、声明式的Web Service客户端消费者、服务网关、分布式配置中心、使用分布式配置的客户端)☆215Updated 7 years ago
- 一个基于webmagic框架二次开发的java爬虫框架实战,已实现能爬取腾讯,搜狐,今日头条(单独集成功能)等资讯内容,配合elasticsearch框架用法,实现了自动爬虫,已投入线上生产使用。☆338Updated 2 years ago
- 又一个号称高性能的 java 爬虫工具/爬虫框架☆122Updated 5 years ago
- 豆瓣电影爬虫——a crawler which is able to crawl movie detail and short comments, save them to database mysql, also include Sentiment analysis ba…☆69Updated 6 years ago
- Mybatis Generator Web Tool. 更加简单便捷的生成Mybatis框架代码☆75Updated 7 years ago
- Spring Boot 脚手架 Mybatis Spring Security JWT 权限 Spring Cache + Redis☆252Updated 6 years ago
- 关于Java Design Pattern (设计模式) 学习积累的例子,是初学者及设计模式巩固的最佳实践。☆166Updated 2 years ago
- 用于在Spring Boot项目中轻松集成Druid数据库连接池和监控☆18Updated 7 years ago
- 🎈 A simple web app to generate mybatis code.☆60Updated 6 years ago
- java常用工具类集合☆113Updated 6 years ago
- spring+springmvc+mybatis+maven+freemarker 能跑通的小例子,尽量通俗易懂☆80Updated 8 years ago
- 基于WebMagic写的一个csdn博客小爬虫☆92Updated 6 years ago
- 一个简洁漂亮的java blog 基于Spring /MVC+ Hibernate + MySQL + Bootstrap + freemarker. 实现☆186Updated 7 years ago
- The Crawler Proxy IP Pool Component☆63Updated 2 years ago