利用spring boot + webmagic 开发的java爬虫系统
☆61Dec 29, 2016Updated 9 years ago
Alternatives and similar repositories for spider
Users that are interested in spider are comparing it to the libraries listed below
Sorting:
- 蜂巢爬虫系统 是一套只需要定义XPath，就可实现爬取网站,APP的系统, 支持多种解析方式（XPath,正则表达式），多种下载方式（HttpClient库, PhantomJs, Selenium）,多种输出方式（Excel，MongoDB）。 可不做任何修改发布到Yar…☆10Sep 5, 2016Updated 9 years ago
- DistributeCrawler的Maven版☆10Jun 20, 2022Updated 3 years ago
- spider使用java语言开发，使用Spring作为IoC容器，采用TCP/IP协议，在此基础上，结合SaaS金融交易系统的特性进行针对性和重点设计，以更加灵活和高效的满足金融交易系统多租户、高可用、分布式部署的要求。 spider默认采用JSON作为序列化机制，后续版本…☆10Sep 11, 2018Updated 7 years ago
- 基于ffmpeg+spring+quartz+dubbo+zookeeper+MyBatis服务化的视频转换分布式服务☆12Jul 21, 2016Updated 9 years ago
- 基于SSM的爬虫系统，Spring+Spring MVC+MyBatis+Druid+Redis+MQ☆78Sep 16, 2017Updated 8 years ago
- qq加群机器人，根据配置的关键词来搜索群并自动发送加群验证。难点：list滚动需要跨进程模拟触屏事件。使用前提：需要获取root权限，如需要获取更多机型的支持，需要添加相应机型的模拟触屏实现类。本项目不再维护，只提供给个人开发者学习使用。☆16Jul 23, 2018Updated 7 years ago
- dubbo-brave集成☆10Mar 16, 2016Updated 9 years ago
- a simple distributed spider in Java. Java编写的一个简单分布式爬虫☆159Jun 18, 2013Updated 12 years ago
- 密码学作业、课程设计：国产加密算法SM3的java实现☆13Jan 9, 2019Updated 7 years ago
- Raptor IoT platform☆12May 24, 2018Updated 7 years ago
- 一个简易的搜索引擎，采用Java开发☆32Mar 7, 2014Updated 11 years ago
- a game server engine, driver by akka-java.☆14Dec 7, 2015Updated 10 years ago
- interactive clustering platform☆15Dec 19, 2025Updated 2 months ago
- 基于DDD实现的Headless CMS☆20Apr 24, 2025Updated 10 months ago
- 利用WebMagic框架进行58同城数据的抓取☆12Oct 13, 2014Updated 11 years ago
- The gateway service is responsible for routing requests to real services.☆18Jul 24, 2019Updated 6 years ago
- JFinalCMS，极速开发，动态添加字段，自定义标签，动态创建数据库表并crud数据，数据库备份、还原，动态添加站点(多站点功能)，一键生成模板代码，让您轻松打造自己的独立网站，同时也方便二次开发，让您快速搭建个性化独立网站，为您节约更多时间，去陪恋人、家人和朋友☆21Dec 16, 2023Updated 2 years ago
- A simple and flexible web crawler framework for java.☆19Apr 22, 2018Updated 7 years ago
- a java game server engine☆20May 13, 2016Updated 9 years ago
- 一个家用视频网站的源代码☆18Aug 26, 2020Updated 5 years ago
- jstorm开发demo，小例子☆23Jul 18, 2015Updated 10 years ago
- 艾泽拉斯（Azeroth），它是泰坦赐予无边黑暗中一个渺小位面的名字，这个世界上曾经唯一的大陆被泰坦命名为卡利姆多——“永烁星光之地”。☆20Sep 1, 2017Updated 8 years ago
- 多租户架构实现企业进销存☆20Jun 2, 2016Updated 9 years ago
- 基于flink的推荐系统，实时获取kafka数据进行数据清洗，离线计算进行文件读取（文件,mongodb,hbase）运用协同过滤算法进行计算得出推荐数据☆20Jun 21, 2022Updated 3 years ago
- 关于通过百度地图API采集POI数据，并存储到HBase的项目。☆25Mar 14, 2016Updated 9 years ago
- 天气爬虫（全国城镇天气自动定时抓取更新，并开放RESTful查询接口），附带代理IP池定时更新并检测其可用性☆367Jun 25, 2018Updated 7 years ago
- 分布式MySQL数据库中间件，支持数据的水平、垂直拆分，支持分库分表，支持读写分离，支持结果集合并，支持故障自动切换。☆26Sep 17, 2015Updated 10 years ago
- 链家地产房产信息收集程序-个人使用☆23Jun 29, 2015Updated 10 years ago
- gecco爬虫和spring结合使用☆52Sep 15, 2017Updated 8 years ago
- ☆24Jun 25, 2025Updated 8 months ago
- Web/FileSystem Crawler Library☆35Feb 21, 2026Updated last week
- 一款基于Java多线程的用于下载M3U8格式流媒体视频的高速下载器，且支持跨平台。A high-speed downloader based on Java multi-threading for downloading streaming videos in M3U8 f…☆30Aug 18, 2025Updated 6 months ago
- 一个基于webmagic框架二次开发的java爬虫框架实战，已实现能爬取腾讯，搜狐，今日头条（单独集成功能）等资讯内容，配合elasticsearch框架用法，实现了自动爬虫，已投入线上生产使用。☆343Nov 16, 2022Updated 3 years ago
- Read image segmentation masks fast☆13Jul 25, 2024Updated last year
- Public repo for the arxiv paper, AI Arms and Influence☆46Feb 11, 2026Updated 2 weeks ago
- 基于Hadoop的分布式文件系统，使用Java语言开发实现了一个本地文件管理系统，其中文件存在于HDFS集群中，通过Java开发的客户端软件进行管理，其功能包括：1、文件分块、加密并上传待HDFS文件系统 2、文件块下载、解密、整合成完整文件 3、文件系统的管理☆24May 6, 2018Updated 7 years ago
- 一个简单、敏捷、分布式的支持SpringBoot的Java爬虫框架;An agile, distributed crawler framework.☆1,994Nov 25, 2024Updated last year
- 架构师-脚手架工程☆10Jun 17, 2022Updated 3 years ago
- 一个管理你的个人饮食健康的平台，旨在配合热爱运动和健身的朋友们开发一款能够完成卡路里统计，运动计划编写，科学食物搭配，以及方便与其它朋友交流心得。欢迎大家star！！！☆13Apr 11, 2022Updated 3 years ago