利用spring boot + webmagic 开发的java爬虫系统
☆61Dec 29, 2016Updated 9 years ago
Alternatives and similar repositories for spider
Users that are interested in spider are comparing it to the libraries listed below
Sorting:
- 蜂巢爬虫系统 是一套只需要定义XPath,就可实现爬取网站,APP的系统, 支持多种解析方式(XPath,正则表达式),多种下载方式(HttpClient库, PhantomJs, Selenium),多种输出方式(Excel,MongoDB)。 可不做任何修改发布到Yar…☆10Sep 5, 2016Updated 9 years ago
- DistributeCrawler的Maven版☆10Jun 20, 2022Updated 3 years ago
- spider使用java语言开发,使用Spring作为IoC容器,采用TCP/IP协议,在此基础上,结合SaaS金融交易系统的特性进行针对性和重点设计,以更加灵活和高效的满足金融交易系统多租户、高可用、分布式部署的要求。 spider默认采用JSON作为序列化机制,后续版本…☆10Sep 11, 2018Updated 7 years ago
- 基于ffmpeg+spring+quartz+dubbo+zookeeper+MyBatis服务化的视频转换分布式服务☆12Jul 21, 2016Updated 9 years ago
- 基于SSM的爬虫系统,Spring+Spring MVC+MyBatis+Druid+Redis+MQ☆78Sep 16, 2017Updated 8 years ago
- qq加群机器人,根据配置的关键词来搜索群并自动发送加群验证。难点:list滚动需要跨进程模拟触屏事件。使用前提:需要获取root权限,如需要获取更多机型的支持,需要添加相应机型的模拟触屏实现类。本项目不再维护,只提供给个人开发者学习使用。☆16Jul 23, 2018Updated 7 years ago
- dubbo-brave集成☆10Mar 16, 2016Updated 9 years ago
- a simple distributed spider in Java. Java编写的一个简单分布式爬虫☆159Jun 18, 2013Updated 12 years ago
- 密码学作业、课程设计:国产加密算法SM3的java实现☆13Jan 9, 2019Updated 7 years ago
- Raptor IoT platform☆12May 24, 2018Updated 7 years ago
- 一个简易的搜索引擎,采用Java开发☆32Mar 7, 2014Updated 11 years ago
- a game server engine, driver by akka-java.☆14Dec 7, 2015Updated 10 years ago
- interactive clustering platform☆15Dec 19, 2025Updated 2 months ago
- 基于DDD实现的Headless CMS☆20Apr 24, 2025Updated 10 months ago
- 利用WebMagic框架进行58同城数据的抓取☆12Oct 13, 2014Updated 11 years ago
- The gateway service is responsible for routing requests to real services.☆18Jul 24, 2019Updated 6 years ago
- JFinalCMS,极速开发,动态添加字段,自定义标签,动态创建数据库表并crud数据,数据库备份、还原,动态添加站点(多站点功能),一键生成模板代码,让您轻松打造自己的独立网站,同时也方便二次开发,让您快速搭建个性化独立网站,为您节约更多时间,去陪恋人、家人和朋友☆21Dec 16, 2023Updated 2 years ago
- A simple and flexible web crawler framework for java.☆19Apr 22, 2018Updated 7 years ago
- a java game server engine☆20May 13, 2016Updated 9 years ago
- 一个家用视频网站的源代码☆18Aug 26, 2020Updated 5 years ago
- jstorm开发demo,小例子☆23Jul 18, 2015Updated 10 years ago
- 艾泽拉斯(Azeroth),它是泰坦赐予无边黑暗中一个渺小位面的名字,这个世界上曾经唯一的大陆被泰坦命名为卡利姆多——“永烁星光之地”。☆20Sep 1, 2017Updated 8 years ago
- 多租户架构实现企业进销存☆20Jun 2, 2016Updated 9 years ago
- 基于flink的推荐系统,实时获取kafka数据进行数据清洗,离线计算进行文件读取(文件,mongodb,hbase)运用协同过滤算法进行计算得出推荐数据☆20Jun 21, 2022Updated 3 years ago
- 关于通过百度地图API采集POI数据,并存储到HBase的项目。☆25Mar 14, 2016Updated 9 years ago
- 天气爬虫(全国城镇天气自动定时抓取更新,并开放RESTful查询接口),附带代理IP池定时更新并检测其可用性☆367Jun 25, 2018Updated 7 years ago
- 分布式MySQL数据库中间件,支持数据的水平、垂直拆分,支持分库分表,支持读写分离,支持结果集合并,支持故障自动切换。☆26Sep 17, 2015Updated 10 years ago
- 链家地产房产信息收集程序-个人使用☆23Jun 29, 2015Updated 10 years ago
- gecco爬虫和spring结合使用☆52Sep 15, 2017Updated 8 years ago
- ☆24Jun 25, 2025Updated 8 months ago
- Web/FileSystem Crawler Library☆35Feb 21, 2026Updated last week
- 一款基于Java多线程的用于下载M3U8格式流媒体视频的高速下载器,且支持跨平台。A high-speed downloader based on Java multi-threading for downloading streaming videos in M3U8 f…☆30Aug 18, 2025Updated 6 months ago
- 一个基于webmagic框架二次开发的java爬虫框架实战,已实现能爬取腾讯,搜狐,今日头条(单独集成功能)等资讯内容,配合elasticsearch框架用法,实现了自动爬虫,已投入线上生产使用。☆343Nov 16, 2022Updated 3 years ago
- Read image segmentation masks fast☆13Jul 25, 2024Updated last year
- Public repo for the arxiv paper, AI Arms and Influence☆46Feb 11, 2026Updated 2 weeks ago
- 基于Hadoop的分布式文件系统,使用Java语言开发实现了一个本地文件管理系统,其中文件存在于HDFS集群中,通过Java开发的客户端软件进行管理,其功能包括:1、文件分块、加密并上传待HDFS文件系统 2、文件块下载、解密、整合成完整文件 3、文件系统的管理☆24May 6, 2018Updated 7 years ago
- 一个简单、敏捷、分布式的支持SpringBoot的Java爬虫框架;An agile, distributed crawler framework.☆1,994Nov 25, 2024Updated last year
- 架构师-脚手架工程☆10Jun 17, 2022Updated 3 years ago
- 一个管理你的个人饮食健康的平台,旨在配合热爱运动和健身的朋友们开发一款能够完成卡路里统计,运动计划编写,科学食物搭配,以及方便与其它朋友交流心得。欢迎大家star!!!☆13Apr 11, 2022Updated 3 years ago