"奇伢爬虫"是基于sprint boot 、 WebMagic 实现 微信公众号文章、新闻、csdn、info等网站文章爬取，可以动态设置文章爬取规则、清洗规则，基本实现了爬取大部分网站的文章。
☆323Sep 3, 2017Updated 8 years ago
Alternatives and similar repositories for javaCrawling
Users that are interested in javaCrawling are comparing it to the libraries listed below
Sorting:
- 微信公众号文章爬虫☆44Sep 1, 2022Updated 3 years ago
- 一个基于webmagic框架二次开发的java爬虫框架实战，已实现能爬取腾讯，搜狐，今日头条（单独集成功能）等资讯内容，配合elasticsearch框架用法，实现了自动爬虫，已投入线上生产使用。☆343Nov 16, 2022Updated 3 years ago
- 基于webmagic + springboot + mybatis的Java爬虫，使用Echarts进行数据可视化分析，提供了从爬虫获取数据到数据持久化、数据可视化分析以及构建简单的代理池等一整套解决方案模板。☆368Oct 26, 2017Updated 8 years ago
- java爬虫，反爬虫策略、ETL清洗数据，以及spark离线和实时分析新闻并存入ES☆20Nov 26, 2018Updated 7 years ago
- 一个简单、敏捷、分布式的支持SpringBoot的Java爬虫框架;An agile, distributed crawler framework.☆1,994Nov 25, 2024Updated last year
- 基于Map/Reduce爬虫,可抽取各 大新闻网站的新闻正文并进行分类和聚类☆74Jan 5, 2014Updated 12 years ago
- 处理视频，通过修改视频文件达到变更文件md5，从而使视频变唯一，不在秒传，不在被封杀。☆10Dec 2, 2015Updated 10 years ago
- 天气爬虫（全国城镇天气自动定时抓取更新，并开放RESTful查询接口），附带代理IP池定时更新并检测其可用性☆367Jun 25, 2018Updated 7 years ago
- 基于 webmagic 的 Java 爬虫应用☆2,782Jan 8, 2022Updated 4 years ago
- micro-mall项目是一套电商系统，包括前台商城系统及后台管理系统，基于Alibaba Spring Cloud + MyBatis实现。前台商城系统包含首页门户、商品推荐、商品搜索、商品展示、购物车、订单流程、会员中心、客户服务、帮助中心等模块。后台管理系统包含商品管…☆17Jun 21, 2022Updated 3 years ago
- 用java写的搜狐新闻爬虫☆14May 2, 2017Updated 8 years ago
- zhihu-crawler是一个基于Java的高性能、支持免费http代理池、支持横向扩展、分布式爬虫项目☆918Apr 2, 2019Updated 6 years ago
- 抓取下载在线视频网站，支持优酷，爱奇艺、Youtube、乐视等☆12Jul 12, 2017Updated 8 years ago
- Easy to use lightweight web crawler（易用的轻量化网络爬虫）☆2,514Jan 23, 2026Updated last month
- 各种网站爬虫合集，持续更新中....☆19Mar 26, 2019Updated 6 years ago
- 微信公众号文章抓取,Java实现☆10Apr 14, 2017Updated 8 years ago
- 项目中常用的基础功能实现类。如图片处理、文件操作、短信发送、地图定位、距离计算、MD5、二维码生成与解析、在线支付、消息推送、JSON处理等等。☆11Jan 4, 2016Updated 10 years ago
- Spark混合推荐系统大数据监控平台☆11May 1, 2018Updated 7 years ago
- A configurable web spider with a easy-to-use web console☆998Aug 21, 2018Updated 7 years ago
- 新浪新闻爬虫☆15Feb 14, 2015Updated 11 years ago
- Lianjia house spider链家二手房爬虫~ Springboot + Webmagic + Mysql + Redis☆27Apr 22, 2021Updated 4 years ago
- 发送博文到不同社交平台，SegmentFault、简书、CSDN等☆17May 6, 2018Updated 7 years ago
- 今日头条科技新闻接口爬虫☆17Sep 26, 2017Updated 8 years ago
- 项目是 Spring Boot+vue开发的类似fir.im和蒲公英的企业 APP 分发平台，提供android app上传功能，以及ios和android二维码合并功能。用过可直接通过微信、浏览器、QQ等扫码下载app。☆15Dec 11, 2020Updated 5 years ago
- 前端埋点监控后台，提供可视化数据报表，报错趋势图，以及报错聚合性分析报表☆13Jan 4, 2023Updated 3 years ago
- SpringBoot+Solr + webmagic JD商品爬取数据，放入solr中做搜索，学习下solr使用☆44Aug 31, 2017Updated 8 years ago
- 新浪微博爬虫，采用Java语言开发，基于HTTPClient 4.0，采用MySQL存储爬取数据，支持多进程并发执行。功能包括：爬取微博、评论、转发、关注列表（层次）。根据数据需求，持续更新...☆355Feb 27, 2014Updated 12 years ago
- springboot+vue页面 REST代码生成器，生成单表的增删改查☆31May 14, 2023Updated 2 years ago
- 视频教育网站☆17Sep 25, 2018Updated 7 years ago
- A scalable web crawler framework for Java.☆11,703Dec 20, 2025Updated 2 months ago
- A simple and flexible web crawler framework for java.☆19Apr 22, 2018Updated 7 years ago
- 基于Spring Boot实现的一个简易的Java社区☆895Jun 17, 2022Updated 3 years ago
- NetDiscovery 是一款基于 Vert.x、RxJava 2 等框架实现的通用爬虫框架/中间件。☆647Nov 28, 2020Updated 5 years ago
- 一个SpringMVC4+EasyUI的后台管理系统，已投入生产线上使用。下载导入SQL脚本，开箱即用，五分钟完成部署。☆148Dec 16, 2022Updated 3 years ago
- 基于微服务的消防物联网云平台☆22Nov 16, 2022Updated 3 years ago
- java代理IP池 Proxy Pool，提供可用率达到95%以上的代理IP。☆403Oct 4, 2018Updated 7 years ago
- 安全API接口测试Demo，围绕时间戳，ticket，签名三个参数☆12Jan 5, 2021Updated 5 years ago
- 基于Request-Response的企业级快速开发框架，简单，快捷，采用spring boot，spring cloud,shiro,jpa,mybatis等技术，通过模型生成后端代码和前端vue3代码。☆12Nov 3, 2024Updated last year
- 手机隐私助手，提供手势解锁、私密通讯录、短信加密、密码本、程序锁等功能。☆11Aug 27, 2017Updated 8 years ago