基于webmagic + springboot + mybatis的Java爬虫，使用Echarts进行数据可视化分析，提供了从爬虫获取数据到数据持久化、数据可视化分析以及构建简单的代理池等一整套解决方案模板。
☆367Oct 26, 2017Updated 8 years ago
Alternatives and similar repositories for MagicToe
Users that are interested in MagicToe are comparing it to the libraries listed below. We may earn a commission when you buy through links labeled 'Ad' on this page.
Sorting:
- "奇伢爬虫"是基于sprint boot 、 WebMagic 实现 微信公众号文章、新闻、csdn、info等网站文章爬取，可以动态设置文章爬取规则、清洗规则，基本实现了爬取大部分网站的文章。☆324Sep 3, 2017Updated 8 years ago
- A simple and flexible web crawler framework for java.☆19Apr 22, 2018Updated 7 years ago
- 一个基于webmagic框架二次开发的java爬虫框架实战，已实现能爬取腾讯，搜狐，今日头条（单独集成功能）等资讯内容，配合elasticsearch框架用法，实现了自动爬虫，已投入线上生产使用。☆342Nov 16, 2022Updated 3 years ago
- 数据可视化, 数据挖掘, 数据处理 ETL分析☆173Oct 1, 2025Updated 6 months ago
- 拉勾网爬虫及数据可视化项目☆12May 17, 2022Updated 3 years ago
- Managed Kubernetes at scale on DigitalOcean • AdDigitalOcean Kubernetes includes the control plane, bandwidth allowance, container registry, automatic updates, and more for free.
- 基于 webmagic 的 Java 爬虫应用☆2,782Jan 8, 2022Updated 4 years ago
- 天气爬虫（全国城镇天气自动定时抓取更新，并开放RESTful查询接口），附带代理IP池定时更新并检测其可用性☆367Jun 25, 2018Updated 7 years ago
- ☆101May 27, 2025Updated 10 months ago
- 数仓实时项目☆10May 9, 2019Updated 6 years ago
- A configurable web spider with a easy-to-use web console☆997Aug 21, 2018Updated 7 years ago
- 整合报表工具☆11Oct 20, 2017Updated 8 years ago
- DBMetadata数据库元数据☆93May 7, 2018Updated 7 years ago
- Anoyi's website☆1,100Dec 29, 2025Updated 3 months ago
- 一个简单、敏捷、分布式的支持SpringBoot的Java爬虫框架;An agile, distributed crawler framework.☆1,998Nov 25, 2024Updated last year
- Wordpress hosting with auto-scaling - Free Trial • AdFully Managed hosting for WordPress and WooCommerce businesses that need reliable, auto-scalable performance. Cloudways SafeUpdates now available.
- 针对企业取证产品，知识图谱的可视化及问答系统。☆16Apr 14, 2023Updated 3 years ago
- 基于SpringCloud 的微服务，订单，支付，商场（活动），工作流，用户，短信，极光☆206Oct 23, 2024Updated last year
- ☆14Jul 6, 2023Updated 2 years ago
- 该工具作用是快速造数据，按照你想要的规则将造好的测试数据存入csv,方便postman，jmeter等工具做接口自动化 我们知道当我们做接口自动化的时候，制作入参的csv表格手动填写很麻烦，特别是当项目某个字段的规则变了以后，那么所有涉及到这个字段的正常和异常用例数据可能都…☆11May 18, 2019Updated 6 years ago
- Docker resources and projects☆15Mar 24, 2018Updated 8 years ago
- 给爬虫使用的代理IP池☆568Sep 6, 2019Updated 6 years ago
- 元数据驱动引擎之 数据服务;如果需要独立的服务化server, 请建立WebServer工程,并且配置RPC调用:MetaDataReadServerService,MetaDataWriteServerService,DataSourceService☆15Dec 16, 2022Updated 3 years ago
- 使用WebMagic抓取招聘信息，并且持久化到Mysql的例子。☆225Nov 22, 2016Updated 9 years ago
- 基于sqoop封装的一个通用的抽取工具，方便数据平台界面提交任务以及数据源管理☆10May 2, 2017Updated 8 years ago
- Wordpress hosting with auto-scaling - Free Trial • AdFully Managed hosting for WordPress and WooCommerce businesses that need reliable, auto-scalable performance. Cloudways SafeUpdates now available.
- SpringBoot + Apache Mahout 推荐引擎 基于用户评分数据推荐相关电影☆11Jun 7, 2018Updated 7 years ago
- Echarts get data from database. Echarts 从数据库中获取动态数据。 The project can run on both eclipse and idea.☆10Oct 18, 2017Updated 8 years ago
- WebHunger is an extensible, full-scale crawler framework that supports distributed crawling, aiming at getting users focused on web page …☆18Apr 11, 2018Updated 8 years ago
- echarts大屏展示得数据可视化☆11Sep 6, 2018Updated 7 years ago
- 基于Spark2.x新闻网大数据实时分析可视化系统项目☆537Mar 28, 2019Updated 7 years ago
- img-upload-delete☆14Apr 10, 2017Updated 9 years ago
- cloud-vue是一套基于springcloud + mybatis + vue全家桶（Vue2.x + Vue-router2.x + Vuex）的前后端分离框架. 使用Maven对项目进行模块化管理，提高项目的易开发性、扩展性。 系统包括分布式配置、eureka注册中…☆783Jun 2, 2017Updated 8 years ago
- 基于SSM的爬虫系统，Spring+Spring MVC+MyBatis+Druid+Redis+MQ☆78Sep 16, 2017Updated 8 years ago
- A lightweight web crawler framework.（Java爬虫框架）☆754Dec 20, 2025Updated 3 months ago
- AI Agents on DigitalOcean Gradient AI Platform • AdBuild production-ready AI agents using customizable tools or access multiple LLMs through a single endpoint. Create custom knowledge bases or connect external data.
- 数据分析快速开发平台：包含统一数据访问接口，数据建模，数据治理，数据展现☆23Jun 14, 2018Updated 7 years ago
- 基于Spring+SpringMVC+Mybatis分布式敏捷开发系统架构，提供整套公共微服务服务模块：集中权限管理（单点登录）、内容管理、支付中心、用户管理（支持第三方登录）、微信平台、存储系统、配置中心、日志分析、任务和通知等，支持服务治理、监控和追踪，努力为中小型企业…☆16,690Dec 16, 2022Updated 3 years ago
- SpringBoot 整合常用框架，druid、mybatis、jpa、dubbo、redis、web等及使用示例，常用工具类等☆14Oct 11, 2023Updated 2 years ago
- Single Sign On (SSO) Example with JSON Web Token (JWT), Spring Boot☆10Mar 11, 2017Updated 9 years ago
- 新浪微博爬虫，采用Java语言开发，基于HTTPClient 4.0，采用MySQL存储爬取数据，支持多进程并发执行。功能包括：爬取微博、评论、转发、关注列表（层次）。根据数据需求，持续更新...☆357Feb 27, 2014Updated 12 years ago
- zhihu-crawler是一个基于Java的高性能、支持免费http代理池、支持横向扩展、分布式爬虫项目☆919Apr 2, 2019Updated 7 years ago
- 蜂鸟数据分析平台帮助企业快速完成多数据整合，建立统一数据口径，支持自助式数据准备（ETL）， 并提供可视化分析，帮助企业构建贴合自身业务的企业洞察，并将数据决策覆盖各层员工及应用场景☆21Apr 24, 2019Updated 6 years ago