zifangsky / WeatherSpiderView external linksLinks
天气爬虫（全国城镇天气自动定时抓取更新，并开放RESTful查询接口），附带代理IP池定时更新并检测其可用性
☆367Jun 25, 2018Updated 7 years ago
Alternatives and similar repositories for WeatherSpider
Users that are interested in WeatherSpider are comparing it to the libraries listed below
Sorting:
- 一个基于webmagic框架二次开发的java爬虫框架实战，已实现能爬取腾讯，搜狐，今日头条（单独集成功能）等资讯内容，配合elasticsearch框架用法，实现了自动爬虫，已投入线上生产使用。☆343Nov 16, 2022Updated 3 years ago
- "奇伢爬虫"是基于sprint boot 、 WebMagic 实现 微信公众号文章、新闻、csdn、info等网站文章爬取，可以动态设置文章爬取规则、清洗规则，基本实现了爬取大部分网站的文章。☆324Sep 3, 2017Updated 8 years ago
- 利用spring boot + webmagic 开发的java爬虫系统☆61Dec 29, 2016Updated 9 years ago
- A scalable web crawler framework for Java.☆11,700Dec 20, 2025Updated last month
- 基于 webmagic 的 Java 爬虫应用☆2,782Jan 8, 2022Updated 4 years ago
- 知乎信息中转持久化的数据流平台，并提供HTML+JSON和RabbitMQ等消息接口，从而使有兴趣的伙伴开发并使用其熟悉的语言环境，实现信息爬取，从而持久化到此项目中来，完成最开始的开发目标。☆10Oct 11, 2017Updated 8 years ago
- 给爬虫使用的代理IP池☆566Sep 6, 2019Updated 6 years ago
- 美团爬虫,优化了部分中断处理,以及IP代理池☆14Mar 2, 2021Updated 4 years ago
- java代理IP池 Proxy Pool，提供可用率达到95%以上的代理IP。☆404Oct 4, 2018Updated 7 years ago
- 实现定时爬取与IP代理池☆150Apr 11, 2018Updated 7 years ago
- 基于webmagic + springboot + mybatis的Java爬虫，使用Echarts进行数据可视化分析，提供了从爬虫获取数据到数据持久化、数据可视化分析以及构建简单的代理池等一整套解决方案模板。☆368Oct 26, 2017Updated 8 years ago
- 使用WebMagic抓取招聘信息，并且持久化到Mysql的例子。☆225Nov 22, 2016Updated 9 years ago
- A Java componentized distributed crawler framework. 一个Java版本的组件化的分布式通用爬虫☆163Dec 5, 2023Updated 2 years ago
- Spring整合Quartz基于数据库的分布式定时任务，可动态添加、删除、修改定时任务。☆326May 28, 2020Updated 5 years ago
- 消息推送群推restful，支持Android和ios，Android与activemq集成，ios与javapns集成☆15Apr 14, 2015Updated 10 years ago
- SpringBoot+Solr + webmagic JD商品爬取数据，放入solr中做搜索，学习下solr使用☆44Aug 31, 2017Updated 8 years ago
- 使用java+httpclient+httpcleaner，多线程、分布式爬去电商网站商品信息，数据存储在hbase上，并使用solr对商品建立索引，使用redis队列存储一个共享的url仓库；使用zookeeper对爬虫节点生命周期进行监视等。☆233Nov 6, 2020Updated 5 years ago
- zhihu-crawler是一个基于Java的高性能、支持免费http代理池、支持横向扩展、分布式爬虫项目☆917Apr 2, 2019Updated 6 years ago
- Wechat robot for Java 使用Java开发的微信机器人程序☆18Sep 12, 2016Updated 9 years ago
- 🐝 Web vertical crawler framework for fun☆192Dec 16, 2023Updated 2 years ago
- 知乎爬虫，基于webmagic框架 .A java web spider base on webmagic.☆69May 26, 2016Updated 9 years ago
- 基于Spring+SpringMVC+Mybatis分布式敏捷开发系统架构，提供整套公共微服务服务模块：集中权限管理（单点登录）、内容管理、支付中心、用户管理（支持第三方登录）、微信平台、存储系统、配置中心、日志分析、任务和通知等，支持服务治理、监控和追踪，努力为中小型企业…☆16,715Dec 16, 2022Updated 3 years ago
- 一个SpringMVC4+EasyUI的后台管理系统，已投入生产线上使用。下载导入SQL脚本，开箱即用，五分钟完成部署。☆148Dec 16, 2022Updated 3 years ago
- 基于netty的分布式聊天服务器。整合zookeeper☆74Jun 25, 2022Updated 3 years ago
- 处理视频，通过修改视频文件达到变更文件md5，从而使视频变唯一，不在秒传，不在被封杀。☆10Dec 2, 2015Updated 10 years ago
- 开源项目，供学习☆10May 7, 2021Updated 4 years ago
- 推送服务控制台界面☆28Oct 11, 2023Updated 2 years ago
- Use ChatGPT API gpt-3.5-turbo and python Flask to build a interactive chat website☆10Apr 16, 2024Updated last year
- A configurable web spider with a easy-to-use web console☆998Aug 21, 2018Updated 7 years ago
- github: https://github.com/kanwangzjm/funiture, spring项目，权限管理、系统监控、定时任务动态调整、qps限制、sql监控(邮件)、验证码服务、短链接服务、动态配置等☆1,874Nov 15, 2023Updated 2 years ago
- hsweb (haʊs wɛb) 是一个基于spring-boot 2.x开发 ,首个使用全响应式编程的企业级后台管理系统基础项目。☆8,408Updated this week
- Easy to use lightweight web crawler（易用的轻量化网络爬虫）☆2,516Jan 23, 2026Updated 3 weeks ago
- Netty实现聊天功能☆60Sep 22, 2016Updated 9 years ago
- Lightning fast and elegant mvc framework for Java8☆5,886Dec 15, 2025Updated last month
- 蜂巢爬虫系统 是一套只需要定义XPath，就可实现爬取网站,APP的系统, 支持多种解析方式（XPath,正则表达式），多种下载方式（HttpClient库, PhantomJs, Selenium）,多种输出方式（Excel，MongoDB）。 可不做任何修改发布到Yar…☆10Sep 5, 2016Updated 9 years ago
- Java 电商爬虫，动态代理请自行更换！爬取目标：京东、考拉、丝芙兰；使用工具：HtmlUnit（单线程，大部分网站通过代理可以获取，但是反爬多层JS的无法取到）、ChromeDriver（多进程，需要考虑销毁机制）等（其它的不咋好用）（此项目只为研究各个工具的优劣，并不支…☆11Sep 1, 2022Updated 3 years ago
- Easy to use websocket☆10May 24, 2023Updated 2 years ago
- 以MVP为架构开发，遵循Material Design的天气App☆22Jun 9, 2017Updated 8 years ago
- 一个简单易用的爬虫框架,内置代理管理模块,灵活设置多线程爬取☆62Feb 23, 2017Updated 8 years ago