MKhaha / governmentcrawler
政府文章爬虫，爬取浙江经济相关网站的文章信息，使用webmagic爬虫框架，并将爬取到的文章信息放入mysql数据库中，使用mybatis作为数据库操作框架。
☆9Updated 7 years ago
Alternatives and similar repositories for governmentcrawler:
Users that are interested in governmentcrawler are comparing it to the libraries listed below
- 量化交易网站 java☆11Updated 7 years ago
- 天眼查网站批量查询工具☆49Updated last year
- 蜂巢爬虫系统 是一套只需要定义XPath，就可实现爬取网站,APP的系统, 支持多种解析方式（XPath,正则表达式），多种下载方式（HttpClient库, PhantomJs, Selenium）,多种输出方式（Excel，MongoDB）。 可不做任何修改发布到Yar…☆10Updated 8 years ago
- java爬虫，反爬虫策略、ETL清洗数据，以及spark离线和实时分析新闻并存入ES☆20Updated 6 years ago
- 中文分词、统计词频、比对文本相似度☆38Updated 5 years ago
- 彩票预测☆13Updated 7 years ago
- spring cloud集成全渠道在线客服以及后台管理系统，所有微服务之间的消息传递采用区块链技术，持续更新中～～目标是：第一阶段：采用spring cloud微服务搭建后台管理系统第二阶段：集成在线客服，采用netty实现websocket长连接第三阶段：集成h5、微信、…☆16Updated 2 years ago
- 东方财富，量化交易，自动交易☆11Updated 3 years ago
- 爬取汽车之家与汽车销售网的汽车数据，对数据进行持久化处理存入数据库，搭建一个基于SSM框架的webapp，在app中用echarts插件对数据进行展示。☆7Updated 7 years ago
- 在线色情直播java后台源代码/Online pornography live Java background source code☆11Updated 2 years ago
- 使用 tensorflow 中的 RNN 相关操作，以《全宋词》为训练数据，训练一个人工智能写词机。☆13Updated 6 years ago
- 股票交易数据处理的整个业务流程 数据源--->数据采集--->数 据归类--->数据储存--->数据分析--->数据可视化☆31Updated 8 years ago
- 微信公众号文章爬虫☆43Updated 2 years ago
- 狗蛋实验室推出的智能化数据抓取、处理、分析，挖掘平台。提供美团、大众点评、饿了么、百度地图等数据。☆43Updated 6 years ago
- DiffWind量化投资数据库☆14Updated 3 years ago
- 中国明星数据爬取。你甚至可以拿到互联网上所有的人之间的关系，接下来你可以自己发挥！基于这些数据，你可以完成更多有趣的事情。比如说社交网络分析，关系网络可视化，算法研究，和其他有意思的事情。Chinese star data crawling. You can even ge…☆27Updated 6 years ago
- 利用HttpClient4+实现网络小说爬虫，可动态添加热门的小说网站☆30Updated 12 years ago
- 美团爬虫,优化了部分中断处理,以及IP代理池☆11Updated 3 years ago
- TuShare是一个免费、开源的python财经数据接口包。主要实现对股票等金融数据从数据采集、清洗加工 到 数据存储的过程，能够为金融分析人员提供快速、整洁、和多样的便于分析的数据，为他们在数据获取方面极大地减轻工作量，使他们更加专注于策略和模型的研究与实现上。☆35Updated 8 years ago
- Java OCR 识别组件（历史找回版本，基于Tesseract OCR 引擎）。能自动完成图片清理、识别 CAPTCHA 验证码图片内容的一体化工作。Java Image cleanup, OCR recognition component (based Tesserac…☆36Updated 7 years ago
- 一个股票数据（沪深）爬虫和选股策略测试框架。根据选定的日期范围抓19、取所有沪深两市股票的行情数据。支持使用表达式定义选股策略。支持多线程处理。保存数据到JSON文件、CSV文件☆17Updated 5 years ago
- 天天基金网爬虫，可多ip节点部署，按ip节点动态调整并发数，可设置代理ip反爬，定时爬取，定时通过邮件反馈基金行情统计数据☆25Updated 2 years ago
- 爬取全唐诗作为训练样本，在TensorFlow框架上进行训练，实现智能写诗。☆22Updated 6 years ago
- 一个简易的搜索引擎，采用Java开发☆33Updated 10 years ago
- 基于Spring boot 实现的股票基金爬虫工具☆31Updated 4 months ago
- 淘宝模拟登录，销售数据，评论数据，商品评分数据爬取（学数据分析的可以用于获取淘宝电商的销售数据，学爬虫的可以参考一下思路和方法），由于评论数据比较大，暂时没办法上传，大家也可以直接用下面的代码爬取☆39Updated 4 years ago
- 论坛日志分析系统清洗程序(包含IP规则库，UDF开发，MapReduce程序，日志数据)☆33Updated 6 years ago
- 微信公众号爬虫：服务端公众号文章数据采集☆43Updated 2 years ago
- SpringBoot + OpenNLP + Neo4j + Spark朴素贝叶斯分类器实现石油相关论文的智能分析问答系统☆30Updated 6 years ago
- 京东商品推荐系统-数据爬虫☆18Updated 9 years ago