flicck / CninfoDistributedSpiderLinks
针对巨潮资讯网上市公司公告的分布式爬虫，采用scrapy和kafka的分布式架构。可以爬取爬取指定上市公司列表、指定时间段内的所有公告并保存PDF。后续会加入搜索引擎功能
☆19Updated 5 years ago
Alternatives and similar repositories for CninfoDistributedSpider
Users that are interested in CninfoDistributedSpider are comparing it to the libraries listed below
Sorting:
- scrapy+Fiddler+celery+ redis +mysql实现分布式定时启动并异步快速动态爬取股票数据功能☆58Updated 2 years ago
- 搜索引擎关键词排位爬虫，包括百度，搜狗，360的搜索引擎关键词排位爬虫，关键词从百度热词中取得，排位分别从三个搜索引擎中抓取。☆19Updated 5 years ago
- 利用Scikit Learn对秒级股票数据进行建模预测☆55Updated 6 years ago
- 极简爬虫工作流☆41Updated 2 years ago
- 金融新闻增量式聚焦爬虫☆21Updated 7 years ago
- 本项目对美股股票的涨跌进行了研究，从问题出发并提出猜想，然后定义了机器学习的实验任务。通过多次实验得到实验数据，最终证明了所提出的猜想：中国股市确实和美国股市存在着一定的联系，并且通过这些隐含的联系可 以预测某些美国股票的涨跌。☆46Updated 9 years ago
- 金融问答平台文本数据采集/爬取，数据源涉及上交所，深交所，全景网及新浪股吧☆38Updated 7 years ago
- 项目介绍： 智能交互金融智能聊天。具体实现用户在所有关于股票话题的智能问答。其中难点是问题 分类、数据预处理、参数提取。 ☆个人工作： 实现金融智能聊天,实现所有股票问题的精确回答。通过提取通用特征将5亿+条训练语料缩减为10w条，语料内存占用量从10G减少到2M，并将…☆64Updated 5 years ago
- 根据股票帐号，自动下载www.cninfo.com.上对应的企业年报（pdf格式），然后将这些pdf格式的文件转换为txt文件，然后从中提取出有用的信息，进行数据分析和图标展示☆52Updated 8 years ago
- a crawler for wallstreetcn,finance.sina by Scrapy-新浪财经，同花顺财经，华尔街见闻的爬虫☆31Updated 9 years ago
- 私募基金管理人查询数据接口。Chinese Private Equity Funds APIs.☆11Updated 6 years ago
- 黄金舆情数据分析☆52Updated 8 years ago
- scrapy+pyppeteer，爬取今日头条中新闻及热门评论信息。☆12Updated 5 years ago
- 本项目致力于开发各种金融数据处理小工具，以实现基本面分析并提供投资建议☆44Updated 6 years ago
- A stock market text sentiment analysis website. A股舆情分析, web-crawler, bayesian algorithm, SQL, django, data-visualization.☆40Updated 5 years ago
- 马蜂窝游记、景点信息爬虫，热门景点热力图☆18Updated 4 years ago
- 巨潮资讯网--Scrapy,Selenium,PhantomJS☆26Updated 7 years ago
- 本项目使用python3.5.2,使用scrapy作为爬取框架，主要爬取银行营销信息的爬虫项目，使用selenium模拟人工操作流程，包括保存登录信息cookies。 模拟人工操作规避ajax请求的动态渲染等问题，主要爬取银行官网，微信搜狗上银行的信息，微小宝上银行信息，银…☆18Updated 6 years ago
- 基于微信网页版爬虫来对微信中获取到的联系人相关信息Flask，Echarts进行数据分析☆13Updated 6 years ago
- 基于scrapy-redis的分布式新闻爬虫，可同时获取腾讯、网易、搜狐、凤凰网、新浪、东方财富、人民网等各大平台新闻资讯☆45Updated 7 years ago
- 凤凰金融量化投资大赛初赛打榜4冠军——代码分享☆25Updated 6 years ago
- 主要财经媒体新闻爬虫☆11Updated 4 years ago
- 基于scrapy实现裁判文书网爬虫☆27Updated 4 years ago
- self complemented BaiduIndexSpyder based on Selenium , index image decode and num image transfer，基于关键词的历时百度搜索指数自动采集☆42Updated 7 years ago
- 雪球网沪深全站股票评论爬虫☆105Updated 8 years ago
- 专利爬虫，基于request模块的爬虫，保存格式为csv☆11Updated 7 years ago
- 提取金融相关领域研究报告的主要结论(key idea)☆59Updated 7 years ago
- 根据东财股吧爬虫数据进行自然语言分析，展示股市热度☆117Updated 5 years ago
- 爬取金融相关网站数据☆18Updated 8 years ago
- 国家企业信用信息官网爬虫，未获取全部企业信息，重点在设计反爬思路☆67Updated 7 years ago