flicck / CninfoDistributedSpider
针对巨潮资讯网上市公司公告的分布式爬虫,采用scrapy和kafka的分布式架构。可以爬取爬取指定上市公司列表、指定时间段内的所有公告并保存PDF。后续会加入搜索引擎功能
☆19Updated 5 years ago
Alternatives and similar repositories for CninfoDistributedSpider:
Users that are interested in CninfoDistributedSpider are comparing it to the libraries listed below
- a crawler for wallstreetcn,finance.sina by Scrapy-新浪财经,同花顺财经,华尔街见闻的爬虫☆31Updated 8 years ago
- 金融问答平台文本数据采集/爬取,数据源涉及上交所,深交所,全景网及新浪股吧☆39Updated 7 years ago
- 利用Scikit Learn对秒级股票数据进行建模预测☆55Updated 6 years ago
- 金融新闻增量式聚焦爬虫☆20Updated 7 years ago
- scrapy+Fiddler+celery+ redis +mysql实现分布式定时启动并异步快速动态爬取股票数据功能☆56Updated 2 years ago
- 本项目对美股股票的涨跌进行了研究,从问题出发并提出猜想,然后定义了机器学习的实验任务。通过多次实验得到实验数据,最终证明了所提出的猜想:中国股市确实和美国股市存在着一定的联系,并且通过这些隐含的联系可以预测某些美国股票的涨跌。☆48Updated 8 years ago
- 金融财经类新闻文本主题事件提取☆53Updated 2 years ago
- 提取金融相关领域研究报告的主要结论(key idea)☆59Updated 6 years ago
- 极简爬虫工作流☆41Updated last year
- 股价预测程序,尝试各种模型。☆34Updated 3 years ago
- 本项目致力于开发各种金融数据处理小工具,以实现基本面分析并提供投资建议☆44Updated 6 years ago
- 根据股票帐号,自动下载www.cninfo.com.上对应的企业年报(pdf格式),然后将这 些pdf格式的文件转换为txt文件,然后从中提取出有用的信息,进行数据分析和图标展示☆52Updated 8 years ago
- 量化交易经典策略:alpha对冲(股票+期货) ,利用股指期货进行对冲的股票策略☆25Updated 7 years ago
- notebooks by learning 'python金融数据分析' in videos from bilibili.☆15Updated 5 years ago
- 对通达信数据进行去重和清洗处理,并将数据存入MongoDB ,方便往后研究☆26Updated 6 years ago
- self complemented BaiduIndexSpyder based on Selenium , index image decode and num image transfer,基于关键词的历时百度搜索指数自动采集☆41Updated 6 years ago
- A project using pyspider to collect data and NLP techs to analyze the correlation among the data☆59Updated 7 years ago
- 提取财经新闻标题、链接整合排列后写入表格☆49Updated 3 weeks ago
- 雪球网沪深全站股票评论爬虫☆104Updated 7 years ago
- 搜索引擎关键词排位爬虫,包括百度,搜狗,360的搜索引擎关键词排位爬虫,关键词从百度热词中取得,排位分别从三个搜索引擎中抓取。☆19Updated 5 years ago
- 量化交易股票预测系统☆40Updated 7 years ago
- A stock market text sentiment analysis website. A股舆情分析, web-crawler, bayesian algorithm, SQL, django, data-visualization.☆41Updated 5 years ago
- 巨潮资讯网--Scrapy,Selenium,PhantomJS☆25Updated 6 years ago
- 代码池☆20Updated 2 years ago
- 主要财经媒体新闻爬虫☆10Updated 4 years ago
- 基于scrapy-redis的分布式新闻爬虫,可同时获取腾讯、网易、搜狐、凤凰网、新浪、东方财富、人民网等各大平台新闻资讯☆42Updated 6 years ago
- 证券多账户账户、多策略的下单管理☆8Updated 8 years ago
- 爬取东方财富的宏观研究的研报,基于LSTM进行情感分析,分类为正向、负向和中性三类☆112Updated 3 years ago
- 本文提出一种基于应答关系来挖掘QQ群中意见领袖的方法,该方法首先构建回应词词库,然后基于Aho-Corasick算法来匹配聊天文本中的回应词数据,构建出用户应答关系的网络结构,最后使用社交网络中重要节点识别的方法来发现意见领袖。该方法对QQ群中的意见领袖发现具有较高的准确率…☆21Updated 8 years ago
- 基金估值表,深度分析☆31Updated 4 years ago