furuiyang0715 / JustSimpleSpider
极简爬虫工作流
☆40Updated last year
Alternatives and similar repositories for JustSimpleSpider:
Users that are interested in JustSimpleSpider are comparing it to the libraries listed below
- 金融问答平台文本数据采集/爬取,数据源涉及上交所,深交所,全景网及新浪股吧☆39Updated 7 years ago
- 项目介绍: 智能交互金融智能聊天。具体实现用户在所有关于股票话题的智能问答。其中难点是问题 分类、数据预处理、参数提取。 ☆个人工作: 实现金融智能聊天,实现所有股票问题的精确回答。通过提取通用特征将5亿+条训练语料缩减为10w条,语料内存占用量从10G减少到2M,并将…☆64Updated 5 years ago
- 金融财经类新闻文本主题事件提取☆53Updated 2 years ago
- self complemented BaiduIndexSpyder based on Selenium , index image decode and num image transfer,基于关键词的历时百度搜索指数自动采集☆41Updated 6 years ago
- self complemented WeiboIndexSpyder based on Selenium ,新浪微博指数(微指数)采集,包括综合指数,移动端指数,PC端指数☆31Updated 6 years ago
- 根据股票帐号,自动下载www.cninfo.com.上对应的企业年报(pdf格式),然后将这些pdf格式的文件转换为txt文件,然后从中提取出有用的信息,进行数据分析和图标展示☆52Updated 8 years ago
- 基 于20W金融资讯训练得到的词向量☆25Updated 7 years ago
- 搜索引擎关键词排位爬虫,包括百度,搜狗,360的搜索引擎关键词排位爬虫,关键词从百度热词中取得,排位分别从三个搜索引擎中抓取。☆19Updated 5 years ago
- scrapy+Fiddler+celery+ redis +mysql实现分布式定时启动并异步快速动态爬取股票数据功能☆57Updated 2 years ago
- 提取金融相关领域研究报告的主要结论(key idea)☆59Updated 6 years ago
- 根据东财股吧爬虫数据进行自然语言分析,展示股市热度☆117Updated 5 years ago
- 个人实现的基于Django与semantic-ui的语言计算实验平台, 功能包括自然语言综合处理,词语计算,社会热点计算,人物计算,文学画像,职位画像等社会计算功能☆29Updated 7 years ago
- 公司、企业名称模糊匹配,基于词频的公司名主体提取,基于编辑距离的匹配度☆41Updated 4 years ago
- Event monitor based on online news corpus including event storyline and analysis,基于给定事件关键词,采集事件资讯,对事件进行挖掘和分析。☆152Updated 6 years ago
- 针对巨潮资讯网上市公司公告的分布式爬虫,采用scrapy和kafka的分布式架构。可以爬取爬取指定上市公司列表、指定时间段内的所有公告并保存PDF。后续会加入搜索引擎功能☆19Updated 5 years ago
- 主要财经媒体新闻爬虫☆11Updated 4 years ago
- 依据香港中文大学设计的规则系统,先用小样本评论建立初始关键词库,再结合18种句式逐条匹配评论,能够快速准确地识别评论对象及情感极性。经多次迭代优化关键词库后,达到较高准确率的基础上,使用Tableau进一步分析数据,识别出客户集中关注的商品属性、普遍好评差评的商品属性;通过…☆53Updated 7 years ago
- 爬取东方财富的宏观研究的研报,基于LSTM进行情感分析,分类为正向、负向和中性三类☆113Updated 3 years ago
- 基于scrapy-redis的分布式新闻爬虫,可同时获取腾讯、网易、搜狐、凤凰网、新浪、东方财富、人民网等各大平台新闻资讯☆44Updated 7 years ago
- 获取滚动新闻☆56Updated 6 years ago
- 证券系统的简单知识 图谱☆26Updated 6 years ago
- 基于分布式爬虫,采集互联网公开来源的金融类新闻和文档类文本; 基于文本挖掘技术,进行无监督/半监督学习的数据ETL与特征工程; 基于金融数据挖掘技术,进行宏观经济分析,基本面分析与行业分析☆102Updated 6 years ago
- 知识图谱-金融知识图谱☆27Updated 5 years ago
- 提取财经新闻标题、链接整合排列后写入表格☆49Updated 2 months ago
- 对通达信数据进行去重和清洗处理,并将数据存入MongoDB,方便往后研究☆26Updated 7 years ago
- An exploration for Eventline (important news Rank organized by pulic time),针对某一事件话题下的新闻报道集合,通过使用docrank算法,对新闻报道进行重要性识别,并通过新闻报道时间挑选出时间线上重要…☆221Updated 6 years ago
- 金融新闻增量式聚焦爬虫☆21Updated 7 years ago
- ZhidaoChatbot, a chatbot that can be an expert on the common questions like why,how,when,who,what based on the online question-answer web…☆42Updated 6 years ago
- 今日头条爬虫,主要爬取关键词搜索结果,包含编辑距离算法、奇异值分解、k-means聚类。☆72Updated 5 years ago
- 本项目对美股股票的涨跌进行了研究,从问题出发并提出猜想,然后定义了机器学习的实验任务。通过多次实验得到实验数据,最终证明了所提出的猜想:中国股市确实和美国股市存在着一定的联系,并且通过这些隐含的联系可以预测某些美国股票的涨跌。☆47Updated 8 years ago