furuiyang0715 / JustSimpleSpider
极简爬虫工作流
☆40Updated last year
Related projects: ⓘ
- self complemented WeiboIndexSpyder based on Selenium ，新浪微博指数(微指数)采集，包括综合指数，移动端指数，PC端指数☆32Updated 6 years ago
- 金融问答平台文本数据采集/爬取，数据源涉及上交所，深交所，全景网及新浪股吧☆37Updated 7 years ago
- 金融财经类新闻文本主题事件提取☆50Updated last year
- 基于20W金融资讯训练得到的词向量☆24Updated 6 years ago
- 项目介绍： 智能交互金融智能聊天。具体实现用户在所有关于股票话题的智能问答。其中难点是问题 分类、数据预处理、参数提取。 ☆个人工作： 实现金融智能聊天,实现所有股票问题的精确回答。通过提取通用特征将5亿+条训练语料缩减为10w条，语料内存占用量从10G减少到2M，并将…☆60Updated 5 years ago
- self complemented BaiduIndexSpyder based on Selenium , index image decode and num image transfer，基于关键词的历时百度搜索指数自动采集☆40Updated 6 years ago
- 互联网舆情企业风险事件的识别和预警，将公司名称进行实体提取，对新闻进行舆情分类，比赛地址为：http://ailab.aiwin.org.cn/competitions/48#learn_the_details☆16Updated 3 years ago
- ☆42Updated this week
- Event monitor based on online news corpus including event storyline and analysis，基于给定事件关键词，采集事件资讯，对事件进行挖掘和分析。☆151Updated 5 years ago
- ZhidaoChatbot, a chatbot that can be an expert on the common questions like why,how,when,who,what based on the online question-answer web…☆42Updated 5 years ago
- 金融新闻增量式聚焦爬虫☆20Updated 7 years ago
- 通用新闻类网站分布式爬虫☆71Updated 6 years ago
- 个人实现的基于Django与semantic-ui的语言计算实验平台, 功能包括自然语言综合处理,词语计算,社会热点计算,人物计算,文学画像,职位画像等社会计算功能☆28Updated 6 years ago
- 摘要、关键字、关键词组、文本相似度、分词分句（自然语言处理工具包）☆11Updated 5 years ago
- Syntax and Ruler-Based Doc sentiment analysis 基于依存句法规则的篇章级情感分析demo☆103Updated 5 years ago
- 文本标注工具，给文本打标签☆21Updated 4 years ago
- 根据股票帐号，自动下载www.cninfo.com.上对应的企业年报（pdf格式），然后将这些pdf格式的文件转换为txt文件，然后从中 提取出有用的信息，进行数据分析和图标展示☆51Updated 7 years ago
- a crawler for wallstreetcn,finance.sina by Scrapy-新浪财经，同花顺财经，华尔街见闻的爬虫☆26Updated 8 years ago
- 依据香港中文大学设计的规则系统，先用小样本评论建立初始关键词库，再结合18种句式逐条匹配评论，能够快速准确地识别评论对象及情感极性。经多次迭代优化关键词库后，达到较高准确率的基础上，使用Tableau进一步分析数据，识别出客户集中关注的商品属性、普遍好评差评的商品属性；通过…☆53Updated 7 years ago
- 文本分类是指在给定分类体系下 , 根据文本的内容自动确定文本类别的过程。首先我们根据scrapy爬虫根据中国知网URL的规律，爬取70多万条2014年公开的发明专利，然后通过数据清洗筛选出了60多万条含标签数据。通过TF-IDF对60多万条本文进行词频提取，依照词频排序提取…☆102Updated 6 years ago
- IdealWordCloudKit, A toolbox or kit for image-shape adjusted word cloud based on plain text, local file or web articles, 面向本地文件, 在线网页, 程序…☆33Updated 5 years ago
- 基于开源保险产品数据构建的保险知识图谱及简易问答系统☆33Updated 4 years ago
- 公司、企业名称模糊匹配，基于词频的公司名主体提取，基于编辑距离的匹配度☆40Updated 3 years ago
- 针对巨潮资讯网上市公司公告的分布式爬虫，采用scrapy和kafka的分布式架构。可以爬取爬取指定上市公司列表、指定时间段内的所有公告并保存PDF。后续会加入搜索引擎功能☆20Updated 4 years ago
- 搜索引擎关键词排位爬虫，包括百度，搜狗，360的搜索引擎关键词排位爬虫，关键词从百度热词中取得，排位分别从三个搜索引擎中抓取。☆18Updated 4 years ago
- 证券系统的简单知识图谱☆25Updated 5 years ago
- 中文新词发现算法PNW算法，可以识别任意长度的新词。☆15Updated last year
- 提取财经新闻标题、链接整合排列后写入表格☆42Updated 10 months ago
- 获取滚动新闻☆51Updated 5 years ago
- 爬取新浪财经网http://finance.sina.com.cn/stock/，各股票公司每日公告（爬取股票分析所需语料）☆26Updated 7 years ago