zemengchuan / CnkiSpiderLinks
CnkiSpider is a package for efficiently crawling articles on CNKI
☆21Updated 2 years ago
Alternatives and similar repositories for CnkiSpider
Users that are interested in CnkiSpider are comparing it to the libraries listed below
Sorting:
- text analysis, supporting multiple methods including word count, readability, document similarity, sentiment analysis, Word2Vec/GloVe, an…☆352Updated last month
- 中国知网论文数据集,24000+篇论文信息。自然语言处理、信息管理、文本分类、文本摘要、关键词抽取、研究热点分析、数据挖掘、数据分析☆51Updated 3 months ago
- 澎湃新闻,新浪新闻,腾讯新闻,搜狐新闻,新闻联播,泰晤士报,纽约时报,BBCNews,旨在爬取所有新闻门户网站的新闻,禁止将所得数据商用!☆395Updated 2 years ago
- 关键词爬虫,根据关键词爬取微博、bilibili、知乎、今日头条、微信公众号、抖音、快手、YouTube的图片以及视频,并记录在excel中,可用于构造深度学习的数据集☆106Updated 2 years ago
- 中文文本相似度计算器☆148Updated 8 months ago
- 使用SO_PMI互信息算法、词向量法快速构建不同领域(手机、汽车等)的专业情感词典☆94Updated 3 years ago
- 知网论文数据爬虫☆55Updated last year
- <数字人文教程>资源合集☆101Updated last year
- 小红书关键词笔记搜索Python 爬虫 (csv保存)☆72Updated 2 years ago
- 知网爬虫,作者、摘要、题目、发表期刊等主要内容的获取☆27Updated 3 months ago
- 人民日报(1946-2024)、习近平系列重要讲话数据库、古诗文☆63Updated 2 months ago
- 【微信公众号:大邓和他的python】, Python语法快速入门https://www.bilibili.com/video/av44384851 Python网络爬虫快速入门https://www.bilibili.com/video/av72010301…☆100Updated 3 years ago
- 一个新闻政策类爬虫项目,实现上万网站的实时监控、爬取、过滤、存储,具有高可用性和可扩展性。☆36Updated 2 years ago
- 人民日报爬虫(Python)☆123Updated 3 months ago
- 中文文本分析工具、语料、预训练模型相关资源汇总。☆138Updated last month
- A NLP package for Chinese text:Preprocessing, Tokenization, Chinese Fonts, Word Embeddings, Text Similarity and Sentiment Analysis 轻量级中文自…☆26Updated 7 months ago
- 基于论文摘要的文本分类与关键词抽取挑战赛—Task 1☆25Updated last year
- ChatGPT WebUI using gradio. 给 LLM 对话和检索知识问答RAG提供一个简单好用的Web UI界面☆130Updated 9 months ago
- Chinese Sentiment Classification Tool. 情感极性分类,基于知网、清华、BosonNLP情感词典,易扩展,基准方法,开箱即用。☆95Updated last year
- 中文 小说 多轮对话语料库 ,可以用来训练中文聊天模型,更新中,有想加的语料可以提issue☆21Updated last year
- AGI拓展工具,支持AI搜索&爬虫&数据清洗,开箱即用。tavily、天工、百度百科、百家号、360百科、头条、微信公众号、搜狐百科、腾讯新闻、网易新闻、马蜂窝、小红书☆128Updated 2 weeks ago
- 知网爬虫,专利、论文项目。仅供学习交流,严禁盈利☆48Updated 2 years ago
- 基于Python爬虫技术的中国知网(CNKI)文献检索与下载程序,能够便利文献的检索与信息下载!☆14Updated last year
- SearchGPT: Building a quick conversation-based search engine with LLMs.☆45Updated 5 months ago
- 中文文本分析库,可对文本进行词频统计、词典扩充、情绪分析、相似度、可读性等☆55Updated 3 years ago
- 谷歌学术爬虫,根据搜索词汇总信息表格并保存☆97Updated last year
- selenium裁判文书网爬虫,文书网登录☆38Updated 2 years ago
- hf-mirror-cli 使用国内镜像,无需配置开箱即用,快速下载hugingface上的模型☆135Updated 3 months ago
- 半自动生成财务分析报告☆28Updated 11 months ago
- change pdf to txt☆67Updated last year