maoweixy / Web-Crawler
是一种“自动化浏览网络”的程序,或者说是一种网络机器人。它们被广泛用于互联网搜索引擎或其他类似网站,以获取或更新这些网站的内容和检索方式。它们可以自动采集所有其能够访问到的页面内容,以供搜索引擎做进一步处理(分检整理下载的页面),而使得用户能更快的检索到他们需要的信息。
☆23Updated 8 years ago
Alternatives and similar repositories for Web-Crawler:
Users that are interested in Web-Crawler are comparing it to the libraries listed below
- 抓取知乎妹子头像☆111Updated 8 years ago
- 第一次写爬虫,爬课程格子的校花榜,比较简陋,没用多线程。☆47Updated 8 years ago
- 中国大学MOOC爬虫,网易云课堂(study163)爬虫,课程视频、文档下载☆18Updated 7 years ago
- QQ 爬 虫 ,抓取一个QQ号的所有群信息☆25Updated 9 years ago
- WebSpider of TaobaoMM developed by PySpider☆107Updated 8 years ago
- 通过python爬虫,对将睿思每周新上传的电影进行打分,分数取自豆瓣电影评分。然后将最终数据做统计,分数高于7分的电影筛选出来,方便我们下载好看的电影。☆14Updated 10 years ago
- ☆68Updated 7 years ago
- 微信小程序 demo,展示github博客文章☆17Updated 8 years ago
- ☆92Updated 7 years ago
- The demos☆22Updated 7 years ago
- 微信自动拜年☆29Updated 5 years ago
- 将知乎答案转换为md格式,并保存到本地☆32Updated 7 years ago
- 一个开放的知识社区☆92Updated 7 years ago
- 简书网 http://www.jianshu.com/ 的用户抓取☆76Updated 7 years ago
- 人人网信息抓取与数据挖掘。social network analysis☆96Updated 10 years ago
- 基于node-webkit 开发的桌面笔记管理应用。前端使用MDUI框架。数据同步定时同步到服务器端,本地自带缓存数据功能。☆64Updated 7 years ago
- the code for Twitter @xiaolintemple - A Bot scrap jokes from internet and forward in twitter☆12Updated 7 years ago
- 南京大学统一身份认证平台验证码识别系统☆27Updated 10 years ago
- 使用python flask搭建在leancloud上的个人网站,主要用来贴吧自动签到,自动收集帖子。☆30Updated 6 years ago
- 将简书作者文章转为pdf合辑,并生成词云☆24Updated 5 years ago
- ✨小程序版GithubTrending 和 后台Server✨☆55Updated 7 years ago
- 微信教育公众平台: 主要分为资源管理系统、交流管理系统、学生积分管理系统、学生事务管 理系统、教师评价系统和图书管理系统这五个子系统。☆86Updated 8 years ago
- large-scale user information crawler of zhihu☆78Updated 7 years ago
- ZCrawler 是一个优雅、高效、功能强大的【正方教务】爬虫程序,支持成绩查询、考试查询、课表查询、四六级成绩查询、四六级报名、选课查询、修改密码、获取用户菜单等功能,并且能将数据解析成易读格式,是一个强大的【正方教务】爬虫的 PHP 类库。☆38Updated 7 years ago
- 知乎爬虫,用于爬取用户信息以及用户之间关系。☆33Updated 2 years ago
- 用于存放一些爬虫脚本☆15Updated 6 years ago
- Coding makes my life easier. This is a factory contains many little programs.☆187Updated 8 years ago
- QQ空间爬虫,一小时20万数据☆85Updated 6 years ago
- A game from SJTU-SE☆34Updated 9 years ago
- 使用scrapy和pandas完成对知乎300w用户的数据分析。首先使用scrapy爬取知乎网的300w,用户资料,最后使用pandas对数据进行过滤,找出想要的知乎大牛,并用图表的形式可视化。☆157Updated 7 years ago