yishaolingxian / community_spiders
使用python scrapy爬取全国小区信息（包括小区价格，经纬度，面积，户数等），并保存到mysql和excel
☆28Updated 4 years ago
Alternatives and similar repositories for community_spiders:
Users that are interested in community_spiders are comparing it to the libraries listed below
- 全国小区大全☆36Updated 4 years ago
- 租房爬虫，基于flask，采用apscheduler定时任务，通过微信，定时给用户推送想要的租房信息☆14Updated 5 years ago
- 基于scrapy-redis实现分布式爬虫，爬取知乎所有问题及对应的回答，集成selenium模拟登录、英文验证码及倒立文字验证码识别、随机生成User-Agent、IP代理、处理302重定向问题等等☆55Updated 5 years ago
- 爬取http://www.xicidaili.com/上代理IP，并验证代理可用性☆144Updated 5 years ago
- 爬虫项目，领英、专利、乐捐、好大夫、阿里拍卖、看准网、实习僧、百度百科、51job、智联招聘等近80个网站☆81Updated 4 years ago
- Sougou Weixin Spider Using Proxy☆86Updated 3 years ago
- 爬取汽车之家的口碑数据，并破解前端js反爬虫措施分析☆62Updated 7 years ago
- 天猫爬虫（大量注释，readme有思路分析）☆23Updated 5 years ago
- 📦开箱即用 基于Scrapy的全部城市55000+个楼盘爬虫 数据来源fang天下 爬取历史价格、户型、历史动态等几十种数据☆12Updated 8 months ago
- scrapy爬虫天猫（淘宝）店铺店名、月销售量、价格等详细信息。涉及分类大类30多个，小类数百个。总爬取结果50万+条☆54Updated 7 years ago
- 公众号文章代码☆62Updated 5 years ago
- 企查查企业信息爬虫 ，企查查app每日新增企业抓取,可以进行每日的增量抓取、企业数据、工商数据等等。☆312Updated 2 years ago
- 天眼查关键词爬取，selenium爬取，selenium滑块认证破解☆34Updated 4 years ago
- Weibo Spider☆48Updated 7 years ago
- 贝壳网房价爬虫,基于Scrapy, 采集北京上海广州深圳等21个中国主要城市的房价数据（小区,二手房），稳定可靠快速！支持csv存储，注释丰富，链家网爬虫见我另一个项目☆51Updated 6 years ago
- 使用Scrapy框架，通过关键字检索，爬取招标网站的招投标信息，每天定时发送Email☆55Updated 7 years ago
- 爬虫爬取微信公众号文章☆104Updated 6 years ago
- 新浪爬虫，基于Python+Selenium。模拟登陆后保存cookie，实现登录状态的保存。可以通过输入关键词来爬取到关键词相关的热门微博。☆30Updated 6 years ago
- 该项目为scrapy框架脚手架，整合了自动切换agent，自动切换代理ip等中间件，可以下载后自行编写爬虫。 支持： 豆瓣电影，某东商品信息（名称价格等）。☆35Updated 5 years ago
- 基于Python+scrapy+redis的分布式爬虫实现框架☆58Updated 5 years ago
- 爬取淘宝商品信息☆145Updated 5 years ago
- 简单、免费、高效的百度地图poi采集和分析工具。☆115Updated last year
- 网络爬虫和数据分析，当当、豆瓣、知乎、猫眼、微信公众号、联想官网、今日头条爬虫☆117Updated 5 years ago
- 国家企业信用信息官网爬虫，未获取全部企业信息，重点在设计反爬思路☆67Updated 6 years ago
- 深度学习模型自动识别验证码，python爬虫库自动管理会话，通过简单易用的API，实现知乎数据的爬取☆77Updated 2 years ago