tai-spider
v0.1.21
Published
Scrapy Framework implemented by nodejs.
Downloads
8
Maintainers
Readme
Tai Spider
Scrapy框架的nodejs版本。
动机
虽然Nodejs天然就非常适合用来开发爬虫,但是目前在Nodejs领域使用最广泛的爬虫框架 node-crawler 比起 scrapy 来说,功能显得过于简单,无法满足企业化爬虫的开发需求。为此,本项目借鉴 scrapy
的功能特点,使用Nodejs进行的重写,力图为Nodejs程序员提供一个可用好用的爬虫框架。
说明
- 支持JsonResponse,可使用
response.getJSON()
方法获取返回的JSON对象
文档
参考手册可以访问:TaisSpider In Action
例子
使用 TaiSpider
框架开发的爬虫例子: tai-spider-example
Author: Edward Zhu<zhuhy163#163.com>