Spiking

一个使用Node.js开发的通用爬图工具。

A common web crawler tool developed using Node.js.

为什么选择它？(Advantage)

• 图形化界面（使用Electron） Graphical Interface (Using Electron)
• 自定义初始链接 Custom initial link
• 无头浏览器支持 Headless browser support
• 并发/多线程 Concurrent / multithreaded
• 高效爬取机制 Efficient crawling mechanism
• 自动去重 Automatic similarity
• 可调控的爬取速度 Adjustable crawling speed
• 进度可视化 Progress visualization
• 使用代理 Using a proxy

开始(Getting started)

git clone https://github.com/Xciyang/spiking.git

cd spiking

npm install

npm start

如果你在中国，存在一些致命的问题，使用淘宝镜像无法正常安装[email protected]。

请先在~/.npmrc文件中加入以下内容，再进行npm install。

npm config set electron_mirror=https://npm.taobao.org/mirrors/electron/
npm config set electron_custom_dir=7.0.1

用法(Usage)

下载最新的Release版本。

Download the latest [Release] (https://github.com/Xciyang/spiking/releases) version.

请阅读用法：简体中文(zh_CN)

Please read usage: English(en_US)

待完成项(To-do list)

• 语言本地化 Localization
• 任务保存 Tasks Saving
• 自定义筛选方式 Custom filtering method

更多(More)

Electron