@baige/request

介绍

一个专注于爬虫的网络请求器，后可能会改名为@baige/cjc

软件架构

百分之 90 使用 node 原生的 http 和 https 模块开发，少部分功能调用了第三方库，如请求的数据如果被压缩的话，解压就是调用的第三方库实现的。 还有代理功能也是通过第三方库实现的

安装教程

npm i @baige/request

使用说明

1. 主体模块的各个参数和方法（Cjc 类）

   | 名称 | 入参 | 功能 | | ---------------------- | -------------------------------------------------------------- | ------------------------------------------------------------------------------------------------------------------------------------------- | | get | url: string, data: RequestOption|object ,option:RequestOption | get 请求，url:请求路径，data：可以是请求参数也可以是附加参数对象，option：附加参数对象 | | | | 注：data 对象中如果有$option:true,则表名 data 是一个附加参数对象（option），如果 data 为 option 的话，真正的请求参数也可写在 option.data 中 | | post | url: string, data: RequestOption|object ,option:RequestOption | post，put，delete 请求 content-type 默认为 json，其他同 get | | put | url: string, data: RequestOption|object ,option:RequestOption | 同 get | | delete | url: string, data: RequestOption|object ,option:RequestOption | 同 get | | upload | url: string, data: RequestOption|object ,option:RequestOption | 文件上传方法，data 中的值需要需要对应，{[任意 key]:文件绝对路径} | | globalHeaders | 变量可直接赋值 | 全局请求头 | | globalTimeout | 变量可直接赋值 | 全局默认超时时间，单位：秒 | | globalCookie | 变量可直接赋值 | 全局 Cookie 对象 | | globalHook | 变量可直接赋值 | 全局钩子{beforeRequest:请求前调用，afterRequest：请求后调用} | | setGlobalFrequency | s:number | 设置全局频率，单位：秒 | | setLocalRegexFrequency | regex: RegExp, s: number | 设置正则匹配频率：regex：正则，s：频率秒 | | setPathFrequency | path: string, s: number | 设置路径匹配频率：path：路径，s：频率秒 | | request | option:RequestOption | 请求方法，get、post 等方法最终调用的是这个方法 |

2. option（RequestOption 类）参数讲解

   | 名称 | 功能 | 类型 | 默认值 | | --------------------- | --------------------------------------------------------------------------------------------------------- | -------------------------------------------- | --------- | | url | 请求路径 | string | 空字符 | | method | 请求方式（get、post、put、delete） | string | undefined | | headers | 请求头 | object | 空对象 | | data | 请求参数 | object | 空对象 | | cookieTree | cookieTree 树，cookie 的树结构，爬虫利器 | object | 空对象 | | proxy | 代理 ，配置后请求将走代理路线 | {host:string,port:number} | undefined | | frequency | 请求频率，单位秒，请求的间隔时间， 0 为无限制，将不受全局频率等影响 | number | undefined | | regexFrequency | 正则频率,如果为 true 则进行正则匹配路径查找频率 | boolean | false | | cookie | cookie 对象，内部类型，大多数不需要管这个参数 | class | Cookie | | timeout | 超时时间(单位：秒) | number | undefined | | parse | 是否允许解析返回的数据，true：将解析为字符串并根据 content-type 反序列化为对象，false：将只有 buffer 数据 | boolean | true | | forceDeserialization | 是否强制反序列化，不考虑 content-type 类型 | boolean | false | | repeatDeserialization | 是否重复反序列化，有的接口可能需要多次反序列化才能变为 object | boolean | true | | download | 是否下载 | boolean | false | | saveFilePath | 下载文件的保存路径，可为空将自动生成路径，下载完成将返回文件路径（可选） | string | undefined | | saveFileDir | 下载文件的文件夹（可选） | string | undefined | | saveFileName | 下载文件的名称（可选） | string | undefined | | | 注：saveFilePath 的优先级大于 saveFileDir 和 saveFileName | | | | original | 是否不做任何操纵，返回原始的 res | boolean | false | | logs | 是否开启日志，开启日志后建调用@baige/logc 的日志工具，打印请求详情 | boolean | false | | dataMatching | 数据匹配,返回的数据将是设置的 key:正则匹配的数据 number 为下标-1 为全部 | { [key: string]: RegExp | [RegExp,number] } | {} | | check | 数据校验，校验失败将不执行 dataMatching | RegExp | undefined | | redirect | 是否允许自动重定向 | Boolean | true | | hook | 请求钩子,beforeRequest(option)请求前，afterRequest(res)请求后 | {beforeRequest,afterRequest} | {} | | hasRequest | 是否需要返回请求体 | boolean | false | | hasResponse | 是否返回响应体 | boolean | false | | hasBuffer | 是否返回响应数据的 buffer | boolean | false | | retry | 请求异常的话重试的次数 | number | 3 |

3. 返回类型（Response 类）内容讲解

   | 名称 | 功能 | 类型 | 默认值 | | ---------- | ------------------------------------------------------------------------------ | -------------------- | --------- | | res | 响应体，原始的响应类 | http.IncomingMessage | undefined | | statusCode | 响应状态码（200、404...） | number | undefined | | headers | 响应头，内部可能会有 set-cookie 等字段，当然 cookie 都会被封装到 cookieTree 中 | object | undefined | | cookie | 截止到此次请求的所有 cookie 信息 | string | undefined | | cookieTree | 截止到此次请求的所有 cookie 信息的树形式，可直接构建成 Cookie 对象 | object | undefined | | data | 返回的经过解析后的数据 | any | undefined | | buffer | 返回的二进制数据 | buffer | undefined | | check | 校验结果 | boolean | true |

4. Cookie 类

   | 名称 | 入参 | 功能 | | --------------- | --------------------------------------- | ------------------------------------------------------------------------------------------------------------- | | encapsulation | url:string | 根据 url 获取这个 url 对应的所有 cookie，注意是获取 url 对应的 cookie，而不是获取 url 的域名对应的所有 cookie | | add | url:string,data:string|IncomingMessage | 向 Cookie 中添加 cookie | | delete | url:string | 删除某个网址下指定 path 的所有 cookie | | empty | url:string | 清空 url 路径下的 cookie，从根开始清除 | | mergeCookieTree | cookie: object | 合并 cookieTree | | getCookieTree | | 获取 cookie 树 |

参与贡献

完全独立个人开发

特技

可根据不同的参数设置爬虫所需要的不同功能