zhl
|
725ecc8118
|
修正statudCode is not defined的错误
|
2019-05-09 12:36:53 +08:00 |
|
zhl
|
e4d2469f0e
|
增加reponse的判断
|
2019-05-09 12:01:41 +08:00 |
|
zhl
|
4d7280079f
|
重试时更换proxy
|
2019-05-09 11:59:54 +08:00 |
|
zhl
|
6e4ef6793a
|
修改抓取重试逻辑
|
2019-05-09 11:57:23 +08:00 |
|
zhl
|
d9f106d9ef
|
增加数据请求的重试机制
|
2019-05-09 11:32:15 +08:00 |
|
zhl
|
645aef2c70
|
修正抓取记录状态设置错误的bug
|
2019-05-09 11:25:13 +08:00 |
|
zhl
|
46a4a220fa
|
移除抓取记录中状态的默认值
|
2019-05-09 11:22:22 +08:00 |
|
zhl
|
5583b1ef0c
|
抓取所有
|
2019-05-09 11:15:23 +08:00 |
|
zhl
|
250f17a35a
|
增加抓取日志
|
2019-05-09 11:14:52 +08:00 |
|
zhl
|
bbaa44f8c1
|
蛋蛋赞电影通过superagent请求数组
|
2019-05-08 21:34:24 +08:00 |
|
zhl
|
c25eb6d213
|
抓取蛋蛋赞网站前更新代理
|
2019-05-08 21:04:44 +08:00 |
|
zhl
|
c2add8ff00
|
增加免费代理的抓取
|
2019-05-08 21:03:24 +08:00 |
|
zhl
|
20492021ea
|
修改电影抓取逻辑
|
2019-05-08 13:49:18 +08:00 |
|
zhl
|
593bd3e758
|
修改蛋蛋赞电影抓取规则，如果当前数据已存在，则只更新播放链接
|
2019-05-07 21:43:24 +08:00 |
|
zhl
|
20db2bc113
|
dandanzan的电影直接更新到movie表
|
2019-05-07 17:06:28 +08:00 |
|
zhl
|
8fcd8d1ae0
|
根据最新的电影数据结构修改
|
2019-04-28 11:04:54 +08:00 |
|
zhl
|
dcceb648d1
|
添加蛋蛋赞网站的抓取
|
2019-04-26 19:03:00 +08:00 |
|
zhl
|
4b3b58c508
|
增加移除不可播放的电影链接的功能
|
2019-04-26 15:56:06 +08:00 |
|
zhl
|
0894a2239f
|
增加电影从原始数据到movie表的转换
|
2019-04-24 21:01:51 +08:00 |
|
zhl
|
8177e4dc6d
|
处理状态为1的书籍信息
|
2019-04-22 10:25:06 +08:00 |
|
zhl
|
b533a96d15
|
抓取书籍信息
|
2019-04-19 19:00:40 +08:00 |
|
zhl
|
027fbd0c3c
|
更新书籍章节列表时，先判断数据是否已经存在
|
2019-04-19 18:58:35 +08:00 |
|
zhl
|
29df061517
|
增加17个网站的书籍章节详情的爬取
|
2019-04-19 16:46:42 +08:00 |
|
zhl
|
4f5e9304bb
|
增加获取hoh8 token的功能
|
2019-04-18 21:32:42 +08:00 |
|
zhl
|
cbae7af8a3
|
修正site未找到的bug
|
2019-04-03 17:36:29 +08:00 |
|
zhl
|
78b6529a84
|
查询时，采用默认排序
|
2019-04-03 17:34:55 +08:00 |
|
zhl
|
08c0724816
|
将书籍章节信息独立成一个表
|
2019-04-03 17:34:18 +08:00 |
|
zhl
|
1cdc450b42
|
保存所有可用的源信息
|
2019-04-03 17:30:30 +08:00 |
|
zhl
|
34fc29cf68
|
章节数据统一成一条数据
|
2019-04-03 17:26:50 +08:00 |
|
zhl
|
a32dc33381
|
只抓取章节列表
|
2019-04-03 17:02:59 +08:00 |
|
zhl
|
580654b7aa
|
将章节数据单独存放
|
2019-04-03 16:43:54 +08:00 |
|
zhl
|
53e6efaec9
|
抓取书本详情使用队列
|
2019-04-03 16:04:17 +08:00 |
|
zhl
|
a83dc46079
|
增加parseAllCategory的注释
|
2019-04-03 13:37:36 +08:00 |
|
zhl
|
af26dea19a
|
修正获取女性分类列表错误的bug
|
2019-04-03 13:33:47 +08:00 |
|
zhl
|
875994edf9
|
增加处理列表时的错误处理
|
2019-04-03 13:21:30 +08:00 |
|
zhl
|
c28cc1bc5c
|
添加全民小说下载的方法
|
2019-04-03 09:34:04 +08:00 |
|
zhl
|
f4d92336c7
|
增加文件下载方法
|
2019-04-02 19:47:17 +08:00 |
|
zhl
|
a67aef9e4f
|
增加一些说明
|
2019-04-02 17:23:02 +08:00 |
|
zhl
|
e0aaa679f4
|
增加一些方法的注释
|
2019-04-02 17:17:41 +08:00 |
|
zhl
|
19468a8ad4
|
添加抓取hoh8小程序数据的方法
|
2019-04-02 17:03:01 +08:00 |
|
zhl
|
66acaf1cc5
|
project init
|
2019-04-02 14:33:48 +08:00 |
|