zhl
|
0e6516f8d6
|
增加定时抓取的任务
|
2019-05-09 17:26:04 +08:00 |
|
zhl
|
68ad43e4e4
|
dandanzan增加结束的回调
|
2019-05-09 16:45:09 +08:00 |
|
zhl
|
32f3d89035
|
增加一个更新抓取数据中失败记录的task
|
2019-05-09 16:33:05 +08:00 |
|
zhl
|
e1dcbabd1f
|
增加nimadaili.com代理数据的抓取
|
2019-05-09 16:32:33 +08:00 |
|
zhl
|
526b96ed78
|
使用crypto生成随机数
|
2019-05-09 13:55:30 +08:00 |
|
zhl
|
23cee74ef9
|
xicidaili使用代理抓取
|
2019-05-09 13:52:24 +08:00 |
|
zhl
|
102e92b016
|
添加抓取session model
|
2019-05-09 13:51:04 +08:00 |
|
zhl
|
52fa5d7cb9
|
erge branch 'master' of git.kingsome.cn:node/spider
|
2019-05-09 12:36:57 +08:00 |
|
zhl
|
725ecc8118
|
修正statudCode is not defined的错误
|
2019-05-09 12:36:53 +08:00 |
|
zhl
|
e3305a9312
|
Merge branch 'master' of git.kingsome.cn:node/spider
|
2019-05-09 12:02:03 +08:00 |
|
zhl
|
e4d2469f0e
|
增加reponse的判断
|
2019-05-09 12:01:41 +08:00 |
|
zhl
|
eec83ed4f0
|
Merge branch 'master' of git.kingsome.cn:node/spider
|
2019-05-09 12:00:05 +08:00 |
|
zhl
|
4d7280079f
|
重试时更换proxy
|
2019-05-09 11:59:54 +08:00 |
|
zhl
|
cd9d496d21
|
Merge branch 'master' of git.kingsome.cn:node/spider
|
2019-05-09 11:57:58 +08:00 |
|
zhl
|
6e4ef6793a
|
修改抓取重试逻辑
|
2019-05-09 11:57:23 +08:00 |
|
zhl
|
80f3791b0c
|
Merge branch 'master' of git.kingsome.cn:node/spider
|
2019-05-09 11:33:03 +08:00 |
|
zhl
|
d9f106d9ef
|
增加数据请求的重试机制
|
2019-05-09 11:32:15 +08:00 |
|
zhl
|
645aef2c70
|
修正抓取记录状态设置错误的bug
|
2019-05-09 11:25:13 +08:00 |
|
zhl
|
8685c744da
|
Merge branch 'master' of git.kingsome.cn:node/spider
|
2019-05-09 11:22:39 +08:00 |
|
zhl
|
46a4a220fa
|
移除抓取记录中状态的默认值
|
2019-05-09 11:22:22 +08:00 |
|
zhl
|
b518cfac63
|
Merge branch 'master' of git.kingsome.cn:node/spider
|
2019-05-09 11:16:07 +08:00 |
|
zhl
|
5583b1ef0c
|
抓取所有
|
2019-05-09 11:15:23 +08:00 |
|
zhl
|
250f17a35a
|
增加抓取日志
|
2019-05-09 11:14:52 +08:00 |
|
zhl
|
55fa63c818
|
Merge branch 'master' of git.kingsome.cn:node/spider
|
2019-05-08 21:34:50 +08:00 |
|
zhl
|
bbaa44f8c1
|
蛋蛋赞电影通过superagent请求数组
|
2019-05-08 21:34:24 +08:00 |
|
zhl
|
4463101a7a
|
merge confict
|
2019-05-08 21:10:00 +08:00 |
|
zhl
|
d8a56bd346
|
sth changed
|
2019-05-08 21:09:03 +08:00 |
|
zhl
|
c25eb6d213
|
抓取蛋蛋赞网站前更新代理
|
2019-05-08 21:04:44 +08:00 |
|
zhl
|
c2add8ff00
|
增加免费代理的抓取
|
2019-05-08 21:03:24 +08:00 |
|
zhl
|
20492021ea
|
修改电影抓取逻辑
|
2019-05-08 13:49:18 +08:00 |
|
zhl
|
593bd3e758
|
修改蛋蛋赞电影抓取规则，如果当前数据已存在，则只更新播放链接
|
2019-05-07 21:43:24 +08:00 |
|
zhl
|
45d6c70775
|
更新readme
|
2019-05-07 19:25:42 +08:00 |
|
zhl
|
20db2bc113
|
dandanzan的电影直接更新到movie表
|
2019-05-07 17:06:28 +08:00 |
|
zhl
|
8fcd8d1ae0
|
根据最新的电影数据结构修改
|
2019-04-28 11:04:54 +08:00 |
|
zhl
|
dcceb648d1
|
添加蛋蛋赞网站的抓取
|
2019-04-26 19:03:00 +08:00 |
|
zhl
|
4b3b58c508
|
增加移除不可播放的电影链接的功能
|
2019-04-26 15:56:06 +08:00 |
|
zhl
|
0894a2239f
|
增加电影从原始数据到movie表的转换
|
2019-04-24 21:01:51 +08:00 |
|
zhl
|
8177e4dc6d
|
处理状态为1的书籍信息
|
2019-04-22 10:25:06 +08:00 |
|
zhl
|
b533a96d15
|
抓取书籍信息
|
2019-04-19 19:00:40 +08:00 |
|
zhl
|
027fbd0c3c
|
更新书籍章节列表时，先判断数据是否已经存在
|
2019-04-19 18:58:35 +08:00 |
|
zhl
|
29df061517
|
增加17个网站的书籍章节详情的爬取
|
2019-04-19 16:46:42 +08:00 |
|
zhl
|
4f5e9304bb
|
增加获取hoh8 token的功能
|
2019-04-18 21:32:42 +08:00 |
|
zhl
|
cbae7af8a3
|
修正site未找到的bug
|
2019-04-03 17:36:29 +08:00 |
|
zhl
|
78b6529a84
|
查询时，采用默认排序
|
2019-04-03 17:34:55 +08:00 |
|
zhl
|
08c0724816
|
将书籍章节信息独立成一个表
|
2019-04-03 17:34:18 +08:00 |
|
zhl
|
1cdc450b42
|
保存所有可用的源信息
|
2019-04-03 17:30:30 +08:00 |
|
zhl
|
34fc29cf68
|
章节数据统一成一条数据
|
2019-04-03 17:26:50 +08:00 |
|
zhl
|
a32dc33381
|
只抓取章节列表
|
2019-04-03 17:02:59 +08:00 |
|
zhl
|
580654b7aa
|
将章节数据单独存放
|
2019-04-03 16:43:54 +08:00 |
|
zhl
|
53e6efaec9
|
抓取书本详情使用队列
|
2019-04-03 16:04:17 +08:00 |
|