cebgcontract
|
11b5584b29
|
update sth
|
2022-12-21 17:27:59 +08:00 |
|
zhl
|
50d9bd1d46
|
修改排名
bj_spider.0.0.1.20190528R2
|
2019-05-28 17:44:51 +08:00 |
|
zhl
|
25b4f4011b
|
添加打包和启动脚本
bj_spider.0.0.1.20190528R1
|
2019-05-28 16:53:34 +08:00 |
|
zhl
|
c5dea293ad
|
移除无关的文件
|
2019-05-28 15:59:50 +08:00 |
|
zhl
|
65abe220ee
|
修改蛋蛋赞网站抓取逻辑
|
2019-05-21 09:16:54 +08:00 |
|
zhl
|
7eca9de8ab
|
检查失败记录的任务会执行两次
|
2019-05-16 09:52:17 +08:00 |
|
zhl
|
c23a86e102
|
电影增加字段is_modify
|
2019-05-16 09:50:24 +08:00 |
|
zhl
|
539ff78e70
|
将抓取失败记录的任务单独分离出来
|
2019-05-15 20:01:59 +08:00 |
|
zhl
|
de0ab431de
|
对于抓取到的电影播放链接， 进行2次过滤
|
2019-05-13 11:23:40 +08:00 |
|
zhl
|
e61348fce9
|
env的docker镜像增加时区设置
|
2019-05-10 10:07:32 +08:00 |
|
zhl
|
fb9eb9434f
|
定时任务增加开始结束时间的时间戳
|
2019-05-10 10:02:17 +08:00 |
|
zhl
|
88d4ad520e
|
开启定时任务
|
2019-05-09 20:25:20 +08:00 |
|
zhl
|
7e3e83f25b
|
修改处理失败记录的逻辑
|
2019-05-09 20:19:13 +08:00 |
|
zhl
|
a833d7dd52
|
更新babel的presets
|
2019-05-09 17:28:12 +08:00 |
|
zhl
|
0e6516f8d6
|
增加定时抓取的任务
|
2019-05-09 17:26:04 +08:00 |
|
zhl
|
68ad43e4e4
|
dandanzan增加结束的回调
|
2019-05-09 16:45:09 +08:00 |
|
zhl
|
32f3d89035
|
增加一个更新抓取数据中失败记录的task
|
2019-05-09 16:33:05 +08:00 |
|
zhl
|
e1dcbabd1f
|
增加nimadaili.com代理数据的抓取
|
2019-05-09 16:32:33 +08:00 |
|
zhl
|
526b96ed78
|
使用crypto生成随机数
|
2019-05-09 13:55:30 +08:00 |
|
zhl
|
23cee74ef9
|
xicidaili使用代理抓取
|
2019-05-09 13:52:24 +08:00 |
|
zhl
|
102e92b016
|
添加抓取session model
|
2019-05-09 13:51:04 +08:00 |
|
zhl
|
52fa5d7cb9
|
erge branch 'master' of git.kingsome.cn:node/spider
|
2019-05-09 12:36:57 +08:00 |
|
zhl
|
725ecc8118
|
修正statudCode is not defined的错误
|
2019-05-09 12:36:53 +08:00 |
|
zhl
|
e3305a9312
|
Merge branch 'master' of git.kingsome.cn:node/spider
|
2019-05-09 12:02:03 +08:00 |
|
zhl
|
e4d2469f0e
|
增加reponse的判断
|
2019-05-09 12:01:41 +08:00 |
|
zhl
|
eec83ed4f0
|
Merge branch 'master' of git.kingsome.cn:node/spider
|
2019-05-09 12:00:05 +08:00 |
|
zhl
|
4d7280079f
|
重试时更换proxy
|
2019-05-09 11:59:54 +08:00 |
|
zhl
|
cd9d496d21
|
Merge branch 'master' of git.kingsome.cn:node/spider
|
2019-05-09 11:57:58 +08:00 |
|
zhl
|
6e4ef6793a
|
修改抓取重试逻辑
|
2019-05-09 11:57:23 +08:00 |
|
zhl
|
80f3791b0c
|
Merge branch 'master' of git.kingsome.cn:node/spider
|
2019-05-09 11:33:03 +08:00 |
|
zhl
|
d9f106d9ef
|
增加数据请求的重试机制
|
2019-05-09 11:32:15 +08:00 |
|
zhl
|
645aef2c70
|
修正抓取记录状态设置错误的bug
|
2019-05-09 11:25:13 +08:00 |
|
zhl
|
8685c744da
|
Merge branch 'master' of git.kingsome.cn:node/spider
|
2019-05-09 11:22:39 +08:00 |
|
zhl
|
46a4a220fa
|
移除抓取记录中状态的默认值
|
2019-05-09 11:22:22 +08:00 |
|
zhl
|
b518cfac63
|
Merge branch 'master' of git.kingsome.cn:node/spider
|
2019-05-09 11:16:07 +08:00 |
|
zhl
|
5583b1ef0c
|
抓取所有
|
2019-05-09 11:15:23 +08:00 |
|
zhl
|
250f17a35a
|
增加抓取日志
|
2019-05-09 11:14:52 +08:00 |
|
zhl
|
55fa63c818
|
Merge branch 'master' of git.kingsome.cn:node/spider
|
2019-05-08 21:34:50 +08:00 |
|
zhl
|
bbaa44f8c1
|
蛋蛋赞电影通过superagent请求数组
|
2019-05-08 21:34:24 +08:00 |
|
zhl
|
4463101a7a
|
merge confict
|
2019-05-08 21:10:00 +08:00 |
|
zhl
|
d8a56bd346
|
sth changed
|
2019-05-08 21:09:03 +08:00 |
|
zhl
|
c25eb6d213
|
抓取蛋蛋赞网站前更新代理
|
2019-05-08 21:04:44 +08:00 |
|
zhl
|
c2add8ff00
|
增加免费代理的抓取
|
2019-05-08 21:03:24 +08:00 |
|
zhl
|
20492021ea
|
修改电影抓取逻辑
|
2019-05-08 13:49:18 +08:00 |
|
zhl
|
593bd3e758
|
修改蛋蛋赞电影抓取规则，如果当前数据已存在，则只更新播放链接
|
2019-05-07 21:43:24 +08:00 |
|
zhl
|
45d6c70775
|
更新readme
|
2019-05-07 19:25:42 +08:00 |
|
zhl
|
20db2bc113
|
dandanzan的电影直接更新到movie表
|
2019-05-07 17:06:28 +08:00 |
|
zhl
|
8fcd8d1ae0
|
根据最新的电影数据结构修改
|
2019-04-28 11:04:54 +08:00 |
|
zhl
|
dcceb648d1
|
添加蛋蛋赞网站的抓取
|
2019-04-26 19:03:00 +08:00 |
|
zhl
|
4b3b58c508
|
增加移除不可播放的电影链接的功能
|
2019-04-26 15:56:06 +08:00 |
|