Commit Graph

Select branches

Hide Pull Requests

master

bj_spider.0.0.1.20190528R1

bj_spider.0.0.1.20190528R2

Mono Color

• 11b5584b29 update sth master cebgcontract 2022-12-21 17:27:59 +08:00
• 50d9bd1d46 修改排名 bj_spider.0.0.1.20190528R2 zhl 2019-05-28 17:44:51 +08:00
• 25b4f4011b 添加打包和启动脚本 bj_spider.0.0.1.20190528R1 zhl 2019-05-28 16:53:34 +08:00
• c5dea293ad 移除无关的文件 zhl 2019-05-28 15:59:50 +08:00
• 65abe220ee 修改蛋蛋赞网站抓取逻辑 zhl 2019-05-21 09:16:54 +08:00
• 7eca9de8ab 检查失败记录的任务会执行两次 zhl 2019-05-16 09:52:17 +08:00
• c23a86e102 电影增加字段is_modify zhl 2019-05-16 09:50:24 +08:00
• 539ff78e70 将抓取失败记录的任务单独分离出来 zhl 2019-05-15 20:01:59 +08:00
• de0ab431de 对于抓取到的电影播放链接， 进行2次过滤 zhl 2019-05-13 11:23:40 +08:00
• e61348fce9 env的docker镜像增加时区设置 zhl 2019-05-10 10:07:32 +08:00
• fb9eb9434f 定时任务增加开始结束时间的时间戳 zhl 2019-05-10 10:02:17 +08:00
• 88d4ad520e 开启定时任务 zhl 2019-05-09 20:25:20 +08:00
• 7e3e83f25b 修改处理失败记录的逻辑 zhl 2019-05-09 20:19:13 +08:00
• a833d7dd52 更新babel的presets zhl 2019-05-09 17:28:12 +08:00
• 0e6516f8d6 增加定时抓取的任务 zhl 2019-05-09 17:26:04 +08:00
• 68ad43e4e4 dandanzan增加结束的回调 zhl 2019-05-09 16:45:09 +08:00
• 32f3d89035 增加一个更新抓取数据中失败记录的task zhl 2019-05-09 16:33:05 +08:00
• e1dcbabd1f 增加nimadaili.com代理数据的抓取 zhl 2019-05-09 16:32:33 +08:00
• 526b96ed78 使用crypto生成随机数 zhl 2019-05-09 13:55:30 +08:00
• 23cee74ef9 xicidaili使用代理抓取 zhl 2019-05-09 13:52:24 +08:00
• 102e92b016 添加抓取session model zhl 2019-05-09 13:51:04 +08:00
• 52fa5d7cb9 erge branch 'master' of git.kingsome.cn:node/spider zhl 2019-05-09 12:36:57 +08:00
• 725ecc8118 修正statudCode is not defined的错误 zhl 2019-05-09 12:36:53 +08:00
• e3305a9312 Merge branch 'master' of git.kingsome.cn:node/spider zhl 2019-05-09 12:02:03 +08:00
• e4d2469f0e 增加reponse的判断 zhl 2019-05-09 12:01:41 +08:00
• eec83ed4f0 Merge branch 'master' of git.kingsome.cn:node/spider zhl 2019-05-09 12:00:05 +08:00
• 4d7280079f 重试时更换proxy zhl 2019-05-09 11:59:54 +08:00
• cd9d496d21 Merge branch 'master' of git.kingsome.cn:node/spider zhl 2019-05-09 11:57:58 +08:00
• 6e4ef6793a 修改抓取重试逻辑 zhl 2019-05-09 11:57:23 +08:00
• 80f3791b0c Merge branch 'master' of git.kingsome.cn:node/spider zhl 2019-05-09 11:33:03 +08:00
• d9f106d9ef 增加数据请求的重试机制 zhl 2019-05-09 11:32:15 +08:00
• 645aef2c70 修正抓取记录状态设置错误的bug zhl 2019-05-09 11:25:13 +08:00
• 8685c744da Merge branch 'master' of git.kingsome.cn:node/spider zhl 2019-05-09 11:22:39 +08:00
• 46a4a220fa 移除抓取记录中状态的默认值 zhl 2019-05-09 11:22:22 +08:00
• b518cfac63 Merge branch 'master' of git.kingsome.cn:node/spider zhl 2019-05-09 11:16:07 +08:00
• 5583b1ef0c 抓取所有 zhl 2019-05-09 11:15:23 +08:00
• 250f17a35a 增加抓取日志 zhl 2019-05-09 11:14:52 +08:00
• 55fa63c818 Merge branch 'master' of git.kingsome.cn:node/spider zhl 2019-05-08 21:34:50 +08:00
• bbaa44f8c1 蛋蛋赞电影通过superagent请求数组 zhl 2019-05-08 21:34:24 +08:00
• 4463101a7a merge confict zhl 2019-05-08 21:10:00 +08:00
• d8a56bd346 sth changed zhl 2019-05-08 21:09:03 +08:00
• c25eb6d213 抓取蛋蛋赞网站前更新代理 zhl 2019-05-08 21:04:44 +08:00
• c2add8ff00 增加免费代理的抓取 zhl 2019-05-08 21:03:24 +08:00
• 20492021ea 修改电影抓取逻辑 zhl 2019-05-08 13:49:18 +08:00
• 593bd3e758 修改蛋蛋赞电影抓取规则，如果当前数据已存在，则只更新播放链接 zhl 2019-05-07 21:43:24 +08:00
• 45d6c70775 更新readme zhl 2019-05-07 19:25:42 +08:00
• 20db2bc113 dandanzan的电影直接更新到movie表 zhl 2019-05-07 17:06:28 +08:00
• 8fcd8d1ae0 根据最新的电影数据结构修改 zhl 2019-04-28 11:04:54 +08:00
• dcceb648d1 添加蛋蛋赞网站的抓取 zhl 2019-04-26 19:03:00 +08:00
• 4b3b58c508 增加移除不可播放的电影链接的功能 zhl 2019-04-26 15:56:06 +08:00
• 0894a2239f 增加电影从原始数据到movie表的转换 zhl 2019-04-24 21:01:51 +08:00
• 8177e4dc6d 处理状态为1的书籍信息 zhl 2019-04-22 10:25:06 +08:00
• b533a96d15 抓取书籍信息 zhl 2019-04-19 19:00:40 +08:00
• 027fbd0c3c 更新书籍章节列表时，先判断数据是否已经存在 zhl 2019-04-19 18:58:35 +08:00
• 29df061517 增加17个网站的书籍章节详情的爬取 zhl 2019-04-19 16:46:42 +08:00
• 4f5e9304bb 增加获取hoh8 token的功能 zhl 2019-04-18 21:32:42 +08:00
• cbae7af8a3 修正site未找到的bug zhl 2019-04-03 17:36:29 +08:00
• 78b6529a84 查询时，采用默认排序 zhl 2019-04-03 17:34:55 +08:00
• 08c0724816 将书籍章节信息独立成一个表 zhl 2019-04-03 17:34:18 +08:00
• 1cdc450b42 保存所有可用的源信息 zhl 2019-04-03 17:30:30 +08:00
• 34fc29cf68 章节数据统一成一条数据 zhl 2019-04-03 17:26:50 +08:00
• a32dc33381 只抓取章节列表 zhl 2019-04-03 17:02:59 +08:00
• 580654b7aa 将章节数据单独存放 zhl 2019-04-03 16:43:54 +08:00
• 53e6efaec9 抓取书本详情使用队列 zhl 2019-04-03 16:04:17 +08:00
• a83dc46079 增加parseAllCategory的注释 zhl 2019-04-03 13:37:36 +08:00
• af26dea19a 修正获取女性分类列表错误的bug zhl 2019-04-03 13:33:47 +08:00
• 875994edf9 增加处理列表时的错误处理 zhl 2019-04-03 13:21:30 +08:00
• fd405e54ce 添加构建说明 zhl 2019-04-03 11:34:29 +08:00
• 2c1aad0f68 修改启动脚本，增加加入mnet zhl 2019-04-03 10:30:43 +08:00
• 39eed72288 需改dockerfile zhl 2019-04-03 10:25:55 +08:00
• e73a285245 修改启动脚本中的时区映射 zhl 2019-04-03 10:22:34 +08:00
• db6ea5bbdb 将启动脚本中的相对路径改为绝对路径 zhl 2019-04-03 10:21:11 +08:00
• d381975d4d 启动脚本增加执行权限 zhl 2019-04-03 10:19:46 +08:00
• e93f2be149 修改启动脚本 zhl 2019-04-03 10:19:00 +08:00
• 07d4acc1e0 添加启动脚本 zhl 2019-04-03 10:10:49 +08:00
• 822bbe1450 修改dockerfile，从node_env获取镜像 zhl 2019-04-03 09:56:33 +08:00
• b4eb7ac55e 修改dockerfile中的错误 zhl 2019-04-03 09:47:33 +08:00
• 36d2e93971 增加Dockerfile zhl 2019-04-03 09:44:48 +08:00
• c28cc1bc5c 添加全民小说下载的方法 zhl 2019-04-03 09:34:04 +08:00
• f27a42b75c 添加hoh8的文档 zhl 2019-04-02 19:58:37 +08:00
• f4d92336c7 增加文件下载方法 zhl 2019-04-02 19:47:17 +08:00
• a67aef9e4f 增加一些说明 zhl 2019-04-02 17:23:02 +08:00
• e0aaa679f4 增加一些方法的注释 zhl 2019-04-02 17:17:41 +08:00
• 19468a8ad4 添加抓取hoh8小程序数据的方法 zhl 2019-04-02 17:03:01 +08:00
• 66acaf1cc5 project init zhl 2019-04-02 14:33:48 +08:00