39 Commits

Author SHA1 Message Date
zhl
20db2bc113 dandanzan的电影直接更新到movie表 2019-05-07 17:06:28 +08:00
zhl
8fcd8d1ae0 根据最新的电影数据结构修改 2019-04-28 11:04:54 +08:00
zhl
dcceb648d1 添加蛋蛋赞网站的抓取 2019-04-26 19:03:00 +08:00
zhl
4b3b58c508 增加移除不可播放的电影链接的功能 2019-04-26 15:56:06 +08:00
zhl
0894a2239f 增加电影从原始数据到movie表的转换 2019-04-24 21:01:51 +08:00
zhl
8177e4dc6d 处理状态为1的书籍信息 2019-04-22 10:25:06 +08:00
zhl
b533a96d15 抓取书籍信息 2019-04-19 19:00:40 +08:00
zhl
027fbd0c3c 更新书籍章节列表时,先判断数据是否已经存在 2019-04-19 18:58:35 +08:00
zhl
29df061517 增加17个网站的书籍章节详情的爬取 2019-04-19 16:46:42 +08:00
zhl
4f5e9304bb 增加获取hoh8 token的功能 2019-04-18 21:32:42 +08:00
zhl
cbae7af8a3 修正site未找到的bug 2019-04-03 17:36:29 +08:00
zhl
78b6529a84 查询时,采用默认排序 2019-04-03 17:34:55 +08:00
zhl
08c0724816 将书籍章节信息独立成一个表 2019-04-03 17:34:18 +08:00
zhl
1cdc450b42 保存所有可用的源信息 2019-04-03 17:30:30 +08:00
zhl
34fc29cf68 章节数据统一成一条数据 2019-04-03 17:26:50 +08:00
zhl
a32dc33381 只抓取章节列表 2019-04-03 17:02:59 +08:00
zhl
580654b7aa 将章节数据单独存放 2019-04-03 16:43:54 +08:00
zhl
53e6efaec9 抓取书本详情使用队列 2019-04-03 16:04:17 +08:00
zhl
a83dc46079 增加parseAllCategory的注释 2019-04-03 13:37:36 +08:00
zhl
af26dea19a 修正获取女性分类列表错误的bug 2019-04-03 13:33:47 +08:00
zhl
875994edf9 增加处理列表时的错误处理 2019-04-03 13:21:30 +08:00
zhl
fd405e54ce 添加构建说明 2019-04-03 11:34:29 +08:00
zhl
2c1aad0f68 修改启动脚本,增加加入mnet 2019-04-03 10:30:43 +08:00
zhl
39eed72288 需改dockerfile 2019-04-03 10:25:55 +08:00
zhl
e73a285245 修改启动脚本中的时区映射 2019-04-03 10:22:34 +08:00
zhl
db6ea5bbdb 将启动脚本中的相对路径改为绝对路径 2019-04-03 10:21:11 +08:00
zhl
d381975d4d 启动脚本增加执行权限 2019-04-03 10:19:46 +08:00
zhl
e93f2be149 修改启动脚本 2019-04-03 10:19:00 +08:00
zhl
07d4acc1e0 添加启动脚本 2019-04-03 10:10:49 +08:00
zhl
822bbe1450 修改dockerfile,从node_env获取镜像 2019-04-03 09:56:33 +08:00
zhl
b4eb7ac55e 修改dockerfile中的错误 2019-04-03 09:47:33 +08:00
zhl
36d2e93971 增加Dockerfile 2019-04-03 09:44:48 +08:00
zhl
c28cc1bc5c 添加全民小说下载的方法 2019-04-03 09:34:04 +08:00
zhl
f27a42b75c 添加hoh8的文档 2019-04-02 19:58:37 +08:00
zhl
f4d92336c7 增加文件下载方法 2019-04-02 19:47:17 +08:00
zhl
a67aef9e4f 增加一些说明 2019-04-02 17:23:02 +08:00
zhl
e0aaa679f4 增加一些方法的注释 2019-04-02 17:17:41 +08:00
zhl
19468a8ad4 添加抓取hoh8小程序数据的方法 2019-04-02 17:03:01 +08:00
zhl
66acaf1cc5 project init 2019-04-02 14:33:48 +08:00