修改日志
This commit is contained in:
parent
09d6edca13
commit
94de68b35f
@ -21,10 +21,9 @@ mongoose.connect(config.db_taptap, {
|
|||||||
})
|
})
|
||||||
|
|
||||||
const scheduleCronstyle = () => {
|
const scheduleCronstyle = () => {
|
||||||
console.log('TapTap爬虫正在运行!')
|
console.log('TapTap已启动!')
|
||||||
logger.info({}, new Date() + '开始收集数据!')
|
|
||||||
const timer = schedule.scheduleJob('0 0 9 * * *', () => {
|
const timer = schedule.scheduleJob('0 0 9 * * *', () => {
|
||||||
console.log(new Date() + '开始收集数据!')
|
logger.info({}, new Date() + '开始收集数据!')
|
||||||
getAllData()
|
getAllData()
|
||||||
})
|
})
|
||||||
}
|
}
|
||||||
|
@ -105,7 +105,6 @@ function analyze(str, cateName) {
|
|||||||
})
|
})
|
||||||
} catch (err) {
|
} catch (err) {
|
||||||
logger.error(err)
|
logger.error(err)
|
||||||
console.log(err)
|
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
|
|
||||||
|
@ -21,7 +21,6 @@ function getDetails(cateName, data) {
|
|||||||
async function getData({cateName, data}) {
|
async function getData({cateName, data}) {
|
||||||
try {
|
try {
|
||||||
if (curIdx < data.length) {
|
if (curIdx < data.length) {
|
||||||
// console.log(data[curIdx].order + ':' + data[curIdx].title)
|
|
||||||
const url = `https://www.taptap.com/app/${data[curIdx].gameid}`
|
const url = `https://www.taptap.com/app/${data[curIdx].gameid}`
|
||||||
const res = await request.get(url).timeout(2000)
|
const res = await request.get(url).timeout(2000)
|
||||||
analyze(res.text, cateName, data[curIdx])
|
analyze(res.text, cateName, data[curIdx])
|
||||||
|
@ -12,6 +12,7 @@ const isDev = env === 'development';
|
|||||||
const logDir = config.logs_path;
|
const logDir = config.logs_path;
|
||||||
fs.existsSync(logDir) || fs.mkdirSync(logDir);
|
fs.existsSync(logDir) || fs.mkdirSync(logDir);
|
||||||
|
|
||||||
|
console.log('logDir:',logDir)
|
||||||
|
|
||||||
|
|
||||||
let logger = null;
|
let logger = null;
|
||||||
@ -32,7 +33,7 @@ const createLogger = function(appName) {
|
|||||||
});
|
});
|
||||||
}
|
}
|
||||||
return bunyan.createLogger({
|
return bunyan.createLogger({
|
||||||
name: appName,
|
name: 'taptap',
|
||||||
serializers: bunyan.stdSerializers,
|
serializers: bunyan.stdSerializers,
|
||||||
streams: streams,
|
streams: streams,
|
||||||
src: false,
|
src: false,
|
||||||
|
@ -5,7 +5,6 @@ export default function saveData(data) {
|
|||||||
try {
|
try {
|
||||||
Game.insertMany(data)
|
Game.insertMany(data)
|
||||||
logger.info({}, `${data.length}条数据已保存`)
|
logger.info({}, `${data.length}条数据已保存`)
|
||||||
console.log(`${data.length}条数据已保存`)
|
|
||||||
} catch (err) {
|
} catch (err) {
|
||||||
logger.error(err)
|
logger.error(err)
|
||||||
}
|
}
|
||||||
|
Loading…
x
Reference in New Issue
Block a user