借助 DataWorks AI 助理备份实例日志到 OSS 文件系统

佚名 2026-07-18 07:32:56

概述

DataWorks 平台默认对实例日志的保留时长有限，超出保留期限后日志将被自动清理。借助 AI 助理，免代码可实现实例日志的定时备份，将日志自动归档至 OSS，自定义存储周期。

前提条件

已开通 DataWorks 服务，并创建了工作空间。
已开通 OSS 服务，并创建了用于存储日志的 Bucket。
已开通 AI 助理功能，并完成基础配置。

适用场景

小批量精准备份日志
探索与验证期

备份规范还在摸索
首次对接新项目
日志摸底

多步骤复合任务

"归档 + 生成清单报告 + 推送到群里"

说明：如有生产大规模日志数据备份需求，建议使用固定脚本任务实现，AI助理可用于辅助统计等。

预期效果

每日定时将高保障任务实例日志备份存储到oss中。

配置

步骤一：创建并调试任务

1. 发起指令

【实例日志备份指令】
目标：将指定项目、指定日期、优先级 3/5/7/8 的所有生产实例日志备份到 OSS。
【备份规则】
1. 存储路径：oss://ols-bucket/dataworks_agent/claw/DataWorksTaskInstanceLog/备份日期(YYYYMMDD)/实例类型/
实例类型：周期实例 / 测试实例 / 手动实例 / 补数据实例（四选一，不拓展子目录）
2. 文件名：{实例id}_{节点名}_{节点id}_{执行时间}_{业务日期}_{地域}.txt
优先从日志 SKYNET_* 环境变量取值，API 返回值兜底，取不到填 null
3. 重跑日志：全量备份，生成多份文件，后缀加 _重跑N（N 取 SKYNET_RERUN_TIME）
【执行约束】
1. 未运行实例跳过，不归档
2. 归档后校验：确保和产品页面一致
3. 推送报告：生成 HTML 报告 + 文字摘要，推送到钉钉群