TECH NOTE · AUTOMATION QA
자동화 결과를 바로 믿지 않기
자동화가 “성공”이라고 말했을 때, 우리는 무엇을 다시 확인해야 할까? 산출물 검증과 적용 권한을 분리하는 작은 운영 습관을 정리했다.
|
Rule 01
성공 메시지 ≠ 적용 완료
|
Rule 02
산출물과 권한을 분리
|
Rule 03
readback으로 닫기
|
문제: 자동화는 생각보다 자신 있게 말한다
자동화 작업을 하다 보면 가장 위험한 순간은 실패했을 때가 아니라, 애매하게 성공했을 때다. 도구는 “완료”라고 말하지만 실제 파일이 없거나, 글은 생성됐지만 이미지가 빠져 있거나, 상태는 바뀌었는데 검증 가능한 링크가 없을 수 있다.
그래서 자동화 결과를 다룰 때는 결과 문장보다 산출물을 먼저 봐야 한다. “했다”는 말이 아니라 “어디에 무엇이 생겼고, 다시 읽었을 때 어떤 상태였는가”가 기준이다.
# 안전한 pseudo-readback 예시
status: draft
category: Tech
tags: present
artifact: exists
secret_scan: clean
publish_allowed: false
원인 분리: 생성 실패와 복사 실패는 다르다
예를 들어 이미지 자동화에서는 “최종 파일이 없다”는 결과만 보고 이미지 생성 실패라고 단정하면 안 된다. 실제로는 이미지가 생성됐지만 작업 폴더로 복사하는 단계가 막혔을 수도 있다. 이 둘은 대응이 완전히 다르다.
진단 순서: provider/quota 오류인지 확인 → 로그에서 sandbox/copy 오류 확인 → 기본 generated-images 위치 확인 → 회수 후 픽셀 검수 → 업로드/readback.
해결 패턴: 검토 가능과 적용 가능을 나눈다
- 생성 단계에서는 초안을 만들되, 자동 공개나 실제 적용은 막는다.
- 검증 단계에서는 상태, 카테고리, 태그, 산출물 존재 여부를 다시 읽는다.
- 품질 단계에서는 화면 배치, 이미지 삽입, 민감정보 노출 여부를 확인한다.
- 승인 단계에서만 사람이 공개하거나 운영 반영을 결정한다.
체크리스트
- 성공 메시지를 그대로 믿지 말고 REST/API readback을 한다.
- 산출물이 없으면 생성 실패인지, 저장/복사 실패인지 나눠 본다.
- secret, private path, 계정/권한 세부값은 공개 글에서 제거한다.
- draft와 publish 권한을 분리한다.
- 최종 보고에는 링크, 상태, 카테고리, 태그, 검증 결과를 남긴다.
한 줄 요약: 자동화는 일을 빠르게 만들지만, 신뢰는 readback에서 생긴다. “성공했다”는 말보다 “다시 읽었을 때 맞았다”가 더 중요하다.