KArtSell.Aegis/docs/PHASE_2_GO_NO_GO_CRITERIA.md

Phase 2 Go/No-Go 판정 기준 (최종)

문서 버전: 1.0
최종 업데이트: 2026-08-11
담당: Architecture & Program Management
상태: ✅ READY FOR EXECUTION (2026-11-01)

---

🎯 기본 원칙

핵심 규칙

GO PHASE 3 조건:
    ✅ PBO < 20% AND
    ✅ DSR > 0.5 AND
    ✅ OOS < 2.5% AND
    ✅ Audit Pass AND
    ✅ DEBT 20% 이상

모든 조건을 PASS해야 Phase 3 진행
하나라도 실패 시 RE-EVALUATE

---

📊 상세 기준

1️⃣ PBO (Probability of Backtest Overfit)

지표: PBO = 1 - (OOS_Sharpe / IS_Sharpe)

기준	값	해석	결정
PASS	PBO < 20%	백테스트 과최적화 낮음	✅ GO
FAIL	PBO ≥ 20%	백테스트 과최적화 높음	❌ NO-GO

추가 검증:

• IS Sharpe > 1.0 (양수 Sharpe 확인)
• OOS Sharpe > 0.5 (OOS도 양수)
• PBO 신뢰도 > 90%

실패 시 조치:

PBO ≥ 20% (실패)
├─ 모델 과최적화 우려
├─ 모수 재조정 필요 (2-3주)
├─ 추가 데이터 수집 (252+ 재검증)
└─ Phase 3 연기 또는 모델 변경

---

2️⃣ DSR (Daily Sharpe Ratio)

지표: DSR = mean(daily_returns) / std(daily_returns)

기준	값	해석	결정
EXCELLENT	DSR > 1.0	우수한 위험조정	✅ GO
PASS	DSR > 0.5	수용 가능한 성과	✅ GO
FAIL	DSR ≤ 0.5	불충분한 성과	❌ NO-GO

추가 검증:

• 월별 일관성 > 80% (분산 < 20%)
• 최악월 DSR > 0.3 (최악도 기준치)
• 연속 음수일 < 5% (연속 손실 제한)

월별 기준:

월     필요 DSR   상태
━━━━━━━━━━━━━━━━━━
모든월  > 0.5    최소치
평균   > 0.6    권장치
최악   > 0.3    하한선

실패 시 조치:

DSR ≤ 0.5 (실패)
├─ 수익성 부족
├─ 전략 재평가 필요 (2-3주)
├─ 리스크 조정 검토
└─ Phase 3 연기 또는 전략 변경

---

3️⃣ OOS (Out-of-Sample Performance Drift)

지표: Drift = |OOS_Perf - IS_Perf| / IS_Perf × 100

기준	값	해석	결정
EXCELLENT	Drift < 1%	우수한 일반화 능력	✅ GO
PASS	Drift < 2.5%	모델 안정성 확인	✅ GO
FAIL	Drift ≥ 2.5%	과적합 또는 데이터 문제	❌ NO-GO

추가 검증:

• 최대 일일 드리프트 < 5%
• 연속 음수 드리프트 < 10일
• 월별 일관성 > 80%

드리프트 추이:

기간      드리프트   상태
━━━━━━━━━━━━━━━━━━━━
초기 30일  < 2.5%   기준치
중간 30일  < 2.5%   기준치
최근 30일  < 2.5%   기준치
전체      < 2.5%   PASS

실패 시 조치:

Drift ≥ 2.5% (실패)
├─ 모델 과적합 또는 시장 변화
├─ 기간 연장 및 재검증 필요 (2-3주)
├─ 파라미터 미세조정
└─ Phase 3 연기 또는 모델 개선

---

4️⃣ Audit Trail (감시 로그 무결성)

지표:

• 중복 감지율 < 0.1%
• 필드 완성도 > 99%
• 이벤트 일관성 > 95%

기준	값	해석	결정
PASS	모두 만족	감시 시스템 정상	✅ GO
FAIL	하나 불만족	감시 문제 감지	❌ NO-GO

검증 항목:

☑️ 중복 감지율 < 0.1%
   └─ 거짓 양성 최소화

☑️ 필드 완성도 > 99%
   └─ correlation_id, entity_id 등

☑️ 이벤트 일관성 > 95%
   └─ 정규 시간 내 기록

☑️ 응답시간(P95) < 500ms
   └─ 감시 지연 최소화

실패 시 조치:

감시 이상 (실패)
├─ 시스템 점검 및 로그 검토 (1주)
├─ 근본 원인 분석
├─ 복구 절차 실행
└─ Phase 3 연기 (Compliance 우선)

---

5️⃣ DEBT 결제 (기술부채)

기준: 월별 20% 누적, Q3에 275% 달성 ✅

항목	목표	달성	상태
DEBT-014	완료	✅ 완료	✅
DEBT-029	완료	✅ 완료	✅
DEBT-030	완료	✅ 완료	✅
DEBT-032	완료	✅ 완료	✅
누적	20%	275%	✅ GO

Phase 2 추가 요구사항:

• 미결제 DEBT 없음
• DEBT 문서 완료
• 월별 20% 계획 수립 (Q4)

---

🎯 의사결정 프로세스

Step 1: 데이터 수집 (2026-11-01 ~ 11-03)

□ Phase 1 최종 데이터 확보
□ CSV 내보내기 (52주 메트릭)
□ 데이터 품질 검증

Step 2: 개별 검증 (2026-11-04 ~ 11-07)

Team PBO: PBO 계산 & 검증
Team DSR: DSR 계산 & 검증
Team OOS: OOS 드리프트 & 검증
Team Audit: 감시 로그 & 검증
Team Debt: 기술부채 최종 정리

Step 3: 통합 판단 (2026-11-08 ~ 11-10)

□ 모든 팀 결과 통합
□ 상충 항목 해결
□ 최종 Go/No-Go 판단
□ 리포트 작성

Step 4: 승인 및 서명 (2026-11-11 ~ 11-15)

□ CTO 기술 검토 및 승인
□ CFO 최종 재무 검토
□ CEO/COO 최종 의사결정
□ Phase 3 준비 시작

---

📋 자동화 실행 명령어

PowerShell (Windows)

# 기본 실행
cd D:\JobRoomz\KArtSell.Aegis
.\tools\phase2_automation.ps1

# 샘플 데이터로 테스트
.\tools\phase2_automation.ps1 -DataFile "tools\sample_phase1_data.csv"

# Dry-run 모드 (실제 실행 않음)
.\tools\phase2_automation.ps1 -DryRun

Bash (macOS/Linux)

# 기본 실행
cd ~/JobRoomz/KArtSell.Aegis
bash tools/phase2_automation.sh

# 사용자 데이터
bash tools/phase2_automation.sh --data data/phase1/actual_data.csv

---

🔴 실패 시나리오 & 대응

Scenario A: PBO 실패

원인: 백테스트 과최적화
확률: 낮음 (5%)
대응: 모델 매개변수 재조정 + 2-3주 지연

Scenario B: DSR 실패

원인: 수익성 부족
확률: 낮음 (10%)
대응: 전략 재평가 + 거래 규칙 조정 + 2-3주 지연

Scenario C: OOS 실패

원인: 과적합 또는 시장 변화
확률: 낮음 (15%)
대응: 모델 재검증 + 시장 분석 + 2-3주 지연

Scenario D: Audit 실패

원인: 감시 시스템 이상
확률: 매우 낮음 (< 1%)
대응: 긴급 점검 + Compliance 승인 재필요

---

✅ 최종 체크리스트

Pre-Phase 2 (지금)

• 데이터 검증 완료
• SQL 쿼리 검증 완료
• 검증 스크립트 테스트 완료
• 리포트 템플릿 준비 완료
• 자동화 도구 준비 완료

Phase 2 실행 시작 (2026-11-01)

• 데이터 수집 & 검증
• 5팀 병렬 검증 실행
• 개별 리포트 작성
• 결과 통합 & Go/No-Go 판단
• CTO/CFO 승인 획득

Phase 3 이전 (2026-11-20)

• Phase 3 배포 계획 최종화
• 롤백 절차 테스트
• 팀 교육 & 예행연습
• 모니터링 대시보드 준비
• 24/7 Support 계획 수립

---

🎯 Success Criteria

Phase 3 Go 조건:

✅ PBO < 20%
✅ DSR > 0.5
✅ OOS < 2.5%
✅ Audit PASS
✅ DEBT 결제 확인
✅ 모든 팀 리포트 제출
✅ CTO 승인
✅ CFO 최종 승인

모든 조건 만족 시:

→ Phase 3: 프로덕션 배포 진행
→ 목표: 2026-11-20 Go-Live
→ 범위: kartsell.taxbaik.com 활성화

---

Document Version: 1.0
Last Updated: 2026-08-11
Next Review: 2026-11-01
Owner: Architecture Team
Status: ✅ READY FOR PHASE 2 EXECUTION