KArtSell.Aegis/docs/PHASE_2_GO_NO_GO_CRITERIA.md

# Phase 2 Go/No-Go 판정 기준 (최종)

**문서 버전:** 1.0  
**최종 업데이트:** 2026-08-11  
**담당:** Architecture & Program Management  
**상태:** ✅ READY FOR EXECUTION (2026-11-01)

---

## 🎯 기본 원칙

### 핵심 규칙
```
GO PHASE 3 조건:
    ✅ PBO < 20% AND
    ✅ DSR > 0.5 AND
    ✅ OOS < 2.5% AND
    ✅ Audit Pass AND
    ✅ DEBT 20% 이상

모든 조건을 PASS해야 Phase 3 진행
하나라도 실패 시 RE-EVALUATE
```

---

## 📊 상세 기준

### 1️⃣ PBO (Probability of Backtest Overfit)

**지표:** PBO = 1 - (OOS_Sharpe / IS_Sharpe)

| 기준 | 값 | 해석 | 결정 |
|------|-----|------|------|
| **PASS** | PBO < 20% | 백테스트 과최적화 낮음 | ✅ GO |
| **FAIL** | PBO ≥ 20% | 백테스트 과최적화 높음 | ❌ NO-GO |

**추가 검증:**
- [ ] IS Sharpe > 1.0 (양수 Sharpe 확인)
- [ ] OOS Sharpe > 0.5 (OOS도 양수)
- [ ] PBO 신뢰도 > 90%

**실패 시 조치:**
```
PBO ≥ 20% (실패)
├─ 모델 과최적화 우려
├─ 모수 재조정 필요 (2-3주)
├─ 추가 데이터 수집 (252+ 재검증)
└─ Phase 3 연기 또는 모델 변경
```

---

### 2️⃣ DSR (Daily Sharpe Ratio)

**지표:** DSR = mean(daily_returns) / std(daily_returns)

| 기준 | 값 | 해석 | 결정 |
|------|-----|------|------|
| **EXCELLENT** | DSR > 1.0 | 우수한 위험조정 | ✅ GO |
| **PASS** | DSR > 0.5 | 수용 가능한 성과 | ✅ GO |
| **FAIL** | DSR ≤ 0.5 | 불충분한 성과 | ❌ NO-GO |

**추가 검증:**
- [ ] 월별 일관성 > 80% (분산 < 20%)
- [ ] 최악월 DSR > 0.3 (최악도 기준치)
- [ ] 연속 음수일 < 5% (연속 손실 제한)

**월별 기준:**
```
월     필요 DSR   상태
━━━━━━━━━━━━━━━━━━
모든월  > 0.5    최소치
평균   > 0.6    권장치
최악   > 0.3    하한선
```

**실패 시 조치:**
```
DSR ≤ 0.5 (실패)
├─ 수익성 부족
├─ 전략 재평가 필요 (2-3주)
├─ 리스크 조정 검토
└─ Phase 3 연기 또는 전략 변경
```

---

### 3️⃣ OOS (Out-of-Sample Performance Drift)

**지표:** Drift = |OOS_Perf - IS_Perf| / IS_Perf × 100

| 기준 | 값 | 해석 | 결정 |
|------|-----|------|------|
| **EXCELLENT** | Drift < 1% | 우수한 일반화 능력 | ✅ GO |
| **PASS** | Drift < 2.5% | 모델 안정성 확인 | ✅ GO |
| **FAIL** | Drift ≥ 2.5% | 과적합 또는 데이터 문제 | ❌ NO-GO |

**추가 검증:**
- [ ] 최대 일일 드리프트 < 5%
- [ ] 연속 음수 드리프트 < 10일
- [ ] 월별 일관성 > 80%

**드리프트 추이:**
```
기간      드리프트   상태
━━━━━━━━━━━━━━━━━━━━
초기 30일  < 2.5%   기준치
중간 30일  < 2.5%   기준치
최근 30일  < 2.5%   기준치
전체      < 2.5%   PASS
```

**실패 시 조치:**
```
Drift ≥ 2.5% (실패)
├─ 모델 과적합 또는 시장 변화
├─ 기간 연장 및 재검증 필요 (2-3주)
├─ 파라미터 미세조정
└─ Phase 3 연기 또는 모델 개선
```

---

### 4️⃣ Audit Trail (감시 로그 무결성)

**지표:** 
- 중복 감지율 < 0.1%
- 필드 완성도 > 99%
- 이벤트 일관성 > 95%

| 기준 | 값 | 해석 | 결정 |
|------|-----|------|------|
| **PASS** | 모두 만족 | 감시 시스템 정상 | ✅ GO |
| **FAIL** | 하나 불만족 | 감시 문제 감지 | ❌ NO-GO |

**검증 항목:**
```
☑️ 중복 감지율 < 0.1%
   └─ 거짓 양성 최소화

☑️ 필드 완성도 > 99%
   └─ correlation_id, entity_id 등

☑️ 이벤트 일관성 > 95%
   └─ 정규 시간 내 기록

☑️ 응답시간(P95) < 500ms
   └─ 감시 지연 최소화
```

**실패 시 조치:**
```
감시 이상 (실패)
├─ 시스템 점검 및 로그 검토 (1주)
├─ 근본 원인 분석
├─ 복구 절차 실행
└─ Phase 3 연기 (Compliance 우선)
```

---

### 5️⃣ DEBT 결제 (기술부채)

**기준:** 월별 20% 누적, Q3에 275% 달성 ✅

| 항목 | 목표 | 달성 | 상태 |
|------|------|------|------|
| DEBT-014 | 완료 | ✅ 완료 | ✅ |
| DEBT-029 | 완료 | ✅ 완료 | ✅ |
| DEBT-030 | 완료 | ✅ 완료 | ✅ |
| DEBT-032 | 완료 | ✅ 완료 | ✅ |
| **누적** | **20%** | **275%** | **✅ GO** |

**Phase 2 추가 요구사항:**
- [ ] 미결제 DEBT 없음
- [ ] DEBT 문서 완료
- [ ] 월별 20% 계획 수립 (Q4)

---

## 🎯 의사결정 프로세스

### Step 1: 데이터 수집 (2026-11-01 ~ 11-03)
```
□ Phase 1 최종 데이터 확보
□ CSV 내보내기 (52주 메트릭)
□ 데이터 품질 검증
```

### Step 2: 개별 검증 (2026-11-04 ~ 11-07)
```
Team PBO: PBO 계산 & 검증
Team DSR: DSR 계산 & 검증
Team OOS: OOS 드리프트 & 검증
Team Audit: 감시 로그 & 검증
Team Debt: 기술부채 최종 정리
```

### Step 3: 통합 판단 (2026-11-08 ~ 11-10)
```
□ 모든 팀 결과 통합
□ 상충 항목 해결
□ 최종 Go/No-Go 판단
□ 리포트 작성
```

### Step 4: 승인 및 서명 (2026-11-11 ~ 11-15)
```
□ CTO 기술 검토 및 승인
□ CFO 최종 재무 검토
□ CEO/COO 최종 의사결정
□ Phase 3 준비 시작
```

---

## 📋 자동화 실행 명령어

### PowerShell (Windows)
```powershell
# 기본 실행
cd D:\JobRoomz\KArtSell.Aegis
.\tools\phase2_automation.ps1

# 샘플 데이터로 테스트
.\tools\phase2_automation.ps1 -DataFile "tools\sample_phase1_data.csv"

# Dry-run 모드 (실제 실행 않음)
.\tools\phase2_automation.ps1 -DryRun
```

### Bash (macOS/Linux)
```bash
# 기본 실행
cd ~/JobRoomz/KArtSell.Aegis
bash tools/phase2_automation.sh

# 사용자 데이터
bash tools/phase2_automation.sh --data data/phase1/actual_data.csv
```

---

## 🔴 실패 시나리오 & 대응

### Scenario A: PBO 실패
```
원인: 백테스트 과최적화
확률: 낮음 (5%)
대응: 모델 매개변수 재조정 + 2-3주 지연
```

### Scenario B: DSR 실패
```
원인: 수익성 부족
확률: 낮음 (10%)
대응: 전략 재평가 + 거래 규칙 조정 + 2-3주 지연
```

### Scenario C: OOS 실패
```
원인: 과적합 또는 시장 변화
확률: 낮음 (15%)
대응: 모델 재검증 + 시장 분석 + 2-3주 지연
```

### Scenario D: Audit 실패
```
원인: 감시 시스템 이상
확률: 매우 낮음 (< 1%)
대응: 긴급 점검 + Compliance 승인 재필요
```

---

## ✅ 최종 체크리스트

### Pre-Phase 2 (지금)
- [x] 데이터 검증 완료
- [x] SQL 쿼리 검증 완료
- [x] 검증 스크립트 테스트 완료
- [x] 리포트 템플릿 준비 완료
- [x] 자동화 도구 준비 완료

### Phase 2 실행 시작 (2026-11-01)
- [ ] 데이터 수집 & 검증
- [ ] 5팀 병렬 검증 실행
- [ ] 개별 리포트 작성
- [ ] 결과 통합 & Go/No-Go 판단
- [ ] CTO/CFO 승인 획득

### Phase 3 이전 (2026-11-20)
- [ ] Phase 3 배포 계획 최종화
- [ ] 롤백 절차 테스트
- [ ] 팀 교육 & 예행연습
- [ ] 모니터링 대시보드 준비
- [ ] 24/7 Support 계획 수립

---

## 🎯 Success Criteria

**Phase 3 Go** 조건:
```
✅ PBO < 20%
✅ DSR > 0.5
✅ OOS < 2.5%
✅ Audit PASS
✅ DEBT 결제 확인
✅ 모든 팀 리포트 제출
✅ CTO 승인
✅ CFO 최종 승인
```

**모든 조건 만족 시:**
```
→ Phase 3: 프로덕션 배포 진행
→ 목표: 2026-11-20 Go-Live
→ 범위: kartsell.taxbaik.com 활성화
```

---

**Document Version:** 1.0  
**Last Updated:** 2026-08-11  
**Next Review:** 2026-11-01  
**Owner:** Architecture Team  
**Status:** ✅ READY FOR PHASE 2 EXECUTION