kjh2064/KArtSell.Aegis

Files

T

kjh2064 8f1ff34cc9 Phase 2 준비 완료: 검증 스크립트 재작성 & 자동화 도구

- Task 3: phase2_verification_scripts.py 테스트 (샘플 데이터) ✅
- Task 4: 5개 리포트 템플릿 작성 ✅
- Task 5: SQL 쿼리 검증 (실제 데이터) - 메트릭 데이터 미채움 확인 ✅
- Task 6: 자동화 도구 & Go/No-Go 기준 통합 ✅

발견 사항:
• Phase 1: 304개 행 생성 (9일 누적)
• 문제: metrics_json 필드 모두 비어있음 (0%)
• 영향: Phase 2 검증 불가능 (데이터 필요)
• 상태: 2026-11-01 재검증 예정

AGENTS.md v16.0 준수:
✅ 정공법: 근본 원인 분석 (메트릭 미저장)
✅ 현장감: 실제 데이터 검증
✅ 과유불급: 필요한 준비만 완료
✅ 재현성: 모든 스크립트 버전 관리

Co-Authored-By: Claude Haiku 4.5 <noreply@anthropic.com>

2026-08-11 20:23:05 +09:00

4.1 KiB

Raw Blame History

PBO 검증 리포트: Probability of Backtest Overfit

Team: PBO Quantitative Analysis
Date: [실행 날짜]
Period: Phase 1 Shadow Run Data (252+ trading days)

📊 Executive Summary

Metric: Probability of Backtest Overfit (PBO)

공식: PBO = 1 - (OOS_Sharpe / IS_Sharpe)
목표 범위: < 20%
해석: PBO가 낮을수록 백테스트 과최적화가 적음

Result Status

PBO: _____ %
Expected: < 20%
Status: [✅ PASS] / [❌ FAIL]
Confidence: _____% (95%+)

📈 Methodology

데이터 소스

기간: Phase 1 자동 실행 (50-90일 누적)
대상: 전체 Shadow Run 데이터
포함: In-Sample (IS) vs Out-of-Sample (OOS) 반환

계산 과정

1단계: Sharpe Ratio 계산

-- In-Sample Sharpe
IS_Sharpe = mean(IS_return) / std(IS_return)

-- Out-of-Sample Sharpe
OOS_Sharpe = mean(OOS_return) / std(OOS_return)

2단계: PBO 산출

PBO = 1 - (OOS_Sharpe / IS_Sharpe)
PBO_Percentage = PBO × 100

검증 방법

데이터 null 체크
Sharpe 비율 유효성 검증
신뢰 구간 (95%) 계산
월별 추이 분석

📊 Results

핵심 지표

메트릭	값	해석
IS Sharpe	_____	In-Sample 위험조정 성과
OOS Sharpe	_____	Out-of-Sample 위험조정 성과
PBO (%)	_____	백테스트 과최적화 확률
신뢰도	_____%	통계적 신뢰도

데이터 품질

항목	상태	비고
데이터 행 수	_____	최소 252+ 필요
Null 값	_____	0 권장
이상치	_____	필터링 여부
기간 일관성	[✅] / [❌]	Trading days 연속성

월별 추이

월     IS Sharpe   OOS Sharpe   PBO (%)   상태
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
[월]   _______     _______     ______   [  ]
[월]   _______     _______     ______   [  ]
[월]   _______     _______     ______   [  ]

🎯 Validation & Decision

Go/No-Go 기준

PBO < 20% ?
  YES ✅ → PASS (Phase 3 진행 가능)
  NO  ❌ → FAIL (모델 재조정 필요)

VERDICT

PBO Status: [✅ PASS] / [❌ FAIL]

근거:

PBO 값: _____ %
임계값: 20%
차이: _____% (여유/초과)

🔍 Risk Factors & Mitigation

식별된 위험

위험 요소	확률	영향	대응 방안
IS/OOS 성과 큰 차이	낮음	높음	모델 검토
데이터 부족	낮음	높음	기간 연장
시장 체제 변화	중간	높음	재검증

신뢰도 제약

Sharpe 비율의 신뢰 구간: _____ ~ _____
필요한 데이터 포인트: 252+ (현재: _____)
부족 기간: _____ 일

📋 Recommendation

Phase 3 진행 가능 여부

Status: [GO] / [NO-GO] / [CONDITIONAL]

조건 (해당 시):

OOS Sharpe 최소 _____% 개선
추가 _____일 데이터 수집
시장 리스크 조정

추가 조치사항

모니터링:
- 월별 PBO 추이 추적
- IS/OOS 갭 변화 관찰
재검증:
- [날짜]에 PBO 재산출
- 연간 review 예정

✅ Approval

Team Lead: _________________
Date: ___________
Signature: _________________

CTO Review: [ ] Approved [ ] Conditional [ ] Rejected
CFO Review: [ ] Approved [ ] Conditional [ ] Rejected

📎 Appendix

A. 상세 계산식

Sharpe Ratio = (평균 수익률 - 무위험률) / 표준편차
(무위험률 = 0 가정)

PBO = 1 - (OOS Sharpe / IS Sharpe)
PBO < 0: Over-optimization (OOS > IS)
PBO > 0: Under-optimization (OOS < IS)

B. SQL 쿼리

SELECT
  AVG(is_return) / NULLIF(STDDEV(is_return), 0) as is_sharpe,
  AVG(oos_return) / NULLIF(STDDEV(oos_return), 0) as oos_sharpe
FROM phase_1_metrics
WHERE published_at <= @cutoff
  AND is_return IS NOT NULL
  AND oos_return IS NOT NULL;

C. Python 검증

python phase2_verification_scripts.py <data_file> --metric pbo

Report Status: [DRAFT] / [FINAL]
Version: 1.0
Last Updated: [날짜]

4.1 KiB Raw Blame History Unescape Escape