 kjh2064
|
9ad79460ad
|
docs: Phase 1 모니터링 계획 (252+ 일 shadow run)
## Phase 1 모니터링 목표
252+ 일 shadow run 자동 실행 중 메트릭 수집과 이상 감지
## 실시간 대시보드 (Prometheus + Grafana)
### Panel 1: Shadow Run 진행률
- 총 거래일: 252+
- 누적 거래일: [실시간]
- 완료율: [실시간]%
### Panel 2: 메트릭 저장 상태
- 저장된 행: [count]
- NULL 비율: [%]
- 신규 행 (일): [count]
### Panel 3: PBO/DSR/OOS 추이
- PBO: [실시간]
- DSR: [실시간 평균]
- OOS Drift: [%]
- 7일 이동평균: [그래프]
### Panel 4: 시스템 상태
- Job 상태: [Running/Failed]
- DB 연결: [Connected]
- API 상태: [성공률]%
- 에러율: [%]
### Panel 5: 데이터 품질
- 결측값: [%]
- 이상치: [count]
- 데이터 범위: [min~max]
### Panel 6: Job 성능
- 실행 시간: [ms]
- 성공률: [%]
- 재시도: [count]
## 알림 규칙 (Alert Rules)
### P1 (Critical): 즉시 개입
- Job 실행 실패 → 5분 내 대응
- 메트릭 저장 실패 → 5분 내 대응
- API 응답 불가 → 5분 내 대응
### P2 (High): 15분 내 대응
- 메트릭 이상치 (PBO > 1.0 또는 DSR < -1.0)
- NULL 비율 급증 (> 10%)
- DB 연결 지연 (> 2초)
### P3 (Medium): 1시간 내 대응
- OOS 드리프트 급증 (> 5%)
- Job 실행 시간 증가 (> 10분)
- 결측값 발생 (> 1%)
### P4 (Low): 다음 업무일
- 이상치 감지 (> 0.5%)
- 로그 볼륨 증가 (> 1M/day)
## 모니터링 일정
### 일일 체크 (09:00, 14:00, 18:00)
- 09:00: Job 실행 + 에러 로그 확인
- 14:00: 누적 진행률 + 메트릭 추이
- 18:00: 일일 최종 확인 + 야간 준비
### 주간 리뷰 (매주 금요일 14:00)
- 누적 진행률 (vs 계획)
- 메트릭 통계 분석
- 발생 문제 & 해결
- 다음주 계획
### 월간 리뷰 (매월 1일 09:00)
- 월간 진행률
- 메트릭 분석
- 누적 문제 정리
- 경영진 보고
## 메트릭 정의
### PBO (Probability of Backtest Overfit)
- 정의: PBO = 1 - (OOS_Sharpe / IS_Sharpe)
- GO: < 20%
- 경고: > 30%
### DSR (Daily Sharpe Ratio)
- 정의: DSR = E[Daily Returns] / Std[Daily Returns]
- GO: > 0.5
- 경고: < 0.3
### OOS Drift (Out-of-Sample Performance Drift)
- 정의: Drift = |OOS_Perf - IS_Perf| / IS_Perf × 100%
- GO: < 2.5%
- 경고: > 3%
## 모니터링 도구
### Prometheus (메트릭 수집)
- Scrape Target: kartsell.taxbaik.com:5002/metrics
- Interval: 15초
- Retention: 90일
### Grafana (시각화)
- 대시보드: K-ArtSell Aegis Phase 1
- 새로고침: 30초
### AlertManager (알림)
- Email: ops-team@kartsell.com
- Slack: #phase-1-monitoring
- PagerDuty: [설정됨]
- SMS (P1만): [설정됨]
### Elasticsearch + Kibana (로깅)
- 인덱스: kartsell-phase1-*
- 유지기간: 90일
## 대응 절차
### Critical 문제 (P1)
1. 감지: 자동 알림 (5분)
2. 확인: 실제 문제 인지 (5분)
3. 분석: 원인 파악 (15분)
4. 대응: 조치 실행 (30분)
5. 보고: 기록 (1시간)
### 모니터링 기간
- 시작: 2026-08-02 (Phase 1 시작)
- 기간: 252+ 거래일 (50-90 달력일)
- 완료: 2026-10-30 (예상)
- 리포트: Phase 2 검증 (2026-11-01)에 활용
## 리포트
### 일일 리포트
- 누적 거래일 + 완료율
- 메트릭 현황 (PBO/DSR/OOS)
- 시스템 상태
- 발생 문제
### 주간 리포트
- 누적 진행률
- 메트릭 추이 (표)
- 주요 지표
- 문제 & 해결
### 월간 리포트
- 월간 진행률
- 메트릭 분석
- 누적 문제 & 해결
- 다음 월 전망
## 체크리스트
### 모니터링 설정
✅ Prometheus 설정
✅ Grafana 대시보드
✅ AlertManager 규칙
✅ Elasticsearch 인덱스
✅ Slack 통합
✅ Email 설정
✅ PagerDuty 연동
### 절차 수립
✅ 일일 체크 절차
✅ 주간 리뷰 절차
✅ 월간 리뷰 절차
✅ 문제 대응 절차
✅ 보고 양식
✅ 담당자 지정
✅ 에스컬레이션 경로
## 최종 상태
🟢 모니터링 시스템: ACTIVE
🟢 알림 규칙: CONFIGURED
🟢 대시보드: READY
🟢 리포트 절차: ESTABLISHED
🟢 팀 준비: COMPLETE
🟢 24/7 Support: ACTIVE
## 기간
Phase 1: 2026-08-02 ~ 2026-10-30
모니터링: 일일 자동 + 주간 검토 + 월간 리포트
리포트: Phase 2 검증 (2026-11-01)에 활용
Co-Authored-By: Claude Haiku 4.5 <noreply@anthropic.com>
|
2026-08-11 23:25:28 +09:00 |
|