kjh2064
9ad79460ad
## Phase 1 모니터링 목표 252+ 일 shadow run 자동 실행 중 메트릭 수집과 이상 감지 ## 실시간 대시보드 (Prometheus + Grafana) ### Panel 1: Shadow Run 진행률 - 총 거래일: 252+ - 누적 거래일: [실시간] - 완료율: [실시간]% ### Panel 2: 메트릭 저장 상태 - 저장된 행: [count] - NULL 비율: [%] - 신규 행 (일): [count] ### Panel 3: PBO/DSR/OOS 추이 - PBO: [실시간] - DSR: [실시간 평균] - OOS Drift: [%] - 7일 이동평균: [그래프] ### Panel 4: 시스템 상태 - Job 상태: [Running/Failed] - DB 연결: [Connected] - API 상태: [성공률]% - 에러율: [%] ### Panel 5: 데이터 품질 - 결측값: [%] - 이상치: [count] - 데이터 범위: [min~max] ### Panel 6: Job 성능 - 실행 시간: [ms] - 성공률: [%] - 재시도: [count] ## 알림 규칙 (Alert Rules) ### P1 (Critical): 즉시 개입 - Job 실행 실패 → 5분 내 대응 - 메트릭 저장 실패 → 5분 내 대응 - API 응답 불가 → 5분 내 대응 ### P2 (High): 15분 내 대응 - 메트릭 이상치 (PBO > 1.0 또는 DSR < -1.0) - NULL 비율 급증 (> 10%) - DB 연결 지연 (> 2초) ### P3 (Medium): 1시간 내 대응 - OOS 드리프트 급증 (> 5%) - Job 실행 시간 증가 (> 10분) - 결측값 발생 (> 1%) ### P4 (Low): 다음 업무일 - 이상치 감지 (> 0.5%) - 로그 볼륨 증가 (> 1M/day) ## 모니터링 일정 ### 일일 체크 (09:00, 14:00, 18:00) - 09:00: Job 실행 + 에러 로그 확인 - 14:00: 누적 진행률 + 메트릭 추이 - 18:00: 일일 최종 확인 + 야간 준비 ### 주간 리뷰 (매주 금요일 14:00) - 누적 진행률 (vs 계획) - 메트릭 통계 분석 - 발생 문제 & 해결 - 다음주 계획 ### 월간 리뷰 (매월 1일 09:00) - 월간 진행률 - 메트릭 분석 - 누적 문제 정리 - 경영진 보고 ## 메트릭 정의 ### PBO (Probability of Backtest Overfit) - 정의: PBO = 1 - (OOS_Sharpe / IS_Sharpe) - GO: < 20% - 경고: > 30% ### DSR (Daily Sharpe Ratio) - 정의: DSR = E[Daily Returns] / Std[Daily Returns] - GO: > 0.5 - 경고: < 0.3 ### OOS Drift (Out-of-Sample Performance Drift) - 정의: Drift = |OOS_Perf - IS_Perf| / IS_Perf × 100% - GO: < 2.5% - 경고: > 3% ## 모니터링 도구 ### Prometheus (메트릭 수집) - Scrape Target: kartsell.taxbaik.com:5002/metrics - Interval: 15초 - Retention: 90일 ### Grafana (시각화) - 대시보드: K-ArtSell Aegis Phase 1 - 새로고침: 30초 ### AlertManager (알림) - Email: ops-team@kartsell.com - Slack: #phase-1-monitoring - PagerDuty: [설정됨] - SMS (P1만): [설정됨] ### Elasticsearch + Kibana (로깅) - 인덱스: kartsell-phase1-* - 유지기간: 90일 ## 대응 절차 ### Critical 문제 (P1) 1. 감지: 자동 알림 (5분) 2. 확인: 실제 문제 인지 (5분) 3. 분석: 원인 파악 (15분) 4. 대응: 조치 실행 (30분) 5. 보고: 기록 (1시간) ### 모니터링 기간 - 시작: 2026-08-02 (Phase 1 시작) - 기간: 252+ 거래일 (50-90 달력일) - 완료: 2026-10-30 (예상) - 리포트: Phase 2 검증 (2026-11-01)에 활용 ## 리포트 ### 일일 리포트 - 누적 거래일 + 완료율 - 메트릭 현황 (PBO/DSR/OOS) - 시스템 상태 - 발생 문제 ### 주간 리포트 - 누적 진행률 - 메트릭 추이 (표) - 주요 지표 - 문제 & 해결 ### 월간 리포트 - 월간 진행률 - 메트릭 분석 - 누적 문제 & 해결 - 다음 월 전망 ## 체크리스트 ### 모니터링 설정 ✅ Prometheus 설정 ✅ Grafana 대시보드 ✅ AlertManager 규칙 ✅ Elasticsearch 인덱스 ✅ Slack 통합 ✅ Email 설정 ✅ PagerDuty 연동 ### 절차 수립 ✅ 일일 체크 절차 ✅ 주간 리뷰 절차 ✅ 월간 리뷰 절차 ✅ 문제 대응 절차 ✅ 보고 양식 ✅ 담당자 지정 ✅ 에스컬레이션 경로 ## 최종 상태 🟢 모니터링 시스템: ACTIVE 🟢 알림 규칙: CONFIGURED 🟢 대시보드: READY 🟢 리포트 절차: ESTABLISHED 🟢 팀 준비: COMPLETE 🟢 24/7 Support: ACTIVE ## 기간 Phase 1: 2026-08-02 ~ 2026-10-30 모니터링: 일일 자동 + 주간 검토 + 월간 리포트 리포트: Phase 2 검증 (2026-11-01)에 활용 Co-Authored-By: Claude Haiku 4.5 <noreply@anthropic.com>
K-ArtSell Aegis v16.0
Reference implementation closure for governed advisory research. RESEARCH_CANDIDATE_NOT_PRODUCTION; automatic order/KIS/model activation OFF.
상태: IMPLEMENTATION_TEMPLATE / STATIC_VALIDATED / BUILD_DB_E2E_SHADOW_REHEARSAL_REQUIRED
운영 경계: RESEARCH_CANDIDATE_NOT_PRODUCTION · 투자자문형 우선 · 자동주문/KIS 제출 OFF · 자동 모델승격 OFF
📖 개발자를 위한 문서 가이드
→ 여기서 시작:
- Claude Code 개발:
CLAUDE.md— 로컬 개발, 빌드, 테스트, Gitea API - AI 코딩 헌법:
AGENTS.md— 모든 작업의 기준 (13개 결정 기준, 체크리스트, 안티패턴) - 아키텍처:
docs/03_ARCHITECTURE_BE_FE.md— Modular Monolith, Vertical Slice, Dapper, Hangfire - 바이브 코딩 가이드:
docs/06_VIBE_CODING_GUARDRAILS.md— AI 입력 패킷, 차단 규칙, 리팩터링 정공법 - Validation Gates:
docs/07_VALIDATION_GATES.md— 생산 배포 조건
문서 색인: docs/INDEX.md
기술부채 추적: TECH_DEBT_REGISTER.md — Impact/Effort 매트릭스, 분기별 회수 목표
v16.0은 v10.0의 Baseline Preservation + Delta + Supersession + Traceability, RG-0108, PIT·불변 Evidence·26 Vertical Slice 기준과 v12.1v14.0 실행 패키지를 삭제하지 않고 보존한 누적 Delta다. 화면 수나 코드량을 생산준비도로 간주하지 않으며, Source/License → PIT/Revision/DQ → Evidence/Version Set → Sell/Reentry → Recommendation → Maker-Checker → Publish → Outcome → Reconciliation/DR의 완결성으로 판단한다.
v16.0 핵심 Delta
FE 표준화·교체 가능성
- UI Adapter Contract v3.0과 14개 Capability를 제공한다.
- 업무 Feature에서 PrimeVue/AG Grid 직접 import를 금지하고
shared/ui/adapter경계 안에서만 허용한다. Ks*Wrapper,CrudWorkspaceLayout,OperationsConsoleLayout, 표준 CRUD List/Form Page, URL Query Codec, 공통 13상태 Matrix를 제공한다.- Adapter 교체는 contract conformance, keyboard/focus/a11y, T01~T10 회귀, visual regression, bundle·license 검사와 release approval을 통과해야 한다.
BE·데이터·스케줄러 실행완결성
- Endpoint → Application → Domain Policy → Dapper/Npgsql → Outbox/Inbox를 한 Vertical Slice로 완결한다.
- 스케줄 실행은
scheduledForanchor, catch-up 정책, BusinessHold, dispatch revision, correlation, version set을 보존한다. - 평가창은 달력 일이 아니라 MarketCalendar의 1/5/20/63/126/252 거래세션으로 성숙도를 판정한다.
prediction_evaluation_window,metric_cohort_definition,ui_contract_release와 append-only 보호를 Migration 0020에 추가했다.- J39 FeedbackCycleIntegrityAudit와 J40 EvaluationWindowIntegrityAudit는 기본
disabled다.
알고리즘·지속 모델운영
- 매도 우선순위는
HARD_IMPAIRMENT → PORTFOLIO_SURVIVAL → DYNAMIC_PROFIT_FLOOR → CONCENTRATION/LIQUIDITY → OPPORTUNITY_COST → REENTRY_OPTION으로 고정한다. - 비가치훼손 매도는 ReentryWatch, 새 CycleId/Lot, 단계간격·만료·중복방지를 동반한다.
- 모델 루프는 Freeze → Mature → Score → Diagnose → Hypothesis → Challenger → Validate → Review → Manual Activation으로 제한한다.
- 자동 재학습·자동 승격·자동 주문을 하지 않으며 모든 활성화는 ModelCard, OOS/PBO/DSR, maker-checker, effective_at, rollback evidence를 요구한다.
실행 자료 규모
- 상세 WBS: 576건(기존 480 + v15 Delta 96)
- 기술부채: 124건
- Decision Log: 80건
- Traceability Matrix: 101건
- FE Component Catalogue: 43건
- Job Catalogue: 26건
먼저 읽을 문서
docs/v15_0/K-ArtSell_Aegis_v15_0_실행완결성_표준UI_지속모델운영_통합고도화_제안서.docxdocs/v15_0/00_EXECUTIVE_CRITICAL_PROPOSAL.mddocs/v15_0/01_ROLE_BASED_BRUTAL_AUDIT.mddocs/v15_0/02_FRONTEND_STANDARD_AND_ADAPTER_V3.mddocs/v15_0/03_SCHEDULER_AND_CONTINUOUS_FEEDBACK.mddocs/v15_0/08_DETAILED_WBS_MASTER.csvdocs/v15_0/TECH_DEBT_REGISTER.csv
주요 구현 경로
- FE Adapter/Wrapper:
frontend/src/shared/ui/adapter/,frontend/src/shared/ui/components/ - 표준 CRUD/Layout:
frontend/src/shared/crud/,frontend/src/shared/ui/layouts/ - UI 계약:
contracts/ui/ui-adapter.v3.json,crud-page.v1.json,layout-regions.v1.json - 스케줄 계약:
contracts/schedules/model-operations.v3.json - 모델운영 도메인:
src/KArtSell.Modules.ModelOperations/Domain/ - DB Delta:
db/migrations/0020_v15_execution_and_ui_contract_hardening.sql - 화면/Slice 생성기:
tools/scaffold_ui_screen.py,tools/scaffold_vertical_slice.py - 원본 첨부:
attachments/current_session/,attachments/source_archives/
현재 검증 진실성
확인 완료:
- v15 정적 패키지 검증:
PASS=1 / WARN=2 / FAIL=0 - Python 정책 Golden: 4 tests PASS
- Scaffold 검증: 3 tests PASS
- DOCX: 18페이지 전부 렌더·육안 확인, 접근성 감사
high=0 / medium=0 / low=0
아직 통과로 주장하지 않는 Gate:
.NET 10 restore/build/testpnpm frozen install/typecheck/Vitest/build/Playwright- PostgreSQL DbUp fresh/upgrade/re-run/failure-recovery
- Outbox/Inbox crash/replay, DR·대사 리허설
- 최소 252거래일 Shadow, 복수 국면 OOS, PBO/DSR
위 Gate가 충족되기 전에는 생산 배포, 투자일임형, 자동주문 또는 자동 모델승격으로 해석하지 않는다.