일반 게임플레이·시네마틱 재구성: 감사와 단계별 개발

이 문서는 요청 전체의 완료 보고가 아니다. 먼저 현재 체크아웃을 감사하고, 기존 구현을 재사용할 수 있는 경계와 첫 구현 범위를 정한다. 동작을 직접 실행한 근거, 원격 소스를 읽은 근거, 제안만 있는 항목을 구분한다.

감사는 2026-10-23의 e40c878 작업 트리에서 수행했다. 아래의 로컬 판정과 기존 측정은 그 시점의 기록이며, 이 문서가 반영된 최신 main 전체의 지원 상태를 뜻하지 않는다. 이후 머지 준비에서는 2c45e7c 기반의 별도 작업 트리에 감사 문서·fixture·평가 스크립트만 옮겼다. 이전 세션의 게임 프리셋·마스크·UI 변경은 원래 작업 트리에 보존했고 이 변경에 포함하지 않았다. 최신 구현의 일반 현황은 기존 재구성 현황, 다중 영상, KLT, MVS 문서와 함께 읽는다.

기준과 첫 단계

• 로컬 HEAD: e40c878809370719faef7dac3e34b80a92c4ce3d, 브랜치 work.
• 이전 세션의 게임 프리셋·HUD 제외·COLMAP 출력 변경이 미커밋 상태로 있다. 따라서 HEAD와 작업 트리의 기능은 같지 않다. 이 변경은 보존한다.
• 조사한 원격 TypeCV: 2c45e7cc9146d675f9a3f999a6875124afe6e70b. 로컬보다 뒤의 KLT, 다중 영상, MVS 구현을 미구현으로 다시 만들지 않는다.
• 조사한 원격 Radiance: 3e4efb3f8b6ba2f1c5d9f21f070493c5c3fdfdd0. 로컬 Radiance 체크아웃은 없다. 소스 읽기와 실행 검증을 구분한다.
• 환경: Linux x86_64, Node 24.19.0, npm 11.9.0. 로컬 TypeShade pin은 212d26d2fb9fb6dd39b72674e537653fb0f7e888이다. 실제 GPU 여부와 실행 결과는 측정 기록에 적는다.

첫 구현 범위는 감사·재현·평가 기반이다. 기존 공개 API, mapper, 브라우저 입력과 GPU 커널의 동작을 바꾸지 않는다. 새로운 라이브러리 없이 기존 reconstructIncremental, triangulateTrack, CPU/GPU 특징점·매칭·기하 API와 scripts/geometry-comparison.mjs의 지도 단위 Sim(3) 평가를 재사용한다. 새 저장소, 이슈 등록, PR 생성·머지, 배포는 이 단계에 포함하지 않는다.

아래 판정은 이번 소스 조사와 실행 기록의 범위에 한정한다.

지원 상태 판정 규칙

지원은 표의 제한된 입력 계약에서 구현과 직접 실행 근거가 있는 경우다. 부분 지원은 일부 계약만 충족한 경우다. 미지원은 조사한 API·제어 흐름에 필요한 경로가 없는 경우다. 확인 불가는 소스·실행·실제 장치 근거가 부족한 경우다. 원격 소스의 존재와 PR의 테스트 설명은 로컬 실행 결과를 대신하지 않는다.

설계 원칙과 다음 단계 인터페이스

Pose, Camera, FeatureTrack, Landmark, SparseReconstruction을 유지한다. 기존 연속 배열과 TypeShade 소유권을 가로지르는 범용 장면 계층을 새로 만들지 않는다. 원격의 HostScene, MapHistory, view graph와 canonical ID를 기준으로 후속 관측 상태 메타데이터를 붙이는 방향을 먼저 검토한다. 아래 항목은 제안이며 새로운 공개 API가 이미 있다는 뜻이 아니다.

위 상태는 직교 축으로 둔다. camera=registered이면서 new depth=deferred일 수 있고, object=identified이면서 shape=unresolved, world trajectory=ambiguous일 수 있다. 보류·제외 이유는 관측을 삭제하는 이유와 구분한다. 공통 마스크와 프레임별 마스크는 원본 pixels를 보존하고 모델 소속 관측만 선택한다.

좌표 계약은 TypeCV의 기존 규약을 따른다: row-major R, world-to-camera q=RX+t, camera center -Rᵀt, +Z 앞쪽, 픽셀 중심은 정수 좌표다. COLMAP 출력은 기존 half-pixel 변환을 쓴다. 새 깊이 fixture의 깊이는 카메라 +Z 좌표이며 광선 거리와 구분한다. 단안 지도 단위는 외부 스케일 근거가 없는 한 임의 단위다.

다음 API 변경의 최소 단위 (아직 구현하지 않음)

기존 RegisteredView/Landmark에 미확정 숫자를 넣지 않고, 기존 view/track ID를 참조하는 별도 evidence 메타데이터를 붙이는 방안을 우선 검토한다. 예를 들어 orientation-only는 reference view와 R을 갖고 t나 depth는 갖지 않는다. map-registered만 기존 RegisteredView와 component ID를 참조한다. unresolved는 관측 ID와 보류 이유만 남긴다. 이 판정은 숫자 confidence 확률을 만들어 붙이는 작업과 구분한다. covariance/interval의 타당성 검증 전에는 uncertainty 수치를 생성하지 않는다. 기존 IncrementalResult의 필드를 삭제하거나 의미를 바꾸지 않는다.

P1은 다음 순서로 작게 나눈다.

1. 기존 calibrated unprojection과 TypeShade/CPU SO(3) 수학으로 rotation-compatible 모델을 적합하고, 2D 잔차·분포와 E/H 모델의 적합을 함께 반환한다. 이 모델이 잘 맞아도 병진 0이라고 증명한 것은 아니므로 translation unobservable을 허용한다.
2. 기존 지도에서 충분히 분포한 점의 PnP가 성립하면 full pose를 등록한다. 새 점의 깊이 생성은 별도 decision이며 orientation-only pose를 삼각측량에 보내지 않는다.
3. raw/2D-verified/structure-verified edges를 구분해 관측을 보존한다. 더 뒤의 등록 카메라와 그 점의 재관측이 생겼을 때만 기존 triangulateTrack을 재호출한다.
4. rotation-compatible edge에 temporal track이 유지되는지, 초기화를 지연한 상태가 다음 입력을 받아 계속되는지 검사한다. 현재 offline 재실행 성공으로 이 게이트를 대체하지 않는다. GPU 수치 경로는 기존 CPU/TypeShade oracle과 차등 검증한다.

P2의 첫 단위는 알려진 resize/crop transform과 한 개의 일관된 projection region 선택이다. 이후 구간별 공유 log-focal scale와 필요 시 smoothness를 검토하며, 검출된 조준 전환·컷을 가로질러 smoothness를 강제하지 않는다. 스코프 안팎을 별도 virtual views로 만들더라도 같은 카메라 시점의 회전·중심을 묶지 않은 채 두 독립 카메라로 BA에 보내면 가짜 baseline을 만들 수 있다. 그래서 초기 범위는 단일 region 선택이며, 공동 region 최적화는 별도 제약 설계 이후다. 카메라 자세 이동은 K 변화와 별도로 허용한다. 잘 알려진 K 모드와 영상으로 K를 추정하는 모드는 결과 provenance가 다르다.

강체 객체의 영상은 x ~ K · T_world_to_camera(t) · T_object_to_world(t) · X_object로 다룬다. 대상만 보이면 주로 두 변환의 곱이 제약된다. 배경으로 카메라를 추정했어도 대상의 크기·깊이·운동에 별도 모호성이 남을 수 있으므로, world pose를 항상 채우지 않는다. 알려진 크기/지면/깊이/운동 사전의 사용 근거를 명시한다. 사람은 root movement와 joint/deformation state를 분리하고 전체를 하나의 rigid cloud로 승인하지 않는다.

단계별 순서와 완료 조건

동적 전경·HUD·관측 상태처럼 앞 단계의 카메라 추적을 보호하는 작업은 위 번호보다 먼저 들어갈 수 있다. P1 이후 구현은 오래된 로컬 mapper를 대규모 수정하기 전에 원격 구현과의 통합 기준을 먼저 정해야 한다. 이번 단계는 이를 자동 병합하지 않는다.

입력 현상별 관측 정책

검증 시나리오와 단계별 게이트

대규모 데이터·실제 클립의 합격치는 첫 렌더 기준 측정 이후 고정한다. 사람·차량의 semantic 식별, 컷 검출 모델, 비강체 모델의 도입은 첫 단계에서 검증된 것으로 집계하지 않는다. 공개 합성 데이터의 GT는 evaluator에만 제공한다. MVS-Synth는 외부행렬의 det=-1 및 infinite depth를 확인하고, TartanAir도 원 camera/depth 규약을 변환한 뒤 사용해야 한다. 이번 단계에서는 두 데이터를 다운로드하거나 성능 근거로 사용하지 않는다.

실행 기록과 현황 표

최신 main에 반영하기 전 재검증

사용자의 머지 요청 후 2c45e7cc9146d675f9a3f999a6875124afe6e70b 기반의 별도 작업 트리에서 신규 회귀 테스트 5개를 그대로 실행해 통과했다. 기존 구현을 수정하지 않고 같은 API로 실행한 기하 재검증도 12개 제한 게이트를 통과했으며 잘못된 구조 확정은 0개였다. 이는 전체 시나리오 지원 판정이 아니라 알려진 K·제공된 대응점 조건의 검사다.

RGB 재검증에서도 이동 5/5프레임·234점을 얻었고, 지도별 단일 Sim(3) 이후 최대 회전 오차는 약 2.515°, 카메라 중심 RMSE는 0.003162 fixture 단위였다. 순수 회전과 회전+줌은 각각 초기화를 거부해 점을 생성하지 않았다. 알려진 K, 추정한 RGB 특징점·대응점, 마스크 없음, SwiftShader 소프트웨어 WebGPU 조건이다. 이 실행은 다른 검사와 동시에 수행했으므로 이전 측정과의 성능 비교나 가속 근거로 사용하지 않는다.

머지 전 검증 기록에 명령·소스/런타임 해시와 원래 작업 트리 보존을 기록했다. 코어 254개(신규 5개 포함), 타입·포맷 검사, 라이브러리·77페이지 웹사이트 빌드, Astro 검사와 정적 링크 검사를 통과했다. 변경하지 않은 전체 TypeShade CPU 모음의 로컬 재실행은 중단했으며 전체 npm run check 통과로 집계하지 않는다. 기준 SHA의 기존 CI는 Node 22/24와 WebGPU 모두 통과했다. 새 PR의 전체 CI 결과는 GitHub에서 별도로 확인하며, 이 로컬 기록으로 통과를 대신 주장하지 않는다.

감사 당시 작업 트리의 근거

근거 파일은 기하 측정, RGB 측정, 기존 영상 프레임의 cold/warm 측정, 원격 소스·PR 스냅샷, 실행 명령·소스 해시·기존 변경 보존 기록이다. 로컬 경로는 HEAD에 이전 세션의 미커밋 변경을 더한 작업 트리를 뜻한다. 원격 열의 코드는 조사한 SHA에서 읽었고 실행하지 않았다.

이번 단계에서 npm test 68개(신규 5개 포함), npm run test:shade 54개가 통과했다. 후자는 TypeShade CPU IR 검증이다. typecheck·format check·라이브러리 빌드·웹사이트 43개 페이지 빌드와 정적 링크 검사도 통과했다. 전체 UI 테스트와 전체 WebGPU 테스트 모음은 이번 단계에서 다시 실행하지 않았으며, 아래 RGB 측정 3개와 기존 파이프라인의 cold/warm 측정은 SwiftShader에서 직접 실행했다.

재현에서 확인한 조건과 원인 가설

정확한 대응점 fixture는 geometry의 입력 계약만 검사한다. 렌더 RGB에서는 특징점· 대응점도 실제로 추정했다. 두 결과의 등록률을 합산하거나 RGB-only 성능으로 바꿔 부르지 않는다.

기하 fixture의 S01은 한 지도 정렬 이후 center RMSE 약 1.58e-12, point RMSE 약 2.44e-10, 최대 회전차 약 1.21e-6°였다. 이는 noiseless known K와 제공된 대응점의 결과다. RGB 방의 결과와 동일한 난도의 실험이 아니다. S15는 카메라 중심이 두 개뿐이어서 기존 평가기가 Sim(3) 회전 정렬을 unavailable로 남긴다. 프레임별 정렬이나 임의 정렬로 숫자를 채우지 않았다.

실행 경계·측정과 병목

이번 장치는 Google SwiftShader 소프트웨어 WebGPU다. native GPU 속도·메모리나 native fallback의 성능을 측정했다고 주장하지 않는다. CPU는 독립 f64 기하 참조이며, TypeShade CPU tier의 동일 IR 실행과도 구분한다.

noiseless geometry 회귀의 사전 게이트는 한 지도 gauge에서 회전행렬 Frobenius 오차 <1e-6, 중심 오차 <1e-5, 점 오차 <1e-4 fixture unit이다. 회전/평면/저시차/보정된 줌은 안정 seed가 없어야 하고, S03의 미재관측 점 생성은 0, S16의 cross-component landmark는 0이어야 한다. RGB quality gate를 측정 뒤에 맞춰 만들지 않았다. 이번 RGB 수치는 진단 기준선이며, broad acceptance gate는 노이즈·경로·장면을 늘리고 고정한 뒤 다음 구현에 적용해야 한다.

RGB 정적 방의 첫 실행(5장, 320×240, max 1,000 pyramid FAST/BRIEF, known K):

기존 피라미드 8장 동일 입력으로 별도 측정한 cold/warm 결과:

이 경우 첫 geometry shader compile 영향이 크다. warm에서는 특징점 단계가 약 54%다. 1회 warm 표본으로 최적 설정이나 native speedup을 주장하지 않는다. 같은 대응점의 CPU 기하는 556.8 ms였으나, 이는 features·매칭을 제외하므로 위 GPU 전체 시간과 직접적인 가속비를 만들지 않는다. CPU/GPU는 등록 집합·순서· 초기 pair·점/관측 개수가 같았고 평균 재투영 오차 차이는 약 1.55e-6 px였다. 이 비교는 CPU/GPU 수치 일관성이지 원본 장면의 정답 정확도는 아니다.

기존 renderer/worker는 descriptor를 매 pair마다 전체 readback하지 않지만, keypoints·compact matches와 mapper의 graph/control·packing은 host에 있다. 새 RGB probe는 작은 5장 실험이라 모든 descriptor를 match 종료까지 보유한다. 운영 worker는 videoPairSchedule.lastUse에 따라 마지막 사용 뒤 해제한다. probe의 lifetime을 운영용 무제한 영상 설계로 복사하면 안 된다.

원격 #198의 GPU 시간 계측 수정 이전 로컬이므로 kernel 시간 합은 사용하지 않았다. 현재 자료는 stage wall time·application counters다. 다음 최적화 실험은 원격 SIFT/KLT, 실제 장치 정보·streaming을 통합한 동일 입력에서 warm 표본·순서를 바꿔 반복하고, geometry·등록·보류 상태 불변을 함께 확인해야 한다.

중복 작업 방지와 로컬 하위 작업 분해

GitHub 검색 시점의 공개 검색 결과에는 TypeCV 이슈 #160(장치 예산)이 있었고, 동일 목적의 일반 게임플레이 상위 이슈는 검색 결과에서 찾지 못했다. 검색은 접근 가능 범위의 유한 스냅샷이다. 이번에 외부 이슈를 새로 만들거나 수정하지 않았다.

• G0 (이번 단계): 이 문서·fixtures·측정. 기존 PR #200의 현황 정리와 달리 오래된 로컬 작업 트리 및 S01–S20 요구의 조건을 대조한다.
• G1: 원격 기준 통합 범위 정리. #24/#40의 scene/history, #116/#130의 gate/KLT, #137–143의 ID/retrieval/component mapper, #162의 focal search를 재사용한다. #15는 closed draft이고 merged 아님; 구현 완료 근거로 쓰지 않는다.
• G2: rotation tracking evidence와 deferred observations의 최소 계약. G1 뒤 geometry·tracking edge의 역할을 분리하고 S02/S03·no-reobservation 대조를 통과시킨다.
• G3: intrinsics group/region·change point. 기존 CPU focal group을 확장하며 GPU group·zoom smoothness는 지원 조건을 따로 고정한다.
• G4: cut 후보·혼합 프레임·edit timeline을 view graph에 연결. 독립 gauge와 여러 샷의 공동 seed를 유지하고, 검증된 Sim(3) 제약만 병합에 사용한다.
• G5: foreground association·rigid local geometry와 object-relative motion. 대상만 있는 경우 gauge/scale 모호성을 결과 상태로 남긴다.
• G6: skeletal/nonrigid priors 및 Radiance 연결. Radiance #67의 merged draft와 실제 구현을 구분하고 PerspectiveCamera의 수직 FOV와 TypeCV K를 변환한다. 현재 API의 중심 주점 pinhole 범위 밖 crop·distortion은 호환성 검사 후 보류한다.
• G7: 실제 GPU·실제 RGB 클립 평가. #160/#167/#198/#208/#210의 작업을 복제하지 않고, 그 코드와 측정 체계를 재사용한다. PR #212는 이번 조사 시점 open이며 최종 observation filtering/history 정합성 작업이다. 같은 수정 이슈를 중복 생성하지 않는다.

G0는 G1의 자동 merge/rebase를 요구하지 않는다. G2–G7은 설계·게이트이며 이번 구현의 지원 목록이 아니다. Radiance의 합성 렌더러를 새로 만드는 대신, 이번에 추가한 작은 analytic room은 테스트 데이터 생성 전용이다. 장기 RGB fixture 생성에는 Radiance의 기존 renderer를 사용할 수 있는 버전·카메라 계약을 먼저 맞출 것이다.

재현 명령과 정답 분리

npm run build
node --test tests/general-video.test.ts
node scripts/benchmark-general-video.mjs --render-dir=data/general-video-fixtures
TYPESHADE_CHROMIUM=/usr/bin/chromium node scripts/probe-general-video-rgb.mjs
TYPESHADE_CHROMIUM=/usr/bin/chromium node scripts/benchmark-sfm-pyramid-e2e.mjs \
  --warm-runs=1 --timestamps=0 \
  --output=docs/experiments/general-video/pyramid-software.json

data/general-video-fixtures/<case>/input/frames.json과 PNG만 RGB 입력이다. known-calibration.json은 known K 실험에서만 명시적으로 제공한다. truth/evaluation-only.json과 .f32 depth는 evaluator 전용이며 RGB inference 경계로 보내지 않는다. shape·depth·GT poses·합성 identity matches·샷 label도 RGB probe의 browser 인자로 보내지 않는다. geometry benchmark의 합성 대응점 모드는 따로 표기한다. RGB renderer의 실제 표면과 geometry-only 점군은 서로 다른 fixture이므로 점군 정답을 RGB 표면의 정답처럼 사용하지 않는다.

검증 범위 밖은 S07–S14, S17–S20의 실제 검출/추적/재지역화·동적 재구성, unknown-intrinsics RGB zoom, 원격 main의 실행, 실제 게임 클립 및 native GPU다. 원본 게임 메시·토폴로지·머티리얼·로직 복원이나 Radiance 학습 완료를 주장하지 않는다.

MVS-Synth의 좌표/무한 깊이 주의사항은 공식 데이터 형식을 확인했다. TartanAir의 stereo/depth/pose 제공은 공식 소개로 확인했으며, 여기서 단안 RGB 입력만 사용할 실험은 그 modality들을 inference에서 배제해야 한다. OpenCV의 H 설명과 COLMAP의 보정·등록·병합 설명은 후속 설계 참고이며, 그 구현이나 논문의 성공을 이번 게임 영상의 성공률로 집계하지 않았다.