작품의 핵심은 유지
언리얼 장면, 서사, 시각·음향 반응 규칙은 공통 콘텐츠 패키지로 유지한다.
개발의 출발점: 작품의 글로벌 유통
목표는 특정 전시장과 고가 장비에 묶인 단일 설치물이 아니라, 언리얼 콘텐츠와 인터랙션 규칙을 패키지화해 여러 도시와 전시장에 반복 유통할 수 있는 작품 구조를 만드는 것이다.
장비만 간단히 현지화
현지 디스플레이의 해상도·비율과 일반 RGB 웹캠의 위치·화각을 짧은 설정 과정으로 보정한다.
세계 어디서나 재설치
복잡한 센서 시공과 전문 모션캡처 장비 의존도를 낮춰 설치·운송·기술지원 비용을 줄인다.
초기 목표는 “디스플레이 + 웹캠 + 실행 컴퓨터”라는 최소 현지 구성으로 동일한 작품 경험을 재현할 수 있는가를 검증하는 것이다.
우리가 이번에 만드는 것
새로운 비전 AI 알고리즘이나 센서 기술을 발명하는 연구가 아니다. 검증된 객체 검출·ID 추적·포즈 및 제스처 인식·이벤트 판정·통신 기술을 선정해, 언리얼 전시 콘텐츠에 맞게 통합하고 현장 운용이 가능하도록 최적화하는 첫 번째 제한형 검증판이다.
누구인지 구분
색상·문양·실루엣이 다른 사전 등록 의상으로 캐릭터 ID를 식별하고, 2–3명을 동시에 추적한다.
무엇을 하는지 해석
전신 33개, 양손 각 21개 랜드마크와 이동 궤적을 이용해 자세·손동작·관계 변화를 계산한다.
언리얼 작품이 반응
결과를 공통 데이터로 변환해 Unreal Engine을 우선 제어하고, 필요할 때 TouchDesigner·Ableton Live까지 연동한다.
1차 성공의 핵심은 많은 기능이 아니라, 제한된 인원·조명·카메라 배치에서 감지 결과가 안정적으로 언리얼 작품의 반응으로 이어지고 다른 장소에서도 같은 절차로 재설치되는 것이다.
두 영역의 역할 원칙
엔지니어는 비전 AI에 적합한 하드웨어 구성을 제안하고 시각정보를 안정적으로 수집·분석·전달하는 기술 구조를 구축한다. 아티스트는 수집된 시각정보를 해석해 언리얼 콘텐츠의 이미지·움직임·공간·사운드 변화로 이어지는 미적 활용 구조를 구축한다. 작품의 의미와 기술적 가능성이 만나는 지점은 공동 검증한다.
시각정보의 미적 활용 구조 구축
- 어떤 시각정보를 작품의 재료로 사용할지 선택
- 인물·동작·거리·관계가 갖는 작품 내 의미 정의
- 분석 결과를 Unreal의 이미지·움직임·공간·사운드 변화와 연결
- 인식 오류와 지연까지 포함한 미적 반응 규칙 및 대체 연출 설계
- 시연 시나리오와 예술적 완료 기준 승인
비전 AI 적합 하드웨어 구성 제안
- 일반 RGB 웹캠을 우선으로 해상도·프레임·화각·수량·GPU 사양 제안
- 조도와 프로젝션 환경을 시험하고 필요할 때 IR·뎁스 보조안 제시
- 웹캠 입력, 검출, ID, 포즈, 손, 사건 모듈 통합
- OSC·WebSocket·JSON 및 Unreal 수신 구조 구축
- 정확도·지연·복구시간 측정과 1차 불가 기능 필터링
- 캘리브레이션·로그·재실행·설치 매뉴얼 작성
· 의상 식별 가능성, 사건 6종의 정의, 반응 지연 허용치, 실패 시 대체 연출, 현지화 절차와 최종 시연 승인.
End-to-End 처리 흐름
카메라 입력부터 콘텐츠 반응까지 하나의 끊기지 않는 파이프라인으로 검증한다.
01 INPUT카메라 2대
1080p / 30fps
밝기 보정·공간 캘리브레이션
Artist화면 구도·관람 영역 지정Engineer입력·왜곡·좌표 보정
02 TRACK검출·ID 추적
의상 4종 이상
동시 2–3명·가림 복구
Artist구분 가능한 의상 설계Engineer등록·추적·ID 복구
03 SKELETON몸·손·위치
Pose 33 + Hands 21×2
공간 좌표·이동 경로
Artist필요 동작과 몸의 의미 선정Engineer랜드마크·신뢰도 산출
04 EVENT행동·관계 사건
진입·이탈·접근·회피
응집·분산 등 6종 우선
Artist사건 의미·전환 조건 정의Engineer임계값·상태 규칙 구현
05 OUTPUT콘텐츠 제어
OSC / WebSocket / JSON
TD·Unreal·Ableton
Artist영상·음향 반응 연출Engineer데이터 전송·수신 안정화
1차 구현 범위
현재 1차는 제한된 조건의 PoC다. 아래 기능은 모두 확정 약속이 아니라 우선 검토 대상이며, 기술·일정·현장 조건상 불가능하거나 불안정한 항목은 초기 분석 단계에서 필터링한 뒤 구현 범위를 확정한다.
| 모듈 | 아티스트 영역 · WHITE | 엔지니어 영역 · TECH | 1차 결과 |
|---|---|---|---|
| 현지 설치 | 화면 비율, 관람 동선, 감지영역과 시각정보의 미적 활용 방식 정의 | 현지 조달 가능한 웹캠·디스플레이·실행 컴퓨터의 권장 구성과 설정 절차 제안 | 다른 공간에서 매뉴얼만으로 재설치 |
| 영상 입력 | 관람객의 인물·동작·거리·관계 중 작품에 사용할 시각정보와 연출 기준 선정 | RGB 웹캠 우선 구성, 해상도·프레임·화각·조도 시험, 밝기 보정과 제한된 2D 캘리브레이션 구현 | 고정 조명·카메라 조건의 안정 입력 |
| 캐릭터 ID | 색·문양·실루엣이 구분되는 의상 4종 설계 | 의상 등록, 2–3명 추적, 짧은 가림 후 ID 복구 | 교차·부분 가림 시연 통과 |
| 신체 분석 | 작품에 실제 필요한 자세·손동작과 허용 오차 선정 | 전신 33개·양손 21개 좌표와 신뢰도 출력 | 선정 동작만 우선 검증 |
| 공간 분석 | 접근·회피·응집·분산의 공간적 의미와 연출 정의 | 위치·방향·속도·경로 계산 및 좌표 정규화 | 감지영역 내 관계값 출력 |
| 사건 엔진 | 사건 6종의 의미, 시작·종료, 작품 반응 결정 | 임계값·지속시간·히스테리시스 기반 판정 구현 | 사건별 오작동률과 지연 측정 |
| 외부 연동 | 시각정보가 Unreal의 이미지·움직임·공간·사운드로 변환되는 미적 매핑 구조 설계 및 승인 | JSON 스키마, OSC/WebSocket, 수신·재연결·로그 구현 | Unreal 필수, TD·Ableton 선택 연동 |
개발팀 요청: 1차 가능 범위 필터링
착수 단계에서 아래 항목별 구현 가능성을 검토하고, 1차에서 달성하기 어려운 기능은 반드시 제외 또는 축소 제안해 주기 바란다. 불가능한 기능을 형식적으로 포함하기보다 작동하는 최소 범위를 정확히 확정하는 것이 우선이다.
| 판정 | 개발팀이 제시할 내용 | 처리 원칙 |
|---|---|---|
| 1차 구현 가능 | 사용 기술·예상 성능·필요 장비·소요 기간·검증 방법 | 1차 필수 범위로 확정 |
| 조건부 가능 | 조명, 거리, 인원, 의상, GPU 등 반드시 고정해야 할 조건과 예상 한계 | 조건을 명시한 제한형 구현 |
| 1차 구현 불가 | 불가 사유, 병목 요소, 대체 가능한 단순 기능, 후속 단계에 필요한 조건 | 1차 범위에서 제외하고 후속 로드맵으로 이동 |
특히 다중 카메라 동일인 매칭, 긴 가림 후 ID 복구, 손동작 5종, 관계 사건 6종, 0.5초 이내 지연을 각각 독립적으로 검토하고, 동시에 달성 가능한 조합인지까지 판단해 달라.
ARTIST
축소·제외 시 작품의 핵심 경험이 유지되는지 판단하고 대체 연출의 우선순위를 정한다.
ENGINEER
가능·조건부·불가 판정의 기술 근거, 제한 조건, 대안 기능과 예상 성능을 제시한다.
PoC 초기 성능 목표
아래 수치는 개발 방향을 정하기 위한 초기 목표값이다. 개발팀의 1차 가능성 검토와 기준 데이터 정의 후, 실현 가능한 검수 수치로 조정·확정한다.
≥ 85%캐릭터 ID 식별 정확도
≥ 85%주요 전신 관절 PCK@0.2
≥ 0.80지정 손동작 5종 Macro-F1
≥ 0.70행동·관계 사건 6종 Macro-F1
≤ 2 sec부분 가림 이후 ID 복구
≤ 0.5 sec관절·ID·위치 출력 지연
≤ 1 sec행동·관계 사건 출력 지연
Unreal FirstUnreal Engine 필수 · TD/Ableton 선택 연동
ARTIST
인식 오류와 지연이 작품 경험을 훼손하지 않는 체감 허용치를 정하고 우선 기능을 선택한다.
ENGINEER
시험 데이터와 측정 방법을 정의하고 정확도·F1·복구시간·지연시간을 재현 가능하게 기록한다.
“완료”라고 말할 수 있는 장면
기능 목록이 아니라 실제 시연 시나리오로 완료 여부를 판정한다.
교차와 가림
✓
서로 다른 의상의 3명이 교차 이동한다.
✓
한 사람이 다른 사람 뒤에 잠시 가려진다.
✓
다시 나타난 뒤 2초 안에 기존 ID로 복구된다.
관계에 반응하는 무대
✓
두 사람이 가까워지면 영상 또는 파티클이 변한다.
✓
응집·분산에 따라 Ableton 음향 파라미터가 바뀐다.
✓
진입·이탈 사건이 Unreal 장면 전환을 실행한다.
최소 공통 출력 구조
timestamp · camera_id · character_id · bbox · position · velocity · pose_landmarks · hand_landmarks · gesture · event · confidence
ARTIST
출연자 동선, Unreal 장면, 음향 반응과 예술적 성공 여부를 검수한다.
ENGINEER
동일 시나리오를 반복 실행해 ID·사건·통신 결과와 실패 로그를 검수한다.
4개월 실행 계획
모듈을 따로 완성한 뒤 마지막에 붙이는 방식보다, 매월 작동하는 얇은 전체 파이프라인을 고도화한다.
가능성 필터링과 기준 고정
ARTIST시연 장면·의상·사건 의미 확정
ENGINEER기능별 가능성 판정·1인 전체 연결
다중 인물 통합
ARTIST교차·가림 동선과 테스트 의상 운영
ENGINEERID·전신·손 통합과 복구 구현
사건과 연동
ARTIST사건별 Unreal·음향 반응 제작
ENGINEER사건 규칙·통신·로그 구현
통합 시제품과 검증
ARTIST
현장 연출, 관람 경험 점검, 작품 완성도 승인, 유통용 콘텐츠 구성.
ENGINEER
정량 평가, 실패 보완, 설치·운영 매뉴얼과 시험 결과 작성.
처음부터 관리할 위험
정확도보다 현장 안정성을 무너뜨리기 쉬운 조건들이다.
유사 의상·조명 변화
의상 4종은 색상만 달리하지 말고 문양·명도·실루엣까지 차이를 둔다. 촬영 조명 조건별 데이터를 확보한다.
가림과 ID 교환
한 프레임의 외형 판단에 의존하지 않고 위치·속도·이전 ID·카메라별 신뢰도를 함께 사용한다.
지연 누적
모든 프레임에 모든 분석을 실행하지 않는다. 빠른 좌표 스트림과 느린 사건 스트림을 분리한다.
사건의 흔들림
접근·분산 임계값에 히스테리시스와 최소 지속시간을 두어 사건이 빠르게 켜졌다 꺼지는 현상을 막는다.
평가 기준 불명확
정확도·F1·복구시간·지연시간의 측정 시작점과 종료점을 1개월차에 문서로 고정한다.
개인정보
얼굴 생체정보에 의존하지 않는다. 촬영 동의, 원본 영상 보관기간, 익명화 ID와 삭제 기준을 수립한다.
ARTIST OWNER
의상·조명·동선·사건 흔들림이 작품 의미에 미치는 영향과 대체 연출을 관리한다.
ENGINEER OWNER
ID 교환·지연·평가 기준·데이터 보관의 기술 위험과 복구 절차를 관리한다.