ThorVG OSSCA 2026
GitHub
← Hackathon

SketchDate — Draw Yourself, Talk First, Reveal Later

@autlyr21

[Project Proposal] SketchDate — Draw Yourself, Talk First, Reveal Later

Overview

SketchDate는 사용자가 직접 그린 2D 캐릭터로 상대방과 먼저 대화하고, 서로 동의한 경우에만 실제 얼굴을 공개하는 아바타 기반 랜덤 소개팅 서비스입니다.

웹캠으로 검출한 얼굴 표정과 움직임을 사용자가 만든 벡터 캐릭터에 실시간으로 반영합니다. 실제 얼굴을 공개하지 않은 상태에서도 눈 깜박임, 미소, 입 모양, 시선, 고개 움직임과 같은 비언어적 표현을 전달할 수 있습니다.

Draw yourself. Talk first. Reveal later.

팀장

이연석

Motivation

일반적인 영상 소개팅에서는 대화를 시작하기 전부터 외모가 공개되기 때문에 사용자에게 부담을 줄 수 있습니다. 반면 텍스트 기반 익명 채팅은 상대방의 표정이나 감정을 충분히 전달하기 어렵습니다.

SketchDate는 두 방식의 중간 지점을 제안합니다.

  • 실제 얼굴을 처음부터 공개하지 않습니다.
  • 음성과 표정은 직접 만든 캐릭터를 통해 전달합니다.
  • 대화가 잘 통했다고 느낀 경우에만 서로의 동의하에 얼굴을 공개합니다.
  • 한쪽 사용자만 얼굴 공개를 선택한 경우, 해당 선택은 상대방에게 알려지지 않습니다.

User Flow

  1. 사용자가 얼굴, 눈, 눈썹, 입, 머리카락 등의 캐릭터 파트를 직접 그립니다.

  2. 각 파트가 자동으로 캐릭터 리그에 연결됩니다.

  3. 다른 사용자와 랜덤으로 매칭됩니다.

  4. 웹캠 얼굴 추적 결과가 캐릭터에 실시간으로 적용됩니다.

  5. 두 사용자는 음성과 움직이는 캐릭터를 통해 대화합니다.

  6. 대화 중 랜덤 질문 카드와 표정 미션이 제공됩니다.

  7. 제한 시간이 지나면 각 사용자가 비공개로 다음 행동을 선택합니다.

    • 아바타 상태로 더 대화하기
    • 실제 얼굴 공개하기
    • 대화 종료하기

  8. 두 사용자가 모두 얼굴 공개를 선택한 경우에만 실제 영상으로 전환됩니다.

Core Features

1. Avatar Drawing

사용자는 브라우저에서 자신만의 캐릭터를 직접 제작합니다.

  • 얼굴 윤곽
  • 눈과 동공
  • 눈썹
  • 입
  • 머리카락
  • 액세서리

각 파트는 별도의 ThorVG Shape 또는 Scene으로 관리됩니다.

2. Real-Time Facial Retargeting

웹캠에서 얼굴 랜드마크와 표정 계수를 검출하고, 이를 캐릭터의 움직임으로 변환합니다.

초기 구현 대상은 다음과 같습니다.

  • 머리 이동 및 회전
  • 양쪽 눈 깜박임
  • 동공 및 시선 이동
  • 입 열기
  • 미소
  • 눈썹 움직임

3. Avatar-First Communication

얼굴 공개 전에는 원본 카메라 영상을 상대방에게 전달하지 않습니다.

대신 다음 정보만 전송합니다.

  • 마이크 음성
  • 머리 방향
  • 눈 깜박임
  • 시선 방향
  • 입과 눈썹의 표정 계수

수신 측 브라우저는 전달받은 모션 데이터를 이용해 상대방의 ThorVG 캐릭터를 직접 렌더링합니다.

4. Mutual Face Reveal

대화가 끝난 뒤 양쪽 사용자가 모두 얼굴 공개에 동의한 경우에만 실제 카메라 영상이 활성화됩니다.

얼굴 공개 시에는 캐릭터가 벡터 조각으로 분해되거나 서서히 사라지면서 실제 영상으로 전환되는 애니메이션을 제공합니다.

5. Conversation Support

처음 만난 사용자들이 자연스럽게 대화를 이어갈 수 있도록 다음 기능을 제공합니다.

  • 랜덤 대화 질문
  • 공통 관심사 카드

Technical Architecture

Webcam
  ↓
Facial Landmark Detection
  ↓
Local ThorVG Avatar Rendering
  ↓
WebRTC DataChannel
  ↓
Remote ThorVG Avatar Rendering

얼굴 공개 이후에는 별도의 비디오 트랙을 WebRTC 연결에 추가하여 실제 영상 통화로 전환합니다.

MVP Scope

해커톤 버전에서는 다음 기능을 우선 구현합니다.

  • 파트별 캐릭터 드로잉
  • 캐릭터 자동 리깅
  • 눈 깜박임, 입 열기, 미소, 고개 움직임
  • WebRTC 기반 1:1 음성 통화
  • RTCDataChannel 기반 모션 데이터 전송
  • 랜덤 질문 카드
  • 상호 동의 기반 얼굴 공개
  • 아바타에서 실제 영상으로 전환되는 애니메이션
  • 즉시 나가기 및 신고 UI

Demo Scenario

  1. 두 사용자가 각각 자신만의 캐릭터를 그립니다.
  2. 캐릭터가 사용자의 표정을 따라 움직이는 모습을 보여줍니다.
  3. 두 사용자가 매칭되어 아바타 상태로 대화합니다.
  4. 표정 미션과 질문 카드를 수행합니다.
  5. 두 사용자가 비공개로 얼굴 공개 여부를 선택합니다.
  6. 상호 동의가 확인되면 벡터 캐릭터가 사라지고 실제 영상이 공개됩니다.

Goal

SketchDate의 목표는 외모를 먼저 평가하는 영상 소개팅 대신, 사용자의 개성과 대화가 먼저 전달되는 새로운 온라인 만남 방식을 만드는 것입니다.

직접 그린 캐릭터가 사용자의 표정에 따라 살아 움직이고, 충분한 대화 이후에만 실제 얼굴을 공개함으로써 익명성과 감정 표현을 동시에 제공합니다.

댓글

이슈 원문