02 / PROCESS
구성과 제작 과정
이미지 위치와 소리의 대응
이미지의 위아래는 음높이, 좌우는 스테레오 위치에 대응하도록 구성하였습니다. 스캔선이 움직이며 이미지를 읽는 순서에 따라 소리가 이어지고, 사용자는 음계 보정을 선택하거나 해제할 수 있습니다.
소리의 발생 위치 표시
소리를 만드는 데 사용한 24개 셀의 분석값을 화면에 함께 표시하였습니다. EXPLAIN 화면에서 셀의 위치와 음높이, 주파수를 확인할 수 있도록 하고, 표시 시점을 오디오 출력 시계에 맞추어 구성하였습니다.
이미지 조작에 따른 소리 변화
이미지를 움직이며 소리의 변화를 들어 볼 수 있도록 구성하였습니다. 특정 색을 선택하여 들을 때는 해당 색상 채널의 초과분을 계산하여 흰색 영역이 함께 울리는 영향을 줄이고자 하였습니다.
03 / MAKING
기획과 구현
기획 의도
이미지를 조작하며 소리를 만들고, 소리가 발생한 위치와 변환값을 함께 확인할 수 있도록 구성하였습니다.
구현 방식
이미지를 읽는 위치와 밝기·색·경계 정보를 소리로 연결하였습니다. 위치에 따른 음높이·스테레오 배치와 특징의 강도에 따른 음량·음색을 구분하고, 오디오 출력 시계에 맞춰 현재 소리가 나는 구간을 표시하도록 하였습니다.
이미지를 연주하는 도구로 구상
완성된 음악 파일을 출력하는 대신, 보고 듣고 움직인 뒤 다시 듣는 짧은 피드백을 핵심 경험으로 정하였습니다. 한 장의 이미지로도 연주할 수 있고 레이어는 선택적으로 추가하도록 기획하였습니다.
위치와 소리의 대응을 고정
작품 기획서에서 Y 위치는 음높이, X 위치는 스테레오 위치, 스캔 이동은 시간에 대응하도록 정하였습니다. 밝기·색·경계 등 선택한 특징의 강도가 음량과 음색에 기여하도록 구분하였습니다.
조작과 분석 화면을 연결
이미지 이동·회전·크기와 레이어 조작을 소리 변화에 연결하고, 분석 셀과 타임라인에서 어떤 위치가 읽히는지 확인하도록 구성하였습니다. 현재 체험본의 재생·분석 화면을 기준으로 작동 결과를 기록하였습니다.
04 / GALLERY
