[Unity] Audio to haptic 기술 개발 방향성에 관한 질문입니다.

[junwooweb]

안녕하세요,

현재 Bhaptics TactSuit X40 이용하여 연구를 진행하고 있는 대학원생입니다.
올해 대규모 메타버스 공연을 설계하는 프로젝트에서 비햅틱스사의 햅틱 슈트를 이용하려 합니다.
비햅틱스 사의 audio to tactile 기능을 응용하여 공연에서 적용하고 싶어 기술적 방향을 잡고자 글을 남기게 되었습니다.

비햅틱스 사의 audio to tactile 기능은 real-time으로 음악 신호를 각 주파수 대역에서 진동 세기 변환 알고리즘을 통해 매핑된 위치의 ERM actuator가 활성화되는 것으로 보이는데요. 제가 이용하고 싶은 것은 실시간 음악 처리가 아닌 녹음된 음악에 적합한 진동 레코딩 파일을 만들고자 합니다. 하지만 Bhaptics designer를 통해 레코딩된 파일을 만들 수 있으나 json 파일로 이루어져 있는 것을 확인했습니다. 이는 key값이 매우 많고 노래에 맞게 진동 패턴을 디자인 하는 것은 어려움이 있을 것으로 보입니다.
어떤 방법으로 음악에 알고리즘을 적용하여 진동 레코딩 파일로 저장할 수 있을 지 조언부탁드립니다.

제가 한 가지 생각한 방법은 MATLAB을 통해 필터링(200Hz, 400Hz, ...)된 음원을 만들고 Audio to tactile 알고리즘을 적용하여 진동 타이밍을 text 파일에 저장하고, 이를 다시 json (.tact) 파일로 저장하려 했습니다. 하지만 .json 파일은 많은 key값을 포함하여 만들 때 엄청난 시간이 요구될 것으로 보여 다른 방법을 생각하고 있습니다.

그리고 귀사의 Bhaptics player의 실시간 audio to tactile 기능에서 음악을 받아 어떻게 처리되어 특정 위치의 진동자를 매핑시키는 지 알고 싶습니다. 즉, 그 사이에 주고 받는 정보와 처리를 어떻게 하는 지 궁금합니다. (예로 Bhaptics player ->아두이누 정보 처리 과정) 이에 대한 답으로 외부로 공유되지 않은 스크립트가 있을 수 있는 데, audio to tactile에 사용되는 스크립트를 어느 정도 공유해주실 수 있으신 지 궁금합니다.

감사합니다.
좋은 하루 되세요 ~

[westside]

저희 제품에 관심 가져주셔서 감사합니다.

현재는 레코딩할수 있는 방법은 없고 추후 개발 예정 중에 있습니다.
ATH 모터 매핑 위치 설정은 studio.bhaptics.com 을 통해서 하실 수 있습니다.

[junwooweb]

감사합니다.

제가 궁금한 사항은 ATH 모터로 진동을 제공할 때, 필요한 정보와 format을 알고 싶습니다.
음악의 특성에 맞게 ATH 알고리즘을 적용하여 진동 타이밍을 구하고, 이 타이밍에 맞게 진동을 주는 방식으로 시퀀스 코드를 만들려고 합니다. 이러한 방법으로 진동 레코딩 파일을 만드려 합니다. 하지만, 더 좋은 방법이 있다면 기술적 자문을 받고자 합니다.

이를 처리하기 위해서는 어떤 명령 코드 및 format을 통해 진동자가 활성화 되는 지, 그 정보를 알고 싶습니다.
만약 공유가 되지 않은 부분이라면, 공유해주실 수 있는지 궁금합니다.

감사합니다.

[westside]

안녕하세요. [email protected] 으로 연락처 포함하셔서 연락 부탁드립니다.
유선으로 답변 드리도록 하겠습니다.