リアルタイムサウンド生成モデルについて

本システムは、映像をインプットとし、その映像の内容に合ったサウンドを時間的な同期を取りながらリアルタイムで生成することができる、サウンド生成モデル「SpecMaskFoley1」をベースとしている。
このモデルは、映像に対して環境音や背景音といった持続的なサウンドだけでなく、例えば「グラスが落下し床に当たって割れる」といった瞬間的な事象に対しても、映像に同期したタイミングでサウンドを生成することができる。今回採用したSpecMaskFoleyは、映像の時間的な同期特徴量をモデルに入力する構造を持つことで、映像と生成音の同期を可能にしている²。
また、本モデルはサウンド生成をリアルタイムで行うことができるという点も大きな特徴である。モデル構造としては、SpecMaskGIT³と呼ばれるリアルタイムサウンド生成モデルをバックボーンとし、そこに映像の特徴量を入力できる構造を加えている。本作品では、常に不規則なループを繰り返す映像に対し、あらかじめ用意されたサウンドを映像に合わせて同じようにループさせるのではなく、その都度映像に応じたサウンドをその場で生成することで、鑑賞者は、人間には完全に制御しきれない音の生成過程に立ち会うことになり、音の知覚そのものへの問いに向き合う体験が生まれている。SpecMaskFoleyの高品質かつ軽量なモデル構造は、こうした要件を満たすうえで本作品に最適であると判断し採用した。

実装にあたっては、アーティストから提供されたモノレール車窓の実際の映像と、車内で録音した環境音のペアデータを含むデータセットをもとにモデルの学習を行った。初期の出力に対して、アーティストからは「時間や空間の条件が崩壊した映像に対して、AIが運動をどう解釈するのか聞いてみたい」、「電子音のような質感や、逆再生のように聞こえる不自然さは避けたい。リアルタイムに目の前で広がる風景として、速度感や運動感だけを判断させたい」というフィードバックがあった。こうした意図を受け、人間による過度に恣意的な音響操作や条件付けを避けつつ、AIならではの解釈をいかに引き出すかという視点から生成時のパラメータの細かな調整をおこない、映像に対するサウンドの忠実度・同期精度・音の自然さのバランスを探りながら、アーティストの意図する音響表現へと段階的に近づけていった。

1 SpecMaskFoley 論文（arxiv）
https://arxiv.org/abs/2505.16195
2 SpecMaskFoley デモページ
https://zzaudio.github.io/SpecMaskFoley_Demo/
3 SpecMaskGIT 論文（arxiv）
https://arxiv.org/abs/2406.17672