インタラクティブな映像コンテンツを作る

Jump to bottom

Takanobu INAFUKU edited this page Jul 2, 2021 · 3 revisions

概観

入力／出力

入力 - キャプチャー、ソース
- カメラ
- その他の何らかの接続・通信によって、データとして映像を取り込む
出力 - ディスプレイ
- 液晶モニター
  - 設置方法
- プロジェクター
  - 投影方法

どういった映像表現を扱うか

リニア⇔ノンリニア（時間軸的な）
フィルム（映画）とある種、対になるようなもの
VJ（ヴィジュアル／ヴィデオ・ジョッキー）
リアルタイム・レンダリング⇔プレ・レンダリング

どういった方法で実現・制作するか

授業では基本的には（パーソナル・）コンピューター上でデータとして映像を処理するものを取りあげる。
専用（特定の用途に特化した）ソフトウェア
- VJ用
  - VDMX
  - Resolume
    - 利点としては、ソフトウェア自体の安定性や高画質化・（LEDビジョンなど）特殊な表示環境への対応のしやすさなども挙げられる。
- （動画編集、合成処理）
  - Adobe Premiere Pro
  - Adobe After Effects
  - Final Cut Pro／iMovie
    - リアルタイム処理やインタラクティブな要素を用いることはできないが、制作の過程で利用する可能性はあるはず。複雑な映像処理を無理にプログラムで書くよりも、上記のようなソフトウェアを用いる方が簡単に実現できる場合もある。

今回の課題において、制作上自分でプログラムを書くことは必須ではないので、自分の表現にあったツールを利用して構わない

プログラミング環境
- openFrameworks
- Processing／p5.js
- ノードベース・ヴィジュアルプログラミング環境
  - MAX (Jitter)
  - TouchDesigner

コンピューター上で映像データを扱う

映像ファイルの種類・フォーマット
- データコンテナ
  - MOV、MP4、WebM...
- 圧縮・非圧縮、コーデック
  - H264・H265、VP9...
    - 画像自体の圧縮
    - 時間軸的な圧縮・補完
- リアルタイムで映像ファイルを扱う場合、フォーマットによって向き・不向きがあるので、処理内容によって適切なものを選択する。
エクストラ：3DCGモデル用のデータ
- データコンテナ
  - obj、stl、gltf / glb、collada（dae）..
- 頂点情報に加えて、テクスチャ情報や、リグ（関節）やアニメーションに関する情報を含む場合もある。

コンピューター上で映像の時間軸を操作する

タイムライン、キーフレームという概念
- 映像データは基本的には静止画データ（= フレーム）の連続。
- データ量の圧縮やシーク（早送り・巻き戻し、スキップ）操作の際のメタデータとしてキーフレームというものがある。
OSCシーケンサー
- ossia score
- VEZÉR
映像データだけでなく、音声や外部デバイスとの連携・通信等も含めた同期をとる時に便利。

コンピューター上でリアルタイムに映像を処理・生成する

リアルタイムCG − 各種のパラメーターからその場で映像を生成する。
- ゲームなど
カメラなどの外部入力装置からの映像に対して処理を行う。