リアルタイム3Dとは、3D空間やオブジェクトをあらかじめレンダリングした固定の映像として再生するのではなく、毎フレームその場で計算して生成・更新しながら表示する方式を指す。GPU による並列処理とゲームエンジンの普及によって、映画的な品質の画面を対話的なフレームレートで描き続けることが可能になった。事前計算されたアニメーションと違い、視点や状態が変われば画面も変わるため、作品は完成した画像ではなく、走り続けるプログラムとして存在する。

この性質は鑑賞者の位置づけを変える。画面を眺める観客ではなく、計算されつつある環境へ身体や操作で介入するユーザーになる。マイロン・クルーガーの《VIDEOPLACE》は、カメラで取得した身体像をコンピュータ・グラフィックスとリアルタイムに結合し、ヘッドセットやグローブを介さずに人工現実を成立させた初期の例である。ガウシアン・スプラッティングや3Dスキャンのように、実在した物体や場所の痕跡を取り込んで操作可能な空間へ変換する技術も、この系譜に加わる。

ジョン・ジェラードの作品では、風景がライブでレンダリングされ、データの変化に応じて更新される仮想彫刻として提示される。ただし体験が滑らかで直感的になるほど、それを支えるエンジン、サーバー、データ形式といった基盤は見えにくくなる。リアルタイム3Dは、即時性という美的効果と、不可視化されたインフラという条件を、つねに同時に抱えている。