知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-11-09
(45)【発行日】2022-11-17
(54)【発明の名称】映像表示システム，映像表示方法，及びコンピュータプログラム
(51)【国際特許分類】
G06F 3/0346 20130101AFI20221110BHJP
G06F 3/01 20060101ALI20221110BHJP
G06F 3/0484 20220101ALI20221110BHJP
G06T 19/00 20110101ALI20221110BHJP
【ＦＩ】
G06F3/0346 422
G06F3/01 510
G06F3/0346 421
G06F3/0484
G06T19/00 A
【請求項の数】
11
(21)【出願番号】P 2018115602
(22)【出願日】2018-06-18
(65)【公開番号】P2019219820
(43)【公開日】2019-12-26
【審査請求日】2021-01-04
【新規性喪失の例外の表示】特許法第３０条第２項適用 Ｄｉｇｉｔａｌ Ｌｉｇｈｔ Ｃａｎｖａｓ 平成２９年１２月２２日 マリーナベイ・サンズ（１０ Ｂａｙｆｒｏｎｔ Ａｖｅ，Ｓｉｎｇａｐｏｒｅ ０１８９５６）
(73)【特許権者】
【識別番号】501041894
【氏名又は名称】チームラボ株式会社
(74)【代理人】
【識別番号】100116850
【弁理士】
【氏名又は名称】廣瀬 隆行
(74)【代理人】
【識別番号】100165847
【弁理士】
【氏名又は名称】関 大祐
(72)【発明者】
【氏名】猪子 寿之
【審査官】塩屋 雅弘
(56)【参考文献】
【文献】特許第６２７６８８２（ＪＰ，Ｂ１）
【文献】特開２００９－２６５８５３（ＪＰ，Ａ）
【文献】特開２００８－０９０６１７（ＪＰ，Ａ）
【文献】特開２０００－２３２６６０（ＪＰ，Ａ）
【文献】特開２０１７－１８７８８２（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｆ ３／０１
３／０３
３／０３４６
３／０４８－３／０４９８５
Ｇ０６Ｔ １９／００
(57)【特許請求の範囲】
【請求項1】
仮想空間内における仮想カメラの特定のカメラ位置からの２次元の映像を生成する描画装置と，前記映像を表示画面上に表示する表示装置と，
前記表示画面上における実物体の位置を検出するセンサ装置と，を備え，
前記描画装置は，前記カメラ位置を移動させるとともに，前記表示画面上における実物体の位置に基づいて前記映像にオブジェクトを出現させる
映像表示システム。
【請求項2】
前記描画装置は，前記カメラ位置が移動したときに，前記表示画面上における実物体の位置を起点として，前記カメラ位置の移動方向に伸びる軌跡オブジェクトを前記映像内に出現させる請求項１に記載の映像表示システム。
【請求項3】
前記描画装置は，ワールド座標系（Ｘ，Ｙ，Ｚ）で表現された３次元仮想空間を前記特定のカメラ位置からのスクリーン座標系（Ｕ，Ｖ）に変換して２次元の前記映像を生成するものであり，前記描画装置は，さらに，前記カメラ位置を３次元仮想空間内で移動させるとともに，前記実物体の表示画面上の位置座標（ＵＯ，ＶＯ）を３次元仮想空間の空間座標（ＸＯ，ＹＯ，ＺＯ）に変換し，当該空間座標に基づいて３次元仮想空間内に前記オブジェクトを生成する
請求項１に記載の映像表示システム。
【請求項4】
前記描画装置は，前記カメラ位置の移動を制御するカメラ制御部と，
前記実物体の３次元仮想空間の空間座標（ＸＯ，ＹＯ，ＺＯ）が変化したときに，その変化の前後における空間座標を繋ぐ軌跡オブジェクトを３次元仮想空間内に生成するオブジェクト生成部と，を含む
請求項３に記載の映像表示システム。
【請求項5】
前記カメラ制御部は，前記カメラ位置を回転支点として，前記仮想カメラが３次元仮想空間内を移動するように制御する請求項４に記載の映像表示システム。
【請求項6】
前記カメラ制御部は，前記実物体の３次仮想元空間の空間座標（ＸＯ，ＹＯ，ＺＯ）が予め定められた軌跡上に沿って変化するように，前記カメラ位置を移動させる請求項４に記載の映像表示システム。
【請求項7】
前記カメラ制御部は，前記実物体の３次元仮想空間の空間座標（ＸＯ，ＹＯ，ＺＯ）を回転支点として，前記仮想カメラが３次元仮想空間内を移動するように制御する請求項６に記載の映像表示システム。
【請求項8】
前記表示画面上に複数の実物体が位置している場合に，前記カメラ制御部は，前記表示画面上の特定点に最も近くに位置する実物体の３次元仮想空間の空間座標（ＸＯ，ＹＯ，ＺＯ）が予め定められた軌跡上に沿って変化するように，前記カメラ位置を移動させる請求項６に記載の映像表示システム。
【請求項9】
前記表示装置は，床面に映像を表示するものであり，前記センサ装置は，前記床面上における人物の立ち位置を検出する
請求項１から請求項８のいずれかに記載の映像表示システム。
【請求項10】
描画装置が，仮想空間内における仮想カメラの特定のカメラ位置からの２次元の映像を生成する工程と，表示装置が，前記映像を表示画面上に表示する工程と，
センサ装置が，前記表示画面上における実物体の位置を検出する工程と，
前記描画装置が，前記カメラ位置を移動させるとともに，前記表示画面上における実物体の位置に基づいて前記映像にオブジェクトを出現させる工程と，を含む。
映像表示方法。
【請求項11】
コンピュータを請求項１に記載の映像表示システムにおける前記描画装置として機能させるためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は，映像表示システム，映像表示方法，及びコンピュータプログラムに関する。具体的に説明すると，本発明は，仮想空間内に軌跡（“空書”）を描くためのシステムなどに関する。
【背景技術】
【0002】
従来から，アミューズメント用のシステムとして，例えば，スクリーンに投影された赤外線の影を撮像して得られた赤外線撮像データからユーザの可視的影データを生成し，この可視的影データをスクリーンに表示するシステムが知られている（特許文献１）。このシステムによれば，床面上のスクリーンに投影される映像にユーザの影を映し出すとともに，その影の加工画像をスクリーンにリアルタイムに表示することができるとされている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２００９－２６５８５３号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで，特許文献１のシステムは，床面の表示画面にユーザの影は投影されるに過ぎす，このシステムでは，ユーザ自身がその映像空間内に入り込んだような没入感を与えることはできない。また，特許文献１のシステムでは，ユーザの影の映像が加工されるに過ぎず，その映像空間内にユーザの形跡が残ることはないため臨場感に欠けるという課題がある。
【0005】
そこで，本発明は，表示画面上の実物体の位置に応じて映像を変化させる表示システムにおいて，没入感や臨場感を高めることを主たる目的とする。
【課題を解決するための手段】
【0006】
本発明の発明者は，上記課題の解決手段について鋭意検討した結果，仮想空間内を移動するカメラ視点の映像を表示画面に表示するとともに，この表示画面上における実物体（例えば人物）の位置を検出して，その実物体の位置に基づき，仮想カメラの移動に伴ったオブジェクトを映像内に出現させることを発案した。これによれば，実物体があたかも仮想カメラによって写し出される空間内に存在するような没入感と臨場感を提供することが可能になる。そして，本発明者は，上記知見に基づけば従来技術の課題を解決できることに想到し，本発明を完成させた。具体的に説明すると，本発明は以下の構成・工程を有する。
【0007】
本発明の第１の側面は，映像表示システムに関する。本発明に係るシステムは，基本的に，描画装置，表示装置，及びセンサ装置を備える。描画装置は，特定のカメラ位置からの２次元の映像を生成する。表示装置は，描画装置が生成した映像を表示画面上に表示する。表示装置は，例えば液晶ディスプレイや有機ＥＬディスプレイであってもよいし，スクリーンに映像光を投影するプロジェクタであってもよい。また，表示画面は，床面や壁面に形成することができる。センサ装置は，表示装置の表示画面上における実物体の位置を検出する。実物体は，人物全体や，人物の腕や指などの一部分，あるいは人以外の物品であってもよい。そして，描画装置は，カメラ位置を移動させるとともに，表示画面上における実物体の位置に基づいて映像にオブジェクトを出現させる。カメラ位置（すなわちカメラ視点）は，平面的な２次元の仮想空間内を２次元的に移動制御されるものであってもよいし，立体的な３次元の仮想空間内を３次元的又は２次元的に移動制御されるものであってもよい。また，オブジェクトの例は，後述する軌跡オブジェクトであってもよいし，その他，仮想空間内に出現する様々な２次元又は３次元オブジェクトであってもよい。例えば，表示画面上に位置する人物の足元からオブジェクト（光彩や，花びら，生物などの様々なもの）が発生するようにしてもよい。
【0008】
上記構成のように，２次元又は３次元の映像空間において仮想カメラを移動させ，その仮想カメラの移動に伴って実物体の位置に基づいて映像空間内にオブジェクトを表示することにより，表示画面上の実物体が映像空間内を移動しているような没入感を提供することができる。また，実物体の位置に基づいてオブジェクトが出現するため，あたかもその実物体が映像空間内に影響を与えているかのような臨場感を提供することができる。
【0009】
本発明において，描画装置は，カメラ位置が移動したときに，表示画面上における実物体の位置を起点として，カメラ位置の移動方向に伸びる軌跡オブジェクトを映像内に出現させることが好ましい。これにより，実物体の位置を起点として映像空間内に軌跡オブジェクトが描かれることとなる。軌跡オブジェクトはデジタルアート作品となり，例えばユーザはその作品の製作に参加することができるようになる。
【0010】
本発明の好ましい実施形態において，描画装置は，ワールド座標系（Ｘ，Ｙ，Ｚ）で表現された３次元空間を，特定のカメラ位置（Ｘｃ，Ｙｃ，Ｚｃ）からのスクリーン座標系（Ｕ，Ｖ）に変換して２次元の映像を生成する。表示装置は，描画装置が生成した映像を表示画面上に表示する。センサ装置は，表示画面上における実物体の位置を検出する。ここで，描画装置は，カメラ位置を３次元空間内で移動させるとともに，実物体の表示画面上の位置座標（ＵＯ，ＶＯ）を３次元空間の空間座標（ＸＯ，ＹＯ，ＺＯ）に変換する。そして，描画装置は，その空間座標に基づいて３次元空間内にオブジェクトを生成する。
【0011】
上記構成のように，カメラ位置を移動させながら３次元空間内の映像を表示画面上に描画することにより，その表示画面上の実物体が３次元空間内を漂っているような更なる没入感を提供することができる。また，表示画面上に実物体が位置している場合に，その実物体の位置座標を３次元空間内に反映させて，その空間内にオブジェクトを発生させることにより，あたかもその実物体が３次元空間内に影響を与えているかのような臨場感を提供することができる。これにより，さらに迫力のある映像をリアルタイムに生成することが可能となる。
【0012】
本発明において，描画装置は，カメラ制御部とオブジェクト生成部を含むことが好ましい。カメラ制御部は，カメラ位置の移動を制御する。オブジェクト生成部は，実物体の３次元空間の空間座標（ＸＯ，ＹＯ，ＺＯ）が変化したときに，その変化の前後における空間座標を繋ぐ軌跡オブジェクトを３次元空間内に生成する。本発明においては，カメラ位置の移動や実物体の移動により実物体の３次元空間における空間座標が変化することとなるが，その際に，変化の前後における空間座標を繋ぐように軌跡オブジェクトを生成する。これにより，実物体の位置を起点として３次元空間内に立体的な軌跡オブジェクトが描かれることとなる。３次元空間内の軌跡オブジェクトはいわば“空書”と呼ばれるデジタルアート作品となり，例えばユーザはその作品の製作に参加することができるようになる。
【0013】
本発明において，描画装置のカメラ制御部は，カメラ位置を回転支点として，仮想カメラが３次元空間内を移動するように制御することとしてもよい。カメラ位置を回転支点として仮想カメラを移動させることで，スクリーン座標系（Ｕ，Ｖ）が仮想空間内を大きく移動するため，ダイナミックな“空書”を作成することができる。
【0014】
本発明において，描画装置のカメラ制御部は，実物体の３次元空間の空間座標（ＸＯ，ＹＯ，ＺＯ）が予め定められた軌跡上に沿って変化するように，カメラ位置を移動させることとしてもよい。予め定められた軌跡上とは，例えば文字，図形，記号などを描くための軌跡である。これにより，３次元空間内に所定の文字などを描く演出を行うことができる。
【0015】
本発明において，例えば３次元空間内に文字を描画するときに，描画装置のカメラ制御部は，実物体の３次元空間の空間座標（ＸＯ，ＹＯ，ＺＯ）を回転支点として，仮想カメラが３次元空間内を移動するように制御すると良い。前述したように，カメラ位置を回転支点として仮想カメラの移動を制御することも可能であるが，３次元空間内に文字等を描画する際に回転支点をカメラ位置としてしまうと，文字等の描画が難しくなる。そこで，自由に軌跡を描く場合と文字等を描く場合とでモードを分けておき，後者のモードの場合には，実物体の３次元空間の空間座標を回転支点として仮想カメラを移動することが好ましい。
【0016】
本発明において。例えば表示画面上に複数の実物体が位置している場合に，カメラ制御部は，表示画面上の特定点に最も近くに位置する実物体の３次元空間の空間座標（ＸＯ，ＹＯ，ＺＯ）が予め定められた軌跡上に沿って変化するように，カメラ位置を移動させることが好ましい。表示画面上の特定点としては，画面の中心点を設定してもよいし，その他の点を設定してもよい。表示画面上の実物体が例えば人物である場合に，３次元空間内に文字等を描いている途中でその人が表示画面上から居なくなる場合も想定される。そこで，３次元空間内に文字等を描く場合には，特定の人物の位置を起点として描画するのではなく，表示画面上の特定点の近くに居る人物を起点として描画することで，特定の人物が表示画面上から脱した場合でも，最後まで所定の文字等を描ききることができるようになる。
【0017】
本発明において，表示装置は，床面に映像を表示するものであり，センサ装置は，床面上における人物の立ち位置を検出することが好ましい。このように床面上に３次元空間の映像を表示し，映像を写すカメラ位置を移動させることで，その画面上に立っている人物は３次元空間を浮遊しているような感覚を味わうことができる。また，人物の立ち位置を起点として３次元空間内に軌跡オブジェクトが描画されるため，その人物をアート作品の製作に参加させることができる。
【0018】
本発明の第２の側面は，映像表示方法に関する。本発明に係る映像表示方法では，まず，描画装置が，特定のカメラ位置から２次元の映像を生成する。また，表示装置が，映像を表示画面上に表示する。また，センサ装置が，表示画面上における実物体の位置を検出する。さらに，描画装置が，カメラ位置を移動させるとともに，表示画面上における実物体の位置に基づいて前記映像にオブジェクトを出現させる
【0019】
本発明に係る映像表示方法の好ましい実施形態では，まず，描画装置が，ワールド座標系（Ｘ，Ｙ，Ｚ）で表現された３次元空間を特定のカメラ位置からのスクリーン座標系（Ｕ，Ｖ）に変換して２次元の映像を生成する。また，表示装置は，描画装置が生成した映像を表示画面上に表示する。また，センサ装置は，表示画面上における実物体の位置を検出する。さらに，描画装置は，カメラ位置を３次元空間内で移動させるとともに，実物体の表示画面上の位置座標（ＵＯ，ＶＯ）を３次元空間の空間座標（ＸＯ，ＹＯ，ＺＯ）に変換して，当該空間座標に基づいて３次元空間内にオブジェクトを生成する。
【0020】
本発明の第３の側面は，コンピュータプログラムに関する。本発明に係るコンピュータプログラムは，コンピュータを，前述した第１の側面に係る映像表示システムにおける描画装置として機能させる。
【発明の効果】
【0021】
本発明によれば，表示画面上の実物体の位置に応じて映像を変化させる表示システムにおいて，没入感や臨場感を高めることができる。
【図面の簡単な説明】
【0022】
【発明を実施するための形態】
【0023】
以下，図面を用いて本発明を実施するための形態について説明する。本発明は，以下に説明する形態に限定されるものではなく，以下の形態から当業者が自明な範囲で適宜変更したものも含む。
【0024】
図１は，本発明に係る映像表示システム１００の全体図を示している。図１に示されるように，映像表示システム１００は，描画装置１０，表示装置２０，及びセンサ装置３０を備える。描画装置１０は，本システム全体の管理制御を行うとともに，表示装置２０に表示する映像を作成するためのコンピュータである。表示装置２０は，描画装置１０の制御に従って映像を表示するためのディスプレイである。本実施形態において，表示装置２０は，床面に配置されており，その上に人が乗ることができるようになっている。センサ装置３０は，表示装置２０の表示画面上における実物体（特に人物）の位置を検出するためのセンサである。本実施形態において，センサ装置３０は，光学センサであり，表示画面周囲の壁面に一又は複数台取り付けられている。センサ装置３０は，表示画面上に赤外線等を照射し，表示画面上における実物体の位置を検出する。図１に示されているように，本システムによれば，例えば人物の位置を起点として所定方向に伸びる軌跡オブジェクトを表示画面上に表示することが可能となる。以下，本システムの構成について詳細に説明する。
【0025】
図１は，映像表示システム１００の機能構成例を示している。描画装置１０は，表示装置２０及びセンサ装置３０に有線又は無線で接続されており，センサ装置３０が検出した情報に応じて表示装置２０に表示する映像を作成する機能を持つ。描画装置１０は，一台のコンピュータによって実現されるものであってもよいし，複数台のコンピュータによって構築されたものであってもよい。描画装置１０が複数台のコンピュータである場合，各コンピュータは有線又は無線で接続されていればよく，例えばインターネットなどのネットワークを介して接続されたものであってもよい。描画装置１０は，基本的に描画処理部１１と記憶部１２とを有する。
【0026】
描画処理部１１は，表示装置２０に表示する映像を描画するための装置であり，例えばＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）といったプロセッサで構成される。描画処理部１１は，記憶部１２に記憶されているアプリケーションプログラム（コンピュータプログラム）を読み出し，このアプリケーションプログラムに従って所定の描画処理を行う。また，描画処理部１１は，描画処理の結果やその途中経過を記憶部１２に適宜書き込んだり読み出したりすることができる。描画処理部１１を構成する各機能ブロックの詳細については，後述する。
【0027】
記憶部１２は，描画処理部１１での描画処理等に用いられる各種情報を記憶するための要素である。具体的に説明すると，記憶部１２は，汎用的なコンピュータを，本発明に係る映像表示制御システム１００における描画装置１０として機能させるアプリケーションプログラムを記憶している。記憶部１２のストレージ機能は，例えばＨＤＤ及びＳＤＤといった不揮発性メモリによって実現できる。また，記憶部１２は，描画処理部１１による演算処理の途中経過などを書き込む又は読み出すためのメモリとしての機能を有していてもよい。記憶部１２のメモリ機能は，ＲＡＭやＤＲＡＭといった揮発性メモリにより実現できる。
【0028】
表示装置２０は，描画装置１０が作成した映像を表示するためのディスプレイである。ディスプレイとしては，液晶ディスプレイや有機ＥＬディスプレイなどの公知のものを採用できる。図１に示されるように人が乗れる程度の大型のディスプレイを構成する場合には，複数のディスプレイパネルをアレイ状に配置することとしてもよいし，一枚の大型のパネルを利用してもよい。また，本発明において，表示装置２０はこのような床面ディスプレイに限定されず，壁面に掛けられたディスプレイであってもよい。また，表示装置２０はディスプレイ型の装置に限定されず，例えば床面や壁面に設けられたスクリーンに映像光を投影するプロジェクタであってもよい。ただし，プロジェクタの場合には，映像の表示画面上に人物の影が写り込む可能性が高く，描画装置１０が作成した軌跡オブジェクト等が見えにくくなる可能性がある。このため，本発明では，表示装置２０としてディスプレイ型の装置を用いることが好ましい。
【0029】
センサ装置３０は，表示装置２０が映像を表示した表示画面上（実空間）における実物体（特に人物）の位置を検出するためのセンサである。表示装置２０がディスプレイである場合，「表示画面」とはそのディスプレイ上の面を意味する。また，表示装置２０がプロジェクタである場合，「表示画面」とは映像の投影面（スクリーン面）を意味する。センサ装置３０は，実空間における実物体の位置を検出可能な公知のセンサを用いることができ，例えば光学式センサの他，感圧式センサ，感熱式センサ，超音波センサ，静電容量式センサなどを用いることができる。図１に示した例では，センサ装置３０として光学式センサを用いている。複数の光学式センサを壁面又は天井に取り付けておき，その光学式センサから表示画面上に赤外線を照射しその反射光を受光することで，表示画面上における人物等の位置を特定できる。また，ディスプレイ上に透明な感圧式センサを設けておき，ディスプレイに人が乗ったときにその感圧点を特定することで，表示画面上の人物の位置を特定することもできる。また，ディスプレイを壁面に設ける場合には，そのディスプレイの前面に静電容量式のタッチセンサを設けておいてもよい。このように，表示画面上の実物体の位置を検出する方法は特に制限されず，公知の方法を適宜採用できる。
【0030】
続いて，図２及び図３を参照して，描画処理部１１による映像の描画処理の詳細を説明する。図２に示されるように，描画処理部１１は，基本的に，カメラ制御部１１ａと映像描画部１１ｂを有する。カメラ制御部１１ａは，図３に示されるように，ワールド座標系（Ｘ，Ｙ，Ｚ）で表現された３次元の仮想空間内において，仮想カメラのカメラ視点を移動させる制御を行う。映像描画部１１ｂは，この仮想カメラの視点から捉えた３次元仮想空間内の映像を描画する。すなわち，仮想カメラの視点から捉えた３次元仮想空間の映像が表示装置２０に表示されることとなるため，仮想カメラの視点を移動させることで表示装置２０に表示される映像も変化する。
【0031】
具体的に説明すると，ワールド座標系は，直交するＸ軸，Ｙ軸，及びＺ軸を有する。ワールド座標系（Ｘ，Ｙ，Ｚ）は，３次元仮想空間内の座標点を特定するものである。３次元仮想空間内には，様々な３次元オブジェクト（例えば軌跡オブジェクト）が描画されているが，この３次元オブジェクトの座標はワールド座標系で特定される。また，ワールド座標系内の仮想カメラは，固有のカメラ座標系（Ｕ，Ｖ，Ｗ）を有する。なお，仮想カメラの位置座標は，ワールド座標系で特定される。カメラ座標系（Ｕ，Ｖ，Ｗ）は，その仮想カメラから見た左右方向がＵ軸となり，上下方向がＶ軸となり，奥行方向がＷ軸となる。これらのＵ軸，Ｖ軸，及びＷ軸は直交している。仮想カメラの位置は，ワールド座標系内におけるカメラ座標の原点（Ｘｃ，Ｙｃ，Ｚｃ）に相当する。また，仮想カメラの向きは，ワールド座標系内におけるカメラ座標の各座標軸（Ｕ軸，Ｖ軸，Ｗ軸）の方向に相当する。カメラ座標系の座標は，ワールド座標系の座標を視野変換（幾何学的変換）することで求めることができる。すなわち，視野変換では，映像描画部１１ｂは，ワールド座標系の内のカメラ位置から見た映像を得るための座標変換を行う。
【0032】
また，仮想カメラによって撮影される画面の２次元の範囲が，スクリーン座標系（Ｕ，Ｖ）となる。スクリーン座標系は，ディスプレイやプロジェクタなどの表示装置２０に表示される２次元平面を定義する座標系である。スクリーン座標系（Ｕ，Ｖ）は，カメラ座標系のＵ軸及びＶ軸に相当するものである。スクリーン座標系（Ｕ，Ｖ）の座標は，仮想カメラによって撮影されたカメラ座標系の座標を投影変換（透視変換）することにより求めることができる。すなわち，投影変換では，映像描画部１１ｂは，ワールド座標系で表現された３次元オブジェクトを２次元のスクリーン座標系に投影するための座標変換を行う。また，映像描画部１１ｂは，スクリーン座標系に投影された２次元の映像を，表示装置２０の表示画面（ビューポート）内に表示するためのビューポート変換を行う。これにより，映像描画部１１ｂは，表示装置２０に表示する映像を生成することができる。
【0033】
このように，映像描画部１１ｂは，カメラ制御部１１ａにより移動制御されている仮想カメラの位置及び向きに応じて，３次元空間内の座標点に対して視野変換，投影変換，及びビューポート変換を行うことで，表示装置２０の表示画面上に表示する２次元の映像を描画することができる。
【0034】
また，図２に示されるように，描画装置１０の描画処理部１１は，上記カメラ制御部１１ａ及び映像描画部１１ｂに加えて，位置座標特定部１１ｂ，座標変換部１１ｄ，及びオブジェクト生成部１１ｅを有する。これらの各要素１１ｂ，１１ｄ，１１ｅは，表示画面上における実物体の位置に応じて３次元仮想空間内に軌跡オブジェクトを生成するための機能を持つ。
【0035】
図３（ａ）では，表示装置２０の表示画面上に実物体（ユーザ）が位置している様子を模式的に示している。まず，位置座標特定部１１ｂは，前述したセンサ装置３０によるセンシング情報に基づいて，表示画面上における実物体の位置座標を特定する。すなわち，センサ装置３０は，表示装置２０が配置された実空間における実物体の位置を検出しているため，位置座標特定部１１ｂ，このセンサ装置３０のセンシング情報を用いることで，表示装置２０の表示画面上における位置座標を特定することができる。実物体の位置座標は，スクリーン座標系の座標点（ＵＯ，ＶＯ）として表される。例えば，図３に示した例では，表示画面上に２人のユーザが位置しており，それぞれの位置座標が（ＵＯ１，ＶＯ１）及び（ＵＯ２，ＶＯ２）で表されている。
【0036】
次に，座標変換部１１ｄは，位置座標特定部１１ｂが特定したスクリーン座標系における実物体の位置座標（ＵＯ，ＶＯ）を，ワールド座標系における空間座標（ＸＯ，ＹＯ，ＺＯ）に変換する座標変換処理を行う。すなわち，前述のように，ワールド座標系の３次元座標は，視野変換及び投影変換を行うことによりスクリーン座標系の２次元座標に変換することができるため，座標変換部１１ｄは，これと逆の手順及び演算でスクリーン座標系の２次元座標（実物体の位置座標ＵＯ，ＶＯ）をワールド座標系の３次元座標（実物体空間座標ＸＯ，ＹＯ，ＺＯ）に変換すればよい。このような逆座標変換を，本願明細書では「逆投影変換」と称している。図３に示した例では，表示画面上に２人のユーザが位置しており，それぞれのスクリーン座標系の位置座標が（ＵＯ１，ＶＯ１）及び（ＵＯ２，ＶＯ２）で表されている。このため，座標変換部１１ｄは，これらの位置座標に対して逆投影変換を行い，各ユーザの位置座標から，ワールド座標系の空間座標（ＸＯ１，ＹＯ１，ＺＯ１）及び（ＸＯ２，ＹＯ２，ＺＯ２）を求める演算処理を行う。
【0037】
上記のように，座標変換部１１ｄは，実物体の位置座標（ＵＯ，ＶＯ）を空間座標（ＸＯ，ＹＯ，ＺＯ）に変換する処理を繰り返し行うが，実物体の位置座標（ＵＯ，ＶＯ）が変化した場合，又は３次元仮想空間内の仮想カメラの位置座標（Ｘｃ，Ｙｃ，Ｚｃ）が変化した場合は，それに伴って実物体の空間座標（ＸＯ，ＹＯ，ＺＯ）が変化することとなる。すなわち，例えば実空間においてユーザが表示画面上を歩いて移動した場合，そのユーザの位置座標（ＵＯ，ＶＯ）に伴って，３次元仮想空間内のユーザの空間座標（ＸＯ，ＹＯ，ＺＯ）も変化する。また，実空間においてユーザが表示画面上で静止している場合であっても，３次元仮想空間内で仮想カメラの位置座標（Ｘｃ，Ｙｃ，Ｚｃ）が変化した場合，その仮想カメラの位置座標に伴って，３次元仮想空間内のユーザの空間座標（ＸＯ，ＹＯ，ＺＯ）が変化する。このように，座標変換部１１ｄは，随時変化するユーザの空間座標をリアルタイムに算出し，その変化する各空間座標を時間経過とともに記憶部１２に記憶しておく。
【0038】
次に，オブジェクト生成部１１ｅは，座標変換部１１ｄが求めた実物体（ユーザ）の空間座標（ＸＯ，ＹＯ，ＺＯ）に基づいて，３次元仮想空間内に所定のオブジェクトを生成する。具体的に説明すると，図３（ｂ）に示されるように，実物体の空間座標（ＸＯ，ＹＯ，ＺＯ）が時間経過に伴って変化する場合に，オブジェクト生成部１１ｅは，その変化の前後における空間座標を繋ぐようにして軌跡オブジェクトを３次元空間内に生成することが好ましい。図３（ｂ）に示した例では，３次元仮想空間内における仮想カメラの位置の変化に伴って，実物体の空間座標が変化しており，その変化の軌跡を辿るようにして軌跡オブジェクトが生成されている。
【0039】
なお，オブジェクト生成部１１ｅが生成するオブジェクトは，上記した軌跡オブジェクトに限られず，実物体の空間座標に基づいて様々な演出用のオブジェクトを生成することが可能である。例えば，仮想カメラの移動に伴ってユーザの足元に花びらや草木，動物，光彩，陰影，波紋などが表示されることとしてもよいし，ユーザの足元の色彩が変化するようにしてもよい。このようなオブジェクトによる演出は，状況に応じて適宜設計することが可能である。
【0040】
図４は，オブジェクト生成部１１ｅが生成したオブジェクトの例を示している。図４（ａ）は，表示画面上の実物体の位置に応じて３次元仮想空間内に自由に軌跡オブジェクトを形成した場合の例を示している。この場合，カメラ制御部１１ａは，仮想カメラが３次元仮想空間内をランダムに移動するように制御してもよい。また，カメラ制御部１１ａは，予め定められた移動経路に沿って仮想カメラが次元仮想空間内を移動するように制御してもよい。仮想カメラの移動経路が定められている場合であっても，表示画面上のユーザ（実物体）の位置がランダムであるため，３次元仮想空間内にはランダムな形状の軌跡オブジェクトが生まれる。
【0041】
図４（ｂ）は，３次元仮想空間内の軌跡オブジェクトにより所定の文字を描いた場合の例を示している。すなわち，図４（ｂ）に示した例では，“Happy Birthday”の文字に対応した軌跡オブジェクトが生成されている。この場合，カメラ制御部１１ａは，実物体の３次元仮想空間における空間座標が所定の文字をなぞって変化するように，仮想カメラの位置や向きを制御する。なお，軌跡オブジェクトによって文字を描く場合だけでなく，所定の数字や記号，キャラクタの輪郭などを描くことも可能である。文字等をなす軌跡オブジェクトが完成した後は，仮想カメラによってそれを正面側から撮影することにより，表示装置２０の表示画面上にその文字がはっきりと映るようになる。
【0042】
図５は，３次元仮想空間における仮想カメラの制御例を示している。図５（ａ）に示されるように，カメラ制御部１１ａは，仮想カメラの視点（Ｘｃ，Ｙｃ，Ｚｃ）を回転支点として，その仮想カメラの移動を制御してもよい。その場合，仮想カメラを少し動かすだけで，仮想空間内における表示画面が大きく動くこととなるため，ダイナミックな軌跡オブジェクトを生成することができる。このため，このような仮想カメラの制御態様は，図４（ａ）に示されるような自由な軌跡オブジェクトを生成するのに適している。
【0043】
また，図５（ｂ）に示されるように，カメラ制御部１１ａは，実物体の３次元空間の空間座標（ＸＯ，ＹＯ，ＺＯ）を回転支点として，その仮想カメラの移動を制御してもよい。実物体の空間座標は軌跡オブジェクトの起点となるため，より正確に軌跡オブジェクトの形状を制御することができる。このため，このような仮想カメラの制御態様は，図４（ｂ）に示されるような文字などの予め規定された軌跡オブジェクトを生成するのに適している。
【0044】
図６は，表示画面上に複数の実物体が存在している場合の描画処理の一例を示している。例えば，図４（ｂ）に示されるように，３次元仮想空間内に所定の文字を描くための軌跡オブジェクトを生成することを想定すると，表示画面上に複数の実物体が存在している場合には，その文字の軌跡の起点となる表示画面上の実物体を定める必要がある。その場合，例えば表示画面上の中心に最も近い１つの実物体（人物）をメインプレーヤ（ＭＰ）とし，それ以外の実物体をサブプレーヤ（ＳＰ）と設定し，メインプレーヤの３次元空間の空間座標が所定の文字の軌跡を辿るように仮想カメラを制御すればよい。図６（ａ）では，人物Ａがメインプレーヤとして設定され，それ以外の人物Ｂ及び人物Ｃがサブプレーヤとして設定されている。他方で，図６（ｂ）に示されるように，当初メインプレーヤとして設定されていた人物Ａが表示画面上から離れて，その表示画面上の中心に最も近い人物が人物Ｂとなった場合には，メインプレーヤを人物Ａから人物Ｂに切り替えればよい。また，図６（ｂ）に示されるように，表示画面上に実物体が存在しない場合には，表示画面上の中心の空間座標を基点として，軌跡オブジェクトを生成すればよい。このようにすれば，表示画面上に複数の実物体が存在する場合や，実物体が移動した場合，あるいは表示画面上から実物体が居なくなった場合のいずれであっても，所定の文字を描くための軌跡オブジェクトを最後まで生成することができる。このため，軌跡オブジェクトが未完成で終わるといった事態を回避できる。
【0045】
以上，本願明細書では，本発明の内容を表現するために，図面を参照しながら本発明の実施形態の説明を行った。ただし，本発明は，上記実施形態に限定されるものではなく，本願明細書に記載された事項に基づいて当業者が自明な変更形態や改良形態を包含するものである。
【0046】
なお，本願明細書では，主に３次元の仮想空間内において仮想カメラを３次元的に移動させ，その３次元仮想空間内に立体的な軌跡オブジェクトを生成する実施形態を中心に説明を行った。ただし，本発明はこの実施形態に限定されるものではなく，例えば，３次元の仮想空間において仮想カメラを２次元的に移動させて平面的な軌跡オブジェクトを生成したり，その軌跡オブジェクトで文字を描いたりすることも可能である。また，３次元仮想空間内において仮想カメラを２次元的に移動させて，平面的な軌跡オブジェクトを生成することも可能である。
【産業上の利用可能性】
【0047】
本発明は，“空書”と呼ばれるデジタルアート作品を作成するための映像表示システムやその方法に関する。従って，本発明は，デジタルアート産業やエンターテインメント産業において好適に利用しうる。
【符号の説明】
【0048】
１００…映像表示システム
１０…描画装置
１１…描画処理部
１１ａ…カメラ制御部
１１ｂ…映像描画部
１１ｃ…位置座標特定部
１１ｄ…座標変換部
１１ｅ…オブジェクト生成部
１２…記憶部
２０…表示装置
３０…センサ装置
１０…描画装置
１１…描画処理部
１１ａ…カメラ制御部
１１ｂ…映像描画部
１１ｃ…位置座標特定部
１１ｄ…座標変換部
１１ｅ…オブジェクト生成部
１２…記憶部
２０…表示装置
３０…センサ装置
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】