(58)【調査した分野】(Int.Cl.,DB名)
前記マルチモーダル・インターフェースは、前記ドーム型スクリーン内の温度又は湿度を調整し、前記ドーム型スクリーン内で風又は水しぶきを吹き付け、触覚又は振動を発生させ、又は匂いや香りを与える、
請求項5に記載の画像表示装置。
【発明を実施するための形態】
【0029】
以下、図面を参照しながら本明細書で開示する技術の実施形態について詳細に説明する。
【0030】
図1及び
図2には、本明細書で開示する技術の一実施形態に係る画像表示装置100の構成例を模式的に示している。画像表示装置100は、ドーム型のスクリーンに画像を投影する投影型の表示装置であり、視聴者はドーム内に入ると投影された映像を観察することができる。但し、
図1はドーム型スクリーン101を前額面で切った断面を示し、
図2はドーム型スクリーン101を矢状面で切った断面を示している。
【0031】
図示の画像表示装置100は、ドーム型スクリーン101と、ドーム型スクリーン101を支持する支持体102と、2台のプロジェクター103及び104と、表示制御装置105を備えている。また、ドーム型スクリーン101によって形成される空間の内部には、投影された映像を観察する視聴者が座る椅子106が設置されている。
【0032】
ドーム型スクリーン101は、内周が投影画像の表示面となっている。ドーム型スクリーン101は、例えば軽量なFRP(Fiber Reinforced Plastics:繊維強化プラスチック)などの樹脂や、金属、ガラスなどで製作される。ドーム型スクリーン101の内周面には、光(投影された映像)の乱反射を防ぐための塗装やコーティング、その他の表面処理が施されていることが好ましい。
【0033】
ドーム型スクリーン101の内周は球面若しくは半球形状をなす。球面若しくは半球形状をなすドーム型スクリーン101を用いると、水平方向及び垂直方向に広視野角な臨場感のある映像を投影することができる(前述)。なお、ドーム型スクリーン101の外形は特に限定されない。
【0034】
ドーム型スクリーン101への投影映像は、ヘッド・マウント・ディスプレイ(以下、「HMD」とする)で拡大虚像を観察する場合よりも、視聴者は被写体のスケール感を感じ易い。例えば、ドーム型スクリーン101の内径を1.5〜2メートル程度に設定すると、視聴者が等身大に感じる被写体(人物など)の映像を表示することができ、リアリティーが増す。
図21には、ドーム型スクリーン101のスケールを例示している。図示の例では、椅子106に座った視聴者からドーム型スクリーン101までの距離が90センチメートル、ドーム型スクリーン101の直径(若しくは、横幅)が160センチメートル、画像表示装置100の高さが最大190センチメートルである。例えば、カメラ目線をした人物を撮影した映像を投影した場合には、視聴者は映像内の人物が自分と目が合っている(アイ・コンタクトしている)ような、現実感の強い体験をすることができる。
【0035】
また、ドーム型スクリーン101に映像を投影するタイプの画像表示装置100は、HMDに比べると解放感があるが、
図1及び
図2に示したように水平方向に360度の全周囲画像を提示することで没入感が増す。
【0036】
支持体102は、互いの回転軸が一致する一対の軸部102A及び102Bを備え、この一対の軸部102A及び102Bでドーム型スクリーン101を矢状面内で水平軸回りに回転可能に支持する。但し、ドーム型スクリーン101を矢状面内で水平軸回りに回転可能に支持することができれば、一対の軸部102A及び102Bで支持する構造には限定されない。
【0037】
また、支持体102は、ドーム型スクリーン101を垂直軸回りに回転可能に支持する機構も備えていてもよい。さらに、支持体102は、上下動などドーム型スクリーン101が回転以外の自由度も持つように支持する構造であってもよい。
【0038】
2台のプロジェクター103及び104は、それぞれ表示制御装置105から供給される映像信号(広視野角の映像信号)を、ドーム型スクリーン101の内周に投影する。各プロジェクター103及び104は、レーザーやLEDを光源に用いて、高彩度で色再現性のよい画像をドーム型スクリーン101に投影できるものとする。
【0039】
本実施形態では、各プロジェクター103及び104は、互いの投影画像でドーム型スクリーン101の内周の表示面全体をカバーできるように、ドーム型スクリーン101の端縁付近にて、ドーム型スクリーン101に対する相対位置及び姿勢が固定されている。各プロジェクター103及び104は、例えば3軸方向及び各軸回りの6自由度を持つテーブル(図示しない)を介してドーム型スクリーン101に固定され、各々の光軸(投影方向)を微調整できるものとする。ドーム型スクリーン101を水平軸回りに回転させると(後述)、各プロジェクター103及び104も一体となって動く。
【0040】
表示制御装置105は、各プロジェクター103及び104に映像信号を供給する。ドーム型スクリーン101に投影する広視野角映像として、映画などの商用コンテンツやゲームの映像、遠隔地の移動体(人や動物、車両、ロボットを含む)に搭載されたカメラ(例えば、全天周カメラ)から供給される映像などを利用することができる。表示制御装置105は、映像ソースとなるメディア再生装置(BDプレイヤーなど)やゲーム機を外部接続したり、遠隔地から配信される映像ストリームを通信や放送などの伝送路を経由して受信したりする。本実施形態に係る画像表示装置100は、外部機器を接続するインターフェースや、ネットワークに接続する通信インターフェース、放送信号を受信する受信機などを装備しているものとする。
【0041】
表示制御装置105内では、ドーム型スクリーン101に投影する広視野角映像のレンダリング処理や画質調整を始めとして、各プロジェクター103及び104に供給する映像信号に対して各種の画像処理が実行される。
【0042】
例えば、表示制御装置105が各プロジェクター103及び104からドーム型スクリーン101に投影される画像間の接合部分のスティッチング処理を行なうことで、ドーム型スクリーン101で広視野角映像を提示することができる。スティッチング処理には任意のアルゴリズムを適用することができる。
図16には、各プロジェクター103及び104からの投影映像1601、1602をスティッチングする様子を示している。各プロジェクター103及び104からの投影映像1601、1602はそれぞれ4K(横4000×縦2000前後)の解像度を持つことを想定している。
【0043】
また、各プロジェクター103及び104が持つ光学歪みや、ドーム型スクリーン101の内周の変形(経時変化を含む)などに起因する広視野角映像の歪みを表示制御装置105内の画像処理によって補正するようにしてもよい。例えば、各プロジェクター103及び104からドーム型スクリーン101に既知形状からなるテスト・パターンを投影して、テスト・パターンの投影画像の歪みをキャンセルするような画像処理を実施すればよい。
【0044】
また、各プロジェクター103及び104をドーム型スクリーン101に固定したときの位置決め誤差に起因する投影画像の歪みも、表示制御装置105内の画像処理によって補正するようにしてもよい。
【0045】
なお、表示制御装置105は、各プロジェクター103及び104から投影される広視野角映像に、メニューやボタンなどを含んだGUI(Graphical User Interface)やOSD(On Screen Display)を重畳表示するようにしてもよい。
【0046】
図示の画像表示装置100は、例えば室内に設置して利用される。勿論、画像表示装置100を屋外に設置して利用してもよい。また、支持体102の下端にキャスターなどの移動用部品を取り付けて、設置場所を容易に移動できるようにしてもよい。また、
図1及び
図2に示す例では、画像表示装置100を1人で使用するが、複数人で使用することや、B2B(Business to Business)での利用も想定される。
【0047】
続いて、本実施形態に係る画像表示装置100において、ドーム型スクリーン101を回転可能に支持する意義について説明する。
【0048】
図1及び
図2に示したように、ドーム型スクリーン101をほぼ水平に支持している場合、ドーム型スクリーン101の表示面には水平方向に360度の全周囲映像を提示することができる。
【0049】
一方、
図3及び
図4に示すように、ドーム型スクリーン101を矢状面内で水平軸回りに90度だけ、軸部102A及び102Bの回転軸回りに回転させると、ドーム型スクリーン101の表示面には垂直方向に360度の全周囲映像を提示することができる。例えば、上空や高層などを想定した広視野角映像を観察する場合には、
図3及び
図4に示すようにドーム型スクリーン101を90度だけ回転させると、下方(例えば地面)の映像も提示することができる。
【0050】
また、
図1〜
図4に示したように、ドーム型スクリーン101を水平方向又は垂直方向に設置するだけでなく、
図5及び
図6に示すように、ドーム型スクリーン101を矢状面内で水平軸回りに0度から90度の任意の角度に傾けて、画像表示装置100を使用することもできる。
【0051】
なお、ドーム型スクリーン101の回転は手動で行なうようにしてもよい。あるいは、軸部102A又は102Bの少なくとも一方に電動モーターを組み込んで、電動式でドーム型スクリーン101を回転させるようにしてもよい。また、電動モーター内にエンコーダーを組み込む、あるいは他のセンサーを設置して、ドーム型スクリーン101の回転角を計測して、回転角度を高精度に位置決めするようにしてもよい。
【0052】
表示制御装置105は、ドーム型スクリーン101の回転角の変更に連動して、各プロジェクター103及び104から投影する映像の視野を切り替えるようにする。
図7A及び
図7Bには、ドーム型スクリーン101の回転に連動して投影する映像を切り替える様子を示している。
【0053】
ドーム型スクリーン101が
図1及び
図2に示したように水平位置に設定されているとき、元の広視野角映像700のうち、
図7A中の参照番号701で示す領域が各プロジェクター103及び104から投影される。また、ドーム型スクリーン101を
図5及び
図6に示すように水平軸回りに回転させたときには、元の広視野角映像700のうち、
図7B中の参照番号711で示す領域が各プロジェクター103及び104から投影される。要するに、ドーム型スクリーン101の回転位置は、ドーム型スクリーン101で観察できる映像の視野角に相当する。例えば、ドーム型スクリーン101を水平軸回りに、180度、210度、240度、…、330度、360度といった具合に用途に応じた角度に回転させることによって、用途に応じた視野の映像を視聴者に提供することができる。ドーム型スクリーン101が軸部102A及び102Bの回転軸回りに回転しても、椅子106に座った視聴者の同じ視線方向には同じ被写体若しくは風景の表示が保たれるが、回転量に従って視聴者の視野が上方又は下方にシフトする。
【0054】
図1及び
図2に示したような、ドーム型スクリーン101をほぼ水平に設置した使用形態では、水平方向に360度の視界が得られるが、垂直方向(具体的には、水平より下方)の視野が狭い。他方、
図3及び
図4、並びに
図5及び
図6に示したように、ドーム型スクリーン101を水平軸回りに回転させた使用形態では、垂直方向の視界が拡張するが水平方向の視野が狭くなる。そこで、画像表示装置100は、キーボードのカーソルキーやリモコンの十字キー、ゲーム・コントローラーのジョイスティックなど、方向の入力操作が可能な入力デバイス(いずれも図示しない)を装備して、表示制御装置105に対して、ドーム型スクリーン101に表示すべき視野の水平方向又は上下方向の移動を指示するようにしてもよい。表示制御装置105は、入力デバイスを介した方向の指示に従って、元の広視野角映像(全天周映像など)から切り出してドーム型スクリーン101に表示する領域を移動させる。
【0055】
図8A及び
図8Bには、
図3及び
図4に示した画像表示装置100の使用形態において、ドーム型スクリーン101に投影される映像の視野を水平方向に移動する様子を示している。
【0056】
ジョイスティックなどで左方向を指示すると、元の広視野角映像800のうちドーム型スクリーン101に投影される映像の視野は、
図8A中の参照番号801で示すように、左方向へ移動する。また、ジョイスティックなどで右方向を指示すると、ドーム型スクリーン101に投影される映像の視野は、
図8B中の参照番号811で示すように、右方向へ移動する。このようにして、ドーム型スクリーン101を水平軸回りに回転させたときの水平方向の視野の限界を、映像の切り出し領域の移動によって補うことができる。
【0057】
続いて、画像表示装置100の追加的な構成要素について説明する。
【0058】
画像表示装置100は、スピーカーなどの音響出力装置(図示しない)をさらに備えていてもよい。音響出力装置からは、ドーム型スクリーン101に表示する映像と同期する音声信号(例えば、撮影場所で集音された音声信号)や、椅子106に着席した視聴者に対する音声ガイダンスなどを出力する。
【0059】
音響出力装置として、例えば多チャンネルのサラウンド・スピーカーを設置してもよい。但し、スピーカーから出力される音がドーム型スクリーン101の中央に集まり、視聴者にとって雑音となるおそれがあることから、ノイズ・キャンセリングなどの処理が必要である。あるいは、音響出力装置として、スピーカーではなく、イヤホンやヘッドホンを使用してもよい。
【0060】
また、画像表示装置100は、キーボードやマウス、ゲーム・コントローラー、ジョイステッィクなどの入力デバイス(いずれも図示しない)を、ドーム型スクリーン101内に装備していてもよい。
【0061】
また、画像表示装置100は、ドーム型スクリーン101内を撮影するカメラを装備していてもよい。カメラは、例えば椅子106に着席した視聴者を撮影できるように、ドーム型スクリーン101の中央付近に視線を向けて設置する。
【0062】
図9には、画像表示装置100にカメラ107を設置した様子を例示している。図示の例では、椅子106(視聴者)の正面に1台のカメラ107が設置されている。但し、カメラ107の設置場所は正面に限定されず、また、2台以上のカメラを設置してもよい。また、図示の例では、ドーム型スクリーン101の端縁付近にカメラ107が設置されているが、カメラの種類は特に限定されない。例えば、ドーム型スクリーン101の表面にピンホールを穿設して、そこからピンホール・カメラ(図示しない)でドーム内部を撮影するようにしてもよい。
【0063】
カメラ107による撮影画像の用途はさまざまである。例えば、視聴者を顔認識(個人認証)や表情認識を行なったり、視聴者の手足や頭部、胴体の動作を画像解析してジェスチャー入力に利用したり、テレビ会議用の映像に利用したりすることができる。また、各プロジェクター103及び104からの投影映像に重畳表示したGUI(前述)に対する視聴者の操作を、カメラ107で捕捉することができる。
【0064】
また、画像表示装置100は、ドーム型スクリーン101内の視聴者が発する音声を集音するマイクなどの音声入力装置(図示しない)を装備していてもよい。視聴者は、音声入力装置を介して、画像表示装置100に対して音声による指示を行なうことができる。また、上記の音響出力装置と組み合わせて、遠隔地との会話(通話)を行なうこともできる。
【0065】
また、
図1に示した構成例では、画像表示装置100は2台のプロジェクター103及び104を備えているが、3台以上のプロジェクターを設置するように構成してもよい。
図10には、プロジェクター103及び104に加えて、さらに2台のプロジェクター108及び109をドーム型スクリーン101に取り付けた様子を示している。
【0066】
ドーム型スクリーン101に映像を投影するプロジェクターとして、例えば手のひらサイズで高解像度のピコプロジェクターを採用することもできる。ピコプロジェクターであれば、設置面積を要しないので、ドーム型スクリーン101への設置台数を増やすこともできる。
図34には、多数のピコプロジェクターをドーム型スクリーン101に設置した様子を示している。プロジェクターの設置台数を増やしていくと、投影映像の輝度、コントラスト、解像度を向上させることができる。また、ドーム型スクリーン101内の視聴者がジェスチャー動作する際などに、あるプロジェクターからの投影映像が視聴者の突き出した手によって遮られて影になることがあるが、別のプロジェクターの投影映像でその影の部分を補うことができる。多数のプロジェクターを点灯させると、消費電力が大きくなるという問題がある。そこで、設置したすべてのプロジェクターを同時に駆動させるのではなく、必要な台数のプロジェクターだけ適宜部分的に動作させるようにしてもよい。例えば、表示制御装置105が、視聴者の身体の姿勢や手の位置などに応じてプロジェクターを部分的に駆動させるようにコントロールすればよい。カメラや距離センサーなどをプロジェクター毎に設置して各プロジェクターとスクリーン101表面までの間に障害物があるか又は投影映像に影ができているかを検出して、映像がうまく投影されないプロジェクターはオフにし、代わって隣接するプロジェクターをオンにすればよい。
図34中、白で表示されたピコプロジェクターは点灯中で、グレーで表示されたピコプロジェクターは消灯中とする。
【0067】
また、画像表示装置100は、ドーム型スクリーン101と、椅子106に着席した視聴者の相対位置を上下に移動させる(
図11を参照のこと)、油圧式などの駆動手段を備えていてもよい。また、画像表示装置100は、ドーム型スクリーン101内の温度や湿度を調整したり、視聴者に風(微風や向かい風、エア・ブラスト)や水しぶき(ウォター・ブラスト)を吹き付けたり、視聴者の身体に触覚(背中をつつくような効果、首筋や足元に何かが触れるような感覚など)や振動(椅子106の下からの衝撃や地響きなど)を印加したり、匂いや香りを与えたりして、空間の環境を自在にコントロールする手段(若しくは、マルチモーダルなインターフェース)を備えていてもよい。例えば遠隔地で撮影された映像をドーム型スクリーン101に投影表示する場合、その撮影場所で受けた感覚や体験を、マルチモーダルなインターフェースを用いてドーム型スクリーン101内の空間で再現(若しくはフィードバック)して、視聴者にも撮影場所と同じようなリアルで臨場感のある体験をしてもらうことができる。
【0068】
なお、
図1などにはほぼ180度のドーム型スクリーン101を例示したが、180度よりも広いドーム(
図19を参照のこと)や、逆に180度よりも狭いドームを適宜使用してもよい。180度よりも広いドーム型スクリーン(
図19を参照のこと)を用いると、ほぼ水平に設置した際に、垂直方向に180度よりも広い視野画像を投影することができる。また、ドーム型スクリーン101の内壁面の投影面の形状は円形(球状)には限定されず、楕円形などの非球面であってもよく、さらには矩形であってもよい。用途や目的、設置場所の制約などに応じて任意形状の投影面にすることができるものとする。プロジェクター103、104で映像を投影する壁面の形状が異なっていても、プロジェクション・マッピング技術などを利用して同じ映像を表示することができる。
【0069】
また、上記では、FRPや金属、ガラスなどで構成されるリジッドなドーム型スクリーン101について紹介したが、ドーム型スクリーン101を折り畳みや分解が可能な構造にして、収納や持ち運びの利便性を図るようにしてもよい。
図17には、傘のような折り畳み式のドーム型スクリーンの構成例を示している。また、
図18には、ソフトシェル式のドーム型スクリーンの構成例を示している。ソフトシェル式のスクリーンは、巻き込んで収納することができる。ドーム型スクリーン101が収納可能であれば、一般家庭にも画像表示装置100が普及し易くなる。
【0070】
但し、折り畳み式のドーム型スクリーンの場合、内周の表示面に折り目が付き、投影画像に線が出るという問題がある。また、折り畳み式やソフトシェル式のいずれも、内周の表示面にしわや傷が付くことが懸念され、投影画像の歪みや画質の劣化を招来する。このため、発泡ウレタンなどのしわや傷が付きにくい素材で内周の表示面を形成することが好ましい。また、折り畳み式やソフトシェル式のドーム型スクリーンは、組み立て時の再現性の問題もあり、同じ形状に組み立てられないことに起因して生じる映像の歪みを補正する必要がある。
【0071】
続いて、画像表示装置100の使用形態の変形例について説明する。
【0072】
ドーム型スクリーン101の内径を1.5〜2メートル程度に設定すると、現実感の強い投影映像を提示できることは既に述べた。他方、ドーム型スクリーン101を大型化すると、複数人の視聴者を収容することが可能となり、各視聴者は環境(広視野角映像)を共有ながら共同作業を行なうことができる。
【0073】
図12には、ドーム型スクリーン101内に2人の視聴者が並んで座っている様子を示している。このような使用形態では、2人の視聴者はほぼ同じ視野を見ながら共同作業を行なうことができる。
【0074】
また、
図13には、ドーム型スクリーン101内に2人の視聴者が背中を向け合って座っている様子を示している。このような使用形態では、水平方向に360度の視野を複数人で監視することができる。例えば、船舶や旅客機などの巨大な輸送機械をはじめとする大型機械を操縦する場合、複数人で分担して360度の視界を見渡すことができるので、従来のような計器類に頼った確認に代えて目視による監視が可能となるので、トラブルの減少やエラーの削減を図ることができる。
【0075】
また、ドーム型スクリーン101内に、椅子106に代えて、トレッドミル1401やフィットネスバイク1501などの健康器具を設置してもよい(
図14、
図15を参照のこと)。視聴者はトレッドミル上で走行したり、フィットネスバイクを漕いだりしている最中に、ドーム型スクリーン101に投影された広視野角映像を鑑賞することができるので、単調なトレーニングでも退屈にならずに済む。表示制御装置105は、トレッドミル1401やフィットネスバイク1501の移動距離や移動速度に連動して、ドーム型スクリーン101に投影する映像広視野角映像の視点位置を移動させていくことで、現実感が高まる。
【0076】
ドーム型スクリーン101に映像を投影するタイプの画像表示装置100は、解放感があり危険が少ないながら、視聴者に没入感を与えることができる。したがって、
図14や
図15に例示するような健康器具との併用は、疲れに優しく、極めて有益である。他方、HMDと健康器具を併用した場合、視聴者は頭部に装着した装置の重さに耐えながら運動しなければならず、また、運動に伴って発汗するため、汗で装置が汚れたりダメージを受けたりするという問題がある。
【0077】
図22には、本実施形態に係る画像表示装置100の適用例を示している。同図は、複数の画像表示装置100−1、100−2、…、100−5を映像配信システムに適用した例を示している。
【0078】
例えば、マニピュレーターや内視鏡などの小型機械を用いて人や動物の手術を行なっている手術室2201内に設置されたカメラによる撮影画像が、所定のサーバー2200に送られてくる。また、旅客機2202やフェリー2203などの巨大な輸送機械などの大型機械で撮影される広視野角映像がサーバー2200に送られてくる。なお、手術室2201や旅客機2202、フェリー2203などから送られてくる映像は、手術室2201内や小型機械に搭載されたカメラ、旅客機2202やフェリー2203などの大型機械に設置された多視点カメラなどの他、小型機械のオペレーター(医師又は施術者)や、旅客機2202やフェリー2203などの大型機械の操縦者又は運転者が頭部に装着したシースルー型HMDで撮影される映像であってもよい。シースルー型HMDで撮影される映像は、装着者とほぼ同じ視点で撮影された映像である。
【0079】
一方、各画像表示装置100−1、100−2、…、100−5では、サーバー2200経由で、いずれかの映像を選択的に視聴することができる。各画像表示装置100−1、100−2、…、100−5の使用形態はさまざまであり、ドーム型スクリーン101を水平、垂直、又は任意の角度に傾けて広視野角映像を表示させ、また、1人で視聴したり、複数人が並んで視聴したり、背中を向け合って視聴したりしている。
【0080】
シースルー型HMDで撮影される映像(前述)を各画像表示装置100−1、100−2、…、100−5で表示する場合、視聴者は、HMDの装着者とほぼ同じ視点にアクセスして、視点若しくは視界を共有することになる。例えば、
図35に示すような、1人のHMD装着者の視点に複数(N人)の視聴者(1つのドーム型スクリーン101内に複数の視聴者が入る場合を含む)が同時にアクセスするという1対Nの視点共有の形態や、
図36に示すような、1人の視聴者が複数(N人)のHMD装着者の視点のうちの1つに選択的にアクセスするというN対1の視点共有の形態や、
図37に示すような、複数(N人)の視聴者(1つのドーム型スクリーン101内に複数の視聴者が入る場合を含む)の各々が複数(N人)のHMD装着者の視点のうちの1つに選択的にアクセスするというN対Nの視点共有の形態が考えられる。
【0081】
また、サーバー2200経由で各画像表示装置100−1、100−2、…、100−5に、視聴している映像の撮影場所の環境に関する情報を併せて送信してもよい。各画像表示装置100−1、100−2、…、100−5では、受信した環境の情報に基づいてマルチモーダルなインターフェース(前述)を駆動して、ドーム型スクリーン101内の温度や湿度を調整したり、視聴者に風(微風や向かい風、エア・ブラスト)や水しぶき(ウォター・ブラスト)を吹き付けたり、視聴者の身体に触覚(背中をつつくような効果、首筋や足元に何かが触れるような感覚など)や振動(椅子106の下からの衝撃や地響きなど)を印加したり、匂いや香りを与えたりするようにしてもよい。
図22に示すように遠隔地で撮影された映像をドーム型スクリーン101に投影表示する場合、その撮影場所で受けた感覚や体験を、マルチモーダルなインターフェースを用いてドーム型スクリーン101内の空間で再現(若しくはフィードバック)して、視聴者にも撮影場所と同じようなリアルで臨場感のある体験をしてもらうことができる。
【0082】
また、各画像表示装置100−1、100−2、…、100−5では、視聴者から入力するジャスチャーや音声、視聴者の撮影画像から得られる表情などの情報を、映像の提供元にフィードバックするようにしてもよい。各画像表示装置100−1、100−2、…、100−5からのフィードバック情報は、手術室2201の施術者や、旅客機2201やフェリー2203などの大型機械の操縦者に対する指示や助言として利用することができる。
【0083】
なお、手術室2201の施術者や、旅客機2201やフェリー2203などの大型機械の操縦者にとって、画像表示装置100からのフィードバック情報が指示や助言として役に立たず、むしろ迷惑でミスや事故を引き起こす原因になるおそれもある。そこで、画像表示装置100の視聴者の認証結果などに基づいて、フィードバック情報の送信を許可するか否かを判断するようにしてもよい。
【0084】
続いて、画像表示装置100のユーザー・インターフェースについて説明する。
【0085】
画像表示装置100のユーザー・インターフェースとして、キーボードやマウス、タッチパネル、ジョイスティック、ゲーム用コントローラーなどの既存の入力デバイスを利用することができる。また、音声入力やジェスチャー入力を、入力デバイスに代用し又は入力デバイスと併用するようにしてもよい(前述)。
【0086】
視聴者が自身の手が見えることは、リアリティーを持つ上で重要である。手は、上記のような入力デバイスを持っていることが想定される。ドーム型スクリーン101内で広視野角映像を視聴する場合、視聴者は自分の手を直接見ることができる。他方、広視野角映像を視聴する表示装置としてHMDも挙げることができるが、頭部に着用することで現実の視界が遮られ、視聴者は自分の手を直接見ることはできない。
【0087】
広視野角映像の視聴者が行なうインタラクションとして、視点位置の移動も挙げられる。視点位置の移動は、例えば多視点カメラにおけるカメラ位置の切り替えに相当するが、視聴者にとって空間移動のようなインタラクションとなる。空間移動には、例えば、歩き回る、走る、視覚の届かない場所へ瞬間的に移動する(テレポーテーション)、といった動作を指示する必要がある。
【0088】
通常、視聴者の手は、入力デバイスを操作したり、ジェスチャー入力したりするファンクションを持つ。このため、上記のような空間移動の指示を手で行なおうとすると、手のファンクションを切り替えることになり、入力作業が不連続となり、あるいは不自然さを伴うという問題がある。
【0089】
また、視聴者が実際に歩き回る、走る、移動するといった動作をとって、空間の移動を指示する方法も考えられる。しかしながら、狭いドーム型スクリーン101内で動き回ると、周囲の機材と接触や衝突する危険がある。
【0090】
そこで、視聴者が椅子106に座ったままの姿勢で空間移動を指示できるユーザー・インターフェースについて、以下に説明する。
【0091】
このユーザー・インターフェースは、椅子106に座った状態の視聴者の頭部の向き(若しくは、視線方向)と、胴体の軽い上下動を検出して、空間の移動指示動作に変換するものである。頭部の向き及び胴体の上下の動きは、例えば、視聴者の頭部に位置姿勢検出部を取り付けて検出することができる。ここで言う位置姿勢検出部は、例えば、ジャイロ・センサーと加速度センサーと地磁気センサーなど複数のセンサー素子を組み合わせて構成することができる。一例として、3軸ジャイロ・センサー、3軸加速度センサー、3軸地磁気センサーを組み合わせて、合計9軸を検出可能なセンサーを構成して、位置姿勢検出部に適用してもよい。
【0092】
また、画像表示装置100に設置したカメラ107(前述)で視聴者を撮影した画像を解析して、頭部の向きや胴体の上下動を検出するようにしてもよい。あるいは視聴者の頭部に取り付けたカメラ(図示しない)による撮影画像の変化に基づいて、視聴者の頭部の向き及び胴体の動きを検出することができる(例えば、撮影画像が水平より下を写せば視聴者が下を向いたことが分かり、水平より上を写せば視聴者が上を向いたことが分かる。また、撮影画像が上下に変化すれば、視聴者が上下に動いたことが分かる)。
【0093】
人がイメージする動きは、個体差が大きい。センサーやカメラの撮影画像の解析結果に基づいて検出される動作データの値が同じであっても、ある人にとっては頭が上を向く動作を意図したものであるが、他の人にとってはそのような動作を意図しない、ということはよくある。また、頭を上又は下に向ける、座った姿勢で胴体を軽く上下動させるといった動作についても同様に個体差が大きい。そこで、快適なユーザー・インターフェースを実現するためには、対象とする視聴者に、頭を上に向ける、下を向ける、座った姿勢のまま胴体を軽く上下動させるという動作を所定回数だけ視聴者に行なってもらい、意図する動作と動作データとのマッチング、すなわちマシン・ラーニングを事前に行なうことが好ましい。
【0094】
視聴者が椅子106に座った姿勢のままで空間移動を指示するユーザー・インターフェースとして、ウォークUI、ランUI、ジャンプUI、マイクロジャンプUI以下に例示する。
【0095】
図23に示すように、視聴者が椅子106に座ったままの姿勢で胴体を前方に傾けると、空間の前方への移動を指示することになる。また、
図24に示すように、視聴者が椅子106に座ったままの姿勢で胴体を後方に傾けると、空間の後方への移動を指示することになる。これが、前後方向への移動を指示するウォークUIである。また、視聴者が胴体を前後に傾ける角度に応じて、前後方向へ移動する速度を加減することができる。視聴者が胴体を浅く傾けるとウォークUIとなり、胴体を深く傾けるとランUIとなる。
【0096】
なお、図示を省略するが、視聴者が椅子106に座ったままの姿勢で左右いずれかの方向を向いて胴体を前方に傾けることにより、空間を左前方又は右前方へ移動するよう指示することができるものとする。同様に、視聴者が椅子106に座ったままの姿勢で左右いずれかの方向を向いて胴体を後方に傾けることにより、空間を左後方又は右後方へ移動するよう指示することができるものとする。
【0097】
一般に、人は空を見上げたり地面を見下ろしたりすることはあまりない。ジャンプUIは、普段見ることのない空と地面を利用して、可視範囲外への快適な移動を実現するユーザー・インターフェースである。
【0098】
図25に示すように、空間の地上のビューを眺めている視聴者は、椅子106に座ったままの姿勢で上を向いて凝視する。すると、
図26に示すように、空間の上空、視聴者の視線方向に、ターゲット・マーク2601が出現する。このように、ターゲット・マーク2601が表示された状態で、視聴者がさらに胴体を軽く上下動させる「ジャンプ動作」を行なうと、ドーム型スクリーン101への投影映像は上空からのビューに切り替わる。なお、図示を省略するが、視聴者が上空を見上げて、ターゲット・マークが出現した状態でジャンプ動作を行なう動作を繰り返すと、空間をより上空へ移動することができる。
【0099】
また、
図27に示すように、VR空間の上空のビューを眺めている視聴者は、椅子106に座ったままの姿勢で下を向いて凝視する。すると、
図28に示すように、VR空間の地上、ユーザーの視線方向に、ターゲット・マーク2801が出現する。このように、ターゲット・マーク2801が表示された状態で、視聴者がさらに胴体を軽く上下動させる「ジャンプ動作」を行なうと、ターゲット・マーク2801が表示される地点に落下した地上のビューに切り替わる。
【0100】
また、
図29に示すように、地上(若しくは上空)のビューを眺めている視聴者は、椅子106に座ったままの姿勢で正面を向いて凝視する。すると、
図30に示すように、正面(所定距離だけ前方)に、ターゲット・マーク3001が出現する。このように、ターゲット・マーク3001が表示された状態で、視聴者がさらに胴体を軽く上下動させる「マイクロジャンプ動作」を行なうと、ターゲット・マーク3001が表示される地点にジャンプ(瞬間移動)したビュー(図示を省略)に切り替わる。
【0101】
上記のジャンプUIやマイクロジャンプUIでは、視聴者は、椅子106に着席したまま、胴体を上下動させる動作をしなければならない。そこで、
図31に示すように、上下(垂直)方向に伸縮可能なバネ3102で座面3101を支持するように構成された椅子106を用いて、視聴者が胴体を容易に上下動できるようにしてもよい。
【0102】
図26、
図28、
図30に示した各ターゲット・マーク2601、2801、3001は、ドーム型スクリーン101に表示中の広視野角映像に、次の視点位置の場所を明示するという役割がある。なお、上記のように視聴者が凝視して次の視点位置として指定した場所にターゲット・マークを配置する以外に、別の多視点カメラの設置場所が広視野角映像内に出現してきたときに、次の視点位置の候補としてターゲット・マークを表示するようにしてもよい。
【0103】
図32は、ドーム型スクリーン101に投影される広視野角映像内に、次の視点位置の候補となる別のカメラ3201を発見した様子を示している。表示制御装置105は、画像解析やカメラ3201の位置情報に基づいて、投影映像内のカメラ3201の設置場所を特定すると、
図33に示すように、ターゲット・マーク3301を重畳表示する。そして、視聴者が、椅子106に座ったまま、ターゲット・マーク3301を凝視しながら胴体を軽く上下動させると、視点位置がカメラ3201の設置場所に移動するとともに、カメラ3201の視線方向の映像(図示を省略)に切り替わる。
【0104】
図25〜
図28に示したようなジャンプUIや、
図29〜
図30に示したようなマイクロジャンプUIを実施した場合、ドーム型スクリーン101に投影する映像を瞬間的に切り替えると、視聴者は空間上のどこに移動したのかを一瞬認識できなくなったり(空間喪失)、あるいはどちらの方向を向いているのかを識別できなくなったりする(方向性喪失)、カメラビュー喪失の問題が懸念される。
【0105】
そこで、ジャンプ時のカメラビュー喪失を防ぐために、以下に挙げるような施策を講じるようにしてもよい。外界から仕切られたドーム内において以下のような施策を実現し易い。
【0106】
(1)視聴者が飛ぶ方向(例えば、ターゲット・マークが出現した地点)から、風(向かい風)を吹かすことにより、カメラの方向性喪失を防ぐ。
(2)視聴者が飛ぶ方向(例えば、ターゲット・マークが出現した地点)から、集中線などの効果線を表示する、あるいはその他の漫画的表現を投影映像に採り入れることで、カメラの方向性喪失を防ぐ。
(3)視聴者が飛ぶ方向(例えば、ターゲット・マークが出現した地点)から、木の葉や紙切れなどのオブジェクトを飛ばして、視覚的効果により、カメラの方向性喪失を防ぐ。
(4)ジャンプUIに応答してカメラビューを切り替える際に、ブラー(モーション・ブラー)をかけて、違和感をなくすとともに、カメラの方向性喪失を防ぐ。
(5)視聴者が上空から見下ろしたときに(例えば、
図27を参照のこと)、地上に視聴者の影を映すことにより、カメラの空間喪失を防ぐ。
【0107】
なお、広視野角映像を視聴できる表示装置として、HMDも挙げることができる。HMDは小型で設置場所に制限がなく、どこでも利用することができる。反面、視聴者はHMDを着用すると頭部が締め付けられる、装置の重さを首で支えなければならないなどの理由により、長時間使用すると疲れるという問題がある。また、HMDは視聴者の肌に密着するので、発汗により装置がダメージを受けるという問題がある。また、HMDを装着すると視聴者の顔や視界を覆い隠すので、視聴者は他の入力デバイスとの併用が困難である、表情を読み取ることができない、動くと手足を障害物にぶつける危険がある、といった問題もある。
【0108】
これに対し、本実施形態に係る、ドーム型スクリーン101に映像を投影するタイプの画像表示装置100の場合、解放感があるので長時間の使用に耐え易い。また、ドーム型スクリーン101内の視聴者をカメラの撮影画像などで観察することができ、顔認識(個人認証)や表情認識を行なうことができる。また、ドーム型スクリーン101内で、視聴者は、他の入力デバイスとの併用が可能である。また、ドーム型スクリーン101内に複数人が同時に入ることで、視聴映像を簡単に共有し、共同作業を実現し易い。また、ドーム型スクリーン101によって作業空間と外界が仕切られるので、マルチモーダル・インタラクションを適用し易い。
【産業上の利用可能性】
【0109】
以上、特定の実施形態を参照しながら、本明細書で開示する技術について詳細に説明してきた。しかしながら、本明細書で開示する技術の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。要するに、例示という形態により本明細書で開示する技術について説明してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本明細書で開示する技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。
【0110】
なお、本明細書の開示の技術は、以下のような構成をとることも可能である。
(1)可動式のドーム型スクリーンと、
前記ドーム型スクリーンを支持する支持体と、
前記ドーム型スクリーンとの相対位置及び姿勢がそれぞれ固定された複数のプロジェクターと、
を具備する画像表示装置。
(2)前記支持体は、前記ドーム型スクリーンを所定の水平軸回りに回転可能に支持し、
前記複数のプロジェクターは、前記ドーム型スクリーンの水平軸回りの回転に伴って移動する、
上記(1)に記載の画像表示装置。
(3)前記複数のプロジェクターから前記ドームスクリーンに投影する映像を制御する表示制御装置をさらに備える、
上記(1)又は(2)に記載の画像表示装置。
(4)前記表示制御装置は、前記複数のプロジェクターが前記ドーム型スクリーンに投影する画像間のスティッチング処理を行なう、
上記(3)に記載の画像表示装置。
(5)前記表示制御装置は、前記複数のプロジェクターが前記ドーム型スクリーンに投影する画像の歪み補正処理を行なう、
上記(3)又は(4)のいずれかに記載の画像表示装置。
(6)前記支持体は、一対の軸部で前記ドーム型スクリーンを所定の水平軸回りに90度回転可能に支持する、
上記(1)乃至(5)のいずれかに記載の画像表示装置。
(7)前記表示制御装置は、前記ドーム型スクリーンの水平軸回りの回転に伴って、前記複数のプロジェクターから投影する映像の視野を切り替える、
上記(3)に記載の画像表示装置。
(8)視野の移動を指示する入力部をさらに備え、
前記表示制御部は、前記入力部を介した視野の移動に指示に従って、前記複数のプロジェクターから投影する映像の視野を切り替える、
上記(1)乃至(7)のいずれかに記載の画像表示装置。
(9)音響出力装置をさらに備える、
上記(1)乃至(8)のいずれかに記載の画像表示装置。
(10)前記ドーム型スクリーン内を撮影するカメラをさらに備える、
上記(1)乃至(9)のいずれかに記載の画像表示装置。
(11)マルチモーダル・インターフェースをさらに備える、
上記(1)乃至(10)のいずれかに記載の画像表示装置。
(12)前記マルチモーダル・インターフェースは、前記ドーム型スクリーン内の温度又は湿度を調整し、前記ドーム型スクリーン内で風又は水しぶきを吹き付け、触覚又は振動を発生させ、又は匂いや香りを与える、
上記(11)に記載の画像表示装置。
(13)前記ドーム型スクリーンは、内径が1.5乃至2メートルからなる表示面を内周に持つ、
上記(1)乃至(12)のいずれかに記載の画像表示装置。
(14)前記ドーム型スクリーン内に収容された椅子と組み合わせて使用される、
上記(1)乃至(13)のいずれかに記載の画像表示装置。
(15)前記ドーム型スクリーン内に収容された健康器具と組み合わせて使用される、
上記(1)乃至(13)のいずれかに記載の画像表示装置。
(16)視聴者が前記椅子に座ったままの姿勢で前記ドーム型スクリーンに投影される視界の切り替えを指示する映像切替指示部をさらに備える、
上記(14)に記載の画像表示装置。
(17)前記映像切替指示部は、前記椅子に座った状態の視聴者の頭部の向きと胴体の軽い上下動を検出して、視界の移動指示動作に変換する、
上記(16)に記載の画像表示装置。
(18)表示制御装置は、次の視点位置の候補を表すターゲット・マークを前記ドーム型スクリーンの投影映像に重畳表示する、
上記(16)に記載の画像表示装置。
(19)前記椅子は、上下方向に伸縮可能なバネで座面が支持されている、
上記(14)に記載の画像表示装置。