7371294 画像表示システム、画像表示方法、制御装置、及びコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2023-10-20

(45)【発行日】2023-10-30

(54)【発明の名称】画像表示システム、画像表示方法、制御装置、及びコンピュータプログラム

(51)【国際特許分類】

   G09G 5/37 20060101AFI20231023BHJP

   G06F 3/04815 20220101ALI20231023BHJP

   G06T 19/00 20110101ALI20231023BHJP

   G09G 5/00 20060101ALI20231023BHJP

【ＦＩ】

G09G5/37 600

G06F3/04815

G06T19/00 A

G09G5/00 510V

【請求項の数】 7

(21)【出願番号】P 2023072804

(22)【出願日】2023-04-26

【審査請求日】2023-04-27

【新規性喪失の例外の表示】特許法第３０条第２項適用 令和４年１０月２４日に、ウェブサイト（ｈｔｔｐｓ：／／ｗｗｗ．ｔｅａｍｌａｂ．ａｒｔ／ｊｐ／ｅｗ／ｓｋｅｔｃｈｆｌｉｇｈｔ＿ａｓｍ）で公開。

【新規性喪失の例外の表示】特許法第３０条第２項適用 令和４年１１月２５日に、ウェブサイト（ｈｔｔｐｓ：／／ｗｗｗ．ｙｏｕｔｕｂｅ．ｃｏｍ／ｗａｔｃｈ？ｖ＝ａｕ１－ＰｕＷＹＨＴｇ＆ｔ＝３９ｓ）で公開。

【新規性喪失の例外の表示】特許法第３０条第２項適用 令和４年１１月２６日に、アートサイエンス・ミュージアム、マリーナベイ・サンズ（６ ベイフロントアベニュー，シンガポール，０１８９７４）で公開。

【新規性喪失の例外の表示】特許法第３０条第２項適用 令和５年２月３日に、ウェブサイト（ｈｔｔｐｓ：／／ｗｗｗ．ｙｏｕｔｕｂｅ．ｃｏｍ／ｗａｔｃｈ？ｖ＝ｇｗＴＰ０３ＱＳＵＡｏ）で公開。

【早期審査対象出願】

(73)【特許権者】

【識別番号】501041894

【氏名又は名称】チームラボ株式会社

(74)【代理人】

【識別番号】100116850

【弁理士】

【氏名又は名称】廣瀬 隆行

(74)【代理人】

【識別番号】100165847

【弁理士】

【氏名又は名称】関 大祐

(72)【発明者】

【氏名】猪子 寿之

(72)【発明者】

【氏名】車谷 勇人

【審査官】武田 悟

(56)【参考文献】

【文献】特表２０１４－５１４６２１（ＪＰ，Ａ）

【文献】特開２００２－７３２４６（ＪＰ，Ａ）

【文献】特開２０１８－４５６６３（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１６／０２７９５０９（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０９Ｇ ５／００ － ５／４２

Ｇ０６Ｆ ３／０４８１５

Ｇ０６Ｔ １９／００

Ａ６３Ｆ １３／００ － １３／９８

(57)【特許請求の範囲】

【請求項1】

表示装置と、操作端末と、前記表示装置及び前記操作端末と有線又は無線のネットワークを介して接続された制御装置と、オブジェクトが描かれた物理媒体をスキャンして画像データを取り込む画像取込装置と、前記表示装置の表示画面に対する接触位置を検知可能な検知装置と、を備える画像表示システムであって、
前記制御装置は、
３次元仮想空間を生成するとともに、前記画像データに基づいて操作オブジェクトを前記３次元仮想空間内に生成する生成部と、
前記３次元仮想空間内の俯瞰カメラと前記操作オブジェクト目線又はこれに追従するオブジェクト視点カメラを制御するカメラ制御部と、
前記俯瞰カメラからの画像を前記表示装置に表示させる第１表示制御部と、
前記オブジェクト視点カメラからの画像を前記操作端末に表示させる第２表示制御部と、
前記操作端末からの操作命令に従って前記３次元仮想空間内における前記操作オブジェクトの動作を制御するオブジェクト制御部と、
前記検知装置により検知された接触位置が前記表示画面に表示されている前記操作オブジェクトに対応していると判断した場合に、当該操作オブジェクトを操作している前記操作端末に対してリアクション命令を生成し、前記リアクション命令を前記操作端末に送信する端末制御部を有し、
前記操作端末は、前記リアクション命令に応じた出力を行う出力部を有する
システム。

【請求項2】

表示装置と、操作端末と、前記表示装置及び前記操作端末と有線又は無線のネットワークを介して接続された制御装置と、オブジェクトが描かれた物理媒体をスキャンして画像データを取り込む画像取込装置を備える画像表示システムであって、
前記制御装置は、
３次元仮想空間を生成するとともに、前記画像データに基づいて操作オブジェクトを前記３次元仮想空間内に生成する生成部と、
前記３次元仮想空間内の俯瞰カメラと前記操作オブジェクト目線又はこれに追従するオブジェクト視点カメラを制御するカメラ制御部と、
前記俯瞰カメラからの画像を前記表示装置に表示させる第１表示制御部と、
前記オブジェクト視点カメラからの画像を前記操作端末に表示させる第２表示制御部と、
前記３次元仮想空間内における前記操作オブジェクトの動作を制御するオブジェクト制御部を有し、
前記操作端末は、撮影部を有し、前記撮影部による撮影画像を前記制御装置に送信し、
前記制御装置は、
前記撮影画像を解析して、当該撮影画像に前記操作オブジェクトが含まれているか否かを判断する画像解析部と、
前記撮影画像に前記操作オブジェクトが含まれていると判断された場合、当該操作オブジェクトを操作できるようにするための操作権限を、当該操作オブジェクトを撮影した前記操作端末に付与するオブジェクト管理部をさらに有し、
前記オブジェクト制御部は、前記操作権限が付与された前記操作端末からの操作命令に従って、前記３次元仮想空間内における前記操作オブジェクトの動作を制御する
システム。

【請求項3】

表示装置、操作端末、オブジェクトが描かれた物理媒体をスキャンして画像データを取り込む画像取込装置、及び前記表示装置の表示画面に対する接触位置を検知可能な検知装置と有線又は無線のネットワークを介して接続された制御装置であって、
３次元仮想空間を生成するとともに、前記画像データに基づいて操作オブジェクトを前記３次元仮想空間内に生成する生成部と、
前記３次元仮想空間内の俯瞰カメラと前記操作オブジェクト目線又はこれに追従するオブジェクト視点カメラを制御するカメラ制御部と、
前記俯瞰カメラからの画像を前記表示装置に表示させる第１表示制御部と、
前記オブジェクト視点カメラからの画像を前記操作端末に表示させる第２表示制御部と、
前記操作端末からの操作命令に従って前記３次元仮想空間内における前記操作オブジェクトの動作を制御するオブジェクト制御部と、
前記検知装置により検知された接触位置が前記表示画面に表示されている前記操作オブジェクトに対応していると判断した場合に、当該操作オブジェクトを操作している前記操作端末に対してリアクション命令を生成し、前記リアクション命令を前記操作端末に送信する端末制御部を有し、
前記操作端末に、前記リアクション命令に応じた出力を行わせる
制御装置。

【請求項4】

表示装置、操作端末、及びオブジェクトが描かれた物理媒体をスキャンして画像データを取り込む画像取込装置と有線又は無線のネットワークを介して接続された制御装置であって、
３次元仮想空間を生成するとともに、前記画像データに基づいて操作オブジェクトを前記３次元仮想空間内に生成する生成部と、
前記３次元仮想空間内の俯瞰カメラと前記操作オブジェクト目線又はこれに追従するオブジェクト視点カメラを制御するカメラ制御部と、
前記俯瞰カメラからの画像を前記表示装置に表示させる第１表示制御部と、
前記オブジェクト視点カメラからの画像を前記操作端末に表示させる第２表示制御部と、
前記３次元仮想空間内における前記操作オブジェクトの動作を制御するオブジェクト制御部を有し、
前記操作端末は、撮影部を有し、前記撮影部による撮影画像を前記制御装置に送信するものであり、
前記制御装置は、
前記撮影画像を解析して、当該撮影画像に前記操作オブジェクトが含まれているか否かを判断する画像解析部と、
前記撮影画像に前記操作オブジェクトが含まれていると判断された場合、当該操作オブジェクトを操作できるようにするための操作権限を、当該操作オブジェクトを撮影した前記操作端末に付与するオブジェクト管理部をさらに有し、
前記オブジェクト制御部は、前記操作権限が付与された前記操作端末からの操作命令に従って、前記３次元仮想空間内における前記操作オブジェクトの動作を制御する
制御装置。

【請求項5】

コンピュータを、請求項３又は請求項４に記載の制御装置として機能させるためのコンピュータプログラム。

【請求項6】

表示装置と、操作端末と、前記表示装置及び前記操作端末と有線又は無線のネットワークを介して接続された制御装置と、オブジェクトが描かれた物理媒体をスキャンして画像データを取り込む画像取込装置と、前記表示装置の表示画面に対する接触位置を検知可能な検知装置を備えるシステムによって実行される画像表示方法であって、
前記制御装置が、３次元仮想空間を生成するとともに、前記画像データに基づいて操作オブジェクトを前記３次元仮想空間内に生成する工程と、
前記制御装置が、前記３次元仮想空間内の俯瞰カメラと前記操作オブジェクト目線又はこれに追従するオブジェクト視点カメラを制御する工程と、
前記制御装置が、前記俯瞰カメラからの画像を前記表示装置に表示させる工程と、
前記制御装置が、前記オブジェクト視点カメラからの画像を前記操作端末に表示させる工程と、
前記制御装置が、前記操作端末からの操作命令に従って前記３次元仮想空間内における前記操作オブジェクトの動作を制御する工程と、
前記制御装置が、前記検知装置により検知された接触位置が前記表示画面に表示されている前記操作オブジェクトに対応していると判断した場合に、当該操作オブジェクトを操作している前記操作端末に対してリアクション命令を生成し、前記リアクション命令を前記操作端末に送信する工程と、
前記操作端末が、前記リアクション命令に応じた出力を行う工程を含む
画像表示方法。

【請求項7】

表示装置と、操作端末と、前記表示装置及び前記操作端末と有線又は無線のネットワークを介して接続された制御装置と、オブジェクトが描かれた物理媒体をスキャンして画像データを取り込む画像取込装置を備えるシステムによって実行される画像表示方法であって、
前記制御装置が、３次元仮想空間を生成するとともに、前記画像データに基づいて操作オブジェクトを前記３次元仮想空間内に生成する工程と、
前記制御装置が、前記３次元仮想空間内の俯瞰カメラと前記操作オブジェクト目線又はこれに追従するオブジェクト視点カメラを制御する工程と、
前記制御装置が、前記俯瞰カメラからの画像を前記表示装置に表示させる工程と、
前記操作端末が、撮影部による撮影画像を前記制御装置に送信する工程と、
前記制御装置が、前記撮影画像を解析して、当該撮影画像に前記操作オブジェクトが含まれているか否かを判断する工程と、
前記制御装置が、前記撮影画像に前記操作オブジェクトが含まれていると判断した場合、当該操作オブジェクトを操作できるようにするための操作権限を、当該操作オブジェクトを撮影した前記操作端末に付与する工程と、
前記制御装置が、前記オブジェクト視点カメラからの画像を前記操作権限を付与した前記操作端末に表示させる工程と、
前記制御装置が、前記操作権限が付与された前記操作端末からの操作命令に従って、前記３次元仮想空間内における前記操作オブジェクトの動作を制御する工程を含む
画像表示方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、３次元仮想空間の画像を表示装置と操作端末に表示させるための画像表示システムに関する。また、本発明は、画像表示方法、制御装置、及びコンピュータプログラムにも関するものである。

【背景技術】

【0002】

本願出願人は、塗り絵や絵画を応用してユーザの創造性や表現力を発揮させることのできる画像表示システムを提案している（特許文献１）。この特許文献１の画像表示システムでは、塗り絵や絵画をスキャンして画像データとして取り込むと、そこに描かれているオブジェクトの画像が生成されて、そのオブジェクト画像が大型スクリーン等の表示画面上で所定の動作を行うようになる。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１７－０３７６１４号

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、特許文献１の画像表示システムでは、オブジェクト画像がスクリーン上に表示された後は、そのオブジェクト画像は基本的にプログラムに従った所定の動作を行うだけのものとなる。このオブジェクト画像の元となる塗り絵等を作成したユーザは、自分のオブジェクト画像を外から観賞することになるが、外から鑑賞しているだけでは作品への没入感を得にくいという課題があった。また、このシステムでぇあ、オブジェクト画像は所定の動作を行うだけのものであることから、ユーザを飽きさせやすいという課題もある。

【0005】

そこで、本発明は、ユーザに没入感を与えるとともに、ユーザの興味を長く引き続けることのできる画像表示システムを提供することを主な目的とする。

【課題を解決するための手段】

【0006】

本発明の発明者は、上記の従来発明の課題を解決する手段について鋭意検討した結果、３次元仮想空間内のオブジェクト画像を大型スクリーン等の表示画面とユーザが保有する端末の表示画面の両方に表示するとともに、その端末によってオブジェクト画像を操作できるようにすることで、ユーザに作品への没入感を与えつつ、ユーザの興味を長く引き続けることができるようになるという知見を得た。そして、本発明者は、上記知見に基づけば従来技術の課題を解決できることに想到し、本発明を完成させた。以下では発明について具体的に説明する。

【0007】

本発明の第１の側面は、画像表示システムに関する。本発明に係る画像表示システムは、表示装置、操作端末、及び制御装置を備える。表示装置は、プロジェクタによってスクリーン上に画像を投影するものであってもよいし、液晶ディスプレイや有機ＥＬディスプレイのように表示素子を備えるものであってもよい。操作端末は、主にユーザが保持する端末であり、スマートフォンやタブレット端末のような携帯情報端末であってもよいし、ラップトップ型やデスクトップ型のコンピュータであってもよい。制御装置は、表示装置及び操作端末と有線又は無線のネットワークを介して接続されている。制御装置は、インターネット等の通信回線を介して表示装置や操作端末に接続されていしてもよいし、有線又は無線のローカルエリアネットワーク（ＬＡＮ）によって表示装置や操作端末に接続されていしてもよい。なお、制御装置は、一台のコンピュータ（サーバ装置）によって構成されていてもよいし、複数のコンピュータに機能を分散させることにより構築されたものであってもよい。

【0008】

ここで、制御装置は、生成部、カメラ制御部、第１表示制御部、第２表示制御部、及びオブジェクト制御部といった機能ブロックを有する。これらの機能ブロックは、制御装置を構成するコンピュータのプロセッサにより実現される。生成部は、操作オブジェクトを含む３次元仮想空間を生成する。操作オブジェクトは、ユーザが保有する操作端末によって操作することができる。なお、３次元仮想空間には、操作オブジェクト（Playable Object）だけでなく、非操作オブジェクト（Non-Playable Object）が存在していてもよい。カメラ制御部は、３次元仮想空間内の俯瞰カメラとオブジェクト視点カメラを制御する。俯瞰カメラとオブジェクト視点カメラは、３次元仮想空間内に存在する仮想カメラである。俯瞰カメラは、主に特定のオブジェクト（特に操作オブジェクト）に依存せずに３次元仮想空間内を撮影するように制御される。一方、オブジェクト視点カメラは、操作オブジェクト目線から一人称視点で３次元仮想空間を撮影するか、又は操作オブジェクトに追従するようにして三人称視点で３次元仮想空間を撮影するように制御される。第１表示制御部は、俯瞰カメラからの画像を表示装置に表示させる。また、第２表示制御部は、オブジェクト視点カメラからの画像を操作端末に表示させる。より具体的には、第２表示制御部は、ある操作オブジェクトに従属するオブジェクト視点カメラからの画像を、その操作オブジェクトを操作している操作端末に表示させることとなる。オブジェクト制御部は、操作端末からの操作命令に従って３次元仮想空間内における操作オブジェクトの動作を制御する。

【0009】

上記構成のように、本発明では、ある一つの３次元仮想空間内に俯瞰カメラとオブジェクト視点カメラといった二種の仮想カメラが設けられ、俯瞰カメラからの画像は表示装置に表示され、オブジェクト視点カメラからの画像は操作端末に表示される。また、３次元仮想空間内の操作オブジェクトはこの操作端末によって自由に操作できる。これにより、操作端末によって操作される操作オブジェクトの動作と、表示装置に表示されている操作オブジェクトの動作が同期することとなる。つまり、操作端末によってある操作オブジェクトを動作させると、表示装置に表示されている操作オブジェクトも同じ動作を行う。従って、ユーザには、あたかも、自身が操作オブジェクトになって、表示装置によって表示されている３次元仮想空間内に入り込んだかのような没入感を与えることができる。また、操作オブジェクトをユーザによって自由に操作可能とすることにより、ユーザを飽きさせずにその興味を長く引くことができる。

【0010】

本発明に係るシステムは、オブジェクトが描かれた物理媒体をスキャンして画像データを取り込む画像取込装置をさらに備えることが好ましい。この場合に、制御装置の生成部は、画像取込装置によって取り込まれた画像データに基づいて、操作オブジェクトを３次元仮想空間内に生成する。例えば、ユーザが塗り絵等によってオブジェクトに色を付けると、このオブジェクトが画像となって３次元仮想空間に取り込まれ、操作オブジェクトとして機能する。そして、ユーザは操作端末を介して自分が色を付けた操作オブジェクトを３次元仮想空間内で自由に操作することができる。これにより、ユーザに対してさらなる没入感を与えることができる。

【0011】

本発明に係るシステムは、表示装置の表示画面に対する接触位置を検知可能な検知装置をさらに備えることが好ましい。この場合、制御装置は、端末制御部をさらに有することとしてもよい。この端末制御部は、検知装置による検知情報に基づいてリアクション命令を生成し、リアクション命令を操作端末に送信する。この場合、操作端末は、このリアクション命令に応じた出力を行う出力部を有することが好ましい。出力部の例は、ディスプレイ、バイブレータ、フラッシュライトなどの出力装置である。例えば、端末制御部は、検知装置により検知された接触位置が表示画面に表示されている操作オブジェクトに対応していると判断した場合に、当該操作オブジェクトを操作している操作端末に対してリアクション命令を生成する。例えば、あるユーザの操作端末により操作されている操作オブジェクトが、表示装置の表示画面上において別のユーザ（鑑賞者）によりタッチされると、その操作端末の表示画面上に何らかの表示が行われたり、操作端末内のバイブレータが振動したり、操作端末のスピーカから所定の音が出力されたり、操作端末のフラッシュライトが点灯したりする。これにより、操作オブジェクトを操作しているユーザに対して、自身の操作端末に表示されている操作オブジェクトと、表示装置の表示画面上に表示されている操作オブジェクトとが同期しているという実感を与え、さらに高い没入感を提供することができる。

【0012】

本発明に係るシステムにおいて、操作端末は、撮影部を有することが好ましい、この場合、操作端末は、この撮影部による撮影画像を制御装置に送信する。また、制御装置は、画像解析部とオブジェクト管理部をさらに有することが好ましい。画像解析部は、操作端末から受信した撮影画像を解析して、当該撮影画像に操作オブジェクトが含まれているか否かを判断する。オブジェクト管理部は、画像解析部によって撮影画像に操作オブジェクトが含まれていると判断された場合、当該操作オブジェクトの操作権限を、当該操作オブジェクトを撮影した操作端末に付与する。これにより、その操作端末は、撮影画像に含まれる操作オブジェクトを操作できるようになる。操作端末に操作可能なオブジェクトを一覧的に表示して、ユーザに操作したい操作オブジェクトを選ばせることもできるが、選択できる操作オブジェクトの数が多いと、その一覧の中から操作したいオブジェクトを見つけることが難しくなる。一方で、表示装置の表示画面上にユーザが気に入った操作オブジェクトが表示されている場合に、それを撮影するだけでその操作オブジェクトの操作権限を得られるようすることで、ユーザの利便性を格段に高めることができる。

【0013】

本発明の第２の側面は、操作端末用のコンピュータプログラムである。第２の側面に係るコンピュータプログラムは、情報通信端末を、前述した第１の側面に係る画像表示システムにおける操作端末として機能させる。このプログラムは、インターネットを通じてダウンロード可能なものであってもよいし、ＣＤ－ＲＯＭ等の記録媒体に非一時的に記録されたものであってもよい。

【0014】

本発明の第３の側面は、表示装置及び操作端末と有線又は無線のネットワークを介して接続された制御装置に関する。制御装置は、操作オブジェクトを含む３次元仮想空間を生成する生成部と、３次元仮想空間内の俯瞰カメラと操作オブジェクト目線又はこれに追従するオブジェクト視点カメラを制御するカメラ制御部と、俯瞰カメラからの画像を表示装置に表示させる第１表示制御部と、オブジェクト視点カメラからの画像を操作端末に表示させる第２表示制御部と、操作端末からの操作命令に従って３次元仮想空間内における操作オブジェクトの動作を制御するオブジェクト制御部を有する。

【0015】

本発明の第４の側面は、コンピュータ用のプログラムである。第４の側面に係るプログラムは、コンピュータを、前述した第３の側面に係る制御装置として機能させる。このプログラムは、インターネットを通じてダウンロード可能なものであってもよいし、ＣＤ－ＲＯＭ等の記録媒体に非一時的に記録されたものであってもよい。

【0016】

本発明の第５の側面は、表示装置と、操作端末と、表示装置及び前記操作端末と有線又は無線のネットワークを介して接続された制御装置を備えるシステムによって実行される画像表示方法に関する。本発明に係る方法では、制御装置が、操作オブジェクトを含む３次元仮想空間を生成する（生成工程）。また、制御装置が、３次元仮想空間内の俯瞰カメラと操作オブジェクト目線又はこれに追従するオブジェクト視点カメラを制御する（カメラ制御工程）。また、制御装置が、俯瞰カメラからの画像を表示装置に表示させる（第１表示制御工程）。また、制御装置が、オブジェクト視点カメラからの画像を操作端末に表示させる（第２制御工程）。また、制御装置が、操作端末からの操作命令に従って３次元仮想空間内における操作オブジェクトの動作を制御する（オブジェクト制御工程）。

【発明の効果】

【0017】

本発明によれば、ユーザに没入感を与えるとともに、ユーザの興味を長く引き続けることのできる画像表示システムを提供する。

【図面の簡単な説明】

【0018】

【図1】図１は、画像表示システムの概要を示している。

【図2】図２は、画像表示システムの構成例を示したブロック図である。

【図3】図３は、画像表示システムの主な特徴点を示している。

【図4】図４は、操作オブジェクトの表示処理の例を示したシーケンス図である。

【図5】図５は、操作端末のリアクション処理の例を示したシーケンス図である。

【図6】図６は、操作端末に操作オブジェクトの操作権限を付与する処理の例を示したシーケンス図である。

【図7】図７は、オブジェクト視点カメラの例を示している。

【発明を実施するための形態】

【0019】

以下、図面を用いて本発明を実施するための形態について説明する。本発明は、以下に説明する形態に限定されるものではなく、以下の形態から当業者が自明な範囲で適宜変更したものも含む。

【0020】

図１は、本発明に係る画像表示システム１００の概要を模式的に示している。図１に示されるように、３次元の仮想空間内にはユーザによって操作が可能な操作オブジェクトＰＯが存在している。この操作オブジェクトＰＯには、固有の仮想的なオブジェクト視点カメラＶＣが付随しており、このオブジェクト視点カメラＶＣによって撮影された画像（静止画及び動画を含む。）が、ユーザが保有するスマートフォン等の操作端末４０の表示画面に表示される。ユーザは、操作端末４０に表示される画像を確認しながら、操作端末４０を利用して３次元仮想空間内の操作オブジェクトＰＯを操作することができる。なお、３次元仮想空間には、固有のオブジェクト視点カメラＶＣを持つ複数の操作オブジェクトＰＯが存在しており、それぞれの操作オブジェクトＰＯが別のユーザによって操作されている。また、３次元仮想空間には、操作オブジェクトＰＯの他に、非操作オブジェクトＮＯも存在している。

【0021】

一方で、３次元仮想空間には、操作オブジェクトＰＯに付随するオブジェクト視点カメラＶＣの他に、この仮想空間を俯瞰する仮想的な俯瞰カメラＯＣが存在する。この俯瞰カメラＯＣは、個別の操作オブジェクトＰＯや非操作オブジェクトＮＯに従属したものではなく、複数の操作オブジェクトＰＯや複数の非操作オブジェクトＮＯを全体的に撮影するように制御される。例えば、図１に示した例では、３次元仮想空間の中にドーム状の空間が設けられており、このドーム状の空間の中に操作オブジェクトＰＯと非操作オブジェクトＮＯが設けられている。この場合に、俯瞰カメラＯＣは、このドーム状の空間の周囲を周回移動したり、あるいはドーム状の空間の上空を移動したりしながら、このドーム状の空間の中に存在する操作オブジェクトＰＯと非操作オブジェクトＮＯを撮影している。また、俯瞰カメラＯＣは、このドーム状の空間の中に入り込んで操作オブジェクトＰＯ等を撮影することもできる。

【0022】

この俯瞰カメラＯＣによって撮影された画像は、表示装置３０に出力される。図１に示した例では、表示装置３０は、プロジェクタ３１と大型のスクリーン３２を含む。プロジェクタ３１は、俯瞰カメラＯＣによって撮影された画像をスクリーン３２上に投影する。このとき、俯瞰カメラＯＣとオブジェクト視点カメラＶＣは、同じ３次元仮想空間内の同じ操作オブジェクトＰＯを撮影していることがある。この場合、ユーザが操作端末４０によって操作オブジェクトＰＯを操作すると、その操作オブジェクトＰＯの動作が操作端末４０に表示されると同時に、表示装置３０の表示画面上にも操作オブジェクトＰＯの動作が表示されることになる。その結果、操作端末４０に表示されている操作オブジェクトＰＯと、表示装置３０の表示画面上に表示されている操作オブジェクトＰＯは同期しているといえる。

【0023】

また、ユーザによって印刷用紙等の物理媒体上に描かれたり色づけされたオブジェクトを、スキャナによって画像データとして取り込み、３次元仮想空間内の操作オブジェクトＰＯとすることもできる。つまり、本システム１００には、画像取込装置２０が含まれ、この画像取込装置２０によって取り込まれた画像に基づいて操作オブジェクトＰＯが生成される。このような仕組みは、特許文献１（特開２０１７－０３７６１４号）を参考にすればよい。これにより、ユーザには、自分で描いたオブジェクトを自分で操作するといった体験を与えることができる。

【0024】

また、ユーザ（鑑賞者）は、表示装置３０の表示画面（スクリーン３２等）に表示された操作オブジェクトＰＯにタッチすることもできる。表示画面上のタッチ位置は、検知装置６０によって検出され、鑑賞者が操作オブジェクトＰＯに触れたかどうかが判定される。鑑賞者が操作オブジェクトＰＯに触れた場合、３次元仮想空間内においてその操作オブジェクトＰＯが所定のアクションを行うこととしてもよい。また、鑑賞者が操作オブジェクトＰＯに触れた場合、その操作オブジェクトＰＯを操作している操作端末４０に接触情報が伝達され、その操作端末４０が所定のリアクションを出力することとしてもよい。

【0025】

図２は、本発明に係る画像表示システム１００の機能構成例を示したブロック図である。図２に示されるように、画像表示システム１００は、主要な装置として、制御装置１０、画像取込装置２０、表示装置３０、操作端末４０、及び検知装置６０を備えている。

【0026】

制御装置１０は、画像表示システム１００の全体の制御を担うコンピュータであり、主に３次元仮想空間の生成と、表示装置３０と操作端末４０に表示させる画像の描画を行う。制御装置１０は、画像取込装置２０、表示装置３０、操作端末４０、及び検知装置６０の各装置と有線又は無線で接続されている。本実施形態では、制御装置１０は、画像取込装置２０、表示装置３０、検知装置６０に対してはローカルエリアネットワーク（ＬＡＮ）で接続されている。一方で、制御装置１０は、操作端末４０に対してはインターネットを介して無線接続されている。ただし、外部基地局との通信状態が悪い環境などにおいては、制御装置１０と操作端末４０を無線ＬＡＮで接続することも可能である。

【0027】

制御装置１０は、主に中央制御部１１、記憶部１２、及び通信部１３を有する。中央制御部１１は、例えばプロセッサとメモリから構成される。プロセッサの例は公知のＣＰＵやＧＰＵである。プロセッサは、メモリに記憶されているプログラムやデータに従って所定の演算処理や画像処理を行い、その処理の結果をメモリの作業空間に書き出しながら各種の制御処理を実行する。メモリは、例えばＲＡＭ（Random Access Memory）等の揮発性メモリから構成され、上記したプロセッサによる演算処理に利用される。記憶部１２は、主に中央制御部１１での処理に利用されるデータを記憶するための要素（ストレージ）である。また、記憶部１２には、中央制御部１１のプロセッサでの処理に用いられるプログラムが記憶されていてもよい。記憶部１２は、ＲＯＭ（Read Only Memory）やフラッシュメモリ等の不揮発性メモリや、ＨＤＤ（ハードディスクドライブ）から構成される。通信部１３は、インターネットを介して操作端末４０とデータの送受信を行うための要素であり、有線又は無線によってデータを送受信できるものであればよい。無線通信を行う場合、通信部１３としては、４Ｇ、５Ｇ、あるいはＷｉ－Ｆｉ（登録商標）などの公知の無線通信規格に則った通信モジュールを採用できる。

【0028】

本実施形態において中央制御部１１が実行する処理を機能ブロックとして説明すると、中央制御部１１は、図１に示されるように、生成部１１ａ、カメラ制御部１１ｂ、オブジェクト管理部１１ｄ、オブジェクト管理部１１ｄ、描画処理部１１ｅ、第１表示制御部１１ｆ、第２表示制御部１１ｇ、接触位置判定部１１ｈ、端末制御部１１ｉ、及び画像解析部１１ｊを含む。

【0029】

生成部１１ａは、主に３次元仮想空間を生成する演算を行う。この３次元仮想空間には、図１に示したように操作オブジェクトと非操作オブジェクトが含まれる。このため、生成部１１ａは、操作オブジェクトや非操作オブジェクトを生成する演算も行う。また、図１に示したように、３次元仮想空間内に各オブジェクトが配置されるドーム状の空間を設ける場合、このドーム状の空間を生成するための演算が生成部１１ａにより行われる。

【0030】

カメラ制御部１１ｂは、３次元仮想空間内のオブジェクト視点カメラ及び俯瞰カメラを制御する。例えば、オブジェクト視点カメラが操作オブジェクトを三人称視点で撮影するものである場合、カメラ制御部１１ｂは、このオブジェクト視点カメラを操作オブジェクトの動作に追従させつつ、オブジェクト視点カメラの撮影範囲内に常に操作オブジェクトが入り込むように、オブジェクト視点カメラを制御する。また、オブジェクト視点カメラが操作オブジェクトの一人称視点のものである場合、このオブジェクト視点カメラが常に操作オブジェクトの目線で３次元仮想空間を撮影するように、オブジェクト視点カメラを制御する。また、俯瞰カメラに関しては、カメラ制御部１１ｂは、例えば３次元仮想空間内を所定の軌道で移動するように俯瞰カメラを制御すればよい。前述したように、３次元仮想空間内にドーム状の空間が形成されている場合、カメラ制御部１１ｂは、俯瞰カメラをドーム状の空間の周囲を周回移動させたり、あるいはドーム状の空間の上空を移動させたりしながら、このドーム状の空間の中に存在する操作オブジェクトや非操作オブジェクトを撮影させればよい。

【0031】

オブジェクト制御部１１ｃは、３次元仮想空間内に存在する操作オブジェクトや非操作オブジェクトの制御を行う。オブジェクト制御部１１ｃは、主に操作端末４０による操作命令に従って操作オブジェクトの動作を制御する。また、オブジェクト制御部１１ｃは、検知装置６０による検知情報に基づいて操作オブジェクト又は非操作オブジェクトの動作の制御を制御する。その他、操作オブジェクトや非操作オブジェクトの動作ルールは、メモリや記憶部１２に記憶されている。例えば、操作オブジェクト同士が３次元仮想空間内で接触した場合に各オブジェクトに衝突のアクションを行わせたり、操作オブジェクトが非操作オブジェクトに接触しそうになったときに非操作オブジェクトに回避のアクションを行わせたりするなど、オブジェクト制御部１１ｃは、所定の動作ルールに従って各オブジェクトの動作を制御すればよい。また、オブジェクト制御部１１ｃは、操作オブジェクトが操作端末４０による操作命令を受けていない状態にある場合、予め決められた動作プログラムに従ってこの操作オブジェクトを動作させることとしてもよい。

【0032】

オブジェクト管理部１１ｄは、３次元仮想空間内に存在する操作オブジェクトや非操作オブジェクトの管理を行う。具体的には、オブジェクト管理部１１ｄは、操作端末４０に対して操作オブジェクトの操作権限を付与する処理を行う。例えば、操作オブジェクトには固有の識別情報（ＩＤ）が割り当てられており、オブジェクト管理部１１ｄは、この操作オブジェクトを操作する権限が与えられた操作端末４０の識別情報（ＩＰアドレス等）を操作オブジェクトの識別情報（ＩＤ）を関連付けて、記憶部１２内のデータベースに記録する。これにより、どの操作端末４０がどの操作オブジェクトを操作しているかをデータベースで管理できる。また、オブジェクト管理部１１ｄは、３次元仮想空間内に現在存在している操作オブジェクトと非操作オブジェクトを特定している。また、オブジェクト管理部１１ｄは、３次元仮想空間内に同時に存在できるオブジェクトを管理することとしてもよい。例えば、３次元仮想空間に一度に出現させることのできる操作オブジェクトの上限数や非操作オブジェクトの上限数が決められている場合に、３次元仮想空間内に新しく操作オブジェクトや非操作オブジェクトが生成されたときには、オブジェクト管理部１１ｄは、各オブジェクトを古い順に消去していき、３次元仮想空間に現存する各オブジェクトの数が上限数以内となるように管理する。

【0033】

描画処理部１１ｅは、オブジェクト視点カメラ及び俯瞰カメラによって撮影された３次元仮想空間や各オブジェクト（操作オブジェクト、非操作オブジェクト）の描画処理を行う。具体的には、描画処理部１１ｅは、ワールド座標系（Ｘ、Ｙ、Ｚ）で表現された３次元仮想空間を、オブジェクト視点カメラと俯瞰カメラのカメラ位置からのスクリーン座標系（Ｕ、Ｖ）に変換して２次元の画像を生成する。俯瞰カメラのカメラ位置からの２次元画像は、表示装置３０に表示するための画像である。また、オブジェクト視点カメラのカメラ位置からの２次元画像は、操作端末４０に表示するための画像である。また、描画処理部１１ｅは、３次元仮想空間をそのまま２次元画像に変換するのではなく、公知の３ＤＣＧの加工技術を行って表示装置３０や操作端末４０の表示に適した画像に加工することとしてもよい。

【0034】

第１表示制御部１１ｆは、俯瞰カメラの位置からの２次元画像を所定のＩ／Ｏインターフェースを介して表示装置３０へと出力し、この２次元画像を表示装置３０に表示させる。一方、第２表示制御部１１ｇは、オブジェクト視点カメラの位置からの２次元画像を通信部１３を介して操作端末４０へと送信して、この２次元画像を操作端末４０に表示させる。

【0035】

接触位置判定部１１ｈは、検知装置６０による検知情報に基づいて、表示装置３０の表示画面上におけるユーザ（鑑賞者）等の接触位置を判定する。例えば、接触位置判定部１１ｈは、表示装置３０の表示画面上におけるｘｙ座標と、表示装置３０に表示されている２次元画像におけるｘｙ座標の対応関係を常時把握している。このため、検知装置６０によって、表示装置３０の表示画面に対して鑑賞者が触れた位置（ｘｙ座標）が検出されると、接触位置判定部１１ｈは、表示装置３０に表示されている２次元画像に対して鑑賞者が触れた位置（ｘｙ座標）を特定する。これにより、例えば、接触位置判定部１１ｈは、鑑賞者が、表示装置３０の表示画面において、操作オブジェクトや非操作オブジェクトに触れたか否かを判定することができる。

【0036】

端末制御部１１ｉは、操作端末４０の出力部（表示部４８、バイブレータ４９、スピーカ５１、フラッシュライト５２等）の制御に関わるリアクション命令を生成する。端末制御部１１ｉによって生成されたリアクション命令は、通信部１３を介して操作端末４０に送信される。本実施形態では、例えば、あるユーザの操作端末４０によって操作されている操作オブジェクトが、表示装置３０の表示画面上において別のユーザ（鑑賞者）によってタッチされると、その操作端末４０に対してリアクション命令が生成される。

【0037】

画像解析部１１ｊは、主に操作端末４０の撮影部４５で撮影された画像を解析する。本実施形態では、画像解析部１１ｊは、操作端末４０の撮影画像に操作オブジェクトが含まれているか否か判断する。また、操作端末４０の撮影画像に操作オブジェクトが含まれている場合には、画像解析部１１ｊは、その操作オブジェクトの個体識別を行う。具体的には、画像解析部１１ｊは、撮影画像に含まれる操作オブジェクトの形状や色等の特徴点から、その操作オブジェクトを特定すればよい。また、操作オブジェクトを生成したときに予め個体識別用のマーカ（電子透かし）を埋め込んでおき、撮影画像に含まれる操作オブジェクトのマーカを解析することにより、操作オブジェクトの個体識別を行うこととしてもよい。

【0038】

画像取込装置２０は、オブジェクトが描かれた印刷用紙等の物理媒体をスキャンして画像データを取り込ための装置である。なお、物理媒体にオブジェクト識別用のマーカが描画されている場合には、画像取込装置２０は、このオブジェクトとマーカが描かれた物理媒体の表面をスキャンして画像データに変換する。画像取込装置２０としては、公知のスキャナやカメラを利用することができる。画像取込装置２０は、スキャンした画像をＧＩＦやＪＰＥＧといった公知の形式でデータ化して制御装置１０に出力する。

【0039】

また、この画像取込装置２０によって取り込まれた画像データに基づいて、制御装置１０の生成部１１ａは、操作オブジェクトを生成することができる。具体的には、生成部１１ａは、画像データに含まれるオブジェクトの種類を特定するための解析を行う。例えば、特許文献１と同様に、物理媒体（塗り絵用紙）の表面にオブジェクトに対応したマーカが付されている場合、生成部１１ａは、画像データに含まれるマーカを解析して、オブジェクトの種類を特定することができる。また、生成部１１ａは、画像データの中からオブジェクトが描かれた領域を抽出して、背景などの不要な部分を取り除いたオブジェクト画像を生成する描画処理を行う。例えば、物理媒体（塗り絵用紙）の表面の四隅にそれぞれ一つずつマーカが印刷されている場合、生成部１１ａは、画像データに含まれる４つのマーカの位置を把握して、その４つのマーカを頂点とした矩形領域を画定し、その矩形領域の外側を除去する。これにより、画像データの中から、オブジェクトが描かれた矩形画像を切り抜くことができる。その後、生成部１１ａは、この矩形領域の中からオブジェクトの輪郭描かれた部分や色が塗られた部分を抽出して、操作オブジェクトの画像を生成する。例えば、生成部１１ａは、オブジェクトの種類に対応したマスクを矩形画像に適用することによってオブジェクトの輪郭を抽出して操作オブジェクトの画像を生成することとしてもよいし、矩形画像の中から色付きの部分を抽出し白色部分（色無しの部分）を透明化するクロマキー合成処理を行うことによって操作オブジェクトの画像を生成することとしてもよい。また、生成部１１ａは、上記のようにして生成した操作オブジェクトの画像に対して、オブジェクトの種類に対応した所定の動作プログラムを付与する。これにより、操作オブジェクトは、ユーザによって操作される前であっても、所定の動作プログラムに応じて動作することができるようになる。操作オブジェクトはユーザによる操作が開始された後は、この動作プログラムよりも、ユーザによる操作命令を優先して動作を実行することになる。

【0040】

表示装置３０は、制御装置１０の制御に従って、俯瞰カメラの視点からの２次元画像を表示する。本実施形態において、表示装置３０は、プロジェクタ３１とスクリーン３２を備えている。プロジェクタ３１は、制御装置１０によって描画された画像を受信して、その画像をスクリーン３２の表面上に投影する。プロジェクタ３１やスクリーン３２は公知のものを採用すればよい。なお、スクリーン３２は平面的な壁などによっても代用できる。また、表示装置３０としては、その他に、大型モニタや、液晶ディスプレイ、あるいは有機ＥＬディスプレイなどを採用することもできる。ただし、簡易かつ低コストで画像を大画面に表示できることから、表示装置３０としてはプロジェクタ３１とスクリーン３２を採用することが好ましい。

【0041】

操作端末４０は、操作オブジェクトを操作するユーザが保持する端末装置である。操作端末４０の例は、スマートフォンやタブレット端末などの携帯情報端末である。操作端末４０は、制御部４１、記憶部４２、通信部４３、入力部４４、撮影部４５、ジャイロセンサ４６、加速度センサ４７、表示部４８、バイブレータ４９、スピーカ５１、フラッシュライト５２等を備える。その他、操作端末４０は、一般的なスマートフォンやタブレット端末が備える公知のモジュールを含むことができる。

【0042】

制御部４１は、この操作端末４０が備える他の要素の全体制御を行う。制御部４１は、ＣＰＵなどの公知のプロセッサや、ＲＡＭなどの公知のメモリから構成されている。制御部４１のプロセッサは、記憶部４２に記憶されているアプリケーションプログラムをメモリに展開し、このアプリケーションプログラムに従って他の要素を制御する。記憶部４２は、制御部４１での処理に用いられるデータを記憶するための要素である。具体的に、記憶部４２には、一般的なスマートフォン等の携帯情報端末を本システムにおける操作端末４０として機能させるためのアプリケーションプログラムを記憶している。記憶部４２に記憶されているアプリケーションプログラムは、制御部４１により読み出されて、当該プログラムに従った処理が実行される。なお、記憶部４２には、他のアプリケーションプログラムが複数記憶されていてもよい。操作端末４０の記憶部４２は、ＨＤＤ又はＳＤＤといった不揮発性メモリにより実現できる。通信部４３は、インターネット等の通信回線を通じて制御装置１０と通信するための要素である。

【0043】

入力部４４は、ユーザによる操作情報を操作端末４０に入力するための要素である。入力部４４としては、タッチパネル、マウス、キーボード、スタイラスペンなどの公知の入力装置を利用すればよい。なお、入力部４４は、操作端末４０から物理的に分離可能なものであってもよく、その場合には入力部４４はBluetooth（登録商標）等の近距離無線通信規格で操作端末４０と接続される。また、タッチパネル（入力部４４）をディスプレイ（表示部４８）の前面に配置することで、タッチパネルディスプレイが構成されていてもよい。

【0044】

撮影部４５は、静止画又は動画の画像データを取得するための要素である。撮影部４５としては、操作端末４０に内蔵されている公知のデジタルカメラを利用すればよい。撮影部４５によって取得された画像データは、制御部４１へと送出され所定の演算処理が行われた後に、記憶部４２に保存される。カメラは、例えば、レンズ、メカシャッター、シャッタードライバ、ＣＣＤイメージセンサユニットやＣＭＯＳイメージセンサユニットといった光電変換素子、光電変換素子から電荷量を読み出し画像データを生成するデジタルシグナルプロセッサ（ＤＳＰ）、ＩＣメモリなどで実現される。

【0045】

ジャイロセンサ４６は、操作端末４０の角速度を連続的に測定するためのセンサである。ジャイロセンサ４６の例は、３軸の振動ジャイロセンサであり、素子を振動させて素子に加わるコリオリの力から角速度を検出する。加速度センサ４７は、操作端末４０の加速度を連続的に測定するためのセンサである。

【0046】

加速度センサ４７は、３次元の慣性運動（直行３軸方向の並進運動）を検出するものであり、３軸加速度センサを用いることができる。加速度センサ４７の測定方式としては、周波数変化式、圧電式、ピエゾ抵抗式、あるいは静電容量式などの公知の方式を利用すればよい。

【0047】

表示部４８は、所定の画像（静止画及び動画）を表示するための要素であり、液晶ディスプレイや有機ＥＬディスプレイといった公知のディスプレイ装置により構成されている。バイブレータ４９は、操作端末４０を振動させるための要素である。スピーカ５１は、音を出力するための要素である。フラッシュライト５２は、光を発生させるための要素であり、ＬＥＤ等の公知の発光素子により構成されている。これらの表示部４８、バイブレータ４９、スピーカ５１、及びフラッシュライト５２は、操作端末４０の出力部として機能する。操作端末４０の制御部４１は、これらの出力部を、前述した制御装置１０の端末制御部１１ｉにより生成されたリアクション命令に応じて駆動させることがある。

【0048】

検知装置６０は、図１に示されるように、表示装置３０の表示画面（スクリーン３２）の近くに存在する人の存在や、表示画面（スクリーン３２）に対する接触位置を検知する。検知装置６０としては、例えば測域センサ、赤外線センサや、光センサ、超音波センサ、静電容量センサ、感圧センサ、音センサ、温度センサなど各種公知のセンサを採用することができる。また、検知装置６０としては、赤外線センサと感圧センサの組み合わせなど、異なる機能を持つ複数のセンサを採用することも可能である。特に、検知装置６０は、測域センサを採用し、ユーザ（鑑賞者）がスクリーン３２に触れたときに、その接触位置（スクリーン３２上の座標位置）を検知することが好ましい。測域センサは、スクリーン３２に沿って検査光（レーザ）を出射するとともに、その検査光を走査することで鑑賞者による接触位置までの距離と角度を測定する２次元走査型の光測距センサである。測域センサにより検出された情報は、制御装置１０に伝達される。実空間における測域センサの位置座標が既知であれば、その測域センサから出射された光に触れた対象物までの距離と角度を測定することで、実空間における対象物の位置座標を検出することができる。このような検知装置６０による検知情報は、リアルタイムに制御装置１０へと送出され、例えば操作オブジェクトや非操作オブジェクトの動作制御に利用される。

【0049】

図３は、本実施形態に係る画像表示システム１００の主要な特徴点を模式的に示している。１つ目の特徴は、操作端末４０に表示されユーザによって操作されている操作オブジェクトＰＯの動作が、表示装置３０の表示画面上においても同期されている点である。２つ目の特徴は、表示装置３０の表示画面上の操作オブジェクトＰＯにユーザが接触すると、その操作オブジェクトＰＯを操作している操作端末４０が例えば振動するといったリアクションを行う点である。３つ目の特徴は、表示装置３０の表示画面上に未だ操作されていない操作オブジェクトＰＯが表示されている場合に、ユーザが操作端末４０のカメラでその操作オブジェクトＰＯを撮影すると、その操作端末４０においてその操作オブジェクトＰＯを操作できるようになるという点である。以下では、これらの各特徴点を実現するためのシーケンスについて説明する。図４は上記１つの目の特徴点、図５は上記２つ目の特徴点、図６は上記３つ目の特徴点のシーケンスをそれぞれ示している。

【0050】

図４は、前述した１つ目の特徴点、すなわち操作オブジェクトの画像表示と画像の画像表示を同期させる処理の一例を示している。まず、ユーザは、操作端末４０を介して、操作を行うことを希望する操作オブジェクトを選択する（ステップＳ１－１）。このとき、例えば操作端末４０の表示部４８には操作可能な操作オブジェクトの一覧が表示される。その一覧の中からユーザは自身が操作を希望する一つの操作オブジェクトを選択すればよい。操作端末４０は、ユーザにより選択された操作オブジェクト固有の識別情報（ＩＤ）と、この操作端末４０固有の識別情報（ＩＰアドレス等）を制御装置１０へと送信する。

【0051】

次に、制御装置１０は、ユーザにより選択された操作オブジェクトの操作権限をそのユーザの操作端末４０に対して付与する（ステップＳ１－２）。具体的には、制御装置１０のオブジェクト管理部１１ｄは、操作端末４０から受信した操作オブジェクト固有の識別情報（ＩＤ）と、この操作端末４０固有の識別情報（ＩＰアドレス等）を関連付けて、記憶部１２のデータベースに登録する。これにより、制御装置１０は、操作端末４０から操作オブジェクトの操作命令を受信したときには、その操作端末４０とデータベース上で関連付けられている操作オブジェクトに対する操作命令であると判断できる。なお、操作端末４０に対する操作権限を解除する場合には、この記憶部１２のデータベースから操作端末４０の識別情報を削除すればよい。

【0052】

次に、制御装置１０のカメラ制御部１１ｂは、ユーザにより選択された操作オブジェクトにオブジェクト視点カメラを割り当てて、所定の視点から３次元仮想空間を撮影するようにこのオブジェクト視点カメラを制御する（ステップＳ１－３）。オブジェクト視点カメラの視点や視野の広さは、操作オブジェクトの種類ごとに設定することができる。

【0053】

図７は、操作オブジェクトＰＯとオブジェクト視点カメラＶＣの対応関係の一例を示している。図７（ａ）では、飛行機型の操作オブジェクトＰＯに、三人称視点のオブジェクト視点カメラＶＣを割り当てている。この場合、カメラ制御部１１ｂは、オブジェクト視点カメラＶＣを、操作オブジェクトＰＯの後方斜上側に位置させて、この操作オブジェクトＰＯを撮影するように制御する。また、図７（ｂ）では、同じく飛行機型の操作オブジェクトＰＯに、一人称視点のオブジェクト視点カメラＶＣを割り当てている。この場合、カメラ制御部１１ｂは、オブジェクト視点カメラＶＣを、操作オブジェクトＰＯの正面側に位置させて、この操作オブジェクトＰＯの前方を撮影するように制御する。一人称視点では、オブジェクト視点カメラＶＣの視界に操作オブジェクトＰＯは入らないことになる。なお、オブジェクト視点カメラＶＣを三人称視点（図７（ａ））とするか一人称視点（図７（ｂ））とするかは、ユーザが任意に選択できるようにしてもよい。

【0054】

また、図７（ｃ）では、蝶型の操作オブジェクトＰＯに、一人称視点の広角のオブジェクト視点カメラＶＣを割り当てている。通常のオブジェクト視点カメラＶＣの視野角は４０～５０度とすることが一般的であるが、図７（ｃ）に示すように、オブジェクト視点カメラＶＣの視野角は、９０～３６０度、より具体的には１８０～３４０度とすることもできる。このような広角のオブジェクト視点カメラＶＣを設定する場合、操作端末４０の表示画面に表示される画像は、画面の左右両端において歪むことになる。また、図７（ｄ）では、鳥型の操作オブジェクトＰＯに、ズーム可能な一人称視点のオブジェクト視点カメラＶＣを割り当てることとしている。例えば、操作端末４０のユーザが表示画面をタッチすると、そのタッチ位置を中心にオブジェクト視点カメラＶＣの視界がズームされ、再度ユーザが表示画面をタッチするとズームが解除される。なお、図示は省略するが、１つの操作オブジェクトＰＯに対して視線方向の異なる複数のオブジェクト視点カメラＶＣを割り当てることも可能である（３つ以上も可）。このように２以上のオブジェクト視点カメラＶＣを設定する場合、操作端末４０の表示画面に表示には、同時に２以上の視点からの画像が表示されることになる。

【0055】

次に、制御装置１０の描画処理部１１ｅは、オブジェクト視点カメラの視点からの２次元画像を描画する（ステップＳ１－４）。すなわち、描画処理部１１ｅは、ワールド座標系（Ｘ、Ｙ、Ｚ）で表現された３次元仮想空間をオブジェクト視点カメラからのスクリーン座標系（Ｕ、Ｖ）に変換して２次元画像を生成する。その後、制御装置１０の第２表示制御部１１ｇは、ここで生成した２次元画像を通信部１３を介して操作端末４０へと送信する（ステップＳ１－５）。

【0056】

次に、操作端末４０は、制御装置１０から受信した２次元画像を表示部４８に表示する（ステップＳ１－６）。この２次元画像は操作オブジェクトに付随するオブジェクト視点カメラからの視点のものであることから、ユーザは、この２次元画像を見ながら操作オブジェクトを操作することができる。

【0057】

ユーザは、操作端末４０を利用して、操作オブジェクトを操作する（ステップＳ１－７）。操作オブジェクトの操作方法は特に制限されず、公知の方法を採用できる。例えば操作端末４０がタッチパネルディスプレイを有するものである場合であれば、このタッチパネルディスプレイにカーソルを表示して、ユーザにこのカーソルをタッチさせることによって操作オブジェクトを操作させればよい。また、操作端末４０がジャイロセンサ４６や加速度センサ４７を有するものであれば、これらのセンサによりユーザが操作端末４０を傾けたときの加速度や角速度を検知して、操作オブジェクトの操作情報として利用することとしてもよい。操作端末４０の制御部４１は、このようにしてユーザにより入力された情報に基づいて操作オブジェクトの操作命令を生成し、これを制御装置１０へ送信する。

【0058】

次に、制御装置１０のオブジェクト制御部１１ｃは、操作端末４０から受信した操作命令に基づいて、３次元仮想空間の中で操作オブジェクトの動作を制御する（ステップＳ１－８）。例えば、オブジェクト制御部１１ｃは、操作命令に応じて、操作オブジェクトに対してチルト動作や、パン動作、前進、後退、加速、減速、その他アクション（攻撃やジャンプなど）を行わせればよい。また、操作オブジェクトの動作に伴って、カメラ制御部１１ｂは、この操作オブジェクトを追従するようにオブジェクト視点カメラを制御することになる。なお、この操作オブジェクトの操作に関する一連の処理（ステップＳ１－３～Ｓ１－８）は繰り返し行われる。

【0059】

一方で、制御装置１０のカメラ制御部１１ｂは、前述したオブジェクト視点カメラの制御と並行して、俯瞰カメラの制御も行う（ステップＳ１－９）。俯瞰カメラは、特定のオブジェクトに依存せずに、３次元仮想空間を撮影するためのものである。カメラ制御部１１ｂは、前述したように、例えば３次元仮想空間内を所定の軌道で移動するように俯瞰カメラを制御すればよい。また、制御装置１０の描画処理部１１ｅは、俯瞰カメラの視点からの２次元画像を描画する（ステップＳ１－１０）。すなわち、描画処理部１１ｅは、ワールド座標系（Ｘ、Ｙ、Ｚ）で表現された３次元仮想空間を俯瞰カメラからのスクリーン座標系（Ｕ、Ｖ）に変換して２次元画像を生成する。その後、制御装置１０の第１表示制御部１１ｆは、ここで生成した２次元画像を所定のＩ／Ｏインターフェースを介して表示装置３０のプロジェクタ３１へと出力する（ステップＳ１－１１）。

【0060】

次に、表示装置３０のプロジェクタ３１は、制御装置１０から入力された２次元画像をスクリーン３２に投影することによって表示する（ステップＳ１－１２）。このとき、俯瞰カメラで捉えられた３次元仮想空間の視界の中には、操作端末４０により操作されている操作オブジェクトが写り込むことがある。その場合、表示装置３０により表示されている操作オブジェクトは、操作端末４０の操作に従って動作することになる。つまり、操作端末４０によって表示及び操作されている操作オブジェクトと、表示装置３０によって表示されている操作オブジェクトは、３次元仮想空間内では同じものであることから、これらのオブジェクトは互いに同期したものであるといえる。なお、この俯瞰カメラからの画像を表示装置３０に表示するための一連の処理（ステップＳ１－９～Ｓ１－１２）は繰り返し行われる。

【0061】

図５は、前述した２つ目の特徴点、すなわち表示装置３０に表示されている操作オブジェクトがタッチされたときに操作端末４０がリアクションを行う処理の一例を示している。まず、検知装置６０が表示装置３０のスクリーン３２に対するユーザ（鑑賞者）の接触位置を検出する（ステップＳ２－１）。検知装置６０は、スクリーン３２の平面上における鑑賞者の接触位置のｘｙ座標を検出し、この情報を制御装置１０に出力する。

【0062】

次に、制御装置１０の接触位置判定部１１ｈは、検知装置６０から入力された検出情報に基づいて、鑑賞者が表示装置３０のスクリーン３２に表示されている操作オブジェクトに触れたかどうかを判定する（ステップＳ２－２）。そして、接触位置判定部１１ｈによって鑑賞者が操作オブジェクトに触れたと判定された場合、オブジェクト制御部１１ｃは、その操作オブジェクトが３次元仮想空間内で所定のアクションを実行するように、その操作オブジェクトの動作を制御する（ステップＳ２－３）。このときの操作オブジェクトのアクションは特に制限されないが、例えば、操作オブジェクトを振動させたり、操作オブジェクトの周囲に所定のエフェクト効果を発生させたり、操作オブジェクトを加速又は減速させたり、操作オブジェクトを跳ねさせたりすることが考えられる。なお、鑑賞者の接触に応じて操作オブジェクトが行うアクションは、操作オブジェクトの種類に応じて異なることとしてもよい。また、このとき、接触位置判定部１１ｈは、鑑賞者が非操作オブジェクトに接触したかどうかを判定することもできる。鑑賞者が非操作オブジェクトに触れたと判定された場合、オブジェクト制御部１１ｃは、その非操作オブジェクトが３次元仮想空間内で所定のアクションを実行するように、その操作オブジェクトの動作を制御することとしてもよい。

【0063】

次に、制御装置１０の端末制御部１１ｉは、接触位置判定部１１ｈによって鑑賞者が接触したと判定された操作オブジェクトについて、その操作オブジェクトを操作している操作端末４０を特定する（ステップＳ２－４）。前述したように、制御装置１０の記憶部１２には、現時点で３次元仮想空間内に存在する操作オブジェクトと、それを操作している操作端末４０とが関連付けて記憶されている。端末制御部１１ｉは、このデータベースを参照することで、鑑賞者が接触した操作オブジェクトを操作している操作端末４０を特定できる。その後、端末制御部１１ｉは、このようにして特定した操作端末４０に対して、リアクション命令を生成して、これを送信する（ステップＳ２－５）。リアクション命令は、基本的に操作端末４０が備える出力部の駆動制御に関わる命令である。リアクション命令についても特に制限されないが、例えば、操作端末４０の表示部４８の表示画面上に何らかの表示を行う命令や、操作端末４０のバイブレータ４９を振動させる命令、操作端末４０のスピーカ５１から所定の音を出力させる命令、操作端末４０のフラッシュライト５２を点灯させる命令などが考えられる。なお、操作端末４０に対して送信するリアクション命令は、操作オブジェクトの種類に応じて異なることとしてもよい。その後、操作端末４０の制御部４１は、制御装置１０からリアクション命令を受信すると、このリアクション命令に従ってリアクション処理を実行する（ステップＳ２－６）。具体的には、制御部４１は、リアクション命令に従って、表示部４８、バイブレータ４９、スピーカ５１、フラッシュライト５２等の出力部を制御すればよい。

【0064】

図６は、前述した３つ目の特徴点、すなわち表示装置３０の表示画面上の操作オブジェクトを操作端末４０の撮影部４５で撮影することにより、その操作端末４０でその操作オブジェクトを操作できるようにするための処理の一例を示している。特に図６では、ユーザが描いた又は色を塗ったオブジェクトが３次元仮想空間内に取り込まれて操作オブジェクトとなり、この自分で作成した操作オブジェクトをユーザが自分の操作端末４０で操作できるようになるまでのシーケンス例を示している。

【0065】

まず、図６に示すように、ユーザは、オブジェクトを描いた印刷用紙やオブジェクトに色を塗った印刷用紙を、画像取込装置２０によってスキャンする（ステップＳ３－１）。これにより、画像取込装置２０によって印刷用紙の画像が取り込まれる。画像取込装置２０によって取り込まれた印刷用紙の画像データは、所定のＩ／Ｏインターフェースを介して制御装置１０へと出力される（ステップＳ３－２）。

【0066】

次に、制御装置１０の生成部１１ａは、画像取込装置２０から入力された画像データに基づいて操作オブジェクトを生成する（ステップＳ３－３）。操作オブジェクトを生成する処理は前述したとおりである。また、生成部１１ａは、ここで生成した操作オブジェクトに所定の動作プログラムを与えて３次元仮想空間内に出現させる。これにより、ユーザによって作成された操作オブジェクトは、３次元仮想空間内で動作プログラムに従った所定の動作を行うようになる。また、前述したように３次元仮想空間には俯瞰カメラが存在しており、この俯瞰カメラからの画像は表示装置３０のプロジェクタ３１にリアルタイムに出力されている（ステップＳ３－４）。ユーザによって作成された操作オブジェクトは３次元仮想空間内で動作しているため俯瞰カメラによって撮影される場合があるが、その場合にはユーザによって作成された操作オブジェクトが表示装置３０のプロジェクタ３１によりスクリーン３２上に映し出されることになる。

【0067】

続いて、ユーザは、スクリーン３２上に映し出されている画像の中から、自身が作成した操作オブジェクトを探し出して、これを自分の操作端末４０の撮影部４５で撮影する（ステップＳ３－５）。操作端末４０の制御部４１は、撮影部４５による撮影画像を記憶部４２に記憶するとともに、通信部４３を介して制御装置１０へと送信する（ステップＳ３－６）。

【0068】

次に、制御装置１０の画像解析部１１ｊは、通信部１３を介して操作端末４０から受信した撮影画像を解析し、この撮影画像に未操作の操作オブジェクトが含まれているか否かを判定する（ステップＳ３－７）。また、画像解析部１１ｊは、撮影画像に操作オブジェクトが含まれていると判定した場合、その撮影画像内の操作オブジェクトの形状や色等の特徴点に基づいて、その操作オブジェクトの個体識別を行う（ステップＳ３－８）。

【0069】

次に、制御装置１０のオブジェクト管理部１１ｄは、画像解析部１１ｊにより特定された操作オブジェクトの操作権限を、その操作オブジェクトを撮影した操作端末４０に付与する（ステップＳ３－９）。具体的には、操作オブジェクトの識別情報（ＩＤ）と操作端末４０の識別情報（ＩＰアドレス等）が記憶部１２のデータベースに登録される。これにより、ユーザは、操作端末４０を利用して、自分が作成した操作オブジェクトを操作することができるようになる。その後の処理は前述したとおりであるが、ユーザが操作端末４０にオブジェクトの操作情報を入力すると、その操作命令が操作端末４０から制御装置１０へと送信され（ステップＳ３－１０）、制御装置１０がその操作命令に基づいて３次元仮想空間内で操作オブジェクトの動作制御を行うことになる（ステップＳ３－１１）。

【0070】

このようにすることで、３次元仮想空間に存在している操作オブジェクトの数が多く、ユーザが自身で作成した操作オブジェクトを一覧の中から探し出すことが難しい場合であっても、ユーザは自身で作成した操作オブジェクトをカメラで撮影することで簡単に操作を行うことができるようになる。また、ユーザには、自身で作成した操作オブジェクトをスクリーン３２に表示されているオブジェクトの中から探しだすという遊びを提供することもできる。

【0071】

以上、本願明細書では、本発明の内容を表現するために、図面を参照しながら本発明の実施形態の説明を行った。ただし、本発明は、上記実施形態に限定されるものではなく、本願明細書に記載された事項に基づいて当業者が自明な変更形態や改良形態を包含するものである。

【符号の説明】

【0072】

１０…制御装置 １１…中央制御部
１１ａ…生成部 １１ｂ…カメラ制御部
１１ｃ…オブジェクト制御部 １１ｄ…オブジェクト管理部
１１ｅ…描画処理部 １１ｆ…第１表示制御部
１１ｇ…第２表示制御部 １１ｈ…接触位置判定部
１１ｉ…端末制御部 １１ｊ…画像解析部
１２…記憶部 １３…通信部
２０…画像取込装置 ３０…表示装置
３１…プロジェクタ ３２…スクリーン
４０…操作端末 ４１…制御部
４２…記憶部 ４３…通信部
４４…入力部 ４５…撮影部
４６…ジャイロセンサ ４７…加速度センサ
４８…表示部 ４９…バイブレータ
５１…スピーカ ５２…フラッシュライト
６０…検知装置 １００…画像表示システム

【要約】

【課題】ユーザに没入感を与えるとともに、ユーザの興味を長く引き続けることのできる画像表示システムを提供する。
【解決手段】表示装置３０と、操作端末４０と、これらと接続された制御装置を備える画像表示システム１００であって、操作オブジェクトＰＯを含む３次元仮想空間を生成する生成部と、３次元仮想空間内の俯瞰カメラＯＣと操作オブジェクト目線又はこれに追従するオブジェクト視点カメラＶＣを制御するカメラ制御部と、俯瞰カメラＯＣからの画像を表示装置３０に表示させる第１表示制御部と、オブジェクト視点カメラＶＣからの画像を操作端末４０に表示させる第２表示制御部と、操作端末４０からの操作命令に従って３次元仮想空間内における操作オブジェクトＰＯの動作を制御するオブジェクト制御部を有する。
【選択図】図１

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】