特許 7414707 画像表示システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-01-05

(45)【発行日】2024-01-16

(54)【発明の名称】画像表示システム

(51)【国際特許分類】

   G06T 19/00 20110101AFI20240109BHJP

   A63F 13/655 20140101ALI20240109BHJP

   A63F 13/53 20140101ALI20240109BHJP

   A63F 13/26 20140101ALI20240109BHJP

   G06F 3/01 20060101ALI20240109BHJP

【ＦＩ】

G06T19/00 600

A63F13/655

A63F13/53

A63F13/26

G06F3/01 510

【請求項の数】 4

(21)【出願番号】P 2020209873

(22)【出願日】2020-12-18

(65)【公開番号】P2022096739

(43)【公開日】2022-06-30

【審査請求日】2022-09-05

(73)【特許権者】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(73)【特許権者】

【識別番号】392026693

【氏名又は名称】株式会社ＮＴＴドコモ

(74)【代理人】

【識別番号】110001210

【氏名又は名称】弁理士法人ＹＫＩ国際特許事務所

(72)【発明者】

【氏名】桜井 英之

(72)【発明者】

【氏名】中野 伸洋

(72)【発明者】

【氏名】前田 和久

(72)【発明者】

【氏名】谷川 洋平

(72)【発明者】

【氏名】伊藤 啓介

(72)【発明者】

【氏名】新間 寛太郎

(72)【発明者】

【氏名】林 伸樹

(72)【発明者】

【氏名】坂口 徹朗

(72)【発明者】

【氏名】小川 祐佳里

【審査官】村松 貴士

(56)【参考文献】

【文献】特表２０１６－５３２１９７（ＪＰ，Ａ）

【文献】特開２０１６－００４５１９（ＪＰ，Ａ）

【文献】特開２０１９－２１９８２０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １９／００ － １９／２０

Ａ６３Ｆ １３／００ － １３／９８

Ｇ０６Ｆ ３／０１

Ｈ０４Ｎ ７／１５

(57)【特許請求の範囲】

【請求項1】

ミラー装置の前にいる所定エリアの入場者の姿と背景とを撮像するカメラと、
前記カメラが撮像した前記入場者の画像を処理して表示データを生成するサーバと、
前記サーバが生成した前記表示データを前記ミラー装置に表示する表示装置と、を備える画像表示システムであって、
前記サーバは、
キャラクタの画像データを格納するデータベースを含み、
前記データベースを参照して前記カメラが撮像した前記入場者の画像の一部を前記入場者が選択した前記キャラクタの画像の一部に置換して前記表示データを生成し、前記入場者の画像と前記データベースとに基づいて前記入場者が選択した前記キャラクタの影の投影データを生成し、
前記サーバが生成した前記投影データを前記入場者の影に重ね合わせて床に投影する投影装置を更に備えること、
を特徴とする画像表示システム。

【請求項2】

請求項１に記載の画像表示システムであって、
前記カメラは、前記ミラー装置の前の空間の画像を撮像し、
前記サーバは、前記カメラで撮像した前記空間の画像の中に前記入場者の画像を認識した場合に、前記表示データを前記表示装置で前記ミラー装置に表示すると共に、前記投影データを前記入場者の影に重ね合わせて前記床に投影すること、
を特徴とする画像表示システム。

【請求項3】

請求項２に記載の画像表示システムであって、
前記サーバは、
前記入場者が前記所定エリア内を歩くにしたがって、前記キャラクタの画像を前記キャラクタが成長した画像に変化させて前記表示データを生成すること、
を特徴とする画像表示システム。

【請求項4】

請求項３に記載の画像表示システムであって、
前記サーバは、
前記入場者が所定エリア内を歩くにしたがって、前記キャラクタの影を成長した前記キャラクタに対応するように変化させて前記投影データを生成すること、
を特徴とする画像表示システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像表示システム、特に、所定エリアの入場者のミラー装置に映る姿の一部をキャラクタの姿の一部として表示する画像表示システムに関する。

【背景技術】

【0002】

近年、複合現実技術を用いてヘッドマウンテッドディスプレイ（以下、ＨＭＤという）の中のモックアップのカメラの画像上に三次元ＣＧのカメラの画像を重ね合わせて、ＨＭＤの装着者がモックアップのカメラを取り扱った場合に、あたかも本物のカメラを取り扱っているように感じさせる技術が用いられている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００５－１０８１０８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、最近、様々な観光施設が建設されている。観光施設等の所定エリアでは、入場者に楽しく過ごしてもらい、何度もリピートで来場してもらえることが重要となる。例えば、観光施設等の所定エリアの入場者がアトラクションのキャラクタと一緒に過ごしているように感じさせることでキャラクタとの一体感が向上し、より楽しかったと感じる様にすることができる。しかし、特許文献１に記載された技術は、観光施設等の所定エリアとの関連性が低く、そのまま観光施設等の所定エリアに適用することは難しかった。

【0005】

そこで、本発明は、所定エリアの入場者にキャラクタとの一体感を感じさせることを目的とする。

【課題を解決するための手段】

【0006】

本発明の画像表示システムは、ミラー装置の前にいる所定エリアの入場者の姿と背景とを撮像するカメラと、前記カメラが撮像した前記入場者の画像を処理して表示データを生成するサーバと、前記サーバが生成した前記表示データを前記ミラー装置に表示する表示装置と、を備える画像表示システムであって、前記サーバは、キャラクタの画像データを格納するデータベースを含み、前記データベースを参照して前記カメラが撮像した前記入場者の画像の一部を前記入場者が選択した前記キャラクタの画像の一部に置換して前記表示データを生成し、前記入場者の画像と前記データベースとに基づいて前記入場者が選択した前記キャラクタの影の投影データを生成し、前記サーバが生成した前記投影データを前記入場者の影に重ね合わせて床に投影する投影装置を更に備えること、を特徴とする。

【0007】

これにより、観光施設等の所定エリアの入場者がミラー装置を見たときに、自分の一部、例えば、顔がキャラクタの一部、例えばキャラクタの顔となった姿を見るので、入場者にキャラクタに変身したように感じさせることができる。これにより、入場者にキャラクタとの一体感を感じさせ、観光施設等の所定エリアがより楽しいと感じさせ、リピート率を向上させることができる。

【0009】

また、入場者の影をキャラクタの影とすることにより、入場者によりキャラクタに変身したように感じさせることができ、観光施設等の所定エリアがより楽しいと感じさせることができる。

【0010】

本発明の画像表示システムにおいて、前記カメラは、前記ミラー装置の前の空間の画像を撮像し、前記サーバは、前記カメラで撮像した前記空間の画像の中に前記入場者の画像を認識した場合に、前記表示データを前記表示装置で前記ミラー装置に表示すると共に、前記投影データを前記入場者の影に重ね合わせて前記床に投影してもよい。

【0011】

これにより、入場者がミラー装置の前を通りかかった時にミラー装置に自分の一部がキャラクタの一部となった姿が表示されており、床にキャラクタの影が投影されるので、入場者にキャラクタに変身したことを実感させることができる。これにより、入場者にキャラクタとの一体感を感じさせ、観光施設等の所定エリアがより楽しいと感じさせ、リピート率を向上させることができる。

【0012】

本発明の画像表示システムにおいて、前記サーバは、前記入場者が前記所定エリア内を歩くにしたがって、前記キャラクタの画像を前記キャラクタが成長した画像に変化させて前記表示データを生成してもよい。

【0013】

また、本発明の画像表示システムにおいて、前記サーバは、前記入場者が所定エリア内を歩くにしたがって、前記キャラクタの影を成長した前記キャラクタに対応するように変化させて前記投影データを生成してもよい。

【0014】

これにより、入場者にキャラクタとの一体感を感じさせ、リピート率の向上を図ることができる。

【発明の効果】

【0015】

本発明は、所定エリアの入場者にキャラクタとの一体感を感じさせることができる。

【図面の簡単な説明】

【0016】

【図1】実施形態の画像表示システムの構成を示す系統図である。

【図2】実施形態の画像表示システムの動作を示すフローチャートである。

【図3】カメラが撮像した画像を示す図である。

【図4】サーバが生成した表示データの画像を示す図である。

【図5】サーバが生成した他の表示データの画像を示す図である。

【発明を実施するための形態】

【0017】

以下、図面を参照しながら実施形態の画像表示システム１００について説明する。以下の説明では、画像表示システム１００をテーマパーク８０に適用した場合について説明する。図１に示す様に、画像表示システム１００は、ミラー装置２０と、カメラ２２と、表示装置２４と、投影装置２６と、サーバ４０とで構成されている。ミラー装置２０と、カメラ２２と、表示装置２４と、投影装置２６とはインターネットや電話回線等の通信回線５０を介してサーバ４０に接続されている。

【0018】

ミラー装置２０と、カメラ２２と、表示装置２４と、投影装置２６とは、テーマパーク８０の中のアトラクションを行う施設８２の中に設けられている。ここで、テーマパーク８０は、文化や国、物語、映画、時代などの特定のテーマをベースに全体が演出された観光施設である。また、アトラクションは、特定の映画等の一場面を演出し、入場者１０がその映画に登場するキャラクタ３０と一緒になったように感じるイベントである。

【0019】

ミラー装置２０は、施設８２の建物の壁面に取付けられている。例えば、建物の中のトイレの手洗い場の壁面等に取付けられている。ミラー装置２０は、通常は鏡として機能し、前方からの光を反射し、前方から見た時には自分の顔等が映って見える。しかし、後で説明する表示装置２４から画像をミラー装置２０の後方の面に向かって投影すると、鏡のように前方からの光を反射せず、後方から投影された画像がミラー装置２０を透過して、ミラー装置２０の前方に放射される。従って、表示装置２４が作動した際には、ミラー装置２０の前方からは表示装置２４がミラー装置２０の後方の面に投影した表示画像のみが見える。

【0020】

カメラ２２は、ミラー装置２０の近傍に配置されてミラー装置２０の前方の空間の画像を撮像する。テーマパーク８０の入場者１０がミラー装置２０の前にいる場合には、ミラー装置２０の前の入場者１０の姿と背景とを撮像する。

【0021】

表示装置２４は、ミラー装置２０の後方に配置されている。表示装置２４は、サーバ４０が生成した表示データをミラー装置２０の後方からミラー装置２０の後方の面に投影する画像投影機である。

【0022】

投影装置２６は、ミラー装置２０の前方に配置されている。投影装置２６は、サーバ４０が生成した投影データを施設８２の床８４に投影する画像投影機である。

【0023】

サーバ４０は、内部に情報処理を行うプロセッサであるＣＰＵ４２と、ブログラムや動作データ等格納したメモリ４４とを備えるコンピュータである。メモリ４４の中には、データベース４６が格納されている。データベース４６には、キャラクタ３０の画像データが格納されている。

【0024】

入場者１０は、サーバ４０と通信回線５０を介して接続される携帯端末１４を持っている。携帯端末１４は、位置情報をサーバ４０に送信する。

【0025】

次に、図２から図５を参照しながら実施形態の画像表示システム１００の動作について説明する。

【0026】

図２のステップＳ１０１に示す様に、入場者１０は、テーマパーク８０の中に入ると、自分が変身しようとするキャラクタ３０を選択して携帯端末１４からサーバ４０に送信する。また、入場者１０の持っている携帯端末１４は位置情報を共にサーバ４０に送信する。

【0027】

カメラ２２は、ミラー装置２０の前方の空間の画像２３を撮像してサーバ４０に送信している。サーバ４０は、図２のステップＳ１０２において、カメラ２２で撮像した画像２３（図３参照）の中に入場者１０の画像を認識するまで待機する。ここで、入場者１０の画像の認識は、例えば、以下のように行う。

【0028】

サーバ４０は、カメラ２２から送信された画像２３の画像認識を行い、図３に示す様に画像２３の中に人物が認識されるかどうか判断する。人物が認識された場合に、カメラ２２の画像２３からその人物の位置を特定する。そして、その人物の位置と入場者１０の携帯端末１４の位置情報とが一致した場合に、その人物を入場者１０と認識する。

【0029】

入場者１０が、テーマパーク８０の中を歩いて回り、アトラクションを行う施設８２に入る。そして、施設８２の中に設置されているミラー装置２０の前方の空間に立つと、サーバ４０はカメラ２２から送信された画像２３の中に人物を認識し、先に説明した方法により携帯端末１４の位置情報からその人物を入場者１０と認識し、図２のステップＳ１０２でＹＥＳと判断して図２のステップＳ１０３に進む。

【0030】

サーバ４０は、図２のステップＳ１０３で表示データを生成して表示装置２４に送信する。表示データの生成は、以下のように行う。

【0031】

サーバ４０がカメラ２２から受信した画像２３には、入場者１０の姿と背景とが含まれている。サーバ４０は、キャラクタ３０の画像が格納されているデータベース４６を参照しながら、入場者１０の姿の画像の一部である顔１２を入場者１０が図２のステップＳ１０１で選択したキャラクタ３０の顔３２に置換して図４に示す表示画像２５を生成する。そして、表示画像２５の画像データを表示データとして表示装置２４に送信する。

【0032】

図２のステップＳ１０４で、表示装置２４は、サーバ４０から表示データを受信したら、そのデータをミラー装置２０に向かって投影する。これにより、ミラー装置２０の後方の面には、図４に示す表示画像２５が投影される。投影された表示画像２５はミラー装置２０を透過してミラー装置２０の前方に放射される。この際、ミラー装置２０は、前方からの光を反射せず、ミラー装置２０の前方からは表示装置２４が投影した表示画像２５のみがみえる。このため、図１に示す様に、入場者１０がミラー装置２０を覗き込むと、ミラー装置２０の中には、自分の顔１２がキャラクタ３０の顔３２となった姿を見ることになる。これにより、入場者１０は、自分がキャラクタ３０に変身したように感じる。

【0033】

また、サーバ４０は、図２のステップＳ１０５で投影データを生成して投影装置２６に送信する。投影データの生成は、以下のように行う。

【0034】

サーバ４０は、カメラ２２が撮像した画像２３から施設８２の床８４の上の入場者１０の影の領域を抽出する。そして、サーバ４０は、データベース４６から入場者１０の選択したキャラクタ３０の画像データを取得し、その画像データに基づいて、入場者１０の影をぴったりと覆うような影３４を床８４に投影させる投影データを生成する。そして、生成した投影データを投影装置２６に送信する。

【0035】

図２のステップＳ１０６で、投影装置２６は、サーバ４０から受信した投影データに基づいて入場者１０の影の位置に合わせて影３４を床８４の上に投影する。例えば、投影装置２６は、影３４の周囲を明るくするようにして、床８４の上に影３４が見えるようにしてもよい。

【0036】

先に説明したように、表示装置２４によってミラー装置２０には、入場者１０の顔１２がキャラクタ３０の顔３２となった姿が表示されている。また、入場者１０の足元の床８４には、キャラクタ３０の影３４が投影されている。これにより、入場者１０は、自分がキャラクタ３０に変身したように感じ、キャラクタ３０との一体感を感じてテーマパーク８０がより楽しいと感じる。これにより、入場者１０のリピート率を向上させることができる。

【0037】

キャラクタ３０が登場する映画では、キャラクタ３０が次第に成長していく状況が描かれている場合がある。その場合、入場者１０がテーマパーク８０の中を歩きまわるにつれて、表示データの中のキャラクタ３０の画像をキャラクタ３０が成長した画像に変化させるようにしてもよい。例えば、入場者１０がテーマパーク８０に入った直後は、表示データを生成する際に入場者１０の顔１２をキャラクタ３０の子供の時の子供キャラクタ３５の顔３７に置換する。そして、入場者１０が歩き回るにつれて入場者１０の顔１２を大人のキャラクタ３０の顔３２に置換するようにしてもよい。

【0038】

このように、キャラクタ３０の画像をキャラクタ３０が成長した画像に変化させる場合には、投影データを生成する際に、キャラクタ３０の成長に合わせた影３４を投影するように投影データを変化させてもよい。例えば、表示データを生成する際に入場者１０の顔１２を子供キャラクタ３５の顔３７に置換する場合には、子供キャラクタ３５に対応するように、影３４の長さが短くなるように投影データを生成してもよい。

【0039】

これにより、入場者１０にキャラクタ３０との一体感を感じさせ、テーマパーク８０を楽しく感じさせてリピート率を向上させることができる。

【0040】

以上の説明では、サーバ４０は、入場者１０の顔１２をキャラクタ３０の顔３２に置換して表示データを生成することとして説明したが、これに限らない。例えば、顔１２と髪をキャラクタ３０の顔３２と髪に置換してもよいし、これに加えて胴体を置換するようにしてもよい。

【0041】

また、キャラクタ３０が成長していく状況に合わせて、キャラクタ３０の服装を変化させてもよいし、キャラクタ３０の持っている武器等を変化させるようにしてもよい。

【0042】

以上の説明では、画像表示システム１００は、投影装置２６を備えることとして説明したが、投影装置２６を備えていなくてもよい。

【0043】

また、表示装置２４は、サーバ４０が生成した表示データをミラー装置２０の後方の面に投影して表示する画像投影機として説明したがこれに限らない。例えば、ミラー装置２０を鏡型のディスプレイで構成し、図４に示す表示画像２５を表示させるようにしてもよい。

【0044】

また、ミラー装置２０は、通常は鏡として機能して前方からの光を反射し、後方に配置された表示装置２４から投影された際には、画像がミラー装置２０を透過して、ミラー装置２０の前方に放射されるとして説明したがこれに限らない。例えば、反射機能を持つウィンドウのようなものでもよい。反射機能を持つウィンドウは、通常は光の少なくとも一部が透過してウィンドウとして機能すると共に一部の光を反射して自分の姿が映り、後方に配置された表示装置２４から画像が投影された際には、画像がウィンドウを透過して前方に放射されるように構成されたものでもよい。これにより、画像がキャラクタ３０の顔画像の場合、入場者１０が反射機能を持つウィンドウに映った自分の姿をのぞき込むと、表示装置２４から投影されたキャラクタ３０の顔画像がウィンドウを透過して前方に放射され、ウィンドウの中に自分の顔がキャラクタ３０の顔となった姿を見ることになり、自分がキャラクタ３０に変身したように感じることができる。

【0045】

以上、画像表示システム１００をテーマパーク８０に適用した場合について説明したが、画像表示システム１００は、これ以外の所定エリアにも適用できる。例えば、映画館に適用し、上映中の映画のキャラクタを表示するようにしてもよい。また、イベント会場に適用し、開催されているイベントに登場するキャラクタを表示するようにしてもよい。

【符号の説明】

【0046】

１０ 入場者、１２，３２，３７ 顔、１４ 携帯端末、２０ ミラー装置、２２ カメラ、２３ 画像、２４ 表示装置、２５ 表示画像、２６ 投影装置、３０ キャラクタ、３４ 影、３５ 子供キャラクタ、４０ サーバ、４２ ＣＰＵ、４４ メモリ、４６ データベース、５０ 通信回線、８０ テーマパーク、８２ 施設、８４ 床、１００ 画像表示システム。

【図1】

【図2】

【図3】

【図4】

【図5】