特開 2021-159108 実画像生成装置、観覧装置及び実画像生成方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2021-159108(P2021-159108A)

(43)【公開日】2021年10月11日

(54)【発明の名称】実画像生成装置、観覧装置及び実画像生成方法

(51)【国際特許分類】

   A63G 27/00 20060101AFI20210913BHJP

   H04N 5/232 20060101ALI20210913BHJP

   G06T 3/00 20060101ALI20210913BHJP

【ＦＩ】

   A63G27/00

   H04N5/232 290

   G06T3/00 775

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

【全頁数】15

(21)【出願番号】特願2020-60841(P2020-60841)

(22)【出願日】2020年3月30日

(71)【出願人】

【識別番号】520111316

【氏名又は名称】小原 康裕

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(72)【発明者】

【氏名】小原 康裕

【テーマコード（参考）】

5B057

5C122

【Ｆターム（参考）】

5B057BA02

5B057CA12

5B057CA16

5B057CB12

5B057CB16

5B057CE09

5B057CE10

5C122EA61

5C122FA18

5C122FH04

5C122FH18

5C122FK23

5C122FK24

5C122HA75

5C122HB01

5C122HB06

(57)【要約】

【課題】現実の風景よりも臨場感溢れる実画像を楽しむことのできる実画像生成装置、観覧装置及び実画像生成方法を提供する。
【解決手段】実画像生成装置２００は、周辺画像を撮影するように配置された撮影部５０と、撮影された周辺画像を所定範囲の画像空間にマッピングするマッピング部６１と、供給された視線方向情報が示す視線方向に相当する画像空間の一部領域を表示させるための画像データを出力する画像データ出力部６３と、出力された画像データを送信する送受信７０と、を備え、撮影部５０は、鉛直方向を含むように周辺画像を撮影するように配置されている。
【選択図】図２

【特許請求の範囲】

【請求項1】

周辺画像を撮影するように配置された撮影部と、
撮影された前記周辺画像を所定範囲の画像空間にマッピングするマッピング部と、
供給された視線方向情報が示す視線方向に相当する前記画像空間の一部領域を表示させるための画像データを出力する画像データ出力部と、
出力された前記画像データを送信する送受信部と、
を備え、
前記撮影部は、鉛直方向を含むように周辺画像を撮影するように配置されている、実画像生成装置。

【請求項2】

前記周辺画像の撮影から前記画像データの送信まで実質的な遅延がない、
請求項１に記載の実画像生成装置。

【請求項3】

前記撮影部の鉛直方向からの傾きを検出する角度センサをさらに備え、
前記マッピング部は、検出された前記傾きに基づいて前記画像空間の傾きを補正する、
請求項１又は２に記載の実画像生成装置。

【請求項4】

前記撮影部は、互いに異なる方向の画像を撮影するように配置された複数の撮影ユニットを備え、
前記マッピング部は、複数の前記撮影ユニットが撮影した画像をステッチング処理して前記画像空間にマッピングする、
請求項１乃至３のいずれか一項に記載の実画像生成装置。

【請求項5】

前記画像空間の一部領域に追加画像を重畳するように構成されている、
請求項１乃至４のいずれか一項に記載の実画像生成装置。

【請求項6】

請求項１乃至５のいずれか一項に記載の実画像生成装置を備えた観覧装置。

【請求項7】

所定の軌道を移動するように構成された移動ユニットを備え、
前記移動ユニットは、
前記軌道に固定されて移動する外殻部と、
鉛直方向を維持可能に前記外殻部に保持された内殻部と、
を備え、
前記実画像生成装置は、前記外殻部に設けられている、
請求項６に記載の観覧装置。

【請求項8】

前記送受信部は、前記内殻部に収容されるユーザが装着する表示装置に前記画像データを無線送信する、
請求項７に記載の観覧装置。

【請求項9】

鉛直方向を含むように周辺画像を撮影するステップと、
撮影された前記周辺画像を所定範囲の画像空間にマッピングするステップと、
供給された視線方向情報が示す視線方向に相当する前記画像空間の一部領域を表示させるための画像データを出力するステップと、
出力された前記画像データを送信するステップと、
を有する、実画像生成方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、実画像生成装置、観覧装置及び実画像生成方法に関する。

【背景技術】

【0002】

現実空間と仮想空間とを実時間で融合する複合現実感（Mixed Reality；拡張現実感（Augmented Reality）や拡張仮想感（Augmented Virtuality）も含む）を提示する装置を、複数のゴンドラを有する観覧車に適用した技術があった。

【0003】

例えば、特許文献１には、各ゴンドラに設けられゴンドラ外の実風景を撮るカメラと、各ゴンドラ内に設けられたヘッドマウントディスプレイ（ＨＭＤ：Head Mount Display）と、カメラにより撮られた実画像に含まれる特定の物体をマーカとして、マーカにコンピュータグラフィックス（ＣＧ）画像を重畳させることにより合成画像を生成し、その合成画像をヘッドマウントディスプレイに表示させる制御部とを備えた観覧車が開示されている。当該技術によれば、過去の風景や未来を予測した風景などを模したＣＧ画像を重畳させたり、映像ガイドを表示させたり、電子広告を表示させたりすることで、面白みを付与させることができていた。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１１−２２９６７９号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特許文献１に記載の観覧車は、合成画像による異質な面白みを付加させることはできても、非日常的な空間位置を移動している観覧車といったアトラクションの本質的な醍醐味に対しては何らの付加価値も与えてはいなかった。言い換えれば、搭乗者にとって、自らが高いところに居るという臨場感、例えば高度に対するスリリングな感覚を味わうことはできなかった。これはゴンドラ自体が搭乗者を安全に収容しなければならないという要請があることにも起因している。

【0006】

そこで、本発明は、現実の風景よりも臨場感溢れる実画像を楽しむことのできる実画像生成装置、観覧装置及び実画像生成方法を提供することを目的の一つとする。

【課題を解決するための手段】

【0007】

本発明の一態様に係る実画像生成装置は、周辺画像を撮影するように配置された撮影部と、撮影された周辺画像を所定範囲の画像空間にマッピングするマッピング部と、供給された視線方向情報が示す視線方向に相当する画像空間の一部領域を表示させるための画像データを出力する画像データ出力部と、出力された前記画像データを送信する送受信部とを備え、撮影部は、鉛直方向を含むように周辺画像を撮影するように配置されている。

【0008】

この態様によれば、撮影部が鉛直方向を含む周辺画像を撮影し、マッピング部が撮影された周辺画像を所定範囲の画像空間にマッピングする。画像データ出力部が供給された視線方向情報が示す視線方向に相当する画像空間の一部領域を表示させるための画像データを出力し、出力された画像データを送受信部が送信する。したがって、鉛直方向を含む画像が提供されることになるので、例えば、観覧装置に適用した場合に、搭乗者が高いところに居るという臨場感を味わうことができ、実風景よりもスリリングな仮想画像を提供することができる。

【0009】

周辺画像の撮影から前記画像データの送信まで実質的な遅延がないことが好ましい。

【0010】

撮影部の鉛直方向からの傾きを検出する角度センサをさらに備え、マッピング部は、検出された傾きに基づいて画像空間の傾きを補正してもよい。

【0011】

撮影部は、互いに異なる方向の画像を撮影するように配置された複数の撮影ユニットを備え、マッピング部は、複数の前記撮影ユニットが撮影した画像をステッチング処理して画像空間にマッピングするようにしてもよい。

【0012】

画像空間の一部領域に追加画像を重畳するように構成されていてもよい。

【0013】

本発明の他の態様に係る観覧装置は、上記のいずれかに記載の実画像生成装置を備えている。

【0014】

上記観覧車は、所定の軌道を移動するように構成された移動ユニットを備え、移動ユニットは、軌道に固定されて移動する外殻部と、鉛直方向を維持可能に前記外殻部に保持された内殻部と、を備え、実画像生成装置は、外殻部に設けられていてもよい。

【0015】

送受信部は、内殻部に収容されるユーザが装着する表示装置に前記画像データを無線送信するように構成してもよい。

【0016】

本発明の他の態様に係る実画像生成方法は、鉛直方向を含むように周辺画像を撮影するステップと、撮影された周辺画像を所定範囲の画像空間にマッピングするステップと、供給された視線方向情報が示す視線方向に相当する画像空間の一部領域を表示させるための画像データを出力するステップと、出力された画像データを表示するするステップと、を有する。

【発明の効果】

【0017】

本実施形態によれば、鉛直方向を含むように周辺画像が撮影され画像データとして提供されるので、現実の風景よりも臨場感溢れる実画像を提供することが可能である。

【図面の簡単な説明】

【0018】

【図1】本実施形態に係る観覧車の全体構成の概略図である。

【図2】本実施形態の移動ユニットの斜視図である。

【図3】本実施形態の移動ユニットの内部構造の透視概略図である。

【図4】本実施形態の撮影ユニットの構成図である。

【図5】画像のステッチング処理の概念図である。

【図6】周辺画像がマッピングされる画像空間の説明図である。

【図7】実際の風景の見え方の例を示す概念図である。

【図8】本実施形態に係る実画像生成装置のシステム構成図である。

【図9】本実施形態に係る実画像生成方法を示すフローチャートである。

【図10】本実施形態に係る実画像生成方法の工程図である。

【発明を実施するための形態】

【0019】

添付図面を参照して、本発明の好適な実施形態について説明する。なお、各図において、同一の符号を付したものは、同一又は同様の構成を有する。
〔観覧装置の構成〕

【0020】

まず、図１から図３を参照して、本実施形態に係る観覧装置の構成について説明する。図１は本実施形態に係る観覧装置の全体構成の概略図である。

【0021】

図１に示すように、観覧装置１００は、軌道１０及び移動ユニット２０を主構成要素として備える。本実施形態の軌道１０はオーバル形（長円形）に形成されているが、軌道１０は無端状であればよく、円形などのようにオーバル形に限定されない。軌道１０は、不図示の鉄骨架台に支持されている。軌道１０には、適当な間隔で複数の移動ユニット２０が備えられている。移動ユニット２０は無端状の軌道１０に一部（図１ではＡ点）固定されており、複数の移動ユニット２０が順次周回移動するように構成されている。なお、移動ユニット２０の固定部材については図３で説明する。

【0022】

図２は本実施形態の移動ユニット２０の斜視図である。図２において、移動ユニット２０の左側が前方、右側が後方を表している。図２に示すように、移動ユニット２０は、全体としてドラム形状を呈しており、外殻部２１と内殻部２２との二重構造となっている。外殻部２１は、移動ユニット２０の上部に設けられた円板状の固定部材３０によって、軌道１０に摺動可能に固定されている。外殻部２１は、不図示の駆動装置により、軌道１０に沿って移動するようになっている。

【0023】

図３は本実施形態の移動ユニット２０の内部構造の透視概略図である。なお、図３では、外殻部２１を破線で示し、内殻部２２を実践で示してある。また図３において、移動ユニット２０の左側が前方、右側が後方を表している。図３に示すように、内殻部２２は、外殻部２１の内側に回動可能に保持されている。具体的には、内殻部２２は、外殻部２１の内側に回動可能とする支持構造により保持され、外殻部２１内で回動可能に設けられている。外殻部２１の内側において、内殻部２２の鉛直方向を維持するため、例えば、内殻部２２の下部に重量部２５が配置されている。外殻部２１は軌道１０に固定されているので、図１のように移動と共に向きが変化する。これに対し、内殻部２２は搭乗者１を収容しているので、水平姿勢を維持するために外殻部２１内で回動し、鉛直方向を保ったまま軌道１０に沿って移動する。

【0024】

内殻部２２の内部には、搭乗者（ユーザ）１を収容するためのキャビン２３が区画形成されている。キャビン２３には、例えば、４人掛けの椅子（図示せず）が設けられており、最大４人の搭乗者１が収容可能となっている。椅子及び搭乗者１の数は、例示のものに限定されない。搭乗者１は、椅子に座った後、携帯情報端末であるスマートフォン８０（図８で説明）が前面に装着されたＨＭＤ（Head Mount Display:ヘッドマウントディスプレイ）９０を装着する。内殻部２２の前面開口部は、ガラスや透明プラスチック等の透明部材からなる前面カバー２４で覆われるようになっている。キャビン２３に搭乗者１が乗り込んだ後、移動ユニット２０の移動前に、搭乗者１の前方に安全装置としての保護バー４０が降りて、搭乗者１の落下を防止するようになっている。安全を確保するための措置である。搭乗者１は保護バー４０により椅子に固定されるため、移動ユニット２０の移動中は姿勢が固定されており、移動ユニット２０の鉛直方向を覗き込むことはできないようになっている。このため、ＨＭＤ９０を装着しない肉眼で搭乗者１に提供される現実の風景は、足下が覗き込めないようになっている。

【0025】

〔実画像生成装置の構成〕
次に、図８を参照して、本実施形態に係る実画像生成装置２００の構成について説明する。実画像生成装置２００は、観覧装置１００の軌道１０を周回する複数の移動ユニット２０の各々の外殻部２１に配置される。

【0026】

図８は本実施形態に係る実画像生成装置のシステム構成図である。図８に示すように、実画像生成装置２００は、撮影部５０及びコンピュータ６０を主構成要素として備える。

【0027】

撮影部５０は、移動ユニット２０の外部の周辺画像を撮影するための装置である。本実施形態の撮影部５０は、外殻部２１の内側に設けられている。撮影部５０は、移動ユニット２０の前方を向いており、互いに異なる方向の画像を撮影するように配置された複数の撮影ユニットＣ１，Ｃ２，Ｃ３を備える。撮影ユニットＣ１，Ｃ２，Ｃ３は、例えば、移動ユニット２０が軌道１０の最下部の搭乗位置（図１参照）において搭乗者１の搭乗動作を妨げないような位置、具体的には真上（Ａ点の位置）に配置されている。撮影部５０は、移動ユニット２０が軌道１０のどの位置に移動しようとも、常に鉛直方向を含むような画角で周辺画像を撮影するように配置されている。搭乗者１は保護バー４０に固定された状態で椅子に座るため、搭乗者１の視野は前方の所定角度に限定される。これに対し、撮影部５０は、外殻部２１に設けられており、搭乗者１の固定された位置よりも前方に突き出した位置に配置されるため、鉛直方向を含む周辺画像を画角に収めることが可能になっている。キャビン２３は高低温多湿の劣悪な環境となるため、撮影ユニットＣ１，Ｃ２，Ｃ３として、耐久性に優れた撮像装置、例えば、防犯カメラを採用することが好ましい。

【0028】

次に、撮影部５０における各撮影ユニットの配置及び各撮影ユニットによって得られる画像について説明する。図４は撮影部５０における各撮影ユニットの配置図である。図５は各撮影ユニットＣ１，Ｃ２，Ｃ３によって得られる画像の重なりを説明する概念図である。

【0029】

図４に示すように、撮影部５０は、３台の撮影ユニットＣ１，Ｃ２，Ｃ３によって構成されている。撮影ユニットの台数は限定されないが、後述するように画像データをステッチング処理する関係上、図５に示すように、互いに異なる方向の画像を撮影するように、かつ、隣接する撮影ユニット間では画像の一部が重なりあうように配置されることが好ましい。撮影ユニットＣ１，Ｃ２，Ｃ３には、例えば、１８０度の画角で撮影可能な広角カメラを採用する。このような広角カメラを前方に向けて外殻部２１に取り付ければ、移動ユニット２０が軌道１０のどの位置に移動していても、常時ほぼ鉛直方向を画角に収めることが可能となる。

【0030】

再び図８を参照して、コンピュータ６０は、マッピング部６１、画像メモリ６２及び画像データ出力部６３を備える。マッピング部６１及び画像データ出力部６３は、本実施形態に係る実画像生成方法に係るソフトウェアプログラムをコンピュータ６０が実行することにより機能的に実現される機能ブロックである。撮影部５０は、コンピュータ６０の画像入力部（図示せず）に接続されている。このため、撮影ユニットＣ１，Ｃ２，Ｃ３で撮影した画像は、マッピング部６１へと入力される。

【0031】

マッピング部６１は、撮影部５０で撮影された画像を所定範囲の画像空間にマッピングする機能を有する。マッピング部６１は、複数の撮影ユニットＣ１，Ｃ２，Ｃ３の各々が撮影した複数の画像に対しステッチング処理して、画像を繋ぎ合わせた一つの周辺画像を仮想的な画像空間にマッピングする。ここで、ステッチング処理とは、複数の画像のつなぎ目が目立たなくなるように合成するための画像処理技術である。図５において、所定の画角(例えば、１８０度)を有する画像Ｇ１，Ｇ２，Ｇ３の互いに重なる部分がステッチング処理の施されるステッチング部Ｓである。マッピング部６１は、ステッチング処理により合成した周辺画像を図６に示すような画像空間Ｒ１にマッピングする。なお、マッピング部６１は、撮影部５０の傾きを補正してからマッピングする。詳しくは後述する。

【0032】

画像メモリ６２は、マッピング部６１でステッチング処理され、画像空間にマッピングした周辺画像（データ）を一時保存する。画像メモリ６２としては、コンピュータ６０に搭載されたメモリを使用する。

【0033】

画像データ出力部６３は、後述する方角センサ８３から供給された視線方向情報が示す視線方向に相当する画像空間の一部領域を表示させるための画像データを出力する機能を有する。撮影部５０による周辺画像の撮影から画像データ出力部６３による画像データの送信までに実質的な遅延がないように画像処理される。搭乗者１にリアルタイムで画像を提供しなければ、臨場感がそがれてしまうからである。

【0034】

送受信部７０は、画像データ出力部６３から出力された画像データを送信する。送受信部７０は、所定の無線通信規格に則った無線通信装置、例えば、ＷｉＦｉ方式の無線ルータによって構成される。無線ルータを採用するのは、配線の取り回しの煩雑性を解消するためである。具体的には、本実施形態では、スマートフォン８０付きのＨＭＤ９０を装着した搭乗者１は内殻部２２のキャビン２３内に搭乗している。一方、実画像生成装置２００は外殻部２１に配置されている。そして、内殻部２２は外殻部２１に対して回動するようになっているため、外殻部２１に配置される実画像生成装置２００と内殻部２２に搭乗する搭乗者１が装着するＨＭＤ９０との通信を有線配線で行うものとすると、配線の捻じれを生じさせないような複雑な接続構造が必要となる。この点、無線通信で実画像生成装置２００とＨＭＤ９０に取り付けられるスマートフォン８０とを通信可能に構成すれば、特殊な配線構造が不要となるからである。

【0035】

スマートフォン８０は、表示装置８１、送受信部８２、及び方角センサ８３を備える。ＨＭＤ９０には、表示装置８１の表示面が搭乗者１に認識が可能なように向きでスマートフォン８０が取り付けられる。スマートフォン８０は、コンピュータ装置としての機能を有しており、本実施形態の実画像生成方法に関連して動作する所定のアプリケーションソフトウェアがダウンロードされ実行されている。これにより、送受信部７０から送信された画像データが、スマートフォン８０の送受信部８２に受信され、表示装置８１に周辺画像として表示される。

【0036】

方角センサ８３としては、スマートフォン８０の方位コンパス機能を採用する。方位コンパス機能は、スマートフォン８０に標準のアプリケーションとしてインストールされている。スマートフォン８０をＨＭＤ９０に装着した場合に、方位コンパス機能は搭乗者１の視線方向の情報を供給するための方角センサ８３として機能する。上記アプリケーションソフトウェアが実行されることにより、方角センサ８３からの視線方向情報は、送受信部８２を介して送受信部７０に送信される。この視線方向情報はさらに画像データ出力部６３へと入力される。

【0037】

実画像生成装置２００は、さらに角度センサ（ジャイロセンサ）９５を備える。角度センサ９５は外殻部２１に設けられており、撮影部５０の鉛直方向からの傾きを検出する。本実施形態において、外殻部２１は軌道１０上を移動するに連れて傾きが変化していくため（図１参照）、角度センサ９５がこの傾きを検出する。マッピング部６１は、角度センサ９５によって検出された傾きに基づいて、ステッチング処理により合成された周辺画像の傾きを補正した上で、画像空間にマッピングする。なお、図２及び図３では、角度センサの図示を省略している。

【0038】

〔観覧装置及び実画像生成装置の動作〕
次に、本実施形態に係る観覧装置１００の動作について説明する。図１から図３に示すように、本実施形態に係る観覧装置１００は、オーバル形の軌道１０と、この軌道１０に沿って等間隔を隔てて設けられた複数の移動ユニット２０とを備える。移動ユニット２０は、外殻部２１と内殻部２２との二重構造に構成され、外殻部２１は固定部材３０によって軌道１０に固定されている。外殻部２１が軌道１０に固定されているので、複数の移動ユニット２０は軌道１０に沿って順次周回移動する。

【0039】

外殻部２１の固定部は図１のＡ点の位置であり、外殻部２１は軌道１０に沿って進行方向Ｆへ移動するにつれて向きが変化する。最下部の搭乗位置ではＡ点が移動ユニット２０の上部に位置するが、最頂部ではＡ点が移動ユニット２０の下部に位置することになる。即ち、外殻部２１の固定部としてのＡ点は、常に軌道１０に接している。

【0040】

具体的には、図１において、移動ユニット２０はＡ点で固定されているので、搭乗者は軌道１０の最下部Ｐ１（軌道１０の短径方向最下部）においてＣ点を鉛直方向とした向きで移動ユニット２０に搭乗する。移動ユニット２０がＭ方向に移動するにつれ、移動ユニット２０の鉛直方向が回転していき、図面左側の真横の位置Ｐ２（軌道１０の長径方向）にまで移動すると、Ｂ点が鉛直方向となる。さらに移動ユニット２０がＭ方向に移動していき、最上部Ｐ３（軌道１０の短径方向上部）に達すると、Ａ点が鉛直方向となる。さらに移動ユニット２０がＭ方向に移動して、図面右側の真横の位置Ｐ４（軌道１０の長径方向）にまで移動すると、Ｄ点が鉛直方向となる。そして再び移動ユニット２０がＭ方向に移動して軌道１０の最下部Ｐ１に戻ると、Ｃ点が鉛直方向となる。

【0041】

内殻部２２は外殻部２１内に回動可能に保持されおり、内殻部２２の内部には搭乗者１を収容するためのキャビン２３が区画されている。内殻部２２は搭乗者１を収容するので、水平姿勢を維持するために外殻部２１内で回動し、鉛直方向を保ったまま軌道１０に沿って移動する。図１において、進行方向Ｍは時計回りであるので、内殻部２２は移動につれて反時計回りに回動して水平姿勢を保持する。進行方向Ｍは時計回りに限定されず、進行方向Ｍが反時計回りである場合には、内殻部２２は移動につれて時計回りに回動することになる。

【0042】

キャビン２３に搭乗者１が搭乗し、搭乗者１が椅子に座ると、搭乗者１はスマートフォン８０付きのＨＭＤ９０を装着する。搭乗者全員の搭乗が完了すると、搭乗者１の前方に保護バー４０が降りて、搭乗者１の落下を防止する。

【0043】

〔実画像生成装置の動作〕
次に、本実施形態に係る実画像生成装置２００の動作と共に、本実施形態に係る実画像生成方法について説明する。図９は、本実施形態に係る実画像生成方法を示すフローチャートである。図１０は本実施形態に係る実画像生成方法の工程図である。

【0044】

本実施形態に係る実画像生成方法は、鉛直方向を含むように周辺画像を撮影するステップと、撮影された周辺画像を所定範囲の画像空間にマッピングするステップと、供給された視線方向情報が示す視線方向に相当する画像空間の一部領域を表示させるための画像データを出力するステップと、出力された画像データを表示するするステップと、を有する。以下、本実施形態に係る実画像生成方法を具体的に説明する。

【0045】

図９及び図１０に示すように、キャビン２３に搭乗者１の搭乗が完了すると、撮影部５０が撮影を開始する（Ｓ２１０）。

【0046】

撮影部５０の複数の撮影ユニットＣ１，Ｃ２，Ｃ３は、鉛直方向を含む周辺画像を撮影可能に配置されているので、鉛直方向を含むように１８０度の広角で周辺画像が撮影される（Ｓ２２０）。なお、周辺画像は、厳密な意味での鉛直方向を含まなくてもよく、鉛直方向、すなわち撮影部５０から見て真下に近い領域までの画像を含めていればよい。人間は高いところから下を見下ろすときに恐怖を感じる。人間に高度に対する恐怖感を喚起する程度の画像が提供されるのであれば、搭乗者１に臨場感のあるスリリングが体験をさせることができるからである。

【0047】

次いで傾き情報が入力される（Ｓ２３０）。撮影部５０は外殻部２１に設けられているので、移動ユニット２０の移動と共に撮影部５０が傾くことになる。したがって、外殻部２１の向きに応じてステッチング処理後の画像の向きを補正する必要がある。そのため角度センサ９５の出力を利用する。角度センサ９５は、常に撮影部５０の傾きを監視している。角度センサ９５によって検出された撮影部５０の傾きはマッピング部６１に入力される。

【0048】

撮影部５０で撮影した画像は、マッピング部６１によって画像空間にマッピングされる（Ｓ２４０）。マッピング部６１は、マッピングに際して、複数の撮影ユニットＣ１，Ｃ２，Ｃ３が撮影した画像Ｇ１からＧ３をステッチング処理して繋ぎ合わせる。図５において、撮影ユニットＣ１，Ｃ２，Ｃ３の画像Ｇ１，Ｇ２，Ｇ３が重なるステッチング部Ｓに公知のステッチング処理を施し、画像同士のつなぎ目が目立たなくなるように合成する。

【0049】

また、マッピング部６１は、撮影部５０で撮影され、ステッチング処理により合成された周辺画像を画像空間にマッピングする際に傾きを補正する。すなわち、検出された撮影部５０の傾きに基づいて、合成された周辺画像の傾きを補正してから画像空間にマッピングする。

【0050】

図６を参照して、周辺画像の画像空間へのマッピングについて説明する。図６は撮影部５０により撮影されステッチング処理された周辺画像をマッピングする仮想的な画像空間の説明図である。

【0051】

図６において、球体Ｒは仮想的な画像空間であり、地平線Ｈ及び鉛直線Ｖが設定される。図６において、球体Ｒの上部が前方側Ｆに相当し、右側が天頂側Ｔに相当する。搭乗者１は、キャビン２３内の椅子に座って前方を観察することになるので、真っ直ぐ正面を見た場合には天球Ｒの前方側Ｆを向いていることになる。撮影ユニットＣ１，Ｃ２，Ｃ３から得られた画像Ｇ１〜Ｇ３は、各々１８０度の画角で撮影されているので、常に鉛直方向を含んだ周辺画像が撮影されている。マッピング部６１は、撮影ユニットＣ１，Ｃ２，Ｃ３から得られた画像Ｇ１〜Ｇ３に対してステッチング処理を施した一つの広角な周辺画像を球体Ｒの内部にマッピングする。これにより、球体Ｒの実線部分で表した範囲の半球よりも広い視野角Ｒ１を得ることができる。例えば、前方側Ｆが真北Ｎである場合には、東西方向Ｅ−Ｗよりも広い視野角Ｒ１を得ることができる。この視野角Ｒ１の範囲であれば搭乗者１が視線方向を動かしても常に実画像が提供される。

【0052】

なお、搭乗者１が後面方向に視線を動かして画像空間の範囲外に表示装置８１の画角が入った場合には、代替画像が提供されるようにすることができる。具体的には、図６に示す天球Ｒの画像空間において、周辺画像がマッピングされていない破線の領域が表示範囲となるように視線を動かした場合である。このように周辺画像が存在しない領域が表示範囲に入った場合に代替画像をその領域に表示させるのである。代替画像としては、単色の背景色、所定のテクスチャ、または当該方向には画像が無い旨の文字表示等が適用可能である。

【0053】

図７を参照して、搭乗者１に対する実際の風景の見え方について説明する。図７において、画像Ｇ１，Ｇ２，Ｇ３は、撮影ユニットＣ１，Ｃ２，Ｃ３のそれぞれで撮影された画像であり、ステッチング処理を施すことにより全体として一つの周辺画像が形成されている。図７において、上下方向は鉛直方向Ｖであり、上部は天頂側Ｔである。左右方向には地平線Ｈが表示される。マッピング部６１は、撮影ユニットＣ１，Ｃ２，Ｃ３から得られた画像Ｇ１，Ｇ２，Ｇ３をステッチング処理する。

【0054】

上述したように、外殻部２１は軌道１０に固定されているため、移動ユニット２０の移動と共に外殻部２１の向きが次第に変化する。撮影部５０は外殻部２１に固定されているため、撮影部５０の向きも次第に変化する。外殻部２１には角度センサ９５が設けられており、撮影部５０の傾きを検出する。マッピング部６１は、角度センサ９５によって検出された撮影部５０の傾きに基づいて、ステッチング処理された周辺画像の傾きを補正してから画像空間にマッピングする。本実施形態において、撮影部５０の撮影ユニットＣ１，Ｃ２，Ｃ３は、図１における軌道１０の最下部Ｐ１及び最上部Ｐ３において縦方向に並び、軌道１０の真横の位置Ｐ２及びＰ４において横方向に並ぶように配置される。よって、マッピング部６１は、角度センサ９５によって検出された撮影部５０の傾きに応じて周辺画像の傾きを補正して、鉛直方向Ｖが縦方向、地平線Ｈが横方向となるように、球体Ｒ内部の画像空間に周辺画像をマッピングする。この傾き補正によって、搭乗者１には常に水平方向と鉛直方向とが正しく整合した周辺画像が提供される。

【0055】

なお、図７は、移動ユニット２０が図１の真横の位置Ｐ２又はＰ４のいずれかの位置している場合に得られる周辺画像を例示している。図１の最下部Ｐ１や最上部Ｐ３に位置している場合には画像Ｇ１〜Ｇ３が縦並びになるような周辺画像が得られる。画像Ｇ１〜Ｇ３の並び方向がどのような角度であっても、傾き補正によって水平方向と鉛直方向が正しい周辺画像が提供される。

【0056】

マッピング部６１で仮想空間にマッピングされた画像データは、画像データメモリ６２に一時保存される（Ｓ２５０）。

【0057】

画像データメモリ６２に保存された画像データは、搭乗者の視線方向に対応して読み出される。搭乗者１が顔の向きを変えて視線方向を移動すると、ＨＭＤ９０と共にスマートフォン８０も移動し、方角センサ８３から視線方向の情報が実画像生成装置２００に送信される。方角センサ８３から搭乗者１の視線方向情報が入力されると（Ｓ２６０）、画像データ出力部６３が視線方向情報の示す視線方向に相当する画像空間の一部領域を表示させるための画像データを出力する（Ｓ２７０）。そして、画像データ出力部６３から出力された画像データは、送受信部７０から無線送信される（Ｓ２８０）。

【0058】

なお、撮影部５０による周辺画像の撮影ステップ（Ｓ２２０）から画像データの送信ステップ（Ｓ２８０）までに、実質的な遅延がないように処理される。これにより、搭乗者１にリアルタイムで画像が提供され、臨場感がそがれることがない。

【0059】

キャビン２３に搭乗者１が収容されている間（移動ユニット２０の一周回移動の間）、実画像生成方法に係るＳ２２０からＳ２８０のステップが繰り返される。なお、スマートフォン８０においては、方角センサ８３により視線方向が検出される度に視線方向情報が送受信部８２から送信される。また、送受信部７０から送信された画像データを送受信部８２が受信するたびに、表示装置８１へ画像表示される。

【0060】

なお、移動ユニット２０に搭乗して軌道１０上を一周した搭乗者１がキャビン２３から降りると、一連の画像処理を終了する。実画像生成装置２００は、次の搭乗者１が搭乗するまで待機することになる。

【0061】

以上説明したように、本実施形態に係る実画像生成装置２００は、撮影部５０が鉛直方向を含む周辺画像を撮影し、マッピング部６１が撮影された周辺画像を所定範囲の画像空間にマッピングする。次に、画像データ出力部６３が方角センサ８３から供給された視線方向情報が示す視線方向に相当する画像空間の一部領域を表示させるための画像データを出力し、出力された画像データを送受信部７０が送信する。したがって、本実施形態によれば、鉛直方向を含む画像を得ることで、例えば、観覧装置１００に実画像生成装置２００を適用した場合に、搭乗者１が高いところに居るという臨場感を味わうことができ、実風景よりもスリリングな仮想画像を提供することができる。

【0062】

また、本実施形態に係る実画像生成装置２００は、撮影部５０による周辺画像の撮影から画像データ出力部６３による画像データの送信まで、実質的な遅延がないように画像処理する。したがって、本実施形態によれば、搭乗者１にリアルタイムで画像が提供されるので、観覧装置１００の臨場感を増大させることができる。

【0063】

さらに、本実施形態に係る実画像生成装置２００は、撮影部５０の鉛直方向からの傾きを検出する角度センサ９５を備える。画像データ出力部６３は、角度センサ９５によって検出された撮影部５０の傾きに基づいて、画像空間の傾きを補正する。したがって、軌道１０に固定されて移動する外殻部２１に撮影部５０が設けられていても、画像の傾きを補正することができる。

【0064】

本実施形態に係る観覧装置１００では、外殻部２１の内側に撮影部５０を設けている。キャビン２３は高低温多湿の劣悪な環境となるため、撮影部５０としては、例えば、防犯カメラを採用することが好ましい。ところが、防犯カメラは画角が狭いものがある。しかし、本実施形態によれば、ステッチング処理により複数の画像を繋ぎ合わせて一つの周辺画像を生成しているので、つなぎ目のない広範な画角の周辺画像を提供することができる。

【0065】

本実施形態に係る観覧装置１００は、所定の軌道１０を移動するように構成された移動ユニット２０を備える。移動ユニット２０は、軌道１０に固定されて移動する外殻部２１と、鉛直方向を維持可能に外殻部に保持された内殻部２２と、を備え、実画像生成装置１００は外殻部２１に設けられている。したがって、本実施形態によれば、観覧装置１００が実画像生成装置２００を備えているので、仮想空間において空中遊泳感覚の臨場感を味わうことができ、実風景よりもスリリングな仮想画像を提供することができる。

【0066】

本実施形態に係る観覧装置１００において、送受信部７０は内殻部２２に収容される搭乗者１が装着する表示装置８１に画像データを無線送信する。本実施形態の移動ユニット２０のように外殻部２１と内殻部２２とが相対的に動く構造では有線接続が困難である。そこで、本実施形態の表示装置８１は、ＨＭＤ９０の前面に装着したスマートフォン８０のディスプレイを採用している。したがって、本実施形態によれば、画像データを無線送信して画像表示させているので、ケーブルの取り回しの煩雑さを解消することができる。

【0067】

以上説明した実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。実施形態が備える各要素並びにその配置、材料、条件、形状及びサイズ等は、例示したものに限定されるわけではなく適宜変更することができる。また、異なる実施形態で示した構成同士を部分的に置換し又は組み合わせることが可能である。

【0068】

例えば、本実施形態では、撮影部５０で撮影された画像をステッチング処理して一つの周辺画像としてそのまま生成し、現実の風景のように感じさせる周辺画像を搭乗者１に提供していたが、これに限定されない。例えば、周辺画像に追加画像を重畳させた画像データを提供するように構成してもよい。追加画像としては、搭乗者１に役立つ情報や異なる面白みを提供可能な画像、例えば、周辺画像が撮影されている方角、移動ユニット２０の高さ、周辺画像に含まれる建造物、自然の地形の名称等を示す文字情報、アイコンが挙げられる。また、搭乗者１にガイダンスその他の情報を与える文字情報や画像情報を周辺画像とは関連させずに重畳表示させてもよい。

【0069】

また、本実施形態では、観覧装置１００として観覧車を例示していたが、これに限定されない。観覧装置としては動的に移動する移動体、例えばジェットコースターその他のライドであってもよい。さらに静的な建造物、例えば展望台などであってもよい。移動体や建造物に実画像生成装置２００を設ければ、移動体や建造物の内部に安全上の理由から真下を望めないように収容されるユーザに対して、実風景よりもスリリングな仮想画像を提供することが可能である。

【符号の説明】

【0070】

１０…軌道、２０…移動ユニット、２１…外殻部、２２…内殻部、５０…撮影部、Ｃ１，Ｃ２，Ｃ３…撮影ユニット、６１…マッピング部、６３…画像データ出力部、７０…送受信部、８１…表示装置、１００…観覧装置、２００…実画像生成装置。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】