(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023163713
(43)【公開日】2023-11-10
(54)【発明の名称】画像処理装置
(51)【国際特許分類】
G06T 19/00 20110101AFI20231102BHJP
G06T 15/04 20110101ALI20231102BHJP
G09G 5/36 20060101ALI20231102BHJP
G09G 5/00 20060101ALI20231102BHJP
H04N 13/279 20180101ALI20231102BHJP
【ＦＩ】
G06T19/00 A
G06T15/04
G09G5/36 510V
G09G5/36 520D
G09G5/00 550X
G06T19/00 300B
H04N13/279
【審査請求】未請求
【請求項の数】7
【出願形態】ＯＬ
(21)【出願番号】P 2022074793
(22)【出願日】2022-04-28
(71)【出願人】
【識別番号】000002082
【氏名又は名称】スズキ株式会社
(74)【代理人】
【識別番号】100099623
【弁理士】
【氏名又は名称】奥山 尚一
(74)【代理人】
【識別番号】100125380
【弁理士】
【氏名又は名称】中村 綾子
(74)【代理人】
【識別番号】100142996
【弁理士】
【氏名又は名称】森本 聡二
(74)【代理人】
【識別番号】100166268
【弁理士】
【氏名又は名称】田中 祐
(74)【代理人】
【識別番号】100217076
【弁理士】
【氏名又は名称】宅間 邦俊
(74)【代理人】
【識別番号】100169018
【弁理士】
【氏名又は名称】網屋 美湖
(74)【代理人】
【氏名又は名称】有原 幸一
(72)【発明者】
【氏名】眞野 勇人
(72)【発明者】
【氏名】山▲崎▼ 拓真
【テーマコード（参考）】
5B050
5B080
5C061
5C182
【Ｆターム（参考）】
5B050AA00
5B050BA09
5B050BA11
5B050BA13
5B050CA01
5B050DA01
5B050EA07
5B050EA26
5B050FA02
5B080AA13
5B080BA07
5B080CA00
5B080FA00
5B080GA22
5C061AA01
5C061AB08
5C061AB14
5C061AB18
5C182AB13
5C182AB33
5C182AC03
5C182AC46
5C182BA03
5C182BA04
5C182BA14
5C182BA29
5C182BA46
5C182BA66
5C182BC45
5C182CB11
(57)【要約】
【課題】全天球画像を用いて３次元仮想空間における没入感の高い背景画像を生成できる画像処理装置を提供する。
【解決手段】画像処理装置３は、３次元仮想空間の基準点を中心Ｃとする球体型モデルＭｓを生成するとともに、該球体型モデルＭｓの中心Ｃまでの距離Ｄｈが地面距離情報に基づいて設定される横平面型モデルＭｈを形成するモデル形成部３３と、球体型モデルＭｓ上の各頂点の座標値および横平面型モデルＭｈ上の各頂点の座標値と全天球画像Ｉの座標値とを対応付け、横平面型モデルＭｈ上の各頂点Ｐｈの座標値に対応する全天球画像Ｉの座標値を、球体型モデルＭｓの中心Ｃから各頂点Ｐｈに向かう方向ベクトルと球体型モデルＭｓとの各交点Ｐｓに設定されている全天球画像Ｉの座標値に置き換え、球体型モデルＭｓおよび横平面型モデルＭｈに全天球画像Ｉをマッピングして３次元仮想空間の背景画像Ｉｍａｐを形成する描画部３４と、を備える。
【選択図】図４
【解決手段】画像処理装置３は、３次元仮想空間の基準点を中心Ｃとする球体型モデルＭｓを生成するとともに、該球体型モデルＭｓの中心Ｃまでの距離Ｄｈが地面距離情報に基づいて設定される横平面型モデルＭｈを形成するモデル形成部３３と、球体型モデルＭｓ上の各頂点の座標値および横平面型モデルＭｈ上の各頂点の座標値と全天球画像Ｉの座標値とを対応付け、横平面型モデルＭｈ上の各頂点Ｐｈの座標値に対応する全天球画像Ｉの座標値を、球体型モデルＭｓの中心Ｃから各頂点Ｐｈに向かう方向ベクトルと球体型モデルＭｓとの各交点Ｐｓに設定されている全天球画像Ｉの座標値に置き換え、球体型モデルＭｓおよび横平面型モデルＭｈに全天球画像Ｉをマッピングして３次元仮想空間の背景画像Ｉｍａｐを形成する描画部３４と、を備える。
【選択図】図４
【特許請求の範囲】
【請求項1】
全天球カメラによって地面および立体物を含む現実空間を撮像した全天球画像を記憶する記憶部と、
前記記憶部に記憶された前記全天球画像の特徴を基に、複数のメッシュを組み合わせて構成される３次元モデルを形成するモデル形成部と、
３次元仮想空間に設定した基準点の座標値を基に、前記モデル形成部で形成された前記３次元モデルに対して前記記憶部に記憶された前記全天球画像をマッピングして前記３次元仮想空間の背景画像を形成する描画部と、を備えた画像処理装置において、
前記記憶部は、前記全天球カメラの撮像位置から前記地面までの距離を示す地面距離情報を記憶するように構成され、
前記モデル形成部は、前記３次元仮想空間における前記基準点を中心とする球体型モデルを形成するとともに、該球体型モデルの中心から見て下方向に配置され、かつ、該中心までの距離が前記記憶部に記憶された前記地面距離情報に基づいて設定される、前記地面に対応した横平面型モデルを形成するように構成され、
前記描画部は、前記３次元仮想空間における前記基準点の座標値を基に、前記モデル形成部で形成された前記球体型モデル上の各頂点の座標値と前記記憶部に記憶された前記全天球画像の座標値とを対応付けるとともに、前記モデル形成部で形成された前記横平面型モデル上の各頂点の座標値と前記記憶部に記憶された前記全天球画像の座標値とを対応付け、前記横平面型モデル上の各頂点の座標値に対応する前記全天球画像の座標値を、前記球体型モデルの中心から前記横平面型モデル上の各頂点に向かう各々の方向ベクトルと前記球体型モデルとの各交点に設定されている前記全天球画像の座標値に置き換えることで、前記球体型モデルおよび前記横平面型モデルに前記全天球画像をマッピングして前記３次元仮想空間の背景画像を形成するように構成されていることを特徴とする画像処理装置。
前記記憶部に記憶された前記全天球画像の特徴を基に、複数のメッシュを組み合わせて構成される３次元モデルを形成するモデル形成部と、
３次元仮想空間に設定した基準点の座標値を基に、前記モデル形成部で形成された前記３次元モデルに対して前記記憶部に記憶された前記全天球画像をマッピングして前記３次元仮想空間の背景画像を形成する描画部と、を備えた画像処理装置において、
前記記憶部は、前記全天球カメラの撮像位置から前記地面までの距離を示す地面距離情報を記憶するように構成され、
前記モデル形成部は、前記３次元仮想空間における前記基準点を中心とする球体型モデルを形成するとともに、該球体型モデルの中心から見て下方向に配置され、かつ、該中心までの距離が前記記憶部に記憶された前記地面距離情報に基づいて設定される、前記地面に対応した横平面型モデルを形成するように構成され、
前記描画部は、前記３次元仮想空間における前記基準点の座標値を基に、前記モデル形成部で形成された前記球体型モデル上の各頂点の座標値と前記記憶部に記憶された前記全天球画像の座標値とを対応付けるとともに、前記モデル形成部で形成された前記横平面型モデル上の各頂点の座標値と前記記憶部に記憶された前記全天球画像の座標値とを対応付け、前記横平面型モデル上の各頂点の座標値に対応する前記全天球画像の座標値を、前記球体型モデルの中心から前記横平面型モデル上の各頂点に向かう各々の方向ベクトルと前記球体型モデルとの各交点に設定されている前記全天球画像の座標値に置き換えることで、前記球体型モデルおよび前記横平面型モデルに前記全天球画像をマッピングして前記３次元仮想空間の背景画像を形成するように構成されていることを特徴とする画像処理装置。
【請求項2】
前記全天球画像の各画素には、ＵＶ座標系におけるＵＶ座標値がそれぞれ設定されており、
前記描画部は、前記３次元仮想空間における前記基準点と、前記球体型モデル上の各頂点および前記横平面型モデル上の各頂点との位置関係に応じて、各々の頂点の座標値に対応する前記全天球画像のＵＶ座標値を設定するとともに、前記球体型モデルの中心と前記横平面型モデル上の各頂点とをそれぞれ結ぶ直線を径方向外側に延長し、該各直線と前記球体型モデルとの各交点に設定されているＵＶ座標値を取得して、前記横平面型モデル上の各頂点の座標値に対応する前記全天球画像のＵＶ座標値を、該取得した各ＵＶ座標値に置き換えるように構成されていることを特徴とする請求項１に記載の画像処理装置。
前記描画部は、前記３次元仮想空間における前記基準点と、前記球体型モデル上の各頂点および前記横平面型モデル上の各頂点との位置関係に応じて、各々の頂点の座標値に対応する前記全天球画像のＵＶ座標値を設定するとともに、前記球体型モデルの中心と前記横平面型モデル上の各頂点とをそれぞれ結ぶ直線を径方向外側に延長し、該各直線と前記球体型モデルとの各交点に設定されているＵＶ座標値を取得して、前記横平面型モデル上の各頂点の座標値に対応する前記全天球画像のＵＶ座標値を、該取得した各ＵＶ座標値に置き換えるように構成されていることを特徴とする請求項１に記載の画像処理装置。
【請求項3】
前記記憶部は、前記全天球カメラの撮像位置から前記立体物までの距離を示す立体物距離情報を記憶するように構成され、
前記モデル形成部は、前記球体型モデルの中心から見て横方向に配置され、かつ、該中心までの距離が前記記憶部に記憶された前記立体物距離情報に基づいて設定される、前記立体物に対応した縦平面型モデルを形成するように構成され、
前記描画部は、前記３次元仮想空間における前記基準点の座標値を基に、前記モデル形成部で形成された前記縦平面型モデルの各頂点の座標値と前記記憶部に記憶された前記全天球画像の座標値とを対応付け、前記縦平面型モデル上の各頂点の座標値に対応する前記全天球画像の座標値を、前記球体型モデルの中心から前記縦平面型モデル上の各頂点に向かう各々の方向ベクトルと前記球体型モデルとの各交点に設定されている前記全天球画像の座標値に置き換えることで、前記球体型モデル、前記横平面型モデルおよび前記縦平面型モデルに前記全天球画像をマッピングして前記３次元仮想空間の背景画像を形成するように構成されていることを特徴とする請求項１に記載の画像処理装置。
前記モデル形成部は、前記球体型モデルの中心から見て横方向に配置され、かつ、該中心までの距離が前記記憶部に記憶された前記立体物距離情報に基づいて設定される、前記立体物に対応した縦平面型モデルを形成するように構成され、
前記描画部は、前記３次元仮想空間における前記基準点の座標値を基に、前記モデル形成部で形成された前記縦平面型モデルの各頂点の座標値と前記記憶部に記憶された前記全天球画像の座標値とを対応付け、前記縦平面型モデル上の各頂点の座標値に対応する前記全天球画像の座標値を、前記球体型モデルの中心から前記縦平面型モデル上の各頂点に向かう各々の方向ベクトルと前記球体型モデルとの各交点に設定されている前記全天球画像の座標値に置き換えることで、前記球体型モデル、前記横平面型モデルおよび前記縦平面型モデルに前記全天球画像をマッピングして前記３次元仮想空間の背景画像を形成するように構成されていることを特徴とする請求項１に記載の画像処理装置。
【請求項4】
前記全天球画像の各画素には、ＵＶ座標系におけるＵＶ座標値がそれぞれ設定されており、
前記描画部は、前記３次元仮想空間における前記基準点と、前記球体型モデル上の各頂点、前記横平面型モデル上の各頂点および前記縦平面型モデルの各頂点との位置関係に応じて、各々の頂点の座標値に対応する前記全天球画像のＵＶ座標値を設定するとともに、前記球体型モデルの中心と前記横平面型モデル上の各頂点および前記縦平面型モデル上の各頂点とをそれぞれ結ぶ直線を径方向外側に延長し、該各直線と前記球体型モデルとの各交点に設定されているＵＶ座標値を取得して、前記横平面型モデル上の各頂点および前記縦平面型モデル上の各頂点それぞれの座標値に対応する前記全天球画像のＵＶ座標値を、該取得した各ＵＶ座標値に置き換えるように構成されていることを特徴とする請求項３に記載の画像処理装置。
前記描画部は、前記３次元仮想空間における前記基準点と、前記球体型モデル上の各頂点、前記横平面型モデル上の各頂点および前記縦平面型モデルの各頂点との位置関係に応じて、各々の頂点の座標値に対応する前記全天球画像のＵＶ座標値を設定するとともに、前記球体型モデルの中心と前記横平面型モデル上の各頂点および前記縦平面型モデル上の各頂点とをそれぞれ結ぶ直線を径方向外側に延長し、該各直線と前記球体型モデルとの各交点に設定されているＵＶ座標値を取得して、前記横平面型モデル上の各頂点および前記縦平面型モデル上の各頂点それぞれの座標値に対応する前記全天球画像のＵＶ座標値を、該取得した各ＵＶ座標値に置き換えるように構成されていることを特徴とする請求項３に記載の画像処理装置。
【請求項5】
前記モデル形成部は、前記描画部により形成される前記背景画像における前記立体物に対応する画像の少なくとも一部が前記横平面型モデルにマッピングされている場合に、前記記憶部に記憶された前記立体物距離情報に基づいて前記球体型モデルの半径を調整することで、前記立体物に対応する画像の全体が前記球体型モデルにマッピングされるように構成されていることを特徴とする請求項３に記載の画像処理装置。
【請求項6】
前記モデル形成部は、車両が走行する道路の道幅に基づいて、前記球体型モデルの半径を調整するように構成されていることを特徴とする請求項５に記載の画像処理装置。
【請求項7】
前記記憶部は、前記全天球画像に複数の立体物の画像が含まれている場合に、前記全天球カメラの撮像位置から前記複数の立体物のうちで前記全天球カメラに最も近い立体物までの距離を示す立体物最短距離情報を記憶するように構成され、
前記モデル形成部は、前記記憶部に記憶されている前記立体物最短距離情報に基づいて、前記球体型モデルの半径を調整するように構成されていることを特徴とする請求項５に記載の画像処理装置。
前記モデル形成部は、前記記憶部に記憶されている前記立体物最短距離情報に基づいて、前記球体型モデルの半径を調整するように構成されていることを特徴とする請求項５に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、３次元仮想空間の背景画像を形成する画像処理装置に関する。
【背景技術】
【0002】
仮想現実（ＶＲ：Virtual Reality）空間の背景を簡易に作成する技術として、全天球カメラ等により撮像した全天球画像を球体型の３次元モデルに貼り付ける方法が知られている。この方法で作成された背景画像をヘッドマウントディスプレイ（ＨＭＤ：Head Mounted Display）に表示した場合、該ＨＭＤを装着するユーザからは周囲に全天球画像が投影されているような３次元仮想空間が観測される。
【0003】
例えば、特許文献１には、全天球画像の特徴に対応させた複数のメッシュ形状を組み合わせて３次元メッシュ形状モデルを形成するモデル形成手段と、３次元空間に設定した仮想基準点の座標値と、３次元メッシュ形状モデルの各画素の座標値とに基づいて、各画素の座標値を全天球画像の座標系に変換し、３次元メッシュ形状モデルに全天球画像をマッピングして全天球立体画像を形成する描画手段と、を備えた画像処理装置が開示されている。この画像処理装置によれば、仮想的な環境に立体感のある全天球画像を提供することができる。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２０１９－１３３３１０号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
ところで、全天球画像を球体型の３次元モデルにだけ貼り付けた背景画像をＨＭＤに投影した場合、ＨＭＤを装着するユーザが観測する３次元仮想空間内には、地面に相当する位置に画像の情報が存在しないため、該ユーザに浮遊感が生じる。前述した特許文献１では、全天球画像中の水平面（地面）に対応させて平面メッシュ形状モデルが形成され、該平面メッシュ形状モデルと球体メッシュ形状モデルとを組み合わせた３次元メッシュ形状モデルに全天球画像がマッピングされているので、ユーザの浮遊感は軽減される。
【0006】
しかし、特許文献１の平面メッシュ形状モデルは、全天球画像の実際の撮像時における撮像位置と地面の間の距離に関係なく、全天球画像中の水平面の位置に対応させて形成されている。このため、該平面メッシュ形状モデルにマッピングされた地面の画像を見たユーザが３次元仮想空間内での地面までの距離に違和感を覚える可能性があり、３次元仮想空間の臨場感が低下して没入感が削がれてしまう虞があった。
【0007】
本発明は上記の点に着目してなされたもので、全天球画像を用いて３次元仮想空間における没入感の高い背景画像を生成できる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【0008】
上記の目的を達成するため本発明の一態様は、全天球カメラによって地面および立体物を含む現実空間を撮像した全天球画像を記憶する記憶部と、前記記憶部に記憶された前記全天球画像の特徴を基に、複数のメッシュを組み合わせて構成される３次元モデルを形成するモデル形成部と、３次元仮想空間に設定した基準点の座標値を基に、前記モデル形成部で形成された前記３次元モデル上の各頂点の座標値を、前記記憶部に記憶された前記全天球画像の座標系に変換し、前記３次元モデルに前記全天球画像をマッピングして全天球立体画像を形成する描画部と、を備えた画像処理装置を提供する。この画像処理装置において、前記記憶部は、前記全天球カメラの撮像位置から前記地面までの距離を示す地面距離情報を記憶するように構成されている。前記モデル形成部は、前記３次元仮想空間における前記基準点を中心とする球体型モデルを形成するとともに、該球体型モデルの中心から見て下方向に配置され、かつ、該中心までの距離が前記記憶部に記憶された前記地面距離情報に基づいて設定される、前記地面に対応した横平面型モデルを形成するように構成されている。前記描画部は、前記３次元仮想空間における前記基準点の座標値を基に、前記モデル形成部で形成された前記球体型モデル上の各頂点の座標値を、前記記憶部に記憶された前記全天球画像の座標系に変換するとともに、前記モデル形成部で形成された前記横平面型モデル上の各頂点の座標値を、前記球体型モデルの中心から前記横平面型モデル上の各頂点に向かう各々の方向ベクトルと前記球体型モデルとの各交点に設定されている座標系変換後の座標値に置き換え、前記球体型モデルおよび前記横平面型モデルに前記全天球画像をマッピングして前記全天球立体画像を形成するように構成されている。
【発明の効果】
【0009】
本発明に係る画像処理装置によれば、３次元仮想空間内での地面までの距離に関するユーザの違和感が抑制されるようになるので、全天球画像を用いて３次元仮想空間における没入感の高い背景画像を生成することができる。
【図面の簡単な説明】
【0010】
【図1】本発明の第１実施形態に係る画像処理装置が適用された運転シミュレータシステムの概略構成を示すブロック図である。
【図2】第１実施形態におけるモデル形成部で形成される３次元モデル（球体型モデルおよび横平面型モデル）を示す概念図である。
【図3】第１実施形態における描画部で実行される球体型モデル上の各頂点の座標値を全天球画像の座標値に対応付ける処理を説明するための概念図である。
【図4】第１実施形態における描画部で実行される横平面型モデル上の各頂点の座標値に対応するＵＶ座標値を球体型モデルに設定されているＵＶ座標値に置き換える処理を説明するための概念図である。
【図5】本発明の第２実施形態に係る画像処理装置のモデル形成部で形成される３次元モデル（球体型モデル、横平面型モデルおよび縦平面型モデル）を示す概念図である。
【図6】第２実施形態における描画部で実行される縦平面型モデル上の各頂点の座標値に対応するＵＶ座標値を球体型モデルに設定されているＵＶ座標値に置き換える処理を説明するための概念図である。
【図7】第２実施形態による効果を説明するための概念図である。
【図8】第３実施形態において全天球画像が貼り付けられる３次元モデルの断面を示す概念図である。
【図9】第２実施形態に関連した変形例を示す概念図である。
【発明を実施するための形態】
【0011】
以下、本発明の実施の形態について添付図面を参照しながら詳細に説明する。
図１は、本発明の第１実施形態に係る画像処理装置が適用された運転シミュレータシステムの概略構成を示すブロック図である。
図１において、運転シミュレータシステム１は、現実空間を撮像する全天球カメラ２と、該全天球カメラ２によって撮像された全天球画像Ｉを用いて３次元仮想空間の背景画像Ｉｍａｐを生成する、第１実施形態による画像処理装置３と、該画像処理装置３で生成された背景画像Ｉｍａｐを表示するヘッドマウントディスプレイ（ＨＭＤ）４と、を含んでいる。この運転シミュレータシステム１は、例えば、自動車等の車両開発や販売促進活動における車両運転の模擬体験などに利用することが可能である。
図１は、本発明の第１実施形態に係る画像処理装置が適用された運転シミュレータシステムの概略構成を示すブロック図である。
図１において、運転シミュレータシステム１は、現実空間を撮像する全天球カメラ２と、該全天球カメラ２によって撮像された全天球画像Ｉを用いて３次元仮想空間の背景画像Ｉｍａｐを生成する、第１実施形態による画像処理装置３と、該画像処理装置３で生成された背景画像Ｉｍａｐを表示するヘッドマウントディスプレイ（ＨＭＤ）４と、を含んでいる。この運転シミュレータシステム１は、例えば、自動車等の車両開発や販売促進活動における車両運転の模擬体験などに利用することが可能である。
【0012】
画像処理装置３は、その機能ブロックとして、例えば、入力部３１、記憶部３２、モデル形成部３３、描画部３４、および出力部３５を備えている。画像処理装置３のハードウェア構成は、ここでは図示を省略するが、例えば、プロセッサ、メモリ、ユーザ入力インターフェースおよび通信インターフェースを含むコンピュータシステムを備える。つまり、画像処理装置３では、コンピュータシステムのプロセッサがメモリに格納されたプログラムを読み出して実行することによって各ブロックの機能が実現されている。
【0013】
入力部３１は、コンピュータシステムのユーザ入力インターフェースにより実現されており、例えば、キーボード、マウス、操作用コントローラ等を有している。また、入力部３１は、外部から有線または無線で情報を受信する受信部を有し、外部コンピュータ等との間で情報を受信する外部情報入力インターフェースとしても機能する。入力部３１には、全天球カメラ２によって現実空間を撮像した全天球画像Ｉが与えられ、該全天球画像Ｉが記憶部３２に記憶される。なお、全天球カメラ２は、全方位カメラ、或いは３６０度カメラなどとも呼ばれる。
【0014】
全天球カメラ２によって撮像される現実空間には、車両が走行する道路やその脇の歩道などの地面と、該道路周辺に設けられている建築物や信号機、道路標識、森林などの立体物とが含まれている。全天球画像Ｉの撮像時には、全天球カメラ２の撮像位置から地面までの距離Ｄ１と、全天球カメラ２の撮像位置から立体物までの距離Ｄ２とが測定され、その測定結果を示す情報が全天球画像Ｉとともに入力部３１を介して記憶部３２に記憶される。つまり、画像処理装置３の記憶部３２は、全天球カメラ２によって地面および立体物を含む現実空間を撮像した全天球画像Ｉと、該全天球画像Ｉの撮像時に測定された地面までの距離Ｄ１を示す情報（以下、「地面距離情報」とする）および立体物までの距離Ｄ２を示す情報（以下、「立体物距離情報」とする）とを記憶可能に構成されている。
【0015】
モデル形成部３３は、記憶部３２に記憶された全天球画像Ｉの特徴を基に、複数のメッシュを組み合わせて構成される３次元モデルを形成する。該３次元モデルを構成する複数のメッシュのそれぞれは、３つ以上の頂点と、頂点間を接続する辺と、辺によって閉じられた面とを有している。複数のメッシュの密度は、３次元モデルに要求される精度等に応じて設定可能である。第１実施形態におけるモデル形成部３３では、上記複数のメッシュからなる３次元モデルとして、例えば、球体型モデルＭｓと、地面に対応した横平面型モデルＭｈとが形成される。
【0016】
図２は、モデル形成部３３で形成される球体型モデルＭｓおよび横平面型モデルＭｈを示す概念図である。
図２に示すように、球体型モデルＭｓは、３次元仮想空間に設定した基準点を中心Ｃにして半径ｒの球面を複数のメッシュ（図示せず）を組み合わせて構成した３次元のモデルデータである。３次元仮想空間は、ＨＭＤ４を装着するユーザＵに提供される仮想的な空間である。３次元仮想空間の基準点は、３次元仮想空間におけるユーザＵの眼の位置に対応させて設定されている。３次元仮想空間の基準点に中心Ｃが設定された球体型モデルＭｓに全天球画像ＩをマッピングしてＨＭＤ４に投影することで、ユーザＵは、全天球カメラ２の撮像位置に相当する視点で３次元仮想空間を観測することになる。なお、球体型モデルＭｓの半径ｒの設定については後述する。
図２に示すように、球体型モデルＭｓは、３次元仮想空間に設定した基準点を中心Ｃにして半径ｒの球面を複数のメッシュ（図示せず）を組み合わせて構成した３次元のモデルデータである。３次元仮想空間は、ＨＭＤ４を装着するユーザＵに提供される仮想的な空間である。３次元仮想空間の基準点は、３次元仮想空間におけるユーザＵの眼の位置に対応させて設定されている。３次元仮想空間の基準点に中心Ｃが設定された球体型モデルＭｓに全天球画像ＩをマッピングしてＨＭＤ４に投影することで、ユーザＵは、全天球カメラ２の撮像位置に相当する視点で３次元仮想空間を観測することになる。なお、球体型モデルＭｓの半径ｒの設定については後述する。
【0017】
横平面型モデルＭｈは、図２の斜線部に示すように、球体型モデルＭｓの中心Ｃ（３次元仮想空間の基準点）から見て下方向に配置され、概ね水平方向に広がる平面を複数のメッシュの組合せにより構成した２次元のモデルデータである。球体型モデルＭｓの中心Ｃから横平面型モデルＭｈまでの距離Ｄｈ、すなわち、球体型モデルＭｓの中心Ｃから横平面型モデルＭｈへ下した垂線の長さは、記憶部３２に記憶された地面距離情報に基づいて設定されている。
【0018】
具体的に、球体型モデルＭｓの中心Ｃから横平面型モデルＭｈまでの距離Ｄｈは、地面距離情報によって示される全天球カメラ２の撮像位置から地面までの距離Ｄ１に対応するように設定されている。つまり、全天球画像Ｉの撮像時における全天球カメラ２の地面からの設置高さが高くなる（または低くなる）に従って、球体型モデルＭｓの中心Ｃから横平面型モデルＭｈまでの距離Ｄｈが長くなる（または短くなる）。このような横平面型モデルＭｈが球体型モデルＭｓと組み合わされることで全体として３次元のモデルデータが生成される。モデル形成部３３により形成された３次元モデル（球体型モデルＭｓおよび横平面型モデルＭｈ）は、描画部３４に伝えられる。
【0019】
描画部３４は、３次元仮想空間における基準点の座標値を基に、モデル形成部３３で形成された球体型モデルＭｓ上の各頂点の座標値と記憶部３２に記憶された全天球画像Ｉの座標値とを対応付けるとともに、モデル形成部３３で形成された横平面型モデルＭｈ上の各頂点の座標値と記憶部３２に記憶された全天球画像Ｉの座標値とを対応付ける処理を実行する。また、描画部３４は、横平面型モデルＭｈ上の各頂点の座標値に対応する全天球画像Ｉの座標値を、球体型モデルＭｓの中心Ｃから横平面型モデルＭｈ上の各頂点に向かう各々の方向ベクトルと球体型モデルＭｓとの各交点に設定されている全天球画像Ｉの座標値に置き換える処理を実行する。これにより、描画部３４は、球体型モデルＭｓおよび横平面型モデルＭｈに全天球画像Ｉをマッピングして３次元仮想空間の背景画像Ｉｍａｐを形成し、その背景画像Ｉｍａｐを出力部３５経由でＨＭＤ４に出力する。
【0020】
図３は、描画部３４で実行される球体型モデルＭｓ上の各頂点の座標値を全天球画像Ｉの座標値に対応付ける処理を説明するための概念図である。
図３の右側に示すように、３次元仮想空間の基準点を中心Ｃとする半径ｒの球面上には、球体型モデルＭｓを構成する複数のメッシュの各頂点（図示せず）が存在している。互いに直交するＸ軸、Ｙ軸およびＺ軸の３軸から構成される直交座標系（以下、「ＸＹＺ座標系」とする）において、３次元仮想空間の基準点の座標値を（ａ，ｂ，ｃ）とすると、球体型モデルＭｓ上の各頂点の座標値（ｘ，ｙ，ｚ）は、球面の方程式：（ｘ－ａ）２＋（ｙ－ｂ）２＋（ｚ－ｃ）２＝ｒ２を用いて表すことができる。
図３の右側に示すように、３次元仮想空間の基準点を中心Ｃとする半径ｒの球面上には、球体型モデルＭｓを構成する複数のメッシュの各頂点（図示せず）が存在している。互いに直交するＸ軸、Ｙ軸およびＺ軸の３軸から構成される直交座標系（以下、「ＸＹＺ座標系」とする）において、３次元仮想空間の基準点の座標値を（ａ，ｂ，ｃ）とすると、球体型モデルＭｓ上の各頂点の座標値（ｘ，ｙ，ｚ）は、球面の方程式：（ｘ－ａ）２＋（ｙ－ｂ）２＋（ｚ－ｃ）２＝ｒ２を用いて表すことができる。
【0021】
一方、全天球画像Ｉの座標系については、図３の左側に示すように、３次元モデルにテクスチャ（画像）をマッピングするときに、貼り付ける位置や方向、大きさなどを指定するために使用されるＵＶ座標系が設定されている。このようなＵＶ座標系の全天球画像Ｉが、モデル形成部３３により形成された３次元モデル（球体型モデルＭｓおよび横平面型モデルＭｈ）にマッピングされる。つまり、３次元モデルにマッピングされる画像には、該３次元モデル上の各頂点におけるＸＹＺ座標系の座標値に対して一意的に設定されるＵＶ座標系の座標値が設定される。第１実施形態において、球体型モデルＭｓにマッピングされる画像は、上記のような球体型モデルＭｓ上の各頂点のＸＹＺ座標値に一対一の関係で設定されるＵＶ座標値を有している。また、横平面型モデルＭｈにマッピングされる画像は、後述するような横平面型モデルＭｈ上の各頂点のＸＹＺ座標値に一対一の関係で設定されるＵＶ座標値を有している。
【0022】
具体的に、球体型モデルＭｓにマッピングされる画像（全天球画像Ｉ）には、２次元の直交座標系であって、横方向の軸がＵ、縦方向の軸がＶとなるＵＶ座標系が設定されている（図３の左側）。全天球画像Ｉ上には等間隔の格子状に頂点が設定されており、該各頂点のＵＶ座標値が、球体型モデルＭｓ上の各頂点のＸＹＺ座標値にそれぞれ対応付けられている。ＵＶ座標値は、Ｕ軸およびＶ軸の各方向について０～１の範囲内で設定されている。このように全天球画像Ｉ上において等間隔の格子状に頂点を設定することで、球体型モデルＭｓに貼り付けられる全天球画像Ｉの歪みが軽減される。ただし、球体型モデルＭｓ上でのメッシュ作成の都合上、端点となる極点の付近（図３の右側において破線で囲んだ範囲）については、全天球画像Ｉの対応する領域に格子状ではなく三角波状の頂点を設定している。このため、球体型モデルＭｓの極点付近では、全天球画像Ｉのうちで球体型モデルＭｓに貼り付けられない領域が僅かではあるが生じる。図３の左側における斜線領域は、球体型モデルＭｓに貼り付けられる全天球画像Ｉの領域を表している。
【0023】
図４は、描画部３４で実行される横平面型モデルＭｈ上の各頂点の座標値に対応するＵＶ座標値を球体型モデルＭｓに設定されているＵＶ座標値に置き換える処理を説明するための概念図である。なお、図４は、図２の球体型モデルＭｓおよび横平面型モデルＭｈをＸ－Ｚ平面で切断した断面を表している。
【0024】
図４の上段に示すように、横平面型モデルＭｈは、球体型モデルＭｓの中心Ｃから下方に距離Ｄｈだけ離れた位置に設けられている。横平面型モデルＭｈ上には、横平面型モデルＭｈを構成するメッシュの各頂点Ｐｈ（細線白丸印）が配置されている。横平面型モデルＭｈの各頂点Ｐｈには、３次元仮想空間におけるＸＹＺ座標系の座標値（ｘ，ｙ，ｚ）が設定されている。前述したように３次元仮想空間の基準点の座標値を（ａ，ｂ，ｃ）とした場合、各頂点ＰｈのＺ軸方向の座標値はｚ＝ｃ－Ｄｈで表わされる。
【0025】
上記のような横平面型モデルＭｈにマッピングされる画像は、前述したように横平面型モデルＭｈ上の各頂点のＸＹＺ座標値に一対一の関係で設定されるＵＶ座標値を有している。第１実施形態では、描画部３４が、横平面型モデルＭｈ上の各頂点のＸＹＺ座標値に対応するＵＶ座標値を、球体型モデルＭｓの中心Ｃから横平面型モデルＭｈ上の各頂点に向かう各々の方向ベクトルと球体型モデルＭｓとの各交点に設定されているＵＶ座標値に置き換える処理を実行する。この処理では、まず、図４の中段に示すように、描画部３４が、球体型モデルＭｓの中心Ｃと横平面型モデルＭｈ上の各頂点Ｐｈとをそれぞれ結ぶ直線を設定し、該各直線を径方向外側に延長する（図４の点線）。これらの直線は、球体型モデルＭｓの中心Ｃから横平面型モデルＭｈ上の各頂点Ｐｈに向かう方向ベクトルに対応している。
【0026】
そして、描画部３４は、各々の直線（方向ベクトル）と球体型モデルＭｓとの各交点Ｐｓ（太線白丸印）を特定する。各交点Ｐｓには、球体型モデルＭｓにマッピングされた全天球画像ＩのＵＶ座標値がそれぞれ設定されている。そこで、描画部３４は、各交点Ｐｓに設定されているＵＶ座標値を取得して、図４の下段に示すように、横平面型モデル上の各頂点ＰｈのＸＹＺ座標値に対応するＵＶ座標値を該取得した各ＵＶ座標値に置き換える。なお、横平面型モデルＭｈ上の各頂点Ｐｈのうち、球体型モデルＭｓおよび横平面型モデルＭｈが重なる部分に配置されている頂点ＰｈのＸＹＺ座標値に対応するＵＶ座標値については、該頂点Ｐｈに一致する球体型モデルＭｓ上の点に設定されているＵＶ座標値に置き換えられる。このような一連の処理により、全天球画像Ｉのうちの地面に対応する画像が横平面型モデルＭｈに貼り付けられるようになる。
【0027】
上記のようにして描画部３４により球体型モデルＭｓおよび横平面型モデルＭｈに全天球画像Ｉをマッピングして形成された３次元仮想空間の背景画像Ｉｍａｐは、画像処理装置３の出力部３５（図１）に伝えられる。出力部３５は、描画部３４からの背景画像Ｉｍａｐを、コンピュータシステムの通信インターフェースを利用してＨＭＤ４に出力する。
【0028】
ＨＭＤ４は、画像処理装置３からの背景画像Ｉｍａｐを３次元仮想空間の背景として投影することにより、ユーザＵに立体的な仮想空間を知覚させることが可能な周知の表示装置である。また、ＨＭＤ４に関しては、ＨＭＤ４に内蔵されたセンサ等によって、ユーザＵの頭部の動きを検出するヘッドトラッキングの機能や、ユーザＵの身体の動きを検出するポジショントラッキングの機能が実現されていてもよい。当該機能により検出されたユーザＵの動きに関する情報は、画像処理装置３の入力部３１を介して描画部３４に伝達され、ユーザＵの動きに連動した背景画像Ｉｍａｐの更新処理などに利用される。
【0029】
上記のような第１実施形態による画像処理装置３が適用された運転シミュレータシステム１では、全天球カメラ２によって現実空間を撮像した全天球画像Ｉが画像処理装置３により球体型モデルＭｓおよび横平面型モデルＭｈにマッピングされて３次元仮想空間の背景画像Ｉｍａｐが形成され、該背景画像ＩｍａｐがＨＭＤ４に投影される。これにより、ＨＭＤ４を装着したユーザＵは、ＨＭＤ４に投影される３次元仮想空間の背景画像Ｉｍａｐを全天球カメラ２の撮像位置に相当する視点で観測することができる。
【0030】
このとき、地面に対応した横平面型モデルＭｈから球体型モデルＭｓの中心Ｃ（３次元仮想空間の基準点）までの距離Ｄｈが、全天球画像Ｉの撮像時における全天球カメラ２の撮像位置から地面までの距離Ｄ１に対応させて設定されているため、横平面型モデルＭｈにマッピングされた地面の画像を見たユーザＵが、３次元仮想空間内での地面までの距離に違和感を覚えるのを抑制することが可能である。したがって、第１実施形態の画像処理装置３によれば、全天球カメラ２で撮像した全天球画像Ｉを用いて３次元仮想空間における没入感の高い背景画像を生成することができる。特に、球体型モデルＭｓおよび横平面型モデルＭｈの各頂点のＸＹＺ座標値と全天球画像ＩのＵＶ座標値とが対応付けられるようにすれば、汎用性の高いマッピング処理を実現することが可能になる。
【0031】
次に、本発明の第２実施形態に係る画像処理装置について説明する。
上述した第１実施形態による画像処理装置３では、モデル形成部３３により、球体型モデルＭｓと、地面に対応する横平面型モデルＭｈとを組み合わせた３次元モデルが形成される場合を説明した。第２実施形態による画像処理装置３では、モデル形成部３３が、球体型モデルＭｓおよび横平面型モデルＭｈに加えて、立体物に対応した縦平面型モデルＭｖを形成する場合について説明する。
上述した第１実施形態による画像処理装置３では、モデル形成部３３により、球体型モデルＭｓと、地面に対応する横平面型モデルＭｈとを組み合わせた３次元モデルが形成される場合を説明した。第２実施形態による画像処理装置３では、モデル形成部３３が、球体型モデルＭｓおよび横平面型モデルＭｈに加えて、立体物に対応した縦平面型モデルＭｖを形成する場合について説明する。
【0032】
図５は、第２実施形態におけるモデル形成部３３で形成される３次元モデル（球体型モデルＭｓ、横平面型モデルＭｈおよび縦平面型モデルＭｖ）を示す概念図である。なお、第２実施形態による画像処理装置３の機能ブロック、および第２実施形態による画像処理装置３を適用した運転シミュレータシステム１の構成は、上述の図１に示した第１実施形態の構成と同様であるため、ここでの説明を省略する。
【0033】
図５に示すように、第２実施形態におけるモデル形成部３３は、上述した第１実施形態の場合と同様にして球体型モデルＭｓおよび横平面型モデルＭｈを形成するとともに、全天球画像Ｉに含まれている立体物に対応した縦平面型モデルＭｖを形成する。縦平面型モデルＭｖは、図５の斜線部に示すように、球体型モデルＭｓの中心Ｃ（３次元仮想空間の基準点）から見て横方向に配置され、概ね垂直方向に広がる平面を複数のメッシュの組合せにより構成した２次元のモデルデータである。図５に示した一例では、縦平面型モデルＭｖが、球体型モデルＭｓの中心Ｃに対してＸ軸方向に間隔を空けて配置され、Ｙ－Ｚ平面に略平行に形成されている。球体型モデルＭｓの中心Ｃから縦平面型モデルＭｖまでの距離Ｄｖは、記憶部３２に記憶された立体物距離情報に基づいて設定されている。
【0034】
具体的に、球体型モデルＭｓの中心Ｃから縦平面型モデルＭｖまでの距離Ｄｖは、立体物距離情報によって示される全天球カメラ２の撮像位置から立体物までの距離Ｄ２に対応するように設定されている。つまり、全天球画像Ｉの撮像時における全天球カメラ２の設置位置に対して立体物が離れる（または近づく）に従って、球体型モデルＭｓの中心Ｃから縦平面型モデルＭｖまでの距離Ｄｖが長くなる（または短くなる）。このような縦平面型モデルＭｖが球体型モデルＭｓおよび横平面型モデルＭｈと組み合わされることで全体として３次元のモデルデータが生成される。モデル形成部３３により形成された３次元モデル（球体型モデルＭｓ、横平面型モデルＭｈおよび縦平面型モデルＭｖ）は、描画部３４に伝えられる。
【0035】
第２実施形態における描画部３４は、上述した第１実施形態の場合と同様にして、横平面型モデルＭｈ上の各頂点のＸＹＺ座標値に対応するＵＶ座標値を、球体型モデルＭｓの中心Ｃから横平面型モデルＭｈ上の各頂点に向かう各々の方向ベクトルと球体型モデルＭｓとの各交点に設定されているＵＶ座標値に置き換えるとともに、縦平面型モデルＭｖ上の各頂点のＸＹＺ座標値に対応するＵＶ座標値を、球体型モデルＭｓの中心Ｃから縦平面型モデルＭｖ上の各頂点に向かう各々の方向ベクトルと球体型モデルＭｓとの各交点に設定されているＵＶ座標値に置き換える処理を実行する。そして、描画部３４は、球体型モデルＭｓ、横平面型モデルＭｈおよび縦平面型モデルＭｖに全天球画像Ｉをマッピングして３次元仮想空間の背景画像Ｉｍａｐを形成し、その背景画像Ｉｍａｐを出力部３５経由でＨＭＤ４に出力する。
【0036】
図６は、第２実施形態における描画部３４で実行される縦平面型モデルＭｖ上の各頂点の座標値に対応するＵＶ座標値を球体型モデルＭｓに設定されているＵＶ座標値に置き換える処理を説明するための概念図である。なお、図６は、図５の球体型モデルＭｓ、横平面型モデルＭｈおよび縦平面型モデルＭｖをＸ－Ｚ平面で切断した断面を表している。
【0037】
図６の上段に示すように、縦平面型モデルＭｖは、球体型モデルＭｓの中心Ｃから横方向（Ｘ軸方向）に距離Ｄｖだけ離れた位置に設けられている。縦平面型モデルＭｖ上には、縦平面型モデルＭｖを構成するメッシュの各頂点Ｐｖ（細線白丸印）が配置されている。縦平面型モデルＭｖの各頂点Ｐｖには、３次元仮想空間におけるＸＹＺ座標系の座標値（ｘ，ｙ，ｚ）が設定されている。上述した第１実施形態の場合と同様に３次元仮想空間の基準点の座標値を（ａ，ｂ，ｃ）とした場合、各頂点ＰｖのＸ軸方向の座標値はｘ＝ａ－Ｄｖで表わされる。
【0038】
上記のような縦平面型モデルＭｖにマッピングされる画像は、縦平面型モデルＭｖ上の各頂点のＸＹＺ座標値に一対一の関係で設定されるＵＶ座標値を有している。第２実施形態では、描画部３４が、縦平面型モデルＭｖ上の各頂点のＸＹＺ座標値に対応するＵＶ座標値を、球体型モデルＭｓの中心Ｃから縦平面型モデルＭｖ上の各頂点に向かう各々の方向ベクトルと球体型モデルＭｓとの各交点に設定されているＵＶ座標値に置き換える処理を実行する。この処理では、まず、図６の中段に示すように、描画部３４が、球体型モデルＭｓの中心Ｃと縦平面型モデルＭｖ上の各頂点Ｐｖとをそれぞれ結ぶ直線を設定し、該各直線を径方向外側に延長する（図６の点線）。これらの直線は、球体型モデルＭｓの中心Ｃから縦平面型モデルＭｖ上の各頂点Ｐｖに向かう方向ベクトルに対応している。
【0039】
そして、描画部３４は、各々の直線（方向ベクトル）と球体型モデルＭｓとの各交点Ｐｓ（太線白丸印）を特定する。各交点Ｐｓには、球体型モデルＭｓにマッピングされた全天球画像ＩのＵＶ座標値がそれぞれ設定されている。そこで、描画部３４は、各交点Ｐｓに設定されているＵＶ座標値を取得して、図６の下段に示すように、縦平面型モデル上の各頂点ＰｖのＸＹＺ座標値に対応するＵＶ座標値を該取得した各ＵＶ座標値に置き換える。なお、縦平面型モデルＭｖ上の各頂点Ｐｖのうち、球体型モデルＭｓの外側に配置されている頂点ＰｖのＸＹＺ座標値に対応するＵＶ座標値については、該頂点Ｐｖと球体型モデルＭｓの中心Ｃとを結ぶ線分上にある球体型モデルＭｓの交点Ｐｓに設定されているＵＶ座標値に置き換えられる。このような一連の処理により、全天球画像Ｉのうちの立体物に対応する画像領域が縦平面型モデルＭｖに貼り付けられるようになる。
【0040】
上記のような第２実施形態による画像処理装置３が適用された運転シミュレータシステム１では、全天球カメラ２によって現実空間を撮像した全天球画像Ｉが画像処理装置３により球体型モデルＭｓ、横平面型モデルＭｈおよび縦平面型モデルＭｖにマッピングされて３次元仮想空間の背景画像Ｉｍａｐが形成され、該背景画像ＩｍａｐがＨＭＤ４に投影される。立体物に対応した縦平面型モデルＭｖを形成して全天球画像Ｉをマッピングするようにしたことで、より違和感の少ない３次元仮想空間の背景画像を生成することができる。図７は、第２実施形態による効果を説明するための概念図である。
【0041】
図７の上段および中段に示すように、全天球カメラ２によって地面Ｇおよび立体物Ｏを含む現実空間を撮像した全天球画像Ｉを用いて３次元仮想空間の背景画像を作成する際、球体型モデルＭｓおよび横平面型モデルＭｈだけが形成される第１実施形態の場合には、立体物Ｏの位置が全天球カメラ２の撮像位置から離れるほど、該立体物の画像Ｉｏが貼り付けられる３次元モデルのメッシュの粗さが目立つようになるとともに、立体物Ｏから撮像位置までの距離Ｄ２に応じて、横平面型モデルＭｈに貼り付けられる立体物の画像Ｉｏに歪みが生じ得る。このようなメッシュの粗さや立体物の画像Ｉｏの歪みは、図７の下段に示すように、立体物に対応した縦平面型モデルＭｖを用意することにより軽減することができる。特に、縦平面型モデルＭｖから球体型モデルＭｓの中心Ｃまでの距離Ｄｖが、全天球カメラ２の撮像位置から立体物Ｏまでの距離Ｄ２に対応させて設定されるようにすれば、縦平面型モデルＭｖに立体物の画像Ｉｏを歪みなく貼り付けることが可能になる。したがって、第２実施形態の画像処理装置３によれば、全天球カメラ２で撮像した全天球画像Ｉを用いて３次元仮想空間における没入感のより高い背景画像を生成することができる。
【0042】
次に、本発明の第３実施形態に係る画像処理装置について説明する。
上述した第２実施形態による画像処理装置３では、立体物に対応した縦平面型モデルＭｖを形成することにより、メッシュの粗さや立体物の画像Ｉｏの歪みが軽減される場合を説明した。第３実施形態による画像処理装置３では、縦平面型モデルＭｖを形成する代わりに、球体型モデルＭｓの半径ｒを調整することで、第２実施形態の場合と同様な効果を実現する一例について説明する。なお、第３実施形態による画像処理装置３の機能ブロック、および第３実施形態による画像処理装置３を適用した運転シミュレータシステム１の構成は、上述の図１に示した第１実施形態の構成と同様であるため、ここでの説明を省略する。
上述した第２実施形態による画像処理装置３では、立体物に対応した縦平面型モデルＭｖを形成することにより、メッシュの粗さや立体物の画像Ｉｏの歪みが軽減される場合を説明した。第３実施形態による画像処理装置３では、縦平面型モデルＭｖを形成する代わりに、球体型モデルＭｓの半径ｒを調整することで、第２実施形態の場合と同様な効果を実現する一例について説明する。なお、第３実施形態による画像処理装置３の機能ブロック、および第３実施形態による画像処理装置３を適用した運転シミュレータシステム１の構成は、上述の図１に示した第１実施形態の構成と同様であるため、ここでの説明を省略する。
【0043】
図８は、第３実施形態において全天球画像Ｉが貼り付けられる３次元モデル（球体型モデルＭｓおよび横平面型モデルＭｈ）をＸ－Ｚ平面で切断した断面を示す概念図である。
図８に示すように、第３実施形態による画像処理装置３では、上述した第１実施形態の場合と同様にして描画部３４により形成された背景画像Ｉｍａｐにおける立体物に対応する画像Ｉｏの少なくとも一部が、横平面型モデルＭｈにマッピングされている場合に（図８の上段）、モデル形成部３３が、記憶部３２に記憶された立体物距離情報に基づいて球体型モデルＭｓの半径をｒからｒ’に調整する（図８の下段）。このような球体型モデルＭｓの半径ｒ’への調整によって、全天球画像Ｉのうちの立体物に対応する画像Ｉｏが球体型モデルだけにマッピングされる。
図８に示すように、第３実施形態による画像処理装置３では、上述した第１実施形態の場合と同様にして描画部３４により形成された背景画像Ｉｍａｐにおける立体物に対応する画像Ｉｏの少なくとも一部が、横平面型モデルＭｈにマッピングされている場合に（図８の上段）、モデル形成部３３が、記憶部３２に記憶された立体物距離情報に基づいて球体型モデルＭｓの半径をｒからｒ’に調整する（図８の下段）。このような球体型モデルＭｓの半径ｒ’への調整によって、全天球画像Ｉのうちの立体物に対応する画像Ｉｏが球体型モデルだけにマッピングされる。
【0044】
上記のような球体型モデルＭｓの半径の調整について、例えば、一般的な市街地の道路を走行する車両における運転者の視点を基準にした３次元仮想空間の背景を作成する場合を想定して具体的に説明すると、幅２．５ｍの車両が通る道路の最低の道幅は６．５ｍである。この道路の幅方向の中心から外側へ１ｍ程度ずれた位置に運転姿勢があると仮定すると、運転者の視点から道路端までの距離は（６．５／２）－１．０＝２．２５ｍとなる。ここで、道路端の外側に幅１．０ｍの歩道をさらに仮定し、その先に家や建築物、森林などの立体物があると想定すると、運転者の視点から立体物までの距離は２．２５＋１．０＝３．２５ｍとなる。
【0045】
したがって、一般的な市街地の道路を走行中の車両を想定した場合には、モデル形成部３３により形成される球体型モデルＭｓの調整後の半径ｒ’が３．２５ｍとなるように設定するのがよい。このように車両が走行する道路の道幅に基づいて球体型モデルＭｓの半径の調整を行うことにより、一般的な市街地の道路での走行シーンにおいて、運転者からの周囲の立体物の見え方に違和感のない３次元仮想空間の背景画像ＩｍａｐをＨＭＤ４に投影することができる。
【0046】
また、例えば、駐車場などの開けた場所を走行する場合には、全天球カメラ２に最も近い立体物までの距離を球体型モデルＭｓの半径ｒ’として設定するのがよい。すなわち、全天球カメラ２によって撮像する現実空間内に複数の立体物が含まれているときに、全天球カメラ２の撮像位置から複数の立体物のうちで全天球カメラ２に最も近い立体物までの距離を測定して、その距離を示す立体物最短距離情報を画像処理装置３の記憶部３２に記憶させておく。そして、モデル形成部３３で球体型モデルＭｓの半径の調整を行う際に、記憶部３２に記憶されている立体物最短距離情報に基づいて球体型モデルＭｓの半径ｒ’を設定する。
【0047】
このような球体型モデルＭｓの半径の調整を行うようにすれば、一般的な市街地の道路での走行シーンにおいて、駐車場などの開けた場所を通る際にも、運転者からの周囲の立体物の見え方に違和感のない３次元仮想空間の背景画像ＩｍａｐをＨＭＤ４に投影することができる。なお、球体型モデルＭｓの調整後の半径ｒ’が小さ過ぎる場合、地面に対応する横平面型モデルＭｈが球体型モデルＭｓの外側に位置してしまい、３次元仮想空間の背景を作成するための３次元モデルとして不適となる可能性がある点に注意する必要がある。
【0048】
以上、本発明の第１～３実施形態について述べたが、本発明は上述した各実施形態に限定されるものではなく、本発明の技術的思想に基づいて各種の変形および変更が可能である。例えば、上述した第１～３実施形態では、全天球画像ＩにＵＶ座標系が設定されている一例を示したが、ＵＶ座標系以外の他の座標系が全天球画像Ｉに設定されていてもよい。
【0049】
また、上述した第２実施形態では、立体物に対応した縦平面型モデルＭｖが１つだけ形成される場合を説明したが、２つ以上の縦平面型モデルＭｖを形成するようにしてもよい。具体的な一例を挙げると、トンネルや市街地のように車両が走行する道路の左右方向のみに立体物が配置されているような場合には、図９に示すように、球体型モデルＭｓの半径ｒを適当な大きさに設定した上で、上述した第２実施形態の縦平面型モデルＭｖと同様な縦平面型モデルＭｖ’を、球体型モデルＭｓの中心Ｃを挟んで縦平面型モデルＭｖとは反対側に形成して、左右の縦平面型モデルＭｖ，Ｍｖ’に全天球画像Ｉをマッピングするようにしてもよい。
【符号の説明】
【0050】
１…運転シミュレータシステム
２…全天球カメラ
３…画像処理装置
４…ヘッドマウントディスプレイ（ＨＭＤ）
３１…入力部
３２…記憶部
３３…モデル形成部
３４…描画部
３５…出力部
Ｃ…球体型モデルの中心（３次元仮想空間の基準点）
Ｄ１…撮像位置から地面までの距離
Ｄ２…撮像位置から立体物までの距離
Ｄｈ…球体型モデルの中心から横平面型モデルまでの距離
Ｄｖ…球体型モデルの中心から縦平面型モデルまでの距離
Ｇ…地面
Ｉ…全天球画像
Ｉｏ…立体物の画像
Ｉｍａｐ…３次元仮想空間の背景画像
Ｍｈ…横平面型モデル
Ｍｓ…球体型モデル
Ｍｖ，Ｍｖ’…縦平面型モデル
Ｏ…立体物
Ｐｈ…横平面型モデルの頂点
Ｐｓ…方向ベクトルと球体型モデルとの交点
Ｐｖ…縦平面型モデルの頂点
ｒ，ｒ’…球体型モデルの半径
２…全天球カメラ
３…画像処理装置
４…ヘッドマウントディスプレイ（ＨＭＤ）
３１…入力部
３２…記憶部
３３…モデル形成部
３４…描画部
３５…出力部
Ｃ…球体型モデルの中心（３次元仮想空間の基準点）
Ｄ１…撮像位置から地面までの距離
Ｄ２…撮像位置から立体物までの距離
Ｄｈ…球体型モデルの中心から横平面型モデルまでの距離
Ｄｖ…球体型モデルの中心から縦平面型モデルまでの距離
Ｇ…地面
Ｉ…全天球画像
Ｉｏ…立体物の画像
Ｉｍａｐ…３次元仮想空間の背景画像
Ｍｈ…横平面型モデル
Ｍｓ…球体型モデル
Ｍｖ，Ｍｖ’…縦平面型モデル
Ｏ…立体物
Ｐｈ…横平面型モデルの頂点
Ｐｓ…方向ベクトルと球体型モデルとの交点
Ｐｖ…縦平面型モデルの頂点
ｒ，ｒ’…球体型モデルの半径
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】