特許第6355298号(P6355298)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

ホーム > 特許ランキング > 住友重機械工業株式会社

このエントリーをはてなブックマークに追加

知財求人 - 知財ポータルサイト「IP Force」

▶ 住友重機械工業株式会社の特許一覧

(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6355298
(24)【登録日】2018年6月22日
(45)【発行日】2018年7月11日
(54)【発明の名称】画像生成装置及びショベル
(51)【国際特許分類】
   H04N 7/18 20060101AFI20180702BHJP
   E02F 9/26 20060101ALI20180702BHJP
   B60R 1/00 20060101ALI20180702BHJP
【ＦＩ】
   H04N7/18 J
   E02F9/26 A
   B60R1/00 A
【請求項の数】7
【全頁数】43
(21)【出願番号】特願2013-114439(P2013-114439)
(22)【出願日】2013年5月30日
(65)【公開番号】特開2014-236232(P2014-236232A)
(43)【公開日】2014年12月15日
【審査請求日】2016年4月14日
(73)【特許権者】
【識別番号】000002107
【氏名又は名称】住友重機械工業株式会社
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(72)【発明者】
【氏名】相澤 晋
【審査官】 鈴木 隆夫
(56)【参考文献】
【文献】 特開２０１１−２２１８６５（ＪＰ，Ａ）
【文献】 特開２０１２−１０９７４１（ＪＰ，Ａ）
【文献】 特開２００７−１０９１６６（ＪＰ，Ａ）
【文献】 特開２００８−０４８３４５（ＪＰ，Ａ）
【文献】 特開２００９−１１８４１５（ＪＰ，Ａ）
【文献】 特開２００２−１２５２２４（ＪＰ，Ａ）
(58)【調査した分野】（Int.Cl.，ＤＢ名）
Ｈ０４Ｎ ７／１８
Ｂ６０Ｒ １／００
Ｅ０２Ｆ ９／２６
(57)【特許請求の範囲】
【請求項1】
撮像範囲が重複するように被操作体に取り付けられた２つのカメラが撮像した２つの入力画像に基づいて出力画像を生成する画像生成装置であって、
前記出力画像は、前記被操作体の画像と、前記２つのカメラの前記撮像範囲が重複する重複部分の画像とを含んで表示され、
前記重複部分の画像は、物体の消失を防止する消失防止処理が施された画像と、該消失防止処理が施されていない画像とを含み、
前記消失防止処理が施された画像は、前記被操作体の画像から外に向かう方向に沿って所定の幅を有するように表示される画像であり、
前記消失防止処理が施されていない画像は、前記消失防止処理が施された画像の前記幅の方向に隣接して表示される画像である、
画像生成装置。
【請求項2】
撮像範囲が重複するように被操作体に取り付けられた２つのカメラが撮像した２つの入力画像に基づいて出力画像を生成する画像生成装置であって、
前記出力画像は、前記２つのカメラの前記撮像範囲が重複する重複部分の画像を含んで表示され、
前記重複部分の画像は、物体の消失を防止する消失防止処理が施された画像と、該消失防止処理が施されていない画像とを含み、
前記出力画像は、入力画像を視点変換処理で所定の基準平面に投影することで生成され、
前記消失防止処理は、前記重複部分の画像のうち、前記基準平面より高い所定の第２基準平面を投影対象とした場合にも表示される部分には施されない、
画像生成装置。
【請求項3】
前記基準平面は、前記２つのカメラのそれぞれの入力画像を対応付け可能な第１重複出力部分を含む第１平面領域であり、
前記第２基準平面は、前記第１平面領域とは異なる所定の高さを有し、且つ、前記２つのカメラのそれぞれの入力画像を対応付け可能な第２重複出力部分を含む第２平面領域であり、
前記第２重複出力部分は、前記２つのカメラのうちの一方の入力画像を対応付ける第１カメラ対応部分と、前記２つのカメラのうちの他方の入力画像を対応付ける第２カメラ対応部分とで構成され、
前記出力画像は、前記第１重複出力部分のうち前記第１カメラ対応部分及び前記第２カメラ対応部分のそれぞれに対応する部分が前記消失防止処理の非適用範囲となるように生成される、
請求項２に記載の画像生成装置。
【請求項4】
撮像範囲が重複するように被操作体に取り付けられた２つのカメラが撮像した２つの入力画像に基づいて出力画像を生成する画像生成装置であって、
前記出力画像は、前記被操作体の画像と、前記２つのカメラの前記撮像範囲が重複する重複部分の画像とを含んで表示され、
前記重複部分の画像は、物体の消失を防止する消失防止処理が施された画像と、該消失防止処理が施されていない画像とを含み、
前記被操作体の画像から外に向かって延びる前記消失防止処理が適用される範囲の幅は、前記被操作体の画像から離れるにつれて一旦大きくなった後で小さくなる、
画像生成装置。
【請求項5】
前記消失防止処理は、櫛歯模様、格子模様若しくはストライプ模様といった所定の模様を用いる処理、又は、平均化処理である、
請求項１乃至４の何れか一項に記載の画像生成装置。
【請求項6】
走行体と、
前記走行体に旋回可能に搭載される旋回体と、を有するショベルであって、
撮像範囲が重複するように前記旋回体の上面の側端及び後端に取り付けられた２つのカメラが撮像した２つの入力画像に基づいて出力画像を生成し、
前記出力画像は、前記ショベルの画像と、前記２つのカメラの前記撮像範囲が重複する重複部分の画像とを含んで表示され、
前記重複部分の画像は、前記旋回体の斜め後ろの画像であり、物体の消失を防止する消失防止処理が施された画像と、該消失防止処理が施されていない画像とを含み、
前記消失防止処理が施された画像は、前記ショベルの画像から外に向かう方向に沿って所定の幅を有するように表示される画像であり、
前記消失防止処理が施されていない画像は、前記消失防止処理が施された画像の前記幅の方向に隣接して表示される画像である、
ショベル。
【請求項7】
走行体と、
前記走行体に旋回可能に搭載される旋回体と、を有するショベルであって、
撮像範囲が重複するように前記旋回体の上面の側端及び後端に取り付けられた２つのカメラが撮像した２つの入力画像に基づいて出力画像を生成し、
前記出力画像は、前記２つのカメラの前記撮像範囲が重複する重複部分の画像を含んで表示され、
前記重複部分の画像は、前記旋回体の斜め後ろの画像であり、物体の消失を防止する消失防止処理が施された画像と、該消失防止処理が施されていない画像とを含み、
前記出力画像は、前記入力画像を視点変換処理で所定の基準平面に投影することで生成され、
前記消失防止処理は、前記重複部分の画像のうち、前記基準平面より高い所定の第２基準平面を投影対象とした場合にも表示される部分には、施されない、
ショベル。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、被操作体に取り付けられた複数のカメラが撮像した複数の入力画像に基づいて出力画像を生成する画像生成装置及びショベルに関する。
【背景技術】
【0002】
従来、車両周辺を撮像する複数の車載カメラによって撮像された画像のそれぞれを鳥瞰図画像に変換し、それら鳥瞰図画像を繋ぎ合わせた出力画像を運転者に提示する運転支援システムが知られている（例えば、特許文献１参照。）。
【0003】
この運転支援システムは、二つのカメラの撮像範囲の重複領域に対応する重複領域画像を生成する際に、その重複領域画像を二つに分ける一本の複雑な形状の境界線である櫛歯状の境界線を設定し、二つのカメラのそれぞれが撮像した二つの鳥瞰図画像のそれぞれの部分領域が櫛歯状に交互に配置されるように二つの鳥瞰図画像を繋ぎ合わせるようにする。
【0004】
通常、その重複領域に存在する高さのある物体は、二つのカメラのそれぞれとその物体とを結ぶ線の延長方向に二方向に伸長して投影されるため、その重複領域を一本の直線で二つの領域に二分し、一方の領域を一方のカメラによる鳥瞰図画像に対応させ、他方の領域を他方のカメラによる鳥瞰図画像に対応させることによってその重複領域画像を生成すると、その重複領域画像から消失してしまう。
【0005】
その点、この運転支援システムは、上述の繋ぎ合わせにより、高さのある物体が重複領域画像から消失してしまうのを防止することができ、その物体を運転者が認識し易いものにすることができるとしている。
【0006】
また、本出願人は、上述のような櫛歯状の境界線を用いた画像により運転者に不自然さを感じさせてしまうのを防止するため、重複領域に存在する物体が出力画像から消失するのを防止しながらも、入力画像間の明るさの差が際立たないようにする出力画像を生成する画像生成装置を提案している（例えば、特許文献２参照。）。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】特開２００７−１０９１６６号公報
【特許文献2】特開２０１２−２５６２９５号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
しかしながら、特許文献１に記載の運転支援システムは、二つのカメラの撮像範囲の重複領域全体に対して上述のような物体の消失を防止する処理（以下、「消失防止処理」とする。）を施すようにする。そのため、二つのカメラの撮像範囲の重複が大きいほど櫛歯状の境界線が設定される範囲も大きくなり、その出力画像を見た運転者に不自然さを感じさせてしまう場合がある。また、特許文献２に記載の画像生成装置も、消失防止処理を施す範囲の調整については言及していない。
【0009】
上述の点に鑑み、本発明は、消失防止処理が施される範囲を適切に調整可能な画像生成装置及びショベルを提供することを目的とする。
【課題を解決するための手段】
【0010】
上述の目的を達成するために、本発明の実施例に係る画像生成装置は、撮像範囲が重複するように被操作体に取り付けられた２つのカメラが撮像した２つの入力画像に基づいて出力画像を生成する画像生成装置であって、前記出力画像は、前記被操作体の画像と、前記２つのカメラの前記撮像範囲が重複する重複部分の画像とを含んで表示され、前記重複部分の画像は、物体の消失を防止する消失防止処理が施された画像と、該消失防止処理が施されていない画像とを含み、前記消失防止処理が施された画像は、前記被操作体の画像から外に向かう方向に沿って所定の幅を有するように表示される画像であり、前記消失防止処理が施されていない画像は、前記消失防止処理が施された画像の前記幅の方向に隣接して表示される画像である。
【0011】
また、本発明の実施例に係るショベルは、走行体と、前記走行体に旋回可能に搭載される旋回体と、を有するショベルであって、撮像範囲が重複するように前記旋回体の上面の側端及び後端に取り付けられた２つのカメラが撮像した２つの入力画像に基づいて出力画像を生成し、前記出力画像は、前記ショベルの画像と、前記２つのカメラの前記撮像範囲が重複する重複部分の画像とを含んで表示され、前記重複部分の画像は、前記旋回体の斜め後ろの画像であり、物体の消失を防止する消失防止処理が施された画像と、該消失防止処理が施されていない画像とを含み、前記消失防止処理が施された画像は、前記ショベルの画像から外に向かう方向に沿って所定の幅を有するように表示される画像であり、前記消失防止処理が施されていない画像は、前記消失防止処理が施された画像の前記幅の方向に隣接して表示される画像である。

【発明の効果】
【0012】
上述の手段により、本発明は、消失防止処理が施される範囲を適切に調整可能な画像生成装置及びショベルを提供することができる。
【図面の簡単な説明】
【0013】
【図1】本発明に係る画像生成装置の構成例を概略的に示すブロック図である。
【図2】画像生成装置が搭載されるショベルの構成例を示す図である。
【図3】入力画像が投影される空間モデルの一例を示す図である。
【図4】空間モデルと処理対象画像平面との間の関係の一例を示す図である。
【図5】入力画像平面上の座標と空間モデル上の座標との対応付けを説明するための図である。
【図6】座標対応付け手段による座標間の対応付けを説明するための図である。
【図7】平行線群の作用を説明するための図である。
【図8】補助線群の作用を説明するための図である。
【図9】処理対象画像生成処理及び出力画像生成処理の流れを示すフローチャートである。
【図10】出力画像の表示例（その１）である。
【図11】出力画像の表示例（その２）である。
【図12】同色錯視を説明するための図である。
【図13】同色錯視をもたらす明暗パタンを生成する方法の一例を説明するための図である。
【図14】図１３の格子模様を出力画像平面上に配置した状態を示す図である。
【図15】格子模様形成処理の流れを示すフローチャートである。
【図16】図１１で示される出力画像と、図１１の出力画像に同色錯視をもたらす格子模様が適用された出力画像との違いを表す対比図である。
【図17】出力画像の表示例（その３）である。
【図18】二つのカメラのそれぞれの撮像範囲の重複領域における物体の消失防止効果を説明するための図である。
【図19】図１７で示される出力画像と、図１７の出力画像に同色錯視をもたらす格子模様が適用された出力画像との違いを表す対比図である。
【図20】消失防止処理が施された出力画像を示す図（その１）である。
【図21】ショベルの後方に存在する物体と出力画像の路面画像部分におけるその物体の投影像との関係を示す図である。
【図22】第１平面領域における重複出力部分と、第２平面領域における重複出力部分との関係を示す模式図である。
【図23】第２消失防止処理適用範囲調整処理の流れを示すフローチャートである。
【図24】消失防止処理要否判定処理の流れを示すフローチャートである。
【図25】境界線の設定方法の説明図である。
【図26】消失防止処理が施された出力画像を示す図（その２）である。
【図27】第３消失防止処理適用範囲調整処理の流れを示すフローチャートである。
【発明を実施するための形態】
【0014】
以下、図面を参照しつつ、本発明を実施するための最良の形態の説明を行う。
【0015】
図１は、本発明に係る画像生成装置の構成例１００を概略的に示すブロック図である。
【0016】
画像生成装置１００は、例えば、建設機械に搭載されたカメラ２が撮像した入力画像に基づいて出力画像を生成しその出力画像を運転者に提示する装置であって、制御部１、カメラ２、入力部３、記憶部４、及び表示部５で構成される。
【0017】
図２は、画像生成装置１００が搭載されるショベル６０の構成例を示す図であり、ショベル６０は、クローラ式の下部走行体６１の上に、旋回機構６２を介して、上部旋回体６３を旋回軸ＰＶの周りで旋回自在に搭載している。
【0018】
また、上部旋回体６３は、その前方左側部にキャブ（運転室）６４を備え、その前方中央部に掘削アタッチメントＥを備え、その右側面及び後面にカメラ２（右側方カメラ２Ｒ、後方カメラ２Ｂ）を備えている。なお、キャブ６４内の運転者が視認し易い位置には表示部５が設置されているものとする。
【0019】
次に、画像生成装置１００の各構成要素について説明する。
【0020】
制御部１は、ＣＰＵ（Central Processing Unit）、ＲＡＭ(Random Access Memory)、ＲＯＭ（Read Only Memory）、ＮＶＲＡＭ（Non-Volatile Random Access Memory）等を備えたコンピュータであって、例えば、後述する座標対応付け手段１０及び出力画像生成手段１１のそれぞれに対応するプログラムをＲＯＭやＮＶＲＡＭに記憶し、一時記憶領域としてＲＡＭを利用しながら各手段に対応する処理をＣＰＵに実行させる。
【0021】
カメラ２は、ショベル６０の周辺を映し出す入力画像を取得するための装置であり、例えば、キャブ６４にいる運転者の死角となる領域を撮像できるよう上部旋回体６３の右側面及び後面に取り付けられる（図２参照。）、ＣＣＤ(Charge Coupled Device)やＣＭＯＳ(Complementary Metal Oxide Semiconductor)等の撮像素子を備えた右側方カメラ２Ｒ及び後方カメラ２Ｂである。なお、カメラ２は、上部旋回体６３の右側面及び後面以外の位置（例えば、前面及び左側面である。）に取り付けられていてもよく、広い範囲を撮像できるよう広角レンズ又は魚眼レンズが装着されていてもよい。
【0022】
また、カメラ２は、制御部１からの制御信号に応じて入力画像を取得し、取得した入力画像を制御部１に対して出力する。なお、カメラ２は、魚眼レンズ又は広角レンズを用いて入力画像を取得した場合には、それらレンズを用いることによって生じる見掛け上の歪曲やアオリを補正した補正済みの入力画像を制御部１に対して出力するが、その見掛け上の歪曲やアオリを補正していない入力画像をそのまま制御部１に対して出力してもよい。その場合には、制御部１がその見掛け上の歪曲やアオリを補正することとなる。
【0023】
入力部３は、操作者が画像生成装置１００に対して各種情報を入力できるようにするための装置であり、例えば、タッチパネル、ボタンスイッチ、ポインティングデバイス、キーボード等である。
【0024】
記憶部４は、各種情報を記憶するための装置であり、例えば、ハードディスク、光学ディスク、又は半導体メモリ等である。
【0025】
表示部５は、画像情報を表示するための装置であり、例えば、建設機械のキャブ６４（図２参照。）内に設置された液晶ディスプレイ又はプロジェクタ等であって、制御部１が出力する各種画像を表示する。
【0026】
また、画像生成装置１００は、入力画像に基づいて処理対象画像を生成し、その処理対象画像に画像変換処理を施すことによって周辺障害物との位置関係や距離感を直感的に把握できるようにする出力画像を生成した上で、その出力画像を運転者に提示するようにしてもよい。
【0027】
「処理対象画像」は、入力画像に基づいて生成される、画像変換処理（例えば、スケール変換、アフィン変換、歪曲変換、視点変換処理等である。）の対象となる画像であり、例えば、地表を上方から撮像するカメラによる入力画像であってその広い画角により水平方向の画像（例えば、空の部分である。）を含む入力画像を画像変換処理で用いる場合に、その水平方向の画像が不自然に表示されないよう（例えば、空の部分が地表にあるものとして扱われないよう）その入力画像を所定の空間モデルに投影した上で、その空間モデルに投影された投影画像を別の二次元平面に再投影することによって得られる、画像変換処理に適した画像である。なお、処理対象画像は、画像変換処理を施すことなくそのまま出力画像として用いられてもよい。
【0028】
「空間モデル」は、少なくとも、処理対象画像が位置する平面である処理対象画像平面以外の平面又は曲面（例えば、処理対象画像平面に平行な平面、又は、処理対象画像平面との間で角度を形成する平面若しくは曲面である。）を含む、一又は複数の平面若しくは曲面で構成される、入力画像の投影対象である。
【0029】
なお、画像生成装置１００は、処理対象画像を生成することなく、その空間モデルに投影された投影画像に画像変換処理を施すことによって出力画像を生成するようにしてもよい。また、投影画像は、画像変換処理を施すことなくそのまま出力画像として用いられてもよい。
【0030】
図３は、入力画像が投影される空間モデルＭＤの一例を示す図であり、図３（Ａ）は、ショベル６０を側方から見たときのショベル６０と空間モデルＭＤとの間の関係を示し、図３（Ｂ）は、ショベル６０を上方から見たときのショベル６０と空間モデルＭＤとの間の関係を示す。
【0031】
図３で示されるように、空間モデルＭＤは、半円筒形状を有し、その底面内部の平面領域Ｒ１とその側面内部の曲面領域Ｒ２とを有する。
【0032】
また、図４は、空間モデルＭＤと処理対象画像平面との間の関係の一例を示す図であり、処理対象画像平面Ｒ３は、例えば、空間モデルＭＤの平面領域Ｒ１を含む平面である。なお、図４は、明確化のために、空間モデルＭＤを、図３で示すような半円筒形状ではなく、円筒形状で示しているが、空間モデルＭＤは、半円筒形状及び円筒形状の何れであってもよいものとする。以降の図においても同様である。また、処理対象画像平面Ｒ３は、上述のように、空間モデルＭＤの平面領域Ｒ１を含む円形領域であってもよく、空間モデルＭＤの平面領域Ｒ１を含まない環状領域であってもよい。
【0033】
次に、制御部１が有する各種手段について説明する。
【0034】
座標対応付け手段１０は、カメラ２が撮像した入力画像が位置する入力画像平面上の座標と、空間モデルＭＤ上の座標と、処理対象画像平面Ｒ３上の座標とを対応付けるための手段であり、例えば、予め設定された、或いは、入力部３を介して入力される、カメラ２の光学中心、焦点距離、ＣＣＤサイズ、光軸方向ベクトル、カメラ水平方向ベクトル、射影方式等のカメラ２に関する各種パラメータと、予め決定された、入力画像平面、空間モデルＭＤ、及び処理対象画像平面Ｒ３の相互の位置関係とに基づいて、入力画像平面上の座標と、空間モデルＭＤ上の座標と、処理対象画像平面Ｒ３上の座標とを対応付け、それらの対応関係を記憶部４の入力画像・空間モデル対応マップ４０及び空間モデル・処理対象画像対応マップ４１に記憶する。
【0035】
なお、座標対応付け手段１０は、処理対象画像を生成しない場合には、空間モデルＭＤ上の座標と処理対象画像平面Ｒ３上の座標との対応付け、及び、その対応関係の空間モデル・処理対象画像対応マップ４１への記憶を省略する。
【0036】
出力画像生成手段１１は、出力画像を生成するための手段であり、例えば、処理対象画像にスケール変換、アフィン変換、又は歪曲変換を施すことによって、処理対象画像平面Ｒ３上の座標と出力画像が位置する出力画像平面上の座標とを対応付け、その対応関係を記憶部４の処理対象画像・出力画像対応マップ４２に記憶し、座標対応付け手段１０がその値を記憶した入力画像・空間モデル対応マップ４０及び空間モデル・処理対象画像対応マップ４１を参照しながら、出力画像における各画素の値（例えば、輝度値、色相値、彩度値等である。）と入力画像における各画素の値とを関連付けて出力画像を生成する。
【0037】
また、出力画像生成手段１１は、予め設定された、或いは、入力部３を介して入力される、仮想カメラの光学中心、焦点距離、ＣＣＤサイズ、光軸方向ベクトル、カメラ水平方向ベクトル、射影方式等の各種パラメータに基づいて、処理対象画像平面Ｒ３上の座標と出力画像が位置する出力画像平面上の座標とを対応付け、その対応関係を記憶部４の処理対象画像・出力画像対応マップ４２に記憶し、座標対応付け手段１０がその値を記憶した入力画像・空間モデル対応マップ４０及び空間モデル・処理対象画像対応マップ４１を参照しながら、出力画像における各画素の値（例えば、輝度値、色相値、彩度値等である。）と入力画像における各画素の値とを関連付けて出力画像を生成する。
【0038】
なお、出力画像生成手段１１は、仮想カメラの概念を用いることなく、処理対象画像のスケールを変更して出力画像を生成するようにしてもよい。
【0039】
また、出力画像生成手段１１は、処理対象画像を生成しない場合には、施した画像変換処理に応じて空間モデルＭＤ上の座標と出力画像平面上の座標とを対応付け、入力画像・空間モデル対応マップ４０を参照しながら、出力画像における各画素の値（例えば、輝度値、色相値、彩度値等である。）と入力画像における各画素の値とを関連付けて出力画像を生成する。この場合、出力画像生成手段１１は、処理対象画像平面Ｒ３上の座標と出力画像平面上の座標との対応付け、及び、その対応関係の処理対象画像・出力画像対応マップ４２への記憶を省略する。
【0040】
次に、座標対応付け手段１０及び出力画像生成手段１１による具体的な処理の一例について説明する。
【0041】
座標対応付け手段１０は、例えば、ハミルトンの四元数を用いて、入力画像平面上の座標と空間モデル上の座標とを対応付けることができる。
【0042】
図５は、入力画像平面上の座標と空間モデル上の座標との対応付けを説明するための図であり、カメラ２の入力画像平面は、カメラ２の光学中心Ｃを原点とするＵＶＷ直交座標系における一平面として表され、空間モデルは、ＸＹＺ直交座標系における立体面として表されるものとする。
【0043】
最初に、座標対応付け手段１０は、空間モデル上の座標（ＸＹＺ座標系上の座標）を入力画像平面上の座標（ＵＶＷ座標系上の座標）に変換するため、ＸＹＺ座標系の原点を光学中心Ｃ（ＵＶＷ座標系の原点）に並行移動させた上で、Ｘ軸をＵ軸に、Ｙ軸をＶ軸に、Ｚ軸を−Ｗ軸（符号「−」は方向が逆であることを意味する。これは、ＵＶＷ座標系がカメラ前方を＋Ｗ方向とし、ＸＹＺ座標系が鉛直下方を−Ｚ方向としていることに起因する。）にそれぞれ一致させるようＸＹＺ座標系を回転させる。
【0044】
なお、カメラ２が複数存在する場合、カメラ２のそれぞれが個別のＵＶＷ座標系を有することとなるので、座標対応付け手段１０は、複数のＵＶＷ座標系のそれぞれに対して、ＸＹＺ座標系を並行移動させ且つ回転させることとなる。
【0045】
上述の変換は、カメラ２の光学中心ＣがＸＹＺ座標系の原点となるようにＸＹＺ座標系を並行移動させた後に、Ｚ軸が−Ｗ軸に一致するよう回転させ、更に、Ｘ軸がＵ軸に一致するよう回転させることによって実現されるので、座標対応付け手段１０は、この変換をハミルトンの四元数で記述することにより、それら二回の回転を一回の回転演算に纏めることができる。
【0046】
ところで、あるベクトルＡを別のベクトルＢに一致させるための回転は、ベクトルＡとベクトルＢとが張る面の法線を軸としてベクトルＡとベクトルＢとが形成する角度だけ回転させる処理に相当し、その角度をθとすると、ベクトルＡとベクトルＢとの内積から、角度θは、
【0047】
【数1】
で表されることとなる。
【0048】
また、ベクトルＡとベクトルＢとが張る面の法線の単位ベクトルＮは、ベクトルＡとベクトルＢとの外積から
【0049】
【数2】
で表されることとなる。
【0050】
なお、四元数は、ｉ、ｊ、ｋをそれぞれ虚数単位とした場合、
【0051】
【数3】
を満たす超複素数であり、本実施例において、四元数Ｑは、実成分をｔ、純虚成分をａ、ｂ、ｃとして、
【0052】
【数4】
で表されるものとし、四元数Ｑの共役四元数は、
【0053】
【数5】
で表されるものとする。
【0054】
四元数Ｑは、実成分ｔを０（ゼロ）としながら、純虚成分ａ、ｂ、ｃで三次元ベクトル（ａ，ｂ，ｃ）を表現することができ、また、ｔ、ａ、ｂ、ｃの各成分により任意のベクトルを軸とした回転動作を表現することもできる。
【0055】
更に、四元数Ｑは、連続する複数回の回転動作を統合して一回の回転動作として表現することができ、例えば、任意の点Ｓ（ｓｘ，ｓｙ，ｓｚ）を、任意の単位ベクトルＣ（ｌ，ｍ，ｎ）を軸としながら角度θだけ回転させたときの点Ｄ（ｅｘ，ｅｙ，ｅｚ）を以下のように表現することができる。
【0056】
【数6】
ここで、本実施例において、Ｚ軸を−Ｗ軸に一致させる回転を表す四元数をＱｚとすると、ＸＹＺ座標系におけるＸ軸上の点Ｘは、点Ｘ'に移動させられるので、点Ｘ'は、
【0057】
【数7】
で表されることとなる。
【0058】
また、本実施例において、Ｘ軸上にある点Ｘ'と原点とを結ぶ線をＵ軸に一致させる回転を表す四元数をＱｘとすると、「Ｚ軸を−Ｗ軸に一致させ、更に、Ｘ軸をＵ軸に一致させる回転」を表す四元数Ｒは、
【0059】
【数8】
で表されることとなる。
【0060】
以上により、空間モデル（ＸＹＺ座標系）上の任意の座標Ｐを入力画像平面（ＵＶＷ座標系）上の座標で表現したときの座標Ｐ'は、
【0061】
【数9】
で表されることとなり、四元数Ｒがカメラ２のそれぞれで不変であることから、座標対応付け手段１０は、以後、この演算を実行するだけで空間モデル（ＸＹＺ座標系）上の座標を入力画像平面（ＵＶＷ座標系）上の座標に変換することができる。
【0062】
空間モデル（ＸＹＺ座標系）上の座標を入力画像平面（ＵＶＷ座標系）上の座標に変換した後、座標対応付け手段１０は、カメラ２の光学中心Ｃ（ＵＶＷ座標系上の座標）と空間モデル上の任意の座標ＰをＵＶＷ座標系で表した座標Ｐ'とを結ぶ線分ＣＰ'と、カメラ２の光軸Ｇとが形成する入射角αを算出する。
【0063】
また、座標対応付け手段１０は、カメラ２の入力画像平面Ｒ４（例えば、ＣＣＤ面）に平行で且つ座標Ｐ'を含む平面Ｈにおける、平面Ｈと光軸Ｇとの交点Ｅと座標Ｐ'とを結ぶ線分ＥＰ'と、平面ＨにおけるＵ'軸とが形成する偏角φ、及び線分ＥＰ'の長さを算出する。
【0064】
カメラの光学系は、通常、像高さｈが入射角α及び焦点距離ｆの関数となっているので、座標対応付け手段１０は、通常射影（ｈ＝ｆｔａｎα）、正射影（ｈ＝ｆｓｉｎα）、立体射影（ｈ＝２ｆｔａｎ（α／２））、等立体角射影（ｈ＝２ｆｓｉｎ（α／２））、等距離射影（ｈ＝ｆα）等の適切な射影方式を選択して像高さｈを算出する。
【0065】
その後、座標対応付け手段１０は、算出した像高さｈを偏角φによりＵＶ座標系上のＵ成分及びＶ成分に分解し、入力画像平面Ｒ４の一画素当たりの画素サイズに相当する数値で除算することにより、空間モデルＭＤ上の座標Ｐ（Ｐ'）と入力画像平面Ｒ４上の座標とを対応付けることができる。
【0066】
なお、入力画像平面Ｒ４のＵ軸方向における一画素当たりの画素サイズをａＵとし、入力画像平面Ｒ４のＶ軸方向における一画素当たりの画素サイズをａＶとすると、空間モデルＭＤ上の座標Ｐ（Ｐ'）に対応する入力画像平面Ｒ４上の座標（ｕ，ｖ）は、
【0067】
【数10】
【0068】
【数11】
で表されることとなる。
【0069】
このようにして、座標対応付け手段１０は、空間モデルＭＤ上の座標と、カメラ毎に存在する一又は複数の入力画像平面Ｒ４上の座標とを対応付け、空間モデルＭＤ上の座標、カメラ識別子、及び入力画像平面Ｒ４上の座標を関連付けて入力画像・空間モデル対応マップ４０に記憶する。
【0070】
また、座標対応付け手段１０は、四元数を用いて座標の変換を演算するので、オイラー角を用いて座標の変換を演算する場合と異なり、ジンバルロックを発生させることがないという利点を有する。しかしながら、座標対応付け手段１０は、四元数を用いて座標の変換を演算するものに限定されることはなく、オイラー角を用いて座標の変換を演算するようにしてもよい。
【0071】
なお、複数の入力画像平面Ｒ４上の座標への対応付けが可能な場合、座標対応付け手段１０は、空間モデルＭＤ上の座標Ｐ（Ｐ'）を、その入射角αが最も小さいカメラに関する入力画像平面Ｒ４上の座標に対応付けるようにしてもよく、操作者が選択した入力画像平面Ｒ４上の座標に対応付けるようにしてもよい。
【0072】
次に、空間モデルＭＤ上の座標のうち、曲面領域Ｒ２上の座標（Ｚ軸方向の成分を持つ座標）を、ＸＹ平面上にある処理対象画像平面Ｒ３に再投影する処理について説明する。
【0073】
図６は、座標対応付け手段１０による座標間の対応付けを説明するための図であり、図６（Ａ）は、一例として通常射影（ｈ＝ｆｔａｎα）を採用するカメラ２の入力画像平面Ｒ４上の座標と空間モデルＭＤ上の座標との間の対応関係を示す図であって、座標対応付け手段１０は、カメラ２の入力画像平面Ｒ４上の座標とその座標に対応する空間モデルＭＤ上の座標とを結ぶ線分のそれぞれがカメラ２の光学中心Ｃを通過するようにして、両座標を対応付ける。
【0074】
図６（Ａ）の例では、座標対応付け手段１０は、カメラ２の入力画像平面Ｒ４上の座標Ｋ１を空間モデルＭＤの平面領域Ｒ１上の座標Ｌ１に対応付け、カメラ２の入力画像平面Ｒ４上の座標Ｋ２を空間モデルＭＤの曲面領域Ｒ２上の座標Ｌ２に対応付ける。このとき、線分Ｋ１−Ｌ１及び線分Ｋ２−Ｌ２は共にカメラ２の光学中心Ｃを通過する。
【0075】
なお、カメラ２が通常射影以外の射影方式（例えば、正射影、立体射影、等立体角射影、等距離射影等である。）を採用する場合、座標対応付け手段１０は、それぞれの射影方式に応じて、カメラ２の入力画像平面Ｒ４上の座標Ｋ１、Ｋ２を空間モデルＭＤ上の座標Ｌ１、Ｌ２に対応付けるようにする。
【0076】
具体的には、座標対応付け手段１０は、所定の関数（例えば、正射影（ｈ＝ｆｓｉｎα）、立体射影（ｈ＝２ｆｔａｎ（α／２））、等立体角射影（ｈ＝２ｆｓｉｎ（α／２））、等距離射影（ｈ＝ｆα）等である。）に基づいて、入力画像平面上の座標と空間モデルＭＤ上の座標とを対応付ける。この場合、線分Ｋ１−Ｌ１及び線分Ｋ２−Ｌ２がカメラ２の光学中心Ｃを通過することはない。
【0077】
図６（Ｂ）は、空間モデルＭＤの曲面領域Ｒ２上の座標と処理対象画像平面Ｒ３上の座標との間の対応関係を示す図であり、座標対応付け手段１０は、ＸＺ平面上に位置する平行線群ＰＬであって、処理対象画像平面Ｒ３との間で角度βを形成する平行線群ＰＬを導入し、空間モデルＭＤの曲面領域Ｒ２上の座標とその座標に対応する処理対象画像平面Ｒ３上の座標とが共に平行線群ＰＬのうちの一つに乗るようにして、両座標を対応付ける。
【0078】
図６（Ｂ）の例では、座標対応付け手段１０は、空間モデルＭＤの曲面領域Ｒ２上の座標Ｌ２と処理対象画像平面Ｒ３上の座標Ｍ２とが共通の平行線に乗るとして、両座標を対応付けるようにする。
【0079】
なお、座標対応付け手段１０は、空間モデルＭＤの平面領域Ｒ１上の座標を曲面領域Ｒ２上の座標と同様に平行線群ＰＬを用いて処理対象画像平面Ｒ３上の座標に対応付けることが可能であるが、図６（Ｂ）の例では、平面領域Ｒ１と処理対象画像平面Ｒ３とが共通の平面となっているので、空間モデルＭＤの平面領域Ｒ１上の座標Ｌ１と処理対象画像平面Ｒ３上の座標Ｍ１とは同じ座標値を有するものとなっている。
【0080】
このようにして、座標対応付け手段１０は、空間モデルＭＤ上の座標と、処理対象画像平面Ｒ３上の座標とを対応付け、空間モデルＭＤ上の座標及び処理対象画像平面Ｒ３上の座標を関連付けて空間モデル・処理対象画像対応マップ４１に記憶する。
【0081】
図６（Ｃ）は、処理対象画像平面Ｒ３上の座標と一例として通常射影（ｈ＝ｆｔａｎα）を採用する仮想カメラ２Ｖの出力画像平面Ｒ５上の座標との間の対応関係を示す図であり、出力画像生成手段１１は、仮想カメラ２Ｖの出力画像平面Ｒ５上の座標とその座標に対応する処理対象画像平面Ｒ３上の座標とを結ぶ線分のそれぞれが仮想カメラ２Ｖの光学中心ＣＶを通過するようにして、両座標を対応付ける。
【0082】
図６（Ｃ）の例では、出力画像生成手段１１は、仮想カメラ２Ｖの出力画像平面Ｒ５上の座標Ｎ１を処理対象画像平面Ｒ３（空間モデルＭＤの平面領域Ｒ１）上の座標Ｍ１に対応付け、仮想カメラ２Ｖの出力画像平面Ｒ５上の座標Ｎ２を処理対象画像平面Ｒ３上の座標Ｍ２に対応付ける。このとき、線分Ｍ１−Ｎ１及び線分Ｍ２−Ｎ２は共に仮想カメラ２Ｖの光学中心ＣＶを通過する。
【0083】
なお、仮想カメラ２Ｖが通常射影以外の射影方式（例えば、正射影、立体射影、等立体角射影、等距離射影等である。）を採用する場合、出力画像生成手段１１は、それぞれの射影方式に応じて、仮想カメラ２Ｖの出力画像平面Ｒ５上の座標Ｎ１、Ｎ２を処理対象画像平面Ｒ３上の座標Ｍ１、Ｍ２に対応付けるようにする。
【0084】
具体的には、出力画像生成手段１１は、所定の関数（例えば、正射影（ｈ＝ｆｓｉｎα）、立体射影（ｈ＝２ｆｔａｎ（α／２））、等立体角射影（ｈ＝２ｆｓｉｎ（α／２））、等距離射影（ｈ＝ｆα）等である。）に基づいて、出力画像平面Ｒ５上の座標と処理対象画像平面Ｒ３上の座標とを対応付ける。この場合、線分Ｍ１−Ｎ１及び線分Ｍ２−Ｎ２が仮想カメラ２Ｖの光学中心ＣＶを通過することはない。
【0085】
このようにして、出力画像生成手段１１は、出力画像平面Ｒ５上の座標と、処理対象画像平面Ｒ３上の座標とを対応付け、出力画像平面Ｒ５上の座標及び処理対象画像平面Ｒ３上の座標を関連付けて処理対象画像・出力画像対応マップ４２に記憶し、座標対応付け手段１０が記憶した入力画像・空間モデル対応マップ４０及び空間モデル・処理対象画像対応マップ４１を参照しながら、出力画像における各画素の値と入力画像における各画素の値とを関連付けて出力画像を生成する。
【0086】
なお、図６（Ｄ）は、図６（Ａ）〜図６（Ｃ）を組み合わせた図であり、カメラ２、仮想カメラ２Ｖ、空間モデルＭＤの平面領域Ｒ１及び曲面領域Ｒ２、並びに、処理対象画像平面Ｒ３の相互の位置関係を示す。
【0087】
次に、図７を参照しながら、空間モデルＭＤ上の座標と処理対象画像平面Ｒ３上の座標とを対応付けるために座標対応付け手段１０が導入する平行線群ＰＬの作用について説明する。
【0088】
図７（Ａ）は、ＸＺ平面上に位置する平行線群ＰＬと処理対象画像平面Ｒ３との間で角度βが形成される場合の図であり、図７（Ｂ）は、ＸＺ平面上に位置する平行線群ＰＬと処理対象画像平面Ｒ３との間で角度β１（β１＞β）が形成される場合の図である。また、図７（Ａ）及び図７（Ｂ）における空間モデルＭＤの曲面領域Ｒ２上の座標Ｌａ〜Ｌｄのそれぞれは、処理対象画像平面Ｒ３上の座標Ｍａ〜Ｍｄのそれぞれに対応するものとし、図７（Ａ）における座標Ｌａ〜Ｌｄのそれぞれの間隔は、図７（Ｂ）における座標Ｌａ〜Ｌｄのそれぞれの間隔と等しいものとする。なお、平行線群ＰＬは、説明目的のためにＸＺ平面上に存在するものとしているが、実際には、Ｚ軸上の全ての点から処理対象画像平面Ｒ３に向かって放射状に延びるように存在するものとする。なお、この場合のＺ軸を「再投影軸」と称することとする。
【0089】
図７（Ａ）及び図７（Ｂ）で示されるように、処理対象画像平面Ｒ３上の座標Ｍａ〜Ｍｄのそれぞれの間隔は、平行線群ＰＬと処理対象画像平面Ｒ３との間の角度が増大するにつれて線形的に減少する（空間モデルＭＤの曲面領域Ｒ２と座標Ｍａ〜Ｍｄのそれぞれとの間の距離とは関係なく一様に減少する。）。一方で、空間モデルＭＤの平面領域Ｒ１上の座標群は、図７の例では、処理対象画像平面Ｒ３上の座標群への変換が行われないので、座標群の間隔が変化することはない。
【0090】
これら座標群の間隔の変化は、出力画像平面Ｒ５（図６参照。）上の画像部分のうち、空間モデルＭＤの曲面領域Ｒ２に投影された画像に対応する画像部分のみが線形的に拡大或いは縮小されることを意味する。
【0091】
次に、図８を参照しながら、空間モデルＭＤ上の座標と処理対象画像平面Ｒ３上の座標とを対応付けるために座標対応付け手段１０が導入する平行線群ＰＬの代替例について説明する。
【0092】
図８（Ａ）は、ＸＺ平面上に位置する補助線群ＡＬの全てがＺ軸上の始点Ｔ１から処理対象画像平面Ｒ３に向かって延びる場合の図であり、図８（Ｂ）は、補助線群ＡＬの全てがＺ軸上の始点Ｔ２（Ｔ２＞Ｔ１）から処理対象画像平面Ｒ３に向かって延びる場合の図である。また、図８（Ａ）及び図８（Ｂ）における空間モデルＭＤの曲面領域Ｒ２上の座標Ｌａ〜Ｌｄのそれぞれは、処理対象画像平面Ｒ３上の座標Ｍａ〜Ｍｄのそれぞれに対応するものとし（図８（Ａ）の例では、座標Ｍｃ、Ｍｄは、処理対象画像平面Ｒ３の領域外となるため図示されていない。）、図８（Ａ）における座標Ｌａ〜Ｌｄのそれぞれの間隔は、図８（Ｂ）における座標Ｌａ〜Ｌｄのそれぞれの間隔と等しいものとする。なお、補助線群ＡＬは、説明目的のためにＸＺ平面上に存在するものとしているが、実際には、Ｚ軸上の任意の一点から処理対象画像平面Ｒ３に向かって放射状に延びるように存在するものとする。なお、図７と同様、この場合のＺ軸を「再投影軸」と称することとする。
【0093】
図８（Ａ）及び図８（Ｂ）で示されるように、処理対象画像平面Ｒ３上の座標Ｍａ〜Ｍｄのそれぞれの間隔は、補助線群ＡＬの始点と原点Ｏとの間の距離（高さ）が増大するにつれて非線形的に減少する（空間モデルＭＤの曲面領域Ｒ２と座標Ｍａ〜Ｍｄのそれぞれとの間の距離が大きいほど、それぞれの間隔の減少幅が大きくなる。）。一方で、空間モデルＭＤの平面領域Ｒ１上の座標群は、図８の例では、処理対象画像平面Ｒ３上の座標群への変換が行われないので、座標群の間隔が変化することはない。
【0094】
これら座標群の間隔の変化は、平行線群ＰＬのときと同様、出力画像平面Ｒ５（図６参照。）上の画像部分のうち、空間モデルＭＤの曲面領域Ｒ２に投影された画像に対応する画像部分のみが非線形的に拡大或いは縮小されることを意味する。
【0095】
このようにして、画像生成装置１００は、空間モデルＭＤの平面領域Ｒ１に投影された画像に対応する出力画像の画像部分（例えば、路面画像である。）に影響を与えることなく、空間モデルＭＤの曲面領域Ｒ２に投影された画像に対応する出力画像の画像部分（例えば、水平画像である。）を線形的に或いは非線形的に拡大或いは縮小させることができるので、ショベル６０の近傍の路面画像（ショベル６０を真上から見たときの仮想画像）に影響を与えることなく、ショベル６０の周囲に位置する物体（ショベル６０から水平方向に周囲を見たときの画像における物体）を迅速且つ柔軟に拡大或いは縮小させることができ、ショベル６０の死角領域の視認性を向上させることができる。
【0096】
次に、図９を参照しながら、画像生成装置１００が処理対象画像を生成する処理（以下、「処理対象画像生成処理」とする。）、及び、生成した処理対象画像を用いて出力画像を生成する処理（以下、「出力画像生成処理」とする。）について説明する。なお、図９は、処理対象画像生成処理（ステップＳ１〜ステップＳ３）及び出力画像生成処理（ステップＳ４〜ステップＳ６）の流れを示すフローチャートである。また、カメラ２（入力画像平面Ｒ４）、空間モデル（平面領域Ｒ１及び曲面領域Ｒ２）、並びに、処理対象画像平面Ｒ３の配置は予め決定されているものとする。
【0097】
最初に、制御部１は、座標対応付け手段１０により、処理対象画像平面Ｒ３上の座標と空間モデルＭＤ上の座標とを対応付ける（ステップＳ１）。
【0098】
具体的には、座標対応付け手段１０は、平行線群ＰＬと処理対象画像平面Ｒ３との間に形成される角度を取得し、処理対象画像平面Ｒ３上の一座標から延びる平行線群ＰＬの一つが空間モデルＭＤの曲面領域Ｒ２と交差する点を算出し、算出した点に対応する曲面領域Ｒ２上の座標を、処理対象画像平面Ｒ３上のその一座標に対応する曲面領域Ｒ２上の一座標として導き出し、その対応関係を空間モデル・処理対象画像対応マップ４１に記憶する。なお、平行線群ＰＬと処理対象画像平面Ｒ３との間に形成される角度は、記憶部４等に予め記憶された値であってもよく、入力部３を介して操作者が動的に入力する値であってもよい。
【0099】
また、座標対応付け手段１０は、処理対象画像平面Ｒ３上の一座標が空間モデルＭＤの平面領域Ｒ１上の一座標と一致する場合には、平面領域Ｒ１上のその一座標を、処理対象画像平面Ｒ３上のその一座標に対応する一座標として導き出し、その対応関係を空間モデル・処理対象画像対応マップ４１に記憶する。
【0100】
その後、制御部１は、座標対応付け手段１０により、上述の処理によって導き出された空間モデルＭＤ上の一座標と入力画像平面Ｒ４上の座標とを対応付ける（ステップＳ２）。
【0101】
具体的には、座標対応付け手段１０は、通常射影（ｈ＝ｆｔａｎα）を採用するカメラ２の光学中心Ｃの座標を取得し、空間モデルＭＤ上の一座標から延びる線分であり、光学中心Ｃを通過する線分が入力画像平面Ｒ４と交差する点を算出し、算出した点に対応する入力画像平面Ｒ４上の座標を、空間モデルＭＤ上のその一座標に対応する入力画像平面Ｒ４上の一座標として導き出し、その対応関係を入力画像・空間モデル対応マップ４０に記憶する。
【0102】
その後、制御部１は、処理対象画像平面Ｒ３上の全ての座標を空間モデルＭＤ上の座標及び入力画像平面Ｒ４上の座標に対応付けたか否かを判定し（ステップＳ３）、未だ全ての座標を対応付けていないと判定した場合には（ステップＳ３のＮＯ）、ステップＳ１及びステップＳ２の処理を繰り返すようにする。
【0103】
一方、制御部１は、全ての座標を対応付けたと判定した場合には（ステップＳ３のＹＥＳ）、処理対象画像生成処理を終了させた上で出力画像生成処理を開始させ、出力画像生成手段１１により、処理対象画像平面Ｒ３上の座標と出力画像平面Ｒ５上の座標とを対応付ける（ステップＳ４）。
【0104】
具体的には、出力画像生成手段１１は、処理対象画像にスケール変換、アフィン変換、又は歪曲変換を施すことによって出力画像を生成し、施したスケール変換、アフィン変換、又は歪曲変換の内容によって定まる、処理対象画像平面Ｒ３上の座標と出力画像平面Ｒ５上の座標との間の対応関係を処理対象画像・出力画像対応マップ４２に記憶する。
【0105】
或いは、出力画像生成手段１１は、仮想カメラ２Ｖを用いて出力画像を生成する場合には、採用した射影方式に応じて処理対象画像平面Ｒ３上の座標から出力画像平面Ｒ５上の座標を算出し、その対応関係を処理対象画像・出力画像対応マップ４２に記憶するようにしてもよい。
【0106】
或いは、出力画像生成手段１１は、通常射影（ｈ＝ｆｔａｎα）を採用する仮想カメラ２Ｖを用いて出力画像を生成する場合には、その仮想カメラ２Ｖの光学中心ＣＶの座標を取得した上で、出力画像平面Ｒ５上の一座標から延びる線分であり、光学中心ＣＶを通過する線分が処理対象画像平面Ｒ３と交差する点を算出し、算出した点に対応する処理対象画像平面Ｒ３上の座標を、出力画像平面Ｒ５上のその一座標に対応する処理対象画像平面Ｒ３上の一座標として導き出し、その対応関係を処理対象画像・出力画像対応マップ４２に記憶するようにしてもよい。
【0107】
その後、制御部１は、出力画像生成手段１１により、入力画像・空間モデル対応マップ４０、空間モデル・処理対象画像対応マップ４１、及び処理対象画像・出力画像対応マップ４２を参照しながら入力画像平面Ｒ４上の座標と空間モデルＭＤ上の座標との対応関係、空間モデルＭＤ上の座標と処理対象画像平面Ｒ３上の座標との対応関係、及び処理対象画像平面Ｒ３上の座標と出力画像平面Ｒ５上の座標との対応関係を辿り、出力画像平面Ｒ５上の各座標に対応する入力画像平面Ｒ４上の座標が有する値（例えば、輝度値、色相値、彩度値等である。）を取得し、その取得した値を、対応する出力画像平面Ｒ５上の各座標の値として採用する（ステップＳ５）。なお、出力画像平面Ｒ５上の一座標に対して複数の入力画像平面Ｒ４上の複数の座標が対応する場合、出力画像生成手段１１は、それら複数の入力画像平面Ｒ４上の複数の座標のそれぞれの値に基づく統計値（例えば、平均値、最大値、最小値、中間値等である。）を導き出し、出力画像平面Ｒ５上のその一座標の値としてその統計値を採用するようにしてもよい。
【0108】
その後、制御部１は、出力画像平面Ｒ５上の全ての座標の値を入力画像平面Ｒ４上の座標の値に対応付けたか否かを判定し（ステップＳ６）、未だ全ての座標の値を対応付けていないと判定した場合には（ステップＳ６のＮＯ）、ステップＳ４及びステップＳ５の処理を繰り返すようにする。
【0109】
一方、制御部１は、全ての座標の値を対応付けたと判定した場合には（ステップＳ６のＹＥＳ）、出力画像を生成して、この一連の処理を終了させる。
【0110】
なお、画像生成装置１００は、処理対象画像を生成しない場合には、処理対象画像生成処理を省略し、出力画像生成処理におけるステップＳ４の"処理対象画像平面上の座標"を"空間モデル上の座標"で読み替えるものとする。
【0111】
以上の構成により、画像生成装置１００は、建設機械と周辺障害物との位置関係を操作者に直感的に把握させることが可能な処理対象画像及び出力画像を生成することができる。
【0112】
また、画像生成装置１００は、処理対象画像平面Ｒ３から空間モデルＭＤを経て入力画像平面Ｒ４に遡るように座標の対応付けを実行することにより、処理対象画像平面Ｒ３上の各座標を入力画像平面Ｒ４上の一又は複数の座標に確実に対応させることができ、入力画像平面Ｒ４から空間モデルＭＤを経て処理対象画像平面Ｒ３に至る順番で座標の対応付けを実行する場合と比べ（この場合には、入力画像平面Ｒ４上の各座標を処理対象画像平面Ｒ３上の一又は複数の座標に確実に対応させることができるが、処理対象画像平面Ｒ３上の座標の一部が、入力画像平面Ｒ４上の何れの座標にも対応付けられない場合があり、その場合にはそれら処理対象画像平面Ｒ３上の座標の一部に補間処理等を施す必要がある。）、より良質な処理対象画像を迅速に生成することができる。
【0113】
また、画像生成装置１００は、空間モデルＭＤの曲面領域Ｒ２に対応する画像のみを拡大或いは縮小する場合には、平行線群ＰＬと処理対象画像平面Ｒ３との間に形成される角度を変更して空間モデル・処理対象画像対応マップ４１における曲面領域Ｒ２に関連する部分のみを書き換えるだけで、入力画像・空間モデル対応マップ４０の内容を書き換えることなく、所望の拡大或いは縮小を実現させることができる。
【0114】
また、画像生成装置１００は、出力画像の見え方を変更する場合には、スケール変換、アフィン変換又は歪曲変換に関する各種パラメータの値を変更して処理対象画像・出力画像対応マップ４２を書き換えるだけで、入力画像・空間モデル対応マップ４０及び空間モデル・処理対象画像対応マップ４１の内容を書き換えることなく、所望の出力画像（スケール変換画像、アフィン変換画像又は歪曲変換画像）を生成することができる。
【0115】
同様に、画像生成装置１００は、出力画像の視点を変更する場合には、仮想カメラ２Ｖの各種パラメータの値を変更して処理対象画像・出力画像対応マップ４２を書き換えるだけで、入力画像・空間モデル対応マップ４０及び空間モデル・処理対象画像対応マップ４１の内容を書き換えることなく、所望の視点から見た出力画像（視点変換画像）を生成することができる。
【0116】
図１０は、ショベル６０に搭載された二台のカメラ２（右側方カメラ２Ｒ及び後方カメラ２Ｂ）の入力画像を用いて生成される出力画像を表示部５に表示させたときの表示例である。
【0117】
画像生成装置１００は、それら二台のカメラ２のそれぞれの入力画像を空間モデルＭＤの平面領域Ｒ１及び曲面領域Ｒ２上に投影した上で処理対象画像平面Ｒ３に再投影して処理対象画像を生成し、その生成した処理対象画像に画像変換処理（例えば、スケール変換、アフィン変換、歪曲変換、視点変換処理等である。）を施すことによって出力画像を生成して、ショベル６０の近傍を上空から見下ろした画像（平面領域Ｒ１における画像）と、ショベル６０から水平方向に周辺を見た画像（処理対象画像平面Ｒ３における画像）とを同時に表示している。
【0118】
なお、出力画像は、画像生成装置１００が処理対象画像を生成しない場合には、空間モデルＭＤに投影された画像に画像変換処理（例えば、視点変換処理である。）を施すことによって生成されるものとする。
【0119】
また、出力画像は、ショベル６０が旋回動作を行う際の画像を違和感なく表示できるよう、円形にトリミングされ、その円の中心ＣＴＲが空間モデルＭＤの円筒中心軸上で、且つ、ショベル６０の旋回軸ＰＶ上となるように生成されており、ショベル６０の旋回動作に応じてその中心ＣＴＲを軸に回転するように表示される。この場合、空間モデルＭＤの円筒中心軸は、再投影軸と一致するものであってもよく、一致しないものであってもよい。
【0120】
なお、空間モデルＭＤの半径は、例えば、５メートルであり、平行線群ＰＬが処理対象画像平面Ｒ３との間で形成する角度、又は、補助線群ＡＬの始点高さは、ショベル６０の旋回中心から掘削アタッチメントＥの最大到達距離（例えば１２メートルである。）だけ離れた位置に物体（例えば、作業員である。）が存在する場合にその物体が表示部５で十分大きく（例えば、７ミリメートル以上である。）表示されるように、設定され得る。
【0121】
更に、出力画像は、ショベル６０のＣＧ画像を、ショベル６０の前方が表示部５の画面上方と一致し、且つ、その旋回中心が中心ＣＴＲと一致するように配置するようにしてもよい。ショベル６０と出力画像に現れる物体との間の位置関係をより分かり易くするためである。なお、出力画像は、方位等の各種情報を含む額縁画像をその周囲に配置するようにしてもよい。
【0122】
次に、図１１〜図１６を参照しながら、画像生成装置１００が入力画像間の明るさ（輝度）の差を際立たせないようにする処理について説明する。
【0123】
図１１は、ショベル６０に搭載された三台のカメラ２（左側方カメラ２Ｌ、右側方カメラ２Ｒ、及び後方カメラ２Ｂ）のそれぞれの入力画像と、それら入力画像を用いて生成される出力画像とを示す図である。
【0124】
画像生成装置１００は、それら三台のカメラ２のそれぞれの入力画像を空間モデルＭＤの平面領域Ｒ１及び曲面領域Ｒ２上に投影した上で処理対象画像平面Ｒ３に再投影して処理対象画像を生成し、その生成した処理対象画像に画像変換処理（例えば、スケール変換、アフィン変換、歪曲変換、視点変換処理等である。）を施すことによって出力画像を生成して、ショベル６０の近傍を上空から見下ろした画像（平面領域Ｒ１における画像）と、ショベル６０から水平方向に周辺を見た画像（処理対象画像平面Ｒ３における画像）とを同時に表示している。
【0125】
図１１において、左側方カメラ２Ｌの入力画像及び後方カメラ２Ｂの入力画像はそれぞれ、ショベル６０の周囲における同じ場所を異なる角度から撮像した重複部分を含むが、それら重複部分はそれぞれ、各カメラに関する照明環境等の違いにより異なる明るさで撮像されており、その輝度が異なるものとなっている。右側方カメラ２Ｒの入力画像と後方カメラ２Ｂの入力画像との間の重複部分についても同様である。
【0126】
そのため、それら三つの入力画像に基づいて生成される出力画像は、その出力画像平面上の座標が複数の入力画像平面上の座標に対応付け可能な場合に、その出力画像平面上の座標が入射角の最も小さいカメラに関する入力画像平面上の座標に対応付けられるものとすると、同じ場所を撮像しているにもかかわらず、左側方カメラ２Ｌの入力画像に基づく出力画像上の領域と後方カメラ２Ｂの入力画像に基づく出力画像上の領域との間の境界（図の一点鎖線で囲まれる領域Ｒ６参照。）、及び、右側方カメラ２Ｒの入力画像に基づく出力画像上の領域と後方カメラ２Ｂの入力画像に基づく出力画像上の領域との間の境界（図の一点鎖線で囲まれる領域Ｒ７参照。）のところでその輝度が急激に変化することとなり、その出力画像を見た運転者に不自然さを感じさせてしまうこととなる。
【0127】
そこで、画像生成装置１００は、チェッカーシャドー錯視（同色錯視）による効果を利用して、入力画像間の輝度の差を際立たせないようにする。
【0128】
図１２は、同色錯視を説明するための図（Edward H. Adelson、"Checker shadow illusion"、１９９５年、インターネット＜URL: http://web.mit.edu/persci/people/adelson/checkershadow_illusion.html＞）であり、図１２（Ａ）は、同色錯視をもたらすために利用されるチェッカーパタン（格子模様）を示し、図１２（Ｂ）は、チェッカーパタン（格子模様）上の点Ｐ１〜点Ｐ３及び点Ｐ４〜点Ｐ６における輝度の推移を表すグラフを示す。
【0129】
図１２（Ａ）で示されるように、点Ｐ２を含む単位パタンの輝度よりも高い輝度を有する二つの単位パタン（点Ｐ１を含む単位パタン及び点Ｐ３を含む単位パタンである。）で挟まれたその点Ｐ２を含む単位パタンの輝度は、点Ｐ５を含む単位パタンの輝度よりも低い輝度を有する二つの単位パタン（点Ｐ４を含む単位パタン及び点Ｐ６を含む単位パタンである。）で挟まれたその点Ｐ５を含む単位パタンの輝度よりも低いように見える。
【0130】
しかしながら、この輝度の差は、それぞれの単位パタンが格子模様を形成していること、及び、点Ｐ４〜点Ｐ６を含む単位パタン群が物体ＯＢＪの影に入っていることを認識している観察者の錯視によるものであり、実際には、図１２（Ｂ）で示されるように、点Ｐ２を含む単位パタンの輝度は、点Ｐ５を含む単位パタンの輝度に等しいものとなっている。
【0131】
このように、その観察者は、点Ｐ１、点Ｐ３、及び点Ｐ５のそれぞれを含む単位パタンが同じ輝度を有し、点Ｐ２、点Ｐ４、及び点Ｐ６のそれぞれを含む単位パタンが同じ輝度を有するものと錯覚することとなる。
【0132】
図１３は、同色錯視をもたらす明暗パタンを生成する方法の一例を説明するための図であり、二つの波源（例えば、右側方カメラ２Ｒ及び後方カメラ２Ｂである。なお、右側方カメラ２Ｒが図の左側に示されているが、これは図の明瞭化のためであり、ここでは、図の右斜め上方が、ショベル６０の後方に対応するものとする。）から山（実線円）及び谷（破線円）を形成しながら拡がって互いに干渉する二つの波を示す。
【0133】
また、図１３において、二つの扇形領域２Ｒａ、２Ｂａはそれぞれ、右側方カメラ２Ｒの撮像範囲、及び、後方カメラ２Ｂの撮像範囲を示し、太い実線で表される腹線ＡＮＬは、二つの波が互いに強め合う点を連ねた線を示し、太い破線で表される節線ＮＬは、二つの波が互いに弱め合う点を連ねた線を示す。なお、腹線ＡＮＬ及び節線ＮＬは、図１３で示されるように、交互に現れることとなる。
【0134】
また、図１３において、右側方カメラ２Ｒを波源として拡がる波の一つの谷が描く線（破線円）と、その一つの谷の次に発生する一つの山が描く線（実線円）と、後方カメラ２Ｂを波源として拡がる波の一つの谷が描く線（破線円）と、その一つの谷の次に発生する一つの山が描く線（実線円）とで定められる菱形状の領域のそれぞれは、単位パタン領域ＬＴを形成するものとする。
【0135】
図１３で示される複数の単位パタン領域ＬＴが出力画像平面上に描かれたものとし、単位パタン領域ＬＴのうちの腹線ＡＮＬが通過する（灰色で塗り潰される）単位パタン領域ＬＴ１に後方カメラ２Ｂの入力画像が対応付けられ、且つ、単位パタン領域ＬＴのうちの節線ＮＬが通過する（白色で塗り潰される）単位パタン領域ＬＴ２に右側方カメラ２Ｒの入力画像が対応付けられるものとすると、平均輝度がそれぞれ異なる二つの入力画像は、同色錯視をもたらす格子模様を形成することができることとなる。
【0136】
なお、単位パタン領域ＬＴのうちの腹線ＡＮＬが通過する（灰色で塗り潰される）単位パタン領域ＬＴ１に右側方カメラ２Ｒの入力画像が対応付けられ、且つ、単位パタン領域ＬＴのうちの節線ＮＬが通過する（白色で塗り潰される）単位パタン領域ＬＴ２に後方カメラ２Ｂの入力画像が対応付けられる場合も同様に、平均輝度がそれぞれ異なる二つの入力画像は、同色錯視をもたらす格子模様を形成することができることとなる。
【0137】
また、図１３の格子模様は、波長及び位相が等しい二つの波を用いて形成されるが、波長及び位相の一方又は双方が異なる二つの波を用いて形成されてもよい。単位パタン領域ＬＴ１、ＬＴ２のサイズや形状を柔軟に調整できるようにするためである。
【0138】
図１４は、図１３で示される格子模様を出力画像平面（平面領域Ｒ１）上に配置した状態を示し、ショベル６０のＣＧ画像の右後方（図の右下方向）にある、右側方カメラ２Ｒの撮像範囲と後方カメラ２Ｂの撮像範囲との重複領域に配置される格子模様と、ショベル６０のＣＧ画像の左後方（図の左下方向）にある、左側方カメラ２Ｌの撮像範囲と後方カメラ２Ｂの撮像範囲との重複領域に配置される格子模様とを示す。
【0139】
図１４において、右側方カメラ２Ｒの撮像範囲と後方カメラ２Ｂの撮像範囲との重複領域に配置される格子模様は、例えば、（灰色で塗り潰される）単位パタン領域ＬＴ１に右後方カメラ２Ｒの入力画像が対応付けられ、（白色で塗り潰される）単位パタン領域ＬＴ２に後方カメラ２Ｂの入力画像が対応付けられるものとする。
【0140】
また、左側方カメラ２Ｌの撮像範囲と後方カメラ２Ｂの撮像範囲との重複領域に配置される格子模様は、例えば、（灰色で塗り潰される）単位パタン領域ＬＴ３に左後方カメラ２Ｌの入力画像が対応付けられ、（白色で塗り潰される）単位パタン領域ＬＴ４に後方カメラ２Ｂの入力画像が対応付けられるものとする。
【0141】
図１５は、画像生成装置１００が、二つのカメラのそれぞれの撮像範囲の重複領域に対応する出力画像平面上の各座標に、それら二つのカメラの何れか一方の入力画像平面上の座標を対応付け、同色錯視をもたらす格子模様を形成する処理（以下、「格子模様形成処理」とする。）の流れを示すフローチャートである。
【0142】
画像生成装置１００の制御部１は、例えば、座標対応付け手段１０により、図９の処理対象画像生成処理のステップＳ２において、空間モデルＭＤの平面領域Ｒ１上の一座標と複数の入力画像平面上の座標との対応付けが可能な場合に、空間モデルＭＤの平面領域Ｒ１上の一座標と二つのカメラのそれぞれに対応する二つの入力画像平面のうちの一つにおける一座標とを対応付ける際に、この格子模様形成処理を実行するものとする。
【0143】
最初に、制御部１は、二つのカメラ（例えば、右側方カメラ２Ｒ及び後方カメラ２Ｂである。）の撮像範囲が重複する領域に対応する、空間モデルＭＤの平面領域Ｒ１上の一座標を取得する（ステップＳ１１）。
【0144】
次に、制御部１は、二つのカメラのそれぞれにおける光学中心の座標を取得する（ステップＳ１２）。
【0145】
次に、制御部１は、ステップＳ１１で取得した空間モデルＭＤにおける平面領域Ｒ１上の一座標に対応付けるカメラを選択する（ステップＳ１３）。
【0146】
具体的には、制御部１は、右側方カメラ２Ｒの光学中心の座標を（Ｘcam1、Ｙcam1）とし、後方カメラ２Ｂの光学中心の座標を（Ｘcam2、Ｙcam2）とし、対応付けの対象である空間モデルＭＤの平面領域Ｒ１上の一座標を（Ｘtarget、Ｙtarget）とすると、
【0147】
【数12】
で表される条件式が真である場合、その平面領域Ｒ１上の一座標に対応付けるカメラとして右側方カメラ２Ｒを選択し、上述の条件式が偽である場合、その平面領域Ｒ１上の一座標に対応付けるカメラとして後方カメラ２Ｒを選択する。
【0148】
なお、制御部１は、上述の条件式が真である場合に、その平面領域Ｒ１上の一座標に対応付けるカメラとして後方カメラ２Ｂを選択し、上述の条件式が偽である場合に、その平面領域Ｒ１上の一座標に対応付けるカメラとして右側方カメラ２Ｒを選択するようにしてもよい。
【0149】
なお、上述の条件式は、平面領域Ｒ１上の座標（Ｘtarget、Ｙtarget）が、図１４で示される単位パタン領域ＬＴ１に含まれるか、或いは、単位パタン領域ＬＴ２に含まれるかの判定式に相当する。
【0150】
また、本実施例において、制御部１は、光学中心の座標が二次元座標であり、波源から発生する波が平面波であるという前提で、平面領域Ｒ１上の一座標（二次元座標）と二つのカメラのそれぞれの光学中心の座標（平面領域Ｒ１を含む平面上に投影された二次元座標）との間の二次元距離に基づいてカメラを選択するが、光学中心の座標を（高さ情報を含む）三次元座標とし、波源から発生する波を球面波としながら、平面領域Ｒ１上の一座標（三次元座標）と二つのカメラのそれぞれの光学中心の座標（三次元座標）との間の三次元距離に基づいてカメラを選択するようにしてもよい。
【0151】
また、本実施例において、制御部１は、二つのカメラ（例えば、右側方カメラ２Ｒ及び後方カメラ２Ｂである。）の撮像範囲が重複する領域に対応する、空間モデルＭＤの平面領域Ｒ１上の一座標に対応付けるカメラを選択しているが、二つのカメラの撮像範囲が重複する領域に対応する、処理対象画像平面Ｒ３上の一座標に対応付けるカメラを選択するようにしてもよい。
【0152】
この場合、制御部１は、処理対象画像平面Ｒ３上の一座標（二次元座標）と二つのカメラのそれぞれの光学中心の座標（処理対象画像平面Ｒ３を含む平面上に投影された二次元座標）との間の二次元距離に基づいてカメラを選択するようにしてもよく、処理対象画像平面Ｒ３上の一座標（三次元座標）と二つのカメラのそれぞれの光学中心の座標（三次元座標）との間の三次元距離に基づいてカメラを選択するようにしてもよい。なお、処理対象画像平面Ｒ３は、平面領域Ｒ１を含むものであってもよい。
【0153】
その後、制御部１は、座標対応付け手段１０により、選択したカメラの入力画像平面上の一座標と、空間モデルＭＤの平面領域Ｒ１上の一座標とを対応付け（ステップＳ１４）、空間モデルＭＤ上の座標、カメラ識別子、及び入力画像平面上の座標を関連付けて入力画像・空間モデル対応マップ４０に記憶する。
【0154】
その後、制御部１は、二つのカメラの撮像範囲が重複する領域に対応する、空間モデルＭＤの平面領域Ｒ１上の全ての座標を、二つのカメラのうちの一つの入力画像平面上の座標に対応付けたか否かを判定し（ステップＳ１５）、未だ全ての座標を対応付けていないと判定した場合には（ステップＳ１５のＮＯ）、ステップＳ１１〜ステップＳ１４の処理を繰り返すようにする。
【0155】
一方、制御部１は、全ての座標を対応付けたと判定した場合には（ステップＳ１５のＹＥＳ）、この格子模様形成処理を終了させる。
【0156】
なお、上述において、制御部１は、二つのカメラの撮像範囲が重複する領域に対応する、空間モデルＭＤの平面領域Ｒ１上の各座標、又は、処理対象画像平面Ｒ３上の各座標を、二つのカメラのうちの一つの入力画像平面上の座標に対応付けるようにするが、更に、二つのカメラの撮像範囲が重複する領域に対応する、空間モデルＭＤの曲面領域Ｒ２上の各座標を、二つのカメラのうちの一つの入力画像平面上の座標に対応付けるようにしてもよい。
【0157】
このように、制御部１は、上述のような条件式を用いて空間モデルＭＤ上の各座標を二つのカメラのうちの一つの入力画像平面上の座標に容易に対応付けることができ、適切な格子模様を生成することができる。
【0158】
図１６は、図１１で示される出力画像と、図１１の出力画像に同色錯視をもたらす格子模様が適用された出力画像との違いを表す対比図であり、図１６（Ａ）が図１１で示される出力画像を示し、図１６（Ｂ）が同色錯視をもたらす格子模様が適用された出力画像を示す。
【0159】
左側方カメラ２Ｌの入力画像に基づく出力画像上の領域と後方カメラ２Ｂの入力画像に基づく出力画像上の領域との間の境界を含む図１６（Ａ）の一点鎖線で囲まれた領域Ｒ６は、顕著な輝度の違いを提示しているが、左側方カメラ２Ｌの入力画像に基づく出力画像上の領域と後方カメラ２Ｂの入力画像に基づく出力画像上の領域とが格子模様となって混在する図１６（Ｂ）の一点鎖線で囲まれた領域Ｒ８は、その輝度の違いが目立たなくなっており、その領域Ｒ８を含む出力画像を見た運転者に不自然さを感じさせ難くしている。
【0160】
同様に、右側方カメラ２Ｒの入力画像に基づく出力画像上の領域と後方カメラ２Ｂの入力画像に基づく出力画像上の領域との間の境界を含む図１６（Ａ）の一点鎖線で囲まれた領域Ｒ７は、顕著な輝度の違いを提示しているが、右側方カメラ２Ｒの入力画像に基づく出力画像上の領域と後方カメラ２Ｂの入力画像に基づく出力画像上の領域とが格子模様となって混在する図１６（Ｂ）の一点鎖線で囲まれた領域Ｒ９は、その輝度の違いが目立たなくなっており、その領域Ｒ９を含む出力画像を見た運転者に不自然さを感じさせ難くしている。
【0161】
次に、図１７〜図１９を参照しながら、画像生成装置１００が、二つのカメラのそれぞれの撮像範囲の重複領域に対応する出力画像部分を生成する際にその出力画像部分にある物体が消失するのを防止する消失防止処理について説明する。
【0162】
図１７は、ショベル６０に搭載された三台のカメラ２（左側方カメラ２Ｌ、右側方カメラ２Ｒ、及び後方カメラ２Ｂ）のそれぞれの入力画像と、それら入力画像を用いて生成される出力画像とを示す図である。
【0163】
画像生成装置１００は、それら三台のカメラ２のそれぞれの入力画像平面上の座標を空間モデルＭＤの平面領域Ｒ１及び曲面領域Ｒ２上の座標に投影した上で処理対象画像平面Ｒ３に再投影して処理対象画像を生成し、その生成した処理対象画像に画像変換処理（例えば、スケール変換、アフィン変換、歪曲変換、視点変換処理等である。）を施すことによって出力画像を生成して、ショベル６０の近傍を上空から見下ろした画像（平面領域Ｒ１における画像）と、ショベル６０から水平方向に周辺を見た画像（処理対象画像平面Ｒ３における画像）とを表示している。
【0164】
図１７において、右側方カメラ２Ｒの入力画像、及び、後方カメラ２Ｂの入力画像はそれぞれ、右側方カメラ２Ｒの撮像範囲と後方カメラ２Ｂの撮像範囲との重複領域内に人物（右側方カメラ２Ｒの入力画像における二点鎖線で囲まれる領域Ｒ１０、及び、後方カメラ２Ｂの入力画像における二点鎖線で囲まれる領域Ｒ１１参照。）を捉えている。
【0165】
しかしながら、それら右側方カメラ２Ｒの入力画像、及び、後方カメラ２Ｂの入力画像に基づいて生成される出力画像は、その出力画像平面上の座標が入射角の最も小さいカメラに関する入力画像平面上の座標に対応付けられるものとすると、図１７で示されるように、その重複領域内の人物を消失させてしまうこととなる（出力画像内の一点鎖線で囲まれる領域Ｒ１２参照。）。
【0166】
そこで、画像生成装置１００は、同色錯視をもたらすために形成される格子模様を利用して、二つのカメラのそれぞれの撮像範囲の重複領域に対応する出力画像部分を生成する際にその出力画像部分にある物体が消失するのを防止するものとする。
【0167】
図１８は、二つのカメラのそれぞれの撮像範囲の重複領域における物体の消失防止効果を説明するための図であり、図１８（Ａ）は、図１３で示される同色錯視をもたらすための格子模様を形成するための波の図を示し、図１８（Ｂ）は、図１８（Ａ）の一部拡大図を示す。
【0168】
図１８（Ａ）において、破線で囲まれる投影像ＰＲＪ１は、後方カメラ２Ｂの入力画像における物体ＯＢＪ１の像が、路面画像を生成するための視点変換によって、その後方カメラ２Ｂとその物体ＯＢＪ１とを結ぶ線の延長方向に伸長されたもの（後方カメラ２Ｂの入力画像を用いてその出力画像部分における路面画像を生成した場合に表示される像である。）を表す。
【0169】
また、破線で囲まれる投影像ＰＲＪ２は、右後方カメラ２Ｒの入力画像における物体ＯＢＪ１の像が、路面画像を生成するための視点変換によって、その右側方カメラ２Ｒとその物体ＯＢＪ１とを結ぶ線の延長方向に伸長されたもの（右側方カメラ２Ｒの入力画像を用いてその出力画像部分における路面画像を生成した場合に表示される像である。）を表す。
【0170】
なお、投影像ＰＲＪ１及び投影像ＰＲＪ２は、最終的な出力画像上にそのままの状態で表示されることはなく、図１８（Ｂ）で示されるように、一部が切り欠かれた状態で表示されることとなる。
【0171】
また、図１８（Ａ）において、投影像ＰＲＪ１を表す破線領域のうち、灰色で塗り潰された部分は、腹線ＡＮＬが通過する単位パタン領域ＬＴ１（図１３参照。）との重なり部分を表し、その重なり部分に対応する出力画像上の各座標には後方カメラ２Ｂの入力画像平面上の座標（物体ＯＢＪ１の像を形成する領域内の座標）が対応付けられることを示す。
【0172】
一方、投影像ＰＲＪ１を表す破線領域のうち、白色で塗り潰された部分は、節線ＮＬが通過する単位パタン領域ＬＴ２（図１３参照。）との重なり部分を表し、その重なり部分に対応する出力画像上の各座標には右側方カメラ２Ｒの入力画像平面上の座標（物体ＯＢＪ１の像を形成しない領域内の座標）が対応付けられることを示す。
【0173】
なお、投影像ＰＲＪ１を表す破線領域のうち、灰色で塗り潰された部分に対応する出力画像上の各座標に、右側方カメラ２Ｒの入力画像平面上の座標（物体ＯＢＪ１の像を形成しない領域内の座標）が対応付けられ、投影像ＰＲＪ１を表す破線領域のうち、白色で塗り潰された部分に対応する出力画像上の各座標に、後方カメラ２Ｂの入力画像平面上の座標（物体ＯＢＪ１の像を形成する領域内の座標）が対応付けられるようにしてもよい。
【0174】
この場合、投影像ＰＲＪ１は、図１８（Ｂ）で示されるように、その伸長方向に直交する円（後方カメラ２Ｂの位置を波源とする波の山及び谷が描く円である。）の一部をその境界線として含む単位パタン領域ＬＴ２によって切り欠かれることとなるが、隣接する単位パタン領域ＬＴ１が互いに頂点を接触させているので繊切り状に分断され難く、単位パタン領域ＬＴ２のそれぞれがその伸長方向に直交する円の一部を含むため、その輪郭も認識され易いはっきりした状態で保存されることとなる。
【0175】
また、投影像ＰＲＪ１は、物体ＯＢＪ１の高さが高い程、カメラから遠ざかる方向により長く伸長され、且つ、カメラから遠ざかる程、より大きく拡大される傾向を有するが、単位パタン領域ＬＴ１及びＬＴ２は何れもカメラから遠ざかる程、その投影像ＰＲＪ１と同じ度合いで、より大きく拡大していくので、その切り欠き状態もほぼ均一に維持されることとなる。
【0176】
また、図１８（Ａ）において、投影像ＰＲＪ２を表す破線領域のうち、黒色で塗り潰された部分は、節線ＮＬが通過する単位パタン領域ＬＴ２（図１３参照。）との重なり部分を表し、その重なり部分に対応する出力画像上の各座標には右側方カメラ２Ｒの入力画像平面上の座標（物体ＯＢＪ１の像を形成する領域内の座標）が対応付けられることを示す。
【0177】
一方、投影像ＰＲＪ２を表す破線領域のうち、白色で塗り潰された部分は、腹線ＡＮＬが通過する単位パタン領域ＬＴ１（図１３参照。）との重なり部分を表し、その重なり部分に対応する出力画像上の各座標には後方カメラ２Ｂの入力画像平面上の座標（物体ＯＢＪ１の像を形成しない領域内の座標）が対応付けられることを示す。
【0178】
なお、投影像ＰＲＪ２を表す破線領域のうち、黒色で塗り潰された部分に対応する出力画像上の各座標に後方カメラ２Ｂの入力画像平面上の座標（物体ＯＢＪ１の像を形成しない領域内の座標）が対応付けられ、投影像ＰＲＪ２を表す破線領域のうち、白色で塗り潰された部分に対応する出力画像上の各座標に右側方カメラ２Ｒの入力画像平面上の座標（物体ＯＢＪ１の像を形成する領域内の座標）が対応付けられるようにしてもよい。
【0179】
この場合、投影像ＰＲＪ２は、投影像ＰＲＪ１と同様に、図１８（Ｂ）で示されるように、その伸長方向に直交する円（右側方カメラ２Ｒの位置を波源とする波の山及び谷が描く円である。）の一部をその境界線として含む単位パタン領域ＬＴ１によって切り欠かれることとなるが、隣接する単位パタン領域ＬＴ２が互いに頂点を接触させているので繊切り状に分断され難く、単位パタン領域ＬＴ１のそれぞれがその伸長方向に直交する円の一部を含むため、その輪郭も認識され易いはっきりした状態で保存されることとなる。
【0180】
また、投影像ＰＲＪ２は、投影像ＰＲＪ１と同様に、物体ＯＢＪ１の高さが高い程、カメラから遠ざかる方向により長く伸長され、且つ、カメラから遠ざかる程、より大きく拡大される傾向を有するが、単位パタン領域ＬＴ１及びＬＴ２は何れもカメラから遠ざかる程、その投影像ＰＲＪ２と同じ度合いで、より大きく拡大していくので、その切り欠き状態もほぼ均一に維持されることとなる。
【0181】
図１９は、図１７で示される出力画像と、図１７の出力画像に同色錯視をもたらす格子模様が適用された出力画像との違いを表す対比図であり、図１９（Ａ）が図１７で示される出力画像を示し、図１９（Ｂ）が同色錯視をもたらす格子模様が適用された出力画像を示す。
【0182】
右側方カメラ２Ｒの入力画像に基づく出力画像上の領域と後方カメラ２Ｂの入力画像に基づく出力画像上の領域との間の境界を含む図１９（Ａ）の一点鎖線で囲まれた領域Ｒ１３は、人物が消失した状態を提示しているが、右側方カメラ２Ｒの入力画像に基づく出力画像上の領域と後方カメラ２Ｂの入力画像に基づく出力画像上の領域とが格子模様となって混在する図１９（Ｂ）の一点鎖線で囲まれた領域Ｒ１４は、人物を消失させることなく、その人物を認識し易い状態で提示し、その領域Ｒ１４を含む出力画像を見た運転者にその人物の存在を確実に認識させることができるようにしている。
【0183】
以上の構成により、画像生成装置１００は、同色錯視をもたらすための格子模様を利用することにより、二つのカメラのそれぞれの撮像範囲の重複領域に対応する出力画像部分を生成する際にその出力画像部分にある物体が消失するのを防止することができ、二つの入力画像のそれぞれの部分領域が櫛歯状に交互に配置されるように二つの入力画像を繋ぎ合わせる場合に比べ、その一部が切り欠かれることとなるその物体の投影像を、運転者がより認識し易い状態で表示することができる。
【0184】
次に、図２０〜図２７を参照しながら、消失防止処理が適用される範囲（以下、「消失防止処理適用範囲」とする。）を調整する処理（以下、「消失防止処理適用範囲調整処理」とする。）について説明する。
【0185】
図２０上段は、消失防止処理が施された出力画像を示す図であり、破線で囲まれた領域Ｒ１５Ｌ、Ｒ１５Ｒは、重複領域に対応する出力画像部分（以下、「重複出力部分」とする。）を表す。具体的には、重複出力部分Ｒ１５Ｌは、左側方カメラ２Ｌ及び後方カメラ２Ｂの撮像範囲が重複する領域に対応し、重複出力部分Ｒ１５Ｒは、右側方カメラ２Ｒ及び後方カメラ２Ｂの撮像範囲が重複する領域に対応する。
【0186】
図２０上段に示すように、画像生成装置１００は、格子模様を利用した消失防止処理により、出力画像を生成する際にその重複出力部分にある物体が消失するのを防止する。
【0187】
しかしながら、画像生成装置１００は、重複出力部分の全体に消失防止処理を施すため、その重複出力部分が大きい場合には、出力画像の視認性を低下させてしまうおそれがある。例えば、図２０上段に示すように、画像生成装置１００は、消失防止処理適用範囲としての重複出力部分Ｒ１５Ｌ、Ｒ１５Ｒを、後方カメラ２Ｂの撮像範囲に対応する出力画像部分Ｒ１６に大きく張り出させてしまい、出力画像の視認性を低下させてしまうおそれがある。なお、消失防止処理適用範囲としての重複出力部分は、２つのカメラの撮像範囲の重複領域が大きいほど、すなわち、２つのカメラのそれぞれの光軸間の角度が小さいほど、大きくなる傾向を有する。
【0188】
そこで、画像生成装置１００は、以下で説明する方法により、物体が重複出力部分から消失してしまうのを防止しながらも、消失防止処理適用範囲をできるだけ小さくして出力画像の視認性の低下を防止する。
【0189】
ここで、図２０中段及び図２０下段を参照して、消失防止処理適用範囲調整処理の一例（以下、「第１消失防止処理適用範囲調整処理」とする。）について説明する。
【0190】
図２０中段及び図２０下段は、消失防止処理が施された出力画像を示す図であり、図２０上段に対応する。図２０中段に示すように、破線で囲まれた領域Ｒ１５Ｌａ、Ｒ１５Ｒａは調整後の消失防止処理適用範囲を表す。具体的には、消失防止処理適用範囲Ｒ１５Ｌａは、図２０上段の重複出力部分Ｒ１５Ｌから、上部旋回体６３の左側面を含む鉛直平面より右方にある領域Ｒ１７Ｌを除外した範囲に相当する。また、消失防止処理適用範囲Ｒ１５Ｒａは、図２０上段の重複出力部分Ｒ１５Ｒから、上部旋回体６３の右側面を含む鉛直平面より左方にある領域Ｒ１７Ｒを除外した範囲に相当する。なお、線分Ｌ１Ｌは、上部旋回体６３の左側面を含む鉛直平面の上面視を表し、線分Ｌ１Ｒは、上部旋回体６３の右側面を含む鉛直平面の上面視を表す。また、図２０下段は、線分Ｌ１Ｌ、Ｌ１Ｒ、領域Ｒ１７Ｌ、Ｒ１７Ｒの図示を省略した状態を示す。
【0191】
画像生成装置１００は、重複出力部分Ｒ１５Ｌから領域Ｒ１７Ｌを除外し、後方カメラ２Ｂの入力画像のみを領域Ｒ１７Ｌに対応付け、左側方カメラ２Ｌの入力画像を領域Ｒ１７Ｌに対応付けなかったとしても、重複領域に存在する物体を出力画像から消失させることはない。領域Ｒ１７Ｌに対応付けられる後方カメラ２Ｂの入力画像は、後方カメラ２Ｂの撮像範囲の中心に近い部分であるのに対し、領域Ｒ１７Ｌに対応付けられる左側方カメラ２Ｌの入力画像は、左側方カメラ２Ｌの撮像範囲の端部に近い部分であるためである。重複出力部分Ｒ１５Ｒについても同様である。
【0192】
このようにして、画像生成装置１００は、重複領域に存在する物体を出力画像から消失させることなく、消失防止処理適用範囲を小さくすることができる。その結果、画像生成装置１００は、消失防止処理を施すことによって出力画像の視認性が低下するのを防止することができる。
【0193】
ここで、図２１を参照して、消失防止処理適用範囲調整処理の別の一例（以下、「第２消失防止処理適用範囲調整処理」とする。）について説明する。なお、図２１は、ショベル６０の後方に存在する物体と出力画像の路面画像部分におけるその物体の投影像との関係を示す図である。また、図２１のＡ１、Ｂ１はショベル６０の上面図であり、図２１のＡ２、Ｂ２はショベル６０の側面図である。なお、Ａ１の上面図はＡ２の側面図に対応し、Ｂ１の上面図はＢ２の側面図に対応する。
【0194】
本実施例では、画像生成装置１００は、平面領域Ｒ１を有する空間モデルＭＤに関する性質を利用して、所定高さ未満の物体が出力画像から消失するのを防止しながら消失防止処理適用範囲を決定する。
【0195】
具体的には、画像生成装置１００は、路面からの高さが異なる２つの平面領域を利用する。２つの平面領域の一方（以下、「第１平面領域」とする。）は、出力画像を生成する際に用いられる空間モデルＭＤの平面領域Ｒ１であり、本実施例では、路面からの高さが０ｃｍの平面領域、すなわち、路面に等しい高さを有する平面領域である。また、２つの平面領域の他方（以下、「第２平面領域」とする。）は、第１平面領域とは異なる高さを有する平面領域Ｒ１ａであり、本実施例では、路面からの高さが人の頭の高さＨＴ（例えば、１６０ｃｍ）の平面領域Ｒ１ａである。
【0196】
図２１のＡ１、Ａ２は、ショベル６０の後方に存在する物体と平面領域Ｒ１に投影される投影像との関係を示し、図２１のＢ１、Ｂ２は、ショベル６０の後方に存在する物体と平面領域Ｒ１ａに投影される投影像との関係を示す。
【0197】
図２１のＡ１において、平面領域Ｒ１に投影される一点鎖線で示す投影像ＰＲＪａ１、ＰＲＪｂ１はそれぞれ、物体ＯＢＪａ、ＯＢＪｂの投影像であり、後方カメラ２Ｂの入力画像に基づく。また、平面領域Ｒ１に投影される点線で示す投影像ＰＲＪａ２、ＰＲＪｂ２はそれぞれ、物体ＯＢＪａ、ＯＢＪｂの投影像であり、左側方カメラ２Ｌの入力画像に基づく。
【0198】
また、点Ｐａ１は、投影像ＰＲＪａ１のうち後方カメラ２Ｂに最も近い点を表し、点Ｐａ２は、投影像ＰＲＪａ２のうち左側方カメラ２Ｌに最も近い点を表す。また、点Ｐｂ１は、投影像ＰＲＪｂ１のうち後方カメラ２Ｂに最も近い点を表し、点Ｐｂ２は、投影像ＰＲＪｂ２のうち左側方カメラ２Ｌに最も近い点を表す。また、Ａ１では、点Ｐａ１と点Ｐａ２とが同じ点（重複点）となり、点Ｐｂ１と点Ｐｂ２とが同じ点（重複点）となる。なお、Ａ２では、図の明瞭化のため、左側方カメラ２Ｌ、物体ＯＢＪｂ、投影像ＰＲＪａ２、ＰＲＪｂ１、ＰＲＪｂ２、及び点Ｐａ２、Ｐｂ１、Ｐｂ２の図示を省略する。
【0199】
また、Ａ１における線ＢＬは、左側方カメラ２Ｌに対する入射角と後方カメラ２Ｂに対する入射角とが等しくなる点の集合が形成する線である。すなわち、線ＢＬ上の任意の点と左側方カメラ２Ｌの光学中心とを結ぶ線分が左側方カメラ２Ｌの光軸との間に形成する角度（入射角）は、その任意の点と後方カメラ２Ｂの光学中心とを結ぶ線分が後方カメラ２Ｂの光軸との間に形成する角度（入射角）に等しい。また、Ａ１における破線領域Ｒ１５Ｌは、左側方カメラ２Ｌの撮像範囲と後方カメラ２Ｂの撮像範囲との重複領域に対応する平面領域Ｒ１上の重複出力部分を表す。
【0200】
同様に、図２１のＢ１において、高さＨＴの平面領域Ｒ１ａに投影される一点鎖線で示す投影像ＰＲＪａ１ｖ、ＰＲＪｂ１ｖはそれぞれ、物体ＯＢＪａ、ＯＢＪｂの投影像であり、後方カメラ２Ｂの入力画像に基づく。また、高さＨＴの平面領域Ｒ１ａに投影される点線で示す投影像ＰＲＪａ２ｖ、ＰＲＪｂ２ｖはそれぞれ、物体ＯＢＪａ、ＯＢＪｂの投影像であり、左側方カメラ２Ｌの入力画像に基づく。
【0201】
また、点Ｐａ１ｖは、投影像ＰＲＪａ１ｖのうち後方カメラ２Ｂに最も近い点を表し、点Ｐａ２ｖは、投影像ＰＲＪａ２ｖのうち左側方カメラ２Ｌに最も近い点を表す。また、点Ｐｂ１ｖは、投影像ＰＲＪｂ１ｖのうち後方カメラ２Ｂに最も近い点を表し、点Ｐｂ２ｖは、投影像ＰＲＪｂ２ｖのうち左側方カメラ２Ｌに最も近い点を表す。また、Ｂ１では、Ａ１の場合と異なり、点Ｐａ１ｖと点Ｐａ２ｖとが別々の点となり、点Ｐｂ１ｖと点Ｐｂ２ｖとが別々の点となる。なお、Ｂ２では、図の明瞭化のため、左側方カメラ２Ｌ、物体ＯＢＪｂ、投影像ＰＲＪａ２ｖ、ＰＲＪｂ１ｖ、ＰＲＪｂ２ｖ、及び点Ｐａ２ｖ、Ｐｂ１ｖ、Ｐｂ２ｖの図示を省略する。
【0202】
また、Ｂ１における線ＢＬｖは、Ａ１における線ＢＬと同様、左側方カメラ２Ｌに対する入射角と後方カメラ２Ｂに対する入射角とが等しくなる点の集合が形成する線である。また、Ｂ１における破線領域Ｒ１５Ｌｖは、左側方カメラ２Ｌの撮像範囲と後方カメラ２Ｂの撮像範囲との重複領域に対応する平面領域Ｒ１ａ上の重複出力部分を表す。
【0203】
図２１のＡ１、Ａ２に示すように、平面領域Ｒ１では、物体ＯＢＪａの投影像ＰＲＪａ１は、路面の高さにある部分の大きさ（点Ｐａ１における画像の大きさであり、例えば、人物の足下の画像の大きさである。）がショベル６０からの距離に見合う大きさとなる。すなわち、画像生成装置１００は、出力画像におけるショベル６０のＣＧ画像の大きさと投影像ＰＲＪａ１の点Ｐａ１付近における部分の大きさとの関係が、実際のショベル６０の大きさと実際の物体ＯＢＪａの大きさとの関係に等しくなるようにする。そして、画像生成装置１００は、出力画像におけるショベル６０のＣＧ画像と投影像ＰＲＪａ１の点Ｐａ１付近における部分との見かけ上の距離（それぞれの大きさから把握される距離）が、実際のショベル６０と実際の物体ＯＢＪａとの距離を表すようにする。また、投影像ＰＲＪａ１は、点Ｐａ１と後方カメラ２Ｂの光学中心とを結ぶ直線に沿ってショベル６０から離れるにつれて徐々に大きく表示される傾向を有する。同様に、物体ＯＢＪａの投影像ＰＲＪａ２は、路面の高さにある部分の大きさ（点Ｐａ２における画像の大きさであり、例えば、人物の足下の画像の大きさである。）がショベル６０からの距離に見合う大きさとなる。そして、投影像ＰＲＪａ２は、点Ｐａ２と後方カメラ２Ｂの光学中心とを結ぶ直線に沿ってショベル６０から離れるにつれて徐々に大きく表示される傾向を有する。そのため、投影像ＰＲＪａ１、ＰＲＪａ２は、同一点である点Ｐａ１、Ｐａ２から遠方に向けて異なる２方向にその大きさを拡大させながら伸びる傾向を有する。物体ＯＢＪｂの投影像ＰＲＪｂ１、ＰＲＪｂ２についても同様である。
【0204】
一方、図２１のＢ１、Ｂ２に示すように、平面領域Ｒ１ａでは、物体ＯＢＪａの投影像ＰＲＪａ１ｖは、高さＨＴにおける部分の大きさ（例えば、人物の頭部の画像の大きさである。）がショベル６０からの距離に見合う大きさとなる。すなわち、画像生成装置１００は、出力画像におけるショベル６０のＣＧ画像の大きさと投影像ＰＲＪａ１ｖの高さＨＴに対応する部分の大きさとの関係が、実際のショベル６０の大きさと実際の物体ＯＢＪａの大きさとの関係に等しくなるようにする。そして、画像生成装置１００は、出力画像におけるショベル６０のＣＧ画像と投影像ＰＲＪａ１の高さＨＴにおける部分との見かけ上の距離（それぞれの大きさから把握される距離）が、実際のショベル６０と実際の物体ＯＢＪａとの距離を表すようにする。また、投影像ＰＲＪａ１ｖは、投影像ＰＲＪａ１と同様、点Ｐａ１ｖと後方カメラ２Ｂの光学中心とを結ぶ直線に沿ってショベル６０から離れるにつれて徐々に大きく表示される傾向を有する。同様に、物体ＯＢＪａの投影像ＰＲＪａ２ｖは、高さＨＴにおける部分の大きさ（例えば、人物の頭部の画像の大きさである。）がショベル６０からの距離に見合う大きさとなる。そして、投影像ＰＲＪａ２は、投影像ＰＲＪａ２と同様、点Ｐａ２ｖと後方カメラ２Ｂの光学中心とを結ぶ直線に沿ってショベル６０から離れるにつれて徐々に大きく表示される傾向を有する。そのため、投影像ＰＲＪａ１ｖ、ＰＲＪａ２ｖは、別々の点である点Ｐａ１ｖ、Ｐａ２ｖから遠方に向けて異なる２方向にその大きさを拡大させながら伸び、高さＨＴにある物体ＯＢＪａの部分（例えば、頭部である。）のところで重なる傾向を有する。物体ＯＢＪｂの投影像ＰＲＪｂ１ｖ、ＰＲＪｂ２ｖについても同様である。
【0205】
また、図２１のＡ２、Ｂ２から分かるように、投影像ＰＲＪａ１、ＰＲＪａ２、ＰＲＪｂ１、ＰＲＪｂ２はそれぞれ、投影像ＰＲＪａ１ｖ、ＰＲＪａ２ｖ、ＰＲＪｂ１ｖ、ＰＲＪｂ２ｖと相似である。具体的には、投影像ＰＲＪａ１と投影像ＰＲＪａ１ｖは、後方カメラ２Ｂの位置を相似の中心として互いに相似であり、投影像ＰＲＪｂ１と投影像ＰＲＪｂ１ｖは、後方カメラ２Ｂの位置を相似の中心として互いに相似である。そして、後方カメラ２Ｂの高さをＨ１とすると、投影像ＰＲＪａ１と投影像ＰＲＪａ１ｖの長さの比、及び、投影像ＰＲＪｂ１と投影像ＰＲＪｂ１ｖの長さの比は何れもＨ１：（Ｈ１−ＨＴ）である。また、投影像ＰＲＪａ２と投影像ＰＲＪａ２ｖは、左側方カメラ２Ｌの位置を相似の中心として互いに相似であり、投影像ＰＲＪｂ２と投影像ＰＲＪｂ２ｖは、左側方カメラ２Ｌの位置を相似の中心として互いに相似である。そして、左側方カメラ２Ｌの高さをＨ２とすると、投影像ＰＲＪａ２と投影像ＰＲＪａ２ｖの長さの比、及び、投影像ＰＲＪｂ２と投影像ＰＲＪｂ２ｖの長さの比は何れもＨ２：（Ｈ２−ＨＴ）である。
【0206】
Ａ１において、線ＢＬより右側の領域に後方カメラ２Ｂの入力画像を投影し、線ＢＬより左側の領域に左側方カメラ２Ｌの入力画像を投影すると、物体ＯＢＪａの投影像ＰＲＪａ１は、左側方カメラ２Ｌの入力画像によって上書きされ、また、物体ＯＢＪａの投影像ＰＲＪａ２は、後方カメラ２Ｂの入力画像によって上書きされる。その結果、投影像ＰＲＪａ１、ＰＲＪａ２は、点Ｐａ１、Ｐａ２の周りの僅かな部分を残して消失する。一方、物体ＯＢＪｂの投影像ＰＲＪｂ２は、後方カメラ２Ｂの入力画像によって上書きされるが、物体ＯＢＪｂの投影像ＰＲＪｂ１は、左側方カメラ２Ｌの入力画像によって上書きされることがない。すなわち、物体ＯＢＪｂの投影像ＰＲＪｂ１は、線ＢＬより右側の領域に後方カメラ２Ｂの入力画像を投影し、線ＢＬより左側の領域に左側方カメラ２Ｌの入力画像を投影したとしても消失することがない。これは、高さＨＴ未満の物体の投影像の消失を防止しながらも消失防止処理を省略できることを意味する。すなわち、消失の防止を希望する最大高さＨＴが決定されれば消失防止処理適用範囲を決定できることを意味する。なお、本実施例では、「物体ＯＢＪａの投影像の消失」とは、消失防止処理後の出力画像における２つの投影像ＰＲＪａ１及びＰＲＪａ２による情報量（例えば、投影像ＰＲＪａ１及びＰＲＪａ２が映し出す物体ＯＢＪａの領域）が、２つの入力画像の何れか一方による情報量（例えば、２つの入力画像の何れか一方が映し出す物体ＯＢＪａの領域）よりも小さい状態を意味する。
【0207】
そこで、画像生成装置１００は、平面領域Ｒ１上の１つの座標に対応する平面領域Ｒ１ａ上の２つの座標の位置関係に基づいて、平面領域Ｒ１上の１つの座標に消失防止処理を施すか否かを決定する。
【0208】
具体的には、画像生成装置１００は、平面領域Ｒ１上の１つの重複点Ｐａ１（Ｐａ２）に対応する平面領域Ｒ１ａ上の２つの点Ｐａ１ｖ、Ｐａ２ｖを導き出す。より具体的には、画像生成装置１００は、平面領域Ｒ１における投影像ＰＲＪａ１、ＰＲＪａ２がそれぞれ、平面領域Ｒ１ａにおける投影像ＰＲＪａ１ｖ、ＰＲＪａ２ｖと相似である点に基づいて、平面領域Ｒ１ａ上の２つの点Ｐａ１ｖ、Ｐａ２ｖを導き出す。そして、画像生成装置１００は、それら２つの点Ｐａ１ｖ、Ｐａ２ｖが線ＢＬｖの右側又は左側の何れに存在するかを判定する。そして、画像生成装置１００は、それら２つの点Ｐａ１ｖ、Ｐａ２ｖの一方が線ＢＬｖの右側に存在し、他方が線ＢＬｖの左側に存在する場合に、平面領域Ｒ１上の１つの重複点Ｐａ１（Ｐａ２）に消失防止処理を施す。すなわち、画像生成装置１００は、平面領域Ｒ１上の１つの重複点Ｐａ１（Ｐａ２）に対応する平面領域Ｒ１ａ上の２つの点Ｐａ１ｖ、Ｐａ２ｖが線ＢＬｖの両側に跨って存在する場合に、平面領域Ｒ１上の１つの重複点Ｐａ１（Ｐａ２）に消失防止処理を施すようにする。
【0209】
図２１のＢ１では、点Ｐａ１ｖが線ＢＬｖの右側に存在し、点Ｐａ２ｖが線ＢＬｖの左側に存在するため、画像生成装置１００は、平面領域Ｒ１上の重複点Ｐａ１（Ｐａ２）に対して消失防止処理を施す。具体的には、画像生成装置１００は、図１５のステップＳ１３における処理を実行し、平面領域Ｒ１上の重複点Ｐａ１（Ｐａ２）に対応付けるカメラを選択する。
【0210】
同様に、画像生成装置１００は、平面領域Ｒ１上の１つの重複点Ｐｂ１（Ｐｂ２）に対応する平面領域Ｒ１ａ上の２つの点Ｐｂ１ｖ、Ｐｂ２ｖを導き出す。そして、画像生成装置１００は、それら２つの点Ｐｂ１ｖ、Ｐｂ２ｖが線ＢＬｖの右側又は左側の何れに存在するかを判定する。そして、画像生成装置１００は、それら２つの点Ｐｂ１ｖ、Ｐｂ２ｖの双方が線ＢＬｖの同じ側に存在する場合に、平面領域Ｒ１上の１つの点Ｐｂ１（Ｐｂ２）に対する消失防止処理を省略する。
【0211】
図２１のＢ１では、点Ｐｂ１ｖが線ＢＬｖの右側に存在し、点Ｐｂ２ｖも線ＢＬｖの右側に存在するため、画像生成装置１００は、平面領域Ｒ１上の１つの重複点Ｐｂ１（Ｐｂ２）に対する消失防止処理を省略する。具体的には、画像生成装置１００は、平面領域Ｒ１上の１つの重複点Ｐｂ１（Ｐｂ２）に対応付けるカメラとして、入射角が小さい方の後方カメラ２Ｂを選択する。
【0212】
次に、図２２を参照して、第１平面領域における重複出力部分と、第２平面領域における重複出力部分との関係について説明する。なお、図２２は、第１平面領域Ｒ１における重複出力部分Ｒ１５Ｌと、第２平面領域Ｒ１ａにおける重複出力部分Ｒ１５Ｌｖとの関係を示す模式図である。
【0213】
図２２に示すように、重複出力部分Ｒ１５Ｌは、消失防止処理を適用しないと判定される部分Ｒ１５Ｌ−１（右下がり斜線ハッチング部分）及び部分Ｒ１５Ｌ−２（左下がり斜線ハッチング部分）、並びに、消失防止処理を適用すると判定される部分Ｒ１５Ｌ−３（ドットハッチング部分）を含む。また、重複出力部分Ｒ１５Ｌｖは、線ＢＬｖの左側の部分Ｒ１５Ｌｖ−１（右下がり斜線ハッチング部分）、及び、線ＢＬｖの右側の部分Ｒ１５Ｌｖ−２（左下がり斜線ハッチング部分）を含む。また、部分Ｒ１５Ｌ−１と部分Ｒ１５Ｌｖ−１は、後方カメラ２Ｂの位置を相似の中心として互いに相似であり、部分Ｒ１５Ｌ−２と部分Ｒ１５Ｌｖ−２は、左側方カメラ２Ｌの位置を相似の中心として互いに相似である。なお、重複出力部分Ｒ１５Ｌｖには、重複出力部分Ｒ１５Ｌの部分Ｒ１５Ｌ−３に対応する部分が存在しない。
【0214】
そして、本実施例では、平面領域Ｒ１の部分Ｒ１５Ｌ−１内の１座標ＰＰ１は、平面領域Ｒ１ａの部分Ｒ１５Ｌｖ−１内の２座標ＰＰ１１、ＰＰ１２に対応する。具体的には、座標ＰＰ１と座標ＰＰ１１は、左側方カメラ２Ｌの位置を相似の中心として互いに相似の位置にあり、座標ＰＰ１と座標ＰＰ１２は、後方カメラ２Ｂの位置を相似の中心として互いに相似の位置にある。そして、２座標ＰＰ１１、ＰＰ１２は何れも線ＢＬｖの左側に存在する。そのため、平面領域Ｒ１の部分Ｒ１５Ｌ−１には消失防止処理が適用されない。なお、平面領域Ｒ１の部分Ｒ１５Ｌ−１内の１座標ＰＰ１は、左側方カメラ２Ｌの入力画像平面における１座標（図示せず。）、及び、後方カメラ２Ｂの入力画像平面における１座標（図示せず。）の双方に対応する。また、平面領域Ｒ１ａの部分Ｒ１５Ｌｖ−１内の２座標ＰＰ１１、ＰＰ１２はそれぞれ、平面領域Ｒ１の部分Ｒ１５Ｌ−１内の１座標ＰＰ１、左側方カメラ２Ｌの入力画像平面における１座標（図示せず。）、及び、後方カメラ２Ｂの入力画像平面における１座標（図示せず。）に対応する。
【0215】
同様に、平面領域Ｒ１の部分Ｒ１５Ｌ−２内の１座標ＰＰ２は、平面領域Ｒ１ａの部分Ｒ１５Ｌｖ−２内の２座標ＰＰ２１、ＰＰ２２に対応する。具体的には、座標ＰＰ２と座標ＰＰ２１は、左側方カメラ２Ｌの位置を相似の中心として互いに相似の位置にあり、座標ＰＰ２と座標ＰＰ２２は、後方カメラ２Ｂの位置を相似の中心として互いに相似の位置にある。そして、２座標ＰＰ２１、ＰＰ２２は何れも線ＢＬｖの右側に存在する。そのため、平面領域Ｒ１の部分Ｒ１５Ｌ−２には消失防止処理が適用されない。なお、平面領域Ｒ１の部分Ｒ１５Ｌ−２内の１座標ＰＰ２は、左側方カメラ２Ｌの入力画像平面における１座標（図示せず。）、及び、後方カメラ２Ｂの入力画像平面における１座標（図示せず。）の双方に対応する。また、平面領域Ｒ１ａの部分Ｒ１５Ｌｖ−２内の２座標ＰＰ２１、ＰＰ２２はそれぞれ、平面領域Ｒ１の部分Ｒ１５Ｌ−２内の１座標ＰＰ２、左側方カメラ２Ｌの入力画像平面における１座標（図示せず。）、及び、後方カメラ２Ｂの入力画像平面における１座標（図示せず。）に対応する。
【0216】
一方、平面領域Ｒ１の部分Ｒ１５Ｌ−３内の１座標ＰＰ３は、平面領域Ｒ１ａの部分Ｒ１５Ｌｖ−１内の１座標ＰＰ３１、及び、平面領域Ｒ１ａの部分Ｒ１５Ｌｖ−２内の１座標ＰＰ３２に対応する。具体的には、座標ＰＰ３と座標ＰＰ３１は、左側方カメラ２Ｌの位置を相似の中心として互いに相似の位置にあり、座標ＰＰ３と座標ＰＰ３２は、後方カメラ２Ｂの位置を相似の中心として互いに相似の位置にある。そして、座標ＰＰ３１は線ＢＬｖの左側に存在し、座標ＰＰ３２は線ＢＬｖの右側に存在する。そのため、平面領域Ｒ１の部分Ｒ１５Ｌ−３には消失防止処理が適用される。なお、平面領域Ｒ１の部分Ｒ１５Ｌ−３内の１座標ＰＰ３は、左側方カメラ２Ｌの入力画像平面における１座標（図示せず。）、及び、後方カメラ２Ｂの入力画像平面における１座標（図示せず。）の双方に対応する。また、平面領域Ｒ１ａの部分Ｒ１５Ｌｖ−１内の２座標ＰＰ３１、ＰＰ３２は、平面領域Ｒ１の部分Ｒ１５Ｌ−３内の１座標ＰＰ３、左側方カメラ２Ｌの入力画像平面における１座標（図示せず。）、及び、後方カメラ２Ｂの入力画像平面における１座標（図示せず。）に対応する。
【0217】
次に、図２３を参照して、第２消失防止処理適用範囲調整処理の流れについて説明する。なお、図２３は、第２消失防止処理適用範囲調整処理の流れを示すフローチャートである。画像生成装置１００は、例えば、平面領域Ｒ１上の全ての画素を順番に注目画素としながらこの第２消失防止処理適用範囲調整処理を実行する。
【0218】
最初に、画像生成装置１００は、注目画素に対応する画素が第１カメラの入力画像上に存在するか否かを判定する（ステップＳ２１）。本実施例では、画像生成装置１００は、入力画像・空間モデル対応マップ４０を参照し、平面領域Ｒ１上の一画素（注目画素）に対応する画素が左側方カメラ２Ｌの入力画像上に存在するか否かを判定する。
【0219】
その後、注目画素に対応する画素が第１カメラの入力画像上に存在すると判定した場合（ステップＳ２１のＹＥＳ）、画像生成装置１００は、その注目画素に対応する画素が第２カメラの入力画像上に存在するか否かを判定する（ステップＳ２２）。本実施例では、画像生成装置１００は、注目画素に対応する画素が左側方カメラ２Ｌの入力画像上に存在すると判定した場合、入力画像・空間モデル対応マップ４０を参照し、その注目画素に対応する画素が後方カメラ２Ｂの入力画像上に存在するか否かを判定する。
【0220】
その後、注目画素に対応する画素が第２カメラの入力画像平面上に存在すると判定した場合（ステップＳ２２のＹＥＳ）、画像生成装置１００は、後述の消失防止処理要否判定処理を実行する（ステップＳ２３）。本実施例では、画像生成装置１００は、注目画素に対応する画素が後方カメラ２Ｂ及び左側方カメラ２Ｌの双方の入力画像上に存在すると判定した場合に後述の消失防止処理要否判定処理を実行する。
【0221】
一方、注目画素に対応する画素が第２カメラの入力画像上に存在しないと判定した場合（ステップＳ２２のＮＯ）、画像生成装置１００は、第１カメラの入力画像上の画素を注目画素に対応付ける（ステップＳ２４）。本実施例では、画像生成装置１００は、注目画素に対応する画素が後方カメラ２Ｂの入力画像上に存在せず左側方カメラ２Ｌの入力画像上にのみ存在する場合、左側方カメラ２Ｌの入力画像上の画素を注目画素に対応付ける。
【0222】
また、画像生成装置１００は、注目画素に対応する画素が第１カメラの入力画像上に存在しないと判定した場合にも（ステップＳ２１のＮＯ）、その注目画素に対応する画素が第２カメラの入力画像平面上に存在するか否かを判定する（ステップＳ２５）。本実施例では、画像生成装置１００は、注目画素に対応する画素が左側方カメラ２Ｌの入力画像上に存在しないと判定した場合にも、その注目画素に対応する画素が後方カメラ２Ｂの入力画像上に存在するか否かを判定する。
【0223】
その後、注目画素に対応する画素が第２カメラの入力画像上に存在すると判定した場合（ステップＳ２５のＹＥＳ）、画像生成装置１００は、第２カメラの入力画像上の画素を注目画素に対応付ける（ステップＳ２６）。本実施例では、画像生成装置１００は、注目画素に対応する画素が左側方カメラ２Ｌの入力画像上に存在せず後方カメラ２Ｂの入力画像上にのみ存在する場合、後方カメラ２Ｂの入力画像上の画素を注目画素に対応付ける。
【0224】
一方、画像生成装置１００は、注目画素に対応する画素が第２カメラの入力画像上に存在しないと判定した場合（ステップＳ２５のＮＯ）、画像生成装置１００は、その注目画素を非表示画素に設定する（ステップＳ２７）。本実施例では、画像生成装置１００は、注目画素に対応する画素が後方カメラ２Ｂ及び左側方カメラ２Ｌの何れの入力画像上にも存在しない場合、その注目画素を非表示画素に設定する。例えば、画像生成装置１００は、注目画素の値を所定値（黒に相当する値）に設定する。
【0225】
次に、図２４を参照して、ステップＳ２３における消失防止処理要否判定処理について説明する。なお、図２４は、消失防止処理要否判定処理の流れを示すフローチャートである。
【0226】
最初に、画像生成装置１００は、第１平面領域上の注目画素の座標に対応する第２平面領域上の第１座標及び第２座標を導き出す（ステップＳ３１）。本実施例では、画像生成装置１００は、平面領域Ｒ１上の注目画素の座標（ＰＰ１、ＰＰ２、又はＰＰ３）に対応する平面領域Ｒ１ａ上の第１座標（ＰＰ１１、ＰＰ２１、又はＰＰ３１）及び第２座標（ＰＰ１２、ＰＰ２２、又はＰＰ３２）を導き出す（図２２参照。）。なお、注目画素の座標ＰＰ１、ＰＰ２、ＰＰ３と第１座標ＰＰ１１、ＰＰ２１、ＰＰ３１とは左側方カメラ２Ｌの位置を相似の中心として相似の位置にあり、また、注目画素の座標ＰＰ１、ＰＰ２、ＰＰ３と第２座標ＰＰ１２、ＰＰ２２、ＰＰ３２とは後方カメラ２Ｂの位置を相似の中心として相似の位置にある。また、ここでの説明は、左側方カメラ２Ｌ及び後方カメラ２Ｂの撮像範囲の重複領域に関連するが、右側方カメラ２Ｒ及び後方カメラ２Ｂの撮像範囲の重複領域についても同様に適用される。
【0227】
その後、画像生成装置１００は、第１座標が境界線の第１カメラ側にあるか否かを判定する（ステップＳ３２）。本実施例では、画像生成装置１００は、第１座標が境界線ＢＬｖ（図２２参照。）の左側方カメラ２Ｌ側にあるか否かを判定する。
【0228】
ここで、図２５を参照して、境界線ＢＬｖの設定方法の一例について説明する。なお、図２５は、ショベル６０の上面視であり、後方カメラ２Ｂの光軸を含む線分の平面領域Ｒ１ａへの投影像である線分２ＢＧ、左側方カメラ２Ｌの光軸を含む線分の平面領域Ｒ１ａへの投影像である線分２ＬＧ、及び、平面領域Ｒ１ａ上に設定される境界線ＢＬｖを示す。なお、画素ＰＰ０は、左側方カメラ２Ｌと後方カメラ２Ｂとを結ぶ線分の中点に対応する平面領域Ｒ１ａ上の座標である。
【0229】
画像生成装置１００は、線分２ＢＧと線分２ＬＧとの間に角度δが形成される場合、画素ＰＰ０を始点とし、且つ、角度δの角二等分線となるように境界線ＢＬｖを設定する。このようにして、画像生成装置１００は、カメラの設置条件に基づいて境界線ＢＬｖを事前に設定できる。なお、図示は省略するが、右側方カメラ２Ｒ及び後方カメラ２Ｂの撮像範囲の重複領域に関連する境界線も同様に設定される。
【0230】
ここで再び図２４を参照して消失防止処理要否判定処理の説明を続ける。
【0231】
第１座標が境界線の第１カメラ側にあると判定すると（ステップＳ３２のＹＥＳ）、画像生成装置１００は、第２座標が境界線の第２カメラ側にあるか否かを判定する（ステップＳ３３）。本実施例では、画像生成装置１００は、第１座標ＰＰ３１が境界線ＢＬｖの左側方カメラ２Ｌ側にあると判定すると、第２座標ＰＰ３２が境界線ＢＬｖの後方カメラ２Ｂ側にあるか否かを判定する。
【0232】
その後、第２座標が境界線の第２カメラ側にあると判定すると（ステップＳ３３のＹＥＳ）、画像生成装置１００は、消失防止処理が必要と判定し、例えば図１５のステップＳ１３における処理を実行してその注目画素に対応付けるカメラ（入力画像上の画素）を選択する（ステップＳ３４）。本実施例では、画像生成装置１００は、第１座標ＰＰ３１が境界線ＢＬｖの左側方カメラ２Ｌ側にあり、且つ、第２座標ＰＰ３２が境界線ＢＬｖの後方カメラ２Ｂ側にあると判定すると、座標ＰＰ３で表される注目画素に関しては消失防止処理が必要と判定してその注目画素に対応付けるカメラ（入力画像上の画素）を選択する。
【0233】
一方、第２座標が境界線の第２カメラ側にないと判定すると（ステップＳ３３のＮＯ）、画像生成装置１００は、消失防止処理が不要と判定し、第１カメラの入力画像上の画素を注目画素に対応付ける（ステップＳ３５）。本実施例では、画像生成装置１００は、第１座標ＰＰ１１が境界線ＢＬｖの左側方カメラ２Ｌ側にあるが、第２座標ＰＰ１２が境界線ＢＬｖの後方カメラ２Ｂ側にないと判定すると、座標ＰＰ１で表される注目画素に関しては消失防止処理が不要と判定する。すなわち、画像生成装置１００は、第１座標ＰＰ１１及び第２座標ＰＰ１２の双方が境界線ＢＬｖの左側方カメラ２Ｌ側にあると判定すると、座標ＰＰ１で表される注目画素に関しては消失防止処理が不要と判定し、左側方カメラ２Ｌの入力画像上の画素をその注目画素に対応付ける。
【0234】
また、第１座標が境界線の第１カメラ側にないと判定すると（ステップＳ３２のＮＯ）、画像生成装置１００は、第２座標が境界線の第２カメラ側にあるか否かを判定することなく消失防止処理が不要と判定し、第２カメラの入力画像平面の座標を注目画素に対応付ける（ステップＳ３６）。第１座標が境界線の第１カメラ側にない場合、第２座標が境界線の第１カメラ側にくることは幾何学的に起こり得ないためである。本実施例では、画像生成装置１００は、第１座標ＰＰ２１が境界線ＢＬｖの左側方カメラ２Ｌ側にないと判定すると、第２座標ＰＰ２２が境界線ＢＬｖの後方カメラ２Ｂ側にあるか否かを判定することなく座標ＰＰ２で表される注目画素に関しては消失防止処理が不要と判定し、後方カメラ２Ｂの入力画像平面の座標を注目画素ＰＰ２に対応付ける。第１座標ＰＰ２１が境界線ＢＬｖの左側方カメラ２Ｌ側にない場合、第２座標ＰＰ２２が境界線の左側方カメラ２Ｌ側にくることは幾何学的に起こり得ないためである。
【0235】
次に、図２６を参照しながら、消失防止処理適用範囲調整処理による効果について説明する。なお、図２６上段は、重複領域に対応する出力画像部分の全体に消失防止処理が施された場合の出力画像を示す図であり、図２０上段に相当する。また、図２６中段は、第１消失防止処理適用範囲調整処理が実行された場合の出力画像を示す図であり、図２０下段に相当する。また、図２６下段は、第２消失防止処理適用範囲調整処理が実行された場合の出力画像を示す図である。なお、図２６下段の破線で囲まれた領域Ｒ１５Ｌｂ、Ｒ１５Ｒｂは、第２消失防止処理適用範囲調整処理による調整が行われた後の消失防止処理適用範囲を表す。
【0236】
図２６における３つの出力画像の比較から分かるように、画像生成層１００は、第１消失防止処理適用範囲調整処理を実行することで、物体の高さにかかわらず、投影像の消失を防止しながら消失防止処理適用範囲を狭めることができる。また、画像生成層１００は、所定の高さＨＴを有する平面領域Ｒ１ａを用いて第２消失防止処理適用範囲調整処理を実行することで、所定の高さＨＴ未満の物体の投影像の消失を防止しながら消失防止処理適用範囲を狭めることができる。
【0237】
次に、図２７を参照して、消失防止処理適用範囲調整処理のさらに別の一例（以下、「第３消失防止処理適用範囲調整処理」とする。）について説明する。なお、図２７は、第３消失防止処理適用範囲調整処理の流れを示すフローチャートである。第３消失防止処理適用範囲調整処理は、消失防止処理適用範囲を予め決定する点で、出力画像における各画素の値と入力画像における各画素の値とを関連付けて出力画像を生成する際に画素毎に消失防止処理を適用するか否かを判定する第２消失防止処理適用範囲調整処理と相違する。
【0238】
最初に、画像生成装置１００は、第１平面領域の第１重複出力部分と第２平面領域の第２重複出力部分とを導き出す（ステップＳ４１）。本実施例では、画像生成装置１００は、入力画像・空間モデル対応マップ４０を参照し、第１平面領域の第１重複出力部分として、空間モデルＭＤにおける高さ０ｃｍの平面領域Ｒ１における重複出力部分Ｒ１５Ｌ、Ｒ１５Ｒを導き出す（図２０参照。）。また、画像生成装置１００は、第２平面領域の第２重複出力部分として、高さＨＴの平面領域Ｒ１ａにおける重複出力部分Ｒ１５Ｌｖ（図２１のＢ１参照。）、Ｒ１５Ｒｖ（図示せず。）を導き出す。
【0239】
その後、画像生成装置１００は、第２重複出力部分を第１カメラ対応部分と第２カメラ対応部分に分割する（ステップＳ４２）。本実施例では、画像生成装置１００は、平面領域Ｒ１ａの重複出力部分Ｒ１５Ｌｖを、第１カメラ対応部分としての部分Ｒ１５Ｌｖ−１と第２カメラ対応部分としての部分Ｒ１５Ｌｖ−２とに分割する（図２２参照。）。なお、部分Ｒ１５Ｌｖ−１内の座標は、入射角の最も小さいカメラが左側方カメラ２Ｌとなる条件を満たす座標であり、部分Ｒ１５Ｌｖ−１は、左側方カメラ２Ｌの入力画像が対応付けられる部分として設定される。また、部分Ｒ１５Ｌｖ−２内の座標は、入射角の最も小さいカメラが後方カメラ２Ｂとなる条件を満たす座標であり、部分Ｒ１５Ｌｖ−２は、後方カメラ２Ｂの入力画像が対応付けられる部分として設定される。但し、平面領域Ｒ１ａに関する処理は、消失防止処理の適用範囲を調整するための中間的な処理であるため、カメラ２の入力画像を平面領域Ｒ１ａに実際に対応付ける必要はない。また、画像生成装置１００は、重複出力部分Ｒ１５Ｌｖと同様に、平面領域Ｒ１ａの重複出力部分Ｒ１５Ｒｖを部分Ｒ１５Ｒｖ−１及び部分Ｒ１５Ｒｖ−２（何れも図示せず。）に分割する。
【0240】
その後、画像生成装置１００は、第１カメラ対応部分及び第２カメラ対応部分に基づいて第１重複出力部分における消失防止処理適用範囲及び消失防止処理非適用範囲を導き出す（ステップＳ４３）。本実施例では、画像生成装置１００は、平面領域Ｒ１ａにおける部分Ｒ１５Ｌｖ−１、Ｒ１５Ｌｖ−２のそれぞれに対応する平面領域Ｒ１における部分Ｒ１５Ｌ−１、Ｒ１５Ｌ−２を消失防止処理非適用範囲として導き出す（図２２参照。）。なお、部分Ｒ１５Ｌ−１と部分Ｒ１５Ｌｖ−１は、カメラ２Ｂの位置を相似の中心として互いに相似であり、部分Ｒ１５Ｌ−２と部分Ｒ１５Ｌｖ−２は、カメラ２Ｌの位置を相似の中心として互いに相似である。そして、画像生成装置１００は、重複出力部分Ｒ１５Ｌのうち、部分Ｒ１５Ｌ−１及び部分Ｒ１５Ｌ−２の何れにも含まれない部分Ｒ１５Ｌ−３を消失防止処理適用範囲として導き出す。また、画像生成装置１００は、平面領域Ｒ１における部分Ｒ１５Ｌ−１、Ｒ１５Ｌ−２と同様に、平面領域Ｒ１ａにおける部分Ｒ１５Ｒｖ−１、Ｒ１５Ｒｖ−２のそれぞれに対応する平面領域Ｒ１における部分Ｒ１５Ｒ−１、Ｒ１５Ｒ−２（何れも図示せず。）を消失防止処理非適用範囲として導き出す。そして、画像生成装置１００は、重複出力部分Ｒ１５Ｒのうち、部分Ｒ１５Ｒ−１及び部分Ｒ１５Ｒ−２の何れにも含まれない部分Ｒ１５Ｒ−３（図示せず。）を消失防止処理適用範囲として導き出す。
【0241】
このように、画像生成装置１００は、出力画像の生成を開始する前に、消失防止処理適用範囲を決定する。その上で、画像生成装置１００は、その消失防止処理適用範囲に含まれる各座標に対し、例えば図１５のステップＳ１３における処理を実行し、消失防止処理適用範囲に含まれる各座標に対応付けるカメラを選択する。
【0242】
なお、上述の実施例において、画像生成装置１００は、格子模様を利用して消失防止処理を実行するが、櫛歯模様、ストライプ模様等、格子模様以外の他の模様を利用して消失防止処理を実行してもよい。また、画像生成装置１００は、対応する２つの入力画像における点（画素）の画素値（例えば、輝度値、色度値等である。）の平均値を出力画像の画素値として用いる平均化処理を消失防止処理として実行してもよい。
【0243】
また、上述の実施例では、画像生成装置１００は、重複領域に含まれる限り、曲面領域Ｒ２に投影される画像に対しても消失防止処理を施すが、重複領域に含まれる場合であっても、曲面領域Ｒ２に投影される画像に対しては消失防止処理を省略してもよい。空間モデルＭＤ（平面領域Ｒ１）の外側に存在する物体は、出力画像平面上の座標が入射角の最も小さいカメラに関する入力画像平面上の座標に対応付けられたとしても、消失するおそれがないためである。
【0244】
また、画像生成装置１００は、平面領域Ｒ１上の１つの点に対応する平面領域Ｒ１ａ上の２つの点が線ＢＬｖの両側に跨って存在するか否かに応じて、平面領域Ｒ１上の１つの重複点に消失防止処理を施すか否かを判定する。しかしながら、本発明はこの構成に限定されるものではない。画像生成装置１００は、例えば、左側方カメラ２Ｌに対する入射角と後方カメラ２Ｂに対する入射角とが等しくなる点の集合が形成する線ＢＬｖの代わりに、平面領域Ｒ１ａにおける破線領域Ｒ１５Ｌｖを空間モデルＭＤの半径方向に二分する任意の線を用いてもよい。この場合、任意の線は、直線、曲線、又はそれらの組み合わせのいずれであってもよい。
【0245】
以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなしに上述した実施例に種々の変形及び置換を加えることができる。
【0246】
例えば、上述の実施例において、画像生成装置１００は、空間モデルとして円筒状の空間モデルＭＤを採用するが、多角柱等の他の柱状の形状を有する空間モデルを採用してもよく、底面及び側面の二面から構成される空間モデルを採用してもよく、或いは、側面のみを有する空間モデルを採用してもよい。
【0247】
また、画像生成装置１００は、バケット、アーム、ブーム、旋回機構等の可動部材を備えながら自走する建設機械にカメラと共に搭載され、周囲画像をその運転者に提示しながらその建設機械の移動及びそれら可動部材の操作を支援する操作支援システムに組み込まれているが、産業用機械若しくは固定式クレーン等のように可動部材を有するが自走はしない他の被操作体にカメラと共に搭載され、それら他の被操作体の操作を支援する操作支援システムに組み入れられてもよい。
【符号の説明】
【0248】
１・・・制御部 ２・・・カメラ ２Ｌ・・・左側方カメラ ２Ｒ・・右側方カメラ ２Ｂ・・後方カメラ ３・・・入力部 ４・・・記憶部 ５・・・表示部 １０・・・座標対応付け手段 １１・・・出力画像生成手段 ４０・・・入力画像・空間モデル対応マップ ４１・・・空間モデル・処理対象画像対応マップ ４２・・・処理対象画像・出力画像対応マップ ６０・・・ショベル ６１・・・下部走行体 ６２・・・旋回機構 ６３・・・上部旋回体 ６４・・・キャブ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
Copyright © 2010-2025 Science Impact Inc. All Rights Reserved.