ホーム > 特許ランキング > 株式会社ソシオネクスト
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-10-16
(45)【発行日】2023-10-24
(54)【発明の名称】画像処理装置、画像処理方法、および画像処理プログラム
(51)【国際特許分類】
G06T 1/00 20060101AFI20231017BHJP
G06T 3/40 20060101ALI20231017BHJP
H04N 7/18 20060101ALI20231017BHJP
【ＦＩ】
G06T1/00 330A
G06T3/40 720
H04N7/18 K
H04N7/18 J
【請求項の数】
14
(21)【出願番号】P 2021566773
(86)(22)【出願日】2019-12-27
(86)【国際出願番号】 JP2019051634
(87)【国際公開番号】W WO2021131078
(87)【国際公開日】2021-07-01
【審査請求日】2022-11-16
(73)【特許権者】
【識別番号】514315159
【氏名又は名称】株式会社ソシオネクスト
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】小此木 克之
(72)【発明者】
【氏名】加藤 貴幸
【審査官】片岡 利延
(56)【参考文献】
【文献】国際公開第２０１３／１７５７５３（ＷＯ，Ａ１）
【文献】特開２０１４－０４１３９８（ＪＰ，Ａ）
【文献】特開２０１７－０６８８２６（ＪＰ，Ａ）
【文献】特開２０１５－１９２１９８（ＪＰ，Ａ）
【文献】特開２０１９－１８５３８１（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ １／００
Ｇ０６Ｔ ３／４０
Ｈ０４Ｎ ７／１８
(57)【特許請求の範囲】
【請求項1】
撮影領域の一部が重複する複数の撮影画像を取得する取得部と、実空間に対応する仮想空間に仮想的に配置される画像投影面である基準投影面に複数の前記撮影画像を投影した投影画像に含まれる、隣接する前記撮影画像の重複部分に、物体が含まれるか否かを判断する判断部と、
前記物体を含む前記重複部分に対応する、前記基準投影面における、前記物体を含む重複領域の調整処理を、前記基準投影面における底面の中心領域である基準位置を固定とした状態で実行する調整部と、
を備え、
前記調整処理は、
前記基準投影面における、前記物体を含む前記重複領域の形状を、前記物体より前記基準位置側を通る形状に変形し、
前記基準投影面における前記物体を含む前記重複領域以外の領域の形状を変形しない、投影面変形処理である、
画像処理装置。
【請求項2】
前記調整処理が実行された前記画像投影面である調整投影面に、複数の前記撮影画像を投影した前記投影画像を生成する生成部、を備える請求項１に記載の画像処理装置。
【請求項3】
前記物体は、立体物である、請求項１または請求項２に記載の画像処理装置。
【請求項4】
前記基準投影面は、予め定められた形状を有する、請求項１～請求項３の何れか１項に記載の画像処理装置。
【請求項5】
前記調整処理は、前記基準投影面における、前記物体を含む前記重複領域を、前記物体より前記基準位置側を通る形状に変形する、投影面変形処理である、
請求項１～請求項４の何れか１項に記載の画像処理装置。
【請求項6】
前記調整処理は、前記基準投影面における、前記物体を含む前記重複領域の水平方向の断面形状を、前記物体より前記基準位置側を通る形状に変形する、投影面変形処理である、
請求項１～請求項５の何れか１項に記載の画像処理装置。
【請求項7】
前記調整処理は、前記基準投影面における、前記物体を含む前記重複領域の形状を、前記物体を構成する前記基準位置に最も近い検知点または前記検知点と前記基準位置との間を少なくとも通る形状に変形する、投影面変形処理である、
請求項１～請求項６の何れか１項に記載の画像処理装置。
【請求項8】
前記調整処理は、前記基準投影面における、前記物体を含む前記重複領域の鉛直方向に沿った断面形状を、前記物体より前記基準位置側を通り、且つ、鉛直方向に平行な直線、鉛直方向に対して傾斜した直線、二次曲線、および、平方根曲線、の何れかである形状に変形する、投影面変形処理である、
請求項１～請求項７の何れか１項に記載の画像処理装置。
【請求項9】
前記調整処理は、前記基準投影面における、前記物体を含む前記重複領域内に設定される画像合成領域の位置および範囲を、前記画像合成領域が前記物体と重複しないように調整する画像合成調整処理である、
請求項１～請求項８の何れか１項に記載の画像処理装置。
【請求項10】
前記画像合成調整処理は、前記重複領域において、隣接する前記撮影画像の合成係数を調整する処理である、
請求項９に記載の画像処理装置。
【請求項11】
前記合成係数は前記隣接する撮影画像の透過値である、請求項１０に記載の画像処理装置。
【請求項12】
前記画像合成調整処理は、前記画像合成領域が前記物体と重複しないように、
前記重複領域内の前記画像合成領域以外の領域であって、前記隣接する撮影画像の一方が投影される領域において、前記合成係数を第１の値に設定し、
前記重複領域内の前記画像合成領域以外の領域であって、前記隣接する撮影画像の他方が投影される領域において、前記合成係数を前記第１の値と異なる第２の値に設定し、
前記重複領域内の前記画像合成領域において、前記合成係数を前記第１の値と前記第２の値の中間の値に設定する処理である、
請求項１０または請求項１１に記載の画像処理装置。
【請求項13】
コンピュータによって実行される画像処理方法であって、撮影領域の一部が重複する複数の撮影画像を取得するステップと、
実空間に対応する仮想空間に仮想的に配置される画像投影面である基準投影面に複数の前記撮影画像を投影した投影画像に含まれる、隣接する前記撮影画像の重複部分に、物体が含まれるか否かを判断するステップと、
前記物体を含む前記重複部分に対応する、前記基準投影面における、前記物体を含む重複領域の調整処理を、前記基準投影面における底面の中心領域である基準位置を固定とした状態で実行するステップと、
を含み、
前記調整処理は、
前記基準投影面における、前記物体を含む前記重複領域の形状を、前記物体より前記基準位置側を通る形状に変形し、
前記基準投影面における前記物体を含む前記重複領域以外の領域の形状を変形しない、投影面変形処理である、
画像処理方法。
【請求項14】
コンピュータに実行させるための画像処理プログラムであって、
撮影領域の一部が重複する複数の撮影画像を取得するステップと、
実空間に対応する仮想空間に仮想的に配置される画像投影面である基準投影面に複数の前記撮影画像を投影した投影画像に含まれる、隣接する前記撮影画像の重複部分に、物体が含まれるか否かを判断するステップと、
前記物体を含む前記重複部分に対応する、前記基準投影面における、前記物体を含む重複領域の調整処理を、前記基準投影面における底面の中心領域である基準位置を固定とした状態で実行するステップと、
を含み、
前記調整処理は、
前記基準投影面における、前記物体を含む前記重複領域の形状を、前記物体より前記基準位置側を通る形状に変形し、
前記基準投影面における前記物体を含む前記重複領域以外の領域の形状を変形しない、投影面変形処理である、
画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置、画像処理方法、および画像処理プログラムに関する。
【背景技術】
【0002】
移動体の周辺の複数の撮影画像を仮想的な投影面に投影することで、投影画像を生成する技術が開示されている。また、移動体周辺の物体までの距離をセンサにより検出し、検出した距離に応じて投影面の形状を変形する技術が開示されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１３－２０７６３７号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、投影面に投影された撮影画像の重複部分に物体が存在する場合がある。この場合、投影画像における該物体の投影された領域には、該物体の消失または該物体の像の二重映りなどの現象が発生する場合があった。なお、上記特許文献１には、撮像画像の重複部分に物体が存在する場合に関する言及がなく、物体の消失または物体の像の二重映りなどの現象に対する言及もない。
【0005】
１つの側面では、本発明は、投影画像における、撮影画像の重複部分に含まれる物体の消失または物体の像の二重映りを抑制することができる、画像処理装置、画像処理方法、および画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
本願の開示する画像処理装置は、一つの態様において、撮影領域の一部が重複する複数の撮影画像を取得する取得部と、実空間に対応する仮想空間に仮想的に配置される画像投影面である基準投影面に複数の前記撮影画像を投影した投影画像に含まれる、隣接する前記撮影画像の重複部分に、物体が含まれるか否かを判断する判断部と、前記物体を含む前記重複部分に対応する、前記基準投影面における、前記物体を含む重複領域の調整処理を、前記基準投影面における底面の中心領域である基準位置を固定とした状態で実行する調整部と、を備える。前記調整処理は、前記基準投影面における、前記物体を含む前記重複領域の形状を、前記物体より前記基準位置側を通る形状に変形し、前記基準投影面における前記物体を含む前記重複領域以外の領域の形状を変形しない、投影面変形処理である。
【発明の効果】
【0007】
本願の開示する画像処理装置の一つの態様によれば、投影画像における、撮影画像の重複部分に含まれる物体の消失または物体の像の二重映りを抑制することができる。
【図面の簡単な説明】
【0008】
【発明を実施するための形態】
【0009】
以下、添付図面を参照しながら、本願の開示する画像処理装置、画像処理方法、および画像処理プログラムの実施形態を詳細に説明する。なお、以下の実施形態は開示の技術を限定するものではない。そして、各実施形態は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
【0010】
図１は、本実施形態の画像処理システム１の全体構成の一例を示す図である。画像処理システム１は、画像処理装置１０と、撮影部１２と、検出部１４と、表示部１６と、を備える。画像処理装置１０と、撮影部１２と、検出部１４と、表示部１６とは、データまたは信号を授受可能に接続されている。
【0011】
本実施形態では、画像処理装置１０、撮影部１２、検出部１４、および表示部１６は、移動体２に搭載された形態を一例として説明する。
【0012】
移動体２とは、移動可能な物である。移動体２は、例えば、車両、飛行可能な物体（有人飛行機、無人飛行機（例えば、ＵＡＶ（Ｕｎｍａｎｎｅｄ Ａｅｒｉａｌ Ｖｅｈｉｃｌｅ）、ドローン））、ロボット、などである。また、移動体２は、例えば、人による運転操作を介して進行する移動体、または、人による運転操作を介さずに自動的に進行（自律進行）可能な移動体である。本実施形態では、移動体２が車両である場合を一例として説明する。車両は、例えば、二輪自動車、三輪自動車、四輪自動車などである。本実施形態では、車両が、自律進行可能な四輪自動車である場合を一例として説明する。
【0013】
なお、画像処理装置１０、撮影部１２、検出部１４、および表示部１６の全てが、移動体２に搭載された形態に限定されない。画像処理装置１０は、静止物に搭載されていてもよい。静止物は、地面に固定された物である。静止物は、移動不可能な物や、地面に対して静止した状態の物である。静止物は、例えば、信号機、駐車車両、道路標識、などである。また、画像処理装置１０は、クラウド上で処理を実行するクラウドサーバに搭載されていてもよい。
【0014】
撮影部１２は、移動体２の周辺を撮影し、撮影画像データを取得する。以下では、撮影画像データを、単に、撮影画像と称して説明する。撮影部１２は、例えば、公知のデジタルカメラである。なお、撮影とは、レンズなどの光学系によって結像された被写体の像を、電気信号に変換することを指す。撮影部１２は、撮影画像を、画像処理装置１０へ出力する。
【0015】
本実施形態では、移動体２に４つの撮影部１２（撮影部１２Ａ～撮影部１２Ｄ）が搭載された形態を一例として説明する。複数の撮影部１２（撮影部１２Ａ～撮影部１２Ｄ）は、各々の撮影領域Ｅ（撮影領域Ｅ１～撮影領域Ｅ４）の被写体を撮影し、撮影画像を取得する。なお、撮影部１２の数は複数であればよく、４つに限定されない。本実施形態では、画像処理システム１が、４つの撮影部１２を備える形態を一例として説明する。
【0016】
これらの複数の撮影部１２は、撮影方向が互いに異なる。具体的には、これらの複数の撮影部１２は、撮影領域Ｅの一部が重複し、且つ、撮影領域Ｅの一部が非重複となるように、撮影方向が予め調整されている。このため、例えば、互いに異なる撮影部１２によって撮影される撮影領域Ｅは、隣接する撮影領域Ｅが重複する重複領域Ｄを有する。言い換えると、これらの撮影領域Ｅの各々の撮影画像は、重複領域Ｄに対応して、隣接する撮影画像間で重複する重複部分を有することとなる。
【0017】
図１には、重複領域Ｄとして、重複領域ＤＡ～重複領域ＤＤを一例として示した。重複領域ＤＡは、撮影領域Ｅ４と撮影領域Ｅ１との重複領域Ｄである。重複領域ＤＢは、撮影領域Ｅ１と撮影領域Ｅ２との重複領域Ｄである。重複領域ＤＣは、撮影領域Ｅ２と撮影領域Ｅ３との重複領域Ｄである。重複領域ＤＤは、撮影領域Ｅ３と撮影領域Ｅ４との重複領域Ｄである。
【0018】
検出部１４は、移動体２の周辺の複数の検知点の各々の位置情報を検出する。検知点とは、実空間における、検出部１４によって個別に観測される点の各々を示す。例えば、検出部１４は、検出部１４の周囲に光や電波、音波を照射し、反射点で反射した反射光や反射波を受信する。この反射点が、検知点に相当する。
【0019】
検知点の位置情報とは、実空間における検知点の位置を示す情報である。実空間は、三次元空間である。例えば、検知点の位置情報は、検出部１４から検知点までの距離と、検出部１４を基準とした検知点の方向と、の少なくとも一方を含む情報である。これらの距離および方向は、例えば、検出部１４を基準とする検知点の相対位置を示すベクトルなどで表すことができる。
【0020】
検出部１４は、例えば、３Ｄ（Ｔｈｒｅｅ－Ｄｉｍｅｎｓｉｏｎａｌ）スキャナ、２Ｄ（Ｔｗｏ Ｄｉｍｅｎｓｉｏｎｓ）スキャナ、距離センサ（ミリ波レーダ、レーザセンサ）、音波によって物体を探知するソナーセンサ、超音波センサ、などである。レーザセンサは、例えば、三次元ＬＩＤＡＲ（Ｌａｓｅｒ Ｉｍａｇｉｎｇ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）センサである。また、検出部１４は、単眼カメラで撮影された複数の画像から距離を測定する測距技術（ＳｆＭ（Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎなど）を用いた装置や、複数のカメラで撮影された画像に基づいて距離を測定する測距技術（ステレオカメラなど）を用いた装置であってもよい。
【0021】
本実施形態では、移動体２に４つの検出部１４（検出部１４Ａ～検出部１４Ｄ）が搭載された形態を一例として説明する。複数の検出部１４（検出部１４Ａ～検出部１４Ｄ）の検出領域は、少なくとも一部が互いに異なる。本実施形態では、複数の検出部１４（検出部１４Ａ～検出部１４Ｄ）の検出領域は、複数の撮影部１２（撮影部１２Ａ～撮影部１２Ｄ）の各々の撮影領域Ｅの少なくとも一部を含む。本実施形態では、検出部１４Ａ～検出部１４Ｄは、それぞれ、移動体２のフロント部分の両端部と、移動体２のリア部分の両端部と、に設けられた形態を一例として説明する。なお、検出部１４は、少なくとも撮影領域Ｅを含む検出領域の検知点を検出すればよく、検出部１４の数および設置位置は限定されない。
【0022】
表示部１６は、各種の情報を表示する。表示部１６は、例えば、公知のＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）または有機ＥＬ（Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイなどである。
【0023】
次に、画像処理装置１０のハードウェア構成を説明する。図２は、画像処理装置１０のハードウェア構成の一例を示す図である。
【0024】
画像処理装置１０は、プロセッサ１０Ａと、メモリ１０Ｂと、送受信Ｉ／Ｆ（インターフェース）１０Ｃと、送受信Ｉ／Ｆ１０Ｄと、表示Ｉ／Ｆ１０Ｅと、を含む。プロセッサ１０Ａ、メモリ１０Ｂ、送受信Ｉ／Ｆ１０Ｃ、送受信Ｉ／Ｆ１０Ｄ、および表示Ｉ／Ｆ１０Ｅは、バス１０Ｆにより相互に接続されており、通常のコンピュータを利用したハードウェア構成である。
【0025】
プロセッサ１０Ａは例えば、ＭＰＵ（Ｍｉｃｒｏ－Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であり、画像処理装置１０を制御する演算装置である。プロセッサ１０Ａは、ハードウェアプロセッサの一例である。メモリ１０Ｂは例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）およびフラッシュメモリ等の半導体メモリ素子である。ＲＯＭやフラッシュメモリは例えば、プロセッサ１０Ａによる各種の処理を実現するプログラム等を記憶する。ＲＡＭは例えば、プロセッサ１０Ａによる各種の処理に必要なデータを記憶する。送受信Ｉ／Ｆ１０Ｃは、撮影部１２に接続し、データを送受信するためのインターフェースである。送受信Ｉ／Ｆ１０Ｄは、検出部１４に接続し、データを送受信するためのインターフェースである。表示Ｉ／Ｆ１０Ｅは、表示部１６に接続し、データを送受信するためのインターフェースである。
【0026】
本実施形態の画像処理装置１０で実行される画像処理を実行するためのプログラムは例えば、ＲＯＭ等に予め組み込んで提供される。なお、本実施形態の画像処理装置１０で実行されるプログラムは、画像処理装置１０にインストール可能な形式又は実行可能な形式のファイルで記録媒体に記録されて提供するように構成してもよい。記録媒体は、コンピュータにより読取可能な媒体である。記録媒体は、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）－ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ（Ｒｅｃｏｒｄａｂｌｅ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリ、ＳＤ（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ）カード等である。
【0027】
次に、画像処理装置１０の機能的構成を説明する。
【0028】
【0029】
本実施形態の画像処理装置１０は、撮影部１２で得られた撮影画像を、基準投影面を調整した調整投影面に投影することで、投影画像を生成する。
【0030】
基準投影面とは、予め定められた基準の形状を有する投影面である。投影面とは、実空間に対応する仮想空間に仮想的に配置される画像投影面である。
【0031】
【0032】
碗状とは、円形状の平面である底面４００Ａと、該底面４００Ａに連続する側壁面４００Ｂと、からなる形状である。円形状とは、真円形状、円形状、楕円形状、を含む形状である。側壁面４００Ｂは、一端部の開口が底面４００Ａに連続し、他端部が開口された形状である。また、該側壁面４００Ｂは、底面４００Ａ側から該他端部の開口側に向かって、水平断面の直径が大きくなる形状を有する。水平断面とは、底面４００Ａの鉛直方向に対して直交する水平方向に沿った断面である。
【0033】
円柱状とは、円形状の底面４００Ａと、該底面４００Ａに連続する側壁面４００Ｂと、からなる形状である。また、円柱状の基準投影面４０を構成する側壁面４００Ｂは、一端部の開口が底面４００Ａに連続し、他端部が開口された円筒状である。但し、円柱状の基準投影面４０を構成する側壁面４００Ｂは、底面４００Ａ側から該他端部の開口側に向かって、水平断面の直径が略一定の形状である。
【0034】
本実施形態では、基準投影面４０の形状が、椀状である場合を一例として説明する。基準投影面４０は、底面４００Ａを移動体２の下方の地面に略一致する面とし、該底面４００Ａの中心領域を移動体２の基準位置Ｓとした仮想空間に仮想的に形成される立体モデルである。
【0035】
底面４００Ａの中心領域の範囲は、例えば、移動体２を模式的に示したアイコンの占める範囲である。アイコンは、例えば、移動体２のフロント部分の両端部を結ぶ直線と、リア部分の両端部を結ぶ直線と、移動体２の全長方向に沿った一対の直線と、からなる矩形状の記号である。該アイコンの水平断面の中心は、底面４００Ａの中心に一致することが好ましい。基準位置Ｓとは、基準投影面４０の底面４００Ａに仮想的に配置された、移動体２のアイコンの位置である。基準位置Ｓは、仮想空間における該アイコンの位置および範囲によって規定される。
【0036】
図３に戻り説明を続ける。画像処理装置１０は、複数の撮影部１２で得られた複数の撮影画像を、基準投影面４０に対して調整処理を実行した調整投影面に投影することで、投影画像を生成する。
【0037】
ここで、基準投影面４０に投影された隣接する撮影画像の重複部分に、物体が含まれる場合がある。物体とは、検出部１４によって１または複数の検知点の群として検出される物であり、例えば、立体物、平面物、などである。立体物は、三次元形状の物体である。立体物は、例えば、柱などの固定された構造物、自動車や自転車などの移動可能な構造物、人や動物などの生物、などである。平面物は、二次元形状の物体である。平面物は、例えば、地面に形成されたラインなどである。本実施形態では、物体が立体物である場合を一例として説明する。
【0038】
重複部分に物体が含まれる場合、従来の投影画像である比較投影画像における、該物体の投影された領域には、該物体の消失または該物体の像の二重映りなどが発生する場合があった。物体の消失とは、実空間に存在する物体の少なくとも一部の領域が、投影画像において該実空間の物体を投影した領域に存在しないことを意味する。物体の二重映りとは、投影画像において実空間に存在する物体の像が、二重または複数重なった状態で投影された状態を意味する。
【0039】
図５は、従来技術の比較投影画像６００の一例を示す模式図である。撮影部１２Ａの撮影領域Ｅ１と撮影部１２Ｂの撮影領域Ｅ２との重複領域ＤＡに、立体物である物体Ｂが含まれる場合を想定する。図５には、物体Ｂとして、物体ＢＡと物体ＢＢとを示した。物体ＢＡは、物体ＢＢに比べて移動体２に近い位置に配置されている場合を想定する。
【0040】
この場合、撮影部１２Ｂによる物体ＢＡの撮影画像を基準投影面４０に投影すると、該物体ＢＡの像ＢＡ１’は、撮影部１２Ｂに近い側から離れる方向に向かって傾斜して投影される。一方、撮影部１２Ａによる物体ＢＡの撮影画像を基準投影面４０に投影すると、該物体ＢＡの像ＢＡ２’は、撮影部１２Ａに近い側から離れる方向に向かって傾斜して投影される。
【0041】
同様に、撮影部１２Ｂによる物体ＢＢの撮影画像を基準投影面４０に投影すると、該物体ＢＢの像ＢＢ１’は、撮影部１２Ｂに近い側から離れる方向に向かって傾斜して投影される。一方、撮影部１２Ａによる物体ＢＢの撮影画像を基準投影面４０に投影すると、該物体ＢＢの像ＢＢ２’は、撮影部１２Ａに近い側から離れる方向に向かって傾斜して投影される。
【0042】
このように、１つの物体Ｂを異なる撮影部１２で撮影した撮影画像を基準投影面４０へ投影する場合、該物体Ｂの像は、互いに異なる方向に傾斜した状態で基準投影面４０へ投影される。
【0043】
ここで、後述するように、投影画像を生成する場合、例えば、基準投影面４０において、重複領域ＤＡの内、撮影領域Ｅ１に連続する一部の領域（第１の領域）については、撮影領域Ｅ１の撮影画像のみを投影し、撮影領域Ｅ２に連続する一部の領域（第２の領域）については、撮影領域Ｅ２の撮影画像のみを投影し、第１の領域と第２の領域の中間領域（第３の領域）については、重複領域ＤＡを構成する２つの撮影領域Ｅ１、Ｅ２の撮影画像を合成し、合成された画像を投影する処理が行われる。
【0044】
このため、従来技術では、重複領域Ｄ内の移動体２に近い位置に存在する物体ＢＡについては、基準投影面４０上で、撮影領域Ｅ２の撮影画像に含まれる像ＢＡ１’が上記第１の領域に含まれ、撮影領域Ｅ１の撮影画像に含まれる像ＢＡ２’が上記第２の領域に含まれることから、基準投影面４０上で、第１の領域において物体ＢＡの像ＢＡ１’が投影されず、第２の領域において物体ＢＡの像ＢＡ２’が投影されない場合があった。その結果、重複領域Ｄ内の移動体２に近い位置に存在する物体ＢＡは消失してしまう場合があった。
【0045】
また、重複領域Ｄ内の移動体２から遠い位置に存在する物体ＢＢについては、基準投影面４０上で、撮影領域Ｅ２の撮影画像に含まれる像ＢＡ１’と撮影領域Ｅ１の撮影画像に含まれる像ＢＡ２’がいずれも上記第３の領域に含まれることから、基準投影面４０上で、第３の領域において物体ＢＢの像ＢＢ１’と像像ＢＢ２’の両方が投影される場合があった。その結果、重複領域Ｄ内の移動体２から遠い位置に存在する物体ＢＢが二重映りして投影される場合があった。
【0046】
そこで、本実施形態の画像処理装置１０は、撮影画像の重複部分に物体Ｂが含まれる場合、基準投影面４０における重複領域Ｄの調整処理を実行する。以下、画像処理装置１０の詳細を説明する。
【0047】
図３に戻り説明を続ける。画像処理装置１０は、取得部２０と、判断部２２と、記憶部２４と、調整部２６と、生成部２８と、表示制御部３０と、を備える。
【0048】
上記複数の各部の一部または全ては、例えば、プロセッサ１０Ａなどの処理装置にプログラムを実行させること、すなわち、ソフトウェアにより実現してもよい。また、上記複数の各部の一部または全ては、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）などのハードウェアにより実現してもよいし、ソフトウェアおよびハードウェアを併用して実現してもよい。
【0049】
取得部２０は、複数の撮影画像を撮影部１２から取得する。上述したように、複数の撮影画像は、撮影領域Ｅの一部が重複する。また、取得部２０は、検知点の位置情報を検出部１４から取得する。複数の検出部１４（検出部１４Ａ～検出部１４Ｄ）は、それぞれ、１回のタイミングごとに、複数の検知点の各々の位置情報を検出する。このため、取得部２０は、１回のタイミングごとに、複数の検知点の各々の位置情報と、複数の撮影部１２の各々による撮影画像と、を取得する。
【0050】
取得部２０は、複数の撮影画像および複数の検知点の各々の位置情報を、判断部２２へ出力する。判断部２２は、取得部２０から複数の撮影画像および複数の検知点の各々の位置情報を受付ける。
【0051】
判断部２２は、基準投影面４０に複数の撮影画像を投影した投影画像に含まれる、隣接する撮影画像の重複部分に物体Ｂが含まれるか否かを判断する。
【0052】
例えば、判断部２２は、取得部２０から受付けた複数の撮影画像および複数の検知点の各々の位置情報と、基準投影面情報２４Ａおよび重複領域情報２４Ｂと、を用いて、隣接する撮影画像の重複部分に物体Ｂが含まれるか否かを判断する。検知点の位置情報は、上述したように、検出部１４から物体Ｂまでの距離および方向の少なくとも一方を示す情報である。
【0053】
基準投影面情報２４Ａは、基準投影面４０の形状を表す情報である。重複領域情報２４Ｂは、基準投影面４０における重複領域Ｄ内に設定される画像合成領域Ｆの位置および範囲を表す情報である。例えば、複数の撮影部１２の各々の撮影領域Ｅは予め設定されている。このため、複数の撮影領域Ｅの各々の、移動体２を基準とした重複領域Ｄの相対位置および範囲は予め定まり、移動体２を基準とした画像合成領域Ｆの相対位置および範囲は予め定めることができる。
【0054】
このため、基準投影面情報２４Ａおよび重複領域情報２４Ｂは、記憶部２４に予め記憶されている。記憶部２４は、各種のデータを記憶する。記憶部２４は、例えば、ＲＡＭ、ＲＯＭ、フラッシュメモリ等の半導体メモリ素子、ハードディスク、光ディスク等である。なお、記憶部２４は、画像処理装置１０の外部に設けられた記憶装置であってもよい。また、記憶部２４は、プログラムや各種情報を、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やインターネットなどを介してダウンロードして記憶または一時記憶した記憶媒体であってもよい。
【0055】
判断部２２は、基準投影面情報２４Ａによって表される基準投影面４０に、取得部２０から受付けた位置情報によって規定される複数の検知点をマッピングする。マッピングする、とは、基準投影面４０によって規定される仮想空間に、検知点を配置することを意味する。判断部２２は、該仮想空間における、検知点の位置情報によって規定される方向および距離に対応する位置を公知の方法で特定し、特定した位置に検知点を配置すればよい。
【0056】
また、判断部２２は、重複領域情報２４Ｂを用いて、基準投影面４０における重複領域Ｄの位置および範囲を特定する。そして、判断部２２は、重複領域Ｄに、物体Ｂを構成する検知点が存在するか否かを判断する。この判断処理によって、判断部２２は、投影画像において重複領域Ｄに物体Ｂが含まれるか否かを判断する。
【0057】
なお、判断部２２は、基準投影面４０にマッピングした複数の検知点の各々の位置情報を用いて、公知の方法により、物体Ｂを構成する検知点の群を特定すればよい。例えば、判断部２２は、マッピングされた複数の検知点と、予め定めた物体Ｂの外形を構成する検知点の群と、のマッチング処理を行うことで、物体Ｂを構成する検知点の群を特定する。
【0058】
そして、判断部２２は、特定した検知点の群によって構成される物体Ｂの少なくとも一部の領域が、重複領域Ｄに重複しているか否かを判別することで、重複領域Ｄに物体Ｂが含まれるか否かを判断する。
【0059】
判断部２２は、重複領域Ｄに物体Ｂが含まれるか否かの判断結果を調整部２６へ出力する。調整部２６は、判断部２２から判断結果を受付ける。
【0060】
調整部２６は、判断結果が、重複領域Ｄに物体Ｂが含まれることを示す場合、調整処理を実行する。
【0061】
調整処理とは、基準投影面４０における、物体Ｂを含む重複領域Ｄを調整する処理である。言い換えると、調整処理とは、基準投影面４０に含まれる複数の重複領域Ｄの内、物体Ｂを含む重複領域Ｄを調整する処理である。
【0062】
重複領域Ｄを調整する、とは、基準投影面４０における重複領域Ｄの構成面を変形する投影面変形処理、および、基準投影面４０における重複領域Ｄ内に設定される画像合成領域Ｆの位置と範囲を調整する画像合成調整処理、の少なくとも一方を意味する。
【0063】
まず、調整部２６が実行する調整処理の一例である、投影面変形処理について説明する。
【0064】
投影面変形処理は、基準投影面４０における、物体Ｂを含む重複領域Ｄの構成面を、該物体Ｂより基準位置Ｓ側を通る形状に変形する処理である。基準投影面４０における、物体Ｂを含む重複領域Ｄの構成面とは、基準投影面４０の全領域の内、物体Ｂを含む重複領域Ｄを構成する面の領域を意味する。
【0065】
物体Ｂより基準位置Ｓ側を通る形状、とは、物体Ｂを構成する検知点の群の内、基準位置Ｓに最も近い検知点を少なくとも通る形状、または、該検知点と基準位置Ｓとの間を少なくとも通る形状、であることを意味する。
【0066】
【0067】
図６Ａは、基準投影面４０を鉛直方向に対して傾斜した方向（図４中、矢印Ｗ方向参照）から視認した図である。調整部２６は、基準投影面４０における重複領域Ｄの構成面４０Ａを変形する変形処理を実行する。構成面４０Ａは、基準投影面４０の一部の構成面であり、物体Ｂを含む重複領域Ｄに対応する構成面である。調整部２６が、構成面４０Ａの変形処理を実行することで、図６Ｂ～図６Ｄに示すように、物体Ｂより移動体２の基準位置Ｓ側を通る調整構成面４２Ａを有する調整投影面４２が生成される。
【0068】
図６Ｂ～図６Ｄには、移動体２の周囲の複数の重複領域Ｄ（重複領域ＤＡ～重複領域ＤＤ）の内、重複領域ＤＢに物体Ｂが存在する場合を一例として示した。図６Ｂは、調整投影面４２を鉛直方向に対して傾斜した方向（図４中、矢印Ｗ方向参照）から視認した図である。図６Ｃは、調整投影面４２を鉛直方向から視認した平面図である。図６Ｄは、調整投影面４２を鉛直方向から視認した平面図の模式図である。
【0069】
図６Ｄに示すように、調整部２６は、基準投影面４０における、物体Ｂを含む重複領域ＤＢの構成面４０Ａを、物体Ｂより移動体２の基準位置Ｓ側を通る形状に変形し、調整構成面４２Ａとする。このため、調整投影面４２は、物体Ｂを含む重複領域ＤＢの構成面４０Ａが、調整構成面４２Ａに変形された投影面となる（図６Ａ～図６Ｄ参照）。
【0070】
なお、互いに異なる複数の重複領域Ｄの各々に物体Ｂが含まれる場合がある。この場合、調整部２６は、該複数の重複領域Ｄの各々ごとに、投影面変形処理を実行すればよい。
【0071】
図６Ｅには、移動体２の周囲の複数の重複領域Ｄ（重複領域ＤＡ～重複領域ＤＤ）の内、重複領域ＤＡおよび重複領域ＤＢの各々に物体Ｂ１および物体Ｂ２がそれぞれ存在する場合を一例として示した。物体Ｂ１および物体Ｂ２は、物体Ｂの一例である。図６Ｅは、調整投影面４２を鉛直方向から視認した平面図の模式図である。
【0072】
この場合、調整部２６は、基準投影面４０における、物体Ｂ１を含む重複領域ＤＢの構成面４０Ａ１を、物体Ｂ１より移動体２の基準位置Ｓ側を通る形状に変形し、調整構成面４２Ａ１とする。また、調整部２６は、基準投影面４０における、物体Ｂ２を含む重複領域ＤＡの構成面４０Ａ２を、物体Ｂ２より移動体２の基準位置Ｓ側を通る形状に変形し、調整構成面４２Ａ２とする。構成面４０Ａ１および構成面４０Ａ２は、基準投影面４０の構成面４０Ａの一例である。調整構成面４２Ａ１および調整構成面４２Ａ２は、調整構成面４２Ａの一例である。
【0073】
このように、調整部２６は、基準投影面４０における、物体Ｂを含む重複領域Ｄの構成面４０Ａを変形する、投影面変形処理を実行する。
【0074】
構成面４０Ａの変形は、仮想空間における、構成面４０Ａの位置座標を変更することで行えばよい。調整部２６は、例えば、以下の方法で、基準投影面４０の構成面４０Ａを調整構成面４２Ａに調整する。
【0075】
【0076】
【0077】
基準点５０とは、基準投影面４０における位置座標の基準となる点である。本実施形態では、図１に示すように、複数の重複領域Ｄの各々の移動体２（基準位置Ｓ）に最も近い点を、基準点５０（基準点５０Ａ～基準点５０Ｄ）として定める。基準点５０Ａは、撮影領域Ｅ１と撮影領域Ｅ４との重複領域ＤＡにおける位置座標の基準とする基準点５０である。基準点５０Ｂは、撮影領域Ｅ１と撮影領域Ｅ２との重複領域ＤＢにおける位置座標の基準とする基準点５０である。基準点５０Ｃは、撮影領域Ｅ２と撮影領域Ｅ３との重複領域ＤＣにおける位置座標の基準とする基準点５０である。基準点５０Ｄは、撮影領域Ｅ３と撮影領域Ｅ４との重複領域ＤＤにおける位置座標の基準とする基準点５０である。
【0078】
図７Ａに示すように、調整部２６は、重複領域ＤＡに含まれる物体Ｂを構成する複数の検知点Ｐを結ぶ直線と、基準投影面４０の構成面４０Ａ２を構成する各分割領域の分割線と、の交点Ｑを特定する。図７Ａには、物体Ｂを構成する複数の検知点Ｐとして、検知点Ｐ１および検知点Ｐ２を一例として示した。検知点Ｐ１および検知点Ｐ２は、例えば、物体Ｂを構成する複数の検知点Ｐの内、基準位置Ｓに近い上位から２つの検知点Ｐである。また、交点Ｑが複数得られる場合は、複数の交点Ｑの中から、いずれか１つの交点を選択すればよく、例えば、基準点５０からの距離が最も近い交点を選択すればよい。
【0079】
図７Ｂに示すように、次に、調整部２６は、特定した交点Ｑのインデックスを検索する。インデックスとは、基準投影面４０における位置を特定するための情報である。基準投影面４０には、基準投影面４０を複数領域に分割した分割領域ごとに、インデックスが予め付与されている。図７Ｂには、括弧内の数値を、インデックスの一例として示した。例えば、調整部２６が、交点Ｑのインデックスとして、インデックス“１２”を検索したと想定する。
【0080】
図７Ｃに示すように、次に、調整部２６は、基準点５０から該インデックスによって特定される位置の交点Ｑまでの距離Ｌを算出する。
【0081】
図７Ｃに示す形態の場合、調整部２６は、基準点５０Ａから交点Ｑまでの距離Ｌを算出する。ここで、距離Ｌは、底面４００Ａに対して平行な水平方向の距離である。そして、調整部２６は、重複領域ＤＡの構成面４０Ａ２が該交点Ｑ、または、該交点Ｑと基準点５０Ａの間を少なくとも通る形状となるように、該距離Ｌを用いて、該構成面４０Ａ２の仮想空間における位置座標を変更する。詳細には、調整部２６は、重複領域ＤＡの構成面４０Ａ２における、基準点５０Ａとの水平方向の距離が該距離Ｌより大きい領域の位置座標を、基準点５０Ａとの水平方向の距離が該距離Ｌ以下となるように変更する。すなわち、調整部２６は、重複領域ＤＡの構成面４０Ａ２が、物体Ｂの位置、または、物体Ｂより基準位置Ｓに近い位置を通る面となるように、構成面４０Ａ２を変形する。
【0082】
このため、図６Ｂ～図６Ｅに示すように、基準投影面４０における、物体Ｂを含む重複領域Ｄの構成面４０Ａが、物体Ｂより移動体２の基準位置Ｓ側を通る形状に変形された、調整構成面４２Ａとなる。このため、基準投影面４０は、基準投影面４０における重複領域Ｄの構成面４０Ａが調整構成面４２Ａに変形された、調整投影面４２となる。
【0083】
なお、調整部２６は、調整投影面４２の断面形状を、物体Ｂより基準位置Ｓ側を通るＮ次曲線状となるように調整することが好ましい。Ｎは、２以上の整数である。
【0084】
なお、図６Ｂ～図６Ｅに示すように、調整部２６は、物体Ｂを含む重複領域Ｄの構成面４０Ａの形状を、該物体Ｂより基準位置Ｓ側を通る形状に変形するが、基準投影面４０における該重複領域Ｄの構成面４０Ａ以外の領域の構成面の形状は必ずしも変形しなくてよい。
【0085】
また、調整部２６は、物体Ｂを含む重複領域Ｄの構成面４０Ａの形状を、該物体Ｂより基準位置Ｓ側を通る形状に変形し、さらに、基準投影面４０における該重複領域Ｄの構成面４０Ａ以外の領域の構成面の形状を、変形後の構成面４０Ａである調整構成面４２Ａの形状に応じて変形してもよい。
【0086】
図８Ａおよび図８Ｂは、調整投影面４２の一例の模式図である。図８Ａは、調整投影面４２を鉛直方向から視認した平面図の模式図である。図８Ｂは、調整投影面４２を鉛直方向に対して傾斜した方向（図４中、矢印Ｗ方向参照）から視認した図である。
【0087】
例えば、重複領域ＤＡに物体Ｂ２が含まれ、重複領域ＤＢに物体Ｂ１が含まれる場合を想定する。この場合、調整部２６は、基準投影面４０における、物体Ｂ１を含む重複領域ＤＢの構成面４０Ａ１を、物体Ｂ１より移動体２の基準位置Ｓ側を通る形状に変形し、調整構成面４２Ａ１とする。同様に、調整部２６は、基準投影面４０における、物体Ｂ２を含む重複領域ＤＡの構成面４０Ａ２を、物体Ｂ２より移動体２の基準位置Ｓ側を通る形状に変形し、調整構成面４２Ａ２とする。
【0088】
そして、調整部２６は、基準投影面４０における構成面４０Ａ１および構成面４０Ａ２以外の領域の構成面４０Ｂを、調整構成面４２Ａ１および調整構成面４２Ａ２に応じた形状とすることで、調整構成面４２Ｂに変形する。詳細には、調整部２６は、領域４０Ｂの形状を、調整構成面４２Ａ１および調整構成面４２Ａ２の曲率に対する変化率が所定値以下の範囲で変化する曲率の曲線となるように、変形する。この場合、調整投影面４２は、重複領域Ｄに含まれる物体Ｂに応じて基準投影面４０の全体の形状を調整した投影面となる。
【0089】
このように、調整部２６は、基準投影面４０の全体の形状を、重複領域Ｄに含まれる物体Ｂに応じて調整することで、調整投影面４２を生成してもよい。
【0090】
なお、調整投影面４２における調整構成面４２Ａの鉛直断面の形状は限定されない。鉛直断面とは、底面４００Ａの鉛直方向に沿って切断した断面である。例えば、調整構成面４２Ａの鉛直断面の形状は、重複領域Ｄに含まれる物体Ｂより基準位置Ｓ側を通り、且つ、鉛直方向に平行な直線、鉛直方向に対して傾斜した直線、二次曲線、平方根曲線、の何れかの形状であればよい。
【0091】
【0092】
図９Ａに示すように、調整部２６は、例えば、調整投影面４２における物体Ｂを含む重複領域Ｄの構成面４０Ａの鉛直断面の形状を、鉛直方向（矢印Ｚ方向）に平行な直線形状に調整する。この場合、調整構成面４２Ａの鉛直方向に沿った断面形状は、鉛直方向に沿った直線状となる。
【0093】
図９Ｂに示すように、調整部２６は、例えば、調整投影面４２における物体Ｂを含む重複領域Ｄの構成面４０Ａの鉛直断面の形状を、鉛直方向（矢印Ｚ方向）に対して傾斜した直線形状に調整する。この場合、調整構成面４２Ａの鉛直断面の形状は、鉛直方向に対して傾斜した直線状となる。
【0094】
図９Ｃに示すように、調整部２６は、例えば、調整投影面４２における物体Ｂを含む重複領域Ｄの構成面４０Ａの鉛直断面の形状を、二次曲線形状に調整する。この場合、調整構成面４２Ａの鉛直断面の形状は、二次曲線状となる。
【0095】
図９Ｄに示すように、調整部２６は、例えば、調整投影面４２における物体Ｂを含む重複領域Ｄの構成面４０Ａの鉛直断面の形状を、平方根曲線形状に調整する。この場合、調整構成面４２Ａの鉛直断面の形状は、平方根曲線状となる。
【0096】
このように、調整部２６は、物体Ｂを含む重複領域Ｄの構成面４０Ａを、物体Ｂより基準位置Ｓ側を通り、且つ、鉛直方向に平行な直線、鉛直方向に対して傾斜した直線、二次曲線、平方根曲線、の何れかの形状に調整する変形処理を実行してもよい。
【0097】
次に、調整部２６が実行する調整処理の一例である、画像合成調整処理について説明する。
【0098】
画像合成調整処理は、基準投影面４０における、物体Ｂを含む重複領域Ｄ内に設定される画像合成領域Ｆの位置および範囲を、画像合成領域Ｆが該物体Ｂに非重複となるように調整する調整処理である。言い換えると、画像合成調整処理は、隣接する撮影領域Ｅの各々の撮影画像の一部を合成して投影面に投影するときの、撮影画像を合成して投影する重複領域Ｄ内の位置と範囲を変更する処理である。
【0099】
図１０Ａおよび図１０Ｂは、画像合成調整処理の一例の説明図である。図１０Ａは、基準投影面４０を鉛直方向から視認した平面図の模式図である。図１０Ａには、重複領域情報２４Ｂによって表される重複領域Ｄ内の画像合成領域Ｆの位置および範囲を示した。上述したように、重複領域情報２４Ｂは、基準投影面４０における重複領域Ｄ内に設定される画像合成領域Ｆの位置および範囲を表す情報である。
【0100】
図１０Ａには、撮影領域Ｅ１と撮影領域Ｅ４との重複領域Ｄ内に設定された画像合成領域Ｆである画像合成領域ＦＡに、物体Ｂが含まれる場合を一例として示した。この場合、調整部２６は、図１０Ｂに示すように、この画像合成領域ＦＡを、該物体Ｂを含まない範囲である画像合成領域ＦＡ’に調整する。そして、調整部２６は、調整後の画像合成領域ＦＡ’の位置および範囲を示す情報を生成する。
【0101】
調整後の画像合成領域ＦＡ’の位置および範囲を示す情報は、例えば、隣接する撮影領域Ｅの各々の撮影画像を合成して投影面へ投影するときの、合成係数を示す情報である。合成係数は、２つの撮影画像のブレンドの割合を表す情報である。合成係数は、例えば、透過値である。透過値は、α値と称される場合がある。本実施形態では、合成係数がα値である場合を想定して説明する。
【0102】
ここで、投影画像における画像合成領域Ｆは、隣接する撮影領域Ｅの撮影画像をブレンドする割合を調整することで規定される。詳細には、画像合成領域Ｆは、撮影画像の一部の領域の合成係数を、０より大きく且つ１未満の範囲とすることで実現される。
【0103】
合成係数が“０”である場合、重複領域Ｄを構成する２つの撮影領域Ｅの撮影画像の合成は行われず、２つの撮影領域Ｅの内、一方の撮影領域Ｅの撮影画像のみを投影することを意味する。同様に、合成係数が“１”である場合、重複領域Ｄを構成する２つの撮影領域Ｅの撮影画像の合成は行われず、２つの撮影領域Ｅの内、他方の撮影領域Ｅの撮影画像のみを投影することを意味する。これに対して、合成係数が０より大きく且つ１未満の領域は、重複領域Ｄを構成する２つの撮影領域Ｅの撮影画像を合成し、合成された画像を投影することを意味する。
【0104】
【0105】
図１１Ａに示すように、例えば、基準投影面４０には、基準投影面４０を複数領域に分割した分割領域ごとに、インデックスが予め付与されている。図１１Ａには、基準点５０を通る基準線５１からの角度に応じたインデックスを一例として示した。基準線５１は、例えば、移動体２のリア部分の両端部をつなぐ直線、フロント部分の両端部をつなぐ直線、および、移動体２の全長方向に沿った直線であり、且つ基準点５０を通る直線である。図１１には、一例として、基準点５０Ａを通る基準線５１Ａおよび基準線５１Ｂを、基準線５１として示した。
【0106】
また、基準投影面４０には、インデックスごとに、合成係数が予め設定されている。このため、重複領域情報２４Ｂは、画像合成領域Ｆの位置および範囲を示す情報として、０より大きく且つ１未満の範囲の合成係数を付与されたインデックス、および、インデックスの各々に設定された合成係数の値、を含む。
【0107】
例えば、調整部２６が画像合成領域ＦＡを画像合成領域ＦＡ’に調整する場合を想定する。この場合、調整部２６は、画像合成領域ＦＡ’の角度を算出する。例えば、調整部２６は、図１１Ａに示した角度θ１および角度θ２を、画像合成領域ＦＡ’の角度として算出する。角度θ２は、画像合成領域ＦＡ’の範囲を設定する角度である。画像合成領域ＦＡ’の角度は、画像合成領域ＦＡ’の占める範囲を、基準点５０Ａを中心とした角度で表した情報である。角度θ１は、基準線５１Ｂと、重複領域ＤＡ’と、の成す角度であり、画像合成領域ＦＡ’の位置を設定する角度である。
【0108】
そして、調整部２６は、基準投影面４０における、画像合成領域ＦＡ’の角度θ１および角度θ２に応じたインデックスを検索する。例えば、調整部２６は、インデックス“７”～インデックス“１３”を画像合成領域ＦＡ’の角度θ１および角度θ２に応じたインデックスとして検索したと想定する。調整部２６は、検索したインデックス“７”～インデックス“１３”に、０より大きく且つ１未満の合成係数を設定する。そして、調整部２６は、画像合成領域ＦＡ’以外の重複領域ＤＡのインデックスに、該インデックスの領域に隣接する撮影領域Ｅの撮影画像のみを投影するための合成係数を付与する。例えば、調整部２６は、インデックス“１”～インデックス“６”には、撮影領域Ｅ４の撮影画像のみを投影することを示す合成係数である“０”を設定する。また、調整部２６は、インデックス“１４”～インデックス“１８”には、撮影領域Ｅ１の撮影画像のみを投影することを示す合成係数である“１”を設定する。そして、調整部２６は、画像合成領域ＦＡ’であるインデックス“７”～“１３”に、０から１に向かって線形に増加する合成係数を付与する。
【0109】
このため、図１１Ｂに示すように、調整後の画像合成領域ＦＡ’である角度θ２のインデックスには、０より大きく且つ１未満の合成係数が付与される。また、重複領域ＤＡにおける画像合成領域ＦＡ’以外の領域であって、撮影領域Ｅ４に連続する領域のインデックスには、合成係数“０．０”が付与された状態となる。また、重複領域ＤＡにおける画像合成領域ＦＡ’以外の領域であって、撮影領域Ｅ１に連続する領域のインデックスには、合成係数“１．０”が付与された状態となる。
【0110】
そして、調整部２６は、インデックスの各々に付与された調整後の合成係数を示す合成係数情報を、調整後の画像合成領域ＦＡ’の位置および範囲を示す情報として、生成部２８へ出力する。
【0111】
なお、調整部２６は、調整処理として、基準投影面４０の構成面４０Ａを変形する投影面変形処理、および、重複領域Ｄ内に設定される画像合成領域Ｆの位置および範囲を調整する画像合成調整処理、の少なくとも一方を実行すればよく、投影面変形処理および画像合成調整処理を組み合わせて実行することが可能である。
【0112】
図３に戻り説明を続ける。調整部２６は、調整後の基準投影面４０である調整投影面４２の調整投影面情報、および、合成係数情報、の少なくとも一方を生成部２８へ出力する。本実施形態では、調整部２６が、調整投影面情報および合成係数情報の双方を、生成部２８へ出力する形態を一例として説明する。
【0113】
生成部２８は、調整部２６から調整投影面情報、および、合成係数情報、の少なくとも一方を受けとり、受け取った情報に基づいて、調整投影面４２に、取得部２０で取得した複数の撮影画像を投影することで、投影画像を生成する。
【0114】
図１２は、投影画像６０の一例を示す模式図である。図１２は、投影画像６０の一例として、投影画像６０Ａを示した。生成部２８は、調整部２６から受付けた調整投影面情報によって表される形状の調整投影面４２に、取得部２０で取得した複数の撮影画像の各々を投影する。調整投影面４２は、物体Ｂを含む重複領域Ｄの構成面４０Ａが上記調整処理によって変形された投影面である。
【0115】
このため、投影画像６０Ａは、重複領域Ｄに含まれる物体Ｂの像の二重映りおよび消失を抑制した画像となる。
【0116】
【0117】
図１３Ａに示すように、従来技術では、重複領域Ｄに存在する物体Ｂの像が二重映りした比較投影画像６００Ａとなる場合があった。また、図１３Ｂに示すように、従来技術では、重複領域Ｄに存在する物体Ｂが消失した比較投影画像６００Ｂとなる場合があった。
【0118】
一方、本実施形態では、生成部２８は、複数の撮影画像を調整投影面４２へ投影することで、投影画像６０を生成する。このため、図１２に示すように、生成部２８は、重複領域Ｄに存在する物体Ｂの像の二重映りまたは消失の抑制された投影画像６０を生成することができる。
【0119】
なお、合成係数情報を受け付けた場合には、生成部２８は、合成係数情報によって表されるインデックスの各々に付与された合成係数に応じて、複数の撮影領域Ｅの各々の撮影画像の透過値を変更した上で、調整投影面４２に投影すればよい。
【0120】
図１４は、投影画像６０の一例を示す模式図である。図１４には、投影画像６０の一例として、投影画像６０Ｃを示した。投影画像６０Ｃは、合成係数情報によって表される合計係数に応じて透過値を調整した撮影画像を、調整投影面情報によって表される形状の調整投影面４２に投影した投影画像６０の一例である。言い換えると、投影画像６０Ｃは、調整処理として投影面変形処理および画像合成調整処理を実行することで生成された投影画像６０の一例であり、投影面４０の形状を変更するとともに、画像合成領域Ｆの位置および範囲を物体Ｂに非重複となるように調整した投影画像６０の一例である。
【0121】
このため、投影画像６０Ｃは、重複領域Ｄに含まれる物体Ｂの像の二重映りおよび消失を抑制した画像となる。
【0122】
図１５Ａは、従来技術の比較投影画像６００の一例を示す模式図である。図１５Ａは、図１４に示す投影画像６０Ｃの生成に用いた撮影画像を基準投影面４０に投影した例である。図１５Ｂは、図１４に示す投影画像６０Ｃの生成に用いた撮影画像を調整投影面４２に投影した投影画像６０Ｂの一例を示す模式図である。すなわち、図１５Ｂに示す投影画像６０Ｂは、調整処理として変形処理を実行することで生成された投影画像６０の一例である。
【0123】
図１５Ａに示すように、従来技術では、重複領域Ｄに存在する物体Ｂが消失した比較投影画像６００Ｃとなる場合があった。一方、調整処理として投影面４０の変形処理を実行した場合を想定する。この場合、図１５Ｂに示すように、投影画像６０Ｂは、比較投影画像６００Ｃに比べて、重複領域Ｄに含まれる物体Ｂの像の二重映りおよび消失の少なくとも一方（図１５Ｂの場合は、物体Ｂの消失）が抑制された投影画像となる。そして、調整処理として変形処理および重複領域調整処理を実行した場合を想定する。この場合、図１４に示すように、投影画像６０Ｃは、図１５Ｂに示す投影画像６０Ｂに比べて、重複領域Ｄに含まれる物体Ｂの像の二重映りおよび消失の他方（図１４の場合は、物体Ｂの像の二重映り）が更に抑制された投影画像となる。
【0124】
このため、調整部２６は、変形処理および重複領域調整処理の双方を、調整処理として実行することが好ましい。
【0125】
図３に戻り説明を続ける。表示制御部３０は、生成部２８で生成された投影画像６０を表示部１６へ表示する制御を行う。このため、表示部１６には、実空間に存在する物体Ｂの像の二重映りおよび消失の少なくとも一方の抑制された投影画像６０が表示される。なお、表示制御部３０は、投影画像６０を仮想視点から視認した画像に変更するなどの各種画像処理を行った上で、表示部１６に表示する表示制御を行ってもよい。
【0126】
次に、画像処理装置１０が実行する画像処理の流れの一例を説明する。
【0127】
図１６は、上述した、画像処理装置１０が実行する画像処理の流れの一例を示すフローチャートである。
【0128】
取得部２０は、複数の撮影画像を複数の撮影部１２から取得する（ステップＳ１００）。また、取得部２０は、複数の検知点Ｐの各々の位置情報を検出部１４から取得する（ステップＳ１０２）。
【0129】
判断部２２は、記憶部２４から基準投影面情報２４Ａおよび重複領域情報２４Ｂを読取る（ステップＳ１０４）。
【0130】
判断部２２は、ステップＳ１０４で読取った基準投影面情報２４Ａによって表される基準投影面４０に、ステップＳ１０２で取得した位置情報によって規定される複数の検知点Ｐをマッピングする（ステップＳ１０６）。
【0131】
判断部２２は、ステップＳ１０４で読取った重複領域情報２４Ｂと、ステップＳ１０６のマッピング結果を用いて、重複領域Ｄに物体Ｂが含まれるか否かを判断する（ステップＳ１０８）。重複領域Ｄに物体Ｂが含まれると判断した場合（ステップＳ１０８：Ｙｅｓ）、ステップＳ１１０へ進む。
【0132】
ステップＳ１１０では、調整部２６が、基準投影面４０の構成面４０Ａの調整処理を実行する（ステップＳ１１０）。ステップＳ１１０の調整処理は、基準投影面４０における、物体Ｂを含む重複領域Ｄを調整する処理である。上述したように、調整部２６は、基準投影面４０における重複領域Ｄの構成面を変形する変形処理、および、基準投影面４０における重複領域Ｄ内に設定される画像合成領域の位置および範囲を調整する画像合成調整処理、の少なくとも一方を調整処理として実行する。調整処理の流れの詳細は後述する。
【0133】
ステップＳ１１０の処理によって、調整投影面４２が生成され、基準投影面４０の構成面４０Ａを変形処理した調整投影面４２の調整投影面情報、および、画像合成調整処理によって生成された合成係数情報が生成される。
【0134】
次に、生成部２８は、ステップＳ１１０で生成された調整投影面４２に、ステップＳ１００で取得した複数の撮影画像を、ステップＳ１１０で生成された合成係数情報によって示される合成係数で合成して投影する（ステップＳ１１２）。ステップＳ１１２の処理によって、生成部２８は、投影画像６０を生成する。そして、後述するステップＳ１１６へ進む。
【0135】
一方、ステップＳ１０８で否定判断すると（ステップＳ１０８：Ｎｏ）、ステップＳ１１４へ進む。ステップＳ１１４では、生成部２８は、ステップＳ１００で取得した撮影画像を基準投影面４０へ投影する（ステップＳ１１４）。そして、ステップＳ１１６へ進む。
【0136】
ステップＳ１１６では、表示制御部３０が、ステップＳ１１２で生成された投影画像６０またはステップＳ１１６で生成された投影画像を表示部１６へ表示する表示制御を行う（ステップＳ１１６）。
【0137】
次に、画像処理装置１０は、画像処理を終了するかを判断する（ステップＳ１１８）。例えば、画像処理装置１０は、画像処理の終了を示す指示入力を受付けたか否かを判別することで、ステップＳ１１８の処理を実行する。ステップＳ１１８で否定判断すると（ステップＳ１１８：Ｎｏ）、上記ステップＳ１００へ戻る。一方、ステップＳ１１８で肯定判断すると（ステップＳ１１８：Ｙｅｓ）、本ルーチンを終了する。なお、ステップＳ１１８からステップＳ１００へ戻る際、ステップＳ１１０において生成された調整投影面４２を、新たな基準投影面４０として処理を継続するようにしてもよい。
【0138】
次に、ステップＳ１１０の調整処理である変形処理の流れの一例を説明する。
【0139】
図１７は、変形処理の流れの一例を示すフローチャートである。
【0140】
調整部２６は、ステップＳ１０２（図１６参照）で位置情報を取得した検知点の内、重複領域Ｄに含まれる物体Ｂを構成する検知点Ｐを結ぶ直線と、基準投影面４０の構成面４０Ａを構成する各分割領域の分割線と、の交点Ｑを特定する（ステップＳ２００）。
【0141】
次に、調整部２６は、ステップＳ２００で特定した交点Ｑのインデックスを検索する（ステップＳ２０２）。そして、調整部２６は、基準点５０から該インテックスによって特定される交点Ｑまでの距離Ｌを算出する（ステップＳ２０４）。ここで、距離Ｌは、底面４００Ａに対して平行な水平方向の距離である。
【0142】
調整部２６は、基準投影面４０における物体Ｂを含む重複領域Ｄの構成面４０Ａと基準点５０との距離が該距離Ｌ以下となるように、該構成面４０Ａの位置座標を変更する（ステップＳ２０６）。ステップＳ２０６の処理によって、基準投影面４０における物体Ｂを含む重複領域Ｄの構成面４０Ａが調整構成面４２Ａに変形され、調整投影面４２が生成される。そして、本ルーチンを終了する。
【0143】
次に、ステップＳ１１０の調整処理である画像合成調整処理の流れの一例を説明する。
【0144】
図１８は、画像合成調整処理の流れの一例を示すフローチャートである。
【0145】
調整部２６は、基準投影面４０における物体Ｂを含む重複領域Ｄ内に設定される画像合成領域Ｆを、該物体Ｂを含まない角度の画像合成領域Ｆ’に調整し、該画像合成領域Ｆ’の角度（角度θ１、角度θ２）を算出する（ステップＳ３００）。
【0146】
次に、調整部２６は、ステップＳ３００で算出した画像合成領域Ｆ’の角度に応じたインデックスを検索する（ステップＳ３０２）。
【0147】
次に、調整部２６は、重複領域Ｄのインデックスの各々に設定された合成係数を、ステップＳ３０２で検索したインデックスの領域が画像合成領域Ｆ’となるように調整する（ステップＳ３０４）。ステップＳ３０４の処理によって、基準投影面４０における、調整後の画像合成領域Ｆ’のインデックスには、０より大きく且つ１未満の合成係数が付与される。また、重複領域Ｄにおける調整後の画像合成領域Ｆ’以外の領域には、合成係数“０．０”または“１．０”が付与された状態となる。そして、調整部２６は、インデックスの各々に付与された調整後の合成係数を示す合成係数情報を、調整後の画像合成領域Ｆ’の位置および範囲を示す情報として、生成部２８へ出力する。そして、本ルーチンを終了する。
【0148】
以上説明したように、本実施形態の画像処理装置１０は、取得部２０と、判断部２２と、調整部２６と、を備える。取得部２０は、撮影領域Ｅの一部が重複する複数の撮影画像を取得する。判断部２２は、実空間に対応する仮想空間に仮想的に配置される画像投影面である、予め定められた形状の基準投影面４０において、隣接する撮影画像の重複領域Ｄに、物体Ｂが含まれるか否かを判断する。調整部２６は、基準投影面４０における、物体Ｂを含む重複領域Ｄの調整処理を実行する。
【0149】
ここで、従来技術では、重複領域Ｄに着目した画像処理は行われていなかった。このため、従来技術では、投影面に投影された撮影画像の重複領域Ｄに物体Ｂが存在する場合、投影画像における該物体Ｂの投影された領域に、物体Ｂの消失または物体Ｂの像の二重映りなどが発生する場合があった。
【0150】
一方、本実施形態の画像処理装置１０では、基準投影面４０における、物体Ｂを含む重複領域Ｄの調整処理を実行する。
【0151】
このため、本実施形態の画像処理装置１０は、調整部２６による調整後の基準投影面４０である調整投影面４２に撮影画像を投影することで、撮影画像の重複領域Ｄに含まれる物体Ｂの消失または物体Ｂの像の二重映りを抑制することができる。
【0152】
以上、実施形態について説明したが、本願の開示する画像処理装置、画像処理方法、画像処理プログラムは、上述の実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上述の実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。
【0153】
なお、上記実施形態の画像処理装置１０は、各種の装置やシステムに適用可能である。例えば、上記実施形態の画像処理装置１０は、監視カメラから得られる映像を処理する監視カメラシステム、または、車外の周辺環境の画像を処理する車載カメラシステム、例えば、車載サラウンドビューモニターシステム、駐車支援システム、自動運転システムなどに適用することができる。
【符号の説明】
【0154】
１０ 画像処理装置
２０ 取得部
２２ 判断部
２６ 調整部
２８ 生成部
２０ 取得部
２２ 判断部
２６ 調整部
２８ 生成部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6A】
【図6B】
【図6C】
【図6D】
【図6E】
【図7A】
【図7B】
【図7C】
【図8A】
【図8B】
【図9A】
【図9B】
【図9C】
【図9D】
【図10A】
【図10B】
【図11A】
【図11B】
【図12】
【図13A】
【図13B】
【図14】
【図15A】
【図15B】
【図16】
【図17】
【図18】