特許 7424390 画像処理装置、画像処理方法、および画像処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-01-22

(45)【発行日】2024-01-30

(54)【発明の名称】画像処理装置、画像処理方法、および画像処理プログラム

(51)【国際特許分類】

   G06T 1/00 20060101AFI20240123BHJP

   G06T 3/06 20240101ALI20240123BHJP

   H04N 7/18 20060101ALI20240123BHJP

【ＦＩ】

G06T1/00 330A

G06T3/00 720

H04N7/18 J

H04N7/18 V

【請求項の数】 12

(21)【出願番号】P 2021562239

(86)(22)【出願日】2019-12-03

(86)【国際出願番号】 JP2019047286

(87)【国際公開番号】W WO2021111531

(87)【国際公開日】2021-06-10

【審査請求日】2022-11-16

(73)【特許権者】

【識別番号】514315159

【氏名又は名称】株式会社ソシオネクスト

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】大橋 和将

【審査官】佐藤 直樹

(56)【参考文献】

【文献】特開２００２－１２３８２９（ＪＰ，Ａ）

【文献】特開２０１３－２０７６３７（ＪＰ，Ａ）

【文献】特表２０１４－５３１０７８（ＪＰ，Ａ）

【文献】特開２０１４－０４１３９８（ＪＰ，Ａ）

【文献】国際公開第２０１３／０１８１７３（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １／００

Ｇ０６Ｔ ３／００

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

移動体の周辺の複数の検出点を蓄積した位置情報と、前記移動体の自己位置情報と、を用いて、前記移動体の周辺画像の投影面である基準投影面を変形する変形部、
を備える画像処理装置。

【請求項2】

前記位置情報は、異なるタイミングにおける前記検出点をそれぞれ蓄積した位置情報を含む、
請求項１に記載の画像処理装置。

【請求項3】

複数の前記検出点の各々の位置情報を検出部から取得する取得部と、
複数の前記検出点の各々の位置情報に対応して取得した位置情報の各々を環境地図情報に登録する検出点登録部と、
複数の前記検出点の各々の位置情報に基づいて前記自己位置情報を推定し、前記環境地図情報に登録する自己位置推定部と、
を備え、
前記変形部は、前記環境地図情報に基づいて、前記基準投影面を変形する、
請求項２に記載の画像処理装置。

【請求項4】

前記環境地図情報に登録された複数の前記検出点の各々の位置情報および前記自己位置情報を、該検出点の取得タイミングより後の取得タイミングで取得した対応する前記検出点の各々の位置情報を用いて補正する補正部、
を備える請求項３に記載の画像処理装置。

【請求項5】

前記変形部は、
前記移動体に最も近い前記検出点に基づいて、前記基準投影面の形状を変形する、
請求項１～請求項４の何れか１項に記載の画像処理装置。

【請求項6】

前記変形部は、
前記基準投影面を前記移動体に最も近い前記検出点を通る曲面形状に変形する、
請求項５に記載の画像処理装置。

【請求項7】

前記変形部は、
前記基準投影面の複数の部分ごとの前記検出点の漸近曲線に沿った形状に変形する、
請求項１～請求項４の何れか１項に記載の画像処理装置。

【請求項8】

変形された前記基準投影面である変形投影面に前記周辺画像を投影した投影画像を、仮想視点から視認した仮想視点画像に変換する投影変換部と、
を備え、
前記投影変換部は、
前記投影画像を、前記仮想視点から前記変形投影面の方向を視認した、前記仮想視点画像に変換する、
請求項１～請求項７の何れか１項に記載の画像処理装置。

【請求項9】

前記検出点は、前記移動体に搭載された検出部により検出されたものである、
請求項１～請求項８の何れか１項に記載の画像処理装置。

【請求項10】

前記検出点は、前記周辺画像を基に検出されたものである、
請求項１～請求項８の何れか１項に記載の画像処理装置。

【請求項11】

コンピュータによって実行される画像処理方法であって、
移動体の周辺の複数の検出点を蓄積した位置情報と、前記移動体の自己位置情報と、を用いて、前記移動体の周辺画像の投影面である基準投影面を変形するステップを含む、
画像処理方法。

【請求項12】

移動体の周辺の複数の検出点を蓄積した位置情報と、前記移動体の自己位置情報と、を用いて、前記移動体の周辺画像の投影面である基準投影面を変形するステップ、
をコンピュータに実行させるための画像処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、画像処理方法、および画像処理プログラムに関する。

【背景技術】

【0002】

移動体の周辺の撮影画像を仮想的な投影面に投影した投影画像を用いて、任意の視点からの合成画像を生成する技術が開示されている。また、移動体から移動体の周辺の物体までの距離をセンサにより検出し、検出した該距離に応じて投影面の形状を変形する技術が開示されている（例えば、特許文献１－３参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１３－２０７６３７号公報

【文献】特表２０１４－５３１０７８号公報

【文献】特許第５３６９４６５号公報

【非特許文献】

【0004】

【文献】「移動ロボットの環境認識 －地図構築と自己位置推定」 システム／制御／情報（システム情報学会誌），Ｖｏｌ．６０ Ｎｏ．１２，ｐｐ５０９－５１４，２０１６

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、移動体に対する物体の相対位置がセンサの検出領域外となった場合、該物体までの距離を取得することが困難となる。このため、従来技術では、物体に応じた投影面の変形が困難となる場合があった。

【0006】

１つの側面では、本発明は、物体に応じて投影面を変形することができる、画像処理装置、画像処理方法、および画像処理プログラムを提供することを目的とする。

【課題を解決するための手段】

【0007】

本願の開示する画像処理装置は、一つの態様において、移動体の周辺の複数の検出点を蓄積した位置情報と、前記移動体の自己位置情報と、を用いて、前記移動体の周辺画像の投影面である基準投影面を変形する変形部を備える。

【発明の効果】

【0008】

本願の開示する画像処理装置の一つの態様によれば、物体に応じて投影面を変形することができる。

【図面の簡単な説明】

【0009】

【図1】図１は、第１の実施形態に係る画像処理システムの全体構成を示す図である。

【図2】図２は、第１の実施形態に係る画像処理装置のハードウェア構成を示す図である。

【図3】図３は、第１の実施形態に係る画像処理装置の機能的構成を示す図である。

【図4】図４は、第１の実施形態に係る環境地図情報の模式図である。

【図5A】図５Ａは、第１の実施形態に係る基準投影面を示す模式図である。

【図5B】図５Ｂは、第１の実施形態に係る投影形状を示す模式図である。

【図6】図６は、第１の実施形態に係る漸近曲線の説明図である。

【図7】図７は、第１の実施形態に係る決定部の機能的構成を示す模式図である。

【図8】図８は、第１の実施形態に係る画像処理の流れを示すフローチャートである。

【図9A】図９Ａは、第１の実施形態に係る撮影画像を示す模式図である。

【図9B】図９Ｂは、第１の実施形態に係る合成画像を示す模式図である。

【図9C】図９Ｃは、第１の実施形態に係る画像処理のタイミングチャートを示す模式図である。

【図10A】図１０Ａは、従来の投影面変形処理の説明図である。

【図10B】図１０Ｂは、従来の投影面変形処理の説明図である。

【図11A】図１１Ａは、従来の投影面変形処理の説明図である。

【図11B】図１１Ｂは、従来の投影面変形処理の説明図である。

【図12A】図１２Ａは、第１の実施形態に係る基準投影面の変形の説明図である。

【図12B】図１２Ｂは、第１の実施形態に係る基準投影面の変形の説明図である。

【図13A】図１３Ａは、第１の実施形態に係る基準投影面の変形の説明図である。

【図13B】図１３Ｂは、第１の実施形態に係る基準投影面の変形の説明図である。

【図14A】図１４Ａは、第１の実施形態に係る視線方向Ｌの決定の説明図である。

【図14B】図１４Ｂは、第１の実施形態に係る視線方向Ｌの決定の説明図である。

【図14C】図１４Ｃは、第１の実施形態に係る視線方向Ｌの決定の説明図である。

【図15A】図１５Ａは、第１の実施形態に係る撮影画像を示す模式図である。

【図15B】図１５Ｂは、第１の実施形態に係る合成画像を示す模式図である。

【図16】図１６は、第２の実施形態に係る画像処理装置の機能的構成を示す図である。

【図17】図１７は、第２の実施形態に係る画像処理の流れを示すフローチャートである。

【図18】図１８は、第２の実施形態に係る画像処理のタイミングチャートを示す模式図である。

【図19】図１９は、第２の実施形態に係る合成画像を示す画像である。

【発明を実施するための形態】

【0010】

以下、添付図面を参照しながら、本願の開示する画像処理装置、画像処理方法、および画像処理プログラムの実施形態を詳細に説明する。なお、以下の実施形態は開示の技術を限定するものではない。そして、各実施形態は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。

【0011】

（第１の実施形態）
図１は、本実施形態の画像処理システム１の全体構成の一例を示す図である。画像処理システム１は、画像処理装置１０と、撮影部１２と、検出部１４と、表示部１６と、を備える。画像処理装置１０と、撮影部１２と、検出部１４と、表示部１６とは、データまたは信号を授受可能に接続されている。

【0012】

本実施形態では、画像処理装置１０、撮影部１２、検出部１４、および表示部１６は、移動体２に搭載された形態を一例として説明する。

【0013】

移動体２とは、移動可能な物である。移動体２は、例えば、車両、飛行可能な物体（有人飛行機、無人飛行機（例えば、ＵＡＶ（Ｕｎｍａｎｎｅｄ Ａｅｒｉａｌ Ｖｅｈｉｃｌｅ）、ドローン））、ロボット、などである。また、移動体２は、例えば、人による運転操作を介して進行する移動体や、人による運転操作を介さずに自動的に進行（自律進行）可能な移動体である。本実施形態では、移動体２が車両である場合を一例として説明する。車両は、例えば、二輪自動車、三輪自動車、四輪自動車などである。本実施形態では、車両が、自律進行可能な四輪自動車である場合を一例として説明する。

【0014】

なお、画像処理装置１０、撮影部１２、検出部１４、および表示部１６の全てが、移動体２に搭載された形態に限定されない。画像処理装置１０は、静止物に搭載されていてもよい。静止物は、地面に固定された物である。静止物は、移動不可能な物や、地面に対して静止した状態の物である。静止物は、例えば、信号機、駐車車両、道路標識、などである。また、画像処理装置１０は、クラウド上で処理を実行するクラウドサーバに搭載されていてもよい。

【0015】

撮影部１２は、移動体２の周辺を撮影し、撮影画像データを取得する。以下では、撮影画像データを、単に、撮影画像と称して説明する。撮影部１２は、例えば、デジタルカメラである。なお、撮影とは、レンズなどの光学系により結像された被写体の像を、電気信号に変換することを指す。撮影部１２は、撮影した撮影画像を、画像処理装置１０へ出力する。

【0016】

本実施形態では、移動体２に４つの撮影部１２（撮影部１２Ａ～撮影部１２Ｄ）が搭載された形態を一例として説明する。複数の撮影部１２（撮影部１２Ａ～撮影部１２Ｄ）は、各々の撮影領域Ｅ（撮影領域Ｅ１～撮影領域Ｅ４）の被写体を撮影し、撮影画像を取得する。なお、これらの複数の撮影部１２は、撮影方向が互いに異なるものとする。具体的には、これらの複数の撮影部１２は、少なくとも一部の撮影領域Ｅが互いに非重複となるように、撮影方向が予め調整されているものとする。

【0017】

検出部１４は、移動体２の周辺の複数の検出点の各々の位置情報を検出する。言い換えると、検出部１４は、検出領域Ｆの検出点の各々の位置情報を検出する。検出点とは、実空間における、検出部１４によって個別に観測される点の各々を示す。例えば、検出部１４は、検出部１４の周囲に光を照射し、反射点で反射した反射光を受光する。この反射点が、検出点に相当する。

【0018】

検出点の位置情報とは、実空間（三次元空間）における検出点の位置を示す情報である。例えば、検出点の位置情報は、検出部１４（すなわち移動体２の位置）から検出点までの距離と、検出部１４を基準とした検出点の方向と、を示す情報である。これらの距離および方向は、例えば、検出部１４を基準とする検出点の相対位置を示す位置座標、検出点の絶対位置を示す位置座標、または、ベクトルなどで表すことができる。

【0019】

検出部１４は、例えば、３Ｄ（Ｔｈｒｅｅ－Ｄｉｍｅｎｓｉｏｎａｌ）スキャナ、２Ｄ（Ｔｗｏ Ｄｉｍｅｎｓｉｏｎｓ）スキャナ、距離センサ（ミリ波レーダ、レーザセンサ）、音波によって物体を探知するソナーセンサ、超音波センサ、などである。レーザセンサは、例えば、三次元ＬＩＤＡＲ（Ｌａｓｅｒ Ｉｍａｇｉｎｇ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）センサである。また、検出部１４は、単眼カメラで撮影された画像から距離を測距するＳｆＭ（Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎ）技術を用いた装置であってもよい。

【0020】

表示部１６は、各種の情報を表示する。表示部１６は、例えば、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）または有機ＥＬ（Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイなどである。

【0021】

本実施形態では、画像処理装置１０は、移動体２に搭載された電子制御ユニット（ＥＣＵ：Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）３に通信可能に接続されている。ＥＣＵ３は、移動体２の電子制御を行うユニットである。本実施形態では、画像処理装置１０は、ＥＣＵ３から移動体２の速度や移動方向などのＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）データを受信可能であるものとする。

【0022】

次に、画像処理装置１０のハードウェア構成を説明する。図２は、画像処理装置１０のハードウェア構成の一例を示す図である。

【0023】

画像処理装置１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０Ａ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０Ｂ、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０Ｃ、及びＩ／Ｆ（ＩｎｔｅｒＦａｃｅ）１０Ｄを含み、例えば、コンピュータである。ＣＰＵ１０Ａ、ＲＯＭ１０Ｂ、ＲＡＭ１０Ｃ、およびＩ／Ｆ１０Ｄは、バス１０Ｅにより相互に接続されており、通常のコンピュータを利用したハードウェア構成となっている。

【0024】

ＣＰＵ１０Ａは、画像処理装置１０を制御する演算装置である。ＣＰＵ１０Ａは、ハードウェアプロセッサの一例に対応する。ＲＯＭ１０Ｂは、ＣＰＵ１０Ａによる各種の処理を実現するプログラム等を記憶する。ＲＡＭ１０Ｃは、ＣＰＵ１０Ａによる各種の処理に必要なデータを記憶する。Ｉ／Ｆ１０Ｄは、撮影部１２、検出部１４、表示部１６、およびＥＣＵ３などに接続し、データを送受信するためのインターフェースである。

【0025】

本実施形態の画像処理装置１０で実行される画像処理を実行するためのプログラムは、ＲＯＭ１０Ｂ等に予め組み込んで提供される。なお、本実施形態の画像処理装置１０で実行されるプログラムは、画像処理装置１０にインストール可能な形式又は実行可能な形式のファイルで記録媒体に記録されて提供するように構成してもよい。記録媒体は、コンピュータにより読取可能な媒体である。記録媒体は、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）－ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ（Ｒｅｃｏｒｄａｂｌｅ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリ、ＳＤ（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ）カード等である。

【0026】

次に、画像処理装置１０の機能的構成を説明する。図３は、画像処理装置１０の機能的構成の一例を示す図である。なお、図３には、データの入出力関係を明確にするために、画像処理装置１０に加えて、撮影部１２、検出部１４、および表示部１６を併せて図示した。

【0027】

画像処理装置１０は、取得部２０と、検出点登録部２２と、自己位置推定部２４と、記憶部２６と、補正部２８と、決定部３０と、変形部３２と、仮想視点視線決定部３４と、投影変換部３６と、画像合成部３８と、を備える。

【0028】

上記複数の各部の一部または全ては、例えば、ＣＰＵ１０Ａなどの処理装置にプログラムを実行させること、すなわち、ソフトウェアにより実現してもよい。また、上記複数の各部の一部または全ては、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）などのハードウェアにより実現してもよいし、ソフトウェアおよびハードウェアを併用して実現してもよい。

【0029】

取得部２０は、撮影画像を撮影部１２から取得する。また、取得部２０は、検出点の位置情報を検出部１４から取得する。取得部２０は、撮影部１２（撮影部１２Ａ～撮影部１２Ｄ）の各々から撮影画像を取得する。検出部１４は、複数の検出点の各々の位置情報を検出する。このため、取得部２０は、複数の検出点の各々の位置情報と、複数の撮影部１２の各々による撮影画像と、を取得する。

【0030】

取得部２０は、複数の検出点の各々の位置情報を取得するごとに、取得した位置情報を検出点登録部２２および自己位置推定部２４へ出力する。また、取得部２０は、撮影画像を取得するごとに、取得した撮影画像を投影変換部３６へ出力する。

【0031】

検出点登録部２２は、複数の検出点の各々の位置情報を取得するごとに、取得した位置情報の各々を環境地図情報２６Ａへ登録する。環境地図情報２６Ａは、記憶部２６に記憶されている。

【0032】

記憶部２６は、各種のデータを記憶する。記憶部２６は、例えば、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子、ハードディスク、光ディスク等である。なお、記憶部２６は、画像処理装置１０の外部に設けられた記憶装置であってもよい。また、記憶部２６は、記憶媒体であってもよい。具体的には、記憶媒体は、プログラムや各種情報を、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やインターネットなどを介してダウンロードして記憶または一時記憶したものであってもよい。

【0033】

環境地図情報２６Ａは、移動体２の周辺状況を示す地図情報である。環境地図情報２６Ａは、実空間における所定位置を原点とした三次元座標空間に、検出点の各々の位置情報および移動体２の自己位置情報を登録した情報である。実空間における所定位置は、例えば、予め設定した条件に基づいて定めてもよい。

【0034】

例えば、所定位置は、画像処理装置１０が本実施形態の画像処理を実行するときの移動体２の位置である。例えば、移動体２の駐車シーンなどの所定タイミングで画像処理を実行する場合を想定する。この場合、画像処理装置１０は、該所定タイミングに到ったことを判別したときの移動体２の位置を、所定位置とすればよい。例えば、画像処理装置１０は、移動体２の挙動が駐車シーンを示す挙動となったと判別したときに、該所定タイミングに到ったと判断すればよい。駐車シーンを示す挙動は、例えば、移動体２の速度が所定速度以下となった場合、移動体２のギアがバックギアに入れられた場合、ユーザの操作指示などによって駐車開始を示す信号を受け付けた場合などである。なお、該所定タイミングは、駐車シーンに限定されない。

【0035】

図４は、環境地図情報２６Ａの一例の模式図である。環境地図情報２６Ａは、検出点Ｐの各々の位置情報と、移動体２の自己位置Ｓの自己位置情報と、を該三次元座標空間における対応する座標位置に登録した情報である。

【0036】

検出点登録部２２は、取得部２０を介して検出部１４から検出点Ｐの位置情報を取得するごとに、環境地図情報２６Ａに登録済の同じ検出点Ｐをスキャンマッチングにより特定する。同じ検出点Ｐとは、検出部１４による位置情報の取得タイミングが異なるが、実空間では同じ検出点Ｐであることを意味する。検出点登録部２２は、検出部１４から取得した検出点Ｐの位置情報の内、環境地図情報２６Ａに未登録の検出点Ｐの位置情報を、環境地図情報２６Ａに追加して登録する。このとき、検出点登録部２２は、取得した検出点Ｐの位置情報を、上記所定位置を原点とした座標に座標変換した上で、環境地図情報２６Ａに登録する。

【0037】

なお、検出点登録部２２によるスキャンマッチングの結果、環境地図情報２６Ａに登録済の検出点Ｐと、新たに取得した検出点Ｐと、が所定割合以上不一致である場合がある。この場合、検出点登録部２２は、該新たに取得した検出点Ｐの位置情報を破棄し、環境地図情報２６Ａへの登録を省略してもよい。所定割合は、予め定めればよい。この処理により、環境地図情報２６Ａの信頼性を高めることができる。

【0038】

なお、検出点登録部２２は、検出点Ｐの位置情報の算出に用いた各種パラメータを、該位置情報と共に環境地図情報２６Ａに登録することが好ましい。

【0039】

図３に戻り説明を続ける。自己位置推定部２４は、環境地図情報２６Ａに登録されている複数の検出点Ｐの各々の位置情報に基づいて、移動体２の自己位置Ｓを示す自己位置情報を推定する。そして、自己位置推定部２４は、推定した自己位置Ｓの自己位置情報を、環境地図情報２６Ａへ登録する。

【0040】

自己位置情報とは、移動体２の姿勢を示す情報である。移動体２の姿勢は、移動体２の位置および傾きを示す。

【0041】

自己位置推定部２４は、環境地図情報２６Ａに登録されている検出点Ｐの各々の位置情報と、取得部２０を介して検出部１４から取得した最新の検出点Ｐの各々の位置情報とを用いて、これらの位置情報に含まれる対応する検出点Ｐを特定する。対応する検出点Ｐとは、検出部１４による位置情報の取得タイミングが異なるが、実空間では同じ検出点Ｐであることを意味する。自己位置推定部２４は、特定した対応する検出点Ｐの各々の位置情報を用いた三角測量によって、移動体２の自己位置Ｓの自己位置情報を算出する。そして、自己位置推定部２４は、算出した自己位置情報を、環境地図情報２６Ａへ登録する。

【0042】

このため、環境地図情報２６Ａには、移動体２の移動に伴って、新たな検出点Ｐの位置情報、および、自己位置Ｓの自己位置情報が、追加登録されていく。図４には、一例として、自己位置Ｓ１～自己位置Ｓ３の自己位置Ｓを示した。Ｓの後に続く数値の値が大きいほど、より現在のタイミングに近い自己位置Ｓであることを意味する。

【0043】

なお、自己位置推定部２４は、オドメトリを用いて自己位置情報を推定してもよい。この場合、自己位置推定部２４は、前回算出した自己位置情報と、移動体２の移動量と、を用いてオドメトリによる積分計算により、新たな自己位置情報を推定すればよい。なお、自己位置推定部２４は、ＥＣＵ３から取得したＣＡＮデータに含まれる移動体２の移動量を読取ることで、移動量を取得すればよい。

【0044】

このように、本実施形態では、画像処理装置１０は、ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）により、検出点Ｐの位置情報の環境地図情報２６Ａへの登録と、移動体２の自己位置情報の推定とを、同時に実行する。

【0045】

補正部２８は、環境地図情報２６Ａに登録された複数の検出点Ｐの各々の位置情報、および移動体２の自己位置情報を補正する。補正部２８は、該検出点Ｐの取得タイミングより後の取得タイミングで取得した対応する検出点Ｐの各々の位置情報を用いて、環境地図情報２６Ａに登録済の位置情報および自己位置情報を補正する。

【0046】

すなわち、補正部２８は、環境地図情報２６Ａに登録されている検出点Ｐの位置情報を、検出部１４によって再度検出された対応する検出点Ｐの位置情報を用いて補正する。このとき、補正部２８は、環境地図情報２６Ａに登録されている、検出点Ｐの各々の位置情報の算出に用いた各種パラメータを更に用いて、位置情報および自己位置情報を補正してもよい。この補正処理により、補正部２８は、環境地図情報２６Ａに登録されている検出点Ｐの位置情報の誤差を修正する。補正部２８は、最小二乗法などを用いて、環境地図情報２６Ａに登録されている検出点Ｐの位置情報を補正すればよい。補正部２８による補正処理によって、検出点Ｐの位置情報の累積誤差が補正される。

【0047】

補正部２８による補正処理のタイミングは限定されない。例えば、補正部２８は、所定タイミングごとに上記補正処理を実行すればよい。所定タイミングは、例えば、予め設定した条件に基づいて定めてもよい。なお、本実施形態では、画像処理装置１０は、補正部２８を備えた構成である場合を一例として説明する。しかし、画像処理装置１０は、補正部２８を備えない構成であってもよい。

【0048】

次に、決定部３０について説明する。決定部３０は、環境地図情報２６Ａを用いて、投影面の投影形状を決定する。すなわち、決定部３０は、環境地図情報２６Ａに蓄積された検出点Ｐの位置情報を用いて、投影面の投影形状を決定する。

【0049】

投影面とは、移動体２の周辺画像を投影するための立体面である。投影面の投影形状は、実空間に対応する仮想空間に仮想的に形成される立体（３Ｄ）形状である。

【0050】

移動体２の周辺画像とは、移動体２の周辺の撮影画像である。本実施形態では、移動体２の周辺画像は、撮影部１２Ａ～撮影部１２Ｄの各々によって撮影された撮影画像である。

【0051】

本実施形態では、決定部３０は、環境地図情報２６Ａに登録されている検出点Ｐの位置情報に応じて基準投影面を変形した形状を、投影形状として決定する。

【0052】

図５Ａは、基準投影面４０の一例を示す模式図である。基準投影面４０は、例えば、投影面の形状を変更する際に基準となる形状の投影面である。基準投影面４０の形状は、例えば、椀型、円柱型、などである。

【0053】

椀型とは、底面４０Ａと側壁面４０Ｂとを有し、側壁面４０Ｂの一端が該底面４０Ａに連続し、他端が開口された形状である。該側壁面４０Ｂは、底面４０Ａ側から該他端部の開口側に向かって、水平断面の幅が大きくなっている。底面４０Ａは、例えば円形状である。ここで円形状とは、真円形状や、楕円形状等の真円形状以外の円形状、を含む形状である。水平断面とは、鉛直方向（矢印Ｚ方向）に対して直交する直交平面である。直交平面は、矢印Ｚ方向に直交する矢印Ｘ方向、および、矢印Ｚ方向と矢印Ｘ方向に直交する矢印Ｙ方向、に沿った二次元平面である。水平断面および直交平面を、以下では、ＸＹ平面と称して説明する場合がある。なお、底面４０Ａは、例えば卵型のような円形状以外の形状であってもよい。

【0054】

円柱型とは、円形状の底面４０Ａと、該底面４０Ａに連続する側壁面４０Ｂと、からなる形状である。また、円柱型の基準投影面４０を構成する側壁面４０Ｂは、一端部の開口が底面４０Ａに連続し、他端部が開口された円筒状である。但し、円柱型の基準投影面４０を構成する側壁面４０Ｂは、底面４０Ａ側から該他端部の開口側に向かって、ＸＹ平面の直径が略一定の形状である。なお、底面４０Ａは、例えば卵型のような円形状以外の形状であってもよい。

【0055】

本実施形態では、基準投影面４０の形状が、椀型である場合を一例として説明する。基準投影面４０は、底面４０Ａを移動体２の下方の路面に略一致する面とし、該底面４０Ａの中心を移動体２の自己位置Ｓとした仮想空間に仮想的に形成される立体モデルである。

【0056】

決定部３０は、移動体２に最も近い検出点Ｐを通る形状に基準投影面４０を変形した形状を、投影形状として決定する。検出点Ｐを通る形状とは、変形後の側壁面４０Ｂが、該検出点Ｐを通る形状であることを意味する。

【0057】

図５Ｂは、投影形状４１の一例を示す模式図である。決定部３０は、基準投影面４０を、基準投影面４０の底面４０Ａの中心である移動体２の自己位置Ｓに最も近い検出点Ｐを通る形状に変形した形状を、投影形状４１として決定する。該自己位置Ｓは、自己位置推定部２４によって算出された最新の自己位置Ｓである。

【0058】

決定部３０は、環境地図情報２６Ａに登録されている複数の検出点Ｐの内、該自己位置Ｓに最も近い検出点Ｐを特定する。詳細には、移動体２の中心位置（自己位置Ｓ）のＸＹ座標を、（Ｘ，Ｙ）＝（０，０）とする。そして、決定部３０は、Ｘ^２＋Ｙ^２の値が最小値を示す検出点Ｐを、自己位置Ｓに最も近い検出点Ｐとして特定する。そして、決定部３０は、基準投影面４０の側壁面４０Ｂが該検出点Ｐを通る形状となるように変形した形状を、投影形状４１として決定する。

【0059】

具体的には、決定部３０は、基準投影面４０を変形させた際に側壁面４０Ｂの一部の領域が、移動体２に最も近い検出点Ｐを通る壁面となるように、底面４０Ａおよび側壁面４０Ｂの一部の領域の変形形状を投影形状４１として決定する。変形後の投影形状４１は、例えば、底面４０Ａ上の立上りライン４４から底面４０Ａの中心に近づく方向に向かって立上げた形状となる。立上げる、とは、例えば、基準投影面４０の側壁面４０Ｂと底面４０Ａとの成す角度がより小さい角度となるように、該側壁面４０Ｂおよび底面４０Ａの一部を、底面４０Ａの中心に近づく方向に向かって屈曲または折り曲げる事を意味する。

【0060】

決定部３０は、基準投影面４０における特定領域を、ＸＹ平面の視点（平面視）で該検出点Ｐを通る位置に突出させるように変形するよう決定する。特定領域の形状および範囲は、予め定めた基準に基づいて決定してもよい。そして、決定部３０は、突出させた特定領域から、側壁面４０Ｂにおける該特定領域以外の領域に向かって、連続的に自己位置Ｓからの距離が遠くなるように、基準投影面４０を変形した形状とするよう決定する。

【0061】

詳細には、図５Ｂに示すように、ＸＹ平面に沿った断面の外周の形状が曲線形状となるように、投影形状４１を決定することが好ましい。なお、投影形状４１の該断面の外周の形状は、例えば円形状であるが、円形状以外の形状であってもよい。

【0062】

なお、決定部３０は、漸近曲線に沿った形状となるように基準投影面４０を変形した形状を、投影形状４１として決定してもよい。漸近曲線は、複数の検出点Ｐの漸近曲線である。決定部３０は、移動体２の自己位置Ｓに最も近い検出点Ｐから離れる方向に向かって予め定めた数の複数の検出点Ｐの漸近曲線を生成する。この検出点Ｐの数は、複数であればよい。例えば、この検出点Ｐの数は、３つ以上であることが好ましい。また、この場合、決定部３０は、自己位置Ｓから見て所定角度以上離れた位置にある複数の検出点Ｐの漸近曲線を生成することが好ましい。

【0063】

図６は、漸近曲線Ｑの説明図である。図６は、移動体２を上方から鳥瞰した場合において、投影面に撮影画像を投影した投影画像５１に、漸近曲線Ｑを示した例である。例えば、決定部３０が、移動体２の自己位置Ｓに近い順に３つの検出点Ｐを特定したと想定する。この場合、決定部３０は、これらの３つの検出点Ｐの漸近曲線Ｑを生成する。そして、決定部３０は、生成した漸近曲線Ｑに沿った形状となるように基準投影面４０を変形した形状を、投影形状４１として決定すればよい。

【0064】

なお、決定部３０は、移動体２の自己位置Ｓの周囲を特定の角度範囲ごとに区切り、該角度範囲ごとに、移動体２に最も近い検出点Ｐ、または、移動体２に近い順に複数の検出点Ｐを特定してもよい。そして、決定部３０は、該角度範囲ごとに、特定した検出点Ｐを通る形状または特定した複数の検出点Ｐの漸近曲線Ｑに沿った形状となるように基準投影面４０を変形した形状を、投影形状４１として決定してもよい。

【0065】

次に、決定部３０の詳細な構成の一例を説明する。

【0066】

図７は、決定部３０の構成の一例を示す模式図である。決定部３０は、絶対距離換算部３０Ａと、抽出部３０Ｂと、最近傍特定部３０Ｃと、基準投影面形状選択部３０Ｄと、スケール決定部３０Ｅと、漸近曲線算出部３０Ｆと、形状決定部３０Ｇと、を備える。

【0067】

絶対距離換算部３０Ａは、記憶部２６から環境地図情報２６Ａを読取る。絶対距離換算部３０Ａは、読取った環境地図情報２６Ａに含まれる複数の検出点Ｐの各々の位置情報を、移動体２の最新の自己位置Ｓである現在位置から該複数の検出点Ｐの各々までの絶対距離の距離情報に換算する。なお、検出部１４が検出点Ｐの距離情報を取得する場合、絶対距離換算部３０Ａを省略してもよい。

【0068】

詳細には、絶対距離換算部３０Ａは、移動体２のＥＣＵ３から受信したＣＡＮデータに含まれる、移動体２の速度データを用いて、移動体２の現在位置を算出する。

【0069】

具体的には、例えば、絶対距離換算部３０Ａは、ＣＡＮデータに含まれる、移動体２の速度データを用いて、環境地図情報２６Ａに登録されている自己位置Ｓ間の距離を算出する。例えば、図４に示す環境地図情報２６Ａを想定する。この場合、絶対距離換算部３０Ａは、自己位置Ｓ１と自己位置Ｓ２との距離、および、自己位置Ｓ２と自己位置Ｓ３との距離を、ＣＡＮデータに含まれる速度データを用いて算出する。そして、絶対距離換算部３０Ａは、これらの距離を用いて、移動体２の現在位置を算出する。

【0070】

そして、絶対距離換算部３０Ａは、移動体２の現在位置から、環境地図情報２６Ａに含まれる複数の検出点Ｐの各々までの距離である距離情報を算出する。詳細には、絶対距離換算部３０Ａは、環境地図情報２６Ａに含まれる複数の検出点Ｐの各々の位置情報を、移動体２の現在位置からの距離情報に換算する。この処理により、絶対距離換算部３０Ａは、検出点Ｐの各々の絶対距離である距離情報を算出する。

【0071】

そして、絶対距離換算部３０Ａは、算出した複数の検出点Ｐの各々の距離情報を、抽出部３０Ｂへ出力する。また、絶対距離換算部３０Ａは、算出した移動体２の現在位置を、移動体２の自己位置情報として仮想視点視線決定部３４へ出力する。

【0072】

抽出部３０Ｂは、絶対距離換算部３０Ａから距離情報を受け付けた複数の検出点Ｐの内、特定の範囲内に存在する検出点Ｐを抽出する。特定の範囲とは、例えば、移動体２の配置された路面から移動体２の車高に相当する高さまでの範囲である。なお、該範囲は、この範囲に限定されない。

【0073】

抽出部３０Ｂが該範囲内の検出点Ｐを抽出することで、例えば、移動体２の進行の障害となる物体の検出点Ｐを抽出することができる。

【0074】

そして、抽出部３０Ｂは、抽出した検出点Ｐの各々の距離情報を最近傍特定部３０Ｃへ出力する。

【0075】

最近傍特定部３０Ｃは、移動体２の自己位置Ｓの周囲を特定の角度範囲ごとに区切り、角度範囲ごとに、移動体２に最も近い検出点Ｐ、または、移動体２に近い順に複数の検出点Ｐを特定する。最近傍特定部３０Ｃは、抽出部３０Ｂから受付けた距離情報を用いて、検出点Ｐを特定する。本実施形態では、最近傍特定部３０Ｃは、角度範囲ごとに、移動体２に近い順に複数の検出点Ｐを特定する形態を一例として説明する。

【0076】

最近傍特定部３０Ｃは、角度範囲ごとに特定した検出点Ｐの距離情報を、基準投影面形状選択部３０Ｄ、スケール決定部３０Ｅ、および漸近曲線算出部３０Ｆへ出力する。

【0077】

基準投影面形状選択部３０Ｄは、基準投影面４０の形状を選択する。基準投影面形状選択部３０Ｄは、複数種類の基準投影面４０の形状を記憶した記憶部２６から、特定の１つの形状を読取ることで、基準投影面４０の形状を選択する。例えば、基準投影面形状選択部３０Ｄは、自己位置と周囲立体物との位置関係や距離情報などによって基準投影面４０の形状を選択する。なお、ユーザの操作指示により基準投影面４０の形状を選択してもよい。基準投影面形状選択部３０Ｄは、決定した基準投影面４０の形状情報を形状決定部３０Ｇへ出力する。本実施形態では、上述したように、基準投影面形状選択部３０Ｄは、碗型の基準投影面４０を選択する形態を一例として説明する。

【0078】

スケール決定部３０Ｅは、基準投影面形状選択部３０Ｄが選択した形状の基準投影面４０のスケールを決定する。スケール決定部３０Ｅは、例えば、自己位置Ｓから所定の距離の範囲に複数の検出点Ｐがある場合にスケールを小さくするなどの決定をする。スケール決定部３０Ｅは、決定したスケールのスケール情報を形状決定部３０Ｇへ出力する。

【0079】

漸近曲線算出部３０Ｆは、最近傍特定部３０Ｃから受付けた、自己位置Ｓからの角度範囲毎に自己位置Ｓから最も近い検出点Ｐの距離情報のそれぞれを用いて、算出した漸近曲線Ｑの漸近曲線情報を、形状決定部３０Ｇおよび仮想視点視線決定部３４へ出力する。なお、漸近曲線算出部３０Ｆは、基準投影面４０の複数の部分ごとに蓄積された検出点Ｐの漸近曲線Ｑを、算出してもよい。そして、漸近曲線算出部３０Ｆは、算出した漸近曲線Ｑの漸近曲線情報を、形状決定部３０Ｇおよび仮想視点視線決定部３４へ出力してもよい。

【0080】

形状決定部３０Ｇは、基準投影面形状選択部３０Ｄから受付けた形状情報によって示される形状の基準投影面４０を、スケール決定部３０Ｅから受付けたスケール情報のスケールに拡大または縮小する。そして、形状決定部３０Ｇは、拡大または縮小した後の基準投影面４０について、漸近曲線算出部３０Ｆから受付けた漸近曲線Ｑの漸近曲線情報に沿った形状となるように変形した形状を、投影形状４１として決定する。

【0081】

そして、形状決定部３０Ｇは、決定した投影形状４１の投影形状情報を、変形部３２へ出力する。

【0082】

図３に戻り説明を続ける。次に、変形部３２について説明する。変形部３２は、決定部３０から受付けた投影形状情報によって示される投影形状４１に、基準投影面４０を変形する。この変形処理により、変形部３２は、変形された基準投影面４０である変形投影面４２を生成する（図５Ｂ参照）。

【0083】

すなわち、変形部３２は、環境地図情報２６Ａに蓄積された検出点Ｐの位置情報と、移動体２の自己位置情報と、を用いて、基準投影面４０を変形する。

【0084】

詳細には、例えば、変形部３２は、投影形状情報に基づいて、移動体２に最も近い検出点Ｐを通る曲面形状に基準投影面４０を変形する。この変形処理により、変形部３２は、変形投影面４２を生成する。

【0085】

また、例えば、変形部３２は、投影形状情報に基づいて、移動体２に近い順に予め定めた数の複数の検出点Ｐの漸近曲線Ｑに沿った形状に基準投影面４０を変形する。

【0086】

なお、変形部３２は、第１のタイミングより前に取得された検出点Ｐの位置情報と、自己位置Ｓの自己位置情報と、を用いて、基準投影面４０を変形することが好ましい。

【0087】

ここで第１のタイミングとは、検出部１４によって検出点Ｐの位置情報が検出される最新のタイミング、または該最新のタイミングより過去の任意のタイミングである。例えば、第１のタイミングより前に取得された検出点Ｐには移動体２の周辺にある特定の物体の位置情報が含まれ、第１のタイミングに取得された検出点Ｐには該周辺にある特定の物体の位置情報が含まれない。決定部３０は、環境地図情報２６Ａに含まれる、該第１のタイミングより前に取得された検出点Ｐの位置情報を用いて、上記と同様にして投影形状４１を決定すればよい。そして、変形部３２は、該投影形状４１の投影形状情報を用いて、上記と同様にして、変形投影面４２を生成すればよい。

【0088】

この場合、例えば、検出部１４が第１のタイミングで検出した検出点Ｐの位置情報に、該タイミングより過去に検出された検出点Ｐの位置情報が含まれていない場合であっても、変形部３２は、該過去に検出された検出点Ｐに応じた変形投影面４２を生成することができる。

【0089】

次に、投影変換部３６について説明する。投影変換部３６は、変形部３２によって変形された基準投影面４０である変形投影面４２に、撮影部１２から取得した撮影画像を投影した投影画像５１を生成する。

【0090】

詳細には、投影変換部３６は、変形部３２から変形投影面４２の変形投影面情報を受付ける。変形投影面情報とは、変形投影面４２を示す情報である。投影変換部３６は、受付けた変形投影面情報に示される変形投影面４２に、取得部２０を介して撮影部１２から取得した撮影画像を投影する。この投影処理により、投影変換部３６は、投影画像５１を生成する。

【0091】

そして、投影変換部３６は、投影画像５１を仮想視点画像に変換する。仮想視点画像とは、仮想視点から任意の方向に投影画像５１を視認した画像である。

【0092】

図５Ｂを用いて説明する。投影変換部３６は、変形投影面４２に撮影画像５０を投影する。そして、投影変換部３６は、変形投影面４２に投影された撮影画像５０を、任意の仮想視点Ｏから視線方向Ｌに視認した画像である仮想視点画像を生成する（図示せず）。仮想視点Ｏの位置は、例えば、移動体２の最新の自己位置Ｓとすればよい。この場合、仮想視点ＯのＸＹ座標の値を、移動体２の最新の自己位置ＳのＸＹ座標の値とすればよい。また、仮想視点ＯのＺ座標（鉛直方向の位置）の値を、移動体２の自己位置Ｓに最も近い検出点ＰのＺ座標の値とすればよい。視線方向Ｌは、例えば、予め定めた基準に基づいて決定してもよい。

【0093】

視線方向Ｌは、例えば、仮想視点Ｏから移動体２の自己位置Ｓに最も近い検出点Ｐに向かう方向とすればよい。また、視線方向Ｌは、該検出点Ｐを通り且つ変形投影面４２に対して垂直な方向としてもよい。仮想視点Ｏおよび視線方向Ｌを示す仮想視点視線情報は、仮想視点視線決定部３４によって作成される。

【0094】

図３に戻り説明を続ける。仮想視点視線決定部３４は、仮想視点視線情報を決定する。

【0095】

例えば、仮想視点視線決定部３４は移動体２の自己位置Ｓに最も近い検出点Ｐを通り、且つ、変形投影面４２に対して垂直な方向を視線方向Ｌとして決定してもよい。また、仮想視点視線決定部３４は、該視線方向Ｌの方向を固定し、仮想視点Ｏの座標を、任意のＺ座標と、漸近曲線Ｑから自己位置Ｓの方に離れる方向における任意のＸＹ座標として決定してもよい。その場合、該ＸＹ座標は自己位置Ｓよりも漸近曲線Ｑから離れた位置の座標であってもよい。そして、仮想視点視線決定部３４は、仮想視点Ｏおよび視線方向Ｌを示す仮想視点視線情報を、投影変換部３６へ出力する。なお、図６に示すように、視線方向Ｌは、仮想視点Ｏから漸近曲線Ｑの頂点Ｗの位置に向かう方向としてもよい。

【0096】

図３に戻り説明を続ける。投影変換部３６は、仮想視点視線決定部３４から仮想視点視線情報を受付ける。投影変換部３６は、該仮想視点視線情報を受付けることで、仮想視点Ｏおよび視線方向Ｌを特定する。そして、投影変換部３６は、変形投影面４２に投影された撮影画像５０から、該仮想視点Ｏから視線方向Ｌに視認した画像である仮想視点画像を生成する。投影変換部３６は、仮想視点画像を画像合成部３８へ出力する。

【0097】

画像合成部３８は、仮想視点画像の一部または全てを抽出した合成画像を生成する。例えば、画像合成部３８は、仮想視点画像に含まれる、複数の撮影画像５０の重なる部分の幅の決定や、撮影画像５０の張り合わせ処理、重なる部分に表示する撮影画像５０を決定するブレンド処理を行う。これにより、合成画像５４が生成される。そして、画像合成部３８は、合成画像５４を表示部１６へ出力する。なお、合成画像５４は、移動体２の上方を仮想視点Ｏとした鳥瞰画像や、移動体２内を仮想視点Ｏとし、移動体２を半透明に表示するものとしてもよい。

【0098】

次に、画像処理装置１０が実行する画像処理の流れの一例を説明する。

【0099】

図８は、画像処理装置１０が実行する画像処理の流れの一例を示すフローチャートである。

【0100】

取得部２０が、撮影部１２から撮影画像５０を取得する（ステップＳ１００）。また、取得部２０は、複数の検出点Ｐの各々の位置情報を検出部１４から取得する（ステップＳ１０２）。

【0101】

検出点登録部２２は、ステップＳ１０２で取得した位置情報の各々の検出点Ｐの内、環境地図情報２６Ａに登録済の同じ検出点Ｐをスキャンマッチングにより特定する（ステップＳ１０４）。そして、検出点登録部２２は、ステップＳ１０２で取得した検出点Ｐの位置情報の内、環境地図情報２６Ａに未登録の検出点Ｐの位置情報を、環境地図情報２６Ａに登録する（ステップＳ１０６）。

【0102】

自己位置推定部２４は、環境地図情報２６Ａに登録されている複数の検出点Ｐの各々の位置情報と、ステップＳ１０２で取得した位置情報とに基づいて、移動体２の自己位置Ｓを示す自己位置情報を推定する（ステップＳ１０８）。そして、自己位置推定部２４は、推定した自己位置情報を、環境地図情報２６Ａへ登録する（ステップＳ１１０）。

【0103】

補正部２８は、環境地図情報２６Ａに登録されている検出点Ｐの位置情報を、ステップＳ１０２で取得した検出点Ｐの位置情報を用いて補正する（ステップＳ１１２）。なお、上述したように、ステップＳ１１２の補正処理を実行しない形態であってもよい。

【0104】

決定部３０の絶対距離換算部３０Ａは、環境地図情報２６Ａに含まれる複数の検出点Ｐの各々の位置情報を、移動体２の現在位置から該複数の検出点Ｐの各々までの絶対距離の距離情報に換算する（ステップＳ１１４）。

【0105】

抽出部３０Ｂは、絶対距離換算部３０Ａで絶対距離の距離情報を算出された検出点Ｐの内、特定の範囲内に存在する検出点Ｐを抽出する（ステップＳ１１６）。

【0106】

最近傍特定部３０Ｃは、ステップＳ１１６で抽出された検出点Ｐの各々の距離情報を用いて、移動体２の周囲の角度範囲ごとに、移動体２に近い順に複数の検出点Ｐを特定する（ステップＳ１１８）。

【0107】

漸近曲線算出部３０Ｆは、ステップＳ１１８で特定された角度範囲ごとの複数の検出点Ｐの距離情報のそれぞれを用いて、漸近曲線Ｑを算出する（ステップＳ１２０）。

【0108】

基準投影面形状選択部３０Ｄは、基準投影面４０の形状を選択する（ステップＳ１２２）。上述したように、基準投影面形状選択部３０Ｄは、碗型の基準投影面４０を選択する形態を一例として説明する。

【0109】

スケール決定部３０Ｅは、ステップＳ１２２で選択された形状の基準投影面４０のスケールを決定する（ステップＳ１２４）。

【0110】

形状決定部３０Ｇは、ステップＳ１２２で選択された形状の基準投影面４０を、ステップＳ１２４で決定されたスケールに拡大または縮小する。そして、形状決定部３０Ｇは、拡大または縮小した後の基準投影面４０について、ステップＳ１２０で算出された漸近曲線Ｑに沿った形状となるように変形する。形状決定部３０Ｇは、この変形した形状を、投影形状４１として決定する（ステップＳ１２６）。

【0111】

変形部３２は、決定部３０で決定された投影形状４１に、基準投影面４０を変形する（ステップＳ１２８）。この変形処理により、変形部３２は、変形された基準投影面４０である変形投影面４２を生成する（図５Ｂ参照）。

【0112】

仮想視点視線決定部３４は、仮想視点視線情報を決定する（ステップＳ１３０）。例えば、仮想視点視線決定部３４は、移動体２の自己位置Ｓを仮想視点Ｏとし、該仮想視点Ｏから漸近曲線Ｑの頂点Ｗの位置に向かう方向を視線方向Ｌとして決定する。詳細には、仮想視点視線決定部３４は、ステップＳ１２０で角度範囲毎に算出された漸近曲線Ｑの内、特定の１つの角度範囲の漸近曲線Ｑの頂点Ｗに向かう方向を、視線方向Ｌとして決定すればよい。

【0113】

投影変換部３６は、ステップＳ１２８で生成された変形投影面４２に、ステップＳ１００で取得した撮影画像５０を投影する。そして、投影変換部３６は、該投影画像５１を、ステップＳ１３０で決定された仮想視点Ｏから視線方向Ｌに、変形投影面４２に投影した撮影画像５０を視認した画像である仮想視点画像に変換する（ステップＳ１３２）。

【0114】

画像合成部３８は、ステップＳ１３２で生成された仮想視点画像の一部または全てを抽出した合成画像５４を生成する（ステップＳ１３４）。例えば、画像合成部３８は、仮想視点画像に含まれる、複数の撮影画像５０の重なる部分の幅の決定や、撮影画像５０の張り合わせ処理、重なる部分に表示する撮影画像５０を決定するブレンド処理を行う。そして、画像合成部３８は、生成した合成画像５４を表示部１６に出力する表示制御を実行する（ステップＳ１３６）。

【0115】

次に、画像処理装置１０は、画像処理を終了するか否かを判断する（ステップＳ１３８）。例えば、画像処理装置１０は、ＥＣＵ３から移動体２の位置移動停止を示す信号を受信したか否かを判別することで、ステップＳ１３８の判断を行う。また、例えば、画像処理装置１０は、ユーザによる操作指示などによって画像処理の終了指示を受付けたか否かを判別することで、ステップＳ１３８の判断を行ってもよい。

【0116】

ステップＳ１３８で否定判断すると（ステップＳ１３８：Ｎｏ）、上記ステップＳ１００へ戻る。ステップＳ１３８で肯定判断すると（ステップＳ１３８：Ｙｅｓ）、本ルーチンを終了する。なお、ステップＳ１１２の補正処理を実行した後にステップＳ１３８からステップＳ１００へ戻る場合、その後のステップＳ１１２の補正処理を省略する場合があってもよい。また、ステップＳ１１２の補正処理を実行せずにステップＳ１３８からステップＳ１００へ戻る場合、その後のステップＳ１１２の補正処理を実行する場合があってもよい。

【0117】

次に、本実施形態の画像処理装置１０が実行する画像処理の具体例を、タイミングチャートを用いて説明する。

【0118】

図９Ａは、状況Ｔ１～状況Ｔ４のタイミングの各々で撮影された撮影画像５０の一例を示す図である。図９Ａにおける撮影画像５０のそれぞれは、例えば移動体２の撮影部１２Ｄによって撮影されたものである。状況Ｔ１～状況Ｔ４は、柱Ｃの近くの駐車スペースに移動体２を駐車させる状況を想定している。なお、Ｔの後に続く数値が大きいほど、後のタイミングであることを意味する。すなわち、状況Ｔ１から状況Ｔ４に向かって、後のタイミングの状況であることを示す。撮影画像５０Ｔ１～撮影画像５０Ｔ４は、状況Ｔ１～状況Ｔ４の各々のタイミングで撮影された撮影画像５０の一例である。

【0119】

状況Ｔ１のタイミングでは、実空間に存在する柱Ｃが検出部１４によって未検出である。すなわち、状況Ｔ１のタイミングでは、柱Ｃは検出部１４の検出領域Ｆ外である。また、状況Ｔ２および状況Ｔ３のタイミングでは、実空間に存在する柱Ｃが検出部１４の検出領域Ｆ内に存在する。状況Ｔ４のタイミングでは、実空間に存在する柱Ｃが検出部１４の検出領域Ｆ外に存在する。

【0120】

図９Ｂは、画像処理装置１０が状況Ｔ１～状況Ｔ４のタイミング毎に出力する合成画像５４の一例を示す模式図である。合成画像５４Ｔ１～合成画像５４Ｔ４は、各々、状況Ｔ１～状況Ｔ４の各々のタイミングに対応する合成画像５４の一例である。

【0121】

図９Ｃは、画像処理装置１０による画像処理のタイミングチャートの一例を示す模式図である。

【0122】

図９Ｃ中、“ＤＲ”は、環境地図情報２６Ａの読取処理を意味する。“ＳＭ”は、検出点登録部２２によるスキャンマッチングを意味する。“ＭＷ”は、検出点登録部２２による環境地図情報２６Ａへの位置情報の登録処理を意味する。“ＰＯ”は、自己位置推定部２４による移動体２の自己位置情報の推定処理を意味する。“ＰＷ”は、自己位置推定部２４による自己位置情報の環境地図情報２６Ａへの登録を意味する。“ＤＷ”は、補正部２８による環境地図情報２６Ａの位置情報の更新処理を意味する。

【0123】

また、図９Ｃ中、“検出点登録処理”は、検出点登録部２２による環境地図情報２６Ａへの検出点Ｐの位置情報の登録処理である。“自己位置推定処理”は、自己位置推定部２４による移動体２の自己位置情報の推定処理および環境地図情報２６Ａへの登録処理である。“補正処理”は、補正部２８による位置情報の補正処理である。“表示制御処理”は、取得部２０による撮影画像５０の取得、決定部３０による投影形状４１の決定（投影形状決定）、変形部３２による基準投影面４０の変形（投影形状変換）、投影変換部３６による仮想視点画像の生成（投影変換）、画像合成部３８による合成画像５４の生成（合成画像生成）、画像合成部３８による合成画像５４の表示制御、を含む処理である。

【0124】

なお、図９Ｃに示される状況Ｔ５は、状況Ｔ４の後のタイミングの状況であり、実空間に存在する柱Ｃが検出部１４の検出領域外に存在する状況を想定している。

【0125】

図９Ｃに示すように、状況Ｔ１～状況Ｔ５の各々のタイミングごとに、各々の状況の撮影画像５０（撮影画像５０Ｔ１～撮影画像５０Ｔ４）および検出点Ｐの位置情報を用いた処理が実行される。このため、環境地図情報２６Ａには、各タイミングで検出された複数の検出点Ｐの各々の位置情報が、順次追加登録されていく。また、環境地図情報２６Ａには、推定された自己位置情報が順次登録される。

【0126】

そして、画像処理装置１０は、状況Ｔ１～状況Ｔ５の各々のタイミングごとに、環境地図情報２６Ａに登録されている検出点Ｐの位置情報および自己位置Ｓの自己位置情報を用いて、上記表示制御処理を実行する。

【0127】

すなわち、環境地図情報２６Ａには、一度検出された検出点Ｐの位置情報が順次蓄積されていく。そして、画像処理装置１０は、環境地図情報２６Ａを用いて基準投影面４０を変形し、上記表示制御処理を実行する。

【0128】

このため、図９Ａおよび図９Ｂに示すように、実空間に存在する柱Ｃが検出部１４の検出領域Ｆ内に存在する状況Ｔ２および状況Ｔ３の場合、画像処理装置１０は、合成画像５４Ｔ２および合成画像５４Ｔ３の各々を出力する。合成画像５４Ｔ２および合成画像５４Ｔ３には、柱Ｃを写した像Ｃ’が含まれる。更に、実空間に存在する柱Ｃが検出部１４の検出領域Ｆ外に存在する状況Ｔ４へ移行した場合であっても、画像処理装置１０は、柱Ｃの位置情報に基づいて投影面の形状が変形された合成画像５４Ｔ４を出力することができる。これは、本実施形態の画像処理装置１０が、移動体２の周辺の検出点Ｐの蓄積された位置情報を用いて変形した変形投影面４２を用いて、合成画像５４を生成するためである。

【0129】

以上説明したように、本実施形態の画像処理装置１０の変形部３２は、移動体２の周辺の複数の検出点Ｐを蓄積した位置情報と、移動体２の自己位置情報と、を用いて、移動体２の周辺画像の投影面である予め定められた形状の基準投影面４０を変形する。

【0130】

移動体２の移動などによって移動体２の周辺の物体の一部が検出点Ｐの検出領域Ｆ外に位置する場合がある。しかし、本実施形態の画像処理装置１０は、移動体２の周辺の検出点Ｐを蓄積した位置情報を用いて、基準投影面４０を変形する。このため、画像処理装置１０は、移動体２の周辺の物体に応じて基準投影面４０を変形することができる。

【0131】

一方、従来技術では、物体に応じて投影面（基準投影面４０）を変形することが困難な場合があった。

【0132】

図１０Ａ、図１０Ｂ、図１１Ａ、および図１１Ｂは、従来の投影面の変形処理の一例の説明図である。図１０Ａおよび図１０Ｂは、移動体２を矢印Ｂ方向に進行させていくときの、検出部１４の検出領域Ｆと周囲の物体との位置関係の一例の模式図である。図１０Ａおよび図１０Ｂには、周囲の物体として、柱Ｃを一例として示した。

【0133】

例えば、図１０Ａに示す位置関係の場合には、検出部１４の検出領域Ｆ内に、柱Ｃが存在する。この場合、従来技術では、該検出領域Ｆの検出結果に応じて基準投影面４０を変形することで、例えば、図１１Ａに示す合成画像５３０Ａを出力する。合成画像５３０Ａは、従来の合成画像５３０の一例である。合成画像５３０Ａには、柱Ｃを写した像Ｃ’が含まれる。

【0134】

しかし、図１０Ｂに示すように、移動体２の矢印Ｂ方向への進行によって、柱Ｃが検出部１４の検出領域Ｆ外となる場合がある。この場合、検出領域Ｆ内に柱Ｃが存在しないため、従来技術では、柱Ｃに応じた基準投影面４０の変形を行う事が出来なかった。このため、従来技術では、例えば、図１１Ｂに示す合成画像５３０Ｂを出力していた。合成画像５３０Ｂは、従来の合成画像５３０の一例である。合成画像５３０Ｂには、柱Ｃを写した像Ｃ’が含まれていない。また、基準投影面４０が柱Ｃに応じて変形されていないため、合成画像５３０Ｂにおける、柱Ｃに相当する領域ＣＡ’が歪んだ画像となる。

【0135】

このように、従来技術では、実際の物体との距離に応じて投影面（基準投影面４０）を変形することが困難な場合があった。

【0136】

一方、本実施形態の画像処理装置１０は、移動体２の周辺の検出点Ｐを蓄積した位置情報と、移動体２の自己位置情報と、を用いて、基準投影面４０を変形する。

【0137】

図１２Ａ、図１２Ｂ、図１３Ａ、および図１３Ｂは、本実施形態の画像処理装置１０による基準投影面４０の変形の説明図である。図１２Ａおよび図１２Ｂは、環境地図情報２６Ａの一例を示す模式図である。図１２Ａは、図１０Ａの位置関係であるときの環境地図情報２６Ａの一例を示す模式図である。図１２Ｂは、図１０Ｂの位置関係であるときの環境地図情報２６Ａの一例を示す模式図である。

【0138】

例えば、図１０Ａに示す位置関係の場合には、検出部１４の検出領域Ｆ内に柱Ｃが存在する。また、環境地図情報２６Ａには、新たに検出された検出点Ｐの位置情報が追加して登録されていく。このため、図１０Ａに示す位置関係の時には、環境地図情報２６Ａには、柱Ｃの複数の検出点Ｐが登録された状態となる（図１２Ａ参照）。

【0139】

そして、本実施形態の画像処理装置１０は、検出点Ｐの位置情報を蓄積した環境地図情報２６Ａを用いて基準投影面４０を変形する。このため、本実施形態の画像処理装置１０は、図１０Ａに示す位置関係の時には、例えば、図１３Ａに示す合成画像５４Ａを出力する。合成画像５４Ａは、本実施形態の合成画像５４の一例である。合成画像５４Ａには、柱Ｃを写した像Ｃ’が含まれる。

【0140】

また、移動体２の矢印Ｂ方向への進行によって、柱Ｃが検出領域Ｆ外となった場合を想定する（図１０Ｂ参照）。環境地図情報２６Ａには、既に検出済の検出点Ｐの位置情報が登録されたままの状態で、新たに検出された検出点Ｐの位置情報が追加して登録されていく。このため、図１０Ｂに示す位置関係の時には、環境地図情報２６Ａには、検出領域Ｆ外に位置する柱Ｃの検出点Ｐも登録された状態となっている（図１２Ｂ参照）。

【0141】

そして、本実施形態の画像処理装置１０は、検出点Ｐの位置情報を蓄積した環境地図情報２６Ａを用いて基準投影面４０を変形する。すなわち、画像処理装置１０では、柱Ｃが検出領域Ｆ外となった場合であっても、蓄積した検出点Ｐの位置情報と推定した自己位置Ｓの自己位置情報を用いて、移動体２と検出点Ｐとの位置関係（距離情報）を算出することができる。また、画像処理装置１０では、柱Ｃが検出領域Ｆ外となった場合であっても、新たに検出された他の物体の検出点Ｐ（例えば、壁Ｄなどの検出点Ｐ）を用いて、移動体２の自己位置情報を推定することができる。そして、画像処理装置１０は、算出した距離情報および自己位置情報を用いることで、検出領域Ｆ外となった柱Ｃを適切に表示するように、基準投影面４０を変形することができる。

【0142】

このため、本実施形態の画像処理装置１０は、図１０Ｂに示す位置関係の時には、例えば、図１３Ｂに示す合成画像５４Ｂを出力する。合成画像５４Ｂは、本実施形態の合成画像５４の一例である。合成画像５４Ｂには、柱Ｃを写した像Ｃ’が含まれる。また、基準投影面４０が柱Ｃに応じて変形されるため、合成画像５４Ｂにおける柱Ｃに相当する領域に含まれる歪みが、従来技術（図１１Ｂ参照）に比べて抑制されたものとなる。

【0143】

従って、本実施形態の画像処理装置１０は、物体に応じて投影面である基準投影面４０を変形することができる。

【0144】

また、本実施形態の画像処理装置１０は、物体が検出領域Ｆ外に存在する場合であっても、物体に応じて基準投影面４０を変形することができる。

【0145】

また、上述したように、本実施形態の画像処理装置１０では、検出点登録部２２は、検出部１４から取得した検出点Ｐの位置情報の内、環境地図情報２６Ａに未登録の検出点Ｐの位置情報を、環境地図情報２６Ａに追加して登録する。また、決定部３０の絶対距離換算部３０Ａは、環境地図情報２６Ａに含まれる複数の検出点Ｐの各々の位置情報を、移動体２の現在位置からの絶対距離の距離情報に換算する。この処理により、絶対距離換算部３０Ａは、検出点Ｐの各々の絶対距離である距離情報を算出する。

【0146】

このため、移動体２の移動に応じて過去の自己位置Ｓにおける検出点Ｐまでの距離情報と、現在の自己位置Ｓにおける該検出点Ｐまでの距離情報と、が不一致となることが抑制される。このため、本実施形態の画像処理装置１０は、絶対距離換算部３０Ａが算出した距離情報を用いて基準投影面４０を変形することで、物体に応じて基準投影面４０を変形することができる。

【0147】

また、上述したように、決定部３０は、移動体２に最も近い検出点Ｐを通る曲面形状となるように基準投影面４０を変形した形状を、投影形状４１として決定することができる。言い換えると、決定部３０は、基準投影面４０における、該検出点ＰをＸＹ平面に沿った方向に投影した点を含む特定領域を、該検出点Ｐを通る位置に突出させる。そして、決定部３０は、突出させた特定領域から、側壁面４０Ｂにおける該特定領域以外の領域に向かって、連続的に自己位置Ｓからの距離が遠くなるように、基準投影面４０を変形した形状とすることができる。

【0148】

基準投影面４０の側壁面４０Ｂに対して該特定領域のみを突出させた形状の投影形状４１とした場合、該特定領域と該特定領域以外の領域との境界が不自然に非連続な合成画像５４が生成される場合がある。このため、決定部３０が該検出点Ｐを通る曲面形状となるように基準投影面４０を変形した形状を投影形状４１として決定することで、自然な合成画像５４を提供することができる。

【0149】

また、上述したように、本実施形態の画像処理装置１０の仮想視点視線決定部３４は、移動体２の自己位置Ｓを仮想視点Ｏとして決定し、移動体２の自己位置Ｓに最も近い検出点Ｐを通り且つ変形投影面４２に対して垂直な方向を視線方向Ｌとして決定することができる。そして、投影変換部３６は、投影画像５１を、該仮想視点Ｏから視線方向Ｌに視認した画像である仮想視点画像に変換する。

【0150】

ここで、視線方向Ｌの下流側端部を移動体２の自己位置Ｓから最も近い検出点Ｐに固定し、視線方向Ｌの変形投影面４２に対する角度を変動可能とした場合を想定する。この場合、合成画像５４における、変形投影面４２の立上りライン４４（図５Ｂ参照）に相当する領域に歪みが発生する場合がある。

【0151】

図１４Ａ～図１４Ｃは、視線方向Ｌの決定の一例の説明図である。

【0152】

図１４Ａは、仮想視点Ｏから移動体２に最も近い検出点Ｐへ向かう方向である視線方向Ｌが、変形投影面４２に対して垂直の関係である場合の、合成画像５４Ｅの一例を示す模式図である。合成画像５４Ｅは、合成画像５４の一例である。合成画像５４Ｅには、実空間に存在する直線を写したライン４５が含まれる。この場合、図１４Ａに示すように、合成画像５４Ｅにおける、変形投影面４２の立上りライン４４（図５Ｂも参照）に相当する領域に歪みは含まれない。このため、合成画像５４Ｅにおける、実空間に存在する直線を写したライン４５は、実空間に存在する該直線と同様に直線状のラインとなる。

【0153】

図１４Ｂは、移動体２の移動などによって、視線方向Ｌが変形投影面４２に対して９０°未満（例えば４５°以下）の角度となった場合の、視線方向Ｌと変形投影面４２との関係の一例を示す模式図である。図１４Ｃは、仮想視点Ｏと視線方向Ｌを図１４Ｂの位置関係とした場合の、合成画像５４Ｆの一例を示す模式図である。合成画像５４Ｆは、合成画像５４の一例である。この場合、合成画像５４Ｆにおける、実空間に存在する直線を写したライン４５は、変形投影面４２の立上りライン４４に相当する領域を境に歪んだラインとなる。

【0154】

そこで、本実施形態の仮想視点視線決定部３４は、移動体２の自己位置Ｓを仮想視点Ｏとして決定し、移動体２の自己位置Ｓに最も近い検出点Ｐを通り且つ変形投影面４２に対して垂直な方向を視線方向Ｌとして決定することが好ましい。そして、投影変換部３６は、投影画像５１を、該仮想視点Ｏから視線方向Ｌに視認した画像である仮想視点画像に変換することが好ましい。

【0155】

この場合、移動体２が移動した場合であっても、視線方向Ｌは、変形投影面４２に対して垂直な方向となるように維持される（図５Ｂ参照）。このため、図１４Ａに示すように、合成画像５４Ｅは、変形投影面４２の立上りライン４４に相当する領域に歪みを含まない画像となる。このため、合成画像５４Ｅにおける、実空間に存在する直線を写したライン４５は、実空間に存在する該直線と同様に直線状のラインとなる。

【0156】

このため、本実施形態の画像処理装置１０は、上記効果に加えて、合成画像５４の精度向上を図ることができる。

【0157】

ここで、移動体２の周辺の互いに異なる方向の各々に、柱Ｃなどの物体が含まれる場合がある。この様な状態の場合に、仮想視点Ｏから最も近い１つの検出点Ｐへ向かう方向を視線方向Ｌとすると、実空間に存在するこれらの物体の内の少なくとも１つを含まない合成画像５４となる場合がある。

【0158】

図１５Ａは、撮影画像５０Ｈの一例を示す図である。撮影画像５０Ｈは、撮影画像５０の一例である。撮影画像５０Ｈには、複数の物体Ｃ１および物体Ｃ２が含まれる場合を想定する。

【0159】

この場合、移動体２に対して最も近い位置に存在する検出点Ｐへ向かう方向を視線方向Ｌとすると、図１５Ｂに示す合成画像５４Ｈが出力される場合がある。図１５Ｂは、合成画像５４Ｈの一例を示す模式図である。合成画像５４Ｈは、合成画像５４の一例である。

【0160】

図１５Ｂに示すように、合成画像５４には、物体Ｃ２を写した像Ｃ２’は含まれるが、物体Ｃ１を写した像Ｃ１’が含まれない状態となる。

【0161】

そこで、決定部３０は、移動体２の自己位置Ｓに近い順に予め定めた数の複数の検出点Ｐの漸近曲線Ｑに沿った形状となるように変形した形状を、投影形状４１として決定することができる。そして、仮想視点視線決定部３４は、移動体２の自己位置Ｓを仮想視点Ｏとし、該仮想視点Ｏから漸近曲線Ｑの頂点Ｗの位置に向かう方向を視線方向Ｌとして決定することができる。

【0162】

視線方向Ｌを頂点Ｗの位置に向かう方向とすることで、図６に示すように、投影画像５１および合成画像５４は複数の物体の像Ｃ１’および像Ｃ２’を写した画像となる。このため、本実施形態の画像処理装置１０は、上記効果に加えて、更に、合成画像５４の精度向上を図ることができる。

【0163】

また、上述したように、本実施形態では、検出点登録部２２によるスキャンマッチングの結果、環境地図情報２６Ａに登録済の検出点Ｐと、新たに取得した検出点Ｐと、が所定割合以上不一致である場合、該新たに取得した検出点Ｐの位置情報を破棄することができる。このため、本実施形態の画像処理装置１０は、上記効果に加えて、環境地図情報２６Ａの信頼性を高めることができる。また、画像処理装置１０は、変形投影面４２の時間方向での揺らぎを抑制することができ、合成画像５４の安定化を図ることができる。

【0164】

（第２の実施形態）
上記第１の実施形態では、検出部１４で検出点Ｐの位置情報を検出する形態を一例として説明した。本実施形態では、撮影部１２による撮影画像５０から検出点Ｐの位置情報を取得する形態を説明する。

【0165】

図１６は、本実施形態の画像処理装置１１の機能的構成の一例を示す図である。画像処理装置１１は、第１の実施形態の画像処理装置１０と同様に、撮影部１２および表示部１６とデータまたは信号を授受可能に接続されている。撮影部１２および表示部１６は、第１の実施形態と同様である。なお、本実施形態では、撮影部１２は、単眼カメラである場合を想定して説明する。

【0166】

図１６には、データの入出力関係を明確にするために、画像処理装置１１に加えて、撮影部１２、および表示部１６を併せて図示した。

【0167】

画像処理装置１１は、取得部２１と、選択部２３と、マッチング部２５と、自己位置推定部２７と、検出点登録部２９と、記憶部２６と、補正部２８と、決定部３０と、変形部３２と、仮想視点視線決定部３４と、投影変換部３６と、画像合成部３８と、を備える。

【0168】

上記複数の各部の一部または全ては、例えば、ＣＰＵ１０Ａなどの処理装置にプログラムを実行させること、すなわち、ソフトウェアにより実現してもよい。また、上記複数の各部の一部または全ては、ＩＣなどのハードウェアにより実現してもよいし、ソフトウェアおよびハードウェアを併用して実現してもよい。

【0169】

記憶部２６、補正部２８、決定部３０、変形部３２、仮想視点視線決定部３４、投影変換部３６、および画像合成部３８は、第１の実施形態と同様である。記憶部２６は、環境地図情報２６Ａを記憶する。環境地図情報２６Ａは、第１の実施形態と同様である。

【0170】

取得部２１は、撮影部１２から撮影画像５０を取得する。取得部２１は、撮影部１２（撮影部１２Ａ～撮影部１２Ｄ）の各々から撮影画像５０を取得する。

【0171】

取得部２１は、撮影画像５０を取得するごとに、取得した撮影画像５０を投影変換部３６および選択部２３へ出力する。

【0172】

選択部２３は、検出点Ｐの検出領域を選択する。本実施形態では、選択部２３は、複数の撮影部１２（撮影部１２Ａ～撮影部１２Ｄ）の内、何れかの撮影部１２を選択することで、検出領域を選択する。

【0173】

本実施形態では、選択部２３は、ＥＣＵ３から受信したＣＡＮデータに含まれる車両状態情報、検出方向情報、または、ユーザによる操作指示によって入力された指示情報を用いて、何れか１つの撮影部１２を選択する。

【0174】

車両状態情報は、例えば、移動体２の進行方向、移動体２の方向指示の状態、移動体２のギアの状態、などを示す情報である。車両状態情報は、ＣＡＮデータから導出可能である。検出方向情報は、注目すべき情報を検出した方向を示す情報であり、ＰＯＩ（Ｐｏｉｎｔ ｏｆ Ｉｎｔｅｒｅｓｔ）技術により導出可能である。指示情報は、注目すべき方向を示す情報であり、ユーザによる操作指示によって入力される。

【0175】

例えば、選択部２３は、車両状態情報を用いて、検出領域の方向を選択する。具体的には、選択部２３は、車両状態情報を用いて、移動体２の後方駐車を示す後方駐車情報、縦列駐車を示す縦列駐車情報、などの駐車情報を特定する。選択部２３は、駐車情報と、何れか１つの撮影部１２の識別情報と、を対応付けて予め記憶する。例えば、選択部２３は、後方駐車情報に対応付けて、移動体２の後方を撮影する撮影部１２Ｄ（図１参照）の識別情報を予め記憶する。また、選択部２３は、縦列駐車情報に対応付けて、移動体２の左右方向を撮影する撮影部１２Ｂおよび撮影部１２Ｃ（図１参照）の各々の識別情報を予め記憶する。

【0176】

そして、選択部２３は、受付けた車両状態情報から導出した駐車情報に対応する撮影部１２を選択することで、検出領域の方向を選択する。

【0177】

また、選択部２３は、検出方向情報によって示される方向を撮影領域Ｅとする撮影部１２を選択してもよい。また、選択部２３は、ＰＯＩ技術により導出された検出方向情報によって示される方向を撮影領域Ｅとする撮影部１２を選択してもよい。

【0178】

選択部２３は、取得部２１で取得した撮影画像５０の内、選択した撮影部１２で撮影された撮影画像５０をマッチング部２５へ出力する。

【0179】

マッチング部２５は、撮影タイミングの異なる複数の撮影画像５０について、特徴量の抽出処理と、各画像間のマッチング処理とを行う。詳細には、マッチング部２５は、これらの複数の撮影画像５０から特徴量抽出処理を行う。そして、撮影タイミングの異なる複数の撮影画像５０について、それぞれの間で特徴量を用いて、該複数の撮影画像５０間の対応する点を特定するマッチング処理を行う。そして、マッチング部２５は、該マッチング処理結果を自己位置推定部２７へ出力する。また、マッチング部２５は、特定された、複数の撮影画像５０間の対応する点の情報を、環境地図情報２６Ａに登録する。

【0180】

自己位置推定部２７は、マッチング部２５から取得したマッチング処理結果に含まれる、対応すると特定された点の情報を用いて、三角測量により、移動体２の自己位置情報を推定する。自己位置情報には、例えば、異なる撮影タイミングのそれぞれに対応する移動体２の位置や撮影部１２の向きなどの情報が含まれる。

【0181】

そして、自己位置推定部２７は、算出した自己位置情報を、環境地図情報２６Ａへ登録する。

【0182】

検出点登録部２９は、自己位置推定部２７により推定された、異なる撮影タイミングのそれぞれに対応する移動体２の自己位置情報を用いて、移動体２の移動量（並進量および回転量）を求める。そして、該移動量から、マッチング部２５により特定された複数の撮影画像５０間の対応する点の、移動体２の自己位置に対する相対的な座標を求める。そして、検出点登録部２９は、該座標を検出点Ｐの座標として、環境地図情報２６Ａに登録する。なお、環境地図情報２６Ａに登録される検出点Ｐの座標は、所定位置を原点とした座標に変換されたものであってもよい。

【0183】

このように、本実施形態では、画像処理装置１１は、Ｖｉｓｕａｌ ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）により、撮影部１２で撮影された撮影画像５０から検出点Ｐの位置情報と移動体２の自己位置情報とを同時に推定する。

【0184】

なお、決定部３０による投影形状４１の決定タイミングは限定されない。例えば、本実施形態では、決定部３０は、移動体２の移動によって、選択部２３で選択した検出領域に含まれる被写体の大きさがより大きくなるタイミングで得られた撮影画像５０を用いて、投影形状４１を決定してもよい。

【0185】

次に、画像処理装置１１が実行する画像処理の流れの一例を説明する。

【0186】

図１７は、画像処理装置１１が実行する画像処理の流れの一例を示すフローチャートである。

【0187】

取得部２１が、撮影部１２から撮影画像５０を取得する（ステップＳ２００）。

【0188】

選択部２３は、複数の撮影部１２（撮影部１２Ａ～撮影部１２Ｄ）の内、何れかの撮影部１２を選択する（ステップＳ２０２）。

【0189】

マッチング部２５は、ステップＳ２００で取得した撮影画像５０の内、ステップＳ２０２で選択された撮影部１２で撮影された、撮影タイミングの異なる複数の撮影画像５０を用いて、特徴量の抽出とマッチング処理を行う（ステップＳ２０４）。また、マッチング部２５は、マッチング処理により特定された、撮影タイミングの異なる複数の撮影画像５０間の対応する点の情報を、環境地図情報２６Ａに登録する。

【0190】

自己位置推定部２７は、環境地図情報２６Ａを読取り（ステップＳ２０６）、該環境地図情報２６Ａに登録されている、対応すると特定された点の情報を用いて、三角測量により、異なる撮影タイミングのそれぞれに対応する移動体２の自己位置情報を推定する（ステップＳ２０８）。

【0191】

そして、自己位置推定部２７は、算出した自己位置情報を、環境地図情報２６Ａへ登録する（ステップＳ２１０）。

【0192】

検出点登録部２９は、環境地図情報２６Ａを読取り（ステップＳ２１２）、異なる撮影タイミングのそれぞれに対応する移動体２の自己位置情報を用いて、移動体２の移動量（並進量および回転量）を求める。そして、該移動量から、ステップＳ２０４のマッチング処理により特定された、撮影タイミングの異なる複数の撮影画像５０間の対応する点の、移動体２の自己位置に対する相対的な座標を求める。そして、検出点登録部２９は、該座標を検出点Ｐの座標として、環境地図情報２６Ａへ登録する（ステップＳ２１４）。なお、環境地図情報２６Ａに登録される検出点Ｐの座標は、所定位置を原点とした座標に変換されたものであってもよい。

【0193】

そして、画像処理装置１１は、第１の実施形態のステップＳ１１２～ステップＳ１３８と同様にして、ステップＳ２１６～ステップＳ２４２の処理を実行し、本ルーチンを終了する。なお、ステップＳ２１６の補正処理を実行した後にステップＳ２４２からステップＳ２００へ戻る場合、その後のステップＳ２１６の補正処理を省略する場合があってもよい。また、ステップＳ２１６の補正処理を実行せずにステップＳ２４２からステップＳ２００へ戻る場合、その後のステップＳ２１６の補正処理を実行する場合があってもよい。

【0194】

図１８は、画像処理装置１１による画像処理のタイミングチャートの一例を示す模式図である。

【0195】

図１８中、“ＣＩ”は、撮影画像の取得を意味する。“ＲＩ”は、ユーザによる操作指示によって入力された指示情報の取得を意味する。“ＲＣ”は、取得部２１によるＣＡＮデータの取得を意味する。“ＳＣ”は、選択部２３による撮影部１２の選択処理を意味する。“ＦＭ”は、マッチング部２５による特徴量の抽出処理およびマッチング処理を意味する。“ＲＤ”は、環境地図情報２６Ａの読取処理を意味する。“ＰＯ”は、自己位置推定部２７による自己位置情報の推定処理を意味する。“ＷＰ”は、自己位置推定部２７による自己位置情報の環境地図情報２６Ａへの登録を意味する。“ＣＭ”は、環境地図情報２６Ａの作成処理を意味する。“ＷＭ”は、環境地図情報２６Ａへの書込処理を意味する。“ＷＤ”は、環境地図情報２６Ａへの検出点Ｐの位置情報と自己位置情報の書込処理を意味する。

【0196】

また、図１８中、“ＲＳ”は、絶対距離換算部３０Ａによる、ＣＡＮデータに含まれる移動体２の速度データの読取処理を意味する。“ＡＤ”は、絶対距離換算部３０Ａによる、検出点Ｐの各々の絶対距離である距離情報の算出処理を意味する。“２Ｄ”は、抽出部３０Ｂによる、特定の範囲内に存在する検出点Ｐの抽出処理を意味する。“ＤＤ”は、最近傍特定部３０Ｃによる、移動体２に最も近い検出点Ｐ、または、移動体２に近い順に複数の検出点Ｐの特定処理を意味する。なお、“ＤＤ”は、移動体２の自己位置Ｓから見た角度範囲ごとに最も近い検出点Ｐを特定する処理、または移動体２に近い順に複数の検出点Ｐを特定する処理、を意味してもよい。“ＣＢ”は、基準投影面形状選択部３０Ｄによる、基準投影面４０の形状の選択処理を意味する。“ＣＳ”は、スケール決定部３０Ｅによつ、基準投影面４０のスケール決定処理を意味する。“ＣＣ”は、漸近曲線算出部３０Ｆによる漸近曲線Ｑの算出処理を意味する。“ＤＳ”は、形状決定部３０Ｇによる、投影形状４１の決定処理を意味する。“ＶＰ”は、仮想視点視線決定部３４による、仮想視点視線情報の決定処理を意味する。

【0197】

また、図１８“検出点登録処理”は、検出点登録部２９よる環境地図情報２６Ａへの検出点Ｐの位置情報の登録処理である。“自己位置推定処理”は、自己位置推定部２７よる移動体２の自己位置情報の推定処理および環境地図情報２６Ａへの登録処理である。“補正処理”は、補正部２８による検出点Ｐの位置情報または移動体２の自己位置情報の補正処理である。“表示制御処理”は、取得部２０による撮影画像５０の取得、決定部３０による投影形状４１の決定（投影形状決定）、変形部３２による基準投影面４０の変形（投影形状変換）、投影変換部３６による仮想視点画像の生成（投影変換）、画像合成部３８による合成画像５４の生成（合成画像生成）、画像合成部３８による合成画像５４の表示制御、を含む処理である。また、図１８に示される状況Ｔ１～状況Ｔ４は、上記第１の実施形態と同様である。

【0198】

図１８に示すように、状況Ｔ１～状況Ｔ４の各々のタイミングごとに、各々の状況の撮影画像５０を用いた処理が実行される。このため、環境地図情報２６Ａには、各タイミングで検出された複数の検出点Ｐの各々の位置情報が、順次追加登録されていく。また、環境地図情報２６Ａには、推定された自己位置情報が順次登録される。

【0199】

そして、画像処理装置１０は、状況Ｔ１～状況Ｔ４の各々のタイミングごとに、環境地図情報２６Ａに登録されている検出点Ｐの位置情報および自己位置Ｓの自己位置情報を用いて、上記表示制御処理を実行する。

【0200】

すなわち、本実施形態の画像処理装置１１は、Ｖｉｓｕａｌ ＳＬＡＭにより、撮影部１２で撮影された撮影画像５０から検出点Ｐの位置情報と移動体２の自己位置情報とを同時に推定し、環境地図情報２６Ａへ登録する。

【0201】

ここで、従来技術では、実際の物体との距離に応じて投影面（基準投影面４０）を変形することが困難な場合があった。

【0202】

具体的には、図１０Ｂおよび図１１Ｂを用いて説明したように、従来技術では、基準投影面４０が検出領域Ｆ外の柱Ｃに応じて変形されないため、従来の合成画像５３０Ｂにおける、柱Ｃに相当する領域ＣＡ’が歪んだ画像となっていた。

【0203】

一方、第２の実施形態の画像処理装置１１では、撮影部１２で撮影された過去の物体の検出点Ｐの位置情報も環境地図情報２６Ａに蓄積される。このため、画像処理装置１１では、撮影部１２で撮影された現在の画像に物体が写っていない場合も、過去の物体の検出点Ｐの位置情報に基づいて投影面の形状が変形された合成画像５４を提供することができる。

【0204】

図１９は、画像処理装置１１が出力する合成画像５４Ｈの一例を示す画像である。合成画像５４Ｈは、合成画像５４の一例である。図１９に示すように、画像処理装置１１は、実際の物体との距離に応じて投影面（基準投影面４０）を変形させて合成画像５４Ｈを出力することができる。

【0205】

従って、本実施形態の画像処理装置１１は、検出部１４を用いずとも撮影部１２を用いることで、合成画像５４を提供することができる。なお、画像処理装置１１は、撮影部１２に加えて検出部１４を用いて合成画像５４を提供してもよい。

【0206】

なお、本実施形態の画像処理装置１１は、特に、移動体２の駐車時などの所定速度以下の低速走行時に特に好適に適用可能である。

【0207】

以上、実施形態について説明したが、本願の開示する画像処理装置、画像処理方法、および画像処理プログラムは、上述の実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上述の実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。

【0208】

なお、上記第１の実施形態および第２の実施形態の画像処理装置１０および画像処理装置１１は、各種の装置に適用可能である。例えば、上記第１の実施形態および第２の実施形態の画像処理装置１０および画像処理装置１１は、監視カメラから得られる映像を処理する監視カメラシステム、または車外の周辺環境の画像を処理する車載システムなどに適用することができる。

【符号の説明】

【0209】

１０、１１ 画像処理装置
１２ 撮影部
１４ 検出部
２２、２９ 検出点登録部
２４、２７ 自己位置推定部
２６Ａ 環境地図情報
２８ 補正部
３０ 決定部
３２ 変形部
３４ 仮想視点視線決定部
３６ 投影変換部
３８ 画像合成部

【図1】

【図2】

【図3】

【図4】

【図5A】

【図5B】

【図6】

【図7】

【図8】

【図9A】

【図9B】

【図9C】

【図10A】

【図10B】

【図11A】

【図11B】

【図12A】

【図12B】

【図13A】

【図13B】

【図14A】

【図14B】

【図14C】

【図15A】

【図15B】

【図16】

【図17】

【図18】

【図19】