特開 2019-205113 画像生成装置、及び画像生成装置の制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2019-205113(P2019-205113A)

(43)【公開日】2019年11月28日

(54)【発明の名称】画像生成装置、及び画像生成装置の制御方法

(51)【国際特許分類】

   H04N 7/18 20060101AFI20191101BHJP

   B60R 1/00 20060101ALI20191101BHJP

   G06T 7/70 20170101ALI20191101BHJP

【ＦＩ】

   H04N7/18 J

   B60R1/00 A

   G06T7/70 A

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

【全頁数】21

(21)【出願番号】特願2018-100388(P2018-100388)

(22)【出願日】2018年5月25日

(71)【出願人】

【識別番号】000001487

【氏名又は名称】クラリオン株式会社

(74)【代理人】

【識別番号】110001081

【氏名又は名称】特許業務法人クシブチ国際特許事務所

(72)【発明者】

【氏名】佐藤 雅章

(72)【発明者】

【氏名】奥山 義隆

(72)【発明者】

【氏名】永山 茂樹

(72)【発明者】

【氏名】田中 俊光

(72)【発明者】

【氏名】藤井 宏也

【テーマコード（参考）】

5C054

5L096

【Ｆターム（参考）】

5C054CA04

5C054CC02

5C054EA05

5C054FC12

5C054FC13

5C054FC14

5C054FD03

5C054FE12

5C054GB11

5C054HA30

5L096BA04

5L096CA05

5L096FA14

5L096FA67

5L096FA69

5L096HA03

(57)【要約】

【課題】カメラがどの接続先に接続しても、適切な車両周囲の俯瞰画像を生成できるようにする。
【解決手段】車両に設けられた複数のカメラと接続可能な複数のカメラＩ／Ｆ２３を備え、複数のカメラによって撮影された複数の撮影画像に基づいて、車両の周囲の俯瞰画像を生成する画像生成装置であって、車両１の移動、及び車両１の移動方向を検出する移動検出部２０１と、撮影画像から特徴点を抽出する抽出部２０２１と、抽出部２０２１が抽出した特徴点を撮影画像において追跡する追跡部２０２２と、移動検出部２０１が車両の移動を検出した際、移動検出部２０１が検出した車両の移動方向と追跡部２０２２が追跡した特徴点の移動方向とに基づいて、カメラの設置位置を特定する特定部２０２３と、特定部２０２３が特定したカメラの設置位置に応じて、俯瞰画像を生成する際のパラメーターを設定する設定部２０３とを備える。
【選択図】図３

【特許請求の範囲】

【請求項1】

車両に設けられた複数のカメラと接続可能な複数の接続部を備え、複数の前記接続部に接続する複数の前記カメラによって撮影された複数の撮影画像に基づいて、前記車両の周囲の俯瞰画像を生成する画像生成装置であって、
前記車両の移動、及び、前記車両の移動方向を検出する移動検出部と、
前記撮影画像から特徴点を抽出する抽出部と、
前記抽出部が抽出した前記特徴点を前記撮影画像において追跡する追跡部と、
前記移動検出部が前記車両の移動を検出した際、前記移動検出部が検出した前記車両の移動方向と前記追跡部が追跡した前記特徴点の移動方向とに基づいて、前記カメラの設置位置を特定する特定部と、
前記特定部が特定した前記カメラの設置位置に応じて、前記俯瞰画像を生成する際のパラメーターを設定する設定部と、を備える、
ことを特徴とする画像生成装置。

【請求項2】

複数の前記撮影画像のそれぞれを上方の仮想視点から見下ろした画像に変換し、変換した複数の変換画像を繋ぎ合わせるように配して前記俯瞰画像を生成する生成部と、を備え、
前記設定部は、前記特定部が特定した前記カメラの設置位置に応じて、前記接続部ごとに、前記接続部と前記俯瞰画像の画像領域において前記変換画像が配される領域との対応関係を設定する、
ことを特徴とする請求項１に記載の画像生成装置。

【請求項3】

前記生成部は、前記変換画像から前記俯瞰画像の生成に使用する使用画像を切り出し、複数の前記使用画像を繋ぎ合わせるように配して前記俯瞰画像を生成し、
前記設定部は、前記特定部が特定した前記カメラの設置位置に応じて、前記接続部ごとに、前記変換画像から前記使用画像を切り出す範囲を設定する、
ことを特徴とする請求項２に記載の画像生成装置。

【請求項4】

前記追跡部は、
前記抽出部が抽出した前記特徴点のオプティカルフローを算出する、
ことを特徴とする請求項１から３のいずれか一項に記載の画像生成装置。

【請求項5】

前記特定部は、
前記オプティカルフローに基づいて、前記撮影画像から前記車両以外の被写体の画像である非車両画像を判別し、前記非車両画像の前記特徴点の移動方向に基づいて、前記カメラの設置位置を特定する、
ことを特徴とする請求項４に記載の画像生成装置。

【請求項6】

前記車両には、表示部が設けられ、
生成した前記俯瞰画像を前記表示部に表示させる表示制御部を備える、
ことを特徴とする請求項１から５のいずれか一項に記載の画像生成装置。

【請求項7】

車両に設けられた複数のカメラと接続可能な複数の接続部を備え、複数の前記接続部に接続する複数の前記カメラによって撮影された複数の撮影画像に基づいて、前記車両の俯瞰画像を生成する画像生成装置の制御方法であって、
前記車両の移動、及び、前記車両の移動方向を検出し、
前記撮影画像から特徴点を抽出し、
抽出した前記特徴点を前記撮影画像において追跡し、
前記車両の移動を検出した際、検出した前記車両の移動方向と追跡した前記特徴点の移動方向とに基づいて、前記カメラの設置位置を特定し、
特定した前記カメラの設置位置に応じて、前記俯瞰画像を生成する際のパラメーターを設定する、
ことを特徴とする画像生成装置の制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像生成装置、及び画像生成装置の制御方法に関する。

【背景技術】

【0002】

従来、車両の周囲の俯瞰画像を生成する技術が知られている（例えば、特許文献１参照）。特許文献１では、車両のフロントカメラ、リアカメラ、右サイドカメラ、及び左サイドカメラを運転支援画像生成装置に接続し、運転支援画像生成装置が各カメラによって撮影された撮影画像を合成して車両の周囲の俯瞰画像を生成する装置を開示する。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００９−１３７３５３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１は、例えばフロントカメラを、フロントカメラに対応する接続先に接続していないと、フロントカメラが撮影した撮影画像が、俯瞰画像において車両の前方の画像として合成されない可能性がある。
本発明は、上述した事情に鑑みてなされたものであり、カメラがどの接続先に接続しても、適切な車両周囲の俯瞰画像を生成できるようにすることを目的とする。

【課題を解決するための手段】

【0005】

上記目的を達成するために、本発明は、車両に設けられた複数のカメラと接続可能な複数の接続部を備え、複数の前記接続部に接続する複数の前記カメラによって撮影された複数の撮影画像に基づいて、前記車両の周囲の俯瞰画像を生成する画像生成装置であって、前記車両の移動、及び、前記車両の移動方向を検出する移動検出部と、前記撮影画像から特徴点を抽出する抽出部と、前記抽出部が抽出した前記特徴点を前記撮影画像において追跡する追跡部と、前記移動検出部が前記車両の移動を検出した際、前記移動検出部が検出した前記車両の移動方向と前記追跡部が追跡した前記特徴点の移動方向とに基づいて、前記カメラの設置位置を特定する特定部と、前記特定部が特定した前記カメラの設置位置に応じて、前記俯瞰画像を生成する際のパラメーターを設定する設定部と、を備える、ことを特徴とする。

【0006】

また、本発明は、複数の前記撮影画像のそれぞれを上方の仮想視点から見下ろした画像に変換し、変換した複数の変換画像を繋ぎ合わせるように配して前記俯瞰画像を生成する生成部を備え、前記設定部は、前記特定部が特定した前記カメラの設置位置に応じて、前記接続部ごとに、前記接続部と前記俯瞰画像の画像領域において前記変換画像が配される領域との対応関係を設定する、構成としてもよい。

【0007】

また、本発明は、前記生成部は、前記変換画像から前記俯瞰画像の生成に使用する使用画像を切り出し、複数の前記使用画像を繋ぎ合わせるように配して前記俯瞰画像を生成し、前記設定部は、前記特定部が特定した前記カメラの設置位置に応じて、前記接続部ごとに、前記変換画像から前記使用画像を切り出す範囲を設定する、構成としてもよい。

【0008】

また、本発明は、前記追跡部は、前記抽出部が抽出した前記特徴点のオプティカルフローを算出する、構成としてもよい。

【0009】

また、本発明は、前記特定部は、前記オプティカルフローに基づいて、前記撮影画像から前記車両以外の被写体の画像である非車両画像を判別し、前記非車両画像の前記特徴点の移動方向に基づいて、前記カメラの設置位置を特定する、構成としてもよい。

【0010】

また、本発明は、前記車両には、表示部が設けられ、生成した前記俯瞰画像を前記表示部に表示させる表示制御部を備える、構成としてもよい。

【0011】

また、上記目的を達成するために、本発明は、車両に設けられた複数のカメラと接続可能な複数の接続部を備え、複数の前記接続部に接続する複数の前記カメラによって撮影された複数の撮影画像に基づいて、前記車両の俯瞰画像を生成する画像生成装置の制御方法であって、前記車両の移動、及び、前記車両の移動方向を検出し、前記撮影画像から特徴点を抽出し、抽出した前記特徴点を前記撮影画像において追跡し、前記車両の移動を検出した際、検出した前記車両の移動方向と追跡した前記特徴点の移動方向とに基づいて、前記カメラの設置位置を特定し、特定した前記カメラの設置位置に応じて、前記俯瞰画像を生成する際のパラメーターを設定する。

【発明の効果】

【0012】

本発明によれば、カメラをどの接続先に接続しても、適切な車両周囲の俯瞰画像を生成できる。

【図面の簡単な説明】

【0013】

【図1】画像生成装置を搭載する車両の構成を示す図である。

【図2】カメラを説明するための図である。

【図3】制御部の機能ブロックを示す図である。

【図4】俯瞰画像の生成を説明するための図である。

【図5】画像生成装置の動作を示すフローチャートである。

【図6】設定位置特定処理における画像生成装置の動作を示すフローチャートである。

【図7】オプティカルフローを説明するための図である。

【図8】対応関係設定部が設定する対応関係を模式的に示す図である。

【発明を実施するための形態】

【0014】

以下、本発明の好適な実施形態について、図面を用いて詳細に説明する。なお、以下に説明する実施形態は、特許請求の範囲に記載された本発明の内容を限定するものではない。また、以下で説明される構成の全てが本発明の必須構成要件であるとは限らない。

【0015】

図１は、画像生成装置２を搭載する車両１の構成を示す図である。
車両１は、運転者を含む乗員が搭乗し、運転者が運転可能な車両である。車両１は、運転者が運転に関する操作を行うことで走行する車両でもよいし、運転者が運転に関する操作を行うことなく自動的に走行する車両でもよい。また、車両１は、例えばエンジン駆動の四輪車両や、モーター駆動式の電動車両、モーター及びエンジンを搭載したハイブリット車両等の車両である。なお、車両１は、四輪車両以外の車両でもよい。

【0016】

画像生成装置２は、後述するタッチパネル７が表示する画像を生成する装置である。なお、タッチパネル７は、各種情報を表示する表示部の一態様である。本実施形態の画像生成装置２が生成する画像は、車両１の周囲を俯瞰した様子の画像である俯瞰画像ＦＧ（図４参照）である。画像生成装置２は、専用装置でもよく、ナビゲーション機能を有するナビゲーション装置の機能の一部として構成されてもよい。

【0017】

まず、画像生成装置２を説明する前に、画像生成装置２に接続する各部について説明する。
画像生成装置２には、ＧＰＳ受信部３と、車速センサー４、相対方位検出部５、記憶装置６、タッチパネル７、カメラ８１、８２、８３、８４が接続される。

【0018】

以下の説明において、カメラ８１、８２、８３、８４のそれぞれを区別することなく総称する場合、「カメラ８」という。

【0019】

ＧＰＳ受信部３は、ＧＰＳアンテナ３ａを介してＧＰＳ衛星から送信されるＧＰＳ信号を周期的に受信する。そして、ＧＰＳ受信部３は、受信したＧＰＳ信号に基づいて、車両１とＧＰＳ衛星間の距離及び距離の変化率を所定数以上の衛星に対して測定することにより、車両１の現在位置（緯度、経度）を算出する。ＧＰＳ受信部３は、車両１の現在位置を示す現在位置情報を画像生成装置２に出力する。また、ＧＰＳ受信部３は、車両１の移動方向の方角（以下、「方位」という）を算出し、車両１の方位を示す方位情報を画像生成装置２に出力する。

【0020】

車速センサー４は、車軸の単位時間当たりの回転数を検出し、検出した回転数に基づいて車両１の車速を周期的に取得する。車速センサー４は、検出した車両１の車速を示す車速情報を画像生成装置２に出力する。

【0021】

相対方位検出部５は、加速度センサー５１と、ジャイロセンサー５２とを備える。加速度センサー５１は、車両１に作用する加速度（例えば、進行方向に対する自車両１の傾き）を検出する。ジャイロセンサー５２は、例えば振動ジャイロにより構成され、車両１の相対的な方位（例えば、ヨー軸方向の旋回量）を検出する。相対方位検出部５は、検出した加速度、及び相対的な方位を示す相対方位情報を画像生成装置２に出力する。

【0022】

記憶装置６は、ハードディスクや、ＥＥＰＲＯＭ、ＳＳＤ等の不揮発性メモリーを備え、データを書き換え可能に記憶する。記憶装置６は、地図データ６１を記憶する。

【0023】

地図データ６１は、道路地図情報や、各種施設等の施設情報、マップマッチング用のデータ等を格納するデータである。道路地図情報は、地図上の道路を線で表現した道路ネットワークからなり、交差点や分岐点等をノードとして複数の部分に分割し、各ノード間の部分をリンクとして規定したリンク情報を含む。

【0024】

タッチパネル７は、各種情報を表示する表示パネル７１、及び、この表示パネル７１に重ねて、或いは一体に設けられたタッチセンサー７２により構成される。

【0025】

図２は、カメラ８を説明するための図である。
カメラ８は、車両１のおける設置位置によって、前方カメラ、右側方カメラ、左側方カメラ、及び後方カメラのいずれかとして機能する。

【0026】

前方カメラは、車両１の車外前方を撮影する。カメラ８は、例えばフロントガラスやヘッドライトが設けられる前面等の、車両１において前方の位置（以下、「車両前方位置」という）に設けられることで前方カメラとして機能する。図２では、カメラ８１が前方カメラとして機能している。
右側方カメラは、車両１の車外右側方を撮影する。カメラ８は、例えば右側のドアや、右側のサイドミラー等の、車両１において右側方の位置（以下、「車両右側方位置」という）に設けられることで右側方カメラとして機能する。図２では、カメラ８２が右側方カメラとして機能している。
左側方カメラは、車両１の車外左側方を撮影する。カメラ８は、例えば左側のドアや、左側のサイドミラー等の、車両１において左側方の位置（以下、「車両左側方位置」という）に設けられることで左側方カメラとして機能する。図２では、カメラ８３が左側方カメラとして機能している。
後方カメラは、車両１の車外後方を撮影する。カメラ８は、例えばリアガラスや、ハザードランプが設けられる後面等の、車両１において後方の位置（以下、「車両後方位置」という）に設けられることで後方カメラとして機能する。図２では、カメラ８４が後方カメラとして機能していることを示している。

【0027】

図２のように設置された場合、４台のカメラ８のそれぞれは、例えば４台のカメラ８で車両１を中心に３６０°の範囲を撮影できるように画角が調整される。

【0028】

図１を参照して、カメラ８１は、カメラ８が接続可能な接続部として機能するカメラインターフェース（以下、「カメラＩ／Ｆ」と表記する。）２３１と接続する。また、カメラ８２は、カメラＩ／Ｆ２３２と接続する。また、カメラ８３は、カメラＩ／Ｆ２３３と接続する。また、カメラ８４は、カメラＩ／Ｆ２３４と接続する。

【0029】

以下の説明では、カメラＩ／Ｆ２３１、２３２、２３３、２３４のそれぞれを区別することなく総称する場合、「カメラＩ／Ｆ２３」という。

【0030】

なお、図２は、カメラ８が車両１のどの位置に設けられるかを便宜的に示した図であり、実際にカメラ８が車体外部に設けられていることを示す図ではない。

【0031】

カメラ８は、所定の撮影周期で撮影を実行し、撮影結果に基づいて撮影画像データＳＧＤ（図４参照）を生成する。そして、カメラ８は、生成した撮影画像データＳＧＤを、対応するカメラＩ／Ｆ２３を介して画像生成装置２に出力する。

【0032】

次に、画像生成装置２について説明する。
画像生成装置２は、制御部２０と、記憶部２１と、複数のカメラＩ／Ｆ２３と、出力Ｉ／Ｆ２４とを備える。

【0033】

カメラＩ／Ｆ２３は、所定の規格に従ったコネクターやインターフェース回路等のハードウェアを備え、ケーブル等を介して接続する１のカメラ８と通信する。また、出力Ｉ／Ｆ２４は、所定の規格に従ったコネクターやインターフェース回路等のハードウェアを備え、ケーブル等を介して接続するタッチパネル７と通信する。

【0034】

制御部２０は、ハードウェアとしてＣＰＵ２０Ａ、ＲＯＭ２０Ｂ、及びＲＡＭ２０Ｃを備え、画像生成装置２の各部を制御する。ＣＰＵ２０Ａは、演算処理を実行するプロセッサーであり、ＲＯＭ２０ＢやＲＡＭ２０Ｃ等により構成される記憶部２１が記憶する制御プログラム２１Ａに従って演算処理を実行する。ＲＯＭ２０Ｂは、不揮発性のメモリーであり、制御プログラム２１Ａや演算データ等の各種データを記憶する。ＲＡＭ２０Ｃは、プロセッサーが実行する制御プログラム２１Ａや演算データを一時記憶するワークエリアとして使用される。

【0035】

次に、制御部２０の機能ブロックについて説明する。
図３は、制御部２０の機能ブロックを示す図である。図３では、説明の便宜上、カメラＩ／Ｆ２３１、２３２、２３３、２３４と、タッチパネル７とを制御部２０と併せて図示している。

【0036】

制御部２０は、機能ブロックとして、画像入力部２００、移動検出部２０１、画像解析部２０２、設定部２０３、生成部２０４、及び表示制御部２０５を備える。また、画像解析部２０２は、機能ブロックとして、抽出部２０２１、追跡部２０２２、及び特定部２０２３を備える。また、設定部２０３は、機能ブロックとして、対応関係設定部２０３１、及び範囲設定部２０３２を備える。制御部２０、画像解析部２０２、及び設定部２０３の各機能ブロックは、ＣＰＵが制御プログラム２１Ａに従って演算処理を実行することで実現される機能をブロックとして便宜的に示したものであり、特定のアプリケーションソフトウェアやハードウェアを示すものではない。

【0037】

画像入力部２００は、カメラＩ／Ｆ２３１、２３２、２３３、２３４のそれぞれから、接続する１のカメラ８によって撮影された撮影画像ＳＧ（図４等参照）を示す撮影画像データＳＧＤ（図４等参照）が入力される。画像入力部２００は、入力された複数の撮影画像データＳＧＤを、生成部２０４に出力する。

【0038】

移動検出部２０１は、車両１の移動の有無、及び、車両１の移動方向を検出する。
例えば、移動検出部２０１は、ＧＰＳ受信部３から入力される現在位置情報、及び方位情報、車速センサー４から入力された車速情報、及び、相対方位検出部５から入力される相対方位情報に基づいて、車両１の現在位置を特定し、特定した車両１の現在位置が変化した場合に、車両１の移動が有ると検出する。なお、この検出方法は、一例であって、いずれの方法を採用できる。例えば、移動検出部２０１は、車両情報が示す車速が０ｋｍ／ｈである場合に車両１の移動が無いと検出し、車両情報が示す車速が０ｋｍ／ｈ以外である場合に車両１の移動が有ると検出してもよい。
また、移動検出部２０１は、例えば、ＧＰＳ受信部３から入力される方位情報や、相対方位検出部５から入力される相対方位情報等に基づいて、車両１の移動方向を検出する。また、シフト（ギア）情報によって移動方向を検出することもできる。
移動検出部２０１は、車両１の移動の有無、及び、車両１の移動方向を検出すると、検出結果を画像解析部２０２に出力する。

【0039】

画像解析部２０２は、画像入力部２００に入力された複数の撮影画像データＳＧＤのそれぞれに対して、抽出部２０２１、追跡部２０２２、及び特定部２０２３による画像解析を実行する。

【0040】

抽出部２０２１は、１のカメラＩ／Ｆ２３が画像入力部２００に入力した撮影画像データＳＧＤごとに、撮影画像データＳＧＤが示す撮影画像ＳＧから、撮影画像ＳＧの特徴点を既存の技術により抽出する。撮影画像ＳＧの特徴点は、撮影画像ＳＧに写る被写体を特徴付ける線や点等を構成する点である。撮影画像ＳＧの特徴点としては、例えば、バンパー等の車両１の車体の輪郭や、白線の輪郭、道路標識やガードレール等の車両１以外の被写体の輪郭等を構成する点が一例として挙げられる。

【0041】

追跡部２０２２は、抽出部２０２１が抽出した特徴点ごとに、所定の撮影周期で変わる撮影画像ＳＧにおいて特徴点が画像領域をどの方向に向かって移動しているのかを追跡する。より詳細に、追跡部２０２２は、ある撮影画像ＳＧとある撮影画像ＳＧの次に撮影された撮影画像ＳＧとを比較していくことによって、特徴点が画像領域をどの方向に向かって移動しているのか追跡する。追跡部２０２２は、追跡に際し、特徴点の移動をベクトル表現したオプティカルフローを算出する。追跡部２０２２は、算出したオプティカルフローを特定部２０２３に出力する。

【0042】

特定部２０２３は、移動検出部２０１から入力される検出結果が車両１の移動が有ることを示す場合、移動検出部２０１が検出した車両１の移動方向と、追跡部２０２２が算出したオプティカルフローが示す撮影画像ＳＧの画像領域における特徴点の移動方向と、に基づいて、カメラ８の車両１における設置位置を特定する。具体的な特定については、後に詳述する。

【0043】

設定部２０３は、生成部２０４が俯瞰画像ＦＧを生成する際のパラメーターを設定する。設定部２０３が設定するパラメーターとは、生成部２０４の俯瞰画像ＦＧの生成におけるパラメーターであり、少なくとも、対応関係設定部２０３１が設定する対応関係、及び範囲設定部２０３２が設定する使用画像ＳＹＧ（図４参照）の切り出し範囲である。
ここで、設定部２０３の詳細な設定について説明する前に、生成部２０４よる俯瞰画像ＦＧの生成について説明する。

【0044】

図４は、俯瞰画像ＦＧの生成を説明するための図である。

【0045】

図４に示す俯瞰画像ＦＧの画像領域は、車両１の画像である車両画像ＳＲＧが配された車両画像領域Ａ０と、領域Ａ１、Ａ２、Ａ３、Ａ４とを含む。領域Ａ１、Ａ２、Ａ３、Ａ４は、俯瞰画像ＦＧの画像領域において、車両画像領域Ａ０の周囲に設けられる。領域Ａ１は、俯瞰画像ＦＧにおいて、車両画像ＳＲＧが示す車両１の車外前方の領域である。また、領域Ａ２は、俯瞰画像ＦＧにおいて、車両画像ＳＲＧが示す車両１の車外左側方の領域である。また、領域Ａ３は、俯瞰画像ＦＧにおいて、車両画像ＳＲＧが示す車両１の車外右側方の領域である。また、領域Ａ４は、俯瞰画像ＦＧにおいて、車両画像ＳＲＧが示す車両１の車外後方の領域である。

【0046】

以下の説明で、領域Ａ１、Ａ２、Ａ３、Ａ４を区別しない場合、「領域ＡＡ」と表記する。

【0047】

生成部２０４は、各領域ＡＡのそれぞれに後述する使用画像ＳＹＧを配して複数の使用画像ＳＹＧを繋ぎ合わせて、俯瞰画像ＦＧを生成する。

【0048】

図４の説明では、カメラＩ／Ｆ２３１から出力された撮影画像ＳＧに基づく画像が領域Ａ１に配され、カメラＩ／Ｆ２３２から出力された撮影画像ＳＧに基づく画像が領域Ａ２に配され、カメラＩ／Ｆ２３３から出力された撮影画像ＳＧに基づく画像が領域Ａ３に配され、カメラＩ／Ｆ２３４から出力された撮影画像ＳＧに基づく画像が領域Ａ４に配されるものとする。
また、図４の説明では、カメラＩ／Ｆ２３１に前方カメラとして機能するカメラ８１が接続し、カメラＩ／Ｆ２３２に左側方カメラとして機能するカメラ８２が接続し、カメラＩ／Ｆ２３３に右側方カメラとして機能するカメラ８３が接続し、カメラＩ／Ｆ２３４に後方カメラとして機能するカメラ８４が接続している場合を例示する。

【0049】

生成部２０４は、カメラＩ／Ｆ２３ごとに、以下の各処理を実行する。すなわち、生成部２０４は、カメラＩ／Ｆ２３から出力される撮影画像データＳＧＤが示す撮影画像ＳＧを、所定のアルゴリズムによって、撮影画像ＳＧに写る被写体を鉛直方向上側（上方）の仮想視点から見下ろした画像に変換する。そして、生成部２０４は、この仮想視点から見下ろした画像に変換した変換画像ＨＧから、俯瞰画像ＦＧの生成に使用する使用画像ＳＹＧを切り出す。そして、生成部２０４は、切り出した使用画像ＳＹＧを、領域Ａ１、Ａ２、Ａ３、Ａ４のうち対応する領域に配することで、俯瞰画像ＦＧを生成する。なお、使用画像ＳＹＧを配して俯瞰画像ＦＧを生成することは、変換画像ＨＧを配して俯瞰画像ＦＧを生成することに相当する。

【0050】

使用画像ＳＹＧを切り出す範囲は、領域Ａ１、Ａ２、Ａ３、Ａ４のそれぞれに応じた範囲であり、事前のテストやシミュレーション等によって予め定められている。
例えば、領域Ａ１、及び領域Ａ４に配する使用画像ＳＹＧを切り出す範囲は、変換画像ＨＧが長矩形である場合、長手方向においていずれの方向に偏らない矩形の範囲である。また、例えば、領域Ａ２に配置する使用画像ＳＹＧを切り出す範囲は、変換画像ＨＧが長矩形である場合、長手方向においていずれかの方向に偏る矩形の範囲である。また、例えば、領域Ａ３に配置する使用画像ＳＹＧを切り出す範囲は、変換画像ＨＧが長矩形である場合、領域Ａ２に配置する使用画像ＳＹＧを切り出す範囲と逆の方向に偏る矩形の範囲である。なお、切り出し範囲の短手方向については、カメラ８の設置位置やカメラ８の仰俯角等に応じて異なる。このように使用画像ＳＹＧを切り出す範囲を領域Ａ１、Ａ２、Ａ３、Ａ４のそれぞれに応じた範囲とすることで、生成される俯瞰画像ＦＧが、重複した画像を含まないようにできる。したがって、生成部２０４は、実際の車両１の周囲を俯瞰した様子に即した俯瞰画像ＦＧを生成できる。

【0051】

以下の説明では、領域Ａ１に配する使用画像ＳＹＧを切り出す範囲を、「Ａ１切出範囲」という。また、領域Ａ２に配する使用画像ＳＹＧを切り出す範囲を、「Ａ２切出範囲」という。また、領域Ａ３に配する使用画像ＳＹＧを切り出す範囲を、「Ａ３切出範囲」という。また、領域Ａ４に配する使用画像ＳＹＧを切り出す範囲を、「Ａ４切出範囲」という。

【0052】

図４を参照してより詳細に説明すると、生成部２０４は、カメラＩ／Ｆ２３１から出力された撮影画像データＳＧＤ１が示す撮影画像ＳＧ１を変換画像ＨＧ１に変換し、変換画像ＨＧ１からＡ１切出範囲で使用画像ＳＹＧ１を切り出す。生成部２０４は、使用画像ＳＹＧ１を切り出すと、使用画像ＳＹＧ１を領域Ａ１の形状に合うように加工して領域Ａ１に配置する。

【0053】

同様に、生成部２０４は、カメラＩ／Ｆ２３２から出力された撮影画像データＳＧＤ２が示す撮影画像ＳＧ２を変換画像ＨＧ２に変換し、変換画像ＨＧ２からＡ２切出範囲で使用画像ＳＹＧ２を切り出す。生成部２０４は、使用画像ＳＹＧ２を切り出すと、使用画像ＳＹＧ２を領域Ａ２の形状に合うように加工して領域Ａ２に配する。

【0054】

また、同様に、生成部２０４は、カメラＩ／Ｆ２３３から出力された撮影画像データＳＧＤ３が示す撮影画像ＳＧ３を変換画像ＨＧ３に変換し、変換画像ＨＧ３からＡ３切出範囲で使用画像ＳＹＧ３を切り出す。生成部２０４は、使用画像ＳＹＧ３を切り出すと、使用画像ＳＹＧ３を領域Ａ３の形状に合うように加工して領域Ａ３に配する。

【0055】

また、同様に、生成部２０４は、カメラＩ／Ｆ２３４から出力された撮影画像データＳＧＤ４が示す撮影画像ＳＧ４を変換画像ＨＧ４に変換し、変換画像ＨＧ４からＡ４切出範囲で使用画像ＳＹＧ４を切り出す。生成部２０４は、使用画像ＳＹＧ４を切り出すと、使用画像ＳＹＧ４を領域Ａ４の形状に合うように加工して領域Ａ４に配する。

【0056】

この生成方法によって、生成部２０４は、車両１を鉛直方向上側の仮想視点から見下ろした、すなわち車両１の周囲を俯瞰した俯瞰画像ＦＧを生成する。

【0057】

図３を参照して、設定部２０３は、対応関係設定部２０３１と、範囲設定部２０３２とを備える。
対応関係設定部２０３１は、特定部２０２３が特定したカメラ８の設置位置に基づいて、カメラＩ／Ｆ２３ごとに、カメラＩ／Ｆ２３と１の領域ＡＡとの対応関係を設定する。図４では、対応関係設定部２０３１は、カメラＩ／Ｆ２３１と領域Ａ１とを対応させ、カメラＩ／Ｆ２３２と領域Ａ２とを対応させ、カメラＩ／Ｆ２３３と領域Ａ３とを対応させ、カメラＩ／Ｆ２３４と領域Ａ４とを対応させる対応関係を設定している。これにより、生成部２０４は、図４を参照して説明した俯瞰画像ＦＧを生成する。

【0058】

範囲設定部２０３２は、特定部２０２３が特定したカメラ８の設置位置に基づいて、カメラＩ／Ｆ２３ごとに、変換画像ＨＧから使用画像ＳＹＧを切り出す範囲を設定する。図４では、カメラＩ／Ｆ２３１に接続するカメラ８が前方カメラとして機能し、カメラＩ／Ｆ２３２に接続するカメラ８が左側方カメラとして機能し、カメラＩ／Ｆ２３３に接続するカメラ８が右側方カメラとして機能し、カメラＩ／Ｆ２３４に接続するカメラ８が後方カメラとして機能する場合を例示している。そのため、図４では、範囲設定部２０３２は、カメラＩ／Ｆ２３１に対してＡ１切出範囲を設定し、カメラＩ／Ｆ２３２に対してＡ２切出範囲を設定し、カメラＩ／Ｆ２３３に対してＡ３切出範囲を設定し、カメラＩ／Ｆ２３４に対してＡ４切出範囲を設定する。

【0059】

表示制御部２０５は、生成部２０４が生成した俯瞰画像ＦＧを示す俯瞰画像データを出力Ｉ／Ｆ２４を介してタッチパネル７に出力し、俯瞰画像ＦＧをタッチパネル７に表示させる。

【0060】

以上の構成の下、画像生成装置２は、以下に示す動作を実行する。

【0061】

図５は、画像生成装置２の動作を示すフローチャートである。
画像生成装置２の制御部２０は、車両１のイグニッションがオンになったことや、車両１のアクセサリ電源がオンになったこと等をトリガーとして、画像生成装置２のシステムを起動する（ステップＳＡ１）。

【0062】

次いで、制御部２０は、画像生成装置２のシステムを起動すると、カメラＩ／Ｆ２３を介して制御信号を各カメラ８に送信し、カメラ８のそれぞれに撮影を開始させる（ステップＳＡ２）。これにより、制御部２０の画像入力部２００には、４つのカメラ８から、所定の撮影周期で撮影画像ＳＧを示す撮影画像データＳＧＤが入力される。

【0063】

次いで、制御部２０の移動検出部２０１は、車両１の移動の有無を判別する（ステップＳＡ３）。移動検出部２０１は、車両１の移動が無いと判別した場合（ステップＳＡ３：ＮＯ）、処理をステップＳＡ３に戻し、車両１の移動の有無の監視を継続する。一方で、移動検出部２０１が、車両１の移動が有ったと判別した場合（ステップＳＡ３：ＹＥＳ）、制御部２０の画像解析部２０２は、車両１におけるカメラ８の設置位置を特定する設置位置特定処理を実行する。

【0064】

図６は、設置位置特定処理における画像生成装置２の動作を示すフローチャートである。図６を参照した設置位置特定処理の説明では、車両１の移動方向が前方であることを前提とする。

【0065】

制御部２０の画像解析部２０２は、複数のカメラＩ／Ｆ２３のうち、画像解析の解析対象とする撮影画像ＳＧを撮影するカメラ８と接続するカメラＩ／Ｆ２３を１つ特定する（ステップＳＢ１）。

【0066】

次いで、画像解析部２０２の抽出部２０２１は、ステップＳＢ１で特定した１のカメラＩ／Ｆ２３と接続するカメラ８が撮影した撮影画像ＳＧから、複数の特徴点を抽出する（ステップＳＢ２）。

【0067】

次いで、画像解析部２０２の追跡部２０２２は、抽出部２０２１が抽出した複数の特徴点のそれぞれについて、特徴点を追跡して、オプティカルフローを算出する（ステップＳＢ３）。

【0068】

次いで、画像解析部２０２の特定部２０２３は、追跡部２０２２が算出したオプティカルフローに基づいて、撮影画像ＳＧから車両１の車体の画像である車体画像ＳＴＧ（図７参照）と、車両１以外の被写体の画像である非車両画像ＨＳＧ（図７参照）とを判別する（ステップＳＢ４）。なお、ここでいう車体画像は、車両１の全体の画像ではなく、バンパーの一部や、サイドミラーの一部等の車体の一部の画像である。カメラ８の撮影範囲に車両１の車体の一部と車両１以外の被写体とが含まれる場合、カメラ８が撮影する撮影画像ＳＧには、車体画像ＳＴＧと非車両画像ＨＳＧとが写る。非車両画像ＨＳＧは、車両１の移動に伴って撮影画像ＳＧの画像領域を移動する一方で、車体画像ＳＴＧは、車両１が移動しても撮影画像ＳＧの画像領域をほとんど移動しない。したがって、車体画像ＳＴＧの特徴点と、非車両画像ＨＳＧの特徴点とでは、算出されるオプティカルフローが異なる。特定部２０２３は、追跡部２０２２が算出したオプティカルフローに基づいて、特徴点の移動を表現したベクトルの大きさの異なりを利用して、撮影画像ＳＧから車体画像ＳＴＧと非車両画像ＨＳＧとを判別する。

【0069】

次いで、特定部２０２３は、追跡部２０２２が算出したオプティカルフローに基づいて、撮影画像ＳＧの画像領域における非車両画像ＨＳＧの特徴点の移動方向が、車体画像ＳＴＧに近づく方向であるか否かを判別する（ステップＳＢ５）。

【0070】

図７は、オプティカルフローを説明するための図である。

【0071】

図７において、図中で上へ向かう方向を「上方」とし、図中で下へ向かう方向を「下方」とし、図中で左に向かう方向を「左方」とし、図中で右に向かう方向を「右方」とする。
また、図７に示す撮影画像ＳＧ５は、下方が重力方向である車外の撮影画像であるとする。つまり、図７に示す撮影画像ＳＧ５は、重力方向が上下逆さまになっていない撮影画像である。

【0072】

図７で例示する撮影画像ＳＧ５には、車体画像ＳＴＧと、２つの非車両画像ＨＳＧとが写っている。なお、図７では、非車両画像ＨＳＧの特徴点として、特徴点Ｔ１、Ｔ２を代表して図示する。

【0073】

車両１が前方に移動している場合、前方カメラとして機能するカメラ８が撮影する撮影画像ＳＧの画像領域では、車両１の移動に伴って非車両画像ＨＳＧが下方に移動する。そのため、前方カメラとして機能するカメラ８が撮影する撮影画像ＳＧの画像領域では、車両１の移動に伴って特徴点Ｔ１、Ｔ２が車体画像ＳＴＧに近づく方向に移動する。

【0074】

また、車両１が前方に移動している場合、後方カメラとして機能するカメラ８が撮影する撮影画像ＳＧの画像領域では、車両１の移動に伴って非車両画像ＨＳＧが上方に移動する。そのため、後方カメラとして機能するカメラ８が撮影する撮影画像ＳＧの画像領域では、特徴点Ｔ１、Ｔ２が車体画像ＳＴＧから遠ざかる方向に移動する。

【0075】

また、車両１が前方に移動している場合、右側方カメラとして機能するカメラ８が撮影する撮影画像ＳＧの画像領域では、車両１の移動に伴って非車両画像ＨＳＧが右方に移動する。そのため、右側方カメラとして機能するカメラ８が撮影する撮影画像ＳＧの画像領域では、特徴点Ｔ１、Ｔ２が右方に移動する。

【0076】

また、車両１が前方に移動している場合、左側方カメラとして機能するカメラ８が撮影する撮影画像ＳＧの画像領域では、車両１の移動に伴って非車両画像ＨＳＧが左方に移動する。そのため、左側方カメラとして機能するカメラ８が撮影する撮影画像ＳＧでは、特徴点Ｔ１、Ｔ２が左方に移動する。

【0077】

図６を参照して、特定部２０２３は、非車両画像ＨＳＧの特徴点の移動方向が、車体画像ＳＴＧに近づく方向であると判別した場合（ステップＳＢ５：ＹＥＳ）、ステップＳＢ１で特定したカメラＩ／Ｆ２３に接続するカメラ８の設置位置が、車両前方位置であると特定する（ステップＳＢ９）。そして、特定部２０２３は、ステップＳＢ１で特定したカメラＩ／Ｆ２３に接続するカメラ８が前方カメラとして機能すると判定する（ステップＳＢ１０）。

【0078】

一方で、特定部２０２３は、非車両画像ＨＳＧの特徴点の移動方向が、車体画像ＳＴＧに近づく方向でないと判別した場合（ステップＳＢ５：ＮＯ）、非車両画像ＨＳＧの特徴点の移動方向が、車体画像ＳＴＧから遠ざかる方向であるか否かを判別する（ステップＳＢ６）。特定部２０２３は、非車両画像ＨＳＧの特徴点の移動方向が、車体画像ＳＴＧから遠ざかる方向であると判別した場合（ステップＳＢ６：ＹＥＳ）、ステップＳＢ１で特定したカメラＩ／Ｆ２３に接続するカメラ８の設置位置が、車両後方位置であると特定する（ステップＳＢ１１）。そして、特定部２０２３は、ステップＳＢ１で特定したカメラＩ／Ｆ２３に接続するカメラ８が後方カメラとして機能すると判定する（ステップＳＢ１２）。

【0079】

一方で、特定部２０２３は、非車両画像ＨＳＧの特徴点の移動方向が、車体画像ＳＴＧから遠ざかる方向でないと判別した場合（ステップＳＢ６：ＮＯ）、非車両画像ＨＳＧの特徴点の移動方向が、撮影画像ＳＧの画像領域において右方向であるか否かを判別する（ステップＳＢ７）。特定部２０２３は、非車両画像ＨＳＧの特徴点の移動方向が、右方向であると判別した場合（ステップＳＢ７：ＹＥＳ）、ステップＳＢ１で特定したカメラＩ／Ｆ２３に接続するカメラ８の設置位置が、車両右側方位置であると特定する（ステップＳＢ１３）。そして、特定部２０２３は、ステップＳＢ１で特定したカメラＩ／Ｆ２３に接続するカメラ８が右側方カメラとして機能すると判定する（ステップＳＢ１４）。

【0080】

一方で、特定部２０２３は、非車両画像ＨＳＧの特徴点の移動方向が、右方向でないと判別した場合（ステップＳＢ７：ＮＯ）、非車両画像ＨＳＧの特徴点の移動方向が、撮影画像ＳＧの画像領域において左方向であるか否かを判別する（ステップＳＢ８）。特定部２０２３は、非車両画像ＨＳＧの特徴点の移動方向が、左方向であると判別した場合（ステップＳＢ８：ＹＥＳ）、ステップＳＢ１で特定したカメラＩ／Ｆ２３に接続するカメラ８の設置位置が、車両左側方位置であると特定する（ステップＳＢ１５）。そして、特定部２０２３は、ステップＳＢ１で特定したカメラＩ／Ｆ２３に接続するカメラ８が左側方カメラとして機能すると判定する（ステップＳＢ１６）。

【0081】

一方で、特定部２０２３は、非車両画像ＨＳＧの特徴点の移動方向が、左方向でないと判別した場合（ステップＳＢ８：ＮＯ）、ステップＳＢ１で特定したカメラＩ／Ｆ２３に接続するカメラ８の設置位置が特定できないと判定する（ステップＳＢ１７）。

【0082】

特定部２０２３は、ステップＳＢ１で特定したカメラＩ／Ｆ２３に接続するカメラ８の設置位置を特定すると、或いは、ステップＳＢ１で特定したカメラＩ／Ｆ２３に接続するカメラ８の設置位置が特定できないと判定すると、全てのカメラＩ／Ｆ２３を処理対象としたか否かを判別する（ステップＳＢ１８）。

【0083】

特定部２０２３は、全てのカメラＩ／Ｆ２３を処理対象としていないと判別した場合（ステップＳＢ１８：ＮＯ）、処理をステップＳＢ１に戻して、処理対象にしていない１のカメラＩ／Ｆ２３を特定する。一方で、特定部２０２３は、全てのカメラＩ／Ｆ２３を処理対象としたと判別した場合（ステップＳＢ１８：ＹＥＳ）、設定部２０３に各カメラ８の設置位置を示す情報を出力する（ステップＳＢ１９）。

【0084】

以上のように、追跡部２０２２は、抽出部２０２１が抽出したオプティカルフローを算出する。前述した通り、オプティカルフローは、移動をベクトル表記したものである。そのため、特定部２０２３は、算出されたオプティカルフローから容易に撮影画像ＳＧの画像領域における特徴点の移動方向を取得できる。そのため、特徴点の移動方向に基づくカメラ８の設置位置の特定において、特定部２０２３は、カメラ８の設置位置を容易に特定できる。

【0085】

また、特定部２０２３は、追跡部２０２２が追跡したオプティカルフローに基づいて、ステップＳＢ１で特定した１のカメラＩ／Ｆ２３に接続するカメラ８が撮影した撮影画像ＳＧから、非車両画像ＨＳＧを判別する。そして、特定部２０２３は、非車両画像ＨＳＧの特徴点の移動方向に基づいて、カメラ８の設置位置を特定する。これにより、特定部２０２３は、車両１の移動に伴って非車両画像ＨＳＧが撮影画像ＳＧの画像領域を移動するため、非車両画像ＨＳＧの特徴点の移動方向に基づいて特定することで精度よくカメラ８の設置位置を特定できる。また、特定部２０２３は、抽出した特徴点のうち、非車両画像ＨＳＧの特徴点のみに基づいてカメラ８の設置位置を特定できるため、多くの特徴点を加味して特定する必要がなく、速やかにカメラ８の設置位置を特定できる。

【0086】

図５を参照して、設置位置特定処理を実行すると、制御部２０の設定部２０３の対応関係設定部２０３１は、特定部２０２３が出力した各カメラ８の設置位置を示す情報に基づいて、カメラＩ／Ｆ２３ごとに、カメラＩ／Ｆ２３と１の領域ＡＡとの対応関係を設定する（ステップＳＡ５）。

【0087】

図８は、対応関係設定部２０３１が設定する対応関係を模式的に示す図である。
図８では、カメラＩ／Ｆ２３１に左側方カメラとして機能するカメラ８１が接続し、カメラＩ／Ｆ２３２に右側方カメラとして機能するカメラ８２が接続し、カメラＩ／Ｆ２３３に左側方カメラとして機能するカメラ８３が接続し、カメラＩ／Ｆ２３４に後方カメラとして機能するカメラ８４が接続している場合を例示する。

【0088】

図８の場合、特定部２０２３は、設置位置特定処理の処理結果として、カメラ８１の設置位置が車両左側方位置であること、カメラ８２の設置位置が車両右側方位置であること、カメラ８３の設置位置が車両前方位置であること、及び、カメラ８４の設置位置が車両後方位置であることを示す情報を設定部２０３に出力する。

【0089】

設定部２０３の対応関係設定部２０３１は、この設置位置を示す情報を取得すると、図８に示すような対応関係を設定する。
すなわち、対応関係設定部２０３１は、カメラＩ／Ｆ２３１から出力された撮影画像データＳＧＤが示す撮影画像ＳＧに基づく使用画像ＳＹＧが領域Ａ２に配置されるように、カメラＩ／Ｆ２３１と領域Ａ２とを対応付ける。また、対応関係設定部２０３１は、カメラＩ／Ｆ２３２から出力された撮影画像データＳＧＤが示す撮影画像ＳＧに基づく使用画像ＳＹＧが領域Ａ３に配置されるように、カメラＩ／Ｆ２３２と領域Ａ３とを対応付ける。また、対応関係設定部２０３１は、カメラＩ／Ｆ２３３から出力された撮影画像データＳＧＤが示す撮影画像ＳＧに基づく使用画像ＳＹＧが領域Ａ１に配置されるように、カメラＩ／Ｆ２３３と領域Ａ１とを対応付ける。また、対応関係設定部２０３１は、カメラＩ／Ｆ２３４から出力された撮影画像データＳＧＤが示す撮影画像ＳＧに基づく使用画像ＳＹＧが領域Ａ４に配置されるように、カメラＩ／Ｆ２３４と領域Ａ４とを対応付ける。

【0090】

図５を参照して、対応関係設定部２０３１は、カメラＩ／Ｆ２３ごとに、カメラＩ／Ｆ２３と１の領域ＡＡとの対応関係を設定すると、設定した対応関係を示す情報を記憶部２１に記憶させる（ステップＳＡ６）。

【0091】

次いで、設定部２０３の範囲設定部２０３２は、特定部２０２３が出力した各カメラ８の設置位置を示す情報に基づいて、カメラＩ／Ｆ２３ごとに、変換画像ＨＧから使用画像ＳＹＧを切り出す範囲を設定する（ステップＳＡ７）。

【0092】

図８の場合、範囲設定部２０３２は、カメラＩ／Ｆ２３１にＡ２切出範囲を設定する。また、範囲設定部２０３２は、カメラＩ／Ｆ２３２にＡ３切出範囲を設定する。また、範囲設定部２０３２は、カメラＩ／Ｆ２３３にＡ１切出範囲を設定する。また、範囲設定部２０３２は、カメラＩ／Ｆ２３４にＡ４切出範囲を設定する。

【0093】

次いで、範囲設定部２０３２は、カメラＩ／Ｆ２３ごとに使用画像ＳＹＧを切り出す範囲を設定すると、設定した範囲とカメラＩ／Ｆ２３と対応関係を示す情報を、記憶部２１に記憶させる（ステップＳＡ８）。

【0094】

次いで、制御部２０の生成部２０４は、記憶部２１が記憶する情報を参照して、対応関係設定部２０３１が設定した対応関係と、範囲設定部２０３２が設定した使用画像ＳＹＧの切り出し範囲とに基づいて、俯瞰画像ＦＧを生成する（ステップＳＡ９）。

【0095】

図８に示す対応関係を対応関係設定部２０３１が設定した場合、生成部２０４は、カメラ８３が撮影した撮影画像ＳＧに基づく使用画像ＳＹＧを領域Ａ１に配し、カメラ８１が撮影した撮影画像ＳＧに基づく使用画像ＳＹＧを領域Ａ２に配し、カメラ８２が撮影した撮影画像ＳＧに基づく使用画像ＳＹＧを領域Ａ３に配し、カメラ８２が撮影した撮影画像ＳＧに基づく使用画像ＳＹＧを領域Ａ４に配する。図８では、カメラ８３が前方カメラとして機能し、また、カメラ８１が左側方カメラとして機能し、また、カメラ８２が右側方カメラとして機能し、また、カメラ８４が後方カメラとして機能する場合を例示している。したがって、生成部２０４が生成する俯瞰画像ＦＧは、領域Ａ１の画像が前方カメラの撮影画像ＳＧに基づく使用画像ＳＹＧとなり、領域Ａ２の画像が左側方カメラの撮影画像ＳＧに基づく使用画像ＳＹＧとなり、領域Ａ３の画像が右側方カメラの撮影画像ＳＧに基づく使用画像ＳＹＧとなり、領域Ａ４の画像が後方カメラの撮影画像ＳＧに基づく使用画像ＳＹＧとなる。つまり、生成部２０４は、領域Ａ１、Ａ２、Ａ３、Ａ４のそれぞれに対し、俯瞰画像ＦＧにおける車両画像ＳＲＧが示す車両１からみた方向と対応する撮影方向を撮影するカメラ８の撮影画像ＳＧに基づく使用画像ＳＹＧを配した、適切な俯瞰画像ＦＧを生成する。

【0096】

このように、設定部２０３の対応関係設定部２０３１は、特定部２０２３が特定したカメラ８の設置位置に応じて、カメラＩ／Ｆ２３ごとに、カメラＩ／Ｆ２３と１の領域ＡＡとの対応関係を設定する。これにより、以下の効果を奏する。

【0097】

例えば、カメラＩ／Ｆ２３１と領域Ａ１とが対応関係にあり、また、カメラＩ／Ｆ２３２と領域Ａ２とが対応関係にあり、また、カメラＩ／Ｆ２３３と領域Ａ３とが対応関係にあり、また、カメラＩ／Ｆ２３４と領域Ａ４とが対応関係にあるとする。また、カメラＩ／Ｆ２３１には左側方カメラとして機能するカメラ８１が接続し、カメラＩ／Ｆ２３２には右側方カメラとして機能するカメラ８１が接続し、カメラＩ／Ｆ２３３には前方カメラとして機能するカメラ８３が接続し、カメラＩ／Ｆ２３４には後方カメラとして機能するカメラ８４が接続しているものとする。
この対応関係に基づいて生成部２０４により生成される俯瞰画像ＦＧは、領域Ａ１に左側方カメラの撮影画像ＳＧに基づく使用画像ＳＹＧが配され、領域Ａ２に右側方カメラの撮影画像ＳＧに基づく使用画像ＳＹＧが配され、領域Ａ３に前方カメラの撮影画像ＳＧに基づく使用画像ＳＹＧが配された俯瞰画像ＦＧである。つまり、生成部２０４は、各領域ＡＡに対し、車両画像ＳＲＧからみた方向と対応しない撮影方向を撮影するカメラ８の撮影画像ＳＧに基づく使用画像ＳＹＧを配した、俯瞰画像ＦＧを生成することになる。そこで、対応関係設定部２０３１は、上述したように特定部２０２３が特定したカメラ８の設置位置に応じて、対応関係設定部２０３１が対応関係を設定する。そのため、生成部２０４は、各領域ＡＡに対し、俯瞰画像ＦＧにおける車両画像ＳＲＧが示す車両１からみた方向と対応する撮影方向を撮影するカメラ８の撮影画像ＳＧに基づく使用画像ＳＹＧを配した、適切な俯瞰画像ＦＧを生成できる。したがって、カメラ８がどのカメラＩ／Ｆ２３に接続しても、生成部２０４は、適切な俯瞰画像ＦＧを生成できる。また、カメラ８がどのカメラＩ／Ｆ２３に接続しても適切な俯瞰画像ＦＧが生成されるため、カメラ８と画像生成装置２とを接続する際に、ユーザーが、カメラ８とカメラＩ／Ｆ２３との対応関係を意識して接続する必要がなく、利便性が向上する。

【0098】

また、設定部２０３の範囲設定部２０３２は、特定部２０２３が特定したカメラ８の設置位置に基づいて、カメラＩ／Ｆ２３ごとに、変換画像ＨＧから使用画像ＳＹＧを切り出す範囲を設定する。これにより、俯瞰画像ＦＧの各領域ＡＡに配される使用画像ＳＹＧを、カメラ８の設置位置に応じた使用画像ＳＹＧにできる。したがって、生成部２０４は、カメラ８がどのカメラＩ／Ｆ２３に接続しても、実際の車両１の周囲を俯瞰した様子に即した俯瞰画像ＦＧを生成できる。

【0099】

生成部２０４は、俯瞰画像ＦＧを生成すると、生成した俯瞰画像ＦＧを示す俯瞰画像データを表示制御部２０５に出力する。

【0100】

制御部２０の表示制御部２０５は、生成部２０４から取得した俯瞰画像データに基づく俯瞰画像ＦＧを、タッチパネル７に表示させる（ステップＳＡ１０）。これにより、表示制御部２０５は、カメラ８がどのカメラＩ／Ｆ２３に接続しても、適切な俯瞰画像ＦＧを表示できる。

【0101】

図６を用いた設置位置特定処理の説明では、車両１の移動方向が前方であることを前提とした。しかしながら、車両１の移動方向が後方でも、特定部２０２３は、カメラ８の設置位置を特定できる。この場合、ステップＳＢ５では、非車両画像ＨＳＧの特徴点の移動方向が車体画像ＳＴＧから遠ざかる方向か否かを判別する。また、ステップＳＢ６では、非車両画像ＨＳＧの特徴点の移動方向が車体画像ＳＴＧに近づく方向か否かを判別する。また、ステップＳＢ７では、非車両画像ＨＳＧの特徴点の移動方向が右方向か否かを判別する。また、ステップＳＢ８では、非車両画像ＨＳＧの特徴点の移動方向が左方向か否かを判別する。

【0102】

また、以上では、図８に示すように下方が重力方向である撮影画像ＳＧを前提とした俯瞰画像ＦＧの生成について説明した。しかしながら、カメラ８が上下逆さまに取り付けられており、撮影画像ＳＧの重力方向が上下逆さまになっていても、生成部２０４は、適切な俯瞰画像ＦＧを生成できる。この場合、特定部２０２３は、撮影画像ＳＧに写る車体画像ＳＴＧが、撮影画像ＳＧの画像領域において上方に位置するか否かを判別する。特定部２０２３は、車体画像ＳＴＧが撮影画像ＳＧの画像領域において上方に位置すると判別した場合、この撮影画像ＳＧを撮影するカメラ８が設置位置において上下逆さまであると判定する。この判定をした場合、特定部２０２３は、車両１の移動方向が前方である場合、ステップＳＢ５、ステップＳＢ６については図６と同様に判別し、ステップＳＢ７については右方向か否かを判別して、ステップＳＢ８については左方向か否かを判別する。これにより、特定部２０２３は、カメラ８が上下逆さまで設置されていても、カメラ８の設置位置を特定できる。設定部２０３では、特定部２０２３が上下逆さまであると判定したカメラ８に接続するカメラＩ／Ｆ２３が、上下方向反転した撮影画像データＳＧＤを生成部２０４に出力するように設定する。なお、この撮影画像データＳＧＤの上下方向反転の有無は、俯瞰画像ＦＧを生成する際のパラメーターの一つである。これにより、生成部２０４は、カメラ８が上下逆さまに設置位置に設けられていても、適切な俯瞰画像ＦＧを生成できる。

【0103】

以上、説明したように、画像生成装置２は、車両１に設けられた複数のカメラ８と接続し、複数のカメラ８によって撮影された複数の撮影画像ＳＧに基づいて、車両１の周囲の俯瞰画像ＦＧを生成する。画像生成装置２は、車両１の移動、及び車両１の移動方向を検出する移動検出部２０１と、撮影画像ＳＧから特徴点を抽出する抽出部２０２１と、抽出部２０２１が抽出した特徴点を撮影画像ＳＧにおいて追跡する追跡部２０２２と、移動検出部２０１が車両１の移動を検出した際、移動検出部２０１が検出した車両１の移動方向と追跡部２０２２が追跡した特徴点の移動方向とに基づいて、カメラ８の設置位置を特定する特定部２０２３と、特定部２０２３が特定したカメラ８の設置位置に応じて、俯瞰画像ＦＧを生成する際のパラメーターを設定する設定部２０３と、を備える。

【0104】

この構成によれば、カメラ８の設置位置を特定して、特定した設置位置に応じて俯瞰画像ＦＧを生成する際のパラメーターを設定するため、カメラ８がどの接続先に接続しても、適切な俯瞰画像ＦＧを生成できる。

【0105】

また、画像生成装置２は、複数の撮影画像ＳＧのそれぞれを鉛直方向上側の仮想視点から見下ろした画像に変換し、変換した複数の変換画像ＨＧを繋ぎ合わせるように配して俯瞰画像ＦＧを生成する生成部２０４と、カメラ８と接続可能な複数のカメラＩ／Ｆ２３と、を備える。設定部２０３は、特定部２０２３が特定したカメラ８の設置位置に応じて、カメラＩ／Ｆ２３ごとに、カメラＩ／Ｆ２３と俯瞰画像ＦＧの画像領域において変換画像ＨＧが配される領域ＡＡとの対応関係を設定する。

【0106】

この構成によれば、生成部２０４は、各領域ＡＡに対し、俯瞰画像ＦＧにおける車両画像ＳＲＧが示す車両１からみた方向と対応する撮影方向を撮影するカメラ８の撮影画像ＳＧに基づく画像を配した、適切な俯瞰画像ＦＧを生成できる。

【0107】

また、生成部２０４は、変換画像ＨＧから俯瞰画像ＦＧの生成に使用する使用画像ＳＹＧを切り出し、複数の使用画像ＳＹＧを繋ぎ合わせるように配して俯瞰画像ＦＧを生成する。設定部２０３は、特定部２０２３が特定したカメラ８の設置位置に応じて、カメラＩ／Ｆ２３ごとに、変換画像ＨＧから使用画像ＳＹＧを切り出す範囲を設定する。

【0108】

この構成によれば、俯瞰画像ＦＧの各領域ＡＡに配される使用画像ＳＹＧを、カメラ８の設置位置に応じた使用画像ＳＹＧにできる。したがって、生成部２０４は、カメラ８がどのカメラＩ／Ｆ２３に接続しても、実際の車両１の周囲を俯瞰した様子に即した俯瞰画像ＦＧを生成できる。

【0109】

また、追跡部２０２２は、抽出部２０２１が抽出した特徴点のオプティカルフローを算出する。

【0110】

この構成によれば、特定部２０２３は、算出されたオプティカルフローから容易に撮影画像ＳＧの画像領域における特徴点の移動方向を取得できる。そのため、特徴点の移動方向に基づくカメラ８の設置位置の特定において、特定部２０２３は、カメラ８の設置位置を容易に特定できる。

【0111】

また、特定部２０２３は、オプティカルフローに基づいて、撮影画像ＳＧから車両１以外の被写体の画像である非車両画像ＨＳＧを判別し、非車両画像ＨＳＧの特徴点の移動方向に基づいて、カメラ８の設置位置を特定する。

【0112】

この構成によれば、特定部２０２３は、車両１の移動に伴って非車両画像ＨＳＧが撮影画像ＳＧの画像領域を移動するため、非車両画像ＨＳＧの特徴点の移動方向に基づいて特定することで精度よくカメラ８の設置位置を特定できる。また、特定部２０２３は、抽出した特徴点のうち、非車両画像ＨＳＧの特徴点のみに基づいてカメラ８の設置位置を特定できるため、多くの特徴点を加味して特定する必要がなく、速やかにカメラ８の設置位置を特定できる。

【0113】

車両１には、タッチパネル７が設けられる。画像生成装置２は、生成した俯瞰画像ＦＧをタッチパネル７に表示させる表示制御部２０５を備える。

【0114】

この構成によれば、カメラ８がどのカメラＩ／Ｆ２３に接続しても、適切な俯瞰画像ＦＧを表示できる。

【0115】

上述した実施形態は、あくまでも本発明の一態様を例示するものであって、本発明の趣旨を逸脱しない範囲で任意に変形、及び、応用が可能である。

【0116】

例えば、上述した実施形態では、車両１に設けられるカメラの台数を４台として説明したが、車両１に設けられるカメラの台数は、更に多くてもよく、少なくてもよい。例えば、車両１には、前方、右前方、右側方、右後方、後方、左後方、左側方、及び左前方を撮影する８台のカメラが設けられていてもよい。この場合、生成部２０４は、８つの使用画像ＳＹＧを繋ぎ合わせて配することで俯瞰画像ＦＧを生成する。

【0117】

また、例えば、設定部２０４は、特定部２０４が特定したカメラ８の設置位置に応じて、対応関係、及び使用画像ＳＧの切り取り範囲以外のパラメーターを設定してもよい。例えば、設定部２０４は、特定部２０４が特定したカメラ８の設置位置に応じて、画像の明るさを一定に保つための自動露光制御を行うための測定範囲や、ホワイトバランスを調整するための測定範囲等の測定範囲をパラメーターとして設定してもよい。例えば、この測定範囲は、使用画像ＳＹＧの範囲内となるように予め設定され、使用画像ＳＹＧの切り出し範囲と同様に、領域ＡＡに応じた範囲である。生成部２０４は、俯瞰画像ＦＧを生成する際に、測定範囲で自動露光制御やホワイトバランスの調整等に必要な測定を行う。そして、生成部２０４は、測定に応じて使用画像ＳＹＧに画像処理を施し、適切な明るさであって、適切な色合いの画像を取得する。これにより、生成部２０４は、カメラ８がどの接続先に接続しても、実際の車両１の周囲を俯瞰した様子に即した俯瞰画像ＦＧを自動で生成できる。

【0118】

また、例えば、上述した画像生成装置２の制御方法が、画像生成装置２が備えるコンピューターを用いて実現される場合、本発明を、上記通信方法を実現するためにコンピューターが実行するプログラム、このプログラムを前記コンピューターで読み取り可能に記録した記録媒体、或いは、このプログラムを伝送する伝送媒体の態様で構成することも可能である。

【0119】

また、例えば、本実施形態は、制御部２０が一つのプロセッサー（ＣＰＵ）を備え、このプロセッサーが制御プログラムに従った処理を実行することで制御部２０の機能を実現するが、複数のプロセッサー又は半導体チップにより制御部２０の機能を実現してもよい。例えば、制御部２０が、ＳｏＣ（System-on-a-Chip）やＭＣＵ（Micro Control Unit）、ＦＰＧＡ（Field-Programmable Gate Array）等の副処理装置（co-processor）をさらに備える構成であってもよい。また、制御部２０は、ＣＰＵ及び副処理装置の双方を協働させるか、あるいは双方のうちの一方を選択的に用いて各種の制御を行ってもよい。

【0120】

また、例えば、図１は、本願発明を理解容易にするために、画像生成装置２、及び車両１の構成を主な処理内容に応じて分類して示した概略図であり、画像生成装置２、及び車両１の構成は、処理内容に応じて、さらに多くの構成要素に分類することもできる。また、１つの構成要素がさらに多くの処理を実行するように分類することもできる。図３に示す制御部２０の構成についても同様である。

【0121】

また、例えば、図５、及び図６のフローチャートの処理単位は、画像生成装置２の処理を理解容易にするために、主な処理内容に応じて分割したものであり、処理単位の分割の仕方や名称によって、本発明が限定されることはない。画像生成装置２の処理は、処理内容に応じて、さらに多くの処理単位に分割してもよい。また、１つの処理単位がさらに多くの処理を含むように分割してもよい。

【符号の説明】

【0122】

１ 車両
２ 画像生成装置
７ タッチパネル（表示部）
８、８１〜８４ カメラ
２０ 制御部
２３、２３１〜２３４ カメラＩ／Ｆ（接続部）
２００ 画像入力部
２０１ 移動検出部
２０２ 画像解析部
２０３ 設定部
２０４ 生成部
２０２１ 抽出部
２０２２ 追跡部
２０２３ 特定部
２０３１ 対応関係設定部
２０３２ 範囲設定部
Ａ１〜Ａ４、ＡＡ 領域
ＦＧ 俯瞰画像
ＨＧ、ＨＧ〜ＨＧ４ 変換画像
ＨＳＧ 非車両画像
ＳＧ、ＳＧ１〜ＳＧ５ 撮影画像
ＳＹＧ、ＳＹＧ１〜ＳＹＧ４ 使用画像
Ｔ１、Ｔ２ 特徴点

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】