特開 2024-81267 画像生成装置、画像生成方法及び、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024081267

(43)【公開日】2024-06-18

(54)【発明の名称】画像生成装置、画像生成方法及び、プログラム

(51)【国際特許分類】

   H04N 23/60 20230101AFI20240611BHJP

   H04N 7/18 20060101ALI20240611BHJP

   B60R 1/20 20220101ALI20240611BHJP

   B60R 1/23 20220101ALI20240611BHJP

【ＦＩ】

H04N23/60 500

H04N7/18 J

B60R1/20 100

B60R1/23

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2022194767

(22)【出願日】2022-12-06

(71)【出願人】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(71)【出願人】

【識別番号】000004260

【氏名又は名称】株式会社デンソー

(74)【代理人】

【識別番号】110000213

【氏名又は名称】弁理士法人プロスペック特許事務所

(72)【発明者】

【氏名】山本 祐来

【テーマコード（参考）】

5C054

5C122

【Ｆターム（参考）】

5C054CA04

5C054CC02

5C054EA01

5C054EA05

5C054EA07

5C054FC12

5C054FC13

5C054FD03

5C054GB01

5C054HA30

5C122DA03

5C122DA14

5C122EA06

5C122EA47

5C122EA61

5C122FH04

5C122FH18

5C122HA13

5C122HA35

5C122HB01

5C122HB05

(57)【要約】

【課題】車両の床下画像の生成に関し、正常な床下画像を生成する。
【解決手段】車両ＶＨの下方の少なくとも地面を表す床下画像２２０を生成する画像生成装置であって、車両ＶＨの周囲の少なくとも地面を撮像可能なカメラ４０によって撮像した撮像画像から特定範囲Ａ１の画像を取り込むとともに、取り込んだ画像に基づいて床下画像２２０を生成する画像生成部１３０と、特定範囲Ａ１の画像に車両ＶＨと一体に移動する物体ＯＢが映り込んでいるかを検出する物体検出部１４０と、物体検出部１４０が物体ＯＢを検出した場合、特定範囲Ａ１を撮像画像内で所定量オフセットさせるオフセット処理を実行するオフセット処理部１５０とを備えた。
【選択図】図５

【特許請求の範囲】

【請求項1】

車両の下方の少なくとも地面を表す床下画像を生成する画像生成装置であって、
前記車両の周囲の少なくとも地面を撮像可能なカメラによって撮像した撮像画像から特定範囲の画像を取り込むとともに、取り込んだ画像に基づいて前記床下画像を生成する画像生成部と、
前記特定範囲の画像に前記車両と一体に移動する物体が映り込んでいるかを検出する物体検出部と、
前記物体検出部が前記物体を検出した場合、前記特定範囲を前記撮像画像内で所定量オフセットさせるオフセット処理を実行するオフセット処理部と、を備える
画像生成装置。

【請求項2】

請求項１に記載の画像生成装置であって、
前記オフセット処理部は、前記オフセット処理を実行した場合において、前記物体検出部がオフセット後の特定範囲の画像に前記物体を検出する場合には、前記物体検出部が前記物体を検出しなくなるまで前記オフセット処理を繰り返す
画像生成装置。

【請求項3】

請求項２に記載の画像生成装置であって、
前記オフセット処理部は、前記撮像画像内の前記車両から離れた所定範囲を前記床下画像の生成に適さない範囲に設定するとともに、前記オフセット処理を実行する際は、前記特定範囲を前記車両から離れる方向にオフセットさせ、
前記画像生成部は、前記物体検出部が前記物体を検出することにより、前記オフセット処理部が前記オフセット処理を実行した際に、オフセット後の特定範囲の少なくとも一部が前記所定範囲に到達する場合には、前記床下画像を生成しない
画像生成装置。

【請求項4】

車両の下方の少なくとも地面を表す床下画像を生成する画像生成方法であって、
前記車両の周囲の少なくとも地面を撮像可能なカメラによって撮像した撮像画像から特定範囲の画像を取り込むとともに、取り込んだ画像に基づいて前記床下画像を生成する画像生成処理と、
前記特定範囲の画像に前記車両と一体に移動する物体が映り込んでいるかを検出する物体検出処理と、
前記物体検出処理により前記物体を検出した場合、前記特定範囲を前記撮像画像内で所定量オフセットさせるオフセット処理と、を含む
画像生成方法。

【請求項5】

車両の下方の少なくとも地面を表す床下画像を生成する画像生成装置のコンピュータに、
前記車両の周囲の少なくとも地面を撮像可能なカメラによって撮像した撮像画像から特定範囲の画像を取り込むとともに、取り込んだ画像に基づいて前記床下画像を生成する画像生成処理と、
前記特定範囲の画像に前記車両と一体に移動する物体が映り込んでいるかを検出する物体検出処理と、
前記物体検出処理により前記物体を検出した場合、前記特定範囲を前記撮像画像内で所定量オフセットさせるオフセット処理と、を実行させる
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、画像生成装置、画像生成方法及び、プログラムに関し、車両下方の地面を表す床下画像の生成に好適な技術に関する。

【背景技術】

【0002】

例えば、特許文献１は、車載カメラによって進行方向の地面を撮像するとともに、撮像した画像を所定時間経過後に車両の現在の床下画像として表示する装置を開示する。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１６-１９７７８５号公報

【発明の概要】

【0004】

車両においては、所有者がステップやトーイングヒッチ、ブルバーやカンガルーバー、スポイラー等といったオプション部品（以下、外装部品）を後付けする場合がある。このような外装部品がカメラの撮像画像に映り込んでしまうと、外装部品は車両と一体に移動するため、外装部品が床下画像に常時連続して表示されることになる。すなわち、床下画像を正常に表示できなくなるといった課題がある。

【0005】

本開示は、上記課題を解決するためになされたものであり、床下画像を正常に生成することを目的とする。

【0006】

本開示の装置は、車両（ＶＨ）の下方の少なくとも地面を表す床下画像（２２０）を生成する画像生成装置であって、前記車両（ＶＨ）の周囲の少なくとも地面を撮像可能なカメラ（４０）によって撮像した撮像画像から特定範囲（Ａ１）の画像を取り込むとともに、取り込んだ画像に基づいて前記床下画像（２２０）を生成する画像生成部（１３０）と、前記特定範囲（Ａ１）の画像に前記車両（ＶＨ）と一体に移動する物体（ＯＢ）が映り込んでいるかを検出する物体検出部（１４０）と、前記物体検出部（１４０）が前記物体（ＯＢ）を検出した場合、前記特定範囲（Ａ１）を前記撮像画像内で所定量オフセットさせるオフセット処理を実行するオフセット処理部（１５０）と、を備える。

【図面の簡単な説明】

【0007】

【図1】本実施形態に係る車両のハードウェア構成を示す模式図である。

【図2】カメラセンサの配置及び撮像範囲を示した模式図である。

【図3】本実施形態に係る制御装置のソフトウェア構成を示す模式図である。

【図4】（Ａ）は、画像生成部が生成する俯瞰画像の一例を説明する模式図である。（Ｂ）は、車両が前進走行している場合に、床下画像の生成に用いる画像データを説明する模式図である。（Ｃ）は、車両が後進走行している場合に、床下画像の生成に用いる画像データを説明する模式図である。

【図5】床下画像の生成に用いる画像の取り込み範囲及び、取り込み範囲のオフセットを説明する模式図である。

【図6】画像生成処理のルーチンを説明するフローチャートである。

【発明を実施するための形態】

【0008】

以下、図面を参照して本実施形態に係る画像生成装置、画像生成方法及び、プログラムを説明する。

【0009】

［ハードウェア構成］
図１は、本実施形態に係る車両ＶＨのハードウェア構成を示す模式図である。車両ＶＨは、ＥＣＵ（Electronic Control Unit）１０を有する。ＥＣＵ１０は、ＣＰＵ（Central Processing Unit）１１、ＲＯＭ（Read Only Memory）１２、ＲＡＭ（Random Access Memory）１３及びインターフェース装置１４等を備える。ＣＰＵ１１は、ＲＯＭ１２に格納されている各種プログラムを実行するプロセッサである。ＲＯＭ１２は、不揮発性メモリであって、ＣＰＵ１１が各種プログラムを実行するために必要なデータ等を記憶する。ＲＡＭ１３は、揮発性メモリであって、各種プログラムがＣＰＵ１１によって実行される際に展開される作業領域を提供する。インターフェース装置１４は、外部装置と通信するための通信デバイスである。

【0010】

ＥＣＵ１０は、画像生成処理及び、画像表示処理を行う中枢となる装置である。ＥＣＵ１０には、駆動装置２０、操舵装置２１、制動装置２２、表示装置２５、内界センサ装置３０、カメラセンサ４０等が通信可能に接続されている。

【0011】

駆動装置２０は、車両ＶＨの駆動輪に伝達する駆動力を発生させる。駆動装置２０としては、例えば、電動機、エンジンが挙げられる。本実施装置において、車両ＶＨは、ハイブリッド車（ＨＥＶ）、プラグインハブリッド車（ＰＨＥＶ）、燃料電池車（ＦＣＥＶ）、電気自動車（ＢＥＶ）、エンジン車の何れであってもよい。操舵装置２１は、車両ＶＨの車輪に転舵力を付与する。制動装置２２は、車両ＶＨの車輪に制動力を付与する。

【0012】

表示装置２５は、車両ＶＨのインストルメントパネル等に設けられたタッチパネル式のディスプレイ（例えば、タッチパネル式の液晶ディスプレイ）である。表示装置２５としては、例えば、図示しないナビゲーション装置が備えるディスプレイを用いることができるが、ナビゲーション装置とは独立したディスプレイであってもよい。表示装置２５は、ＥＣＵ１０からの指令に応じて各種の画像を表示する。

【0013】

内界センサ装置３０は、車両ＶＨの状態を検出するセンサ類である。具体的には、内界センサ装置３０は、車速センサ３１、アクセルセンサ３２、ブレーキセンサ３３、操舵角センサ３４、加速度センサ３５等を備えている。車速センサ３１は、車両ＶＨの走行速度、すなわち車速を検出する。アクセルセンサ３２は、ドライバによる不図示のアクセルペダルの操作量を検出する。ブレーキセンサ３３は、ドライバによる不図示のブレーキペダルの操作量を検出する。操舵角センサ３４は、不図示のステアリングホイール又は、ステアリングシャフトの回転角、すなわち操舵角を検出する。加速度センサ３５は、車両ＶＨの加速度を検出する。内界センサ装置３０は、各センサ３１～３５によって検出される車両ＶＨの状態をＥＣＵ１０に所定の周期で送信する。

【0014】

カメラセンサ４０は、車両ＶＨの周囲を撮像する。カメラセンサ４０は、例えば、ステレオカメラや単眼カメラであり、ＣＭＯＳやＣＣＤ等の撮像素子を有するデジタルカメラを用いることができる。本実施形態において、カメラセンサ４０は、前方カメラ４１、後方カメラ４２、左側方カメラ４３、右側方カメラ４４を備えている。複数のカメラ４１～４４は、これらを区別する必要がない場合、単に「カメラセンサ４０」とも称する。

【0015】

図２は、カメラセンサ４０の配置及び撮像範囲を示した模式図である。前方カメラ４１は、車両ＶＨの前部の車幅方向の略中央部（例えば、フロントグリル）に設けられる。前方カメラ４１の光軸は、車両ＶＨの前斜め下方に向けられている。後方カメラ４２は、車両ＶＨの後部（例えば、バックドア）に設けられる。後方カメラ４２の光軸は、車両ＶＨの後斜め下方に向けられている。左側方カメラ４３は、車両ＶＨの左側部（例えば、左サイドミラー）に設けられる。左側方カメラ４３の光軸は、車両ＶＨの左斜め下方に向けられている。右側方カメラ４４は、車両ＶＨの右側部（例えば、右サイドミラー）に設けられる。右側方カメラ４４の光軸は、車両ＶＨの右斜め下方に向けられている。

【0016】

カメラセンサ４０は、広角レンズを備えており、光軸を基準とした右方、左方、下方及び、上方の範囲を撮像する。すなわち、カメラセンサ４０は、車両ＶＨの周囲の地面及び、地面から上方の領域を含む車両ＶＨの全周囲の画像データを取得することができる。カメラセンサ４０は、取得した画像データをＥＣＵ１０に所定の周期で送信する。

【0017】

［ソフトウェア構成］
図３は、本実施形態に係るＥＣＵ１０のソフトウェア構成を示す模式図である。図３に示すように、ＥＣＵ１０は、画像取得部１００、オプティカルフロー演算部１１０、位置推定部１２０、画像生成部１３０、映り込み検出部１４０、オフセット処理部１５０、表示制御部１６０を機能要素として備える。これら各機能要素１００～１６０は、ＥＣＵ１０のＣＰＵ１１がＲＯＭ１２に格納されているプログラムをＲＡＭ１３に読み出して実行することにより実現される。なお、各機能要素１００～１６０の全部又は一部は、ＥＣＵ１０とは別体の他のＥＣＵ、或いは、車両ＶＨと通信可能な施設（管理センタ等）の情報処理装置に設けることもできる。

【0018】

画像取得部１００は、カメラセンサ４０によって撮像される画像データを取得し、取得した画像データをＲＡＭ１３等の記憶装置に格納する。具体的には、画像取得部１００は、車両ＶＨが所定距離移動する毎に、その時点でカメラセンサ４０によって撮像される画像データを、後述する位置推定部１２０が推定する車両ＶＨの位置情報、内界センサ装置３０によって取得される車両ＶＨの状態量等と対応付けて格納する。画像取得部１００は、例えば、車両ＶＨが前進走行する際は、前方カメラ４１によって撮像される車両ＶＨ前方の画像データを記憶装置に格納する。また、画像取得部１００は、例えば、車両ＶＨが後進走行する際は、後方カメラ４２によって撮像される車両ＶＨ後方の画像データを記憶装置に格納する。

【0019】

オプティカルフロー演算部１１０は、カメラセンサ４０によって撮像される画像データに基づき、オプティカルフローを演算する。オプティカルフローとは、動物体解析の手法の一つであって、画像データに映っている物体の動きをベクトルで示した情報である。オプティカルフロー演算部１１０は、画像取得部１００によって取得される現在の画像データと、車両ＶＨが所定距離移動する前に画像取得部１００が格納した過去の画像データとを比較し、特徴点が一致する物体の遷移ベクトルからオプティカルフローを演算する。

【0020】

本実施形態において、オプティカルフロー演算部１１０は、画像データの全範囲を用いてオプティカルフローを演算するのではなく、後述する所定の取り込み範囲（第１範囲Ａ１、第２範囲Ａ２・・・第ｎ範囲Ａｎ）の画像データを用いて、オプティカルフローを演算する。このように、オプティカルフローの演算に用いる画像データを、所定の取り込み範囲の画像データに制限することで、ＣＰＵ１１の処理負荷の軽減や演算時間の短縮を図ることが可能になる。

【0021】

位置推定部１２０は、車両ＶＨの移動量に基づき、車両ＶＨの現在位置（位置情報）を推定する。具体的には、位置推定部１２０は、オプティカルフロー演算部１１０によって演算されるオプティカルフローに基づき、車両ＶＨの移動量を演算することにより、車両ＶＨの現在位置を推定する。なお、車両ＶＨの走行中の路面が舗装路等、駆動輪に空転が生じにくい路面状態の場合には、位置推定部１２０は、車速センサ３１や操舵角センサ３４の検出結果に基づいたオドメトリにより車両ＶＨの移動量を演算してもよい。

【0022】

画像生成部１３０は、カメラセンサ４０によって撮像された画像データに基づき、車両ＶＨを鉛直上方から俯瞰した俯瞰画像を生成する。俯瞰画像を生成する手法は特に限定されず、マッピングテーブルを利用する手法等、公知の手法を用いることができる。画像生成部１３０は、画像取得部１００がカメラセンサ４０から画像データを取得する毎に、俯瞰画像を生成する。

【0023】

図４（Ａ）は、画像生成部１３０が生成する俯瞰画像２００の一例を説明する模式図である。画像生成部１３０は、俯瞰画像２００として、周囲画像２１０及び、床下画像２２０を生成する。ここで、周囲画像２１０とは、車両ＶＨを鉛直上方の仮想視点ＶＰから俯瞰した場合に、車両ＶＨを除いた周囲（前方、後方、左方、右方）の領域を表す画像である。また、床下画像２２０とは、車両ＶＨを鉛直上方の仮想視点ＶＰから俯瞰した場合に、車両ＶＨを透過した床下の地面を表す画像である。

【0024】

なお、仮想視点ＶＰは、車両ＶＨの鉛直上方に限定されず、車両ＶＨの乗員からの要求に応じ、例えば、仮想視点ＶＰを車両ＶＨの後斜め上方に設定したり、或いは、車両ＶＨの車室内に設定したりすることも可能である。仮想視点ＶＰを車両ＶＨの後斜め上方に設定すれば、車両ＶＨの乗員に周辺物体とのサイドクリアランス等を効果的に提示することができる。また、仮想視点ＶＰを車両ＶＨの車室内に設定し、車両ＶＨの床部を透過させてタイヤ付近の床下画像を生成すれば、オフロード走行時等にタイヤ付近の路面状況を効果的に提示することが可能になる。

【0025】

画像生成部１３０は、現時点での画像データ（すなわち、前方カメラ４１、後方カメラ４２、左側方カメラ４３、右側方カメラ４４がそれぞれ撮像した最新の画像データ）に基づいて周囲画像２１０を生成する。一方、現時点での床下画像２２０は、最新の画像データから生成することはできない。画像生成部１３０は、床下画像２２０については、車両ＶＨが現在位置よりも所定距離ほど進行方向逆側の位置にてカメラセンサ４０（前方カメラ４１、後方カメラ４２）が撮像した画像データを用いて生成する。

【0026】

図４（Ｂ）に示すように、画像生成部１３０は、車両ＶＨが前進走行している場合には、現在位置より所定距離後方にて前方カメラ４１が撮像した画像データＤＦを用いて床下画像を生成する。一方、画像生成部１３０は、図４（Ｃ）に示すように、車両ＶＨが後進走行している場合には、現在位置より所定距離前方にて後方カメラ４２が撮像した画像データＤＲを用いて床下画像を生成する。床下画像の生成に用いる画像データは、画像取得部１００が車両ＶＨの位置情報等と対応付けて記憶装置に格納した画像データを用いればよい。所定距離は、特に限定されず、車両ＶＨやカメラセンサ４０（前方カメラ４１、後方カメラ４２）の具体的な仕様等に基づいて設定すればよい。車両ＶＨが所定距離だけ前進又は後進したかは、位置推定部１２０の推定結果に基づいて取得すればよい。

【0027】

ここで、画像生成部１３０が床下画像を生成する際に、画像データの全範囲を取り込んで床下画像を生成すると、ＣＰＵ１１の処理負荷や画像生成までに要する時間が増大することになる。また、画像生成部１３０が、画像データ中の車両ＶＨから離れた遠方の範囲の画像を用いて床下画像を生成すると、周辺構造物等の角度が不自然且つ低解像度の画像が生成されることになる。特に、仮想視点ＶＰを車両ＶＨの後斜め後方に設定した場合には、周辺構造物等の角度が不自然となることから、車両ＶＨの運転者に違和感を与えることになる。

【0028】

そこで、画像生成部１３０は、画像データの全範囲の中から予め設定した所定の取り込み範囲（特定範囲）の画像データを取り込んで床下画像を生成する。図５（Ａ）は、デフォルトの取り込み範囲として設定されている第１範囲Ａ１を説明する模式図である。なお、画像の取り込み処理や床下画像の生成処理は、前方カメラ４１及び後方カメラ４２ともに略同じ処理内容となるため、以下では、後方カメラ４２について説明する。

【0029】

図５（Ａ）において、符号ＲＢは車両ＶＨのリアバンパ、符号ＬＭは画像を取り込む上限ラインを示している。ここで上限ラインＬＭとは、上限ラインＬＭよりも車両ＶＨから離れた範囲Ｚの画像データを用いると、床下画像を所望の解像度で生成できず、且つ、周辺構造物等の角度も不自然になる基準となるラインである。すなわち、画像データにおいて、上限ラインＬＭよりも車両ＶＨから離れた範囲Ｚは、床下画像の生成に適さない範囲といえる。範囲Ｚは、本開示の所定範囲の一例である。上限ラインＬＭの具体的な数値は特に限定されず、後方カメラ４２の性能等に基づいて設定すればよい。上限ラインＬＭは固定値でもよく、或いは、後方カメラ４２が画像データを撮像したときの車両ＶＨの車速や姿勢、周辺環境（昼夜、雨天、晴天）等に応じた可変値としてもよい。おな、以下では、画像データ中の車両ＶＨの前後方向を縦方向、車両ＶＨの前後方向と直交する車幅方向を横方向という。

【0030】

図５（Ａ）に示すように、第１範囲Ａ１は、車両ＶＨの後端直下に設定される。具体的には、第１範囲Ａ１の横長さＷは、車両ＶＨの車幅と略同じ長さで設定されている。また、第１範囲Ａ１の縦長さＤは、リアバンパＲＢの後端直下から縦方向に所定の長さで設定されている。縦長さＤは特に制限されないが、リアバンパＲＢの後端から上限ラインＬＭまでの距離を距離ＤＬとした場合に、距離ＤＬの半分よりも短い長さで設定される（Ｄ＜ＤＬ／２）。すなわち、後述するオフセット処理によって、取り込み範囲を第１範囲Ａ１から縦長さＤだけ縦方向にオフセットしたとしても、オフセット後の第２範囲Ａ２が上限ラインＬＭを超えないように設定されている。言い替えれば、取り込み範囲が上限ラインＬＭに達するまでの間に、後述するオフセット処理を少なくとも一回以上実行できるように構成されている。

【0031】

ところで、車両ＶＨには、所有者の好みや、車両の使用目的等に応じて、ステップやトーイングヒッチ、ブルバーやカンガルーバー等といった外装部品が後付けされる場合がある。このような外装部品が後方カメラ４２の画像データに映り込むと、床下画像２２０に外装部品が常時連続して表示されることになり、床下画像２２０を正常に表示できなくなる課題がある。

【0032】

映り込み検出部１４０は、後方カメラ４２によって撮像される画像データの取り込み範囲に、車両ＶＨと一体に移動する外装部品等の物体（以下、一体移動物ＯＢという）が映り込んでいるかを検出する。本実施形態において、映り込み検出部１４０は、前述のオプティカルフロー演算部１１０が取り込み範囲の画像を用いて演算するオプティカルフローに基づき、画像データの取り込み範囲に一体移動物ＯＢが映り込んでいるか検出する。具体的には、映り込み検出部１４０は、オプティカルフローの演算結果に基づき、画像内に車両ＶＨの遷移ベクトルと略一致する物体を取得した場合、当該物体を画像内に映り込んだ一体移動物ＯＢとして検出する。映り込み検出部１４０は、一体移動物ＯＢを検出した場合、その検出結果をオフセット処理部１５０に送信する。

【0033】

なお、一体移動物ＯＢを検出する手法は、オプティカルフローを用いる手法に限定されず、パターンマッチング等の機械学習によって検出することも可能である。

【0034】

オフセット処理部１５０は、映り込み検出部１４０が一体移動物ＯＢを検出すると、床下画像の生成に用いる画像の取り込み範囲を縦方向に移動させるオフセット処理を実施する。オフセット処理部１５０は、図５（Ａ）に示されるように、映り込み検出部１４０が第１範囲Ａ１に一体移動物ＯＢ（図示例では、トーイングヒッチ）を検出した場合、図５（Ｂ）に示されるように、取り込み範囲を第１範囲Ａ１から縦方向に縦長さＤだけ移動させた第２範囲Ａ２にオフセットする。

【0035】

オフセット処理部１５０は、取り込み範囲を第２範囲Ａ２にオフセットした後、映り込み検出部１４０が第２範囲Ａ２に一体移動物ＯＢを検出しない場合には、第２範囲Ａ２を床下画像生成用の取り込み範囲に設定する。一方、オフセット処理部１５０は、図５（Ｂ）に示されるように、取り込み範囲を第２範囲Ａ２にオフセットした後、映り込み検出部１４０が第２範囲Ａ２に一体移動物ＯＢを検出する場合、取り込み範囲を第２範囲Ａ２から縦長さＤだけ縦方向にさらにオフセットさせる。すなわち、映り込み検出部１４０によって一体移動物ＯＢが検出されなくなるまで、取り込み範囲の縦方向へのオフセットを繰り返し実行する。これにより、画像生成部１３０は、外装部品等の一体移動物ＯＢが映り込んでいない画像に基づいて、床下画像を生成することができる。すなわち、正常な床下画像を生成することが可能になる。

【0036】

図５（Ｃ）に示されるように、オフセット処理部１５０は、取り込み範囲である第ｎ範囲Ａｎ（ｎは３以上の整数）が上限ラインＬＭに達した場合、より詳しくは、映り込み検出部１４０が取り込み範囲の画像から一体移動物ＯＢを検出しなくなるまでの間に、第ｎ範囲Ａｎ内に上限ラインＬＭが含まれた場合には、画像生成部１３０に対して床下画像の生成を禁止する禁止指令を送信する。これにより、低解像度、且つ、周辺構造物の角度が不自然な床下画像の生成を防止することができる。

【0037】

表示制御部１６０は、車両ＶＨの乗員からの要求を受け付けると、画像生成部１３０が生成した俯瞰画像２００（周囲画像２１０及び、又は、床下画像２２０）を表示装置２５に表示する。また、表示制御部１６０は、車両ＶＨの乗員からの要求を受け付けた際に、オフセット処理部１５０が画像生成部１３０に禁止指令を送信している場合には、乗員に対して床下画像の生成又は表示が不可能なことを知らせるメッセージを表示装置２５に表示する。なお、メッセージは、表示装置２５による表示に限定されず、スピーカの音声を併用して行ってもよい。

【0038】

次に、図６に示すフローチャートに基づいて、ＥＣＵ１０のＣＰＵ１１が実行する画像生成処理のルーチンを説明する。なお、以下において、取り込み範囲のオフセット量（縦長さＤ）は、画像データ中の車両ＶＨ後端から上限ラインＬＭまでの距離ＤＬの半分よりも短い長さで設定されているものとする。すなわち、オフセット処理を少なくとも一回以上実行できるものとする。

【0039】

ステップＳ１００では、ＥＣＵ１０は、車両ＶＨが停車中か否かを判定する。車両ＶＨが停車しているか否かは、例えば、車速センサ３１の検出結果に基づいて判定すればよい。車両ＶＨが停車中の場合（Ｙｅｓ）、ＥＣＵ１０は、ステップＳ１９０の処理に進み、床下画像の生成を不可と判定し、本ルーチンをリターンする。一方、車両ＶＨが停車中でない場合（Ｎｏ）、すなわち、車両ＶＨが走行している場合、ＥＣＵ１０は、ステップＳ１１０の処理に進む。

【0040】

ステップＳ１１０では、ＥＣＵ１０は、車両ＶＨの現在位置より所定距離後方にて後方カメラ４２が撮像した画像データを取得しているかを判定する。画像データを取得している場合（Ｙｅｓ）、ＥＣＵ１０は、ステップＳ１２０の処理に進む。一方、画像データを取得していない場合（Ｎｏ）、ＥＣＵ１０は、ステップＳ１９０の処理に進み、床下画像の生成を不可と判定し、本ルーチンをリターンする。

【0041】

ステップＳ１２０では、ＥＣＵ１０は、オプティカルフローに基づき、画像データの第１範囲Ａ１に一体移動物ＯＢを検出したかを判定する。第１範囲Ａ１に一体移動物ＯＢを検出しない場合（Ｎｏ）、ＥＣＵ１０は、ステップＳ１８０の処理に進み、現在の取り込み範囲（すなわち、第１範囲Ａ１）の画像に基づき床下画像を生成する。一方、第１範囲Ａ１に一体移動物ＯＢを検出する場合（Ｙｅｓ）、ＥＣＵ１０は、ステップＳ１３０の処理に進む。

【0042】

ステップＳ１３０では、ＥＣＵ１０は、取り込み範囲を第１範囲Ａ１から縦方向に縦長さＤだけオフセットさせた第２範囲Ａ２に設定する。次いで、ステップＳ１４０では、ＥＣＵ１０は、オプティカルフローに基づき、画像データの第２範囲Ａ２に一体移動物ＯＢを検出したかを判定する。第２範囲Ａ２に一体移動物ＯＢを検出しない場合（Ｎｏ）、ＥＣＵ１０は、ステップＳ１８０の処理に進み、現在の取り込み範囲の画像（すなわち、第２範囲Ａ２）に基づき床下画像を生成する。一方、第２範囲Ａ２に一体移動物ＯＢを検出する場合（Ｙｅｓ）、ＥＣＵ１０は、ステップＳ１５０の処理に進む。

【0043】

ステップＳ１５０では、ＥＣＵ１０は、取り込み範囲を縦方向に縦長さＤだけオフセットさせた第ｎ範囲Ａｎ（ｎは３以上の整数）に設定する。次いで、ステップＳ１６０では、ＥＣＵ１０は、第ｎ範囲Ａｎが上限ラインＬＭに達したか否かを判定する。第ｎ範囲Ａｎが上限ラインＬＭに達した場合（Ｙｅｓ）、ＥＣＵ１０は、ステップＳ１９０の処理に進み、床下画像の生成を不可と判定し、本ルーチンをリターンする。一方、第ｎ範囲Ａｎが上限ラインＬＭに達していない場合（Ｎｏ）、ＥＣＵ１０は、ステップＳ１７０の処理に進む。

【0044】

ステップＳ１７０では、ＥＣＵ１０は、オプティカルフローに基づき、画像データの第ｎ範囲Ａｎに一体移動物ＯＢを検出したかを判定する。第ｎ範囲Ａｎに一体移動物ＯＢを検出しない場合（Ｎｏ）、ＥＣＵ１０は、ステップＳ１８０の処理に進み、床下画像を生成する。一方、第ｎ範囲Ａｎに一体移動物ＯＢを検出する場合（Ｙｅｓ）、ＥＣＵ１０は、ステップＳ１７５にてｎをカウントアップ（ｎ＝ｎ＋１）して、ステップＳ１５０の処理に戻る。すなわち、取り込み範囲が上限ラインＬＭに達するまでの間は、一体移動物ＯＢを検出しなくなるまで、取り込み範囲のオフセットを繰り返す。

【0045】

以上詳述した本実施形態によれば、オフセット処理部１５０は、映り込み検出部１４０が取り込み範囲の画像に一体移動物ＯＢの映り込みを検出すると、取り込み範囲を縦方向に移動させるオフセット処理を実行する。オフセット処理部１５０は、映り込み検出部１４０が一体移動物ＯＢを検出しなくなるまで、取り込み範囲のオフセットを繰り返し実行する。これにより、画像生成部１３０は、一体移動物ＯＢが映り込んでいない画像に基づいて床下画像を生成することが可能になる。すなわち、表示装置２５に外装部品等が映り込んでいない正常な床下画像を表示することができる。

【0046】

なお、本開示は上記実施形態に限定されるものではなく、本発明の目的を逸脱しない限りにおいて種々の変形が可能である。

【0047】

例えば、上記実施形態では、取り込み範囲のオフセットは、映り込み検出部１４０が一体移動物ＯＢを検出した場合に、オフセット処理部１５０が実行するものとして説明したが、車両ＶＨの乗員の操作（例えば、表示装置２５のタッチ操作等）によって取り込み範囲を任意の範囲にオフセットできるようにすることも可能である。また、上記実施形態では、取り込み範囲のオフセット量は、縦長さＤで設定されるものとして説明したが、縦長さＤよりも短いオフセット量、すなわち、オフセットの前後で取り込み範囲の一部が重複するように構成することも可能である。また、本開示の適用は、車両ＶＨの床下画像の生成に限定されず、車両ＶＨと一体に移動する物体の映り込みが望ましくない他の画像の生成にも広く適用することが可能である。

【符号の説明】

【0048】

ＶＨ…車両，１０…ＥＣＵ，２５…表示装置，３０…内界センサ装置，４０…カメラセンサ，４１…前方カメラセンサ，４２…後方カメラ，４３…左側方カメラ，４４…右側方カメラ，１００…画像取得部，１１０…オプティカルフロー演算部，１２０…位置推定部，１３０…画像生成部，１４０…映り込み検出部，１５０…オフセット処理部，１６０…表示制御部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】