特許 6498052 車両周辺画像生成装置および車両周辺画像生成方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6498052

(24)【登録日】2019年3月22日

(45)【発行日】2019年4月10日

(54)【発明の名称】車両周辺画像生成装置および車両周辺画像生成方法

(51)【国際特許分類】

   B60R 1/00 20060101AFI20190401BHJP

   B60R 1/06 20060101ALI20190401BHJP

   B60R 1/07 20060101ALI20190401BHJP

   H04N 7/18 20060101ALI20190401BHJP

   G06T 1/00 20060101ALI20190401BHJP

【ＦＩ】

   B60R1/00 A

   B60R1/06 D

   B60R1/07

   H04N7/18 J

   G06T1/00 330Z

【請求項の数】4

【全頁数】13

(21)【出願番号】特願2015-123996(P2015-123996)

(22)【出願日】2015年6月19日

(65)【公開番号】特開2017-7474(P2017-7474A)

(43)【公開日】2017年1月12日

【審査請求日】2017年12月18日

(73)【特許権者】

【識別番号】000101732

【氏名又は名称】アルパイン株式会社

(74)【代理人】

【識別番号】100105784

【弁理士】

【氏名又は名称】橘 和之

(72)【発明者】

【氏名】安本 貴史

【審査官】 高島 壮基

(56)【参考文献】

【文献】 特開２００７−２３５５２８（ＪＰ，Ａ）

【文献】 特開２００７−１０６２００（ＪＰ，Ａ）

【文献】 特開２００４−３０６６７０（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｂ６０Ｒ １／００

１／０６

１／０７

１１／０２

Ｇ０６Ｔ １／００

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

車両の周囲に設置された複数のカメラによって撮像された車両周辺の画像を取得する画像取得部と、
前記画像取得部によって取得された前記車両周辺の画像から所定範囲の部分画像を抽出する部分画像抽出部と、
前記部分画像抽出部によって抽出された前記部分画像をマッピングテーブルに基づいて座標変換することにより、前記車両の上方の仮想視点から見た車両周辺画像を生成する車両周辺画像生成部と
を備えた車両周辺画像生成装置であって、
前記車両のドアが開いたときに、当該ドアの開き角度に応じて、当該ドアのドアミラーを回転させることにより、当該ドアミラーに設置されているカメラの撮像方向を修正する撮像方向修正部と、
前記撮像方向修正部によって前記ドアミラーに設置されているカメラの撮像方向が修正された場合、前記ドアが開いているときの当該カメラの位置と、前記ドアが閉じているときの当該カメラの位置との差分に応じて、当該カメラによって撮像された画像からの、前記部分画像抽出部による前記部分画像の抽出範囲を補正する部分画像抽出範囲補正部と
をさらに備えることを特徴とする車両周辺画像生成装置。

【請求項2】

前記部分画像抽出範囲補正部は、
前記部分画像の抽出範囲の補正値が前記ドアの開き角度毎に示された補正テーブルから、前記ドアの開き角度に応じた補正値を読み出し、当該補正値を用いて、前記部分画像抽出部による前記部分画像の抽出範囲を補正する
ことを特徴とする請求項１に記載の車両周辺画像生成装置。

【請求項3】

前記補正値として、前記部分画像の抽出範囲全体の移動方向および移動量を示す値が用いられている
ことを特徴とする請求項２に記載の車両周辺画像生成装置。

【請求項4】

車両周辺画像生成装置の画像取得部が、車両の周囲に設置された複数のカメラによって撮像された車両周辺の画像を取得する画像取得工程と、
前記車両周辺画像生成装置の部分画像抽出部が、前記画像取得部によって取得された前記車両周辺の画像から所定範囲の部分画像を抽出する部分画像抽出工程と、
前記車両周辺画像生成装置の車両周辺画像生成部が、前記部分画像抽出部によって抽出された前記部分画像をマッピングテーブルに基づいて座標変換することにより、前記車両の上方からの車両周辺画像を生成する車両周辺画像生成工程と
を含んだ車両周辺画像生成方法であって、
前記車両周辺画像生成装置の撮像方向修正部が、前記車両のドアが開いたときに、当該ドアの開き角度に応じて、当該ドアのドアミラーを回転させることにより、当該ドアミラーに設置されているカメラの撮像方向を修正する撮像方向修正工程と、
前記車両周辺画像生成装置の部分画像抽出範囲補正部が、前記撮像方向修正部によって前記ドアミラーに設置されているカメラの撮像方向が修正された場合、前記ドアが開いているときの当該カメラの位置と、前記ドアが閉じているときの当該カメラの位置との差分に応じて、当該カメラによって撮像された画像からの、前記部分画像抽出部による前記部分画像の抽出範囲を補正する部分画像抽出範囲補正工程と
をさらに含むことを特徴とする車両周辺画像生成方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車両周辺画像生成装置および車両周辺画像生成方法に関し、特に、車両の上方の仮想視点から見た車両周辺画像を生成する車両周辺画像生成装置および車両周辺画像生成方法に用いて好適なものである。

【背景技術】

【0002】

従来、車両の周囲に複数のカメラ（一般的には、フロントカメラ、リアカメラ、左サイドカメラ、右サイドカメラ）を設置し、複数のカメラによって撮像された車両周辺の画像をマッピングテーブルに基づいて座標変換することにより、車両の上方の仮想視点から見た車両周辺画像を生成して、当該車両周辺画像を車内のディスプレイに表示させる技術が利用されている。運転者は、ディスプレイに表示された車両周辺画像を確認することで、車両とその周囲の障害物との位置関係を把握し、車両を障害物に接触させないように運転することができる。

【0003】

しかしながら、一般的に、サイドカメラはドアミラーに設置されている。このため、車両のドアを開いたとき、そのドアのドアミラーに設置されているサイドカメラの撮像方向が変わってしまい、そのサイドカメラによって車両の側方の画像をうまく撮像することができなくなってしまうといった問題が生じていた。

【0004】

そこで、従来、このようにドアを開いた時にドアミラーの位置と方向が変化することによる問題を解決するための技術が考案されている。例えば、下記特許文献１には、ドアが開いたことを検知すると、ドアミラーの電動格納装置を駆動させることによってドアミラーをドアに対して回動させて、撮像装置による撮像エリアがドアの開閉前後で変化しないようにする技術が開示されている。

【0005】

また、下記特許文献２には、車両のドアを開けた時にもドアミラーを見ながら車両後方を確認することができるように、ドアの開放角度に応じてドアミラーがドアの回転方向とは逆方向に回転するようにドアミラー駆動部を駆動する技術が開示されている。

【0006】

なお、下記特許文献３には、可動部（ドアミラー、リアハッチ）の移動が検出された際に、可動部に設置されたカメラの姿勢の変動が予め想定されたものである場合には、可動部の補正量に対応する補正情報を用いてマッピングテーブルを補正し、補正後のマッピングテーブルを用いて車両周辺画像を生成する技術が開示されている。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】特開２００７−１０６２００号公報

【特許文献2】特開２００５−３２４５７４号公報

【特許文献3】特開２００８−１４１６４９号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

しかしながら、上述のように車両周辺画像を生成する構成に、特許文献１，２に記載されているようにドアを開いたときにドアミラーの角度を変化させるといった技術を適用したとしても、ドアが閉じているときに撮像された画像と、ドアが開いているときに撮像された画像との間に、位置ずれが生じてしまう。このため、ドアが開いているときに生成された車両周辺画像において、そのドアのドアミラーに設置されているカメラによって撮像された画像の表示位置にずれが生じてしまい、不自然な車両周辺画像が生成されてしまうといった問題が生じてしまう。

【0009】

なお、特許文献３の技術は、ミラーの通常位置からの移動量に基づいてマッピングテーブルを補正するものであり、ドアを開いたときのようにカメラの向きおよび位置が大きく変化する場合には、そもそも車両の側方の画像を撮像することができなくなるため、このような補正だけで対応できるものではない。

【0010】

本発明は、上述のような問題を解決するために成されたものであり、ドアの開閉に伴って不自然な車両周辺画像が生成されてしまうことを防止することができるようにすることを目的とする。

【課題を解決するための手段】

【0011】

上記した課題を解決するために、本発明では、車両の周囲に設置された複数のカメラによって撮像された車両周辺の画像から所定範囲の部分画像を抽出し、抽出された部分画像をマッピングテーブルに基づいて座標変換することにより、車両の上方の仮想視点から見た車両周辺画像を生成するようになされた車両周辺画像生成装置において、車両のドアが開いたときに、当該ドアの開き角度に応じて、当該ドアのドアミラーを回転させることにより、当該ドアミラーに設置されているカメラの撮像方向を修正し、ドアが開いているときの当該カメラの位置と、ドアが閉じているときの当該カメラの位置との差分に応じて、当該カメラによって撮像された画像からの、部分画像の抽出範囲を補正するようにしている。

【発明の効果】

【0012】

上記のように構成した本発明によれば、ドアが閉じているときに抽出される部分画像と、ドアが開いているときに抽出される部分画像との位置ずれが、部分画像の抽出範囲の補正により解消されるようになる。このため、ドアが開いているときに生成された車両周辺画像において、そのドアに設置されているカメラによって撮像された画像の表示位置のずれが生じることはない。したがって、本発明によれば、ドアの開閉に伴って不自然な車両周辺画像が生成されてしまうことを防止することができる。

【図面の簡単な説明】

【0013】

【図1】本発明の一実施形態に係る車載システムの機能構成例を示すブロック図である。

【図2】本発明の一実施形態に係る補正テーブル記憶部に記憶されている補正テーブルの一例を示す図である。

【図3】本発明の一実施形態に係る車両周辺画像生成装置による処理の一例を示すフローチャートである。

【図4】本発明の一実施形態に係る車両周辺画像生成装置によるカメラの撮像方向の修正例を示す図である。

【図5】本発明の一実施形態に係る車載システムにおけるカメラの撮像範囲を示す図である。

【図6】本発明の一実施形態に係る車両周辺画像生成装置による部分画像の抽出範囲の補正例を示す図である。

【図7】本発明の一実施形態に係る車両周辺画像生成装置によって生成された車両周辺画像の一例を示す図である。

【発明を実施するための形態】

【0014】

〔車載システム１０の機能構成例〕
以下、本発明の一実施形態を図面に基づいて説明する。図１は、本発明の一実施形態に係る車載システム１０の機能構成例を示すブロック図である。図１に示す車載システム１０は、自動車等の車両に構築されたシステムである。この車載システム１０は、車両に設置された複数のカメラ１１ａ〜１１ｄによって撮像された車両の周辺の画像から、車両の上方の仮想視点から見た車両周辺画像を生成して、当該車両周辺画像を車内のディスプレイ１３に表示させることができるようになっている。

【0015】

図１に示すように、車載システム１０は、フロントカメラ１１ａ、リアカメラ１１ｂ、左サイドカメラ１１ｃ、右サイドカメラ１１ｄ、開き角度検出装置１２およびディスプレイ１３を備えている。また、車載システム１０は、車両周辺画像生成装置１００を備えている。

【0016】

フロントカメラ１１ａは、車両の前部に設置されており、車両の前方の画像を撮像する。リアカメラ１１ｂは、車両の後部に設置されており、車両の後方の画像を撮像する。左サイドカメラ１１ｃは、車両の左ドアミラーに設置されており、車両の左側方の画像を撮像する。右サイドカメラ１１ｄは、車両の右ドアミラーに設置されており、車両の右側方の画像を撮像する。各カメラ１１ａ〜１１ｄは、１８０度以上の画角を有する超広角レンズが装着されているため、比較的広範囲の画像を撮像することができる。各カメラ１１ａ〜１１ｄによって撮像された画像は、車両周辺画像生成装置１００に入力され、車両周辺画像の生成に用いられる。

【0017】

開き角度検出装置１２は、車両のドア（左ドアおよび右ドア）の開き角度を検出する。開き角度検出装置１２には、例えば車両のドアのヒンジ部分に設置される回転角センサ等が用いられる。

【0018】

ディスプレイ１３は、各種情報（例えば、車両周辺画像生成装置１００によって生成された車両周辺画像）を表示する。ディスプレイ１３には、例えば液晶ディスプレイ、有機ＥＬディスプレイ等が用いられる。

【0019】

車両周辺画像生成装置１００は、複数のカメラ１１ａ〜１１ｄによって撮像された車両の周辺の画像から、車両の上方の仮想視点から見た車両周辺画像を生成する。そして、車両周辺画像生成装置１００は、生成した車両周辺画像をディスプレイ１３に表示させる。

【0020】

車両周辺画像生成装置１００は、その機能構成として、撮像方向修正部１０１、画像取得部１０２、部分画像抽出部１０３、部分画像抽出範囲補正部１０４、車両周辺画像生成部１０５および画像出力部１０６を備えている。また、車両周辺画像生成装置１００は、マッピングテーブル記憶部１１０および補正テーブル記憶部１１１を備えている。

【0021】

上記各機能ブロック１０１〜１０６は、ハードウェア、ＤＳＰ（Digital Signal Processor）、ソフトウェアの何れによっても構成することが可能である。例えばソフトウェアによって構成する場合、上記各機能ブロック１０１〜１０６は、実際にはコンピュータのＣＰＵ、ＲＡＭ、ＲＯＭなどを備えて構成され、ＲＡＭやＲＯＭ、ハードディスクまたは半導体メモリ等の記録媒体に記憶されたプログラムが動作することによって実現される。

【0022】

マッピングテーブル記憶部１１０は、マッピングテーブルを記憶する。マッピングテーブルは、カメラ１１ａ〜１１ｄによって撮像された画像から抽出される部分画像の座標と、車両周辺画像の座標との対応付けが示されている。

【0023】

補正テーブル記憶部１１１は、部分画像の抽出範囲の補正値がドア（左ドアおよび右ドア）の開き角度毎に示されている補正テーブルを記憶する。なお、補正テーブルの詳細については、図２を用いて後述する。

【0024】

撮像方向修正部１０１は、車両のドアが開いたときに、開き角度検出装置１２によって検出された当該ドアの開き角度に応じて、当該ドアのドアミラーを回転させることにより、当該ドアミラーに設置されているカメラの撮像方向を修正する。例えば、撮像方向修正部１０１は、車両の左ドアが３０度開いたとき、その方向とは逆方向（反時計回り）に左ドアミラーを３０度回転させることにより、当該左ドアミラーに設置されている左サイドカメラ１１ｃの撮像方向を修正する。また、撮像方向修正部１０１は、車両の右ドアが３０度開いたとき、その方向とは逆方向（時計回り）に右ドアミラーを３０度回転させることにより、当該右ドアミラーに設置されている右サイドカメラ１１ｄの撮像方向を修正する。

【0025】

画像取得部１０２は、複数のカメラ１１ａ〜１１ｄによって撮像された車両周辺の画像（車両の前方の画像、後方の画像、左側方の画像、右側方の画像）を取得する。

【0026】

部分画像抽出部１０３は、画像取得部１０２によって取得された車両周辺の画像（車両の前方の画像、後方の画像、左側方の画像、右側方の画像）から所定範囲の部分画像を抽出する。なお、部分画像が抽出される所定範囲は、ドアが閉じているときに撮像された画像から部分画像を抽出したときに、適切な車両周辺画像を生成することができるように、予め定められている。

【0027】

部分画像抽出範囲補正部１０４は、ドア（左ドアまたは右ドア）が開いていることにより、撮像方向修正部１０１によってそのドアのドアミラーに設置されているカメラ（左サイドカメラ１１ｃまたは右サイドカメラ１１ｄ）の撮像方向が修正された場合、ドアが開いているときの当該カメラの位置と、ドアが閉じているときの当該カメラの位置との差分に応じて、当該カメラによって撮像された画像からの、部分画像抽出部１０３による部分画像の抽出範囲を補正する。

【0028】

具体的には、補正テーブル記憶部１１１に記憶されている補正テーブルには、ドアの開き角度毎に、ドアが開いているときのカメラの位置とドアが閉じているときのカメラの位置との差分に応じた補正値が示されている。このため、部分画像抽出範囲補正部１０４は、開き角度検出装置１２によって検出されたドアの開き角度に応じた補正値を補正テーブルから読み出し、当該補正値を用いて、部分画像抽出部１０３による部分画像の抽出範囲を補正する。

【0029】

このように、部分画像抽出範囲補正部１０４によって画像（車両の左側方の画像または右側方の画像）からの部分画像の抽出範囲が補正されると、部分画像抽出部１０３は、その画像から、部分画像抽出範囲補正部１０４による補正後の抽出範囲の部分画像を抽出する。

【0030】

車両周辺画像生成部１０５は、部分画像抽出部１０３によって抽出された部分画像を、マッピングテーブル記憶部１１０に記憶されているマッピングテーブルに基づいて座標変換することにより、車両の上方の仮想視点から見た車両周辺画像を生成する。画像出力部１０６は、車両周辺画像生成部１０５によって生成された車両周辺画像を出力して、当該車両周辺画像をディスプレイ１３に表示させる。

【0031】

〔補正テーブルの一例〕
図２は、本発明の一実施形態に係る補正テーブル記憶部１１１に記憶されている補正テーブルの一例を示す図である。図２に示すように、補正テーブル記憶部１１１に記憶されている補正テーブルは、左ドアおよび右ドアの開き角度毎に、部分画像の抽出範囲の補正値が示されている。ここでは、補正値として、部分画像の抽出範囲全体の移動方向および移動量を示す値が用いられている。

【0032】

例えば、車両の左ドアが開いたとき、左サイドカメラ１１ｃの位置は、左前方に移動する。これに応じて、左サイドカメラ１１ｃの撮像範囲も、左前方に移動する。このため、左ドアが開いたときに左サイドカメラ１１ｃによって撮像された画像における、ある像の表示位置は、左ドアが閉じているときに左サイドカメラ１１ｃによって撮像された画像における、その像の表示位置よりも、下方（ｙ軸マイナス方向）および左方（ｘ軸マイナス方向）にずれた位置となる。そこで、補正テーブルには、このずれを修正するための補正値として、左ドアが開いたときに左サイドカメラ１１ｃによって撮像された画像からの部分画像の抽出範囲を、所定の抽出範囲（左ドアが閉じているときに左サイドカメラ１１ｃによって撮像された画像からの部分画像の抽出範囲）から、下方（ｙ軸マイナス方向）および左方（ｘ軸マイナス方向）への移動させるための移動量が、左ドアの開き角度毎に設定されている。

【0033】

一方、車両の右ドアが開いたとき、右サイドカメラ１１ｄの位置は、右前方に移動する。これに応じて、右サイドカメラ１１ｄの撮像範囲も、右前方に移動する。このため、右ドアが開いたときに右サイドカメラ１１ｄによって撮像された画像における、ある像の表示位置は、右ドアが閉じているときに右サイドカメラ１１ｄによって撮像された画像における、その像の表示位置よりも、下方（ｙ軸マイナス方向）および右方（ｘ軸プラス方向）にずれた位置となる。そこで、補正テーブルには、このずれを修正するための補正値として、右ドアが開いたときに右サイドカメラ１１ｄによって撮像された画像からの部分画像の抽出範囲を、所定の抽出範囲（右ドアが閉じているときに右サイドカメラ１１ｄによって撮像された画像からの部分画像の抽出範囲）から、下方（ｙ軸マイナス方向）および右方（ｘ軸プラス方向）への移動させるための移動量が、右ドアの開き角度毎に設定されている。

【0034】

部分画像抽出範囲補正部１０４は、このような補正テーブルから、ドアの開き角度に応じた補正値を読み出し、当該補正値を用いて、そのドアのドアミラーに設置されているカメラによって撮像された画像からの部分画像の抽出範囲を補正する。

【0035】

なお、図２に示す例では、補正テーブルには、３つの開き角度（３０度、６０度、９０度）について補正値が設定されているが、実際にはより細かい開き角度毎に補正値が設定されている。

【0036】

〔車両周辺画像生成装置１００による処理の一例〕
図３は、本発明の一実施形態に係る車両周辺画像生成装置１００による処理の一例を示すフローチャートである。図３に示す処理は、車両周辺画像をディスプレイ１３に映し出すタイミング（例えば、車両がバックギアに切り替えられたタイミング）で実行される。

【0037】

まず、撮像方向修正部１０１が、車両のドア（左ドアまたは右ドア）が開いているか否かを判断する（ステップＳ３０２）。ここで、車両のドアが開いていると撮像方向修正部１０１が判断した場合（ステップＳ３０２：Ｙｅｓ）、撮像方向修正部１０１が、ドアの開き角度に応じて、そのドアのドアミラーに設置されているカメラ（左サイドカメラ１１ｃまたは右サイドカメラ１１ｄ）の撮像方向を修正する（ステップＳ３０４）。そして、車両周辺画像生成装置１００は、ステップＳ３０６へ処理を進める。一方、車両のドアが開いていないと撮像方向修正部１０１が判断した場合（ステップＳ３０２：Ｎｏ）、車両周辺画像生成装置１００は、ステップＳ３０６へ処理を進める。

【0038】

ステップＳ３０６では、画像取得部１０２が、複数のカメラ１１ａ〜１１ｄによって撮像された車両周辺の画像（車両の前方の画像、後方の画像、左側方の画像、右側方の画像）を取得する。そして、部分画像抽出範囲補正部１０４が、カメラ（左サイドカメラ１１ｃまたは右サイドカメラ１１ｄ）の撮像方向が修正されているか否かを判断する（ステップＳ３０８）。

【0039】

ここで、カメラの撮像方向が修正されていると部分画像抽出範囲補正部１０４が判断した場合（ステップＳ３０８：Ｙｅｓ）、部分画像抽出範囲補正部１０４が、補正テーブル記憶部１１１に記憶されている補正テーブルから、そのカメラに対応するドアの開き角度に応じた補正値を読み出し（ステップＳ３１０）、当該補正値を用いて、そのカメラによって撮像された画像からの部分画像の抽出範囲を補正する（ステップＳ３１２）。そして、車両周辺画像生成装置１００は、ステップＳ３１４へ処理を進める。

【0040】

一方、カメラの撮像方向が修正されていないと部分画像抽出範囲補正部１０４が判断した場合（ステップＳ３０８：Ｎｏ）、車両周辺画像生成装置１００は、ステップＳ３１４へ処理を進める。

【0041】

ステップＳ３１４では、部分画像抽出部１０３が、ステップＳ３０６で取得した画像（車両の前方の画像、後方の画像、左側方の画像、右側方の画像）から部分画像を抽出する。このとき、部分画像抽出部１０３は、ステップＳ３１２で部分画像の抽出範囲が補正されている画像については、補正後の抽出範囲の部分画像を抽出し、それ以外の画像については、所定範囲の部分画像を抽出する。

【0042】

そして、車両周辺画像生成部１０５が、ステップＳ３１４で抽出された部分画像をマッピングテーブル記憶部１１０に記憶されているマッピングテーブルに基づいて座標変換することにより、車両周辺画像を生成する（ステップＳ３１６）。さらに、画像出力部１０６が、ステップＳ３１６で生成された車両周辺画像をディスプレイ１３へ出力して（ステップＳ３１８）、車両周辺画像生成装置１００は、図３に示す一連の処理を終了する。

【0043】

〔カメラの撮像方向の修正例〕
図４は、本発明の一実施形態に係る車両周辺画像生成装置１００によるカメラの撮像方向の修正例を示す図である。図４（ａ）に示すように、車両の左ドアが閉じているとき、左ドアのドアミラーに設置されている左サイドカメラ１１ｃの撮像方向（図中点線矢印）は、車両の左側方（車両の前方に対して左側に垂直な方向）となっている。ここで、図４（ｂ）に示すように、車両の左ドアが開いたとき、左サイドカメラ１１ｃの撮像方向は、車両の左斜め前方に変化してしまう。そこで、撮像方向修正部１０１が、図４（ｃ）に示すように、左サイドカメラ１１ｃを逆方向（反時計回り）に、左ドアの開き角度と同じ角度回転させる。これにより、左ドアが閉じているときと同様に、左ドアが開いた状態においても、左サイドカメラ１１ｃの撮像方向は、車両の左側方となる。

【0044】

〔カメラの撮像範囲〕
図５は、本発明の一実施形態に係る車載システム１０におけるカメラの撮像範囲を示す図である。図５に示すように、車両の左ドアが開いたときの左サイドカメラ１１ｃの撮像方向は、撮像方向修正部１０１によって修正されることにより、車両の左ドアが閉じているときの左サイドカメラ１１ｃの撮像方向と同じとなる。しかしながら、車両の左ドアが開いたときの左サイドカメラ１１ｃの位置は、車両の左ドアが閉じているときの左サイドカメラ１１ｃの位置から、左前方に移動したものとなる。このため、車両の左ドアが開いたときの左サイドカメラ１１ｃの撮像範囲は、車両の左ドアが閉じているときの撮像範囲と比べて、全体的に左前方にシフトしたものとなっている。

【0045】

同様に、車両の右ドアが開いたときの右サイドカメラ１１ｄの撮像方向は、撮像方向修正部１０１によって修正されることにより、車両の右ドアが閉じているときの右サイドカメラ１１ｄの撮像方向と同じとなる。しかしながら、車両の右ドアが開いたときの右サイドカメラ１１ｄの位置は、車両の右ドアが閉じているときの右サイドカメラ１１ｄの位置から、右前方に移動したものとなる。このため、車両の右ドアが開いたときの右サイドカメラ１１ｄの撮像範囲は、車両の右ドアが閉じているときの撮像範囲と比べて、全体的に右前方にシフトしたものとなっている。

【0046】

〔部分画像の抽出範囲の補正例〕
図６は、本発明の一実施形態に係る車両周辺画像生成装置１００による部分画像の抽出範囲の補正例を示す図である。

【0047】

図６（ａ）に示す画像６００ａは、車両の左ドアが閉じているときに左サイドカメラ１１ｃによって撮像された画像である。抽出範囲６０２ａは、当該画像６００ａからの部分画像の抽出範囲（所定の範囲）である。

【0048】

図６（ｂ）に示す画像６００ｂは、車両の左ドアが開いているときに左サイドカメラ１１ｃによって撮像された画像である。抽出範囲６０２ｂは、当該画像６００ｂからの部分画像の抽出範囲（部分画像抽出範囲補正部１０４による補正後の抽出範囲）である。なお、画像６００ａ，６００ｂにおいて、超広角レンズが装着された左サイドカメラ１１ｃによる撮像範囲を円弧で示している。

【0049】

図５で説明したとおり、車両の左ドアが開いたときの左サイドカメラ１１ｃの位置は、車両の左ドアが閉じているときの左サイドカメラ１１ｃの位置から、左前方に移動したものとなる。このため、車両の左ドアが開いたときの左サイドカメラ１１ｃの撮像範囲は、車両の左ドアが閉じているときの撮像範囲と比べて、全体的に左前方にシフトしたものとなる。

【0050】

このため、図６（ｂ）に示すように、左ドアが開いたときに左サイドカメラ１１ｃによって撮像された画像６００ｂにおける、物体像Ｏ１，Ｏ２の表示位置は、左ドアが閉じているときに左サイドカメラ１１ｃによって撮像された画像６００ａにおける、物体像Ｏ１，Ｏ２の表示位置よりも、下方（ｙ軸マイナス方向）および左方（ｘ軸マイナス方向）にずれた位置となる。

【0051】

そこで、部分画像抽出範囲補正部１０４は、補正テーブル記憶部１１１に記憶されている補正テーブルに基づいて、図６（ｂ）に示すように、画像６００ｂからの部分画像の抽出範囲６０２ｂを、画像６００ａからの部分画像の抽出範囲６０２ａ（所定の抽出範囲）よりも、下方（ｙ軸マイナス方向）および左方（ｘ軸マイナス方向）へ補正する。

【0052】

この補正により、画像６００ｂから抽出される部分画像（抽出範囲６０２ｂの画像）は、画像６００ａから抽出される部分画像（抽出範囲６０２ａの画像）と同じものになる。すなわち、画像６００ｂから抽出される部分画像における、物体像Ｏ１，Ｏ２の表示位置は、画像６００ｂから抽出される部分画像における、物体像Ｏ１，Ｏ２の表示位置と同じ位置となる。

【0053】

〔車両周辺画像の一例〕
図７は、本発明の一実施形態に係る車両周辺画像生成装置１００によって生成された車両周辺画像の一例を示す図である。

【0054】

図７に示す車両周辺画像７００は、車両周辺画像生成部１０５によって生成された画像である。車両周辺画像７００は、車両画像７０２、前方画像７０４ａ、後方画像７０４ｂ、左側方画像７０４ｃおよび右側方画像７０４ｄを含んで構成されている。

【0055】

車両画像７０２は、車両を上方から見たときの画像であり、予め車両周辺画像生成装置１００に記憶されている。

【0056】

前方画像７０４ａは、車両の前方を上方から見たときの画像であり、フロントカメラ１１ａによって撮像された車両の前方の画像から抽出された部分画像を、マッピングテーブル記憶部１１０に記憶されているマッピングテーブルに基づいて座標変換することによって生成される。

【0057】

後方画像７０４ｂは、車両の後方を上方から見たときの画像であり、リアカメラ１１ｂによって撮像された車両の後方の画像から抽出された部分画像を、マッピングテーブル記憶部１１０に記憶されているマッピングテーブルに基づいて座標変換することによって生成される。

【0058】

左側方画像７０４ｃは、車両の左側方を上方から見たときの画像であり、左サイドカメラ１１ｃによって撮像された車両の左側方の画像から抽出された部分画像を、マッピングテーブル記憶部１１０に記憶されているマッピングテーブルに基づいて座標変換することによって生成される。

【0059】

右側方画像７０４ｄは、車両の右側方を上方から見たときの画像であり、右サイドカメラ１１ｄによって撮像された車両の右側方の画像から抽出された部分画像を、マッピングテーブル記憶部１１０に記憶されているマッピングテーブルに基づいて座標変換することによって生成される。

【0060】

図７に示す例では、左側方画像７０４ｃには、物体像Ｏ１，Ｏ２が表示されている。図６で説明したように、左ドアが開いているときに左サイドカメラ１１ｃによって撮像された画像６００ｂから抽出される部分画像（抽出範囲６０２ｂの画像）は、左ドアが閉じているときに左サイドカメラ１１ｃによって撮像された画像６００ａから抽出される部分画像（抽出範囲６０２ａの画像）と同じである。したがって、左ドアが開いているときと左ドアが閉じているときとで、同じ撮像範囲が映し出されている左側方画像７０４ｃが生成され、画像７００に表示される。当然、左ドアが開いているときと左ドアが閉じているときとで、車両周辺画像７００における物体像Ｏ１，Ｏ２の表示位置も同じである。また、左ドアの開閉状態によらず、左側方画像７０４ｃと前方画像７０４ａとの境界および、左側方画像７０４ｃと後方画像７０４ｂとの境界は、いずれも自然なものとなる。

【0061】

以上説明したとおり、本発明の一実施形態によれば、ドアが閉じているときに抽出される部分画像と、ドアが開いているときに抽出される部分画像との位置ずれが、部分画像の抽出範囲の補正により解消されるようになる。このため、ドアが開いているときに生成された車両周辺画像において、そのドアに設置されているカメラによって撮像された画像の表示位置のずれが生じることはない。したがって、本発明の一実施形態によれば、ドアの開閉に伴って不自然な車両周辺画像が生成されてしまうことを防止することができる。

【0062】

特に、本発明の一実施形態によれば、部分画像の抽出範囲を補正テーブルに示されている補正値に基づいて全体にシフトするだけでよく、マッピングテーブルそのものを変更する必要がないため、比較的簡単な構成で実現することが可能である。

【0063】

なお、上記実施形態では、部分画像の抽出範囲を補正する際、画像に対して部分画像の抽出範囲を全体的に移動させるようにしているが、部分画像の抽出範囲に対して画像を全体的に反対方向に移動させるようにしてもよい。例えば、図６の例では、画像６００ｂに対して抽出範囲６０２ｂを全体的に下方および左方に移動させるようにしているが、抽出範囲６０２ｂを固定して画像６００ｂを右方および上方に全体的に移動させるようにしてもよい。

【0064】

その他、上記実施形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその要旨、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。

【符号の説明】

【0065】

１０ 車載システム
１１ａ フロントカメラ
１１ｂ リアカメラ
１１ｃ 左サイドカメラ
１１ｄ 右サイドカメラ
１２ 開き角度検出装置
１３ ディスプレイ
１００ 車両周辺画像生成装置
１０１ 撮像方向修正部
１０２ 画像取得部
１０３ 部分画像抽出部
１０４ 部分画像抽出範囲補正部
１０５ 車両周辺画像生成部
１０６ 画像出力部
１１０ マッピングテーブル記憶部
１１１ 補正テーブル記憶部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】