特許 6036601 画像処理装置及び画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6036601

(24)【登録日】2016年11月11日

(45)【発行日】2016年11月30日

(54)【発明の名称】画像処理装置及び画像処理方法

(51)【国際特許分類】

   G06T 3/00 20060101AFI20161121BHJP

   H04N 5/225 20060101ALI20161121BHJP

   H04N 7/18 20060101ALI20161121BHJP

【ＦＩ】

   G06T3/00 700

   H04N5/225 C

   H04N5/225 B

   H04N7/18 J

【請求項の数】9

【全頁数】13

(21)【出願番号】特願2013-166292(P2013-166292)

(22)【出願日】2013年8月9日

(65)【公開番号】特開2015-35145(P2015-35145A)

(43)【公開日】2015年2月19日

【審査請求日】2015年6月10日

(73)【特許権者】

【識別番号】000004260

【氏名又は名称】株式会社デンソー

(74)【代理人】

【識別番号】110000578

【氏名又は名称】名古屋国際特許業務法人

(72)【発明者】

【氏名】王 丙辰

(72)【発明者】

【氏名】松本 宗昭

【審査官】 千葉 久博

(56)【参考文献】

【文献】 特開２０１２−１５６６７２（ＪＰ，Ａ）

【文献】 特開２００９−２３０２３５（ＪＰ，Ａ）

【文献】 特開２００６−１２９１４９（ＪＰ，Ａ）

【文献】 特開２００５−８６２７９（ＪＰ，Ａ）

【文献】 特開２００３−１１１０７０（ＪＰ，Ａ）

【文献】 米国特許出願公開第２００９／００７９８２８（ＵＳ，Ａ１）

【文献】 国際公開第２００８／１１７３８６（ＷＯ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ３／００

Ｈ０４Ｎ ５／２２５

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

車両の長手方向の中心線である車両中心線からずれた位置に配置され、撮像画像の中心から離れるほど被写体の縮小度合いが大きくなる広角カメラによる撮像画像の一部を、表示用画像として抽出する画像処理装置であって、
前記車両中心線に対する前記表示用画像の中心位置、及び前記表示用画像における特定位置の画素が表す被写体の縮小度合いに応じて、前記撮像画像における前記表示用画像の抽出位置を決定する画像処理手段（Ｓ１２０−Ｓ１６０）を備え、
前記画像処理手段は、前記表示用画像の中心位置が前記車両中心線にできるだけ近く、かつ、前記特定位置の画素が表す被写体の縮小度合いが、予め定められた第１の所定値以下となるように、前記抽出位置を決定すること、
を特徴とする画像処理装置。

【請求項2】

請求項１に記載の画像処理装置であって、
前記第１の所定値は、前記表示用画像の中心位置を前記車両中心線に一致させたときの前記特定位置の画素が表す被写体の縮小度合いよりも小さいこと、を特徴とする画像処理装置。

【請求項3】

請求項１または２に記載の画像処理装置であって、
前記画像処理手段は、前記表示用画像における自車両の写り込み状況に応じて、前記撮像画像における前記表示用画像の抽出位置を決定すること、を特徴とする画像処理装置。

【請求項4】

請求項３に記載の画像処理装置であって、
前記画像処理手段は、前記表示用画像における自車両写り込みが占める割合が第２の所定値以下となるように、前記撮像画像における前記表示用画像の抽出位置を決定すること、を特徴とする画像処理装置。

【請求項5】

請求項１から４のいずれか一項に記載の画像処理装置であって、
前記特定位置の画素は、前記表示用画像において前記車両中心線側の端部に位置する画素であること、を特徴とする画像処理装置。

【請求項6】

車両の長手方向の中心線である車両中心線からずれた位置に配置され、撮像画像の中心から離れるほど被写体の縮小度合いが大きくなる広角カメラによる撮像画像の一部を、表示用画像として抽出する画像処理装置であって、
前記車両中心線に対する前記表示用画像の中心位置、及び前記表示用画像における特定位置の画素が表す被写体の縮小度合いに応じて、前記撮像画像における前記表示用画像の抽出位置を決定する画像処理手段（Ｓ１２０−Ｓ１６０）を備え、
前記特定位置の画素は、前記表示用画像において前記車両中心線側の端部に位置する画素であること、
を特徴とする画像処理装置。

【請求項7】

請求項５または６に記載の画像処理装置であって、
前記特定位置の画素は、前記車両中心線側端部に位置する画素のうち端部に位置する画素であること、を特徴とする画像処理装置。

【請求項8】

請求項７に記載の画像処理装置であって、
前記特定位置の画素は、前記撮像画像において自車両のバンパ側の端部に位置する画素であること、を特徴とする画像処理装置。

【請求項9】

請求項１から８のいずれか一項に記載の画像処理装置であって、
前記撮像画像の歪補正を行う歪補正手段（Ｓ１８０）を備えること、を特徴とする画像処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車両に搭載されたカメラによる撮像画像から、車両の乗員に対して表示する表示用画像を生成するための画像処理の技術に関する。

【背景技術】

【0002】

近年、撮像装置としてのカメラを車両に搭載し、カメラで撮像した画像を表示装置に表示させることにより、運転者の運転操作を支援するシステムが実現されている。多くのシステムでは、広範囲を一度に撮像することが可能な広角カメラが用いられている。

【0003】

例えば、車両後方の撮像画像を表示することで運転を支援するシステムでは、車両の長手方向の中心線からずれた位置に広角カメラが配置されていると、車両の移動と表示されている画像における変化との関係が直感的に把握しにくくなる。そこで、車両の長手方向の中心線からずれた位置に配置された広角カメラにより撮像された車両後方の画像において、画像の中心が車両の長手方向の中心線と一致する部分を抽出して表示するシステムが提案されている（特許文献１参照）。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特許第４５１２２９３号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

広角カメラによって撮像された画像は、画像の中心から離れるほど被写体の歪みが大きくなり、被写体の縮小度合いが大きくなる（被写体が小さく写る）。このような撮像画像の一部を表示用画像として抽出し表示する場合、撮像画像における中心から離れた部分を抽出するほど、車両の乗員（例えば運転者）が認識しづらい表示用画像になるという問題がある。すなわち、抽出画像に対して歪補正を施さずにそのまま表示した場合、撮像画像の中心から離れた被写体ほど小さく表示されるため、車両の乗員が認識しづらくなる。一方、抽出画像に対して歪補正を施して表示した場合にも、撮像画像の中心から離れた被写体ほど歪補正による拡大率が大きくなり解像度が低い画像となるため、やはり車両の乗員が認識しづらくなる。カメラの設置位置が車両の長手方向の中心線から大きくずれているほど、車両の長手方向の中心線付近の領域が撮像画像の中心から離れ、前述のような問題がより顕著となる。

【0006】

本発明は、こうした問題に鑑みてなされたものであり、車両の長手方向の中心線からずれた位置に配置された広角カメラによる撮像画像から、車両の乗員が認識しやすい表示用画像を生成するための技術を提供することを目的とする。

【課題を解決するための手段】

【0007】

上記目的を達成するためになされた本発明の画像処理装置は、車両の長手方向の中心線である車両中心線からずれた位置に配置された広角カメラによる撮像画像の一部を、表示用画像として抽出する装置である。

【0008】

広角カメラによる撮像画像は、撮像画像の中心から離れるほど被写体の縮小度合いが大きくなる。画像処理装置が備える画像処理手段は、車両中心線に対する表示用画像の中心位置、及び表示用画像における特定位置の画素が表す被写体の縮小度合いに応じて、撮像画像における表示用画像の抽出位置を決定する。

【0009】

このような構成によれば、車両中心線からずれた位置に配置された広角カメラによる撮像画像から、車両の乗員が認識しやすい表示用画像を生成することができる。
なお、特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本発明の技術的範囲を限定するものではない。

【0010】

また、本発明は、前述した画像処理装置の他、当該装置を構成要素とする各種システム、当該装置を構成する各手段としてコンピュータを機能させるためのプログラム、当該プログラムが記録された記録媒体、通信制御方法など、種々の形態で実現可能である。

【図面の簡単な説明】

【0011】

【図1】画像処理システムの概略構成を示す図である。

【図2】（ａ）は広角カメラにより撮像される歪曲画像を示す図であり、（ｂ）は（ａ）の歪曲画像を歪補正した正則画像を示す図である。

【図3】カメラパラメータを説明する図であって、（ａ）は車両を真上から見た図であり、（ｂ）は車両の後部を側方から見た図である。

【図4】後方撮像画像の一例を示す図である。

【図5】画像処理部が実行する画像生成処理を表すフローチャートである。

【図6】撮像画像における抽出枠及び出力枠を説明する図である。

【図7】オフセット距離と拡大率の逆数との関係を示す図である。

【図8】撮像画像における出力枠の垂直方向への拡大を説明する図である。

【図9】表示用画像における特定位置の画素の拡大率を斜線部の大きさとして模式的に示した図であって、（ａ）は表示中心線が初期位置に位置する場合の拡大率を示す図であり、（ｂ）は表示中心線が出力抽出位置に位置する場合の拡大率を示す図である。

【図10】表示用画像への自車両による写り込みを許容しない他の実施形態における出力枠について説明する図である。

【発明を実施するための形態】

【0012】

以下に本発明の実施形態を図面と共に説明する。
［全体構成］
本発明の画像生成システム１は、車両後方の撮像画像から車両の乗員（例えば運転者）に表示する表示用画像を生成するためのものであり、図１に示すように、撮像部１０と、記憶部２０と、画像処理部３０と、表示部４０と、を備える。

【0013】

撮像部１０は、概ね１８０度の画角で撮像可能な広角カメラ（魚眼カメラ）を備える。撮像部１０による撮像画像では、撮像画像の中心から離れるほど、被写体の縮小度合いが大きくなり、被写体が小さく写る。つまり、撮像画像は、撮像画像の中心から離れるほど被写体が小さく写るように歪んでいる歪曲画像（図２（ａ）参照）である。

【0014】

以下では、このような中心から離れるほど被写体の歪みが大きくなる歪曲画像である撮像画像を、歪みのない正則画像へ補正すると仮定した場合、歪曲画像が表す被写体の大きさに対する正則画像が表す当該被写体の大きさを拡大率というものとする。つまり、縮小度合いが大きいほど拡大率が大きくなる。したがって、拡大率は、歪曲画像の中心から離れるほど大きくなる。

【0015】

撮像部１０は、図３（ａ）に示すように、車両２の後部であって、車両２の長手方向の中心線（以下、車両中心線という）Ｌｃからずれた位置に配置されている。また、撮像部１０は、図３（ｂ）に示すように、車両２の後方領域における下方を撮像するように配置されている。車両２（具体的には車両２における基準点）を基準とした撮像部１０の３次元空間での座標位置、ピッチ角、ヨー角及びロール角の情報は、カメラパラメータとしてとして記憶部２０に予め記憶されている。

【0016】

撮像部１０は、撮像画像を所定頻度（例えば、１秒間に６０フレーム）で画像処理部３０に出力する。ここで、撮像画像について説明する。図４に示すように、撮像画像の一例において、線Ｌｈは水平線であり、線Ｌｇは、撮像画像の水平方向に直交する、該撮像画像の中心線（撮像中心線という）である。また、線Ｌｃは車両中心線である。撮像部１０が車両中心線Ｌｃからずれて配置されているため、撮像中心線Ｌｇは、車両中心線Ｌｃに一致していない。本実施形態では、撮像画像にて、手前に車両２のバンパ２１が写り込んでおり、右方向に車両２の後方ボディ２２が写り込んでいる。

【0017】

図１に戻り、記憶部２０は、画像処理部３０が実行するプログラム、前述のカメラパラメータ、及び車両の外観形状を表す３Ｄ情報等の各種データを記憶するための記憶装置を備える。

【0018】

画像処理部３０は、ＣＰＵ３１、ＲＯＭ３２、ＲＡＭ３３及びＩ／Ｏ等を備えるマイコンにて構成されている。画像処理部３０は、記憶部２０に記憶されているプログラムを読み込んで、撮像部１０が撮像した撮像画像の一部を表示用画像として抽出する画像生成処理を実行する。

【0019】

表示部４０は、画像処理部３０により生成された表示用画像を、車両の乗員に表示する。具体的には、表示部４０は、車両の乗員に対して画像を表示するための表示装置を備える。

【0020】

［処理］
次に、画像処理部３０（具体的にはＣＰＵ３１）がプログラムに従い実行する画像生成処理（画像処理方法）について、図５のフローチャートを用いて説明する。画像生成処理は、運転者が操作するシフトレバーのポジションがリバース（後方走行）となっている状態において、予め定められた期間毎（本実施形態では、撮像部１０から撮像画像が出力される毎）に繰り返し実行される。

【0021】

画像処理部３０は、処理が開始されると、まずＳ１００（Ｓはステップを表す）にて、撮像部１０による撮像画像を取得する。
次にＳ１１０では、自車両写り込み領域を検出する。撮像画像において、（例えば図４に示す後方ボディ２２のように）自車両が写り込む領域を自車両写り込み領域という。本ステップでは、自車両写り込み領域Ｒ１（図６参照）を、記憶部２０に記憶されているカメラパラメータと、車両の外観形状を表す３Ｄ情報とに基づいて、計算によって求める。

【0022】

Ｓ１２０では、撮像画像Ｇｓにおいて表示用画像を抽出する範囲を設定するための抽出枠Ｗについて、撮像画像Ｇｓにおける水平方向の位置（具体的には、表示用画像の中心線の位置）を、初期位置Ｐ１に設定する。

【0023】

本実施形態では、車両２の後方領域において、表示用画像に含めるべき領域（例えば、車両後方における、車両の真後ろを中心とした横６ｍ、縦５ｍの長方形領域）が予め決められている。表示用画像として表示されるべき範囲の広さ（広角カメラの画角よりも狭い表示用画角）は、当該領域の全域を表示可能な広さに設定されている。抽出枠Ｗは、撮像画像Ｇｓにおける表示用画像として表示される部分を示すものであるため、表示用画像として表示されるべき範囲の広さに応じた大きさに設定されている。

【0024】

初期位置Ｐ１は、表示用画像の中心線（以下、表示中心線Ｈという）が、撮像中心線Ｌｇと一致する位置、つまり、抽出枠Ｗが撮像画像Ｇｓの中央に位置するように設定されている。初期位置Ｐ１において、抽出枠Ｗは、撮像中心線Ｌｇに対して左右対称である。なお、本実施形態では、抽出枠Ｗの水平方向に直交する方向（縦方向）の位置が、撮像画像Ｇｓの縦方向の中央位置に設定されている。

【0025】

Ｓ１３０では、撮像画像Ｇｓにおいて、表示用画像の中心位置が車両中心線Ｌｃに近づく方向（本実施形態では右側）に向かって、表示中心線Ｈを水平方向に単位画素（例えば１画素）分移動させる。

【0026】

本実施形態では、各移動位置で抽出枠Ｗ内に含まれる画像に対応する実際の被写体の大きさを等しくするため、車両中心線Ｌｃ側への移動に従って、抽出枠Ｗの大きさを変化させる。具体的には、車両中心線Ｌｃ側への移動毎に、抽出枠Ｗの横幅が小さくなり、表示中心線Ｈに対して抽出枠Ｗの右側が左側に比べて小さくなる（表示中心線Ｈに対して左右非対称となる）。このような水平方向への移動に伴う抽出枠Ｗの形状の変化は、撮像部（広角カメラ）１０のレンズ（例えば、魚眼レンズ）の特性により計算することができるものであり、レンズの特性は予め記憶部２０に記憶されている。従って、表示中心線Ｈが特定されれば、その抽出枠Ｗの大きさが特定される。

【0027】

続くＳ１４０では、抽出枠Ｗ内の特定位置の画素（本実施形態では移動方向下端部（右下隅）の画素）について、拡大率の逆数（１／拡大率）が所定の下限値（許容値）未満である（下限値を下回った）か否かを判定する。ここで、拡大率の逆数が下限値未満である場合、Ｓ１６０に移行する。一方、拡大率の逆数が下限値以上である場合、Ｓ１５０に移行する。

【0028】

拡大率とは、前述のように、歪曲画像である撮像画像Ｇｓを歪みのない正則画像に変換したと仮定した場合の拡大率（被写体が引き延ばされる比率）であり、撮像中心線Ｌｇから離れるほど大きくなる。拡大率は、撮像部（広角カメラ）１０のレンズの特性により決まるものであり、そのデータは記憶部２０に予め記憶されている。つまり、撮像画像Ｇｓにおける画素の位置が特定されれば、その画素の拡大率が特定される。

【0029】

なお、初期位置Ｐ１に対して、抽出枠Ｗを水平方向に所定画素分移動させたときの表示中心線Ｈの位置を移動位置Ｐ２とした場合、移動位置Ｐ２での抽出枠Ｗ内の画像は、初期位置Ｐ１での抽出枠Ｗ内の画像と比較して、拡大率の大きい画素が含まれる。

【0030】

ここで、表示中心線Ｈについて、初期位置Ｐ１から移動位置Ｐ２までの水平方向における距離をオフセット距離というものとする。オフセット距離は、撮像画像Ｇｓ上での距離であり、例えば画素数で表される。本実施形態では、前述のレンズの特性に基づいて、図７に示すように、オフセット距離と、抽出枠Ｗ内の特定位置の画素についての拡大率の逆数との関係が予め把握されている。抽出枠Ｗ内の特定位置の画素についての拡大率は、表示中心線Ｈのオフセット距離の増加に伴い単調増加する。

【0031】

下限値は、人間が見た官能評価によって、例えば表示用画像の端部が見やすく表示される限界値という基準で予め定められている。ただし、この下限値は、表示中心線Ｈが初期位置Ｐ１に位置するときの拡大率の逆数よりも大きい値に設定されている。

【0032】

次にＳ１５０では、抽出枠Ｗ内に含まれる自車両写り込み領域Ｒ１の割合（例えば百分率（％）で表す）を写り込み率として、該写り込み率が上限値（許容値）よりも大きい（上限値を超えた）か否かを判定する。ここで、写り込み率が上限値以下である場合、Ｓ１３０に戻る（Ｓ１３０〜Ｓ１５０の処理を繰り返す）。一方、写り込み率が上限値よりも大きい場合、Ｓ１６０に移行する。上限値は、人間が見た官能評価によって、例えば違和感を感じない限界値という基準で予め定められている。なお、本実施形態では、表示中心線Ｈのオフセット距離の増加に伴い、自車両写り込み領域Ｒ１の割合が単調増加することを前提としている。

【0033】

次に、Ｓ１６０では、表示中心線Ｈの現在の位置に対して１つ前の位置（水平方向に単位画素分戻った位置）Ｐｓの表示中心線Ｈについて、オフセット距離ｄｓを記憶する（図９参照）。ここで、１つ前の位置を特定しているのは、現在の位置が許容値を超えた位置だからである。すなわち、拡大率の逆数が下限値未満であると判定されてＳ１６０に移行した場合には、１つ前の位置が、拡大率の逆数が下限値以上の最小値であった位置（つまり、許容範囲での限界位置）である。同様に、写り込み率が上限値を超えていると判定されたＳ１６０に移行した場合には、１つ前の位置が、写り込み率が上限値以下の最大値であった位置（つまり、許容範囲での限界位置）である。なお、このときの抽出枠Ｗを出力枠Ｗｓとして設定する。また、このときの表示中心線Ｈの位置を出力抽出位置Ｐｓという。

【0034】

続くＳ１７０では、表示用画像として用いる垂直方向（紙面の上下方向）の範囲を設定する。本実施形態では、一例として、表示用画像に、水平線Ｌｈ及びバンパ２１が含まれるように、垂直方向の範囲を設定する。ここでは、出力枠Ｗｓ内に、水平線Ｌｈ及びバンパ２１が含まれているものとして説明を行う。

【0035】

なお、水平線Ｌｈ及びバンパ２１は、地上の物体が表示用画像に含まれるようにするための画角の目安であって、水平線Ｌｈ自体が撮像画像に写っている必要はなく、水平線Ｌｈが物体に隠れていて見えなくてもよい。撮像画像における水平線Ｌｈの位置は、記憶部２０に記憶されているカメラパラメータに基づいて計算により求められる。また、撮像画像におけるバンパ２１の位置は、前述の自車両写り込み領域Ｒ１と同様、記憶部２０に記憶されているカメラパラメータと、車両の外観形状を表す３Ｄ情報とに基づいて、計算により求められる。

【0036】

仮に水平線Ｌｈまたはバンパ２１が出力枠Ｗｓに含まれていない場合は、これらが含まれるように出力枠Ｗｓを垂直方向（上下方向）に延長した枠を、新たな出力枠Ｗｓ（図８に二点鎖線で示す枠）として設定するものとする。

【0037】

次にＳ１８０では、出力枠Ｗｓ内の画像について歪補正を行う。歪曲画像の歪補正を行う手法は周知であるため、ここでは説明を省略する。なお、出力枠Ｗｓが長方形である場合、歪補正後の画像は厳密な長方形にはならず、四隅が対角線方向外側へ引き延ばされたような形状となる（図２（ｂ）参照）。このため、本ステップにおいて、歪補正後の長方形（表示用画像のサイズ）からはみ出す部分に対し、切り取り又はマスキングを行う処理を行う。

【0038】

続くＳ１９０では、視点変換処理を行う。ここでいう視点変換処理とは、Ｓ１８０にて歪補正を行った画像を、ピッチ角及びロール角等のカメラパラメータを変更した仮想の撮像部１０による撮像画像に変換する処理をいう。この種の視点変換処理については、種々の手法が周知であるため、ここでは説明を省略する。

【0039】

最後にＳ２００では、Ｓ１９０にて視点変換処理を行った画像を、表示部４０に出力する。そして、本処理を終了する。
［効果］
以上説明したように、本実施形態の画像処理部３０は、車両２の長手方向の中心線である車両中心線からずれた位置に配置された撮像部１０による撮像画像の一部を、表示用画像として抽出する。具体的には、画像処理部３０は、表示用画像の中心位置が車両中心線にできるだけ近く、かつ、表示用画像における特定位置の画素について、拡大率の逆数が所定の下限値以上となるように、撮像画像における表示用画像の抽出位置を決定する。拡大率の逆数が所定の下限値以上となることは、言い換えれば、縮小度合い（拡大率）が当該下限値の逆数（第１の所定値）以下となることを意味する。

【0040】

ここで、図９に模式的に示すように、表示中心線Ｈが移動位置Ｐ２に位置している場合（図９（ｂ））は、表示中心線Ｈが初期位置Ｐ１に位置している場合（図９（ａ））と比べて、表示用画像Ｇｈにおいて特定位置（右下隅）の画素の拡大率が大きくなる。この拡大率が大きいほど端部の画像がぼやけ、車両の乗員にとって認識しづらい画像となる。

【0041】

本実施形態では、特定位置の画素についての拡大率が車両の乗員に認識しづらさを感じさせない程度の拡大率であるようにしつつ、できるだけ車両中心線Ｌｃ近くとなるように表示中心線Ｈを設定している（Ｓ１３０、Ｓ１４０）。従って、本実施形態では、画像の解像度を所定のレベル以上に維持しながら、できるだけ画像の縦中心を車両中心に一致させた表示用画像を生成することができる。結果として、車両の乗員が認識しやすい表示用画像を生成することができる。

【0042】

また、本実施形態では、画像処理部３０は、運転者が操作するシフトレバーのポジションがリバース（後方走行）となっている状態において、定期的に画像生成処理を実行する。つまり、例えば経年変化等の何らかの要因によって撮像部１０のカメラの設置位置がずれたとしても、この位置ずれに対応するように記憶部２０に記憶されるカメラパラメータを更新することで、該カメラパラメータに基づいて、車両の乗員が認識しやすい表示用画像を生成することができる。

【0043】

また、画像処理部３０は、表示用画像の全体に対して自車両による写り込みが占める割合を写り込み率として、表示用画像の中心位置が車両中心線にできるだけ近く、かつ、写り込み率が上限値（第２の所定値）以下となるように、撮像画像における表示用画像の抽出位置を決定する処理（Ｓ１５０）を実行する。これにより、表示用画像における自車両の写り込みを、該表示用画像を見た車両の乗員が違和感を感じない程度に抑制することができる。

【0044】

さらにまた、画像処理部３０では、特定位置の画素は、撮像画像の水平方向において、車両中心線側端部に位置する画素に設定されている。また、特定位置の画素は、撮像画像の垂直方向において端部に位置する画素に設定されている。さらに、特定位置の画素は、撮像画像の垂直方向において、該撮像画像に撮像されている自車両のバンパ２１側に位置するように設定されている。つまり本実施形態では、特定位置の画素は、出力枠Ｗｓの右下隅の画素に設定されている。これにより、表示用画像において、特に自車両近くの画質の劣化を抑制することができる。

【0045】

［請求項との対応］
画像処理部３０が「画像処理装置」の一例に相当する。また、図５に示す処理のＳ１２０−Ｓ１６０が「画像処理手段」としての処理及び「画像処理ステップ」の一例に相当し、Ｓ１８０が「歪補正手段」としての処理の一例に相当する。

【0046】

［他の実施形態］
以上、本発明の実施形態について説明したが、本発明は、上記実施形態に限定されることなく、種々の形態を採り得ることは言うまでもない。例えば、一つの構成要素が有する機能を複数の構成要素に分散させたり、複数の構成要素が有する機能を一つの構成要素に統合したりしてもよい。また、上記実施形態の構成の少なくとも一部を、同様の機能を有する公知の構成に置き換えてもよい。

【0047】

（ａ）上記実施形態では、画像生成処理において、撮像画像にて表示用画像の抽出位置を決定し（Ｓ１２０−Ｓ１６０）、その後に歪補正を行っていた（Ｓ１８０）が、処理の順序はこれに限るものではない。例えば、撮像画像についてまず歪補正を行い、補正後の画像について表示用画像の抽出位置を決定する同様の処理を行ってもよい。この場合、例えば、図５に示すフローチャートにおいて、Ｓ１００の後にＳ１８０（及びＳ１９０）の処理を撮像画像全体に対して実行してから、Ｓ１１０以降の処理を実行する。上記実施形態では、歪補正前の抽出枠Ｗと表示用画像のサイズとを対応させるために、表示中心線Ｈの位置に応じて抽出枠Ｗの大きさを適宜変更していた。この点、本形態では、表示中心線Ｈの位置によらず抽出枠Ｗの大きさを一定とすることができる。

【0048】

（ｂ）上記実施形態では、自車両写り込み領域Ｒ１が計算によって把握されていた（Ｓ１１０）が、これに限るものではない。計算によらず、例えば、実際に撮像を行い、実際の写り込み領域と撮像画像との対応関係を予め特定しておいてもよい。また、これらの対応関係は、予め定められた固定値として記憶部２０に記憶されていてもよい。この点は、水平線Ｌｈやバンパ２１などについても同様であり、実際の撮像画像から特定された対応関係が記憶されるようにしてもよい。

【0049】

（ｃ）上記実施形態では、表示用画像に自車両写り込み領域Ｒ１が含まれることを許容するように表示中心線Ｈが設定されていた（Ｓ１５０）が、これに限るものではない。表示用画像に自車両写り込み領域Ｒ１が含まれないように、表示中心線Ｈを抽出位置Ｐｓ１に設定してもよい（図１０参照）。この場合のオフセット距離ｄｓ１は、図６に示すオフセット距離ｄｓよりも小さくなり得る（ｄｓ１≦ｄｓ）。

【0050】

（ｄ）抽出枠Ｗは、少なくともバンパ２１を含むように予め設定されてもよく、また、少なくとも水平線Ｌｈが含まれるように予め設定されてもよく、また、少なくともバンパ２１及び水平線Ｌｈの両方が含まれるように予め設定されてもよい。

【0051】

（ｅ）上記実施形態では、抽出枠Ｗが長方形に設定されていたが、抽出枠Ｗの形状はこれに限るものではない。例えば、抽出枠Ｗの形状を歪補正によって長方形に補正される歪曲形状としてもよい。

【0052】

（ｆ）上記実施形態では、抽出枠Ｗの大きさを、水平方向への移動に従って変化させていたが、これに限るものではない。水平方向への移動によらず、抽出枠Ｗの大きさを固定としてもよい。

【0053】

（ｇ）上記実施形態では、出力枠Ｗｓ内の画像について歪補正を行っていた（Ｓ１８０）が、これに限るものではない。歪補正を行わず、表示用画像のサイズに対応するように、出力枠Ｗｓ内の画像を均一に（すべての画素を同じ拡大率で）拡大した画像を、表示用画像としてもよい。または、拡大せず、出力枠Ｗｓ内の画像をそのまま表示用画像として出力してもよい。

【0054】

（ｈ）上記実施形態では、視点変換を行った画像を表示用画像としていた（Ｓ１９０）が、これに限るものではない。視点変換を行なっていない画像を、そのまま表示用画像としてもよい。

【0055】

（ｉ）上記実施形態では、画像処理部３０は、運転者が操作するシフトレバーのポジションがリバース（後方走行）となっている状態において、図５に示す画像生成処理を定期的に実行するように構成されていたが、これに限るものではない。画像処理部３０は、例えば、運転者による入力を受け付ける入力装置（図示せず）からの指令に従って画像生成処理を実行するように構成されてもよい。入力装置は、表示部４０に設けられたタッチパネルや、表示部４０の周囲等に設置されたメカニカルなキースイッチ等にて構成されてもよい。また、画像処理部３０は、外部からの指示を受け付ける外部装置（図示せず）等からの指令に従い、画像生成処理を実行するように構成されてもよい。

【符号の説明】

【0056】

１・・・画像生成システム ２・・・車両（自車両） １０・・・撮像部 ２０・・・記憶部 ３０・・・画像処理部 ４０・・・表示部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】