特開 2024-177367 画像処理装置、移動体、制御方法、及びコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024177367

(43)【公開日】2024-12-19

(54)【発明の名称】画像処理装置、移動体、制御方法、及びコンピュータプログラム

(51)【国際特許分類】

   H04N 7/18 20060101AFI20241212BHJP

   B60R 11/02 20060101ALI20241212BHJP

   G08G 1/16 20060101ALI20241212BHJP

【ＦＩ】

H04N7/18 J

B60R11/02 C

G08G1/16 C

【審査請求】有

【請求項の数】17

【出願形態】ＯＬ

(21)【出願番号】P 2024174000

(22)【出願日】2024-10-03

(62)【分割の表示】P 2021155237の分割

【原出願日】2021-09-24

(71)【出願人】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100114775

【弁理士】

【氏名又は名称】高岡 亮一

(74)【代理人】

【識別番号】100121511

【弁理士】

【氏名又は名称】小田 直

(74)【代理人】

【識別番号】100208580

【弁理士】

【氏名又は名称】三好 玲奈

(72)【発明者】

【氏名】登川 生就

(72)【発明者】

【氏名】土屋 知朗

(57)【要約】

【課題】
高解像度の第１画像と、下方を広範囲に表示し確認することができる低解像度の第２画像とを１つの撮像手段からの画像より生成可能な画像処理装置を実現する。
【解決手段】
画像処理装置において、移動体の後方を撮像する撮像手段から画像を取得する取得手段と、前記画像の内、前記撮像手段のセンサ面の中心を含む領域で形成された第１領域を切り出すことにより第１画像を生成し、前記第１領域とは異なる画像領域から第２領域を切り出すことにより第２画像を生成する画像生成手段と、前記第１画像を表示させると共に、前記第２画像を前記移動体の後退時に表示させる表示制御手段と、を有し、前記画像生成手段は、前記第１領域の下部の領域と前記第２領域の上部の一部の領域とが重複するように前記第１画像及び前記第２画像を生成することを特徴とする。
【選択図】図４

【特許請求の範囲】

【請求項1】

移動体の後方を撮像する撮像手段から画像を取得する取得手段と、
前記画像の内、前記撮像手段のセンサ面の中心を含む領域で形成された第１領域を切り出すことにより第１画像を生成し、前記第１領域とは異なる画像領域から第２領域を切り出すことにより第２画像を生成する画像生成手段と、
前記第１画像を表示させると共に、前記第２画像を前記移動体の後退時に表示させる表示制御手段と、を有し、
前記画像生成手段は、前記第１領域の下部の領域と前記第２領域の上部の一部の領域とが重複するように前記第１画像及び前記第２画像を生成することを特徴とする画像処理装置。

【請求項2】

前記画像は、前記撮像手段のセンサ面の中心から所定の半画角未満の中心寄りの高解像度領域と前記センサ面の前記所定の半画角以上外寄りの低解像度領域とを有するセンサ面に、光学像を形成する光学系を用いて撮像され、
前記画像生成手段は、前記高解像度領域に対応する画像領域から前記第１領域を切り出すことにより前記第１画像を生成し、前記第１画像とは異なり前記低解像度領域を含む画像領域から前記第２領域を切り出すことにより前記第２画像を生成することを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記画像生成手段は、
前記第１領域の下端より前記第２領域の下端全てが下になるようにかつ、
前記第１領域の上端より前記第２領域の上端全てが下になるように前記第１画像及び前記第２画像を生成することを特徴とする請求項１又は２に記載の画像処理装置。

【請求項4】

前記画像生成手段は、
前記第２領域の左端は前記第１領域の左端より左側でかつ、
前記第２領域の右端は前記第１領域の右端より右側になるように前記第１画像及び前記第２画像を生成することを特徴とする請求項１～３のいずれか１項に記載の画像処理装置。

【請求項5】

前記画像生成手段は、
前記第２領域の上端が、前記第１領域の上端と下端の間になるように前記第１画像及び前記第２画像を生成することを特徴とする請求項１～４のいずれか１項に記載の画像処理装置。

【請求項6】

前記画像生成手段は、
前記第２領域の上端が、撮像画像上の地平線又は水平線より上になるように前記第１画像及び前記第２画像を生成することを特徴とする請求項１～５のいずれか１項に記載の画像処理装置。

【請求項7】

前記撮像手段の焦点距離をｆ、半画角をθ、像面での像高をｙ、像高ｙと半画角θとの関係を表す射影特性をｙ（θ）とするとき、
前記第１領域におけるｙ（θ）はｆ×θより大きく、前記第２領域における前記射影特性とは異なることを特徴とする請求項１～６のいずれか１項に記載の画像処理装置。

【請求項8】

前記第１領域は、中心射影方式（ｙ＝ｆ×ｔａｎθ）又は等距離射影方式（ｙ＝ｆ×θ）に近似した射影特性となるように構成されていることを特徴とする請求項７に記載の画像処理装置。

【請求項9】

θｍａｘを前記撮像手段の光学系が有する最大の半画角、Ａを所定の定数とするとき、

【数1】

を満足するように構成されていることを特徴とする請求項７又は８に記載の画像処理装置。

【請求項10】

前記第１画像に対して幾何学変形処理を施さず、前記第２画像に対して所定の幾何学変形処理を施して前記表示制御手段から出力することを特徴とする請求項１～９のいずれか１項に記載の画像処理装置。

【請求項11】

車両の状態情報を取得する通信手段を有し、
前記画像生成手段は、前記車両の状態情報に応じて前記第２領域を変化させることを特徴とする請求項１～１０のいずれか１項に記載の画像処理装置。

【請求項12】

前記画像生成手段は、前記車両の状態情報に含まれる前記車両の走行速度情報に基づいて、所定の走行速度より速いか否かを判断し、前記所定の走行速度より速いと判断しなかった場合の前記第２領域の上端より、前記所定の走行速度より速いと判断した場合の前記第２領域の上端を上にすることを特徴とする請求項１１に記載の画像処理装置。

【請求項13】

前記画像生成手段は、前記車両の状態情報に含まれる前記車両の周囲の障害物情報に基づいて、障害物があると判断した場合は、障害物がないと判断した場合よりも、前記第２領域を大きくすると共に、前記第２領域に前記障害物が含まれるようにすることを特徴とする請求項１１又は１２に記載の画像処理装置。

【請求項14】

前記画像生成手段は、前記車両の状態情報に含まれる前記車両の進行方向情報に基づいて、前記車両が後退していると判断した場合は、前記第２画像を前記表示制御手段から出力し、
前記車両が後退していると判断しなかった場合は、前記第２画像を前記表示制御手段から出力しないことを特徴とする請求項１１～１３のいずれか１項に記載の画像処理装置。

【請求項15】

請求項１～１４のいずれか１項に記載された画像処理装置を搭載し、
前記表示制御手段から出力された前記第１画像及び前記第２画像の少なくとも一方を表示する表示手段と、を有することを特徴とする移動体。

【請求項16】

移動体の後方を撮像する撮像手段から画像を取得する取得ステップと、
前記画像の内、前記撮像手段のセンサ面の中心を含む領域で形成された第１領域を切り出すことにより第１画像を生成し、前記第１領域とは異なる画像領域から第２領域を切り出すことにより第２画像を生成する画像生成ステップと、
前記第１画像を表示させると共に、前記第２画像を前記移動体の後退時に表示させる表示制御手段と、を有し
前記画像生成ステップは、前記第１領域の下部の領域と前記第２領域の上部の一部の領域とが重複するように前記第１画像及び前記第２画像を生成することを特徴とする制御方法。

【請求項17】

請求項１～１４のいずれか１項に記載の画像処理装置又は請求項１５に記載の移動体の各手段をコンピュータにより制御するためのコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、解像度の異なる画像を取得可能な画像処理装置、移動体、制御方法、及びコンピュータプログラムに関する。

【背景技術】

【0002】

近年、車両に搭載されるルームミラー（後写鏡）を電子ルームミラーで置き換えるという要望がある。特許文献１には、車両外の後方を撮像範囲とする撮像手段と車両内の表示手段で構成され、撮像手段で撮像した画像を車両内のディスプレイで表示することにより、ドライバーが車両外の後方の様子を確認できる電子ルームミラーシステムが開示されている。

【0003】

他方、車両の後退時などに車両後方の死角をドライバーが確認できるようにする後方確認システムがある。特許文献２には、車両後方を撮像するようにカメラを設置し、撮像画像を車室内に表示することにより、後退時などに車両後方の死角をドライバーが確認できるようにするための後方確認システムが開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１０－９５２０２号公報

【特許文献2】特開２００４－３４５５５４号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

上述の電子ルームミラー用画像を撮像する撮像手段としてのカメラは、ドライバーが後方の比較的遠方の様子をより精細に確認するため高解像度を有することが求められる。一方で、後方確認システム用カメラは、後退時などの衝突を回避するために、車両後方の死角や後側方を含んだより広い範囲での安全を確認するため、より広い範囲を撮像することが求められる。

【0006】

従って、電子ルームミラーシステムと後方確認システムを車両に同時に搭載する場合、電子ルームミラーシステム用のカメラと、後方確認システム用のカメラを個別に搭載すると車載カメラシステムが複雑になるという課題があった。

【0007】

従って本発明では、上記の課題を鑑みて、高解像度の第１画像と、下方を広範囲に表示し確認することができる低解像度の第２画像とを１つの撮像手段からの画像より生成可能な画像処理装置を提供することを目的とする。

【課題を解決するための手段】

【0008】

上記目的を達成するために、本発明の１つの側面の画像処理装置は、
移動体の後方を撮像する撮像手段から画像を取得する取得手段と、
前記画像の内、前記撮像手段のセンサ面の中心を含む領域で形成された第１領域を切り出すことにより第１画像を生成し、前記第１領域とは異なる画像領域から第２領域を切り出すことにより第２画像を生成する画像生成手段と、
前記第１画像を表示させると共に、前記第２画像を前記移動体の後退時に表示させる表示制御手段と、を有し、
前記画像生成手段は、前記第１領域の下部の領域と前記第２領域の上部の一部の領域とが重複するように前記第１画像及び前記第２画像を生成することを特徴とする。

【発明の効果】

【0009】

本発明によれば、高解像度の第１画像と、下方を広範囲に表示し確認することができる低解像度の第２画像とを１つの撮像手段からの画像より生成可能な画像処理装置を実現することができる。

【図面の簡単な説明】

【0010】

【図1】車両１と撮像部２の位置関係を説明する図である。

【図2】（Ａ）、（Ｂ）は、撮像部２の光学特性を説明するための図である。

【図3】実施例１におけるカメラシステムの構成を示すブロック図である。

【図4】（Ａ）～（Ｄ）は、実施例１における切り出し領域の例を説明するための図である。

【図5】実施例２におけるカメラシステムの処理フローを示すフローチャートである。

【発明を実施するための形態】

【0011】

以下、添付図面を参照して、本発明の好適な実施の形態について実施例を用いて説明する。尚、各図において、同一の部材ないし要素については同一の参照番号を付し、重複する説明は省略ないし簡略化する。

【実施例0012】

本実施例では、高精細な電子ルームミラー用の表示と広範囲な後方確認用の表示を１つのカメラで両立する改善された方法について説明する。
図１は、車両１と撮像部２の位置関係を説明する図である。
本実施例では、図１に示すように、移動体としての例えば自動車の車両１の後方に撮像部２が設置される。撮像部２は、移動体としての車両の後方を撮像範囲とするように設置されている。撮像部２は、光学像を形成する光学系と、光学系が撮像部２の受光部に形成した光学像を撮像するためのセンサを有する。尚、撮像部２が有する光学系の光軸が略水平となるように設置することが望ましい。

【0013】

又、本実施例で使用する撮像部２は遠方を高精細かつ広範囲な画角の撮像画像を得るため、十分な画角と中心画角領域での結像倍率とを有する光学系を有している。本実施例における撮像部２が有する光学系について図２を用いて説明する。

【0014】

図２（Ａ）、（Ｂ）は、撮像部２の光学特性を説明するための図であり、図２（Ａ）は、本実施例における撮像部２が有する光学系の、撮像部２のセンサ面上での各半画角における像高ｙを等高線状に示した図である。図２（Ｂ）は、本実施例における撮像部２が有する光学系の像高ｙと半画角θとの関係を表す射影特性を表した図である。図２（Ｂ）では、半画角（光軸と入射光線とがなす角度）θを横軸とし、撮像部２のセンサ面上（像面上）での結像高さ（像高）ｙを縦軸として示している。

【0015】

本実施例における撮像部２が有する光学系は、図２（Ｂ）に示すように、所定の半画角θａ未満の領域と半画角θａ以上の領域でその射影特性ｙ（θ）が異なるように構成されている。従って、単位あたりの半画角θに対する像高ｙの増加量を解像度というとき解像度が領域によって異なる。この局所的な解像度は、射影特性ｙ（θ）の半画角θでの微分値ｄｙ（θ）／ｄθで表されるともいえる。即ち、図２（Ｂ）の射影特性ｙ（θ）の傾きが大きいほど解像度が高いといえる。又、図２（Ａ）の等高線状の各半画角における像高ｙの間隔が大きいほど解像度が高いともいえる。

【0016】

本実施例においては、半画角θが所定の半画角θａ未満のときにセンサ面上に形成される中心寄りの領域を高解像度領域４１（図２（Ａ））、半画角θが所定の半画角θａ以上の外寄りの領域を低解像度領域４２（図２（Ａ））と呼ぶ。

【0017】

本実施例における撮像部２が有する光学系は、高解像度領域４１においてその射影特性ｙ（θ）がｆ×θより大きくなるように構成されている（ｆは撮像部２が有する光学系の焦点距離）。又、高解像度領域における射影特性ｙ（θ）は低解像度領域における射影特性とは異なるように設定されている。
又、θｍａｘを撮像部２が有する光学系が有する最大の半画角とするとき、θａとθｍａｘの比θａ／θｍａｘは所定の下限値以上であることが望ましく、例えば所定の下限値として０．１５～０．１６が望ましい。

【0018】

又、θａとθｍａｘの比θａ／θｍａｘは所定の上限値以下であることが望ましく、例えば０．２５～０．３５とすることが望ましい。例えば、θｍａｘを９０°とし、所定の下限値を０．１５、所定の上限値０．３５とする場合、θａは１３．５～３１．５°の範囲で決定することが望ましい。
更に、撮像部２が有する光学系は、その射影特性ｙ（θ）が、以下の数１も満足するように構成されている。

【0019】

【数1】

ｆは、前述のように撮像部２が有する光学系の焦点距離であり、Ａは所定の定数である。下限値を１とすることで、同じ最大結像高さを有する正射影方式（ｙ＝ｆ×ｓｉｎθ）の魚眼レンズよりも中心解像度を高くすることができ、上限値をＡとすることで、魚眼レンズ同等の画角を得つつ良好な光学性能を維持することができる。所定の定数Ａは、高解像度領域と、低解像度領域の解像度のバランスを考慮して決めればよく、１．４～１．９となるようにするのが望ましい。

【0020】

以上のように光学系を構成することで、高解像度領域４１においては、解像度が得られる一方、低解像度領域４２では、単位あたりの半画角θに対する像高ｙの増加量を小さくし、より広い画角を撮像することが可能になる。従って、魚眼レンズと同等の広画角を撮像範囲としつつ、高解像度領域４１においては、高い解像度を得ることができる。

【0021】

更に、本実施例では、高解像度領域においては、通常の撮像用の光学系の射影特性である中心射影方式（ｙ＝ｆ×ｔａｎθ）や等距離射影方式（ｙ＝ｆ×θ）に近い特性としているため、光学歪曲が小さく、精細に表示することが可能となる。従って、先行車や後続車両といった周囲の車両等を目視する際における自然な遠近感が得られると共に、画質の劣化を抑えて良好な視認性を得ることができる。
尚、上述の数１の条件を満たす射影特性ｙ（θ）であれば、同様の効果を得ることができるため、図２に示した射影特性に限定されない。

【0022】

次に本実施例におけるカメラシステム（画像処理装置）の構成について図３を用いて説明する。
図３は実施例１におけるカメラシステムの構成を示すブロック図である。
本実施例におけるカメラシステムは、撮像部２、画像処理部３、第１表示部４と第２表示部５等を含む。

【0023】

撮像部２は、光学系、センサ、画像出力インターフェースなどから構成される。光学系は、１枚以上の光学レンズから構成されており、数１の条件を満たすように構成されており、例えば図２に示すような特性を有するように構成される。
光学系を通った光は、センサの受光面上に結像する。センサは、受光した光を電気信号に変換して画像データとして出力する。センサとしては、ＣＭＯＳイメージセンサやＣＣＤイメージセンサを用いることができる。センサから出力された画像データは、画像出力インターフェースを介して、画像処理部３へ出力される。

【0024】

画像処理部３は、画像補正部３００、第１画像生成部３１１、第２画像生成部３１２、表示制御部３２０、ＣＰＵ３３０、ＲＡＭ３４０、ＲＯＭ３５０、通信部３６０等から構成される。画像補正部３００、第１画像生成部３１１、第２画像生成部３１２、表示制御部３２０、ＣＰＵ３３０、ＲＡＭ３４０、ＲＯＭ３５０、通信部３６０は、バス３９９により夫々相互に接続されている。

【0025】

コンピュータとしてのＣＰＵ３３０は、画像処理部３の各動作ブロックを制御するものであり、記憶媒体としてのＲＯＭ３５０には、ＣＰＵ３３０の処理手順を記述した制御用のコンピュータプログラムが記憶されている。ＲＡＭ３４０は、ワークメモリとして一時的に制御用のコンピュータプログラムやデータが格納される。

【0026】

尚、図３に示される３００、３１１，３１２，３２０等の機能ブロックの一部又は全部をハードウェアで実現するようにしても良いし、ＣＰＵ３３０に、ＲＯＭ３５０に記憶されたコンピュータプログラムを実行させることによって実現しても良い。ハードウェアとしては、専用回路（ＡＳＩＣ）やプロセッサ（リコンフィギュラブルプロセッサ、ＤＳＰ）などを用いることができる。

【0027】

通信部３６０は、ナビゲーションシステムや、車両の駆動を制御する車両制御装置などの、車両１に搭載されている他の装置と、ＣＡＮやＦｌｅｘＲａｙ、Ｅｔｈｅｒｎｅｔなどのプロトコルを用いて通信を行う。

【0028】

画像補正部３００は、撮像部２からの入力画像データに現像処理や色調整などの画像処理を行い第１画像生成部３１１と第２画像生成部３１２へ出力する。より具体的には、撮像部２からベイヤー配列で入力された画像データをデベイヤー処理し、ＲＧＢのラスタ形式の画像データへ変換する。更に、ホワイトバランスの調整やゲイン・オフセット調整、ガンマ処理、カラーマトリックス処理など種々の補正処理も行う。

【0029】

尚、本実施例における画像補正部３００で行う処理の一部又は全てを、撮像部２に画像処理ＬＳＩ等を設けて、撮像部２で行う構成としても良い。或いは、撮像部２センサ内に積層された論理回路で一部の画像処理を行うようにしても良い。
第１画像生成部３１１、第２画像生成部３１２は、画像補正部３００から入力された画像データから夫々所定の領域を切り出して第１画像、第２画像を生成し出力する。尚、切り出し領域は第１画像生成部３１１と第２画像生成部３１２で個別に設定可能なように構成されている。第１画像生成部３１１と第２画像生成部３１２が切り出す領域についての詳細は後述する。

【0030】

表示制御部３２０は、第１画像生成部３１１と第２画像生成部３１２から夫々入力された切り出し後の画像データである第１画像及び第２画像の少なくとも一方を表示のために出力する。又、画像データを、第１表示部４と第２表示部５のいずれに表示させるのかを制御する。又、第１表示部４と第２表示部５の表示解像度や表示周波数が、切り出し後の画像データと異なる場合に、表示解像度や表示周波数を夫々の表示部に合わせるように変換したのちに出力する。

【0031】

ここで、表示制御部３２０は第１画像及び第２画像の少なくとも一方を表示のために出力する出力部として機能している。又、第１表示部４と第２表示部５は出力部から出力された前記第１画像及び第２画像の少なくとも一方を表示する表示部として機能している。尚、図３の実施例では表示部としての第１表示部４と第２表示部５は別々の構成であるが、共通の表示画面を用いても良い。

【0032】

又、切り出し後の夫々の画像データに所定の幾何学変形処理（例えば歪補正等）を施すこともできる。又、切り出し後の夫々の画像データを出力する代わりに、通信部３６０を介して取得したカーナビゲーションシステムの地図画像や空調や音響や車両制御用のユーザーインターフェース用のＣＧ画像などを出力することもできる。

【0033】

第１表示部４は、入力された画像データに基づいて表示を行うディスプレイであり、車両１の例えば運転席の前方上部の車幅方向の中央付近に、表示画面を車両後方に向けて設置される。尚、ハーフミラーなどを用いて、ディスプレイとして使用しないときは鏡として使用できる構成としても良い。又、タッチパネルや操作ボタンを備えユーザーからの指示を取得し、画像処理部３へ出力可能な構成としても良い。

【0034】

第２表示部５は、入力された画像データに基づいて表示を行うディスプレイであり、例えば運転席の前方の車幅方向の中央付近の操作パネル周辺に設置される。尚、移動体としての車両には、不図示のナビゲーションシステムや、オーディオシステムや車両の駆動を制御する車両制御装置（エンジンやモータ）などが搭載されている。

【0035】

そして、例えば第２表示部には、ナビゲーションシステムや、オーディオシステムや車両制御装置を制御するための制御用のＵＩ画像などを表示することも可能である。又、タッチパネルや操作ボタンを備え、ユーザーからの指示を取得可能な構成としている。
尚、第１表示部４、第２表示部５のディスプレイパネルとしては、液晶ディスプレイや有機ＥＬディスプレイなどを用いることができる。

【0036】

次に図４を用いて、画像処理部３の第１画像生成部３１１と第２画像生成部３１２が切り出す領域について説明する。
図４（Ａ）～（Ｄ）は、実施例１における切り出し領域の例を説明するための図であり、４１は、所定の半画角θａ未満の領域である高解像度領域、４２は、所定の半画角θａ以上の領域である低解像度領域を夫々示す。

【0037】

本実施例における第１画像生成部３１１は、撮像素子から読出された画像の内、高解像度領域４１に対応する画像領域から第１領域を切り出すことにより第１画像を生成する。即ち、図４において、実線で囲まれた画像領域である、第１領域としての電子ルームミラー用画像領域４３を切り出して第１画像を生成して出力するようにＣＰＵ３３０によって制御される。更に、第１画像生成部３１１が生成した第１画像の画像データを第１表示部４に表示するように表示制御部３２０をＣＰＵ３３０によって制御する。

【0038】

又、第２画像生成部３１２は、撮像素子から読出された画像の内、前記第１領域とは異なる画像領域から第２領域を切り出すことにより第２画像を生成する。即ち、例えば図４（Ａ）の破線で囲まれた画像領域である、第２領域としてのバックモニタ用画像領域４４を切り出して第２画像を生成して出力するようにＣＰＵ３３０によって制御される。

【0039】

このとき、ＣＰＵ３３０は、バックモニタ用画像領域４４の上端（上辺）４４ａが電子ルームミラー用画像領域４３の上端（上辺）４３ａより下になるように、バックモニタ用画像領域４４の上端（上辺）４４ａと電子ルームミラー用画像領域４３の上端（上辺）４３ａを夫々決定する。

【0040】

更に、ＣＰＵ３３０は、バックモニタ用画像領域４４の下端（下辺）４４ｂが電子ルームミラー用画像領域４３の下端（下辺）４３ｂより下になるように、バックモニタ用画像領域４４の下端（下辺）４４ｂと電子ルームミラー用画像領域４３の下端（下辺）４３ｂを夫々決定する。
即ち、図４（Ａ）の例では、画像生成部は、第１領域の下端より第２領域の下端全てが下になるようにかつ、第１領域の上端より第２領域の上端全てが下になるように第１画像及び第２画像を生成している。

【0041】

そして、ＣＰＵ３３０は、第１画像生成部３１１が生成した画像データを第１表示部４に、第２画像生成部３１２が生成した画像データを第２表示部５に表示するように表示制御部３２０を制御する。その結果、撮像部２が撮像した画像データから電子ルームミラー用画像領域４３を切り出した第１画像が第１表示部４に、バックモニタ用画像領域４４を切り出した第２画像が第２表示部５に表示される。

【0042】

本実施例では、高解像度領域４１は、上述のように通常の撮像用の光学系の中心射影方式（ｙ＝ｆ×ｔａｎθ）又は等距離射影方式（ｙ＝ｆ×θ）に近似した射影特性となるように構成されている。従って、第１表示部４に表示される電子ルームミラー用の画像は、解像度が低解像度領域４２と比較して高く、車両後方をより精細に表示することができる。

【0043】

又、高解像度領域４１は光学歪曲が小さいため、電子ルームミラー用の画像も歪みが小さい状態で表示することができ、車両の後方をドライバーがより自然な遠近感で目視することが可能になる。又、後方車両のナンバープレートや人物などを画像認識する際の画像認識精度を高めることができる。

【0044】

一方、バックモニタ用画像領域４４の下端４４ｂが電子ルームミラー用画像領域４３の下端４３ｂより下になるようにしているため、車両１の後退時などに、車両１の後部と、ドライバーの死角となる地面付近をより広範囲に表示し確認することができる。これは、低解像度領域４２で、単位あたりの半画角θに対する像高ｙの増加量を小さくし、より広い画角を撮像できるように撮像部２の光学系のパラメータを設定していることが寄与している。

【0045】

又、前述のように、バックモニタ用画像領域４４の上端４４ａが電子ルームミラー用画像領域４３の上端４３ａより下に設定している。従って、バックモニタ用画像領域４４の上端４４ａを電子ルームミラー用画像領域４３の上端４３ａより上に設定する場合や、撮像画像をそのままバックモニタ用の画像として表示する場合などに比べて、地面付近をより大きく精細に表示することができ、より安全な運転ができる。

【0046】

又、本実施例の撮像部２の光学系と同じ最大画角を有する魚眼レンズなどを使用して、本実施例における電子ルームミラー用画像領域４３と同等の画角の画像を切り出した場合、光学歪が大きいため、光学歪を補正する幾何学変形処理が必要になる。ここでいう幾何学変形処理とは表示の際に画像の領域ごとに異なる拡大・縮小をして画像の歪補正をする処理を指す。

【0047】

一方、本実施例における撮像部２の高解像度領域４１は、光学歪みが小さくなるように構成されているため、光学歪を補正する幾何学変形処理を不要にすることができ、処理負荷を低減することができるという効果を得られる。即ち、第１画像に対しては幾何学変形処理を施さなくて済む。一方、第２画像に対して幾何学変形処理を施して出力部から出力するようにしても良い。

【0048】

以上のように、本実施例によれば、撮像部２、画像処理部３の各部、第１表示部４、第２表示部５を動作させることにより、高精細で歪みの少ない電子ルームミラー用の表示と広範囲な後方確認用の表示を１つのカメラで取得できる。

【0049】

尚、図４（Ａ）の例では、電子ルームミラー用画像領域４３とバックモニタ用画像領域４４をともに矩形形状で切り出す場合を例にとって説明した。しかし、バックモニタ用画像領域４４の上端４４ａと下端４４ｂが、夫々電子ルームミラー用画像領域４３の上端４３ａより下、下端４３ｂより下になるように夫々決定されていれば良く、切り出し形状は矩形に限定されない。例えば、図４（Ｂ）のように、バックモニタ用画像領域４５の切り出し形状の一部が曲線であっても良い。

【0050】

この場合、電子ルームミラー用画像領域４３の下端（下辺）４３ｂとその延長線上より、バックモニタ用画像領域４５の下端（下辺４５０～４５２）が下になるように領域の境界が決定されている。即ち、ここで、垂直方向をｙ座標軸とし、上方向にｙ座標値が増加するとする。その場合、電子ルームミラー用画像領域４３の下端（下辺）４３ｂのｙ座標より、バックモニタ用画像領域４５の下端（下辺４５０～４５２）のｙ座標が小さくなるように領域の境界が決定されている。

【0051】

このようにバックモニタ用画像領域４５の下端（下辺４５０～４５２）を曲線とすることで、図４（Ａ）の場合より、更に車両に近い地面付近の領域を表示することができ、より広範囲な後方確認用の表示を行うことができる。

【0052】

又、バックモニタ用の表示における左右方向をより広範囲に表示したい場合、例えば図４（Ｃ）のように、電子ルームミラー用画像領域４３とバックモニタ用画像領域４６を夫々設定すると良い。この場合、電子ルームミラー用画像領域４３の左端４３ｃと右端４３ｄの延長線（二点鎖線）より外側に位置する、バックモニタ用画像領域４６の下端（両端４６０と４６２）が電子ルームミラー用画像領域４３の下端（下辺）４３ｂより上になるように設定する。

【0053】

このようにすることで、高精細な電子ルームミラー用の表示と後方確認用の地面付近の広範囲な表示を１つのカメラで両立しつつ更に、左右方向をより広範囲に表示することができる。
尚、低解像度領域４２は外側になるほど光学歪みが大きくなるため、表示制御部３２０で、幾何学変形処理を施すことにより光学歪みを補正したのち、表示することが望ましい。

【0054】

又、図４（Ｄ）の例においては、バックモニタ用画像領域４７の上端４７ａを、撮像画像上の水平線４８（又は地平線）より上になるように設定している。
このように設定することにより、ドライバーが車両後方の距離感を更に把握しやすくできるためより望ましい。

【0055】

又、図４（Ａ）～（Ｄ）の例では、電子ルームミラー用画像領域４３の上端４３ａより下かつ電子ルームミラー用画像領域４３の下端４３ｂより上になるようにバックモニタ用画像領域４４、４５，４６，４７の夫々の上端４４ａ、４５ａ、４６ａ、４７ａを設定している。即ち、第２領域の上端が、第１領域の上端と下端の間になるように第１画像及び第２画像を生成している。従って、電子ルームミラー用画像領域４３とバックモニタ用画像領域４４～４７が部分的に重複することになり、第１表示部４と第２表示部５に車両後方に同じ被写体が表示される。

【0056】

これによって、第１表示部４と第２表示部５の夫々の表示画像において、ドライバーが車両後方の距離感をより把握しやすくなるという更なる効果を得ることができる。
更に又、図４（Ａ）～（Ｄ）の例では、バックモニタ用画像領域４４～４７の右端が電子ルームミラー用画像領域４３の右端より右に、バックモニタ用画像領域４４～４７の左端が電子ルームミラー用画像領域４３の左端より左になるように設定している。

【0057】

即ち、画像生成部は、第１領域としての電子ルームミラー用画像領域４３の左端より第２領域としてのバックモニタ用画像領域４４～４７の左端が左側で、かつ第２領域の右端が第１領域の右端より右側になるように第１画像及び第２画像を生成している。
このようにすることにより、高精細な電子ルームミラー用の表示と後方確認用の地面付近の広範囲な表示を１つのカメラで両立しつつ更に、バックモニタ用の表示において左右方向をより広範囲に表示することができる。

【0058】

以上のように、本実施例では、画像生成部は、第１領域の下端より第２領域の下端の少なくとも一部が下になるようにすると共に、第１領域の上端より第２領域の上端の少なくとも一部が下になるように第１画像及び前記第２画像を生成している。従って、従来技術に比べて地面付近をより大きく精細に表示することができる。

【0059】

尚、本実施例では、電子ルームミラー用画像領域４３とバックモニタ用画像領域４４～４７を夫々、第１表示部４と第２表示部５に個別に表示させる場合を例にとって説明した。しかし、上述の切り出し条件を満たした電子ルームミラー用画像領域４３とバックモニタ用画像領域４４をドライバーに提示できれば表示方法はこれに限定されない。例えば、表示制御部３２０で電子ルームミラー用画像領域４３と、バックモニタ用画像領域４４～４７から切り出した画像を並べるように合成し、第１表示部４と第２表示部５の一方だけに表示する構成としても良い。

【0060】

又、第１表示部４と第２表示部５の一方だけに、電子ルームミラー用画像領域４３とバックモニタ用画像領域４４～４７から切り出した画像を選択的に切り替えて表示する構成としても良い。
又、車両１の駆動用のギアが、バックギアに入ったか否かの情報をＣＰＵ３３０が通信部３６０を介して取得するように構成しても良い。そして、バックギアに入ったと判断した場合にのみ第１表示部４と第２表示部５のいずれかに、バックモニタ用画像領域４４～４７から切り出した画像を表示する構成にしても良い。

【実施例0061】

次に、実施例２について説明する。本実施例においては、画像処理部３が車両の制御状態に応じて出力する画像の切り出し領域の大きさ等を変化させる点が実施例１と異なる。
尚、本実施例における撮像部２、画像処理部３、第１表示部４、第２表示部５及びそれらの内部構成は、実施例１と同様であるため説明を省略する。

【0062】

図５は、実施例２におけるカメラシステムの処理フローを示すフローチャートである。尚、図５における各ステップの動作は、コンピュータとしてのＣＰＵ３３０がメモリとしてのＲＯＭ３５０に記憶されたコンピュータプログラムを実行することによって行われる。

【0063】

図５のステップＳ５００において、ＣＰＵ３３０は、通信部３６０を介して、車両１に搭載されている車両の駆動制御等を行う不図示の車両制御装置から、車両制御情報を取得する。本実施例においては、例えば車両の後退方向の走行速度情報を取得する。

【0064】

次に、ステップＳ５１０において、ＣＰＵ３３０は、電子ルームミラー用画像領域４３を決定し、第１画像生成部３１１へ領域情報を出力することで電子ルームミラー用画像領域４３を設定する。電子ルームミラー用画像領域４３は、実施例１と同様に例えば図４（Ａ）の高解像度領域４１の範囲内に設定する。

【0065】

次に、ステップＳ５２０において、ＣＰＵ３３０は、ステップＳ５００で取得した車両制御情報が所定の条件を満たしているか否かを判断する。条件を満たしていると判断した場合は、ステップＳ５３０へ処理を進め、条件を満たしていないと判断した場合はステップＳ５３５へ処理を進める。

【0066】

具体的には、本実施例においては、ステップＳ５００で取得した走行速度情報に基づいて、車両の後退方向の走行速度が所定値未満か否かを判断する。
ＣＰＵ３３０は、走行速度が所定値未満であると判断した場合、ステップＳ５３０へ処理を進める。一方ＣＰＵ３３０は、車両の後退方向の走行速度が所定値以上であると判断した場合、ステップＳ５３５へ処理を進める。

【0067】

次に、ステップＳ５３０において、ＣＰＵ３３０は、バックモニタ用画像領域として、例えば図４（Ａ）に示すような挟角のバックモニタ用画像領域４４を選択し、第２画像生成部３１２へ領域情報を出力することで設定する。但し、バックモニタ用画像領域４４の上端４４ａの少なくとも一部、下端４４ｂの少なくとも一部は、夫々電子ルームミラー用画像領域４３の上端４３ａより下、下端４３ｂより下になるように設定される。

【0068】

ステップＳ５３５において、ＣＰＵ３３０は、バックモニタ用画像領域４４をより広角のとするように決定し、第２画像生成部３１２へ領域情報を出力することで設定する。即ちステップＳ５３０においてＣＰＵ３３０が決定するバックモニタ用画像領域４４よりも切り出し範囲を相対的に拡大した広角の領域とする。そしてステップＳ５１０、Ｓ５３０，Ｓ５３５等からなる画像生成ステップによって生成された第１画像及び第２画像は、表示のために表示制御部３２０から表示部に対して出力される。（出力ステップ）

【0069】

以上のように、画像生成部は、車両の状態情報に応じて第２領域を変化させている点に特徴がある。
即ち、例えば図４（Ｄ）に示すバックモニタ用画像領域４７とする。図４（Ｄ）におけるバックモニタ用画像領域４７の上端４７ａは、ステップＳ３３０で設定する図４（Ａ）のバックモニタ用画像領域４４の上端４４ａより上に広がっている。

【0070】

尚、本実施例ではバックモニタ用画像領域４７の左端、右端及び下端は例えばバックモニタ用画像領域４４と同様とする。
ステップＳ５３０又は、ステップＳ５３５の処理が完了するとＣＰＵ３３０は、ステップＳ５００に戻り、ステップＳ５００からＳ５３５までの処理を同様に繰り返す。

【0071】

以上のように、ステップＳ５００からＳ５３５までの処理をＣＰＵ３３０が実行することにより、車両制御状態に応じて、より重要な範囲が確認できるよう表示様態を適切に変化させることができる。即ち、車両の後退時の走行速度が所定値より速い場合、車両が短時間で長い距離を走行することになるため、ドライバーはより広い範囲又はより遠い距離の安全を確認する必要がある。

【0072】

そこでステップＳ５２０で車両速度が所定値より速いと判断した場合、ステップＳ５３５において、より広角のバックモニタ用画像領域４７を表示する。従って、バックモニタ用画像領域４７の上端４７ａは、走行速度が比較的遅い場合のバックモニタ用画像領域４４の上端４４ａより上に画角が広がっているので、ドライバーはより広い範囲又はより遠い距離の障害物を確認でき、より安全に走行ができる。

【0073】

一方、車両の走行速度が比較的遅い場合、ドライバーは表示画像上で車止めや駐車領域の白線などを確認する必要がある。そこでステップＳ５２０で車両速度が所定値未満と判断した場合、ステップＳ５３０において、走行速度が速い場合のバックモニタ用画像領域４７の上端４７ａより上端４４ａが下のバックモニタ用画像領域４４にする。それにより、地面付近が拡大されて表示されるので、ドライバーは、地面付近の車止めや駐車領域の白線などをより確認しやすくなる。

【0074】

以上のように、本実施例では、高精細な電子ルームミラー用の表示と後方確認用の地面付近の広範囲な表示を１つのカメラで同時に取得すると共に、車両制御状態に応じて出力する画像の切り出し領域を変化させている。又、車両の状態情報に含まれる車両の走行速度情報に基づいて、所定の走行速度より速いか否かを判断し、所定の走行速度より速いと判断しなかった場合の第２領域の上端より、所定の走行速度より速いと判断した場合の第２領域の上端を上にしている。従って、ドライバーは車両制御状態に応じてより重要な範囲を容易に確認することができる。

【0075】

尚、車両の状態情報に含まれる車両の進行方向情報に基づいて、車両が後退していると判断した場合は、第２画像を出力部から出力し、車両が後退していると判断しなかった場合は、第２画像を前記出力部から出力しないように制御しても良い。
尚、本実施例では、車両制御状態として、速度情報を用いる場合を例にとって説明したが、例えば、ＣＰＵ３３０が、撮像部２又は他のセンサから車両周囲の障害物情報を取得し、その障害物情報に基づいて切り出し領域の範囲を設定しても良い。

【0076】

具体的には、撮像部２又は他のセンサにより車両１の後方に障害物があることを検出し、障害物があると判断した場合には、障害物がバックモニタ用画像領域４４に含まれるようにバックモニタ用画像領域４４を広げる。又、障害物が無いと判断した場合は、バックモニタ用画像領域４４を狭角条件とし地面付近を精細に表示する。即ち、車両の状態情報に含まれる車両の車両周囲の障害物情報に基づいて、障害物があると判断した場合は、障害物がないと判断した場合よりも、第２領域を大きくし第２領域に障害物が含まれるようにすることが望ましい。

【0077】

尚、障害物を検出する他のセンサとして、例えばＬｉＤＡＲ、ソナー、レーダー、ＴＯＦなどの距離センサを車両１に搭載し、所定の距離より近い位置に物体を検出した場合、障害物があると判断しても良い。又、撮像部２からの画像データを画像認識した結果に基づいて、物体検出を行う構成とし、人などの所定の種類の物体を検出した場合、障害物があると判断する構成としても良い。

【0078】

更に、障害物が移動している場合にその移動速度と方向を画像から検出し、障害物の移動速度が速い程、第２領域をその移動速度の方向に広げても良い。そのように構成すればより安全に走行することができる。
尚、上述の実施形態における移動体は、例えば、自動車に限らず、船舶、飛行機、ロボット、ドローンなどの移動をする装置であればどのようなものであっても良く、それらを含む。
又、移動体をリモートでコントロールする場合にも本実施例を適用することができる。

【0079】

以上、本発明をその好適な実施例に基づいて詳述してきたが、本発明は上記実施例に限定されるものではなく、本発明の主旨に基づき種々の変形が可能であり、それらを本発明の範囲から除外するものではない。

【0080】

尚、本実施例における制御の一部又は全部を上述した実施例の機能を実現するコンピュータプログラムをネットワーク又は各種記憶媒体を介してカメラシステム（画像処理装置）等に供給するようにしてもよい。そしてそのカメラシステム（画像処理装置）等におけるコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行するようにしてもよい。その場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することとなる。