特許 7476151 画像処理システム、画像処理方法、およびコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-04-19

(45)【発行日】2024-04-30

(54)【発明の名称】画像処理システム、画像処理方法、およびコンピュータプログラム

(51)【国際特許分類】

   H04N 23/60 20230101AFI20240422BHJP

   H04N 7/18 20060101ALI20240422BHJP

   B60R 1/24 20220101ALI20240422BHJP

   B60R 1/25 20220101ALI20240422BHJP

   B60R 1/26 20220101ALI20240422BHJP

   G03B 15/00 20210101ALI20240422BHJP

   G03B 37/00 20210101ALI20240422BHJP

【ＦＩ】

H04N23/60 500

H04N7/18 J

B60R1/24

B60R1/25

B60R1/26

G03B15/00 V

G03B15/00 W

G03B37/00 A

【請求項の数】 18

(21)【出願番号】P 2021155137

(22)【出願日】2021-09-24

(65)【公開番号】P2023046511

(43)【公開日】2023-04-05

【審査請求日】2022-10-06

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100114775

【弁理士】

【氏名又は名称】高岡 亮一

(74)【代理人】

【識別番号】100121511

【弁理士】

【氏名又は名称】小田 直

(74)【代理人】

【識別番号】100208580

【弁理士】

【氏名又は名称】三好 玲奈

(72)【発明者】

【氏名】斉藤 正則

【審査官】淀川 滉也

(56)【参考文献】

【文献】特開２０２０－０１４０６７（ＪＰ，Ａ）

【文献】特開２０１５－１３２８７９（ＪＰ，Ａ）

【文献】特開２００４－２７２５７８（ＪＰ，Ａ）

【文献】国際公開第２０１３／００８６２３（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／６０

Ｈ０４Ｎ ７／１８

Ｂ６０Ｒ １／２４

Ｂ６０Ｒ １／２５

Ｂ６０Ｒ １／２６

Ｇ０３Ｂ １５／００

Ｇ０３Ｂ ３７／００

(57)【特許請求の範囲】

【請求項1】

低歪曲領域と高歪曲領域とを有する光学像を撮像する撮像手段により生成した画像信号を取得する画像取得手段と、
前記光学像の特性に基づき前記画像信号に対して歪曲補正をする歪曲補正領域と、歪曲補正しない非歪曲補正領域とを設定するための設定手段と、
前記光学像の特性に基づき前記歪曲補正領域の前記画像信号に対して歪曲補正すると共に、歪曲補正された前記画像信号と、前記非歪曲補正領域の前記画像信号とを合成して合成画像を生成する表示信号生成手段と、を有し、
前記設定手段は、前記低歪曲領域と前記高歪曲領域との全体を前記歪曲補正領域とする状態と、前記低歪曲領域と前記高歪曲領域との全体を前記非歪曲補正領域とする状態と、を設定可能である、
ことを特徴とする画像処理システム。

【請求項2】

低歪曲領域と高歪曲領域とを有する光学像を撮像する撮像手段により生成した画像信号を取得する画像取得手段と、
前記光学像の特性に基づき前記画像信号に対して歪曲補正をする歪曲補正領域と、歪曲補正しない非歪曲補正領域とを設定するための設定手段と、
前記光学像の特性に基づき前記歪曲補正領域の前記画像信号に対して歪曲補正すると共に、歪曲補正された前記画像信号と、前記非歪曲補正領域の前記画像信号とを合成して合成画像を生成する表示信号生成手段と、を有し、
前記画像取得手段は移動体に設置されており、
前記設定手段は、前記移動体の移動状態に応じて前記歪曲補正領域と、前記非歪曲補正領域とを設定する、
ことを特徴とする画像処理システム。

【請求項3】

低歪曲領域と高歪曲領域とを有する光学像を撮像する撮像手段により生成した画像信号を取得する画像取得手段と、
前記光学像の特性に基づき前記画像信号に対して歪曲補正をする歪曲補正領域と、歪曲補正しない非歪曲補正領域とを設定するための設定手段と、
前記光学像の特性に基づき前記歪曲補正領域の前記画像信号に対して歪曲補正すると共に、歪曲補正された前記画像信号と、前記非歪曲補正領域の前記画像信号とを合成して合成画像を生成する表示信号生成手段と、
前記画像信号に基づき画像認識をする第１の画像認識手段と、を有し、
前記設定手段は、前記第１の画像認識手段による画像認識の結果に基づき前記歪曲補正領域と、前記非歪曲補正領域とを設定する、
ことを特徴とする画像処理システム。

【請求項4】

前記設定手段は、
前記低歪曲領域を前記非歪曲補正領域として設定し、
前記高歪曲領域を前記歪曲補正領域として設定可能である、
ことを特徴とする請求項１～３のいずれか1項に記載の画像処理システム。

【請求項5】

前記第１の画像認識手段は、歪曲補正されていない画像に基づき画像認識をすることを特徴とする請求項３に記載の画像処理システム。

【請求項6】

前記画像取得手段は移動体に設置されており、
前記第１の画像認識手段は、前記移動体の移動状態に応じて画像認識領域を変更することを特徴とする請求項３または５に記載の画像処理システム。

【請求項7】

前記合成画像に基づき画像認識をする第２の画像認識手段を有することを特徴とする請求項３～６のいずれか１項に記載の画像処理システム。

【請求項8】

前記画像取得手段は、前記光学像を形成する光学系と、
前記光学系により形成された前記光学像を撮像する撮像素子と、を含むことを特徴とする請求項１～７のいずれか１項に記載の画像処理システム。

【請求項9】

異なる位置に配置された複数の前記画像取得手段を有し、
前記表示信号生成手段は、複数の前記画像取得手段から取得した前記画像信号を合成して合成画像を生成することを特徴とする請求項１～８のいずれか１項に記載の画像処理システム。

【請求項10】

前記低歪曲領域と前記高歪曲領域はそれぞれ前記光学像の高解像度領域、低解像度領域に対応していることを特徴とする請求項１～９のいずれか１項に記載の画像処理システム。

【請求項11】

前記光学系の焦点距離をｆ、半画角をθ、像面での像高をｙ、像高ｙと半画角θとの関係を表す射影特性をｙ（θ）とするとき、
前記低歪曲領域におけるｙ（θ）はｆ×θより大きく、前記高歪曲領域における前記射影特性とは異なることを特徴とする請求項８に記載の画像処理システム。

【請求項12】

前記低歪曲領域は、中心射影方式（ｙ＝ｆ×ｔａｎθ）または等距離射影方式（ｙ＝ｆ×θ）に近似した射影特性となるように構成されていることを特徴とする請求項１１に記載の画像処理システム。

【請求項13】

θｍａｘを前記光学系が有する最大の半画角、Ａを所定の定数とするとき、

【数1】

を満足するように構成されていることを特徴とする請求項１１または１２に記載の画像処理システム。

【請求項14】

複数の前記画像取得手段を有し、少なくとも２つの前記画像取得手段の撮影範囲が互いに重複するように配置されていることを特徴とする請求項１～１３のいずれか１項に記載の画像処理システム。

【請求項15】

少なくとも２つの前記画像取得手段の前記低歪曲領域の前記撮影範囲が互いに重複するように配置されていることを特徴とする請求項１４に記載の画像処理システム。

【請求項16】

低歪曲領域と高歪曲領域とを有する光学像を撮像する撮像手段により生成した画像信号を取得する画像取得ステップと、
前記光学像の特性に基づき、前記画像信号に対して歪曲補正をする歪曲補正領域と、歪曲補正しない非歪曲補正領域とを設定するための設定ステップと、
前記光学像の特性に基づき前記歪曲補正領域の前記画像信号に対して歪曲補正すると共に、歪曲補正された前記画像信号と、前記非歪曲補正領域の前記画像信号とを合成して合成画像を生成する表示信号生成ステップと、
を有し、
前記設定ステップは、低歪曲領域と高歪曲領域の全体を前記歪曲補正領域とする状態と、低歪曲領域と高歪曲領域の全体を前記非歪曲補正領域とする状態と、を設定可能である、
ことを特徴とする画像処理方法。

【請求項17】

画像処理システムのコンピュータに、
低歪曲領域と高歪曲領域とを有する光学像を撮像する撮像手段により生成した画像信号を取得する画像取得ステップと、
前記光学像の特性に基づき、前記画像信号に対して歪曲補正をする歪曲補正領域と、歪曲補正しない非歪曲補正領域とを設定するための設定ステップと、
前記光学像の特性に基づき前記歪曲補正領域の前記画像信号に対して歪曲補正すると共に、歪曲補正された前記画像信号と、前記非歪曲補正領域の前記画像信号とを合成して合成画像を生成する表示信号生成ステップと、
を行わせるコンピュータプログラムであって、
前記設定ステップは、低歪曲領域と高歪曲領域の全体を前記歪曲補正領域とする状態と、低歪曲領域と高歪曲領域の全体を前記非歪曲補正領域とする状態と、を設定可能である、
ことを特徴とするコンピュータプログラム。

【請求項18】

低歪曲領域と高歪曲領域とを有する光学像を撮像する撮像手段により生成した画像信号を取得する画像取得手段と、
前記光学像の特性に基づき前記画像信号に対して歪曲補正をする歪曲補正領域と、歪曲補正しない非歪曲補正領域とを設定するための設定手段と、
前記光学像の特性に基づき前記歪曲補正領域の前記画像信号に対して歪曲補正すると共に、歪曲補正された前記画像信号と、前記非歪曲補正領域の前記画像信号とを合成して合成画像を生成する表示信号生成手段と、
を有し、
前記画像取得手段は、前記光学像を形成する光学系と、前記光学系により形成された前記光学像を撮像する撮像素子と、を含み、
前記光学系の焦点距離をｆ、半画角をθ、像面での像高をｙ、像高ｙと半画角θとの関係を表す射影特性をｙ（θ）とするとき、
前記低歪曲領域におけるｙ（θ）はｆ×θより大きく、前記高歪曲領域における前記射影特性とは異なり、
θｍａｘを前記光学系が有する最大の半画角、Ａを所定の定数とするとき、

【数1】

を満足するように構成されていることを特徴とする画像処理システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、歪曲補正が可能な画像処理システム、画像処理方法、およびコンピュータプログラムに関する。

【背景技術】

【0002】

近年、車両に搭載されるルームミラー（後写鏡）を電子ルームミラーで置き換えるという要望がある。例えば特許文献１には、車両外の後方を撮像範囲とする撮像手段と車両内の表示手段で構成され、撮像手段で撮像した画像を車両内のディスプレイで表示することにより、ドライバーが車両外の後方の様子を確認できる電子ルームミラーシステムが開示されている。

【0003】

他方、車両の後退時などに車両後方の死角をドライバーが確認できるようにする後方確認システムがある。特許文献２には、車両後方を撮像するようにカメラを設置し、撮像画像を車室内に表示することにより、後退時などに車両後方の死角をドライバーが確認できるようにするための後方確認システムが開示されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１０－９５２０２号公報

【文献】特開２００４－３４５５５４号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

上述の電子ルームミラー用画像を撮像する撮像手段としてのカメラは、ドライバーが後方の比較的遠方の様子をより精細に確認するため高解像度を有することが求められる。一方で、後方確認用カメラシステムは、後退時などの衝突を回避するために、車両後方の死角や後側方を含んだより広い範囲での安全を確認するため、より広い範囲を撮像することが求められる。

【0006】

また、電子ルームミラーシステムと後方確認システムを車両に同時に搭載する場合、電子ルームミラーシステム用のカメラと、後方確認システム用のカメラを個別に搭載すると車載画像処理システムが複雑になってしまう。このような課題は、例えば、車両の周囲の状況を撮影するために複数のカメラを配置して自動運転などを行う自動運転システムにおいても同様に発生している。

【0007】

これに対して、例えば特殊な超広角レンズを用いたカメラを採用することによって、車両に設置するカメラの数を減らすことができる。しかし、超広角レンズなどを用いた場合には、広い画角は得られるものの周辺部の歪曲が大きく、歪曲補正をしないと周辺部の物体の認識をすることが困難である。一方、歪曲補正をしてから画面表示すると遅延時間がかかり、障害物などを画像認識したり視認したりするのが遅れ、危険が生じる場合があった。

【0008】

したがって本発明では、上記の課題を鑑みて、障害物などの早期認識に適した画像処理システムを提供することを目的とする。

【課題を解決するための手段】

【0009】

上記目的を達成するために、本発明の１つの側面の画像処理システムは、
低歪曲領域と高歪曲領域とを有する光学像を撮像する撮像手段により生成した画像信号を取得する画像取得手段と、
前記光学像の特性に基づき前記画像信号に対して歪曲補正をする歪曲補正領域と、歪曲補正しない非歪曲補正領域とを設定するための設定手段と、
前記光学像の特性に基づき前記歪曲補正領域の前記画像信号に対して歪曲補正すると共に、歪曲補正された前記画像信号と、前記非歪曲補正領域の前記画像信号とを合成して合成画像を生成する表示信号生成手段と、を有し、
前記設定手段は、低歪曲領域と高歪曲領域の全体を前記歪曲補正領域とする状態と、低歪曲領域と高歪曲領域の全体を前記非歪曲補正領域とする状態と、を設定可能である、ことを特徴とする。

【発明の効果】

【0010】

本発明によれば、障害物などの早期認識に適した画像処理システムを実現することができる。

【図面の簡単な説明】

【0011】

【図1】実施形態１の画像処理システムにおける車両と撮像部の位置関係を説明する図である。

【図2】（Ａ）、（Ｂ）は、実施形態１の撮像部の光学特性を説明するための図である。

【図3】実施形態１における画像処理システムの構成を説明するための機能ブロック図である。

【図4】実施形態１の後方のカメラユニット１３の画角と高解像度領域と低解像度領域の対応関係を説明するための図である。

【図5】図５（Ａ）は歪曲補正を行わない場合に撮像素子から得られる画像信号の例を示す図、図５（Ｂ）は歪曲補正後の画像信号を説明するための図である。

【図6】図６（Ａ）は画面全体について歪曲補正をした例を示す図、図６（Ｂ）は低解像度領域の画像には歪曲補正をし、高解像度領域の画像には歪曲補正をせずに合成する例を示す図、図６（Ｃ）は画面全体に対して歪曲補正をしない場合の例を示す図である。

【図7】図６のパターンを手動で切り替える場合の例を説明したフローチャートである。

【図8】実施形態２における歪曲領域選択例を説明するためのフローチャートである。

【図9】実施形態３における歪曲領域選択例を説明するためのフローチャートである。

【図10】実施形態３における歪曲補正領域と表示領域と画像認識領域の例を説明するための図である。

【図11】実施形態３における第１表示部の表示例を説明するための図である。

【図12】図１２（Ａ）は実施形態３の第１表示部５０の表示画面５０１の表示例を説明するための図、図１２（Ｂ）は実施形態３の第２表示部５１の表示画面５１１の表示例を説明するための図である。

【図13】図１３（Ａ）は実施形態３の後退時の上下方向に狭画角の画像８５Ｂの表示例を説明するための図、図１３（Ｂ）は、実施形態３の後進用の広画角の画像８６Ｂの表示例を示した図である。

【発明を実施するための形態】

【0012】

以下、添付図面を参照して、本発明の好適な実施の形態について実施例を用いて説明する。なお、各図において、同一の部材ないし要素については同一の参照番号を付し、重複する説明は省略ないし簡略化する。

【0013】

［実施形態１］
実施形態１では、高精細な電子ルームミラー用の表示や広範囲な後方などの車両周辺確認用の表示を少ない数のカメラで両立する改善された方法について説明する。
図１は、実施形態１の画像処理システムにおける車両と撮像部の位置関係を説明する図である。

【0014】

本実施形態では、図１に示すように、移動体としての例えば自動車の車両１の前方、右側方、後方、左側方にそれぞれカメラユニット１１、１２、１３、１４が設置されている。なお、本実施形態では４つのカメラユニットを有するが、カメラユニットの数は４に限定されず、少なくとも１つ以上のカメラユニットがあればよい。

【0015】

カメラユニット１１～１４は、移動体としての車両１のそれぞれ前方、右側方、左側方、後方を撮像範囲とするように設置されている。
カメラユニット１１～１４は略同様の構成を有し、それぞれ光学像を撮像する撮像素子と、撮像素子の受光面に光学像を形成する光学系とを有する。
なお、例えばカメラユニット１１、１３が有する光学系の光軸は略水平となるように設置し、カメラユニット１２、１４が有する光学系の光軸は水平よりも若干下方を向くように設置されている。

【0016】

また、本実施形態で使用するカメラユニット１１～１４が有する光学系はそれぞれ光軸周辺の狭い画角において高精細な画像を得ることができ、かつ広い画角において低解像度の撮像画像を得ることができるように構成されている。なお、１１ａ～１４ａは高解像度で低歪曲な像を撮像可能な撮像画角であり、１１ｂ～１４ｂは低解像度で高歪曲な像を撮像可能な撮像画角を示している。

【0017】

本実施形態におけるカメラユニット１１～１４が有する光学系について図２を用いて説明する。なお、それぞれのカメラユニット１１～１４の光学系の特性は同じでなくてもよいが、本実施形態においては、カメラユニット１１～１４が有する光学系は略同じ特性を有するものとし、カメラユニット１１が有する光学系について例示的に説明する。

【0018】

図２（Ａ）、（Ｂ）は、本発明の本実施形態における撮像部の光学特性を説明するための図であり、図２（Ａ）は、本実施形態におけるカメラユニット１１が有する光学系の、撮像素子の受光面上での各半画角における像高ｙを等高線状に示した図である。
図２（Ｂ）は、本実施形態におけるカメラユニット１１が有する光学系の像高ｙと半画角θとの関係を表す射影特性を表した図である。図２（Ｂ）では、半画角（光軸と入射光線とがなす角度）θを横軸とし、カメラユニット１１のセンサ面上（像面上）での結像高さ（像高）ｙを縦軸として示している。

【0019】

本実施形態におけるカメラユニット１１が有する光学系は、図２（Ｂ）に示すように、所定の半画角θａ未満の領域と半画角θａ以上の領域でその射影特性ｙ（θ）が異なるように構成されている。したがって、単位あたりの半画角θに対する像高ｙの増加量を解像度というとき解像度が領域によって異なる。この局所的な解像度は、射影特性ｙ（θ）の半画角θでの微分値ｄｙ（θ）／ｄθで表されるともいえる。即ち、図２（Ｂ）の射影特性ｙ（θ）の傾きが大きいほど解像度が高いといえる。また、図２（Ａ）の等高線状の各半画角における像高ｙの間隔が大きいほど解像度が高いともいえる。

【0020】

本実施形態においては、半画角θが所定の半画角θａ未満のときにセンサ面上に形成される中心寄りの領域を高解像度領域１０ａ、半画角θが所定の半画角θａ以上の外寄りの領域を低解像度領域１０ｂと呼ぶ。なお、高解像度領域１０ａは撮像画角１１ａに対応しており、低解像度領域１０ｂは撮像画角１１ｂに対応している。

【0021】

なお、本実施形態では、高解像度領域１０ａと低解像度領域１０ｂの境界の円を解像度境界と呼び、解像度境界に対応する表示画面上の境界画像を表示解像度境界または単に境界画像と呼ぶ。なお、表示画面に表示される境界画像（表示解像度境界）は円状でなくてもよい。便宜的に長方形などにしてもよい。

【0022】

なお、本実施形態において、高解像度領域１０ａは歪曲が相対的に少ない低歪曲領域であり、低解像度領域１０ｂは歪曲が相対的に多い高歪曲領域となっている。したがって、本実施形態においては、高解像度領域、低解像度領域はそれぞれ低歪曲領域、高歪曲領域に対応しており、高解像度領域、低解像度領域をそれぞれ低歪曲領域、高歪曲領域と呼ぶことがある。また、逆に低歪曲領域、高歪曲領域をそれぞれ高解像度領域、低解像度領域と呼ぶこともある。

【0023】

本実施形態におけるカメラユニット１１が有する光学系は、高解像度領域（低歪曲領域）１０ａにおいてその射影特性ｙ（θ）がｆ×θより大きくなるように構成されている（ｆはカメラユニット１１が有する光学系の焦点距離）。また、高解像度領域（低歪曲領域）における射影特性ｙ（θ）は低解像度領域（高歪曲領域）における射影特性とは異なるように設定されている。
また、θｍａｘをカメラユニット１１が有する光学系が有する最大の半画角とするとき、θａとθｍａｘの比θａ／θｍａｘは所定の下限値以上であることが望ましく、例えば所定の下限値として０．１５～０．１６が望ましい。

【0024】

また、θａとθｍａｘの比θａ／θｍａｘは所定の上限値以下であることが望ましく、例えば０．２５～０．３５とすることが望ましい。例えば、θｍａｘを９０°とし、所定の下限値を０．１５、所定の上限値０．３５とする場合、θａは１３．５～３１．５°の範囲で決定することが望ましい。
さらに、カメラユニット１１が有する光学系は、その射影特性ｙ（θ）が、以下の数１も満足するように構成されている。

【0025】

【数1】

ｆは、前述のようにカメラユニット１１が有する光学系の焦点距離であり、Ａは所定の定数である。下限値を１とすることで、同じ最大結像高さを有する正射影方式（ｙ＝ｆ×ｓｉｎθ）の魚眼レンズよりも中心解像度を高くすることができ、上限値をＡとすることで、魚眼レンズ同等の画角を得つつ良好な光学性能を維持することができる。所定の定数Ａは、高解像度領域と、低解像度領域の解像度のバランスを考慮して決めればよく、１．４～１．９となるようにするのが望ましい。

【0026】

以上のように光学系を構成することで、高解像度領域１０ａにおいては、高解像度が得られる一方、低解像度領域１０ｂでは、単位あたりの半画角θに対する像高ｙの増加量を小さくし、より広い画角を撮像することが可能になる。したがって、魚眼レンズと同等の広画角を撮像範囲としつつ、高解像度領域１０ａにおいては、高い解像度を得ることができる。

【0027】

さらに、本実施形態では、高解像度領域（低歪曲領域）においては、通常の撮像用の光学系の射影特性である中心射影方式（ｙ＝ｆ×ｔａｎθ）や等距離射影方式（ｙ＝ｆ×θ）に近い特性としているため、光学歪曲が小さく、精細に表示することが可能となる。したがって、先行車や後続車両といった周囲の車両などを目視する際における自然な遠近感が得られると共に、画質の劣化を抑えて良好な視認性を得ることができる。

【0028】

なお、上述の数１の条件を満たす射影特性ｙ（θ）であれば、同様の効果を得ることができるため、本発明は図２に示した射影特性に限定されない。なお、本実施形態では上述の数１の条件を満たす射影特性ｙ（θ）を有する光学系を異画角レンズと呼ぶ場合がある。
なお、カメラユニット１１～１４のそれぞれの光学系の高解像度領域１０ａは撮像画角１１ａ～１４ａに対応しており、低解像度領域１０ｂは撮像画角１１ｂ～１４ｂに対応している。

【0029】

次に本実施形態における画像処理システムの構成について図３を用いて説明する。
図３は実施形態１における画像処理システムの構成を説明するための機能ブロック図である。
図３において画像処理システム１００は、移動体としての車両１に搭載されており、カメラユニット１１～１４の筐体内にはそれぞれ撮像部２１～２４とカメラ処理部３１～３４が配置されている。

【0030】

撮像部２１～２４はそれぞれ異画角レンズ２１ｃ～２４ｃと例えばＣＭＯＳイメージセンサやＣＣＤイメージセンサなどの撮像素子２１ｄ～２４ｄを有する。ここで、撮像部２１～２４はそれぞれ画像取得部として機能しており、各画像取得部は、低歪曲領域と高歪曲領域とを有する光学像を撮像する撮像部により生成した画像信号を取得する。すなわち、画像取得ステップを有する。また、本実施形態においては異なる位置に配置された複数の画像取得部を有している。

【0031】

光学系としての異画角レンズ２１ｃ～２４ｃは、１枚以上の光学レンズから構成されており、数１の条件を満たす射影特性ｙ（θ）を有し、低歪曲領域と高歪曲領域とを有する光学像をそれぞれ撮像素子２１ｄ～２４ｄの受光面に形成する。撮像素子２１ｄ～２４ｄは光学像を光電変換して撮像信号を出力する。撮像素子２１ｄ～２４ｄの受光面には例えばＲＧＢの色フィルタが画素毎に配列されている。ＲＧＢの配列は例えばベイヤー配列となっている。

【0032】

したがって、撮像素子からは、ベイヤー配列にしたがって例えば所定の行からはＲ，Ｇ，Ｒ、Ｇの信号が順次出力され、隣の行からはＧ，Ｂ，Ｇ，Ｂ、の信号が順次出力されるように構成されている。
３１～３４はカメラ処理部であり、撮像部２１～２４と共にそれぞれ同じカメラユニット１１～１４の筐体に収納されており、撮像部２１～２４から出力された撮像信号をそれぞれ処理する。なお、図３では撮像部２４、カメラ処理部３４の詳細およびその配線は便宜上省略されている。

【0033】

カメラ処理部３１～３４はそれぞれ画像処理部３１ａ～３４ａ、認識部３１ｂ～３４ｂ、カメラ情報部３１ｃ～３４ｃを有する。画像処理部３１ａ～３４ａは撮像部２１～２４から出力された撮像信号をそれぞれ画像処理する。なお、カメラ処理部３１の一部または全部を撮像素子２１ｄ～２４ｄ内の積層された信号処理部で行ってもよい。

【0034】

具体的には、画像処理部３１ａ～３４ａは、撮像部２１～２４からベイヤー配列にしたがって入力された画像データをそれぞれデベイヤ処理し、ＲＧＢのラスタ形式の画像データへ変換する。さらに、ホワイトバランスの調整やゲイン・オフセット調整、ガンマ処理、カラーマトリックス処理や可逆圧縮処理など種々の補正処理を行う。但し、非可逆圧縮処理などは行わず、いわゆるＲＡＷ画像信号を形成する。

【0035】

認識部３１ｂ～３４ｂ（第１の画像認識手段）は画像処理部３１ａ～３４ａで画像処理された歪曲補正されていないＲＡＷ画像信号からそれぞれ所定の対象物（例えば自動車、人物、障害物など）を画像認識する。即ち、認識部３１ｂ～３４ｂは、低歪曲領域に対応する画像信号を歪曲補正せずにＲＡＷ画像信号の状態で画像認識して第１の画像認識結果を出力する。
なお、本実施形態の認識部３１ｂ～３４ｂは少なくとも高解像度領域１０ａから得られたＲＡＷ画像信号に対して画像認識処理を行い、所定の対象物を認識する。そのために、高解像度領域１０ａだけを切り出してから画像認識処理してもよい。

【0036】

なお、この時、認識部３１ｂ～３４ｂは、低解像度領域１０ｂから得られたＲＡＷ画像信号についても画像認識処理をしてもよい。但し、ＲＡＷ画像信号は歪曲補正されていないので、異画角レンズの周辺部の画像は歪が大きく認識の信頼性は落ちることになる。
或いは、認識部３１ｂ～３４ｂは、高解像度領域１０ａから得られたＲＡＷ画像信号を切り出して、その高解像度領域１０ａから得られたＲＡＷ画像信号に対してだけ画像認識処理を行ってもよい。

【0037】

なお、その際画像認識のために切り出す領域は、画像認識処理に適した形状である矩形にすることが望ましい。また、切り出す矩形領域は高解像度領域１０ａ内の一部だけ（例えば高解像度領域１０ａに内接する矩形）でもよいし、高解像度領域１０ａと低解像度領域１０ｂの両方を含んだ矩形でもよい。

【0038】

ここで、認識部３１ｂ～３４ｂは撮像部（画像取得部）により取得された画像信号の内、少なくとも一部領域の画像信号に基づき画像認識して第１の画像認識結果を出力する第１の画像認識部として機能している。なお、本実施形態において、前記一部領域は低歪曲領域に対応する領域である。

【0039】

認識部３１ｂ～３４ｂは、対象物の種類と座標のセットを認識結果として統合処理部４０に送信する。
一方、認識部３１ｂ～３４ｂは、統合処理部４０の統合制御部４１ｃから、対象物の種類と、その対象物の移動方向に関する情報または優先認識領域情報のセットである予測情報を受信する。この予測情報については後述する。

【0040】

ここで、正面に対して設置されたカメラユニット１１の認識部３１ｂの出力は走行制御部（ＥＣＵ）６０にも直接供給されている。これは、認識部３１ｂの障害物などの認識結果に基づいて直ちに走行を停止したり、障害物を回避するように走行を制御する必要が生じる場合があるからである。

【0041】

カメラ情報部３１ｃ～３４ｃ（特性情報保持手段）はそれぞれカメラユニット１１～１４のカメラ情報を予めメモリに保持している。カメラ情報部はカメラユニット１１～１４内に設けた各種センサ等からの情報を一時的に保持することもできる。カメラ情報は、例えば異画角レンズ２１ｃ～２４ｃが形成する光学像の図２に示されるような特性情報（解像度境界情報など）を含む。また、撮像素子２１ｄ～２４ｄの画素数、カメラユニットの車両座標における取り付け位置座標および姿勢（ピッチ、ロール、ヨーなど）の情報、撮像方向などを含む。カメラ情報は、ガンマ特性、感度特性、フレームレートなどの情報を含んでも良い。

【0042】

さらに、カメラ情報は、画像処理部３１ａ～３４ａにおいてＲＡＷ画像信号を生成する際の画像処理方法や画像フォーマットに関する情報を含んでもよい。
なお、取り付け位置座標は、カメラユニット毎に車両に対する取り付け位置が決まっている場合が多いので、事前にカメラ情報部内のメモリに記憶しておいてもよい。また、カメラユニットの姿勢座標は車両１に対する相対的な座標であり、カメラユニットに設けられた不図示のエンコーダなどから取得してもよい。あるいは３次元加速度センサなどを用いて取得してもよい。

【0043】

また、撮像方向に関する情報は例えば地磁気センサを用いて取得してもよい。カメラの解像度境界情報はレンズ設計によって決まるので予めカメラ情報部内のメモリに記憶しておくものとする。
なお、カメラ情報は撮像部２１～２４の固有の情報であり、互いに異なり、それらの情報は統合処理部４０に送信され、統合処理部４０において画像処理などをする際に参照される。ここで、カメラ情報部３１ｃ～３４ｃは、光学像の特性に関する特性情報を保持する特性情報保持部として機能している。

【0044】

なお、カメラ処理部３１～３４の内部にはコンピュータとしてのＣＰＵや記憶媒体としてのコンピュータプログラムを記憶したメモリが内蔵されている。また、ＣＰＵはメモリ内のコンピュータプログラムを実行することにより、カメラ処理部３１～３４内の各部を制御するように構成されている。

【0045】

なお、本実施形態では、画像処理部３１ａ～３４ａや認識部３１ｂ～３４ｂは例えば専用回路（ＡＳＩＣ）やプロセッサ（リコンフィギュラブルプロセッサ、ＤＳＰ）などのハードウェアを用いる。それによって、高解像度領域の画像認識の高速化が実現でき、事故を回避できる可能性を高めることができる。なお、画像処理部３１ａ～３４ａは歪曲補正機能を持っていてもよい。
なお、カメラ処理部３１～３４の内部の機能ブロックの一部または全部を、ＣＰＵに、メモリに記憶されたコンピュータプログラムを実行させることによって実現してもよいが、その場合には、ＣＰＵの処理速度を高めることが望ましい。

【0046】

４０は統合処理部であり、ＳＯＣ（Ｓｙｔｅｍ Ｏｎ Ｃｈｉｐ）／ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）４１、コンピュータとしてのＣＰＵ４２、記憶媒体としてのメモリ４３を有する。ＣＰＵ４２はメモリ４３に記憶されたコンピュータプログラムを実行することによって、画像処理システム１００全体の各種制御を行う。なお、本実施形態では統合処理部４０はカメラユニットとは別の筐体で収納されている。

【0047】

ＳＯＣ／ＦＰＧＡ４１は画像処理部４１ａ、認識部４１ｂ（第２の画像認識手段）、統合制御部４１ｃを有する。
画像処理部４１ａはカメラ処理部３１～３４からそれぞれのＲＡＷ画像信号を取得すると共に、カメラ情報部３１ｃ～３４ｃより各カメラユニット１１～１４のカメラ情報を取得する。
カメラ情報は、前述のように、異画角レンズ２１ｃ～２４ｃの光学特性や撮像素子２１ｄ～２４ｄの画素数、光電変換特性、ガンマ特性、感度特性、ＲＡＷ画像信号のフォーマット情報、カメラユニットの車両座標における取り付け座標や姿勢情報などを含む。

【0048】

画像処理部４１ａはそれらのカメラ情報に基づきカメラ処理部３１～３４からのそれぞれのＲＡＷ画像信号に対して解像度変換を行うと共に、撮像部２１～２４のそれぞれの低解像度領域１０ｂから得られた画像信号に対して歪曲補正を行う。
すなわち、光学像の特性に基づき歪曲補正領域の画像信号に対して歪曲補正すると共に、歪曲補正された画像信号と、歪曲補正しない非歪曲補正領域の画像信号とを合成して合成画像を生成する。すなわち、画像処理部４１ａは表示信号生成部としても機能しており、歪曲補正などを行って、合成画像を生成する表示信号生成ステップを行う。なお、本実施形態において歪曲補正領域はユーザにより、または自動で設定可能である。

【0049】

本実施形態では画像処理部４１ａは、高解像度領域１０ａから得られた画像信号は歪曲が殆どないので歪曲補正は行わない。但し、画像処理部４１ａは、高解像度領域１０ａから得られた画像信号に対しても簡略的な歪曲補正を行ってもよい。また、画像処理部４１ａはカメラ処理部３１～３４から送られるそれぞれのＲＡＷ画像信号に対して適宜非可逆圧縮処理などを行う。

【0050】

また、画像処理部４１ａは歪曲補正を行った撮像部２１～２４のそれぞれの低解像度領域１０ｂの画像信号と、高解像度領域１０ａの画像信号をスムーズにつなぎ合わせるように合成して撮像部２１～２４毎の全体画像を形成する。
なお、低解像度領域１０ｂの画像信号と高解像度領域１０ａから得られた画像信号の両方に対して歪曲補正を行う場合には、画像処理部３１ａ～３４ａでそれぞれ得られたＲＡＷ画像信号をそのまま歪曲補正してもよい。

【0051】

認識部４１ｂは少なくとも低解像度領域を歪曲補正した後の、撮像部２１～２４毎の全体画像に対して画像認識処理を行い、撮像部２１～２４毎の全体画像における所定の対象物（例えば自動車、人物、障害物など）を画像認識する。即ち、認識部４１ｂは、少なくとも低解像度領域（高歪曲領域）に対応する画像信号を歪曲補正した後で画像認識して第２の画像認識結果を出力する。

【0052】

その際に、認識部３１ｂ～３４ｂによる認識結果（対象物の種類や座標）も参照する。なお、上記では、認識部４１ｂは撮像部２１～２４毎の全体画像に対して画像認識をしているが、必ずしも全体画像に対して画像認識をしなくてもよい。例えば画像の周辺部については画像認識しなくても良い。

【0053】

即ち、認識部４１ｂは、例えば認識部３１ｂ～３４ｂにより認識した領域を含み、それより広い領域を認識するものであればよい。
ここで、認識部４１ｂは、画像取得部により取得された画像信号の内、第１の画像認識部で画像認識を行った一部領域を含む、該一部領域より広い領域の画像信号を画像認識して第２の画像認識結果を出力する第２の画像認識部として機能している。なお、第２の画像認識部は、低歪曲領域としての高解像度領域１０ａと高歪曲領域としての低解像度領域１０ｂに対応した画像信号を合成した合成画像について画像認識して第２の画像認識結果を出力している。

【0054】

本実施形態では、画像処理部４１ａは、複数の撮像部としてのカメラユニット１２～１４からの画像をつなぎ合わせるように合成して、パノラマ的な合成画像を形成する。
その場合、つなぎ合わされる複数の撮像部の画像は、それぞれの撮影画角の少なくとも一部が互いに所定量以上のオーバーラップ領域を有するように設定されていることが望ましい。

【0055】

後述するように、カメラユニット１２と１３の撮影範囲が互いに重複するようにそれぞれ配置されている。また、カメラユニット１３と１４の撮影範囲が互いに重複するようにそれぞれ配置されている。しかも、その際、少なくとも２つの画像取得部の低歪曲領域の撮影範囲が互いに重複するように配置されている。

【0056】

また、認識部４１ｂは、そのパノラマ的な合成画像に対して画像認識を行う。そうすることによって、例えば複数の撮像部の画角にまたがるように撮影された対象物の画像認識が可能となる。これは、それぞれの撮像部からの個別の全体画像では対象物の全体像が分からない場合があるが、パノラマ的な合成画像においてはその対象物のほぼ全体が映り画像処理により画像認識が可能になる場合があるからである。

【0057】

統合制御部４１ｃは、例えば認識部３１ｂ～３４ｂによる認識結果と認識部４１ｂによる認識結果が異なる場合には、より信頼性が高い方の認識結果を採用することで統合された画像認識結果を出力する。
例えば認識部３１ｂ～３４ｂにより認識された画像内の対象物の占める割合と認識部４１ｂにより認識された同じ対象物の、画面内に閉める割合を比較し、その割合が大きい方の認識結果を、より信頼性が高いと判断して採用してもよい。

【0058】

或いは高解像度領域内と低解像度領域の両方にまたがっている対象物の場合には、認識部３１ｂ～３４ｂによる認識結果よりも認識部４１ｂによる認識結果を、より信頼性が高いと判断して採用してもよい。或いは、認識部３１ｂ～３４ｂにより認識された対象物の位置が画面の周辺部の場合には、信頼性が低いと判断して、認識部４１ｂによる認識結果を、より信頼性が高いと判断して採用してもよい。

【0059】

或いは、認識部４１ｂでは、低解像度領域を歪曲補正した状態で、低解像度領域だけ画像認識をすると共に、もし低解像度領域と高解像度領域にまたがる対象物があった場合には、その対象物に対して画像認識をするようにしてもよい。即ち、高解像度領域だけに存在する対象物に対しては認識部３１ｂ～３４ｂによる認識の信頼性の方が高いとみなして認識部４１ｂでは画像認識処理をしないように制御してもよい。
ここで、統合制御部４１ｃは、第１の画像認識結果の信頼性と第２の画像認識結果の信頼性に基づき統合された画像認識結果を出力する統合処理部として機能している。

【0060】

また、統合制御部４１ｃは、撮像部２１～２４毎の全体画像や、パノラマ的な合成画像などの内、所望の画像を第１表示部５０，第２表示部５１などに表示するための信号を形成する。また、認識された対象物を強調表示するための枠や、対象物の種類、サイズ、位置、速度などに関する情報や警告などのためのＣＧなどを生成する。さらに、カメラ情報部３１ｃ～３４ｃから取得した表示解像度境界情報などの光学系の特性情報に基づき境界を表示するための境界画像のＣＧを生成する。

【0061】

また、これらのＣＧや文字を画像に重畳するための表示処理などを行う。ここで第１表示部５０，第２表示部５１などは表示部として機能しており、画像信号や統合された画像認識結果を表示する。

【0062】

さらにまた、本実施形態においては、統合制御部４１ｃは複数のカメラユニットの間で認識された対象物に関する情報を共有するように構成されている。即ち、例えばカメラユニット１４において認識された対象物がカメラユニット１１の画角の方向に移動していることが認識されたものとする。その場合には、統合制御部４１ｃはその対象物の種類と、その対象物の移動方向に関する情報または優先認識領域情報を含む予測情報をカメラユニット１１の認識部３１ｂに送信する。

【0063】

このような予測情報をカメラユニット１１～１４の認識部３１ｂ～３４ｂで共有することによってカメラユニット１１～１４の認識部３１ｂ～３４ｂにおける画像認識精度を向上させることができる。なお、このような予測情報を共有するメリットは、カメラユニット１１～１４の認識部３１ｂ～３４ｂが統合処理部４０の認識部４１ｂと別体の場合に特に効果が大きい。

【0064】

また、統合制御部４１ｃは走行制御部（ＥＣＵ）６０などとＣＡＮやＦｌｅｘＲａｙ、Ｅｔｈｅｒｎｅｔなどのプロトコルを用いて内部に設けられた不図示の通信部を介して通信を行う。それによって、走行制御部（ＥＣＵ）６０などから受信した車両制御信号に基づき表示する情報を適宜変更する表示処理を行う。即ち、例えば車両制御信号により取得された車両の移動状態に応じて表示部に表示する画像の範囲などを変化させる。

【0065】

なお、走行制御部（ＥＣＵ）６０は、車両１に搭載されており、車両１の駆動制御、方向制御などを総合的に行うためのコンピュータやメモリを内蔵したユニットである。走行制御部（ＥＣＵ）６０からは車両制御信号として例えば走行速度、走行方向、シフトレバー、シフトギア、ウインカーの状態、地磁気センサなどによる車両の向きなどの車両の走行（移動状態）に関する情報などが統合処理部４０に対して入力される。

【0066】

逆に統合制御部４１ｃは、認識部４１ｂで認識された所定の対象物（障害物など）の種類、位置、移動方向、移動速度などの情報を走行制御部（ＥＣＵ）６０に送信する。それによって走行制御部（ＥＣＵ）６０は車両の停止、駆動、走行方向の変更などの障害物の回避などに必要な制御を行う。ここで走行制御部（ＥＣＵ）６０は、統合された画像認識結果に基づき移動体としての車両の移動を制御する移動制御部として機能している。

【0067】

第１表示部５０は例えば車両１の運転席の前方上部の車幅方向の中央付近に、表示画面を車両後方に向けて設置され電子ルームミラーとして機能する。なお、ハーフミラーなどを用いて、ディスプレイとして使用しないときは鏡として使用できる構成としてもよい。また、タッチパネルや操作ボタンを備えユーザからの指示を取得し、統合制御部４１ｃへ出力可能な構成としてもよい。
第２表示部５１は、例えば車両１の運転席の前方の車幅方向の中央付近の操作パネル周辺に設置される。なお、移動体としての車両１には、不図示のナビゲーションシステムや、オーディオシステムなどが搭載されている。

【0068】

そして、例えば第２表示部には、ナビゲーションシステムや、オーディオシステムや走行制御部（ＥＣＵ）６０からの各種制御信号なども表示することができる。また、タッチパネルや操作ボタンを備え、ユーザからの指示を取得可能な構成としている。
なお、第２表示部５１は例えばタブレット端末の表示部であってもよく、統合処理部４０に対して有線で接続することにより表示することもできるし、通信部６２を介して無線で画像を受信して表示することもできる。

【0069】

なお、第１表示部５０、第２表示部５１のディスプレイパネルとしては、液晶ディスプレイや有機ＥＬディスプレイなどを用いることができる。なお、表示部の数は２つに限定されない。
なお、統合処理部４０などに含まれる機能ブロックの一部または全部をハードウェアで実現するようにしてもよいし、ＣＰＵ４２に、メモリ４３に記憶されたコンピュータプログラムを実行させることによって実現してもよい。ハードウェアとしては、専用回路（ＡＳＩＣ）やプロセッサ（リコンフィギュラブルプロセッサ、ＤＳＰ）などを用いることができる。

【0070】

なお、画像処理部３１ａ～３４ａで行っている画像処理の一部または全部を統合処理部４０の画像処理部４１ａで行ってもよい。即ち、本実施形態では、例えば画像取得部と第１の画像認識部とは同じカメラユニットの筐体に収納されており、カメラユニットと第２の画像認識部とは別の筐体に収納されている。しかし、例えば第１の画像認識部を第２の画像認識部と共に統合処理部４０の筐体に収納してもよい。

【0071】

なお、本実施形態では統合処理部４０は移動体としての車両１に搭載されているが、統合処理部４０の画像処理部４１ａ、認識部４１ｂ、統合制御部４１ｃの一部の処理を例えばネットワークを介して外部サーバなどで行ってもよい。その場合、例えば画像取得部としての撮像部２１～２４は移動体としての車両１に搭載されるが、例えばカメラ処理部３１～３４や統合処理部４０の機能の一部を外部サーバなどで処理することが可能になる。また、統合処理部４０の一部または全部の機能を走行制御部（ＥＣＵ）６０に持たせることも可能である。

【0072】

６１は記憶部であり、統合処理部４０で生成された撮像部２１～２４毎の全体画像や、パノラマ的な合成画像を記憶する。さらに、認識された対象物を示す所定の枠や文字や警告などのＣＧや、ＣＧが重畳され第１表示部５０，第２表示部５１などに表示された画像を時刻などやＧＰＳ情報などと共に記憶する。
統合処理部４０は記憶部６１に記憶された過去の情報を再生し、それを第１表示部５０や第２表示部５１に表示することも可能である。

【0073】

６２は通信部であり、ネットワークを介して外部サーバなどと通信するためのものであり、記憶部６１に記憶される前の情報や記憶部６１に記憶された過去の情報を外部サーバなどに送信して外部サーバなどに保存することが可能である。また、前述のように画像を外部のタブレット端末などに送信して、タブレット端末の表示部である第２表示部５１に画像を表示することもできる。また、外部サーバなどから渋滞情報や、各種の情報を取得して、統合処理部４０を介して第１表示部５０や第２表示部５１に表示することも可能である。
６３は操作部でありユーザの操作によって画像処理システムに対する様々な指示を入力するためのものである。操作部は例えばタッチパネルや操作ボタンなどを含む。

【0074】

図４は実施形態１の後方のカメラユニット１３の画角と高解像度領域と低解像度領域の対応関係を説明するための図である。
図４に示すように、後方のカメラユニット１３の高解像度で低歪曲な像を撮像可能な撮像画角１３ａの画像は撮像素子の受光面８１の高解像度領域（低歪曲領域）１０ａに結像する。また、低解像度で高歪曲な像を撮像可能な撮像画角１３ｂの画像は撮像素子の受光面８８の低解像度領域（高歪曲領域）１０ｂに結像する。

【0075】

図５（Ａ）は歪曲補正を行わない場合に撮像素子から得られる画像信号の例を示す図である。図５（Ａ）に示すように高解像度領域（低歪曲領域）１０ａから得られる画像には歪曲は少ないが低解像度領域（高歪曲領域）１０ｂから得られる画像は歪曲が大きい。
図５（Ｂ）は歪曲補正後の画像信号を説明するための図であり、図に示すように低解像度領域（高歪曲領域）１０ｂからの画像信号の歪曲は補正されている。ただし、歪曲補正をしても画像の周辺部の歪曲は若干残る場合がある。

【0076】

図６（Ａ）は画面全体について歪曲補正をした例を示す図である。この場合には、低歪曲領域（高解像度領域）にも遅延が生じるが歪曲補正前に比べて、物体を認識しやすくなる。また、高歪曲領域（低解像度領域）は物体を認識（画像認識や視認）しやすくなるが、遅延が生じる。

【0077】

図６（Ｂ）は低解像度領域（高歪曲領域）１０ｂから得られる画像には歪曲補正をし、高解像度領域（低歪曲領域）１０ａから得られる画像には歪曲補正をせずに合成する例を示す図である。この例の場合には、高解像度領域（低歪曲領域）においては遅延を生じないが、低解像度領域（高歪曲領域）には遅延がある。高解像度領域は、歪曲補正をしなくても低歪曲なので、物体の認識処理は大きな問題なく行える。

【0078】

なお、本実施形態における歪曲補正とは、歪曲を減らすための補正処理であって、歪曲がゼロにならないものも含み、例えば周辺部などの一部に歪曲が残っている場合もあり得る。なお、図６（Ｂ）では低解像度領域（高歪曲領域）１０ｂから得られる画像には歪曲補正をして画像１０ｃとし、高解像度領域（低歪曲領域）１０ａから得られる画像には歪曲補正をせずに合成している。しかし、歪曲補正をしない領域は図６（Ｂ）のように円形の高解像度領域（低歪曲領域）１０ａに限定されない。矩形などの他の形状でもよいし、大きさや位置も変更可能としてもよい。

【0079】

また、図６（Ｃ）は画面全体に対して歪曲補正をしない場合の例を示す図である。この例の場合には、画面表示に遅延は生じないが、撮影領域の周辺部の対象物を認識（画像認識や視認）しにくい問題がある。
本実施形態においては、これらの３つの表示パターン（歪曲補正する領域の形状や位置や大きさ）を適宜切り替えられるように構成している。なお、前述のように、歪曲補正する領域（或いは歪曲補正しない領域）の形状や位置や大きさを切り替えられるようにしても良い。

【0080】

図７は図６のパターンを手動で切り替える場合の例を説明したフローチャートである。図７のフローは、操作部６３などからのユーザ入力に応じて、統合処理部４０のＣＰＵ４２がメモリ４３内のコンピュータプログラムを実行することにより例えばフレーム単位で処理される。ここでユーザとは車両１の操作者でもよいし、車両のメンテナンスをする専門家であってもよい。

【0081】

図７において、ステップＳ７１で操作部６３などによって歪曲補正がＯＮに設定されているか判断する。Ｙｅｓの場合にはステップＳ７２に進み、操作部６３などによって低遅延モードに設定されているか判別する。ステップＳ７２でＮｏの場合には、ステップＳ７３に進み画面全体が歪曲補正された映像を選択し、ステップＳ７４で表示部に出力する。この場合には、第１表示部５０または第２表示部５１には、図６（Ａ）に示すような、画面全体を歪曲補正した画像が表示される。なお、画像処理部４１ａは、画面全体を歪曲補正する際に、カメラ情報部３１ｃ～３４ｃから取得した光学系の特性情報等に基づき画面全体の歪曲補正を行う。

【0082】

ステップＳ７２でＹｅｓ、即ち低遅延モードに設定されている場合にはステップＳ７６に進む。そして、光学系の特性情報に基づき、高解像度領域（低歪曲領域）１０ａから得られる画像は歪曲補正をせずに、低解像度領域（高歪曲領域）１０ｂから得られる画像には歪曲補正をして両者を合成する。そしてステップＳ７７で合成された映像信号を第１表示部５０または第２表示部５１に表示する。このとき表示される画像は図６（Ｂ）のような画像となる。なお、このとき歪曲補正する領域（歪曲補正しない領域）の位置や大きさや形状をユーザが任意に設定できるようにしてもよい。

【0083】

ステップＳ７１でＮｏ、即ち、歪曲補正がＯＮに設定されていない場合には、ステップＳ７８に進み、歪曲補正していない全体画像が選択され、ステップＳ７９で映像信号を第１表示部５０または第２表示部５１に表示される。この時に表示される画像は図６（Ｃ）のような画面全体が歪曲した画像となる。

【0084】

このように、図７のフローでは撮像された画面のうちどの領域を歪曲補正するかをユーザが操作部６３などを用いて選択し設定できるように構成している。それによって、ステップＳ７３，Ｓ７４において例えば図６（Ａ）のような歪曲の少ない全体画像を表示することができるので、高画質の画像を表示したい場合には、このような選択をすることができる。

【0085】

ただし、この場合には、歪曲補正に時間がかかるデメリットがある。また、例えば中央部だけを早く認識（画像認識や視認）したい場合にはステップＳ７６，Ｓ７７により図６（Ｂ）のような画像を表示させることができる。この場合には、中央部分については歪曲補正のための時間がかからないので、短時間で障害物などを画像認識できる。一方、中央部分など以外は歪曲の少ない高画質の画像を得ることができ、画像認識精度が上がる。また、直ちに障害物の画像を認識したい場合には、ステップＳ７８，Ｓ７９により図６（Ｃ）のような画面全体が歪曲した画像を速やかに表示できる。ただし、画像認識する場合の認識精度は周辺部において低下する。

【0086】

なお、ステップＳ７４，Ｓ７７，Ｓ７９で表示を行った後はステップＳ７５に進み、ユーザから終了要求があったか否かを判別し、Ｙｅｓであれば図７のフローを終了し、ＮｏであればステップＳ７１に戻る。
本実施形態１においては、ユーザが歪曲補正する領域（または歪曲補正しない非歪曲補正領域）を、操作部６３などを用いて手動で選択できるように構成することで、最適な歪曲処理領域を選択することができる。即ち、ユーザにとって遅延が少なく認識しやすい映像を適宜表示することができ、異画角レンズのような光学系を用いた画像処理システムの性能をより引き出すことができる。

【0087】

なお、図７のフローにおいて操作部６３などを用いたステップＳ７１，Ｓ７２は、光学像の特性に基づき画像信号に対して歪曲補正をする歪曲補正領域と、歪曲補正しない非歪曲補正領域とを設定するための設定ステップ（設定部）として機能している。また、ステップＳ７１，Ｓ７２により、画面全体を歪曲補正領域とする状態と、画面全体を非歪曲補正領域とする状態を設定可能である。また、操作部６３などにおいて、メニュー選択画面等のＵＩを用いることで、ユーザによって前記歪曲補正領域と、歪曲補正しない非歪曲補正領域とを設定をより容易化することが望ましい。

【0088】

なお、操作部６３などによりユーザが選択や設定をする場合に、例えば複数のメニューのなかから例えば図６（Ａ）～（Ｃ）の一つをユーザが選択するようにＵＩを構成してもよい。あるいは、通信部６２を介して外部のＰＣ端末の画面に例えば図６（Ｂ）などを表示してもよい。そして、例えば歪曲補正する領域（歪曲補正しない領域）の位置や大きさや形状をＰＣ端末の画面へのタッチ操作、クリック操作、ドラッグ操作などによって変更するようなＵＩとしてもよい。ここで、上記のステップＳ７６，Ｓ７７では図６（Ｂ）のような円形の高解像度領域１０ａを歪曲補正しない領域としているが、歪曲補正しない領域の位置、大きさ、形状はユーザが設定可能である。

【0089】

［実施形態２］
実施形態１においては手動で歪曲補正領域の選択を行ったが、実施形態２においては自動で選択を行う。
図８は、実施形態２における歪曲領域選択例を説明するためのフローチャートである。図８のフローは、走行制御部（ＥＣＵ）６０からの走行状態を示す信号に応じて統合処理部４０のＣＰＵ４２がメモリ４３内のコンピュータプログラムを実行することにより例えばフレーム単位で処理される。

【0090】

図８のステップＳ８１において、走行制御部（ＥＣＵ）６０からの走行状態を示す信号に応じて車両１の車速が所定の速度以上か判断する。Ｎｏの場合にはステップＳ８２に進み、高解像度領域（低歪曲領域）１０ａから得られる画像について認識部３１ｂ～３４ｂにおいて画像認識し、対象物が認識されたか否かを判別する。なお、ここで認識部３１ｂ～３４ｂにおける画像認識領域は例えば高解像度領域１０ａ内に予め初期設定された矩形領域などとする。すなわち、認識部３１ｂ～３４ｂは歪曲補正部によって歪曲補正されていないＲＡＷ画像信号に基づき画像認識を行っている。

【0091】

ステップＳ８２でＮｏ、即ち高解像度領域(低歪曲領域)１０ａから得られる画像に対象物が認識されなかった場合には、ステップＳ８３に進み歪曲補正された映像を選択し、ステップＳ８４で表示部に出力する。この場合には、第１表示部５０または第２表示部５１には、図６（Ａ）に示すような、画面全体が歪曲補正された画像が表示される。
ステップＳ８２でＹｅｓ、即ち高解像度領域（低歪曲領域）１０ａから得られる画像に対象物が認識された場合には、ステップＳ８６に進む。

【0092】

そして、高解像度領域（低歪曲領域）１０ａから得られる画像は歪曲補正をせずに、また低解像度領域（高歪曲領域）１０ｂから得られる画像には歪曲補正をして両者を合成する。そしてステップＳ８７で、合成された映像信号を第１表示部５０または第２表示部５１に表示する。このとき表示される画像は図６（Ｂ）のような画像となる。このように、図８のフローにおいては、第１の画像認識部としての認識部３１ｂ～３４ｂによる画像認識の結果に基づき前記歪曲補正領域と、歪曲補正しない非歪曲補正領域とを設定する。

【0093】

ステップＳ８１でＹｅｓ、即ち、車両１の速度が前記所定の速度より大きい場合には、ステップＳ８８に進み、歪曲補正していない全体の映像が選択され、ステップＳ８９で映像信号を第１表示部５０または第２表示部５１に表示される。この時に表示される画像は図６（Ｃ）のような全体が歪曲した画像となる。

【0094】

このように、撮像された画面のうちどの領域を歪曲補正するかを自動的に選択することによって、例えば車両１の速度が低い場合には、ステップＳ８３，Ｓ８４によって図６（Ａ）のような歪曲の少ない全体画像を表示することができる。したがって、高画質の画像を表示することができる。この場合には、歪曲補正に時間がかかるため表示に遅延が生じるが、車両１の速度が低いので表示の遅延（画像認識や視認）は問題とならない。

【0095】

また、例えば中央部に対象物が認識された場合にはステップＳ８６，Ｓ８７により図６（Ｂ）のような画像を表示させる。したがって、中央部分については歪曲補正のための時間がかからないので、短時間で障害物などを認識でき、中央部分など以外は歪曲の少ない高画質の画像を得ることができる。また、車速が所定の速度以上の場合には、ステップＳ８８，Ｓ８９により図６（Ｃ）のような、画面全体が歪曲した画像を速やかに表示できるので障害物などを速やかに認識でき危険を回避できる。しかも画面の周辺領域も表示されるので、画像認識の範囲が広がり、障害物を認識しやすくなる。

【0096】

なお、ステップＳ８４，Ｓ８７，Ｓ８９で表示を行った後はステップＳ８５に進み、ユーザから終了要求があったか否かを判別し、Ｙｅｓであれば図８のフローを終了し、ＮｏであればステップＳ８１に戻る。なお、図８のフローにおいては、ステップＳ８１、Ｓ８２は、光学像の特性に基づき前記画像信号に対して歪曲補正をする歪曲補正領域と、歪曲補正しない非歪曲補正領域とを設定するための設定ステップ（設定部）として機能している。

【0097】

また、ステップＳ８１、Ｓ８２により、移動体としての車両１の移動状態に応じて前記歪曲補正領域と、歪曲補正しない非歪曲補正領域とを設定している。
なお、実施形態１、実施形態２においては、認識部３１ｂ～３４ｂは、前述のように、高解像度領域（低歪曲領域）１０ａの例えば内側の所定の大きさの矩形領域について画像認識を行う。一方、認識部４１ｂでは図６（Ａ）～図６（Ｃ）などの例に示されるような、それぞれの表示画面に対応した全体領域について画像認識を行う。

【0098】

なお、実施形態２においても、例えば図６（Ｂ）のように画面の一部に対して歪曲補正をしないようにする場合、操作部６３などにより、ユーザが歪曲補正をしない領域（歪曲補正する領域）を予め設定できるようにしてもよい。即ち、例えば複数の歪曲補正をしない領域（歪曲補正する領域）の選択肢の中からユーザが選択できるようなＵＩにしてもよい。あるいは、通信部６２を介して外部のＰＣ端末などの画面に例えば図６（Ｂ）などを予め表示し、例えば歪曲補正しない領域の位置や大きさや形状をタッチ操作、クリック操作、ドラッグ操作などのＵＩによって予め設定できるようにしてもよい。

【0099】

その際、図６（Ｂ）における、歪曲補正しない領域は例えば高解像度領域１０ａの内側に設定した矩形などの形状の領域とし、歪曲補正する領域はその矩形の領域以外の表示領域としてもよい。
なお、ユーザが、歪曲補正しない領域の位置、大きさ、形状を設置する際に、カメラ情報部３１ｃ～３４ｃから取得した光学系の特性情報に基づき高解像度領域１０ａと低解像度領域１０ｂの境界画像を表示することが望ましい。即ち、境界画像を参照しながら設定できるようにすることで、どの部分を歪曲補正すべきかが正しく判断できる。

【0100】

以上のように、本実施形態２においては、移動体としての車両１の移動状態に応じて、歪曲処理する領域を自動的に選択するように構成することで、人間が手動で切り替える場合よりも速やかにかつ最適な歪曲処理領域を選択することができる。したがって、異画角レンズのような光学系を用いた画像処理システムの性能をより引き出すことができる。

【0101】

なお、実施形態２においては車両１の速度が所定の速度以上の場合に例えば図６（Ｃ）の表示に切り替えている。しかし、例えば図６（Ａ）または図６（Ｂ）の表示をしている状態から車両１の速度が上がっていった場合には、歪曲補正をしない領域を画面の中央から周辺に向けて多段階でステップ状に、あるいは連続的に徐々に広げていくように制御してもよい。

【0102】

また、走行制御部（ＥＣＵ）６０からの走行状態を示す信号（例えばウインカー操作信号、操舵角の信号、ＧＰＳ等に基づく車両の進行方向の情報等）に応じて、歪曲補正する領域（歪曲補正しない領域）の位置や大きさや形状を変更してもよい。例えば、右または左折状態では、図６（Ｂ）における円形の歪曲補正しない領域を画面の中央からそれぞれ右または左にシフトしてもよい。あるいは右または左折状態では、図６（Ｂ）における歪曲補正しない領域の形状をそれぞれ右または左に広がった非円形の所望の形状にしてもよい。

【0103】

［実施形態３］
次に図９は実施形態３における歪曲領域選択例を説明するためのフローチャートである。
図９のフローは、走行制御部（ＥＣＵ）６０からの走行状態を示す信号に応じて統合処理部４０のＣＰＵ４２がメモリ４３内のコンピュータプログラムを実行することにより例えばフレーム単位で処理される。

【0104】

また、図１０は実施形態３における歪曲補正領域と表示領域と画像認識領域の例を説明するための図である。図１０（Ａ）はカメラユニット１１、１２、１４の基準画角の表示領域８２の例を説明するための図、図１０（Ｂ）はカメラユニット１１、１２、１４の狭画角の表示領域８３の例を説明するための図である。また、図１０（Ｃ）はカメラユニット１１、１２、１４の広画角の表示領域８４の例を説明するための図、図１０（Ｄ）はカメラユニット１３の後方の狭画角の表示領域８５の例を説明するための図である。また、図１０（Ｅ）はカメラユニット１３の後方の広画角の表示領域８６の例を説明するための図である。

【0105】

図１０（Ａ）～（Ｅ）において、８１が撮像素子の受光面、１０ａは図２で説明した高解像度領域（低歪曲領域）、１０ｂは低解像度領域（高歪曲領域）を示している。但し、通常表示される画像には、上記の高解像度領域（低歪曲領域）１０ａと低解像度領域（高歪曲領域）１０ｂの境界線は表示されない。但し、必要に応じて上記の境界線を画面上に重畳表示してもよい。

【0106】

なお、この例では、認識部４１ｂが認識する領域は例えば表示領域全体とする。また、認識部３１ｂ～３４ｂが認識する画像認識領域は例えば図１０（Ａ）～図１０（Ｅ）においてそれぞれ８２１～８６１とする。
図１０（Ａ）～（Ｅ）に示すように複数種類の表示領域、歪曲補正領域、画像認識領域を切り替えられるようになっており、これらの領域は走行制御部（ＥＣＵ）６０からの車両制御情報に基づき切り替えられる。

【0107】

図９のステップＳ９１で走行制御部（ＥＣＵ）６０から、車両制御情報を取得する。車両制御情報は前述のように、例えば走行速度、走行方向、シフトレバー、シフトギア、ウインカーなどの車両の走行に関する情報などを含む。
ステップＳ９２において、車両制御情報に基づき車両が前進状態か否かを判別する。前進であればステップＳ９３において、進路変更中か否かを判別し、Ｎｏの場合にはステップＳ９４で前進速度が所定の閾値Ｖ１よりも大きいか否かを判別する。

【0108】

ステップＳ９４でＮｏの場合にはステップＳ９５で基準画角の画像を表示する。即ち、図１０の基準画角の表示領域８２の画像を例えば電子ルームミラーとしての第１表示部５０に表示し、その後でステップＳ１０１に進む。また、このとき高解像度領域（低歪曲領域）１０ａ内の画像に対しては歪曲補正を行わず、基準画角の表示領域８２の内側であって高解像度領域（低歪曲領域）１０ａの外側の領域について歪曲補正を行う。また認識部３１ｂ～３４ｂは画像認識領域８２１について画像認識を行う。一方、認識部４１ｂは基準画角の表示領域８２全体に対して画像認識を行う。

【0109】

図１１は実施形態３における第１表示部の表示例を説明するための図である。また、図１１（Ａ）は基準画角の画像の表示例を説明するための図、図１１（Ｂ）は狭画角の画像の表示例を説明するための図、図１１（Ｃ）は広画角の画像の表示例を説明するための図である。図１１（Ａ）において、５０１は電子ルームミラーとしての第１表示部の表示画面を示している。
また、８２Ｌは左側方のカメラユニット１４の基準画角の画像、８２Ｃは正面のカメラユニット１１の基準画角の画像、８２Ｒは右側方のカメラユニット１２の基準画角の画像を示している。

【0110】

図１０の基準画角の表示領域８２の画像を例えば第１表示部５０に表示する場合には、例えば図１１（Ａ）のように表示する。即ち、左側方のカメラユニット１４の基準画角の画像８２Ｌ、正面のカメラユニット１１の基準画角の画像８２Ｃ、右側方のカメラユニット１２の基準画角の画像８２Ｒを左から順に並べて第１表示部５０の表示画面５０１に表示する。

【0111】

図１２（Ａ）は実施形態３の第１表示部５０の表示画面５０１の表示例を説明するための図、図１２（Ｂ）は実施形態３の第２表示部５１の表示画面５１１の表示例を説明するための図である。
図１２（Ａ）に示すように、ステップＳ９４で前進速度がＶ１以下と判別された場合には、基準画角の画像８２Ｌ、８２Ｃ、８２Ｒを並べて第１表示部５０の表示画面５０１に表示する。

【0112】

なお、図１２（Ａ）において８２Ｂは後方用のカメラユニット１３の基準画角の画像であり、第１表示部５０の表示画面５０１の中にピクチャーインピクチャーで表示される。
本実施形態ではステップＳ９４で前進速度がＶ１以下と判別された場合には、カメラユニット１３からの画像についても基準画角の画像８２Ｂが表示される。

【0113】

一方、ステップＳ９４で前進速度がＶ１より大きいと判別された場合にはステップＳ９６に進み、図１０（Ｂ）に示す狭画角の表示領域８３の画像を電子ルームミラーとしての第１表示部５０に表示し、その後でステップＳ１０１に進む。表示領域８３は基準画角の表示領域８２より上側に広く、左右方向の幅が狭い。このとき基準画角の表示領域８２の内側の画像全体に対して歪曲補正を行わないので、歪曲補正による画像表示の遅延は生じない。

【0114】

したがって、速やかに障害物を視認できる。また認識部３１ｂ～３４ｂは画像認識領域８３１について画像認識を行い、認識部４１ｂは狭画角の表示領域８３全体に対して画像認識を行う。画像認識領域８３１は画像認識領域８２１よりも上に広くまた左右に狭く設定されている。これは前進速度が大きい場合には、画面の上側から障害物などが来る可能性が高く、左右についてはその可能性が減るからである。

【0115】

そして左側方のカメラユニット１４の狭画角の画像８３Ｌ、正面のカメラユニット１１の狭画角の画像８３Ｃ、右側面のカメラユニット１２の狭画角の画像８３Ｒが図１１（Ｂ）のように並べて表示される。このように、前進速度がＶ１（例えば６０ｋｍ）より大きい場合には視覚が狭くなるので、図１１（Ｂ）のように表示したほうが必要な情報を速やかに視認しやすくなる。

【0116】

また、図９のステップＳ９３において進路変更中であると判断された場合には、ステップＳ９７に進み、図１０（Ｃ）に示す左右に広画角の表示領域８４の画像を表示する。ここで表示領域８４は基準画角の表示領域８２よりも左右方向の幅が広く、下方向に広がっている。
また、このとき高解像度領域（低歪曲領域）１０ａ内の画像に対しては歪曲補正を行わず、表示領域８４の内側であって高解像度領域（低歪曲領域）１０ａの外側の領域について歪曲補正を行う。進路変更中においては、前進速度はそれほど高くないので、このような歪曲補正を行う。なお、認識部３１ｂ～３４ｂは画像認識領域８４１について画像認識を行う。一方、認識部４１ｂは広画角の表示領域８４全体に対して画像認識を行う。

【0117】

画像認識領域８４１は画像認識領域８２１よりも上下に狭く左右に広く設定されている。これは、進路変更中は前進速度が低く、画面の上下方向よりも左右方向に障害物が存在する可能性が高いからである。
そして、図１１（Ｃ）に示すように、第１表示部５０の表示画面５０１には、左側方のカメラユニット１４の広画角の画像８４Ｌ、正面のカメラユニット１１の広画角の画像８４Ｃ、右側面のカメラユニット１２の広画角の画像８４Ｒが並べて表示される。

【0118】

なお、図１１（Ａ）～（Ｃ）において、３つの基準画角の画像の一部にオーバーラップ領域がある場合には、つなぎ合わせてパノラマ画像のように合成して表示しても良い。
さらに、例えば左に進路変更中の場合には、図１１（Ｃ）に並べて表示される３つの画像を表示画面５０１の中心に対して左側にずらして表示してもよい。逆に右に進路変更中の場合には、図１１（Ｃ）に並べて表示される３つの画像を表示画面５０１の中心に対して右側にずらして表示してもよい。そのように表示することで視認性を高めることができる。

【0119】

このように、本実施形態では進路変更中は広画角の画像を表示しているので周囲の安全をより視認しやすくなる。しかも下方に画角を広げた画像を表示しているので、道路の障害物をより視認しやすくなる。ステップＳ９７の後はステップＳ１０１に進む。
なお、図１１（Ａ）～（Ｃ）においてはカメラユニット１１、１２、１４からの画像を並べて或いは合成して表示しているが、例えばカメラユニット１２、１３、１４からの画像を並べて或いは合成して表示してもよい。

【0120】

例えば図１１（Ｄ）はカメラユニット１２、１３、１４からの基準領域の画像８２Ｒ、８２Ｂ、８２Ｌを合成して表示し、カメラユニット１１からの基準領域の画像８２Ｃを合成画像の上側に表示した表示例を示す図である。なお、図１１（Ｄ）ではこれらの画像は第１表示部５０の表示画面５０１に表示しているが、第２表示部５１の表示画面５１１に表示してもよい。

【0121】

図９のステップＳ９２において、前進ではないと判断された場合にはステップＳ９８に進み、後進速度が所定の速度Ｖ２（例えば１０ｋｍ）より大きいか否かを判断する。Ｎｏの場合には、ステップＳ９９に進み、図１０（Ｄ）に示すような後進用の上下方向に狭画角の表示領域８５の画像８５Ｂを例えば図１２（Ｂ）のように、第２表示部５１の表示画面５１１に表示する。その後でステップＳ１０１に進む。

【0122】

また、このとき高解像度領域（低歪曲領域）１０ａ内の画像に対しては歪曲補正を行わず、表示領域８５の内側であって高解像度領域（低歪曲領域）１０ａの外側の領域について歪曲補正を行う。後退中においては、後進速度が一般に低いので、このような歪曲補正を行う。なお、後方のカメラユニット１３の認識部３３ｂは画像認識領域８５１について画像認識を行う。一方、認識部４１ｂは表示領域８５全体に対して画像認識を行う。

【0123】

画像認識領域８５１は画像認識領域８２１よりも上下に狭く左右にも狭く設定されている。これは、後退中は後進速度が低いので、広い範囲について早く画像認識をする必要性が低いからである。したがって、この場合には、認識部３３ｂによる画像認識は行わなくてもよい。

【0124】

図１２（Ｂ）は車両１を後退する際に第２表示部５１の表示画面５１１に表示される画面の例を示しており、例えば駐車スペースに車両１をガイドするためのガイド５１２が重畳表示される。
図１３（Ａ）は実施形態３の後退時の上下方向に狭画角の画像８５Ｂの表示例を説明するための図であり、第２表示部５１の表示画面５１１に例えば図１３（Ａ）のような上下方向に狭画角の画像８５Ｂが表示される。

【0125】

一方、ステップＳ９８で後進速度がＶ２よりも大きいと判別された場合にはステップＳ１００に進み、図１０（Ｅ）に示すような後進用の上下方向に広画角の表示領域８６の画像８６Ｂを第２表示部５１の表示画面５１１に図１３（Ｂ）のように表示する。その後でステップＳ１０１に進む。ステップＳ１０１ではユーザから終了要求があったか否かを判別し、Ｙｅｓであれば図９のフローを終了し、ＮｏであればステップＳ９１に戻る。

【0126】

また、このとき高解像度領域（低歪曲領域）１０ａ内の画像に対しては歪曲補正を行わず、表示領域８６の内側であって高解像度領域（低歪曲領域）１０ａの外側の領域について歪曲補正を行う。後退中においては、後進速度が一般的にそれほど高くないので、このような歪曲補正を行う。なお、後方のカメラユニット１３の認識部３３ｂは画像認識領域８６１について画像認識を行う。一方、認識部４１ｂは表示領域８６全体に対して画像認識を行う。

【0127】

画像認識領域８６１は画像認識領域８５１よりも上下に広く左右にも広く設定されている。これは、後退中であっても後進速度が高い場合には、画像認識領域８５１よりも広い範囲について早く画像認識をした方がよいからである。
ここで、図１３（Ｂ）は、実施形態３の後進用の広画角の画像８６Ｂの表示例を示した図である。

【0128】

図１０（Ｅ）に示されるように、後進用の広画角の表示領域８６は後進用の狭画角の表示領域８５よりも上下方向に画角が広げられている。これは、後進速度がＶ２よりも大きい場合には、より後方を表示して障害物を視認しやすくするためである。なお、本実施形態では後進用の広画角の表示領域８６の左右の幅と後進用の狭画角の表示領域８５の左右の幅は同じになっているが、表示領域８６の左右の幅を、表示領域８５の左右の幅よりも狭くしてもよい。

【0129】

なお、例えば図１０（Ａ）、（Ｃ）、（Ｄ）、（Ｅ）において、画像表示領域の中の高解像度領域１０ａについては歪曲補正を行わず、画像表示領域の中の高解像度領域１０ａ以外の領域について歪曲補正を行っている。しかし、歪曲補正を行わない領域を高解像度領域１０ａの内側の例えば矩形の領域としてもよい。あるいは歪曲補正を行わない領域を、高解像度領域１０ａを含み高解像度領域１０ａより大きい例えば矩形の領域としてもよい。

【0130】

このように、実施形態３においては、移動体としての車両１の移動状態に応じて、歪曲補正領域や表示領域を適切に変更することが可能なので、異画角レンズのような光学系を用いた画像処理システムの性能をさらに引き出すことができる。さらに移動体としての車両１の移動状態に応じて画像認識領域も変更しているので、画像処理システムの性能をより一層引き出すことができる。

【0131】

以上のように実施形態１～３では、高解像度領域（低歪曲領域）１０ａは、上述のように通常の撮像用の光学系の中心射影方式（ｙ＝ｆ×ｔａｎθ）または等距離射影方式（ｙ＝ｆ×θ）に近似した射影特性となるように構成されている。したがって、例えば第１表示部５０や第２表示部５１に表示される高解像度領域（低歪曲領域）１０ａの画像は、解像度が低解像度領域（高歪曲領域）１０ｂと比較して高く、車両１の正面、側方、後方の遠方を、より精細に表示することができる。

【0132】

また、高解像度領域１０ａは光学歪曲が小さいため、第１表示部５０に表示される電子ルームミラー用の画像も歪みが小さい状態で表示することができ、車両の周囲を運転者がより自然な遠近感で視認できる。

【0133】

また、実施形態における高解像度領域１０ａは、光学歪みが小さくなるように構成されており、歪曲補正をしないＲＡＷ画像信号の状態で画像認識ができるので、画像認識のための処理負荷を低減し高速で画像認識をすることができる。したがって画像認識結果に基づき障害物を早期に発見でき、障害物を回避するための動作をタイムリーに行える。このように、本実施形態の構成を用いた場合には、特に高速道路などでの高速走行時において大きな効果を得ることができる。

【0134】

また、歪曲補正領域を適宜変更することができるように構成したので、移動体の移動状態や周囲の状況に応じて、速やかに障害物などを確認することができ、異画角レンズなどの光学系の性能を最大限に引き出すことができる。

【0135】

また、以上の実施形態では歪曲補正を行うか行わないかの二者択一の選択をする例を説明したが、歪曲補正を行わない場合は歪曲補正率が所定値Ｘ１より低い場合を含む。また、歪曲補正を行う場合は歪曲補正率が所定値Ｘ２（但しＸ２はＸ１以上）より高い場合を含み、Ｘ１を例えば１０％、Ｘ２を例えば９０％などとしてもよい。また、２種類の歪曲補正率を選択するものに限らず、歪曲補正率を徐々に変更できる構成にしてもよい。本発明の実施形態はそのようなものも含む。

【0136】

なお、以上の実施形態では複数のカメラユニットを用いる例を説明したが、カメラユニットが１つだけのシステムにおいても有効である。
なお、歪曲補正をする領域と歪曲補正をしない領域の境界を示すための境界画像を例えば通常走行中などに表示可能としてもよい。

【0137】

特に、歪曲補正の有無による境界部分の画像のずれや、歪曲補正領域と非歪曲補正領域とで露光タイミング差によって輝度段差が目立つ場合には、違和感を低減するために上記のような境界画像を表示してもよい。その場合に、境界画像の線の幅や濃度や色なども、歪曲補正領域と非歪曲補正領域の間の違和感を低減するように変更してもよい。また、境界画像の大きさ、形状に応じて、歪曲補正領域における歪曲補正率を調整し、静止した物体について歪曲補正領域と非歪曲補正領域の画像がスムーズにつながるようにしてもよい。

【0138】

また、通常走行時以外にも前述のように歪曲補正しない領域をユーザが予め設定する場合や、各カメラユニットの姿勢などを調整する工程において、上記の境界画像を表示するようにしてもよい。それによって歪曲補正領域と非歪曲補正領域の境界が明確になり、調整作業を効率化することができる。

【0139】

なお、上述の実施形態においては車両などの移動体に画像処理システムを搭載した例について説明した。しかし、これらの実施形態の移動体は、自動車などの車両に限らず、列車、船舶、飛行機、ロボット、ドローンなどの移動をする移動装置であれば、どのようなものであってもよい。また、実施形態の画像処理システムはそれらの移動体に搭載されていてもよいし、搭載されていなくてもよい。また、例えば移動体をリモートでコントロールする場合にもこれらの実施形態の構成を適用することができる。

【0140】

［実施形態４］
上述した実施形態１～３において説明された様々な機能、処理および方法の少なくとも一つは、プログラムを用いて実現することができる。以下、実施形態４では、上述した実施形態１おいて説明された様々な機能、処理および方法の少なくとも一つを実現するためのプログラムを「プログラムＸ」と呼ぶ。さらに、実施形態４では、プログラムＸを実行するためのコンピュータを「コンピュータＹ」と呼ぶ。パーソナルコンピュータ、マイクロコンピュータ、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などは、コンピュータＹの一例である。上述した実施形態における画像処理システムなどのコンピュータも、コンピュータＹの一例である。

【0141】

上述した実施形態１～３において説明された様々な機能、処理および方法の少なくとも一つは、コンピュータＹがプログラムＸを実行することによって実現することができる。この場合において、プログラムＸは、コンピュータ読み取り可能な記憶媒体を介してコンピュータＹに供給される。実施形態４におけるコンピュータ読み取り可能な記憶媒体は、ハードディスク装置、磁気記憶装置、光記憶装置、光磁気記憶装置、メモリカード、ＲＯＭ、ＲＡＭなどの少なくとも一つを含む。さらに、実施形態４におけるコンピュータ読み取り可能な記憶媒体は、ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ（非一時的）な記憶媒体である。

【0142】

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明は上記実施形態に限定されるものではなく、本発明の主旨に基づき種々の変形が可能であり、それらを本発明の範囲から除外するものではない。

【符号の説明】

【0143】

１：車両
１０ａ：高解像度領域
１０ｂ：低解像度領域
１１～１４：カメラユニット
２１～２４：撮像部
３１～３４：カメラ処理部
３１ｂ～３４ｂ：認識部
４０：統合処理部
４１ｂ：認識部
５０：第１表示部
５１：第２表示部
６０：走行制御部ＥＣＵ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】