特許 7434476 画像処理システム、画像処理方法、撮像装置、光学系、およびコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-02-09

(45)【発行日】2024-02-20

(54)【発明の名称】画像処理システム、画像処理方法、撮像装置、光学系、およびコンピュータプログラム

(51)【国際特許分類】

   H04N 23/60 20230101AFI20240213BHJP

   B60R 1/24 20220101ALI20240213BHJP

   B60R 1/25 20220101ALI20240213BHJP

   B60R 1/26 20220101ALI20240213BHJP

   G03B 15/00 20210101ALI20240213BHJP

   G03B 30/00 20210101ALI20240213BHJP

   H04N 7/18 20060101ALI20240213BHJP

   H04N 23/63 20230101ALI20240213BHJP

【ＦＩ】

H04N23/60 500

B60R1/24

B60R1/25

B60R1/26

G03B15/00 V

G03B30/00

H04N7/18 J

H04N23/63

【請求項の数】 16

(21)【出願番号】P 2022148737

(22)【出願日】2022-09-20

(65)【公開番号】P2023047328

(43)【公開日】2023-04-05

【審査請求日】2022-10-11

(31)【優先権主張番号】P 2021155589

(32)【優先日】2021-09-24

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100114775

【弁理士】

【氏名又は名称】高岡 亮一

(74)【代理人】

【識別番号】100121511

【弁理士】

【氏名又は名称】小田 直

(74)【代理人】

【識別番号】100208580

【弁理士】

【氏名又は名称】三好 玲奈

(72)【発明者】

【氏名】斉藤 正則

(72)【発明者】

【氏名】笛田 亮

【審査官】淀川 滉也

(56)【参考文献】

【文献】特開２００４－２７２７０６（ＪＰ，Ａ）

【文献】国際公開第２０１３／００８６２３（ＷＯ，Ａ１）

【文献】米国特許出願公開第２００２／００５７２７９（ＵＳ，Ａ１）

【文献】国際公開第２０１９／１２３８４０（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／６０

Ｈ０４Ｎ ２３／６３

Ｈ０４Ｎ ７／１８

Ｂ６０Ｒ １／２４

Ｂ６０Ｒ １／２５

Ｂ６０Ｒ １／２６

Ｇ０３Ｂ １５／００

Ｇ０３Ｂ ３０／００

(57)【特許請求の範囲】

【請求項1】

低歪曲領域と高歪曲領域とを有する光学像を撮像し、異なる位置に配置された複数の撮像手段により形成した画像信号を取得する画像取得手段と、
複数の前記撮像手段における前記光学像の特性に関する特性情報を取得する特性情報取得手段と、
複数の前記撮像手段から取得した前記画像信号を合成して合成画像を生成し、前記特性情報に基づいて、前記低歪曲領域と前記高歪曲領域の境界を示す情報を前記合成画像に重畳した表示信号を生成する表示信号生成手段と、
を有することを特徴とする画像処理システム。

【請求項2】

前記撮像手段は、前記光学像を形成する光学系と、
前記光学系により形成された前記光学像を撮像する撮像素子と、を含むことを特徴とする請求項１に記載の画像処理システム。

【請求項3】

前記表示信号生成手段は、複数の前記撮像手段における前記特性情報に基づき１つの画像に複数の前記境界を示す情報を重畳した表示信号を生成することを特徴とする請求項１に記載の画像処理システム。

【請求項4】

前記表示信号生成手段は、前記合成画像に前記複数の前記境界を示す情報を重畳するための表示信号を生成することを特徴とする請求項１に記載の画像処理システム。

【請求項5】

前記表示信号生成手段は、前記撮像手段の姿勢を調整するためのガイド情報を含む表示信号を生成し、
前記ガイド情報は基準枠を含み、前記基準枠は電子ルームミラーに表示される画像領域に対応していることを特徴とする請求項１に記載の画像処理システム。

【請求項6】

前記光学系の焦点距離をｆ、半画角をθ、像面での像高をｙ、像高ｙと半画角θとの関係を表す射影特性をｙ（θ）とするとき、
前記低歪曲領域におけるｙ（θ）はｆ×θより大きく、前記高歪曲領域における前記射影特性とは異なると共に、
θｍａｘを前記光学系が有する最大の半画角、Ａを所定の定数とするとき、

を満足するように構成されていることを特徴とする請求項２に記載の画像処理システム。

【請求項7】

前記撮像手段の少なくとも１つは、前記光学系の焦点距離をｆ、半画角をθ、像面での像高をｙ、像高ｙと半画角θとの関係を表す射影特性をｙ（θ）、θｍａｘを前記光学系が有する最大の半画角とするとき、
０．２＜２×ｆ×ｔａｎ（θｍａｘ／２）／ｙ（θｍａｘ） ＜０．９２
を満足することを特徴とする請求項２に記載の画像処理システム。

【請求項8】

複数の前記撮像手段の少なくとも２つの前記撮像手段の撮影範囲が互いに重複するように配置されていることを特徴とする請求項１に記載の画像処理システム。

【請求項9】

前記ガイド情報は、少なくとも２つの前記撮像手段の前記低歪曲領域の撮影範囲が互いに重複するように、前記撮像手段を移動させる方向を示すことを特徴とする請求項５に記載の画像処理システム。

【請求項10】

複数の前記撮像手段の光学系は、前記光学系の中心寄りの領域が前記低歪曲領域であり、外寄りの領域が前記高歪曲領域の撮像手段と、前記光学系の中心寄りの領域が前記高歪曲領域であり、外寄りの領域が前記低歪曲領域の撮像手段と、を含むことを特徴とする請求項１に記載の画像処理システム。

【請求項11】

前記光学系の中心寄りの領域が前記低歪曲領域であり、外寄りの領域が前記高歪曲領域の前記撮像手段は移動体の後方に配置されることを特徴とする請求項１０に記載の画像処理システム。

【請求項12】

前記光学系の中心寄りの領域が前記高歪曲領域であり、外寄りの領域が前記低歪曲領域の前記撮像手段は移動体の正面又は側方に配置されることを特徴とする請求項１０に記載の画像処理システム。

【請求項13】

低歪曲領域と高歪曲領域とを有する光学像を撮像し、異なる位置に配置された複数の撮像手段により形成した画像信号を取得する画像取得ステップと、
複数の前記撮像手段における前記光学像の特性に関する特性情報を取得する特性情報取得ステップと、
複数の前記撮像手段から取得した前記画像信号を合成して合成画像を生成し、前記特性情報に基づいて、前記低歪曲領域と前記高歪曲領域の境界を示す情報を前記合成画像に重畳した表示信号を生成する表示信号生成ステップと、
ことを特徴とする画像処理方法。

【請求項14】

画像処理システムのコンピュータに、
低歪曲領域と高歪曲領域とを有する光学像を撮像し、異なる位置に配置された複数の撮像手段により形成した画像信号を取得する画像取得ステップと、
複数の前記撮像手段における前記光学像の特性に関する特性情報を取得する特性情報取得ステップと、
複数の前記撮像手段から取得した前記画像信号を合成して合成画像を生成し、前記特性情報に基づいて、前記低歪曲領域と前記高歪曲領域の境界を示す情報を前記合成画像に重畳した表示信号を生成する表示信号生成ステップと、
を行わせるためのコンピュータプログラム。

【請求項15】

低歪曲領域と高歪曲領域とを有する光学像を撮像する撮像手段により形成した画像信号を取得する画像取得手段と、
前記光学像の特性に関する特性情報を取得する特性情報取得手段と、
前記特性情報取得手段により取得された前記特性情報に基づき前記低歪曲領域と前記高歪曲領域の境界を示す情報を形成し、前記境界を示す情報を前記画像信号に重畳するための表示信号を生成する表示信号生成手段と、
を有し、
前記撮像手段は、前記光学像を形成する光学系と、
前記光学系により形成された前記光学像を撮像する撮像素子と、を含み、
前記光学系の焦点距離をｆ、半画角をθ、像面での像高をｙ、像高ｙと半画角θとの関係を表す射影特性をｙ（θ）とするとき、
前記低歪曲領域におけるｙ（θ）はｆ×θより大きく、前記高歪曲領域における前記射影特性とは異なると共に、
θｍａｘを前記光学系が有する最大の半画角、Ａを所定の定数とするとき、

を満足するように構成されていることを特徴とする画像処理システム。

【請求項16】

低歪曲領域と高歪曲領域とを有する光学像を撮像する撮像手段により形成した画像信号を取得する画像取得手段と、
前記光学像の特性に関する特性情報を取得する特性情報取得手段と、
前記特性情報取得手段により取得された前記特性情報に基づき前記低歪曲領域と前記高歪曲領域の境界を示す情報を形成し、前記境界を示す情報を前記画像信号に重畳するための表示信号を生成する表示信号生成手段と、
を有し、
異なる位置に配置された複数の前記撮像手段を有し、
前記表示信号生成手段は、複数の前記撮像手段から取得した前記画像信号を合成して合成画像を生成すると共に、
前記撮像手段の少なくとも１つは、光学系の焦点距離をｆ、半画角をθ、像面での像高をｙ、像高ｙと半画角θとの関係を表す射影特性をｙ（θ）、θｍａｘを前記光学系が有する最大の半画角とするとき、
０．２＜２×ｆ×ｔａｎ（θｍａｘ／２）／ｙ（θｍａｘ） ＜０．９２
を満足することを特徴とする画像処理システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像認識が可能な画像処理システム、画像処理方法、撮像装置、光学系、およびコンピュータプログラムに関する。

【背景技術】

【0002】

近年、車両に搭載されるルームミラー（後写鏡）を電子ルームミラーで置き換えるという要望がある。例えば特許文献１には、車両外の後方を撮像範囲とする撮像手段と車両内の表示手段で構成され、撮像手段で撮像した画像を車両内のディスプレイで表示することにより、ドライバーが車両外の後方の様子を確認できる電子ルームミラーシステムが開示されている。

【0003】

他方、車両の後退時などに車両後方の死角をドライバーが確認できるようにする後方確認システムがある。特許文献２には、車両後方を撮像するようにカメラを設置し、撮像画像を車室内に表示することにより、後退時などに車両後方の死角をドライバーが確認できるようにするための後方確認システムが開示されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１０－９５２０２号公報

【文献】特開２００４－３４５５５４号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

上述の電子ルームミラー用画像を撮像する撮像部としてのカメラは、ドライバーが後方の比較的遠方の様子をより精細に確認するため高解像度を有することが求められる。一方で、後方確認システム用カメラは、後退時などの衝突を回避するために、車両後方の死角や後側方を含んだより広い範囲での安全を確認するため、より広い範囲を撮像することが求められる。

【0006】

したがって、電子ルームミラーシステムと後方確認システムを車両に同時に搭載する場合、電子ルームミラーシステム用のカメラと、後方確認システム用のカメラを個別に搭載すると車載画像処理システムが複雑になってしまう。このような課題は、例えば、車両の周囲の状況を撮影するために複数のカメラを配置して自動運転などを行う自動運転システムにおいても同様に発生している。

【0007】

これに対して、例えば特殊な超広角レンズを用いたカメラを採用することによって、車両に設置するカメラの数を減らすことができる。しかし、広い画角は得られるものの高解像度領域（低歪曲領域）や低解像度領域（高歪曲領域）が存在するため、注目すべき撮影対象に高解像度領域（低歪曲領域）が正しく位置合わせされているか分かりにくい。カメラの設置のための調整等が非常に困難であるという問題があった。

【0008】

したがって本発明では、上記の課題を鑑みて、カメラを設置する位置又は姿勢の少なくとも何れかの調整が容易な画像処理システムを提供することを目的とする。

【課題を解決するための手段】

【0009】

上記目的を達成するために、本発明の１つの側面の画像処理システムは、
低歪曲領域と高歪曲領域とを有する光学像を撮像し、異なる位置に配置された複数の撮像手段により形成した画像信号を取得する画像取得手段と、
複数の前記撮像手段における前記光学像の特性に関する特性情報を取得する特性情報取得手段と、
複数の前記撮像手段から取得した前記画像信号を合成して合成画像を生成し、前記特性情報に基づいて、前記低歪曲領域と前記高歪曲領域の境界を示す情報を前記合成画像に重畳した表示信号を生成する表示信号生成手段と、
を有することを特徴とする。

【発明の効果】

【0010】

本発明によれば、カメラを設置する位置又は姿勢の少なくとも何れかの調整が容易な画像処理システムを実現することができる。

【図面の簡単な説明】

【0011】

【図1】実施形態１の画像処理システムにおける車両と撮像部の位置関係を説明する図である。

【図2】（Ａ）、（Ｂ）は、実施形態１の撮像部の光学特性を説明するための図である。

【図3】実施形態１における画像処理システムの構成を説明するための機能ブロック図である。

【図4】実施形態１のカメラ処理部の処理フローを説明するためのフローチャートである。

【図5】図４から続く処理を説明するためのフローチャートである。

【図6】図４からの分岐処理を説明するためのフローチャートである。

【図7】図６からの分岐処理を説明するためのフローチャートである。

【図8】図４からの他の分岐処理を説明するためのフローチャートである。

【図9】画像の表示状態と表示解像度境界の重畳例を説明するための図である。

【図10】画像に重畳される表示解像度境界９３の他の例を説明するための図である。

【図11】フラグＦに応じて調整用の画面に表示される基準枠などの例を示す図である。

【図12】基準枠の設置位置の例を示す図である。

【発明を実施するための形態】

【0012】

以下、添付図面を参照して、本発明の好適な実施の形態について実施例を用いて説明する。なお、各図において、同一の部材ないし要素については同一の参照番号を付し、重複する説明は省略ないし簡略化する。

【0013】

［実施形態１］
実施形態１では、高精細な電子ルームミラー用の表示や広範囲な後方などの車両周辺確認用の表示を少ない数のカメラで両立する改善された方法について説明する。図１は、実施形態１の画像処理システムにおける車両と撮像部の位置関係を説明する図である。

【0014】

本実施形態では、図１に示すように、移動体としての例えば自動車の車両１の前方、右側方、後方、左側方にそれぞれカメラユニット１１、１２、１３、１４が設置されている。なお、本実施形態では４つのカメラユニットを有するが、カメラユニットの数は４に限定されず、少なくとも１つ以上のカメラユニットがあればよい。

【0015】

カメラユニット１１～１４は、移動体としての車両１のそれぞれ前方、右側方、後方、左側方を撮像範囲とするように設置されており、それぞれ撮像部として機能している。カメラユニット１１～１４は略同様の構成を有し、それぞれ光学像を撮像する撮像素子と、撮像素子の受光面に光学像を形成する光学系とを有する。

【0016】

なお、例えばカメラユニット１１、１３が有する光学系の光軸は略水平となるように設置され、カメラユニット１２、１４が有する光学系の光軸は水平よりも若干下方を向くように設置されている。

【0017】

また、本実施形態で使用するカメラユニット１１～１４が有する光学系はそれぞれ光軸周辺の狭い画角において高精細な画像を得ることができ、かつ広い画角において低解像度の撮像画像を得ることができるように構成されている。なお、１１ａ～１４ａは高解像度で低歪曲な像を撮像可能な撮像画角であり、１１ｂ～１４ｂは低解像度で高歪曲な像を撮像可能な撮像画角を示している。

【0018】

本実施形態におけるカメラユニット１１～１４が有する光学系について図２を用いて説明する。なお、それぞれのカメラユニット１１～１４の光学系の特性は同じでなくてもよいが、本実施形態においては、カメラユニット１１～１４が有する光学系は略同じ特性を有するものとし、カメラユニット１１が有する光学系について例示的に説明する。

【0019】

図２（Ａ）、（Ｂ）は、本発明の実施形態１における撮像部の光学特性を説明するための図であり、図２（Ａ）は、本実施形態におけるカメラユニット１１が有する光学系の、撮像素子の受光面上での各半画角における像高ｙを等高線状に示した図である。

【0020】

図２（Ｂ）は、本実施形態におけるカメラユニット１１が有する光学系の、像高ｙと半画角θとの関係を表す射影特性を表した図である。図２（Ｂ）では、半画角（光軸と入射光線とがなす角度）θを横軸とし、カメラユニット１１のセンサ面上（像面上）での結像高さ（像高）ｙを縦軸として示している。

【0021】

本実施形態におけるカメラユニット１１が有する光学系は、図２（Ｂ）に示すように、所定の半画角θａ未満の領域と半画角θａ以上の領域でその射影特性ｙ（θ）が異なるように構成されている。したがって、単位あたりの半画角θに対する像高ｙの増加量を解像度というとき解像度が領域によって異なる。

【0022】

この局所的な解像度は、射影特性ｙ（θ）の半画角θでの微分値ｄｙ（θ）／ｄθで表されるともいえる。即ち、図２（Ｂ）の射影特性ｙ（θ）の傾きが大きいほど解像度が高いといえる。また、図２（Ａ）の等高線状の各半画角における像高ｙの間隔が大きいほど解像度が高いともいえる。

【0023】

本実施形態においては、半画角θが所定の半画角θａ未満のときにセンサ面上に形成される中心寄りの領域を高解像度領域１０ａ、半画角θが所定の半画角θａ以上の外寄りの領域を低解像度領域１０ｂと呼ぶ。なお、本実施形態では、高解像度領域１０ａと低解像度領域１０ｂの境界の円を解像度境界と呼び、解像度境界に対応する表示画面上の境界画像を表示解像度境界または単に境界画像と呼ぶ。なお、表示画面に表示される境界画像（表示解像度境界）は円状でなくてもよい。便宜的に長方形などにしてもよい。

【0024】

なお、本実施形態において、高解像度領域１０ａは歪曲が相対的に少ない低歪曲領域であり、低解像度領域１０ｂは歪曲が相対的に多い高歪曲領域となっている。したがって、本実施形態においては、高解像度領域、低解像度領域はそれぞれ低歪曲領域、高歪曲領域に対応しており、高解像度領域、低解像度領域をそれぞれ低歪曲領域、高歪曲領域と呼ぶことがある。また、逆に低歪曲領域、高歪曲領域をそれぞれ高解像度領域、低解像度領域と呼ぶこともある。

【0025】

本実施形態におけるカメラユニット１１が有する光学系は、高解像度領域（低歪曲領域）１０ａにおいてその射影特性ｙ（θ）がｆ×θより大きくなるように構成されている（ｆはカメラユニット１１が有する光学系の焦点距離）。また、高解像度領域（低歪曲領域）における射影特性ｙ（θ）は低解像度領域（高歪曲領域）における射影特性とは異なるように設定されている。

【0026】

また、θｍａｘをカメラユニット１１が有する光学系が有する最大の半画角とするとき、θａとθｍａｘの比θａ／θｍａｘは所定の下限値以上であることが望ましく、例えば所定の下限値として０．１５～０．１６が望ましい。

【0027】

また、θａとθｍａｘの比θａ／θｍａｘは所定の上限値以下であることが望ましく、例えば０．２５～０．３５とすることが望ましい。例えば、θｍａｘを９０°とし、所定の下限値を０．１５、所定の上限値０．３５とする場合、θａは１３．５～３１．５°の範囲で決定することが望ましい。さらに、カメラユニット１１が有する光学系は、その射影特性ｙ（θ）が、以下の数１も満足するように構成されている。

【0028】

【数1】

【0029】

ｆは、前述のようにカメラユニット１１が有する光学系の焦点距離であり、Ａは所定の定数である。下限値を１とすることで、同じ最大結像高さを有する正射影方式（ｙ＝ｆ×ｓｉｎθ）の魚眼レンズよりも中心解像度を高くすることができ、上限値をＡとすることで、魚眼レンズ同等の画角を得つつ良好な光学性能を維持することができる。所定の定数Ａは、高解像度領域と、低解像度領域の解像度のバランスを考慮して決めればよく、１．４～１．９となるようにするのが望ましい。

【0030】

以上のように光学系を構成することで、高解像度領域１０ａにおいては、高解像度が得られる一方、低解像度領域１０ｂでは、単位あたりの半画角θに対する像高ｙの増加量を小さくし、より広い画角を撮像することが可能になる。したがって、魚眼レンズと同等の広画角を撮像範囲としつつ、高解像度領域１０ａにおいては、高い解像度を得ることができる。

【0031】

さらに、本実施形態では、高解像度領域（低歪曲領域）においては、通常の撮像用の光学系の射影特性である中心射影方式（ｙ＝ｆ×ｔａｎθ）や等距離射影方式（ｙ＝ｆ×θ）に近い特性としているため、光学歪曲が小さく、精細に表示することが可能となる。したがって、先行車や後続車両といった周囲の車両などを目視する際における自然な遠近感が得られると共に、画質の劣化を抑えて良好な視認性を得ることができる。

【0032】

なお、上述の数１の条件を満たす射影特性ｙ（θ）であれば、同様の効果を得ることができるため、本発明は図２に示した射影特性に限定されない。なお、本実施形態では上述の数１の条件を満たす射影特性ｙ（θ）を有する光学系を異画角レンズと呼ぶ場合がある。

【0033】

なお、カメラユニット１１～１４のそれぞれの光学系の高解像度領域１０ａは撮像画角１１ａ～１４ａに対応しており、低解像度領域１０ｂは撮像画角１１ｂ～１４ｂに対応している。

【0034】

尚、例えば移動体の正面（前面）、左側方、右側方などに取り付ける、カメラユニット１１，１２，１４には、図２や数１で示したような異画角レンズではなく、以下の数２の条件を満たす射影特性ｙ（θ）を有する光学系を用いることもできる。この光学系は、異画角レンズと比べて、高解像度領域と低解像度領域が凡そ反対になる。

【0035】

即ち、前述の異画角レンズは中心寄りの領域が高解像度領域１０ａであり、半画角θが所定の半画角θａ以上の外寄りの領域が低解像度領域１０ｂである。しかし数２の条件を満たす光学系では、中心寄りの領域が低解像度領域１０ｂであり、半画角θが所定の半画角θａ以上の外寄りの領域が高解像度領域１０ａとなる。このような光学系を逆異画角レンズと呼ぶ場合がある。
０．２＜２×ｆ×ｔａｎ（θｍａｘ／２）／ｙ（θｍａｘ） ＜０．９２ （数２）

【0036】

このように、移動体の異なる位置に前述の異画角レンズを有するカメラユニットと逆異画角レンズを有するカメラユニットとを夫々設置しても良い。即ち、カメラユニットの少なくとも１つは、その光学系の焦点距離をｆ、半画角をθ、像面での像高をｙ、像高ｙと半画角θとの関係を表す射影特性をｙ（θ）、θｍａｘを前記光学系が有する最大の半画角とするとき、上記の数２を満足するようにしても良い。

【0037】

次に本実施形態における画像処理システムの構成について図３を用いて説明する。図３は実施形態１における画像処理システムの構成を説明するための機能ブロック図である。

【0038】

図３において画像処理システム１００は、移動体としての車両１に搭載されており、カメラユニット１１～１４の筐体内にはそれぞれ撮像部２１～２４とカメラ処理部３１～３４が配置されている。

【0039】

撮像部２１～２４はそれぞれ異画角レンズ２１ｃ～２４ｃと例えばＣＭＯＳイメージセンサやＣＣＤイメージセンサなどの撮像素子２１ｄ～２４ｄを有する。ここで、撮像部２１～２４はそれぞれ画像取得部として機能しており、各画像取得部は、低歪曲領域と高歪曲領域とを有する光学像を撮像する撮像部から画像信号を取得している。また、本実施形態においては異なる位置に配置された複数の画像取得部を有している。

【0040】

光学系としての異画角レンズ２１ｃ～２４ｃは、１枚以上の光学レンズから構成されており、数１の条件を満たす射影特性ｙ（θ）を有し、低歪曲領域と高歪曲領域とを有する光学像をそれぞれ撮像素子２１ｄ～２４ｄの受光面に形成する。撮像素子２１ｄ～２４ｄは撮像部として機能しており、光学像を光電変換して撮像信号を出力する。撮像素子２１ｄ～２４ｄの受光面には例えばＲＧＢの色フィルタが画素毎に配列されている。ＲＧＢの配列は例えばベイヤー配列となっている。

【0041】

尚、正面又は側方には、異画角レンズを有する画像取得部の代わりに逆異画角レンズを有する画像取得部を配置することもできるが、異画角レンズを有する画像取得部と逆異画角レンズを有する画像取得部の配置位置はこれに限定されない。尚、これらの複数の画像取得部（異画角レンズを有する画像取得部と逆異画角レンズを有する画像取得部）の少なくとも２つの画像取得部の撮影範囲が互いに重複するように配置されているものとする。

【0042】

したがって、撮像素子からは、ベイヤー配列にしたがって例えば所定の行からはＲ，Ｇ，Ｒ、Ｇの信号が順次出力され、隣の行からはＧ，Ｂ，Ｇ，Ｂ、の信号が順次出力されるように構成されている。

【0043】

３１～３４はカメラ処理部であり、撮像部２１～２４と共にそれぞれ同じカメラユニット１１～１４の筐体に収納されており、撮像部２１～２４から出力された撮像信号をそれぞれ処理する。なお、図３では撮像部２４、カメラ処理部３４の詳細およびその配線は便宜上省略されている。

【0044】

カメラ処理部３１～３４はそれぞれ画像処理部３１ａ～３４ａ、認識部３１ｂ～３４ｂ、カメラ情報部３１ｃ～３４ｃを有する。画像処理部３１ａ～３４ａは撮像部２１～２４から出力された撮像信号をそれぞれ画像処理する。なお、カメラ処理部３１の一部または全部を撮像素子２１ｄ～２４ｄ内の積層された信号処理部で行ってもよい。

【0045】

具体的には、画像処理部３１ａ～３４ａは、撮像部２１～２４からベイヤー配列にしたがって入力された画像データをそれぞれデベイヤ処理し、ＲＧＢのラスタ形式の画像データへ変換する。さらに、ホワイトバランスの調整やゲイン・オフセット調整、ガンマ処理、カラーマトリックス処理や可逆圧縮処理など種々の補正処理を行う。但し、非可逆圧縮処理などは行わず、いわゆるＲＡＷ画像信号を形成する。

【0046】

認識部３１ｂ～３４ｂは画像処理部３１ａ～３４ａで画像処理された歪曲補正されていないＲＡＷ画像信号からそれぞれ所定の対象物（例えば自動車、人物、障害物など）を画像認識する。即ち、認識部３１ｂ～３４ｂは、低歪曲領域に対応する画像信号を歪曲補正せずにＲＡＷ画像信号の状態で画像認識して第１の画像認識結果を出力する。すなわち、本実施形態の認識部３１ｂ～３４ｂは少なくとも高解像度領域１０ａから得られたＲＡＷ画像信号に対して画像認識処理を行い、所定の対象物を認識する。

【0047】

なお、この時、認識部３１ｂ～３４ｂは、低解像度領域１０ｂから得られたＲＡＷ画像信号についても画像認識処理をしてもよい。但し、ＲＡＷ画像信号は歪曲補正されていないので、異画角レンズの周辺部の画像は歪が大きく認識の信頼性は落ちることになる。

【0048】

或いは、認識部３１ｂ～３４ｂは、高解像度領域１０ａから得られたＲＡＷ画像信号を切り出して、その高解像度領域１０ａから得られたＲＡＷ画像信号に対してだけ画像認識処理を行ってもよい。

【0049】

なお、その際切り出す領域は、画像認識処理のために矩形にすることが望ましい。また、切り出す矩形領域は高解像度領域１０ａ内の一部だけ（例えば高解像度領域１０ａに内接する矩形）でもよいし、高解像度領域１０ａと低解像度領域１０ｂの両方を含んだ矩形でもよい。

【0050】

ここで、認識部３１ｂ～３４ｂは撮像部（画像取得部）により取得された画像信号の内、少なくとも一部領域の画像信号を画像認識して第１の画像認識結果を出力する第１の画像認識部として機能している。なお、本実施形態において、前記一部領域は低歪曲領域に対応する領域である。

【0051】

認識部３１ｂ～３４ｂは、対象物の種類と座標のセットを認識結果として統合処理部４０に送信する。一方、認識部３１ｂ～３４ｂは、統合処理部４０の統合制御部４１ｃから、カメラユニット間をまたがるような対象物の種類と、その対象物の移動方向に関する情報または優先認識領域情報のセットである予測情報を受信する。この予測情報については後述する。

【0052】

ここで、正面に対して設置されたカメラユニット１１の認識部３１ｂの出力は走行制御部（ＥＣＵ）６０にも直接供給されている。これは、認識部３１ｂの障害物などの認識結果に基づいて直ちに走行を停止したり、障害物を回避するように走行を制御する必要が生じる場合があるからである。

【0053】

カメラ情報部３１ｃ～３４ｃはそれぞれカメラユニット１１～１４に固有のカメラ情報を予めメモリに保持している。カメラ情報部はカメラユニット１１～１４内に設けた各種センサ等からの情報を一時的に保持することもできる。

【0054】

カメラ情報は、例えば異画角レンズ２１ｃ～２４ｃが形成する光学像の図２に示されるような特性情報（解像度境界情報など）を含む。また、撮像素子２１ｄ～２４ｄの画素数、カメラユニットの車両座標における取り付け位置座標および姿勢（ピッチ、ロール、ヨーなど）の情報、撮像方向などを含む。カメラ情報は、ガンマ特性、感度特性、フレームレートなどの情報を含んでも良い。

【0055】

さらに、カメラ情報は、画像処理部３１ａ～３４ａにおいてＲＡＷ画像信号を生成する際の可逆圧縮方法などの画像処理方法や画像フォーマットに関する情報を含んでもよい。なお、取り付け位置座標は、カメラユニット毎に車両に対する取り付け位置が決まっている場合が多いので、事前にカメラ情報部内のメモリに記憶しておいてもよい。

【0056】

また、カメラユニットの姿勢座標は車両１に対する相対的な座標であり、カメラユニットに設けられた不図示のエンコーダなどから取得してもよい。あるいは３次元加速度センサなどを用いて取得してもよい。

【0057】

また、撮像方向に関する情報は例えば地磁気センサを用いて取得してもよい。カメラの解像度境界情報はレンズ設計によって決まるので予めカメラ情報部内のメモリに記憶しておくものとする。

【0058】

なお、カメラ情報は撮像部２１～２４の固有の情報であり、互いに異なり、それらの情報は統合処理部４０に送信され、統合処理部４０において画像処理などをする際に参照される。

【0059】

なお、カメラ処理部３１～３４の内部にはコンピュータとしてのＣＰＵや記憶媒体としてのコンピュータプログラムを記憶したメモリが内蔵されている。また、ＣＰＵはメモリ内のコンピュータプログラムを実行することにより、カメラ処理部３１～３４内の各部を制御するように構成されている。

【0060】

なお、本実施形態では、画像処理部３１ａ～３４ａや認識部３１ｂ～３４ｂは例えば専用回路（ＡＳＩＣ）やプロセッサ（リコンフィギュラブルプロセッサ、ＤＳＰ）などのハードウェアを用いる。それによって、高解像度領域の画像認識の高速化が実現でき、移動体の接触事故等を回避できる可能性を高めることができる。なお、画像処理部３１ａ～３４ａは歪曲補正機能を持っていてもよい。

【0061】

なお、カメラ処理部３１～３４の内部の機能ブロックの一部または全部を、ＣＰＵに、メモリに記憶されたコンピュータプログラムを実行させることによって実現してもよいが、その場合には、ＣＰＵの処理速度を高めることが望ましい。

【0062】

４０は統合処理部であり、ＳＯＣ（Ｓｙｔｅｍ Ｏｎ Ｃｈｉｐ）／ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）４１、コンピュータとしてのＣＰＵ４２、記憶媒体としてのメモリ４３を有する。ＣＰＵ４２はメモリ４３に記憶されたコンピュータプログラムを実行することによって、画像処理システム１００全体の各種制御を行う。なお、本実施形態では統合処理部４０はカメラユニットとは別の筐体で収納されている。

【0063】

ＳＯＣ／ＦＰＧＡ４１は画像処理部４１ａ、認識部４１ｂ、統合制御部４１ｃを有する。画像処理部４１ａはカメラ処理部３１～３４からそれぞれのＲＡＷ画像信号を取得すると共に、カメラ情報部３１ｃ～３４ｃより各カメラユニット１１～１４のカメラ情報を取得する。

【0064】

カメラ情報は、前述のように、異画角レンズ２１ｃ～２４ｃの光学特性や撮像素子２１ｄ～２４ｄの画素数、光電変換特性、ガンマ特性、感度特性、ＲＡＷ画像信号のフォーマット情報、カメラユニットの車両座標における取り付け座標や姿勢情報などを含む。

【0065】

画像処理部４１ａはそれらのカメラ情報に基づきカメラ処理部３１～３４からのそれぞれのＲＡＷ画像信号に対して解像度変換を行うと共に、撮像部２１～２４のそれぞれの低解像度領域１０ｂから得られた画像信号に対して歪曲補正を行う。

【0066】

本実施形態では画像処理部４１ａは、高解像度領域１０ａから得られた画像信号には歪曲が殆どないので歪曲補正は行わない。但し、画像処理部４１ａは、高解像度領域１０ａから得られた画像信号に対しても簡略的な歪曲補正を行ってもよい。また、画像処理部４１ａはカメラ処理部３１～３４からそれぞれのＲＡＷ画像信号に対して適宜非可逆圧縮処理などを行う。

【0067】

また、画像処理部４１ａは歪曲補正を行った撮像部２１～２４のそれぞれの低解像度領域１０ｂの画像信号と、高解像度領域１０ａの画像信号をスムーズにつなぎ合わせるように合成して撮像部２１～２４毎の全体画像を形成する。

【0068】

なお、低解像度領域１０ｂの画像信号と高解像度領域１０ａから得られた画像信号の両方に対して歪曲補正を行う場合には、画像処理部３１ａ～３４ａでそれぞれ得られたＲＡＷ画像信号をそのまま歪曲補正してもよい。

【0069】

認識部４１ｂは少なくとも低解像度領域を歪曲補正した後の、撮像部２１～２４毎の全体画像に対して画像認識処理を行い、撮像部２１～２４毎の全体画像における所定の対象物（例えば自動車、人物、障害物など）を画像認識する。即ち、認識部４１ｂは、少なくとも低解像度領域（高歪曲領域）に対応する画像信号を歪曲補正した後で画像認識して第２の画像認識結果を出力する。

【0070】

その際に、認識部３１ｂ～３４ｂによる認識結果（対象物の種類や座標）も参照する。なお、本実施形態では、認識部４１ｂは撮像部２１～２４毎の全体画像に対して画像認識をしているが、必ずしも全体画像に対して画像認識をしなくてもよい。例えば画像の周辺部については画像認識しなくても良い。

【0071】

即ち、認識部４１ｂの画像認識領域は、例えば認識部３１ｂ～３４ｂにより認識した領域を含み、それより広い領域であればよい。すなわち、認識部４１ｂは、画像取得部により取得された画像信号の内、第１の画像認識部で画像認識を行った一部領域を含む、該一部領域より広い領域の画像信号を画像認識して第２の画像認識結果を出力する第２の画像認識部として機能している。

【0072】

なお、第２の画像認識部は、低歪曲領域としての高解像度領域１０ａと高歪曲領域としての低解像度領域１０ｂに対応した画像信号の両方を画像認識して第２の画像認識結果を出力している。

【0073】

本実施形態では、画像処理部４１ａは、複数の撮像部としてのカメラユニット１２～１４からの画像をつなぎ合わせるように合成して、パノラマ的な合成画像を形成する。その場合、つなぎ合わされる複数の撮像部の画像は、それぞれの撮影画角の少なくとも一部が互いに所定量以上のオーバーラップ領域を有するように設定されている。

【0074】

すなわち、カメラユニット１２と１３の撮影範囲が互いに重複するようにそれぞれ配置されている。また、カメラユニット１３と１４の撮影範囲が互いに重複するようにそれぞれ配置されている。しかも、本実施形態では、少なくとも２つの画像取得部の低歪曲領域の撮影範囲が互いに重複するように配置されている。

【0075】

また、認識部４１ｂは、そのパノラマ的な合成画像に対して画像認識を行う。それによって、例えば複数の撮像部の画角にまたがるように撮影された対象物の画像認識が可能となる。すなわち、それぞれの撮像部からの個別の全体画像では対象物の全体像が分からない場合があるが、パノラマ的な合成画像においてはその対象物のほぼ全体が映り画像処理により画像認識が可能になる場合があるからである。

【0076】

統合制御部４１ｃは、例えば認識部３１ｂ～３４ｂによる認識結果と認識部４１ｂによる認識結果が異なる場合には、より信頼性が高い方の認識結果を採用することで統合された画像認識結果を出力する。

【0077】

例えば認識部３１ｂ～３４ｂにより認識された対象物の画面内に占める割合と認識部４１ｂにより認識された同じ対象物の、画面内に閉める割合を比較し、その割合が大きい方の認識結果を、より信頼性が高いと判断して採用してもよい。

【0078】

或いは高解像度領域内と低解像度領域の両方にまたがっている対象物の場合には、認識部３１ｂ～３４ｂによる認識結果よりも認識部４１ｂによる認識結果を、より信頼性が高いと判断して採用してもよい。或いは、認識部３１ｂ～３４ｂにより認識された対象物の位置が画面の周辺部の場合には、信頼性が低いと判断して、認識部４１ｂによる認識結果を、より信頼性が高いと判断して採用してもよい。

【0079】

或いは、認識部４１ｂでは、低解像度領域を歪曲補正した状態で、低解像度領域だけ画像認識をすると共に、もし低解像度領域と高解像度領域にまたがる対象物があった場合には、その対象物に対して画像認識をするようにしてもよい。

【0080】

即ち、高解像度領域だけに存在する対象物に対しては認識部３１ｂ～３４ｂによる認識の信頼性の方が高いとみなして認識部４１ｂでは画像認識処理をしないように制御してもよい。ここで、統合制御部４１ｃは、第１の画像認識結果の信頼性と第２の画像認識結果の信頼性に基づき統合された画像認識結果を出力する統合処理部として機能している。

【0081】

また、画像処理部４１ａは、撮像部２１～２４毎の全体画像や、それらをつなぎ合わせたパノラマ的な合成画像などの内、所望の画像を第１表示部５０，第２表示部５１、第３表示部５２などに表示するための信号を形成する。また、認識された対象物を強調表示するための枠や、対象物の種類、サイズ、位置、速度などに関する情報や警告などのためのＣＧなどを生成する。

【0082】

さらに、カメラ情報部３１ｃ～３４ｃから取得した表示解像度境界情報などの光学系の特性情報に基づき境界を表示するための境界画像のＣＧを生成することができる。尚、境界を表すためには、表示画像を生成しなくても、境界を示す情報を生成できれば良い。

【0083】

また、これらのＣＧや文字を画像に重畳するための表示処理などを行う。ここで第１表示部５０，第２表示部５１、第３表示部５２などは表示部として機能しており、画像信号や統合された画像認識結果などを表示する。

【0084】

さらにまた、本実施形態においては、統合制御部４１ｃは複数のカメラユニットの間で認識された対象物に関する情報を共有するように構成されている。即ち、例えばカメラユニット１４において認識された対象物がカメラユニット１１の画角の方向に移動していることが認識されたものとする。その場合には、統合制御部４１ｃはその対象物の種類と、その対象物の移動方向に関する情報または優先認識領域情報を含む予測情報をカメラユニット１１の認識部３１ｂに送信する。

【0085】

このような予測情報をカメラユニット１１～１４の認識部３１ｂ～３４ｂで共有することによってカメラユニット１１～１４の認識部３１ｂ～３４ｂにおける画像認識精度を向上させることができる。なお、このような予測情報を共有するメリットは、カメラユニット１１～１４の認識部３１ｂ～３４ｂが統合処理部４０の認識部４１ｂと別体の場合に特に効果が大きい。

【0086】

また、統合制御部４１ｃは走行制御部（ＥＣＵ）６０などとＣＡＮやＦｌｅｘＲａｙ、Ｅｔｈｅｒｎｅｔなどのプロトコルを用いて内部に設けられた不図示の通信部を介して通信を行う。それによって、走行制御部（ＥＣＵ）６０などから受信した車両制御信号に基づき表示する情報を適宜変更する表示処理を行う。即ち、例えば車両制御信号により取得された車両の移動状態に応じて表示部に表示する画像の範囲などを変化させる。

【0087】

なお、走行制御部（ＥＣＵ）６０は、車両１に搭載されており、車両１の駆動制御、方向制御などを総合的に行うためのコンピュータやメモリを内蔵したユニットである。走行制御部（ＥＣＵ）６０からは車両制御信号として例えば走行速度、走行方向、シフトレバー、シフトギア、ウインカーの状態、地磁気センサなどによる車両の向きなどの車両の走行（移動状態）に関する情報などが統合処理部４０に対して入力される。

【0088】

統合制御部４１ｃは、認識部４１ｂで認識された所定の対象物（障害物など）の種類、位置、移動方向、移動速度などの情報を走行制御部（ＥＣＵ）６０に送信する。それによって走行制御部（ＥＣＵ）６０は車両の停止、駆動、走行方向の変更などの障害物の回避などに必要な制御を行う。ここで走行制御部（ＥＣＵ）６０は、統合された画像認識結果に基づき移動体としての車両の移動を制御する移動制御部として機能している。

【0089】

第１表示部５０は例えば車両１の運転席の前方上部の車幅方向の中央付近に、表示画面を車両後方に向けて設置され電子ルームミラーとして機能する。なお、ハーフミラーなどを用いて、ディスプレイとして使用しないときは鏡として使用できる構成としてもよい。また、タッチパネルや操作ボタンを備えユーザからの指示を取得し、統合制御部４１ｃへ出力可能な構成としてもよい。

【0090】

第２表示部５１は、例えば車両１の運転席の前方の車幅方向の中央付近の操作パネル周辺に設置される。なお、移動体としての車両１には、不図示のナビゲーションシステムや、オーディオシステムなどが搭載されている。

【0091】

そして、例えば第２表示部には、ナビゲーションシステムや、オーディオシステムや走行制御部（ＥＣＵ）６０からの各種制御信号なども表示することができる。また、タッチパネルや操作ボタンを備え、ユーザからの指示を取得可能な構成としている。

【0092】

第３表示部５２は例えばタブレット端末の表示部であり、統合処理部４０に対して有線で接続することにより表示することもできるし、通信部６２を介して無線で画像を受信して表示することもできる。

【0093】

カメラユニット１１～１４の位置や姿勢を調整する際には、無線接続されたタブレット端末の表示部に調整用の画面を表示しつつ調整動作を行う。勿論、ナビゲーションシステムからの制御信号を表示する第２表示部５１と第３表示部５２との機能を１つの表示装置で実現することもできる。

【0094】

なお、第１表示部５０、第２表示部５１、第３表示部５２のディスプレイパネルとしては、液晶ディスプレイや有機ＥＬディスプレイなどを用いることができる。なお、表示部の数は３つに限定されない。

【0095】

なお、統合処理部４０などに含まれる機能ブロックの一部または全部をハードウェアで実現するようにしてもよいし、ＣＰＵ４２に、メモリ４３に記憶されたコンピュータプログラムを実行させることによって実現してもよい。ハードウェアとしては、専用回路（ＡＳＩＣ）やプロセッサ（リコンフィギュラブルプロセッサ、ＤＳＰ）などを用いることができる。

【0096】

なお、画像処理部３１ａ～３４ａで行っている画像処理の一部または全部を統合処理部４０の画像処理部４１ａで行ってもよい。即ち、本実施形態では、例えば画像取得部と第１の画像認識部とは同じカメラユニットの筐体に収納されており、カメラユニットと第２の画像認識部とは別の筐体に収納されている。しかし、例えば第１の画像認識部を第２の画像認識部と共に統合処理部４０の筐体に収納してもよい。

【0097】

なお、本実施形態では統合処理部４０は移動体としての車両１に搭載されているが、統合処理部４０の画像処理部４１ａ、認識部４１ｂ、統合制御部４１ｃの一部の処理を例えばネットワークを介して外部サーバなどで行ってもよい。

【0098】

その場合、例えば画像取得部としての撮像部２１～２４は移動体としての車両１に搭載されるが、例えばカメラ処理部３１～３４や統合処理部４０の機能の一部を外部サーバなどで処理することが可能になる。また、統合処理部４０の一部または全部の機能を走行制御部（ＥＣＵ）６０に持たせることも可能である。

【0099】

６１は記憶部であり、統合処理部４０で生成された撮像部２１～２４毎の全体画像や、パノラマ的な合成画像を記憶する。さらに、認識された対象物を示す所定の枠や文字や警告などのＣＧや、ＣＧが重畳され第１表示部５０，第２表示部５１などに表示された画像を時刻などやＧＰＳ情報などと共に記憶する。統合処理部４０は記憶部６１に記憶された過去の情報を再生し、それを第１表示部５０や第２表示部５１に表示することも可能である。

【0100】

６２は通信部であり、ネットワークを介して外部サーバなどと通信するためのものであり、記憶部６１に記憶される前の情報や記憶部６１に記憶された過去の情報を外部サーバなどに送信して外部サーバなどに保存することが可能である。

【0101】

また、前述のように画像を外部のタブレット端末などに送信して、タブレット端末の表示部である第３表示部５２に画像を表示することもできる。また、外部サーバなどから渋滞情報や、各種の情報を取得して、統合処理部４０を介して第１表示部５０や第２表示部５１などに表示することも可能である。

【0102】

図４～図８は実施形態１の統合処理部４０の一連の動作を説明するためのフローチャートである。図４～図８のフローは、統合処理部４０のＣＰＵ４２がメモリ４３内のコンピュータプログラムを実行することにより順次行われる。

【0103】

例えばタブレット端末の第３表示部５２にカメラ姿勢調整モードを開始するための開始ボタンを表示し、開始ボタンがクリックされた場合に図４～図８のフローがスタートする。

【0104】

図４は実施形態１のカメラ処理部の処理フローを説明するためのフローチャートである。図４のステップＳ４１において、後方カメラの調整モードか否かの判別をする。Ｙｅｓの場合にはステップＳ４２に進み、Ｎｏの場合には図８のステップＳ８０に進む。

【0105】

ステップＳ４２（特性情報取得ステップ）では、後方カメラの位置、姿勢、解像度境界情報等を後方のカメラユニット１３のカメラ情報部３３ｃから取得する。ここでステップＳ４２は光学像の特性に関する特性情報を取得する特性情報取得部として機能している。

【0106】

ステップＳ４３（画像取得ステップ）で、後方のカメラユニット１３からの映像を取得し、ステップＳ４４で複数カメラユニットの解像度境界表示を行うか否かを判別し、ＮｏであればステップＳ４５に進む。

【0107】

ステップＳ４５では歪曲補正を行うか否かを判別し、ＮｏであればステップＳ４７に進み、フラグＦを０としてからステップＳ４８に進む。ＹｅｓであればステップＳ４６で後方のカメラユニット１３の映像に対して画像処理部４１ａによって歪曲補正を行い、フラグＦを１にしてからステップＳ４８に進む。

【0108】

ステップＳ４８では、フラグＦに基づき歪曲補正されているか否かを考慮して後方のカメラユニット１３の表示解像度境界を計算する。そして、ステップＳ４９（表示信号生成ステップ）で後方のカメラユニット１３からの映像に対して、計算された表示解像度境界を重畳し、例えば第３表示部５２に表示する。

【0109】

すなわち、例えば通信部６２を介してカメラユニットの調整時に用いるタブレット端末の第３表示部５２に表示する。ここでステップＳ４８は、特性情報取得部により取得された前記特性情報に基づき前記低歪曲領域と前記高歪曲領域の境界画像を形成し、前記画像信号に重畳して表示信号を生成する表示信号生成部として機能している。

【0110】

図９は画像の表示状態と表示解像度境界の重畳例を説明するための図であり、図９（Ａ）は、後方のカメラユニット１３からの歪曲補正されていない映像１３０に、表示解像度境界９３を重畳した例を説明する図である。即ち、フラグＦが０の場合に表示される画像を示している。

【0111】

一方、図９（Ｂ）は、後方のカメラユニット１３からの歪曲補正された映像１３１に、表示解像度境界９３の境界画像を重畳した例を説明する図である。図９（Ａ）、図９（Ｂ）のいずれも第３表示部５２であるタブレット端末の表示部に表示される映像の例である。

【0112】

なお、フラグ図９（Ｂ）において表示される表示解像度境界９３は歪曲補正に応じた座標変換をしたものであってもよい。また、画像に表示解像度境界９３を重畳する際に、図１０のような追加的な境界画像のＣＧを重畳しても良い。

【0113】

図１０は画像に重畳される表示解像度境界９３の他の例を説明するための図である。図１０（Ａ）は高解像度領域と低解像度領域の境界を区別するために、表示解像度境界９３を境に高解像度領域と低解像度領域の輝度や色を異ならせることで表示解像度境界の内側と外側が分かるようにした例を示す図である。

【0114】

なお、図１０（Ａ）のように表示解像度境界９３の内側と外側で輝度や色などを異ならせる場合には、表示解像度境界の線自体を表示しなくてもよい。すなわち本実施形態における表示解像度境界（境界画像）の表示は、線を用いずに境界を表示するものを含む。また、境界を表す線を例えば二重線で表し、内側（高解像度領域がある側）の線を破線にして視線を内側に誘導して、高解像度領域の内側と外側を分かりやすくすることもできる。

【0115】

図１０（Ｂ）はカメラユニットがロール軸などに対して傾いている場合に、そのことがわかりやすいように、表示解像度境界９３に水平軸や垂直軸を追加して重畳した例を示す図である。

【0116】

なお、表示解像度境界を表示する際に、便宜的に例えば長方形で表示してもよい。長方形で表示することによってロールしているか否かをよりわかりやすく表示することができる。その場合の長方形は例えば円状の表示解像度境界に対して内接あるいは外接する長方形であっても良い。

【0117】

図４のステップＳ４９で第３表示部５２に画像と表示解像度境界９３などを出力して表示を行った後、図５のステップＳ５０に進む。

【0118】

図５は図４から続く処理を説明するためのフローチャートである。
ステップＳ５０では、フラグＦが０または１の場合には、図１１（Ａ）に示すような基準枠２００および基準枠中心２０３を画面上に表示する。なお、フラグＦが１の場合は歪曲補正されているので、第３表示部５２に表示される画像および表示解像度境界９３などの座標もそれに応じて変換される。

【0119】

なお基準枠２００は例えば四隅だけを表示した枠や例えば４つのドットなどであってもよく、本実施形態における枠は、そのようなものも含む。尚、基準枠２００は米国のＮＨＴＳＡ(国家道路交通安全局)によるリア・カメラ標準設定最終規則(ＭＶＳＳ１１１)を十分に満たすようなものを設定する。即ち、例えば車両後端から３ｍ後方で、左右方向の車両中心軸から１．５ｍ離れた幼児の頭部が十分に入る領域を基準枠として設定するとよい。

【0120】

図１１は、フラグＦに応じて調整用の画面に表示される基準枠などの例を示す図であり、図１１（Ａ）はフラグＦが０または１の場合に調整用の画面に表示される基準枠などの例を示す図である。図１２は基準枠の設置位置の例を示す図である。なお、図１１（Ａ）の画面はフラグＦが０の場合は歪曲補正される前の画面であり、フラグＦが１の場合は歪曲補正された後の画面である。

【0121】

図１１（Ａ）において、表示解像度境界９３に対して例えば矩形状の仮想的な基準枠２００および基準枠中心２０３が表示される。この基準枠２００は図１２に示す位置２０５（例えば車両１の後端から２ｍ離れた位置で、車両１の進行方向の向きに対して垂直で、地面から垂直な面に水平方向４ｍ、地上から１ｍの位置）に、車両１の座標を基準として仮想的に画面上に配置されるものである。

【0122】

車両１の方向は走行制御部（ＥＣＵ）６０を介して地磁気センサなどの出力から取得すればよい。なお、このような仮想的な画像を画面に表示する代わりに実際に上記の位置２０５に基準板をおいて撮像することによって基準枠２００と基準枠中心２０３を表示してもよい。

【0123】

なお、この基準枠２００は、電子ルームミラーに表示される画像領域に対応している。例えば車両１を後退する場合には、画像処理部４１ａでは、カメラユニット１３から得られた画像信号だけを電子ルームミラーに表示する。その際に、カメラユニット１３から得られた画像信号から基準枠２００に対応した画像領域だけを切り出して例えば電子ルームミラーとしての第１表示部５０に表示することができる。

【0124】

ただし、カメラユニット１３の調整中は図１１（Ａ）のような全体画像がタブレット端末の表示部などの第３表示部５２の画面５２０に表示されカメラユニット１３の位置姿勢調整をすることができる。

【0125】

なお、前述したように、また図１２に示すように、カメラユニット１１～１４のうちの少なくとも２つのカメラユニット１２と１３，またカメラユニット１３と１４の撮影範囲が互いに重複するようにそれぞれ配置されている。しかも、本実施形態では少なくとも２つの画像取得部の低歪曲領域の撮影範囲が互いに重複するように配置されている。

【0126】

図５のステップＳ５１において、基準枠中心２０３と表示解像度境界９３の重心９３ｃが合致しているか判別する。合致している場合はステップＳ５３に進む。Ｎｏの場合には、ステップＳ５２に進み、表示解像度境界９３の重心９３ｃを基準枠中心２０３の方向に移動させるように矢印３０３（ガイド情報）を表示してからステップＳ５３に進む。

【0127】

尚、ステップＳ５１では、必ずしも基準枠中心２０３と重心９３ｃが合致する必要はない。基準枠領域内の大部分（理想的には全て）が高解像度領域になるように調整できれば良い。そこで、閾値を設けて、基準枠領域内の高解像度領域の面積が閾値を超えていれば、Ｓ５１でＹｅｓと判断しＳ５３に進むようにしても良い。

【0128】

このように、ステップＳ５２では、矢印３０３の向きと長さによってずれを修正するための移動方向と移動量を表示することができる。あるいは、文章や音声によって移動方向や移動用の指示をしてもよい。

【0129】

さらに、ステップＳ５２において、例えば基準枠中心２０３を画面の水平、垂直座標の中心として、表示解像度境界９３の重心９３ｃの位置が水平、垂直座標でどの位置にあるかを数値で表示してもよい。

【0130】

これらの数値や矢印３０３や基準枠２００や基準枠中心２０３は、境界画像に基づき、画像取得部の姿勢等を調整するためのガイド情報として機能している。なお、ガイド情報としては、これらのうちの少なくとも１つを使えばよく、例えば基準枠２００だけを表示し、ユーザが境界画像と基準枠２００を目視で調整するようにしてもよい。またステップＳ５０やＳ５２も表示信号生成ステップ（表示信号生成部）として機能している。

【0131】

ステップＳ５３においては、カメラユニット１３の姿勢等の調整が終了したか否かを判別する。例えばタブレット端末の第３表示部５２に調整完了ボタンを表示する。そして、例えばユーザがカメラユニット１３の姿勢等をタブレットの画面を見ながら調整し、調整が終了した後で調整完了ボタンをクリックした場合に調整が完了したと判断する。

【0132】

尚、前述のように、必ずしも基準枠中心２０３と重心９３ｃとのズレがなくなるまで調整する必要はない。基準枠領域内の大部分（理想的には全て）が高解像度領域になるように調整できれば良い。そこで、閾値を設けて、基準枠領域内の高解像度領域の面積がその閾値を超えていれば、Ｓ５３でＹｅｓと判断してＳ５４に進む。ステップＳ５３でＮｏの場合にはステップＳ５１に戻り、Ｙｅｓの場合にはステップＳ５４に進む。

【0133】

ステップＳ５４では、モード終了要求があるか否か判別する。例えばタブレット端末の第３表示部５２にカメラ姿勢調整モードを終了するための終了ボタンを表示し、ユーザが終了ボタンをクリックした場合にモード終了要求があったと判断する。

【0134】

ステップＳ５４でＹｅｓの場合には図４～図８のフローは終了する。Ｎｏの場合にはステップＳ４１に戻る。

【0135】

図４のステップＳ４４で複数カメラユニットの解像度境界表示を行うか否かの判別をし、Ｙｅｓの場合には図６のステップＳ６０（特性情報取得ステップ）に進む。

【0136】

図６は、図４からの分岐処理を説明するためのフローチャートである。ここでは、基準枠２００の領域内を高解像度領域として撮影できているかどうか分かりやすく表示し、そのような撮影ができていない場合には、カメラユニット１２～１４を設置する位置又は姿勢の少なくとも何れかを調整することを支援しようとしている。

【0137】

ステップＳ６０では、右側方のカメラユニット１２と左側方のカメラユニット１４の位置、姿勢、解像度境界情報等をカメラ情報部３２ｃ、３４ｃから取得する。即ち、複数の画像取得部としてのカメラユニット１２，１４における境界情報を取得する。

【0138】

次にステップＳ６１で複数のカメラユニットからの映像を使用するか否かを判別し、Ｎｏの場合には、ステップＳ６２に進み、歪曲補正をするか否かを判別する。

【0139】

ステップＳ６２でＹｅｓの場合には、ステップＳ６３で後方のカメラユニット１３の映像に歪曲補正をすると共に、フラグＦを３にしてステップＳ６５に進む。一方、ステップＳ６２でＮｏの場合には、ステップＳ６４でフラグＦを２にしてからステップＳ６５に進む。

【0140】

ステップＳ６５では、後方のカメラユニット１３、右側方のカメラユニット１２、左側方のカメラユニット１４の表示解像度境界を計算する。

【0141】

そして、ステップＳ６６（表示信号生成ステップ）で後方のカメラユニット１３の映像に複数の表示解像度境界を重畳して第３表示部５２に表示する。すなわち、１つの画像に複数の境界画像を重畳した表示信号を生成する。表示信号は例えば通信部６２を介してカメラユニットの調整時に用いるタブレット端末の第３表示部５２に供給され表示される。

【0142】

図９（Ｃ）は、カメラユニット１３からの歪曲補正されていない映像１３０に、カメラユニット１３の表示解像度境界９３、カメラユニット１２の表示解像度境界９２、カメラユニット１４の表示解像度境界９４を重畳して表示した例を示す図である。図９（Ｃ）、図９（Ｄ）のいずれも第３表示部５２であるタブレット端末の表示部に表示される映像例である。

【0143】

側方に異画角レンズを含む撮像部を用いるときには解像度境界９２の内部が高解像度領域となり、側方に逆異画角レンズを含む撮像部を用いるときには解像度境界９２の外部かつ逆異画角レンズで撮影した領域が高解像度領域となる。

【0144】

即ち、フラグＦが２の場合に表示される画像を示している。一方、図９（Ｄ）は、カメラユニット１３からの歪曲補正された映像１３１に、カメラユニット１３の表示解像度境界９３、カメラユニット１２の表示解像度境界９２、カメラユニット１４の表示解像度境界９４を重畳した例を示す図である。

【0145】

即ち、フラグＦが３の場合に表示される画像を示している。なお、図９（Ｄ）において表示される表示解像度境界９２、９４は歪曲補正に応じた座標変換をしたものである。表示解像度境界９３も歪曲補正に応じた座標変換をしたものでもよい。

【0146】

ステップＳ６６の後にステップＳ５０に進む。ステップＳ５０～Ｓ５４の動作は既に説明したものと同様であるが、フラグＦが２または３の場合には、ステップＳ５０において、図１１（Ｂ）のような調整用の画面が表示される。

【0147】

図１１（Ｂ）はフラグＦが２や３などの場合に調整用の画面に表示される基準枠などの例を示す図である。なお、図１１（Ｂ）の画面はフラグＦが２の場合は歪曲補正される前の画面であり、フラグＦが３の場合は歪曲補正された後の画面である。

【0148】

フラグＦが２または３の場合には、基準枠２００、基準枠中心２０３、右側方のカメラユニット１２の表示解像度境界９２の重心９３ｃを合わせるための基準点２０２が表示される。さらに、左側方のカメラユニット１４の表示解像度境界９４の重心９４ｃを合わせるための基準点２０４が表示される。

【0149】

そして、ステップＳ５１では基準枠中心２０３と表示解像度境界９３の重心９３ｃが合致し、基準点２０２と表示解像度境界９２の重心９３ｃが合致し、基準点２０４と表示解像度境界９４の重心９４ｃが合致している場合に合致していると判断する。

【0150】

なお、ここで基準点２０２，２０４は基準枠中心２０３に対して所定の距離に設定されており、表示解像度境界９２と９３が所定量重なりあうように設定されている。また、表示解像度境界９４と９３が所定量重なりあうように設定されている。すなわち、前述のように、本実施形態では、少なくとも２つの画像取得部の撮影範囲（特に高解像度領域（低歪曲領域））が互いに重複するように調整され配置されている。

【0151】

尚、前述のように、ステップＳ５１では、必ずしも基準点２０２、２０４と重心９２ｃ、９３ｃが合致する必要はない。基準枠領域内の大部分（理想的には全て）が高解像度領域になるように調整できれば良い。そこで、閾値を設けて、基準枠領域内の高解像度領域の面積が閾値を超えていれば、Ｓ５１でＹｅｓと判断することができる。閾値以下であればＳ５１でＮｏと判断し、Ｓ５２に進む。

【0152】

なお、図１１（Ｂ）の基準枠２００は、前述のように、電子ルームミラーに表示される画像領域に対応している。したがって、画像処理部４１ａでは、車両１の例えば通常の走行の際には、カメラユニット１２～１４から得られた画像信号を合成して表示する。

【0153】

そして、その合成画像のうち、この基準枠２００に対応した画像領域を切り出して例えば電子ルームミラーとしての第１表示部５０に表示することができる。ただし、カメラユニット１２～１４の調整中は図１１（Ｂ）のような全体画像がタブレット端末の表示部などの第３表示部５２に表示されカメラユニット１２～１４の姿勢等の調整をすることができる。

【0154】

ステップＳ５２では、基準枠中心２０３と表示解像度境界９３の重心９３ｃのずれがあればそれを矢印３０３で示す。また、図１１（Ｂ）に示すように、基準点２０２と表示解像度境界９２の重心９３ｃのズレを矢印３０２で示し、基準点２０４と表示解像度境界９４の重心９４ｃのずれを矢印３０４で示す。矢印３０２とともに、「右側方のカメラを車両側に向けてください」などと、文字で表示したり音声で通知したりすることもできる。

【0155】

尚、前述のように必ずしも基準点２０２、２０４と重心９２ｃ、９３ｃが合致するまでズレを調整する必要はない。基準枠領域内の大部分（理想的には全て）が高解像度領域になるように調整できれば良い。そこで、閾値を設けて、基準枠領域内の高解像度領域の面積が閾値を超えていれば、Ｓ５３でＹｅｓと判断しＳ５４に進む。ステップＳ５３では、ユーザがカメラユニット１２～１４の位置姿勢をそれぞれ調整し、調整が完了した後で調整完了ボタンをクリックした場合に調整が完了したと判断する。

【0156】

次に図６のステップＳ６１で複数カメラの映像を使用するか判断した際に、Ｙｅｓの場合には図７のステップＳ７０に進む。

【0157】

図７は、図６からの分岐処理を説明するためのフローチャートである。ステップＳ７０３（画像取得ステップ）では、右側方のカメラユニット１２と左側方のカメラユニット１４の映像を取得し、ステップＳ７１で歪曲補正をするか否かを判断する。

【0158】

ステップＳ７１でＹｅｓの場合には、ステップＳ７２で後方のカメラユニット１３、右側方のカメラユニット１２、左側方のカメラユニット１４の映像に歪曲補正をすると共に、フラグＦを５にしてステップＳ７４に進む。一方、ステップＳ７１でＮｏの場合には、ステップＳ７３でフラグＦを４にしてからステップＳ７４に進む。

【0159】

ステップＳ７４では、後方のカメラユニット１３、右側方のカメラユニット１２、左側方のカメラユニット１４の映像を合成する。即ち、複数の画像取得部から取得した画像信号を合成して合成画像を生成する。次に、ステップＳ７５で、後方のカメラユニット１３、右側方のカメラユニット１２、左側方のカメラユニット１４の表示解像度境界を計算する。

【0160】

そして、ステップＳ７６（表示信号生成ステップ）で、合成された映像に表示解像度境界を重畳して第３表示部５２に表示する。すなわち、合成画像に複数の境界画像を重畳した表示信号を生成する。表示信号は例えば通信部６２を介してカメラユニットの調整時に用いるタブレット端末の第３表示部５２に供給され表示される。

【0161】

図９（Ｅ）は歪曲補正せずに合成した映像に表示解像度境界を重畳した例を示す図であり、フラグＦが４の場合に表示される画像を示している。図９（Ｆ）は歪曲補正後に合成された映像に表示解像度境界を重畳した例を示す図であり、フラグＦが５の場合に表示される画像を示している。５２０は第３表示部５２の画面枠である。

【0162】

１２０は右側方のカメラユニット１２から得られた歪曲補正されていない画像信号、１３０は後方のカメラユニット１３から得られた歪曲補正されていない画像信号、１４０は左側方のカメラユニット１４から得られた歪曲補正されていない画像信号を示す。９００はそれらを並べて表示した画像である。

【0163】

各カメラの表示解像度境界の距離の分だけ解像度境界が離れるようにカメラ映像を並べる。例えば、図１１（Ｂ）、（Ｃ）で示されるガイドに従ってカメラユニットの設置位置又は姿勢が変更され、表示解像度境界が近づくと、境界を示す情報（円の線）も近づく。

【0164】

また、１２１は右側方のカメラユニット１２から得られた歪曲補正された画像信号、１３１は後方のカメラユニット１３から得られた歪曲補正された画像信号、１４１は左側方のカメラユニット１４から得られた歪曲補正された画像信号を示す。９０１はそれらを並べて表示した画像である。各カメラの表示解像度境界の距離の分だけ解像度境界が離れるようにカメラ映像を並べる。

【0165】

例えば、図１１（Ｂ）、（Ｃ）で示されるガイドに従ってカメラユニットの設置位置又は姿勢が変更され、表示解像度境界が近づくと、境界を示す情報（円の線）も近づく。なお、図９（Ｆ）において表示される表示解像度境界９２、９４は歪曲補正に応じた座標変換をしたものである。表示解像度境界９３も歪曲補正に応じた座標変換をしたものでもよい。

【0166】

なお、本実施形態では、図９（Ｅ）、図９（Ｆ）では第３表示部５２の画面５２０には、表示解像度境界９２、９４が表示解像度境界９３と重ならないように表示している。しかし、通常走行時などに電子ルームモニターに表示される画像は、表示解像度境界９２の一部と表示解像度境界９３とが重なった状態で合成される。また、表示解像度境界９４の一部と表示解像度境界９３とが重なった状態で合成される。

【0167】

ステップＳ７６の後にステップＳ５０に進む。ステップＳ５０～Ｓ５４の動作は既に説明したものと同様であるが、フラグＦが４または５の場合には、ステップＳ５０において、例えば図１１（Ｃ）のような調整用の画面が表示される。

【0168】

図１１（Ｃ）はフラグＦが４または５の場合の調整用の画面の例を示す図であり、フラグＦが４の場合は歪曲補正される前の画面であり、フラグＦが５の場合は歪曲補正された後の画面である。

【0169】

図１１（Ｃ）において、基準枠２１０には基準枠中心２１３の他に右側方のカメラユニット１２の表示解像度境界９２の重心９３ｃを合わせるための基準点２１２が表示される。さらに、左側方のカメラユニット１４の表示解像度境界９４の重心９４ｃを合わせるための基準点２１４が表示される。

【0170】

そして、ステップＳ５１では基準枠中心２１３と表示解像度境界９３の重心９３ｃが合致し、基準点２１２と表示解像度境界９２の重心９３ｃが合致し、基準点２１４と表示解像度境界９４の重心９４ｃが合致している場合に合致していると判断する。

【0171】

なお、図１１（Ｃ）の基準枠２１０は、電子ルームミラーに表示される画像領域に対応している。ただし、図１１（Ｃ）においては、カメラユニット１１～１３の画像を合成せずに並べて表示しているが、実際に電子ルームミラーに表示されるのはカメラユニット１１～１３の画像を互いに一部重ね合わせて合成した合成画像である。したがって、基準枠２１０は調整時に表示されるものであり、図１１（Ａ）、（Ｂ）に示される実際に電子ルームミラーに対応した基準枠２００よりも細長い形状となっている。

【0172】

すなわち、画像処理部４１ａでは、カメラユニット１２～１４から得られた画像信号を合成して表示する場合には、合成画像のうち、図１１（Ａ）の基準枠２００に対応した画像領域を切り出して例えば電子ルームミラーとしての第１表示部５０に表示する。

【0173】

なお、本実施形態では、電子ルームミラーに表示される合成画像の切り出し領域は、カメラユニット１２～１４のそれぞれの高解像度領域（低解像度領域）に対応しており、合成画像のうち高解像度領域（低解像度領域）だけが切り出されて表示される。

【0174】

ただし、前述のように、カメラユニット１２～１４の調整中は図１１（Ｃ）のような全体画像や基準枠２１０がタブレット端末の表示部などの第３表示部５２に表示され、カメラユニット１２～１４の位置姿勢調整をすることができる。

【0175】

ステップＳ５２では、基準枠中心２１３と表示解像度境界９３の重心９３ｃのずれがあればそれを矢印で示す。また、基準点２１２と表示解像度境界９２の重心９３ｃのずれを矢印で示し、基準点２１４と表示解像度境界９４の重心９４ｃのずれを矢印で示す。またステップＳ５０～Ｓ５４のそれ以外の動作については既に説明したものと同じなので説明は省略する。すなわち、合成画像に複数の境界画像を表示した状態で、撮像部の姿勢等を調整するための矢印などのガイド情報を生成する。

【0176】

次に図４のステップＳ４１で後方のカメラユニットの調整か判別し、Ｎｏの場合には図８のステップＳ８０（特性情報取得ステップ）に進む。

【0177】

図８は、図４からの他の分岐処理を説明するためのフローチャートである。ステップＳ８０では、正面のカメラユニット１１の位置、姿勢、解像度境界情報等を正面のカメラユニット１１のカメラ情報部３１ｃから取得し、ステップＳ８１３（画像取得ステップ）で正面のカメラユニット１１の映像を取得する。

【0178】

そしてステップＳ８２で歪曲補正をするか否かを判断し、Ｙｅｓの場合には、ステップＳ８３で正面のカメラユニット１１の映像に歪曲補正をすると共に、フラグＦを７にしてステップＳ８５に進む。一方、ステップＳ８２でＮｏの場合には、ステップＳ８４でフラグＦを６にしてからステップＳ８５に進む。

【0179】

ステップＳ８５では、正面のカメラユニット１１の表示解像度境界を計算し、ステップＳ８６（表示信号生成ステップ）で、正面のカメラユニット１１の映像に表示解像度境界を重畳して第３表示部５２に表示する。すなわち、例えば通信部６２を介してカメラユニットの調整時に用いるタブレット端末の第３表示部５２に表示する。

【0180】

図９（Ｇ）は歪曲補正していない正面のカメラユニット１１の映像１１０に正面のカメラユニット１１の表示解像度境界９１を重畳した例を示す図であり、フラグＦが６の場合に表示される画像の例を示している。図９（Ｈ）は歪曲補正後の正面のカメラユニット１１の映像１１１に正面のカメラユニット１１の表示解像度境界９１を重畳した例を示す図であり、フラグＦが７の場合に表示される画像の例を示している。なお、図９（Ｈ）に表示される表示解像度境界９１は歪曲補正に応じた座標変換をしたものでもよい。

【0181】

ステップＳ８６の後にステップＳ５０に進む。ステップＳ５０～Ｓ５４の動作は既に説明したものと同様であるが、フラグＦが６または７の場合には、ステップＳ５０において、図１１（Ａ）のような調整用の画面が表示される。

【0182】

なお、図１１（Ａ）の画面は、フラグＦが６の場合は歪曲補正される前の画面であり、フラグＦが７の場合は歪曲補正された後の画面である。なお、図１１（Ａ）における表示解像度境界９３およびその重心９３ｃは、それぞれ表示解像度境界９１とその中心９１ｃに読み替える。

【0183】

また、正面のカメラユニット１１のための仮想の基準枠は基準枠２００と同様の大きさでよく、図１２の車両１の後方の位置２０５と反対側の、前方の２０６で示すような位置に仮想的に配置したものとして画面に表示すれば良い。

【0184】

なお、図１１（Ａ）の基準枠２００は、前述のように、電子ルームミラーに表示される画像領域に対応している。したがって、画像処理部４１ａでは、カメラユニット１１から得られた画像信号を表示する場合に、この基準枠２００に対応した画像領域を切り出して例えば電子ルームミラーとしての第１表示部５０に表示することができる。

【0185】

ただし、カメラユニット１１の調整中は図１１（Ａ）のような全体画像がタブレット端末の表示部などの第３表示部５２の画面５２０に表示されカメラユニット１１の位置姿勢調整をすることができる。

【0186】

このように、本実施形態では、高解像度領域（低歪曲領域）１０ａは、上述のように通常の撮像用の光学系の中心射影方式（ｙ＝ｆ×ｔａｎθ）または等距離射影方式（ｙ＝ｆ×θ）に近似した射影特性となるように構成されている。したがって、第１表示部５０に表示される例えば電子ルームミラー用の画像は、解像度が低解像度領域（高歪曲領域）１０ｂと比較して高く、車両１の正面、側方、後方の遠方を、より精細に表示することができる。

【0187】

また、高解像度領域１０ａは光学歪曲が小さいため、第１表示部５０に表示される電子ルームミラー用の画像も歪みが小さい状態で表示することができ、車両の周囲を運転者がより自然な遠近感で視認できる。

【0188】

尚、図１１の調整例では、側方に異画角レンズを含む撮像部を用いている場合を説明した。側方に逆異画角レンズを含む撮像部を用いている場合には、解像度境界９２、９４の外部の高解像度領域が基準枠２００に収まるように調整を行う。

【0189】

また、本実施形態における高解像度領域１０ａは、光学歪みが小さくなるように構成されており、歪曲補正をしないＲＡＷ画像信号の状態で画像認識ができるので、画像認識のための処理負荷を低減し高速で画像認識をすることができる。したがって画像認識結果に基づき障害物を早期に発見でき、障害物を回避するための動作をタイムリーに行える。このように、本実施形態の構成を用いた場合には、特に高速道路などでの高速走行時において大きな効果を得ることができる。

【0190】

なお、以上の実施形態では複数のカメラユニットを用いる例を説明したが、カメラユニットが１つだけのシステムにおいても有効である。また、本実施形態によれば上記のような異画角レンズを用いたシステムにおいて、カメラユニットを設置する位置や姿勢等を容易に調整できるので、調整のための作業効率を大幅に向上でき、異画角レンズを用いたシステムの性能を十分に引き出すことができる。
なお、以上の実施形態では、カメラユニットの調整時に低歪曲領域と高歪曲領域の境界画像を表示することによって調整工程を短縮化できるようにしているが、調整時以外であっても、例えば通常走行中などに境界画像を表示するようにしても良い。

【0191】

なお、上述の実施形態においては車両などの移動体に画像処理システムを搭載した例について説明した。しかし、本実施形態の移動体は、自動車などの車両に限らず、列車、船舶、飛行機、ロボット、ドローンなどの移動をする移動装置であればどのようなものであってもよい。また、本実施形態の画像処理システムはそれらの移動体に搭載されるものを含む。また、移動体をリモートでコントロールする場合にも本実施形態を適用することができる。

【0192】

［実施形態２］
上述した実施形態１において説明された様々な機能、処理および方法の少なくとも一つは、プログラムを用いて実現することができる。以下、実施形態２では、上述した実施形態１おいて説明された様々な機能、処理および方法の少なくとも一つを実現するためのプログラムを「プログラムＸ」と呼ぶ。さらに、実施形態２では、プログラムＸを実行するためのコンピュータを「コンピュータＹ」と呼ぶ。パーソナルコンピュータ、マイクロコンピュータ、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などは、コンピュータＹの一例である。上述した実施形態における画像処理システムなどのコンピュータも、コンピュータＹの一例である。

【0193】

上述した実施形態１において説明された様々な機能、処理および方法の少なくとも一つは、コンピュータＹがプログラムＸを実行することによって実現することができる。この場合において、プログラムＸは、コンピュータ読み取り可能な記憶媒体を介してコンピュータＹに供給される。実施形態２におけるコンピュータ読み取り可能な記憶媒体は、ハードディスク装置、磁気記憶装置、光記憶装置、光磁気記憶装置、メモリカード、ＲＯＭ、ＲＡＭなどの少なくとも一つを含む。さらに、実施形態２におけるコンピュータ読み取り可能な記憶媒体は、ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ（非一時的）な記憶媒体である。

【0194】

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明は上記実施形態に限定されるものではなく、本発明の主旨に基づき種々の変形が可能であり、それらを本発明の範囲から除外するものではない。尚、本発明は以下の組み合わせを含む。

【0195】

（構成１）低歪曲領域と高歪曲領域とを有する光学像を撮像する撮像手段により形成した画像信号を取得する画像取得手段と、前記光学像の特性に関する特性情報を取得する特性情報取得手段と、前記特性情報取得手段により取得された前記特性情報に基づき前記低歪曲領域と前記高歪曲領域の境界を示す情報を形成し、前記境界を示す情報を前記画像信号に重畳するための表示信号を生成する表示信号生成手段と、を有することを特徴とする画像処理システム。

【0196】

（構成２）前記画像取得手段は、前記光学像を形成する光学系と、前記光学系により形成された前記光学像を撮像する撮像素子と、を含むことを特徴とする構成１に記載の画像処理システム。

【0197】

（構成３）異なる位置に配置された複数の前記画像取得手段を有し、前記表示信号生成手段は、複数の前記画像取得手段から取得した前記画像信号を合成して合成画像を生成することを特徴とする構成１又は２に記載の画像処理システム。

【0198】

（構成４）前記特性情報取得手段は複数の前記画像取得手段における前記特性情報を取得することを特徴とする構成３に記載の画像処理システム。

【0199】

（構成５）前記表示信号生成手段は、複数の前記画像取得手段における前記特性情報に基づき１つの画像に複数の前記境界を示す情報を重畳した表示信号を生成することを特徴とする構成４に記載の画像処理システム。

【0200】

（構成６）前記表示信号生成手段は、前記合成画像に前記複数の前記境界を示す情報を重畳するための表示信号を生成することを特徴とする構成５に記載の画像処理システム。

【0201】

（構成７）前記表示信号生成手段は、前記画像取得手段の姿勢を調整するためのガイド情報を含む表示信号を生成することを特徴とする構成１～６のいずれか１つに記載の画像処理システム。

【0202】

（構成８）前記ガイド情報は基準枠を含み、前記基準枠は電子ルームミラーに表示される画像領域に対応していることを特徴とする構成７に記載の画像処理システム。

【0203】

（構成９）前記低歪曲領域と前記高歪曲領域はそれぞれ前記光学像の高解像度領域、低解像度領域に対応していることを特徴とする構成１～８のいずれか１つに記載の画像処理システム。

【0204】

（構成１０）前記光学系の焦点距離をｆ、半画角をθ、像面での像高をｙ、像高ｙと半画角θとの関係を表す射影特性をｙ（θ）とするとき、
前記低歪曲領域におけるｙ（θ）はｆ×θより大きく、前記高歪曲領域における前記射影特性とは異なることを特徴とする構成２に記載の画像処理システム。

【0205】

（構成１１）前記低歪曲領域は、中心射影方式（ｙ＝ｆ×ｔａｎθ）または等距離射影方式（ｙ＝ｆ×θ）に近似した射影特性となるように構成されていることを特徴とする構成１０に記載の画像処理システム。

【0206】

（構成１２）θｍａｘを前記光学系が有する最大の半画角、Ａを所定の定数とするとき、

を満足するように構成されていることを特徴とする構成１０又は１１に記載の画像処理システム。

【0207】

（構成１３）前記画像取得手段の少なくとも１つは、前記光学系の焦点距離をｆ、半画角をθ、像面での像高をｙ、像高ｙと半画角θとの関係を表す射影特性をｙ（θ）、θｍａｘを前記光学系が有する最大の半画角とするとき、
０．２＜２×ｆ×ｔａｎ（θｍａｘ／２）／ｙ（θｍａｘ） ＜０．９２
を満足することを特徴とする構成３～１２のいずれか１つに記載の画像処理システム。

【0208】

（構成１４）低歪曲領域と高歪曲領域とを有する光学像を撮像する撮像手段により形成した画像信号を取得する複数の画像取得手段を有し、それぞれの前記画像取得手段の前記光学像の特性に関する特性情報を取得する特性情報取得手段と、前記特性情報取得手段により取得された前記特性情報に基づき、それぞれの前記画像取得手段からの前記画像信号を画像処理して所定の表示信号を生成する表示信号生成手段と、を有すると共に、複数の前記画像取得手段の少なくとも２つの前記画像取得手段の撮影範囲が互いに重複するように配置されていることを特徴とする画像処理システム。

【0209】

（構成１５）前記画像取得手段は、前記光学像を形成する光学系と、前記光学系により形成された前記光学像を撮像する撮像素子と、を含むことを特徴とする構成１４に記載の画像処理システム。

【0210】

（構成１６）前記光学系の焦点距離をｆ、半画角をθ、像面での像高をｙ、像高ｙと半画角θとの関係を表す射影特性をｙ（θ）とするとき、前記低歪曲領域におけるｙ（θ）はｆ×θより大きく、前記高歪曲領域における前記射影特性とは異なることを特徴とする構成１５に記載の画像処理システム。

【0211】

（構成１７）前記低歪曲領域は、中心射影方式（ｙ＝ｆ×ｔａｎθ）または等距離射影方式（ｙ＝ｆ×θ）に近似した射影特性となるように構成されていることを特徴とする構成１６に記載の画像処理システム。

【0212】

（構成１８）θｍａｘを前記光学系が有する最大の半画角、Ａを所定の定数とするとき、

を満足するように構成されていることを特徴とする構成１６又は１７に記載の画像処理システム。

【0213】

（構成１９）前記画像取得手段の少なくとも１つは、前記光学系の焦点距離をｆ、半画角をθ、像面での像高をｙ、像高ｙと半画角θとの関係を表す射影特性をｙ（θ）、θｍａｘを前記光学系が有する最大の半画角とするとき、０．２＜２×ｆ×ｔａｎ（θｍａｘ／２）／ｙ（θｍａｘ） ＜０．９２を満足することを特徴とする構成１５～１８のいずれか１つに記載の画像処理システム。

【0214】

（構成２０）少なくとも２つの前記画像取得手段の前記低歪曲領域の撮影範囲が互いに重複するように配置されていることを特徴とする構成１４～１９のいずれか１つに記載の画像処理システム。

【0215】

（構成２１）前記表示信号生成手段は、少なくとも２つの前記画像取得手段からの前記画像信号を合成して合成画像を生成することを特徴とする構成１４～２０のいずれか１つに記載の画像処理システム。

【0216】

（構成２２）前記表示信号生成手段は、前記特性情報取得手段により取得された前記特性情報に基づき前記低歪曲領域と前記高歪曲領域の境界を示す情報を生成することを特徴とする構成１４～２１のいずれか１つに記載の画像処理システム。

【0217】

（構成２３）前記表示信号生成手段は、前記画像取得手段から取得した画像に前記境界を示す情報を重畳するための表示信号を生成することを特徴とする構成２２に記載の画像処理システム。

【0218】

（構成２４）前記表示信号生成手段は、前記画像取得手段の姿勢を調整するためのガイド情報を含む表示信号を生成することを特徴とする構成２２又は２３に記載の画像処理システム。

【0219】

（構成２５）前記ガイド情報は基準枠を含み、前記基準枠は電子ルームミラーに表示される画像領域に対応していることを特徴とする構成２４に記載の画像処理システム。

【0220】

（構成２６）前記低歪曲領域と前記高歪曲領域はそれぞれ前記光学像の高解像度領域、低解像度領域に対応していることを特徴とする構成１４～２５のいずれか１つに記載の画像処理システム。

【0221】

（構成２７）低歪曲領域と高歪曲領域とを有する光学像を撮像する撮像手段により形成した画像信号を取得する複数の画像取得手段を有し、それぞれの前記画像取得手段の前記光学像の特性に関する特性情報を取得する特性情報取得手段と、前記特性情報取得手段により取得された前記特性情報に基づき、それぞれの前記画像取得手段からの前記画像信号を画像処理して所定の表示信号を生成する表示信号生成手段と、を有し、複数の前記画像取得手段の光学系は、前記光学系の中心寄りの領域が前記低歪曲領域であり、外寄りの領域が前記高歪曲領域の画像取得手段と、前記光学系の中心寄りの領域が前記高歪曲領域であり、外寄りの領域が前記低歪曲領域の画像取得手段と、を含むことを特徴とする画像処理システム。

【0222】

（構成２８）前記光学系の中心寄りの領域が前記低歪曲領域であり、外寄りの領域が前記高歪曲領域の前記画像取得手段は移動体の後方に配置されることを特徴とする構成２７に記載の画像処理システム。

【0223】

（構成２９）前記光学系の中心寄りの領域が前記高歪曲領域であり、外寄りの領域が前記低歪曲領域の前記画像取得手段は移動体の正面又は側面に配置されることを特徴とする構成２７又は２８に記載の画像処理システム。

【0224】

（構成３０）複数の前記画像取得手段の少なくとも２つの前記画像取得手段の撮影範囲が互いに重複するように配置されていることを特徴とする構成２７～２９のいずれか１つに記載の画像処理システム。

【0225】

（構成３１）低歪曲領域と高歪曲領域とを有する光学像を撮像する撮像手段により形成した画像信号を取得する画像取得手段を有し、前記画像取得手段の前記光学像の特性に関する特性情報を取得する特性情報取得手段と、前記特性情報取得手段により取得された前記特性情報に基づき、前記画像取得手段からの前記画像信号を画像処理して所定の表示信号を生成する表示信号生成手段と、を有し、前記画像取得手段は光学系を有し、前記光学系の焦点距離をｆ、半画角をθ、像面での像高をｙ、像高ｙと半画角θとの関係を表す射影特性をｙ（θ）、θｍａｘを前記光学系が有する最大の半画角とするとき、０．２＜２×ｆ×ｔａｎ（θｍａｘ／２）／ｙ（θｍａｘ） ＜０．９２を満足することを特徴とする画像処理システム。

【0226】

（構成３２）低歪曲領域と高歪曲領域とを有する光学像を撮像する撮像手段により形成した画像信号を取得する画像取得手段を有し、前記画像取得手段は、光学系を有し、前記光学系の焦点距離をｆ、半画角をθ、像面での像高をｙ、像高ｙと半画角θとの関係を表す射影特性をｙ（θ）、θｍａｘを前記光学系が有する最大の半画角とするとき、０．２＜２×ｆ×ｔａｎ（θｍａｘ／２）／ｙ（θｍａｘ） ＜０．９２を満足することを特徴とする撮像装置。

【0227】

（構成３３）低歪曲領域と高歪曲領域とを有する光学像を受光面に形成する光学系であって、焦点距離をｆ、半画角をθ、像面での像高をｙ、像高ｙと半画角θとの関係を表す射影特性をｙ（θ）、θｍａｘを最大の半画角とするとき、０．２＜２×ｆ×ｔａｎ（θｍａｘ／２）／ｙ（θｍａｘ） ＜０．９２を満足することを特徴とする光学系。

【0228】

（方法１）低歪曲領域と高歪曲領域とを有する光学像を撮像する撮像手段により形成した画像信号を取得する画像取得ステップと、前記光学像の特性に関する特性情報を取得する特性情報取得ステップと、前記特性情報取得ステップにより取得された前記特性情報に基づき前記低歪曲領域と前記高歪曲領域の境界を示す情報を形成し、前記境界を示す情報を前記画像信号に重畳するための表示信号を生成する表示信号生成ステップと、を有することを特徴とする画像処理方法。

【0229】

（プログラム）画像処理システムのコンピュータに、
低歪曲領域と高歪曲領域とを有する光学像を撮像する撮像手段により形成した画像信号を取得する画像取得ステップと、
前記光学像の特性に関する特性情報を取得する特性情報取得ステップと、
前記特性情報取得ステップにより取得された前記特性情報に基づき前記低歪曲領域と前記高歪曲領域の境界を示す情報を形成し、前記境界を示す情報を前記画像信号に重畳するための表示信号を生成する表示信号生成ステップと、
を行わせるためのコンピュータプログラム。

【符号の説明】

【0230】

１：車両
１０ａ：高解像度領域
１０ｂ：低解像度領域
１１～１４：カメラユニット
２１～２４：撮像部
３１～３４：カメラ処理部
３１ｂ～３４ｂ：認識部
４０：統合処理部
４１ｂ：認識部
５０：第１表示部
５１：第２表示部
６０：走行制御部ＥＣＵ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】