特許 7467402 画像処理システム、移動装置、画像処理方法、およびコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-04-05

(45)【発行日】2024-04-15

(54)【発明の名称】画像処理システム、移動装置、画像処理方法、およびコンピュータプログラム

(51)【国際特許分類】

   H04N 23/60 20230101AFI20240408BHJP

   G06T 7/00 20170101ALI20240408BHJP

   H04N 7/18 20060101ALI20240408BHJP

   H04N 23/55 20230101ALI20240408BHJP

   H04N 23/63 20230101ALI20240408BHJP

【ＦＩ】

H04N23/60 500

G06T7/00 300B

G06T7/00 650Z

H04N7/18 E

H04N7/18 J

H04N23/55

H04N23/63

【請求項の数】 17

(21)【出願番号】P 2021155814

(22)【出願日】2021-09-24

(65)【公開番号】P2023046953

(43)【公開日】2023-04-05

【審査請求日】2022-07-15

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100114775

【弁理士】

【氏名又は名称】高岡 亮一

(74)【代理人】

【識別番号】100121511

【弁理士】

【氏名又は名称】小田 直

(74)【代理人】

【識別番号】100208580

【弁理士】

【氏名又は名称】三好 玲奈

(72)【発明者】

【氏名】森 真起子

【審査官】淀川 滉也

(56)【参考文献】

【文献】特開２０１５－１３２８７９（ＪＰ，Ａ）

【文献】特開２０１８－０９７７６６（ＪＰ，Ａ）

【文献】特開２０１７－０８４００６（ＪＰ，Ａ）

【文献】国際公開第２０１４／０９１８７７（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／６０

Ｈ０４Ｎ ２３／５５

Ｈ０４Ｎ ２３／６３

Ｈ０４Ｎ ７／１８

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

低歪曲領域と高歪曲領域とを有する光学像を撮像する撮像手段により生成した画像データを取得する画像取得手段と、
前記画像取得手段により取得された画像データの内、少なくとも一部領域の画像データを画像認識して第１の画像認識結果を出力する第１の画像認識手段と、
前記画像取得手段により取得された画像データの内、前記一部領域よりも広い領域の画像データを画像認識して第２の画像認識結果を出力する第２の画像認識手段と、
前記第１の画像認識結果と前記第２の画像認識結果とに基づき画像認識結果を出力する統合処理手段と、を有し、
前記撮像手段は、前記光学像を生成する光学系と、
前記光学系により生成された前記光学像を撮像する撮像素子と、を含み、
前記光学系の焦点距離をｆ、半画角をθ、像面での像高をｙ、像高ｙと半画角θとの関係を表す射影特性をｙ（θ）とするとき、
前記低歪曲領域におけるｙ（θ）はｆ×θよりも大きく、前記高歪曲領域における前記射影特性とは異なると共に、
θｍａｘを前記光学系が有する最大の半画角、Ａを所定の定数とするとき、

【数1】

を満足するように構成されていることを特徴とする画像処理システム。

【請求項2】

前記一部領域は前記低歪曲領域に対応する領域であることを特徴とする請求項１に記載の画像処理システム。

【請求項3】

前記第２の画像認識手段は、前記低歪曲領域と前記高歪曲領域に対応した画像データを画像認識して前記第２の画像認識結果を出力することを特徴とする請求項１または２に記載の画像処理システム。

【請求項4】

前記画像取得手段と前記第１の画像認識手段とは同じカメラユニットの筐体に収納されていることを特徴とする請求項１に記載の画像処理システム。

【請求項5】

前記カメラユニットと前記第２の画像認識手段とは別の筐体に収納されていることを特徴とする請求項４に記載の画像処理システム。

【請求項6】

前記第１の画像認識手段は前記低歪曲領域に対応する画像データを歪曲補正せずに画像認識して前記第１の画像認識結果を出力することを特徴とする請求項１～５のいずれか１項に記載の画像処理システム。

【請求項7】

前記第１の画像認識手段は、前記低歪曲領域に対応する画像データを歪曲補正前の状態で画像認識して前記第１の画像認識結果を出力することを特徴とする請求項１～６のいずれか１項に記載の画像処理システム。

【請求項8】

前記第２の画像認識手段は、前記高歪曲領域に対応する画像データを歪曲補正した後で画像認識して前記第２の画像認識結果を出力することを特徴とする請求項１～７のいずれか１項に記載の画像処理システム。

【請求項9】

前記統合処理手段は、前記第１の画像認識結果の信頼性と前記第２の画像認識結果の信頼性に基づき統合された画像認識結果を出力することを特徴とする請求項１～８のいずれか１項に記載の画像処理システム。

【請求項10】

前記画像取得手段により取得された画像データと、前記統合された画像認識結果を表示するための表示手段を有することを特徴とする請求項９に記載の画像処理システム。

【請求項11】

前記画像取得手段は移動装置に搭載されており、
前記統合処理手段は、前記移動装置の移動状態に応じて前記表示手段に表示する画像の表示領域および前記第１の画像認識手段と前記第２の画像認識手段による認識領域を変更することを特徴とする請求項１０に記載の画像処理システム。

【請求項12】

前記低歪曲領域は、中心射影方式（ｙ＝ｆ×ｔａｎθ）または等距離射影方式（ｙ＝ｆ×θ）に近似した射影特性となるように構成されていることを特徴とする請求項１に記載の画像処理システム。

【請求項13】

低歪曲領域と高歪曲領域とを有する光学像を撮像する撮像手段により生成した画像データを取得する画像取得手段と、
前記画像取得手段により取得された画像データの内、少なくとも一部領域の画像データを画像認識して第１の画像認識結果を出力する第１の画像認識手段と、
前記画像取得手段により取得された画像データの内、前記一部領域よりも広い領域の画像データを画像認識して第２の画像認識結果を出力する第２の画像認識手段と、
前記第１の画像認識結果と前記第２の画像認識結果とに基づき画像認識結果を出力する統合処理手段と、を有し、
前記撮像手段は、前記光学像を生成する光学系と、
前記光学系により生成された前記光学像を撮像する撮像素子と、を含み、
前記画像取得手段と前記第１の画像認識手段とは同じカメラユニットの筐体に収納されており、
前記カメラユニットと前記第２の画像認識手段とは別の筐体に収納されていることを特徴とする画像処理システム。

【請求項14】

低歪曲領域と高歪曲領域とを有する光学像を撮像する撮像手段により生成した画像データを取得する画像取得手段と、
前記画像取得手段により取得された画像データの内、少なくとも一部領域の画像データを画像認識して第１の画像認識結果を出力する第１の画像認識手段と、
前記画像取得手段により取得された画像データの内、前記一部領域よりも広い領域の画像データを画像認識して第２の画像認識結果を出力する第２の画像認識手段と、
前記第１の画像認識結果と前記第２の画像認識結果とに基づき画像認識結果を出力する統合処理手段と、
前記画像取得手段により取得された画像データと、前記統合処理手段より出力された前記画像認識結果を表示するための表示手段と、を有し、
前記画像取得手段は移動装置に搭載されており、
前記統合処理手段は、前記移動装置の移動状態に応じて前記表示手段に表示する画像の表示領域および前記第１の画像認識手段と前記第２の画像認識手段による認識領域を変更することを特徴とする画像処理システム。

【請求項15】

請求項１～１４のいずれか１項に記載の画像処理システムにより制御される移動装置であって、
前記統合処理手段より出力された前記画像認識結果に基づき移動装置の走行を制御する走行制御手段を有することを特徴とする移動装置。

【請求項16】

請求項１～１４のいずれか１項に記載の画像処理システム又は請求項１５に記載の移動装置を用いる画像処理方法であって、
低歪曲領域と高歪曲領域とを有する光学像を撮像する撮像手段により生成した画像データを取得する取得ステップと、
前記取得ステップにより取得された画像データの内、少なくとも一部領域の画像データを画像認識して第１の画像認識結果を出力する第１の画像認識ステップと、
前記取得ステップにより取得された画像データの内、前記一部領域よりも広い領域の画像データを画像認識して第２の画像認識結果を出力する第２の画像認識ステップと、
前記第１の画像認識結果と前記第２の画像認識結果とに基づき統合された画像認識結果を出力する統合処理ステップと、
を有することを特徴とする画像処理方法。

【請求項17】

請求項１～１４のいずれか１項に記載の画像処理システム又は請求項１５に記載の移動装置のコンピュータに、
低歪曲領域と高歪曲領域とを有する光学像を撮像する撮像手段により生成した画像データを取得する取得ステップと、
前記取得ステップにより取得された画像データの内、少なくとも一部領域の画像データを画像認識して第１の画像認識結果を出力する第１の画像認識ステップと、
前記取得ステップにより取得された画像データの内、前記一部領域よりも広い領域の画像データを画像認識して第２の画像認識結果を出力する第２の画像認識ステップと、
前記第１の画像認識結果と前記第２の画像認識結果とに基づき統合された画像認識結果を出力する統合処理ステップと、
を実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像認識が可能な画像処理システム、移動装置、画像処理方法、およびコンピュータプログラムに関する。

【背景技術】

【0002】

近年、車両に搭載されるルームミラー（後写鏡）を電子ルームミラーで置き換えるという要望がある。特許文献１には、車両外の後方を撮像範囲とする撮像部と車両内の表示部とを有し、撮像部で撮像した画像を車両内のディスプレイで表示することにより、ドライバーが車両外の後方の様子を確認できる電子ルームミラーシステムが開示されている。

【0003】

他方、車両の後退時などに車両後方の死角をドライバーが確認できるようにする後方確認システムがある。特許文献２には、車両後方を撮像するようにカメラを設置し、撮像画像を車室内に表示することにより、後退時などに車両後方の死角をドライバーが確認できるようにするための後方確認システムが開示されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１０－９５２０２号公報

【文献】特開２００４－３４５５５４号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

上述の電子ルームミラー用画像を撮像する撮像部は、ドライバーが後方の比較的遠方の様子をより精細に確認するため高解像度を有することが求められる。一方で、後方確認システム用カメラは、後退時などの衝突を回避するために、車両後方の死角や後側方を含んだより広い範囲での安全を確認するため、より広い範囲を撮像することが求められる。

【0006】

従って、電子ルームミラーシステムと後方確認システムを車両に同時に搭載する場合、電子ルームミラーシステム用のカメラと、後方確認システム用のカメラを個別に搭載すると車載画像処理システムが複雑になってしまう。このような問題は、車両の周囲の状況を撮影するために複数のカメラを配置して自動運転などを行う自動運転システムにおいても同様に発生する。

【0007】

これに対して、魚眼レンズなどの超広角レンズを用いたカメラを採用することによって、車両に設置するカメラの数を減らすことができるが、広い画角は得られるものの高解像度の画像を得ることは困難である。魚眼レンズを用いたシステムにおいて画像認識をする場合、歪曲補正せずに画像認識をすると、画像の周辺部の認識精度が低下する可能性がある。一方、歪曲補正をしてから画像認識をすると、画像のサイズまたは解像度によっては処理負荷が大きくなり時間がかかってしまう可能性がある。さらに、複数のカメラで撮像された複数の画像に対して歪曲補正をする場合には、より処理負荷が大きくなってしまう問題がある。

【0008】

そこで、本発明は、画像認識の精度と処理速度の両立を可能にすることを目的とする。

【課題を解決するための手段】

【0009】

本発明に係る画像処理システムは、
低歪曲領域と高歪曲領域とを有する光学像を撮像する撮像手段により生成した画像データを取得する画像取得手段と、
前記画像取得手段により取得された画像データの内、少なくとも一部領域の画像データを画像認識して第１の画像認識結果を出力する第１の画像認識手段と、
前記画像取得手段により取得された画像データの内、前記一部領域よりも広い領域の画像データを画像認識して第２の画像認識結果を出力する第２の画像認識手段と、
前記第１の画像認識結果と前記第２の画像認識結果とに基づき画像認識結果を出力する統合処理手段と、を有し、
前記撮像手段は、前記光学像を生成する光学系と、
前記光学系により生成された前記光学像を撮像する撮像素子と、を含み、
前記光学系の焦点距離をｆ、半画角をθ、像面での像高をｙ、像高ｙと半画角θとの関係を表す射影特性をｙ（θ）とするとき、
前記低歪曲領域におけるｙ（θ）はｆ×θよりも大きく、前記高歪曲領域における前記射影特性とは異なると共に、
θｍａｘを前記光学系が有する最大の半画角、Ａを所定の定数とするとき、

【数1】

を満足するように構成されている。

【発明の効果】

【0010】

本発明によれば、画像認識の精度と処理速度の両立を可能にすることができる。

【図面の簡単な説明】

【0011】

【図1】実施形態１における車両１とカメラユニット１１～１４の位置関係を説明する図である。

【図2】図２（Ａ）および図２（Ｂ）はカメラユニット１１～１４の光学特性を説明するための図である。

【図3】実施形態１における画像処理システム１００の構成を説明するためのブロック図である。

【図4】カメラ処理部３１～３４の処理フローを説明するためのフローチャートである。

【図5】統合処理部４０における処理フローを説明するためのフローチャートである。

【図6】統合処理部４０における統合処理フローを説明するためのフローチャートである。

【図7】実施形態１の画像表示方法の例について説明するためのフローチャートである。

【図8】実施形態１の高解像度領域と低解像度領域と複数種類の表示領域の関係を説明するための図である。

【図9】図９（Ａ）は基準画角の画像の表示例を説明するための図であり、図９（Ｂ）は狭画角の画像の表示例を説明するための図であり、図９（Ｃ）は広画角の画像の表示例を説明するための図である。

【図10】図１０（Ａ）は第１表示部５０の表示画面５０１の表示例を説明するための図であり、図１０（Ｂ）は第２表示部５１の表示画面５１１の表示例を説明するための図である。

【図11】図１１（Ａ）は後退時の狭画角の画像８５Ｂの例を説明するための図であり、図１１（Ｂ）は後進用の広画角の画像８６Ｂの例を示した図である。

【発明を実施するための形態】

【0012】

以下、図面を参照して本発明の実施形態を説明する。ただし、本発明は以下の実施形態に限定されるものではない。なお、図面において、同一の部材または要素については同一の参照番号を付し、それらの重複する説明については省略または簡略化する。

【0013】

［実施形態１］
実施形態１では、高精細な電子ルームミラー用の表示や広範囲な後方などの車両周辺確認用の表示を少ない数のカメラで両立する改善された方法について説明する。

【0014】

図１は、実施形態１における車両１（例えば自動車）とカメラユニット１１～１４の位置関係を説明する図である。車両１は移動装置として動作し、カメラユニット１１～１４はいずれも撮像装置として動作する。

【0015】

実施形態１では、図１に示すように、移動装置としての車両１の前方、右側方、後方、左側方にそれぞれカメラユニット１１、１２、１３、１４が設置されている。なお、実施形態１では、画像処理システムが４つのカメラユニットを有するが、画像処理システムが有するカメラユニットの数は４に限定されるものではない。画像処理システムは、１つ以上のカメラユニットを有する画像処理システムであればよい。

【0016】

カメラユニット１１～１４は、移動装置としての車両１のそれぞれ前方、右側方、左側方、後方を撮像範囲とするように設置されている。カメラユニット１１～１４は、カメラユニット１１～１４は、それぞれ、略同様の構成要素を有する。例えば、カメラユニット１１～１４は、それぞれ、光学像を撮像する撮像素子と、撮像素子の受光面に光学像を生成する光学系とを有する。例えば、カメラユニット１１～１４が有する光学系の光軸は、それぞれ、略水平となるように設置されている。

【0017】

カメラユニット１１～１４が有する光学系は、それぞれ、光軸周辺の狭い画角において高精細な画像を得ることができ、広い画角において低解像度の撮像画像を得ることができるように構成されている。なお、図１において、１１ａ～１４ａは高解像度の像を撮像可能な撮像画角であり、１１ｂ～１４ｂは低解像度の像を撮像可能な撮像画角を示している。

【0018】

次に、図２（Ａ）および図２（Ｂ）を参照して、カメラユニット１１～１４が有する光学系の光学特性を説明する。カメラユニット１１～１４が有する光学系の光学特性は同じでなくてもよいが、実施形態１においては、カメラユニット１１～１４が有する光学系の光学特性が略同じであるものとする。従って、図２（Ａ）および図２（Ｂ）では、カメラユニット１１が有する光学系の光学特性を例示的に説明する。

【0019】

図２（Ａ）は、カメラユニット１１が有する光学系の、撮像素子の受光面上での各半画角における像高ｙを等高線状に示した図である。図２（Ｂ）は、カメラユニット１１が有する光学系の像高ｙと半画角θとの関係を表す射影特性を表した図である。図２（Ｂ）では、半画角（光軸と入射光線とがなす角度）θを横軸とし、カメラユニット１１のセンサ面上（像面上）での結像高さ（像高）ｙを縦軸として示している。

【0020】

カメラユニット１１が有する光学系は、図２（Ｂ）に示すように、所定の半画角θａ未満の領域と半画角θａ以上の領域でその射影特性ｙ（θ）が異なるように構成されている。従って、単位あたりの半画角θに対する像高ｙの増加量を解像度というとき解像度が領域によって異なる。この局所的な解像度は、射影特性ｙ（θ）の半画角θでの微分値ｄｙ（θ）／ｄθで表されるともいえる。即ち、図２（Ｂ）の射影特性ｙ（θ）の傾きが大きいほど解像度が高いといえる。また、図２（Ａ）の等高線状の各半画角における像高ｙの間隔が大きいほど解像度が高いともいえる。

【0021】

実施形態１においては、半画角θが所定の半画角θａ未満のときにセンサ面上に生成される中心寄りの領域を高解像度領域１０ａ、半画角θが所定の半画角θａ以上の外寄りの領域を低解像度領域１０ｂと呼ぶ。なお、高解像度領域１０ａの画角は撮像画角１１ａに対応しており、低解像度領域１０ｂの画角は撮像画角１１ｂに対応している。なお、実施形態１において、高解像度領域１０ａは歪曲が相対的に少ない低歪曲領域であり、低解像度領域１０ｂは歪曲が相対的に多い高歪曲領域となっている。従って、実施形態１においては、高解像度領域、低解像度領域をそれぞれ低歪曲領域、高歪曲領域と呼ぶことがある。

【0022】

カメラユニット１１が有する光学系は、高解像度領域（低歪曲領域）１０ａにおいてその射影特性ｙ（θ）がｆ×θよりも大きくなるように構成されている（ｆはカメラユニット１１が有する光学系の焦点距離）。また、高解像度領域（低歪曲領域）における射影特性ｙ（θ）は低解像度領域（高歪曲領域）における射影特性とは異なるように設定されている。

【0023】

θｍａｘをカメラユニット１１が有する光学系が有する最大の半画角とするとき、θａとθｍａｘの比θａ／θｍａｘは所定の下限値以上であることが望ましく、例えば所定の下限値として０．１５～０．１６が望ましい。また、θａとθｍａｘの比θａ／θｍａｘは所定の上限値以下であることが望ましく、例えば０．２５～０．３５とすることが望ましい。例えば、θａを９０°とし、所定の下限値を０．１５、所定の上限値０．３５とする場合、θａは１３．５～３１．５°の範囲で決定することが望ましい。

【0024】

さらに、カメラユニット１１が有する光学系は、その射影特性ｙ（θ）が、以下の数式１も満足するように構成されている。

【数1】

ここで、ｆは前述のようにカメラユニット１１が有する光学系の焦点距離であり、Ａは所定の定数である。下限値を１とすることで、同じ最大結像高さを有する正射影方式（ｙ＝ｆ×ｓｉｎθ）の魚眼レンズよりも中心解像度を高くすることができ、上限値をＡとすることで、魚眼レンズ同等の画角を得つつ良好な光学性能を維持することができる。所定の定数Ａは、高解像度領域と、低解像度領域の解像度のバランスを考慮して決めればよく、１．４～１．９となるようにするのが望ましい。

【0025】

以上のように光学系を構成することで、高解像度領域１０ａにおいては、高解像度が得られる一方、低解像度領域１０ｂでは、単位あたりの半画角θに対する像高ｙの増加量を小さくし、より広い画角を撮像することが可能になる。従って、魚眼レンズと同等の広画角を撮像範囲としつつ、高解像度領域１０ａにおいては、高い解像度を得ることができる。

【0026】

実施形態１では、高解像度領域（低歪曲領域）においては、通常の撮像用の光学系の射影特性である中心射影方式（ｙ＝ｆ×ｔａｎθ）や等距離射影方式（ｙ＝ｆ×θ）に近い特性としているため、光学歪曲が小さく、精細に表示することが可能となる。従って、先行車や後続車両といった周囲の車両などを目視する際における自然な遠近感が得られると共に、画質の劣化を抑えて良好な視認性を得ることができる。

【0027】

なお、上述の数式１の条件を満たす射影特性ｙ（θ）であれば、同様の効果を得ることができるため、実施形態１は図２に示した射影特性に限定されない。なお、実施形態１では、上述の数式１の条件を満たす射影特性ｙ（θ）を有する光学系を異画角レンズと呼ぶ場合がある。なお、カメラユニット１１～１４が有する光学系の高解像度領域１０ａの画角はそれぞれ撮像画角１１ａ～１４ａに対応しており、カメラユニット１１～１４が有する光学系の低解像度領域１０ｂの画角はそれぞれ撮像画角１１ｂ～１４ｂに対応している。

【0028】

次に、図３を参照して、実施形態１における画像処理システム１００の構成を説明する。図３は、実施形態１における画像処理システム１００の構成を説明するためのブロック図である。

【0029】

図３において、画像処理システム１００は、車両１に搭載されている。カメラユニット１１～１４は、それぞれ、撮像部２１～２４のいずれかとカメラ処理部３１～３４のいずれかとを有する。撮像部２１～２４は、それぞれ、異画角レンズ２１ｃ～２４ｃのいずれかと撮像素子２１ｄ～２４ｄのいずれかとを有する。撮像素子２１ｄ～２４ｄは、例えば、ＣＭＯＳイメージセンサまたはＣＣＤイメージセンサを有する。ここで、撮像部２１～２４は、それぞれ、画像取得部として機能しており、低歪曲領域と高歪曲領域とを有する光学像を撮像する撮像素子２１ｄ～２４ｄのいずれかから画像データを取得している。

【0030】

光学系としての異画角レンズ２１ｃ～２４ｃは、それぞれ、１枚以上の光学レンズから構成されており、上述の数式１の条件を満たす射影特性ｙ（θ）を有し、低歪曲領域と高歪曲領域とを有する光学像を撮像素子２１ｄ～２４ｄのいずれかの受光面に生成する。撮像素子２１ｄ～２４ｄは、それぞれ、光学像を光電変換して撮像データを出力する。撮像素子２１ｄ～２４ｄの受光面には、それぞれ、例えばＲＧＢの色フィルタが画素毎に配列されている。ＲＧＢの配列は例えばベイヤー配列となっている。従って、撮像素子２１ｄ～２４ｄのそれぞれからは、ベイヤー配列に従って例えば所定の行からはＲ，Ｇ，Ｒ、Ｇの画素データが順次出力され、隣の行からはＧ，Ｂ，Ｇ，Ｂの画素データが順次出力されるように構成されている。

【0031】

カメラ処理部３１～３４は、それぞれ、撮像部２１～２４のいずれかと共にカメラユニット１１～１４のいずれかの筐体に収納されている。カメラ処理部３１～３４は、それぞれ、撮像部２１～２４のいずれかから出力された撮像データを処理する。

【0032】

カメラ処理部３１～３４は、それぞれ、画像処理部３１ａ～３４ａのいずれかと、認識部３１ｂ～３４ｂのいずれかと、カメラ情報部３１ｃ～３４ｃのいずれかとを有する。画像処理部３１ａ～３４ａは、撮像部２１～２４から出力された撮像データをそれぞれ画像処理する。なお、カメラ処理部３１の一部または全部を撮像素子２１ｄ～２４ｄ内の積層された信号処理部で行ってもよい。

【0033】

例えば、画像処理部３１ａ～３４ａは、それぞれ、撮像部２１～２４のいずれかからベイヤー配列に従って入力された画像データをデベイヤ処理し、ＲＧＢのラスタ形式の画像データへ変換する。さらに、画像処理部３１ａ～３４ａは、それぞれ、ホワイトバランスの調整、ゲイン・オフセット調整、ガンマ処理、カラーマトリックス処理、可逆圧縮処理などを行ってもよい。

【0034】

認識部３１ｂ～３４ｂは、それぞれ、画像処理部３１ａ～３４ａのいずれかで画像処理された歪曲補正前の画像データからそれぞれ所定の対象物（例えば自動車、人物、障害物など）を画像認識する。例えば、認識部３１ｂ～３４ｂは、それぞれ、低歪曲領域に対応する画像データを歪曲補正せずに歪曲補正前の画像データの状態で画像認識して第１の画像認識結果を出力する。

【0035】

なお、認識部３１ｂ～３４ｂは、それぞれ、少なくとも高解像度領域１０ａから得られた歪曲補正前の画像データに対して画像認識処理を行い、所定の対象物を認識する。そのために、高解像度領域１０ａだけを切り出してから画像認識処理してもよい。このような場合、認識部３１ｂ～３４ｂは、それぞれ、低解像度領域１０ｂから得られた歪曲補正前の画像データについても画像認識処理をしてもよい。但し、歪曲補正前の画像データは歪曲補正されていないので、異画角レンズの周辺部の画像は歪が大きく認識の信頼性は落ちることになる。

【0036】

なお、認識部３１ｂ～３４ｂは、それぞれ、高解像度領域１０ａから得られた歪曲補正前の画像データを切り出して、その高解像度領域１０ａから得られた歪曲補正前の画像データに対してだけ画像認識処理を行ってもよい。その場合、切り出す領域は、画像認識処理のために矩形にすることが望ましい。切り出す領域が矩形である場合、切り出す領域は、高解像度領域１０ａ内の一部だけ（例えば高解像度領域１０ａに内接する矩形）でもよいし、高解像度領域１０ａと低解像度領域１０ｂの両方を含んだ矩形でもよい。ここで、認識部３１ｂ～３４ｂは、画像取得部により取得された画像データの内、少なくとも一部領域の画像データを画像認識して第１の画像認識結果を出力する第１の画像認識部として機能している。なお、実施形態１において、前記一部領域は、低歪曲領域に対応する領域である。

【0037】

認識部３１ｂ～３４ｂは、それぞれ、対象物の種類と座標のセットを認識結果として統合処理部４０に送信する。一方、認識部３１ｂ～３４ｂは、それぞれ、統合処理部４０の統合制御部４１ｃから、対象物の種類と、その対象物の移動方向に関する情報または優先認識領域情報のセットである予測情報を受信する。この予測情報については後述する。

【0038】

実施形態１では、前方に対して設置されたカメラユニット１１の認識部３１ｂの出力は、走行制御部（ＥＣＵ）６０にも直接供給されている。これは、認識部３１ｂの障害物などの認識結果に基づいて直ちに走行を停止したり、障害物を回避するように走行を制御する必要が生じる場合があるからである。

【0039】

カメラ情報部３１ｃ～３４ｃは、それぞれ、カメラユニット１１～１４のいずれかのカメラ情報を予めメモリ（ＲＯＭなど）に保持している。各カメラ情報は、異画角レンズ２１ｃ～２４ｃのいずれかの光学特性と、撮像素子２１ｄ～２４ｄのいずれかの画素数、ガンマ特性、感度特性、フレームレート、カメラユニットの車両座標における取り付け座標および姿勢情報とを含む。さらに、各カメラ情報は、画像処理部３１ａ～３４ａのいずれかにおいて歪曲補正前の画像データを生成する際の画像処理方法や画像フォーマットに関する情報を含んでもよい。なお、取り付け座標や姿勢座標は車両１に対する相対的な座標である。また、各カメラ情報は、撮像部２１～２４のいずれかの固有の情報であり、互いに異なり 、それらの情報は統合処理部４０に送信され、統合処理部４０における画像処理をする際に参照される。

【0040】

なお、カメラ処理部３１～３４の内部には、それぞれ、コンピュータとしてのＣＰＵや記憶媒体としてのコンピュータプログラムを記憶したメモリが内蔵されている。また、各ＣＰＵはメモリ内のコンピュータプログラムを実行することにより、各カメラ処理部３１～３４に含まれる各構成要素を制御するように構成されている。

【0041】

なお、実施形態１では、画像処理部３１ａ～３４ａや認識部３１ｂ～３４ｂは、例えば専用回路（ＡＳＩＣ）やプロセッサ（リコンフィギュラブルプロセッサ、ＤＳＰ、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ））などのハードウェアを用いる。それによって、高解像度領域の画像認識の高速化が実現でき、事故を回避できる可能性を高めることができる。

【0042】

統合処理部４０は、ＳＯＣ（Ｓｙｔｅｍ Ｏｎ Ｃｈｉｐ）／ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）４１、コンピュータとしてのＣＰＵ４２、記憶媒体としてのメモリ４３を有する。ＣＰＵ４２はメモリ４３に記憶されたコンピュータプログラムを実行することによって、画像処理システム１００全体の各種制御を行う。なお、実施形態１では、統合処理部４０はカメラユニットとは別の筐体で収納されている。

【0043】

ＳＯＣ／ＦＰＧＡ４１は、画像処理部４１ａ、認識部４１ｂ、統合制御部４１ｃを有する。画像処理部４１ａは、カメラ処理部３１～３４からそれぞれの歪曲補正前の画像データを取得すると共に、各カメラ情報部３１ｃ～３４ｃより各カメラユニット１１～１４のカメラ情報を取得する。各カメラ情報は、前述のように、異画角レンズ２１ｃ～２４ｃの光学特性、撮像素子２１ｄ～２４ｄの画素数、光電変換特性、γ特性、感度特性、歪曲補正前の画像データのフォーマット情報を含む。また、カメラユニットの車両座標における取り付け座標および姿勢情報を含む。

【0044】

画像処理部４１ａは、撮像部２１～２４のそれぞれの低解像度領域１０ｂから得られた画像データに対して歪曲補正を行う。実施形態１では、画像処理部４１ａは、高解像度領域１０ａから得られた画像データは歪曲が殆どないので歪曲補正は行わない。但し、画像処理部４１ａは、高解像度領域１０ａから得られた画像データに対しても簡略的な歪曲補正を行ってもよい。画像処理部４１ａは、歪曲補正を行った撮像部２１～２４のそれぞれの低解像度領域１０ｂの画像データと、高解像度領域１０ａの画像データをスムーズにつなぎ合わせるように合成して撮像部２１～２４毎の全体画像を生成する。なお、低解像度領域１０ｂの画像データと高解像度領域１０ａから得られた画像データの両方に対して歪曲補正を行う場合には、画像処理部３１ａ～３４ａのそれぞれから得られた歪曲補正前の画像データをそのまま歪曲補正してもよい。

【0045】

認識部４１ｂは、少なくとも低解像度領域を歪曲補正した後の、撮像部２１～２４毎の全体画像（画像の周辺部を含む）に対して画像認識処理を行い、撮像部２１～２４毎の全体画像における所定の対象物（例えば自動車、人物、障害物など）を画像認識する。例えば、認識部４１ｂは、少なくとも低解像度領域（高歪曲領域）に対応する画像データを歪曲補正した後で画像認識して第２の画像認識結果を出力する。なお、認識部４１ｂは、全体画像（画像の周辺部を含む）に対して画像認識処理を行う場合に、認識部３１ｂ～３４ｂによる認識結果（対象物の種類や座標）を参照してもよい。ここで、認識部４１ｂは、画像取得部により取得された画像データの内、第１の画像認識部で画像認識を行った一部領域よりも広い領域の画像データを画像認識して第２の画像認識結果を出力する第２の画像認識部として機能している。第２の画像認識部は、低歪曲領域としての高解像度領域１０ａと高歪曲領域としての低解像度領域１０ｂに対応した画像データの両方を画像認識して第２の画像認識結果を出力している。

【0046】

画像処理部４１ａは、複数の撮像部の画像をつなぎ合わせるように合成して、パノラマ的な合成画像を生成してもよい。その場合、つなぎ合わされる複数の撮像部の画像は、それぞれの撮影画角の少なくとも一部が互いに所定量以上のオーバーラップ領域を有するように設定されていることが望ましい。

【0047】

認識部４１ｂは、そのパノラマ的な合成画像に対して画像認識を行ってもよい。そうすることによって、例えば複数の撮像部の画角にまたがるように撮影された対象物の画像認識が可能となる。これは、それぞれの撮像部からの個別の全体画像では対象物の全体像が分からない場合があるが、パノラマ的な合成画像においてはその対象物のほぼ全体が映り画像処理により画像認識が可能になる場合があるからである。

【0048】

統合制御部４１ｃは、例えば認識部３１ｂ～３４ｂによる認識結果と認識部４１ｂによる認識結果が異なる場合には、より信頼性が高い方の認識結果を採用することで統合された画像認識結果を出力する。
例えば、認識部３１ｂ～３４ｂにより認識された画像内の対象物の占める割合と認識部４１ｂにより認識された同じ対象物の、画面内に閉める割合を比較し、その割合が大きい方の認識結果を、より信頼性が高いと判定して採用してもよい。

【0049】

或いは、高解像度領域内と低解像度領域の両方にまたがっている対象物の場合には、認識部３１ｂ～３４ｂによる認識結果よりも認識部４１ｂによる認識結果を、より信頼性が高いと判定して採用してもよい。或いは、認識部３１ｂ～３４ｂにより認識された対象物の位置が画像の周辺部の場合には、信頼性が低いと判定して、認識部４１ｂによる認識結果を、より信頼性が高いと判定して採用してもよい。

【0050】

或いは、認識部４１ｂでは、低解像度領域を歪曲補正した状態で、低解像度領域だけ画像認識をすると共に、もし低解像度領域と高解像度領域にまたがる対象物があった場合には、その対象物に対して画像認識をするようにしてもよい。例えば、高解像度領域だけに存在する対象物に対しては認識部３１ｂ～３４ｂによる認識の信頼性の方が高いとみなして認識部４１ｂでは画像認識処理をしないように制御してもよい。ここで、統合制御部４１ｃは、第１の画像認識結果の信頼性と第２の画像認識結果の信頼性に基づき統合された画像認識結果を出力する統合処理部として機能している。

【0051】

統合制御部４１ｃは、撮像部２１～２４毎の全体画像、パノラマ的な合成画像などの内、所望の画像を第１表示部５０，第２表示部５１などに表示するための画像データを生成する。また、認識された対象物を強調表示するための枠や、対象物の種類、サイズ、位置、速度などに関する情報や警告などのためのＣＧなどを生成する。

【0052】

また、これらのＣＧや文字を画像に重畳するための表示処理などを行う。例えば車両１が警察の車両などの場合には、他の車両のナンバープレートや運転者の顔画像を認識し、ネットワークを介して警察のサーバなどに問い合わせをして車両の所有者や運転者名を第１表示部５０や第２表示部５１などに表示することも可能である。ここで、第１表示部５０および第２表示部５１の少なくとも一つは、画像データを表示したり、統合された画像認識結果を表示したりする。

【0053】

実施形態１においては、統合制御部４１ｃは複数のカメラユニットの間で認識された対象物に関する情報を共有するように構成されている。例えば、カメラユニット１４において認識された対象物がカメラユニット１１の画角の方向に移動していることが認識されたものとする。その場合には、統合制御部４１ｃはその対象物の種類と、その対象物の移動方向に関する情報または優先認識領域情報を含む予測情報をカメラユニット１１の認識部３１ｂに送信する。

【0054】

カメラユニット１１の認識部３１ｂは統合制御部４１ｃから受け取った予測情報を参照して認識動作を行う。例えば、統合制御部４１ｃから受け取った予測情報がその対象物の移動方向に関する情報の場合には、その情報に基づきその対象物がカメラユニット１１の画角どの位置に登場するかを予測する。

【0055】

統合制御部４１ｃは、予測情報として優先認識領域情報を送信してもよい。優先認識領域情報は、例えばカメラユニット１１の撮影画角のどの領域にその対象物がいつ登場するかを含む。カメラユニット１１の認識部３１ｂは、予測情報として優先認識領域情報を受信した場合には、予測されたタイミングでその対象物がその優先認識領域に登場する可能性が高いと予測して画像認識を行う。

【0056】

統合制御部４１ｃは、走行制御部（ＥＣＵ）６０などと、ＣＡＮ、ＦｌｅｘＲａｙ、Ｅｔｈｅｒｎｅｔなどに準拠した通信プロトコルに従った通信を行う。それによって、走行制御部（ＥＣＵ）６０などからの車両制御信号に基づき表示する情報を適宜変更する表示処理を行う。例えば、車両制御信号により取得された車両１の移動状態に応じて表示部に表示する画像の範囲を変化させる。

【0057】

なお、走行制御部（ＥＣＵ）６０は、車両１に搭載されており、車両１の駆動制御、方向制御などを総合的に行うためのコンピュータやメモリを内蔵したユニットである。走行制御部（ＥＣＵ）６０からは車両制御信号として例えば走行速度、走行方向、シフトレバー、シフトギア、ウインカーの状態、地磁気センサなどによる車両１の向きなどの車両１の走行（移動状態）に関する情報などが統合処理部４０に対して入力される。

【0058】

逆に、統合制御部４１ｃは、認識部４１ｂで認識された所定の対象物（障害物など）の種類、位置、移動方向、移動速度などの情報を走行制御部（ＥＣＵ）６０に送信する。それによって、走行制御部（ＥＣＵ）６０は、車両１の停止、駆動、走行方向の変更などの障害物の回避などに必要な制御を行う。ここで走行制御部（ＥＣＵ）６０は、統合された画像認識結果に基づき、車両１の移動を制御する移動制御部として機能している。

【0059】

第１表示部５０は、例えば、車両１の運転席の前方上部の車幅方向の中央付近に、表示画面を車両１の後方に向けて設置され電子ルームミラーとして機能する。なお、ハーフミラーなどを用いて、ディスプレイとして使用しないときは鏡として使用できる構成としてもよい。例えば第１表示部５０は、タッチパネルまたは操作ボタンを有し、ユーザーからの指示を取得し、統合制御部４１ｃへ出力可能な構成としてもよい。

【0060】

第２表示部５１は、例えば、車両１の運転席の前方の車幅方向の中央付近の操作パネル周辺に設置される。なお、移動装置としての車両１には、ナビゲーションシステムおよびオーディオシステムなどが搭載されている。そして、例えば第２表示部には、ナビゲーションシステムや、オーディオシステムや走行制御部（ＥＣＵ）６０からの各種制御信号なども表示することができる。例えば第２表示部は、タッチパネルまたは操作ボタンを有し、ユーザーからの指示を取得可能な構成としている。

【0061】

実施形態１では、第１表示部５０および第２表示部５１は、ディスプレイパネルとして液晶ディスプレイまたは有機ＥＬディスプレイを有する。なお、実施形態１において、表示部の数は２つに限定されない。１つで兼用してもよいし、３つ以上あってもよい。

【0062】

実施形態１では、統合処理部４０に含まれる構成要素の一部または全部をハードウェアで実現するようにしてもよいし、ＣＰＵ４２に、メモリ４３に記憶されたコンピュータプログラムを実行させることによって実現してもよい。ハードウェアとしては、専用回路（ＡＳＩＣ）やプロセッサ（リコンフィギュラブルプロセッサ、ＤＳＰ）などを用いることができる。

【0063】

実施形態１では、画像処理部３１ａ～３４ａで行っている画像処理の一部または全部を統合処理部４０の画像処理部４１ａで行ってもよい。実施形態１では、例えば、画像取得部と第１の画像認識部とは同じカメラユニットの筐体に収納されており、カメラユニットと第２の画像認識部とは別の筐体に収納されている。

【0064】

実施形態１では、統合処理部４０は移動装置としての車両１に搭載されているが、統合処理部４０の画像処理部４１ａ、認識部４１ｂ、統合制御部４１ｃの一部の処理を例えばネットワークを介して外部サーバなどで行ってもよい。その場合、例えば画像取得部としての撮像部２１～２４は車両１に搭載されるが、例えばカメラ処理部３１～３４および統合処理部４０の機能の一部は外部サーバなどの外部装置で処理することが可能になる。

【0065】

記録部６１は、統合処理部４０で生成された撮像部２１～２４毎の全体画像や、パノラマ的な合成画像を記録媒体に記録する。さらに、認識された対象物を示す所定の枠や文字や警告などのＣＧや、ＣＧが重畳され第１表示部５０，第２表示部５１などに表示された画像を時刻などやＧＰＳ情報などと共に記録する。
統合処理部４０は、記録部６１に記録された過去の情報を再生し、それを第１表示部５０や第２表示部５１に表示することも可能である。

【0066】

通信部６２は、ネットワークを介して外部サーバなどと通信するためのものであり、記録部６１に記録される前の情報や記録部６１に記録された過去の情報を外部サーバなどに送信して外部サーバなどに保存することが可能である。逆に外部サーバなどから渋滞情報や、各種の情報を取得して、統合処理部４０を介して第１表示部５０や第２表示部５１に表示することも可能である。

【0067】

以上のように、高解像度領域１０ａについては歪曲補正前の画像データの状態で画像認識処理を行っている。それにより速やかに認識を可能にし、低解像度領域１０ｂから得られた歪曲補正前の画像データは歪曲補正後に画像認識処理をすることで認識精度を上げることができる。
しかも、実施形態１では、高解像度領域１０ａについては撮像装置の認識部で歪曲補正前の画像データの状態でハードウェアを用いて画像認識処理を行っているので、高解像度領域１０ａの画像認識をより速やかに行うことができる。

【0068】

なお、認識部３１ｂ～３４ｂで行っている画像認識処理の一部または全部を統合処理部４０の認識部４１ｂで行ってもよい。但し、その場合、認識部４１ｂは、高解像度領域１０ａについては歪曲補正前の画像データの状態で画像認識処理を行うことにより短時間で速やかに画像認識結果を得られるようにする。一方、低解像度領域１０ｂから得られた歪曲補正前の画像データは歪曲補正後に画像認識処理をする。

【0069】

なお、認識部３１ｂ～３４ｂまたは認識部４１ｂで行う画像処理は機械学習を用いてもよい。機械学習を用いた認識方法としては、オブジェクト検出アルゴリズムを利用する認識方法であればどのような認識方法であってもよい。例えば、ＹＯＬＯ（Ｙｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ）、Ｒ－ＣＮＮ （Ｒｅｇｉｏｎ－ｂａｓｅｄ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ）、Ｆａｓｔ Ｒ－ＣＮＮ、Ｆａｓｔｅｒ Ｒ－ＣＮＮ、ＳＳＤ（Ｓｉｎｇｌｅ Ｓｈｏｔ ＭｕｌｔｉＢｏｘ Ｄｅｔｅｃｔｏｒ）などを用いることができる。なお、機械学習を用いることによってある程度の歪曲画像のままであっても画像認識率を上げることが可能となる。

【0070】

図４は、実施形態１のカメラ処理部の処理フローを説明するためのフローチャートである。図４の処理フローは、カメラ処理部３１～３４の内部のＣＰＵがメモリ内のコンピュータプログラムを実行することによりハードウェアとＣＰＵ、ＧＰＵ等が連携して例えばフレーム単位で制御される。

【0071】

画像処理システム１００に電源が入るとハードウェアがリセットされ、フローがスタートする。その後、垂直同期信号が入るたびに図４のフローが実行され、ステップＳ４１（撮像ステップまたは取得ステップ）において、カメラ処理部３１～３４は、それぞれ撮像部２１～２４より撮像画像を取得する。

【0072】

ステップＳ４２において、カメラ処理部３１～３４内の画像処理部３１ａ～３４ａによりデベイヤ処理、ホワイトバランス調整などの画像処理が行われ、歪曲補正前の画像データが生成される。

【0073】

ステップＳ４３（第１の画像認識ステップ）において、認識部３１ｂ～３４ｂは、歪曲補正前の画像データに基づき少なくとも高解像度領域１０ａから所定の対象物を画像認識する。ステップＳ４３では、ステップＳ４１により取得された画像データの内、低歪曲領域を含む少なくとも一部領域の画像データを画像認識して第１の画像認識結果を出力する。なお、前述のように、認識部３１ｂ～３４ｂは高解像度領域１０ａだけから所定の対象物を画像認識してもよいし、周辺の低解像度領域１０ｂの画像についても画像認識してもよい。

【0074】

ステップＳ４４では、画像認識された対象物の種類と座標（または対象物の領域の情報）をセットにして統合処理部４０に送信する。

【0075】

図５は、実施形態１の統合処理部４０における処理フローを説明するためのフローチャートである。図５の処理フローは、統合処理部４０のＣＰＵ４２がメモリ４３内のコンピュータプログラムを実行することにより制御される。

【0076】

ステップＳ５１において、統合処理部４０はカメラ処理部３１～３４のカメラ情報部３１ｃ～３４ｃよりそれぞれのカメラ情報を取得する。

【0077】

ステップＳ５２において、カメラ情報の中の光学特性、撮像素子の画素数などに基づき、歪曲補正パラメータを算出する。なお、歪曲補正パラメータを算出する代わりに、予め座標変換テーブルを用意し、その座標変換テーブルを用いて歪曲補正をしてもよい。また、歪曲補正に際して補間を行ってもよい。また、ステップＳ５２において、カメラ情報の中の各カメラユニットの車両座標における取り付け座標および姿勢情報に基づき、複数のカメラユニットからの画像を合成するための合成パラメータも算出する。

【0078】

ステップＳ５３において、ステップＳ５２で算出された歪曲補正パラメータと合成パラメータを統合処理部４０内の画像処理部４１ａに設定する。

【0079】

ステップＳ５４において、歪曲補正後の低解像度領域の座標と、歪曲補正していない高解像度領域の座標との位置合わせのための座標変換式を算出する。また、複数のカメラユニットからの画像を合成する際の座標の位置合わせのための座標変換式を算出して、これらの座標変換式を統合制御部４１ｃに設定する。また、これらの座標変換式において、補間を行ってもよい。

【0080】

ステップＳ５５において、カメラ情報の中の撮像素子の感度特性やガンマ特性などに基づき画像処理パラメータを生成する。その際に、歪曲補正前の画像データを統計的に処理することによって画像認識率が向上するように画像処理パラメータを生成してもよい。

【0081】

ステップＳ５６において、ステップＳ５５で生成された画像処理パラメータを統合処理部４０内の画像処理部４１ａに設定する。

【0082】

図６は、実施形態１の統合処理部４０における統合処理フローを説明するためのフローチャートである。図６の処理フローは、統合処理部４０のＣＰＵ４２がメモリ４３内のコンピュータプログラムを実行することにより、ハードウェアとＣＰＵ、ＧＰＵ等が連携して例えばフレーム単位で制御される。

【0083】

ステップＳ６１において、統合処理部４０はカメラ処理部３１～３４より歪曲補正前の画像データを取得する。

【0084】

ステップＳ６２において、統合処理部４０の画像処理部４１ａは、歪曲補正前の画像データを画像処理して歪曲補正を行うと共に、複数のカメラユニットからの画像の合成を行う。その際の歪曲補正パラメータおよび合成パラメータはステップＳ５３で設定されたものを用いる。なお、ステップＳ６２は、複数のカメラユニットにより撮像された複数の画像データを合成する合成ステップとして機能している。

【0085】

ステップＳ６３（第２の画像認識ステップ）において、統合処理部４０の認識部４１ｂは、歪曲補正後の低解像度領域（高歪曲領域）の画像データとそれ以外の画像データに対して画像認識を行う。この第２の画像認識ステップにおいては、取得ステップであるステップＳ４１で取得された画像データの内、第１の画像認識ステップがステップＳ４３で認識を行った一部領域よりも広い領域の画像データを画像認識する。また、複数のカメラユニットからの画像データを合成した合成画像についても画像認識を行うことにより、複数のカメラユニットから得られた複数の画像データにまたがる対象物を画像認識する。さらに、複数のカメラユニットにまたがるように移動する対象物も画像認識する。

【0086】

ステップＳ６４において、統合処理部４０の認識部４１ｂは、カメラ処理部３１～３４の認識部３１ｂ～３４ｂにおいて歪曲補正前の画像データについてそれぞれ画像認識された結果（認識された対象物とその座標）を取得する。なお、ステップＳ６４およびＳ６５は、ステップＳ６１～Ｓ６３と並行して行われる。

【0087】

ステップＳ６５において、カメラ処理部３１～３４の認識部３１ｂ～３４ｂで認識された対象物の座標を歪曲補正後の座標に変換する。

【0088】

ステップＳ６６（統合処理ステップ）において、カメラ処理部３１～３４の認識部３１ｂ～３４ｂによる画像認識結果と、統合処理部４０の認識部４１ｂによる画像認識結果とを比較し、最終的な認識結果を生成する。このとき、前述したように、それぞれの画像認識結果の信頼性に基づき最終的な認識結果を生成する。例えば、例えば認識部３１ｂ～３４ｂによる認識結果と認識部４１ｂによる認識結果が異なる場合には、より信頼性が高い方の認識結果を採用する。

【0089】

ステップＳ６７において、画像認識された対象物を強調表示するための枠を生成し、それを歪曲補正後の画像に重畳する。

【0090】

ステップＳ６８において、第１表示部５０または第２表示部５１などに画像に枠を重畳して表示する。その際に、車両１の移動状態に応じて第１表示部５０、第２表示部５１などに表示する画像の表示領域と認識部３１ｂ～３４ｂおよび４１ｂによる認識領域を変更する。その詳細については後述する。

【0091】

ステップＳ６９において、画像認識された対象物の車両１の座標に対する座標を生成する。なお、ステップＳ６９およびＳ７０は、ステップＳ６７およびＳ６８と並行して行われる。

【0092】

ステップＳ７０において、ステップＳ６９で生成された対象物の車両１に対する座標およびその対象物の種類を走行制御部（ＥＣＵ）６０に送信する。

【0093】

ステップＳ７１において、カメラユニット間で移動する対象物がある場合には、その対象物の移動方向と速度を予測する。例えば、統合制御部４１ｃは、複数の画像データをまたがるように移動する対象物を認識し、その動きを予測する。なお、ステップＳ７１およびＳ７２は、ステップＳ６９およびＳ７０と並行して行われる。

【0094】

ステップＳ７２において、その対象物の種類と、移動方向などに関する情報または、優先認識領域に関する予測情報を該当するカメラユニットに送信する。このようにすることによって、カメラユニット側でのその対象物に対する画像認識の精度を向上させることができる。その後、図６のフローチャートは終了する。なお、図６のフローチャートは、例えばフレーム単位で実行される。また、図６における並行処理は、少なくとも並列処理の１つをハードウェアで処理することによって実現してもよい。

【0095】

図７は、実施形態１の画像表示方法の例について説明するためのフローチャートである。図７は、図６のステップＳ６８の詳細を説明しており、図７の処理フローは、統合処理部４０のＣＰＵ４２がメモリ４３内のコンピュータプログラムを実行することにより例えばフレーム単位で制御される。

【0096】

図８は、実施形態１における高解像度領域と低解像度領域と複数種類の表示領域との関係を説明するための図である。図８（Ａ）はカメラユニット１１、１２、１４の基準画角の表示領域８２の例を説明するための図、図８（Ｂ）はカメラユニット１１、１２、１４の狭画角の表示領域８３の例を説明するための図である。図８（Ｃ）はカメラユニット１１、１２、１４の広画角の表示領域８４の例を説明するための図、図８（Ｄ）はカメラユニット１３の後方の狭画角の表示領域８５の例を説明するための図である。また、図８（Ｅ）はカメラユニット１３の後方の広画角の表示領域８６の例を説明するための図である。

【0097】

図８（Ａ）～（Ｅ）において、８１が撮像素子の受光面、１０ａは図２で説明した高解像度領域（低歪曲領域）、１０ｂは低解像度領域（高歪曲領域）を示している。但し、通常表示される画像には、上記の高解像度領域（低歪曲領域）１０ａと低解像度領域（高歪曲領域）１０ｂの境界線は表示されない。但し、必要に応じて上記の境界線を画像上に重畳表示してもよい。実施形態１では、認識部４１ｂが認識する領域は、例えば表示領域全体とする。また、認識部３１ｂ～３４ｂが認識する領域は例えば表示領域内の高解像度領域１０ａに内接する矩形などとする。図８（Ａ）～（Ｅ）に示すように、複数種類の表示領域を切り替えられるようになっており、これらの表示領域は走行制御部（ＥＣＵ）６０からの車両制御情報に基づき切り替えられる。

【0098】

図７のステップＳ７３において、ＣＰＵ４２は、走行制御部（ＥＣＵ）６０から、車両制御情報を取得する。車両制御情報は前述のように、例えば走行速度、走行方向、シフトレバー、シフトギア、ウインカーなどの車両１の走行に関する情報などを含む。

【0099】

ステップＳ７４において、ＣＰＵ４２は、車両制御情報に基づき、車両１が前進状態か否かを判定する。車両１が前進状態であると判定された場合（ステップＳ７４でＹｅｓ）、ＣＰＵ４２はステップＳ７５に進む。車両１が前進状態でないと判定された場合（ステップＳ７４でＮｏ）、ＣＰＵ４２はステップＳ８０に進む。

【0100】

ステップＳ７５において、ＣＰＵ４２は、進路変更中か否かを判定する。進路変更中であると判定された場合（ステップＳ７５でＹｅｓ）、ＣＰＵ４２はステップＳ７６に進む。進路変更中でないと判定された場合（ステップＳ７５でＮｏ）、ＣＰＵ４２はステップＳ７９に進む。

【0101】

ステップＳ７６において、ＣＰＵ４２は、前進速度が所定の閾値Ｖ１よりも大きいか否かを判定する。前進速度が所定の閾値Ｖ１よりも大きいと判定された場合（ステップＳ７６でＹｅｓ）、ＣＰＵ４２はステップＳ７８に進む。前進速度が所定の閾値Ｖ１よりも大きくないと判定された場合（ステップＳ７６でＮｏ）、ＣＰＵ４２はステップＳ７７に進む。

【0102】

ステップＳ７７において、ＣＰＵ４２は、基準画角の画像を第１表示部５０に表示させる。例えば、ＣＰＵ４２は、図８の基準画角の表示領域８２の画像を第１表示部５０に表示させる。

【0103】

図９（Ａ）、図９（Ｂ）および図９（Ｃ）は、第１表示部５０の表示例を説明するための図である。図９（Ａ）は基準画角の画像の表示例を説明するための図であり、図９（Ｂ）は狭画角の画像の表示例を説明するための図であり、図９（Ｃ）は広画角の画像の表示例を説明するための図である。図９（Ａ）において、５０１は第１表示部５０の表示画面を示している。８２Ｒは左側方のカメラユニット１４の基準画角の画像、８２Ｃは正面のカメラユニット１１の基準画角の画像、８２Ｒは右側方のカメラユニット１２の基準画角の画像を示している。

【0104】

図８の基準画角の表示領域８２の画像を例えば第１表示部５０に表示する場合には、例えば図９（Ａ）のように表示する。例えば、左側方のカメラユニット１４の基準画角の画像８２Ｌ、正面のカメラユニット１１の基準画角の画像８２Ｃ、右側方のカメラユニット１２の基準画角の画像８２Ｒを左から順に並べて第１表示部５０の表示画面５０１に表示する。

【0105】

図１０は（Ａ）は、実施形態１の第１表示部５０の表示画面５０１の表示例を説明するための図である。図１０（Ｂ）は、実施形態１の第２表示部５１の表示画面５１１の表示例を説明するための図である。

【0106】

図１０（Ａ）に示すように、ステップＳ７６で前進速度が所定の閾値Ｖ１よりも大きくないと判定された場合には、基準画角の画像８２Ｌ、８２Ｃ、８２Ｒを並べて第１表示部５０の表示画面５０１に表示する。なお、図１０（Ａ）において、８２Ｂは後方用のカメラユニット１３の基準画角の画像であり、第１表示部５０の表示画面５０１の中にピクチャーインピクチャーで表示される。実施形態１では、ステップＳ７６で前進速度が所定の閾値Ｖ１よりも大きくないと判定された場合に、カメラユニット１３の基準画角の画像８２Ｂが第１表示部５０に表示される。

【0107】

ステップＳ７８において、ＣＰＵ４２は、図８（Ｂ）に示す狭画角の表示領域８３の画像を第１表示部５０に表示させる。表示領域８３は、表示領域８２より上側に広く、左右方向の幅が狭い。そして左側方のカメラユニット１４の狭画角の画像８３Ｌ、正面のカメラユニット１１の狭画角の画像８３Ｃ、右側面のカメラユニット１２の狭画角の画像８３Ｒが図９（Ｂ）のように並べて表示される。このように、前進速度が所定の閾値Ｖ１（例えば６０Ｋｍ）よりも大きい場合には視覚が狭くなるので、図９（Ｂ）のように表示したほうが必要な情報を速やかに視認しやすくなる。

【0108】

ステップＳ７９において、ＣＰＵ４２は、図８（Ｃ）に示す広画角の表示領域８４の画像を第１表示部５０に表示させる。表示領域８４は、表示領域８２よりも左右方向の幅が広く、下方向に広がっている。例えば、図９（Ｃ）に示すように、第１表示部５０の表示画面５０１に、左側方のカメラユニット１４の広画角の画像８４Ｌ、正面のカメラユニット１１の広画角の画像８４Ｃ、右側面のカメラユニット１２の広画角の画像８４Ｒが並べて表示される。さらに、例えば左に進路変更中の場合には、図９（Ｃ）に並べて表示される３つの画像を表示画面５０１の中心に対して左側にずらして表示してもよい。逆に右に進路変更中の場合には、図９（Ｃ）に並べて表示される３つの画像を表示画面５０１の中心に対して右側にずらして表示してもよい。そのように表示することで視認性を高めることができる。このように、実施形態１では、進路変更中は広画角の画像を表示しているので、周囲の安全をより視認しやすくなる。しかも、下方に画角を広げた画像を表示しているので、道路の障害物をより視認しやすくなる。

【0109】

ステップＳ８０において、ＣＰＵ４２は、後進速度が所定の速度Ｖ２（例えば１０Ｋｍ）よりも大きいか否かを判定する。後進速度が所定の速度Ｖ２よりも大きいと判定された場合（ステップＳ８０でＹｅｓ）、ＣＰＵ４２はステップＳ８２に進む。後進速度が所定の速度Ｖ２よりも大きくないと判定された場合（ステップＳ８０でＮｏ）、ＣＰＵ４２はステップＳ８１に進む。

【0110】

ステップＳ８１において、ＣＰＵ４２は、後進用の上下方向に狭画角の表示領域８５の画像（図８（Ｄ）に示すような画像）を、第２表示部５１の表示画面５１１に図１０（Ｂ）のように表示させる。図１０（Ｂ）は、車両１を後退する際に第２表示部５１の表示画面５１１に表示される画面の例を示しており、例えば駐車スペースに車両１をガイドするためのガイド５１２が重畳表示される。

【0111】

図１１（Ａ）は、後退時の上下方向に狭画角の画像８５Ｂの例を説明するための図であり、第２表示部５１の表示画面５１１には図１１（Ａ）のような上下方向に狭画角の画像８５Ｂが表示される。

【0112】

ステップＳ８２において、ＣＰＵ４２は、後進用の上下方向に広画角の画像８６Ｂ（図８（Ｅ）に示すような画像）を、第２表示部５１の表示画面５１１に図１１（Ｂ）のように表示させる。ここで、図１１（Ｂ）は、実施形態１の後進用の広画角の画像８６Ｂの例を示した図である。図８（Ｅ）に示されるように、後進用の広画角の表示領域８６は後進用の狭画角の表示領域８５よりも上下方向に画角が広げられている。これは、後進速度が所定の速度Ｖ２よりも大きい場合には、より後方を表示して障害物を視認しやすくするためである。なお、実施形態１では、後進用の広画角の表示領域８６の左右の幅と後進用の狭画角の表示領域８５の左右の幅は同じになっているが、表示領域８６の左右の幅を、表示領域８５の左右の幅よりも狭くしてもよい。

【0113】

このように、実施形態１では、高解像度領域（低歪曲領域）１０ａは、上述のように通常の撮像用の光学系の中心射影方式（ｙ＝ｆ×ｔａｎθ）または等距離射影方式（ｙ＝ｆ×θ）に近似した射影特性となるように構成されている。従って、第１表示部５０に表示される例えば電子ルームミラー用の画像は、解像度が低解像度領域（高歪曲領域）１０ｂと比較して高く、車両１の正面、側方、後方の遠方を、より精細に表示することができる。

【0114】

また、高解像度領域１０ａは光学歪曲が小さいため、第１表示部５０に表示される電子ルームミラー用の画像も歪みが小さい状態で表示することができ、車両１の周囲を運転者がより自然な遠近感で視認できる。さらに、高解像度領域１０ａについては、歪曲補正前の画像データの状態で画像認識しているので、周囲の車両のナンバープレートや人物や障害物などを画像認識する際の画像認識タイミングを早めることができると共に、画像認識の精度を高めることができる。

【0115】

実施形態１における高解像度領域１０ａは、光学歪みが小さくなるように構成されており、歪曲補正前の画像データの状態で画像認識ができるので、画像認識のための処理負荷を低減し高速で画像認識をすることができる。従って画像認識結果に基づき障害物を早期に発見でき、障害物を回避するための動作をタイムリーに行える。このように、実施形態１の構成を用いた場合には、例えば高速道路などでの高速走行時において大きな効果を得ることができる。なお、実施形態１では、複数のカメラユニットを用いる例を説明したが、カメラユニットが１つだけのシステムにおいても有効である。

【0116】

以上のように、実施形態１では、高精細な電子ルームミラー用の表示や後方など車両周辺確認用の広範囲な表示を少ない数のカメラで同時に取得すると共に、車両制御状態に応じて出力する画像の切り出し領域を変化させている。また、車両１の走行速度情報（車両１の移動状態を含む）に基づいて、表示画角を変更している。従って、ドライバーは車両制御状態に応じてより重要な範囲を容易に確認することができる。

【0117】

さらに、車両１の移動状態に応じて切り出し領域を変更することで、画像認識領域が変更されるようにしている。例えば、車両１の移動状態に応じて切り出し領域を変更することで、表示部に表示する画像の表示領域と第１の画像認識部と第２の画像認識部による認識領域とを変更しているので、無駄の少ない効率的な画像認識ができる。なお、表示領域と認識領域とは同一でなくても良い。

【0118】

なお、実施形態１では、切り出し領域を変化させるだけでなく解像度を変更してもよい。例えば、高速走行時には、表示画角を狭くすると共に、周辺画角の解像度を下げるようにしてもよい。実施形態１では、車両制御状態として、速度情報を用いる場合を例にとって説明したが、例えば、撮像部２１～２４または他のセンサから車両周囲の障害物情報を取得し、その障害物情報に基づいて表示領域を変更してもよい。

【0119】

なお、実施形態１においては、車両１などの移動装置に画像処理システムを搭載した例について説明した。しかし、実施形態１の移動装置は、自動車などの車両に限らず、列車、船舶、飛行機、ロボット、ドローンなどの移動をする移動装置であればどのようなものであってもよい。また、実施形態１の画像処理システムはそれらの移動装置に搭載されるものを含む。
また、移動装置をリモートでコントロールする場合にも実施形態１を適用することができる。

【0120】

なお、実施形態１では、撮像部２１～２４を画像取得部とした例を説明した。しかし、画像取得部は、低歪曲領域と高歪曲領域とを有する光学像を撮像する撮像素子により生成した画像データを取得するものであればよく、例えばネットワークなどを介して上記のような画像データを取得するものなどであってもよい。或いは、記録媒体に記録された上記のような画像データを再生することによって取得するものであってもよい。

【0121】

［実施形態２］
上述した実施形態１において説明された様々な機能、処理および方法の少なくとも一つは、プログラムを用いて実現することができる。以下、実施形態２では、上述した実施形態１おいて説明された様々な機能、処理および方法の少なくとも一つを実現するためのプログラムを「プログラムＸ」と呼ぶ。さらに、実施形態２では、プログラムＸを実行するためのコンピュータを「コンピュータＹ」と呼ぶ。パーソナルコンピュータ、マイクロコンピュータ、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などは、コンピュータＹの一例である。上述した実施形態における画像処理システムなどのコンピュータも、コンピュータＹの一例である。

【0122】

上述した実施形態１において説明された様々な機能、処理および方法の少なくとも一つは、コンピュータＹがプログラムＸを実行することによって実現することができる。この場合において、プログラムＸは、コンピュータ読み取り可能な記憶媒体を介してコンピュータＹに供給される。実施形態２におけるコンピュータ読み取り可能な記憶媒体は、ハードディスク装置、磁気記憶装置、光記憶装置、光磁気記憶装置、メモリカード、ＲＯＭ、ＲＡＭなどの少なくとも一つを含む。さらに、実施形態２におけるコンピュータ読み取り可能な記憶媒体は、ｎｏｎ－ｔｒａｎｓｉｔｏｒｙな記憶媒体である。

【符号の説明】

【0123】

１：車両
１０ａ：高解像度領域
１０ｂ：低解像度領域
１１～１４：カメラユニット
２１～２４：撮像部
３１～３４：カメラ処理部
３１ｂ～３４ｂ：認識部
４０：統合処理部
４１ｂ：認識部
５０：第１表示部
５１：第２表示部
６０：走行制御部ＥＣＵ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】