特許 7554699 画像処理装置および画像処理方法、車両用制御装置、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-11

(45)【発行日】2024-09-20

(54)【発明の名称】画像処理装置および画像処理方法、車両用制御装置、プログラム

(51)【国際特許分類】

   G06T 5/80 20240101AFI20240912BHJP

   G06T 7/00 20170101ALI20240912BHJP

   G06V 20/58 20220101ALI20240912BHJP

   B60W 60/00 20200101ALI20240912BHJP

   B60W 40/04 20060101ALI20240912BHJP

【ＦＩ】

G06T5/80

G06T7/00 650

G06V20/58

B60W60/00

B60W40/04

【請求項の数】 15

(21)【出願番号】P 2021061592

(22)【出願日】2021-03-31

(65)【公開番号】P2022157399

(43)【公開日】2022-10-14

【審査請求日】2023-11-28

(73)【特許権者】

【識別番号】000005326

【氏名又は名称】本田技研工業株式会社

(74)【代理人】

【識別番号】110003281

【氏名又は名称】弁理士法人大塚国際特許事務所

(72)【発明者】

【氏名】土屋 成光

(72)【発明者】

【氏名】藤元 岳洋

【審査官】菊池 伸郎

(56)【参考文献】

【文献】特開２０１９－１４９０９９（ＪＰ，Ａ）

【文献】特開２０１７－０９７５８１（ＪＰ，Ａ）

【文献】特開２０１８－０２２２３４（ＪＰ，Ａ）

【文献】特開２０１０－１２２８２１（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１９／０１３０５４０（ＵＳ，Ａ１）

【文献】中国特許出願公開第１１３３６２２２８（ＣＮ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １／００－７／９０

Ｇ０６Ｖ １０／００－４０／７０

Ｂ６０Ｗ ６０／００

Ｂ６０Ｗ ４０／０４

(57)【特許請求の範囲】

【請求項1】

歪み補正が必要な画像を撮影する撮影装置から得られる撮影画像に基づいて、車両の運転支援または自動運転のための外界認識を行う画像処理装置であって、
歪み補正処理の対象となる部分領域を規則に従って移動させて設定し、前記撮影画像の前記設定された部分領域に前記歪み補正処理を適用することにより歪みが補正された部分画像を取得する補正手段と、
前記車両の周囲においてカーブミラーを検出する検出手段と、
前記検出手段によりカーブミラーが検出された場合に、前記車両の所定の方向に対応する部分領域が前記歪み補正処理の対象として優先的に設定されるように前記規則を変更する変更手段と、を備えることを特徴とする画像処理装置。

【請求項2】

前記検出手段は、前記補正手段により歪み補正された部分領域の画像に基づいてカーブミラーを検出することを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記検出手段は、歪み補正の対象とならない画像を撮影する撮影装置により撮影された画像に基づいてカーブミラーを検出することを特徴とする請求項１または２に記載の画像処理装置。

【請求項4】

前記変更手段は、前記車両の左前方と右前方の少なくとも一方に対応する少なくとも一つの部分領域が前記歪み補正の対象として選択される頻度が高くなるように前記規則を変更することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。

【請求項5】

前記検出手段は、さらに検出されたカーブミラーが映す方向を検出し、
前記変更手段は、前記検出されたカーブミラーが映す方向に対応した部分領域の前記歪み補正の対象として選択される頻度が高くなるように前記規則を変更することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。

【請求項6】

前記検出手段は、カーブミラーの存在する位置が、車両が進行している車線の中央よりも左であるか右であるかに基づいて、カーブミラーが映す方向を検出することを特徴とする請求項５に記載の画像処理装置。

【請求項7】

前記検出手段は、カーブミラーの鏡面に対応する楕円と、前記鏡面を支持する支柱との位置関係に基づいて、カーブミラーが映す方向を検出することを特徴とする請求項５または６に記載の画像処理装置。

【請求項8】

前記変更手段により変更されていない規則は、それぞれ位置が異なる、予め設定された複数の部分領域のうちから１つずつを選択する順序を示す規則であり、
前記変更手段は、前記複数の部分領域のうちの前記所定の方向に対応する少なくとも１つの部分領域の選択される頻度が高くなるように前記規則を変更することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。

【請求項9】

前記変更手段により変更されていない規則は、それぞれ位置が異なる、予め設定された複数の部分領域のうちから１つずつを選択する順序を示す規則であり、
前記変更手段により変更された規則は、前記所定の方向に対応し前記複数の部分領域のいずれとも異なる部分領域を含む部分領域のグループから、前記所定の方向に対応する少なくとも１つの部分領域の選択される頻度が高くなるように部分領域を選択する規則であることを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。

【請求項10】

前記部分領域のグループは、前記所定の方向に対応し前記複数の部分領域のいずれとも異なる部分領域を前記複数の部分領域に加えることにより、または、前記複数の部分領域のいずれかを前記異なる部分領域で代替することにより構成されることを特徴とする請求項９に記載の画像処理装置。

【請求項11】

前記歪み補正が必要な画像を撮影する撮影装置は魚眼カメラであることを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。

【請求項12】

前記画像処理装置は、前記車両の全周を撮影するように配置された、前記歪み補正が必要な画像を撮影する複数の撮影装置と接続され、
前記変更手段は、前記複数の撮影装置のうち前記所定の方向を撮影範囲に含む撮影装置に関して前記規則を変更することを特徴とする請求項１乃至１１のいずれか１項に記載の画像処理装置。

【請求項13】

請求項１乃至１２のいずれか１項に記載の画像処理装置と、
前記補正手段により取得される、歪みが補正された部分画像に基づいて周辺環境を認識する認識手段と、
前記認識手段により認識された周辺環境に基づいて、運転支援、または、自動運転のための制御を行う制御手段と、を備えることを特徴とする車両用制御装置。

【請求項14】

歪み補正が必要な画像を撮影する撮影装置から得られる撮影画像に基づいて、車両の運転支援または自動運転のための外界認識を行う画像処理方法であって、
歪み補正処理の対象となる部分領域を規則に従って移動させて設定し、前記撮影画像の前記設定された部分領域に前記歪み補正処理を適用することにより歪みが補正された部分画像を取得する補正工程と、
前記車両の周囲においてカーブミラーを検出する検出工程と、
前記検出工程によりカーブミラーが検出された場合に、前記車両の所定の方向に対応する部分領域が前記歪み補正処理の対象として優先的に設定されるように前記規則を変更する変更工程と、を備えることを特徴とする画像処理方法。

【請求項15】

コンピュータを、請求項１乃至１２のいずれか１項に記載された画像処理装置または請求項１３に記載された車両用制御装置の各手段として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置および画像処理方法、車両用制御装置、プログラムに関する。

【背景技術】

【0002】

車両に魚眼カメラを搭載し、魚眼カメラにより撮影された広範囲な画像を運転支援に利用することが提案されている。例えば、特許文献１では、全周囲カメラ（魚眼カメラ）による撮影画像を用いてアラウンドビューを生成してモニタに表示することで、駐車支援を行う構成が記載されている。また、特許文献２では、魚眼カメラ等の車載センサの画像を用いて、車両の周囲に存在する他車両、自転車、歩行者、障害物等との相対距離や相対速度を検出するシステムが記載されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特願２０２１－００４０１７号公報

【文献】特願２０２１－００３９０６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、魚眼カメラから得られた撮影画像は一般に歪みが大きく、そのままでは運転支援制御や自動運転制御のための、高度な認識処理（例えば、ＡＩを用いた認識処理）に用いることができない。そこで、魚眼カメラによる撮影画像について歪み補正を行い、歪み補正された画像を用いて認識処理などを行うことが考えられる。例えば、撮影画像の中央を歪み補正の中心として歪み補正処理を行い、歪み補正処理後の画像を認識処理に用いることが考えられる。しかしながら、歪み補正処理後の画像であっても、撮影画像の中心から離れた部分では歪みが大きくなってしまう。このため、認識処理には魚眼カメラにより広範な撮影画像が得られたとしても、その一部（歪み補正を中心とした所定範囲の画像）しか用いることができず、広範な撮影画像を有効に活用することができない。

【0005】

本発明は、魚眼カメラから得られる広範な撮影画像を、運転支援または自動運転のための認識処理に有効に用いるための技術を提供する。

【課題を解決するための手段】

【0006】

本発明の一態様による画像処理装置は以下の構成を備える。すなわち、
歪み補正が必要な画像を撮影する撮影装置から得られる撮影画像に基づいて、車両の運転支援または自動運転のための外界認識を行う画像処理装置であって、
歪み補正処理の対象となる部分領域を規則に従って移動させて設定し、前記撮影画像の前記設定された部分領域に前記歪み補正処理を適用することにより歪みが補正された部分画像を取得する補正手段と、
前記車両の周囲においてカーブミラーを検出する検出手段と、
前記検出手段によりカーブミラーが検出された場合に、前記車両の所定の方向に対応する部分領域が前記歪み補正処理の対象として優先的に設定されるように前記規則を変更する変更手段と、を備える。

【発明の効果】

【0007】

本発明によれば、魚眼カメラから得られる広範な撮影画像を、運転支援または自動運転のための認識処理に有効に用いることができる。

【図面の簡単な説明】

【0008】

【図1】実施形態に係る車両の構成例を示すブロック図。

【図2】標準カメラおよび魚眼カメラの撮影範囲について説明する図。

【図3】魚眼カメラによって撮影された画像の歪み補正処理を説明する図。

【図4】撮影画像を用いた周囲環境認識のための機能構成例を示すブロック図。

【図5】部分領域の移動（選択）の規則を説明する図。

【図6】運転制御のための周囲環境認識処理の手順を説明するフローチャート。

【図7】部分領域の移動の規則を設定するための処理を示すフローチャート。

【図8】車両の左右前方、左右後方について説明する図。

【図9】車両の左前方に対応する部分領域が優先された場合の規則の例を説明する図。

【図10】カーブミラーの方向の検出方法を説明する図。

【発明を実施するための形態】

【0009】

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施形態で説明されている特徴の組み合わせの全てが発明に必須のものとは限らない。実施形態で説明されている複数の特徴うち二つ以上の特徴が任意に組み合わされてもよい。また、同一若しくは同様の構成には同一の参照番号を付し、重複した説明は省略する。

【0010】

図１は、本発明の一実施形態に係る車両１のブロック図である。図１において、車両１の概略が平面図と側面図とで示されている。車両１は一例としてセダンタイプの四輪の乗用車である。車両１はこのような四輪車両であってもよいし、二輪車両や他のタイプの車両であってもよい。

【0011】

本実施形態の車両１は、例えばパラレル方式のハイブリッド車両である。この場合、車両１の駆動輪を回転させる駆動力を出力する走行駆動部であるパワープラント６は、内燃機関、モータおよび自動変速機を含むことができる。モータは車両１を加速させる駆動源として利用可能であると共に減速時等において発電機としても利用可能である（回生制動）。

【0012】

車両１は、車両１を制御する車両用制御装置２（以下、単に制御装置２と呼ぶ）を含む。制御装置２は車内ネットワークにより通信可能に接続された複数のＥＣＵ（Electronic Control Unit）２０～２９を含む。各ＥＣＵは、ＣＰＵ（Central Processing Unit）等のプロセッサ（コンピュータ）、半導体メモリ等のメモリ、外部デバイスとのインタフェース等を含む。メモリにはプロセッサが実行するプログラムやプロセッサが処理に使用するデータ等が格納される。各ＥＣＵはプロセッサ、メモリおよびインタフェース等を複数備えていてもよい。例えば、ＥＣＵ２０は、プロセッサ２０ａとメモリ２０ｂとを備える。メモリ２０ｂに格納されたプログラムを含む命令をプロセッサ２０ａが実行することによって、ＥＣＵ２０による処理が実行される。これに代えて、ＥＣＵ２０は、ＥＣＵ２０による処理を実行するためのＡＳＩＣ（Application Specific Integrated Circuit）等の専用の集積回路を備えてもよい。他のＥＣＵについても同様である。

【0013】

以下、各ＥＣＵ２０～２９が担当する機能等について説明する。なお、ＥＣＵの数や、担当する機能については適宜設計可能であり、本実施形態よりも細分化したり、統合したりすることが可能である。

【0014】

ＥＣＵ２０は、車両１の自動走行に関わる制御を実行する。自動運転においては、車両１の操舵と、加減速の少なくともいずれか一方を自動制御する。ＥＣＵ２０による自動走行は、運転者による走行操作を必要としない自動走行（自動運転とも呼ばれうる）と、運転者による走行操作を支援するための自動走行（運転支援とも呼ばれうる）とを含んでもよい。

【0015】

ＥＣＵ２１は、電動パワーステアリング装置３を制御する。電動パワーステアリング装置３は、ステアリングホイール３１に対する運転者の運転操作（操舵操作）に応じて前輪を操舵する機構を含む。また、電動パワーステアリング装置３は操舵操作をアシストしたり、前輪を自動操舵したりするための駆動力を発揮するモータや、操舵角を検知するセンサ等を含む。車両１の運転状態が自動運転の場合、ＥＣＵ２１は、ＥＣＵ２０からの指示に対応して電動パワーステアリング装置３を自動制御し、車両１の進行方向を制御する。

【0016】

ＥＣＵ２２および２３は、車両の周囲状況を検知する検知ユニットの制御および検知結果の情報処理を行う。車両１は、車両の周囲状況を検知する検知ユニットとして、１つの標準カメラ４０と、４つの魚眼カメラ４１～４４とを含む。標準カメラ４０ならびに魚眼カメラ４２および４４はＥＣＵ２２に接続されている。魚眼カメラ４１および４３はＥＣＵ２３に接続されている。ＥＣＵ２２および２３は、標準カメラ４０及び魚眼カメラ４１～４４が撮影した画像を解析することにより、物標の輪郭や、道路上の車線の区画線（白線等）を抽出可能である。

【0017】

魚眼カメラ４１～４４とは、魚眼レンズが取り付けられたカメラのことである。以下、魚眼カメラ４１の構成について説明する。他の魚眼カメラ４１～４４も同様の構成を有してもよい。魚眼カメラ４１の画角は、標準カメラ４０の画角よりも広い。そのため、魚眼カメラ４１は、標準カメラ４０よりも広い範囲を撮影可能である。魚眼カメラ４１によって撮影された画像は、標準カメラ４０によって撮影された画像と比較して大きな歪みを有する。そのため、ＥＣＵ２３は、魚眼カメラ４１によって撮影された画像を解析する前に、当該画像に対して歪みを軽減するための変換処理（以下、「歪み補正処理」という）を行ってもよい。一方、ＥＣＵ２２は、標準カメラ４０によって撮影された画像を解析する前に、当該画像に対して歪み補正処理を行わなくてもよい。このように、標準カメラ４０は、歪み補正処理の対象とならない画像を撮影する撮影装置であり、魚眼カメラ４１は、歪み補正処理の対象となる画像を撮影する撮影装置である。標準カメラ４０のかわりに、歪み補正処理の対象とならない画像を撮影する他の撮影装置、例えば広角レンズや望遠レンズが取り付けられたカメラが使用されてもよい。

【0018】

標準カメラ４０は、車両１の前部中央に取り付けられており、車両１の前方の周囲状況を撮影する。魚眼カメラ４１は、車両１の前部中央に取り付けられており、車両１の前方の周囲状況を撮影する。図１では、標準カメラ４０と魚眼カメラ４１とが水平方向に並んでいるように示されている。しかし、標準カメラ４０および魚眼カメラ４１の配置はこれに限られず、例えばこれらは垂直方向に並んでいてもよい。また、標準カメラ４０と魚眼カメラ４１との少なくとも一方は、車両１のルーフ前部（例えば、フロントウィンドウの車室内側）に取り付けられてもよい。魚眼カメラ４２は、車両１の右側部中央に取り付けられており、車両１の右方の周囲状況を撮影する。魚眼カメラ４３は、車両１の後部中央に取り付けられており、車両１の後方の周囲状況を撮影する。魚眼カメラ４４は、車両１の左側部中央に取り付けられており、車両１の左方の周囲状況を撮影する。

【0019】

車両１が有するカメラの種類、個数および取り付け位置は、上述の例に限られない。また、車両１は、車両１の周囲の物標を検知したり、物標との距離を測距したりするための検知ユニットとして、ライダ（Light Detection and Ranging）やミリ波レーダを含んでもよい。

【0020】

ＥＣＵ２２は、標準カメラ４０ならびに魚眼カメラ４２および４４の制御および検知結果の情報処理を行う。ＥＣＵ２３は、魚眼カメラ４１および４３の制御および検知結果の情報処理を行う。車両の周囲状況を検知する検知ユニットを２系統に分けることによって、検知結果の信頼性を向上できる。

【0021】

ＥＣＵ２４は、ジャイロセンサ５、ＧＰＳセンサ２４ｂ、通信装置２４ｃの制御および検知結果あるいは通信結果の情報処理を行う。ジャイロセンサ５は車両１の回転運動を検知する。ジャイロセンサ５の検知結果や、車輪速等により車両１の進路を判定することができる。ＧＰＳセンサ２４ｂは、車両１の現在位置を検知する。通信装置２４ｃは、地図情報や交通情報を提供するサーバと無線通信を行い、これらの情報を取得する。ＥＣＵ２４は、メモリに構築された地図情報のデータベース２４ａにアクセス可能であり、ＥＣＵ２４は現在地から目的地へのルート探索等を行う。ＥＣＵ２４、地図データベース２４ａ、ＧＰＳセンサ２４ｂは、いわゆるナビゲーション装置を構成している。

【0022】

ＥＣＵ２５は、車車間通信用の通信装置２５ａを備える。通信装置２５ａは、周辺の他車両と無線通信を行い、車両間での情報交換を行う。

【0023】

ＥＣＵ２６は、パワープラント６を制御する。パワープラント６は車両１の駆動輪を回転させる駆動力を出力する機構であり、例えば、エンジンと変速機とを含む。ＥＣＵ２６は、例えば、アクセルペダル７Ａに設けた操作検知センサ７ａにより検知した運転者の運転操作（アクセル操作あるいは加速操作）に対応してエンジンの出力を制御したり、車速センサ７ｃが検知した車速等の情報に基づいて変速機の変速段を切り替えたりする。車両１の運転状態が自動運転の場合、ＥＣＵ２６は、ＥＣＵ２０からの指示に対応してパワープラント６を自動制御し、車両１の加減速を制御する。

【0024】

ＥＣＵ２７は、方向指示器８（ウィンカ）を含む灯火器（ヘッドライト、テールライト等）を制御する。図１の例の場合、方向指示器８は車両１の前部、ドアミラーおよび後部に設けられている。

【0025】

ＥＣＵ２８は、入出力装置９の制御を行う。入出力装置９は運転者に対する情報の出力と、運転者からの情報の入力の受け付けを行う。音声出力装置９１は運転者に対して音声により情報を報知する。表示装置９２は運転者に対して画像の表示により情報を報知する。表示装置９２は例えば運転席表面に配置され、インストルメントパネル等を構成する。なお、ここでは、音声と表示を例示したが振動や光により情報を報知してもよい。また、音声、表示、振動または光のうちの複数を組み合わせて情報を報知してもよい。更に、報知すべき情報のレベル（例えば緊急度）に応じて、組み合わせを異ならせたり、報知態様を異ならせたりしてもよい。入力装置９３は運転者が操作可能な位置に配置され、車両１に対する指示を行うスイッチ群であるが、音声入力装置も含まれてもよい。

【0026】

ＥＣＵ２９は、ブレーキ装置１０やパーキングブレーキ（不図示）を制御する。ブレーキ装置１０は例えばディスクブレーキ装置であり、車両１の各車輪に設けられ、車輪の回転に抵抗を加えることで車両１を減速あるいは停止させる。ＥＣＵ２９は、例えば、ブレーキペダル７Ｂに設けた操作検知センサ７ｂにより検知した運転者の運転操作（ブレーキ操作）に対応してブレーキ装置１０の作動を制御する。車両１の運転状態が自動運転の場合、ＥＣＵ２９は、ＥＣＵ２０からの指示に対応してブレーキ装置１０を自動制御し、車両１の減速および停止を制御する。ブレーキ装置１０やパーキングブレーキは車両１の停止状態を維持するために作動することもできる。また、パワープラント６の変速機がパーキングロック機構を備える場合、これを車両１の停止状態を維持するために作動することもできる。

【0027】

図２を参照して、標準カメラ４０および魚眼カメラ４１～４４の撮影範囲について説明する。図２（ａ）は、各カメラの水平方向の撮影範囲を示し、図２（ｂ）は車両１の右側部に魚眼カメラ４２の垂直方向の撮影範囲を示し、図２（ｃ）は車両１の後部に取り付けられた魚眼カメラ４３の垂直方向の撮影範囲を示す。

【0028】

まず、図２（ａ）を参照して、車両１の平面図（すなわち、車両１の水平方向）における撮影範囲について説明する。標準カメラ４０は、撮影範囲２００に含まれる風景を撮影する。標準カメラ４０の撮影中心２００Ｃは、車両１の真正面を向いている。標準カメラ４０の水平方向の画角は、９０°未満であってもよく、例えば４５°程度または３０°程度であってもよい。

【0029】

魚眼カメラ４１は、撮影範囲２０１に含まれる風景を撮影する。魚眼カメラ４１の撮影中心２０１Ｃは、車両１の真正面を向いている。魚眼カメラ４２は、撮影範囲２０２に含まれる風景を撮影する。魚眼カメラ４２の撮影中心２０２Ｃは、車両１の右方の真横を向いている。魚眼カメラ４３は、撮影範囲２０３に含まれる風景を撮影する。魚眼カメラ４３の撮影中心２０３Ｃは、車両１の真後ろを向いている。魚眼カメラ４４は、撮影範囲２０４に含まれる風景を撮影する。魚眼カメラ４４の撮影中心２０４Ｃは、車両１の左方の真横を向いている。魚眼カメラ４１～４４の水平方向の画角は、例えば９０°よりも大きくてもよく、１５０°よりも大きくてもよく、１８０°よりも大きくてもよく、例えば１８０°程度であってもよい。図２（ａ）は、魚眼カメラ４１～４４の水平方向の画角が１８０°となる例を示している。

【0030】

撮影範囲２０１は、車両１の左斜め前方にある領域２０１Ｌと、車両１の真正面にある領域２０１Ｆと、車両１の右斜め前方にある領域２０１Ｒとに分割されうる。撮影範囲２０２は、車両１の右斜め前方にある領域２０２Ｌと、車両１の右方の真横にある領域２０２Ｆと、車両１の右斜め後方にある領域２０２Ｒとに分割されうる。撮影範囲２０３は、車両１の右斜め後方にある領域２０３Ｌと、車両１の真後ろにある領域２０３Ｆと、車両１の左斜め後方にある領域２０３Ｒとに分割されうる。撮影範囲２０４は、車両１の右斜め後方にある領域２０４Ｌと、車両１の左方の真横にある領域２０４Ｆと、車両１の左斜め前方にある領域２０４Ｒとに分割されうる。撮影範囲２０１は、３つの領域２０１Ｌ、２０１Ｆ、および２０１Ｒに均等に（すなわち、各領域の画角が等しくなるように）分割されてもよい。他の撮影範囲２０２～２０４についても均等に３分割されてもよい。

【0031】

標準カメラ４０および魚眼カメラ４１～４４が上述のような撮影範囲２００～２０４を有することによって、車両１の真正面及び４つの斜め方向は、２つの別個のカメラの撮影範囲に含まれる。具体的に、車両１の真正面は、標準カメラ４０の撮影範囲２００と、魚眼カメラ４１の撮影範囲２０１の領域２０１Ｆとの両方に含まれる。車両１の右斜め前方は、魚眼カメラ４１の撮影範囲２０１の領域２０１Ｒと、魚眼カメラ４２の撮影範囲２０２の領域２０２Ｌとの両方に含まれる。車両１の他の３つの斜め方向についても同様である。

【0032】

続いて、図２（ｂ）及び図２（ｃ）を参照して、車両１の垂直方向における撮影範囲について説明する。図２（ｂ）では、魚眼カメラ４２の垂直方向の撮影範囲について説明し、図２（ｃ）では、魚眼カメラ４３の垂直方向の撮影範囲について説明する。他の魚眼カメラ４１および４４の垂直方向の撮影範囲についても同様であってもよい。

【0033】

魚眼カメラ４１～４４の垂直方向の画角は、例えば９０°よりも大きくてもよく、１５０°よりも大きくてもよく、１８０°よりも大きくてもよく、例えば１８０°程度であってもよい。図２（ｂ）および（ｃ）は、魚眼カメラ４１～４４の垂直方向の画角が１８０°となる例を示している。また、魚眼カメラ４２の撮影中心２０２Ｃと魚眼カメラ４３の撮影中心２０３Ｃは、地面に平行な方向よりも下側（地面の側）を向いている。これにかえて、魚眼カメラ４３の撮影中心２０３Ｃは、地面に平行な方向を向いていてもよいし、地面に平行な方向よりも上側（地面とは反対側）を向いていてもよい。また、魚眼カメラ４１～４４の撮影中心２０１Ｃ～２０４Ｃが、垂直方向において、互いに異なる方向を向いていてもよい。

【0034】

図３を参照して、魚眼カメラ４１～４４によって撮影された画像の歪み補正処理について説明する。画像３００は、魚眼カメラ４３によって撮影された車両１の右方の風景の画像である。図３に示されるように、画像３００は、特に周辺部分において大きな歪みを有する。

【0035】

魚眼カメラ４３に接続されているＥＣＵ２２は、画像３００に対して歪み補正処理を行う。具体的に、ＥＣＵ２２は、画像３００内の１点を補正中心点３０１として設定する。ＥＣＵ２２は、画像３００から、補正中心点３０１を中心とする矩形の領域３０２を切り出す。ＥＣＵ２２は、この領域３０２に対して歪み補正処理を行うことによって、歪みが軽減された画像３０３を生成する。歪み補正処理は、補正中心点３０１に近い位置ほど歪みが軽減され、補正中心点３０１から遠い位置では歪みが軽減されないか、歪みが増大される。そこで、一部の実施形態において、ＥＣＵ２２は、車両１の周囲の環境のうち、着目したい領域内に補正中心点３０１を設定し、この領域について歪みが軽減した画像を生成する。

【0036】

次に、標準カメラ４０と魚眼カメラ４１～４４からの撮影画像を用いて周囲環境認識処理を行うための機能構成を説明する。なお、周囲環境認識処理による認識結果は、自動運転制御または運転支援制御に用いられ得る。図４は、本実施形態による、撮影画像を用いた周囲環境認識処理のための画像処理を行う機能構成例を示すブロック図である。図４に示される各機能は、ＥＣＵ２０，２２，２３のそれぞれを構成する１つ以上のプロセッサがメモリに格納されたプログラムを実行することにより実現されてもよいし、専用のハードウエアにより実現されてもよいし、それらの協働により実現されてもよい。また、機能ブロックの構成、各機能ブロックがどのＥＣＵによって実現されるかなどは、図４に示された構成に限られないことは言うまでもない。例えば、外界認識部４４１ａ～４４１ｅによる処理の一部あるいはすべてが運転制御部４０１で実現されてもよい。

【0037】

標準カメラ４０、左右の魚眼カメラ４２，４４による撮影画像はＥＣＵ２２に供給される。ＥＣＵ２２において、外界認識部４４１ｅは、標準カメラ４０からの撮影画像に外界認識処理を行い、車線の区画線、道路標識、他の車両、カーブミラー（道路反射鏡、traffic convex mirror）、人などの種々の物体を抽出する。外界認識部４４１ｅにおける各種物体の抽出には、例えば、人工知能（ＡＩ）や機械学習による判定処理等が用いられ得る。上述したように、標準カメラ４０からの撮影画像は、歪みが少ないため、外界認識部４４１ｅが認識処理を行うのに先立って歪み補正を行う必要がない。

【0038】

ＥＣＵ２２において、歪み補正部４２１ａは、魚眼カメラ４２の撮影画像に対して図３により上述したような歪み補正処理を行う。歪み補正部４２１ａは、部分領域指定部４１２により指定された補正中心点を中心とする矩形領域（以下、指定された部分領域という）について歪み補正処理を行い、歪み補正処理後の部分画像を外界認識部４４１ａに出力する。外界認識部４４１ａは、歪み補正部４２１ａにより歪みが補正された部分画像に対して、外界認識部４４１ｅと同様の外界認識処理を行い、各種物体、標識を抽出する。

【0039】

魚眼カメラ４２は広範囲の空間を撮影することができるが、取得される撮影画像は大きな歪みを含み、そのままではＡＩなどを用いた外界認識処理に適さない。そこで、魚眼カメラ４２からの撮影画像は、外界認識部４４１ａに供給される前に、歪み補正部４２１ａにより歪み補正処理を受けるようにしている。外界認識部４４１ａは、歪み補正部４２１ａにより歪みが除去された画像を用いて外界認識処理を行うため、精度よく各種物体、標識を抽出することができる。歪み補正部４２１ａは、部分領域指定部４１２からの指示により、魚眼カメラ４２が撮影する映像のフレームごとに、順次に補正中心（すなわち部分領域）を移動させて歪み補正を行い、歪みが補正された部分画像を出力する。このように、広範な画像において部分領域を移動させながら、部分領域について歪み補正された部分画像を取得することで、結果として広範な撮影範囲における広範な領域について歪みのない画像を得ることができる。したがって、魚眼カメラ４２により撮影される広範囲な領域の画像について、高精度な外界認識処理を行うことが可能となる。

【0040】

図５（ａ）、（ｂ）は、通常時における部分領域の移動の制御例を説明する図である。通常時とは、例えば、周囲環境認識の結果、特に注意を向けるべき方向が存在しないと判定されている状態である。図５（ａ）に示されるように、本実施形態では、魚眼カメラ４２の画像５００において、３つの補正中心点５０１～５０３により決定される３つの部分領域５１１～５１３のいずれか１つを順次に選択することにより、撮影画像における補正対象となる部分領域を移動させる。以下、このような、部分領域の選択の順序を示す情報を規則と称する。また、本実施形態では、図２（ａ）で示したような、３分割された撮影範囲に対応して部分領域が設定されている。例えば、魚眼カメラ４１の撮影範囲のうち、領域２０１Ｌ、２０１Ｆ、２０１Ｒの範囲がそれぞれ部分領域５１１、５１２、５１３に対応している。同様に、例えば、魚眼カメラ４４の撮影範囲のうち、領域２０４Ｌ、２０４Ｆ、２０４Ｒの範囲がそれぞれ部分領域５１１、５１２、５１３に対応している

【0041】

なお、部分領域の設定は、図５に例示されたものに限られず、例えば、水平方向に４つ以上の部分領域に分割されてもよいし、垂直方向に２段以上の部分領域が存在するように設定されてもよいし、部分領域の一部が他の部分領域の一部と重なってもよい。また、図５では、説明のために、魚眼カメラによる撮影画像における歪み補正処理の対象となる部分領域が模式的に表されている。一般に、歪み補正処理後の画像として矩形の画像を得ようとする場合、撮影画像において対応する部分領域は矩形とはならない。

【0042】

通常時における補正対象の部分領域の移動は、３つの部分領域５１１～５１３が均等に選択されるように行われる。例えば、図５（ｂ）に示されるように、１フレームごとに部分領域５１１→部分領域５１２→部分領域５１３→部分領域５１１→...のように補正対象として選択される部分領域を切り替える。このような規則によれば、部分領域５１１～５１３が３フレームごとに１回ずつ選択される。すなわち、各部分領域が均等な頻度で補正対象に選択され、歪み補正後の部分画像が外界認識処理に提供されることになる。なお、どの部分領域を選択するかは、後述の部分領域指定部４１２により指示される。また、本実施形態では、通常時において各部分領域が均等に選択されるようにしたが、これに限られるものではない。また、魚眼カメラ４１～４４からのすべての撮影画像について同じ規則が適用される必要はなく、それぞれ独立に規則が適用されてもよい。例えば、前方の魚眼カメラ４１に関しては、正面の部分領域５１２の選択される頻度が高くなるように通常時の規則が設定され、他の魚眼カメラ４２～４４に関しては、各部分領域が均等に選択されるように通常時の規則が設定されてもよい。

【0043】

図４に戻り、歪み補正部４２１ｂと外界認識部４４１ｂは、魚眼カメラ４４の撮影画像に対して、上述したような歪み補正処理と外界認識処理を行う。すなわち、歪み補正部４２１ｂは、魚眼カメラ４４により撮影された画像のうち、部分領域指定部４１２により指定された部分領域について歪み補正処理を行う。外界認識部４４１ｂは、歪み補正部４２１ｂにより歪みが補正された部分画像に対して外界認識処理を行い、各種物体、標識を抽出する。

【0044】

また、ＥＣＵ２３において、歪み補正部４２１ｃは、魚眼カメラ４１により得られた画像のうち、部分領域指定部４１２により指定された部分領域について歪み補正処理を行う。外界認識部４４１ｃは、歪み補正部４２１ｃにより補正された画像について上述した外界認識処理を行う。同様に、歪み補正部４２１ｄは、魚眼カメラ４３により得られた画像に対して上述した歪み処理を行い、外界認識部４４１ｄは、歪み補正部４２１ｄにより補正された画像について上述した外界認識処理を行う。以下、歪み補正部４２１ａ～４２１ｄを総称する場合は歪み補正部４２１と記載し、外界認識部４４１ａ～４４１ｄを総称する場合は外界認識部４４１と記載する。

【0045】

ＥＣＵ２０において、運転制御部４０１は、外界認識部４４１から提供される認識結果に基づいて、運転支援や自動運転を制御する。規則設定部４１１は、外界認識部４４１から提供される認識結果に基づいて注視すべき方向を判定し、魚眼カメラによる撮影画像から部分領域を選択するための規則を変更、設定する。部分領域指定部４１２は、規則設定部４１１が設定した規則に従って、歪み補正部４２１に対して、歪み補正処理の対象として選択すべき部分領域を指定する。

【0046】

以上のように、本実施形態の制御装置２では、歪み補正の対象となる部分領域を移動させながら歪み補正処理を行うことで、魚眼カメラから得られる広範囲な画像を、ＡＩなどを用いた外界認識処理に用いることを可能としている。一方、上述のように、外界認識処理の対象となる画像は、魚眼カメラの１つのフレーム全体ではなく、１つのフレームの画像から選択された部分画像である。例えば、図４に示した規則の例では、３つの部分領域の各々が外界認識処理の対象となる頻度は３フレームに１回となる。これに対して、周囲環境によっては車両１の特定の方向を注視すべき場合がある。そのような場合、注視すべき方向に対応する部分領域が外界認識処理の対象となる頻度を高くすることが好ましい。例えば、交差点への進入時、その際に直進、右折、左折のいずれの操作が行われるか（運転者のウィンカ操作、ハンドル操作により判定され得る）に応じて、注視すべき方向が変化する。したがって、このような周囲環境と運転操作に基づいて注視すべき方向に対応する部分領域が外界認識処理の対象となる頻度を高くすることが好ましい。そこで、本実施形態の規則設定部４１１は、周囲環境に応じて特定の部分領域を優先するように規則を変更し、これにより歪み補正部４２１において特定の部分領域が選択される頻度を大きくする。その結果、周囲環境に応じた注視すべき方向の画像が優先的に得られるので、より適切な運転支援、自動運転の制御を実現できる。

【0047】

一般に、カーブミラーは、物体が存在することなどを運転者が確認しにくい場所を映すように設置されている。したがって、カーブミラーが設置された場所では、そのカーブミラーが向いている方向についてより多くの注意を向ける必要がある。そこで、本実施形態の規則設定部４１１は、外界認識処理によってカーブミラーの存在が検出された場合に、そのカーブミラーの方向に対応した部分領域が歪み補正処理の対象となる頻度を高くするように、上述した部分領域を移動の順番を示す規則を変更する。

【0048】

図６は、本実施形態による、外界認識処理の手順を説明するフローチャートである。Ｓ６０１において、規則設定部４１１は、外界認識部４４１から得られる外界認識結果および／または運転者による運転操作（例えば、ウインカ操作／ハンドル操作）に基づいて部分領域を選択するための規則を設定する。Ｓ６０１の処理の詳細は、図７のフローチャートの参照により後述する。Ｓ６０２において、部分領域指定部４１２は、歪み補正部４２１に対して、Ｓ６０１で設定された規則に従って補正対象の部分領域を順次に指定する。

【0049】

Ｓ６１１において、歪み補正部４２１ａは、魚眼カメラ４２から取得される画像のうちの、部分領域指定部４１２により指定された部分領域の画像について歪み補正処理を施し、当該部分領域の歪みが低減された部分画像（平面画像）を得る。Ｓ６１２において、外界認識部４４１ａは、歪み補正部４２１ａにより取得された部分画像について外界認識処理を実行し、車線の区画線、道路標識、他の車両、カーブミラー、人などの種々の物体を抽出する。ここで、カーブミラーの検出には、ＡＩが用いられてもよいし、機械学習による判定処理が用いられてもよい。Ｓ６１３において、外界認識部４４１ａは、運転支援制御または自動運転制御のために、抽出された物体の情報を運転制御部４０１に提供する。なお、上記では歪み補正部４２１ａと外界認識部４４１ａの処理を説明したが、歪み補正部４２１ｂ～４２１ｄ、外界認識部４４１ｂ～４４１ｄも同様の処理を行う。

【0050】

Ｓ６０３において、運転制御部４０１は、外界認識部４４１から得られる外界認識結果から車両１の周辺環境を認識し、その認識結果に基づいて自動運転または運転支援の制御を行う。

【0051】

図７は、規則設定部４１１による、部分領域の移動の規則を設定するための処理を示すフローチャートである。Ｓ７０１において、規則設定部４１１は、外界認識結果および運転操作に基づいて、部分領域の移動の規則として通常の規則を設定できるか否かを判定する。通常の規則を設定できる場合とは、外界認識部４４１による認識結果に基づいて特に注視する方向が存在せず、車両の周囲の各方向を均等にチェックすればよいと判断されている状態である。他方、外界認識部４４１による認識結果に基づいて特定の方向をより注視する必要が発生したと判断された場合は、規則設定部４１１は通常の規則を設定できないと判断する。特定の方向をより注視する必要が発生する状況とは、例えば、外界認識部４４１からの認識結果から、交差点、カーブミラー、狭路におけるすれ違い、運転者によるウィンカレバーの操作などが検出された場合などがあげられる。

【0052】

Ｓ７０１で通常の規則を設定できると判断された場合、処理はＳ７１１へ進む。Ｓ７１１において、規則設定部４１１は、例えば図５（ｂ）で説明したような通常の規則（各部分領域が均等な頻度で選択される規則）を設定する。この結果、Ｓ６０２において、部分領域指定部４１２は、魚眼カメラ４１～４４が接続されている歪み補正部４２１ａ～４２１ｄのそれぞれに対して、図５で説明したような規則に則って部分領域を指定する。

【0053】

他方、Ｓ７０１で通常の規則を設定できないと判断された場合（注視すべき方向が存在すると判断された場合）、処理はＳ７０２へ進む。Ｓ７０２において、規則設定部４１１は、外界認識部４４１による外界認識処理でカーブミラーが抽出されたか否かを判定する。例えば、外界認識部４４１により検出された物体のうち、カーブミラーである確率が所定値以上の物体が存在すると、規則設定部４１１は、カーブミラーが検出されたと判定する。カーブミラーが抽出されていない場合（Ｓ７０２でＮＯ）には、カーブミラーの検出以外の要因で規則を変更する必要があると判断されている。そのため、処理はＳ７１２へ進み、規則設定部４１１は、運転制御部４０１が外界認識処理に基づいて検出した周囲環境、運転操作に基づいて規則を変更する。例えば、Ｓ７１２では、周囲環境認識結果や運転者の運転操作に基づいて決定された注視方向に対応する部分領域が優先的に設定されるように、すなわち、注視方向に対応する部分領域の選択頻度が高くなるように、規則が変更される。

【0054】

カーブミラーが検出されたと判定された場合（Ｓ７０２でＹＥＳ）、Ｓ７０３において、規則設定部４１１は、外界認識処理により抽出されたカーブミラーの位置、形状に基づいて、カーブミラーの鏡面の向きを判定する。例えば、（１）規則設定部４１１が、カーブミラーの設置位置に基づいて鏡面の方向を判断する。具体的に、図１０（ａ）に示されるように、検出されたカーブミラー９０１の設置位置が、車両１が進行している車線９０２の中央よりも右側にあれば鏡面は車両１の進行方向に対して左方向を向いていると判断され得る。同様に、車線の中央よりも左側にカーブミラーがあれば、その鏡面は車両の進行方向に対して右方向を向いていると判断され得る。或いは、例えば、（２）鏡面を表す外形（楕円形）と鏡面を支持する支柱との位置関係に基づいて鏡面の方向を判断する。この方法では、例えば、図１０（ｂ）に示されるように、カーブミラー９１１にいて、鏡面に対応する楕円９１２の中心線よりも右側に支柱９１３があれば、その鏡面は左側を向いていると判断され得る。同様に、カーブミラー９２１のように、鏡面に対応する楕円９２２の中心線よりも左側に支柱９２３があれば鏡面は右側を向いていると判断され得る。

【0055】

もちろん、カーブミラーの方向の判定方法は、上述した（１）、（２）の方法に限られるものではなく、種々の判定方法を用いることができる。また、複数の判定方法が組み合わせられてもよい。例えば、（１）の判定方法と（２）の判定方法のそれぞれで、鏡面が左を向いている確率を示すスコアと鏡面が右を向いている確率を示すスコアを計算し、合計スコアが高い方の向きを鏡面の向きに決定してもよい。合計スコアは、例えば、カーブミラーの位置が車線中央から離れるほど判定された方向に対するスコアを高くし、鏡面に対応する楕円の中心と支柱との距離が大きくなるほど判定された方向に対するスコアを高くして、各方向のスコアを合計することで得られる。また、カーブミラーの方向は１つである必要はなく、カーブミラーが道路の両側に検出された場合は、カーブミラーの鏡面は、左側と右側を向いていると判定される。

【0056】

なお、カーブミラーの判定に全てのカメラからの撮影画像が用いられる必要はない。例えば、後方の魚眼カメラ４３からの撮影画像においてカーブミラーが検出されても、注視すべき方向は影響を受けない。そこで、車両１の前方を撮影する標準カメラ４０からの撮影画像と、前方の魚眼カメラ４１からの撮影画像のみがカーブミラーの検出に用いられるようにしてもよい。

【0057】

Ｓ７０４～Ｓ７０６において、規則設定部４１１は、Ｓ７０３で判定されたカーブミラーの向きに応じて規則を変更する。まず、カーブミラーの鏡面の向きが左向きと判定された場合、Ｓ７０４において、規則設定部４１１は、車両１の左前方に対応する部分領域の優先度を高くした規則を設定する。ここで、図８を用いて、本実施形態による車両１の左右前方、左右後方について説明する。車両１の車幅を略２等分する線８１１と車両１の車長を略２等分する線８１２により４つの区域Ａ～Ｄが形成され得る。本実施形態では、区域Ａを右前方、区域Ｂを右後方、区域Ｃを左後方、区域Ｄを左前方と定義する。そして、例えば、各魚眼カメラの撮影範囲について設定されている複数の部分領域のうち、区域Ｄを含む面積が最も大きい部分領域が、左前方に対応する部分領域として用いられる。例えば、魚眼カメラ４１に関して左前方に対応する部分領域は領域２０１Ｌであり、魚眼カメラ４４に関して左前方に対応する部分領域は領域２０４Ｒである。なお、左右前方、左右後方の定義は、上記に限られるものではなく、例えば、線８１２の位置は、車長を２等分する位置よりも前後してよい。

【0058】

Ｓ７０４において、規則設定部４１１は、例えば、前方の魚眼カメラ４１からの撮影画像において設定される部分領域を図９（ａ）に示されるように移動させるような規則を設定する。図９（ａ）の例では、部分領域５１１→部分領域５１２→部分領域５１１→部分領域５１３→...の順に部分領域が指定される規則が示されている。この規則によれば、前方の魚眼カメラ４１の撮影範囲のうち、車両１の左前方に対応する部分領域５１１（領域２０１Ｌ）が歪み補正処理の対象となる頻度が４フレームに２回となる。すなわち、図５に示した規則における頻度（３フレームに１回）と比べて、部分領域５１１が歪み補正処理の対象となる頻度が増加している。同様に、車体左側の魚眼カメラ４４についても、車両１の左前方に対応する部分領域が指定される頻度が高くなるように規則が設定される。左側の魚眼カメラ４４による撮影画像では、右側の部分領域５１３が車両１の左前方に対応する。そこで、規則設定部４１１は、図９（ｂ）に示されるように歪み補正部４２１ｃのための規則を設定する。これにより、部分領域５１３（領域２０４Ｒ）の歪み補正処理の対象となる頻度が増加する。すなわち、魚眼カメラ４４による撮影画像のうちの車両１の前方に対応する部分画像が優先的に選択される。なお、車両１の左前方を注視することに寄与する部分領域が含まれていない右側の魚眼カメラ４２と後方の魚眼カメラ４３については通常の規則が適用される。

【0059】

Ｓ７０３でカーブミラーの鏡面の向きが右向きであると判定された場合、Ｓ７０５において、規則設定部４１１は、車両１の右前方に対応する部分領域の優先度を高くした規則を設定する。例えば、規則設定部４１１は、前方の魚眼カメラ４１のための歪み補正部４２１ｃと右側の魚眼カメラ４２のための歪み補正部４２１ｄに対し、車両１の右前方に対応する部分領域が指定される頻度が高くなるように規則を設定する。具体例としては、図９（ｂ）に示される規則が前方の魚眼カメラ４１（歪み補正部４２１ｃ）に適用され、図９（ａ）に示される規則が右側の魚眼カメラ４２（歪み補正部４２１ａ）に適用される。この場合、車両１の右前方を注視することに寄与する部分領域が含まれていない左側の魚眼カメラ４４と後方の魚眼カメラ４３については通常の規則が適用され得る。

【0060】

左向きと右向きの両方のカーブミラーが検出された場合、或いは、カーブミラーは検出されたものの鏡面の方向を判定できなかった場合、処理はＳ７０６に進む。Ｓ７０６において、規則設定部４１１は、Ｓ７０５で説明した左前方を注視する規則と、Ｓ７０６で説明した右前方を注視する規則の両方を用いた規則を設定する。この場合、前方の魚眼カメラ４１に対応する規則では、部分領域５１１と部分領域５１３の歪み補正処理の対象となる頻度を上げる必要がある。そこで、例えば、部分領域５１１→部分領域５１３→部分領域５１１→部分領域５１３→部分領域５１２→...を繰り返すようにしてもよい。このようにすると、部分領域５１１が指定される頻度と部分領域５１３が指定される頻度はそれぞれ２回／５フレームとなり、通常の規則（図５）により指定される頻度（１回／３フレーム）よりも高くなる。なお、左前方の注視と右前方の注視のいずれにも寄与しない後方の魚眼カメラ４３については、通常の規則が適用される。

【0061】

以上のような実施形態によれば、魚眼カメラにより撮影された画像の部分領域がひずみ補正処理されて部分画像として提供される。画像全体よりも小さい領域において歪み補正処理が行われるため、提供される部分画像は、その全域にわたって歪みが除去されており、高精度な認識処理を実現することができる。その結果、魚眼カメラにより撮影された車両１の全周にわたって、高精度な認識処理が可能になる。また、設置されたカーブミラーの方向に対応した部分領域が優先的に認識処理に用いられるため、注視すべき方向についてより迅速な認識が実現され、より効果的、かつ、適切な運転支援制御、自動運転制御が実現され得る。すなわち、カーブミラーの検出に応じて移動の規則を制御することで、注視が必要な横道などの状況を簡易に推定して、注目すべき領域を設定することができる。

【0062】

なお、上記実施形態は、カーブミラーの鏡面方向の検出に基づいて注視すべき方向を特定し、特定された方向に基づいて周辺認識に用いられる部分領域の優先度を高くするという思想を実現するための一具体例を示したものである。したがって、左右前方やそれらに対応する部分領域の定義、それらを周辺認識に適用するための選択の規則は実施形態で説明したものに限定されない。例えば、上記実施形態では、部分領域を選択するための規則として、１フレームごとに部分領域を移動させたがこれに限られるものではない。同じ部分領域を２回以上連続して選択して、その部分領域が選択される頻度が増加するようにしてもよい。

【0063】

また、実施形態では、通常の規則と特定の方向を注視する場合の規則とで、同じ部分領域の組み合わせ（例えば、部分領域５１１～５１３）を用いているがこれに限られるものではない。通常の規則と特定の方向を注視する場合の規則とで異なる部分領域の組み合わせが用いられてもよい。例えば、注視する方向に対応する任意の部分領域が追加されてもよい。具体的には、車両１の左前方を注視する場合に、図９（ａ）において部分領域５１１と部分領域５１２の間に新たな部分領域を設定し、４つの部分領域からなるグループを用いて規則が設定されてもよい。或いは、そのような新たな部分領域の追加に伴って、注視方向から遠い既存の部分領域（例えば部分領域５１３）がグループから削除されてもよい。すなわち、新たな部分領域と既存の部分領域を入れ替えてもよい。さらに、例えば、図２（ｂ）、（ｃ）のように、撮影中心が下方を向いている場合に、車両１の左前方を注視する場合の規則として、垂直方向（上方向）に移動した部分領域が設定されてもよい。これにより、車両１の左前方についてより遠方の状況まで認識することができる。

【0064】

また、上記実施形態では、カーブミラーの方向を判定して注視方向を決定したがこれに限られるものではない。一般に、カーブミラーが設置されている状況ではその左方向または右方向の少なくとも一方が注視領域になる。したがって、カーブミラーが検出された場合（Ｓ７０２でＹＥＳの場合）に、Ｓ７０３の方向の判定を省略して、直ちに車両１の左前方と右前方の両方を注視すべき方向としてＳ７０６の処理を実行するようにしてもよい。

【0065】

なお、図７のフローチャートが繰り返されることにより、カーブミラーの検出により変更された規則は、カーブミラーが検出されなくなるまで継続される。但し、これに限られるものではなく、例えば、前方の標準カメラ４０の画角からカーブミラーが消えたことをもって、規則を通常の規則に戻すようにしてもよい。

【0066】

＜実施形態のまとめ＞
上記実施形態は、少なくとも以下の実施形態を開示する。

【0067】

１．歪み補正が必要な画像を撮影する撮影装置（４１～４４）から得られる撮影画像に基づいて、車両の運転支援または自動運転のための外界認識を行う画像処理装置（４２１，４４１）であって、
歪み補正処理の対象となる部分領域を規則に従って移動させて設定し、前記撮影画像の前記設定された部分領域に前記歪み補正処理を適用することにより歪みが補正された部分画像を取得する補正手段と（４２１）、
前記車両の周囲においてカーブミラーを検出する検出手段と（４４１、４１１）、
前記検出手段によりカーブミラーが検出された場合に、前記車両の所定の方向に対応する部分領域が前記歪み補正処理の対象として優先的に設定されるように前記規則を変更する変更手段（４１１，４１２）と、を備える画像処理装置。
上記実施形態によれば、カーブミラーの検出に応じた注視方向に対応する部分領域の画像が優先的に取得されるため、道路状況に適した注視方向について高頻度でかつ高精度に物体の検出を行える。このため、運転支援制御、自動運転制御において、適切な制御を行える。

【0068】

２．また、上記実施形態では、前記検出手段は、前記補正手段により歪み補正された部分領域の画像に基づいてカーブミラーを検出する。
この実施形態によれば、歪み補正が必要な画像を撮影する撮影装置から得られる撮影画像をカーブミラーの検出に用いることができ、撮影画像を有効利用できる。

【0069】

３．また、上記実施形態では、前記検出手段は、歪み補正の対象とならない画像を撮影する撮影装置により撮影された画像に基づいてカーブミラーを検出する。
この実施形態によれば、例えば、標準カメラからの撮影画像をカーブミラーの検出に用いることができ、より高頻度にカーブミラーの検出が行える。

【0070】

４．また、上記実施形態では、前記変更手段は、前記車両の左前方と右前方の少なくとも一方に対応する少なくとも一つの部分領域が前記歪み補正の対象として選択される頻度が高くなるように前記規則を変更する。
この実施形態によれば、カーブミラーが検出された道路状況において、注視すべき方向に対応した領域の画像を高頻度に得ることができ、より適切かつ迅速な運転支援制御や自動運転制御が可能になる。

【0071】

５．また、上記実施形態では、
前記検出手段は、さらに検出されたカーブミラーが映す方向を検出し、
前記変更手段は、前記検出されたカーブミラーが映す方向に対応した部分領域の前記歪み補正の対象として選択される頻度が高くなるように前記規則を変更する。
この実施形態によれば、カーブミラーが映す方向に対応する領域について画像が高頻度に取得されるとともに、その他の領域についてはカーブミラーの検出の影響を受けないようにすることができる。このため、不必要に部分領域の選択頻度が上がってしまうことが回避され得る。

【0072】

６．また、上記実施形態では、前記検出手段は、カーブミラーの存在する位置が、車両が進行している車線の中央よりも左であるか右であるかに基づいて、カーブミラーが映す方向を検出する。
７．また、上記実施形態では、前記検出手段は、カーブミラーの鏡面に対応する楕円と、前記鏡面を支持する支柱との位置関係に基づいて、カーブミラーが映す方向を検出する。

【0073】

これらの実施形態によれば、比較的簡易に、かつ、正確にカーブミラーの方向を検出することができる。

【0074】

８．また、上記実施形態では、
前記変更手段により変更されていない規則は、それぞれ位置が異なる、予め設定された複数の部分領域のうちから１つずつを選択する順序を示す規則であり、
前記変更手段は、前記複数の部分領域のうちの前記所定の方向に対応する少なくとも１つの部分領域の選択される頻度が高くなるように前記規則を変更する。
この実施形態によれば、規則が変更されても、同じ部分領域の集合から選択されるので、処理コストを抑えることができる。

【0075】

９．また、上記実施形態において、
前記変更手段により変更されていない規則は、それぞれ位置が異なる、予め設定された複数の部分領域のうちから１つずつを選択する順序を示す規則であり、
前記変更手段により変更された規則は、前記所定の方向に対応し前記複数の部分領域のいずれとも異なる部分領域を含む部分領域のグループから、前記所定の方向に対応する少なくとも１つの部分領域の選択される頻度が高くなるように部分領域を選択する規則である。
この実施形態によれば、カーブミラーの検出に応じた注視方向に対して、より柔軟に部分領域を設定することができる。

【0076】

１０．また、上記実施形態において、前記部分領域のグループは、前記所定の方向に対応し前記複数の部分領域のいずれとも異なる部分領域を前記複数の部分領域に加えることにより、または、前記複数の部分領域のいずれかと前記異なる部分領域を入れ替えることにより構成される。
この実施形態によれば、カーブミラーの検出に応じた注視方向に対して、より柔軟に部分領域を設定することができる。

【0077】

１１．また、上記実施形態によれば、前記歪み補正が必要な画像を撮影する撮影装置は魚眼カメラである。
上記実施形態によれば、魚眼カメラの広範な撮影範囲を有効に利用することができ、設置されるカメラの台数、それに伴う画像処理系を減らすことができる。このことは、車両用制御装置の省電力化に寄与し得る。

【0078】

１２．また、上記実施形態によれば
前記画像処理装置は、前記車両の全周を撮影するように配置された、前記歪み補正が必要な画像を撮影する複数の撮影装置と接続され、
前記変更手段は、前記複数の撮影装置のうち前記所定の方向を撮影範囲に含む撮影装置に関して前記規則を変更する。
上記実施形態によれば、車両の全周について撮影画像に基づく周辺環境の認識を行うことができるとともに、カーブミラーの検出時には、注視すべきと判断される方向に対応する領域の画像を高頻度に取得することができる。

【0079】

１３．また、上記実施形態は、以下の車両用制御装置を開示する。すなわち、
上記の１項から１２項のいずれかに記載された画像処理装置と、
前記補正手段により取得される、歪みが補正された部分画像に基づいて周辺環境を認識する認識手段と、
前記認識手段により認識された周辺環境に基づいて、運転支援、または、自動運転のための制御を行う制御手段と、を備える車両用制御装置。
この実施形態によれば、カーブミラーの検出に応じて、より迅速かつ適切な運転支援、自動運転の制御を実現する車両用制御装置が提供される。

【0080】

１４．また、上記実施形態は、
歪み補正が必要な画像を撮影する撮影装置から得られる撮影画像に基づいて、車両の運転支援または自動運転のための外界認識を行う画像処理方法であって、
歪み補正処理の対象となる部分領域を規則に従って移動させて設定し、前記撮影画像の前記設定された部分領域に前記歪み補正処理を適用することにより歪みが補正された部分画像を取得する補正工程と、
前記車両の周囲においてカーブミラーを検出する検出工程と、
前記検出工程によりカーブミラーが検出された場合に、前記車両の所定の方向に対応する部分領域が前記歪み補正処理の対象として優先的に設定されるように前記規則を変更する変更工程と、を備える画像処理方法を開示する。
上記実施形態によれば、カーブミラーの検出に応じた注視方向に対応する部分領域の画像が優先的に取得されるため、道路状況に適した注視方向について高頻度でかつ高精度に物体の検出を行える。このため、運転支援制御、自動運転制御において、適切な制御を行える。

【0081】

１５．さらに、上記実施形態は、コンピュータを、上述した画像処理装置または車両用制御装置の各手段として機能させるためのプログラムを開示する。
例えば、車両制御装置が備えるＥＣＵによって上記プログラムが実行されることにより、カーブミラーの検出に応じた注視方向に対応する部分領域の画像が優先的に取得されるようになり、道路状況に適した注視方向について高頻度でかつ高精度に物体の検出が実現され得る。

【0082】

以上、発明の実施形態について説明したが、発明は上記の実施形態に制限されるものではなく、発明の要旨の範囲内で、種々の変形・変更が可能である。

【符号の説明】

【0083】

１ 車両、２ 車両用制御装置、２０～２９ ＥＣＵ、４０ 標準カメラ、４１～４４ 魚眼カメラ、４２１ 歪み補正部、４４１ 外界認識部、４０１ 運転制御部、４１１ 規則設定部、４１２ 部分領域設定部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】