特開 2022-155102 移動体の制御装置、制御方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022155102

(43)【公開日】2022-10-13

(54)【発明の名称】移動体の制御装置、制御方法及びプログラム

(51)【国際特許分類】

   H04N 5/232 20060101AFI20221005BHJP

   H04N 5/225 20060101ALI20221005BHJP

   G06T 1/00 20060101ALI20221005BHJP

   G06T 7/00 20170101ALI20221005BHJP

   G06T 3/00 20060101ALI20221005BHJP

   B60R 1/00 20220101ALI20221005BHJP

【ＦＩ】

H04N5/232 290

H04N5/225 400

H04N5/232 380

G06T1/00 330B

G06T1/00 330A

G06T7/00 650A

G06T7/00 650B

G06T3/00 710

G06T7/00 350B

B60R1/00 A

【審査請求】未請求

【請求項の数】14

【出願形態】ＯＬ

(21)【出願番号】P 2021058441

(22)【出願日】2021-03-30

(71)【出願人】

【識別番号】000005326

【氏名又は名称】本田技研工業株式会社

(74)【代理人】

【識別番号】110003281

【氏名又は名称】特許業務法人大塚国際特許事務所

(72)【発明者】

【氏名】金原 輝

(72)【発明者】

【氏名】吉村 美砂子

【テーマコード（参考）】

5B057

5C122

5L096

【Ｆターム（参考）】

5B057AA16

5B057BA02

5B057CA08

5B057CA12

5B057CA16

5B057CB08

5B057CB12

5B057CB16

5B057CC03

5B057CD12

5B057CE09

5B057DB02

5B057DB09

5B057DC16

5C122DA03

5C122DA11

5C122DA14

5C122EA06

5C122EA33

5C122FA02

5C122FA06

5C122FA18

5C122FB03

5C122FH06

5C122FH10

5C122FH14

5C122FH15

5C122HA13

5C122HA35

5C122HA86

5C122HA88

5C122HB01

5C122HB05

5L096AA06

5L096BA04

5L096CA05

5L096DA01

5L096DA02

5L096EA07

5L096EA35

5L096FA03

5L096FA06

5L096FA69

5L096GA51

5L096JA11

(57)【要約】

【課題】広画角のレンズが取り付けられた撮影装置によって得られる画像から、移動体の周囲の物体に関する情報を精度良く取得するための技術を提供する。
【解決手段】制御装置は、移動体の外界を撮影して得られた画像を、広画角のレンズが取り付けられた撮影装置から取得し、撮影装置から取得された画像に基づいて、画像認識により対象物体の検出を行う。更に、制御装置は、対象物体の検出結果に従って、撮影装置から取得された画像における一部の領域であって、対象物体の検出位置又はその近傍を中心とする一部の領域を対象として、画像の歪みを軽減するための歪み軽減処理を行う。制御装置は、歪み軽減処理により得られた画像に基づいて、車両の外界を認識する。
【選択図】図４

【特許請求の範囲】

【請求項1】

広画角のレンズが取り付けられた撮影装置を有する移動体の制御装置であって、
前記移動体の外界を撮影して得られた画像を前記撮影装置から取得する画像取得手段と、
前記撮影装置から取得された前記画像に基づいて、画像認識により対象物体の検出を行う検出手段と、
前記検出手段による検出結果に従って、前記撮影装置から取得された前記画像における一部の領域であって、前記対象物体の検出位置又はその近傍を中心とする一部の領域を対象として、画像の歪みを軽減するための歪み軽減処理を行う処理手段と、
前記歪み軽減処理により得られた画像に基づいて、前記移動体の外界を認識する認識手段と、
を備えることを特徴とする制御装置。

【請求項2】

前記処理手段は、前記検出手段によって前記対象物体が検出されると、前記歪み軽減処理を行う
ことを特徴とする請求項１に記載の制御装置。

【請求項3】

前記検出手段は、前記撮影装置から取得された前記画像に対して前記画像認識を行うことで、前記対象物体の検出を行う
ことを特徴とする請求項１又は２に記載の制御装置。

【請求項4】

前記検出手段は、前記撮影装置から取得された前記画像を所定の画角で分割して得られた画像に対して前記画像認識を行うことで、前記対象物体の検出を行う
ことを特徴とする請求項１又は２に記載の制御装置。

【請求項5】

前記検出手段は、前記撮影装置から取得された前記画像に対して前記歪み軽減処理を行って得られた画像に対して前記画像認識を行うことで、前記対象物体の検出を行う
ことを特徴とする請求項１又は２に記載の制御装置。

【請求項6】

前記移動体の動作状態に基づいて、前記検出手段による前記検出の対象とする物体を決定する決定手段を更に備える
ことを特徴とする請求項１乃至５のいずれか１項に記載の制御装置。

【請求項7】

前記検出手段は、前記画像認識による前記対象物体の認識確度を示す情報を出力し、
前記処理手段は、前記情報が示す認識確度が閾値を上回ると、前記歪み軽減処理を行う
ことを特徴とする請求項６に記載の制御装置。

【請求項8】

前記閾値は、前記検出手段による前記検出の対象となる物体の種類ごとに予め定められており、
前記処理手段は、前記情報が示す認識確度が、前記決定手段によって決定された物体に対応する閾値を上回ると、前記歪み軽減処理を行う
ことを特徴とする請求項７に記載の制御装置。

【請求項9】

前記閾値は、前記移動体の動作状態ごとに予め定められており、
前記処理手段は、前記情報が示す認識確度が、前記動作状態に対応する閾値を上回ると、前記歪み軽減処理を行う
ことを特徴とする請求項７に記載の制御装置。

【請求項10】

前記撮影装置は、魚眼レンズが取り付けられた撮影装置であることを特徴とする請求項１乃至９のいずれか１項に記載の制御装置。

【請求項11】

前記移動体は、移動体の前後及び側方にそれぞれ配置された複数の撮影装置を備え、
前記画像取得手段は、前記複数の撮影装置のそれぞれから画像を取得する
ことを特徴とする請求項１乃至１０のいずれか１項に記載の制御装置。

【請求項12】

前記移動体は、車両であることを特徴とする請求項１乃至１１のいずれか１項に記載の制御装置。

【請求項13】

広画角のレンズが取り付けられた撮影装置を有する移動体の制御方法であって、
前記移動体の外界を撮影して得られた画像を前記撮影装置から取得する画像取得工程と、
前記撮影装置から取得された前記画像に基づいて、画像認識により対象物体の検出を行う検出工程と、
前記検出工程における検出結果に従って、前記撮影装置から取得された前記画像における一部の領域であって、前記対象物体の検出位置又はその近傍を中心とする一部の領域を対象として、画像の歪みを軽減するための歪み軽減処理を行う処理工程と、
前記歪み軽減処理により得られた画像に基づいて、前記移動体の外界を認識する認識工程と、
を含むことを特徴とする制御方法。

【請求項14】

コンピュータを請求項１乃至１２のいずれか１項に記載の制御装置の各手段として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、移動体の制御装置、制御方法及びプログラムに関する。

【背景技術】

【0002】

車両の周囲を撮影した画像から車両の外界を認識し、認識結果を運転支援等の制御に利用することが行われている。その際、検出範囲を広げるために、魚眼レンズ等の広画角のカメラを用いることも想定される。しかし、このようなカメラでは、広範囲の画像を取得できるものの、取得される画像は歪んでいるため、通常のカメラから得られる歪みのない画像を前提とした物体検出技術を適用すると検出精度が低下しうる。特許文献１は、歪んだ画像に対して歪み軽減処理を施し、その補正後の画像を用いて物体検出を行う技術を開示している。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００８－４８４４３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

車両等の移動体の外界の認識結果に基づいて適切な運転支援制御又は自動運転制御を実現するためには、移動体の周囲で静止又は移動している物体に関して精密な情報を取得することが求められる。しかしながら、魚眼レンズのような広画角のレンズが取り付けられた撮影装置から得られる画像に対して適切に歪み軽減処理を行わないと、移動体の周囲に存在する物体に関する情報を適切に取得することができない場合がある。

【0005】

本発明は、広画角のレンズが取り付けられた撮影装置によって得られる画像から、移動体の周囲の物体に関する情報を精度良く取得するための技術を提供する。

【課題を解決するための手段】

【0006】

本発明の一態様に係る制御装置は、広画角のレンズが取り付けられた撮影装置を有する移動体の制御装置であって、前記移動体の外界を撮影して得られた画像を前記撮影装置から取得する画像取得手段と、前記撮影装置から取得された前記画像に基づいて、画像認識により対象物体の検出を行う検出手段と、前記検出手段による検出結果に従って、前記撮影装置から取得された前記画像における一部の領域であって、前記対象物体の検出位置又はその近傍を中心とする一部の領域を対象として、画像の歪みを軽減するための歪み軽減処理を行う処理手段と、前記歪み軽減処理により得られた画像に基づいて、前記移動体の外界を認識する認識手段と、を備えることを特徴とする。

【発明の効果】

【0007】

本発明によれば、広画角のレンズが取り付けられた撮影装置から得られる画像から、移動体の周囲の物体に関する情報を精度良く取得することが可能になる。

【図面の簡単な説明】

【0008】

【図1】一実施形態に係る車両の構成例を示すブロック図。

【図2】一実施形態に係るカメラの撮影範囲を説明する模式図。

【図3】一実施形態に係る歪み軽減処理を説明する模式図。歪み軽減処理

【図4】一実施形態に係る制御装置が実施する処理の手順を示すフローチャート。

【図5】他の実施形態に係る制御装置が実施する処理の手順を示すフローチャート。

【発明を実施するための形態】

【0009】

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施形態で説明されている特徴の組み合わせの全てが発明に必須のものとは限らない。実施形態で説明されている複数の特徴のうち二つ以上の特徴は任意に組み合わされてもよい。また、同一若しくは同様の構成には同一の参照番号を付し、重複した説明は省略する。なお、以下の実施形態では、移動体が車両であるものとして説明するが、移動体は車両に限られず飛行体やロボット等であってもよい。

【0010】

＜構成＞
図１は、本発明の一実施形態に係る車両１のブロック図である。図１において、車両１の概略が平面図と側面図とで示されている。車両１は一例としてセダンタイプの四輪の乗用車である。車両１はこのような四輪車両であってもよいし、二輪車両や他のタイプの車両であってもよい。

【0011】

車両１は、車両１を制御する車両用制御装置２（以下、単に制御装置２と呼ぶ）を含む。制御装置２は車内ネットワークにより通信可能に接続された複数のＥＣＵ（Electronic Control Unit）２０～２９を含む。各ＥＣＵは、ＣＰＵ（Central Processing Unit）等のプロセッサ、半導体メモリ等のメモリ、外部デバイスとのインタフェース等を含む。メモリにはプロセッサが実行するプログラムやプロセッサが処理に使用するデータ等が格納される。各ＥＣＵはプロセッサ、メモリ及びインタフェース等を複数備えていてもよい。例えば、ＥＣＵ２０は、１つ以上のプロセッサ２０ａと１つ以上のメモリ２０ｂとを備える。メモリ２０ｂに格納されたプログラムを含む命令をプロセッサ２０ａが実行することによって、ＥＣＵ２０による処理が実行される。これに代えて、ＥＣＵ２０は、ＥＣＵ２０による処理を実行するためのＡＳＩＣ（Application Specific Integrated Circuit）等の専用の集積回路を備えてもよい。他のＥＣＵについても同様である。

【0012】

以下、各ＥＣＵ２０～２９が担当する機能等について説明する。なお、ＥＣＵの数や、担当する機能については適宜設計可能であり、本実施形態よりも細分化したり、統合したりすることが可能である。

【0013】

ＥＣＵ２０は、車両１の自動走行に関わる制御を実行する。自動運転においては、車両１の操舵と、加減速の少なくともいずれか一方を自動制御する。ＥＣＵ２０による自動走行は、運転者による走行操作を必要としない自動走行（自動運転とも呼ばれうる）と、運転者による走行操作を支援するための自動走行（運転支援とも呼ばれうる）とを含んでもよい。

【0014】

ＥＣＵ２１は、電動パワーステアリング装置３を制御する。電動パワーステアリング装置３は、ステアリングホイール３１に対する運転者の運転操作（操舵操作）に応じて前輪を操舵する機構を含む。また、電動パワーステアリング装置３は操舵操作をアシストしたり、前輪を自動操舵したりするための駆動力を発揮するモータや、操舵角を検知するセンサ等を含む。車両１の運転状態が自動運転の場合、ＥＣＵ２１は、ＥＣＵ２０からの指示に対応して電動パワーステアリング装置３を自動制御し、車両１の進行方向を制御する。

【0015】

ＥＣＵ２２及び２３は、車両の周囲状況を検知する検知ユニットの制御及び検知結果の情報処理を行う。車両１は、車両の周囲状況を検知する検知ユニットとして、１つの標準カメラ４０と、４つの魚眼カメラ４１～４４とを含む。標準カメラ４０ならびに魚眼カメラ４２及び４４はＥＣＵ２２に接続されている。魚眼カメラ４１及び４３はＥＣＵ２３に接続されている。ＥＣＵ２２及び２３は、標準カメラ４０及び魚眼カメラ４１～４４が撮影した画像を解析することにより、物標の輪郭や、道路上の車線の区画線（白線等）を抽出可能である。

【0016】

魚眼カメラ４１～４４とは、魚眼レンズが取り付けられたカメラのことであり、広範囲の画像を取得できるものの、取得される画像に（標準カメラによって撮影された画像と比較して）大きな歪みが生じる、広画角のレンズが取り付けられた撮影装置の一例である。以下、魚眼カメラ４１の構成について説明する。他の魚眼カメラ４２～４４も同様の構成を有してもよい。魚眼カメラ４１の画角は、標準カメラ４０の画角よりも広い。そのため、魚眼カメラ４１は、標準カメラ４０よりも広い範囲を撮影可能である。魚眼カメラ４１によって撮影された画像は、標準カメラ４０によって撮影された画像と比較して大きな歪みを有する。そのため、ＥＣＵ２３は、魚眼カメラ４１によって撮影された画像を解析する前に、当該画像に対して歪みを軽減するための変換処理（以下、「歪み軽減処理」という）を行ってもよい。一方、ＥＣＵ２２は、標準カメラ４０によって撮影された画像を解析する前に、当該画像に対して歪み軽減処理を行わなくてもよい。このように、標準カメラ４０は、歪み軽減処理の対象とならない画像を撮影する撮影装置であり、魚眼カメラ４１は、歪み軽減処理の対象となる画像を撮影する撮影装置である。標準カメラ４０のかわりに、歪み軽減処理の対象とならない画像を撮影する他の撮影装置、例えば広角レンズや望遠レンズが取り付けられたカメラが使用されてもよい。

【0017】

標準カメラ４０は、車両１の前部中央に取り付けられており、車両１の前方の周囲状況を撮影する。魚眼カメラ４１は、車両１の前部中央に取り付けられており、車両１の前方の周囲状況を撮影する。図１では、標準カメラ４０と魚眼カメラ４１とが水平方向に並んでいるように示されている。しかし、標準カメラ４０及び魚眼カメラ４１の配置はこれに限られず、例えばこれらは鉛直方向に並んでいてもよい。また、標準カメラ４０と魚眼カメラ４１との少なくとも一方は、車両１のルーフ前部（例えば、フロントウィンドウの車室内側）に取り付けられてもよい。魚眼カメラ４２は、車両１の右側部中央に取り付けられており、車両１の右方の周囲状況を撮影する。魚眼カメラ４３は、車両１の後部中央に取り付けられており、車両１の後方の周囲状況を撮影する。魚眼カメラ４４は、車両１の左側部中央に取り付けられており、車両１の左方の周囲状況を撮影する。

【0018】

車両１が有するカメラの種類、個数及び取り付け位置は、上述の例に限られない。また、車両１は、車両１の周囲の物標を検知したり、物標との距離を測距したりするための検知ユニットとして、ライダ（Light Detection and Ranging）やミリ波レーダを含んでもよい。

【0019】

ＥＣＵ２２は、標準カメラ４０ならびに魚眼カメラ４２及び４４の制御及び検知結果の情報処理を行う。ＥＣＵ２３は、魚眼カメラ４１及び４３の制御及び検知結果の情報処理を行う。車両の周囲状況を検知する検知ユニットを２系統に分けることによって、検知結果の信頼性を向上できる。

【0020】

ＥＣＵ２４は、ジャイロセンサ５、ＧＰＳセンサ２４ｂ、通信装置２４ｃの制御及び検知結果あるいは通信結果の情報処理を行う。ジャイロセンサ５は車両１の回転運動を検知する。ジャイロセンサ５の検知結果や、車輪速等により車両１の進路を判定することができる。ＧＰＳセンサ２４ｂは、車両１の現在位置を検知する。通信装置２４ｃは、地図情報や交通情報を提供するサーバと無線通信を行い、これらの情報を取得する。ＥＣＵ２４は、メモリに構築された地図情報のデータベース２４ａにアクセス可能であり、ＥＣＵ２４は現在地から目的地へのルート探索等を行う。ＥＣＵ２４、地図データベース２４ａ、ＧＰＳセンサ２４ｂは、いわゆるナビゲーション装置を構成している。

【0021】

ＥＣＵ２５は、車車間通信用の通信装置２５ａを備える。通信装置２５ａは、周辺の他車両と無線通信を行い、車両間での情報交換を行う。

【0022】

ＥＣＵ２６は、パワープラント６を制御する。パワープラント６は車両１の駆動輪を回転させる駆動力を出力する機構であり、例えば、エンジンと変速機とを含む。ＥＣＵ２６は、例えば、アクセルペダル７Ａに設けた操作検知センサ７ａにより検知した運転者の運転操作（アクセル操作あるいは加速操作）に対応してエンジンの出力を制御したり、車速センサ７ｃが検知した車速等の情報に基づいて変速機の変速段を切り替えたりする。車両１の運転状態が自動運転の場合、ＥＣＵ２６は、ＥＣＵ２０からの指示に対応してパワープラント６を自動制御し、車両１の加減速を制御する。

【0023】

ＥＣＵ２７は、方向指示器８（ウィンカ）を含む灯火器（ヘッドライト、テールライト等）を制御する。図１の例の場合、方向指示器８は車両１の前部、ドアミラー及び後部に設けられている。

【0024】

ＥＣＵ２８は、入出力装置９の制御を行う。入出力装置９は運転者に対する情報の出力と、運転者からの情報の入力の受け付けを行う。音声出力装置９１は運転者に対して音声により情報を報知する。表示装置９２は運転者に対して画像の表示により情報を報知する。表示装置９２は例えば運転席表面に配置され、インストルメントパネル等を構成する。なお、ここでは、音声と表示を例示したが振動や光により情報を報知してもよい。また、音声、表示、振動又は光のうちの複数を組み合わせて情報を報知してもよい。更に、報知すべき情報のレベル（例えば緊急度）に応じて、組み合わせを異ならせたり、報知態様を異ならせたりしてもよい。入力装置９３は運転者が操作可能な位置に配置され、車両１に対する指示を行うスイッチ群であるが、音声入力装置も含まれてもよい。

【0025】

ＥＣＵ２９は、ブレーキ装置１０やパーキングブレーキ（不図示）を制御する。ブレーキ装置１０は例えばディスクブレーキ装置であり、車両１の各車輪に設けられ、車輪の回転に抵抗を加えることで車両１を減速あるいは停止させる。ＥＣＵ２９は、例えば、ブレーキペダル７Ｂに設けた操作検知センサ７ｂにより検知した運転者の運転操作（ブレーキ操作）に対応してブレーキ装置１０の作動を制御する。車両１の運転状態が自動運転の場合、ＥＣＵ２９は、ＥＣＵ２０からの指示に対応してブレーキ装置１０を自動制御し、車両１の減速及び停止を制御する。ブレーキ装置１０やパーキングブレーキは車両１の停止状態を維持するために作動することもできる。また、パワープラント６の変速機がパーキングロック機構を備える場合、これを車両１の停止状態を維持するために作動することもできる。

【0026】

＜撮影範囲＞
次に図２を参照して、標準カメラ４０及び魚眼カメラ４１～４４の撮影範囲について説明する。図２（ａ）は、各カメラの水平方向の撮影範囲を示し、図２（ｂ）は車両１の右側部に取り付けられた魚眼カメラ４２の垂直方向の撮影範囲を示し、図２（ｃ）は車両１の後部に取り付けられた魚眼カメラ４３の垂直方向の撮影範囲を示す。

【0027】

まず、図２（ａ）を参照して、車両１の平面図（すなわち、車両１の水平方向）における撮影範囲について説明する。標準カメラ４０は、撮影範囲２００に含まれる風景を撮影する。標準カメラ４０の撮影中心２００Ｃは、車両１の真正面を向いている。標準カメラ４０の水平方向の画角は、９０°未満であってもよく、例えば４５°程度又は３０°程度であってもよい。

【0028】

魚眼カメラ４１は、撮影範囲２０１に含まれる風景を撮影する。魚眼カメラ４１の撮影中心２０１Ｃは、車両１の真正面を向いている。魚眼カメラ４２は、撮影範囲２０２に含まれる風景を撮影する。魚眼カメラ４２の撮影中心２０２Ｃは、車両１の右方の真横を向いている。魚眼カメラ４３は、撮影範囲２０３に含まれる風景を撮影する。魚眼カメラ４３の撮影中心２０３Ｃは、車両１の真後ろを向いている。魚眼カメラ４４は、撮影範囲２０４に含まれる風景を撮影する。魚眼カメラ４４の撮影中心２０４Ｃは、車両１の左方の真横を向いている。魚眼カメラ４１～４４の水平方向の画角は、例えば９０°よりも大きくてもよく、１５０°よりも大きくてもよく、１８０°よりも大きくてもよく、例えば１８０°程度であってもよい。図２（ａ）は、魚眼カメラ４１～４４の水平方向の画角が１８０°となる例を示している。

【0029】

撮影範囲２０１は、車両１の左斜め前方にある領域２０１Ｌと、車両１の真正面にある領域２０１Ｆと、車両１の右斜め前方にある領域２０１Ｒとに分割されうる。撮影範囲２０２は、車両１の右斜め前方にある領域２０２Ｌと、車両１の右方の真横にある領域２０２Ｆと、車両１の右斜め後方にある領域２０２Ｒとに分割されうる。撮影範囲２０３は、車両１の右斜め後方にある領域２０３Ｌと、車両１の真後ろにある領域２０３Ｆと、車両１の左斜め後方にある領域２０３Ｒとに分割されうる。撮影範囲２０４は、車両１の右斜め後方にある領域２０４Ｌと、車両１の左方の真横にある領域２０４Ｆと、車両１の左斜め前方にある領域２０４Ｒとに分割されうる。撮影範囲２０１は、３つの領域２０１Ｌ、２０１Ｆ、及び２０１Ｒに均等に（すなわち、各領域の画角が等しくなるように）分割されてもよい。他の撮影範囲２０２～２０４についても均等に３分割されてもよい。

【0030】

標準カメラ４０及び魚眼カメラ４１～４４が上述のような撮影範囲２００～２０４を有することによって、車両１の真正面及び４つの斜め方向は、２つの別個のカメラの撮影範囲に含まれる。具体的に、車両１の真正面は、標準カメラ４０の撮影範囲２００と、魚眼カメラ４１の撮影範囲２０１の領域２０１Ｆとの両方に含まれる。車両１の右斜め前方は、魚眼カメラ４１の撮影範囲２０１の領域２０１Ｒと、魚眼カメラ４２の撮影範囲２０２の領域２０２Ｌとの両方に含まれる。車両１の他の３つの斜め方向についても同様である。

【0031】

続いて、図２（ｂ）及び図２（ｃ）を参照して、車両１の垂直方向における撮影範囲について説明する。図２（ｂ）では、魚眼カメラ４２の垂直方向の撮影範囲について説明し、図２（ｃ）では、魚眼カメラ４３の垂直方向の撮影範囲について説明する。他の魚眼カメラ４１及び４４の垂直方向の撮影範囲についても同様であってもよい。

【0032】

魚眼カメラ４１～４４の垂直方向の画角は、例えば９０°よりも大きくてもよく、１５０°よりも大きくてもよく、１８０°よりも大きくてもよく、例えば１８０°程度であってもよい。図２（ｂ）及び（ｃ）は、魚眼カメラ４１～４４の垂直方向の画角が１８０°となる例を示している。図示の例では、魚眼カメラ４３の撮影中心２０３Ｃは、地面に平行な方向よりも下側（地面の側）を向いている。これにかえて、魚眼カメラ４３の撮影中心２０３Ｃは、地面に平行な方向を向いていてもよいし、地面に平行な方向よりも上側（地面とは反対側）を向いていてもよい。また、魚眼カメラ４１～４４の撮影中心２０１Ｃ～２０４Ｃが、垂直方向において、互いに異なる方向を向いていてもよい。

【0033】

図３を参照して、魚眼カメラ４１～４４によって撮影された画像の歪み軽減処理について説明する。画像３００は、魚眼カメラ４２によって撮影された車両１の右方の風景の画像である。示されるように、画像３００は、特に周辺部分において大きな歪みを有する。

【0034】

魚眼カメラ４２に接続されているＥＣＵ２２は、画像３００に対して歪み軽減処理を行う。具体的に、ＥＣＵ２２は、画像３００内の１点を補正中心点３０１として設定する。ＥＣＵ２２は、画像３００から、補正中心点３０１を中心とする一部の領域（矩形の領域３０２）を切り出す。ＥＣＵ２２は、この領域３０２に対して歪み軽減処理を行うことによって、歪みが軽減された画像３０３を生成する。歪み軽減処理は、補正中心点３０１に近い位置ほど歪みが軽減され、補正中心点３０１から遠い位置では歪みが軽減されないか、歪みが増大される。そこで、一部の実施形態において、ＥＣＵ２２は、車両１の周囲の環境のうち、着目したい領域内に補正中心点３０１を設定し、この領域について歪みが軽減した画像を生成する。

【0035】

＜処理＞
図３を参照して説明したように、広画角のレンズが取り付けられた撮影装置の一例である魚眼カメラ４１～４４が車両１の外界を撮影して得られる画像には、特に周辺部分において大きな歪みが生じる。このような歪みが生じた画像に対して、標準カメラ４０のようなカメラにより得られる画像のために用意された、物体認識や道路認識等の外界認識用のモデルをそのまま適用することはできない。このため、取得された画像を、歪みが軽減された画像（平面画像）に変換して外界認識に使用することが必要になる。

【0036】

車両１の外界の認識結果に基づいて適切な運転支援制御又は自動運転制御を実現するためには、車両１の周囲で静止又は移動している物体（例えば、他の車両、歩行者、自転車、信号、及び道路標識等）に関して精密な情報を取得することが求められる。そこで、以下の実施形態では、制御装置２は、魚眼カメラ４１～４４により得られた画像から、精密な情報が取得されるべき特定の物体を発見（即ち、画像内でどこに特定の物体が存在するかを判定）する。更に、制御装置２は、魚眼カメラ４１～４４により得られた画像における、発見した物体の位置又はその近傍を中心した一部の領域（例えば、図３の領域３０２）を対象として、画像の歪みを軽減するための歪み軽減処理を行う。即ち、制御装置２は、発見した物体の位置又はその近傍に補正中心点（例えば、図３の補正中心点３０１）を設定して、歪み軽減処理を行う。制御装置２は、このようにして得られた画像を車両１の外界の認識処理に使用する。これにより、車両１の周囲の環境に関するより精密な情報を認識処理により取得することを可能にする。なお、本明細書において、物体の位置の近傍とは、歪み軽減処理により得られた画像を用いて対象物体に対する所望の外界認識処理が可能となる程度の位置である。

【0037】

以下、図４を参照して、一部の実施形態において制御装置２が車両１を制御する方法の例について説明する。この方法は、制御装置２の各ＥＣＵ２０～２９のプロセッサ２０ａがメモリ２０ｂ内のプログラムを実行することによって行われてもよい。図５の方法は、制御装置２による運転支援機能又は自動運転機能がオンになったことに応じて開始されてもよい。

【0038】

Ｓ４０１で、制御装置２は、標準カメラ４０及び魚眼カメラ４１～４４のそれぞれから、車両１の外界の画像を取得する。各画像は、車両１の外界のうち、図２で説明した範囲の状況を含む。なお、標準カメラ４０から取得された画像についてはＳ４０２～Ｓ４０４の処理を行う必要はない。

【0039】

Ｓ４０２で、制御装置２は、各魚眼カメラ（魚眼カメラ４１～４４）から取得された画像に基づいて、検出対象として予め定められた物体（対象物体）の検出処理を行う。この検出処理は、取得された画像において、外界認識により精密な情報が取得されるべき特定の物体を発見する処理に相当する。検出の対象となる対象物体には、一例として、他の車両、歩行者、自転車、信号、及び道路標識のうちの１つ以上が含まれうる。

【0040】

検出処理の一例として、制御装置２は、各魚眼カメラから取得された画像に対して画像認識を行うことで、対象物体の検出を行う。この画像認識は、魚眼カメラにより得られた画像のうち、対象物体が含まれる画像を教師データとして学習させた、例えば公知のディープラーニング技術を用いたモデルを用いることにより実現することができる。学習済みモデルは、未知の画像が入力されると、当該画像内の対象物体の有無と、その対象物体の領域（位置）とを出力する。学習済みモデルは、予めメモリ２０ｂに格納されていてもよい。なお、学習済みモデルは、対象物体が存在する領域の１つ以上を出力できる。

【0041】

検出処理の他の例として、制御装置２は、各魚眼カメラから取得された画像を所定の画角（例えば、１２０°）で分割して得られた画像に対して画像認識を行うことで、対象物体の検出を行ってもよい。これにより、分割された各画像において対象物体を発見し、それぞれ発見した物体が位置する領域に対して個別に歪み軽減処理（Ｓ４０４）及び外界認識処理（Ｓ４０５）を適用することが可能になる。これにより、車両の周囲における特定の方向に存在する物体に関する情報を適切に取得することが可能になる。また、更に他の例として、制御装置２は、各魚眼カメラから取得された画像に対して、一旦、歪み軽減処理を行って得られた画像に対して画像認識を行うことで、対象物体の検出を行うことも可能である。

【0042】

次にＳ４０３及びＳ４０４で、制御装置２は、Ｓ４０２の検出処理による検出結果に従って、各魚眼カメラから取得された画像に対する歪み軽減処理を行う。より具体的には、Ｓ４０３で、制御装置２は、Ｓ４０２の検出処理において、各魚眼カメラから取得された画像内で対象物体が検出されたか否かを判定する。制御装置２は、各魚眼カメラに対応する画像ごとに、対象物体が検出されていない場合にはＳ４０１へ処理を戻し、対象物体が検出された場合にはＳ４０４へ進める。

【0043】

Ｓ４０４で、制御装置２は、各魚眼カメラから取得された画像における一部の領域であって、対象物体の検出位置又はその近傍を中心とする一部の領域を対象として、歪み軽減処理を行う。例えば、制御装置２は、各魚眼カメラから取得された画像における対象物体が検出された位置又はその近傍の位置を補正中心点（変換中心位置）として設定し、当該補正中心点を中心とする矩形の領域を切り出し、切り出した画像に対して歪み軽減処理を行う。これにより、歪みが軽減された画像が生成される。歪み軽減処理には既存の技術を用いてもよいため、詳細な説明を省略する。

【0044】

Ｓ４０４の変換処理が完了すると、Ｓ４０５で、制御装置２は、標準カメラ４０から取得された画像、及び変換処理により得られた画像（歪みが軽減された画像）に基づいて、車両１の外界を認識する認識処理を行う。認識処理は、Ｓ４０２と同様、魚眼カメラにより得られた画像のうち、対象物体が含まれる画像を教師データとして学習させた、例えば公知のディープラーニング技術を用いたモデルを用いることにより実現することができる。学習済みモデルは、予めメモリ２０ｂに格納されていてもよい。なお、学習済モデルは、対象物体が存在する領域の１つ以上を出力できる。

【0045】

認識処理が完了すると、認識処理により抽出された物体に関する情報を、運転支援制御又は自動運転制御のために提供する。即ち、制御装置２は、外界の認識結果に応じて車両１の制御（例えば、自動ブレーキや運転者への通知、自動運転レベルの変更など）を行ってもよい。外界の認識結果に応じた車両１の制御には既存の技術を適用してもよいため、詳細な説明を省略する。

【0046】

その後Ｓ４０７で、制御装置２は、動作を終了するか否かを判定し、動作を終了すると判定した場合には動作を終了し、それ以外の場合には処理をＳ４０１に戻し、上述の処理を繰り返す。制御装置２は、例えば運転支援機能又は自動運転機能がオフになったことに応じて動作を終了すると判定してもよい。

【0047】

上述のように、Ｓ４０１～Ｓ５０７は繰り返し実行される。制御装置２は、Ｓ４０１～Ｓ５０７の処理を周期的に実行してもよい。この実行周期は、Ｓ４０２の検出処理、Ｓ４０４の歪み軽減処理、及びＳ４０５の認識処理の所要時間によって異なり、例えば１００ｍｓ程度であってもよい。

【0048】

以上説明したように、本実施形態では、制御装置２（ＥＣＵ２２及び２３）は、車両１の外界を撮影して得られた画像を撮影装置（魚眼カメラ）から取得し、撮影装置から取得された画像に基づいて、画像認識により対象物体の検出を行う。更に、制御装置２は、対象物体の検出結果（例えば検出の有無）に従って、撮影装置から取得された画像における一部の領域であって、対象物体の検出位置又はその近傍の位置を中心とする一部の領域を対象として、画像の歪みを軽減するための歪み軽減処理を行う。制御装置２は、歪み軽減処理により得られた画像に基づいて、車両１の外界を認識する。これにより、魚眼レンズが取り付けられた撮影装置（魚眼カメラ）によって得られる画像から、車両１の周囲の物体に関する情報を精度良く取得することが可能になる。

【0049】

＜変形例＞
上述の一部の実施形態では、魚眼カメラから取得された画像において発見（検出）されるべき物体が予め定められていることを前提としている。これに対し、他の実施形態では、検出対象の物体を、車両１の動作状態に基づいて、（例えば車両１の走行シーンごとに）決定してもよい。

【0050】

図５を参照して、他の実施形態において制御装置２が車両１を制御する方法の例について説明する。この方法は、図４の方法と同様、制御装置２の各ＥＣＵ２０～２９のプロセッサ２０ａがメモリ２０ｂ内のプログラムを実行することによって行われてもよい。図５の方法は、制御装置２による運転支援機能又は自動運転機能がオンになったことに応じて開始されてもよい。なお、以下では、説明の簡略化のため、図４の方法における処理と同様の処理については説明を省略している。

【0051】

Ｓ５０１で、制御装置２は、車両１の動作状態に基づいて、物体の検出処理（Ｓ４０２）による検出の対象となる物体を決定する。動作状態とは車両の走行シーンであってよく、また車両の運転状態（例えば、自動運転レベル）であってもよい。例えば、左側通行が採用されている国において、制御装置２は、車両１の動作状態に対応する車両１の走行シーンが、交差点で右折を行うシーンである場合には、対向車線を走行してくる対向車両を、検出対象の物体として決定してもよい。また、制御装置２は、車両１の動作状態に対応する車両１の走行シーンが、交差点で左折を行うシーンである場合には、左折時の巻き込み事故の原因となる交通参加者（歩行者、自転車、及び他の車両等）を、検出対象の物体として決定してもよい。

【0052】

対象物体の決定後、Ｓ４０１で、制御装置２は、図４の方法と同様、標準カメラ４０及び魚眼カメラ４１～４４のそれぞれから、車両１の外界の画像を取得し、Ｓ４０２へ処理を進める。なお、本例ではＳ４０１の処理の前にＳ５０１の処理が行われているが、Ｓ４０１の処理の後にＳ５０１の処理が行われてもよい。Ｓ４０２で、制御装置２は、図４の方法と同様、各魚眼カメラ（魚眼カメラ４１～４４）から取得された画像に基づいて、対象物体の検出処理を行う。ただし、本例では、検出処理による検出対象となるのは、Ｓ５０１の処理で決定された物体である。更に、例えば上述の学習済みモデルによる、各魚眼カメラにより得られた画像内の対象物体の有無を示す出力して、画像認識による対象物体の認識確度を示す情報が出力される。

【0053】

検出処理の完了後、Ｓ５０２で、制御装置２は、Ｓ４０２で実行した検出処理における画像認識による対象物体の認識確度が、確度閾値を上回っているか否かを判定する。制御装置２は、認識確度が確度閾値を上回っている場合には、対象物体を検出したものと判定してＳ４０４へ処理を進め、それ以外の場合にはＳ４０１へ処理を戻す。

【0054】

ここで、確度閾値は、車両１の動作状態ごとに予め定められていてもよいし、検出処理（Ｓ４０２）による検出の対象となる物体の種類ごとに予め定められていてもよい。本実施形態の制御装置２は、Ｓ５０１において、車両１の動作状態、又は（動作状態に基づいて）検出対象として決定した物体の種類に応じて、Ｓ５０２において使用する確度閾値を決定（選択）する。例えば、ある走行シーンにおいて検出の重要度が高い物体の種類については、Ｓ５０２において検出したと判定されやすくなるよう（歪み軽減処理及び認識処理が行われやすくなるよう）、対応する確度閾値が低く設定されてもよい。一方、検出の重要度が低い物体の種類については、歪み軽減処理及び認識処理が行われにくくなるよう、対応する確度閾値が高く設定されてもよい。これにより、歪み軽減処理及び認識処理に伴う計算量を効率良く低減することが可能になる。

【0055】

Ｓ４０４～Ｓ４０７では、制御装置２は、図４の方法と同様の処理を行う。

【0056】

このように、本実施形態によれば、検出対象とする物体を車両１の動作状態に基づいて決定することで、魚眼カメラにより得られた画像から、車両の動作状態に対応して検出が必要となる種類の物体に関して情報を適切に取得することが可能になる。また、検出の重要度が高い物体については歪み軽減処理を実行して認識処理を実行しやすくする一方、検出の重要度が低い物体については歪み軽減処理及び認識処理を実行しないようにすることが可能である。これにより、歪み軽減処理及び認識処理に伴う計算量を低減することが可能になる。また、物体の検出処理における画像認識の認識確度と比較される確度閾値を、車両１の動作状態又は検出対象として決定された物体の種類に応じて変化させることで、歪み軽減処理及び認識処理に伴う計算量を効率良く低減することが可能になる。

【0057】

＜その他の実施形態＞
また、各実施形態で説明された１以上の機能を実現するプログラムは、ネットワーク又は記憶媒体を介してシステム又は装置に供給され、該システム又は装置のコンピュータにおける１以上のプロセッサは、このプログラムを読み出して実行することができる。このような態様によっても本発明は実現可能である。

【0058】

＜実施形態のまとめ＞
上記実施形態は、少なくとも以下の実施形態を開示する。

【0059】

［項目１］
広画角のレンズが取り付けられた撮影装置（例えば、４１～４４）を有する移動体（例えば、１）の制御装置（例えば、２）であって、
前記移動体の外界を撮影して得られた画像（例えば、３００）を前記撮影装置から取得する画像取得手段と、
前記撮影装置から取得された前記画像に基づいて、画像認識により対象物体の検出を行う検出手段と、
前記検出手段による検出結果に従って、前記撮影装置から取得された前記画像における一部の領域であって、前記対象物体の検出位置又はその近傍を中心とする一部の領域（例えば、３０２）を対象として、画像の歪みを軽減するための歪み軽減処理を行う処理手段と、
前記歪み軽減処理により得られた画像（例えば、３０３）に基づいて、前記車両の外界を認識する認識手段と、
を備えることを特徴とする制御装置。
この項目によれば、広画角のレンズが取り付けられた撮影装置によって得られる画像から、移動体の周囲の物体に関する情報を精度良く取得することが可能になる。

【0060】

［項目２］
前記処理手段は、前記検出手段によって前記対象物体が検出されると、前記歪み軽減処理を行う
ことを特徴とする項目１に記載の制御装置。
この項目によれば、対象物体の検出結果に従って、適切に歪み軽減処理を行うことが可能になる。

【0061】

［項目３］
前記検出手段は、前記撮影装置から取得された前記画像に対して前記画像認識を行うことで、前記対象物体の検出を行う
ことを特徴とする項目１又は２に記載の制御装置。
この項目によれば、撮影装置により得られた画像に対する追加の加工を必要とせずに対象物体の検出を行うことができ、処理負荷を抑えることができる。

【0062】

［項目４］
前記検出手段は、前記撮影装置から取得された前記画像を所定の画角で分割して得られた画像に対して前記画像認識を行うことで、前記対象物体の検出を行う
ことを特徴とする項目１又は２に記載の制御装置。
この項目によれば、特定の方向に存在する物体に関する情報を適切に取得することが可能うになる。

【0063】

［項目５］
前記検出手段は、前記撮影装置から取得された前記画像に対して前記歪み軽減処理を行って得られた画像に対して前記画像認識を行うことで、前記対象物体の検出を行う
ことを特徴とする項目１又は２に記載の制御装置。
この項目によれば、対象物体の検出のための画像認識を、標準カメラ４０により撮影される画像のように、歪みの少ない画像に対して用意されたモデルを用いて実現することが可能になる。

【0064】

［項目６］
前記車両の動作状態に基づいて、前記検出手段による前記検出の対象とする物体を決定する決定手段を更に備える
ことを特徴とする項目１乃至５のいずれか１項に記載の制御装置。
この項目によれば、移動体の動作状態に対応して検出が必要となる種類の物体に関して情報を適切に取得することが可能になる。

【0065】

［項目７］
前記検出手段は、前記画像認識による前記対象物体の認識確度を示す情報を出力し、
前記処理手段は、前記情報が示す認識確度が閾値を上回ると、前記歪み軽減処理を行う
ことを特徴とする項目６に記載の制御装置。
この項目によれば、検出処理による対象物体の認識確度に基づいて、歪み軽減処理及び認識処理を行うか否かを適切に制御し、必要となる計算量を効率的に低減することが可能になる。

【0066】

［項目８］
前記閾値は、前記検出手段による前記検出の対象となる物体の種類ごとに予め定められており、
前記処理手段は、前記情報が示す認識確度が、前記決定手段によって決定された物体に対応する閾値を上回ると、前記歪み軽減処理を行う
ことを特徴とする項目７に記載の制御装置。
この項目によれば、歪み軽減処理及び認識処理に伴う計算量を効率良く低減することが可能になる。

【0067】

［項目９］
前記閾値は、前記車両の動作状態ごとに予め定められており、
前記処理手段は、前記情報が示す認識確度が、前記動作状態に対応する閾値を上回ると、前記歪み軽減処理を行う
ことを特徴とする項目７に記載の制御装置。
この項目によれば、歪み軽減処理及び認識処理に伴う計算量を効率良く低減することが可能になる。

【0068】

［項目１０］
前記撮影装置は、魚眼レンズが取り付けられた撮影装置であることを特徴とする項目１乃至９のいずれか１項に記載の制御装置。
この項目によれば、魚眼レンズが取り付けられた撮影装置によって得られる画像から、移動体の周囲の物体に関する情報を精度良く取得することが可能になる。

【0069】

［項目１１］
前記車両は、車両の前後及び側方にそれぞれ配置された複数の撮影装置を備え、
前記画像取得手段は、前記複数の撮影装置のそれぞれから前記画像を取得する
ことを特徴とする項目１乃至１０のいずれか１項に記載の制御装置。
この項目によれば、車両の周囲の全ての方向において周囲の物体に関する情報を精度良く取得することが可能になる。

【0070】

［項目１２］
前記移動体は、車両であることを特徴とする項目１乃至１１のいずれか１項に記載の制御装置。
この項目によれば、魚眼レンズが取り付けられた撮影装置によって得られる画像から、車両の周囲の物体に関する情報を精度良く取得することが可能になる。

【0071】

［項目１３］
広画角のレンズが取り付けられた撮影装置（例えば、４１～４４）を有する移動体（例えば、１）の制御方法であって、
前記移動体の外界を撮影して得られた画像（例えば、３００）を前記撮影装置から取得する画像取得工程と、
前記撮影装置から取得された前記画像に基づいて、画像認識により対象物体の検出を行う検出工程と、
前記検出工程における検出結果に従って、前記撮影装置から取得された前記画像における一部の領域（例えば、３０２）であって、前記対象物体の検出位置又はその近傍を中心とする一部の領域を対象として、画像の歪みを軽減するための歪み軽減処理を行う処理工程と、
前記歪み軽減処理により得られた画像（例えば、３０３）に基づいて、前記移動体の外界を認識する認識工程と、
を含むことを特徴とする制御方法。
この項目によれば、広画角のレンズが取り付けられた撮影装置によって得られる画像から、移動体の周囲の物体に関する情報を精度良く取得することが可能になる。

【0072】

［項目１４］
コンピュータを項目１乃至１２のいずれか１項に記載の制御装置の各手段として機能させるためのプログラム。
この項目によれば、プログラムの形態で上記の効果が得られる。

【0073】

以上、発明の実施形態について説明したが、発明は上記の実施形態に制限されるものではなく、発明の要旨の範囲内で、種々の変形・変更が可能である。

【符号の説明】

【0074】

１：車両、２：制御装置、２０～２９：ＥＣＵ、４１～４４：魚眼カメラ

【図1】

【図2】

【図3】

【図4】

【図5】