特許 7500705 認識処理システム、認識処理装置及び認識処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-06-07

(45)【発行日】2024-06-17

(54)【発明の名称】認識処理システム、認識処理装置及び認識処理方法

(51)【国際特許分類】

   H04N 7/18 20060101AFI20240610BHJP

   H04N 23/60 20230101ALI20240610BHJP

   G01S 13/86 20060101ALI20240610BHJP

   G01S 13/06 20060101ALI20240610BHJP

   G01S 13/50 20060101ALI20240610BHJP

【ＦＩ】

H04N7/18 K

H04N23/60 500

G01S13/86

G01S13/06

G01S13/50

【請求項の数】 17

(21)【出願番号】P 2022508135

(86)(22)【出願日】2021-02-10

(86)【国際出願番号】 JP2021005041

(87)【国際公開番号】W WO2021186960

(87)【国際公開日】2021-09-23

【審査請求日】2024-01-10

(31)【優先権主張番号】P 2020045764

(32)【優先日】2020-03-16

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】316005926

【氏名又は名称】ソニーセミコンダクタソリューションズ株式会社

(74)【代理人】

【識別番号】100120031

【弁理士】

【氏名又は名称】宮嶋 学

(72)【発明者】

【氏名】玉置 晶宏

【審査官】鈴木 隆夫

(56)【参考文献】

【文献】特開２０１２－２２０３７７（ＪＰ，Ａ）

【文献】特開２０１１－０２７４５７（ＪＰ，Ａ）

【文献】特開２００４－１９１１３１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１８

Ｈ０４Ｎ ２３／６０

Ｇ０１Ｓ １３／８６

Ｇ０１Ｓ １３／０６

Ｇ０１Ｓ １３／５０

(57)【特許請求の範囲】

【請求項1】

撮像により画像信号を取得する第１センサ装置と、
物体の検出処理を行う第２センサ装置と、
前記検出処理で検出された前記物体の情報に基づき、複数の認識処理のうちの１つを選択する選択部と、
前記画像信号に基づき、前記選択部により選択された前記認識処理を実行する認識処理部と、
を備え、
前記第１センサ装置は、第１の期間において前記撮像を行い、
前記第２センサ装置は、前記第１の期間の少なくとも一部の期間の間、前記検出処理を行い、
前記認識処理部は、前記第１の期間の経過後の第２の期間において、前記認識処理を実行する
認識処理システム。

【請求項2】

前記選択部は、前記検出処理で検出された前記物体の種類に応じて、前記複数の認識処理のうちの１つを選択する
請求項１に記載の認識処理システム。

【請求項3】

前記第１センサ装置は、撮像素子を含み、前記第１の期間に前記撮像素子を露光することにより前記画像信号を取得する
請求項１又は２に記載の認識処理システム。

【請求項4】

前記認識処理部は、前記複数の認識処理を行う複数の認識器を含み、
前記選択部は、前記複数の認識器のうちの１つを選択し、
前記認識処理部は、選択された前記認識器を用いて前記認識処理を実行する
請求項１～３のいずれか一項に記載の認識処理システム。

【請求項5】

前記選択部は、前記複数の認識処理を実行するための複数の認識プログラムのうちの１つを選択し、
前記認識処理部は、選択された前記認識プログラムを実行することにより前記認識処理を実行する
請求項１～４のいずれか一項に記載の認識処理システム。

【請求項6】

撮像により画像信号を取得する第１センサ装置と、
物体の検出処理を行う第２センサ装置と、
前記検出処理で検出された前記物体の情報に基づき、複数の認識処理のうちの１つを選択する選択部と、
前記検出処理で検出された前記物体の情報に基づき、前記画像信号に行う前処理のパラメータ情報を生成する設定部と、
前記パラメータ情報に基づき前記画像信号に対し前記前処理を行う前処理部と、
前記前処理された画像信号に基づき、前記選択部により選択された前記認識処理を実行する認識処理部と、
を備えた認識処理システム。

【請求項7】

前記物体の情報は、前記物体の位置及び種類の少なくとも１つを含む
請求項６に記載の認識処理システム。

【請求項8】

前記パラメータ情報は、前記画像信号から抽出する領域を特定する情報を含む
請求項７に記載の認識処理システム。

【請求項9】

前記パラメータ情報は、前記領域から抽出した信号に行う変倍処理及び色設定処理の少なくとも一方の設定値を含む
請求項８に記載の認識処理システム。

【請求項10】

前記物体の情報に基づき前記第１センサ装置における次の撮像の期間における前記物体の位置を予測する予測部を備え、
前記設定部は、前記予測した物体の位置に基づき、前記パラメータ情報を生成し、
前記認識処理部は、前記撮像で取得した画像信号又は前記次の撮像で取得した画像信号に基づき、前記認識処理を実行する
請求項６に記載の認識処理システム。

【請求項11】

前記第１センサ装置と前記第２センサ装置は同期信号に同期して動作する
請求項１～１０のいずれか一項に記載の認識処理システム。

【請求項12】

前記第２センサ装置は、前記第１センサ装置と異なる種類のセンサ装置である
請求項１～１１のいずれか一項に記載の認識処理システム。

【請求項13】

前記第１センサ装置はカメラであり
前記第２センサ装置はレーダである
請求項１２に記載の認識処理システム。

【請求項14】

撮像を行う第１センサ装置から第１の期間における前記撮像による画像信号を取得し、前記画像信号に基づき、複数の認識処理のうちの１つを実行する認識処理部と、
物体の検出処理を行う第２センサ装置から前記第１の期間の少なくとも一部の期間の間に行う前記物体の検出処理の結果を取得し、検出された前記物体の情報に基づき、前記認識処理部が実行する前記１つの認識処理を前記複数の認識処理から選択する選択部と、
を備え、
前記認識処理部は、前記第１の期間の経過後の第２の期間において、前記認識処理を実行する
認識処理装置。

【請求項15】

物体の検出処理を行う第２センサ装置における前記検出処理で検出された前記物体の情報に基づき、複数の認識処理のうちの１つを選択する選択部と、
前記検出処理で検出された前記物体の情報に基づき、撮像により画像信号を取得する第１センサ装置で取得される前記画像信号に行う前処理のパラメータ情報を生成する設定部と、
前記パラメータ情報に基づき前記画像信号に対し前記前処理を行う前処理部と、
前記前処理された画像信号に基づき、前記選択部により選択された前記認識処理を実行する認識処理部と、
を備えた認識処理装置。

【請求項16】

第１の期間において撮像により画像信号を取得し、
前記第１の期間の少なくとも一部の期間の間、物体の検出処理を行い、
前記検出処理で検出された前記物体の情報に基づき、複数の認識処理のうちの１つを選択し、
前記第１の期間の経過後の第２の期間において、前記画像信号に基づき、選択された前記認識処理を実行する、
認識処理方法。

【請求項17】

物体の検出処理で検出された前記物体の情報に基づき、複数の認識処理のうちの１つを選択し、
前記検出処理で検出された前記物体の情報に基づき、撮像により取得される画像信号に行う前処理のパラメータ情報を生成し、
前記パラメータ情報に基づき前記画像信号に対し前記前処理を行い、
前記前処理された画像信号に基づき、選択された前記認識処理を実行する、
認識処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、認識処理システム、認識処理装置及び認識処理方法に関する。

【背景技術】

【0002】

カメラで撮像した映像を前処理し、前処理した映像に対し物体の認識処理を行った結果を前処理へフィードバックする方法がある。この方法を車両の自動運転に適用して、自動運転を支援する要求がある。しかしながら、この方法では、認識器の演算量が多く、電力消費量も高い。このため、本方法を、車両に搭載可能な小規模なシステムで実現するのは難しい。また、この方法は、フレーム遅延が多くなり、レイテンシが大きくなってしまう問題もある。

【0003】

下記特許文献１は、カメラとミリ波レーダとを用いた物体認識について記載されている。しかしながら、カメラの認識処理の演算量を低くする方法、あるいは演算処理を早める方法については記載されていない。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２００１－９９９３０号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

本開示は、撮像により取得された画像信号の認識処理を高速に行う認識処理システム、認識処理装置及び認識処理方法を提供する。

【課題を解決するための手段】

【0006】

本開示の認識処理システムは、
撮像により画像信号を取得する第１センサ装置と、
物体の検出処理を行う第２センサ装置と、
前記検出処理で検出された前記物体の情報に基づき、複数の認識処理のうちの１つを選択する選択部と、
前記画像信号に基づき、前記選択部により選択された前記認識処理を実行する認識処理部と、
を備える。

【0007】

前記選択部は、前記検出処理で検出された前記物体の種類に応じて、前記複数の認識処理のうちの１つを選択してもよい。

【0008】

前記第１センサ装置は、第１の期間において前記撮像を行い、
前記第２センサ装置は、前記第１の期間の少なくとも一部の期間の間、前記検出処理を行い、
前記認識処理部は、前記第１の期間の経過後の第３の期間において、前記認識処理を実行してもよい。

【0009】

前記第１センサ装置は、撮像素子を含み、前記第１の期間に前記撮像素子を露光することにより前記画像信号を取得してもよい。

【0010】

前記認識処理部は、前記複数の認識処理を行う複数の認識器を含み、
前記選択部は、前記複数の認識器のうちの１つを選択し、
前記認識処理部は、選択された前記認識器を用いて前記認識処理を実行してもよい。

【0011】

前記選択部は、前記複数の認識処理を実行するための複数の認識プログラムのうちの１つを選択し、
前記認識処理部は、選択された前記認識プログラムを実行することにより前記認識処理を実行してもよい。

【0012】

本認識処理システムは、前記画像信号に前処理を行う前処理部と、
前記検出処理で検出された前記物体の情報に基づき、前記前処理のパラメータ情報を生成する設定部を備え、を備え、
前記前処理部は、前記パラメータ情報に基づき前記画像信号に対し前記前処理を行い、 前記認識処理部は、前記前処理された画像信号に基づき前記認識処理を実行してもよい。

【0013】

前記物体の情報は、前記物体の位置及び種類の少なくとも１つを含んでもよい。

【0014】

前記パラメータ情報は、前記画像信号から抽出する領域を特定する情報を含んでもよい。

【0015】

前記パラメータ情報は、前記領域から抽出した信号に行う変倍処理及び色設定処理の少なくとも一方の設定値を含んでもよい。

【0016】

本認識処理システムは、前記物体の情報に基づき前記第１センサ装置における次の撮像の期間における前記物体の位置を予測する予測部を備え、
前記設定部は、前記予測した物体の位置に基づき、前記パラメータ情報を生成し、
前記認識処理部は、前記撮像で取得した画像信号又は前記次の撮像で取得した画像信号に基づき、前記認識処理を実行してもよい。

【0017】

前記第１センサ装置と前記第２センサ装置は同期信号に同期して動作してもよい。

【0018】

前記第２センサ装置は、前記第１センサ装置と異なる種類のセンサ装置でもよい。

【0019】

前記第１センサ装置はカメラであり
前記第２センサ装置はレーダでもよい。

【0020】

本開示の認識処理装置は、第１センサ装置から撮像による画像信号を取得し、前記画像信号に基づき、複数の認識処理のうちの１つを実行する認識処理部と、
第２センサ装置から物体の検出処理の結果を取得し、検出された前記物体の情報に基づき、前記認識処理部が実行する前記１つの認識処理を前記複数の認識処理から選択する選択部とを備える。

【0021】

本開示の認識処理方法は、撮像により画像信号を取得し、
物体の検出処理を行い、
前記検出処理で検出された前記物体の情報に基づき、複数の認識処理のうちの１つを選択し、
前記画像信号に基づき、選択された前記認識処理を実行する。

【図面の簡単な説明】

【0022】

【図1】第１実施形態に係る認識処理システムのブロック図。

【図2】物体の距離、角度及び速度をマップとして示した例を示す図。

【図3】図１の認識処理システムの動作のタイミング例を示す図。

【図4】本実施形態に係る認識処理システムの動作の一例のフローチャート。

【図5】第２実施形態に係る認識処理システムのブロック図。

【図6】第３実施形態に係る認識処理システムのブロック図。

【図7】図６の認識処理システムの動作のタイミング例を示す図。

【発明を実施するための形態】

【0023】

以下、図面を参照して、本開示の実施形態について説明する。本開示において示される１以上の実施形態において、各実施形態が含む要素を互いに組み合わせることができ、かつ、当該組み合わせられた結果物も本開示が示す実施形態の一部をなす。

【0024】

（第１実施形態）
図１は、第１実施形態に係る認識処理システムのブロック図である。図１の認識処理システム１００は、認識処理装置１０１、カメラ２０１、レーダ３０１を備えている。認識処理装置１０１は、前処理部１１１、認識処理部１１２、設定部１３３及び選択部１３４を備えている。レーダ３０１は、送信器３１１、受信器３１２及びレーダ信号処理部３１３を備えている。認識処理装置１０１の各要素は、ハードウェア、ソフトウェア（プログラム）又はこれらの両方によって構成される。ハードウェアの例は、ＣＰＵ（Central Processing Unit）等のプロセッサ、専用回路、プログラム可能な回路及びメモリ等を含む。

【0025】

認識処理システム１００は、有線又は無線により車両制御システム４０１に接続されている。認識処理システム１００及び車両制御システム４０１は、車両に搭載されている。車両は、一例として、電気自動車、ハイブリッド自動車、ガソリン自動車、電気バス、ロボット、無人搬送車、自動運転車などである。認識処理システムは、車両以外の移動体、例えばドローン、飛行機、船舶、スマートフォンなどに搭載されてもよい。認識処理システム１００は、カメラ２０１及びレーダ３０１を用いて物体の認識処理を行い、認識処理の結果を表す情報を車両制御システム４０１に提供する。車両制御システム４０１は、認識処理装置１０１から提供された情報に基づき、車両の運転（例えば自動運転）を支援する。

【0026】

カメラ２０１は、露光期間中に撮像レンズを介して撮像素子を露光させることにより撮像を行い、画像信号を取得するセンサ装置である。カメラ２０１は、取得した画像信号を認識処理装置１０１の前処理部１１１に提供する。カメラ２０１は一例として車両に搭載され、車両の周辺環境を一定のサンプリング間隔で撮像するＲＧＢカメラである。カメラ２０１は、例えば車両の統合制御ユニット（図示せず）に動作を制御される。カメラ２０１は、単眼カメラ、ステレオカメラ、ＴｏＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも１つのカメラを含む。カメラ２０１は、例えば、車両のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設置される。フロントノーズ及び車室内のフロントガラスの上部に備えられるカメラは、主として車両の前方の画像を取得する。サイドミラーに備えられるカメラ、主として車両の側方の画像を取得する。リアバンパ又はバックドアに備えられるカメラは、主として車両の後方の画像を取得する。

【0027】

レーダ３０１は物体の検出処理を行うセンサ装置である。レーダ３０１の送信器３１１は、送信アンテナから所定波長の電波ビームを前方に送信し、受信器３１２は、反射波を受信アンテナで受信する。受信器３１２で受信した信号を、ＡＤ（Analog to Digital）変換してレーダ信号処理部３１３に提供する。レーダ３０１は、例えば車両の統合制御ユニット（図示せず）により動作をカメラ２０１と同期して制御される。レーダ３０１は例えばミリ波レーダであるが、その他の波長のレーダでもよい。レーダ３０１は、カメラ２０１と同様、例えば車両のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設置される。一例としてレーダ３０１は、センシングの方向がカメラ２０１と同じ向きに設置される。本実施形態では、レーダ３０１及びカメラ２０１は車両の前方をセンシングする場合を想定するが、これに限定されるものではない。

【0028】

レーダ信号処理部３１３は、受信器３１２から受信信号に基づき、ＦＦＴ（レンジＦＦＴ、スピードＦＦＴ及びアジマスＦＦＴ）を用いた信号処理を行い、物体の検出処理を行う。具体的には、例えば、信号処理においてピーク検出を行い、ピーク検出の結果に基づき、電波を反射した物体（物標）までの距離、物体の速度（相対速度）、自車に対する物体の角度、物体の存在する領域等を検出する。

【0029】

さらに、レーダ信号処理部３１３は、電波を反射した物体の種類を判定する。例えば車両か、人間かを判定する。判定の単純な方法としては、反射した物体のピークの強度が一定値以上でありかつ相対速度が第１閾値以上であれば物体は車両であると判定し、ピークの強度が一定値未満でありかつ相対速度が第２閾値未満であれば物体は人間であると判定してもよい。あるいは、物体までの距離と、物体の存在する領域のサイズとに基づき、人間か物体かを判定してもよい。あるいは、機械学習を用いた判定方法も可能である。例えば、反射信号を入力として、予め機械学習により生成した識別モデルを用いて、物体の種類を判定してもよい。機械学習を行う場合、予め物体の種類が既知の物体から反射された信号と物体の種類とを対応づけた教師データを用意し、教師データに基づきニューラルネットワーク等の学習アルゴリズムにより識別モデルを生成する。物体の種類は車両及び人間の２種類に限定されない。例えば、自動車か自動二輪車（オートバイ）か人間かの３種類でもよいし、４種類以上でもよい。

【0030】

レーダ信号処理部３１３は、検出した物体までの距離、速度及び角度、判定した物体の種類等を含む情報を、物体検出情報として、認識処理装置１０１に提供する。

【0031】

図２は、物体検出情報のうち物体Ｔの距離、角度及び速度をマップとして示した例を示す。図２のマップの形は、レーダ３０１の検出範囲の形に対応している。マップ内の物体Ｔの領域は、速度に応じて、赤から青の範囲から選択された色が付けられている。図２の例では検出された物体が１つの例を示すが、２つ以上存在してもよい。

【0032】

レーダ３０１の検出範囲の各位置の信号強度［ｄＢｍ］を示すマップも同様に作成してもよい。この場合、マップ内の各位置に信号強度に応じた色を付ければよい。マップ内の領域内の各位置には、例えば、赤から青の範囲から選択された色が付けられる。一例として、赤が最も信号強度が高く、青が最も信号強度が低い。

【0033】

認識処理装置１０１は、カメラ２０１から提供される画像信号を取得し、またレーダ３０１から提供される物体検出情報を取得する。

【0034】

選択部１３４は、レーダ信号処理部３１３から提供された物体検出情報に基づき、認識処理部１１２が備える複数の認識器から１つの認識器を選択し、選択した認識器を指定する情報を、認識処理部１１２に提供する。本実施形態では、一例として、物体検出情報が示す物体の種類を特定し、特定した種類に応じた認識器を選択する。

【0035】

認識処理部１１２は、複数の認識器として、認識器Ａ、認識器Ｂ、認識器Ｃを備えている。認識器Ａは、物体の種類が種類Ａの場合に用いる認識器であり、物体Ａを含む画像信号の認識処理を行う場合に用いる。認識器Ｂは、物体の種類が種類Ｂの場合に用いる認識器であり、物体Ｂを含む画像信号の認識処理を行う場合に用いる。認識器Ｃは、物体の種類が種類Ｃの場合に用いる認識器であり、物体Ｃを含む画像信号の画像認識を行う場合に用いる。認識処理部１１２は３つの認識器を備えているが、２つもしくは４つ以上認識器を備えていてもよい。

【0036】

選択部１３４は、物体検出情報が種類Ａを示す場合は、認識器Ａを指定する情報を認識処理部１１２に提供する。選択部１３４は、物体検出情報が種類Ｂを示す場合は、認識器Ｂを指定する情報を認識処理部１１２に提供する。選択部１３４は、物体検出情報が種類Ｃを示す場合は、認識器Ｃを指定する情報を認識処理部１１２に提供する。本例では物体の種類ごとに異なる認識器を用いているが、同じ認識器を複数の種類の認識処理に共通に用いることも排除されない。

【0037】

本実施形態では物体の種類に応じた認識器を選択するが、他の方法も可能である。例えば、物体の速度の大きさに応じて複数種類の認識器を用意し、物体検出情報が示す速度に応じた認識器を選択してもよい。

【0038】

設定部１３３は、レーダ信号処理部３１３から提供された物体検出情報に基づき、前処理部１１１で画像信号に対して実行する前処理の設定値を含むパラメータ情報を生成する。

【0039】

例えば、物体の検出位置と物体が存在する領域とに基づき、カメラ２０１の画像信号において物体が含まれる領域の画像の切り出し指示と、切り出した画像を所定のサイズにする変倍（拡大又は縮小）とを含むパラメータ情報を生成する。レーダ３０１の検出範囲と、カメラ２０１の撮像範囲とは予め対応関係が分かっており、レーダ３０１で検出された物体の領域が、カメラ２０１の画像信号のどの領域に対応するかは算出可能である。

【0040】

また、設定部１３３は、物体検出情報に基づき画像信号又は切り出した画像信号の色設定処理を行う。例えば、物体の種類に応じて、輝度、彩度及び明度の少なくとも１つの調整を行う。具体的には、物体の種類に応じて特定の色の輝度等を高める又は低めるなどの補正を行ってもよい。色設定処理を行うことにより、認識処理部１１２で行う画像認識の精度を高めることが可能となる。

【0041】

前処理部１１１は、カメラ２０１から提供される画像信号に基づき、設定部１３３から提供されるパラメータ情報に従って前処理を行う。つまり前処理部１１１は、フィードフォワードで提供されるパラメータ情報に従って前処理を行う。

【0042】

前処理部１１１は、画像信号に前処理を行うことにより得られた前処理後の画像信号を認識処理部１１２に提供する。

【0043】

認識処理部１１２は、前処理部１１１から提供された前処理後の画像信号に対し、選択部１３４から提供された情報により指示される認識器を用いて認識処理を行う。例えば認識器Ａが物体の種類が人間用のものであり、認識器Ａを用いて認識処理を行う場合、人間用の認識処理を行う。具体的には、例えば、画像信号に含まれる人間がどちらの方向を向いているか、人間がサングラスをかけているか否か、イヤホンを付けているか否か、大人か子供か、又は、男女のいずれかなどを識別する。同様に、認識器Ｂが物体の種類が車両用のものであり、認識器Ｂを用いて認識処理を行う場合、車両用の認識処理を行う。具体的には、例えば、画像信号に含まれる車両がどちらを向いているか、坂道にいるか否か、又は、自車両と同じ車線にいるか否かなどを識別する。各認識器は特定の種類の物体に特化した処理を行うため、演算量は少なく、高速な処理が可能である。

【0044】

認識処理部１１２は、認識処理の結果を表す情報を車両制御システム４０１に提供する。車両制御システム４０１は、提供された情報に基づき、車両を制御する。例えば人間が車両と反対方向を向いている場合は、車両が人間の後ろから近づいていることを知らせるために警報を鳴らすなどの処理を行う。また、人間がサングラスをかけていている場合は、車両が近づいていることを知らせるため、警告用のライトを発光させるなどの処理を行う。人間が子供の場合は、子供用の警告メッセージ音を出力してもよい。他の処理を行ってもよい。

【0045】

図３は、図１の認識処理システム１００の動作のタイミング例を示す。カメラ２０１とレーダ３０１は、図示しない統合制御ユニットから提供される同期信号に基づき同期して動作する。カメラ２０１とレーダ３０１とは同じフレームレート（例えば３０フレーム／秒）で動作するとする。

【0046】

１周期目において、カメラ２０１が露光（露光１）を行う。カメラ２０１の露光の間、レーダ３０１はミリ波の放射及び反射波の受信を行い（送受１）、ＡＤ変換、信号処理及び物体検出処理（信号処理・物体検出１）を行うことで、物体検出情報を出力する（レーダ出力１）。物体検出情報は認識処理装置１０１に入力される（レーダ入力１）。

【0047】

カメラ２０１は露光１が完了すると、２周期目の露光（露光２）を開始する。カメラ２０１は露光２と並行して、露光１の間に撮像素子で受光した信号の読み出し及びＡＤ変換（ＡＤ１）、各画素の信号を含む画像信号の生成（センサ出力１）、カメラ処理（カメラ処理１）を行う。カメラ処理は、例えば、ゲイン調整、黒レベル調整、白レベル調整、ノイズ除去、ガンマ処理等を含む。カメラ２０１が露光２を行っている期間、レーダ３０１は、２周期目の処理として、ミリ波の放射及び反射波の受信を行い（送受２）、ＡＤ変換、信号処理及び物体検出処理（信号処理・物体検出２）を行うことで、物体検出情報を出力する（レーダ出力２）。

【0048】

カメラ２０１及びレーダ３０１が２周期目の処理を行っている間、選択部１３４が、物体検出情報に基づいて認識器を選択する。選択部１３４は、選択した認識器を表す情報を、１回目の認識処理用に使用する認識器を指示する情報として認識処理部１１２に提供する（認識器選択１）。図の例では人間用の認識器が選択されている。また、設定部１３３が物体検出情報に基づいて前処理部１１１で行う１回目の前処理用の設定値を含むパラメータ情報を生成し、パラメータ情報を前処理部１１１に提供する（設定処理１）。この後、認識処理装置１０１は、レーダ３０１の２周期目の処理で出力された物体検出情報を受信する（レーダ入力２）。

【0049】

カメラ２０１は露光２が完了すると、３周期目の露光（露光３）を開始する。カメラ２０１は露光３と並行して、露光２の間に撮像素子で受光した信号の読み出し及びＡＤ変換（ＡＤ２）、画像信号の生成（センサ出力２）、カメラ処理（カメラ処理２）を行う。また、カメラ２０１は２周期目の処理のカメラ処理１で生成された画像信号を認識処理装置１０１の前処理部１１１に提供する（カメラ出力１）。

【0050】

カメラ２０１が露光３を行っている期間、レーダ３０１は、３周期目の処理として、ミリ波の放射及び反射波の受信を行い（送受３）、ＡＤ変換、信号処理及び物体検出処理（信号処理・物体検出３）を行うことで、物体検出情報を出力する（レーダ出力３）。

【0051】

カメラ２０１及びレーダ３０１が３周期目の処理を行っている間、前処理部１１１がカメラ２０１から画像信号（露光１で撮像された画像信号）を受信し（カメラ入力１）、画像信号に対して、設定部１３３から提供されたパラメータ情報に基づき前処理を行う（前処理１）。認識処理装置１０１は、前処理された画像信号を認識処理部１１２に提供する。また選択部１３４が、２周期目の処理でレーダ３０１から出力された物体検出情報に基づいて認識器を選択し（認識器選択２）、選択した認識器を表す情報を、２回目の認識処理用に使用する認識器を指示する情報として認識処理部１１２に提供する。認識処理部１１２は、選択部から提供される情報を複数の周期分、記憶するバッファを備えていてもよい。設定部１３３が２周期目の処理でレーダ３０１から出力された物体検出情報に基づいて、次の周期（４周期目）に行われる２回目の前処理用の設定値を含むパラメータ情報を生成し、パラメータ情報を前処理部１１１に提供する。前処理部１１１は、設定部１３３から提供される情報を複数の周期分記憶するバッファを備えていてもよい。また認識処理装置１０１は、レーダ３０１の３周期目の処理で出力された物体検出情報を受信する（レーダ入力３）。

【0052】

４周期目では、カメラ２０１、レーダ３０１、設定部１３３、選択部１３４及び前処理部１１１で同様の処理が行われ、さらに４周期目では、認識処理部１１２が、３周期目に前処理された画像信号に基づき、選択部１３４で選択された認識器（図の例では人間用の認識器）を用いて１回目の認識処理を行う。認識処理部１１２は認識処理の結果を表す情報を、車両制御システム４０１に提供する。５周期目以降は、４周期目と同様の処理が繰り返される。

【0053】

このように図３の処理では、カメラ２０１とレーダ３０１の処理遅延の差を用いて、カメラ２０１の画像信号が認識処理装置１０１に入力される前に、レーダ３０１で検出した物体の情報に基づいて、前処理の設定値を含むパラメータ情報を生成する。このパラメータ情報に基づいて、認識処理装置１０１に入力された画像信号の前処理を行う。よって、フィードフォワードでパラメータ情報を前処理部に提供できるため（認識処理部からのフィードバックは不要なため）、前処理の実行を、フレームレイテンシを抑制しつつ高速に行うことができる。また、認識処理を、検出された物体の情報に応じた認識器を用いて行うことにより、演算量が少なくて済み、認識処理を高速化できる。つまり認識処理部１１２では、対象を絞った上で認識処理を行えばよく、複数種類の対象が存在する可能性を前提とした演算処理を行う必要はない。これにより、処理の高速化及び消費電力の低減化を図ることができる。

【0054】

図４は、本実施形態に係る認識処理システムの動作の一例のフローチャートである。カメラ２０１で撮像により画像信号を取得する（Ｓ１０１）。カメラ２０１による撮像と並行して、レーダ３０１により物体の検出処理を行う（同Ｓ１０１）。

【0055】

設定部１３３が、物体の検出処理により取得された物体検出情報に基づき、前処理の設定値を含むパラメータ情報を生成する（Ｓ１０２）。

【0056】

また、選択部１３４が、物体検出情報（例えば物体の種類）に基づき、複数の認識器から認識器を選択する（Ｓ１０３）。

【0057】

前処理部１１１が、画像信号に対してパラメータ情報に基づき前処理を行う（Ｓ１０４）。

【0058】

認識処理部１１２が、前処理後の画像信号に対して、選択された認識器を用いて認識処理を行う（Ｓ１０５）。
認識処理部１１２は、認識処理の結果を車両制御システム４０１に提供する（Ｓ１０６）。

【0059】

本実施形態によれば、カメラ２０１とレーダ３０１の処理遅延の差を用いて、前処理部で行う前処理の設定値を含むパラメータ情報をフィードフォワードで前処理部に提供する。これにより前処理部の高速化が可能となり、従来問題となっていたフィードバックによる遅延の問題も解消できる。

【0060】

また、本実施形態によれば、物体検出処理の結果に基づき特定した物体の種類に応じた認識器を用いて認識処理を行う。これにより、認識対象（物体の種類）を絞り込んだ認識処理を行うことが可能となり、認識処理の演算量が低減する。これにより認識処理の高速化（処理レイテンシの改善）及び消費電力量の削減が可能となる。

【0061】

このように本実施形態によれば、カメラと、カメラよりも出力が速いレーダとによるセンサフュージョンにより、フィードフォワードによる前処理の設定と、対象を絞った上での認識処理が可能となる。これにより、処理レイテンシの向上と消費電力量の削減が可能となる。

【0062】

本実施形態のカメラ２０１及びレーザ３０１はそれぞれセンサ装置の一例であり、様々なセンサ装置を用いることができる。例えばカメラ２０１として、ＲＧＢカメラ以外に、赤外線カメラ、ＴｏＦ（Time Of Flight）カメラなどのセンサ装置を用いてもよい。また、レーザ３０１の代わりに、ＬＩＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）又は音波センサなどのセンサ装置を用いてもよい。

【0063】

（第２実施形態）
図５は、第２実施形態に係る認識処理システムのブロック図である。第１実施形態と異なる点は、認識処理部１１２が、認識器ではなく、認識プログラムを用いて認識処理を実行する点である。以下、第１実施形態との差分を中心に説明し、拡張又は変更された処理を除き、第１実施形態と同じ説明は省略する。

【0064】

認識処理装置１０１は、記憶装置１１５を備えている。記憶装置１１５は、複数の認識プログラムとして、認識プログラムＡ、Ｂ、Ｃを保持している。記憶装置１１５は、ハードディスク装置、光学ディス装置、ＳＳＤ装置、記憶装置など任意の記憶装置である。

【0065】

認識プログラムＡは、物体の種類が種類Ａの場合に用いる認識プログラムであり、物体Ａを含む画像信号の認識処理を行う場合に用いる。認識プログラムＢは、物体の種類が種類Ｂの場合に用いる認識プログラムであり、物体Ｂを含む画像信号の認識処理を行う場合に用いる。認識プログラムＣは、物体の種類が種類Ｃの場合に用いる認識プログラムであり、物体Ｃを含む画像信号の画像認識を行う場合に用いる。記憶装置１１５は３つの認識プログラムを備えているが、２つもしくは４つ以上の認識プログラムを備えていてもよい。

【0066】

選択部１３４は、物体検出情報が種類Ａを示す場合は、認識プログラムＡを指定する情報を認識処理部１１２に提供する。選択部１３４は、物体検出情報が種類Ｂを示す場合は、認識プログラムＢを指定する情報を認識処理部１１２に提供する。選択部１３４は、物体検出情報が種類Ｃを示す場合は、認識プログラムＣを指定する情報を認識処理部１１２に提供する。本例では物体の種類ごとに異なる認識プログラムを用いているが、同じ認識プログラムを複数の種類の認識処理に共通に用いることも排除されない。

【0067】

認識処理部１１２は、プログラムの実行を行うためのＣＰＵ等のプロセッサ、プログラムコードを展開するメモリを備えている。認識処理部１１２は、バスを介して記憶装置１１５に接続されており、記憶装置１１５にアクセス可能である。認識処理部１１２は、選択部１３４から提供された情報により指示される認識プログラムを記憶装置１１５から読み出す。認識処理部１１２は、読み出した認識プログラムをメモリに展開して実行することで、前処理部１１１から提供された前処理後の画像信号に対し認識処理を行う。

【0068】

記憶装置１１５は認識処理装置１０１の内部に設けられていたが、認識処理装置１０１の外部に通信ネットワークを介してサーバ又はネットワークストレージとして設けられていてもよい。

【0069】

第２実施形態によれば、物体の種類に応じた認識プログラムを選択し、選択した認識プログラムを実行する。認識プログラムの拡張又は変更を行うことで、認識処理の拡張又は変更を行うことが容易であり、認識処理のバリエーションを容易に増やすことができる。また、認識プログラムを後から追加することで、新たな認識処理の追加も容易である。認識処理装置１０１がユーザインタフェースを介してユーザから指示データを取得し、指示データに従って、認識プログラムの拡張、変更又は追加を行ってもよい。

【0070】

（第３実施形態）
図６は、第３実施形態に係る認識処理システムのブロック図である。第２実施形態と異なる点は、設定部１３３に予測部１３６が追加されている点である。設定部１３３を、第１実施形態の設定部１３３に追加する構成も可能である。予測部１３６は設定部１３３に追加されているが、設定部１３３の外側に独立した機能ブロックとして配置されていてもよい。以下、第２実施形態との差分を中心に説明し、拡張又は変更された処理を除き、第２実施形態と同じ説明は省略する。

【0071】

本実施形態ではカメラ２０１とレーダ３０１とが異なるフレームレートで動作する。本例では、カメラ２０１は、レーダ３０１の２倍の速さのフレームレートで動作する。一例として、カメラ２０１は６０フレーム／秒、レーダ３０１は３０フレーム／秒である。但し、カメラ２０１がレーダ３０１のフレームレートより速ければ、２倍に限定されない。

【0072】

カメラ２０１は、レーダ３０１の２倍の速さのフレームレートのため、レーダ３０１が１周期分の動作を行っている間、カメラ２０１では２周期分の動作を行う。例えばカメラ２０１の周期２Ｘ－１、２Ｘ（Ｘは１以上の整数）が、レーダ３０１の周期Ｘに対応する。

【0073】

予測部１３６は、レーダ３０１の周期１の処理で取得した物体検出情報に基づきトラッキング予測を行い、カメラ２０１の周期３（レーダ３０１の周期２の期間の前半）における物体の位置を予測する。例えば物体の位置と速度の情報から所定時間後（例えばカメラの１フレーム後）の位置を予測する。設定部１３３は、予測された位置に基づき前処理部１１１に対するパラメータ情報を生成する。一方、選択部１３４は、レーダ３０１の周期１の処理で取得した物体検出情報（物体の種類）に基づき、認識プログラムの選択を行い、選択した認識プログラムを指定する情報を認識処理部１１２に提供する。

【0074】

前処理部１１１は、カメラ２０１の周期４で出力された画像信号（カメラ２０１の周期３で撮像された画像信号）に対する前処理を、設定部１３３から提供されたパラメータ情報に基づいて行う。認識処理部１１２は、前処理された画像信号に対して、選択部１３４から提供される情報で指示される認識プログラムを用いて認識処理を行う。

【0075】

前処理部１１１は、カメラ２０１の周期３で出力された画像信号（カメラ２０１の周期２で撮像された画像信号）に対する前処理を省略してもよいし、前処理を行ってもよい（例えば前回算出されたパラメータ情報あるいは予め与えられた初期パラメータ情報を用いて前処理を行う）。当該画像信号の前処理を行う場合、認識処理部１１２は、カメラ２０１の周期３で前処理された画像信号、カメラ２０１の周期４で前処理された画像信号のうちの一方を選択する。選択した一方の画像信号に対して、選択部１３４から提供される情報で指示される認識プログラムを用いて認識処理を行う。

【0076】

このようにカメラ２０１の周期２Ｘ－１及び周期２Ｘ（Ｘは１以上の整数）がレーダ３０１の周期Ｘに対応する。レーダ３０１の周期Ｘで取得した物体検出情報に基づき、カメラ２０１の周期２（Ｘ＋１）－１における物体の位置を予測する。予測した位置に基づき前処理のパラメータ情報を生成し、パラメータ情報に基づきカメラ２０１の周期２（Ｘ＋１）－１で撮像された画像信号（周期２（Ｘ＋１）でカメラ２０１から出力される画像信号）を前処理する。前処理した画像信号を、レーダ３０１の周期Ｘで取得した物体検出情報に基づき選択した認識器で認識処理する。これにより物体のより最新の位置に基づいた前処理が可能となるため、より正確な認識処理が可能となる。

【0077】

図７は、図６の認識処理システム１００の動作のタイミング例を示す。カメラ２０１とレーダ３０１は、図示しない統合制御ユニットから提供される同期信号に基づき同期して動作する。カメラ２０１はレーダ３０１の２倍のフレームレートで動作しているとする。

【0078】

カメラ２０１の１周期目において、カメラ２０１が露光（露光１）を行い、露光１の完了後、２周期目において、露光（露光２）を行う。露光２と並行して、露光１の間に撮像素子で受光した信号の読み出し、ＡＤ変換（ＡＤ１）、画像信号の生成（出力１）やカメラ処理（カメラ処理１）を行う。

【0079】

カメラ２０１の露光１及び露光２の間、レーダ３０１は１周期目においてミリ波の放射及び反射波の受信を行い（送受１）、ＡＤ変換、信号処理及び物体検出処理（信号処理・物体検出・物体検出１）を行うことで、物体検出情報を出力する（レーダ出力１）。物体検出情報は認識処理装置１０１に入力される（レーダ入力１）。

【0080】

カメラ２０１は露光２が完了すると、３周期目の露光（露光３）を開始する。カメラ２０１は露光３と並行して、露光２の間に撮像素子で受光した信号の読み出し、ＡＤ変換（ＡＤ２）、画像信号の生成（出力２）、カメラ処理（カメラ処理２）を行う。また、カメラ２０１は２周期目の処理のカメラ処理１で処理された画像信号を認識処理装置１０１の前処理部１１１に提供する（カメラ出力１）。カメラ２０１は露光３が完了すると、４周期目の露光（露光４）を開始する。カメラ２０１は露光４と並行して、露光３の間に撮像素子で受光した信号の読み出し、ＡＤ変換（ＡＤ３）、画像信号の生成（出力３）、カメラ処理（カメラ処理３）を行う。また、カメラ２０１は３周期目の処理のカメラ処理２で処理された画像信号を認識処理装置１０１の前処理部１１１に提供する（カメラ出力２）。

【0081】

カメラ２０１が露光３及び露光４を行っている期間、レーダ３０１は、２周期目の処理としてミリ波の放射及び反射波の受信を行い（送受２）、ＡＤ変換、信号処理及び物体検出処理（信号処理・物体検出・物体検出２）を行うことで、物体検出情報を出力する（レーダ出力２）。

【0082】

カメラ２０１が３周期目の処理（露光３等）を行っている間、選択部１３４が、物体検出情報（例えば物体の種類）に基づいて認識器を選択し、選択した認識器を表す情報を認識処理部１１２に提供する（認識器選択１）。図の例では人間用の認識器が選択されている。また、設定部１３３が物体検出情報に基づいてカメラ２０１の３周期目における物体の位置（レーダ３０１の２周期目の前半における位置）をトラッキング予測し、予測した結果に基づき、前処理部１１１で行う前処理の設定値を含むパラメータ情報を生成する。パラメータ情報を前処理部１１１に提供する（設定処理１）。この後、認識処理装置１０１は、レーダ３０１の２周期目の処理で出力された物体検出情報を受信する（レーダ入力２）。

【0083】

認識処理装置１０１の前処理部１１１はカメラ２０１の３周期目のカメラ出力１で出力された画像信号の前処理（前処理１）を省略し、カメラ２０１の４周期目で出力された画像信号（カメラ２０１の３周期目に撮像された画像信号）を、設定部１３３から提供されたパラメータ情報に基づき前処理する（前処理２）。前処理２は、カメラ２０１の露光４の期間の少なくとも一部の間行う。

【0084】

認識処理装置１０１の認識処理部１１２は、カメラ２０１の５周期目及び６周期目の期間（レーダ３０１の３周期目の期間）の少なくとも一部の間、選択部１３４から提供された情報で指示された認識器を用いて、前処理２で処理された画像信号の認識処理を行う（画像認識１）。認識処理装置１０１は、認識処理の結果を車両制御システム４０１に提供する。

【0085】

上述の処理では前処理１を省略したが、前処理１を実行してもよい。この場合、前処理１を前処理２で出力された画像信号を認識処理する代わりに、前処理１で出力された画像信号を認識処理してもよい。認識処理部１１２は、前処理１で出力された画像信号及び前処理２で出力された画像信号の一方を選択し、選択した画像信号を認識処理してもよい。

【0086】

このように本実施形態では、カメラ２０１の周期２Ｘ－１と周期２Ｘとの両方に対応するレーダ３０１の周期Ｘで取得した物体検出情報に基づき、カメラ２０１の周期２（Ｘ＋１）－１における物体の位置を予測し、予測した位置に基づき前処理のパラメータ情報を生成する。このパラメータ情報に基づき、カメラ２０１の周期２（Ｘ＋１）－１で撮像された画像信号（周期２（Ｘ＋１）で出力された画像信号）を前処理する。これにより物体のより最新の位置に基づいた前処理が可能となるため、より正確な認識処理が可能となる。

【0087】

なお、上述の実施形態は本開示を具現化するための一例を示したものであり、その他の様々な形態で本開示を実施することが可能である。例えば、本開示の要旨を逸脱しない範囲で、種々の変形、置換、省略又はこれらの組み合わせが可能である。そのような変形、置換、省略等を行った形態も、本開示の範囲に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

【0088】

また、本明細書に記載された本開示の効果は例示に過ぎず、その他の効果があってもよい。

【0089】

なお、本開示は以下のような構成を取ることもできる。
［項目１］
撮像により画像信号を取得する第１センサ装置と、
物体の検出処理を行う第２センサ装置と、
前記検出処理で検出された前記物体の情報に基づき、複数の認識処理のうちの１つを選択する選択部と、
前記画像信号に基づき、前記選択部により選択された前記認識処理を実行する認識処理部と、
を備えた認識処理システム。
［項目２］
前記選択部は、前記検出処理で検出された前記物体の種類に応じて、前記複数の認識処理のうちの１つを選択する
項目１に記載の認識処理システム。
［項目３］
前記第１センサ装置は、第１の期間において前記撮像を行い、
前記第２センサ装置は、前記第１の期間の少なくとも一部の期間の間、前記検出処理を行い、
前記認識処理部は、前記第１の期間の経過後の第３の期間において、前記認識処理を実行する
項目１又は２に記載の認識処理システム。
［項目４］
前記第１センサ装置は、撮像素子を含み、前記第１の期間に前記撮像素子を露光することにより前記画像信号を取得する
項目３に記載の認識処理システム。
［項目５］
前記認識処理部は、前記複数の認識処理を行う複数の認識器を含み、
前記選択部は、前記複数の認識器のうちの１つを選択し、
前記認識処理部は、選択された前記認識器を用いて前記認識処理を実行する
項目１～４のいずれか一項に記載の認識処理システム。
［項目６］
前記選択部は、前記複数の認識処理を実行するための複数の認識プログラムのうちの１つを選択し、
前記認識処理部は、選択された前記認識プログラムを実行することにより前記認識処理を実行する
項目１～５のいずれか一項に記載の認識処理システム。
［項目７］
前記画像信号に前処理を行う前処理部と、
前記検出処理で検出された前記物体の情報に基づき、前記前処理のパラメータ情報を生成する設定部を備え、を備え、
前記前処理部は、前記パラメータ情報に基づき前記画像信号に対し前記前処理を行い、 前記認識処理部は、前記前処理された画像信号に基づき前記認識処理を実行する
項目１～６のいずれか一項に記載の認識処理システム。
［項目８］
前記物体の情報は、前記物体の位置及び種類の少なくとも１つを含む
項目７に記載の認識処理システム。
［項目９］
前記パラメータ情報は、前記画像信号から抽出する領域を特定する情報を含む
項目８に記載の認識処理システム。
［項目１０］
前記パラメータ情報は、前記領域から抽出した信号に行う変倍処理及び色設定処理の少なくとも一方の設定値を含む
項目９に記載の認識処理システム。
［項目１１］
前記物体の情報に基づき前記第１センサ装置における次の撮像の期間における前記物体の位置を予測する予測部を備え、
前記設定部は、前記予測した物体の位置に基づき、前記パラメータ情報を生成し、
前記認識処理部は、前記撮像で取得した画像信号又は前記次の撮像で取得した画像信号に基づき、前記認識処理を実行する
項目７～１０のいずれか一項に記載の認識処理システム。
［項目１２］
前記第１センサ装置と前記第２センサ装置は同期信号に同期して動作する
項目１～１のいずれか一項に記載の認識処理システム。
［項目１３］
前記第２センサ装置は、前記第１センサ装置と異なる種類のセンサ装置である
項目１～１２のいずれか一項に記載の認識処理システム。
［項目１４］
前記第１センサ装置はカメラであり
前記第２センサ装置はレーダである
項目１３に記載の認識処理システム。
［項目１５］
第１センサ装置から撮像による画像信号を取得し、前記画像信号に基づき、複数の認識処理のうちの１つを実行する認識処理部と、
第２センサ装置から物体の検出処理の結果を取得し、検出された前記物体の情報に基づき、前記認識処理部が実行する前記１つの認識処理を前記複数の認識処理から選択する選択部と、
を備えた認識処理装置。
［項目１６］
撮像により画像信号を取得し、
物体の検出処理を行い、
前記検出処理で検出された前記物体の情報に基づき、複数の認識処理のうちの１つを選択し、
前記画像信号に基づき、選択された前記認識処理を実行する、
認識処理方法。

【符号の説明】

【0090】

１００：認識処理システム、１０１：認識処理装置、２０１：カメラ、３０１：レーダ、１１１：前処理部、１１２：認識処理部、１１５：記憶装置、３１３：レーダ信号処理部、１３３：設定部、１３４：選択部、３１１：送信器、３１２：受信器、３１３：レーダ信号処理部、１３６：予測部、４０１：車両制御システム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】