特許 7608366 情報処理装置、情報処理システム、情報処理プログラムおよび情報処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-20

(45)【発行日】2025-01-06

(54)【発明の名称】情報処理装置、情報処理システム、情報処理プログラムおよび情報処理方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20241223BHJP

【ＦＩ】

G06T7/00 350C

【請求項の数】 13

(21)【出願番号】P 2021567333

(86)(22)【出願日】2020-12-16

(86)【国際出願番号】 JP2020046928

(87)【国際公開番号】W WO2021131953

(87)【国際公開日】2021-07-01

【審査請求日】2023-12-08

(31)【優先権主張番号】P 2019239265

(32)【優先日】2019-12-27

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】316005926

【氏名又は名称】ソニーセミコンダクタソリューションズ株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】松永 大

【審査官】藤原 敬利

(56)【参考文献】

【文献】国際公開第２０１７／０５７０５８（ＷＯ，Ａ１）

【文献】国際公開第２０１７／０５７０５６（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００－ ７／９０

Ｇ０６Ｖ １０／００－２０／９０

Ｇ０６Ｎ ３／００－９９／００

(57)【特許請求の範囲】

【請求項1】

第１のセンサの出力に、該第１のセンサとは異なる第２のセンサの出力に基づく物体認識処理の過程で検出される物体尤度に応じて生成される領域情報を付加して対象物を認識する認識処理を行う認識処理部、
を備え、
前記認識処理部は、
機械学習により得られる物体認識モデルを用いて前記認識処理を行い、
該物体認識モデルは、前記第２のセンサの出力に基づき生成した第１の畳み込み層に含まれる１または複数の層で前記領域情報を生成し、生成した該領域情報を、前記第１のセンサの出力に基づき生成した、該領域情報を生成した該１または複数の層それぞれに１対１に対応する、第２の畳み込み層の１または複数の層のそれぞれに対して付加する、
情報処理装置。

【請求項2】

前記認識処理部は、
前記第１の畳み込み層のうち所定数の第１の畳み込み層のそれぞれで前記領域情報を生成する、
請求項１に記載の情報処理装置。

【請求項3】

前記第２のセンサは、イメージセンサである、
請求項１に記載の情報処理装置。

【請求項4】

前記第１のセンサは、ミリ波レーダ、光反射測距センサおよび超音波センサの何れかである、
請求項２に記載の情報処理装置。

【請求項5】

前記第１のセンサは、
イメージセンサ、ミリ波レーダ、光反射測距センサおよび超音波センサのうち２以上のセンサを含み、該２以上のセンサの各出力を統合した出力を、前記第１のセンサの出力とした、
請求項２に記載の情報処理装置。

【請求項6】

前記第１のセンサは、イメージセンサであり、
前記第２のセンサは、ミリ波レーダ、光反射測距センサおよび超音波センサの何れかである、
請求項１に記載の情報処理装置。

【請求項7】

前記認識処理部は、
前記第１のセンサの出力の、前記第２のセンサの出力における前記物体尤度が第１の閾値以上の領域に対応する領域を強調する、
請求項１に記載の情報処理装置。

【請求項8】

前記認識処理部は、
前記第１のセンサの出力の、前記第２のセンサの出力における前記物体尤度が第２の閾値未満の領域に対応する領域を抑制する、
請求項１に記載の情報処理装置。

【請求項9】

前記認識処理部は、
前記第２のセンサの１フレーム前の出力を用いて前記領域情報を生成する、
請求項１に記載の情報処理装置。

【請求項10】

前記認識処理部は、
前記領域情報に対して前記第２のセンサの出力を連結する、
請求項１に記載の情報処理装置。

【請求項11】

第１のセンサと、
前記第１のセンサとは異なる第２のセンサと、
前記第１のセンサの出力に、前記第２のセンサの出力に基づく物体認識処理の過程で検出される物体尤度に応じて生成される領域情報を付加して、対象物を認識する認識処理を行う認識処理部を備える情報処理装置と、
を含み、
前記認識処理部は、
機械学習により得られる物体認識モデルを用いて前記認識処理を行い、
該物体認識モデルは、前記第２のセンサの出力に基づき生成した第１の畳み込み層に含まれる１または複数の層で前記領域情報を生成し、生成した該領域情報を、前記第１のセンサの出力に基づき生成した、該領域情報を生成した該１または複数の層それぞれに１対１に対応する、第２の畳み込み層の１または複数の層のそれぞれに対して付加する、
情報処理システム。

【請求項12】

第１のセンサの出力に、該第１のセンサとは異なる第２のセンサの出力に基づく物体認識処理の過程で検出される物体尤度に応じて生成される領域情報を付加して、対象物を認識する認識処理を行う認識処理ステップ
をコンピュータに実行させ、
前記認識処理ステップは、
機械学習により得られる物体認識モデルを用いて前記認識処理を行い、
該物体認識モデルは、前記第２のセンサの出力に基づき生成した第１の畳み込み層に含まれる１または複数の層で前記領域情報を生成し、生成した該領域情報を、前記第１のセンサの出力に基づき生成した、該領域情報を生成した該１または複数の層それぞれに１対１に対応する、第２の畳み込み層の１または複数の層のそれぞれに対して付加する、
ための情報処理プログラム。

【請求項13】

プロセッサにより実行される、
第１のセンサの出力に、該第１のセンサとは異なる第２のセンサの出力に基づく物体認識処理の過程で検出される物体尤度に応じて生成される領域情報を付加して、対象物を認識する認識処理を行う認識処理ステップ、
を含み、
前記認識処理ステップは、
機械学習により得られる物体認識モデルを用いて前記認識処理を行い、
該物体認識モデルは、前記第２のセンサの出力に基づき生成した第１の畳み込み層に含まれる１または複数の層で前記領域情報を生成し、生成した該領域情報を、前記第１のセンサの出力に基づき生成した、該領域情報を生成した該１または複数の層それぞれに１対１に対応する、第２の畳み込み層の１または複数の層のそれぞれに対して付加する、
情報処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、情報処理装置、情報処理システム、情報処理プログラムおよび情報処理方法に関する。

【背景技術】

【0002】

イメージセンサやミリ波レーダなどのセンサを用いて物体を検出する技術が知られている。物体を検出するためのセンサとしては、様々な検出方式のものがあり、それぞれ適した状況が異なる場合がある。そのため、検出方式の異なる複数のセンサを併用して物体検出を行う技術が提案されている。

【先行技術文献】

【特許文献】

【0003】

【文献】国際公開第１７／０５７０５６号

【発明の概要】

【発明が解決しようとする課題】

【0004】

検出方式の異なる複数のセンサを併用する場合に、これら複数のセンサそれぞれの出力の全てを用いて検出処理を行うと、検出処理の負荷が大きくなってしまうおそれがある。この検出処理の負荷の増大を回避するためには、センサの出力に対して検出窓を設定し、検出処理の範囲を制限する方法が考えられる。しかしながら、従来では、この検出窓の設定方法が定められていなかった。

【0005】

本開示は、異なる複数のセンサを用いる場合の処理負荷を軽減可能な情報処理装置、情報処理システム、情報処理プログラムおよび情報処理方法を提供することを目的とする。

【課題を解決するための手段】

【0006】

本開示に係る情報処理装置は、第１のセンサの出力に、該第１のセンサとは異なる第２のセンサの出力に基づく物体認識処理の過程で検出される物体尤度に応じて生成される領域情報を付加して対象物を認識する認識処理を行う認識処理部、を備え、前記認識処理部は、機械学習により得られる物体認識モデルを用いて前記認識処理を行い、該物体認識モデルは、前記第２のセンサの出力に基づき生成した第１の畳み込み層に含まれる１または複数の層で前記領域情報を生成し、生成した該領域情報を、前記第１のセンサの出力に基づき生成した、該領域情報を生成した該１または複数の層それぞれに１対１に対応する、第２の畳み込み層の１または複数の層のそれぞれに対して付加する。

【図面の簡単な説明】

【0007】

【図1】車両制御システムの概略的な構成の一例を示すブロック図である。

【図2】車両制御システムにおける車外情報検出ユニットの機能を説明するための一例の機能ブロック図である。

【図3】認識処理部に用いられる物体認識モデルの構成例を示す図である。

【図4】学習システムの構成例を示すブロック図である。

【図5】各実施形態に適用可能な車外情報検出ユニットのハードウェア構成の一例を示すブロック図である。

【図6】本開示に実施形態に係る物体認識モデルについて概略的に示す図である。

【図7】第１の実施形態に係る物体認識モデルの一例の構成を示す図である。

【図8】第１の実施形態に係る合成部の一例の構成を示す図である。

【図9】第１の実施形態に係る物体認識モデルによるアテンションマップの第１の例を説明するための模式図である。

【図10】第１の実施形態に係る物体認識モデルによるアテンションマップの第２の例を説明するための模式図である。

【図11】第２の実施形態に係る物体認識モデルの一例の構成を示す図である。

【図12】第３の実施形態に係る物体認識モデルの一例の構成を示す図である。

【図13】第３の実施形態に係る合成部の一例の構成を示す図である。

【図14】第４の実施形態に係る物体認識モデルの一例の構成を示す図である。

【図15】第５の実施形態に係る物体認識モデルの一例の構成を示す図である。

【図16】第６の実施形態に係る車外情報検出ユニットおよびデータ取得部の第１の例を示す一例のブロック図である。

【図17】第６の実施形態に係る車外情報検出ユニットおよびデータ取得部の第２の例を示す一例のブロック図である。

【図18】第６の実施形態に係る車外情報検出ユニットおよびデータ取得部の第３の例を示す一例のブロック図である。

【図19】第６の実施形態に係る車外情報検出ユニットおよびデータ取得部の第４の例を示す一例のブロック図である。

【発明を実施するための形態】

【0008】

以下、本開示の実施形態について、図面に基づいて詳細に説明する。なお、以下の実施形態において、同一の部位には同一の符号を付することにより、重複する説明を省略する。

【0009】

以下、本開示の実施形態について、下記の順序に従って説明する。
１．各実施形態に適用可能な技術
１－１．車載システムの例
１－２．機能の概要
１－３．ハードウェア構成例
２．本開示の実施形態の概略
３．第１の実施形態
３－１．具体例
４．第２の実施形態
５．第３の実施形態
６．第４の実施形態
７．第５の実施形態
８．第６の実施形態
８－１．第１の例
８－２．第２の例
８－３．第３の例
８－４．第４の例
８－５．第５の例
８－６．第６の例

【0010】

［１．各実施形態に適用可能な技術］
本開示の各実施形態の説明に先立って、理解を容易とするために、本開示の各実施形態に適用可能な技術について説明する。

【0011】

（１－１．車載システムの例）
先ず、本開示の各実施形態に適用可能な車載システムについて概略的に説明する。図１は、本開示に係る各実施形態に適用可能な車載システムの一例である車両制御システムの概略的な構成例を示すブロック図である。

【0012】

車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図１に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ(interface)１２０５３が図示されている。

【0013】

駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。

【0014】

ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。

【0015】

車外情報検出ユニット１０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１０には、データ取得部２０が接続される。車外情報検出ユニット１０は、データ取得部２０は、車外の状況を取得するための各種のセンサを含む。例えば、データ取得部２０は、可視光あるいは赤外線などの非可視光を受光し、光の受光量に応じた電気信号を出力する光センサを含むことができ、車外情報検出ユニット１０は、光センサにより撮像された画像を受信する。また、データ取得部２０は、ミリ波レーダ、ＬｉＤＡＲ(Light Detection and Ranging、または、Laser Imaging Detection and Ranging)、超音波センサなど、他の方式で外部の状況を取得するセンサをさらに搭載することができる。

【0016】

データ取得部２０は、例えば、車両１２１００のフロントノーズ、サイドミラー、あるいは、車室内のフロントガラスの上部等の位置に、車両の前方をデータ取得方向として設けられる。車外情報検出ユニット１０は、データ取得部２０から受信した各種センサ出力に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。

【0017】

車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。

【0018】

マイクロコンピュータ１２０５１は、車外情報検出ユニット１０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行うことができる。

【0019】

また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。

【0020】

また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。

【0021】

音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図１の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。

【0022】

（１－２．機能の概要）
次に、本開示の各実施形態に適用可能な車外情報検出ユニット１０の機能の例について、概略的に説明する。

【0023】

図２は、図１の車両制御システム１２０００における車外情報検出ユニット１０の機能を説明するための一例の機能ブロック図である。図２において、データ取得部２０は、カメラ２１およびミリ波レーダ２３を備える。車外情報検出ユニット１０は、情報処理部１１を備える。情報処理部１１は、画像処理部１２、信号処理部１３、幾何変換部１４および認識処理部１５を備える。

【0024】

カメラ２１は、イメージセンサ２２を備える。イメージセンサ２２には、ＣＭＯＳイメージセンサ、ＣＣＤイメージセンサ等の任意の種類のイメージセンサを用いることができる。カメラ２１（イメージセンサ２２）は、当該車両制御システム１２０００が搭載される車両の前方を撮影し、得られた画像（以下、撮影画像と称する）を画像処理部１２に供給する。

【0025】

ミリ波レーダ２３は、車両の前方のセンシングを行い、カメラ２１とセンシング範囲の少なくとも一部が重なる。例えば、ミリ波レーダ２３は、ミリ波からなる送信信号を車両の前方に送信し、車両の前方の物体（反射体）により反射された信号である受信信号を受信アンテナにより受信する。受信アンテナは、例えば、車両の横方向（幅方向）に所定の間隔で複数設けられる。また、受信アンテナを高さ方向にも複数設けるようにしてもよい。ミリ波レーダ２３は、各受信アンテナにより受信した受信信号の強度を時系列に示すデータ（以下、ミリ波データと称する）を信号処理部１３に供給する。

【0026】

なお、ミリ波レーダ２３の送信信号は、例えば２次元平面において所定の角度範囲でスキャンされ、扇状のセンシング範囲を形成する。これを、垂直方向にスキャンすることで、３次元の情報を持つ鳥瞰図を得ることができる。

【0027】

画像処理部１２は、撮影画像に対して所定の画像処理を行う。例えば、画像処理部１２は、認識処理部１５が処理できる画像のサイズに合わせて、撮影画像の画素の間引き処理又はフィルタリング処理等を行い、撮影画像の画素数を削減する（解像度を下げる）。画像処理部１２は、解像度を下げた撮影画像（以下、低解像度画像と称する）を認識処理部１５に供給する。

【0028】

信号処理部１３は、ミリ波データに対して所定の信号処理を行うことにより、ミリ波レーダ２３のセンシング結果を示す画像であるミリ波画像を生成する。なお、信号処理部１３は、例えば、信号強度画像および速度画像を含む複数ｃｈ（チャネル）のミリ波画像を生成する。信号強度画像は、車両の前方の各物体の位置および各物体により反射された信号（受信信号）の強度を示すミリ波画像である。速度画像は、車両の前方の各物体位置および各物体の車両に対する相対速度を示すミリ波画像である。

【0029】

幾何変換部１４は、ミリ波画像の幾何変換を行うことにより、ミリ波画像を撮影画像と同じ座標系の画像に変換する。換言すれば、幾何変換部１４は、ミリ波画像を撮影画像と同じ視点から見た画像（以下、幾何変換ミリ波画像と称する）に変換する。より具体的には、幾何変換部１４は、信号強度画像および速度画像の座標系をミリ波画像の座標系から撮影画像の座標系に変換する。なお、以下、幾何変換後の信号強度画像および速度画像を、幾何変換信号強度画像および幾何変換速度画像と称する。幾何変換部１４は、幾何変換信号強度画像および幾何変換速度画像を認識処理部１５に供給する。

【0030】

認識処理部１５は、機械学習により予め得られた認識モデルを用いて、低解像度画像、幾何変換信号強度画像、および、幾何変換速度画像に基づいて、車両の前方の対象物の認識処理を行う。認識処理部１５は、対象物の認識結果を示すデータを、通信ネットワーク１２００１を介して統合制御ユニット１２０５０に供給する。

【0031】

なお、対象物とは、認識処理部１５により認識する対象となる物体であり、任意の物体を対象物とすることが可能である。ただし、ミリ波レーダ２３の送信信号の反射率が高い部分を含む物体を対象物とすることが望ましい。以下、対象物が車両である場合を適宜例に挙げながら説明を行う。

【0032】

図３は、認識処理部１５に用いられる物体認識モデル４０の構成例を示している。

【0033】

物体認識モデル４０は、機械学習により得られるモデルである。具体的には、物体認識モデル４０は、ディープニューラルネットワークを用い、機械学習の１つであるディープラーニングにより得られるモデルである。より具体的には、物体認識モデル４０は、ディープニューラルネットワークを用いた物体認識モデルの１つであるＳＳＤ（Single Shot MultiboxDetector）により構成される。物体認識モデル４０は、特徴量抽出部４４および認識部４５を備える。

【0034】

特徴量抽出部４４は、畳み込みニューラルネットワークを用いた畳み込み層である特徴抽出層４１ａ～特徴抽出層４１ｃ、および、加算部４２を備える。特徴抽出層４１ａは、撮影画像Ｐａの特徴量を抽出し、特徴量の分布を２次元で表す特徴マップ（以下、撮影画像特徴マップと称する）を生成する。特徴抽出層４１ａは、撮影画像特徴マップを加算部４２に供給する。

【0035】

特徴抽出層４１ｂは、幾何変換信号強度画像Ｐｂの特徴量を抽出し、特徴量の分布を２次元で表す特徴マップ（以下、信号強度画像特徴マップと称する）を生成する。特徴抽出層４１ｂは、信号強度画像特徴マップを加算部４２に供給する。

【0036】

特徴抽出層４１ｃは、幾何変換速度画像Ｐｃの特徴量を抽出し、特徴量の分布を２次元で表す特徴マップ（以下、速度画像特徴マップと称する）を生成する。特徴抽出層４１ｃは、速度画像特徴マップを加算部４２に供給する。

【0037】

加算部４２は、撮影画像特徴マップ、信号強度画像特徴マップ、および、速度画像特徴マップを加算することにより、合成特徴マップを生成する。加算部４２は、合成特徴マップを認識部４５に供給する。

【0038】

認識部４５は、畳み込みニューラルネットワークを備える。具体的には、認識部４５は、畳み込み層４３ａ～畳み込み層４３ｃを備える。

【0039】

畳み込み層４３ａは、合成特徴マップの畳み込み演算を行う。畳み込み層４３ａは、畳み込み演算後の合成特徴マップに基づいて、対象物の認識処理を行う。畳み込み層４３ａは、畳み込み演算後の合成特徴マップを畳み込み層４３ｂに供給する。

【0040】

畳み込み層４３ｂは、畳み込み層４３ａから供給される合成特徴マップの畳み込み演算を行う。畳み込み層４３ｂは、畳み込み演算後の合成特徴マップに基づいて、対象物の認識処理を行う。畳み込み層４３ａは、畳み込み演算後の合成特徴マップを畳み込み層４３ｃに供給する。

【0041】

畳み込み層４３ｃは、畳み込み層４３ｂから供給される合成特徴マップの畳み込み演算を行う。畳み込み層４３ｂは、畳み込み演算後の合成特徴マップに基づいて、対象物の認識処理を行う。

【0042】

物体認識モデル４０は、畳み込み層４３ａ乃至畳み込み層４３ｃによる対象物の認識結果を示すデータを出力する。

【0043】

なお、合成特徴マップのサイズ（画素数）は、畳み込み層４３ａから順に小さくなり、畳み込み層４３ｃで最小になる。そして、合成特徴マップのサイズが大きくなるほど、車両（カメラ）から見てサイズが小さい対象物の認識精度が高くなり、合成特徴マップのサイズが小さくなるほど、車両から見てサイズが大きい対象物の認識精度が高くなる。従って、例えば、対象物が車両である場合、サイズが大きい合成特徴マップでは、遠方の小さな車両が認識されやすくなり、サイズが小さい合成特徴マップでは、近くの大きな車両が認識されやすくなる。

【0044】

図４は、学習システム３０の構成例を示すブロック図である。学習システム３０は、図３の物体認識モデル４０の学習処理を行う。学習システム３０は、入力部３１、画像処理部３２、正解データ生成部３３、信号処理部３４、幾何変換部３５、教師データ生成部３６、および、学習部３７を備える。

【0045】

入力部３１は、各種の入力デバイスを備え、教師データの生成に必要なデータの入力、および、ユーザ操作等に用いられる。例えば、入力部３１は、撮影画像が入力された場合、撮影画像を画像処理部３２に供給する。例えば、入力部３１は、ミリ波データが入力された場合、ミリ波データを信号処理部３４に供給する。例えば、入力部３１は、ユーザ操作により入力されたユーザの指示を示すデータを正解データ生成部３３および教師データ生成部３６に供給する。

【0046】

画像処理部３２は、図２の画像処理部１２と同様の処理を行う。すなわち、画像処理部３２は、撮影画像に対して所定の画像処理を行うことにより、低解像度画像を生成する。画像処理部３２は、低解像度画像を正解データ生成部３３および教師データ生成部３６に供給する。

【0047】

正解データ生成部３３は、低解像度画像に基づいて、正解データを生成する。例えば、ユーザは、入力部３１を介して、低解像度画像内の車両の位置を指定する。正解データ生成部３３は、ユーザにより指定された車両の位置に基づいて、低解像度画像内の車両の位置を示す正解データを生成する。正解データ生成部３３は、正解データを教師データ生成部３６に供給する。

【0048】

信号処理部３４は、図２の信号処理部１３と同様の処理を行う。すなわし、信号処理部３４は、ミリ波データに対して所定の信号処理を行い、信号強度画像および速度画像を生成する。信号処理部３４は、信号強度画像および速度画像を幾何変換部３５に供給する。

【0049】

幾何変換部３５は、図２の幾何変換部１４と同様の処理を行う。すなわち、幾何変換部３５は、信号強度画像および速度画像の幾何変換を行う。幾何変換部３５は、幾何変換後の幾何変換信号強度画像および幾何変換速度画像を教師データ生成部３６に供給する。

【0050】

教師データ生成部３６は、低解像度画像、幾何変換信号強度画像、および、幾何変換速度画像を含む入力データ、並びに、正解データを含む教師データを生成する。教師データ生成部３６は、教師データを学習部３７に供給する。

【0051】

学習部３７は、教師データを用いて、物体認識モデル４０の学習処理を行う。学習部３７は、学習済みの物体認識モデル４０を出力する。

【0052】

ここで、学習システム３０により実行される物体認識モデル学習処理について説明する。

【0053】

なお、この処理の開始前に、教師データの生成に用いられるデータが収集される。例えば、車両が実際に走行した状態で、車両に設けられたカメラ２１およびミリ波レーダ２３が車両の前方のセンシングを行う。具体的には、カメラ２１は、車両の前方の撮影を行い、得られた撮影画像を記憶部に記憶させる。ミリ波レーダ２３は、車両の前方の物体の検出を行い、得られたミリ波データを記憶部に記憶させる。この記憶部に蓄積された撮影画像およびミリ波データに基づいて教師データが生成される。

【0054】

先ず、学習システム３０は、教師データを生成する。例えば、ユーザは、入力部３１を介して、略同時に取得された撮影画像およびミリ波データを学習システム３０に入力する。すなわち、略同じ時刻にセンシングすることにより得られた撮影画像およびミリ波データが、学習システム３０に入力される。撮影画像は、画像処理部３２に供給され、ミリ波データは、信号処理部３４に供給される。

【0055】

画像処理部３２は、撮影画像に対して間引き処理等の画像処理を行い、低解像度画像を生成する。画像処理部３２は、低解像度画像を正解データ生成部３３および教師データ生成部３６に供給する。

【0056】

信号処理部３４は、ミリ波データに対して所定の信号処理を行うことにより、車両の前方において送信信号を反射した物体の位置および速度を推定する。物体の位置は、例えば、車両から物体までの距離、および、ミリ波レーダ２３の光軸方向（車両の進行方向）に対する物体の方向（角度）により表される。なお、ミリ波レーダ２３の光軸方向は、例えば、送信信号が放射状に送信される場合、放射される範囲の中心方向と等しくなり、送信信号が走査される場合、走査される範囲の中心方向と等しくなる。物体の速度は、例えば、車両に対する物体の相対速度により表される。

【0057】

信号処理部３４は、物体の位置および速度の推定結果に基づいて、信号強度画像および速度画像を生成する。信号処理部３４は、信号強度画像および速度画像を幾何変換部３５に供給する。なお、図示は省略するが、速度画像は、車両の前方の物体の位置、および、各物体の相対速度の分布を、信号強度画像と同様に、鳥瞰図により表した画像である。

【0058】

幾何変換部３５は、信号強度画像および速度画像の幾何変換を行い、信号強度画像および速度画像を撮影画像と同じ座標系の画像に変換することにより、幾何変換信号強度画像および幾何変換速度画像を生成する。幾何変換部３５は、幾何変換信号強度画像および幾何変換速度画像を教師データ生成部３６に供給する。

【0059】

幾何変換信号強度画像では、信号強度が強い部分ほど明るくなり、信号強度が弱い部分ほど暗くなる。幾何変換速度画像では、相対速度が速い部分ほど明るくなり、相対速度が遅い部分ほど暗くなり、相対速度が検出不能な（物体が存在しない）部分は黒く塗りつぶされる。このように、ミリ波画像（信号強度画像および速度画像）の幾何変換を行うことにより、横方向および奥行き方向の物体の位置だけでなく、高さ方向の物体の位置も表される。

【0060】

ただし、ミリ波レーダ２３は、距離が遠くなるほど高さ方向の分解能が低下する。そのため、距離が遠い物体の高さが、実際より大きく検出される場合がある。

【0061】

これに対して、幾何変換部３５は、ミリ波画像の幾何変換を行う場合に、所定の距離以上離れた物体の高さを制限する。具体的には、幾何変換部３５は、ミリ波画像の幾何変換を行う場合に、所定の距離以上離れた物体の高さが所定の上限値を超えるとき、その物体の高さを上限値に制限して、幾何変換を行う。これにより、例えば、対象物が車両の場合、遠方の車両の高さが実際より大きく検出されることにより誤認識が発生することが防止される。

【0062】

教師データ生成部３６は、撮影画像、幾何変換信号強度画像、および、幾何変換速度画像を含む入力データ、並びに、正解データを含む教師データを生成する。教師データ生成部３６は、生成した教師データを学習部３７に供給する。

【0063】

次に、学習部３７は、物体認識モデル４０の学習を行う。具体的には、学習部３７は、教師データに含まれる入力データを物体認識モデル４０に入力する。物体認識モデル４０は、対象物の認識処理を行い、認識結果を示すデータを出力する。学習部３７は、物体認識モデル４０の認識結果と正解データとを比較し、誤差が小さくなるように、物体認識モデル４０のパラメータ等を調整する。

【0064】

次に、学習部３７は、学習を継続するか否かを判定する。例えば、学習部３７は、物体認識モデル４０の学習が収束していない場合、学習を継続すると判定し、処理は、最初の教師データ生成処理に戻る。その後、学習を終了すると判定されるまで、上述した各処理が繰り返し実行される。

【0065】

一方、学習部３７の判定の結果、例えば、物体認識モデル４０の学習が収束している場合、学習を終了すると判定し、物体認識モデル学習処理を終了する。以上のようにして、学習済みの物体認識モデル４０が生成される。

【0066】

（１－３．ハードウェア構成例）
次に、本開示の各実施形態に適用可能な、車外情報検出ユニット１０のハードウェア構成の例について説明する。図５は、各実施形態に適用可能な車外情報検出ユニット１０のハードウェア構成の一例を示すブロック図である。図５において、車外情報検出ユニット１０は、それぞれバス４１０により互いに通信可能に接続された、ＣＰＵ(Central Processing Unit)４００と、ＲＯＭ(Read Only Memory)４０１と、ＲＡＭ(Random Access Memory)４０２と、インタフェース（Ｉ／Ｆ）４０３、４０４および４０５と、を含む。なお、車外情報検出ユニット１０は、フラッシュメモリなどによるストレージ装置をさらに含むこともできる。

【0067】

ＣＰＵ４００は、ＲＯＭ４０１に予め記憶されたプログラムやデータに従い、ＲＡＭ４０２をワークメモリとして用いて、この車外情報検出ユニット１０の全体の動作を制御する。ここで、ＲＯＭ４０１またはＲＡＭ４０２には、図２～図４を用いて説明した、物体認識モデル４０を実現するためのプログラムおよびデータが予め記憶される。ＣＰＵ４００によりこのプログラムが実行されることで、車外情報検出ユニット１０において、物体認識モデル４０が構築される。

【0068】

インタフェース４０３は、カメラ２１を接続するためのインタフェースである。インタフェース４０４は、ミリ波レーダ２３を接続するためのインタフェースである。車外情報検出ユニット１０は、これらインタフェース４０３および４０４を介してカメラ２１およびミリ波レーダ２３を制御すると共に、カメラ２１により撮像された撮像画像データ（以下、イメージデータと呼ぶ）や、ミリ波レーダ２３により取得されたミリ波データを取得する。車外情報検出ユニット１０は、これらのイメージデータおよびミリ波データを入力データとして物体認識モデル４０に適用することで、物体を認識する認識処理を実行する。

【0069】

図５において、インタフェース４０５は、車外情報検出ユニット１０と通信ネットワーク１２００１との間で通信を行うためのインタフェースである。車外情報検出ユニット１０は、物体認識モデル４０により出力された物体認識結果を示す情報を、インタフェース４０５から通信ネットワーク１２００１に対して送信する。

【0070】

［２．本開示の実施形態の概略］
次に、本開示の実施形態の概略について説明する。 本開示の各実施形態では、対象物を検出するための第１のセンサの出力に基づき対象物を検出するための検出窓を、第１のセンサとは異なる方式で該対象物を検出するための第２のセンサの出力に基づき設定し、第２のセンサの出力のうち検出窓に対応する領域の出力に基づき、対象物を認識する認識処理を行うようにしている。

【0071】

図６は、本開示に実施形態に係る物体認識モデル４０について概略的に示す図である。物体認識モデル４０ａにおいて、カメラ２１から取得されたイメージデータ１００は、特徴抽出層１１０に入力される。また、ミリ波レーダ２３から取得されたミリ波画像によるミリ波画像データ２００は、特徴抽出層２１０に入力される。

【0072】

物体認識モデル４０ａに入力されるイメージデータ１００は、例えば画像処理部１２において、１ｃｈ以上の特徴量を含むデータに整形される。イメージデータ１００は、物体認識モデル４０ａにおいて特徴抽出層１１０により特徴抽出され、必要に応じてサイズを変更されると共に特徴量のｃｈを追加されたデータとされる。特徴抽出層１１０により特徴抽出されたイメージデータ１００は、物体認識層１２０において畳み込み処理され、順次に畳み込まれた複数の物体認識層データが生成される。

【0073】

物体認識モデル４０ａは、複数の物体認識層データに基づきアテンションマップ１３０を作成する。アテンションマップ１３０は、例えばイメージデータ１００が示す範囲に対して、物体認識の対象とする領域を限定するための検出窓を示す情報を含む。作成されたアテンションマップ１３０は、乗算部２２０に入力される。

【0074】

一方、物体認識モデル４０ａに入力されるミリ波画像データ２００は、例えば信号処理部１３および幾何変換部１４により、１ｃｈ以上の特徴量を含むデータに整形される。ミリ波画像データ２００は、物体認識モデル４０ａにおいて特徴抽出層２１０により特徴抽出され、必要に応じてサイズを変更される（例えばイメージデータ１００と同じサイズとされる）と共に特徴量のｃｈを追加されたデータとされる。特徴抽出層により特徴抽出された各ｃｈのミリ波画像データ２００は、乗算部２２０に入力され、アテンションマップ１３０との間で画素ごとに乗算が行われる。これにより、ミリ波画像データ２００において、物体認識を行う領域が制限される。さらに、乗算部２２０の出力が加算部２２１に入力され、特徴抽出層２１０の出力が加算される。加算部２２１の出力は、物体認識層２３０に入力され、畳み込み処理される。

【0075】

このように、アテンションマップ１３０により制限された領域に対して物体認識処理を行うことで、物体認識処理の処理量を削減することができる。

【0076】

なお、イメージデータ１００として過去フレーム１０１のデータを用いることで、処理の高速化を図ることが可能である。

【0077】

［３．第１の実施形態］
次に、本開示の第１の実施形態について説明する。図７は、第１の実施形態に係る物体認識モデルの一例の構成を示す図である。図７において、物体認識モデル４０ｂは、同図の左側に示される特徴抽出層１１０および２１０、ならびに、物体認識層１２０および２３０での処理は、図６と同等であるので、ここでの説明を省略する。

【0078】

図７の右側は、ミリ波画像データ２００に基づく物体認識層２３０と、イメージデータ１００に基づく物体認識層１２０と、が模式的に示されている。物体認識層２３０は、ミリ波画像データ２００に基づき順次に畳み込み処理された各物体認識層データ２３０₀、２３０₁、２３０₂、２３０₃、２３０₄、２３０₅および～２３０₆を含む。また、物体認識層１２０は、イメージデータ１００に基づき順次に畳み込み処理された各物体認識層データ１２０₀、１２０₁、１２０₂、１２０₃、１２０₄、１２０₅および１２０₆を含む。

【0079】

なお、以下では、各物体認識層データ１２０₀～１２０₆を特に区別する必要の無い場合には、これらを物体認識層データ１２０_xで代表させて説明を行う。同様に、各物体認識層データ２３０₀～２３０₆を特に区別する必要の無い場合には、これらを物体認識層データ２３０_xで代表させて説明を行う。

【0080】

図７において、各物体認識層データ１２０₀～１２０₇は、それぞれアテンションマップに対応するレイヤ（層）画像＃０、＃１、＃２、＃３、＃４、＃５、＃６として、具体的な例が示されている。詳細は後述するが、各レイヤ画像のうち、レイヤ画像＃１および＃２に示される白い部分が、検出窓を示している。

【0081】

すなわち、物体認識層１２０では、各レイヤ画像＃０、＃１、＃２、＃３、＃４、＃５、＃６の特徴に基づき物体尤度を求め、求めた物体尤度が高い領域を判定する。物体認識層１２０は、例えばレイヤ画像＃１について、画素情報に基づき物体尤度を求める。そして、求めた物体尤度を閾値と比較し、当該物体尤度が閾値より高い領域を判定する。図７の例では、レイヤ画像＃１において白く表現されている領域が、物体尤度が閾値より高い領域を示している。物体認識層１２０は、当該領域を示す領域情報を生成する。この領域情報は、レイヤ画像＃１内での位置を示す情報と、その位置における物体尤度を示す値と、を含む。物体認識層１２０は、この領域情報に示される領域に基づき検出窓を設定し、アテンションマップを作成する。

【0082】

ここで、各物体認識層データ１２０₀～１２０₆は、畳み込みにより順次にサイズが小さくされる。例えば、図７の例では、レイヤ画像＃０（物体認識層データ１２０₀）におけるサイズが１層分の畳み込みにより１／２とされる。例えば、レイヤ画像＃０におけるサイズが６４０画素×３８４画素とすると、７層の畳み込み（および整形処理）により、レイヤ画像＃６のサイズが１画素×１画素になる。

【0083】

上述したように、畳み込み数が少なくサイズが大きなレイヤ画像は、より小さい（遠方にある）対象物を検出でき、畳み込み数が多くサイズが小さなレイヤ画像は、より大きい（より近距離にある）対象物を検出できる。これは、ミリ波データに基づく各物体認識層データ２３０₀～２３０₆についても同様である。

【0084】

畳み込み数が多く画素数が少ないレイヤ画像や、畳み込み数が少なく物体が小さく認識されるレイヤ画像は、物体認識処理に用いるには適当ではない場合がある。そのため、図７の例では、アテンションマップを７層全てについて作成せずに、目的に応じた数のレイヤ画像（例えばレイヤ画像＃１～＃３の３層）を用いてアテンションマップを作成してもよい。

【0085】

各物体認識層データ１２０₀～１２０₇は、それぞれ、対応する合成部３００に入力される。また、ミリ波画像データ２００に基づく各物体認識層データ２３０₀～２３０₆も同様に、それぞれ対応する合成部３００に入力される。各合成部３００は、入力された各物体認識層データ１２０₀～１２０₇それぞれと、各物体認識層データ２３０₀～２３０₆それぞれと、を合成し、合成物体認識層データ３１０₀～３１０₆を生成する。

【0086】

図８は、第１の実施形態に係る合成部３００の一例の構成を示す図である。合成部３００は、乗算部２２０と、加算部２２１と、を含む。乗算部２２０は、一方の入力端にイメージデータ１００に基づくアテンションマップによる物体認識層データ１２０_xが入力される。乗算部２２０の他方の入力端には、ミリ波画像データ２００に基づく物体認識層データ２３０_xが入力される。乗算部２２０は、これら一方の入力端に入力された物体認識層データ１２０_xと、他方の入力端に入力された物体認識層データ２３０_xと、の画素毎の積を計算する。この乗算部２２０の計算により、ミリ波画像データ２００（物体認識層データ２３０_x）における、検出窓に対応する領域が強調されることになる。

【0087】

これに限らず、物体認識モデル４０ａは、ミリ波画像データ２００における、検出窓外の領域を抑制するようにしてもよい。

【0088】

乗算部２２０の乗算結果は、加算部２２１の一方の入力端に入力される。加算部２２１の他方の入力端には、ミリ波画像データ２００に基づく物体認識層データ２３０_xが入力される。加算部２２１は、一方の入力端に入力された乗算部２２０の乗算結果と、物体認識層データ２３０_xとについて、行列の和を算出する。

【0089】

このように、乗算部２２０および加算部２２１の処理により、第１のセンサとしてのミリ波レーダ２３によるミリ波画像データ２００に対して、第１のセンサと異なる第２のセンサとしてのカメラ２１によるイメージデータ１００に基づく物体認識処理の過程で検出される物体尤度に応じて生成される領域情報が付加される。

【0090】

ここで、加算部２２１では、乗算部２２０の乗算結果に対して、元の画像を加算する処理を行う。例えばアテンションマップが画素毎に０または１の値で表現される場合、例えばあるレイヤ画像においてアテンションマップが全て０の場合、あるいは、アテンションマップにおいて０の領域では、情報が無くなってしまう。そのため、後述する予測部１５０での処理において、当該領域に対する認識処理が不可能になる。そのため、加算部２２１でミリ波画像データ２００に基づく物体認識層データ２３０_xを加算し、当該領域においてデータが無くなってしまう事態を回避する。

【0091】

説明は図７に戻り、各合成部３００から出力された合成物体認識層データ３１０₀～３１０₆は、予測部１５０に入力される。予測部１５０は、入力された各合成物体認識層データ３１０₀～３１０₆に基づき物体認識処理を行い、認識された物体のクラスなどを予測する。予測部１５０による予測結果は、対象物の認識結果を示すデータとして、車外情報検出ユニット１０から出力され、例えば通信ネットワーク１２００１を介して統合制御ユニット１２０５０に渡される。

【0092】

（３－１．具体例）
第１の実施形態に係る物体認識モデル４０ａによるアテンションマップについて、図９および図１０を用いてより具体的に説明する。

【0093】

図９は、第１の実施形態に係る物体認識モデル４０ａによるアテンションマップの第１の例を説明するための模式図である。

【0094】

図９において、左側に、元となるイメージデータ１００ａの例を示している。図９の右側は、上段から物体認識層データ２３０_x、物体認識層データ２３０_x、合成物体認識層データ３１０_xを示している。また、左から順に、レイヤ画像＃１（物体認識層データ１２０₁）と、レイヤ画像＃２（物体認識層データ１２０₂）および＃３（物体認識層データ１２０₃）に対応するように、物体認識層データ２３０_x、物体認識層データ２３０_xおよび合成物体認識層データ３１０_xが示されている。

【0095】

すなわち、図９の右図上段は、ミリ波画像データ２００による特徴を示す特徴マップであり、中段は、イメージデータ１００の特徴から作成したアテンションマップを示している。また、下段は、ミリ波画像データ２００に基づく特徴マップと、イメージデータ１００に基づくアテンションマップと、を合成部３００にて合成した合成物体認識層データ３１０_xとなっている。

【0096】

以下、レイヤ画像＃Ｘに対応する物体認識層データ２３０_xを、レイヤ画像＃Ｘの物体認識層データ２３０_xと呼ぶ。また、レイヤ画像＃Ｘに対応する合成物体認識層データ３１０_xを、レイヤ画像＃Ｘの合成物体認識層データ３１０_xと呼ぶ。

【0097】

図９において、物体認識層データ２３０_xのうち、レイヤ画像＃１の物体認識層データ２３０₁において、図中の領域２３１₁₀で示される部分に、物体らしき認識結果が現れている。また、レイヤ画像＃１は、領域１２１₁₀および１２１₁₁の物体尤度が閾値以上とされ、これら領域１２１₁₀および１２１₁₁が検出窓とされたアテンションマップが作成された様子を示している。これに対して、レイヤ画像＃１の合成物体認識層データ３１０₁では、領域２３１₁₀に対応する領域２３０₁₀’と、領域１２１₁₀および１２１₁₁にそれぞれ対応する１２１₁₀’および１２１₁₁’とに、物体らしき認識結果が現れている。

【0098】

レイヤ画像＃２についても同様に、レイヤ画像＃２の物体認識層データ２３０₂において、領域２３１₁₁で示される部分に、物体らしき認識結果が現れており、レイヤ画像＃１は、領域１２１₁₃の物体尤度が閾値以上とされ、領域１２１₁₃が検出窓とされたアテンションマップが作成された様子を示している。これに対して、レイヤ画像＃２の合成物体認識層データ３１０₂では、領域２３１₁₁に対応する領域２３０₁₁’と、領域１２１₁₃に対応する１２１₁₃’とに、物体らしき認識結果が現れている。

【0099】

レイヤ画像＃３については、レイヤ画像＃３の物体認識層データ２３０₃において、領域２３１₁₂で示される部分に、物体らしき認識結果が現れており、レイヤ画像＃１では、物体尤度が閾値以上の領域が検出されず、検出窓が作成されていない。レイヤ画像＃３の合成物体認識層データ３１０₃では、領域２３１₁₂に対応する領域２３０₁₂’に、物体らしき認識結果が現れている。

【0100】

また、領域１２１₁₀および１２１₁₁、ならびに、領域１２１₁₃において、白色および灰色で示される領域が、検出窓に対応する。この場合、例えば白色の度合いが強い領域ほど物体尤度が高い領域となる。一例として、領域１２１₁₃において、明るい灰色の縦長矩形の領域と、暗い灰色の横長矩形が交差する白色の度合いが強い領域は、領域１２１₁₃内で最も物体尤度が高い領域である。検出窓は、上述したように、例えばレイヤ画像内における対応する位置を示す情報と、物体尤度を示す値と、を含む領域情報に基づき設定される。

【0101】

このように、レイヤ画像＃１および＃２では、ミリ波画像データ２００に基づく物体認識層データ２３０_xに対する物体尤度の算出を行うこと無く、ミリ波画像データ２００に基づき物体らしき認識結果が現れた領域を強調しつつ、イメージデータ１００に基づく検出窓の領域を含めて、合成物体認識層データ３１０_xを生成することができる。

【0102】

また、加算部２２１でミリ波画像データ２００に基づく物体認識層データ２３０_xを加算しているため、レイヤ画像＃３のように、レイヤ画像＃２に検出窓が設定されなかった場合であっても、ミリ波画像データ２００に基づき物体らしき認識結果が現れた領域を強調することができる。

【0103】

図１０は、第１の実施形態に係る物体認識モデル４０ａによるアテンションマップの第２の例を説明するための模式図である。図１０の各部の意味は、上述した図９と同様なので、ここでの説明を省略する。図１０において、左側に、元となるイメージデータ１００ｂの例を示している。

【0104】

図１０において、物体認識層データ２３０_xのうち、レイヤ画像＃１の物体認識層データ２３０₁において、図中の領域２３１₂₀で示される部分に、物体らしき認識結果が現れている。また、レイヤ画像＃１は、領域１２１₂₀および１２１₂₁の物体尤度が閾値以上とされ、これら領域１２１₂₀および１２１₂₁が検出窓とされたアテンションマップが作成された様子を示している。これに対して、レイヤ画像＃１の合成物体認識層データ３１０₁では、領域２３１₂₀に対応する領域２３０₂₀’と、領域１２１₂₀および１２１₂₁にそれぞれ対応する１２１₂₀’および１２１₂₁’とに、物体らしき認識結果が現れている。

【0105】

レイヤ画像＃２についても同様に、レイヤ画像＃２の物体認識層データ２３０₂において、領域２３１₂₁で示される部分に、物体らしき認識結果が現れており、レイヤ画像＃２は、領域１２１₂₂の物体尤度が閾値以上とされ、領域１２１₂₂が検出窓とされたアテンションマップが作成された様子を示している。これに対して、レイヤ画像＃２の合成物体認識層データ３１０₂では、領域２３１₂₁に対応する領域２３０₂₁’と、領域１２１₂₂に対応する１２１₂₂’とに、物体らしき認識結果が現れている。

【0106】

レイヤ画像＃３についても、レイヤ画像＃３の物体認識層データ２３０₃において、領域２３１₂₂で示される部分に、物体らしき認識結果が現れており、レイヤ画像＃１は、領域１２１₂₃の物体尤度が閾値以上とされ、領域１２１₂₃が検出窓とされたアテンションマップが作成された様子を示している。これに対して、レイヤ画像＃３の合成物体認識層データ３１０₃では、領域２３１₂₃に対応する領域２３０₂₁’と、領域１２１₂₃に対応する１２１₂₃’とに、物体らしき認識結果が現れている。

【0107】

この第２の例でも上述した第１の例と同様に、レイヤ画像＃１～＃３において、ミリ波画像データ２００に基づく物体認識層データ２３０_xに対する物体尤度の算出を行うこと無く、ミリ波画像データ２００に基づき物体らしき認識結果が現れた領域を強調しつつ、イメージデータ１００に基づく検出窓の領域を含めて、合成物体認識層データ３１０_xを生成することができる。

【0108】

このように、第１の実施形態によれば、ミリ波画像データ２００の単体では弱い特徴であっても、カメラ２１により撮像したイメージデータ１００に基づくアテンションマップを用いて特徴を強調することで、物体認識の性能を向上させることができる。また、これにより、異なる複数のセンサを用いた場合の認識処理に係る負荷を軽減させることができる。

【0109】

なお、図７の例では、互いに畳み込み層が対応する物体認識層データ１２０_xと物体認識層データ２３０_xと、を合成部３００により合成した、各畳込み層の合成物体認識層データ３１０_xそれぞれを予測部１５０に入力しているが、これはこの例に限定されない。例えば、畳み込み層が異なる物体認識層データ１２０_xと物体認識層データ２３０_x（例えば物体認識層データ１２０₁と物体認識層データ２３０₂）と、を合成部３００で合成した合成物体認識層データ３１０_xを予測部１５０に入力することができる。この場合、合成部３００で合成する物体認識層データ１２０_xと物体認識層データ２３０_xとのサイズを揃えると、好ましい。また、各物体認識層データ１２０_xおよび各物体認識層データ２３０_xのうち一部を合成部３００により合成して、合成物体認識層データ３１０_xを生成してもよい。このとき、各物体認識層データ１２０_xおよび各物体認識層データ２３０_xから畳み込み層が互いに対応するデータを１つずつ選択して、合成部３００で合成してもよいし、それぞれ複数のデータを選択して、合成部３００でそれぞれ合成してもよい。

【0110】

［４．第２の実施形態］
次に、本開示の第２の実施形態について説明する。第２の実施形態は、上述した第１の実施形態とは異なる方法でアテンションマップを作成する例である。図１１は、第２の実施形態に係る物体認識モデルの一例の構成を示す図である。

【0111】

図１１において、上述と同様に、物体認識モデル４０ｃにおいて、物体認識層１２０ａは、イメージデータ１００に基づき畳み込み処理を行い、各物体認識層データ１２０₀～１２０₆を生成する（図示しない）。ここで、物体認識層１２０ａは、最も畳み込み層が深く、サイズが小さい物体認識層データ１２０₆のサイズを例えば２倍に広げて、次の層の物体認識層データ１２２₁を生成する。

【0112】

この場合、新たに生成した物体認識層データ１２２₁は、物体認識層１２０₀～１２０₆のうち最も小さなサイズを持つ物体認識層データ１２０₆の特徴を引き継ぐため、特徴が弱い。そこで、物体認識層１２０ａは、物体認識層データ１２０₆の次に畳み込み層が深く、サイズが当該物体認識層データ１２０₆の例えば２倍である物体認識層データ１２０₅を物体認識層データ１２０₆に連結させて、新たな物体認識層データ１２２₁を生成する。

【0113】

次も同様にして、物体認識層１２０ａは、生成した物体認識層データ１２２₁のサイズを例えば２倍に広げて、対応する物体認識層データ１２０₅に連結させて、新たな物体認識層データ１２２₂を生成する。このように、第２の実施形態に係る物体認識層１２０ａは、生成した物体認識層データ１２２_xのサイズを例えば２倍に広げ、対応する物体認識層データ１２０_xを結合させて新たに物体認識層データ１２２_x+1を生成する処理を繰り返す。

【0114】

物体認識層１２０ａは、上述のように順次にサイズを２倍にされて生成された各物体認識層データ１２０₆、１２２₁、１２２₂、１２２₃、１２２₄、１２２₅および１２２₆に基づきアテンションマップを作成する。このとき、最大のサイズの物体認識層データ１２２₆をレイヤ画像＃０に嵌め込み、レイヤ画像＃０のアテンションマップを作成する。次に大きなサイズの物体認識層データ１２２₅をレイヤ画像＃１に嵌め込み、レイヤ画像＃１のアテンションマップを作成する。以降順次、各物体認識層データ１２２₄、１２２₃、１２２₂、１２２₁および１２０₆をサイズが小さくなる順に、各レイヤ画像＃２、＃３、＃４、＃５および＃６に嵌め込み、各レイヤ画像＃２～＃６のアテンションマップを作成する。

【0115】

このように、第２の実施形態では、物体認識層１２０ａは、新しいアテンションマップを、機械学習で作成して嵌め込んで生成する。これにより、例えばガードレールや縁石などの、認識対象以外の強反射物体によるＦＰ(False Positive)を削減し、ミリ波画像データ２００単体による物体認識の性能を向上させることができる。一方、第２の実施形態では、イメージデータ１００に対して深い畳み込み層まで畳み込みを行った物体認識層データ１２０₆にデータを連結させてアテンションマップを作成しているため、カメラ２１での撮像が難しい物体の特徴が弱められてしまう。例えば、水滴や霧などで隠れた物体の認識が難しくなる。そのため、この第２の実施形態に係るアテンションマップの作成方法と、例えば上述した第１の実施形態に係るアテンションマップの作成方法と、を環境に応じて切り替えるようにすると、好ましい。

【0116】

［５．第３の実施形態］
次に、本開示の第３の実施形態について説明する。第３の実施形態は、ミリ波画像データ２００に基づく各物体認識層データ２３０₀～２３０₆に対して、イメージデータ１００に基づく各アテンションマップ（各物体認識層データ１２０₀～１２０₆）を掛け合わせるようにした例である。図１２は、第３の実施形態に係る物体認識モデルの一例の構成を示す図である。

【0117】

図１２に示す物体認識モデル４０ｄでは、物体認識層２３０は、上述した第１の実施形態と同様にして、ミリ波画像データ２００に基づき各物体認識層データ２３０₀～２３０₆を生成する。一方、物体認識層１２０ｂは、イメージデータ１００に基づき、各物体認識層データ１２０₀～１２０₆と、各物体認識層データ１２０₀’～１２０₆’と、を生成する。

【0118】

ここで、各物体認識層データ１２０₀～１２０₆は、イメージデータ１００単体で物体認識を行うようにパラメータを調整されたデータである。これに対し、各物体認識層データ１２０₀’～１２０₆’は、ミリ波画像データ２００とイメージデータ１００との両方を用いて物体認識を行うようにパラメータを調整されたデータである。例えば、図４を用いて説明した学習システム３０において、同一のイメージデータ１００に対して、当該イメージデータ１００単体で物体認識を行うための学習と、ミリ波画像データ２００と共に物体認識を行うための学習とを実行し、それぞれのパラメータを生成する。

【0119】

第１の実施形態と同様に、各合成部３０１により、物体認識層１２０ｂで生成された各物体認識層データ１２０₀～１２０₆および各物体認識層データ１２０₀’～１２０₆’と、物体認識層２３０で生成された各物体認識層データ２３０₀～２３０₆と、を対応するデータ同士で合成する。

【0120】

図１３は、第３の実施形態に係る合成部３０１の一例の構成を示す図である。図１３に示されるように、合成部３０１は、図８の合成部３００による乗算部２２０および加算部２２１の構成に対して、連結部２２２が追加されている。

【0121】

合成部３０１において、乗算部２２０は、一方の入力端に、イメージデータ１００単体で物体認識を行うようにパラメータを調整された物体認識層データ１２０_xが入力され、他方の入力端には、物体認識層データ２３０_xが入力される。乗算部２２０は、これら一方の入力端に入力された物体認識層データ１２０_xと、他方の入力端に入力された物体認識層データ２３０_xと、の画素毎の積を計算する。乗算部２２０の乗算結果は、加算部２２１の一方の入力端に入力される。加算部２２１の他方の入力端には、物体認識層データ２３０_xが入力される。加算部２２１は、一方の入力端に入力された乗算部２２０の乗算結果と、物体認識層データ２３０_xとについて、行列の和を算出する。

【0122】

加算部２２１の出力が、連結部２２２の一方の入力端に入力される。連結部２２２の他方の入力端に対して、イメージデータ１００とミリ波画像データ２００とを用いて物体認識を行うようにパラメータを調整された物体認識層データ１２０_x’が入力される。連結部２２２は、加算部２２１の出力と、物体認識層データ１２０_x’と、を連結(Concatenate)する。

【0123】

この連結処理は、加算部２２１の出力と、物体認識層データ１２０_x’と、のそれぞれのデータが列挙されるもので、加算部２２１の出力と、物体認識層データ１２０_xと、のそれぞれに対して互いに影響を与えない処理となる。その結果、連結部２２２から出力されるデータは、例えば加算部２２１の出力が有する特徴量と、物体認識層データ１２０_xが有する特徴量とを合計した特徴量を含むデータとなる。

【0124】

この合成部３０１での合成処理により、イメージデータ１００単体で物体の有無を示すアテンションマップを作成し、作成したアテンションマップに対してミリ波画像データ２００に基づく特徴量だけを掛け合わせることができる。これにより、ミリ波画像データ２００に基づく特徴量が制限され、ＦＰを抑制することが可能となる。

【0125】

したがって、第３の実施形態に係る物体認識モデル４０ｄによれば、カメラ２１単体で取得したイメージデータ１００に基づきアテンションマップを作成し、カメラ２１とミリ波レーダ２３とを統合した出力に基づき物体認識を行うことが可能となる。

【0126】

［６．第４の実施形態］
次に、本開示の第４の実施形態について説明する。第４の実施形態は、イメージデータ１００に基づく物体認識層データ１２０_xと、ミリ波画像データ２００に基づく物体認識層データ２３０_xと、を連結した連結データを生成し、この連結データを用いて物体認識を行うようにした例である。

【0127】

図１４は、第４の実施形態に係る物体認識モデルの一例の構成を示す図である。第４の実施形態に係る物体認識モデル４０ｅでは、物体認識処理を行うための各連結データは、既に物体認識層データ１２０_xと物体認識層データ２３０_xとを含んでいる。そのため、各連結データにおいてミリ波画像データ２００に基づく物体認識層データ２３０_xに対する検出窓を設定することができない。そのため、第４の実施形態に係る物体認識モデル４０ｅでは、物体認識層データ１２０_xと物体認識層データ２３０_xとを連結する連結部２２２の前段で、ミリ波画像データ２００における、検出窓外の領域を抑制する処理を行う。

【0128】

より具体的に説明する。図１４に示す物体認識モデル４０ｅにおいて、ミリ波画像データ２００に基づき物体認識層２３０で生成された各物体認識層データ２３０₀～２３０₆（図示しない）は、それぞれ合成部３００に入力される。一方、物体認識層１２０ｃは、イメージデータ１００に基づき各物体認識層データ１２０₀～１２０₆を生成し、生成した各物体認識層データ１２０₀～１２０₆のうち所定数のデータを重畳してアテンションマップを作成する。このアテンションマップが合成部３００に入力される。

【0129】

なお、図１４の例では、物体認識層１２０ｃは、各物体認識層データ１２０₀～１２０₆から畳み込み層が順次隣接する３つの物体認識層データ１２０₀、１２０₁および１２０₂を重畳させた画像データ１２３によりアテンションマップを作成している。これはこの例に限られず、例えば、物体認識層１２０ｃは、各物体認識層データ１２０₀～１２０₆の全てを重畳した画像データ１２３によりアテンションマップを作成することができる。これに限らず、物体認識層１２０ｃは、隣接する２つあるいは４以上の物体認識層データ１２０_xを重畳させた画像データによりアテンションマップを作成してもよい。また、畳み込み層が隣接する複数の物体認識層データ１２０_xに限らず、畳み込み層を飛び飛びに選択した複数の物体認識層データ１２０_xを重畳させた画像データ１２３によりアテンションマップを作成することもできる。

【0130】

合成部３００は、図８を用いた説明と同様にして、乗算部２２０により画像データ１２３と各物体認識層データ２３０₀～２３０₆との積を求め、求めた積に対して加算部２２１により各物体認識層データ２３０₀～２３０₆を加算する。合成部３００により画像データ１２３と各物体認識層データ２３０₀～２３０₆とがそれぞれ合成された各合成データは、連結部２２２の一方の入力端に入力される。

【0131】

連結部２２２の他方の入力端には、イメージデータ１００に基づき物体認識層１２０ｃにより生成された各物体認識層データ１２０₀～１２０₆が入力される。連結部２２２は、一方の入力端に入力された各合成データと、他方の入力端に入力された各物体認識層データ１２０₀～１２０₆とを、それぞれ連結し、各物体認識層データ１２０₀～１２０₆２それぞれ対応する連結データ２４２₀、２４２₁、２４２₂、２４２₃、２４２₄、２４２₅および２４２₆を生成する。

【0132】

連結部２２２から出力された各連結データ２４２₀～２４２₆は、それぞれ予測部１５０に入力される。

【0133】

このような構成とすることで、予測部１５０が物体認識を行うための各連結データ２４２₀～２４２₆における、検出窓外のミリ波画像データ２００の影響を抑制することができる。したがって、第４の実施形態に係る物体認識モデル４０ｅによれば、カメラ２１単体で取得したイメージデータ１００に基づきアテンションマップを作成し、カメラ２１とミリ波レーダ２３とを統合した出力に基づき物体認識を行うことが可能となる。

【0134】

［７．第５の実施形態］
次に、本開示に係る第５の実施形態について説明する。第５の実施形態に係る物体認識モデルは、アテンションマップを作成するためのイメージデータ１００として、１フレーム前のイメージデータ１００を用いるようにした例である。

【0135】

図１５は、第５の実施形態に係る物体認識モデルの一例の構成を示す図である。なお、図１５に示す物体認識モデル４０ｆは、上述した第３の実施形態に係る物体認識モデル４０ｄ（図１２参照）に対して、第５の実施形態の構成を適用させた例である。

【0136】

図１５に示す物体認識モデル４０ｆにおいて、物体認識層１２０ｄは、上述した図１２と同様にして、物体認識層１２０において、カメラ２１によりあるフレーム（今回のフレームと呼ぶ）のフレーム画像データとして取得されたイメージデータ１００（今回のフレームのイメージデータ１００と呼ぶ）に基づき各物体認識層データ１２０₀～１２０₆を生成する。また、物体認識層２３０は、当該今回のフレームと対応してミリ波レーダ２３により取得されたミリ波画像データ２００（今回のフレームのミリ波画像データ２００と呼ぶ）に基づき各物体認識層データ２３０₀～２３０₆を生成する。

【0137】

このとき、今回のフレームによるイメージデータ１００に基づき生成された各物体認識層データ１２０₀～１２０₆は、メモリ４２０に記憶される。メモリ４２０は、例えば図５に示したＲＡＭ４０２を適用することができる。なお、ここでは、メモリ４２０に対して当該各物体認識層データ１２０₀～１２０₆を全て記憶するように説明したが、これはこの例に限定されない。例えば、メモリ４２０に対して、最も畳み込み層の浅い物体認識層データ１２０₀のみを記憶させてもよい。

【0138】

一方、物体認識層１２０ｄは、カメラ２１により、今回のフレームに対して過去（例えば直前のフレーム）に取得されたイメージデータ１００（過去フレーム１０１のイメージデータ１００と呼ぶ）に基づき生成されメモリ４２０に記憶された各物体認識層データ１２０₀～１２０₆に基づき、アテンションマップを作成する。ここで、メモリ４２０に対して、最も畳み込み層の浅い物体認識層データ１２０₀のみが記憶されている場合は、当該物体認識層データ１２０₀に対して順次に畳み込み処理を実行して、各物体認識層データ１２０₁～１２０₆を生成することができる。

【0139】

それぞれ今回のフレームに対応する各物体認識層データ１２０₀～１２０₆および各物体認識層データ２３０₀～２３０₆がそれぞれ対応する合成部３０１に入力される。また、過去フレーム１０１のイメージデータ１００に基づき生成された各物体認識層データ１２０₀～１２０₆が、それぞれアテンションマップとして、合成部３０１に入力される。

【0140】

合成部３０１では、図１３を用いて説明したように、乗算部２２０により、各物体認識層データ１２０₀～１２０₆と各物体認識層データ２３０₀～２３０₆との積をそれぞれ求め、求めた各結果に対して、加算部２２１により、各物体認識層データ２３０₀～２３０₆をそれぞれ加算する。加算部２２１の各加算結果に対して、連結部２２２において、過去フレーム１０１のイメージデータ１００に基づき生成された各物体認識層データ１２０₀～１２０₆が連結される。

【0141】

このように、イメージデータ１００として過去フレーム１０１のデータを用いてアテンションマップを作成することで、物体認識層１２０ｃにおいて１または複数の畳み込み処理を省略することができ、処理の高速化を図ることが可能である。

【0142】

［８．第６の実施形態］
次に、第６の実施形態について説明する。上述した第１～第５の実施形態では、データ取得部２０がセンサとしてカメラ２１とミリ波レーダ２３とを含むものとして説明したが、データ取得部２０が含むセンサの組み合わせは、この例に限定されない。第６の実施形態では、データ取得部２０が含むセンサの他の組み合わせの例について説明する。

【0143】

（８－１．第１の例）
図１６は、第６の実施形態に係る車外情報検出ユニットおよびデータ取得部の第１の例を示す一例のブロック図である。図１６に示されるように、第１の例は、データ取得部２０ａがセンサとしてカメラ２１とＬｉＤＡＲ２４とを含む例である。ＬｉＤＡＲ２４は、光源から射出された光を対象物に反射させて測距を行うＬｉＤＡＲ方式で測距を行うための光反射測距センサであり、光源と受光部とを含む。

【0144】

信号処理部１３ａは、ＬｉＤＡＲ２４から出力されたＲＡＷデータに基づき例えば３次元の点群情報を作成する。幾何変換部１４ａは、信号処理部１３ａで作成された３次元の点群情報を、カメラ２１による撮影画像と同じ視点から見た画像に変換する。より具体的には、幾何変換部１４ａは、ＬｉＤＡＲ２４から出力されたＲＡＷデータに基づく３次元点群情報の座標系を、撮影画像の座標系に変換する。幾何変換部１４ａで座標系が撮像画像の座標系に変換されたＬｉＤＡＲ２４の出力データは、認識処理部１５ａに供給される。認識処理部１５ａは、上述した認識処理部１５におけるミリ波画像データ２００の代わりに、座標系が撮像画像の座標系に変換されたＬｉＤＡＲ２４の出力データを用いて、物体認識処理を行う。

【0145】

（８－２．第２の例）
図１７は、第６の実施形態に係る車外情報検出ユニットおよびデータ取得部の第２の例を示す一例のブロック図である。図１７に示されるように、第２の例は、データ取得部２０ｂがセンサとしてカメラ２１と超音波センサ２５とを含む例である。超音波センサ２５は、可聴周波数帯域よりも高い周波数帯域の音波（超音波）を発信し、その超音波の反射波を受信することで測距を行うもので、例えば超音波の発信を行う発信素子と受信を行う受信素子とを有する。超音波の発信と受信とを１つの素子で行う場合もある。超音波センサ２５は、例えば、超音波の発信と受信とを、超音波の発信方向をスキャンしながら所定の周期で繰り返し行うことで、３次元の点群情報を得ることができる。

【0146】

信号処理部１３ｂは、超音波センサ２５から出力されたデータに基づき、例えば３次元の点群情報を作成する。幾何変換部１４ｂは、信号処理部１３ｂで作成された３次元の点群情報を、カメラ２１による撮影画像と同じ視点から見た画像に変換する。より具体的には、幾何変換部１４ｂは、超音波センサ２５から出力されたデータに基づく３次元点群情報の座標系を、撮影画像の座標系に変換する。幾何変換部１４ｂで座標系が撮像画像の座標系に変換された超音波センサ２５の出力データは、認識処理部１５ｂに供給される。認識処理部１５ｂは、上述した認識処理部１５におけるミリ波画像データ２００の代わりに、座標系が撮像画像の座標系に変換された超音波センサ２５の出力データを用いて、物体認識処理を行う。

【0147】

（８－３．第３の例）
図１８は、第６の実施形態に係る車外情報検出ユニットおよびデータ取得部の第３の例を示す一例のブロック図である。図１８に示されるように、第３の例は、データ取得部２０ｃがセンサとしてカメラ２１と、ミリ波レーダ２３およびＬｉＤＡＲ２４とを含む例である。

【0148】

図１８に示す車外情報検出ユニット１０において、ミリ波レーダ２３から出力されたミリ波データは、信号処理部１３に入力される。信号処理部１３は、入力されたミリ波データに対して図２を用いて説明した処理と同様の処理を行い、ミリ波画像を生成する。幾何変換部１４は、信号処理部１３で生成されたミリ波画像の幾何変換を行うことにより、ミリ波画像を撮影画像と同じ座標系の画像に変換する。幾何変換部１４でミリ波画像が変換された画像（変換ミリ波画像と呼ぶ）は、認識処理部１５ｃに供給される。

【0149】

また、車外情報検出ユニット１０において、ＬｉＤＡＲ２４の出力から出力されたＲＡＷデータは、信号処理部１３ｃに入力される。信号処理部１３ｃは、ＬｉＤＡＲ２４から入力されたＲＡＷデータに基づき例えば３次元の点群情報を作成する。幾何変換部１４ｃは、信号処理部１３ｃで作成された３次元の点群情報を、カメラ２１による撮影画像と同じ視点から見た画像に変換する。幾何変換部１４で３次元の点群情報が変換された画像（変換ＬｉＤＡＲ画像と呼ぶ）は、認識処理部１５ｃに供給される。

【0150】

認識処理部１５ｃは、幾何変換部１４および１４ｃのそれぞれから入力された変換ミリ波画像および変換ＬｉＤＡＲ画像を統合し、統合された画像を、上述した認識処理部１５におけるミリ波画像データ２００の代わりに用いて、物体認識処理を行う。ここで、認識処理部１５ｃは、変換ミリ波画像と変換ＬｉＤＡＲとを連結して、これら変換ミリ波画像と変換ＬｉＤＡＲとを統合することができる。

【0151】

（８－４．第４の例）
図１９は、第６の実施形態に係る車外情報検出ユニットおよびデータ取得部の第４の例を示す一例のブロック図である。図１９に示されるように、第４の例は、図１６を用いて説明した、カメラ２１とミリ波レーダ２３とを含むデータ取得部２０ａが適用される。一方、車外情報検出ユニット１０は、カメラ２１の出力に対して画像処理部１２と幾何変換部１４ｄとが接続され、ミリ波レーダ２３に対して信号処理部１３のみが接続される。

【0152】

車外情報検出ユニット１０において、画像処理部１２は、カメラ２１から出力された撮像画像に対して所定の画像処理を施す。画像処理部１２により画像処理された撮像画像は、幾何変換部１４ｄに供給される。幾何変換部１４ｄは、撮像画像の座標系を、ミリ波レーダ２３から出力されるミリ波データの座標系に変換する。幾何変換部１４ｄでミリ波データの座標系に変換された撮像画像（変換撮像画像と呼ぶ）は、認識処理部１５ｄに供給される。

【0153】

一方、車外情報検出ユニット１０において、ミリ波レーダ２３から出力されたミリ波データが信号処理部１３に入力される。信号処理部１３は、入力されたミリ波データに所定の信号処理を施し、ミリ波データに基づきミリ波画像を生成する。信号処理部１３で生成されたミリ波画像は、認識処理部１５ｄに供給される。

【0154】

認識処理部１５ｄは、例えば、上述した認識処理部１５におけるイメージデータ１００の代わりに、信号処理部１３から供給されたミリ波画像によるミリ波画像データを用い、ミリ波画像データ２００の代わりに、幾何変換部１４ｄから供給された変換撮像画像を用いることができる。例えば、ミリ波レーダ２３の性能が高く、カメラ２１の性能が低いような場合に、この第４の例による構成を採用することが考えられる。

【0155】

（８－５．第５の例）
上述の第６の実施形態の第１～第４の例では、カメラ２１と、カメラ２１とは異なる方式のセンサとを組み合わせているが、これはこの例に限定されない。例えば、第６の実施形態の第５の例として、特性の異なるカメラ２１の組み合わせを適用することができる。一例として、画角が狭く遠距離の撮像が可能な望遠レンズを用いた第１のカメラ２１と、画角が広く広範囲の撮像が可能な広角レンズを用いた第２のカメラ２１と、の組み合わせが考えられる。

【0156】

（８－６．第６の例）
次に、第６の実施形態の第５の例について説明する。第５の例は、認識処理部１５の構成を、条件に応じて切り替えるようにした例である。なお、以下では、説明のため、第１の実施形態に係る認識処理部１５（物体認識モデル４０ａ）を例にとって説明を行う。

【0157】

一例として、天候やシーンに応じてアテンションマップの使用／非使用を切り替えることが考えられる。例えば、夜間且つ降雨の条件下では、カメラ２１による撮像画像では物体認識が困難となる可能性がある。この場合には、ミリ波レーダ２３の出力のみを用いて物体認識を行う。また、別の例として、データ取得部２０に含まれる複数のセンサのうち１つが正常動作しない場合に、アテンションマップの使い方を変えることが考えられる。例えば、カメラ２１の故障などにより正常なイメージデータ１００が出力されない場合に、アテンションマップを用いない場合と同様の認識レベルで物体認識を行う。さらに別の例として、データ取得部２０が３以上のセンサを含むような場合に、複数のセンサの出力に基づき複数のアテンションマップを作成することが考えられる。この場合、複数のセンサ出力に基づき作成された複数のアテンションマップを統合することが考えられる。

【0158】

なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。

【0159】

なお、本技術は以下のような構成も取ることができる。
（１）
第１のセンサの出力に、該第１のセンサとは異なる第２のセンサの出力に基づく物体認識処理の過程で検出される物体尤度に応じて生成される領域情報を付加して対象物を認識する認識処理を行う認識処理部、
を備える、
情報処理装置。
（２）
前記認識処理部は、
機械学習により得られる物体認識モデルを用いて前記認識処理を行い、
該物体認識モデルは、前記第２のセンサの出力に基づき生成した第１の畳み込み層のうち１つの層で前記領域情報を生成し、生成した該領域情報を、前記第１のセンサの出力に基づき生成した第２の畳み込み層の、該領域情報を生成した層に対応する層に対して付加する、
前記（１）に記載の情報処理装置。
（３）
前記認識処理部は、
機械学習により得られる物体認識モデルを用いて前記認識処理を行い、
該物体認識モデルは、前記第２のセンサの出力に基づき生成した第１の畳み込み層に含まれる複数の層で前記領域情報を生成し、生成した該領域情報を、前記第１のセンサの出力に基づき生成した、該領域情報を生成した該複数の層それぞれに１対１に対応する、第２の畳み込み層の複数の層のそれぞれに対して付加する、
前記（１）に記載の情報処理装置。
（４）
前記認識処理部は、
前記第１の畳み込み層のうち所定数の第１の畳み込み層のそれぞれで前記領域情報を生成する、
前記（３）に記載の情報処理装置。
（５）
前記第２のセンサは、イメージセンサである、
前記（１）乃至（４）の何れかに記載の情報処理装置。
（６）
前記第１のセンサは、ミリ波レーダ、光反射測距センサおよび超音波センサの何れかである、
前記（５）に記載の情報処理装置。
（７）
前記第１のセンサは、
イメージセンサ、ミリ波レーダ、光反射測距センサおよび超音波センサのうち２以上のセンサを含み、該２以上のセンサの各出力を統合した出力を、前記第１のセンサの出力とした、
前記（５）に記載の情報処理装置。
（８）
前記第１のセンサは、イメージセンサであり、
前記第２のセンサは、ミリ波レーダ、光反射測距センサおよび超音波センサの何れかである、
前記（１）乃至（４）の何れかに記載の情報処理装置。
（９）
前記認識処理部は、
前記第１のセンサの出力の、前記第２のセンサの出力における前記物体尤度が第１の閾値以上の領域に対応する領域を強調する、
前記（１）乃至（８）の何れかに記載の情報処理装置。
（１０）
前記認識処理部は、
前記第１のセンサの出力の、前記第２のセンサの出力における前記物体尤度が第２の閾値未満の領域に対応する領域を抑制する、
前記（１）乃至（９）の何れかに記載の情報処理装置。
（１１）
前記認識処理部は、
前記第２のセンサの１フレーム前の出力を用いて前記領域情報を生成する、
前記（１）乃至（１０）の何れかに記載の情報処理装置。
（１２）
前記認識処理部は、
前記領域情報に対して前記第２のセンサの出力を連結する、
前記（１）乃至（１１）の何れかに記載の情報処理装置。
（１３）
第１のセンサと、
前記第１のセンサとは異なる第２のセンサと、
前記第１のセンサの出力に、前記第２のセンサの出力に基づく物体認識処理の過程で検出される物体尤度に応じて生成される領域情報を付加して、対象物を認識する認識処理を行う認識処理部を備える情報処理装置と、
を含む、情報処理システム。
（１４）
第１のセンサの出力に、該第１のセンサとは異なる第２のセンサの出力に基づく物体認識処理の過程で検出される物体尤度に応じて生成される領域情報を付加して、対象物を認識する認識処理を行う認識処理ステップ
をコンピュータに実行させるための情報処理プログラム。
（１５）
プロセッサにより実行される、
第１のセンサの出力に、該第１のセンサとは異なる第２のセンサの出力に基づく物体認識処理の過程で検出される物体尤度に応じて生成される領域情報を付加して、対象物を認識する認識処理を行う認識処理ステップ、
を含む、
情報処理方法。

【符号の説明】

【0160】

１０ 車外情報検出ユニット
１１ 情報処理部
１２ 画像処理部
１３，１３ａ，１３ｂ，１３ｃ 信号処理部
１４，１４ａ，１４ｂ，１４ｃ，１４ｄ 幾何変換部
１５ａ，１５ｂ，１５ｃ，１５ｄ 認識処理部
２０，２０ａ，２０ｂ，２０ｃ データ取得部
２１ カメラ
２２ イメージセンサ
２３ ミリ波レーダ
２４ ＬｉＤＡＲ
２５ 超音波センサ
３０ 学習システム
４０，４０ａ，４０ｂ，４０ｃ，４０ｄ，４０ｅ，４０ｆ 物体認識モデル
４１ａ，４１ｂ，４１ｃ，１１０，２１０ 特徴抽出層
１００，１００ａ，１００ｂ イメージデータ
１２０，１２０ａ，１２０ｂ，１２０ｃ 物体認識層
１２０₀，１２０₁，１２０₂，１２０₃，１２０₄，１２０₅，１２０₆，１２０_x，１２０₀’，１２０₁’，１２０₂’，１２０₃’，１２０₄’，１２０₅’，１２０₆’，１２２₁，１２２₂，１２２₃，１２２₄，１２２₅，１２２₆，２３０₀，２３０₁，２３０₂，２３０₃，２３０₄，２３０₅，２３０₆，２３０_x 物体認識層データ
１５０ 予測部
２００ ミリ波画像データ
２２０ 乗算部
２２１ 加算部
２２２ 連結部
２３０ 物体認識層
２４２₀，２４２₁，２４２₂，２４２₃，２４２₄，２４２₅，２４２₆ 連結データ
３００，３０１ 合成部
３１０₀，３１０₁，３１０₂，３１０₃，３１０₄，３１０₅，３１０₆ 合成物体認識層データ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】