▶ パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-10-31
(45)【発行日】2023-11-09
(54)【発明の名称】情報処理装置、情報処理方法、及び、プログラム
(51)【国際特許分類】
G08G 1/16 20060101AFI20231101BHJP
G06T 7/00 20170101ALI20231101BHJP
H04N 7/18 20060101ALI20231101BHJP
【ＦＩ】
G08G1/16 C
G06T7/00 Z
H04N7/18 J
【請求項の数】
7
(21)【出願番号】P 2019014506
(22)【出願日】2019-01-30
(65)【公開番号】P2020004366
(43)【公開日】2020-01-09
【審査請求日】2021-08-04
(31)【優先権主張番号】P 2018119723
(32)【優先日】2018-06-25
(33)【優先権主張国・地域又は機関】JP
【前置審査】
(73)【特許権者】
【識別番号】514136668
【氏名又は名称】パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ
【氏名又は名称原語表記】Ｐａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ
(74)【代理人】
【識別番号】100109210
【弁理士】
【氏名又は名称】新居 広守
(74)【代理人】
【識別番号】100137235
【弁理士】
【氏名又は名称】寺谷 英作
(74)【代理人】
【識別番号】100131417
【弁理士】
【氏名又は名称】道坂 伸一
(72)【発明者】
【氏名】高橋 正樹
(72)【発明者】
【氏名】石井 育規
(72)【発明者】
【氏名】藤村 亮太
【審査官】武内 俊之
(56)【参考文献】
【文献】特開２０１２－２４８０１１（ＪＰ，Ａ）
【文献】特開２０１５－１８７７８２（ＪＰ，Ａ）
【文献】特開２００９－１２２８５９（ＪＰ，Ａ）
【文献】特開２０１３－０４１４８１（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０８Ｇ １／１６
Ｇ０６Ｔ ７／００
Ｈ０４Ｎ ７／１８
(57)【特許請求の範囲】
【請求項1】
イメージセンサからセンシングデータ画像を取得し、前記イメージセンサが搭載される車両の位置情報を取得し、
複数の地理的属性を含む地図情報を取得し、
前記位置情報及び前記地図情報を用いて、前記イメージセンサのセンシング領域における第１の領域に対応する、前記センシングデータ画像における第１のセンシングデータ領域を決定し、
前記第１のセンシングデータ領域および前記イメージセンサのセンシング領域における前記第１の領域以外の第２の領域に対応する、前記センシングデータ画像における第２のセンシングデータ領域のそれぞれに応じた物体検出モデルの入力情報を決定し、前記入力情報を用いて前記第１のセンシングデータ領域の画像における物体検出処理を前記物体検出モデルに実行させる、とともに前記第２のセンシングデータ領域の画像における前記物体検出処理を前記物体検出モデルに実行させる、ように構成され、
前記第１のセンシングデータ領域の画像は、前記センシングデータ画像における、前記複数の地理的属性のうちの歩道の地理的属性を示す領域の画像であり、
前記第２のセンシングデータ領域の画像は、前記センシングデータ画像における、前記複数の地理的属性のうちの前記歩道とは異なる地理的属性を示す領域の画像であり、
前記第１のセンシングデータ領域の画像における前記物体検出処理を前記物体検出モデルに実行させるときに用いられる前記入力情報として、前記歩道の地理的属性を示す領域の画像における前記物体検出処理においてのみ用いる第１の物体雛形矩形を含む情報が決定され、
前記第２のセンシングデータ領域の画像における前記物体検出処理を前記物体検出モデルに実行させるときに用いられる前記入力情報として、前記第１の物体雛形矩形とは異なる第２の物体雛形矩形を含む情報が決定される、
情報処理装置。
【請求項2】
前記物体検出モデルでは、物体検出を行うための前記第１の物体雛形矩形および前記第２の物体雛形矩形を用いて前記物体検出処理を実行する対象が絞られる、請求項１に記載の情報処理装置。
【請求項3】
前記センシングデータ画像についての距離情報を取得し、取得される前記距離情報に応じて第１の物体雛形矩形の大きさが変更をされ、
前記変更をする前の前記第１の物体雛形矩形のアスペクト比と、前記変更をした後の前記第１の物体雛形矩形のアスペクト比は同じである、
請求項２に記載の情報処理装置。
【請求項4】
前記入力情報は、前記センシングデータ画像に基づく画像であって、前記第１のセンシングデータ領域以外の他の領域の解像度が前記第１のセンシングデータ領域の解像度よりも低い画像を含む請求項１に記載の情報処理装置。
【請求項5】
前記入力情報は、前記センシングデータ画像に基づく画像であって、前記センシングデータ画像から切り出された前記第１のセンシングデータ領域の画像と、前記第１のセンシングデータ領域及び前記第１のセンシングデータ領域以外の他の領域の両方を含む画像である全体画像と、の合成画像を含み、前記全体画像は、前記第１のセンシングデータ領域の画像よりも解像度が低い
請求項１に記載の情報処理装置。
【請求項6】
プロセッサを用いて、イメージセンサからセンシングデータ画像を取得し、
前記イメージセンサが搭載される車両の位置情報を取得し、
複数の地理的属性を含む地図情報を取得し、
前記位置情報及び前記地図情報を用いて、前記イメージセンサのセンシング領域における第１の領域に対応する、前記センシングデータ画像における第１のセンシングデータ領域を決定し、
前記第１のセンシングデータ領域および前記イメージセンサのセンシング領域における前記第１の領域以外の第２の領域に対応する、前記センシングデータ画像における第２のセンシングデータ領域のそれぞれに応じた物体検出モデルの入力情報を決定し、
前記入力情報を用いて前記第１のセンシングデータ領域の画像における物体検出処理を前記物体検出モデルに実行させる、とともに前記第２のセンシングデータ領域の画像における前記物体検出処理を前記物体検出モデルに実行させ、
前記第１のセンシングデータ領域の画像は、前記センシングデータ画像における、前記複数の地理的属性のうちの歩道の地理的属性を示す領域の画像であり、
前記第２のセンシングデータ領域の画像は、前記センシングデータ画像における、前記複数の地理的属性のうちの前記歩道とは異なる地理的属性を示す領域の画像であり、
前記第１のセンシングデータ領域の画像における前記物体検出処理を前記物体検出モデルに実行させるときに用いられる前記入力情報として、前記歩道の地理的属性を示す領域の画像における前記物体検出処理においてのみ用いる第１の物体雛形矩形を含む情報が決定され、
前記第２のセンシングデータ領域の画像における前記物体検出処理を前記物体検出モデルに実行させるときに用いられる前記入力情報として、前記第１の物体雛形矩形とは異なる第２の物体雛形矩形を含む情報が決定される、
情報処理方法。
【請求項7】
請求項６に記載の情報処理方法をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、情報処理装置、情報処理方法、及び、プログラムに関する。
【背景技術】
【0002】
近年、運転手の代わりに機械が運転する自動運転車（ロボットカー）の研究及び商品化が多数行われている。自動運転車には、当該自動運転車の周囲の物体を検出するための物体検出装置が搭載される。特許文献１には、検出した他車両の近傍に優先認識領域を設定し、優先認識領域に対して歩行者認識する物体認識装置が提案されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１７－１６７６０８号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、上記従来技術では、物体検出のための計算リソースが増加するおそれがある。例えば、特許文献１では、車両の検出後に歩行者の検出を実行するため、少なくとも２回の検出処理を実行する。そのため、１回の検出処理に比べて計算リソースが多く使用されてしまう。
【0005】
そこで、本開示では、物体検出のための計算リソースの増加を抑制しながら、物体検出性能を向上させることができる情報処理装置、情報処理方法、及び、プログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
本開示の一態様に係る情報処理装置は、光学センサからセンシングデータを取得し、前記光学センサが搭載される物体の位置情報を取得し、地図情報を取得し、前記位置情報及び前記地図情報を用いて、前記光学センサのセンシング領域における特定の領域に対応する、前記センシングデータにおける特定のセンシングデータ領域を決定し、前記特定のセンシングデータ領域に応じて物体検出モデルの入力情報を決定し、前記入力情報を用いて前記物体検出モデルに物体検出処理を実行させる、ように構成される。
【0007】
また、本開示の一態様に係る情報処理方法は、プロセッサを用いて、光学センサからセンシングデータを取得し、前記光学センサが搭載される物体の位置情報を取得し、地図情報を取得し、前記位置情報及び前記地図情報を用いて、前記光学センサのセンシング領域における特定の領域に対応する、前記センシングデータにおける特定のセンシングデータ領域を決定し、前記特定のセンシングデータ領域に応じて物体検出モデルの入力情報を決定し、前記入力情報を用いて前記物体検出モデルに物体検出処理を実行させる。
【0008】
また、本開示の一態様に係るプログラムは、上記の情報処理方法をコンピュータに実行させるためのプログラムである。
【0009】
なお、これらの包括的又は具体的な態様は、システム、方法、集積回路、コンピュータプログラム又はコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
【発明の効果】
【0010】
本開示の一態様に係る情報処理装置等は、物体検出のための計算リソースの増加を抑制しながら、物体検出性能を向上させることができる。
【図面の簡単な説明】
【0011】
【発明を実施するための形態】
【0012】
（本開示の基礎となった知見）
上述したように、従来技術では、物体検出のための計算リソースが増加するおそれがある。また、自動運転車（移動体の一例）の構成要素であるニューラルネットワークなどの人工知能もしくはパターンマッチング技術を使用した物体検出部は、検出能力を改善させようとすると、検出処理のリアルタイム性の欠如及び消費電力の増大という課題が生じる。さらに、上述した従来技術では、優先認識領域が車両近傍に限られるため、車両が存在しない領域に存在する人の検出については検出能力が必ずしも向上しない。
上述したように、従来技術では、物体検出のための計算リソースが増加するおそれがある。また、自動運転車（移動体の一例）の構成要素であるニューラルネットワークなどの人工知能もしくはパターンマッチング技術を使用した物体検出部は、検出能力を改善させようとすると、検出処理のリアルタイム性の欠如及び消費電力の増大という課題が生じる。さらに、上述した従来技術では、優先認識領域が車両近傍に限られるため、車両が存在しない領域に存在する人の検出については検出能力が必ずしも向上しない。
【0013】
これに対し、本開示の一態様に係る情報処理装置は、光学センサからセンシングデータを取得し、前記光学センサが搭載される物体の位置情報を取得し、地図情報を取得し、前記位置情報及び前記地図情報を用いて、前記光学センサのセンシング領域における特定の領域に対応する、前記センシングデータにおける特定のセンシングデータ領域を決定し、前記特定のセンシングデータ領域に応じて物体検出モデルの入力情報を決定し、前記入力情報を用いて前記物体検出モデルに物体検出処理を実行させる、ように構成される。
【0014】
これにより、特定のセンシングデータ領域に応じて物体検出モデルの入力情報が決定されるため、物体検出モデルの処理量又は処理内容を特定のセンシングデータ領域及びそれ以外の領域に応じて制御することができる。したがって、物体検出のための計算リソースの増加を抑制しながら、物体検出性能を向上させることができる。
【0015】
例えば、特定のセンシングデータ領域が歩道である場合、歩道に応じた入力情報が物体検出モデルに入力されることにより、歩道に存在する可能性が他の領域に比べて高い児童及び車椅子使用者などの交通弱者の検出性能を向上させることが可能となる。また、歩道及びそれ以外の領域に応じて計算リソースが配分されることにより、物体検出処理に要する計算リソースの増加を抑制することができる。したがって、情報処理装置の限られた計算リソースで交通弱者の安全を向上させることができる。
【0016】
また、例えば、前記物体検出モデルでは、物体検出を行うための物体雛形矩形を用いて物体検出処理を実行する対象が絞られ、前記入力情報は、前記物体雛形矩形を含む。
【0017】
これにより、物体検出モデルの処理の対象が特定のセンシングデータ領域に応じて絞られるため、物体検出モデルの処理に要する計算リソースの増加を抑制しつつ物体検出性能を向上させることができる。
【0018】
また、例えば、前記物体雛形矩形は、前記特定のセンシングデータ領域の属性に応じて設定される。
【0019】
これにより、物体検出モデルの処理の対象が特定のセンシングデータ領域の属性に応じて絞られる。ここで、物体の種類（例えば、人、自動車など）毎に典型的な映り方が存在する。また、センシングデータ領域の属性毎に、センシングデータ領域に存在する可能性がある物体の種類が異なる。そのため、本構成のように、物体検出モデルの処理の対象が特定のセンシングデータ領域の属性に応じて絞られることにより、計算リソースの増加の抑制と物体検出性能の向上との両立をより効果的に実現することができる。
【0020】
また、例えば、前記センシングデータについての距離情報を取得し、取得される距離情報に応じて物体雛形矩形のサイズが設定される。
【0021】
これにより、物体雛形矩形のサイズが距離情報に応じて設定されるので、計算リソースの増加を抑制しながら、さらに物体検出性能を向上させることができる。
【0022】
また、例えば、前記光学センサは、イメージセンサを含み、前記センシングデータは、前記イメージセンサから得られる画像であるセンシング画像を含み、前記入力情報は、前記センシング画像に基づく画像であって、前記特定のセンシングデータ領域以外の他の領域の解像度が前記特定のセンシングデータ領域の解像度よりも低い画像を含む。
【0023】
これにより、注目領域以外の他の領域に割り振られる計算リソースを注目領域に割り振ることができる。よって、計算リソースの増加を抑制しつつ物体検出性能を向上させることができる。
【0024】
また、例えば、前記光学センサは、イメージセンサを含み、前記センシングデータは、前記イメージセンサから得られる画像であるセンシング画像を含み、前記入力情報は、前記センシング画像に基づく画像であって、前記センシング画像から切り出された前記特定のセンシングデータ領域の画像と、前記特定のセンシングデータ領域及び前記センシングデータ領域以外の他の領域の両方を含む画像である全体画像と、の合成画像を含み、前記全体画像は、前記特定のセンシングデータ領域の画像よりも解像度が低い。
【0025】
これにより、注目領域の画像及び全体画像の両方が物体検出モデルに入力されるため、注目領域の切り出しにより物体の誤検出又は検出漏れの発生を抑制することができる。
【0026】
また、例えば、本開示の一態様に係る情報処理方法は、プロセッサを用いて、光学センサからセンシングデータを取得し、前記光学センサが搭載される物体の位置情報を取得し、地図情報を取得し、前記位置情報及び前記地図情報を用いて、前記光学センサのセンシング領域における特定の領域に対応する、前記センシングデータにおける特定のセンシングデータ領域を決定し、前記特定のセンシングデータ領域に応じて物体検出モデルの入力情報を決定し、前記入力情報を用いて前記物体検出モデルに物体検出処理を実行させる。
【0027】
これにより、特定のセンシングデータ領域に応じて物体検出モデルの入力情報が決定されるため、物体検出モデルの処理量又は処理内容を特定のセンシングデータ領域及びそれ以外の領域に応じて制御することができる。したがって、物体検出のための計算リソースの増加を抑制しながら、物体検出性能を向上させることができる。
【0028】
また、例えば、本開示の一態様に係るプログラムは、上記の情報処理方法をコンピュータに実行させるためのプログラムであってもよい。
【0029】
これにより、コンピュータが、プログラムに従って、上記の情報処理方法を実行することができる。
【0030】
さらに、これらの包括的又は具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム、又は、コンピュータ読み取り可能なＣＤ－ＲＯＭなどの非一時的な記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラム、及び、記録媒体の任意な組み合わせで実現されてもよい。
【0031】
以下、実施の形態について、図面を参照しながら具体的に説明する。なお、以下で説明する実施の形態は、いずれも本開示の一具体例を示すものである。以下の実施の形態で示される数値、形状、構成要素、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また全ての実施の形態において、各々の内容を組み合わせることもできる。
【0032】
また、各図は、模式図であり、必ずしも厳密に図示されたものではない。
【0033】
また、本明細書において、平行又は等しいなどの要素間の関係性を示す用語、および、矩形などの要素の形状を示す用語、並びに、数値及び数値範囲は、厳格な意味のみを表す表現ではなく、実質的に同等な範囲、例えば数％程度の差異をも含むことを意味する表現である。
【0034】
【0035】
［１－１.情報処理装置の構成］
まずは、情報処理装置１４０が搭載される移動体１００の構成について図１を参照しながら説明する。
まずは、情報処理装置１４０が搭載される移動体１００の構成について図１を参照しながら説明する。
【0036】
図１は、本実施の形態に係る情報処理装置１４０を備える移動体１００の概略構成を示す図である。本実施の形態では、移動体１００は、車両である。車両は、例えば、運転者の操作を必要とせずに、車両の運転を制御する自動運転車であるが、自動運転または手動運転の何れかに切り替えて走行することが可能な車両であってもよい。
【0037】
図１に示すように、移動体１００は、光学センサ１１０と、測位部１２０と、地図保管部１３０と、情報処理装置１４０と、車両制御部１５０とを備える。移動体１００は、光学センサ１１０が搭載される物体の一例である。
【0038】
光学センサ１１０は、移動体１００の周囲の状況を検出する装置である。光学センサ１１０は、例えば、移動体１００の周囲に存在する他車両及び歩行者の位置等を検出する。光学センサ１１０は、イメージセンサを有するカメラ又はＬＩＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）などの移動体１００周囲を撮影した撮影画像を生成するセンサ機器により実現される。以下、光学センサ１１０がカメラである場合を例に説明する。光学センサ１１０は、撮影した画像（本実施の形態では、カメラ画像）を情報処理装置１４０に出力する。なお、移動体１００が備えるセンサは、光学センサに限定されない。センサは、例えば、温度、圧力、磁気、音、光、ガス、超音波及び電磁波等を検知して、検知結果を示すセンシングデータを出力するセンサであってもよい。また、センシングデータは、光学センサ１１０がイメージセンサを有する場合、当該イメージセンサで得られる画像であるセンシング画像を含む。
【0039】
測位部１２０は、移動体１００の位置及び方角を測位する。測位部１２０は、位置取得部１２１及び方位取得部１２２を有する。
【0040】
位置取得部１２１は、外部から移動体１００の現在位置を取得する。位置取得部１２１は、例えば、全球測位衛星システム（ＧＮＳＳ：Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）等の航法衛星（人工衛星）から送信される電波を受信するＧＮＳＳ受信機器等により実現される。
【0041】
方位取得部１２２は、移動体１００の方位（例えば、進行方向）を取得する。方位取得部１２２は、例えば、地磁気センサ（例えば、コンパス）を有し、当該地磁気センサが検知する地磁気に基づいて移動体１００の方位を計測することで、当該移動体１００の方位を取得する。なお、方位取得部１２２が方位を取得す方法は、上記に限定されない。方位取得部１２２は、例えば、ジャイロセンサを有し、当該ジャイロセンサが出力する角速度を用いて移動体１００の方位を取得してもよい。
【0042】
測位部１２０は、位置取得部１２１及び方位取得部１２２が取得した情報を用いて、移動体１００が存在する位置を示す位置情報（例えば、緯度及び経度）、及び、移動体１００が進行する向きを示す方角情報を情報処理装置１４０に出力する。
【0043】
地図保管部１３０は、移動体１００の周囲における地図情報を情報処理装置１４０に出力する。地図情報は、地図保管部１３０が保管する地図情報であってもよいし、地図保管部１３０が外部から取得した地図情報であってもよい。地図情報には、道路情報、及び、敷地における建築物情報などが含まれる。なお、この地図情報は、イベント（例えば、付近の学校の通学帰宅時間、事故の発生、又は、交通規制など）によって常に変更されてもかまわない。例えば、地図情報は、いわゆる静的な地図情報に、時々刻々と又はリアルタイムに変わりうるイベント情報を関連付けた動的地図情報であってもよい。地図情報が動的地図情報であることで、後述する注目領域をより適切に設定することができる。
【0044】
情報処理装置１４０は、情報処理を行う装置である。例えば、情報処理装置１４０は、コンピュータであって、光学センサ１１０、測位部１２０及び地図保管部１３０から取得した各種情報を用いて、移動体１００の周囲の物体を検出し、検出結果を出力する。情報処理装置１４０は、の物体検出部１４４における推論方式を設定し、より利用者（例えば、運転者）の意図に沿った検出結果を取得可能にする装置である。情報処理装置１４０は、図１に示すように、注目領域決定部１４１と、雛形矩形設定部１４２と、入力画像設定部１４３と、物体検出部１４４とを備える。
【0045】
注目領域決定部１４１は、移動体１００の位置情報及び地図情報に基づいて、光学センサ１１０から取得されるセンシングデータすなわち画像における注目領域を決定する。注目領域とは、光学センサ１１０のセンシング領域における特定の領域（例えば、注目したい領域）に対応する、画像における特定のセンシングデータ領域である。本実施の形態では、注目領域は、光学センサ１１０のセンシング領域において、特定の領域である歩道領域に対応する、画像内における領域である。つまり、本実施の形態では、注目領域は、画像内における歩道部分である。なお、特定の領域は歩道に限定されず、移動体１００の走行経路等により、適宜決定される。
【0046】
注目領域決定部１４１は、光学センサ１１０から画像を取得する。言い換えると、注目領域決定部１４１は、光学センサ１１０から画像を取得するセンシングデータ取得部として機能する。また、注目領域決定部１４１は、地図保管部１３０から地図情報を取得する。言い換えると、注目領域決定部１４１は、地図情報を取得する地図情報取得部として機能する。また、注目領域決定部１４１は、測位部１２０から位置情報及び方角情報を取得する。言い換えると、注目領域決定部１４１は、光学センサ１１０が搭載される移動体１００の位置情報を取得する位置情報取得部として機能する。そして、注目領域決定部１４１は、位置情報及び方角情報と地図情報とから光学センサ１１０のセンシング方向における道路情報を取得する。注目領域決定部１４１は、道路情報を用いて画像における特定のセンシングデータ領域である注目領域（例えば歩道部分）を決定する。言い換えると、注目領域決定部１４１は、画像における注目領域を決定する決定部として機能する。本開示では、注目領域決定部１４１が地図情報を用いて注目領域を決定する点に特徴を有する。なお、注目領域は、所望の領域の一例である。また、以下において、注目領域は、歩道である例について説明する。
【0047】
雛形矩形設定部１４２は、物体検出パラメータ設定部の一例として、注目領域を用いて物体検出部１４４のパラメータを設定する。具体的には、雛形矩形設定部１４２は、センシングデータすなわち画像上の注目領域の態様に応じて、物体検出部１４４に使用させる物体雛形矩形（Ａｎｃｈｏｒ Ｂｏｘと呼称されることが多い）を決定する。雛形矩形設定部１４２は、使用する物体雛形矩形（以降において、単に雛形矩形とも記載する）に関する情報を物体検出部１４４に出力する。ここで、雛形矩形について、図２Ａ及び図２Ｂを参照しながら説明する。
【0048】
図２Ａは、本実施の形態に係る汎用雛形矩形群１４２ａの一例を示す図である。図２Ｂは、本実施の形態に係る歩道用雛形矩形群１４２ｂの一例を示す図である。図２Ｂに示す歩道用雛形矩形群１４２ｂは、注目領域用雛形矩形群の一例である。汎用雛形矩形群１４２ａは、例えば、注目領域以外の領域の物体を検出するために用いられる。歩道用雛形矩形群１４２ｂは、注目領域である歩道部分の物体を検出するために用いられる。なお、雛形矩形は、縦横のアスペクト比の情報である。雛形矩形は、物体検出部１４４を訓練する際に使用するデータセット（画像データ及びアノテーションデータなど）から様々なアルゴリズム（例えばｋ－ｍｅａｎｓクラスタリング）を用いて計算される。例えば、汎用雛形矩形群１４２ａ及び歩道用雛形矩形群１４２ｂに含まれる雛形矩形を物体検出部１４４に学習させ、学習された雛形矩形は、情報処理装置１４０が備える記憶部（図示しない）に記憶されていてもよい。
【0049】
図２Ａ及び図２Ｂに示すように、汎用雛形矩形群１４２ａ及び歩道用雛形矩形群１４２ｂはそれぞれ、５種類の雛形矩形を含む。この場合、雛形矩形設定部１４２が物体検出部１４４に、汎用雛形矩形群１４２ａ及び歩道用雛形矩形群１４２ｂとしてそれぞれ５種類の雛形矩形を使用すること示す情報を出力する。
【0050】
汎用雛形矩形群１４２ａには、移動体１００が走行する道路に存在する物体を検出するための雛形矩形が含まれる。汎用雛形矩形群１４２ａには、人物、車両、自転車などを平均的に検出するための雛形矩形が含まれる。また、歩道用雛形矩形群１４２ｂには、汎用雛形矩形群１４２ａより人物を検出しやすい雛形矩形が含まれる。歩道用雛形矩形群１４２ｂには、例えば、主に、歩行者を検出するための雛形矩形が含まれる。注目領域用雛形矩形群には、当該注目領域に応じた雛形矩形が設定される。
【0051】
汎用雛形矩形群１４２ａ及び歩道用雛形矩形群１４２ｂに含まれる雛形矩形は、一部が同じであってもよい。図２Ａ及び図２Ｂでは、５つの雛形矩形のうち３つの雛形矩形が同じである例について示している。例えば、歩道用雛形矩形群１４２ｂには、車両などの他の物体を検出できる雛形矩形が含まれていてもよい。これにより、歩道に存在する車両、例えば駐車場から車道に出るために歩道を横切っている車両などを検出することができる。
【0052】
また、汎用雛形矩形群１４２ａ及び歩道用雛形矩形群１４２ｂに含まれる雛形矩形の数はこれに限定されない。汎用雛形矩形群１４２ａ及び歩道用雛形矩形群１４２ｂに含まれる雛形矩形の数は、同じであれば、４種類以下であってもよいし、９種類又は１２種類であってもよいし、それ以上であってもよい。また、雛形矩形設定部１４２は、注目領域が複数種類ある場合、注目領域ごとに当該注目領域の属性（例えば、歩道、車道など）に応じた雛形矩形を含む注目領域用雛形矩形群を設定してもよい。例えば、注目領域が空である場合、当該注目領域に使用される注目領域用雛形矩形群は、ドローンなどの飛行体に対応した雛形矩形を含んでいてもよい。これにより、低空を飛行する飛行体をより精度よく検出することができる。なお、地図情報には、ドローンなどの飛行体の飛行経路、飛行体の上空における停留位置などの空の交通整理の情報が含まれていてもよい。
【0053】
また、雛形矩形は、移動体１００が走行している道路に応じた雛形矩形であってもよい。例えば、雛形矩形は、自動車専用の雛形矩形であってもよい。移動体１００が高速道路を走行（例えば、隊列走行）しているときに自動車専用の雛形矩形を用いることで、自動車を効果的に検出することができる。
【0054】
図１を再び参照して、雛形矩形設定部１４２は、例えば、画像に注目領域が存在する場合、当該画像の注目領域に対して、図２Ｂに示す歩道用雛形矩形群１４２ｂを使用するように物体検出部１４４に指示する。また、雛形矩形設定部１４２は、画像の注目領域以外の領域に対しては、図２Ａに示した汎用雛形矩形群１４２ａを使用するように物体検出部１４４に指示する。
【0055】
入力画像設定部１４３は、注目領域決定部１４１から取得した画像データに施す処理内容を物体検出部１４４に出力する。入力画像設定部１４３は、例えば、注目領域に応じて画像の一部を切り出す処理を行うこと示す情報を物体検出部１４４に出力する。具体的には、入力画像設定部１４３は、注目領域が存在した場合に、当該注目領域を含む画像を元の画像（例えば、光学センサ１１０から取得したカメラ画像）から切り出し、切り出した画像と元の画像とを含む１つの画像（例えば、合成画像）を、事前に設定された画像サイズの情報に基づき生成するように物体検出部１４４に指示する。なお、本実施の形態では、入力画像設定部１４３は、注目領域決定部１４１から取得した画像が入力画像であるとして物体検出部１４４に指示してもよい。つまり、入力画像設定部１４３は、画像サイズを変更しないことを示す情報を物体検出部１４４に出力してもよい。なお、入力画像とは、物体検出部１４４が物体の検出を行うために用いる画像である。また、元の画像は、全体画像の一例である。
【0056】
物体検出部１４４は、入力されたセンシングデータすなわち画像等に基づき物体を検出する。物体検出部１４４は、物体検出モデルに対する処理を制御する情報処理部であって、電気回路で構成される。物体検出モデルは、複数の層を有するニューラルネットワーク型の数理モデル（推論器）であって、物体検出処理を行うための数理モデルである。物体検出部１４４は、モデル制御部の一例である。
【0057】
基本的に、物体検出モデルは、入力層、中間層及び出力層で構成される複数の処理層を有する。入力層には、物体検出処理の対象データが入力データ（入力情報）として入力される。そして、出力層から、物体検出処理の処理結果データが出力データ（出力情報）として出力される。入力層と出力層とは異なる処理層であって、入力層と出力層との間の処理層は、中間層と呼ばれる。物体検出モデルは、複数の中間層を有していてもよい。
【0058】
例えば、物体検出部１４４の内部に、学習データを用いて学習された物体検出モデルが実装される。具体的には、情報処理装置１４０とは別の装置で学習された物体検出モデルが、物体検出部１４４の内部に実装されてもよい。あるいは、物体検出部１４４が物体検出部１４４の内部に実装された物体検出モデルを学習させることにより、学習された物体検出モデルが物体検出部１４４の内部に実装されてもよい。
【0059】
具体的には、学習データには、入力データと、入力データに対して正しい出力データとが含まれる。そして、物体検出モデルの学習において、物体検出モデルの入力層に、学習データに含まれる入力データが入力される。そして、物体検出モデルの出力層からの出力データが、学習データに含まれる出力データに等しくなるように、物体検出モデルが更新されることにより、物体検出モデルが学習される。
【0060】
また、例えば、物体検出部１４４は、注目領域決定部１４１で取得されたセンシングデータ等に基づく情報を物体検出モデルの入力層に入力する。そして、物体検出部１４４は、物体検出モデルの第１中間層までの処理を行う。第１中間層は、予め定められていてもよいし、物体検出モデルの複数の層から選択されてもよい。
【0061】
そして、物体検出部１４４は、物体検出モデルの第１中間層からの第１中間出力データ等から生成される中間入力データを第１中間層に後続する層に入力する。第１中間層に後続する層は、具体的には、第１中間層の次の層である。そして、物体検出部１４４は、物体検出モデルの出力層までの処理を行う。
【0062】
そして、物体検出部１４４は、物体検出モデルの出力層からの出力データ（検出結果）を外部に出力する。物体検出部１４４は、例えば、検出結果を車両制御部１５０に出力してもよい。これにより、車両制御部１５０は、物体検出モデルの出力層からの出力データに従って移動体１００の動作を制御することができる。また、物体検出部１４４は、移動体１００が備える表示部（図示しない）に検出結果を表示させてもよい。これにより、運転者に検出結果を知らせることができる。
【0063】
また、物体検出モデルは、他の装置に実装されてもよい。物体検出部１４４は、物体検出モデルの入出力を制御し、物体検出モデルの実質的な処理は、他の装置によって行われてもよい。
【0064】
物体検出部１４４は、図２Ａ及び図２Ｂに示す雛形矩形を用いて、物体を検出する。本実施の形態では、物体検出部１４４は、汎用雛形矩形群１４２ａ及び歩道用雛形矩形群１４２ｂの両方の雛形矩形を用いて、物体を検出する。例えば、物体検出で使用する全種類の雛形矩形を物体検出部１４４に学習させ、学習された全種類の雛形矩形から指定された雛形矩形を雛形矩形設定部１４２からの指示に基づき選択することで、雛形矩形を変更することが可能な物体検出部１４４を実現することができる。
【0065】
なお、情報処理装置１４０の複数の構成要素は、専用のハードウェアで構成されてもよいし、上記のプログラム等を実行する汎用のハードウェアで構成されてもよいし、これらの組み合わせで構成されてもよい。また、汎用のハードウェアは、プログラムが記憶されたメモリ、及び、メモリからプログラムを読み出して実行する汎用のプロセッサ等で構成されてもよい。ここで、メモリは、半導体メモリ又はハードディスク等でもよいし、汎用のプロセッサは、ＣＰＵ等でもよい。また、専用のハードウェアが、メモリ及び専用のプロセッサ等で構成されてもよい。
【0066】
車両制御部１５０は、物体検出部１４４の検出結果に基づき移動体１００の動作（走行）を制御する。なお、車両制御部１５０は、検出結果及び地図情報に基づいて移動体１００の動作を制御してもよい。車両制御部１５０は、例えば、検出結果から歩道に歩行者が検出されなかった場合であっても、走行道路の周辺で人が集まるイベントが行われていることが地図情報に含まれる場合、移動体１００の速度を減速するなどの制御を行ってもよい。
【0067】
なお、上記では、情報処理装置１４０は、雛形矩形設定部１４２及び入力画像設定部１４３の両方を有する例について説明したが、本実施の形態では、少なくとも雛形矩形設定部１４２を有していればよい。
【0068】
以上のように、情報処理装置１４０は、光学センサ１１０から画像Ｐ１（センシングデータの一例）を取得するセンシングデータ取得部と、光学センサ１１０が搭載される移動体１００（物体の一例）の位置情報を取得する位置情報取得部と、地図情報を取得する地図情報取得部と、位置情報及び地図情報を用いて、光学センサ１１０のセンシング領域における歩道領域（特定の領域の一例）に対応する、画像Ｐ１における注目領域（特定のセンシングデータ領域の一例）を決定する注目領域決定部１４１（決定部の一例）と、注目領域に応じて物体検出モデルの入力情報を決定し、入力情報を用いて物体検出モデルに物体検出処理を実行させる物体検出部１４４（モデル制御部の一例）と、を備える。なお、注目領域決定部１４１は、センシングデータ取得部、位置情報取得部、及び、地図情報取得部の機能を有する。
【0069】
【0070】
図３は、本実施の形態に係る情報処理装置１４０の動作の一例を示すフローチャートである。
【0071】
図３に示すように、まず、情報処理装置１４０は、光学センサ１１０から画像データを取得する（Ｓ１０）。具体的には、注目領域決定部１４１が画像データを取得する。図５は、本実施の形態に係る注目領域決定部１４１が取得する画像Ｐ１の一例を示す図である。注目領域決定部１４１は、例えば、画像データが示す画像Ｐ１を取得したとする。なお、図５に示す画像Ｐ１が撮影された範囲は、センシング領域の一例である。また、画像Ｐ１は、光学センサ１１０から取得するセンシングデータの一例である。なお、光学センサ１１０がＬＩＤＡＲである場合、レーザが出射される範囲が、センシング領域の一例となる。
【0072】
次に、情報処理装置１４０は、地図情報と測位情報とから画像Ｐ１上の注目領域を決定する（Ｓ２０）。具体的には、注目領域決定部１４１が注目領域を決定する。ここで、注目領域決定部１４１が注目領域を決定する動作について、図４～図７を参照しながら説明する。
【0073】
図４は、本実施の形態に係る注目領域決定部１４１の動作の一例を示すフローチャートである。
【0074】
図４に示すように、まず、注目領域決定部１４１は、測位情報及び地図情報を取得する（Ｓ２１）。具体的には、注目領域決定部１４１は、測位情報として移動体１００の位置と方向（進行方向）を含む測位情報を測位部１２０から取得し、地図情報を地図保管部１３０から取得する。
【0075】
図６は、本実施の形態に係る注目領域決定部１４１が取得する地図情報Ｍ１の一例を示す図である。地図情報Ｍ１は、画像Ｐ１に対応した情報である。例えば、地図情報Ｍ１と測位情報とから図６のように画像の各領域が判定される。なお、図６に示す、「車道」、「歩道」、「公園」、及び、「私有地」は、注目領域の属性の一例である。また、各領域は、上記方法の代わりに又は上記方法と共に、領域分割手法（例えばセマンティックセグメンテーション）を用いて判定されてもよい。
【0076】
そして、注目領域決定部１４１は、地図情報Ｍ１を用いて注目領域を決定する（Ｓ２２）。具体的には、注目領域決定部１４１は、地図情報Ｍ１を用いて、画像Ｐ１上における注目領域の位置（例えば、座標データ）を特定する。本実施の形態では、注目領域決定部１４１は、例えば、図５に示すような画像Ｐ１を取得した場合、画像Ｐ１に対応する地図情報Ｍ１に含まれる道路情報を用いて、画像Ｐ１における歩道部分を注目領域として決定する。
【0077】
図７は、図５の画像Ｐ１に注目領域を重畳した図である。図７に示す画像Ｐ１における注目領域は、歩道部分Ｒ１及びＲ２である。なお、図７に示すように、画像Ｐ１自体に注目領域（歩道部分Ｒ１及びＲ２）が書き込まれることはなく、画像Ｐ１とそれに紐付けされた注目領域の座標データという形で扱われる。
【0078】
図４を再び参照して、次に、画像Ｐ１に注目領域が存在しているか否かの判定が行われる（Ｓ２３）。注目領域決定部１４１は、注目領域が存在している場合（Ｓ２３でＹｅｓ）、雛形矩形設定部１４２及び入力画像設定部１４３に画像Ｐ１に対応する画像データ及び注目領域の情報を出力する（Ｓ２４）。注目領域決定部１４１は、例えば、雛形矩形設定部１４２に注目領域の情報を出力し、入力画像設定部１４３に画像データ及び注目領域の情報を出力してもよい。注目領域の情報とは、例えば、画像Ｐ１に紐付けされた注目領域の座標データを含む。注目領域の情報には、注目領域の属性が含まれていてもよい。また、注目領域が１種類である場合、雛形矩形設定部１４２に出力される注目領域の情報には、注目領域が存在することを示す情報が含まれていれば、注目領域の座標データは含まれていなくてもよい。
【0079】
また、注目領域決定部１４１は、注目領域が存在していない場合（Ｓ２３でＮｏ）、入力画像設定部１４３に画像データを出力する（Ｓ２５）。なお、注目領域決定部１４１は、ステップＳ２３でＮｏである場合、雛形矩形設定部１４２に注目領域が存在しなかったことを示す情報を出力してもよい。
【0080】
雛形矩形設定部１４２は、注目領域の情報を取得すると、取得した注目領域の情報に応じた雛形矩形（例えば、汎用雛形矩形群１４２ａ及び歩道用雛形矩形群１４２ｂの少なくとも一方に含まれる雛形矩形）を使用するように、使用する雛形矩形の情報を物体検出部１４４に出力する。また、入力画像設定部１４３は、画像データ及び注目領域の情報を取得すると、取得した画像データ及び注目領域の情報を物体検出部１４４に出力する。
【0081】
図３を再び参照して、ステップＳ３０以降の処理が行われる。なお、ステップＳ３０以降の処理は、物体検出部１４４において行われる処理である。例えば、ステップＳ３０～Ｓ８０の処理は、物体検出部１４４が入力画像と物体検出のための雛形矩形とを含む入力情報を物体検出モデルに入力することで実行される。なお、本実施の形態では、物体検出部１４４の検出結果を検出矩形と記載するが、検出結果は矩形領域であることに限定されない。検出結果は、例えば、多角形領域であってもよい。なお、ステップＳ３０～Ｓ８０は、物体検出モデルに物体検出処理を実行させるステップの一例である。
【0082】
なお、物体検出部１４４は、ステップＳ２０及びＳ３０の間に、入力画像設定部１４３から取得した画像データ（光学センサ１１０が撮影したカメラ画像）に所定の画像処理を行ってもよい。物体検出部１４４は、画像データを物体検出に使用する解像度の画像に変更する処理を行ってもよい。物体検出部１４４は、例えば、処理量を削減するために画像サイズを縮小する処理を行ってもよい。なお、この処理は、例えば、入力画像設定部１４３からの指示に基づいて行われてもよい。解像度を変更した画像は、入力画像の一例である。また、この処理は、行われなくてもよい。この場合、入力画像設定部１４３から取得した画像は、入力画像の一例である。
【0083】
そして、物体検出部１４４は、入力画像から物体候補矩形を検出する（Ｓ３０）。物体検出部１４４は、例えば、ピクセル単位で類似する領域をグルーピングしていくことで候補領域を選出する。つまり、物体検出部１４４は、似たような特徴を持つ領域を結合していき、１つの物体候補として抽出する。具体的には、物体検出部１４４は、似たような特徴を持つ領域を結合していき、１つの物体候補を物体候補矩形として抽出する。物体検出部１４４は、入力画像から物体候補を矩形情報として抽出する。物体検出部１４４は、例えば、１枚の入力画像から数万個の物体候補矩形を抽出する。
【0084】
次に、注目領域が存在する場合（Ｓ４０でＹｅｓ）、物体検出部１４４は、汎用雛形矩形群１４２ａ及び歩道用雛形矩形群１４２ｂを用いて物体候補矩形を絞込む処理を行う（Ｓ５０）。言い換えると、物体検出部１４４は、汎用雛形矩形群１４２ａ及び歩道用雛形矩形群１４２ｂを用いて物体候補矩形提案を行う。ここで、物体候補矩形提案とは、ステップＳ３０で検出された物体候補矩形から、雛形矩形を用いて、物体検出処理を実行する物体候補矩形を抽出することである。すなわち、物体候補矩形提案とは、ステップＳ３０で検出された物体候補矩形の中から、ステップＳ７０以降の処理を行う対象を抽出する処理である。物体候補矩形提案は、その物体候補の中心座標とスケール倍した雛形矩形ごとに物体候補を推論して物体候補群からより所望の物体である可能性が高い物体候補矩形を抽出する処理である。具体的には、ステップＳ５０では、雛形矩形に大きさ及びアスペクト比が近い物体候補矩形が抽出される。
【0085】
物体検出部１４４は、注目領域である歩道部分Ｒ１及びＲ２においては、歩道用雛形矩形群１４２ｂを用いて物体候補矩形を抽出する。つまり、注目領域である歩道部分Ｒ１及びＲ２においては、歩行者をより精度よく検出するために、人物を検出しやすい歩道用雛形矩形群１４２ｂが用いられる。複数の物体候補矩形のうち、当該物体候補矩形の座標データの少なくとも一部が歩道部分Ｒ１及びＲ２の座標データを含む場合には、当該物体候補矩形は、歩道用雛形矩形群１４２ｂを用いて抽出される。
【0086】
また、物体検出部１４４は、注目領域でない領域（例えば、歩道部分Ｒ１及びＲ２以外の領域）においては、汎用雛形矩形群１４２ａを用いて物体候補矩形を抽出する。つまり、注目領域でない領域においては、歩行者及び車両などを平均的に検出するために、歩道用雛形矩形群１４２ｂより多数種類の物体を検出やすい汎用雛形矩形群１４２ａが用いられる。
【0087】
なお、物体検出部１４４は、歩道部分Ｒ１及びＲ２に使用する雛形矩形、並びに、その他の領域に使用する雛形矩形を、雛形矩形設定部１４２の指示に基づき選択する。
【0088】
物体検出部１４４は、ステップＳ５０では、数万個（例えば、１万個）の物体候補矩形から数千個（例えば、２千個）の物体候補矩形を抽出する。なお、ステップＳ５０では、物体候補矩形を数千個に絞ることに限定されず、例えば物体検出部１４４が所定の処理速度で物体検出処理を行うことができる物体候補矩形の数に絞られればよい。所定の処理速度とは、自動運転を行う上で安全上問題ない程度の処理速度であり、例えば、３０ｆｐｓ（ｆｒａｍｅ ｐｅｒ ｓｅｃｏｎｄ）である。
【0089】
また、注目領域が存在しない場合（Ｓ４０でＮｏ）、物体検出部１４４は、汎用雛形矩形群１４２ａを用いて物体候補矩形を絞込む処理を行う（Ｓ６０）。
【0090】
次に、物体検出部１４４は、抽出した物体候補矩形を分類する（Ｓ７０）。具体的には、物体検出部１４４は、抽出した物体候補矩形に対して、想定されるクラス（人物、車両、自転車など）に対する信頼度を推論し、分類する。物体検出部１４４は、歩道部分Ｒ１及びＲ２に存在する物体候補矩形に対しては、歩道用雛形矩形群１４２ｂを用いて、当該物体候補矩形の信頼度を推論し、分類する。信頼度の推論とは、例えば、想定されるクラスごとの可能性（確率など）を算出することである。分類とは、例えば、信頼度の推論結果から、想定されるクラス全部の合計が１００％となるように、想定されるクラスごとの確率を算出することである。物体検出部１４４は、例えば、人物６０％、車両２５％、及び、自転車１５％のように合計が１００％となるように分類する。なお、物体検出部１４４は、歩道部分Ｒ１及びＲ２以外に存在する物体候補矩形に対しては、汎用雛形矩形群１４２ａを用いて、当該物体候補矩形の信頼度を推論し、分類する。
【0091】
そして、物体検出部１４４は、物体候補矩形の信頼度に対して、閾値処理を行い、物体検出矩形を検出する（Ｓ８０）。言い換えると、物体検出部１４４は、物体候補矩形の中から、所定の閾値以上の信頼度を有する矩形を物体検出矩形とする。上記の例であれば、所定の閾値が５０％であるとすると、物体候補矩形が示す物体候補が人物であると検出される。なお、所定の閾値は、５０％に限定されず、例えば５０％以上の値から設定される。
【0092】
そして、物体検出部１４４は、検出結果を出力する（Ｓ９０）。物体検出部１４４は、例えば、物体検出矩形を、元のカメラ画像（例えば、画像Ｐ１）に適応させる処理を実施し、処理を行ったカメラ画像を出力する。物体検出部１４４は、例えば、図８に示す画像Ｐ１を出力する。図８は、本実施の形態に係る検出結果を画像Ｐ１に重畳した図である。
【0093】
図８に示すように、画像Ｐ１（カメラ画像）に適応させる処理として、物体検出矩形Ｈ１を画像Ｐ１に重畳する処理が行われる。物体検出部１４４は、図８に示す画像Ｐ１を例えば、移動体１００が備える表示部に表示させてもよい。
【0094】
なお、本実施の形態では、汎用雛形矩形群１４２ａに含まれる雛形矩形の数と、歩道用雛形矩形群１４２ｂに含まれる雛形矩形の数とは、同じである。そのため、ステップＳ５０、Ｓ７０、及び、Ｓ８０における物体検出部１４４の処理量と、ステップＳ６０、Ｓ７０、及び、Ｓ８０における物体検出部１４４の処理量とは、等しい。
【0095】
なお、上記実施の形態では、物体候補群からの物体候補提案の処理に使用する雛形矩形のスケール倍の範囲が理論的には制限されない例を説明したが、これに限定されない。具体的には、物体候補群に対する雛形矩形のスケール倍の範囲は、光学センサ１１０からの距離に応じて動的に設定されてもよい。例えば、地図情報Ｍ１から図９に示すように距離（例えば、光学センサ１１０からの距離）が計測できる場合、物体検出部１４４は、計測された距離を用いて、物体候補矩形提案の処理において使用する雛形矩形のスケール倍の範囲を変更してもよい。例えば、物体検出部１４４は、地図情報から取得される距離情報に応じて物体雛形矩形のサイズを設定する。なお、ここでいうサイズを設定するとは、雛形矩形のアスペクト比を変えずに大きさを変更することを意味する。また、距離情報は、地図情報から取得されることに限定されない。距離情報は、例えば、移動体１００が備える各種センサから取得されてもよい。距離情報は、例えば、光学センサ１１０がＬＩＤＡＲで実現されている場合、当該光学センサ１１０により得られる情報であってもよい。図９は、本実施の形態に係る画像データに距離情報を重畳した図である。
【0096】
図９に示すように、計測された距離に応じてスケール倍の最大値が設定されてよい。光学センサ１１０からの距離が３ｍである場合は、６ｍである場合よりも最大値が大きいスケール倍が用いられてよい。
【0097】
なお、例えば、専用のプロセッサが、物体検出モデルの情報が記憶されたメモリを参照して、上記の情報処理方法を実行してもよい。
【0098】
なお、物体検出モデルは、当該物体検出モデルがニューラルネットワーク型の推論器の場合、注目領域の個数及び注目領域のアスペクト比の少なくとも一方によって、検出用ニューラルネットワークを切替える構成でもよい。
【0099】
以上説明したように、本実施の形態に係る情報処理装置１４０は、注目領域決定部１４１と物体検出部１４４とを備える。注目領域決定部１４１は、光学センサ１１０が撮影した画像Ｐ１、光学センサ１１０が搭載される移動体１００の位置情報、及び、地図情報を取得する。注目領域決定部１４１は、位置情報及び地図情報を用いて、画像Ｐ１における注目領域を決定する。また、物体検出部１４４は、注目領域に応じて物体検出モデルの入力情報を決定し、入力情報を用いて物体検出モデルに物体検出処理を実行させる。言い換えると、本実施の形態に係る情報処理装置１４０は、例えば、光学センサ１１０から画像Ｐ１（センシングデータの一例）を取得し、光学センサ１１０が搭載される移動体１００（物体の一例）の位置情報を取得し、地図情報を取得し、取得した位置情報及び地図情報を用いて、画像Ｐ１が撮影された範囲（光学センサ１１０のセンシング領域の一例）における歩道領域（特定の領域の一例）に対応する、画像Ｐ１における注目領域（特定のセンシングデータ領域の一例）を決定し、注目領域に応じて物体検出モデルの入力情報を決定し、当該入力情報を用いて物体検出モデルに物体検出処理を実行させる、ように構成される。
【0100】
この構成により、注目領域に応じて物体検出モデルの入力情報が決定される。本実施の形態では、注目領域に応じて物体検出モデルに入力される雛形矩形が決定される。物体検出モデルは、注目領域に応じた雛形矩形を用いて物体検出処理を行うことで、当該注目領域における物体検出性能が向上する。したがって、物体検出のための計算リソースの増加を抑制しながら、物体検出性能を向上させることができる。さらに、物体検出部１４４における処理量の増加が抑制されるので、自動運転車で使用される画像によるリアルタイム物体検出のリアルタイム性の低下、及び、消費電力の増大等の発生を抑制することができる。
【0101】
（実施の形態２）
以下、本実施の形態に係る情報処理装置について、図１０～図１３Ｂを参照しながら説明する。なお、本実施の形態に係る情報処理装置の構成は、実施の形態１に係る情報処理装置１４０と同様であり、説明を省略する。なお、本実施の形態では、情報処理装置１４０は、雛形矩形設定部１４２及び入力画像設定部１４３のうち、少なくとも入力画像設定部１４３を有していればよい。また、以下において、実施の形態１の情報処理装置１４０と同様の処理においては、説明を省略又は簡略化する場合がある。
以下、本実施の形態に係る情報処理装置について、図１０～図１３Ｂを参照しながら説明する。なお、本実施の形態に係る情報処理装置の構成は、実施の形態１に係る情報処理装置１４０と同様であり、説明を省略する。なお、本実施の形態では、情報処理装置１４０は、雛形矩形設定部１４２及び入力画像設定部１４３のうち、少なくとも入力画像設定部１４３を有していればよい。また、以下において、実施の形態１の情報処理装置１４０と同様の処理においては、説明を省略又は簡略化する場合がある。
【0102】
［２－１．情報処理装置の動作］
本実施の形態に係る情報処理装置１４０の動作について、図１０～図１３Ｂを参照しながら説明する。図１０は、本実施の形態に係る情報処理装置の動作の一例を示すフローチャートである。
本実施の形態に係る情報処理装置１４０の動作について、図１０～図１３Ｂを参照しながら説明する。図１０は、本実施の形態に係る情報処理装置の動作の一例を示すフローチャートである。
【0103】
【0104】
次に、情報処理装置１４０は、地図情報と測位情報とから画像上の注目領域を決定する（Ｓ１２０）。具体的には、注目領域決定部１４１が注目領域を決定する。注目領域決定部１４１が注目領域を決定する動作は、実施の形態１の図３のステップＳ２０（具体的には図４のステップＳ２１～Ｓ２５）と同様であり、説明を省略する。
【0105】
雛形矩形設定部１４２は、画像Ｐ１に注目領域が含まれているか否かに関わらず、所定の雛形矩形（予め定められた雛形矩形であり、例えば、汎用雛形矩形群１４２ａ）を使用するように、使用する雛形矩形の情報を物体検出部１４４に出力する。なお、雛形矩形設定部１４２は、注目領域の情報を取得すると、取得した注目領域の情報に応じた雛形矩形（例えば、汎用雛形矩形群１４２ａ及び歩道用雛形矩形群１４２ｂの少なくとも一方）を使用するように、使用する雛形矩形の情報を物体検出部１４４に出力してもよい。以下では、雛形矩形設定部１４２は、画像Ｐ１に注目領域が含まれているか否かに関わらず、汎用雛形矩形群１４２ａを使用するように、物体検出部１４４に指示する例について説明する。
【0106】
入力画像設定部１４３は、注目領域である歩道部分を含む矩形を切り出し、画像の全体領域及び注目領域を当てはめた入力画像を生成するように物体検出部１４４に指示する。
【0107】
物体検出部１４４は、入力画像設定部１４３からの指示に基づき、入力画像を生成する（Ｓ１３０）。物体検出部１４４は、画像Ｐ１に所定の画像処理を施すことで入力画像を生成する。ステップＳ１３０における画像処理は、物体検出部１４４における処理量を削減するために画像サイズを縮小する処理が含まれる。なお、ステップＳ１３０以降の処理は、物体検出部１４４において行われる処理である。
【0108】
【0109】
図１１に示すように、画像に注目領域が存在する場合（Ｓ１３１でＹｅｓ）、画像データ（画像）を縮小する処理が行われる（Ｓ１３２）。ステップＳ１３２では、画像に含まれる注目領域（本実施の形態では、歩道部分）と注目領域以外の領域(以降において、他の領域とも記載する)とが異なる縮小率で縮小される。物体検出部１４４は、例えば、画像に含まれる注目領域と、当該注目領域及び他の領域を含む全体領域とを、異なる縮小率で縮小してもよい。具体的には、物体検出部１４４は、注目領域の縮小率を全体領域又は他の領域の縮小率より小さくする。
【0110】
ステップＳ１３２における画像処理について、図１２Ａ及び図１２Ｂを参照しながら説明する。図１２Ａは、本実施の形態に係る注目領域が含まれるときの縮小前の画像Ｐ１を示す図である。図１２Ｂは、本実施の形態に係る注目領域が含まれるときの縮小後の画像Ｐ１１を示す図である。画像Ｐ１１は、入力画像の一例である。なお、図１２Ａ及び図１２Ｂでは、１２８０ピクセル×７２０ピクセルの画像サイズの画像Ｐ１を６００ピクセル×６００ピクセルの画像サイズの画像Ｐ１１に縮小する例について示している。ステップＳ１３０では、図１２Ａに示す画像Ｐ１から図１２Ｂに示す画像Ｐ１１を生成することで、画像サイズをリサイズする。
【0111】
図１２Ａ及び図１２Ｂに示すように、物体検出部１４４は、画像Ｐ１から注目領域である歩道部分Ｒ１を含む切出領域Ｒ１１と、歩道部分Ｒ２を含む切出領域Ｒ２２とを切り出し、切出領域Ｒ１１及びＲ２２と、切出領域Ｒ１１及びＲ２２を含む全体領域Ｒ３３（例えば、画像Ｐ１）とから、画像Ｐ１１を生成する。つまり、画像Ｐ１１は、注目領域を含む画像（切出領域Ｒ１１及びＲ２２）と、全体領域Ｒ３３の画像との合成画像である。切出領域Ｒ１１は、歩道部分Ｒ１を含む領域であれば矩形に限定されず、例えば、多角形であってもよい。切出領域Ｒ２２は、歩道部分Ｒ２を含む領域であれば矩形に限られず、例えば、多角形であってもよい。なお、全体領域Ｒ３３は、センシング領域の一例である。
【0112】
物体検出部１４４は、例えば、全体領域Ｒ３３を６００ピクセル×３００ピクセルの画像サイズに縮小し、切出領域Ｒ１１及びＲ２２を６００ピクセル×３００ピクセルの画像サイズに縮小する。なお、画像サイズは、切出領域Ｒ１１及びＲ２２の縮小率が全体領域Ｒ３３の縮小率より小さければ、上記のサイズに限定されない。また、画像サイズは、切出領域Ｒ１１及びＲ２２の縮小率が全体領域Ｒ３３の縮小率より小さくなるように、決定されてもよい。上記のような画像Ｐ１１における全体領域Ｒ３３を示す部分は、切出領域Ｒ１１及びＲ２２を示す部分より解像度が低い。つまり、注目領域部分は、他の領域より画質がよい。なお、切出領域Ｒ１１及びＲ２２（特定のセンシングデータ領域の一例）及び切出領域Ｒ１１及びＲ２２以外の他の領域の両方を含む画像は、全体画像の一例である。例えば、全体領域Ｒ３３の画像は、全体画像の一例である。
【0113】
なお、画像Ｐ１１の画像サイズは、画像Ｐ１に注目領域が存在しなかった場合に当該画像Ｐ１を縮小して得られる画像（例えば、図１３Ｂの画像Ｐ２２）と等しい。
【0114】
図１１を再び参照して、画像Ｐ１に注目領域が存在しない場合（Ｓ１３１でＮｏ）、画像データを一律に縮小する処理が行われる（Ｓ１３３）。ステップＳ１３３では、画像データを一律の縮小率で縮小する。
【0115】
ステップＳ１３３における画像処理について、図１３Ａ及び図１３Ｂを参照しながら説明する。図１３Ａは、本実施の形態に係る注目領域が含まれていないときの縮小前の画像Ｐ２を示す図である。図１３Ｂは、本実施の形態に係る注目領域が含まれていないときの縮小後の画像Ｐ２２を示す図である。画像Ｐ２２は、入力画像の一例である。なお、図１３Ａ及び図１３Ｂでは、１２８０ピクセル×７２０ピクセルの画像サイズの画像Ｐ２を６００ピクセル×６００ピクセルの画像サイズの画像Ｐ２２に変更する例について示している。なお、図１３Ａに示す画像Ｐ２が撮影された範囲は、センシング領域の一例である。
【0116】
【0117】
図１１を再び参照して、ステップＳ１４０以降の処理が行われる。なお、ステップＳ１４０以降の処理は、物体検出部１４４において行われる処理である。例えば、ステップＳ１４０～Ｓ１７０の処理は、物体検出部１４４が入力画像と物体検出処理のための雛形矩形とを含む入力情報を物体検出モデルに入力することで実行される。本実施の形態では、入力画像に特徴を有する。物体検出部１４４は、注目領域と注目領域以外の領域において解像度が異なる画像（例えば、画像Ｐ１１）を生成し、当該画像を入力画像として物体検出モデルに入力する。入力画像は、例えば、合成された画像であってもよい。
【0118】
物体検出部１４４は、入力画像（例えば、画像Ｐ１１又はＰ２２）から物体候補矩形を検出する（Ｓ１４０）。物体検出部１４４は、例えば、合成画像である画像Ｐ１１から物体候補矩形を検出する。なお、物体検出部１４４は、合成画像から物体候補矩形を抽出することに限定されない。物体検出部１４４は、注目領域以外の領域の解像度が注目領域よりも低い画像から物体候補矩形を抽出すればよい。また、ステップＳ１４０は、実施の形態１の図３のステップＳ３０と同様であり、説明を省略する。
【0119】
次に、物体検出部１４４により、雛形矩形を用いて物体候補矩形を絞込む処理（Ｓ１５０）～物体検出矩形を検出する処理（Ｓ１７０）が行われる。物体検出部１４４は、雛形矩形設定部１４２から汎用雛形矩形群１４２ａを使用することを示す情報を取得している場合、汎用雛形矩形群１４２ａに含まれる雛形矩形を用いてステップＳ１５０～Ｓ１７０の処理を行う。画像Ｐ１１は、例えば、注目領域を含む画像Ｐ１をステップＳ１３３のように一律に縮小した場合に比べ、注目領域の解像度が高い。また、画像Ｐ１１及びＰ２２の画像サイズは、等しい。よって、画像Ｐ１１を用いることで、物体検出部１４４の処理量の増加を抑制しながら、注目領域における物体検出性能を向上させることができる。本実施の形態では、注目領域における人物を高精度に検出することができる。
【0120】
また、物体検出部１４４は、雛形矩形設定部１４２から注目領域（歩道部分Ｒ１及びＲ２）に対しては歩道用雛形矩形群１４２ｂを使用し、他の領域又は全体領域に対しては汎用雛形矩形群１４２ａを使用することを示す指示を取得している場合、汎用雛形矩形群１４２ａ及び歩道用雛形矩形群１４２ｂを用いてステップＳ１５０～Ｓ１７０の処理を行う。これにより、物体検出部１４４の処理量の増加を抑制しながら、注目領域における物体検出性能をさらに向上させることができる。本実施の形態では、注目領域における人物をさらに高精度に検出することができる。
【0121】
なお、本実施の形態では、センシング領域に注目領域が含まれる場合と含まれない場合とで、入力画像の画像サイズは同じである。そのため、ステップＳ１５０～Ｓ１７０における物体検出部１４４の処理量は、センシング領域に注目領域が含まれる場合と含まれない場合とで、等しい。
【0122】
そして、物体検出部１４４は、検出結果を出力する（Ｓ１８０）。物体検出部１４４は、例えば、物体検出矩形を、元のカメラ画像（例えば、画像Ｐ１）に適応させる処理を実施し、処理を行ったカメラ画像を出力する。具体的には、物体検出部１４４は、入力画像の注目領域と全体領域との座標のズレを元の画像データ（画像Ｐ１）の座標位置に戻して物体検出矩形を画像Ｐ１上に出力する。物体検出部１４４は、例えば、図８に示す画像Ｐ１を出力する。
【0123】
以上説明したように、本実施の形態に係る情報処理装置１４０の注目領域決定部１４１は、イメージセンサを含む光学センサ１１０からセンシング画像を取得する。そして、入力情報は、センシング画像に基づく画像であって、注目領域以外の他の領域の解像度が注目領域の解像度よりも低い画像を含む。例えば、入力情報は、センシング画像に基づく画像であって、センシング画像から切り出された注目領域の画像と、全体画像との合成画像を含み、全体画像は、注目領域の画像よりも解像度が低くてもよい。
【0124】
この構成により、情報処理装置１４０では、注目領域に応じて物体検出モデルの入力情報が決定される。本実施の形態では、注目領域に応じて物体検出モデルに入力される入力画像が決定される。物体検出モデルは、注目領域における解像度が高い画像を用いて物体検出処理を行うことで、当該注目領域における物体検出性能が向上する。したがって、物体検出のための計算リソースの増加を抑制しながら、物体検出性能を向上させることができる。さらに、注目領域の画像と全体画像との両方が物体検出モデルに入力される場合、注目領域の切り出しによる物体の誤検出又は検出漏れの発生を抑制することができる。
【0125】
（その他の実施の形態）
以上、実施の態様に係る情報処理装置などについて、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。
以上、実施の態様に係る情報処理装置などについて、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。
【0126】
したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
【0127】
その他、実施の形態に対して当業者が思いつく各種変形を施して得られる形態、または、本開示の主旨を逸脱しない範囲で各実施の形態における構成要素及び機能を任意に組み合わせることで実現される形態も本開示に含まれる。
【0128】
例えば、上記実施の形態では、情報処理装置は、移動体に搭載される例について説明したが、これに限定されない。情報処置装置は、移動体の外部に設置されるサーバ装置であってもよい。情報処理装置は、移動体から、画像データ、位置情報等を無線通信により受信し、受信した情報と地図情報とから物体の検出を行い、検出結果を移動体に送信してもよい。
【0129】
また、上記実施の形態では、物体検出部がニューラルネットワーク型の検出器である例について説明したが、これに限定されない。例えば、物体検出部は、パターンマッチ型の検出器であってもよい。
【0130】
また、上記実施の形態における雛形矩形設定部は、画像の所定の領域ごとに使用する雛形矩形を設定してもよい。雛形矩形設定部は、注目領域が空であり、画像の上側の領域に注目領域である空が位置することが光学センサの配置及び姿勢等によりわかっている場合、例えば、画像の上半分の領域に空に対応する雛形矩形（例えば、ドローンなどの飛行体を検出しやすい雛形矩形）を使用するとしてもよい。
【0131】
また、上記実施の形態では、雛形矩形（例えば、汎用雛形矩形群及び歩道用雛形矩形群）は注目領域に応じて決定されていたが、さらに、移動体の外部環境に応じて決定されてもよい。外部環境は、移動体が走行する道路の天候情報、時刻情報等の少なくとも１つを含む。例えば、歩道用雛形矩形群には、天候が晴れ用の歩道用雛形矩形群と雨用の歩道用雛形矩形群とがあり、雛形矩形設定部は、移動体に備えられる各種センサ（例えば、ワイパの動作を検出するワイパセンサ）などのセンシング結果から、どちらの歩道用雛形矩形群を用いるかを決定してもよい。なお、雨用の歩道用雛形矩形群とは、例えば傘をさしている人物などを特定しやすい雛形矩形を含む。
【0132】
また、上記実施の形態では、汎用雛形矩形群及び歩道用雛形矩形群に含まれる雛形矩形の数が等しい例について説明したが、これに限定されない。歩道用雛形矩形群に含まれる雛形矩形の数は、汎用雛形矩形群に含まれる雛形矩形の数より少なくてもよい。歩道用雛形矩形群は、例えば、車両等の人物以外を検出するための雛形矩形を含んでいなくてもよい。これにより、物体検出部の処理量をさらに減らすことができる。
【0133】
また、上記実施の形態では、当該実施の形態に係る情報処理装置が自動運転車両に適用される例を説明したが、これに限定されない。例えば、当該情報処理装置は、室内用ロボット、飛行体に適用されてもよい。また、当該情報処理装置は、光学センサを用いた物体検出の代わりに、室内での測位方法（Ｗｉ－Ｆｉ（登録商標）、ＢＬＥ（Ｂｌｕｅｔｏｏｔｈ（登録商標） Ｌｏｗ Ｅｎｅｒｇｙ）などの近距離無線通信、ビーコン)を用いた物体検出に用いられてもよい。
【0134】
また、上記実施の形態において説明された複数の処理の順序は一例である。複数の処理の順序は、変更されてもよいし、複数の処理は、並行して実行されてもよい。
【0135】
また、上記実施の形態で説明した各構成要素は、ソフトウェアとして実現されても良いし、典型的には、集積回路であるＬＳＩとして実現されてもよい。これらは、個別に１チップ化されてもよいし、一部または全てを含むように１チップ化されてもよい。複数のチップは一つの装置に集約されていてもよし、複数の装置に備えられていてもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現しても良い。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅｇａｔｅ Ａｒｒａｙ）又は、ＬＳＩ内部の回路セルの接続及び設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。更には、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて構成要素の集積化を行っても良い。
【0136】
また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを１つの機能ブロックとして実現したり、１つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。
【0137】
さらに、本開示の技術は上記プログラムであってもよいし、上記プログラムが記録された非一時的なコンピュータ読み取り可能な記録媒体であってもよい。また、上記プログラムは、インターネット等の伝送媒体を介して流通させることができるのは言うまでもない。例えば、上記プログラム及び上記プログラムからなるデジタル信号は、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものであってもよい。また、上記プログラム及び上記プログラムからなるデジタル信号は、記録媒体に記録して移送されることにより、又はネットワーク等を経由して移送されることにより、独立した他のコンピュータシステムにより実施されてもよい。
【0138】
また、上記で用いた序数、数量等の数字は、全て本開示の技術を具体的に説明するために例示するものであり、本開示は例示された数字に制限されない。また、構成要素間の接続関係は、本開示の技術を具体的に説明するために例示するものであり、本開示の機能を実現する接続関係はこれに限定されない。
【産業上の利用可能性】
【0139】
本開示は、センシングデータに関する物体検出処理を行う情報処理装置等に利用可能であり、画像認識システム及び自動運転システム等に適用可能である。
【符号の説明】
【0140】
１００ 移動体（物体）
１１０ 光学センサ
１２０ 測位部
１２１ 位置取得部
１２２ 方位取得部
１３０ 地図保管部
１４０ 情報処理装置
１４１ 注目領域決定部（決定部）
１４２ 雛形矩形設定部
１４２ａ 汎用雛形矩形群
１４２ｂ 歩道用雛形矩形群
１４３ 入力画像設定部
１４４ 物体検出部（モデル制御部）
１５０ 車両制御部
Ｈ１ 物体検出矩形
Ｍ１ 地図情報
Ｐ１、Ｐ２、Ｐ１１、Ｐ２２ 画像
Ｒ１、Ｒ２ 歩道部分
Ｒ１１、Ｒ２２ 切出領域
Ｒ３３ 全体領域
１１０ 光学センサ
１２０ 測位部
１２１ 位置取得部
１２２ 方位取得部
１３０ 地図保管部
１４０ 情報処理装置
１４１ 注目領域決定部（決定部）
１４２ 雛形矩形設定部
１４２ａ 汎用雛形矩形群
１４２ｂ 歩道用雛形矩形群
１４３ 入力画像設定部
１４４ 物体検出部（モデル制御部）
１５０ 車両制御部
Ｈ１ 物体検出矩形
Ｍ１ 地図情報
Ｐ１、Ｐ２、Ｐ１１、Ｐ２２ 画像
Ｒ１、Ｒ２ 歩道部分
Ｒ１１、Ｒ２２ 切出領域
Ｒ３３ 全体領域
【図1】
【図2A】
【図2B】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12A】
【図12B】
【図13A】
【図13B】