特開 2024-8516 物体識別装置及び物体識別方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024008516

(43)【公開日】2024-01-19

(54)【発明の名称】物体識別装置及び物体識別方法

(51)【国際特許分類】

   G06V 20/56 20220101AFI20240112BHJP

   G06T 7/00 20170101ALI20240112BHJP

   G08G 1/16 20060101ALI20240112BHJP

【ＦＩ】

G06V20/56

G06T7/00 650Z

G08G1/16 C

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2022110453

(22)【出願日】2022-07-08

(71)【出願人】

【識別番号】509186579

【氏名又は名称】日立Ａｓｔｅｍｏ株式会社

(74)【代理人】

【識別番号】110000925

【氏名又は名称】弁理士法人信友国際特許事務所

(72)【発明者】

【氏名】堀田 都

(72)【発明者】

【氏名】城戸 英彰

(72)【発明者】

【氏名】牛場 郭介

【テーマコード（参考）】

5H181

5L096

【Ｆターム（参考）】

5H181AA01

5H181BB04

5H181BB12

5H181BB13

5H181BB20

5H181CC04

5H181CC12

5H181CC14

5H181CC27

5H181FF27

5H181LL01

5H181LL04

5H181LL09

5L096BA02

5L096BA04

5L096FA66

5L096GA51

5L096KA04

(57)【要約】

【課題】移動体から物体までの距離が近傍及び遠方にかかわらず、誤識別を抑制し、物体識別の性能を向上させる。
【解決手段】車両に搭載された外界情報取得部１によって取得された車外の物体を含む外界情報が入力され、車両から物体までの距離を求める距離算出部２２と、外界情報を用いて、外界情報に含まれる物体が所定の種類である信頼度を示す識別スコアを求める識別スコア算出部２３と、識別スコアが予め定められたしきい値７１を超えた場合に、物体が当該識別スコアと対応付けられた種類であると識別する物体識別部２６と、を備える。しきい値７１は、距離に応じて異なる。
【選択図】図１

【特許請求の範囲】

【請求項1】

車両に搭載された外界情報取得部によって取得された車外の物体を含む外界情報が入力され、前記車両から前記物体までの距離を求める距離算出部と、
前記外界情報を用いて、前記外界情報に含まれる前記物体が所定の種類である信頼度を示す識別スコアを求める識別スコア算出部と、
前記識別スコアが予め定められたしきい値を超えた場合に、前記物体が当該識別スコアと対応付けられた種類であると識別する物体識別部と、を備え、
前記しきい値は、前記距離に応じて異なる
物体識別装置。

【請求項2】

前記しきい値は、前記物体との距離が第２距離より遠いときよりも、前記物体との距離が前記第２距離よりも短い第１距離より近いときの方が、大きい値となるように設定される
請求項１に記載の物体識別装置。

【請求項3】

前記しきい値として、正解値既知の物体の情報が距離別に保存された画像データベースに対して、正識別率が一定値以上で、かつ、誤識別が最小となるしきい値設定関数が用いられ、
前記物体識別部は、前記しきい値設定関数に前記物体までの距離を入力して前記しきい値を算出する
請求項２に記載の物体識別装置。

【請求項4】

前記しきい値は、前記物体までの距離及び制動距離に応じて設定される
請求項１に記載の物体識別装置。

【請求項5】

前記しきい値設定関数は、固定しきい値と、線形の可変しきい値との組合せにより定義される
請求項３に記載の物体識別装置。

【請求項6】

前記物体識別部で識別した前記物体の画像と、前記物体までの距離と、前記識別スコアの各情報を格納する識別結果記憶部と、
前記識別結果記憶部に格納された前記各情報により、前記しきい値設定関数を作成する関数作成部と、を備える
請求項３に記載の物体識別装置。

【請求項7】

車両に搭載された外界情報取得部によって取得された車外の物体を含む外界情報が入力される物体識別装置による物体識別方法であって、
前記外界情報により前記車両から前記物体までの距離を求める処理と、
前記外界情報を用いて、前記外界情報に含まれる前記物体が所定の種類である信頼度を示す識別スコアを求める処理と、
前記識別スコアが予め定められたしきい値を超えた場合に、前記物体が当該識別スコアと対応付けられた種類であると識別する処理と、を含み、
前記しきい値は、前記距離に応じて異なる
物体識別方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像上の物体の種別を識別する物体識別装置及び物体識別方法に関する。

【背景技術】

【0002】

道路交通安全支援のため、自車前方の物体を識別し、自動ブレーキをかける技術が義務化されている。対象となる物体の種別を識別する手法として、大量の特定物体の画像を学習させて作成した識別器を用いる方法が一般に用いられる。識別器は、学習用画像のエッジから得られる物体の形状やテクスチャの特徴を学習し、推論時には、入力された画像に対し、識別対象であることの確からしさであるスコアを出力する。そして、出力したスコアに対して予めしきい値を設けておいて、スコアがしきい値を超えた場合に「識別」と判定することで、誤識別を避け、より確からしい識別をすることが一般的に行われている。

【0003】

例えば、特許文献１には、「自宅の車庫等、ユーザの使用頻度が高いエリア（後述の特定エリア）において、車庫周辺の環境（風景や設置物等）を事前に学習することにより、人の検知率を下げることなく、誤検知の発生頻度を低減する。」、「人検知部は、公知の画像解析手法を用いて周辺画像に映る人を検知してもよい。第１実施例では、人検知部は、周辺画像に映る物体に関する指標値が第１閾値以上である場合に、その物体を人として検知する。」との記載がある。すなわち、特許文献１に開示された歩行者検知装置では、自宅駐車場などの限られたエリアで、予め設定したしきい値を物体に関する指標値（スコア）が超えた場合に対象の物体を検知する。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０２１－１４４４７８号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

これに対し、一般道や高速道路を走行中に自動ブレーキを想定した識別をする場合、限られたエリアでなく、自車の制動距離の範囲内の、直近から遠方までの識別対象を識別することが必要である。この際、物体が遠方になるほど、物体が相対的に小さくなるため、画像における物体自体の解像度が小さくなる。解像度が小さくなると、画像から物体領域を抽出する精度が悪くなる、物体自体の輪郭が不明瞭になる等の理由で、識別のスコアの値が低下する傾向にある。

【0006】

物体識別のしきい値を設定する場合に、特に自車近傍の物体の誤識別は誤ブレーキにつながる。このため、物体識別のしきい値を厳しく設定したいが、一方で遠方の識別対象の識別率が下がる問題があった。

【0007】

本発明は、上記の状況に鑑みてなされたものであり、移動体から物体までの距離が近傍及び遠方にかかわらず、誤識別を抑制し、物体識別の性能を向上させることを目的とする。

【課題を解決するための手段】

【0008】

上記課題を解決するために、本発明の一態様の物体識別装置は、車両に搭載された外界情報取得部によって取得された車外の物体を含む外界情報が入力され、車両から物体までの距離を求める距離算出部と、外界情報を用いて、外界情報に含まれる物体が所定の種類である信頼度を示す識別スコアを求める識別スコア算出部と、識別スコアが予め定められたしきい値を超えた場合に、物体が当該識別スコアと対応付けられた種類であると識別する物体識別部と、を備える。上記しきい値は、距離に応じて異なる。

【発明の効果】

【0009】

本発明の少なくとも一態様によれば、距離別の実態に合った適切な物体識別のしきい値を設定することで、車両等の移動体から物体までの距離が近傍及び遠方にかかわらず、誤識別を抑制し、物体識別の性能を向上させることができる。
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

【図面の簡単な説明】

【0010】

【図1】本発明の第１の実施形態に係る物体識別装置の構成例を示すブロック図である。

【図2】本発明の第１の実施形態における物体識別の距離別のしきい値の例を示す図である。

【図3】本発明の第１の実施形態に係る物体識別装置による物体識別処理の手順例を示すフローチャートである。

【図4】物体識別装置に入力した画像の例を示す図である。

【図5】本発明の第１の実施形態に係る物体識別装置に入力した画像から物体領域を検出した例を示す図である。

【図6】本発明の第１の実施形態における物体識別処理が完了した時点での、距離、スコア、しきい値、及び識別結果の例を示す図である。

【図7】本発明の第１の実施形態に係る物体識別処理を複数の物体に適用した場合の、距離別しきい値と、スコアと、識別結果の例を示す図である。

【図8】従来の距離によらず一定のしきい値を用いた場合の、スコアと識別結果の例を示す図である。

【図9】本発明の第２の実施形態に係る物体識別装置の構成例を示すブロック図である。

【図10】本発明の第２の実施形態において予め取得した識別対象のデータベースの構成例を示す図である。

【図11】本発明の第２の実施形態に係る物体識別装置において、識別対象データベースの各要素について、距離とスコアの関係でプロットした例を示す図である。

【図12】本発明の第２の実施形態において、識別対象データベースの各要素について、距離から取得したしきい値と、しきい値により識別した結果と、識別結果の正誤を記入した結果を示す図である。

【図13】本発明の第３の実施形態に係る物体識別装置の構成例を示すブロック図である。

【図14】本発明の第３の実施形態に係る物体識別処理を複数の物体に適用した場合の、制動距離ごとの距離別しきい値と、スコアと、識別結果の例を示す図である。

【図15】本発明の第３の実施形態の変形例における、対象との距離としきい値との関係の例を示す図である。

【図16】本発明の第４の実施形態に係る物体識別装置の構成例を示すブロック図である。

【図17】本発明の第１～第４の実施形態に係る物体識別装置のハードウェア構成例を示すブロック図である。

【発明を実施するための形態】

【0011】

以下、本発明を実施するための形態（以下、「実施形態」と称する）の例について、添付図面を参照して説明する。本明細書及び添付図面において、同一の構成要素又は実質的に同一の機能を有する構成要素には同一の符号を付して重複する説明を省略する。

【0012】

＜第１の実施形態＞
まず、本発明の第１の実施形態に係る物体識別装置の構成について、図１を参照して説明する。

【0013】

［物体識別装置の構成］
図１は、第１の実施形態に係る物体識別装置の構成例を示すブロック図である。図１に示すように、物体識別装置２は、物体領域検出部２１と、物体距離算出部２２と、識別スコア算出部２３と、距離別識別方法記憶部２４と、距離別識別方法選択部２５と、物体識別部２６を備える。

【0014】

物体領域検出部２１は、車両等の移動体に搭載された一対のカメラを有するステレオカメラ１（外界情報取得部の一例）から取得したステレオ画像Ｉｍ（左右の画像）から、物体が映る領域（物体領域）を検出する。これは画像中から一かたまりの画素から構成される物体領域を検出する処理であり、様々な手段を用いることができる。例えば、画像を取得するカメラとしてステレオカメラを用いる場合、視差により左右の画像上で特徴の類似する画素間の距離を求めることができる。画像上で隣り合って距離の近い画素（領域）をグルーピングすることで物体領域を求めることができる。

【0015】

物体距離算出部２２（距離算出部の一例）は、物体領域検出部２１で検出した画像上の物体の、ステレオカメラ１からの距離（以下「物体距離」）を算出する。ステレオカメラを用いた場合、物体距離は、物体領域検出部２１で検出した２つの画像で同一の物体領域の視差値から求めることができる。なお、本実施形態では、ステレオカメラ１から物体までの距離の計算値を車両等の移動体から物体までの距離とするが、ステレオカメラ１の移動体上での取り付け位置を該計算値に反映して移動体から物体までの距離を求めてもよい。

【0016】

一般的に、ステレオカメラで撮影されたステレオ画像に基づき、カメラ視野内に存在する物体までの距離を三角測量の原理で計測する。三角測量の原理とはすなわち、左右のカメラによって撮影された同一の物体の像の位置のずれ（視差）を用いて、カメラからその物体までの距離を算出するものである。視差の導出は、物体の一方の画像上における像が、他方の画像上のどこに存在するかを特定することによって実現する。

【0017】

視差の導出方法としては様々な手法が提案されている。例えば、古典的手法では、一方の画像中の複数画素からなる画像領域に対して、他方の画像中で最も非類似度の低い画像領域を探索するブロックマッチングが知られている。

【0018】

識別スコア算出部２３（識別スコア算出部の一例）は、識別器２３１を有し、識別器２３１により物体領域検出部２１で検出した物体領域に対して識別処理を実施し、当該物体領域の識別対象らしさであるスコア（「識別スコア」と表記することもある）を算出する。このスコアは、物体領域の識別対象であることの確からしさの指標と言える。例えば、識別器２３１は、学習用画像のエッジから得られる物体の形状やテクスチャの特徴を学習した機械学習モデルであり、推論時には、入力された画像の物体領域に対し、識別対象であることの確からしさを表すスコアを出力する。

【0019】

距離別識別方法記憶部２４は、物体までの距離別に、「識別」と判定するスコアのしきい値を格納する記憶手段である。距離別識別方法記憶部２４に記憶する距離別のしきい値については、図２を用いて説明する。

【0020】

［距離別のしきい値］
図２は、本実施形態における物体識別の距離別のしきい値の例を示す図である。図２において、横軸は物体との距離（ｍ）を示し、縦軸はしきい値を示す。図２から明らかなように、ステレオカメラ１から物体までの距離が近いほど高い値のしきい値、物体までの距離が遠いほど低い値のしきい値である。このような物体識別のしきい値を設定することで、自車近傍の歩行者以外の物体を歩行者と識別してしまう誤識別を抑制し、遠方の、スコアが低い歩行者であっても歩行者として識別する効果がある。この距離別のしきい値を採用した効果については、以降の実施形態の中で明らかにする。なお、図２に、歩行者識別のための距離別のしきい値の例を示したが、識別対象はこの例に限られない。例えば、構造物などの障害物や小動物等、種々の物体を識別対象とすることが可能であり、識別対象ごとに距離別のしきい値を設定すればよい。

【0021】

距離別識別方法選択部２５は、物体距離算出部２２で算出した物体までの距離に対応するしきい値を、距離別識別方法記憶部２４から取得する。

【0022】

物体識別部２６（物体識別部の一例）は、識別スコア算出部２３で算出したスコアを、距離別識別方法選択部２５で取得した距離別のしきい値と比較し、当該スコアがしきい値を超えていれば、注目した物体を識別対象として識別する。物体識別部２６の識別結果Ｏｂは、物体識別装置２が搭載されている車両等の移動体の動作を制御する車両制御装置３へ出力される。例えば、車両制御装置３は、移動体の自動ブレーキを制御する電子制御装置（ＥＣＵ：Electronic Control Unit）や、移動体の操舵を制御する電子制御装置（ＥＣＵ）などである。

【0023】

［物体識別処理の手順］
次に、物体識別装置２による物体識別処理の流れについて、図３を用いて説明する。
図３は、物体識別装置２による物体識別処理の手順例を示すフローチャートである。本実施形態では、歩行者を識別対象として識別する例を示す。自車周辺の画像を取得する手段としてステレオカメラを用い、取得したステレオ画像Ｉｍ上の物体の位置に対応する距離が取得できる場合を想定する。

【0024】

物体識別装置２は、認識処理実行タイミング（現在時刻）になったとき物体の認識処理を開始する。まず、ステップＳ２１において、物体領域検出部２１は、物体識別装置２の画像入力部（図示せず）で取得した画像を入力する。

【0025】

図４に、物体識別装置２に入力した画像３１の例を示す。この画像３１は、ステレオカメラ１が出力し物体識別装置２に入力された左右の画像の一方と考えて差し支えない。画像３１には、道路の右側に歩行者と樹木、道路の左側にバス停留所、さらに自車の前方かつ道路の遠方に横断歩道と二人の歩行者が映っている。

【0026】

次いで、ステップＳ２２において、物体領域検出部２１は、ステップＳ２１で取得した画像３１から物体領域を検出する。

【0027】

図５は、物体識別装置２に入力した画像３１から物体領域を検出した例を示す図である。ここでは、物体領域検出部２１は、符号４１で示す歩行者のような物体を物体Ｎｏ．０、符号４２で示すバス停留所のような物体を物体Ｎｏ．１、符号４３で示す樹木のような物体を物体Ｎｏ．２、符号４４で示す歩行者のような物体を物体Ｎｏ．３、及び符号４５で示す歩行者のような物体を物体Ｎｏ．４として検出する。

【0028】

次いで、ステップＳ２３において、物体領域検出部２１は、検出した複数の物体（物体領域）の識別を順に実行するための参照カウンタｉを０（ｉ＝０）に初期化する。参照カウンタｉの物体（物体領域）を「物体ｉ」と表記する。

【0029】

次いで、ステップＳ２４において、物体距離算出部２２は、物体ｉの距離情報を取得する。物体距離算出部２２は、ステレオカメラ１で得られたステレオ画像Ｉｍの視差から、処理対象の物体ｉの距離を取得する。図５の符号４１で示した物体Ｎｏ．０の物体は、ステレオカメラ１（自車）から“３０ｍ”の距離にあるとする。

【0030】

次いで、ステップＳ２５において、識別スコア算出部２３は、処理対象の物体ｉの識別スコアを算出する。この例では、歩行者としての確からしさを示す度合いを０～１までで示す指標とし、１に近いほど歩行者らしいとする。ここでは、例えば、符号４１に示す物体Ｎｏ．０のスコアは“０．９８”であるとする。

【0031】

次いで、ステップＳ２６において、距離別識別方法選択部２５は、距離別識別方法記憶部２４に格納した距離別のしきい値（図２）から、ステップＳ２４で取得した物体ｉの距離に該当するしきい値を取得する。ここでは、物体Ｎｏ．０の距離“２０ｍ”に対応するしきい値は“０．８９”とする。

【0032】

次いで、ステップＳ２７において、物体識別部２６は、物体ｉのスコアがしきい値を超えたか否かを判定する。物体Ｎｏ．０の場合、ステップＳ２５で算出したスコアは“０．９８”であるので、しきい値“０．８９”を超えている。物体ｉのスコアがしきい値を超えている場合（ステップＳ２７でＹＥＳ判定）はステップＳ２８に進み、物体ｉのスコアがしきい値を超えない場合（ステップＳ２７でＮＯ判定）はステップＳ２９に進む。

【0033】

ステップＳ２８において、物体識別部２６は、物体ｉの種別を歩行者として判定する。一方、ステップＳ２９において、物体識別部２６は、物体ｉの種別を歩行者以外として判定する。例えば、符号４３に示す物体Ｎｏ．２のスコアが“０．８０”、距離“４０ｍ”だった場合、距離“４０ｍ”に対応するしきい値は“０．８３”（図２）であるため、物体ｉの種別は歩行者以外と判定される。

【0034】

ステップＳ２８又はＳ２９の処理後、ステップＳ３０において、物体領域検出部２１は、物体の参照カウンタｉを１進めて（ｉ＝ｉ＋１）、次の物体ｉに関する識別処理に移る。

【0035】

次いで、ステップＳ３１において、物体領域検出部２１は、参照カウンタｉが、ステップＳ２２で検出した物体領域の数と等しくなったか否かを判定する。参照カウンタｉが、ステップＳ２２で検出した物体領域の数と等しくない場合（ステップＳ３１でＮＯ判定）、物体領域検出部２１は、すべての物体について識別処理が終わっていないとしてステップＳ２４の処理に戻る。

【0036】

一方、参照カウンタｉが、ステップＳ２２で検出した物体領域の数と等しくなった場合（ステップＳ３１でＹＥＳ判定）、物体領域検出部２１は、現在時刻でのすべての物体に対して識別処理が終了したとして、次時刻の処理に移る。

【0037】

以上説明した流れによって、ステレオカメラ１から取得した画像中で検出した物体のスコア及び距離を算出し、物体識別処理を実施する。

【0038】

ここで、図５において符号４１，４２，４３，４４，４５で示した物体について、図３の物体識別処理が完了した時点での距離、スコア、しきい値、及び識別結果の例を図６に示す。

【0039】

図６は、本実施形態に係る物体識別処理が完了した時点での、距離、スコア、しきい値、及び識別結果の例を示す図である。図６に示すテーブルは、「物体Ｎｏ．」のフィールド５１、「物体符号」のフィールド５２，「物体種別」のフィールド５３、「距離」のフィールド５４、「スコア」のフィールド５５、「しきい値」のフィールド５６、「識別結果」のフィールド５７、及び「識別結果の正誤」のフィールド５８を有する。

【0040】

「物体Ｎｏ．」は、例えば、本テーブル内でのレコードを一意に識別する情報である。
「物体符号」は、物体Ｎｏ．と紐づけられ、画像上の物体（物体領域）を識別するために画像上で物体ごとに付与している符号等の情報である。この物体符号は、図５の画像上の物体を説明するために記載しているが、必ずしも必要というものではない。
「物体種別」は、画像上の物体の実際の種別を表す情報である。
「距離」は、ステップＳ２４で取得した物体までの距離を表す情報である。
「スコア」は、ステップＳ２５で算出した物体の識別時のスコアを表す情報である。
「しきい値」は、ステップＳ２６で取得した物体までの距離に応じたしきい値を表す情報である。
「識別結果」は、ステップＳ２７で判定した識別結果を表す情報である。
「識別結果の正誤」は、説明のために、フィールド５３の実際の「物体種別」と、フィールド５７の「識別結果」を比較した、識別結果が正解であったか誤りであったかを示す情報である。

【0041】

ここで、図６に示した物体Ｎｏ．０（符号４１）から物体Ｎｏ．４（符号４５）の５件の物体についてそれぞれ説明する。

【0042】

１行目に示す物体Ｎｏ．０、符号４１の物体は、実際の物体種別が“歩行者”であり、“２０ｍ”の距離にいるため物体領域の輪郭が明瞭で、識別結果のスコアが“０．９８”と高い値が得られる。“２０ｍ”に対応するしきい値を図２の距離別のしきい値から取得すると“０．８９”であり、ステップＳ２７の処理でスコアがしきい値を超えるため、識別結果は“歩行者”となる。正解が歩行者である物体を“歩行者”と識別しているため、識別結果は“正解”（図６では○）となる。これは、物体が近距離で、物体領域も正確に取得できて、輪郭も明瞭なため、識別結果として高いスコアが得られ、しきい値による識別判定も正しくなされる例である。

【0043】

２行目に示す物体Ｎｏ．１、符号４２の物体は、実際の物体種別が“歩行者以外”（バス停留所）であり、“３０ｍ”の距離にいるため物体領域の輪郭は明瞭であるが、バス停留所は歩行者と形状がかなり似ているため、スコアが“０．８８”と高い値となる。“３０ｍ”の距離に対するしきい値を図２の距離別のしきい値から取得すると、“０．８６”であり、ステップＳ２７の処理でスコアがしきい値を超えるため、識別結果は“歩行者”となる。正解が歩行者以外である物体を“歩行者”として識別しているため、識別結果は“不正解”（図６では×）となる。これは、物体が近距離で、物体領域も正確に取得できて、輪郭も明瞭であるが、形状が歩行者と酷似しているため、識別結果として高いスコアが得られ、しきい値による判定の結果歩行者に誤識別する例である。

【0044】

３行目に示す物体Ｎｏ．２、符号４３の物体は、実際の物体種別が“歩行者以外”（樹木）であり、“４０ｍ”の距離にいるため物体領域の輪郭はやや明瞭である。形状が歩行者とやや似ているため、スコアが“０．８０”とやや高めの値になる。“４０ｍ”の距離に対するしきい値を図２の距離別のしきい値から取得すると、“０．８３”であり、ステップＳ２７の処理でスコアがしきい値を超えないため、識別結果は“歩行者以外”となる。正解が歩行者以外である物体を“歩行者以外”として識別しているため、識別結果は“正解”となる。これは、物体が近距離で、物体領域も正確に取得できて、輪郭も明瞭であるため、物体の形状は歩行者と類似しているが、近距離のしきい値を高く設定している結果、歩行者としての信頼度がしきい値に満たないとして歩行者への誤識別を避けられた例である。

【0045】

４行目に示す物体Ｎｏ．３、符号４４の物体は、実際の物体種別が“歩行者”であり、“７０ｍ”の遠距離にいるため物体領域の輪郭が近傍の場合に比べ不明瞭な例である。また、この例では、図５中の符号４４で示す、検出した物体領域が、物体に相当する領域をすべて抽出できておらず、物体の頭部分が物体領域から外れている。遠方の物体を検出する場合、物体領域の解像度が低いことが原因で、この例に示すように、物体の領域全体を正確に検出することが困難な場合が発生する。識別スコア算出部２３が備える識別器２３１は、歩行者の頭の輪郭等も特徴としてとらえて学習しているため、物体領域に歩行者の体の一部が含まれていない場合は、歩行者としての識別スコアが下がる。これらの理由から、スコアは“０．７８”と低めの値となる。“７０ｍ”の距離に対するしきい値を図２の距離別のしきい値から取得すると、“０．７４”であり、ステップＳ２７の処理でスコアがしきい値を超えるため、識別結果は“歩行者”となる。正解が歩行者である物体を“歩行者”として識別しているため、識別結果は“正解”となる。これは、物体が遠距離で、物体領域が正確に取得できず、その結果スコアが下がるが、距離別のしきい値を遠方の場合は低く設定しているため、歩行者に識別できる例である。

【0046】

５行目に示す物体Ｎｏ．４、符号４５の物体は、実際の物体種別が“歩行者”であり、“８０ｍ”の遠距離にいるため物体領域の輪郭が近傍の場合に比べ不明瞭な例である。また、この例では、物体領域の解像度が低く、物体領域の輪郭が不明瞭なために、スコアが“０．７５”と低めの値が算出される。“８０ｍ”の距離に対するしきい値を図２の距離別のしきい値から取得すると、“０．７１”であり、ステップＳ２７の処理でスコアがしきい値を超えるため、識別結果は“歩行者”となる。正解が歩行者である物体を“歩行者”として識別しているため、識別結果は“正解”となる。これは、物体が遠距離で、物体領域の輪郭が不明瞭で、その結果スコアが下がるが、距離別のしきい値を遠方の場合は低く設定しているため、歩行者に正しく識別できる例である。

【0047】

［本実施形態によるスコアと識別結果の例］
上記５件の物体に対して本実施形態に係る物体識別装置２による物体認識処理を適用した結果の、スコアと識別結果の例について、図７を用いて説明する。

【0048】

図７は、物体識別装置２による物体識別処理を複数の物体に適用した場合の、距離別しきい値と、スコアと、識別結果の例を示す図である。図７において、横軸は物体との距離（ｍ）を示し、縦軸はしきい値を示す。図中、符号４１，４２，４３，４４，４５は、図５の画像３１上に同じ符号で示した物体領域との距離とスコアを示す。図７において、距離別のしきい値７１は、物体までの距離に対するしきい値を示す関数（距離別しきい値関数の一例）であり、図２に示した距離別のしきい値と同じ内容である。「▲」で示すマーカは、正解値が“歩行者”である物体領域のスコアを示す。「●」で示すマーカは、正解値が“歩行者以外”の物体領域のスコアを示す。

【0049】

正解値が“歩行者”である符号４１，４４，４５のすべてにおいて、スコアが距離別のしきい値７１を超えて、正解値が“歩行者以外”である符号４２，４３では、スコアが距離別のしきい値７１を超えない状態が、１００％正解の状態である。しかし、図７の例では、符号４２で示す、正解値が“歩行者以外”である１件のマーカが、歩行者として誤識別されている。ただし、近距離のしきい値を高く、遠距離のしきい値を低くする距離別に可変なしきい値を採用することにより、８０％の物体領域について正識別とすることができる。

【0050】

［従来技術を適用した場合のスコアと識別結果の例］
本実施形態との比較として、距離によらず一定のしきい値を用いた場合の、スコアと識別結果の例について、図８を用いて説明する。

【0051】

図８は、従来の距離によらず一定（固定）のしきい値を用いた場合の、スコアと識別結果の例を示す図である。図８において、横軸は物体との距離（ｍ）を示し、縦軸はしきい値を示す。図中、符号４１，４２，４３，４４，４５は、図５の画像３１上に同じ符号で示した物体領域との距離とスコアを示す。図８において、図７と同様に、「▲」で示すマーカは、正解値が“歩行者”である物体領域のスコアを示す。「●」で示すマーカは、正解値が“歩行者以外”の物体領域のスコアを示す。ここで、しきい値８１を“０．９”の一定値に設定した場合と、しきい値８２を“０．７９”の一定値に設定した場合と、しきい値８３を“０．７４”の一定値に設定した場合の３通りを例に挙げて説明する。

【0052】

しきい値８１のようにしきい値を高めの“０．９”に設定すると、正解が歩行者である符号４１のスコアはしきい値を超えて“歩行者”と識別するため、正解である。歩行者以外である符号４２，４３は、スコアがしきい値を超えないため“歩行者以外”と識別され、この２件も正解である。一方、遠距離にいる歩行者である符号４４，４５は、スコアがしきい値を超えないため“歩行者以外”と識別され、不正解となる。このように、一定のしきい値を高い値に設定すると、自車近傍の「歩行者」と「歩行者以外」の識別には良好に作用する。他方、歩行者であってもスコアが低くなりやすい遠距離にいる歩行者に対しては、しきい値が高いと歩行者以外と判定するため識別できなくなり、良好に作用しない。この結果、従来技術では上記５件の物体に対する正解率は６０％となり、本実施形態よりも正解率が低下する。

【0053】

また、しきい値８２のようにしきい値を中くらいの“０．７８”に設定すると、正解が歩行者である符号４１のスコアはしきい値を超えて“歩行者”と識別するため、正解である。歩行者以外である符号４２，４３も、スコアがしきい値以上となるため、“歩行者”と判定され、この２件は誤識別となる。また、遠距離の歩行者である符号４４，４５は、スコアがしきい値を超えないため“歩行者以外”と識別され、誤識別となる。このように、一定のしきい値を中途半端な値に設定すると、物体が近距離及び遠距離のどちらにあっても良好に作用しない識別結果となる。結果として、５件の物体に対する正解率は２０％となる。

【0054】

さらに、しきい値８３のようにしきい値を低めの“０．７４”に設定した場合、正解が歩行者である符号４１，４４，４５のすべてにおいてスコアがしきい値を超えて“歩行者”と識別する。一方で、正解が歩行者以外である符号４２，４３も、スコアがしきい値を超えるため、“歩行者”として誤識別する。このように、一定のしきい値を低い値に設定すると、遠方のスコアの低い歩行者に相当する物体領域を正識別とする効果はあるものの、近距離にあるスコアの高い歩行者以外の物体領域を歩行者と識別してしまう問題がある。この結果、５件の物体に対する正解率は６０％となる。

【0055】

誤識別を最小にした上で、遠距離のスコアが低くなる歩行者の物体領域も正識別とするためには、図７に示すような、近距離での値を高く、遠距離での値を低く設定したしきい値により、識別判定をすることが有効である。以上が本発明の第１の実施形態に係る物体識別装置２の構成及び動作を含めた内容である。

【0056】

以上のとおり、第１の実施形態に係る物体識別装置（物体識別装置２）は、車両に搭載された外界情報取得部（例えば、ステレオカメラ１）によって取得された車外の物体（画像上の物体領域）を含む外界情報（例えば、ステレオ画像Ｉｍ）が入力され、車両から物体までの距離を求める距離算出部（物体距離算出部２２）と、外界情報を用いて、その外界情報に含まれる物体が所定の種類である信頼度を示す識別スコアを求める識別スコア算出部（識別スコア算出部２３）と、識別スコアが予め定められたしきい値を超えた場合に、物体が当該識別スコアと対応付けられた種類であると識別する物体識別部（物体識別部２６）と、を有する。ここで、上記しきい値は、車両から物体までの距離に応じて異なる（図２）。

【0057】

上記構成の本実施形態によれば、距離別の実態に合った適切な物体識別のしきい値が設定される。それにより、車両等の移動体から物体までの距離が近傍及び遠方にかかわらず、誤識別を抑制し、物体識別の性能（精度）を向上させることができる。

【0058】

＜第２の実施形態＞
次に、本発明の第２の実施形態として、第１の実施形態に係る物体識別装置２（図１）に対して、距離別のしきい値の関数を作成する機能を設けた例について説明する。

【0059】

［物体識別装置の構成］
図９は、第２の実施形態に係る物体識別装置の構成例を示すブロック図である。図９に示す物体識別装置２Ａは、図１に示した第１の実施形態に係る物体識別装置２に対し、距離別識別方法作成部９１と、識別対象データベース（ＤＢ）９２を追加した構成である。

【0060】

追加した構成要素である距離別識別方法作成部９１についてさらに説明する。距離別識別方法作成部９１は、距離別識別方法記憶部２４に格納する距離別のしきい値の関数を算出する手段である。算出された距離別しきい値関数は、距離別識別方法として距離別識別方法記憶部２４に記憶される。

【0061】

距離別識別方法選択部２５は、物体距離算出部２２で算出された画像上の物体までの距離を、距離別識別方法記憶部２４の距離別しきい値関数に入力して得られるしきい値を取得する。そして、物体識別部２６は、識別スコア算出部２３で算出されたスコアを、距離別識別方法選択部２５で取得したしきい値と比較して、画像上の物体を識別する。

【0062】

距離別しきい値関数は、第１の実施形態で述べたように、自車から物体までが近距離では、入力画像上の物体領域の輪郭が明瞭に検出されるため、正解が歩行者である対象のスコアも高くなり、歩行者に形状の似た歩行者以外の物体もスコアが高く出る。このため、誤識別抑制のためしきい値を高く設定する。一方で、遠距離では、物体領域の輪郭が不明瞭になる、検出領域が物体領域を適切に抽出しない等の理由によって、スコアが低くなる傾向にある。このため、しきい値を低く設定する。

【0063】

近距離も遠距離も歩行者の正識別率を確保した上で、誤識別を抑制することが、距離別のしきい値を設定する目的である。そのため、距離別しきい値関数は、遠距離になるほどしきい値が小さくなる右下がりの関数であって、適切に目的を達成できるものであればどのような関数を用いてもよい。ここでは、線形関数によって距離としきい値の関係を設定するとして説明する。識別対象として、歩行者とそれ以外を識別する例で説明する。距離別に適切なしきい値を設定するため、予め取得した識別対象ＤＢ９２のデータを用いる。

【0064】

図１０は、予め取得した識別対象ＤＢ９２の構成例を示す図である。図１０には、識別対象データベース９２のフィールド（項目）の例が示されている。識別対象ＤＢ９２は、「ＩＤ」のフィールド１０１、「物体種別」のフィールド１０２、「距離」のフィールド１０３、及び「スコア」のフィールド１０４を有する。

【0065】

「ＩＤ」は、識別対象とする物体領域の画像（物体）を識別するための識別子を示す情報である。正解が歩行者である場合は、識別子の頭に符号ｐをつけた連番である。正解が歩行者以外である場合は、識別子の頭に符号ｎをつけた連番である。全体では、正解が歩行者である識別対象がＮｐ件、歩行者以外の識別対象がＮｎ件であるとする。
「物体種別」は、識別対象の物体の種別を表す情報である。
「距離」は、識別対象の物体までの距離を表す情報である。
「スコア」は、識別対象の物体のスコアを表す情報である。

【0066】

これらのデータは、実際に図３に示したフローチャートに沿って物体識別処理を実施し、一例として図４に挙げたような、様々な距離の歩行者や歩行者以外の対象を識別することにより、取得したデータである。なお、これらのデータは固定値でもよいし、物体識別処理を随時実施することにより更新した値でもよい。また、識別対象ＤＢ９２は、物体識別装置２Ａの外部かつ自車内にあってもよいし、識別対象ＤＢ９２に相当するデータを不図示の広域ネットワークを介して車外から取得するようにしてもよい。

【0067】

図１１は、物体識別装置２Ａにおいて、図１０に示したような識別対象ＤＢ９２の各要素について、距離とスコアの関係でプロットした例を示す図である。簡単のため、距離とスコアの関係を１０ｍごとのスコア分布として示している。図中、実線で示したスコア分布１１１，１１３，１１５，１１７，１１ａ，１１ｃ，１１ｅ，１１ｇは、物体種別が“歩行者”である物体のスコア分布である。破線で示したスコア分布１１２，１１４，１１６，１１８，１１ｂ，１１ｄ，１１ｆ，１１ｈは、物体種別が“歩行者以外”である物体のスコア分布である。

【0068】

２つの物体種別のスコア分布を同じ距離帯で比較すると、物体種別が歩行者の方がスコアの値は高く、歩行者以外の方がスコアの値は低いことが期待される。また、第１の実施形態で述べたように、対象が遠距離になるにつれ、画像上の物体領域の輪郭が不明瞭である、検出領域が対象領域（物体領域）を適切に抽出しないなどの理由で、スコアは相対的に低下していく傾向がある。

【0069】

スコア分布１１１～１１ｈを持つ距離とスコアの識別対象に対し、しきい値１１０のように距離に応じた可変しきい値を設定すると、図１０に示した識別対象ＤＢ９２の要素それぞれについて、フィールド１０３の「距離」に対応したしきい値が求まる。線形と仮定した場合の可変しきい値は下記の式（１）で定義できる。なお、係数ａは、本実施形態ではマイナス値である。

【0070】

しきい値＝距離×ａ＋ｂ ・・・・（１）

【0071】

図１２は、図１０に示した識別対象ＤＢ９２の各要素について、距離から取得したしきい値と、しきい値により識別した結果と、識別結果の正誤を記入した結果を示す図である。図１２に示すテーブルでは、フィールド１０１～１０４の他に、「しきい値」のフィールド１２１、「識別結果」のフィールド１２２、及び「識別結果の正誤」のフィールド１２３を有する。

【0072】

「しきい値」は、物体までの距離に対応したしきい値を表す情報である。
「識別結果」は、「スコア」と「しきい値」から識別した結果を表す情報である。
「識別結果の正誤」は、フィールド１０２の実際の「物体種別」と、フィールド１２２の「識別結果」を比較した、「識別結果」の正誤を示す情報である。

【0073】

ここまで求まれば、このデータセットに図１１に示したしきい値１１０を適用した場合の正識別率と誤識別率は、下記の式（２）と式（３）で求まる。ただし、正識別率は、正解が歩行者である物体種別を、歩行者として識別する率である。また、誤識別率は、歩行者以外である物体種別を、歩行者として識別する率である。

【0074】

正識別率＝（歩行者種別の物体のうち識別結果が正解の件数）÷Ｎｐ ・・・（２）
誤識別率＝（歩行者以外の種別のうち識別結果が不正解の件数）÷Ｎｎ ・・・（３）

【0075】

式（１）において、正識別率がある値以上で、誤識別率が最少となる係数ａと係数ｂを求めることにより、図１０の識別対象ＤＢ９２を用いて、正識別率を確保した上で誤識別が最小となるしきい値を決定することができる。識別対象として想定できる識別対象の情報を、図１０の識別対象ＤＢ９２に可能な限り入れておくことで、車両の利用実態に合った距離別しきい値を算出することができる。以上が本発明の第２の実施形態に係る物体識別装置２Ａの構成及び動作を含めた内容である。

【0076】

このように、本実施形態に係る物体識別装置（物体識別装置２Ａ）では、距離別しきい値として、正解値既知の物体の情報が距離別に保存された画像データベース（識別対象ＤＢ９２）に対して、正識別率が一定値以上で、かつ、誤識別が最小となるしきい値設定関数（例えば、しきい値１１０）が用いられ、物体識別部（物体識別部２６）は、しきい値設定関数に当該物体までの距離を入力して上記しきい値を算出する。

【0077】

また、本実施形態では、対象との距離としきい値の関係を、線形関数を用いて表した例を説明したが、必ずしもこれに限定するものでなく、これとは異なる他の、対象との距離としきい値の関係を用いることもできる。例えば、対象との距離としきい値の関係を、線形関数に代えて、上記実施形態におけるしきい値の条件を満たす非線形関数で表してもよい。また、対象との距離としきい値の関係を、テーブルやマップデータの形式で定義してもよい。

【0078】

＜第３の実施形態＞
次に、本発明の第３の実施形態として、第１の実施形態に係る物体識別装置２（図１）に対して、車両等の移動体から物体までの距離に加えて制動距離を加味してしきい値を決定する機能を備えた例について説明する。

【0079】

［物体識別装置の構成］
図１３は、第３の実施形態に係る物体識別装置の構成例を示すブロック図である。図１３に示す物体識別装置２Ｂは、図１に示した第１の実施形態に係る物体識別装置２に対し、速度検出部１３１と、路面状況検出部１３２を追加し、距離別識別方法記憶部２４を制動距離・距離別識別方法記憶部１３３に置き換え、距離別識別方法選択部２５を制動距離・距離別識別方法選択部１３４に置き換えた構成である。すなわち、本実施形態と、第１の実施形態との差分は、制動距離別に、対象との距離としきい値の関数を持つ点である。

【0080】

本発明の主要な利用形態は、車両等の移動体に搭載し、前方の衝突の危険のある識別対象を識別し、自動ブレーキをかけることである。つまり、本発明は、先進運転支援システム（Advanced Driver Assistance System：ＡＤＡＳ）や自動運転（Autonomous Driving：ＡＤ）向けの車両制御に適用して好適である。制動距離は、自車の速度や路面状況により異なる。自動ブレーキを作動させる上で重要なのは、その時々の速度や、路面状況に応じて算出できる制動距離の範囲にいる識別対象を確実に識別することである。そのため、速度検出部１３１及び路面状況検出部１３２で取得した、自車の速度及び路面状況に基づいた制動距離を算出する。そして、その制動距離の範囲で正識別率を確保した上で誤識別率を最小にする距離別しきい値を算出し、制動距離・距離別識別方法記憶部１３３に格納する。

【0081】

速度検出部１３１は、例えば、車両に搭載された車速センサを用いて構成することができる。速度検出部１３１は、検出した自車の速度の情報を制動距離・距離別識別方法選択部１３４へ出力する。

【0082】

路面状況検出部１３２は、例えば、ステレオカメラ１などから入力された自車前方の画像から、路面状況を判断する。例えば、路面状況の情報としては、路面の凹凸、隆起、濡れた状態、凍結した状態などが挙げられる。路面状況検出部１３２は、検出した路面状況の情報を制動距離・距離別識別方法選択部１３４へ出力する。

【0083】

制動距離・距離別識別方法記憶部１３３は、図１４に示すような制動距離別の、距離別しきい値が格納されている。図１４の内容については後述する。

【0084】

制動距離・距離別識別方法選択部１３４は、速度検出部１３１が検出した自車の速度と、路面状況検出部１３２が検出した路面状況とに基づいて、自車の制動距離を算出する。制動距離には、自車の重量や自動ブレーキの性能・仕様なども影響するが、これらの情報は予め準備して物体識別装置内に記憶しておくことができる。例えば、制動距離は、自車の速度、及び路面状況を入力として、制動距離を出力するように学習した機械学習モデル（図示略）により、算出することができる。機械学習モデルのパラメータには、予めその他の情報として、自車の重量や自動ブレーキの性能・仕様などを反映させておく。制動距離・距離別識別方法選択部１３４は、この機械学習モデルを用いて、自車の速度、及び路面状況から制動距離を推論する。そして、制動距離・距離別識別方法選択部１３４は、制動距離の推論値に応じたしきい値を、制動距離・距離別識別方法記憶部１３３から取得して物体識別部２６へ出力する。

【0085】

ここで、制動距離ごとの、対象との距離別の識別方法について、図１４を参照して説明する。

【0086】

図１４は、本実施形態に係る物体識別処理を複数の物体に適用した場合の、制動距離ごとの距離別しきい値と、スコアと、識別結果の例を示す図である。図１４において、横軸は物体との距離（ｍ）を示し、縦軸はしきい値を示す。図中、実線の直線（線形関数）で示されたしきい値１４１は、制動距離が“５０ｍ”の場合の、対象との距離別のしきい値である。また、破線の直線（線形関数）で示されたしきい値１４２は、制動距離が“９０ｍ”の場合の、対象との距離別のしきい値である。符号４１，４２，４３，４４，４５は、図５の画像３１上に同じ符号で示した物体領域との距離とスコアを示す。

【0087】

自車の速度が、ある速度よりも高速で、制動距離が長く“９０ｍ”のしきい値１４２の場合は、遠距離にいる歩行者を識別するために、遠距離のしきい値がより低くなるよう負の傾きが大きいしきい値を設定する。

【0088】

それに対し、自車の速度が低速で、制動距離が“５０ｍ”のしきい値１４１の場合は、５０ｍより遠くの歩行者を正識別するよりも、５０ｍより近くの歩行者を識別し、かつ歩行者以外の誤識別を抑制することを優先できるため、しきい値の負の傾きを小さくできる。

【0089】

この結果、制動距離“５０ｍ”の場合のしきい値１４１を採用すると、５０ｍより手前にいる符号４１で示された歩行者である物体は、正識別される。また、３０ｍにある符号４２で示された歩行者以外のバス停留所のスコアはしきい値以下であるので、歩行者以外であると正しく識別でき、４０ｍの距離にある符号４３で示された歩行者以外の樹木も、スコアがしきい値を超えないので歩行者以外であると正しく識別されることになる。

【0090】

以上のように、本実施形態では、距離別しきい値（図１４のしきい値１４１，１４２）は、物体までの距離及び制動距離に応じて設定される。本実施形態によれば、第１の実施形態と同様の効果に加えて、下記の効果が得られる。すなわち、本実施形態によれば、制動距離別に、距離別のしきい値を変えて、自動ブレーキの適用範囲を絞ることで、必要な範囲でより精度の高い物体識別をすることができる。

【0091】

なお、制動距離ごとの、対象との距離としきい値の関係を表すデータとして、制動距離別に、対象との距離としきい値の関係を登録したテーブルやマップデータを用意しておいてもよい。

【0092】

さらに、本実施形態では、物体までの距離と制動距離に基づいて物体識別のしきい値を設定したが、この例に限らない。例えば、制動距離は移動体の速度に大きく影響を受けるので、距離と速度に応じてしきい値を設定してもよい。

【0093】

［第３の実施形態の変形例］
また、上述の実施形態では、距離別しきい値関数（しきい値設定関数）を線形関数としたが、距離別しきい値関数を、固定しきい値と、線形の可変しきい値との組合せにより定義してもよい。以下、固定しきい値と、線形の可変しきい値との組合せによって距離別しきい値関数を定義する例について、図１５を参照して説明する。

【0094】

図１５は、第３の実施形態の変形例における、対象との距離としきい値との関係の例を示す図である。図１５上段に示すしきい値１５１は、物体との距離が近距離のときは固定しきい値とし、遠距離のときは線形の可変しきい値とする方法の例である。これは、物体との距離が近距離の場合の誤識別の抑制を強化したいときに用いるとよい。また、制動距離が短い場合の物体識別にも有効である。

【0095】

図１５中段に示すしきい値１５２は、物体との距離が近距離のときは線形の可変しきい値とし、遠距離のときは固定しきい値とする方法の例である。これは、物体との距離が遠距離であっても誤識別の抑制を強化したい場合に用いるとよい。また、制動距離が長い場合の物体識別にも有効である。なお、異なる距離別しきい値関数の遠距離同士、例えば、図１５中段におけるしきい値１５２の遠距離での固定値と、図１５下段におけるしきい値１５３の遠距離での固定値を同じとしてもよい。

【0096】

図１５下段に示すしきい値１５３は、近距離は高い固定しきい値、中距離は線形の可変しきい値、遠距離は低い固定しきい値を用いる方法の例である。これはしきい値１４１としきい値１４２の組合せで、制動距離が中程度の場合に有効である。なお、異なる距離別しきい値関数の近距離同士、すなわち、図１５上段におけるしきい値１５１の近距離での固定値と、図１５下段におけるしきい値１５３の近距離での固定値を同じとしてもよい。

【0097】

なお、物体との距離が第１距離よりも近いとき当該距離が近距離であるとし、物体との距離が第２距離（第１の距離＜第２距離）よりも遠いとき当該距離が遠距離とし、物体との距離が第１距離と第２距離の間のとき当該距離が中程度であるとする。

【0098】

このように、上述した第１～第３の実施形態に係る物体識別装置（物体識別装置２～２Ｂ）では、距離別しきい値は、物体との距離が第２距離より遠いとき（遠距離）よりも、物体との距離が第２距離よりも短い第１距離より近いとき（近距離）の方が、大きい値となるように設定される。そして、例えば、距離別しきい値関数によって、物体の識別に用いられる距離別しきい値は、線形の可変値（第１～第３の実施形態）、又は、固定値と線形の可変値との組合せ（第３の実施形態の変形例）となる。なお、距離別しきい値を、遠距離から近距離にかけて段階的に異なる値に設定してもよい。例えば、移動体から物体までの距離を遠距離、中距離、及び近距離の３段階に分けて、距離別しきい値を、遠距離では小さな値、中距離では中くらいの値、近距離では大きな値に設定する。距離を３段階ではなく４段階以上に分けてもよい。このようにした場合、上述した実施形態と比較して、距離別識別方法記憶部２４に記憶する距離別しきい値（段階的に異なるしきい値）の決定にかかる負荷を軽減できる。

【0099】

＜第４の実施形態＞
次に、本発明の第４の実施形態として、第２の実施形態に係る物体識別装置２Ａ（図９）に対して、物体の識別結果に基づいて距離別のしきい値を更新する機能を備えた例について説明する。

【0100】

図１６は、第４の実施形態に係る物体識別装置の構成例を示すブロック図である。図１６に示す物体識別装置２Ｃは、図９に示した第２の実施形態に係る物体識別装置２Ａに対し、識別条件・結果出力部１６１と、距離別識別結果記憶部１６２を追加した構成である。なお、物体識別装置２Ｃでは、図９の物体識別装置２Ａの識別対象ＤＢ９２を削除している。

【0101】

識別条件・結果出力部１６１は、物体識別部２６から識別結果と識別条件を取得して距離別識別結果記憶部１６２へ出力する。ここでは、識別条件・結果出力部１６１は、物体識別部２６で識別した識別対象（物体領域）の画像と、識別対象との距離と、スコアと、識別に用いたしきい値の各情報を出力する。

【0102】

距離別識別結果記憶部１６２は、識別条件・結果出力部１６１で出力した識別対象の画像と、識別対象との距離と、スコアと、識別に用いたしきい値の各情報を記憶する。

【0103】

距離別識別結果記憶部１６２に格納した識別対象に関する各種情報は、物体識別処理が良好に作用しているかを確認することに用いることができる。また、格納した識別対象の個々の情報に対して物体種別を付与することで、距離別識別方法作成部９１において、距離別識別結果記憶部１６２に格納した識別対象に関する各種情報（識別対象の画像、識別対象との距離、スコア）に基づいて、適切な距離別しきい値を算出することができる。距離別識別方法作成部９１は、算出した距離別しきい値（例えば、距離別しきい値関数）を距離別識別方法記憶部２４へ出力し、距離別識別方法記憶部２４に格納された距離別しきい値を更新する。

【0104】

ここで、物体種別の付与は、物体識別部２６で識別した識別対象に対し、正しい種別を付与することが目的である。そのため、物体種別の付与方法としては、例えば以下のような方法が挙げられる。

【0105】

（１）識別対象として出力された画像（物体領域の画像に相当）を、人が目視し、種別を判断して付与する。
（２）識別対象として出力された画像（物体領域の画像に相当）を、識別器（物体種別付与部）が識別して種別を付与する。この際、使用する識別器は、識別性能が人間と同等かそれ以上に高いものを使用することが望ましい。例えば、下記非特許文献１に記載のあるＲｅｓＮｅｔは、畳み込みニューラルネットワークの中でも１５２層もの深いネットワークを用いることで高次元の特徴を扱うことができる。

【0106】

（非特許文献１）
Ｋａｉｍｉｎｇ Ｈｅ， Ｘｉａｎｇｙｕ Ｚｈａｎｇ， Ｓｈａｏｑｉｎｇ Ｒｅｎ， ａｎｄ Ｊｉａｎ Ｓｕｎ． “Ｄｅｅｐ ｒｅｓｉｄｕａｌ ｌｅａｒｎｉｎｇ ｆｏｒ ｉｍａｇｅ ｒｅｃｏｇｎｉｔｉｏｎ” ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ （ＣＶＰＲ）， ２０１６．

【0107】

物体種別の付与は、距離別識別結果記憶部１６２に格納した識別対象に関する情報を、外部記憶媒体等に格納することで、車両とは異なるオフラインの環境で実施することができる。また、非特許文献１に記載したような高性能のネットワークで構成した識別器を車両（例えば、物体識別装置又は他の電子制御装置内）に搭載可能であれば、距離別識別結果記憶部１６２に格納した識別対象の画像を読み込み、識別を実施することで、実現することができる。

【0108】

以上のように、本実施形態では、個々の車両ごとに、識別条件・結果出力部１６１で出力し、及び距離別識別結果記憶部１６２に格納した識別対象に関する各種情報に対して、正しい物体種別を付与したデータセットを作成し、このデータに対して第２の実施形態に記載の距離別識別方法作成部９１により距離別しきい値を設定することができる。

【0109】

すなわち、本実施形態に係る物体識別装置は、物体識別部（物体識別部２６）で識別した物体（物体領域）の画像と、物体までの距離と、識別スコアの各情報を格納する識別結果記憶部（距離別識別結果記憶部１６２）と、その識別結果記憶部に格納された各情報により、しきい値設定関数（距離別しきい値関数）を作成する関数作成部（距離別識別方法作成部９１）と、を備えて構成されている。

【0110】

車両などの移動体は、個々の使われる地域や環境条件、使用頻度の高い速度帯等によって、識別対象の種類や、誤識別しやすい歩行者以外の物体等が異なる。本実施形態に係る物体識別装置を用いることにより、個々の車両の走行環境に適合した可変しきい値を随時更新することが可能となる。例えば、上述した本実施形態に係る物体識別装置を含むシステムの運用初期では、汎用性のある距離別しきい値が作成・使用される。一方で、移動体の利用実態は利用者ごとに、すなわち車両ごとに異なる。本実施形態に係る物体識別装置によれば、距離別しきい値は利用実態に合わせて更新される。なお、更新頻度は、一度でもよいし、定期的に又は何らかの条件を設定して、複数回更新するようにしてもよい。

【0111】

以上が本発明による物体識別装置の実施形態の例である。以上の実施形態では、識別対象として歩行者を歩行者以外と識別する例を用いたが、識別対象は歩行者を含む複数の対象であってもよい。

【0112】

また、画像上の物体との距離を算出する手段としてステレオカメラから得られた外界情報を用いる例を説明したが、外界情報取得部はステレオカメラに限らない。例えば、外界情報取得部として、単眼カメラとミリ波レーダなどを用いてもよい。

【0113】

［物体識別装置のハードウェア構成］
次に、上述した第１～第４の実施形態に係る物体識別装置２～２Ｃの制御系の構成（ハードウェア構成）について、図１７を参照して説明する。

【0114】

図１７は、第１～第４の実施形態に係る物体識別装置２～２Ｃのハードウェア構成例を示すブロック図である。図１７に示す計算機１７０は、いわゆるコンピューターとして用いられるハードウェアである。

【0115】

計算機１７０は、バスＢにそれぞれ接続されたＣＰＵ（Central Processing Unit）１７１、ＲＯＭ（Read Only Memory）１７２、ＲＡＭ（Random Access Memory）１７３、不揮発性ストレージ１７６、ネットワークインタフェース１７７を備える。

【0116】

ＣＰＵ１７１は、本実施形態に係る乗客コンベア制御システム１００の各機能を実現するソフトウェアのプログラムコードをＲＯＭ１７２から読み出してＲＡＭ１７３に展開して実行する。もしくは、ＣＰＵ１７１は、プログラムコードをＲＯＭ１７２から直接読み出してそのまま実行する。なお、計算機１７０は、ＣＰＵ１７１の代わりに、ＭＰＵ（Micro-Processing Unit）等の処理装置を備えてもよい。ＲＡＭ１７３には、ＣＰＵ１７１による演算処理の途中に発生した変数やパラメータ等が一時的に書き込まれる。物体識別装置２～２Ｃの各ブロックの機能は、ＣＰＵ１７１によって実現される。

【0117】

不揮発性ストレージ１７６としては、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、フレキシブルディスク、光ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、不揮発性のメモリカード等を用いることができる。この不揮発性ストレージ１７６には、ＯＳ（Operating System）、各種のパラメータの他に、計算機１７０を機能させるためのプログラム等が記録される。物体識別装置２～２Ｃの距離別識別方法記憶部２４、識別対象ＤＢ９２、制動距離・距離別識別方法記憶部１３３、及び制動距離・距離別識別方法選択部１３４の機能は、不揮発性ストレージ１７６によって実現される。

【0118】

なお、プログラムは、ＲＯＭ１７２に格納されてもよい。プログラムは、コンピューターが読取り可能なプログラムコードの形態で格納され、ＣＰＵ１７１は、当該プログラムコードに従った動作を逐次実行する。つまり、ＲＯＭ１７２又は不揮発性ストレージ１７６は、コンピューターによって実行されるプログラムを格納した、コンピューター読取可能な非一過性の記録媒体の一例として用いられる。

【0119】

ネットワークインタフェース１７７は、他の装置との間で行われる通信の制御を行う通信デバイス等により構成される。物体識別装置２～２Ｃの通信機能は、ネットワークインタフェース１７７によって実現される。

【0120】

以上説明した各実施形態や各種変形例はあくまで一例であり、発明の特徴が損なわれない限り、本発明はこれらの実施形態や変形例に限定されるものではない。また、上述した種々の実施形態や変形例は、本発明を分かりやすく説明するためにその構成を詳細かつ具体的に説明したものであり、必ずしも説明したすべての構成要素を備えるものに限定されない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。

【0121】

また、上記の各構成、機能、処理部等は、それらの一部又は全部を、例えば集積回路で設計するなどによりハードウェアで実現してもよい。ハードウェアとして、ＦＰＧＡ（Field Programmable Gate Array）やＡＳＩＣ（Application Specific Integrated Circuit）などの広義のプロセッサデバイスを用いてもよい。

【0122】

また、上述した実施形態にかかる物体識別装置の各構成要素は、それぞれのハードウェアがネットワークを介して互いに情報を送受信できるならば、いずれのハードウェアに実装されてもよい。また、ある処理部により実施される処理が、１つのハードウェアにより実現されてもよいし、複数のハードウェアによる分散処理により実現されてもよい。

【0123】

また、本明細書において、時系列的な処理を記述する処理ステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的、あるいは個別に実行される処理（例えば、オブジェクトによる処理）をも含むものである。また、時系列的な処理を記述する処理ステップについては、処理結果に影響を及ぼさない範囲で、処理順序を変更してもよい。

【0124】

また、上述した実施形態において、矢印や実線で示した制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしもすべての制御線や情報線を示しているとは限らない。実際には殆どすべての構成要素が相互に接続されていると考えてもよい。

【符号の説明】

【0125】

１…ステレオカメラ、 ２～２Ｃ…物体識別装置、 ２２…物体距離算出部、 ２３…識別スコア算出部、 ２６…物体識別部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】