ホーム > 特許ランキング > 株式会社豊田自動織機
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024082924
(43)【公開日】2024-06-20
(54)【発明の名称】物体検出装置
(51)【国際特許分類】
G06T 7/00 20170101AFI20240613BHJP
【ＦＩ】
G06T7/00 300D
【審査請求】未請求
【請求項の数】6
【出願形態】ＯＬ
(21)【出願番号】P 2022197142
(22)【出願日】2022-12-09
(71)【出願人】
【識別番号】000003218
【氏名又は名称】株式会社豊田自動織機
(74)【代理人】
【識別番号】100105957
【弁理士】
【氏名又は名称】恩田 誠
(74)【代理人】
【識別番号】100068755
【弁理士】
【氏名又は名称】恩田 博宣
(72)【発明者】
【氏名】岡山 健
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096AA06
5L096BA08
5L096CA04
5L096DA02
5L096EA35
5L096FA59
5L096FA69
5L096GA17
5L096GA51
5L096HA05
5L096HA08
5L096JA03
5L096JA09
(57)【要約】
【課題】物体の検出精度を向上できる物体検出装置を提供する。
【解決手段】物体検出装置は、比較用画像に対して出力された対象物体の領域を示すバウンディングボックスを記憶する。物体検出装置は、検出対象画像を取得する。物体検出装置は、検出対象画像に対して対象物体の領域の候補を示す矩形枠を複数付与する。物体検出装置は、比較用画像に対して出力されたバウンディングボックスと検出対象画像に対して付与された矩形枠との類似度の指標である類似度スコアを算出する。物体検出装置は、複数の矩形枠のうち、類似度スコアが所定の条件を満たしている矩形枠の信頼度スコアを増加させる加算処理を行う。物体検出装置は、加算処理後に、複数の矩形枠のうち、信頼度スコアが所定の信頼度閾値未満である矩形枠を削除する削除処理を行う。物体検出装置は、削除処理後に残った矩形枠を比較用画像に対するバウンディングボックスとして出力する。
【選択図】図９
【解決手段】物体検出装置は、比較用画像に対して出力された対象物体の領域を示すバウンディングボックスを記憶する。物体検出装置は、検出対象画像を取得する。物体検出装置は、検出対象画像に対して対象物体の領域の候補を示す矩形枠を複数付与する。物体検出装置は、比較用画像に対して出力されたバウンディングボックスと検出対象画像に対して付与された矩形枠との類似度の指標である類似度スコアを算出する。物体検出装置は、複数の矩形枠のうち、類似度スコアが所定の条件を満たしている矩形枠の信頼度スコアを増加させる加算処理を行う。物体検出装置は、加算処理後に、複数の矩形枠のうち、信頼度スコアが所定の信頼度閾値未満である矩形枠を削除する削除処理を行う。物体検出装置は、削除処理後に残った矩形枠を比較用画像に対するバウンディングボックスとして出力する。
【選択図】図９
【特許請求の範囲】
【請求項1】
カメラによって撮像された画像から対象物体の領域を検出する物体検出処理を行う物体検出装置であって、
前記画像である比較用画像に対して出力された前記対象物体の領域を示すバウンディングボックスを記憶する記憶部と、
前記比較用画像よりも後の時刻に撮像された前記画像である検出対象画像を取得する取得部と、
前記検出対象画像に対して前記対象物体の領域の候補を示す矩形枠を複数付与する付与部と、
前記比較用画像に対して出力された前記バウンディングボックスと前記検出対象画像に対して付与された前記矩形枠との類似度の指標である類似度スコアを算出する算出処理を行う算出部と、
複数の前記矩形枠のうち、前記類似度スコアが所定の条件を満たしている前記矩形枠の信頼度スコアを増加させる加算処理を行う加算部と、
前記加算処理後に、複数の前記矩形枠のうち、前記信頼度スコアが所定の信頼度閾値未満である前記矩形枠を削除する削除処理を行う削除部と、
前記削除処理後に残った前記矩形枠を前記比較用画像に対する前記バウンディングボックスとして出力する出力部と、
を備えることを特徴とする物体検出装置。
前記画像である比較用画像に対して出力された前記対象物体の領域を示すバウンディングボックスを記憶する記憶部と、
前記比較用画像よりも後の時刻に撮像された前記画像である検出対象画像を取得する取得部と、
前記検出対象画像に対して前記対象物体の領域の候補を示す矩形枠を複数付与する付与部と、
前記比較用画像に対して出力された前記バウンディングボックスと前記検出対象画像に対して付与された前記矩形枠との類似度の指標である類似度スコアを算出する算出処理を行う算出部と、
複数の前記矩形枠のうち、前記類似度スコアが所定の条件を満たしている前記矩形枠の信頼度スコアを増加させる加算処理を行う加算部と、
前記加算処理後に、複数の前記矩形枠のうち、前記信頼度スコアが所定の信頼度閾値未満である前記矩形枠を削除する削除処理を行う削除部と、
前記削除処理後に残った前記矩形枠を前記比較用画像に対する前記バウンディングボックスとして出力する出力部と、
を備えることを特徴とする物体検出装置。
【請求項2】
前記算出部は、
前記比較用画像に対して出力された前記バウンディングボックスの位置と前記検出対象画像に対して付与された前記矩形枠の位置との類似度の指標である位置スコア、
前記比較用画像に対して出力された前記バウンディングボックスのアスペクト比と前記検出対象画像に対して付与された前記矩形枠のアスペクト比との類似度の指標であるアスペクト比スコア、
及び前記比較用画像に対して出力された前記バウンディングボックスの面積と前記検出対象画像に対して付与された前記矩形枠の面積との類似度の指標である面積スコア
の少なくとも１つを用いて前記類似度スコアを算出する請求項１に記載の物体検出装置。
前記比較用画像に対して出力された前記バウンディングボックスの位置と前記検出対象画像に対して付与された前記矩形枠の位置との類似度の指標である位置スコア、
前記比較用画像に対して出力された前記バウンディングボックスのアスペクト比と前記検出対象画像に対して付与された前記矩形枠のアスペクト比との類似度の指標であるアスペクト比スコア、
及び前記比較用画像に対して出力された前記バウンディングボックスの面積と前記検出対象画像に対して付与された前記矩形枠の面積との類似度の指標である面積スコア
の少なくとも１つを用いて前記類似度スコアを算出する請求項１に記載の物体検出装置。
【請求項3】
前記算出部は、前記位置スコア、前記アスペクト比スコア、及び前記面積スコアの積を前記類似度スコアとする請求項２に記載の物体検出装置。
【請求項4】
前記物体検出装置は、車両に搭載されるとともに、前記車両の動作を検出する動作検出部を備え、
前記算出部は、前記動作検出部によって検出された前記車両の動作に基づいて、前記位置スコア、前記アスペクト比スコア、及び前記面積スコアの重要度を調整する請求項３に記載の物体検出装置。
前記算出部は、前記動作検出部によって検出された前記車両の動作に基づいて、前記位置スコア、前記アスペクト比スコア、及び前記面積スコアの重要度を調整する請求項３に記載の物体検出装置。
【請求項5】
前記付与部によって付与された前記複数の矩形枠について、互いに重複している２つの前記矩形枠の積集合の領域を当該２つの前記矩形枠の和集合の領域で除算することで重複割合を算出し、前記重複割合が重複割合閾値を超えている場合には、互いに重複している２つの前記矩形枠のうち前記信頼度スコアが低い方の前記矩形枠を削除するＮＭＳ処理を行うＮＭＳ処理部を備え、
前記算出部は、前記算出処理として、前記比較用画像に対して出力された前記バウンディングボックスと前記ＮＭＳ処理後の前記矩形枠との前記類似度スコアを算出する請求項１に記載の物体検出装置。
前記算出部は、前記算出処理として、前記比較用画像に対して出力された前記バウンディングボックスと前記ＮＭＳ処理後の前記矩形枠との前記類似度スコアを算出する請求項１に記載の物体検出装置。
【請求項6】
前記物体検出装置は、前記比較用画像に対して出力された前記バウンディングボックスを利用して前記検出対象画像から前記対象物体の領域を検出する高精度検出処理を繰り返し行い、
前記記憶部は、前記比較用画像に対して出力された前記バウンディングボックスの元となる前記矩形枠が、前記加算処理前の前記信頼度スコアが前記信頼度閾値未満である低信頼度矩形枠であるか、前記加算処理前の前記信頼度スコアが前記信頼度閾値以上である高信頼度矩形枠であるかを記憶しており、
前記類似度スコアが前記所定の条件を満たしている前記矩形枠が前記低信頼度矩形枠であり、かつ当該矩形枠との前記類似度スコアの算出に用いられた前記バウンディングボックスの元となる前記矩形枠が前記低信頼度矩形枠である場合を低信頼度連鎖としたとき、
前記加算部は、
複数回の前記物体検出処理に亘って前記低信頼度連鎖が連続する回数をカウントし、
カウントした前記回数に応じて前記加算処理における前記信頼度スコアの増加量を減少させる請求項１に記載の物体検出装置。
前記記憶部は、前記比較用画像に対して出力された前記バウンディングボックスの元となる前記矩形枠が、前記加算処理前の前記信頼度スコアが前記信頼度閾値未満である低信頼度矩形枠であるか、前記加算処理前の前記信頼度スコアが前記信頼度閾値以上である高信頼度矩形枠であるかを記憶しており、
前記類似度スコアが前記所定の条件を満たしている前記矩形枠が前記低信頼度矩形枠であり、かつ当該矩形枠との前記類似度スコアの算出に用いられた前記バウンディングボックスの元となる前記矩形枠が前記低信頼度矩形枠である場合を低信頼度連鎖としたとき、
前記加算部は、
複数回の前記物体検出処理に亘って前記低信頼度連鎖が連続する回数をカウントし、
カウントした前記回数に応じて前記加算処理における前記信頼度スコアの増加量を減少させる請求項１に記載の物体検出装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、物体検出装置に関する。
【背景技術】
【0002】
特許文献１には、カメラによって撮像された画像から対象物体の領域を検出する物体検出処理を行う物体検出装置が開示されている。物体検出装置は、例えば、次のように物体検出処理を行う。物体検出装置は、画像に対して対象物体の領域の候補を示す矩形枠を複数付与する。各矩形枠には、矩形枠内の物体が対象物体であることの信頼度の指標である信頼度スコアが紐付けられている。物体検出装置は、複数の矩形枠のうち、信頼度スコアが信頼度閾値未満の矩形枠を削除する削除処理を行う。物体検出装置は、削除処理後に複数の矩形枠が残っている場合、ＮＭＳ処理を行う。ＮＭＳ処理は、互いに重複する２つの矩形枠の重複割合が閾値を超えた場合、信頼度スコアの低い方の矩形枠を削除する処理である。重複割合は、互いに重複している２つの矩形枠の積集合の領域を当該２つの矩形枠の和集合の領域で除算することで算出される。そして、物体検出装置は、ＮＭＳ処理後に残った矩形枠を対象物体の領域を示すバウンディングボックスとして出力する。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０２１－１６３１２７号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
上記物体検出処理では、矩形枠内の物体が対象物体であるにも関わらず、当該矩形枠の信頼度スコアが信頼度閾値未満になることがある。この場合、当該矩形枠は、削除処理によって削除されるため、バウンディングボックスとして出力されない。すなわち、当該矩形枠内の対象物体は未検出となる。
【課題を解決するための手段】
【0005】
上記問題点を解決するための物体検出装置は、カメラによって撮像された画像から対象物体の領域を検出する物体検出処理を行う物体検出装置であって、前記画像である比較用画像に対して出力された前記対象物体の領域を示すバウンディングボックスを記憶する記憶部と、前記比較用画像よりも後の時刻に撮像された前記画像である検出対象画像を取得する取得部と、前記検出対象画像に対して前記対象物体の領域の候補を示す矩形枠を複数付与する付与部と、前記比較用画像に対して出力された前記バウンディングボックスと前記検出対象画像に対して付与された前記矩形枠との類似度の指標である類似度スコアを算出する算出処理を行う算出部と、複数の前記矩形枠のうち、前記類似度スコアが所定の条件を満たしている前記矩形枠の信頼度スコアを増加させる加算処理を行う加算部と、前記加算処理後に、複数の前記矩形枠のうち、前記信頼度スコアが所定の信頼度閾値未満である前記矩形枠を削除する削除処理を行う削除部と、前記削除処理後に残った前記矩形枠を前記比較用画像に対する前記バウンディングボックスとして出力する出力部と、を備えることを要旨とする。
【0006】
検出対象画像における対象物体の写りが比較用画像における対象物体の写りと類似しているとき、検出対象画像に対して付与された複数の矩形枠のうち、対象物体の領域を示す矩形枠は、比較用画像に対して出力されたバウンディングボックスと類似している。このため、算出部は、バウンディングボックスと矩形枠との類似度スコアを算出する。加算部は、複数の矩形枠のうち、類似度スコアが所定の条件を満たしている矩形枠の信頼度スコアを増加させることによって、バウンディングボックスと類似している矩形枠の信頼度スコアを増加させる。その後、削除部は、複数の矩形枠のうち、信頼度スコアが信頼度閾値未満である矩形枠を削除する。これにより、従来の物体検出処理では、対象物体の領域を示す矩形枠であるにも関わらず、信頼度スコアが信頼度閾値未満であることによって削除されていた矩形枠を残すことができる。このように、検出対象画像から対象物体の領域を検出する際に前回の物体検出処理の検出結果を利用することによって、対象物体の検出精度を向上できる。
【0007】
上記物体検出装置において、前記算出部は、前記比較用画像に対して出力された前記バウンディングボックスの位置と前記検出対象画像に対して付与された前記矩形枠の位置との類似度の指標である位置スコア、前記比較用画像に対して出力された前記バウンディングボックスのアスペクト比と前記検出対象画像に対して付与された前記矩形枠のアスペクト比との類似度の指標であるアスペクト比スコア、及び前記比較用画像に対して出力された前記バウンディングボックスの面積と前記検出対象画像に対して付与された前記矩形枠の面積との類似度の指標である面積スコアの少なくとも１つを用いて前記類似度スコアを算出してもよい。
【0008】
検出対象画像における対象物体の写りが比較用画像における対象物体の写りと類似している場合として、例えば、次の３つの場合が考えられる。１つ目は、比較用画像における対象物体の位置と検出対象画像における対象物体の位置とが類似している場合である。この場合、比較用画像におけるバウンディングボックスの位置と検出対象画像における対象物体の領域を示す矩形枠の位置とは類似している。２つ目は、比較用画像における対象物体の形状と検出対象画像における対象物体の形状とが類似している場合である。この場合、バウンディングボックスのアスペクト比と対象物体の領域を示す矩形枠のアスペクト比とは類似している。３つ目は、比較用画像における対象物体の大きさと検出対象画像における対象物体の大きさとが類似している場合である。この場合、バウンディングボックスの面積と対象物体の領域を示す矩形枠の面積とは類似している。
【0009】
以上のことから、算出部は、位置スコア、アスペクト比スコア、及び面積スコアの少なくとも１つを用いて類似度スコアを算出する。これにより、検出対象画像に対して付与された複数の矩形枠から、位置、アスペクト比、及び面積の少なくとも１つがバウンディングボックスと類似している矩形枠を特定しやすくなる。
【0010】
上記物体検出装置において、前記算出部は、前記位置スコア、前記アスペクト比スコア、及び前記面積スコアの積を前記類似度スコアとしてもよい。
上記構成によれば、検出対象画像に対して付与された複数の矩形枠から、位置、アスペクト比、及び面積の全てがバウンディングボックスと類似している矩形枠を特定しやすくなる。すなわち、バウンディングボックスにより類似している矩形枠を特定しやすくなる。
上記構成によれば、検出対象画像に対して付与された複数の矩形枠から、位置、アスペクト比、及び面積の全てがバウンディングボックスと類似している矩形枠を特定しやすくなる。すなわち、バウンディングボックスにより類似している矩形枠を特定しやすくなる。
【0011】
上記物体検出装置において、前記物体検出装置は、車両に搭載されるとともに、前記車両の動作を検出する動作検出部を備え、前記算出部は、前記動作検出部によって検出された前記車両の動作に基づいて、前記位置スコア、前記アスペクト比スコア、及び前記面積スコアの重要度を調整してもよい。
【0012】
上記構成によれば、物体検出装置は、車両の動作を考慮した上で類似度スコアを算出する。このため、物体検出装置は、車両の動作に応じた物体検出処理を行うことができる。したがって、対象物体の検出精度をより向上できる。
【0013】
上記物体検出装置において、前記付与部によって付与された前記複数の矩形枠について、互いに重複している２つの前記矩形枠の積集合の領域を当該２つの前記矩形枠の和集合の領域で除算することで重複割合を算出し、前記重複割合が重複割合閾値を超えている場合には、互いに重複している２つの前記矩形枠のうち前記信頼度スコアが低い方の前記矩形枠を削除するＮＭＳ処理を行うＮＭＳ処理部を備え、前記算出部は、前記算出処理として、前記比較用画像に対して出力された前記バウンディングボックスと前記ＮＭＳ処理後の前記矩形枠との前記類似度スコアを算出してもよい。
【0014】
上記構成によれば、ＮＭＳ処理によって矩形枠の数が減少するため、その後に行われる算出部による算出処理の負荷を軽減できる。
上記物体検出装置において、前記物体検出装置は、前記比較用画像に対して出力された前記バウンディングボックスを利用して前記検出対象画像から前記対象物体の領域を検出する高精度検出処理を繰り返し行い、前記記憶部は、前記比較用画像に対して出力された前記バウンディングボックスの元となる前記矩形枠が、前記加算処理前の前記信頼度スコアが前記信頼度閾値未満である低信頼度矩形枠であるか、前記加算処理前の前記信頼度スコアが前記信頼度閾値以上である高信頼度矩形枠であるかを記憶しており、前記類似度スコアが前記所定の条件を満たしている前記矩形枠が前記低信頼度矩形枠であり、かつ当該矩形枠との前記類似度スコアの算出に用いられた前記バウンディングボックスの元となる前記矩形枠が前記低信頼度矩形枠である場合を低信頼度連鎖としたとき、前記加算部は、複数回の前記物体検出処理に亘って前記低信頼度連鎖が連続する回数をカウントし、カウントした前記回数に応じて前記加算処理における前記信頼度スコアの増加量を減少させてもよい。
上記物体検出装置において、前記物体検出装置は、前記比較用画像に対して出力された前記バウンディングボックスを利用して前記検出対象画像から前記対象物体の領域を検出する高精度検出処理を繰り返し行い、前記記憶部は、前記比較用画像に対して出力された前記バウンディングボックスの元となる前記矩形枠が、前記加算処理前の前記信頼度スコアが前記信頼度閾値未満である低信頼度矩形枠であるか、前記加算処理前の前記信頼度スコアが前記信頼度閾値以上である高信頼度矩形枠であるかを記憶しており、前記類似度スコアが前記所定の条件を満たしている前記矩形枠が前記低信頼度矩形枠であり、かつ当該矩形枠との前記類似度スコアの算出に用いられた前記バウンディングボックスの元となる前記矩形枠が前記低信頼度矩形枠である場合を低信頼度連鎖としたとき、前記加算部は、複数回の前記物体検出処理に亘って前記低信頼度連鎖が連続する回数をカウントし、カウントした前記回数に応じて前記加算処理における前記信頼度スコアの増加量を減少させてもよい。
【0015】
上記構成によれば、物体検出装置は高精度検出処理を繰り返し行う。このため、前回の物体検出処理において誤検出が発生すると、前回の検出結果を利用する今回の物体検出処理でも誤検出が発生するおそれがある。また、今回の物体検出処理において誤検出が発生すると、今回の検出結果を利用する次回の物体検出処理でも誤検出が発生するおそれがある。このような誤検出の連鎖は、複数回の物体検出処理において低信頼度連鎖が連続することによって発生する。このため、加算部は、複数回の物体検出処理に亘って低信頼度連鎖が連続する回数をカウントする。そして、加算部は、カウントした回数に応じて加算処理における信頼度スコアの増加量を減少させる。これにより、誤検出の原因となり得る低信頼度矩形枠の信頼度スコアが増加されることが抑制される。したがって、誤検出の連鎖を抑制できる。
【発明の効果】
【0016】
本発明によれば、対象物体の検出精度を向上できる。
【図面の簡単な説明】
【0017】
【図1】実施形態におけるフォークリフトを示す平面図である。
【図2】実施形態におけるフォークリフトの構成を示すブロック図である。
【図3】物体検出装置の検出結果の一例を示す図である。
【図4】従来の物体検出処理を示すフローチャートである。
【図5】１フレーム目の画像の一例を示す図である。
【図6】矩形枠が付与された１フレーム目の画像を示す図である。
【図7】削除処理後の１フレーム目の画像を示す図である。
【図8】ＮＭＳ処理後の１フレーム目の画像を示す図である。
【図9】高精度検出処理を示すフローチャートである。
【図10】２フレーム目の画像の一例を示す図である。
【図11】矩形枠が付与された２フレーム目の画像を示す図である。
【図12】ＮＭＳ処理後の２フレーム目の画像を示す図である。
【図13】位置スコア、アスペクト比スコア、及び面積スコアを説明するための図である。
【図14】算出処理を説明するための図である。
【図15】削除処理後の２フレーム目の画像を示す図である。
【図16】バウンディングボックスが出力された２フレーム目の画像を示す図である。
【図17】フォークリフトが急旋回する前の比較用画像を示す図である。
【図18】フォークリフトが急旋回した後の検出対象画像を示す図である。
【図19】フォークリフトが急加速する前の比較用画像を示す図である。
【図20】フォークリフトが急加速した後の検出対象画像を示す図である。
【図21】ｎ回目の物体検出処理を示す図である。
【図22】ｎ＋１回目の物体検出処理を示す図である。
【図23】ｎ＋２回目の物体検出処理を示す図である。
【発明を実施するための形態】
【0018】
以下、物体検出装置を具体化した一実施形態を図１～図１６にしたがって説明する。本実施形態では、物体検出装置は、車両としてのフォークリフトに搭載されている。
＜フォークリフト＞
図１及び図２に示すように、フォークリフト１０は、車両本体１１と、制御ユニット１２と、カメラ１３とを備えている。車両本体１１は、車体１４と、駆動装置１５とを有している。制御ユニット１２は、車両制御装置１６と、物体検出装置１７とを有している。
＜フォークリフト＞
図１及び図２に示すように、フォークリフト１０は、車両本体１１と、制御ユニット１２と、カメラ１３とを備えている。車両本体１１は、車体１４と、駆動装置１５とを有している。制御ユニット１２は、車両制御装置１６と、物体検出装置１７とを有している。
【0019】
図１に示すように、車体１４は、ヘッドガード１４ａと４つのピラー１４ｂとを有している。ヘッドガード１４ａは、４つのピラー１４ｂに支持されている。
図２に示すように、車両制御装置１６は、プロセッサ１６ａと、記憶部１６ｂと、を備える。プロセッサ１６ａとしては、例えば、CPU（Central Processing Unit）、GPU（Graphics Processing Unit）、又はDSP（Digital Signal Processor）が用いられる。記憶部１６ｂは、RAM（Random Access Memory）及びROM（Read Only Memory）を含む。記憶部１６ｂは、処理をプロセッサ１６ａに実行させるように構成されたプログラムコードまたは指令を格納している。記憶部１６ｂ、即ち、コンピュータ可読媒体は、汎用または専用のコンピュータでアクセスできるあらゆる利用可能な媒体を含む。車両制御装置１６は、ASIC（Application Specific Integrated Circuit）やFPGA（Field Programmable Gate Array）等のハードウェア回路によって構成されていてもよい。処理回路である車両制御装置１６は、コンピュータプログラムに従って動作する１つ以上のプロセッサ、ASICやFPGA等の１つ以上のハードウェア回路、或いは、それらの組み合わせを含み得る。
図２に示すように、車両制御装置１６は、プロセッサ１６ａと、記憶部１６ｂと、を備える。プロセッサ１６ａとしては、例えば、CPU（Central Processing Unit）、GPU（Graphics Processing Unit）、又はDSP（Digital Signal Processor）が用いられる。記憶部１６ｂは、RAM（Random Access Memory）及びROM（Read Only Memory）を含む。記憶部１６ｂは、処理をプロセッサ１６ａに実行させるように構成されたプログラムコードまたは指令を格納している。記憶部１６ｂ、即ち、コンピュータ可読媒体は、汎用または専用のコンピュータでアクセスできるあらゆる利用可能な媒体を含む。車両制御装置１６は、ASIC（Application Specific Integrated Circuit）やFPGA（Field Programmable Gate Array）等のハードウェア回路によって構成されていてもよい。処理回路である車両制御装置１６は、コンピュータプログラムに従って動作する１つ以上のプロセッサ、ASICやFPGA等の１つ以上のハードウェア回路、或いは、それらの組み合わせを含み得る。
【0020】
車両制御装置１６は、駆動装置１５と接続されている。車両制御装置１６は、駆動装置１５を制御する。また、車両制御装置１６は、物体検出装置１７と接続されている。車両制御装置１６は、物体検出装置１７の検出結果に基づいて駆動装置１５を制御する。
【0021】
カメラ１３は、撮像素子を有している。撮像素子としては、ＣＣＤイメージセンサやＣＯＭＳイメージセンサを挙げることができる。カメラ１３は、ＲＧＢカメラである。カメラ１３は、赤、緑、及び青の３色のカラー信号で構成された画像を出力する。本実施形態のカメラ１３は、単眼カメラである。
【0022】
図１に示すように、カメラ１３は、ヘッドガード１４ａに対して車幅方向における両側に取り付けられている。カメラ１３は、フォークリフト１０の側方を撮像する。カメラ１３は、所定の撮像周期で繰り返し撮像を行う。
【0023】
＜物体検出装置＞
図２に示すように、物体検出装置１７は、プロセッサ１７ａと、記憶部１７ｂと、を備える。プロセッサ１７ａとしては、例えば、CPU、GPU、又はDSPが用いられる。記憶部１７ｂは、RAM及びROMを含む。記憶部１７ｂは、処理をプロセッサ１７ａに実行させるように構成されたプログラムコードまたは指令を格納している。記憶部１７ｂ、即ち、コンピュータ可読媒体は、汎用または専用のコンピュータでアクセスできるあらゆる利用可能な媒体を含む。物体検出装置１７は、ASICやFPGA等のハードウェア回路によって構成されていてもよい。処理回路である物体検出装置１７は、コンピュータプログラムに従って動作する１つ以上のプロセッサ、ASICやFPGA等の１つ以上のハードウェア回路、或いは、それらの組み合わせを含み得る。
図２に示すように、物体検出装置１７は、プロセッサ１７ａと、記憶部１７ｂと、を備える。プロセッサ１７ａとしては、例えば、CPU、GPU、又はDSPが用いられる。記憶部１７ｂは、RAM及びROMを含む。記憶部１７ｂは、処理をプロセッサ１７ａに実行させるように構成されたプログラムコードまたは指令を格納している。記憶部１７ｂ、即ち、コンピュータ可読媒体は、汎用または専用のコンピュータでアクセスできるあらゆる利用可能な媒体を含む。物体検出装置１７は、ASICやFPGA等のハードウェア回路によって構成されていてもよい。処理回路である物体検出装置１７は、コンピュータプログラムに従って動作する１つ以上のプロセッサ、ASICやFPGA等の１つ以上のハードウェア回路、或いは、それらの組み合わせを含み得る。
【0024】
物体検出装置１７は、カメラ１３によって撮像された画像から対象物体の領域を検出する物体検出処理を行う。具体的には、物体検出装置１７は、カメラ１３によって撮像された画像から物体のクラスと当該物体の領域とを検出することによって、対象物体の領域を検出する。物体のクラスは、物体検出装置１７が少なくとも対象物体を検出できるように設定されている。このため、物体のクラスは、少なくとも対象物体を含んでいる。なお、物体のクラスに複数の対象物体を設定することによって、物体検出装置１７に他クラス分類を行わせてもよい。
【0025】
図３は、カメラ１３によって撮像された画像ＩＭの一例である。図１に示すように、フォークリフト１０の側方に対象物体Ｔが存在している場合、画像ＩＭには対象物体Ｔが写り込む。本実施形態では、対象物体Ｔは人である。物体検出装置１７は、画像ＩＭに対し、対象物体Ｔの領域を示すバウンディングボックスＢを出力する。バウンディングボックスＢは、対象物体Ｔの領域を示す矩形状の枠である。
【0026】
＜物体検出処理＞
物体検出装置１７が行う物体検出処理について説明する。物体検出処理は、所定の検出周期で繰り返し行われる。検出周期は、カメラ１３の撮像周期以上の長さに設定されている。物体検出処理の処理内容は、１回目の物体検出処理と２回目以降の物体検出処理とで異なる。なお、１回目の物体検出処理とは、物体検出開始時の物体検出処理のことである。
物体検出装置１７が行う物体検出処理について説明する。物体検出処理は、所定の検出周期で繰り返し行われる。検出周期は、カメラ１３の撮像周期以上の長さに設定されている。物体検出処理の処理内容は、１回目の物体検出処理と２回目以降の物体検出処理とで異なる。なお、１回目の物体検出処理とは、物体検出開始時の物体検出処理のことである。
【0027】
まず、１回目の物体検出処理について詳述する。１回目の物体検出処理の処理内容は、従来の物体検出処理の処理内容と同じである。
図４に示すように、ステップＳ１１において、物体検出装置１７は、カメラ１３によって撮像された画像ＩＭを取得する。物体検出装置１７は、ステップＳ１１において、１フレーム目の画像ＩＭ１を取得する。
図４に示すように、ステップＳ１１において、物体検出装置１７は、カメラ１３によって撮像された画像ＩＭを取得する。物体検出装置１７は、ステップＳ１１において、１フレーム目の画像ＩＭ１を取得する。
【0028】
図５に示すように、１フレーム目の画像ＩＭ１には、２人の人Ｐ１，Ｐ２が写っている。すなわち、１フレーム目の画像ＩＭ１には、２つの対象物体Ｔが写っている。
図４に示すように、ステップＳ１２において、物体検出装置１７は、画像ＩＭに対して複数の矩形枠Ａを付与する。したがって、物体検出装置１７は、画像ＩＭに対して複数の矩形枠Ａを付与する付与部を備えている。矩形枠Ａは、画像ＩＭにおける対象物体Ｔの領域の候補を示す矩形状の枠である。矩形枠Ａには、矩形枠Ａ毎に信頼度スコアが紐付けられている。信頼度スコアとは、矩形枠Ａ内の物体が対象物体Ｔであることの信頼度の指標である。矩形枠Ａ内の物体が対象物体Ｔである確率が高いほど、信頼度スコアは高くなる。本実施形態の信頼度スコアは、矩形枠Ａ内の物体が人であることの信頼度の指標である。矩形枠Ａ内の物体が人である確率が高いほど、信頼度スコアは高くなる。
図４に示すように、ステップＳ１２において、物体検出装置１７は、画像ＩＭに対して複数の矩形枠Ａを付与する。したがって、物体検出装置１７は、画像ＩＭに対して複数の矩形枠Ａを付与する付与部を備えている。矩形枠Ａは、画像ＩＭにおける対象物体Ｔの領域の候補を示す矩形状の枠である。矩形枠Ａには、矩形枠Ａ毎に信頼度スコアが紐付けられている。信頼度スコアとは、矩形枠Ａ内の物体が対象物体Ｔであることの信頼度の指標である。矩形枠Ａ内の物体が対象物体Ｔである確率が高いほど、信頼度スコアは高くなる。本実施形態の信頼度スコアは、矩形枠Ａ内の物体が人であることの信頼度の指標である。矩形枠Ａ内の物体が人である確率が高いほど、信頼度スコアは高くなる。
【0029】
ステップＳ１２の処理は、例えば、機械学習によって学習を行った学習済みモデルを用いて行われる。学習済みモデルは、物体検出装置１７の記憶部１７ｂに記憶されている。学習済みモデルは、物体検出を行うモデルである。学習モデルとしては、例えば、faster R-CNN(Regional Convolutional Neural Network)や、YOLO(You Only Look Once)v3を挙げることができる。
【0030】
物体検出装置１７は、画像ＩＭから特徴マップを作成する。物体検出装置１７は、作成された特徴マップに対して複数のアンカーボックスを設定する。複数のアンカーボックスは、矩形状の枠である。複数のアンカーボックスは、アンカーボックス毎のアスペクト比が異なるように設定されている。物体検出装置１７は、学習済みモデルを用いて物体を含むアンカーボックスの位置及び大きさを調整することによって、複数の矩形枠Ａを付与する。
【0031】
図６に示すように、ステップＳ１２によって、１フレーム目の画像ＩＭには、多数の矩形枠Ａが付与されている。多数の矩形枠Ａには、対象物体Ｔである人の領域を示す矩形枠Ａと、人以外の物体の領域を示す矩形枠Ａとが混在している。人の領域を示す矩形枠Ａの信頼度スコアは、人以外の物体の領域を示す矩形枠Ａの信頼度スコアよりも高い。
【0032】
図４に示すように、ステップＳ１３において、物体検出装置１７は、画像ＩＭに対して付与された複数の矩形枠Ａのうち、信頼度スコアが信頼度閾値未満の矩形枠Ａを削除する削除処理を行う。したがって、物体検出装置１７は、信頼度スコアが信頼度閾値未満の矩形枠Ａを削除する削除処理を行う削除部を備えている。ステップＳ１３により、矩形枠Ａの数は減少する。
【0033】
図７に示すように、ステップＳ１３によって、１フレーム目の画像ＩＭ１に対して付与されていた多数の矩形枠Ａのうち、人以外の物体の領域を示す矩形枠Ａは削除されている。一方、人の領域を示す矩形枠Ａは、削除されることなく残っている。
【0034】
図４に示すように、ステップＳ１４において、物体検出装置１７は、ステップＳ１３の削除処理後に複数の矩形枠Ａが残っている場合、ＮＭＳ（Non Maximum Suppression）処理を行う。したがって、物体検出装置１７は、ＮＭＳ処理を行うＮＭＳ処理部を備えている。ステップＳ１４により、矩形枠Ａの数はさらに減少する。
【0035】
物体検出装置１７は、ＮＭＳ処理として次のような処理を行う。
物体検出装置１７は、重複割合を算出する。重複割合は、IoU（Intersection over Union）とも呼ばれる。IoUは、以下の（１）式で表現される。
物体検出装置１７は、重複割合を算出する。重複割合は、IoU（Intersection over Union）とも呼ばれる。IoUは、以下の（１）式で表現される。
【0036】
IoU＝(Area of intersection)/(Area of union)…（１）
Area of intersectionは、互いに重複している２つの矩形枠Ａの積集合の領域である。Area of intersectionは、２つの矩形枠Ａが互いに重なり合う部分の面積ともいえる。Area of unionは、互いに重複している２つの矩形枠Ａの和集合の領域である。Area of unionは、２つの矩形枠Ａのうち少なくともいずれかに含まれる部分の面積ともいえる。このように、重複割合は、互いに重複している２つの矩形枠Ａの積集合の領域を当該２つの矩形枠Ａの和集合の領域で除算することで算出される。物体検出装置１７は、重複割合が重複割合閾値を超えている場合には、互いに重複している２つの矩形枠Ａのうち、信頼度スコアが低い方の矩形枠Ａを削除する。
Area of intersectionは、互いに重複している２つの矩形枠Ａの積集合の領域である。Area of intersectionは、２つの矩形枠Ａが互いに重なり合う部分の面積ともいえる。Area of unionは、互いに重複している２つの矩形枠Ａの和集合の領域である。Area of unionは、２つの矩形枠Ａのうち少なくともいずれかに含まれる部分の面積ともいえる。このように、重複割合は、互いに重複している２つの矩形枠Ａの積集合の領域を当該２つの矩形枠Ａの和集合の領域で除算することで算出される。物体検出装置１７は、重複割合が重複割合閾値を超えている場合には、互いに重複している２つの矩形枠Ａのうち、信頼度スコアが低い方の矩形枠Ａを削除する。
【0037】
物体検出装置１７は、削除処理後に残った複数の矩形枠Ａの全ての組み合わせについてＮＭＳ処理を行う。これにより、複数の矩形枠Ａのうち、重複割合が閾値を超えており、かつ重複している矩形枠Ａよりも信頼度スコアが低い方の矩形枠Ａは削除される。
【0038】
図８に示すように、ステップＳ１４によって、１フレーム目の画像ＩＭ１には、人Ｐ１の領域を示す矩形枠Ａ、及び人Ｐ２の領域を示す矩形枠Ａが１つずつ残っている。
図４に示すように、ステップＳ１５において、物体検出装置１７は、ＮＭＳ処理後に残った矩形枠Ａを、対象物体Ｔの領域を示すバウンディングボックスＢとして出力する。記憶部１７ｂは、画像ＩＭに対して出力したバウンディングボックスＢを記憶する。すなわち、記憶部１７ｂは、１回目の物体検出処理の検出結果を記憶する。
図４に示すように、ステップＳ１５において、物体検出装置１７は、ＮＭＳ処理後に残った矩形枠Ａを、対象物体Ｔの領域を示すバウンディングボックスＢとして出力する。記憶部１７ｂは、画像ＩＭに対して出力したバウンディングボックスＢを記憶する。すなわち、記憶部１７ｂは、１回目の物体検出処理の検出結果を記憶する。
【0039】
図３に示すように、ステップＳ１５によって、１フレーム目の画像ＩＭ１には、２つのバウンディングボックスＢが出力される。２つのバウンディングボックスＢのうち、一方のバウンディングボックスＢを第１バウンディングボックスＢ１とし、他方のバウンディングボックスＢを第２バウンディングボックスＢ２とする。第１バウンディングボックスＢ１は、人Ｐ１の領域を示している。第２バウンディングボックスＢ２は、人Ｐ２の領域を示している。
【0040】
次に、２回目以降の物体検出処理について説明する。２回目以降の物体検出処理は、高精度検出処理である。高精度検出処理とは、ｎフレーム目の画像ＩＭに対して出力されたバウンディングボックスＢを利用して、ｎ＋１フレーム目の画像ＩＭから対象物体Ｔの領域を検出する処理である。以下では、ｎフレーム目の画像ＩＭを比較用画像ＩＭｐという。ｎ＋１フレーム目の画像ＩＭを検出対象画像ＩＭｃという。検出対象画像ＩＭｃは、比較用画像ＩＭｐよりも後の時刻に撮像された画像ＩＭである。言い換えると、比較用画像ＩＭｐは、検出対象画像ＩＭｃよりも前の時刻に撮像された画像ＩＭである。
【0041】
例えば、２回目の物体検出処理では、１フレーム目の画像ＩＭ１に対して出力されたバウンディングボックスＢを利用して、２フレーム目の画像ＩＭ２から対象物体Ｔの領域を検出する。この場合、１フレーム目の画像ＩＭ１は、比較用画像ＩＭｐである。２フレーム目の画像ＩＭ２は、検出対象画像ＩＭｃである。
【0042】
例えば、３回目の物体検出処理では、２フレーム目の画像ＩＭ２に対して出力されたバウンディングボックスＢを利用して、３フレーム目の画像ＩＭ３から対象物体Ｔの領域を検出する。この場合、２フレーム目の画像ＩＭ２は、比較用画像ＩＭｐである。３フレーム目の画像ＩＭ３は、検出対象画像ＩＭｃである。
【0043】
以下では、高精度検出処理について２回目の物体検出処理を例に詳述するが、３回目以降の物体検出処理でも同様の処理が行われる。
図９に示すように、ステップＳ２１において、物体検出装置１７は、カメラ１３によって撮像された画像ＩＭを取得する。物体検出装置１７は、ステップＳ２１において、検出対象画像ＩＭｃを取得する。したがって、物体検出装置１７は、検出対象画像ＩＭｃを取得する取得部である。
図９に示すように、ステップＳ２１において、物体検出装置１７は、カメラ１３によって撮像された画像ＩＭを取得する。物体検出装置１７は、ステップＳ２１において、検出対象画像ＩＭｃを取得する。したがって、物体検出装置１７は、検出対象画像ＩＭｃを取得する取得部である。
【0044】
図１０に示すように、２回目の物体検出処理では、物体検出装置１７は、検出対象画像ＩＭｃとして２フレーム目の画像ＩＭ２を取得する。２フレーム目の画像ＩＭ２は、１フレーム目の画像ＩＭ１よりも後の時刻に撮像された画像ＩＭである。２フレーム目の画像ＩＭ２にも、１フレーム目の画像ＩＭ１と同様、２人の人Ｐ１，Ｐ２が写っている。なお、図１０では、２フレーム目の画像ＩＭ２に対して、１フレーム目の画像ＩＭ１に写る２人の人Ｐ１，Ｐ２を二点鎖線で図示している。
【0045】
カメラ１３の撮像周期が短く、かつカメラ１３と対象物体Ｔとの相対速度が小さいとき、画像ＩＭにおける対象物体Ｔの写りは、比較用画像ＩＭｐと検出対象画像ＩＭｃとで大きく変化しないはずである。ここで、対象物体Ｔの写りとは、例えば、画像ＩＭに写る対象物体Ｔの位置、形状、及び大きさである。すなわち、カメラ１３の撮像周期が短く、かつカメラ１３と対象物体Ｔとの相対速度が小さいとき、画像ＩＭに写る対象物体Ｔの位置、形状、及び大きさは、比較用画像ＩＭｐと検出対象画像ＩＭｃとで大きく変化しないはずである。
【0046】
本実施形態では、１フレーム目の画像ＩＭ１の撮像時刻と２フレーム目の画像ＩＭ２の撮像時刻との撮像間隔が短く、かつカメラ１３が取り付けられたフォークリフト１０と人Ｐ１，Ｐ２との相対速度が小さい。このため、２フレーム目の画像ＩＭ２における人Ｐ１，Ｐ２の位置、形状、及び大きさは、１フレーム目の画像ＩＭ１における人Ｐ１，Ｐ２の位置、形状、及び大きさから大きく変化していない。
【0047】
図９に示すように、ステップＳ２２において、物体検出装置１７は、検出対象画像ＩＭｃに対して複数の矩形枠Ａを付与する。なお、ステップＳ２２の処理は、ステップＳ１２の処理と同じ処理であるため、詳細な説明は省略する。
【0048】
図１１に示すように、２回目の物体検出処理では、物体検出装置１７は、２フレーム目の画像ＩＭ２に対して複数の矩形枠Ａを付与する。
図９に示すように、ステップＳ２３において、物体検出装置１７は、検出対象画像ＩＭｃに対して付与された複数の矩形枠ＡについてＮＭＳ処理を行う。なお、ステップＳ２３の処理は、ステップＳ１４の処理と同じ処理であるため、詳細な説明は省略する。
図９に示すように、ステップＳ２３において、物体検出装置１７は、検出対象画像ＩＭｃに対して付与された複数の矩形枠ＡについてＮＭＳ処理を行う。なお、ステップＳ２３の処理は、ステップＳ１４の処理と同じ処理であるため、詳細な説明は省略する。
【0049】
図１２に示すように、２回目の物体検出処理では、物体検出装置１７は、２フレーム目の画像ＩＭ２に対して付与された複数の矩形枠ＡについてＮＭＳ処理を行う。ＮＭＳ処理後の複数の矩形枠Ａには、人の領域を示す矩形枠Ａと、人以外の物体の領域を示す矩形枠Ａとが混在している。人の領域を示す矩形枠Ａは、２つ存在している。人の領域を示す２つの矩形枠Ａのうち、一方の矩形枠Ａを第１矩形枠Ａ１とし、他方の矩形枠Ａを第２矩形枠Ａ２とする。第１矩形枠Ａ１は、人Ｐ１の領域を示す矩形枠Ａである。第２矩形枠Ａ２は、人Ｐ２の領域を示す矩形枠Ａである。
【0050】
第１矩形枠Ａ１の信頼度スコアは、信頼度閾値以上である。第２矩形枠Ａ２の信頼度スコアは、信頼度閾値未満である。なお、第２矩形枠Ａ２は人の領域を示す矩形枠Ａであるため、本来、第２矩形枠Ａ２の信頼度スコアは信頼度閾値以上になるはずであるが、何らかの理由によって信頼度閾値未満になっている。第１矩形枠Ａ１及び第２矩形枠Ａ２以外の他の矩形枠Ａの信頼度スコアは、信頼度閾値未満である。
【0051】
図９に示すように、ステップＳ２４において、物体検出装置１７は、比較用画像ＩＭｐに対して出力されたバウンディングボックスＢと、検出対象画像ＩＭｃに対して付与された矩形枠Ａとの類似度の指標である類似度スコアを算出する。したがって、物体検出装置１７は、比較用画像ＩＭｐに対して出力されたバウンディングボックスＢと、検出対象画像ＩＭｃに対して付与された矩形枠Ａとの類似度の指標である類似度スコアを算出する算出部を備えている。比較用画像ＩＭｐに対して出力されたバウンディングボックスＢと検出対象画像ＩＭｃに付与された矩形枠Ａとが類似しているほど、類似度スコアは高くなる。
【0052】
物体検出装置１７は、比較用画像ＩＭｐに対して出力されたバウンディングボックスＢと、検出対象画像ＩＭｃに対して付与された矩形枠Ａとの全ての組み合わせについて、類似度スコアを算出する。すなわち、比較用画像ＩＭｐに対して出力されたバウンディングボックスＢの数がＭ個であり、検出対象画像ＩＭｃに対して付与されている矩形枠Ａの数がＮ個であるとき、物体検出装置１７が算出する類似度スコアの数はＭ×Ｎ個となる。
【0053】
２回目の物体検出処理では、物体検出装置１７は、１フレーム目の画像ＩＭ１に対して出力された２つのバウンディングボックスＢのそれぞれと、２フレーム目の画像ＩＭ２に対して付与された矩形枠Ａのうち、ＮＭＳ処理後に残った複数の矩形枠Ａのそれぞれとの類似度スコアを算出する。
【0054】
本実施形態では、類似度スコアをＲとしたとき、Ｒは以下の（２）式で表現される。
Ｒ＝Ｒｄα×Ｒａβ×Ｒｓγ…（２）
Ｒｄは位置スコアである。Ｒａはアスペクト比スコアである。Ｒｓは面積スコアである。位置スコア、アスペクト比スコア、及び面積スコアについては後述する。αは、位置スコアの重要度を調整するための０以上の係数である。位置スコアの重要度が高いほど、αは大きな値に設定される。βは、アスペクト比スコアの重要度を調整するための０以上の係数である。アスペクト比スコアの重要度が高いほど、βは大きな値に設定される。γは、面積スコアの重要度を調整するための０以上の係数である。面積スコアの重要度が高いほど、γは大きな値に設定される。
Ｒ＝Ｒｄα×Ｒａβ×Ｒｓγ…（２）
Ｒｄは位置スコアである。Ｒａはアスペクト比スコアである。Ｒｓは面積スコアである。位置スコア、アスペクト比スコア、及び面積スコアについては後述する。αは、位置スコアの重要度を調整するための０以上の係数である。位置スコアの重要度が高いほど、αは大きな値に設定される。βは、アスペクト比スコアの重要度を調整するための０以上の係数である。アスペクト比スコアの重要度が高いほど、βは大きな値に設定される。γは、面積スコアの重要度を調整するための０以上の係数である。面積スコアの重要度が高いほど、γは大きな値に設定される。
【0055】
位置スコアは、比較用画像ＩＭｐにおけるバウンディングボックスＢの位置と検出対象画像ＩＭｃにおける矩形枠Ａの位置との類似度の指標である。比較用画像ＩＭｐにおけるバウンディングボックスＢの位置と検出対象画像ＩＭｃにおける矩形枠Ａの位置とが類似しているほど、位置スコアは高くなる。位置スコアは、取り得る値が０～１となるように正規化されている。
【0056】
位置スコアをＲｄとしたとき、Ｒｄは、例えば、以下の（３）式で表される。
Ｒｄ＝１－ｄ２／ｃ２…（３）
図１３に示すように、ｄは、バウンディングボックスＢの中心Ｃｐと矩形枠Ａの中心Ｃｃとの距離である。ｃは、バウンディングボックスＢ及び矩形枠Ａを含む最小の矩形Ｄの対角線の長さである。
Ｒｄ＝１－ｄ２／ｃ２…（３）
図１３に示すように、ｄは、バウンディングボックスＢの中心Ｃｐと矩形枠Ａの中心Ｃｃとの距離である。ｃは、バウンディングボックスＢ及び矩形枠Ａを含む最小の矩形Ｄの対角線の長さである。
【0057】
アスペクト比スコアは、バウンディングボックスＢのアスペクト比Ａｐと矩形枠Ａのアスペクト比Ａｃとの類似度の指標である。バウンディングボックスＢのアスペクト比Ａｐと矩形枠Ａのアスペクト比Ａｃとが類似しているほど、アスペクト比スコアは高くなる。アスペクト比スコアは、取り得る値が０～１となるように正規化されている。
【0058】
アスペクト比スコアをＲａとしたとき、Ｒａは、例えば、以下の（４）式で表される。
Ｒａ＝１－｜Ａｃ－Ａｐ｜…（４）
Ａｐは、Ｓｐ／Ｌｐで表される。バウンディングボックスＢの幅をＷｐとする。バウンディングボックスＢの高さをＨｐとする。Ｌｐは、Ｗｐ，Ｈｐのうち、大きい方の値である。Ｓｐは、Ｗｐ，Ｈｐのうち、小さい方の値である。例えば、Ｗｐ＞Ｈｐの場合、Ｌｐ＝Ｗｐ、Ｓｐ＝Ｈｐである。Ｗｐ＜Ｈｐの場合、Ｌｐ＝Ｈｐ、Ｓｐ＝Ｗｐである。
Ｒａ＝１－｜Ａｃ－Ａｐ｜…（４）
Ａｐは、Ｓｐ／Ｌｐで表される。バウンディングボックスＢの幅をＷｐとする。バウンディングボックスＢの高さをＨｐとする。Ｌｐは、Ｗｐ，Ｈｐのうち、大きい方の値である。Ｓｐは、Ｗｐ，Ｈｐのうち、小さい方の値である。例えば、Ｗｐ＞Ｈｐの場合、Ｌｐ＝Ｗｐ、Ｓｐ＝Ｈｐである。Ｗｐ＜Ｈｐの場合、Ｌｐ＝Ｈｐ、Ｓｐ＝Ｗｐである。
【0059】
Ａｃは、Ｓｃ／Ｌｃで表される。矩形枠Ａの幅をＷｃとする。矩形枠Ａの高さをＨｃとする。Ｌｃは、Ｗｃ，Ｈｃのうち、大きい方の値である。Ｓｃは、Ｗｃ，Ｈｃのうち、小さい方の値である。例えば、Ｗｃ＞Ｈｃの場合、Ｌｃ＝Ｗｃ、Ｓｃ＝Ｈｃである。Ｗｃ＜Ｈｃの場合、Ｌｃ＝Ｈｃ、Ｓｃ＝Ｗｃである。
【0060】
面積スコアは、バウンディングボックスＢの面積Ｓｐと矩形枠Ａの面積Ｓｃとの類似度の指標である。バウンディングボックスＢの面積Ｓｐは、Ｈｐ×Ｗｐで表される。矩形枠Ａの面積Ｓｃは、Ｈｃ×Ｗｃで表される。バウンディングボックスＢの面積Ｓｐと矩形枠Ａの面積Ｓｃとが類似しているほど、面積スコアは大きくなる。面積スコアは、取り得る値が０～１となるように正規化されている。
【0061】
面積スコアをＲｓとしたとき、Ｒｓは、例えば、以下の（５）式で表される。
Ｒｓ＝Ｓｓ／Ｓｌ…（５）
Ｓｌは、Ｓｐ，Ｓｃのうち、大きい方の値である。Ｓｓは、Ｓｐ，Ｓｃのうち、小さい方の値である。例えば、Ｓｐ＞Ｓｃの場合、Ｓｌ＝Ｓｐ、Ｓｓ＝Ｓｃである。Ｓｐ＜Ｓｃの場合、Ｓｌ＝Ｓｃ、Ｓｓ＝Ｓｐである。
Ｒｓ＝Ｓｓ／Ｓｌ…（５）
Ｓｌは、Ｓｐ，Ｓｃのうち、大きい方の値である。Ｓｓは、Ｓｐ，Ｓｃのうち、小さい方の値である。例えば、Ｓｐ＞Ｓｃの場合、Ｓｌ＝Ｓｐ、Ｓｓ＝Ｓｃである。Ｓｐ＜Ｓｃの場合、Ｓｌ＝Ｓｃ、Ｓｓ＝Ｓｐである。
【0062】
図１４に示すように、２回目の物体検出処理では、複数の矩形枠Ａのうち、第１矩形枠Ａ１が第１バウンディングボックスＢ１と最も類似している。したがって、第１バウンディングボックスＢ１と各矩形枠Ａとの類似度スコアのうち、第１バウンディングボックスＢ１と第１矩形枠Ａ１との類似度スコアが最も高くなる。また、複数の矩形枠Ａのうち、第２矩形枠Ａ２が第２バウンディングボックスＢ２と最も類似している。したがって、第２バウンディングボックスＢ２と各矩形枠Ａとの類似度スコアのうち、第２バウンディングボックスＢ２と第２矩形枠Ａ２との類似度スコアが最も高くなる。
【0063】
図９に示すように、ステップＳ２５において、物体検出装置１７は、複数の矩形枠Ａのうち、類似度スコアが所定の条件を満たしている矩形枠Ａの信頼度スコアを増加させる加算処理を行う。したがって、物体検出装置１７は、類似度スコアが所定の条件を満たしている矩形枠Ａの信頼度スコアを増加させる加算処理を行う加算部を備えている。
【0064】
本実施形態では、物体検出装置１７は、複数の矩形枠Ａのうち、類似度スコアが最も高く、かつ類似度スコアが類似度閾値以上である矩形枠Ａの信頼度スコアを増加させる。したがって、本実施形態の所定の条件とは、類似度スコアが最も高いこと、及び類似度スコアが類似度閾値以上であることである。信頼度スコアの増加量は、加算処理後の信頼度スコアが信頼度閾値以上となるように設定されている。
【0065】
上述したように、図１３に示す２回目の物体検出処理では、第１バウンディングボックスＢ１と各矩形枠Ａとの類似度スコアのうち、第１バウンディングボックスＢ１と第１矩形枠Ａ１との類似度スコアが最も高くなる。また、第１バウンディングボックスＢ１と第１矩形枠Ａ１との類似度スコアは、類似度閾値以上である。したがって、物体検出装置１７は、第１矩形枠Ａ１の信頼度スコアを増加させる。これにより、加算処理前から信頼度閾値以上であった第１矩形枠Ａ１の信頼度スコアは、加算処理によってさらに高いスコアになる。
【0066】
また、第２バウンディングボックスＢ２と各矩形枠Ａとの類似度スコアのうち、第２バウンディングボックスＢ２と第２矩形枠Ａ２との類似度スコアが最も高くなる。また、第２バウンディングボックスＢ２と第２矩形枠Ａ２との類似度スコアは、類似度閾値以上である。したがって、物体検出装置１７は、第２矩形枠Ａ２の信頼度スコアを増加させる。これにより、加算処理前には信頼度閾値未満であった第２矩形枠Ａ２の信頼度スコアは、加算処理によって信頼度閾値以上になる。
【0067】
図９に示すように、ステップＳ２６において、物体検出装置１７は、検出対象画像ＩＭｃに対して付与された複数の矩形枠Ａのうち、信頼度スコアが信頼度閾値未満である矩形枠Ａを削除する。なお、ステップＳ２６の処理は、ステップＳ１３の処理と同じ処理であるため、詳細な説明は省略する。
【0068】
図１５に示すように、２回目の物体検出処理では、物体検出装置１７は、２フレーム目の画像ＩＭ２に対して付与された矩形枠Ａのうち、ＮＭＳ処理後に残った複数の矩形枠Ａから、信頼度スコアが信頼度閾値未満である矩形枠Ａを削除する。複数の矩形枠Ａのうち、第１矩形枠Ａ１及び第２矩形枠Ａ２の信頼度スコアは信頼度閾値以上であるため、削除されない。一方、複数の矩形枠Ａのうち、第１矩形枠Ａ１及び第２矩形枠Ａ２以外の矩形枠Ａの信頼度スコアは信頼度閾値未満であるため、削除される。したがって、第１矩形枠Ａ１及び第２矩形枠Ａ２のみが残る。
【0069】
図９に示すように、ステップＳ２７において、物体検出装置１７は、ステップＳ２６の削除処理によって削除されることなく残った矩形枠Ａを、検出対象画像ＩＭｃに対するバウンディングボックスＢとして出力する。物体検出装置１７の記憶部１７ｂは、比較用画像ＩＭｐに対するバウンディングボックスＢの出力結果を記憶する。すなわち、物体検出装置１７の記憶部１７ｂは、今回の物体検出処理の検出結果を記憶する。なお、ステップＳ２７の処理は、ステップＳ１５の処理と同じ処理であるため、詳細な説明は省略する。
【0070】
図１５及び図１６に示すように、２回目の物体検出処理では、物体検出装置１７は、削除処理によって削除されることなく残った第１矩形枠Ａ１及び第２矩形枠Ａ２を、２フレーム目の画像ＩＭ２に対するバウンディングボックスＢとして出力する。物体検出装置１７は、２フレーム目の画像ＩＭ２に対するバウンディングボックスＢの出力結果を記憶する。すなわち、物体検出装置１７は、２回目の物体検出処理の検出結果を記憶する。
【0071】
［本実施形態の作用］
本実施形態の作用を説明する。
第２矩形枠Ａ２は、対象物体Ｔである人Ｐ２の領域を示す矩形枠Ａであるため、バウンディングボックスＢとして出力されるべき矩形枠Ａである。しかしながら、加算処理前の第２矩形枠Ａ２の信頼度スコアは信頼度閾値よりも低い。このため、従来の物体検出処理の場合、第２矩形枠Ａ２は削除されてしまう。
本実施形態の作用を説明する。
第２矩形枠Ａ２は、対象物体Ｔである人Ｐ２の領域を示す矩形枠Ａであるため、バウンディングボックスＢとして出力されるべき矩形枠Ａである。しかしながら、加算処理前の第２矩形枠Ａ２の信頼度スコアは信頼度閾値よりも低い。このため、従来の物体検出処理の場合、第２矩形枠Ａ２は削除されてしまう。
【0072】
２フレーム目の画像ＩＭ２における人Ｐ２の写りは、１フレーム目の画像ＩＭ１における人Ｐ２の写りと類似している。したがって、１フレーム目の画像ＩＭ１に対して出力された第２バウンディングボックスＢ２と２フレーム目の画像ＩＭ２に対して付与された第２矩形枠Ａ２とは類似しているはずである。すなわち、第２バウンディングボックスＢ２と第２矩形枠Ａ２との類似度スコアは高くなるはずである。
【0073】
このため、本実施形態の物体検出装置１７は、第２バウンディングボックスＢ２と各矩形枠Ａとの類似度スコアを算出する。物体検出装置１７は、複数の矩形枠Ａのうち、第２バウンディングボックスＢ２との類似度スコアが最も高く、かつ類似度閾値以上である第２矩形枠Ａ２の信頼度スコアを増加させる。これにより、第２バウンディングボックスＢ２と類似している第２矩形枠Ａ２の信頼度スコアは増加する。その後、物体検出装置１７は、複数の矩形枠Ａのうち、信頼度スコアが信頼度閾値未満である矩形枠Ａを削除する。これにより、従来の物体検出処理では、削除されていた第２矩形枠Ａ２を残すことができる。
【0074】
［本実施形態の効果］
本実施形態の効果を説明する。
（１）検出対象画像ＩＭｃにおける対象物体Ｔの写りが比較用画像ＩＭｐにおける対象物体Ｔの写りと類似しているとき、検出対象画像ＩＭｃに対して付与された複数の矩形枠Ａのうち、対象物体Ｔの領域を示す矩形枠Ａは、比較用画像ＩＭｐに対して出力されたバウンディングボックスＢと類似している。このため、物体検出装置１７は、バウンディングボックスＢと矩形枠Ａとの類似度スコアを算出する。物体検出装置１７は、複数の矩形枠Ａのうち、類似度スコアが最も高く、かつ類似度閾値以上である矩形枠Ａの信頼度スコアを増加させることによって、バウンディングボックスＢと類似している矩形枠Ａの信頼度スコアを増加させる。その後、物体検出装置１７は、複数の矩形枠Ａのうち、信頼度スコアが信頼度閾値未満である矩形枠Ａを削除する。これにより、従来の物体検出処理では、対象物体Ｔの領域を示す矩形枠Ａであるにも関わらず、信頼度スコアが信頼度閾値未満であることによって削除されていた矩形枠Ａを残すことができる。このように、検出対象画像ＩＭｃから対象物体Ｔの領域を検出する際に前回の物体検出処理の検出結果を利用することによって、対象物体Ｔの検出精度を向上できる。
本実施形態の効果を説明する。
（１）検出対象画像ＩＭｃにおける対象物体Ｔの写りが比較用画像ＩＭｐにおける対象物体Ｔの写りと類似しているとき、検出対象画像ＩＭｃに対して付与された複数の矩形枠Ａのうち、対象物体Ｔの領域を示す矩形枠Ａは、比較用画像ＩＭｐに対して出力されたバウンディングボックスＢと類似している。このため、物体検出装置１７は、バウンディングボックスＢと矩形枠Ａとの類似度スコアを算出する。物体検出装置１７は、複数の矩形枠Ａのうち、類似度スコアが最も高く、かつ類似度閾値以上である矩形枠Ａの信頼度スコアを増加させることによって、バウンディングボックスＢと類似している矩形枠Ａの信頼度スコアを増加させる。その後、物体検出装置１７は、複数の矩形枠Ａのうち、信頼度スコアが信頼度閾値未満である矩形枠Ａを削除する。これにより、従来の物体検出処理では、対象物体Ｔの領域を示す矩形枠Ａであるにも関わらず、信頼度スコアが信頼度閾値未満であることによって削除されていた矩形枠Ａを残すことができる。このように、検出対象画像ＩＭｃから対象物体Ｔの領域を検出する際に前回の物体検出処理の検出結果を利用することによって、対象物体Ｔの検出精度を向上できる。
【0075】
（２）検出対象画像ＩＭｃにおける対象物体Ｔの写りが比較用画像ＩＭｐにおける対象物体Ｔの写りと類似している場合として、例えば、次の３つの場合が考えられる。１つ目は、比較用画像ＩＭｐにおける対象物体Ｔの位置と検出対象画像ＩＭｃにおける対象物体Ｔの位置とが類似している場合である。この場合、バウンディングボックスＢの位置と対象物体Ｔの領域を示す矩形枠Ａの位置とは類似している。２つ目は、比較用画像ＩＭｐにおける対象物体Ｔの形状と検出対象画像ＩＭｃにおける対象物体Ｔの形状とが類似している場合である。この場合、バウンディングボックスＢのアスペクト比Ａｐと対象物体Ｔの領域を示す矩形枠Ａのアスペクト比Ａｃとは類似している。３つ目は、比較用画像ＩＭｐにおける対象物体Ｔの大きさと検出対象画像ＩＭｃにおける対象物体Ｔの大きさとが類似している場合である。この場合、バウンディングボックスＢの面積Ｓｐと対象物体Ｔの領域を示す矩形枠Ａの面積Ｓｃとは類似している。
【0076】
以上のことから、物体検出装置１７は、位置スコア、アスペクト比スコア、及び面積スコアを用いて類似度スコアを算出する。これにより、検出対象画像ＩＭｃに対して付与された複数の矩形枠Ａから、位置、アスペクト比、及び面積がバウンディングボックスＢと類似している矩形枠Ａを特定しやすくなる。
【0077】
（３）物体検出装置１７は、位置スコア、アスペクト比スコア、及び面積スコアの積を類似度スコアとする。この構成によれば、検出対象画像ＩＭｃに対して付与された複数の矩形枠Ａから、位置、アスペクト比、及び面積の全てがバウンディングボックスＢと類似している矩形枠Ａを特定しやすくなる。すなわち、バウンディングボックスＢにより類似している矩形枠Ａを特定しやすくなる。
【0078】
（４）物体検出装置１７は、検出対象画像ＩＭｃに対して付与された複数の矩形枠ＡについてＮＭＳ処理を行う。物体検出装置１７は、算出処理として、比較用画像ＩＭｐに対して出力されたバウンディングボックスＢとＮＭＳ処理後の矩形枠Ａとの類似度スコアを算出する。この構成によれば、ＮＭＳ処理によって矩形枠Ａの数が減少するため、その後に行われる算出処理の負荷を軽減できる。
【0079】
（５）高精度検出処理のうち、ステップＳ２２、ステップＳ２３、ステップＳ２６は、従来の物体検出処理でも行われている処理である。したがって、高精度検出処理を採用しやすい。
【0080】
（６）フォークリフト１０の車両制御装置１６は、物体検出装置１７の検出結果に基づいて駆動装置１５を制御する。この場合、対象物体Ｔの未検出が発生すると、車両制御装置１６による駆動装置１５の制御に遅れが生じるおそれがあるため、対象物体Ｔを常時検出することが求められる。したがって、本実施形態の物体検出装置１７によって対象物体Ｔの検出精度を向上させることが特に効果的である。
【0081】
（７）物体検出装置１７が従来の物体検出処理に加えて算出処理及び加算処理といった軽い処理を行うことによって、対象物体Ｔの検出精度を向上させることができる。したがって、例えば、オプティカルフロー等の重い処理によって対象物体Ｔの検出精度を向上する場合よりも検出間隔を短くすることができる。
【0082】
（８）対象物体Ｔの未検出の少なさの指標である再現率を高くする方法として、例えば、従来の物体検出処理において信頼度閾値を下げることが考えられる。この場合、対象物体Ｔの領域を示す矩形枠Ａの信頼度スコアが低くなっても削除されにくくなる。しかしながら、対象物体Ｔではない他の物体の領域を示す矩形枠Ａも削除されにくくなることによって、誤検出の少なさの指標である適合率は低下する。これに対し、本実施形態では、信頼度閾値を変更しなくても、対象物体Ｔの領域を示す矩形枠Ａが削除されないようにすることができる。よって、適合率の低下を抑制しつつ再現率を高めることができる。
【0083】
［変更例］
なお、上記実施形態は、以下のように変更して実施できる。上記実施形態及び以下の変更例は、技術的に矛盾しない範囲で互いに組み合わせて実施できる。
なお、上記実施形態は、以下のように変更して実施できる。上記実施形態及び以下の変更例は、技術的に矛盾しない範囲で互いに組み合わせて実施できる。
【0084】
○ 上記実施形態の類似度スコアの式は一例である。類似度スコアの式は、バウンディングボックスＢと矩形枠Ａとが類似しているほど、類似度スコアが高くなるような式であれば、適宜変更されてもよい。
【0085】
類似度スコアは、位置スコア、アスペクト比スコア、及び面積スコアの積でなくてもよい。類似度スコアは、例えば、位置スコア、アスペクト比スコア、及び面積スコアの和であってもよい。すなわち、Ｒ＝Ｒｄ＋Ｒａ＋Ｒｓであってもよい。
【0086】
類似度スコアの算出に用いられるスコアの種類は、３種類でなくてもよい。類似度スコアの算出に用いられるスコアの種類は、１種類、２種類、又は４種類以上であってもよい。例えば、類似度スコアが位置スコア、アスペクト比スコア、及び面積スコアの少なくとも１つを用いて算出される場合、上記実施形態の（２）と同様の効果を得ることができる。なお、「位置スコア、アスペクト比スコア、及び面積スコアの少なくとも１つ」とは、位置スコア、アスペクト比スコア、及び面積スコアのうちの「１つのみ」又は「２つ以上の任意の組み合わせ」を意味する。
【0087】
類似度スコアの算出に用いられるスコアは、位置スコア、アスペクト比スコア、及び面積スコアに限定されない。類似度スコアの算出に用いられる他のスコアとしては、例えば、角度スコア、幅スコア、高さスコア、特徴量スコアが挙げられる。
【0088】
角度スコアは、画像ＩＭの所望の基準点に対するバウンディングボックスＢの角度と、画像ＩＭの上記基準点に対する矩形枠Ａの角度とが類似しているほど高くなるスコアである。幅スコアは、バウンディングボックスＢの幅Ｗｐと矩形枠Ａの幅Ｗｃとが類似しているほど高くなるスコアである。高さスコアは、バウンディングボックスＢの高さＨｐと矩形枠Ａの高さＨｃとが類似しているほど高くなるスコアである。特徴量スコアは、バウンディングボックスＢ内で抽出された特徴量と矩形枠Ａ内で抽出された特徴量とが類似しているほど高くなるスコアである。
【0089】
○ 上記実施形態の位置スコアの式は一例である。位置スコアの式は、比較用画像ＩＭｐにおけるバウンディングボックスＢの位置と検出対象画像ＩＭｃにおける矩形枠Ａの位置とが類似しているほど、位置スコアが高くなるような式であれば、適宜変更されてもよい。
【0090】
物体検出装置１７は、例えば、カメラ１３が搭載されたフォークリフト１０の移動方向及び対象物体Ｔの移動方向を把握可能である場合、画像ＩＭにおいて移動方向に該当する方向ベクトルの距離及び角度を用いて位置スコアを算出してもよい。
【0091】
○ 上記実施形態のアスペクト比スコアの式は一例である。アスペクト比スコアの式は、バウンディングボックスＢのアスペクト比Ａｐと矩形枠Ａのアスペクト比Ａｃとが類似しているほど、アスペクト比スコアが高くなるような式であれば、適宜変更されてもよい。
【0092】
○ 上記実施形態の面積スコアの式は一例である。面積スコアの式は、バウンディングボックスＢの面積Ｓｐと矩形枠Ａの面積Ｓｃとが類似しているほど、面積スコアが高くなるような式であれば、適宜変更されてもよい。
【0093】
○ 物体検出装置１７は、フォークリフト１０の動作を検出してもよい。すなわち、物体検出装置１７は、フォークリフト１０の動作を検出する動作検出部を備えていてもよい。物体検出装置１７は、例えば、フォークリフト１０から入力される情報に基づいて、フォークリフト１０の動作を検出してもよい。フォークリフト１０から入力される情報としては、例えば、慣性計測装置（IMU：Inertial Measurement Unit）の計測結果、フォークリフト１０の運転者によるハンドル操作、及びフォークリフト１０の運転者によるアクセルペダルの操作量が挙げられる。また、物体検出装置１７は、取得した画像ＩＭに対してオプティカルフロー等の処理を行うことによって、フォークリフト１０の動作を検出してもよい。そして、物体検出装置１７は、検出したフォークリフト１０の動作に応じてα、β、γを調整する。すなわち、物体検出装置１７は、フォークリフト１０の動作に応じて位置スコア、アスペクト比スコア、及び面積スコアの重要度を調整する。
【0094】
一例として、カメラ１３が比較用画像ＩＭｐを撮像してから検出対象画像ＩＭｃを撮像するまでの間に、カメラ１３が取り付けられたフォークリフト１０が急旋回したとする。
この場合、図１７及び図１８に示すように、画像ＩＭにおける対象物体Ｔの位置は、比較用画像ＩＭｐと検出対象画像ＩＭｃとで異なる。このため、比較用画像ＩＭｐに対して出力されたバウンディングボックスＢの位置と、検出対象画像ＩＭｃに対して付与された対象物体Ｔの領域を示す矩形枠Ａの位置とは異なる。一方、画像ＩＭにおける対象物体Ｔの形状及び大きさは、比較用画像ＩＭｐと検出対象画像ＩＭｃとで大きく変化しない。このため、比較用画像ＩＭｐに対して出力されたバウンディングボックスＢのアスペクト比Ａｐ及び面積Ｓｐと、検出対象画像ＩＭｃに対して付与された対象物体Ｔの領域を示す矩形枠Ａのアスペクト比Ａｃ及び面積Ｓｃとは、類似している。
この場合、図１７及び図１８に示すように、画像ＩＭにおける対象物体Ｔの位置は、比較用画像ＩＭｐと検出対象画像ＩＭｃとで異なる。このため、比較用画像ＩＭｐに対して出力されたバウンディングボックスＢの位置と、検出対象画像ＩＭｃに対して付与された対象物体Ｔの領域を示す矩形枠Ａの位置とは異なる。一方、画像ＩＭにおける対象物体Ｔの形状及び大きさは、比較用画像ＩＭｐと検出対象画像ＩＭｃとで大きく変化しない。このため、比較用画像ＩＭｐに対して出力されたバウンディングボックスＢのアスペクト比Ａｐ及び面積Ｓｐと、検出対象画像ＩＭｃに対して付与された対象物体Ｔの領域を示す矩形枠Ａのアスペクト比Ａｃ及び面積Ｓｃとは、類似している。
【0095】
以上のことから、物体検出装置１７は、フォークリフト１０の動作としてフォークリフト１０の急旋回を検出した場合、β及びγをαよりも大きい値に設定する。すなわち、物体検出装置１７は、アスペクト比スコア及び面積スコアの重要度を位置スコアの重要度よりも高くする。
【0096】
他の例として、カメラ１３が比較用画像ＩＭｐを撮像してから検出対象画像ＩＭｃを撮像するまでの間に、カメラ１３が取り付けられたフォークリフト１０が急加速したとする。
【0097】
この場合、図１９及び図２０に示すように、画像ＩＭにおける対象物体Ｔの大きさは、比較用画像ＩＭｐと検出対象画像ＩＭｃとで異なる。このため、比較用画像ＩＭｐに対して出力されたバウンディングボックスＢの面積Ｓｐと、検出対象画像ＩＭｃに対して出力された対象物体Ｔの領域を示す矩形枠Ａの面積Ｓｃとは異なる。一方、画像ＩＭにおける対象物体Ｔの位置及び形状は、比較用画像ＩＭｐと検出対象画像ＩＭｃとで大きく変化しない。このため、比較用画像ＩＭｐに対して出力されたバウンディングボックスＢの位置及び形状と、検出対象画像ＩＭｃに対して付与された対象物体Ｔの領域を示す矩形枠Ａの位置及び形状とは、類似している。
【0098】
以上のことから、物体検出装置１７は、フォークリフト１０の動作としてフォークリフト１０の急加速を検出した場合、α及びβをγよりも大きい値に設定する。すなわち、物体検出装置１７は、位置スコア及びアスペクト比スコアの重要度を面積スコアの重要度よりも高くする。
【0099】
このように物体検出装置１７は、フォークリフト１０の動作を考慮した上で類似度スコアを算出することによって、フォークリフト１０の動作に応じた物体検出処理を行うことができる。したがって、対象物体Ｔの検出精度をより向上できる。
【0100】
○ 画像ＩＭにおける対象物体Ｔの写りが変化することが予測される場合には、物体検出装置１７は、予測される対象物体Ｔの写りの変化に応じてα、β、γを調整してもよい。
【0101】
例えば、対象物体Ｔである人が立ったりしゃがんだりすることが予測されている場合、カメラ１３が比較用画像ＩＭｐを撮像するときには立っていた人が、検出対象画像ＩＭｃを撮像するときにはしゃがむことが起こり得る。
【0102】
この場合、画像ＩＭにおける対象物体Ｔの形状及び大きさは、比較用画像ＩＭｐと検出対象画像ＩＭｃとで異なる。このため、画像ＩＭにおける対象物体Ｔのアスペクト比及び面積は、比較用画像ＩＭｐと検出対象画像ＩＭｃとで異なる。具体的には、比較用画像ＩＭｐに対して出力されたバウンディングボックスＢのアスペクト比Ａｐ及び面積Ｓｐは、検出対象画像ＩＭｃに対して付与された対象物体Ｔの領域を示す矩形枠Ａのアスペクト比Ａｃ及び面積Ｓｃよりも小さくなる。一方、画像ＩＭにおける対象物体Ｔの位置は、比較用画像ＩＭｐと検出対象画像ＩＭｃとで大きく変化しない。このため、比較用画像ＩＭｐに対して出力されたバウンディングボックスＢの位置と、検出対象画像ＩＭｃに対して付与された対象物体Ｔの領域を示す矩形枠Ａの位置とは、類似している。
【0103】
以上のことから、物体検出装置１７は、対象物体Ｔである人が立ったりしゃがんだりすることが予測される場合、αをβ及びγよりも大きい値に設定する。すなわち、物体検出装置１７は、位置スコアの重要度をアスペクト比スコア及び面積スコアの重要度よりも高くする。
【0104】
このように物体検出装置１７は、予測される対象物体Ｔの写りの変化を考慮した上で類似度スコアを算出することによって、対象物体Ｔの写りの変化に応じた物体検出処理を行うことができる。したがって、対象物体Ｔの検出精度をより向上できる。
【0105】
○ 物体検出装置１７は、取得した画像Ｉ全体から対象物体Ｔの領域を検出しなくてもよい。例えば、画像ＩＭにおける対象物体Ｔの位置が時系列的に右から左に向かって移動している場合、物体検出装置１７は、画像ＩＭにおける右側の領域については、対象物体Ｔの領域を検出しなくてもよい。
【0106】
○ 例えば、図２１に示すように、物体検出装置１７は、ｎ回目の物体検出処理において検出対象画像ＩＭｃに対して複数の矩形枠Ａを付与する。なお、図２１では、説明の便宜上、２つの矩形枠Ａのみが図示されている。第１の矩形枠Ａは、対象物体Ｔの領域を示す矩形枠Ａｔである。第２の矩形枠Ａは、対象物体Ｔ以外の物体の領域を示す矩形枠Ａｏである。矩形枠Ａｔ及び矩形枠Ａｏの信頼度スコアはそれぞれ、信頼度閾値未満である。図２１では、ｎ－１回目の物体検出処理において出力されたバウンディングボックスＢを二点鎖線で図示している。
【0107】
矩形枠Ａｏは、矩形枠Ａｔの近くに位置している。また、矩形枠Ａｏのアスペクト比及び面積は、矩形枠Ａｔのアスペクト比及び面積と同程度である。この場合、矩形枠ＡｏとバウンディングボックスＢとの類似度スコアは、矩形枠ＡｔとバウンディングボックスＢとの類似度スコアよりも高くなることがある。すると、物体検出装置１７は、加算処理において、矩形枠Ａｔではなく矩形枠Ａｏの信頼度スコアを増加させる。そして、物体検出装置１７は、削除処理において、信頼度スコアが信頼度閾値未満である矩形枠Ａｔを削除する。一方、加算処理によって信頼度スコアが信頼度閾値以上になった矩形枠Ａｏは、削除されずに残る。その結果、矩形枠ＡｏがバウンディングボックスＢとして出力される誤検出が発生する。
【0108】
図２２に示すように、物体検出装置１７は、ｎ＋１回目の物体検出処理では、ｎ回目の物体検出処理の処理結果を利用して検出対象画像ＩＭｃから対象物体Ｔの領域を検出する。すなわち、物体検出装置１７は、ｎ＋１回目の物体検出処理では、誤検出を含む検出結果を利用して検出対象画像ＩＭｃから対象物体Ｔの領域を検出する。このため、ｎ＋１回目の物体検出処理において、矩形枠ＡｏとバウンディングボックスＢとの類似度スコアは、矩形枠ＡｔとバウンディングボックスＢとの類似度スコアよりも高くなる。したがって、物体検出装置１７は、加算処理において、矩形枠Ａｔではなく矩形枠Ａｏの信頼度スコアを増加させる。そして、物体検出装置１７は、矩形枠Ａｔの信頼度スコアが信頼度閾値未満である場合、削除処理において矩形枠Ａｔを削除する。一方、加算処理によって信頼度スコアが信頼度閾値以上になった矩形枠Ａｏは、削除されずに残る。その結果、ｎ＋１回目の物体検出処理においても、矩形枠ＡｏがバウンディングボックスＢとして出力される誤検出が発生する。
【0109】
図２３に示すように、物体検出装置１７は、ｎ＋２回目の物体検出処理では、ｎ＋１回目の物体検出処理の処理結果を利用して検出対象画像ＩＭｃから対象物体Ｔの領域を検出する。すなわち、物体検出装置１７は、ｎ＋２回目の物体検出処理では、誤検出を含む検出結果を利用して検出対象画像ＩＭｃから対象物体Ｔの領域を検出する。このため、ｎ＋２回目の物体検出処理において、矩形枠ＡｏとバウンディングボックスＢとの類似度スコアは、矩形枠ＡｔとバウンディングボックスＢとの類似度スコアよりも高くなる。したがって、物体検出装置１７は、加算処理において、矩形枠Ａｔではなく矩形枠Ａｏの信頼度スコアを増加させる。そして、物体検出装置１７は、矩形枠Ａｔの信頼度スコアが信頼度閾値未満である場合、削除処理において矩形枠Ａｔを削除する。一方、加算処理によって信頼度スコアが信頼度閾値以上になった矩形枠Ａｏは、削除されずに残る。その結果、ｎ＋２回目の物体検出処理においても、矩形枠ＡｏがバウンディングボックスＢとして出力される誤検出が発生する。このように１回の物体検出処理において誤検出が発生すると、その後の物体検出処理において誤検出が連鎖することがある。
【0110】
このような誤検出の連鎖を抑制するため、物体検出装置１７は、次のように物体検出処理を行ってもよい。
加算処理前の信頼度スコアが信頼度閾値未満である矩形枠Ａを低信頼度矩形枠とする。加算処理前の信頼度スコアが信頼度閾値以上である矩形枠Ａを高信頼度矩形枠とする。物体検出装置１７の記憶部１７ｂは、比較用画像ＩＭｐに対して出力されたバウンディングボックスＢの元になる矩形枠Ａが、低信頼度矩形枠であるか、高信頼度矩形枠であるかを記憶する。
加算処理前の信頼度スコアが信頼度閾値未満である矩形枠Ａを低信頼度矩形枠とする。加算処理前の信頼度スコアが信頼度閾値以上である矩形枠Ａを高信頼度矩形枠とする。物体検出装置１７の記憶部１７ｂは、比較用画像ＩＭｐに対して出力されたバウンディングボックスＢの元になる矩形枠Ａが、低信頼度矩形枠であるか、高信頼度矩形枠であるかを記憶する。
【0111】
上述した誤検出の連鎖は、複数回の物体検出処理に亘って低信頼度連鎖が連続することによって発生する。低信頼度連鎖とは、類似度スコアが所定の条件を満たしている矩形枠Ａが低信頼度矩形枠であり、かつ当該矩形枠Ａの類似度スコアの算出に用いられたバウンディングボックスＢの元となる矩形枠Ａが低信頼度矩形枠である場合を指す。
【0112】
物体検出装置１７は、複数回の物体検出処理に亘って低信頼度連鎖が連続する回数をカウントする。そして、物体検出装置１７は、カウントした回数に応じて加算処理における信頼度スコアの増加量を減少させる。例えば、物体検出装置１７は、カウントした回数が増えるにつれて、加算処理における信頼度スコアの増加量を減衰させてもよい。
【0113】
例えば、ｎ回目の物体検出処理において、加算処理前における矩形枠Ａｔの信頼度スコアは閾値未満である。したがって、矩形枠Ａｔは、低信頼度矩形枠である。一方、矩形枠Ａｔとの類似度スコアの算出に用いられたｎ－１回目の物体検出処理の検出結果であるバウンディングボックスＢの元となる矩形枠Ａは高信頼度矩形枠であるとする。この場合、物体検出装置１７は、低信頼度連鎖でないと判断する。
【0114】
ｎ＋１回目の物体検出処理において、加算処理前における矩形枠Ａｔの信頼度スコアは信頼度閾値未満である。したがって、矩形枠Ａｔは、低信頼度矩形枠である。また、矩形枠Ａｔとの類似度スコアの算出に用いられたｎ回目の物体検出処理の検出結果であるバウンディングボックスＢの元となる矩形枠Ａは低信頼度矩形枠である。このため、物体検出装置１７は、低信頼度連鎖である判断する。また、物体検出装置１７は、低信頼度連鎖が連続する回数を１回とカウントする。
【0115】
ｎ＋２回目の物体検出処理において、加算処理前における矩形枠Ａｔの信頼度スコアは信頼度閾値未満である。したがって、矩形枠Ａｔは、低信頼度矩形枠である。また、矩形枠Ａｔとの類似度スコアの算出に用いられたｎ＋１回目の物体検出処理の検出結果であるバウンディングボックスＢの元となる矩形枠Ａは低信頼度矩形枠である。このため、物体検出装置１７は、低信頼度連鎖であると判断する。また、物体検出装置１７は、低信頼度連鎖が連続する回数を２回にカウントアップする。そして、物体検出装置１７は、ｎ＋２回目の物体検出処理の加算処理において矩形枠Ａｔの信頼度スコアを増加させる際、その増加量をｎ＋１回目の物体検出処理の加算処理における増加量よりも少ない量に設定する。これにより、矩形枠Ａｔは加算処理によって信頼度スコアが増加されたとしても、加算処理後の矩形枠Ａｔの信頼度スコアは信頼度閾値未満になる。したがって、物体検出装置１７は、削除処理において矩形枠Ａｔを削除する。その結果、ｎ＋２回目の物体検出処理において誤検出の連鎖を止めることができる。
【0116】
○ 物体検出装置１７が検出する対象物体Ｔは、人以外であってもよい。
○ 物体検出装置１７は、フォークリフト１０以外の車両に適用されてもよい。
○ 物体検出装置１７は、車両以外の移動体や構造物に適用されてもよい。
○ 物体検出装置１７は、フォークリフト１０以外の車両に適用されてもよい。
○ 物体検出装置１７は、車両以外の移動体や構造物に適用されてもよい。
【0117】
○ カメラ１３は、単眼カメラでなくてもよい。カメラ１３は、ステレオカメラや魚眼カメラであってもよい。
○ カメラ１３の数は、適宜変更されてもよい。
○ カメラ１３の数は、適宜変更されてもよい。
【0118】
○ フォークリフト１０に対するカメラ１３の取り付け位置は、適宜変更されてもよい。例えば、フォークリフト１０の前方に存在する対象物体Ｔを検出する場合には、カメラ１３は、フォークリフト１０の前方を撮像するようにフォークリフト１０に取り付けられていてもよい。例えば、フォークリフト１０の後方に存在する対象物体Ｔを検出する場合には、カメラ１３は、フォークリフト１０の後方を撮像するように、フォークリフト１０に取り付けられていてもよい。
【0119】
○ 物体検出装置１７は、車両制御装置１６と同一の装置であってもよい。すなわち、物体検出装置１７は、車両制御装置１６の一機能であってもよい。
○ 車両制御装置１６は、物体検出装置１７の検出結果を図示しないディスプレイに表示させてもよい。
○ 車両制御装置１６は、物体検出装置１７の検出結果を図示しないディスプレイに表示させてもよい。
【0120】
○ 物体検出装置１７は、ＮＭＳ処理を行わなくてもよい。すなわち、物体検出装置１７は、ＮＭＳ処理部を備えていなくてもよい。
○ 物体検出装置１７は、ステップＳ２３の前に、複数の矩形枠Ａのうち、信頼度スコアが０に近いスコアの矩形枠Ａを削除してもよい。すなわち、物体検出装置１７は、ＮＭＳ処理の前に、信頼度スコアが明らかに低い矩形枠Ａを削除してもよい。そして、物体検出装置１７は、信頼度スコアが０に近い矩形枠Ａが削除された後でＮＭＳ処理を行う。これにより、ＮＭＳ処理の負荷を軽減できる。
○ 物体検出装置１７は、ステップＳ２３の前に、複数の矩形枠Ａのうち、信頼度スコアが０に近いスコアの矩形枠Ａを削除してもよい。すなわち、物体検出装置１７は、ＮＭＳ処理の前に、信頼度スコアが明らかに低い矩形枠Ａを削除してもよい。そして、物体検出装置１７は、信頼度スコアが０に近い矩形枠Ａが削除された後でＮＭＳ処理を行う。これにより、ＮＭＳ処理の負荷を軽減できる。
【0121】
○ ステップＳ２５の加算処理において、類似度スコアに対する所定の条件は、バウンディングボックスＢに類似している矩形枠Ａを特定できるような条件であれば、適宜変更されてもよい。
【0122】
○ １回目の物体検出処理の具体的な処理内容は、１フレーム目の画像ＩＭ１から対象物体Ｔの領域を検出できるのであれば、上記実施形態の処理内容と異なっていてもよい。
［付記］
上記各実施形態及び変更例から把握できる技術的思想を以下に記載する。
［付記］
上記各実施形態及び変更例から把握できる技術的思想を以下に記載する。
【0123】
［１］カメラによって撮像された画像から対象物体の領域を検出する物体検出処理を行う物体検出装置であって、前記画像である比較用画像に対して出力された前記対象物体の領域を示すバウンディングボックスを記憶する記憶部と、前記比較用画像よりも後の時刻に撮像された前記画像である検出対象画像を取得する取得部と、前記検出対象画像に対して前記対象物体の領域の候補を示す矩形枠を複数付与する付与部と、前記比較用画像に対して出力された前記バウンディングボックスと前記検出対象画像に対して付与された前記矩形枠との類似度の指標である類似度スコアを算出する算出処理を行う算出部と、複数の前記矩形枠のうち、前記類似度スコアが所定の条件を満たしている前記矩形枠の信頼度スコアを増加させる加算処理を行う加算部と、前記加算処理後に、複数の前記矩形枠のうち、前記信頼度スコアが所定の信頼度閾値未満である前記矩形枠を削除する削除処理を行う削除部と、前記削除処理後に残った前記矩形枠を前記比較用画像に対する前記バウンディングボックスとして出力する出力部と、を備えることを特徴とする物体検出装置。
【0124】
［２］前記算出部は、前記比較用画像に対して出力された前記バウンディングボックスの位置と前記検出対象画像に対して付与された前記矩形枠の位置との類似度の指標である位置スコア、前記比較用画像に対して出力された前記バウンディングボックスのアスペクト比と前記検出対象画像に対して付与された前記矩形枠のアスペクト比との類似度の指標であるアスペクト比スコア、及び前記比較用画像に対して出力された前記バウンディングボックスの面積と前記検出対象画像に対して付与された前記矩形枠の面積との類似度の指標である面積スコアの少なくとも１つを用いて前記類似度スコアを算出する［１］に記載の物体検出装置。
【0125】
［３］前記算出部は、前記位置スコア、前記アスペクト比スコア、及び前記面積スコアの積を前記類似度スコアとする［２］に記載の物体検出装置。
［４］前記物体検出装置は、車両に搭載されるとともに、前記車両の動作を検出する動作検出部を備え、前記算出部は、前記動作検出部によって検出された前記車両の動作に基づいて、前記位置スコア、前記アスペクト比スコア、及び前記面積スコアの重要度を調整する［３］に記載の物体検出装置。
［４］前記物体検出装置は、車両に搭載されるとともに、前記車両の動作を検出する動作検出部を備え、前記算出部は、前記動作検出部によって検出された前記車両の動作に基づいて、前記位置スコア、前記アスペクト比スコア、及び前記面積スコアの重要度を調整する［３］に記載の物体検出装置。
【0126】
［５］前記付与部によって付与された前記複数の矩形枠について、互いに重複している２つの前記矩形枠の積集合の領域を当該２つの前記矩形枠の和集合の領域で除算することで重複割合を算出し、前記重複割合が重複割合閾値を超えている場合には、互いに重複している２つの前記矩形枠のうち前記信頼度スコアが低い方の前記矩形枠を削除するＮＭＳ処理を行うＮＭＳ処理部を備え、前記算出部は、前記算出処理として、前記比較用画像に対して出力された前記バウンディングボックスと前記ＮＭＳ処理後の前記矩形枠との前記類似度スコアを算出する［１］～［４］の何れか１つに記載の物体検出装置。
【0127】
［６］前記物体検出装置は、前記比較用画像に対して出力された前記バウンディングボックスを利用して前記検出対象画像から前記対象物体の領域を検出する高精度検出処理を繰り返し行い、前記記憶部は、前記比較用画像に対して出力された前記バウンディングボックスの元となる前記矩形枠が、前記加算処理前の前記信頼度スコアが前記信頼度閾値未満である低信頼度矩形枠であるか、前記加算処理前の前記信頼度スコアが前記信頼度閾値以上である高信頼度矩形枠であるかを記憶しており、前記類似度スコアが前記所定の条件を満たしている前記矩形枠が前記低信頼度矩形枠であり、かつ当該矩形枠との前記類似度スコアの算出に用いられた前記バウンディングボックスの元となる前記矩形枠が前記低信頼度矩形枠である場合を低信頼度連鎖としたとき、前記加算部は、複数回の前記物体検出処理に亘って前記低信頼度連鎖が連続する回数をカウントし、カウントした前記回数に応じて前記加算処理における前記信頼度スコアの増加量を減少させる［１］～［５］の何れか１つに記載の物体検出装置。
【符号の説明】
【0128】
１０…車両としてのフォークリフト、１３…カメラ、１７…物体検出装置、１７ｂ…記憶部、Ａ…矩形枠、Ｂ…バウンディングボックス、Ｔ…対象物体、ＩＭ…画像、ＩＭｐ…比較用画像、ＩＭｃ…検出対象画像。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
