特許 7138158 物体分類装置、物体分類方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-09-07

(45)【発行日】2022-09-15

(54)【発明の名称】物体分類装置、物体分類方法、およびプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20220908BHJP

【ＦＩ】

G06T7/00 350B

【請求項の数】 7

(21)【出願番号】P 2020217297

(22)【出願日】2020-12-25

(65)【公開番号】P2022102516

(43)【公開日】2022-07-07

【審査請求日】2020-12-25

(73)【特許権者】

【識別番号】397065480

【氏名又は名称】エヌ・ティ・ティ・コムウェア株式会社

(74)【代理人】

【識別番号】100161207

【弁理士】

【氏名又は名称】西澤 和純

(74)【代理人】

【識別番号】100126664

【弁理士】

【氏名又は名称】鈴木 慎吾

(74)【代理人】

【識別番号】100181124

【弁理士】

【氏名又は名称】沖田 壮男

(72)【発明者】

【氏名】大槻 剛

(72)【発明者】

【氏名】小野 貴史

(72)【発明者】

【氏名】原田 俊彦

(72)【発明者】

【氏名】井藤 雅稔

【審査官】片岡 利延

(56)【参考文献】

【文献】特開２０２０－０２１３７８（ＪＰ，Ａ）

【文献】特開２０１９－０４６００７（ＪＰ，Ａ）

【文献】特開２０１９－００８６３８（ＪＰ，Ａ）

【文献】特開２０１５－１９１５７２（ＪＰ，Ａ）

【文献】特開平０５－２７２９４６（ＪＰ，Ａ）

【文献】特開２０１５－０６２１２８（ＪＰ，Ａ）

【文献】特開２００７－１２２４９４（ＪＰ，Ａ）

【文献】特開２００３－２６３２１６（ＪＰ，Ａ）

【文献】特開２００４－１５７９３２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００－７／９０

(57)【特許請求の範囲】

【請求項1】

撮像画像から物体領域を検出する検出部と、
前記物体領域に含まれる物体を第１の要素に基づいて分類する第１の処理と、前記第１の処理により分類された物体を第２の要素に基づいて分類する第２の処理とを実行する分類部と、を備え、
前記分類部は、前記第１の要素に基づく第１の分類結果を教師データとして機械学習され、前記物体領域の画像を入力した場合に前記物体領域の画像に含まれる前記第１の要素に基づく第１の分類結果を出力する第１のモデルを用いて前記第1の処理を実行し、前記第２の要素に基づく第２の分類結果を教師データとして機械学習され、前記物体領域の画像を入力した場合に前記物体領域の画像に含まれる前記第２の要素に基づく第２の分類結果を出力する第２のモデルを用いて前記第２の処理を実行し、
前記第１の要素は、前記物体の模様および記号のうちの少なくとも一つであり、
前記第２の要素は、前記物体の穴部の形状、位置、および大きさのうちの少なくとも一つである、
物体分類装置。

【請求項2】

前記分類部は、
前記検出部により検出された前記物体領域を台形補正し、
台形補正された物体領域に基づいて前記第１の処理および前記第２の処理を実行する、請求項１に記載の物体分類装置。

【請求項3】

撮像画像から物体領域を検出する検出部と、
前記物体領域に含まれる物体を、模様および記号のうちの少なくとも一つに基づいて分類する第１の分類部と、
前記第１の分類部により分類された物体を、穴部の形状に基づいて分類する第２の分類部と、
前記第１の分類部により分類された物体を、穴部の位置に基づいて分類する第３の分類部と、
前記第２の分類部により分類された物体を大きさに基づいて分類し、前記第３の分類部により分類された物体を大きさに基づいて分類する第４の分類部と、を備え、
前記第１の分類部は、前記模様および記号のうちの少なくとも一つに基づく第１の分類結果を教師データとして機械学習され、前記物体領域の画像に含まれる模様および記号のうちの少なくとも一つを入力した場合に第１の分類結果を出力する第１のモデルに基づく処理を行い、
前記第２の分類部は、前記穴部の形状に基づく第２の分類結果を教師データとして機械学習され、前記第１の分類部による分類結果に基づく前記物体領域の画像を入力した場合に第２の分類結果を出力する第２のモデルに基づく処理を行い、
前記第３の分類部は、前記穴部の位置に基づく第３の分類結果を教師データとして機械学習され、前記第１の分類部による分類結果に基づく前記物体領域の画像を入力した場合に第３の分類結果を出力する第３のモデルに基づく処理を行い、
前記第４の分類部は、前記物体の大きさに基づいて、前記第２の分類部により分類された物体を分類し、前記第３の分類部により分類された物体を分類する、
物体分類装置。

【請求項4】

撮像画像から物体領域を検出するステップと、
前記物体領域に含まれる物体を第１の要素に基づいて分類する第１の処理と、前記第１の処理により分類された物体を第２の要素に基づいて分類する第２の処理とを実行するステップと、を含み、
前記第１の要素に基づく第１の分類結果を教師データとして機械学習され、前記物体領域の画像を入力した場合に前記物体領域の画像に含まれる前記第１の要素に基づく第１の分類結果を出力する第１のモデルを用いて前記第1の処理を実行し、前記第２の要素に基づく第２の分類結果を教師データとして機械学習され、前記物体領域の画像を入力した場合に前記物体領域の画像に含まれる前記第２の要素に基づく第２の分類結果を出力する第２のモデルを用いて前記第２の処理を実行し、
前記第１の要素は、前記物体の模様および記号のうちの少なくとも一つであり、
前記第２の要素は、前記物体の穴部の形状、位置、および大きさのうちの少なくとも一つである、
物体分類方法。

【請求項5】

撮像画像から物体領域を検出するステップと、
前記物体領域に含まれる物体を、模様および記号のうちの少なくとも一つに基づいて分類する第１分類ステップと、
前記第１分類ステップにより分類された物体を、穴部の形状に基づいて分類する第２分類ステップと、
前記第１分類ステップにより分類された物体を、穴部の位置に基づいて分類する第３分類ステップと、
前記第２分類ステップにより分類された物体を大きさに基づいて分類し、前記第３分類ステップにより分類された物体を大きさに基づいて分類する第４分類ステップと、
を含み、
前記第１分類ステップは、前記模様および記号のうちの少なくとも一つに基づく第１の分類結果を教師データとして機械学習され、前記物体領域の画像に含まれる模様および記号のうちの少なくとも一つを入力した場合に第１の分類結果を出力する第１のモデルに基づく処理を行い、
前記第２分類ステップは、前記穴部の形状に基づく第２の分類結果を教師データとして機械学習され、前記第１分類ステップによる分類結果に基づく前記物体領域の画像を入力した場合に第２の分類結果を出力する第２のモデルに基づく処理を行い、
前記第３分類ステップは、前記穴部の位置に基づく第３の分類結果を教師データとして機械学習され、前記第１分類ステップによる分類結果に基づく前記物体領域の画像を入力した場合に第３の分類結果を出力する第３のモデルに基づく処理を行い、
前記第４分類ステップは、前記物体の大きさに基づいて、前記第２分類ステップにより分類された物体を分類し、前記第３分類ステップにより分類された物体を分類する、
物体分類方法。

【請求項6】

コンピュータに、
撮像画像から物体領域を検出するステップと、
前記物体領域に含まれる物体を第１の要素に基づいて分類する第１の処理と、前記第１の処理により分類された物体を第２の要素に基づいて分類する第２の処理とを実行するステップと、を含む処理を実行させ、
前記第１の要素に基づく第１の分類結果を教師データとして機械学習され、前記物体領域の画像を入力した場合に前記物体領域の画像に含まれる前記第１の要素に基づく第１の分類結果を出力する第１のモデルを用いて前記第1の処理を実行させ、前記第２の要素に基づく第２の分類結果を教師データとして機械学習され、前記物体領域の画像を入力した場合に前記物体領域の画像に含まれる前記第２の要素に基づく第２の分類結果を出力する第２のモデルを用いて前記第２の処理を実行させ、
前記第１の要素は、前記物体の模様および記号のうちの少なくとも一つであり、
前記第２の要素は、前記物体の穴部の形状、位置、および大きさのうちの少なくとも一つである、
プログラム。

【請求項7】

コンピュータに、
撮像画像から物体領域を検出するステップと、
前記物体領域に含まれる物体を、模様および記号のうちの少なくとも一つに基づいて分類する第１分類ステップと、
前記第１分類ステップにより分類された物体を、穴部の形状に基づいて分類する第２分類ステップと、
前記第１分類ステップにより分類された物体を、穴部の位置に基づいて分類する第３分類ステップと、
前記第２分類ステップにより分類された物体を大きさに基づいて分類し、前記第３分類ステップにより分類された物体を大きさに基づいて分類する第４分類ステップと、
を含む処理を実行させるプログラムであって、
前記第１分類ステップは、前記模様および記号のうちの少なくとも一つに基づく第１の分類結果を教師データとして機械学習され、前記物体領域の画像に含まれる模様および記号のうちの少なくとも一つを入力した場合に第１の分類結果を出力する第１のモデルに基づく処理を行い、
前記第２分類ステップは、前記穴部の形状に基づく第２の分類結果を教師データとして機械学習され、前記第１分類ステップによる分類結果に基づく前記物体領域の画像を入力した場合に第２の分類結果を出力する第２のモデルに基づく処理を行い、
前記第３分類ステップは、前記穴部の位置に基づく第３の分類結果を教師データとして機械学習され、前記第１分類ステップによる分類結果に基づく前記物体領域の画像を入力した場合に第３の分類結果を出力する第３のモデルに基づく処理を行い、
前記第４分類ステップは、前記物体の大きさに基づいて、前記第２分類ステップにより分類された物体を分類し、前記第３分類ステップにより分類された物体を分類する、
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、物体分類装置、物体分類方法、およびプログラムに関する。

【背景技術】

【0002】

従来より、車載カメラによって撮像される画像を蓄積し、当該画像に含まれるマンホールや道路標示等の金属物を識別することが可能な技術が知られている。例えば、特許文献１に記載された物体認識装置は、蓄積された車載カメラからの画像から俯瞰画像を生成し、当該俯瞰画像に生じる輝度差を利用して路面上に存在する金属物を識別する。具体的に、物体認識装置は、デジタル画像処理の条件を設定し、車載カメラからの画像を俯瞰画像に変換し、俯瞰画像に含まれる金属物を検出し、金属物からの相対的な自車両の位置を特定している。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００９－２６６００３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上述した物体認識装置のように車載カメラを用いてマンホール等や公共設備などを検出することが行われているが、情報の利用目的などに応じて、さらに高い精度で物体を分類することが望まれている。

【0005】

本発明は、上記の課題に鑑みてなされたものであって、物体を高い精度で分類することができる物体分類装置、物体分類方法、およびプログラムを提供することを目的としている。

【課題を解決するための手段】

【0006】

（１）本発明の一態様は、撮像画像から物体領域を検出する検出部と、前記物体領域に含まれる物体を第１の要素に基づいて分類する第１の処理と、前記第１の処理により分類された物体を第２の要素に基づいて分類する第２の処理とを実行する分類部と、を備え、前記分類部は、前記第１の要素に基づく第１の分類結果を教師データとして機械学習され、前記物体領域の画像を入力した場合に前記物体領域の画像に含まれる前記第１の要素に基づく第１の分類結果を出力する第１のモデルを用いて前記第1の処理を実行し、前記第２の要素に基づく第２の分類結果を教師データとして機械学習され、前記物体領域の画像を入力した場合に前記物体領域の画像に含まれる前記第２の要素に基づく第２の分類結果を出力する第２のモデルを用いて前記第２の処理を実行し、前記第１の要素は、前記物体の模様および記号のうちの少なくとも一つであり、前記第２の要素は、前記物体の穴部の形状、位置、および大きさのうちの少なくとも一つである、物体分類装置である。

【0009】

（２）本発明の一態様は、上記の物体分類装置であって、前記分類部は、前記検出部により検出された前記物体領域を台形補正し、台形補正された物体領域に基づいて前記第１の処理および前記第２の処理を実行してよい。

【0010】

（３）本発明の一態様は、撮像画像から物体領域を検出する検出部と、前記物体領域に含まれる物体を、模様および記号のうちの少なくとも一つに基づいて分類する第１の分類部と、前記第１の分類部により分類された物体を、穴部の形状に基づいて分類する第２の分類部と、前記第１の分類部により分類された物体を、穴部の位置に基づいて分類する第３の分類部と、前記第２の分類部により分類された物体を大きさに基づいて分類し、前記第３の分類部により分類された物体を大きさに基づいて分類する第４の分類部と、を備え、前記第１の分類部は、前記模様および記号のうちの少なくとも一つに基づく第１の分類結果を教師データとして機械学習され、前記物体領域の画像に含まれる模様および記号のうちの少なくとも一つを入力した場合に第１の分類結果を出力する第１のモデルに基づく処理を行い、前記第２の分類部は、前記穴部の形状に基づく第２の分類結果を教師データとして機械学習され、前記第１の分類部による分類結果に基づく前記物体領域の画像を入力した場合に第２の分類結果を出力する第２のモデルに基づく処理を行い、前記第３の分類部は、前記穴部の位置に基づく第３の分類結果を教師データとして機械学習され、前記第１の分類部による分類結果に基づく前記物体領域の画像を入力した場合に第３の分類結果を出力する第３のモデルに基づく処理を行い、前記第４の分類部は、前記物体の大きさに基づいて、前記第２の分類部により分類された物体を分類し、前記第３の分類部により分類された物体を分類する、物体分類装置である。

【0012】

（４）本発明の一態様は、撮像画像から物体領域を検出するステップと、前記物体領域に含まれる物体を第１の要素に基づいて分類する第１の処理と、前記第１の処理により分類された物体を第２の要素に基づいて分類する第２の処理とを実行するステップと、を含み、前記第１の要素に基づく第１の分類結果を教師データとして機械学習され、前記物体領域の画像を入力した場合に前記物体領域の画像に含まれる前記第１の要素に基づく第１の分類結果を出力する第１のモデルを用いて前記第1の処理を実行し、前記第２の要素に基づく第２の分類結果を教師データとして機械学習され、前記物体領域の画像を入力した場合に前記物体領域の画像に含まれる前記第２の要素に基づく第２の分類結果を出力する第２のモデルを用いて前記第２の処理を実行し、前記第１の要素は、前記物体の模様および記号のうちの少なくとも一つであり、前記第２の要素は、前記物体の穴部の形状、位置、および大きさのうちの少なくとも一つである、物体分類方法である。

【0013】

（５）本発明の一態様は、撮像画像から物体領域を検出するステップと、前記物体領域に含まれる物体を、模様および記号のうちの少なくとも一つに基づいて分類する第１分類ステップと、前記第１分類ステップにより分類された物体を、穴部の形状に基づいて分類する第２分類ステップと、前記第１分類ステップにより分類された物体を、穴部の位置に基づいて分類する第３分類ステップと、前記第２分類ステップにより分類された物体を大きさに基づいて分類し、前記第３分類ステップにより分類された物体を大きさに基づいて分類する第４分類ステップと、を含み、前記第１分類ステップは、前記模様および記号のうちの少なくとも一つに基づく第１の分類結果を教師データとして機械学習され、前記物体領域の画像に含まれる模様および記号のうちの少なくとも一つを入力した場合に第１の分類結果を出力する第１のモデルに基づく処理を行い、前記第２分類ステップは、前記穴部の形状に基づく第２の分類結果を教師データとして機械学習され、前記第１分類ステップによる分類結果に基づく前記物体領域の画像を入力した場合に第２の分類結果を出力する第２のモデルに基づく処理を行い、前記第３分類ステップは、前記穴部の位置に基づく第３の分類結果を教師データとして機械学習され、前記第１分類ステップによる分類結果に基づく前記物体領域の画像を入力した場合に第３の分類結果を出力する第３のモデルに基づく処理を行い、前記第４分類ステップは、前記物体の大きさに基づいて、前記第２分類ステップにより分類された物体を分類し、前記第３分類ステップにより分類された物体を分類する、物体分類方法である。

【0014】

（６）本発明の一態様は、コンピュータに、撮像画像から物体領域を検出するステップと、前記物体領域に含まれる物体を第１の要素に基づいて分類する第１の処理と、前記第１の処理により分類された物体を第２の要素に基づいて分類する第２の処理とを実行するステップと、を含む処理を実行させ、前記第１の要素に基づく第１の分類結果を教師データとして機械学習され、前記物体領域の画像を入力した場合に前記物体領域の画像に含まれる前記第１の要素に基づく第１の分類結果を出力する第１のモデルを用いて前記第1の処理を実行させ、前記第２の要素に基づく第２の分類結果を教師データとして機械学習され、前記物体領域の画像を入力した場合に前記物体領域の画像に含まれる前記第２の要素に基づく第２の分類結果を出力する第２のモデルを用いて前記第２の処理を実行させ、前記第１の要素は、前記物体の模様および記号のうちの少なくとも一つであり、前記第２の要素は、前記物体の穴部の形状、位置、および大きさのうちの少なくとも一つである、プログラムである。

【0015】

（７）本発明の一態様は、コンピュータに、撮像画像から物体領域を検出するステップと、前記物体領域に含まれる物体を、模様および記号のうちの少なくとも一つに基づいて分類する第１分類ステップと、前記第１分類ステップにより分類された物体を、穴部の形状に基づいて分類する第２分類ステップと、前記第１分類ステップにより分類された物体を、穴部の位置に基づいて分類する第３分類ステップと、前記第２分類ステップにより分類された物体を大きさに基づいて分類し、前記第３分類ステップにより分類された物体を大きさに基づいて分類する第４分類ステップと、を含む処理を実行させるプログラムであって、前記第１分類ステップは、前記模様および記号のうちの少なくとも一つに基づく第１の分類結果を教師データとして機械学習され、前記物体領域の画像に含まれる模様および記号のうちの少なくとも一つを入力した場合に第１の分類結果を出力する第１のモデルに基づく処理を行い、前記第２分類ステップは、前記穴部の形状に基づく第２の分類結果を教師データとして機械学習され、前記第１分類ステップによる分類結果に基づく前記物体領域の画像を入力した場合に第２の分類結果を出力する第２のモデルに基づく処理を行い、前記第３分類ステップは、前記穴部の位置に基づく第３の分類結果を教師データとして機械学習され、前記第１分類ステップによる分類結果に基づく前記物体領域の画像を入力した場合に第３の分類結果を出力する第３のモデルに基づく処理を行い、前記第４分類ステップは、前記物体の大きさに基づいて、前記第２分類ステップにより分類された物体を分類し、前記第３分類ステップにより分類された物体を分類する、プログラムである。

【発明の効果】

【0016】

本発明の一態様によれば、物体を高い精度で分類することができる。

【図面の簡単な説明】

【0017】

【図1】実施形態の物体検出システムの一構成例を示すブロック図である。

【図2】実施形態の物体検出装置における処理手順の一例を示すフローチャートである。

【図3】実施形態における撮像画像の一例を示す図である。

【図4】実施形態の検出部の一例を示すブロック図である。

【図5】実施形態における隠れ判定処理の一例を示す図である。

【図6】実施形態における台形補正について説明するための図であり、（ａ）は補正前の領域を示し、（ｂ）は補正後の領域を示す。

【図7】実施形態において物体領域を関数により領域に補正（変換）することを示す図である。

【図8】実施形態における台形補正された領域から真円領域へ変換する処理を説明するための図であり、（ａ）は物体領域Ａを示し、（ｂ）は領域Ａ’を示し、（ｃ）は真円領域Ａ’’を示す。

【図9】実施形態における撮像画像の一例を示す図である。

【図10】実施形態における撮像画像の一例を示す図であり、（ａ）は物体全体を含む物体領域を示し、（ｂ）は見切れた物体領域を示す。

【図11】物体の中心点を求めるときの課題を説明するための図であり、（ａ）は撮像画像の一例であり、（ｂ）は物体領域の平面図である。

【図12】実施形態における矩形から台形への変換を説明するための図であり、（ａ）は矩形を示し、（ｂ）は台形を示す。

【図13】実施形態における台形補正について説明するための図であり、（ａ）は補正前の矩形を示し、（ｂ）は補正後の台形を示す。

【図14】実施形態において矩形の中心点を台形の中心点に変換することを示す図である。

【図15】右側画像および左側画像の一例を示す図である。

【図16】実施形態において右側画像の物体領域と左側画像の物体領域との一致性を判定する処理を説明するための図である。

【図17】実施形態におけるマンホールの一例を示す平面図である。

【図18】実施形態における分類部の一構成例を示すブロック図である。

【発明を実施するための形態】

【0018】

以下、本発明を適用した物体分類装置、物体分類方法、およびプログラムを、図面を参照して説明する。

【0019】

［実施形態の概要］
実施形態の物体検出システム１は、一または複数の車載装置１０から送信された撮像画像を収集し、収集した撮像画像に含まれた物体を検出する。物体検出システム１は、検出した物体の位置を推定する処理や、検出した物体を分類する処理を実行する。物体検出システム１は、物体の位置情報や物体の分類情報を含む情報を作成し、作成した情報を他のシステム（不図示）に提供する。以下の実施形態において、撮像画像は、例えば、車両の右前方部に設置されたカメラにより撮像された右側画像、および車両の左前方部に設置されたカメラにより撮像された左側画像を含む。撮像画像は、右側画像および左側画像に限定されず、車両に搭載された１台のカメラにより撮像された画像であってもよく、車両の後方を撮像した画像であってもよく、さらには、車両に搭載されていない種々のカメラにより撮像された画像であってもよい。以下の実施形態において、物体がマンホールであることについて説明するが、物体検出システム１は、これに限定されず、位置の推定や、物体の分類の対象となりうる種々の物体に適用可能である。例えば、物体検出システム１は、道路に沿って設けられている電柱等にも適用可能である。

【0020】

［物体検出システム１の構成］
図１は、実施形態の物体検出システム１の一構成例を示すブロック図である。物体検出システム１は、例えば、一又は複数の車載装置１０と、データ収集装置２０と、物体検出装置１００とを備える。車載装置１０、データ収集装置２０、および物体検出装置１００は、例えば、通信ネットワークに接続される。通信ネットワークに接続される各装置は、ＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）や無線通信モジュールなどの通信インターフェースを備えている（図１では不図示）。通信ネットワークは、例えば、インターネット、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、セルラー網などを含む。

【0021】

車載装置１０は、カメラおよびデータ送信装置等を備え、右側画像および左側画像を含む左右画像をデータ収集装置２０に送信する。データ収集装置２０は、右側画像および左側画像を収集し、当該右側画像および左側画像を撮像した位置情報に対応付けて記憶する。なお、以下の説明において、右側画像および左側画像を総称して撮像画像と記載する。

【0022】

物体検出装置１００は、例えば、検出部１１０と、位置推定部１２０と、分類部１３０と、情報提供部１４０とを備える。検出部１１０、位置推定部１２０、分類部１３０、および情報提供部１４０といった機能部は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等のプロセッサがプログラムメモリに格納されたプログラムを実行することにより実現される。また、これらの機能部のうち一部または全部は、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、またはＦＰＧＡ（Ｆｉｅｌｄ-Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等のハードウェアにより実現されてもよいし、ソフトウェアとハードウェアが協働することで実現されてもよい。プログラムは、例えば、予め物体検出装置１００のＨＤＤやフラッシュメモリなどの記憶装置に格納される。

【0023】

検出部１１０は、撮像画像に含まれる物体領域を検出する。物体領域は、撮像画像のうち物体を表す領域を示す情報である。位置推定部１２０は、物体の位置を推定する。分類部１３０は、物体を分類する。情報提供部１４０は、位置推定部１２０により推定された物体の位置、および分類部１３０により求められた物体の分類を含む情報を提供する。なお、情報提供部１４０は、右側画像および左側画像のそれぞれで推定された位置および分類を含む情報を提供する。

【0024】

［物体検出システム１の処理］
図２は、実施形態の物体検出装置１００における処理手順の一例を示すフローチャートである。物体検出装置１００は、先ず、データ収集装置２０から処理対象の撮像画像を取得する（ステップＳ１００）。次に物体検出装置１００は、撮像画像から検出された物体の一部が他の物体により隠れているか否かを判定する（ステップＳ１０２）。物体検出装置１００は、撮像画像から検出された物体の一部が他の物体により隠れている場合、検出された物体を以降の処理対象から除外する。次に物体検出装置１００は、処理対象の物体の位置を推定する（ステップＳ１０４）。実施形態の位置推定処理は、撮像画像内における物体の位置を推定する。次に物体検出装置１００は、右側画像を用いて位置が推定された物体と、左側画像を用いて位置が推定された物体とが一致するか否かを判定する（ステップＳ１０６）。次に物体検出装置１００は、撮像画像から検出された物体を分類する（ステップＳ１０８）。次に物体検出装置１００は、物体の位置、および分類を含む情報を提供する（ステップＳ１１０）。物体検出装置１００は、例えば、一致性が判定された物体ごとに、位置および分類を含む情報を提供する。位置情報の提供処理は、位置推定処理により推定された撮像画像内の位置および当該撮像画像に対応した緯度経度を含む位置情報を提供してもよく、撮像画像に対応した緯度経度および撮像画像内の位置に基づいて計算した物体の緯度経度情報を提供してもよい。なお、実施形態は、隠れ判定処理（ステップＳ１０２）、位置推定処理（ステップＳ１０４）、および一致性判定処理（ステップＳ１０６）の順で処理を実行したが、これに限定されず、どの順序で実行してもよい。

【0025】

なお、物体検出装置１００は、物体の位置の推定を行い、物体の分類を行わなくてもよい。この場合、物体検出装置１００は、物体の位置を含み分類を含まない情報を提供する。また、物体検出装置１００は、物体の分類を行い、物体の位置の推定を行わなくてもよい。この場合、物体検出装置１００は、物体の分類を含み位置を含まない情報を提供してもよい。

【0026】

［隠れ判定処理（ステップＳ１０２）］
以下、隠れ判定処理（ステップＳ１０２）について説明する。図３は、実施形態における撮像画像の一例を示す図である。図３に示した撮像画像は、車両の右側に設けられたカメラにより撮像された画像である。撮像画像には、２つのマンホールに対応した２つの物体領域Ａ１，Ａ２が含まれる。

【0027】

図４は、実施形態の検出部１１０の一例を示すブロック図である。検出部１１０は、検出処理部１１２と、モデル構築部１１４とを備える。検出処理部１１２は、検出用モデル１１２Ａに撮像画像を入力し、検出用モデル１１２Ａから物体領域の推定結果を出力する。物体領域の推定結果には物体領域の形状および位置を示す情報が含まれる。検出用モデルは、機械学習モデルであり、例えば、畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）である。

【0028】

モデル構築部１１４は、検出用モデル１１２Ａを構築する。モデル構築部１１４は、教師データとして撮像画像および物体領域を示す情報を取得する。モデル構築部１１４は、学習時において、検出用モデル１１２Ａに撮像画像を入力する。検出用モデル１１２Ａは、撮像画像が入力された場合に、撮像画像に含まれる物体領域Ａの物体領域を示す推定結果を出力する。モデル構築部１１４は、検出用モデル１１２Ａから出力された物体領域を示す情報が、教師データとしての物体領域を示す情報と一致するように検出用モデル１１２Ａの処理パラメータを再帰的に更新する。処理パラメータは、例えば、畳み込みニューラルネットワークにおける、層数、各層のノード数、各層間のノードの結合方式、活性化関数、誤差関数、及び勾配降下アルゴリズム、プーリングの領域、カーネル、重み係数、および重み行列の少なくとも一つである。これにより、モデル構築部１１４は、処理パラメータを取得するために、例えば、深層学習を行う。深層学習とは、多層構造、特に３層以上のニューラルネットワークを用いた機械学習である。なお、モデル構築部１１４は、検出部１１０に含まれていなくてもよく、物体検出装置１００の初期設定時やメンテナンス時に検出用モデル１１２Ａを検出処理部１１２に導入することができればよい。検出用モデル１１２Ａは、推定時において、撮影画像を入力し、物体領域の形状や位置を示す推定結果を出力する。検出処理部１１２は、例えば推定結果に対応したタグを付与した撮影画像を出力する。

【0029】

図５は、実施形態における隠れ判定処理の一例を示す図である。検出部１１０は、検出処理部１１２により取得された物体領域を用いて、隠れ判定処理（ステップＳ１０２）を行う。例えば図５（ａ）に示すように、マンホールに対応した物体領域Ａの一部が、障害物に対応した障害物領域Ｂによって隠れている場合がある。検出部１１０は、障害物領域Ｂによって一部が隠れている物体領域Ａを処理対象から除外するために、以下の処理を行う。

【0030】

まず、検出部１１０は、図５（ｂ）に示す物体領域Ａを検出する。次に検出部１１０は、物体領域Ａに対してマンホールを真上からみた領域になるように台形補正を行うことで、図５（ｃ）に示すような領域Ａ’に変換する。次に検出部１１０は、領域Ａ’を、図５（ｄ）に示す真円領域Ａ’’に変換する。次に検出部１１０は、領域Ａ’と真円領域Ａ’’との面積比率を算出する。次に検出部１１０は、算出した面積比率と所定値との比較に基づいて物体領域Ａが障害物領域Ｂによって隠れているか否かを判定する。以下、各処理について説明する。

【0031】

（物体領域Ａから領域Ａ’への変換処理）
図６は、実施形態における台形補正について説明するための図であり、（ａ）は補正前の領域Ａを示し、（ｂ）は補正後の領域Ａ’を示す。図６（ａ）において、（ｘ０，ｙ０）は撮像画像の収束点の座標である。（ｘ１，ｙ１）、（ｘ２，ｙ２）、（ｘ３，ｙ３）、および（ｘ４，ｙ４）は物体領域Ａを囲む矩形の端部座標である。ｗは２つの縦方向中間点(ｘｃ１，ｙｃ１)および(ｘｃ２，ｙｃ２)を結んだ物体領域Ａの幅である。（ｘ１’，ｙ１’）、（ｘ２’，ｙ２’）、（ｘ３’，ｙ３’）、および（ｘ４’，ｙ４’）は物体領域Ａと接する台形領域の端部座標である。台形領域は、Ｘ方向に平行な２本の底辺と、縦方向中間点(ｘｃ１，ｙｃ１)と収束点とを結ぶ直線と、縦方向中間点(ｘｃ２，ｙｃ２)と収束点とを結ぶ直線とにより定義される。図６（ｂ）において、補正後の領域Ａ’は、ｗを直径とした円領域である。補正後の領域Ａ’は、正方形領域に接する。正方形領域は、（ｘ１’’，ｙ１’’）、（ｘ２’’，ｙ２’’）、（ｘ３’’，ｙ３’’）、および（ｘ４’’，ｙ４’’）を持つ。

【0032】

検出部１１０は、物体領域Ａの端部座標（ｘ１，ｙ１）、（ｘ２，ｙ２）、（ｘ３，ｙ３）、および（ｘ４，ｙ４）と、収束点（ｘ０，ｙ０）とを用いて、台形領域の端部座標（ｘ１’，ｙ１’）、（ｘ２’，ｙ２’）、（ｘ３’，ｙ３’）、および（ｘ４’，ｙ４’）を求める。検出部１１０は、例えば、下記の式１を用いる。

【数1】

【0033】

次に検出部１１０は、正方形領域の座標（ｘ１’’，ｙ１’’）、（ｘ２’’，ｙ２’’）、（ｘ３’’，ｙ３’’）、および（ｘ４’’，ｙ４’’）を求める。検出部１１０は、例えば、下記の式２を用いる。

【数2】

【0034】

次に検出部１１０は、台形領域を正方形領域に射影変換する公式により、台形補正の関数Ｐ１を求める。検出部１１０は、例えば、下記の式３および式４のように定義される関数Ｐ１を求める。式３は、関数Ｐ１により台形領域の座標（ｘｉ’,ｙｉ’）を変換することで、正方形領域の座標（ｘｉ’’,ｙｉ’’）を求める式である。式４は、Ｐ１を定義する行列である。

【数3】

【0035】

次に検出部１１０は、物体領域Ａを関数Ｐ１に代入することで、台形補正した領域Ａ’を求めることができる。図７は、実施形態において物体領域Ａを関数Ｐ１により領域Ａ‘に補正（変換）することを示す図である。

【0036】

（領域Ａ’から真円領域Ａ’’への変換処理）
図８は、実施形態における台形補正された領域Ａ’から真円領域Ａ’’へ変換する処理を説明するための図であり、（ａ）は物体領域Ａを示し、（ｂ）は領域Ａ’を示し、（ｃ）は真円領域Ａ’’を示す。
先ず検出部１１０は、領域ＡのＸ方向最小点ｚ１、Ｘ方向最大点ｚ３、Ｙ方向最小点ｚ４、およびＹ方向最大点ｚ２を検出する。これらの検出した点ｚ１～ｚ４は、領域Ａ’の外周点の座標である。次に検出部１１０は、外周点を用いてＸ方向中間点（幅方向の中心）およびＹ方向中間点（高さ方向の中心）を求め、幅方向の中心および高さ方向の中心である領域Ａの中心点ｚ０を求める。次に検出部１１０は、Ｘ方向最小点ｚ１、Ｘ方向最大点ｚ３、Ｙ方向最小点ｚ２、Ｙ方向最大点ｚ４、および中心点ｚ０を、関数Ｐ１を用いて台形補正する。すなわち、検出部１１０は、ｚｎ’＝Ｐ１（ｚｎ）を用いて、台形補正後のｚｎ’を求める。次に検出部１１０は、中心点ｚ０’と外周点ｚ１’との距離ｄ１、中心点ｚ０’と外周点ｚ２’との距離ｄ２、中心点ｚ０’と外周点ｚ３’との距離ｄ３、中心点ｚ０’と外周点ｚ４’との距離ｄ４を求める（ｄｎ＝ｄ（ｚ０’－ｚｎ’））。検出部１１０は、距離ｄ１，ｄ２，ｄ３，ｄ４のうち最大値を真円領域Ａ’’の半径ｒとして設定する（ｒ＝ｍａｘ（ｄ１，ｄ２，ｄ３，ｄ４））。

【0037】

（隠れ判定処理）
検出部１１０は、領域Ａ’に含まれる画素数Ｎ１をカウントする。検出部１１０は、真円領域Ａ’’に含まれる画素数Ｎ２をカウントする。検出部１１０は、Ｎ２を、π×ｒ^２を用いてカウントしてもよい。検出部１１０は、画素数Ｎ１と画素数Ｎ２の割合が所定数以下であるか否かを判定し、割合が所定数以下である場合、物体領域Ａが障害物により隠された物体に対応すると判定する。検出部１１０は、割合が所定数以下ではない場合、物体領域Ａが障害物により隠されていない物体に対応すると判定する。検出部１１０は、障害物により隠された物体に対応した物体領域Ａを以降の処理対象から除外し、障害物により隠されていない物体に対応した物体領域Ａを以降の処理対象として選別する。所定値は、予め設定された値であり、例えば、後段の位置推定が高い精度で実行できるような物体領域Ａを選別するように設定された値であり、例えば、物体領域Ａの８０％が障害物で隠されていない物体を選別するように設定される。

【0038】

（その他の物体領域Ａの選別処理）
図９は、実施形態における撮像画像の一例を示す図である。検出部１１０は、物体領域Ａの画像内位置に基づく撮像位置から物体までの距離に基づいて、物体領域Ａに対応した物体を選別してよい。検出部１１０は、撮像画像のうち所定の範囲を物体領域Ａの検出領域として設定する。検出部１１０は、例えば、撮像画像のＹ方向における位置Ｒｍｉｎから位置Ｒｍａｘまでに含まれる領域を、検出領域として設定する。位置Ｒｍｉｎおよび位置Ｒｍａｘは、後段の位置推定が高い精度で実行できるように、例えば、カメラの撮像可能範囲のうち鮮明且つ適切な大きさの画像を撮像することができる範囲に基づいて設定される。検出部１１０は、検出領域に含まれる物体領域Ａである場合、当該物体領域Ａを後段の処理対象に設定し、検出領域に含まれる物体領域Ａではない場合、当該物体領域Ａを後段の処理対象から除外する。

【0039】

図１０は、実施形態における撮像画像の一例を示す図であり、（ａ）は物体全体を含む物体領域Ａ１を示し、（ｂ）は見切れた物体領域Ａ２を示す。検出部１１０は、物体領域の幅と所定の物体領域幅との比較に基づいて、物体領域に対応した物体を選別してよい。検出部１１０は、例えば、左側画像から検出した物体領域Ａ１の幅Ｗ１と、右側画像から検出した物体領域Ａ２の幅Ｗ２との差が所定値以上であるか否かを判定する。物体領域の幅は、撮像画像のＸ方向（横方向）における最小値（最右座標）と最大値（最左座標）との差である。検出部１１０は、幅Ｗ２が幅Ｗ１よりも所定値以上小さいと判定することにより、物体領域Ａ２を後段の処理対象から除外する。所定値は、例えば、撮像画像にマンホールの全体が含まれていない、撮像画像から見切れたマンホール（物体）を除外するような値が設定される。

【0040】

［位置推定処理（ステップＳ１０４）］
以下、位置推定処理（ステップＳ１０４）について説明する。図１１は、物体の中心点を求めるときの課題を説明するための図であり、（ａ）は撮像画像の一例であり、（ｂ）は物体領域の平面図である。検出部１１０により検出された物体領域Ａを上から見た平面に変換すると、物体領域Ａから計算した中心点Ｃが、中心点Ｃ＃にずれてしまう。すなわち、図１１（ａ）に示す物体領域Ａの横方向における最左座標ａと最右座標ｂの中間点と、物体領域Ａの縦方向における最上座標ｃと最下座標ｄの中間点とから中心点Ｃを計算しても、中心点Ｃ＃は、物体領域Ａ＃の横方向における最左座標ａ＃と最右座標ｂ＃の中間点と、物体領域Ａ＃の縦方向における最上座標ｃ＃と最下座標ｄ＃の中間点とから計算した点からずれてしまう。

【0041】

（矩形２００から台形３００への変換処理）
図１２は、実施形態における矩形から台形への変換を説明するための図であり、（ａ）は矩形を示し、（ｂ）は台形を示す。位置推定部１２０は、物体領域Ａの画像内位置を基準とした形状を有する矩形２００から物体領域Ａの画像内位置を基準とした形状を有する台形３００への変換関数に基づいて、矩形２００の中心点Ｃを変換する。矩形２００は、例えば、物体領域Ａの中心点Ｃを重心とする正方形であって、一辺が物体領域ＡのＸ方向の幅と同じ長さを持つ正方形である。物体領域Ａの幅は、物体領域Ａの最左座標ａから最右座標までの距離である。台形３００は、矩形２００により変換された図形であり、各辺が最左座標ａ、最右座標ｂ、最上座標ｃ、および最下座標ｄに接する図形である。

【0042】

図１３は、実施形態における台形補正について説明するための図であり、（ａ）は補正前の矩形２００を示し、（ｂ）は補正後の台形３００を示す。図１３（ａ）において、矩形２００は、物体領域Ａの幅ｗの長さである辺を持つ正方形である。幅ｗは、物体領域Ａの縦方向中間点(ｘｃ１，ｙｃ１)と物体領域Ａの縦方向中間点(ｘｃ２，ｙｃ２)との距離である。矩形２００は、（ｘ１’’，ｙ１’’）、（ｘ２’’，ｙ２’’）、（ｘ３’’，ｙ３’’）、および（ｘ４’’，ｙ４’’）を端部座標として持つ。図１３（ｂ）において、（ｘ０，ｙ０）は撮像画像の収束点の座標である。（ｘ１，ｙ１）、（ｘ２，ｙ２）、（ｘ３，ｙ３）、および（ｘ４，ｙ４）は物体領域Ａを囲む矩形の端部座標である。（ｘ１’，ｙ１’）、（ｘ２’，ｙ２’）、（ｘ３’，ｙ３’）、および（ｘ４’，ｙ４’）は台形３００の端部座標である。台形３００は、Ｘ方向に平行な２本の底辺と、縦方向中間点(ｘｃ１，ｙｃ１)と収束点とを結ぶ直線と、縦方向中間点(ｘｃ２，ｙｃ２)と収束点とを結ぶ直線とにより定義される。

【0043】

位置推定部１２０は、平面を仮定した矩形（正方形）２００を求める。位置推定部１２０は、例えば、下記の式５に、ｘｃ１、ｙｃ１、およびｗを代入することで、矩形２００の端部座標（ｘ１’’，ｙ１’’）、（ｘ２’’，ｙ２’’）、（ｘ３’’，ｙ３’’）、および（ｘ４’’，ｙ４’’）を計算する。

【数4】

【0044】

位置推定部１２０は、物体領域Ａの端部座標（ｘ１，ｙ１）、（ｘ２，ｙ２）、（ｘ３，ｙ３）、および（ｘ４，ｙ４）と、収束点（ｘ０，ｙ０）とを用いて、台形３００の端部座標（ｘ１’，ｙ１’）、（ｘ２’，ｙ２’）、（ｘ３’，ｙ３’）、および（ｘ４’，ｙ４’）を求める。位置推定部１２０は、例えば、下記の式６を用いて、台形３００の端部座標（ｘ１’，ｙ１’）、（ｘ２’，ｙ２’）、（ｘ３’，ｙ３’）、および（ｘ４’，ｙ４’）を計算する。

【数5】

【0045】

次に位置推定部１２０は、矩形２００の座標（ｘ１’’，ｙ１’’）、（ｘ２’’，ｙ２’’）、（ｘ３’’，ｙ３’’）、および（ｘ４’’，ｙ４’’）と、台形３００の端部座標（ｘ１’，ｙ１’）、（ｘ２’，ｙ２’）、（ｘ３’，ｙ３’）、および（ｘ４’，ｙ４’）とを用いて、台形補正の関数Ｐ２を求める。位置推定部１２０は、例えば、下記の式７を用いる。式８は、Ｐ２を定義する行列である。

【数6】

【0046】

次に位置推定部１２０は、矩形２００の中心点Ｃを関数Ｐ２を用いて変換することにより、台形３００の中心点Ｃ＃を求めることができる。図１４は、実施形態において矩形２００の中心点Ｃを台形３００の中心点Ｃ＃に変換することを示す図である。位置推定部１２０は、中心点Ｃ＃を、物体領域Ａの位置として推定する。

【0047】

［一致性の判定処理（ステップＳ１０６）］
図１５は、右側画像および左側画像の一例を示す図である。例えば、撮像画像に複数のマンホールが含まれる場合、右側画像に含まれるマンホールと、左側画像に含まれるマンホールとが同一であると誤判定してしまう可能性がある。これを抑制するため、物体検出システム１は、右側画像に含まれる物体領域と左側画像に含まれる物体領域とが同一であるか否かを判定する一致性の判定処理を行う。

【0048】

図１６は、実施形態において右側画像の物体領域と左側画像の物体領域との一致性を判定する処理を説明するための図である。位置推定部１２０は、例えば、右側画像と左側画像とを重ね合わせた状態において、右側画像の物体領域ＡＲの中心点ＣＲと左側画像の物体領域ＡＬの中心点ＣＬとの距離を算出する。位置推定部１２０は、算出した中心点の距離が第１の所定値以内かつ第２の所定値以上である場合に、中心点ＣＲを持つ物体領域ＡＲに対応した物体と中心点ＣＬを持つ物体領域ＡＬに対応した物体とが同じであると判定する。

【0049】

第１の所定値は、例えば、上述した右側画像と左側画像との位置ずれの最大値である。第２の所定値は、例えば、上述した右側画像と左側画像との位置ずれの最小値である。位置ずれの最大値は、例えば、左側画像の位置Ｒｍｉｎ上の最端点ｘ１０に対応した右側画像内の位置ｘ１０＃と、左側画像の位置Ｒｍｉｎ上の最端点ｘ２０との距離Ｄａである。位置ズレの最小点は、例えば、左側画像の位置Ｒｍａｘ上の中央点ｘ１１に対応した右側画像内の位置ｘ１１＃と、左側画像の位置Ｒｍａｘ上の中央ｘ２１との距離Ｄｂである。

【0050】

なお、位置推定部１２０は、一致性の判定において、右側画像の物体領域ＡＲの中心点ＣＲと左側画像の物体領域ＡＬの中心点ＣＬとの距離を判定したが、これに限定されず、撮像画像の遠近方向（Ｙ方向）における距離および撮像画像の横方向（Ｘ方向）の距離のそれぞれについて一致性判定のための所定値を設定しておき、右側画像および左側画像のＹ方向の距離と所定値との比較、および右側画像および左側画像のＸ方向の距離と所定値との比較に基づいて一致性を判定してもよい。この場合の所定値は、Ｙ方向における右側画像および左側画像の位置ズレに基づいて設定し、Ｘ方向における右側画像および左側画像の位置ズレに基づいて設定してよい。

【0051】

［分類処理（ステップＳ１０８）］
図１７は、実施形態におけるマンホールの一例を示す平面図である。図１７（ａ）、（ｂ）、（ｃ）、および（ｄ）に示すように、マンホールは、模様、記号またはマーク、鍵穴の形状、鍵穴の位置、大きさが異なり、これらの要素によって特徴付けられている。これらの要素は、例えば、マンホールに適用された規格、マンホールの所有者や管理者を表す模様や記号、マンホールを開けるための鍵穴の形状や位置、マンホールの種類やタイプや用途、マンホールの大きさや形状などが挙げられるが、これに限定されず、他のマンホールと区別するための要素であればよい。

【0052】

図１８は、実施形態における分類部１３０の一構成例を示すブロック図である。分類部１３０は、例えば、変換部１３２と、複数の分類処理部１３４Ａ、１３４Ｂおよび１３４Ｃと、直径分類部１３６と、モデル構築部１３８とを備える。変換部１３２、複数の分類処理部１３４Ａ、１３４Ｂおよび１３４Ｃ、および直径分類部１３６といった機能部は、例えば、ＣＰＵ等によりプログラムを実行することにより実現される。変換部１３２は、物体領域Ａを表す画像を平面画像に変換する。変換部１３２は、位置推定部１２０により変換された平面画像を取得してもよい。複数の分類処理部１３４Ａ、１３４Ｂおよび１３４Ｃは、互いに異なる要素に基づいて物体を分類する。直径分類部１３６は、直径に基づいて物体を分類する。

【0053】

分類処理部１３４Ａは、物体領域Ａに含まれる物体を第１の要素に基づいて分類する第１の処理を行う。分類処理部１３４Ｂ、分類処理部１３４Ｃおよび直径分類部１３６は、第１の処理により分類された物体を第２の要素に基づいて分類する第２の処理を行う。第１の要素は、物体の模様および記号のうちの少なくとも一つであり、第２の要素は、物体の穴部の形状、位置、および大きさのうちの少なくとも一つである。分類部１３０は、分類処理部１３４Ａと、分類処理部１３４Ｂ、分類処理部１３４Ｃおよび直径分類部１３６のうち何れか一つを備えていればよい。

【0054】

分類処理部１３４Ａは、模様・マーク用モデル１３４１に従った分類処理を行う。模様・マーク用モデル１３４１は、例えば、物体の模様を示すタグが付与された撮像画像を教師データとして機械学習されたモデルである。実施形態における機械学習モデルは、例えば畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）であるが、これに限定されず、パーセプトロンのニューラルネットワーク、再起型ニューラルネットワーク（ＲＮＮ：Recurrent Neural Network）、残差ネットワーク（ＲｅｓＮｅｔ：Residual Network）等の他のニューラルネットワークを設定してもよい。また、模様・マーク用モデル１３４１は、決定木、回帰木、ランダムフォレスト、勾配ブースティング木、線形回帰、ロジスティック回帰、又は、ＳＶＭ（サポートベクターマシン）等の教師あり学習の推定モデルを一部或いは全部に設定してもよい。

【0055】

模様・マーク用モデル１３４１は、学習時において、撮像画像が入力された場合に、撮像画像に含まれる物体領域Ａの模様やマークを示す推定結果を出力する。分類処理部１３４Ａは、推定結果が、教師データとしてのタグと一致するように模様・マーク用モデル１３４１の処理パラメータを更新する。処理パラメータは、例えば、畳み込みニューラルネットワークにおける、層数、各層のノード数、各層間のノードの結合方式、活性化関数、誤差関数、及び勾配降下アルゴリズム、プーリングの領域、カーネル、重み係数、および重み行列の少なくとも一つである。分類処理部１３４Ａは、推定時において、変換部１３２から供給された物体領域Ａの画像を入力し、分類結果を出力する。分類処理部１３４Ａは、例えば分類結果に対応したタグを付与した物体領域Ａの画像を分類処理部１３４Ｂおよび分類処理部１３４Ｃに出力する。

【0056】

分類処理部１３４Ｂは、形状用モデル１３４２に従った分類処理を行う。形状用モデル１３４２は、例えば、鍵穴の形状を示すタグが付与された撮像画像を教師データとして機械学習されたモデルである。実施形態における機械学習モデルは、例えば畳み込みニューラルネットワーク（ＣＮＮ）であるが、模様・マーク用モデル１３４１と同様にこれに限定されず、パーセプトロンのニューラルネットワーク、再起型ニューラルネットワーク（ＲＮＮ）、残差ネットワーク（ＲｅｓＮｅｔ）等の他のニューラルネットワークを設定してもよい。また、形状用モデル１３４２は、決定木、回帰木、ランダムフォレスト、勾配ブースティング木、線形回帰、ロジスティック回帰、又は、ＳＶＭ（サポートベクターマシン）等の教師あり学習の推定モデルを一部或いは全部に設定してもよい。形状用モデル１３４２は、学習時において、撮像画像が入力された場合に、撮像画像に含まれる鍵穴の形状を示す推定結果を出力する。分類処理部１３４Ｂは、推定結果が、教師データとしてのタグと一致するように形状用モデル１３４１の処理パラメータを更新する。処理パラメータは、例えば、畳み込みニューラルネットワークにおける、層数、各層のノード数、各層間のノードの結合方式、活性化関数、誤差関数、及び勾配降下アルゴリズム、プーリングの領域、カーネル、重み係数、および重み行列の少なくとも一つである。分類処理部１３４Ｂは、推定時において、分類処理部１３４Ａから供給された物体領域Ａの画像を入力し、分類結果を出力する。分類処理部１３４Ｂは、例えば分類結果に対応したタグを付与した物体領域Ａの画像を直径分類部１３６に出力する。分類処理部１３４Ｂは、例えば図１７（ａ）および（ｂ）に示した楕円形の鍵穴の形状と、図１７（ｃ）に示した円形の鍵穴の形状とで、２種類に分類する。

【0057】

分類処理部１３４Ｃは、位置用モデル１３４３に従った分類処理を行う。位置用モデル１３４３は、例えば、鍵穴の位置を示すタグが付与された撮像画像を教師データとして機械学習されたモデルである。実施形態における機械学習モデルは、例えば畳み込みニューラルネットワークであるが、模様・マーク用モデル１３４１と同様にこれに限定されず、パーセプトロンのニューラルネットワーク、再起型ニューラルネットワーク（ＲＮＮ）、残差ネットワーク（ＲｅｓＮｅｔ）等の他のニューラルネットワークを設定してもよい。また、形状用モデル１３４２は、決定木、回帰木、ランダムフォレスト、勾配ブースティング木、線形回帰、ロジスティック回帰、又は、ＳＶＭ（サポートベクターマシン）等の教師あり学習の推定モデルを一部或いは全部に設定してもよい。位置用モデル１３４３は、学習時において、撮像画像が入力された場合に、撮像画像に含まれる鍵穴の位置を示す推定結果を出力する。分類処理部１３４Ｂは、推定結果が、教師データとしてのタグと一致するように形状用モデル１３４１の処理パラメータを更新する。処理パラメータは、例えば、畳み込みニューラルネットワークにおける、層数、各層のノード数、各層間のノードの結合方式、活性化関数、誤差関数、及び勾配降下アルゴリズム、プーリングの領域、カーネル、重み係数、および重み行列の少なくとも一つである。分類処理部１３４Ｃは、推定時において、分類処理部１３４Ａから供給された物体領域Ａの画像を入力し、分類結果を出力する。分類処理部１３４Ｃは、例えば分類結果に対応したタグを付与した物体領域Ａの画像を直径分類部１３６に出力する。分類処理部１３４Ｃは、例えば図１７（ａ）および（ｂ）に示した鍵穴の位置と、図１７（ｃ）に示した鍵穴の位置とで、２種類に分類する。

【0058】

直径分類部１３６は、物体領域Ａが示す物体の直径に従った分類処理を行う。直径分類部１３６は、位置推定部１２０により求めた物体領域Ａの幅ｗを示す情報を取得する。直径分類部１３６は、物体領域Ａの幅ｗが所定値以上であるか否かを判定し、判定結果に応じて、分類結果に対応したタグを付与する。所定値は、例えば、マンホールの規格により設定されている直径である。直径分類部１３６は、タグを付与した物体領域Ａの画像を分類結果として出力する。なお、物体検出システム１により取得した物体領域Ａの幅ｗに関する情報を他のシステムに提供し、直径分類部１３６は、当該他のシステムにより取得した物体領域Ａの幅ｗを用いて分類を行ってもよい。これにより、物体検出システム１は、他のシステムにより計算された正確な物体領域Ａの幅ｗを用いて、高い精度で分類を行うことができる。

【0059】

モデル構築部１３８は、模様・マーク用モデル１３４１、形状用モデル１３４２、および位置用モデル１３４３を構築する。モデル構築部１３８は、模様・マーク用モデル１３４１に教師データを入力し、模様・マーク用モデル１３４１から出力された分類結果が、教師データとしてのタグとなるように模様・マーク用モデル１３４１の処理パラメータを再帰的に更新する。モデル構築部１３８は、形状用モデル１３４２に教師データを入力し、形状用モデル１３４２から出力された分類結果が、教師データとしてのタグとなるように形状用モデル１３４２の処理パラメータを再帰的に更新する。モデル構築部１３８は、位置用モデル１３４３に教師データを入力し、位置用モデル１３４３から出力された分類結果が、教師データとしてのタグとなるように位置用モデル１３４３の処理パラメータを再帰的に更新する。なお、モデル構築部１３８は、分類部１３０に含まれていなくてもよく、物体検出装置１００の初期設定時やメンテナンス時に各モデルを分類部１３０に導入することができればよい。

【0060】

＜実施形態の効果＞
以上説明したように、実施形態の物体検出システム１によれば、撮像画像から物体領域Ａを検出する検出部１１０と、物体領域Ａに対応した物体の位置を推定する位置推定部１２０と、を備え、位置推定部１２０により、物体領域Ａの画像内位置を基準とした形状を有する矩形２００から物体領域Ａの画像内位置を基準とした形状を有する台形３００への変換関数に基づいて矩形２００の中心点Ｃを変換し、変換した中心点Ｃ＃を物体の位置として推定する物体検出装置１００を実現することができる。変換関数は、例えば、物体領域Ａの幅ｗに対応した長さの辺を有する矩形２００を、物体領域Ａの端部座標および撮像画像の収束点に基づいて台形３００に変換する関数である。実施形態の物体検出装置１００によれば、高い精度で物体の位置を検出することができる。実施形態の物体検出装置１００によれば、例えば、撮像画像に含まれる物体領域Ａを平面座標に変換して物体の位置を推定した場合のように、変換時に生ずる位置のズレを抑制することができる。

【0061】

実施形態の物体検出システム１によれば、位置推定部１２０により、物体領域Ａを台形補正し、台形補正された物体領域Ａ’を円領域Ａ’’に変換し、台形補正された物体領域Ａ’と、円領域Ａ’’との比較に基づいて、物体領域Ａに対応した物体を選別することができる。これにより、物体検出システム１によれば、物体が障害物により隠された場合に、当該物体に対応した物体領域Ａを位置推定の対象から除外することができる。この結果、物体検出システム１によれば、位置推定の精度を高くすることができる。

【0062】

実施形態の物体検出システム１によれば、位置推定部１２０により、物体領域Ａの画像内位置に基づく撮像位置から物体までの距離（Ｒｍｉｎ～Ｒｍａｘ）に基づいて、物体領域Ａに対応した物体を選別することができる。これにより、実施形態の物体検出システム１によれば、車載装置１０から遠い位置の物体に対応した物体領域Ａの位置を推定する処理を回避することができる。この結果、物体検出システム１によれば、位置推定の精度を高くすることができる。

【0063】

実施形態の物体検出システム１によれば、位置推定部１２０により、検出部１１０により検出された物体領域Ａの幅と所定の物体領域幅との比較に基づいて、物体領域Ａに対応した物体を選別することができる。これにより、物体検出システム１によれば、例えば、撮像画像の端で見切れた物体領域Ａを位置推定の処理対象から除外することができる。この結果、物体検出システム１によれば、位置推定の精度を高くすることができる。

【0064】

実施形態の物体検出システム１によれば、位置推定部により、撮像画像のうち左側画像に基づいて検出された第１の中心点ＣＬと撮像画像のうち右側画像に基づいて検出された第２の中心点ＣＲとの距離が、第１の所定値以内Ｄａかつ第２の所定値Ｄｂ以上である場合に、第１の中心点ＣＬを持つ物体領域Ａに対応した物体と第２の中心点ＣＲを持つ物体領域Ａに対応した物体とが同じであると判定することができる。これにより、物体検出システム１によれば、右側画像および左側画像における物体のズレにより物体の同一性の誤りを抑制することができる。この結果、物体検出システム１によれば、同一であると判定された物体について、左側画像を用いて推定した位置と右側画像を用いて推定した位置とを対応付けた情報を提供することができる。

【0065】

実施形態の物体検出システム１によれば、撮像画像から物体領域Ａを検出する検出部１１０と、物体領域Ａに含まれる物体を第１の要素に基づいて分類する第１の処理を実行する分類処理部１３４Ａと、第１の処理により分類された物体を第２の要素に基づいて分類する第２の処理とを実行する分類処理部１３４Ｂおよび分類処理部１３４Ｃと、を備える分類部１３０（物体分類装置）を実現することできる。第１の要素は、物体の模様および記号のうちの少なくとも一つであり、第２の要素は、物体の穴部の形状、位置、および大きさのうちの少なくとも一つである。実施形態の物体検出システム１によれば、複数の段階に分けて物体を分類するので分類精度を高くすることができる。また、実施形態の物体検出システム１によれば、複数の段階に分けて物体を分類するので分類を詳細化することができる。

【0066】

実施形態の物体検出システム１によれば、分類部１３０が、第１の要素および第１の分類結果（タグ）を教師データとして機械学習され、物体領域Ａに含まれる第１の要素を入力した場合に第１の分類結果を出力する第１のモデル（１３４１）と、第２の要素および第２の分類結果を教師データとして機械学習され、物体領域Ａに含まれる第２の要素を入力した場合に第２の分類結果を出力する第２のモデル（１３４２または１３４３）とを含む。実施形態の物体検出システム１によれば、複数の段階に分けて機械学習モデルを構築したので、各機械学習モデルの分類精度を高くすることができる。

【0067】

実施形態の物体検出システム１によれば、分類部１３０により、検出部１１０により検出された物体領域Ａを台形補正し、台形補正された物体領域Ａに基づいて第１の処理および第２の処理を実行するので、分類精度を高くすることができる。

【0068】

実施形態の物体検出システム１によれば、撮像画像から物体領域を検出する検出部１１０と、物体領域Ａに含まれる物体を、模様および記号のうちの少なくとも一つに基づいて分類する分類処理部１３４Ａ（第１の分類部）と、分類処理部１３４Ａにより分類された物体を、穴部の形状に基づいて分類する分類処理部１３４Ｂ（第２の分類部）と、分類処理部１３４Ｂにより分類された物体を、穴部の位置に基づいて分類する分類処理部１３４Ｃ（第３の分類部）と、分類処理部１３４Ｂにより分類された物体を大きさに基づいて分類し、分類処理部１３４Ｃにより分類された物体を大きさに基づいて分類する直径分類部１３６と、を備える、分類部１３０を実現することができる。実施形態の物体検出システム１によれば、物体の模様および記号と、穴部の形状と、穴部の位置と、物体を大きさとに分けて多段階で分類処理を行うことができるので、分類精度を高くすることができる。

【0069】

実施形態の物体検出システム１によれば、分類処理部１３４Ａにより、模様および記号のうちの少なくとも一つおよび第１の分類結果を教師データとして機械学習され、物体領域Ａに含まれる模様および記号のうちの少なくとも一つを入力した場合に第１の分類結果を出力する模様・マーク用モデル１３４１（第１のモデル）に基づく処理を行い、分類処理部１３４Ｂにより、穴部の形状および第２の分類結果を教師データとして機械学習され、分類処理部１３４Ａにより分類された物体に対応した穴部の形状を入力した場合に第２の分類結果を出力する形状用モデル１３４２（第２のモデル）に基づく処理を行い、分類処理部１３４Ｃにより、穴部の位置および第３の分類結果を教師データとして機械学習され、分類処理部１３４Ａにより分類された物体の穴部の位置を入力した場合に第３の分類結果を出力する位置用モデル１３４３（第３のモデル）に基づく処理を行い、直径分類部１３６により、物体の大きさに基づいて、分類処理部１３４Ｂにより分類された物体を分類し、分類処理部１３４Ｃにより分類された物体を分類する。これにより、実施形態の物体検出システム１によれば、物体の模様および記号と、穴部の形状と、穴部の位置とに分けて機械学習モデルを構築したので、各機械学習モデルの分類精度を高くすることができる。

【0070】

なお、各実施形態および変形例について説明したが、一例であってこれらに限られず、例えば、各実施形態や各変形例のうちのいずれかや、各実施形態の一部や各変形例の一部を、他の１または複数の実施形態や他の１または複数の変形例と組み合わせて本発明の一態様を実現させてもよい。

【0071】

なお、本実施形態における物体検出装置１００の各処理を実行するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、当該記録媒体に記録されたプログラムを、コンピュータシステムに読み込ませ、実行することにより、物体検出装置１００に係る上述した種々の処理を行ってもよい。

【0072】

なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器などのハードウェアを含むものであってもよい。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリなどの書き込み可能な不揮発性メモリ、ＣＤ－ＲＯＭなどの可搬媒体、コンピュータシステムに内蔵されるハードディスクなどの記憶装置のことをいう。

【0073】

さらに「コンピュータ読み取り可能な記録媒体」とは、インターネットなどのネットワークや電話回線などの通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Ｄｙｎａｍｉｃ
Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ））のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置などに格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。

【0074】

ここで、プログラムを伝送する「伝送媒体」は、インターネットなどのネットワーク（通信網）や電話回線などの通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

【符号の説明】

【0075】

１ 物体検出システム
１０ 車載装置
１００ 物体検出装置
１１０ 検出部
１２０ 位置推定部
１３０ 分類部
１３２ 変換部
１３４Ａ、１３４Ｂ、１３４Ｃ 分類処理部
１３４１、模様・マーク用モデル
１３４２ 形状用モデル
１３４３ 位置用モデル
１３６ 直径分類部
１３８ モデル構築部
１４０ 情報提供部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】