特許 7687381 推定装置、推定方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-05-26

(45)【発行日】2025-06-03

(54)【発明の名称】推定装置、推定方法及びプログラム

(51)【国際特許分類】

   G06T 7/66 20170101AFI20250527BHJP

【ＦＩ】

G06T7/66

【請求項の数】 8

(21)【出願番号】P 2023500218

(86)(22)【出願日】2021-02-18

(86)【国際出願番号】 JP2021006119

(87)【国際公開番号】W WO2022176104

(87)【国際公開日】2022-08-25

【審査請求日】2023-08-15

【前置審査】

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100107331

【弁理士】

【氏名又は名称】中村 聡延

(72)【発明者】

【氏名】馬場崎 康敬

(72)【発明者】

【氏名】宮野 博義

【審査官】清水 祐樹

(56)【参考文献】

【文献】特開２００５－０３８１２１（ＪＰ，Ａ）

【文献】特開２０１２－０８３８５５（ＪＰ，Ａ）

【文献】特開平０９－１７９９８８（ＪＰ，Ａ）

【文献】特開平１１－１９１１６０（ＪＰ，Ａ）

【文献】特開２０１５－１９１６２６（ＪＰ，Ａ）

【文献】Jianan Zhen, Qi Fang, Jiaming Sun, Wentao Liu, Wei Jiang, Hujun Bao, Xiaowei Zhou，SMAP: Single-Shot Multi-Person Absolute 3D Pose Estimation，arXiv:2008.11469v1 [cs.CV]，2020年08月26日，<URL: https://arxiv.org/abs/2008.11469>，<DOI: 10.48550/arXiv.2008.11469>

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００ － ７／９０

Ｇ０６Ｖ １０／００ － ２０／９０

Ｇ０６Ｖ ３０／４１８

Ｇ０６Ｖ ４０／１６

Ｇ０６Ｖ ４０／２０

(57)【特許請求の範囲】

【請求項1】

画像に含まれる物体において特徴的な部位の位置である複数種類の特徴点を推定する特徴点推定手段と、
画像と、当該画像に含まれる前記複数種類の特徴点の各々の位置からの、前記物体の中心位置となる代表点の候補である代表点候補の相対的な位置を表すベクトルとの関係を学習したモデルに基づき、前記複数種類の特徴点の各々の位置を基準とした場合の前記代表点候補の相対的な位置を表すベクトルを推定するベクトル推定手段と、
前記複数の特徴点の各々と、前記ベクトルとの組に基づき、複数の前記代表点候補を決定する代表点候補決定手段と、
前記複数の代表点候補を統合した前記代表点を決定する代表点決定手段と、
を有する推定装置。

【請求項2】

前記代表点決定手段は、前記物体の数を推定し、前記物体が複数存在する場合には前記物体の各々に対する前記代表点を決定する、請求項１に記載の推定装置。

【請求項3】

前記代表点決定手段は、前記複数の代表点候補のクラスタごとの前記代表点候補の重心点のいずれかを、前記代表点として選択する、請求項１または２に記載の推定装置。

【請求項4】

前記代表点決定手段は、前記クラスタごとの前記代表点候補に対応する前記特徴点の種類数が最大となる前記クラスタの前記重心点、又は、前記特徴点推定手段による前記特徴点の推定において得られた前記特徴点の確からしさを表すスコアの代表値が所定の閾値以上となる前記重心点を、前記代表点として選定する、請求項３に記載の推定装置。

【請求項5】

前記代表点決定手段は、前記複数の代表点候補の各々の位置を前記代表点としての信頼度を表す正規分布のピークとするマップを生成し、生成したマップを足し合わせた累積マップにおける前記信頼度が所定値以上となるピークを、前記代表点として選択する、請求項１または２に記載の推定装置。

【請求項6】

前記代表点決定手段が決定した前記代表点である推定代表点と、前記複数の特徴点とに基づき、前記物体の姿勢又は前記物体が属する前記画像上の領域の推定を行う物体構築手段をさらに有する、請求項１～５のいずれか一項に記載の推定装置。

【請求項7】

コンピュータが、
画像に含まれる物体において特徴的な部位の位置である複数種類の特徴点を推定し、
画像と、当該画像に含まれる前記複数種類の特徴点の各々の位置からの、前記物体の中心位置となる代表点の候補である代表点候補の相対的な位置を表すベクトルとの関係を学習したモデルに基づき、前記複数種類の特徴点の各々の位置を基準とした場合の前記代表点候補の相対的な位置を表すベクトルを推定し、
前記複数の特徴点の各々と、前記ベクトルとの組に基づき、複数の前記代表点候補を決定し、
前記複数の代表点候補を統合した前記代表点を決定する、
推定方法。

【請求項8】

画像に含まれる物体において特徴的な部位の位置である複数種類の特徴点を推定し、
画像と、当該画像に含まれる前記複数種類の特徴点の各々の位置からの、前記物体の中心位置となる代表点の候補である代表点候補の相対的な位置を表すベクトルとの関係を学習したモデルに基づき、前記複数種類の特徴点の各々の位置を基準とした場合の前記代表点候補の相対的な位置を表すベクトルを推定し、
前記複数の特徴点の各々と、前記ベクトルとの組に基づき、複数の前記代表点候補を決定し、
前記複数の代表点候補を統合した前記代表点を決定する処理をコンピュータに実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、推定装置、推定方法及び記憶媒体の技術分野に関する。

【背景技術】

【0002】

画像から人や物などの物体を検出する技術が存在する。例えば、特許文献１には、動画像のフレームごとに各人物の頭部、肩、肘、手、腰、膝、足等の部位を検出して姿勢を推定し、各人物の座標情報を生成する方法が開示されている。また、非特許文献１には、物体の代表点を推定し、推定した代表点から各関節点までのベクトルを推定することで物体の姿勢を推定する技術が開示されている。また、非特許文献２には、ハフ投票を用いた姿勢推定及びインスタンスセグメンテーションに関する技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０２０－１５５０８９号公報

【非特許文献】

【0004】

【文献】X. Zhou, et. al. "Objects as Points", "https://arxiv.org/pdf/1904.07850.pdf", 2019.

【文献】George Papandreou, Tyler Zhu, Liang-Chieh Chen, Spyros Gidaris,Jonathan Tompson, Kevin Murphy, " PersonLab: Person Pose Estimation and Instance Segmentation with a Bottom-Up, Part-Based, Geometric Embedding Model", "https://arxiv.org/pdf/1803.08225.pdf", 2018.

【発明の概要】

【発明が解決しようとする課題】

【0005】

物体や人同士の重なりなどが多発する混雑状況下では、物体の一部が他の物体により遮蔽されるため、姿勢構築に必要な関節点の一部が隠れたり、物体の代表点となる中心位置が隠れたりする場合がある。このような場合には、上述した姿勢等の推定手法における推定精度が低下するという問題があった。

【0006】

本開示の目的の一つは、上述した課題を鑑み、物体の一部が隠れていても、物体の代表点を好適に推定可能な推定装置、推定方法及び記憶媒体を提供することである。

【課題を解決するための手段】

【0007】

推定装置の一の態様は、
画像に含まれる物体において特徴的な部位の位置である複数種類の特徴点を推定する特徴点推定手段と、
画像と、当該画像に含まれる前記複数種類の特徴点の各々の位置からの、前記物体の中心位置となる代表点の候補である代表点候補の相対的な位置を表すベクトルとの関係を学習したモデルに基づき、前記複数種類の特徴点の各々の位置を基準とした場合の前記代表点候補の相対的な位置を表すベクトルを推定するベクトル推定手段と、
前記複数の特徴点の各々と、前記ベクトルとの組に基づき、複数の前記代表点候補を決定する代表点候補決定手段と、
前記複数の代表点候補を統合した前記代表点を決定する代表点決定手段と、
を有する推定装置である。

【0008】

推定方法の一の態様は、
コンピュータが、
画像に含まれる物体において特徴的な部位の位置である複数種類の特徴点を推定し、
画像と、当該画像に含まれる前記複数種類の特徴点の各々の位置からの、前記物体の中心位置となる代表点の候補である代表点候補の相対的な位置を表すベクトルとの関係を学習したモデルに基づき、前記複数種類の特徴点の各々の位置を基準とした場合の前記代表点候補の相対的な位置を表すベクトルを推定し、
前記複数の特徴点の各々と、前記ベクトルとの組に基づき、複数の前記代表点候補を決定し、
前記複数の代表点候補を統合した前記代表点を決定する、
推定方法である。

【0009】

プログラムの一の態様は、
画像に含まれる物体において特徴的な部位の位置である複数種類の特徴点を推定し、
画像と、当該画像に含まれる前記複数種類の特徴点の各々の位置からの、前記物体の中心位置となる代表点の候補である代表点候補の相対的な位置を表すベクトルとの関係を学習したモデルに基づき、前記複数種類の特徴点の各々の位置を基準とした場合の前記代表点候補の相対的な位置を表すベクトルを推定し、
前記複数の特徴点の各々と、前記ベクトルとの組に基づき、複数の前記代表点候補を決定し、
前記複数の代表点候補を統合した前記代表点を決定する処理をコンピュータに実行させるプログラムである。

【発明の効果】

【0010】

物体の代表点を好適に推定することができる。

【図面の簡単な説明】

【0011】

【図1】実施形態における物体検出システムの概略構成である。

【図2】（Ａ）学習装置のハードウェア構成の一例を示す。（Ｂ）推定装置のハードウェア構成の一例を示す。

【図3】代表点推定処理の概要を示す図である。

【図4】学習装置の機能ブロックの一例を示す。

【図5】推定装置の機能ブロックの第１の例を示す。

【図6】推定装置の機能ブロックの第２の例を示す。

【図7】（Ａ）図５に示す機能ブロックにおいて出力されるベクトルマップを示す。（Ｂ）図６に示す機能ブロックにおいて出力されるベクトルマップを示す。

【図8】信頼度マップに基づく代表点候補の統合処理の概要を示す。

【図9】クラスタ分割に基づく代表点候補の統合方法の概要を示す。

【図10】推定装置が実行する処理手順を示すフローチャートの一例である。

【図11】第１変形例において算出される回帰点を画像上に明示した図である。

【図12】（Ａ）ボックス頂点を特徴点として推定した場合の推定した特徴点を画像上において明示した図である。（Ｂ）代表点候補を画像上において明示した図である。（Ｃ）代表点候補から決定した推定代表点及び推定されたボックス頂点である推定ボックス頂点を画像上において明示した図である。

【図13】（Ａ）検出対象の物体の境界点を特徴点として推定した場合の推定した特徴点を画像上において明示した図である。（Ｂ）代表点候補を画像上において明示した図である。（Ｃ）代表点候補から決定した推定代表点及び推定された境界点及び物体領域を画像上において明示した図である。

【図14】第２実施形態に係る学習装置の概略構成を示す。

【図15】第２実施形態において学習装置が実行する処理手順を示すフローチャートの一例である。

【発明を実施するための形態】

【0012】

以下、図面を参照しながら、推定装置、推定方法及び記憶媒体の実施形態について説明する。

【0013】

＜第１実施形態＞
（１）全体構成
図１は、第１実施形態における物体検出システム１００の概略構成である。物体検出システム１００は、物体の検出を行うシステムであって、物体を代表する代表点を高精度に推定する。物体検出システム１００は、主に、物体の検出に用いるモデルの学習を行う学習装置１と、学習装置１及び物体検出装置３が参照する情報を記憶する記憶装置２と、物体の検出に関する処理を行う物体検出装置３と、物体を検出する対象となる空間の撮影を行うカメラ４とを有する。

【0014】

学習装置１は、記憶装置２の学習データ記憶部２１が記憶する学習データに基づいて、物体の検出に関するモデル（学習器）の学習を行い、学習により得られたモデルのパラメータをパラメータ記憶部２２に記憶する。

【0015】

記憶装置２は、学習データ記憶部２１と、パラメータ記憶部２２とを有する。学習データ記憶部２１は、学習装置１による学習に用いられる学習用（訓練用）のデータである学習データを記憶する。学習データは、入力用画像と当該画像に含まれる物体に関する正解データとを含んでいる。ここで、正解データは、入力用画像に含まれる各物体の特徴点に関する情報を含んでいる。ここで、「特徴点」は、追跡対象において特徴的な部位の位置であって、検出対象となる物体の種類によって予め定められている。特徴点は、例えば、検出対象が人の場合には、一般的に人が備える各関節の位置を示す。正解データは、例えば、特徴点の種類（クラス）を示す識別情報と、特徴点が属する物体の識別情報と、特徴点の位置情報と、特徴点から物体の代表点までのベクトル情報とを含んでいる。

【0016】

パラメータ記憶部２２は、学習装置１が学習するモデルのパラメータを記憶する。このモデルは、ニューラルネットワークに基づく学習モデルであってもよく、サポートベクターマシーンなどの他の種類の学習モデルであってもよく、これらを組み合わせた学習モデルであってもよい。例えば、畳み込みニューラルネットワークなどのニューラルネットワークに基づくモデルが用いられる場合には、パラメータ記憶部２２には、モデルにおいて採用される層構造、各層のニューロン構造、各層におけるフィルタ数及びフィルタサイズ、並びに各フィルタの各要素の重みなどの種々のパラメータの情報が記憶される。

【0017】

なお、記憶装置２は、学習装置１又は物体検出装置３に接続又は内蔵されたハードディスクなどの外部記憶装置であってもよく、フラッシュメモリなどの記憶媒体であってもよく、学習装置１及び物体検出装置３とデータ通信を行うサーバ装置などであってもよい。また、記憶装置２は、複数の記憶装置から構成され、上述した各記憶部を分散して保有してもよい。

【0018】

物体検出装置３は、カメラ４が撮影した画像に含まれる物体の検出を行う。この場合、物体検出装置３は、パラメータ記憶部２２が記憶するパラメータを参照することで、学習装置１が学習したモデルを構成し、当該モデルに基づき代表点の推定に関する処理を行う。以後では、物体検出装置３が物体検出に用いる画像（図１ではカメラ４が撮影した画像）を、「検出対象画像Ｉｔａｇ」とも呼ぶ。

【0019】

なお、図１に示される物体検出システム１００の構成は一例であり、種々の変更が行われてもよい。例えば、学習装置１と、記憶装置２と、物体検出装置３とのうち少なくとも２つが同一装置により実現されてもよい。他の例では、学習装置１と物体検出装置３とは、夫々、複数の装置により構成されてもよい。この場合、学習装置１を構成する複数の装置及び物体検出装置３を構成する複数の装置は、予め割り当てられた処理を実行するために必要な情報の授受を、有線又は無線での直接通信により又はネットワークを介した通信により装置間において行う。また、物体検出システム１００は、カメラ４を備える代わりに、検出対象画像Ｉｔａｇとなる画像を記憶装置２等に予め記憶してもよい。

【0020】

（２）ハードウェア構成
次に、学習装置１及び物体検出装置３の各ハードウェア構成について説明する。

【0021】

図２（Ａ）は、学習装置１のハードウェア構成の一例を示す。学習装置１は、ハードウェアとして、プロセッサ１１と、メモリ１２と、インターフェース１３とを含む。プロセッサ１１、メモリ１２、及びインターフェース１３は、データバス１９を介して接続されている。

【0022】

プロセッサ１１は、メモリ１２に記憶されているプログラムを実行することにより、学習装置１の全体の制御を行うコントローラ（演算装置）として機能する。プロセッサ１１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＴＰＵ（Ｔｅｎｓｏｒ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、量子プロセッサなどのプロセッサである。プロセッサ１１は、複数のプロセッサから構成されてもよい。プロセッサ１１は、コンピュータの一例である。

【0023】

メモリ１２は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリなどの各種の揮発性メモリ及び不揮発性メモリにより構成される。また、メモリ１２には、学習装置１が実行する処理を実行するためのプログラムが記憶される。なお、メモリ１２が記憶する情報の一部は、学習装置１と通信可能な記憶装置２などの外部記憶装置により記憶されてもよく、学習装置１に対して着脱自在な記憶媒体により記憶されてもよい。また、メモリ１２は、記憶装置２が記憶する情報を代わりに記憶してもよい。

【0024】

インターフェース１３は、学習装置１と他の装置とを電気的に接続するためのインターフェースである。これらのインターフェースは、他の装置とデータの送受信を無線により行うためのネットワークアダプタなどのワイアレスインタフェースであってもよく、他の装置とケーブル等により接続するためのハードウェアインターフェースであってもよい。

【0025】

図２（Ｂ）は、物体検出装置３のハードウェア構成の一例を示す。物体検出装置３は、ハードウェアとして、プロセッサ３１と、メモリ３２と、インターフェース３３とを含む。プロセッサ３１、メモリ３２、及びインターフェース３３は、データバス３０を介して接続されている。

【0026】

プロセッサ３１は、メモリ３２に記憶されているプログラムを実行することにより、物体検出装置３の全体の制御を行うコントローラ（演算装置）として機能する。プロセッサ３１は、例えば、ＣＰＵ、ＧＰＵ、ＴＰＵ、量子プロセッサなどのプロセッサである。プロセッサ３１は、複数のプロセッサから構成されてもよい。プロセッサ３１は、コンピュータの一例である。

【0027】

メモリ３２は、ＲＡＭ、ＲＯＭ、フラッシュメモリなどの各種の揮発性メモリ及び不揮発性メモリにより構成される。また、メモリ３２には、物体検出装置３が実行する処理を実行するためのプログラムが記憶される。なお、メモリ３２が記憶する情報の一部は、物体検出装置３と通信可能な記憶装置２などの外部記憶装置により記憶されてもよく、物体検出装置３に対して着脱自在な記憶媒体により記憶されてもよい。また、メモリ３２は、記憶装置２が記憶する情報を代わりに記憶してもよい。

【0028】

インターフェース３３は、物体検出装置３と他の装置とを電気的に接続するためのインターフェースである。これらのインターフェースは、他の装置とデータの送受信を無線により行うためのネットワークアダプタなどのワイアレスインタフェースであってもよく、他の装置とケーブル等により接続するためのハードウェアインターフェースであってもよい。

【0029】

なお、学習装置１及び物体検出装置３のハードウェア構成は、図２（Ａ）及び図２（Ｂ）に示す構成に限定されない。例えば、学習装置１又は物体検出装置３の少なくとも一方は、ディスプレイなどの表示部、キーボードやマウスなどの入力部、スピーカなどの音出力部などをさらに備えてもよい。

【0030】

（３）代表点推定処理の概要
次に、物体検出装置３による物体の代表点推定に関する処理である代表点推定処理の概要について説明する。図３は、画像に基づき物体検出装置３が実行する代表点推定処理の概要を示す図である。図３では、代表点推定処理の過程において得られる処理結果を検出対象画像Ｉｔａｇ上において明示している。

【0031】

まず、物体検出装置３は、検出対象画像Ｉｔａｇから物体の特徴点を検出する処理を行う（上段参照）。この場合、物体検出装置３は、検出対象画像Ｉｔａｇ内の物体に対して予め定められた複数種類の特徴点の検出を行う。これにより、物体検出装置３は、１つの物体について複数の特徴点を検出する。次に、物体検出装置３は、検出した複数の特徴点の各々から、当該特徴点が属する物体の代表点の候補となる位置を推定する。以後では、個々の特徴点から推定される、物体の代表点の候補となる位置を単に「代表点候補」とも呼ぶ。代表点候補は、検出された特徴点の数と同じ数だけ生成される。

【0032】

次に、物体検出装置３は、物体毎に、複数の代表点候補から物体の代表点となる位置の推定を行う。この場合、物体検出装置３は、物体毎に、特徴点と同数の代表点候補に基づき、物体の代表点として尤もらしい位置を投票により推定する。物体検出装置３が推定した代表点を「推定代表点」とも呼ぶ。このように、物体検出装置３は、検出された特徴点の各々から代表点を推定し、その複数の推定結果を統合して最終的な代表点の推定位置を決定することで、一部の特徴点が隠れた場合であっても、検出された特徴点に基づいて高精度に物体の代表点を推定することができる。また、学習装置１は、高精度に推定された推定代表点に基づき、物体の姿勢などについても高精度に推定することが可能である。なお、物体の代表点から物体の関節点などの特徴点及び物体の姿勢を推定する手法については、例えば、非特許文献１に開示されている。

【0033】

（４）学習装置の処理
次に、図３において説明した代表点推定処理に必要な学習装置１によるモデルの学習方法の一例について説明する。図４は、学習装置１の機能ブロックの一例である。図４に示すように、学習装置１のプロセッサ１１は、機能的には、特徴マップ出力部１４と、複数組（ここでは第１組～第Ｎ組）の特徴点推定部１５（１５１～１５Ｎ）及びベクトル推定部１６（１６１～１６Ｎ）と、学習部１７とを有する。「Ｎ」は、検出対象となる物体が有する特徴点の数（種類数）であり、２以上の整数に設定される。なお、図４では、データの授受が行われるブロック同士を実線により結んでいるが、データの授受が行われるブロックの組合せは図４に限定されない。後述する他の機能ブロックの図においても同様である。

【0034】

特徴マップ出力部１４は、学習データ記憶部２１から抽出した入力画像から特徴マップ「Ｍｐ」を生成する。ここで、特徴マップＭｐは、画像を後述する各特徴点推定部１５及び各ベクトル推定部１６への入力に適した形式に変換したデータであり、画像における特徴量を表すマップとなっている。この場合、特徴マップ出力部１４は、例えば、画像が入力された場合に特徴マップＭｐを出力する学習モデル（「特徴マップ出力モデル」とも呼ぶ。）である。特徴マップ出力モデルのパラメータは、学習部１７により決定され、パラメータ記憶部２２に記憶される。なお、特徴マップ出力部１４は、１個設けられる代わりに、例えば、特徴点推定部１５及びベクトル推定部１６の組ごとに計Ｎ個設けられてもよい。他の例では、特徴マップ出力部１４は、特徴点推定部１５とベクトル推定部１６とに対して別々に計２個設けられてもよく、特徴点推定部１５１～１５Ｎ及びベクトル推定部１６１～１６Ｎの各々に対して個別に計２Ｎ個設けられてもよい。また、特徴マップ出力部１４は、時系列に生成された複数の入力画像から１つの特徴マップＭｐを生成してもよい。

【0035】

特徴点推定部１５（１５１～１５Ｎ）は、特徴マップＭｐに基づき、検出対象の物体の特徴点（特徴点の位置）の推定を行う。図４の例では、特徴点推定部１５１～１５Ｎは、夫々割り当てられた種類の特徴点の推定を行い、推定した特徴点を示す特徴点情報「Ｉｐ１」～「ＩｐＮ」を出力する。この場合、各特徴点推定部１５は、例えば、特徴マップＭｐが入力された場合に対象の特徴点に関する推定結果を出力する学習モデル（「特徴点推定モデル」とも呼ぶ。）である。特徴点推定モデルは、例えば、対象の特徴点の座標値を示す回帰型のモデルであってもよく、特徴点の座標値ごとの信頼度を示す画像上のヒートマップ（信頼度マップ）を出力するモデルであってもよい。「座標値」は、ピクセル単位での画像内の位置を示す値であってもよく、サブピクセル単位での画像内の位置を示す値であってもよい。この場合、各特徴点推定部１５に対応する特徴点推定モデルのパラメータは、学習部１７により決定され、パラメータ記憶部２２に記憶される。

【0036】

ベクトル推定部１６（１６１～１６Ｎ）は、特徴マップＭｐに基づき、検出対象の物体の特徴点から代表点に向かうベクトル（「代表点指向ベクトル」とも呼ぶ。）を推定する。代表点指向ベクトルは、例えば、対象の特徴点の位置を基準とした場合の代表点候補の相対的な位置（ｘ座標及びｙ座標）を示す。図４の例では、ベクトル推定部１６１～１６Ｎは、夫々割り当てられた種類の特徴点からの代表点指向ベクトルを示すベクトル情報「Ｉｖ１」～「ＩｖＮ」を出力する。この場合、各ベクトル推定部１６は、特徴マップＭｐが入力された場合に対象の特徴点から代表点候補までのベクトルである代表点指向ベクトルに関する情報を出力する学習モデル（「ベクトル推定モデル」とも呼ぶ。）である。ベクトル推定モデルが出力する情報は、例えばベクトルマップであり、その詳細については後述する。そして、各ベクトル推定部１６に対応するベクトル推定モデルのパラメータは、学習部１７により決定され、パラメータ記憶部２２に記憶される。

【0037】

なお、ベクトル推定部１６１～１６Ｎは、対応する特徴点推定部１５１～１５Ｎでの特徴点の推定結果に基づいて代表点指向ベクトルを推定してもよい。この場合、ベクトル推定モデルは、特徴マップＭｐ及び対応する特徴点推定部１５での推定結果が入力された場合に代表点指向ベクトルに関する情報を出力する学習モデルとなる。

【0038】

また、ベクトル推定部１６に対応するベクトル推定モデルは、特徴マップＭｐが入力された場合に、全種類の特徴点に関するベクトル情報を出力するように学習される学習モデルであってもよい。この場合、図４に示すベクトル推定部１６１～ベクトル推定部１６Ｎに代えて、１個のベクトル推定部１６が設けられる。同様に、特徴点推定部１５に対応する特徴点推定モデルは、特徴マップＭｐが入力された場合に全種類の特徴点に関する特徴点情報を出力するように学習される学習モデルであってもよい。この場合、図４に示す特徴点推定部１５１～特徴点推定部１５Ｎに代えて、１個の特徴点推定部１５が設けられる。

【0039】

学習部１７は、特徴点情報Ｉｐ１～ＩｐＮ及びベクトル情報Ｉｖ１～ＩｖＮと学習データ記憶部２１に記憶された正解データとに基づき、特徴マップ出力モデル、特徴点推定モデル及びベクトル推定モデルのパラメータの更新を行う。この場合、学習部１７は、特徴点情報Ｉｐ１～ＩｐＮが示す各特徴点の位置と正解データが示す各特徴点の位置との誤差（損失）、及び、ベクトル情報Ｉｖ１～ＩｖＮが示す各代表点指向ベクトルと正解データが示す特徴点から代表点までのベクトルとの誤差（損失）を最小化するように上述のパラメータを決定する。このようなパラメータ決定アルゴリズムは、勾配降下法や誤差逆伝播法などの機械学習において用いられる任意の学習アルゴリズムであってもよい。そして、学習部１７は、所定の学習の終了条件が満たされた場合に学習を終了する。学習部１７は、例えば、予め定めた数の入力画像と正解データの組に対する学習が完了した場合、学習を終了すべき旨のユーザ入力等を検知した場合、又は／及び、誤差が所定の閾値以下となった場合に、学習の終了条件が満たされたと判定する。

【0040】

（５）物体検出装置の処理
次に、学習装置１による学習処理後に物体検出装置３が実行する処理について説明する。
（５－１）機能ブロック
図５は、物体検出装置３の機能ブロックの一例である。図５に示すように、物体検出装置３のプロセッサ３１は、機能的には、特徴マップ出力部３４と、複数組（ここでは第１組～第Ｎ組）の特徴点推定部３５（３５１～３５Ｎ）、ベクトル推定部３６（３６１～３６Ｎ）及び代表点候補決定部３７（３７１～３７Ｎ）と、代表点推定部３８と、物体構築部３９とを有する。

【0041】

特徴マップ出力部３４は、検出対象画像Ｉｔａｇを物体検出装置３が取得した場合に、検出対象画像Ｉｔａｇから特徴マップＭｐを生成する。この場合、特徴マップ出力部３４は、例えば、パラメータ記憶部２２を参照して学習装置１が学習した特徴マップ出力モデルを構成し、当該特徴マップ出力モデルに検出対象画像Ｉｔａｇを入力することで、特徴マップＭｐを取得する。なお特徴マップ出力部３４は、時系列に生成された複数の検出対象画像Ｉｔａｇから特徴マップＭｐを生成してもよい。

【0042】

特徴点推定部３５は、特徴マップＭｐに基づき、検出対象の物体の特徴点と推定される位置を決定する。図５の例では、特徴点推定部３５１～３５Ｎは、夫々割り当てられた種類の特徴点の推定を行い、推定した特徴点を示す特徴点情報Ｉｐ１～ＩｐＮを出力する。この場合、特徴点推定部３５は、パラメータ記憶部２２を参照して学習装置１が学習した特徴点推定モデルを構成し、当該特徴点推定モデルに特徴マップＭｐを入力することで、特徴点情報Ｉｐ１～ＩｐＮを取得する。ここで、特徴点推定部３５１～３５Ｎは、夫々、学習が完了した後の特徴点推定部１５１～１５Ｎ（図４参照）に相当する。

【0043】

ベクトル推定部３６は、特徴マップＭｐに基づき、検出対象の物体の特徴点から代表点候補までの代表点指向ベクトルを推定する。図５の例では、ベクトル推定部３６１～３６Ｎは、夫々割り当てられた種類の特徴点に対応する代表点指向ベクトルを示すベクトル情報Ｉｖ１～ＩｖＮを出力する。この場合、ベクトル推定部３６は、パラメータ記憶部２２を参照して学習装置１が学習したベクトル推定モデルを構成し、当該ベクトル推定モデルに特徴マップＭｐを入力することで、ベクトル情報Ｉｖ１～ＩｖＮを取得する。ここで、ベクトル推定部３６１～３６Ｎは、夫々、学習が完了した後のベクトル推定部１６１～１６Ｎ（図４参照）に相当する。

【0044】

代表点候補決定部３７は、複数の特徴点に基づく複数の代表点候補を決定する。図５の例では、代表点候補決定部３７１～３７Ｎは、特徴点推定部３５１～３５Ｎ及びベクトル推定部３６１～３６Ｎが特徴点の種類毎に出力する情報の組（Ｉｐ１，Ｉｖ１）～（ＩｐＮ，ＩｖＮ）に基づき、代表点候補を特徴点の種類ごとに示した代表点候補情報「Ｉｃ１」～「ＩｃＮ」を生成する。この場合、代表点候補決定部３７は、各特徴点について、特徴点情報が示す特徴点の推定位置と、対応するベクトル情報が示す代表点指向ベクトルとから代表点候補を決定する。このように、代表点候補決定部３７は、特徴点推定部３５が検出した特徴点の各々について、特徴点が属する物体の代表点の候補となる代表点候補を決定する。

【0045】

代表点推定部３８は、代表点候補決定部３７から供給される代表点候補情報Ｉｃ１～ＩｃＮに基づき、物体毎の代表点を推定する。代表点推定部３８の処理については後述する。物体構築部３９は、代表点推定部３８が決定した推定代表点に対し、特徴点推定部３５が検出した各特徴点の所属判定（即ち、どの物体に属する特徴点であるかの判定）を行い、所属判定結果に基づき、物体の位置及び姿勢を表す物体情報を生成する。

【0046】

なお、特徴点推定部３５は、特徴マップＭｐが入力された場合に全特徴点の位置を示す特徴点情報を出力してもよい。同様に、ベクトル推定部３６は、特徴マップＭｐが入力された場合に全特徴点に対応する代表点指向ベクトルを示すベクトル情報を出力してもよい。

【0047】

図６は、特徴点推定部３５１～３５Ｎを１個の特徴点推定部３５に統合し、かつ、ベクトル推定部３６１～３６Ｎを１個のベクトル推定部３６に統合した場合の機能ブロック図を示す。この場合、特徴点推定部３５は、特徴マップＭｐが入力された場合に全て（即ちＮ種類）の特徴点の位置を示す特徴点情報Ｉｐを出力し、ベクトル推定部３６は、特徴マップＭｐが入力された場合に全て（即ちＮ種類）の特徴点に関する代表点指向ベクトルを示したベクトル情報Ｉｖを出力する。また、代表点候補決定部３７は、これらの特徴点情報Ｉｐ及びベクトル情報Ｉｖに基づき、各特徴点から導かれた代表点候補を示す代表点候補情報Ｉｃを、代表点推定部３８に供給する。この代表点候補情報Ｉｃは、図５における代表点候補情報Ｉｃ１～代表点候補情報ＩｃＮを合わせた情報に相当する。

【0048】

以上説明した図５及び図６に示されるプロセッサ３１の各構成要素（特徴マップ出力部３４、特徴点推定部３５、ベクトル推定部３６、代表点候補決定部３７、代表点推定部３８及び物体構築部３９）は、例えば、プロセッサ３１がプログラムを実行することによって実現できる。また、必要なプログラムを任意の不揮発性記憶媒体に記録しておき、必要に応じてインストールすることで、各構成要素を実現するようにしてもよい。なお、これらの各構成要素の少なくとも一部は、プログラムによるソフトウェアで実現することに限ることなく、ハードウェア、ファームウェア、及びソフトウェアのうちのいずれかの組合せ等により実現してもよい。また、これらの各構成要素の少なくとも一部は、例えばＦＰＧＡ（field-programmable gate array）又はマイクロコントローラ等の、ユーザがプログラミング可能な集積回路を用いて実現してもよい。この場合、この集積回路を用いて、上記の各構成要素から構成されるプログラムを実現してもよい。また、各構成要素の少なくとも一部は、ＡＳＳＰ（Application Specific Standard Produce）やＡＳＩＣ（Application Specific Integrated Circuit）により構成されてもよい。このように、上述の各構成要素は、種々のハードウェアにより実現されてもよい。さらに、これらの各構成要素は，例えば，クラウドコンピューティング技術などを用いて、複数のコンピュータの協働によって実現されてもよい。以上のことは、後述する他の実施の形態においても同様である。

【0049】

また、図５及び図６に示す機能ブロックは一例であり、任意の変形が行われてもよい。例えば、ベクトル推定部３６は、代表点候補決定部３７に組み込まれてもよい。この場合、代表点候補決定部３７は、特徴点情報Ｉｐと特徴マップＭｐとが入力された場合に代表点候補を出力するモデルに基づき、特徴点情報Ｉｐと特徴マップＭｐから代表点候補情報Ｉｃを生成する処理を行う。

【0050】

（５－２）ベクトル情報
次に、ベクトル推定部１６が生成するベクトル情報Ｉｖについて補足説明する。ベクトル情報Ｉｖは、特徴点の種類ごとに代表点指向ベクトルを示すベクトルマップであってもよく、全て（即ちＮ種類）の特徴点の代表点指向ベクトルを示すベクトルマップであってもよい。

【0051】

図７（Ａ）は、図５に示す機能ブロックにおいてベクトル推定部３６１～３６Ｎが出力する複数チャンネルのベクトルマップの概要を示し、図７（Ｂ）は、図６に示す機能ブロックにおいてベクトル推定部３６が出力するベクトルマップの概要を示す。図７（Ａ）及び図７（Ｂ）では、ベクトルマップの各チャンネルが有する代表点指向ベクトルの情報を、物体の特徴点を明示した検出対象画像Ｉｔａｇ上において矢印により示している。

【0052】

特徴点の種類ごとに代表点指向ベクトルを算出するベクトル推定部３６１～３６Ｎが存在する例（図５参照）では、ベクトル推定部３６１～３６Ｎは、図７（Ａ）に示すように、特徴点の種類ごとに代表点指向ベクトルを示すチャンネルを有するベクトルマップを生成する。この場合、実際には、特徴点の種類ごとに、代表点指向ベクトルのｘ座標を表すチャンネルとｙ座標を表すチャンネルとが用意されることから、ベクトル推定部３６１～３６Ｎは、合計で２Ｎ個（２×Ｎ個）のチャンネルを有するベクトルマップを生成する。

【0053】

一方、全種類の特徴点に対応する代表点指向ベクトルを算出する１個のベクトル推定部３６が存在する例（図６参照）では、ベクトル推定部３６は、図７（Ｂ）に示すように、全種類の特徴点に対応する代表点指向ベクトルを示すベクトルマップを生成する。この場合、実際には、全特徴点の代表点指向ベクトルのｘ座標を表すチャンネルとｙ座標を表すチャンネルとが用意されることから、ベクトル推定部３６は、合計で２個のチャンネルを有するベクトルマップを生成する。

【0054】

そして、ベクトル推定部３６（３６１～３６Ｎ）は、これらのベクトルマップに相当するベクトル情報Ｉｖ（Ｉｖ１～ＩｖＮ）を、代表点候補決定部３７（３７１～３７Ｎ）に供給する。これにより、代表点候補決定部３７（３７１～３７Ｎ）は、特徴点推定部３５が推定した各特徴点を始点とした場合の代表点指向ベクトルの終点を、代表点候補として好適に特定することができる。

【0055】

（５－３）代表点の推定
次に、代表点推定部３８による代表点の推定方法について説明する。代表点推定部３８は、代表点候補情報Ｉｃ（Ｉｃ１～ＩｃＮ）が示す特徴点毎の代表点候補を投票により統合することで、推定代表点を決定する。ここでは一例として、信頼度マップに基づく代表点候補の統合方法と、クラスタ分割に基づく代表点候補の統合方法とについて夫々具体的に説明する。

【0056】

図８は、信頼度マップに基づく代表点候補の統合処理の概要を示す。図８において、画像５１～５３は、特徴点の種類ごとに定められた代表点候補の座標位置が最大となる信頼度の正規分布（ガウス分布）を示す信頼度マップを、特徴点の推定位置を明示した検出対象画像Ｉｔａｇに重畳した画像である。また、画像５４は、特徴点の種類毎の信頼度マップを統合（足し合わせ）したマップ（「累積マップ」とも呼ぶ。）を、特徴点の推定位置を明示した検出対象画像Ｉｔａｇに重畳した画像である。さらに、画像５５は、累積マップに基づき決定した推定代表点を、特徴点の推定位置を明示した検出対象画像Ｉｔａｇに重畳した画像である。

【0057】

この場合、検出対象画像Ｉｔａｇに検出対象の物体（ここでは歩行者）が２体存在することから、代表点候補決定部３７は、特徴点の種類ごとに２点の代表点候補を決定し、代表点推定部３８は、これらの２点の代表点候補の座標位置を信頼度の最大値とする正規分布を含む信頼度マップを生成する。ここで、画像５２では、対象となる特徴点又は代表点指向ベクトルの推定誤差等により、物体の外に１つの代表点候補が存在し、当該代表点候補の位置を中心とした高信頼度領域が設定されている。

【0058】

なお、代表点候補ごとに設定する正規分布の最大値は、例えば、対象の特徴点の推定における確からしさを表すスコア（「特徴点スコア」とも呼ぶ。）に基づき設定されてもよい。例えば、特徴点推定部１５が特徴点の種類ごとに特徴点の信頼度マップを出力する場合には、代表点推定部３８は、当該信頼度マップにおける特徴点に対応する信頼度を上述の特徴点スコアとみなし、対応する代表点候補の座標位置に当該特徴点スコアに応じた最大値を設定する。他の例では、特徴点推定部１５が特徴点の種類ごとに特徴点の座標位置を出力する場合には、代表点推定部３８は、当該座標位置と共に出力される確信度等を特徴点スコアとみなし、対応する代表点候補の座標位置に当該特徴点スコアに応じた最大値を設定する。

【0059】

そして、代表点推定部３８は、特徴点の種類ごとの代表点候補に基づく信頼度マップを対応する画素（サブピクセルも含む）毎に足し合わせることで統合した累積マップを生成する（画像５４参照）。ここで、累積マップには、検出対象画像Ｉｔａｇに含まれる２体の物体上に夫々信頼度のピークが形成されると共に、画像５２に存在した物体外の代表点候補に対応する信頼度のピークが形成される。

【0060】

そして、代表点推定部３８は、これらのピークのうち所定の条件を満たすピークの位置を、推定代表点として決定する。ここで、第１の例では、代表点推定部３８は、累積マップにおける信頼度が所定値以上となるピークを、推定代表点として決定する。一方、代表点推定部３８は、累積マップにおける信頼度が所定値未満となるピークを、誤差により生成されたピークとみなし、推定代表点として認定しない。上述の所定値については、例えば予め記憶装置２又はメモリ１２等に記憶されている。また、第２の例では、代表点推定部３８は、ピークごとに、当該ピークの位置での信頼度が所定の閾値以上となった代表点候補に対応する特徴点の種類数をカウントし、当該特徴点の種類数が所定数以上となるピークを、推定代表点として決定する。一方、代表点推定部３８は、特徴点の種類数が所定数未満となるピークについては、誤差により生成されたピークとみなし、推定代表点として認定しない。上述の閾値及び所定数については、例えば予め記憶装置２又はメモリ１２等に記憶されている。

【0061】

そして、図８の例では、画像５４に示される累積マップにおいて３個のピークが存在し、代表点推定部３８は、上述した第１の例又は第２の例に従い、これらの３個のピークのうち２個のピークの位置を推定代表点として決定する。また、この場合、代表点推定部３８は、推定代表点の数に基づき、２体の検出対象の物体が存在することを認識する。このように、代表点推定部３８は、信頼度マップに基づく代表点候補の統合処理によれば、特徴点毎の代表点候補に基づき、検出対象の物体の数及び代表点の推定位置を好適に算出することができる。

【0062】

なお、推定代表点を決めるマップの作成方法は、上述した例に限られない。例えば、代表点推定部３８は、推定代表点を定めるマップを、各代表点候補の位置に基づいたハフ投票により求めてもよい。ハフ投票については、非特許文献１に開示されている。この態様においても、代表点推定部３８は、特徴点毎の代表点候補に基づき、検出対象の物体の代表点の推定位置を好適に求めることができる。

【0063】

次に、クラスタ分割に基づく代表点候補の統合方法について説明する。図９は、クラスタ分割に基づく代表点候補の統合方法の概要を示す。図９において、画像６１～６３は、特徴点の種類ごとに代表点候補決定部３７（３７１～３７Ｎ）が決定した代表点候補を、特徴点の推定位置を明示した検出対象画像Ｉｔａｇ上に示した画像である。また、画像６４は、全ての特徴点に対応する代表点候補を、特徴点の推定位置を明示した検出対象画像Ｉｔａｇ上に示した画像である。さらに、画像６５は、画像６４に示される代表点候補に対してクラスタリング及びクラスタ毎の代表点の推定及び選定により推定及び選定された代表点である推定代表点を、特徴点の推定位置を明示した検出対象画像Ｉｔａｇ上に示した画像である。

【0064】

この場合、検出対象画像Ｉｔａｇに検出対象の物体（人）が２体存在することから、代表点候補決定部３７は、特徴点の種類ごとに２点の代表点候補を決定し、代表点推定部３８は、これらの全ての代表点候補を対象として、クラスタ数を自動推定する任意のクラスタリング手法（例えばｘ－ｍｅａｎｓ法など）に基づき、ｋ個のクラスタを決定する。図９の例では、画像６４に示されるように、代表点推定部３８は、破線枠６６内の代表点候補の第１クラスタと、破線枠６７内の第２クラスタと、破線枠６８内の第３クラスタとを夫々生成する。

【0065】

そして、代表点推定部３８は、各クラスタにおける代表点候補の重心点（「クラスタ重心点」とも呼ぶ。）を決定し、クラスタ重心点から推定代表点を選定する。

【0066】

この場合、第１の例では、各クラスタにおいて、クラスタ内に含まれる代表点候補の決定に用いた特徴点の種類数をカウントし、当該特徴点の種類数が所定数以上となるクラスタのクラスタ重心点を、推定代表点として決定する。一方、代表点推定部３８は、特徴点の種類数が所定数未満となるクラスタのクラスタ重心点については、誤差により生成された点とみなし、推定代表点として認定しない。この場合、上述の閾値及び所定数については、例えば予め記憶装置２又はメモリ１２等に記憶されている。

【0067】

第２の例では、代表点推定部３８は、特徴点の推定において算出された特徴点スコアに基づき、推定代表点の選定を行う。具体的には、代表点推定部３８は、クラスタ毎に各代表点候補に対応する特徴点スコアの代表値を算出し、特徴点スコアの代表値が閾値以上となるクラスタのクラスタ重心点を、推定代表点として決定する。ここで、代表値には、平均値、最低値、中央値、最頻値などが含まれる。一方、代表点推定部３８は、特徴点スコアの代表値が閾値未満となるクラスタのクラスタ重心点については、誤差により生成された点とみなし、推定代表点として認定しない。なお、第２の例では、代表点推定部３８は、クラスタ重心点の算出においても特徴点スコアを用いて重み付けを行ってもよい。この場合、代表点推定部３８は、特徴点スコアに基づき各代表点候補の座標値を重み付け平均することで、クラスタ重心点の座標値を算出する。

【0068】

そして、図９の例では、画像６４において３個のクラスタが存在し、代表点推定部３８は、上述した第１の例又は第２の例に従い、これらの３個のクラスタのうち２個のクラスタのクラスタ重心点を推定代表点として決定する。また、この場合、代表点推定部３８は、推定代表点の数に基づき、２体の検出対象の物体が存在することを認識する。このように、代表点推定部３８は、クラスタ分割に基づく代表点候補の統合処理によれば、検出対象の物体の数及び代表点の推定位置を好適に算出することができる。

【0069】

（５－４）処理フロー
図１０は、学習装置１による学習処理後において物体検出装置３が実行する処理手順を示すフローチャートの一例である。

【0070】

まず、物体検出装置３は、カメラ４が撮影した画像である検出対象画像Ｉｔａｇを取得する（ステップＳ１１）。そして、物体検出装置３は、検出対象画像Ｉｔａｇに基づき、特徴マップＭｐを生成する（ステップＳ１２）。この場合、物体検出装置３の特徴マップ出力部３４は、学習装置１が学習したパラメータをパラメータ記憶部２２から参照することで構成した特徴マップ出力モデルに検出対象画像Ｉｔａｇを入力することで、特徴マップＭｐを生成する。

【0071】

次に、物体検出装置３は、特徴点の種類ごとに特徴点及び代表点指向ベクトルの組を算出する（ステップＳ１３）。この場合、物体検出装置３の特徴点推定部３５（３５１～３５Ｎ）は、学習装置１が学習したパラメータをパラメータ記憶部２２から参照することで構成した特徴点推定モデルに特徴マップＭｐを入力することで、特徴点を示す特徴点情報Ｉｐ（Ｉｐ１～ＩｐＮ）を生成する。また、ベクトル推定部３６（３６１～３６Ｎ）は、学習装置１が学習したパラメータをパラメータ記憶部２２から参照することで構成したベクトル推定モデルに特徴マップＭｐを入力することで、代表点指向ベクトルを示すベクトル情報Ｉｖ（Ｉｖ１～ＩｖＮ）を生成する。

【0072】

次に、物体検出装置３は、ステップＳ１３で算出された特徴点及び代表点指向ベクトルの組ごとに代表点候補を決定する（ステップＳ１４）。この場合、物体検出装置３の代表点候補決定部３７（３７１～３７Ｎ）は、特徴点及び代表点指向ベクトルの各組に対応する代表点候補を示す代表点候補情報Ｉｃ（Ｉｃ１～ＩｃＮ）を生成する。

【0073】

次に、物体検出装置３は、ステップＳ１４で決定された代表点候補に基づき代表点を推定する（ステップＳ１５）。この場合、物体検出装置３の代表点推定部３８は、各代表点候補に基づき、代表点候補の統合及び選定を行うことで、物体ごとの推定代表点を算出する。そして、物体検出装置３は、ステップＳ１５で算出された推定代表点に基づき、物体構築を行う（ステップＳ１６）。この場合、物体検出装置３の物体構築部３９は、例えば、ステップＳ１３で推定された物体ごとの特徴点及びステップＳ１５で推定された物体ごとの推定代表点に基づき、物体ごとの位置及び姿勢を表す物体情報を生成する。

【0074】

以上のように、物体検出装置３は、各特徴点から代表点を推定することで物体構築を行う。これにより、物体検出装置３は、特徴点が他の物体により遮蔽されて隠れる状況が多発する混雑状況下でも、見える特徴点の情報から代表点を推定し、物体の有無の判定や姿勢推定を的確に実行することができる。

【0075】

（６）変形例
次に、上述した実施形態に適用可能な変形例について説明する。以下の変形例は、任意に組み合わせて実施されてもよい。

【0076】

（第１変形例）
物体検出装置３は、推定代表点の決定後、物体ごとの特徴点間において相互に位置の回帰を行うことで、各特徴点の推定位置を補正してもよい。

【0077】

図１１は、補正対象となる特徴点を他の特徴点により回帰的に求めた推定位置（「回帰点」とも呼ぶ。）を各特徴点と共に検出対象画像Ｉｔａｇ上に明示した図である。図１１に示すように、物体検出装置３は、推定代表点の決定後、特徴点推定部１５が推定した特徴点を物体ごとに分類し、物体ごとの特徴点間において相互に位置の回帰を行う。図１１の例では、物体検出装置３は、補正対象の特徴点を頭部を表す関節点に定め、当該関節点に対する回帰点を、同一物体の他の特徴点（ここでは８個の関節点）の各々から夫々算出する。この場合、各特徴点から他の特徴点の回帰点を算出するモデルに関するパラメータが予め記憶装置２又はメモリ１２等に記憶されており、物体検出装置３はこれらのパラメータに基づき構成したモデルにより回帰点の算出を行う。

【0078】

次に、物体検出装置３は、他の特徴点から算出した回帰点（ここでは８個の回帰点）と、補正対象の特徴点の補正前位置とを統合することにより、補正対象の特徴点の補正後の位置を算出する。例えば、物体検出装置３は、回帰点と補正対象の特徴点の補正前位置との重心位置を、補正対象の特徴点の補正後の位置として算出する。

【0079】

そして、物体検出装置３は、全ての特徴点を順に補正対象の特徴点とみなし、他の特徴点から求めた回帰点を用いて、特徴点推定部１５による各特徴点の推定位置を補正する。このように、本変形例によれば、物体検出装置３は、特徴点推定部１５による各特徴点の推定位置を好適に補正することができる。

【0080】

（第２変形例）
図１０に示すフローチャートの処理は、検出対象画像Ｉｔａｇから物体が存在する領域を示す矩形領域（境界ボックス：Ｂｏｕｎｄｉｎｇ Ｂｏｘ）を検出する処理に好適に適用される。

【0081】

図１２（Ａ）は、検出対象の物体の境界ボックスを規定する四隅の頂点（「ボックス頂点」とも呼ぶ。）を特徴点として推定した場合の推定した特徴点を検出対象画像Ｉｔａｇ上において明示した図である。また、図１２（Ｂ）は、各特徴点から決定した代表点候補を検出対象画像Ｉｔａｇ上において明示した図である。また、図１２（Ｃ）は、代表点候補から決定した推定代表点及び推定されたボックス頂点である推定ボックス頂点を検出対象画像Ｉｔａｇ上において明示した図である。

【0082】

この場合、まず、物体検出装置３は、ステップＳ１１で検出対象画像Ｉｔａｇを取得して特徴マップＭｐを生成した後、ステップＳ１３において、ボックス頂点に対応する４種類の特徴点（図１２（Ａ）参照）及び代表点指向ベクトルの推定を行う。さらに、物体検出装置３は、ステップＳ１４において、ステップＳ１３での処理結果に基づき、各特徴点に対応する代表点候補を決定する（図１２（Ｂ）参照）。そして、物体検出装置３の代表点推定部３８は、ステップＳ１５において、決定した代表点候補から推定代表点を決定し、物体構築部３９は、ステップＳ１６において、決定した推定代表点から推定ボックス頂点をさらに決定する（図１２（Ｃ）参照）。なお、物体の代表点から個々の特徴点を推定する手法については、例えば、非特許文献１に開示されている。

【0083】

また、図１０に示すフローチャートの処理は、検出対象画像Ｉｔａｇから個々の物体の領域を検出する処理であるＩｎｓｔａｎｃｅ Ｓｅｇｍｅｎｔａｔｉｏｎにも好適に適用される。

【0084】

図１３（Ａ）は、検出対象の物体の境界点を特徴点として推定した場合の推定した特徴点を検出対象画像Ｉｔａｇ上において明示した図である。また、図１３（Ｂ）は、各特徴点から決定した代表点候補を検出対象画像Ｉｔａｇ上において明示した図である。また、図１３（Ｃ）は、代表点候補から決定した推定代表点及び推定代表点から推定された境界点及び物体領域を検出対象画像Ｉｔａｇ上において明示した図である。

【0085】

この場合、まず、物体検出装置３は、ステップＳ１１で検出対象画像Ｉｔａｇを取得して特徴マップＭｐを生成した後、ステップＳ１３において、物体の複数種類の境界点（図１３（Ａ）参照）及び代表点指向ベクトルの推定を行う。さらに、物体検出装置３は、ステップＳ１４において、ステップＳ１３での処理結果に基づき、各特徴点に対応する代表点候補を決定する（図１３（Ｂ）参照）。そして、物体検出装置３の代表点推定部３８は、ステップＳ１５において、決定した代表点候補から推定代表点を決定し、物体構築部３９は、ステップＳ１６において、決定した推定代表点から境界点及び物体領域をさらに推定する（図１２（Ｃ）参照）。この場合、物体構築部３９は、推定代表点から境界点を推定した後、推定した境界点により囲んだ領域を物体領域として推定する。

【0086】

このように、物体検出装置３は、境界ボックスの検出処理及びＩｎｓｔａｎｃｅ Ｓｅｇｍｅｎｔａｔｉｏｎなどの、物体が属する画像上の領域に関する推定を好適に実行することができる。

【0087】

＜第２実施形態＞
図１４は、第２実施形態に係る推定装置３Ｘの概略構成を示す。推定装置３Ｘは、主に、特徴点推定手段３５Ｘと、代表点候補決定手段３７Ｘと、代表点推定手段３８Ｘとを備える。推定装置３Ｘは、複数の装置から構成されてもよい。推定装置３Ｘは、第１実施形態における物体検出装置３とすることができる。

【0088】

特徴点推定手段３５Ｘは、物体に関する複数の特徴点を推定する。特徴点推定手段３５Ｘは、例えば、第１実施形態における特徴点推定部３５１～３５Ｎ（図５参照）又は特徴点推定部３５（図６参照）とすることができる。

【0089】

代表点候補決定手段３７Ｘは、複数の特徴点に基づき、物体の代表点の候補である複数の代表点候補を決定する。代表点候補決定手段３７Ｘは、例えば、第１実施形態における代表点候補決定部３７１～３７Ｎ（図５参照）又は代表点候補決定部３７（図６参照）とすることができる。代表点推定手段３８Ｘは、複数の代表点候補に基づき、代表点を推定する。代表点推定手段３８Ｘは、例えば、第１実施形態における代表点推定部３８とすることができる。

【0090】

図１５は、第２実施形態において推定装置３Ｘが実行する処理手順を示すフローチャートの一例である。特徴点推定手段３５Ｘは、物体に関する複数の特徴点を推定する（ステップＳ２１）。代表点候補決定手段３７Ｘは、複数の特徴点に基づき、物体の代表点の候補である複数の代表点候補を決定する（ステップＳ２２）。代表点推定手段３８Ｘは、複数の代表点候補に基づき、代表点を推定する(ステップＳ２３)。

【0091】

第２実施形態によれば、推定装置３Ｘは、物体の一部が隠れて撮影された場合であっても、物体の代表点を高精度に推定することができる。

【0092】

以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。すなわち、本願発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。また、引用した上記の特許文献等の各開示は、本書に引用をもって繰り込むものとする。

【符号の説明】

【0093】

１ 学習装置
２ 記憶装置
３ 物体検出装置
３Ｘ 推定装置
４ カメラ
１１、３１ プロセッサ
１２、３２ メモリ
１３、３３ インターフェース
２１ 学習データ記憶部
２２ パラメータ記憶部
１００ 物体検出システム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】