特開 2024-2538 物体位置推定装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024002538

(43)【公開日】2024-01-11

(54)【発明の名称】物体位置推定装置

(51)【国際特許分類】

   G06T 7/55 20170101AFI20231228BHJP

   G06V 20/64 20220101ALI20231228BHJP

【ＦＩ】

G06T7/55

G06V20/64

【審査請求】未請求

【請求項の数】4

【出願形態】ＯＬ

(21)【出願番号】P 2022101782

(22)【出願日】2022-06-24

(71)【出願人】

【識別番号】392026693

【氏名又は名称】株式会社ＮＴＴドコモ

(71)【出願人】

【識別番号】501493358

【氏名又は名称】株式会社セック

(74)【代理人】

【識別番号】100088155

【弁理士】

【氏名又は名称】長谷川 芳樹

(74)【代理人】

【識別番号】100113435

【弁理士】

【氏名又は名称】黒木 義樹

(74)【代理人】

【識別番号】100121980

【弁理士】

【氏名又は名称】沖山 隆

(74)【代理人】

【識別番号】100128107

【弁理士】

【氏名又は名称】深石 賢治

(74)【代理人】

【識別番号】100183081

【弁理士】

【氏名又は名称】岡▲崎▼ 大志

(72)【発明者】

【氏名】小林 洸陽

(72)【発明者】

【氏名】高木 純平

(72)【発明者】

【氏名】杉江 卓哉

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096CA02

5L096FA12

5L096FA66

5L096FA69

5L096KA04

(57)【要約】      （修正有）

【課題】撮像された画像に含まれる被写体の位置をより簡易な処理によって推定する。
【解決手段】物体位置推定装置１０は、第１画像の少なくとも一部の領域である設定領域に含まれる複数の画素の各々についての絶対距離情報を取得する絶対距離取得部１２と、撮影範囲に人が存在する状態の第２画像に含まれる各画素についての相対距離情報を取得する相対距離取得部１３と、第２画像において人が存在する物体領域を推定する物体領域推定部１４と、不変領域の各画素の絶対距離情報及び相対距離情報の対応関係に基づいて、相対距離情報を絶対距離情報に変換するための変換係数を算出する係数算出部１５と、第２画像の物体領域に含まれる画素の相対距離情報を変換係数によって変換することにより、撮像部２０から人までの絶対距離を算出する距離算出部１６と、を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

撮像部に撮像された予め定められた撮影範囲の画像を取得する画像取得部と、
前記画像取得部により取得された第１画像の少なくとも一部の領域である設定領域に含まれる複数の画素の各々について、前記撮像部からの絶対距離を示す絶対距離情報を取得する絶対距離取得部と、
前記画像取得部により取得された前記撮影範囲に特定物体が存在する状態の第２画像に含まれる各画素について、画素間の相対距離を示す相対距離情報を取得する相対距離取得部と、
前記第２画像において前記特定物体が存在する物体領域を推定する物体領域推定部と、
前記第２画像の前記設定領域のうち前記第１画像から変化していない不変領域に含まれる各画素の前記絶対距離情報及び前記相対距離情報の対応関係に基づいて、前記相対距離情報を前記絶対距離情報に変換するための変換係数を算出する係数算出部と、
前記第２画像の前記物体領域に含まれる画素の前記相対距離情報を前記変換係数によって変換することにより、前記撮像部から前記特定物体までの絶対距離を算出する距離算出部と、
を備える物体位置推定装置。

【請求項2】

前記絶対距離取得部は、前記撮影範囲に前記特定物体が存在しない状態で撮像された画像を、前記第１画像として用いる、
請求項１に記載の物体位置推定装置。

【請求項3】

前記特定物体は、予め定められた複数の特徴点を有する物体であり、
前記物体領域推定部は、前記第２画像に含まれる前記特定物体の前記複数の特徴点の位置を更に推定し、
前記距離算出部は、前記第２画像に含まれる前記複数の特徴点の各々に対応する画素の前記相対距離情報を前記変換係数によって変換することにより、前記撮像部から前記複数の特徴点の各々までの絶対距離を算出する、
請求項１又は２に記載の物体位置推定装置。

【請求項4】

前記複数の特徴点間の位置関係に関する予め定められた制約条件に基づいて、前記距離算出部により算出された前記特徴点の前記絶対距離を補正する補正部を更に備える、
請求項３に記載の物体位置推定装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の一側面は、物体位置推定装置に関する。

【背景技術】

【0002】

特許文献１には、単眼カメラによって撮像された対象画像に複数のぼけ補正フィルタを適用し、当該複数のぼけ補正フィルタのうち対象画像に付加すると基準画像との相関がより高くなるぼけ補正フィルタを求めることにより、対象画像に写っている被写体までの距離を推定する方法が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２０－２４５６３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上記特許文献１に記載された手法によれば、単眼カメラにより撮影された画像に基づいて被写体までの距離（すなわち、被写体の位置）を推定することができるが、画像に対して複数のぼけ補正フィルタを適用して最も相関の高いぼけ補正フィルタを求める必要があるため、比較的処理負荷（計算量）が大きい。

【0005】

そこで、本発明の一側面は、撮像された画像に含まれる被写体の位置をより簡易な処理によって推定できる物体位置推定装置を提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明の一側面に係る物体位置推定装置は、撮像部に撮像された予め定められた撮影範囲の画像を取得する画像取得部と、画像取得部により取得された第１画像の少なくとも一部の領域である設定領域に含まれる複数の画素の各々について、撮像部からの絶対距離を示す絶対距離情報を取得する絶対距離取得部と、画像取得部により取得された撮影範囲に特定物体が存在する状態の第２画像に含まれる各画素について、画素間の相対距離を示す相対距離情報を取得する相対距離取得部と、第２画像において特定物体が存在する物体領域を推定する物体領域推定部と、第２画像の設定領域のうち第１画像から変化していない不変領域に含まれる各画素の絶対距離情報及び相対距離情報の対応関係に基づいて、相対距離情報を絶対距離情報に変換するための変換係数を算出する係数算出部と、第２画像の物体領域に含まれる画素の相対距離情報を変換係数によって変換することにより、撮像部から特定物体までの絶対距離を算出する距離算出部と、を備える。

【0007】

本発明の一側面に係る物体位置推定装置においては、第１画像に基づいて予め取得しておいた絶対距離情報と、特定物体が写り込んだ第２画像の各画素について取得された相対距離情報と、に基づいて、第２画像の相対距離情報を絶対距離情報に変換するための変換係数が算出される。この変換係数を用いて、第２画像中の着目領域（すなわち、特定物体が写っている物体領域）に含まれる画素の相対距離情報を変換することにより、撮像部から特定物体までの絶対距離（すなわち、現実空間における特定物体の絶対位置）を算出（推定）することができる。従って、上記物体位置推定装置によれば、撮像された画像（第２画像）に含まれる被写体（特定物体）の位置をより簡易な処理によって推定できる。

【発明の効果】

【0008】

本発明の一側面によれば、撮像された画像に含まれる被写体の位置をより簡易な処理によって推定できる物体位置推定装置を提供することができる。

【図面の簡単な説明】

【0009】

【図1】一実施形態の物体位置推定装置の機能構成の一例を示す図である。

【図2】第１画像の一例を示す図である。

【図3】第２画像の一例を示す図である。

【図4】相対距離情報を視覚的に表現した深度画像の一例を示す図である。

【図5】変換係数の算出例を示す図である。

【図6】補正部の補正処理の一例を示す図である。

【図7】物体位置推定装置の動作の一例を示すフローチャートである。

【図8】物体位置推定装置のハードウェア構成の一例を示す図である。

【発明を実施するための形態】

【0010】

以下、添付図面を参照して、本発明の一実施形態について詳細に説明する。なお、図面の説明において同一又は相当要素には同一符号を付し、重複する説明を省略する。

【0011】

図１は、一実施形態に係る物体位置推定装置１０の機能構成の一例を示す図である。物体位置推定装置１０は、所定の場所（例えば監視領域）に設置（固定）されると共に撮影方向及び画角（撮影範囲）が固定された撮像部２０により順次取得される画像（映像）から、予め定められた特定物体を検出し、当該特定物体の絶対位置を推定する装置である。撮像部２０は、例えば単眼カメラである。

【0012】

特定物体は、撮像部２０により撮像される画像の被写体として写り込む可能性のある物体のうち予め定められた種類の物体である。例えば、特定物体は、複数の予め定められた特徴点を有する物体である。本実施形態では、特定物体は、人である。ただし、特定物体は、例えば犬、猫等の人以外の生物であってもよいし、ロボット等の非生物であってもよい。

【0013】

特徴点は、特定物体の一部を構成する特徴的な部位である。本実施形態では、特徴点は、人の骨格推定で検出される部分であり、例えば、肩、肘、手首、足首等の関節、及び耳、鼻、目等である。

【0014】

絶対位置は、撮像部２０（カメラ）が存在する現実空間に紐付いた位置情報である。例えば、絶対位置は、撮像部２０の位置を基準点（原点）とする３次元座標によって特定され得る。本実施形態では、物体位置推定装置１０は、撮像部２０に撮像された画像に写った人の複数の特徴点の各々の撮像部２０からの絶対距離を推定することにより、画像に写った人の絶対位置を推定する。すなわち、画像中に写り込んだ人の位置から撮像部２０に対して人が位置する方向が特定されると共に、撮像部２０から人までの絶対距離が推定されることにより、現実空間において人が存在する位置座標（絶対位置）が推定される。さらに、本実施形態では、複数の特徴点の各々の絶対位置が推定されることにより、人の姿勢（すなわち、各特徴点の位置に基づいて定まる姿勢）も推定される。

【0015】

図１に示されるように、物体位置推定装置１０は、画像取得部１１と、絶対距離取得部１２と、相対距離取得部１３と、物体領域推定部１４と、係数算出部１５と、距離算出部１６と、補正部１７と、を有する。

【0016】

画像取得部１１は、撮像部２０に撮像された予め定められた撮影範囲の画像を取得する。撮像部２０は、例えば、所定の場所（例えば監視領域）に設置（固定）された単眼カメラである。画像取得部１１は、所定の間隔で、画像（例えば、動画を構成する各フレーム）を順次取得する。なお、撮像部２０は、物体位置推定装置１０自体に備わっていてもよいし、物体位置推定装置１０とデータ通信可能に構成された外部装置であってもよい。

【0017】

絶対距離取得部１２は、画像取得部１１により取得された第１画像の少なくとも一部の領域である設定領域に含まれる複数の画素の各々について、撮像部２０からの絶対距離（深度）を示す絶対距離情報を取得する。図２は、第１画像ＩＭ１の一例を示す図である。本実施形態では一例として、撮像部２０は、部屋内の風景を撮影するように、部屋内のある場所に固定されている。なお、第１画像ＩＭ１は、被写体として人が含まれる画像であってもよいが、後述する不変領域（すなわち、変換係数を算出するために利用可能な画素数）をより確実かつ十分に確保する観点から、第１画像ＩＭ１は、経時的に変化しない壁、天井等の固定物によって構成される背景部分を多く含んでいることが好ましい。このような観点から、本実施形態では、絶対距離取得部１２は、撮影範囲に人が存在しない状態で撮像された画像を、第１画像ＩＭ１として用いる。

【0018】

絶対距離取得部１２は、任意の公知の手法を用いることにより、設定領域に含まれる複数の画素の絶対距離情報を取得する。例えば、絶対距離取得部１２は、例えば、以下のような処理を実行することにより、第１画像ＩＭ１の全体の領域を設定領域として、第１画像ＩＭ１に含まれる全画素の絶対距離情報を取得してもよい。

【0019】

まず、絶対距離取得部１２は、撮像部２０を設置（固定）する前に、上記撮影範囲を複数の異なる方向から撮像部２０で撮影することにより得られた多視点画像を取得する。絶対距離取得部１２は、多視点画像にＳｆＭ（Shape from Motion）を適用することにより、単眼カメラである撮像部２０のカメラパラメータ（外部パラメータ及び内部パラメータ）を推定する。外部パラメータは、例えば、撮像部２０の３次元的な位置及び姿勢を示す情報である。内部パラメータは、例えば、撮像部２０のレンズ歪みを示す情報である。

【0020】

続いて、絶対距離取得部１２は、多視点画像及びカメラパラメータにＭＶＳ（Multi-View Stereo）を適用することにより、対象空間（撮影範囲に含まれる空間）の密な３次元点群データを生成する。３次元点群データの各々（各点）には、現実空間における絶対位置（座標情報）が関連付けられている。続いて、絶対距離取得部１２は、カメラパラメータを用いて、３次元点群データを第１画像ＩＭ１上に投影する。このように、３次元点群データを第１画像ＩＭ１上に投影し、３次元点群データに含まれる各点を各画素に対応付けることにより、第１画像ＩＭ１の全体領域の各画素の絶対距離を示す絶対距離情報を得ることができる。

【0021】

なお、絶対距離情報の取得方法は、上記方法に限られない。また、本実施形態では、第１画像ＩＭ１の全体の領域が設定領域として利用されるが、設定領域は、第１画像ＩＭ１のうちの一部の領域であってもよい。例えば、絶対距離取得部１２は、撮像部２０から撮影範囲に含まれる固定物（例えば、壁、家具、或いは目印として用意した看板等）までの距離を実測してもよい。そして、絶対距離取得部１２は、当該固定物を含む領域を設定領域とし、設定領域に含まれる画素（すなわち、第１画像ＩＭ１において固定物が写っている画素）に実測により得られた距離を関連付けることにより、設定領域内の各画素の絶対距離情報を取得してもよい。

【0022】

相対距離取得部１３は、画像取得部１１により取得された撮影範囲に人が存在する状態の第２画像に含まれる各画素について、画素間の相対距離を示す相対距離情報を取得する。図３は、第２画像ＩＭ２の一例を示す図である。図３の例では、撮影範囲に２人の人Ｈ１，Ｈ２が含まれている。

【0023】

相対距離情報は、撮像部２０から第２画像ＩＭ２に含まれる画素（すなわち、画素に写っている対象物）までの距離に応じた数値を示す情報である。ただし、相対距離情報の数値は、上述した絶対距離（すなわち、撮像部２０から対象物までの実際の距離）と一致するとは限らない。例えば、第２画像ＩＭ２に、撮像部２０からの距離が「１ｍ」である対象物ａと撮像部２０からの距離が「２ｍ」である対象物ｂとが被写体として含まれている場合を考える。この場合、対象物ａに対応する画素の相対距離情報（数値）が「３０」と表され、対象物ｂに対応する画素の相対距離情報が「６０」と表される可能性がある。このように、相対距離情報からは、画素間の相対的な距離（上記例では、対象物ｂが対象物ａよりも撮像部２０から２倍離れていること）を把握することはできるが、撮像部２０から各対象物ａ，ｂまでの実際の距離（絶対距離）を把握することはできない。

【0024】

相対距離取得部１３は、例えば、以下のようにして各画素の相対距離情報を取得する。まず、深度推論のための公知の機械学習モデルが準備される。このような機械学習モデル（学習済みモデル）は、例えば、学習用の画像と当該画像に対応した深度画像（正解ラベル）とを組にした教師データを用いて、深層学習等の機械学習を行うことにより得られる。このような機械学習モデルの例としては、ＶｉＴ（Vision Transformer）を用いたモデルが挙げられる。相対距離取得部１３は、このような機械学習モデルに第２画像ＩＭ２を入力することにより、当該機械学習モデルの出力結果（推論結果）を、第２画像ＩＭ２の各画素の相対距離情報として取得する。

【0025】

図４は、相対距離情報を視覚的に表現した深度画像ＩＭ３の一例を示す図である。深度画像ＩＭ３は、第２画像ＩＭ２の各画素に、上述のように相対距離取得部１３により取得された相対距離情報（数値）に応じた色及び濃淡を適用することにより得られる画像である。図４に示す深度画像ＩＭ３の例では、撮像部２０からの距離が近い部分ほど濃くされている。

【0026】

物体領域推定部１４は、第２画像ＩＭ２において人が存在する物体領域を推定する。本実施形態では、物体領域推定部１４は、第２画像ＩＭ２に含まれる人の複数の特徴点の位置を更に推定する。図３の例では、物体領域推定部１４により推定された第２画像ＩＭ２に含まれる２人の人Ｈ１，Ｈ２の各々の物体領域Ａ１，Ａ２が、第２画像ＩＭ２上に表示されている。また、物体領域推定部１４により推定された人Ｈ１，Ｈ２の複数の特徴点Ｆ１，Ｆ２の位置も、第２画像ＩＭ２上に表示されている。本実施形態では、互いに隣接する特徴点Ｆ１，Ｆ２同士を結ぶ線分も特徴点Ｆ１，Ｆ２と合わせて表示されることにより、人Ｈ１，Ｈ２の推定された骨格が第２画像ＩＭ２上に表示されている。このように、物体領域推定部１４は、推定された物体領域、特徴点、及び線分等を第２画像ＩＭ２上に重畳表示してもよい。

【0027】

物体領域推定部１４は、例えば、以下のようにして物体領域及び特徴点の位置を推定する。まず、骨格位置推定（物体領域及び骨格（複数の特徴点）の推定）のための公知の機械学習モデルが準備される。このような機械学習モデル（学習済みモデル）は、例えば、学習用の画像（人を含む画像）と当該画像に対応した骨格位置（物体領域及び特徴点の位置）（正解ラベル）とを組にした教師データを用いて、深層学習等の機械学習を行うことにより得られる。このような機械学習モデルの例としては、ＭＭＰｏｓｅ、ＯｐｅｎＰｏｓｅ等を用いたモデルが挙げられる。物体領域推定部１４は、このような機械学習モデルに第２画像ＩＭ２を入力することにより、当該機械学習モデルの出力結果を、第２画像ＩＭ２に含まれる物体領域Ａ１，Ａ２及び複数の特徴点Ｆ１，Ｆ２の推定結果として取得する。また、物体領域推定部１４は、上記以外の公知の手法（例えば、背景差分法等）によって物体領域Ａ１，Ａ２を推定してもよい。

【0028】

係数算出部１５は、第２画像ＩＭ２の設定領域（本実施形態では、第２画像ＩＭ２の全体領域）のうち第１画像ＩＭ１から変化していない不変領域に含まれる各画素の絶対距離情報及び相対距離情報の対応関係に基づいて、相対距離情報を絶対距離情報に変換するための変換係数を算出する。本実施形態のように、第１画像ＩＭ１が、被写体に人を含まない画像（すなわち、背景のみの画像）である場合には、第２画像ＩＭ２の設定領域のうち物体領域Ａ１，Ａ２と重なっていない領域（すなわち、第１画像ＩＭ１及び第２画像ＩＭ２の両方において同じ背景が写っている領域）が、不変領域として利用され得る。このような不変領域は、例えば、上述した背景差分法等を用いることによって抽出（推定）され得る。

【0029】

図５は、変換係数の算出例を示す図である。図５のグラフにおいて、横軸は相対距離情報（任意単位a.u.）を示しており、縦軸は絶対距離情報（ここでは一例として、単位はｍ）を示している。係数算出部１５は、例えば以下のようにして、変換係数を算出する。すなわち、図５に示されるように、係数算出部１５は、不変領域に含まれる各画素について、同一の画素に対応する相対距離情報（すなわち、相対距離取得部１３により取得された値）と絶対距離情報（すなわち、絶対距離取得部１２により取得された値）とを対応付けた点Ｐをグラフ上にプロットする。そして、係数算出部１５は、複数の点Ｐの回帰直線Ｒを求める。この回帰直線Ｒ（回帰式）は、説明変数（相対距離情報に対応する変数）をＸ、目的変数（絶対距離情報に対応する変数）をＹ、傾きをＡ、切片をＢと表すと、下記式（１）により表される。この場合、傾きＡ及び切片Ｂが、相対距離情報を絶対距離情報に変換する変換係数（パラメータ）として得られる。すなわち、任意の画素の相対距離情報ｘ１を上記式１のＸに代入することにより、当該画素の絶対距離情報ｙ１（＝Ａ×ｘ１＋Ｂ）を得ることが可能となる。
式１：Ｙ＝Ａ×Ｘ＋Ｂ

【0030】

なお、係数算出部１５は、上記変換係数を算出するにあたって、必ずしも不変領域に含まれる全画素の情報を用いる必要はない。例えば、係数算出部１５は、不変領域に含まれる複数の画素からランダムに抽出された一部の画素に対応するデータ（点Ｐ）のみに基づいて、回帰直線Ｒ（すなわち、変換係数である傾きＡ及び切片Ｂ）を算出してもよい。

【0031】

距離算出部１６は、第２画像ＩＭ２の物体領域Ａ１，Ａ２に含まれる画素の相対距離情報を変換係数によって変換することにより、撮像部２０から人Ｈ１，Ｈ２までの絶対距離を算出する。本実施形態では、距離算出部１６は、物体領域Ａ１，Ａ２のうち複数の特徴点Ｆ１，Ｆ２の各々に対応する画素の相対距離情報を変換係数によって変換することにより、撮像部２０から複数の特徴点Ｆ１，Ｆ２の各々までの絶対距離を算出する。このように、人Ｈ１の骨格を構成する複数の特徴点Ｆ１の絶対距離を算出することにより、各特徴点Ｆ１が現実空間（３次元空間）上のどこに位置しているかを把握することが可能になるため、現実空間における人Ｈ１の位置及び姿勢を把握することが可能となる。人Ｈ２についても同様である。

【0032】

補正部１７は、複数の特徴点間の位置関係に関する予め定められた制約条件に基づいて、距離算出部１６により算出された特徴点の絶対距離を補正する。

【0033】

図６は、補正部１７の補正処理の一例を模式的に示す図である。図６の（Ａ）は、距離算出部１６により算出された３つの特徴点Ｆａ，Ｆｂ，Ｆｃの絶対距離に基づいて特定された特徴点Ｆａ，Ｆｂ，Ｆｃの絶対位置を示している。ここで、特徴点Ｆａ，Ｆｂ，Ｆｃは、互いに隣接する特徴点である。また、線分Ｂａｂは、特徴点Ｆａと特徴点Ｆｂとを結ぶ線分であり、線分Ｂａｃは、特徴点Ｆａと特徴点Ｆｃとを結ぶ線分であり、線分Ｂｂｃは、特徴点Ｆｂと特徴点Ｆｃとを結ぶ線分である。

【0034】

特徴点Ｆａ，Ｆｂ，Ｆｃ間の位置関係に関して、例えば人体骨格の適正な寸法比率の観点から、線分Ｂａｂ，Ｂａｃ，Ｂｂｃの適正な比率が制約条件として定められているものとする。また、この制約条件に照らして、図６の（Ａ）に示される各特徴点Ｆａ，Ｆｂ，Ｆｃの絶対位置が適正でないものとする。具体的には、線分Ｂｂｃの長さに対する線分Ｂａｂ，Ｂａｃの長さの比率が、適正比率よりも大きいものとする。この場合、補正部１７は、図６の（Ｂ）に示されるように、上記制約条件を満たすように、距離算出部１６により算出された特徴点Ｆａの絶対距離を短く補正する。

【0035】

次に、図７を参照して、物体位置推定装置１０の動作の一例について説明する。

【0036】

ステップＳ１において、画像取得部１１は、撮像部２０により撮像された第１画像ＩＭ１を取得する。本実施形態では一例として、画像取得部１１は、撮影範囲に人が存在しない状態で撮像された画像を第１画像ＩＭ１として取得する。

【0037】

ステップＳ２において、絶対距離取得部１２は、第１画像ＩＭ１の少なくとも一部の領域である設定領域に含まれる複数の画素の各々について、撮像部２０からの絶対距離（深度）を示す絶対距離情報を取得する。上述したように、本実施形態では一例として、設定領域は、第１画像ＩＭ１の全体領域である。

【0038】

ステップＳ３において、画像取得部１１は、撮影範囲に人が存在する状態で撮像部２０により撮像された第２画像ＩＭ２を取得する。

【0039】

ステップＳ４において、相対距離取得部１３は、第２画像ＩＭ２に含まれる各画素の相対距離情報を取得する。例えば、相対距離取得部１３は、第２画像ＩＭ２に対応する深度画像ＩＭ３（図４参照）を取得する。

【0040】

ステップＳ５において、物体領域推定部１４は、第２画像ＩＭ２において人Ｈ１，Ｈ２が存在する物体領域Ａ１，Ａ２及び人Ｈ１，Ｈ２の複数の特徴点Ｆ１，Ｆ２の位置を推定する。

【0041】

ステップＳ６において、係数算出部１５は、第２画像ＩＭ２の設定領域（本実施形態では、第２画像ＩＭ２の全体領域）のうち第１画像ＩＭ１から変化していない不変領域に含まれる各画素の絶対距離情報及び相対距離情報の対応関係に基づいて、変換係数（本実施形態では、図５の回帰直線Ｒの傾きＡ及び切片Ｂ）を算出する。

【0042】

ステップＳ７において、距離算出部１６は、距離算出部１６は、物体領域Ａ１，Ａ２のうち複数の特徴点Ｆ１，Ｆ２の各々に対応する画素の相対距離情報を変換係数によって変換することにより、撮像部２０から人Ｈ１，Ｈ２（複数の特徴点Ｆ１，Ｆ２）までの絶対距離を算出する。

【0043】

ステップＳ８において、補正部１７は、複数の特徴点間の位置関係に関する予め定められた制約条件に基づいて、距離算出部１６により算出された特徴点の絶対距離を補正する（図６参照）。

【0044】

上述した処理のうち、ステップＳ１及びＳ２は、一度だけ実行されればよい。一方、ステップＳ３～Ｓ８の処理は、撮像部２０により取得される画像（フレーム）毎に実行される。これは、以下の理由による。すなわち、ステップＳ６で算出される変換係数は、ステップＳ４で取得される相対距離情報（深度画像ＩＭ３）の推論結果に依存するからである。つまり、第２画像ＩＭ２が変化し、上記推論結果が変化すると、それに応じて変換係数も変化するからである。また、ステップＳ８の補正処理は、ステップＳ７で算出された各特徴点の絶対距離を補正する必要がない場合等には省略され得る。

【0045】

以上説明した物体位置推定装置１０においては、第１画像ＩＭ１に基づいて予め取得しておいた絶対距離情報と、特定物体（本実施形態では「人」）が写り込んだ第２画像ＩＭ２の各画素について取得された相対距離情報と、に基づいて、第２画像ＩＭ２の相対距離情報を絶対距離情報に変換するための変換係数（本実施形態では、上記式１の傾きＡ及び切片Ｂ）が算出される。この変換係数を用いて、第２画像ＩＭ２中の着目領域（すなわち、特定物体が写っている物体領域Ａ１，Ａ２）に含まれる画素の相対距離情報を変換することにより、撮像部２０から特定物体（人Ｈ１，Ｈ２）までの絶対距離（すなわち、現実空間における特定物体の絶対位置）を算出（推定）することができる。従って、物体位置推定装置１０によれば、撮像された画像（第２画像ＩＭ２）に含まれる被写体（特定物体）の位置をより簡易な処理によって推定できる。

【0046】

本実施形態では、特定物体は、複数の予め定められた特徴点Ｆ１，Ｆ２を有する物体（本実施形態では人Ｈ１，Ｈ２）であり、物体領域推定部１４は、第２画像ＩＭ２に含まれる特定物体の複数の特徴点Ｆ１，Ｆ２の位置を推定する。距離算出部１６は、第２画像ＩＭ２に含まれる複数の特徴点Ｆ１，Ｆ２の各々に対応する画素の相対距離情報を変換係数によって変換することにより、撮像部２０から複数の特徴点Ｆ１，Ｆ２の各々までの絶対距離を算出する。上記構成によれば、特定物体を構成する複数の特徴点Ｆ１，Ｆ２の各々の絶対位置が個別に推定されるため、特定物体の位置だけでなく姿勢も推定することができる。

【0047】

本実施形態では、補正部１７が、複数の特徴点間の位置関係に関する予め定められた制約条件に基づいて、距離算出部１６により算出された特徴点の絶対距離を補正する。上記構成によれば、図６の例に示されるように、特徴点Ｆａ，Ｆｂ，Ｆｃ間の位置関係の制約条件に基づく補正（図６の例では、特徴点Ｆａの絶対距離を短くする補正）により、特徴点Ｆａ，Ｆｂ，Ｆｃの絶対距離（絶対位置）をより精度良く推定することができる。

【0048】

また、上記実施形態の説明に用いたブロック図は、機能単位のブロックを示している。これらの機能ブロック（構成部）は、ハードウェア及びソフトウェアの少なくとも一方の任意の組み合わせによって実現される。また、各機能ブロックの実現方法は特に限定されない。すなわち、各機能ブロックは、物理的又は論理的に結合した１つの装置を用いて実現されてもよいし、物理的又は論理的に分離した２つ以上の装置を直接的又は間接的に（例えば、有線、無線などを用いて）接続し、これら複数の装置を用いて実現されてもよい。機能ブロックは、上記１つの装置又は上記複数の装置にソフトウェアを組み合わせて実現されてもよい。

【0049】

機能には、判断、決定、判定、計算、算出、処理、導出、調査、探索、確認、受信、送信、出力、アクセス、解決、選択、選定、確立、比較、想定、期待、見做し、報知（broadcasting）、通知（notifying）、通信（communicating）、転送（forwarding）、構成（configuring）、再構成（reconfiguring）、割り当て（allocating、mapping）、割り振り（assigning）などがあるが、これらに限られない。

【0050】

例えば、本開示の一実施の形態における物体位置推定装置１０は、本開示の物体検出方法を行うコンピュータとして機能してもよい。図８は、本開示の一実施の形態に係る物体位置推定装置１０のハードウェア構成の一例を示す図である。物体位置推定装置１０は、物理的には、プロセッサ１００１、メモリ１００２、ストレージ１００３、通信装置１００４、入力装置１００５、出力装置１００６、バス１００７などを含むコンピュータ装置として構成されてもよい。

【0051】

なお、以下の説明では、「装置」という文言は、回路、デバイス、ユニットなどに読み替えることができる。物体位置推定装置１０のハードウェア構成は、図８に示した各装置を１つ又は複数含むように構成されてもよいし、一部の装置を含まずに構成されてもよい。

【0052】

物体位置推定装置１０における各機能は、プロセッサ１００１、メモリ１００２などのハードウェア上に所定のソフトウェア（プログラム）を読み込ませることによって、プロセッサ１００１が演算を行い、通信装置１００４による通信を制御したり、メモリ１００２及びストレージ１００３におけるデータの読み出し及び書き込みの少なくとも一方を制御したりすることによって実現される。

【0053】

プロセッサ１００１は、例えば、オペレーティングシステムを動作させてコンピュータ全体を制御する。プロセッサ１００１は、周辺装置とのインターフェース、制御装置、演算装置、レジスタなどを含む中央処理装置（ＣＰＵ：Central Processing Unit）によって構成されてもよい。

【0054】

また、プロセッサ１００１は、プログラム（プログラムコード）、ソフトウェアモジュール、データなどを、ストレージ１００３及び通信装置１００４の少なくとも一方からメモリ１００２に読み出し、これらに従って各種の処理を実行する。プログラムとしては、上述の実施の形態において説明した動作の少なくとも一部をコンピュータに実行させるプログラムが用いられる。例えば、物体位置推定装置１０の各機能部（例えば、係数算出部１５等）は、メモリ１００２に格納され、プロセッサ１００１において動作する制御プログラムによって実現されてもよく、他の機能ブロックについても同様に実現されてもよい。上述の各種処理は、１つのプロセッサ１００１によって実行される旨を説明してきたが、２以上のプロセッサ１００１により同時又は逐次に実行されてもよい。プロセッサ１００１は、１以上のチップによって実装されてもよい。なお、プログラムは、電気通信回線を介してネットワークから送信されてもよい。

【0055】

メモリ１００２は、コンピュータ読み取り可能な記録媒体であり、例えば、ＲＯＭ（Read Only Memory）、ＥＰＲＯＭ（Erasable Programmable ＲＯＭ）、ＥＥＰＲＯＭ（Electrically Erasable Programmable ＲＯＭ）、ＲＡＭ（Random Access Memory）などの少なくとも１つによって構成されてもよい。メモリ１００２は、レジスタ、キャッシュ、メインメモリ（主記憶装置）などと呼ばれてもよい。メモリ１００２は、本開示の一実施の形態に係る物体位置推定方法を実施するために実行可能なプログラム（プログラムコード）、ソフトウェアモジュールなどを保存することができる。

【0056】

ストレージ１００３は、コンピュータ読み取り可能な記録媒体であり、例えば、ＣＤ－ＲＯＭ（Compact Disc ＲＯＭ）などの光ディスク、ハードディスクドライブ、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Ｂｌｕ－ｒａｙ（登録商標）ディスク)、スマートカード、フラッシュメモリ(例えば、カード、スティック、キードライブ)、フロッピー（登録商標）ディスク、磁気ストリップなどの少なくとも１つによって構成されてもよい。ストレージ１００３は、補助記憶装置と呼ばれてもよい。上述の記憶媒体は、例えば、メモリ１００２及びストレージ１００３の少なくとも一方を含むデータベース、サーバその他の適切な媒体であってもよい。

【0057】

通信装置１００４は、有線ネットワーク及び無線ネットワークの少なくとも一方を介してコンピュータ間の通信を行うためのハードウェア（送受信デバイス）であり、例えばネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュールなどともいう。

【0058】

入力装置１００５は、外部からの入力を受け付ける入力デバイス（例えば、キーボード、マウス、マイクロフォン、スイッチ、ボタン、センサなど）である。出力装置１００６は、外部への出力を実施する出力デバイス（例えば、ディスプレイ、スピーカー、LEDランプなど）である。なお、入力装置１００５及び出力装置１００６は、一体となった構成（例えば、タッチパネル）であってもよい。

【0059】

また、プロセッサ１００１、メモリ１００２などの各装置は、情報を通信するためのバス１００７によって接続される。バス１００７は、単一のバスを用いて構成されてもよいし、装置間ごとに異なるバスを用いて構成されてもよい。

【0060】

また、物体位置推定装置１０は、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ：Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）、ＦＰＧＡ（Field Programmable Gate Array）などのハードウェアを含んで構成されてもよく、当該ハードウェアにより、各機能ブロックの一部又は全てが実現されてもよい。例えば、プロセッサ１００１は、これらのハードウェアの少なくとも１つを用いて実装されてもよい。

【0061】

以上、本実施形態について詳細に説明したが、当業者にとっては、本実施形態が本明細書中に説明した実施形態に限定されるものではないということは明らかである。本実施形態は、特許請求の範囲の記載により定まる本発明の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。したがって、本明細書の記載は、例示説明を目的とするものであり、本実施形態に対して何ら制限的な意味を有するものではない。

【0062】

本開示において説明した各態様／実施形態の処理手順、シーケンス、フローチャートなどは、矛盾の無い限り、順序を入れ替えてもよい。例えば、本開示において説明した方法については、例示的な順序を用いて様々なステップの要素を提示しており、提示した特定の順序に限定されない。

【0063】

入出力された情報等は特定の場所（例えば、メモリ）に保存されてもよいし、管理テーブルを用いて管理してもよい。入出力される情報等は、上書き、更新、又は追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。

【0064】

判定は、１ビットで表される値（０か１か）によって行われてもよいし、真偽値（Boolean：true又はfalse）によって行われてもよいし、数値の比較（例えば、所定の値との比較）によって行われてもよい。

【0065】

本開示において説明した各態様／実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知（例えば、「Ｘであること」の通知）は、明示的に行うものに限られず、暗黙的（例えば、当該所定の情報の通知を行わない）ことによって行われてもよい。

【0066】

ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか、他の名称で呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能などを意味するよう広く解釈されるべきである。

【0067】

また、ソフトウェア、命令、情報などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、有線技術（同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ：Digital Subscriber Line）など）及び無線技術（赤外線、マイクロ波など）の少なくとも一方を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び無線技術の少なくとも一方は、伝送媒体の定義内に含まれる。

【0068】

本開示において説明した情報、信号などは、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップなどは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。

【0069】

また、本開示において説明した情報、パラメータなどは、絶対値を用いて表されてもよいし、所定の値からの相対値を用いて表されてもよいし、対応する別の情報を用いて表されてもよい。

【0070】

上述したパラメータに使用する名称はいかなる点においても限定的な名称ではない。さらに、これらのパラメータを使用する数式等は、本開示で明示的に開示したものと異なる場合もある。様々な情報要素は、あらゆる好適な名称によって識別できるので、これらの様々な情報要素に割り当てている様々な名称は、いかなる点においても限定的な名称ではない。

【0071】

本開示において使用する「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。

【0072】

本開示において使用する「第１の」、「第２の」などの呼称を使用した要素へのいかなる参照も、それらの要素の量又は順序を全般的に限定しない。これらの呼称は、２つ以上の要素間を区別する便利な方法として本開示において使用され得る。したがって、第１及び第２の要素への参照は、２つの要素のみが採用され得ること、又は何らかの形で第１の要素が第２の要素に先行しなければならないことを意味しない。

【0073】

本開示において、「含む（include）」、「含んでいる（including）」及びそれらの変形が使用されている場合、これらの用語は、用語「備える（comprising）」と同様に、包括的であることが意図される。さらに、本開示において使用されている用語「又は（or）」は、排他的論理和ではないことが意図される。

【0074】

本開示において、例えば、英語でのa, an及びtheのように、翻訳により冠詞が追加された場合、本開示は、これらの冠詞の後に続く名詞が複数形であることを含んでもよい。

【0075】

本開示において、「ＡとＢが異なる」という用語は、「ＡとＢが互いに異なる」ことを意味してもよい。なお、当該用語は、「ＡとＢがそれぞれＣと異なる」ことを意味してもよい。「離れる」、「結合される」などの用語も、「異なる」と同様に解釈されてもよい。

【符号の説明】

【0076】

１０…物体位置推定装置、１１…画像取得部、１２…絶対距離取得部、１３…相対距離取得部、１４…物体領域推定部、１５…係数算出部、１６…距離算出部、１７…補正部、２０…撮像部、Ａ１，Ａ２…物体領域、Ｆ１，Ｆ２，Ｆａ，Ｆｂ，Ｆｃ…特徴点、Ｈ１，Ｈ２…人（特定物体）、ＩＭ１…第１画像、ＩＭ２…第２画像、Ｒ…回帰直線。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】