特許 6965891 情報処理装置、情報処理方法、及び記録媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6965891

(24)【登録日】2021年10月25日

(45)【発行日】2021年11月10日

(54)【発明の名称】情報処理装置、情報処理方法、及び記録媒体

(51)【国際特許分類】

   G06T 7/50 20170101AFI20211028BHJP

【ＦＩ】

   G06T7/50

【請求項の数】14

【全頁数】22

(21)【出願番号】特願2018-548586(P2018-548586)

(86)(22)【出願日】2017年9月25日

(86)【国際出願番号】JP2017034568

(87)【国際公開番号】WO2018083910

(87)【国際公開日】20180511

【審査請求日】2020年7月10日

(31)【優先権主張番号】特願2016-216908(P2016-216908)

(32)【優先日】2016年11月7日

(33)【優先権主張国】JP

(73)【特許権者】

【識別番号】000002185

【氏名又は名称】ソニーグループ株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】特許業務法人酒井国際特許事務所

(72)【発明者】

【氏名】成川 夏子

【審査官】 佐藤 実

(56)【参考文献】

【文献】 特開２００６−３４３８５９（ＪＰ，Ａ）

【文献】 特開２０１２−１２３６６７（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１１／０２１０９１５（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／５０

(57)【特許請求の範囲】

【請求項1】

対象物体を含む入力画像に基づいて、前記対象物体における注目点の存在確率を２次元位置を用いて示す確率マップを、前記対象物体に対する複数の投影方向それぞれについて特定する注目点推定部と、
前記複数の投影方向それぞれにおける前記確率マップそれぞれに基づいて、前記注目点の３次元位置を特定する統合部と、
を備える情報処理装置。

【請求項2】

前記注目点推定部は、前記入力画像と類似する類似画像に対応付けられた確率マップに基づいて、前記確率マップを特定する、請求項１に記載の情報処理装置。

【請求項3】

前記注目点推定部は、複数の前記類似画像に対応付けられた前記確率マップに基づいて、前記確率マップを特定する、請求項２に記載の情報処理装置。

【請求項4】

前記注目点推定部は、学習画像、及び前記学習画像に対応付けられた複数の投影方向における確率マップを学習して得られた学習器に、前記入力画像を入力することで、前記確率マップを特定する、請求項１に記載の情報処理装置。

【請求項5】

前記統合部は、各投影方向における前記確率マップから最大値を有する２次元位置を取得し、前記２次元位置に基づいて、前記注目点の３次元位置を特定する、請求項１に記載の情報処理装置。

【請求項6】

前記入力画像は、偏光画像、法線画像のうち少なくともいずれか一方を含む、請求項１に記載の情報処理装置。

【請求項7】

前記入力画像は、複数の偏光方向における偏光画像を含む、請求項６に記載の情報処理装置。

【請求項8】

前記注目点は前記入力画像に含まれる物体が有する点であり、
前記入力画像は、さらにデプス画像を含み、
前記注目点推定部は、前記デプス画像に基づいて得られる確率マップと、前記偏光画像または前記法線画像に基づく前記物体の検出結果と、に基づいて、前記確率マップを特定する、請求項６に記載の情報処理装置。

【請求項9】

前記入力画像は、１の方向からのセンシングに基づいて得られた画像である、請求項１に記載の情報処理装置。

【請求項10】

前記情報処理装置は、前記注目点の３次元位置に応じた大きさで、前記注目点を示すマーカを表示させる表示制御部をさらに備える、請求項１に記載の情報処理装置。

【請求項11】

前記複数の投影方向は、少なくとも互いに直交する２つの投影方向を含む、請求項１に記載の情報処理装置。

【請求項12】

前記２次元位置および前記３次元位置は、同一の３次元空間に含まれる、請求項１に記載の情報処理装置。

【請求項13】

対象物体を含む入力画像に基づいて、前記対象物体における注目点の存在確率を２次元位置を用いて示す確率マップを、前記対象物体に対する複数の投影方向それぞれについて特定することと、
前記複数の投影方向それぞれにおける前記確率マップそれぞれに基づいて、前記注目点の３次元位置をプロセッサが特定することと、
を含む情報処理方法。

【請求項14】

コンピュータに、
対象物体を含む入力画像に基づいて、前記対象物体における注目点の存在確率を２次元位置を用いて示す確率マップを、前記対象物体に対する複数の投影方向それぞれについて特定する機能と、
前記複数の投影方向それぞれにおける前記確率マップそれぞれに基づいて、前記注目点の３次元位置を特定する機能と、
を実現させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、情報処理装置、情報処理方法、及び記録媒体に関する。

【背景技術】

【0002】

画像に基づいて、画像に含まれる（映る）物体の形状を認識することが行われている。例えば、特許文献１には、画像から手形状の認識を行う技術が開示され、特許文献２には、複数の偏光方向の偏光画像に基づいて、被写体の表面形状を認識し、被写体の表面形状に基づく画像処理を行う技術が開示されている。

【0003】

一方、画像に基づいて、物体に関する注目点の３次元位置を推定することが行われている。例えば、非特許文献１には、デプス画像を入力画像として、入力画像の面上で注目点の２次元位置を推定し、当該２次元位置のデプス値を取得することで、関節点や指先等の手に関する注目点の３次元位置を推定する技術が開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１２−２５６０９８号公報

【特許文献2】特開２０１５−１１５０４１号公報

【非特許文献】

【0005】

【非特許文献1】Jonathan Tompson、他３名、“Real-Time Continuous Pose Recovery of Human Hands Using Convolutional Networks”、ACM Transactions on Graphics (TOG) Volume 33 Issue 5, August 2014 Article No. 169

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかし、上記のような技術では、注目点位置を高精度に推定することが困難な場合があった。例えば、デプス画像において、注目点が隠れている場合や、デプス値の精度が低い場合には、誤った３次元位置が注目点位置として特定され、注目点位置の推定精度が低下する恐れがあった。

【0007】

そこで、本開示では、より高精度に注目点の３次元位置を推定することが可能な、新規かつ改良された情報処理装置、情報処理方法、及び記録媒体を提案する。

【課題を解決するための手段】

【0008】

本開示によれば、対象物体を含む入力画像に基づいて、前記対象物体における注目点の存在確率を２次元位置を用いて示す確率マップを、前記対象物体に対する複数の投影方向それぞれについて特定する注目点推定部と、前記複数の投影方向それぞれにおける前記確率マップそれぞれに基づいて、前記注目点の３次元位置を特定する統合部と、を備える情報処理装置が提供される。

【0009】

また、本開示によれば、対象物体を含む入力画像に基づいて、前記対象物体における注目点の存在確率を２次元位置を用いて示す確率マップを、前記対象物体に対する複数の投影方向それぞれについて特定することと、前記複数の投影方向それぞれにおける前記確率マップそれぞれに基づいて、前記注目点の３次元位置をプロセッサが特定することと、を含む情報処理方法が提供される。

【0010】

また、本開示によれば、コンピュータに、対象物体を含む入力画像に基づいて、前記対象物体における注目点の存在確率を２次元位置を用いて示す確率マップを、前記対象物体に対する複数の投影方向それぞれについて特定する機能と、前記複数の投影方向それぞれにおける前記確率マップそれぞれに基づいて、前記注目点の３次元位置を特定する機能と、を実現させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体が提供される。

【発明の効果】

【0011】

以上説明したように本開示によれば、より高精度に注目点の３次元位置を推定することが可能である。

【0012】

なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

【図面の簡単な説明】

【0013】

【図1】画像から手（物体の一例）の注目点位置を特定する処理の一例を示す説明図である。

【図2】複数の投影方向における確率マップについて説明するための説明図である。

【図3】本開示に係る一実施形態の概要を説明するための説明図である。

【図4】同実施形態に係る情報処理装置の構成例を示すブロック図である。

【図5】同実施形態に係る表示制御部１１９が表示部１７０に表示させる画面の一例を示す説明図である。

【図6】同実施形態に係る情報処理装置１０の動作例を示すフローチャート図である。

【図7】確率マップにおける相対的な位置について説明するための説明図である。

【図8】偏光画像が入力画像として用いられる場合の利点を説明するための説明図である。

【図9】変形例２に係る対応情報の例を示す説明図である。

【図10】法線画像について説明するための説明図である。

【図11】変形例３に係る対応情報の例を示す説明図である。

【図12】入力画像が、法線画像とデプス画像を含む場合の対応情報の例を示す説明図である。

【図13】入力画像が、偏光画像とデプス画像を含む場合の対応情報の例を示す説明図である。

【図14】入力画像がデプス画像と偏光画像を含む場合の注目点推定処理の一例を示す説明図である。

【図15】ハードウェア構成例を示す説明図である。

【発明を実施するための形態】

【0014】

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

【0015】

また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。

【0016】

なお、説明は以下の順序で行うものとする。
＜＜１．背景＞＞
＜＜２．概要＞＞
＜＜３．構成＞＞
＜３−１．全体構成＞
＜３−２．制御部の詳細＞
＜＜４．動作＞＞
＜＜５．変形例＞＞
＜５−１．変形例１＞
＜５−２．変形例２＞
＜５−３．変形例３＞
＜５−４．変形例４＞
＜＜６．ハードウェア構成例＞＞
＜＜７．むすび＞＞

【0017】

＜＜１．背景＞＞
本開示の一実施形態に係る情報処理装置について説明する前に、まず、本開示の一実施形態に係る情報処理装置の創作に至った背景を説明する。

【0018】

入力画像に基づいて、入力画像に含まれる物体に関する注目点の位置を取得することが行われている。本明細書において、物体に関する注目点は、例えば、同種の物体が共通して有する点であってもよい。例えば、注目点は、手（物体の一例）における指先、関節点であってもよいし、顔（物体の一例）における目、鼻、口であってもよいし、人体（物体の一例）における端点、関節点であってもよいし、自動車（物体の一例）におけるタイヤ、ライトであってもよい。

【0019】

手の注目点位置は、例えば手の形状や注目点位置に基づいたＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）、ユーザの意図理解等への応用が考えられる。また、人体の注目点位置は、例えば人体の形状や注目点位置に基づいたＵＩ、ゲーム操作等への応用が考えられる。また、自動車の注目点位置は、運転アシストや自動運転機能における、他の自動車の状況を立体的に把握した処理等への応用が考えられる。

【0020】

図１は、画像から手（物体の一例）の注目点位置を特定する処理の一例を示す説明図である。図１に示す例では、入力画像Ｔ１２に基づく注目点推定処理Ｔ１３により、注目点の存在確率を示す確率マップＴ１４が得られる。注目点推定処理Ｔ１３は、例えば、入力画像Ｔ１２に類似する画像を対応情報データベースＤＢ１０から検索し、検索により得られた画像と対応する確率マップを、確率マップＴ１４として取得する処理であってもよい。なお、図１に示す例では、確率マップＴ１４における輝度値が大きい程、当該輝度値を示す位置に対応する入力画像Ｔ１２の位置に注目点が存在する確率が大きい。

【0021】

図１に示すように、対応情報データベースＤＢ１０には、画像Ｄ１、及び画像Ｄ１と対応付けられた確率マップＭ１を含む対応情報Ｃ１が格納される。確率マップＭ１の生成方法は問わないが、例えば予め人手により生成されてもよい。なお、図１では対応情報データベースＤＢ１０に格納される対応情報の例として対応情報Ｃ１のみが示されているが、対応情報データベースＤＢ１０は、対応情報を複数格納し、対応情報データベースＤＢ１０が格納する対応情報の数に応じて、注目点推定処理Ｔ１３の精度が向上し得る。

【0022】

注目点推定処理Ｔ１３により得られた確率マップＴ１４に基づく位置推定処理Ｔ１５により、注目点位置Ｔ１６が特定(推定)される。位置推定処理Ｔ１５は、例えば確率マップＴ１４において最も値（注目点の存在確率）の大きい位置を、注目点位置Ｔ１６として推定する処理であってもよい。特定される注目点位置Ｔ１６は、図１に示すように、入力画像Ｔ１２における２次元位置（ｘ，ｙ）であってもよい。

【0023】

注目点位置の応用先によっては、注目点の２次元位置ではなく、注目点の３次元位置を取得することが望ましい場合が考えられる。ここで、例えば、入力画像Ｔ１２がデプス情報を含むデプス画像（距離画像）である場合、位置（ｘ，ｙ）におけるデプス値ｚを参照することで、３次元位置（ｘ，ｙ，ｚ）が注目点位置Ｔ１６として特定され得る。しかし、デプス画像において、注目点が隠れている場合や、デプス値の精度が低い場合には、誤った３次元位置が注目点位置として特定され、注目点位置の推定精度が低下する恐れがある。

【0024】

そこで、上記事情を一着眼点にして本開示の一実施形態を創作するに至った。本実施形態によれば、複数の投影方向における確率マップを推定し、当該複数の方向における確率マップに基づいて、注目点の３次元位置を特定することで、高精度に注目点の３次元位置を推定することが可能である。以下、このような効果を有する本開示の一実施形態の概要について図２、図３を参照して説明を行う。

【0025】

＜＜２．概要＞＞
以下では、本開示の一実施形態の概要について説明し、本実施形態に係る情報処理装置の詳細な構成については図４等を参照して後述する。なお、以下では、画像から手の注目点位置を特定する例について説明するが、本実施形態に係る物体は手に限定されない。

【0026】

本実施形態に係る情報処理装置は、図１に示した例と異なり、複数（少なくとも２以上）の投影方向における確率マップを推定する。図２は、複数の投影方向における確率マップについて説明するための説明図である。

【0027】

図２に示す例において、デプス画像Ｄ１０は、手をセンシング（撮像）して得られたデプス画像である。デプス画像Ｄ１０は、ｘ方向、及びｙ方向の情報に加え、デプス方向（深さ方向）であるｚ方向の情報を有するため、図２に示すように、例えば３次元空間における点群（点の集合）として表現することが可能である。

【0028】

例えば、点群として表現されたデプス画像Ｄ１０における注目点は、例えばｚ方向（第１の投影方向）に投影されるとｘ−ｙ平面上の点として表現され、ｙ方向（第２の投影方向）に投影されるとｘ−ｚ平面上の点として表現され得る。逆に、図２に示すように、ｚ方向に投影されたｘ−ｙ平面上の確率マップＭ１２（ｚ方向における確率マップ）と、ｙ方向に投影されたｘ−ｚ平面上の確率マップＭ１４（ｙ方向における確率マップ）とに基づき、３次元位置を特定することが可能である。例えば、各投影方向における確率マップから最大値を有する２次元位置を取得し、当該２次元位置に基づいて、注目点の３次元位置を特定することが可能である。

【0029】

上記のように、少なくとも２以上の投影方向における確率マップが得られた場合、デプス値を参照することなく、注目点の３次元位置を特定することが可能であり、デプス値の精度が低い場合であっても、高精度に注目点の３次元位置を特定し得る。なお、図２に示す例では、ｚ方向、ｙ方向に投影された確率マップを示したが、ｘ方向に投影されたｙ−ｚ平面上の確率マップも考えられる。

【0030】

図３は、本実施形態の概要を説明するための説明図である。図３に示す例では、入力画像Ｔ２２に基づく注目点推定処理Ｔ２３により、異なる２つの投影方向における確率マップＴ２４，Ｔ２５が特定される。確率マップＴ２４は、ｚ方向に投影されたｘ−ｙ平面上の確率マップであり、確率マップＴ２５は、ｙ方向に投影されたｘ−ｚ平面上の確率マップである。

【0031】

注目点推定処理Ｔ２３は、例えば、入力画像Ｔ２２に類似する画像を対応情報データベースＤＢ２０から検索し、検索により得られた画像と対応する、複数の投影方向における確率マップを、確率マップＴ２４，Ｔ２５として取得する処理であってもよい。

【0032】

図３に示すように、対応情報データベースＤＢ２０には、画像Ｄ２、及び画像Ｄ２と対応付けられた複数の投影方向における確率マップＭ２２、確率マップＭ２４、を含む対応情報Ｃ２が格納される。例えば、確率マップＭ２２はｚ方向における確率マップであり、確率マップＭ２４はｙ方向における確率マップである。

【0033】

確率マップＭ２２、確率マップＭ２４の生成方法は問わないが、例えば予め人手により生成されてもよい。なお、図３では対応情報データベースＤＢ１０に格納される対応情報の例として対応情報Ｃ２のみが示されているが、対応情報データベースＤＢ２０は、対応情報を複数格納し、対応情報データベースＤＢ２０が格納する対応情報の数に応じて、注目点推定処理Ｔ２３の精度が向上し得る。

【0034】

注目点推定処理Ｔ２３により得られた確率マップＴ２４、Ｔ２５に基づく統合処理Ｔ２６により、注目点位置Ｔ２８が特定される。統合処理Ｔ２６は、例えば、確率マップＴ２４、Ｔ２５の夫々から最大値を有する２次元位置を取得し、当該２次元位置に基づいて、注目点の３次元位置（ｘ，ｙ，ｚ）を特定する処理であってもよい。

【0035】

なお、以下では、入力画像Ｔ２２、及び画像Ｄ２がデプス情報を含むデプス画像（距離画像）である例について説明するが、本技術は係る例に限定されない。本実施形態によれば、図２を参照して説明したように、複数の投影方向における確率マップが得られることで、デプス値を参照しなくても注目点の３次元位置を特定することが可能である。そのため、入力画像Ｔ２２、及び画像Ｄ２は、デプス画像に限定されず、所謂ＲＧＢカメラにより取得されるＲＧＢ画像（カラー画像）であってもよいし、他の種類の画像であってもよい。また、入力画像Ｔ２２と画像Ｄ２とは、同一の種類の画像であることが望ましい。入力画像Ｔ２２、及び画像Ｄ２が他の種類の画像である例については、変形例として後述する。

【0036】

また、図３に示す例では、１の入力画像に対して、１の注目点の３次元位置が特定されているが、１の入力画像に対して、複数の注目点（各指の先、各指の関節等）の３次元位置が特定されてもよい。また、係る場合、対応情報データベースＤＢ２０に格納される対応情報は、１の画像と、出力され得る注目点の数に応じた数の確率マップと、が対応付けられた情報であってもよい。

【0037】

以上、本実施形態の概要について説明した。続いて、図４，図５を参照して、本実施形態に係る情報処理装置の構成例を説明する。

【0038】

＜＜３．構成＞＞
図４は、本実施形態に係る情報処理装置の構成例を示すブロック図である。図４に示すように、本実施形態に係る情報処理装置１０は、制御部１１０、センサ部１２０、記憶部１６０、及び表示部１７０を備える。以下、情報処理装置１０の全体的な機能構成例を説明した後に、制御部１１０について詳細に説明する。

【0039】

＜３−１．全体構成＞
制御部１１０は、情報処理装置１０の各構成を制御する。例えば、制御部１１０は、センサ部１２０が取得した撮像画像に基づいて、当該撮像画像に含まれる物体に関する注目点の３次元位置を特定し、当該３次元位置に基づいて表示部１７０の表示を制御する。

【0040】

センサ部１２０は、センシング（撮像）に基づいて撮像画像を取得する。センサ部１２０は、例えばデプス画像を取得可能なステレオカメラ、ＴｏＦ（Time-of-Flight）カメラ、Structured lightカメラ等であってもよい。

【0041】

記憶部１６０は、情報処理装置１０の各構成が機能するためのプログラムやパラメータを記憶する。また、記憶部１６０は、図３を参照して説明した、画像、及び画像と対応付けられた複数の投影方向における確率マップを含む対応情報が複数格納された対応情報データベースＤＢ２０を記憶する。

【0042】

表示部１７０は、制御部１１０の制御に従い、表示を行うディスプレイである。表示部１７０により表示される画面の例については、図５を参照して後述する。

【0043】

＜３−２．制御部の詳細＞
以上、本実施形態に係る情報処理装置１０の全体的な機能構成例について説明した。続いて、図４に示した制御部１１０の機能構成をより詳細に説明する。図４に示すように、制御部１１０は、検出部１１１、切り出し部１１３、注目点推定部１１５、統合部１１７、表示制御部１１９、としても機能する。

【0044】

検出部１１１は、センサ部１２０により取得された撮像画像から、手（物体の一例）を検出する。検出部１１１が用いる物体検出手法は問わないが、例えば非特許文献１で行われているように、Randomized Decision Forest（ＲＤＦ）に基づく物体検出手法等が用いられてもよい。検出部１１１により検出された手領域が、切り出し部１１３へ提供される。

【0045】

切り出し部１１３は、検出部１１１により検出された手領域に基づいて、撮像画像から手の周囲を所定の形状（例えば矩形）で切り出し、所定のサイズにリサイズする。なお、切り出し部１１３は、切り出された領域のうち、手領域以外の領域の値を所定値（例えば０）としてもよい。また、切り出し部１１３は、値の正規化処理を行ってもよい。切り出し部１１３によって得られた画像が、入力画像として、注目点推定部１１５へ入力されるため、係る構成により、注目点推定部１１５の処理精度が向上する。

【0046】

注目点推定部１１５は、入力画像に基づいて、複数の投影方向において、注目点の存在確率を示す確率マップを特定する。例えば、注目点推定部１１５は、入力画像と類似する画像（以下、類似画像と呼ぶ場合がある）を記憶部１６０に記憶される対応情報データベースＤＢ２０から検索し、検索により得られた類似画像に対応付けられた、複数の投影方向における確率マップを特定すべき確率マップとして取得してもよい。なお、類似画像の検索は、例えば対応情報データベースＤＢ２０に含まれる画像のうち、入力画像との差分が小さいものを類似画像として抽出するマッチング処理であってもよい。

【0047】

係る構成により、入力画像がデプス画像に限定されず、注目点推定部１１５による注目点推定処理は入力画像と同様の種類の画像が対応情報データベースＤＢ２０に含まれていれば、多様な種類の画像を入力画像として実行可能であるという効果が得られる。

【0048】

また、注目点推定部１１５は、１の入力画像に類似する類似画像として、複数の類似画像を対応情報データベースＤＢ２０から抽出し、当該複数の類似画像に対応付けられた、投影方向ごとに複数存在する確率マップに基づいて、各投影方向における確率マップを特定してもよい。例えば、注目点推定部１１５は、複数の確率マップを足し合わせ、全体の和が所定値（例えば１)となるように正規化した確率マップを、特定すべき確率マップとして取得してもよい。係る構成により、注目点位置の推定精度が向上し得る。

【0049】

統合部１１７は、注目点推定部１１５により特定された複数の投影方向における確率マップに基づいて、注目点の３次元位置を特定する。

【0050】

例えば、統合部１１７は、各投影方向における確率マップから最大値を有する２次元位置を取得し、当該２次元位置に基づいて、注目点の３次元位置を特定してもよい。例えば、ｚ方向における確率マップ、及びｙ方向における確率マップのそれぞれから、各確率マップにおいて最大値を有する２次元位置（ｘ１，ｙ１），及び（ｘ２，ｚ２）が取得された場合を考える。

【0051】

係る場合、統合部１１７は、例えばｘ方向の位置については２つの２次元位置の平均値を用い、ｙ方向、ｚ方向の位置については各２次元位置の値をそのまま用いるように注目点の３次元位置を特定してもよい。すなわち、上記の例において、統合部１１７は、注目点の三次元位置を（（ｘ１＋ｘ２）／２，ｙ１，ｚ２）と、特定してもよい。

【0052】

なお、統合部１１７による３次元位置の特定方法は係る例に限定されない。例えば、統合部１１７は、ｘ方向の位置について、いずれかの２次元位置を優先して用いてもよい。また、統合部１１７は、複数の投影方向における確率マップを３次元空間に逆投影して足し合わせ、３次元空間において最も値（確率）が高い点の位置を注目点の３次元位置として特定してもよい。

【0053】

上記のように注目点の３次元位置を特定することで、デプス画像のデプス値を参照することなく、注目点の３次元位置を特定することが可能であり、注目点が隠れている場合や、デプス値の精度が低い場合であっても、位置推定精度が低下し難い。

【0054】

表示制御部１１９は、表示部１７０による表示を制御する。例えば、表示制御部１１９は、入力画像と、注目点を示すマーカとを表示部１７０に表示させてもよい。また、表示制御部１１９は、注目点の３次元位置に応じた大きさで、注目点を示すマーカを表示させてもよい。

【0055】

図５は、表示制御部１１９が表示部１７０に表示させる画面の一例を示す説明図である。図５に示す画面Ｇ１０には、入力画像Ｇ１２と共に、注目点を示すマーカＧ１４，Ｇ１６が表示される。図５に示す例では、注目点を示すマーカの大きさは、画面Ｇ１０の奥方向（ｚ方向）に遠くなる（ｚ方向の位置座標が大きくなる）程、小さくなるように、表示されている。係る構成により、ユーザは、注目点の３次元位置を視覚的に容易に理解することが可能である。

【0056】

なお、表示制御部１１９による表示制御は、係る例に限定されない。例えば、表示制御部１１９は、特定された注目点の３次元位置をＵＩとして用いて、多様な画面の表示制御を行ってもよい。また、情報処理装置１０は、注目点の３次元位置に基づいて、表示以外の出力機能を有してもよい。

【0057】

＜＜４．動作＞＞
以上、本実施形態に係る情報処理装置１０の構成例について説明した。続いて、本実施形態に係る情報処理装置１０の動作例について、図６を参照して説明する。

【0058】

図６は、本実施形態に係る情報処理装置１０の動作例を示すフローチャート図である。図６に示すように、

【0059】

まず、センサ部１２０がセンシング（撮像）により撮像画像を取得する（Ｓ１０２）。続いて、検出部１１１が撮像画像から手の検出を行い、撮像画像から手が検出されない場合（Ｓ１０４においてＮＯ）、処理はステップＳ１０２に戻る。

【0060】

一方、撮像画像から手が検出された場合（Ｓ１０４においてＹＥＳ）、検出部により手領域が取得される（Ｓ１０６）。続いて、切り出し部１１３により画像の切り出しと正規化が行われ、入力画像が得られる（Ｓ１０８）。

【0061】

注目点推定部１１５は、入力画像と類似する類似画像を、対応情報データベースから検索する（Ｓ１１０）。さらに、注目点推定部１１５は、検索により得られた類似画像に対応付けられた確率マップに基づいて、複数の投影方向における確率マップを特定する（Ｓ１１２）。

【0062】

続いて、統合部１１７が、ステップＳ１１２で特定された複数の投影方向における確率マップに基づいて、注目点の３次元位置を特定する（Ｓ１１４）。最後に、表示制御部１１９が、注目点の３次元位置に基づいて、表示部１７０による表示を制御し、例えば注目点を示すマーカを表示させる（Ｓ１１６）。

【0063】

なお、上述した一連の処理（Ｓ１０２〜Ｓ１１６）は、随時、または所定の間隔で繰り返されてもよい。

【0064】

＜＜５．変形例＞＞
以上、本開示の一実施形態を説明した。以下では、本開示の一実施形態の幾つかの変形例を説明する。なお、以下に説明する各変形例は、単独で本開示の実施形態に適用されてもよいし、組み合わせで本開示の実施形態に適用されてもよい。また、各変形例は、本開示の実施形態で説明した構成に代えて適用されてもよいし、本開示の実施形態で説明した構成に対して追加的に適用されてもよい。

【0065】

＜５−１．変形例１＞
上記実施形態では、注目点推定部１１５が、類似画像検索に基づいて確率マップを特定する例を説明したが、本技術は係る例に限定されない。以下では、注目点推定部１１５が、機械学習手法を用いて、確率マップを特定する例を変形例１として説明する。用いられる機械学習手法は特に限定されないが、例えばＣＮＮ（Convolutional Neural Network）に基づく手法が用いられてもよい。

【0066】

例えば、注目点推定部１１５は、事前に学習画像と、学習画像に対応付けられた複数の投影方向における確率マップを学習して得られたＣＮＮ（学習器の一例）に、入力画像を入力することで、複数の投影方向における確率マップを特定してもよい。上記のようにして得られたＣＮＮは、入力画像を入力することで、特定すべき複数の投影方向における確率マップを出力し得る。

【0067】

なお、学習画像、及び学習画像に対応付けられた複数の投影方向における確率マップは、それぞれ、図４を参照して説明した対応情報に含まれる画像、及び確率マップと同様であってもよい。また、係る場合、記憶部１６０は、対応情報データベースを記憶していなくてもよい。また、記憶部１６０は、学習済みのＣＮＮ（学習器の一例）を記憶していてもよい。係る構成によれば、記憶部１６０が記憶するデータサイズを小さくすることが可能となる。

【0068】

また、上記のように機械学習手法を用いて確率マップが特定される場合、学習される確率マップは、絶対的な位置ではなく、相対的な位置で表現される確率マップであってもよい。図７は、確率マップにおける相対的な位置について説明するための説明図である。

【0069】

図７に示す点Ｐ１０は、デプス画像Ｄ１０から特定される手のひら中心（手領域に属する点群の重心）のｘ−ｚ平面上の位置である。ここで、図７に示すように、ｘ−ｚ平面上における注目点Ｐ１２の絶対的なｚ方向の位置は、正規化された範囲の端からの距離Ｌ１で表現され得る。一方、注目点Ｐ１２の相対的なｚ方向の位置は、点Ｐ１０からのｚ方向の距離Ｌ２で表現され得る。

【0070】

上記のような相対的な位置で表現される確率マップが学習に用いられることで、注目点同士の関係性を容易に求めることが可能である場合（例えば入力画像がデプス画像以外の画像である場合）、注目点推定部１１５は、より適切な確率マップを特定し得る。

【0071】

＜５−２．変形例２＞
上記実施形態では、入力画像がデプス画像である例を説明したが、本技術は係る例に限定されない。以下では入力画像が偏光情報を含む偏光画像である場合の例を、変形例２として説明する。

【0072】

図８は、偏光画像が入力画像として用いられる場合の利点を説明するための説明図である。図８に示す現実空間Ｒ３は、テーブルＲ３２に、手Ｒ３４が接触している状態を表している。このような状況で、デプス情報を取得したデプス画像Ｄ３は、手領域のデプス値と、テーブル領域のデプス値の差分が小さいため、このようなデプス画像Ｄ３を入力画像として手検出を行う場合、精度が低下する恐れがある。

【0073】

一方、偏光情報は例えば被写体の材質に応じて異なるため、偏光情報を取得した偏光画像Ｈ３において、手領域とテーブル領域で値の差が明確となる。そのため、偏光画像を入力画像として手検出を行うと、手検出結果Ｅ３のように、高精度に手領域を検出することが可能となり、その結果、注目点位置の推定精度も向上し得る。

【0074】

偏光画像が入力画像として用いられる場合、記憶部１６０に記憶される対応情報データベースは、偏光画像、及び偏光画像と対応付けられた確率マップを対応情報として格納してもよい。また、対応情報は、複数の偏光方向における偏光画像を含んでもよい。図９は、本変形例に係る対応情報の例を示す説明図である。

【0075】

図９に示すように、本変形例において対応情報データベースに格納される対応情報Ｃ５は、０°、９０°、１８０°、２７０°の４つの偏光方向における偏光画像Ｈ５２〜Ｈ５８を含む画像（群）Ｈ５を含む。また、対応情報Ｃ５は、画像（群）Ｈ５と対応付けられた複数の投影方向における確率マップＭ５２、Ｍ５４を更に含む。

【0076】

係る場合、入力画像も複数の偏光方向における偏光画像を含んでよく、注目点推定部１１５は、偏光方向ごとに入力画像と、対応情報データベースに含まれる画像の差分を算出し、差分の合計が小さくなる画像（群）を類似画像としても抽出してもよい。係る構成により、より高精度に類似画像を特定することが可能であり、その結果として、注目点の位置推定精度も向上し得る。

【0077】

＜５−３．変形例３＞
以下では入力画像が法線情報を含む法線画像である場合の例を、変形例３として説明する。法線画像は、例えばデプス画像から生成されてもよいが、偏光画像から生成される方が分解能が高くなりやすため、偏光画像から生成されることが望ましい。

【0078】

図１０は、法線画像について説明するための説明図である。法線画像Ｈ１からは、例えば法線方向（図中矢印）の情報を取得することが可能であり、物体の形状（例えば指の丸みの形状）を把握することができる。また、法線画像Ｈ１は、図１０に示すように、例えばｘ方向成分、ｙ方向成分、ｚ方向成分に分けて表現することが可能である。なお、法線画像Ｈ１は、例えば、法線成分のｘ方向、ｙ方向、ｚ方向をそれぞれＲ（赤）、Ｇ（緑）、Ｂ（青）の各チャンネルの値とした１のＲＧＢ画像（カラー画像）として表現されてもよい。

【0079】

図１０に示す例では、法線画像をｙ方向成分に分解した画像の一部Ｙ１０において、領域Ｙ１２で値が比較的大きいため、法線は上方向（ｙ軸正方向）の成分が強く、領域Ｙ１４で値が比較的大きいため、法線は下方向（ｙ軸負方向）の成分が強いことがわかる。

【0080】

なお、法線成分の表現方法はｘ方向、ｙ方向、ｚ方向で表現する方法に限定されず、例えば法線成分を天頂角や方位角で表現することも可能である。

【0081】

法線画像が入力画像として用いられる場合、記憶部１６０に記憶される対応情報データベースは、法線画像、及び法線画像と対応付けられた確率マップを対応情報として格納してもよい。また、対応情報は、複数の法線成分を表現した法線画像を含んでもよい。図１１は、本変形例に係る対応情報の例を示す説明図である。

【0082】

図１１に示すように、本変形例において対応情報データベースに格納される対応情報Ｃ６は、ｘ方向、ｙ方向、ｚ方向の３方向の法線成分をそれぞれ表現した法線画像Ｎ６２〜Ｎ６６を含む画像（群）Ｎ６を含む。また、対応情報Ｃ６は、画像（群）Ｎ６と対応付けられた複数の投影方向における確率マップＭ６２、Ｍ６４を更に含む。

【0083】

係る場合、入力画像も同様にｘ方向、ｙ方向、ｚ方向の３方向の法線成分をそれぞれ表現した法線画像を含んでよく、注目点推定部１１５は、方向ごとに入力画像と、対応情報データベースに含まれる画像の差分を算出し、差分の合計が小さくなる画像（群）を類似画像としても抽出してもよい。

【0084】

＜５−４．変形例４＞
上記実施形態、及び変形例では、入力画像に含まれる画像の種類（ＲＧＢ画像、デプス画像、偏光画像、法線画像等）は同一である例を説明したが、本技術は係る例に限定されない。以下では、変形例４として、入力画像が複数の種類の画像を含む例を説明する。

【0085】

また入力画像が複数の種類の画像を含む場合、記憶部１６０に記憶される対応情報データベースは、入力画像に対応する種類の画像を含む対応情報を格納してもよい。

【0086】

図１２は、入力画像が、法線画像とデプス画像を含む場合の対応情報の例を示す説明図である。図１２に示すように、係る場合において対応情報データベースに格納される対応情報Ｃ７は、３方向の法線成分をそれぞれ表現した法線画像Ｎ７２〜Ｎ７６と、デプス画像Ｄ７８と、を含む画像（群）Ｇ７を含む。また、対応情報Ｃ７は、画像（群）Ｇ７と対応付けられた複数の投影方向における確率マップＭ７２、Ｍ７４を更に含む。

【0087】

また、図１３は、入力画像が、偏光画像とデプス画像を含む場合の対応情報の例を示す説明図である。図１３に示すように、係る場合において対応情報データベースに格納される対応情報Ｃ８は、４つの偏光方向における偏光画像Ｈ８２〜Ｈ８８と、デプス画像Ｄ８９と、を含む画像（群）Ｇ８を含む。また、対応情報Ｃ８は、画像（群）Ｇ８と対応付けられた複数の投影方向における確率マップＭ８２、Ｍ８４を更に含む。

【0088】

上記の場合、注目点推定部１１５は、画像の種類ごと、及び方向ごとに入力画像と、対応情報データベースに含まれる画像の差分を算出し、差分の合計が小さくなる画像（群）を類似画像としても抽出してもよい。係る構成により、より高精度に類似画像を特定することが可能であり、その結果として、注目点の位置推定精度も向上し得る。

【0089】

また、入力画像に含まれる複数種類の画像が、それぞれ別の用途で用いられてもよい。図１４は、入力画像が、デプス画像と偏光画像を含む場合の注目点推定処理の一例を示す説明図である。図１４に示す現実空間Ｒ９は、手Ｒ９２（注目点を有する物体の一例）の上に、ペンＲ９４（手以外の物体の一例）が存在する状態を表している。このような状況で取得されるデプス情報を利用して（デプス画像に基づいて）注目点推定を行って得られる確率マップＡ９には、注目点（指先）に対応する領域Ａ９２の他に、ペンの先に対応する領域Ａ９４にも大きな値（存在確率）が生じる場合がある。確率マップＡ９をそのまま統合部１１７に入力して３次元位置を特定すると、誤った３次元位置が特定される恐れがある。

【0090】

ここで、図１４に示すように、偏光情報を用いて（偏光画像に基づいて）、手検出を行った検出結果Ｅ９では、ペンの領域を除いた手領域Ｅ９２が得られている。なお、検出結果Ｅ９は、図１４に示すように２値で表現されてもよいし、手の存在確率を示すマップとして表現されてもよい。注目点推定部１１５は、確率マップＡ９と検出結果Ｅ９を重ね合わせることで、注目点（指先）に対応する領域Ｋ９２のみに大きな値を有する確率マップＫ９を特定することが可能である。なお、図１４では、手検出が偏光画像に基づいて行われる例を説明したが、偏光画像の代わりに法線画像が用いられてもよい。
係る構成により、注目点位置の推定精度が向上する。

【0091】

＜＜６．ハードウェア構成＞＞
以上、本開示の実施形態を説明した。最後に、図１５を参照して、本実施形態に係る情報処理装置のハードウェア構成について説明する。図１５は、本実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。なお、図１５に示す情報処理装置９００は、例えば、図４に示した情報処理装置１０を実現し得る。本実施形態に係る情報処理装置１０による情報処理は、ソフトウェアと、以下に説明するハードウェアとの協働により実現される。

【0092】

図１５に示すように、情報処理装置９００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９０１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９０２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０３及びホストバス９０４ａを備える。また、情報処理装置９００は、ブリッジ９０４、外部バス９０４ｂ、インタフェース９０５、入力装置９０６、出力装置９０７、ストレージ装置９０８、ドライブ９０９、接続ポート９１１、通信装置９１３、及びセンサ９１５を備える。情報処理装置９００は、ＣＰＵ９０１に代えて、又はこれとともに、ＤＳＰ若しくはＡＳＩＣ等の処理回路を有してもよい。

【0093】

ＣＰＵ９０１は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置９００内の動作全般を制御する。また、ＣＰＵ９０１は、マイクロプロセッサであってもよい。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。ＣＰＵ９０１は、例えば、制御部１１０を形成し得る。

【0094】

ＣＰＵ９０１、ＲＯＭ９０２及びＲＡＭ９０３は、ＣＰＵバスなどを含むホストバス９０４ａにより相互に接続されている。ホストバス９０４ａは、ブリッジ９０４を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９０４ｂに接続されている。なお、必ずしもホストバス９０４ａ、ブリッジ９０４および外部バス９０４ｂを分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。

【0095】

入力装置９０６は、例えば、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチ及びレバー等、ユーザによって情報が入力される装置によって実現される。また、入力装置９０６は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置９００の操作に対応した携帯電話やＰＤＡ等の外部接続機器であってもよい。さらに、入力装置９０６は、例えば、上記の入力手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などを含んでいてもよい。情報処理装置９００のユーザは、この入力装置９０６を操作することにより、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりすることができる。

【0096】

出力装置９０７は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で形成される。このような装置として、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置及びランプ等の表示装置や、スピーカ及びヘッドホン等の音声出力装置や、プリンタ装置等がある。出力装置９０７は、例えば、情報処理装置９００が行った各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置９００が行った各種処理により得られた結果を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。出力装置９０７は、例えば表示部１７０を形成し得る。

【0097】

ストレージ装置９０８は、情報処理装置９００の記憶部の一例として形成されたデータ格納用の装置である。ストレージ装置９０８は、例えば、ＨＤＤ等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により実現される。ストレージ装置９０８は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置９０８は、ＣＰＵ９０１が実行するプログラムや各種データ及び外部から取得した各種のデータ等を格納する。上記ストレージ装置９０８は、例えば、記憶部１６０を形成し得る。

【0098】

ドライブ９０９は、記憶媒体用リーダライタであり、情報処理装置９００に内蔵、あるいは外付けされる。ドライブ９０９は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体に記録されている情報を読み出して、ＲＡＭ９０３に出力する。また、ドライブ９０９は、リムーバブル記憶媒体に情報を書き込むこともできる。

【0099】

接続ポート９１１は、外部機器と接続されるインタフェースであって、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）などによりデータ伝送可能な外部機器との接続口である。

【0100】

通信装置９１３は、例えば、ネットワーク９２０に接続するための通信デバイス等で形成された通信インタフェースである。通信装置９１３は、例えば、有線若しくは無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ ＵＳＢ）用の通信カード等である。また、通信装置９１３は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）用のルータ又は各種通信用のモデム等であってもよい。この通信装置９１３は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。

【0101】

センサ９１５は、例えば、加速度センサ、ジャイロセンサ、地磁気センサ、光センサ、音センサ、測距センサ、力センサ等の各種のセンサである。センサ９１５は、情報処理装置９００の姿勢、移動速度等、情報処理装置９００自身の状態に関する情報や、情報処理装置９００の周辺の明るさや騒音等、情報処理装置９００の周辺環境に関する情報を取得する。また、センサ９１５は、ＧＰＳ信号を受信して装置の緯度、経度及び高度を測定するＧＰＳセンサを含んでもよい。センサ９１５は、例えば、センサ部１２０を形成し得る。

【0102】

なお、ネットワーク９２０は、ネットワーク９２０に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、ネットワーク９２０は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）などを含んでもよい。また、ネットワーク９２０は、ＩＰ−ＶＰＮ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ−Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。

【0103】

以上、本実施形態に係る情報処理装置９００の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて実現されていてもよいし、各構成要素の機能に特化したハードウェアにより実現されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。

【0104】

なお、上述のような本実施形態に係る情報処理装置９００の各機能を実現するためのコンピュータプログラムを作製し、ＰＣ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。

【0105】

＜＜７．むすび＞＞
以上説明したように、本開示の実施形態によれば、注目点の隠れや、デプス値の精度の影響を受け難いため、より高精度に注目点の３次元位置を推定することが可能である。また、デプス画像以外の画像を入力画像として用いることが可能であり、より多様な用途、構成で用いることが可能である。また、２次元の確率マップを複数特定した後に３次元位置を特定するため、３次元位置を直接的に求める場合よりも計算量を抑制することが可能である。

【0106】

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

【0107】

例えば、上記実施形態では、注目点推定部１１５が、２方向の確率マップを特定する例を説明したが、本技術は係る例に限定されない。注目点推定部１１５は、３方向の確率マップを特定してもよく、係る場合、記憶部１６０が記憶する対応情報データベースに格納される対応情報に、３方向の確率マップが含まれてもよい。また、係る場合、統合部１１７は、３方向の確率マップに基づいて、３次元位置を特定してもよい。

【0108】

また、入力画像にデプス画像が含まれ、デプス値が高精度であることや、注目点が隠れていないことが判断可能な場合には、１方向の確率マップに基づいて得られた２次元位置のデプス値を参照することで、注目点の３次元位置が特定されてもよい。

【0109】

また、上記では、手の注目点位置を特定する例について説明したが、本技術に係る物体は手に限定されず、例えば人体や顔、自動車等であってもよい。また、特定された注目点位置は、表示以外にも様々な応用が可能である。

【0110】

例えば、手の注目点位置は、手の形状や注目点位置に基づいたＵＩ、ユーザの意図理解等への応用が考えられ、人体の注目点位置は、例えば人体の形状や注目点位置に基づいたＵＩ、ゲーム操作等への応用が考えられる。また、自動車の注目点位置は、運転アシストや自動運転機能における、他の自動車の状況を立体的に把握した処理等への応用が考えられる。

【0111】

また、上記の変形例２〜４では、複数の画像が入力画像に含まれる例を説明したが、入力画像は、全て１の方向（同一方向）からのセンシング（撮像）に基づいて得られた画像であってもよい。上述した本技術の実施形態によれば、複数の方向からセンシングした入力画像を用いなくとも、３次元位置を特定可能であり、センシングに係るコストが抑制され得る。

【0112】

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

【0113】

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
入力画像に基づいて、複数の投影方向において、注目点の存在確率を示す確率マップを特定する注目点推定部と、
前記複数の投影方向における前記確率マップに基づいて、前記注目点の３次元位置を特定する統合部と、
を備える情報処理装置。
（２）
前記注目点推定部は、前記入力画像と類似する類似画像に対応付けられた確率マップに基づいて、前記確率マップを特定する、前記（１）に記載の情報処理装置。
（３）
前記注目点推定部は、複数の前記類似画像に対応付けられた前記確率マップに基づいて、前記確率マップを特定する、前記（２）に記載の情報処理装置。
（４）
前記注目点推定部は、学習画像、及び前記学習画像に対応付けられた複数の投影方向における確率マップを学習して得られた学習器に、前記入力画像を入力することで、前記確率マップを特定する、前記（１）に記載の情報処理装置。
（５）
前記統合部は、各投影方向における前記確率マップから最大値を有する２次元位置を取得し、前記２次元位置に基づいて、前記注目点の３次元位置を特定する、前記（１）〜（４）のいずれか一項に記載の情報処理装置。
（６）
前記入力画像は、偏光画像、法線画像のうち少なくともいずれか一方を含む、前記（１）〜（５）のいずれか一項に記載の情報処理装置。
（７）
前記入力画像は、複数の偏光方向における偏光画像を含む、前記（６）に記載の情報処理装置。
（８）
前記注目点は前記入力画像に含まれる物体が有する点であり、
前記入力画像は、さらにデプス画像を含み、
前記注目点推定部は、前記デプス画像に基づいて得られる確率マップと、前記偏光画像または前記法線画像に基づく前記物体の検出結果と、に基づいて、前記確率マップを特定する、前記（６）または（７）に記載の情報処理装置。
（９）
前記入力画像は、１の方向からのセンシングに基づいて得られた画像である、前記（１）〜（８）のいずれか一項に記載の情報処理装置。
（１０）
前記情報処理装置は、前記注目点の３次元位置に応じた大きさで、前記注目点を示すマーカを表示させる表示制御部をさらに備える、前記（１）〜（９）のいずれか一項に記載の情報処理装置。
（１１）
入力画像に基づいて、複数の投影方向において、注目点の存在確率を示す確率マップを特定することと、
前記複数の投影方向における前記確率マップに基づいて、前記注目点の３次元位置をプロセッサが特定することと、
を含む情報処理方法。
（１２）
コンピュータに、
入力画像に基づいて、複数の投影方向において、注目点の存在確率を示す確率マップを特定する機能と、
前記複数の投影方向における前記確率マップに基づいて、前記注目点の３次元位置を特定する機能と、
を実現させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。

【符号の説明】

【0114】

１０ 情報処理装置
１１０ 制御部
１１１ 検出部
１１３ 切り出し部
１１５ 注目点推定部
１１７ 統合部
１１７ 統合部
１１９ 表示制御部
１２０ センサ部
１６０ 記憶部
１７０ 表示部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】