特許 7439832 ３次元姿勢推定方法、プログラム、記録媒体および３次元姿勢推定装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-02-19

(45)【発行日】2024-02-28

(54)【発明の名称】３次元姿勢推定方法、プログラム、記録媒体および３次元姿勢推定装置

(51)【国際特許分類】

   G06T 7/70 20170101AFI20240220BHJP

   G06T 7/00 20170101ALI20240220BHJP

【ＦＩ】

G06T7/70 Z

G06T7/00 660B

G06T7/00 350C

【請求項の数】 12

(21)【出願番号】P 2021522693

(86)(22)【出願日】2020-04-15

(86)【国際出願番号】 JP2020016571

(87)【国際公開番号】W WO2020241100

(87)【国際公開日】2020-12-03

【審査請求日】2022-12-23

(31)【優先権主張番号】P 2019101023

(32)【優先日】2019-05-30

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000001270

【氏名又は名称】コニカミノルタ株式会社

(74)【代理人】

【識別番号】110001933

【氏名又は名称】弁理士法人 佐野特許事務所

(72)【発明者】

【氏名】関井 大気

【審査官】宮島 潤

(56)【参考文献】

【文献】国際公開第２０１８／０８７９３３（ＷＯ，Ａ１）

【文献】特開２０１７－９１３７７（ＪＰ，Ａ）

【文献】特開２０１５－１６７００８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００ － ７／９０

Ｇ０６Ｖ １０／００ － ２０／９０

Ｇ０６Ｖ ３０／４１８

Ｇ０６Ｖ ４０／１６

Ｇ０６Ｖ ４０／２０

Ｇ０６Ｔ １／００ － １／４０

Ｇ０６Ｔ ３／００ － ５／５０

Ｇ０６Ｔ ９／００ － ９／４０

(57)【特許請求の範囲】

【請求項1】

少なくとも１つの物体が写っている画像から、前記物体の３次元姿勢を前記物体ごとに推定する３次元姿勢推定方法であって、
機械学習可能なＣＮＮで構成される深度マップ推定部が、前記画像が入力されたときに、所定の前記物体の骨格を規定する制御点のペアのそれぞれについて、前記画像上で前記ペアの一方の制御点に対する他方の制御点の相対位置を複数仮定するとともに、仮定した前記複数の相対位置のそれぞれについて、前記一方の制御点を前記画像上の各位置に存在するものとして、前記一方の制御点に対する前記他方の制御点の相対深度を前記画像全体に渡って推定する深度マップ推定ステップと、
前記画像を用いて、複数の前記制御点の前記画像上での２次元位置を前記物体ごとに検出する位置検出ステップと、
仮定した前記複数の相対位置のそれぞれについて推定した前記相対深度と、前記複数の制御点の前記２次元位置とに基づいて、前記複数の制御点の相対的な３次元位置を求めるとともに、前記３次元位置を求める処理を、連接する前記制御点のペアを順番にずらして全ての前記ペアについて行うことにより、前記３次元姿勢を前記物体ごとに推定する姿勢推定ステップとを含み、
前記深度マップ推定部を構成するＣＮＮは、前記画像が入力されたときに、前記画像上で前記一方の制御点に対する前記他方の制御点の相対深度を、仮定した前記複数の相対位置のそれぞれについて推定するように予め学習されている、３次元姿勢推定方法。

【請求項2】

前記位置検出ステップでは、機械学習可能なＣＮＮで構成される位置検出部が、前記複数の制御点の前記２次元位置の検出を、前記ＣＮＮでの演算によって実行し、
前記位置検出部を構成するＣＮＮは、前記画像が入力されたときに、前記制御点の前記画像上での前記２次元位置を検出するように予め機械学習されている、請求項１に記載の３次元姿勢推定方法。

【請求項3】

前記深度マップ推定ステップでは、前記深度マップ推定部が前記相対深度の推定結果を示す相対深度マップを出力し、
前記位置検出ステップでは、位置検出部が、入力される前記画像と前記相対深度マップとに基づいて、前記２次元位置を前記物体ごとに検出し、
前記位置検出部は、演算部と、後処理部と、を含み、
前記演算部は、機械学習可能なＣＮＮで構成されており、
前記演算部を構成するＣＮＮは、前記画像と前記相対深度マップとが入力されたときに、前記物体の複数の制御点の前記画像上での前記２次元位置の候補とその尤度とを出力するように予め学習されており、
前記位置検出ステップでは、前記後処理部が、前記演算部から出力される前記２次元位置の候補の中から、前記尤度の最も高い候補を選択し、選択した前記候補の２次元位置の情報を出力する、請求項１に記載の３次元姿勢推定方法。

【請求項4】

前記深度マップ推定ステップでは、前記深度マップ推定部を構成するＣＮＮが、前記複数の相対位置のそれぞれに対応して、前記相対深度の推定結果を示す相対深度マップを複数パターン生成し、
前記複数パターンは、前記画像を複数のグリッドに分割したときに、任意のグリッドに対する他のグリッドの相対位置を、前記一方の制御点に対する前記他方の制御点の相対位置として仮定したパターンにそれぞれ対応しており、
前記姿勢推定ステップでは、
前記複数の制御点の前記２次元位置に基づき、前記ペアのそれぞれについて、一方の制御点に対する他方の制御点の相対位置を求め、
前記複数パターンの前記相対深度マップを参照することにより、前記相対位置に対応する相対深度を抽出し、
抽出した前記相対深度と、前記複数の制御点の前記２次元位置とに基づいて、前記複数の制御点の相対的な３次元位置を求める、請求項１から３のいずれかに記載の３次元姿勢推定方法。

【請求項5】

前記複数の制御点は、前記物体としての人物の関節点を含む、請求項１から４のいずれかに記載の３次元姿勢推定方法。

【請求項6】

請求項１から５のいずれかに記載の３次元姿勢推定方法をコンピュータに実行させるためのプログラム。

【請求項7】

請求項６に記載のプログラムを記録した、コンピュータ読取可能な記録媒体。

【請求項8】

少なくとも１つの物体が写っている画像から、前記物体の３次元姿勢を前記物体ごとに推定する３次元姿勢推定装置であって、
機械学習可能なＣＮＮで構成されており、前記画像が入力されたときに、所定の前記物体の骨格を規定する制御点のペアのそれぞれについて、前記画像上で前記ペアの一方の制御点に対する他方の制御点の相対位置を複数仮定するとともに、仮定した前記複数の相対位置のそれぞれについて、前記一方の制御点を前記画像上の各位置に存在するものとして、前記一方の制御点に対する前記他方の制御点の相対深度を前記画像全体に渡って推定する深度マップ推定部と、
前記画像を用いて、複数の前記制御点の前記画像上での２次元位置を前記物体ごとに検出する位置検出部と、
仮定した前記複数の相対位置のそれぞれについて推定した前記相対深度と、前記複数の制御点の前記２次元位置とに基づいて、前記複数の制御点の相対的な３次元位置を求めるとともに、前記３次元位置を求める処理を、連接する前記制御点のペアを順番にずらして全ての前記ペアについて行うことにより、前記３次元姿勢を前記物体ごとに推定する姿勢推定部とを備え、
前記深度マップ推定部を構成するＣＮＮは、前記画像が入力されたときに、前記画像上で前記一方の制御点に対する前記他方の制御点の相対深度を、仮定した前記複数の相対位置のそれぞれについて推定するように予め学習されている、３次元姿勢推定装置。

【請求項9】

前記位置検出部は、機械学習可能なＣＮＮで構成され、前記複数の制御点の前記２次元位置の検出を、前記ＣＮＮでの演算によって実行し、
前記位置検出部を構成するＣＮＮは、前記画像が入力されたときに、前記制御点の前記画像上での前記２次元位置を検出するように予め機械学習されている、請求項８に記載の３次元姿勢推定装置。

【請求項10】

前記深度マップ推定部は、前記相対深度の推定結果を示す相対深度マップを出力し、
前記位置検出部は、入力される前記画像と前記相対深度マップとに基づいて、前記２次元位置を前記物体ごとに検出し、
前記位置検出部は、演算部と、後処理部と、を含み、
前記演算部は、機械学習可能なＣＮＮで構成されており、
前記演算部を構成するＣＮＮは、前記画像と前記相対深度マップとが入力されたときに、前記物体の複数の制御点の前記画像上での前記２次元位置の候補とその尤度とを出力するように予め学習されており、
前記後処理部は、前記演算部から出力される前記２次元位置の候補の中から、前記尤度の最も高い候補を選択し、選択した前記候補の２次元位置の情報を出力する、請求項８に記載の３次元姿勢推定装置。

【請求項11】

前記深度マップ推定部を構成するＣＮＮは、前記複数の相対位置のそれぞれに対応して、前記相対深度の推定結果を示す相対深度マップを複数パターン生成し、
前記複数パターンは、前記画像を複数のグリッドに分割したときに、任意のグリッドに対する他のグリッドの相対位置を、前記一方の制御点に対する前記他方の制御点の相対位置として仮定したパターンにそれぞれ対応しており、
前記姿勢推定部は、
前記複数の制御点の前記２次元位置に基づき、前記ペアのそれぞれについて、一方の制御点に対する他方の制御点の相対位置を求め、
前記複数パターンの前記相対深度マップを参照することにより、前記相対位置に対応する相対深度を抽出し、
抽出した前記相対深度と、前記複数の制御点の前記２次元位置とに基づいて、前記複数の制御点の相対的な３次元位置を求める、請求項８から１０のいずれかに記載の３次元姿勢推定装置。

【請求項12】

前記複数の制御点は、前記物体としての人物の関節点を含む、請求項８から１１のいずれかに記載の３次元姿勢推定装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、少なくとも１つの物体が写っている画像から、物体の３次元姿勢を物体ごとに推定する３次元姿勢推定方法と、その３次元姿勢推定方法をコンピュータに実行させるためのプログラムと、そのプログラムを記録した記録媒体と、３次元姿勢推定装置とに関する。

【背景技術】

【0002】

カメラで撮影した映像から人物の３次元姿勢（各関節点の３次元絶対／相対座標）を検出する技術は、監視カメラシステムなどの多くのアプリケーションの基礎技術として利用されている。近年では、ＣＮＮ（Convolutional Neural Network）を用いて検出した人物の各関節の画像上の候補位置と、別途ＣＮＮで推定した深度とから、人物の３次元姿勢を推定する技術が提案されている（例えば非特許文献１参照）。

【先行技術文献】

【非特許文献】

【0003】

【文献】Dushyant Mehta, et al., “Single-Shot Multi-Person 3D Pose Estimation From Monocular RGB”, International Conference on 3D Vision (3DV 2018), August 28, 2018

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところが、非特許文献１の技術では、ＣＮＮで推定した深度が、画像上でどの位置の関節に対する相対深度であるのか不明である（相対深度を推定するにあたって画像上で基準となる関節位置が不明である）。このため、深度の推定が曖昧となり、深度の推定精度が低下する。その結果、物体の３次元姿勢の推定精度が低下する。

【0005】

本発明は、上記の問題点を解決するためになされたもので、その目的は、画像上で物体の骨格を規定する関節位置などの制御点の深度を推定するにあたって、深度推定の曖昧性を排除して深度の推定精度を向上させることができ、これによって物体の３次元姿勢の推定精度を向上させることができる３次元姿勢推定方法と、その３次元姿勢推定方法をコンピュータに実行させるためのプログラムと、そのプログラムを記録した記録媒体と、３次元姿勢推定装置とを提供することにある。

【課題を解決するための手段】

【0006】

本発明の一側面に係る３次元姿勢推定方法は、少なくとも１つの物体が写っている画像から、前記物体の３次元姿勢を前記物体ごとに推定する３次元姿勢推定方法であって、所定の前記物体の骨格を規定する制御点のペアのそれぞれについて、前記画像上で前記ペアの一方の制御点に対する他方の制御点の相対位置を複数仮定するとともに、仮定した前記複数の相対位置のそれぞれについて、前記一方の制御点を前記画像上の各位置に存在するものとして、前記一方の制御点に対する前記他方の制御点の相対深度を前記画像全体に渡って推定する深度マップ推定ステップと、前記画像を用いて、複数の前記制御点の前記画像上での２次元位置を前記物体ごとに検出する位置検出ステップと、仮定した前記複数の相対位置のそれぞれについて推定した前記相対深度と、前記複数の制御点の前記２次元位置とに基づいて、前記複数の制御点の相対的な３次元位置を求めることにより、前記３次元姿勢を前記物体ごとに推定する姿勢推定ステップとを含む。

【0007】

本発明の他の側面に係るプログラムは、上述した３次元姿勢推定方法をコンピュータに実行させるためのプログラムである。

【0008】

本発明のさらに他の側面に係る記録媒体は、上記のプログラムを記録した、コンピュータ読取可能な記録媒体である。

【0009】

本発明のさらに他の側面に係る３次元姿勢推定装置は、少なくとも１つの物体が写っている画像から、前記物体の３次元姿勢を前記物体ごとに推定する３次元姿勢推定装置であって、所定の前記物体の骨格を規定する制御点のペアのそれぞれについて、前記画像上で前記ペアの一方の制御点に対する他方の制御点の相対位置を複数仮定するとともに、仮定した前記複数の相対位置のそれぞれについて、前記一方の制御点を前記画像上の各位置に存在するものとして、前記一方の制御点に対する前記他方の制御点の相対深度を前記画像全体に渡って推定する深度マップ推定部と、前記画像を用いて、複数の前記制御点の前記画像上での２次元位置を前記物体ごとに検出する位置検出部と、仮定した前記複数の相対位置のそれぞれについて推定した前記相対深度と、前記複数の制御点の前記２次元位置とに基づいて、前記複数の制御点の相対的な３次元位置を求めることにより、前記３次元姿勢を前記物体ごとに推定する姿勢推定部とを備えている。

【発明の効果】

【0010】

深度マップ推定ステップ（または深度マップ推定部）により、画像上でペアを構成する一方の制御点に対する他方の制御点の相対位置が複数仮定され、その仮定された複数の相対位置のそれぞれについて、一方の制御点に対する他方の制御点の相対深度が画像全体に渡って推定される。したがって、推定される相対深度がどの制御点を基準とする深度であるかが明確である。よって、深度の推定が曖昧となることはない。

【0011】

また、位置検出ステップ（または位置検出部）により、複数の制御点の画像上での２次元位置が検出されるため、姿勢推定ステップでは（または姿勢推定部は）、複数の相対位置のそれぞれについて推定された相対深度と、複数の制御点の２次元位置とに基づいて、複数の制御点の相対的な３次元位置を求めることが可能となり、これによって物体の３次元姿勢を推定することが可能となる。例えば、複数の制御点の上記２次元位置から、ペアを構成する制御点同士の相対位置を求めることができるため、複数の相対位置のそれぞれについて推定された相対深度の中から、ペアを構成する制御点同士の相対位置に対応する相対深度を抽出し、このような相対深度の抽出を複数のペアのそれぞれについて行うことにより、複数の制御点の相対的な３次元位置を求めて物体の３次元姿勢を推定することが可能となる。

【0012】

以上のように、物体の骨格を規定する複数の制御点の相対深度を推定するにあたって、深度の推定が曖昧となることはないため、深度の推定精度を向上させることができる。したがって、推定された相対深度を利用して物体の３次元姿勢を推定する際の推定精度を向上させることができる。

【図面の簡単な説明】

【0013】

【図1】本発明の実施の形態の３次元姿勢推定装置の概略の構成を示すブロック図である。

【図2】上記３次元姿勢推定装置の深度マップ推定部および位置検出部を構成するＣＮＮの構成を模式的に示す説明図である。

【図3】上記３次元姿勢推定装置によって実行される３次元位置推定方法による処理の流れを示すフローチャートである。

【図4】上記深度マップ推定部から出力される相対深度マップを模式的に示す説明図である。

【図5】上記相対深度マップの一例を模式的に示す説明図である。

【図6】上記相対深度マップの他の例を模式的に示す説明図である。

【図7】上記位置検出部によって各制御点の２次元位置を検出する処理の一例を模式的に示す説明図である。

【図8】連接する一方の制御点を基準として他方の制御点の３次元位置を求める処理を模式的に示す説明図である。

【図9】上記位置検出部によって各制御点の２次元位置を検出する処理の他の例を模式的に示す説明図である。

【発明を実施するための形態】

【0014】

本発明の実施の形態について、図面に基づいて説明すれば、以下の通りである。なお、本発明は、以下の内容に限定されるわけではない。

【0015】

〔３次元姿勢推定装置の構成〕
図１は、本実施形態の３次元姿勢推定装置１の概略の構成を示すブロック図である。３次元姿勢推定装置１は、例えば、パーソナルコンピュータなどの端末装置で構成されており、店舗内に設置される少なくとも１台のカメラＣＡと通信回線（有線、無線を問わない）を介して接続されている。カメラＣＡでの撮影によって取得された画像（動画または静止画）のデータが３次元姿勢推定装置１に入力されると、３次元姿勢推定装置１では、後述する３次元姿勢推定方法による処理を実行し、これによって、画像に写っている物体の３次元姿勢が推定される。なお、本実施形態において、「物体」とは、主に人物を指すが、人物以外であってもよい。例えば、動物、車や電車などの乗物、建物などの構造物も「物体」に含めることができる。以下、３次元姿勢推定装置１の詳細について説明する。

【0016】

３次元姿勢推定装置１は、制御部２と、記憶部３と、入力部４と、表示部５と、通信部６と、読取部７と、深度マップ推定部８と、位置検出部９と、姿勢推定部１０とを備えている。

【0017】

制御部２は、例えば中央演算処理装置（ＣＰＵ；Central Processing Unit）で構成されており、記憶部３に記憶された動作プログラムに従って動作し、３次元姿勢推定装置１の各部の動作を制御する。

【0018】

記憶部３は、上記動作プログラムや、カメラＣＡで取得された画像のデータなどを記憶するメモリである。記憶部３は、例えばハードディスクで構成されるが、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、光ディスク、光磁気ディスク、不揮発性メモリなどの記録媒体から適宜選択して構成されてもよい。

【0019】

入力部４は、例えばキーボード、マウス、タッチパッド、タッチパネルなどで構成されており、ユーザによる各種の指示入力を受け付ける。表示部５は、カメラＣＡで取得された画像や、姿勢推定部１０によって推定された物体の３次元姿勢などの各種の情報を表示するデバイスであり、例えば液晶表示装置で構成される。通信部６は、外部（カメラＣＡを含む）と通信するためのインターフェースであり、入出力端子などを含んで構成される。なお、例えばカメラＣＡと３次元姿勢推定装置１とが無線で通信（例えば画像データの送受信）を行う場合、通信部６は、アンテナ、送受信回路、変調回路、復調回路などを含んで構成されてもよい。

【0020】

読取部７は、記録媒体Ｒに記録された情報（例えば制御部２の動作プログラム）を読み取る装置であり、例えばディスクドライブなどの読取装置で構成される。なお、記録媒体Ｒが可搬型の不揮発性メモリである場合、上記不揮発性メモリの接続部が指し込まれる接続ポートも読取部７に含まれるとする。

【0021】

深度マップ推定部８は、所定の物体の骨格を規定する制御点のペアのそれぞれについて、画像上でペアの一方の制御点に対する他方の制御点の相対位置を複数仮定するとともに、仮定した複数の相対位置のそれぞれについて、一方の制御点を画像上の各位置に存在するものとして、一方の制御点に対する他方の制御点の相対深度を画像全体に渡って推定し、相対深度マップとして出力する。

【0022】

ここで、物体が例えば人物であれば、上記の制御点には、人物の関節の位置（関節点）や頭蓋骨の中心位置が含まれる。なお、画像上で、人物の目、鼻、耳の位置も、頭蓋骨の大きさや形状を規定することから、制御点になり得る。また、制御点のペアとは、ここでは、連接する制御点のペアを指す。なお、「連接する制御点」とは、物体の骨格を規定するにあたって２つの制御点が連なり続く位置関係にあることを意味する。したがって、例えば画像上で、人物の頭および首の各位置は、連接する２つの制御点であり、かつ、連接する制御点のペアを構成する。また、例えば画像上で、人物の左膝および左踵の各位置も、連接する２つの制御点であり、かつ、連接する制御点のペアを構成する。したがって、例えば、深度マップ推定部８は、画像上で、連接する制御点のペアを構成する人物の左肩および左肘の相対位置を３つ仮定したとき、左肩に対する左肘の相対深度を、仮定した３つの相対位置のそれぞれについて推定した相対深度マップを出力する。

【0023】

このような深度マップ推定部８は、例えば機械学習が可能なＣＮＮで構成されている。つまり、深度マップ推定部８を構成するＣＮＮは、画像が入力されたときに、上記画像上で、連接する制御点のペアを構成する一方の制御点に対する他方の制御点の相対深度を、仮定した複数の相対位置のそれぞれについて検出（推定）するように予め学習されている。

【0024】

なお、連接する制御点のペア（手首および肘ペア、肘および肩ペアなど）、およびそれぞれのペアに対して仮定される相対位置など、制御点のペアに関する定義は予め設定されており、ＣＮＮはその設定の下で学習される。したがって、ＣＮＮは、そのような設定の下で画像全体の相対深度マップを出力する。

【0025】

位置検出部９は、入力される画像を用いて、複数の制御点の画像上での２次元位置を物体ごとに検出する。このような位置検出部９は、深度マップ推定部８と同様に、機械学習が可能なＣＮＮで構成されている。なお、位置検出部９での上記２次元位置の検出にあたっては、例えば、Zhe Cao, et al., "OpenPose: Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields", Computer Vision and Pattern Recognition (cs.CV), Submitted on 18 Dec 2018に記載の技術など、公知の技術を利用することができる。

【0026】

上記した深度マップ推定部８および位置検出部９を構成するＣＮＮは、リアルタイムな画像処理に特化した演算装置であるＧＰＵ（Graphics Processing Unit）によって実現することができる。

【0027】

姿勢推定部１０は、深度マップ推定部８によって複数の相対位置のそれぞれについて推定した相対深度と、位置検出部９によって検出された複数の制御点の２次元位置とに基づいて、複数の制御点の相対的な３次元位置を求めることにより、３次元姿勢を物体ごとに推定する。このような姿勢推定部１０は、例えばＣＰＵで構成されるが、上記のＧＰＵで構成されてもよい。

【0028】

ここで、深度マップ推定部８および位置検出部９を構成するＣＮＮについて、説明を補足しておく。

【0029】

図２は、ＣＮＮの構成を模式的に示す説明図である。ＣＮＮは、入力層１１と、畳み込み層１２と、プーリング層１３と、出力層１４とを有して構成される。畳み込み層１２およびプーリング層１３は、少なくとも１組あればよいが、複数組あってもよい。

【0030】

ＣＮＮを構成する上述した各層は、それぞれ複数のノード（またはユニット）を有しており、各層間で、複数のノードの少なくとも一部がエッジで結ばれている。ニューラルネットワークとは、人間の神経ネットワークを模倣した情報処理システムのことであるが、上記のノードは、人間の神経細胞に相当する工学的なニューロンのモデルを表す。各層は、活性化関数（応答関数）と呼ばれる関数を持ち、エッジは重みを持つ。したがって、各層のノードから出力される値は、前の層のノードの値と、エッジの重みと、層が持つ活性化関数とから計算される。なお、エッジの重みは、学習によって変化させることができる。

【0031】

入力層１１の各ノードには、１枚の画像を構成する各画素のデータ（画素値）がそれぞれ入力される。畳み込み層１２は、前の層の所定のノードから出力される値に対してフィルタ処理を行って特徴マップを得る。プーリング層１３は、畳み込み層１２から出力された特徴マップをさらに縮小して新たな特徴マップを得る。出力層１４は、ＣＮＮの最終層であり、前の層のノードの値と、エッジの重みと、出力層１４が持つ活性化関数とから、所定の情報（例えばペアを構成する一方の制御点に対する他方の制御点の相対深度や、各制御点の画像上での２次元位置の情報など）を出力する。なお、出力層１４は、フィルタ処理を行う畳み込み層で構成されてもよいし、１つ前の層の全ノードからの出力を結合し、所定の演算を行って各パラメータを出力する全結合層で構成されてもよい。

【0032】

ＣＮＮの学習アルゴリズムとしては、例えば、正解付きの画像データを用い、上記画像データを入力したときに得られる出力層１４からの出力値と、正解を示す値との２乗誤差が最小となるように、最急降下法を用いて、各層（エッジ）の重みを出力層１４側から入力層１１側に向かって順次変化させていく誤差逆伝播法（バックプロパゲーション）を用いることができる。このようにＣＮＮを予め学習させておくことにより、少なくとも１つの物体が写った画像をＣＮＮに入力させたときに、上述した所定の情報をＣＮＮから出力させることができる。つまり、ペアを構成する一方の制御点に対する他方の制御点の相対深度や、各制御点の画像上での２次元位置を検出（推定）することができる。

【0033】

〔３次元位置推定方法〕
次に、本実施形態の３次元位置推定方法について説明する。図３は、図１の３次元姿勢推定装置１によって実行される３次元位置推定方法による処理の流れを示すフローチャートである。本実施形態の３次元位置推定方法は、深度マップ推定ステップ（Ｓ１）と、位置検出ステップ（Ｓ２）と、姿勢推定ステップ（Ｓ３）とを含む。以下、より詳細に説明する。

【0034】

（Ｓ１；深度マップ推定ステップ）
Ｓ１では、深度マップ推定部８は、画像が入力されたときに、ＣＮＮでのニューロ演算により、連接する制御点の複数のペアのそれぞれについて、ペアの一方の制御点に対する他方の制御点の相対位置を複数仮定するとともに、仮定した複数の相対位置のそれぞれについて、一方の制御点を画像上の各位置に存在するものとして、一方の制御点に対する他方の制御点の相対深度を画像全体に渡って推定し、相対深度の推定結果を示す相対深度マップを出力する。なお、制御点の数がＮ個で、連接する制御点のペアの個数をＬ個としたとき、Ｌ＝（Ｎ－１）である。ただし、Ｌは複数（Ｌ≧２）であることから、Ｎ≧３である。

【0035】

例えば、図４は、人物が写った画像を、深度マップ推定部８を構成するＣＮＮに入力して得られる特徴マップ（相対深度マップ）を模式的に示している。図４では、連接する制御点のペアとして、「頭・首」ペアから「左膝・左踵」ペアまでのＬ個のペアのそれぞれについて、Ｐ×Ｐパターンの相対深度マップが得られた場合を示している。なお、Ｐは２以上の整数とする。

【0036】

ここで、上記相対深度マップの詳細について説明する。図５は、「頭・首」ペアにおいて、縦×横＝Ｐ×Ｐのグリッドに分割される画像上で、「頭」に対する「首」の相対位置を（ｘ₁，ｙ₁）と仮定したときの相対深度マップを模式的に示している。また、図６は、「頭・首」ペアにおいて、縦×横＝Ｐ×Ｐのグリッドに分割される画像上で、「頭」に対する「首」の相対位置を（ｘ_p，ｙ_p）と仮定したときの相対深度マップを模式的に示している。なお、これらの図中の矢印が相対深度（単位は例えばｃｍ）を示しているとする。

【0037】

Ｐ＝３では、任意のグリッドに対する他のグリッドの相対位置は、Ｐ×Ｐ＝３×３＝９通り存在する（同一グリッド間での相対位置も含む）。したがって、この場合、深度マップ推定部８は、一方の制御点（例えば「頭」）に対する他方の制御点（例えば「首」）の相対位置として、９通りを仮定することができる。そして、深度マップ推定部８は、仮定したそれぞれの相対位置について、一方の制御点（例えば「頭」）に対する他方の制御点（例えば「首」）の相対深度を、予め学習されたＣＮＮによって推定し、全部で９通り（Ｐ×Ｐパターン）の相対深度マップを得ることができる。なお、「頭・首」ペア以外の各ペアについても、上記と同様にして、Ｐ×Ｐパターンの相対深度マップをそれぞれ得ることができる。

【0038】

このように、Ｓ１では、深度マップ推定部８を構成するＣＮＮでのニューロ演算により、連接する制御点の各ペアについて、仮定した複数の相対位置のそれぞれに対応して、相対深度の推定結果を示す相対深度マップが複数パターン（Ｐ×Ｐパターン）生成される。

【0039】

なお、ペアを構成する制御点のうち、基準となる一方の制御点が画像上の任意の位置Ｘに存在するとし、さらに他方の制御点が位置Ｘから画像上で相対位置ｄＸの位置（Ｘ＋ｄＸ）に存在すると仮定した場合の相対深度をｍ（Ｘ，ｄＸ）とする。この場合、深度マップ推定部８を構成するＣＮＮは、各相対位置ｄＸ（（ｘ₁，ｙ₁）～（ｘ_p，ｙ_p）のいずれか）について相対深度マップＭ（ｄＸ）を１枚出力する。したがって、画像サイズを縦Ｗグリッド×横Ｈグリッドとしたとき、相対深度マップＭ（ｄＸ）は、｛ｍ（（０，０）,ｄＸ），…，ｍ（（Ｗ－１，Ｈ－１），ｄＸ）｝の相対深度の集合、すなわちＷ×Ｈの相対深度マップとなる。ＣＮＮでは、Ｘと（Ｘ＋ｄＸ）の位置に各制御点が存在するとしてそれぞれ設定されたＸ（画像全体）およびｄＸ（（ｘ₁，ｙ₁）～（ｘ_p，ｙ_p）のＰ×Ｐ個）の範囲に渡って相対深度の値が網羅的に推定されるため、Ｓ１で深度マップ推定部８（ＣＮＮ）から出力される相対深度マップは、Ｗ×Ｈ×（Ｐ×Ｐ）の３階のテンソルとなる。

【0040】

（Ｓ２；位置検出ステップ）
Ｓ２では、位置検出部９は、上述した"OpenPose"のアルゴリズムに基づくＣＮＮでのニューロ演算により、入力画像から複数の制御点の上記画像上での２次元位置（２次元座標）を検出（推定）する。例えば、図７に示すように、画像に写っている人物の頭、首、左肩、などの各制御点の２次元位置が位置検出部９によって検出される。

【0041】

（Ｓ３；姿勢推定ステップ）
Ｓ３では、姿勢推定部１０は、Ｓ１で推定した相対深度、つまり、制御点の各ペアについて仮定した複数の相対位置のそれぞれについて推定した相対深度と、Ｓ２で検出した複数の制御点の２次元位置とに基づいて、複数の制御点の相対的な３次元位置を求めることにより、画像中の人物の３次元姿勢を推定する。

【0042】

例えば、図８は、連接する制御点のペアである「頭・首」ペアにおいて、頭を基準（原点位置）として首の３次元位置を求める処理を模式的に示している。Ｓ２で各制御点の２次元位置が検出されると、頭を基準とする首の相対位置（２次元座標）は特定される。ここでは、頭に対する首の相対位置を示す２次元座標を、（ｘ_h，ｙ_h）とする。姿勢推定部１０は、Ｓ１で、「頭・首」ペアについて仮定した９通りの相対位置から、（ｘ_h，ｙ_h）と一致する相対位置を検出するとともに、Ｓ１で得られた複数の相対深度マップを参照して、上記相対位置に対応する相対深度を検出（抽出）する。抽出した相対深度、すなわち、頭に対する首の相対深度が例えばｚ_hであると、姿勢推定部１０は、頭に対する首の相対位置を示す２次元座標（ｘ_h，ｙ_h）と、頭に対する首の相対深度（ｚ_h）とに基づき、頭に対する首の３次元位置の座標を（ｘ_h，ｙ_h，ｚ_h）として出力する。

【0043】

次に、姿勢推定部１０は、首を基準として、首とペアとなる制御点（例えば左肩）についても上記と同様の処理を行う。これにより、首に対する左肩の３次元位置を示す座標が姿勢推定部１０から出力される。以降、姿勢推定部１０は、連接する制御点のペアを順番にずらして上記と同様の処理を行うことにより、全てのペアについて、一方の制御点に対する他方の制御点の相対的な３次元位置の座標を取得することができ、これによって画像中の人物の３次元姿勢を推定することが可能となる。

【0044】

〔効果〕
以上のように、Ｓ１では、画像上でペアを構成する一方の制御点（例えば頭）に対する他方の制御点（例えば首）の相対位置が複数（例えば９通り）仮定され、その仮定された複数の相対位置のそれぞれについて、一方の制御点に対する他方の制御点の相対深度が推定される（図５、図６参照）。したがって、推定される相対深度がどの制御点を基準とする深度であるかが明確である（上述の例では、画像上で人物の首の相対深度が頭を基準とする深度であることが明確である）。よって、従来のように深度の推定が曖昧となることはなく、深度の推定精度を向上させることができる。

【0045】

また、Ｓ２では、複数の制御点の画像上での２次元位置が検出されるため、画像上でペアを構成する２つの制御点の相対位置を求めることができる。これにより、Ｓ３では、複数の相対位置のそれぞれについて推定された相対深度を参照して、ペアを構成する２つの制御点の相対位置（例えば（ｘ_h，ｙ_h））に対応する相対深度（例えば（ｚ_h））を抽出することができる。そして、このような相対深度の抽出を複数のペアのそれぞれについて行うことにより、複数の制御点の相対的な３次元位置を求めて物体の３次元姿勢を推定することができる。本実施形態では、上述のように、深度の推定精度を向上させることができるため、推定された相対深度を利用して、上記のように物体の３次元姿勢を推定する際の推定精度も向上させることができる。

【0046】

また、Ｓ２では、複数の制御点の２次元位置の検出を、ＣＮＮでのニューロ演算によって実行する。この場合、複数の制御点の２次元位置の検出を迅速にかつ高精度で行うことができるとともに、ＣＮＮの機械学習による２次元位置の検出精度のさらなる向上が期待できる。

【0047】

また、Ｓ１では、一方の制御点に対する他方の制御点の相対深度の推定を、ＣＮＮでのニューロ演算によって実行する。この場合、相対深度の推定を迅速にかつ高精度で行うことができるとともに、ＣＮＮの機械学習による相対深度の推定精度のさらなる向上が期待できる。

【0048】

また、Ｓ１では、ＣＮＮでのニューロ演算により、制御点の各ペアについて、ペアを構成する２つの制御点について仮定した複数の相対位置のそれぞれに対応して、相対深度の推定結果を示す相対深度マップを複数パターン（例えば１つのペアにつき９パターン）生成している。そして、Ｓ３では、（１）Ｓ２で検出された複数の制御点の２次元位置に基づき、複数のペアのそれぞれについて、一方の制御点に対する他方の制御点の相対位置を求め、（２）Ｓ１で生成された複数パターンの相対深度マップを参照することにより、上記（１）で求めた相対位置に対応する相対深度を抽出し、（３）上記（２）で抽出した相対深度と、Ｓ２で求めた複数の制御点の２次元位置とに基づいて、複数の制御点の相対的な３次元位置を求める。ニューロ演算によって得られる複数パターンの相対深度マップを参照することにより、制御点の相対位置に対応する相対深度を容易に抽出できるため、抽出した相対深度と上記２次元位置とに基づいて、複数の制御点の相対的な３次元位置を容易に求めることが可能となる。

【0049】

また、本実施形態では、複数の制御点は、物体としての人物の関節点を含む。この場合、複数の関節点の相対的な３次元位置を求めることによって、人物の３次元姿勢を推定すること可能となる。

【0050】

なお、以上では、画像に写っている人物が１人であり、その１人の人物の３次元姿勢を推定する例について説明したが、画像に写っている人物が複数の場合でも、人物ごとに（物体ごとに）、上述した深度の推定および制御点の２次元位置の検出を行うことにより、人物ごとに（物体ごとに）の３次元姿勢を推定することが可能である。

【0051】

〔変形例〕
図９は、上述したＳ２の位置検出ステップの他の例を模式的に示す説明図である。Ｓ２の位置検出ステップでは、位置検出部９が、カメラＣＡからの入力画像に加えて、Ｓ１の深度推定ステップで推定した相対深度（Ｓ１で生成された相対深度マップ）を用いて、複数の制御点の画像上での２次元位置を物体ごとに検出してもよい。このような位置検出部９は、演算部９ａと、後処理部９ｂとで構成することができる。演算部９ａは、例えばＣＮＮで構成され、後処理部９ｂは、例えばＣＰＵで構成される。

【0052】

例えば、画像と相対深度マップとが入力されたときに、物体の複数の制御点の画像上での２次元位置の候補とその尤度（確からしさ、スコア）とを出力するように、演算部９ａを予め学習させておく。２次元位置の検出時には、後処理部９ｂが、演算部９ａから出力される２次元位置の候補の中から、尤度の最も高い候補を選択し、選択した候補の２次元位置の情報（例えば座標）を出力する。

【0053】

このように、カメラＣＡからの入力画像に加えて、相対深度の情報（相対深度マップ）を用いることにより、２次元位置の検出に用いる情報量が増えるため、各制御点の２次元位置の検出精度がさらに向上し、検出した２次元位置に基づく３次元姿勢の推定精度をさらに向上させることが可能となる。

【0054】

特に、位置検出部９を、上記の演算部９ａと、後処理部９ｂとで構成することにより、各制御点の２次元位置の検出精度を確実に向上させて、３次元姿勢の推定精度を確実に向上させることが可能となる。

【0055】

〔プログラムおよび記録媒体〕
本実施形態で説明した３次元姿勢推定装置１は、例えば、所定のプログラム（アプリケーションソフトウェア）をインストールしたコンピュータ（ＰＣ）で構成することができる。上記プログラムをコンピュータ（例えばＣＰＵとしての制御部２）が読み取って実行することにより、３次元姿勢推定装置１の各部を動作させて上述した各処理（各工程）を実行させることができる。このようなプログラムは、例えばネットワークを介して外部からダウンロードすることによって取得されて記憶部３に記憶される。また、上記プログラムは、例えばＣＤ－ＲＯＭ（Compact Disk-Read Only Memory）などのコンピュータ読取可能な記録媒体Ｒに記録され、この記録媒体Ｒから上記プログラムをコンピュータが読み取って記憶部３に記憶される形態であってもよい。

【0056】

〔その他〕
上述した本実施形態の３次元姿勢推定装置１は、必ずしもカメラＣＡと接続されている必要はなく、外部から画像データを取得できる構成であればよい。例えば、３次元姿勢推定装置１は、画像データのファイルを添付した電子メールを他の端末装置から受信することにより、上記画像データを取得したり、記録媒体Ｒに記録された画像データを読取部７によって読み取ることにより、３次元姿勢の推定に必要な上記画像データを取得する構成であってもよい。

【0057】

以上で説明した本実施形態の３次元姿勢推定方法、プログラム、記録媒体および３次元姿勢推定装置は、以下のように表現されてもよい。

【0058】

１．少なくとも１つの物体が写っている画像から、前記物体の３次元姿勢を前記物体ごとに推定する３次元姿勢推定方法であって、
所定の前記物体の骨格を規定する制御点のペアのそれぞれについて、前記画像上で前記ペアの一方の制御点に対する他方の制御点の相対位置を複数仮定するとともに、仮定した前記複数の相対位置のそれぞれについて、前記一方の制御点を前記画像上の各位置に存在するものとして、前記一方の制御点に対する前記他方の制御点の相対深度を前記画像全体に渡って推定する深度マップ推定ステップと、
前記画像を用いて、複数の前記制御点の前記画像上での２次元位置を前記物体ごとに検出する位置検出ステップと、
仮定した前記複数の相対位置のそれぞれについて推定した前記相対深度と、前記複数の制御点の前記２次元位置とに基づいて、前記複数の制御点の相対的な３次元位置を求めることにより、前記３次元姿勢を前記物体ごとに推定する姿勢推定ステップとを含むことを特徴とする３次元姿勢推定方法。

【0059】

２．前記位置検出ステップでは、前記複数の制御点の前記２次元位置の検出をニューロ演算によって実行することを特徴とする前記１に記載の３次元姿勢推定方法。

【0060】

３．前記深度マップ推定ステップでは、前記相対深度の推定をニューロ演算によって実行することを特徴とする前記１または２に記載の３次元姿勢推定方法。

【0061】

４．前記位置検出ステップでは、前記画像に加えて、前記深度マップ推定ステップで推定した前記相対深度を用いて、前記２次元位置を前記物体ごとに検出することを特徴とする前記１に記載の３次元姿勢推定方法。

【0062】

５．前記位置検出ステップでは、前記画像および前記相対深度に基づいて、前記２次元位置の候補および尤度をニューロ演算によって求め、前記２次元位置の候補の中から、前記尤度の最も高い候補を選択し、選択した前記候補の２次元位置の座標を出力することを特徴とする前記４に記載の３次元姿勢推定方法。

【0063】

６．前記深度マップ推定ステップでは、前記ニューロ演算により、前記複数の相対位置のそれぞれに対応して、前記相対深度の推定結果を示す相対深度マップを複数パターン生成し、
前記姿勢推定ステップでは、
前記複数の制御点の前記２次元位置に基づき、前記ペアのそれぞれについて、一方の制御点に対する他方の制御点の相対位置を求め、
前記複数パターンの前記相対深度マップを参照することにより、前記相対位置に対応する相対深度を抽出し、
抽出した前記相対深度と、前記複数の制御点の前記２次元位置とに基づいて、前記複数の制御点の相対的な３次元位置を求めることを特徴とする前記１から５のいずれかに記載の３次元姿勢推定方法。

【0064】

７．前記複数の制御点は、前記物体としての人物の関節点を含むことを特徴とする前記１から６のいずれかに記載の３次元姿勢推定方法。

【0065】

８．前記１から７のいずれかに記載の３次元姿勢推定方法をコンピュータに実行させるためのプログラム。

【0066】

９．前記８に記載のプログラムを記録した、コンピュータ読取可能な記録媒体。

【0067】

１０．少なくとも１つの物体が写っている画像から、前記物体の３次元姿勢を前記物体ごとに推定する３次元姿勢推定装置であって、
所定の前記物体の骨格を規定する制御点のペアのそれぞれについて、前記画像上で前記ペアの一方の制御点に対する他方の制御点の相対位置を複数仮定するとともに、仮定した前記複数の相対位置のそれぞれについて、前記一方の制御点を前記画像上の各位置に存在するものとして、前記一方の制御点に対する前記他方の制御点の相対深度を前記画像全体に渡って推定する深度マップ推定部と、
前記画像を用いて、複数の前記制御点の前記画像上での２次元位置を前記物体ごとに検出する位置検出部と、
仮定した前記複数の相対位置のそれぞれについて推定した前記相対深度と、前記複数の制御点の前記２次元位置とに基づいて、前記複数の制御点の相対的な３次元位置を求めることにより、前記３次元姿勢を前記物体ごとに推定する姿勢推定部とを備えていることを特徴とする３次元姿勢推定装置。

【0068】

１１．前記位置検出部は、前記複数の制御点の前記２次元位置の検出をニューロ演算によって実行することを特徴とする前記１０に記載の３次元姿勢推定装置。

【0069】

１２．前記深度マップ推定部は、前記相対深度の推定をニューロ演算によって実行することを特徴とする前記１０または１１に記載の３次元姿勢推定装置。

【0070】

１３．前記位置検出部は、前記画像に加えて、前記深度マップ推定部によって推定された前記相対深度を用いて、前記２次元位置を前記物体ごとに検出することを特徴とする前記１０に記載の３次元姿勢推定装置。

【0071】

１４．前記位置検出部は、
前記画像および前記相対深度に基づいて、前記２次元位置の候補および尤度をニューロ演算によって求める演算部と、
前記２次元位置の候補の中から、前記尤度の最も高い候補を選択し、選択した前記候補の２次元位置の座標を出力する後処理部とを有していることを特徴とする前記１３に記載の３次元姿勢推定装置。

【0072】

１５．前記深度マップ推定部は、前記ニューロ演算により、前記複数の相対位置のそれぞれに対応して、前記相対深度の推定結果を示す相対深度マップを複数パターン生成し、
前記姿勢推定部は、
前記複数の制御点の前記２次元位置に基づき、前記ペアのそれぞれについて、一方の制御点に対する他方の制御点の相対位置を求め、
前記複数パターンの前記相対深度マップを参照することにより、前記相対位置に対応する相対深度を抽出し、
抽出した前記相対深度と、前記複数の制御点の前記２次元位置とに基づいて、前記複数の制御点の相対的な３次元位置を求めることを特徴とする前記１０から１４のいずれかに記載の３次元姿勢推定装置。

【0073】

１６．前記複数の制御点は、前記物体としての人物の関節点を含むことを特徴とする前記１０から１５のいずれかに記載の３次元姿勢推定装置。

【0074】

以上、本発明の実施形態について説明したが、本発明の範囲はこれに限定されるものではなく、発明の主旨を逸脱しない範囲で拡張または変更して実施することができる。

【産業上の利用可能性】

【0075】

本発明は、例えば画像に写っている物体の３次元姿勢を推定するアプリケーションに利用可能である。

【符号の説明】

【0076】

１ ３次元姿勢推定装置
８ 深度マップ推定部
９ 位置検出部
１０ 姿勢推定部
Ｒ 記録媒体

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】