特開 2022-50776 人体部位追跡方法及び人体部位追跡システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022050776

(43)【公開日】2022-03-31

(54)【発明の名称】人体部位追跡方法及び人体部位追跡システム

(51)【国際特許分類】

   G06T 7/20 20170101AFI20220324BHJP

【ＦＩ】

G06T7/20 300A

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2020156887

(22)【出願日】2020-09-18

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＢＬＵＥＴＯＯＴＨ

(71)【出願人】

【識別番号】518427524

【氏名又は名称】未來市股▲ふん▼有限公司

(74)【代理人】

【識別番号】100081961

【弁理士】

【氏名又は名称】木内 光春

(74)【代理人】

【識別番号】100112564

【弁理士】

【氏名又は名称】大熊 考一

(74)【代理人】

【識別番号】100163500

【弁理士】

【氏名又は名称】片桐 貞典

(74)【代理人】

【識別番号】230115598

【弁護士】

【氏名又は名称】木内 加奈子

(72)【発明者】

【氏名】郭 勝修

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA02

5L096AA03

5L096AA06

5L096AA09

5L096CA02

5L096FA06

5L096FA60

5L096FA62

5L096FA66

5L096FA69

5L096HA05

(57)【要約】      （修正有）

【課題】運動予測による人体部位追跡方法及び人体部位追跡システムを提供する。
【解決手段】方法は、第１の画像を画像撮像装置から取得し、第１の画像から第１の参照点と第２の参照点とを識別し、第１と第２の参照点の３次元座標に基づき、第１の部分と第２の部分との間の位置関係を判定する。第２の画像を画像撮像装置から取得する。第２の画像は、第２の時点での第１の部分を捉えるが、第２の部分は捉えていない。第２の画像からの第３の参照点を識別する。第３の参照点は、第２の時点での人体部位の第１の部分の位置を示す。第３の参照点の３次元座標と位置関係とを用いることにより、第４の参照点の３次元座標を予測する。第４の参照点は、第２の時点での人体部位の第２の部分の位置を示す。従って、視野の外にある人体部位の位置が追跡できる。
【選択図】図３

【特許請求の範囲】

【請求項1】

第１の画像を画像撮像装置から取得することであって、前記第１の画像が第１の時点での人体部位の第１の部分と第２の部分とを捉え、前記人体部位の前記第１の部分が前記人体部位の前記第２の部分とつながっていることと、
前記第１の画像から第１の参照点と第２の参照点とを識別することであって、前記第１の参照点が前記第１の時点での前記人体部位の前記第１の部分の位置を示し、前記第２の参照点が前記第１の時点での前記人体部位の前記第２の部分の位置を示すことと、
前記第１の参照点と前記第２の参照点の３次元座標に基づき、前記人体部位の前記１の部分と前記第２の部分との間の位置関係を判定することと、
第２の画像を前記画像撮像装置から取得することであって、前記第２の画像が第２の時点での前記人体部位の前記第１の部分を捉えるが、前記第２の部分は捉えていないことと、
前記第２の画像から第３の参照点を識別することであって、前記第３の参照点が前記第２の時点での前記人体部位の前記１の部分の位置を示すことと、
前記第３の参照点の３次元座標と前記位置関係とを用いることにより、第４の参照点の３次元座標を予測することであって、前記第４の参照点が前記第２の時点での前記人体部位の前記第２の部分の位置を示すことと
を含む、
人体部位追跡方法。

【請求項2】

画像撮像装置と、
前記画像撮像装置に連接され、
前記画像撮像装置を介し、第１の画像を取得することであって、前記第１の画像が第１の時点での人体部位の第１の部分と第２の部分とを捉え、前記人体部位の前記第１の部分が前記人体部位の前記第２の部分とつながっていることと、
前記第１の画像から第１の参照点と第２の参照点とを識別することであって、前記第１の参照点が前記第１の時点での前記人体部位の前記第１の部分の位置を示し、前記第２の参照点が前記第１の時点での前記人体部位の前記第２の部分の位置を示すことと、
前記第１の参照点と前記第２の参照点の３次元座標に基づき、前記人体部位の前記１の部分と前記第２の部分との間の位置関係を判定することと、
前記画像撮像装置を介し、第２の画像を取得することであって、前記第２の画像が第２の時点での前記人体部位の前記第１の部分を捉えるが、前記第２の部分は捉えていないことと、
前記第２の画像から第３の参照点を識別することであって、前記第３の参照点が前記第２の時点での前記人体部位の前記第１の部分の位置を示すことと、
前記第３の参照点の３次元座標と前記位置関係とを用いることにより、第４の参照点の３次元座標を予測することであって、前記第４の参照点が前記第２の時点での前記人体部位の前記第２の部分の位置を示すことと
を行うよう構成された、プロセッサと
を含む、
人体部位追跡システム。

【請求項3】

前記第１の部分と前記第２の部分との間の前記位置関係を判定するステップが、
前記位置関係として、前記第１の参照点と前記第２の参照点との間の身体リンクを形成するため、前記第１の画像における、前記第１の部分の前記第１の参照点と、前記第２の部分の前記第２の参照点とを結ぶことを含む、
請求項１に記載の人体部位追跡方法、
又は、
前記プロセッサが、
前記位置関係として、前記第１の参照点と前記第２の参照点との間の身体リンクを形成するため、前記第１の画像における、前記第１の部分の前記第１の参照点と、前記第２の部分の前記第２の参照点とを結ぶよう構成される、
請求項２に記載の人体部位追跡システム。

【請求項4】

前記第４の参照点の前記３次元座標を予測するステップが、
前記第２の画像における前記第３の参照点と前記第４の参照点とを前記身体リンクと共に結ぶことにより、前記第４の参照点の前記３次元座標を判定することを含む、
請求項３に記載の人体部位追跡方法、
又は、
前記プロセッサが、
前記第２の画像における前記第３の参照点と前記第４の参照点とを前記身体リンクと共に結ぶことにより、前記第４の参照点の前記３次元座標を判定するよう構成される、
請求項３に記載の人体部位追跡システム。

【請求項5】

前記第２の時点での前記第１の部分の端部に位置する基準点を判定することと、
逆運動学に基づき、前記第２の画像における、前記第１の部分と前記第２の部分との間の中間点と、前記基準点との位置に基づき、前記第２の部分に位置する目標点の位置を推定することであって、前記逆運動学が関節のパラメータを算出する数学的方法であり、前記中間点と前記基準点と前記目標点とが前記関節として見なされることと、
前記目標点の位置に応じて、前記第４の参照点の前記３次元座標を調整することと
を更に含む、
請求項４に記載の人体部位追跡方法、
又は、
前記プロセッサが、
前記第２の時点での前記第１の部分の端部に位置する基準点を判定することと、
逆運動学に基づき、前記第２の画像における、前記第２の特徴点と、前記基準点との位置に基づき、前記第２の部分に位置する目標点の位置を推定することであって、前記逆運動学が関節のパラメータを算出する数学的方法であり、前記中間点と前記基準点と前記目標点とが前記関節として見なされることと、
前記目標点の位置に応じて、前記第４の参照点の前記３次元座標を調整することと
を行うよう構成される、
請求項４に記載の人体部位追跡システム。

【請求項6】

前記第１の画像と、少なくとも１つの以前の画像とに基づき、前記第２の部分の運動モデルを判定することであって、前記少なくとも１つの以前の画像が前記第１の画像の前に取得され、前記運動モデルが前記第２の部分の運動をシミュレートする数学的モデルであることと、
前記運動モデルに応じて、前記第４の参照点の前記３次元座標を調整することと
を更に含む、
請求項４に記載の人体部位追跡方法、
又は、
前記プロセッサが、
前記第１の画像と、少なくとも１つの以前の画像とに基づき、前記第２の部分の運動モデルを判定することであって、前記少なくとも１つの以前の画像が前記第１の画像の前に取得され、前記運動モデルが前記第２の部分の運動をシミュレートする数学的モデルであることと、
前記運動モデルに応じて、前記第４の参照点の前記３次元座標を調整することと
を行うよう構成される、
請求項４に記載の人体部位追跡システム。

【請求項7】

前記第２の時点での前記第１の部分の端部に位置する基準点を判定することと、
逆運動学に基づき、前記第２の画像における、前記第１の部分と前記第２の部分との間の中間点と、前記基準点との位置に基づき、前記第２の部分に位置する目標点の位置を推定することであって、前記逆運動学が関節のパラメータを算出する数学的方法であり、前記基準点と前記中間点と前記目標点とが前記関節として見なされることと、
前記目標点の位置に応じて、前記運動モデルに基づく前記第４の参照点の前記３次元座標を調整すること
を更に含む、
請求項６に記載の人体部位追跡方法、
又は、
前記プロセッサが、
前記第２の時点での前記第１の部分の端部に位置する基準点を判定することと、
逆運動学に基づき、前記第２の画像における、前記第１の部分と前記第２の部分との間の中間点と、前記基準点との位置に基づき、前記第２の部分に位置する目標点の位置を推定することであって、前記逆運動学が関節のパラメータを算出する数学的方法であり、前記中間点と前記目標点と前記基準点とが前記関節として見なされることと、
前記目標点の位置に応じて、前記運動モデルに基づく前記第４の参照点の前記３次元座標を調整することと
を行うよう構成される、
請求項６に記載の人体部位追跡システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、運動予測に関するものであり、特に、人体部位追跡方法及び人体部位追跡システムに関するものである。

【背景技術】

【0002】

仮想現実（ＶＲ）、拡張現実（ＡＲ）、複合現実（ＭＲ）、ＸＲ（Ｅｘｔｅｎｄｅｄ Ｒｅａｌｉｔｙ）といった、感覚、知覚、及び／又は環境をシミュレートするための技術は、最近人気が高まっている。前記技術は、ゲーム、軍事訓練、医療、遠隔操作等といった、複数の分野に応用することができる。一般的に、ユーザは仮想世界を体験するためヘッドマウントディスプレイを着用する。更に、ヘッドマウントディスプレイシステムでの直感的な操作を提供するため、ユーザの運動に応じてヘッドマウントディスプレイシステムを直接操作できるよう、ユーザの運動が検出されてよい。ユーザの運動は、カメラにより撮像された１以上の画像に基づき判定されてよい。しかし、カメラは限られた視野を有する。例えば、図１Ａと図１Ｂは手の動作の例を表す概略図である。図１Ａを参照し、ユーザの手Ｈはカメラの視野ＦＯＶ内に位置している。図１Ｂを参照し、ユーザが手Ｈを更に上げると、手Ｈは視野ＦＯＶの外側に位置する可能性がある。ヘッドマウントディスプレイシステムは図１Ｂにおける手Ｈの位置を知らず、手Ｈの運動を追跡できない可能性がある。

【発明の概要】

【発明が解決しようとする課題】

【0003】

人体部位が視野の外に位置するとき、人体部位の位置は追跡されることができない可能性がある。従って、本発明は、カメラの視野において欠けている人体部位の位置を予測するための、人体部位追跡方法及び人体部位追跡システムを対象とする。

【課題を解決するための手段】

【0004】

例示的な実施形態の１つにおいて、人体部位追跡方法は、次のステップを含むが、これに限定されない。第１の画像が画像撮像装置から取得され、第１の画像は、第１の時点での人体部位の第１の部分と第２の部分とを捉える。第１の画像から、第１の参照点と第２の参照点が識別される。第１の参照点は第１の時点での第１の部分の位置を示し、第２の参照点は第１の時点での第２の部分の位置を示す。第１と第２の参照点の３次元座標に基づき、第１の部分と第２の部分との間の位置関係が判定される。第２の画像が画像撮像装置から取得される。第２の画像は、第２の時点での第１の部分を捉えるが、第２の部分は捉えていない。第３の参照点が第２の画像から識別される。第２の画像からの第３の参照点が識別され、第３の参照点は、第２の時点での人体部位の第１の部分の位置を示す。第３の参照点の３次元座標と位置関係とを用いることにより、第４の参照点の３次元座標が予測される。第４の参照点は、第２の時点での人体部位の第２の部分の位置を示す。

【0005】

例示的な実施形態の１つにおいて、人体部位追跡システムは、画像撮像装置と、プロセッサとを含むが、これに限定されない。プロセッサは画像撮像装置に連接され、以下を行うよう構成される。画像撮像装置を介して第１の画像を取得し、第１の画像は第１の時点での人体部位の第１の部分と第２の部分とを捉え、人体部位の第１の部分は人体部位の第２の部分とつながっている。第１の画像から第１の参照点と第２の参照点とを識別し、第１の参照点は第１の時点での人体部位の第１の部分の位置を示し、第２の参照点は第１の時点での人体部位の第２の部分の位置を示す。第１の参照点と第２の参照点の３次元座標に基づき、人体部位の第１の部分と第２に部分との間の位置関係が判定される。画像撮像装置を介して第２の画像を取得し、第２の画像は第２の時点での人体部位の第１の部分を捉えるが、第２の部分は捉えていない。第２の画像から第３の参照点を識別し、第３の参照点は第２の時点での人体部位の第１の部分の位置を表す。第３の参照点の３次元座標と位置関係とを用いることにより、第４の参照点の３次元座標を予測し、第４の参照点は第２の時点での人体部位の第２の部分の位置を示す。第１の画像に基づき、第１の部分と第２の部分との間の位置関係を判定する。

【発明の効果】

【0006】

上記を鑑み、人体部位追跡方法及び人体部位追跡システムによると、第１の時点での画像における人体部位の２つの部分の参照点が、第２の時点でのもう１つの画像において位置していない１つの部分の参照点の位置を予測するために用いられることができる。このため、人体部位の一部が何かにより隠れているとき、やはり隠れた部分の位置を追跡することが可能である。

【0007】

ただし、この概要は本発明の全ての様態と実施形態を含むものではなく、如何なる方法でも限定又は制限を意図するものではないことを理解されたい。そして、ここで開示される発明は、その明らかな改善と改変を含むと当業者により理解される。

【図面の簡単な説明】

【0008】

本発明の更なる理解のため添付図面が含まれ、本明細書に包含され、本明細書の一部を構成する。図面は本発明の実施形態を表し、明細書と共に、本発明の原理を説明する役割を果たす。

【0009】

【図1A】図１Ａは、手の動作の例を表す概略図である。

【0010】

【図1B】図１Ｂは、手の動作の例を表す概略図である。

【0011】

【図2】図２は、本発明の例示的な実施形態の１つによる人体部位追跡システムを表すブロック図である。

【0012】

【図3】図３は、本発明の例示的な実施形態の１つによる人体部位追跡方法を表すフロー図である。

【0013】

【図4】図４は、本発明の例示的な実施形態の１つによる、第１の時点での人体部位の運動を表す概略図である。

【0014】

【図5】図５は、本発明の例示的な実施形態の１つによる、第２の時点での人体部位の運動を表す概略図である。

【0015】

【図6】図６は、本発明の例示的な実施形態の１つによる、第２の時点での人体部位の運動を表す概略図である。

【発明を実施するための形態】

【0016】

本発明の好ましい実施形態の詳細を述べる。実施例は添付の図面に表される。可能な限り、図面と明細書において同一の符号が同一又は類似の部材に対し用いられる。

【0017】

図２は、本発明の例示的な実施形態の１つによる人体部位追跡システム１００を表すブロック図である。図２を参照し、人体部位追跡システム１００は、画像撮像装置１１０と、メモリ１３０と、プロセッサ１５０とを含むが、これに限定されない。人体部位追跡システム１００は、ＶＲ、ＡＲ、ＭＲ、ＸＲ、又は他の現実シミュレーション関連技術に適合される。

【0018】

画像撮像装置１１０は、モノクロカメラ又はカラーカメラといったカメラ、深層学習対応カメラ、ビデオレコーダ、又は画像を撮像できるその他の画像センサであってよい。１つの実施形態において、画像撮像装置１２０はヘッドマウントディスプレイ（ＨＭＤ）の本体に設けられ、特定の方向に向かい撮像する。例えば、ユーザがＨＭＤを着用したとき、画像撮像装置１１０はユーザの前方の情景を撮像する。いくつかの実施形態において、画像撮像装置１１０の方向及び／又は視野は、実際に要件に基づき調整できる。更にいくつかの実施形態において、画像撮像装置１１０は、ユーザの人体部位を含む画像を生成するため、ユーザの１以上の人体部位に向かい撮像するために用いられてよい。例えば、１以上の人体部位は、ユーザの手、腕、足首、脚、又は他の人体部位を含んでよい。

【0019】

メモリ１３０は、固定又は取り外し可能なランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、フラッシュメモリ、類似のデバイス、又は上記デバイスの組合せの如何なる類別であってもよい。メモリ１３０は、プログラムコード、デバイス構成、バッファデータ、又は、（画像、位置、位置関係、３次元座標、運動モデルといった）永続的データを記録し、これらデータについては後に紹介する。

【0020】

プロセッサ１５０は、画像撮像装置１１０とメモリ１３０とに連接される。プロセッサ１５０は、本発明の例示的な実施形態の手順を実行するため、メモリ１３０に格納されたプログラムデータをロードするよう構成される。

【0021】

いくつかの実施形態において、プロセッサ１５０は、中央処理装置（ＣＰＵ）、マイクロプロセッサ、マイクロコントローラ、デジタル信号処理（ＤＳＰ）チップ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）であってよい。プロセッサ１５０の機能は、独立した電子デバイス又は集積回路（ＩＣ）により実装されてもよく、プロセッサ１５０の動作はソフトウェアにより実装されてもよい。

【0022】

プロセッサ１５０は、画像撮像装置１１０と同一の装置に設けられなくてもよいことに注意されたい。ただし、画像撮像装置１１０、プロセッサ１５０をそれぞれ搭載する機器は、互いにデータを送受信するため、Ｂｌｕｅｔｏｏｔｈ、Ｗｉ－Ｆｉ、赤外線無線通信といった、互換性のある通信技術を有する通信トランシーバ、又は物理的な伝送路を更に含んでよい。例えば、画像撮像装置１１０がＨＭＤの本体に設けられるのに対し、プロセッサ１５０は演算装置内に設けられてよい。

【0023】

本発明の１以上の実施形態において提供される動作処理をより理解し易くするよう、人体部位追跡システム１００の動作処理を詳述するため、いくつかの実施形態を以下に例示する。人体部位追跡システム１００内のデバイスとモジュールは、ここで提供される制御方法を説明するための、下記の実施形態において適用される。方法の各ステップは実際の実装状況に応じて調整でき、ここで説明されるものに限定されるべきではない。

【0024】

図３は、本発明の例示的な実施形態の１つによる人体部位追跡方法を表すフロー図である。図３を参照し、プロセッサ１５０は画像撮像装置１１０を介し／から第１の画像を取得してよい（ステップＳ３１０）。具体的には、第１の画像は、第１の時点で画像撮像装置１１０により撮像された画像のうちの１つである。第１の画像は、第１の時点での人体部位の第１の部分と第２の部分とを捉えることに注意されたい。即ち、人体部位の第１と第２の部分は、共に画像撮像装置１１０の視野内に位置している。人体部位は、ユーザの手、腕、脚、足、足首、脚、又は他の人体部位であることができる。人体部位の第１の部分は、人体部位の第２の部分につながっている。第１と第２の部分は、関節の間の人体部位の部分、又は人体部位の２つの隣り合う部分であってよい。例えば、第１の部分が前腕であり、第２の部分が手である。もう１つの例として、第１の部分が手のひらであり、第２の部分が１つの指である。いくつかの実施形態において、該部分は実際の要件に基づき決定されてよい。プロセッサ１５０は、物体認識機能又は他の画像認識技術で構成された（深層学習、人工ニューラルネットワーク（ＡＮＮ）、サポートベクターマシン（ＳＶＭ）等といった）機械学習技術を介し、第１の画像における人体部位、第１の部分、第２の部分を識別してよい。

【0025】

プロセッサ１５０は、第１の画像から、第１の参照点と、第２の参照点とを識別してよい（ステップＳ３２０）。１つの実施形態において、第１の参照点は第１の時点での人体部位の第１の部分の位置を示し、第２の参照点は第１の時点での人体部位の第２の部分の位置を示す。第１の参照点と第２の参照点は、それぞれ第１の部分と第２の部分に位置する、重心、幾何学的中心、又は任意の点であることができる。いくつかの実施形態において、第１と第２の部分の位置を示すため、より多くの参照点、表面、輪郭を用いることができる。

【0026】

図４は、本発明の例示的な実施形態の１つによる、第１の時点での人体部位の運動を表す概略図である。図４を参照し、第１の時点で、手４１０と前腕４３０とが共に視野ＦＯＶ内に位置する。更に、プロセッサ１５０は、前腕４３０に位置する１つの点と、手４１０の重心を、それぞれ第１の参照点４３１と第２の参照点４１１として決定する。

【0027】

プロセッサ１５０は、第１の参照点と第２の参照点の３次元座標に基づき、人体部位の第１の部分と第２の部分との間の位置関係を判定してよい（ステップＳ３３０）。具体的には、３次元座標は、ある空間における、ある点の位置を表すフォーマットの１つである。第１の参照点と第２の参照点の３次元座標を生成するため、第１の画像における第１の参照点と第２の参照点に対応する検出強度と画素位置が、第１の参照点と第２の参照点の奥行き情報（即ち、画像撮像装置１１０又は他の基準装置に相対する距離）を推定するため、そして画像撮像装置１１０に平行な面での第１の参照点と第２の参照点の２次元座標を推定するために用いられることができる。いくつかの実施形態において、ある点の位置を表すため、相対位置又は奥行きを用いることができる。

【0028】

更に、位置関係は、人体部位の第１と第２の部分の間の相対位置に関連する。例えば、第１と第２の部分の間の距離、及び／又は、第１の部分から第２の部分への方向である。

【0029】

１つの実施形態において、プロセッサ１５０は、位置関係として第１の参照点と第２の参照点との間の身体リンクを形成するため、第１の部分の第１の参照点と、第２の部分の第２の参照点とを結んでよい。図４を例とし、身体リンクＢＬは、第１の参照点４３１と第２の参照点４１１とを結ぶ。即ち、第１の参照点４３１と第２の参照点４１１は身体リンクＢＬの２つの端部である。

【0030】

いくつかの実施形態において、身体リンクＢＬは直線でなくてもよい。手４１０と前腕４３０との間に、交点４５１が生成されてよい。例えば、交点４５１は手首に位置する。更には、身体リンクＢＬは交点４５１を更に通過してよい。

【0031】

プロセッサ１５０は、画像撮像装置１１０を介し／から第２の画像を取得してよい（ステップＳ３４０）。具体的には、第２の画像は、第１の時点の後の第２の時点で画像撮像装置１１０により撮像された画像のうちのもう１つである。第２の画像は、第２の時点での第１の部分を捉えるが、第２の部分を捉えていないことに注意されたい。即ち、人体部位が動き、人体部位の第１の部分のみが画像撮像装置１１０の視野内に位置する。

【0032】

プロセッサ１５０は、第２の画像から第３の参照点を識別してよい（ステップＳ３５０）。１つの実施形態において、第３の参照点は、第２の時点での人体部位の第１の部分の位置を示す。第３の参照点は、第１の部分に位置する、重心、幾何学的中心、又は任意の点であることができる。いくつかの実施形態において、第２の時点での第１の部分の位置を示すため、より多くの参照点、表面、輪郭を用いることができる。

【0033】

図５は、本発明の例示的な実施形態の１つによる、第２の時点での人体部位の運動を表す概略図である。図５を参照し、第２の時点では、前腕４３０のみが視野ＦＯＶ内に位置しており、手４１０は視野ＦＯＶの外側にある。更に、プロセッサ１５０は、第３の参照点として、前腕４３０に位置する１つの点を決定する。

【0034】

プロセッサは、第３の参照点の３次元座標と、位置関係とを用いることにより、第４の参照点の３次元座標を予測してよい（ステップＳ３６０）。１つの実施形態において、第４の参照点は、第２の時点での人体部位の第２の部分の位置を示す。第４の参照点は、第２の部分に位置する、重心、幾何学的中心、又は任意の点であることができる。いくつかの実施形態において、第２の時点での第２の部分の位置を示すため、より多くの参照点、表面、輪郭を用いることができる。

【0035】

第４の参照点が視野内に位置しないことから、プロセッサ１５０は、第１の部分の位置のように、第２の画像に基づき第２の部分の位置を直接判定することができない。ここで、位置関係が第３の参照点の位置と第４の参照点の位置とに関連すると仮定する。第１の時点での第１と第２の部分の間の相対位置は、第２の時点での第１と第２の部分の間の相対位置とまだ同一でありうる。

【0036】

１つの実施形態において、プロセッサ１５０は、第２の画像における第３の参照点と第４の参照点とを身体リンクＢＬと共に結ぶことにより、第４の参照点の３次元座標を判定してよい。身体リンクはその形状を維持してよい。しかし、身体リンクの２つの端部は、第１の参照点と第２の参照点から、第３の参照点と第４の参照点へと変わる。プロセッサ１５０は、身体リンクに基づき第１の参照点と第２の参照点との間の座標差異を判定し、第４の参照点の３次元座標を判定するため、第３の参照点の３次元座標と、座標差異とを用いる。

【0037】

図４と図５を例とし、身体リンクＢＬは手４１０と前腕４３０の動きと共に偏移しうる。第３の参照点４３３と（、交点４５３と、）第４の参照点４１３とを結ぶ身体リンクＢＬが存在する。従って、第４の参照点４１３の位置が決定できる。

【0038】

１つの実施形態において、プロセッサ１５０は、第２の部分には位置せず、第１の部分の端部に位置する基準点を判定してよい。例えば、第１の部分は前腕であり、第２の部分が手であり、基準点は肘に位置する。プロセッサ１５０は、逆運動学に基づき、第２の画像における第１の部分と第２の部分との間に位置する中間点と基準点との位置に基づき、第２の部分に位置する目標点の位置を推定してよい。基準点として肘を例とすると、中間点は前腕と手の交点である手首に位置し、目標点は指の先端であってよい。一方、逆運動学は、関節のパラメータを算出する数学的方法である。プロセッサ１５０は、中間点と、基準点と、目標点とを逆運動学のための関節と見なしてよい。逆運動学に基づき、（第１の部分と第２の部分との間の角度、基準点と中間点の位置等といった）関節パラメータが与えられ、目標点の位置が推定できる。次いで、プロセッサ１５０は、目標点の位置に応じて、第４の参照点の３次元座標を調整してよい。ここで、第４の参照点と目標点とは、共に人体部位の第２の部分に位置すると仮定する。プロセッサ１５０は、第４の参照点が修正された位置からずれているか否かを確認し、第４の参照点の３次元座標を更に改変するため、目標点を用いてよい。

【0039】

図６は、本発明の例示的な実施形態の１つによる、第２の時点での人体部位の運動を表す概略図である。図６を参照し、基準点４３５は肘に位置し、中間点４５５は手首に位置し、目標点４１５は指の先端に位置する。目標点４１５の位置は、逆運動学を用いることにより、基準点４３５と中間点４５５とに基づき判定できる。プロセッサ１５０は、第４の参照点が中間点４５５と目標４１５とを結ぶ線に位置するか否かを判定してよい。プロセッサ１５０は、中間点４５５と目標４１５との線に基づき、第４の参照点４１３の３次元座標を更に改変してよい。

【0040】

１つの実施形態において、プロセッサ１５０は、第１の画像と、１以上の以前の画像とに基づき、第２の部分の運動モデルを判定してよい。１以上の以前の画像は、第１の画像の前に画像撮像装置１１０から取得される。プロセッサ１５０は、第１の画像と以前の画像との間の第２の部分のずれを分析し、第２の部分の軌道、回転、及び／又は速度を更に推定してよい。一方、運動モデルは、第２の部分の動きをシミュレートする数学的モデルである。第２の部分の軌道、回転、及び／又は速度は、運動モデルを推定するために用いられる。例えば、速度が固定値に留まる場合、運動モデルは等速運動である。プロセッサ１５０は、運動モデルに基づき、第４の参照点の３次元座標を更に調整してよい。例えば、運動モデルが回転運動である場合、第４の参照点の位置は下げられてよい。

【0041】

１つの実施形態において、プロセッサ１５０は、目標点の位置に応じて、運動モデルに基づく第４の参照点の３次元座標を調整してよい。即ち、プロセッサ１５０は、運動モデルに基づき改変された第４の参照点の３次元座標を更に調整するため、目標点の位置を用いてよい。例えば、プロセッサ１５０は、改変された第４の参照点の３次元座標が中間点と目標点を結ぶ線に位置するか否かを判定する。従って、位置推定の精度が向上する。

【0042】

まとめると、上記の例示的な実施形態は、人体部位方法と人体部位システムを描写している。１つの人体の２つの部分の位置関係は、第１の時点での画像における該部分の２つの参照点に基づき判定できる。第２の時点で該部分のうちの１つが画像撮像装置の視野の外側に位置する場合、視野から外れた部分に対応する参照点の位置は、位置関係に基づき推定できる。このため、人体部位のある部分が視野から外れても、人体部位の該部分を追跡できる。

【0043】

当業者にとって、本発明の範囲又は精神から逸脱することなく、本発明の構造に様々な改変と変形を行うことができることは明らかであろう。上記を鑑み、本発明は、以下の特許請求の範囲及びそれらの均等物の範囲内にあるという条件で、本発明の改変及び変形を網羅することを意図している。

【産業上の利用可能性】

【0044】

本発明の人体部位方法と人体部位システムは、人体部位の追跡機構に応用することができる。

【符号の説明】

【0045】

ＦＯＶ：視野
Ｈ、４１０：手
１００：人体部位追跡システム
１１０：画像撮像装置
１３０：メモリ
１５０：プロセッサ
Ｓ３１０～Ｓ３６０：ステップ
４１１：第２の参照点
４３１：第１の参照点
４３０：前腕
４５１、４５３：交点
ＢＬ：身体ライン
４１３：第４の参照点
４３３：第３の参照点
４１５：目標点
４３５：基準点
４５５：中間点

【図1A】

【図1B】

【図2】

【図3】

【図4】

【図5】

【図6】

【外国語明細書】