特許7571237アバターの骨格補正方法、仮想現実システム、およびコンピュータ可読媒体
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2024-10-11
(45)【発行日】2024-10-22
(54)【発明の名称】アバターの骨格補正方法、仮想現実システム、およびコンピュータ可読媒体
(51)【国際特許分類】
G06T 7/00 20170101AFI20241015BHJP
G06T 7/70 20170101ALI20241015BHJP
【ＦＩ】
G06T7/00 660B
G06T7/70 A
【請求項の数】
5
【外国語出願】
(21)【出願番号】P 2023159292
(22)【出願日】2023-09-23
【審査請求日】2023-09-23
(31)【優先権主張番号】112114686
(32)【優先日】2023-04-20
(33)【優先権主張国・地域又は機関】TW
(73)【特許権者】
【識別番号】504429600
【氏名又は名称】緯創資通股▲ふん▼有限公司
【氏名又は名称原語表記】ＷＩＳＴＲＯＮ ＣＯＲＰＯＲＡＴＩＯＮ
(74)【代理人】
【識別番号】100204490
【弁理士】
【氏名又は名称】三上 葉子
(72)【発明者】
【氏名】蔡 秉辰
(72)【発明者】
【氏名】陳 遠鴻
【審査官】伊知地 和之
(56)【参考文献】
【文献】韓国公開特許第１０－２０２１－００２０４９９（ＫＲ，Ａ）
【文献】特開２０２３－０３５９８１（ＪＰ，Ａ）
【文献】特開２０２２－０６１９１０（ＪＰ，Ａ）
【文献】特開２０２２－１７６４８１（ＪＰ，Ａ）
【文献】特開２００９－０１５６７１（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１０／０２７７４８９（ＵＳ，Ａ１）
【文献】国際公開第２０２１／０７０６１１（ＷＯ，Ａ１）
【文献】宗像修平 外２名，ヨガ支援を目的とした姿勢評価システムの開発，映像情報メディア学会技術報告，日本，（一社）映像情報メディア学会，2021年10月20日，第45巻 第31号，pp.43～46
【文献】河▲崎▼雷太 外２名，３点の６自由度トラッカによる両手把持道具を利用する人体運動アニメーション生成，情報処理学会論文誌，日本，社団法人情報処理学会，2004年08月15日，第45巻 第8号，pp.2078～2086
【文献】林昌希 外１名，２段階のＰｏｓｅｌｅｔｓ－Ｒｅｇｒｅｓｓｏｒ適用によるチームスポーツ映像からの人物姿勢推定，第２２回画像センシングシンポジウムＳＳＩＩ２０１６［ＵＳＢ］，日本，画像センシング技術研究会，2016年06月08日
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ １／００
Ｇ０６Ｔ ７／００ － ７／９０
Ｇ０６Ｔ １１／６０ － １３／８０
Ｇ０６Ｔ １７／０５
Ｇ０６Ｔ １９／００ － １９／２０
Ｇ０６Ｖ １０／００ － ２０／９０
Ｇ０６Ｖ ３０／４１８
Ｇ０６Ｖ ４０／１６
Ｇ０６Ｖ ４０／２０
ＣＳＤＢ（日本国特許庁）
(57)【特許請求の範囲】
【請求項1】
第１骨格情報を取得するステップであって、前記第１骨格情報の第１型関節は第２型関節に基づいて推定されるステップと、第２骨格情報を取得するステップであって、前記第２骨格情報の前記第１型関節および前記第２型関節は画像に基づいて決定されるステップと、
前記第１骨格情報と前記第２骨格情報を比較して、比較結果を得るステップと、
前記比較結果に基づいて、前記第２骨格情報が基準として提供できるかどうかが検証されたことに応じて、前記第２骨格情報における前記第１型関節に属する第１関節および第２関節の基準ベクトルに基づいて、前記第１骨格情報における前記第１型関節に属する第１関節から延伸し、前記第１骨格情報における前記第１型関節に属する第２関節の位置を修正するステップと、
を含むアバターの骨格補正方法。
【請求項2】
前記第１骨格情報と前記第２骨格情報を比較するステップが、前記第１骨格情報から前記第２型関節の第１空間位置を取得するステップと、
前記第２骨格情報から前記第２型関節の第２空間位置を取得するステップと、
前記第１空間位置と前記第２空間位置を比較するステップであって、前記第２型関節が、少なくとも１つの目標関節を含むステップと、
を含み、
前記第１空間位置と前記第２空間位置を比較するステップが、
前記第１空間位置に基づいて、前記第１骨格情報における基準関節と前記少なくとも１つの目標関節の間の少なくとも１つの第１接続線を決定するステップと、
前記第２空間位置に基づいて、前記第２骨格情報における前記基準関節と前記少なくとも１つの目標関節の間の少なくとも１つの第２接続線を決定するステップと、
前記少なくとも１つの第１接続線と前記少なくとも１つの第２接続線を比較するステップであって、前記少なくとも１つの第１接続線が、少なくとも１つの第１ベクトルを形成し、前記少なくとも１つの第２接続線が、少なくとも１つの第２ベクトルを形成するステップと、
を含み、
前記少なくとも１つの第１接続線と前記少なくとも１つの第２接続線を比較するステップが、
前記少なくとも１つの第１ベクトルと前記少なくとも１つの第２ベクトルの間の類似性を決定するステップであって、前記第１型関節が、下半身に属し、前記第２型関節が、上半身に属し、前記基準関節が、股関節中心であり、前記少なくとも１つの目標関節が、左手関節、右手関節および頭部関節を含み、前記類似性が、コサイン類似度であるステップを含み、または、
前記第１骨格情報と前記第２骨格情報を比較するステップが、
前記少なくとも１つの第１接続線と前記少なくとも１つの第２接続線の間の前記比較に基づいて、前記比較結果を決定するステップと、
前記比較結果が、前記少なくとも１つの第１接続線と前記少なくとも１つの第２接続線の間の前記比較が閾値より小さいことを示している場合に、前記第２骨格情報を採用して、前記第１骨格情報を修正するステップと、
前記比較結果が、前記少なくとも１つの第１接続線と前記少なくとも１つの第２接続線の間の比較が前記閾値以上であることを示している場合に、前記第２骨格情報を拒否するステップと、
を含む請求項１に記載のアバターの骨格補正方法。
【請求項3】
前記第１骨格情報の前記第１関節が外側に向かってある距離だけ延伸する位置が、前記第１骨格情報における前記第２関節を修正するための前記位置であり、前記距離が、前記第２骨格情報における前記基準ベクトルと長さ変換係数の積であり、前記長さ変換係数が、前記第１骨格情報と前記第２骨格情報の間の長さ比率であるか、または、前記第１骨格情報と前記第２骨格情報を比較するステップが、
前記第２骨格情報を前記第１骨格情報が属する座標系に変換するステップを含み、
前記第２骨格情報を前記第１骨格情報が属する前記座標系に変換するステップが、
基準ポーズにおける前記第１骨格情報と前記第２骨格情報の間の座標対応を決定するステップであって、前記第２骨格情報の座標変換が、前記座標対応に基づき、前記基準ポーズが、ＴポーズまたはＰｈｉポーズであるステップを含む請求項１または請求項２に記載のアバターの骨格補正方法。
【請求項4】
画像を取り込むように構成された撮像装置と、動作状態を検出するように構成されたセンサと、
前記撮像装置および前記センサと通信するように構成されるとともに、
第１骨格情報を取得する操作であって、前記第１骨格情報の第１型関節は第２型関節に基づいて推定されるとともに、前記第１骨格情報の前記第２型関節は前記センサの感知データに基づいて決定される操作と、
第２骨格情報を取得する操作であって、前記第２骨格情報の前記第１型関節および前記第２型関節は前記画像に基づいて決定される操作と、
前記第１骨格情報と前記第２骨格情報を比較して、比較結果を取得する操作と、
前記比較結果に基づいて、前記第２骨格情報が基準として提供できるかどうかが検証されたことに応じて、前記第２骨格情報における前記第１型関節に属する第１関節および第２関節の基準ベクトルに基づいて、前記第１骨格情報における前記第１型関節に属する第１関節から延伸し、前記第１骨格情報における前記第１型関節に属する第２関節の位置を修正する操作と、
を実行するように構成されたプロセッサと、
を含む仮想現実システム。
【請求項5】
プロセッサを介してプログラムコードをロードして、第１骨格情報を取得する操作であって、前記第１骨格情報の第１型関節は第２型関節に基づいて推定される操作と、
第２骨格情報を取得する操作であって、前記第２骨格情報の前記第１型関節および前記第２型関節は画像に基づいて決定される操作と、
前記第１骨格情報と前記第２骨格情報を比較して、比較結果を取得する操作と、
前記比較結果に基づいて、前記第２骨格情報が基準として提供できるかどうかが検証されたことに応じて、前記第２骨格情報における前記第１型関節に属する第１関節および第２関節の基準ベクトルに基づいて、前記第１骨格情報における前記第１型関節に属する第１関節から延伸し、前記第１骨格情報における前記第１型関節に属する第２関節の位置を修正する操作と、
を実行する非一時的なコンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、仮想現実（virtual reality, VR）技術に関するものであり、特に、アバターの骨格補正方法、仮想現実システム、およびコンピュータ可読媒体に関するものである。
【背景技術】
【0002】
科学技術の急速な発展に伴い、メタバース関連製品がどこでも利用可能となり、ＶＲヘッドマウントディスプレイ（head-mounted display, HMD）は、メタバースの入口インターフェースとしてますます人気を博している。ユーザーは、ＶＲ ＨＭＤを装着することで、仮想世界に没入することができる。しかしながら、ＨＭＤがもたらす「没入感」は、ユーザーの視覚と聴覚に限定されている。つまり、ほとんどのユーザーは、上半身で没入感を体験するだけで、全身では体験しない。
【0003】
ユーザーがＶＲ ＨＭＤを装着してＶＲソーシャルプラットフォームに入るとき、自分自身を代表するアバター（avatar）を作成する必要がある。しかしながら、現在の技術では、仮想アバターの上半身しか表示することができない。ＶＲ ＨＭＤのカメラは、頭と手の位置を追跡して、腕と胸の位置を推定することができるが、ＶＲ ＨＭＤは、ユーザーの足の位置を知らないため、追跡範囲が限定的である。例えば、腹部や他の障害物がカメラの視野を遮る可能性があり、ユーザーが頭を傾けたり回転させたりすると、カメラは、下半身を捉えることができない。この問題を解決するために、現在のＶＲ ＨＭＤの位置決め技術は、アウトサイドイン（outside-in）とインサイドアウト（inside-out）の２つに分けることができる。
【0004】
アウトサイドイン技術を使用すると、より正確で広範な追跡効果を提供することができるが、システムは、複雑で費用がかかり、通常、企業向けに適している。例えば、手足または物体（例えば、テニスラケット）に取り付けられるトラッカーは、位置決め装置を備える必要があるため、システムは、複雑で非効率的である。現在、全身モーションキャプチャスーツ（full-body motion capture suit）が開発されている。このスーツは、優れたモーションキャプチャ効果を達成することができるが、コストが高い。
【0005】
インサイドアウト技術は、位置決め装置を必要とせずに位置決め方法を提供することができるため、日常のエンターテイメントや移動する場面により適しており、使用機会が増えるとともに、システムは、より単純でコストが低い。しかしながら、モーションキャプチャの効果は、正確ではない。それでもなお、企業は、解決策を見つけてきた。例えば、ＨＭＤが検出した頭部の動きに基づいて、他の部位の動きを推定することができる。しかしながら、特定のユーザーのすべての動きを正確に推定することは依然として不可能であり、結果として、アバターによって再現される動きは、不自然に見える。さらに、大量の歩行パターンデータを収集するためには、ある程度のリソースが必要である。
【0006】
ＶＲソーシャルネットワーキングを普及させてＶＲを推進するためには、ＶＲをより簡単に利用できるようにし、より現実的に見える物理的パフォーマンスを提示することが求められている。
【発明の概要】
【発明が解決しようとする課題】
【0007】
本発明の実施形態は、アバターの骨格補正方法、仮想現実システム、およびコンピュータ可読媒体を提供し、追跡能力を向上させるための新たなシステムアーキテクチャを提供する。
【課題を解決するための手段】
【0008】
本発明の１つの実施形態におけるアバターの骨格補正方法は、第１骨格情報を取得し、第１骨格情報の第１型関節を第２型関節に基づいて推定するステップと、第２骨格情報を取得し、第２骨格情報の第１型関節および第２型関節を画像に基づいて決定するステップと、第１骨格情報と第２骨格情報を比較して、比較結果を取得するステップと、比較結果に基づいて第１骨格情報と第２骨格情報を融合し、第１骨格情報の第１型関節の位置を修正するステップと、を含む（ただし、本発明はこれに限定されない）。
【0009】
本発明の実施形態における仮想現実システムは、撮像装置、センサ、およびプロセッサを含む（ただし、本発明はこれに限定されない）。撮像装置は、画像を取り込むように構成される。センサは、動作状態を検出するように構成される。プロセッサは、撮像装置およびセンサと通信する。プロセッサは、第１骨格情報を取得し、第１骨格情報の第１型関節を第２型関節に基づいて推定するとともに、第１骨格情報の第２型関節をセンサの感知データに基づいて決定するステップと、第２骨格情報を取得し、第２骨格情報の第１型関節および第２型関節を画像に基づいて決定するステップと、第１骨格情報と第２骨格情報とを比較して、比較結果を取得するステップと、比較結果に基づいて第１骨格情報と第２骨格情報を融合し、第１骨格情報の第１型関節の位置を修正するステップと、を実行するように構成される。
【0010】
本発明の実施形態における非一時的なコンピュータ可読媒体は、プロセッサを介してプログラムコードをロードし、第１骨格情報を取得し、第１骨格情報の第１型関節を第２型関節に基づいて推定するステップと、第２骨格情報を取得し、第２骨格情報の第１型関節および第２型関節を画像に基づいて決定するステップと、第１骨格情報と第２骨格情報を比較して、比較結果を取得するステップと、比較結果に基づいて第１骨格情報と第２骨格情報を融合し、第１骨格情報の第１型関節の位置を修正するステップと、を実行する。
【発明の効果】
【0011】
以上のように、本発明の実施形態におけるアバターの骨格補正方法、仮想現実システム、およびコンピュータ可読媒体は、感知データに基づく骨格情報と画像に基づく骨格情報を比較し、その比較結果に基づいて骨格情報を修正する。
【0012】
本発明の上記の特徴および利点をより理解しやすくするために、以下、添付図面と共に具体的な例について詳細に説明する。
【図面の簡単な説明】
【0013】
【図1】本発明の１つの実施形態に係る仮想現実システムの構成要素のブロック図である。
【図2】本発明の１つの実施形態に係るアバターの骨格補正方法のフローチャートである。
【図3】本発明の１つの実施形態に係る骨格関節の概略図である。
【図4】本発明の１つの実施形態に係る第１骨格情報を取得する方法のフローチャートである。
【図5】本発明の１つの実施形態に係る下半身の骨格を決定するときのフローチャートである。
【図6】本発明の１つの実施形態に係る骨格情報を比較するときのフローチャートである。
【図7】本発明の１つの実施形態に係るコサイン類似度の概略図である。
【図8】本発明の１つの実施形態に係る座標系変換の概略図である。
【図9A】本発明の１つの実施形態に係るＴポーズの概略図である。
【図9B】本発明の１つの実施形態に係るＰｈｉポーズの概略図である。
【図10】本発明の１つの実施形態に係る補正決定のフローチャートである。
【発明を実施するための形態】
【0014】
図１は、本発明の１つの実施形態に係る仮想現実システム１の構成要素のブロック図である。図１を参照すると、仮想現実システム１は、モバイルデバイス１０および仮想現実デバイス２０を含む（ただし、本発明はこれに限定されない）。
【0015】
モバイルデバイス１０は、スマートフォン、タブレットコンピュータ、ノートブックコンピュータ、インテリジェントアシスタントデバイス、またはウェアラブルデバイスであってもよい。
【0016】
モバイルデバイス１０は、撮像装置１１、通信トランシーバ１２、メモリ１３、およびプロセッサ１４を含む（ただし、本発明はこれに限定されない）。
【0017】
撮像装置１１は、カメラまたはビデオカメラであってもよい。１つの実施形態において、撮像装置１１は、指定された視野内の画像を取り込むように構成される。１つのアプリケーションシナリオにおいて、撮像装置１１は、仮想現実デバイス２０、ウェアラブルデバイス、またはセンサを着用または保持しているユーザーの写真を撮影する。
【0018】
通信トランシーバ１２は、例えば、第４世代（fourth generation, 4G）または他の世代のモバイル通信、Ｗｉ－Ｆｉ、ブルートゥース（Bluetooth）、赤外線、無線周波数識別（radio frequency identification, RFID）、イーサネット（Ethernet）、光ファイバーネットワークをサポートすることができ、あるいはユニバーサルシリアルバス（universal serial bus, USB）、サンダーボルト（Thunderbolt）、または他の通信伝送インターフェースであってもよい。１つの実施形態において、通信トランシーバ１２は、他の電子デバイス（例えば、仮想現実デバイス２０、ウェアラブルデバイス、またはセンサ）とデータを送受信するように構成される。
【0019】
メモリ１３は、任意の種類の固定または取り外し可能なランダムアクセスメモリ（random access memory, RAM）、読み取り専用メモリ（read-only memory, ROM）、フラッシュメモリ（flash memory）、ハードディスクドライブ（hard disk drive, HDD）、ソリッドステートドライブ（solid-state drive, SSD）、または類似部品であってもよい。１つの実施形態において、メモリ１３は、プログラムコード、ソフトウェアモジュール、構成、データ（例えば、画像、骨格情報、感知データなど）、またはファイルを保存するように構成されるが、その実施形態については、後で詳述する。
【0020】
プロセッサ１４は、撮像装置１１、通信トランシーバ１２、およびメモリ１３に接続される。プロセッサ１４は、中央処理装置（central processing unit, CPU）、グラフィック処理装置（graphic processing unit, GPU）、または他のプログラム可能な汎用または専用マイクロプロセッサ（microprocessor）、デジタル信号プロセッサ（digital signal processor, DSP）、プログラマブルコントローラ、フィールドプログラマブルゲートアレイ（field programmable gate array, FPGA）、特定用途向け集積回路（application-specific integrated circuit, ASIC）、ニューラルネットワークアクセラレータ（neural network accelerator）、または他の類似部品、またはこれらの組み合わせであってもよい。１つの実施形態において、プロセッサ１４は、モバイルデバイス１０の操作の全部または一部を実行するように構成され、メモリ１３に保存されたさまざまなプログラムコード、ソフトウェアモジュール、ファイル、およびデータをロードして実行することができる。いくつかの実施形態において、プロセッサ１４の機能は、ソフトウェアまたはチップによって実現することができる。
【0021】
仮想現実デバイス２０は、ヘッドマウントディスプレイ（head-mounted display, HMD）、ハンドヘルドコントローラ、ウェアラブルセンサ、コンピューティングコンピュータ、またはそれらの組み合わせであってもよい。
【0022】
仮想現実デバイス２０は、センサ２１、通信トランシーバ２２、メモリ２３、およびプロセッサ２４を含む（ただし、本発明はこれに限定されない）。
【0023】
センサ２１は、画像センサ、慣性センサ、加速度計、ジャイロスコープ（gyroscope）、磁気センサ、６軸または９軸モーションセンサであってもよい。１つの実施形態において、センサ２１は、動作状態を検出するように構成され、画像、強度、速度、加速度、方向などの感知データを取得する。
【0024】
通信トランシーバ２２、メモリ２３、およびプロセッサ２４の実施および機能は、それぞれ通信トランシーバ１２、メモリ１３、およびプロセッサ１４の説明から導き出すことができるため、ここでは繰り返し説明しない。
【0025】
１つの実施形態において、プロセッサ２４は、仮想現実デバイス２０の操作の全部または一部を実行するように構成され、メモリ２３に保存されたさまざまなプログラムコード、ソフトウェアモジュール、ファイル、およびデータ（例えば、感知データ、骨格情報、または比較結果）をロードして実行することができる。いくつかの実施形態において、プロセッサ２４の機能は、ソフトウェアまたはチップによって実現することができる。
【0026】
１つの実施形態において、センサ２１は、仮想現実デバイス２０の本体から分離することができる。１つの実施形態において、別々のデバイスや部品間の通信は、通信トランシーバ１２および２２を介して実現することができるため、複数のデバイスおよび／または部品は、互いに通信して、信号またはデータ伝送を完了させることができる。例えば、仮想現実デバイス２０は、変換係数をモバイルデバイス１０に送信する。別の例において、モバイルデバイス１０は、骨格情報を仮想現実デバイス２０に送信する。
【0027】
以下、仮想現実システム１のさまざまなデバイス、部品、およびモジュールを用いて、本発明の実施形態において説明する方法について説明する。方法の各プロセスは、実施状況に応じて調整することができるため、本発明はそれらに限定されない。また、注意すべきこととして、異なる設計要件に基づき、本発明の実施形態において説明する方法は、プロセッサ１４またはプロセッサ２４のうちの１つまたは両方によって実施することができる。プロセッサ１４およびプロセッサ２４の処理／分析／計算結果は、それぞれ通信トランシーバ１２および通信トランシーバ２２を介して他方に送信することができ、それに基づいて、後続の手順を続行することができる。したがって、実行本体と２つのデバイスの間のデータ伝送については、繰り返し説明しない。
【0028】
図２は、本発明の１つの実施形態に係るアバターの骨格補正方法のフローチャートである。図２を参照すると、プロセッサ１４／２４は、第１骨格情報を取得する（ステップＳ２１０）。具体的に説明すると、第１骨格情報は、第１型関節（joint）および第２型関節を含む。異なる対象物体およびアプリケーションシナリオに応じて、第１型関節および第２型関節は、それぞれ対象物体の異なる部位または関節に対応し、関節は、特徴点と呼ぶこともできる。
【0029】
例えば、図３は、本発明の１つの実施形態に係る骨格関節の概略図である。図３を参照すると、例えば、人間を例に挙げると、プロセッサ１４／２４は、３３個の骨格関節Ｐ０～Ｐ３２を定義することができる。骨格関節Ｐ０は、鼻に対応し、骨格関節Ｐ１は、右眼の内側に対応し、骨格関節Ｐ２は、右眼の中心に対応し、骨格関節Ｐ３は、右眼の外側に対応するなどであるが、ここでは詳しい説明を省略する。骨格関節Ｐ０～Ｐ３２を上半身と下半身に分けた場合、骨格関節Ｐ２５～Ｐ３２を第１型関節ＦＴＰとして使用し、骨格関節Ｐ０～Ｐ２４を第２型関節ＳＴＰとして使用することができる。つまり、第１型関節ＦＴＰは、下半身に対応し、第２型関節ＳＴＰは、上半身に対応する。
【0030】
注意すべきこととして、実際の必要に応じて、骨格関節の分類をさらに変更することができる。別の実施形態において、骨格関節は、指関節または顔のキージョイント（key joint）であってもよい。また、短い骨格、細長い骨格、または大柄な骨格など、骨格には多様性がある。したがって、骨格関節の位置および数は、図３に示した実施形態に限定されない。
【0031】
第１骨格情報の第１型関節の位置は、第２型関節によって推定される。第２型関節は、センサ２１の感知データに基づいて決定される。つまり、センサ２１の感知結果は、第２型関節に対するものであって、第１型関節に対するものではない。プロセッサ１４／２４は、センサ２１の感知結果に基づいて、第２型関節の位置を直接決定することができる。例えば、ＨＭＤ上の慣性センサの感知結果は、頭部の動作情報を決定し、それに基づいて、頭部およびその骨格関節（例えば、三次元空間内の座標）の位置を決定することができる。しかしながら、この動作情報を直接採用することにより、脚部またはその骨格関節の位置を決定することはできない。
【0032】
図４は、本発明の１つの実施形態に係る第１骨格情報を取得する方法のフローチャートである。図４を参照すると、第１型関節および第２型関節の分類については、例えば、図３に示した通りである。プロセッサ１４／２４は、ＨＭＤ上のセンサ２１の感知データに基づいて、頭部の位置を取得することができる（ステップＳ４１０）。例えば、６軸センサによって得られた角速度、加速度、および磁気方向は、位置および姿勢を決定する。プロセッサ１４／２４は、頭部の位置に基づいて、首、腰、脊椎などの骨格関節、例えば、図３の骨格関節Ｐ０～Ｐ１０およびＰ２３～Ｐ２４をマッピングすることができる（ステップＳ４２０）。
【0033】
一方、プロセッサ１４／２４は、ハンドヘルドコントローラ上のセンサ２１の感知データに基づいて、両手の位置を取得することができ（ステップＳ４３０）、手の位置に基づいて、腕、肩、肘などの骨格関節、例えば、図３の骨格関節Ｐ１１～Ｐ２２をマッピングすることができる（ステップＳ４４０）。ステップＳ４２０およびＳ４４０において得られた骨格関節は、第２型関節に属する。注意すべきこととして、上述したステップは、頭部および両手のセンサ２１を例に挙げているが、脚部、胸部、または背中にセンサ２１を設置してもよく、本発明の実施形態は、センサ２１の配置位置を限定しない。
【0034】
骨格関節のマッピングについては、１つの実施形態において、プロセッサ１４／２４は、所定の基準位置（親ノードの）および逆運動学（inverse kinematics, IK）に基づいて、１つまたはそれ以上の骨格関節の位置を決定することができる。骨格関節間の親子階層（parent-child hierarchy）は、身体部分、例えば、腕、頭、首などを形成することができる。ＩＫを使用して、さまざまな身体部分の動作軌跡を定義し、リミットを設定することによって、湾曲、回転角度などの実際の人体上の動作軌跡の一貫性を確保することができる。所定の基準位置は、センサ２１の感知データを介して提供または決定することができる。同様に、プロセッサ１４／２４は、ＩＫに基づいて、肩、上半身、頭部、および他の部位の位置を推定することもできるが、ここでは詳しい説明を省略する。
【0035】
次に、プロセッサ１４／２４は、第１型関節を決定することができる（ステップＳ４５０）。具体的に説明すると、図５は、本発明の１つの実施形態に係る下半身の骨格を決定するときのフローチャートである。図５を参照すると、プロセッサ１４／２４は、第２型関節の位置をポーズＡＩモデル（例えば、ＢｌａｚｅＰｏｓｅ）またはポーズ推定に関連する他のモデルに入力して、第１型関節の位置を予測することができる（ステップＳ５１０）。次に、プロセッサ１４／２４は、ＩＫに基づいて、第１型関節の位置に対して制約された補正を行うことにより（ステップＳ５２０）、身体動作の可能性と合理性を維持し、その後、第１型関節の位置を決定することができる。
【0036】
図４を参照すると、プロセッサ１４／２４は、第１型関節および第２型関節の位置に基づいて、第１骨格情報を決定する（ステップＳ４６０）。図３を例に挙げると、第１骨格情報は、身体上のすべての骨格関節Ｐ０～Ｐ３２の位置を含む。次に、プロセッサ１４／２４は、第１骨格情報に基づいてアバターを操作することができる（ステップＳ４７０）ため、アバターのポーズは、第１骨格情報と同じである。
【0037】
しかしながら、第１型関節の位置は、推定によって生成されるため、第１型関節の位置の精度は、第２型関節の精度よりも低い可能性がある。精度を向上させるために、本発明の実施形態は、さらに、他の骨格情報を参照する。
【0038】
図２を参照すると、プロセッサ１４／２４は、第２骨格情報を取得する（ステップＳ２２０）。具体的に説明すると、第２骨格情報における第１型関節および第２型関節を撮像装置１１の画像に基づいて決定する。この画像は、第１型関節および第２型関節を取り込むことができる。例えば、撮像装置１１の視野は、人物の全身を含む。画像ベースの位置決定のために、プロセッサ１４／２４は、機械学習技術（例えば、深層学習、人工ニューラルネットワーク（artificial neural network, ANN）、またはサポートベクターマシン（support vector machine, SVM）など）を使用して、画像内の骨格関節の位置を識別することにより、第１型関節および第２型関節の位置を取得することができる。例えば、ポーズＡＩモデルを利用して、画像内の物体の空間における位置を推測することができる。しかしながら、画像ベースの位置決定技術は多く存在するため、本発明の実施形態に限定されない。
【0039】
図２を参照すると、プロセッサ１４／２４は、第１骨格情報と第２骨格情報を比較して、比較結果を生成する（ステップＳ２３０）。具体的に説明すると、画像に基づいて取得した第２骨格情報は、誤認識される可能性があるため、第１骨格情報の第２型関節の位置は、第２骨格情報の第２型関節の位置よりも正確である可能性がある。第２骨格情報を基準として使用できるかどうかを検証するために、まず、第１骨格情報が第２骨格情報と一致しているかどうかを比較することができる。つまり、２つの骨格情報間の一貫性を検証する。
【0040】
１つの実施形態において、プロセッサ１４／２４は、第１骨格情報から第２型関節の第１空間位置を取得し、第２骨格情報から第２型関節の第２空間位置を取得することができる。第１空間位置と第２空間位置は、座標であっても、相対位置、つまり、骨格関節の位置であってもよい。ステップＳ２１０およびＳ２２０の関連説明については、すでに提供しているため、ここでは繰り返し説明しない。その後、プロセッサ１４／２４は、第１空間位置と第２空間位置を比較することができる。つまり、第１空間位置と第２空間位置が一致しているかどうかを比較する。第１骨格情報における第２型関節の位置は、第１型関節よりも正確であるため、第１骨格情報における第２型関節の位置を基準として使用して、２つの骨格情報が互いに一致しているかどうか、または一貫しているかどうかを判断することができる。
【0041】
第２型関節は、１つまたはそれ以上の目標関節を含む。目標関節は、例えば、左／右の手、左／右の足、頭部、または他の特徴点である。上述した比較は、目標関節の空間位置間の比較である。図６は、本発明の１つの実施形態に係る骨格情報を比較するときのフローチャートである。図６を参照すると、プロセッサ１４／２４は、第１空間位置に基づいて、第１骨格情報における基準関節と１つまたはそれ以上の目標関節の間の１つまたはそれ以上の第１接続線を決定する（ステップＳ６１０）。基準関節は、例えば、股関節の中心、首、左／右の膝、左／右の股関節、左／右の肘、左／右の肩、または他の骨格関節である。第１接続線は、第１骨格情報の基準関節と１つまたはそれ以上の目標関節の間の接続であり、例えば、股関節中心から手および頭部までの接続線である。
【0042】
プロセッサ１４／２４は、第２空間位置に基づいて、第２骨格情報における基準関節と１つまたはそれ以上の目標関節の間の１つまたはそれ以上の第２接続線を決定することができる（ステップＳ６２０）。第２接続線は、第２骨格情報の基準関節と１つまたはそれ以上の目標関節の間の接続である。
【0043】
次に、プロセッサ１４／２４は、第１接続線と第２接続線を比較することができる（ステップＳ６３０）。つまり、第１接続線と第２接続線が一致しているかどうか、または第１接続線と第２接続線が一貫しているかどうかを比較する。
【0044】
１つの実施形態において、１つまたはそれ以上の第１接続線は、それぞれ１つまたはそれ以上の第１ベクトルを形成し、１つまたはそれ以上の第２接続線は、それぞれ１つまたはそれ以上の第２ベクトルを形成する。接続線と比較して、ベクトルは、さらに方向性を含むため、プロセッサ１４／２４が複数の関節間の接続線の方向（身体部分の方向に対応する）を理解するのに役立つ。プロセッサ１４／２４は、第１ベクトルと対応する第２ベクトルの間の類似性を決定し、第１骨格情報の第１ベクトルが第２骨格情報の第２ベクトルと一致しているかどうかを決定することができる。
【0045】
１つの実施形態において、プロセッサ１２／２４は、第１ベクトルと第２ベクトルの間のコサイン類似度（cosine similarity）を決定することができる。図７は、本発明の１つの実施形態に係るコサイン類似度の概略図である。図７を参照すると、基準関節Ｏの座標は、（ｘ０，ｙ０，ｚ０）であり、目標関節Ａの座標は、（ｘ１，ｙ１，ｚ１）であり、目標関節Ｂの座標は、（ｘ２，ｙ２，ｚ２）である。例えば、第１型関節は、下半身に属し、第２型関節は、上半身に属し、基準関節Ｏは、股関節中心の関節であり、目標関節ＡおよびＢは、左手関節、右手関節、または頭部関節であってもよい。コサイン類似度の公式は、以下の通りである。
【0046】
【数1】
【0047】
１つの実施形態において、プロセッサ１４／２４は、１つまたはそれ以上の第１接続線と対応する１つまたはそれ以上の第２接続線の比較に基づいて、比較結果を決定することができる。例えば、比較結果は、類似性である。別の実施形態において、比較結果は、差異、平均二乗誤差（mean square error, MSE）、平方根平均二乗誤差（root-mean-square error, RMSE）、または最小平均二乗誤差（least-mean-square error, LMSE）であってもよい。
【0048】
１つの実施形態において、プロセッサ１４／２４は、第２骨格情報を第１骨格情報が属する座標系に変換することができる。第２骨格情報は、画像に基づいて取得した位置を含むため、骨格関節の元の位置は、カメラ座標系に属する。また、モバイルデバイス１０および仮想現実デバイス２０によって使用される座標系が異なる可能性もある。第１骨格情報と第２骨格情報を比較するために、プロセッサ１４／２４は、座標系変換を実行することができる。
【0049】
図８は、本発明の１つの実施形態に係る座標系変換の概略図である。図８を参照すると、第２骨格情報の骨格関節は、座標系Ｃ１に属し、第１骨格情報の骨格関節は、座標系Ｃ２に属する。第２骨格情報の骨格関節の座標Ｐは、（ｘ，ｙ，ｚ）である。骨格関節Ｐが（座標系／基底）変換係数Ｒによって座標系Ｃ２にマッピングされた後、新しい座標Ｐ’が得られる。
【0050】
【数2】
【0051】
ｒ１１～ｒ１３、ｒ２１～ｒ２３、ｒ３１～ｒ３３は、行列形式における変換係数Ｒの要素である。
【0052】
１つの実施形態において、プロセッサ１４／２４は、基準ポーズの下で第１骨格情報と第２骨格情報の間の座標対応を決定することができる。第２骨格情報の座標変換は、座標の対応関係に基づく。つまり、第２骨格情報上の座標は、座標間の対応関係に基づいて、第１骨格情報が属する座標系にマッピングすることができる。座標間の対応関係は、例えば、上述した（座標系／基底）変換係数Ｒまたは他の座標変換関数である。基準ポーズは、例えば、ＴポーズまたはＰｈｉポーズである。例えば、図９Ａは、本発明の１つの実施形態に係るＴポーズの概略図であり、図９Ｂは、本発明の１つの実施形態に係るＰｈｉポーズの概略図である。
【0053】
図９Ａにおいて、座標間の対応関係を決定するステップを例示する。モバイルデバイス１０または仮想現実デバイス２０は、ビデオまたは音声を介して、図９Ａに示したＴポーズの姿勢をとるようにユーザーを促すことができる。プロセッサ１４／２４は、基準関節（例えば、股関節中心）および目標関節（例えば、頭、左手、および／または右手）を定義することができる。プロセッサ１４／２４がＴポーズに対応する第２骨格情報を取得した後、股関節中心から頭部、股関節中心から左手、股関節中心から右手などの他の第２ベクトルを取得することが可能である。プロセッサ１４／２４は、１つまたはそれ以上の第２ベクトルを正規化し、それに基づいて、（座標系／基底）変換係数を決定することができる。
【0054】
【数3】
【0055】
Ｉは、単位行列であり、ｖは、２つのベクトルの積であり、［ｖ］は、歪対称交差積行列（skew-symmetric cross-product matrix）を表し、ｓは、２つのベクトル間の角度の正弦（sine）を表し、ｃは、２つのベクトル間の角度の余弦（cosine）を表す。
【0056】
注意すべきこととして、いくつかのアプリケーションシナリオでは、機械学習モデルを使用して三次元空間の座標点を推測する際に誤差が生じる可能性がある。そのような状況下では、カブシュ（Kabsch）アルゴリズムまたは他の回転行列を最適化するためのアルゴリズムを採用し、複数セットのベクトルペアを介して変換行列の最適化を検索し、計算能力に応じてより多くのセットのベクトルペアに拡張することができる。また、画像ベースの骨格情報は、２次元画像から３次元情報を抽出する。光学効果によって引き起こされる誤差を減らすために、この基準ポーズを使用することによって、光学誤差を効果的に減らすことが可能である。ただし、基準ポーズは、ＴポーズまたはＰｈｉポーズに限定されない。
【0057】
１つの実施形態において、第１骨格情報と第２骨格情報を比較する前に、プロセッサ１４／２４は、第２骨格情報が座標変換を行ったかどうか、および／または座標対応または（座標系／基底）変換係数が存在するかどうかを判断することができる。座標変換および／または座標対応または変換係数を取得していない場合、まず、これらの操作を行った後で、骨格情報を比較することができる。
【0058】
図２を参照すると、プロセッサ１４／２４は、比較結果に基づいて第１骨格情報と第２骨格情報を融合し、第１骨格情報における第１型関節の位置を修正する（ステップＳ２４０）。具体的に説明すると、プロセッサ１４／２４は、第１骨格情報と第２骨格情報の間の一貫性に基づいて、第２骨格情報を使用して第１骨格情報を修正するかどうかを判断する。１つの実施形態において、第１接続線と対応する第２接続線の間の比較が閾値より小さいことを比較結果が示している場合、プロセッサ１４／２４は、第２骨格情報を採用して、第１骨格情報を修正することができる。第１接続線と対応する第２接続線の間の比較が閾値以上であることを比較結果が示している場合、プロセッサ１４／２４は、第２骨格情報を拒否することができる。
【0059】
比較結果は、コサイン類似度により例示され、プロセッサ１４／２４は、コサイン類似度が閾値より小さいかどうかを比較することができる。コサイン類似度が閾値より小さい場合、プロセッサ１４／２４は、第１骨格情報の一部の骨格関節と第２骨格情報の対応する骨格関節が一致していると判断し、それに基づいて、第２骨格情報を採用することができる。コサイン類似度が閾値以上の場合、プロセッサ１４／２４は、第１骨格情報の一部の骨格関節が第２骨格情報の対応する骨格関節と一致していないと判断し、それに基づいて、第２骨格情報を否定／拒否／無視することができる。
【0060】
例えば、図１０は、本発明の１つの実施形態に係る補正決定のフローチャートである。図１０を参照すると、基準関節は、股関節の中心であり、目標関節は、頭部、右手、および左手である。プロセッサ１４／２４は、第１ベクトル（すなわち、第１骨格情報における股関節の中心から頭部までのベクトル、股関節の中心から右手までのベクトル、股関節の中心から左手までのベクトル）および第２ベクトル（すなわち、第２骨格情報における股関節の中心から頭部までのベクトル、股関節の中心から右手までのベクトル、股関節の中心から左手までのベクトル）のコサイン距離（cosine distance）をそれぞれ計算し（ステップＳ１００１、Ｓ１００２、Ｓ１００３）、これらのコサイン距離が対応する閾値より小さいかどうかをそれぞれ判断する（ステップＳ１００４、Ｓ１００５、Ｓ１００６）。
【0061】
次に、プロセッサ１４／２４は、これらのコサイン距離がいずれも対応する閾値より小さいかどうかを判断する（ステップＳ１００７）。これらのコサイン距離がいずれも対応する閾値より小さい場合、プロセッサ１４／２４は、第１骨格情報の一部の骨格関節が第２骨格情報の対応する骨格関節と一致していると判断することができ、第２骨格情報の骨格関節を採用して、第１骨格情報における第１型関節（例えば、図３の下半身の骨格関節Ｐ２５～Ｐ３２または他のセンサ２１によって指示された目標部分に対応する）の位置を修正または補正する（ステップＳ１００８）。これらのコサイン距離のいずれか１つが閾値以上である場合、プロセッサ１４／２４は、第１骨格情報の一部の骨格関節が第２骨格情報の対応する骨格関節と一致していないと判断し、図４のステップＳ４５０に基づいて、第１型関節（例えば、図３の下半身の骨格関節Ｐ２５～Ｐ３２または他のセンサ２１によって指示された目標部分に対応する）の位置を計算およびシミュレーションすることができる（ステップＳ１００９）。例えば、下半身の骨格関節の位置は、ポーズＡＩモデルを介して予測される。
【0062】
注意すべきこととして、図１０のステップは、単なる例として使用しただけであるため、別の実施形態において、異なる基準関節、目標関節、および比較結果を採用してもよい。例えば、首から頭部までのベクトル、左／右の膝から左／右の足までのベクトル、左／右の股関節から左／右の膝までのベクトル、左／右の肘から左／右の手までのベクトル、または左／右の肩から左／右の肘までのベクトルなどである。
【0063】
骨格情報の融合／補正において、１つの実施形態において、プロセッサ１４／２４は、第２骨格情報における第１関節および第２関節の基準ベクトルに基づいて、第１骨格情報における第１関節から延伸し、第１骨格情報における第２関節の位置を修正することができる。具体的に説明すると、人間の骨格は、関節（articulated）構造である。第１関節を関節構造の起点（すなわち、親ノード）と仮定すると、第２骨格情報の第２関節（すなわち、子ノード）の位置は、以下のように定義される。
【0064】
【数4】
【0065】
【数5】
【0066】
１つの実施形態において、ベクトルを取得した後、第１骨格情報の第１関節が外側に向かってある距離だけ延伸する位置が、第１骨格情報における第２関節を補正する位置である。
【0067】
【数6】
【0068】
【数7】
【0069】
股関節の中心を関節構造の起点とすると、骨格関節の計算順序は、例えば、１．左／右の股関節、２．左／右の膝関節、３．左／右の足首関節、４．左／右の肩関節、５．左／右の肘関節、６．左／右の手首関節、７．首、８．頭部である。つまり、この順序に基づいて親関節が順番に切り替わり、それに基づいて、対応する子関節がそれぞれ決定される。このようにして、第１型支点の位置や、さらには第２型支点の位置も修正することができる。ただし、起点および順序は、これに限定されない。
【0070】
１つの実施形態において、プロセッサ１４／２４は、修正／融合された骨格情報をアバターの体格比に変換し、それに基づいて、アバターのポーズを決定することができる。
【0071】
１つの実施形態において、プロセッサ１４／２４は、基準ポーズでの第１骨格情報と第２骨格情報の間の長さ変換係数を決定することができる。基準ポーズの説明は、変換係数の説明から導き出すことができるため、ここでは詳しい説明を省略する。プロセッサ１４／２４は、比較接続線を定義することができる。例えば、頭部（例えば、両耳間の中点）から首（例えば、両肩間の中点）までの長さ、首から左／右の肩までの長さ、左／右の肩から左／右の肘までの長さ、左／右の肘から左／右の手首までの長さ、左／右の肩から左／右の股関節までの長さ、股関節の中心（例えば、両股関節間の中点）から左／右の股関節までの長さの中点、左／右の股関節から左／右の膝関節までの長さ、および／または左／右の膝関節から左／右の足首関節までの長さである。長さ変換係数Cconnectの式は、以下の通りである。
【0072】
【数8】
【0073】
【数9】
【0074】
図９Ａの２つの腕に対応する４つの身体部分の長さを例に挙げると、これらの長さは、左／右の肩から左／右の肘までの長さ、および左／右の肘から左／右の手首までの長さである。長さ変換係数の計算方法は、以下の通りである。
【0075】
【数10】
【0076】
【数11】
【0077】
同様にして、他の比較長さの長さ変換係数を得ることができる。いくつかのアプリケーションシナリオにおいて、モバイルデバイス１０および／または仮想現実デバイス２０は、さらに、他の基準ポーズ（例えば、Ｐｈｉポーズ）をとるようにユーザーを促すことができるため、特定の比較長さ（例えば、肘から手首までの長さまたは股関節から膝までの長さ）の追跡がより正確になる。
【0078】
１つの実施形態において、プロセッサ１４／２４は、長さ変換係数が存在するかどうかを判断することができる。長さ変換係数が存在しない場合、ユーザーは、基準ポーズをとるように指導され、それに基づいて、長さ変換係数を計算することができる。
【0079】
本発明の別の実施形態において、プロセッサにロードされたコンピュータプログラムを記録して、上述した骨格補正方法の各ステップ（図２～図１０に示した実施形態）を実行するためのコンピュータ可読媒体を提供する。コンピュータプログラムは、複数のプログラムコードを含むことができ、プロセッサ１４／２４がこれらのプログラムコードをロードして実行した後、上述した骨格補正方法を達成し、仮想現実システム１の機能を実現することが可能である。
【0080】
以上のように、本発明の実施形態におけるアバターの骨格補正方法、仮想現実システム、およびコンピュータ可読媒体は、一部の骨格関節上の２つの骨格情報の一貫性に基づいて、骨格情報を修正する。この方法により、人体部分の位置決めの精度を向上させることができる。
【0081】
上記の実施形態において本発明を開示したが、これらの実施形態は、本発明を限定する意図はない。当業者であれば、本発明の精神および範囲から逸脱することなく、いくつかの変更および修正を行うことができる。本発明の保護範囲は、添付された請求項によって定義されるべきである。
【産業上の利用可能性】
【0082】
本発明のアバターの骨格補正方法、仮想現実システム、およびコンピュータ可読媒体は、仮想現実（ＶＲ）技術に適用することができる。
【符号の説明】
【0083】
１ 仮想現実システム
１０ モバイルデバイス
１１ 撮像装置
１２、２２ 通信トランシーバー
１３、２３ メモリ
１４、２４ プロセッサ
２０ 仮想現実デバイス
２１ センサ
Ｓ２１０～Ｓ２４０、Ｓ４１０～Ｓ４７０、Ｓ５１０～Ｓ５２０、Ｓ６１０～Ｓ６３０、Ｓ１００１～Ｓ１００９ ステップ
Ｐ０～Ｐ３２ 骨格関節
ＦＴＰ 第１型関節
ＳＴＰ 第２型関節
Ｏ 基準関節
Ａ、Ｂ 目標関節
（ｘ０，ｙ０，ｚ０）、（ｘ１，ｙ１，ｚ１）、（ｘ２，ｙ２，ｚ２）、（ｘ，ｙ，ｚ）、Ｐ、Ｐ’ 座標
Ｒ 変換係数
ｒ１１～ｒ１３、ｒ２１～ｒ２３、ｒ３１～ｒ３３ 行列形式における変換係数の要素
Ｃ１、Ｃ２ 目標関節
１０ モバイルデバイス
１１ 撮像装置
１２、２２ 通信トランシーバー
１３、２３ メモリ
１４、２４ プロセッサ
２０ 仮想現実デバイス
２１ センサ
Ｓ２１０～Ｓ２４０、Ｓ４１０～Ｓ４７０、Ｓ５１０～Ｓ５２０、Ｓ６１０～Ｓ６３０、Ｓ１００１～Ｓ１００９ ステップ
Ｐ０～Ｐ３２ 骨格関節
ＦＴＰ 第１型関節
ＳＴＰ 第２型関節
Ｏ 基準関節
Ａ、Ｂ 目標関節
（ｘ０，ｙ０，ｚ０）、（ｘ１，ｙ１，ｚ１）、（ｘ２，ｙ２，ｚ２）、（ｘ，ｙ，ｚ）、Ｐ、Ｐ’ 座標
Ｒ 変換係数
ｒ１１～ｒ１３、ｒ２１～ｒ２３、ｒ３１～ｒ３３ 行列形式における変換係数の要素
Ｃ１、Ｃ２ 目標関節
【要約】 （修正有）
【課題】骨格の追跡精度が向上するアバターの骨格補正方法、仮想現実システムおよびコンピュータ可読媒体を提供する。
【解決手段】この方法において、第１骨格情報を取得する。第１骨格情報の第１型関節を第２型関節に基づいて推定する。第２骨格情報を取得する。第２骨格情報の第１および第２型関節を画像に基づいて決定する。第１骨格情報を第２骨格情報と比較して、比較結果を取得する。比較結果に基づいて、第１骨格情報と第２骨格情報を融合し、第１骨格情報の第１型関節の位置を修正する。
【選択図】図２
【解決手段】この方法において、第１骨格情報を取得する。第１骨格情報の第１型関節を第２型関節に基づいて推定する。第２骨格情報を取得する。第２骨格情報の第１および第２型関節を画像に基づいて決定する。第１骨格情報を第２骨格情報と比較して、比較結果を取得する。比較結果に基づいて、第１骨格情報と第２骨格情報を融合し、第１骨格情報の第１型関節の位置を修正する。
【選択図】図２
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9A】
【図9B】
【図10】
