知財求人 - 知財ポータルサイト「IP Force」
特許7506446着座したユーザの脚部の姿勢を推定する家具型機器、付属機器及びシステム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2024-06-18
(45)【発行日】2024-06-26
(54)【発明の名称】着座したユーザの脚部の姿勢を推定する家具型機器、付属機器及びシステム
(51)【国際特許分類】
G06F 3/01 20060101AFI20240619BHJP
G06T 19/00 20110101ALI20240619BHJP
A47C 7/62 20060101ALI20240619BHJP
A63F 13/24 20140101ALI20240619BHJP
A63F 13/213 20140101ALI20240619BHJP
A63F 13/218 20140101ALI20240619BHJP
【ＦＩ】
G06F3/01 570
G06T19/00 300A
A47C7/62 Z
A63F13/24
A63F13/213
A63F13/218
【請求項の数】
7
(21)【出願番号】P 2024000913
(22)【出願日】2024-01-06
(62)【分割の表示】P 2023122895の分割
【原出願日】2023-07-27
【審査請求日】2024-01-06
【早期審査対象出願】
(73)【特許権者】
【識別番号】521209672
【氏名又は名称】有限会社池谷製作所
(74)【代理人】
【識別番号】100135068
【弁理士】
【氏名又は名称】早原 茂樹
(72)【発明者】
【氏名】池谷 英悟
【審査官】佐藤 光起
(56)【参考文献】
【文献】特開２０２３－０９１２５０（ＪＰ，Ａ）
【文献】特開２０２２－０５８４１８（ＪＰ，Ａ）
【文献】特開２０１５－００９０３２（ＪＰ，Ａ）
【文献】Walk This Way - Move in Games/VR with Your Feet，[online]，2021年06月18日，[2024年2月21日検索], インターネット：＜ＵＲＬ：http://web.archive.org/web/20210618173855/https://forums.leapmotion.com/t/walk-this-way-move-in-games-vr-with-your-feet/2613＞
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｆ ３／０１
Ｇ０６Ｔ １９／００
Ａ４７Ｃ ７／６２
Ａ６３Ｆ １３／２４
Ａ６３Ｆ １３／２１３
Ａ６３Ｆ １３／２１８
(57)【特許請求の範囲】
【請求項1】
ユーザ自ら着座可能な家具型機器であって、家具型機器の座面部以下の位置に配置された１つ以上の下腿センサと、
１つ以上の下腿センサの計測値を説明変数とし、下腿部の姿勢を目的変数とした教師データによって予め訓練された機械学習エンジンを用いて、着座したユーザに対する下腿センサの計測値から下腿部の姿勢を検出し、当該下腿部の姿勢及び所定の股関節の位置から上腿部の姿勢を推定する姿勢推定手段と
を有し、
検出する下腿部の姿勢は、足首の位置、及び、下腿の方向若しくは向きであり、
推定する上腿部の姿勢は、膝の位置、及び／又は、上腿の方向若しくは向きである
ことを特徴とする家具型機器。
【請求項2】
座面部に配置された圧力分布を計測する１つ以上の座面圧力センサを更に有し、姿勢推定手段は、圧力分布に基づいて検出した股関節の位置を用いる
ことを特徴とする請求項１に記載の家具型機器。
【請求項3】
姿勢推定手段は、着座したユーザの当該上腿部の姿勢及び／又は当該下腿部の姿勢の変化に基づき、ユーザが操作する仮想オブジェクトの仮想空間における所定の移動量を出力することを特徴とする請求項１又は２に記載の家具型機器。
【請求項4】
下腿部の姿勢として、足首の位置又は下腿の向きを出力し、及び／又は、上腿部の姿勢として、膝の位置又は上腿の向きを出力する
ことを特徴とする請求項１又は２に記載の家具型機器。
【請求項5】
下腿センサは、着座したユーザの下腿周辺の面状の深度分布を計測値として出力するものであることを特徴とする請求項１又は２に記載の家具型機器。
【請求項6】
ユーザ自ら着座可能な家具に取り付け可能な付属装置であって、家具型機器の座面部以下の位置に配置された１つ以上の下腿センサと、
１つ以上の下腿センサの計測値を説明変数とし、下腿部の姿勢を目的変数とした教師データによって予め訓練された機械学習エンジンを用いて、着座したユーザに対する下腿センサの計測値から下腿部の姿勢を検出し、当該下腿部の姿勢及び所定の股関節の位置から上腿部の姿勢を推定する姿勢推定手段と
を有し、
検出する下腿部の姿勢は、足首の位置、及び、下腿の方向若しくは向きであり、
推定する上腿部の姿勢は、膝の位置、及び／又は、上腿の方向若しくは向きである
ことを特徴とする付属装置。
【請求項7】
ユーザ自ら着座可能な家具型機器と、当該家具型機器と通信する外部装置とを有するシステムであって、家具型機器は、座面部以下の位置に配置された１つ以上の下腿センサを有し、
外部装置は、家具型機器の座面部以下の位置に配置された１つ以上の下腿センサと、
１つ以上の下腿センサの計測値を説明変数とし、下腿部の姿勢を目的変数とした教師データによって予め訓練された機械学習エンジンを用いて、着座したユーザに対する下腿センサの計測値から下腿部の姿勢を検出し、当該下腿部の姿勢及び所定の股関節の位置から上腿部の姿勢を推定し、
検出する下腿部の姿勢は、足首の位置、及び、下腿の方向若しくは向きであり、
推定する上腿部の姿勢は、膝の位置、及び／又は、上腿の方向若しくは向きである
ことを特徴とするシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、仮想空間のユーザインターフェースとなる機器及びシステムの技術に関する。特に、仮想現実(Virtual Reality)空間やゲーム空間における仮想オブジェクト（アバターやキャラクタ）の姿勢を操作する技術に関する。
【背景技術】
【0002】
仮想現実とは、ユーザの視界に３次元の仮想空間を映し出す技術をいう。ユーザは、仮想空間を視認しながら、スティック機器やゲームコントローラを把持して操作することによって、その仮想空間内を移動することができる。特に、ユーザは、ＨＭＤ(Head Mounted Display)端末を頭部に装着することによって、視界からの没入感を得ることができる。このＨＭＤ端末は、ネットワークを介して仮想空間サーバへアクセスするものであってもよいし、自ら仮想空間サーバを搭載するものであってもよい。ＨＭＤ端末は、ユーザの頭部の動きを姿勢センサによって検出し、その計測値に応じて、仮想空間内におけるユーザの視界や位置を制御する。また、ユーザの視界方向を撮影するデプスカメラによって、ユーザ自身の手の動きを検出し、仮想空間にその操作を反映することもできる。
【0003】
尚、仮想空間サーバは、インターネットに配置された仮想空間サーバ(Dedicated Server)であってもよいし、ローカルに配置された仮想空間サーバ(Listen Server)であってもよい。仮想空間を提供するサービスとしては、例えばVRChat（登録商標）やMetaverse（登録商標）、Second Life（登録商標）のようなソーシャルVRプラットフォームであってもよい。
【0004】
従来、現実空間におけるユーザの脚部の姿勢を、仮想現実空間における仮想キャラクタオブジェクトの姿勢に反映する技術もある（例えば非特許文献１を参照）。この技術によれば、少なくともユーザの胴体、左右の膝上、左右の膝下に、ＩＭＵ(Inertial Measurement Unit)のセンサユニットを装着する。そして、ＩＭＵの計測値を用いて推定したユーザの胴体と脚部の姿勢情報を、仮想現実アプリケーションを実行している端末へ送信する。これによって、現実空間におけるユーザの姿勢を、仮想現実アプリケーションにおけるユーザの仮想オブジェクトの姿勢に反映することができる。
【0005】
また、ユーザの姿勢をＲＧＢカメラや深度センサを用いて検出し、ゲームを操作する技術もある（例えば非特許文献２を参照）。この技術によれば、ＲＧＢカメラ、深度センサ、マルチアレイマイクロフォン、及び、専用ソフトウェアを動作させるプロセッサを用いて、プレイヤーの位置、動き、声、顔を認識することができる。これにより、ユーザは自身の身体を使って、直観的にビデオゲームをプレイすることができる。
また、この技術は、主にプレイヤーの動きを読み取って合成するモーションキャプチャも用いている。但し、一般的なモーションキャプチャとは異なり、通常のモーションキャプチャ時に着用する特殊なマーカー付きスーツと、マーカー検出時に使用するトラッカーを必要としない。カメラに被写体を映すことによってプレイヤーからキネクトまでの距離を計測し、プレイヤーの骨格の動きを検出して、ゲーム内のキャラクタの動きにリアルタイムに反映する。
また、この技術は、主にプレイヤーの動きを読み取って合成するモーションキャプチャも用いている。但し、一般的なモーションキャプチャとは異なり、通常のモーションキャプチャ時に着用する特殊なマーカー付きスーツと、マーカー検出時に使用するトラッカーを必要としない。カメラに被写体を映すことによってプレイヤーからキネクトまでの距離を計測し、プレイヤーの骨格の動きを検出して、ゲーム内のキャラクタの動きにリアルタイムに反映する。
【0006】
尚、現実空間におけるユーザの姿勢を検出する椅子型機器もある（例えば特許文献１を参照）。この技術によれば、ユーザの胴体、左腕、右腕、左脚及び右脚それぞれの動きに応じた信号を発生させるコントローラチェアに基づくものであって、以下の部位を備える。
・基台に支持された座部
・座部の後縁側から上方又は斜め上方に延び、その幅方向中心線に沿って延びる軸線を中心として回動可能に基台に支持された背もたれ部
・背もたれ部の左側部から前方に突出し、その基端部を中心として上下に回動可能に背もたれ部に支持された左腕保持部
・背もたれ部の右側部から前方に突出し、その基端部を中心として上下に回動可能に背もたれ部に支持された右腕保持部
・基台の前側において座部の前縁の左側部付近から下方に延び、その上端部を中心として上下に回動可能に基台に支持された左脚保持部
・基台の前側において座部の前縁の右側部付近から下方に延び、その上端部を中心として上下に回動可能に基台に支持された右脚保持部
・背もたれ部、左腕保持部、右腕保持部、左脚保持部及び右脚保持部それぞれの回転角を検出する第１回転角検出部、第２回転角検出部、第３回転角検出部、第４回転角検出部及び第５回転角検出部
この椅子型機器は、仮想現実アプリケーションを実行する端末へ、これらの回転角信号を送信することによって、仮想キャラクタの姿勢を変化させることができる。
・基台に支持された座部
・座部の後縁側から上方又は斜め上方に延び、その幅方向中心線に沿って延びる軸線を中心として回動可能に基台に支持された背もたれ部
・背もたれ部の左側部から前方に突出し、その基端部を中心として上下に回動可能に背もたれ部に支持された左腕保持部
・背もたれ部の右側部から前方に突出し、その基端部を中心として上下に回動可能に背もたれ部に支持された右腕保持部
・基台の前側において座部の前縁の左側部付近から下方に延び、その上端部を中心として上下に回動可能に基台に支持された左脚保持部
・基台の前側において座部の前縁の右側部付近から下方に延び、その上端部を中心として上下に回動可能に基台に支持された右脚保持部
・背もたれ部、左腕保持部、右腕保持部、左脚保持部及び右脚保持部それぞれの回転角を検出する第１回転角検出部、第２回転角検出部、第３回転角検出部、第４回転角検出部及び第５回転角検出部
この椅子型機器は、仮想現実アプリケーションを実行する端末へ、これらの回転角信号を送信することによって、仮想キャラクタの姿勢を変化させることができる。
【先行技術文献】
【特許文献】
【0007】
【文献】特許７１８９８１１号公報
【文献】特許６８８６１４１号公報
【文献】特許６７７８２０５号公報
【非特許文献】
【0008】
【文献】Shiftall、[online]、[令和5年7月12日検索]、インターネット<URL: https://ja.shiftall.net/products/haritorax>
【文献】Wikipedia「Kinect」、[online]、[令和5年7月12日検索]、インターネット<URL: https://en.wikipedia.org/wiki/Kinect>
【文献】Wikipedia「Eular angles」、[online]、[令和5年7月12日検索]、インターネット<URL: https://en.wikipedia.org/wiki/Euler_angles>
【文献】Wikipedia「Quaternion」、[online]、[令和5年7月12日検索]、インターネット<URL: https://en.wikipedia.org/wiki/Quaternion>
【文献】Wikipedia「Axis-angle representation」、[online]、[令和5年7月12日検索]、インターネット<URL: https://en.wikipedia.org/wiki/Axis-angle_representation >
【発明の概要】
【発明が解決しようとする課題】
【0009】
前述した特許文献１及び非特許文献１、２のような技術によれば、現実空間におけるユーザ自らの姿勢を、仮想オブジェクトの姿勢やゲームの操作に反映することができる。
【0010】
しかしながら、非特許文献１によれば、ユーザの脚部の姿勢を検出するためには、ユーザ自身の身体の部位に姿勢検出装置を予め装着する必要がある、という問題がある。勿論、センサユニットを取り付けていない身体部位の姿勢を検出することはできない。
また、非特許文献２によれば、ＲＧＢカメラや深度センサを用いたユーザの全身観測によるプライバシー侵害の恐れがある、という問題もある。
更に、特許文献３によれば、姿勢検出装置は、１自由度の回転角の検出に限られ、多自由度の姿勢を検出することができず、保持部によってユーザの動作範囲が制限される、という問題もある。
また、非特許文献２によれば、ＲＧＢカメラや深度センサを用いたユーザの全身観測によるプライバシー侵害の恐れがある、という問題もある。
更に、特許文献３によれば、姿勢検出装置は、１自由度の回転角の検出に限られ、多自由度の姿勢を検出することができず、保持部によってユーザの動作範囲が制限される、という問題もある。
【0011】
そこで、本発明は、着座したユーザの脚部（上腿及び下腿）の姿勢を推定することができる家具型機器、付属機器及びシステムを提供することを目的とする。特に、本発明によれば、ユーザ自身にセンサを装着する必要もなく、ユーザの全身観測によるプライバシー侵害の可能性も低く、保持部によってユーザの動作範囲が制限されることもない。
【課題を解決するための手段】
【0012】
本発明によれば、ユーザ自ら着座可能な家具型機器であって、
家具型機器の座面部以下の位置に配置された１つ以上の下腿センサと、
１つ以上の下腿センサの計測値を説明変数とし、下腿部の姿勢を目的変数とした教師データによって予め訓練された機械学習エンジンを用いて、着座したユーザに対する下腿センサの計測値から下腿部の姿勢を検出し、当該下腿部の姿勢及び所定の股関節の位置から上腿部の姿勢を推定する姿勢推定手段と
を有し、
検出する下腿部の姿勢は、足首の位置、及び、下腿の方向若しくは向きであり、
推定する上腿部の姿勢は、膝の位置、及び／又は、上腿の方向若しくは向きである
ことを特徴とする。
家具型機器の座面部以下の位置に配置された１つ以上の下腿センサと、
１つ以上の下腿センサの計測値を説明変数とし、下腿部の姿勢を目的変数とした教師データによって予め訓練された機械学習エンジンを用いて、着座したユーザに対する下腿センサの計測値から下腿部の姿勢を検出し、当該下腿部の姿勢及び所定の股関節の位置から上腿部の姿勢を推定する姿勢推定手段と
を有し、
検出する下腿部の姿勢は、足首の位置、及び、下腿の方向若しくは向きであり、
推定する上腿部の姿勢は、膝の位置、及び／又は、上腿の方向若しくは向きである
ことを特徴とする。
【0013】
本発明の家具型機器における他の実施形態によれば、
座面部に配置された圧力分布を計測する１つ以上の座面圧力センサを更に有し、
姿勢推定手段は、圧力分布に基づいて検出した股関節の位置を用いる
ことも好ましい。
座面部に配置された圧力分布を計測する１つ以上の座面圧力センサを更に有し、
姿勢推定手段は、圧力分布に基づいて検出した股関節の位置を用いる
ことも好ましい。
【0014】
本発明の家具型機器における他の実施形態によれば、
姿勢推定手段は、着座したユーザの当該上腿部の姿勢及び／又は当該下腿部の姿勢の変化に基づき、ユーザが操作する仮想オブジェクトの仮想空間における所定の移動量を出力する
ことも好ましい。
姿勢推定手段は、着座したユーザの当該上腿部の姿勢及び／又は当該下腿部の姿勢の変化に基づき、ユーザが操作する仮想オブジェクトの仮想空間における所定の移動量を出力する
ことも好ましい。
【0016】
本発明の家具型機器における他の実施形態によれば、
下腿部の姿勢として、足首の位置又は下腿の向きを出力し、及び／又は、
上腿部の姿勢として、膝の位置又は上腿の向きを出力する
ことも好ましい。
下腿部の姿勢として、足首の位置又は下腿の向きを出力し、及び／又は、
上腿部の姿勢として、膝の位置又は上腿の向きを出力する
ことも好ましい。
【0017】
本発明の家具型機器における他の実施形態によれば、
下腿センサは、着座したユーザの下腿周辺の面状の深度分布を計測値として出力するものである
ことも好ましい。
下腿センサは、着座したユーザの下腿周辺の面状の深度分布を計測値として出力するものである
ことも好ましい。
【0018】
本発明によれば、ユーザ自ら着座可能な家具に取り付け可能な付属装置であって、
家具型機器の座面部以下の位置に配置された１つ以上の下腿センサと、
１つ以上の下腿センサの計測値を説明変数とし、下腿部の姿勢を目的変数とした教師データによって予め訓練された機械学習エンジンを用いて、着座したユーザに対する下腿センサの計測値から下腿部の姿勢を検出し、当該下腿部の姿勢及び所定の股関節の位置から上腿部の姿勢を推定する姿勢推定手段と
を有し、
検出する下腿部の姿勢は、足首の位置、及び、下腿の方向若しくは向きであり、
推定する上腿部の姿勢は、膝の位置、及び／又は、上腿の方向若しくは向きである
ことを特徴とする。
家具型機器の座面部以下の位置に配置された１つ以上の下腿センサと、
１つ以上の下腿センサの計測値を説明変数とし、下腿部の姿勢を目的変数とした教師データによって予め訓練された機械学習エンジンを用いて、着座したユーザに対する下腿センサの計測値から下腿部の姿勢を検出し、当該下腿部の姿勢及び所定の股関節の位置から上腿部の姿勢を推定する姿勢推定手段と
を有し、
検出する下腿部の姿勢は、足首の位置、及び、下腿の方向若しくは向きであり、
推定する上腿部の姿勢は、膝の位置、及び／又は、上腿の方向若しくは向きである
ことを特徴とする。
【0019】
本発明によれば、ユーザ自ら着座可能な家具型機器と、当該家具型機器と通信する外部装置とを有するシステムであって、
家具型機器は、座面部以下の位置に配置された１つ以上の下腿センサを有し、
外部装置は、家具型機器の座面部以下の位置に配置された１つ以上の下腿センサと、
１つ以上の下腿センサの計測値を説明変数とし、下腿部の姿勢を目的変数とした教師データによって予め訓練された機械学習エンジンを用いて、着座したユーザに対する下腿センサの計測値から下腿部の姿勢を検出し、当該下腿部の姿勢及び所定の股関節の位置から上腿部の姿勢を推定し、
検出する下腿部の姿勢は、足首の位置、及び、下腿の方向若しくは向きであり、
推定する上腿部の姿勢は、膝の位置、及び／又は、上腿の方向若しくは向きである
ことを特徴とする。
家具型機器は、座面部以下の位置に配置された１つ以上の下腿センサを有し、
外部装置は、家具型機器の座面部以下の位置に配置された１つ以上の下腿センサと、
１つ以上の下腿センサの計測値を説明変数とし、下腿部の姿勢を目的変数とした教師データによって予め訓練された機械学習エンジンを用いて、着座したユーザに対する下腿センサの計測値から下腿部の姿勢を検出し、当該下腿部の姿勢及び所定の股関節の位置から上腿部の姿勢を推定し、
検出する下腿部の姿勢は、足首の位置、及び、下腿の方向若しくは向きであり、
推定する上腿部の姿勢は、膝の位置、及び／又は、上腿の方向若しくは向きである
ことを特徴とする。
【発明の効果】
【0020】
本発明の家具型機器、付属機器及びシステムによれば、着座したユーザの脚部（上腿及び下腿）の姿勢を推定することができる。特に、本発明によれば、ユーザ自身にセンサを装着する必要もなく、ユーザの全身観測によるプライバシー侵害の可能性も低く、保持部によってユーザの動作範囲が制限されることもない。
【図面の簡単な説明】
【0021】
【図1】本発明における第１の実施形態の椅子状の家具型機器である。
【図2】本発明における第２の実施形態の椅子状の家具型機器である。
【図3】家具型機器に着座するユーザの右脚における各ベクトルを表す説明図である。
【図4】家具型機器を側面から見て、足首の位置ベクトルj及び下腿部の方向ベクトルlの検出を表す説明図である。
【図5】本発明によって推定されるベクトルの説明図である。
【図6】着座姿勢から立位姿勢への変換について、補正の有無を表す説明図である。
【図7】他の実施形態となるクッション状又はマット状の家具型機器である。
【図8】着座可能な家具に取り付け可能な付属装置である。
【図9】本発明におけるシステムの構成図である。
【発明を実施するための形態】
【0022】
以下では、図面を用いて、本発明を実施するための形態について詳細に説明する。
【0023】
【0024】
図１及び図２によれば、ユーザ自ら着座可能な椅子状の家具型機器１が表されている。
本発明における家具型機器１は、１つ以上の下腿センサ１１と、姿勢推定部１２とを有する。ここで、姿勢推定部１２は、装置に搭載されたコンピュータを機能させるプログラムによって実現される。尚、姿勢推定部１２は、家具型機器１に一体的に内蔵されたものであってもよいし、家具型機器１と通信する外部装置によって機能するものであってもよい。
本発明における家具型機器１は、１つ以上の下腿センサ１１と、姿勢推定部１２とを有する。ここで、姿勢推定部１２は、装置に搭載されたコンピュータを機能させるプログラムによって実現される。尚、姿勢推定部１２は、家具型機器１に一体的に内蔵されたものであってもよいし、家具型機器１と通信する外部装置によって機能するものであってもよい。
【0025】
［下腿センサ１１］
下腿センサ１１は、第１の家具型機器の座面部以下の位置に配置され、着座したユーザの下腿周辺の面状の深度分布を計測する。
下腿センサ１１は、第１の家具型機器の座面部以下の位置に配置され、着座したユーザの下腿周辺の面状の深度分布を計測する。
【0026】
図１の第１の実施形態によれば、家具型機器１の座面部から床面へ向かう中継軸に、１台の下腿センサ１１が設置され、着座したユーザの下腿部周辺に向けられている。下腿センサ１１のデバイスとしては、例えばLiDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)やデプスカメラであってもよい。これにより、着座したユーザの下腿周辺の面状の深度分布を計測することができる。例えばステレオカメラやIR（赤外線）カメラなどであっても、１台で面状の深度分布を計測できる。
【0027】
図２の第２の実施形態によれば、家具型機器１の座面部以下にある前幕面に、着座したユーザの下腿部周辺に向けて、30個の測距センサが5行×6列に配置されている。
測距センサは、光や超音波、静電容量の変化等を利用して単一の距離を計測するものである。例えば2行以上×2列以上の配列で配置することによって、面状の深度分布を計測することができる。
測距センサは、光や超音波、静電容量の変化等を利用して単一の距離を計測するものである。例えば2行以上×2列以上の配列で配置することによって、面状の深度分布を計測することができる。
【0028】
本発明によれば、１つ以上の下腿センサ１１を用いて、面状の深度分布を計測できればよい。ここで、面状の深度分布とは、複数の深度値が２次元状に配列されたもの、又は、それらの深度値に基づいて３次元点群として構成されたものである。深度値が線状（即ち１次元状に並んだ）の深度分布は、本願発明の下腿センサには含まれないものとする。
【0029】
［姿勢推定部１２］
姿勢推定部１２は、下腿センサ１１の計測した深度分布に基づき、着座したユーザの左右の脚それぞれの上腿部及び下腿部の姿勢を推定して出力する。
姿勢推定部１２は、下腿センサ１１の計測した深度分布に基づき、着座したユーザの左右の脚それぞれの上腿部及び下腿部の姿勢を推定して出力する。
【0030】
図３は、家具型機器に着座するユーザの右脚における各ベクトルを表す説明図である。
【0031】
図３によれば、姿勢推定部１２は、予め設定された座標系について、以下の５つのベクトルが表されている。
・足首の位置ベクトルj ：下腿部の姿勢
・下腿の方向ベクトルl ：下腿部の姿勢（膝から足首へ向かう）
・膝の位置ベクトルk ：上腿部の姿勢
・上腿の方向ベクトルu ：上腿部の姿勢（股関節から膝へ向かう）
・股関節の位置ベクトルh
本願発明における足首とは、くるぶし又は踵の周辺を意味する。
・足首の位置ベクトルj ：下腿部の姿勢
・下腿の方向ベクトルl ：下腿部の姿勢（膝から足首へ向かう）
・膝の位置ベクトルk ：上腿部の姿勢
・上腿の方向ベクトルu ：上腿部の姿勢（股関節から膝へ向かう）
・股関節の位置ベクトルh
本願発明における足首とは、くるぶし又は踵の周辺を意味する。
【0032】
ここで、位置は、３次元の実数ベクトルを意味する。
また、これらベクトルは、所定の座標系に変換して出力するものであってもよい。座標系は、家具型機器１の製造時に設定される１つ以上の任意の座標系でもよいし、着座したユーザの姿勢に応じて動的に設定される座標系であってもよい。また、出力する値に倍率や回転をかけたり、オフセットを加えたり、値の範囲を制限するなどの補正を加えてもよい。
また、これらベクトルは、所定の座標系に変換して出力するものであってもよい。座標系は、家具型機器１の製造時に設定される１つ以上の任意の座標系でもよいし、着座したユーザの姿勢に応じて動的に設定される座標系であってもよい。また、出力する値に倍率や回転をかけたり、オフセットを加えたり、値の範囲を制限するなどの補正を加えてもよい。
【0033】
図４は、家具型機器を側面から見て、足首の位置ベクトルj及び下腿部の方向ベクトルlの検出を表す説明図である。
【0034】
姿勢推定部１２は、姿勢として、深度分布に基づいて、ユーザの足首の位置ベクトルi及び下腿の方向ベクトルlを検出する。
図４によれば、家具型機器１の座面部以下にある前幕面を側面から見て、５本の深度が計測されている。ここで、上方２つの深度と下方３つの深度との間の深度差が大きくなっている。これは、上方２つの深度がユーザの下腿までの距離を表すと理解できる。
「足首の位置ベクトルj」は、上方２つの深度の最下方の深度の位置とみなすことができる。また、「下腿の方向ベクトルl」は、上方２つの深度の位置の差から算出できる。
このように、足首の位置ベクトルi及び下腿の方向ベクトルlは、下腿センサ１１によって検出された深度分布に基づき、隣り合う深度値の差分をとるか、又は、閾値や勾配に基づき特徴点を抽出することによって、解析的に検出することができる。
図４によれば、家具型機器１の座面部以下にある前幕面を側面から見て、５本の深度が計測されている。ここで、上方２つの深度と下方３つの深度との間の深度差が大きくなっている。これは、上方２つの深度がユーザの下腿までの距離を表すと理解できる。
「足首の位置ベクトルj」は、上方２つの深度の最下方の深度の位置とみなすことができる。また、「下腿の方向ベクトルl」は、上方２つの深度の位置の差から算出できる。
このように、足首の位置ベクトルi及び下腿の方向ベクトルlは、下腿センサ１１によって検出された深度分布に基づき、隣り合う深度値の差分をとるか、又は、閾値や勾配に基づき特徴点を抽出することによって、解析的に検出することができる。
【0035】
図４によれば、簡単のため片脚の場合を２次元的に示したが、勿論、両脚３次元でも同様に拡張できる。例えばLiDARやデプスカメラ等により高解像度の深度分布が得られる場合、高い精度で推定することができる。
【0036】
［機械学習エンジンを用いた足首の位置ベクトルi及び下腿の方向ベクトルlの検出］
機械学習エンジンを用いて、下腿センサ１１によって検出された深度分布から、足首の位置ベクトルi及び下腿の方向ベクトルlを推定するものであってもよい。この場合、教師データとしては、複数の深度分布を説明変数とし、足首の位置ベクトルi及び下腿の方向ベクトルlを目的変数とする。機械学習エンジンは、この教師データによって予め訓練して、学習モデルを構築しておく。勿論、セグメンテーション、クラスタリング等の手法を用いてもよいし、ニューラルネットワーク等を用いてもよい。
機械学習エンジンを用いて、下腿センサ１１によって検出された深度分布から、足首の位置ベクトルi及び下腿の方向ベクトルlを推定するものであってもよい。この場合、教師データとしては、複数の深度分布を説明変数とし、足首の位置ベクトルi及び下腿の方向ベクトルlを目的変数とする。機械学習エンジンは、この教師データによって予め訓練して、学習モデルを構築しておく。勿論、セグメンテーション、クラスタリング等の手法を用いてもよいし、ニューラルネットワーク等を用いてもよい。
【0037】
図５は、本発明によって推定されるベクトルの説明図である。
【0038】
図５（ａ）によれば、姿勢推定部１２は、姿勢として、ユーザの足首の位置ベクトルi及び下腿の方向ベクトルlから、所定のパラメータtを用いて、膝の位置ベクトルkを推定する。具体的には、以下の式で表される。
k＝－tl＋j (t＞0)
k＝－tl＋j (t＞0)
【0039】
図５（ｂ）によれば、姿勢推定部１２は、姿勢として、ユーザの足首の位置ベクトルi及び下腿の方向ベクトルlと、予め設定した又はセンサで検知した股関節の位置ベクトルhとから、所定のパラメータtを用いて、上腿の長さx及び下腿の長さyを推定する。
ユーザの上腿の長さxと、下腿部の長さyとは、以下の式で表される。
x＝||k－h||＝||－tl＋j－h||
y＝||j－k||＝||tl||
ユーザの上腿の長さxと、下腿部の長さyとは、以下の式で表される。
x＝||k－h||＝||－tl＋j－h||
y＝||j－k||＝||tl||
【0040】
ここで、股関節の位置ベクトルhは、上腿の回転中心として、着座したユーザの腰の位置と向きに基づいて決定される。これは、家具型機器の設計時に予め設定しておいてもよい。また、家具型機器１の座面部に配置された圧力分布を計測するための１つ以上の座面圧力センサを更に有するものであってもよい（例えば特許文献２を参照）。姿勢推定部１２は、座面圧力センサによって計測された圧力分布に基づき、股関節の位置ベクトルhを推定することができる。即ち、着座したユーザの腰部の位置と向きを推定することができる。例えば組込み用圧力分布センサシートの場合、約0.1mm厚のフィルム状センサシートであり、リアルタイムに加圧力を検出することができる。
【0041】
ここで、姿勢推定部１２は、上腿の長さx及び下腿の長さyとの比αに基づいて、所定のパラメータtを決定する。
比αは、人体寸法の統計情報に基づいて予め設定されるものであってもよい。また、近似してα＝1としてもよいし、ユーザによって変更可能としてもよい。これにより、以下の式で表される。
x＝αy （α＞0）
||－tl＋j－h||2＝α2||tl||2
この式は、tに関して、α=1の時は１次式、α≠1の時は２次式なので、解析的に以下の解を導くことができる。
比αは、人体寸法の統計情報に基づいて予め設定されるものであってもよい。また、近似してα＝1としてもよいし、ユーザによって変更可能としてもよい。これにより、以下の式で表される。
x＝αy （α＞0）
||－tl＋j－h||2＝α2||tl||2
この式は、tに関して、α=1の時は１次式、α≠1の時は２次式なので、解析的に以下の解を導くことができる。
【数1】
【0042】
図５（ｃ）によれば、姿勢推定部１２は、姿勢として、ユーザの足首の位置ベクトルi及び下腿の方向ベクトルlと、予め設定した又はセンサで検知した股関節の位置ベクトルhとから、所定のパラメータtを用いて、上腿の方向ベクトルuを推定する。これにより、以下の式で表される。
u＝k－h＝－tl＋j－h
u＝k－h＝－tl＋j－h
【0043】
上腿の方向ベクトルu及び下腿の方向ベクトルlにおける向きは、所定の座標系を基準として算出する。ここで、向きとは、オイラー角、四元数、Axis-angle表現などの回転を表す情報を意味する（例えば非特許文献３、非特許文献４、非特許文献５を参照）。
【0044】
図５（ａ）～（ｃ）のように、本発明によれば、家具型機器１に配置される下腿センサ１１によって、ユーザの下腿の一部のみを観測するだけで、膝の位置や上腿の姿勢も検出することができる。
【0045】
＜ローカル座標系について＞
身体部位の向きは、基準とする座標系と、その身体部位のローカル座標系とを設定することによって算出することができる（例えば非特許文献３を参照）。
例えば、上腿のローカル座標系は、基準とする座標系を、座面又は腰部を基準に設定する。
ｘ軸：上腿の方向ベクトルu
ｙ軸：上腿の方向ベクトルuと直交し、上腿の方向ベクトルuと下腿の方向ベクトルlとで定まる平面と平行なベクトル
ｚ軸：ｘ軸及びｙ軸に直交するベクトル
また、下腿のローカル座標系は、先に定まった上腿のローカル座標系を基準座標系として設定する。
ｘ軸：下腿の方向ベクトルl
ｙ軸：下腿の方向ベクトルlと直交し、上腿の方向ベクトルuと下腿の方向ベクトルlとで定まる平面と平行なベクトル
ｚ軸：ｘ軸及びｙ軸に直交するベクトル
但し、身体部位のローカル座標系の設定はシステムによって異なるので、身体部位の向きの算出方法はこの限りではない。
身体部位の向きは、基準とする座標系と、その身体部位のローカル座標系とを設定することによって算出することができる（例えば非特許文献３を参照）。
例えば、上腿のローカル座標系は、基準とする座標系を、座面又は腰部を基準に設定する。
ｘ軸：上腿の方向ベクトルu
ｙ軸：上腿の方向ベクトルuと直交し、上腿の方向ベクトルuと下腿の方向ベクトルlとで定まる平面と平行なベクトル
ｚ軸：ｘ軸及びｙ軸に直交するベクトル
また、下腿のローカル座標系は、先に定まった上腿のローカル座標系を基準座標系として設定する。
ｘ軸：下腿の方向ベクトルl
ｙ軸：下腿の方向ベクトルlと直交し、上腿の方向ベクトルuと下腿の方向ベクトルlとで定まる平面と平行なベクトル
ｚ軸：ｘ軸及びｙ軸に直交するベクトル
但し、身体部位のローカル座標系の設定はシステムによって異なるので、身体部位の向きの算出方法はこの限りではない。
【0046】
上腿又は下腿の向きをオイラー角として出力する際は、値の単位を、角度やラジアン等に変換して出力するものであってもよい。また、関節の自由度を考慮して、オイラー角の一部だけを出力するものであってもよい。例えば、膝関節の回転軸は１自由度なので、上腿のローカル座標系を基準座標系とした下腿の向きを出力する場合は、オイラー角のうちピッチ角だけを出力するものであってもよい。また、出力する向きの値に倍率や回転をかけたり、オフセットを加えたり、値の範囲を制限するなどの補正を加えてもよい。例えば、上腿のローカル座標系を基準座標系とした下腿の向きのピッチ角を補正することで、膝関節の屈曲角として出力することもできる。
【0047】
家具型機器が出力する姿勢として、例えば以下ものが考えられる。
・上腿部の姿勢：上腿回転中心（股関節）の位置、膝の位置、上腿の向き、膝の向き
・下腿部の姿勢：下腿回転中心（膝）の位置、足首の位置、下腿の向き、足首の向き
尚、これらの姿勢情報には冗長性がある。即ち、ユーザの上腿回転中心の位置、膝の位置及び足首の位置から、膝、足首、上腿、下腿それぞれの向きを算出することができる。また、上腿と下腿の長さが予め設定されている場合は、上腿の向き及び下腿の向きから膝、足首それぞれの位置及び向きを算出することもできる。これによって、家具型機器は、上記の姿勢の全てを出力する必要はなく、一部だけを出力するものであってもよい。
・上腿部の姿勢：上腿回転中心（股関節）の位置、膝の位置、上腿の向き、膝の向き
・下腿部の姿勢：下腿回転中心（膝）の位置、足首の位置、下腿の向き、足首の向き
尚、これらの姿勢情報には冗長性がある。即ち、ユーザの上腿回転中心の位置、膝の位置及び足首の位置から、膝、足首、上腿、下腿それぞれの向きを算出することができる。また、上腿と下腿の長さが予め設定されている場合は、上腿の向き及び下腿の向きから膝、足首それぞれの位置及び向きを算出することもできる。これによって、家具型機器は、上記の姿勢の全てを出力する必要はなく、一部だけを出力するものであってもよい。
【0048】
更に、他の実施形態として、姿勢推定部１２は、上腿の長さx及び下腿の長さyから、人体寸法の統計情報を用いて、ユーザの身長及び／又は目線の高さを推定する。ユーザの身長及び／又は目線の高さと、上腿の長さx及び下腿の長さyとの相関関係を、予め対応付けたテーブルを有するものであってもよい。
【0049】
図６は、着座姿勢から立位姿勢への変換について、補正の有無を表す説明図である。
【0050】
姿勢推定部１２は、着座したユーザの姿勢を、立位姿勢に補正して出力する。
図６（ａ）は、ユーザが椅子状の家具型機器に着座している様子であって、右脚と左脚とで姿勢が異なっている。
図６（ｂ１）（ｂ２）は、家具型機器１が出力する膝部の位置と足首部の位置とに基づき、立位姿勢の仮想オブジェクトの姿勢に反映させた様子である。
但し、図６（ｂ１）では、ユーザの着座姿勢から立位姿勢への補正処理を行っていないため、仮想オブジェクトの右膝が不自然な方向に曲がっている。
それに対し、図６（ｂ２）では、関節の可動域を考慮して立位姿勢への補正処理を行っており、仮想オブジェクトの立位姿勢がより自然になっている。
図６（ａ）は、ユーザが椅子状の家具型機器に着座している様子であって、右脚と左脚とで姿勢が異なっている。
図６（ｂ１）（ｂ２）は、家具型機器１が出力する膝部の位置と足首部の位置とに基づき、立位姿勢の仮想オブジェクトの姿勢に反映させた様子である。
但し、図６（ｂ１）では、ユーザの着座姿勢から立位姿勢への補正処理を行っていないため、仮想オブジェクトの右膝が不自然な方向に曲がっている。
それに対し、図６（ｂ２）では、関節の可動域を考慮して立位姿勢への補正処理を行っており、仮想オブジェクトの立位姿勢がより自然になっている。
【0051】
図６（ｂ２）の補正処理について、姿勢推定部１２は、姿勢として、下腿の方向ベクトルlと上腿の方向ベクトルuとから、膝関節の屈曲角θを推定することができる。このとき、膝の屈折各θの可動域を設定すべく補正処理を行う。補正された膝関節の屈曲角θを、仮想空間アプリケーションへ送信することによって、仮想オブジェクトの動きに反映することができる。
【0052】
前述した図１のような移動可能な椅子型の家具型機器の場合、ＩＭＵやロータリーエンコーダ、ＶＲ用のトラッキングシステム（例えば特許文献３を参照）等を設置することによって、座面自体の姿勢（位置と向き）を検出することができる。この情報を用いて、ユーザの身体部位の位置や向きを補正して出力してもよい。例えば、膝と足首の位置を出力する際は、膝の位置ベクトルkと足首の位置ベクトルjに、座面自体の向きに応じた回転をかけたうえで、座面自体の位置をオフセットとして加えて出力することもできる。このような補正により、ユーザの姿勢を、家具型機器を基準とした相対座標から、家具型機器が存在する空間を基準とした絶対座標に変換して出力できる。
【0053】
＜移動量の出力＞
姿勢推定部１２は、着座したユーザの姿勢の変化に基づき、ユーザが操作する仮想オブジェクトの仮想空間における移動量を出力するものであってもよい。例えば、以下のように出力することができる。
・ユーザが着座したまま足踏みをすると、前進の移動量を出力する。
・ユーザが脚を横に移動させると、仮想空間における左右への平行移動量又は回転移動量を出力する。
・ユーザの膝の屈曲角に基づき、真偽値の仮想しゃがみ値を移動量として出力する。
・閾値時間内に膝を曲げ伸ばしすることで、仮想ジャンプ量を出力する。
これらは従来、コントローラのボタン押下によって、仮想現実アプリケーションにおけるしゃがみ姿勢やジャンプ操作が実行されていた。これに対して、本発明によれば、ユーザ自身で脚を動かすだけで、直観的に、しゃがみ姿勢やジャンプ操作を実行することができる。
姿勢推定部１２は、着座したユーザの姿勢の変化に基づき、ユーザが操作する仮想オブジェクトの仮想空間における移動量を出力するものであってもよい。例えば、以下のように出力することができる。
・ユーザが着座したまま足踏みをすると、前進の移動量を出力する。
・ユーザが脚を横に移動させると、仮想空間における左右への平行移動量又は回転移動量を出力する。
・ユーザの膝の屈曲角に基づき、真偽値の仮想しゃがみ値を移動量として出力する。
・閾値時間内に膝を曲げ伸ばしすることで、仮想ジャンプ量を出力する。
これらは従来、コントローラのボタン押下によって、仮想現実アプリケーションにおけるしゃがみ姿勢やジャンプ操作が実行されていた。これに対して、本発明によれば、ユーザ自身で脚を動かすだけで、直観的に、しゃがみ姿勢やジャンプ操作を実行することができる。
【0054】
図７は、他の実施形態となるクッション状又はマット状の家具型機器である。
【0055】
図７（ａ）は、椅子の座面に載上可能なクッション状の家具型機器である。これは、座面の厚み部分に複数の下腿センサ１１が配置されている。
図７（ｂ）は、椅子全体を覆ってユーザの身体に近接するマット状の家具型機器である。これは、ユーザの下腿部分の前幕面に複数の下腿センサ１１が配置されている。
勿論、図７の実施形態に限られず、車いす状の家具型機器であってもよい。
図７（ｂ）は、椅子全体を覆ってユーザの身体に近接するマット状の家具型機器である。これは、ユーザの下腿部分の前幕面に複数の下腿センサ１１が配置されている。
勿論、図７の実施形態に限られず、車いす状の家具型機器であってもよい。
【0056】
図８は、着座可能な家具に取り付け可能な付属装置である。
【0057】
図８によれば、ユーザ自ら着座可能な家具として、パイプ椅子が表されている。そのパイプ椅子に、本発明の付属装置１が取り付けられている。付属装置１は、前述した家具型機器１と同様に、下腿センサ１１と、姿勢推定部１２とを有する。
【0058】
図９は、本発明におけるシステムの構成図である。
【0059】
図９のシステムによれば、ユーザ自ら着座可能な家具型機器１と、当該家具型機器１と通信する外部装置２とを有する。ここで、外部装置２は、ＨＭＤ端末２１であってもよいし、仮想空間サーバ２２であってもよい。
この場合、家具型機器１は、座面部以下の位置に配置され、着座したユーザの下腿周辺の面状の深度分布を端末へ送信する１つ以上の下腿センサ１１を有する。
また、外部装置２は、下腿センサ１１の計測した深度分布に基づき、着座したユーザの左右の脚それぞれの上腿部及び下腿部の姿勢を推定する姿勢推定部１２を有する。外部装置２は、ユーザ自らアバターとして移動する仮想空間を視認させるものである。特に、ＨＭＤ端末３を頭部に装着している場合、ユーザは、仮想空間への没入感を体験している。
この場合、家具型機器１は、座面部以下の位置に配置され、着座したユーザの下腿周辺の面状の深度分布を端末へ送信する１つ以上の下腿センサ１１を有する。
また、外部装置２は、下腿センサ１１の計測した深度分布に基づき、着座したユーザの左右の脚それぞれの上腿部及び下腿部の姿勢を推定する姿勢推定部１２を有する。外部装置２は、ユーザ自らアバターとして移動する仮想空間を視認させるものである。特に、ＨＭＤ端末３を頭部に装着している場合、ユーザは、仮想空間への没入感を体験している。
【0060】
家具型機器１とＨＭＤ端末２１とを有するシステムの場合、例えばユーザの歩行訓練のリハビリに利用することもできる。ＨＭＤ端末２１のディスプレイには、仮想空間としてユーザ自ら歩行している前方の映像を映し出す。これによって、現実空間では椅子に着座していても、家具型機器１が移動量を出力することによって、仮想空間では歩行状態を認識することができ、脳の歩行神経のリハビリとすることもできる。
また、家具型機器１によって検出された下半身の姿勢と、ＨＭＤ端末２１のハンドトラッキング機能とを組み合わせることによって、ユーザの全身姿勢を仮想オブジェクトに反映させることもできる。
また、家具型機器１によって検出された下半身の姿勢と、ＨＭＤ端末２１のハンドトラッキング機能とを組み合わせることによって、ユーザの全身姿勢を仮想オブジェクトに反映させることもできる。
【0061】
以上、詳細に説明したように、本発明の家具型機器、付属機器及びシステムによれば、着座したユーザの脚部（上腿及び下腿）の姿勢を推定することができる。特に、本発明によれば、ユーザ自身にセンサを装着する必要もなく、ユーザの全身観測によるプライバシー侵害の可能性も低く、保持部によってユーザの動作範囲が制限されることもない。
【0062】
前述した本発明における種々の実施形態によれば、当業者は、本発明の技術思想及び見地の範囲における種々の変更、修正及び省略を容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。
【符号の説明】
【0063】
１ 家具型機器
１１ 下腿センサ
１２ 姿勢推定部
２ 外部装置
２１ ＨＭＤ端末
２２ 仮想空間サーバ
１１ 下腿センサ
１２ 姿勢推定部
２ 外部装置
２１ ＨＭＤ端末
２２ 仮想空間サーバ
【要約】 （修正有）
【課題】着座したユーザの脚部姿勢を推定する家具型機器、その付属装置を提供する。
【解決手段】家具型機器は、当該家具型機器の座面部以下の位置に配置された１つ以上の下腿センサと、下腿センサの計測値を説明変数とし、下腿部の姿勢を目的変数とした教師データによって予め訓練された機械学習エンジンを用いて、着座したユーザに対する下腿センサの計測値から下腿部の姿勢を検出し、当該下腿部の姿勢及び所定の股関節の位置から上腿部の姿勢を推定する姿勢推定手段と、座面部に配置された圧力分布を計測する１つ以上の座面圧力センサと、を有する。姿勢推定手段は、圧力分布に基づいて検出した股関節の位置を用いるものであってもよく、着座したユーザの当該上腿部の姿勢及び／又は当該下腿部の姿勢の変化に基づき、ユーザが操作する仮想オブジェクトの仮想空間における所定の移動量を出力する。
【選択図】図１
【解決手段】家具型機器は、当該家具型機器の座面部以下の位置に配置された１つ以上の下腿センサと、下腿センサの計測値を説明変数とし、下腿部の姿勢を目的変数とした教師データによって予め訓練された機械学習エンジンを用いて、着座したユーザに対する下腿センサの計測値から下腿部の姿勢を検出し、当該下腿部の姿勢及び所定の股関節の位置から上腿部の姿勢を推定する姿勢推定手段と、座面部に配置された圧力分布を計測する１つ以上の座面圧力センサと、を有する。姿勢推定手段は、圧力分布に基づいて検出した股関節の位置を用いるものであってもよく、着座したユーザの当該上腿部の姿勢及び／又は当該下腿部の姿勢の変化に基づき、ユーザが操作する仮想オブジェクトの仮想空間における所定の移動量を出力する。
【選択図】図１
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】