特許 6862211 センサデータ分析に基づいて関節位置を識別するシステム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6862211

(24)【登録日】2021年4月2日

(45)【発行日】2021年4月21日

(54)【発明の名称】センサデータ分析に基づいて関節位置を識別するシステム及び方法

(51)【国際特許分類】

   A61B 5/11 20060101AFI20210412BHJP

   G01B 21/00 20060101ALI20210412BHJP

   G01B 21/04 20060101ALI20210412BHJP

【ＦＩ】

   A61B5/11 230

   G01B21/00 E

   G01B21/04

【請求項の数】9

【外国語出願】

【全頁数】19

(21)【出願番号】特願2017-27401(P2017-27401)

(22)【出願日】2017年2月17日

(65)【公開番号】特開2018-23749(P2018-23749A)

(43)【公開日】2018年2月15日

【審査請求日】2020年1月15日

(31)【優先権主張番号】201621027388

(32)【優先日】2016年8月10日

(33)【優先権主張国】IN

(73)【特許権者】

【識別番号】510337621

【氏名又は名称】タタ コンサルタンシー サービシズ リミテッド

【氏名又は名称原語表記】ＴＡＴＡ Ｃｏｎｓｕｌｔａｎｃｙ Ｓｅｒｖｉｃｅｓ Ｌｉｍｉｔｅｄ

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(72)【発明者】

【氏名】シンハ，サンジャナ

(72)【発明者】

【氏名】ボウミック，ブロジェシュワー

(72)【発明者】

【氏名】チャクラヴァルティー，キングシュク

(72)【発明者】

【氏名】シンハ，アニルッダ

(72)【発明者】

【氏名】ダス，アビジート

【審査官】 近藤 利充

(56)【参考文献】

【文献】 特開２０１４−１３６１３７（ＪＰ，Ａ）

【文献】 特開２０１５−１６７００８（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１５／０３６９８６４（ＵＳ，Ａ１）

【文献】 中国特許出願公開第１０２６５７５３２（ＣＮ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ａ６１Ｂ ５／００ − ５／３９８

Ｇ０１Ｂ ２１／００ − ２１／３２

(57)【特許請求の範囲】

【請求項1】

プロセッサにより実施される方法であって、
１つ又は複数のハードウェアプロセッサにより、１つ又は複数のタイムスタンプでの少なくとも１人のユーザに関する骨格データ、深度データ、及び赤・緑・青（ＲＧＢ）データを含む１つ又は複数の入力データを取得することであって、前記１つ又は複数の入力データは、１つ又は複数の骨格関節に関する三次元（３Ｄ）座標を含み、前記骨格データは前記三次元（３Ｄ）座標を含むことと、
前記１つ又は複数の入力データを使用して、前記１つ又は複数のハードウェアプロセッサにより、第１の組のフレームにおいて、１つ又は複数の関節位置及び対応する骨格関節に接続される１つ又は複数の体節の体節長を推定することであって、それにより、（ｉ）１つ又は複数の関節位置の推定値及び（ｉｉ）１つ又は複数の体節長の推定値を取得することと、
前記１つ又は複数のハードウェアプロセッサにより、前に取得された前記１つ又は複数の関節位置周囲の有界近傍内の１つ又は複数の有望正確関節位置を繰り返し識別することであって、前記１つ又は複数の有望正確関節位置は、前記深度データ及び前記ＲＧＢデータに基づいて繰り返し識別されることと、
前記１つ又は複数のハードウェアプロセッサにより、（ｉ）前記１つ又は複数の有望正確関節位置のそれぞれに関連付けられた体節長と（ｉｉ）参照長との比較を実行することと、
前記１つ又は複数のハードウェアプロセッサにより、前記比較に基づいて、１つ又は複数の関節位置候補として、前記１つ又は複数の有望正確関節位置の少なくともサブセットを識別することと、
前記深度データに基づいて各体節の１つ又は複数の３Ｄ座標をセグメント化し、分析を各セグメント化３Ｄ座標に対して実行することにより、前記１つ又は複数の関節位置候補のそれぞれに関する各体節の物理的向きを特定することと、
前記ＲＧＢデータ及び前記深度データの特徴記述子と共に、対応する体節の前記物理的向きからの方向における最小逸脱に基づいて、前記１つ又は複数の関節位置候補から関節位置を識別することであって、前記最小逸脱は前記深度データに基づき、前記最小逸脱は、前記ユーザにより実行される１つ又は複数の動作に基づき、前記ユーザにより実行される前記１つ又は複数の動作は、１つ又は複数の可動域（ＲＯＭ）訓練に基づくことと
を含む、プロセッサ実施方法。

【請求項2】

前記１つ又は複数のハードウェアプロセッサにより、１つ又は複数の関節位置候補として前記１つ又は複数の有望正確関節位置の少なくともサブセットを識別することは、最小体節長変動を生成する前記比較に基づく、請求項１に記載のプロセッサ実施方法。

【請求項3】

前記参照長は、前記１つ又は複数の体節長の前記推定値に基づいて導出される、請求項１に記載のプロセッサ実施方法。

【請求項4】

システムであって、
命令を記憶するメモリと、
１つ又は複数の通信インタフェースと、
前記１つ又は複数の通信インタフェースを使用して、前記メモリに結合された１つ又は複数のハードウェアプロセッサと
を含み、前記１つ又は複数のハードウェアプロセッサは、前記命令により、
１つ又は複数のタイムスタンプでの少なくとも１人のユーザに関する骨格データ、深度データ、及び赤・緑・青（ＲＧＢ）データを含む１つ又は複数の入力データを取得することであって、前記１つ又は複数の入力データは、１つ又は複数の骨格関節に関する三次元（３Ｄ）座標を含み、前記骨格データは前記三次元（３Ｄ）座標を含むことと、
前記１つ又は複数の入力データを使用して、１つ又は複数の関節位置及び対応する骨格関節に接続される１つ又は複数の体節の体節長を推定することであって、それにより、（ｉ）１つ又は複数の関節位置の推定値及び（ｉｉ）１つ又は複数の体節長の推定値を取得することと、
前に取得された前記１つ又は複数の関節位置周囲の有界近傍内の１つ又は複数の有望正確関節位置を識別することであって、前記１つ又は複数の有望正確関節位置は、前記深度データ及び前記ＲＧＢデータに基づいて繰り返し識別されることと、
（ｉ）前記１つ又は複数の有望正確関節位置のそれぞれに関連付けられた体節長と（ｉｉ）参照長との比較を実行することと、
前記比較に基づいて、１つ又は複数の関節位置候補として、前記１つ又は複数の有望正確関節位置の少なくともサブセットを識別することと、
前記深度データに基づいて各体節の１つ又は複数の３Ｄ座標をセグメント化し、分析を各セグメント化３Ｄ座標に対して実行することにより、前記１つ又は複数の関節位置候補のそれぞれに関する各体節の物理的向きを特定することと、
前記ＲＧＢデータ及び前記深度データの特徴記述子と共に、対応する体節の前記物理的向きからの方向における最小逸脱に基づいて、前記１つ又は複数の関節位置候補から関節位置を識別することであって、前記最小逸脱は前記深度データに基づき、前記最小逸脱は、前記ユーザにより実行される１つ又は複数の動作に基づき、前記ユーザにより実行される前記１つ又は複数の動作は、１つ又は複数の可動域（ＲＯＭ）訓練に基づくことと
を行うように構成される、システム。

【請求項5】

前記１つ又は複数の有望正確関節位置の少なくともサブセットは、最小体節長変動を生成する前記比較に基づいて、１つ又は複数の関節位置候補として識別される、請求項４に記載のシステム。

【請求項6】

前記参照長は、前記１つ又は複数の体節長の前記推定値に基づいて導出される、請求項４に記載のシステム。

【請求項7】

１つ又は複数の命令を含む１つ又は複数の非一時的機械可読情報記憶媒体であって、前記命令は、１つ又は複数のハードウェアプロセッサにより実行されると、
１つ又は複数のハードウェアプロセッサにより、１つ又は複数のタイムスタンプでの少なくとも１人のユーザに関する骨格データ、深度データ、及び赤・緑・青（ＲＧＢ）データを含む１つ又は複数の入力データを取得することであって、前記１つ又は複数の入力データは、１つ又は複数の骨格関節に関する三次元（３Ｄ）座標を含み、前記骨格データは前記三次元（３Ｄ）座標を含むことと、
前記１つ又は複数の入力データを使用して、前記１つ又は複数のハードウェアプロセッサにより、第１の組のフレームにおいて、１つ又は複数の関節位置及び対応する骨格関節に接続される１つ又は複数の体節の体節長を推定することであって、それにより、（ｉ）１つ又は複数の関節位置の推定値及び（ｉｉ）１つ又は複数の体節長の推定値を取得することと、
前記１つ又は複数のハードウェアプロセッサにより、前に取得された前記１つ又は複数の関節位置周囲の有界近傍内の１つ又は複数の有望正確関節位置を繰り返し識別することであって、前記１つ又は複数の有望正確関節位置は、前記深度データ及び前記ＲＧＢデータに基づいて繰り返し識別されることと、
前記１つ又は複数のハードウェアプロセッサにより、（ｉ）前記１つ又は複数の有望正確関節位置のそれぞれに関連付けられた体節長と（ｉｉ）参照長との比較を実行することと、
前記１つ又は複数のハードウェアプロセッサにより、前記比較に基づいて、１つ又は複数の関節位置候補として、前記１つ又は複数の有望正確関節位置の少なくともサブセットを識別することと、
前記深度データに基づいて各体節の１つ又は複数の３Ｄ座標をセグメント化し、分析を各セグメント化３Ｄ座標に対して実行することにより、前記１つ又は複数の関節位置候補のそれぞれに関する各体節の物理的向きを特定することと、
前記ＲＧＢデータ及び前記深度データの特徴記述子と共に、対応する体節の前記物理的向きからの方向における最小逸脱に基づいて、前記１つ又は複数の関節位置候補から関節位置を識別することであって、前記最小逸脱は前記深度データに基づき、前記最小逸脱は、前記ユーザにより実行される１つ又は複数の動作に基づき、前記ユーザにより実行される前記１つ又は複数の動作は、１つ又は複数の可動域（ＲＯＭ）訓練に基づくことと
を実行させる、１つ又は複数の非一時的機械可読情報記憶媒体。

【請求項8】

前記１つ又は複数のハードウェアプロセッサにより、１つ又は複数の関節位置候補として前記１つ又は複数の有望正確関節位置の少なくともサブセットを識別することは、最小体節長変動を生成する前記比較に基づく、請求項７に記載の１つ又は複数の非一時的機械可読情報記憶媒体。

【請求項9】

前記参照長は、前記１つ又は複数の体節長の前記推定値に基づいて導出される、請求項７に記載の１つ又は複数の非一時的機械可読情報記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

優先権の主張
本特許出願は、２０１６年８月１０日に出願された印国仮特許出願第２０１６２１０２７３８８号からの優先権を主張するものであり、この仮特許出願は参照により本明細書に援用される。

【0002】

技術分野
本明細書における本開示は、一般的にはセンサデータ分析に関し、より詳細には、センサデータ分析に基づいて関節位置を識別するシステム及び方法に関する。

【背景技術】

【0003】

関節の動き分析は、神経障害に罹患している患者、脳卒中後の患者、及び高齢の対象者の健康モニタリング／リハビリの重要な側面である。関節の動きデータ捕捉は従来、Vicon等の臨床デバイスを使用して行われており、この臨床デバイスは、マーカーベースであり、極めて高価であり、長期リハビリ治療に適さない。Kinect（登録商標）は、高価な相当物と比較してその低コスト、可搬性、及びコストの容易さにより使用されているマーカーレスモーションキャプチャデバイスである。マーカーベースのシステムへの代替としてのKinect（登録商標）の精度は広く研究されており、Viconと比較してその有効性及び信頼性について広範囲の報告書がある。しかし、報告書では、Kinect（登録商標）骨格データにより提供される人間の関節情報の精度が低いことが示されている。Kinect（登録商標）により提供される骨格データは、精度を改善し、有効で信頼できる評価を可能にするために、更なる最適化が必要である。

【発明の概要】

【課題を解決するための手段】

【0004】

本開示の実施形態は、従来のシステムにおいて本発明者らが認識した上記技術的問題の１つ又は複数への解決策として、技術的改善を提示する。例えば、一態様では、関節位置を識別するハードウェアプロセッサ実施方法が提供される。本方法は、１つ又は複数のハードウェアプロセッサにより、１つ又は複数のタイムスタンプでの少なくとも１人のユーザに関する骨格データ、深度データ、及び赤・緑・青（ＲＧＢ）データを含む１つ又は複数の入力データを取得することを含み、１つ又は複数の入力データは、１つ又は複数の骨格関節に関する三次元（３Ｄ）座標を含む。本方法は、１つ又は複数の入力データを使用して、１つ又は複数のハードウェアプロセッサにより、１つ又は複数の関節位置及び対応する骨格関節に接続される１つ又は複数の体節の体節長を推定することであって、それにより、（ｉ）１つ又は複数の関節位置の推定値及び（ｉｉ）１つ又は複数の体節長の推定値を取得する、推定することを更に含む。実施形態では、１つ又は複数の体節長は、隣接する骨格関節間のデカルト距離に基づく。１つ又は複数の有望正確関節位置が、前のフレームにおいて前に取得された１つ又は複数の関節位置周囲の有界近傍内で識別され、１つ又は複数の有望正確関節位置は、深度データ及びＲＧＢデータに基づいて繰り返し識別される。実施形態例では、１つ又は複数の有望正確関節位置を識別する検索領域が、対応する骨格関節の変位に等しい半径を使用して画定される。本方法は、１つ又は複数のハードウェアプロセッサにより、（ｉ）１つ又は複数の有望正確関節位置のそれぞれに関連付けられた体節長と（ｉｉ）参照長との比較を実行することを更に含む。実施形態では、参照長は、１つ又は複数の体節長の推定値に基づいて導出される。１つ又は複数の有望正確関節のサブセットは、比較に基づいて１つ又は複数の関節位置候補として識別される。実施形態では、１つ又は複数の有望正確関節のサブセットは、最小体節長変動を生成する比較に基づいて１つ又は複数の関節位置候補として識別される。１つ又は複数の関節位置候補のそれぞれに関する各体節の物理的向きが、深度データに基づいて各体節の１つ又は複数の３Ｄ座標をセグメント化し、分析を各セグメント化３Ｄ座標に対して実行することにより特定される。（補正）関節位置が、ＲＧＢデータ及び深度データの特徴記述子と共に、対応する体節の物理的向きからの方向における最小逸脱に基づいて、１つ又は複数の関節位置候補から識別され、最小逸脱は深度データに基づき、最小逸脱は、ユーザにより実行される１つ又は複数の動作に基づく。

【0005】

別の態様では、関節位置を識別するシステムが提供される。本システムは、命令を記憶するメモリと、１つ又は複数の通信インタフェースと、１つ又は複数の通信インタフェースを使用して、メモリに結合された１つ又は複数のハードウェアプロセッサとを含み、１つ又は複数のハードウェアプロセッサは、命令により、１つ又は複数のタイムスタンプでの少なくとも１人のユーザに関する骨格データ、深度データ、及び赤・緑・青（ＲＧＢ）データを含む１つ又は複数の入力データを取得することを行うように構成され、１つ又は複数の入力データは、１つ又は複数の骨格関節に関する三次元（３Ｄ）座標を含む。骨格データ、深度データ、及び赤・緑・青（ＲＧＢ）データは、センサ（例えば、Kinect（登録商標）センサ）により捕捉される。１つ又は複数のハードウェアプロセッサは、命令により、１つ又は複数の入力データを使用して、１つ又は複数の関節位置及び対応する骨格関節に接続される１つ又は複数の体節の体節長を推定することであって、それにより、（ｉ）１つ又は複数の関節位置の推定値及び（ｉｉ）１つ又は複数の体節長の推定値を取得する、推定することを行うように更に構成される。実施形態では、１つ又は複数の体節長は、隣接する骨格関節間のデカルト距離に基づく。実施形態では、本システムは、前のフレームから前に取得された１つ又は複数の関節位置周囲の有界近傍内の１つ又は複数の有望正確関節位置を識別するように更に構成され、１つ又は複数の有望正確関節位置は、深度データ及びＲＧＢデータに基づいて繰り返し識別される。実施形態では、１つ又は複数の有望正確関節位置を識別する検索領域が、単一フレーム内の対応する骨格関節の変位に等しい半径を使用して画定される。

【0006】

本システムは、（ｉ）１つ又は複数の有望正確関節位置のそれぞれに関連付けられた体節長と（ｉｉ）参照長との比較を更に実行する。実施形態では、参照長は、１つ又は複数の体節長の推定値に基づいて導出される。本システムは、比較に基づいて、１つ又は複数の関節位置候補として、１つ又は複数の有望正確関節位置のサブセットを更に識別する。実施形態では、１つ又は複数の有望正確関節のサブセットは、最小体節長変動を生成する比較に基づいて１つ又は複数の関節位置候補として識別される。換言すれば、参照長に対して最小の体節長変動を有する有望正確関節位置が、１つ又は複数の関節位置候補として識別される。

【0007】

本システムは、深度データに基づいて各体節の１つ又は複数の３Ｄ座標をセグメント化し、分析を各セグメント化３Ｄ座標に対して実行することにより、１つ又は複数の関節位置候補のそれぞれに関する各体節の物理的向きを特定するように更に構成される。本システムは、ＲＧＢデータ及び深度データの特徴記述子と共に、対応する体節の物理的向きからの方向における最小逸脱に基づいて、１つ又は複数の関節位置候補から（補正）関節位置を識別するように更に構成され、最小逸脱は深度データに基づき、最小逸脱は、ユーザにより実行される１つ又は複数の動作に基づく。実施形態では、ＲＧＢデータ及び深度データの特徴記述子と共に、対応する体節の物理的な向きからの方向において最小の逸脱を有する関節位置が、補正関節位置として識別される。

【0008】

更に別の態様では、１つ又は複数の命令を含む１つ又は複数の非一時的機械可読情報記憶媒体が提供される。１つ又は複数のハードウェアプロセッサにより実行されると、１つ又は複数のタイムスタンプでの少なくとも１人のユーザに関する骨格データ、深度データ、及び赤・緑・青（ＲＧＢ）データを含む１つ又は複数の入力データを取得させる１つ又は複数の命令であって、入力データは、１つ又は複数の骨格関節に関する三次元（３Ｄ）座標を含む、１つ又は複数の命令。１つ又は複数のハードウェアプロセッサにより実行されると、１つ又は複数の入力データを使用して、１つ又は複数の関節位置及び対応する骨格関節に接続される１つ又は複数の体節の体節長を更に推定させる１つ又は複数の命令であって、それにより、（ｉ）１つ又は複数の関節位置の推定値及び（ｉｉ）１つ又は複数の体節長の推定値を取得する、１つ又は複数の命令。実施形態では、１つ又は複数の体節長は、隣接する骨格関節間のデカルト距離に基づく。１つ又は複数のハードウェアプロセッサにより実行されると、前に取得された１つ又は複数の関節位置周囲の有界近傍内の１つ又は複数の有望正確関節位置を識別させる１つ又は複数の命令であって、１つ又は複数の有望正確関節位置は、深度データ及びＲＧＢデータに基づいて繰り返し識別される、１つ又は複数の命令。実施形態例では、１つ又は複数の有望正確関節位置を識別する検索領域が、対応する骨格関節の変位に等しい半径を使用して画定される。１つ又は複数のハードウェアプロセッサにより実行されると、（ｉ）１つ又は複数の有望正確関節位置のそれぞれに関連付けられた体節長と（ｉｉ）参照長との比較を更に実行させる１つ又は複数の命令。実施形態では、参照長は、１つ又は複数の体節長の推定値に基づいて導出される。１つ又は複数のハードウェアプロセッサにより実行されると、比較に基づいて、１つ又は複数の関節位置候補として、１つ又は複数の有望正確関節位置のサブセットを更に識別される１つ又は複数の命令。実施形態では、１つ又は複数の関節位置候補として１つ又は複数の有望正確関節位置のサブセットを識別することは、最小体節長変動を生成する比較に基づく。１つ又は複数のハードウェアプロセッサにより実行されると、深度データに基づいて各体節の１つ又は複数の３Ｄ座標をセグメント化し、分析を各セグメント化３Ｄ座標に対して実行することにより、１つ又は複数の関節位置候補のそれぞれに関する各体節の物理的向きを更に特定させる１つ又は複数の命令。１つ又は複数のハードウェアプロセッサにより実行されると、ＲＧＢデータ及び深度データの特徴記述子と共に、対応する体節の物理的向きからの方向における最小逸脱に基づいて、１つ又は複数の関節位置候補から（補正）関節位置を更に識別させる１つ又は複数の命令。上記最小逸脱は深度データに基づき、最小逸脱は、ユーザにより実行される１つ又は複数の動作に基づく。

【0009】

上記概説及び以下の詳細な説明の両方が単なる例示又は説明であり、特許請求の範囲に記載される本発明の限定ではないことを理解されたい。

【0010】

添付図面は、本開示に組み込まれて本開示の一部をなし、例示的な実施形態を示し、説明と共に、開示される原理を説明する役割を果たす。

【図面の簡単な説明】

【0011】

【図1】本開示の実施形態による、ユーザの関節位置を識別するシステムの例示的なブロック図を示す。

【図2】本開示の実施形態による、図１のシステムを使用してユーザの関節位置を識別する方法の例示的な流れ図を示す。

【図3】本開示の実施形態による、１０人の対象者のＲＯＭ運動での体節長統計を示す例示的な表を示す。

【図4】本開示の実施形態による前腕関節の長さの変動のグラフ表現を示す。

【図5】本開示の実施形態による腕の長さの変動のグラフ表現を示す。

【図6】本開示の実施形態による、肘屈曲の場合での前腕長の変動のグラフ表現を示す。

【図7】本開示の実施形態による図１のシステムによる体節向き補正を示す。

【発明を実施するための形態】

【0012】

例示的な実施形態について添付図面を参照して説明する。図中、参照番号の一番左の１つ又は複数の桁は、参照番号が最初に現れる図を示す。好都合な場合は常に、同じ参照番号が、図面全体を通して同じ又は同様の部分を指すために使用される。開示される原理の例及び特徴が本明細書に記載されるが、変更、適合、及び他の実施態様が、開示される実施形態の趣旨及び範囲から逸脱せずに可能である。以下の詳細な説明が、単なる例示としてみなされ、真の範囲及び趣旨が以下の特許請求の範囲により示されることが意図される。

【0013】

関節の動き分析は、神経障害及び脳卒中に罹患した患者の健康モニタリング及び治療に極めて重要である。脳卒中後の上肢の慢性半身麻痺は、主な手動制限である。脳卒中に起因する筋の同時活性化の永久的な低減の可能性及び対応する関節トルクパターンがある。幾つかの研究では、肩の外転筋の肘の屈筋との異常結合及び肩の外転筋の肘の伸筋との異常結合が多くの場合、重度の脳卒中患者により示される幾つかの典型的な動き特徴に繋がることが示唆されている。したがって、継続した有効なリハビリ治療が、そのような異常をモニタリングしコントロールするために絶対的に必要である。ホームベースのリハビリ臨床後治療への必要性が高い。

【0014】

人体のモーションキャプチャ及び分析用のマーカーベースのシステム（Vicon等）は、臨床的に承認された精度レベルにより、上肢リハビリにおいて普及している。しかし、Microsoft Kinect（登録商標）等のモーションキャプチャ用のマーカーレスシステムが、値ごろ感及び可搬性に起因して、ホームベースのリハビリに適する。Kinectの精度、有効性、及びテスト−再テスト信頼性の尺度は、様々な動き、姿勢制御、及び歩行にわたり研究されている。報告された結果は、Kinectにより観測される関節位置と、Vicon等の臨床的にゴールドスタンダードである実体写真測量システムにより得られる関節位置との不一致を示す。Kinect（登録商標）の使用中、Kinect（登録商標）は非人体測定的骨格モデルを提供するため、腕では約６〜８センチメートル（ｃｍ）の体節長変動及び前腕での約２〜５ｃｍの体節長変動が報告された。さらに、誤差が、下半身の関節よりも上半身の関節で低いことが分かった。Kinect（登録商標）の性能は、非健常者及び高齢の母集団に関しても研究されている。実験結果は、肩及び肘の動き等の全体の空間的運動を測定するKinect（登録商標）の精度が、細かい運動（両手等）の場合よりも高いことを示した。体節長及び向き等のボディセマンティクスの不一致は、運動中に増大する。したがって、臨床的評価及び生物力学的モデリングに関連する測定においてKinect（登録商標）の精度を改善することが必須である。例えば、腕の長さの正確な測定は、麻痺した腕に機能障害を有する患者の手を伸ばす作業の性能を評価するために重要である。従来の研究は、Kinect（登録商標）の骨格データから導出される骨の長さのみを使用して、運動パターンから患者を分類することについて行われてきた。Kinect（登録商標）からの追加の深度情報を使用して、関節位置及び体節長を更に最適化する必要性に明示的に言及した者もいた。

【0015】

本開示の実施形態は、体節の長さ及び向きに対する制約を用いて、内化の深度データ及びＲＧＢ（ＲＧＢＤ）データを使用して、関節中心の位置特定を改善することにより、肩及び肘の関節等の上肢のリハビリにおいて、Kinect（登録商標）の精度を改善することである。より詳細には、本開示の実施形態は、Kinect（登録商標）センサから得られるＲＧＢ情報及び深度情報に基づいて、体節長の一時的な変動を最小化することができ、深度ベースのセグメント化及びセグメント化３Ｄ座標に対する分析（例えば、主成分分析（ＰＣＡ））を使用して物理的な体節向きの方向において、接続された関節対を位置合わせし、補正された関節情報に基づいて信頼できる可動域分析システムを提供する、関節位置をセンサデータ分析に基づいて識別するシステム及び方法を実施する。

【0016】

これより、同様の参照文字が図全体を通して一貫して対応する特徴を示す図面、特に図１〜図７を参照して、好ましい実施形態を示し、これらの実施形態について、以下の例示的なシステム及び／又は方法の文脈の中で説明する。

【0017】

図１は、本開示の実施形態による、ユーザの関節位置を識別するシステム１００の例示的なブロック図を示す。実施形態では、システム１００は、１つ又は複数のプロセッサ１０４、通信インタフェースデバイス又は入／出力（Ｉ／Ｏ）インタフェース１０６、及び１つ又は複数のプロセッサ１０４に動作可能に結合される１つ又は複数のデータ記憶デバイス又はメモリ１０２を含む。ハードウェアプロセッサである１つ又は複数のプロセッサ１０４は、１つ又は複数のマイクロプロセッサ、マイクロコンピュータ、マイクロコントローラ、デジタル信号プロセッサ、中央演算処理装置、状態機械、論理回路、及び／又は動作命令に基づいて信号を操作する任意のデバイスとして実施することができる。機能の中でも特に、プロセッサは、メモリに記憶されたコンピュータ可読命令をフェッチし実行するように構成される。実施形態では、システム１００は、ラップトップコンピュータ、ノートブック、ハンドヘルドデバイス、ワークステーション、メインフレームコンピュータ、サーバ、ネットワーククラウド等の様々な計算システムで実施することができる。

【0018】

Ｉ／Ｏインタフェースデバイス１０６は、サーバソフトウェアインタフェース及びハードウェアインタフェース、例えば、ウェブインタフェース、グラフィカルユーザインタフェース等を含むことができ、有線ネットワーク、例えば、ＬＡＮ、ケーブル等と、ＷＬＡＮ、セルラ、又は衛星等の無線ネットワークとを含め、多種多様なネットワークＮ／Ｗ及びプロトコルタイプ内の複数の通信を促進することができる。実施形態では、Ｉ／Ｏインタフェースデバイスは、幾つかのデバイスを互いに又は別のサーバに接続する１つ又は複数のポートを含むことができる。

【0019】

メモリ１０２は、例えば、スタティックランダムアクセスメモリ（ＳＲＡＭ）及びダイナミックランダムアクセスメモリ（ＤＲＡＭ）等の揮発性メモリ並びに読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブルＲＯＭ、フラッシュメモリ、ハードディスク、光ディスク、及び磁気テープ等の不揮発性メモリを含め、当分野で既知の任意のコンピュータ可読媒体を含み得る。実施形態では、システム１００の１つ又は複数のモジュール（図示せず）は、メモリ１０２に記憶することができる。

【0020】

図２は、本開示の実施形態による、図１のシステム１００を使用してユーザの関節位置を識別する方法の例示的な流れ図を示す。実施形態では、システム１００は、１つ又は複数のハードウェアプロセッサ１０４に動作可能に結合される１つ又は複数のデータ記憶デバイス及びメモリ１０２を含み、１つ又は複数のプロセッサ１０４による方法のステップの実行のための命令を記憶するように構成される。本開示の方法のステップについて、図１に示されるようなシステム１００の構成要素及び流れ図を参照してこれより説明する。本開示の実施形態では、ステップ２０２において、１つ又は複数のプロセッサ１０４は、少なくとも１人のユーザに関する骨格データ、深度データ、及び赤・緑・青（ＲＧＢ）データを含む入力データを取得する。実施形態例では、入力データは、１つ又は複数のタイムスタンプにおいて捕捉し得る。実施形態例では、１つ又は複数の入力データは、１つ又は複数の骨格関節に関する三次元（３Ｄ）座標を含む。実施形態例では、骨格データ、深度データ、及び赤・緑・青（ＲＧＢ）データを含む入力データは、センサ、例えば、Kinect（登録商標）センサにより捕捉される。実施形態例では、骨格データ、深度データ、及び赤・緑・青（ＲＧＢ）データは、毎秒約２５〜３０フレームというフレームレートでKinect（登録商標）センサから受信される。Kinect（登録商標）センサは、一実施形態例では、システム１００内に統合し得る。Kinect（登録商標）センサは、別の実施形態例では、１つ又は複数の通信インタフェースを介してシステム１００に接続される外部構成要素であり得る。

【0021】

本開示の実施形態では、ステップ２０４において、１つ又は複数のプロセッサ１０４は、１つ又は複数の関節位置及び対応する骨格関節に接続される１つ又は複数の体節の体節長を推定（又は計算）して、（ｉ）１つ又は複数の関節位置の推定値及び（ｉｉ）１つ又は複数の体節長の推定値を取得する。実施形態では、１つ又は複数の体節長は、骨格データ入力での隣接する骨格関節間のデカルト距離に基づく。実施形態例では、体節位置及び体節長の推定値は、入力データを使用して取得される。

【0022】

本開示の実施形態では、ステップ２０６において、１つ又は複数のプロセッサ１０４は、前のフレームから前に取得された１つ又は複数の関節位置周囲の有界近傍内の１つ又は複数の有望正確関節位置を繰り返し識別する。本開示の一実施形態では、１つ又は複数の有望正確関節位置は、深度データ及びＲＧＢデータに基づいて繰り返し識別される。本開示の実施形態例では、単一フレーム内の対応する骨格関節の変位に等しい半径を使用して、１つ又は複数の有望正確関節位置を識別する検索領域が画定される。本開示の実施形態では、ステップ２０８において、１つ又は複数プロセッサ１０４は、（ｉ）１つ又は複数の有望正確関節位置のそれぞれに関連付けられた体節長と（ｉｉ）参照長との比較を実行する。実施形態例では、参照長は、１つ又は複数の体節長（例えば、真の体節長）の推定値に基づいて計算又は導出される。換言すれば、参照長は、システム初期化中、体節位置間のデカルト距離に基づいて計算又は導出される。関節位置（例えば、真の関節位置）の初期推定値及び体節の参照長は、外れ値があれば、外れ値を除去した後、入力骨格関節位置と、隣接する入力関節位置間のデカルト距離のそれぞれの平均を計算することにより計算される。

【0023】

本開示の実施形態例では、ステップ２１０において、１つ又は複数のプロセッサ１０４は、比較に基づいて、１つ又は複数の関節位置候補として、１つ又は複数の有望正確関節位置の少なくともサブセットを識別する。本開示の例では、１つ又は複数の有望正確関節位置のサブセットは、比較に基づいて、体節長変動が最小である１つ又は複数の関節位置候補として識別される。換言すれば、参照長からの体節長変動が最小である有望正確体節位置は、１つ又は複数の関節位置候補として識別される。

【0024】

本開示の実施形態では、ステップ２１２において、１つ又は複数のプロセッサ１０４は、深度データに基づいて各体節の１つ又は複数の３Ｄ座標をセグメント化し、分析を各セグメント化３Ｄ座標に対して実行することにより、１つ又は複数の関節位置候補のそれぞれに関する各体節の物理的向きを特定する。本開示の一実施形態では、システム１００は、各セグメント化３Ｄ座標に対して主成分分析を実行し、主成分分析に基づいて、物理的向きが特定される。本開示の実施形態では、ステップ２１４において、１つ又は複数のプロセッサ１０４は、ＲＧＢデータ及び深度データの特徴記述子と共に、対応する体節の物理的向きからの方向における最小逸脱に基づいて、１つ又は複数の関節位置候補から、補正された関節位置を識別し、最小逸脱は深度データに基づく。本開示の実施形態例では、システム１００は、ＲＧＢ−Ｄに基づく特徴記述子を使用して、対応する体節の物理的な向きからの方向において（図７に示されるように）最小逸脱を有する（又は有する）補正関節位置を識別する。実施形態では、最小逸脱は、ユーザにより実行される１つ又は複数の動作に基づくか、又は動作の影響を受ける。

【0025】

実験セットアップ
神経障害、整形外科的病変、又は前庭障害の既往症状がない１０人の健常対象者（年齢２１才〜６５才、体重４５ｋｇ〜１２０ｋｇ、及び身長１．４２ｍ〜１．９６ｍ）を実験に選んだ。Kinect（登録商標）ｖｌデバイスを使用して、タイムスタンプ情報と共に深度データ、ＲＧＢデータ、及び骨格データを捕捉した（約２５ｆｐｓで）。参加者／対象者は、Kinect（登録商標）デバイス（Kinect（登録商標）センサ）から２．１ｍ〜２．４ｍの距離に立ち、Kinect（登録商標）デバイスは地上１ｍに配置された。各参加者は以下の（能動的な）可動域（ＲＯＭ）訓練を実行した−肩の外転及び内転、肩の屈曲及び伸展、肘の屈曲及び伸展。最初の１〜２秒間にわたり、全ての運動において、対象者は、提案される方法論を初期化するために、完全に静止して立つことが求められた。

【0026】

Kinect（登録商標）センサを使用した関節運動分析は、

【数1】

により与えられる２０の骨格関節の三次元座標の時空間変動に基づき、式中、

【数2】

は、瞬間ｔ（フレームｆ_ｔに対応する）においてKinect（登録商標）センサにより提供されるｊ番目の関節の３Ｄ座標を示す。

【数3】

を関節ｉと関節ｊとを接続する体節を表すものとする。関節座標は、室内照明（又は任意の他の周辺影響状況）、赤外線（ＩＲ）干渉、対象者のKinect（登録商標）センサからの距離、補償中に導入される量子化誤差等に起因して、ノイズを受ける。関節中心位置

【数4】

の誤差は、

【数5】

の長さ変動及び３Ｄ空間での向きの変動を生じさせる。

【0027】

したがって、関節可動域等のパラメータを確実に測定するために、正確な体節長及び向きを生じさせる正確な関節位置が得られる。深度センサ値及びＲＧＢ情報を（直接）利用して、体節長制約及び向き制約を満たす関節位置の正確な推定値を得ることが可能である。洞察は、ｊ番目の関節の正確な位置

【数6】

が、Kinect（登録商標）センサにより報告される３Ｄ座標

【数7】

の近傍にあるはずであるというものである。図２のステップで説明されるように、階層検索技法が、（１）提案される特徴記述子により表される深度及びＲＧＢの時変特徴の最大類似性、（２）真の物理的体節向き（主成分分析等の深度セグメント化及び分析から推定される）に向けた

【数8】

の最大位置合わせ、及び（３）初期化段階中に推定される参照長からの

【数9】

における最小逸脱を満たす体節位置に対して実行される。

【0028】

初期化段階中、対象者が３０〜５０フレームにわたり静止したままであるとき、身体関節位置及び体節長の初期推定値が、観測の四分位点測定に基づいて計算される。関節毎に、体節長の最小変動制約を満たす位置候補が、Kinect（登録商標）骨格座標の近傍で検索される。次に、検索は、体節の物理的向きからの方向

【数10】

における逸脱により加重されるＲＧＢ−Ｄに基づく特徴記述子の時間的変動を最小にすることにより更に改良される。

【0029】

座標変換
特定の関節ｊの深度値及びＲＧＢ値を見つけるために、Kinect（登録商標）ＩＲカメラの固有特性を使用して、現実世界の座標

【数11】

が、例として、以下の式（１）に示されるように、二次元深度マップ座標

【数12】

に射影される。さらに、例として、以下の式（２）に示されるように、アフィン変換を使用して、深度座標

【数13】

とＲＧＢ画像座標

【数14】

との間の対応性を見つける。

【数15】

【0030】

関節位置の検索
時間ｔにおける補正関節位置

【数16】

が、射影された深度及びＲＧＢ空間（上述したような座標変換）において

【数17】

の周囲の有界近傍内で検索される。時間ｔにおけるｊ番目の関節の検索領域Ｓが、単一フレームでの関節の変位に均等な半径を使用して画定される。

【0031】

体節長制約
検索は、体節長（２つの物理的に接続された関節の３Ｄ座標間のデカルト距離）が、対応する関節の運動中に不変であるべきであるという制約を受ける。検索領域Ｓは、例として、以下の式に示されるように、長さ制約を満たす位置候補

【数18】

を選択することにより、Ｓ１に改良され、

【数19】

式中、

【数20】

は関節ｉの補正３Ｄ位置であり、

【数21】

は、

【数22】

との間のデカルト距離であり、関節ｉとｊとを結ぶ体節の物理的長さであり、初期化中に推定される。一実施形態例では、検索領域Ｓ及びＳ１はシステム１００により画定し得る。別の実施形態例では、システムは、１つ又は複数の入力を取得して（例えば、ユーザから）、検索領域Ｓ及びＳ１を画定し得る。

【0032】

体節向きの推定
各瞬間ｔにおいて、ベクトル

【数23】

が、真の体節向きに向けての最大位置合わせを示すように選択される。Kinect（登録商標）深度空間において背景から人体をセグメント化することが可能である。関節ｉ及びｊの関節位置周囲の有界領域を使用して、人間（ユーザ）の形態の残りの部分から体節又は体肢の座標を分離する。分析（例えば、主成分分析であるが、これに限定されない）が、セグメント化された座標にわたり実行されて、固有ベクトル

【数24】

を取得し、その方向は、体節を表す座標の最大変動の方向を表す。

【数25】

は、各瞬間における体節の物理的向きの推定値を提供する。

【0033】

特徴記述子
検索領域（又は空間）Ｓ１は位置候補からなり、位置候補の中に、関節の実際の位置がある。真の関節位置（例えば、１つ又は複数の関節位置候補の中の厳密又は実際の関節位置）を選択するために、ＲＧＢ特徴及び深度特徴に基づく１組の特徴を使用して、時間の経過に伴う軌跡をなす際に、関節を一意に識別する。

【0034】

任意のＲＯＭ運動中、任意の関節の深度値の変動にもかかわらず、深度ピクセルとその近傍との間の相対深度変動は、任意の２つの連続したフレームにわたり変わらないままであるはずである。ピクセル近傍にあるＲＧＢ値は、同様の特性を示す。関節中心

【数26】

について、深度差及びＲＧＢ値に関連する要素からなる特徴記述子は、λ＝｛λ_Ｄ，λ_Ｒ｝として定義される。λ_Ｄは、（２ｗ＋１）×（２ｗ＋１）行列であり、ここで、ｗ∈Ｉ^＋は深度ピクセル

【数27】

を中心とし、

【数28】

として表される。以下、表記

【数29】

は、任意の位置

【数30】

を中心としたλ_Ｄを示すために使用される。

【数31】

式中、
Ｄ_ｘ，ｙ＝（深度_{（ｐｘ，ｐｙ）}−深度_{（ｘ，ｙ）}^＊ｇ（ｘ，ｙ）
深度（ｘ，ｙ）＝座標（ｘ，ｙ）での深度値
ｇ（ｘ，ｙ）は、分散σ^２を有する

【数32】

を中心とするガウス窓を表す。

【0035】

同様に、

【数33】

を中心としたλ_Ｒ（同じ窓で）は、

【数34】

として表される。

【0036】

最後に、関節ｊの補正位置

【数35】

は、以下の式により得られ：

【数36】

式中、α，γ∈（０，１）は定数であり、その値は経験的に特定し得る。

【0037】

図３は、図１〜２に関連して、本開示の実施形態による、１０人の対象者でのＲＯＭ運動の体節長統計を示す例示的な表を示す。より詳細には、図３は、Kinect（登録商標）センサから得られた入力データの平均（ｍ単位）、標準偏差（ｍ単位）、範囲（ｍ単位）、分散係数に対する各ＲＯＭ運動体節長の補正及び／又は改善割合（％）を示す。図３に示されるように、例えば、肩ＲＯＭ運動（外転内転）、体節長の改善割合（％）はそれぞれ７３．８及び７４．３である。同様に、肩ＲＯＭ運動（屈曲及び伸展）の場合、体節長の改善割合（％）はそれぞれ７２．９及び８０．７である。同様に、肘ＲＯＭ運動（屈曲及び伸展）の場合、体節長の改善割合（％）はそれぞれ７１．６及び５８．７である。

【0038】

図４は、図１〜図３を参照して、本開示の実施形態による、前腕関節の長さの変動のグラフ表現を示す。より詳細には、図４は、肘の左関節と手首左関節との間の長さの変動を示す。図５は、図１〜図４を参照して、本開示の実施形態による、腕の長さの変動のグラフ表現を示す。より詳細には、図５は、肩左関節と肘左関節との間の長さの変動を示す。性能は、静的関節及び動的関節の両方に関してシステム１００により評価される。図４及び図５は、提案される方法論を用いての、肩外転中の腕及び前腕の長さの時間的変動の有意な低減を示す。

【0039】

図６は、図１〜図５を参照して、本開示の実施形態による、肘屈曲の前腕長の変動のグラフ表現を示す。図６は、肘の屈曲及び伸展での同様の傾向を明確に示す。長さ変動の性能比較が、図３の表に示されるように、以下の尺度−平均、標準偏差、範囲、及び変動係数（ＣＶ）を使用して、全ての対象者に対して実行される。図３の表において報告される結果は、Kinect骨格データでの約１〜２センチメートルから補正骨格データでの数ミリメートルに、体節長の標準偏差の明らかな低減を示す。全てのＲＯＭ運動及び全ての対象者にわたるＣＶの平均で７２％の改善がある。

【0040】

体節向き補正
図７は、図１〜図６を参照して、本開示の実施形態による、図１のシステム１００による体節向き補正を示す。より詳細には、図７は体節向きを示し、図中、点線はKinect（登録商標）の出力７０２を示し、実線は、システム１００による補正７０４を示す。補正関節情報は、関節可動域分析の測定のより高い精度の達成に役立つのみならず、Kinect（登録商標）骨格情報（又はKinect（登録商標）骨格データ）からの姿勢、歩行、バランス等の他の評価（例えば、臨床的）の信頼性の改善も支援する。未処理Kinect（登録商標）座標から得られる体節向きは多くの場合、運動中の不正確性を有し、その一例は図７に示され、図７では、肘及び手首の骨格座標の２Ｄ投影は、手が運動中、手の物理的境界を越えることを示す。この状況は、複数の対象者の可動域活動中に頻繁に観測されている。体節の向き及び長さを補正することにより、関節角度の動的測定の精度がはるかに高いことが明らかである。可動域運動中、四肢の補正された長さ及び向きは、物理的な四肢の実際の軌跡を反映し得る。これは、臨床的ゴニオメータを用いたＲＯＭ測定により検証されている。肩外転の場合、Kinect（登録商標）骨格データから計算される角度の偏差は、約６．３９度±５．０６度であり、これは最終的に、従来のシステム及び方法により報告されていることに対応し、一方、提案される方法は、１．８８度±１．１度だけ偏差を低減することが可能である。提案される体節の長さ及び向きの補正は、関節角度及び可動域分析にも影響する。

【0041】

本開示のシステム及び方法は、様々な用途（例えば、リハビリであるが、これに限定されない）でのKinect（登録商標）骨格関節座標の精度を改善する技法を提供する。Kinect（登録商標）骨格は非人体測定モデルであるため、時間の経過に伴う体節の長さ及び向きの変動がある。システム１００により実施される提案される方法は、体節長の推定を達成し、その精度を改善し、物理的な体節の方向において座標を位置合わせし、これは、可能な限り正確な体節運動の動的軌跡及び角度の再構築を支援する。本開示の実施形態は、３Ｄ空間での関節位置識別を説明するが、実施形態／方法は、システム１００により実施されて、２Ｄ空間（又はＮ次元）でも同様に関節位置を識別し得る。

【0042】

書面での説明は、本明細書における趣旨を説明して、当業者が実施形態を製作し使用できるようにする。趣旨の実施形態の範囲は、特許請求の範囲により規定され、当業者が思い付く他の変更を含み得る。そのような他の変更は、特許請求の範囲の文字言語と異ならない同様の要素を有する場合、又は特許請求の範囲の文字言語から極わずかな差しかない均等要素を含む場合、特許請求の範囲内あることが意図される。

【0043】

保護範囲がそのようなプログラムまで拡張され、メッセージを有するコンピュータ可読手段に加えて、そのようなコンピュータ可読記憶手段が、プログラムがサーバ、モバイルデバイス、又は任意の適するプログラマブルデバイスで実行される場合、方法の１つ又は複数のステップを実施するプログラムコード手段を含むことを理解されたい。ハードウェアデバイスは、例えば、サーバ若しくはパーソナルコンピュータ等の任意の種類のコンピュータ又はそれらの任意の組合せを含め、プログラム可能な任意の種類のデバイスであることができる。デバイスは例えば、例えば特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）のようなハードウェア手段、又はハードウェア手段及びソフトウェア手段の組合せ、例えば、ＡＳＩＣ及びＦＰＧＡ、又は少なくとも１つのマイクロプロセッサ及び内部にソフトウェアモジュールが配置された少なくとも１つのメモリであることができる手段を含むこともできる。したがって、手段は、ハードウェア手段及びソフトウェア手段の両方を含むことができる。本明細書に記載される方法の実施形態は、ハードウェア及びソフトウェアで実施することができる。デバイスは、ソフトウェア手段を含むこともできる。代替的には、実施形態は、例えば、複数のＣＰＵを使用して異なるハードウェアデバイスで実施し得る。

【0044】

本明細書の実施形態は、ハードウェア要素及びソフトウェア要素を含むことができる。ソフトウェアで実施される実施形態は、ファームウェア、常駐ソフトウェア、マイクロコード等を含むが、これらに限定されない。本明細書に記載される様々なモジュールにより実行される機能は、他のモジュール又は他のモジュールの組合せで実施し得る。この説明では、コンピュータ使用可能媒体又はコンピュータ可読媒体は、命令実行システム、装置、又はデバイスにより使用されるか、又は関連して使用されるプログラムの包含、記憶、通信、伝搬、又は輸送が可能な任意の装置であることができる。

【0045】

示されるステップは、示される例示的な実施形態を説明するために記載され、進行中の技術開発が、特定の機能が実行される様式を変更することを予期されたい。これらの例は、本明細書において、限定ではなく例示のために提示される。さらに、機能構築ブロックの境界は、本明細書では、説明の便宜上、任意に定義されている。指定された機能及びその関係が適宜実行される限り、代替の境界を定義することができる。代替（本明細書に記載されるものの均等物、拡張、変形、逸脱等を含む）が、本明細書に含まれる教示に基づいて当業者に明らかになる。そのような代替は、開示される実施形態の範囲及び趣旨内に入る。また、「備える」、「有する」、「包含する」、及び「含む」、並びに他の同様の形態は、意味において均等であることが意図され、これらの単語の任意の１つに続く１つ又は複数の項目が、そのような１つ又は複数の項目の排他的なリストであることを意味せず、又は列挙された１つ又は複数の項目のみに限定されることを意味しないという点でオープンエンドである。本明細書及び添付の特許請求の範囲で使用される場合、単数形「ａ」、「ａｎ」、及び「ｔｈｅ」が、文脈により明らかに別段のことが示される場合を除き、複数形を含むことに留意しなければならない。

【0046】

さらに、本開示と一貫して、１つ又は複数のコンピュータ可読記憶媒体を実施形態の実施に利用し得る。コンピュータ可読記憶媒体は、プロセッサが読み取り可能な情報又はデータを記憶し得る任意のタイプの物理的メモリを指す。したがって、コンピュータ可読記憶媒体は、本明細書に記載される実施形態と一貫するステップ又は段階をプロセッサに実行させる命令を含め、１つ又は複数のプロセッサにより実行される命令を記憶し得る。「コンピュータ可読媒体」という用語は、有形の物品を含み、搬送波及び一時的な信号を除外し、すなわち、非一時的であるものとして理解すべきである。例としては、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、揮発性メモリ、不揮発性メモリ、ハードドライブ、ＣＤ ＲＯＭ、ＤＶＤ、フラッシュドライブ、ディスク、及び任意の他の既知の物理的記憶媒体が挙げられる。

【0047】

本開示及び例が、単なる例示としてみなされ、開示される実施形態の真の範囲及び趣旨が以下の特許請求の範囲により示されることが意図される。

【符号の説明】

【0048】

１００ システム
１０２ メモリ
１０４ プロセッサ
１０６ Ｉ／Ｏインタフェースデバイス

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】