特表-16143402IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ソニー株式会社の特許一覧
<>
  • 再表WO2016143402-情報処理装置及び情報処理方法 図000005
  • 再表WO2016143402-情報処理装置及び情報処理方法 図000006
  • 再表WO2016143402-情報処理装置及び情報処理方法 図000007
  • 再表WO2016143402-情報処理装置及び情報処理方法 図000008
  • 再表WO2016143402-情報処理装置及び情報処理方法 図000009
  • 再表WO2016143402-情報処理装置及び情報処理方法 図000010
  • 再表WO2016143402-情報処理装置及び情報処理方法 図000011
  • 再表WO2016143402-情報処理装置及び情報処理方法 図000012
  • 再表WO2016143402-情報処理装置及び情報処理方法 図000013
  • 再表WO2016143402-情報処理装置及び情報処理方法 図000014
  • 再表WO2016143402-情報処理装置及び情報処理方法 図000015
< >
(19)【発行国】日本国特許庁(JP)
【公報種別】再公表特許(A1)
(11)【国際公開番号】WO/0
(43)【国際公開日】2016年9月15日
【発行日】2017年12月21日
(54)【発明の名称】情報処理装置及び情報処理方法
(51)【国際特許分類】
   A61B 5/11 20060101AFI20171124BHJP
   A61B 5/107 20060101ALI20171124BHJP
【FI】
   A61B5/10 310B
   A61B5/10 300D
【審査請求】未請求
【予備審査請求】未請求
【全頁数】20
【出願番号】特願2017-504901(P2017-504901)
(21)【国際出願番号】PCT/0/0
(22)【国際出願日】2016年1月27日
(31)【優先権主張番号】特願2015-48172(P2015-48172)
(32)【優先日】2015年3月11日
(33)【優先権主張国】JP
(81)【指定国】 AP(BW,GH,GM,KE,LR,LS,MW,MZ,NA,RW,SD,SL,ST,SZ,TZ,UG,ZM,ZW),EA(AM,AZ,BY,KG,KZ,RU,TJ,TM),EP(AL,AT,BE,BG,CH,CY,CZ,DE,DK,EE,ES,FI,FR,GB,GR,HR,HU,IE,IS,IT,LT,LU,LV,MC,MK,MT,NL,NO,PL,PT,RO,RS,SE,SI,SK,SM,TR),OA(BF,BJ,CF,CG,CI,CM,GA,GN,GQ,GW,KM,ML,MR,NE,SN,TD,TG),AE,AG,AL,AM,AO,AT,AU,AZ,BA,BB,BG,BH,BN,BR,BW,BY,BZ,CA,CH,CL,CN,CO,CR,CU,CZ,DE,DK,DM,DO,DZ,EC,EE,EG,ES,FI,GB,GD,GE,GH,GM,GT,HN,HR,HU,ID,IL,IN,IR,IS,JP,KE,KG,KN,KP,KR,KZ,LA,LC,LK,LR,LS,LU,LY,MA,MD,ME,MG,MK,MN,MW,MX,MY,MZ,NA,NG,NI,NO,NZ,OM,PA,PE,PG,PH,PL,PT,QA,RO,RS,RU,RW,SA,SC,SD,SE,SG,SK,SL,SM,ST,SV,SY,TH,TJ,TM,TN,TR,TT,TZ,UA,UG,US
(71)【出願人】
【識別番号】000002185
【氏名又は名称】ソニー株式会社
(74)【代理人】
【識別番号】100095957
【弁理士】
【氏名又は名称】亀谷 美明
(74)【代理人】
【識別番号】100096389
【弁理士】
【氏名又は名称】金本 哲男
(74)【代理人】
【識別番号】100101557
【弁理士】
【氏名又は名称】萩原 康司
(74)【代理人】
【識別番号】100128587
【弁理士】
【氏名又は名称】松本 一騎
(72)【発明者】
【氏名】村越 象
(72)【発明者】
【氏名】山下 功誠
(72)【発明者】
【氏名】青木 卓
【テーマコード(参考)】
4C038
【Fターム(参考)】
4C038VA04
4C038VA06
4C038VB14
4C038VC20
(57)【要約】
【課題】センサ情報から対象者の姿勢を加味した有用な情報を得ることが可能な情報処理装置及び情報処理方法を提供する。
【解決手段】ユーザの体のうち装着された部位の圧力分布を測定する複数のセンサ装置から測定結果を示す情報を取得する取得部と、前記センサ装置が装着された複数の部位を含んだ撮像画像に基づいて前記複数の部位の配置を推定する推定部と、前記推定部により推定された前記複数の部位の配置に基づいて、前記取得部により取得された前記測定結果を示す情報から前記複数の部位に関する情報を計算する計算部と、を備える情報処理装置。
【選択図】図1
【特許請求の範囲】
【請求項1】
ユーザの体のうち装着された部位の圧力分布を測定する複数のセンサ装置から測定結果を示す情報を取得する取得部と、
前記センサ装置が装着された複数の部位を含んだ撮像画像に基づいて前記複数の部位の配置を推定する推定部と、
前記推定部により推定された前記複数の部位の配置に基づいて、前記取得部により取得された前記測定結果を示す情報から前記複数の部位に関する情報を計算する計算部と、
を備える情報処理装置。
【請求項2】
前記推定部は、前記複数の部位の配置の推定結果に基づいて、前記複数のセンサ装置の配置を推定する、請求項1に記載の情報処理装置。
【請求項3】
前記計算部は、前記複数の部位の全体におけるZMP(zero moment point)を計算する、請求項1に記載の情報処理装置。
【請求項4】
前記複数の部位は、前記ユーザの両足である、請求項1に記載の情報処理装置。
【請求項5】
前記センサ装置は、インソール型である、請求項4に記載の情報処理装置。
【請求項6】
前記複数の部位は、前記ユーザの両手である、請求項1に記載の情報処理装置。
【請求項7】
前記推定部は、前記撮像画像に含まれる前記複数の部位に設けられたマーカーの各々の位置及び姿勢を推定することで、前記複数の部位の配置を推定する、請求項1に記載の情報処理装置。
【請求項8】
前記推定部は、前記撮像画像に含まれる前記複数の部位を画像認識することで、前記複数の部位の配置を推定する、請求項1に記載の情報処理装置。
【請求項9】
前記推定部は、前記複数の部位の動作に応じて繰り返し推定する、請求項1に記載の情報処理装置。
【請求項10】
前記取得部は、前記センサ装置から送信された前記測定結果を示す情報を取得する、請求項1に記載の情報処理装置。
【請求項11】
前記取得部は、前記撮像画像に含まれる前記複数の部位に設けられた表示装置に表示された表示内容から前記測定結果を示す情報を取得する、請求項1に記載の情報処理装置。
【請求項12】
ユーザの体のうち装着された部位の圧力分布を測定する複数のセンサ装置から測定結果を示す情報を取得することと、
前記センサ装置が装着された複数の部位を含んだ撮像画像に基づいて前記複数の部位の配置を推定することと、
推定された前記複数の部位の配置に基づいて、取得された前記測定結果を示す情報から前記複数の部位に関する情報を計算することと、
を含むプロセッサにより実行される情報処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、情報処理装置及び情報処理方法に関する。
【背景技術】
【0002】
近年、様々な分野において、情報処理技術を適用する試みが行われている。その一例として、スポーツの分野において、競技者の身体の動きを可視化する技術が挙げられる。競技者は、多様なセンサ装置を用いて自身の身体の動きを測定・記録することで、スポーツに応じた動作が円滑に行われているか否かを確認することが可能となる。それにより、競技者は、可視化された身体の動きを参考に容易にフォーム改善等を行うことが可能である。
【0003】
身体の動きを可視化する技術には、モーションキャプチャー含め多様な方法がある。例えば、下記特許文献1では、対象者に照射した光の反射波が受光されるまでのタイムラグに応じて距離を算出した距離画像に基づいて、対象者に貼付されたマーカーの三次元空間における座標を算出し、対象者の姿勢を示す値を算出する技術が開示されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2012−120648号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかし、上記特許文献1に記載された技術は、対象者の姿勢を示す情報が算出可能であるに留まっていた。対象者に関し、各種センサ装置により検出されたセンサ情報は、検出された時点での対象者の姿勢によって異なる意味を持つ場合があると考えられる。そこで、本開示では、センサ情報から対象者の姿勢を加味した有用な情報を得ることが可能な、新規かつ改良された情報処理装置及び情報処理方法を提案する。
【課題を解決するための手段】
【0006】
本開示によれば、ユーザの体のうち装着された部位の圧力分布を測定する複数のセンサ装置から測定結果を示す情報を取得する取得部と、前記センサ装置が装着された複数の部位を含んだ撮像画像に基づいて前記複数の部位の配置を推定する推定部と、前記推定部により推定された前記複数の部位の配置に基づいて、前記取得部により取得された前記測定結果を示す情報から前記複数の部位に関する情報を計算する計算部と、を備える情報処理装置が提供される。
【0007】
また、本開示によれば、ユーザの体のうち装着された部位の圧力分布を測定する複数のセンサ装置から測定結果を示す情報を取得することと、前記センサ装置が装着された複数の部位を含んだ撮像画像に基づいて前記複数の部位の配置を推定することと、推定された前記複数の部位の配置に基づいて、取得された前記測定結果を示す情報から前記複数の部位に関する情報を計算することと、を含むプロセッサにより実行される情報処理方法が提供される。
【発明の効果】
【0008】
以上説明したように本開示によれば、センサ情報から対象者の姿勢を加味した有用な情報を得ることが可能である。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
【図面の簡単な説明】
【0009】
図1】ZMPの概要を説明するための図である。
図2】片足のZMPの算出方法を説明するための図である。
図3】両足のZMPの算出方法を説明するための図である。
図4】本実施形態に係るセンシングシステムの論理的な構成の一例を示すブロック図である。
図5】本実施形態に係るARマーカーを用いた配置推定機能を説明するための図である。
図6】本実施形態に係るARマーカーを用いた配置推定機能を説明するための図である。
図7】本実施形態に係るARマーカーを用いた配置推定機能を説明するための図である。
図8】本実施形態に係るARマーカーを用いた配置推定機能を説明するための図である。
図9】本実施形態に係るARマーカーを用いた配置推定機能を説明するための図である。
図10】本実施形態に係るセンシングシステムにおいて実行される両足のZMPの計算処理の流れの一例を示すフローチャートである。
図11】本実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。
【発明を実施するための形態】
【0010】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【0011】
また、本明細書及び図面において、実質的に同一の機能構成を有する要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。例えば、実質的に同一の機能構成を有する複数の要素を、必要に応じてセンサ装置200A、200B及び200Cのように区別する。ただし、実質的に同一の機能構成を有する複数の要素の各々を特に区別する必要がない場合、同一符号のみを付する。例えば、センサ装置200A、200B及び200Cを特に区別する必要が無い場合には、単にセンサ装置200と称する。
【0012】
なお、説明は以下の順序で行うものとする。
1.概要
1.1.ZMPについて
1.2.技術的課題
2.構成例
3.機能詳細
3.1.配置推定機能
3.2.更新機能
3.3.情報取得機能
3.4.ZMP計算機能
4.動作処理例
5.ハードウェア構成例
6.まとめ
【0013】
<<1.概要>>
<1.1.ZMPについて>
本開示の一実施形態では、センサ情報から得る有用な情報の一例として、ZMP(zero moment point)に着目する。ZMPとは、床反力の圧力中心である。以下、図1図3を参照して、ZMPについて詳細に説明する。
【0014】
図1は、ZMPの概要を説明するための図である。図1の符号10は、足裏にかかる体の荷重を示すベクトルである。符号10に示すように、身体の荷重は足裏の地面に接する面全体に同符号でかかる。これらの荷重は、足裏の面の内部に存在する1点に作用する等価な力ベクトルRとしてまとめることができる。この力ベクトルRが通過する作用点が、ZMPである。
【0015】
図2は、片足のZMPの算出方法を説明するための図である。図2に示すように、足裏における任意の位置の位置ベクトルを(Pjx,Pjy)とし、当該位置において床面から受ける力のZ成分をfjzとする。片足のZMPの位置ベクトル(P,P)は、次式により算出される。
【0016】
【数1】
【0017】
図3は、両足のZMPの算出方法を説明するための図である。図3に示すように、右足のZMPの位置ベクトルを(PRx,PRy)とし、当該位置において床面から受ける力のZ成分をfRzとする。また、左足のZMPの位置ベクトルを(PLx,PLy)とし、当該位置において床面から受ける力のZ成分をfLzとする。両足のZMPの位置ベクトル(P,P)は、次式により算出される。
【0018】
【数2】
【0019】
<1.2.技術的課題>
スポーツの分野では、競技者が自身の体重移動を認識することが、上達の支援のために重要な場合がある。例えば、ゴルフのスウィング動作等の特定の動作における体重の移動に関し、動作と体重移動のタイミング、移動の量等を競技者が認識することで、上達がより早くなり得る。
【0020】
このような体重移動を測定可能な機器の一例として、人が上に乗ることが可能な平板を備え、平板に乗った物体への床反力を測定するフォースプレートがある。しかし、フォースプレートは、平板という限られた範囲内の物体やその範囲内で行われる動作に測定対象が限定されたり、設置場所が室内に限られたり、水平に設置する必要がある等の制限が課せられる場合がある。
【0021】
他の機器の一例として、インソール型の圧力分布センサがある。インソール型の圧力分布センサは、インソール上に圧力センサがひとつ以上配置され、センサを装着したユーザの足裏にかかる圧力の分布を測定可能である。インソール型の圧力分布センサは、上述した制限が課せられないため、フォースプレートよりも利便性が高いと言える。しかしながら、インソール型のセンサでの測定では、両足の配置関係(位置ベクトル)が未知であるため、上記数式2を用いて両足のZMPを算出することは困難であった。
【0022】
そこで、上記事情を一着眼点にして、本開示の一実施形態に係るセンシングシステムを創作するに至った。本実施形態に係るセンシングシステムは、ユーザの姿勢を推定して、センサ情報からユーザの姿勢を加味した有用な情報を得ることが可能である。具体的には、本実施形態に係るセンシングシステムは、ユーザの両足の姿勢を推定して、両足のインソール型のセンサの各々から得られた圧力分布に基づいて、両足のZMPを算出することが可能である。
【0023】
以上、本実施形態に係るセンシングシステムの概要を説明した。以下、図4図11を参照して、本実施形態に係るセンシングシステムについて詳細に説明する。
【0024】
<<2.構成例>>
図4は、本実施形態に係るセンシングシステム1の論理的な構成の一例を示すブロック図である。図4に示すように、本実施形態に係るセンシングシステム1は、情報処理装置100、センサ装置200及びカメラ300を含む。
【0025】
センサ装置200は、対象物に関する情報を測定する機能を有する。例えば、センサ装置200は、ユーザの体のうち装着された部位の圧力分布を測定する圧力分布センサにより実現される。例えば、センサ装置200は、ユーザの両足の足裏に装着される上述したインソール型の圧力分布センサとして実現されてもよい。両足のZMPは、例えばゴルフのスウィング動作に関して有用である。インソール型の圧力分布センサを用いる場合、情報処理装置100は、ゴルフやスキーのように、シューズやスキー板等の道具を履く競技についても、両足のZMPを計算することが可能となる。また、センサ装置200は、ユーザの両手に装着されるグローブ型の圧力分布センサとして実現されてもよい。両手のZMPは、例えば体操選手の倒立動作に関して有用である。他にも、センサ装置200は、加速度センサ及びジャイロセンサ等の慣性センサ、筋電センサ、神経センサ、脈拍センサ及び体温センサ等の生体センサ、振動センサ又は地磁気センサ等により実現されてもよい。以下では、インソール型の圧力分布センサが用いられる例を想定して説明する。
【0026】
カメラ300は、画像(静止画像/動画像)を撮像する機能を有する。カメラ300は、撮像レンズ、絞り、ズームレンズ、及びフォーカスレンズ等により構成されるレンズ系、レンズ系に対してフォーカス動作やズーム動作を行わせる駆動系、レンズ系で得られる撮像光を光電変換して撮像信号を生成する固体撮像素子アレイ等を有する。固体撮像素子アレイは、例えばCCD(Charge Coupled Device)センサアレイや、CMOS(Complementary Metal Oxide Semiconductor)センサアレイにより実現されてもよい。カメラ300は、デジタル信号とされた撮影画像のデータを情報処理装置100へ出力する。カメラ300と情報処理装置100との間では有線通信が行われてもよいし、無線通信が行われてもよい。
【0027】
情報処理装置100は、複数のセンサ装置200から得られたセンサ情報から、ユーザの姿勢を加味した有用な情報を算出する。図4に示すように、情報処理装置100は、通信部110、記憶部120及び制御部130を含む。
【0028】
通信部110は、外部機器との間でデータの送受信を行う通信モジュールである。例えば、通信部110は、センサ装置200及びカメラ300との間でデータの送受信を行う。通信部110は、例えば無線LAN(Local Area Network)、Wi−Fi(Wireless Fidelity、登録商標)、赤外線通信、Bluetooth(登録商標)等の方式で、センサ装置200及びカメラ300と直接的に、又はネットワークアクセスポイント等の他の通信ノードを経由して間接的に通信する。通信部110は、有線LAN等の方式で、外部機器と有線通信してもよい。
【0029】
記憶部120は、所定の記録媒体に対してデータの記録再生を行う部位である。例えば、記憶部120は、複数のセンサ装置200から受信されたセンサ情報を記憶する。
【0030】
制御部130は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置100内の動作全般を制御する。図4に示すように、制御部130は、取得部131、推定部133及び計算部135として機能する。
【0031】
取得部131は、複数のセンサ装置200からセンサ情報を取得する機能を有する。推定部133は、センサ装置200が装着された複数の部位の配置を推定する機能を有する。計算部135は、取得部131により取得されたセンサ情報から推定部133による推定結果を加味した有用な情報を計算する機能を有する。
【0032】
以上、本実施形態に係るセンシングシステム1の構成例を説明した。続いて、図5図9を参照して、本実施形態に係るセンシングシステム1が有する機能を詳細に説明する。
【0033】
<<3.機能詳細>>
<3.1.配置推定機能>
情報処理装置100(例えば、推定部133)は、センサ装置200の配置を推定する。本実施形態では、推定部133は、インソール型のセンサ装置200のように、互いに離隔し、且つ動的に配置関係が変化し得る複数のセンサ装置200の配置を推定する。
【0034】
具体的には、まず、推定部133は、センサ装置200が装着された複数の部位を含んだ撮像画像に基づいて当該複数の部位の配置を推定する。例えば、推定部133は、インソール型のセンサ装置200が装着された両足をカメラ300により撮像した撮像画像に基づいて、両足の配置を推定する。そして、推定部133は、複数の部位の配置の推定結果に基づいて、複数のセンサ装置200の配置を推定する。例えば、推定部133は、推定された右足と左足との成す角度や距離に、足とインソール型のセンサ装置200との相対的な配置関係を反映させることで、インソール上に設けられた圧力センサの各々の位置ベクトルを推定する。
【0035】
ここで、撮像画像に基づく配置の推定方法は多様に考えられる。
【0036】
例えば、推定部133は、撮像画像に含まれる複数の部位を画像認識することで、複数の部位の配置を推定してもよい。具体的には、推定部133は、靴の形状、模様及びサイズ等のデザイン情報を予め取得しておき、両足の靴が写された撮像画像を対象としてデザイン情報に基づいた画像認識を行うことで、両足の配置を推定してもよい。推定部133は、サーバ等からデザイン情報を取得してもよいし、靴に設けられたQRコード(登録商標)等の情報コードを画像認識することでデザイン情報を取得してもよい。
【0037】
例えば、推定部133は、撮像画像に含まれる複数の部位に設けられたマーカーの各々の位置及び姿勢を推定することで、複数の部位の配置を推定してもよい。具体的には、推定部133は、両足の靴にそれぞれ設けられたAR(Augmented Reality)マーカーが写された撮像画像に基づいて、ARマーカーの位置及び姿勢を推定することで、両足の配置を推定してもよい。例えば、推定部133は、靴の形状、並びにARマーカーの形状、ARマーカーの取り付け位置及び取り付け角度等を示すデザイン情報を予め取得しておく。そして、推定部133は、ARマーカーの位置及び姿勢を推定し、デザイン情報を用いて推定結果から両足の配置を算出する。推定部133は、サーバ等からデザイン情報を取得してもよいし、靴に設けられたQRコード等の情報コードを画像認識することでデザイン情報を取得してもよい。また、推定部133は、靴のどの部分にARマーカーが設けられているかを示す情報を、サーバ等から取得してもよい。これにより、ARマーカーの認識のための負荷が軽減される。
【0038】
ARマーカーの位置及び姿勢を推定するためのアルゴリズムとしては、例えば「加藤博一,Mark Billinghurst,浅野浩一,橘啓八郎:マーカー追跡に基づく拡張現実感システムとそのキャリブレーション,TVRSJ,Vol.4,No.4,1999」に開示されている。以下、図5図9を参照して、アルゴリズムの一例を説明する。
【0039】
(アルゴリズム例)
図5図9は、本実施形態に係るARマーカーを用いた配置推定機能を説明するための図である。
【0040】
図5は、センシングシステム1の設定例を示している。図5に示した例では、情報処理装置100はスマートフォンであり、センサ装置200A及び200Bはインソール型の圧力分布センサであり、カメラ300はユーザの後ろからユーザの両足を撮像する。図5に示すように、ユーザが両足に履く靴の踵部分にARマーカー20A及び20Bが設けられており、カメラ300はARマーカー20A及び20Bを撮像することができる。なお、図5に示した例以外にも、例えば両足の甲を上から撮影するカメラが設けられ、両足の甲にARマーカーが設けられていてもよい。
【0041】
図6は、カメラ300により撮像された撮像画像の一例を示している。図6に示すように、カメラ300により撮影された撮像画像には、ARマーカー20A及び20Bが含まれている。推定部133は、以下に説明するアルゴリズムを用いて、図6に一例を示した撮像画像から、ARマーカー20A及び20Bの位置及び姿勢をそれぞれ推定する。
【0042】
本アルゴリズムでは、マーカー座標系(3D)、カメラ座標系(3D)、理想スクリーン座標系(2D)及び観測スクリーン座標系(2D)の4つの座標系を用いる。マーカー座標系は、仮想オブジェクトを表現する際に用いる座標系である。カメラ座標系は、焦点位置を原点、画像平面に垂直な方向をZ軸、画像のx軸及びy軸に平行な方向をそれぞれX軸及びY軸とした座標系である。なお、マーカー座標系で表現された点は、回転移動及び平行移動によりカメラ座標系に変換可能である。理想スクリーン座標系は、投影される画像平面の座標系である。観測スクリーン座標系は、実際のカメラ画像の座標系であり、理想スクリーン座標系から広角レンズのゆがみを考慮した座標系である。理想スクリーン座標系とカメラ座標系との間は、透視変換モデルを用いて変換可能である。理想スクリーン座標系とマーカー座標系とのの間も、透視変換モデルを用いて変換可能である。
【0043】
本アルゴリズムでは、マーカー座標系(3D)からカメラ座標系(3D)への座標変換行列を求める。この座標変換行列は、回転移動成分と平行移動成分とから成る。
【0044】
事前に、推定部133は、理想スクリーン座標系及びカメラ座標系の透視変換モデルのパラメータを、キャリブレーションにより求める。
【0045】
カメラ画像が取得されると、推定部133は、カメラ画像(観測スクリーン座標系)から歪みを補正して、理想スクリーン座標系上のマーカーの頂点位置を求める。具体的には、推定部133は、マーカーを二値化(白黒画像化)し、マーカーの輪郭を検出して頂点位置を求める。
【0046】
次いで、推定部133は、事前に算出しておいた透視変換モデルを用いて、理想スクリーン座標系上のマーカーの頂点位置をカメラ座標系に写像する。具体的には、図7に示すように、推定部133は、投影面31に写ったマーカーの4辺をカメラ300の投影方向に伸ばして面32を作る。そして、推定部133は、事前のカメラキャリブレーションによって得られたカメラの内部パラメータを用いて、これらの辺とカメラの光学中心を結んだ4つの面33を作る。
【0047】
そして、推定部133は、向かい合った面の交線ベクトルを求める。具体的には、推定部133は、図8に示すように、向かい合った面33A及び33Bの交線ベクトル34Aを求める。また、推定部133は、図9に示すように、向かい合った面33C及び33Dの交線ベクトル34Bを求める。さらに、推定部133は、2つの交線ベクトルから外積を計算する。これにより、マーカーの回転移動成分が求まる。
【0048】
次に、推定部133は、マーカーの4つの頂点の、画像座標系における位置とマーカーの大きさとからマーカー座標系のおける位置を求める。そして、推定部133は、マーカー座標系におけるマーカーの位置、回転移動成分の情報、及びキャリブレーションの情報から、マーカーの平行移動成分の情報を求める。
【0049】
以上説明した処理により、推定部133は、キャリブレーション情報、マーカーの回転移動成分及び平行移動成分の情報を求める。推定部133は、これらの情報を用いることで、理想スクリーン座標系上のマーカーの位置情報から、カメラ座標系でのマーカーの位置及び姿勢を求めることができる。
【0050】
<3.2.更新機能>
情報処理装置100(例えば、推定部133)は、センサ装置200が装着された複数の部位の配置を、逐次的に推定して推定結果を更新してもよい。例えば、推定部133は、複数の部位の動作に応じて繰り返し配置を推定してもよい。例えば、走るユーザと並走してカメラ300が移動する機構により継続的に撮像されたユーザの画像から、推定部133は、走るユーザの両足の配置を繰り返し推定する。
【0051】
これにより、センシングシステム1は、動くユーザの両足の配置をリアルタイムに取得することが可能である。例えば、センシングシステム1は、フォースプレートの平板よりも広い範囲を動き回るユーザについても、両足のZMPを継続的に算出することができる。また、センシングシステム1は、走るユーザの着地した両足の幅から歩幅等の情報を算出することができる。
【0052】
<3.3.情報取得機能>
(情報取得機能)
情報処理装置100(例えば、取得部131)は、複数のセンサ装置200からセンサ情報を取得する。
【0053】
例えば、取得部131は、センサ装置200から送信されたセンサ情報を取得してもよい。例えば、センサ装置200は、通信用インタフェースを有し、センサ情報を情報処理装置100へ無線通信又は有線通信を用いて送信する。そして、情報処理装置100は、センサ装置200から送信されたセンサ情報を、通信部110を経由して取得する。
【0054】
例えば、取得部131は、撮像画像に含まれる複数の部位に設けられた表示装置に表示された表示内容からセンサ情報を取得してもよい。例えば、靴の踵や甲等にセンサ情報を表す情報コードを表示する電子ペーパー等の表示装置が形成され、インソール型のセンサ装置200がセンサ情報を表示装置に表示させる。そして、取得部131は、この表示装置が撮像された撮像画像を画像認識することで、情報コードに表されたセンサ情報を取得する。この場合、センサ装置200は、通信用インタフェースを有さなくてもよく、且つ情報処理装置100は、通信部110を有さなくてもよい。
【0055】
<3.4.ZMP計算機能>
情報処理装置100(例えば、計算部135)は、推定部133により推定された複数の部位の配置に基づいて、取得部131により取得されたセンサ情報から複数の部位に関する情報を計算する。例えば、計算部135は、センサ装置200の配置に基づいて、複数のセンサ情報から、センサ装置200が装着された複数の部位の全体における情報を計算する。このような情報としては、例えばZMPが挙げられる。インソール型のセンサ装置200に関しては、計算部135は、推定部133により推定されたインソール上に配置された圧力センサの位置ベクトル、及び取得部131により取得されたセンサ情報を上記数式1及び2に代入することで、両足のZMPを計算する。
【0056】
以上、本実施形態に係るセンシングシステム1が有する機能を詳細に説明した。続いて、図10を参照して、本実施形態に係るセンシングシステム1の動作処理例を説明する。
【0057】
<<4.動作処理例>>
図10は、本実施形態に係るセンシングシステム1において実行される両足のZMPの計算処理の流れの一例を示すフローチャートである。
【0058】
まず、ステップS102で、センシングシステム1は、初期化処理を行う。例えば、センシングシステム1は、情報処理装置100がカメラ300から撮像画像を取得するための設定や、カメラ300の内部パラメータの設定、ARマーカーのロード、及びカメラ300による撮像の開始処理等を行う。
【0059】
次いで、ステップS104で、センシングシステム1は、センサ情報を取得する。例えば、情報処理装置100は、ユーザの両足に装着されたインソール型のセンサ装置200から、圧力分布を受信する。
【0060】
次に、ステップS106で、センシングシステム1は、撮像画像を取得する。例えば、ユーザの後ろに設けられたカメラ300が、ユーザが両足に履く靴の踵部分に設けられたARマーカーを含む撮像画像を撮像して、情報処理装置100へ送信する。
【0061】
次いで、ステップS108で、センシングシステム1は、ARマーカーの位置及び姿勢を推定する。例えば、情報処理装置100は、上述したアルゴリズムを用いて、両足の踵部分に設けられたARマーカーの位置及び姿勢を推定する。
【0062】
次に、ステップS110で、センシングシステム1は、センサ装置200の配置を推定する。例えば、情報処理装置100は、ARマーカーの位置及び姿勢に基づいて、インソール上に設けられた圧力センサの各々の位置ベクトルを推定する。
【0063】
そして、ステップS112で、センシングシステム1は、両足のZMPを計算する。例えば、情報処理装置100は、推定した圧力センサの位置ベクトル及び取得したセンサ情報を上記数式1及び2に代入することで、両足のZMPを計算する。
【0064】
終了されるまでの間(ステップS114/NO)、上記ステップS104〜S112が繰り返される。終了される場合(ステップS114/YES)、ステップS116で、センシングシステム1は、終了処理を行う。例えば、センシングシステム1は、カメラ300の撮影終了処理やクリーンアップ処理等を行う。
【0065】
<<5.ハードウェア構成例>>
最後に、図11を参照して、本実施形態に係る情報処理装置のハードウェア構成について説明する。図11は、本実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。なお、図11に示す情報処理装置900は、例えば、図4に示した情報処理装置100を実現し得る。本実施形態に係る情報処理装置100による情報処理は、ソフトウェアと、以下に説明するハードウェアとの協働により実現される。
【0066】
図11に示すように、情報処理装置900は、CPU(Central Processing Unit)901、ROM(Read Only Memory)902、RAM(Random Access Memory)903及びホストバス904aを備える。また、情報処理装置900は、ブリッジ904、外部バス904b、インタフェース905、入力装置906、出力装置907、ストレージ装置908、ドライブ909、接続ポート911及び通信装置913を備える。情報処理装置900は、CPU901に代えて、又はこれとともに、DSP若しくはASIC等の処理回路を有してもよい。
【0067】
CPU901は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置900内の動作全般を制御する。また、CPU901は、マイクロプロセッサであってもよい。ROM902は、CPU901が使用するプログラムや演算パラメータ等を記憶する。RAM903は、CPU901の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。CPU901は、例えば、図4に示す制御部130を形成し得る。
【0068】
CPU901、ROM902及びRAM903は、CPUバスなどを含むホストバス904aにより相互に接続されている。ホストバス904aは、ブリッジ904を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス904bに接続されている。なお、必ずしもホストバス904a、ブリッジ904および外部バス904bを分離構成する必要はなく、1つのバスにこれらの機能を実装してもよい。
【0069】
入力装置906は、例えば、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチ及びレバー等、ユーザによって情報が入力される装置によって実現される。また、入力装置906は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置900の操作に対応した携帯電話やPDA等の外部接続機器であってもよい。さらに、入力装置906は、例えば、上記の入力手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、CPU901に出力する入力制御回路などを含んでいてもよい。情報処理装置900のユーザは、この入力装置906を操作することにより、情報処理装置900に対して各種のデータを入力したり処理動作を指示したりすることができる。
【0070】
出力装置907は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で形成される。このような装置として、CRTディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ELディスプレイ装置及びランプ等の表示装置や、スピーカ及びヘッドホン等の音声出力装置や、プリンタ装置等がある。出力装置907は、例えば、情報処理装置900が行った各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置900が行った各種処理により得られた結果を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
【0071】
ストレージ装置908は、情報処理装置900の記憶部の一例として形成されたデータ格納用の装置である。ストレージ装置908は、例えば、HDD等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により実現される。ストレージ装置908は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置908は、CPU901が実行するプログラムや各種データ及び外部から取得した各種のデータ等を格納する。ストレージ装置908は、例えば、図4に示す記憶部120を形成し得る。
【0072】
ドライブ909は、記憶媒体用リーダライタであり、情報処理装置900に内蔵、あるいは外付けされる。ドライブ909は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体に記録されている情報を読み出して、RAM903に出力する。また、ドライブ909は、リムーバブル記憶媒体に情報を書き込むこともできる。
【0073】
接続ポート911は、外部機器と接続されるインタフェースであって、例えばUSB(Universal Serial Bus)などによりデータ伝送可能な外部機器との接続口である。本実施形態では、接続ポート911は、例えば、図4に示すカメラ300が接続され得る。
【0074】
通信装置913は、例えば、ネットワーク920に接続するための通信デバイス等で形成された通信インタフェースである。通信装置913は、例えば、有線若しくは無線LAN(Local Area Network)、LTE(Long Term Evolution)、Bluetooth(登録商標)又はWUSB(Wireless USB)用の通信カード等である。また、通信装置913は、光通信用のルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ又は各種通信用のモデム等であってもよい。この通信装置913は、例えば、インターネットや他の通信機器との間で、例えばTCP/IP等の所定のプロトコルに則して信号等を送受信することができる。通信装置913は、例えば、図4に示す通信部110を形成し得る。
【0075】
なお、ネットワーク920は、ネットワーク920に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、ネットワーク920は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ethernet(登録商標)を含む各種のLAN(Local Area Network)、WAN(Wide Area Network)などを含んでもよい。また、ネットワーク920は、IP−VPN(Internet Protocol−Virtual Private Network)などの専用回線網を含んでもよい。
【0076】
以上、本実施形態に係る情報処理装置900の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて実現されていてもよいし、各構成要素の機能に特化したハードウェアにより実現されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
【0077】
なお、上述のような本実施形態に係る情報処理装置900の各機能を実現するためのコンピュータプログラムを作製し、PC等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
【0078】
<<6.まとめ>>
以上、図1図11を参照して、本開示の一実施形態について詳細に説明した。上記説明したように、情報処理装置100は、ユーザの体のうち装着された部位の圧力分布を測定する複数のセンサ装置200からセンサ情報を取得し、センサ装置200が装着された複数の部位を含んだ撮像画像に基づいて当該複数の部位の配置を推定する。そして、情報処理装置100は、推定された複数の部位の配置に基づいて、取得されたセンサ情報から複数の部位に関する情報を計算する。これにより、情報処理装置100は、センサ情報から対象者の姿勢を加味した、例えば両足のZMP等の有用な情報を得ることが可能である。
【0079】
例えば、センサ装置200は、インソール型であってもよい。この場合、情報処理装置100は、フォースプレートを用いなくても、両足のZMPを計算することができる。また、ゴルフのスイング動作のように、地面から足が離れるような動作に関しては、情報処理装置100は、両足の姿勢などの圧力分布以外の情報を得ることができる。
【0080】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【0081】
例えば、上記実施形態では、情報処理装置100はスマートフォンとして実現される例を説明したが、本技術はかかる例に限定されない。例えば、情報処理装置100は、タブレット端末、PC又はネットワーク上のサーバ等の任意の装置として実現されてもよい。
【0082】
また、情報処理装置100は、単独の装置として実現されてもよく、一部または全部が別々の装置として実現されても良い。例えば、図4に示した情報処理装置100の機能構成例のうち、記憶部120及び制御部130が、通信部110とネットワーク等で接続されたサーバ等の装置に備えられていても良い。また、情報処理装置100は、センサ装置200又はカメラ300と一体的に形成されてもよい。
【0083】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【0084】
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
ユーザの体のうち装着された部位の圧力分布を測定する複数のセンサ装置から測定結果を示す情報を取得する取得部と、
前記センサ装置が装着された複数の部位を含んだ撮像画像に基づいて前記複数の部位の配置を推定する推定部と、
前記推定部により推定された前記複数の部位の配置に基づいて、前記取得部により取得された前記測定結果を示す情報から前記複数の部位に関する情報を計算する計算部と、
を備える情報処理装置。
(2)
前記推定部は、前記複数の部位の配置の推定結果に基づいて、前記複数のセンサ装置の配置を推定する、前記(1)に記載の情報処理装置。
(3)
前記計算部は、前記複数の部位の全体におけるZMP(zero moment point)を計算する、前記(1)又は(2)に記載の情報処理装置。
(4)
前記複数の部位は、前記ユーザの両足である、前記(1)〜(3)のいずれか一項に記載の情報処理装置。
(5)
前記センサ装置は、インソール型である、前記(4)に記載の情報処理装置。
(6)
前記複数の部位は、前記ユーザの両手である、前記(1)〜(3)のいずれか一項に記載の情報処理装置。
(7)
前記推定部は、前記撮像画像に含まれる前記複数の部位に設けられたマーカーの各々の位置及び姿勢を推定することで、前記複数の部位の配置を推定する、前記(1)〜(6)のいずれか一項に記載の情報処理装置。
(8)
前記推定部は、前記撮像画像に含まれる前記複数の部位を画像認識することで、前記複数の部位の配置を推定する、前記(1)〜(7)のいずれか一項に記載の情報処理装置。
(9)
前記推定部は、前記複数の部位の動作に応じて繰り返し推定する、前記(1)〜(8)のいずれか一項に記載の情報処理装置。
(10)
前記取得部は、前記センサ装置から送信された前記測定結果を示す情報を取得する、前記(1)〜(9)のいずれか一項に記載の情報処理装置。
(11)
前記取得部は、前記撮像画像に含まれる前記複数の部位に設けられた表示装置に表示された表示内容から前記測定結果を示す情報を取得する、前記(1)〜(9)のいずれか一項に記載の情報処理装置。
(12)
ユーザの体のうち装着された部位の圧力分布を測定する複数のセンサ装置から測定結果を示す情報を取得することと、
前記センサ装置が装着された複数の部位を含んだ撮像画像に基づいて前記複数の部位の配置を推定することと、
推定された前記複数の部位の配置に基づいて、取得された前記測定結果を示す情報から前記複数の部位に関する情報を計算することと、
を含むプロセッサにより実行される情報処理方法。
【符号の説明】
【0085】
1 センシングシステム
100 情報処理装置
110 通信部
120 記憶部
130 制御部
131 取得部
133 推定部
135 計算部
200 センサ装置
300 カメラ
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
【国際調査報告】