(58)【調査した分野】(Int.Cl.,DB名)
前記ドック用装置底部に着脱可能に係合され、第2の接続端子を介して、前記ドック用装置と電気的に接続され、前記第1の接続端子及び前記第2の接続端子を通じて、電源を供給する電源用装置をさらに備えることを特徴とする請求項1に記載の情報端末装置。
前記装着者身体の中心線上に定義される揺動点に対応した身体部位に配置され、当該揺動点の三次元的な変位、又は加速度を検出して、当該揺動点の揺動運動が測定可能な揺動点センサーをさらに備え、
前記体動算出部は、前記体動センサー、及び揺動点センサーによる各検出結果と、これら前記体動センサー、及び揺動点センサーの相対位置関係の変化に基づいて、前記装着者の体動を体動再現データとして算出する
ことを特徴とする請求項9に記載のモーションキャプチャシステム。
【発明を実施するための形態】
【0031】
[第1実施形態]
以下に添付図面を参照して、本発明に係る情報端末装置の実施形態を詳細に説明する。
図1は、第1実施形態に係る情報端末装置100の全体構成を示す斜視図であり、
図2は、第1実施形態に係る情報端末装置100の構成を分解した状態を示す斜視図である。また、
図3は、第1実施形態に係るGPSアンテナと無線アンテナとの位置関係を示す上面図である。なお、以下、情報端末装置100は、腕に接触する面を下面と称し、反対側の面を上面と称するものとする。
【0032】
本実施形態に係る情報端末装置100は、
図1及び
図2に示すように、ベルトによってユーザーが装着可能な腕時計タイプのウェアラブル端末であり、ユーザーの腕に装着可能な装着用端末1及びドック用装置2と、ドック用装置2と着脱可能に係合される電源用装置3とから構成されている。なお、装着用端末1とドック用装置2も相互に着脱可能となっており、必要に応じて適宜分離・合体できるようになっている。また、装着用端末1やドック用装置2は、使用目的によりそれぞれの追加機能やデザインが異なる多数の種類があり、目的に応じて、適宜選択して組み合せを自由に変えることができる。
【0033】
なお、装着用端末1とドック用装置2とは、磁石方式により固定されるリース機構や、ロック機構を介して、着脱するようにしてもよい。具体的には、
図1に示すように、ドック用装置2上面の所定の箇所にマグネット80a及び80bを設ける。このマグネット80a及び80bは、磁石方式のリース機構であり、装着用端末1下面において、上記マグネット80a及び80bに対応する箇所に、磁石に吸着される部材を配置している。
【0034】
装着用端末1は、上面に表示部131を有する外装ケース10と、外装ケース10の両側部にそれぞれ連結可能なベルト部材4a,4bとを備えている。ベルト部材4a,4bは、装着用端末1を腕に装着するための部材であり、ユーザーの用途に応じて種々のベルトを用いることができ、金属ベルト、ラバーベルト、皮ベルト、ナイロンベルトなど種々のベルトが着脱可能となっている。また、装着用端末1は、ベルト部材4a、4bやその他のアタッチメントを用いて、自転車や自動車、その他の機器へのマウントなど、機能の拡張が可能な構造となっている。
【0035】
外装ケース10は、内部に情報処理機能を有するPCBなどを搭載するケース部材であって、上面側及び下面側のそれぞれに開口が形成されたフレームである。そして、外装ケース10には、上面側の開口に表示部131が配置され、下面側の開口に裏蓋19が配置される。本実施形態において、外装ケース10は、外装ケース10の下面側の裏蓋及び中心部分が、プラスチック等の非導電性部材で形成され、両端部分はステンレスなどの金属部材で形成され、上面部分は、ポリウレタンなどの合成樹脂で形成されている。
【0036】
外装ケース10の表示部131は、ユーザーにメッセージや入力文字などを表示させるディスプレイであり、その上面にタッチパネルが一体的に形成されている。このタッチパネルは、感圧式や光学式、静電式、電磁誘導式等の検出方式によってディスプレイ上のタッチされた位置を、例えばディスプレイを構成するドット単位で検出し、検出した位置(以下、適宜「タッチ位置」という。)の信号をタッチ位置として出力する。タッチ位置は、タッチパネルの検出面の座標系として設定されているXY座標系で表現される。ユーザーは、タッチペンPNや、指等を用いてディスプレイ上でのタッチ操作により各種の操作入力を行うことができる。
【0037】
防水対応しているこのタッチパネルは、水面においても、特殊な静電容量検知方式により、ディスプレイ上のタッチされた位置を検出し、検出信号をタッチ位置として出力する。タッチ位置は、タッチパネルの検出面の座標系として設定されているXY座標系で表現される。ユーザーは、水面下でも、ディスプレイ上でのタッチ操作により各種の操作入力を行うことができる。なお、時計本体にも装備されている機械式のボタンでも、時計本体の操作は可能である。
【0038】
この表示部131は、ベルト部材4a,4bが連結される両側部を結ぶ方向(
図1のY軸方向)が長辺となる略長方形状となっており、表示部131は、ベルト部材4a,4bが連結される両側部を結ぶ方向に屈曲している。具体的には、
図1及び
図2に示すように、表示部131は、Y軸方向と直交するX軸方向と平行に2つの折り目132a及び132bを有しており、表示部131の液晶パネルは、折り目132a及び132bを介して、山折りに屈曲されて異なる角度で形成された3つの表示画面131a〜131cが形成されている。
【0039】
また、装着用端末1には、GPSアンテナ18a,無線アンテナ18bが外装ケース10の外縁部にそれぞれ配置されている。GPSアンテナ18aは、図示しないSAWフィルタが抽出した1.5GHz帯の衛星信号から航法メッセージに含まれる衛星軌道情報、GPS時刻情報、或いは位置情報等の衛星情報を取得する無線通信用のアンテナ(第1のアンテナ)であり、ステンレスなどの導電性部材で形成されている。無線アンテナ18bは、極低電力の近距離無線規格であるBTLE(Bluetooth(登録商標) Low Energy)及びANT+用のアンテナ(第1のアンテナ)であり、各種のセンサーや体に身につける小型の他の装置との通信を行うためのものである。この無線アンテナ18bも、ステンレスなどの導電性部材で形成されている。なお、本実施形態では、GPSアンテナ18a,無線アンテナ18bの左右の配置を図示した例のようにしたが、本発明はこれに限定されず、適宜その左右の配置を変更してもよい。
【0040】
また、本実施形態において、装着用端末1には、外装ケース10の側面において使用者が手動操作するための操作ボタン12a〜12cが装備されており、本実施形態では、外装ケース10の一方の側面に3つの操作ボタン12a〜12cが配置されている。さらに、本実施形態において装着用端末1には、防水機能を有しているとともに、GPS衛星からの電波(無線信号)を処理して速度情報や位置情報を取得して表示する機能も有している。さらに、装着用端末1には、加速度センサーなどを内蔵させて、体動による加速度の測定に基づいた行動計としての機能を設けることもできる。
【0041】
一方、ドック用装置2は、装着用端末1と着脱可能に係合される情報端末装置であり、装着用端末1の外装ケース10と同サイズであって、薄板状の略矩形をなす函体である。本実施形態において、ドック用装置2は、例えば、硬化プラスチック等の合成樹脂で形成され、内部にCPUなどの情報端末装置を備えている。そして、本実施形態において、このドック用装置2は、その上面にドック側接続端子(第1の接続端子)21が形成されており、ドック側接続端子21を介して装着用端末1の外装ケース底部である裏蓋19に着脱可能に係合されている。
【0042】
具体的に、装着用端末1の底部である裏蓋19には、ドック側接続端子21に対応する位置に端末側接続端子11が設けられており、ドック側接続端子21が端末側接続端子11と接触することで、ドック用装置2と装着用端末1とが電気的に接続されるようになっている。そして、装着用端末1及びドック用装置2は、このドック側接続端子21を介して、ドック用装置2から装着用端末1に対して、電源を供給したり、表示部131に表示するためのデータの送受信を行うようになっている。
【0043】
また、このドック用装置2には、バッテリーが搭載されているとともに、無線電波を介して非接触でデータの読出しや書き込みが可能なRFID通信機能を有しており、ドック用装置2に設けられた無線通信用の無線アンテナ(第2のアンテナ)24を用いて、外部のリーダライタ装置と無線通信が可能となっている。この無線アンテナ24は、外部のリーダライタ装置が発信する弱い電波を利用してデータを送受信する非接触式の無線通信用(NFC(Near Field Communication))のアンテナである。
【0044】
そして、本実施形態において、この無線アンテナ24と、装着用端末1のGPSアンテナ18aや、無線アンテナ18bとは、
図3に示すように、平面視において重複しないように設置されている。具体的に、この無線アンテナ24は、
図3に示すように、ドック用装置2本体の外装ケース10底部と重複するように配置されている。そして、装着用端末1に設けられたGPSアンテナ18a及び無線アンテナ18bは、外装ケース10の両端に設けられており、無線アンテナ24と干渉しないように配置されている。
【0045】
電源用装置3は、ドック用装置2底部に着脱可能に係合され、装着用端末1及びドック用装置2に対して電源を供給する装置であり、薄板状の略矩形をなす硬化プラスチック等の樹脂製の函体である。本実施形態において、電源用装置3は、ユーザー宅などの室内設置型であってもよく、自動車、自転車などに設置される携帯型であってもよい。ここで、室内設置型である場合には、コンセントと電源ケーブルを介して電力が供給され、一方、携帯型である場合には、外部のACアダプタ機器から供給された電源を蓄積するバッテリーを備えるようにしてもよい。なお、このバッテリーには、交流を直流に変換する変圧器や整流器、安定化回路などを内蔵させてもよい。
【0046】
また、本実施形態において、電源用装置3には、パーソナルコンピュータ等の外部装置と電気的に接続されるUSB端子33を備えている。USB端子33は、電源用装置3の外部に設けられ、USBケーブルを介して外部装置と接続される外部端子であって、電源用装置3側部に配置されたUSB端子33を保護するコネクタ32内に設置されている。
【0047】
コネクタ32は、
図1及び
図2に示すように、外装ケース10の側部に配置されて内部にUSB端子33が配置される筒状部材35と、筒状部材35の空間内において、USB端子33及びその周縁の隙間を覆うようにUSB端子33に嵌合される蓋部34とから構成されている。このような筒状部材35及び蓋部34によってUSB端子33は、防水性を有している。なお、USB端子33の規格としては、シリーズA及びB型のUSB、ミニUSB、マイクロUSBなど種々のUSB端子を用いることができ、また、外部接続端子としてはUSB端子に限定するものではなく、例えば電源端子やLAN、電話、その他のモジュラーコネクタに適用することができる。
【0048】
そして、本実施形態において電源用装置3は、ドック用装置2底部に着脱可能に係合され、USB端子33及びACアダプタ機器から供給された電源、及びバッテリー内に蓄積された電源をドック用装置2及び装着用端末1に電源を供給する機能を有している。具体的に、電源用装置3の上面であってドック用装置2のドック側接続端子21に対応する位置に、電源装置側接続端子(第2の接続端子)31が突出されており、電源用装置3がドック用装置2底部に装着された状態では、ドック側接続端子21と電源装置側接続端子31とが接触するようになっている。これにより、電源装置側接続端子31を介して、ドック用装置2と電気的に接続され、ドック用装置2に対して電源を供給している。また、ドック側接続端子21は、装着用端末1の底面に配置された端末側接続端子11と電気的に接触しているので、ドック側接続端子21及び電源装置側接続端子31を通じて、装着用端末1に対しても電源を供給するようになっている。
【0049】
なお、端末側接続端子11のピンレイアウトは、
図5(a)に示すように横一線に配置する場合の他、
図5(b)に示すように、ピンを互い違いに配置するようにしてもよい。
【0050】
また、電源用装置3は、ドック側接続端子21及び電源装置側接続端子31を通じて、装着用端末1及びドック用装置2とデータの送受信を行うデータ通信部としての機能も備えており、電源用装置3の外部に設けられ、USB端子33と係合する外部端子を介して外部装置とデータの送受信を行って、ドック側接続端子21及び電源装置側接続端子31にデータを送受信するようになっている。
【0051】
なお、電源用装置3の構成は、使用される用途に応じて変更可能であり、例えば、テーブル等に設置される場合には、下面に設置台が設けられ、自転車に設置される場合には、ハンドル部分に収納又は固定するためのアタッチメント部品を取り付けられる。
【0052】
(装着用端末1の内部構成)
次いで、装着用端末1の内部構成について説明する。
図4(a)は、本実施形態に係る装着用端末1を上面より示す上面図であり、同図(b)は、同図(a)におけるA−A断面図の一部である。また、
図5は、本実施形態に係る装着用端末1の内部構造を裏面から示した説明図である。
【0053】
外装ケース10の内部空間において、外装ケース10の側方には、
図4(b)に示すように、GPSアンテナ18a及び無線アンテナ18bが配置されている。このGPSアンテナ18a及び無線アンテナ18bは、
図4(b)に示すように、外装ケース10の外側に位置する本体181と、本体181から内側へ向かって外装ケース10を挿通する突出部184を備え、その突出部184は、外装ケース10の内部においてアンテナスプリング16と接触するように配置されている。アンテナスプリング16は、ステンレスなどの導電性部材で形成され、GPSアンテナ18a及び無線アンテナ18bと、GPSやBTLEの受信用のICチップが搭載された各受信部とを電気的に接続する接続端子であり、一端が突出部184と接触し、他端が各受信部と接触されるようになっている。したがって、GPS衛星から送信されるGPS信号は、GPSアンテナ18aを介してGPS受信部119aによって受信され、無線信号は、無線アンテナ18bを介して無線通信部119bによって受信される。
【0054】
また、GPSアンテナ18a,無線アンテナ18bと外装ケース10との間には、突出部184の外周を挟み込むように保持するOリング182が形成されており、これにより、GPSアンテナ18と外装ケース10とを固定し、外装ケース10内を密閉にしている。なお、このOリング182は、ステンレスなどの導電性部材で形成されている。
【0055】
また、装着用端末1に係る外装ケース10の内部空間には、
図4(b)に示すように、表示部131(上面)から裏蓋19側(下面側)に向かって順に、表示部131、表示部支持板15、アンテナスプリング16、回路基板17、及び裏蓋19が配置されている。
【0056】
表示部131は、操作信号を入力する入力デバイスであるタッチパネルであって、表示部支持板15上にグラフィックを表示する表示パネル136と、表示パネル136に表示されたグラフィックの座標位置に対応した操作信号を受け付けるタッチセンサー135と、タッチセンサー135と表示パネル136とを保護する保護カバー134とから構成されている。
【0057】
表示パネル136は、有機EL(OLED(Organic Light-Emitting Diode))や電子ペーパーを用いたパネルなどや、フィルム液晶などで形成され、フレキシブルプリント回路基板176,177を介して、回路基板17と電気的に接続されており、回路基板17上に配置された制御部170からの表示制御信号に従って、例えば、GPSアンテナ18,18で受信した電波に含まれる信号に基づいて生成された情報など各種の情報を表示する。
【0058】
タッチセンサー135は、ユーザーによりタッチされた位置を検出するセンサーであり、本実施形態では、透明導電膜を利用した静電容量方式となっている。なお、タッチセンサー135としては、感圧式、電磁誘導方式、磁気歪式等の座標認識用のセンサーを用いてもよい。このタッチセンサー135についても回路基板17と電気的に接続されており、検出した操作位置情報を回路基板17上に配置された制御部170に入力する。
【0059】
保護カバー134は、白板ガラス・サファイアガラスや、ホウケイ酸ガラスなどのアルカリガラス、無アルカリガラス、アクリル(ポリカーボネイト)、また化学強化ガラスといったガラス基板が適している。そして、保護カバー134は、外装ケース10の上面側に取り付けられ、開口縁部分に設けられたパッキン14を介して上面側の開口を塞ぎ、外装ケース10内を密閉にしている。
【0060】
表示部支持板15は、表示部131を支持して保護する板状の部材あって、表示部支持板15は、表示部131の各部材を平面視で全体を覆うようにして設けられている。この表示部支持板15は、接合部材を介して表示部131の下面と接着される。なお、この表示部支持板15は、回路基板17と電気的に接続されており、表示部支持板15を介して回路基板17から表示部131へ電力が供給される。
【0061】
回路基板17は、樹脂や誘電体を含む素材で形成され、表示部131の表示を制御したり、GPSアンテナ18,18で受信した衛星信号を処理したりする各種IC等で構成されるMCU(メモリーコントロールユニット)である制御部170が実装されている。この制御部170に実装されたメインコントロールの制御により、表示部131上には各種の情報が表示される。
【0062】
また、外装ケース10内には、
図5に示すように、表示部131の液晶パネル用のフレキシブルプリント回路基板176と、タッチパネル用のフレキシブルプリント回路基板175とがを有している。各フレキシブルプリント回路基板175,176は、絶縁性を持った薄く柔らかいベースフィルム(ポリイミド等)と銅箔等の導電性金属を貼り合わせた基材に電気回路を形成した基板であって、回路基板17上に設けられた液晶パネル用コネクタ171、及びタッチパネル用コネクタ172にそれぞれ接続されて、一端は回路基板17と電気的に接続され、他端は表示パネル136やタッチセンサー135などに接続されている。
【0063】
また、回路基板17上には、
図5に示すように、ドック用装置2の接続端子21と接触可能な端末側接続端子11が挿通される挿通孔11aを有しており、この挿通孔11aには、端末側接続端子11が配置されることで、ドック用装置2又は電源用装置3からの電力を基板上に供給している。なお、本実施形態において、この端末側接続端子11は、制御部170やGPS受信部119a、無線通信部119bなどが設置されるエリア174と平面視で重ならないような位置に配置されている。また、回路基板17には、
図5に示す上方側に、制御部170やGPS受信部119a、無線通信部119b、及び加速度を検出する加速度センサー115などが設置されるエリア174が設けられている。
【0064】
一方、
図4(a)及び(b)において、その下方側には、回路基板17より下面側に電力を蓄積するバッテリー178が設けられている。このバッテリー178は、回路基板17と電気的に接続されており、端末側接続端子11を介して供給された電源をバッテリー178内に蓄積するとともに、各装置に対して電源を供給している。なお、バッテリー178とフレキシブルプリント基板175,176との間には、プラスチック等の非導電性部材で形成された板状の保護部材173が形成されている。
【0065】
(各装置の回路構成)
次いで、各装置の回路構成について説明する。
図6は、装着用端末1の回路構成を示すブロック図であり、
図7は、ドック用装置2の回路構成を示すブロック図である。
【0066】
(1)装着用端末1の回路構成
図6に示すように、装着用端末1には、制御部170、出力インターフェース111と、入力インターフェース112と、バッテリー178と、メモリ114と、端末側接続端子11と、加速度センサー115と、GPSアンテナ18a、無線アンテナ18b、GPS受信部119a、無線通信部119bとを含んで構成されている。
【0067】
制御部170は、CPUやDSP(Digital Signal Processor)等のプロセッサ、メモリ、及びその他の電子回路等のハードウェア、或いはその機能を持ったプログラム等のソフトウェア、又はこれらの組み合せなどによって構成された演算モジュールであり、プログラムを適宜読み込んで実行することにより種々の機能モジュールを仮想的に構築し、構築された各機能モジュールによって、各部の動作制御、ユーザー操作に対する種々の処理を行っている。なお、本実施形態において、制御部170では、GPSからは衛星から取得情報に基づき位置情報を取得するとともに、加速度センサーからの情報や、無線通信部から得る情報等に関係した様々なのプログラムが組み込まれており、131上には各種情報が表示される。
【0068】
入力インターフェース112は、操作ボタン12a〜12cやタッチセンサー135などユーザー操作を入力するデバイスである。また、出力インターフェース111は、ディスプレイから映像を出力するデバイスであり、この出力インターフェース111には、有機ELなどの表示部131が含まれている。
【0069】
バッテリー178は、ドック用装置2の接続端子21及び端末側接続端子11を介して、供給された電力を蓄積する電力蓄積装置であり、表示部131や通信アンテナ18などに駆動電力を供給する。メモリ114は、OS(Operating System)や各種のアプリケーション用のプログラム、その他のデータ等などを記憶する記憶装置である。本実施形態では、装着用端末1を識別する識別情報や、時刻表示用や、ランニング用のアプリケーションなどが蓄積されている。
【0070】
加速度センサー115は、加速度を測定するセンサーであり、本実施形態では、MEMS(Micro Electro Mechanical System)技術を応用した小型化の加速度センサーが用いられている。この加速度センサー115によって、装着用端末1を正面から見たときの横方向に相当するX軸方向、縦方向に相当するY軸方向、そして、装着用端末1の表示部131に垂直な方向に相当するZ軸方向の加速度検出が可能となる。
【0071】
無線通信部119bは、BTLE、ANT等によるデータ通信用プロトコルによる無線通信を実行する機能を備えている。このデータ通信により、外部とのデータ通信と、本体のセンサーから得たデータの通信が可能になる。例えば、ユーザーの身体に装着される加速度センサーや温度センサーなどとデータの送受信を行い、ユーザーの体動や健康状態を記録したり、位置情報や外部情報等を、表示部131上に表示させることができるようになっている。なお、本実施形態では低消費電力通信用のプロトコルとしてBTLEを採用したが、例えばANT+等を採用することもできる。
【0072】
また、本実施形態において、無線通信部119bは、BTLEによる近距離無線通信を行うための近距離通信インターフェースが含まれている。本実施形態では、Bluetooth(登録商標)の低消費電力版であるBTLEやANT/ANT+などの消費電力が少ない無線通信デバイスが用いられており、所定の周波数帯域における電磁波を近距離範囲内で送受信する無線アンテナ18bを介して、各種のデータを直接装置間で送受するようになっており、例えば、装着用端末1に記憶したログデータ等をパーソナルコンピュータ等に送信できるようになっている。なお、この近距離無線通信機能としては、赤外線通信や通常のBluetooth(登録商標)、UWB(Ultra Wide Band)通信等の近距離通信のインターフェースであってもよい。
【0073】
GPS受信部119aは、GPSアンテナ18aを介して、GPS(Global Positioning System)衛星からの信号を受信するモジュールであり、GPS信号に基づいて、衛星軌道情報、GPS時刻情報、或いは位置情報等の衛星情報を取得する。このGPS受信部119aは、GPS衛星からのGPS信号をGPSアンテナ18aで受け、信号の復調を行い、その後、制御部170に復調した信号を送信するようになっており、制御部170では、その信号に応じて位置測位や時刻情報を取得する。
【0074】
一方、無線通信119bは、無線アンテナ18bを介して、BTLE信号を受信するモジュールであり、所定の通信プロトコルに基づいてデータの送受信を行う。
【0075】
(2)ドック用装置2の回路構成
図7に示すように、ドック用装置2には、制御部200と、バッテリー202と、メモリ203と、ドック側接続端子21と、無線通信部206と、無線アンテナ24とを備えている。
【0076】
制御部200は、CPUやDSP(Digital Signal Processor)等のプロセッサ、メモリ、及びその他の電子回路等のハードウェア、或いはその機能を持ったプログラム等のソフトウェア、又はこれらの組み合せなどによって構成された演算モジュールであり、プログラムを適宜読み込んで実行することにより種々の機能モジュールを仮想的に構築し、構築された各機能モジュールによって、各部の動作制御、ユーザー操作に対する種々の処理を行っている。
【0077】
バッテリー202は、ドック用装置2の接続端子21を介して、電源用装置3から供給された電力を蓄積する電力蓄積装置であり、無線アンテナ24などに駆動電力を供給する。メモリ203は、ファームウェアや各種のアプリケーション用のプログラム、その他のデータ等などを記憶する記憶装置であり、例えば、電子マネーの情報やドック用装置2の識別情報等が蓄積されている。なお、メモリ203には、システムの必要に応じてOS(Operating System)等を格納するようにしてもよい。
【0078】
無線通信部206は、例えばBluetooth(登録商標)等のデータ通信用のプロトコルによる近距離無線通信を実行する機能を備えている。具体的に無線通信部206は、メモリ203へのデータの書き込みやデータの読み取りを近距離で行うデバイスであり、パーソナルコンピュータやスマートフォン等の周辺機器との間でデータの送受信を可能とする。
【0079】
(使用方法)
このような情報端末装置100の使用方法について説明する。
図8は、第1実施形態に係る情報端末装置の装着状態を示す斜視図である。
図8に示すように、情報端末装置100は、ユーザーの腕にベルト部材4a及び4bを巻き回されて装着される。そして、GPS受信部119がGPS信号を取得することで、装着用端末1の制御部170の制御によって表示部131に時刻情報を表示する。また、制御部170上で、ランニング用のソフトウェアが実行されることで走行速度、走行距離、走行時間、走行ペース、ピッチ(1分当たりの歩数)、歩数などの走行情報を表示するようになっている。この際、GPS受信部119から取得したGPS信号に応じて、現在位置を表示させることもできる。この現在位置の表示方法としては、例えば地図上にマークを表示させるほか、地図のデータサイズを小さくするために簡略化した地図や標高差による位置表示など簡易表示としてもよい。
【0080】
さらに、ドック側接続端子21を介して装着用端末1及びドック用装置2を電気的に接続させることで、例えば、ドック用装置2の無線通信部206を用いて、外部と非接触無線通信を行い個人認証として使用したり、電子マネーとして商品を購入することもできる。
【0081】
(作用・効果)
このような第1実施形態によれば、表示部131を有する装着用端末に時刻情報やランニング用ソフトウェアなどの機能を持たせているので、装着用端末のみ装着した場合、当該装着用端末1を時計として用いたり、ランニング時には、現在位置を地図上に表示させたりすることができる。また、ドック用装置2には、近距離無線通信機能と、メモリ203内には電子マネー情報を追加した場合は、ドック用装置2を装着用端末1と係合させることで、情報端末装置100に電子マネー機能を追加することができ、現金を所持することなくランニングを行うことができる。このように、本実施形態によれば、各機能を有する装置を組み合せることができるので、ユーザーは用途に応じて装置を着脱させて使用することができ、ユーザーの利便性を向上させることができる。
【0082】
また、本実施形態では、ドック用装置2の近距離無線通信用の無線アンテナ24は、ドック用装置本体の外装ケース10の裏蓋19と重複するように配置され、GPSアンテナ18,18は、外装ケースの外縁部に配置されるとともに、無線アンテナ24と重複しないように配置されているので、GPSアンテナ18,18と無線アンテナ24との電波が干渉することを防止でき、その結果、受信性能の劣化を防止することができる。
【0083】
さらに、本実施形態において、表示部131は、ベルト部材4a,4bが連結される両側部を結ぶ方向に屈曲しており、表示部131の見やすさを向上させることができる。
【0084】
本実施形態では、電源用装置3は、ドック用装置2の底部に着脱可能に係合され、ドック側接続端子21及び電源装置側接続端子31を通じて電源を供給しているので、装着用端末1とドック用装置2とを係合させた状態で、装着用端末1及びドック用装置2を同時に電源を供給させることができる。
【0085】
さらに、本実施形態によれば、電源用装置3は、ドック側接続端子21及び電源装置側接続端子31を通じて、装着用端末1又はドック用装置2とデータの送受信を行うUSB端子33を有し、電源用装置の外部に設けられた外部端子を通じて、外部装置との間でデータの送受信が可能となっているので、電源用装置3を介して、パーソナルコンピュータなどの外部端末から各種のデータを装着用端末1及びドック用装置2に記録させることができる。
【0086】
[第2実施形態]
次いで、本発明の第2実施形態について説明する。本実施形態では、第1実施形態とは異なる形状及び機能を有する装着用端末1a及びドック用装置2aについて説明する。
図9は、第2実施形態に係る情報端末装置の全体構成を示す斜視図であり、
図10は、第2実施形態に係る情報端末装置の構成を分解した状態を示す斜視図である。なお、以下の実施形態において、上述した第1実施形態と同一の構成要素には同一の符号を付し、その機能等は特に言及しない限り同一であり、その説明は省略する。
【0087】
本実施形態に係る情報端末装置100aは、装着用端末1aと、ドック用装置2aと、電源用装置3とから構成される。本実施形態においても、装着用端末1aは、上面に表示部133を有する外装ケース10と、外装ケース10の両側部に、それぞれ連結可能なベルト部材4a,4bとを備えている。本実施形態の装着用端末1aは、第1実施形態に係る装着用端末1に対して表示部133の形状が異なっており、表示部133は、ベルト部材4a,4bが連結される両側部を結ぶ方向(
図8のY軸方向)に湾曲するようになっている。具体的に、表示部133は、ベルト部材4a,4bが連結される両側部を結ぶ方向が長辺となる略長方形状となっており、その略中心部分が外方に向けて突出するように、アーチ状に湾曲するようになっている。
【0088】
ドック用装置2aは、装着用端末1と着脱可能に係合される情報端末装置であり、本実施形態には、
図10に示すように、ケース側部にマイク23、スピーカー25を有し、装着用端末1aと電気的に接続されることで、音楽を出力したり、通話を行ったりすることができるようになっている。また、ドック用装置2aには、使用者が手動操作するための操作ボタン22a及び22bが設けられており、例えば、操作ボタン22a及び22bを用いて、通話や音楽再生の開始又は終了を操作することができるようになっている。さらに、このドック用装置2aには、バイブレーターが内蔵されており、設定時刻の到来(時報)や、ストップウォッチのラップタイム、着信通知など種々のアラートを振動により報知できるようになっている。
【0089】
なお、本実施形態において、装着用端末1aとドック用装置2aとは、ドック側接続端子21を介して電気的に接続可能となっており、ドック側接続端子21や端末側接続端子11の配置位置は第1実施形態と同様となっている。すなわち、ドック用装置2aには、ドック側接続端子21が形成されており、ドック側接続端子21を介して装着用端末1の外装ケース底部である裏蓋19に着脱可能に係合されている。具体的に、装着用端末1の底部である裏蓋19の表面には、このドック側接続端子21に対応する位置に端末側接続端子11が設けられており、ドック側接続端子21が端末側接続端子11と接触することで、ドック用装置2aと装着用端末1aとが電気的に接続されるようになっている。そして、装着用端末1a及びドック用装置2aは、このドック側接続端子21を介して、表示部133に表示するためのデータの送受信を行うようになっている。
【0090】
また、本実施形態においても、装着用端末1aには、外装ケース10の外縁部にそれぞれGPSアンテナ18,18が配置されており、ドック用装置2aに設けられた無線通信用アンテナ(第2のアンテナ)24aと平面視において重複しないように設置されている。
【0091】
本実施形態において、ドック用装置2に設けられる無線アンテナ24は、Bluetooth(登録商標)のデータ通信用のプロトコルによる無線通信を実行する近距離無線通信用アンテナであって、外部の機器との信号やデータの送受信を行えるようになっている。これによってより電波強度の高いプロトコルを用いて外部部機器と接続ができる。
【0092】
そして、この無線アンテナ24は、第1実施形態の無線アンテナ24と同様の位置に配置されている。具体的に、この無線アンテナ24aは、平面視において、ドック用装置2a本体の外装ケース10底部と重複するように配置されている。そして、装着用端末1aに設けられたGPSアンテナ18,18は、無線アンテナ24aと干渉しないように配置されている。
【0093】
(各装置の回路構成)
次いで、ドック用装置2aの回路構成について説明する。
図11は、第2実施形態に係るドック用装置2aの回路構成を示すブロック図である。なお、装着用端末1aは、第1実施形態に係る装着用端末1と同様な回路構成であるため、その説明は省略するものとする。
図11に示すように、ドック用装置2aの回路構成には、制御部200と、バッテリー202と、メモリ203と、ドック側接続端子21と、無線通信部206aと、無線アンテナ24aと、振動モーター204と、入力インターフェース207とを備えている。
【0094】
制御部200は、CPUやDSP(Digital Signal Processor)等のプロセッサ、メモリ、及びその他の電子回路等のハードウェア、或いはその機能を持ったプログラム等のソフトウェア、又はこれらの組み合せなどによって構成された演算モジュールであり、プログラムを適宜読み込んで実行することにより種々の機能モジュールを仮想的に構築し、構築された各機能モジュールによって、各部の動作制御、ユーザー操作に対する種々の処理を行っている。
【0095】
入力インターフェース207は、操作ボタン22a、22bなどユーザー操作を入力するデバイスと、音声を取得するマイク23を備えている。また、出力インターフェース201には、音声を出力するスピーカー25を備えている。
【0096】
バッテリー202は、ドック用装置2の接続端子21を介して、電源用装置3から供給された電力を蓄積する電力蓄積装置であり、制御部200や無線アンテナ24aなどに駆動電力を供給する。メモリ203は、ファームウェアや各種のアプリケーション用のプログラム、その他のデータ等などを記憶する記憶装置であり、例えば、電子マネーの情報やドック用装置2の識別情報等が蓄積されている。なお、メモリ203には、システムの必要に応じてOS(Operating System)等を格納するようにしてもよい。
【0097】
無線通信部206aは、例えばNFC等のデータ通信用のプロトコルによる非接触通信を実行する機能を備えており、所定の周波数帯域における電磁波を近距離範囲内で送受信する無線アンテナ24aを介して、各種のデータを直接装置間で送受するようになっている。この無線通信部206aによって、ユーザーが所持するスマートフォンなどの端末から画像情報を受信して、ドック側接続端子21を介して装着用端末1に送信することができる。なお、この近距離無線通信機能としては、赤外線通信や、UWB(Ultra Wide Band)通信及び低消費電力無線通信等のインターフェースも含めることができる。
【0098】
また、本実施形態において、無線通信部206aは、Bluetooth(登録商標)の近距離通信を介しての接続が可能であり、パーソナルコンピュータやスマートフォン、その他の電子機器との間でドック用装置2と無線通信が可能な端末装置とを接続することができる。また、無線通信部206aは、通信ネットワークを介して接続された端末装置を外部モデムやルーターのように利用して、通信ネットワークと接続するテザリング機能を有している。
【0099】
振動モーター204は、振動を発生させ、振動により使用者に報知するための装置であり、例えば、偏心のある回転分銅部分を有しており、振動モーターに電流が流れるとこの回転分銅部分が回転することで振動を発生し、装着用端末1を介して使用者の腕に振動が伝達されることで、告知を行うことができる。
【0100】
そして、このような装着用端末1a及びドック用装置2aを有する情報端末装置100aについても、第1実施形態と同様に、ユーザーの腕に装着して使用するようになっている。そして、本実施形態においても、装着用端末1の制御部170の制御によって表示部133に時刻情報を表示したり、走行速度、走行距離、走行時間、走行ペース、ピッチ(1分当たりの歩数)、歩数などの走行情報を表示するようになっている。また、GPS受信部119から取得したGPS信号に応じて、現在位置を地図上に表示させることもできる。
【0101】
また、本実施形態では、例えば、装着用端末1の制御部170で実行されたソフトウェアの制御に応じて、ドック用装置2の振動モーターを振動させることもでき、例えば、ラップタイムを計測した際に振動モーター204を駆動させてユーザーに報知してもよい。さらに、本実施形態では、ドック用装置2aの無線通信部206aを通じて、ユーザーが所持するユーザー端末などと無線通信を行い、音楽データをドック用装置2aのスピーカー25から出力したり、ドック側接続端子21及び端末側接続端子11を通じて音楽データを再生するための操作信号を装着用端末1aから送信して、外部の音楽再生機器を遠隔的に操作し、ヘッドフォンなどを介して出力させることもできる。また、例えば、ユーザー端末上でブラウザソフトを実行し、ブラウザソフト上で処理されたWebページを、Bluetooth(登録商標)などの無線通信部206aを通じて、ユーザー端末から受信して、表示部133上に表示させることもできる。
【0102】
さらに、ドック用装置2aの無線通信部206aを用いて、通信ネットワーク網と接続して、他のユーザーが所持する装着用端末の位置情報を受信して、自身の位置情報と他のユーザーの位置情報とを地図上に表示することができる。さらに、ソーシャル・ネットワーキング・サービス(social networking service)などのアプリケーションを実行して、サービス利用者の中から、自身の現在位置に近い他のユーザーを画面上に表示させ、音声又はテキストデータでコミュニケーションをとることも可能となっている。
【0103】
(作用・効果)
このような第2実施形態によれば、上述した第1実施形態と同様な作用効果を奏する。さらに、ドック用装置2aの無線通信部206aは、Bluetooth(登録商標)の近距離無線通信機能を有しているので、ドック用装置2aを装着用端末1と係合させ、ユーザーが所持する外部のユーザー端末と近距離無線通信を行い、必要なデータをドック用装置2a及び装着用端末1aとの間で送受信することができる。また、ユーザー端末上でブラウザソフトを実行させることで、表示部133上にWebページを表示させることもできる。
【0104】
このように本実施形態によれば、各機能を有する装置を組み合せることができるので、ユーザーは用途に応じて装置を着脱させて使用することができるので、ユーザーは用途に応じて装置を着脱させて使用することができ、ユーザーの利便性を向上させることができる。また、本実施形態において、装着用端末1aの表示部133の画面は、湾曲しているので、その湾曲した分、表示される視野角が広角となり、臨場感のある映像を表示することができる。
【0105】
[第3実施形態]
次いで、本発明の第3実施形態について説明する。本実施形態では、上述した第1又は第2実施形態で説明した情報端末装置100,100aを通じて、インターネット上のサービスを受けることを要旨とする。すなわち、本実施形態では、ドック用装置2に設けられる無線アンテナ24の近距離無線通信を用い、外部のユーザー端末で実行されているアプリケーションと連携して、インターネット上の情報にアクセスしたり、SNS(social networking service)に参加したりする種々のサービスについて説明する。
【0106】
図12は、第3実施形態に係る情報端末装置100又は100aを用いたインターネットサービスの概略構成図であり、
図13及び
図14は、第3実施形態に係る各装置の表示画面に表示されるコンテンツを示す画面構成図である。なお、本実施形態において、上述した情報端末装置100又は100aについては、単に情報端末装置100と称するものとする。
【0107】
本実施形態において、情報端末装置100を用いたインターネットサービスは、
図12に示すように、無線通信を含む通信ネットワーク8上に、サーバー装置5と、ユーザーA及びユーザーBが所持するユーザー端末6が接続され、ユーザーA及びユーザーBに装着された情報端末装置100は、ユーザー端末6とテザリング接続されている。
【0108】
通信ネットワーク8は、無線通信網を含み、通信プロトコルTCP/IPを用いて種々の通信回線(電話回線やISDN回線、ADSL回線、光回線などの公衆回線、3G回線、4G回、線専用回線、無線通信網)を相互に接続して構築される分散型の通信ネットワークであり、この通信ネットワーク8には、10BASE−Tや100BASE−TX等によるイントラネット(企業内ネットワーク)や家庭内ネットワークなどのLANなども含まれる。
【0109】
サーバー装置5は、WWW(World Wide Web)等のドキュメントシステムにおいて、HTML(HyperText Markup Language)ファイルや画像ファイル、音楽ファイルなどの情報送信を行うサーバーコンピューター或いはその機能を持ったソフトウェアであり、HTML文書や画像などの情報を蓄積しておき、ユーザー端末6上で実行されるWebブラウザなどのアプリケーションの要求に応じて、コンテンツ(Webページ)の配信を行い、情報端末装置100から取得した位置情報を、ユーザー端末6を介して取得して、各ユーザーA及びBの位置情報が表示されたコンテンツ(表示データ)を配信している。
【0110】
情報端末装置100は、ユーザーA及びユーザーBの腕等に装着されており、本実施形態では、少なくとも装着用端末1,1aにドック用装置2,2aが装着されており、ユーザー端末6との間でテザリング接続が可能となっている。
【0111】
ユーザー端末6は、使用者に携帯される端末であって、CPUによる演算処理機能、及び無線通信機能を有する携帯電話機又はスマートフォンであり、一般的な基地局等の中継点と無線で通信し、通話やデータ通信等の通信サービスを移動しつつ受けることができる。また、ユーザー端末6は、無線基地局7との間で無線通信を行う機能と、アプリケーションを実行する機能も備えている。この携帯電話機の通信方式としては、例えば、FDMA方式、TDMA方式、CDMA方式、W−CDMAの他、PHS(Personal Handyphone System)方式等が挙げられる。さらに、このユーザー端末6は、デジタルカメラ機能、アプリケーションソフトの実行機能、及びGPS機能等の機能が搭載され、携帯情報端末(PDA)としての機能も果たす。
【0112】
特に、本実施形態において、ユーザー端末6は、ドック用装置2の無線アンテナ24及び無線通信部206とテザリング接続を行う近距離無線通信機能を有しており、この無線通信によって装着用端末1のGPS受信部119aで取得したGPS信号を受信するようになっている。
【0113】
また、ユーザー端末6には、無線基地局7を介して通信ネットワーク8と接続する無線通信機能を有しており、通信ネットワーク8上のサーバー装置5に対して、GPS受信部119aで取得したGPS信号を送信するとともに、サーバー装置5から他のユーザーの位置情報を含めたサービスの詳細を示したコンテンツを受信し、画面6a上に表示可能となっている。さらに、ユーザー端末6では、サーバー装置5から取得したコンテンツを情報端末装置100の表示部131に表示可能なコンテンツに変換し、変換したコンテンツをテザリング接続によって情報端末装置100に送信する機能も備えている。ここで、「情報端末装置100に表示可能なコンテンツ」とは、ユーザー端末6で表示されるコンテンツからサービスの概要のみを示したデータ量の少ない表示情報である。
【0114】
次いで、ユーザー端末6及び情報端末装置100に表示されるコンテンツについて詳述する。なお、ここでは、ユーザーA及びユーザーBがランニングを行いながら、情報端末装置100及びユーザー端末6を用いて、インターネットにアクセスしてSNSに参加し、他のユーザーとコミュニケーションをとる場合を例に説明する。
図13(a)及び
図14(a)は、ユーザーAが所持するユーザー端末6の表示画面に表示されたコンテンツの画面構成図であり、
図13(b)及び
図14(b)は、情報端末装置100の表示部131に表示されたコンテンツを示す画面構成図である。
【0115】
(1)表示形態1
先ず、ユーザーA及びBが皇居の周りや陸上競技場のトラックを、ランニングやサイクリングを行う場合について説明する。この際、ユーザー端末6は、先ずサーバー装置5にアクセスして、ランニングするコースを選択することで、
図13(a)に示すような周回走路60が選択される。ここで、ユーザー端末6の通信機能は、予め情報端末装置100とテザリング接続して、GPS受信部119aで取得したGPS信号を取得しており、サーバー装置5にアクセスする際、このGPS信号を送信している。
【0116】
サーバー装置5では、各ユーザーのユーザー端末6からGPS信号を所定時間毎又はリアルタイムに取得しており、周回走路60上に各ユーザーの位置を示したコンテンツを生成して各ユーザー端末6へ送信するようになっている。このようなコンテンツをユーザー端末6が受信すると、アプリケーション実行機能によって、
図13(a)に示すように、表示画面6aに周回走路60を表示させるとともに、周回走路60上に、自己(ユーザーA)の位置を示すオブジェクト61と、SNSサービスに参加している他のユーザーB及びCの位置を示すオブジェクト62とを表示させる。また、この画面上には、各ユーザーの進行方向を示す矢印アイコン63を表示させることもできる。
【0117】
また、本実施形態では、サーバー装置5において、他のユーザーとの距離が計測され、その情報も併せて送信されている。そして、ユーザー端末6では、画面下部に自己の位置から他のユーザーB及びCまでの距離を示す情報64が表示される。
【0118】
さらに、ユーザー端末6の入力デバイスを用いてテキスト入力することで、そのテキストデータは一旦サーバー装置5に送信される。サーバー装置5では、そのテキストデータを取得すると、グループ分けされたユーザー端末6に対して、テキストデータを一斉送信するようになっている。これにより、各ユーザー端末6の画面上には、自己が入力したテキスト、及び他のユーザーが入力したテキストがコメント欄65に表示されるようになっている。
【0119】
一方、情報端末装置100の表示部131に表示されるコンテンツは、
図13(b)に示すように、走路上における各ユーザーの位置のみを表示したコンテンツとなっている。具体的には、
図13(b)に示すように、周回走路60の所定位置をスタート地点及びゴール地点とし、そのスタート地点及びゴール地点を結んだ直線走路66を表示させ、その直線走路66上に各ユーザーの位置を示すオブジェクト61、62を表示させている
このようなコンテンツは、ユーザー端末6のアプリケーション機能によって、サーバー装置5から取得したコンテンツに基づいて変換される。そして、変換されたコンテンツは、ユーザー端末6と、ドック用装置2の無線アンテナ24(無線通信部206)とのテザリング接続によってドック用装置2へ送信される。その後、ドック用装置2では、接続端子を介してコンテンツを装着用端末1に送信して、情報端末装置100の表示部131に概要のみ示したコンテンツが表示される。なお、ここでは、ユーザー端末6がコンテンツを変換処理したが、サーバー装置5が予め情報端末装置100用のコンテンツを生成して配信する構成であってもよい。
【0120】
(2)表示形態2
次に、他の表示形態として、例えば、ユーザーが公道をコースとしてマラソンする場合について説明する。先ず、ユーザー端末6がサーバー装置5にアクセスしてコースを選択することで、
図14(a)に示すようなコースマップ67が選択される。ここでも、ユーザー端末6の通信機能は、予め情報端末装置100とテザリング接続してGPS信号を取得しており、サーバー装置5にアクセスする際、このGPS信号を送信している。サーバー装置5では、ユーザーA及び他のユーザーB,CのGPS信号を、所定時間毎又はリアルタイムに取得し、コースマップの走路67a上に各ユーザーの位置を示したコンテンツを生成して各ユーザー端末6へ送信する。このようなコンテンツをユーザー端末6が受信すると、アプリケーション実行機能によって、
図14(a)に示すようなコースマップ67を表示させるとともに、走路67a上に自己の位置を示すオブジェクト61及び他のユーザーのオブジェクト62を表示させる。
【0121】
また、この例では、画面下部の領域にあるコメント欄68にグループ内のユーザーからの入力テキストが表示可能となっており、ユーザー端末6の入力デバイスを用いてテキストが入力されることで、サーバー装置5を経由して各ユーザー端末6へテキストが一斉送信される。
【0122】
次いで、この場合における情報端末装置100の表示部131に表示されるコンテンツについて説明する。本実施形態のように公道を走行するコースが選択された場合には、情報端末装置100の表示部131には、例えば、
図14(b)に示すように、光路の高低差を示した高低
図69を表示させることもできる。そして、この高低
図69においても、走路69a上に自己の位置を示すオブジェクト61及び他のユーザーのオブジェクト62が表示されるようになっている。この表示部131に表示させるコンテンツは、ユーザー端末6によって変換してもよく、サーバー装置5によって生成されてもよい。
【0123】
このような第3実施形態によれば、情報端末装置100のドック用装置2の無線通信機能を用いることで、電波強度の高いプロトコルを用いて、スマートフォンやタブレットPC等のユーザー端末6と接続が可能となり、この接続を通じて、ユーザー端末6で実行されているアプリケーションとの連携により、インターネット上の情報にアクセスしたり、SNS(social networking service)に参加したりでき、種々のサービスを受けることが可能となる。なお、
図13及び
図14で示したコンテンツの表示内容は、一例であり、インターネットを用いた各種サービスに応じて種々のコンテンツを表示させることができることはもちろんである。
【0124】
[第4実施形態]
次いで、本発明の第4実施形態について説明する。本実施形態では、上述した第1又は第2実施形態で説明した情報端末装置100,100aと、使用者の身体に取り付けられる各種センサーとを用いて、装着者の体動を検出するモーションキャプチャシステムを提供することを要旨とする。
【0125】
図15(a)は、第4実施形態に係る情報端末装置100又は100aを用いたモーションキャプチャシステムの概略構成図であり、同図(b)は、本実施形態に係るモーションキャプチャシステムにより取得された体動再現データの一例である。また、
図16は、第4実施形態に係る各装置の内部構成を示すブロック図である。なお、以下の説明(本実施形態内及び各変形例)においても、上述した情報端末装置100又は100aについては、単に情報端末装置100と称するものとする。
【0126】
図15(a)及び
図16に示すように、本実施形態に係るモーションキャプチャシステムは、無線通信を含む通信ネットワーク8上に、サーバー装置5aと、所定の装着者に装着される情報端末装置100と、所定の装着者に装着され、情報端末装置100とテザリング接続される各種センサー40とから構成されている。
【0127】
各種センサー40は、装着者に着脱可能に取り付けられるセンサー群であって、本実施形態においては、体動センサー41と靴底センサー42とが含まれる。体動センサー41は、装着者の身体各部位に取り付けられ、各部位の三次元的な変位、又は加速度を検出するセンサー群であり、本実施形態では、装着者の所定の関節部分に取り付けられている。具体的には、装着者の右膝に取り付けられる右膝体動センサー41a、装着者の左膝に取り付けられる左膝体動センサー41b、装着者の右足の甲に取り付けられる右足体動センサー41c、装着者の左足の甲に取り付けられる左足体動センサー41d、装着者の腰に取付けられる腰体動センサー41eとから構成されている。これら体動センサー41は、物体の加速度を計測する3軸加速度計と、物体の角速度を検出する3軸ジャイロスコープ、磁場の大きさ・方向を計測する3軸磁気センサーが搭載され、9軸の動きを検知可能となっている。
【0128】
各体動センサー41は、装着者の衣服に着脱可能であるか、或いは、ベルト又は衣服として装着者に対し着脱可能であってもよい。このようにすれば、ベルトや衣服に小物を付けたり、ベルトや衣服を着たりする日常生活の感覚で装着者が各センサーを着脱して測定を行うことができるので、装着者に負担を与えずに継続的な測定を行うことが容易である。
【0129】
一方、靴底センサー42は、装着者の靴底に配置され、靴底に作用する圧力を検出するセンサーであり、本実施形態では、右足用の靴底に配置された右足靴底センサー42aと、左足用の靴底に配置された左足靴底センサー42bとから構成されている。この靴底センサー42には、装着者が床などの接触面と接触したときに働く力を取得することができればよく、触覚センサーや力覚センサーが含まれる。このような靴底センサー42には、柔軟軽量で接触運動の邪魔にならない分布触覚センサーを用いてもよく、例えば、感圧ゴム、感圧繊維等から構成される。また、触覚センサーの種類の例としては、感圧抵抗、キャパシタ、撮像素子、光拡散方式、インダクタンス、EIT方式、ひずみゲージ、MEMSセンサーが挙げられるが、これらに限定されない。EIT方式は、圧力によって抵抗が変化する材質(感圧ゴム、感圧ファブリック)の周辺に電極を実装し、任意の2点の間に電圧をかけたときの、その他の電極の電圧を測定し、逆問題解析を行うことで圧力分布を再構成する方法であって、伸縮性の高い触覚センサーを実現可能である。
【0130】
靴底センサー42は、履きものとして装着者に対し着脱可能である。また、靴やサンダルなどの履きものの底部に埋め込まれて一体に構成されてもよく、或いは、履きもの中敷きのように履きもの自体とは別体として構成されてもよい。さらに異なる態様として、靴底センサー42は靴下のように足に付けるものとして構成されてもよい。
【0131】
そして、これらの各センサー40(体動センサー41,靴底センサー42)は、
図16に示すように、無線通信部を有している。この無線通信部は、内部にアンテナを有し、BTLE、等によるデータ通信用プロトコルによる無線通信を実行する機能によって、装着用端末1,1a(以下、装着用端末1、及び装着用端末1aを装着用端末1と称する。)と通信処理が可能となっている。なお、本実施形態において、各センサー40の無線通信部は、低消費電力通信用のプロトコルとしてBTLEを採用したが、例えば、ANT、ANT+等を採用することもできる。また、通常のBluetooth(登録商標)を採用することもできる。
【0132】
情報端末装置100は、上述した各実施形態に係る機能の他、各センサー40によって検出された検出結果を収集する機能を有しており、上述した装着用端末1の無線通信部119bによって各センサー40と相互に通信処理を行って、検出結果を取得するようになっている。
【0133】
情報端末装置100のメモリ114は、体動センサー41及び靴底センサー42による検出結果を体動データとして蓄積する体動記録部としての機能を有している。なお、各センサー40から送信される検出結果には、各センサー40を識別するセンサー識別情報が付加されており、情報端末装置100のメモリ114には、当該識別情報が蓄積され、制御部170では無線通信部119bから取得した際、いずれのセンサー40から取得した検出結果であるかを判別可能となっているものとする。なお、この識別情報には、各センサーの装着部位を特定する装着部位情報が含まれており、この装着部位情報に基づいて、体動再現データの算出が可能となっている。さらに体動データ内には、各センサー40から検出結果を取得した際の時刻情報も含まれている。
【0134】
また、情報端末装置100では、取得した体動データを通信ネットワーク8のサーバー装置5aに送信する機能を有している。具体的には、装着用端末1で記録された体動データを、ドック側接続端子21及び端末側接続端子11を用いて、ドック用装置2に送信する。そして、ドック用装置2,2a(以下、ドック用装置2及びドック用装置2aをドック用装置2と称する。)の無線通信部206は、取得した体動データをサーバー装置5aに送信する。
【0135】
さらに、情報端末装置100の表示部131は、体動再現データに対する解析結果を表示又は出力する出力デバイスとしての機能を有しており、サーバー装置5aから解析結果を取得すると、制御部170の制御により表示部131に表示される。なお、本実施形態において、情報端末装置100におけるその他の機能モジュールは、上述した第1実施形態〜第3実施形態のいずれかと同様であり、
図16において図示せず、また、その説明上は省略するものとする。
【0136】
サーバー装置5aは、上述したサーバー装置5と同様に、WWW(World Wide Web)等のドキュメントシステムにおいて、HTML(HyperText Markup Language)ファイルや画像ファイル、音楽ファイルなどの情報送信を行うサーバーコンピューター或いはその機能を持ったソフトウェアであり、HTML文書や画像などの情報を蓄積しておき、ユーザー端末6上で実行されるWebブラウザなどのアプリケーションの要求に応じて、コンテンツ(Webページ)の配信を行う。また、本実施形態において、サーバー装置5aは、情報端末装置100から取得した体動データに基づいて、装着者の体動を解析し、
図15(b)に示すような体動再現データを生成する機能を有している。具体的にサーバー装置5aは、
図16に示すように、通信インターフェース51と、体動データ取得部53と、体動算出部52と、補正部54と、解析部55と、記憶部56とを備えている。
【0137】
通信インターフェース51は、通信ネットワーク8を介した各種情報の送受信を制御するモジュールであり、種々のプロトコルにより、情報端末装置100のドック用装置2との間でデータの送受信を行う。本実施形態において、通信インターフェース51は、ドック用装置2から体動データを取得するとともに、解析部55によって解析された解析結果を情報端末装置100に送信する。
【0138】
体動データ取得部53は、通信ネットワーク8を介して、情報端末装置100から体動データを取得するモジュールであり、本実施形態では、ドック用装置2の無線通信部206と無線通信を行って、各センサー40の検出結果である体動データを取得する。この体動データは、一時的に記憶装置内に蓄積され、その後、体動センサー41による各検出結果は、体動算出部52に送信され、また、靴底センサー42による検出結果は、補正部54に送出される。
【0139】
体動算出部52は、メモリ114(体動記録部)に蓄積された体動センサー41による各検出結果と、各体動センサー41の相対位置関係に基づいて、装着者の体動を体動再現データとして算出するモジュールである。
【0140】
ここで、体動センサー41による各検出結果とは、いわゆる9軸センサーで測定される値であり、本実施形態では、物体に作用する加速度(重力加速度を含む。)の方向と大きさ、物体の角速度(大きさ、方向、中心位置)、磁場の大きさ・方向(方角)である。また、各体動センサー41の相対位置関係とは、各体動センサー41を装着者が装着した状態において、装着者の骨格及び各体動センサー41の装着位置から定まる相互距離や可動範囲である。例えば、
図15(b)に示すように、人間の下半身は,骨盤B7に対し、一対の大腿骨B1,B2が接続され、これらにそれぞれ脛骨B3,B4、さらに足根骨B5,B6が接続されている。各骨は、関節によって屈曲又は回転可能に接続されているが、それぞれの骨の長さはほぼ変化しない。また、各関節における屈曲角R13,R24,R35,R46も可動範囲も限られている。したがって、このような骨の長さや関節の可動範囲などから定められる各体動センサーの検出結果と、各体動センサー間の相対位置関係とから、装着者の動作や姿勢を再現した体動再現データを生成することができる。
【0141】
補正部54は、靴底センサー42による検出結果に基づいて、体動算出部52が算出した体動再現データを補正するモジュールである。ここで、補正部54による補正処理とは、上述した体動センサー41では、各センサーが測定した値を継続的に累積させることにより、全体的な変位や回転を算出する。ところがセンサーに生じるノイズや誤差が累積されることにより、実際の位置や変位や姿勢と乖離する可能性がある。そのため、本実施形態では、補正部54により、靴底センサー42による検出結果が最大値を示した瞬間が、地面に対して完全に密着していると判断し、その最大値を示した側の足に付けられた体動センサー41c又は41dの高さ位置を0と補正し、その高さ位置0とした足根骨B5又はB6を基準として、他の骨B1〜B4及びB7の位置や回転角を補正する。
【0142】
解析部55は、補正部54により補正された体動再現データに基づいて、装着者の体動を解析するモジュールである。この解析方法としては、補正後の体動再現データに基づいて、装着者を3次元的に表示させた立体画像データを生成するものであってもよく、また、例えば、模範となる体動データが蓄積された記憶部56から、模範となる体動データを抽出し、装着者の体動再現データと比較することで、正常な体動とのズレなどを示した改善データを生成してもよい。さらには、予め、性別、身長、体重、年齢などユーザー情報を登録しておくことで、各ユーザー情報に基づいた解析を行ってもよい。そして、解析部55は、この立体画像データや改善データなどの解析結果を情報端末装置100に送信する。
【0143】
記憶部56は、各種のデータを蓄積する記憶装置であり、各情報端末装置100を識別する識別情報や、各センサー40の装着部位情報、各部位に装着された体動センサー41の相対位置関係、及び上述したユーザー情報や模範となる体動データなどが蓄積されている。
【0144】
(モーションキャプチャ方法)
以上の構成を有すモーションキャプチャシステムを動作させることによって、本実施形態に係る装着者の体動を検出するモーションキャプチャ方法を実施することができる。
図17は、第4実施形態に係るモーションキャプチャ方法を示すシーケンス図である。
【0145】
先ず、装着者は、両膝、及び両足に各体動センサー41を装着するとともに、各靴底センサー42を装着する。また、装着者は、情報端末装置100を腕に装着する。その後、情報端末装置100を用いて、各センサー40から検出結果を取得するように操作する(S101)。
【0146】
装着用端末1の制御部170は、操作信号を取得すると各センサー40と接続処理を行う(S102)。接続処理された後、各センサー40では、装着者の動作を検出する。具体的に、装着者の身体各部位に取り付けられた体動センサー41により、各部位の三次元的な変位、又は加速度を検出するとともに、装着者の靴底に配置された靴底センサー42により、靴底に作用する圧力を検出する。
【0147】
次いで、取得された各検出結果は、各センサー40の無線通信部を介して、微弱電波により装着用端末1の無線通信部119bに送信される(S104)。装着用端末1の無線通信部119bが各検出結果を取得すると(S105)、装着用端末1のメモリ114は、体動記録部として、体動センサー41及び靴底センサー42による検出結果を体動データとして蓄積する(S106)。
【0148】
その後、装着用端末1は、装着用端末1で記録された体動データを、ドック側接続端子21及び端末側接続端子11を用いて、ドック用装置2に送信する。そして、ドック用装置2の無線通信部206は、取得した体動データをサーバー装置5aに送信する(S107)。
【0149】
サーバー装置5aの体動データ取得部53が、体動データを取得すると(S108)、体動センサー41による各検出結果を体動算出部52に送信するとともに、靴底センサー42による検出結果を補正部54に送信する。体動算出部52では、体動記録部に蓄積された体動センサー41による各検出結果と、各体動センサー41の相対位置関係に基づいて、装着者の体動を体動再現データとして算出し(S109)、その体動再現データを補正部に送信する。一方、補正部54は、靴底センサー42による検出結果に基づいて、体動算出部52が算出した体動再現データを補正する(S110)。その後、補正された体動再現データは、解析部55に送信される。
【0150】
解析部55では、補正部54により補正された体動再現データに基づいて、装着者の体動を解析する(S111)。解析された解析結果のデータは、通信インターフェース51を介して、情報端末装置100へ送信される(S112)。
【0151】
情報端末装置100のドック用装置2は、解析結果のデータを受信すると(S113)、ドック側接続端子21及び端末側接続端子11を用いて、装着用端末1に送信する。そして、装着用端末1の制御部170は、取得した解析部55による解析結果を表示部131よって表示又は出力する(S114)。
【0152】
(作用・効果)
このような本実施形態によれば、装着者の身体に体動センサー41及び靴底センサー42を装着させ、各センサー40の検出結果に基づいて装着者の体現を体動再現データとして算出するとともに、体動再現データを解析して解析結果を表示部131に表示させているので、装着者自身の体動を装着者に認識させたり、装着者の体動の改善点などをアドバイスすることができる。
【0153】
この際、補正部54では、靴底センサー42による検出結果に基づいて、体動算出部52によって算出された体動再現データを補正しているので、9軸センサー等の体動センサー41で生じるノイズや誤差によって、体動再現データの地面に対する相対位置に狂いが生じた場合であっても、靴底センサー42によって検出される床面と接触するタイミングを用いて、各体動センサー41の値を修正(例えば、0補正。)することにより、体動再現データの構築及び表示・出力を適正に行うことができる。
【0154】
また、本実施形態において、体動センサー及び靴底センサーによる検出結果を体動データとして蓄積する体動記録部は、情報端末装置100のメモリ114であるので、体動データを蓄積しておくデバイスを携帯性の高いウェアラブルな腕時計タイプとすることができ、運動やスポーツをしているときの体動データを簡単に収集することができる。
【0155】
さらに、本実施形態において、装着用端末1の無線通信部119bは、Bluetooth(登録商標)、BTLE、ANTなどの無線通信方式を用いている。ここで、このような無線通信方式では、同時接続できる台数が制限されていることから(Bluetooth(登録商標)では、最大6台)、本実施形態では、最低限のセンサー数で装着者の体動再現データを算出して解析することを可能とさせるために、装着者の両膝、両足に4つの体動センサー41を取り付けるとともに、両足の靴底それぞれに靴底センサー42を取り付けて、合計6個のセンサー40を用いて体動再現データを算出している。その結果、本実施形態によれば、上述した各実施形態における情報端末装置100の構成を変更することなく、装着者の体動再現データを算出して解析することができる。
【0156】
(変形例1)
次いで、上述した第4実施形態の変形例1について説明する。上述した第4実施形態では、両膝、及び両足の計6箇所に体動センサー41を取り付けたが、本変形例1では、他の部分にも体動センサー41を取り付けた場合を例に説明する。
図18は、本変形例1に係るモーションキャプチャシステムの概略構成図であり、
図19は、本変形例1に係る各装置の内部構成を示すブロック図である。なお、以下の変更例において、上述した各実施形態及と同一の構成要素には同一の符号を付し、その機能等は特に言及しない限り同一であり、その説明は省略する。
【0157】
本変形例1におけるモーションキャプチャシステムでは、装着者の上半身においても、複数の体動センサー41が装着されているとともに、各体動センサー41と無線通信を行うハブ70が装着者に装着されている。具体的に、体動センサー41は、第4実施形態に取り付けられた体動センサー41の他、
図18に示すように、手首や肘に取り付けられている(左手首体動センサー41e、右手首体動センサー41f、及び右肘体動センサー41g)。なお、
図18では右肘のみ表示されているが、左肘にも体動センサー41が装着されているものとする。
【0158】
ハブ70は、各センサー40と通信処理を行い、各センサー40からの検出結果を収集するルーター装置である。このハブ70は、装着者の衣服又はベルトに着脱可能であるか、或いは、ベルト又は衣服として装着者に対し着脱可能であってもよい。また、例えば、ポシェットのように衣服自体とは別体として構成されてもよい。
【0159】
このようなハブ70は、
図19に示すように、データ収集部71と、データ転送部72とを備えている。データ収集部71は、体動センサー41及び靴底センサー42による検出結果を取得するモジュールであり、BTLE、ANT等によるデータ通信用プロトコルによる無線通信機能を有している。このデータ収集部71は、複数のセンサー40を1つのグループとして認識し、各グループ内において、各センサー40からの検出結果を取得するようになっている。具体的には、
図19に示すように、両膝及び両足に装着された体動センサー41a〜41dと、靴底センサー42a及び42bとは、第1グループ40としてグループ化され、第1グループ収集部71aは、第1グループ40内の各センサーと通信を行って検出結果を取得している。一方、両手首及び両肘に装着された体動センサー41e〜41g(左肘に装着された体動センサーを含む。)は、第2グループ40aとしてグループ化され、第2グループ収集部71bは、第2グループ40a内の各センサー41と通信を行って検出結果を取得している。
【0160】
なお、本変形例1において、各グループ収集部71a,71bは、最大6個のセンサーを1グループとして紐付けることができるものとする。そのため、本変形例1のグループ収集部71bには、現在4つの体動センサー41が紐付けされていることから、他の部位に体動センサーをさらに取り付けて追加することもできる。さらに、多くの体動センサー41を身体に取り付ける場合には、それらのセンサーを第3グループとして紐付け、データ収集部71には、当該グループに対応するデータ収集部を設けることができる。なお、グループ内の接続数は、ハブ70のグループ収集部の機能に応じて種々変更可能であるものとする。
【0161】
データ転送部72は、データ収集部71が取得した検出結果を、統合されたデータ形式に変換し、情報端末装置100へ送出するモジュールであり、本変形例1では、各グループ収集部71a及び71bが収集した検出結果を、グループ毎に統合して情報端末装置100へ送出する。この送出される検出結果には、各センサー40を識別する識別情報、装着部位情報、及び時刻情報等も付加されているものとする。なお、データ転送部72は、装着用端末1の無線通信部119bと、BTLE、ANT等によるデータ通信用プロトコルによって無線通信を実行する。
【0162】
情報端末装置100は、ハブ70から取得したグループ毎に統合された検出結果を取得して、第4実施形態と同様、体動センサー41及び靴底センサー42による検出結果を体動データとしてメモリ114(体動記録部)に蓄積する。その後、体動データは、ドック用装置2を介してサーバー装置5aに送信され、サーバー装置5aでは、取得したグループ毎の体動データを用いて、体動再現データを算出するとともに、靴底センサー42a,42bの検出結果に基づいて、体動再現データを補正し、補正された体動再現データを解析する。なお、各グループ同士は、それぞれ紐付けられており、体動算出部52、補正部54及び解析部55は、全グループ内のセンサー40から取得された検出結果を用いて各処理を実行するものとする。
【0163】
サーバー装置5aで解析された解析結果は、情報端末装置100に送信され、装着用端末1の出力デバイスである表示部131に解析結果が表示される。なお、本変形例1においても、情報端末装置100におけるその他の機能モジュールは、上述した第1実施形態〜第3実施形態と同様であり、
図19において図示せず、また、その説明上は省略するものとする。なお、
図18に示すように、通信ネットワーク8には、パーソナルコンピュータ9が接続され、サーバー装置5aは、解析結果をパーソナルコンピュータ9に送信して、パーソナルコンピュータ9の表示画面に表示させることもできる。
【0164】
(モーションキャプチャ方法)
以上の構成を有すモーションキャプチャシステムを動作させることによって、本変形例1に係る装着者の体動を検出するモーションキャプチャ方法を実施することができる。
図20は、本変形例1に係るモーションキャプチャ方法を示すシーケンス図である。
【0165】
先ず、装着者は、両膝、両足、両手首、両肘に体動センサー41(41a〜41g)を装着するとともに、靴底センサー42を装着する。また、装着者は、情報端末装置100及びハブ70を身体の特定部位に装着する。
【0166】
その後、情報端末装置100を用いて、各センサー40に対する検出開始操作を行う(S201)。この検出開始操作の信号を取得すると、装着用端末1の制御部170の制御により、装着用端末1からハブ70に対して操作信号が送信され、ハブ70は各センサー40と接続処理を行う(S202)。なお、この検出開始の操作は、ハブ70に直接操作することで行われてもよい。
【0167】
ハブ70と各センサー40とが接続処理された後、各センサー40では、装着者の動作を検出する。具体的に、装着者の身体各部位に取り付けられた体動センサー41により、各部位の三次元的な変位、又は加速度が検出されるとともに、装着者の靴底に配置された靴底センサー42により、靴底に作用する圧力が検出される。
【0168】
その後、取得された各検出結果は、各センサー40の無線通信部からハブ70のデータ収集部71に送信される(S204)。この際、第1グループ40に属する各センサー40は、第1グループ収集部71aと通信処理を行い、第2グループ40aに属する各センサー40は、第2グループ収集部71bと通信処理を行う。
【0169】
ハブ70の各グループ収集部71a,71bは、体動センサー41及び靴底センサーによる検出結果を取得すると(S2105)、取得した検出結果を、統合されたデータ形式に変換し(S206)、情報端末装置100へ送出する(S207)。
【0170】
装着用端末1の無線通信部119bが、グループ毎に統合されたデータ形式で、各検出結果を取得すると(S208)、装着用端末1のメモリ114は、体動センサー41及び靴底センサー42による検出結果を体動データとして蓄積する(S209)。その後、装着用端末1は、装着用端末1で記録された体動データを、ドック側接続端子21及び端末側接続端子11を用いてドック用装置2に送信する。そして、ドック用装置2の無線通信部206は、取得した体動データをサーバー装置5aに送信する(S210)。
【0171】
サーバー装置5aの体動データ取得部53は、体動データを取得すると(S211)、体動センサー41による各検出結果を体動算出部52に送信するとともに、靴底センサー42による検出結果を補正部54に送信する。体動算出部52では、メモリ114に蓄積された体動センサー41による各検出結果と、各体動センサー41の相対位置関係に基づいて、装着者の体動を体動再現データとして算出し(S212)、その体動再現データを補正部54に送信する。一方、補正部54は、靴底センサー42による検出結果に基づいて、体動算出部52が算出した体動再現データを補正する(S213)。その後、補正された体動再現データは、解析部55に送信される。
【0172】
解析部55では、補正部54により補正された体動再現データに基づいて、装着者の体動を解析する(S214)。解析された解析結果のデータは、通信インターフェース51を介して、情報端末装置100へ送信される(S215)。情報端末装置100のドック用装置2は、解析結果のデータを受信すると(S216)、ドック側接続端子21及び端末側接続端子11を用いて、装着用端末1に送信する。そして、装着用端末1の制御部170は、取得した解析部55による解析結果を表示部131に表示又は出力する(S217)。
【0173】
(作用・効果)
このような本変更例によれば、装着者に装着させる体動センサー41や靴底センサー42を増加させているので、より細かな体動再現データを算出して、装着者の体動を解析することができる。特に、本変形例1では、多数の体動センサー41a〜41gをグループ化し、グループ毎にデータ収集を行い、さらにそれらを最終的に統合されたデータ形式に変換し、一括して他の端末に転送できるようにしているので、多数の体動センサー41や靴底センサー42を装着する場合であっても、データ収集部71及びデータ転送部72をハブ70として用いることで、通信機器の接続数やデータ転送量に制限があるときでも、一旦データ転送部72にデータを集積して統合することにより、多数のセンサーや大量のデータを扱うことができる。
【0174】
(変形例2)
次いで、上述した変形例1についての変形例について説明する。上述した変形例1では、装着者の腕等に装着される情報端末装置100を用いて、サーバー装置5aと通信を行ったが、本変形例2では、装着者が所持するスマートフォン等であるユーザー端末6を用いてサーバー装置5aと通信処理を行う場合を例に説明する。
図21は、本変形例2に係るアドバイスサービスの概略構成図であり、
図22は、本変形例2に係る各装置の内部構成を示すブロック図である。なお、以下の変更例において、上述した各実施形態及び変更例と同一の構成要素には同一の符号を付し、その機能等は特に言及しない限り同一であり、その説明は省略する。
【0175】
本変形例2におけるモーションキャプチャシステムには、通信ネットワーク8上には、装着者に装着されたハブ70と、装着者に装着されたハブ70と無線通信を行うユーザー端末6が設けられている。ハブ70のデータ収集部71は、上述した変形例1と同様、複数のセンサー40をグループ化し、そのグループ内の各センサー40から検出結果を取得する。一方、ハブ70のデータ転送部72では、データ収集部71が取得した検出結果を、統合されたデータ形式に変換し、ユーザー端末6へ送出する。
【0176】
ユーザー端末6は、使用者に携帯される端末であって、CPUによる演算処理機能、及び無線通信機能を有する携帯電話機又はスマートフォンであり、一般的な基地局等の中継点と無線で通信し、通話やデータ通信等の通信サービスを移動しつつ受けることができる。さらに、このユーザー端末6は、デジタルカメラ機能、アプリケーションソフトの実行機能、及びGPS機能等の機能が搭載され、携帯情報端末(PDA)としての機能も果たす。また、本変形例2においても、ユーザー端末6は、ハブ70のデータ転送部72とテザリング接続を行う近距離無線通信機能を有するとともに、無線基地局7を介して通信ネットワーク8と通信可能となっている。
【0177】
このようなユーザー端末6の内部構成は、
図22に示すように、ユーザー端末6は、無線インターフェース61、メモリ65と、アプリケーション実行部64と、出力インターフェース63と、入力インターフェース62とを備えている。
【0178】
無線インターフェース61は、通話を行うための移動通信用のプロトコルによる無線通信と、例えば無線LAN等のデータ通信用のプロトコルによる無線通信とを実行する機能を備えている。無線インターフェース61は、通常のBluetooth(登録商標)、BTLE、ANT、ANT+等によるデータ通信用プロトコルによる無線通信機能も有しており、ハブ70と近距離無線通信を行い、検出結果がデータ形式に変化された体動データを取得するようになっている。また、無線インターフェース61は、サーバー装置5aから解析結果のデータを受信する。なお、ユーザー端末6とハブ70との通信は、リアルタイムや所定間隔毎に自動で行ってもよく、また、ユーザー操作に応じて通信を開始してもよい。
【0179】
入力インターフェース62は、操作ボタンやタッチパネルなどユーザー操作を入力するデバイスである。また、出力インターフェース63は、ディスプレイやスピーカーなど、映像や音響を出力するデバイスである。特に、この出力インターフェース63には、液晶ディスプレイなどの表示部13aが含まれている。この表示部13aが、解析部55による解析結果を表示又は出力する出力デバイスとなる。
【0180】
メモリ65は、OS(Operating System)や各種のアプリケーション用のプログラム、その他のデータ等などを記憶する記憶装置であり、このメモリ65内には、ハブ70と無線通信処理を行うために情報として、ハブ70を識別する識別情報が蓄積されている。
【0181】
アプリケーション実行部64は、一般のOSやブラウザソフトなどのアプリケーションを実行するモジュールであり、通常はCPU等により実現される。このアプリケーション実行部64では、データ転送部72から取得した、統合されたデータ形式の体動データをサーバー装置5aに送信するとともに、サーバー装置5aから解析結果のデータを受信するようになっている。
【0182】
(モーションキャプチャ方法)
以上の構成を有すモーションキャプチャシステムを動作させることによって、本変形例2に係る装着者の体動を検出するモーションキャプチャ方法を実施することができる。
図23は、本変形例2に係るモーションキャプチャ方法を示すシーケンス図である。
【0183】
先ず、装着者は、両膝、両足、両手首、両肘に体動センサー41(41a〜41g)を装着するとともに、靴底センサー42及びハブ70を装着する。次いで、装着者は、ユーザー端末6を用いて、各センサー40からの検出結果をハブ70に取得するように操作する(S301)。なお、この検出開始の操作は、ハブ70に基づいて行われてもよい。また、本変形例2では、ユーザー端末6を衣服のポケットやウエストポーチ等に収納して携帯してもよく、鞄等に収納し携帯しなくてもよい。
【0184】
ハブ70は操作信号を送信すると、各センサー40と接続処理を行う(S302)。接続処理された後、各センサー40では、装着者の動作を検出する(S303)。具体的に、装着者の身体各部位に取り付けられた体動センサー41により、各部位の三次元的な変位、又は加速度が検出されるとともに、装着者の靴底に配置された靴底センサー42により、靴底に作用する圧力が検出される。
【0185】
その後、取得された各検出結果は、各センサー40の無線通信部からハブ70のデータ収集部71に送信される(S304)。この際、第1グループ40に属する各センサー40は、第1グループ収集部71aと通信処理を行い、第2グループ40aに属する各センサー40は、第2グループ収集部71bと通信処理を行う。
【0186】
ハブ70の各グループ収集部71a,71bは、体動センサー41及び靴底センサー42による検出結果を収集すると(S305)、取得した検出結果を、統合されたデータ形式に変換し(S306)、ユーザー端末6へ送出する(S307)。
【0187】
ユーザー端末6の無線インターフェース61が、グループ毎に統合されたデータ形式で、各検出結果を取得すると(S308)、ユーザー端末6のメモリ65は、体動記録部として、体動センサー41及び靴底センサー42による検出結果を体動データとして蓄積する(S309)。その後、ユーザー端末6は、記録された体動データをサーバー装置5aに送信する(S310)。
【0188】
サーバー装置5aの体動データ取得部53は、体動データを取得すると(S311)、体動センサー41による各検出結果を体動算出部52に送信するとともに、靴底センサー42による検出結果を補正部54に送信する。体動算出部52では、メモリ65に蓄積された体動センサー41による各検出結果と、各体動センサー41の相対位置関係に基づいて、装着者の体動を体動再現データとして算出し(S312)、その体動再現データを補正部54に送信する。一方、補正部54は、靴底センサー42による検出結果に基づいて、体動算出部52が算出した体動再現データを補正する(S313)。その後、補正された体動再現データは、解析部55に送信される。
【0189】
解析部55では、補正部54により補正された体動再現データに基づいて、装着者の体動を解析する(S314)。解析された解析結果のデータは、通信インターフェース51を介して、ユーザー端末6へ送信される(S315)。ユーザー端末6は、解析結果のデータを受信すると(S316)、アプリケーション実行部64は、取得した解析部55による解析結果を表示パネル63aによって表示又は出力する(S317)。
【0190】
なお、本変形例2において、ハブ70とユーザー端末6という異なる装置を用い、各センサー40から取得した検出結果を一旦ハブ70で収集し、その後、ユーザー端末6のメモリ65に記録させる構成としたが、本発明は、これに限定するものではなく、例えば、ハブ70が情報携帯端末の一つの機能として実現され、ハブ70とユーザー端末6とが一体となった装置を用いてもよい。さらには、サーバー装置5aによる体動再現データの算出や、補正処理、及び解析処理などをユーザー端末6において実行可能として、スタンドアローン型としてもよい。
【0191】
(作用・効果)
このような本変形例2によれば、ハブ70から検出結果を取得して体動データとして蓄積する装置は、装着者が所持するユーザー端末6としているので、ユーザーが現在携帯しているスマートフォンを、装着者の体動を検出するモーションキャプチャ装置として利用することができ、初期導入のコストを低減することができる。
【0192】
[変更例]
なお、上述した各実施形態1〜4及び変形例は、本発明の一例である。このため、本発明は上述した実施形態及び変形例に限定されることなく、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更や、それぞれの構成を組み合せることが可能であることはもちろんである。
【0193】
例えば、第1実施形態の装着用端末1と、第2実施形態のドック用装置2aとを、ドック側接続端子21を介して係合させたり、第2実施形態の装着用端末1aと、第1実施形態のドック用装置2とを、ドック側接続端子21を介して係合させることもできる。また、例えば、第1実施形態及び第2実施形態で説明した装着用端末1,1a、及びドック用装置2,2aの各機能をいずれの装置に持たせるかは、組み合せ自在であり、例えば、Bluetooth(登録商標)などの無線通信部206aを第1実施形態のドック用装置2に搭載してもよく、また振動モーター204などを装着用端末1に搭載してもよい。また、装着用端末1又はドック用装置2にブラウザ機能を持たせて、通信ネットワークを介して直接Webデータを受信して表示部131,133に表示させることもできる。
【0194】
さらに、ドック用装置2,2aには、例えば、撮影機能を有するカメラやユーザーの脈を計る脈拍計などを搭載させることもできる。ここで、カメラを設置する場合には、ドック用装置2,2aがユーザーの腕に装着されたり、装着用端末1と係合されたりした際、レンズが外部に向けられるような位置に配置される。また、脈拍計を設置する場合には、ユーザーの皮膚と接触するドック用装置2の底面に配置されるように設計される。そして、装着用端末1,1aとドック用装置2とが接続端子11,21を介して接続されることで、カメラで撮像された画像や映像を表示部131,133に表示することもでき、また、脈拍計で測定された結果を表示部131,133に表示させることもできる。
【0195】
また、上記実施形態で説明した装着用端末1やドック用装置2に備えられた通信機能と、これらの端末装置に備えられたセンサーや、或いはこれらに無線通信を介して接続されたセンサー類を利用して、当該端末装置や、これらの端末装置がマウントされた自転車やバイク、自動車等の盗難防止に応用してもよい。この場合には、装着用端末1やドック用装置2、その他のセンサーを、自転車や自動車等の監視対象にマウントし、着用端末1やドック用装置2の通信インターフェースを通じて、各センサーからの検出信号を遠隔にて監視することにより、盗難時に発生する振動や移動を検知し、盗難の発生を検知することができる。また、マウントされている装着用端末1やドック用装置2に備えられたこの各センサーからの検出値に応じて、ブザーや警報、警告音の音声出力や発光、振動などの鳴動を発生させることにより、盗難を未然に防止することも期待できる。
【0196】
さらに、上述した実施形態及びその変形例では、通信ネットワーク上に設けられたサーバー装置によって、体動再現データに対する解析を行う場合を例示したが、本発明は、これに限定するものではなく、例えば、情報端末装置100やユーザー端末6、ハブ70などにおいてスタンドアローンで実行・処理してもよい。この場合、情報端末装置100やユーザー端末6、ハブ70には、上述した動データ取得部53、体動算出部52、補正部54、及び解析部55と同機能を有する機能モジュールが設けられ、また、記憶部56内に含まれた各データがメモリ等に蓄積するようにしてもよい。
【0197】
[第5実施形態]
次いで、本発明の第5実施形態について説明する。本実施形態では、上述した第1又は第2実施形態で説明した情報端末装置100bと、使用者の身体に取り付けられる各種センサーとを用いて、装着者の体動を検出するモーションキャプチャシステムを提供することを要旨とする。特に、本実施形態では、一つの情報端末装置100bを用いて、トライアスロン競技のバイクとランといったような複数種の競技についての計測及びコーチングを可能とするシステムを提供する。
【0198】
(各装置の構成)
本実施形態に係る情報端末装置100bは、
図24(a)及び(b)に示すように、ベルト部材4によってユーザーが装着可能な腕時計タイプのウェアラブル端末であり、ユーザーの腕に装着可能な装着用端末1bと、及びドック用装置2bと、ドック用装置2bと着脱可能に係合される電源用装置3bとから構成されている。なお、装着用端末1bとドック用装置2b、及びベルト部材4も相互に着脱可能となっており、必要に応じて適宜分離・合体できるようになっている。また、装着用端末1bやドック用装置2bは、使用目的によりそれぞれの追加機能やデザインが異なる多数の種類があり、目的に応じて、適宜選択して組み合せを自由に変えることができる。例えば、
図24(b)及び
図26に示すように、装着用端末1bが合体されるドック用装置2bには、自転車のハンドル部分にマウントするためのマウント器具101を取付けたり、電源用装置3bとして拡張用のバッテリーを装着したりできるようになっている。
【0199】
詳述すると、情報端末装置100bは、本実施形態では、装着用端末としてベルト部材4を用いてユーザーの腕などにリストバンドとして装着したり、自転車のハンドル102部分などにマウント器具101のクランプを連結して取付けたりできる機能を備えており、一つの(1種類の)情報端末装置をバイクとランの両方の競技にわたって引き続き用いることができるとともに、身体に装着したセンサー類もバイクとランの両方で継続して装着したままシームレスに使用できる。
【0200】
また、装着用端末1b自体も、
図25に示すように、操作ボタンやタッチパネル等を備えた操作部104とディスプレイ部103とが分離可能となっており、競技の種目や測定目的に応じて、ディスプレイを大型のもの(大型ディスプレイ103b)と小型のもの(小型ディスプレイ103a)と交換できるようになっている。これによりディスプレイの面積応じた情報表示能力を優先させるか、装置の小型による省電力性を優先させるかなどを適宜選択できる。なお、
図25(b)に示すように、大型ディスプレイ103b若しくは小型ディスプレイ103aのいずれを選択して操作部104に連結させても、同じベルト部材4に装着できるようになっている。
【0201】
小型ディスプレイ103a及び大型ディスプレイ103bは、上面に液晶ディスプレイを有し、側面に操作部104と連結するための係合構造及び電気接続コネクタを備えている。これら小型ディスプレイ103a及び大型ディスプレイ103bと、操作部104の底面部には、ベルト部材4と係合するための係合構造を備えている。ベルト部材4は、装着用端末1bを腕に装着するための部材であり、ユーザーの用途に応じて種々のベルトを用いることができ、金属ベルト、ラバーベルト、皮ベルト、ナイロンベルトなど種々のベルトが選択可能となっている。
【0202】
小型ディスプレイ103a及び大型ディスプレイ103bは操作部104に対して傾斜して係合されるようになっており、係合後は装着用端末1bはその側面形状が全体としてくの字状に屈曲することとなり、装着者の腕の丸みに沿うようになっている。小型ディスプレイ103a及び大型ディスプレイ103bは、ユーザーにメッセージや入力文字などを表示させるディスプレイであり、その上面にタッチパネルが一体的に形成されている。このタッチパネルは、感圧式や光学式、静電式、電磁誘導式等の検出方式によってディスプレイ上のタッチされた位置を、例えばディスプレイを構成するドット単位で検出し、検出した位置(以下、適宜「タッチ位置」という。)の信号をタッチ位置として出力する。タッチ位置は、タッチパネルの検出面の座標系として設定されているXY座標系で表現される。ユーザーは、付属のタッチペンPNや、指等を用いてディスプレイ上でのタッチ操作により各種の操作入力を行うことができる。
【0203】
防水対応しているこのタッチパネルは、水面においても、特殊な静電容量検知方式により、ディスプレイ上のタッチされた位置を検出し、検出信号をタッチ位置として出力する。タッチ位置は、タッチパネルの検出面の座標系として設定されているXY座標系で表現される。ユーザーは、水面の付くような環境化でも、ディスプレイ上でのタッチ操作により各種の操作入力を行うことができる。なお、時計本体にも装備されている機械式のボタンでも、時計本体の操作は可能である。
【0204】
なお、小型ディスプレイ103aは、ベルト部材4の幅の範囲に収まるような大きさであり、略台形形状をなしている。一方、大型ディスプレイ103bは、ベルト部材4の幅の範囲から側方へ向けて拡張された形状をなしており、この拡張された形状部分は、装着者の手首と反対側の腕方向に突出した形状となっている。
【0205】
操作部104には、GPSアンテナ,無線アンテナが外装ケース内に配置されており、GPSアンテナは、図示しないSAWフィルタが抽出した1.5GHz帯の衛星信号から航法メッセージに含まれる衛星軌道情報、GPS時刻情報、或いは位置情報等の衛星情報を取得する無線通信用のアンテナ(第1のアンテナ)であり、ステンレスなどの導電性部材で形成されている。また、操作部104に内蔵された無線アンテナは、極低電力の近距離無線規格であるBTLE(Bluetooth(登録商標) Low Energy)用のアンテナであり、各種のセンサーや体に身につける小型の他の装置との通信を行うためのものである。この無線アンテナも、ステンレスなどの導電性部材で形成されている。
【0206】
また、本実施形態において、操作部104には、その側面において使用者が手動操作するための操作ボタンが装備されているとともに、操作部104の表面はタッチパネルや状態表示用のLEDなどが配置されている。さらに、本実施形態において操作部104は、防水機能を有しているとともに、GPS衛星からの電波(無線信号)を処理して速度情報や位置情報を取得して表示する機能も有している。また、操作部104には、加速度センサーなどを内蔵させて、体動による加速度の測定に基づいた行動計としての機能を設けることもできる。
【0207】
一方、ドック用装置2bは、装着用端末1bと着脱可能に係合される情報端末装置であり、装着用端末1bの外形と合致するように屈曲された凹部を有する函体である。本実施形態において、ドック用装置2bは、例えば、硬化プラスチック等の合成樹脂で形成され、内部にCPUなどの情報端末装置を備えている。そして、本実施形態において、このドック用装置2bは、その上面にドック側接続端子(第1の接続端子)21が形成されており、ドック側接続端子21を介して装着用端末1bの外装ケース底部である着脱可能に係合されている。具体的に、装着用端末1bの底部には、ドック側接続端子21に対応する位置に端末側接続端子が設けられており、ドック側接続端子21が端末側接続端子と接触することで、ドック用装置2bと装着用端末1bとが電気的に接続されるようになっている。そして、装着用端末1b及びドック用装置2bは、このドック側接続端子21を介して、ドック用装置2bから装着用端末1bに対して、電源を供給したり、小型ディスプレイ103a及び大型ディスプレイ103bに表示するためのデータの送受信を行うようになっている。
【0208】
また、このドック用装置2bには、バッテリーが着脱可能に搭載されているとともに、無線電波を介して非接触でデータの読出しや書き込みが可能なRFID通信機能を有しており、ドック用装置2bに設けられた無線通信用の無線アンテナを用いて、外部のリーダライタ装置と無線通信が可能となっている。この無線アンテナは、外部のリーダライタ装置が発信する弱い電波を利用してデータを送受信する非接触式の無線通信用(NFC(Near Field Communication))のアンテナである。さらに、本実施形態において、ドック用装置2bには、パーソナルコンピュータ等の外部装置と電気的に接続されるUSB端子を備えている。USB端子は、ドック用装置2bの外部に設けられ、USBケーブルを介して外部装置と接続される外部端子であって、ドック用装置2b側部に配置されたUSB端子33を保護するコネクタ内に設置されている。
【0209】
電源用装置3bは、ドック用装置2b底部に着脱可能に係合され、装着用端末1b及びドック用装置2bに対して電源を供給したり、充電したりする装置である。本実施形態において、電源用装置3bは、ユーザー宅などの室内設置型であってもよく、自動車、自転車などに設置される携帯型であってもよい。ここで、室内設置型である場合には、コンセントと電源ケーブルを介して電力が供給され、一方、携帯型である場合には、外部のACアダプタ機器から供給された電源を蓄積するバッテリーを備えるようにしてもよい。なお、このバッテリーには、交流を直流に変換する変圧器や整流器、安定化回路などを内蔵させてもよい。なお、電源用装置3bの構成は、使用される用途に応じて変更可能であり、例えば、テーブル等に設置される場合には、下面に設置台が設けられ、自転車に設置される場合には、ハンドル部分に収納又は固定するためのアタッチメント部品を取り付けるようにしてもよい。
【0210】
(モーションキャプチャ方法の手順)
図27及び
図28は、本実施形態に係る情報端末装置100bを用いたモーションキャプチャシステムの概略説明図である。また、
図29は、本実施形態に係る各装置の内部構成を示すブロック図である。
【0211】
図27及び
図28に示すように、本実施形態に係るモーションキャプチャシステムは、装着者に装着される情報端末装置100bと、装着者の身体各部位に装着され、情報端末装置100bに対して無線接続される各種センサー40とから構成されている。なお、本実施形態では、基本的に情報端末装置100bと各種センサー40との間における近距離無線通信で構築される範囲でシステムが構築可能となっており、通信ネットワーク上のサーバー等とは、実際の測定時には接続されず、いわゆるオフラインでのスタンドアローンとして、システムの運用が可能となっている。
【0212】
各種センサー40は、装着者に着脱可能に取り付けられる複数のセンサーが含まれるセンサー群であって、本実施形態においては、体動センサー41ととが含まれる。なお、ここでは、上述した実施形態のような靴底センサー42は含まれないが、必要に応じて適宜用いてもよい。
【0213】
体動センサー41a〜eは、装着者の身体各部位に取り付けられ、各部位の三次元的な変位、角速度又は加速度を検出するセンサー群であり、本実施形態では、装着者の所定の関節部分に取り付けられている。具体的には、装着者の右膝に取り付けられる右膝体動センサー41a、装着者の左膝に取り付けられる左膝体動センサー41b、装着者の右足の甲に取り付けられる右足体動センサー41c、装着者の左足の甲に取り付けられる左足体動センサー41d、装着者の腰に取付けられる腰部体動センサー41eとから構成されている。これら体動センサー41は、物体の加速度を計測する3軸加速度計と、物体の角速度を検出する3軸ジャイロスコープ、磁場の大きさ・方向を計測する3軸磁気センサーが搭載され、9軸の動きを検知可能となっている。
【0214】
各体動センサー41は、クリップ等の部材などによって装着者の衣服に着脱可能であるか、或いは、ベルト又は衣服として装着者に対して着脱可能であってもよい。このようにすれば、ベルトや衣服に小物を付けたり、ベルトや衣服を着たりする日常生活の感覚で装着者が各センサーを着脱して測定を行うことができるので、装着者に負担を与えずに継続的な測定を行うことが容易である。
【0215】
そして、これらの各センサー40(各体動センサー41a〜e)は、
図29に示すように、それぞれ無線通信部を有している。この無線通信部は、内部にアンテナを有し、BTLE(Bluetooth(登録商標) Low Energy,Bluetooth(登録商標) 4.0)等による近距離無線通信のデータ通信用プロトコルを実行する機能によって、情報端末装置100bと通信処理が可能となっている。なお、本実施形態において、各センサー40の無線通信部は、低消費電力通信用のプロトコルとしてBTLEを採用したが、例えば、ANT、ANT+等を採用することもできる。また、通常のBluetooth(登録商標)を採用することもできる。
【0216】
本実施形態に係る情報端末装置100bは、装着用端末として用いることができるうえに、上述した各実施形態に係る機能の他、各センサー40によって検出された検出結果を収集する機能を有し、無線通信部119bによって各センサー40と相互に通信処理を行って、検出結果を取得できるようになっている。情報端末装置100bのメモリ114は、体動センサー41による検出結果を体動データとして蓄積する体動記録部としての機能を果たしている。なお、各センサー40から送信される検出結果には、各センサー40を識別するセンサー識別情報が付加されており、情報端末装置100のメモリ114には、当該識別情報が蓄積され、制御部170では無線通信部119bから取得した際、いずれのセンサー40から取得した検出結果であるかを判別可能となっている。なお、この識別情報には、各センサーの装着部位を特定する装着部位情報が含まれており、この装着部位情報に基づいて、体動再現データの算出が可能となっている。さらに体動データ内には、各センサー40から検出結果を取得した際の時刻情報も含まれている。
【0217】
なお、情報端末装置100は、取得した体動データを前述の実施形態で説明した通信ネットワーク8のサーバー装置5aに送信する機能を有している。具体的には、装着用端末1で記録された体動データを、ドック側接続端子21及び端末側接続端子11を用いて、ドック用装置2に送信する。そして、ドック用装置2bの無線通信部206は、取得した体動データをサーバー装置5aに送信する。
【0218】
通信インターフェース119bは、通信ネットワーク8を介した各種情報の送受信や、wifiやBluetooth(登録商標)等の近距離無線通信を制御するモジュールであり、種々のプロトコルにより、情報端末装置100bのドック用装置2や各センサーと通信をしたり、3G通信により上記サーバー装置5a等ととの間でデータの送受信を行う。本実施形態において、通信インターフェース119bは、ドック用装置2から体動データを取得するとともに、解析部55によって解析された解析結果をサーバー装置5a等に送信する。
【0219】
さらに、情報端末装置100bの表示部131は、体動再現データに対する解析結果を表示又は出力する出力デバイスとしての機能を有しており、サーバー装置5aから解析結果を取得すると、制御部170の制御により表示部131に表示される。なお、本実施形態において、情報端末装置100bにおけるその他の機能モジュールは、上述した第1実施形態〜第4実施形態のいずれかと同様であり、
図26において図示せず、また、その説明上は省略する。
【0220】
また、情報端末装置100bは、本実施形態において、各センサーから取得した体動データに基づいて、装着者の体動を解析し、体動再現データを生成する機能を有している。具体的に情報端末装置100bは、
図29に示すように、制御部170を備えており、この制御部170は、各部を制御する際に必要な種々の演算を行うCPU等の演算処理装置である。なお、情報処理端末100bの各機能は、この制御部170において所定のプログラムを実行することにより、制御部170上に仮想的に構築される。詳述すると、制御部170は、体動データ取得部170cと、体動算出部170bと、周期抽出部170aと、補正部170dと、解析部170eとを、仮想的に構築する。
【0221】
体動データ取得部53は、無線インターフェース119bを介して、各センサー40から体動データを取得するモジュールであり、本実施形態では、各体動センサー41aから41eと無線通信を行って、これらの検出結果である体動データを取得する。この体動データは、一時的にメモリ114内に蓄積され、その後、体動センサー41による各検出結果は、体動算出部52に送信され、また、腰部体動センサー41eによる検出結果は、補正部170dに送出される。
【0222】
体動算出部170bは、メモリ114(体動記録部)に蓄積された体動センサー41a〜eによる各検出結果と、各体動センサー41a〜eの相対位置関係に基づいて、装着者の体動を体動再現データとして算出するモジュールである。ここで、体動センサー41による各検出結果とは、いわゆる9軸センサーで測定される値であり、本実施形態では、物体に作用する加速度(重力加速度を含む。)の方向と大きさ、物体の角速度(大きさ、方向、中心位置)、磁場の大きさ・方向(方角)である。また、各体動センサー41a〜eの相対位置関係とは、各体動センサー41a〜eを装着者が装着した状態において、装着者の骨格及び各体動センサー41a〜eの装着位置から定まる相互距離や可動範囲である。例えば、
図15(b)に示すように、人間の下半身は,骨盤B7に対し、一対の大腿骨B1,B2が接続され、これらにそれぞれ脛骨B3,B4、さらに足根骨B5,B6が接続されている。各骨は、関節によって屈曲又は回転可能に接続されているが、それぞれの骨の長さはほぼ変化しない。また、各関節における屈曲角R13,R24,R35,R46も可動範囲も限られている。したがって、このような骨の長さや関節の可動範囲などから定められる各体動センサーの検出結果と、各体動センサー41a〜e間の相対位置関係とから、装着者の動作や姿勢を再現した体動再現データを生成することができる。
【0223】
さらに、本実施形態では、この体動算出部には、周期抽出部170aが備えられている。この周期抽出部170aは、メモリ114に蓄積された体動再現データに基づいて、体動に含まれる周期的な変化を抽出する。この周期的な変化としては、単純な円運動だけではなく、
図27(a)及び(b)に示すように、立体的で且つ8の字や波状運動が複合された複雑な周回運動C1〜C3などが含まれる。本実施形態では、装着者の右膝に取り付けられる右膝体動センサー41aの周回運動がC2a、装着者の左膝に取り付けられる左膝体動センサー41bの周回運動がC2b、装着者の右足の甲に取り付けられる右足体動センサー41cによる周回運動がC1a、装着者の左足の甲に取り付けられる左足体動センサー41dによる周回運動がC1b、装着者の腰に取付けられる腰体動センサー41eによる周回運動(揺動運動)がC3として抽出される。これら周回運動は、C1a,C1b,C1c及びC1dは、ランニング時及び自転車競技時に装着者の進行方向xと鉛直方向yを含む平面xyに沿った方向を主成分とした周回運動を行い、C3は、平面xyと交差する平面に沿った方向を主成分とする傾向にある。なお、解析部170eは、この周回運動のパターンを解析する機能も備えており、周回運動の特徴を抽出することにより、現在行われている競技の種目を自動的に判別し、種目に適した処理設定を切り替えることができる。
【0224】
この周期的変化の抽出方法としては、例えば、腰部体動センサー41eのように、装着者身体の中心線上に定義される揺動点に対応させた身体部位、例えば腰部に配置された体動センサーを監視し、この腰部体動センサー41e(揺動点)の三次元的な変位、又は加速度を検出して、当該揺動点の揺動運動C3を測定する。この揺動運動C3は平面xyと交差する平面内に沿った方向を主成分とした周回運動であり、人体の腰部のように身体の中心線上に定義される揺動点は脚部に取付けたセンサーの周回運動ランニングやサイクリングのような運動でも比較的規則正しく振幅することから、この揺動のタイミングを契機として、他のセンサー類の検出結果誤差の修正を行うことができる。なお、周期的変化の抽出対象となる体動データは、腰部体動センサー41eに限らず、体動センサー41a〜eのいずれでもよく、これらを組み合わせて得られるデータであってもよい。また、上述した実施形態のように靴底センサーなどで取得される圧力変化の周期を用いてもよい。
【0225】
なお、本実施形態において、体動算出部170bは、体動センサー41a〜eによる各検出結果と、これら体動センサー41a〜eの相対位置関係の変化に基づいて、装着者の体動を体動再現データとして算出する。このとき、体動算出部170bは、例えば、
図25に示すように、腰部体動センサー41eによる検出結果に基づいて、重力方向(
図27(b)中におけるy方向)及び装着者の進行方向(
図27(b)中におけるx方向)に平行な垂直面(
図28中におけるxy平面)内に投影された基準周回軌跡C1axy及びC1bxyを算出するとともに、各体動センサー41a〜eの三次元的な自由周回軌跡C1を算出する。そして、体動算出部170bは、算出した基準周回軌跡C1xy(C1axy及びC1bxy)と、算出した自由周回軌跡C1(C1a及びC1b)との乖離に基づいて、装着者の左右のそれぞれにおける体動センサー(右半身側41a,c及び左半身41b,d側)と腰部体動センサー41eとの相対的変位を推測する。そして、このようにして算出された基準周回軌跡C1xyと、自由周回軌跡C1と、推測される相対的変位とに基づいて体動再現データを算出する。算出された基準周回軌跡C1xyと、算出した自由周回軌跡C1との乖離は、理想的なフォームからの崩れの度合いを推定するデータとして用いることができ、これによりコーチング等を実施できる。
【0226】
補正部170dは、周期抽出部170aによる検出結果に基づいて、体動算出部170bが算出した体動再現データを補正するモジュールである。ここで、補正部170dによる補正処理とは、上述した体動センサー41では、各センサーが測定した値を継続的に累積させることにより、全体的な変位や回転を算出する。ところがセンサーに生じるノイズや誤差が累積されることにより、実際の位置や変位や姿勢と乖離する可能性がある。そのため、本実施形態では、補正部170dにおいて、周期抽出部170aによる検出結果により、周期性から求められる一定の基準点に回帰した瞬間(例えば、腰部体動センサー41eが身体の中心軸位置を通過した瞬間など)が、繰り返し動作の終了点及び次の動作の開始点であると判断し、他の体動センサーの周回運動も終了点・開始点に到達したとして、位置や回転角を補正する。
【0227】
解析部170eは、補正部170dにより補正された体動再現データに基づいて、装着者の体動を解析するモジュールである。この解析方法としては、補正後の体動再現データに基づいて、装着者を3次元的に表示させた立体画像データを生成するものであってもよく、また、例えば、模範となる体動データが蓄積されたメモリ114から、模範となる体動データを抽出し、装着者の体動再現データと比較することで、正常な体動とのズレなどを示した改善データを生成してもよい。さらには、予め、性別、身長、体重、年齢などユーザー情報を登録しておくことで、各ユーザー情報に基づいた解析を行ってもよい。そして、解析部170eは、この立体画像データや改善データなどの解析結果を情報端末装置100bに送信する。
【0228】
メモリ114は、各種のデータを蓄積する記憶装置であり、各情報端末装置100bを識別する識別情報や、各センサー40の装着部位情報、各部位に装着された体動センサー41の相対位置関係、及び上述したユーザー情報や模範となる体動データなどが蓄積されている。
【0229】
(モーションキャプチャ方法)
以上の構成を有すモーションキャプチャシステムを動作させることによって、本実施形態に係る装着者の体動を検出するモーションキャプチャ方法を実施することができる。
図30は、本実施形態に係るモーションキャプチャ方法を示すシーケンス図である。なお、ここでは、トライアスロン競技のように、自転車競技からランニング競技に連続して移行する場合を例に説明する。
【0230】
先ず、装着者は、両膝、及び両足に各体動センサー41a〜dを装着するとともに、各腰部体動センサー41eを腰部に装着する。また、装着者は、情報端末装置100bを装着する。ここでは、自転車競技時にあっては、マウント器具102及びドック用装置2bを介して装着用端末1bを自転車のハンドル部分に固定し、ドック用装置2及び電源用装置3bから装着用端末1bを充電しつつ、モーションキャプチャを実行し、その後、装着用端末1bをドック用装置2bから切り離し、ベルト部材4により装着者の腕に装着する。
【0231】
情報端末装置100bの固定若しくは装着が完了したら、次いで、各センサー40から検出結果を取得するように操作する(S501)。このとき、ユーザー操作により競技種目を選択するようにしてもよいし、上述した周回運動の特徴を抽出して、抽出されたパターンから予めプリセットされた競技種目を自動的に判別し、種目に適した処理設定を切り替えることができる。この機能により、途中で競技種目が切り替わっても、特別な走査を要することなく、シームレスに計測を継続することができる。
【0232】
そして、検出開始操作を受けて、装着用端末1bの制御部170は、操作信号を取得すると各センサー40と接続処理を行う(S401)。接続処理された後、各センサー40では、装着者の動作を検出する。具体的に、装着者の身体各部位に取り付けられた体動センサー41により、各部位の三次元的な変位、又は加速度を検出する(S402)。次いで、取得された各検出結果は、各センサー40の無線通信部を介して、微弱電波により装着用端末100bの無線通信部119bによって送信される(S403)。装着用端末100bの無線通信部119bが各検出結果を取得すると(S502)、体動記録部であるメモリ114は、体動センサー41a〜eによる検出結果を体動データとして蓄積する(S503)。
【0233】
その後、体動データ取得部53により体動データが取得されると、体動データ取得部170cは、体動センサー41による各検出結果を体動算出部52に送信するとともに、周期抽出部170aによる検出結果を補正部54に送信する。体動算出部52では、体動記録部に蓄積された体動センサー41による各検出結果と、各体動センサー41の相対位置関係に基づいて、装着者の体動を体動再現データとして算出し(S504)、その体動再現データを補正部170dに送信する。一方、補正部54は、周期抽出部170aによる検出結果に基づいて、所定の周期が到来した際に(S506における「Y」)、体動算出部52が算出した体動再現データを補正する(S507)。その後、補正された体動再現データは、解析部55に送信される。
【0234】
解析部55では、補正部54により補正された体動再現データに基づいて、装着者の体動を解析する(S508)。解析された解析結果のデータは、解析結果を表示部131やスピーカーによる音響等によって表示又は出力する(S509)。なお、抽出された周回運動や体動再現データのパターンに変化が検出された場合(S510における「Y」)、そのパターンを照合して現在行われている競技種目を自動的に判定し、競技種目に適した計測設定に切り替えることができる(S512)。
【0235】
以上の処理を競技中継続して実行し(S511における「N」)、検出処理が終了次第(S511における「Y」)、各センサーとの通信を切断する(S513及びS404)。
【0236】
(作用・効果)
このような本実施形態によれば、装着者の身体に体動センサー41a〜eを装着させ、各センサー40の検出結果に基づいて装着者の体現を体動再現データとして算出するとともに、体動再現データを解析して解析結果を表示部131に表示させているので、装着者自身の体動を装着者に認識させたり、装着者の体動の改善点などをアドバイスすることができる。
【0237】
この際、補正部54では、周期抽出部170aによる検出結果に基づいて、体動算出部52によって算出された体動再現データを補正しているので、9軸センサー等の体動センサー41で生じるノイズや誤差によって、体動再現データの地面に対する相対位置に狂いが生じた場合であっても、周期抽出部170aによって検出される周回運動のパターン及びタイミングを用いて、各体動センサー41の値を修正(例えば、0補正。)することにより、体動再現データの構築及び表示・出力を適正に行うことができる。
【0238】
また、本実施形態において、体動センサー41a〜41eによる検出結果を体動データとして蓄積する体動記録部は、情報端末装置100bのメモリ114であるので、体動データを蓄積しておくデバイスを携帯性の高いウェアラブルな腕時計タイプとすることができ、運動やスポーツをしているときの体動データを簡単に収集することができる。
【0239】
さらに、本実施形態において、装着用端末1bの無線通信部119bは、Bluetooth(登録商標)、BTLE、ANTなどの無線通信方式を用いている。ここで、このような無線通信方式では、同時接続できる台数が制限されていることから(Bluetooth(登録商標)では、最大6台)、本実施形態では、最低限のセンサー数で装着者の体動再現データを算出して解析することを可能とさせるために、装着者の両膝、両足、さらに腰部に計5つの体動センサー41a〜eを用いて体動再現データを算出している。その結果、本実施形態によれば、上述した各実施形態における情報端末装置100bの構成を変更することなく、装着者の体動再現データを算出して解析することができる。