特許 7449463 歩行補助ウェアラブルデバイス、制御方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2024-03-06

(45)【発行日】2024-03-14

(54)【発明の名称】歩行補助ウェアラブルデバイス、制御方法、及びプログラム

(51)【国際特許分類】

   G06F 3/01 20060101AFI20240307BHJP

【ＦＩ】

G06F3/01 510

【請求項の数】 8

(21)【出願番号】P 2023189100

(22)【出願日】2023-11-06

【審査請求日】2023-11-06

【早期審査対象出願】

(73)【特許権者】

【識別番号】523003685

【氏名又は名称】株式会社Ｔｒｅｅ Ｏｃｅａｎｓ

(74)【代理人】

【識別番号】110003731

【氏名又は名称】弁理士法人Ｃ＆Ｎ

(72)【発明者】

【氏名】三崎 登

【審査官】塩屋 雅弘

(56)【参考文献】

【文献】特表２０２３－５３７６８１（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１０／００７５８０６（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ３／０１

３／０４８－３／０４８９５

(57)【特許請求の範囲】

【請求項1】

ユーザに視覚コンテンツ及び／又は聴覚コンテンツを出力可能な出力手段を備える歩行補助ウェアラブルデバイスであって、
前記出力手段は、所定の速度で前記視覚コンテンツの表示を追加する、及び／又は、所定のテンポで前記聴覚コンテンツを出力し、
前記ユーザの姿勢に関するセンサデータに基づいて前記ユーザの歩行に関する志向を判定し、当該志向に基づいて、前記視覚コンテンツ及び／又は聴覚コンテンツの出力態様を決定することを特徴とする、歩行補助ウェアラブルデバイス。

【請求項2】

ユーザに視覚コンテンツ及び／又は聴覚コンテンツを出力可能な出力手段を備える歩行補助ウェアラブルデバイスであって、
前記出力手段は、所定の速度で前記視覚コンテンツの表示を追加する、及び／又は、所定のテンポで前記聴覚コンテンツを出力し、
前記ユーザの睡眠、食事、現在時刻から遡った所定期間における加速度データに基づく活動量のうち少なくともいずれか一つ以上の情報に基づいて予測されたコンディションに基づいて、前記視覚コンテンツ及び／又は聴覚コンテンツの出力態様を決定することを特徴とする、歩行補助ウェアラブルデバイス。

【請求項3】

前記コンディションは、前記ユーザのドーパミンの存在量に関する、請求項２に記載の歩行補助ウェアラブルデバイス。

【請求項4】

出力した前記視覚コンテンツ及び／又は聴覚コンテンツの歩行補助に係る効果を評価して評価情報を生成するコンテンツ評価部をさらに備え、
前記出力手段は、前記評価情報に基づいて前記視覚コンテンツ及び／又は聴覚コンテンツの出力態様を決定することを特徴とする、請求項１または請求項２記載の歩行補助ウェアラブルデバイス。

【請求項5】

前記評価情報は、他のユーザの評価情報を含むことを特徴とする、請求項４に記載の歩行補助ウェアラブルデバイス。

【請求項6】

ユーザに視覚コンテンツ及び／又は聴覚コンテンツを出力可能な歩行補助ウェアラブルデバイスの制御方法であって、
前記ユーザの姿勢に関するセンサデータに基づいて前記ユーザの歩行に関する志向を判定するステップと、
当該志向に基づいて、前記視覚コンテンツ及び／又は聴覚コンテンツの出力態様を決定するステップと、
前記出力態様によって前記視覚コンテンツの表示を所定の速度で追加するステップ、及び／又は、前記聴覚コンテンツを所定のテンポで出力するステップと、
を備えることを特徴とする、制御方法。

【請求項7】

ユーザに視覚コンテンツ及び／又は聴覚コンテンツを出力可能な歩行補助ウェアラブルデバイスの制御方法であって、
前記ユーザの睡眠、食事、現在時刻から遡った所定期間における加速度データに基づく活動量のうち少なくともいずれか一つ以上の情報に基づいてコンディションを予測するステップと、
前記予測されたコンディションに基づいて前記視覚コンテンツ及び／又は聴覚コンテンツの出力態様を決定するステップと、
前記出力態様によって前記視覚コンテンツの表示を所定の速度で追加するステップ、及び／又は、前記聴覚コンテンツを所定のテンポで出力するステップと、
を備えることを特徴とする、制御方法。

【請求項8】

前記ウェアラブルデバイスに、請求項６または７に記載の制御方法を実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は歩行補助ウェアラブルデバイス、制御方法、及びプログラムに関する。

【背景技術】

【0002】

従来、拡張現実空間を投影するウェアラブルデバイスにより、ウェアラブルデバイスを装着するユーザに対し情報を補完するなど、ユーザの行動を支援する方法が普及している。

【0003】

例えば、特許文献１は、ユーザが装着する装置により投影される拡張現実空間内において、ユーザが物理空間内において物体との衝突を回避するようガイドする仕組みを開示している。

【先行技術文献】

【特許文献】

【0004】

【文献】特表２０１７－５３５９０１号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

このように、特許文献１の技術により、現実空間におけるユーザ行動を支援する仕組みが提供されているが、老人及びパーキンソン病に罹患する患者のように、歩行障害等の運動障害を有するユーザに対し、そのような障害を改善する方法を提供することは困難である。

【0006】

そこで、本発明は、ユーザのスムーズな歩行を支援する方法を提供する。

【課題を解決するための手段】

【0007】

本発明の一の実施形態において、ユーザに視覚コンテンツ又は聴覚コンテンツを出力可能な出力手段を備える歩行補助ウェアラブルデバイスであって、前記出力手段は、所定の速度で前記視覚コンテンツの表示を追加する、及び／又は、所定のテンポで前記聴覚コンテンツを出力することを特徴とする、歩行補助ウェアラブルデバイスを提供する。

【発明の効果】

【0008】

本発明によれば、視覚コンテンツ又は聴覚コンテンツを認識することにより、ユーザが歩きやすくなる。

【図面の簡単な説明】

【0009】

【図1】本発明の実施の形態によるウェアラブルデバイスの構成例を示す図である。

【図2】本発明の実施の形態によるソフトウェアモジュールの構成例を示す図である。

【図3】本発明の実施の形態による視覚コンテンツの表示例を示す図である。

【図4】本発明の実施の形態による視覚コンテンツの表示例を示す図である。

【図5】本発明の実施の形態による情報処理フローを示す図である。

【図6】本発明の実施の形態による情報処理フローを示す図である。

【発明を実施するための形態】

【0010】

以下、本発明の実施の形態について、図面を参照しながら説明する。なお、以下に説明する実施例は、特許請求の範囲に記載された本発明の内容を不当に制限するものではない。また、以下で説明される構成のすべてが、本発明の必須構成要件であるとは限らない。

【実施例1】

【0011】

＜構成＞
本実施例に係るウェアラブルデバイスは、スマートグラス、ヘッドマウントディスプレイ等の、ユーザの身体に装着し得るデバイスが挙げられる。ここで、ウェアラブルデバイスに替えて、または、ウェアラブルデバイスと近距離通信等により接続する、スマートフォン、タブレット、携帯端末その他情報端末をユーザ端末として適用することもできるし、ワークステーションやパーソナルコンピュータのような汎用コンピュータを適用することもできる。

【0012】

図１は、本実施例に係るメガネ型のウェアラブルデバイスの説明図である。ウェアラブルデバイスは、一例として、投影装置１を備え、装着したユーザの視野に画像を投影することができる。投影装置１は、プロジェクター用マイコン２により制御され生成された画像コンテンツを投影する。また、ウェアラブルデバイスはカメラ４を備え、画像データを取得することができる。本実施例のウェアラブルデバイスは、各種センサを備える。一例として、赤外線センサ５、ジャイロスコープ６、加速度センサ７、磁力計８、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）などを備えることができるが、これらすべてのセンサを搭載する必要はなく、また、必要に応じて他のセンサを搭載することもできる。各センサが取得したセンサデータは、センサーマイコン９により中継される。ウェアラブルデバイスはオペレーティングシステムであるＣＰＵ１０を備え、ＲＯＭに格納されている各種プログラムをＲＡＭに展開してプログラムを実行し、各構成要素を統括的に統御してウェアラブルデバイスを動作させる。また、必要に応じて、調光レンズ３、充電式バッテリー１１、ヒートシンク１２、音声を出力するためのスピーカー１３、ユーザの発話を集音するためのマイクロフォン１４、フレームサイズ調整システム１５、無線送受信機１６等、ウェアラブルデバイスに搭載可能な要素を自由に備えることができる。また、これらの要素は必ずしも単一のデバイスに搭載されている必要はなく、適宜別個のデバイスに搭載されてもよい。例えば、マイクやヘッドホンはメガネ型のウェアラブルデバイスとは別個の独立した装置として有することもできる。

【0013】

ディスプレイ（表示部）としては、光学透過型と非透過型のディスプレイが考えられるが、本実施形態では、拡張現実空間を提供するため、透過型の表示パネルを例示する。表示パネルには、左目用画像と右目用画像とが表示され、両目の視差を利用することにより立体感のある画像をユーザに提供することができる。左目用画像と右目用画像とを表示することができれば、左目用ディスプレイと右目用ディスプレイとを個別に備えることも可能であるし、左目用及び右目用の一体型のディスプレイを備えることも可能である。

【0014】

カメラ４は、現実空間を撮像し、通常、ウェアラブルデバイスを装着するユーザの視線方向と一致するように備えられる。カメラ４はまた、ユーザのジェスチャをキャプチャするセンサ（例えば、二次元／三次元カメラ、超音波、深度、ＩＲセンサ等）としての機能を備えることもできる。カメラ４により撮像された現実空間の画像は、３Ｄオブジェクト等の視覚コンテンツとしての画像データと合成され、現実空間の画像に視覚コンテンツの画像が重畳して表示される。ＣＰＵは、例えば、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を含むことができ、画像処理に係る演算処理を実行することができる。

【0015】

ＧＰＳは、現在位置情報を測位する。ＧＰＳは、ＧＰＳ衛星から測位用の電波を受信し、絶対位置となる緯度経度情報を測位することができる。また、複数の携帯電話用の基地局から通信電波を受信し、複数基地局測位機能によって現在位置情報を測位することもできる。また、加速度センサ７は、加速度（単位時間当たりの速度の変化）を検出する。

【0016】

加速度センサ７は、３軸方向（ｘ、ｙ、ｚ方向）の加速度を検出することができる。例えば、前後方向をｘ軸、左右方向をｙ軸、上下方向をｚ軸とし、前方方向をｘ軸正方向、左方向をｙ軸正方向、下方向をｚ軸方向とすると、加速度センサ７は、各方向の加速度を検出するとともに、ｘ軸回りの回転角（ロール角）、ｙ軸回りの回転角（ピッチ角）、ｚ軸回りの回転角（ヨー角）を検出する。

【0017】

本実施例に係るウェアラブルデバイスは、ユーザの生活情報を取得可能な生活情報取得手段を備えることができる。生活情報とは、脈拍、心拍数、血圧、血中酸素飽和度、体温、睡眠に関する情報（睡眠時間、入眠・覚醒が何時であったか、レム睡眠・ノンレム睡眠などの睡眠の質など）、活動量に関する情報（消費エネルギー量、どれくらいの負荷の運動をしたか・その時間、休憩時間など）、食事に関する情報（何をいつどれくらい食べたか、各栄養素の摂取状況など）などであってよいが、これに限られず、ユーザのコンディションを推し量るために有用な情報であればよい。生活情報取得手段は、これらの生活情報を客観的に測定可能なセンサ等であってもよいし、ユーザや、ユーザの状況を把握している他のユーザが入力することによってこれらの情報を取得するものであってもよい。センサである場合は、メガネ型のウェアラブルデバイスに備えられてもよいし、腕や足など他の部位に装着するウェアラブルデバイスに備えられてもよい。また、ユーザによる入力手段はウェアラブルデバイスに備えられていてもよいし、スマートフォン等の別のデバイスに備えられていてもよい。

【0018】

また、ユーザは、手足が不自由な場合が想定され、このような場合に、ウェアラブルデバイスや他のユーザ端末に内蔵されたマイクを介して、ウェアラブル端末は音声コマンドを受信し、音声コマンドに基づいた視覚コンテンツ及び聴覚コンテンツを通じた指示を送信することもできる。

【0019】

図２は、本実施例に係るソフトウェアモジュールの構成を示すブロック図である。以下に説明するソフトウェアモジュールは、すべてを単一のウェアラブルデバイスが備えていてもよいし、一部を他のウェアラブルデバイスやスマートフォン、パーソナルコンピュータなどのユーザ端末や、サーバ装置が備え、共同して情報処理を行うものであってもよい。

【0020】

ユーザデータ格納部３１は、老人やパーキンソン病に罹患する患者等のユーザに関するデータを格納し、そのユーザの基本情報（性別、年齢、国籍、出身地、疾患情報、健康情報、趣味、嗜好等）と、ウェアラブルデバイス等から取得される環境情報（カメラにより撮像される物理空間に関する画像データ、ユーザの音声や環境音等の集音データ、センサから取得される各種データ等）を含むことができる。

【0021】

コンテンツデータ格納部３２は、ユーザに対して提供される、聴覚により認識可能な楽曲や音声等の聴覚コンテンツデータ、及び視認可能なオブジェクト等の（２Ｄ、３Ｄ及び動画等を含む）視覚コンテンツデータを含むことができる。聴覚コンテンツデータは、ユーザの趣味、嗜好に合った楽曲データや、ユーザが指定する楽曲データを含むこともできる。視覚コンテンツデータは、後述する歩行補助用の目印や、机や椅子等のオブジェクトに関する画像データや、キャラクタに関する画像データ等を含むことができる。

【0022】

また、その他、ウェアラブルデバイスから取得される環境情報に基づいて、ユーザ周辺の物理空間に所在するオブジェクトを特定するための画像分析を実行するために必要な、画像データを入力データとして機械学習された学習モデルを格納する記憶部を備えることもできる。

【0023】

センサデータ取得部２１は、ウェアラブルデバイスが備える各種センサを制御し、データを取得する。

【0024】

画像データ取得部２２は、ウェアラブルデバイスに搭載されたカメラ４によって撮像されたユーザ周辺の物理空間に関する画像データを受信する。

【0025】

コンテンツデータ制御部２３は、コンテンツの出力態様を決定し、投影装置やスピーカーなどのコンテンツの出力手段に指示することができる。出力態様とは、出力するコンテンツの内容及びその出力の仕方（後述する追加表示速度、ＢＰＭなどを含む）を含むことができる。

【0026】

コンテンツデータ制御部２３は、受信した物理空間の画像データを解析し、画像認識により、物理空間に所在するオブジェクトを特定する。画像認識技術として、上記機械学習モデルを適用し、過去に入力された画像群及び出力されたオブジェクトデータ等のコンテンツデータを基に機械学習された学習モデルに基づいて、画像を認識し、コンテンツデータ格納部３２に格納されたオブジェクトデータを決定することができる。例えば、物理空間内に、ソファ、机及び本棚等が存在する場合、画像認識によりこれらをオブジェクトとして特定することができる。

【0027】

さらに、解析処理の詳細として、コンテンツデータ制御部２３は、特定したオブジェクトに基づいて、対応するオブジェクトデータを、コンテンツデータ格納部３２に格納されたオブジェクトに関する画像データ等のコンテンツを出力することで、拡張現実空間として、物理空間内に配置される視覚コンテンツの生成を実行する。例えば、ユーザが注意すべき、ソファ、机及び本棚等の目標物または障害物を視覚コンテンツとして生成することができる。

【0028】

また、解析処理の詳細として、コンテンツデータ制御部２３は、ユーザ端末に出力する聴覚コンテンツとして、楽曲データのＢＰＭ（速度）の調整を行うことができる。より具体的には、カメラ４の画像や加速度センサ７により検知された加速度データにより、ユーザの歩行速度を推測し、ユーザの趣味や嗜好に合った楽曲データのＢＰＭを調整する処理を実行する。コンテンツデータ制御部２３は、ＢＰＭを調整した楽曲データを聴覚コンテンツとして生成することができる。生成した聴覚コンテンツは、ウェアラブルデバイスのスピーカーから出力してもよいし、イヤホンやスマートフォンなどの他のデバイスを出力手段として出力してもよい。

【0029】

ＢＰＭ調整された、ユーザの趣味、嗜好に合う楽曲を出力することで、ユーザの歩行を加速させるようガイドしたり、ビートの周波数を上げることで、ユーザの脳内のドーパミンの生成を促し、ユーザの歩行速度を加速させることができる。また、聴覚コンテンツとして、ユーザに歩行や運動について必要な指示を行うための音声データを出力することもできる。

【0030】

コンテンツデータ制御部２３は、ユーザの視野に画像コンテンツを表示させる。一例として、ユーザの足元前方の床面に、目印を表示することができる。コンテンツデータ制御部２３は、カメラ４により取得された画像データに基づいて、ユーザの足部を検出してもよい。また、ユーザの視野内に足部領域を検出した場合、さらに床面領域を検出することとしてもよい。足部領域及び床面領域の検出方法は既存の画像解析技術を用いることで実現可能である。目印は典型的には、ユーザの進行方向に対して垂直方向に延びるラインであり、図３に示すように等間隔に複数のラインを表示することが好ましいが、これに限られない。このような目印を表示することにより、ユーザが足を踏み出しやすく、スムーズに歩行することを助けることができる。特に例えばパーキンソン病患者の歩行障害の症状の一つである、歩き始めの一歩が出にくい症状であるすくみ足症状を改善する効果が期待される。

【0031】

コンテンツデータ制御部２３は、目印を適宜追加表示するように画像コンテンツの表示を制御することができる。図３は、画像コンテンツの追加表示の一例である。まず、図３（ａ）のように、ユーザの足部の前方に目印（図３の例では複数のライン）を等間隔に表示させる。次に、図３（ｂ）、（ｃ）のように、目印の数を増やすように画像コンテンツの追加表示を行うことができる。追加表示は例えば、図３（ｃ）のように一定の範囲まで表示を追加した後は、図３（ａ）のようにまたより手前の狭い範囲の表示のみに戻して、（ａ）から（ｂ）、（ｂ）から（ｃ）、（ｃ）から（ａ）といったように追加表示を繰り返すことができる。コンテンツデータの追加表示は、例えば一定の時間経過により行うことができる。ユーザは歩いていても止まっていても、足元の目印が常に追加表示により変化するため、脳に刺激が伝わり、ドーパミン生成が促進され、歩きやすくなる。

【0032】

また、図４のように、コンテンツデータの追加表示は、ユーザの前進に合わせて行うこともできる。図４（ａ）の状態から、ユーザが歩くことで前進した場合、コンテンツデータ制御部２３は、カメラ４の画像データや加速度センサ７等のセンサデータの情報からユーザの前進を感知し、図４（ｂ）、（ｃ）のように常にユーザの足元の前方の一定範囲に目印を表示するように、追加表示を行うことができる。図３、４の例において例えば、コンテンツデータ制御部２３は、加速度センサ７等のセンサデータから、ユーザの実際の歩行速度を検知し、当該歩行スピードに基づいて、コンテンツデータの追加表示速度を決定し、出力することができる。追加表示速度は、実際の歩行速度と同じであってもよいし、実際の歩行速度よりも所定程度速く、又は遅くしてもよい。これにより、ユーザは自分の足元に常に目印が次々と表示されていくことで、脳に刺激が伝わり、歩きやすくなる。

【0033】

本実施例では、さらに志向判定部２４を備えることができる。志向判定部２４は、ユーザの歩行に関する志向、すなわち、「速く歩きたい」「ゆっくり歩きたい」「止まりたい」「歩き始めたい」といったユーザの希望を判定する。そして、コンテンツデータ制御部２３は、ユーザの歩行に関する志向に合わせて追加表示の態様を制御することができる。コンテンツデータ制御部２３は、例えば、ユーザの歩行に関する志向が「速く歩きたい」であった場合に、ユーザの視野に表示させる目印の追加速度を今よりも速くすることができる。例えばユーザの実際の歩行速度よりも所定程度速い速度で目印の追加表示を行うことで、ユーザが希望通り速く歩きやすくなる。一方で、ユーザの歩行に関する志向が「ゆっくり歩きたい」であった場合には、目印の追加速度を今よりも遅くすることができる。また、ユーザの歩行に関する志向が「止まりたい」であった場合には、コンテンツの追加表示を停止することとしてもよい。

【0034】

志向判定部２４は、各種センサが取得したセンサデータに基づいて、ユーザの歩行に関する志向を判定することができる。具体的には、体全体や頭などの特定の体の部位の傾きをジャイロスコープや加速度計、磁力計などによって計測し、うつむき加減が大きい場合や前のめりになっている場合に、「速く歩きたい」と判定することができる。また、生活情報取得手段が取得した脈拍や血圧、脳波、神経伝達物質の量などの生活情報に基づいて歩行に関する志向を判定してもよい。すなわち、例えば一例として、脈拍や血圧が高いときやドーパミンなどの神経伝達物質の放出量が多いとき、脳波等の情報から興奮していると判断できるときに「速く歩きたい」と判定し、反対に脈拍や血圧が低いとき、ドーパミンなどの神経伝達物質の放出量が少ないとき、脳波等の情報からリラックスしていると判断できるときに「ゆっくり歩きたい」と判定することができるが、ユーザの歩行に関する志向の判定方法はこれに限られない。

【0035】

また、志向判定部２４は、機械学習によりユーザの歩行に関する志向を判定することもできる。すなわち、体の傾きなどのセンサデータや、生活情報を入力データとして機械学習された学習モデルを格納し、これらの入力データから歩行に関する志向を推定することとしてもよい。機械学習による推定方法は、適宜既存の技術を利用することにより実現することができる。

【0036】

さらに、ユーザによって入力された歩行に関する志向に関する情報に基づいて決定してもよい。例えば、ユーザが、「今日は調子がいいので速く歩きたい」、「急いでいるので速く歩きたい」、「転ぶのが嫌なのでゆっくり歩きたい」などのユーザの志向をデバイスに直接的または間接的に入力することができる。また、ユーザ以外の他者がこれらの情報を入力してもよい。例えば看護師、ヘルパー、理学療法士、その他ユーザの歩行を補助する者や、ユーザの家族等が入力することもできる。

【0037】

このように、ユーザの歩行に関する志向に合わせて、コンテンツデータの出力態様を変更することによって、そのときのユーザの実際の歩行状態が、本人の意に反していたとしても、適切な歩行補助を行うことが可能となる。

【0038】

また、本実施例では、さらにコンディション予測部２５を備えることができる。コンディション予測部２５は、ユーザの生活情報に基づいて、コンディション、すなわち、「調子がいい」「調子が悪い」「疲れている・疲れやすい」「体が軽い」などの状態を予測するものである。そして、コンテンツデータ制御部２３は、予測されたコンディションに基づいてコンテンツの出力態様を決定することができる。すなわち、例えば「調子がいい」「体が軽い」といった良いコンディションの時は、追加表示速度を速めにし、「調子が悪い」「疲れている・疲れやすい」といった悪いコンディションの時は追加表示速度を遅くすること等が可能である。

【0039】

コンディション予測部２５は、神経伝達物質によってコンディションを予測することができる。神経伝達物質とは例えば典型的にはドーパミン、セラトニン、メラトニン、オキシトシンなどである。これらの神経伝達物質はユーザのコンディションに直結し、歩行速度に影響を与えることがある。例えばパーキンソン病患者などは、脳内のドーパミンの分泌量が少ないと、ふるえる・動きにくい等の不調が強くなるが、ドーパミンの分泌量は、しっかり眠った翌日、休憩の後、昼寝の後、軽い運動の後などに増加することが知られている。また、特定の栄養素を摂取することでドーパミンが出やすくなることも知られている。そこでコンディション予測部２５は、生活情報取得手段によって得られたユーザの睡眠、休憩、活動量、運動量、栄養摂取量等の情報をもとに、ドーパミンの分泌量を推定し、コンディションを予測する。

【0040】

コンディション予測の具体的な例を以下に説明する。生活情報取得手段として、加速度センサから得られる加速度データを利用し、ユーザの睡眠時間と睡眠の質（眠りの深さ、中断回数、いびきなど）を推定する。睡眠時間や睡眠の質の判定のために加速度センサに加えて、または代えて心拍計やマイクなど既知の手段を用いてもよい。推定された睡眠時間と睡眠の質に基づいて、睡眠に関する総合評価を行うことができる。例えば睡眠時間が一定時間以上あり、かつ睡眠の質も良好であった場合にＡ、睡眠時間が一定時間以上であったが睡眠の質が良好ではなかった場合、および睡眠時間が一定時間に満たなかったが睡眠の質は良好であった場合にＢ、睡眠時間が一定時間に満たず、かつ睡眠の質も良好でなかった場合にＣと判断することなどができる。コンディション予測部２５は、前日の睡眠に関する総合評価がＡだった場合に、「調子がいい」、Ｃだった場合に「調子が悪い」と判断することができる。

【0041】

コンディション予測の別の例として、生活情報取得手段として、加速度センサから得られる加速度データを利用し、ユーザの消耗度合いを推定する。例えば現在時刻から一定時間遡った期間における加速度データを解析することによって活動量を推定し、活動量が基準値以上であった場合には、「疲れている」と判定し、活動量が基準値以下だった場合には「疲れていない」と判定する。消耗度合いを推定する期間としては、短期的な疲れを評価する場合には現在時刻から２～３時間の間のデータを利用することができ、長期的な疲れを評価する場合には、1日～１週間の間のデータを利用して評価してもよい。

【0042】

また、コンディション予測部２５は、睡眠に関するデータと消耗度合いに関するデータを組み合わせて予測を行ってもよい。例えば、活動量から疲れているか否かを判定する基準値を、前日の睡眠に関する評価に応じて変更することができる。具体的には前日の睡眠に関する評価が良好であった場合には、直近数時間の活動量が通常よりも多くても「疲れていない」と判定し、反対に睡眠に関する評価が良くなかった場合には、活動量が通常よりも少なくても「疲れている」と判定することなどができる。

【0043】

コンディション予測部２５は、機械学習によりユーザのコンディションを予測することもできる。すなわち、ユーザの睡眠、休憩、活動量、運動量、栄養摂取量等を入力データとして機械学習された学習モデルを格納し、これらの入力データからコンディションを予測することとしてもよい。機械学習による推定方法は、適宜既存の技術を利用することにより実現することができる。

【0044】

コンテンツデータ制御部２３は、コンディション予測部２５によって予測されたユーザの状態によってコンテンツデータの追加表示速度を変更することができるため、ユーザの自覚に関わらず適切な歩行補助を実施することが可能となる。

【0045】

コンテンツデータ制御部２３が出力する画像コンテンツは、ユーザの歩行を補助可能な目印であればよく、図３、４に図示したライン状の態様に限られない。また、画像コンテンツの追加表示の態様としては、図３、４に図示したように目印の数が増える態様に限られず、目印の表示面積を増やす、色や輝度を濃くする等の変化でもかまわない。

【0046】

ここまで、コンテンツデータとして、画像コンテンツを出力する例を説明したが、本実施例においては、聴覚コンテンツを出力することもできる。聴覚コンテンツとは、機械音、人や動物の声、歌、音楽等、耳で知覚可能なコンテンツであればよい。聴覚コンテンツは、ウェアラブルデバイスのスピーカーから出力することができるが、これに限られず、ウェアラブルデバイスとは別個のデバイス（例えばユーザのスマートフォン）から出力することとしてもよい。

【0047】

コンテンツデータ制御部２３は、あらかじめ取得したユーザデータに基づいて、出力する聴覚コンテンツを選択することができる。ユーザデータとは例えば、年代、性別、国籍、民族、出身地、性格、好きな音楽のジャンルなどであってよい。コンテンツデータ制御部２３は、コンテンツデータ格納部３２から、ユーザデータに基づいて適当な聴覚コンテンツを選択し、出力することができる。

【0048】

コンテンツデータ制御部２３は、ユーザの歩行速度に合わせて、出力する聴覚コンテンツのＢＰＭ（速度）を変更することができる。例えば加速度センサ７等のセンサデータやカメラ４の画像データから、ユーザの実際の歩行速度を検知し、当該歩行スピードに基づいて、聴覚コンテンツデータのＢＰＭを決定し、出力することができる。これにより、ユーザは自分の歩行速度にマッチしたＢＰＭで聴覚コンテンツを聞くことができるので、脳に適切な刺激が伝わり、歩きやすくなる。

【0049】

また、コンテンツデータ制御部２３は、前述した志向判定部２４による判定結果に基づいて、聴覚コンテンツのＢＰＭを決定することもできる。すなわち、ユーザの歩行に関する志向が「速く歩きたい」であった場合にＢＰＭを速くすることができる。一方で、ユーザの歩行に関する志向が「ゆっくり歩きたい」であった場合には、ＢＰＭを遅くすることができる。また、ユーザの歩行に関する志向が「止まりたい」であった場合には、聴覚コンテンツの出力を停止することとしてもよい。

【0050】

また、コンテンツデータ制御部２３は、前述したコンディション予測部２５による予測結果に基づいて、聴覚コンテンツのＢＰＭを決定することもできる。すなわち、「調子がいい」「体が軽い」といった良いコンディションの時は、ＢＰＭを速めにし、「調子が悪い」「疲れている・疲れやすい」といった悪いコンディションの時はＢＰＭを遅くすること等が可能である。

【0051】

このように、聴覚コンテンツを出力することによって、ユーザの脳を刺激し、ユーザの歩行を補助することができる。以上のように、音と画像（映像）による作用により、ユーザの脳に刺激を与え、脳内のドーパミンの生成を手助けし、これにより、脳から命令の接続が運動系に復元され、運動が解凍されることで、ユーザの歩行能力を回復させることができる。

【0052】

図５は、本実施例におけるコンテンツ制御の方法を説明するフローチャートである。本処理は、ウェアラブルデバイスのＣＰＵ制御部で実行することができるが、図示しないサーバ端末の制御部によって実行することもでき、またはこれらが共同して実行することで実現することも可能である。以下では、ウェアラブルデバイスのＣＰＵが実行する場合を例に説明する。

【0053】

まず、センサデータ取得部２１は、各種センサによって取得されたセンサデータを取得する（Ｓ１０１）。また、画像データ取得部２２は、ウェアラブルデバイスのカメラ４によって取得された画像データを取得する。コンテンツデータ制御部２３は、これらのセンサデータ又は画像データに基づいて、ユーザの現在の歩行速度を算出する（Ｓ１０２）。

【0054】

次に、志向判定部２４は、センサデータやユーザからの入力等に基づいて、ユーザの歩行に関する志向を判定する（Ｓ１０３）。そして、コンテンツデータ制御部２３は、ユーザの歩行に関する志向が「速く歩きたい」であった場合（Ｓ１０４＝Ｙｅｓ）、コンテンツの制御情報を変更する（Ｓ１０５）。すなわち、画像コンテンツを出力する場合は、その追加表示速度を増加させるように変更し、聴覚コンテンツを出力する場合は、そのＢＰＭを増加させる。また、ユーザの歩行に関する志向が「ゆっくり歩きたい」であった場合（Ｓ１０４＝Ｙｅｓ）、画像コンテンツの追加表示速度を減少させるように変更し、聴覚コンテンツのＢＰＭを小さくすることができる。

【0055】

一方で、ユーザの歩行に関する志向が、「現在の歩行速度を維持したい」であった場合（Ｓ１０４＝Ｎｏ）、コンテンツの出力態様は変更する必要がないので、Ｓ１０１に戻る。

【0056】

コンテンツデータ制御部２３が決定したコンテンツデータの出力態様によって、ウェアラブルデバイスのコンテンツ出力手段は、コンテンツを出力する（Ｓ１０６）。つまり、画像コンテンツの場合はウェアラブルデバイスのディスプレイに所定の画像コンテンツを表示し、聴覚コンテンツの場合は、スピーカーから聴覚コンテンツを発する。

【0057】

センサ情報の取得（Ｓ１０１）は、ユーザがウェアラブルデバイスを装着している間において随時行うことができる。したがって、Ｓ１０１～Ｓ１０６の工程を繰り返し行うことで、ユーザの状態が変化した場合にもコンテンツの出力態様を合わせることができる。

【0058】

図６は、本実施例におけるコンテンツ制御の方法を説明するフローチャートの別の例である。

【0059】

まず、センサデータ取得部２１は、各種センサによって取得されたセンサデータを取得する（Ｓ２０１）。また、画像データ取得部２２は、ウェアラブルデバイスのカメラ４によって取得された画像データを取得する。コンテンツデータ制御部２３は、これらのセンサデータ又は画像データに基づいて、ユーザの現在の歩行速度を算出する（Ｓ２０２）。

【0060】

また、生活情報取得手段は、脈拍、心拍数、血圧、血中酸素飽和度、体温、睡眠に関する情報（睡眠時間、入眠・覚醒が何時であったか、レム睡眠・ノンレム睡眠などの睡眠の質など）、活動量に関する情報（どれくらいの負荷の運動をしたか・その時間、休憩時間など）、食事に関する情報（何をいつどれくらい食べたか、各栄養素の摂取状況など）などの生活情報をセンサ等又はユーザから取得する（Ｓ２０３）。

【0061】

コンディション予測部２５は、生活情報に基づいて、ユーザのコンディションを予測する（Ｓ２０４）。コンテンツデータ制御部２３は、予測されたコンディションに基づいて、コンテンツの出力態様を決定し、制御情報を生成する（Ｓ２０５）。例えば、そして、コンテンツデータ制御部２３が決定したコンテンツデータの出力態様によって、ウェアラブルデバイスのコンテンツ出力手段は、コンテンツを出力する（Ｓ２０６）。

【0062】

本発明によれば、画像コンテンツや聴覚コンテンツをユーザの状態にあった態様で出力することによって、ユーザがスムーズに歩行できるように補助することができる。本発明が対象とするユーザは、典型的には老人や、パーキンソン病などの運動障害を伴う病気の患者であるが、歩行に若干の困難性を有するユーザであれば効果を発揮するものである。

【実施例2】

【0063】

本実施例は、コンテンツ出力による歩行補助効果を測定し、フィードバックすることができるものであり、その他の点は実施例１と同じである。

【0064】

本実施例では、ソフトウェアモジュールとして、実施例１で説明したもののほかに、さらにコンテンツ評価部２６を備えることができる。コンテンツ評価部２６は、視覚コンテンツ及び／又は聴覚コンテンツが出力された際のユーザの歩行の状態に基づいて、コンテンツの効果を評価する。

【0065】

コンテンツ評価部２６は、歩行速度に基づいてコンテンツの効果を評価することができる。例えば、あるコンテンツを出力した際の加速度センサ７等のセンサデータによりユーザの歩行速度を検知し、一定基準値よりも速く歩いている場合はコンテンツが効果的であったと評価することができ、一定基準値よりも遅く歩いている場合や止まってしまった場合、歩き出すことができなかった場合はコンテンツの効果が低かったと評価することができる。基準値は一律に設定することもできるし、ユーザごとに設定してもよい。また、基準値との比較ではなく、コンテンツ出力前の時刻ｔ１における歩行速度に対して、コンテンツ出力後の時刻ｔ２における歩行速度が速い場合にコンテンツが効果的であったと評価し、遅い場合に効果がなかったと評価することとしてもよい。

【0066】

コンテンツ評価部２６は、生活情報に基づいてコンテンツの効果を評価することもできる。例えばドーパミンなどの神経伝達物質の放出量を測定し、一定基準値よりも放出量が多い場合はコンテンツが効果的であったと評価し、一定基準値よりも少ない場合は効果が低かったと評価することができる。基準値は一律に設定することもできるし、ユーザごとに設定してもよい。また、基準値との比較ではなく、コンテンツ出力前の時刻ｔ１における放出量に対して、コンテンツ出力後の時刻ｔ２における放出量が多い場合にコンテンツが効果的であったと評価し、少ない場合に効果がなかったと評価することとしてもよい。神経伝達物質の放出量に限らず、脈拍、心拍数、血圧、体温など、他の生活情報によって効果を評価してもよい。

【0067】

コンテンツ評価部２６は、ユーザや他のユーザからの入力に基づいて歩行状態を評価することもできる。コンテンツ出力後にユーザや他のユーザからコンテンツの評価についての情報の入力を受け付けることができる。

【0068】

コンテンツ制御部２３は、コンテンツ評価部２６の評価結果に基づいて、コンテンツの出力態様を変更することができる。コンテンツの評価が低かった場合は、出力していたコンテンツの内容を変更することができる。例えば、聴覚コンテンツであれば、音の種類、曲調、テンポ、リズムなどが異なるものに変更して出力することとしてもよいし、ＢＰＭを変更してもよい。視覚コンテンツであれば、表示するコンテンツの種類、色、形、大きさを変更して出力することとしてもよいし、追加表示速度を変更してもよい。また、聴覚コンテンツと視覚コンテンツのどちらを出力するか、その組み合わせ態様を変更してもよい。例えば視覚コンテンツのみを出力していたときのコンテンツ評価が低かった場合に、聴覚コンテンツを出力するように切り替えたり、視覚コンテンツと同時に聴覚コンテンツも出力するようにするなどができる。コンテンツ評価部２６による評価工程及び、コンテンツの変更工程は、随時行うことができ、例えば一定期間ごとに実行してもよい。また、コンテンツ評価部２６による評価結果が良好であった場合、コンテンツ制御部２３はコンテンツの出力態様を変更することなく、同様のコンテンツの出力を継続することができる。

【0069】

また、コンテンツ評価部２６は、出力したコンテンツの内容と評価結果とを紐づけた評価情報を生成し、記憶部に記憶することができる。評価情報として記憶するコンテンツの内容としては、視覚コンテンツを特定する情報、聴覚コンテンツを特定する情報、追加表示速度やＢＰＭなどの出力態様に関する情報、日時、ユーザを特定する情報、その時のユーザの生活情報等を含むことができる。当該評価情報は、ウェアラブルデバイスの記憶部に格納されてもよいし、図示しないサーバ装置や他のユーザ端末等に送信されて格納されてもよい。

【0070】

コンテンツ制御部２３は、評価情報に基づいて、出力するコンテンツを決定することができる。ウェアラブルデバイス又はサーバ装置等に格納された評価情報を参照し、評価が良好であったコンテンツを選択して出力することができる。例えば当該ユーザの過去の評価情報に基づいてコンテンツを選択する場合は、次回以降、このユーザに適したコンテンツを選択することができる。また、サーバ装置等に、他のユーザの評価情報も併せて格納されている場合は、他のユーザの評価情報に基づいてコンテンツを選択することもできる。その場合は、対象ユーザと似た特性（性別、年齢、国籍、持病、症状など）を有する他のユーザの評価情報を抽出し、評価結果が良好であったコンテンツを選択することで、対象ユーザに適している可能性が高いコンテンツを選択することができる。

【0071】

上述した実施の形態は、本発明の理解を容易にするための例示に過ぎず、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良することができると共に、本発明にはその均等物が含まれることは言うまでもない。

【符号の説明】

【0072】

１ 投影装置
２ プロジェクター用マイコン
４ カメラ
５ 赤外線センサ
６ ジャイロスコープ
７ 加速度センサ

【要約】

【課題】スムーズな歩行を補助するためのウェアラブルデバイスを提供する。
【解決手段】本発明はユーザの状態を測定可能なセンサと、前記ユーザに視覚コンテンツ又は聴覚コンテンツを出力可能な出力手段と、を備える歩行補助ウェアラブルデバイスであって、前記出力手段は、前記センサが取得したセンサデータに基づいて、異なる出力態様で前記視覚コンテンツ又は聴覚コンテンツを出力することを特徴とする、歩行補助ウェアラブルデバイスに関するものである。本発明によれば、視覚コンテンツ又は聴覚コンテンツによって脳に刺激を与え、歩行に困難性を有するユーザがスムーズに歩くことを補助することができる。
【選択図】図１

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】