(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2025105228
(43)【公開日】2025-07-10
(54)【発明の名称】シューズ及び保持部材
(51)【国際特許分類】
A43B 3/48 20220101AFI20250703BHJP
A43B 3/10 20060101ALI20250703BHJP
【FI】
A43B3/48
A43B3/10 H
【審査請求】未請求
【請求項の数】6
【出願形態】OL
(21)【出願番号】P 2023223643
(22)【出願日】2023-12-28
(71)【出願人】
【識別番号】309007911
【氏名又は名称】サントリーホールディングス株式会社
(74)【代理人】
【識別番号】100099759
【弁理士】
【氏名又は名称】青木 篤
(74)【代理人】
【識別番号】100123582
【弁理士】
【氏名又は名称】三橋 真二
(74)【代理人】
【識別番号】100117019
【弁理士】
【氏名又は名称】渡辺 陽一
(74)【代理人】
【識別番号】100141977
【弁理士】
【氏名又は名称】中島 勝
(74)【代理人】
【識別番号】100138210
【弁理士】
【氏名又は名称】池田 達則
(74)【代理人】
【識別番号】100180806
【弁理士】
【氏名又は名称】三浦 剛
(72)【発明者】
【氏名】山村 淳貴
【テーマコード(参考)】
4F050
【Fターム(参考)】
4F050AA01
4F050BB06
4F050BC19
4F050GA30
4F050JA30
4F050LA01
(57)【要約】
【課題】無線イヤホンの利用者の利便性を向上させることが可能なシューズを提供する。
【解決手段】シューズは、接地面を有するソール部と、ソール部と接続されたアッパー部と、音声信号を出力するスピーカを含み且つユーザの外耳道に挿入可能なイヤホン部、ユーザが歩行した際に得られるデータを取得するセンサ部、及び、データを外部機器に送信し且つ音声信号を外部機器から受信する送受信部を含む無線イヤホンを保持する保持部と、を有する。
【選択図】
図3
【特許請求の範囲】
【請求項1】
接地面を有するソール部と、
前記ソール部と接続されたアッパー部と、
音声信号を出力するスピーカを含み且つユーザの外耳道に挿入可能なイヤホン部、ユーザが歩行した際に得られるデータを取得するセンサ部、及び、前記データを外部機器に送信し且つ前記音声信号を外部機器から受信する送受信部を含む無線イヤホンを保持する保持部と、
を有することを特徴とするシューズ。
【請求項2】
前記保持部は、前記無線イヤホンの前記イヤホン部と接続された本体部が挿入可能な挿入開口を有する、請求項1に記載のシューズ。
【請求項3】
前記保持部は、前記無線イヤホン全体を前記アッパー部に押圧して固定する、請求項1に記載のシューズ。
【請求項4】
前記無線イヤホンは、ユーザが外耳道に前記無線イヤホンを挿入したか否かを検出するための挿入センサ部を有し、
前記保持部は、前記挿入センサ部により前記無線イヤホンがユーザの外耳道に挿入されたと検出される態様で、前記イヤホン部を保持する、請求項1または2に記載のシューズ。
【請求項5】
前記保持部は、前記アッパー部の外側側面、内側側面、つま先側側面、又は、かかと側側面に配置される、請求項1または2に記載のシューズ。
【請求項6】
シューズに取り付け可能な保持部材であって、
音声信号を出力するスピーカを含み且つユーザの外耳道に挿入可能なイヤホン部、ユーザが歩行した際に得られるデータを取得するセンサ部、及び、前記データを外部機器に送信し且つ前記音声信号を外部機器から受信する送受信部を含む無線イヤホンを保持する保持部を有することを特徴とする保持部材。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、シューズ及び保持部材に関する。
【背景技術】
【0002】
近年、外部機器から無線により音声信号を受信して出力する無線イヤホンが利用されている。
【0003】
特許文献1には、無線イヤホンから受信した信号に基づいて、ユーザが無線イヤホンを装着しているかどうかを示す装着状態を判定し、音声情報を装着状態に基づいて出力部に送信するコンパニオン通信デバイスが開示されている。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
無線イヤホンにおいて、利用者の利便性を向上させることが要求されている。
【0006】
シューズ及び保持部材の目的は、無線イヤホンの利用者の利便性を向上させることを可能とすることにある。
【課題を解決するための手段】
【0007】
実施形態に係るシューズは、接地面を有するソール部と、ソール部と接続されたアッパー部と、音声信号を出力するスピーカを含み且つユーザの外耳道に挿入可能なイヤホン部、ユーザが歩行した際に得られるデータを取得するセンサ部、及び、データを外部機器に送信し且つ音声信号を外部機器から受信する送受信部を含む無線イヤホンを保持する保持部と、を有する。
【0008】
実施形態に係るシューズにおいて、保持部は、無線イヤホンのイヤホン部と接続された本体部が挿入可能な挿入開口を有することが好ましい。
【0009】
実施形態に係るシューズにおいて、保持部は、無線イヤホン全体をアッパー部に押圧して固定することが好ましい。
【0010】
実施形態に係るシューズにおいて、無線イヤホンは、ユーザが外耳道に無線イヤホンを挿入したか否かを検出するための挿入センサ部を有し、保持部は、挿入センサ部により無線イヤホンがユーザの外耳道に挿入されたと検出される態様で、イヤホン部を保持することが好ましい。
【0011】
実施形態に係るシューズにおいて、保持部は、アッパー部の外側側面、内側側面、つま先側側面、又は、かかと側側面に配置されることが好ましい。
【0012】
実施形態に係る保持部材は、シューズに取り付け可能な保持部材であって、音声信号を出力するスピーカを含み且つユーザの外耳道に挿入可能なイヤホン部、ユーザが歩行した際に得られるデータを取得するセンサ部、及び、データを外部機器に送信し且つ音声信号を外部機器から受信する送受信部を含む無線イヤホンを保持する保持部を有する。
【発明の効果】
【0013】
シューズ及び保持部材は、無線イヤホンの利用者の利便性を向上させることができる。
【図面の簡単な説明】
【0014】
【
図1】実施形態に係る歩行姿勢状態推定システム1の概略構成を示す図である。
【
図2】(A)、(B)は、無線イヤホン装置300について説明するための模式図である。
【
図3】(A)、(B)は、シューズ400について説明するための模式図である。
【
図4】第1ウェアラブル装置100の概略構成を示す図である。
【
図5】第2ウェアラブル装置200の概略構成を示す図である。
【
図6】無線イヤホン装置300の概略構成を示す図である。
【
図7】情報処理装置500の概略構成を示す図である。
【
図8】データテーブル512のデータ構造の一例を示す模式図である。
【
図9】推定処理の動作の例を示すシーケンスである。
【
図10】(A)、(B)は、他のシューズ410について説明するための模式図である。
【
図11】(A)は、他のシューズ420について説明するための模式図であり、(B)は、他のシューズ430について説明するための模式図である。
【
図12】(A)は、他のシューズ440について説明するための模式図であり、(B)は、他のシューズ450について説明するための模式図である。
【
図13】(A)は、他のシューズ460について説明するための模式図であり、(B)は、他のシューズ470について説明するための模式図である。
【発明を実施するための形態】
【0015】
以下、実施形態の一側面に係るシューズについて図を参照しつつ説明する。但し、本発明の技術的範囲はそれらの実施の形態に限定されず、特許請求の範囲に記載された発明とその均等物に及ぶ点に留意されたい。
【0016】
図1は、実施形態に係る歩行姿勢状態推定システム1の概略構成を示す図である。
【0017】
図1に示すように、歩行姿勢状態推定システム1は、第1ウェアラブル装置100、一又は複数の第2ウェアラブル装置200、一又は複数の無線イヤホン装置300、シューズ400、情報処理装置500及びサーバ装置600等を有する。第1ウェアラブル装置100、各第2ウェアラブル装置200、各無線イヤホン装置300及びシューズ400は、ユーザに装着されて使用される。情報処理装置500は、ユーザの健康を管理する管理者等により使用される。サーバ装置600は、例えばクラウドネットワーク上に配置されたサーバ等である。
【0018】
第1ウェアラブル装置100及び各第2ウェアラブル装置200と、第1ウェアラブル装置100及び各無線イヤホン装置300とは、Bluetooth(登録商標)、無線LAN(Local Area Network)等の無線ネットワークを介して相互に通信可能に接続される。また、第1ウェアラブル装置100と、情報処理装置500と、サーバ装置600とは、ネットワークNを介して相互に通信可能に接続される。ネットワークNは、インターネット又はイントラネット等の有線ネットワークである。ネットワークNは、無線LAN(Local Area Network)等の無線ネットワークでもよい。また、各第2ウェアラブル装置200と、各無線イヤホン装置300と、情報処理装置500と、サーバ装置600とは、ネットワークNを介して相互に通信可能に接続されてもよい。
【0019】
図2(A)、(B)は、無線イヤホン装置300について説明するための模式図である。
図2(A)は、左耳用の無線イヤホン装置300を外側(左側)から見た模式図であり、
図2(B)は、左耳用の無線イヤホン装置300を内側(右側)から見た模式図である。
【0020】
無線イヤホン装置300は、ユーザに装着可能な端末装置である。無線イヤホン装置300は、ユーザの耳に装着されるイヤホン型ウェアラブルコンピュータである。無線イヤホン装置300は、イヤホン部301、本体部302、第3入力装置303、第3表示装置304、スピーカ305及び挿入センサ306等を有する。
【0021】
イヤホン部301は、スピーカ305を含み且つユーザの外耳道に挿入可能に設けられる。本体部302は、イヤホン部301と接続されるように設けられる。
図2(A)、(B)に示す例では、本体部302は、ユーザの耳に装着された状態におけるイヤホン部301の下方に接続される。本体部302は、ユーザの耳に装着された状態におけるイヤホン部301の上方、前方(ユーザの顔側)、後方(ユーザの後頭部側)、外側等、イヤホン部301に対して任意の位置に接続されてもよい。
【0022】
第3入力装置303は、ボタン等の入力デバイス及び入力デバイスから信号を取得するインタフェース回路を有し、利用者の入力操作に応じた操作信号を出力する。第3表示装置304は、LED(Light Emitting Diode)及びLEDを制御するインタフェース回路を有し、点灯又は消灯によりユーザに対する通知を行う。
【0023】
スピーカ305は、イヤホン部301がユーザの外耳道に挿入された状態で、ユーザの鼓膜側を向くようにイヤホン部301に配置され、後述する第3処理装置からの制御に従って、音声信号を出力する。
【0024】
挿入センサ306は、挿入センサ部の一例であり、ユーザが外耳道に無線イヤホン装置300を挿入しているか否かを検出するためのセンサである。挿入センサ306は、イヤホン部301がユーザの外耳道に挿入された状態で、外耳道内に配置されるようにイヤホン部301に配置される。挿入センサ306は、無線イヤホン装置300の任意の位置に配置されてもよい。挿入センサ306は、例えば発光器及び受光器を含む光近接センサである。発光器は、LED等であり、可視光又は赤外光等の光を照射する。受光器は、フォトダイオード等であり、発光器により照射され、対象物で反射された光を受光する。光近接センサは、発光器が光を照射してから受光器が光を受光するまでの時間が閾値以下であるか否かにより、ユーザが外耳道に無線イヤホン装置300を挿入しているか否かを検出する。挿入センサ306は、外耳道と接触しているか否かを検出する圧力センサ、周囲の温度が所定範囲内であるか否かを検出する熱センサ、又は、周囲の湿度が所定範囲内であるか否かを検出する湿度センサ等の他の任意のセンサでもよい。挿入センサ306は、ユーザが外耳道に無線イヤホン装置300を挿入しているか否かを示す検出信号を出力する。
【0025】
図3(A)、(B)は、シューズ400について説明するための模式図である。
図3(A)は、左足側のシューズ400を外側(左側)から見た模式図であり、
図3(B)は、
図3(A)のA-A’線断面図である。
【0026】
図3(A)、(B)に示すように、シューズ400は、ユーザの足に装着される靴である。シューズ400は、ソール部401、アッパー部402及び保持部403等を有する。
【0027】
ソール部401は、シューズ400の底面に配置され、ユーザがシューズ400を着用して歩行した状態において地面と接する接地面401aを有する。ソール部401は、天然ゴム、合成ゴム、天然皮革、合成皮革等で形成される。アッパー部402は、ソール部401の上方に配置されるようにソール部401と接続され、足の甲の上側を覆うように設けられる。アッパー部402は、化繊メッシュ、TPUフィルム(熱可塑性ウレタン)、天然皮革、合成皮革等で形成される。
【0028】
保持部403は、無線イヤホン装置300を保持するように、アッパー部402の外側側面402aに配置される。保持部403は、本体収納部404及び凹部405を含む。本体収納部404は、無線イヤホン装置300の本体部302が挿入可能な挿入開口404aを有するように、外側側面402aに縫い付けられ、本体部302が収納されるポケットを形成する。シューズ400は、本体収納部404により無線イヤホン装置300を安定して固定することができ、無線イヤホン装置300は、無線イヤホン装置300にかかる3軸方向の加速度及び/又は角速度を精度良く計測することができる。
【0029】
凹部405は、無線イヤホン装置300の本体部302が本体収納部404に収納された状態においてイヤホン部301が収納されるように外側側面402a上に形成される。
図3(B)に示すように、凹部405は、本体部302が保持部403に収納された状態で挿入センサ306と対向する対向面405aを有する。挿入センサ306は、対向面405aと対向しているときに、無線イヤホン装置300がユーザの外耳道に挿入されている状態と同様の状態(光、圧力、温度又は湿度等)を検出する。即ち、挿入センサ306が対向面405aと対向することにより、保持部403は、挿入センサ306により無線イヤホン装置300がユーザの外耳道に挿入されたと検出される態様で、イヤホン部301を保持する。これにより、無線イヤホン装置300は、ユーザの耳に装着されていない場合でも、保持部403により保持されている場合は、ユーザの耳に装着されているときと同様の動作を実行することができる。例えば、無線イヤホン装置300は、ユーザの耳に装着されていない場合でも、保持部403により保持されている場合は、ユーザが歩行した際に得られるデータを出力することができる。
【0030】
図4は、第1ウェアラブル装置100の概略構成を示す図である。
【0031】
第1ウェアラブル装置100は、歩行状態推定装置及び外部機器の一例である。第1ウェアラブル装置100は、多機能携帯電話(いわゆるスマートフォン)、タブレットPC等の、ユーザに装着可能な端末装置である。第1ウェアラブル装置100は、第1入力装置101、第1表示装置102、第1通信装置103、第1インタフェース装置104、第1センサ105、第1記憶装置110及び第1処理装置120等を有する。第1入力装置101、第1表示装置102、第1通信装置103、第1インタフェース装置104、第1センサ105、第1記憶装置110及び第1処理装置120は、CPU(Central Processing Unit)バス等を介して相互に接続される。
【0032】
第1入力装置101は、タッチパネル式等の入力デバイス及び入力デバイスから信号を取得するインタフェース回路を有し、利用者の入力操作に応じた操作信号を出力する。
【0033】
第1表示装置102は、液晶、有機EL(Electro-Luminescence)等を含むディスプレイ及びディスプレイに画像データを出力するインタフェース回路を有し、画像データをディスプレイに表示する。
【0034】
第1通信装置103は、無線信号を送受信するアンテナと、無線LAN等の通信プロトコルに従った無線通信インタフェース回路を有する。第1通信装置103は、無線LAN等の通信規格に従って、ネットワークNと通信接続する。第1通信装置103は、ネットワークNを介して情報処理装置500又はサーバ装置600等から受信したデータを第1処理装置120に送る。また、第1通信装置103は、第1処理装置120から受け取ったデータを、ネットワークNを介して情報処理装置500又はサーバ装置600等に送信する。
【0035】
第1インタフェース装置104は、無線信号を送受信するアンテナと、Bluetooth(登録商標)等の通信プロトコルに従った無線通信インタフェース回路を有する。第1インタフェース装置104は、Bluetooth(登録商標)等の通信規格に従って、各第2ウェアラブル装置200と通信接続する。第1インタフェース装置104は、各第2ウェアラブル装置200又は各無線イヤホン装置300から受信したデータを第1処理装置120に送る。また、第1インタフェース装置104は、第1処理装置120から受け取ったデータを、各第2ウェアラブル装置200又は各無線イヤホン装置300に送信する。
【0036】
第1センサ105は、第1ウェアラブル装置100にかかる3軸方向の加速度を計測する加速度センサ、及び、第1ウェアラブル装置100にかかる3軸方向の角速度を計測するジャイロセンサ等を含む。加速度センサ及びジャイロセンサは、計測した加速度及び角速度を示す計測信号を第1処理装置120に出力する。
【0037】
なお、第1センサ105は、第1ウェアラブル装置100にかかる地磁気、即ち第1ウェアラブル装置100を装着する利用者の移動を検知する地磁気センサ等を含んでもよい。また、第1センサ105は、第1ウェアラブル装置100の周囲の気圧、即ち第1ウェアラブル装置100を装着する利用者の鉛直方向における移動を検知する気圧センサを含んでもよい。また、第1センサ105は、第1ウェアラブル装置100の位置、即ち第1ウェアラブル装置100を装着する利用者の移動を検知するGPS(Global Positioning System)センサを含んでもよい。その場合、第1センサ105は、検知した地磁気、気圧又は位置を示す計測信号を第1処理装置120に出力する。
【0038】
第1記憶装置110は、RAM(Random Access Memory)、ROM(Read Only Memory)等のメモリ装置、ハードディスク等の固定ディスク装置、又はフレキシブルディスク、光ディスク等の可搬用の記憶装置等を有する。また、第1記憶装置110には、第1ウェアラブル装置100の各種処理に用いられるコンピュータプログラム、データベース、テーブル等が格納される。コンピュータプログラムは、コンピュータ読み取り可能な可搬型記録媒体から公知のセットアッププログラム等を用いて第1記憶装置110にインストールされてもよい。可搬型記録媒体は、例えばCD-ROM(compact disc read only memory)、DVD-ROM(digital versatile disc read only memory)等である。コンピュータプログラムは、所定のサーバが有する記録媒体に記憶され、ネットワークNを介してインストールされてもよい。
【0039】
第1処理装置120は、予め第1記憶装置110に記憶されているプログラムに基づいて動作する。第1処理装置120は、例えばCPUである。第1処理装置120として、DSP(digital signal processor)、LSI(large scale integration)、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)等が用いられてもよい。第1処理装置120は、第1入力装置101、第1表示装置102、第1通信装置103、第1インタフェース装置104、第1センサ105及び第1記憶装置110等と接続され、各装置を制御する。第1処理装置120は、ユーザが歩行した際に第1センサ105により計測されたデータを取得する。また、第1処理装置120は、第1インタフェース装置104を介して第2ウェアラブル装置200から、第2ウェアラブル装置200を保持するユーザが歩行した際に第2ウェアラブル装置200により計測されたデータを取得する。また、第1処理装置120は、第1インタフェース装置104を介して無線イヤホン装置300から、無線イヤホン装置300を保持するユーザが歩行した際に無線イヤホン装置300により計測されたデータを取得する。第1処理装置120は、取得した各データを、第1通信装置103を介して情報処理装置500に送信する。
【0040】
第1処理装置120は、第1記憶装置110に記憶されたコンピュータプログラムを読み取り、読み取ったコンピュータプログラムに従って動作する。これにより、第1処理装置120は、第1取得部121及び第1送信部122として機能する。
【0041】
図5は、第2ウェアラブル装置200の概略構成を示す図である。
【0042】
第2ウェアラブル装置200は、ユーザに装着可能な端末装置である。例えば、第2ウェアラブル装置200は、ユーザの腕に装着される腕時計型ウェアラブルコンピュータである。また、第2ウェアラブル装置200は、シューズ400内部に装着されるインソール(中敷き)型ウェアラブルコンピュータである。第2ウェアラブル装置200は、第2入力装置201、第2表示装置202、第2通信装置203、第2インタフェース装置204、第2センサ205、第2記憶装置210及び第2処理装置220等を有する。第2入力装置201、第2表示装置202、第2通信装置203、第2インタフェース装置204、第2センサ205、第2記憶装置210及び第2処理装置220は、CPUバス等を介して相互に接続される。
【0043】
第2入力装置201は、ボタン等の入力デバイス及び入力デバイスから信号を取得するインタフェース回路を有し、利用者の入力操作に応じた操作信号を出力する。第2入力装置201は、省略されてもよい。
【0044】
第2表示装置202は、液晶、有機EL等を含むディスプレイ及びディスプレイに画像データを出力するインタフェース回路を有し、画像データをディスプレイに表示する。第2表示装置202は、LED等を有し、点灯又は消灯によりユーザに対する通知を行ってもよい。第2表示装置202は、省略されてもよい。
【0045】
第2通信装置203は、無線信号を送受信するアンテナと、無線LAN等の通信プロトコルに従った無線通信インタフェース回路を有する。第2通信装置203は、無線LAN等の通信規格に従って、ネットワークNと通信接続する。第2通信装置203は、ネットワークNを介して情報処理装置500又はサーバ装置600等から受信したデータを第2処理装置220に送る。また、第2通信装置203は、第2処理装置220から受け取ったデータを、ネットワークNを介して情報処理装置500又はサーバ装置600等に送信する。
【0046】
第2インタフェース装置204は、無線信号を送受信するアンテナと、Bluetooth(登録商標)等の通信プロトコルに従った無線通信インタフェース回路を有する。第2インタフェース装置204は、Bluetooth(登録商標)等の通信規格に従って、第1ウェアラブル装置100と通信接続する。第2インタフェース装置204は、第1ウェアラブル装置100から受信したデータを第2処理装置220に送る。また、第2インタフェース装置204は、第2処理装置220から受け取ったデータを、第1ウェアラブル装置100に送信する。
【0047】
第2センサ205は、第2ウェアラブル装置200にかかる3軸方向の加速度を計測する加速度センサ、及び、第2ウェアラブル装置200にかかる3軸方向の角速度を計測するジャイロセンサ等を含む。加速度センサ及びジャイロセンサは、計測した加速度及び角速度を示す計測信号を第2処理装置220に出力する。第2センサ205は、インソール型圧力センサを含んでもよい。その場合、第2センサ205は、1次元又は2次元に配置された抵抗変化型又は静電容量変化型の圧力センサを含み、各圧力センサにより測定された圧力の大きさを階調値とする足裏データを生成して、第2処理装置220に出力する。足裏データは、例えば各圧力センサにより測定された圧力の大きさを各画素の階調値とする足裏画像である。足裏データは、例えば各圧力センサにより測定された圧力を要素とする足裏ベクトルでもよい。
【0048】
第2記憶装置210は、RAM、ROM等のメモリ装置、ハードディスク等の固定ディスク装置、又はフレキシブルディスク、光ディスク等の可搬用の記憶装置等を有する。また、第2記憶装置210には、第2ウェアラブル装置200の各種処理に用いられるコンピュータプログラム、データベース、テーブル等が格納される。コンピュータプログラムは、コンピュータ読み取り可能な可搬型記録媒体から公知のセットアッププログラム等を用いて第2記憶装置210にインストールされてもよい。可搬型記録媒体は、例えばCD-ROM、DVD-ROM等である。コンピュータプログラムは、所定のサーバが有する記録媒体に記憶され、ネットワークNを介してインストールされてもよい。
【0049】
第2処理装置220は、予め第2記憶装置210に記憶されているプログラムに基づいて動作する。第2処理装置220は、例えばCPUである。第2処理装置220として、DSP、LSI、ASIC、FPGA等が用いられてもよい。第2処理装置220は、第2入力装置201、第2表示装置202、第2通信装置203、第2インタフェース装置204、第2センサ205及び第2記憶装置210等と接続され、各装置を制御する。第2処理装置220は、ユーザが歩行した際に第2センサ205により計測されたデータを取得し、第2インタフェース装置204を介して第1ウェアラブル装置100に送信する。
【0050】
第2処理装置220は、第2記憶装置210に記憶されたコンピュータプログラムを読み取り、読み取ったコンピュータプログラムに従って動作する。これにより、第2処理装置220は、第2取得部221及び第2送信部222として機能する。
【0051】
図6は、無線イヤホン装置300の概略構成を示す図である。
【0052】
無線イヤホン装置300は、上記した各部に加えて、第3通信装置307、第3インタフェース装置308、第3センサ309、第3記憶装置310及び第3処理装置320等を有する。第3入力装置303、第3表示装置304、スピーカ305、挿入センサ306、第3通信装置307、第3インタフェース装置308、第3センサ309、第3記憶装置310及び第3処理装置320は、CPUバス等を介して相互に接続される。
【0053】
第3通信装置307は、無線信号を送受信するアンテナと、無線LAN等の通信プロトコルに従った無線通信インタフェース回路を有する。第3通信装置307は、無線LAN等の通信規格に従って、ネットワークNと通信接続する。第3通信装置307は、ネットワークNを介して情報処理装置500又はサーバ装置600等から受信したデータを第3処理装置320に送る。また、第3通信装置307は、第3処理装置320から受け取ったデータを、ネットワークNを介して情報処理装置500又はサーバ装置600等に送信する。
【0054】
第3インタフェース装置308は、送受信部の一例である。第3インタフェース装置308は、無線信号を送受信するアンテナと、Bluetooth(登録商標)等の通信プロトコルに従った無線通信インタフェース回路を有する。第3インタフェース装置308は、Bluetooth(登録商標)等の通信規格に従って、第1ウェアラブル装置100と通信接続する。第3インタフェース装置308は、第1ウェアラブル装置100から受信したデータを第3処理装置320に送る。また、第3インタフェース装置308は、第3処理装置320から受け取ったデータを、第1ウェアラブル装置100に送信する。
【0055】
第3センサ309は、無線イヤホン装置300にかかる3軸方向の加速度を計測する加速度センサ、及び、無線イヤホン装置300にかかる3軸方向の角速度を計測するジャイロセンサ等を含む。加速度センサ及びジャイロセンサは、計測した加速度及び角速度を示す計測信号を第3処理装置320に出力する。
【0056】
第3記憶装置310は、RAM、ROM等のメモリ装置、ハードディスク等の固定ディスク装置、又はフレキシブルディスク、光ディスク等の可搬用の記憶装置等を有する。また、第3記憶装置310には、無線イヤホン装置300の各種処理に用いられるコンピュータプログラム、データベース、テーブル等が格納される。コンピュータプログラムは、コンピュータ読み取り可能な可搬型記録媒体から公知のセットアッププログラム等を用いて第3記憶装置310にインストールされてもよい。可搬型記録媒体は、例えばCD-ROM、DVD-ROM等である。コンピュータプログラムは、所定のサーバが有する記録媒体に記憶され、ネットワークNを介してインストールされてもよい。
【0057】
第3処理装置320は、予め第3記憶装置310に記憶されているプログラムに基づいて動作する。第3処理装置320は、例えばCPUである。第3処理装置320として、DSP、LSI、ASIC、FPGA等が用いられてもよい。第3処理装置320は、第3入力装置303、第3表示装置304、スピーカ305、挿入センサ306、第3通信装置307、第3インタフェース装置308、第3センサ309及び第3記憶装置310等と接続され、各装置を制御する。第3処理装置320は、ユーザが歩行した際に第3センサ309により計測されたデータを取得し、第3インタフェース装置308を介して第1ウェアラブル装置100に送信する。
【0058】
第3処理装置320は、第3記憶装置310に記憶されたコンピュータプログラムを読み取り、読み取ったコンピュータプログラムに従って動作する。これにより、第3処理装置320は、制御部321、第3取得部322及び第3送信部323として機能する。
【0059】
制御部321は、定期的に挿入センサ306から検出信号を受信し、受信した検出信号を、第3インタフェース装置308を介して第1ウェアラブル装置100に送信する。第1ウェアラブル装置100の第1取得部121は、第1インタフェース装置104を介して無線イヤホン装置300から検出信号を受信し、受信した検出信号に基づいてユーザが外耳道に無線イヤホン装置300を挿入しているか否かを判定する。
【0060】
第1取得部121は、利用者から音声出力要求を受け付けた場合、ユーザが外耳道に無線イヤホン装置300を挿入していることを条件に、第1インタフェース装置104を介して無線イヤホン装置300に音声信号を送信する。制御部321は、第3インタフェース装置308を介して第1ウェアラブル装置100から音声信号を受信し、受信した音声信号をスピーカ305から出力する。なお、無線イヤホン装置300は、マイクロフォンをさらに有し、制御部321は、マイクロフォンから入力された音声信号を、第3インタフェース装置308を介して第1ウェアラブル装置100に送信してもよい。その場合、第1取得部121は、利用者から音声入力要求を受け付けた場合、ユーザが外耳道に無線イヤホン装置300を挿入していることを条件に、第1インタフェース装置104を介して無線イヤホン装置300から音声信号を受信する。
【0061】
なお、第1取得部121でなく、制御部321が、ユーザが外耳道に無線イヤホン装置300を挿入しているか否かを判定し、ユーザが外耳道に無線イヤホン装置300を挿入している場合に限り、音声信号の送受信を実行してもよい。
【0062】
図7は、情報処理装置500の概略構成を示す図である。
【0063】
情報処理装置500は、歩行姿勢状態推定装置の一例である。情報処理装置500は、第4通信装置501、第4記憶装置510及び第4処理装置520等を有する。第4通信装置501、第4記憶装置510及び第4処理装置520は、CPUバス等を介して相互に接続される。
【0064】
第4通信装置501は、TCP/IP等の通信プロトコルに従った有線通信インタフェース回路を有する。第4通信装置501は、イーサネット(登録商標)等の通信規格に従って、ネットワークNと通信接続する。第4通信装置501は、ネットワークNを介して第1ウェアラブル装置100、第2ウェアラブル装置200、無線イヤホン装置300又はサーバ装置600等から受信したデータを第4処理装置520に送る。第4通信装置501は、第4処理装置520から受け取ったデータを、ネットワークNを介して第1ウェアラブル装置100、第2ウェアラブル装置200、無線イヤホン装置300又はサーバ装置600等に送信する。なお、第4通信装置501は、無線信号を送受信するアンテナと、無線LAN等の通信プロトコルに従った無線通信インタフェース回路とを有し、無線LAN等の通信規格に従って、ネットワークNと通信接続してもよい。
【0065】
第4記憶装置510は、RAM、ROM等のメモリ装置、ハードディスク等の固定ディスク装置、又はフレキシブルディスク、光ディスク等の可搬用の記憶装置等を有する。また、第4記憶装置510には、情報処理装置500の各種処理に用いられるコンピュータプログラム、データベース、テーブル等が格納される。コンピュータプログラムは、例えばCD-ROM、DVD-ROM等のコンピュータ読み取り可能な可搬型記録媒体から、公知のセットアッププログラム等を用いて第4記憶装置510にインストールされてもよい。コンピュータプログラムは、所定のサーバが有する記録媒体に記憶され、ネットワークNを介してインストールされてもよい。
【0066】
第4記憶装置510には、データとして、学習済みモデル511、データテーブル512等が記憶される。学習済みモデル511は、第1ウェアラブル装置100、第2ウェアラブル装置200及び無線イヤホン装置300を装着したユーザの歩行姿勢状態を推定するためのモデルである。データテーブル512には、第1ウェアラブル装置100の第1センサ105、第2ウェアラブル装置200の第2センサ205又は無線イヤホン装置300の第3センサ309により計測された各データが記憶される。データテーブル512の詳細については後述する。
【0067】
第4処理装置520は、予め第4記憶装置510に記憶されているプログラムに基づいて動作する。第4処理装置520は、例えばCPUである。第4処理装置520として、DSP、LSI、ASIC、FPGA等が用いられてもよい。第4処理装置520は、第4通信装置501及び第4記憶装置510等と接続され、各装置を制御する。
【0068】
第4処理装置520は、第4記憶装置510に記憶されたコンピュータプログラムを読み取り、読み取ったコンピュータプログラムに従って動作する。これにより、第4処理装置520は、第4取得部521、推定部522及び出力制御部523として機能する。
【0069】
図8は、データテーブル512のデータ構造の一例を示す模式図である。
【0070】
データテーブル512には、第1ウェアラブル装置100、第2ウェアラブル装置200又は無線イヤホン装置300から取得した角速度及び加速度、地磁気、気圧(不図示)、位置(不図示)又は足裏データが、各装置の識別情報(装置ID)及び各データが取得された取得時刻と関連付けて記憶される。
【0071】
図9は、歩行姿勢状態推定システム1における推定処理の動作の例を示すシーケンスである。
【0072】
以下、
図9に示したフローチャートを参照しつつ、推定処理の動作の例を説明する。なお、以下に説明する動作のフローは、予め歩行姿勢状態推定システム1が有する各装置の各記憶装置に記憶されているプログラムに基づき主に各装置の各処理装置により各装置の各要素と協働して実行される。
【0073】
最初に、各無線イヤホン装置300の第3取得部322は、第3センサ309から計測信号を取得する。第3取得部322は、計測信号に示される無線イヤホン装置300にかかる3軸方向の加速度及び角速度を、ユーザが歩行した際に得られる第3データとして取得する(ステップS101)。また、第3取得部322は、挿入センサ306から検出信号を取得する。第3取得部322は、定期的に第3データ及び検出信号を取得する。
【0074】
次に、第3送信部323は、第3取得部322が取得した第3データ及び検出信号を、無線イヤホン装置300の装置ID及び第3データを取得した取得時刻とともに、第3インタフェース装置308を介して第1ウェアラブル装置100に送信する(ステップS102)。第3送信部323は、第3取得部322が第3データを取得するたびに、第3データを第1ウェアラブル装置100に送信する。第3送信部323は、第3取得部322が取得した複数の第3データをまとめて任意のタイミングに第1ウェアラブル装置100に送信してもよい。
【0075】
次に、第1ウェアラブル装置100の第1取得部121は、第1インタフェース装置104を介して各無線イヤホン装置300から第3データ、検出信号、装置ID及び取得時刻を受信することにより取得する(ステップS103)。第1取得部121は、検出信号に基づいて、挿入センサ306が、ユーザが外耳道に無線イヤホン装置300を挿入していることを検出したか否かを判定する。第1取得部121は、挿入センサ306が、ユーザが外耳道に無線イヤホン装置300を挿入していることを検出している場合、第3データを取得し、挿入センサ306が、ユーザが外耳道に無線イヤホン装置300を挿入していないことを検出している場合、第3データを破棄する。
【0076】
このように、第1取得部121は、無線イヤホン装置300がユーザの外耳道に挿入されているか又はシューズ400の保持部403に保持されている場合に限り、第3データを取得する。なお、第1取得部121でなく、第3取得部322が、挿入センサ306が、ユーザが外耳道に無線イヤホン装置300を挿入していることを検出したか否かを判定してもよい。その場合、ステップS101において、第3取得部322は、検出信号に基づいて、挿入センサ306が、ユーザが外耳道に無線イヤホン装置300を挿入していることを検出したか否かを判定する。第3取得部322は、挿入センサ306が、ユーザが外耳道に無線イヤホン装置300を挿入していることを検出している場合、第3データを取得し、挿入センサ306が、ユーザが外耳道に無線イヤホン装置300を挿入していないことを検出している場合、第3データを破棄する。
【0077】
次に、各第2ウェアラブル装置200の第2取得部221は、第2センサ205から計測信号を取得する。第2取得部221は、計測信号に示される第2ウェアラブル装置200にかかる3軸方向の加速度及び角速度又はユーザの足裏の各位置にかかる圧力の大きさを示す足裏データを、ユーザが歩行した際に得られる第2データとして取得する(ステップS104)。第2データは、第3データとは異なるデータである。第2取得部221は、定期的に第2データを取得する。
【0078】
次に、第2送信部222は、第2取得部221が取得した第2データを、第2ウェアラブル装置200の装置ID及び第2データを取得した取得時刻とともに、第2インタフェース装置204を介して第1ウェアラブル装置100に送信する(ステップS105)。第2送信部222は、第2取得部221が第2データを取得するたびに、第2データを第1ウェアラブル装置100に送信する。第2送信部222は、第2取得部221が取得した複数の第2データをまとめて任意のタイミングに第1ウェアラブル装置100に送信してもよい。
【0079】
次に、第1ウェアラブル装置100の第1取得部121は、第1インタフェース装置104を介して第2ウェアラブル装置200から第2データ、装置ID及び取得時刻を受信することにより取得する(ステップS106)。
【0080】
次に、第1取得部121は、第1センサ105から計測信号を取得する。第1取得部121は、計測信号に示される第1ウェアラブル装置100にかかる3軸方向の加速度及び角速度、地磁気、気圧又は位置を、ユーザが歩行した際に得られる第1データとして取得する(ステップS107)。第1データは、第2データ及び第3データとは異なるデータである。第1取得部121は、定期的に第1データを取得する。
【0081】
次に、第1送信部122は、第1取得部121が取得した第1データ、第2データ及び第3データを、各データに対応する装置ID及び取得時刻とともに、第1通信装置103を介して情報処理装置500に送信する(ステップS108)。第1送信部122は、連続して計測された複数の第1データ、第2データ及び第3データを解析して、時系列に並んだ第1データ、第2データ及び第3データにおける極大値及び極小値を検出する。第1送信部122は、検出した極大値及び極小値に基づいて、第1ウェアラブル装置100、第2ウェアラブル装置200及び無線イヤホン装置300の振動周期を検出する。第1送信部122は、検出した振動周期に基づいて、第1ウェアラブル装置100、第2ウェアラブル装置200及び無線イヤホン装置300を装着したユーザの脚の振り出し間隔を特定する。そして、第1送信部122は、ユーザの所定歩数(例えば10歩)分ずつの第1データ、第2データ及び第3データを情報処理装置500に送信する。
【0082】
これにより、後述するように、学習済みモデル511に入力すべき入力データが所定歩数分のデータである場合、情報処理装置500は、取得した第1データ、第2データ及び第3データから所定歩数分のデータを抽出する必要がない。歩行姿勢状態推定システム1は、情報処理装置500における処理負荷を軽減させることが可能となり、全体として処理負荷を軽減させることが可能となる。
【0083】
なお、第1送信部122は、第1取得部121が第1データ、第2データ又は第3データを取得するたびに、第1データ、第2データ又は第3データを情報処理装置500に送信してもよい。また、第1送信部122は、第1取得部121が取得した複数の第1データ、第2データ又は第3データをまとめて任意のタイミングに情報処理装置500に送信してもよい。
【0084】
次に、情報処理装置500の第4取得部521は、第4通信装置501を介して第1ウェアラブル装置100から第1データ、第2データ、第3データ、装置ID及び取得時刻を受信することにより取得する(ステップS109)。第4取得部521は、取得した第1データ、第2データ及び第3データを対応する装置ID及び取得時刻と関連付けてデータテーブル512に記憶する。
【0085】
次に、推定部522は、第3取得部322が取得した第1データ、第2データ及び第3データに基づいて、第1ウェアラブル装置100、第2ウェアラブル装置200及び無線イヤホン装置300を装着したユーザの歩行姿勢状態を推定する(ステップS110)。推定部522は、学習済みモデル511を用いて、ユーザの歩行姿勢状態を推定する。
【0086】
学習済みモデル511は、一又は複数の学習済みモデルを含む。学習済みモデル511は、情報処理装置500又はサーバ装置600等により事前に生成される。学習済みモデル511は、ディープラーニング、サポートベクターマシン等の教師あり学習により事前学習される。学習済みモデル511は、ランダムフォレスト等により事前学習されてもよい。学習済みモデル511は、入力データが入力された場合に、その入力データを生成した第1ウェアラブル装置100、第2ウェアラブル装置200又は無線イヤホン装置300を装着したユーザの歩行姿勢状態を出力するように学習される。
【0087】
入力データは、第1ウェアラブル装置100により取得された第1データ、第2ウェアラブル装置200により取得された第2データ、及び/又は、無線イヤホン装置300により取得された第3データである。入力データは、第1データ、第2データ及び/又は第3データに基づいて生成されたデータでもよい。例えば、入力データは、連続する所定歩数分又は所定期間(例えば5秒間)分の第1データ、第2データ及び/又は第3データのセット(各圧力センサにより計測された圧力の大きさ、又は、各加速度センサもしくは各ジャイロセンサにより計測された加速度もしくは角速度を要素として一次元又は二次元に並べたベクトル)である。入力データは、連続する所定歩数分又は所定期間分の第1データ、第2データ及び/又は第3データのそれぞれの平均値、中央値、最大値又は最小値等の統計値でもよい。また、入力データは、第1データ及び/又は第2データに含まれる角速度、加速度又は地磁気から算出されたクォータニオンでもよい。
【0088】
また、入力データは、第1データ、第2データ及び/又は第3データに含まれる3軸方向の角速度もしくは加速度又は足裏データに対して主成分分析によって算出された所定成分(第一主成分及び/又は第二主成分等)でもよい。その場合、第一主成分の寄与率が所定比率(例えば80%)より大きい場合、第一主成分が入力データとして使用され、第一主成分の寄与率が所定比率以下である場合、第二主成分が入力データとして使用されてもよい。また、主成分分析は、公知のノイズ処理技術を利用して、ノイズが除去されてから実行されてもよい。これらの場合、学習済みモデル511として、ランダムフォレスト等により事前学習されたモデルが使用される。これらの場合、学習済みモデル511として、ニューラルネットワーク等により事前学習されたモデルが使用されてもよい。これにより、歩行姿勢状態推定システム1は、学習済みモデル511の精度をより向上させることができる。
【0089】
また、入力データは、第1データ、第2データ及び/又は第3データに含まれる3軸方向の各角速度及び/又は加速度に対して短時間フーリエ変換又はウェーブレット変換によって変換されたスペクトルの画像を含んでもよい。第1データに含まれる3軸方向の各角速度及び/又は加速度に対して短時間フーリエ変換又はウェーブレット変換によって変換されたスペクトルの画像は、第1画像データ及び画像データの一例である。第2データに含まれる3軸方向の各角速度及び/又は加速度に対して短時間フーリエ変換又はウェーブレット変換によって変換されたスペクトルの画像は、第2画像データ及び画像データの一例である。これらの場合、学習済みモデル511として、ランダムフォレスト等により事前学習されたモデルが使用される。これらの場合、学習済みモデル511として、ニューラルネットワーク等により事前学習されたモデルが使用されてもよい。これにより、歩行姿勢状態推定システム1は、学習済みモデル511の精度をより向上させることができる。
【0090】
また、入力データは、足裏画像の各画素の階調値(圧力)もしくは足裏ベクトルの各要素と、角速度、加速度、地磁気、気圧及び/又は位置とを要素とする特徴ベクトルでもよい。
【0091】
学習済みモデル511から出力される歩行姿勢状態は、五つの要素を含む。第1要素は、歩幅の状態、特にユーザの歩幅が十分であるか不十分であるかを示す。第2要素は、重心位置の状態、特にユーザの重心が正常であるか前傾であるか後傾であるかを示す。第3要素は、振出脚の状態、特にユーザが出す足を蹴っていないか引きずっているか蹴っているかを示す。第4要素は、支持脚の状態、特にユーザの軸足が突っ張っているか突っ張っていないかを示す。第5要素は、股関節の状態、特にユーザの股関節が開いているか開いていないかを示す。第1要素は、歩行姿勢の前提に関する要素である。第2要素及び第3要素は、前後方向の軸に関する要素である。第4要素及び第5要素は、回転(左右方向の)軸に関する要素である。歩行姿勢状態は、第1要素から第5要素までの全ての要素を含んでいなくてもよく、少なくとも一つの要素を含んでいればよい。
【0092】
学習済みモデル511から出力される歩行姿勢状態は、第1要素から第5要素までの各要素を直接示す情報に限定されず、第1要素から第5要素までの各要素に関する所定の特徴量でもよい。
【0093】
学習済みモデル511は、例えば、第1ウェアラブル装置100、各第2ウェアラブル装置200及び各無線イヤホン装置300のそれぞれに対応する学習済みモデルを含む。即ち、学習済みモデル511は、第1学習済みモデルと、第2学習済みモデルと、第3学習済みモデルとを含む。第1学習済みモデルは、第1ウェアラブル装置100から取得した第1データに基づいて推定された第1歩行姿勢状態を出力可能である。第2学習済みモデルは、各第2ウェアラブル装置200から取得した第2データに基づいて推定された第2歩行姿勢状態を出力可能である。第3学習済みモデルは、各無線イヤホン装置300から取得した第3データに基づいて推定された第3歩行姿勢状態を出力可能である。
【0094】
または、第1学習済みモデルは、第1ウェアラブル装置100から取得した第1データに基づく第1画像データに基づいて推定された第1歩行姿勢状態を出力可能でもよい。第2学習済みモデルは、各第2ウェアラブル装置200から取得した第2データに基づく第2画像データに基づいて推定された第2歩行姿勢状態を出力可能でもよい。第3学習済みモデルは、各無線イヤホン装置300から取得した第3データに基づく第3画像データに基づいて推定された第3歩行姿勢状態を出力可能でもよい。
【0095】
これらにより、歩行姿勢状態推定システム1は、第1ウェアラブル装置100、第2ウェアラブル装置200又は無線イヤホン装置300が装着される体の部位毎に歩行姿勢状態を推定し、部位毎に推定した歩行姿勢状態に基づいて、ユーザの歩行姿勢状態を総合的に推定することができる。
【0096】
なお、これらの場合、推定部522は、第1データに基づく入力データを第1学習済みモデルの第1階層に入力し、第2データに基づく入力データを第2学習済みモデルの第2階層に入力し、第3データに基づく入力データを第3学習済みモデルの第3階層に入力することにより歩行姿勢状態を取得してもよい。この第1階層は、入力層又は中間層のうちの特定の層である。この第2階層は、第1階層と異なる層であり、入力層又は中間層のうちの特定の層である。この第3階層は、第1階層及び/又は第2階層と異なる層であり、入力層又は中間層のうちの特定の層である。これにより、歩行姿勢状態推定システム1は、各学習済みモデルにおける処理階層数(処理ステップ数)を柔軟に変更でき、処理時間及び処理負荷の増大を抑制することができる。
【0097】
また、推定部522は、第1出力データと、第2出力データと、第3出力データとを歩行姿勢状態として取得してもよい。第1出力データは、第1データに基づく入力データを第1学習済みモデルに入力した際に第1学習済みモデルの第1階層から出力されるデータである。第2出力データは、第2データに基づく入力データを第2学習済みモデルに入力した際に第2学習済みモデルの第2階層から出力されるデータである。第3出力データは、第3データに基づく入力データを第3学習済みモデルに入力した際に第3学習済みモデルの第3階層から出力されるデータである。この第1階層は、中間層又は出力層のうちの特定の層である。この第2階層は、第1階層と異なる層であり、中間層又は出力層のうちの特定の層である。この第3階層は、第1階層及び/又は第2階層と異なる層であり、中間層又は出力層のうちの特定の層である。これにより、歩行姿勢状態推定システム1は、各学習済みモデルにおける処理階層数(処理ステップ数)を柔軟に変更でき、処理時間及び処理負荷の増大を抑制することができる。
【0098】
なお、学習済みモデル511は、第1ウェアラブル装置100、第2ウェアラブル装置200及び無線イヤホン装置300のうちの複数の装置に対応するように生成されてもよい。特に、学習済みモデル511は、第1ウェアラブル装置100、第2ウェアラブル装置200及び無線イヤホン装置300の全てに対応するように生成されてもよい。即ち、学習済みモデル511は、第1ウェアラブル装置100から取得した第1データ、各第2ウェアラブル装置200から取得した第2データ及び無線イヤホン装置300から取得した第3データに基づいて推定された歩行姿勢状態を出力可能な単一の学習済みモデルを含む。
【0099】
または、学習済みモデル511は、第1ウェアラブル装置100、各第2ウェアラブル装置200及び各無線イヤホン装置300から取得した第1データ、各第2データ及び各第3データに基づく画像データに基づいて推定された歩行姿勢状態を出力可能な単一の学習済みモデルを含む。
【0100】
これらの場合、学習済みモデル511は、相互に対応する時刻(略一致する時刻)に複数のウェアラブル装置から取得された第1データ、第2データ及び第3データを要素とするベクトルが入力された場合に、歩行姿勢状態を出力するように学習される。
【0101】
これにより、歩行姿勢状態推定システム1は、第1ウェアラブル装置100、各第2ウェアラブル装置200及び各無線イヤホン装置300から取得した第1データ、第2データ及び第3データに基づいて、複合的に歩行姿勢状態を推定することができる。
【0102】
また、学習済みモデル511は、第1要素から第5要素までの各要素に対応する学習済みモデルを含む。即ち、学習済みモデル511は、第1要素から第5要素までの各要素に関する情報を出力可能な複数の学習済みモデルを含む。学習済みモデル511は、第1要素から第5要素までの各要素に関する情報をまとめて出力可能な単一の学習済みモデルを含んでもよい。
【0103】
また、学習済みモデル511は、直列に配列される上流側学習済みモデル及び下流側学習済みモデルを含んでもよい。その場合、上流側学習済みモデルは、入力データが入力された場合に所定の特徴量を出力するように学習され、下流側学習済みモデルは、上流側学習済みモデルの中間層又は出力層から出力された特徴量が入力された場合に、歩行姿勢状態を出力するように学習される。所定の特徴量は、入力データに関する特徴量、又は、歩行姿勢状態に関する特徴量である。
【0104】
また、学習済みモデル511は、上記した各学習済みモデルの任意の組み合わせを含んでもよい。例えば、学習済みモデル511は、第1上流側学習済みモデル、第2上流側学習済みモデル、第3上流側学習済みモデル及び下流側学習済みモデルを含む。第1上流側学習済みモデルは、足裏データの第一主成分が入力された場合に所定の特徴量を出力するように学習される。第2上流側学習済みモデルは、足裏データの第二主成分が入力された場合に所定の特徴量を出力するように学習される。第3上流側学習済みモデルは、角速度又は加速度の第一主成分が入力された場合に所定の特徴量を出力するように学習される。または、第3上流側学習済みモデルは、角速度及び/又は加速度に対して短時間フーリエ変換又はウェーブレット変換によって変換されたスペクトルの画像が入力された場合に所定の特徴量を出力するように学習される。下流側学習済みモデルは、第1上流側学習済みモデル、第2上流側学習済みモデル及び第3上流側学習済みモデルの出力層又は中間層から出力されたデータを要素とする特徴ベクトルが入力された場合に、歩行姿勢状態を出力するように学習される。これにより、歩行姿勢状態推定システム1は、学習済みモデル511の精度をより向上させることができる。
【0105】
または、学習済みモデル511は、第1上流側学習済みモデル、第2上流側学習済みモデル及び下流側学習済みモデルを含む。第1上流側学習済みモデルは、足裏データが入力された場合に所定の特徴量を出力するように学習される。第2上流側学習済みモデルは、角速度又は加速度が入力された場合に所定の特徴量を出力するように学習される。下流側学習済みモデルは、第1上流側学習済みモデル及び第2上流側学習済みモデルの出力層又は中間層から出力されたデータを要素とする特徴ベクトルが入力された場合に、歩行姿勢状態を出力するように学習される。これにより、歩行姿勢状態推定システム1は、学習済みモデル511の精度をより向上させることができる。
【0106】
このように、学習済みモデル511は、第1ウェアラブル装置100、第2ウェアラブル装置200及び無線イヤホン装置300を装着したユーザの推定された歩行姿勢状態を出力可能に設けられる。
【0107】
学習済みモデル511の学習用データは、事前に生成された入力データと、その入力データを生成した第1ウェアラブル装置100、第2ウェアラブル装置200及び無線イヤホン装置300を装着したユーザの歩行姿勢状態との組合せを含む。各学習用データは、各装置により第1データ、第2データ又は第3データが生成された時に、第1データ、第2データ又は第3データを生成した装置を装着したユーザを撮像した動画像を見た専門家により作成される。
【0108】
各学習用データは、例えば連続する所定歩数分又は所定期間分の第1データ、第2データ又は第3データのセットと、歩行姿勢状態との組合せとで構成される。その場合、各学習用データは、各学習用データに含まれる第1データ、第2データ又は第3データの一部が重複するように生成されてもよい。即ち、第1の学習用データには、第1時刻から所定歩数分又は所定期間分の情報が含まれ、第2の学習用データには、第1時刻の直後(例えば1秒後)の第2時刻から所定歩数分又は所定期間分のデータが含まれてもよい。これにより、歩行姿勢状態推定システム1は、少ないサンプルデータから、学習済みモデル511を効率良く生成することができ、学習済みモデル511の生成に要する時間及び手間を低減させることができる。
【0109】
学習済みモデル511がランダムフォレスト等により事前学習される場合、各学習用データは、例えば連続する所定歩数分又は所定期間分の第1データ、第2データ又は第3データを一次元に並べたベクトルと、歩行姿勢状態との組合せとで構成される。各学習用データは、例えば第1データ、第2データ又は第3データのうち、3軸方向の角速度のみを含んでもよい。歩行姿勢状態推定システム1は、角速度と加速度の両方に基づいて学習済みモデル511を生成することにより、学習済みモデル511の精度を向上させることができる。一方、歩行姿勢状態推定システム1は、角速度のみに基づいて学習済みモデル511を生成することにより、学習済みモデル511の生成に要する時間及び手間を低減させることができる。これらの場合も、各学習用データは、各学習用データに含まれる第1データ、第2データ又は第3データの一部が重複するように生成されてもよい。
【0110】
推定部522は、ステップS109で取得した第1データ、第2データ及び第3データを、学習済みモデル511に対応する形式に変換して、学習済みモデル511に入力する。推定部522は、学習済みモデル511から出力された情報に基づいて、第1ウェアラブル装置100、第2ウェアラブル装置200及び無線イヤホン装置300を装着したユーザの歩行姿勢状態を推定する。推定部522は、歩行姿勢状態に含まれる要素毎に、ユーザの歩行姿勢状態を推定する。
【0111】
学習済みモデル511から出力される情報が特徴量である場合、情報処理装置500は、特徴量と歩行姿勢状態との関係を示すテーブル又は式を予め第4記憶装置510に記憶しておく。推定部522は、第4記憶装置510に記憶されたテーブル又は式を参照し、学習済みモデル511から出力される特徴量に対応するユーザの歩行姿勢状態を特定する。
【0112】
また、学習済みモデル511が第1ウェアラブル装置100、各第2ウェアラブル装置200及び各無線イヤホン装置300に対応する複数の学習済みモデルを含む場合、推定部522は、各学習済みモデルから出力された歩行姿勢状態のうち、最も多くの学習済みモデルから出力された歩行姿勢状態が、そのユーザの歩行姿勢状態であると推定する。
【0113】
このように、推定部522は、学習済みモデル511を利用して、取得した第1データ、第2データ及び第3データに基づいて、ユーザの歩行姿勢状態を推定する。即ち、推定部522は、学習済みモデル511を利用し、取得した第1データ、第2データ及び第3データに基づいて推定された歩行姿勢状態を取得する。
【0114】
次に、出力制御部523は、第1ウェアラブル装置100、第2ウェアラブル装置200及び無線イヤホン装置300を装着したユーザの推定された歩行姿勢状態を、第4通信装置501を介して第1ウェアラブル装置100に送信することにより、出力する(ステップS111)。
【0115】
次に、第1ウェアラブル装置100の第1取得部121は、第1通信装置103を介して情報処理装置500から、ユーザの推定された歩行姿勢状態を受信することにより取得する(ステップS112)。
【0116】
次に、第1取得部121は、取得した歩行姿勢状態を第1表示装置102に表示することにより出力してユーザに通知し(ステップS113)、一連のステップを終了する。これにより、ユーザは、自分の歩行姿勢状態を認識することができる。
【0117】
なお、ステップS103において、第1取得部121は、挿入センサ306が、ユーザが外耳道に無線イヤホン装置300を挿入していることを検出しているか否かに関わらず、第3データを取得してもよい。
【0118】
また、S104~S106及び/又はS107は省略され、第1取得部121は、第1データ及び/又は第2データを用いずに歩行姿勢状態を推定してもよい。歩行姿勢状態推定システム1は、第1データ及び/又は第2データを用いずに歩行姿勢状態を推定することにより、第1ウェアラブル装置100及び/又は第2ウェアラブル装置200を利用することなく、低コスト且つ低負荷に歩行姿勢状態を推定することができる。一方、歩行姿勢状態推定システム1は、第1データ及び/又は第2データに基づいて歩行姿勢状態を推定することにより、歩行姿勢状態を高精度に推定することができる。
【0119】
また、ステップS111において、情報処理装置500の出力制御部523は、第1ウェアラブル装置100、第2ウェアラブル装置200及び無線イヤホン装置300を装着したユーザの推定された歩行姿勢状態を、ユーザの健康を管理する管理者が所有する管理者装置へ送信してもよい。その場合、管理者装置は、受信した歩行姿勢状態を表示することにより管理者に通知する。管理者は、ユーザの歩行姿勢状態を認識し、ユーザに歩行姿勢状態の改善を提案することができる。
【0120】
また、ステップS101の処理、ステップS104の処理及びステップS107の処理が実行されるタイミングは任意でよく、同時でもよい。例えば、第1ウェアラブル装置100の第1取得部121は、第1入力装置101を用いて利用者から測定開始の指示を受信した場合、測定開始を要求する測定要求信号を、第1インタフェース装置104を介して無線イヤホン装置300及び第2ウェアラブル装置200に送信するとともに、第1データを取得する。一方、無線イヤホン装置300の第3取得部322は、第3インタフェース装置304を介して第1ウェアラブル装置100から測定要求信号を受信した場合、第3データを取得し、第3インタフェース装置304を介して第1ウェアラブル装置100に送信する。また、第2ウェアラブル装置200の第2取得部221は、第2インタフェース装置204を介して第1ウェアラブル装置100から測定要求信号を受信した場合、第2データを取得し、第2インタフェース装置204を介して第1ウェアラブル装置100に送信する。第1取得部121は、第1入力装置101を用いて利用者から測定終了の指示を受信するまで、上記の処理を繰り返した後に、ステップS108の処理を実行する。
【0121】
また、学習済みモデル511は、第4記憶装置510でなく、サーバ装置600に記憶されてもよい。その場合、ステップS110において、推定部522は、サーバ装置600にアクセスすることによって、学習済みモデル511によって推定された歩行姿勢状態を取得する。推定部522は、ユーザの歩行姿勢状態の送信を要求する要求信号を、第4通信装置501を介してサーバ装置600に送信する。要求信号には、学習済みモデル511に対応する形式に変換された第1データ、第2データ及び/又は第3データが含まれる。サーバ装置600は、情報処理装置500から要求信号を受信する。サーバ装置600は、受信した要求信号に含まれる第1データ、第2データ及び/又は第3データを学習済みモデル511に入力し、学習済みモデル511から出力された出力データを取得する。サーバ装置600は、取得した出力データを情報処理装置500に送信する。推定部522は、第4通信装置501を介してサーバ装置600から出力データを受信することにより取得し、取得した出力データに基づいて、第1ウェアラブル装置100、第2ウェアラブル装置200及び無線イヤホン装置300を装着したユーザの歩行姿勢状態を推定する。
【0122】
歩行姿勢状態推定システム1は、サーバ装置600に記憶されている学習済みモデルを利用することにより、サーバ装置600によって更新されている最新の学習済みモデルを用いて歩行姿勢状態を推定することができる。また、歩行姿勢状態推定システム1は、サーバ装置600に記憶されている学習済みモデルを利用することにより、情報処理装置500の記憶容量の低減を図ることできる。一方、情報処理装置500は、自装置に記憶された学習済みモデルを利用することにより、サーバ装置600との通信接続が切断されている状態でも歩行姿勢状態又は経年データを推定することができる。また、情報処理装置500は、自装置に記憶された学習済みモデルを利用することにより、情報処理装置500とサーバ装置600の間の通信量の低減を図ることできる。
【0123】
また、歩行姿勢状態の推定は、情報処理装置500でなく、第1ウェアラブル装置100により実行されてもよい。その場合、学習済みモデル511及びデータテーブル512は、第1ウェアラブル装置100の第1記憶装置110に記憶される。また、第1処理装置120は、第1取得部121及び第1送信部122として機能するとともに、推定部522及び出力制御部523と同様の機能を有する推定部及び出力制御部として機能する。
【0124】
ステップS108~S112の処理は省略される。ステップS107において、第1取得部121は、ユーザが歩行した際に得られる第1データを取得し、取得した第1データ、第2データ及び第3データを対応する装置ID及び取得時刻と関連付けてデータテーブル512に記憶する。そして、第1ウェアラブル装置100の推定部は、ステップS110の処理と同様にして、第1データ、第2データ及び第3データに基づいて、第1ウェアラブル装置100、第2ウェアラブル装置200及び、無線イヤホン装置300を装着したユーザの歩行姿勢状態を推定する。
【0125】
第1ウェアラブル装置100がユーザの歩行姿勢状態を推定する場合も、第1ウェアラブル装置100は、サーバ装置600に記憶された学習済みモデル511の出力情報に基づいてユーザの歩行姿勢状態を推定してもよい。
【0126】
発明者は、第1要素から第5要素の全てについて、学習済みモデル511の評価を行い、学習済みモデル511から出力される情報の正解率が93%以上であり、精度が十分に高いことを確認した。即ち、歩行姿勢状態推定システム1が、学習済みモデル511を用いることにより、ユーザの歩行姿勢状態をより精度良く推定できることが確認された。また、歩行姿勢状態推定システム1は、学習済みモデル511を用いることによって、様々な種類のパラメータの様々な組み合わせに対する歩行姿勢状態を高精度に且つ効率よく算出することができる。また、歩行姿勢状態推定システム1は、学習済みモデル511を用いることによって、様々な種類のパラメータの様々な組み合わせについて対応する歩行姿勢状態を記憶しておくことなく、歩行姿勢状態を特定できるため、記憶装置の記憶容量を低減させることができる。また、歩行姿勢状態推定システム1は、学習済みモデル511を用いることによって、様々な種類のパラメータの様々な組み合わせに応じた複雑な判定を実行することなく、歩行姿勢状態を特定できるため、推定処理の処理時間の低減及び処理負荷の低減を図ることができる。
【0127】
以下、歩行姿勢状態が、第1要素から第5要素までを含むことの技術的意義について説明する。
【0128】
歩く動作の主な動力源は、太ももの引き上げであり、走る動作の主な動力源は、つま先の蹴りである。したがって、歩く動作と、走る動作、即ち極限までゆっくり走る動作とは、根本的に異なる動作であり、歩く動作と走る動作とで明確に動きを変えることが、ユーザの健康に繋がる。つま先で蹴るためには、母指球を床に付けるために、足が内巻きになり、土踏まずがなくなってしまう。これにより、足の骨は全体的に緩み、足への衝撃が膝又は腰に伝わりやすくなる。走る動作は、足への負担を伴うため、歩いている際に、足への負担がかかる走る動作を行うことは望ましくない。
【0129】
歩行姿勢状態推定システム1は、ユーザの歩行姿勢状態として、第1要素から第5要素までの各要素を推定することにより、ユーザが、走る動作を行わずに適切に歩く動作を行っているか否かを識別することができる。特に、第1要素から第5要素までの各要素は、相互に関連しており、第1要素から第5要素の順に、ユーザの姿勢が改善されることにより、ユーザは、歩行姿勢を容易に改善することができる。
【0130】
まず、歩幅が短くなりすぎて歩行速度が遅くなる、ということはあってはならず、歩幅は一定以上担保されている必要がある。歩行姿勢状態が、前提として、ユーザの歩幅が十分であるか不十分であるかを示す第1要素を含むことにより、歩行姿勢状態推定システム1は、ユーザの歩幅を一定以上担保することができる。
【0131】
次に、ユーザの姿勢がまっすぐでない場合、ユーザは、走る動作を行わざるを得なくなる。ユーザは、かかとを重心にしてまっすぐ立てていると、太ももを使って足を上げることができるが、前傾姿勢になると、上半身がかぶさって、太ももを使って足を上げることが困難になり、つま先で蹴らざるを得なくなる。歩行姿勢状態が、前後方向の軸に関する要素として、ユーザの重心が正常であるか前傾であるか後傾であるかを示す第2要素を含むことにより、歩行姿勢状態推定システム1は、ユーザの姿勢がまっすぐに保たれているか否かを確認することができる。
【0132】
次に、ユーザの重心がまっすぐであっても、太ももの引き上げが正しく行われていない場合、ユーザは、走る動作を行わざるを得ない。ユーザの重心がまっすぐであり、つま先で蹴らなくても足が上がるにもかかわらず、つま先で蹴ってしまうと上下動が激しくなる。また、ユーザの重心がまっすぐであるにもかかわらず、太ももで足を上げる癖がついていないため、ユーザは足を引きずってしまう場合がある。歩行姿勢状態が、前後方向の軸に関する要素として、ユーザが出す足を蹴っていないか引きずっているか蹴っているかを示す第3要素を含むことにより、歩行姿勢状態推定システム1は、ユーザの太ももの引き上げが正しく行われているか否かを確認することができる。
【0133】
次に、前後方向の軸が正しくても、回転(左右方向の)軸が正しくない場合、適切に歩く動作が行われない。つま先に対して膝が内側に入っていると、膝が邪魔になって反対側の足が正しく出ない。即ち、軸足が突っ張っている場合、又は、股関節が開いていない場合、出したい足が正しく上がらない。一方、ユーザが股関節を回すと、反対側の足が出るスペースが確保され、足が上がりやすくなり、太ももの引き上げが正しく行われる。歩行姿勢状態が、回転(左右方向の)軸に関する要素として、ユーザの軸足が突っ張っているか突っ張っていないかを示す第4要素と、ユーザの股関節が開いているか開いていないかを示す第5要素とを含むことにより、歩行姿勢状態推定システム1は、回転軸が正しいか否かを確認することができる。
【0134】
以上詳述したように、シューズ400は、無線イヤホン装置300を保持する保持部403を有する。これにより、利用者は、無線イヤホン装置300を用いて、第1ウェアラブル装置100から出力される音を聴いていない場合、又は、会話をしていない場合等に、無線イヤホン装置300を耳から外してシューズ400に収納しておくことができる。したがって、シューズ400は、無線イヤホン装置300の利用者の利便性を向上させることが可能となる。
【0135】
また、無線イヤホン装置300は、シューズ400に収納されている場合でも、ユーザの体にかかる加速度及び加速度を計測することができ、歩行姿勢状態推定システム1は、ユーザの歩行姿勢状態を精度良く推定することができる。
【0136】
図10(A)、(B)は、他の実施形態に係るシューズ410について説明するための模式図である。
図10(A)は、左足側のシューズ410を外側(左側)から見た模式図であり、
図10(B)は、
図10(A)のA-A’線断面図である。
【0137】
シューズ410は、シューズ400と同様の構造及び機能を有する。但し、シューズ410は、保持部403の代わりに、保持部413を有する。保持部413は、無線イヤホン装置300を保持するように、アッパー部402の外側側面402aに配置される。保持部413は、無線イヤホン装置300全体が挿入可能な挿入開口413aを有するように、外側側面402aに縫い付けられ、無線イヤホン装置300全体が収納されるポケットを形成する。挿入開口413aは、ゴム部材等の伸縮部材で形成され、無線イヤホン装置300全体が保持部413内に収納された状態で、外側側面402aに当接又は近接する。これにより、保持部413は、無線イヤホン装置300全体をアッパー部402に押圧して固定する。シューズ410は、無線イヤホン装置300を安定して固定することができ、無線イヤホン装置300は、無線イヤホン装置300にかかる3軸方向の加速度及び/又は角速度を精度良く計測することができる。
【0138】
外側側面402aの保持部413と対向する部分は、無線イヤホン装置300が保持部413に収納された状態で挿入センサ306と対向する対向面413bを有する。挿入センサ306は、対向面413bと対向しているときに、無線イヤホン装置300がユーザの外耳道に挿入されている状態と同様の状態(光、圧力、温度又は湿度等)を検出する。即ち、挿入センサ306が対向面413bと対向することにより、保持部413は、挿入センサ306により無線イヤホン装置300がユーザの外耳道に挿入されたと検出される態様で、無線イヤホン装置300を保持する。
【0139】
以上詳述したように、シューズ410は、無線イヤホン装置300全体をアッパー部402に押圧して固定する場合も、無線イヤホン装置300の利用者の利便性を向上させることが可能となる。
【0140】
図11(A)は、さらに他の実施形態に係るシューズ420について説明するための模式図である。
図11(A)は、左足側のシューズ420を内側(右側)から見た模式図である。
【0141】
シューズ420は、シューズ400と同様の構造及び機能を有する。但し、シューズ420は、保持部403の代わりに、保持部423を有する。保持部423は、保持部403と同様の構造及び機能を有する。但し、保持部423は、アッパー部402の外側側面402aでなく、内側側面402bに配置される。
【0142】
図11(B)は、さらに他の実施形態に係るシューズ430について説明するための模式図である。
図11(B)は、左足側のシューズ430を内側(右側)から見た模式図である。
【0143】
シューズ430は、シューズ410と同様の構造及び機能を有する。但し、シューズ430は、保持部413の代わりに、保持部433を有する。保持部433は、保持部413と同様の構造及び機能を有する。但し、保持部433は、アッパー部402の外側側面402aでなく、内側側面402bに配置される。
【0144】
図12(A)は、さらに他の実施形態に係るシューズ440について説明するための模式図である。
図12(A)は、左足側のシューズ440を上側から見た模式図である。
【0145】
シューズ440は、シューズ400と同様の構造及び機能を有する。但し、シューズ440は、保持部403の代わりに、保持部443を有する。保持部443は、保持部403と同様の構造及び機能を有する。但し、保持部443は、アッパー部402の外側側面402aでなく、つま先側側面402cに配置される。
【0146】
図12(B)は、さらに他の実施形態に係るシューズ450について説明するための模式図である。
図12(B)は、左足側のシューズ450を上側から見た模式図である。
【0147】
シューズ450は、シューズ410と同様の構造及び機能を有する。但し、シューズ450は、保持部413の代わりに、保持部453を有する。保持部453は、保持部413と同様の構造及び機能を有する。但し、保持部453は、アッパー部402の外側側面402aでなく、つま先側側面402cに配置される。
【0148】
図13(A)は、さらに他の実施形態に係るシューズ460について説明するための模式図である。
図13(A)は、左足側のシューズ460を後方から見た模式図である。
【0149】
シューズ460は、シューズ400と同様の構造及び機能を有する。但し、シューズ460は、保持部403の代わりに、保持部463を有する。保持部463は、保持部403と同様の構造及び機能を有する。但し、保持部463は、アッパー部402の外側側面402aでなく、かかと側側面402dに配置される。
【0150】
図13(B)は、さらに他の実施形態に係るシューズ470について説明するための模式図である。
図13(B)は、左足側のシューズ470を後方から見た模式図である。
【0151】
シューズ470は、シューズ410と同様の構造及び機能を有する。但し、シューズ470は、保持部413の代わりに、保持部473を有する。保持部473は、保持部413と同様の構造及び機能を有する。但し、保持部473は、アッパー部402の外側側面402aでなく、かかと側側面402dに配置される。
【0152】
以上詳述したように、シューズは、内側側面402b、つま先側側面402c、又は、かかと側側面402dに配置される場合も、無線イヤホン装置300の利用者の利便性を向上させることが可能となる。
【0153】
以上、好適な実施形態について説明してきたが、実施形態はこれらに限定されない。例えば、第2ウェアラブル装置200及び/又は無線イヤホン装置300は、第2データ及び/又は第3データを、第1ウェアラブル装置100を介して情報処理装置500に送信するのでなく、情報処理装置500に直接送信してもよい。これにより、歩行姿勢状態推定システム1は、第1ウェアラブル装置100における処理負荷を軽減することができる。一方、第1ウェアラブル装置100が第2ウェアラブル装置200からの第2データ及び無線イヤホン装置300からの第3データを集約することにより、歩行姿勢状態推定システム1は、情報処理装置500における処理負荷を軽減することができる。
【0154】
また、歩行姿勢状態推定システム1において、第1ウェアラブル装置100及び/又は第2ウェアラブル装置200は、省略されてもよい。また、歩行姿勢状態推定システム1において、複数の第1ウェアラブル装置100及び/又は複数の情報処理装置500が協働して、上記した各処理の各ステップを分担してもよい。
【0155】
また、上記した保持部403、413、423、433、443、453、463又は473は、シューズ400、410、420、430、440、450、460又は470に対して着脱可能に設けられてもよい。各シューズに対して着脱可能な保持部は、シューズに取り付け可能な保持部材の一例である。その場合、保持部材は、シューズと当接する当接部を有し、シューズは、保持部材の当接部が当接される被当接部を有する。当接部及び被当接部は、接着剤又は面ファスナー等により相互に当接される。
【符号の説明】
【0156】
300 無線イヤホン装置、305 スピーカ、306 挿入センサ、308 第3インタフェース装置、309 第3センサ、400、410、420、430、440、450、460、470 シューズ、401 ソール部、402 アッパー部、402a 外側側面、402b 内側側面、402c つま先側側面、402d かかと側側面、403、413、423、433、443、453、463、473 保持部、404a 挿入開口