知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023136398
(43)【公開日】2023-09-29
(54)【発明の名称】補助システム、補助方法およびプログラム
(51)【国際特許分類】
A63B 69/00 20060101AFI20230922BHJP
A63B 71/06 20060101ALI20230922BHJP
【ＦＩ】
A63B69/00 A
A63B71/06 T
【審査請求】有
【請求項の数】9
【出願形態】ＯＬ
(21)【出願番号】P 2022042052
(22)【出願日】2022-03-17
(11)【特許番号】
(45)【特許公報発行日】2023-06-06
(71)【出願人】
【識別番号】000227205
【氏名又は名称】ＮＥＣプラットフォームズ株式会社
(74)【代理人】
【識別番号】100106909
【弁理士】
【氏名又は名称】棚井 澄雄
(74)【代理人】
【識別番号】100134544
【弁理士】
【氏名又は名称】森 隆一郎
(74)【代理人】
【識別番号】100149548
【弁理士】
【氏名又は名称】松沼 泰史
(74)【代理人】
【識別番号】100162868
【弁理士】
【氏名又は名称】伊藤 英輔
(72)【発明者】
【氏名】大澤 善弘
(57)【要約】
【課題】運動を行う人に対して、その人のフォームの、よりリアルな画像を提供できるようにする。
【解決手段】補助システムが、ユーザーに装着されて前記ユーザーを撮影する撮影手段と、前記ユーザーに装着されて画像を表示する表示手段と、前記撮影手段の撮影画像に基づく前記ユーザーの画像を前記表示手段に表示させる伝達制御手段と、を備える。
【選択図】図２
【解決手段】補助システムが、ユーザーに装着されて前記ユーザーを撮影する撮影手段と、前記ユーザーに装着されて画像を表示する表示手段と、前記撮影手段の撮影画像に基づく前記ユーザーの画像を前記表示手段に表示させる伝達制御手段と、を備える。
【選択図】図２
【特許請求の範囲】
【請求項1】
ユーザーに装着されて前記ユーザーを撮影する撮影手段と、
前記ユーザーに装着されて画像を表示する表示手段と、
前記撮影手段の撮影画像に基づく前記ユーザーの画像を前記表示手段に表示させる伝達制御手段と、
を備える補助システム。
前記ユーザーに装着されて画像を表示する表示手段と、
前記撮影手段の撮影画像に基づく前記ユーザーの画像を前記表示手段に表示させる伝達制御手段と、
を備える補助システム。
【請求項2】
前記ユーザーに装着されて前記ユーザーの体の部位の位置の変化を検出するセンサと、
前記センサの測定データに基づいて、前記撮影手段による撮影画像における前記ユーザーの画像を所定の方向から撮影した場合の画像に補正するデータ制御手段と、
をさらに備える、請求項１に記載の補助システム。
前記センサの測定データに基づいて、前記撮影手段による撮影画像における前記ユーザーの画像を所定の方向から撮影した場合の画像に補正するデータ制御手段と、
をさらに備える、請求項１に記載の補助システム。
【請求項3】
前記ユーザーに装着される補助撮影手段を更に備え、
前記データ制御手段は、前記補助撮影手段の画像に基づいて、前記撮影手段による撮影画像における前記ユーザーの画像を前記所定の方向から撮影した場合の画像に補正する、
請求項２に記載の補助システム。
前記データ制御手段は、前記補助撮影手段の画像に基づいて、前記撮影手段による撮影画像における前記ユーザーの画像を前記所定の方向から撮影した場合の画像に補正する、
請求項２に記載の補助システム。
【請求項4】
前記データ制御手段は、前記撮影手段による撮影画像または前記補助撮影手段による撮影画像から、ガラスまたは鏡に映った前記ユーザーの画像を検出した場合、前記ガラスまたは鏡に映った前記ユーザーの画像を、前記所定の方向から撮影した場合の画像に反映させる、
請求項３に記載の補助システム。
請求項３に記載の補助システム。
【請求項5】
運動に関する前記ユーザーの目標を示す情報と、前記データ制御手段が生成した画像とに基づいて、目標達成のための情報を生成する分析手段
を更に備え、
前記伝達制御手段は、前記目標達成のための情報を前記表示手段に表示させる、
請求項２から４の何れか一項に記載の補助システム。
を更に備え、
前記伝達制御手段は、前記目標達成のための情報を前記表示手段に表示させる、
請求項２から４の何れか一項に記載の補助システム。
【請求項6】
前記分析手段は、前記ユーザーの目標となる運動フォームまたは練習方法の少なくとも何れかを、前記ユーザーの運動フォームおよび運動の目的に基づくルールベースで、運動フォームおよび運動の目的に応じて分類されている運動の事例データから抽出する、
請求項５に記載の補助システム。
請求項５に記載の補助システム。
【請求項7】
前記分析手段は、前記ユーザーの運動フォームおよび運動の目的を取得した場合にデータドリブンで、前記ユーザーの目標となる運動フォームまたは練習方法の少なくとも何れかを、運動の事例データから抽出する、
請求項５に記載の補助システム。
請求項５に記載の補助システム。
【請求項8】
前記分析手段は、前記ユーザーがランニングを行う場合のランニング距離、路面の勾配、路面の平坦度、路面の硬度の少なくとも何れかに基づいて、前記ユーザーに提供する情報を変化させる、
請求項５から７の何れか一項に記載の補助システム。
請求項５から７の何れか一項に記載の補助システム。
【請求項9】
コンピュータが、
ユーザーに装着されて前記ユーザーを撮影する撮影手段の撮影画像に基づく前記ユーザーの画像を、前記ユーザーに装着されて画像を表示する表示手段に表示させる
ことを含む補助方法。
ユーザーに装着されて前記ユーザーを撮影する撮影手段の撮影画像に基づく前記ユーザーの画像を、前記ユーザーに装着されて画像を表示する表示手段に表示させる
ことを含む補助方法。
【請求項10】
コンピュータに、
ユーザーに装着されて前記ユーザーを撮影する撮影手段の撮影画像に基づく前記ユーザーの画像を、前記ユーザーに装着されて画像を表示する表示手段に表示させる
ことを実行させるためのプログラム。
ユーザーに装着されて前記ユーザーを撮影する撮影手段の撮影画像に基づく前記ユーザーの画像を、前記ユーザーに装着されて画像を表示する表示手段に表示させる
ことを実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、補助システム、補助方法およびプログラムに関する。
【背景技術】
【0002】
ランニングなどの運動時に、運動を行う人に運動に関するアドバイスを提示するなど、運動の補助を行うための技術が提案されている。
例えば、特許文献１には、モーションセンサおよび生体センサを用いて、運動を行う被支援者に支援情報を提供する支援情報提供装置が記載されている。例えば、この支援情報提供装置は、被支援者のランニング時に、右肘の温度及び血中乳酸菌濃度が異常に高い場合に、右肘を少し伸ばすようにアドバイスする。また、この支援情報提供装置は、モーションセンサの検出結果に基づいて被支援者のフォーム画像を生成し、被支援者のフォーム画像と、有名選手のフォームなどの参照フォーム画像とを重ね合わせた合成画像を生成し表示する。
例えば、特許文献１には、モーションセンサおよび生体センサを用いて、運動を行う被支援者に支援情報を提供する支援情報提供装置が記載されている。例えば、この支援情報提供装置は、被支援者のランニング時に、右肘の温度及び血中乳酸菌濃度が異常に高い場合に、右肘を少し伸ばすようにアドバイスする。また、この支援情報提供装置は、モーションセンサの検出結果に基づいて被支援者のフォーム画像を生成し、被支援者のフォーム画像と、有名選手のフォームなどの参照フォーム画像とを重ね合わせた合成画像を生成し表示する。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１７－２２１３５０号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
運動を行う人に対して、その人のフォームの、よりリアルな画像を提供できれば、その画像を参照した本人が、比較的容易にフォームを把握できると期待される。
【0005】
本発明の目的の一例は、上述の課題を解決することのできる補助システム、補助方法およびプログラムを提供することである。
【課題を解決するための手段】
【0006】
本発明の第１の態様によれば、補助システムは、ユーザーに装着されて前記ユーザーを撮影する撮影手段と、前記ユーザーに装着されて画像を表示する表示手段と、前記撮影手段の撮影画像に基づく前記ユーザーの画像を前記表示手段に表示させる伝達制御手段と、を備える。
【0007】
本発明の第２の態様によれば、補助方法は、コンピュータが、ユーザーに装着されて前記ユーザーを撮影する撮影手段の撮影画像に基づく前記ユーザーの画像を、前記ユーザーに装着されて画像を表示する表示手段に表示させることを含む。
【0008】
本発明の第３の態様によれば、プログラムは、コンピュータに、ユーザーに装着されて前記ユーザーを撮影する撮影手段の撮影画像に基づく前記ユーザーの画像を、前記ユーザーに装着されて画像を表示する表示手段に表示させることを実行させるためのプログラムである。
【発明の効果】
【0009】
本発明によれば、運動を行う人に対して、その人のフォームの、よりリアルな画像を提供することができる。
【図面の簡単な説明】
【0010】
【図1】実施形態に係る補助システムの構成の例を示す図である。
【図2】実施形態に係るユーザー装着システムの構成の例を示す図である。
【図3】実施形態に係るカメラ機能付き帽子、情報表示グラス、および、情報伝達イヤホンの配置の例を示す図である。
【図4】実施形態に係る補填用カメラおよびセンサの配置の例を示す図である。
【図5】実施形態に係る補助システムが行う処理の例を示す図である。
【図6】実施形態に係るデータ制御部が、ユーザーのランニング画像の前方向画像および側面方向画像を生成する処理の手順の例を示す図である。
【図7】実施形態に係る補助システムの構成の、もう１つの例を示す図である。
【図8】実施形態に係る補助方法における処理の手順の例を示す図である。
【図9】少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。
【発明を実施するための形態】
【0011】
以下、本発明の実施形態を説明するが、以下の実施形態は請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
図１は、実施形態に係る補助システムの構成の例を示す図である。図１に示す構成で、補助システム１００は、ユーザーシステム１１０と、サーバ装置１４０とを備える。ユーザーシステム１１０は、ユーザー装着システム１２０と、ユーザー端末装置１３０とを備える。
また、ユーザーシステム１１０とサーバ装置１４０とは、通信ネットワーク９１０を介して通信を行う。
図１は、実施形態に係る補助システムの構成の例を示す図である。図１に示す構成で、補助システム１００は、ユーザーシステム１１０と、サーバ装置１４０とを備える。ユーザーシステム１１０は、ユーザー装着システム１２０と、ユーザー端末装置１３０とを備える。
また、ユーザーシステム１１０とサーバ装置１４０とは、通信ネットワーク９１０を介して通信を行う。
【0012】
補助システム１００は、ユーザーがランニングを行う際に、ランニングフォームのチェックのための情報など、ランニングを補助する情報を提供する。
ただし、補助システム１００が対象とする運動はランニングに限定されない。補助システム１００が、ランニングに加えて、あるいは代えてウォーキングを対象とするなど、ランニング以外の運動を対象とするようにしてもよい。
ただし、補助システム１００が対象とする運動はランニングに限定されない。補助システム１００が、ランニングに加えて、あるいは代えてウォーキングを対象とするなど、ランニング以外の運動を対象とするようにしてもよい。
【0013】
ユーザー装着システム１２０は、ランニング時にユーザーが装着するシステムである。ユーザー装着システム１２０は、ランニング時のユーザーの情報を取得する。また、ユーザー装着システム１２０は、ランニングフォームのチェックのための情報をユーザーに提示する。
【0014】
ユーザー端末装置１３０は、ユーザーの情報の事前登録を行うための装置として用いられる。ユーザー端末装置１３０は、例えば、パソコン（Personal Computer；ＰＣ）またはスマートフォンなどのコンピュータを用いて構成される。ユーザー端末装置１３０が、例えばスマートフォンなど携帯可能な装置を用いて構成され、ユーザーが、ランニング時にユーザー端末装置１３０を携帯するようにしてもよい。ユーザー端末装置１３０が、ユーザー装着システム１２０の一部として構成されていてもよい。
【0015】
サーバ装置１４０は、ユーザーシステム１１０からデータを取得し、ユーザーごとにデータを解析してアドバイス等の情報を生成してユーザーシステム１１０へ送信する。
上位データ収集部１２は、ユーザーシステム１１０からユーザー毎の情報を取得し、履歴情報を記録する。
個人目標データ分析部１３は、上位データ収集部１２が取得したデータ、および、ユーザー毎の目標など事前登録されているデータに基づいて、ユーザー毎にアドバイス等の情報を生成する。
例えば、個人目標データ分析部１３が、ユーザー装着システム１２０が生成するユーザーのフォームの画像データと、ユーザーの目標を示す情報とを、複数のユーザーの運動の履歴データに基づいて学習済みの学習モデルに入力して、目標とすべきフォームの画像データ、および、ユーザーへのアドバイスなど、目標達成のための情報を出力し、ユーザー装着システム１２０へ送信するようにしてもよい。
個人目標データ分析部１３は、分析手段の例に該当する。
上位データ収集部１２は、ユーザーシステム１１０からユーザー毎の情報を取得し、履歴情報を記録する。
個人目標データ分析部１３は、上位データ収集部１２が取得したデータ、および、ユーザー毎の目標など事前登録されているデータに基づいて、ユーザー毎にアドバイス等の情報を生成する。
例えば、個人目標データ分析部１３が、ユーザー装着システム１２０が生成するユーザーのフォームの画像データと、ユーザーの目標を示す情報とを、複数のユーザーの運動の履歴データに基づいて学習済みの学習モデルに入力して、目標とすべきフォームの画像データ、および、ユーザーへのアドバイスなど、目標達成のための情報を出力し、ユーザー装着システム１２０へ送信するようにしてもよい。
個人目標データ分析部１３は、分析手段の例に該当する。
【0016】
通信ネットワーク９１０は、ユーザーシステム１１０とサーバ装置１４０との通信を仲介する。図１では、通信ネットワーク９１０が、ユーザー装着システム１２０とサーバ装置１４０との通信、および、ユーザー端末装置１３０とサーバ装置１４０との通信を仲介する場合の例を示している。ただし、ユーザーシステム１１０とサーバ装置１４０との通信は、これに限定されない。例えば、ユーザー装着システム１２０が、ユーザー端末装置１３０および通信ネットワーク９１０を介してサーバ装置１４０と通信を行うようにしてもよい。
通信ネットワーク９１０は、特定の種類の通信ネットワークに限定されない。例えば、通信ネットワーク９１０が、インターネットおよび携帯電話網を含んで構成されていてもよいが、これに限定されない。ここでいう携帯電話網は、通信事業者がスマートフォンなどの携帯電話機向けに提供する無線通信ネットワークである。
ユーザー装着システム１２０が、通信ネットワーク９１０に無線にて通信接続することが、ユーザーのランニングの邪魔になりにくい観点から好ましい。
通信ネットワーク９１０は、特定の種類の通信ネットワークに限定されない。例えば、通信ネットワーク９１０が、インターネットおよび携帯電話網を含んで構成されていてもよいが、これに限定されない。ここでいう携帯電話網は、通信事業者がスマートフォンなどの携帯電話機向けに提供する無線通信ネットワークである。
ユーザー装着システム１２０が、通信ネットワーク９１０に無線にて通信接続することが、ユーザーのランニングの邪魔になりにくい観点から好ましい。
【0017】
図２は、ユーザー装着システム１２０の構成の例を示す図である。図２に示す構成で、ユーザー装着システム１２０は、情報収集部１６と、情報伝達部１７とを備える。
情報収集部１６は、カメラ機能付き帽子２１と、補填用カメラシステム２２と、センサシステム２３とを備える。カメラ機能付き帽子２１は、フォーム画像カメラ３と、魚眼レンズ４と、データ制御部５と、無線通信部６ａとを備える。補填用カメラシステム２２は、補填用カメラ１４と、魚眼レンズ４と、無線通信部６ｂとを備える。センサシステム２３は、センサ１５と、無線通信部６ｃとを備える。
情報伝達部１７は、情報表示グラス７と、情報伝達イヤホン８と、伝達制御部９と、無線通信部６ｄとを備える。
情報収集部１６は、カメラ機能付き帽子２１と、補填用カメラシステム２２と、センサシステム２３とを備える。カメラ機能付き帽子２１は、フォーム画像カメラ３と、魚眼レンズ４と、データ制御部５と、無線通信部６ａとを備える。補填用カメラシステム２２は、補填用カメラ１４と、魚眼レンズ４と、無線通信部６ｂとを備える。センサシステム２３は、センサ１５と、無線通信部６ｃとを備える。
情報伝達部１７は、情報表示グラス７と、情報伝達イヤホン８と、伝達制御部９と、無線通信部６ｄとを備える。
【0018】
情報収集部１６は、ランニング時のユーザーの情報を取得する。
カメラ機能付き帽子２１では、帽子のつば部にフォーム画像カメラ３が設けられている。ユーザーは、頭部にカメラ機能付き帽子２１を装着してランニングを行う。
フォーム画像カメラ３は、ユーザーがカメラ機能付き帽子２１を装着したときに、ユーザーの体の上方部位から下方を撮影可能な位置および向きに設けられる。このようにフォーム画像カメラ３を配置することで、ユーザーのランニングフォームを時系列の画像データとして収集することができる。
フォーム画像カメラ３は、撮影手段の例に該当する。
カメラ機能付き帽子２１では、帽子のつば部にフォーム画像カメラ３が設けられている。ユーザーは、頭部にカメラ機能付き帽子２１を装着してランニングを行う。
フォーム画像カメラ３は、ユーザーがカメラ機能付き帽子２１を装着したときに、ユーザーの体の上方部位から下方を撮影可能な位置および向きに設けられる。このようにフォーム画像カメラ３を配置することで、ユーザーのランニングフォームを時系列の画像データとして収集することができる。
フォーム画像カメラ３は、撮影手段の例に該当する。
【0019】
ただし、フォーム画像カメラ３の配置は、帽子のつば部に設けるものに限定されず、ランニング時にユーザーのランニングフォームを撮影可能ないろいろな配置を採用することができる。例えば、フォーム画像カメラ３が、スマートグラス（例えば、情報表示グラス７）の先端部分に設けられていてもよい。あるいは、フォーム画像カメラ３がバンダナに設けられ、ランニング時にユーザーの頭部前方からユーザーを撮影するようにしてもよい。
【0020】
魚眼レンズ４は、フォーム画像カメラ３のレンズの部分に設けられ、フォーム画像カメラ３の画角をより広くする。これにより、フォーム画像カメラ３は、より広範囲の画像を撮影することができる。
ただし、魚眼レンズ４は必須ではない。フォーム画像カメラ３に魚眼レンズ４が設けられていなくてもよく、カメラ機能付き帽子２１が魚眼レンズ４を備えていなくてもよい。
ただし、魚眼レンズ４は必須ではない。フォーム画像カメラ３に魚眼レンズ４が設けられていなくてもよく、カメラ機能付き帽子２１が魚眼レンズ４を備えていなくてもよい。
【0021】
データ制御部５は、フォーム画像カメラ３が撮影した画像データを、人間が目視可能なランニングフォームデータに加工する。特に、データ制御部５は、フォーム画像カメラ３が撮影した画像を、例えばユーザーの正面または横など所定の方向から撮影した場合の画像に補正する。また、データ制御部５が、ユーザーがユーザー端末装置１３０を用いて予め撮影したユーザーの画像データを、人間が目視可能なランニングフォームデータに加工するようにしてもよい。
【0022】
また、データ制御部５が、予め撮影されたユーザーの画像を、フォーム画像カメラ３が撮影した画像の補正に用いるようにしてもよい。例えば、データ制御部５が、ユーザーのランニングフォームのうちフォーム画像カメラ３による撮影画像に映らない部分を、予め撮影されたユーザーの画像を用いて補完するようにしてもよい。また、データ制御部５が、フォーム画像カメラ３が撮影した画像、または、その画像を補正した画像のうち、ユーザーのランニングフォームに関係ない部分を、予め撮影されたユーザーの画像を用いて検出し、その部分のデータを削除するようにしてもよい。
データ制御部５は、データ制御手段の例に該当する。
データ制御部５は、データ制御手段の例に該当する。
【0023】
無線通信部６ａは、他の装置と通信を行う。例えば、無線通信部６ａは、補填用カメラシステム２２の無線通信部６ｂから、補填用カメラ１４が撮影した画像のデータを受信する。また、無線通信部６ａは、センサシステム２３の無線通信部６ｃから、センサ１５によるセンサデータを受信する。また、無線通信部６ａは、情報伝達部１７の無線通信部６ｄに、ユーザーのランニングフォームの画像データなど、ユーザーに提供するデータを送信する。
また、無線通信部６ａは、通信ネットワーク９１０を経由してサーバ装置１４０と通信を行う。あるいは、無線通信部６ａが、ユーザー端末装置１３０と通信を行い、ユーザー端末装置１３０を介してサーバ装置１４０とデータのやり取りを行うようにしてもよい。
また、無線通信部６ａは、通信ネットワーク９１０を経由してサーバ装置１４０と通信を行う。あるいは、無線通信部６ａが、ユーザー端末装置１３０と通信を行い、ユーザー端末装置１３０を介してサーバ装置１４０とデータのやり取りを行うようにしてもよい。
【0024】
補填用カメラシステム２２は、フォーム画像カメラ３が撮影する画像の補助的な画像を撮影し、カメラ機能付き帽子２１に送信する。
補填用カメラ１４は、フォーム画像カメラ３が撮影する画像の補助的な画像を撮影する。例えばユーザーのランニング時に、補填用カメラ１４は、ユーザーの手または足など、フォーム画像カメラ３とは異なる位置に設定（装着）され、ユーザー、または、ユーザーの周囲を撮影する。
補填用カメラ１４は、補助撮影手段の例に該当する。
補填用カメラ１４は、フォーム画像カメラ３が撮影する画像の補助的な画像を撮影する。例えばユーザーのランニング時に、補填用カメラ１４は、ユーザーの手または足など、フォーム画像カメラ３とは異なる位置に設定（装着）され、ユーザー、または、ユーザーの周囲を撮影する。
補填用カメラ１４は、補助撮影手段の例に該当する。
【0025】
魚眼レンズ４は、補填用カメラ１４のレンズの部分に設けられ、補填用カメラ１４の画角をより広くする。これにより、補填用カメラ１４は、より広範囲の画像を撮影することができる。
ただし、魚眼レンズ４は必須ではない。補填用カメラ１４に魚眼レンズ４が設けられていなくてもよく、補填用カメラシステム２２が魚眼レンズ４を備えていなくてもよい。補填用カメラシステム２２が複数ある場合、魚眼レンズ４を備える補填用カメラシステム２２と、魚眼レンズ４を備えていない補填用カメラシステム２２とがあってもよい。
無線通信部６ｂは、他の装置と通信を行う。特に、無線通信部６ｂは、補填用カメラシステム２２が撮影した画像のデータを、無線通信部６ａに送信する。
ただし、魚眼レンズ４は必須ではない。補填用カメラ１４に魚眼レンズ４が設けられていなくてもよく、補填用カメラシステム２２が魚眼レンズ４を備えていなくてもよい。補填用カメラシステム２２が複数ある場合、魚眼レンズ４を備える補填用カメラシステム２２と、魚眼レンズ４を備えていない補填用カメラシステム２２とがあってもよい。
無線通信部６ｂは、他の装置と通信を行う。特に、無線通信部６ｂは、補填用カメラシステム２２が撮影した画像のデータを、無線通信部６ａに送信する。
【0026】
センサシステム２３は、ユーザーまたはユーザーの周囲に関するセンサデータ（測定データ）を取得し、カメラ機能付き帽子２１に送信する。
センサ１５は、ユーザーまたはユーザーの周囲に関する測定を行う。例えば、ユーザーのランニング時にセンサ１５がユーザーの手または足など、ユーザーの体の部位に設けられ、その部位の位置、速度、加速度、向き（角度）、角速度、角加速度などのデータを取得するようにしてもよい。
センサ１５は、ユーザーまたはユーザーの周囲に関する測定を行う。例えば、ユーザーのランニング時にセンサ１５がユーザーの手または足など、ユーザーの体の部位に設けられ、その部位の位置、速度、加速度、向き（角度）、角速度、角加速度などのデータを取得するようにしてもよい。
【0027】
無線通信部６ｃは、他の装置と通信を行う。特に、無線通信部６ｃは、センサ１５によるセンサデータを、無線通信部６ａに送信する。
補填用カメラシステム２２およびセンサシステム２３が取得するデータは、例えば、データ制御部５が、ユーザーのランニングフォームの画素を補正するために用いられていてもよい。特に、データ制御部５は、フォーム画像カメラ３が撮影した画像を、例えばユーザーの正面または横など所定の方向から撮影した場合の画像に補正する際に、補填用カメラシステム２２およびセンサシステム２３が取得するデータを用いるようにしてもよい。例えば、データ制御部５が、ランニングフォームに示されるユーザーの各部のうち、フォーム画像カメラ３では撮影できない部位など、ランニングフォームデータとして不完全な部位の補正の為に、補填用カメラ１４の画像、および、センサ１５の測定データを用いるようにしてもよい。
また、データ制御部５が、センサ１５の測定データから、補填用カメラ１４の向き、高さ、速度、位置のうち少なくとも何れか１つの情報を取得し、得られた情報に基づいて、補填用カメラ１４の画像を、フォーム画像カメラ３の画像の補正に反映させるようにしてもよい。
補填用カメラシステム２２およびセンサシステム２３が取得するデータは、例えば、データ制御部５が、ユーザーのランニングフォームの画素を補正するために用いられていてもよい。特に、データ制御部５は、フォーム画像カメラ３が撮影した画像を、例えばユーザーの正面または横など所定の方向から撮影した場合の画像に補正する際に、補填用カメラシステム２２およびセンサシステム２３が取得するデータを用いるようにしてもよい。例えば、データ制御部５が、ランニングフォームに示されるユーザーの各部のうち、フォーム画像カメラ３では撮影できない部位など、ランニングフォームデータとして不完全な部位の補正の為に、補填用カメラ１４の画像、および、センサ１５の測定データを用いるようにしてもよい。
また、データ制御部５が、センサ１５の測定データから、補填用カメラ１４の向き、高さ、速度、位置のうち少なくとも何れか１つの情報を取得し、得られた情報に基づいて、補填用カメラ１４の画像を、フォーム画像カメラ３の画像の補正に反映させるようにしてもよい。
【0028】
情報伝達部１７は、ランニングフォームのチェックのための情報をユーザーに提示する。
情報表示グラス７は、ランニングフォームのチェックのための情報を表示する。例えば、情報表示グラス７が、データ制御部５が生成するユーザーのランニングフォームの画像を表示するようにしてもよい。これにより、ユーザーは、ほぼリアルタイムに自分のランニングフォームの目視確認が可能となる。
情報表示グラス７は、表示手段の例に該当する。
情報表示グラス７は、ランニングフォームのチェックのための情報を表示する。例えば、情報表示グラス７が、データ制御部５が生成するユーザーのランニングフォームの画像を表示するようにしてもよい。これにより、ユーザーは、ほぼリアルタイムに自分のランニングフォームの目視確認が可能となる。
情報表示グラス７は、表示手段の例に該当する。
【0029】
情報伝達イヤホン８は、ランニングフォームのチェックのための情報を音声で出力する。例えば、情報伝達イヤホン８が、ランニングに関するアドバイスを音声で出力するようにしてもよい。ただし、情報伝達イヤホン８は必須ではない。情報伝達部１７が、情報伝達イヤホン８を備えていなくてもよい。
【0030】
伝達制御部９は、情報表示グラス７を制御して、ランニングフォームのチェックのための情報を表示させる。また、伝達制御部９は、情報伝達イヤホン８を制御して、ランニングフォームのチェックのための情報を音声で出力させる。
例えば、伝達制御部９は、フォーム画像カメラ３の撮影画像に基づくユーザーのフォームの画像を、情報表示グラス７に表示させる。あるいは、伝達制御部９が、ユーザーがユーザー端末装置１３０を用いて予め撮影したユーザーの画像に基づくユーザーのフォームの画像を、情報表示グラス７に表示させるようにしてもよい。
伝達制御部９は、伝達制御手段の例に該当する。
無線通信部６ｄは、他の装置と通信を行う。特に、無線通信部６ｄは、ランニングフォームのチェックのための情報を無線通信部６ａから受信する。
無線通信部６ａ、６ｂ、６ｃおよび６ｄを総称して、無線通信部６とも表記する。
例えば、伝達制御部９は、フォーム画像カメラ３の撮影画像に基づくユーザーのフォームの画像を、情報表示グラス７に表示させる。あるいは、伝達制御部９が、ユーザーがユーザー端末装置１３０を用いて予め撮影したユーザーの画像に基づくユーザーのフォームの画像を、情報表示グラス７に表示させるようにしてもよい。
伝達制御部９は、伝達制御手段の例に該当する。
無線通信部６ｄは、他の装置と通信を行う。特に、無線通信部６ｄは、ランニングフォームのチェックのための情報を無線通信部６ａから受信する。
無線通信部６ａ、６ｂ、６ｃおよび６ｄを総称して、無線通信部６とも表記する。
【0031】
図３は、カメラ機能付き帽子２１、情報表示グラス７、および、情報伝達イヤホン８の配置の例を示す図である。ユーザーに符号１を付してユーザー１とも表記する。
図３の例で、カメラ機能付き帽子２１のつば部に、魚眼レンズ４を備えるフォーム画像カメラ３が設置されている。ユーザー１がランニング時にカメラ機能付き帽子２１を装着した（帽子をかぶった）状態で、フォーム画像カメラ３は、ユーザー１のランニングフォームを撮影する。
また、カメラ機能付き帽子２１のつば部には、データ制御部５および無線通信部６ａも配置されている。ただし、データ制御部５および無線通信部６ａの配置は、特定の配置に限定されない。
図３の例で、カメラ機能付き帽子２１のつば部に、魚眼レンズ４を備えるフォーム画像カメラ３が設置されている。ユーザー１がランニング時にカメラ機能付き帽子２１を装着した（帽子をかぶった）状態で、フォーム画像カメラ３は、ユーザー１のランニングフォームを撮影する。
また、カメラ機能付き帽子２１のつば部には、データ制御部５および無線通信部６ａも配置されている。ただし、データ制御部５および無線通信部６ａの配置は、特定の配置に限定されない。
【0032】
また、ユーザー１は、ランニング時に、情報表示グラス７および情報伝達イヤホン８を装着する。ユーザー１は、ランニング中に、情報表示グラス７に表示される各種情報を参照することができる。また、ユーザー１は、ランニング中に、情報伝達イヤホン８が音声で伝達する各種情報を得られる。
また、図３では、ユーザー１がランニング時にユーザー端末装置１３０を携帯する場合の例を示している。図３の例で、ユーザー端末装置１３０は、スマートフォンなどの携帯電話機を用いて構成される。ユーザー端末装置１３０が、ユーザー装着システム１２０からデータを収集して解析し、解析結果をユーザー装着システム１２０に出力するようにしてもよい。また、ユーザー端末装置１３０が、ユーザー装着システム１２０とサーバ装置１４０との通信を仲介するようにしてもよい。
ただし、ユーザー１が、ランニング時にユーザー端末装置１３０を携帯していなくてもよい。
また、図３では、ユーザー１がランニング時にユーザー端末装置１３０を携帯する場合の例を示している。図３の例で、ユーザー端末装置１３０は、スマートフォンなどの携帯電話機を用いて構成される。ユーザー端末装置１３０が、ユーザー装着システム１２０からデータを収集して解析し、解析結果をユーザー装着システム１２０に出力するようにしてもよい。また、ユーザー端末装置１３０が、ユーザー装着システム１２０とサーバ装置１４０との通信を仲介するようにしてもよい。
ただし、ユーザー１が、ランニング時にユーザー端末装置１３０を携帯していなくてもよい。
【0033】
図４は、補填用カメラ１４およびセンサ１５の配置の例を示す図である。図４の例では、ユーザーの左手、右手、左足、および、右足にそれぞれ補填用カメラ１４とセンサ１５とが設けられている。また、カメラ機能付き帽子２１の後ろ側（ユーザーの後頭部側）のつばの部位に補填用カメラ１４が設けられ、カメラ機能付き帽子２１などユーザーの頭部と、ユーザーの胴体部分とに、それぞれセンサ１５が設けられている。
【0034】
情報収集部１６は、フォーム画像カメラ３に加えて、これらの補填用カメラ１４およびセンサ１５を用いることで、ユーザーのランニングフォームをより正確に把握することができる。
ただし、補填用カメラ１４およびセンサ１５の個数および配置は特定のものに限定されない。また、補填用カメラ１４およびセンサ１５は、情報収集部１６に必須ではない。情報収集部１６が、補填用カメラ１４およびセンサ１５のうち何れか一方、または両方を備えていなくてもよい。
ただし、補填用カメラ１４およびセンサ１５の個数および配置は特定のものに限定されない。また、補填用カメラ１４およびセンサ１５は、情報収集部１６に必須ではない。情報収集部１６が、補填用カメラ１４およびセンサ１５のうち何れか一方、または両方を備えていなくてもよい。
【0035】
図５は、補助システム１００が行う処理の例を示す図である。
図５の例で、ユーザー１は、ユーザー端末装置１３０を用いて事前にデータ登録を行う。例えば、ユーザー１は、ユーザー端末装置１３０としてスマートフォン等を用いて、ユーザー１自らのランニングフォーム画像を側面や背面方向含めて基礎データとして事前撮影し、ユーザー端末装置１３０に保存する。次に、ユーザー１は、ユーザー１自らの、年齢、性別、体形、病歴などの情報をユーザー端末装置１３０に入力する。ユーザー１が、体形の情報として、身長、体重および体脂肪率等の情報を入力するようにしてもよい。
図５の例で、ユーザー１は、ユーザー端末装置１３０を用いて事前にデータ登録を行う。例えば、ユーザー１は、ユーザー端末装置１３０としてスマートフォン等を用いて、ユーザー１自らのランニングフォーム画像を側面や背面方向含めて基礎データとして事前撮影し、ユーザー端末装置１３０に保存する。次に、ユーザー１は、ユーザー１自らの、年齢、性別、体形、病歴などの情報をユーザー端末装置１３０に入力する。ユーザー１が、体形の情報として、身長、体重および体脂肪率等の情報を入力するようにしてもよい。
【0036】
次にユーザー１は、ユーザー１自らの過去のランニング実績や運動履歴の情報を、ユーザー端末装置１３０に入力する。次に、ユーザー１は、ユーザー１自らの目指す目的情報として、ランニングの速度や距離の目標や、ダイエット、健康などの具体的な目的を入力する。
目的情報と目標情報とが同一の情報として登録されていてもよい。あるいは、目的情報が示す目的の下で、目標情報が具体的な目標値を示すなど、目的情報と目標情報とがそれぞれ登録されていてもよい。
目的情報と目標情報とが同一の情報として登録されていてもよい。あるいは、目的情報が示す目的の下で、目標情報が具体的な目標値を示すなど、目的情報と目標情報とがそれぞれ登録されていてもよい。
【0037】
次に、ユーザー１が屋外等で、カメラ機能付き帽子２１などユーザー装着システム１２０を装着しランニングを行うと、情報収集部１６が、ユーザーのランニングの情報を収集する。具体的には、カメラ機能付き帽子２１のつばの先に装着されたフォーム画像カメラ３が、ユーザー１のランニングフォーム画像を、ランニングの間、継続的に撮影する。
【0038】
フォーム画像カメラ３が撮影するユーザー１のランニングフォームの画像の補足として、ユーザー１に装着された補填用カメラ１４の撮影画像や、体の角度および加速度を検出するセンサ１５の測定データ等を用いることができる。上記のように、フォーム画像カメラ３および補填用カメラ１４などのカメラには、魚眼レンズ４が取り付けられていてもよい。
【0039】
次に、データ制御部５は、図５のデータ構築の欄に示すように、情報収集部１６が収集した画像情報やセンサデータなど融合し、さらにユーザー１がユーザー端末装置１３０を用いて撮影した、ユーザー事前登録のランニングデータをソフトウェア処理して、ランニングフォームの画像データなど、ユーザー１がランニングフォームとして目視確認可能なデータに加工する。例えば、データ制御部５は、ユーザー事前登録のランニングデータを、フォーム画像カメラ３の撮影画像、補填用カメラ１４の撮影画像、および、センサ１５の測定値等を用いて補正して、ユーザー１のリアルタイムのランニングフォームを示す情報を生成する。
【0040】
例えば、データ制御部５が、フォーム画像カメラ３が撮影した画像、または、予め撮影されたユーザーの画像など、ベースとするユーザーのフォームの画像と、補填用カメラ１４による撮影画像、および、センサ１５による測定データのうち何れか一方、または両方を、これらの履歴データに基づいて学習済みの学習モデルに入力して、補正後のユーザーのフォームの画像データを取得するようにしてもよい。
【0041】
次に、データ制御部５は、図５の抽象化データ加工の欄に示すように、データ構築で得られたランニングフォームデータに対して、顔の画像および服装の画像など個人の特定につながる情報の削除を行う。個人の特定につながる情報の削除として、データ制御部５が、顔の画像および服装の画像などをぼかす処理、あるいはモザイクをかける処理を行うようにしてもよい。
ユーザー装着システム１２０は、個人の特定につながる情報が削除されたランニングフォームのデータを、サーバ装置１４０へ送信する。
ユーザー装着システム１２０は、個人の特定につながる情報が削除されたランニングフォームのデータを、サーバ装置１４０へ送信する。
【0042】
次に、サーバ装置１４０の上位データ収集部１２は、ユーザー装着システム１２０またはユーザー端末装置１３０から、ユーザー１に関する情報を取得し、記憶する。例えば、ユーザー端末装置１３０が、ユーザー１が事前に登録した情報を、サーバ装置１４０へ送信し、サーバ装置１４０が、送信された情報を受信して記憶するようにしてもよい。また、サーバ装置１４０が、ユーザー装着システム１２０が送信した、個人の特定につながる情報が削除されたランニングフォームのデータを受信し記憶するようにしてもよい。
【0043】
上位データ収集部１２は、複数のユーザーシステム１１０から情報を取得し、ユーザー１毎（ユーザーシステム１１０毎）に情報を記憶する。ある１人のユーザー１との関係では、他のユーザー１を他ユーザーとも称し、他ユーザーの情報を他ユーザー情報とも称する。
上位データ収集部１２は、例えば、複数のユーザーシステム１１０から取得する多様なランニングフォームと練習方法とその結果情報をユーザー１毎に記憶し管理する。
上位データ収集部１２は、例えば、複数のユーザーシステム１１０から取得する多様なランニングフォームと練習方法とその結果情報をユーザー１毎に記憶し管理する。
【0044】
次に、個人目標データ分析部１３は、人工知能を活用してデータドリブンで、またはルールベースで、ユーザー毎に最適ランニングフォームおよび最適練習方法を選定し、ユーザー１毎に、長期目標、リアルタイム目標、アドバイス情報を作成する。
例えば、個人目標データ分析部１３は、ユーザー１が事前登録した、ユーザー１自らの目標情報や体形、年齢、性別などの個人特性情報と、ユーザー１のランニングフォーム、練習方法、および、その結果情報の履歴情報とを、上位データ収集部１２から取得する。さらに、個人目標データ分析部１３は、ユーザー１と同種の目標および個人特性を有する他ユーザーの練習方法およびアドバイスの履歴情報から、その他ユーザーに有益であったと推定される情報を抽出し、そのときの他ユーザーのランニングフォームや練習方法等の情報を取得する。個人目標データ分析部１３は、これらの情報を用いて、ユーザー毎に最適ランニングフォームおよび最適練習方法を選定し、ユーザー１毎に、長期目標、リアルタイム目標、アドバイス情報を作成する。
例えば、個人目標データ分析部１３は、ユーザー１が事前登録した、ユーザー１自らの目標情報や体形、年齢、性別などの個人特性情報と、ユーザー１のランニングフォーム、練習方法、および、その結果情報の履歴情報とを、上位データ収集部１２から取得する。さらに、個人目標データ分析部１３は、ユーザー１と同種の目標および個人特性を有する他ユーザーの練習方法およびアドバイスの履歴情報から、その他ユーザーに有益であったと推定される情報を抽出し、そのときの他ユーザーのランニングフォームや練習方法等の情報を取得する。個人目標データ分析部１３は、これらの情報を用いて、ユーザー毎に最適ランニングフォームおよび最適練習方法を選定し、ユーザー１毎に、長期目標、リアルタイム目標、アドバイス情報を作成する。
【0045】
例えば、個人目標データ分析部１３が、ユーザー１の目標となるランニングフォームまたは練習方法の少なくとも何れかを、ユーザー１のランニングフォームおよびランニングの目的に基づいて、ランニングの事例データから抽出するようにしてもよい。
さらに例えば、ランニングの事例データが、ランニングフォームおよびランニングの目的に応じて分類されていてもよい。そして、個人目標データ分析部１３が、ユーザー１の目標となるランニングフォームまたは練習方法の少なくとも何れかを、ユーザー１のランニングフォームおよびランニングの目的に基づくルールベースで、ランニングの事例データから抽出するようにしてもよい。
あるいは、個人目標データ分析部１３が、ユーザー１のランニングフォームおよびランニングの目的を取得した場合に、これらのデータの取得を契機とするデータドリブンで、ユーザー１の目標となるランニングフォームまたは練習方法の少なくとも何れかを、ランニングの事例データから抽出するようにしてもよい。
さらに例えば、ランニングの事例データが、ランニングフォームおよびランニングの目的に応じて分類されていてもよい。そして、個人目標データ分析部１３が、ユーザー１の目標となるランニングフォームまたは練習方法の少なくとも何れかを、ユーザー１のランニングフォームおよびランニングの目的に基づくルールベースで、ランニングの事例データから抽出するようにしてもよい。
あるいは、個人目標データ分析部１３が、ユーザー１のランニングフォームおよびランニングの目的を取得した場合に、これらのデータの取得を契機とするデータドリブンで、ユーザー１の目標となるランニングフォームまたは練習方法の少なくとも何れかを、ランニングの事例データから抽出するようにしてもよい。
【0046】
また、個人目標データ分析部１３が、ユーザー１のランニング距離、路面の勾配、路面の平坦度、路面の硬度の少なくとも何れかに基づいて、ユーザー１に提供する情報を変化させるようにしてもよい。
【0047】
次に、情報伝達部１７では、伝達制御部９が、情報表示グラス７を制御して、リアルタイムのランニングフォームを表示させる。さらに、伝達制御部９は、個人目標データ分析部１３が作成した目標およびアドバイス情報を、情報表示グラス７に表示させ、また、情報伝達イヤホン８に音声メッセージにて出力させる。このように、情報伝達部１７は、情報表示グラス７および情報伝達イヤホン８を用いて、ユーザー１に情報を伝達する。
【0048】
また、情報伝達部１７が、直近の個人毎の異なる目標に対しての到達度を情報表示グラス７に点数表示するなどして、ユーザー１のモチベーションの維持や満足度の向上を図るようにしてもよい。ユーザー１は、ユーザー１自らの実際のランニングフォームを常時チェックしながらランニングを楽しむことができる。
例えば、個人目標データ分析部１３が、ユーザー１の目標に対する到達度またはユーザー１の進歩を評価する評価値を算出するようにしてもよい。さらに例えば、個人目標データ分析部１３が、ユーザー１のランニングフォームと、ユーザー１が目標とするランニングフォームとの類似度を算出するようにしてもよい。あるいは、個人目標データ分析部１３が、ユーザー１の目標項目の達成割合を算出するようにしてもよい。
そして、情報伝達部１７が、算出された評価値をユーザー１に伝達する（例えば、表示する）ようにしてもよい。
例えば、個人目標データ分析部１３が、ユーザー１の目標に対する到達度またはユーザー１の進歩を評価する評価値を算出するようにしてもよい。さらに例えば、個人目標データ分析部１３が、ユーザー１のランニングフォームと、ユーザー１が目標とするランニングフォームとの類似度を算出するようにしてもよい。あるいは、個人目標データ分析部１３が、ユーザー１の目標項目の達成割合を算出するようにしてもよい。
そして、情報伝達部１７が、算出された評価値をユーザー１に伝達する（例えば、表示する）ようにしてもよい。
【0049】
ここでユーザー１がランニングを行う環境が、短距離か長距離かの区別や、天候や、坂道、路面（芝、舗装路、山道）等によって、求められるランニングフォームは刻々と変化する。補助システム１００によれば、フォーム画像カメラ３が撮影する画像で、路面情報等も収集し総合判断することで、ランニング環境に合致したランニングフォームなどの情報提供を行うことができる。
【0050】
図６は、データ制御部５が、ユーザーのランニング画像の前方向画像および側面方向画像を生成する処理の手順の例を示す図である。データ制御部５は、例えば、ユーザーがランニングを行っている間、図５の処理を繰り返し行う。
図５に示す処理で、データ制御部５は、ユーザーが事前に撮影したランニング画像を取得する（ステップＳ１０１）。
図５に示す処理で、データ制御部５は、ユーザーが事前に撮影したランニング画像を取得する（ステップＳ１０１）。
【0051】
次に、データ制御部５は、フォーム画像カメラ３が撮影した画像、補填用カメラ１４が撮影した画像、および、センサ１５の測定データを取得する（ステップＳ１０２）。
次に、データ制御部５は、フォーム画像カメラ３が撮影した画像、補填用カメラ１４が撮影した画像、および、センサ１５の測定データを用いて画像の合成および補正を行い、正面方向に加えて側面方向から、目視可能なランニングフォームの画像データを構築する（ステップＳ１０３）。
次に、データ制御部５は、フォーム画像カメラ３が撮影した画像、補填用カメラ１４が撮影した画像、および、センサ１５の測定データを用いて画像の合成および補正を行い、正面方向に加えて側面方向から、目視可能なランニングフォームの画像データを構築する（ステップＳ１０３）。
【0052】
次に、データ制御部５は、ランニングの際に走路上に存在する建物のガラスや鏡に映る側面方向からのランニング画像を、フォーム画像カメラ３の画像または補填用カメラ１４の画像で確認した場合、ユーザー本人であるかを人工知能で判定し、ユーザー本人と判定された画像を取り込み、目視可能なランニングフォームの画像に対して、取り込んだ画像データを付加し、さらにはランニング時の影画像を加味することで、より正確な側面方向画像のデータ補正および反映を行う（ステップＳ１０４）。例えば、データ制御部５は、ガラスまたは鏡に映るユーザー本人の画像を検出した場合に、ガラスまたは鏡に映るユーザー本人の画像を、フォーム画像カメラ３の画像の補正に反映させるようにしてもよい。
【0053】
次に、データ制御部５は、ユーザーが事前に撮影したランニング画像をベースに、フォーム画像カメラ３および補填用カメラ１４で得られた画像、および、センサ１５の測定データを用いてランニングフォームにおけるユーザーの各部の位置を補正し、リアルタイムのランニングフォーム画像として前方向画像と側面方向画像を生成する（ステップＳ１０５）。
【0054】
次に、データ制御部５は、例えばユーザー操作による指示など必要に応じて、リアルタイムの正面画像または側面画像のランニングフォームを、無線通信部６を介して情報伝達部１７へ送信し、情報表示グラス７に表示させ、また、生成した画像データを記憶する（ステップＳ１０６）。
ステップＳ１０６の後、データ制御部５は、図６の処理を終了する。
ステップＳ１０６の後、データ制御部５は、図６の処理を終了する。
【0055】
このように、補助システム１００によれば、屋外を含むランニングやウォーキングなどの運動において、そのフォームを常時収集可能な機能を有し、例えばユーザーは、一人で走りながらリアルタイムでランニングフォームを確認することができる。また、補助システム１００によれば、ユーザー毎に異なる個別の目標について、ユーザーの体形や習得レベルを加味し、そのタイミングでのあるべき方向性と実際の状態との差異を常時把握し修正支援することが可能である。ランニングフォームの確認では、帽子のつば部やスマートグラスの先端部などの体の上方向から体の動作を撮影可能な部位に魚眼レンズ付きカメラもしくはカメラを装着し、収集した画像に対して、例えば正面方向からの画像の画素位置をソフトウェア補正するなどの補正を行い、目視可能なランニングフォーム画像を生成する。
【0056】
また、補助システム１００によれば、ランニングするユーザーの体上方に装着したカメラに加えて、例えば腕や足などにカメラを配して、それぞれのカメラ画像を組み合わせ補正することで、正面方向に加えて側面方向からの画像データを構築することができる。
【0057】
また、補助システム１００によれば、ユーザーが、スマートフォン等で基準のランニングフォームを事前撮影することで、ランニング時にカメラに映らない部分を補完し、カメラの画像のうちフォームに関係ない部分のデータは排除して、画像データ精度向上および画像データ生成の効率化を図ることができる。
【0058】
また、補助システム１００によれば、ランニングの際に走路上に存在する建物のガラスや鏡に映る側面方向からのランニング画像を、ユーザーが装着するカメラで確認した際は、本人であるかを人工知能による処理で判定して、映り込み画像からユーザーの側面方向画像を取り込み、情報表示グラス７に表示するランニング画像に対して、取り込んだ画像データを付加する、さらにはランニング時の影画像を加味することで、より正確な側面方向画像のデータ補正や反映が可能となる。
【0059】
また、補助システム１００によれば、カメラ画像以外にもユーザーの体の各部に位置や角度や加速度等のセンサを追加装着し、カメラの向き、移動速度、高さ、位置の各情報を収集し、この収集情報を合成カメラ画像に反映することで、より精度の高いランニングフォームデータの補正が可能となる。
【0060】
また、補助システム１００によれば、得られたランニングフォームの画像データを、ランニングするユーザー本人が常時目視可能な眼鏡型の情報表示グラス７の表示画面に表示することができ、ユーザーが、ランニングフォームをリアルタイムで確認することができる。
【0061】
また、補助システム１００によれば、眼鏡型の情報表示グラス７の表示画面にリアルタイムのランニングフォームと、ユーザー本人が直近で目指すランニングフォームとその差分と、目指すランニングフォームを実現する為のアドバイスを選択表示することができる。ユーザーは、必要時にこれらを常時認識でき、もしくは音声でアドバイスを聞くことができる。
【0062】
また、補助システム１００によれば、過去の知賢者の経験に基づくルールを個人のランニングフォームや目的別に分類し、ルールベースの人工知能を活用して、個々のユーザーが目指すランニングフォームに応じたランニングフォームやアドバイス等をユーザーに提示することができる。
【0063】
また、補助システム１００によれば、各ユーザーのランニングフォームデータを常時収集することができる。得られた各ユーザーのランニングフォームの情報は、クラウド等のデータ全体を一元管理される。補助システム１００によれば、ユーザー毎の目的に対して、その目的を最も効率よく達成した事例を、データドリブンの人工知能処理で選択することができ、各ユーザーに最適な練習方法を提示することができる。
【0064】
また、補助システム１００によれば、ユーザーが目標とするランニングフォームへの到達度や進歩を数値化して、ユーザーに都度伝達し、ランニングに対するユーザーのモチベーションの向上を図ることができる。
【0065】
また、補助システム１００によれば、同一ユーザーにおいてもランニング距離や路面の勾配や路面の平坦度や、路面の硬度（アスファルト、芝、土）により、求めるランニングフォームやアドバイスを適切に変化させることができる。
【0066】
ここで、ランニングには個人毎に、より速くとか、あるいはより長く、楽しく、ダイエット、ストレス解消などの異なる目標や目的がある。また、ランニングフォームは、個人毎に体形や筋力、さまざまな癖や障害有無など、良いとされる状態が異なり、また、ランニングの環境など各要素は日々変化する。一般の人が、誤った情報や思い込みで練習すると、進歩を得られなかったり、ケガに繋がったりすることも多く、また、頭で考える理想のフォームと自分のフォームの乖離を把握できないことが考えられる。
【0067】
これに対し、補助システム１００では、例えば帽子のつば部やスマートグラスの先端など、身体の上方部位から下方が撮影可能位置にカメラを装着し、さらに、その他の体の一部である腕や足等に魚眼レンズ付きカメラもしくはカメラを装着し、また、同じく体の一部にセンサを配しこの収集データをソフトウェア補正することで、ランニングフォーム画像データを立体的もしくは前方向、横方向、後方向からの可視データとして常時収集でき、またリアルタイムにユーザーにランニングフォーム情報を可視化することが可能となる。
【0068】
ここで、ランニングフォームデータを、サングラス型のＡＲ（Augmented Reality、拡張現実）機能として常時目視できる眼鏡型表示方式や、直接網膜に投影する方式、また音声でランニングフォームの改善点のアナウンスや、目標に対する良化度を数値化して伝達するなどの方式が考えられる。補助システム１００では、これらの機能により、ユーザーは、お手本のフォームに対しての修正方法を画像もしくは音声でアドバイス受けることが可能で、フォームの補正がうまくいけば点数がアップするなどにより楽しく、常時向上意識を持って、練習に取り組むことが可能となる。
【0069】
次に、お手本のランニングフォームは、老若男女、また、身長や体形、個人の運動能力や練習期間、また、痩せたいのか、速く走りたいのかなどの、個人毎の要望により、多種多様となる。補助システム１００では、この個人毎、また日々異なるお手本や課題について、個人の体形や目標を加味して人工知能で判定提示し、点数提示が可能となる。なお、補助システム１００では、画像データは、顔などの個人情報を削除しデータベース化し活用することができる。
【0070】
補助システム１００は、ランニング、ウォーキングに限らず、ゴルフなどの球技を含むさまざまなスポーツ関連、また体や心の健康関連に適用することができる。さらに、補助システム１００は、人がランニングやウォーキングを行う屋外で、特に車両通行のないエリアの屋外画像収集と、この画像を活用した各種処理に適用することができる。
【0071】
また、補助システム１００では、周囲の環境も画像データとして収集可能なので、ユーザーが走行した経路や速度も画像情報から常時収集できる。このデータは、歩行者目線での道の欠陥や、植物の状態把握などの社会貢献への活用も可能である。例えば、ユーザーが山ですれ違う際に、ユーザーシステム１１０がデータ交換を行って、先の道の傷みや、植物の有り無し、周囲の店の込み具合などのデータを活用するようにしてもよい。
【0072】
以上のように、フォーム画像カメラ３は、ユーザーに装着されてユーザーを撮影する。情報表示グラス７は、ユーザーに装着されて画像を表示する。伝達制御部９は、フォーム画像カメラ３の撮影画像に基づくユーザーの画像を情報表示グラス７に表示させる。
補助システム１００では、ユーザーを撮影した画像に基づくユーザーの画像をユーザーに提示することができる。補助システム１００によれば、この点で、運動を行うユーザーに対して、そのユーザーのフォームの、よりリアルな画像を提供することができる。
また、補助システム１００によれば、ユーザーに装着されるフォーム画像カメラ３および情報表示グラス７を用いて、ユーザーにリアルタイムでフォーム画像を提供することができる。
補助システム１００では、ユーザーを撮影した画像に基づくユーザーの画像をユーザーに提示することができる。補助システム１００によれば、この点で、運動を行うユーザーに対して、そのユーザーのフォームの、よりリアルな画像を提供することができる。
また、補助システム１００によれば、ユーザーに装着されるフォーム画像カメラ３および情報表示グラス７を用いて、ユーザーにリアルタイムでフォーム画像を提供することができる。
【0073】
また、センサ１５は、ユーザーに装着されてユーザーの体の部位の位置の変化を検出する。データ制御部５は、センサ１５の測定データに基づいて、フォーム画像カメラ３による撮影画像におけるユーザーの画像を、例えばユーザーの正面または横など所定の方向から撮影した場合の画像に補正する。
補助システム１００によれば、例えば、ユーザーの正面から撮影したランニングフォーム、または、ユーザーの横から撮影したランニングフォームなど、ユーザーが見易いランニングフォームを提供できる。補助システム１００によれば、この点で、より高精度なユーザーのフォーム画像を提供することができる。
補助システム１００によれば、例えば、ユーザーの正面から撮影したランニングフォーム、または、ユーザーの横から撮影したランニングフォームなど、ユーザーが見易いランニングフォームを提供できる。補助システム１００によれば、この点で、より高精度なユーザーのフォーム画像を提供することができる。
【0074】
また、補填用カメラ１４は、ユーザーに装着される。データ制御部５は、補填用カメラ１４の画像に基づいて、フォーム画像カメラ３による撮影画像におけるユーザーの画像を、所定の方向から撮影した場合の画像に補正する。
補助システム１００によれば、例えば、ユーザーの正面から撮影したランニングフォーム、または、ユーザーの横から撮影したランニングフォームなど、ユーザーが見易いランニングフォームを、補填用カメラ１４の画像を用いて高精度に生成して提供できる。補助システム１００によれば、この点で、より高精度なユーザーのフォーム画像を提供することができる。
補助システム１００によれば、例えば、ユーザーの正面から撮影したランニングフォーム、または、ユーザーの横から撮影したランニングフォームなど、ユーザーが見易いランニングフォームを、補填用カメラ１４の画像を用いて高精度に生成して提供できる。補助システム１００によれば、この点で、より高精度なユーザーのフォーム画像を提供することができる。
【0075】
また、データ制御部５は、予め撮影されたユーザーのフォーム画像を取得し、得られた、予め撮影されたユーザーのフォーム画像を用いて、所定の方向から撮影した場合の画像の補完を行う。
補助システム１００によれば、例えば、ユーザーの正面から撮影したランニングフォーム、または、ユーザーの横から撮影したランニングフォームなど、ユーザーが見易いランニングフォームを、予め撮影されたユーザーのフォーム画像を用いた補完によって高精度に生成して提供できる。補助システム１００によれば、この点で、より高精度なユーザーのフォーム画像を提供することができる。
補助システム１００によれば、例えば、ユーザーの正面から撮影したランニングフォーム、または、ユーザーの横から撮影したランニングフォームなど、ユーザーが見易いランニングフォームを、予め撮影されたユーザーのフォーム画像を用いた補完によって高精度に生成して提供できる。補助システム１００によれば、この点で、より高精度なユーザーのフォーム画像を提供することができる。
【0076】
また、データ制御部５は、予め撮影されたユーザーのフォーム画像を用いて、所定の方向から撮影した場合の画像のデータのうちユーザーの画像以外の部分のデータを削除する。
補助システム１００によれば、画像からユーザーのランニングフォームに関係ない部分を削除することができ、この点で、より高精度なユーザーのフォーム画像を提供することができる。
補助システム１００によれば、画像からユーザーのランニングフォームに関係ない部分を削除することができ、この点で、より高精度なユーザーのフォーム画像を提供することができる。
【0077】
また、データ制御部５は、フォーム画像カメラ３による撮影画像または補填用カメラ１４による撮影画像から、ガラスまたは鏡に映ったユーザーの画像を検出した場合、ガラスまたは鏡に映ったユーザーの画像を、所定の方向から撮影した場合の画像に反映させる。補助システム１００によれば、ガラスまたは鏡に映ったユーザーの画像を、所定の方向から撮影した場合のユーザーのランニングフォームの画像を生成することができ、この点で、より高精度なユーザーのフォーム画像を提供することができる。
【0078】
また、データ制御手段は、１５センサの測定データで示される、補填用カメラ１４の向き、高さ、速度、位置のうち少なくとも何れか１つに基づいて、補填用カメラ１４の画像を、所定の方向から撮影した場合の画像に反映させる。
補助システム１００によれば、補填用カメラ１４の位置または姿勢に基づいて、補填用カメラ１４の画像が、所定の方向から撮影した場合のユーザーのランニングフォームの画像に反映させることができる。補助システム１００によれば、この点で、より高精度なユーザーのフォーム画像を提供することができる。
補助システム１００によれば、補填用カメラ１４の位置または姿勢に基づいて、補填用カメラ１４の画像が、所定の方向から撮影した場合のユーザーのランニングフォームの画像に反映させることができる。補助システム１００によれば、この点で、より高精度なユーザーのフォーム画像を提供することができる。
【0079】
また、伝達制御部９は、所定の方向から撮影した場合の画像を情報表示グラス７にリアルタイムで表示させる。
補助システム１００によれば、ユーザーは、自らのランニングフォームの画像をリアルタイムで参照しながらランニングの練習を行うことができ、この点で、ランニングの練習を効果的に行えると期待される。
補助システム１００によれば、ユーザーは、自らのランニングフォームの画像をリアルタイムで参照しながらランニングの練習を行うことができ、この点で、ランニングの練習を効果的に行えると期待される。
【0080】
また、個人目標データ分析部１３は、運動に関するユーザーの目標を示す情報と、データ制御部５が生成した画像とに基づいて、目標達成のための情報を生成する。伝達制御部９は、目標達成のための情報を情報表示グラス７に表示させる。
補助システム１００によれば、目標達成のためのアドバイスなど、目標達成のための情報をユーザーに提供することができる。
補助システム１００によれば、目標達成のためのアドバイスなど、目標達成のための情報をユーザーに提供することができる。
【0081】
また、個人目標データ分析部１３は、ユーザーの目標となるランニングフォームまたは練習方法の少なくとも何れかを、ユーザーのランニングフォームおよびランニングの目的に基づいて、ランニングの事例データから抽出する。
補助システム１００によれば、ユーザーのランニングフォームおよびランニングの目的に応じてランニングフォームまたは練習方法を選択する点で、ユーザーに応じて適切な情報を提供できると期待される。
補助システム１００によれば、ユーザーのランニングフォームおよびランニングの目的に応じてランニングフォームまたは練習方法を選択する点で、ユーザーに応じて適切な情報を提供できると期待される。
【0082】
また、ランニングの事例は、ランニングフォームおよびランニングの目的に応じて分類されている。個人目標データ分析部１３は、ユーザーの目標となる運動フォームまたは練習方法の少なくとも何れかを、前記ユーザーのランニングフォームおよびランニングの目的に基づくルールベースで、運動の事例データから抽出する。
補助システム１００によれば、ユーザーのランニングフォームおよびランニングの目的に応じて適切に、ユーザーに情報提供できると期待される。
補助システム１００によれば、ユーザーのランニングフォームおよびランニングの目的に応じて適切に、ユーザーに情報提供できると期待される。
【0083】
また、個人目標データ分析部１３は、ユーザーのランニングフォームおよびランニングの目的を取得した場合にデータドリブンで、ユーザーの目標となるランニングフォームまたは練習方法の少なくとも何れかを、ランニングの事例データから抽出する。
補助システム１００によれば、ユーザーのランニングフォームおよびランニングの目的に応じて適切に、ユーザーに情報提供できると期待される。
補助システム１００によれば、ユーザーのランニングフォームおよびランニングの目的に応じて適切に、ユーザーに情報提供できると期待される。
【0084】
また、個人目標データ分析部１３は、ユーザーの目標達成度の評価値を算出する。
補助システム１００によれば、ユーザーは、目標達成度の評価値を参照して、ランニングのモチベーションを高めることができると期待される。また、補助システム１００によれば、ユーザーは、目標達成度の評価値をランニングの参考にすることができる。
補助システム１００によれば、ユーザーは、目標達成度の評価値を参照して、ランニングのモチベーションを高めることができると期待される。また、補助システム１００によれば、ユーザーは、目標達成度の評価値をランニングの参考にすることができる。
【0085】
また、個人目標データ分析部１３は、ユーザーのランニング距離、路面の勾配、路面の平坦度、路面の硬度の少なくとも何れかに基づいて、ユーザーに提供する情報を変化させる。
補助システム１００によれば、ユーザーのランニングの状況に応じて適切な情報を提供できると期待される。
補助システム１００によれば、ユーザーのランニングの状況に応じて適切な情報を提供できると期待される。
【0086】
図７は、実施形態に係る補助システムの構成の、もう１つの例を示す図である。図７に示す構成で、補助システム６１０は、撮影部６１１と、表示部６１２と、伝達制御部６１３とを備える。
かかる構成で、撮影部６１１は、ユーザーに装着されてユーザーを撮影する。表示部６１２は、ユーザーに装着されて画像を表示する。伝達制御部６１３は、撮影部６１１の撮影画像に基づくユーザーの画像を表示部６１２に表示させる。
撮影部６１１は、撮影手段の例に該当する。表示部６１２は、表示手段の例に該当する。伝達制御部６１３は、伝達制御手段の例に該当する。
かかる構成で、撮影部６１１は、ユーザーに装着されてユーザーを撮影する。表示部６１２は、ユーザーに装着されて画像を表示する。伝達制御部６１３は、撮影部６１１の撮影画像に基づくユーザーの画像を表示部６１２に表示させる。
撮影部６１１は、撮影手段の例に該当する。表示部６１２は、表示手段の例に該当する。伝達制御部６１３は、伝達制御手段の例に該当する。
【0087】
補助システム６１０では、ユーザーを撮影した画像に基づくユーザーの画像をユーザーに提示することができる。補助システム６１０によれば、この点で、運動を行うユーザーに対して、そのユーザーのフォームの、よりリアルな画像を提供することができる。
また、補助システム６１０によれば、ユーザーに装着される撮影部６１１および表示部６１２を用いて、ユーザーにリアルタイムでフォーム画像を提供することができる。
また、補助システム６１０によれば、ユーザーに装着される撮影部６１１および表示部６１２を用いて、ユーザーにリアルタイムでフォーム画像を提供することができる。
【0088】
図８は、実施形態に係る補助方法における処理の手順の例を示す図である。図８に示す補助方法は、伝達の制御を行うこと（ステップＳ６１１）を含む。
伝達の制御を行うこと（ステップＳ６１１）では、コンピュータが、ユーザーに装着されてそのユーザーを撮影する撮影手段の撮影画像に基づく、そのユーザーの画像を、そのユーザーに装着されて画像を表示する表示手段に表示させる。
図８に示す補助方法によれば、ユーザーを撮影した画像に基づくユーザーの画像をユーザーに提示することができる。図８に示す補助方法によれば、この点で、運動を行うユーザーに対して、そのユーザーのフォームの、よりリアルな画像を提供することができる。
また、図８に示す補助方法によれば、ユーザーに装着される撮影手段および表示手段を用いて、ユーザーにリアルタイムでフォーム画像を提供することができる。
伝達の制御を行うこと（ステップＳ６１１）では、コンピュータが、ユーザーに装着されてそのユーザーを撮影する撮影手段の撮影画像に基づく、そのユーザーの画像を、そのユーザーに装着されて画像を表示する表示手段に表示させる。
図８に示す補助方法によれば、ユーザーを撮影した画像に基づくユーザーの画像をユーザーに提示することができる。図８に示す補助方法によれば、この点で、運動を行うユーザーに対して、そのユーザーのフォームの、よりリアルな画像を提供することができる。
また、図８に示す補助方法によれば、ユーザーに装着される撮影手段および表示手段を用いて、ユーザーにリアルタイムでフォーム画像を提供することができる。
【0089】
図９は、少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。
図９に示す構成で、コンピュータ７００は、ＣＰＵ７１０と、主記憶装置７２０と、補助記憶装置７３０と、インタフェース７４０と、不揮発性記録媒体７５０とを備える。
図９に示す構成で、コンピュータ７００は、ＣＰＵ７１０と、主記憶装置７２０と、補助記憶装置７３０と、インタフェース７４０と、不揮発性記録媒体７５０とを備える。
【0090】
上記のデータ制御部５、伝達制御部９、ユーザー端末装置１３０、および、サーバ装置１４０のうち何れか１つ以上またはその一部が、コンピュータ７００に実装されてもよい。その場合、上述した各処理部の動作は、プログラムの形式で補助記憶装置７３０に記憶されている。ＣＰＵ７１０は、プログラムを補助記憶装置７３０から読み出して主記憶装置７２０に展開し、当該プログラムに従って上記処理を実行する。また、ＣＰＵ７１０は、プログラムに従って、上述した各記憶部に対応する記憶領域を主記憶装置７２０に確保する。各装置と他の装置との通信は、インタフェース７４０が通信機能を有し、ＣＰＵ７１０の制御に従って通信を行うことで実行される。また、インタフェース７４０は、不揮発性記録媒体７５０用のポートを有し、不揮発性記録媒体７５０からの情報の読出、および、不揮発性記録媒体７５０への情報の書込を行う。
【0091】
データ制御部５がコンピュータ７００に実装される場合、その動作は、プログラムの形式で補助記憶装置７３０に記憶されている。ＣＰＵ７１０は、プログラムを補助記憶装置７３０から読み出して主記憶装置７２０に展開し、当該プログラムに従って上記処理を実行する。
【0092】
また、ＣＰＵ７１０は、プログラムに従って、データ制御部５が行う処理のための記憶領域を主記憶装置７２０に確保する。
また、インタフェース７４０は、データ制御部５と他のデバイスまたはユーザーとのインタフェースとして機能する。
また、インタフェース７４０は、データ制御部５と他のデバイスまたはユーザーとのインタフェースとして機能する。
【0093】
伝達制御部９がコンピュータ７００に実装される場合、その動作は、プログラムの形式で補助記憶装置７３０に記憶されている。ＣＰＵ７１０は、プログラムを補助記憶装置７３０から読み出して主記憶装置７２０に展開し、当該プログラムに従って上記処理を実行する。
【0094】
また、ＣＰＵ７１０は、プログラムに従って、伝達制御部９が行う処理のための記憶領域を主記憶装置７２０に確保する。
また、インタフェース７４０は、伝達制御部９と他のデバイスまたはユーザーとのインタフェースとして機能する。
また、インタフェース７４０は、伝達制御部９と他のデバイスまたはユーザーとのインタフェースとして機能する。
【0095】
ユーザー端末装置１３０がコンピュータ７００に実装される場合、その動作は、プログラムの形式で補助記憶装置７３０に記憶されている。ＣＰＵ７１０は、プログラムを補助記憶装置７３０から読み出して主記憶装置７２０に展開し、当該プログラムに従って上記処理を実行する。
【0096】
また、ＣＰＵ７１０は、プログラムに従って、ユーザー端末装置１３０が行う処理のための記憶領域を主記憶装置７２０に確保する。
また、インタフェース７４０は、ユーザー端末装置１３０と他のデバイスまたはユーザーとのインタフェースとして機能する。
また、インタフェース７４０は、ユーザー端末装置１３０と他のデバイスまたはユーザーとのインタフェースとして機能する。
【0097】
サーバ装置１４０がコンピュータ７００に実装される場合、その動作は、プログラムの形式で補助記憶装置７３０に記憶されている。ＣＰＵ７１０は、プログラムを補助記憶装置７３０から読み出して主記憶装置７２０に展開し、当該プログラムに従って上記処理を実行する。
【0098】
また、ＣＰＵ７１０は、プログラムに従って、サーバ装置１４０が行う処理のための記憶領域を主記憶装置７２０に確保する。
また、インタフェース７４０は、サーバ装置１４０と他のデバイスまたはユーザーとのインタフェースとして機能する。
また、インタフェース７４０は、サーバ装置１４０と他のデバイスまたはユーザーとのインタフェースとして機能する。
【0099】
上述したプログラムのうち何れか１つ以上が不揮発性記録媒体７５０に記録されていてもよい。この場合、インタフェース７４０が不揮発性記録媒体７５０からプログラムを読み出すようにしてもよい。そして、ＣＰＵ７１０が、インタフェース７４０が読み出したプログラムを直接実行するか、あるいは、主記憶装置７２０または補助記憶装置７３０に一旦保存して実行するようにしてもよい。
【0100】
なお、データ制御部５、伝達制御部９、ユーザー端末装置１３０、および、サーバ装置１４０が行う処理の全部または一部を実行するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳ（Operating System）や周辺機器等のハードウェアを含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ（Read Only Memory）、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ（Read Only Memory）、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
【0101】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【0102】
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
【0103】
（付記１）
ユーザーに装着されて前記ユーザーを撮影する撮影手段と、
前記ユーザーに装着されて画像を表示する表示手段と、
前記撮影手段の撮影画像に基づく前記ユーザーの画像を前記表示手段に表示させる伝達制御手段と、
を備える補助システム。
ユーザーに装着されて前記ユーザーを撮影する撮影手段と、
前記ユーザーに装着されて画像を表示する表示手段と、
前記撮影手段の撮影画像に基づく前記ユーザーの画像を前記表示手段に表示させる伝達制御手段と、
を備える補助システム。
【0104】
（付記２）
前記ユーザーに装着されて前記ユーザーの体の部位の位置の変化を検出するセンサと、
前記センサの測定データに基づいて、前記撮影手段による撮影画像における前記ユーザーの画像を所定の方向から撮影した場合の画像に補正するデータ制御手段と、
をさらに備える、付記１に記載の補助システム。
前記ユーザーに装着されて前記ユーザーの体の部位の位置の変化を検出するセンサと、
前記センサの測定データに基づいて、前記撮影手段による撮影画像における前記ユーザーの画像を所定の方向から撮影した場合の画像に補正するデータ制御手段と、
をさらに備える、付記１に記載の補助システム。
【0105】
（付記３）
前記ユーザーに装着される補助撮影手段を更に備え、
前記データ制御手段は、前記補助撮影手段の画像に基づいて、前記撮影手段による撮影画像における前記ユーザーの画像を前記所定の方向から撮影した場合の画像に補正する、
付記２に記載の補助システム。
前記ユーザーに装着される補助撮影手段を更に備え、
前記データ制御手段は、前記補助撮影手段の画像に基づいて、前記撮影手段による撮影画像における前記ユーザーの画像を前記所定の方向から撮影した場合の画像に補正する、
付記２に記載の補助システム。
【0106】
（付記４）
前記データ制御手段は、予め撮影された前記ユーザーの画像を取得し、得られた、予め撮影された前記ユーザーの画像を用いて、前記所定の方向から撮影した場合の画像の補完を行う、
付記３に記載の補助システム。
前記データ制御手段は、予め撮影された前記ユーザーの画像を取得し、得られた、予め撮影された前記ユーザーの画像を用いて、前記所定の方向から撮影した場合の画像の補完を行う、
付記３に記載の補助システム。
【0107】
（付記５）
前記データ制御手段は、予め撮影された前記ユーザーの画像を用いて、前記所定の方向から撮影した場合の画像のデータのうち前記ユーザーの画像以外の部分のデータを削除する、
付記４に記載の補助システム。
前記データ制御手段は、予め撮影された前記ユーザーの画像を用いて、前記所定の方向から撮影した場合の画像のデータのうち前記ユーザーの画像以外の部分のデータを削除する、
付記４に記載の補助システム。
【0108】
（付記６）
前記データ制御手段は、前記撮影手段による撮影画像または前記補助撮影手段による撮影画像から、ガラスまたは鏡に映った前記ユーザーの画像を検出した場合、前記ガラスまたは鏡に映った前記ユーザーの画像を、前記所定の方向から撮影した場合の画像に反映させる、
付記３から５の何れか一つに記載の補助システム。
前記データ制御手段は、前記撮影手段による撮影画像または前記補助撮影手段による撮影画像から、ガラスまたは鏡に映った前記ユーザーの画像を検出した場合、前記ガラスまたは鏡に映った前記ユーザーの画像を、前記所定の方向から撮影した場合の画像に反映させる、
付記３から５の何れか一つに記載の補助システム。
【0109】
（付記７）
前記データ制御手段は、前記センサの測定データで示される、前記補助撮影手段の向き、高さ、速度、位置のうち少なくとも何れか１つに基づいて、前記補助撮影手段の画像を、前記所定の方向から撮影した場合の画像に反映させる、
付記３から６の何れか一つに記載の補助システム。
前記データ制御手段は、前記センサの測定データで示される、前記補助撮影手段の向き、高さ、速度、位置のうち少なくとも何れか１つに基づいて、前記補助撮影手段の画像を、前記所定の方向から撮影した場合の画像に反映させる、
付記３から６の何れか一つに記載の補助システム。
【0110】
（付記８）
前記伝達制御手段は、前記所定の方向から撮影した場合の画像を前記表示手段にリアルタイムで表示させる、
付記１から７の何れか一つに記載の補助システム。
前記伝達制御手段は、前記所定の方向から撮影した場合の画像を前記表示手段にリアルタイムで表示させる、
付記１から７の何れか一つに記載の補助システム。
【0111】
（付記９）
運動に関する前記ユーザーの目標を示す情報と、前記データ制御手段が生成した画像とに基づいて、目標達成のための情報を生成する分析手段
を更に備え、
前記伝達制御手段は、前記目標達成のための情報を前記表示手段に表示させる、
付記１から８の何れか一つに記載の補助システム。
運動に関する前記ユーザーの目標を示す情報と、前記データ制御手段が生成した画像とに基づいて、目標達成のための情報を生成する分析手段
を更に備え、
前記伝達制御手段は、前記目標達成のための情報を前記表示手段に表示させる、
付記１から８の何れか一つに記載の補助システム。
【0112】
（付記１０）
前記分析手段は、前記ユーザーの目標となる運動フォームまたは練習方法の少なくとも何れかを、前記ユーザーの運動フォームおよび運動の目的に基づいて、運動の事例データから抽出する、
付記９に記載の補助システム。
前記分析手段は、前記ユーザーの目標となる運動フォームまたは練習方法の少なくとも何れかを、前記ユーザーの運動フォームおよび運動の目的に基づいて、運動の事例データから抽出する、
付記９に記載の補助システム。
【0113】
（付記１１）
前記運動の事例データは、運動フォームおよび運動の目的に応じて分類されており、前記分析手段は、前記ユーザーの目標となる運動フォームまたは練習方法の少なくとも何れかを、前記ユーザーの運動フォームおよび運動の目的に基づくルールベースで、運動の事例データから抽出する、
付記１０に記載の補助システム。
前記運動の事例データは、運動フォームおよび運動の目的に応じて分類されており、前記分析手段は、前記ユーザーの目標となる運動フォームまたは練習方法の少なくとも何れかを、前記ユーザーの運動フォームおよび運動の目的に基づくルールベースで、運動の事例データから抽出する、
付記１０に記載の補助システム。
【0114】
（付記１２）
前記分析手段は、前記ユーザーの運動フォームおよび運動の目的を取得した場合にデータドリブンで、前記ユーザーの目標となる運動フォームまたは練習方法の少なくとも何れかを、運動の事例データから抽出する、
付記１０に記載の補助システム。
前記分析手段は、前記ユーザーの運動フォームおよび運動の目的を取得した場合にデータドリブンで、前記ユーザーの目標となる運動フォームまたは練習方法の少なくとも何れかを、運動の事例データから抽出する、
付記１０に記載の補助システム。
【0115】
（付記１３）
前記分析手段は、前記ユーザーの目標達成度の評価値を算出する、
付記９から１１の何れか一つに記載の補助システム。
前記分析手段は、前記ユーザーの目標達成度の評価値を算出する、
付記９から１１の何れか一つに記載の補助システム。
【0116】
（付記１４）
前記分析手段は、前記ユーザーがランニングを行う場合のランニング距離、路面の勾配、路面の平坦度、路面の硬度の少なくとも何れかに基づいて、前記ユーザーに提供する情報を変化させる、
付記９から１２の何れか一つに記載の補助システム。
前記分析手段は、前記ユーザーがランニングを行う場合のランニング距離、路面の勾配、路面の平坦度、路面の硬度の少なくとも何れかに基づいて、前記ユーザーに提供する情報を変化させる、
付記９から１２の何れか一つに記載の補助システム。
【0117】
（付記１５）
コンピュータが、
ユーザーに装着されて前記ユーザーを撮影する撮影手段の撮影画像に基づく前記ユーザーの画像を、前記ユーザーに装着されて画像を表示する表示手段に表示させる
ことを含む補助方法。
コンピュータが、
ユーザーに装着されて前記ユーザーを撮影する撮影手段の撮影画像に基づく前記ユーザーの画像を、前記ユーザーに装着されて画像を表示する表示手段に表示させる
ことを含む補助方法。
【0118】
（付記１６）
コンピュータに、
ユーザーに装着されて前記ユーザーを撮影する撮影手段の撮影画像に基づく前記ユーザーの画像を、前記ユーザーに装着されて画像を表示する表示手段に表示させる
ことを実行させるためのプログラム。
コンピュータに、
ユーザーに装着されて前記ユーザーを撮影する撮影手段の撮影画像に基づく前記ユーザーの画像を、前記ユーザーに装着されて画像を表示する表示手段に表示させる
ことを実行させるためのプログラム。
【符号の説明】
【0119】
３ フォーム画像カメラ
４ 魚眼レンズ
５ データ制御部
６ 無線通信部
７ 情報表示グラス
８ 情報伝達イヤホン
９ 伝達制御部
１２ 上位データ収集部
１３ 個人目標データ分析部
１４ 補填用カメラ
１５ センサ
１６ 情報収集部
１７ 情報伝達部
２１ カメラ機能付き帽子
２２ 補填用カメラシステム
２３ センサシステム
１００ 補助システム
１１０ ユーザーシステム
１２０ ユーザー装着システム
１３０ ユーザー端末装置
１４０サーバ装置
４ 魚眼レンズ
５ データ制御部
６ 無線通信部
７ 情報表示グラス
８ 情報伝達イヤホン
９ 伝達制御部
１２ 上位データ収集部
１３ 個人目標データ分析部
１４ 補填用カメラ
１５ センサ
１６ 情報収集部
１７ 情報伝達部
２１ カメラ機能付き帽子
２２ 補填用カメラシステム
２３ センサシステム
１００ 補助システム
１１０ ユーザーシステム
１２０ ユーザー装着システム
１３０ ユーザー端末装置
１４０サーバ装置
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【手続補正書】
【提出日】2023-04-14
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
ユーザーに装着されて前記ユーザーを撮影する撮影手段と、
前記ユーザーに装着されて画像を表示する表示手段と、
前記ユーザーに装着されて前記ユーザーの体の部位の位置の変化を検出するセンサと、
前記センサの測定データに基づいて、前記撮影手段による撮影画像における前記ユーザーの画像を所定の方向から撮影した場合の画像に補正するデータ制御手段と、
補正後の前記ユーザーの画像を前記表示手段に表示させる伝達制御手段と、
を備える補助システム。
前記ユーザーに装着されて画像を表示する表示手段と、
前記ユーザーに装着されて前記ユーザーの体の部位の位置の変化を検出するセンサと、
前記センサの測定データに基づいて、前記撮影手段による撮影画像における前記ユーザーの画像を所定の方向から撮影した場合の画像に補正するデータ制御手段と、
補正後の前記ユーザーの画像を前記表示手段に表示させる伝達制御手段と、
を備える補助システム。
【請求項2】
前記ユーザーに装着される補助撮影手段を更に備え、
前記データ制御手段は、前記補助撮影手段の画像に基づいて、前記撮影手段による撮影画像における前記ユーザーの画像を前記所定の方向から撮影した場合の画像に補正する、
請求項１に記載の補助システム。
前記データ制御手段は、前記補助撮影手段の画像に基づいて、前記撮影手段による撮影画像における前記ユーザーの画像を前記所定の方向から撮影した場合の画像に補正する、
請求項１に記載の補助システム。
【請求項3】
前記データ制御手段は、前記撮影手段による撮影画像または前記補助撮影手段による撮影画像から、ガラスまたは鏡に映った前記ユーザーの画像を検出した場合、前記ガラスまたは鏡に映った前記ユーザーの画像を、前記所定の方向から撮影した場合の画像に反映させる、
請求項２に記載の補助システム。
請求項２に記載の補助システム。
【請求項4】
運動に関する前記ユーザーの目標を示す情報と、前記データ制御手段が生成した画像とに基づいて、目標達成のための情報を生成する分析手段
を更に備え、
前記伝達制御手段は、前記目標達成のための情報を前記表示手段に表示させる、
請求項１から３の何れか一項に記載の補助システム。
を更に備え、
前記伝達制御手段は、前記目標達成のための情報を前記表示手段に表示させる、
請求項１から３の何れか一項に記載の補助システム。
【請求項5】
前記分析手段は、前記ユーザーの目標となる運動フォームまたは練習方法の少なくとも何れかを、前記ユーザーの運動フォームおよび運動の目的に基づくルールベースで、運動フォームおよび運動の目的に応じて分類されている運動の事例データから抽出する、
請求項４に記載の補助システム。
請求項４に記載の補助システム。
【請求項6】
前記分析手段は、前記ユーザーの運動フォームおよび運動の目的を取得した場合にデータドリブンで、前記ユーザーの目標となる運動フォームまたは練習方法の少なくとも何れかを、運動の事例データから抽出する、
請求項４に記載の補助システム。
請求項４に記載の補助システム。
【請求項7】
前記分析手段は、前記ユーザーがランニングを行う場合のランニング距離、路面の勾配、路面の平坦度、路面の硬度の少なくとも何れかに基づいて、前記ユーザーに提供する情報を変化させる、
請求項４から６の何れか一項に記載の補助システム。
請求項４から６の何れか一項に記載の補助システム。
【請求項8】
コンピュータが、
ユーザーに装着されて前記ユーザーの体の部位の位置の変化を検出するセンサの測定データに基づいて、前記ユーザーに装着されて前記ユーザーを撮影する撮影手段の撮影画像における前記ユーザーの画像を所定の方向から撮影した場合の画像に補正し、
補正後の前記ユーザーの画像を、前記ユーザーに装着されて画像を表示する表示手段に表示させる
ことを含む補助方法。
ユーザーに装着されて前記ユーザーの体の部位の位置の変化を検出するセンサの測定データに基づいて、前記ユーザーに装着されて前記ユーザーを撮影する撮影手段の撮影画像における前記ユーザーの画像を所定の方向から撮影した場合の画像に補正し、
補正後の前記ユーザーの画像を、前記ユーザーに装着されて画像を表示する表示手段に表示させる
ことを含む補助方法。
【請求項9】
コンピュータに、
ユーザーに装着されて前記ユーザーの体の部位の位置の変化を検出するセンサの測定データに基づいて、前記ユーザーに装着されて前記ユーザーを撮影する撮影手段の撮影画像における前記ユーザーの画像を所定の方向から撮影した場合の画像に補正し、
補正後の前記ユーザーの画像を、前記ユーザーに装着されて画像を表示する表示手段に表示させる
ことを実行させるためのプログラム。
ユーザーに装着されて前記ユーザーの体の部位の位置の変化を検出するセンサの測定データに基づいて、前記ユーザーに装着されて前記ユーザーを撮影する撮影手段の撮影画像における前記ユーザーの画像を所定の方向から撮影した場合の画像に補正し、
補正後の前記ユーザーの画像を、前記ユーザーに装着されて画像を表示する表示手段に表示させる
ことを実行させるためのプログラム。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】０００６
【補正方法】変更
【補正の内容】
【0006】
本発明の第１の態様によれば、補助システムは、ユーザーに装着されて前記ユーザーを撮影する撮影手段と、前記ユーザーに装着されて画像を表示する表示手段と、前記ユーザーに装着されて前記ユーザーの体の部位の位置の変化を検出するセンサと、前記センサの測定データに基づいて、前記撮影手段による撮影画像における前記ユーザーの画像を所定の方向から撮影した場合の画像に補正するデータ制御手段と、補正後の前記ユーザーの画像を前記表示手段に表示させる伝達制御手段と、を備える。
【手続補正3】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【0007】
本発明の第２の態様によれば、補助方法は、コンピュータが、ユーザーに装着されて前記ユーザーの体の部位の位置の変化を検出するセンサの測定データに基づいて、前記ユーザーに装着されて前記ユーザーを撮影する撮影手段の撮影画像における前記ユーザーの画像を所定の方向から撮影した場合の画像に補正し、補正後の前記ユーザーの画像を、前記ユーザーに装着されて画像を表示する表示手段に表示させることを含む。
【手続補正4】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【0008】
本発明の第３の態様によれば、プログラムは、コンピュータに、ユーザーに装着されて前記ユーザーの体の部位の位置の変化を検出するセンサの測定データに基づいて、前記ユーザーに装着されて前記ユーザーを撮影する撮影手段の撮影画像における前記ユーザーの画像を所定の方向から撮影した場合の画像に補正し、補正後の前記ユーザーの画像を、前記ユーザーに装着されて画像を表示する表示手段に表示させることを実行させるためのプログラムである。