(58)【調査した分野】(Int.Cl.,DB名)
前記生成部は、第1の前記ユーザと前記属性情報が類似する第2の前記ユーザに対して生成した前記アドバイスに基づいて、第1の前記ユーザに対するアドバイスを生成する、請求項1に記載の情報処理装置。
前記生成部は、前記習熟度が高いほど抽象的な前記アドバイスを生成し、前記習熟度が低いほど具体的な前記アドバイスを生成する、請求項1〜4のいずれか一項に記載の情報処理装置。
前記情報処理装置は、前記生成部により生成された前記アドバイスを前記ユーザに提示する提示制御部をさらに備える、請求項1〜14のいずれか一項に記載の情報処理装置。
【発明を実施するための形態】
【0014】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【0015】
なお、説明は以下の順序で行うものとする。
1.本開示の一実施形態に係るアドバイス提示処理の概要
2.実施形態
2−1.第1の実施形態
2−1−1.HMDの基本構成
2−1−2.サーバの基本構成
2−1−3.動作処理
2−2.第2の実施形態
2−2−1.概要
2−2−2.動作処理
2−3.第3の実施形態
2−3−1.概要
2−3−2.動作処理
3.まとめ
【0016】
<<1.本開示の一実施形態に係るアドバイス提示処理の概要>>
まず、本開示の一実施形態に係るアドバイス提示処理の概要について、
図1を参照して説明する。
【0017】
図1は、本開示の一実施形態に係るアドバイス処理の概要を示す説明図である。
図1に示すように、サーキットコースにおいて、ユーザが眼鏡型のHMD(Head Mounted Display)1を装着して車3を運転している。本開示の一実施形態に係るアドバイス提示システムは、HMD1およびサーバ2から成り、HMD1を装着したユーザに対して適したアドバイスを提示する。
【0018】
サーバ2は、ユーザが過去に残したモータースポーツに関する履歴情報を記憶している。履歴情報としては、例えば、様々なサーキットコースにおける走行タイムや順位などの結果情報、およびカーブ突入時のスピードや走行ライン、ブレーキを踏む、またはハンドルを切るタイミングなどの行動情報などが挙げられる。また、サーバ2は、ユーザの年齢、性別、体形等の身体的特徴に関する属性情報も記憶している。
【0019】
サーバ2は、これらのユーザの履歴情報および属性情報に基づいてユーザの習熟度を算出して、習熟度に応じたアドバイスを生成する。そして、サーバ2は、生成したアドバイスをネットワークを介してHMD1に送信し、HMD1がアドバイスをユーザに提示する。
【0020】
ここで、上述したように、上記特許文献では、汎用的なアドバイスを提示することはできても、ユーザの特徴に応じたアドバイスを提示することは考慮されていない。この点、上記特許文献4に開示された技術は、撮像画像の輝度やエッジなどを点数化して、高得点を実現するためにアドバイスを行うため、技術レベルというユーザの特徴に応じたアドバイスを行っているようにも思える。しかしながら、上記特許文献4におけるアドバイスは、あくまで1枚の撮像画像に基づくものであるため、継続的に観察しないと分からないユーザの癖や、シャッターボタンを押すに至るまでのプロセスに現れるユーザの技術レベルに基づくものであるとは言い難い。
【0021】
また、スポーツの分野においては、体格や筋力、関節の可動域などの身体的特徴によって動作の向き/不向きがあるため、適するアドバイスは身体的特徴に応じて異なる。しかしながら、ユーザの身体的特徴に応じたアドバイスを行うことについては、上記特許文献では何ら考慮されていない。
【0022】
このような背景にあって、技術レベルや身体的特徴などのユーザの特徴に応じたアドバイスを提示することができれば、ユーザの技術向上やモチベーション向上を実現することができる。
【0023】
そこで、上記事情を一着眼点にして本開示の各実施形態に係るサーバ2(情報処理装置)を創作するに至った。本開示の各実施形態に係るサーバ2は、ユーザの特徴に応じて適するアドバイスを提示することができる。
【0024】
続いて、本開示の一実施形態に係るサーバ2が技術レベル(習熟度)に応じたアドバイスを生成する処理について説明する。
【0025】
一般的に、良いタイムで走行するためには、良い走行ラインをとることが重要である。そこで、
図1において、サーバ2は、サーキットを走行するユーザに対して、理想的な走行ラインを示す走行ライン4を走行することを勧めるアドバイスを生成する。なお、走行ライン4は、一般的にアウトインアウトと呼ばれ、コース幅をいっぱいに使うことで走行ラインの曲線を緩やかにして、減速を最小限にすることが可能な走行ラインである。走行ライン4を実際に走行するためには、コーナーに突入する際に十分に減速すること、および予め曲がる方向と逆側に車体を寄せておくことが求められる。
【0026】
ここで、走行ライン4を走行する、という同じ目的を達成するためであっても、習熟度によっては適切なアドバイスが異なる。例えば、初心者にとっては、具体的で細やかなアドバイスが適切である。なぜならば、初心者は、例えばアウトインアウトという言葉を理解できず、また理解できたとしてもどうやって実現するか分からないためである。
【0027】
図1に示した例においては、ユーザが初心者である場合、サーバ2は具体的で細やかなアドバイスを示す画像P1を生成して、HMD1によりユーザに提示する。画像P1においては、500m(メートル)先にS字カーブがあることを示すと共に、コースの右に寄り、スピードを30km(キロメートル)まで落とし、ギアをひとつ落とすという、具体的なアドバイスが提示される。
【0028】
一方で、上級者にとっては、抽象的なアドバイスが適切である。なぜならば、上級者は、ひとつの抽象的なアドバイスを複数の具体的なアドバイスに瞬時に分解・理解して実行することができるためである。上級者は、例えばアウトインアウトという言葉を提示されるだけで、十分に減速すること、および予め曲がる方向と逆側に車体を寄せておくことを瞬時に理解して実行可能である。このため、上級者にとっては、少ない言葉で多くの情報を得ることができる抽象的なアドバイスの方が適切である。
【0029】
図1に示した例においては、ユーザが上級者である場合、サーバ2は抽象的なアドバイスを示す画像P2を生成して、HMD1によりユーザに提示する。画像P2においては、500m(メートル)先にS字カーブがあることを示すと共に、アウトインアウトを意識するという、抽象的なアドバイスが提示される。
【0030】
以上、サーバ2が習熟度に応じたアドバイスを生成する処理について説明した。他にも、サーバ2は、上述したように、ユーザの身体的特徴に応じたアドバイスを生成することができる。例えば、サーバ2は、ユーザの体格や筋力、関節の可動域などに応じて、ユーザが良い結果を出すために効果的なアドバイスを行う。また、サーバ2は、疲れによる体力や集中力の低下、路面の状況の変化や燃料の消費による車重の軽量化など、時々刻々と変化する競技の状況に応じて、適するアドバイスを生成し得る。このように、本開示の一実施形態に係るアドバイス提示システムは、ユーザの過去および現在の様子を継続的に観察しながら適時に適切なアドバイスを行う、言わば専属トレーナーとしての機能を実現するものである。
【0031】
なお、上記では、一例としてモータースポーツを行うユーザに対してアドバイスする例を説明したが、本開示はかかる例に限定されない。例えば、サーバ2は、ゴルフやテニスなどの他のスポーツ、料理、製造作業、楽器演奏、書道、およびゲームなどの、多種多様な動作について、上達する、長所を伸ばす、短所を克服する等の目的を達成するためのアドバイスを生成することができる。
【0032】
以上、本開示の一実施形態に係るアドバイス提示処理の概要について説明した。続いて、各実施形態に係るアドバイス提示処理を行うアドバイス提示システムの基本構成および動作処理について、
図2〜
図10を参照して説明する。
【0033】
<<2.実施形態>>
<2−1.第1の実施形態>
まず、
図2および
図3を参照して、各実施形態で共通するアドバイス提示システムの基本構成について説明する。
【0034】
[2−1−1.HMD1の基本構成]
図2は、本開示の一実施形態に係るHMD1の構成を示すブロック図である。
図2に示すように、HMD1は、制御部11、センサ部12、表示部13、音声出力部14、および通信部15を有する。
【0035】
(制御部11)
制御部11は、演算処理装置および制御装置として機能し、各種プログラムに従ってHMD1内の動作全般を制御する。制御部11は、例えばCPU(Central Processing Unit)、マイクロプロセッサによって実現される。なお、制御部11は、使用するプログラムや演算パラメータ等を記憶するROM(Read Only Memory)、および適宜変化するパラメータ等を一時記憶するRAM(Random Access Memory)を含んでいてもよい。
【0036】
本実施形態に係る制御部11は、後述のセンサ部12を制御してアドバイス生成のための情報を取得し、通信部15に出力する。また、制御部11は、通信部15によりサーバ2から受信された情報に基づいて、サーバ2で生成されたアドバイスを表示部13、音声出力部14に出力させる。
【0037】
(センサ部12)
センサ部12は、サーバ2においてアドバイス生成に用いられる情報として、HMD1を装着したユーザの動作や状態、周辺の環境に関する情報を取得する機能を有する。センサ部12は、撮像部121、音声入力部122、位置取得部123、および観測部124として機能する。
【0038】
・撮像部121
撮像部121は、撮像レンズ、絞り、ズームレンズ、及びフォーカスレンズ等により構成されるレンズ系、レンズ系に対してフォーカス動作やズーム動作を行わせる駆動系、レンズ系で得られる撮像光を光電変換して撮像信号を生成する固体撮像素子アレイ等を有する。固体撮像素子アレイは、例えばCCD(Charge Coupled Device)センサアレイや、CMOS(Complementary Metal Oxide Semiconductor)センサアレイにより実現されてもよい。
【0039】
本実施形態に係る撮像部121は、HMD1を装着したユーザの周囲を実時間で撮像する機能を有する。例えば、HMD1がユーザに装着された状態で、ユーザが視認する方向を被写体方向として撮像するように、前方に向けて撮像レンズが配置される。また、HMD1がユーザに装着された状態で、ユーザの顔や体を被写体方向として撮像するように、HMD1の内側に向けてさらに撮像レンズが配置される。
【0040】
本実施形態によるHMD1は、撮像部121を備えることで、ユーザの周辺の状況やユーザの動作、状態を示唆する画像を実時間で取得することができる。また、HMD1は、撮像部121を備えることで、例えばユーザによるジェスチャー入力を可能にする。撮像部121は、ユーザが視認する方向の撮像画像、およびユーザを撮像した撮像画像を、制御部11に出力する。
【0041】
・音声入力部122
音声入力部122は、HMD1を装着したユーザの音声、または周囲の音声を実時間で収音する機能を有する。例えば、音声入力部122は、マイクロホンにより実現される。音声入力部122は、マイクロホンで得られた音声信号を増幅処理するマイクアンプ部やA/D変換器、音声データに対してノイズ除去、音源分離等の処理を行う信号処理回路を有していてもよい。
【0042】
本実施形態によるHMD1は、音声入力部122を備えることで、ユーザの周辺の状況やユーザの動作、状態を示唆する音声を取得することができる。また、HMD1は、音声入力部122を備えることで、例えばユーザによる音声入力を可能にする。音声入力部122は、収音した音声データを制御部11に出力する。
【0043】
・位置取得部123
位置取得部123は、HMD1の位置を実時間で取得する機能を有する。例えば、位置取得部123は、GPS(Global Positioning System)により実現され、GPS衛星からの電波を受信して、HMD1が存在している位置を検知し、検知した位置情報を出力する。なお、位置取得部123は、外部からの取得信号に基づいてHMD1の位置を検知する位置情報取得部の一例であって、本実施形態による位置情報取得部の例はこれに限定されない。例えば、位置情報取得部は、WiFi、携帯電話・PHS・スマートフォン等との送受信、または近距離通信等により位置を検知するものであってもよい。
【0044】
位置取得部123は、取得した位置を示す位置情報を、制御部11に出力する。
【0045】
・観測部124
観測部124は、HMD1を装着したユーザの状態を実時間で観測する機能を有する。例えば、観測部124は、体温、脈拍、血圧、呼吸などのバイタルサインや、発汗、まばたき、筋電、脳波などの、ユーザの状態を観測する。観測部124は、ユーザの体表面に接触するセンサや、音波等による非接触なセンサによるセンシング結果によりユーザの状態を観測する。
【0046】
観測部124は、観測結果を示す観測情報を制御部11に出力する。
【0047】
・補足
センサ部12は、上述した以外にも、多様な情報を取得し得る。例えば、センサ部12は、加速度センサやジャイロセンサを含み、加速度、ユーザが向く方向や角度を示す情報を取得してもよい。また、センサ部12は、温度、体感温度、露点温度、湿球温度、風速、最大風速、平均風速、風向き、湿度、相対湿度、気圧、光量などの気象情報を取得してもよい。他にも、センサ部12は、花粉や大気汚染物質、匂い物質、放射線等を示す情報を取得してもよい。
【0048】
(表示部13)
表示部13は、制御部11による制御に従って、画像データを表示する機能を有する。具体的には、表示部13は、HMD1を装着したユーザに対して、サーバ2で生成されたアドバイスを画像出力により提示する。表示部13は、例えばLCD(Liquid Crystal Display)またはOLED(Organic Light−Emitting Diode)などにより実現される。
【0049】
表示部13は、HMD1の装着状態において、ユーザの両眼の直前、即ち通常の眼鏡におけるレンズが位置する場所に、左眼用と右眼用の一対の表示装置として配置される。表示部13には、例えば撮像部121で撮像された現実空間の撮像画像が表示される。また、表示部13は透過型であってもよく、HMD1により表示部13がスルー状態、即ち透明または半透明の状態とされることで、ユーザは、HMD1を眼鏡のように常時装着していても通常の生活には支障がない。
【0050】
表示部13は、各画素の透過率を制御してスルー状態(透過または半透過状態)と非スルー状態とを切り替える画素駆動回路を有していてもよい。また、表示部13は、例えばビデオプロセッサ、デジタルシグナルプロセッサ、D/A変換器などを含んでもよく、表示する画像データの輝度レベル調整、色補正、コントラスト調整、シャープネス(輪郭強調)調整等を行って画像を表示してもよい。
【0051】
(音声出力部14)
音声出力部14は、HMD1を装着したユーザに対して音声を出力する機能を有する。具体的には、音声出力部14は、HMD1を装着したユーザに対して、サーバ2で生成されたアドバイスを音声出力により提示する。音声出力部14は、例えばイヤホンスピーカにより実現され、HMD1を装着したユーザの右耳孔および左耳孔に挿入される。他にも、音声出力部14は、いわゆる骨伝導スピーカとして形成されてもよい。また、音声出力部14は、出力する音声データを増幅するためのアンプ回路を有していてもよい。音声出力部14は、制御部11による制御に従って、音声信号データを出力(再生)する。
【0052】
(通信部15)
通信部15は外部機器との間でのデータの送受信を行うための通信モジュールである。通信部15は、例えば無線LAN(Local Area Network)、Wi−Fi(Wireless Fidelity、登録商標)、赤外線通信、Bluetooth(登録商標)等の方式で、外部機器と直接、またはネットワークアクセスポイントを介して無線通信する。
【0053】
本実施形態では、通信部15は、サーバ2との間でデータ通信を行う。より具体的には、通信部15は、センサ部12により取得された情報をサーバ2に送信し、サーバ2により生成されたアドバイスを受信して制御部11に出力する。
【0054】
以上、本実施形態に係るHMD1の構成について説明した。続いて、
図3を参照して、本実施形態に係るサーバ2の構成について説明する。
【0055】
[2−1−2.サーバ2の基本構成]
図3は、本開示の一実施形態に係るサーバ2の構成を示すブロック図である。
図3に示すように、サーバ2は、通信部21、記憶部22、算出部23、推定部24、検出部25、取得部26、および生成部27を有する。
【0056】
(通信部21)
通信部21は有線/無線により外部機器との間でのデータの送受信を行うための通信モジュールである。通信部21は、例えば有線/無線LAN、専用線、電話回線、Wi−Fi(登録商標)、赤外線通信、Bluetooth(登録商標)等の方式で、外部機器と直接、またはネットワークアクセスポイントを介して無線または有線通信する。本実施形態では、通信部21は、HMD1との間でデータ通信を行う。
【0057】
本実施形態では、通信部21は、HMD1により取得されたユーザの各種情報を受信して、記憶部22および取得部26に出力する。そして、通信部21は、受信した情報に応じて生成部27により生成されたアドバイスを示す情報を、HMD1に返信する。
【0058】
なお、通信部21は、生成部27により生成されたアドバイスを、HMD1を介してユーザに提示させる、提示制御部としての機能を有するとも捉えることができる。
【0059】
(記憶部22)
記憶部22は、所定の記録媒体に対してデータの記録再生を行う部位である。記憶部22は、例えばHDD(Hard Disc Drive)として実現される。もちろん記録媒体としては、フラッシュメモリ等の固体メモリ、固定メモリを内蔵したメモリカード、光ディスク、光磁気ディスク、ホログラムメモリなど各種考えられ、記憶部22としては採用する記録媒体に応じて記録再生を実行できる構成とされればよい。
【0060】
本実施形態に係る記憶部22は、ユーザの動作に関する履歴情報、およびユーザの身体的特徴に関する属性情報を記憶する。ここで、履歴情報とは、ユーザが行った動作の履歴、および動作の目的の達成度を含む情報である。例えば、モータースポーツにおいては、記憶部22は、カーブ突入時のスピードや走行ライン、ブレーキを踏む、またはハンドルを切るタイミングなどの行動情報を動作の履歴として記憶する。また、記憶部22は、様々なサーキットコースにおける走行タイムや順位などの結果情報を目的の達成度として記憶する。また、属性情報とは、ユーザの年齢、性別、体形(身長、体重)、筋力、視力、聴力、利き腕、利き足、利き目、および利き耳の少なくともいずれかを含むプロフィール情報である。
【0061】
記憶部22は、HMD1から受信された情報に基づいて、履歴情報および属性情報を逐次記憶する。他にも、記憶部22は、スマートフォンや携帯端末等によるユーザ入力に基づいて、履歴情報および属性情報を記憶してもよい。
【0062】
記憶部22は、記憶した情報を、算出部23、推定部24、および検出部25に出力する。
【0063】
(算出部23)
算出部23は、記憶部22に記憶されている、ユーザが所定の目的を達成するために行った動作に関する履歴情報、およびユーザの身体的特徴に関する属性情報に基づいて、動作に対するユーザの習熟度を算出する機能を有する。ここで、所定の目的とは、例えばスポーツや料理、製造作業、楽器演奏、書道およびゲームなどの動作そのもの、または上達する、長所を伸ばす、短所を克服する等の目的を示す。
【0064】
具体的には、算出部23は、予め設定された理想とする動作とユーザの動作との差分に基づいて、ユーザの習熟度を算出する。例えば、算出部23は、HMD1により提示されたアドバイスに対するユーザの反応速度や、指示内容を実現できた度合に応じて習熟度を算出する。また、算出部23は、上述したモータースポーツにおいては、様々なサーキットコースにおける走行タイムや順位、加速度、カーブ突入時のスピードや走行ライン、ブレーキを踏む、またはハンドルを切るタイミングなどの履歴情報に基づいて、習熟度を算出する。他にも、算出部23は、例えば料理においては味付けや盛り付け、製造作業においては作業速度や段取り、楽器演奏においては強弱やリズム、写真撮影においてはカメラの構え方や距離の取り方、ゲームにおいては戦略や勝敗などに基づいて、習熟度を算出する。また、腹式呼吸においては、算出部23は、例えば呼吸の周波数に基づいて習熟度を算出してもよい。
【0065】
ここで、ユーザの身体的特徴によっては理想とする動作が異なる。例えば、高身長であれば高身長を生かした動作、筋力が強ければ筋力を生かした動作、筋肉が柔軟であれば柔軟性を生かした動作が理想の動作になり得る。このため、算出部23は、さらにユーザの身体的特徴に基づいて習熟度を算出する。例えば、陸上競技においてユーザが100メートルを20秒で走った場合、算出部23は、ユーザが高齢であれば高い習熟度を算出し、ユーザが若年であれば低い習熟度を算出する。100メートル走が20秒であるという記録は、高齢者にとっては良い記録であるが、若年者にとっては悪い記録であるためである。他にも、ユーザの体格や関節の可動域によっては可能/不可能な動作があるため、理想とする動作は異なる。このため、算出部23がユーザの身体的特徴に基づいて習熟度を算出することにより、後述の生成部27は、ユーザの身体的特徴に応じたアドバイスを生成することが可能となる。
【0066】
また、算出部23は、ユーザの動作を複数の部分動作に分解して、部分動作ごとに習熟度を算出してもよい。例えば、算出部23は、テニスにおいてラケットを振る動作を、足の動き、腰の回転、手の動き、ボールを追う目の動きなどの部分動作に分解して、それぞれの部分動作ごとに習熟度を算出する。
【0067】
算出部23は、算出した習熟度を、推定部24および生成部27に出力する。
【0068】
(推定部24)
推定部24は、履歴情報および習熟度に基づいて、ユーザが容易に達成することが可能な(素質がある)他の目的を推定する機能を有する。具体的には、推定部24は、ユーザが行った動作のうち習熟度が高い動作を共通して含む他の目的を、容易に達成することが可能なものと推定し得る。例えば、推定部24は、テニスのスイングフォームが良好なユーザに対して、同様のスイングフォームを要する卓球の素質があることを推定する。他にも、推定部24は、チャーハンの鍋あおり技術が高いユーザに対して、同様の鍋あおりを要する回鍋肉の調理の素質があることを推定する。
【0069】
また、推定部24は、他のユーザの履歴情報および習熟度にさらに基づいて、素質がある他の目的を推定し得る。具体的には、HMD1を装着したユーザと履歴情報および習熟度が類似する他のユーザが習熟している他の目的は、HMD1を装着したユーザにとって習熟しやすいものと推定する。例えば、ユーザAと年齢、性別、体形、経験スポーツが同様のユーザBがテニスを得意とする場合、ユーザAがこれまでテニスの経験がなかったとしても、推定部24はユーザAにテニスの素質がある、と推定する。
【0070】
推定部24は、推定した他の目的を生成部27に出力する。
【0071】
(検出部25)
検出部25は、記憶部22に記憶された履歴情報からユーザの動作傾向、即ち癖を検出する機能を有する。具体的には、検出部25は、履歴情報から同じ状況下で繰り返される行動を見つけ出すことにより、ユーザの動作傾向を検出する。例えば、検出部25は、サーキットにおいて繰り返しオーバースピードでコーナーに突入するユーザに対しては、オーバースピードでコーナーに突入する癖を検出する。
【0072】
検出部25は、検出したユーザの動作傾向を、生成部27に出力する。
【0073】
(取得部26)
取得部26は、ユーザの動作を実時間で取得する動作取得部としての機能を有する。具体的には、取得部26は、HMD1から受信された、ユーザが視認する方向の撮像画像、およびユーザを撮像した撮像画像を画像認識することで、ユーザの動作を取得する。また、取得部26は、HMD1から受信された、音声データや位置情報、加速度情報等に基づいて、ユーザの動作を取得する。例えば、モータースポーツにおいては、取得部26は、位置情報やユーザの視界方向の撮像画像から直線コースを走行していること、これからカーブを曲がること等を示す情報を取得する。
【0074】
また、取得部26は、ユーザの状態を実時間で取得する状態取得部としての機能を有する。具体的には、取得部26は、HMD1の観測部124により観測された観測情報に基づいて、ユーザの体力や集中力の低下、緊張/弛緩、疲れ、および筋肉の凝りなどのユーザの状態を取得する。他にも、取得部26は、HMD1から受信された、ユーザを撮像した撮像画像や、音声データの認識結果に基づいて、ユーザの状態を取得し得る。
【0075】
さらに、取得部26は、ユーザの周囲の環境情報を取得する環境情報取得部としての機能を有する。具体的には、取得部26は、HMD1から受信された周囲の気温や天気、湿度、撮像画像や音声データに基づいて、ユーザの周囲の環境を示す環境情報を取得する。
【0076】
取得部26は、取得した実時間のユーザの動作および状態を示す情報、ならびに周囲の環境情報を生成部27に出力する。
【0077】
(生成部27)
生成部27は、算出部23により算出された習熟度に基づいて、目的を達成するためのアドバイスを生成する機能を有する。具体的には、生成部27は、スポーツや料理、製造作業、楽器演奏、書道およびゲームなどの動作について、上達する、長所を伸ばす、短所を克服する等の目的を達成するためのアドバイスを、ユーザの習熟度に応じて生成する。このとき、生成部27は、ユーザの良い点を指摘したり、提示したアドバイスに従って目的を達成したことを称賛したりするアドバイスを生成する。これらにより、アドバイス提示システムは、ユーザの技術レベル向上、およびモチベーションの維持/向上を実現することができる。
【0078】
生成部27は、上述したように、習熟度が高いほど抽象的なアドバイスを生成し、習熟度が低いほど具体的なアドバイスを生成する。これにより、アドバイス提示システムは、ユーザの技術レベルに応じたアドバイスを提示することができる。また、生成部27は、算出部23により算出された習熟度が低い動作に関するアドバイスを優先的に生成することができる。これにより、アドバイス提示システムは、ユーザに短所を直すための訓練を集中的に課すことができ、その結果短所を克服させることができる。また、生成部27は、部分動作ごとの習熟度に基づいてアドバイスを生成することができる。これにより、アドバイス提示システムは、部分動作ごとにレベルの異なる細やかなアドバイスや、手や足、腕などの部分的なトレーニングを勧めるアドバイスを提示することができる。
【0079】
また、習熟度が閾値を超えた場合には、生成部27はアドバイス不要と判定して何らアドバイスを生成しなくてもよい。また、ユーザが一般的に初心者とは言えない習熟度を有していても、伸び悩んでいる場合、生成部27は、初心者用のアドバイスを生成することで、基礎からやりなおすことをユーザに促してもよい。
【0080】
他にも、生成部27は、推定部24により推定された他の目的を推薦するアドバイスを生成する。これにより、アドバイス提示システムは、ユーザが容易に達成することが可能な他の目的、例えば素質がある他のスポーツ等を知らせることができる。なお、生成部27は、算出部23により算出された習熟度が高い部分動作を要する他の目的を推薦するアドバイスを生成してもよい。
【0081】
また、生成部27は、検出部25により検出されたユーザの動作傾向に応じたアドバイスを生成する。悪癖が身についてしまった経験者は、ある程度習熟していても、悪癖のためにさらなる向上が阻まれる場合がある。このような場合に、アドバイス提示システムは、ユーザの動作傾向に基づいてアドバイスを生成することで、ユーザが無自覚に行っていた悪癖を自覚させ、矯正させるためのアドバイスを提示することができる。
【0082】
また、生成部27は、取得部26により取得されたユーザの実時間の動作および状態に基づいてアドバイスを生成する。具体的には、生成部27は、取得部26により取得されたユーザ動作に基づいて、ユーザがこれから行う動作について注意すべき点をアドバイスしたり、動作後に修正すべき点をフィードバックしたりする。これにより、アドバイス提示システムは、スポーツのプレイ中やプレイ後、料理中や料理後、または作業中や作業後に、現在のユーザの状況に適するアドバイスをタイミングよく提示することができる。
【0083】
また、生成部27は、取得部26により取得されたユーザの周囲の環境情報に基づいてアドバイスを生成する。具体的には、生成部27は、取得部26により取得された、天候や気温、騒音や時刻等の環境に適したアドバイスを生成する。例えば、モータースポーツにおいては、生成部27は、気温が低い場合にタイヤを温める時間を長めにとるよう指示するアドバイスを生成する。
【0084】
生成部27は、HMD1を装着したユーザ(第1のユーザ)と属性情報が類似する他のユーザ(第2のユーザ)に対して生成したアドバイスに基づいて、HMD1を装着したユーザに対するアドバイスを生成し得る。類似する身体的特徴を有する場合、同じ要因により上達が阻まれる場合があるので、身体的特徴が類似する他のユーザにとって有用であったアドバイスは、同様に有用であると考えられるためである。例えば、モータースポーツにおいては、生成部27は、類似する他のユーザが既に経験したタイム短縮を阻む壁を乗り越えるために有効だったアドバイスや、運転傾向の矯正のために有効だったアドバイスを、ユーザに対して提示することができる。
【0085】
さらに、生成部27は、身体的特徴が類似し、且つユーザよりも習熟度が高い他のユーザの履歴情報に基づいて、他のユーザが過去に行ってきた動作を行うよう指示するアドバイスを生成してもよい。これにより、生成部27は、修行僧が雑巾がけを行うように、料理の世界の入門者が延々と鍋洗いを行うように、指南書や解説書に記載されてはいないが、先人達にとって上達するために効果的であった動作を行うよう、ユーザにアドバイスすることができる。
【0086】
また、生成部27は、他の目的(第1の目的)を達成するための動作の習熟度(第1の習熟度)に基づいて、HMD1を装着したユーザが達成しようとする目的(第2の目的)のためのアドバイスを生成し得る。例えば、アドバイス提示システムは、サーキットにおいてオーバースピードでコーナーに突入するユーザに対しては、サーキット外の一般道においてオーバースピードで交差点に突入することを防止するためのアドバイスを提示することができる。また、アドバイス提示システムは、ユーザの得意な調理方法に応じて他のおすすめのレシピを提示することができる。
【0087】
生成部27は、動作に関するアドバイスだけでなく、動作に用いる器具に関するアドバイスを生成してもよい。具体的には、生成部27は、ユーザが動作に用いる器具を設定するためのアドバイスを生成する。例えば、生成部27は、ユーザの習熟度や身体的特徴に応じて車のシートやラケットの調整、コンロの火力等の設定を示唆するアドバイスを生成する。他にも、生成部27は、ユーザが動作に用いる器具の選択するためのアドバイスを生成する。例えば、生成部27は、ゴルフをプレイするユーザに対して、障害物や風、地面の状態に応じて適切なゴルフクラブを推薦するアドバイスを生成する。このように、生成部27は、道具の選択や使用方法を示唆することで、道具の面からユーザの上達に寄与することができる。
【0088】
生成部27は、ユーザの年齢に応じてアドバイスの内容を変更してもよい。例えば、年齢が高いほど即効性の高いアドバイスや褒められることを求める傾向にあると考えられるため、生成部27は年齢が高いほど即効性が高いアドバイスや、ユーザの長所を強調するアドバイスを生成する。これにより、アドバイス提示システムは、ユーザに受け入れられやすいアドバイスを提示することができる。
【0089】
このように、生成部27は、ユーザの特徴や状態に応じて適切なアドバイスを生成することで、ユーザの上達スピードの向上やモチベーションの維持を実現することができる。
【0090】
生成部27は、生成したアドバイスを示す情報を、通信部21に出力する。
【0091】
以上、本実施形態に係るサーバ2の構成について説明した。続いて、
図4〜
図6を参照して、本実施形態に係るアドバイス提示システムの動作処理について説明する。
【0092】
[2−1−3.動作処理]
図4は、第1の実施形態に係るアドバイス提示システムの動作を示すフローチャートである。ここでは、アドバイス提示システムが、モータースポーツを行うユーザに対してアドバイスを提示する例における動作処理を説明する。
【0093】
まず、ステップS102で、サーバ2は、記憶部22から、ユーザの履歴情報および属性情報を検索する。具体的には、記憶部22は、HMD1を装着したユーザについてのモータースポーツに関連する履歴情報および属性情報を、算出部23、推定部24および検出部25に出力する。モータースポーツに関連する履歴情報としては、例えば様々なサーキットコースにおける走行タイムや順位などの結果情報、およびカーブ突入時のスピードや走行ライン、ブレーキを踏む、またはハンドルを切るタイミングなどの行動情報などが考えられる。また、モータースポーツに関連する属性情報としては、ユーザの年齢、性別、体重、利き腕、体力レベル、視力、筋力などが考えられる。
【0094】
次に、ステップS104で、サーバ2は、ユーザが走行するサーキットコースを選択する。より詳しくは、取得部26は、ユーザが走行するサーキットコースを示す情報を取得する。例えば、取得部26は、HMD1の位置取得部123により取得された位置情報が示す場所にあるサーキットコースを、ユーザが走行するサーキットコースであると認識する。他にも、取得部26は、ユーザの音声入力やジェスチャー入力、または図示しないボタン等の操作部による入力に基づいて、ユーザが走行するサーキットコースを示す情報を取得してもよい。
【0095】
次いで、ステップS106で、サーバ2は、コース選択が正しいか否かを判定する。例えば、取得部26は、ユーザが入力したサーキットコースと、位置情報が示すサーキットコースが一致するか否かに基づいて、コース選択が正しいか否かを判定する。コース選択が誤りであると判定された場合(S106/NO)、処理は再度ステップS104に戻る。一方で、コース選択が正しいと判定された場合(S106/YES)、処理はステップS108に進む。
【0096】
次に、ステップS108で、サーバ2は、ユーザがサーキットコースでの走行を開始したことを検知する。具体的には、取得部26は、ユーザの加速度や、運転風景の撮像画像、位置情報が示すHMD1の移動状況に基づいて、ユーザが走行開始したことを取得する。
【0097】
次いで、ステップS110で、サーバ2は、ユーザにアドバイス指示を行うか否かを判定する。具体的には、生成部27は、取得部26により取得されたユーザの走行状況を示す情報に基づいて、アドバイス指示の可否を判定する。例えば、生成部27は、カーブより500m以上離れている場合は指示せず、500m以内であれば指示するよう判定を行う。アドバイス指示を行わないと判定された場合(S110/NO)、処理は再度ステップS110に戻る。一方で、アドバイス指示を行うと判定された場合(S110/YES)、処理はステップS112に進む。
【0098】
次に、ステップS112で、サーバ2は、ユーザの体力レベルが十分であるか否かを判定する。具体的には、生成部27は、ユーザの履歴情報、属性情報、および取得部26により取得された情報に基づいて、ユーザの体力レベルが十分であるか否かを判定する。例えば、生成部27は、HMD1の観測部124により観測されたユーザのバイタルサイン、天気、気温、走行時間、ユーザの年齢、性別等に応じて、ユーザの体力レベルを判定する。
【0099】
ここで、生成部27は、判定した体力レベルに応じて、後述するように生成するアドバイスを変更する。サーキットでの車の操縦は、一般的に非常に体力を使うので、体力レベルが低下した状態では、より速い反応速度やより強い力を要する動作が困難となるためである。アドバイスレベル変更の体力閾値は、観測部124により直接脳波、心拍、呼吸などを測定できる場合、観測部124により取得されたデータに基づいて設定される。一方で、観測部124により直接測定できない場合、アドバイスレベル変更の体力閾値は、ユーザの履歴情報が示すラップタイムが落ち始める時間帯や、属性情報が示す体格が類似する他者のデータに基づいて設定される。
【0100】
体力レベルが十分であると判定された場合(S112/YES)、ステップS114で、生成部27は、ユーザの習熟度に応じたアドバイスの中でも、通常レベルのアドバイスを生成する。ここで、
図5を参照して、生成部27が生成する通常レベルのアドバイスについて具体的に説明する。
【0101】
図5は、第1の実施形態に係るHMD1が提示するアドバイスの一例を示す図である。
図5に示すように、生成部27は、アウトインアウトを示す理想的な走行ライン4Aを示した画像P3を生成して、HMD1は、カーブに差し掛かったタイミングで画像P3をユーザに提示する。ここで、ユーザは、体力レベルが十分であるので、ユーザの習熟度が高い場合、高度なアドバイスであっても理解および実行が可能である。そこで、生成部27は、
図5に示すように、ブレーキやハンドル操作などの具体的な指示を行うことなく、走行ライン4Aを提示する通常レベルのアドバイスを生成する。さらに、生成部27は、
図5に示すように、過去にユーザが走行した軌跡を示す走行ライン4Bをさらに重畳させることで、ユーザに過去の動作からの改善を検討する機会を提供する。
【0102】
一方で、体力レベルが十分でないと判定された場合(S112/NO)、ステップS116で、サーバ2は、ユーザの体力レベルが安全走行基準を満たすか否かを判定する。上述したように、サーキットでの車の操縦は非常に体力を使う。そこで、サーバ2は、体力レベルは十分でないが安全走行基準を満たす場合、簡易レベルのアドバイスを提示し、体力レベルが安全走行基準をも満たさない場合、さらにレベルを下げたアドバイスを提示する。
【0103】
ユーザの体力レベルが安全走行基準を満たすと判定された場合(S116/YES)、ステップS118で、生成部27は、ユーザの習熟度に応じたアドバイスの中でも、簡易レベルのアドバイスを生成する。ここで、
図6を参照して、生成部27が生成する簡易レベルのアドバイスについて具体的に説明する。
【0104】
図6は、第1の実施形態に係るHMD1が提示するアドバイスの一例を示す図である。
図6に示すように、生成部27は、直線を走行するユーザに対して具体的なアドバイスを行う画像P4を生成して、HMD1が画像P4をユーザに提示する。ここで、ユーザは、疲労等により体力レベルが十分でないので、習熟度が高くても高度なアドバイスの理解および実行が困難である。そこで、生成部27は、
図6に示すように、アクセルやブレーキ操作の具体的な指示を行う簡易レベルのアドバイスを生成する。
【0105】
一方で、ユーザの体力レベルが安全走行基準を満たさないと判定された場合(S116/NO)、ステップS120で、生成部27は、クールダウンを指示するアドバイスを生成する。ユーザの体力が安全走行基準を満たさない場合、集中力や判断力の低下により事故が発生する可能性がある。生成部27は、クールダウンを指示することで、このような事故を未然に防ぐことができる。
【0106】
次いで、ステップS122で、サーバ2は、ユーザが走行終了したか否かを判定する。具体的には、生成部27は、取得部26により取得された、ユーザの加速度や、運転風景の撮像画像、位置情報が示すHMD1の移動状況に基づいて、ユーザが走行終了したか否かを判定する。ユーザが走行終了していないと判定された場合(S122/NO)、処理は再度ステップS110に戻る。一方で、ユーザが走行終了したと判定された場合(S122/YES)、処理はステップS124に進む。
【0107】
そして、ステップS124で、サーバ2は、ユーザに対して走行結果のフィードバックを行う。例えば、生成部27は、今回と過去の走行タイムや走行ラインを比較した結果や、習熟度の向上/低下、長所/短所を知らせるアドバイスを生成して、HMD1がユーザに提示する。
【0108】
次に、ステップS126で、サーバ2は、ユーザの走行結果を履歴情報として記憶部22に蓄積する。サーバ2は、ユーザの履歴情報を蓄積することで、上記ステップS112におけるアドバイスレベル変更の体力閾値や、上記ステップS116における安全走行基準をより適切に設定することができる。また、サーバ2は提示したアドバイスとユーザによる実行結果を比較することで、効果が低いアドバイスを次回は提示しないようにしたり、受け入れられやすい傾向にあるアドバイスを次回から提示するようにしたりできる。このように、サーバ2は、履歴情報を蓄積することで、より安全で効果的なアドバイスをユーザに提示できるようになる。
【0109】
以上、第1の実施形態に係るアドバイス提示システムの動作処理について説明した。
【0110】
<2−2.第2の実施形態>
本実施形態は、アドバイス提示システムがゴルフをプレイするユーザに対してアドバイスを提示する形態である。なお、本実施形態に係るアドバイス提示システムの構成は、上記第1の実施形態について説明した通りであるので、ここでの詳細な説明は省略する。以下、
図7を参照して、本実施形態に係るアドバイス提示処理の概要について説明する。
【0111】
[2−2−1.概要]
図7は、第2の実施形態に係るアドバイス提示処理の概要を示す説明図である。
図7に示すように、HMD1を装着したユーザが斜面でゴルフをプレイしている。ここで、ユーザが右利きである場合、
図7に示すように、ユーザはボールより斜面の上側に立って、つま先下がりの状態でボールを打つことになる。ここで、つま先下がりの状態とは、つま先が踵よりも下がった状態であり、斜面の上側に立って下側にあるボールを打つ際に発生する。逆に、つま先上がりの状態とは、つま先が踵よりも上がった状態であり、斜面の下側に立って上側にあるボールを打つ際に発生する。
【0112】
また、
図7に示すように、ユーザの周りの環境に関しては、ユーザの背後側から風が吹いており、コース前方には森が存在している。また、ユーザの背後にはゴルフバックがあり、複数のゴルフクラブが準備されている。
【0113】
このような状態にあるユーザに対して、本実施形態に係るアドバイス提示システムはアドバイスの提示を行う。ここで、例えばユーザのボール弾道がフェード・スライス系かドロー・フック系かによってコースの攻め方は変わり得る。また、男女差、筋力、筋肉の付き方、経験値、ヘッドスピード等で飛距離が変わるため、状況に応じて適切なクラブ選択は変わり得る。このため、ユーザの習熟度が同じであっても、コースの状況や身体的特徴に応じて適するアドバイスは異なる。
【0114】
そこで、アドバイス提示システムは、例えばユーザの属性情報である性別、利き腕、身長、体重などの情報に基づき、アドバイスを行う。他にも、アドバイス提示システムは、履歴情報である飛距離やボール弾道、ヘッドスピードを示す情報、ユーザの状態を示す疲労度などの情報に基づき、ゴルフバックに準備された他のゴルフクラブを選択するようアドバイスを行う。また、アドバイス提示システムは、環境情報のひとつである風向きや風速、前方の森などの障害物を示す情報に基づき、ボールを打つ方向および角度に関するアドバイスを行ってもよい。
【0115】
以下では、
図8を参照して、アドバイス提示システムが、ユーザの利き腕を示す情報に基づいてアドバイスを行う例における、具体的な動作処理について説明する。
【0116】
[2−2−2.動作処理]
図8は、第2の実施形態に係るアドバイス提示システムの動作を示すフローチャートである。
【0117】
まず、ステップS202で、サーバ2は、記憶部22から、ゴルフに関連するユーザの履歴情報および属性情報を検索する。ゴルフに関連する履歴情報としては、例えば様々なゴルフコースにおける打数や飛距離などのプレイ状況などが考えられる。また、ゴルフに関連する属性情報としては、ユーザの年齢、性別、身長、体重、利き腕、体力レベル、筋力などが考えられる。
【0118】
次に、ステップS204で、サーバ2は、ユーザがプレイするゴルフコースを選択する。より詳しくは、取得部26は、HMD1の位置取得部123により取得された位置情報や、ユーザによる入力結果に基づいて、ユーザがプレイするゴルフコースを示す情報を取得する。
【0119】
次いで、ステップS206で、サーバ2は、コース選択が正しいか否かを判定する。例えば、取得部26は、ユーザが入力したゴルフコースと、位置情報が示すゴルフコースが一致するか否かに基づいて、コース選択が正しいか否かを判定する。コース選択が誤りであると判定された場合(S206/NO)、処理は再度ステップS204に戻る。一方で、コース選択が正しいと判定された場合(S206/YES)、処理はステップS208に進む。
【0120】
次に、ステップS208で、サーバ2は、ユーザがゴルフコースでのプレイを開始したことを検知する。具体的には、取得部26は、ユーザの発汗や歩行、スイングによる生じる振動、プレイ風景の撮像画像、位置情報が示すHMD1の移動状況に基づいて、ユーザがプレイ開始したことを取得する。
【0121】
次いで、ステップS210で、サーバ2は、ユーザにアドバイス指示を行うか否かを判定する。具体的には、生成部27は、取得部26により取得されたユーザのプレイ状況を示す情報に基づいて、アドバイス指示の可否を判定する。例えば、生成部27は、ユーザがボールを打つ最中には指示せず、ボールを打つ準備中に指示するよう判定を行う。アドバイス指示を行わないと判定された場合(S210/NO)、処理は再度ステップS210に戻る。一方で、アドバイス指示を行うと判定された場合(S210/YES)、処理はステップS212に進む。
【0122】
次に、ステップS212で、サーバ2は、ボールが
図7に示すように斜面にあることを検知する。例えば、取得部26は、プレイ風景の撮像画像、位置情報などに基づいて、ボールが斜面にあることを取得する。
【0123】
次いで、ステップS214で、サーバ2は、ユーザが右利きであるか否かを判定する。具体的には、検出部25は、ユーザの属性情報における利き腕を示す情報に基づいて、ユーザが右利きであるか否かを判定する。
【0124】
ユーザが右利きであると判定された場合(S214/YES)、ステップS216で、サーバ2は、つま先下がりへの対応を示すアドバイスを提示する。
図7に示した斜面においては、
図7に示したように、ユーザはつまさき下がりの状態でボールを打つことになる。そこで、生成部27は、つま先下がりの状態でのボールの打ち方に関するアドバイスを生成して、HMD1がユーザに提示する。
【0125】
一方で、ユーザが左利きであると判定された場合(S214/NO)、ステップS218で、サーバ2は、つま先上がりへの対応を示すアドバイスを提示する。
図7に示した斜面においては、ユーザが左利きである場合、ユーザは斜面の下側に立って上側にあるボールを打つ、つま先上がりの状態でボールを打つことになる。そこで、生成部27は、つま先上がりの状態でのボールの打ち方に関するアドバイスを生成して、HMD1がユーザに提示する。
【0126】
次に、ステップS220で、サーバ2は、ユーザがプレイ終了したか否かを判定する。具体的には、生成部27は、取得部26により取得された、プレイ風景の撮像画像、位置情報などに基づいて、ユーザがプレイ終了したか否かを判定する。ユーザがプレイ終了していないと判定された場合(S220/NO)、処理は再度ステップS210に戻る。一方で、ユーザがプレイ終了したと判定された場合(S220/YES)、処理はステップS222に進む。
【0127】
そして、ステップS222で、サーバ2は、ユーザに対してプレイ結果のフィードバックを行う。例えば、生成部27は、今回と過去のスコアや飛距離を比較した結果や、習熟度の向上/低下、長所/短所を知らせるアドバイスを生成して、HMD1がユーザに提示する。なお、サーバ2は、プレイ結果のフィードバックを、プレイ終了後に限らずプレイ中に随時行ってもよい。
【0128】
次いで、ステップS224で、サーバ2は、ユーザのプレイ結果を履歴情報として記憶部22に蓄積する。そして、算出部23は、記憶部22に蓄積されたプレイ結果に基づいて、ユーザのゴルフに関する習熟度を算出する。また、検出部25は、記憶部22に蓄積されたプレイ結果に基づいて、ボール弾道やユーザのスイングフォームなどのユーザの癖を検出する。
【0129】
このとき、算出部23が算出した習熟度、および検出部25が検出した癖は、記憶部22に記憶されてもよい。これにより、算出部23および検出部25は、ユーザのアドバイスを提示する度に算出/検出することなく、記憶部22に記憶されたものを生成部27に出力することができる。なお、算出部23による習熟度の算出、検出部25による癖の検出、およびこれらの情報の記憶は、プレイ終了後に限らず、プレイ中に随時行われてもよい。
【0130】
他にも、推定部24は、ゴルフに関する履歴情報や習熟度が類似する他のユーザデータを参照して、ユーザがプレイしたことのない他のスポーツ(他の目的)に素質があることを推定し得る。例えば、推定部24は、ゴルフのスイング時の腰の回転、足の動き等の部分動作の習熟度に基づいて、同様の部分動作を含むテニスに素質があることを推定する。そして、生成部27は、テニスをプレイすることを勧めるアドバイスを生成してユーザに提示してもよい。
【0131】
以上、第2の実施形態に係るアドバイス提示システムの動作処理について説明した。
【0132】
<2−3.第3の実施形態>
本実施形態は、アドバイス提示システムが料理を行うユーザに対してアドバイスを提示する形態である。なお、本実施形態に係るアドバイス提示システムの構成は、上記第1の実施形態について説明した通りであるので、ここでの詳細な説明は省略する。以下、
図9を参照して、本実施形態に係るアドバイス提示処理の概要について説明する。
【0133】
[2−3−1.概要]
図9は、第3の実施形態に係るアドバイス提示処理の概要を示す説明図である。
【0134】
図9に示すように、HMD1を装着したユーザがキッチンでチャーハンを炒めている。一般的に、チャーハンには、高火力で手早く炒める調理法が良いとされており、強火で鍋をあおりながら炒めると、パラパラとした食感でおいしく出来上がる。しかしながら、ユーザが使用している鍋は重いため、筋力が少ない人や女性、疲労により体力レベルが落ちた人にとって鍋をあおりながらチャーハンを炒めることは困難である。そこで、本実施形態に係るアドバイス提示システムは、ユーザの性別や体格、筋力などの属性情報、ユーザの疲労度などの状態に基づき、鍋をあおりながら炒めるか、若しくは鍋を置いたまま手早くかき混ぜるかを指示するアドバイスを提示する。
【0135】
また、
図9に示すように、コンロは3口あり、調理台の上には調味料が準備されている。そこで、本実施形態に係るアドバイス提示システムは、環境情報のひとつであるコンロや調理台にある調味料を示す情報に基づき、火力の調節や最大火力が強いコンロを使うよう指示するアドバイスや、タイミング良く調味料を加えるアドバイスを行ってもよい。他にも、アドバイス提示システムは、ユーザの習熟度に応じて、例えば卵を片手で割るよう指示するアドバイスを行ってもよいし、調理スピードに応じたタイミングでアドバイスを提示してもよい。
【0136】
以下では、
図10を参照して、アドバイス提示システムが、ユーザが鍋あおり可能か否かに基づいてアドバイスを行う例における、具体的な動作処理について説明する。
【0137】
[2−3−2.動作処理]
図10は、第3の実施形態に係るアドバイス提示システムの動作を示すフローチャートである。
【0138】
まず、ステップS302で、サーバ2は、記憶部22から、料理に関連するユーザの履歴情報および属性情報を検索する。料理に関連する履歴情報としては、例えば過去に調理してきた料理の種類や得意料理、およびレシピの再現度合などが考えられる。また、料理に関連する属性情報としては、ユーザの年齢、性別、体重、身長、利き腕、筋力、好みの食材やダイエット中か否かなどの嗜好が考えられる。
【0139】
次に、ステップS304で、アドバイス提示システムは、ユーザにおすすめのレシピを提示する。例えば、アドバイス提示システムは、ユーザの属性情報や過去の料理履歴、好みなどに応じて、塩分、脂肪分の使用量や適する具材の選択を示すレシピを提示する。このとき、アドバイス提示システムは、ユーザの栄養状況や、ダイエット中か否かを示す情報に基づいて、繊維質のものを取り入れるレシピ、ちりめんじゃこ等を取り入れてカルシウム量を向上させるレシピ、または塩分を控えたレシピ等を提示してもよい。
【0140】
次いで、ステップS306で、サーバ2は、レシピが選択されたか否かを判定する。具体的には、取得部26は、上記ステップS304で提示したおすすめのレシピがユーザに受け入れられたか否かを、ユーザ入力などに基づいて判定する。なお、ユーザは、提示されたレシピを拒否して、自分で好みのレシピをHMD1に入力してもよい。レシピが選択されていないと判定された場合(S306/NO)、処理は再度ステップS306に戻る。一方で、レシピが選択されたと判定された場合(S306/YES)、処理はステップS308に進む。
【0141】
次に、ステップS308で、サーバ2は、下準備を指示するアドバイスを提示する。例えば、生成部27は、卵の攪拌や具材を刻む、個別の具材を事前に炒める等の、具材の下ごしらえを行うよう指示するアドバイスを生成して、HMD1がユーザに提示する。
【0142】
次いで、ステップS310で、サーバ2は、ユーザの下準備が終了したか否かを判定する。具体的には、生成部27は、下準備が終了したことを示すユーザの入力や、調理風景の撮像画像の認識結果などに基づいて、下準備が終了したか否かを判定する。下準備が終了していないと判定された場合(S310/NO)、処理は再度ステップS310に戻る。一方で、下準備が終了したと判定された場合(S310/YES)、処理はステップS312に進む。
【0143】
次に、ステップS312で、サーバ2は、ユーザにアドバイス指示を行うか否かを判定する。具体的には、生成部27は、取得部26により取得されたユーザの調理状況を示す情報に基づいて、アドバイス指示の可否を判定する。アドバイス指示を行わないと判定された場合(S312/NO)、処理は再度ステップS312に戻る。一方で、アドバイス指示を行うと判定された場合(S312/YES)、処理はステップS314に進む。
【0144】
次いで、ステップS314で、サーバ2は、ユーザがチャーハン全体を炒めていることを検知する。例えば、取得部26は、調理風景の撮像画像、炒める音、ユーザの発汗や腕の振動を示す情報などに基づいて、ユーザがチャーハン全体を炒めていることを検知する。
【0145】
次に、ステップS316で、サーバ2は、ユーザが鍋あおり可能か否かを判定する。具体的には、生成部27は、ユーザの属性情報が示す性別や筋力、ユーザの状態が示す腕の疲労度に基づいて、ユーザが鍋あおり可能であるか否かを判定する。
【0146】
鍋あおりが可能であると判定された場合(S316/YES)、ステップS318で、サーバ2は、鍋をあおりながらチャーハンを炒めるよう指示するアドバイスを提示する。
【0147】
一方で、鍋あおりが不可能であると判定された場合(S316/NO)、ステップS320で、サーバ2は、鍋を置いたまま手早くかき混ぜるよう指示するアドバイスを提示する。
【0148】
次いで、ステップS322で、サーバ2は、ユーザが調理終了したか否かを判定する。具体的には、生成部27は、取得部26により取得された、調理風景の撮像画像、炒める音の停止などに基づいて、ユーザが調理終了したか否かを判定する。ユーザが調理終了していないと判定された場合(S322/NO)、処理は再度ステップS312に戻る。一方で、ユーザが調理終了したと判定された場合(S322/YES)、処理はステップS324に進む。
【0149】
次に、ステップS324で、サーバ2は、ユーザが盛り付けを終了したか否かを判定する。具体的には、生成部27は、取得部26により取得された、ユーザがチャーハンを盛り付ける風景の撮像画像などに基づいて、ユーザが盛り付けを終了したか否かを判定する。ユーザが盛り付けを終了していないと判定された場合(S324/NO)、処理は再度ステップS324に戻る。一方で、ユーザが盛り付けを終了したと判定された場合(S324/YES)、処理はステップS326に進む。
【0150】
そして、ステップS326で、サーバ2は、ユーザに対して調理および盛り付け結果のフィードバックを行う。例えば、生成部27は、提示したレシピ通りに調理できたか、味や盛り付けの美しさ、下準備や鍋あおりの習熟度の向上/低下、長所/短所を知らせるアドバイスを生成して、HMD1がユーザに提示する。なお、サーバ2は、調理結果のフィードバックを、調理終了後に限らず調理中に随時行ってもよい。
【0151】
次いで、ステップS328で、サーバ2は、ユーザの調理結果を履歴情報として記憶部22に蓄積する。そして、算出部23は、記憶部22に蓄積された調理結果に基づいて、包丁使いや手際の良さ、調理スピード、鍋をふるう腕力などのユーザの調理に関する習熟度を算出する。また、検出部25は、記憶部22に蓄積された調理結果に基づいて、具材の炒め方や具材の刻み方などのユーザの癖を検出する。
【0152】
このとき、算出部23が算出した習熟度、および検出部25が検出した癖は、記憶部22に記憶されてもよい。これにより、算出部23および検出部25は、ユーザのアドバイスを提示する度に算出/検出することなく、記憶部22に記憶されたものを生成部27に出力することができる。なお、算出部23による習熟度の算出、検出部25による癖の検出、およびこれらの情報の記憶は、調理終了後に限らず、調理中に随時行われてもよい。
【0153】
他にも、推定部24は、調理に関する履歴情報や習熟度が類似する他のユーザデータを参照して、ユーザの調理スキルが適用可能な他のレシピ(他の目的)を推定し得る。そして、生成部27は、推定部24により推定された他のレシピを勧めるアドバイスを生成してユーザに提示してもよい。
【0154】
以上、第3の実施形態に係るアドバイス提示システムの動作処理について説明した。
【0155】
<<3.まとめ>>
以上説明したように、上記各実施形態に係るアドバイス提示システムは、ユーザの特徴に応じて適するアドバイスを提示することが可能である。特に、アドバイス提示システムは、体格や筋力、関節の可動域などの身体的特徴に基づいて、ユーザの技術向上やモチベーション向上にとって効果的なアドバイスを提示することができる。
【0156】
また、アドバイス提示システムは、類似する身体的特徴を有する他のユーザと同じ要因によって上達が阻まれている場合に、他のユーザに対して効果が高かったアドバイスを参照することで、ユーザに有用なアドバイスを提示することができる。他にも、アドバイス提示システムは、ユーザに素質がある動作を推定することで、ユーザに素質のあるスポーツや、うまく作ることができると予測される料理のレシピを推薦することもできる。
【0157】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【0158】
例えば、上記実施形態では、ユーザにアドバイスを提示する装置としてHMD1を用いたが、本開示に係る技術これに限定されない。例えば、ユーザにアドバイスを提示する装置は、ヘッドセット、デジタルビデオカメラ、PDA(Personal Digital Assistants)、PC(Personal Computer)、ノートPC、タブレット端末、スマートフォン、携帯電話端末、携帯用音楽再生装置、携帯用映像処理装置または携帯用ゲーム機器等であってもよい。
【0159】
また、上記実施形態では、アドバイス提示システムは、HMD1とサーバ2に分離していたが、本開示に係る技術はこれに限定されない。例えば、HMD1にサーバ2の機能が搭載されていてもよい。さらに、本開示の一実施形態に係る情報処理装置は、サーバ2の機能が搭載されたヘッドセットやスマートフォン、携帯端末等の多様な機器によって実現され得る。
【0160】
また、上記実施形態では、表示部13による画像表示によってユーザにアドバイスを提示したが、本開示に係る技術はこれに限定されない。例えば、アドバイス提示システムは、音声ガイドや、バイブレーション、照明の明滅等によってアドバイスを提示してもよい。
【0161】
また、情報処理装置に内蔵されるCPU、ROMおよびRAMなどのハードウェアを、上述したHMD1、またはサーバ2の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記録した記録媒体も提供される。
【0162】
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
ユーザが所定の目的を達成するために行った動作に関する履歴情報、および前記ユーザの身体的特徴に関する属性情報に基づいて、前記動作に対する前記ユーザの習熟度を算出する算出部と、
前記算出部により算出された前記習熟度に基づいて、前記目的を達成するためのアドバイスを生成する生成部と、
を備える情報処理装置。
(2)
前記生成部は、第1の前記ユーザと前記属性情報が類似する第2の前記ユーザに対して生成した前記アドバイスに基づいて、第1の前記ユーザに対するアドバイスを生成する、前記(1)に記載の情報処理装置。
(3)
前記情報処理装置は、前記履歴情報および前記習熟度に基づいて、前記ユーザが容易に達成することが可能な他の前記目的を推定する推定部を備え、
前記生成部は、前記推定部により推定された他の前記目的を推薦する前記アドバイスを生成する、前記(1)または(2)に記載の情報処理装置。
(4)
前記算出部は、前記動作を分解した複数の部分動作ごとに前記習熟度を算出し、
前記生成部は、前記部分動作ごとの習熟度に基づいて前記アドバイスを生成する、前記(1)〜(3)のいずれか一項に記載の情報処理装置。
(5)
前記生成部は、前記習熟度が高いほど抽象的な前記アドバイスを生成し、前記習熟度が低いほど具体的な前記アドバイスを生成する、前記(1)〜(4)のいずれか一項に記載の情報処理装置。
(6)
前記生成部は、前記習熟度が低い前記動作に関する前記アドバイスを優先的に生成する、前記(1)〜(5)のいずれか一項に記載の情報処理装置。
(7)
前記情報処理装置は、前記履歴情報から前記動作における前記ユーザの動作傾向を検出する検出部をさらに備え、
前記生成部は、前記検出部により検出された前記動作傾向にさらに基づいて前記アドバイスを生成する、前記(1)〜(6)のいずれか一項に記載の情報処理装置。
(8)
前記算出部は、第1の前記目的を達成するために行った前記動作に対する第1の前記習熟度を算出し、
前記生成部は、第1の前記習熟度に基づいて、第2の前記目的を達成するための前記アドバイスを生成する、前記(1)〜(7)のいずれか一項に記載の情報処理装置。
(9)
前記生成部は、前記ユーザが前記動作に用いる器具に関する前記アドバイスを生成する、前記(1)〜(8)のいずれか一項に記載の情報処理装置。
(10)
前記情報処理装置は、前記ユーザが前記目的を達成するために行う動作を実時間で取得する動作取得部をさらに備え、
前記生成部は、前記動作取得部により取得された前記動作にさらに基づいて前記アドバイスを生成する、前記(1)〜(9)のいずれか一項に記載の情報処理装置。
(11)
前記情報処理装置は、前記ユーザの状態を取得する状態取得部をさらに備え、
前記生成部は、前記状態取得部により取得された前記状態にさらに基づいて前記アドバイスを生成する、前記(1)〜(10)のいずれか一項に記載の情報処理装置。
(12)
前記情報処理装置は、前記ユーザの周囲の環境情報を取得する環境情報取得部をさらに備え、
前記生成部は、前記環境情報取得部により取得された前記環境情報にさらに基づいて前記アドバイスを生成する、前記(1)〜(11)のいずれか一項に記載の情報処理装置。
(13)
前記属性情報は、前記ユーザの年齢、性別、体形、筋力、視力、聴力、利き腕、利き足、利き目、および利き耳の少なくともいずれかである、前記(1)〜(12)のいずれか一項に記載の情報処理装置。
(14)
前記履歴情報は、前記ユーザが行った前記動作の履歴、および前記目的の達成度を含む、前記(1)〜(13)のいずれか一項に記載の情報処理装置。
(15)
前記情報処理装置は、前記生成部により生成された前記アドバイスを前記ユーザに提示する提示制御部をさらに備える、前記(1)〜(14)のいずれか一項に記載の情報処理装置。
(16)
コンピュータに、
ユーザが所定の目的を達成するために行った動作に関する履歴情報、および前記ユーザの身体的特徴に関する属性情報に基づいて、前記動作に対する前記ユーザの習熟度を算出するステップと、
算出された前記習熟度に基づいて、前記目的を達成するためのアドバイスを生成するステップと、
を実行させるためのプログラムが記憶された記憶媒体。