特開 2022-179034 プログラム、情報処理装置および情報処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022179034

(43)【公開日】2022-12-02

(54)【発明の名称】プログラム、情報処理装置および情報処理方法

(51)【国際特許分類】

   A63F 13/816 20140101AFI20221125BHJP

   A63F 13/428 20140101ALI20221125BHJP

   A63F 13/69 20140101ALI20221125BHJP

   A63F 13/211 20140101ALI20221125BHJP

   A63F 13/24 20140101ALI20221125BHJP

   A63F 13/213 20140101ALI20221125BHJP

   A63F 13/30 20140101ALI20221125BHJP

   G06F 3/0484 20220101ALI20221125BHJP

【ＦＩ】

A63F13/816

A63F13/428

A63F13/69

A63F13/211

A63F13/24

A63F13/213

A63F13/30

G06F3/0484

【審査請求】未請求

【請求項の数】15

【出願形態】ＯＬ

(21)【出願番号】P 2021086259

(22)【出願日】2021-05-21

(71)【出願人】

【識別番号】521221799

【氏名又は名称】有限会社ラキア

(74)【代理人】

【識別番号】100114557

【弁理士】

【氏名又は名称】河野 英仁

(74)【代理人】

【識別番号】100078868

【弁理士】

【氏名又は名称】河野 登夫

(72)【発明者】

【氏名】澤 泰久

【テーマコード（参考）】

5E555

【Ｆターム（参考）】

5E555AA05

5E555AA22

5E555AA25

5E555AA26

5E555AA64

5E555AA76

5E555BA02

5E555BA20

5E555BB04

5E555BC01

5E555CA42

5E555CA44

5E555DA02

5E555DB25

5E555DC09

5E555DC13

5E555DC35

5E555DD08

5E555EA02

5E555EA19

5E555EA22

5E555EA25

5E555FA00

(57)【要約】

【課題】トレーニングの好適な実施を支援することができるプログラムなどを提供すること。
【解決手段】プログラムは、所定のゲームに関する操作入力をユーザから受け付け、前記ユーザからの操作入力に応じて、前記ゲームに関する処理を実行し、前記ゲームを操作中の前記ユーザの姿勢を検出し、検出した前記ユーザの姿勢に基づき、前記ユーザがトレーニングを実施しているか否かを判定する処理をコンピュータに実行させる。好適には、トレーニング時の前記ユーザの姿勢の登録を受け付け、前記ゲームを操作中の前記ユーザの姿勢と、登録済みの前記ユーザの姿勢とが一致するか否かを判定することで、前記ユーザがトレーニングを実施しているか否かを判定する。
【選択図】図１

【特許請求の範囲】

【請求項1】

所定のゲームに関する操作入力をユーザから受け付け、
前記ユーザからの操作入力に応じて、前記ゲームに関する処理を実行し、
前記ゲームを操作中の前記ユーザの姿勢を検出し、
検出した前記ユーザの姿勢に基づき、前記ユーザがトレーニングを実施しているか否かを判定する
処理をコンピュータに実行させるプログラム。

【請求項2】

トレーニング時の前記ユーザの姿勢の登録を受け付け、
前記ゲームを操作中の前記ユーザの姿勢と、登録済みの前記ユーザの姿勢とが一致するか否かを判定することで、前記ユーザがトレーニングを実施しているか否かを判定する
請求項１に記載のプログラム。

【請求項3】

前記トレーニングを実施していると判定した場合、前記トレーニングの内容に応じて前記ユーザに特典を付与する
請求項１または請求項２に記載のプログラム。

【請求項4】

前記ゲームの実行内容と、前記トレーニングの内容とに応じて前記特典を付与する
請求項３に記載のプログラム。

【請求項5】

ジャイロセンサを備えたコントローラ機器の傾きを検出することで、前記ゲームの操作入力を受け付ける
請求項１から請求項４のいずれか１項に記載のプログラム。

【請求項6】

前記ゲームを操作中に前記ユーザが乗るバランスボードの傾きを検出することで、前記ユーザの姿勢を検出する
請求項１から請求項５のいずれか１項に記載のプログラム。

【請求項7】

前記バランスボードの傾きと、前記バランスボードに載置されたトレーニングマシンの動作とを検出することで、前記ユーザの姿勢を検出する
請求項６に記載のプログラム。

【請求項8】

前記ゲームを操作中の前記ユーザを撮像した画像に基づき、前記ユーザの姿勢を検出する
請求項１から請求項７のいずれか１項に記載のプログラム。

【請求項9】

前記ゲームを開始時に、前記ユーザに課すトレーニングの内容を出力し、
検出した前記ユーザの姿勢に基づき、前記ユーザが前記トレーニングの内容を実施しているか否かを判定する
請求項１から請求項８のいずれか１項に記載のプログラム。

【請求項10】

検出した前記ユーザの姿勢に基づき、前記ユーザがトレーニングに関連する特定の動きを実施したか否か、またはトレーニングを完了したか否かを判定し、
判定結果に応じて前記ゲームに関する処理を実行する
請求項１から請求項９のいずれか１項に記載のプログラム。

【請求項11】

他のユーザの端末装置との間で、前記ゲームに関する処理内容を送受信し、
前記ユーザおよび他のユーザからの操作入力に応じて前記ゲームに関する処理を実行する
請求項１から請求項１０のいずれか１項に記載のプログラム。

【請求項12】

他のユーザの端末装置との間で、前記トレーニングの内容を送受信し、
前記ユーザおよび他のユーザのトレーニングの内容に応じて特典を付与する
請求項１から請求項１１のいずれか１項に記載のプログラム。

【請求項13】

前記ゲームに係る画面を表示部に表示し、
前記ユーザがトレーニングを実施していないと判定した場合、前記ユーザに対するアラートを前記画面に表示する
請求項１から請求項１２のいずれか１項に記載のプログラム。

【請求項14】

所定のゲームに関する操作入力をユーザから受け付ける受付部と、
前記ユーザからの操作入力に応じて、前記ゲームに関する処理を実行する制御部と、
前記ゲームを操作中の前記ユーザの姿勢を検出する検出部と、
検出した前記ユーザの姿勢に基づき、前記ユーザがトレーニングを実施しているか否かを判定する判定部と
を備える情報処理装置。

【請求項15】

所定のゲームに関する操作入力をユーザから受け付け、
前記ユーザからの操作入力に応じて、前記ゲームに関する処理を実行し、
前記ゲームを操作中の前記ユーザの姿勢を検出し、
検出した前記ユーザの姿勢に基づき、前記ユーザがトレーニングを実施しているか否かを判定する
処理をコンピュータが実行する情報処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、プログラム、情報処理装置および情報処理方法に関する。

【背景技術】

【0002】

健康の維持や促進、リハビリなどを目的としたトレーニングを実施することがあるが、トレーニングが適切に実施できているか否かは不明であることが多い。そこで、トレーニングの適切な実施を支援する技術が提案されている。

【0003】

たとえば、特許文献１では、運動中の被検者を撮像した画像と、画像から検出した被写体（被検者）の深度情報とに基づいて、理想的な運動が実施できているか否かを被験者に確認させるためのガイド情報を生成し、撮像画像に重ね合わせて表示する情報処理装置などが開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０２０－１２７７２６号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特許文献１に係る発明は被検者にトレーニングを実施させるのみで、トレーニングのモチベーションを向上させるには至っていない。

【0006】

一つの側面では、トレーニングの好適な実施を支援することができるプログラムなどを提供することを目的とする。

【課題を解決するための手段】

【0007】

一つの側面に係るプログラムは、所定のゲームに関する操作入力をユーザから受け付け、前記ユーザからの操作入力に応じて、前記ゲームに関する処理を実行し、前記ゲームを操作中の前記ユーザの姿勢を検出し、検出した前記ユーザの姿勢に基づき、前記ユーザがトレーニングを実施しているか否かを判定する処理をコンピュータに実行させる。

【発明の効果】

【0008】

一つの側面では、トレーニングの好適な実施を支援することができる。

【図面の簡単な説明】

【0009】

【図1】実施の形態１における姿勢判定システムの構成例を示す模式図である。

【図2】実施の形態１における端末の構成例を示すブロック図である。

【図3】トレーニングアプリの操作画面の一例を示す模式図である。

【図4】トレーニングアプリの姿勢判定結果画面の第一例を示す模式図である。

【図5】トレーニングアプリの姿勢判定結果画面の第二例を示す模式図である。

【図6】トレーニング情報ＤＢのデータレイアウトを示す説明図である。

【図7】トレーニングアプリの処理手順の第一例を示すフローチャートである。

【図8】トレーニングアプリの処理手順の第二例を示すフローチャートである。

【図9】機械学習モデルの構成例を示す概念図である。

【図10】実施の形態２における姿勢判定システムの構成例を示す模式図である。

【図11】トレーニングアプリの処理手順の第三例を示すフローチャートである。

【発明を実施するための形態】

【0010】

以下、本発明の実施の形態を図面に基づいて説明する。

【0011】

（実施の形態１）
図１は、実施の形態１における姿勢判定システムの構成例を示す模式図である。本実施の形態では、ゲーム（たとえばスマートフォンアプリのゲーム）をプレイ中のユーザに対し、正しい姿勢でのトレーニングを促す姿勢判定システムについて説明する。姿勢判定システムは、情報処理装置１０、１０、１０…およびサーバ５０を含む。各装置は、インターネットなどの通信ネットワークＮＷに接続されている。

【0012】

情報処理装置１０は各ユーザが操作する情報処理端末であり、スマートフォン、タブレット端末などの携帯端末である。本実施の形態では、情報処理装置１０がスマートフォンであるものとし、以下では簡潔に端末１０と記載する。なお、本実施の形態では、端末１０が汎用コンピュータ（スマートフォンなど）であるものとして説明するが、端末１０はゲーム専用機であってもよい。

【0013】

端末１０はサーバ５０から配信されるアプリケーションプログラムがインストールされており、当該アプリケーションを実行することで本実施の形態に係る処理をおこなう。具体的には、端末１０はユーザからの操作入力に応じて、動作するゲームに係る処理を実行すると同時に、ゲームをプレイ中のユーザの姿勢を検出することで、ユーザがトレーニングを実施しているか否かを判定する。

【0014】

本実施の形態では、ユーザにゲームとトレーニングを同時に実施させる。トレーニングの種類は特に限定されないが、好適にはスクワット、プランクなど手指の動作が不要な体幹トレーニングを実施させる。トレーニングと同時にゲームがプレイできるため、持続的にトレーニングするようユーザにモチベーションを与える。また、本実施の形態では、ゲームをプレイ中のユーザがトレーニングを実施しているか否かを、後述する画像認識などの手段でユーザの姿勢から判定する。

【0015】

以下の説明では、便宜上、端末１０が実行するアプリケーションプログラムを「トレーニングアプリ」と呼ぶ。

【0016】

図２は、実施の形態１における端末１０の構成例を示すブロック図である。端末１０は、装置全体を制御する制御部１１、主記憶部１２、撮像部１３、通信部１４、センサ１５、表示部１６、受付部１７、判定部１８および補助記憶部１９を備える。

【0017】

制御部１１は一または複数のＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）、ＧＰＵ（Graphics Processing Unit）などのプロセッサであり、種々の情報処理を実行する。

【0018】

主記憶部１２はＲＡＭ（Random Access Memory）などの一時記憶領域であり、制御部１１が処理を実行するうえで必要なデータを一時的に記憶する。

【0019】

撮像部１３はＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなどの撮像素子を備えたカメラであり、画像（静止画および／または動画）を撮像する。

【0020】

通信部１４は、通信ネットワークＮＷに接続するための通信インターフェイスである。

【0021】

センサ１５は端末１０の傾きまたは加速度を検出するセンサであり、角速度を検出するジャイロセンサまたは加速度を検出する加速度センサなどである。センサ１５は、端末１０の傾き量または加速度の検出結果を制御部１１へ出力する。なお、本実施の形態では、センサ１５をジャイロセンサとして例示する。

【0022】

表示部１６は液晶ディスプレイまたは有機ＥＬ（Electro Luminescence）ディスプレイなどの表示画面であり、画像を表示する。

【0023】

受付部１７はタッチパネル、機械式操作ボタンなどの入力インターフェイスであり、ユーザから操作入力を受け付ける。なお、受付部１７はユーザの音声指令を収集するマイクロフォンであってもよい。

【0024】

判定部１８は、ユーザの姿勢に基づき、ゲームをプレイ中のユーザがトレーニングを実施しているか否かを判定する。

【0025】

補助記憶部１９はＳＳＤ（Solid State Drive）またはＨＤＤ（Hard Disk Drive）などのメモリであり、端末１０に処理を実行させるプログラム１９０（トレーニングアプリ）、その他のデータを記憶している。また、補助記憶部１９は姿勢情報１９１およびトレーニング情報ＤＢ１９２を記憶している。姿勢情報１９１は正しいトレーニング姿勢を表すデータであり、撮像画像から認識されるユーザの姿勢の特徴量（たとえば特徴点（関節点）の座標）などである。トレーニング情報ＤＢ１９２はユーザがトレーニングおよびゲームで獲得したポイントを表すデータであり、たとえばユーザのトレーニングポイント、ゲームポイントなどである。

【0026】

なお、端末１０は非一時的なコンピュータ読取可能な記録媒体１０ａを読み取る読取部を備え、記録媒体１０ａからプログラム１９０（プログラム製品）を読み込んでもよい。また、プログラム１９０は単一のコンピュータ上で実行されてもよく、通信ネットワークＮＷを介して相互接続された複数のコンピュータ上で実行されてもよい。

【0027】

次に、図３から図５で図示する画面例に基づき、本実施の形態の概要を説明する。

【0028】

図３は、トレーニングアプリの操作画面の一例を示す模式図である。端末１０はトレーニングアプリを実行することにより、所定のゲームを進行しながらトレーニングの種類の指示や運動結果を表示する。

【0029】

操作画面は、ゲーム領域３１と撮像画像領域３２を含む。ゲーム領域３１は、ユーザがプレイするゲームを表示する領域である。撮像画像領域３２は、端末１０に内蔵されているカメラ（撮像部１３）により撮像されたユーザの画像を表示する領域である。端末１０は、図３に示すように、表示画面（表示部１６）を上下方向に沿ってほぼ等間隔の２つの領域に区切り、上側の領域をゲーム領域３１、下側の領域を撮像画像領域３２とする。端末１０は、ゲーム領域３１にゲーム（およびトレーニング）開始後の経過時間を表示する。たとえば、端末１０は、表示画面全体をゲーム画面（ゲーム領域３１）とし、ゲーム画面の一部に縮小した画像（撮像画像領域３２）を重ね合わせて表示するようにしてもよい。あるいは、端末１０は撮像画像を表示せず、ゲーム画面のみを表示するようにしてもよい。なお、図３に示す画面は一例であって、本実施の形態はこれに限定されるものではない。

【0030】

本実施の形態に係るトレーニングアプリでは、複数のゲームが用意されている。端末１０は、不図示のホーム画面でゲームの選択入力を受け付けた場合、図３に示す操作画面に遷移する。図３では、ゲームの一例として、パズルゲームの操作画面を図示している。

【0031】

端末１０は、ユーザからの操作入力に応じてゲームを進行する。ゲームの操作方法はタッチパネルなどを介した手指による操作であってもよいが、本実施の形態において、端末１０は、ユーザが端末１０を傾ける動作をゲーム操作として受け付ける。図３の例では、端末１０は自装置の傾きに応じて、数字が表記されたマス目をスライドさせる。また、端末１０はジャイロセンサ（センサ１５）により自装置の傾きを検出し、検出した傾きに応じてゲームを動作させる。傾き動作によってゲームをプレイ可能とすることで、トレーニングとゲームプレイを好適に組み合わせて実施することができる。

【0032】

図３の例では、ユーザが一人でゲームをプレイしている様子を図示しているが、端末１０はサーバ５０を介して他のユーザの端末１０と同期することで、通信対戦などの共同プレイを可能としてもよい。また、各ユーザの端末１０同士の通信により同期してもよい。すなわち、端末１０は他の端末１０とゲームに関する処理内容を送受信し、自装置を操作しているユーザからの操作入力と、他のユーザからの操作入力とに応じてゲームを進行する。たとえば、端末１０はゲーム領域３１を左右方向に沿って二つの領域に区切り、左側に自装置のユーザに係るゲームのプレイ画面を、右側に他のユーザに係るゲームのプレイ画面を表示する。このように、本実施の形態に係るトレーニングアプリを通信対戦などの共同プレイのアプリケーションとしてもよい。

【0033】

また、本実施の形態では、端末１０が表示装置としての機能と操作機器（コントローラ）としての機能との両方を担っているが、両機能は別々の装置で実行されてもよい。たとえば、端末１０は操作画面を表示するのみで、ジャイロセンサを備えた外付け機器（コントローラ、ウェアラブルデバイスなど）でゲーム操作を受け付けるようにしてもよい。すなわち、端末１０自体がコントローラ機器として機能してもよく、または外部のコントローラ機器から操作入力を受け付けるようにしてもよい。

【0034】

端末１０は、デフォルトで用意されている一または複数のトレーニングのうち、ユーザに実施させるトレーニングの種類を表示する。たとえば、図３に示すように、端末１０はトレーニングの種類を示すテキストを撮像画像領域３２の隅に表示する。なお、トレーニングの種類はユーザが選択できるようにしてもよく、端末１０が自動的に選択してもよい。また、トレーニングの種類はゲームを一回プレイするにあたって常に同じものであってもよいが、時間の経過に応じて異なるトレーニングの種類を表示し、ユーザに実施させてもよい。

【0035】

本実施の形態では、ユーザに体幹トレーニングを実施させる。なお、本明細書における「体幹トレーニング」とは、胴体および／または胴体周辺の部位を鍛えるトレーニングであり、たとえば胸部、腹部、腰部および大腿部の少なくとも一つの部位を鍛えるトレーニングを指す。本実施の形態では、基本的に手を自由に使える状態にある体幹トレーニングを採用する。なお、ユーザが実施するトレーニングは体幹トレーニングに限定されない。たとえば、後述の変形例のように、ランニング、サイクリングなどをトレーニングとして採用してもよい。

【0036】

端末１０はゲームをプレイ中のユーザの姿勢を検出し、検出したユーザの姿勢に基づき、ユーザがトレーニングを実施しているか否かを判定する。姿勢の検出方法は特に限定されないが、本実施の形態では、ユーザを撮像した画像から姿勢を検出（認識）する。

【0037】

端末１０は、ゲームをプレイ中のユーザを継続的に撮像している。たとえば、端末１０は撮像画像から身体部位の特徴点（たとえば関節点）を抽出し、抽出した特徴点の位置に応じてユーザの姿勢を検出する。本実施の形態では、体幹トレーニングを実施させるため、たとえば、端末１０は胸部から大腿部にかけての少なくとも一つの部位を撮像する。端末１０は撮像画像に写るユーザの各部位の特徴点を抽出し、ユーザの姿勢を検出する。たとえば、端末１０は、トレーニングを実施している人物の撮像画像に対し、各特徴点の正解の座標値がラベル付けされた訓練データを学習済みの機械学習モデル（ＣＮＮ（Convolutional Neural Network）、ＬＳＴＭ（Long Short-Term Memory）、トランスフォーマなど）を用いてユーザの姿勢を検出する。端末１０はゲームをプレイ中のユーザの撮像画像を当該モデルに入力することで特徴点を抽出し、ユーザの姿勢を検出する。なお、姿勢検出は機械学習モデルによる検出方法に限定されず、ルールベースのパターンマッチングにより実施してもよい。また、本実施の形態では、端末１０に内蔵されているカメラ（撮像部１３）がユーザを撮像するものとするが、端末１０に外付けされた外部のカメラで撮像してもよい。

【0038】

端末１０は、撮像画像から検出した姿勢と比較する比較対象として、一または複数のトレーニングに対応する姿勢情報１９１を記憶している。姿勢情報１９１は正しいトレーニングの姿勢を表すデータであり、たとえば正しいトレーニング姿勢をとっている場合の各特徴点（関節点）の相対的な位置関係を示す座標データである。

【0039】

端末１０は撮像画像から検出した姿勢と姿勢情報１９１として記憶している正しいトレーニング姿勢とを比較することで、撮像画像領域３２に表示されているトレーニングをユーザが実施しているか否かを判定する。たとえば、端末１０は、撮像画像から検出した姿勢が姿勢情報１９１と比較して所定の範囲内に収まっている場合、正しいトレーニングを実施していると判定する。なお、本実施の形態では、ローカルの端末１０がトレーニングを実施しているか否かを判定するものとするが、クラウド上のサーバ５０が判定してもよい。

【0040】

また、本実施の形態では、一または複数のトレーニングに対応する姿勢情報１９１として、ユーザ固有の姿勢情報が登録できるように構成されている。たとえば、ユーザは端末１０を用いて、登録に必要なトレーニング姿勢を取っている自身を撮像し、撮像された画像から検出される姿勢（特徴点）を姿勢情報１９１として登録する。端末１０はトレーニング姿勢を取っているユーザの撮像画像から姿勢を検出し、トレーニングと対応付けて補助記憶部１９に記憶(登録)する。なお、トレーニング自体を新規に登録可能としてもよい。これにより、各ユーザの姿勢の個人差などを考慮して正しいトレーニング姿勢を判定することができる。

【0041】

図４は、トレーニングアプリの姿勢判定結果画面の第一例を示す模式図である。図４の例では、主記憶部１２に登録済みのトレーニングに対応した姿勢情報と比較して、現在のユーザのトレーニング姿勢が所定の範囲内に収まっていると端末１０が判定したため、撮像画像領域３２に姿勢維持アラートおよびメッセージを表示させている。たとえば、前記アラートは、ユーザに適切な運動姿勢の維持を促すために、アラートの色を所定の範囲内に収まっていることを示す緑色に設定する形態であってもよい。たとえば、前記メッセージは、「その調子で姿勢キープ！」など、ユーザに適切な運動姿勢の維持を促すことを意味するものである。

【0042】

図５は、トレーニングアプリの姿勢判定結果画面の第二例を示す模式図である。図５の例では、主記憶部１２に登録済みのトレーニングに対応した姿勢情報と比較して、現在のユーザのトレーニング姿勢が所定の範囲内に収まっていないと端末１０が判定したため、撮像画像領域３２に姿勢変更アラートおよびメッセージを表示させている。たとえば、前記アラートは、ユーザに適切な運動姿勢への変更を促すために、アラートの色を所定の範囲内に収まっていないことを示す赤色に設定する形態であってもよい。たとえば、前記メッセージは、「正しい姿勢に戻そう！」など、ユーザに適切な運動姿勢への変更を促すことを意味するものである。

【0043】

ユーザの運動姿勢が所定範囲内に収まったままトレーニングが遂行された場合には、ユーザに対するインセンティブとして特典が付与される。特典はトレーニングポイントとして付与され、ユーザがプレイするゲーム内で利用することができる。なお、特典はゲームのプレイ内容（実行内容）に応じてゲームポイントとして付与されるようにしてもよい。これらの特典は、補助記憶部１９にユーザのトレーニング情報ＤＢ１９２として記憶される。

【0044】

図６は、トレーニング情報ＤＢ１９２のデータレイアウトを示す説明図である。トレーニング情報ＤＢ１９２は、図６に示すように、ユーザごとに、トレーニングを実施した日付、トレーニングの種類、トレーニング結果、トレーニングポイント、ゲームポイントおよび合計ポイントを関連付けて記憶する。日付欄には、ユーザがトレーニングアプリを実行した日付が記憶されている。トレーニングの種類欄には、ユーザが実施したトレーニングの種類が記憶されている。トレーニング結果欄には、ユーザが実施したトレーニングの回数または時間が記憶されている。トレーニングポイント欄には、ユーザの運動姿勢が所定範囲内に収まったままトレーニングが遂行された場合に付与される特典が記憶されている。ゲームポイント欄には、ゲームのプレイ内容（実行内容）に応じて付与される特典が記憶されている。合計ポイント欄には、ユーザが獲得したトレーニングポイントとゲームポイントの値の和が記憶されている。

【0045】

トレーニングポイントは、ユーザの運動姿勢が所定範囲内に収まったままトレーニングが遂行された場合に付与されるが、次のような場合に付与されるのであってもよい。たとえば、ユーザが実施したトレーニングの回数（回）および時間（秒）と同じ数値分だけ、トレーニングポイントとして付与されてもよい。また、ユーザが継続してトレーニングを実施している場合には、連続トレーニングボーナスとして継続中の日数分（日）だけ、トレーニングポイントとして付与されてもよい。

【0046】

ユーザが所定のゲームをプレイする際には、ユーザが獲得した合計ポイントをゲームの進行に必要なアイテムなどの取得に自由に充てることができる。また、所定のトレーニングポイントを獲得することで、ゲームのステージクリア条件を満たすようにしてもよい。すなわち、トレーニング内容とゲームのプレイ内容（実行内容）の両方によって特典が付与されることで、トレーニング、ゲームのいずれか一方に偏ることなく、ユーザがモチベーションを維持することができる。

【0047】

上述の処理により、ユーザは自身のトレーニング姿勢に関して適切な認識をすることができ、有効かつ安全なトレーニングを実行するとともに、トレーニングへのモチベーションを維持することができる。

【0048】

次に、本実施の形態において端末１０が実行する処理手順について説明する。

【0049】

図７は、トレーニングアプリの処理手順の第一例を示すフローチャートである。端末１０の制御部１１は、プログラム１９０に基づき以下の処理を実行する。

【0050】

制御部１１は、プレイするゲームの選択入力をユーザから受け付ける（ステップＳ１０１）。制御部１１は、選択されたゲームの操作画面を表示部１６に表示する（ステップＳ１０２）。操作画面は、ゲームのプレイ画面を表示するゲーム領域３１と、ゲームをプレイ中のユーザを撮像した画像を表示する撮像画像領域３２とを上下に配置した画面である。制御部１１は、ユーザに実施させるトレーニングの種類を当該画面に表示する。制御部１１は、撮像部１３によりユーザを撮像する（ステップＳ１０３）。制御部１１は、撮像部１３からユーザの姿勢を検出する（ステップＳ１０４）。制御部１１は、検出したユーザの姿勢に基づき、ユーザがトレーニングを実施しているか否かを判定する（ステップＳ１０５）。具体的には、制御部１１は一または複数のトレーニングに対応する姿勢情報１９１を参照して、操作画面に表示中のトレーニングをユーザが実施しているか否かを判定する。トレーニングを実施していないと判定した場合（ステップＳ１０５：ＮＯ）、制御部１１は、アラートを表示する（ステップＳ１０６）。ステップＳ１０６の処理を実行後、またはステップＳ１０５でＹＥＳである場合、制御部１１はユーザの操作に応じてゲームを終了するか否かを判定する（ステップＳ１０７）。ゲームを終了しないと判定した場合（ステップＳ１０７：ＮＯ）、制御部１１は、処理をステップＳ１０３に戻す。ゲームを終了すると判定した場合（Ｓ１０７：ＹＥＳ）、制御部１１は、一連の処理を終了する。

【0051】

また、トレーニングの種類によっては、トレーニング時間と実施回数に基づいてユーザがトレーニングを遂行したか否かを判定し、特典を付与するのであってもよい。具体的には、端末１０がユーザに対して指定したトレーニングの目標実施回数を、ユーザが制限時間内に達成することができたか否かを判定し、特典付与の有無を決定する。

【0052】

図８は、トレーニングアプリの処理手順の第二例を示すフローチャートである。端末１０の制御部１１は、プログラム１９０に基づき以下の処理を実行する。

【0053】

制御部１１は、プレイするゲームの選択入力をユーザから受け付ける（ステップＳ２０１）。制御部１１は、選択されたゲームの操作画面を表示部１６に表示する（ステップＳ２０２）。操作画面は、ゲームのプレイ画面を表示するゲーム領域３１と、ゲームをプレイ中のユーザを撮像した画像を表示する撮像画像領域３２とを上下に配置した画面である。制御部１１は、ユーザに実施させるトレーニングの種類、目標実施回数および制限時間を当該画面に表示する。制御部１１は、撮像部１３によりユーザを撮像する（ステップＳ２０３）。制御部１１は、撮像部１３からユーザの姿勢を検出する（ステップＳ２０４）。制御部１１は検出したユーザの姿勢に基づき、指定のトレーニングの実施回数を計測する（ステップＳ２０５）。具体的には、制御部１１は一または複数のトレーニングに対応する姿勢情報１９１を参照し、ユーザが指定のトレーニングを実施しているか否かを判定したうえで、操作画面に表示してあるトレーニングの実施回数を計測する。計測された実施回数は、トレーニングＤＢ１９２に記憶される。制御部１１は、ユーザが制限時間内に目標実施回数以上のトレーニングをクリアできたか否かを判定する（ステップＳ２０６)。ユーザが制限時間内に目標実施回数以上のトレーニングをクリアできた場合（ステップＳ２０６：ＹＥＳ）、制御部１１は特典としてトレーニングポイントを付与し、トレーニング情報ＤＢ１９２に記憶する（ステップＳ２０７）。一方、ユーザが制限時間内に目標実施回数以上のトレーニングをクリアできなかった場合（ステップＳ２０６：ＮＯ）、特典は付与せず、ステップＳ２０８に移行する。制御部１１は、ゲームを終了するか否かを判定する（ステップＳ２０８）。ゲームを終了しないと判定した場合（ステップＳ２０８：ＮＯ）、制御部１１は、処理をステップＳ２０３に戻す。ゲームを終了すると判定した場合（ステップＳ２０８：ＹＥＳ）、制御部１１は、一連の処理を終了する。

【0054】

以上より、本実施の形態１によれば、ゲームをプレイ中のユーザの姿勢からトレーニングを実施しているか否かを判定することで、トレーニングへのモチベーションを維持しつつ、トレーニングを適切に実施するようにユーザに促すことができる。

【0055】

（変形例）
実施の形態１では、画像認識によりトレーニング姿勢を検出（認識）する形態について説明した。一方で、トレーニング動画を訓練データとし、ユーザが実施するトレーニングの種類を端末１０が撮像する動画に基づいて判定する方法であってもよい。

【0056】

端末１０はトレーニング動画に対し、正解のトレーニング動作がラベル付けされた学習済みの機械学習モデル（ＣＮＮ、ＬＳＴＭ、トランスフォーマなど）を用いて、ユーザのトレーニングの種類を判定する。端末１０はトレーニング中のユーザの動画を当該モデルに入力することで、ユーザがおこなうトレーニングの種類を判定する。なお、本実施の形態では、端末１０に内蔵されているカメラ（撮像部１３）がユーザを撮像するものとするが、カメラは端末１０に外付けされた外部のカメラであってもよい。

【0057】

図９は、機械学習モデルＭの構成例を示す概念図である。機械学習モデルＭは、ＣＮＮ、ＬＳＴＭ、トランスフォーマなどであり、動画データと出力のラベルとを含む訓練データによって学習する。図９に示すように、機械学習モデルＭには、動画データ（たとえば５秒間のトレーニング動画データなど）が入力され、判定結果としてユーザが実施するトレーニングの種類を出力する。たとえば、出力されるトレーニングの種類は、スクワットやプランクなどのトレーニング、自走式ランニングマシンやダンベルなどのトレーニング器具を使用したトレーニングである。ユーザがトレーニングを実施しない場合には、トレーニングなしと出力する。

【0058】

端末１０は、トレーニングの単位時間あたりの判定結果と総トレーニング時間とに基づいてトレーニングポイントを付与する。たとえば、端末１０が一単位あたり５秒間のスクワットをユーザが６回分実施したと判定した場合には、特典として３０ｐｔ（５秒間×６回）のトレーニングポイントを付与する。付与されたトレーニングポイントは、トレーニング情報ＤＢ１９２に記憶される。

【0059】

以上より、本変形によれば、ユーザがおこなうトレーニングの種類をユーザが実施中のトレーニング動画に基づいて判定することができる。

【0060】

（実施の形態２）
本実施の形態では、実施の形態１の姿勢判定システムにバランスボード６０を組み合わせた形態について説明する。なお、実施の形態１と同様の箇所については同一の符号を付して説明を省略する。

【0061】

図１０は、実施の形態２における姿勢判定システムの構成例を示す模式図である。本実施の形態に係る姿勢判定システムは、バランスボード６０を含む。バランスボード６０は、平板材の底面に円弧状の凸部を備えた器具である。なお、バランスボード６０の形状は特に問わない。たとえば、平板材は、矩形状であっても円状であってもよく、凸部は円弧状ではなく半円球状であってもよい。バランスボード６０は凸部を下にして配置され、平板材の上にユーザが身体の一部または全部を乗せることで使用される。ユーザは、凸部が備えられることにより不安定な状態にあるバランスボード上でバランスを取ることで、体幹などを鍛えることができる。

【0062】

本実施の形態に係るバランスボード６０は、傾きを検出するジャイロセンサと、検出した傾きを送信する通信機とを備える。本実施の形態において、端末１０はバランスボード６０とペアリングされており、バランスボード６０から傾きの検出値を取得する。そして、端末１０はバランスボード６０で検出した傾きに応じて、ゲームに係る処理を実行する。すなわち、バランスボード６０はゲームのコントローラ機器として機能し、ユーザはバランスボード６０を傾かせることでゲームを操作する。

【0063】

端末１０は実施の形態１と同様にゲームをプレイ中のユーザの姿勢を検出し、トレーニングを実施しているか否かを判定する。ここで、端末１０は実施の形態１と同様にユーザを撮像して画像から姿勢を検出するようにしてもよいが、バランスボード６０の傾きから姿勢を検出するようにしてもよい。たとえば、端末１０はバランスボード６０の傾きが水平方向から所定角度の範囲内に収まっているか否かを判定する。もし所定角度の範囲内に収まっていると判定した場合、端末１０はユーザが正しいトレーニング姿勢（バランス）を取っているものと判定する。また、端末１０は撮像画像に代えて、または撮像画像と組み合わせてユーザの姿勢を検出し、検出結果に応じてトレーニングを実施しているか否かを判定する。

【0064】

上述の点以外は実施の形態１と同様であるため、本実施の形態ではフローチャートその他の詳細な説明を省略する。

【0065】

以上より、本実施の形態２によれば、バランスボード６０を組み合わせることで、体幹トレーニングなどのトレーニングをより好適に実施することができる。

【0066】

（変形例）
実施の形態２では、バランスボード６０を組み合わせた形態について説明した。一方で、バランスボード６０以外のトレーニングマシンを組み合わせてもよい。

【0067】

トレーニングマシンは、自走式ランニングマシン、サイクリングマシンなどのマシンが想定される。これらのようなトレーニングマシンをバランスボード６０に代えて使用してもよいが、バランスボード６０と組み合わせると好適である。たとえば、バランスボード６０を図１０で例示したものよりも大型とし、バランスボード６０にトレーニングマシンを載置して使用するようにしてもよい。本変形例では、ユーザがプレイするゲームとして、テニス、サッカーなどの球技に係るスポーツゲームが想定される。バランスボード６０上で、ユーザは自身が目指す方向にトレーニングマシンを傾けて走る、またはペダルをこぐことで、３Ｄ空間のバーチャルスポーツゲームをプレイする。なお、手の動きを再現するために、端末１０のようにジャイロセンサなどのセンサを備えたコントローラ機器を組み合わせて、ゲームを動作（たとえばテニスラケットを振る動きを再現）させてもよい。

【0068】

端末１０は実施の形態２と同様に、ユーザの姿勢を検出してトレーニング（運動）を実施しているか否かを判定する。ここで、端末１０はバランスボード６０の傾き（および／または画像）からユーザの姿勢を検出するだけではなく、トレーニングマシンの動作を含めて判定すると好適である。

【0069】

トレーニングマシンの動作とは、たとえば、トレーニングマシンを使ってトレーニングを実施しているユーザの運動量を表す値である。トレーニングマシンがランニングマシンまたはサイクリングマシンであるとき、走行距離、走行速度などがユーザの運動量を表す値に該当する。端末１０はこれらの値の検出値をトレーニングマシンから無線または有線通信で取得し、検出値の高低に応じてユーザがトレーニングを実施しているか否かを判定する。端末１０はバランスボード６０の傾きおよびトレーニングマシンの動作に基づいて、トレーニングを実施しているか否かを判定し、判定結果を表示する。

【0070】

上記の点以外は実施の形態２と同様であるため、本実施の形態では、フローチャートその他の詳細な説明を省略する。

【0071】

以上より、本変形によれば、ユーザに対して３Ｄ空間を模擬したバーチャルゲームをプレイさせることができ、かつ、バーチャルゲームのプレイ時の動きをトレーニングに転用することができる。

【0072】

（実施の形態３）
本実施の形態では、実施の形態１の姿勢判定システムにおいて、ユーザ同士がトレーニングの実施内容を競い合う形態（以下、トレーニング対戦という）について説明する。なお、実施の形態１と同様の箇所については同一の符号を付して説明を省略する。

【0073】

図３の例では、ユーザが一人でトレーニングを実施している様子を図示しているが、端末１０はサーバ５０を介して他のユーザの端末１０と同期することで、複数人でトレーニング対戦を実施することを可能としてもよい。また、ユーザの端末１０同士の通信により同期してもよい。すなわち、端末１０は他の端末１０とトレーニングに関する処理内容を送受信し、自装置を操作しているユーザのトレーニング内容と、他のユーザのトレーニング内容とを共有する。たとえば、端末１０は撮像画像領域３２を左右方向に沿って二つの領域に区切り、左側に自装置のユーザがトレーニングを実施している画面を、右側に他のユーザがトレーニングを実施している画面を表示する。また、たとえば、端末１０はデフォルトで用意されている一または複数のトレーニングのうち、ユーザに実施させるトレーニングおよびトレーニングの実施回数を撮像画像領域３２の隅に表示する。実施回数は、端末１０がトレーニングを実施しているか否かを判定した結果に基づいて計測する。各ユーザは、表示画面のトレーニング実施回数を他のユーザと共有しながらトレーニングを実施できるため、他のユーザに対する競争心からトレーニングへのモチベーションを維持することができる。このように、本実施の形態に係るトレーニングアプリを、複数人でトレーニングの実施内容を競い合う対戦型アプリケーションとしてもよい。

【0074】

実施の形態３では、ユーザ同士によるトレーニング対戦の勝敗に応じて、各ユーザに対してトレーニングポイントが付与される。具体的には、スクワットのような実施回数を計測する種類のトレーニングで対戦する場合には、所定の時間内にトレーニングを実施した回数がより多いユーザに対してトレーニングポイントが付与される。一方、プランクのような実施時間を計測する種類のトレーニングで対戦する場合には、適切な姿勢でトレーニングを実施した時間がより長いユーザに対してトレーニングポイントが付与される。

【0075】

図１１は、トレーニングアプリの処理手順の第三例を示すフローチャートである。端末１０の制御部１１は、プログラム１９０に基づき以下の処理を実行する。

【0076】

第一プレーヤが操作する端末１０の制御部１１は、所定のゲームプレイを開始後（ステップＳ３０１）、第二プレーヤが操作する他の端末１０にゲーム内容およびトレーニング内容を送信する（ステップＳ３０２）。制御部１１は、第二プレーヤのトレーニング内容を受信した後（ステップＳ３０３）、トレーニング対戦を開始する（ステップＳ３０４）。トレーニング対戦中、制御部１１は、第一プレーヤのトレーニング内容と第二プレーヤのトレーニング内容とを、表示部１６に対比して表示する（ステップＳ３０５）。トレーニング終了後、制御部１１は第一プレーヤと第二プレーヤのトレーニング結果に応じて、特典としてトレーニングポイントを付与する（ステップＳ３０６）。たとえば、制御部１１は、第一プレーヤがスクワットを１０回実施していたと判定した場合には１０ｐｔ、第二プレーヤがスクワットを８回実施していたと判定した場合には８ｐｔをそれぞれ付与する。また、制御部１１はプレーヤ同士のトレーニングの実施回数を比較して、トレーニング対戦の勝敗を判定する（ステップＳ３０７）。実施回数の方が多い場合、つまりトレーニング対戦に勝利した場合（ステップＳ３０７：ＹＥＳ）、勝利ボーナスとしてさらにトレーニングポイントを付与する（ステップＳ３０８）。実施回数が同じか少ない場合、つまりトレーニング対戦に勝利していない場合（ステップＳ３０７：ＮＯ）、勝利ボーナスは付与せずに処理をステップＳ３０９に移行する。制御部１１は、ゲームを終了するか否かを判定する（ステップＳ３０９）。ゲームを終了しないと判定した場合（ステップＳ３０９：ＮＯ）、制御部１１は、処理をステップＳ３０２に戻す。ゲームを終了すると判定した場合（ステップＳ３０９：ＹＥＳ）、制御部１１は、一連の処理を終了する。

【0077】

上述の点以外は実施の形態１と同様であるため、本実施の形態ではその他詳細な説明を省略する。

【0078】

以上より、本実施の形態３によれば、ユーザ同士がトレーニングの実施内容を競い合うことで、トレーニングをより好適に実施することができる。

【0079】

今回開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は上記のように開示された意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

【符号の説明】

【0080】

１０ 情報処理装置（端末）
１０ａ 記録媒体
１１ 制御部
１２ 主記憶部
１３ 撮像部
１４ 通信部
１５ センサ
１６ 表示部
１７ 受付部
１８ 判定部
１９ 補助記憶部
１９０ プログラム
１９１ 姿勢情報
１９２ トレーニング情報ＤＢ
３１ ゲーム領域
３２ 撮像画像領域
５０ サーバ
６０ バランスボード
ＮＷ 通信ネットワーク
Ｍ 機械学習モデル

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】