(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023133487
(43)【公開日】2023-09-22
(54)【発明の名称】プログラム、情報処理装置、および情報処理方法
(51)【国際特許分類】
A61B 5/11 20060101AFI20230914BHJP
【ＦＩ】
A61B5/11 200
【審査請求】未請求
【請求項の数】16
【出願形態】ＯＬ
(21)【出願番号】P 2023125910
(22)【出願日】2023-08-02
(62)【分割の表示】P 2023509555の分割
【原出願日】2022-08-02
(31)【優先権主張番号】P 2021137934
(32)【優先日】2021-08-26
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】520513875
【氏名又は名称】株式会社ＣａＴｅ
(74)【代理人】
【識別番号】110002815
【氏名又は名称】ＩＰＴｅｃｈ弁理士法人
(72)【発明者】
【氏名】寺嶋 一裕
(57)【要約】
【課題】ユーザに負担をかけることなく当該ユーザの運動耐容能に関する評価を行う。
【解決手段】本開示の一態様のプログラムは、コンピュータを、運動中のユーザの写ったユーザ動画を取得する手段、ユーザ動画に基づいて、ユーザの運動耐容能に関する推定を行う手段として機能させる。
【選択図】図７
【解決手段】本開示の一態様のプログラムは、コンピュータを、運動中のユーザの写ったユーザ動画を取得する手段、ユーザ動画に基づいて、ユーザの運動耐容能に関する推定を行う手段として機能させる。
【選択図】図７
【特許請求の範囲】
【請求項1】
コンピュータを、
運動中のユーザの写ったユーザ動画を取得する手段、
前記ユーザ動画に基づいて、前記ユーザの運動耐容能に関する推定を行う手段
として機能させるプログラム。
運動中のユーザの写ったユーザ動画を取得する手段、
前記ユーザ動画に基づいて、前記ユーザの運動耐容能に関する推定を行う手段
として機能させるプログラム。
【請求項2】
前記運動耐容能に関する推定を行う手段は、前記ユーザ動画に基づく入力データに、推定モデルを適用することで、前記ユーザの運動耐容能に関する推定を行う、
請求項１に記載のプログラム。
請求項１に記載のプログラム。
【請求項3】
前記推定モデルは、運動中の被験者の写った被験者動画に関するデータを含む入力データと、当該入力データの各々に関連付けられた正解データとを含む教師データセットを用いた教師あり学習により作成された学習済みモデル、または当該学習済みモデルの派生モデルもしくは蒸留モデルに相当する、
請求項２に記載のプログラム。
請求項２に記載のプログラム。
【請求項4】
前記被験者は、前記ユーザと同一人物である、
請求項３に記載のプログラム。
請求項３に記載のプログラム。
【請求項5】
前記入力データは、前記運動中のユーザの身体状態に関するユーザデータを含む、
請求項２または請求項３に記載のプログラム。
請求項２または請求項３に記載のプログラム。
【請求項6】
前記ユーザデータは、前記運動中のユーザの骨格、表情、肌色、呼吸、または心拍数の少なくとも１つに関するデータを含む、
請求項５に記載のプログラム。
請求項５に記載のプログラム。
【請求項7】
前記推定を行う手段は、前記ユーザの嫌気性代謝閾値、最大酸素摂取量、またはリアルタイムの心肺運動負荷量の少なくとも１つに関する推定を行う、
請求項１乃至請求項６のいずれかに記載のプログラム。
請求項１乃至請求項６のいずれかに記載のプログラム。
【請求項8】
前記コンピュータを、前記ユーザの運動耐容能に関する推定の結果に基づく情報を提示する手段としてさらに機能させる、
請求項１乃至請求項７のいずれかに記載のプログラム。
請求項１乃至請求項７のいずれかに記載のプログラム。
【請求項9】
前記提示する手段は、前記ユーザの運動耐容能の評価指標を提示する、
請求項８に記載のプログラム。
請求項８に記載のプログラム。
【請求項10】
前記提示する手段は、前記ユーザの運動耐容能の評価指標に応じた負荷量を備え、かつ当該ユーザが行った運動とは異なる活動に関する情報を提示する、
請求項８または請求項９に記載のプログラム。
請求項８または請求項９に記載のプログラム。
【請求項11】
前記提示する手段は、前記ユーザの運動耐容能の評価指標の経時的変化に関する情報を提示する、
請求項８乃至請求項１０のいずれかに記載のプログラム。
請求項８乃至請求項１０のいずれかに記載のプログラム。
【請求項12】
前記提示する手段は、前記ユーザの運動耐容能に関する推定の結果に基づいて、前記ユーザの運動負荷量の調整指針に関する情報を提示する、
請求項８乃至請求項１１のいずれかに記載のプログラム。
請求項８乃至請求項１１のいずれかに記載のプログラム。
【請求項13】
前記提示する手段は、前記ユーザの運動負荷量と前記ユーザの運動耐容能の評価指標との関係に関する情報を提示する、
請求項８乃至請求項１２のいずれかに記載のプログラム。
請求項８乃至請求項１２のいずれかに記載のプログラム。
【請求項14】
前記取得する手段は、プレイヤーの身体の動きに応じてゲーム進行が制御されるビデオゲームをプレイ中のユーザの写ったユーザ動画を取得し、
前記推定を行う手段は、前記ビデオゲームのプレイ中に、前記ユーザの運動耐容能に関する推定を行い、
前記コンピュータを、前記ユーザの運動耐容能に関する推定の結果に応じて、当該ユーザに与えられる、前記ビデオゲームに関する課題または特典の少なくとも１つを決定する手段としてさらに機能させる、
請求項１乃至請求項１３のいずれかに記載のプログラム。
前記推定を行う手段は、前記ビデオゲームのプレイ中に、前記ユーザの運動耐容能に関する推定を行い、
前記コンピュータを、前記ユーザの運動耐容能に関する推定の結果に応じて、当該ユーザに与えられる、前記ビデオゲームに関する課題または特典の少なくとも１つを決定する手段としてさらに機能させる、
請求項１乃至請求項１３のいずれかに記載のプログラム。
【請求項15】
運動中のユーザの写ったユーザ動画を取得する手段と、
前記ユーザ動画に基づいて、前記ユーザの運動耐容能に関する推定を行う手段と
を具備する、情報処理装置。
前記ユーザ動画に基づいて、前記ユーザの運動耐容能に関する推定を行う手段と
を具備する、情報処理装置。
【請求項16】
コンピュータが、
運動中のユーザの写ったユーザ動画を取得することと、
前記ユーザ動画に基づいて、前記ユーザの運動耐容能に関する推定を行うことと
を具備する、方法。
運動中のユーザの写ったユーザ動画を取得することと、
前記ユーザ動画に基づいて、前記ユーザの運動耐容能に関する推定を行うことと
を具備する、方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、プログラム、情報処理装置、および情報処理方法に関する。
【背景技術】
【0002】
心臓リハビリテーションは、運動療法を含む総合的活動プログラムを通じて、心臓病の患者が、体力および自信を回復し、快適な家庭生活および社会生活に復帰するとともに、心臓病の再発または再入院を防止することを目指す。運動療法の中心は、ウォーキング、ジョギング、サイクリング、エアロビクス、などの有酸素運動である。有酸素運動をより安全かつ効果的に行うためには、患者が、自己の嫌気性代謝閾値（ＡＴ（Ａｎａｅｒｏｂｉｃ Ｔｈｒｅｓｈｏｌｄ））付近の強度で運動を行うことが好ましい。
【0003】
嫌気性代謝閾値は、運動耐容能の評価指標の一例であって、心肺機能状態の変化点、つまり、有酸素運動と無酸素運動との境界付近の運動強度に相当する。嫌気性代謝閾値は、一般的に、検査対象者に漸増的に運動負荷を与えながら呼気ガスを収集して分析を行うＣＰＸ検査（心肺運動負荷検査）により決定される（非特許文献１参照）。ＣＰＸ検査では、呼気ガス分析により測定された結果（例えば、酸素摂取量、二酸化炭素排出量、１回換気量、呼吸数、分時換気量、またはそれらの組み合わせ）に基づいて、嫌気性代謝閾値が決定される。ＣＰＸ検査によれば、嫌気性代謝閾値のほか、最大運動耐容能付近の運動強度に相当する最大酸素摂取量を決定することもできる。
【先行技術文献】
【非特許文献】
【0004】
【非特許文献1】齋藤 宗靖，心臓リハビリテーションについて，理学療法学，1997年24巻8号p.414-418
【発明の概要】
【発明が解決しようとする課題】
【0005】
ＣＰＸ検査には、検査対象者に大きな身体的負担がかかる、検査装置が高額で実施可能な施設が限られる、などの問題がある。
また、ＣＰＸ検査に必須の呼気ガス分析で必要な呼気マスクの装着は検査対象者にとって快適ではない。
また、ＣＰＸ検査に必須の呼気ガス分析で必要な呼気マスクの装着は検査対象者にとって快適ではない。
【0006】
運動中に呼気マスクのような特殊な器具の装着を強いることは、検査対象者に不快、不便、または面倒と感じさせ、運動耐容能の評価指標（例えば、嫌気性代謝閾値、または最大酸素摂取量）に関する評価の実施を躊躇させるおそれがある。
【0007】
本開示の目的は、ユーザに負担をかけることなく当該ユーザの運動耐容能に関する評価を行うことである。
【課題を解決するための手段】
【0008】
本開示の一態様のプログラムは、コンピュータを、運動中のユーザの写ったユーザ動画を取得する手段、ユーザ動画に基づいて、ユーザの運動耐容能に関する推定を行う手段として機能させる。
【発明の効果】
【0009】
本開示によれば、ユーザに負担をかけることなく当該ユーザの運動耐容能に関する評価を行うことができる。
【図面の簡単な説明】
【0010】
【図1】本実施形態の情報処理システムの構成を示すブロック図である。
【図2】本実施形態のクライアント装置の構成を示すブロック図である。
【図3】本実施形態のサーバの構成を示すブロック図である。
【図4】本実施形態のウェアラブルデバイスの構成を示すブロック図である。
【図5】本実施形態の概要の説明図である。
【図6】本実施形態の教師データセットのデータ構造を示す図である。
【図7】本実施形態の情報処理のフローチャートである。
【図8】本実施形態の情報処理において表示される画面例を示す図である。
【図9】本実施形態の情報処理において表示される画面例を示す図である。
【図10】本実施形態の情報処理において表示される画面例を示す図である。
【図11】変形例１の教師データセットのデータ構造を示す図である。
【発明を実施するための形態】
【0011】
以下、本発明の一実施形態について、図面に基づいて詳細に説明する。なお、実施形態を説明するための図面において、同一の構成要素には原則として同一の符号を付し、その繰り返しの説明は省略する。
【0012】
（１）情報処理システムの構成
情報処理システムの構成について説明する。図１は、本実施形態の情報処理システムの構成を示すブロック図である。
情報処理システムの構成について説明する。図１は、本実施形態の情報処理システムの構成を示すブロック図である。
【0013】
図１に示すように、情報処理システム１は、クライアント装置１０と、サーバ３０と、ウェアラブルデバイス５０とを備える。
クライアント装置１０及びサーバ３０は、ネットワーク（例えば、インターネット又はイントラネット）ＮＷを介して接続される。
クライアント装置１０及びウェアラブルデバイス５０は、例えばBluetooth（登録商標）技術を用いて、無線チャネルを介して接続される。
クライアント装置１０及びサーバ３０は、ネットワーク（例えば、インターネット又はイントラネット）ＮＷを介して接続される。
クライアント装置１０及びウェアラブルデバイス５０は、例えばBluetooth（登録商標）技術を用いて、無線チャネルを介して接続される。
【0014】
クライアント装置１０は、サーバ３０にリクエストを送信する情報処理装置の一例である。クライアント装置１０は、例えば、スマートフォン、タブレット端末、又は、パーソナルコンピュータである。
【0015】
サーバ３０は、クライアント装置１０から送信されたリクエストに応じたレスポンスをクライアント装置１０に提供する情報処理装置の一例である。サーバ３０は、例えば、Ｗｅｂサーバである。
【0016】
ウェアラブルデバイス５０は、ユーザの身体（例えば腕）に装着可能な情報処理装置の一例である。
【0017】
（１－１）クライアント装置の構成
クライアント装置の構成について説明する。図２は、本実施形態のクライアント装置の構成を示すブロック図である。
クライアント装置の構成について説明する。図２は、本実施形態のクライアント装置の構成を示すブロック図である。
【0018】
図２に示すように、クライアント装置１０は、記憶装置１１と、プロセッサ１２と、入出力インタフェース１３と、通信インタフェース１４とを備える。クライアント装置１０は、ディスプレイ１５と、カメラ１６と、深度センサ１７とに接続される。
【0019】
記憶装置１１は、プログラム及びデータを記憶するように構成される。記憶装置１１は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、及び、ストレージ（例えば、フラッシュメモリ又はハードディスク）の組合せである。
【0020】
プログラムは、例えば、以下のプログラムを含む。
・ＯＳ（Operating System）のプログラム
・情報処理を実行するアプリケーション（例えば、ウェブブラウザ、リハビリアプリ、またはフィットネスアプリ）のプログラム
・ＯＳ（Operating System）のプログラム
・情報処理を実行するアプリケーション（例えば、ウェブブラウザ、リハビリアプリ、またはフィットネスアプリ）のプログラム
【0021】
データは、例えば、以下のデータを含む。
・情報処理において参照されるデータベース
・情報処理を実行することによって得られるデータ（つまり、情報処理の実行結果）
・情報処理において参照されるデータベース
・情報処理を実行することによって得られるデータ（つまり、情報処理の実行結果）
【0022】
プロセッサ１２は、記憶装置１１に記憶されたプログラムを起動することによって、クライアント装置１０の機能を実現するコンピュータである。プロセッサ１２は、例えば、以下の少なくとも１つである。
・ＣＰＵ（Central Processing Unit）
・ＧＰＵ（Graphic Processing Unit）
・ＡＳＩＣ（Application Specific Integrated Circuit）
・ＦＰＧＡ（Field Programmable Gate Array）
・ＣＰＵ（Central Processing Unit）
・ＧＰＵ（Graphic Processing Unit）
・ＡＳＩＣ（Application Specific Integrated Circuit）
・ＦＰＧＡ（Field Programmable Gate Array）
【0023】
入出力インタフェース１３は、クライアント装置１０に接続される入力デバイスから情報（例えば、ユーザの指示、画像、音）を取得し、かつ、クライアント装置１０に接続される出力デバイスに情報（例えば、画像、コマンド）を出力するように構成される。
入力デバイスは、例えば、カメラ１６、深度センサ１７、マイクロホン、キーボード、ポインティングデバイス、タッチパネル、センサ、又は、それらの組合せである。
出力デバイスは、例えば、ディスプレイ１５、スピーカ、又は、それらの組合せである。
入力デバイスは、例えば、カメラ１６、深度センサ１７、マイクロホン、キーボード、ポインティングデバイス、タッチパネル、センサ、又は、それらの組合せである。
出力デバイスは、例えば、ディスプレイ１５、スピーカ、又は、それらの組合せである。
【0024】
通信インタフェース１４は、クライアント装置１０と外部装置（例えば、サーバ３０、およびウェアラブルデバイス５０）との間の通信を制御するように構成される。
具体的には、通信インタフェース１４は、サーバ３０との通信のためのモジュール（例えば、ＷｉＦｉモジュール、移動通信モジュール、またはそれらの組み合わせ）を含むことができる。通信インタフェース１４は、ウェアラブルデバイス５０との通信のためのモジュール（例えば、Bluetoothモジュール）を含むことができる。
具体的には、通信インタフェース１４は、サーバ３０との通信のためのモジュール（例えば、ＷｉＦｉモジュール、移動通信モジュール、またはそれらの組み合わせ）を含むことができる。通信インタフェース１４は、ウェアラブルデバイス５０との通信のためのモジュール（例えば、Bluetoothモジュール）を含むことができる。
【0025】
ディスプレイ１５は、画像（静止画、または動画）を表示するように構成される。ディスプレイ１５は、例えば、液晶ディスプレイ、または有機ＥＬディスプレイである。
【0026】
カメラ１６は、撮影を行い、画像信号を生成するように構成される。
【0027】
深度センサ１７は、例えばＬＩＤＡＲ（Light Detection And Ranging）である。深度センサ１７は、当該深度センサ１７から周囲の物体（例えば、ユーザ）までの距離（深度）を測定するように構成される。
【0028】
（１－２）サーバの構成
サーバの構成について説明する。図３は、本実施形態のサーバの構成を示すブロック図である。
サーバの構成について説明する。図３は、本実施形態のサーバの構成を示すブロック図である。
【0029】
図３に示すように、サーバ３０は、記憶装置３１と、プロセッサ３２と、入出力インタフェース３３と、通信インタフェース３４とを備える。
【0030】
記憶装置３１は、プログラム及びデータを記憶するように構成される。記憶装置３１は、例えば、ＲＯＭ、ＲＡＭ、及び、ストレージの組合せである。
【0031】
プログラムは、例えば、以下のプログラムを含む。
・ＯＳのプログラム
・情報処理を実行するアプリケーションのプログラム
・ＯＳのプログラム
・情報処理を実行するアプリケーションのプログラム
【0032】
データは、例えば、以下のデータを含む。
・情報処理において参照されるデータベース
・情報処理の実行結果
・情報処理において参照されるデータベース
・情報処理の実行結果
【0033】
プロセッサ３２は、記憶装置３１に記憶されたプログラムを起動することによって、サーバ３０の機能を実現するコンピュータである。プロセッサ３２は、例えば、以下の少なくとも１つである。
・ＣＰＵ
・ＧＰＵ
・ＡＳＩＣ
・ＦＰＧＡ
・ＣＰＵ
・ＧＰＵ
・ＡＳＩＣ
・ＦＰＧＡ
【0034】
入出力インタフェース３３は、サーバ３０に接続される入力デバイスから情報（例えば、ユーザの指示）を取得し、かつ、サーバ３０に接続される出力デバイスに情報を出力するように構成される。
入力デバイスは、例えば、キーボード、ポインティングデバイス、タッチパネル、又は、それらの組合せである。
出力デバイスは、例えば、ディスプレイである。
入力デバイスは、例えば、キーボード、ポインティングデバイス、タッチパネル、又は、それらの組合せである。
出力デバイスは、例えば、ディスプレイである。
【0035】
通信インタフェース３４は、サーバ３０と外部装置（例えば、クライアント装置１０）との間の通信を制御するように構成される。
【0036】
（１－３）ウェアラブルデバイスの構成
ウェアラブルデバイスの構成について説明する。図４は、本実施形態のウェアラブルデバイスの構成を示すブロック図である。
ウェアラブルデバイスの構成について説明する。図４は、本実施形態のウェアラブルデバイスの構成を示すブロック図である。
【0037】
図４に示すように、ウェアラブルデバイス５０は、記憶装置５１と、プロセッサ５２と、入出力インタフェース５３と、通信インタフェース５４とを備える。ウェアラブルデバイス５０は、ディスプレイ５５と、心拍センサ５６とに接続される。
【0038】
記憶装置５１は、プログラム及びデータを記憶するように構成される。記憶装置５１は、例えば、ＲＯＭ、ＲＡＭ、及び、ストレージの組合せである。
【0039】
プログラムは、例えば、以下のプログラムを含む。
・ＯＳのプログラム
・情報処理を実行するアプリケーション（例えば、リハビリアプリ、またはフィットネスアプリ）のプログラム
・ＯＳのプログラム
・情報処理を実行するアプリケーション（例えば、リハビリアプリ、またはフィットネスアプリ）のプログラム
【0040】
データは、例えば、以下のデータを含む。
・情報処理において参照されるデータベース
・情報処理の実行結果
・情報処理において参照されるデータベース
・情報処理の実行結果
【0041】
プロセッサ５２は、記憶装置５１に記憶されたプログラムを起動することによって、ウェアラブルデバイス５０の機能を実現するコンピュータである。プロセッサ５２は、例えば、以下の少なくとも１つである。
・ＣＰＵ
・ＧＰＵ
・ＡＳＩＣ
・ＦＰＧＡ
・ＣＰＵ
・ＧＰＵ
・ＡＳＩＣ
・ＦＰＧＡ
【0042】
入出力インタフェース５３は、ウェアラブルデバイス５０に接続される入力デバイスから情報（例えば、ユーザの指示、センシング結果）を取得し、かつ、ウェアラブルデバイス５０に接続される出力デバイスに情報（例えば、画像、コマンド）を出力するように構成される。
入力デバイスは、例えば、心拍センサ５６、キーボード、ポインティングデバイス、タッチパネル、又は、それらの組合せである。
出力デバイスは、例えば、ディスプレイ５５、スピーカ、又は、それらの組合せである。
入力デバイスは、例えば、心拍センサ５６、キーボード、ポインティングデバイス、タッチパネル、又は、それらの組合せである。
出力デバイスは、例えば、ディスプレイ５５、スピーカ、又は、それらの組合せである。
【0043】
通信インタフェース５４は、ウェアラブルデバイス５０と外部装置（例えば、クライアント装置１０）との間の通信を制御するように構成される。
具体的には、通信インタフェース５４は、クライアント装置１０との通信のためのモジュール（例えば、Bluetoothモジュール）を含むことができる。
具体的には、通信インタフェース５４は、クライアント装置１０との通信のためのモジュール（例えば、Bluetoothモジュール）を含むことができる。
【0044】
ディスプレイ５５は、画像（静止画、または動画）を表示するように構成される。ディスプレイ５５は、例えば、液晶ディスプレイ、または有機ＥＬディスプレイである。
【0045】
心拍センサ５６は、心拍の計測を行い、センシング信号を生成するように構成される。一例として、心拍センサ５６は、光学式の計測技法により心拍を計測する。
【0046】
（２）実施形態の概要
本実施形態の概要について説明する。図５は、本実施形態の概要の説明図である。
本実施形態の概要について説明する。図５は、本実施形態の概要の説明図である。
【0047】
図５に示すように、クライアント装置１０のカメラ１６は、運動中のユーザＵＳ１の外観（例えば全身）を撮影する。図５の例では、ユーザＵＳ１が自転車の運動を行う例を示しているが、ユーザＵＳ１は任意の運動（有酸素運動、または無酸素運動）を行うことができる。
【0048】
一例として、カメラ１６は、ユーザＵＳ１の外観を、正面または斜め前から撮影する。深度センサ１７は、当該深度センサ１７からユーザＵＳ１の各部位までの距離（深度）を測定する。なお、例えばカメラ１６によって生成される動画データ（２次元）と、例えば深度センサ１７によって生成される深度データとを組み合わせることで、３次元動画データを生成することも可能である。
【0049】
ウェアラブルデバイス５０の心拍センサ５６は、ユーザＵＳ１の心拍を計測し、計測結果をクライアント装置１０へ送信する。
【0050】
クライアント装置１０は、少なくとも、カメラ１６から取得した動画データを参照し、運動中のユーザの身体状態を解析する。クライアント装置１０は、運動中のユーザの身体状態を解析するために、深度センサ１７から取得した深度データをさらに参照してもよい。クライアント装置１０は、動画データ（或いは、動画データおよび深度データ）の解析結果と、ウェアラブルデバイス５０から取得したユーザＵＳ１の心拍の計測結果とに基づく、運動中のユーザＵＳ１の身体状態に関するデータ（以下、「ユーザデータ」という）をサーバ３０へ送信する。
【0051】
サーバ３０は、取得したユーザデータに、学習済みモデルＬＭ１（「推定モデル」の一例）を適用することで、ユーザＵＳ１の運動耐容能に関する推定を行う。サーバ３０は、推定結果（例えば、嫌気性代謝閾値、最大酸素摂取量、またはユーザＵＳ１のリアルタイム心肺運動負荷量を示す数値）をクライアント装置１０へ送信する。
【0052】
このように、情報処理システム１は、運動中のユーザＵＳ１の動画（或いは、動画および深度）、および心拍数に基づいて、当該ユーザＵＳ１の運動耐容能に関する推定を行う。故に、この情報処理システム１によれば、ユーザに特殊な器具の装着などの負担をかけることなく、当該ユーザの運動耐容能に関する評価を行うことができる。
【0053】
（３）教師データセット
本実施形態の教師データセットについて説明する。図６は、本実施形態の教師データセットのデータ構造を示す図である。
本実施形態の教師データセットについて説明する。図６は、本実施形態の教師データセットのデータ構造を示す図である。
【0054】
図６に示すように、教師データセットは、複数の教師データを含む。教師データは、対象モデルの訓練または評価に用いられる。教師データは、サンプルＩＤと、入力データと、正解データとを含む。
【0055】
サンプルＩＤは、教師データを識別する情報である。
【0056】
入力データは、訓練時または評価時に対象モデルに入力されるデータである。入力データは、対象モデルの訓練時または評価時に用いられる例題に相当する。一例として、入力データは、運動中の被験者の身体状態に関するデータである。被験者の身体状態に関するデータの少なくとも一部は、被験者動画データ（或いは、被験者動画データおよび被験者深度データ）を参照して当該被験者の身体状態を解析することで取得される。
【0057】
被験者動画データは、運動中の被験者の写った被験者動画に関するデータである。被験者動画データは、例えば、呼気ガスに関する検査（一例としてＣＰＸ検査）中の被験者の外観（例えば全身）を正面または斜め前（例えば、４５度前方）からカメラ（一例として、スマートフォンに搭載されたカメラ）で撮影することで取得可能である。
【0058】
被験者深度データは、深度センサから運動中の被験者の各部位までの距離（深度）に関するデータである。被験者深度データは、被験者動画の撮影時に、深度センサを動作させることで取得可能である。
【0059】
被験者は、情報処理システム１の運用時に運動耐容能に関する推定が行われるユーザと同一人物であってもよいし、異なる人物であってもよい。被験者およびユーザを同一人物とすることで、対象モデルがユーザの個性を学習し、推定精度が向上する可能性がある。他方、被験者がユーザと異なる人物であることを許容することは、教師データセットの豊富化が容易となる利点がある。また、被験者は、ユーザを含む複数人、またはユーザを含まない複数人により構成されてもよい。
【0060】
図６の例では、入力データは、骨格データ、表情データ、肌色データ、呼吸データ、および心拍数データを含む。
【0061】
骨格データは、運動中の被験者の骨格に関するデータ（例えば特徴量）である。骨格データは、例えば、被験者の各部位の速度、または加速度に関するデータ（被験者が使用する筋肉の部位の変化、または被験者の体感のぶれに関するデータを含み得る）を含む。骨格データは、被験者動画データ（或いは、被験者動画データおよび被験者深度データ）を参照して運動中の被験者の骨格を解析することで取得可能である。一例として、ｉＯＳ（登録商標） １４のＳＤＫであるＶｉｓｉｏｎ、または他の骨格検知アルゴリズムが骨格の解析に利用可能である。或いは、教師データセット向けの骨格データは、例えば、被験者の各部位に動きセンサを装着した状態で運動を行わせることで取得可能である。
【0062】
表情データは、運動中の被験者の表情に関するデータ（例えば特徴量）である。表情データは、アルゴリズム、または学習済みモデルを被験者動画データに適用することで解析可能である。或いは、教師データセット向けの表情データは、例えば被験者動画を視聴した人間がラベリングすることで取得可能である。
【0063】
肌色データは、運動中の被験者の肌色に関するデータ（例えば特徴量）である。肌色データは、アルゴリズム、または学習済みモデルを被験者動画データに適用することで解析可能である。或いは、教師データセット向けの肌色データは、例えば被験者動画を視聴した人間がラベリングすることで取得可能である。
【0064】
呼吸データは、運動中の被験者の呼吸に関するデータ（例えば特徴量）である。呼吸データは、例えば、単位時間あたりの呼吸数または呼吸様式に関する。呼吸様式は、以下の少なくとも１つを含むことができる。
・換気回数
・換気量
・換気速度（つまり、単位時間あたりの換気量、または換気回数）
・換気加速度（つまり、換気速度の時間微分）
・二酸化炭素排出濃度
・二酸化炭素排出量（ＶＣＯ２）
・酸素摂取濃度
・酸素摂取量（ＶＯ２）
呼吸様式に関するデータは、ガス交換比Ｒ（＝ＶＣＯ２／ＶＯ２）のように上記したデータの組み合わせに基づいて算出可能なデータを含んでもよい。
・換気回数
・換気量
・換気速度（つまり、単位時間あたりの換気量、または換気回数）
・換気加速度（つまり、換気速度の時間微分）
・二酸化炭素排出濃度
・二酸化炭素排出量（ＶＣＯ２）
・酸素摂取濃度
・酸素摂取量（ＶＯ２）
呼吸様式に関するデータは、ガス交換比Ｒ（＝ＶＣＯ２／ＶＯ２）のように上記したデータの組み合わせに基づいて算出可能なデータを含んでもよい。
【0065】
呼吸データは、例えば、上記骨格データを解析することで取得可能である。一例として、骨格データから以下の項目を解析可能である。
・肩、胸（側胸部を含み得る）、腹部、またはそれらの組み合わせの動き（広がり）
・吸気時間
・呼気時間
・呼吸補助筋の使用程度
・肩、胸（側胸部を含み得る）、腹部、またはそれらの組み合わせの動き（広がり）
・吸気時間
・呼気時間
・呼吸補助筋の使用程度
【0066】
教師データセット向けの呼吸データは、例えば、運動中の被験者に対して実施された呼気ガスに関する検査の結果から取得可能である。運動中の被験者に対して実施可能な呼気ガス検査の詳細は後述する。或いは、教師データセット向けの呼吸データのうち換気回数、換気量、換気速度、または換気加速度は、例えば、運動中に被験者に対して実施された呼吸機能検査（例えば、肺機能検査、または肺活量検査）の結果から取得することもできる。この場合に、呼吸機能検査には、医療機器に限られず市販の検査器具を用いても構わない。
【0067】
心拍数データは、運動中の被験者の心拍数に関するデータ（例えば、特徴量）である。心拍数データは、例えば、被験者動画データ、またはその解析結果（例えば、肌色データ）を解析することで取得可能である。或いは、教師データセット向けの心拍数データは、例えば、後述する呼吸データとともに、呼気ガスに関する検査の結果から取得されてもよい。教師データセット向けの被験者心拍数データは、被験者に心拍センサ、または心電図モニタ用の電極を装着した状態で上記運動を行わせることでも取得可能である。
【0068】
正解データは、対応する入力データ（例題）に対する正解に相当するデータである。対象モデルは、入力データに対して正解データにより近い出力を行うように訓練（教師あり学習）される。一例として、正解データは、運動耐容能の評価指標、または当該評価指標と運動負荷量との間の関係を示す指標、または運動耐容能の評価指標を決定するための材料となる指標、の少なくとも１つを含む。嫌気性代謝閾値（ＡＴ）、および最大酸素摂取量（Ｐｅａｋ ＶＯ２）は、運動耐容能の評価指標の一例である。心肺運動負荷量は、運動耐容能の評価指標と運動負荷量との間の関係を示す指標の一例である。例えば、心肺運動負荷量は、（リアルタイムの）運動負荷量の最大酸素摂取量に対する割合で算出可能である。
【0069】
正解データは、例えば、運動中の被験者に対して実施された呼気ガスに関する検査の結果から取得可能である。呼気ガスに関する検査の第１例は、呼気ガス分析装置を装着した被験者が、負荷漸増式の運動（例えばエルゴメータ）を実施している間に行われる検査（典型的にはＣＰＸ検査）である。呼気ガスに関する検査の第２例は、呼気ガス分析装置を装着した被験者が、一定、または随時変更可能な負荷量の運動（例えば、自重運動、体操、筋力トレーニング）を実施している間に行われる検査である。
【0070】
或いは、正解データは、運動中の被験者に対して実施された呼気ガス以外の検査の結果からも取得可能である。具体的には、運動中の被験者の汗中、または血中の乳酸濃度測定に基づく心肺運動負荷量予測検査の結果からも正解データを取得可能である。被験者の乳酸濃度測定のために、ウェアラブル乳酸センサを利用してもよい。
【0071】
運動負荷量は、運動の負荷を定量的に評価するための指標である。運動負荷は、以下の少なくとも１つを用いて数値により表すことができる。
・エネルギー（カロリー）消費量
・酸素消費量
・心拍数
・エネルギー（カロリー）消費量
・酸素消費量
・心拍数
【0072】
（４）推定モデル
サーバ３０によって用いられる推定モデルは、教師データセット（図６）を用いた教師あり学習により作成された学習済みモデル、または当該学習済みモデルの派生モデルもしくは蒸留モデルに相当する。
サーバ３０によって用いられる推定モデルは、教師データセット（図６）を用いた教師あり学習により作成された学習済みモデル、または当該学習済みモデルの派生モデルもしくは蒸留モデルに相当する。
【0073】
（５）情報処理
本実施形態の情報処理について説明する。図７は、本実施形態の情報処理のフローチャートである。図８は、本実施形態の情報処理において表示される画面例を示す図である。図９は、本実施形態の情報処理において表示される画面例を示す図である。図１０は、本実施形態の情報処理において表示される画面例を示す図である。
本実施形態の情報処理について説明する。図７は、本実施形態の情報処理のフローチャートである。図８は、本実施形態の情報処理において表示される画面例を示す図である。図９は、本実施形態の情報処理において表示される画面例を示す図である。図１０は、本実施形態の情報処理において表示される画面例を示す図である。
【0074】
情報処理は、例えば以下の開始条件のいずれかの成立に応じて開始する。
・他の処理によって情報処理が呼び出された。
・ユーザが情報処理を呼び出すための操作を行った。
・クライアント装置１０が所定の状態（例えば、所定のアプリの起動）になった。
・所定の日時が到来した。
・所定のイベントから所定の時間が経過した。
・他の処理によって情報処理が呼び出された。
・ユーザが情報処理を呼び出すための操作を行った。
・クライアント装置１０が所定の状態（例えば、所定のアプリの起動）になった。
・所定の日時が到来した。
・所定のイベントから所定の時間が経過した。
【0075】
図７に示すように、クライアント装置１０は、センシング（Ｓ１１０）を実行する。
具体的には、クライアント装置１０は、カメラ１６の動作を有効にすることで、運動中のユーザの動画（以下、「ユーザ動画」という）の撮影を開始する。また、クライアント装置１０は、深度センサ１７の動作を有効にすることで、当該深度センサ１７から運動中のユーザの各部位までの距離（以下、「ユーザ深度」という）の計測を開始する。さらに、クライアント装置１０は、ウェアラブルデバイス５０に、心拍センサ５６による心拍数（以下、「ユーザ心拍数」という）の計測を開始させる。
具体的には、クライアント装置１０は、カメラ１６の動作を有効にすることで、運動中のユーザの動画（以下、「ユーザ動画」という）の撮影を開始する。また、クライアント装置１０は、深度センサ１７の動作を有効にすることで、当該深度センサ１７から運動中のユーザの各部位までの距離（以下、「ユーザ深度」という）の計測を開始する。さらに、クライアント装置１０は、ウェアラブルデバイス５０に、心拍センサ５６による心拍数（以下、「ユーザ心拍数」という）の計測を開始させる。
【0076】
ステップＳ１１０の後に、クライアント装置１０は、データの取得（Ｓ１１１）を実行する。
具体的には、クライアント装置１０は、ステップＳ１１０において有効とした各種センサによって生成されたセンシング結果を取得する。例えば、クライアント装置１０は、カメラ１６からユーザ動画データを取得し、深度センサ１７からユーザ深度データを取得し、ウェアラブルデバイス５０からユーザ心拍数データを取得する。
具体的には、クライアント装置１０は、ステップＳ１１０において有効とした各種センサによって生成されたセンシング結果を取得する。例えば、クライアント装置１０は、カメラ１６からユーザ動画データを取得し、深度センサ１７からユーザ深度データを取得し、ウェアラブルデバイス５０からユーザ心拍数データを取得する。
【0077】
ステップＳ１１１の後に、クライアント装置１０は、リクエスト（Ｓ１１２）を実行する。
具体的には、クライアント装置１０は、ステップＳ１１１において取得したデータを参照し、リクエストを生成する。クライアント装置１０は、生成したリクエストをサーバ３０へ送信する。リクエストは、例えば、以下の少なくとも１つを含むことができる。
・ステップＳ１１１において取得したデータ（例えば、ユーザ動画データ、ユーザ深度データ、またはユーザ心拍数データ）
・ステップＳ１１１において取得したデータを加工したデータ
・ステップＳ１１１において取得したユーザ動画データ（或いは、ユーザ動画データおよびユーザ深度データ）を解析することで取得したユーザデータ（例えば、骨格データ、表情データ、肌色データ、呼吸データ、またはそれらの組み合わせ）
具体的には、クライアント装置１０は、ステップＳ１１１において取得したデータを参照し、リクエストを生成する。クライアント装置１０は、生成したリクエストをサーバ３０へ送信する。リクエストは、例えば、以下の少なくとも１つを含むことができる。
・ステップＳ１１１において取得したデータ（例えば、ユーザ動画データ、ユーザ深度データ、またはユーザ心拍数データ）
・ステップＳ１１１において取得したデータを加工したデータ
・ステップＳ１１１において取得したユーザ動画データ（或いは、ユーザ動画データおよびユーザ深度データ）を解析することで取得したユーザデータ（例えば、骨格データ、表情データ、肌色データ、呼吸データ、またはそれらの組み合わせ）
【0078】
ステップＳ１１２の後に、サーバ３０は、運動耐容能に関する推定（Ｓ１３０）を実行する。
具体的には、サーバ３０は、クライアント装置１０から取得したリクエストに基づいて、推定モデルの入力データを取得する。入力データは、教師データと同様に、ユーザデータ（骨格データ、表情データ、肌色データ、呼吸データ、心拍数データ、またはそれらの組み合わせ）を含む。サーバ３０は、入力データに推定モデルを適用することで、運動耐容能に関する推定を行う。一例として、サーバ３０は、以下の少なくとも１つを推定する。
・運動耐容能の評価指標（例えば、嫌気性代謝閾値、または最大酸素摂取量）
・ユーザの（リアルタイム）運動負荷量と推定した評価指標との関係（例えば、大小関係、差、割合（つまり、心肺運動負荷量）、またはそれらの組み合わせ）
具体的には、サーバ３０は、クライアント装置１０から取得したリクエストに基づいて、推定モデルの入力データを取得する。入力データは、教師データと同様に、ユーザデータ（骨格データ、表情データ、肌色データ、呼吸データ、心拍数データ、またはそれらの組み合わせ）を含む。サーバ３０は、入力データに推定モデルを適用することで、運動耐容能に関する推定を行う。一例として、サーバ３０は、以下の少なくとも１つを推定する。
・運動耐容能の評価指標（例えば、嫌気性代謝閾値、または最大酸素摂取量）
・ユーザの（リアルタイム）運動負荷量と推定した評価指標との関係（例えば、大小関係、差、割合（つまり、心肺運動負荷量）、またはそれらの組み合わせ）
【0079】
ステップＳ１３０の後に、サーバ３０は、レスポンス（Ｓ１３１）を実行する。
具体的には、サーバ３０は、ステップＳ１３０における推定の結果に基づくレスポンスを生成する。サーバ３０は、生成したレスポンスをクライアント装置１０へ送信する。一例として、レスポンスは以下の少なくとも１つを含むことができる。
・運動耐容能に関する推定の結果に相当するデータ
・運動耐容能に関する推定の結果を加工したデータ（例えば、クライアント装置１０のディスプレイ１５に表示されるべき画面のデータ、または当該画面を生成するために参照されるデータ）
具体的には、サーバ３０は、ステップＳ１３０における推定の結果に基づくレスポンスを生成する。サーバ３０は、生成したレスポンスをクライアント装置１０へ送信する。一例として、レスポンスは以下の少なくとも１つを含むことができる。
・運動耐容能に関する推定の結果に相当するデータ
・運動耐容能に関する推定の結果を加工したデータ（例えば、クライアント装置１０のディスプレイ１５に表示されるべき画面のデータ、または当該画面を生成するために参照されるデータ）
【0080】
クライアント装置１０は、ステップＳ１３１の後に、情報提示（Ｓ１１３）を実行する。
具体的には、クライアント装置１０は、サーバ３０から取得したレスポンス（つまり、ユーザの運動耐容能に関する推定の結果）に基づく情報をディスプレイ１５に表示させる。
ただし、情報は、ユーザの代わりに、またはユーザに加えて、ユーザの指導者（例えば、医療関係者、またはトレーナー）向けに当該指導者の使用する端末に提示されてもよい。
具体的には、クライアント装置１０は、サーバ３０から取得したレスポンス（つまり、ユーザの運動耐容能に関する推定の結果）に基づく情報をディスプレイ１５に表示させる。
ただし、情報は、ユーザの代わりに、またはユーザに加えて、ユーザの指導者（例えば、医療関係者、またはトレーナー）向けに当該指導者の使用する端末に提示されてもよい。
【0081】
情報提示（Ｓ１１３）の第１例では、クライアント装置１０は、画面Ｐ１０（図８）をディスプレイ１５に表示させる。画面Ｐ１０は、表示オブジェクトＡ１０ａ～Ａ１０ｂを含む。
表示オブジェクトＡ１０ａは、ユーザの運動耐容能の評価指標を示す情報を表示する。図８の例では、表示オブジェクトＡ１０ａは、ユーザの嫌気性代謝閾値をＭＥＴＳに換算した結果を表示する。
表示オブジェクトＡ１０ｂは、ユーザに対して推奨する活動に関する情報を表示する。ユーザに対して推奨する活動は、ユーザが行った運動とは異なる活動であって、かつユーザの運動耐容能の評価指標に応じた負荷量を備えた活動である。ユーザの運動耐容能の評価指標に応じた負荷量は、例えば、当該運動耐容能の評価指標と同一の負荷量、または当該運動耐容能の評価指標を少し上回る／下回る負荷量である。ユーザに対して推奨する活動は、ユーザの属性（例えば嗜好）に基づいて選定されてもよい。図８の例では、表示オブジェクトＡ１０ｂは、ユーザの嫌気性代謝閾値に相当する負荷量を備える活動から選定された３つを表示する。
表示オブジェクトＡ１０ａは、ユーザの運動耐容能の評価指標を示す情報を表示する。図８の例では、表示オブジェクトＡ１０ａは、ユーザの嫌気性代謝閾値をＭＥＴＳに換算した結果を表示する。
表示オブジェクトＡ１０ｂは、ユーザに対して推奨する活動に関する情報を表示する。ユーザに対して推奨する活動は、ユーザが行った運動とは異なる活動であって、かつユーザの運動耐容能の評価指標に応じた負荷量を備えた活動である。ユーザの運動耐容能の評価指標に応じた負荷量は、例えば、当該運動耐容能の評価指標と同一の負荷量、または当該運動耐容能の評価指標を少し上回る／下回る負荷量である。ユーザに対して推奨する活動は、ユーザの属性（例えば嗜好）に基づいて選定されてもよい。図８の例では、表示オブジェクトＡ１０ｂは、ユーザの嫌気性代謝閾値に相当する負荷量を備える活動から選定された３つを表示する。
【0082】
情報提示（Ｓ１１３）の第２例では、クライアント装置１０は、画面Ｐ１１（図９）をディスプレイ１５に表示させる。画面Ｐ１１は、表示オブジェクトＡ１１ａ～Ａ１１ｂを含む。
表示オブジェクトＡ１１ａは、ユーザの運動耐容能の評価指標を示す情報を表示する。図９の例では、表示オブジェクトＡ１１ａは、ユーザの最大酸素摂取量をＭＥＴＳに換算した結果と、当該結果の前回分からの変化とを表示する。
表示オブジェクトＡ１１ｂは、ユーザの運動耐容能の評価指標をＭＥＴＳに換算した結果の経時的変化を表示する。図９の例では、表示オブジェクトＡ１１ｂは、ユーザの最大酸素摂取量をＭＥＴＳに換算した結果の経時的変化を示すグラフを表示する。
表示オブジェクトＡ１１ａは、ユーザの運動耐容能の評価指標を示す情報を表示する。図９の例では、表示オブジェクトＡ１１ａは、ユーザの最大酸素摂取量をＭＥＴＳに換算した結果と、当該結果の前回分からの変化とを表示する。
表示オブジェクトＡ１１ｂは、ユーザの運動耐容能の評価指標をＭＥＴＳに換算した結果の経時的変化を表示する。図９の例では、表示オブジェクトＡ１１ｂは、ユーザの最大酸素摂取量をＭＥＴＳに換算した結果の経時的変化を示すグラフを表示する。
【0083】
情報提示（Ｓ１１３）の第３例では、クライアント装置１０は、画面Ｐ１２ａ～Ｐ１２ｃ（図１０）をディスプレイ１５に表示させる。クライアント装置１０は、画面Ｐ１２ａ～Ｐ１２ｃをユーザの運動中にディスプレイ１５に表示させる。
画面Ｐ１２ａ～Ｐ１２ｃは、表示オブジェクトＡ１２ａ～Ａ１２ｅを含む。
表示オブジェクトＡ１２ａは、運動の残り時間、または運動の継続時間を表示するオブジェクトである。運動時間の長さは、固定であってもよいし、可変であってもよい。運動時間の長さは、ユーザによって設定されてもよいし、ユーザの指導者により設定されてもよいし、クライアント装置１０によって実行されるアプリの運営者により設定されてもよい。図１０の例では、表示オブジェクトＡ１２ａは、運動の残り時間を示すタイマーを表示する。
表示オブジェクトＡ１２ｂは、ユーザの運動の質を評価したスコアを表示する。一例として、スコアは、ユーザの運動負荷量と運動耐容能の評価指標との差が小さいほど高くなるように付与されるポイントの累積値である。
表示オブジェクトＡ１２ｃは、ユーザの運動負荷量とユーザの運動耐容能の評価指標との関係に関する情報を表示する。図１０の例では、表示オブジェクトＡ１２ｃは、ユーザの運動負荷量が嫌気性代謝閾値を上回るか、嫌気性代謝閾値を下回るかを天秤の状態のアニメーション演出により表示する。
表示オブジェクトＡ１２ｄは、ユーザの運動負荷量とユーザの運動耐容能の評価指標との関係に関する情報を表示する。図１０の例では、表示オブジェクトＡ１２ｄは、ユーザの運動負荷量が嫌気性代謝閾値を上回るか、嫌気性代謝閾値を下回るかをアイコンの表情により表示する。
表示オブジェクトＡ１２ｅは、ユーザの運動負荷量の調整指針に関する情報を表示する。図１０の例では、表示オブジェクトＡ１２ｅは、ユーザの運動負荷量を、増加すべきか、維持すべきか、減少すべきかを伝えるコメントを表示する。
画面Ｐ１２ａ～Ｐ１２ｃは、表示オブジェクトＡ１２ａ～Ａ１２ｅを含む。
表示オブジェクトＡ１２ａは、運動の残り時間、または運動の継続時間を表示するオブジェクトである。運動時間の長さは、固定であってもよいし、可変であってもよい。運動時間の長さは、ユーザによって設定されてもよいし、ユーザの指導者により設定されてもよいし、クライアント装置１０によって実行されるアプリの運営者により設定されてもよい。図１０の例では、表示オブジェクトＡ１２ａは、運動の残り時間を示すタイマーを表示する。
表示オブジェクトＡ１２ｂは、ユーザの運動の質を評価したスコアを表示する。一例として、スコアは、ユーザの運動負荷量と運動耐容能の評価指標との差が小さいほど高くなるように付与されるポイントの累積値である。
表示オブジェクトＡ１２ｃは、ユーザの運動負荷量とユーザの運動耐容能の評価指標との関係に関する情報を表示する。図１０の例では、表示オブジェクトＡ１２ｃは、ユーザの運動負荷量が嫌気性代謝閾値を上回るか、嫌気性代謝閾値を下回るかを天秤の状態のアニメーション演出により表示する。
表示オブジェクトＡ１２ｄは、ユーザの運動負荷量とユーザの運動耐容能の評価指標との関係に関する情報を表示する。図１０の例では、表示オブジェクトＡ１２ｄは、ユーザの運動負荷量が嫌気性代謝閾値を上回るか、嫌気性代謝閾値を下回るかをアイコンの表情により表示する。
表示オブジェクトＡ１２ｅは、ユーザの運動負荷量の調整指針に関する情報を表示する。図１０の例では、表示オブジェクトＡ１２ｅは、ユーザの運動負荷量を、増加すべきか、維持すべきか、減少すべきかを伝えるコメントを表示する。
【0084】
ステップＳ１１３の後に、クライアント装置１０は、情報処理（図７）を終了する。ただし、ユーザの運動耐容能に関する推定を当該ユーザの運動中にリアルタイムに実施する場合に、クライアント装置１０は、ステップＳ１１３の後にデータの取得（Ｓ１１１）に戻ってもよい。
【0085】
（６）小括
以上説明したように、実施形態の情報処理システム１は、運動中のユーザの動画（或いは、動画および深度）、および心拍数に基づいて当該ユーザの運動耐容能に関する推定を行う。これにより、ユーザに特殊な器具の装着などの負担をかけることなく、当該ユーザの運動耐容能に関する評価を行うことができる。
以上説明したように、実施形態の情報処理システム１は、運動中のユーザの動画（或いは、動画および深度）、および心拍数に基づいて当該ユーザの運動耐容能に関する推定を行う。これにより、ユーザに特殊な器具の装着などの負担をかけることなく、当該ユーザの運動耐容能に関する評価を行うことができる。
【0086】
情報処理システム１は、運動中のユーザの動画（或いは、動画および深度）、および心拍数に基づく入力データに、推定モデルを適用することで、当該ユーザの運動耐容能に関する推定を行ってもよい。これにより、ユーザの運動耐容能に関する統計的な推定を短時間で行うことができる。さらに、推定モデルは、前述の教師データセット（図６）を用いた教師あり学習により作成された学習済みモデル、または当該学習済みモデルの派生モデルもしくは蒸留モデルに相当してもよい。これにより、推定モデルを効率的に構築することができる。さらに、推定モデルを適用される入力データは、運動中のユーザの身体状態に関するユーザデータを含んでもよい。これにより、推定モデルの精度を向上させることができる。ユーザデータは、運動中のユーザの骨格、表情、肌色、呼吸、または心拍数の少なくとも１つに関するデータを含んでもよい。これにより、推定モデルの精度を向上させることができる。さらに、被験者は、ユーザと同一人物であってもよい。これにより、ユーザの個性を学習したモデルを利用して、高精度な推定を行うことができる。
【0087】
情報処理システム１は、ユーザの嫌気性代謝閾値、最大酸素摂取量、またはリアルタイムの心肺運動負荷量の少なくとも１つを推定してもよい。これにより、ユーザの運動耐容能、またはユーザのリアルタイムの運動負荷量を適切に評価することができる。
【0088】
情報処理システム１は、ユーザの運動耐容能に関する推定の結果に基づく情報を提示してもよい。これにより、ユーザ、またはその指導者に、ユーザの運動耐容能に応じた助言を行うことができる。第１例として、情報処理システム１は、ユーザの運動耐容能の評価指標を提示してもよい。これにより、情報の受け手が、ユーザの現在の運動耐容能を把握することができる。第２例として、情報処理システム１は、ユーザの運動耐容能の評価指標に応じた負荷量を備え、かつ当該ユーザが行った運動とは異なる活動に関する情報を提示してもよい。これにより、ユーザの活動の自由度を高め、リハビリテーション、またはフィットネスを継続するためのモチベーションを向上させることができる。第３例として、情報処理システム１は、ユーザの運動耐容能の評価指標の経時的変化に関する情報を提示してもよい。これにより、ユーザに自らの運動耐容能の成長、または衰えを感じさせ、リハビリテーション、またはフィットネスを継続するためのモチベーションを向上させることができる。第４例として、情報処理システム１は、運動耐容能に関する推定の結果に基づいて、ユーザの運動負荷量の調整指針に関する情報を提示してもよい。これにより、ユーザは、運動中に提示される指示に従うことで、負荷量を最適化することができる。第５例として、ユーザの運動負荷量とユーザの運動耐容能の評価指標の推定結果との関係に関する情報を提示してもよい。これにより、ユーザは、運動中に負荷量を自ら調整して最適化することができる。
【0089】
（７）変形例１
変形例１について説明する。変形例１は、推定モデルに対する入力データを変形する例である。
変形例１について説明する。変形例１は、推定モデルに対する入力データを変形する例である。
【0090】
（７－１）変形例１の概要
【0091】
変形例１の概要について説明する。本実施形態では、ユーザ動画に基づく入力データに推定モデルを適用する例を示した。変形例１では、ユーザ動画およびユーザの健康状態の双方に基づく入力データに推定モデルを適用することで、当該ユーザの運動耐容能に関する推定を行うこともできる。
【0092】
健康状態は、以下の少なくとも１つを含む。
・年齢
・性別
・身長
・体重
・体脂肪率
・筋肉量
・骨密度
・現病歴
・既往歴
・内服歴
・手術歴
・生活歴（例えば、喫煙歴、飲酒歴、日常生活動作（ＡＤＬ）、フレイルスコア、など）
・家族歴
・呼吸機能検査の結果
・呼吸機能検査以外の検査結果（例えば、血液検査、尿検査、心電図検査（ホルター心電図検査を含む）、心臓超音波検査、Ｘ線検査、ＣＴ検査（心臓形態ＣＴ・冠動脈ＣＴ含む）、ＭＲＩ検査、核医学検査、ＰＥＴ検査、などの結果）
・心臓リハビリテーション施行中に取得されたデータ（Ｂｏｒｇ指数含む）
・年齢
・性別
・身長
・体重
・体脂肪率
・筋肉量
・骨密度
・現病歴
・既往歴
・内服歴
・手術歴
・生活歴（例えば、喫煙歴、飲酒歴、日常生活動作（ＡＤＬ）、フレイルスコア、など）
・家族歴
・呼吸機能検査の結果
・呼吸機能検査以外の検査結果（例えば、血液検査、尿検査、心電図検査（ホルター心電図検査を含む）、心臓超音波検査、Ｘ線検査、ＣＴ検査（心臓形態ＣＴ・冠動脈ＣＴ含む）、ＭＲＩ検査、核医学検査、ＰＥＴ検査、などの結果）
・心臓リハビリテーション施行中に取得されたデータ（Ｂｏｒｇ指数含む）
【0093】
（７－２）教師データセット
変形例１の教師データセットについて説明する。図１１は、変形例１の教師データセットのデータ構造を示す図である。
変形例１の教師データセットについて説明する。図１１は、変形例１の教師データセットのデータ構造を示す図である。
【0094】
図１１に示すように、変形例１の教師データセットは、複数の教師データを含む。教師データは、対象モデルの訓練または評価に用いられる。教師データは、サンプルＩＤと、入力データと、正解データとを含む。
【0095】
サンプルＩＤおよび正解データは、本実施形態において説明したとおりである。
【0096】
入力データは、訓練時または評価時に対象モデルに入力されるデータである。入力データは、対象モデルの訓練時または評価時に用いられる例題に相当する。一例として、入力データは、運動中の被験者の身体状態に関するデータ（つまり、相対的に動的なデータ）、および被験者の健康状態に関するデータ（つまり、相対的に静的なデータ）である。被験者の身体状態に関するデータは、本実施形態において説明したとおりである。
【0097】
被験者の健康状態に関するデータは、様々な方法で取得可能である。被験者の健康状態に関するデータは、被験者の運動前、運動中、または運動後のいずれのタイミングで取得されてもよい。被験者の健康状態に関するデータは、被験者、またはその担当医からの申告に基づいて取得されてもよいし、医療情報システムにおいて被験者に紐づけられている情報を抽出することで取得されてもよいし、被験者のアプリ（例えばヘルスケアアプリ）経由で取得されてもよい。
【0098】
（７－３）推定モデル
変形例１において、サーバ３０によって用いられる推定モデルは、教師データセット（図１１）を用いた教師あり学習により作成された学習済みモデル、または当該学習済みモデルの派生モデルもしくは蒸留モデルに相当する。
変形例１において、サーバ３０によって用いられる推定モデルは、教師データセット（図１１）を用いた教師あり学習により作成された学習済みモデル、または当該学習済みモデルの派生モデルもしくは蒸留モデルに相当する。
【0099】
（７－４）情報処理
変形例１の情報処理について図７を用いて説明する。
変形例１の情報処理について図７を用いて説明する。
【0100】
変形例１において、クライアント装置１０は図７と同様に、センシング（Ｓ１１０）を実行する。
【0101】
ステップＳ１１０の後に、クライアント装置１０は、データの取得（Ｓ１１１）を実行する。
具体的には、クライアント装置１０は、ステップＳ１１０において有効とした各種センサによって生成されたセンシング結果を取得する。例えば、クライアント装置１０は、カメラ１６からユーザ動画データを取得し、深度センサ１７からユーザ深度データを取得し、ウェアラブルデバイス５０からユーザ心拍数データを取得する。
具体的には、クライアント装置１０は、ステップＳ１１０において有効とした各種センサによって生成されたセンシング結果を取得する。例えば、クライアント装置１０は、カメラ１６からユーザ動画データを取得し、深度センサ１７からユーザ深度データを取得し、ウェアラブルデバイス５０からユーザ心拍数データを取得する。
【0102】
さらに、クライアント装置１０は、ユーザの健康状態に関するデータ（以下、「ユーザ健康状態データ」という）を取得する。例えば、クライアント装置１０は、ユーザ、またはその担当医による操作（申告）に基づいてユーザ健康状態データを取得してもよいし、医療情報システムにおいてユーザに紐づけられている情報を抽出することでユーザ健康状態データを取得してもよいし、ユーザのアプリ（例えばヘルスケアアプリ）経由でユーザ健康状態データを取得してもよい。ただし、クライアント装置１０は、ステップＳ１１１とは異なるタイミング（例えば、ステップＳ１１０よりも前、ステップＳ１１０と同じタイミング、ステップＳ１１１よりも後のタイミング）で、ユーザ健康状態データを取得してもよい。
【0103】
ステップＳ１１１の後に、クライアント装置１０は、リクエスト（Ｓ１１２）を実行する。
具体的には、クライアント装置１０は、ステップＳ１１１において取得したデータを参照し、リクエストを生成する。クライアント装置１０は、生成したリクエストをサーバ３０へ送信する。リクエストは、例えば、以下の少なくとも１つを含むことができる。
・ステップＳ１１１において取得したデータ（例えば、ユーザ動画データ、ユーザ深度データ、ユーザ心拍数データ、またはユーザ健康状態データ）
・ステップＳ１１１において取得したデータを加工したデータ
・ステップＳ１１１において取得したユーザ動画データ（或いは、ユーザ動画データおよびユーザ深度データ）を解析することで取得したユーザデータ（例えば、骨格データ、表情データ、肌色データ、呼吸データ、またはそれらの組み合わせ）
具体的には、クライアント装置１０は、ステップＳ１１１において取得したデータを参照し、リクエストを生成する。クライアント装置１０は、生成したリクエストをサーバ３０へ送信する。リクエストは、例えば、以下の少なくとも１つを含むことができる。
・ステップＳ１１１において取得したデータ（例えば、ユーザ動画データ、ユーザ深度データ、ユーザ心拍数データ、またはユーザ健康状態データ）
・ステップＳ１１１において取得したデータを加工したデータ
・ステップＳ１１１において取得したユーザ動画データ（或いは、ユーザ動画データおよびユーザ深度データ）を解析することで取得したユーザデータ（例えば、骨格データ、表情データ、肌色データ、呼吸データ、またはそれらの組み合わせ）
【0104】
ステップＳ１１２の後に、サーバ３０は、運動耐容能に関する推定（Ｓ１３０）を実行する。
具体的には、サーバ３０は、クライアント装置１０から取得したリクエストに基づいて、推定モデルの入力データを取得する。入力データは、教師データと同様に、ユーザデータ（骨格データ、表情データ、肌色データ、呼吸データ、心拍数データ、またはそれらの組み合わせ、および健康状態データ）を含む。サーバ３０は、入力データに推定モデルを適用することで、運動耐容能に関する推定を行う。一例として、サーバ３０は、以下の少なくとも１つを推定する。
・運動耐容能の評価指標（例えば、嫌気性代謝閾値、または最大酸素摂取量）
・ユーザの（リアルタイム）運動負荷量と推定した評価指標との関係（例えば、大小関係、差、割合（つまり、心肺運動負荷量）、またはそれらの組み合わせ）
具体的には、サーバ３０は、クライアント装置１０から取得したリクエストに基づいて、推定モデルの入力データを取得する。入力データは、教師データと同様に、ユーザデータ（骨格データ、表情データ、肌色データ、呼吸データ、心拍数データ、またはそれらの組み合わせ、および健康状態データ）を含む。サーバ３０は、入力データに推定モデルを適用することで、運動耐容能に関する推定を行う。一例として、サーバ３０は、以下の少なくとも１つを推定する。
・運動耐容能の評価指標（例えば、嫌気性代謝閾値、または最大酸素摂取量）
・ユーザの（リアルタイム）運動負荷量と推定した評価指標との関係（例えば、大小関係、差、割合（つまり、心肺運動負荷量）、またはそれらの組み合わせ）
【0105】
ステップＳ１３０の後に、サーバ３０は図７と同様に、レスポンス（Ｓ１３１）を実行する。
【0106】
ステップＳ１３１の後に、クライアント装置１０は図７と同様に、情報提示（Ｓ１１３）を実行する。
【0107】
（７－５）小括
以上説明したように、変形例１の情報処理システム１は、ユーザ動画およびユーザの健康状態の双方に基づく入力データに推定モデルを適用することで、当該ユーザの運動耐容能に関する推定を行う。これにより、ユーザの健康状態をさらに考慮して、高精度な推定を行うことができる。例えば、ユーザの健康状態と、教師データの元となった被験者の健康状態との間に差異がある場合であっても、妥当な推定を行うことができる。
以上説明したように、変形例１の情報処理システム１は、ユーザ動画およびユーザの健康状態の双方に基づく入力データに推定モデルを適用することで、当該ユーザの運動耐容能に関する推定を行う。これにより、ユーザの健康状態をさらに考慮して、高精度な推定を行うことができる。例えば、ユーザの健康状態と、教師データの元となった被験者の健康状態との間に差異がある場合であっても、妥当な推定を行うことができる。
【0108】
（８）その他の変形例
記憶装置１１は、ネットワークＮＷを介して、クライアント装置１０と接続されてもよい。ディスプレイ１５は、クライアント装置１０に内蔵されてもよい。記憶装置３１は、ネットワークＮＷを介して、サーバ３０と接続されてもよい。
記憶装置１１は、ネットワークＮＷを介して、クライアント装置１０と接続されてもよい。ディスプレイ１５は、クライアント装置１０に内蔵されてもよい。記憶装置３１は、ネットワークＮＷを介して、サーバ３０と接続されてもよい。
【0109】
実施形態および変形例１の情報処理システムを、クライアント／サーバ型のシステムによって実装する例を示した。しかしながら、実施形態および変形例１の情報処理システムは、スタンドアロン型のコンピュータによって実装することもできる。一例として、クライアント装置１０が単独で、推定モデルを用いて、運動耐容能に関する推定を行ってもよい。
【0110】
上記の情報処理の各ステップは、クライアント装置１０及びサーバ３０の何れでも実行可能である。一例として、クライアント装置１０の代わりにサーバ３０が、ユーザ動画（或いは、ユーザ動画およびユーザ深度）を解析することでユーザデータの少なくとも一部を取得してもよい。
【0111】
上記説明では、運動耐容能の評価指標として嫌気性代謝閾値または最大酸素摂取量に関する推定を行ったり、当該推定の結果に関する情報を提示したりする例を示した。しかしながら、これらの評価指標の代わりに、またはこれらの評価指標に加えて、他種の運動耐容能の評価指標に関する推定を行ったり、当該推定の結果に関する情報を提示したりしてもよい。
【0112】
上記説明では、サーバ３０からのレスポンスに基づく画面をクライアント装置１０のディスプレイ１５に表示する例を示した。サーバ３０からのレスポンスに基づく画面は、ウェアラブルデバイス５０のディスプレイ５５に表示されてもよい。
【0113】
上記説明では、クライアント装置１０のカメラ１６を用いてユーザ動画を撮影する例を示した。しかしながら、ユーザ動画は、カメラ１６とは別のカメラを用いて撮影されてもよい。クライアント装置１０の深度センサ１７を用いてユーザ深度を計測する例を示した。しかしながら、ユーザ深度は、深度センサ１７とは別の深度センサを用いて計測されてもよい。
【0114】
上記説明では、ユーザの心拍数をウェアラブルデバイス５０により計測する例を示した。しかしながら、心拍数は、動画データ、またはその解析結果（例えば、肌色データ）を解析（例えば、ｒＰＰＧ（Remote Photo-plethysmography）解析）することで取得可能である。心拍数の解析は、機械学習技術を利用して構築された学習済みモデルによって行われてよい。或いは、ユーザに心電図モニタ用の電極を装着した状態で運動を行わせることで、心電図モニタがユーザの心拍数を計測できるようにしてもよい。これらの変形例では、ユーザは、ウェアラブルデバイス５０を装着する必要はない。
【0115】
ウェアラブルデバイス５０は、心拍センサ５６の代わりに、または心拍センサ５６に加えて以下の少なくとも１つの項目を計測するためのセンサを備えることができる。
・加速度
・血糖値
・酸素飽和度
各センサによる計測結果は、入力データの生成、運動耐容能に関する推定、推定の結果に基づく情報の提示、またはその他の場面において適宜利用され得る。一例として、血糖値の計測結果は、例えばエネルギー消費量、または酸素消費量に換算された運動負荷量を評価するために参照され得る。別の例として、加速度の計測結果は、例えば、ユーザの運動（例えば体操）のスコア判定に用いることができる。
・加速度
・血糖値
・酸素飽和度
各センサによる計測結果は、入力データの生成、運動耐容能に関する推定、推定の結果に基づく情報の提示、またはその他の場面において適宜利用され得る。一例として、血糖値の計測結果は、例えばエネルギー消費量、または酸素消費量に換算された運動負荷量を評価するために参照され得る。別の例として、加速度の計測結果は、例えば、ユーザの運動（例えば体操）のスコア判定に用いることができる。
【0116】
推定モデルに対する入力データの一部として加速度データを用いることも可能である。或いは、加速度データを参照してユーザの骨格を解析してもよい。加速度データは、例えば、ユーザ動画の撮影時にユーザに加速度センサを備えたクライアント装置１０をユーザに携行させることで取得してもよい。
【0117】
推定モデルに対する入力データの一部として酸素飽和度データを用いることも可能である。酸素飽和度データは、例えばユーザ動画の撮影時にユーザにパルスオキシメータを装着させることで取得してもよい。或いは、酸素飽和度データは、例えばユーザ動画データに対してｒＰＰＧ解析を行うことで推定されてもよい。
【0118】
上記説明では、ユーザに対して推奨する活動に関する情報を提示する例を示した。しかしながら、かかる情報の代わりに、またはかかる情報に加えて、ユーザに対して推奨する運動負荷量に関する情報を提示してもよい。一例として、ユーザが行った運動と同一の活動について、当該ユーザの運動耐容能の評価指標に応じた負荷量を示す情報（例えば、目標速度、目標回転数、など）を提示してもよい。
【0119】
本実施形態および変形例１の情報処理システム１は、プレイヤーの身体の動きに応じてゲーム進行が制御されるビデオゲームにも適用可能である。一例として、情報処理システム１は、ゲームプレイ中に、ユーザの運動耐容能に関する推定を行い、当該推定の結果に応じて、以下のいずれか１つを決定してもよい。これにより、ビデオゲームがユーザの健康増進に与える効果を高めることができる。
・ユーザに与えられる、ビデオゲームに関する課題（例えば、ステージ、ミッション、クエスト）の質（例えば難易度）、または量
・ユーザに与えられる、ビデオゲームに関する特典（例えば、ゲーム内通貨、アイテム、ボーナス）の質（例えば種類）、または量
・ビデオゲームの進行に関するゲームパラメータ（例えば、スコア、ダメージ）
・ユーザに与えられる、ビデオゲームに関する課題（例えば、ステージ、ミッション、クエスト）の質（例えば難易度）、または量
・ユーザに与えられる、ビデオゲームに関する特典（例えば、ゲーム内通貨、アイテム、ボーナス）の質（例えば種類）、または量
・ビデオゲームの進行に関するゲームパラメータ（例えば、スコア、ダメージ）
【0120】
クライアント装置１０に搭載されたマイクロホン、またはクライアント装置１０に接続されたマイクロホンが、運動中のユーザが発する音波（例えば、呼吸、または発声に伴って生じる音）を受信し、音データを生成してもよい。音データは、ユーザデータとともに推定モデルに対する入力データを構成し得る。
【0121】
上記説明では、呼気ガスに関する検査として、ＣＰＸ検査を例示した。ＣＰＸ検査では、検査対象者に対して漸増的に運動負荷が与えられる。しかしながら、ユーザ動画の撮影時にユーザに与える運動負荷を漸増させる必要はない。具体的には、リアルタイムの心肺運動負荷量は、ユーザに一定、または随時変更可能な運動負荷を与えた状態でも推定可能である。例えば、ユーザが行う運動は、自重運動、体操、筋力トレーニングであってもよい。
【0122】
変形例１では、健康状態に基づく入力データに推定モデルを適用する例を示した。しかしながら、被験者の健康状態（の少なくとも一部）に基づいて、複数の推定モデルを構築することも可能である。この場合に、ユーザの健康状態（の少なくとも一部）が、推定モデルを選択するために参照されてもよい。このさらなる変形例において、推定モデルの入力データは、ユーザの健康状態に基づかないデータであってもよいし、ユーザの健康状態およびユーザ動画に基づくデータであってもよい。
【0123】
以上、本発明の実施形態および変形例について詳細に説明したが、本発明の範囲は上記の実施形態および変形例に限定されない。また、上記の実施形態および変形例は、本発明の主旨を逸脱しない範囲において、種々の改良や変更が可能である。また、上記の実施形態及び変形例は、組合せ可能である。
【符号の説明】
【0124】
１ ：情報処理システム
１０ ：クライアント装置
１１ ：記憶装置
１２ ：プロセッサ
１３ ：入出力インタフェース
１４ ：通信インタフェース
１５ ：ディスプレイ
１６ ：カメラ
１７ ：深度センサ
３０ ：サーバ
３１ ：記憶装置
３２ ：プロセッサ
３３ ：入出力インタフェース
３４ ：通信インタフェース
５０ ：ウェアラブルデバイス
５１ ：記憶装置
５２ ：プロセッサ
５３ ：入出力インタフェース
５４ ：通信インタフェース
５５ ：ディスプレイ
５６ ：心拍センサ
１０ ：クライアント装置
１１ ：記憶装置
１２ ：プロセッサ
１３ ：入出力インタフェース
１４ ：通信インタフェース
１５ ：ディスプレイ
１６ ：カメラ
１７ ：深度センサ
３０ ：サーバ
３１ ：記憶装置
３２ ：プロセッサ
３３ ：入出力インタフェース
３４ ：通信インタフェース
５０ ：ウェアラブルデバイス
５１ ：記憶装置
５２ ：プロセッサ
５３ ：入出力インタフェース
５４ ：通信インタフェース
５５ ：ディスプレイ
５６ ：心拍センサ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
