IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社ミクシィの特許一覧

特開2024-126123情報処理装置、情報処理方法、及びプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024126123
(43)【公開日】2024-09-20
(54)【発明の名称】情報処理装置、情報処理方法、及びプログラム
(51)【国際特許分類】
   G16H 20/30 20180101AFI20240912BHJP
   G06Q 50/10 20120101ALI20240912BHJP
【FI】
G16H20/30
G06Q50/10
【審査請求】未請求
【請求項の数】13
【出願形態】OL
(21)【出願番号】P 2023034308
(22)【出願日】2023-03-07
(71)【出願人】
【識別番号】500033117
【氏名又は名称】株式会社MIXI
(74)【代理人】
【識別番号】100152984
【弁理士】
【氏名又は名称】伊東 秀明
(74)【代理人】
【識別番号】100149401
【弁理士】
【氏名又は名称】上西 浩史
(72)【発明者】
【氏名】小牧 信貴
(72)【発明者】
【氏名】栗山 幸介
(72)【発明者】
【氏名】松本 雅矩
(72)【発明者】
【氏名】大脇 遼平
(72)【発明者】
【氏名】得地 賢吾
(72)【発明者】
【氏名】惠良 栞
【テーマコード(参考)】
5L049
5L050
5L099
【Fターム(参考)】
5L049CC11
5L050CC11
5L099AA15
(57)【要約】      (修正有)
【課題】ユーザが運動を実施する環境に応じて適切な運動を可能にすることができる情報処理装置、情報処理方法、及びプログラムを提供する。
【解決手段】サーバとユーザ端末が、通信ネットワークを介して互いに通信可能に接続されている通信システムにおいて、情報処理装置を構成するサーバは、運動を行う対象ユーザを含む撮影画像を取得する取得部と、撮影画像の中から対象ユーザと対象ユーザとは異なるオブジェクトとを識別し、対象ユーザとオブジェクトとの位置関係に基づいて運動内容を設定する設定部と、設定された運動内容に関する運動画像を表示する表示部と、を有する。
【選択図】図16
【特許請求の範囲】
【請求項1】
運動を行う対象ユーザを含む撮影画像を取得する取得部と、
前記撮影画像の中から前記対象ユーザと前記対象ユーザとは異なるオブジェクトとを識別し、前記対象ユーザと前記オブジェクトとの位置関係に基づいて運動内容を設定する設定部と、
設定された運動内容に関する運動画像を表示する表示部と、
を有する情報処理装置。
【請求項2】
前記設定部は、運動内容に基づいて運動を行う前記対象ユーザの動作範囲に、前記オブジェクトが存在する場合と存在しない場合とで異なる運動内容を設定する、
請求項1に記載の情報処理装置。
【請求項3】
前記設定部は、第1運動に基づいて運動を行う前記対象ユーザの動作範囲に前記オブジェクトが存在する場合、前記第1運動よりも動作範囲の小さい第2運動を設定する、
請求項1に記載の情報処理装置。
【請求項4】
前記設定部は、前記対象ユーザから動作条件を指定するための指定情報を取得した場合、前記指定情報に基づいて運動内容を設定する、
請求項1に記載の情報処理装置。
【請求項5】
運動内容に基づく前記対象ユーザの動作範囲に前記オブジェクトが存在する場合、前記オブジェクトの前記対象ユーザの動作範囲外への移動を前記対象ユーザに推奨する推奨部を有する、
請求項1に記載の情報処理装置。
【請求項6】
前記推奨部は、前記オブジェクトの種別を判定して移動可能か否かを判別し、移動可能と判別した前記オブジェクトの前記対象ユーザの動作範囲外への移動を前記対象ユーザに推奨する、
請求項5に記載の情報処理装置。
【請求項7】
前記設定部は、運動内容に基づいて運動を行う前記対象ユーザの動作範囲に、前記対象ユーザとは異なる移動物体が検出された場合、前記移動物体と干渉しない動作範囲の小さい運動内容に変更する、
請求項1に記載の情報処理装置。
【請求項8】
前記設定部は、運動内容に基づいて運動を行う前記対象ユーザの動作範囲に、前記対象ユーザとは異なる移動物体が検出された場合、動作範囲が前記移動物体と干渉する前記対象ユーザの部位に関する運動を除外した運動内容に変更する、
請求項1に記載の情報処理装置。
【請求項9】
前記設定部は、前記移動物体が検出されなくなった場合、除外した部位に関する運動を含む運動内容に変更する、
請求項8に記載の情報処理装置。
【請求項10】
運動内容に応じた数値を、運動を行った前記対象ユーザに付与する付与部を有し、
前記設定部は、前記対象ユーザと前記オブジェクトとの位置関係に基づいて運動内容を設定したことによって前記数値が所定値よりも減少した場合、前記数値が高く設定された難易度の高い運動項目を運動内容に含める、
請求項1に記載の情報処理装置。
【請求項11】
前記設定部は、動作頻度の高い運動項目を難易度の高い運動項目として運動内容に含める、
請求項10に記載の情報処理装置。
【請求項12】
プロセッサが、運動を行う対象ユーザを含む撮影画像を取得し、
プロセッサが、前記撮影画像の中から前記対象ユーザと前記対象ユーザとは異なるオブジェクトとを識別し、前記対象ユーザと前記オブジェクトとの位置関係に基づいて運動内容を設定し、
プロセッサが、設定された運動内容に関する運動画像を表示する、
情報処理方法。
【請求項13】
プロセッサに、運動を行う対象ユーザを含む撮影画像を取得させ、
プロセッサに、前記撮影画像の中から前記対象ユーザと前記対象ユーザとは異なるオブジェクトとを識別させ、前記対象ユーザと前記オブジェクトとの位置関係に基づいて運動内容を設定させ、
プロセッサに、設定された運動内容に関する運動画像を表示させる、
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、情報処理方法、及びプログラムに関する。
【背景技術】
【0002】
従来から、映像データの送受信を伴う双方向のデータ通信技術は、様々な技術分野で利用されている。その一例としては、オンライン形式のトレーニング又はフィットネスが挙げられる(例えば、特許文献1参照)。
【0003】
特許文献1に記載の技術によれば、ユーザ端末にトレーニングのお手本映像を配信すると共に、ユーザがそのお手本映像を参照しながら行ったトレーニング映像をユーザ端末から受信し、そのトレーニング映像とお手本映像とを比較してトレーニングの有効性、すなわち、トレーニングの運動が適切に実施されているか否かを評価することができる。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2020-195573号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献1では、ユーザは自宅等でもトレーニングやフィットネス等の運動を正しい姿勢や速度で行うことができるとされている。しかしながら、自宅はトレーニングジム等の施設とは異なり、ユーザによっては、部屋が狭かったり家具等の障害物があったりして運動を行うための十分な空間が確保できない場合もある。このように、運動を行うための十分な空間が確保できないような環境のもとでは、運動内容によっては正しい姿勢や速度で行うことができない場合がある。
【0006】
そこで、本発明の目的の一つは、ユーザが運動を実施する環境に応じて適切な運動を可能にすることである。
【課題を解決するための手段】
【0007】
本発明の一態様に係る情報処理装置は、運動を行う対象ユーザを含む撮影画像を取得する取得部と、撮影画像の中から対象ユーザと対象ユーザとは異なるオブジェクトとを識別し、対象ユーザとオブジェクトとの位置関係に基づいて運動内容を設定する設定部と、設定された運動内容に関する運動画像を表示する表示部と、を有する。
【発明の効果】
【0008】
本発明の一態様によれば、ユーザが運動を実施する環境に応じて適切な運動を可能にすることができる。
【図面の簡単な説明】
【0009】
図1】本発明の一実施形態に係る情報処理装置を含む通信システムの概念図である。
図2】運動プログラム選択画面の一例を示す図である。
図3】運動画像表示画面の一例を示す図である。
図4】撮影画像の一例を示す図である。
図5】撮影画像(オブジェクトを識別した状態)の一例を示す図である。
図6】動作条件設定画面の一例を示す図である。
図7】推奨画面の一例を示す図である。
図8】撮影画像(移動物体を検出した場合)の一例を示す図である。
図9】運動項目選択画面の一例を示す図である。
図10】本発明の情報処理装置及び関連機器の各々のハードウェア構成を示す図である。
図11】ユーザ情報を示す図である。
図12】運動プログラム情報を示す図である。
図13】運動項目情報を示す図である。
図14】運動環境情報を示す図である。
図15】ユーザ端末の機能についての説明図である。
図16】本発明の一実施形態に係る情報処理装置の機能についての説明図である。
図17A】本発明の一実施形態に係る情報処理フローを示す図である(その1)。
図17B】本発明の一実施形態に係る情報処理フローを示す図である(その2)。
図18】本発明の一実施形態に係る他の情報処理フローを示す図である。
【発明を実施するための形態】
【0010】
以下、本発明の情報処理装置、情報処理方法、及びプログラムについて、具体的な実施形態を挙げて、添付の図面を参照しながら説明する。なお、以下では、説明上の便宜から、GUI(Graphic User Interface)の観点で説明する場合がある。ただし、その内容を実現するための基礎的なデータ処理技術(通信/伝送技術、データ取得技術、データ記録技術、データ加工/解析技術、画像処理技術、及び可視化技術等)は、公知の技術であるため、それに関する説明については省略することとする。
【0011】
また、本明細書において、ユーザは、本発明の情報処理装置の機能を利用する者であり、詳しくは、所定の機器を操作することで、本発明の情報処理装置の機能がもたらす恩恵(サービス)を享受することができる。所定の機器は、ユーザが所有する機器(例えば、後述のユーザ端末12)でもよいし、店舗等に設置された機器であって、ユーザが所有していないものの店舗等に来店した際に暗証番号やパスワード等を入力したり、或いは入金等したりすることで利用可能な端末やコンピュータであってもよい。
【0012】
<本発明の概要>
本発明は、ユーザ間における双方向の画像の送受信に関する技術である。本発明の一つの実施形態(以下、本実施形態という)に係る情報処理装置は、サーバ10により構成され、図1に示すように、後述するユーザ端末12と共に通信システムSを構築する。ユーザは、通信システムSを通じて、サーバ10から送られてくる画像を表示させ、表示された画像を視聴することができる。なお、図1では、図示の便宜上、対象ユーザを一人とし、対象ユーザのユーザ端末12の台数を1台のみとしているが、当然ながら、対象ユーザは、複数存在してもよい。すなわち、通信システムSには、ユーザ数に応じた台数のユーザ端末12が存在してもよい。
また、本明細書において、画像には、動画(映像)及び静止画像の両方が含まれるが、以下では、画像が主として動画であるケースを想定して説明することとする。
【0013】
本実施形態において、通信システムSは、ユーザがオンライン型のフィットネスサービス(以下、オンラインフィットネス)を利用するために用いられる。オンラインフィットネスを利用するユーザである対象ユーザは、運動プログラムを構成する運動項目(運動メニュー)に沿って運動を行う。運動プログラムとは、1以上(好ましくは複数)の運動項目の組み合わせであり、運動項目とは、具体的な運動内容に基づく運動の分類(種類、種目)である。すなわち、運動プログラムの運動内容は、その運動プログラムを構成する運動項目に応じて変わる。また、運動内容とは、運動によって動かされる部位、及び、その部位の運動中の動かし方であり、具体的には、運動項目、或いは運動プログラムの内容が該当する。
なお、一般的には、一つの運動プログラムを構成する複数の運動項目の中には、対象ユーザの身体において対応する部位や動きが互いに異なる複数の運動、詳しくは、運動のために動かす部位や動作が互いに異なる複数の運動が含まれることになる。
【0014】
また、本実施形態では、運動プログラム、厳密には、運動プログラムを構成する運動項目ごとにスコアが設定されている。スコアは、対象ユーザがその運動を行った場合に対象ユーザに対して付与される数値であり、運動内容に対応する消費カロリー等であってもよいし、運動内容の難易度(例えば、A~Eの5段階)に応じて設定される得点であってもよい。運動内容の難易度によって数値の大きさが異なる場合、例えば、ノーツやタップ等の動作頻度が高い運動、激しい動作を必要とする運動、筋力・体力を必要とする運動、技術を必要とする運動、又は、細かく繊細な動作を必要とする運動等は、難易度が高い運動として、高いスコアが設定されている。
なお、本実施形態では、運動プログラムのスコアは、運動プログラムを構成する運動項目ごとに設定されたスコアの合計値となり、運動プログラムの難易度は、運動プログラムを構成する運動項目の難易度から総合的に判断したものとなる。
【0015】
対象ユーザは、通信システムSを通じてオンラインフィットネスを利用する場合、先ず、ユーザ端末12を操作し、オンラインフィットネス用のアプリケーションプログラム(以下、フィットネス用アプリ)を起動する。フィットネス用アプリの初回起動時には、身長、体重及びその他の必要事項を入力してユーザ登録を行うためのユーザ登録画面(不図示)がユーザ端末12のディスプレイに表示され、対象ユーザがユーザ登録した後、図2に示すような運動プログラムの選択画面がユーザ端末12のディスプレイに表示される。対象ユーザは、画面にて提示された複数の運動プログラム、及び、各運動プログラムに含まれる複数の運動項目、運動プログラムに設定されたスコア、及び運動プログラムに設定された難易度等を確認し、いずれか一つの運動プログラムを選択する。そして、画面上に表示されている決定ボタンを押すと、ユーザ端末12における表示画面が、図3に示すような運動画像表示画面に切り替わり、選択した運動プログラムが開始される。
【0016】
対象ユーザは、運動プログラムが開始されると、運動プログラムに含まれる複数の運動項目の各々を、その運動プログラムに規定される順番通りに実施することにより、オンラインフィットネスを利用する。具体的には、対象ユーザは、サーバ10から配信される見本の映像(本発明の運動画像に相当)をユーザ端末12のディスプレイに表示させ、表示された見本の映像を見ながら運動を行い、詳しくは、その見本の映像と同じように体を動かす。
【0017】
なお、本実施形態では、オンデマンド方式、すなわち、サーバ10等により生成された映像を一旦サーバ10に保存してから、任意のタイミングで対象ユーザからの要求に応じてその映像をサーバ10から対象ユーザのユーザ端末12に配信することとする。
ただし、本発明は、ライブ配信で映像を配信する場合にも適用可能であり、ライブ配信の場合は、HTTP Live Streaming、Common Media Application Format、Web Real-Time Communications、Real-Time Messasing Protocol及びMPEG DASH等の既存の技術を用いて実現されるとよい。また、ライブ配信は、サーバ10から対象ユーザのユーザ端末12に向けて映像が送信された際に、対象ユーザが若干の遅延をもってその映像を視聴することが可能な配信方式を含む。
【0018】
また、図4に示すように、本実施形態では、フィットネス用アプリを起動すると、運動開始前及び運動中において、ユーザ端末12のカメラ等により対象ユーザの体(全身)、及び、運動環境、すなわち、対象ユーザ以外のオブジェクト、例えば、家具、家電及びその他運動を行う際に障害と成り得るものを含む背景が撮影される(本発明の撮影画像に相当)。
なお、この撮影画像に基づく表示画像は、見本の映像と共にユーザ端末12のディスプレイに表示させてもよく(不図示)、この場合は、対象ユーザは、表示された見本の映像と自分の動作を撮影した撮影画像とを見比べながら運動を行う。
【0019】
また、撮影画像は、対象ユーザを撮影した実際の映像(リアル画像)であってもよいし、撮影した対象ユーザをアバタ画像化したものでもよい。アバタ画像は、対象ユーザの撮影画像に基づいて描かれるアニメーション画像、イラスト画像、若しくはCG(Computer Graphics)画像である。例えば、アバタ画像は、人型のアバタを示す画像であり、アバタ各部は、対象ユーザの体のうち、対応する部位と連動して動く。つまり、アバタは、対象ユーザの体中の各部位と対応させて複数の部位(具体的には、頭、顔、首、肩、胴、腕、手、腰、脚、及び足等の部位)が設定されたオブジェクトである。なお、アバタの設定手順、及び、アバタ画像の生成手順については、公知の技術であるため、その説明を省略することとする。
【0020】
本実施形態では、ユーザ端末12のカメラに備えられた深度センサ等の機能によって、対象ユーザと共に撮影された物体(オブジェクト)を検知し、撮影画像の中から対象ユーザとその対象ユーザとは異なるオブジェクトとを識別し、対象ユーザとオブジェクトとの位置関係に基づいて運動内容を設定する。なお、深度センサの構造、及び深度センサによる対象ユーザとオブジェクトとの距離の測定手順については、公知の技術であるため、その説明を省略することとする。
【0021】
具体的には、図5に示すように、撮影画像に含まれる対象ユーザの体形から手足等の可動範囲を予測し、運動内容に基づいて運動を行う対象ユーザの動作範囲、すなわち、運動内容に基づいてシミュレーションされた対象ユーザの前後左右上下の360度の動作空間内に、対象ユーザが運動を行う際に障害と成り得るオブジェクトが存在する場合と存在しない場合とで異なる運動内容を設定する。例えば、図5に示す例であれば、撮影画像の中に、ソファ、チェスト及びテーブルの3つのオブジェクトが検出されているので、対象ユーザの動作範囲とこれらのオブジェクトがある位置とが重複しないような運動内容を設定する。
【0022】
オブジェクトが検出された場合の運動内容の具体的な設定方法、すなわち、運動プログラムに含める運動項目を選択する具体的な方法としては、例えば、第1運動に基づいて運動を行う対象ユーザの動作範囲にオブジェクトが存在する場合は、運動内容を、第1運動よりも動作範囲が小さく、オブジェクトと干渉しない第2運動を設定する。
また、図6に示すような動作条件設定画面において、対象ユーザから動作条件の指定を受け付けている場合は、その指定情報に基づいてオブジェクトと干渉しない運動内容を設定する。動作条件の指定としては、運動によって動かす体の部位、運動中の体の動かし方、及び、運動中にとる姿勢等を指定することが含まれる。指定の際には、可能な動作条件を指定することとしてもよいし、不可能な動作条件(除外する動作条件)を指定することとしてもよい。例えば、図6に示す例であれば、左腕を怪我しているという理由で左腕を除外し、下の階の部屋に音や振動が響くのを避けるために足踏み及びジャンプを伴う運動を除外している。なお、動作条件設定画面は、対象ユーザが、運動プログラムを選択するタイミング(厳密には、運動プログラム選択画面を表示した後)でユーザ端末12のディスプレイに表示されるとよい。
【0023】
また、本実施形態では、運動プロジェクトの運動内容に基づく対象ユーザの動作範囲に障害となるオブジェクトが存在する場合、図7に示すような推奨画面において、そのオブジェクトを対象ユーザの動作範囲外へ移動(撤去)するように、対象ユーザに推奨する。このとき、検出された全てのオブジェクトではなく、深度センサ等の機能によりオブジェクトの種別、位置、大きさ及び重さ等を判定して移動可能か否かを判別し、移動可能と判別したオブジェクトについて、動作範囲外への移動を推奨するとよい。例えば、図7に示す例であれば、撮影画像の中に検出されたオブジェクト(ソファ、チェスト、テーブル)の中から、移動可能なオブジェクト(テーブル)を判別して矢印(図5)で示し、そのオブジェクトを動作範囲外へ移動させれば動作可能範囲が拡がる旨、及び、その結果、可能になる運動項目(運動内容)を提示することにより、対象ユーザに対してオブジェクトを動作範囲外へ移動させるように推奨する。
なお、対象ユーザがオブジェクトを動作範囲外へ移動させた後は、対象ユーザとオブジェクトとの位置関係について再度判定を行う。
【0024】
また、本実施形態では、図8に示すように、対象ユーザが運動プロジェクトを実施している最中、他人、子供、ペット又はおもちゃ等の対象ユーザとは異なる移動物体を対象ユーザの動作範囲に検出した場合、すなわち、運動途中で運動プログラムの開始時には存在しなかった運動の障害に成り得るオブジェクトが突然動作範囲に出現した場合、運動画像表示画面上に警告(不図示)を表示して対象ユーザに気付かせたうえで、運動内容によっては、実施中の運動を一旦停止するか、又は、その移動物体と干渉しない動作範囲の小さい運動内容、若しくは、動作範囲が移動物体と干渉する対象ユーザの部位に関する運動を除外した運動内容に、自動的又は対象ユーザの指示に基づいて変更する。一方、移動動物体が検出されなくなった場合、すなわち、移動物体が元の運動内容の動作範囲外に移動した(消えた)場合、変更前の動作範囲を含む運動内容、又は、除外した部位に関する運動を含む運動内容に再び変更する(戻す)。
【0025】
また、本実施形態では、運動プログラムを構成する運動項目ごとにスコアが設定されているが、対象ユーザとオブジェクトとの位置関係に基づいて運動内容を設定した結果、又は、動作条件を設定した結果、運動プログラムに設定されたスコアが所定値よりも減少(例えば当初のスコアの○%以上減少、又は当初のスコアから○ポイント減少)した場合、図9に示すような運動項目選択画面において、減少したスコアを補填して所定値以上のスコアになるように、スコアが高く設定された難易度の高い運動内容を含む運動項目を運動プログラムに含めるように、対象ユーザに対して案内を行う。具体的には、ノーツやタップ等の動作頻度が高い運動、激しい動作を必要とする運動、筋力・体力を必要とする運動、技術を必要とする運動、又は、細かく繊細な動作を必要とする運動等を含む運動項目を対象ユーザに提示し、それらの運動項目を自動的に、又は、その中から対象ユーザが選択した運動項目を運動プログラムに含める。なお、運動項目選択画面は、対象ユーザが、運動プログラムを選択するタイミング(厳密には、運動プログラム選択画面を表示した後)でユーザ端末12のディスプレイに表示されるとよい。
【0026】
<通信システムの構成例>
次に、図10を参照しつつ、通信システムSの構成例について説明する。
通信システムSにおいて、サーバ10とユーザ端末12は、通信ネットワークNを介して互いに通信可能に接続されている。通信ネットワークNは、例えばインターネット又はモバイル通信ネットワークからなる通信回線網であり、LAN(Local Area Network)、WAN(Wide Area Network)、イントラネット及びイーサネット(登録商標)等を含んでもよい。なお、図10では、図1と同様、図示の便宜上、対象ユーザのユーザ端末12の台数を1台としている。
【0027】
ユーザ端末12は、対象ユーザが運動を行っている間、対象ユーザによって使用され、カメラ付きパソコン、カメラ付きスマートフォン、カメラ付きタブレット端末、或いは、その他の情報通信用のクライアント端末でカメラを有する機器によって構成される。ユーザ端末12は、図10に示すように、プロセッサ12a、メモリ12b、及び通信用インタフェース12cを備える。これらの機器の構成は、後述するサーバ10が備える機器(具体的には、プロセッサ10a、メモリ10b、及び通信用インタフェース10c)に準ずる。また、ユーザ端末12は、タッチパネル又はキーボード等からなる入力装置12dと、ディスプレイ及びスピーカ等からなる出力装置12eとを備える。さらに、入力装置12dには、深度センサを備えたカメラが含まれる。
【0028】
また、ユーザ端末12には、OS(Operating System)用のプログラムと、前述のフィットネス用アプリがインストールされている。対象ユーザが運動を行っている間、フィットネス用アプリが起動しており、そのアプリの機能により、ユーザ端末12に搭載のカメラが制御され、運動中の対象ユーザの全身が撮影され、その撮影画像が順次、サーバ10に向けて送信される。また、フィットネス用アプリは、サーバ10から送られてくる表示用データを展開し、ユーザ端末12のディスプレイに、その表示用データに基づく運動画像を表示させることができる。このとき、画面を二分割し、一方の画面領域に運動画像を表示させ、もう一方の画面領域に撮影画像を同時に表示させてもよい。この場合、対象ユーザは、見本の映像の動きを視聴するための運動画像と、自分の動きを表す撮影画像の映像とを対比し、両者の運動フォーム等の違いを把握することができる。
【0029】
サーバ10は、コンピュータの一例であり、具体的には、SNSサーバ、若しくはクラウドサービス用のサーバコンピュータによって構成される。クラウドサービス用のサーバコンピュータには、ASP(Application Service Provider)、SaaS(Software as a Service)、PaaS(Platform as a Service)又はIaaS(Infrastructure as a Service)用のサーバコンピュータ等が含まれる。また、サーバ10は、1台のコンピュータでもよく、並列分散された複数台のコンピュータでもよい。
【0030】
サーバ10は、オンラインフィットネスの利用に関する各種の情報処理を実行する。具体的には、サーバ10は、対象ユーザのユーザ端末12と通信して、対象ユーザの撮影画像を取得する。また、サーバ10は、取得した撮影画像の中から、対象ユーザと、対象ユーザとは異なるオブジェクトとを識別し、対象ユーザとオブジェクトとの位置関係に基づいて運動内容を設定する。そして、サーバ10は、対象ユーザが運動プログラムに従って運動を行う間、見本の映像(運動画像)を対象ユーザのユーザ端末12に向けて送信する。さらに、サーバ10は、取得した撮影画像の中に対象ユーザとは異なる移動物体を検出した場合、対象ユーザと移動物体との位置関係に基づいて運動内容を設定(変更)する。
【0031】
サーバ10の構成について説明すると、サーバ10は、ハードウェア機器として、図10に示すように、プロセッサ10a、メモリ10b、通信用インタフェース10c、及びストレージ10dを有する。
【0032】
プロセッサ10aは、CPU(Central Processing Unit)、MPU(Micro-Processing Unit)、MCU(Micro Controller Unit)、GPU(Graphics Processing Unit)、DSP(Digital Signal Processor)、TPU(Tensor Processing Unit)又はASIC(Application Specific Integrated Circuit)等によって構成されるとよい。
【0033】
メモリ10bは、ROM(Read Only Memory)及びRAM(Random Access Memory)等の半導体メモリによって構成されるとよい。
【0034】
通信用インタフェース10cは、例えばネットワークインターフェースカード、又は通信インタフェースボード等によって構成されるとよい。通信用インタフェース10cによるデータ通信の規格については、特に限定されるものではなく、無線LANによる通信、3G~5G若しくはそれ以降の世代の移動通信システムによる通信、又はLTE(Long Term Evolution)に基づく通信等が挙げられる。
【0035】
ストレージ10dは、フラッシュメモリ、HDD(Hard Disc Drive)、SSD(Solid State Drive)、FD(Flexible Disc)、MOディスク(Magneto-Optical disc)、CD(Compact Disc)、DVD(Digital Versatile Disc)、SDカード(Secure Digital card)、又はUSBメモリ(Universal Serial Bus memory)等によって構成されるとよい。ストレージ10dは、サーバ10内に内蔵されてもよく、外付け形式でサーバ本体に取り付けてもよいし、又はNAS(Network Attached Storage)等であってもよい。
【0036】
また、ストレージ10dは、サーバ10と通信可能に接続された第三のコンピュータ、例えば、データベースサーバやオンラインストレージ等によって構成されてもよい。この場合、サーバ10は、ストレージ10dを構成する第三のコンピュータと共に本発明の情報処理装置を構成することになる。
【0037】
ストレージ10dには、各種の情報が記憶されて蓄積されている。具体的に説明すると、ストレージ10dには、図11に示すユーザ情報、図12に示す運動プログラム情報、図13に示す運動項目情報、及び、図14に示す運動環境情報等が記憶されている。
【0038】
ユーザ情報は、ユーザごとに記憶されており、ユーザの識別ID(ユーザID)及びユーザ名、現時点で運動を実施しているか否かを示すフラグ情報(運動実施フラグ)、現時点で運動を行っている場合にはユーザが選択して実施している運動プログラム、現時点でユーザが指定している動作条件、これまでに運動を実施して付与されたスコアの蓄積量、並びに、ユーザがいつどのような運動プログラムを実施したかを示すオンラインフィットネスの利用履歴等を含む。
【0039】
運動プログラム情報は、運動プログラムごとに記憶されており、運動プログラムの識別ID(プログラムID)及び名称(プログラム名)、運動プログラムの開始から終了までの所要時間、運動プログラムを実施した場合にユーザに付与されるスコア、運動プログラムに含まれる運動項目(運動メニュー)等を含む。なお、運動項目には、運動プログラム中に実施される運動項目の順番に関する情報を含む。また、スコアは、運動プログラムを構成する運動項目ごとに設定されたスコアの合計値に相当する。
【0040】
運動項目情報は、運動項目ごとに記憶されており、運動項目の識別ID(運動項目ID)及び運動の名称(運動内容)、運動時間、運動時に必要となる空間の広さを示す動作範囲、運動によって主に動かす必要がある体の部位(動作部位)、運動の激しさを示す動作頻度、必要となる筋力、体力、技術及び動作頻度等から総合的に設定された難易度、運動項目を実施した場合にユーザに付与されるスコア、並びに、関連付けられた代替運動等を含む。なお、動作頻度及び難易度は、例えばA~Eの5段階で設定されており、Aが最も激しく難しい運動を示し、Eが最も穏やかで易しい運動を示す。また、代替運動としては、スコアが同じで動作範囲若しくは動作部位が異なる運動、或いは、動作範囲若しくは動作部位が同じでスコアが異なる運動等が関連付けられている。
【0041】
運動環境情報は、ユーザごとに記憶されており、ユーザの識別ID(ユーザID)、特定時点での日時、現時点で撮影画像内(具体的にはユーザの動作範囲)に検出されているオブジェクトの有無とオブジェクトが検出されている場合はその種類、現時点で撮影画像内(具体的にはユーザの動作範囲)に検出されている移動物体の有無と移動物体が検出されている場合はその種類、現時点でユーザとオブジェクト及び移動物体との位置関係に基づいて設定された空間の広さを示す動作可能範囲、現時点でユーザが選択又は実施している運動プログラム或いは運動項目(運動内容)、並びに、現時点でユーザがその運動内容を実施できるか否かを示す運動可否等の情報を含む。なお、オブジェクトには、移動させることが可能か否かの情報(例えば、テーブルは可、ソファとチェストは不可)を含み、この情報は、既知の人工知能等の機能を用いて、オブジェクトの種類、形状、大きさ及び重さ等により導き出される。
【0042】
また、サーバ10には、ソフトウェアとして、オペレーティングシステム(OS)用のプログラム、及び、オンラインフィットネスに関する各種の処理プログラムがインストールされている。これらのプログラムは、本発明のプログラムに相当する。サーバ10のプロセッサ10aが上記のプログラムに従って動作することで、サーバ10は、本発明の情報処理装置として機能し、オンラインフィットネスに関する一連のデータ処理を実行する。なお、上記のプログラムは、サーバ10が読み取り可能な記録媒体(メディア)から読み込むことで取得してもよいし、あるいは、インターネット又はイントラネット等の通信ネットワークを介して受信(ダウンロード)することで取得してもよい。
【0043】
次に、サーバ10及びユーザ端末12の各々の構成について、機能面から説明する。
対象ユーザのユーザ端末12は、図15に示すように、入力部21、撮影部22、出力部23、及び送信部24を有する。これらの機能部は、対象ユーザのユーザ端末12が有するハードウェア機器と、そのユーザ端末12にインストールされたソフトウェア(具体的には、フィットネス用アプリに含まれるプログラム)との協働によって実現される。
【0044】
(入力部)
入力部21は、対象ユーザがユーザ端末12を通じて行う操作の入力を受け付け、その入力操作に基づく入力操作情報を取得する。入力操作情報には、運動プログラムを選択又は指定するための情報、運動項目を選択又は指定するための情報、動作条件を選択又は指定するための情報、及び、その他、対象ユーザがユーザ端末12を通じて行う選択又は指定に関する各種情報等が含まれる。
【0045】
(撮影部)
撮影部22は、撮影用のカメラにより撮影された情報に基づいて、撮影画像を表示するための表示用データ(撮影画像データ)を作成する。撮影画像には、対象ユーザが自分を撮影することで得られる対象ユーザ自身の映像、及び、対象ユーザの運動環境、すなわち、対象ユーザ以外のオブジェクトや移動物体を含む背景の映像が含まれる。
【0046】
(出力部)
出力部23は、通信ネットワークNを通じ、サーバ10から送信された運動画像等を表示するための表示用データ(運動画像データ等)を受信し、受信した運動画像データ等に基づく運動画像等を出力する。これにより、運動画像を含む運動画像表示画面が、対象ユーザのユーザ端末12に備えられたディスプレイに表示され、その運動画像中に含まれる音声や音楽が、対象ユーザのユーザ端末12に備えられたスピーカから発せられる。また、受信した表示用データに基づいて運動プログラム選択画面、運動項目選択画面、動作条件設定画面、及び推奨画面等が、対象ユーザのユーザ端末12に備えられたディスプレイに表示され、音を伴う通知や連絡の場合は、スピーカからその音が発せられる。また、出力部23は、撮影部22によって作成された撮影画像を、対象ユーザのユーザ端末12に備えられたディスプレイに表示させる。
【0047】
(送信部)
送信部24は、入力部21が取得した入力操作情報をデータ化し、得られたその操作内容を示す入力操作データをサーバ10に向けて送信する。また、撮影部22によって撮影された撮影情報に基づいて作成した撮影画像データを、サーバ10に向けて送信する。
【0048】
一方、サーバ10は、図16に示すように、受付部31、取得部32、生成部33、設定部34、表示部35、推奨部36、及び付与部37を有する。これらの機能部は、サーバ10が有するハードウェア機器と、サーバ10にインストールされたソフトウェア(プログラム)との協働によって実現される。
以下、各機能部について説明する。
【0049】
(受付部)
受付部31は、対象ユーザのユーザ端末12と通信することによって、オンラインフィットネスの利用に際して対象ユーザが行う操作を受け付ける。具体的には、対象ユーザがユーザ端末12を操作すると、その操作内容を示す入力操作データがユーザ端末12によって生成され、その入力操作データがサーバ10に向けて送信される。受付部31は、ユーザ端末12から送られてくる入力操作データを受信することで、対象ユーザの操作を受け付ける。また、受付部31が受け付ける操作には、運動プログラムの選択操作、運動項目の選択操作、及び動作条件の指定操作等の他、オンラインフィットネスを利用する際に対象ユーザが行う各種の操作、具体的には、選択、指定、指示、要求、命令、許可又は拒否、登録、予約及びその他の入力操作等が含まれる。
【0050】
(取得部)
取得部32は、対象ユーザのユーザ端末12と通信することによって、対象ユーザが運動プログラムに従って運動を開始する前(運動内容を選択している間)、及び運動プログラムに従って運動を行っている間、ユーザ端末12のカメラを用いて撮影された対象ユーザを含む撮影画像を取得する。具体的には、取得部32は、通信ネットワークNを通じてユーザ端末12から送られてくる撮影画像データを、その画像が撮影されている間、一定の取得レートにて随時取得する。なお、撮影画像データには、対象ユーザが自分を撮影することで得られる対象ユーザ自身の映像データの他、対象ユーザの運動環境、すなわち、対象ユーザ以外のオブジェクトを含む背景の映像データが含まれる。
【0051】
(生成部)
生成部33は、対象ユーザのユーザ端末12に送信する各種データを生成する。生成部33により生成されるデータは、運動画像表示画面において、運動画像を表示し、その運動画像中に含まれる音声や音楽を発するための運動画像データの他、運動プログラム選択画面、運動項目選択画面、動作条件設定画面、及び推奨画面等を対象ユーザのユーザ端末12に備えられたディスプレイに表示させるための表示用データ含む。
【0052】
(設定部)
設定部34は、取得部32が取得した撮影画像の中から、対象ユーザと、対象ユーザとは異なるオブジェクトとを識別し、対象ユーザとオブジェクトとの位置関係に基づいて運動内容を設定する。具体的には、設定部34は、運動内容に基づいて運動を行う対象ユーザの動作範囲、すなわち、運動内容に基づいてシミュレーションされた対象ユーザの前後左右上下の360度の動作空間に、対象ユーザが運動を行う際に障害と成り得るオブジェクトが存在する場合と存在しない場合とで異なる運動内容を設定し、その設定した運動内容(運動項目)を運動プログラムに関連付けて、運動プログラム情報に記憶する。
例えば、設定部34は、第1運動に基づいて運動を行う対象ユーザの動作範囲にオブジェクトが存在する場合は、第1運動よりも動作範囲の小さい第2運動を設定する。また、設定部34は、対象ユーザから動作条件を指定した指定情報を取得している場合は、その指定情報を反映さえたうえで、対象ユーザとオブジェクトとの位置関係に基づいて運動内容を設定する。
【0053】
また、設定部34は、対象ユーザが運動プログラムに従って運動を行っている最中、オブジェクトの他、運動内容に基づいて運動を行う対象ユーザの動作範囲に対象ユーザとは異なる移動物体が検出された場合は、その移動物体と干渉しない運動内容に変更する。具体的には、設定部34は、対象ユーザの動作範囲と移動物体との位置関係に基づいて、その時点で実施している運動項目を、対象ユーザの動作が移動物体と干渉しないような動作範囲の小さい運動内容、又は、動作範囲が移動物体と干渉する対象ユーザの部位(例えば左足)に関する運動を除外した運動内容に変更し、その変更した運動内容(運動項目)を運動プログラムに関連付けて、運動プログラム情報に記憶する。
なお、時間の経過と共に移動動物体が移動して検出されなくなった場合、設定部34は、移動物体の存在を理由に変更する前の運動内容、すなわち、元の動作範囲の運動内容、又は除外した部位に関する運動を含む運動内容に、自動的又はユーザの指示に基づいて再度変更する(戻す)。
【0054】
また、設定部34は、後述する付与部37により、運動を行った対象ユーザに対して付与するスコアが、対象ユーザとオブジェクトとの位置関係に基づいて運動内容を設定、すなわち、運動項目を変更したことによって、運動プログラムに当初設定されていたスコアよりも所定値以上減少(例えば当初のスコアの○%以上、又は当初のスコアから○ポイント減少)した場合、減少したスコアを補填して所定値以上のスコアになるように、自動的又は対象ユーザからの指示に基づいて、スコアが高く設定された運動内容を設定する。具体的には、設定部34は、スコアが高く設定されている運動項目を運動プログラムに含め、その含めた運動内容(運動項目)を運動プログラムに関連付けて、運動プログラム情報に記憶する。
なお、スコアが高く設定された運動内容には、動作頻度が高い運動、激しい動作を必要とする運動、筋力・体力を必要とする運動、又は、細かく繊細な動作を必要とする運動等を含む。
【0055】
(表示部)
表示部35は、対象ユーザのユーザ端末12を制御し、運動画像等を対象ユーザのユーザ端末12のディスプレイに表示させる。具体的には、表示部35は、運動画像データをはじめ、生成部33、設定部34、推奨部36及び付与部37等による情報処理の結果を表示するための表示用データ等を通信ネットワークNによりユーザ端末12に向けて送信する。そして、送信されたデータが、対象ユーザのユーザ端末12によって受信されると、ユーザ端末12のディスプレイに運動画像等が表示される。なお、表示用データには、移動物体を検出した場合に対象ユーザに対して警告するデータを含む。
【0056】
(推奨部)
推奨部36は、撮影画像の中から、対象ユーザと、対象ユーザとは異なるオブジェクトとを識別した結果、運動内容に基づいて運動を行う対象ユーザの動作範囲にオブジェクトが存在する場合、そのオブジェクトを対象ユーザの動作範囲外へ移動、すなわち、撤去させるように対象ユーザに推奨する。具体的には、推奨部36は、移動対象となるオブジェクトの移動を推奨するための通知データを生成し、生成されたその通知データを対象ユーザのユーザ端末12に送信する。
なお、推奨部36は、オブジェクトの種別、位置、大きさ及び重さ等を判定して移動可能か否かを判別したうえで、移動可能と判別したオブジェクトに限定して動作範囲外へ移動させることを推奨してもよい。
【0057】
(付与部)
付与部37は、運動プログラムに従って運動を行った対象ユーザに対して、運動プログラムに設定されている運動内容に応じたスコアを、その対象ユーザに付与する。具体的には、付与部37は、運動プログラムが終了した時点又は個別の運動内容(運動項目)が終了した時点で、運動内容に応じた量のスコアをそのユーザに関連付けて、ユーザ情報に記憶する。
【0058】
以上、サーバ10及びユーザ端末12のそれぞれの構成及び機能について説明した。なお、一般的に、サーバ10及びユーザ端末12は、上記以外にも種々の機能を有しているが、ここでは、本発明における通信システムSにおいて作用効果を奏する特徴的な機能のみを説明することとし、その他の既知の機能等については図示及び説明を省略する。
【0059】
<本発明の一実施形態に係る情報処理方法について>
次に、図17及び図18を参照しながら、オンラインフィットネスに関する情報処理フローについて説明する。本実施形態に係る情報処理フローは、本発明の情報処理方法を採用しており、コンピュータシステムとして機能する通信システムSを用いることで実現される。換言すると、情報処理フロー中の各ステップ(具体的には、図17及び図18に示す各ステップ)は、本発明の情報処理方法の構成要素に該当する。なお、以下に説明する情報処理フローは、あくまでも一例であり、本発明の趣旨を逸脱しない範囲において不要なステップを削除したり、新たなステップを追加したり、ステップの実施順序を入れ替えてもよい。
【0060】
この情報処理フローは、本発明の根幹となる処理、すなわち、対象ユーザとオブジェクトとの位置関係に基づいて運動内容を設定する処理を含み、対象ユーザのユーザ端末12との間でデータ通信を行うサーバ10(厳密にはサーバ10のプロセッサ10a)において実行される情報処理である。この情報処理フローは、例えば、図17に示す流れに従って進行する。
【0061】
図17に示すように、先ず、サーバ10は、対象ユーザのユーザ端末12との通信を通じ、対象ユーザが行った運動プログラムの選択操作に基づく入力操作データを受信して、対象ユーザから運動プログラムの選択を受け付けると(S101)、その選択された運動プログラムをオンラインフィットネスにおいて対象ユーザが実施する運動プログラムとして設定する(S102)。
【0062】
次に、サーバ10は、対象ユーザのユーザ端末12との通信を通じ、運動プログラムの開始前に、対象ユーザのユーザ端末12によって撮影された対象ユーザを含む撮影画像を取得すると(S103)、その取得した撮影画像の中から、対象ユーザと、対象ユーザ以外のオブジェクト、すなわち、対象ユーザが運動プログラムに含まれる運動項目に従って運動を実施する際に障害と成り得るものとを識別する(S104)。
【0063】
そして、サーバ10は、撮影画像に含まれる対象ユーザの体形から手足等の可動範囲を予測し、運動プログラムの運動内容に基づいて運動を行う場合の対象ユーザの動作範囲、すなわち、運動内容に基づいてシミュレーションされた対象ユーザの動作空間内に、対象ユーザが運動を行う際に障害と成り得るオブジェクトが存在するか否か判断する(S105)。サーバ10は、対象ユーザの動作範囲に上記オブジェクトが存在しないと判断した場合は(S105:NO)、そのまま後述するS111の処理に移行する。一方、サーバ10は、対象ユーザの動作範囲に上記オブジェクトが存在すると判断した場合は(S105:YES)、引き続き、そのオブジェクトの種別、位置、大きさ及び重さ等の情報からそのオブジェクトを対象ユーザが動作範囲外へ移動することができるか否かを判別し、移動可能と判断した場合(S106:YES)、そのオブジェクトを運動内容に基づく対象ユーザの動作範囲外へ移動、すなわち、動作範囲外へ撤去させるように対象ユーザに推奨する(S107)。なお、サーバ10は、オブジェクトが移動不可能と判断した場合は(S106:NO)、そのまま次の処理に移行する。
【0064】
さらに、サーバ10は、対象ユーザのユーザ端末12との通信を通じ、対象ユーザが行った動作条件の指定操作に基づく入力操作データを受信して、対象ユーザから動作条件の指定を受け付けていると判断すると(S108:YES)、対象ユーザと、運動内容に基づいて運動を行う対象ユーザの動作範囲に存在するオブジェクトとの位置関係、及び動作条件に関する指定情報に基づいて、運動内容を設定する(S109)。具体的には、サーバ10は、対象ユーザが指定した動作条件を考慮したうえで、オブジェクトと干渉しないような動作範囲が小さい運動内容、又はオブジェクトと干渉する対象ユーザの体の部位に関する運動を除外した運動内容等から成る運動項目を、運動プログラムに含める。一方、サーバ10は、対象ユーザから動作条件の指定を受け付けていないと判断すると(S108:NO)、対象ユーザと、運動内容に基づいて運動を行う対象ユーザの動作範囲に存在するオブジェクトとの位置関係に基づいて、運動内容を設定する(S110)。具体的には、サーバ10は、オブジェクトと干渉しないような動作範囲が小さい運動内容、又はオブジェクトと干渉する対象ユーザの体の部位に関する運動を除外した運動内容等から成る運動項目を、運動プログラムに含める。
【0065】
そして、サーバ10は、運動内容が設定されて対象ユーザが実施する運動プログラムが決定すると、対象ユーザのユーザ端末12との通信を通じ、運動プログラムを構成する運動項目の順番に従って設定された運動内容を対象ユーザのユーザ端末12に表示させるための運動画像データを、ユーザ端末12に送信して(S111)、運動プログラムを開始する。
【0066】
さらに、サーバ10は、運動プログラムの実施中においても、運動プログラムに従って運動を行っている対象ユーザのユーザ端末12との通信を通じ、対象ユーザのユーザ端末12によって撮影された運動中の対象ユーザを含む撮影画像を略リアルタイムで継続して取得し(S112)、その取得した撮影画像の中から、対象ユーザと、対象ユーザ以外の移動物体、すなわち、運動プログラムの開始時には存在しなかった運動の障害に成り得るものとを識別する(S113)。
【0067】
そして、サーバ10は、撮影画像に含まれる対象ユーザの動作範囲に移動物体を検出した場合(S114:YES)、対象ユーザがそのときに実施中の運動内容を、対象ユーザと移動物体との位置関係に基づいて、移動物体と干渉しない動作範囲の小さい運動内容、又は動作範囲が移動物体と干渉する対象ユーザの体の部位に関する運動を除外した運動内容に変更する(S115)。その後、サーバ10は、移動物体が移動等した結果、変更前の運動内容の動作範囲に移動物体が検出されなくなったと判断すると(S116:YES)、元々設定されていた変更前の動作範囲を含む運動内容に再び変更する(S117)。なお、撮影画像に含まれる対象ユーザの動作範囲に移動物体を検出していない場合(S114:NO)、又は、移動物体が検出されたままの状態の場合は(S116:NO)、そのまま次の処理に移行し、その判断時点で設定されている運動内容に対応する運動画像データを継続して送信する。
【0068】
サーバ10によるユーザ端末12への運動画像データの送信(S111)は、対象ユーザが運動プログラムを終了するまで繰り返し実行される(S118:NO)。つまり、対象ユーザは、選択した運動プログラが終了するまではその運動プログラムを構成する運動項目(運動内容)の運動を実施し、運動プログラムを構成する最後の運動項目の運動が終了した時点で運動プログラムも終了し(S118:YES)、情報処理フローが終了する。
以上が、本発明の情報処理フローの一例である。
【0069】
次に、他の情報処理フローの一例として、対象ユーザとオブジェクトとの位置関係に基づいて運動内容を設定する際に、対象ユーザに付与するスコアの増減も考慮して運動内容を設定する場合の情報処理について説明する。この情報処理フローは、図17に示す情報処理フローの実行途中、例えば、サーバ10からユーザ端末12へ対して運動画像データの送信する処理(S111)の前等に実行される情報処理であり、例えば、図18に示す流れに従って進行する。
【0070】
図18に示すように、先ず、サーバ10は、対象ユーザとオブジェクトとの位置関係、対象ユーザと移動物体との位置関係、又はそれらと動作条件に関する指定情報とに基づいて、運動プログラムの運動内容が変更されたと判断すると(S201:YES)、変更前後の運動内容に対応して対象ユーザに付与されることになるスコア、すなわち、変更前の運動項目に設定されてるスコアと変更後の運動項目に設定されているスコアとを比較し、運動内容が変更されたことに起因して変更後の運動内容のスコアが所定値よりも減少していると判断した場合(S202:YES)、運動プログラムのスコアが所定値以上になるようにスコアが高く設定された運動項目を運動内容に設定して(S203)、処理を終了する。一方、運動内容を変更していないと判断した場合(S201:NO)、又は、変更後のスコアが所定値よりも減少していないと判断した場合は(S203:NO)、そのまま処理を終了する。
以上が、本発明の他の情報処理フローの一例である。
【0071】
<その他の実施形態>
以上までに本発明の具体的な実施形態を説明したが、上記の実施形態は、本発明の理解を容易にするために挙げた一例にすぎず、本発明を限定するものではない。すなわち、本発明は、その趣旨を逸脱しない限りにおいて、上記の実施形態から変更又は改良され得る。また、本発明には、その等価物が含まれる。
【0072】
例えば、上記の実施形態についての説明において参照された図面が示す画面例は一例に過ぎず、画面の構成例、表示される情報の内容、及びGUI(Graphical User Interface)等は、システム設計の仕様及びユーザの好み等に応じて自由に設計することができ、また適宜変更し得るものである。
【0073】
また、上記の実施形態において、ユーザ端末12に画像を表示させる態様には、端末自体に備わった表示器(ディスプレイ)に表示させる態様、及び、端末に有線又は無線形式で接続された表示器に表示する態様が含まれる。同様に、ユーザ端末12から音声や音楽を発せさせる態様には、端末自体に備わった再生器(スピーカ)により発せさせる態様、及び、端末に有線又は無線形式で接続された音響装置から発せさせる態様が含まれる。なお、ユーザ端末12に接続された表示器又は音響装置には、一般的な据え置き型のディスプレイやスピーカ等の他に、VRゴーグル等のHMD(Head Mounted Display)が含まれ得る。
【0074】
また、上記の実施形態では、サーバ10が本発明の情報処理装置として機能しているが、これに限定されるものではなく、サーバ10が有する機能のうちの全部又は一部がユーザ端末12に備わっていてもよい。その場合には、ユーザ端末12、又はサーバ10とユーザ端末12との協働によって本発明の情報処理装置が構成されることになる。なお、ユーザ端末12が、本発明に情報処理装置を構成する場合は、ユーザ端末12の撮影部22が本発明の取得部に相当し、ユーザ端末12の出力部23が本発明の表示部及び推奨部に相当することになってもよい。
【0075】
また、上記の実施形態では、運動画像データは、サーバ10によって生成され、サーバ10から対象ユーザのユーザ端末12に送信することとした。ただし、これに限定されるものではなく、運動画像データがサーバ10ではなく対象ユーザ以外の他のユーザのユーザ端末12により生成され、サーバ10が、他のユーザのユーザ端末12から送信される運動画像データを取得し、取得した運動画像データを対象ユーザに送信することとしてもよい。
この場合の具体例としては、対象ユーザが、指導ユーザの指導を受けながら運動を行う場合が該当する。例えば、指導ユーザは、対象ユーザが行っている運動の運動項目について、見本となる運動を実演し、運動画像に相当するその見本の映像(音声を含む)を対象ユーザに向けてライブ配信する。このとき、指導ユーザは、対象ユーザの撮影画像を取得して、その撮影画像を略リアルタイムで視聴することができてもよい。その場合、対象ユーザは、指導ユーザに運動中の姿勢や動作の確認をしてもらうことができ、必要に応じて指導ユーザからアドバイスを送ってもらうことができる。
【0076】
また、上記の実施形態では、運動の一例としてオンラインフィットネスを挙げて説明したが、本発明の情報処理装置を適用できる運動であれば、これに限らない。例えば、エアロビクスダンス、ステップエクササイズ又はその他の有酸素運動、ダンベル、チューブ、バランスボール又はその他の器具や道具を使用して行う筋力トレーニング、並びに、体の全体又は一部を動かすことで症状の軽減や機能の回復を目指す運動療法等でもよい。
また、運動にゲームの要素を加えてもよい。例えば、ミスなくリズムに合わせて踊る等の運動内容に設定された課題(ステージ)をクリアすると、得点等のゲームポイントが対象ユーザに付与されるようなダンスゲームであってもよい。この場合、課題ごとに対象ユーザに付与されるゲームポイントが異なることとし、対象ユーザとオブジェクトとの位置関係に基づいて運動内容を設定したことによって得られるゲームポイントが所定値よりも減少した場合は、上記の実施形態で説明したように、高いゲームポイントが得られる難易度の高い運動を含む課題を運動内容に含めるようにするとよい。なお、対象ユーザとオブジェクトの位置関係に基づいて運動内容、すなわち、対象ユーザが実際に体を動かしてプレイすることが可能なゲームの種類(例えば、テニスゲーム、ダンスゲーム等)を設定することとしてもよい。
【0077】
以上までに説明してきた複数の実施形態(各実施形態の変形例を含む)については、それぞれの実施形態の要素及び特徴を適宜組み合わせてもよい。すなわち、上記の複数の実施形態のうち、いずれかの実施形態における構成は、それ以外の実施形態でも適用可能であり、その構成がもたらす効果が同様に奏されてもよい。
【0078】
<まとめ>
[汎用課題]
本発明の目的の一つは、オンラインでの運動を普及させることである。
【0079】
[付記1]に対する課題
本発明の目的の一つは、ユーザが運動を実施する環境に応じて適切な運動を可能にすることである。
[付記1]
運動を行う対象ユーザを含む撮影画像を取得する取得部と、撮影画像の中から対象ユーザと対象ユーザとは異なるオブジェクトとを識別し、対象ユーザとオブジェクトとの位置関係に基づいて運動内容を設定する設定部と、設定された運動内容に関する運動画像を表示する表示部と、を有する情報処理装置。
上記の情報処理装置によれば、運動を行う対象ユーザを含む撮影画像の中から、対象ユーザと、対象ユーザとは異なる運動を行う際に障害と成り得るオブジェクトとを識別し、オブジェクトが存在する場合は、対象ユーザとそのオブジェクトとの位置関係に基づいて、正確な姿勢や動きで安全に実施できる運動内容を設定(変更を含む)する。これにより、ユーザが運動を実施する環境に応じて適切な運動を可能にすることができる。
【0080】
[付記2]に対する課題
本発明の目的の一つは、ユーザが運動を実施する環境に応じて適切な運動を可能にすることである。
[付記2]
設定部は、運動内容に基づいて運動を行う対象ユーザの動作範囲に、オブジェクトが存在する場合と存在しない場合とで異なる運動内容を設定する、付記1に記載の情報処理装置。
上記の情報処理装置によれば、運動を行う対象ユーザを含む撮影画像の中から識別したオブジェクトが、運動内容に基づいて運動を行う対象ユーザの動作範囲、すなわち、運動内容に基づいてシミュレーションされた動作空間に存在する場合と存在しない場合とで異なる運動内容を設定する。これにより、ユーザが運動を実施する環境に応じて適切な運動を可能にすることができる。
【0081】
[付記3]に対する課題
本発明の目的の一つは、ユーザが運動を実施する環境に応じて適切な運動を可能にすることである。
[付記3]
設定部は、第1運動に基づいて運動を行う対象ユーザの動作範囲にオブジェクトが存在する場合、第1運動よりも動作範囲の小さい第2運動を設定する、付記1に記載の情報処理装置。
上記の情報処理装置によれば、運動を行う対象ユーザを含む撮影画像の中から識別したオブジェクトが、運動内容に基づいて運動を行う対象ユーザの動作範囲に存在する場合、対象ユーザが運動したときにその動作がオブジェクトと接触しないように、第1運動よりも動作範囲の小さい第2運動に運動内容を設定する。これにより、ユーザが運動を実施する環境に応じて適切な運動を可能にすることができる。
【0082】
[付記4]に対する課題
本発明の目的の一つは、ユーザの希望を反映させたうえで、ユーザが運動を実施する環境に応じて適切な運動を可能にすることである。
[付記4]
設定部は、対象ユーザから動作条件を指定するための指定情報を取得した場合、指定情報に基づいて運動内容を設定する、付記1に記載の情報処理装置。
上記の情報処理装置によれば、対象ユーザは、運動によって動かす体の部位、運動中の体の動かし方、及び、運動中にとる姿勢等の動作条件を指定することができ、指定された動作条件、及び、運動を行う対象ユーザと撮影画像の中から識別したオブジェクトとの位置関係とに基づいて、対象ユーザが実施する運動内容を設定する。これにより、ユーザの希望を反映させたうえで、ユーザが運動を実施する環境に応じて適切な運動を可能にすることができる。
【0083】
[付記5]に対する課題
本発明の目的の一つは、ユーザが運動を実施する環境を改善し、その改善後の環境に応じて適切な運動を可能にすることである。
[付記5]
運動内容に基づく対象ユーザの動作範囲にオブジェクトが存在する場合、オブジェクトの対象ユーザの動作範囲外への移動を対象ユーザに推奨する推奨部を有する、付記1に記載の情報処理装置。
上記の情報処理装置によれば、運動を行う対象ユーザを含む撮影画像の中から識別したオブジェクトが、運動内容に基づいて運動を行う対象ユーザの動作範囲に存在する場合、そのオブジェクトを対象ユーザの動作範囲外へ移動(撤去)させるように、対象ユーザに対して推奨する。これにより、ユーザが運動を実施する環境を改善し、その改善後の環境に応じて適切な運動を可能にすることができる。
【0084】
[付記6]に対する課題
本発明の目的の一つは、ユーザが運動を実施する環境をより的確に改善し、その改善後の環境に応じて適切な運動を可能にすることである。
[付記6]
推奨部は、オブジェクトの種別を判定して移動可能か否かを判別し、移動可能と判別したオブジェクトの対象ユーザの動作範囲外への移動を対象ユーザに推奨する、付記5に記載の情報処理装置。
上記の情報処理装置によれば、運動を行う対象ユーザを含む撮影画像の中から識別したオブジェクトが、運動内容に基づいて運動を行う対象ユーザの動作範囲に存在する場合であって、そのオブジェクトの種別、位置、大きさ及び重さ等から対象ユーザが持ち運びでき移動可能と判別した場合、そのオブジェクトを対象ユーザの動作範囲外へ移動させるように、対象ユーザに対して推奨する。これにより、ユーザが運動を実施する環境をより的確に改善し、その改善後の環境に応じて適切な運動を可能にすることができる。
【0085】
[付記7]に対する課題
本発明の目的の一つは、ユーザが運動を実施する環境の変化に応じて適切な運動を可能にすることである。
[付記7]
設定部は、運動内容に基づいて運動を行う対象ユーザの動作範囲に、対象ユーザとは異なる移動物体が検出された場合、移動物体と干渉しない動作範囲の小さい運動内容に変更する、付記1に記載の情報処理装置。
上記の情報処理装置によれば、運動を実施中の対象ユーザを含む撮影画像において、運動内容に基づいて運動を行う対象ユーザの動作範囲に、他人、子供、ペット又はおもちゃ等の対象ユーザとは異なる移動物体が検出された場合、対象ユーザが運動したときにその動作が移動物体と接触しないように、移動物体と干渉しない動作範囲の小さい運動内容に変更する。これにより、ユーザが運動を実施する環境の変化に応じて適切な運動を可能にすることができる。
【0086】
[付記8]に対する課題
本発明の目的の一つは、ユーザが運動を実施する環境の変化に応じて適切な運動を可能にすることである。
[付記8]
設定部は、運動内容に基づいて運動を行う対象ユーザの動作範囲に、対象ユーザとは異なる移動物体が検出された場合、動作範囲が移動物体と干渉する対象ユーザの部位に関する運動を除外した運動内容に変更する、付記1に記載の情報処理装置。
上記の情報処理装置によれば、運動を実施中の対象ユーザを含む撮影画像において、運動内容に基づいて運動を行う対象ユーザの動作範囲に、他人、子供、ペット又はおもちゃ等の対象ユーザとは異なる移動物体が検出された場合、対象ユーザが運動したときにその動作が移動物体と接触しないように、動作範囲が移動物体と干渉する対象ユーザの部位に関する運動を除外した運動内容に変更する。これにより、ユーザが運動を実施する環境の変化に応じて適切な運動を可能にすることができる。
【0087】
[付記9]に対する課題
本発明の目的の一つは、ユーザが運動を実施する環境の変化に応じて適切な運動を可能にすることである。
[付記9]
設定部は、移動物体が検出されなくなった場合、除外した部位に関する運動を含む運動内容に変更する、付記8に記載の情報処理装置。
上記の情報処理装置によれば、運動を実施中の対象ユーザを含む撮影画像において、運動内容に基づいて運動を行う対象ユーザの動作範囲から移動物体が検出されなくなった場合、移動物体の検出によって変更した運動内容を、移動物体が検出される前の運動内容、すなわち、除外した部位に関する運動を含む運動内容に変更する。これにより、ユーザが運動を実施する環境の変化に応じて適切な運動を可能にすることができる。
【0088】
[付記10]に対する課題
本発明の目的の一つは、ユーザが運動を実施する環境に応じて運動内容を変更した場合であっても、ユーザに不利益が生じないようにすることである。
[付記10]
運動内容に応じた数値を、運動を行った対象ユーザに付与する付与部を有し、設定部は、対象ユーザとオブジェクトとの位置関係に基づいて運動内容を設定したことによって数値が所定値よりも減少した場合、数値が高く設定された難易度の高い運動項目を運動内容に含める、付記1に記載の情報処理装置。
上記の情報処理装置によれば、運動内容に応じた数値を対象ユーザに付与する場合、対象ユーザとオブジェクトとの位置関係に基づいて運動内容を設定したことによってその数値が所定値よりも減少した場合、減少した数値分の補填ができるように、数値が高く設定された難易度の高い運動項目を運動内容に含める。これにより、ユーザが運動を実施する環境に応じて運動内容を変更した場合であっても、ユーザに不利益が生じないようにすることができる。
【0089】
[付記11]に対する課題
本発明の目的の一つは、ユーザが運動を実施する環境に応じて運動内容を変更した場合であっても、ユーザに不利益が生じないようにすることである。
[付記11]
設定部は、動作頻度の高い運動項目を難易度の高い運動項目として運動内容に含める、付記10に記載の情報処理装置。
上記の情報処理装置によれば、運動内容に応じた数値を対象ユーザに付与する場合、対象ユーザとオブジェクトとの位置関係に基づいて運動内容を設定したことによってその数値が所定値よりも減少した場合、減少した数値分の補填ができるように、数値が高く設定された動作頻度の高い難易度の高い運動項目を運動内容に含める。これにより、ユーザが運動を実施する環境に応じて運動内容を変更した場合であっても、ユーザに不利益が生じないようにすることができる。
【0090】
[付記12]に対する課題
本発明の目的の一つは、ユーザの環境に応じて適切な運動を可能にすることである。
[付記12]
プロセッサが、運動を行う対象ユーザを含む撮影画像を取得し、プロセッサが、撮影画像の中から対象ユーザと対象ユーザとは異なるオブジェクトとを識別し、対象ユーザとオブジェクトとの位置関係に基づいて運動内容を設定し、プロセッサが、設定された運動内容に関する運動画像を表示する、情報処理方法。
上記の情報処理方法によれば、運動を行う対象ユーザを含む撮影画像の中から、対象ユーザと、対象ユーザとは異なる運動を行う際に障害と成り得るオブジェクトとを識別し、オブジェクトが存在する場合は、対象ユーザとそのオブジェクトとの位置関係に基づいて、正確な姿勢や動きで安全に実施できる運動内容を設定(変更を含む)する。これにより、ユーザが運動を実施する環境に応じて適切な運動を可能にすることができる。
【0091】
[付記13]に対する課題
本発明の目的の一つは、ユーザの環境に応じて適切な運動を可能にすることである。
[付記13]
プロセッサに、運動を行う対象ユーザを含む撮影画像を取得させ、プロセッサに、撮影画像の中から対象ユーザと対象ユーザとは異なるオブジェクトとを識別させ、対象ユーザとオブジェクトとの位置関係に基づいて運動内容を設定させ、プロセッサに、設定された運動内容に関する運動画像を表示させる、プログラム。
上記のプログラムによれば、運動を行う対象ユーザを含む撮影画像の中から、対象ユーザと、対象ユーザとは異なる運動を行う際に障害と成り得るオブジェクトとを識別し、オブジェクトが存在する場合は、対象ユーザとそのオブジェクトとの位置関係に基づいて、正確な姿勢や動きで安全に実施できる運動内容を設定(変更を含む)する。これにより、ユーザが運動を実施する環境に応じて適切な運動を可能にすることができる。
【符号の説明】
【0092】
10 サーバ(情報処理装置)
10a プロセッサ
10b メモリ
10c 通信用インタフェース
10d ストレージ
12 ユーザ端末
12a プロセッサ
12b メモリ
12c 通信用インタフェース
12d 入力装置
12e 出力装置
21 入力部
22 撮影部
23 出力部
24 送受信部
31 受付部
32 取得部
33 生成部
34 設定部
35 表示部
36 推奨部
37 付与部
N 通信ネットワーク
S 通信システム
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17A
図17B
図18