(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2025-02-18
(45)【発行日】2025-02-27
(54)【発明の名称】プログラム及び情報処理装置
(51)【国際特許分類】
A63B 71/06 20060101AFI20250219BHJP
A63B 22/02 20060101ALI20250219BHJP
G10K 15/04 20060101ALI20250219BHJP
【FI】
A63B71/06 K
A63B22/02
G10K15/04 302F
(21)【出願番号】P 2024163458
(22)【出願日】2024-09-20
【審査請求日】2024-11-18
【新規性喪失の例外の表示】特許法第30条第2項適用 (1)令和6年2月24日にコンテストにて「プログラム及び情報処理装置」について発表 (2)令和6年7月10日にプレスリリースにて「プログラム及び情報処理装置」について発表 (3)令和6年7月16日から7月18日に開催された展示会において、「プログラム及び情報処理装置」について発表 (4)令和6年7月22日に自社ホームページにて「プログラム及び情報処理装置」について発表
【早期審査対象出願】
(73)【特許権者】
【識別番号】524351110
【氏名又は名称】株式会社オーナカ
(74)【代理人】
【識別番号】100176072
【氏名又は名称】小林 功
(72)【発明者】
【氏名】伊藤 周
【審査官】仲野 一秀
(56)【参考文献】
【文献】特開2006-262973(JP,A)
【文献】特開2007-292847(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
A63B 71/00-71/16
A63B 1/00-26/00
G10K 15/04
(57)【特許請求の範囲】
【請求項1】
コンピュータを、
トレッドミルを利用するユーザの動作のテンポを示す情報を取得するテンポ取得部と、
前記テンポが一定になったと判定された場合に、再生される音楽を決定し、又は再生されている音楽の再生速度を決定する決定部と、
前記トレッドミルに取り付けられた速度センサから、前記トレッドミルの動作速度を取得する速度取得部と、
前記動作速度に応じて、前記音楽の歌詞が登場する位置又は前記音楽の歌詞の大きさを制御する表示制御部として機能させる、
プログラム。
【請求項2】
コンピュータを、
トレッドミルを利用するユーザの動作のテンポを示す情報を取得するテンポ取得部と、
連続的に取得した前記テンポが、時間の条件を満たしたか否かによって、前記テンポが一定になったと判定するテンポ判定部と、
前記テンポが一定になったと判定された場合に、再生される音楽を決定し、又は再生されている音楽の再生速度を決定する決定部として機能させ、
前記時間の条件は、前記トレッドミルの速度に連動して調整される、
プログラム。
【請求項3】
再生される前記音楽又は前記再生速度は、前記テンポに対応付けて記憶されており、
前記決定部は、前記テンポに応じて、前記音楽又は前記再生速度を決定する、
請求項1
又は2に記載のプログラム。
【請求項4】
撮像装置から、前記ユーザを被写体として含む画像を連続的に取得する画像取得部を備え、
前記テンポ取得部は、前記画像を解析することによって前記テンポを取得する、
請求項1
又は2に記載のプログラム。
【請求項5】
前記
トレッドミル又は前記ユーザに取り付けられた振動センサから、振動を取得する振動取得部を備え、
前記テンポ取得部は、前記振動を前記テンポに変換する、
請求項1
又は2に記載のプログラム。
【請求項6】
トレッドミルを利用するユーザの動作のテンポを示す情報を取得するテンポ取得部と、
前記テンポが一定になったと判定された場合に、再生される音楽を決定し、又は再生されている音楽の再生速度を決定する決定部と、
前記トレッドミルに取り付けられた速度センサから、前記トレッドミルの動作速度を取得する速度取得部と、
前記動作速度に応じて、前記音楽の歌詞が登場する位置又は前記音楽の歌詞の大きさを制御する表示制御部と、
を備える情報処理装置。
【請求項7】
トレッドミルを利用するユーザの動作のテンポを示す情報を取得するテンポ取得部と、
連続的に取得した前記テンポが、時間の条件を満たしたか否かによって、前記テンポが一定になったと判定するテンポ判定部と、
前記テンポが一定になったと判定された場合に、再生される音楽を決定し、又は再生されている音楽の再生速度を決定する決定部とを備え、
前記時間の条件は、前記トレッドミルの速度に連動して調整される、
情報処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、プログラム及び情報処理装置に関する。
【0002】
特許文献1には、センサ部の出力を用いて運動装置の一連の動きにおける特徴点を検出する特徴点検出部と、各検出タイミングの時間差(特徴点間隔)を算出する特徴点間算出部と、所定回数分の特徴点間隔の平均値aAVを算出する平均値算出部と、平均値aAVに基づいて適切な音楽データを選択する音楽データ選択部とを備え、また、選択した音楽データに対応付けられているビートデータが、aAV=b×m(mは正の自然数)を満たさないビート間隔b1を示すデータであるとき、前記式を満たすビート間隔のうち前記ビート間隔b1に最も近似するビート間隔b1’を検出し、このビート間隔b1’に相当する再生速度で前記音楽データの再生処理を行うものと設定する再生速度調整部を備えた、技術が開示されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1のような技術では、運動装置の魅力を向上させて、使用者の運動装置に対する継続的な使用意欲を増進させることのできる運動装置を提供することができる。
【0005】
ところで、ユーザが運動器具を使用する際における、興趣性をさらに向上させることができる技術が求められている。
【0006】
本発明はこのような事情に鑑みてなされたものであり、ユーザが運動器具を使用する際における、興趣性をさらに向上させることが可能な技術を提供することを課題とする。
【課題を解決するための手段】
【0007】
上記課題を解決するために、本発明の第一態様に係るプログラムは、コンピュータを、運動器具を利用するユーザの動作のテンポを示す情報を取得するテンポ取得部と、前記テンポが一定になったと判定された場合に、再生される音楽を決定し、又は再生されている音楽の再生速度を決定する決定部として機能させる。
【0008】
また、本発明の第二態様では、再生される前記音楽又は前記再生速度は、前記テンポに対応付けて記憶されており、前記決定部は、前記テンポに応じて、前記音楽又は前記再生速度を決定する。
【0009】
また、本発明の第三態様では、連続的に取得した前記テンポが、時間の条件又は回数の条件を満たしたか否かによって、テンポが一定になったと判定するテンポ判定部を備える。
【0010】
また、本発明の第四態様では、撮像装置から、前記ユーザを被写体として含む画像を連続的に取得する画像取得部を備え、前記テンポ取得部は、前記画像を解析することによって前記テンポを取得する。
【0011】
また、本発明の第五態様では、前記運動器具又は前記ユーザに取り付けられた振動センサから、振動を取得する振動取得部を備え、前記テンポ取得部は、前記振動を前記テンポに変換する。
【0012】
また、本発明の第六態様では、前記運動器具は、トレッドミルであり、前記トレッドミルに取り付けられた速度センサから、前記ユーザが前進する速度を取得する速度取得部と、前記速度に応じて、前記音楽の歌詞が登場する位置又は前記音楽の歌詞の大きさを制御する表示制御部と、を備える。
【0013】
また、本発明の第七態様に係る情報処理装置は、運動器具を利用するユーザの動作のテンポを示す情報を取得するテンポ取得部と、前記テンポが一定になったと判定された場合に、再生される音楽を決定し、又は再生されている音楽の再生速度を決定する決定部と、を備える。
【発明の効果】
【0014】
本発明によれば、ユーザが運動器具を使用する際における、ユーザの興趣性をさらに向上させることが可能な技術を提供することができる。
【図面の簡単な説明】
【0015】
【
図1】情報処理装置10のハードウェア構成と情報処理装置10に接続される各装置の一例を概略的に示す図である。
【
図2】実施形態に係るサービスの概要の一例を示す図である。
【
図3】実施形態に係る情報処理装置10の機能手段の一例を概略的に示すブロック図である。
【
図4】実施形態の具体例1に係る情報処理装置10において各機能手段が行う音楽又は音楽の再生速度の制御の処理の流れの一例を示すフローチャートである。
【
図5】ユーザのテンポと再生する音楽又は再生している音楽の再生速度とを対応付けて記憶させるテーブルTBの一例を示す図である。
【
図6】テンポの判定を概念的に説明するための図である。
【
図7】実施形態の具体例2に係る情報処理装置10において各機能手段が行う音楽又は音楽の再生速度の制御の処理の流れの一例を示すフローチャートである。
【
図8】実施形態に係る情報処理装置10において各機能手段が行う表示制御の処理の流れの一例を示すフローチャートである。
【
図9】トレッドミルTMを使用するユーザUSが前進する速度が速い場合に表示装置38に表示される情報の経時的変化の一例を示す図である。
【
図10】トレッドミルTMを使用するユーザUSが前進する速度が遅い場合に表示装置38に表示される情報の経時的変化の一例を示す図である。
【発明を実施するための形態】
【0016】
以下、添付図面を参照しながら本発明の実施形態について説明する。
【0017】
---実施形態---
まず、実施形態について説明する。
【0018】
<ハードウェア構成>
図1は、情報処理装置10のハードウェア構成と情報処理装置10に接続される各装置の一例を概略的に示す図である。
【0019】
図1に示すように、情報処理装置10は、制御装置20と、通信装置26と、記憶装置28とを備える。情報処理装置10は、コンピュータである。制御装置20は、CPU(Central Processing Unit)22及びメモリ24を主に備えて構成される。
【0020】
制御装置20では、CPU22がメモリ24或いは記憶装置28等に格納された所定のプログラムを実行することにより、各種の機能手段として機能する。この機能手段の詳細については後述する。
【0021】
通信装置26は、音出力装置30、撮像装置32、振動センサ34、速度センサ36及び表示装置38等の装置と有線通信又は無線通信によって通信するためインターフェースによって構成される。通信装置26は、有線通信の場合、IEEE 802.3に基づく有線LANネットワーク、USB、Thunderboltなどの接続規格を使用してもよい。また、通信装置26は、無線通信の場合、Bluetooth(登録商標)、Wi-Fi(登録商標)などの無線通信規格や、これらの通信で使用されるTCP/IPプロトコルを使用してもよい。
【0022】
記憶装置28は、ハードディスク等で構成される。この記憶装置28は、制御装置20における処理の実行に必要な各種プログラムや各種の情報、及び処理結果の情報を記憶する。
【0023】
音出力装置30は、音楽を出力するための音響デバイス全般を指し、その具体例として、スピーカー、ヘッドホン、イヤホン等の音響機器を含んでもよい。音出力装置30としてのこれらのデバイスは、用途又は機能に応じてさらに細分化されてもよい。例えば、音出力装置30は、サウンドバー、ポータブルスピーカー、Bluetoothスピーカー等の携帯性又は設置の利便性を重視したデバイスと、サウンドシステム、ホームシアターシステム等のように高品質な音響環境を提供するための設備と、スマートスピーカー等の多機能デバイスとを含んでもよい。また、音出力装置30は、骨伝導ヘッドホン、ノイズキャンセリングヘッドホン、カナル型イヤホン、完全ワイヤレスイヤホン等の特殊な用途に対応するデバイスを含んでもよい。さらに、音出力装置30は、楽器用モニタースピーカーのように、音楽用アンプに接続して使用される専門的な音響機器を含んでもよい。
【0024】
撮像装置32は、被写体を撮影して画像を生成するデバイスであり、例えばCCD、CMOS等の撮像素子を備えたカメラモジュールで構成される。撮像装置32は、連続的に画像を撮影可能であり、又は動画を撮影可能であり、必要に応じてズーム機能を有してもよい。
【0025】
振動センサ34は、対象に加わる振動を検出するためのセンサである。振動センサ34は、例えば、運動器具又はユーザUSに取り付けられる。振動センサ34は、例えば加速度センサ、ジャイロセンサ、ピエゾセンサ、マイクロフォン、光ファイバーセンサ、MEMSセンサ、レゾナントセンサ、静電容量式センサ、カンチレバー等によって構成されてもよい。
【0026】
速度センサ36は、ユーザUSが前進する速度を検出するためのセンサである。速度センサ36は、運動器具に備えられてもよいし、運動器具に備えられていなくてもよいし、ユーザUSに取り付けられてもよい。運動器具に備えられる場合、速度センサ36は、運動器具のうちの可動する部位に取り付けられ、電気信号として出力する。この電気信号は、速度の変換に使用される。例えば、運動器具がトレッドミルTMの場合、速度センサ36には、ロータリーエンコーダが使用され、モータ、ローラ、プーリ等の回転を電気信号として出力してもよい。運動器具に備えられていない場合、速度センサ36は、カメラ、LiDAR、RADAR等によってユーザUSを観察するデータを検出してもよい。観察されるデータは、速度への変換に使用される。ユーザUSに取り付けられる場合、速度センサ36は、加速度センサ、スイッチ等を利用して、例えば、ユーザUSの運動の頻度、強度等のデータを検出してもよい。これらのデータは、速度への変換に使用される。
【0027】
運動器具は、ユーザUSが体を動かすために使用する器具である。実施形態では、運動器具は、トレッドミルTMであるものとして説明するがこれに限定されない。運動器具は、ユーザUSがテンポを大きく乱すことなく使用することが想定される器具であってもよく、例えば、ロデオ、エアロバイク、フィットネスバイク、クロストレーナー、ステッパー、振動マシン、ローイングマシン、フィットネスチェア、エリプティカルマシン等であってもよい。トレッドミルTMは、ルームランナー及びランニングマシンの概念を含んでもよい。
【0028】
表示装置38は、例えば、ディスプレイ、プロジェクタ等であり、ユーザUSが視認する情報を表示可能に構成される。ディスプレイは、ユーザUSが装着するヘッドマウントディスプレイを含んでもよい。表示の態様は、AR(Augmented Reality)、VR(Virtual Reality)等によって行われてもよい。
【0029】
<ビジネスモデル概要>
図2は、実施形態に係るサービスの概要の一例を示す図である。実施形態において、
図2の例では、ユーザUSは、運動器具としてのトレッドミルTMを使用しながら、音出力装置30としてのスピーカーから発せられる音楽を聴きながら、表示装置38としてのディスプレイに表示される歌詞を見る。また、
図2の例では、撮像装置32によりユーザUSの画像が撮像され、トレッドミルTMに取り付けられた振動センサ34によって振動が取得され、速度センサ36としてのロータリーエンコーダによって速度が取得される。これらの運動器具、装置及びセンサは、一例にすぎず、前述した任意の、運動器具、装置及びセンサが使用されてもよい。音楽は、ユーザUSの動作のテンポに合わせて、後述の通り、変化する。歌詞は、後述の通り、トレッドミルTMの速度に合わせて変化する。
【0030】
<機能手段>
図3は、実施形態に係る情報処理装置10の機能手段の一例を概略的に示すブロック図である。
【0031】
図3に示すように、情報処理装置10は、機能的構成として、再生部40と、画像取得部42と、振動取得部44と、テンポ取得部46と、テンポ判定部48と、決定部50、速度取得部52と、速度判定部54と、表示制御部56と、記憶制御部58とを備える。
【0032】
再生部40は、再生する音楽と再生速度とのうち少なくとも1つを制御する。
【0033】
画像取得部42は、撮像装置32が撮影した画像を取得する。
【0034】
振動取得部44は、振動センサ34が検出した振動を取得する。
【0035】
テンポ取得部46は、画像取得部42が取得した画像から被写体の動きのテンポを解析し、そのテンポを取得する。また、テンポ取得部46は、振動取得部44が取得した振動からユーザUSの動きのテンポを解析し、そのテンポを取得する。テンポ取得部46が取得するテンポは、ユーザUSの動作のテンポを示す情報である。テンポ取得部46が取得するテンポは、例えば、ユーザがする一定の周期性のある挙動(例えば、一定の周期で腕を振る、脚を動かす、首を振る等)のリズムである。本明細書では、テンポは、BPM(Beat Per Minute)の概念を含んでもよい。
【0036】
テンポ判定部48は、取得したテンポが一定になったか否かを判定する。
【0037】
決定部50は、音楽又は音楽の再生速度を決定する。
【0038】
速度取得部52は、速度センサ36が検出した速度を取得する。
【0039】
速度判定部54は、取得した速度が一定になったか否かを判定する。
【0040】
表示制御部56は、表示情報に基づいて、表示装置38に表示させる画像を制御する機能を有する。この表示情報は、画面、画像、アイコン、テキスト等といった、ユーザUSが視認可能な態様で生成された情報そのものだけでなく、表示させるためのレンダリング情報を含む概念である。
【0041】
記憶制御部58は、種々の情報を、記憶装置28に記憶させる機能を有する。記憶制御部58は、一又は複数の記憶装置28で実現される。記憶制御部58以外の機能手段は、記憶装置28等に格納されたプログラムを制御装置20が実行することにより実現される。
【0042】
<処理の流れ>
以下では実施形態に係る情報処理装置10において各機能手段が行う音楽の変更又は再生速度の変更の処理の流れを説明する。なお、以下に示すフローチャート内のステップの順番及び内容は、適宜、変更することができる。以下では、情報処理が開始されるにあたって、ユーザUSは、運動器具の使用を開始するものとする。
【0043】
(具体例1)
本実施形態では、
図4は、実施形態の具体例1に係る情報処理装置10において各機能手段が行う音楽又は再生速度の制御の処理の流れの一例を示すフローチャートである。
【0044】
(ステップSP10)
まず、再生部40は、音出力装置30から音楽を再生する。再生される音楽は、予め決定されていてもよいし、ユーザUSからの指示によって決定されてもよい。そして、処理は、ステップSP12の処理に移行する。
【0045】
(ステップSP12)
次に、再生部40は、音楽の再生の終了条件を満たすか否か判定する。再生部40は、音楽の再生の終了条件を満たしていないと判定した場合、処理をステップSP14の処理に移行させる。一方で、再生部40は、音楽の再生の終了条件を満たしたと判定した場合、
図4に示す情報処理を終了させる。終了条件は、音楽の再生の停止、トレッドミルTMの使用の停止等である。ステップSP12の情報処理は、ループ処理となっているSP14、SP16、SP18の処理の中に組み込まれていればよく、
図4の位置に限定されない。
【0046】
(ステップSP14)
次に、ユーザUSのテンポを取得するためのデータが取得される。具体的には例えば、撮像装置32は、ユーザUSを被写体として含む画像を、リアルタイムで連続的に撮像する。そして、画像取得部42は、撮像装置32から、当該画像を、リアルタイムで連続的に取得する。そして、処理は、ステップSP16の処理に移行する。
【0047】
(ステップSP16)
次に、テンポ取得部46は、運動器具を利用するユーザUSの動作のテンポを示す情報を取得する。具体例1では、テンポ取得部46は、画像を解析することによってテンポを取得する。例えば、この解析では、連続する画像フレーム間の被写体の位置変化や動きのパターンを分析し、テンポを数値化する。テンポ取得部46は、ユーザUSの関節の動きに注目し、例えば、膝又は/及び肘の屈伸運動の速度又は/及びリズムを検出してもよい。また、画像解析の際には、ユーザUSの脚の動き、腕の振り、頭の上下動等の身体の主要な部位の動作に焦点を当ててもよい。さらに、ユーザUSの特定の部位に目印を付与し、その部位の動きを追跡することで、より精度の高いテンポの取得が可能となる。そして、処理は、ステップSP18の処理に移行する。
【0048】
(ステップSP18)
次に、テンポ判定部48は、連続的に取得したテンポが一定になったか否かを判定する。テンポ判定部48は、テンポが一定になったと判定した場合、処理をステップSP20の処理に移行させる。テンポ判定部48は、テンポが一定になっていないと判定した場合、処理をステップSP12の処理に移行させる。
【0049】
テンポが一定とは、テンポが、時間の条件又は回数の条件を満たしたか否かによって判定される。
【0050】
時間の条件は、直近の一定期間内に取得したテンポの変動幅が、特定の範囲内に収まっていることを指す。一定と判定されるまでの時間については、例えば、固定値による設定、ユーザによるカスタマイズ、トレッドミルTMの速度に連動した動的設定等の方法がある。固定値による設定では、システムに予め組み込まれた固定の時間(例えば、2秒、5秒等)を使用する。ユーザUSによるカスタマイズでは、ユーザが自身の好みに応じて任意の時間を設定できるようにする。トレッドミルTMの速度に連動した動的設定では、走行速度に応じて判定時間を自動的に調整する。例えば、時速6kmの歩行時は3秒間、時速12kmのジョギング時は5秒間、時速18kmのランニング時は7秒間というように、運動強度が上がるにつれて、より長い判定時間を設定することで、高速での微細な変動を吸収し、より安定した判定を行うことができるように構成されてもよい。
【0051】
回数の条件は、直近の複数回(例えば10回)取得したテンポのうち、所定の回数(例えば8回)がテンポの変動幅が特定の範囲内に収まっているかどうかを判定する基準である。所定の回数は、取得したテンポの数と等しくなるように設定されてもよい。
【0052】
テンポの変動幅は、ユーザUSの好みに応じて設定されてもよく、また、ユーザUSが運動する速度によって自動的に変更されてもよい。例えば、変動幅は、ユーザUSが時速6kmで運動する場合には、5BPM以内に設定され、一方で、ユーザUSが時速12kmで運動する場合には、運動強度が増すことから、より大きな変動幅が許容され、変動幅は、10BPM以内に収まるように設定されてもよい。また、変動幅は、1つの値のみから構成され、実質的に値としての幅を有さなくてもよい。
【0053】
(ステップSP20)
次に、決定部50は、ユーザUSの動作のテンポが一定になったと判定された場合に、そのテンポに応じて、再生する音楽を決定し、又は再生している音楽の再生速度を決定する。
【0054】
例えば、ユーザUSの動作のテンポが大きい場合は、決定部50は、アップテンポの音楽に、又は再生中の音楽の再生速度を上げるように決定してもよい。例えば、ユーザUSの動作のテンポが小さい場合は、決定部50は、ダウンテンポの音楽に、又は再生中の音楽の再生速度を下げるように決定してもよい。これにより、ユーザUSの動作と音楽のリズムが一致し、運動のパフォーマンスが向上することが期待される。
【0055】
決定される、音楽又は再生速度は、
図5に示すように、ユーザUSの動作のテンポに対応付けて記憶装置28に事前に保存されているデータに基づいて行われてもよい。決定部50は、ユーザUSの動作のテンポの値を、テーブルTBの参照等で使用する場合、一定と判定されたときの変動幅に収まる複数のテンポの値のうち、任意の統計値をテンポの値として使用する。統計値は、平均値、中央値、最頻値、最大値、最小値等である。記憶制御部58は、テーブルTBを記憶装置28に記憶させる。
【0056】
図5は、ユーザUSのテンポと再生する音楽又は再生している音楽の再生速度とを対応付けて記憶させるテーブルTBの一例を示す図である。
図5に示すように、ユーザUSの動作のテンポが0BPM~80BPMの範囲内の場合、決定部50は、現在の音楽の再生速度を0.8倍にする。ユーザUSの動作のテンポが81BPM~96BPMの範囲内の場合、決定部50は、曲Aを再生する。ユーザUSの動作のテンポが97BPM~120BPMの範囲内の場合、決定部50は、現在の音楽の再生速度を1.3倍にする。ユーザUSの動作のテンポが121BPM~132BPMの範囲内の場合、決定部50は、曲Bを再生し、かつ、再生速度を1.5倍にする。
【0057】
(ステップSP22)
そして、再生部40は、決定部50が決定したように音楽を再生する。その後、処理はステップSP12の処理に進み、再びユーザUSの動作のテンポを取得する。
【0058】
図6は、テンポの判定を概念的に説明するための図である。
図6のグラフは、縦軸にテンポを横軸に時間を取っている。
【0059】
ユーザUSがトレッドミルTM上で運動を行う際、速度を徐々に上げていくことでテンポが変動し、その後一定の速度で安定すると、テンポも一定のところで落ち着く傾向がある。この過程において、テンポ判定部48は、連続的にテンポの変化を監視し、前述した、回数の条件又は時間の条件に基づいて、テンポが一定か否かを判断する。
【0060】
テンポ判定部48は、
図6に示されるデータを分析し、t1からt2までの間、及びt3からt4までの間においてテンポが一定であると判定している。これらの期間では、テンポの変動が予め設定された許容範囲内に収まっていると考えられる。一方で、それ以外の時間帯、特にt1までの間やt2からt3までの間、さらにt4以降の領域では、テンポ判定部48は、テンポが一定でないと判定している。これは、ユーザUSが前進する速度を調整している過程や、疲労による不安定な動きが生じている可能性を示唆している。
【0061】
決定部50は、テンポ判定部48からの判定結果を受け取り、テンポが一定であると判定された期間に対して適切な対応を行う。より具体的には例えば、
図6のt1からt2までの間とt3からt4までの間とでテンポが一定であると判定されたことに応じて、決定部50は、それぞれの期間に最適化された音楽及び/又は音楽の再生速度を決定する。このように、音楽のリズムをユーザの動作に適応させることで、ユーザ体験を向上させる環境を提供することができる。
【0062】
(具体例2)
具体例1では、テンポを画像データから取得していたが、具体例2では、テンポを振動から取得する。
図7は、実施形態の具体例2に係る情報処理装置10において各機能手段が行う再生する音楽又は音楽の再生速度の制御の処理の流れの一例を示すフローチャートである。具体例2のステップSP30、SP32、SP38、SP40、SP42のそれぞれの情報処理は、具体例1のステップSP10、SP12、SP18、SP20、SP22と略同様の情報処理であるため、これらの情報処理の説明を省略する。
【0063】
(ステップSP34)
まず、振動取得部44は、振動センサ34を介して、運動器具やユーザUSの体から発生する振動を取得する。より具体的には例えば、振動センサ34は、運動器具の構造やユーザUSの身体の動きによって引き起こされる微細な振動から、大きな衝撃やリズムに至るまで、幅広い振動を感知する。その後、これらの振動信号は、振動取得部44に送信され、信号処理が行われる。この信号処理には、振動の種類やパターンの識別、周波数や強度の解析が含まれ、これにより運動の特性やユーザの動作リズムが把握される。そして、処理は、ステップSP36の処理に移行する。
【0064】
(ステップSP36)
次に、テンポ取得部46は、振動センサ34から取得した振動を示す情報をテンポに変換することで、運動や動作のリズムに応じたテンポを取得する。より具体的には例えば、テンポ取得部46は、振動が検出されるタイミングと振動の強度と二つの要素を解析することで、テンポを取得する。より具体的には例えば、テンポ取得部46は、振動が発生する瞬間のタイミングを検知し、その間隔を測定することで、リズムやペースを示すテンポに変換する。そして、処理は、ステップSP38の処理に移行する。
【0065】
実施形態では、
図4又は
図7に示すフローチャートの処理から独立して、又は並行して、
図8に示すフローチャートの処理が実行されてもよい。
図8は、実施形態に係る情報処理装置10において各機能手段が行う表示制御の処理の流れの一例を示すフローチャートである。
【0066】
(ステップSP50)
まず、表示制御部56は、デフォルトの設定で音楽の歌詞が移動するように、音楽の歌詞を表示させる。このとき、音楽ごとにデフォルトの設定があってもよい。そして、処理は、ステップSP52の処理に移行する。
【0067】
(ステップSP52)
次に、表示制御部56は、歌詞の表示の終了条件を満たすか否か判定する。表示制御部56は、歌詞の表示の終了条件を満たしていないと判定した場合、処理をステップSP54の処理に移行させる。一方で、表示制御部56は、歌詞の表示の終了条件を満たしたと判定した場合、
図8に示す情報処理を終了させる。終了条件は、音楽の再生の停止、トレッドミルTMの使用の停止、歌詞の表示の停止等である。ステップSP52の情報処理は、ループ処理となっているSP54、SP56の処理の中に組み込まれていればよく、
図8の位置に限定されない。
【0068】
(ステップSP54)
次に、速度取得部52は、トレッドミルTMに取り付けられた速度センサ36からユーザUSが前進する速度を取得する。速度は、前述したとおり、任意の速度センサ36により取得されるが、本実施形態では、ロータリーエンコーダにより取得されるものとする。また、速度センサ36として、ロータリーエンコーダを使用することによって、任意のトレッドミルTMに取り付けて本実施形態を実施することが可能となる。そして、処理は、ステップSP56の処理に移行する。
【0069】
(ステップSP56)
次に、速度判定部54は、ユーザUSが前進する速度が一定になったか否かを判定する。速度判定部54は、速度が一定になったと判定した場合、処理をステップSP58の処理に移行させる。一方で、速度判定部54は、速度が一定になっていないと判定した場合、処理をステップSP52の処理に移行させる。
【0070】
(ステップSP58)
次に、表示制御部56は、ユーザUSが前進する速度に応じて、表示装置38に表示させる、音楽の歌詞が登場する位置又は音楽の歌詞の大きさを制御する。例えば、表示制御部56は、ユーザUSが走行する速度に合わせて、歌詞の表示タイミングを同期させる。より具体的には例えば、表示制御部56は、速いペースで走っているユーザUSには素早く変化する歌詞が表示させ、スローペースで走っているユーザUSにはゆったりと変化する歌詞が表示させる。より具体的には、表示制御部56は、
図9及び
図10に示すように表示を制御してもよい。
【0071】
図9は、トレッドミルTMを使用するユーザUSが前進する速度が速い場合に表示装置38に表示される情報の経時的変化の一例を示す図である。一方、
図10は、トレッドミルTMを使用するユーザUSが前進する速度が遅い場合に表示装置38に表示される情報の経時的変化の一例を示す図である。これらの図は、ユーザUSの前進する速度に応じて、表示される情報がどのように変化するかを視覚的に表現している。
図9と
図10との例では、トレッドミルTMを使用するユーザUSが前進する速度の違いによって歌詞の表示方法に次のような差異が見られる。
【0072】
具体的には、
図9に示す、トレッドミルTMを使用するユーザUSが前進する速度が速い場合、表示制御部56は、
図10の場合よりも、歌詞の初期表示の位置を、画面の奥からとなるように制御する。歌詞が現れた時点では、歌詞が小さく表示されることで、距離感、奥行き等が演出されている。また、表示制御部56は、
図10の場合よりも、歌詞が拡大される速度が相対的に速くなるように制御する。言い換えると、表示制御部56は、
図10の場合よりも、文字が急速に大きくなるように制御する。また、表示制御部56は、
図10の場合よりも、各歌詞の表示時間が相対的に短くなるように制御する。歌詞が現れてから1秒経過した時点では、1秒前よりも、歌詞が下方に大きく表示される。
【0073】
一方、具体的には、
図10に示す、トレッドミルTMを使用するユーザUSが前進する速度が遅い場合、表示制御部56は、歌詞の初期表示の位置を、
図9と同様に画面の奥から表示させるが、
図9の場合よりも、初期サイズが大きくなるように制御する。また、表示制御部56は、
図9の場合よりも、歌詞を拡大する速度を相対的に遅くなるように制御する。言い換えると、表示制御部56は、
図9の場合よりも、文字がゆっくりと大きくなっていくように制御する。また、表示制御部56は、
図9の場合よりも、各歌詞の表示時間が相対的に長くなるように制御する。歌詞が現れてから2秒経過した時点では、2秒前よりも、歌詞が下方に、より拡大された表示されることで、距離感、奥行き等が演出されている。
【0074】
他の例では、表示制御部56は、文字は画面上で移動せずに拡大するように制御してもよい。また、他の例では、表示制御部56は、文字の色を変化させるなど、異なる視覚効果を加えて表示させてもよい。
【0075】
<効果>
以上、実施形態では、コンピュータを、運動器具を利用するユーザの動作のテンポを示す情報を取得するテンポ取得部と、前記テンポが一定になったと判定された場合に、再生される音楽を決定し、又は再生されている音楽の再生速度を決定する決定部として機能させる、プログラム。
【0076】
この構成によれば、ユーザの動作のテンポに合わせて、再生される音楽又は再生されている音楽の再生速度が選定されるため、ユーザは運動の動作に合わせて音楽を楽しむことができる。
【0077】
また、再生される前記音楽又は前記再生速度は、前記テンポに対応付けて記憶されており、前記決定部は、前記テンポに応じて、前記音楽又は前記再生速度を決定する、(1)に記載のプログラム。
【0078】
この構成によれば、ユーザの動作のテンポに合わせて再生される音楽又は再生する音楽の再生速度が選定されるため、ユーザは運動の動作に合わせて音楽を楽しむことができる。
【0079】
また、連続的に取得した前記テンポが、時間の条件又は回数の条件を満たしたか否かによって、テンポが一定になったと判定するテンポ判定部を備える(1)に記載のプログラム。
【0080】
この構成によれば、テンポが一定になったか否かを時間の条件又は回数の条件によって判定することができる。
【0081】
また、撮像装置から、前記ユーザを被写体として含む画像を連続的に取得する画像取得部を備え、前記テンポ取得部は、前記画像を解析することによって前記テンポを取得する、(1)に記載のプログラム。
【0082】
この構成によれば、テンポを画像によって判定することができるため、特別な装置を必要としない。
【0083】
また、前記運動器具又は前記ユーザに取り付けられた振動センサから、振動を取得する振動取得部を備え、前記テンポ取得部は、前記振動を前記テンポに変換する、(1)に記載のプログラム。
【0084】
この構成によれば、テンポを振動によって判定することができるため、特別な装置を必要としない。
【0085】
また、前記運動器具は、トレッドミルであり、前記トレッドミルに取り付けられた速度センサから、前記ユーザが前進する速度を取得する速度取得部と、前記速度に応じて、前記音楽の歌詞が登場する位置又は前記音楽の歌詞の大きさを制御する表示制御部と、を備える、(1)乃至(5)の何れか1つに記載のプログラム。
【0086】
この構成によれば、トレッドミルを使用するユーザに対して、ユーザが前進する速度に応じて、ユーザが聴く音楽の歌詞の表示を変化させることができる。また、ユーザがトレッドミルを使用する際における、ユーザの興趣性をさらに向上させることが可能な技術を提供することができる。
【0087】
また、運動器具を利用するユーザの動作のテンポを示す情報を取得するテンポ取得部と、前記テンポが一定になったと判定された場合に、再生される音楽を決定し、又は再生されている音楽の再生速度を決定する決定部と、を備える、情報処理装置。
【0088】
この構成によれば、ユーザの動作のテンポに合わせて、再生される音楽又は再生されている音楽の再生速度が選定されるため、ユーザは運動の動作に合わせて音楽を楽しむことができる。
【0089】
---変形例---
なお、本発明は上記の実施形態に限定されるものではない。すなわち、上記の実施形態に、当業者が適宜設計変更を加えたものも、本発明の特徴を備えている限り、本発明の範囲に包含される。また、前述した実施形態及び後述する変形例が備える各要素は、技術的に可能な限りにおいて組み合わせることができ、これらを組み合わせたものも本発明の特徴を含む限り本発明の範囲に包含される。
【0090】
変形例では、テンポ取得部46、テンポ判定部48、決定部50、速度判定部54、表示制御部56が実行する処理を、学習済みモデルを使用して行ってもよい。例えば、テンポ取得部46は、画像又は振動を示すデータと、学習済みモデルとに基づいて、ユーザの動作のテンポを示す情報を出力してもよい。また、テンポ判定部48は、取得したユーザの動作のテンポと、学習済みモデルとに基づいて、ユーザの動作のテンポが一定か否かを判定する。また、決定部50は、ユーザの動作のテンポの値と、学習済みモデルとに基づいて、最適な音楽又は/及び音楽の再生速度を決定する。速度判定部54は、取得した運動器具の速度と、学習済みモデルとに基づいて、速度が一定か否かを判定する。また、表示制御部56は、学習済みモデルに基づいて、表示装置38上に表示する情報を制御する。
【0091】
学習済みモデルは、取得した画像、振動、テンポ、速度等のデータを学習データとして生成される。学習済みモデルは、教師あり学習、教師なし学習、又は自己教師あり学習等の学習方法によって構築されてもよい。教師あり学習では、教師データ(学習データ)を用いて機械学習を行う。教師データは、学習用の入力データ及び出力データ(正解データ)のペアで構成される。学習済みモデルは、膨大なデータを学習した大規模言語モデル(Large Language Models(LLM))のような汎用的な自然言語処理の学習モデルであってもよい。
【0092】
変形例では、音楽は、歌詞を含まなくてもよい。その場合、
図8に示す情報処理は省略されてもよい。
【0093】
(付記1)
コンピュータを、
トレッドミルに取り付けられた速度センサから、ユーザが前進する速度を取得する速度取得部と、
前記速度に応じて、音楽の歌詞が登場する位置又は前記音楽の歌詞の大きさを制御する表示制御部として機能させる、
プログラム。
【0094】
(付記2)
前記表示制御部は、前記トレッドミルを使用する前記ユーザが前進する速度が速くなったと判定された場合、前記歌詞が現れたときの前記歌詞の大きさを小さく、かつ、前記歌詞が拡大される速度を速く、かつ、前記歌詞の表示時間が相対的に短くなるように制御する、付記1に記載のプログラム。
【0095】
本開示は、実施形態のプログラムを情報処理装置に実行させる情報処理方法であってもよい。
【符号の説明】
【0096】
10 :情報処理装置
32 :撮像装置
34 :振動センサ
36 :速度センサ
42 :画像取得部
44 :振動取得部
46 :テンポ取得部
48 :テンポ判定部
50 :決定部
54 :速度取得部
56 :表示制御部
TM :トレッドミル
US :ユーザ
【要約】
【課題】ユーザが運動器具を使用する際における、興趣性をさらに向上させることが可能な技術を提供する。
【解決手段】プログラムがコンピュータを、運動器具を利用するユーザの動作のテンポを示す情報を取得するテンポ取得部と、前記テンポが一定になったと判定された場合に、再生される音楽を決定し、又は再生されている音楽の再生速度を決定する決定部として機能させる。
【選択図】
図3