知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024108036
(43)【公開日】2024-08-09
(54)【発明の名称】カラオケ装置
(51)【国際特許分類】
G10K 15/04 20060101AFI20240802BHJP
【ＦＩ】
G10K15/04 302D
【審査請求】未請求
【請求項の数】5
【出願形態】ＯＬ
(21)【出願番号】P 2023012290
(22)【出願日】2023-01-30
(71)【出願人】
【識別番号】390004710
【氏名又は名称】株式会社第一興商
(74)【代理人】
【識別番号】110000176
【氏名又は名称】弁理士法人一色国際特許事務所
(72)【発明者】
【氏名】石川 雅康
【テーマコード（参考）】
5D208
【Ｆターム（参考）】
5D208CA09
5D208CC15
5D208CE04
(57)【要約】
【課題】支援コンテンツを再生する際に、指導者のサポートが可能なカラオケ装置を提供する。
【解決手段】利用者の集中度を取得する集中度取得部と、支援コンテンツの再生中に指導者が発話した場合、集中度が第１の所定条件を満たすかどうかを判定する判定部、発話に対応するテキスト情報を生成する生成部、サポート情報とコンテンツ識別情報とを対応付けて記憶させる記憶処理部、ある支援コンテンツのコンテンツ識別情報が対応付けられたサポート情報を読み出し、当該ある支援コンテンツの再生中に、読み出した当該サポート情報に含まれる発話を開始した時刻が到来した場合、当該サポート情報に含まれるテキスト情報に対応する発話を放音手段から放音させるサポート処理部を有するカラオケ装置。
【選択図】図２
【解決手段】利用者の集中度を取得する集中度取得部と、支援コンテンツの再生中に指導者が発話した場合、集中度が第１の所定条件を満たすかどうかを判定する判定部、発話に対応するテキスト情報を生成する生成部、サポート情報とコンテンツ識別情報とを対応付けて記憶させる記憶処理部、ある支援コンテンツのコンテンツ識別情報が対応付けられたサポート情報を読み出し、当該ある支援コンテンツの再生中に、読み出した当該サポート情報に含まれる発話を開始した時刻が到来した場合、当該サポート情報に含まれるテキスト情報に対応する発話を放音手段から放音させるサポート処理部を有するカラオケ装置。
【選択図】図２
【特許請求の範囲】
【請求項1】
利用者の身体に関する能力の維持または改善を支援するための支援コンテンツを再生可能なカラオケ装置であって、
支援コンテンツの再生中に撮影手段により撮影された利用者の映像から、利用者の集中度を取得する集中度取得部と、
支援コンテンツの再生中に指導者が発話した場合、当該発話した期間において取得された前記集中度が第１の所定条件を満たすかどうかを判定する判定部と、
取得された前記集中度が前記第１の所定条件を満たすと判定された場合、前記発話に対応するテキスト情報を生成する生成部と、
生成された前記テキスト情報及び前記支援コンテンツの再生時間における前記発話を開始した時刻を含むサポート情報と、当該支援コンテンツのコンテンツ識別情報とを対応付けて記憶手段に記憶させる記憶処理部と、
ある支援コンテンツを再生する場合、前記記憶手段から当該ある支援コンテンツのコンテンツ識別情報が対応付けられたサポート情報を読み出し、当該ある支援コンテンツの再生中に、読み出した当該サポート情報に含まれる発話を開始した時刻が到来した場合、当該サポート情報に含まれるテキスト情報に対応する発話を放音手段から放音させるサポート処理部と、
を有するカラオケ装置。
支援コンテンツの再生中に撮影手段により撮影された利用者の映像から、利用者の集中度を取得する集中度取得部と、
支援コンテンツの再生中に指導者が発話した場合、当該発話した期間において取得された前記集中度が第１の所定条件を満たすかどうかを判定する判定部と、
取得された前記集中度が前記第１の所定条件を満たすと判定された場合、前記発話に対応するテキスト情報を生成する生成部と、
生成された前記テキスト情報及び前記支援コンテンツの再生時間における前記発話を開始した時刻を含むサポート情報と、当該支援コンテンツのコンテンツ識別情報とを対応付けて記憶手段に記憶させる記憶処理部と、
ある支援コンテンツを再生する場合、前記記憶手段から当該ある支援コンテンツのコンテンツ識別情報が対応付けられたサポート情報を読み出し、当該ある支援コンテンツの再生中に、読み出した当該サポート情報に含まれる発話を開始した時刻が到来した場合、当該サポート情報に含まれるテキスト情報に対応する発話を放音手段から放音させるサポート処理部と、
を有するカラオケ装置。
【請求項2】
前記集中度取得部は、前記ある支援コンテンツの再生中に撮影手段により撮影された利用者の映像から、利用者の集中度を取得し、
前記サポート処理部は、前記ある支援コンテンツの再生中に、読み出した前記サポート情報に含まれる発話を開始した時刻が到来した場合、且つ取得した前記集中度が第２の所定条件を満たした場合、前記サポート情報に含まれるテキスト情報に対応する発話を放音手段から放音させることを特徴とする請求項１記載のカラオケ装置。
前記サポート処理部は、前記ある支援コンテンツの再生中に、読み出した前記サポート情報に含まれる発話を開始した時刻が到来した場合、且つ取得した前記集中度が第２の所定条件を満たした場合、前記サポート情報に含まれるテキスト情報に対応する発話を放音手段から放音させることを特徴とする請求項１記載のカラオケ装置。
【請求項3】
利用者の身体に関する能力の維持または改善を支援するための支援コンテンツを再生可能なカラオケ装置であって、
支援コンテンツの再生中に撮影手段により撮影された利用者の映像から、利用者の集中度を取得する集中度取得部と、
支援コンテンツの再生中に指導者が動作をした場合、当該動作をした期間において取得された前記集中度が第３の所定条件を満たすかどうかを判定する判定部と、
取得された前記集中度が前記第３の所定条件を満たすと判定された場合、支援コンテンツの再生中に撮影手段により撮影された指導者の映像に基づき、指導者の動きに対応するジェスチャー情報を生成する生成部と、
生成された前記ジェスチャー情報及び前記支援コンテンツの再生時間における前記動作を開始した時刻を含むサポート情報と、当該支援コンテンツのコンテンツ識別情報とを対応付けて記憶手段に記憶させる記憶処理部と、
ある支援コンテンツを再生する場合、前記記憶手段から当該ある支援コンテンツのコンテンツ識別情報が対応付けられたサポート情報を読み出し、当該ある支援コンテンツの再生中に、読み出した当該サポート情報に含まれる動作を開始した時刻が到来した場合、当該サポート情報に含まれるジェスチャー情報に対応する動作を表示手段に表示させ、及び／または当該サポート情報に含まれるジェスチャー情報に対応する動作を外部機器に実行させるための制御信号を生成し、当該外部機器に送信するサポート処理部と、
を有するカラオケ装置。
支援コンテンツの再生中に撮影手段により撮影された利用者の映像から、利用者の集中度を取得する集中度取得部と、
支援コンテンツの再生中に指導者が動作をした場合、当該動作をした期間において取得された前記集中度が第３の所定条件を満たすかどうかを判定する判定部と、
取得された前記集中度が前記第３の所定条件を満たすと判定された場合、支援コンテンツの再生中に撮影手段により撮影された指導者の映像に基づき、指導者の動きに対応するジェスチャー情報を生成する生成部と、
生成された前記ジェスチャー情報及び前記支援コンテンツの再生時間における前記動作を開始した時刻を含むサポート情報と、当該支援コンテンツのコンテンツ識別情報とを対応付けて記憶手段に記憶させる記憶処理部と、
ある支援コンテンツを再生する場合、前記記憶手段から当該ある支援コンテンツのコンテンツ識別情報が対応付けられたサポート情報を読み出し、当該ある支援コンテンツの再生中に、読み出した当該サポート情報に含まれる動作を開始した時刻が到来した場合、当該サポート情報に含まれるジェスチャー情報に対応する動作を表示手段に表示させ、及び／または当該サポート情報に含まれるジェスチャー情報に対応する動作を外部機器に実行させるための制御信号を生成し、当該外部機器に送信するサポート処理部と、
を有するカラオケ装置。
【請求項4】
前記集中度取得部は、前記ある支援コンテンツの再生中に撮影手段により撮影された利用者の映像から、利用者の集中度を取得し、
前記サポート処理部は、前記ある支援コンテンツの再生中に、読み出した前記サポート情報に含まれる動作を開始した時刻が到来した場合、且つ取得した前記集中度が第４の所定条件を満たした場合、前記サポート情報に含まれるジェスチャー情報に対応する動作を表示手段に表示させ、及び／または当該サポート情報に含まれるジェスチャー情報に対応する動作を外部機器に実行させるための制御信号を生成し、当該外部機器に送信することを特徴とする請求項３記載のカラオケ装置。
前記サポート処理部は、前記ある支援コンテンツの再生中に、読み出した前記サポート情報に含まれる動作を開始した時刻が到来した場合、且つ取得した前記集中度が第４の所定条件を満たした場合、前記サポート情報に含まれるジェスチャー情報に対応する動作を表示手段に表示させ、及び／または当該サポート情報に含まれるジェスチャー情報に対応する動作を外部機器に実行させるための制御信号を生成し、当該外部機器に送信することを特徴とする請求項３記載のカラオケ装置。
【請求項5】
支援コンテンツの再生中に撮影手段により撮影された利用者の属性情報を取得する属性情報取得部を有し、
前記記憶処理部は、取得した前記属性情報を含む前記サポート情報を前記記憶手段に記憶させ、
前記サポート処理部は、前記ある支援コンテンツを再生する場合、当該ある支援コンテンツのコンテンツ識別情報が対応付けられた複数のサポート情報のうち、属性情報が第５の所定条件を満たすサポート情報を読み出すことを特徴とする請求項１から４のいずれか一つに記載のカラオケ装置。
前記記憶処理部は、取得した前記属性情報を含む前記サポート情報を前記記憶手段に記憶させ、
前記サポート処理部は、前記ある支援コンテンツを再生する場合、当該ある支援コンテンツのコンテンツ識別情報が対応付けられた複数のサポート情報のうち、属性情報が第５の所定条件を満たすサポート情報を読み出すことを特徴とする請求項１から４のいずれか一つに記載のカラオケ装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明はカラオケ装置に関する。
【背景技術】
【0002】
カラオケ装置は、様々なコンテンツを備える。コンテンツの中には、利用者の身体に関する能力の維持または改善を支援するための支援コンテンツ（たとえば、介護予防、健康増進、機能訓練を目的としたコンテンツ）がある。
【0003】
非特許文献１には、介護予防を支援するための様々なコンテンツを再生可能な生活総合機能改善機器が開示されている。
【先行技術文献】
【非特許文献】
【0004】
【非特許文献1】「ＤＫ ＥＬＤＥＲ ＳＹＳＴＥＭ」、株式会社第一興商、［令和５年１月２８日検索］、インターネット、＜ＵＲＬ：https://dk-eldersystem.com/＞
【発明の概要】
【発明が解決しようとする課題】
【0005】
ここで、カラオケ装置を用いて支援コンテンツを再生する場合、施設のスタッフやトレーナー（以下、「指導者」）は、利用者に対して支援コンテンツの実施を促すような発話や動作を行う。この場合、ベテランの指導者は、利用者に対して適切なタイミングで効果的な発話や動作を行うことができる。一方で、経験の浅い指導者や発話に苦手意識を持つ指導者にとっては、ベテランの指導者等と同様の対応を行うことが困難である。
【0006】
本発明の目的は、支援コンテンツを再生する際に、指導者のサポートが可能なカラオケ装置を提供することにある。
【課題を解決するための手段】
【0007】
上記目的を達成するための一の発明は、利用者の身体に関する能力の維持または改善を支援するための支援コンテンツを再生可能なカラオケ装置であって、支援コンテンツの再生中に撮影手段により撮影された利用者の映像から、利用者の集中度を取得する集中度取得部と、支援コンテンツの再生中に指導者が発話した場合、当該発話した期間において取得された前記集中度が第１の所定条件を満たすかどうかを判定する判定部と、取得された前記集中度が前記第１の所定条件を満たすと判定された場合、前記発話に対応するテキスト情報を生成する生成部と、生成された前記テキスト情報及び前記支援コンテンツの再生時間における前記発話を開始した時刻を含むサポート情報と、当該支援コンテンツのコンテンツ識別情報とを対応付けて記憶手段に記憶させる記憶処理部と、ある支援コンテンツを再生する場合、前記記憶手段から当該ある支援コンテンツのコンテンツ識別情報が対応付けられたサポート情報を読み出し、当該ある支援コンテンツの再生中に、読み出した当該サポート情報に含まれる発話を開始した時刻が到来した場合、当該サポート情報に含まれるテキスト情報に対応する発話を放音手段から放音させるサポート処理部と、を有するカラオケ装置である。
また、上記目的を達成するための他の発明は、利用者の身体に関する能力の維持または改善を支援するための支援コンテンツを再生可能なカラオケ装置であって、支援コンテンツの再生中に撮影手段により撮影された利用者の映像から、利用者の集中度を取得する集中度取得部と、支援コンテンツの再生中に指導者が動作をした場合、当該動作をした期間において取得された前記集中度が第３の所定条件を満たすかどうかを判定する判定部と、取得された前記集中度が前記第３の所定条件を満たすと判定された場合、支援コンテンツの再生中に撮影手段により撮影された指導者の映像に基づき、指導者の動きに対応するジェスチャー情報を生成する生成部と、生成された前記ジェスチャー情報及び前記支援コンテンツの再生時間における前記動作を開始した時刻を含むサポート情報と、当該支援コンテンツのコンテンツ識別情報とを対応付けて記憶手段に記憶させる記憶処理部と、ある支援コンテンツを再生する場合、前記記憶手段から当該ある支援コンテンツのコンテンツ識別情報が対応付けられたサポート情報を読み出し、当該ある支援コンテンツの再生中に、読み出した当該サポート情報に含まれる動作を開始した時刻が到来した場合、当該サポート情報に含まれるジェスチャー情報に対応する動作を表示手段に表示させ、及び／または当該サポート情報に含まれるジェスチャー情報に対応する動作を外部機器に実行させるための制御信号を生成し、当該外部機器に送信するサポート処理部と、を有するカラオケ装置である。
本発明の他の特徴については、後述する明細書及び図面の記載により明らかにする。
また、上記目的を達成するための他の発明は、利用者の身体に関する能力の維持または改善を支援するための支援コンテンツを再生可能なカラオケ装置であって、支援コンテンツの再生中に撮影手段により撮影された利用者の映像から、利用者の集中度を取得する集中度取得部と、支援コンテンツの再生中に指導者が動作をした場合、当該動作をした期間において取得された前記集中度が第３の所定条件を満たすかどうかを判定する判定部と、取得された前記集中度が前記第３の所定条件を満たすと判定された場合、支援コンテンツの再生中に撮影手段により撮影された指導者の映像に基づき、指導者の動きに対応するジェスチャー情報を生成する生成部と、生成された前記ジェスチャー情報及び前記支援コンテンツの再生時間における前記動作を開始した時刻を含むサポート情報と、当該支援コンテンツのコンテンツ識別情報とを対応付けて記憶手段に記憶させる記憶処理部と、ある支援コンテンツを再生する場合、前記記憶手段から当該ある支援コンテンツのコンテンツ識別情報が対応付けられたサポート情報を読み出し、当該ある支援コンテンツの再生中に、読み出した当該サポート情報に含まれる動作を開始した時刻が到来した場合、当該サポート情報に含まれるジェスチャー情報に対応する動作を表示手段に表示させ、及び／または当該サポート情報に含まれるジェスチャー情報に対応する動作を外部機器に実行させるための制御信号を生成し、当該外部機器に送信するサポート処理部と、を有するカラオケ装置である。
本発明の他の特徴については、後述する明細書及び図面の記載により明らかにする。
【発明の効果】
【0008】
本発明によれば、支援コンテンツを再生する際に、指導者のサポートができる。
【図面の簡単な説明】
【0009】
【図1】第１実施形態に係るカラオケ装置を示す図である。
【図2】第１実施形態に係るカラオケ本体を示す図である。
【図3】第１実施形態に係るカラオケ装置の処理を示すフローチャートである。
【図4】第１実施形態に係るカラオケ装置の処理を示すフローチャートである。
【図5】第１実施形態に係る記憶手段に記憶されているテーブルを示す図である。
【図6】第２実施形態に係るカラオケ装置を示す図である。
【図7】第２実施形態に係るカラオケ装置の処理を示すフローチャートである。
【図8】第２実施形態に係るカラオケ装置の処理を示すフローチャートである。
【図9】第２実施形態に係る記憶手段に記憶されているテーブルを示す図である。
【図10】変形例２に係るカラオケ本体を示す図である。
【図11】変形例２に係る記憶手段に記憶されているテーブルを示す図である。
【発明を実施するための形態】
【0010】
【0011】
＝＝カラオケ装置＝＝
図１に示すように、カラオケ装置Ｋは、カラオケ本体１０、スピーカ２０、表示装置３０、マイク４０、リモコン装置５０、及び撮影手段６０を備える。カラオケ本体１０は、カラオケ装置Ｋに関する各種の制御を行う。スピーカ２０はカラオケ本体１０からの放音信号に基づいて放音するための構成である。スピーカ２０は、「放音手段」の一例である。表示装置３０はカラオケ本体１０からの信号に基づいて映像や画像を画面に表示するための構成である。マイク４０は入力された音声をアナログの音声信号に変換してカラオケ本体１０に入力するための構成である。リモコン装置５０は、カラオケ本体１０に対する各種操作をおこなうための装置である。撮影手段６０は、静止画及び動画の撮影が可能なカメラである。
図１に示すように、カラオケ装置Ｋは、カラオケ本体１０、スピーカ２０、表示装置３０、マイク４０、リモコン装置５０、及び撮影手段６０を備える。カラオケ本体１０は、カラオケ装置Ｋに関する各種の制御を行う。スピーカ２０はカラオケ本体１０からの放音信号に基づいて放音するための構成である。スピーカ２０は、「放音手段」の一例である。表示装置３０はカラオケ本体１０からの信号に基づいて映像や画像を画面に表示するための構成である。マイク４０は入力された音声をアナログの音声信号に変換してカラオケ本体１０に入力するための構成である。リモコン装置５０は、カラオケ本体１０に対する各種操作をおこなうための装置である。撮影手段６０は、静止画及び動画の撮影が可能なカメラである。
【0012】
カラオケ装置Ｋは、介護施設やデイサービス施設、レクリエーションを行うイベント会場等、利用者が介護予防、健康増進、機能訓練等を行う場所に設置される。カラオケ装置Ｋは、支援コンテンツを再生可能である。支援コンテンツは、利用者の身体に関する能力の維持または改善を支援するためのものである。具体的には、音楽に合わせて一緒に歌うコンテンツ、映像を見ながら体を動かすコンテンツ、映像を見ながら記憶を刺激するコンテンツ等、目的に応じた複数のコンテンツ等である。各コンテンツは、たとえば２分、５分のように、予め所定の再生時間が設定されている。身体に関する能力は、筋力、筋持久力、瞬発力、心肺持久力、敏捷性、平衡性、柔軟性のような身体能力、これらの総合である体力、記憶力や言語理解力のような認知力である。また身体に関する能力として、コミュニケーション力等を含んでもよい。
【0013】
カラオケ装置Ｋは、介護施設の職員やトレーナー等、利用者による支援コンテンツの実施をサポートする者（以下「指導者」）が操作を行う。指導者は、複数の支援コンテンツの中から利用者に適したコンテンツを選択する。カラオケ装置Ｋは、指導者が選択した支援コンテンツを再生する。利用者は、カラオケ装置Ｋのスピーカ２０から放音される楽曲のカラオケ演奏音や表示装置３０に表示される映像に合わせて支援コンテンツを実施する。支援コンテンツの実施とは、たとえば、映像に合わせて体を動かしたり、カラオケ演奏音に合わせて歌を歌ったりすることである。一方、指導者は、利用者に対して支援コンテンツの実施を促すような発話や動作を行う。
【0014】
また、カラオケ装置Ｋは、指導者の発話を記憶する「発話記憶モード」、及び支援コンテンツを再生する際に、記憶された発話を用いて指導者をサポートする「発話サポートモード」を備えている。各モードの選択は、リモコン装置５０等を介して行うことができる。
【0015】
図２に示すように、本実施形態に係るカラオケ本体１０は、記憶手段１０ａ、通信手段１０ｂ、入力手段１０ｃ、演奏手段１０ｄ、及び制御手段１０ｅを備える。各構成はインターフェース（図示なし）を介してバスＢに接続されている。
【0016】
［記憶手段］
記憶手段１０ａは、各種のデータを記憶する大容量の記憶装置である。本実施形態において、記憶手段１０ａは、コンテンツデータをコンテンツ識別情報と対応付けて記憶している。
記憶手段１０ａは、各種のデータを記憶する大容量の記憶装置である。本実施形態において、記憶手段１０ａは、コンテンツデータをコンテンツ識別情報と対応付けて記憶している。
【0017】
コンテンツデータは、支援コンテンツを再生するためのデータである。具体的に、コンテンツデータは、コンテンツの内容に応じた映像データ、楽曲の演奏データ、音声データ等である。コンテンツ識別情報は、コンテンツを識別するためのコンテンツＩＤ等、各コンテンツに固有の情報である。
【0018】
［通信手段・入力手段］
通信手段１０ｂは、リモコン装置５０や外部の各種装置・機器（たとえばサーバ装置（図示なし）や人型ロボットのような外部機器（第２実施形態参照））との通信を行うためのインターフェースを提供する。入力手段１０ｃは、指導者が各種の指示入力を行うための構成である。入力手段１０ｃは、カラオケ本体１０に設けられたボタン等である。或いは、リモコン装置５０が入力手段１０ｃとして機能してもよい。
通信手段１０ｂは、リモコン装置５０や外部の各種装置・機器（たとえばサーバ装置（図示なし）や人型ロボットのような外部機器（第２実施形態参照））との通信を行うためのインターフェースを提供する。入力手段１０ｃは、指導者が各種の指示入力を行うための構成である。入力手段１０ｃは、カラオケ本体１０に設けられたボタン等である。或いは、リモコン装置５０が入力手段１０ｃとして機能してもよい。
【0019】
［演奏手段］
演奏手段１０ｄは、制御手段１０ｅの制御に基づき、コンテンツデータの再生処理、及びマイク４０を通じて入力された音声に基づく信号の処理を行う。演奏手段１０ｄは、音源、ミキサ、アンプ等を含む（いずれも図示なし）。
演奏手段１０ｄは、制御手段１０ｅの制御に基づき、コンテンツデータの再生処理、及びマイク４０を通じて入力された音声に基づく信号の処理を行う。演奏手段１０ｄは、音源、ミキサ、アンプ等を含む（いずれも図示なし）。
【0020】
［制御手段］
制御手段１０ｅは、カラオケ装置Ｋにおける各種の制御を行う。制御手段１０ｅは、ＣＰＵおよびメモリ（いずれも図示無し）を備える。ＣＰＵは、メモリに記憶されたプログラムを実行することにより各種の機能を実現する。
制御手段１０ｅは、カラオケ装置Ｋにおける各種の制御を行う。制御手段１０ｅは、ＣＰＵおよびメモリ（いずれも図示無し）を備える。ＣＰＵは、メモリに記憶されたプログラムを実行することにより各種の機能を実現する。
【0021】
本実施形態においてはＣＰＵがメモリに記憶されるプログラムを実行することにより、制御手段１０ｅは、集中度取得部１００、判定部２００、生成部３００、記憶処理部４００、及びサポート処理部５００として機能する。
【0022】
（集中度取得部）
集中度取得部１００は、支援コンテンツの再生中に撮影手段６０により撮影された利用者の映像から、利用者の集中度を取得する。
集中度取得部１００は、支援コンテンツの再生中に撮影手段６０により撮影された利用者の映像から、利用者の集中度を取得する。
【0023】
映像に含まれる人物の集中度を取得する方法は、公知の技術（たとえば、特開２０１６－０３２２６１号公報記載の技術）を利用できる。集中度は、たとえば１（最も集中していない）～１０（最も集中している）のように、数値として取得できる。
【0024】
ここで、カラオケ装置Ｋを用いて支援コンテンツを再生する際、ある指導者が、自己の発話を他の指導者のサポート用に残しておきたいと考えたとする。この場合、指導者は、リモコン装置５０等を介して、発話記憶モードを予め選択した後、支援コンテンツの選択を行う。その後、カラオケ装置Ｋは、選択された支援コンテンツの再生を開始する。撮影装置６０は、支援コンテンツの再生開始に伴い、利用者の撮影を開始する。
【0025】
集中度取得部１００は、支援コンテンツの再生開始後に集中度の取得を開始する。集中度取得部１００は、撮影手段６０から利用者の映像に対応するデータを取得し、映像に含まれる利用者の集中度を取得する。集中度の取得は、連続して行ってもよいし、所定のタイミング毎（たとえば５秒毎、１０秒毎）に行ってもよい。たとえば、集中度取得部１００は、支援コンテンツの再生開始から再生終了後まで５秒毎に集中度を取得する。集中度取得部１００は、取得した集中度を判定部２００に出力する。
【0026】
なお、撮影手段６０が撮影した映像に複数の利用者が含まれている場合、集中度取得部１００は、利用者毎に集中度を求めることができる。この場合、集中度取得部１００は、利用者毎の集中度の平均や分散のような統計量を、利用者の集中度として取得する。
【0027】
（判定部）
判定部２００は、支援コンテンツの再生中に指導者が発話した場合、当該発話した期間において取得された集中度が第１の所定条件を満たすかどうかを判定する。
判定部２００は、支援コンテンツの再生中に指導者が発話した場合、当該発話した期間において取得された集中度が第１の所定条件を満たすかどうかを判定する。
【0028】
判定部２００は、マイク４０を介した音声入力があったかどうかにより、支援コンテンツの再生中に指導者が発話したかどうかを判断する。たとえば、判定部２００は、支援コンテンツの再生開始後にマイク４０を介した音声入力があった場合、指導者が発話したと判断する。一方、判定部２００は、ある音声入力があった後、入力がない期間が所定時間（たとえば３秒以上）続いた場合、指導者の発話が終了したと判断する。
【0029】
第１の所定条件は、生成部３００による処理（後述）を実行するかどうかを判断するための条件である。具体的に第１の所定条件は、「指導者がある発話を開始した時刻における利用者の集中度が３未満であり、且つ指導者が当該ある発話を終了した時刻における利用者の集中度が５以上」、「指導者がある発話を終了した時刻における利用者の集中度が、当該ある発話を開始した時刻における利用者の集中度よりも＋２以上」、「発話した期間において取得された集中度の平均値が８以上」といったものである。ある発話を開始した時刻における集中度よりもある発話を終了した時刻における集中度の方が高くなっている場合や集中度が高い値を維持している場合、ある発話が支援コンテンツの実施に対して効果的であると判断できる。このような発話は、他の指導者のサポート用として有益である。
【0030】
たとえば、判定部２００は、支援コンテンツの再生開始後にマイク４０を介した音声入力があった時刻Ｔｓにおける利用者の集中度Ｃｓを取得する。その後、判定部２００は、マイク４０を介した音声入力が終了した時刻Ｔｅにおける利用者の集中度Ｃｅを参照する。なお、時刻Ｔｓ及び時刻Ｔｅは、支援コンテンツの再生開始を基準（０秒）とした場合の時刻である。
【0031】
判定部２００は、集中度Ｃｓ及び集中度Ｃｅが第１の所定条件を満たすかどうかを判断する。第１の所定条件を満たすと判定した場合、判定部２００は、判定結果を生成部３００に出力する。
【0032】
なお、判定部２００が判定に使用する集中度は、発話がされた期間において取得された集中度であればよく、発話を開始した時刻及び終了した時刻における集中度に限られない。
【0033】
（生成部）
生成部３００は、取得された集中度が第１の所定条件を満たすと判定された場合、発話に対応するテキスト情報を生成する。
生成部３００は、取得された集中度が第１の所定条件を満たすと判定された場合、発話に対応するテキスト情報を生成する。
【0034】
発話のような音声をテキスト化する方法は、公知の技術（たとえばＧｏｏｇｌｅ音声のような音声から文字起こしを可能とするソフトウェア）を利用できる。
【0035】
上記例において、判定部２００から集中度Ｃｓ及び集中度Ｃｅが第１の所定条件を満たすという判定結果が出力された場合、生成部３００は、時刻Ｔｓから時刻Ｔｅまでに発話された音声をテキスト化することでテキスト情報を生成する。
【0036】
（記憶処理部）
記憶処理部４００は、生成されたテキスト情報及び支援コンテンツの再生時間における発話を開始した時刻を含むサポート情報と、当該支援コンテンツのコンテンツ識別情報とを対応付けて記憶手段１０ａに記憶させる。
記憶処理部４００は、生成されたテキスト情報及び支援コンテンツの再生時間における発話を開始した時刻を含むサポート情報と、当該支援コンテンツのコンテンツ識別情報とを対応付けて記憶手段１０ａに記憶させる。
【0037】
上記例において、記憶処理部４００は、時刻Ｔｓから時刻Ｔｅまでに発話された音声をテキスト化したテキスト情報、及び発話を開始した時刻Ｔｓを含むサポート情報を、コンテンツ識別情報と対応付けて記憶手段１０ａに記憶させる。
【0038】
このような処理を繰り返し行うことにより、一の支援コンテンツに対して種類の異なる複数のサポート情報が設定される。なお、記憶処理部４００は、コンテンツ識別情報と対応付けたサポート情報を記憶手段１０ａに記憶させる代わりに、外部のサーバ装置の記憶手段に記憶させてもよい。
【0039】
（サポート処理部）
サポート処理部５００は、ある支援コンテンツを再生する場合、記憶手段１０ａから当該ある支援コンテンツのコンテンツ識別情報が対応付けられたサポート情報を読み出し、当該ある支援コンテンツの再生中に、読み出した当該サポート情報に含まれる発話を開始した時刻が到来した場合、当該サポート情報に含まれるテキスト情報に対応する発話を放音手段から放音させる。
サポート処理部５００は、ある支援コンテンツを再生する場合、記憶手段１０ａから当該ある支援コンテンツのコンテンツ識別情報が対応付けられたサポート情報を読み出し、当該ある支援コンテンツの再生中に、読み出した当該サポート情報に含まれる発話を開始した時刻が到来した場合、当該サポート情報に含まれるテキスト情報に対応する発話を放音手段から放音させる。
【0040】
テキスト情報を音声に変換する方法は、公知の技術（たとえば特開平８－０８７２８９号公報）を利用できる。
【0041】
たとえば、ある指導者が、カラオケ装置Ｋを用いて支援コンテンツを再生する際に、発話のサポートを得たいと考えたとする。この場合、指導者は、リモコン装置５０等を介して、発話サポートモードを予め選択した後、支援コンテンツの選択を行う。サポート処理部５００は、記憶手段１０ａから、指導者が選択した支援コンテンツのコンテンツ識別情報に対応付けられたサポート情報を読み出す。
【0042】
その後、カラオケ装置Ｋは、ある支援コンテンツの再生を開始する。サポート処理部５００は、ある支援コンテンツの再生開始からの経過時間を参照する。
【0043】
ここで、ある支援コンテンツの再生中に、読み出したサポート情報に含まれる発話を開始した時刻が到来した場合、サポート処理部５００は、当該サポート情報に含まれるテキスト情報を音声データに変換し、テキスト情報に対応する発話をスピーカ２０から放音させる。なお、テキスト情報に対応する発話を放音させる放音手段は、カラオケ装置Ｋ自体が備えるものでなくともよい。たとえば、放音手段としては、カラオケ装置Ｋと有線または無線通信が可能な外付けのスピーカを用いることができる。
【0044】
＝＝カラオケ装置Ｋの動作について＝＝
次に、図３から図５を参照して本実施形態におけるカラオケ装置Ｋの動作の具体例について述べる。図３は発話記憶モードの処理を示すフローチャートである。図４は発話サポートモードの処理を示すフローチャートである。図５は記憶手段１０ａに記憶されたサポート情報及びコンテンツＩＤのテーブルである。この例における集中度は、１（最も集中度が低い）～１０（最も集中度が高い）の１０段階であるとする。また、第１の所定条件は「指導者がある発話を開始した時刻における利用者の集中度が３未満であり、且つ指導者が当該ある発話を終了した時刻における利用者の集中度が５以上」であるとする。
次に、図３から図５を参照して本実施形態におけるカラオケ装置Ｋの動作の具体例について述べる。図３は発話記憶モードの処理を示すフローチャートである。図４は発話サポートモードの処理を示すフローチャートである。図５は記憶手段１０ａに記憶されたサポート情報及びコンテンツＩＤのテーブルである。この例における集中度は、１（最も集中度が低い）～１０（最も集中度が高い）の１０段階であるとする。また、第１の所定条件は「指導者がある発話を開始した時刻における利用者の集中度が３未満であり、且つ指導者が当該ある発話を終了した時刻における利用者の集中度が５以上」であるとする。
【0045】
［発話記憶モードの処理］
指導者Ｌ１は、リモコン装置５０を介して、発話記憶モードを選択した後、「口から健康！スタート編」の支援コンテンツＳＣ１を選択する。カラオケ装置Ｋは、選択された支援コンテンツＳＣ１のコンテンツデータを記憶手段１０ａから読み出し、再生を開始する（支援コンテンツの再生開始。ステップ１０）。撮影装置６０は、支援コンテンツＳＣ１の再生開始に伴い、支援コンテンツＳＣ１を実施する利用者の撮影を行う（利用者の撮影。ステップ１１）。
指導者Ｌ１は、リモコン装置５０を介して、発話記憶モードを選択した後、「口から健康！スタート編」の支援コンテンツＳＣ１を選択する。カラオケ装置Ｋは、選択された支援コンテンツＳＣ１のコンテンツデータを記憶手段１０ａから読み出し、再生を開始する（支援コンテンツの再生開始。ステップ１０）。撮影装置６０は、支援コンテンツＳＣ１の再生開始に伴い、支援コンテンツＳＣ１を実施する利用者の撮影を行う（利用者の撮影。ステップ１１）。
【0046】
集中度取得部１００は、支援コンテンツＳＣ１の再生中に撮影手段６０により撮影された利用者の映像から、利用者の集中度を取得する（利用者の集中度を取得。ステップ１２）。
【0047】
ここで、支援コンテンツＳＣ１の再生中に指導者Ｌ１が発話した場合（ステップ１３でＹの場合）、判定部２００は、指導者Ｌ１が発話した期間において取得された集中度が第１の所定条件を満たすかどうかを判定する。第１の所定条件を満たすと判定した場合（ステップ１４でＹの場合）、判定部２００は判定結果を生成部３００に出力する。
【0048】
たとえば、判定部２００は、支援コンテンツＳＣ１の再生開始後、時刻Ｔｓ１（２０秒）においてマイク４０を介した音声入力があった場合、指導者Ｌ１が発話したと判断する。判定部２００は、時刻Ｔｓ１における利用者の集中度Ｃｓ１（２．０）を取得する。一方、判定部２００は、音声入力があった後、入力がない期間が３秒以上続いた場合、指導者Ｌ１の発話が終了したと判断する。判定部２００は、マイク４０を介した音声入力が終了した時刻Ｔｅ１（２８秒）における利用者の集中度Ｃｅ１（７．０）を取得する。
【0049】
判定部２００は、利用者の集中度Ｃｓ１及びＣｅ１が第１の所定条件を満たすかどうかを判定する。この例では、指導者Ｌ１が発話を開始した時刻Ｔｓ１における利用者の集中度が２．０であり、且つ指導者Ｌ１が発話を終了した時刻Ｔｅ１における利用者の集中度が７．０であるため、第１の所定条件を満たしている。よって、判定部２００は、判定結果を生成部３００に出力する。
【0050】
生成部３００は、ステップ１２で取得された集中度が第１の所定条件を満たすと判定された場合、発話に対応するテキスト情報を生成する（テキスト情報を生成。ステップ１５）。
【0051】
上述の通り、判定部２００から利用者の集中度Ｃｓ１及び集中度Ｃｅ１が第１の所定条件を満たすという判定結果が出力された場合、生成部３００は、時刻Ｔｓ１から時刻Ｔｅ１までに指導者Ｌ１が発話した音声（この例では「一つ一つの言葉をしっかり発音し、口を大きく開けながら歌ってみましょう。表情が豊かになり、お話もスムーズにできるようになります」）をテキスト化することでテキスト情報Ｔｘ１を生成する。
【0052】
記憶処理部４００は、ステップ１５で生成されたテキスト情報及び支援コンテンツの再生時間における発話を開始した時刻を含むサポート情報と、支援コンテンツのコンテンツＩＤとを対応付けて記憶手段１０ａに記憶させる（サポート情報及びコンテンツＩＤを記憶。ステップ１６）。カラオケ装置Ｋは、支援コンテンツＳＣ１の再生終了まで（ステップ１７でＹの場合）、ステップ１１からステップ１６の処理を繰り返し行う。
【0053】
上述のテキスト情報Ｔｘ１が生成された場合、記憶処理部４００は、テキスト情報Ｔｘ１及び支援コンテンツＳＣ１の再生時間における発話を開始した時刻Ｔｓ１を含むサポート情報と、支援コンテンツＳＣ１のコンテンツＩＤ＊＊＊ＳＣ１とを対応付けて記憶手段１０ａに記憶させる。図５に示すように、記憶手段１０ａには、支援コンテンツＳＣ１のコンテンツＩＤ＊＊＊ＳＣ１に対し、複数のサポート情報ＳＰ１～ＳＰ３が対応付けて記憶されている。
【0054】
［発話サポートモードの処理］
指導者Ｌ１に比べて経験の浅い指導者Ｌ２が利用者に対して「口から健康！スタート編」の支援コンテンツＳＣ１を実施させようと考えたとする。指導者Ｌ２は、リモコン装置５０を介して、発話サポートモードを選択した後、「口から健康！スタート編」の支援コンテンツＳＣ１を選択する。
指導者Ｌ１に比べて経験の浅い指導者Ｌ２が利用者に対して「口から健康！スタート編」の支援コンテンツＳＣ１を実施させようと考えたとする。指導者Ｌ２は、リモコン装置５０を介して、発話サポートモードを選択した後、「口から健康！スタート編」の支援コンテンツＳＣ１を選択する。
【0055】
サポート処理部５００は、支援コンテンツＳＣ１を再生する場合、記憶手段１０ａから支援コンテンツＳＣ１のコンテンツＩＤ＊＊＊ＳＣ１が対応付けられたサポート情報を読み出す（サポート情報の読み出し。ステップ２０）。この例において、サポート処理部５００は、コンテンツＩＤ＊＊＊ＳＣ１に対応付けられているサポート情報ＳＰ１～ＳＰ３を読み出す。
【0056】
カラオケ装置Ｋは、選択された支援コンテンツＳＣ１のコンテンツデータを記憶手段１０ａから読み出し、再生を開始する（支援コンテンツの再生開始。ステップ２１）。
【0057】
サポート処理部５００は、支援コンテンツＳＣ１の再生中に、ステップ２０で読み出したサポート情報に含まれる発話を開始した時刻が到来したかどうかを確認する。ステップ２０で読み出したサポート情報に含まれる発話を開始した時刻が到来した場合（ステップ２２でＹの場合）、サポート処理部５００は、サポート情報に含まれるテキスト情報に対応する発話をスピーカ２０から放音させる（発話を放音。ステップ２３）。カラオケ装置Ｋは、支援コンテンツＳＣ１の再生終了まで（ステップ２４でＹの場合）、ステップ２２及びステップ２３の処理を繰り返し行う。
【0058】
上述の通り、カラオケ装置Ｋが支援コンテンツＳＣ１の再生を開始した場合、サポート処理部５００は、支援コンテンツＳＣ１の再生開始からの経過時間を参照する。サポート情報ＳＰ１に含まれる発話を開始した時刻Ｔｓ１（２０秒）が到来した場合、サポート処理部５００は、サポート情報ＳＰ１に含まれるテキスト情報Ｔｘ１を音声データに変換し、テキスト情報Ｔｘ１に対応する発話（一つ一つの言葉をしっかり発音し、口を大きく開けながら歌ってみましょう。表情が豊かになり、お話もスムーズにできるようになります）をスピーカ２０から放音させる。
【0059】
なお、サポート情報に含まれる発話を開始した時刻が到来した際に指導者が別の発話している場合、サポート処理部５００は、当該サポート情報に含まれるテキスト情報に対応する発話の放音を中止することができる。このような処理を行うことにより、指導者の発話を妨げることを抑制できる。
【0060】
また、一の支援コンテンツに対して複数のサポート情報が記憶されている場合、発話を開始した時刻が同じサポート情報や発話した期間が重複するサポート情報もありうる。この場合、サポート処理部５００は、ランダムに一のサポート情報を特定し、当該サポート情報に含まれるテキスト情報に対応する発話を放音手段から放音させることができる。
【0061】
＝＝第１実施形態のまとめ＝＝
以上から明らかなように、本実施形態に係るカラオケ装置Ｋは、利用者の身体に関する能力の維持または改善を支援するための支援コンテンツを再生可能である。カラオケ装置Ｋは、支援コンテンツの再生中に撮影手段６０により撮影された利用者の映像から、利用者の集中度を取得する集中度取得部１００と、支援コンテンツの再生中に指導者が発話した場合、当該発話した期間において取得された集中度が第１の所定条件を満たすかどうかを判定する判定部２００と、取得された集中度が第１の所定条件を満たすと判定された場合、発話に対応するテキスト情報を生成する生成部３００と、生成されたテキスト情報及び支援コンテンツの再生時間における発話を開始した時刻を含むサポート情報と、当該支援コンテンツのコンテンツ識別情報とを対応付けて記憶手段１０ａに記憶させる記憶処理部４００と、ある支援コンテンツを再生する場合、記憶手段１０ａから当該ある支援コンテンツのコンテンツ識別情報が対応付けられたサポート情報を読み出し、当該ある支援コンテンツの再生中に、読み出した当該サポート情報に含まれる発話を開始した時刻が到来した場合、当該サポート情報に含まれるテキスト情報に対応する発話をスピーカ２０から放音させるサポート処理部５００と、を有する。
以上から明らかなように、本実施形態に係るカラオケ装置Ｋは、利用者の身体に関する能力の維持または改善を支援するための支援コンテンツを再生可能である。カラオケ装置Ｋは、支援コンテンツの再生中に撮影手段６０により撮影された利用者の映像から、利用者の集中度を取得する集中度取得部１００と、支援コンテンツの再生中に指導者が発話した場合、当該発話した期間において取得された集中度が第１の所定条件を満たすかどうかを判定する判定部２００と、取得された集中度が第１の所定条件を満たすと判定された場合、発話に対応するテキスト情報を生成する生成部３００と、生成されたテキスト情報及び支援コンテンツの再生時間における発話を開始した時刻を含むサポート情報と、当該支援コンテンツのコンテンツ識別情報とを対応付けて記憶手段１０ａに記憶させる記憶処理部４００と、ある支援コンテンツを再生する場合、記憶手段１０ａから当該ある支援コンテンツのコンテンツ識別情報が対応付けられたサポート情報を読み出し、当該ある支援コンテンツの再生中に、読み出した当該サポート情報に含まれる発話を開始した時刻が到来した場合、当該サポート情報に含まれるテキスト情報に対応する発話をスピーカ２０から放音させるサポート処理部５００と、を有する。
【0062】
このようなカラオケ装置Ｋによれば、利用者の集中度に応じたサポート情報を、支援コンテンツ毎に予め記憶しておくことができる。またこのようなカラオケ装置Ｋによれば、、支援コンテンツを再生する際に、当該支援コンテンツに対応するサポート情報に含まれる発話を開始した時刻で、当該サポート情報に含まれるテキスト情報に対応する発話を放音させることができる。サポート情報に含まれる発話を開始した時刻は、利用者の集中度を高める発話が開始された時刻、すなわち利用者に対して発話する適切なタイミングである。またサポート情報に含まれるテキスト情報に対応する発話は、利用者の集中度を高める発話、すなわち利用者に対して効果的な発話である。このような適切なタイミングで効果的な発話を放音させることにより、経験の浅い指導者であってもベテランの指導者と同様の対応を行うことができる。すなわち、本実施形態に係るカラオケ装置Ｋによれば、支援コンテンツを再生する際に、指導者のサポートができる。
【0063】
＜第１実施形態の変形例＞
指導者からコンテンツの実施を促すような発話がなくとも集中して取り組む利用者もいる。或いは、経験の浅い指導者であっても適切なタイミングで効果的な発話を行うことができる場合もありうる。これらの場合、記憶されているサポート情報に基づいて発話を放音させる必要はない。本変形例では所定の条件を満たした場合にのみサポート情報に含まれるテキスト情報に対応する発話を放音手段から放音させる例について述べる。
指導者からコンテンツの実施を促すような発話がなくとも集中して取り組む利用者もいる。或いは、経験の浅い指導者であっても適切なタイミングで効果的な発話を行うことができる場合もありうる。これらの場合、記憶されているサポート情報に基づいて発話を放音させる必要はない。本変形例では所定の条件を満たした場合にのみサポート情報に含まれるテキスト情報に対応する発話を放音手段から放音させる例について述べる。
【0064】
（集中度取得部）
本変形例に係る集中度取得部１００は、ある支援コンテンツの再生中に撮影手段６０により撮影された利用者の映像から、利用者の集中度を取得する。
本変形例に係る集中度取得部１００は、ある支援コンテンツの再生中に撮影手段６０により撮影された利用者の映像から、利用者の集中度を取得する。
【0065】
たとえば、ある指導者が、カラオケ装置Ｋを用いて支援コンテンツを再生する際に、発話のサポートを得たいと考えたとする。この場合、指導者は、リモコン装置５０等を介して、発話サポートモードを予め選択した後、支援コンテンツの選択を行う。サポート処理部５００は、記憶手段１０ａから、指導者が選択した支援コンテンツのコンテンツ識別情報に対応付けられたサポート情報を読み出す。
【0066】
その後、カラオケ装置Ｋは、ある支援コンテンツの再生を開始する。撮影装置６０は、支援コンテンツの再生開始に伴い、利用者の撮影を開始する。
【0067】
集中度取得部１００は、支援コンテンツの再生開始後に集中度の取得を開始する。集中度取得部１００は、撮影手段６０から利用者の映像に対応するデータを取得し、映像に含まれる利用者の集中度を取得する。集中度取得部１００は、取得した集中度をサポート処理部５００に出力する。
【0068】
（サポート処理部）
本変形例に係るサポート処理部５００は、ある支援コンテンツの再生中に、読み出したサポート情報に含まれる発話を開始した時刻が到来した場合、且つ取得した集中度が第２の所定条件を満たした場合、サポート情報に含まれるテキスト情報に対応する発話を放音手段から放音させる。
本変形例に係るサポート処理部５００は、ある支援コンテンツの再生中に、読み出したサポート情報に含まれる発話を開始した時刻が到来した場合、且つ取得した集中度が第２の所定条件を満たした場合、サポート情報に含まれるテキスト情報に対応する発話を放音手段から放音させる。
【0069】
第２の所定条件は、サポート情報に含まれるテキスト情報に対応する発話を放音するかどうかを判断するための条件である。具体的に第２の所定条件は、「読み出したサポート情報に含まれる発話を開始した時刻が到来した時点における利用者の集中度が３未満」といったものである。読み出したサポート情報に含まれる発話を開始した時刻が到来した時刻における集中度が低い場合、効果的な発話を放音させるメリットが生まれる。
【0070】
上記例において、サポート処理部５００は、記憶手段１０ａから、指導者が選択した支援コンテンツのコンテンツ識別情報に対応付けられたサポート情報を読み出す。サポート処理部５００は、ある支援コンテンツの再生開始からの経過時間を参照する。
【0071】
ここで、ある支援コンテンツの再生中に、読み出したサポート情報に含まれる発話を開始した時刻が到来した場合、サポート処理部５００は、取得した集中度が第２の所定条件を満たすかどうかを判断する。取得した集中度が第２の所定条件を満たす場合、サポート処理部５００は、読み出したサポート情報に含まれるテキスト情報を音声データに変換し、テキスト情報に対応する発話をスピーカ２０から放音させる。一方、取得した集中度が第２の所定条件を満たさない場合、サポート処理部５００は、読み出したサポート情報に含まれるテキスト情報を音声データに変換する処理を実行しない。すなわち、サポート処理部５００は、テキスト情報に対応する発話をスピーカ２０から放音させない。
【0072】
以上から明らかなように、本変形例に係るカラオケ装置Ｋにおいて集中度取得部１００は、ある支援コンテンツの再生中に撮影手段６０により撮影された利用者の映像から、利用者の集中度を取得し、サポート処理部５００は、ある支援コンテンツの再生中に、読み出したサポート情報に含まれる発話を開始した時刻が到来した場合、且つ取得した集中度が第２の所定条件を満たした場合、サポート情報に含まれるテキスト情報に対応する発話を放音手段から放音させる。このようなカラオケ装置Ｋによれば、コンテンツを実施している利用者の集中度を考慮して指導者のサポートができる。
【0073】
＜第２実施形態＞
次に、図６から図９を参照して、第２実施形態に係るカラオケ装置について説明する。本実施形態では、ベテランの指導者による動作を用いてサポートを行う例について述べる。第１実施形態と同様の構成や処理については詳細な説明を省略する。
次に、図６から図９を参照して、第２実施形態に係るカラオケ装置について説明する。本実施形態では、ベテランの指導者による動作を用いてサポートを行う例について述べる。第１実施形態と同様の構成や処理については詳細な説明を省略する。
【0074】
＝＝カラオケ装置＝＝
図６に示すように、カラオケ装置Ｋは、外部機器Ｒと通信可能に接続されている。外部機器Ｒは、たとえば、介護向けの人型ロボットである。外部機器Ｒは、カラオケ装置Ｋから送信される制御信号に基づいて動作を行うことができる。
図６に示すように、カラオケ装置Ｋは、外部機器Ｒと通信可能に接続されている。外部機器Ｒは、たとえば、介護向けの人型ロボットである。外部機器Ｒは、カラオケ装置Ｋから送信される制御信号に基づいて動作を行うことができる。
【0075】
本実施形態に係るカラオケ装置Ｋは、指導者の動作を記憶する「動作記憶モード」、及び支援コンテンツを再生する際に、記憶された動作を用いて指導者をサポートする「動作サポートモード」を備えている。
【0076】
［制御手段］
本実施形態においてはＣＰＵがメモリに記憶されるプログラムを実行することにより、制御手段１０ｅは、集中度取得部１００、判定部２００、生成部３００、記憶処理部４００、及びサポート処理部５００として機能する。本実施形態に係る判定部２００、生成部３００、記憶処理部４００、及びサポート処理部５００は、第１実施形態で説明した処理とは異なる処理を行う。
本実施形態においてはＣＰＵがメモリに記憶されるプログラムを実行することにより、制御手段１０ｅは、集中度取得部１００、判定部２００、生成部３００、記憶処理部４００、及びサポート処理部５００として機能する。本実施形態に係る判定部２００、生成部３００、記憶処理部４００、及びサポート処理部５００は、第１実施形態で説明した処理とは異なる処理を行う。
【0077】
（判定部）
本実施形態に係る判定部２００は、支援コンテンツの再生中に指導者が動作をした場合、当該動作をした期間において取得された集中度が第３の所定条件を満たすかどうかを判定する。
本実施形態に係る判定部２００は、支援コンテンツの再生中に指導者が動作をした場合、当該動作をした期間において取得された集中度が第３の所定条件を満たすかどうかを判定する。
【0078】
判定部２００は、撮影手段６０により撮影された指導者の映像により、支援コンテンツの再生中に指導者が動作をしたかどうかを判断する。たとえば、判定部２００は、支援コンテンツの再生開始後に撮影手段６０により撮影された指導者の映像を解析し、所定の動作が含まれているかどうかを判断する。所定の動作は、「両手を大きく振る」、「首を回す」等、予めいくつかの動作が設定されている。映像から所定の動作を特定する方法は公知の画像解析技術を用いることができる。
【0079】
なお、一の撮影手段６０を用いる場合、映像中に指導者と利用者の双方が含まれる可能性がある。この場合、判定部２００は、たとえば特開２０１９－４０１６２号公報に記載された技術を利用し、予め記憶しておいた指導者の顔画像データを用いて映像中の人物の中から指導者を特定することができる。或いは、カラオケ装置Ｋは、利用者を撮影するための第１の撮影手段及び指導者を撮影するための第２の撮影手段のような、複数の撮影手段を備えていてもよい。
【0080】
第３の所定条件は、生成部３００による処理（後述）を実行するかどうかを判断するための条件である。具体的に第３の所定条件は、「指導者がある動作を開始した時刻における利用者の集中度が３未満であり、且つ指導者が当該ある動作を終了した時刻における利用者の集中度が５以上」、「指導者がある動作を終了した時刻における利用者の集中度が、当該ある動作を開始した時刻における利用者の集中度よりも＋２以上」、「動作をした期間において取得された集中度の平均値が８以上」といったものである。ある動作を開始した時刻における集中度よりもある動作を終了した時刻における集中度の方が高くなっている場合や集中度が高い値を維持している場合、ある動作が支援コンテンツの実施に対して効果的であると判断できる。このような動作は、他の指導者のサポート用として有益である。
【0081】
たとえば、判定部２００は、支援コンテンツの再生開始後に撮影手段６０により撮影された指導者の映像を解析し、動作を開始した時刻Ｔｓにおける利用者の集中度Ｃｓを取得する。その後、判定部２００は、支援コンテンツの再生開始後に撮影手段６０により撮影された指導者の映像を解析し、動作を終了した時刻Ｔｅにおける利用者の集中度Ｃｅを取得する。
【0082】
判定部２００は、集中度Ｃｓ及び集中度Ｃｅが第３の所定条件を満たすかどうかを判断する。第３の所定条件を満たすと判定した場合、判定部２００は、判定結果を生成部３００に出力する。
【0083】
（生成部）
本実施形態に係る生成部３００は、取得された集中度が第３の所定条件を満たすと判定された場合、支援コンテンツの再生中に撮影手段６０により撮影された指導者の映像に基づき、指導者の動きに対応するジェスチャー情報を生成する。
本実施形態に係る生成部３００は、取得された集中度が第３の所定条件を満たすと判定された場合、支援コンテンツの再生中に撮影手段６０により撮影された指導者の映像に基づき、指導者の動きに対応するジェスチャー情報を生成する。
【0084】
映像に含まれる人物の動きに対応するジェスチャー情報を生成する方法は、公知の技術（たとえば２次元／３次元ビデオ動作解析システム https://dkh.qsfix.com/product/framedias6/）を利用できる。
【0085】
上記例において、判定部２００から集中度Ｃｓ及び集中度Ｃｅが第３の所定条件を満たすという判定結果が出力された場合、生成部３００は、指導者の映像に基づき、時刻Ｔｓから時刻Ｔｅの間に行われた動作に対応するジェスチャー情報を生成する。
【0086】
（記憶処理部）
本実施形態に係る記憶処理部４００は、生成されたジェスチャー情報及び支援コンテンツの再生時間における動作を開始した時刻を含むサポート情報と、当該支援コンテンツのコンテンツ識別情報とを対応付けて記憶手段１０ａに記憶させる。
本実施形態に係る記憶処理部４００は、生成されたジェスチャー情報及び支援コンテンツの再生時間における動作を開始した時刻を含むサポート情報と、当該支援コンテンツのコンテンツ識別情報とを対応付けて記憶手段１０ａに記憶させる。
【0087】
上記例において、記憶処理部４００は、時刻Ｔｓから時刻Ｔｅの間に行われた動作に対応するジェスチャー情報、及び動作を開始した時刻Ｔｓを含むサポート情報を、コンテンツ識別情報と対応付けて記憶手段１０ａに記憶させる。
【0088】
（サポート処理部）
本実施形態に係るサポート処理部５００は、ある支援コンテンツを再生する場合、記憶手段１０ａから当該ある支援コンテンツのコンテンツ識別情報が対応付けられたサポート情報を読み出し、当該ある支援コンテンツの再生中に、読み出した当該サポート情報に含まれる動作を開始した時刻が到来した場合、当該サポート情報に含まれるジェスチャー情報に対応する動作を表示装置３０に表示させ、及び／または当該サポート情報に含まれるジェスチャー情報に対応する動作を外部機器Ｒに実行させるための制御信号を生成し、外部機器Ｒに送信する。
本実施形態に係るサポート処理部５００は、ある支援コンテンツを再生する場合、記憶手段１０ａから当該ある支援コンテンツのコンテンツ識別情報が対応付けられたサポート情報を読み出し、当該ある支援コンテンツの再生中に、読み出した当該サポート情報に含まれる動作を開始した時刻が到来した場合、当該サポート情報に含まれるジェスチャー情報に対応する動作を表示装置３０に表示させ、及び／または当該サポート情報に含まれるジェスチャー情報に対応する動作を外部機器Ｒに実行させるための制御信号を生成し、外部機器Ｒに送信する。
【0089】
たとえば、ある指導者が、カラオケ装置Ｋを用いて支援コンテンツを再生する際に、動作のサポートを得たいと考えたとする。この場合、指導者は、リモコン装置５０等を介して、動作サポートモードを予め選択した後、支援コンテンツの選択を行う。サポート処理部５００は、記憶手段１０ａから、指導者が選択した支援コンテンツのコンテンツ識別情報に対応付けられたサポート情報を読み出す。
【0090】
その後、カラオケ装置Ｋは、ある支援コンテンツの再生を開始する。サポート処理部５００は、ある支援コンテンツの再生開始からの経過時間を参照する。
【0091】
ここで、ある支援コンテンツの再生中に、読み出したサポート情報に含まれる動作を開始した時刻が到来した場合、サポート処理部５００は、当該サポート情報に含まれるジェスチャー情報を映像データに変換し、ジェスチャー情報に対応する動作を表示装置３０に表示させる。なお、ジェスチャー情報に対応する動作を表示させる表示手段は、カラオケ装置Ｋ自体が備えるものでなくともよい。たとえば、表示手段としては、カラオケ装置Ｋと有線または無線通信が可能な外付けのディスプレイを用いることができる。
【0092】
また、ある支援コンテンツの再生中に、読み出したサポート情報に含まれる動作を開始した時刻が到来した場合、サポート処理部５００は、当該サポート情報に含まれるジェスチャー情報に対応する動作を外部機器Ｒに実行させるための制御信号を生成し、外部機器Ｒに送信する。たとえば、ジェスチャー情報に対応する動作が「両手を大きく振る」である場合、サポート処理部５００は、外部機器Ｒである人型ロボットに対して両手を大きく振る動作をさせるための制御信号を生成し、外部機器Ｒに送信する。外部機器Ｒは、制御信号に基づいてジェスチャー情報に対応する動作を実行する。
【0093】
なお、サポート処理部５００は、ジェスチャー情報に対応する動作を表示手段に表示させる処理、及びジェスチャー情報に対応する動作を外部機器に実行させるための制御信号を生成し、当該外部機器に送信する処理の両方を行ってもよい。
【0094】
＝＝カラオケ装置Ｋの動作について＝＝
次に、図７から図９を参照して本実施形態におけるカラオケ装置Ｋの動作の具体例について述べる。図７は動作記憶モードの処理を示すフローチャートである。図８は動作サポートモードの処理を示すフローチャートである。図９は記憶手段１０ａに記憶されたサポート情報及びコンテンツＩＤのテーブルである。この例における集中度は、１（最も集中度が低い）～１０（最も集中度が高い）の１０段階であるとする。また、第３の所定条件は「指導者がある動作を開始した時刻における利用者の集中度が３未満であり、且つ指導者が当該ある動作を終了した時刻における利用者の集中度が５以上」であるとする。また、この例におけるサポート処理部５００は、サポート情報に含まれるジェスチャー情報に対応する動作を外部機器Ｒに実行させるための制御信号を生成し、外部機器Ｒに送信する処理を実行するとする。
次に、図７から図９を参照して本実施形態におけるカラオケ装置Ｋの動作の具体例について述べる。図７は動作記憶モードの処理を示すフローチャートである。図８は動作サポートモードの処理を示すフローチャートである。図９は記憶手段１０ａに記憶されたサポート情報及びコンテンツＩＤのテーブルである。この例における集中度は、１（最も集中度が低い）～１０（最も集中度が高い）の１０段階であるとする。また、第３の所定条件は「指導者がある動作を開始した時刻における利用者の集中度が３未満であり、且つ指導者が当該ある動作を終了した時刻における利用者の集中度が５以上」であるとする。また、この例におけるサポート処理部５００は、サポート情報に含まれるジェスチャー情報に対応する動作を外部機器Ｒに実行させるための制御信号を生成し、外部機器Ｒに送信する処理を実行するとする。
【0095】
［動作記憶モードの処理］
指導者Ｌ３は、リモコン装置５０を介して、動作記憶モードを選択した後、「口から健康！実践編」の支援コンテンツＳＣ２を選択する。カラオケ装置Ｋは、選択された支援コンテンツＳＣ２のコンテンツデータを記憶手段１０ａから読み出し、再生を開始する（支援コンテンツの再生開始。ステップ３０）。撮影装置６０は、支援コンテンツＳＣ２の再生開始に伴い、指導者Ｌ２及び支援コンテンツＳＣ２を実施する利用者の撮影を行う（指導者及び利用者の撮影。ステップ３１）。
指導者Ｌ３は、リモコン装置５０を介して、動作記憶モードを選択した後、「口から健康！実践編」の支援コンテンツＳＣ２を選択する。カラオケ装置Ｋは、選択された支援コンテンツＳＣ２のコンテンツデータを記憶手段１０ａから読み出し、再生を開始する（支援コンテンツの再生開始。ステップ３０）。撮影装置６０は、支援コンテンツＳＣ２の再生開始に伴い、指導者Ｌ２及び支援コンテンツＳＣ２を実施する利用者の撮影を行う（指導者及び利用者の撮影。ステップ３１）。
【0096】
集中度取得部１００は、支援コンテンツＳＣ２の再生中に撮影手段６０により撮影された利用者の映像から、利用者の集中度を取得する（利用者の集中度を取得。ステップ３２）。
【0097】
ここで、支援コンテンツＳＣ２の再生中に指導者Ｌ３が動作をした場合（ステップ３３でＹの場合）、判定部２００は、指導者Ｌ３が動作をした期間において取得された集中度が第３の所定条件を満たすかどうかを判定する。第３の所定条件を満たすと判定した場合（ステップ３４でＹの場合）、判定部２００は判定結果を生成部３００に出力する。
【0098】
たとえば、判定部２００は、支援コンテンツＳＣ２の再生開始後、撮影手段６０により撮影された指導者Ｌ３の映像を解析し、動作を開始した時刻Ｔｓ２（１５秒）における利用者の集中度Ｃｓ２（２．５）を取得する。その後、判定部２００は、支援コンテンツＳＣ２の再生開始後に撮影手段６０により撮影された指導者Ｌ３の映像を解析し、動作を終了した時刻Ｔｅ２（２０秒）における利用者の集中度Ｃｅ２（８．０）を取得する。
【0099】
判定部２００は、利用者の集中度Ｃｓ２及びＣｅ２が第３の所定条件を満たすかどうかを判定する。この例では、指導者Ｌ３が動作を開始した時刻Ｔｓ２における利用者の集中度が２．５であり、且つ指導者Ｌ３が動作を終了した時刻Ｔｅ２における利用者の集中度が８．０であるため、第３の所定条件を満たしている。よって、判定部２００は、判定結果を生成部３００に出力する。
【0100】
生成部３００は、ステップ３２で取得された集中度が第３の所定条件を満たすと判定された場合、支援コンテンツＳＣ２の再生中に撮影手段６０により撮影された指導者Ｌ３の映像に基づき、指導者Ｌ３の動きに対応するジェスチャー情報Ｇ２を生成する（ジェスチャー情報を生成。ステップ３５）。
【0101】
上述の通り、判定部２００から利用者の集中度Ｃｓ２及び集中度Ｃｅ２が第３の所定条件を満たすという判定結果が出力された場合、生成部３００は、時刻Ｔｓ２から時刻Ｔｅ２までの間に指導者Ｌ３が行った動作（この例では「両手を大きく振る」）をジェスチャー情報Ｇ２として生成する。
【0102】
記憶処理部４００は、ステップ３５で生成されたジェスチャー情報及び支援コンテンツの再生時間における動作を開始した時刻を含むサポート情報と、支援コンテンツのコンテンツＩＤとを対応付けて記憶手段１０ａに記憶させる（サポート情報及びコンテンツＩＤを記憶。ステップ３６）。カラオケ装置Ｋは、支援コンテンツＳＣ２の再生終了まで（ステップ３７でＹの場合）、ステップ３１からステップ３６の処理を繰り返し行う。
【0103】
上述のジェスチャー情報Ｇ２が生成された場合、記憶処理部４００は、ジェスチャー情報Ｇ２及び支援コンテンツＳＣ２の再生時間における動作を開始した時刻Ｔｓ２を含むサポート情報と、支援コンテンツＳＣ２のコンテンツＩＤ＊＊＊ＳＣ２とを対応付けて記憶手段１０ａに記憶させる。図９に示すように、記憶手段１０ａには、支援コンテンツＳＣ２のコンテンツＩＤ＊＊＊ＳＣ２に対し、複数のサポート情報ＳＰ４～ＳＰ６が対応付けて記憶されている。
【0104】
［動作サポートモードの処理］
指導者Ｌ３に比べて経験の浅い指導者Ｌ４が利用者に対して「口から健康！実践編」の支援コンテンツＳＣ２を実施させようと考えたとする。指導者Ｌ４は、リモコン装置５０を介して、動作サポートモードを選択した後、「口から健康！実践編」の支援コンテンツＳＣ２を選択する。
指導者Ｌ３に比べて経験の浅い指導者Ｌ４が利用者に対して「口から健康！実践編」の支援コンテンツＳＣ２を実施させようと考えたとする。指導者Ｌ４は、リモコン装置５０を介して、動作サポートモードを選択した後、「口から健康！実践編」の支援コンテンツＳＣ２を選択する。
【0105】
サポート処理部５００は、支援コンテンツＳＣ２を再生する場合、記憶手段１０ａから支援コンテンツＳＣ２のコンテンツＩＤ＊＊＊ＳＣ２が対応付けられたサポート情報を読み出す（サポート情報の読み出し。ステップ４０）。この例において、サポート処理部５００は、コンテンツＩＤ＊＊＊ＳＣ２に対応付けられているサポート情報ＳＰ４～ＳＰ６を読み出す。
【0106】
カラオケ装置Ｋは、選択された支援コンテンツＳＣ２のコンテンツデータを記憶手段１０ａから読み出し、再生を開始する（支援コンテンツの再生開始。ステップ３１）。
【0107】
サポート処理部５００は、支援コンテンツＳＣ２の再生中に、ステップ４０で読み出したサポート情報に含まれる動作を開始した時刻が到来したかどうかを確認する。ステップ４０で読み出したサポート情報に含まれる動作を開始した時刻が到来した場合（ステップ４２でＹの場合）、サポート処理部５００は、サポート情報に含まれるジェスチャー情報に対応する動作を外部機器Ｒに実行させるための制御信号を生成し、外部機器Ｒに送信する（ジェスチャー情報に対応する動作を外部機器に実行させるための制御信号を生成・送信。ステップ４３）。カラオケ装置Ｋは、支援コンテンツＳＣ２の再生終了まで（ステップ４４でＹの場合）、ステップ４２及びステップ４３の処理を繰り返し行う。
【0108】
上述の通り、カラオケ装置Ｋが支援コンテンツＳＣ２の再生を開始した場合、サポート処理部５００は、支援コンテンツＳＣ２の再生開始からの経過時間を参照する。サポート情報ＳＰ４に含まれる動作を開始した時刻Ｔｓ２（１５秒）が到来した場合、サポート処理部５００は、サポート情報ＳＰ４に含まれるジェスチャー情報Ｇ２に対応する動作（両手を大きく振る）を外部機器Ｒに実行させるための制御信号を生成する。サポート処理部５００は、生成した制御信号を外部機器Ｒに送信する。外部機器Ｒは、受信した制御信号に基づいてジェスチャー情報Ｇ２に対応する動作を行う。
【0109】
なお、サポート情報に含まれる動作を開始した時刻が到来した際に指導者Ｌ４が別の動作をしている場合、サポート処理部５００は、当該サポート情報に含まれるジェスチャー情報に対応する動作の表示等を中止することができる。このような処理を行うことにより、指導者の動作を妨げることを抑制できる。
【0110】
また、一の支援コンテンツに対して複数のサポート情報が記憶されている場合、動作を開始した時刻が同じサポート情報や動作をした期間が重複するサポート情報もありうる。この場合、サポート処理部５００は、ランダムに一のサポート情報を特定し、当該サポート情報に含まれるジェスチャー情報に対応する動作の表示等を行うことができる。
【0111】
＝＝第２実施形態のまとめ＝＝
以上から明らかなように、本実施形態に係るカラオケ装置Ｋは、利用者の身体に関する能力の維持または改善を支援するための支援コンテンツを再生可能なカラオケ装置である。カラオケ装置Ｋは、支援コンテンツの再生中に撮影手段６０により撮影された利用者の映像から、利用者の集中度を取得する集中度取得部１００と、支援コンテンツの再生中に指導者が動作をした場合、当該動作をした期間において取得された集中度が第３の所定条件を満たすかどうかを判定する判定部２００と、取得された集中度が第３の所定条件を満たすと判定された場合、支援コンテンツの再生中に撮影手段６０により撮影された指導者の映像に基づき、指導者の動きに対応するジェスチャー情報を生成する生成部３００と、生成されたジェスチャー情報及び支援コンテンツの再生時間における動作を開始した時刻を含むサポート情報と、当該支援コンテンツのコンテンツ識別情報とを対応付けて記憶手段１０ａに記憶させる記憶処理部４００と、ある支援コンテンツを再生する場合、記憶手段１０ａから当該ある支援コンテンツのコンテンツ識別情報が対応付けられたサポート情報を読み出し、当該ある支援コンテンツの再生中に、読み出した当該サポート情報に含まれる動作を開始した時刻が到来した場合、当該サポート情報に含まれるジェスチャー情報に対応する動作を表示装置３０に表示させ、及び／または当該サポート情報に含まれるジェスチャー情報に対応する動作を外部機器Ｒに実行させるための制御信号を生成し、外部機器Ｒに送信するサポート処理部５００と、を有する。
以上から明らかなように、本実施形態に係るカラオケ装置Ｋは、利用者の身体に関する能力の維持または改善を支援するための支援コンテンツを再生可能なカラオケ装置である。カラオケ装置Ｋは、支援コンテンツの再生中に撮影手段６０により撮影された利用者の映像から、利用者の集中度を取得する集中度取得部１００と、支援コンテンツの再生中に指導者が動作をした場合、当該動作をした期間において取得された集中度が第３の所定条件を満たすかどうかを判定する判定部２００と、取得された集中度が第３の所定条件を満たすと判定された場合、支援コンテンツの再生中に撮影手段６０により撮影された指導者の映像に基づき、指導者の動きに対応するジェスチャー情報を生成する生成部３００と、生成されたジェスチャー情報及び支援コンテンツの再生時間における動作を開始した時刻を含むサポート情報と、当該支援コンテンツのコンテンツ識別情報とを対応付けて記憶手段１０ａに記憶させる記憶処理部４００と、ある支援コンテンツを再生する場合、記憶手段１０ａから当該ある支援コンテンツのコンテンツ識別情報が対応付けられたサポート情報を読み出し、当該ある支援コンテンツの再生中に、読み出した当該サポート情報に含まれる動作を開始した時刻が到来した場合、当該サポート情報に含まれるジェスチャー情報に対応する動作を表示装置３０に表示させ、及び／または当該サポート情報に含まれるジェスチャー情報に対応する動作を外部機器Ｒに実行させるための制御信号を生成し、外部機器Ｒに送信するサポート処理部５００と、を有する。
【0112】
このようなカラオケ装置Ｋによれば、利用者の集中度に応じたサポート情報を、支援コンテンツ毎に予め記憶しておくことができる。またこのようなカラオケ装置Ｋによれば、支援コンテンツを再生する際に、読み出したサポート情報に含まれる動作を開始した時刻で、当該サポート情報に含まれるジェスチャー情報に対応する動作を表示等させることができる。サポート情報に含まれる動作を開始した時刻は、利用者の集中度を高める動作が開始された時刻、すなわち利用者に対して動作をする適切なタイミングである。またサポート情報に含まれるジェスチャー情報に対応する動作は、利用者の集中度を高める動作、すなわち利用者に対して効果的な動作である。このような適切なタイミングで効果的な動作を表示等させることにより、経験の浅い指導者であってもベテランの指導者と同様の対応を行うことができる。すなわち、本実施形態に係るカラオケ装置Ｋによれば、支援コンテンツを再生する際に、指導者のサポートができる。
【0113】
＜第２実施形態の変形例＞
指導者からコンテンツの実施を促すような動作がなくとも集中して取り組む利用者もいる。或いは、経験の浅い指導者であっても適切なタイミングで効果的な動作を行うことができる場合もありうる。これらの場合、記憶されているサポート情報に基づいて動作を表示等させる必要はない。本変形例では所定の条件を満たした場合にのみサポート情報に含まれるジェスチャー情報に対応する動作を表示等させる例について述べる。
指導者からコンテンツの実施を促すような動作がなくとも集中して取り組む利用者もいる。或いは、経験の浅い指導者であっても適切なタイミングで効果的な動作を行うことができる場合もありうる。これらの場合、記憶されているサポート情報に基づいて動作を表示等させる必要はない。本変形例では所定の条件を満たした場合にのみサポート情報に含まれるジェスチャー情報に対応する動作を表示等させる例について述べる。
【0114】
（集中度取得部）
本変形例に係る集中度取得部１００は、ある支援コンテンツの再生中に撮影手段６０により撮影された利用者の映像から、利用者の集中度を取得する。
本変形例に係る集中度取得部１００は、ある支援コンテンツの再生中に撮影手段６０により撮影された利用者の映像から、利用者の集中度を取得する。
【0115】
たとえば、ある指導者が、カラオケ装置Ｋを用いて支援コンテンツを再生する際に、発話のサポートを得たいと考えたとする。この場合、指導者は、リモコン装置５０等を介して、動作サポートモードを予め選択した後、支援コンテンツの選択を行う。サポート処理部５００は、記憶手段１０ａから、指導者が選択した支援コンテンツのコンテンツ識別情報に対応付けられたサポート情報を読み出す。
【0116】
その後、カラオケ装置Ｋは、ある支援コンテンツの再生を開始する。撮影装置６０は、支援コンテンツの再生開始に伴い、利用者の撮影を開始する。
【0117】
集中度取得部１００は、支援コンテンツの再生開始後に集中度の取得を開始する。集中度取得部１００は、撮影手段６０から利用者の映像に対応するデータを取得し、映像に含まれる利用者の集中度を取得する。集中度取得部１００は、取得した集中度をサポート処理部５００に出力する。
【0118】
（サポート処理部）
本変形例に係るサポート処理部５００は、ある支援コンテンツの再生中に、読み出したサポート情報に含まれる発話を開始した時刻が到来した場合、且つ取得した集中度が第４の所定条件を満たした場合、サポート情報に含まれるジェスチャー情報に対応する動作を表示手段に表示させ、及び／または当該サポート情報に含まれるジェスチャー情報に対応する動作を外部機器に実行させるための制御信号を生成し、当該外部機器に送信する。
本変形例に係るサポート処理部５００は、ある支援コンテンツの再生中に、読み出したサポート情報に含まれる発話を開始した時刻が到来した場合、且つ取得した集中度が第４の所定条件を満たした場合、サポート情報に含まれるジェスチャー情報に対応する動作を表示手段に表示させ、及び／または当該サポート情報に含まれるジェスチャー情報に対応する動作を外部機器に実行させるための制御信号を生成し、当該外部機器に送信する。
【0119】
第４の所定条件は、サポート情報に含まれるジェスチャー情報に対応する動作を表示等させるかどうかを判断するための条件である。具体的に第４の所定条件は、「読み出したサポート情報に含まれる動作を開始した時刻が到来した時点における利用者の集中度が３未満」といったものである。読み出したサポート情報に含まれる動作を開始した時刻が到来した時刻における集中度が低い場合、効果的な動作を表示等させるメリットが生まれる。
【0120】
上記例において、サポート処理部５００は、記憶手段１０ａから、指導者が選択した支援コンテンツのコンテンツ識別情報に対応付けられたサポート情報を読み出す。サポート処理部５００は、ある支援コンテンツの再生開始からの経過時間を参照する。
【0121】
ここで、ある支援コンテンツの再生中に、読み出したサポート情報に含まれる動作を開始した時刻が到来した場合、サポート処理部５００は、取得した集中度が第４の所定条件を満たすかどうかを判断する。取得した集中度が第４の所定条件を満たす場合、サポート処理部５００は、読み出したサポート情報に含まれるジェスチャー情報を映像データに変換し、ジェスチャー情報に対応する動作を表示装置３０に表示させる。或いは、サポート処理部５００は、サポート情報に含まれるジェスチャー情報に対応する動作を外部機器Ｒに実行させるための制御信号を生成し、外部機器Ｒに送信する。一方、取得した集中度が第４の所定条件を満たさない場合、サポート処理部５００は、読み出したサポート情報に含まれるジャスチャー情報を映像データに変換する処理や制御信号を生成する処理を実行しない。
【0122】
以上から明らかなように、本変形例に係るカラオケ装置Ｋにおいて集中度取得部１００は、ある支援コンテンツの再生中に撮影手段６０により撮影された利用者の映像から、利用者の集中度を取得し、サポート処理部５００は、ある支援コンテンツの再生中に、読み出したサポート情報に含まれる動作を開始した時刻が到来した場合、且つ取得した集中度が第４の所定条件を満たした場合、サポート情報に含まれるジェスチャー情報に対応する動作を表示装置３０に表示させ、及び／または当該サポート情報に含まれるジェスチャー情報に対応する動作を外部機器Ｒに実行させるための制御信号を生成し、外部機器Ｒに送信する。このようなカラオケ装置Ｋによれば、コンテンツを実施している利用者の集中度を考慮して指導者のサポートができる。
【0123】
＜変形例１＞
上述の第１実施形態の処理及び第２実施形態の処理を組み合わせて行うこともできる。たとえば、判定部２００は、支援コンテンツの再生中に指導者が発話した場合、当該発話した期間において取得された集中度が第１の所定条件を満たすかどうかを判定し、且つ支援コンテンツの再生中に指導者が動作をした場合、当該動作をした期間において取得された集中度が第３の所定条件を満たすかどうかを判定することができる。また、生成部３００は、取得された集中度が第１の所定条件を満たすと判定された場合、発話に対応するテキスト情報を生成し、且つ取得された集中度が第３の所定条件を満たすと判定された場合、支援コンテンツの再生中に撮影手段６０により撮影された指導者の映像に基づき、指導者の動きに対応するジェスチャー情報を生成することができる。また、記憶処理部４００は、生成されたテキスト情報及び支援コンテンツの再生時間における発話を開始した時刻を含むサポート情報と、当該支援コンテンツのコンテンツ識別情報とを対応付けて記憶手段１０ａに記憶させ、且つ生成されたジェスチャー情報及び支援コンテンツの再生時間における動作を開始した時刻を含むサポート情報と、当該支援コンテンツのコンテンツ識別情報とを対応付けて記憶手段１０ａに記憶させることができる。また、サポート処理部５００は、ある支援コンテンツを再生する場合、記憶手段１０ａから当該ある支援コンテンツのコンテンツ識別情報が対応付けられたサポート情報を読み出し、当該ある支援コンテンツの再生中に、読み出した当該サポート情報に含まれる発話を開始した時刻が到来した場合、当該サポート情報に含まれるテキスト情報に対応する発話をスピーカ２０から放音させ、且つある支援コンテンツを再生する場合、記憶手段１０ａから当該ある支援コンテンツのコンテンツ識別情報が対応付けられたサポート情報を読み出し、当該ある支援コンテンツの再生中に、読み出した当該サポート情報に含まれる動作を開始した時刻が到来した場合、当該サポート情報に含まれるジェスチャー情報に対応する動作を表示装置３０に表示させ、及び／または当該サポート情報に含まれるジェスチャー情報に対応する動作を外部機器Ｒに実行させるための制御信号を生成し、外部機器Ｒに送信することができる。
上述の第１実施形態の処理及び第２実施形態の処理を組み合わせて行うこともできる。たとえば、判定部２００は、支援コンテンツの再生中に指導者が発話した場合、当該発話した期間において取得された集中度が第１の所定条件を満たすかどうかを判定し、且つ支援コンテンツの再生中に指導者が動作をした場合、当該動作をした期間において取得された集中度が第３の所定条件を満たすかどうかを判定することができる。また、生成部３００は、取得された集中度が第１の所定条件を満たすと判定された場合、発話に対応するテキスト情報を生成し、且つ取得された集中度が第３の所定条件を満たすと判定された場合、支援コンテンツの再生中に撮影手段６０により撮影された指導者の映像に基づき、指導者の動きに対応するジェスチャー情報を生成することができる。また、記憶処理部４００は、生成されたテキスト情報及び支援コンテンツの再生時間における発話を開始した時刻を含むサポート情報と、当該支援コンテンツのコンテンツ識別情報とを対応付けて記憶手段１０ａに記憶させ、且つ生成されたジェスチャー情報及び支援コンテンツの再生時間における動作を開始した時刻を含むサポート情報と、当該支援コンテンツのコンテンツ識別情報とを対応付けて記憶手段１０ａに記憶させることができる。また、サポート処理部５００は、ある支援コンテンツを再生する場合、記憶手段１０ａから当該ある支援コンテンツのコンテンツ識別情報が対応付けられたサポート情報を読み出し、当該ある支援コンテンツの再生中に、読み出した当該サポート情報に含まれる発話を開始した時刻が到来した場合、当該サポート情報に含まれるテキスト情報に対応する発話をスピーカ２０から放音させ、且つある支援コンテンツを再生する場合、記憶手段１０ａから当該ある支援コンテンツのコンテンツ識別情報が対応付けられたサポート情報を読み出し、当該ある支援コンテンツの再生中に、読み出した当該サポート情報に含まれる動作を開始した時刻が到来した場合、当該サポート情報に含まれるジェスチャー情報に対応する動作を表示装置３０に表示させ、及び／または当該サポート情報に含まれるジェスチャー情報に対応する動作を外部機器Ｒに実行させるための制御信号を生成し、外部機器Ｒに送信することができる。
【0124】
＜変形例２＞
本変形例では、利用者の属性情報を用いることで、複数のサポート情報の中から、効果的な発話や動作を行うことが可能なサポート情報を特定する例について述べる。なお、以下では第１実施形態の構成を例に説明するが、第２実施形態の構成においても同様の処理を実行することができる。
本変形例では、利用者の属性情報を用いることで、複数のサポート情報の中から、効果的な発話や動作を行うことが可能なサポート情報を特定する例について述べる。なお、以下では第１実施形態の構成を例に説明するが、第２実施形態の構成においても同様の処理を実行することができる。
【0125】
＝＝カラオケ装置＝＝
［制御手段］
本変形例においてはＣＰＵがメモリに記憶されるプログラムを実行することにより、制御手段１０ｅは、集中度取得部１００、判定部２００、生成部３００、記憶処理部４００、サポート処理部５００、及び属性情報取得部６００として機能する（図１０参照）。
［制御手段］
本変形例においてはＣＰＵがメモリに記憶されるプログラムを実行することにより、制御手段１０ｅは、集中度取得部１００、判定部２００、生成部３００、記憶処理部４００、サポート処理部５００、及び属性情報取得部６００として機能する（図１０参照）。
【0126】
（属性情報取得部）
属性情報取得部６００は、支援コンテンツの再生中に撮影手段６０により撮影された利用者の属性情報を取得する。
属性情報取得部６００は、支援コンテンツの再生中に撮影手段６０により撮影された利用者の属性情報を取得する。
【0127】
属性情報は、利用者の顔画像、年齢、性別、介護度等、利用者固有の情報である。属性情報は、予め記憶手段１０ａや外部のサーバ装置に記憶されている。
【0128】
属性情報取得部６００は、撮影手段６０から利用者の映像に対応するデータを取得し、映像に含まれる利用者を特定する。具体的に、属性情報取得部６００は、公知の技術（たとえば、特開２０１９－４０１６２号公報）を用いて映像に含まれる利用者の顔画像を抽出し、記憶手段１０ａに記憶されている顔画像と対比する。属性情報取得部６００は、一致する顔画像が含まれる利用者の属性情報を記憶手段１０ａから取得する。
【0129】
（記憶処理部）
本変形例に係る記憶処理部４００は、取得した属性情報を含むサポート情報を記憶手段１０ａに記憶させる。
本変形例に係る記憶処理部４００は、取得した属性情報を含むサポート情報を記憶手段１０ａに記憶させる。
【0130】
具体的に、記憶処理部４００は、生成部３００により生成されたテキスト情報、発話を開始した時刻、及び属性情報取得部６００で取得された属性情報を含むサポート情報を、コンテンツ識別情報と対応付けて記憶手段１０ａに記憶させる。
【0131】
たとえば、カラオケ装置Ｋを用いて支援コンテンツを再生する際、ある指導者が、自己の発話を他の指導者のサポート用に残しておきたいと考えたとする。この場合、指導者は、リモコン装置５０等を介して、発話記憶モードを予め選択した後、支援コンテンツの選択を行う。その後、カラオケ装置Ｋは、選択された支援コンテンツの再生を開始する。撮影装置６０は、支援コンテンツの再生開始に伴い、利用者の撮影を開始する。
【0132】
属性情報取得部６００は、撮影手段６０から利用者の映像に対応するデータを取得し、映像に含まれる利用者を特定する。属性情報取得部６００は、特定した利用者の属性情報ＡＴｎ１としてたとえば「８２歳」という情報を記憶手段１０ａから取得する。記憶処理部４００は、生成されたテキスト情報Ｔｘｎ１及び発話を開始した時刻Ｔｓｎ１に加え、取得された属性情報ＡＴｎ１を含めたサポート情報ＳＰｎ１を、コンテンツ識別情報と対応付けて記憶手段１０ａに記憶させる。たとえば、図１１に示すように、記憶手段１０ａには、支援コンテンツＳＣ１のコンテンツＩＤ＊＊＊ＳＣ１に対し、複数のサポート情報ＳＰｎ１～ＳＰｎ３が対応付けて記憶されている。
【0133】
（サポート処理部）
本変形例に係るサポート処理部５００は、ある支援コンテンツを再生する場合、当該ある支援コンテンツのコンテンツ識別情報が対応付けられた複数のサポート情報のうち、属性情報が第５の所定条件を満たすサポート情報を読み出す。
本変形例に係るサポート処理部５００は、ある支援コンテンツを再生する場合、当該ある支援コンテンツのコンテンツ識別情報が対応付けられた複数のサポート情報のうち、属性情報が第５の所定条件を満たすサポート情報を読み出す。
【0134】
第５の所定条件は、複数のサポート情報の中から、ある支援コンテンツを実施する利用者の属性情報と近似する属性情報を含むサポート情報を特定するための条件である。具体的に第５の所定条件は、「取得した年齢の属性情報と、サポート情報に含まれる年齢の属性情報との差が±２歳以内」、「取得した性別の属性情報と、サポート情報に含まれる性別の属性情報が一致する」といったものである。属性情報が一致するような支援コンテンツは、利用者の集中度が高まる可能性が高く、より効果的である可能性が高い。
【0135】
サポート処理部５００は、ある支援コンテンツを再生する場合、ある支援コンテンツのコンテンツ識別情報が対応付けられた複数のサポート情報を記憶手段１０ａから読み出す。一方、撮影装置６０は、支援コンテンツの再生に伴い、利用者の撮影を開始する。属性情報取得部６００は、撮影手段６０から利用者の映像に対応するデータを取得し、映像に含まれる利用者を特定する。属性情報取得部６００は、特定した利用者の属性情報を記憶手段１０ａから取得する。
【0136】
サポート処理部５００は、取得した属性情報と、読み出したサポート情報に含まれる属性情報とを対比し、第５の所定条件を満たすサポート情報を特定する。サポート処理部５００は、特定したサポート情報を記憶手段１０ａから読み出す。
【0137】
たとえば、ある指導者が、カラオケ装置Ｋを用いて支援コンテンツを再生する際に、発話のサポートを得たいと考えたとする。この場合、指導者は、リモコン装置５０等を介して、発話サポートモードを予め選択した後、支援コンテンツの選択を行う。サポート処理部５００は、記憶手段１０ａから、指導者が選択した支援コンテンツのコンテンツ識別情報に対応付けられたサポート情報ＳＰｎ１～ＳＰｎ３を読み出す。
【0138】
一方、撮影装置６０は、支援コンテンツの再生に伴い、利用者の撮影を開始する。属性情報取得部６００は、撮影手段６０から利用者の映像に対応するデータを取得し、映像に含まれる利用者を特定する。属性情報取得部６００は、特定した利用者の属性情報ＡＴｍとしてたとえば「８４歳」という情報を記憶手段１０ａから取得する。
【0139】
サポート処理部５００は、取得した属性情報ＡＴｍと、読み出したサポート情報ＳＰｎ１～ＳＰｎ３に含まれる属性情報ＡＴｎ１～ＡＴｎ３とを対比し、第５の所定条件を満たすサポート情報を特定する。ここで、第５の所定条件が「取得した年齢の属性情報と、サポート情報に含まれる年齢の属性情報との差が±２歳以内」である場合、第５の所定条件を満たすサポート情報はサポート情報ＳＰｎ１となる。従って、サポート処理部５００は、サポート情報ＳＰｎ１を記憶手段１０ａから読み出す。
【0140】
以上から明らかなように、本変形例に係るカラオケ装置Ｋは、支援コンテンツの再生中に撮影手段６０により撮影された利用者の属性情報を取得する属性情報取得部６００を有する。また、本変形例に係る記憶処理部４００は、取得した属性情報を含むサポート情報を記憶手段１０ａに記憶させ、サポート処理部５００は、ある支援コンテンツを再生する場合、当該ある支援コンテンツのコンテンツ識別情報が対応付けられた複数のサポート情報のうち、属性情報が第５の所定条件を満たすサポート情報を読み出す。このようなカラオケ装置Ｋによれば、より効果的な発話や動作を行うことが可能なサポート情報に基づいて指導者のサポートを行うことができる。
【0141】
＜その他＞
上記実施形態は、例として提示したものであり、発明の範囲を限定するものではない。上記の構成は、適宜組み合わせて実施することが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。上記実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
上記実施形態は、例として提示したものであり、発明の範囲を限定するものではない。上記の構成は、適宜組み合わせて実施することが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。上記実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【0142】
１００ 集中度取得部
２００ 判定部
３００ 生成部
４００ 記憶処理部
５００ サポート処理部
６００ 属性情報取得部
Ｋ カラオケ装置
Ｒ 外部機器
２００ 判定部
３００ 生成部
４００ 記憶処理部
５００ サポート処理部
６００ 属性情報取得部
Ｋ カラオケ装置
Ｒ 外部機器
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】