特許 7195396 情報端末、情報処理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2022-12-15

(45)【発行日】2022-12-23

(54)【発明の名称】情報端末、情報処理方法及びプログラム

(51)【国際特許分類】

   H04N 7/18 20060101AFI20221216BHJP

   H04N 5/232 20060101ALI20221216BHJP

   H04N 21/431 20110101ALI20221216BHJP

【ＦＩ】

H04N7/18 U

H04N5/232 939

H04N21/431

【請求項の数】 12

(21)【出願番号】P 2021161409

(22)【出願日】2021-09-30

【審査請求日】2021-11-02

【早期審査対象出願】

(73)【特許権者】

【識別番号】000208891

【氏名又は名称】ＫＤＤＩ株式会社

(74)【代理人】

【識別番号】100166006

【弁理士】

【氏名又は名称】泉 通博

(74)【代理人】

【識別番号】100154070

【弁理士】

【氏名又は名称】久恒 京範

(74)【代理人】

【識別番号】100153280

【弁理士】

【氏名又は名称】寺川 賢祐

(72)【発明者】

【氏名】佐野 友則

【審査官】長谷川 素直

(56)【参考文献】

【文献】特開２００９－０８９７４４（ＪＰ，Ａ）

【文献】特開昭６３－１３９５７４（ＪＰ，Ａ）

【文献】特開２００９－０５０４３２（ＪＰ，Ａ）

【文献】特開２００６－０６１４９２（ＪＰ，Ａ）

【文献】特開２０１３－１４６５１１（ＪＰ，Ａ）

【文献】特開２０１５－１２６８２６（ＪＰ，Ａ）

【文献】国際公開第２０１５／０１５５６０（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１８

Ｈ０４Ｎ ５／２３２

Ｈ０４Ｎ ２１／００－２１／８５８

Ｈ０４Ｎ ７／１４－７／１５

Ａ６３Ｂ ６９／００

(57)【特許請求の範囲】

【請求項1】

演舞する人物を前方から撮像した動画像である前方動画像を取得する動画取得部と、
前記前方動画像を構成する複数のフレームの少なくとも一部のフレームにおいて、各フレームに含まれる前記人物の身体の部位に関する情報と、前記部位が向いている方向を示す情報と、を関連付けた方向情報を取得する方向情報取得部と、
取得した前記前方動画像と前記方向情報とをともに表示部に表示させる表示制御部と、
前記前方動画像と、前記人物を後方から撮像した動画像である後方動画像と、から前記表示部に表示する動画像の選択を受け付ける動画選択部と、
を有し、
前記動画取得部は、前記後方動画像をさらに取得し、
前記表示制御部は、前記動画選択部が前記前方動画像の選択を受け付けた場合、前記前方動画像と前記方向情報とをともに前記表示部に表示させ、前記動画選択部が前記後方動画像の選択を受け付けた場合、前記後方動画像を前記表示部に表示させ、前記方向情報を前記表示部に表示させない、
情報端末。

【請求項2】

取得した動画像を反転せずに表示させる通常表示と、取得した動画像を左右反転して表示させる反転表示と、の間で表示態様の選択を受け付ける選択部をさらに有し、
前記表示制御部は、前記通常表示が選択された場合、取得した前記前方動画像と前記方向情報とをともに前記表示部に表示させ、前記反転表示が選択された場合、取得した前記前方動画像を左右反転させて前記表示部に表示させる、
請求項１に記載する情報端末。

【請求項3】

前記表示制御部は、選択されている前記表示態様を示す情報を前記前方動画像とともに前記表示部に表示させる、
請求項２に記載する情報端末。

【請求項4】

前記方向情報取得部は、前記各フレームに含まれる前記人物の身体の複数の部位に関する情報と、それぞれの前記部位が向いている方向を示す情報とを関連付けた複数の前記方向情報と、それぞれの前記方向情報を表示する優先度と、を取得し、
前記表示制御部は、前記優先度に基づいて表示する１以上の前記方向情報を選択し、取得した前記前方動画像と選択された前記１以上の前記方向情報とをともに前記表示部に表示させる、
請求項１から３のいずれか１項に記載する情報端末。

【請求項5】

演舞する人物を前方から撮像した動画像である前方動画像を取得する動画取得部と、
前記前方動画像を構成する複数のフレームの少なくとも一部のフレームにおいて、各フレームに含まれる前記人物の身体の部位に関する情報と、前記部位が向いている方向を示す情報と、を関連付けた方向情報を取得する方向情報取得部と、
取得した前記前方動画像と前記方向情報とをともに表示部に表示させる表示制御部と、
を有し、
前記方向情報取得部は、前記各フレームに含まれる前記人物の身体の複数の部位に関する情報と、それぞれの前記部位が向いている方向を示す情報とを関連付けた複数の前記方向情報と、それぞれの前記方向情報を表示する優先度と、を取得し、
前記表示制御部は、前記優先度に基づいて表示する１以上の前記方向情報を選択し、取得した前記前方動画像と選択された前記１以上の前記方向情報とをともに前記表示部に表示させる、
情報端末。

【請求項6】

演舞する人物を前方から撮像した動画像である前方動画像を取得する動画取得部と、
前記前方動画像を構成する複数のフレームの少なくとも一部のフレームにおいて、各フレームに含まれる前記人物の身体の部位に関する情報と、前記部位が向いている方向を示す情報と、を関連付けた方向情報を取得する方向情報取得部と、
取得した前記前方動画像と前記方向情報とをともに表示部に表示させる表示制御部と、
取得した動画像を反転せずに表示させる通常表示と、取得した動画像を左右反転して表示させる反転表示と、の間で表示態様の選択を受け付ける選択部と、
を有し、
前記表示制御部は、前記通常表示が選択された場合、取得した前記前方動画像と前記方向情報とをともに前記表示部に表示させ、前記反転表示が選択された場合、取得した前記前方動画像を左右反転させて前記表示部に表示させ、前記方向情報を前記表示部に表示させない、
情報端末。

【請求項7】

コンピュータが実行する、
演舞する人物を前方から撮像した動画像である前方動画像を取得するステップと、
前記人物を後方から撮像した動画像である後方動画像をさらに取得するステップと、
前記前方動画像を構成する複数のフレームの少なくとも一部のフレームにおいて、各フレームに含まれる前記人物の身体の部位に関する情報と、前記部位が向いている方向を示す情報と、を関連付けた方向情報を取得するステップと、
前記前方動画像と、前記後方動画像と、から表示部に表示する動画像の選択を受け付けるステップと、
取得した前記前方動画像と前記方向情報とをともに前記表示部に表示させるステップと、
を有し、
前記表示させるステップにおいては、前記動画像の選択を受け付けるにおいて前記前方動画像の選択を受け付けた場合、前記前方動画像と前記方向情報とをともに前記表示部に表示させ、前記動画像の選択を受け付けるステップにおいて前記後方動画像の選択を受け付けた場合、前記後方動画像を前記表示部に表示させ、前記方向情報を前記表示部に表示させない、
情報処理方法。

【請求項8】

コンピュータに、
演舞する人物を前方から撮像した動画像である前方動画像を取得するステップと、
前記人物を後方から撮像した動画像である後方動画像をさらに取得するステップと、
前記前方動画像を構成する複数のフレームの少なくとも一部のフレームにおいて、各フレームに含まれる前記人物の身体の部位に関する情報と、前記部位が向いている方向を示す情報と、を関連付けた方向情報を取得するステップと、
前記前方動画像と、前記後方動画像と、から表示部に表示する動画像の選択を受け付けるステップと、
取得した前記前方動画像と前記方向情報とをともに前記表示部に表示させるステップと、
を実行させ、
前記表示させるステップにおいては、前記動画像の選択を受け付けるにおいて前記前方動画像の選択を受け付けた場合、前記前方動画像と前記方向情報とをともに前記表示部に表示させ、前記動画像の選択を受け付けるステップにおいて前記後方動画像の選択を受け付けた場合、前記後方動画像を前記表示部に表示させ、前記方向情報を前記表示部に表示させない、
プログラム。

【請求項9】

コンピュータが実行する、
演舞する人物を前方から撮像した動画像である前方動画像を取得するステップと、
前記前方動画像を構成する複数のフレームの少なくとも一部のフレームにおいて、各フレームに含まれる前記人物の身体の部位に関する情報と、前記部位が向いている方向を示す情報と、を関連付けた方向情報を取得するステップと、
取得した前記前方動画像と前記方向情報とをともに表示部に表示させるステップと、
を有し、
前記方向情報を取得するステップにおいては、前記各フレームに含まれる前記人物の身体の複数の部位に関する情報と、それぞれの前記部位が向いている方向を示す情報とを関連付けた複数の前記方向情報と、それぞれの前記方向情報を表示する優先度と、を取得し、
前記表示させるステップにおいては、前記優先度に基づいて表示する１以上の前記方向情報を選択し、取得した前記前方動画像と選択された前記１以上の前記方向情報とをともに前記表示部に表示させる、
情報処理方法。

【請求項10】

コンピュータに、
演舞する人物を前方から撮像した動画像である前方動画像を取得するステップと、
前記前方動画像を構成する複数のフレームの少なくとも一部のフレームにおいて、各フレームに含まれる前記人物の身体の部位に関する情報と、前記部位が向いている方向を示す情報と、を関連付けた方向情報を取得するステップと、
取得した前記前方動画像と前記方向情報とをともに表示部に表示させるステップと、
を実行させ、
前記方向情報を取得するステップにおいては、前記各フレームに含まれる前記人物の身体の複数の部位に関する情報と、それぞれの前記部位が向いている方向を示す情報とを関連付けた複数の前記方向情報と、それぞれの前記方向情報を表示する優先度と、を取得し、
前記表示させるステップにおいては、前記優先度に基づいて表示する１以上の前記方向情報を選択し、取得した前記前方動画像と選択された前記１以上の前記方向情報とをともに前記表示部に表示させる、
プログラム。

【請求項11】

コンピュータが実行する、
演舞する人物を前方から撮像した動画像である前方動画像を取得するステップと、
前記前方動画像を構成する複数のフレームの少なくとも一部のフレームにおいて、各フレームに含まれる前記人物の身体の部位に関する情報と、前記部位が向いている方向を示す情報と、を関連付けた方向情報を取得するステップと、
取得した動画像を反転せずに表示させる通常表示と、取得した動画像を左右反転して表示させる反転表示と、の間で表示態様の選択を受け付けるステップと、
取得した前記前方動画像と前記方向情報とをともに表示部に表示させるステップと、
を有し、
前記表示させるステップにおいては、前記通常表示が選択された場合、取得した前記前方動画像と前記方向情報とをともに前記表示部に表示させ、前記反転表示が選択された場合、取得した前記前方動画像を左右反転させて前記表示部に表示させ、前記方向情報を前記表示部に表示させない、
情報処理方法。

【請求項12】

コンピュータに、
演舞する人物を前方から撮像した動画像である前方動画像を取得するステップと、
前記前方動画像を構成する複数のフレームの少なくとも一部のフレームにおいて、各フレームに含まれる前記人物の身体の部位に関する情報と、前記部位が向いている方向を示す情報と、を関連付けた方向情報を取得するステップと、
取得した動画像を反転せずに表示させる通常表示と、取得した動画像を左右反転して表示させる反転表示と、の間で表示態様の選択を受け付けるステップと、
取得した前記前方動画像と前記方向情報とをともに表示部に表示させるステップと、
を実行させ、
前記表示させるステップにおいては、前記通常表示が選択された場合、取得した前記前方動画像と前記方向情報とをともに前記表示部に表示させ、前記反転表示が選択された場合、取得した前記前方動画像を左右反転させて前記表示部に表示させ、前記方向情報を前記表示部に表示させない、
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報端末、情報処理方法、プログラム及びデータ処理装置に関する。

【背景技術】

【0002】

ダンス等のレッスンをサポートする発明が知られている（例えば、特許文献１を参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００２－３０１１７９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、近年、オンラインでダンスや舞踊等のレッスンを行う機会が増加している。インターネット等を介して行われるダンス等のオンラインレッスンにおいて先生を前方から撮像した映像を視聴する場合、生徒は、視聴した映像と左右を逆に体を動かす必要がある。ここで、生徒の習熟度合いによっては、体を動かすべき方向を咄嗟に理解できずに混乱するという問題が生じる。

【0005】

そこで、本発明はこれらの点に鑑みてなされたものであり、動画像を見ながら体の動きを伴うレッスンを行う生徒が体を動かすべき方向を理解し易くすることを目的とする。

【課題を解決するための手段】

【0006】

本発明の第１の態様の情報端末においては、演舞する人物を前方から撮像した動画像である前方動画像を取得する動画取得部と、前記前方動画像を構成する複数のフレームの少なくとも一部のフレームにおいて、各フレームに含まれる前記人物の身体の部位に関する情報と、前記部位が向いている方向を示す情報と、を関連付けた方向情報を取得する方向情報取得部と、取得した前記前方動画像と前記方向情報とをともに表示部に表示させる表示制御部と、を有する。

【0007】

取得した動画像を反転せずに表示させる通常表示と、取得した動画像を左右反転して表示させる反転表示と、の間で表示態様の選択を受け付ける選択部をさらに有し、前記表示制御部は、前記通常表示が選択された場合、取得した前記前方動画像と前記方向情報とをともに前記表示部に表示させ、前記反転表示が選択された場合、取得した前記前方動画像を左右反転させて前記表示部に表示させてもよい。

【0008】

前記表示制御部は、選択されている前記表示態様を示す情報を前記前方動画像とともに前記表示部に表示させてもよい。

【0009】

前方動画像と、前記演舞する人物を後方から撮像した動画像である後方動画像と、から前記表示部に表示する動画像の選択を受け付ける動画選択部をさらに有し、前記動画取得部は、前記後方動画像をさらに取得し、前記表示制御部は、前記動画選択部が前記後方動画像の選択を受け付けた場合、前記後方動画像を前記表示部に表示させてもよい。

【0010】

前記表示制御部は、前記動画選択部が前記前方動画像の選択を受け付けた場合、前記前方動画像と前記方向情報とをともに前記表示部に表示させ、前記動画選択部が前記後方動画像の選択を受け付けた場合、前記後方動画像を前記表示部に表示させ、前記方向情報を前記表示部に表示させないようにしてもよい。

【0011】

前記方向情報取得部は、前記各フレームに含まれる前記人物の身体の複数の部位に関する情報と、それぞれの前記部位が向いている方向を示す情報とを関連付けた複数の方向情報と、それぞれの方向情報を表示する優先度と、を取得し、前記表示制御部は、前記優先度に基づいて表示する方向情報を選択し、取得した前記前方動画像と選択された前記１以上の前記方向情報とをともに前記表示部に表示させてもよい。

【0012】

本発明の第２の情報処理方法においては、コンピュータが実行する、演舞する人物を前方から撮像した動画像である前方動画像を取得するステップと、前記前方動画像を構成する複数のフレームの少なくとも一部のフレームにおいて、各フレームに含まれる前記人物の身体の部位に関する情報と、前記部位が向いている方向を示す情報と、を関連付けた方向情報を取得するステップと、取得した前記前方動画像と前記方向情報とをともに表示部に表示させるステップと、を有する。

【0013】

本発明の第３の態様のプログラムにおいては、コンピュータに、演舞する人物を前方から撮像した動画像である前方動画像を取得するステップと、前記前方動画像を構成する複数のフレームの少なくとも一部のフレームにおいて、各フレームに含まれる前記人物の身体の部位に関する情報と、前記部位が向いている方向を示す情報と、を関連付けた方向情報を取得するステップと、取得した前記前方動画像と前記方向情報とをともに表示部に表示させるステップと、を実行させる。

【0014】

本発明の第４の態様のデータ処理装置においては、演舞する人物を前方から撮像した動画像である前方動画像を取得する動画取得部と、取得した前記前方動画像を構成する複数のフレームのうち少なくとも一部のフレームに含まれる前記人物を抽出する人物抽出部と、前記人物抽出部が抽出した前記人物の身体の部位を抽出する部位抽出部と、前記部位抽出部が抽出した前記身体の部位が向いている方向を特定する特定部と、抽出された前記身体の部位に関する情報と、前記部位が向いている方向を示す情報と、を関連付けた方向情報をユーザが使用する情報端末に送信する送信部と、を有する。

【発明の効果】

【0015】

本発明によれば、動画像を見ながら体の動きを伴うレッスンを行う生徒が体を動かすべき方向を理解し易くすることができるという効果を奏する。

【図面の簡単な説明】

【0016】

【図1】データ処理システムＳの概要を説明する図である。

【図2】情報端末１の構成を示すブロック図である。

【図3】情報端末１に表示される画面の一例を示す図である。

【図4】情報端末１に表示される画面の一例を示す図である。

【図5】情報端末１に表示される画面の一例を示す図である。

【図6】情報端末１における処理の流れを示すフローチャートである。

【図7】データ処理装置２の構成を示すブロック図である。

【図8】データ処理装置２の処理の流れを示すフローチャートである。

【発明を実施するための形態】

【0017】

［データ処理システムＳの概要］
図１は、データ処理システムＳの概要を説明する図である。データ処理システムＳは、ダンスや舞踊等のレッスンにおいて、演舞を教示する演者を撮像した映像を情報端末１に配信するシステムである。データ処理システムＳは情報端末１、データ処理装置２及び撮像装置３を有する。データ処理システムＳは、複数の情報端末１に対して動画像を配信してもよい。

【0018】

情報端末１はレッスンにおいてレッスンを受ける生徒（以下、ユーザと言う。）が使用する端末である。情報端末１は、例えば、コンピュータ、スマートフォン、タブレット又はＶＲ（Virtual Reality）グラスである。情報端末１は、演者を撮像した動画像とともに、演者の体の部位が向いている方向を示す方向情報を表示する。

【0019】

データ処理装置２は、演者を撮像した動画像と方向情報とを情報端末１に配信する装置である。データ処理装置２は、例えば、サーバ、コンピュータ、スマートフォン又はタブレットである。撮像装置３は、オンラインレッスンにおいて演者を撮像するための装置である。撮像装置３は、例えばカメラである。データ処理装置２と撮像装置３は一体に構成されてもよい。

【0020】

図１（ａ）は、撮像装置３により演者を撮像する一例を示す図である。図１（ａ）に示す例においては、撮像装置３を演者の前方及び後方に配置し、前方及び後方から演者を撮像している。なお、データ処理システムＳにおいて、演者を撮像する方向は前方及び後方に限定されない。データ処理システムＳにおいては、例えば、撮像装置３により側方や上方から演者を撮像し、側方や上方から演者を撮像した映像を含む映像を情報端末１に配信してもよい。

【0021】

図１（ｂ）はデータ処理システムＳにおける処理の概要を示す図である。データ処理装置２は、演舞する演者を撮像した動画像を取得する（図１（ｂ）における（１））。データ処理装置２は、取得した動画像を構成するフレームに含まれる人物を抽出する（図１（ｂ）における（２））。

【0022】

データ処理装置２は、フレームに含まれる人物の身体の部位を抽出する（図１（ｂ）における（３））。データ処理装置２は、抽出した身体の部位が向いている方向を特定し、フレームにおいて抽出した身体の部位と、当該部位が向いている方向とを対応付けた方向情報を生成する（図１（ｂ）における（４））。データ処理装置２は、動画像と方向情報とを情報端末１に送信する（図１（ｂ）における（５））。

【0023】

情報端末１は、データ処理装置２から動画像と方向情報とを取得し、取得した動画像と方向情報とを表示する（図１（ｂ）における（６））。情報端末１において動画像と方向情報とを表示することで、情報端末１は、ユーザが体を動かすべき方向を理解することができる情報を表示することができる。

【0024】

［情報端末１の構成］
図２は、情報端末１の構成を示すブロック図である。情報端末１は、通信部１１、表示部１２、記憶部１３及び制御部１４を有する。制御部１４は、動画取得部１４１、方向情報取得部１４２、表示制御部１４３、選択部１４４及び動画選択部１４５を有する。

【0025】

通信部１１は、データ処理装置２とデータを送受信するための通信インターフェースである。表示部１２は、入力された信号に対応する画像を表示する。表示部１２は、例えばディスプレイである。

【0026】

記憶部１３は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＳＳＤ（Solid State Drive）及びハードディスク等の記憶媒体である。記憶部１３は、制御部１４が実行する各種のプログラムを記憶する。

【0027】

制御部１４は、例えばＣＰＵ（Central Processing Unit）である。制御部１４は、記憶部１３に記憶されている制御プログラムを実行することにより、動画取得部１４１、方向情報取得部１４２、表示制御部１４３、選択部１４４及び動画選択部１４５として機能する。

【0028】

動画取得部１４１は、データ処理装置２から送信された動画像を取得する。演舞する人物を前方から撮像した動画像である前方動画像を取得する。

【0029】

方向情報取得部１４２は、前方動画像を構成する複数のフレームの少なくとも一部のフレームにおいて、各フレームに含まれる人物の身体の部位に関する情報と、部位が向いている方向を示す情報と、を関連付けた方向情報を取得する。方向情報は、動画像を構成するいずれかのフレームと対応付けられている。方向情報は、そのフレームが示す映像においてそれぞれの身体の部位が向くべき方向を示す情報である。方向情報取得部１４２は、例えば「顔」が「下手」を、「右手」が「下手中段」を、「左手」が「上手下段」を向いていることを示す方向情報をデータ処理装置２から取得する。

【0030】

表示制御部１４３は、取得した前方動画像と方向情報とをともに表示部１２に表示させる。図３は、情報端末１に表示される画面の一例を示す図である。図３に示す画面では、表示制御部１４３は、取得した前方動画像を画面の中央の表示位置Ｏ１に表示する。そして、表示制御部１４３は、取得した方向情報を、画面における前方動画像の表示位置Ｏ１の外側の位置Ｏ２に表示する。

【0031】

なお、取得した動画像と方向情報の表示位置は任意である。表示制御部１４３は、例えば取得した動画像を画面の左側に配置し、方向情報を動画像の右側に配置して表示してもよい。

【0032】

方向情報は動画像を構成するフレームのうち、所定のフレーム間隔ごとに設定されていてもよい。この場合、方向情報取得部１４２は、所定のフレーム間隔ごとに設定された方向情報を取得し、表示制御部１４３は、方向情報が設定されていないフレームを表示する場合、表示するフレームより前の時刻であって、表示するフレームに最も近い時刻と対応付けられた方向情報を表示する。

【0033】

また、方向情報取得部１４２は、身体の部位ごとに設定された表示位置を示す情報をさらに取得してもよい。図３の例では、「顔」の表示位置を「画面左側上段」に、「右手」の表示位置を「画面左側中段」に、「左手」の表示位置を「画面右側下段」に表示することを示す位置情報を取得する。そして、表示制御部１４３は、方向情報取得部１４２が取得した表示位置情報に基づいて方向情報を表示する。

【0034】

表示制御部１４３は、取得した動画像に方向情報を重畳して表示させてもよい。この場合、方向情報取得部１４２は、方向情報の表示位置情報を、動画フレームにおける位置を示す座標の形式で取得する。そして、表示制御部１４３は、表示位置情報で指定された位置に方向情報を重畳した動画像を表示する。

【0035】

情報端末１がこのように構成されることで、情報端末１は、動画像とともに体を動かすべき方向が理解できる情報を表示することができる。

【0036】

ここで、ユーザは、演者の演舞する映像と、演者の演舞を左右反転した映像と、を状況に応じて選択して視聴したい場合がある。そこで、情報端末１は、取得した動画像をそのまま表示する表示態様と、取得した動画像を反転して表示する表示態様と、を選択できるように構成されてもよい。

【0037】

選択部１４４は、取得した動画像を反転せずに表示させる通常表示と、取得した動画像を左右反転して表示させる反転表示と、の間で表示態様の選択を受け付ける。図３に示す表示画面は、ユーザが表示態様を切替るためのアイコンＯ３が配置されている。ユーザがアイコンＯ３を押す操作（例えば、クリックやタップ）をすると、選択された表示態様を示す情報がデータ処理装置２に送信される。図３の画面の例では、通常表示を選択している場合にアイコンＯ３が押されているため、反転表示が選択されたことを示す情報が送信される。表示制御部１４３は、アイコンＯ３が押された場合に、表示態様を選択するための画面をさらに表示するよう構成されていてもよい。

【0038】

表示制御部１４３は、反転表示が選択された場合、取得した前方動画像を左右反転させて表示部１２に表示させる。図４は、情報端末１に表示される画面の一例を示す図である。図４は、選択部１４４が反転表示の表示態様が選択された場合に表示される画面である。表示制御部１４３は、選択部１４４が受け付けた表示態様が反転表示である場合に、取得した動画像を左右反転させる処理を行い、反転した動画像を表示部１２に表示させる。

【0039】

ここで、反転表示の映像を見たユーザは、映像の通りに動けばよいため、方向情報を表示しなくても動きを理解することができる。すなわち、図４に示す画面においては、表示制御部１４３は、方向情報を表示させない。

【0040】

表示制御部１４３は、通常表示が選択された場合、取得した前方動画像と方向情報とをともに表示部１２に表示させる。すなわち、表示制御部１４３は、選択部１４４が受け付けた表示態様が通常表示である場合に、取得した動画像と方向情報とを表示部１２に表示させる。

【0041】

情報端末１がこのように構成されることで、情報端末１は、ユーザの選択した表示態様に適した画面を表示することができる。その結果、ユーザは状況に応じて視聴したい態様で演者の演舞を視聴することができる。

【0042】

ユーザが視聴している表示態様を認識できるように画面が構成されると、ユーザが体を動かすべき方向を理解しやすくなる。そこで、表示制御部１４３は、選択されている表示態様がユーザに理解できる情報を表示するように画面を表示してもよい。

【0043】

表示制御部１４３は、選択されている表示態様を示す情報を前方動画像とともに表示部１２に表示させる。図３及び図４に示す画面において、表示制御部１４３は、選択された表示態様に対応した情報を示すアイコンＯ４を表示する。一例として、アイコンＯ４は、通常表示が選択されている場合は、「通常」と表示され、反転表示が選択されている場合は、「反転」と表示される。

【0044】

ユーザは状況に応じて様々な方向から演者を撮像した動画像を見たい場合がある。そこで、情報端末１は、様々な方向から撮像した動画像のうち視聴する動画像を選択できるように構成されていてもよい。以下では、データ処理システムＳが前方及び後方から撮像した動画像を視聴できるように構成される場合を例として説明する。以下では、演舞する人物を後方から撮像した動画像を後方動画像という。

【0045】

この場合、表示制御部１４３は表示する動画像の選択を受け付ける画面を表示する。図３及び図４に示す画面においては表示する動画像を選択するアイコンＯ５を有する。図３及び図４に示す画面においては前方動画像が表示位置Ｏ１に表示されているため、後方動画像を選択するためのアイコンＯ５が配置されている。

【0046】

動画選択部１４５は、前方動画像と、演舞する人物を後方から撮像した動画像である後方動画像と、から表示部１２に表示する動画像の選択を受け付ける。ユーザがアイコンＯ５を押す操作をすると、動画選択部１４５は、動画像の選択を受け付ける。図３に示す画面においては後方動画像を選択するアイコンＯ５が押されると、動画選択部１４５は、後方動画像を選択したことを受け付ける。

【0047】

動画取得部１４１は、後方動画像をさらに取得する。後方動画像が選択されると、動画取得部１４１は、データ処理装置２から後方動画像を取得する。

【0048】

表示制御部１４３は、動画選択部１４５が後方動画像の選択を受け付けた場合、後方動画像を表示部１２に表示させる。表示制御部１４３は、動画選択部１４５が受け付けた選択に基づいて取得した後方動画像を表示部１２に表示させる。図５は、後方動画像が選択された場合に表示制御部１４３が表示させる画面の一例を示す図である。図５に示す画面においては、表示制御部１４３は、選択された後方動画像を表示位置Ｏ１に表示する。なお、図５に示す画面においては、後方動画像が表示位置Ｏ１に表示されているため、前方動画像を選択するためのアイコンＯ６が配置されている。

【0049】

情報端末１がこのように構成されることで、ユーザは状況に応じて様々な方向から演者を撮像した動画像を視聴することができる。

【0050】

なお、動画取得部１４１は、前方動画像と後方動画像の両方を取得するよう構成されてもよい。この場合、動画選択部１４５が受け付けた選択結果に基づいて、表示制御部１４３は、取得した動画像のうち表示する動画像を切り替えるよう構成される。

【0051】

また、情報端末１は、後方動画像が表示されている場合に方向情報を表示させないように画面を構成してもよい。このように表示することで、ユーザは確認したい箇所に集中することができる。

【0052】

この場合、表示制御部１４３は、動画選択部１４５が前方動画像の選択を受け付けた場合、前方動画像と方向情報とをともに表示部１２に表示させる。そして、表示制御部１４３は、動画選択部１４５が後方動画像の選択を受け付けた場合、後方動画像を表示部１２に表示させ、方向情報を表示部１２に表示させない。図５に示す表示画面においては、方向情報を有さない画面を表示している。

【0053】

ところで、ユーザの利用する情報端末１には様々なデバイスが使用される。ユーザのデバイスの表示領域が小さい場合、多くの方向情報を表示するとユーザが動きを理解しにくくなる。そこで、方向情報は、身体の部位ごとに優先度が設定されてもよい。この場合、情報端末１は、身体の部位に関連付けて設定された優先度に基づいて、表示する方向情報を制御するよう構成されてもよい。

【0054】

方向情報取得部１４２は、各フレームに含まれる人物の身体の複数の部位に関する情報と、それぞれの部位が向いている方向を示す情報とを関連付けた複数の方向情報と、それぞれの方向情報を表示する優先度と、を取得する。一例として、方向情報と優先度との関係は、データ処理装置２において設定される。例えば演者は演目における重要度やユーザの習熟度合に基づいて優先度を設定する。優先度は例えば０から１の値を取る実数で表される。

【0055】

表示制御部１４３は、優先度に基づいて表示する方向情報を選択し、取得した前方動画像と選択された１以上の方向情報とをともに表示部１２に表示させる。一例として、表示制御部１４３は、方向を示す情報を同時に表示部１２に表示する数の最大値を示す設定値を有する。表示制御部１４３は、取得した方向情報に含まれる部位の数が最大値を超える場合、優先度が大きい順に設定値の数の部位を選択する。表示制御部１４３は、選択した部位の方向情報を動画像とともに表示部１２に表示する。

【0056】

情報端末１が、表示する方向情報を、優先度に基づいて制御するよう構成されることで、ユーザのデバイスの表示領域が小さい場合においてもユーザが理解しやすい画面を表示することができる。

【0057】

［情報端末１における処理の流れ］
図６は、情報端末１における処理の流れを示すフローチャートである。図６に示すフローチャートは、ユーザが情報端末１においてオンラインレッスンの受講操作を行った時点から開始している。

【0058】

表示制御部１４３は、表示部１２に表示させる動画像の選択を受け付ける画面を表示する。表示制御部１４３は、例えば、前方動画像及び後方動画像から表示する動画像を選択する画面を表示する。動画選択部１４５は、表示する動画像の選択を受け付ける（Ｓ０１）。

【0059】

動画選択部１４５は、選択された動画像が前方動画像であるかを判定する（Ｓ０２）。選択された動画像が前方動画像である場合（Ｓ０２におけるＹＥＳ）、情報端末１は、処理をＳ０３に進める。選択された動画像が前方動画像ではない場合（Ｓ０２におけるＮＯ）、情報端末１は、処理をＳ０９に進める。

【0060】

選択された動画像が前方動画像である場合（Ｓ０２におけるＹＥＳ）、選択部１４４は、表示態様の選択を受け付ける（Ｓ０３）。選択部１４４は、反転表示が選択されたかを判定する（Ｓ０４）。選択された表示態様が反転表示である場合（Ｓ０４におけるＹＥＳ）、情報端末１は、処理をＳ１２に進める。選択された表示態様が反転表示でない場合（Ｓ０４におけるＮＯ）、情報端末１は、処理をＳ０５に進める。

【0061】

選択された表示態様が反転表示でない場合（Ｓ０４におけるＮＯ）、動画取得部１４１は、前方動画像を取得する（Ｓ０５）。方向情報取得部１４２は、データ処理装置２から方向情報を取得する（Ｓ０６）。そして、表示制御部１４３は、取得した前方動画像と、取得した方向情報とを、表示部１２に表示させる（Ｓ０７）。

【0062】

情報端末１は、終了条件を満たすかどうかを判定する（Ｓ０８）。終了条件は、例えばユーザがレッスンを終了する操作を行うことである。終了条件を満たす場合（Ｓ０８におけるＹＥＳ）、情報端末１は、処理を終了する。終了条件を満たさない場合（Ｓ０８におけるＮＯ）、情報端末１は、Ｓ０５に進み、処理を繰り返す。

【0063】

選択された動画像が前方動画像ではない場合（Ｓ０２におけるＮＯ）、動画取得部１４１は、後方動画像を取得する（Ｓ０９）。そして、表示制御部１４３は、取得した後方動画像を、表示部１２に表示させる（Ｓ１０）。

【0064】

情報端末１は、終了条件を満たすかどうかを判定する（Ｓ１１）。終了条件を満たす場合（Ｓ１１におけるＹＥＳ）、情報端末１は、処理を終了する。終了条件を満たさない場合（Ｓ１１におけるＮＯ）、情報端末１は、Ｓ０９に進み、処理を繰り返す。

【0065】

選択された表示態様が反転表示である場合（Ｓ０４におけるＹＥＳ）、動画取得部１４１は、前方動画像を取得する（Ｓ１２）。表示制御部１４３は、取得した前方動画像を反転させる（Ｓ１３）。そして、表示制御部１４３は、反転させた前方動画像を表示部１２に表示させる（Ｓ１４）。

【0066】

情報端末１は、終了条件を満たすかどうかを判定する（Ｓ１５）。終了条件を満たす場合（Ｓ１５におけるＹＥＳ）、情報端末１は、処理を終了する。終了条件を満たさない場合（Ｓ１５におけるＮＯ）、情報端末１は、Ｓ１２に進み、処理を繰り返す。

【0067】

［データ処理装置２の構成］
図７は、データ処理装置２の構成を示すブロック図である。データ処理装置２は、通信部２１、記憶部２２及び制御部２３を有する。制御部２３は、動画取得部２３１、人物抽出部２３２、部位抽出部２３３、特定部２３４及び送信部２３５を有する。

【0068】

通信部２１は、情報端末１とデータを送受信するための通信インターフェースである。記憶部２２は、例えば、ＲＯＭ、ＲＡＭ、ＳＳＤ及びハードディスク等の記憶媒体である。記憶部２２は、制御部２３が実行する各種のプログラムを記憶する。

【0069】

制御部２３は、例えばＣＰＵである。制御部２３は、記憶部２２に記憶されている制御プログラムを実行することにより、動画取得部２３１、人物抽出部２３２、部位抽出部２３３、特定部２３４及び送信部２３５を有する。

【0070】

動画取得部２３１は、撮像装置３から演者を撮像した動画像を取得する。動画取得部２３１は、演舞する人物を前方から撮像した動画像である前方動画像を取得する。演者を複数の方向から撮像している場合、動画取得部２３１は、撮像した方向ごとの動画像を取得する。

【0071】

人物抽出部２３２は、取得した動画像を構成する複数のフレームのうち少なくとも一部のフレームに含まれる人物を抽出する。人物抽出部２３２は、取得した動画像を公知の画像認識処理をすることにより、動画像を構成するフレームのうち人物が含まれる領域を抽出する。人物抽出部２３２は、例えば所定のフレームごとに人物が含まれる領域を抽出する処理を行ってもよい。

【0072】

部位抽出部２３３は人物抽出部２３２が抽出した人物の身体の部位を抽出する。部位抽出部２３３は、動画像を構成するフレームから人物抽出部２３２が抽出した人物が含まれる領域を公知の画像認識処理をすることにより、動画像を構成するフレームに含まれる身体の部位を抽出する。

【0073】

特定部２３４は、部位抽出部２３３が抽出した身体の部位が向いている方向を特定する。特定部２３４は、部位抽出部２３３が抽出した画像フレーム内の身体の部位を公知の画像認識処理をすることにより、抽出した身体の部位が向いている方向を特定する。特定部２３４は、抽出した身体の部位に関する情報と身体の部位が向いている方向を示す情報と、を関連付けた方向情報を生成する。部位抽出部２３３が抽出した身体の部位が複数あるときは、特定部２３４は、抽出された部位それぞれについて向いている方向を特定し、複数の身体の部位が向いている方向を示す情報を含む方向情報を生成する。

【0074】

送信部２３５は、抽出された身体の部位に関する情報と、部位が向いている方向を示す情報と、を関連付けた方向情報をユーザが使用する情報端末１に送信する。送信部２３５は、取得した動画像を情報端末１に送信してもよい。

【0075】

［データ処理装置２における処理の流れ］
図８は、データ処理装置２における処理の流れを示すフローチャートである。図８に示すフローチャートは、情報端末１に動画像を配信する操作が行われた時点から開始している。

【0076】

動画取得部２３１は、撮像装置３から演者を撮像した動画像を取得する（Ｓ１０１）。人物抽出部２３２は、取得した動画像を構成する複数のフレームのうち少なくとも一部のフレームに含まれる人物を抽出する（Ｓ１０２）。

【0077】

部位抽出部２３３は人物抽出部２３２が抽出した人物の身体の部位を抽出する（Ｓ１０３）。特定部２３４は、部位抽出部２３３が抽出した身体の部位が向いている方向を特定し、方向情報を生成する（Ｓ１０４）。

【0078】

送信部２３５は、生成した方向情報をユーザが使用する情報端末１に送信する（Ｓ１０５）。データ処理装置２は、終了条件を満たすかどうかを判定する（Ｓ１０６）。終了条件を満たす場合（Ｓ１０６におけるＹＥＳ）、データ処理装置２は、処理を終了する。終了条件を満たさない場合（Ｓ１０６におけるＮＯ）、データ処理装置２は、Ｓ１０１に戻り処理を繰り返す。

【0079】

なお、本発明により、国連が主導する持続可能な開発目標（SDGs）の目標９「産業と技術革新の基盤をつくろう」に貢献することが可能となる。

【0080】

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の全部又は一部は、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を併せ持つ。

【符号の説明】

【0081】

１ 情報端末
２ データ処理装置
３ 撮像装置
１１ 通信部
１２ 表示部
１３ 記憶部
１４ 制御部
２１ 通信部
２２ 記憶部
２３ 制御部
１４１ 動画取得部
１４２ 方向情報取得部
１４３ 表示制御部
１４４ 選択部
１４５ 動画選択部
２３１ 動画取得部
２３２ 人物抽出部
２３３ 部位抽出部
２３４ 特定部
２３５ 送信部

【要約】

【課題】動画像とともに体を動かすべき方向が理解できる情報を表示できるようにする。
【解決手段】演舞する人物を前方から撮像した動画像である前方動画像を取得する動画取得部１４１と、前方動画像を構成する複数のフレームの少なくとも一部のフレームにおいて、各フレームに含まれる人物の身体の部位に関する情報と、部位が向いている方向を示す情報と、を関連付けた方向情報を取得する方向情報取得部１４２と、取得した前方動画像と方向情報とをともに表示部に表示させる表示制御部１４３と、を有する情報端末１である。
【選択図】図２

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】