特開 2024-128243 動画処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024128243

(43)【公開日】2024-09-24

(54)【発明の名称】動画処理方法

(51)【国際特許分類】

   G10H 1/00 20060101AFI20240913BHJP

   G10G 7/00 20060101ALI20240913BHJP

【ＦＩ】

G10H1/00 Z

G10G7/00

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2023037114

(22)【出願日】2023-03-10

(71)【出願人】

【識別番号】000004075

【氏名又は名称】ヤマハ株式会社

(74)【代理人】

【識別番号】110003177

【氏名又は名称】弁理士法人旺知国際特許事務所

(72)【発明者】

【氏名】前澤 陽

【テーマコード（参考）】

5D182

5D478

【Ｆターム（参考）】

5D182CC10

5D478KK12

(57)【要約】

【課題】所望の演奏者が所望の鍵盤楽器を演奏しているかのような動画を簡便に生成する。
【解決手段】動画処理システムは、演奏者による第１鍵盤楽器の演奏を表す演奏動画Ｘから演奏者の手を含む第１参照部分Ｒ1を抽出し（Ｓa3）、第２鍵盤楽器の鍵盤部分Ｂyに第１参照部分Ｒ1を重畳することで合成動画Ｙを生成する（Ｓa6）。
【選択図】図７

【特許請求の範囲】

【請求項1】

演奏者による第１鍵盤楽器の演奏を表す演奏動画から前記演奏者の手を含む第１参照部分を抽出し、
第２鍵盤楽器の鍵盤部分に前記第１参照部分を重畳することで合成動画を生成する
コンピュータシステムにより実現される動画処理方法。

【請求項2】

前記第１参照部分は、さらに、前記第１鍵盤楽器の鍵盤を含む
請求項１の動画処理方法。

【請求項3】

さらに、前記演奏者による演奏の内容を表す第２参照部分を前記演奏動画から抽出し、
前記合成動画の生成においては、さらに、前記第２参照部分を前記第２鍵盤楽器に重畳する
請求項１の動画処理方法。

【請求項4】

さらに、前記演奏者の手の表面における深度を表す深度情報を前記演奏動画から生成し、
前記合成動画の生成においては、前記第１参照部分における前記演奏者の手の表面の深度を前記深度情報に応じて制御する
請求項１の動画処理方法。

【請求項5】

前記合成動画の生成においては、仮想空間内に設置された仮想的な前記第２鍵盤楽器に前記第１参照部分を重畳する
請求項１の動画処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、動画を処理する技術に関する。

【背景技術】

【0002】

鍵盤楽器の演奏の様子を表す動画を提供する各種の技術が従来から提案されている。例えば特許文献１には、演奏者が楽器を演奏する動作の解析により生成された関節動作画像と、演奏時の身体変化を表す身体変化画像とを含む仮想画像を、利用者が視認する視界画像に重畳して表示装置に表示する構成が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】国際公開第２０１７／０２９９１５号明細書

【発明の概要】

【発明が解決しようとする課題】

【0004】

例えば所望の演奏者が所望の鍵盤楽器により演奏する動画を視聴したいという要求がある。特許文献１においては、演奏者による演奏を各種のセンサにより検出する必要があるから、前述の要求に沿う動画を生成することは現実的には困難である。以上の事情を考慮して、本開示のひとつの態様は、所望の演奏者が所望の鍵盤楽器を演奏しているかのような動画を簡便に生成することを目的とする。

【課題を解決するための手段】

【0005】

以上の課題を解決するために、本開示のひとつの態様に係る動画処理方法は、演奏者による第１鍵盤楽器の演奏を表す演奏動画から前記演奏者の手を含む第１参照部分を抽出し、第２鍵盤楽器の鍵盤部分に前記第１参照部分を重畳することで合成動画を生成する。

【図面の簡単な説明】

【0006】

【図1】第１実施形態における映像システムのブロック図である。

【図2】表示システムのブロック図である。

【図3】演奏動画の模式図である。

【図4】動画処理システムの機能的な構成を例示するブロック図である。

【図5】合成動画の模式図である。

【図6】仮想空間の模式図である。

【図7】動画生成処理のフローチャートである。

【図8】第２実施形態における演奏動画の模式図である。

【図9】第２実施形態における合成動画の模式図である。

【図10】第２実施形態における仮想空間の模式図である。

【図11】第２実施形態における動画生成処理のフローチャートである。

【図12】深度情報を利用した深度制御の説明図である。

【図13】第３実施形態における動画生成処理のフローチャートである。

【図14】第４実施形態における表示ユニットのブロック図である。

【図15】第４実施形態における動画生成処理のフローチャートである。

【図16】変形例における合成動画の模式図である。

【発明を実施するための形態】

【0007】

Ａ：第１実施形態
図１は、第１実施形態に係る映像システム１００の構成を例示するブロック図である。第１実施形態の映像システム１００は、特定の演奏者（以下「目標演奏者Ｐ」という）が鍵盤楽器を演奏する動画（以下「合成動画Ｙ」という）を利用者Ｕに提供するためのコンピュータシステムである。映像システム１００は、動画処理システム１０と表示ユニット２０とを具備する。

【0008】

表示ユニット２０は、利用者Ｕの頭部に装着される映像機器（ＨＭＤ：Head Mounted Display）である。例えばゴーグル型またはメガネ型のＨＭＤが、表示ユニット２０として利用される。図２は、表示ユニット２０の構成を例示するブロック図である。第１実施形態の表示ユニット２０は、通信装置２１と検出装置２２と表示装置２３とを具備する。

【0009】

検出装置２２は、表示ユニット２０の方向に応じた検出信号Ｑを出力するセンサである。具体的には、検出装置２２は、角速度を検知するジャイロセンサ、または加速度を検知する加速度センサ等のセンサで構成される。前述の通り、表示ユニット２０は利用者Ｕの頭部に装着されるから、検出装置２２が生成する検出信号Ｑは、利用者Ｕの頭部の方向を表す信号とも表現される。

【0010】

通信装置２１は、動画処理システム１０との間で有線または無線により通信する。例えば、通信装置２１は、検出装置２２が生成した検出信号Ｑを動画処理システム１０に送信する。また、通信装置２１は、合成動画Ｙを表す動画データＶyを動画処理システム１０から受信する。

【0011】

表示装置２３は、動画処理システム１０による制御のもとで画像を表示する。具体的には、表示装置２３は、通信装置２１が受信した動画データＶyを処理することで合成動画Ｙを表示する。例えば、液晶表示パネルまたは有機ＥＬ（Electroluminescence）パネル等の各種の表示パネルが、表示装置２３として利用される。表示装置２３は、現実空間からの到来光が透過しない非透過型の表示パネルであり、利用者Ｕの両眼の前方に設置される。合成動画Ｙは、右眼用画像と左眼用画像とで構成される立体視動画である。表示装置２３が合成動画Ｙを表示することで、利用者Ｕは立体感を知覚可能である。

【0012】

図１の動画処理システム１０は、合成動画Ｙを生成するためのコンピュータシステムである。動画処理システム１０は、例えばスマートフォン、タブレット端末またはパーソナルコンピュータ等の情報装置により実現される。動画処理システム１０は、制御装置１１と記憶装置１２と通信装置１３と操作装置１４とを具備する。なお、動画処理システム１０は、単体の装置として実現されるほか、相互に別体で構成された複数の装置でも実現される。動画処理システム１０は、表示ユニット２０に搭載されてもよい。また、表示ユニット２０を動画処理システム１０の構成要素と解釈してもよい。

【0013】

制御装置１１は、動画処理システム１０の各要素を制御する単数または複数のプロセッサである。具体的には、例えばＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＳＰＵ（Sound Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＦＰＧＡ（Field Programmable Gate Array）、またはＡＳＩＣ（Application Specific Integrated Circuit）等の１種類以上のプロセッサにより、制御装置１１が構成される。

【0014】

記憶装置１２は、制御装置１１が実行するプログラムと、制御装置１１が使用する各種のデータとを記憶する単数または複数のメモリである。例えば半導体記録媒体および磁気記録媒体等の公知の記録媒体、または複数種の記録媒体の組合せが、記憶装置１２として利用される。なお、例えば、動画処理システム１０に着脱される可搬型の記録媒体、または、制御装置１１が通信網を介してアクセス可能な記録媒体（例えばクラウドストレージ）が、記憶装置１２として利用されてもよい。

【0015】

操作装置１４は、利用者Ｕからの指示を受付ける入力機器である。操作装置１４は、例えば、利用者Ｕが操作する操作子またはタッチパネルである。なお、動画処理システム１０とは別体の操作装置１４が、動画処理システム１０に対して有線または無線により接続されてもよい。

【0016】

通信装置１３は、外部装置との間で有線または無線により通信する。具体的には、通信装置１３は、表示ユニット２０と通信する。例えば、通信装置１３は、検出装置２２が生成した検出信号Ｑを表示ユニット２０から受信する。また、通信装置１３は、合成動画Ｙを表す動画データＶyを表示ユニット２０に送信する。

【0017】

また、通信装置１３は、例えばインターネット等の通信網（図示略）を介して動画配信システム２００と通信する。動画配信システム２００は、合成動画Ｙの素材として利用される動画（以下「演奏動画」という）Ｘを配信する配信サーバ装置である。具体的には、動画配信システム２００は、演奏動画Ｘを表す動画データＶxを送信する。通信装置１３は、動画配信システム２００から送信された動画データＶxを受信する。なお、動画データＶxの形式は任意である。

【0018】

図３は、演奏動画Ｘの模式図である。演奏動画Ｘは、目標演奏者Ｐが鍵盤楽器Ｋxを演奏している様子を表す動画である。例えば、現実空間において現実の目標演奏者Ｐおよび鍵盤楽器Ｋxを撮像することで演奏動画Ｘが収録される。具体的には、演奏動画Ｘは、鍵盤楽器Ｋxの鍵盤Ｂxと目標演奏者Ｐの右手ＨRおよび左手ＨLとを含む。演奏動画Ｘは、動画配信システム２００に蓄積された既存の動画（例えばいわゆる「演奏してみた」動画）である。なお、鍵盤楽器Ｋxは「第１鍵盤楽器」の一例である。動画処理システム１０は、演奏動画Ｘを処理することで合成動画Ｙを生成する。

【0019】

図４は、動画処理システム１０の機能的な構成を例示するブロック図である。制御装置１１は、記憶装置１２に記憶されたプログラムを実行することで、合成動画Ｙを生成するための複数の機能（動画抽出部５１、動画生成部５２および表示制御部５３）を実現する。

【0020】

動画抽出部５１は、図３に例示される通り、動画データＶxが表す演奏動画Ｘから第１参照部分Ｒ1を抽出する。第１参照部分Ｒ1は、演奏動画Ｘの一部を構成する動画である。具体的には、第１参照部分Ｒ1は、演奏動画Ｘにおける目標演奏者Ｐの右手ＨRおよび左手ＨLと、鍵盤楽器Ｋxの鍵盤Ｂxとを含む動画である。動画抽出部５１は、例えば、演奏動画Ｘのうち右手ＨRおよび左手ＨLと鍵盤Ｂxとで構成される領域以外の領域を透過画像に置換する。第１参照部分Ｒ1の抽出には、例えば深層ニューラルネットワーク等の訓練済モデルを利用した物体検出（Semantic Segmentation）等、公知の技術が任意に採用される。

【0021】

図４の動画生成部５２は、第１参照部分Ｒ1を利用して合成動画Ｙを生成する。図５は、合成動画Ｙの模式図である。第１実施形態の合成動画Ｙは、仮想空間Ｚを表す動画である。なお、合成動画Ｙは、実際には右眼用画像と左眼用画像とで構成される立体視動画であるが、図５においては便宜的にひとつの画像として図示されている。

【0022】

図６は、仮想空間Ｚの模式図である。仮想空間Ｚには仮想カメラ（図示略）が設置される。仮想カメラは、仮想空間Ｚを撮像する仮想的な撮像装置である。合成動画Ｙは、仮想カメラにより仮想空間Ｚを撮像した動画である。

【0023】

図６に例示される通り、仮想空間Ｚには仮想的な鍵盤楽器（以下「目標鍵盤楽器Ｋy」という）が設置される。目標鍵盤楽器Ｋyは、自然楽器のグランドピアノを模擬した外観の仮想的な表示オブジェクトである。例えば、相異なる型式の鍵盤楽器に対応する複数の表示オブジェクトが記憶装置１２に事前に記憶される。動画生成部５２は、記憶装置１２に事前に記憶された複数の表示オブジェクトのうち、操作装置１４に対する操作で利用者Ｕが選択した表示オブジェクトを、目標鍵盤楽器Ｋyとして仮想空間Ｚに設置する。目標鍵盤楽器Ｋyは「第２鍵盤楽器」の一例である。

【0024】

図６に例示される通り、目標鍵盤楽器Ｋyは鍵盤部分Ｂyを含む。鍵盤部分Ｂyは、目標鍵盤楽器Ｋyのうち鍵盤に対応する部分である。なお、目標鍵盤楽器Ｋyに鍵盤は設置されない。すなわち、鍵盤部分Ｂyは、自然楽器において鍵盤が存在すべき仮想的な平面である。

【0025】

図５および図６に例示される通り、動画生成部５２は、仮想空間Ｚ内において目標鍵盤楽器Ｋyの鍵盤部分Ｂyに第１参照部分Ｒ1を重畳することで合成動画Ｙを生成する。第１参照部分Ｒ1は、仮想空間Ｚ内の表示オブジェクトとして鍵盤部分Ｂyに設置される。すなわち、鍵盤部分Ｂyに第１参照部分Ｒ1が設置された状態の目標鍵盤楽器Ｋyが、仮想空間Ｚ内において仮想カメラにより撮像される。したがって、目標演奏者Ｐが目標鍵盤楽器Ｋyを演奏しているかのような合成動画Ｙが表示装置２３に表示される。

【0026】

動画生成部５２は、通信装置１３が受信した検出信号Ｑに応じて仮想空間Ｚ内の仮想カメラの位置および方向を制御する。したがって、検出装置２２が検出した利用者Ｕの頭部の方向に応じて、合成動画Ｙにおける仮想的な視線が制御される。合成動画Ｙの生成には、例えば３Ｄレンダリング等の公知の画像処理が利用される。

【0027】

図４の表示制御部５３は、合成動画Ｙを表示装置２３に表示する。具体的には、表示制御部５３は、合成動画Ｙを表す動画データＶyを通信装置１３から表示ユニット２０に送信する。なお、動画データＶyの形式は任意である。以上の説明から理解される通り、第１実施形態の表示ユニット２０は、仮想現実（ＶＲ：Virtual Reality）により合成動画Ｙを表示する。

【0028】

図７は、合成動画Ｙを生成する処理（以下「動画生成処理」という）のフローチャートである。例えば演奏動画Ｘのフレーム毎に動画生成処理が実行される。

【0029】

動画生成処理が開始されると、制御装置１１（動画抽出部５１）は、演奏動画Ｘを取得する（Ｓa1）。具体的には、制御装置１１は、動画データＶxを通信装置１３により受信する。制御装置１１（動画抽出部５１）は、演奏動画Ｘに対して画像処理を実行する（Ｓa2）。画像処理は、演奏動画Ｘにおける鍵盤Ｂxを所定のサイズおよび形状に補正する補正処理を含む。補正処理は、例えば公知の台形補正である。制御装置１１（動画抽出部５１）は、補正後の演奏動画Ｘから第１参照部分Ｒ1を抽出する（Ｓa3）。

【0030】

制御装置１１（動画生成部５２）は、仮想空間Ｚに設定された目標鍵盤楽器Ｋyの鍵盤部分Ｂyに第１参照部分Ｒ1を設置する（Ｓa4）。また、制御装置１１（動画生成部５２）は、検出信号Ｑが表す方向に応じて仮想空間Ｚにおける仮想カメラの位置および方向を設定する（Ｓa5）。そして、制御装置１１（動画生成部５２）は、仮想空間Ｚ内の目標鍵盤楽器Ｋyおよび第１参照部分Ｒ1を仮想カメラにより撮像した合成動画Ｙを生成する（Ｓa6）。制御装置１１（表示制御部５３）は、合成動画Ｙを表す動画データＶyを通信装置１３から表示ユニット２０に送信することで、合成動画Ｙを表示装置２３に表示する（Ｓa7）。

【0031】

以上に説明した通り、第１実施形態においては、演奏動画Ｘから抽出された第１参照部分Ｒ1が目標鍵盤楽器Ｋyの鍵盤部分Ｂyに重畳される。したがって、演奏動画Ｘにおける目標演奏者Ｐが目標鍵盤楽器Ｋyを演奏しているかのような合成動画Ｙを簡便に生成できる。

【0032】

第１実施形態においては、鍵盤楽器Ｋxの鍵盤Ｂxが目標演奏者Ｐの右手ＨRおよび左手ＨLとともに第１参照部分Ｒ1として抽出され、第１参照部分Ｒ1が目標鍵盤楽器Ｋyの鍵盤部分Ｂyに重畳される。したがって、目標演奏者Ｐの右手ＨRおよび左手ＨLと第１参照部分Ｒ1の鍵盤Ｂxとが自然な位置関係にある合成動画Ｙを生成できる。

【0033】

第１実施形態においては特に、仮想空間Ｚ内の目標鍵盤楽器Ｋyに第１参照部分Ｒ1が重畳される。したがって、現実的には存在しない鍵盤楽器を含む多様な目標鍵盤楽器Ｋyを、目標演奏者Ｐが恰も演奏しているかのような合成動画Ｙを生成できる。すなわち、利用者Ｕの所望の目標演奏者Ｐが所望の外観の目標鍵盤楽器Ｋyで演奏する様子を鑑賞するという特有の顧客体験を、利用者Ｕに提供できる。

【0034】

Ｂ：第２実施形態
第２実施形態を説明する。なお、以下に例示する各態様において機能が第１実施形態と同様である要素については、第１実施形態の説明と同様の符号を流用して各々の詳細な説明を適宜に省略する。

【0035】

図８は、第２実施形態における演奏動画Ｘの模式図である。第２実施形態の演奏動画Ｘは、第１実施形態と同様の第１参照部分Ｒ1（ＨR，ＨL，Ｂx）に加えて第２参照部分Ｒ2を含む。第２参照部分Ｒ2は、目標演奏者Ｐによる演奏の内容を表す動画である。具体的には、第２参照部分Ｒ2は、目標演奏者Ｐが演奏する楽曲の楽譜を含む。

【0036】

第２実施形態の動画抽出部５１は、第１参照部分Ｒ1に加えて第２参照部分Ｒ2を演奏動画Ｘから抽出する。第２参照部分Ｒ2の抽出には、第１参照部分Ｒ1の抽出と同様に公知の技術が任意に採用される。

【0037】

図９は、第２実施形態における合成動画Ｙの模式図であり、図１０は、第２実施形態における仮想空間Ｚの模式図である。図９および図１０に例示される通り、第２実施形態の動画生成部５２は、仮想空間Ｚ内の目標鍵盤楽器Ｋyに第１参照部分Ｒ1と第２参照部分Ｒ2とを重畳する。第１参照部分Ｒ1は、第１実施形態と同様に、目標鍵盤楽器Ｋyの鍵盤部分Ｂyに設置される。他方、第２参照部分Ｒ2は、仮想空間Ｚ内において目標鍵盤楽器Ｋyの譜面台部分Ｍに設置される。

【0038】

譜面台部分Ｍは、目標鍵盤楽器Ｋyのうち譜面台に対応する部分である。具体的には、譜面台部分Ｍは、鍵盤部分Ｂyの奥側かつ上方において鉛直方向に沿う仮想的な平面である。したがって、鍵盤部分Ｂyと譜面台部分Ｍとは相互に交差する。

【0039】

図１１は、第２実施形態における動画生成処理のフローチャートである。動画生成処理が開始されると、制御装置１１（動画抽出部５１）は、第１実施形態と同様に、演奏動画Ｘの取得（Ｓa1）と演奏動画Ｘに対する画像処理（Ｓa2）とを実行する。制御装置１１（動画抽出部５１）は、演奏動画Ｘから第１参照部分Ｒ1および第２参照部分Ｒ2を抽出する（Ｓb3）。

【0040】

制御装置１１（動画生成部５２）は、仮想空間Ｚに設定された目標鍵盤楽器Ｋyの鍵盤部分Ｂyに第１参照部分Ｒ1を設置し、目標鍵盤楽器Ｋyの譜面台部分Ｍに第２参照部分Ｒ2を設置する（Ｓb4）。制御装置１１（動画生成部５２）は、第１実施形態と同様に、仮想カメラの設定（Ｓa5）と合成動画Ｙの生成（Ｓa6）とを実行する。また、制御装置１１（表示制御部５３）は、合成動画Ｙの動画データＶyを通信装置１３から表示ユニット２０に送信する（Ｓa7）。

【0041】

第２実施形態においても第１実施形態と同様の効果が実現される。また、第２実施形態においては、目標演奏者Ｐによる演奏の内容を表す第２参照部分Ｒ2が目標鍵盤楽器Ｋyとともに表示されるから、利用者Ｕは、第２参照部分Ｒ2を視認しながら目標演奏者Ｐによる演奏の様子を鑑賞できる。例えば、演奏中の楽曲の楽譜を随時に確認しながら目標演奏者Ｐによる演奏を鑑賞するという特有の顧客体験を、利用者Ｕに提供できる。

【0042】

第２実施形態においては特に、演奏動画Ｘから第２参照部分Ｒ2が抽出される。したがって、例えば演奏動画Ｘとは別個に第２参照部分Ｒ2が用意される形態と比較して、合成動画Ｙの生成のための構成および処理が簡素化される。

【0043】

Ｃ：第３実施形態
第３実施形態の動画抽出部５１は、第１実施形態と同様に演奏動画Ｘから第１参照部分Ｒ1を抽出するほか、第１参照部分Ｒ1の深度情報Ｄを生成する。深度情報Ｄは、第１参照部分Ｒ1における目標演奏者Ｐの右手ＨRおよび左手ＨLの表面における深度を表すデータである。例えば、深度情報Ｄは、第１参照部分Ｒ1の画素毎に、目標演奏者Ｐの右手ＨRおよび左手ＨLの表面における深度を含む。深度は、例えば特定の基準面（例えば演奏動画Ｘにおける鍵盤Ｂxの表面）からの距離で表現される。

【0044】

動画抽出部５１による深度情報Ｄの生成には公知の技術が任意に採用される、具体的には、深度情報Ｄの生成には、例えば深層ニューラルネットワーク等の訓練済モデル（例えばＭｉＤａＳ）を利用した深度推定が利用される。

【0045】

第３実施形態における動画生成部５２は、図１２に例示される通り、第１参照部分Ｒ1における目標演奏者Ｐの右手ＨRおよび左手ＨLの表面の深度を深度情報Ｄに応じて制御する。具体的には、図１２の例示から理解される通り、右手ＨRおよび左手ＨLの表面Ｆ1は、鍵盤Ｂxの表面Ｆ2と比較して高い位置に設定される。すなわち、目標演奏者Ｐの右手ＨRおよび左手ＨLが表面Ｆ2から突出する。

【0046】

図１３は、第３実施形態における動画生成処理のフローチャートである。第１実施形態と同様に演奏動画Ｘの取得（Ｓa1）と演奏動画Ｘに対する画像処理（Ｓa2）とを実行すると、制御装置１１（動画抽出部５１）は、演奏動画Ｘから第１参照部分Ｒ1を抽出する（Ｓa3）。制御装置１１（動画抽出部５１）は、第１参照部分Ｒ1の深度情報Ｄを生成する（Ｓc1）。

【0047】

制御装置１１（動画生成部５２）は、第１参照部分Ｒ1における目標演奏者Ｐの右手ＨRおよび左手ＨLの表面Ｆ1の深度を深度情報Ｄに応じて制御する（Ｓc2）。制御装置１１（動画生成部５２）は、深度制御後の第１参照部分Ｒ1を、仮想空間Ｚ内の目標鍵盤楽器Ｋyの鍵盤部分Ｂyに設置する（Ｓa4）。以降の動作（Ｓa5～Ｓa7）は第１実施形態と同様である。

【0048】

第３実施形態においても第１実施形態と同様の効果が実現される。また、第３実施形態においては、第１参照部分Ｒ1における目標演奏者Ｐの手Ｈ（ＨR，ＨL）に深度情報Ｄに応じた深度が付与されるから、目標演奏者Ｐの手Ｈが現実の演奏に近い立体感で表示される合成動画Ｙを生成できる。すなわち、高い現実感をもって目標演奏者Ｐの手Ｈを確認しながら目標演奏者Ｐによる演奏を鑑賞するという特有の顧客体験を、利用者Ｕに提供できる。なお、目標鍵盤楽器Ｋyに第２参照部分Ｒ2を重畳する第２実施形態の構成は、第３実施形態にも同様に適用されてよい。

【0049】

Ｄ：第４実施形態
図１４は、第４実施形態における表示ユニット２０のブロック図である。第４実施形態の表示ユニット２０は、第１実施形態における検出装置２２が、撮像装置２４に置換された構成である。すなわち、第４実施形態においては、表示装置２３と撮像装置２４とが利用者Ｕの頭部に装着される。なお、表示装置２３は、第１実施形態と同様に非透過型の表示パネルである。

【0050】

撮像装置２４は、利用者Ｕが所在する現実空間を撮像することで撮像データＶgを生成する。撮像データＶgは、現実空間の動画（以下「収録動画Ｇ」という）を表す任意の形式のデータである。具体的には、撮像装置２４は、例えば、撮影レンズ等の光学系と、光学系からの入射光を受光する撮像素子と、撮像素子による受光量に応じた撮像データＶgを生成する処理回路とを具備する。

【0051】

撮像装置２４は、利用者Ｕの頭部の前方（すなわち視線の方向）を撮像する。利用者Ｕは、現実空間内に設置された鍵盤楽器に頭部を向けた状態を維持する。したがって、収録動画Ｇは現実空間内の鍵盤楽器を含む。第４実施形態においては、収録動画Ｇに含まれる現実の鍵盤楽器を目標鍵盤楽器Ｋyとして合成動画Ｙが生成される。すなわち、制御装置１１（動画生成部５２）は、収録動画Ｇに含まれる目標鍵盤楽器Ｋyの鍵盤部分Ｂyに第１参照部分Ｒ1を重畳することで合成動画Ｙを生成する。第４実施形態の鍵盤部分Ｂyは、現実空間に設置された現実の鍵盤楽器の鍵盤である。

【0052】

図１５は、第４実施形態における動画生成処理のフローチャートである。例えば演奏動画Ｘのフレーム毎に動画生成処理が実行される。

【0053】

動画生成処理が開始されると、制御装置１１（動画抽出部５１）は、第１実施形態と同様に演奏動画Ｘの取得（Ｓa1）と演奏動画Ｘに対する画像処理（Ｓa2）とを実行する。また、制御装置１１（動画抽出部５１）は、第１実施形態と同様に、演奏動画Ｘから第１参照部分Ｒ1を抽出する（Ｓa3）。

【0054】

制御装置１１（動画抽出部５１）は、現実空間の目標鍵盤楽器Ｋyを含む収録動画Ｇを取得する（Ｓd1）。具体的には、制御装置１１は、表示ユニット２０から送信された撮像データＶgを通信装置１３により受信する。

【0055】

制御装置１１（動画抽出部５１）は、撮像データＶgが表す収録動画Ｇから目標鍵盤楽器Ｋyの鍵盤部分Ｂyを検出する（Ｓd2）。目標鍵盤楽器Ｋyの検出には、例えば深層ニューラルネットワーク等の訓練済モデルを利用した物体検出等、公知の技術が任意に採用される。なお、第１参照部分Ｒ1の抽出（Ｓa1～Ｓa3）と鍵盤部分Ｂyの抽出（Ｓd1，Ｓd2）との順番は反転されてもよい。

【0056】

制御装置１１（動画生成部５２）は、収録動画Ｇの鍵盤部分Ｂyに第１参照部分Ｒ1を重畳することで合成動画Ｙを生成する（Ｓd3）。すなわち、収録動画Ｇを背景として第１参照部分Ｒ1が鍵盤部分Ｂyに配置された合成動画Ｙが生成される。制御装置１１（表示制御部５３）は、第１実施形態と同様に、合成動画Ｙを表す動画データＶyを通信装置１３から表示ユニット２０に送信する（Ｓa7）。以上の説明から理解される通り、第４実施形態の表示ユニット２０は、拡張現実（ＡＲ：Augmented Reality）または複合現実（ＭＲ：Mixed Reality）により合成動画Ｙを表示する。

【0057】

以上に説明した通り、第４実施形態においては、撮像装置２４が設置された現実空間内の目標鍵盤楽器Ｋyの鍵盤部分Ｂyに第１参照部分Ｒ1が重畳される。したがって、例えば利用者Ｕが所有する鍵盤楽器等、現実空間内の目標鍵盤楽器Ｋyを、演奏動画Ｘの目標演奏者Ｐが演奏しているかのような合成動画Ｙを生成できる。

【0058】

第４実施形態においては特に、表示装置２３および撮像装置２４が利用者Ｕの頭部に装着される。以上の構成においては、利用者Ｕの頭部の位置および角度に応じて表示装置２３および撮像装置２４の位置および角度が変化する。すなわち、利用者Ｕの頭部の動作に連動して、表示装置２３に表示される合成動画Ｙにおける目標鍵盤楽器Ｋyの位置および角度も変化する。したがって、利用者Ｕは、自身が所在する現実空間に恰も目標演奏者Ｐが存在するかのような感覚を知覚できる。すなわち、目標演奏者Ｐが利用者Ｕの近傍に存在するかのような特有の顧客体験を、利用者Ｕに提供できる。

【0059】

なお、目標鍵盤楽器Ｋyに第２参照部分Ｒ2を重畳する第２実施形態の構成は、第４実施形態にも同様に適用される。すなわち、収録動画Ｇに含まれる目標鍵盤楽器Ｋyの譜面台部分Ｍに演奏動画Ｘの第２参照部分Ｒ2が重畳される。また、深度情報Ｄを利用して第１参照部分Ｒ1の深度を調整する第３実施形態の構成も、第４実施形態に同様に適用される。例えば、第４実施形態において、目標演奏者Ｐの右手ＨRおよび左手ＨLの表面Ｆ1の深度が深度情報Ｄに応じて制御された第１参照部分Ｒ1が、目標鍵盤楽器Ｋyの鍵盤部分Ｂyに重畳されてもよい。

【0060】

Ｅ：変形例
以上に例示した各態様に付加される具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２以上の態様を、相互に矛盾しない範囲で適宜に併合してもよい。

【0061】

（１）前述の各形態においては、第１参照部分Ｒ1が目標演奏者Ｐの右手ＨRおよび左手ＨLに加えて鍵盤楽器Ｋxの鍵盤Ｂxを含む形態を例示したが、鍵盤Ｂxは第１参照部分Ｒ1から省略されてよい。すなわち、動画抽出部５１による鍵盤Ｂxの抽出が省略され、目標演奏者Ｐの右手ＨRおよび左手ＨLで構成される第１参照部分Ｒ1が目標鍵盤楽器Ｋyの鍵盤部分Ｂyに重畳されてもよい。第１参照部分Ｒ1が鍵盤Ｂxを含まない形態においては、仮想空間Ｚの目標鍵盤楽器Ｋyが鍵盤を含む構成が好適である。以上の構成によれば、仮想空間Ｚ内の目標鍵盤楽器Ｋyにおける仮想的な鍵盤を目標演奏者Ｐが演奏する合成動画Ｙが生成される。

【0062】

（２）演奏動画Ｘは、現実空間において収録された動画に限定されない。例えば、仮想空間に所在する仮想的な目標演奏者Ｐおよび仮想的な目標鍵盤楽器Ｋyを仮想カメラにより撮像した動画が、演奏動画Ｘとして利用されてもよい。

【0063】

（３）前述の各形態においては、合成動画Ｙが表示装置２３に表示される形態を例示したが、合成動画Ｙの出力方法は以上の例示に限定されない。例えば、合成動画Ｙの動画データＶyが動画配信システム２００に送信および保存されてもよい。動画配信システム２００は、例えばスマートフォン等の情報装置からの要求に応じて当該情報装置に動画データＶyを配信する。

【0064】

（４）例えば表示ユニット２０との間で通信網を介して通信するサーバ装置により動画処理システム１０が実現されてもよい。動画処理システム１０により生成された合成動画Ｙの動画データＶyが通信網を介して表示ユニット２０に送信され、合成動画Ｙが表示装置２３に表示される。

【0065】

（５）前述の各形態においては、非透過型の表示パネルを表示装置２３として利用したが、現実空間からの到来光が透過する透過型の表示パネルが表示装置２３として利用されてもよい。透過型の表示パネルが表示装置２３として利用される形態においては、表示装置２３を介して利用者Ｕが視認可能な現実の鍵盤楽器（すなわち光学像）を背景の目標鍵盤楽器Ｋyとして、第１参照部分Ｒ1（さらには第２参照部分Ｒ2）が重畳される。

【0066】

（６）前述の各形態においては、利用者が直接的に視認する直視型の表示装置２３を例示したが、例えば投射面に画像を投射する投射型の表示装置により合成動画Ｙを表示してもよい。例えば、投射型の表示装置は、現実空間に位置する鍵盤楽器（目標鍵盤楽器Ｋy）の鍵盤部分Ｂyに第１参照部分Ｒ1および第２参照部分Ｒ2を投射する。

【0067】

（７）第２実施形態においては、演奏動画Ｘから第２参照部分Ｒ2を抽出したが、第２参照部分Ｒ2を取得する方法は、以上の例示に限定されない。例えば、演奏動画Ｘにおいて演奏されている楽曲の楽譜を表す第２参照部分Ｒ2が、演奏動画Ｘとは別個に用意され、例えば記憶装置１２に記憶されてもよい。動画生成部５２は、記憶装置１２に記憶された第２参照部分Ｒ2を目標鍵盤楽器Ｋyの鍵盤部分Ｂyに重畳することで合成動画Ｙを生成する。

【0068】

（８）第２実施形態においては、楽曲の楽譜を第２参照部分Ｒ2として例示したが、第２参照部分Ｒ2は楽譜に限定されない。例えば、図１６に例示される通り、目標演奏者Ｐによる演奏の内容を表す案内画像が、第２参照部分Ｒ2として合成動画Ｙに含まれてもよい。案内画像は、第２実施形態の楽譜と同様に、例えば演奏動画Ｘから抽出される。

【0069】

図１６の案内画像は、相異なる音高に対応する複数の単位領域Ａを含む。複数の単位領域Ａは、鍵盤Ｂxにおける複数の鍵の配列に沿って横方向に配列する。各単位領域Ａは、縦方向に長尺な領域である。各音高の単位領域Ａには、当該音高の演奏の時点を案内する指示子Ｎが表示される。各音高の指示子Ｎは、当該音高が演奏されるべき時点において下端に到達するように単位領域Ａの上端から下端に向けて移動する。縦方向における指示子Ｎの表示長は、各音高の発音が維持されるべき継続長に相当する。したがって、利用者Ｕは、案内画像を視認することで、各音高の発音時点と継続長とを把握できる。

【0070】

（９）以上に例示した動画処理システム１０の機能は、前述の通り、制御装置１１を構成する単数または複数のプロセッサと、記憶装置１２に記憶されたプログラムとの協働により実現される。本開示に係るプログラムは、コンピュータが読取可能な記録媒体に格納された形態で提供されてコンピュータにインストールされ得る。記録媒体は、例えば非一過性（non-transitory）の記録媒体であり、ＣＤ-ＲＯＭ等の光学式記録媒体（光ディスク）が好例であるが、半導体記録媒体または磁気記録媒体等の公知の任意の形式の記録媒体も包含される。なお、非一過性の記録媒体とは、一過性の伝搬信号（transitory, propagating signal）を除く任意の記録媒体を含み、揮発性の記録媒体も除外されない。また、配信装置が通信網を介してプログラムを配信する構成では、当該配信装置においてプログラムを記憶する記憶媒体が、前述の非一過性の記録媒体に相当する。

【0071】

Ｆ：付記
以上に例示した形態から、例えば以下の構成が把握される。

【0072】

本開示のひとつの態様（態様１）に係る動画処理方法は、演奏者による第１鍵盤楽器の演奏を表す演奏動画から前記演奏者の手を含む第１参照部分を抽出し、第２鍵盤楽器の鍵盤部分に前記第１参照部分を重畳することで合成動画を生成する。以上の態様によれば、演奏動画から抽出された第１参照部分が第２鍵盤楽器の鍵盤部分に重畳されるから、演奏動画における演奏者が第２鍵盤楽器を演奏しているかのような合成動画を簡便に生成できる。

【0073】

「第２鍵盤楽器」は、第１鍵盤楽器とは別個の鍵盤楽器である。例えば、仮想空間に設置された仮想的な鍵盤楽器が第２鍵盤楽器の典型例である。すなわち、第２鍵盤楽器は、仮想現実（ＶＲ：Virtual Reality）により画像として表示されてよい。また、第２鍵盤楽器は、現実空間において画像として撮像された現実の鍵盤楽器でもよい。第２鍵盤楽器は、拡張現実（ＡＲ：Augmented Reality）または複合現実（ＭＲ：Mixed Reality）により第１参照部分とともに表示される。現実空間において光学像として観測される現実の鍵盤楽器が、拡張現実または複合現実により、第２鍵盤楽器として第１参照部分とともに表示されてもよい。

【0074】

鍵盤部分は、第２鍵盤楽器のうち鍵盤に対応する部分である。例えば、第２鍵盤楽器が仮想空間内の仮想的な鍵盤楽器である形態では、第２鍵盤楽器のうち鍵盤が配置されるべき部位が「鍵盤部分」に相当する。仮想的な鍵盤楽器が鍵盤を具備するか否かは不問である。第２鍵盤楽器が現実空間の鍵盤楽器である形態では、第２鍵盤楽器のうち実際に鍵盤が存在する部分が「鍵盤部分」である。

【0075】

態様１の具体例（態様２）において、前記第１参照部分は、さらに、前記第１鍵盤楽器の鍵盤を含む。以上の態様によれば、第１鍵盤楽器の鍵盤が演奏者の手とともに第１参照部分として抽出され、当該第１参照部分が第２鍵盤楽器の鍵盤部分に重畳される。したがって、演奏者の手と鍵盤とが自然な位置関係にある動画を生成できる。

【0076】

態様１または態様２の具体例（態様３）において、前記合成動画の生成においては、さらに、前記演奏者による演奏の内容を表す第２参照部分を前記第２鍵盤楽器に重畳する。以上の態様によれば、演奏者による演奏の内容を表す第２参照部分が第２鍵盤楽器とともに表示されるから、利用者は、第２参照部分を視認することで演奏の内容を確認しながら演奏者による演奏の様子を鑑賞できる。

【0077】

態様３の具体例（態様４）において、さらに、前記演奏動画から前記第２参照部分を抽出する。以上の態様においては、第２参照部分が第１参照部分とともに演奏動画から抽出される。したがって、例えば演奏動画とは別個に第２参照部分が用意される形態と比較して、合成動画の生成のための構成および処理が簡素化される。

【0078】

態様１から態様４の何れかの具体例（態様５）において、さらに、前記演奏者の手の表面における深度を表す深度情報を前記演奏動画から生成し、前記合成動画の生成においては、前記第１参照部分における前記演奏者の手の表面の深度を前記深度情報に応じて制御する。以上の態様によれば、第１参照部分における演奏者の手に深度情報に応じた深度が付与されるから、演奏者の手が現実の演奏に近い立体感で表示される合成動画を生成できる。

【0079】

態様１から態様５の何れかの具体例（態様６）において、さらに、現実空間の前記第２鍵盤楽器を含む収録動画を撮像装置から取得し、前記合成動画の生成においては、前記収録動画における前記第２鍵盤楽器の前記鍵盤部分に前記第１参照部分を重畳する。以上の態様においては、撮像装置が設置された現実空間内の第２鍵盤楽器に演奏者の手を重畳した合成動画が生成される。したがって、例えば利用者が所有する鍵盤楽器等、所望の第２鍵盤楽器を演奏者が演奏しているかのような合成動画を生成できる。

【0080】

態様６の具体例（態様７）において、さらに、前記合成動画を表示装置に表示し、前記表示装置および前記撮像装置は、利用者の頭部に装着される。以上の態様においては、利用者の頭部の位置および角度に応じて撮像装置および表示装置の位置および角度が変化する。すなわち、利用者の頭部の動作に連動して、表示装置に表示される合成画像における第２鍵盤楽器の位置および角度が変化する。したがって、利用者は、自身が所在する空間に恰も演奏者が存在するかのような感覚を知覚できる。

【0081】

態様１から態様５の何れかの具体例（態様８）において、前記合成動画の生成においては、仮想空間内に設置された仮想的な前記第２鍵盤楽器に前記第１参照部分を重畳する。以上の態様においては、仮想空間内の第２鍵盤楽器に第１参照部分が重畳される。したがって、現実には存在しない鍵盤楽器を含む多様な第２鍵盤楽器を演奏者が恰も演奏しているかのような合成動画を生成できる。

【0082】

本開示のひとつの態様（態様９）に係る動画処理システムは、演奏者による第１鍵盤楽器の演奏を表す演奏動画から前記演奏者の手を含む第１参照部分を抽出する動画抽出部と、第２鍵盤楽器の鍵盤部分に前記第１参照部分を重畳することで合成動画を生成する動画生成部と、を具備する。

【0083】

本開示のひとつの態様（態様１０）に係るプログラムは、演奏者による第１鍵盤楽器の演奏を表す演奏動画から前記演奏者の手を含む第１参照部分を抽出する動画抽出部、および、第２鍵盤楽器の鍵盤部分に前記第１参照部分を重畳することで合成動画を生成する動画生成部、としてコンピュータシステムを機能させる。

【符号の説明】

【0084】

１００…映像システム、２００…動画配信システム、１０…動画処理システム、１１…制御装置、１２…記憶装置、１３…通信装置、１４…操作装置、２０…表示ユニット、２１…通信装置、２２…検出装置、２３…表示装置、２４…撮像装置、５１…動画抽出部、５２…動画生成部、５３…表示制御部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】