特許 7412826 映像合成装置、映像合成方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2024-01-04

(45)【発行日】2024-01-15

(54)【発明の名称】映像合成装置、映像合成方法、及びプログラム

(51)【国際特許分類】

   G09B 5/02 20060101AFI20240105BHJP

   G09B 9/00 20060101ALI20240105BHJP

【ＦＩ】

G09B5/02

G09B9/00 Z

【請求項の数】 9

(21)【出願番号】P 2023123184

(22)【出願日】2023-07-28

【審査請求日】2023-07-28

【早期審査対象出願】

(73)【特許権者】

【識別番号】515086621

【氏名又は名称】株式会社計数技研

(74)【代理人】

【識別番号】100115749

【弁理士】

【氏名又は名称】谷川 英和

(74)【代理人】

【識別番号】100121223

【弁理士】

【氏名又は名称】森本 悟道

(72)【発明者】

【氏名】早石 直広

(72)【発明者】

【氏名】安藤 英由樹

【審査官】関口 英樹

(56)【参考文献】

【文献】特開２０２０－１４４２３３（ＪＰ，Ａ）

【文献】特開２０１８－０３１８８２（ＪＰ，Ａ）

【文献】特開２０２３－０５９１３７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０９Ｂ１／００－９／５６

１７／００－１９／２６

(57)【特許請求の範囲】

【請求項1】

ユーザが動作を模倣する対象である模倣対象の動作の映像である参照映像が記憶される記憶部と、
ユーザが動作させる対象である動作対象の動作の映像である自己映像を取得する映像取得部と、
前記参照映像と前記自己映像とを合成して合成映像を生成する合成部と、
前記合成映像を出力する映像出力部と、を備え、
前記合成部は、前記参照映像と前記自己映像との合成の割合が時間に沿って連続的に繰り返して変化するように両映像を合成する、映像合成装置。

【請求項2】

前記合成部は、前記参照映像と前記自己映像との合成の割合の時間に沿った変化が正弦波となるように両映像を合成する、請求項１記載の映像合成装置。

【請求項3】

前記合成映像における前記模倣対象と前記動作対象との距離を取得する距離取得部をさらに備え、
前記合成部は、前記距離が遠いほど、前記自己映像がより多く表示されるように合成を行う、請求項１記載の映像合成装置。

【請求項4】

前記参照映像及び前記自己映像の少なくとも一方である変更対象の映像について、背景領域を透明またはあらかじめ決められた単色に変更する背景変更部をさらに備え、
前記合成部は、前記変更対象の映像については、前記背景変更部による変更後の映像を合成する、請求項１または請求項２記載の映像合成装置。

【請求項5】

前記参照映像及び前記自己映像の少なくとも一方である特定対象の映像について、注目箇所を特定する特定部と、
前記特定対象の映像について特定された注目箇所以外の領域をぼかす処理を行うぼかし処理部と、をさらに備え、
前記合成部は、前記特定対象の映像については、前記ぼかし処理部によるぼかし処理後の映像を合成する、請求項１または請求項２記載の映像合成装置。

【請求項6】

前記特定部は、動きのある箇所である注目箇所を特定する、請求項５記載の映像合成装置。

【請求項7】

ユーザから注目箇所を示す注目箇所情報を受け付ける受付部をさらに備え、
前記特定部は、前記受付部によって受け付けられた注目箇所情報に応じて注目箇所を特定する、請求項５記載の映像合成装置。

【請求項8】

ユーザが動作を模倣する対象である模倣対象の動作の映像である参照映像が記憶される記憶部と、映像取得部と、合成部と、映像出力部とを用いて処理される映像合成方法であって、
前記映像取得部が、ユーザが動作させる対象である動作対象の動作の映像である自己映像を取得するステップと、
前記合成部が、前記参照映像と前記自己映像とを合成して合成映像を生成するステップと、
前記映像出力部が、前記合成映像を出力するステップと、を備え、
前記合成映像を生成するステップでは、前記参照映像と前記自己映像との合成の割合が時間に沿って連続的に繰り返して変化するように両映像を合成する、映像合成方法。

【請求項9】

ユーザが動作を模倣する対象である模倣対象の動作の映像である参照映像が記憶される記憶部にアクセス可能なコンピュータを、
ユーザが動作させる対象である動作対象の動作の映像である自己映像を取得する映像取得部、
前記参照映像と前記自己映像とを合成して合成映像を生成する合成部、
前記合成映像を出力する映像出力部として機能させ、
前記合成部は、前記参照映像と前記自己映像との合成の割合が時間に沿って連続的に繰り返して変化するように両映像を合成する、プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、模倣対象の動作の映像である参照映像と、ユーザの動作対象の動作の映像である自己映像とを合成して出力する映像合成装置等に関する。

【背景技術】

【0002】

従来、手術などの動きの学習のために、学習者が模倣する対象となる模倣対象の動作の映像である参照映像と、学習者の動作の映像である自己映像とを交互に切り替えて表示する学習支援装置が知られている（例えば、特許文献１参照）。このような表示を参照することにより、学習者は、模倣対象の動作と同じ動作を行うためのトレーニングを行うことができる。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１４－０７１４４３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、参照映像と自己映像とを交互に切り替えて表示する場合には、両映像が融合したように感じられることになる。そのため、学習者が参照映像に含まれる模倣対象の動作に適切に追従できていれば問題ないが、そうでない場合には、参照映像と自己映像との区別がはっきりしなくなり、学習者が模倣対象の動作に追従することが困難になるという問題がある。例えば、学習者が、自己映像がどちらであるのかを容易に把握することが難しくなることがある。

【0005】

本発明は、上記課題を解決するためになされたものであり、参照映像と自己映像とが融合したように感じられることを防止でき、学習者であるユーザが模倣対象の動作に容易に追従できるようにするための映像合成装置等を提供することを目的とする。

【課題を解決するための手段】

【0006】

上記目的を達成するため、本発明の一態様による映像合成装置は、ユーザが動作を模倣する対象である模倣対象の動作の映像である参照映像が記憶される記憶部と、ユーザが動作させる対象である動作対象の動作の映像である自己映像を取得する映像取得部と、参照映像と自己映像とを合成して合成映像を生成する合成部と、合成映像を出力する映像出力部と、を備え、合成部は、参照映像と自己映像との合成の割合が時間に沿って連続的に繰り返して変化するように両映像を合成する、ものである。

【0007】

このような構成により、参照映像と自己映像との合成の割合が時間に沿って連続的に繰り返して変化するように両映像を合成することができる。このように、参照映像と自己映像とを交互に切り替えて表示するのではないため、ユーザが、参照映像と自己映像とが融合したように感じることを防止でき、自己映像を容易に把握することができるようになり、その結果として、模倣対象の動作に容易に追従することができるようになる。

【0008】

また、本発明の一態様による映像合成装置では、合成部は、参照映像と自己映像との合成の割合の時間に沿った変化が正弦波となるように両映像を合成してもよい。

【0009】

このような構成により、例えば、一方の映像の割合が０～１００％の間で変化するように合成が行われる場合に、一方の映像のみが主に表示される期間がそれぞれあると共に、両映像が重なって表示される期間もあるため、ユーザは、両映像を容易に区別することができると共に、自分が動作させている動作対象を模倣対象の動作に容易に合わせることができるようになる。

【0010】

また、本発明の一態様による映像合成装置では、合成映像における模倣対象と動作対象との距離を取得する距離取得部をさらに備え、合成部は、距離が遠いほど、自己映像がより多く表示されるように合成を行ってもよい。

【0011】

このような構成により、模倣対象と動作対象の距離が大きい場合には、自己映像がより多く表示されることによって、両者の距離が小さくなるように動作対象を移動させることができる。また、両者の距離が小さい場合には、模倣対象がより多く表示されることによって、模倣対象の動作をより詳細に確認することができるようになる。

【0012】

また、本発明の一態様による映像合成装置では、参照映像及び自己映像の少なくとも一方である変更対象の映像について、背景領域を透明またはあらかじめ決められた単色に変更する背景変更部をさらに備え、合成部は、変更対象の映像については、背景変更部による変更後の映像を合成してもよい。

【0013】

このような構成により、合成映像において、模倣対象や動作対象がより見えやすくなるようにすることができる。背景をそれぞれ含む参照映像及び自己映像が合成された合成映像では、例えば、模倣対象が自己映像の背景領域と重なっていたり、動作対象が参照映像の背景領域と重なっていたりする場合に、模倣対象や動作対象の位置や状態を把握しにくくなるが、少なくとも一方の映像の背景領域が透明や単色に変更されることによって、そのような状況が改善されることになる。

【0014】

また、本発明の一態様による映像合成装置では、参照映像及び自己映像の少なくとも一方である特定対象の映像について、注目箇所を特定する特定部と、特定対象の映像について特定された注目箇所以外の領域をぼかす処理を行うぼかし処理部と、をさらに備え、合成部は、特定対象の映像については、ぼかし処理部によるぼかし処理後の映像を合成してもよい。

【0015】

このような構成により、注目箇所以外についてぼかし処理が行われるため、注目箇所がより注目されやすいようにすることができる。

【0016】

また、本発明の一態様による映像合成装置では、特定部は、動きのある箇所である注目箇所を特定してもよい。

【0017】

このような構成により、注目箇所を自動的に特定することができるようになる。

【0018】

また、本発明の一態様による映像合成装置では、ユーザから注目箇所を示す注目箇所情報を受け付ける受付部をさらに備え、特定部は、受付部によって受け付けられた注目箇所情報に応じて注目箇所を特定してもよい。

【0019】

このような構成により、ユーザが注目箇所を指定することができるようになる。

【0020】

また、本発明の一態様による映像合成方法は、ユーザが動作を模倣する対象である模倣対象の動作の映像である参照映像が記憶される記憶部と、映像取得部と、合成部と、映像出力部とを用いて処理される映像合成方法であって、映像取得部が、ユーザが動作させる対象である動作対象の動作の映像である自己映像を取得するステップと、合成部が、参照映像と自己映像とを合成して合成映像を生成するステップと、映像出力部が、合成映像を出力するステップと、を備え、合成映像を生成するステップでは、参照映像と自己映像との合成の割合が時間に沿って連続的に繰り返して変化するように両映像を合成する、ものである。

【発明の効果】

【0021】

本発明の一態様による映像合成装置等によれば、参照映像と自己映像とが融合したように感じられることを防止することができ、学習者であるユーザが模倣対象の動作に容易に追従することができるようになる。

【図面の簡単な説明】

【0022】

【図1】本発明の実施の形態による映像合成装置の構成を示すブロック図

【図2】同実施の形態による映像合成装置の使用状況の一例を示す図

【図3】同実施の形態における参照映像の一例を示す図

【図4】同実施の形態における自己映像の一例を示す図

【図5A】同実施の形態における合成の割合の変化の一例を示す図

【図5B】同実施の形態における合成の割合の変化の一例を示す図

【図5C】同実施の形態における合成の割合の変化の一例を示す図

【図5D】同実施の形態における合成の割合の変化の一例を示す図

【図6】同実施の形態における合成映像の一例を示す図

【図7】同実施の形態における合成映像の一例を示す図

【図8】同実施の形態による映像合成装置の動作を示すフローチャート

【図9】同実施の形態による映像合成装置の構成の他の一例を示すブロック図

【図10】同実施の形態による映像合成装置の構成の他の一例を示すブロック図

【図11】同実施の形態による映像合成装置の構成の他の一例を示すブロック図

【図12】同実施の形態における映像上の複数の領域を示す図

【図13】同実施の形態におけるコンピュータの構成の一例を示す図

【発明を実施するための形態】

【0023】

以下、本発明による映像合成装置、及び映像合成方法について、実施の形態を用いて説明する。なお、以下の実施の形態において、同じ符号を付した構成要素及びステップは同一または相当するものであり、再度の説明を省略することがある。本実施の形態による映像合成装置は、参照映像と自己映像との合成の割合が時間に沿って連続的に繰り返して変化するように両映像を合成するものである。

【0024】

図１は、本実施の形態による映像合成装置１の構成を示すブロック図である。図２は、学習者であるユーザ３０が、映像合成装置１を用いて模倣対象の動作を学習している状況を示す図である。本実施の形態による映像合成装置１は、記憶部１１と、映像取得部１２と、合成部１３と、映像出力部１４とを備える。なお、映像合成装置１は、一例として、後述する図１３等で示されるようにコンピュータ９００によって実現されてもよく、専用のハードウェアによって実現されてもよい。本実施の形態では、前者の場合について主に説明する。

【0025】

記憶部１１では、ユーザが動作を模倣する対象である模倣対象の動作の映像である参照映像が記憶される。ユーザは、参照映像を参照しながら動作を学習する学習者である。ユーザが学習する動作は、例えば、手術などの動作であってもよく、工場における作業の動作であってもよく、介護やホテルなどにおける業務の動作であってもよく、料理などの動作であってもよく、工芸品等の作品の作成のための動作であってもよく、スポーツなどの動作であってもよく、習字などの動作であってもよく、ロープ結びの動作であってもよく、その他の動作であってもよい。模倣対象は、例えば、被模倣者の身体の一部であってもよく、被模倣者によって動作される対象物であってもよい。被模倣者は、例えば、学習者であるユーザの先生役であり、学習者が学習する対象となる動作に熟練している者であってもよい。また、被模倣者の身体の一部は、例えば、被模倣者の手を含んでいてもよい。また、被模倣者によって動作される対象物は、例えば、被模倣者が有している鉗子やメス、ピンセット、ハサミ、筆などの道具であってもよい。参照映像は、通常、カメラによって撮影された映像であるが、カメラによって撮影された映像に相当するＣＧ（Computer Graphics）映像であってもよい。

【0026】

参照映像は、一例として、模倣対象を動作させる被模倣者の視点からの映像、すなわち被模倣者の一人称視点の映像であってもよい。この場合には、参照映像は、一例として、被模倣者が装着しているヘッドマウントカメラで撮影された映像であってもよい。本実施の形態では、被模倣者が使う鉗子である模倣対象４１を含む、図３で示される参照映像が記憶部１１で記憶されている場合について主に説明する。

【0027】

記憶部１１では、例えば、参照映像の全体が記憶されてもよく、または、参照映像の一部が記憶されてもよい。一例として、映像合成装置１が、外部から参照映像を受信しながら表示する場合には、参照映像の一部である受信された最新の参照映像の部分が記憶部１１で記憶され、それが読み出されて表示されると共に、順次、上書きされてもよい。記憶部１１には、参照映像以外の情報が記憶されてもよい。例えば、映像取得部１２によって取得された自己映像が記憶部１１で記憶されてもよい。

【0028】

記憶部１１に情報が記憶される過程は問わない。例えば、記録媒体を介して情報が記憶部１１で記憶されるようになってもよく、通信回線等を介して送信された情報が記憶部１１で記憶されるようになってもよく、または、カメラなどのデバイスを介して入力された情報が記憶部１１で記憶されるようになってもよい。記憶部１１は、不揮発性の記録媒体によって実現されることが好適であるが、揮発性の記録媒体によって実現されてもよい。記録媒体は、例えば、半導体メモリや磁気ディスクなどであってもよい。

【0029】

映像取得部１２は、ユーザが動作させる対象である動作対象の動作の映像である自己映像を取得する。映像取得部１２は、例えば、映像を撮影するカメラ等の光学機器であってもよく、カメラ等の光学機器によって撮影された映像を取得するものであってもよい。本実施の形態では、映像取得部１２がカメラ９０１によって撮影された映像を受け付ける場合について主に説明する。自己映像を撮影するカメラ９０１は、例えば、ヘッドマウントカメラなどのように、ユーザ３０に装着されるカメラであってもよく、三脚などの支持部によって撮影環境に設置されるカメラであってもよい。動作対象は、模倣対象に対応するものである。通常、動作対象と模倣対象は同種類のものである。そのため、動作対象は、例えば、ユーザの身体の一部であってもよく、ユーザによって動作される対象物であってもよい。ユーザの身体の一部は、例えば、ユーザの手を含んでいてもよい。また、ユーザによって動作される対象物は、例えば、ユーザが有している鉗子やメス、ピンセット、ハサミ、筆などの道具であってもよい。例えば、模倣対象が鉗子である場合には、動作対象も鉗子であることが好適である。

【0030】

自己映像は、一例として、動作対象を動作させるユーザの視点からの映像、すなわちユーザの一人称視点の映像であってもよい。この場合には、自己映像は、例えば、図２で示されるように、ユーザ３０が頭部に装着しているカメラ９０１で撮影された映像であってもよい。カメラ９０１の光軸は、動作対象を向いていることが好適である。本実施の形態では、ユーザ３０が使う鉗子である動作対象５１を含む、図４で示される自己映像が映像取得部１２によって取得される場合について主に説明する。なお、参照映像を撮影する参照映像用カメラと模倣対象との相対的な位置関係と、自己映像を撮影する自己映像用カメラと動作対象との相対的な位置関係とは同じであるか、または近いことが好適である。また、参照映像に含まれる各フレームと、自己映像に含まれる各フレームとは、例えば、それぞれ同じ大きさであることが好適である。フレームが同じ大きさであるとは、フレームの縦方向のピクセル数と、横方向のピクセル数とがそれぞれ同じであることであってもよい。

【0031】

合成部１３は、参照映像と自己映像とを合成して合成映像を生成する。この合成の際に、合成部１３は、参照映像と自己映像との合成の割合が時間に沿って連続的に繰り返して変化するように両映像を合成する。参照映像と自己映像との合成の割合とは、合成映像で表示される参照映像や自己映像の表示の割合であってもよい。この割合は、例えば、一方の映像の不透明度または透明度であってもよい。本実施の形態では、参照映像と自己映像との合成の割合が、自己映像の不透明度の割合である場合について主に説明する。この場合には、参照映像の手前側、すなわち上側に自己映像を合成してもよい。両映像の合成の割合が時間方向に沿って連続的に変化するとは、例えば、合成の割合の時間方向における全体において、合成の割合の変化が連続していることであってもよく（例えば、図５Ａ、図５Ｂ参照）、合成の割合の時間方向における少なくとも一部において、合成の割合の変化が連続していることであってもよい（例えば、図５Ｃ参照）。また、時間方向における合成の割合の繰り返しは、例えば、周期的な繰り返しであってもよく、または、周期的ではない繰り返しであってもよい。周期的に変化する合成の割合の変化の周期は特に限定されないが、例えば、０．５秒から３秒程度であってもよい。模倣対象の動きが早いほど、周期が短いことが好適である。また、参照映像と自己映像との合成の割合は、一例として、１００：０から０：１００までの間で変化してもよく、または、９５：５から５：９５までの間などのように、合成映像が一方の映像となる期間がないように変化してもよい。本実施の形態では、前者の場合について主に説明する。また、時間方向における合成の割合の連続的な変化は、滑らかな変化であってもよく、または、そうでなくてもよい。前者の場合には、合成の割合の時間変化は、時間微分可能であってもよい。

【0032】

合成部１３は、一例として、参照映像と自己映像との合成の割合の時間に沿った変化が正弦波となるように両映像を合成してもよい。この場合には、参照映像の手前側に合成される自己映像の不透明度（すなわち、合成の割合）は、図５Ａで示されるように時系列に沿って変化してもよい。この場合には、合成映像において参照映像がメインとなる期間（自己映像の不透明度が０％付近の期間）、及び合成映像において自己映像がメインとなる期間（自己映像の不透明度が１００％付近の期間）がそれぞれ存在しているため、ユーザは、参照映像のみを見ることもでき、自己映像のみを見ることもできる。したがって、ユーザは、参照映像に含まれる模倣対象と、自己映像に含まれる動作対象とをそれぞれ区別して把握することが容易になる。一方、それ以外の期間では、合成映像に参照映像及び自己映像の両方が含まれることになるため、ユーザは、参照映像に含まれる模倣対象と、自己映像に含まれる動作対象とを一緒に見ることもできる。したがって、ユーザは、自己映像に含まれる動作対象を、参照映像に含まれる模倣対象の動作に合わせて動作させることが容易になる。すなわち、ユーザが、模倣対象の動作に追従して動作対象を動作させることができる。

【0033】

合成部１３は、例えば、合成を行う際の参照映像と自己映像との合成の割合を特定し、その測定した割合で、参照映像と自己映像とを合成してもよい。例えば、参照映像と自己映像との合成の割合の時間に沿った変化が図５Ａで示される場合には、合成部１３は、時間ｔに両映像を合成する際に、時間ｔに対応する自己映像の不透明度を特定し、時間ｔに対応する参照映像の手前側に合成する自己映像の不透明度が、その特定した値となるように両映像を合成してもよい。参照映像と自己映像との合成の割合の時間変化は、例えば、グラフや、テーブル、関数等によって示され、合成部１３は、それらを用いて合成を行う際の参照映像と自己映像との合成の割合を特定してもよい。合成の割合が図５Ａで示される場合には、時間ｔにおける自己映像の不透明度（％）の示す関数は、例えば、次式で示されるものであってもよい。次式において、Ｐは不透明度の周期である。
自己映像の不透明度（％）＝５０×（ｓｉｎ（２πｔ／Ｐ－π／２）＋１）

【0034】

図６、図７は、合成映像の一例を示す図である。図６は、図５Ａにおける時間Ｔ１の不透明度で生成された合成映像であり、図７は、図５Ａにおける時間Ｔ２の不透明度で生成された合成映像である。図６で示される合成映像では、自己映像の不透明度が５０％より低いため、模倣対象４１の方が、動作対象５１よりもはっきりと表示されることになる。一方、図７で示される合成映像では、自己映像の不透明度が５０％より高いため、動作対象５１の方が、模倣対象４１よりもはっきりと表示されることになる。

【0035】

また、合成部１３は、例えば、参照映像と自己映像との合成の割合の時間に沿った変化が正弦波以外となるように両映像を合成してもよい。例えば、合成部１３は、参照映像と自己映像との合成の割合の時間に沿った変化が、図５Ｂで示されるように三角波となるように両映像を合成してもよく、図５Ｃで示されるようにノコギリ波となるように両映像を合成してもよい。また、合成部１３は、例えば、参照映像に含まれる各フレームと、自己映像に含まれる各フレームとの大きさが異なる場合に、一方の映像の大きさを他方の映像の大きさに合わせて合成を行ってもよい。

【0036】

映像出力部１４は、合成部１３によって生成された合成映像を出力する。ここで、この出力は、例えば、表示デバイス（例えば、液晶ディスプレイや有機ＥＬディスプレイなど）への表示でもよく、合成映像を表示する機器への通信回線を介した送信でもよい。なお、映像出力部１４は、出力を行うデバイス（例えば、表示デバイスや通信デバイスなど）を含んでもよく、または含まなくてもよい。映像出力部１４によって出力された映像が表示される表示デバイスは、例えば、図２で示されるように、ユーザ３０のいる環境に配置されたディスプレイであってもよく、ユーザ３０が装着しているヘッドマウントディスプレイであってもよい。また、映像出力部１４は、ハードウェアによって実現されてもよく、または、それらのデバイスを駆動するドライバ等のソフトウェアによって実現されてもよい。

【0037】

次に、映像合成装置１の動作について図８のフローチャートを用いて説明する。
（ステップＳ１０１）合成部１３は、参照映像と自己映像との合成を行うかどうか判断する。そして、合成を行う場合には、ステップＳ１０２に進み、そうでない場合には、合成を行うと判断するまで、ステップＳ１０１の処理を繰り返す。なお、合成部１３は、各映像に含まれるフレームの表示間隔ごとに、合成を行うと判断してもよい。例えば、フレームレートがＡ（ｆｐｓ）である場合には、合成部１３は、１／Ａ（秒）ごとに、合成を行うと判断してもよい。

【0038】

（ステップＳ１０２）合成部１３は、記憶部１１から合成対象の参照映像のフレームを読み出す。なお、合成の処理が開始されてからＴ秒後に読み出す対象となる参照映像のフレームは、例えば、先頭からＴ秒の位置のフレームであってもよい。

【0039】

（ステップＳ１０３）映像取得部１２は、自己映像のフレームを取得する。映像取得部１２は、例えば、カメラ９０１から最新の自己映像のフレームを取得してもよい。

【0040】

（ステップＳ１０４）合成部１３は、参照映像と合成映像との合成の割合を特定する。例えば、図５Ａで示されるように合成の割合が時間方向に変化する場合であって、合成の処理が開始されてからＴ秒が経過している場合には、合成部１３は、Ｔ秒に対応する合成の割合を特定してもよい。

【0041】

（ステップＳ１０５）合成部１３は、ステップＳ１０２で読み出した参照映像のフレームと、ステップＳ１０３で取得された自己映像のフレームとを、ステップＳ１０４で特定した割合で合成することによって、合成映像のフレームを生成する。

【0042】

（ステップＳ１０６）映像出力部１４は、ステップＳ１０５で生成された合成映像のフレームを出力する。そして、ステップＳ１０１に戻る。このように、参照映像及び自己映像の各フレームが合成されて出力されることにより、両映像の合成が行われる。

【0043】

なお、図８のフローチャートにおける処理の順序は一例であり、同様の結果を得られるのであれば、各ステップの順序を変更してもよい。例えば、ステップＳ１０２～Ｓ１０４の各処理は、図８で示される以外の順序で実行されてもよい。また、図８のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。

【0044】

次に、本実施の形態による映像合成装置１の動作について、具体例を用いて説明する。本具体例において、参照映像は、鉗子である模倣対象４１が熟練者によって使用されている状況の映像であるとする。参照映像は、例えば、図３で示される映像である。また、図２で示されるように、ユーザ３０が頭部に装着しているカメラ９０１を用いて、ユーザ３０が使用している鉗子である動作対象５１の自己映像が撮影されるものとする。自己映像は、例えば、図４で示される映像である。

【0045】

まず、ユーザ３０が、映像合成装置１を操作して、参照映像と自己映像との合成の処理を開始させると、合成部１３は、記憶部１１で記憶されている参照映像の１番目のフレームを読み出す（ステップＳ１０１，Ｓ１０２）。また、映像取得部１２は、カメラ９０１によって撮影された自己映像のフレームを、有線または無線を介して受け付ける（ステップＳ１０３）。また、合成部１３は、その時点の合成の割合を特定する（ステップＳ１０４）。本具体例では、図５Ａで示される自己映像の不透明度を用いて、参照映像の手前側に自己映像が合成されるものとする。なお、合成処理の開始時点では、自己映像の不透明度が０％であったとする。すると、合成部１３は、参照映像の手前側に、不透明度が０％である自己映像を合成した合成映像のフレームを生成して映像出力部１４に渡す（ステップＳ１０５）。すなわち、参照映像のみが含まれる合成映像のフレームが生成されることになる。合成映像のフレームを受け取ると、映像出力部１４は、その受け取った合成映像のフレームを表示デバイス９０２に出力する（ステップＳ１０６）。このようにして、ユーザ３０は、合成映像を見ることができるようになる。

【0046】

なお、参照映像と自己映像との合成の割合は、図５Ａで示されるように変化することになる。したがって、合成映像において、徐々に自己映像の割合が増加することになり、時間Ｔ１には、図６で示される合成映像が表示され、時間Ｔ２には、図７で示される合成映像が表示されることになる。また、自己映像のみが含まれる合成映像が表示された後に、合成映像において、徐々に自己映像の割合が減少することになる。このように、合成映像における自己映像の割合は、正弦波に応じて、０％から１００％までの範囲内で周期的に変化することになる。ユーザ３０は、表示デバイス９０２に表示された合成映像を見ながら、模倣対象の動作と同様の動作となるように、動作対象を動作させることによって学習を行うことができる。

【0047】

以上のように、本実施の形態による映像合成装置１によれば、参照映像と自己映像との合成の割合が時間に沿って連続的に繰り返して変化するように両映像を合成することができる。したがって、参照映像と自己映像とを交互に切り替えて表示しないため、ユーザが、参照映像と自己映像とが融合したように感じることを防止できる。その結果、合成映像を見るユーザは、参照映像における模倣対象４１と、自己映像における動作対象５１とを容易に区別することができるようになり、模倣対象の動作に追従するように動作対象を動作させることができ、参照映像を用いた学習の効果を高めることができる。また、両映像の合成の割合が周期的に繰り返して変化される場合には、参照映像がメインに表示される時点や自己映像がメインに表示される時点を容易に予測することができ、結果として、合成映像において、模倣対象や動作対象を特定しやすくなる。

【0048】

なお、本実施の形態による映像合成装置１は、例えば、図９で示されるように、合成映像における模倣対象と動作対象との距離を取得する距離取得部２１をさらに備え、合成部１３は、例えば、距離取得部２１によって取得された距離が遠いほど、自己映像がより多く表示されるように合成を行ってもよい。合成映像における模倣対象と動作対象との距離とは、仮に、ある時点に読み出された参照映像と、その時点に取得された自己映像とを合成して合成映像を生成したとした場合に、その合成映像における模倣対象と動作対象との距離である。この距離は、例えば、直前に合成された合成映像のフレームにおける模倣対象と動作対象との距離であってもよく、この距離の取得のために、合成時点の参照映像のフレームと自己映像のフレームとを合成した合成映像のフレームにおける模倣対象と動作対象との距離であってもよく、合成時点の参照映像のフレームにおける模倣対象の位置と、最新の自己映像のフレームにおける動作対象の位置との距離であってもよい。

【0049】

映像のフレームにおける模倣対象や動作対象の領域は、例えば、フレームにおける物体検出や、セグメンテーション、パターンマッチングなどによって特定されてもよい。また、模倣対象の位置や、動作対象の位置は、例えば、フレームにおいて特定された模倣対象や動作対象の領域の代表位置であってもよい。ある領域の代表位置は、一例として、その領域の重心の位置であってもよく、その領域を囲むバウンディングボックスの中心の位置であってもよい。

【0050】

合成部１３は、例えば、取得された距離が閾値ＴＨより大きい場合には、取得された距離が閾値ＴＨより小さい場合よりも、自己映像がより多く表示されるように参照映像と自己映像とを合成してもよい。なお、合成部１３は、例えば、取得された距離が閾値ＴＨと等しい場合には、取得された距離が閾値ＴＨより小さい場合よりも、自己映像がより多く表示されるように参照映像と自己映像とを合成してもよく、または、そうでなくてもよい。自己映像がより多く表示されるように合成するとは、例えば、合成映像における自己映像の割合の時間方向における所定の期間の平均値が、より大きくなるように合成することであってもよい。合成の割合が周期的に変化する場合には、所定の期間は、合成の割合の１周期の整数倍に相当する期間であってもよい。この場合には、取得された距離が閾値ＴＨより大きいときには、取得された距離が閾値ＴＨより小さいときよりも、合成映像が表示された際に、自己映像の方がより多く表示されることになる。一例として、取得された距離が閾値ＴＨより大きい場合には、合成映像における自己映像の割合の平均値が、５０％を超えるように合成が行われてもよい。模倣対象と動作対象との距離が大きい場合には、通常、動作対象の動作を模倣対象の動作に合わせるよりは、動作対象の位置が、模倣対象の位置に近づくように動作対象が移動されることになる。そのため、模倣対象と動作対象との距離が小さい場合よりも、動作対象がより多く表示されるように合成が行われることによって、その移動を容易に行うことができるようになる。一方、模倣対象と動作対象との距離が小さい場合には、通常、動作対象の動作を模倣対象の動作に合わせるように動作対象が動作されることになる。そのため、模倣対象と動作対象との距離が大きい場合よりも、模倣対象がより多く表示されるように合成が行われることによって、その動作の模倣を容易に行うことができるようになる。

【0051】

一例として、合成部１３は、取得された距離が閾値ＴＨより大きい場合には、図５Ｄで示されるように時間的に変化する自己映像の不透明度に応じて、参照映像と自己映像との合成を行ってもよい。また、合成部１３は、取得された距離が閾値ＴＨより小さい場合には、図５Ａで示されるように時間的に変化する自己映像の不透明度に応じて、参照映像と自己映像との合成を行ってもよい。このようにすることで、取得された距離が閾値ＴＨより大きい場合に、取得された距離が閾値ＴＨより小さい場合よりも、自己映像がより多く表示されるように参照映像と自己映像とを合成することができるようになる。

【0052】

また、本実施の形態による映像合成装置１は、例えば、図１０で示されるように、参照映像及び自己映像の少なくとも一方である変更対象の映像について、背景領域を透明またはあらかじめ決められた単色に変更する背景変更部２２をさらに備え、合成部１３は、変更対象の映像については、背景変更部２２による変更後の映像を合成してもよい。変更対象の映像は、例えば、参照映像のみであってもよく、自己映像のみであってもよく、両映像であってもよい。変更対象の映像が参照映像のみである場合には、合成部１３によって、背景の変更後の参照映像と、背景の変更が行われていない自己映像とが合成されてもよい。また、変更対象の映像が自己映像のみである場合には、合成部１３によって、背景の変更が行われていない参照映像と、背景の変更後の自己映像とが合成されてもよい。また、変更対象の映像が参照映像及び自己映像である場合には、合成部１３によって、背景の変更後の参照映像と、背景の変更後の自己映像とが合成されてもよい。

【0053】

背景変更部２２は、例えば、模倣対象や動作対象の領域を特定し、その特定した領域以外の領域を背景領域として特定してもよい。模倣対象や動作対象の領域の特定は、上記したように行われてもよい。なお、模倣対象や動作対象によって所定の処理（例えば、鉗子である模倣対象や動作対象によって行われる縫合処理など）の対象となる物（例えば、臓器や模擬臓器など）の領域も、背景以外としてもよい。そして、背景変更部２２は、特定した背景領域を、例えば、透明にしてもよく、あらかじめ決められた単色に変更してもよい。なお、参照映像及び自己映像の両方が変更対象の映像である場合であって、両映像の背景領域が単色に変更される場合には、参照映像の背景の色と、自己映像の背景の色とは異なっていてもよい。このようにすることで、合成映像が表示される際に、どちらの映像がメインに表示されているのかを、その背景の色を用いて容易に把握することができるようになる。また、画像の背景領域を透明にしたり、特定の単色にしたりするソフトウェアは公知である。背景変更部２２は、そのようなソフトウェアを用いて、変更対象の映像の各フレームにおいて、背景領域を透明や単色に変更してもよい。

【0054】

このように、少なくとも一方の映像の背景領域が透明または単色に変更されることによって、合成映像において、模倣対象や動作対象をより見えやすくすることができる。例えば、模倣対象の領域に自己映像の透明または単色の背景領域が表示されたり、動作対象の領域に参照映像の透明または単色の背景領域が表示されたりすることによって、ユーザが、模倣対象や動作対象を容易に特定することができるようになる。

【0055】

また、本実施の形態による映像合成装置１は、例えば、図１１で示されるように、ユーザから注目箇所を示す注目箇所情報を受け付ける受付部２３と、参照映像及び自己映像の少なくとも一方である特定対象の映像について、注目箇所を特定する特定部２４と、特定対象の映像について特定された注目箇所以外の領域をぼかす処理を行うぼかし処理部２５とをさらに備え、合成部１３は、特定対象の映像については、ぼかし処理部２５によるぼかし処理後の映像を合成してもよい。特定対象の映像は、例えば、参照映像のみであってもよく、自己映像のみであってもよく、両映像であってもよい。

【0056】

受付部２３は、例えば、図１２で示されるように、映像のフレームにおけるあらかじめ決められた領域６１～６５をそれぞれ識別する複数の領域識別子の少なくともいずれかである注目箇所情報を受け付けてもよい。この場合には、注目箇所情報である領域識別子によって識別される領域が、注目箇所であってもよい。領域識別子は、例えば、領域６１～６５をそれぞれ識別する「中央」「左上」「右上」「左下」「右下」であってもよい。また、受付部２３は、一例として、音声認識の結果である注目箇所情報を受け付けてもよい。この場合には、ユーザは、音声によって注目箇所を指定することができるようになる。なお、映像において特定することができる注目箇所の個数や位置は、図１２で示される以外であってもよいことは言うまでもない。

【0057】

受付部２３は、例えば、入力デバイス（例えば、キーボードやマウス、タッチパネルなど）から入力された情報を受け付けてもよく、有線または無線の通信回線を介して送信された情報を受信してもよい。なお、受付部２３は、受け付けを行うためのデバイス（例えば、入力デバイスや通信デバイスなど）を含んでもよく、または含まなくてもよい。また、受付部２３は、ハードウェアによって実現されてもよく、または所定のデバイスを駆動するドライバ等のソフトウェアによって実現されてもよい。

【0058】

特定部２４は、例えば、受付部２３によって受け付けられた注目箇所情報に応じて注目箇所を特定してもよい。この場合には、特定部２４は、例えば、受付部２３によって受け付けられた注目箇所情報である領域識別子によって識別される領域である注目箇所を特定してもよい。具体的には、領域識別子「中央」である注目箇所情報が受け付けられた場合には、特定部２４は、領域識別子「中央」で識別される領域６１を、注目箇所として特定してもよい。注目箇所情報が受け付けられる場合であって、特定対象の映像が参照映像と自己映像との両方である場合には、例えば、両映像における注目箇所は同じであってもよく、または異なっていてもよい。後者の場合には、例えば、映像ごとに注目箇所情報が受け付けられてもよい。

【0059】

また、特定部２４は、受け付けられた注目箇所情報を用いないで注目箇所を特定してもよい。この場合には、特定部２４は、例えば、特定対象の映像において動きのある箇所である注目箇所を特定してもよい。映像において動きのある箇所である注目箇所は、例えば、映像の所定の時間間隔だけ離れた２個のフレームにおいてそれぞれ特徴点を抽出し、その２個のフレームにおいて対応する特徴点の単位時間あたりの位置の変化、すなわち距離が閾値を超える箇所であってもよい。一例として、映像におけるオプティカルフローのベクトルの大きさが所定の閾値を超える箇所を、映像において動きのある箇所である注目箇所としてもよい。この閾値は、例えば、模倣対象や動作対象が注目箇所に含まれるように設定されてもよい。なお、注目箇所の形状は、例えば、矩形状、楕円形状などのようにあらかじめ決まっていてもよい。また、例えば、注目箇所の大きさもあらかじめ決まっていてもよい。この場合には、特定部２４は、例えば、特定対象の映像において動きのある箇所を含む所定の大きさの所定の形状の領域である注目箇所を特定してもよい。注目箇所情報を用いないで注目箇所が特定される場合であって、特定対象の映像が参照映像と自己映像との両方である場合には、例えば、両映像における注目箇所は異なっていてもよい。受け付けられた注目箇所情報を用いないで注目箇所を特定する場合には、映像合成装置１は、受付部２３を有していなくてもよい。

【0060】

ぼかし処理部２５は、特定対象の映像について、特定部２４によって特定された注目箇所以外の領域をぼかす処理を行う。一例として、特定部２４は、特定対象の映像と、その映像における注目箇所を示す領域とをぼかし処理部２５に渡し、ぼかし処理部２５は、その受け取った映像及び注目箇所を用いて、注目箇所以外の領域をぼかす処理を行ってもよい。ぼかし処理部２５によって行われる処理は、例えば、画像処理ソフトウェアにおけるぼかし加工処理として知られている処理であってもよい。この処理は、一例として、あるピクセルの色を、そのピクセルを中心とした所定の範囲の周囲の色の平均値に置き換える処理であってもよい。

【0061】

このように、注目箇所以外の領域についてぼかし処理が行われることによって、ユーザが、注目箇所に注目しやすいようにすることができる。例えば、ぼかし処理の行われていない参照映像と自己映像とが合成され、合成映像に両映像が含まれている場合には、模倣対象の領域に自己映像の背景が表示されたり、動作対象の領域に参照映像の背景が表示されたりすることもあり、そのような状況では、ユーザが、模倣対象や動作対象を容易に特定することが困難になることもある。それに対して、少なくとも一方の映像の注目箇所以外の領域についてぼかし処理が行われる場合には、例えば、模倣対象の領域に自己映像のぼかし処理の行われた領域が表示されたり、動作対象の領域に参照映像のぼかし処理の行われた領域が表示されたりすることによって、ユーザが、模倣対象や動作対象を容易に特定することができるようになる。

【0062】

また、本実施の形態では、参照映像や自己映像、合成映像が２次元の単数の映像である場合について主に説明したが、それらの映像は、ステレオ映像であってもよい。この場合には、映像出力部１４は、ユーザ３０が装着しているヘッドマウントディスプレイにステレオ映像である合成映像を出力してもよい。

【0063】

また、上記実施の形態では、映像合成装置１がスタンドアロンである場合について説明したが、映像合成装置１は、スタンドアロンの装置であってもよく、サーバ・クライアントシステムにおけるサーバ装置であってもよい。後者の場合には、受付部や取得部、出力部は、通信回線を介して入力を受け付けたり、情報を取得したり、情報を出力したりしてもよい。

【0064】

また、上記実施の形態において、各処理または各機能は、単一の装置または単一のシステムによって集中処理されることによって実現されてもよく、または、複数の装置または複数のシステムによって分散処理されることによって実現されてもよい。

【0065】

また、上記実施の形態において、各構成要素間で行われる情報の受け渡しは、例えば、その情報の受け渡しを行う２個の構成要素が物理的に異なるものである場合には、一方の構成要素による情報の出力と、他方の構成要素による情報の受け付けとによって行われてもよく、または、その情報の受け渡しを行う２個の構成要素が物理的に同じものである場合には、一方の構成要素に対応する処理のフェーズから、他方の構成要素に対応する処理のフェーズに移ることによって行われてもよい。

【0066】

また、上記実施の形態において、各構成要素が実行する処理に関係する情報、例えば、各構成要素が受け付けたり、取得したり、選択したり、生成したり、送信したり、受信したりした情報や、各構成要素が処理で用いる閾値や数式、アドレス等の情報等は、上記説明で明記していなくても、図示しない記録媒体において、一時的に、または長期にわたって保持されていてもよい。また、その図示しない記録媒体への情報の蓄積を、各構成要素、または、図示しない蓄積部が行ってもよい。また、その図示しない記録媒体からの情報の読み出しを、各構成要素、または、図示しない読み出し部が行ってもよい。

【0067】

また、上記実施の形態において、各構成要素等で用いられる情報、例えば、各構成要素が処理で用いる閾値やアドレス、各種の設定値等の情報がユーザによって変更されてもよい場合には、上記説明で明記していなくても、ユーザが適宜、それらの情報を変更できるようにしてもよく、または、そうでなくてもよい。それらの情報をユーザが変更可能な場合には、その変更は、例えば、ユーザからの変更指示を受け付ける図示しない受付部と、その変更指示に応じて情報を変更する図示しない変更部とによって実現されてもよい。その図示しない受付部による変更指示の受け付けは、例えば、入力デバイスからの受け付けでもよく、通信回線を介して送信された情報の受信でもよく、所定の記録媒体から読み出された情報の受け付けでもよい。

【0068】

また、上記実施の形態において、映像合成装置１に含まれる２以上の構成要素が通信デバイスや入力デバイス等を有する場合に、２以上の構成要素が物理的に単一のデバイスを有してもよく、または、別々のデバイスを有してもよい。

【0069】

また、上記実施の形態において、各構成要素は専用のハードウェアにより構成されてもよく、または、ソフトウェアにより実現可能な構成要素については、プログラムを実行することによって実現されてもよい。例えば、ハードディスクや半導体メモリ等の記録媒体に記録されたソフトウェア・プログラムをＣＰＵ等のプログラム実行部が読み出して実行することによって、各構成要素が実現され得る。その実行時に、プログラム実行部は、記憶部や記録媒体にアクセスしながらプログラムを実行してもよい。なお、上記実施の形態における映像合成装置１を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、ユーザが動作を模倣する対象である模倣対象の動作の映像である参照映像が記憶される記憶部にアクセス可能なコンピュータを、ユーザが動作させる対象である動作対象の動作の映像である自己映像を取得する映像取得部、参照映像と自己映像とを合成して合成映像を生成する合成部、合成映像を出力する映像出力部として機能させ、合成部は、参照映像と自己映像との合成の割合が時間に沿って連続的に繰り返して変化するように両映像を合成する、プログラムでもよい。

【0070】

なお、上記プログラムにおいて、上記プログラムが実現する機能には、ハードウェアでしか実現できない機能は含まれない。例えば、情報を取得する取得部や、情報を出力する出力部などにおけるモデムやインターフェースカードなどのハードウェアでしか実現できない機能は、上記プログラムが実現する機能には少なくとも含まれない。

【0071】

また、このプログラムは、サーバなどからダウンロードされることによって実行されてもよく、所定の記録媒体（例えば、ＣＤ－ＲＯＭなどの光ディスクや磁気ディスク、半導体メモリなど）に記録されたプログラムが読み出されることによって実行されてもよい。また、このプログラムは、プログラムプロダクトを構成するプログラムとして用いられてもよい。

【0072】

また、このプログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、または分散処理を行ってもよい。

【0073】

図１３は、上記プログラムを実行して、上記実施の形態による映像合成装置１を実現するコンピュータ９００の構成の一例を示す図である。図１３において、コンピュータ９００は、ＭＰＵ（Micro Processing Unit）９１１と、ブートアッププログラム等のプログラムを記憶するためのＲＯＭ９１２と、ＭＰＵ９１１に接続され、アプリケーションプログラムの命令を一時的に記憶すると共に、一時記憶空間を提供するＲＡＭ９１３と、アプリケーションプログラム、システムプログラム、及びデータを記憶する記憶部９１４と、ＬＡＮやＷＡＮ等への接続を提供する通信モジュール９１５とを備える。なお、ＭＰＵ９１１、ＲＯＭ９１２等は、カメラ９０１、表示デバイス９０２、キーボード９０３、及びタッチパッドやマウスなどのポインティングデバイス９０４と共に、バスによって相互に接続されていてもよい。また、記憶部９１４は、例えば、ハードディスクやＳＳＤ（Solid State Drive）などであってもよい。また、カメラ９０１、表示デバイス９０２、キーボード９０３、ポインティングデバイス９０４などは、例えば、外付けのデバイスであってもよく、または、コンピュータ９００に内蔵されているデバイスであってもよい。

【0074】

コンピュータ９００に、上記実施の形態による映像合成装置１の機能を実行させるプログラムは、実行の際にＲＡＭ９１３にロードされてもよい。なお、プログラムは、例えば、記憶部９１４、またはネットワークから直接、ロードされてもよい。

【0075】

プログラムは、コンピュータ９００に、上記実施の形態による映像合成装置１の機能を実行させるオペレーティングシステム（ＯＳ）、またはサードパーティプログラム等を必ずしも含んでいなくてもよい。プログラムは、制御された態様で適切な機能やモジュールを呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいてもよい。コンピュータ９００がどのように動作するのかについては周知であり、詳細な説明は省略する。

【0076】

また、以上の実施の形態は、本発明を具体的に実施するための例示であって、本発明の技術的範囲を制限するものではない。本発明の技術的範囲は、実施の形態の説明ではなく、特許請求の範囲によって示されるものであり、特許請求の範囲の文言上の範囲及び均等の意味の範囲内での変更が含まれることが意図される。

【符号の説明】

【0077】

１ 映像合成装置
１１ 記憶部
１２ 映像取得部
１３ 合成部
１４ 映像出力部
２１ 距離取得部
２２ 背景変更部
２３ 受付部
２４ 特定部
２５ 処理部

【要約】

【課題】参照映像と自己映像とが融合したように感じられることを防止でき、学習者であるユーザが模倣対象の動作に容易に追従することができる映像合成装置を提供する。
【解決手段】映像合成装置１は、ユーザが動作を模倣する対象である模倣対象の動作の映像である参照映像が記憶される記憶部１１と、ユーザが動作させる対象である動作対象の動作の映像である自己映像を取得する映像取得部１２と、参照映像と自己映像とを合成して合成映像を生成する合成部１３と、合成映像を出力する映像出力部１４と、を備え、合成部１３は、参照映像と自己映像との合成の割合が時間に沿って連続的に繰り返して変化するように両映像を合成する。
【選択図】図１

【図1】

【図2】

【図3】

【図4】

【図5A】

【図5B】

【図5C】

【図5D】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】