特許 6959462 画像表示装置、プログラム及び画像表示システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】6959462

(24)【登録日】2021年10月11日

(45)【発行日】2021年11月2日

(54)【発明の名称】画像表示装置、プログラム及び画像表示システム

(51)【国際特許分類】

   H04N 21/431 20110101AFI20211021BHJP

   H04N 21/432 20110101ALI20211021BHJP

   H04N 21/472 20110101ALI20211021BHJP

   G06F 3/0484 20130101ALI20211021BHJP

   G06F 3/0488 20130101ALI20211021BHJP

【ＦＩ】

   H04N21/431

   H04N21/432

   H04N21/472

   G06F3/0484 120

   G06F3/0488

【請求項の数】11

【全頁数】18

(21)【出願番号】特願2021-12958(P2021-12958)

(22)【出願日】2021年1月29日

(62)【分割の表示】特願2020-154707(P2020-154707)の分割

【原出願日】2020年9月15日

【審査請求日】2021年1月29日

【早期審査対象出願】

(73)【特許権者】

【識別番号】000208891

【氏名又は名称】ＫＤＤＩ株式会社

(74)【代理人】

【識別番号】100166006

【弁理士】

【氏名又は名称】泉 通博

(74)【代理人】

【識別番号】100154070

【弁理士】

【氏名又は名称】久恒 京範

(74)【代理人】

【識別番号】100153280

【弁理士】

【氏名又は名称】寺川 賢祐

(72)【発明者】

【氏名】林 隆一郎

(72)【発明者】

【氏名】鶴見 純一

(72)【発明者】

【氏名】厚地 政明

【審査官】 鈴木 順三

(56)【参考文献】

【文献】 特開２００６−２６００８２（ＪＰ，Ａ）

【文献】 特開２０１３−２０６２７３（ＪＰ，Ａ）

【文献】 特開２０１４−２１７６２７（ＪＰ，Ａ）

【文献】 国際公開第２０１９／１８８０７６（ＷＯ，Ａ１）

【文献】 欧州特許出願公開第０３２２６２２９（ＥＰ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ２１／００ − ２１／８５８

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０４８

(57)【特許請求の範囲】

【請求項1】

第１被写体の動作が撮影されて生成された第１動画像データと、前記第１被写体の動作とシンクロして動作する第２被写体が撮影されて生成されたシンクロ動画像データと、を取得するデータ取得部と、
前記シンクロ動画像データに基づき再生される前記第２被写体の動作を構成する要素を選択する操作を受け付ける操作受付部と、
複数の前記シンクロ動画像データのうち、前記シンクロ動画像データに基づき再生される前記第２被写体の動作を構成する前記要素であって前記操作により選択された当該要素が前記第１被写体の動作を構成する当該要素にシンクロするシンクロ動画像データを第２動画像データとして再生する画像再生部と、
を有する画像表示装置。

【請求項2】

前記画像再生部は、前記第１動画像データと前記第２動画像データとを同時に再生させる、
請求項１に記載の画像表示装置。

【請求項3】

前記操作受付部は、画像配信装置が提供可能な複数の動画像データから前記第１動画像データを選択する操作を受け付け、
前記データ取得部は、前記操作受付部が前記第１動画像データを選択する操作を受け付けた場合に、前記第１動画像データと、前記第１動画像データに含まれる前記第１被写体とシンクロして動作をする被写体が含まれる一以上の前記シンクロ動画像データとを前記画像配信装置から取得する、
請求項１又は２に記載の画像表示装置。

【請求項4】

前記画像再生部は、前記第１動画像データを再生し、
前記操作受付部は、前記第１動画像データが再生されている間に、前記第１動画像データにシンクロしている複数の前記シンクロ動画像データから再生する一以上のシンクロ動画像データを選択する操作を受け付け、
前記画像再生部は、前記操作受付部が受け付けた操作により選択された前記一以上のシンクロ動画像データを前記第２動画像データとして再生させる、
請求項１から３のいずれか一項に記載の画像表示装置。

【請求項5】

前記操作受付部は、前記第１動画像データが再生されている間に、前記複数のシンクロ動画像データのうち、前記一以上のシンクロ動画像データに対応する向きのスワイプ操作を受け付け、
前記画像再生部は、再生させる動画像データを、前記第１動画像データから、前記操作受付部が受け付けた前記スワイプ操作の向きに対応する前記一以上のシンクロ動画像データである前記第２動画像データに切り替える、
請求項４に記載の画像表示装置。

【請求項6】

前記操作受付部は、前記第１動画像データに含まれる第１音声データ、前記第２動画像データに含まれる第２音声データ、又は前記第１音声データ及び前記第２音声データの両方の音声データのうち、どの音声データを再生するかを指定する操作を受け付け、
前記画像再生部は、前記操作受付部が受け付けた操作により指定された音声データを再生する、
請求項１から５のいずれか一項に記載の画像表示装置。

【請求項7】

前記第１動画像データと前記第２動画像データとの類似度を示す評価値を表示部に表示させる表示制御部をさらに備える、
請求項１から６のいずれか一項に記載の画像表示装置。

【請求項8】

前記表示制御部は、前記画像再生部が前記第１動画像データ及び前記第２動画像データを再生している間に、所定の時間ごとに前記評価値を変化させる、
請求項７に記載の画像表示装置。

【請求項9】

コンピュータに、
第１被写体の動作が撮影されて生成された第１動画像データとシンクロして動作する第２被写体が撮影されて生成されたシンクロ動画像データと、を取得するステップと、
前記シンクロ動画像データに基づき再生される第２被写体の動作を構成する要素を選択する操作を受け付けるステップと、
複数の前記シンクロ動画像データのうち、前記シンクロ動画像データに基づき再生される前記第２被写体の動作を構成する前記要素であって前記操作により選択された当該要素が前記第１被写体の動作を構成する当該要素にシンクロするシンクロ動画像データを第２動画像データとして再生するステップと、
を実行させるためのプログラム。

【請求項10】

コンピュータに、
第１被写体の動作が撮影されて生成された第１動画像データシンクロして動作する第２被写体が撮影されて生成されたシンクロ動画像データと、を取得するステップと、
前記シンクロ動画像データに基づき再生される第２被写体の動作を構成する要素を選択する操作を受け付けるステップと、
複数の前記シンクロ動画像データのうち、前記シンクロ動画像データに基づき再生される前記第２被写体の動作を構成する前記要素であって前記操作により選択された当該要素が前記第１被写体の動作を構成する当該要素にシンクロするシンクロ動画像データを第２動画像データとして再生するステップと、
を実行させるためのプログラム。

【請求項11】

請求項７又は８に記載の複数の前記画像表示装置と、前記画像表示装置に前記第１動画像データ及び前記第２動画像データを提供する画像配信装置と、を備え、
前記画像配信装置は、
前記複数の画像表示装置から、前記第２動画像データに対する評価を取得する評価取得部と、
前記複数の画像表示装置から前記評価取得部が取得した複数の前記評価に基づいて、前記第２動画像データの第１評価値を算出する第１算出部と、
前記第１動画像データと前記第２動画像データとの類似度に基づく第２評価値を算出する第２算出部と、
前記第１評価値及び前記第２評価値を前記複数の画像表示装置に送信する通信部と、
を有し、
前記画像表示装置の前記表示制御部は、前記第１評価値及び前記第２評価値を前記表示部に表示する、
画像表示システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像表示装置、プログラム及び画像表示システムに関する。

【背景技術】

【0002】

従来、同一のキャラクターを複数のアングルから同時に撮像した複数の動画像を切り替えて表示するシステムが知られている（例えば、特許文献１を参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開平７−１０７４３７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

例えば、歌手や芸能人の真似をした人を写した動画像や表情又は動作が似ている人を写した動画像が配信されている。このような動画像を視聴するユーザは、本物の歌手や芸能人を写した動画像と真似をした人や似ている人を写した動画像とを見比べながら視聴したい。しかしながら、従来のシステムを用いる場合、ユーザは、真似をした人や似ている人を写した動画像を見ることができるタイミングを把握することができなかった。

【0005】

そこで、本発明はこれらの点に鑑みてなされたものであり、第１被写体を真似した人、第１被写体に似ている表情や動作をしている人、又は第１被写体と変化の状況が似ている物体等の第２被写体が含まれる動画像を見ることができるようにすることを目的とする。

【課題を解決するための手段】

【0006】

本発明の第１の態様の画像表示装置は、第１被写体の動作が撮影されて生成された第１動画像データと、前記第１被写体の動作とシンクロして動作をする第２被写体が撮影されて生成されたシンクロ動画像データである第２動画像データと、を取得するデータ取得部と、前記第１動画像データ及び前記第２動画像データの少なくともいずれかを再生する画像再生部と、前記第１動画像データを再生中に、前記第２動画像データに含まれる前記第２被写体が前記第１動画像データに含まれる前記第１被写体とシンクロする時間帯になったことを示す通知情報を表示部に表示させる表示制御部と、前記表示制御部が前記通知情報を前記表示部に表示させた後に、前記第２動画像データを前記表示部に表示させるための操作を受け付ける操作受付部と、を有し、前記画像再生部は、前記操作受付部が前記操作を受け付けた場合に、前記第２動画像データを前記表示部に表示させる。

【0007】

前記画像再生部は、前記第１動画像データと前記第２動画像データとを前記表示部に同時に表示させてもよい。

【0008】

前記操作受付部は、画像配信装置が提供可能な複数の動画像データから前記第１動画像データを選択する操作を受け付け、前記データ取得部は、前記操作受付部が前記第１動画像データを選択する操作を受け付けた場合に、前記第１動画像データと、前記第１動画像データに含まれる前記第１被写体とシンクロして動作をする被写体が含まれる一以上の前記シンクロ動画像データとを前記画像配信装置から取得してもよい。

【0009】

前記操作受付部は、前記シンクロ動画像データの種別を選択する操作を受け付け、前記画像再生部は、選択された種別に対応する前記シンクロ動画像データを前記第２動画像データとして再生してもよい。

【0010】

前記操作受付部は、前記シンクロ動画像データが前記第１動画像データに類似する要素を選択する操作を受け付け、前記画像再生部は、複数の前記シンクロ動画像データのうち、前記操作受付部が選択する操作を受け付けた前記要素がシンクロしている前記第２動画像データを再生してもよい。

【0011】

前記操作受付部は、前記第１動画像データが前記表示部に表示されている間に、前記第１動画像データにシンクロしている複数の前記シンクロ動画像データから再生する一以上のシンクロ動画像データを選択する操作を受け付け、前記画像再生部は、前記操作受付部が受け付けた操作により選択された前記一以上のシンクロ動画像データを前記第２動画像データとして前記表示部に表示させてもよい。

【0012】

前記操作受付部は、前記第１動画像データが前記表示部に表示されている間に、前記複数のシンクロ動画像データのうち、前記一以上のシンクロ動画像データに対応する向きのスワイプ操作を受け付け、前記画像再生部は、前記表示部に表示させる動画像データを、前記第１動画像データから、前記操作受付部が受け付けた前記スワイプ操作の向きに対応する前記一以上のシンクロ動画像データである前記第２動画像データに切り替えてもよい。

【0013】

前記操作受付部は、前記第１動画像データに含まれる第１音声データ、前記第２動画像データに含まれる第２音声データ、又は前記第１音声データ及び前記第２音声データの両方の音声データのうち、どの音声データを再生するかを指定する操作を受け付け、前記画像再生部は、前記操作受付部が受け付けた操作により指定された音声データを再生してもよい。

【0014】

前記表示制御部は、前記第１動画像データと前記第２動画像データとの類似度を示す評価値を前記表示部に表示させてもよい。

【0015】

前記表示制御部は、前記画像再生部が前記第１動画像データ及び前記第２動画像データを再生している間に、所定の時間ごとに前記評価値を変化させてもよい。

【0016】

本発明の第２の態様のプログラムは、コンピュータに、第１被写体の動作が撮影されて生成された第１動画像データと、前記第１被写体の動作とシンクロして動作をする第２被写体が撮影されて生成されたシンクロ動画像データである第２動画像データと、を取得するステップと、前記第１動画像データ及び前記第２動画像データの少なくともいずれかを表示部に表示させるステップと、前記第１動画像データを表示中に、前記第２動画像データに含まれる前記第２被写体が前記第１動画像データに含まれる前記第１被写体とシンクロする時間帯になったことを示す通知情報を前記表示部に表示させるステップと、前記通知情報を前記表示部に表示させた後に、前記第２動画像データを前記表示部に表示させるための操作を受け付けるステップと、前記操作を受け付けた場合に、前記第２動画像データを前記表示部に表示させるステップと、を実行させる。

【0017】

本発明の第３の態様のプログラムは、コンピュータに、第１被写体の動作が撮影されて生成された第１動画像データと、前記第１被写体の動作とシンクロして動作をする第２被写体が撮影されて生成されたシンクロ動画像データと、を取得するステップと、前記シンクロ動画像データが前記第１動画像データに類似する要素を選択する操作を受け付けるステップと、複数の前記シンクロ動画像データのうち、前記選択する操作を受け付けた前記要素がシンクロしている前記シンクロ動画像データを第２動画像データとして再生するステップと、を実行させる。

【0018】

本発明の第４の画像表示システムは、上記の複数の前記画像表示装置と、前記画像表示装置に前記第１動画像データ及び前記第２動画像データを提供する画像配信装置と、を備え、前記画像配信装置は、前記複数の画像表示装置から、前記第２動画像データに対する評価を取得する評価取得部と、前記複数の画像表示装置から前記評価取得部が取得した複数の前記評価に基づいて、前記第２動画像データの第１評価値を算出する第１算出部と、前記第１動画像データと前記第２動画像データとの類似度に基づく第２評価値を算出する第２算出部と、前記第１評価値及び前記第２評価値を前記複数の画像表示装置に送信する通信部と、を有し、前記画像表示装置の前記表示制御部は、前記第１評価値及び前記第２評価値を前記表示部に表示する。

【発明の効果】

【0019】

本発明によれば、第１被写体を真似した人、第１被写体に似ている表情や動作をしている人、又は第１被写体と変化の状況が似ている物体等の第２被写体が含まれる動画像を見ることができるようになるという効果を奏する。

【図面の簡単な説明】

【0020】

【図1】本実施形態に係る画像表示装置の概要を説明するための図である。

【図2】本実施形態に係る画像表示システムの構成を示す図である。

【図3】画像表示装置の構成を示す図である。

【図4】スワイプ操作の向きとシンクロ動画像データの概要を示す情報が表示された画面の一例を示す図である。

【図5】複数のシンクロ動画像データそれぞれが第１動画像データにシンクロしている要素を示すテーブルの一例を示す図である。

【図6】評価値が表示された画面の一例を示す図である。

【図7】画像配信装置の構成を示す図である。

【図8】画像表示装置の処理の流れを示すフローチャートである。

【発明を実施するための形態】

【0021】

［画像表示装置１の概要］
図１は、本実施形態に係る画像表示装置１の概要を説明するための図である。画像表示装置１は、動画像データを見るユーザが使用する装置であり、例えばパーソナルコンピュータ、スマートフォン又はタブレットである。画像表示装置１は、動画像データを表示するためのディスプレイを有していれば、任意の装置であってよい。

【0022】

画像表示装置１は、シンクロして動作をする第１被写体及び第２被写体が含まれている複数の動画像データを表示することができる。シンクロして動作する第１被写体と第２被写体は、声、動作又は表情の少なくとも一部が、ほぼ同じタイミングで同じように変化する。第１被写体は、例えば、歌手又は芸能人等であり、第１被写体とシンクロして動作する第２被写体は、例えば第１被写体の動作を真似して動作する人、又は第１被写体と似ている表情や動作をしている人である。本明細書においては、第１動画像データに含まれる第１被写体にシンクロして動作をする第２被写体が含まれている第２動画像データを、第１動画像データにシンクロして動作する第２動画像データという。

【0023】

画像表示装置１は、第１被写体を含む第１動画像データと、第１被写体とシンクロして動作する第２被写体を含む第２動画像データがある場合に、シンクロして動作する動画像データがあることを画像表示装置１のユーザが認識できるようにするための通知情報を表示する。画像表示装置１は、例えば、第１動画像データを再生中に、第２動画像データに含まれる第２被写体が第１動画像データに含まれる第１被写体とシンクロする時間帯になったことを示す通知情報を表示する。画像表示装置１は、通知情報を見たユーザの操作に応じて、第２動画像データを表示する。

【0024】

図１（ａ）は、画像表示装置１が第１被写体Ｃ１を含む第１動画像データを表示している状態を示しており、図１（ｂ）は、画像表示装置１が第２被写体Ｃ２を含む第２動画像データを表示している状態を示している。図１（ａ）における星印Ｍは、第１被写体Ｃ１にシンクロして動作する第２被写体Ｃ２が含まれる第２動画像データがあることを示す通知情報の一例である。第２動画像データがある場合、ユーザが例えばスワイプ操作をすることによって、画像表示装置１は、図１（ａ）の状態から図１（ｂ）の状態に切り替える。

【0025】

このように、画像表示装置１は、シンクロして動作する被写体が含まれている動画像データがあることをユーザに通知する。表示されている動画像データにシンクロした他の動画像データがある場合に、画像表示装置１は他の動画像データに切り替えて表示することができるので、ユーザは、シンクロして動作する被写体を見て楽しむことができる。このような画像表示装置１は、歌手や芸能人を真似するイベントの動画像データをユーザが視聴する際に好適である。

【0026】

なお、画像表示装置１は、図１（ｂ）に示す第２動画像データが表示されている状態でスワイプ操作が行われた場合に、図１（ａ）に示す状態に切り替えてもよい。また、画像表示装置１は、複数の動画像データを表示するための操作が行われたことに応じて、第１動画像データと第２動画像データを同時に表示してもよい。画像表示装置１は、ユーザの操作を受けることなく、シンクロして動作する他の動画像データがある時間帯になると、自動的に画面を分割して、第１動画像データとシンクロして動作する他の動画像データを同時に表示してもよい。この場合、画像表示装置１は、複数の動画像データがシンクロして動作する時間帯が終了すると、元々表示されていた第１動画像データを表示する画面に戻る。

【0027】

［画像表示システムＳの構成］
図２は、本実施形態に係る画像表示システムＳの構成を示す図である。画像表示システムＳは、複数の画像表示装置１と画像配信装置２とを有する。画像表示装置１及び画像配信装置２は、ネットワークＮを介して各種のデータを送受信する。ネットワークＮは、例えばインターネット又は携帯電話網を含む。

【0028】

画像配信装置２は、動画像データを複数の画像表示装置１に配信するサーバである。画像配信装置２は、複数の動画像データを記憶する記憶媒体を有しており、画像表示装置１から指定された動画像データを画像表示装置１に配信する。画像配信装置２は、例えば、画像表示装置１又は他の電子機器で収録された動画像データを取得して記憶媒体に記憶する。画像配信装置２は、同一の動画像データを複数の画像表示装置１に配信してもよく、異なる動画像データを複数の画像表示装置１に配信してもよい。画像配信装置２は、画像表示装置１から受信した要求に基づいて、第１動画像データにシンクロして動作する一以上の第２動画像データを検索し、検索した第２動画像データを画像表示装置１に配信する。

【0029】

［画像表示装置１の構成］
図３は、画像表示装置１の構成を示す図である。画像表示装置１は、通信部１１と、表示部１２と、操作部１３と、記憶部１４と、制御部１５と、を有する。制御部１５は、データ取得部１５１と、表示制御部１５２と、操作受付部１５３と、画像再生部１５４と、を有する。

【0030】

通信部１１は、ネットワークＮを介して画像配信装置２から動画像データを受信するための通信インターフェースである。通信部１１は、受信した動画像データをデータ取得部１５１に入力する。

【0031】

表示部１２は、例えばディスプレイである。表示部１２は、表示制御部１５２から入力された動画像データを表示する。

【0032】

操作部１３は、ユーザの操作を受けるためのデバイスであり、例えば表示部１２に重ねて設けられたタッチパネルである。操作部１３は、ユーザが操作した位置を示す座標情報を操作受付部１５３に通知する。

【0033】

記憶部１４は、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）を含む記憶媒体である。記憶部１４は、制御部１５が実行するプログラムを記憶している。記憶部１４は、通信部１１が受信した動画像データを一時的に記憶してもよい。

【0034】

制御部１５は、例えばＣＰＵ（Central Processing Unit）を有しており、記憶部１４に記憶されたプログラムを実行することにより、データ取得部１５１、表示制御部１５２、操作受付部１５３及び画像再生部１５４として機能する。

【0035】

データ取得部１５１は、第１被写体Ｃ１の動作が撮影されて生成された第１動画像データと、第１被写体Ｃ１の動作とシンクロして動作をする第２被写体Ｃ２が撮影されて生成されたシンクロ動画像データである第２動画像データと、を取得する。データ取得部１５１は、取得した第１動画像データ及び第２動画像データを画像再生部１５４に入力する。データ取得部１５１は、取得した第１動画像データ及び第２動画像データを記憶部１４に保存してもよい。

【0036】

データ取得部１５１は、例えば、後述するように操作受付部１５３が第１動画像データを選択する操作を受け付けた場合に、第１動画像データと、第１動画像データに含まれる第１被写体とシンクロして動作をする被写体が含まれる一以上のシンクロ動画像データとを画像配信装置２から取得してもよい。データ取得部１５１は、操作受付部１５３から通知された第１動画像データを識別するための識別情報と、シンクロ動画像データを要求する情報とを画像配信装置２に送信することにより、第１動画像データ及び第２動画像データを取得する。シンクロ動画像データを要求する情報は、画像配信装置２が記憶している多数の動画像データから、第１動画像データとシンクロしている一以上の第２動画像データを検索するように要求する情報である。

【0037】

表示制御部１５２は、各種の情報又は動画像データを含む画面データを作成し、各種の情報又は動画像データを表示部１２に表示させる。表示制御部１５２は、第１被写体Ｃ１を含む第１動画像データと、被写体Ｃ１とシンクロして動作する被写体Ｃ２が含まれた第２動画像データを再生可能であることを示す通知情報を表示部１２に表示させる。表示制御部１５２は、例えば、第１動画像データに関連付けて、第１動画像データに関連する動画像データが存在する時間帯を示す情報が画像配信装置２から送信されている場合に、記憶部１４に記憶された当該情報を参照することにより通知情報を表示部１２に表示させる。

【0038】

一例として、表示制御部１５２は、画像再生部１５４が第１動画像データを再生中に、第２動画像データに含まれる第２被写体Ｃ２が第１動画像データに含まれる第１被写体Ｃ１とシンクロする時間帯になったことを示す通知情報を表示部１２に表示させる。通知情報は、図１（ａ）に示したような画像であってもよく、「シンクロする画像があります」といったテキスト情報であってもよく、第１動画像データの再生が可能な時間帯を示すスライドバー画像に重ねられた、第２動画像データを再生可能な時間帯を示す画像であってもよい。通知情報は、シンクロしている動画像データを表示させるためのスワイプ操作を行うべき向きを示す矢印の画像であってもよい。表示制御部１５２がこのような通知情報を表示部１２に表示させることで、ユーザが、被写体Ｃ１にシンクロして動作する被写体Ｃ２が写った第２動画像データがあること又は第２動画像データが第１動画像データにシンクロしている時間帯であることを把握できる。

【0039】

操作受付部１５３は、操作部１３を介して、ユーザによる各種の操作を受け付ける。操作受付部１５３は、例えば、画像配信装置２が提供可能な複数の動画像データから第１動画像データを選択する操作を受け付ける。操作受付部１５３は、表示制御部１５２を介して、シンクロして動作する被写体が含まれる他の動画像データがある複数の動画像データの一覧を表示部１２に表示させ、ユーザが選択した動画像データを、表示部１２に表示させる第１動画像データとして選択する操作を受け付ける。操作受付部１５３は、選択された第１動画像データの識別情報をデータ取得部１５１に通知する。

【0040】

また、操作受付部１５３は、表示部１２に表示させる動画像データを切り替えるための切替操作を受け付ける。一例として、操作受付部１５３は、表示部１２に表示された動画像データ上で行われるスワイプ操作を切替操作として受け付ける。操作受付部１５３は、表示制御部１５２が通知情報を表示部１２に表示させた後に、第２動画像データを表示部１２に表示させるための操作を切替操作として受け付ける。操作受付部１５３は、切替操作が行われたことを検出した場合、切替操作が行われたことを画像再生部１５４に通知する。

【0041】

なお、切替操作は、例えば図１を参照しながら説明したスワイプ操作であるが、表示を切り替えるための操作の方法は任意であり、表示部１２に表示された操作用の画像にタッチする操作のような他の方法であってもよい。

【0042】

画像再生部１５４は、第１動画像データ及び第２動画像データの少なくともいずれかを再生する。具体的には、画像再生部１５４は、所定のフォーマットで符号化された第１動画像データ及び第２動画像データを復号することにより再生するための復号器（デコーダ）を有する。画像再生部１５４は、再生中の動画像データを、表示制御部１５２を介して表示部１２に表示させる。画像再生部１５４は、第１動画像データ及び第２動画像データをシンクロさせて再生している間に、再生中の第１動画像データ及び第２動画像データのうち、どの動画像データを表示部１２に表示させるかを表示制御部１５２に指示してもよい。

【0043】

画像再生部１５４は、第１動画像データを表示部１２に表示させている間に操作受付部１５３が切替操作を受け付けた場合に、第２動画像データを再生し、再生した第２動画像データを表示部１２に表示させるように表示制御部１５２に指示する。具体的には、図１（ａ）の状態で操作受付部１５３が所定の向きのスワイプ操作を受け付けた場合に、画像再生部１５４は、図１（ｂ）の状態に遷移させて、再生した第２動画像データを表示部１２に表示させる。画像再生部１５４は、切替操作が行われたタイミングで第２動画像データの再生を開始してもよく、切替操作が行われる前から第２動画像データを再生しており、切替操作が行われた時点で表示制御部１５２に第２動画像データを表示させるようにしてもよい。

【0044】

第２動画像データは、複数存在してもよく、画像再生部１５４が再生する第２動画像データをスワイプなどの切替操作によって切り替えることが可能であってもよい。例えば、第１動画像データの再生中に、第１動画像データにシンクロする複数の第２動画像データがある場合、表示制御部１５２は、複数の第２動画像データから選択した一つの第２動画像データを第１動画像データの隣に配置する。この場合、ユーザは、１回のスワイプ操作によって表示する動画像データを切り替えたり、第１動画像データと一つの第２動画像データを並べて表示したりすることができる。第２動画像データの表示が終了すると、表示制御部１５２は第１動画像データのみを表示する状態に切り替わり、その後、第１動画像データにシンクロする異なる第２動画像データがあると判定されると、新たな第２動画像データを第１動画像データの隣に配置し、同様の操作で表示切替を行う。

【0045】

表示制御部１５２は、第１動画像データの再生中に、同じ時間帯に異なる複数の第２動画像データがある場合、シンクロ度が近いほど、第１動画像データに近い場所に第２動画像データを配置する。この場合、ユーザは、同じ方向に複数回スワイプ操作を行うことによって表示させる第２動画像データを切り替えることができる。表示制御部１５２は、複数回のスワイプ操作が行われた後に、他の第２動画像データに切り替わることなく、直接元の第１動画像データにスキップして戻る操作を受け付けるためのアイコン画像を表示してもよい。

【0046】

なお、第１動画像データにシンクロして動作する複数の第２動画像データがある場合、表示制御部１５２は、例えば第１動画像データの両側に複数の第２動画像データを配置して、ユーザが左右のどちらの向きにもスワイプ操作を行えるようにする。表示制御部１５２は、第１動画像データの片側のみに複数の第２動画像データを配置して、複数の第２動画像データの数を示す数字を表示してもよい。ユーザは、同じ向きへのスワイプ操作を繰り返すことで、複数の第２動画像データを順次表示させることができる。

【0047】

［動画像データの再生方法］
操作受付部１５３及び画像再生部１５４は、連動して動作することにより、ユーザに適した第２動画像データを再生することができる。以下、画像再生部１５４がユーザに適した第２動画像データを再生するための各種の方法を説明する。

【0048】

操作受付部１５３は、例えば、第１動画像データが表示部１２に表示されている間に、第１動画像データにシンクロしている複数のシンクロ動画像データから、再生する一以上のシンクロ動画像データを選択する操作を受け付ける。一例として、操作受付部１５３は、表示部１２に第１動画像データが表示されている間に、第１動画像データに含まれる第１被写体Ｃ１の声、動作又は表情の少なくともいずれかがシンクロしている被写体が含まれる複数のシンクロ動画像データの概要を示す情報の一覧を表示部１２に表示させる。シンクロ動画像データの概要を示す情報は、例えばサムネイル画像又はシンクロして動作する第２動画像データがある時間帯を示す画像である。

【0049】

操作受付部１５３は、ユーザにより選択された一以上のシンクロ動画像データの識別情報を画像再生部１５４に通知する。画像再生部１５４は、通知された識別情報に対応するシンクロ動画像データを再生することにより、当該シンクロ動画像データを表示部１２に表示させる。

【0050】

操作受付部１５３は、第１動画像データが表示部１２に表示されている間に、複数のシンクロ動画像データのうち、一以上のシンクロ動画像データに対応する向きのスワイプ操作を受け付けてもよい。この場合、操作受付部１５３は、スワイプ操作の向きとシンクロ動画像データの種別や概要を示す情報とを表示部１２に表示させてもよい。

【0051】

図４は、スワイプ操作の向きとシンクロ動画像データの概要を示す情報が表示された画面の一例を示す図である。図４に示す画面の左上には、動画像データＤ１の他に、動画像データＤ２、動画像データＤ３及び動画像データＤ４を再生可能であることを示す画像が表示されている。

【0052】

ユーザは、動画像データＤ１が表示された状態で左向きにスワイプ操作をすることにより、動画像データＤ２に切り替えることができる。ユーザは、動画像データＤ２が表示された状態で上向きにスワイプ操作をすることにより、動画像データＤ３に切り替えることができる。ユーザは、動画像データＤ３が表示された状態で右向きにスワイプ操作をすることにより、動画像データＤ４に切り替えることができる。ユーザは、動画像データＤ１が表示された状態で左斜め上の向きにスワイプ操作をすることにより、動画像データＤ３に切り替えることもできる。

【0053】

画像再生部１５４は、表示部１２に表示させる動画像データを、第１動画像データから、操作受付部１５３が受け付けたスワイプ操作の向きに対応する一以上のシンクロ動画像データである第２動画像データに切り替える。画像再生部１５４は、操作受付部１５３が受け付けた操作により選択された一以上のシンクロ動画像データを第２動画像データとして表示部１２に表示させる。

【0054】

図４に示す例において、画像再生部１５４は、右向きのスワイプ操作を操作受付部１５３が受け付けた場合に、第１動画像データである動画像データＤ１が表示部１２に表示されないようにするとともに、第２被写体Ｃ２が含まれている動画像データＤ２を第２動画像データとして表示部１２に表示させる。画像再生部１５４は、動画像データＤ２が表示部１２に表示された状態で下向きのスワイプ操作を操作受付部１５３が受け付けた場合に、動画像データＤ２が表示部１２に表示されないようにするとともに、第３被写体が含まれている動画像データＤ３を表示部１２に表示させる。操作受付部１５３及び画像再生部１５４がこのように動作することで、第１動画像データを見ているユーザがシンクロ動画像データを見たいと考えたときに、画像再生部１５４は、ユーザが見たいシンクロ動画像データを表示部１２に表示させることができる。

【0055】

図４に示す例において、操作受付部１５３は、第１動画像データの再生中にＤ２〜Ｄ４のいずれかの第２動画像データがシンクロした時間帯になると、シンクロしている状態の第２動画像データに対応するアイコンの表示態様（色又は模様等）を変えて、ユーザが、シンクロ動作している第２動画像データを認識できるようにしてもよい。この場合、操作受付部１５３は、表示態様を変えたアイコンへのタッチ操作又はスワイプ操作によって第２動画像データを表示させるように画像再生部１５４に指示する。

【0056】

なお、図４においては、第１動画像データである動画像データＤ１のアイコンが左上に配置されているが、操作受付部１５３は、動画像データＤ１のアイコンを複数の第２動画像データのアイコンの中心位置に配置するようにしてもよい。すなわち、操作受付部１５３は、複数の第２動画像データのアイコンを、第１動画像データのアイコンの周囲に配置してもよい。

【0057】

操作受付部１５３は、シンクロ動画像データの種別を選択する操作を受け付けてもよい。シンクロ動画像データの種別としては、例えば、第１動画像データのパロディであるか、第１動画像データのベースになったオリジナルであるか、第１動画像データと同一のシリーズであるかといった種別があげられる。シンクロ動画像データの種別は、動画像データの作成者、撮影監督、登場する俳優又は歌手であってもよい。

【0058】

この場合、画像再生部１５４は、ユーザにより選択された種別に対応するシンクロ動画像データを第２動画像データとして再生する。画像再生部１５４が、ユーザにより選択された種別の第２動画像データを再生することで、多数のシンクロ動画像データが存在する場合に、ユーザは視聴したい動画像データを容易に視聴することが可能になる。

【0059】

操作受付部１５３は、シンクロ動画像データが第１動画像データに類似する要素を選択する操作を受け付けてもよい。類似する要素は、被写体の声、動作、又は表情である。操作受付部１５３は、選択された要素を画像再生部１５４に通知する。操作受付部１５３は、一つの要素の選択を受け付けてもよく、複数の要素の選択を受け付けてもよい。また、操作受付部１５３は、それぞれの要素の優先度を指定する操作をさらに受け付けてもよい。例えば、ユーザが、第１被写体Ｃ１と声がそっくりで、動作も似ている第２被写体Ｃ２が写っている第２動画像データを見たいという場合に、操作受付部１５３は、第１優先度が動作であり、第２優先度が声であることを指定する操作を受け付ける。

【0060】

画像再生部１５４は、再生する対象になっている第１動画像データに対応する複数のシンクロ動画像データのうち、操作受付部１５３が選択する操作を受け付けた要素がシンクロしている第２動画像データを再生する。画像再生部１５４は、例えば、複数のシンクロ動画像データそれぞれが第１動画像データにシンクロしている要素を示すテーブルを参照することにより、再生する第２動画像データを選択する。

【0061】

図５は、複数のシンクロ動画像データそれぞれが第１動画像データにシンクロしている要素を示すテーブルの一例を示す図である。当該テーブルは、例えば記憶部１４に記憶されている。図５に示すテーブルにおいては、シンクロ動画像データを識別するための動画像データＩＤと、声、動作、表情のシンクロ度合いを示す数値とが関連付けられている。シンクロ度合いを示す数値が大きいほど、第１動画像データにおける要素の変化内容に近い。図５に示す例の場合、動画像データＩＤがＤ２の動画像データに含まれている被写体の声が、他の動画像データに含まれている被写体の声よりも、第１動画像データに含まれている被写体の声に近い。

【0062】

画像再生部１５４は、操作受付部１５３から通知された要素のシンクロ度合いが最も大きい動画像データを選択する。画像再生部１５４は、例えば操作受付部１５３から通知された要素が「声」である場合、動画像データＩＤがＤ２の動画像データを第２動画像データとして選択する。画像再生部１５４は、各要素の優先度の通知を操作受付部１５３から受けた場合、各要素の優先度に最も近いシンクロ度合いの順序を示す動画像データを選択する。例えば、ユーザが、第１優先度が動作であり、第２優先度が声であることを指定した場合、画像再生部１５４は、動画像データＩＤがＤ３の動画像データを第２動画像データとして選択する。操作受付部１５３及び画像再生部１５４がこのように動作することで、ユーザが、見たい内容のシンクロ動画像データを見ることが可能になる。

【0063】

［複数の動画像データの同時表示］
以上の説明においては、画像再生部１５４が、第１動画像データと第２動画像データとを切り替えて表示部１２に表示させる場合を例示したが、画像再生部１５４は、複数の動画像データ（例えば第１動画像データと第２動画像データ）を同時に表示部１２に表示させてもよい。この場合、複数の動画像データが表示されている間に複数の音声が再生されてしまうと、ユーザが音声を聞きづらい。

【0064】

そこで、操作受付部１５３は、第１動画像データに含まれる第１音声データ、第２動画像データに含まれる第２音声データ、又は第１音声データ及び第２音声データの両方の音声データのうち、どの音声データを再生するかを指定する操作を受け付けてもよい。操作受付部１５３は、例えば表示部１２に表示されている複数の動画像データのうち一つの動画像データにタッチした操作を、どの音声データを再生するかを指定する操作として受け付ける。操作受付部１５３は、受け付けた操作が示す動画像データを識別するための情報を画像再生部１５４に通知する。

【0065】

画像再生部１５４は、操作受付部１５３が受け付けた操作により指定された音声データを再生する。画像再生部１５４は、第１動画像データ及び第２動画像データを表示部１２に表示させている状態で第１音声データが選択された場合、第１動画像データ及び第２動画像データを表示部１２に表示させながら、第１動画像データに含まれる被写体の音声を再生する。画像再生部１５４は、第１動画像データ及び第２動画像データを表示部１２に表示させている状態で第１音声データ及び第２音声データが選択された場合、第１動画像データに含まれる被写体の音声と、第２動画像データに含まれる被写体の音声とを同時に再生する。

【0066】

［評価情報の表示］
シンクロして動作する被写体が含まれる動画像データを見るユーザは、シンクロ度合いを評価したり、シンクロ度合いを客観的な数値として確認したりしたいということが想定される。そこで、表示制御部１５２は、第１動画像データと第２動画像データとの類似度を示す評価値を表示部１２に表示させてもよい。類似度は、例えば、被写体の声、動作又は表情の少なくともいずれかの類似度により決定される。表示制御部１５２は、画像再生部１５４が第１動画像データ及び第２動画像データを再生している間に、所定の時間ごとに評価値を変化させてもよい。所定の時間は、評価値の算出に要する時間であってもよく、ユーザにより設定された時間であってもよい。

【0067】

表示制御部１５２は、例えば、複数の動画像データにおける被写体の輪郭を抽出した複数の動画像データを作成し、作成した複数の動画像データの相関値に基づく値を評価値として表示させる。表示制御部１５２は、被写体の顔の部分を抽出した複数の動画像データの相関値に基づく評価値を表示させてもよい。表示制御部１５２は、複数の動画像データに対応する複数の音声データの相関値に基づく評価値を表示させてもよい。

【0068】

図６は、評価値が表示された画面の一例を示す図である。図６においては、第１動画像データと第２動画像データとが同時に表示された状態で、第２動画像データが表示されている領域に評価値が表示されている。

【0069】

図６においては、コンピュータが算出した評価値であるＡＩ判定シンクロ率と、ユーザにより判定された類似度に基づく評価値であるユーザ判定シンクロ率とが表示されている。画像表示装置１は、例えば、データ取得部１５１を介して画像配信装置２からこれらの評価値を取得する。

【0070】

［画像配信装置２の構成］
図７は、画像配信装置２の構成を示す図である。画像配信装置２は、通信部２１と、記憶部２２と、制御部２３とを有する。制御部２３は、評価取得部２３１と、第１算出部２３２と、第２算出部２３３とを有する。

【0071】

通信部２１は、ネットワークＮを介して通信部２１との間でデータを送受信するための通信インターフェースを含む。通信部２１は、例えば、動画像データを画像表示装置１に送信したり、第１算出部２３２が算出した第１評価値及び第２算出部２３３が算出した第２評価値を複数の画像表示装置１に送信したりする。

【0072】

記憶部２２は、例えばＲＯＭ、ＲＡＭ及びハードディスクを有しており、複数の動画像データを記憶している。また、記憶部２２は、制御部２３が実行するプログラムを記憶している。

【0073】

制御部２３は、例えばＣＰＵを含んでおり、記憶部２２に記憶されたプログラムを実行することにより、評価取得部２３１、第１算出部２３２及び第２算出部２３３として機能する。

【0074】

評価取得部２３１は、複数の画像表示装置１から、第２動画像データに対するユーザの評価を取得する。評価取得部２３１は、例えば、第１動画像データの識別情報及び第２動画像データの識別情報に関連付けて評価を取得する。ユーザの評価は、例えばユーザが感じた類似度の一例であるシンクロ率を示す数値（例えば５段階の数値）により表される。ユーザは、例えば、第２動画像データを視聴している間に、画像表示装置１の画面上で第１動画像データとのシンクロ率の評価結果を入力できる。評価取得部２３１は、取得した評価の内容を第１算出部２３２に通知する。

【0075】

第１算出部２３２は、数の画像表示装置から評価取得部２３１が取得した複数の評価に基づいて、第２動画像データの第１評価値を算出する。第１算出部２３２は、例えば、シンクロ率により表される複数の評価の平均値を算出することにより、ユーザ判定シンクロ率を算出する。

【0076】

第２算出部２３３は、第１動画像データと第２動画像データとの類似度に基づく第２評価値を算出する。第２算出部２３３は、例えばシンクロしている動画像データとして記憶部２２に記憶されている第１動画像データと第２動画像データの画像又は音声の相関値を算出することにより、第２評価値を算出する。第２算出部２３３は、複数の動画像データとシンクロ率とを教師データとして学習したモデルに第１動画像データ及び第２動画像データを入力することにより第２評価値を算出してもよい。第１算出部２３２及び第２算出部２３３は、声、動作、表情といった被写体の動作を構成する要素別に第１評価値及び第２評価値を算出してもよい。

【0077】

このように、画像配信装置２が、第１評価値及び第２評価値を算出し、画像表示装置１が第１評価値及び第２評価値を表示することで、ユーザは、他のユーザが感じている類似度とコンピュータにより算出された客観的な類似度とを比較しながら動画像データを見て楽しむことができる。

【0078】

［画像表示装置１の処理の流れ］
図８は、画像表示装置１の処理の流れを示すフローチャートである。図８に示すフローチャートは、画像表示装置１を使用するユーザが第１動画像データを検索した時点から開始している。

【0079】

データ取得部１５１は、第１動画像データを画像配信装置２から取得し（Ｓ１１）、画像再生部１５４の指示により表示制御部１５２が第１動画像データを表示部１２に表示させる（Ｓ１２）。表示部１２が第１動画像データを表示している間、操作受付部１５３は、第２動画像データを表示するための切替操作が行われたか否かを監視する（Ｓ１３）。切替操作が行われた場合（Ｓ１３においてＹＥＳ）、画像再生部１５４は、シンクロしている要素の指定があったか否かを判定する（Ｓ１４）。

【0080】

画像再生部１５４は、シンクロしている要素の指定があったと判定した場合（Ｓ１４においてＹＥＳ）、例えば図５に示したテーブルを参照することにより、指定された要素が第１動画像データ内の被写体にシンクロしている被写体が含まれる第２動画像データを選択する（Ｓ１５）。

【0081】

一方、画像再生部１５４は、シンクロしている要素の指定がなかったと判定した場合（Ｓ１４においてＮＯ）、表示制御部１５２を介して、複数のシンクロ動画像データから第２動画像データを選択するための画面を表示部１２に表示させる（Ｓ１６）。画像再生部１５４は、ユーザにより選択されたシンクロ動画像データを第２動画像データとして選択する（Ｓ１７）。画像再生部１５４は、Ｓ１５又はＳ１７で選択した第２動画像データを表示部１２に表示させる（Ｓ１８）。

【0082】

画像再生部１５４は、第２動画像データを表示部１２に表示させている間に、画像配信装置２から評価結果を取得して、図６に示したシンクロ率のような評価結果を表示部１２に表示させる（Ｓ１９）。画像表示装置１は、表示制御部１５２が終了操作を受け付けるまで（Ｓ２０においてＮＯの間）、Ｓ１２からＳ１９までの動作を繰り返す。

【0083】

［変形例］
以上の説明においては、動画像データに人が写っている場合を例示したが、動画像データに写っている被写体は人に限らず、建物、街並み、自動車、動植物等の物体であってもよい。例えば第１動画像データにＡ地点の街並みが含まれている場合、第２動画像データは、Ａ地点の街並みに似たＢ地点の街並みを含む動画像データである。画像表示装置１のユーザは、このように、任意の動画像データに類似する他の動画像データを検索して、比較しながら楽しむことができる。

【0084】

［画像表示装置１による効果］
以上説明したように、表示制御部１５２は、第１動画像データを再生中に、第２動画像データに含まれる第２被写体が第１動画像データに含まれる第１被写体とシンクロする時間帯になったことを示す通知情報を表示部１２に表示させる。そして、画像再生部１５４は、表示制御部１５２が通知情報を表示部１２に表示させた後に、第２動画像データを表示部１２に表示させるための操作を受け付ける。画像表示装置１がこのように構成されていることで、第１被写体を真似した第２被写体が含まれる動画像を見ることができるタイミングをユーザが把握して、このような動画像を見逃すことなく楽しむことができるようになる。

【0085】

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の全部又は一部は、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を併せ持つ。

【符号の説明】

【0086】

１ 画像表示装置
２ 画像配信装置
１１ 通信部
１２ 表示部
１３ 操作部
１４ 記憶部
１５ 制御部
２１ 通信部
２２ 記憶部
２３ 制御部
１５１ データ取得部
１５２ 表示制御部
１５３ 操作受付部
１５４ 画像再生部
２３１ 評価取得部
２３２ 第１算出部
２３３ 第２算出部

【要約】

【課題】第１被写体を真似した人、第１被写体に似ている表情や動作をしている人、又は第１被写体と変化の状況が似ている物体等の第２被写体が含まれる動画像を見ることができるようにする。
【解決手段】第１被写体の動作が撮影されて生成された第１動画像データと、第１被写体の動作とシンクロして動作をする第２被写体が撮影されて生成されたシンクロ動画像データと、を取得するデータ取得部１５１と、シンクロ動画像データの種別を選択する操作を受け付ける操作受付部１５３と、操作受付部１５３が操作を受け付けた場合に、選択された種別に対応するシンクロ動画像データを第２動画像データとして再生する画像再生部１５４と、を有する。
【選択図】図３

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】