特開 2024-171486 情報処理装置、情報処理方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024171486

(43)【公開日】2024-12-12

(54)【発明の名称】情報処理装置、情報処理方法、及びプログラム

(51)【国際特許分類】

   H04N 7/18 20060101AFI20241205BHJP

   H04N 5/92 20060101ALI20241205BHJP

   H04N 5/77 20060101ALI20241205BHJP

【ＦＩ】

H04N7/18 V

H04N7/18 K

H04N5/92 010

H04N5/77

【審査請求】未請求

【請求項の数】13

【出願形態】ＯＬ

(21)【出願番号】P 2023088520

(22)【出願日】2023-05-30

(71)【出願人】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100126240

【弁理士】

【氏名又は名称】阿部 琢磨

(74)【代理人】

【識別番号】100223941

【弁理士】

【氏名又は名称】高橋 佳子

(74)【代理人】

【識別番号】100159695

【弁理士】

【氏名又は名称】中辻 七朗

(74)【代理人】

【識別番号】100172476

【弁理士】

【氏名又は名称】冨田 一史

(74)【代理人】

【識別番号】100126974

【弁理士】

【氏名又は名称】大朋 靖尚

(72)【発明者】

【氏名】水野 祥吾

【テーマコード（参考）】

5C054

【Ｆターム（参考）】

5C054CA04

5C054CC02

5C054FC12

5C054FD02

5C054FD03

5C054FD07

5C054FE16

5C054FE18

5C054GB02

5C054HA16

5C054HA17

(57)【要約】

【課題】 プレビュー画像として複数の画像が設定されている場合に、ユーザに適した画像をプレビュー画像として提供する
【解決手段】 画像生成装置１２０は、仮想視点画像を生成可能なシーンに対応づけられた複数のプレビュー画像のうちいずれか１つを複数の装置に出力する出力手段と、前記複数の装置が表示する制御を行う画像を、前記出力手段により出力された前記プレビュー画像から前記仮想視点画像に遷移する入力を示す情報を前記複数の装置から取得する取得手段と、前記複数の装置から取得される前記入力を示す情報に基づいて、前記複数のプレビュー画像それぞれにおいて前記複数の装置で前記遷移した回数を記録する記録手段と、前記複数のプレビュー画像のうち、前記複数のプレビュー画像それぞれにおける前記遷移した回数に基づいて、次に出力するプレビュー画像を決定する決定手段とを有する。
【選択図】 図５

【特許請求の範囲】

【請求項1】

仮想視点画像を生成可能なシーンに対応づけられた複数のプレビュー画像のうちいずれか１つを複数の装置に出力する出力手段と、
前記複数の装置が表示する制御を行う画像を、前記出力手段により出力された前記プレビュー画像から前記仮想視点画像に遷移する入力を示す情報を前記複数の装置から取得する取得手段と、
前記複数の装置から取得される前記入力を示す情報に基づいて、前記複数のプレビュー画像それぞれにおいて前記複数の装置で前記遷移した回数を記録する記録手段と、
前記複数のプレビュー画像のうち、前記複数のプレビュー画像それぞれにおける前記遷移した回数に基づいて、前記出力手段にて出力するプレビュー画像を決定する決定手段と
を有することを特徴とする情報処理装置。

【請求項2】

前記プレビュー画像は、前記仮想視点画像と異なる仮想視点画像であることを特徴とする請求項１に記載の情報処理装置。

【請求項3】

前記プレビュー画像は、前記仮想視点画像を生成可能なシーンを示す画像であることを特徴とする請求項１に記載の情報処理装置。

【請求項4】

前記決定手段は、前記複数のプレビュー画像のうち、前記複数のプレビュー画像それぞれにおける前記遷移した回数が多い前記プレビュー画像を、次に出力するプレビュー画像として決定することを特徴とする請求項１に記載の情報処理装置。

【請求項5】

前記決定手段は、前記複数のプレビュー画像のうち、前記複数のプレビュー画像それぞれにおける前記遷移した回数が最も多い前記プレビュー画像を、次に出力するプレビュー画像として決定することを特徴とする請求項４に記載の情報処理装置。

【請求項6】

前記取得手段は、前記複数の装置を操作する複数のユーザを示す複数のユーザ情報を取得し、
前記記録手段は、前記複数のユーザ情報と、前記複数のユーザが視聴した前記プレビュー画像とを対応付けた視聴履歴情報を記録し、
前記決定手段は、前記視聴履歴情報と前記複数のプレビュー画像それぞれにおける前記遷移した回数に基づいて、次に出力するプレビュー画像を決定することを特徴とする請求項１に記載の情報処理装置。

【請求項7】

前記決定手段は、前記装置を操作するユーザが視聴していない前記複数のプレビュー画像のうち、前記プレビュー画像それぞれにおける前記遷移した回数が多い前記プレビュー画像を、次に出力するプレビュー画像として決定することを特徴とする請求項６に記載の情報処理装置。

【請求項8】

更に、前記装置から前記遷移する入力を示す情報を取得した場合に、前記仮想視点画像を生成する生成手段と、
前記出力手段は、前記仮想視点画像を出力することを特徴とする請求項１に記載の情報処理装置。

【請求項9】

前記取得手段は、前記仮想視点画像を生成可能なシーンに対応づけられた３Ｄモデルと、ユーザ操作に基づいて入力される仮想視点の位置および仮想視点からの視線方向を示す視点情報とを取得し、
前記生成手段は、前記３Ｄモデルと前記視点情報とに基づいて前記仮想視点画像を生成することを特徴とする請求項８に記載の情報処理装置。

【請求項10】

前記３Ｄモデルは、複数の撮像装置の撮像により取得される複数の撮像画像に基づいて生成されることを特徴とする請求項９に記載の情報処理装置。

【請求項11】

前記決定手段は、前記出力手段が前記プレビュー画像を出力している際に、次に出力する前記プレビュー画像を決定することを特徴とする請求項１に記載の情報処理装置。

【請求項12】

仮想視点画像を生成可能なシーンに対応づけられた複数のプレビュー画像のうちいずれか１つを複数の装置に出力する出力工程と、
前記複数の装置が表示する制御を行う画像を、前記出力工程により出力された前記プレビュー画像から前記仮想視点画像に遷移する入力を示す情報を前記複数の装置から取得する取得工程と、
前記複数の装置から取得される前記入力を示す情報に基づいて、前記複数のプレビュー画像それぞれにおいて前記複数の装置で前記遷移した回数を記録する記録工程と、
前記複数のプレビュー画像のうち、前記複数のプレビュー画像それぞれにおける前記遷移した回数に基づいて、次に出力するプレビュー画像を決定する決定工程と
を有することを特徴とする情報処理方法。

【請求項13】

コンピュータを請求項１乃至１１のいずれか１項に記載の情報処理装置の各手段として動作させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、デジタルコンテンツのプレビュー画像に関する。

【背景技術】

【0002】

複数の撮像装置を異なる位置に設置して同期撮像し、当該撮像により得られた複数の撮像画像を用いて、ユーザの操作で指定された仮想視点からの見えを表す仮想視点画像を生成する技術がある。仮想視点画像の生成に際してユーザは、例えば所望の被写体を捉える仮想視点に対応した生成済みの仮想視点画像を参照しながら、新たな仮想視点の位置及び仮想視点からの視線方向を、ジョイスティック等を操作して時系列で連続的に設定する。

【0003】

特許文献１には、複数の撮像装置を異なる位置に設置して被写体を撮像し、撮像により得られた撮像画像から生成される被写体の３Ｄモデルを用いて、三次元空間上で被写体を撮像した仮想視点画像を生成する方法について記載されている。

【0004】

一方、生成される被写体の３Ｄモデルをデジタルコンテンツとして配信し、ユーザが仮想視点を操作し、生成される仮想視点画像を視聴することが想定される。その際、ユーザの視聴意欲を向上させるために、デジタルコンテンツのプレビュー画像を表示することが考えられるが、仮想視点画像は任意の位置に仮想視点を設定できるため、複数の仮想視点画像がプレビュー画像として生成されることが想定される。なお、特許文献１に記載されている被写体の３Ｄモデルの生成方法では、撮像画像を用いて被写体の３Ｄモデルを生成する。そのため、３Ｄモデルをデジタルコンテンツとして配信する際のプレビュー画像に撮像画像を用いることも考えられる。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１５－４５９２０号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、プレビュー画像として複数の画像を順に表示する場合、ユーザの趣向に合わない画像を表示してしまい、視聴意欲を向上できない虞がある。例えば、複数のデジタルコンテンツが一覧表示されている場合、ユーザはサムネイル画像やプレビュー画像を参考に視聴するデジタルコンテンツを選択する。その際、ユーザの趣向に合わない画像が表示されている場合、そのデジタルコンテンツはユーザに選択されない虞がある。

【0007】

本開示は上記の課題に鑑みてなされたものであり、プレビュー画像として複数の画像が設定されている場合に、ユーザに適した画像をプレビュー画像として提供することを目的とする。

【課題を解決するための手段】

【0008】

上述の課題を解決するために、本発明の情報処理装置は、例えば以下の構成を有する。すなわち、仮想視点画像を生成可能なシーンに対応づけられた複数のプレビュー画像のうちいずれか１つを複数の装置に出力する出力手段と、前記複数の装置が表示する制御を行う画像を、前記出力手段により出力された前記プレビュー画像から前記仮想視点画像に遷移する入力を示す情報を前記複数の装置から取得する取得手段と、前記複数の装置から取得される前記入力を示す情報に基づいて、前記複数のプレビュー画像それぞれにおいて前記複数の装置で前記遷移した回数を記録する記録手段と、前記複数のプレビュー画像のうち、前記複数のプレビュー画像それぞれにおける前記遷移した回数に基づいて、次に出力するプレビュー画像を決定する決定手段とを有する。

【発明の効果】

【0009】

本開示によれば、プレビュー画像として複数の画像が設定されている場合に、ユーザに適した画像をプレビュー画像として提供することができる。

【図面の簡単な説明】

【0010】

【図1】画像処理システム１００を示す図である。

【図2】撮像装置１１０の設置例を示す図である。

【図3】端末装置１３０の画面表示例を示す図である。

【図4】画像生成装置１２０のハードウェア構成を示す図である。

【図5】実施形態１における画像生成装置１２０の機能構成を示す図である。

【図6】実施形態１におけるプレビュー画像管理情報の例である。

【図7】実施形態１におけるユーザ管理情報の例である。

【図8】実施形態１における画像生成装置１２０が被写体の３Ｄモデルを生成する処理を示すフローチャートである。

【図9】実施形態１における端末装置１３０がプレビュー画像を作成する処理を示すフローチャートである。

【図10】実施形態１における画像生成装置１２０がプレビュー画像を作成する処理を示すフローチャートである。

【図11】実施形態１における画像生成装置１２０がプレビュー画像を配信する処理を示すフローチャートである。

【図12】実施形態１における画像生成装置１２０が仮想視点画像を配信する処理を示すフローチャートである。

【図13】実施形態１における端末装置１３０のプレビュー画像の表示例である。

【図14】実施形態２における画像生成装置１２０の機能構成を示す図である。

【図15】実施形態２におけるプレビュー画像管理情報の例である。

【図16】実施形態２における画像生成装置１２０がプレビュー優先度を決定する処理を示すフローチャートである。

【図17】実施形態２における端末装置１３０のプレビュー画像の表示例である。

【発明を実施するための形態】

【0011】

以下、本実施形態について、図面を参照して説明する。なお、以下の実施形態に記載される構成は一例に過ぎず、本開示は図示された構成に限定されるものではない。また、本実施形態において説明されている特徴の組み合わせの全てが本開示の解決手段に必須のものではない。

【0012】

＜実施形態１＞
本実施形態において、デジタルコンテンツは、仮想視点画像を生成するための被写体の３Ｄモデルである。また、デジタルコンテンツは、プレビュー画像として複数の画像が関連付けられている。複数の画像はデジタルコンテンツに含まれていても良いし、別途記憶領域に記憶および管理されていてもよい。これら複数の画像は、被写体の３Ｄモデルを用いて生成された仮想視点画像であってもよいし、被写体の３Ｄモデルを生成するために用いた撮像画像、あるいは同じシーンを撮像した撮像画像であってもよい。例えば、野球のある試合を撮像して選手Ａの３Ｄモデルを生成した場合、選手Ａの３Ｄモデルを用いて生成された仮想視点画像やその仮想視点画像の生成に用いられた撮像画像、またはその試合の放送に用いられた撮像画像が対象となる。本実施形態においては、複数の画像は、被写体の３Ｄモデルを用いて生成された仮想視点画像および同じシーンを撮像した撮像画像であるものとする。本実施形態では、デジタルコンテンツは、ある試合を撮影して生成された複数の被写体に対応する複数の３Ｄモデルであるものとする。なお、これに限定されず、ある試合の特定のシーンにおける被写体の３Ｄモデルをデジタルコンテンツとしてもよいし、ある試合の特定の被写体の３Ｄモデルをデジタルコンテンツとしてもよい。ユーザは、仮想視点画像を生成可能なシーンの３Ｄモデルに対して、仮想視点の位置および仮想視点からの視線方向等の視線情報を入力し、任意な視点から見た仮想視点画像を生成することを想定している。

【0013】

なお、本実施形態では、配信されるデジタルコンテンツに含まれる被写体の３Ｄモデルとユーザ操作により指定される仮想視点とを用いて生成される仮想視点画像を、ユーザが所有する操作端末にて視聴することを想定している。

【0014】

図１は、本実施形態に係る画像処理システム１００を示す図である。

【0015】

画像処理システム１００は、複数の撮像装置１１０と、画像生成装置１２０と、端末装置１３０と、を有している。各撮像装置１１０と画像生成装置１２０は、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）ケーブル等の通信ケーブルを介して接続している。なお、本実施形態においては、通信ケーブルはＬＡＮケーブルであるものとするが、これに限定されるものではなく、例えば、無線を用いても構わない。

【0016】

撮像装置１１０は、例えば画像（静止画及び動画）を撮像可能なデジタルカメラである。

【0017】

図２は、撮像装置１１０の設置例を示す図である。各撮像装置１１０は、撮像領域を囲うようにそれぞれ異なる位置に設置し、時刻同期して撮像する。多視点から同期撮像した複数画像を、画像処理装置１０２に送信する。撮像領域は、仮想視点画像を生成するための撮像が行われる撮像スタジオや、スポーツ競技が行われる競技場や演技が行われる舞台などである。撮像により取得した画像は、撮像装置１１０から画像生成装置１２０に送信される。

【0018】

画像生成装置１２０は、撮像装置１１０により得られた撮像画像を蓄積しておき、端末装置１３０から後述する仮想視点情報と再生時刻情報とが入力されると、撮像画像と仮想視点とに基づいて、仮想視点画像を生成する。ここで、仮想視点情報は、仮想空間における仮想的な視点（仮想視点）の三次元的な位置と仮想視点からの視線方向等を示す情報である。仮想視点情報は、撮像領域の中央など所定の原点位置に対する相対的な位置、つまり原点位置に対する前後、左右、上下の位置情報、その所定位置からの向き、つまり前後、左右、上下を軸とする角度の方向情報とを少なくとも含むものとする。また再生時刻情報とは、時、分、秒、１秒間当たりのフレーム数などからなる撮像画像の撮像時の時刻情報であり、その再生時刻を指定することで録画された時刻のシーンが仮想視点として生成されることになる。なお、例えば１秒間当たりのフレーム数は６０フレームとする。

【0019】

画像生成装置１２０は、例えば、サーバ装置であり、データベース機能や、画像処理機能を備えている。データベースには、競技場内の被写体撮像開始前など予め被写体が存在しない状態を撮像した画像を背景画像として、撮像装置１１０を介して保持しておく。また被写体の存在するシーンでは、被写体となる特定のオブジェクト等の前景を前景画像として画像処理により分離処理する。なお、前景画像となる被写体とは、人物だけでなくボールやバットなどの用具であってもよい。仮想視点情報に対応した仮想視点画像は、データベースで管理された背景画像と特定オブジェクト画像とから生成されるものとする。仮想視点画像の生成方式として、例えばモデルベースレンダリング（Ｍｏｄｅｌ－Ｂａｓｅｄ Ｒｅｎｄｅｒｉｎｇ：ＭＢＲ）が用いられる。ＭＢＲとは、被写体を複数の方向から撮像した複数の撮像画像に基づいて生成される３Ｄモデルを用いて仮想視点画像を生成する方式である。具体的には、視体積交差法、Ｍｕｌｔｉ－Ｖｉｅｗ－Ｓｔｅｒｅｏ（ＭＶＳ）などの３Ｄモデル復元手法により得られた対象シーンの３Ｄモデル（３Ｄモデル）を利用し、仮想視点からのシーンの見えを画像として生成する技術である。なお、仮想視点画像の生成方法は、ＭＢＲ以外のレンダリング手法を用いてもよい。生成された仮想視点画像は、ＬＡＮケーブルなどを介して、端末装置１３０に伝送される。

【0020】

なお、本実施形態では、画像生成装置１２０が仮想視点画像の生成と、端末装置に送信するプレビュー画像の送信、次に端末装置に出力するプレビュー画像の決定（プレビュー画像の出力順、端末装置での表示順の決定）を行っているが、これに限定されない。例えば、仮想視点画像の生成を他の情報処理装置で行ってもよい。

【0021】

端末装置１３０は、例えば、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）やタブレットである。コントローラ１３１は、例えば、マウス、キーボード、６軸コントローラ、タッチパネルであり、コントローラ１３１をユーザが操作する。また端末装置１３０は、ユーザ指示により仮想視点画像視聴用のユーザアプリケーションを実行して画像生成装置１２０にアプリケーションの画面表示に係る要求を送信するとともに画像生成装置１２０から受信した結果を画面１３２に表示する。具体的には端末装置１３０は、画像生成装置１２０から受信した仮想視点画像を画面１３２に表示する。

【0022】

図３は、端末装置１３０の画面表示例を示す図である。端末装置１３０は、デジタルコンテンツ一覧画面や、ユーザが選択したデジタルコンテンツを用いて生成される仮想視点画像の視聴画面を画面１３２に表示する。

【0023】

図３（ａ）はデジタルコンテンツ一覧の画面表示例である。ユーザがデジタルコンテンツ一覧画面で特定のデジタルコンテンツの画面上のＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）であるプレビュー再生ボタンを押下することでプレビュー画像が再生される。また、ユーザがデジタルコンテンツ一覧画面で視聴したいデジタルコンテンツの画面上のユーザ操作表示ボタンを押下することで、仮想視点画像の視聴画面に遷移し、ユーザ操作によって入力される仮想視点に対応する仮想視点画像が表示されることになる。

【0024】

なお、プレビュー画像の再生は、プレビュー再生ボタンの押下の操作に限らず、不図示のマウスカーソルをデジタルコンテンツ上に配置（マウスカーソルオーバー）することで再生することしてもよいものとする。また、ユーザ操作表示ボタンの押下の操作に限らず、不図示のマウスカーソルをデジタルコンテンツ上に移動し、マウスによるクリック動作を行うことで仮想視点画像の視聴画面に遷移するとしてもよいものとする。

【0025】

図３（ｂ）は仮想視点画像の視聴画面の表示例である。仮想視点画像の視聴画面では、ユーザが操作する仮想視点から見た仮想視点画像が表示される。すなわち端末装置１３０は、接続されたコントローラ１３１からのユーザ操作に基づいて仮想視点の位置および仮想視点からの視線方向を示す仮想視点情報を生成する。その後、仮想視点情報とユーザ操作に基づいて指定される再生時刻を示す時刻情報とを画像生成装置１２０に送信し、画像生成装置１２０にて生成される仮想視点画像を表示する。

【0026】

なお、仮想視点情報は、仮想空間上の被写体の正面位置、背面位置、上から見下ろす位置などあらかじめ設定された所定の仮想視点を示してもよい。

【0027】

図４は、画像生成装置１２０のハードウェア構成を示す図である。なお、端末装置１３０のハードウェア構成も、以下で説明する画像生成装置１２０の構成と同様である。画像生成装置１２０は、ＣＰＵ４０１、ＲＯＭ４０２、ＲＡＭ４０３、補助記憶装置４０４、表示部４０５、操作部４０６、通信Ｉ／Ｆ４０７及びシステムバス４０８を有し得る。

【0028】

ＣＰＵ４０１は、ＲＯＭ４０２やＲＡＭ４０３に格納されているコンピュータプログラムやデータを用いて仮想カメラ制御装置１１０の全体を制御することで、図１に示す仮想カメラ制御装置１１０の各機能を実現する。なお、仮想カメラ制御装置１１０がＣＰＵ４０１とは異なる１又は複数の専用のハードウェアを有し、ＣＰＵ４０１による処理の少なくとも一部を専用のハードウェアが実行してもよい。そのような専用のハードウェアの例としては、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、およびＤＳＰ（デジタルシグナルプロセッサ）などがある。

【0029】

ＲＯＭ４０２は、変更を必要としないプログラムなどを格納する。

【0030】

ＲＡＭ４０３は、補助記憶装置４０４から供給されるプログラムやデータ、及び通信Ｉ／Ｆ４０７を介して外部から供給されるデータなどを一時記憶する。

【0031】

補助記憶装置４０４は、例えばハードディスクドライブ等で構成され、画像データや音響データなどの種々のデータを記憶する。

【0032】

表示部４０５は、例えば液晶ディスプレイやＬＥＤ等で構成され、ユーザが仮想カメラ制御装置１１０に対して指示を与えるためのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）などを表示する。

【0033】

操作部４０６は、例えばキーボードやマウス、ジョイスティック、タッチパネル等で構成され、ユーザによる操作を受けて各種の指示をＣＰＵ４０１に入力する。ＣＰＵ４０１は、表示部４０５を制御する表示制御部、及び操作部４０６を制御する操作制御部として動作する。

【0034】

通信Ｉ／Ｆ４０７は、仮想視点画像生成装置１０４や表示装置１０６、操作装置１３０等、仮想カメラ制御装置１１０の外部の装置との通信に用いられる。仮想カメラ制御装置１１０が外部の装置と無線通信する機能を有する場合には、通信Ｉ／Ｆ４０７はアンテナを備える。

【0035】

システムバス４０８は、仮想カメラ制御装置１１０の各部をつないで情報を伝達する。

【0036】

なお、本実施形態では表示部４０５と操作部４０６が仮想カメラ制御装置１１０の内部に存在するものとするが、表示部４０５と操作部４０６との少なくとも一方が仮想カメラ制御装置１１０の外部に別の装置として存在していてもよい。

【0037】

図５は、実施形態１における画像生成装置１２０の機能構成を示す図である。

【0038】

撮像画像入力部５０１は、複数の撮像装置１１０からＬＡＮケーブルを介して入力された伝送信号を撮像画像データに変換する。また撮像画像データのうち、被写体の撮像開始前など予め撮像対象となる被写体が存在しない状態の場面を撮像した画像を背景画像データとして保持するとともに背景画像データをデータ保存部５０３へ出力する。また撮像対象となる被写体が撮像範囲に存在する状態で撮像された画像と保持しておいた背景画像データとの差分に基づいて被写体を抽出し、前景画像データとしてデータ保存部５０３へ出力する。

【0039】

パラメータ入力部５０２は、仮想視点画像を生成するために予め設定されるカメラパラメータ情報であり、例えば撮像装置１１０のカメラパラメータを示すカメラパラメータ情報を入力する。カメラパラメータ情報は、例えば、設置された撮像装置の位置、撮像装置の焦点距離などのカメラ設定情報である。なお、カメラパラメータ情報は、不図示のＰＣや、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリなどの外部接続機器を介して入力するものとするが、これに限定されない。例えば、ユーザが画像生成装置１２０に対してキーボードなどを用いて直接入力してもよいものとする。また、パラメータ入力部５０２は、入力されたカメラパラメータ情報をデータ保存部５０３へ出力する。

【0040】

データ保存部５０３は、撮像画像入力部５０１から取得した前景画像データおよび背景画像データを保存する。またパラメータ入力部５０２より取得したカメラパラメータ情報を保存する。また、後述する３Ｄモデル生成部５０４から取得した３Ｄモデル情報を保存する。なお、保存された前景画像データ、背景画像データ、カメラパラメータ情報、３Ｄモデル情報を含むコンテンツ情報はコンテンツ名と対応付けて管理される。なお、コンテンツ名はデータ保存部５０３で保存時に一意に判別可能な識別子などを文字列として付与されるとしてもよいものとする。また、後述する３Ｄモデル生成部５０４へ３Ｄモデル生成に使用する前景画像データとカメラパラメータ情報を出力する。また、仮想視点画像生成部５０５へコンテンツ名に対応した仮想視点画像のレンダリングに使用する前景画像データ、背景画像データ、カメラパラメータ情報、３Ｄモデル情報を出力する。

【0041】

３Ｄモデル生成部５０４は、データ保存部５０３から入力された前景画像データと、カメラパラメータ情報とを用いて、被写体の形状を復元しその復元された３Ｄモデル情報として生成する。例えば、視体積交差法などの３Ｄモデル復元手法を用いて３Ｄモデル情報を生成するとする。また、生成された３Ｄモデル情報をデータ保存部５０３へ出力する。

【0042】

仮想視点画像生成部５０５は、後述する仮想視点情報設定部５０８から、仮想視点制御情報に基づくコンテンツ名と仮想視点情報と再生時刻を示す時刻情報を取得する。なお、仮想視点制御情報はコンテンツ名情報と仮想視点情報と時刻情報を少なくとも含むとする。

【0043】

またデータ保存部５０３からコンテンツ名と再生時刻に対応した撮像画像データ、カメラパラメータ情報、３Ｄモデル情報を取得し、仮想視点からみた３Ｄモデル情報に対してカメラパラメータ情報と撮像画像データに基づく色情報でレンダリング処理を行う。レンダリングされた仮想視点画像は、画像出力部５１０へ出力される。ここでレンダリングとは、例えば、該当時刻に撮像装置で撮像された撮像画像データが示す色情報で着色処理するなどして、仮想視点から被写体を見た二次元画像を生成することである。例えば、仮想視点から３Ｄモデル情報に基づく被写体が見えている状況で、仮想視点から所定の範囲内に撮像装置位置がある場合、その撮像装置の前景画像データを形状の色として使用するものとし被写体のレンダリング画像を生成する。次に、データ保存部５０３に保存された背景画像データと、仮想視点位置から撮像された被写体のレンダリング画像とを合成して仮想視点画像となる。

【0044】

コマンド通信部５０６は、端末装置１３０からＬＡＮケーブルを介して入力されたデジタルデータ伝送信号から画像生成装置１２０を制御可能なコマンド情報に変換する。また変換したコマンド情報をコマンド制御部５０７へ出力する。また、画像出力部５１０や配信制御部５１１から入力された映像データを、ＬＡＮケーブルを介して出力可能なデジタルデータ伝送信号に変換して端末装置１３０へ伝送する。

【0045】

コマンド制御部５０７は、コマンド通信部５０６から入力されたコマンド情報の内容を解析し、各種制御情報に変換する。コマンド情報が仮想視点制御情報である場合は仮想視点情報設定部５０８へ出力する。コマンド情報が録画制御情報である場合、録画制御部５０９へ出力する。コマンド情報が配信制御情報である場合、配信制御部５１１へ出力する。なお、録画制御情報は使用するコンテンツ名情報と、録画開始指示と、録画終了指示とを少なくとも含むとする。また配信制御情報は、端末装置１３０からのユーザＩＤ（ユーザ情報）と、プレビュー画像更新情報と、最後に再生していたプレビュー画像のコンテンツ名情報とプレビューＩＤとを少なくとも含むとする。プレビュー画像更新情報とは、プレビュー画像を表示または更新する指示、プレビュー画像の再生が終了したことを示す情報の何れかを含む情報である。

【0046】

仮想視点情報設定部５０８は、コマンド制御部５０７から入力されたコンテンツ名情報と再生時刻情報と仮想視点情報とを含む仮想視点制御情報に基づき、仮想視点の位置と仮想視点からの視線方向と再生時刻とを更新する。なお、仮想空間内の原点は、例えば、競技場内の中心などを予め設定するものとする。また仮想視点情報設定部５０８は、仮想視点制御情報を録画制御部５０９へ出力する。

【0047】

録画制御部５０９は、コマンド制御部５０７から入力された録画制御情報に基づき、仮想視点画像を録画する。録画制御部５０９は、コマンド制御部５０７から録画開始指示を含む録画制御情報が入力されると、仮想視点情報設定部５０８から入力された複数の仮想視点制御情報をカメラワーク情報として順次保持する。また録画制御部５０９は、コマンド制御部５０７から録画開始指示を含む録画制御情報が入力されると、仮想視点制御情報に基づいて、画像出力部５１０から出力された仮想視点画像をプレビュー画像として順次保持する。また録画制御部５０９は、コマンド制御部５０７から録画終了指示を含む録画制御情報が入力されると、プレビュー画像として保持した仮想視点画像を動画ファイル化し、デジタルコンテンツ管理部５１２へ保存する。生成する動画ファイルのファイルフォーマットについては限定されず、既存のフォーマット、例えば、ｍｐ４等のフォーマットで構わない。また録画制御部５０９は、デジタルコンテンツ管理部５１２の動画ファイルの基となるコンテンツ名情報とカメラワーク情報を対応付ける。この際、ユーザ操作によりカメラワーク情報に対応するカメラワーク名を設定する。設定方法は、キーボード等の入力装置を用いて、ユーザが設定するものとする。さらにプレビューＩＤ、動画ファイル名、ユーザ選択履歴などを新たに作成し、プレビュー画像管理情報として動画ファイルと対応づけてデジタルコンテンツ管理部５１２へ保存する。なおプレビューＩＤ、動画ファイル名は、端末装置１３０を介してユーザが任意に付与してもよいし、デジタルコンテンツ管理部５１２が一意に識別可能な識別子として付与してもよいものとする。全ユーザ選択履歴は、デジタルコンテンツ一覧画面でユーザ操作表示ボタンを押下したときに最後に視聴していたプレビュー画像に対して加算していく履歴情報である。全ユーザにおいて、どのプレビュー画像を視聴していたときにユーザ操作表示ボタンが押下されたかを記録する。

【0048】

画像出力部５１０は、仮想視点画像生成部５０５にて生成された仮想視点画像やデジタルコンテンツ管理部５１２に記録された撮像画像を映像データとして、録画制御部５０９およびコマンド通信部５０６に送信する。

【0049】

配信制御部５１１は、コマンド制御部５０７から入力された配信制御情報に含まれるコンテンツ名情報とプレビュー画像更新情報とに基づいて、プレビュー画像管理情報の中から適切なプレビュー画像を特定し、コマンド通信部５０６へ出力する。コマンド制御部５０７から配信制御情報が入力されると、配信制御部５１１は、配信制御情報に含まれるコンテンツ名情報と、プレビューＩＤと紐付けて各ユーザ管理情報（視聴履歴情報）としてデジタルコンテンツ管理部５１２へ保存する。すなわち、各ユーザで再生済のプレビューＩＤを管理することになる。また、プレビュー画像更新情報を取得した際に、各ユーザ管理情報に含まれるプレビューＩＤを読み出すことで、再生対象のデジタルコンテンツの複数のプレビュー画像のうち、ユーザが未再生のプレビュー画像を抽出する。さらに未再生のプレビュー画像のうち、全ユーザがプレビュー画像再生中にユーザ操作表示ボタンを押下した回数を示すユーザ選択履歴の数値が高いものを抽出し、該当する動画ファイル名のプレビュー画像データをコマンド通信部５０６に出力する。

【0050】

また配信制御部５１１は、送信したプレビュー画像データに対応するプレビューＩＤを、ユーザ管理情報のユーザＩＤに対応した再生済プレビューＩＤに追加、保存する。次に、デジタルコンテンツ管理部５１２にて管理されるプレビュー画像管理情報において、送信したプレビュー画像データのプレビューＩＤに対応する全ユーザ選択履歴の数値を１増やす。このように制御することにより、ユーザ操作表示ボタンが押下され配信制御情報を取得するたびに、ユーザ管理情報の再生済プレビューＩＤとプレビュー画像管理情報の全ユーザ選択履歴を更新することができる。

【0051】

デジタルコンテンツ管理部５１２は、各デジタルコンテンツに対応するプレビュー画像、プレビュー画像管理情報、ユーザ管理情報を記憶および管理する。プレビュー画像管理情報は、画像出力部５１０から入力されたプレビュー画像の動画ファイルと、コンテンツ名情報と、カメラワーク情報、プレビューＩＤ、動画ファイル名、全ユーザ選択履歴を含む。ユーザ管理情報は、各ユーザのユーザＩＤと各ユーザが再生したプレビューＩＤとを管理する情報である。

【0052】

図６は、デジタルコンテンツ管理部５１２で管理するプレビュー画像管理情報の例である。プレビュー画像管理情報には、コンテンツ名、プレビューＩＤ、動画ファイル名、カメラワーク名、全ユーザ選択履歴が、プレビュー画像ごとに記録される。動画ファイル名は、プレビュー画像の名称であるが、これに限定されず、プレビュー画像が格納されたファイルの場所を示していてもよい。全ユーザ選択履歴は、全ユーザが、そのプレビュー画像が再生されている最中にユーザ操作表示ボタンを押下した回数を示している。例えば、プレビューＩＤの０００１は、コンテンツ名ＢａｓｅｂａｌｌＡ ｖｓ Ｂの３Ｄモデルと、カメラワーク名ＢａｔｔｅｒＶｉｅｗＡに対応するカメラワーク情報と、動画ファイル名ＢａｓｅＢａｌｌ０００１のプレビュー画像と対応付けて記録されている。全ユーザ選択履歴は、すべてのユーザにおいて、このプレビュー画像が再生中にユーザ操作表示ボタンが押下された総数が、２０回であると示している。なお、ここでは、ユーザ選択履歴としてユーザが仮想視点映像を再生中にユーザ操作表示ボタンが押下された回数を記録したが、これに限定されず、ユーザＩＤと再生回数を記録しても構わないし、再生時間等も全ユーザ選択履歴として記録しても構わない。

【0053】

図７は、デジタルコンテンツ管理部５１２で管理するユーザ管理情報の例である。ユーザ管理情報は、各ユーザのユーザＩＤと再生したプレビューＩＤとを管理する情報である。これにより各ユーザがどのプレビュー画像を視聴したかを判定可能となる。例えば、ユーザＩＤ０００１であるユーザは、プレビューＩＤ０００２のプレビュー画像を再生したことがあることを示しており、ユーザＩＤ０００２であるユーザは、プレビューＩＤ０００２、０００３のプレビュー画像を再生したことがあることを示している。

【0054】

図８は、実施形態１に係る画像生成装置１２０が被写体の３Ｄモデルを生成する処理を示すフローチャートである。ＣＰＵ４０１がＲＯＭ４０２またはＨＤＤ４０４に記憶されたプログラムを読み出して実行することにより、以下の処理が行われる。

【0055】

ステップＳ８０１で、撮像画像入力部５０１は、複数の撮像装置１１０を介して撮像された撮像画像を入力する。

【0056】

ステップＳ８０２で、撮像画像入力部５０１は、撮像画像から被写体を抽出した前景画像を生成するために、前景背景分離を行う。具体的には、予め撮像対象となる被写体が存在しない状態を撮像した背景画像データを保持しておき、撮像対象となる被写体が撮像範囲に存在する状態で撮像された画像との差分をとり、被写体を抽出した前景画像データを生成する。

【0057】

ステップＳ８０３で、３Ｄモデル生成部５０４は、データ保存部５０３から取得した前景画像データと、パラメータ入力部５０２から取得したカメラパラメータ情報とを用いて、被写体の形状を推定し３Ｄモデル情報を生成する。生成した３Ｄモデル情報は、データ保存部５０３に出力される。

【0058】

ステップＳ８０４で、データ保存部５０３は、撮像画像入力部５０１から取得した前景画像データと背景画像データを保存する。またパラメータ入力部５０２から取得したカメラパラメータ情報を保存する。また３Ｄモデル生成部５０４から取得した３Ｄモデル情報を保存する。なお、保存された前景画像データ、背景画像データ、カメラパラメータ情報、３Ｄモデル情報を含むコンテンツ情報はコンテンツ名と対応付けて管理される。

【0059】

図９は、実施形態１に係る端末装置１３０がプレビュー画像を作成する処理を示すフローチャートである。なお、ユーザは、図３（ｂ）の仮想視点画像の視聴画面を見ながら仮想視点を操作することにより、プレビュー画像を作成するものとする。本実施形態では、プレビュー画像を作成できるユーザとしては、放送局のオペレータやシステム管理者、デジタルコンテンツの作成者および所有者を想定している。しかしこれに限定されず、一般ユーザが作成できるようにしてもよい。あるいは、プレビュー画像を作成する資格があることを示すＮＦＴを所有するユーザがプレビュー画像を作成できるようにしてもよい。

【0060】

ステップＳ９０１で、端末装置１３０は、録画開始ボタンを押下検知すると録画制御情報を画像生成装置１２０に送信する。なお、図３（ｂ）に示すような録画開始と記載されたＧＵＩボタンを例とする。

【0061】

ステップＳ９０２で、端末装置１３０は、接続されたコントローラ１３１の操作を検知すると、コントローラ１３１を介したユーザ操作を仮想視点情報と時刻情報に変換し画像生成装置１２０に送信する。

【0062】

ステップＳ９０３で、端末装置１３０は、仮想視点情報と時刻情報に基づいて生成される仮想視点画像を画像生成装置１２０から取得し、表示画面に表示する。

【0063】

ステップＳ９０４で、端末装置１３０は、コントローラ１３１を介したユーザ操作により、録画を終了する入力を取得したか否かを判定する。録画を終了する入力を取得した場合は、ステップＳ９０５に進み、録画を終了する入力を取得しない場合は、ステップＳ９０２に進む。録画を終了する入力は、図３（ｂ）に示すような録画終了ボタンを押下する入力である。

【0064】

ステップＳ９０５で、端末装置１３０は、録画制御情報を画像生成装置１２０に送信し、録画を終了する。

【0065】

図１０は、実施形態１に係る画像生成装置１２０がプレビュー画像を作成する処理を示すフローチャートである。

【0066】

ステップＳ１００１で、録画制御部５０９は、コマンド制御部５０７から録画制御情報を取得したか否かを判定する。録画制御情報を取得した場合、ステップＳ１００２に進み、録画制御情報を取得しない場合、ステップＳ１００１で待機する。

【0067】

ステップＳ１００２で、録画制御部５０９は、録画制御情報に含まれる録画開始情報に基づいて録画を開始する。

【0068】

ステップＳ１００３で、仮想視点情報設定部５０８は、コマンド制御部５０７から取得される仮想視点情報を、仮想視点画像生成部５０５および録画制御部５０９に出力する。録画制御部５０９は、仮想視点情報設定部５０８から入力された複数の仮想視点制御情報をカメラワーク情報として保持する。

【0069】

ステップＳ１００４で、仮想視点画像生成部５０５は、仮想視点情報設定部５０８から仮想視点制御情報に基づく仮想視点情報と時刻情報を取得する。またデータ保存部５０３から撮像画像データ、カメラパラメータ情報、３Ｄモデル情報を取得し、仮想視点からみた３Ｄモデル情報に対してカメラパラメータ情報と撮像画像データに基づく色情報でレンダリング処理を行う。レンダリングされた仮想視点画像は、画像出力部５１０へ出力される。

【0070】

ステップＳ１００５で、録画制御部５０９は、仮想視点制御情報に基づいて画像出力部５１０から出力された仮想視点画像をプレビュー画像として順次保持する。

【0071】

ステップＳ１００６で、録画制御部５０９は、コマンド制御部５０７から録画終了指示を含む録画制御情報が取得したか否か判断する。録画制御情報を取得した場合、ステップＳ１００７に進み、録画制御情報を取得した場合、ステップＳ１００８に進む。

【0072】

ステップＳ１００７で、録画制御部５０９は、フレームごとのプレビュー画像を動画ファイル化し、デジタルコンテンツ管理部５１２へ保存する。

【0073】

ステップＳ１００８で、録画制御部５０９は、デジタルコンテンツ管理部５１２の動画ファイルの基となるコンテンツ名情報とカメラワーク情報を対応付ける。さらに各コンテンツに対応するプレビューＩＤ、動画ファイル名、ユーザ選択履歴などを新たに作成し、プレビュー画像管理情報として動画ファイルと対応付けてデジタルコンテンツ管理部５１２へ保存する。

【0074】

図１１は、実施形態１に係る画像生成装置１２０が、プレビュー画像を配信する処理を示すフローチャートである。

【0075】

ステップＳ１１０１で、配信制御部５１１は、コマンド制御部５０７から配信制御情報を取得したか否か判断する。配信制御情報を取得した場合、ステップＳ１１０１に進み、配信制御情報を取得しない場合、ステップＳ１１０１で待機する。

【0076】

ステップＳ１１０２で、配信制御情報に含まれるユーザＩＤと、配信制御情報を取得した際に視聴していた（再生していた）プレビュー画像のコンテンツ名情報とプレビューＩＤと抽出する。例えば、図７に示すユーザＩＤの０００１のユーザが、再生していたプレビュー画像は図６に示すコンテンツ名ＢａｓｅＢａｌｌＡｖｓＢ、プレビューＩＤの０００２であると配信情報に含まれているとする。

【0077】

ステップＳ１１０３で、配信制御部５１１は、各ユーザ管理情報に含まれるプレビューＩＤを読み出し、視聴するユーザが未再生のプレビュー画像を抽出する。さらに未再生プレビュー画像のうち、全ユーザ選択履歴の数値が高いものを抽出する。例えば、図７に示すユーザＩＤの０００１のユーザの未再生のプレビュー画像では、プレビューＩＤの０００２以外であり、全ユーザ選択履歴の数値が高いものは、全ユーザ選択履歴が１００回であるプレビューＩＤの０００３である。

【0078】

ステップＳ１１０４で、配信制御部５１１は、配信するプレビュー画像データに対応するプレビューＩＤを、各ユーザ管理情報のユーザＩＤに対応した再生済プレビューＩＤに追加、保存する。例えば、図７に示す各ユーザ管理情報のユーザＩＤの０００１のユーザに対応した再生済プレビューＩＤの０００３を追加する。

【0079】

ステップＳ１１０５で、配信制御部５１１は、該当する動画ファイル名のプレビュー画像データをコマンド通信部５０６に出力する。例えば、図６に示すプレビューＩＤの０００３に対応したＢａｓｅＢａｌｌＡｖｓＢ０００３のプレビュー画像データをコマンド通信部５０６に出力する。

【0080】

図１２は、実施形態１に係る画像生成装置１２０が、仮想視点画像を配信する処理を示すフローチャートである。

【0081】

ステップＳ１２０１で、配信制御部５１１は、コマンド制御部５０７からユーザ操作表示情報を取得したか否かを判断する。ユーザ操作表示情報を取得した場合、ステップＳ１２０２に進む。ユーザ操作表示情報を取得しない場合、ステップＳ１２０１で待機する。

【0082】

ステップＳ１２０２で、配信制御部５１１は、ユーザ操作表示情報に含まれるユーザ選択プレビューＩＤを使用して、デジタルコンテンツ管理部５１２に保存されたデジタルコンテンツ情報のプレビューＩＤに対応した全ユーザ選択履歴を加算する。ユーザ選択プレビューＩＤとは、複数のプレビュー画像のうち、それらプレビュー画像に対応するシーンを示す仮想視点画像を視聴する入力であるユーザ操作表示ボタンの押下を受け付けた際に、ユーザ装置にて表示しているプレビュー画像を示すＩＤである。

【0083】

ステップＳ１２０３で、配信制御部５１１は、ユーザ操作表示情報に含まれるユーザ選択プレビューＩＤをもとにコンテンツ名情報をコマンド通信部５０６へ送信する。すなわち、コンテンツ名に基づくコンテンツ情報のユーザ操作使用を開始となる。

【0084】

ステップＳ１２０４で、仮想視点情報設定部５０８は、コマンド制御部５０７から仮想視点制御情報を取得したか否かを判断する。仮想視点制御情報を取得した場合、コンテンツ名に基づくコンテンツ情報で生成される仮想空間内の位置と方向と再生時刻とを更新し、ステップＳ１２０５に進む。仮想視点制御情報を取得しない場合、ステップＳ１２０４で待機する。なお、所定の時間、仮想視点制御情報を取得しない場合、本処理を終了してもよい。

【0085】

ステップＳ１２０５で、仮想視点画像生成部５０５は、仮想視点情報設定部５０８から入力された仮想視点制御情報に基づくコンテンツ名と仮想視点位置と時刻を入力する。またデータ保存部５０３からコンテンツ名と時刻に対応した撮像画像データ、カメラパラメータ情報、３Ｄモデル情報を入力し、仮想視点からみた３Ｄモデル情報に対してカメラパラメータ情報と撮像画像データに基づく色情報でレンダリング処理を行う。上記処理を行い、仮想視点画像を生成する。

【0086】

ステップＳ１２０６で、仮想視点画像生成部５０５は、レンダリングされた仮想視点画像を画像出力部５１０へ出力する。

【0087】

図１３（ａ）は、本実施形態の端末装置１３０のプレビュー画像の表示例である。

【0088】

図３（ａ）の表示例と併せて説明すると、ユーザＩＤの０００１のユーザがデジタルコンテンツ一覧画面で視聴したいデジタルコンテンツのプレビュー画像が再生されている。この状態のままユーザ操作表示することなくプレビュー再生が終了した場合、図１３の表示例に示すように、次のプレビュー再生では、ユーザが未再生で同じコンテンツ名でありユーザ選択履歴の多いプレビューＩＤプレビュー画像になる。すなわち図６のデジタルコンテンツ管理部５１２で管理するプレビュー画像管理情報を例にすると、プレビューＩＤの０００３のカメラワーク名ＢａｔｔｅｒＶｉｅｗＣで作成されたプレビュー画像として表示されることになる。

【0089】

なお、未再生コンテンツであることを示すためにカメラワーク名ＢａｔｔｅｒＶｉｅｗＣの情報表示する場合、太字や文字色を変えるなど、表示様態などを変更して情報表示するとしてもよいものとする。なお、プレビュー画像を表示して、ユーザ操作表示ボタンを押下すれば、図３（ｂ）で説明したユーザ操作仮想視点画像に遷移する。

【0090】

以上、実施形態１の形態によれば、ユーザが過去に視聴していないプレビューで、ほかのユーザが視聴に至ったカメラワークによるプレビューを表示することで、仮想視点操作可能なデジタルコンテンツを選択、視聴に至る可能性を上げることが可能となる。

【0091】

なお、本実施形態において、被写体が存在しない状態の画像として背景画像を格納し、差分で前景画像を抽出したが、これに限定されず、機械学習や赤外線画像、レーダー等による距離測定の結果から被写体の前景画像を抽出してももちろん構わない。

【0092】

また、あらかじめ決められたカメラワークはユーザが操作して生成されたものに限定されず、被写体の自動追尾などによって生成されたものでも構わない。

【0093】

なお、本実施形態において、全ユーザ選択履歴の数値が高いプレビュー画像を表示するようにしたが、これに限定されない。例えば、全ユーザ選択履歴の数値が閾値を超えるものを表示してもよいし、全ユーザ選択履歴の数値が低いものを表示してもよい。さらに、それら、次に表示するプレビュー画像を決定する条件をユーザが任意に設定できるようにしてもよい。

【0094】

＜実施形態２＞
実施形態１では、デジタルコンテンツに対応付けられた複数のプレビュー画像のうち、全ユーザ選択履歴に記録された遷移回数が多いものを次のプレビュー画像として決定し、遷移回数の多いものから順にプレビュー画像を送信した。しかし、全ユーザによる遷移回数を基にプレビュー画像を決定する場合、ユーザ個人の好みに合わせてプレビュー画像を決定できてはいない。そのため、実施形態２では、各ユーザのカメラワーク情報を記録し、ユーザの好みと考えられるカメラワーク情報との類似度を基に、次に表示するプレビュー画像を決定する。

【0095】

図１４は、実施形態２に係る画像生成装置１４０の機能構成を示す図である。画像生成装置１４０は、図５を参照しつつ説明した、実施形態１に係る画像生成装置１２０の構成に加えてカメラワーク類似度決定部１４０１を有している。

【0096】

カメラワーク類似度決定部１４０１は、配信制御部５１１から入力されたプレビュー画像更新情報に基づいて各ユーザ管理情報に含まれる最後に再生していたプレビューＩＤを保持する。またデジタルコンテンツ管理部５１２からプレビュー画像管理情報を取得し、最後に再生したプレビューＩＤのカメラワーク情報と比較して、カメラワーク情報の類似度が高いものから順にプレビュー優先度を付与する。プレビュー優先度が付与されたプレビュー画像管理情報を配信制御部５１１へ出力する。ここでプレビュー優先度は、再生したプレビューＩＤを取得したタイミングで付与するとしたが、デジタルコンテンツ管理部５１２に保存される時点で、あらかじめ類似度を算出しておいてもよいものとする。

【0097】

なお、配信制御部５１１は、カメラワーク類似度決定部１４０１より取得したプレビュー画像管理情報に基づいて、次に再生するプレビュー画像を決定し、コマンド通信部５０６へデジタルコンテンツ管理部５１２に格納された動画ファイルを出力する。

【0098】

図１５は、プレビュー画像管理情報に対し、カメラワーク類似度決定部１４０１で決定したプレビュー優先度をつけた例である。最後に再生していたプレビューＩＤが０００２である場合、プレビューＩＤの０００２に対応したカメラワーク情報ＢａｔｔｅｒＶｉｅｗＢを入力として、ほかのカメラワーク情報と比較を行う。本実施形態では、カメラワーク情報に含まれる仮想視点の三次元位置の軌跡における平均位置を比較し、類似度を算出しプレビュー画像管理情報に付与するとする。なお、仮想視点の三次元位置の軌跡における平均位置を類似度に使用するに限らず、方向の情報や視点から見た画角についてもさらに類似度を求めてもよいものとする。また時刻情報を比較して、類似度を比較してもよいものとする。

【0099】

またカメラワーク情報の類似度に限らず、カメラワーク情報に含まれる時刻に該当する３Ｄモデル情報をデータ保存部５０３より取得し、３Ｄモデルの類似度に基づいて、該当する時間帯の類似度を算出するとしてもよいものとする。例えば、３Ｄモデルから野球のバッターやピッチャーなど特徴のある動作を比較、また選手ごとの動作の類似を判定し、同じ選手だけのプレイに対して類似度が高くなるように付与してもよいものとする。

【0100】

また、類似度の決定方法はユーザが任意に変更可能としてもよく、例えば、ＧＵＩボタンなどを設けて、カメラワーク情報に基づく類似度の決定と被写体の形状による類似度の決定などを切り替え可能としてもよいものとする。

【0101】

図１６は、実施形態２に係る画像生成装置１４０がプレビュー優先度を決定する処理を示すフローチャートである。

【0102】

ステップＳ１６０１で、配信制御部５１１は、コマンド制御部５０７から配信制御情報を取得したか否か判断する。配信制御情報を取得した場合、ステップＳ１６０２に進み、配信制御情報を取得していない場合、ステップＳ１６０１で待機する。

【0103】

ステップＳ１６０２で、配信制御情報に含まれるユーザＩＤと、最後に再生していたプレビュー画像のコンテンツ名情報とプレビューＩＤと抽出する。例えば、図７に示すユーザＩＤの０００１のユーザが、最後に再生していたプレビュー画像は図６に示すコンテンツ名ＢａｓｅＢａｌｌＡｖｓＢ、プレビューＩＤの０００２であると配信情報に含まれているとする。また、配信制御部５１１は、プレビュー画像更新情報に基づいて各ユーザ管理情報に含まれる最後に再生していたプレビューＩＤをカメラワーク類似度決定部１４０１へ出力する。

【0104】

ステップＳ１６０３で、カメラワーク類似度決定部１４０１はデジタルコンテンツ管理部５１２からプレビュー画像管理情報を取得する。

【0105】

ステップＳ１６０４で、カメラワーク類似度決定部１４０１は入力された最後に再生したプレビューＩＤのカメラワーク情報とプレビュー画像管理情報のカメラワーク情報とを比較する。

【0106】

Ｓ１６０５で、カメラワーク類似度決定部１４０１はプレビュー優先度を決定およびプレビュー画像管理情報に付与し、プレビュー優先度が付与されたプレビュー画像管理情報を配信制御部５１１へ出力する。

【0107】

図１７は、実施形態２に係るプレビュー仮想視点画面の表示例である。

【0108】

図３（ａ）の表示例では、ユーザＩＤの０００１のユーザがデジタルコンテンツ一覧画面で視聴したいデジタルコンテンツのプレビュー画像が再生されている。この状態のままユーザ操作表示することなくプレビュー再生が終了した場合、図１７の表示例に示すように、次のプレビュー再生では、ユーザが未再生で同じコンテンツ名でありプレビュー優先度が高いプレビューＩＤのプレビュー画像になる。すなわち図１５のデジタルコンテンツ管理部５１２で管理する類似度付きプレビュー画像管理情報を例にすると、プレビューＩＤの０００１のカメラワーク情報ＢａｔｔｅｒＶｉｅｗＡで作成されたプレビュー画像として表示されることになる。

【0109】

なお、プレビュー画像は同じ画面上で最後に再生していた位置で再生するだけでなく、図１７に示すようにほかの類似度の順位の複数のデジタルコンテンツ一覧画面を並べなおしてもよいものとする。またユーザ操作仮想視点画像に遷移した場合に、ユーザ操作仮想視点画像とプレビュー画像を並べて類似度の順によって表示してもよいものとする。

【0110】

以上、実施形態２の形態によれば、ユーザが視聴したプレビュー画像に類似のカメラワークのプレビュー画像並べて表示することで、同一のデジタルコンテンツの視聴時間を伸ばす可能性を高めることが可能となる。

【0111】

なお、本実施形態は、ユーザが仮想視点画像視聴用のユーザアプリケーションの実行中を例に説明したが、ユーザアプリケーションを起動した際に最後に視聴していたプレビューに基づいて、実施されてもよいものとする。

【0112】

以上、本開示を複数の実施形態に基づいて詳述してきたが、本開示は上記実施形態に限定されるものではなく、本開示の主旨に基づき種々の変形が可能であり、それらを本開示の範囲から除外するものではない。例えば、以上の実施形態１、２を適宜組み合わせても良い。

【0113】

本実施形態における制御の一部又は全部を上述した実施形態の機能を実現するコンピュータプログラムをネットワーク又は各種記憶媒体を介して画像処理システム等に供給するようにしてもよい。そしてその画像処理システム等におけるコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行するようにしてもよい。その場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本開示を構成することとなる。

【0114】

なお、本実施形態の開示は、以下の構成、方法およびプログラムを含む。

【0115】

（構成１）仮想視点画像を生成可能なシーンに対応づけられた複数のプレビュー画像のうちいずれか１つを複数の装置に出力する出力手段と、
前記複数の装置が表示する制御を行う画像を、前記出力手段により出力された前記プレビュー画像から前記仮想視点画像に遷移する入力を示す情報を前記複数の装置から取得する取得手段と、
前記複数の装置から取得される前記入力を示す情報に基づいて、前記複数のプレビュー画像それぞれにおいて前記複数の装置で前記遷移した回数を記録する記録手段と、
前記複数のプレビュー画像のうち、前記複数のプレビュー画像それぞれにおける前記遷移した回数に基づいて、次に出力するプレビュー画像を決定する決定手段と
を有することを特徴とする装置。

【0116】

（構成２）前記プレビュー画像は、前記仮想視点画像と異なる仮想視点画像であることを特徴とする構成１に記載の装置。

【0117】

（構成３）前記プレビュー画像は、前記仮想視点画像を生成可能なシーンを示す画像であることを特徴とする構成１または２に記載の装置。

【0118】

（構成４）前記決定手段は、前記複数のプレビュー画像のうち、前記複数のプレビュー画像それぞれにおける前記遷移した回数が多い前記プレビュー画像を、次に出力するプレビュー画像として決定することを特徴とする構成１乃至３のいずれか１項に記載の装置。

【0119】

（構成５）前記決定手段は、前記複数のプレビュー画像のうち、前記複数のプレビュー画像それぞれにおける前記遷移した回数が最も多い前記プレビュー画像を、次に出力するプレビュー画像として決定することを特徴とする構成４に記載の装置。

【0120】

（構成６）前記取得手段は、前記複数の装置を操作する複数のユーザを示す複数のユーザ情報を取得し、
前記記録手段は、前記複数のユーザ情報と、前記複数のユーザが視聴した前記プレビュー画像とを対応付けた視聴履歴情報を記録し、
前記決定手段は、前記視聴履歴情報と前記複数のプレビュー画像それぞれにおける前記遷移した回数に基づいて、次に出力するプレビュー画像を決定することを特徴とする構成１乃至５のいずれか１項に記載の装置。

【0121】

（構成７）前記決定手段は、前記装置を操作するユーザが視聴していない前記複数のプレビュー画像のうち、前記プレビュー画像それぞれにおける前記遷移した回数が多い前記プレビュー画像を、次に出力するプレビュー画像として決定することを特徴とする構成６に記載の装置。

【0122】

（構成８）更に、前記装置から前記遷移する入力を示す情報を取得した場合に、前記仮想視点画像を生成する生成手段と、
前記出力手段は、前記仮想視点画像を出力することを特徴とする構成１乃至７のいずれか１項に記載の装置。

【0123】

（構成９）前記取得手段は、前記仮想視点画像を生成可能なシーンに対応づけられた３Ｄモデルと、ユーザ操作に基づいて入力される仮想視点の位置および仮想視点からの視線方向を示す視点情報とを取得し、
前記生成手段は、前記３Ｄモデルと前記視点情報とに基づいて前記仮想視点画像を生成することを特徴とする構成８に記載の装置。

【0124】

（構成１０）前記３Ｄモデルは、複数の撮像装置の撮像により取得される複数の撮像画像に基づいて生成されることを特徴とする構成９に記載の装置。

【0125】

（方法）仮想視点画像を生成可能なシーンに対応づけられた複数のプレビュー画像のうちいずれか１つを複数の装置に出力する出力工程と、
前記複数の装置が表示する制御を行う画像を、前記出力工程により出力された前記プレビュー画像から前記仮想視点画像に遷移する入力を示す情報を前記複数の装置から取得する取得工程と、
前記複数の装置から取得される前記入力を示す情報に基づいて、前記複数のプレビュー画像それぞれにおいて前記複数の装置で前記遷移した回数を記録する記録工程と、
前記複数のプレビュー画像のうち、前記複数のプレビュー画像それぞれにおける前記遷移した回数に基づいて、次に出力するプレビュー画像を決定する決定工程と
を有することを特徴とする方法。

【0126】

（プログラム）コンピュータを構成１乃至１０のいずれか１項に記載の装置の各手段として動作させるためのプログラム。

【符号の説明】

【0127】

１３０ 端末装置
５１１ 配信制御部
５１２ デジタルコンテンツ管理部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】