7766760 動画像評価システム、動画像評価方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2025-10-30

(45)【発行日】2025-11-10

(54)【発明の名称】動画像評価システム、動画像評価方法、およびプログラム

(51)【国際特許分類】

   G06T 19/00 20110101AFI20251031BHJP

【ＦＩ】

G06T19/00 A

【請求項の数】 19

(21)【出願番号】P 2024168985

(22)【出願日】2024-09-27

【審査請求日】2024-09-27

(73)【特許権者】

【識別番号】500149555

【氏名又は名称】株式会社サイバーエージェント

(74)【代理人】

【識別番号】100149548

【弁理士】

【氏名又は名称】松沼 泰史

(74)【代理人】

【識別番号】100141139

【弁理士】

【氏名又は名称】及川 周

(72)【発明者】

【氏名】山塚 博翔

(72)【発明者】

【氏名】守下 誠

(72)【発明者】

【氏名】服部 智

(72)【発明者】

【氏名】田中 悠己

(72)【発明者】

【氏名】石田 翔

(72)【発明者】

【氏名】高橋 慎士

(72)【発明者】

【氏名】下平 優

(72)【発明者】

【氏名】齋 裕幸

(72)【発明者】

【氏名】立花 悠

(72)【発明者】

【氏名】二宮 功太

(72)【発明者】

【氏名】吉田 真

(72)【発明者】

【氏名】赤井 健二郎

(72)【発明者】

【氏名】鍋島 靖彦

(72)【発明者】

【氏名】山森 徹

(72)【発明者】

【氏名】岡本 大和

【審査官】益戸 宏

(56)【参考文献】

【文献】特開２０２２－０２６９０７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １９／００

Ｈ０４Ｎ ２３／００

(57)【特許請求の範囲】

【請求項1】

利用者が視聴者に提示する動画像を撮影する実際の環境である実環境に関し、前記実環境の状態と、前記実環境における前記動画像の撮影とをシミュレーションする実環境シミュレーションを行うシミュレート装置と、
前記動画像を前記視聴者に提示する目的に関する第１の評価観点で前記実環境シミュレーションの結果を評価する評価装置と、
を備え、
前記実環境シミュレーションは、前記実環境を仮想空間に再現し、前記仮想空間を仮想的なカメラによって撮影した動画像をシミュレーション結果として出力するものであり、
前記評価装置は、前記実環境シミュレーションのパラメータに基づいて前記実環境シミュレーションによって取得される動画像の前記第１の評価観点での評価結果を出力する、
動画像評価システム。

【請求項2】

利用者が視聴者に提示する動画像を撮影する実際の環境である実環境に関し、前記実環境の状態と、前記実環境における前記動画像の撮影とをシミュレーションする実環境シミュレーションを行うシミュレート装置と、
前記動画像を前記視聴者に提示する目的に関する第１の評価観点で前記実環境シミュレーションの結果を評価する評価装置と、
前記実環境シミュレーションのパラメータに基づいて、前記実環境シミュレーションの結果として取得された動画像を前記実環境で撮影するための情報を人が理解可能な態様で記載した撮影計画書を生成する撮影計画書生成装置と、
を備え、
前記実環境シミュレーションは、前記実環境を仮想空間に再現し、前記仮想空間を仮想的なカメラによって撮影した動画像をシミュレーション結果として出力するものであり、
前記評価装置は、前記シミュレーション結果としての前記動画像、または前記実環境シミュレーションのパラメータに基づいて前記実環境シミュレーションの結果を評価するものであり、
前記評価装置は、前記撮影計画書を入力として、前記撮影計画書に係る前記パラメータを用いた実環境シミュレーションによって取得される動画像を前記第１の評価観点で評価した結果を出力するように学習された学習済みモデルに、評価対象の撮影計画書を入力することにより、前記動画像の前記目的に対する評価結果を出力する、
動画像評価システム。

【請求項3】

利用者が視聴者に提示する動画像を撮影する実際の環境である実環境に関し、前記実環境の状態と、前記実環境における前記動画像の撮影とをシミュレーションする実環境シミュレーションを行うシミュレート装置と、
前記動画像を前記視聴者に提示する目的に関する第１の評価観点で前記実環境シミュレーションの結果を評価する評価装置と、
前記シミュレート装置が前記実環境シミュレーションを実行するために使用するパラメータを生成するパラメータ生成装置と、
を備え、
前記実環境シミュレーションは、前記実環境を仮想空間に再現し、前記仮想空間を仮想的なカメラによって撮影した動画像をシミュレーション結果として出力するものであり、
前記評価装置は、前記シミュレーション結果としての前記動画像、または前記実環境シミュレーションのパラメータに基づいて前記実環境シミュレーションの結果を評価するものであり、
前記パラメータ生成装置によるパラメータセットの変更と、前記シミュレート装置による変更後のパラメータセットでの前記実環境シミュレーションの実行とを繰り返し実行する動画像評価システムであって、
前記パラメータ生成装置は、
前記実環境シミュレーションの第１のパラメータセットと、
前記第１のパラメータセットと一部のパラメータ値が異なるパラメータセットであって、前記第１のパラメータセットの評価結果よりも高い評価結果を得た第２のパラメータセットによる実環境シミュレーションの評価結果と、
の関係性を学習した学習済みモデルに推定対象である第３のパラメータセットを入力することにより、第３のパラメータセットよりも高い評価結果を得ることができる第４のパラメータセットを推定する、
動画像評価システム。

【請求項4】

利用者が視聴者に提示する動画像を撮影する実際の環境である実環境に関し、前記実環境の状態と、前記実環境における前記動画像の撮影とをシミュレーションする実環境シミュレーションを行うシミュレート装置と、
前記シミュレート装置が前記実環境シミュレーションを実行するために使用するパラメータを生成するパラメータ生成装置と、
前記動画像を前記視聴者に提示する目的に関する第１の評価観点で前記実環境シミュレーションの結果を評価する評価装置と、
を備え、
前記実環境シミュレーションは、前記実環境を仮想空間に再現し、前記仮想空間を仮想的なカメラによって撮影した動画像をシミュレーション結果として出力するものであり、
前記評価装置は、前記シミュレーション結果としての前記動画像、または前記実環境シミュレーションのパラメータに基づいて前記実環境シミュレーションの結果を評価するものであり、
前記パラメータ生成装置は、パラメータセットの一部または全部を変更して新たなパラメータセットを生成する機能を有し、
前記パラメータ生成装置によるパラメータセットの変更と、前記シミュレート装置による変更後のパラメータセットでの前記実環境シミュレーションの実行とを繰り返し実行する動画像評価システムであって、
前記パラメータ生成装置は、動画像を入力として、前記動画像を前記実環境シミュレーションの結果として取得するためのパラメータを出力するように学習された学習済みモデルに、再現対象の動画像を入力することにより、前記再現対象の動画像を前記実環境シミュレーションにおいて再現するためのパラメータを推定する、
動画像評価システム。

【請求項5】

利用者が視聴者に提示する動画像を撮影する実際の環境である実環境に関し、前記実環境の状態と、前記実環境における前記動画像の撮影とをシミュレーションする実環境シミュレーションを行うシミュレート装置と、
前記動画像を前記視聴者に提示する目的に関する第１の評価観点に基づいて前記実環境シミュレーションの結果を評価する評価装置と、
を備え、
前記実環境シミュレーションは、前記実環境を仮想空間に再現し、前記仮想空間を仮想的なカメラによって撮影した動画像をシミュレーション結果として出力するものであり、
前記評価装置は、マルチモーダルの大規模言語モデルを用いて構成され、前記シミュレーション結果としての前記動画像、または前記実環境シミュレーションのパラメータに基づいて前記実環境シミュレーションの結果を評価するものであり、
前記評価装置は、前記実環境シミュレーションの評価に関して、評価対象の動画像を前記シミュレート装置から入力するとともに、前記利用者の端末装置を介して、前記第１の評価観点に追加すべき第２の評価観点をテキスト形式で入力し、
前記評価装置は、前記第１の評価観点および前記第２の評価観点に基づいて前記実環境シミュレーションの結果を評価する、
動画像評価システム。

【請求項6】

前記評価装置は、前記パラメータを入力として、前記パラメータを用いた実環境シミュレーションによって取得される動画像の前記第１の評価観点での評価結果を出力するように学習された学習済みモデルに、評価対象のパラメータを入力することにより、前記評価対象のパラメータを用いた実環境シミュレーションによって取得される動画像の前記目的に対する評価結果を出力する、
請求項１から５のいずれか一項に記載の動画像評価システム。

【請求項7】

前記評価装置は、前記仮想空間が撮影された動画像を入力として、前記動画像の前記第１の評価観点での評価結果を出力するように学習された学習済みモデルに、前記実環境シミュレーションにおいて撮影された動画像を入力することにより、前記動画像の前記目的に対する評価結果を出力する、
請求項２から５のいずれか一項に記載の動画像評価システム。

【請求項8】

前記実環境の情報を読み取るスキャン装置をさらに備え、
前記シミュレート装置は、前記スキャン装置が前記実環境の情報を読み取ったスキャン結果を用いて前記仮想空間に前記実環境を再現する、
請求項１から５のいずれか一項に記載の動画像評価システム。

【請求項9】

前記シミュレート装置は、前記実環境シミュレーションにおいて、前記実環境における音、光、または天候を前記仮想空間において再現する、
請求項１から５のいずれか一項に記載の動画像評価システム。

【請求項10】

シミュレート装置が、利用者が視聴者に提示する動画像を撮影する実際の環境である実環境に関し、前記実環境の状態と、前記実環境における前記動画像の撮影とをシミュレーションする実環境シミュレーションを行う第１ステップと、
評価装置が、前記動画像を前記視聴者に提示する目的に関する第１の評価観点で前記実環境シミュレーションの結果を評価する第２ステップと、
を有する動画像評価方法であって、
前記実環境シミュレーションは、前記実環境を仮想空間に再現し、前記仮想空間を仮想的なカメラによって撮影した動画像をシミュレーション結果として出力するものであり、
前記第２ステップにおいて、前記実環境シミュレーションのパラメータに基づいて前記実環境シミュレーションによって取得される動画像の前記第１の評価観点での評価結果を出力する、
動画像評価方法。

【請求項11】

シミュレート装置が、利用者が視聴者に提示する動画像を撮影する実際の環境である実環境に関し、前記実環境の状態と、前記実環境における前記動画像の撮影とをシミュレーションする実環境シミュレーションを行う第１ステップと、
評価装置が、前記動画像を前記視聴者に提示する目的に関する第１の評価観点で前記実環境シミュレーションの結果を評価する第２ステップと、
撮影計画書生成装置が、前記実環境シミュレーションのパラメータに基づいて、前記実環境シミュレーションの結果として取得された動画像を前記実環境で撮影するための情報を人が理解可能な態様で記載した撮影計画書を生成する第３ステップと、
を有する動画像評価方法であって、
前記実環境シミュレーションは、前記実環境を仮想空間に再現し、前記仮想空間を仮想的なカメラによって撮影した動画像をシミュレーション結果として出力するものであり、
前記第２ステップは、前記シミュレーション結果としての前記動画像、または前記実環境シミュレーションのパラメータに基づいて前記実環境シミュレーションの結果を評価するものであり、
前記評価装置は、前記撮影計画書を入力として、前記撮影計画書に係る前記パラメータを用いた実環境シミュレーションによって取得される動画像を前記第１の評価観点で評価した結果を出力するように学習された学習済みモデルに、評価対象の撮影計画書を入力することにより、前記動画像の前記目的に対する評価結果を出力する、
動画像評価方法。

【請求項12】

シミュレート装置が、利用者が視聴者に提示する動画像を撮影する実際の環境である実環境に関し、前記実環境の状態と、前記実環境における前記動画像の撮影とをシミュレーションする実環境シミュレーションを行う第１ステップと、
評価装置が、前記動画像を前記視聴者に提示する目的に関する第１の評価観点で前記実環境シミュレーションの結果を評価する第２ステップと、
パラメータ生成装置が、前記シミュレート装置が前記実環境シミュレーションを実行するために使用するパラメータを生成する第３ステップと、
を有し、
前記実環境シミュレーションは、前記実環境を仮想空間に再現し、前記仮想空間を仮想的なカメラによって撮影した動画像をシミュレーション結果として出力するものであり、
前記第２ステップは、前記シミュレーション結果としての前記動画像、または前記実環境シミュレーションのパラメータに基づいて前記実環境シミュレーションの結果を評価するものであり、
前記パラメータ生成装置によるパラメータセットの変更と、前記シミュレート装置による変更後のパラメータセットでの前記実環境シミュレーションの実行とを繰り返し実行する動画像評価方法であって、
前記第３ステップにおいて前記パラメータ生成装置は、
前記実環境シミュレーションの第１のパラメータセットと、
前記第１のパラメータセットと一部のパラメータ値が異なるパラメータセットであって、前記第１のパラメータセットの評価結果よりも高い評価結果を得た第２のパラメータセットによる実環境シミュレーションの評価結果と、
の関係性を学習した学習済みモデルに推定対象である第３のパラメータセットを入力することにより、第３のパラメータセットよりも高い評価結果を得ることができる第４のパラメータセットを推定する、
動画像評価方法。

【請求項13】

シミュレート装置が、利用者が視聴者に提示する動画像を撮影する実際の環境である実環境に関し、前記実環境の状態と、前記実環境における前記動画像の撮影とをシミュレーションする実環境シミュレーションを行う第１ステップと、
評価装置が、前記動画像を前記視聴者に提示する目的に関する第１の評価観点で前記実環境シミュレーションの結果を評価する第２ステップと、
パラメータ生成装置が、前記シミュレート装置が前記実環境シミュレーションを実行するために使用するパラメータを生成する第３ステップと、
を有し、
前記実環境シミュレーションは、前記実環境を仮想空間に再現し、前記仮想空間を仮想的なカメラによって撮影した動画像をシミュレーション結果として出力するものであり、
前記第２ステップは、前記シミュレーション結果としての前記動画像、または前記実環境シミュレーションのパラメータに基づいて前記実環境シミュレーションの結果を評価するものであり、
前記パラメータ生成装置によるパラメータセットの変更と、前記シミュレート装置による変更後のパラメータセットでの前記実環境シミュレーションの実行とを繰り返し実行する動画像評価方法であって、
前記第３ステップにおいて前記パラメータ生成装置は、動画像を入力として、前記動画像を前記実環境シミュレーションの結果として取得するためのパラメータを出力するように学習された学習済みモデルに、再現対象の動画像を入力することにより、前記再現対象の動画像を前記実環境シミュレーションにおいて再現するためのパラメータを推定する、
動画像評価方法。

【請求項14】

シミュレート装置が、利用者が視聴者に提示する動画像を撮影する実際の環境である実環境に関し、前記実環境の状態と、前記実環境における前記動画像の撮影とをシミュレーションする実環境シミュレーションを行う第１ステップと、
評価装置が、前記動画像を前記視聴者に提示する目的に関する第１の評価観点に基づいて前記実環境シミュレーションの結果を評価する第２ステップと、
を有する動画像評価方法であって、
前記実環境シミュレーションは、前記実環境を仮想空間に再現し、前記仮想空間を仮想的なカメラによって撮影した動画像をシミュレーション結果として出力するものであり、
前記評価装置は、マルチモーダルの大規模言語モデルを用いて構成され、前記シミュレーション結果としての前記動画像、または前記実環境シミュレーションのパラメータに基づいて前記実環境シミュレーションの結果を評価するものであり、
前記評価装置は、前記実環境シミュレーションの評価に関して、評価対象の動画像を前記シミュレート装置から入力するとともに、前記利用者の端末装置を介して、前記第１の評価観点に追加すべき第２の評価観点をテキスト形式で入力し、
前記評価装置は、前記第１の評価観点および前記第２の評価観点に基づいて前記実環境シミュレーションの結果を評価する、
動画像評価方法。

【請求項15】

１以上のプロセッサーに、
利用者が視聴者に提示する動画像を撮影する実際の環境である実環境に関し、前記実環境の状態と、前記実環境における前記動画像の撮影とをシミュレーションする実環境シミュレーションを行う第１ステップと、
前記動画像を前記視聴者に提示する目的に関する第１の評価観点で前記実環境シミュレーションの結果を評価する第２ステップと、
を実行させるためのプログラムであって、
前記実環境シミュレーションは、前記実環境を仮想空間に再現し、前記仮想空間を仮想的なカメラによって撮影した動画像をシミュレーション結果として出力するものであり、
前記第２ステップは、前記実環境シミュレーションのパラメータに基づいて前記実環境シミュレーションによって取得される動画像の前記第１の評価観点での評価結果を出力するものである、
プログラム。

【請求項16】

１以上のプロセッサーに、
利用者が視聴者に提示する動画像を撮影する実際の環境である実環境に関し、前記実環境の状態と、前記実環境における前記動画像の撮影とをシミュレーションする実環境シミュレーションを行う第１ステップと、
前記動画像を前記視聴者に提示する目的に関する第１の評価観点で前記実環境シミュレーションの結果を評価する第２ステップと、
前記実環境シミュレーションのパラメータに基づいて、前記実環境シミュレーションの結果として取得された動画像を前記実環境で撮影するための情報を人が理解可能な態様で記載した撮影計画書を生成する第３ステップと、
を実行させるためのプログラムであって、
前記実環境シミュレーションは、前記実環境を仮想空間に再現し、前記仮想空間を仮想的なカメラによって撮影した動画像をシミュレーション結果として出力するものであり、
前記第２ステップは、前記シミュレーション結果としての前記動画像、または前記実環境シミュレーションのパラメータに基づいて前記実環境シミュレーションの結果を評価するものであり、
前記撮影計画書を入力として、前記撮影計画書に係る前記パラメータを用いた実環境シミュレーションによって取得される動画像を前記第１の評価観点で評価した結果を出力するように学習された学習済みモデルに、評価対象の撮影計画書を入力することにより、前記動画像の前記目的に対する評価結果を出力する、
プログラム。

【請求項17】

１以上のプロセッサーに、
利用者が視聴者に提示する動画像を撮影する実際の環境である実環境に関し、前記実環境の状態と、前記実環境における前記動画像の撮影とをシミュレーションする実環境シミュレーションを行う第１ステップと、
前記動画像を前記視聴者に提示する目的に関する第１の評価観点で前記実環境シミュレーションの結果を評価する第２ステップと、
前記実環境シミュレーションを実行するために使用するパラメータを生成する第３ステップと、
を実行させ、
前記実環境シミュレーションは、前記実環境を仮想空間に再現し、前記仮想空間を仮想的なカメラによって撮影した動画像をシミュレーション結果として出力するものであり、
前記第２ステップは、前記シミュレーション結果としての前記動画像、または前記実環境シミュレーションのパラメータに基づいて前記実環境シミュレーションの結果を評価するものであり、
前記第３ステップによるパラメータセットの変更と、前記第１ステップによる変更後のパラメータセットでの前記実環境シミュレーションの実行とを繰り返し実行させるためのプログラムであって、
前記第３ステップにおいて、
前記実環境シミュレーションの第１のパラメータセットと、
前記第１のパラメータセットと一部のパラメータ値が異なるパラメータセットであって、前記第１のパラメータセットの評価結果よりも高い評価結果を得た第２のパラメータセットによる実環境シミュレーションの評価結果と、
の関係性を学習した学習済みモデルに推定対象である第３のパラメータセットを入力することにより、第３のパラメータセットよりも高い評価結果を得ることができる第４のパラメータセットを推定する、
プログラム。

【請求項18】

１以上のプロセッサーに、
利用者が視聴者に提示する動画像を撮影する実際の環境である実環境に関し、前記実環境の状態と、前記実環境における前記動画像の撮影とをシミュレーションする実環境シミュレーションを行う第１ステップと、
前記動画像を前記視聴者に提示する目的に関する第１の評価観点で前記実環境シミュレーションの結果を評価する第２ステップと、
前記実環境シミュレーションを実行するために使用するパラメータを生成する第３ステップと、
を実行させ、
前記実環境シミュレーションは、前記実環境を仮想空間に再現し、前記仮想空間を仮想的なカメラによって撮影した動画像をシミュレーション結果として出力するものであり、
前記第２ステップは、前記シミュレーション結果としての前記動画像、または前記実環境シミュレーションのパラメータに基づいて前記実環境シミュレーションの結果を評価するものであり、
パラメータセットの変更と、変更後のパラメータセットでの前記実環境シミュレーションの実行とを繰り返し実行させるためのプログラムであって、
前記第３ステップにおいて、動画像を入力として、前記動画像を前記実環境シミュレーションの結果として取得するためのパラメータを出力するように学習された学習済みモデルに、再現対象の動画像を入力することにより、前記再現対象の動画像を前記実環境シミュレーションにおいて再現するためのパラメータを推定する、
プログラム。

【請求項19】

１以上のプロセッサーに、
利用者が視聴者に提示する動画像を撮影する実際の環境である実環境に関し、前記実環境の状態と、前記実環境における前記動画像の撮影とをシミュレーションする実環境シミュレーションを行う第１ステップと、
前記動画像を前記視聴者に提示する目的に関する第１の評価観点に基づいて前記実環境シミュレーションの結果を評価する第２ステップと、
を実行させるためのプログラムであって、
前記実環境シミュレーションは、前記実環境を仮想空間に再現し、前記仮想空間を仮想的なカメラによって撮影した動画像をシミュレーション結果として出力するものであり、
前記第２ステップは、マルチモーダルの大規模言語モデルを用いて実現され、前記シミュレーション結果としての前記動画像、または前記実環境シミュレーションのパラメータに基づいて前記実環境シミュレーションの結果を評価するものであり、
前記実環境シミュレーションの評価に関して、評価対象の動画像を入力するとともに、前記利用者の端末装置を介して、前記第１の評価観点に追加すべき第２の評価観点をテキスト形式で入力し、
前記第１の評価観点および前記第２の評価観点に基づいて前記実環境シミュレーションの結果を評価する、
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、動画像評価システム、動画像評価方法、およびプログラムの技術に関する。

【背景技術】

【0002】

従来、動画像等の制作物について、制作物が提示対象に与える効果（提示効果）を、機械学習によって構築された学習済みモデルを用いて推定し、その推定結果に基づいて制作物を評価する技術が提案されている（例えば特許文献１および非特許文献１参照）。このような技術によれば、ユーザは、提示効果が高い制作物を効率良く制作することができる。

【0003】

また一方で、従来、実環境における動画像の撮影をシミュレーションによって効率化する技術が提案されている（例えば非特許文献２参照）。非特許文献２の技術によれば、ユーザは、シミュレーションによって納得の行く撮影パターンを決定した上で実環境での撮影を行うことができるので、所望の動画像を効率良く作成することができる。

【先行技術文献】

【特許文献】

【0004】

【文献】特許第６９９３９４７号公報

【非特許文献】

【0005】

【文献】“AIで広告クリエイティブ制作を一変、報酬は広告効果がでた時のみの料金体系「極予測AI」の提供を開始”，［online］，令和２年５月１５日，株式会社サイバーエージェント，［令和６年７月２９日検索］，インターネット ＜URL：https://www.cyberagent.co.jp/news/detail/id=24647＞

【文献】“Why FrameForge”，［online］，Innoventive Software, LLC，［令和６年７月２９日検索］，インターネット ＜URL：https://www.frameforge.com/pages/why-frameforge＞

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、従来の技術では、目的に合致した提示効果の高い動画像を必ずしも効率良く撮影することができない場合があった。例えば、特許文献１や非特許文献１の技術では、提示効果を高めるために評価対象の制作物の数を多くすると、実環境での撮影工程がボトルネックとなってしまい、品質向上と効率化がトレードオフの関係となってしまう。このことは、非特許文献２の技術によって撮影の多くをシミュレーションに置き換えたとしても同様である。

【0007】

上記事情に鑑み、本発明は、目的に合致した提示効果の高い動画像をより効率良く撮影することを可能にする技術の提供を目的としている。

【課題を解決するための手段】

【0008】

本発明の一態様は、利用者が視聴者に提示する動画像を撮影する実際の環境である実環境に関し、前記実環境の状態と、前記実環境における前記動画像の撮影とをシミュレーションする実環境シミュレーションを行うシミュレート装置と、前記動画像を前記視聴者に提示する目的に関する第１の評価観点で前記実環境シミュレーションの結果を評価する評価装置と、を備え、前記実環境シミュレーションは、前記実環境を仮想空間に再現し、前記仮想空間を仮想的なカメラによって撮影した動画像をシミュレーション結果として出力するものであり、前記評価装置は、前記シミュレーション結果としての前記動画像、または前記実環境シミュレーションのパラメータに基づいて前記実環境シミュレーションの結果を評価する、動画像評価システムである。

【0009】

本発明の一態様は、上記の動画像評価システムであって、前記評価装置は、前記仮想空間が撮影された動画像を入力として、前記動画像の前記第１の評価観点での評価結果を出力するように学習された学習済みモデルに、前記実環境シミュレーションにおいて撮影された動画像を入力することにより、前記動画像の前記目的に対する評価結果を出力するものである。

【0010】

本発明の一態様は、上記の動画像評価システムであって、前記評価装置は、前記パラメータを入力として、前記パラメータを用いた実環境シミュレーションによって取得される動画像の前記第１の評価観点での評価結果を出力するように学習された学習済みモデルに、評価対象のパラメータを入力することにより、前記評価対象のパラメータを用いた実環境シミュレーションによって取得される動画像の前記目的に対する評価結果を出力するものである。

【0011】

本発明の一態様は、上記の動画像評価システムであって、前記パラメータに基づいて、前記実環境シミュレーションの結果として取得された動画像を前記実環境で撮影するための情報を人が理解可能な態様で記載した撮影計画書を生成する撮影計画書生成装置をさらに備え、前記評価装置は、前記撮影計画書を入力として、前記撮影計画書に係る前記パラメータを用いた実環境シミュレーションによって取得される動画像を前記第１の評価観点で評価した結果を出力するように学習された学習済みモデルに、評価対象の撮影計画書を入力することにより、前記動画像の前記目的に対する評価結果を出力するものである。

【0012】

本発明の一態様は、上記の動画像評価システムであって、前記実環境の情報を読み取るスキャン装置をさらに備え、前記シミュレート装置は、前記スキャン装置が前記実環境の情報を読み取ったスキャン結果を用いて前記仮想空間に前記実環境を再現するものである。

【0013】

本発明の一態様は、上記の動画像評価システムであって、前記シミュレート装置は、前記実環境シミュレーションにおいて、前記実環境における音、光、または天候を前記仮想空間において再現するものである。

【0014】

本発明の一態様は、上記の動画像評価システムであって、前記シミュレート装置が前記実環境シミュレーションを実行するために使用するパラメータを生成するパラメータ生成装置をさらに備え、前記パラメータ生成装置は、パラメータセットの一部または全部を変更して新たなパラメータセットを生成する機能を有し、前記パラメータ生成装置によるパラメータセットの変更と、前記シミュレート装置による変更後のパラメータセットでの前記実環境シミュレーションの実行とを繰り返し実行するものである。

【0015】

本発明の一態様は、上記の動画像評価システムであって、前記パラメータ生成装置は、
前記実環境シミュレーションの第１のパラメータセットと、前記第１のパラメータセットと一部のパラメータ値が異なるパラメータセットであって、前記第１のパラメータセットの評価結果よりも高い評価結果を得た第２のパラメータセットによる実環境シミュレーションの評価結果と、の関係性を学習した学習済みモデルに推定対象である第３のパラメータセットを入力することにより、第３のパラメータセットよりも高い評価結果を得ることができる第４のパラメータセットを推定するものである。

【0016】

本発明の一態様は、上記の動画像評価システムであって、前記パラメータ生成装置は、動画像を入力として、前記動画像を前記実環境シミュレーションの結果として取得するためのパラメータを出力するように学習された学習済みモデルに、再現対象の動画像を入力することにより、前記再現対象の動画像を前記実環境シミュレーションにおいて再現するためのパラメータを推定するものである。

【0017】

本発明の一態様は、上記の動画像評価システムであって、前記利用者の端末装置を介して、前記実環境シミュレーションの第２の評価観点をテキスト形式で前記評価装置に入力し、前記評価装置は、前記第１の評価観点または前記第２の評価観点に基づいて前記実環境シミュレーションの結果を評価するものである。

【0018】

本発明の一態様は、シミュレート装置が、利用者が視聴者に提示する動画像を撮影する実際の環境である実環境に関し、前記実環境の状態と、前記実環境における前記動画像の撮影とをシミュレーションする実環境シミュレーションを行う第１ステップと、評価装置が、前記動画像を前記視聴者に提示する目的に関する第１の評価観点で前記実環境シミュレーションの結果を評価する第２ステップと、を有する動画像評価方法であって、前記実環境シミュレーションは、前記実環境を仮想空間に再現し、前記仮想空間を仮想的なカメラによって撮影した動画像をシミュレーション結果として出力するものであり、前記第２ステップは、前記シミュレーション結果としての前記動画像、または前記実環境シミュレーションパラメータに基づいて前記実環境シミュレーションの結果を評価するものである。

【0019】

本発明の一態様は、１以上のプロセッサーに、利用者が視聴者に提示する動画像を撮影する実際の環境である実環境に関し、前記実環境の状態と、前記実環境における前記動画像の撮影とをシミュレーションする実環境シミュレーションを行う第１ステップと、前記動画像を前記視聴者に提示する目的に関する第１の評価観点で前記実環境シミュレーションの結果を評価する第２ステップと、を実行させるためのプログラムであって、前記実環境シミュレーションは、前記実環境を仮想空間に再現し、前記仮想空間を仮想的なカメラによって撮影した動画像をシミュレーション結果として出力するものであり、前記第２ステップは、前記シミュレーション結果としての前記動画像、または前記実環境シミュレーションパラメータに基づいて前記実環境シミュレーションの結果を評価するものである。

【発明の効果】

【0020】

本発明により、目的に合致した提示効果の高い動画像をより効率良く撮影することが可能となる。

【図面の簡単な説明】

【0021】

【図1】第１実施形態の動画像評価システム１Ａのシステム構成の一例を示す図である。

【図2】第１実施形態のシミュレート装置３００の機能構成の一例を示す図である。

【図3】第１実施形態の撮影計画書生成装置４００の機能構成の一例を示す図である。

【図4】第１実施形態の評価装置５００の機能構成の一例を示す図である。

【図5】実環境シミュレーションの概略を示すイメージ図（その１）である。

【図6】実環境シミュレーションの概略を示すイメージ図（その２）である。

【図7】第１実施形態の動画像評価システム１Ａの処理の流れの一例を示す図である。

【図8】第２実施形態の動画像評価システム１Ｂのシステム構成の一例を示す図である。

【図9】第３実施形態の動画像評価システム１Ｃのシステム構成の一例を示す図である。

【図10】実施形態の動画像評価システム１について第３の変形例を説明する図である。

【発明を実施するための形態】

【0022】

以下、本発明の実施形態について、図面を参照して詳細に説明する。

【0023】

＜第１実施形態＞
図１は、第１実施形態の動画像評価システム１Ａのシステム構成の一例を示す図である。動画像評価システム１Ａは、実環境Ｒにおける動画像の撮影をシミュレーションするとともに、シミュレーション結果（シミュレーションで取得された動画像）を評価して利用者Ｕに提示するシステムである。実施形態の動画像評価システム１Ａは、利用者Ｕが評価の高いシミュレーション結果が得られた撮影条件を実環境Ｒに適用することで、目的に合致した提示効果の高い動画像を効率良く制作することを可能にするものである。動画像は、画像であってもよいし、複数の時系列画像を再生する動画であってもよいし、それらの両方であってもよい。例えば、動画像は、利用者Ｕが上記目的のために視聴者に提示するものであってよい。一例として、動画像は、例えば広告を宣伝する動画像であってよく、その場合の目的は広告効果を高めることであってよい。

【0024】

動画像評価システム１Ａは、例えば、利用者端末装置１００と、パラメータ生成装置２００と、シミュレート装置３００と、撮影計画書生成装置４００と、評価装置５００と、を備える。利用者端末装置１００と、パラメータ生成装置２００と、シミュレート装置３００と、撮影計画書生成装置４００と、評価装置５００とは、ネットワークＮＷを介して互いに通信可能である。ネットワークＮＷは、無線通信を用いたネットワークであってもよいし、有線通信を用いたネットワークであってもよい。ネットワークＮＷは、例えばインターネットを用いて構成されてもよいし、ローカルエリアネットワーク（ＬＡＮ）を用いて構成されてもよい。ネットワークＮＷは、複数のネットワークが組み合わされて構成されてもよい。

【0025】

利用者端末装置１００は、動画像評価システム１Ａの利用者Ｕが使用する端末装置である。例えば、利用者端末装置１００は、スマートフォンやタブレット、パーソナルコンピュータなどの端末装置であってよい。利用者端末装置１００では、利用者向けインターフェースが動作する。利用者Ｕは、利用者向けインターフェースを操作することにより、動画像評価システム１Ａとの間のやり取りを行うことができる。利用者向けインターフェースは、専用のアプリケーションプログラムであってもよいし、ウェブブラウザを介して提供されるウェブアプリケーションであってもよい。

【0026】

パラメータ生成装置２００は、後述のシミュレート装置３００が実環境Ｒにおける動画像の撮影を仮想空間上でシミュレーションする処理（以下「実環境シミュレーション処理」という。）のパラメータを生成する装置である。パラメータ生成装置２００は、利用者端末装置１００からパラメータの設定操作を受け付け、設定されたパラメータをシミュレート装置３００および撮影計画書生成装置４００に供給する。パラメータは、実環境Ｒにおける撮影を仮想空間に再現するためのパラメータである。より具体的には、パラメータには、実環境Ｒにおいて撮影対象となる空間の状態を仮想的に再現するためのパラメータ（空間再現用パラメータ）と、仮想的に再現された空間（仮想空間）の状態を仮想的なカメラで撮影するためのパラメータ（撮影用パラメータ）とが含まれる。空間再現用パラメータには、仮想空間の形状や装飾に関するパラメータや、仮想空間におけるオブジェクトの配置や動作に関するパラメータなどが含まれる。また、撮影用パラメータには、カメラワークの制御に関するパラメータなどが含まれる。３Ｄオブジェクトには、テーブルや椅子、机などの静的物体や、仮想空間内で動く動的物体（歩く人や走る動物、動作する機械、動く物など）が含まれる。

【0027】

パラメータ生成装置２００は、利用者の設定操作に基づいてパラメータを生成、変更することに加えて、一回の実環境シミュレーションに使用されるパラメータ群（以下「パラメータセット」という。）の一部を変更して新たなパラメータセットを生成することができる。パラメータ生成装置２００は、変更対象のパラメータをランダムに選択してもよいし、変更元のパラメータセットによるシミュレーション結果に基づいて変更対象のパラメータを選択してもよい。また、パラメータ生成装置２００は、パラメータの値をランダムに変更してもよいし、変更元のパラメータセットによるシミュレーション結果に基づいて変更後のパラメータの値を決定してもよい。

【0028】

シミュレート装置３００は、実環境シミュレーションを実行する装置である。より具体的には、シミュレート装置３００は、仮想空間の状態を時系列に再現する第１シミュレーションと、第１シミュレーションによって再現される仮想空間の状態を時系列で撮影する第２シミュレーションとを実行する。シミュレート装置３００は、第２シミュレーションによって撮影された動画像をシミュレーション結果として評価装置５００に供給する。シミュレート装置３００は、実環境シミュレーションに用いたパラメータセットをシミュレーション結果に含めて評価装置５００に供給してもよい。

【0029】

撮影計画書生成装置４００は、利用者Ｕがシミュレーション結果を実環境Ｒで再現するための計画を示す情報（以下「撮影計画書」という。）を生成する装置である。撮影計画書生成装置４００は、パラメータ生成装置２００から供給されたパラメータに基づいて撮影計画書を生成する。例えば、撮影計画書は、仮想空間において再現されたシミュレーション環境を実環境Ｒにおいて再現するための情報を含む。例えば、実環境シミュレーションにおいて仮想的な演者（パラメータにより定義される動的物体の一例）による演技が再現される場合、撮影計画書は、仮想的な演者による演技の内容（例えば立ち位置や動き、表情、セリフなど）を実環境Ｒで演技する現実の演者に教示する台本やコンテとしての情報を含み得る。撮影計画書生成装置４００は、生成した撮影計画書を評価装置５００に供給する。

【0030】

上述のとおり、実環境シミュレーションにおいて再現される仮想空間の状態は、パラメータ生成装置２００によって生成されたパラメータに基づくものであるので、撮影計画書は、本質的には実環境シミュレーションのパラメータと同義である。しかしながら、パラメータは、シミュレート装置３００が解釈できるような態様で表現されたデータであり、必ずしも人が目で見て内容や意味を理解できるような態様で表現されていないことが一般的である。そのため、撮影計画書生成装置４００は、実環境シミュレーションのパラメータの内容や意味を、人が目で見て理解できるような形式に変換することにより撮影計画書を生成するものである。なお、撮影計画書には、利用者Ｕが実環境Ｒでの撮影を行うのに必要な情報が含まれていればよく、必ずしもすべてのパラメータに対応する情報が含まれる必要はない。

【0031】

評価装置５００は、シミュレート装置３００によるシミュレーション結果を評価する装置である。より具体的には、評価装置５００は、シミュレート装置３００からシミュレーション結果として提供される動画像のそれぞれについて、どの程度目的に合致しているかのスコアリングを行う。評価装置５００は、同じ目的の実環境シミュレーションによって生成された複数の動画像のスコアに基づいて利用者Ｕに提示する動画像を決定し、当該動画像の撮影計画書を利用者端末装置１００に供給する。

【0032】

利用者Ｕは、利用者端末装置１００に供給された撮影計画書を使用して実環境での撮影を実施することにより、目的に合致した（提示効果の高い）動画像を作成することができる。

【0033】

図２は、第１実施形態のシミュレート装置３００の機能構成の一例を示す図である。シミュレート装置３００は、例えば、パラメータ入力部３１０と、記憶部３２０と、制御部３３０とを備える。制御部３３０は、例えばＣＰＵ（Central Processing Unit）等のプロセッサーとメモリーとを用いて構成される。制御部３３０は、プロセッサーがプログラムを実行することによって、第１シミュレーション実行部３３１及び第２シミュレーション実行部３３２として機能する。なお、制御部３３０の各機能の全て又は一部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されても良い。上記のプログラムは、コンピュータ読み取り可能な記録媒体に記録されても良い。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ、半導体記憶装置（例えばＳＳＤ：Solid State Drive）等の可搬媒体、コンピュータシステムに内蔵されるハードディスクや半導体記憶装置等の記憶装置である。上記のプログラムは、電気通信回線を介して送信されてもよい。

【0034】

パラメータ入力部３１０は、ネットワークＮＷを介して他の装置と通信するためのネットワークインターフェースを含み、パラメータ生成装置２００から実環境シミュレーションを実行するためのパラメータの入力を受け付ける。ネットワークインターフェースは、無線通信を行う装置であってもよいし、有線通信を行う装置であってもよい。パラメータ入力部３１０は、入力されたパラメータを記憶部３２０に保存する。

【0035】

記憶部３２０は、磁気ハードディスク装置や半導体記憶装置等の記憶装置を用いて構成される。記憶部３２０は、パラメータ入力部３１０によってパラメータ生成装置２００から入力された実環境シミュレーションのパラメータを記憶する。記憶部３２０は、実環境シミュレーションを実施するためのプログラムを格納する領域として使用されてもよいし、実環境シミュレーションの実行中に生成される一時データを保存する領域として使用されてもよいし、実環境シミュレーションの実行結果を保存する領域として使用されてもよい。

【0036】

制御部３３０は、第１シミュレーション実行部３３１および第２シミュレーション実行部３３２を制御して実環境シミュレーションを実現する。第１シミュレーション実行部３３１は第１シミュレーションを実行し、第２シミュレーション実行部３３２は第２シミュレーションを実行する。制御部３３０は、第１シミュレーションと第２シミュレーションを同時並行的に進行させることにより、仮想空間の状態が時系列に撮影された動画像を生成する。制御部３３０は、第２シミュレーション実行部３３２によって生成された動画像を実環境シミュレーションの結果として評価装置５００に供給する。

【0037】

図３は、第１実施形態の撮影計画書生成装置４００の機能構成の一例を示す図である。撮影計画書生成装置４００は、例えば、パラメータ入力部４１０と、記憶部４２０と、撮影計画書生成部４３０とを備える。撮影計画書生成部４３０は、例えばＣＰＵ（Central Processing Unit）等のプロセッサーとメモリーとを用いて構成される。撮影計画書生成部４３０は、プロセッサーがプログラムを実行することによって実現される。なお、撮影計画書生成部４３０の全て又は一部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されても良い。上記のプログラムは、コンピュータ読み取り可能な記録媒体に記録されても良い。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ、半導体記憶装置（例えばＳＳＤ：Solid State Drive）等の可搬媒体、コンピュータシステムに内蔵されるハードディスクや半導体記憶装置等の記憶装置である。上記のプログラムは、電気通信回線を介して送信されてもよい。

【0038】

パラメータ入力部４１０は、ネットワークＮＷを介して他の装置と通信するためのネットワークインターフェースを含み、パラメータ生成装置２００から撮影計画書を生成するためのパラメータの入力を受け付ける。ネットワークインターフェースは、無線通信を行う装置であってもよいし、有線通信を行う装置であってもよい。パラメータ入力部４１０は、入力されたパラメータを記憶部４２０に保存する。

【0039】

記憶部４２０は、磁気ハードディスク装置や半導体記憶装置等の記憶装置を用いて構成される。記憶部４２０は、パラメータ入力部４１０によってパラメータ生成装置２００から入力された実環境シミュレーションのパラメータを記憶する。記憶部４２０は、撮影計画書を生成する処理を実施するためのプログラムを格納する領域として使用されてもよいし、撮影計画書を生成する処理の実行中に生成される一時データを保存する領域として使用されてもよいし、生成された撮影計画書を保存する領域として使用されてもよい。

【0040】

撮影計画書生成部４３０は、パラメータ生成装置２００から入力された実環境シミュレーションのパラメータをもとに撮影計画書を生成する。例えば、撮影計画書生成部４３０は、仮想空間のパラメータを人が理解可能な所定のフォーマット（台本やコンテなど）に変換することにより撮影計画書を生成してもよい。変換は、ルールベースの変換モデルを用いて行われてもよいし、機械学習によりパラメータとフォーマットの関係性を学習した学習済みモデルを用いて行われてもよい。さらに、撮影計画書生成部４３０は、ＬＬＭ（Large Language Model）等の自然言語処理モデルを用いることで、より可読性を高めた撮影計画書を出力するように構成されてもよい。撮影計画書生成部４３０は、生成した撮影計画書を評価装置５００に供給する。機械学習モデルには、ニューラルネットワークやディープラーニング、強化学習など任意のものが使用されてよい。

【0041】

図４は、第１実施形態の評価装置５００の機能構成の一例を示す図である。評価装置５００は、例えば、シミュレーション結果入力部５１０と、記憶部５２０と、シミュレーション結果評価部５３０とを備える。シミュレーション結果評価部５３０は、例えばＣＰＵ（Central Processing Unit）等のプロセッサーとメモリーとを用いて構成される。シミュレーション結果評価部５３０は、プロセッサーがプログラムを実行することによって実現される。なお、シミュレーション結果評価部５３０の各機能の全て又は一部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されても良い。上記のプログラムは、コンピュータ読み取り可能な記録媒体に記録されても良い。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ、半導体記憶装置（例えばＳＳＤ：Solid State Drive）等の可搬媒体、コンピュータシステムに内蔵されるハードディスクや半導体記憶装置等の記憶装置である。上記のプログラムは、電気通信回線を介して送信されてもよい。

【0042】

シミュレーション結果入力部５１０は、ネットワークＮＷを介して他の装置と通信するためのネットワークインターフェースを含み、シミュレート装置３００から実環境シミュレーションの結果（動画像）の入力を受け付ける。ネットワークインターフェースは、無線通信を行う装置であってもよいし、有線通信を行う装置であってもよい。シミュレーション結果入力部５１０は、入力されたシミュレーション結果を記憶部３２０に保存する。

【0043】

記憶部５２０は、磁気ハードディスク装置や半導体記憶装置等の記憶装置を用いて構成される。記憶部５２０は、シミュレーション結果入力部５１０によってシミュレート装置３００から入力された実環境シミュレーションの結果や、シミュレーション結果の評価に使用する評価モデル５２１などの情報を記憶する。記憶部５２０は、シミュレーション結果の評価処理を実施するためのプログラムを格納する領域として使用されてもよいし、評価処理において生成される一時データを保存する領域として使用されてもよいし、実環境シミュレーションの実行結果を保存する領域として使用されてもよい。

【0044】

シミュレーション結果評価部５３０は、シミュレート装置３００から入力した実環境シミュレーションの結果を、評価モデル５２１を用いて評価する。評価モデル５２１は、機械学習により、シミュレーション結果の動画像を入力として、所定の評価基準に対する当該動画像の評価スコアを出力するように学習された学習済みモデルである。例えば、評価モデル５２１は、動画像のデータと評価スコアの組を教師データとする教師有り学習によって構築することができる。教師データとしての動画像は、シミュレーションによって撮影されたものであってもよいし、撮影計画書やシミュレーション結果をもとに実環境で撮影されたものであってもよい。また、教師データとしての評価スコアは、実環境またはシミュレーションにおいて撮影された動画像を実際に視聴者に提示して得られた広告効果を反映したものであってもよいし、広告主が当該動画像を評価した結果が反映されたものであってもよい。また、複数の評価基準がある場合には、例えば、評価モデル５２１は、評価基準が異なる複数の学習済みモデルの集合として構成されてもよい。また、例えば、評価モデル５２１の学習において、動画像のデータそのものに代えて、動画像のデータから抽出された特徴量が用いられてもよい。機械学習モデルには、ニューラルネットワークやディープラーニング、強化学習など任意のものが使用されてよい。

【0045】

また、例えば、評価モデル５２１は、テキストデータ、画像データ、動画データ、音声データなど、複数の情報源を組み合わせて処理することができるマルチモーダルＬＬＭとして構成されてもよい。この場合、例えば、評価モデル５２１は、シミュレーション結果の動画像について内容や特徴等を認識する処理を行い、その認識結果を、評価基準に照らして評価することでスコアリングするように構成され得る。例えば、マルチモーダルＬＬＭのアルゴリズムとしては、ＬＥＮＳやＩＤＥＦＩＣＳ、ＧＰＴ－４ｏなどが例示され得る。このようなマルチモーダルＬＬＭによれば、シミュレーション結果評価部５３０は、シミュレーション結果の動画像に加えて、実環境シミュレーションに関するさまざまなデータを活用してより柔軟かつより正確にシミュレーション結果を評価することが可能となる。例えば、シミュレーション結果評価部５３０は、実環境シミュレーションで使用されたパラメータや、当該パラメータに基づいて生成された撮影計画書を用いてシミュレーション結果の評価を行うように構成されてもよい。

【0046】

シミュレーション結果評価部５３０は、評価モデル５２１による評価処理を、評価対象のシミュレーション結果のそれぞれについて実施することで、シミュレーション結果のそれぞれについて評価スコアを取得する。シミュレーション結果評価部５３０は、取得された評価スコアによりシミュレーション結果にランク付けを行い、ランク付けの結果をもとに利用者Ｕに提示する撮影計画書を決定し、決定した撮影計画書を利用者端末装置１００に供給する。

【0047】

図５は、実環境シミュレーションの概略を示すイメージ図である。図５は、実環境シミュレーションが、仮想空間ＶＲの状態を再現する第１シミュレーションと、第１シミュレーションによって再現された仮想空間ＶＲの状態を仮想的なカメラＣＶ１～ＣＶ４によって撮影する第２シミュレーションとが同時に実施される様子を表している。第１シミュレーション実行部３３１は、パラメータ生成装置２００において生成された空間再現用パラメータを３Ｄシミュレーションモデルに適用することにより仮想空間ＶＲを生成する。また、第２シミュレーション実行部３３２は、パラメータ生成装置２００において生成された撮影用パラメータを３Ｄカメラモデルに適用することにより、カメラＣＶ１～ＣＶ４が仮想空間ＶＲを撮影する際のカメラワークを再現する。

【0048】

なお、図６のように、第１シミュレーション実行部３３１は、仮想空間ＶＲにおいて、被写体や被写体の動きだけでなく、音声や光など映像の魅力に関わる他の視聴覚要素を再現するように構成されてもよい。例えば、効果音やセリフ、背景音、オブジェクトが発する音などが再現されてもよいし、オブジェクトが発する光や光の変化、光を使ったエフェクトなどが再現されてもよい。また、例えば、音声や視覚効果の組み合わせによって天候などの環境要素が再現されてもよい。

【0049】

また、第２シミュレーション実行部３３２は、仮想空間ＶＲの撮像に合わせて、仮想空間ＶＲで再現された音声を録音するように構成されてもよい。この場合、シミュレート装置３００は、より実環境Ｒに近い形で撮影をシミュレーションすることが可能となるので、評価装置５００は、シミュレーション結果の動画像に対して、より実環境Ｒに近いレベルで精度の高い評価を行うことが可能となる。

【0050】

また、この場合、パラメータ生成装置２００は、音声や視覚効果のバリエーションも含めたパラメータの組み合わせ（パラメータセット）を生成するように構成されてもよい。これにより、利用者Ｕは、より多くの撮影パターンに対応した撮影計画書の中からより提示効果の高い撮影計画書を取得することが可能となり、実環境Ｒにおいて、より目的に合致した動画像を撮影することが可能となる。

【0051】

図７は、第１実施形態の動画像評価システム１Ａの処理の流れの一例を示す図である。まず、利用者Ｕが利用者端末装置１００を操作して実環境シミュレーションに関するパラメータの設定操作を行う（Ｓ１０１）。続いて、パラメータ生成装置２００が、Ｓ１０１の設定内容に基づいて実環境シミュレーションのパラメータを生成する（Ｓ１０２）。ここでは、パラメータ生成装置２００は、複数のパラメータセットを生成する場合について説明する。パラメータ生成装置２００は、複数のパラメータセットのうち１つを選択してシミュレート装置３００および撮影計画書生成装置４００に供給する（Ｓ１０３、Ｓ１０４）。

【0052】

続いて、シミュレート装置３００がＳ１０３でパラメータ生成装置２００から入力されたパラメータセットを用いて実環境シミュレーションを実行する（Ｓ１０５）。シミュレート装置３００は、Ｓ１０５で実行した実環境シミュレーションの結果を評価装置５００に供給する（Ｓ１０６）。Ｓ１０６では、シミュレーション結果の動画像に加えて、実行した実環境シミュレーションに対応するパラメータセットが供給されてもよい。

【0053】

一方で、撮影計画書生成装置４００がＳ１０３でパラメータ生成装置２００から入力されたパラメータセットをもとに撮影計画書を生成する（Ｓ１０７）。撮影計画書生成装置４００は、Ｓ１０７で生成した撮影計画書を評価装置５００に供給する（Ｓ１０８）。続いて、評価装置５００がＳ１０６でシミュレート装置３００から入力されたシミュレーション結果に対して評価処理を実行する（Ｓ１０９）。評価装置５００は、Ｓ１０９におけるシミュレーション結果をＳ１０７で生成された撮影計画書に対応づけて保存する。

【0054】

ここまでがＳ１０３で選択・入力された一のパラメータセットに対応する処理であり、Ｓ１０３～Ｓ１０９の処理群（破線部）は、Ｓ１０２で生成された複数のパラメータセットのそれぞれについて実行されるものである。Ｓ１０２で生成された複数のパラメータセットの全てについてＳ１０３～Ｓ１０９の処理が実施されると、続いて評価装置５００は、複数のパラメータセットに対応した複数の実環境シミュレーションの評価結果をもとに利用者Ｕに提示する撮影計画書を決定する（Ｓ１１０）。例えば、評価装置５００は、最も評価スコアが高いシミュレーション結果に対応する撮影計画書を利用者Ｕに提示する撮影計画書として決定してもよいし、基準値以上の評価スコアを有するシミュレーション結果に対応する撮影計画書を利用者Ｕに提示する撮影計画書として決定してもよい。評価装置５００は、Ｓ１１０で決定した撮影計画書を利用者端末装置１００に供給する（Ｓ１１１）。そして、利用者ＵはＳ１１１で供給された撮影計画書を用いて実環境での撮影を実施することにより、目的に合致した提示効果の高い動画像を効率良く撮影することができる。

【0055】

このように構成された第１実施形態の動画像評価システム１Ａによれば、実環境での撮影に適用する撮影パターンを、シミュレーションによる評価を繰り返して探索していくことができるので、目的に合致した提示効果の高い動画像をより効率良く撮影することが可能となる。また、第１実施形態の動画像評価システム１Ａによれば、高い評価スコアが得られたシミュレーション結果に係る撮影パターン（パラメータ）が撮影関係者に理解しやすい撮影計画書という形で利用者に提示されるので、利用者は実環境での撮影をより効率良く行うことができる。

【0056】

＜第２実施形態＞
図８は、第２実施形態の動画像評価システム１Ｂのシステム構成の一例を示す図である。第２実施形態の動画像評価システム１Ｂは、スキャン装置６００をさらに備える点で第１実施形態の動画像評価システム１Ａと異なる。スキャン装置６００は、実環境Ｒの状態を読み取って（スキャンして）シミュレート装置３００に供給する装置である。より具体的には、スキャン装置６００は、実環境Ｒに存在する人やオブジェクトを撮像し、その動画像をスキャン結果としてシミュレート装置３００に供給する。また、スキャン装置６００は、実環境Ｒで生じる音声を録音し、その音声データをスキャン結果としてシミュレート装置３００に供給してもよい。

【0057】

シミュレート装置３００は、パラメータ生成装置２００によって生成されたパラメータと、スキャン装置６００から供給された実環境Ｒのスキャン結果とに基づいて実環境シミュレーションを実行する。シミュレート装置３００は、実環境シミュレーションのパラメータに加えて、実環境Ｒのスキャン結果を用いることで、より実環境Ｒに近い仮想空間を再現することができる。また、より実環境Ｒに近い仮想空間が再現されることにより、シミュレーションにおいて撮影された動画像と、それを実環境Ｒで再現して撮影される動画像との差分が小さくなることが期待できる。その結果、シミュレーションにおいて撮影された動画像が目的に合致していると評価された場合、それを実環境Ｒで再現して撮影した動画像も目的に合致したものとなるという蓋然性が高まるので、評価装置５００の信頼性と実用性を向上させることができる。また、別の側面では、シミュレーションにおいて撮影された動画像に対する評価スコアと、それを実環境Ｒで再現して撮影される動画像に対する評価スコアとの一致度が高まることが期待できるので、その意味でも評価装置５００の信頼性と実用性を高めることができる。

【0058】

＜第３実施形態＞
図９は、第３実施形態の動画像評価システム１Ｃのシステム構成の一例を示す図である。第３実施形態の動画像評価システム１Ｃは、シミュレート装置３００が実環境シミュレーションの結果（動画像）を評価装置５００に供給せずに、実環境シミュレーションのパラメータのみを供給する点で第１実施形態の動画像評価システム１Ａと異なる。また、第３実施形態の動画像評価システム１Ｃは、評価装置５００が実環境シミュレーションの結果を入力として評価処理を行うのではなく、実環境シミュレーションのパラメータを入力として評価処理を行う点で第１実施形態の動画像評価システム１Ａと異なる。

【0059】

上述のとおり、実環境シミュレーションの結果である動画像は、実環境シミュレーションのパラメータをもとに再現された仮想空間を撮影して生成されたものである。そうすると、実環境シミュレーションの結果の動画像の内容と、実環境シミュレーションのパラメータとの間には相関性があると考えることができる。第３実施形態の動画像評価システム１Ｃは、このような考えに基づいて、シミュレーション結果の動画像の評価結果を、実環境シミュレーションのパラメータを用いて推定するようにしたものである。

【0060】

例えば、第１実施形態の動画像評価システム１Ａにおける評価結果を、対応するパラメータと組にした教師データを機械学習によって学習することにより、実環境シミュレーションのパラメータを入力として、評価スコアの推定値を出力する推定モデルを構築することができる。機械学習モデルには、ニューラルネットワークやディープラーニング、強化学習など任意のものが使用されてよい。このように構築された推定モデルを評価モデル５２１として予め評価装置５００の記憶部５２０に格納しておくことで、評価装置５００は実環境シミュレーションのパラメータをもとに評価スコアを推定することが可能となる。また、このような構成によれば、実環境シミュレーションの所要時間を削減することができるため、目的に合致した動画像を撮影するための撮影計画書をより短時間で利用者Ｕに提供することができる。また、評価装置５００が動画像を入力して評価を行う場合、レンダリングのリアリティといったシミュレーションの品質に関わる要素までもが評価結果に影響を及ぼす可能性がある。これに対して、評価装置５００がパラメータや撮影計画書を入力して評価を行う場合には、前述のようなシミュレーションの品質に関わる要素を評価の対象外とすることができるので、シミュレーションに固有の要素に左右されない評価を実現することができ、評価装置５００の信頼性を向上させることができる。

【0061】

以上説明した少なくとも１つの実施形態によれば、目的に合致した提示効果の高い動画像をより効率良く撮影することができる。

【0062】

＜変形例＞
以下、実施形態の動画像評価システム１Ａ～１Ｃの変形例について説明する。以下では、特に区別しない場合、動画像評価システム１Ａ～１Ｃを総称して動画像評価システム１と称する。

【0063】

（第１の変形例）
パラメータ生成装置２００は、実環境シミュレーションのパラメータセットについて、シミュレーション結果の評価スコアを向上させるために変更すべきパラメータ（以下「変更対象パラメータ」という。）を推定し、推定された変更対象パラメータを変更して新たなパラメータセットを生成する機能（以下「パラメータ変更機能」という。）を有するように構成されてもよい。例えば、変更対象パラメータの推定は、実環境シミュレーションのパラメータセット（以下「第１パラメータセット」という。）と、当該パラメータセットと一部のパラメータ値が異なるパラメータセット（以下「第２パラメータセット」という。）による実環境シミュレーションの評価スコアとの関係性を機械学習によって学習した学習済みモデル（以下「変更対象パラメータ推定モデル」という。）によって実現し得る。ここで、第２パラメータセットは、第１パラメータセットの評価スコアよりも高い評価スコアを得たパラメータセットである。変更対象パラメータ推定モデルは、第１パラメータセットと第２パラメータセットの差分を出力するように構成される。変更対象パラメータ推定モデルは、第２パラメータセットを出力するように構成されてもよい。

【0064】

パラメータ生成装置２００は、このように学習された変更対象パラメータ推定モデルに推定対象のパラメータセットを入力することにより、入力したパラメータセットよりも高い評価スコアを得ることができる（と考えられる）パラメータセットを取得することができる。この場合、動画像評価システム１は、変更対象パラメータの推定と、変更対象パラメータを変更したパラメータセットでの実環境シミュレーションの実行とを繰り返し実行するように構成されてもよい。これにより、利用者Ｕは、より提示効果の高い動画像を効率良く生成することができる。

【0065】

（第２の変形例）
パラメータ生成装置２００は、利用者Ｕが指定した動画像に対して、当該動画像を実環境Ｒの仮想空間で再現するためのパラメータ（以下「再現パラメータ」という。）を提示する機能を有するように構成されてもよい。例えば、再現パラメータの推定は、実環境シミュレーションのパラメータと、当該パラメータで実施された実環境シミュレーションの結果（動画像）との関係性を機械学習によって学習した学習済みモデル（以下「再現パラメータ推定モデル」という。）によって実現し得る。ここで、再現パラメータ推定モデルは、シミュレーション結果の動画像を入力して、当該動画像を得ることができる（と考えられる）パラメータセットを出力するように構成される。

【0066】

一般に、動画像の撮影に際して、撮りたい動画像のサンプルはあっても、そのサンプルのような動画像を撮像するためのカメラワークや構図などが分からず、実環境シミュレーションで試行錯誤を繰り返す必要があり、撮影コストが大きくなる可能性がある。これに対して、第２の変形例のパラメータ生成装置２００によれば、利用者Ｕは、参考にしたい動画像をパラメータ生成装置２００に入力することで、当該動画像を実環境シミュレーションによって取得するためのパラメータを取得することができるので、より提示効果の高い動画像を効率良く生成することができる。なお、再現パラメータ推定モデルの学習を実環境シミュレーションの結果を用いて行う場合、撮りたい動画像のサンプルは、実環境Ｒまたは実環境Ｒを模した仮想空間で撮影されたものであることが望ましい。

【0067】

（第３の変形例）
図１０は、実施形態の動画像評価システム１について第３の変形例を説明する図である。第３の変形例は、利用者端末装置１００が、シミュレーション結果に対する評価観点の入力を受け付け、入力された評価観点をテキスト形式で評価装置５００に供給するようにしたものである。利用者端末装置１００は、個々の実環境シミュレーションごとに評価観点の入力を受け付けてもよいし、既定の評価観点を上書きするための新たな評価観点の入力を受け付けてもよいし、既定の評価観点に追加すべき新たな評価観点の入力を受け付けてもよい。この場合、例えば、マルチモーダルＬＬＭを用いて評価モデル５２１を構成することで、評価装置５００は、利用者端末装置１００から供給された評価観点の情報を評価モデル５２１に入力することにより、シミュレーション結果に対して当該評価観点を考慮した評価スコアを得ることができる。

【0068】

第３の変形例の動画像評価システム１によれば、利用者Ｕは、過去のシミュレーション結果などを考慮して、評価観点を柔軟に変更しながら実環境シミュレーションを行うことができるので、目的に合致した提示効果の高い動画像をより効率良く撮影することが可能となる。

【0069】

なお、実施形態の動画像評価システム１は、第１実施形態～第３実施形態および第１～第３の変形例を適宜組み合わせた形で構成されてもよい。例えば、実環境シミュレーションの結果である動画像と、実環境シミュレーションのパラメータと、当該パラメータに基づく撮影計画書とのうちいずれか１つ以上を入力として、当該実環境シミュレーションの評価結果を出力するようにしてもよい。

【0070】

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

【産業上の利用可能性】

【0071】

本発明は、所定の提示効果を有する動画像の制作を支援する用途に適用可能である。

【符号の説明】

【0072】

１、１Ａ～１Ｃ 動画像評価システム
１００ 利用者端末装置
２００ パラメータ生成装置
３００ シミュレート装置
３１０ パラメータ入力部
３２０ 記憶部
３３０ 制御部
３３１ 第１シミュレーション実行部
３３２ 第２シミュレーション実行部
４００ 撮影計画書生成装置
４１０ パラメータ入力部
４２０ 記憶部
４３０ 撮影計画書生成部
５００ 評価装置
５１０ シミュレーション結果入力部
５２０ 記憶部
５２１ 評価モデル
５３０ シミュレーション結果評価部
６００ スキャン装置

【要約】

【課題】提示効果の高い動画像をより効率良く撮影することを可能にする技術を提供すること。
【解決手段】本発明の一態様は、利用者が視聴者に提示する動画像を撮影する実際の環境である実環境に関し、前記実環境の状態と、前記実環境における前記動画像の撮影とをシミュレーションする実環境シミュレーションを行うシミュレート装置と、前記動画像を前記視聴者に提示する目的に関する第１の評価観点で前記実環境シミュレーションの結果を評価する評価装置と、を備え、前記実環境シミュレーションは、前記実環境を仮想空間に再現し、前記仮想空間を仮想的なカメラによって撮影した動画像をシミュレーション結果として出力するものであり、前記評価装置は、所定の学習済みモデルに、前記実環境シミュレーションにおいて撮影された動画像を入力することにより、前記動画像の前記目的に対する評価結果を出力する、動画像評価システムである。
【選択図】図１

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】