特開 2025-12709 映像合成装置及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2025012709

(43)【公開日】2025-01-24

(54)【発明の名称】映像合成装置及びプログラム

(51)【国際特許分類】

   H04N 5/265 20060101AFI20250117BHJP

   G06T 13/20 20110101ALI20250117BHJP

【ＦＩ】

H04N5/265

G06T13/20

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2023115761

(22)【出願日】2023-07-14

(71)【出願人】

【識別番号】000004352

【氏名又は名称】日本放送協会

(74)【代理人】

【識別番号】100141139

【弁理士】

【氏名又は名称】及川 周

(74)【代理人】

【識別番号】100171446

【弁理士】

【氏名又は名称】高田 尚幸

(74)【代理人】

【識別番号】100114937

【弁理士】

【氏名又は名称】松本 裕幸

(74)【代理人】

【識別番号】100171930

【弁理士】

【氏名又は名称】木下 郁一郎

(72)【発明者】

【氏名】望月 菊佳

【テーマコード（参考）】

5B050

5C023

【Ｆターム（参考）】

5B050AA08

5B050DA10

5B050EA19

5B050EA27

5C023AA02

5C023AA11

5C023BA11

5C023CA03

5C023DA08

(57)【要約】      （修正有）

【課題】３Ｄモデルと２Ｄ映像のより自然な合成映像を生成する映像合成装置及びプログラムを提供する。
【解決手段】映像合成装置１は、オブジェクトの３Ｄモデルと、オブジェクトの種類、オブジェクトの大きさ、３Ｄモデルの生成手法、ポイント数及びショット種類を含む３Ｄモデル属性とを取得する３Ｄモデル属性取得部１１と、２Ｄ映像と、その解像度である２Ｄ映像解像度とを取得する２Ｄ映像属性取得部１２と、取得した３Ｄモデル属性の３Ｄモデルを２Ｄ映像に変換した場合の推定解像度と、２Ｄ映像解像度とのうち低いほうを画質に決定する画質決定部１４と、画質が推定解像度の場合、その画質に解像度を変換した２Ｄ映像と、２Ｄ映像に変換した３Ｄモデルとを合成し、画質が２Ｄ映像解像度の場合、２Ｄ映像属性取得部１２が取得した２Ｄ映像と、その画質の２Ｄ映像に変換した３Ｄモデルとを合成する映像合成部１５と、を備える。
【選択図】図２

【特許請求の範囲】

【請求項1】

ポイントクラウドによりオブジェクトが描画されたデータである三次元モデルと、前記オブジェクトの種類、前記オブジェクトの大きさ、前記三次元モデルの生成手法、前記三次元モデルのポイント数、及び、ショットの種類を含む三次元モデル属性とを取得する三次元モデル属性取得部と、
二次元映像と、前記二次元映像の解像度である二次元映像解像度とを取得する二次元映像属性取得部と、
前記三次元モデル属性の前記三次元モデルを二次元映像に変換した場合の推定解像度と、前記二次元映像解像度とのうち低いほうを画質に決定する画質決定部と、
前記推定解像度を前記画質に決定した場合、前記画質に解像度を変換した前記二次元映像と、二次元映像に変換した前記三次元モデルとを合成して合成映像を生成し、前記二次元映像解像度を前記画質に決定した場合、前記二次元映像属性取得部が取得した前記二次元映像と、前記画質の二次元映像に変換した前記三次元モデルとを合成して合成映像を生成する映像合成部と、
を備える映像合成装置。

【請求項2】

オブジェクトの種類、オブジェクトの大きさ、三次元モデルの生成手法、ポイント数、及び、ショットの種類と、推定解像度とを対応付けて記憶する画質記憶部を備え、
前記画質決定部は、前記三次元モデル属性が示す前記オブジェクトの種類を表す単語、前記オブジェクトの種類を表す単語の類語、又は、前記オブジェクトの種類を表す単語の上位概念の単語と、前記三次元モデル属性が示す前記オブジェクトの大きさ、前記生成手法、前記ポイント数、及び、前記ショットの種類とに対応した前記推定解像度を前記画質記憶部から読み出す、
請求項１に記載の映像合成装置。

【請求項3】

前記映像合成部は、前記三次元モデルのポイント数を削減し、ポイント数が削減された前記三次元モデルを二次元映像に変換することにより、前記画質の二次元映像に変換した前記三次元モデルを得る、
請求項１に記載の映像合成装置。

【請求項4】

前記二次元映像属性取得部は、取得した前記二次元映像の画面サイズを取得し、取得した画面サイズの縦横比が所定の比率である場合には、前記画面サイズの横の画素数を前記二次元映像解像度とし、取得した前記画面サイズの縦横比が前記所定の比率ではない場合には、前記画面サイズにおける縦の画素数を変更せずに縦横比を前記所定の比率とした場合の横の画素数を前記二次元映像解像度とする、
請求項１に記載の映像合成装置。

【請求項5】

コンピュータを、
ポイントクラウドによりオブジェクトが描画されたデータである三次元モデルと、前記オブジェクトの種類、前記オブジェクトの大きさ、前記三次元モデルの生成手法、前記三次元モデルのポイント数、及び、ショットの種類を含む三次元モデル属性とを取得する三次元モデル属性取得手段と、
二次元映像と、前記二次元映像の解像度である二次元映像解像度とを取得する二次元映像属性取得手段と、
前記三次元モデル属性の前記三次元モデルを二次元映像に変換した場合の推定解像度と、前記二次元映像解像度とのうち低いほうを画質に決定する画質決定手段と、
前記推定解像度を前記画質に決定した場合、前記画質に解像度を変換した前記二次元映像と、二次元映像に変換した前記三次元モデルとを合成して合成映像を生成し、前記二次元映像解像度を前記画質に決定した場合、前記二次元映像属性取得手段が取得した前記二次元映像と、前記画質の二次元映像に変換した前記三次元モデルとを合成して合成映像を生成する映像合成手段と、
として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、映像合成装置及びプログラムに関する。

【背景技術】

【0002】

異なるフォーマットの複数の映像を合成する方法として、一方の映像のフォーマットを、他方の映像のフォーマットに変換した後に合成する方法がある。例えば、３Ｄ（三次元）モデルと２Ｄ（二次元）映像とを合成する場合は、３Ｄモデルを２Ｄ映像に変換してから合成する。ここで、３Ｄモデルから２Ｄ映像への変換の際に、変換の前後で３Ｄモデルの主観的画質が低減しないようにする技術がある（例えば、特許文献１参照）。また、他の映像合成方法として、ＶＲ映像に２Ｄ映像をマッピングした合成映像を生成する技術（例えば、特許文献２参照）や、複数の高画質の画像を重畳する技術（例えば、特許文献３参照）がある。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２２－０６３８８２号公報

【特許文献2】特開２０２２－２１８８６号公報

【特許文献3】特開２０１８－１０９９４６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

３Ｄモデルと２Ｄ映像の合成のように、互いに異なるフォーマットの映像を合成すると、合成された映像が不自然に見えることがある。その要因として、映像が合成された位置や、合成された映像の大きさ、合成された映像における光の反射など様々なものが考えられる。これまでは、合成された映像を人の目で確認し、手動で各種パラメータを調整することでその不自然さを解消していたため、多大な労力を要していた。

【0005】

上述した特許文献１の技術は、ポイントクラウドをボクセル化する手法であり、ポイントクラウド単体での画質劣化を考慮しているため、２Ｄ映像との合成については述べられていない。また、特許文献２の技術は、ＶＲ映像の中の注目すべきところを部分的に高解像度化するものであり、特許文献３の技術は、静止画である全天球画像と平面画像とを統合する際に、低い画質の全天球画像に高い画質の平面画像を重畳するものである。しかしながら、これらは、合成された映像が自然に見えるようにするものではない。

【0006】

本発明は、このような事情を考慮してなされたものであり、３Ｄモデルと２Ｄ映像のより自然な合成映像を生成することができる映像合成装置及びプログラムを提供する。

【課題を解決するための手段】

【0007】

［１］本発明の一態様は、ポイントクラウドによりオブジェクトが描画されたデータである三次元モデルと、前記オブジェクトの種類、前記オブジェクトの大きさ、前記三次元モデルの生成手法、前記三次元モデルのポイント数、及び、ショットの種類を含む三次元モデル属性とを取得する三次元モデル属性取得部と、二次元映像と、前記二次元映像の解像度である二次元映像解像度とを取得する二次元映像属性取得部と、前記三次元モデル属性の前記三次元モデルを二次元映像に変換した場合の推定解像度と、前記二次元映像解像度とのうち低いほうを画質に決定する画質決定部と、前記推定解像度を前記画質に決定した場合、前記画質に解像度を変換した前記二次元映像と、二次元映像に変換した前記三次元モデルとを合成して合成映像を生成し、前記二次元映像解像度を前記画質に決定した場合、前記二次元映像属性取得部が取得した前記二次元映像と、前記画質の二次元映像に変換した前記三次元モデルとを合成して合成映像を生成する映像合成部と、を備える映像合成装置である。

【0008】

［２］本発明の一態様は、上述の映像合成装置であって、オブジェクトの種類、オブジェクトの大きさ、三次元モデルの生成手法、ポイント数、及び、ショットの種類と、推定解像度とを対応付けて記憶する画質記憶部を備え、前記画質決定部は、前記三次元モデル属性が示す前記オブジェクトの種類を表す単語、前記オブジェクトの種類を表す単語の類語、又は、前記オブジェクトの種類を表す単語の上位概念の単語と、前記三次元モデル属性が示す前記オブジェクトの大きさ、前記生成手法、前記ポイント数、及び、前記ショットの種類とに対応した前記推定解像度を前記画質記憶部から読み出す。

【0009】

［３］本発明の一態様は、上述の映像合成装置であって、前記映像合成部は、前記三次元モデルのポイント数を削減し、ポイント数が削減された前記三次元モデルを二次元映像に変換することにより、前記画質の二次元映像に変換した前記三次元モデルを得る。

【0010】

［４］本発明の一態様は、上述の映像合成装置であって、前記二次元映像属性取得部は、取得した前記二次元映像の画面サイズを取得し、取得した画面サイズの縦横比が所定の比率である場合には、前記画面サイズの横の画素数を前記二次元映像解像度とし、取得した前記画面サイズの縦横比が前記所定の比率ではない場合には、前記画面サイズにおける縦の画素数を変更せずに縦横比を前記所定の比率とした場合の横の画素数を前記二次元映像解像度とする。

【0011】

［５］本発明の一態様は、コンピュータを、ポイントクラウドによりオブジェクトが描画されたデータである三次元モデルと、前記オブジェクトの種類、前記オブジェクトの大きさ、前記三次元モデルの生成手法、前記三次元モデルのポイント数、及び、ショットの種類を含む三次元モデル属性とを取得する三次元モデル属性取得手段と、二次元映像と、前記二次元映像の解像度である二次元映像解像度とを取得する二次元映像属性取得手段と、前記三次元モデル属性の前記三次元モデルを二次元映像に変換した場合の推定解像度と、前記二次元映像解像度とのうち低いほうを画質に決定する画質決定手段と、前記推定解像度を前記画質に決定した場合、前記画質に解像度を変換した前記二次元映像と、二次元映像に変換した前記三次元モデルとを合成して合成映像を生成し、前記二次元映像解像度を前記画質に決定した場合、前記二次元映像属性取得手段が取得した前記二次元映像と、前記画質の二次元映像に変換した前記三次元モデルとを合成して合成映像を生成する映像合成手段と、として機能させるためのプログラムである。

【発明の効果】

【0012】

本発明によれば、３Ｄモデルと２Ｄ映像とのより自然な合成映像を生成が可能となる。

【図面の簡単な説明】

【0013】

【図1】本発明の実施形態による映像合成装置の処理の概要を示す図である。

【図2】第１の実施形態による映像合成装置の機能ブロック図である。

【図3】第１の実施形態による画質ＤＢの例を示す図である。

【図4】第１の実施形態によるボクセルサイズＤＢの例を示す図である。

【図5】第１の実施形態による映像合成装置の映像合成処理を示すフロー図である。

【図6】第１の実施形態による画質決定部の検索処理を示すフロー図である。

【図7】第１の実施形態による映像合成装置の処理例を示す図である。

【図8】第１の実施形態による映像合成装置の処理例を示す図である。

【図9】第２の実施形態による映像合成装置の機能ブロック図である。

【図10】第２の実施形態による映像合成装置の映像合成処理を示すフロー図である。

【図11】第１及び第２の実施形態による映像合成装置のハードウェア構成例を示す図である。

【発明を実施するための形態】

【0014】

以下、図面を参照しながら本発明の実施形態を説明する。上述のように、３Ｄモデル（３Ｄオブジェクトともいう）と２Ｄ映像を合成する際に不自然に見える要因には、位置や大きさ、光の反射などの様々なものがあるが、本実施形態では、不自然に見える要因の中でも特に解像感に着目する。例えば、公園の風景の２Ｄ実写映像の上に、注目すべき人物の３Ｄモデルを合成する場合に、背景よりも人物の解像感が低く、ぼやけて見えては不自然である。しかし、現在ポイントクラウドの解像度指標として扱われているのはポイントの数のみである。一般的に、ポイントが高密度であるほど高精細に見えるものの、異なるフォーマットと合成された際に、どれくらいの解像感に見えるかが明示されたものはない。また、ポイントクラウドのデータ量は大きく、効率的な処理を行うためにはポイントを効果的に省くことも求められる。

【0015】

図１は、本発明の実施形態による映像合成装置の処理の概要を示す図である。本実施形態の映像合成装置は、ｐｌｙなどのポイントクラウド形式の３ＤモデルＡと、ｔｉｆｆやＰＮＧ形式などの２Ｄ映像Ｂを合成する際に、双方の解像感が釣り合うように３ＤモデルＡ又は２Ｄ映像Ｂを調整する。すなわち、本実施形態の映像合成装置は、３Ｄモデルが２Ｄレンダリングされた場合に、どれくらいの解像感に見えるかを予めリストにしたＤＢ（データベース）を参照して、３ＤモデルＡを２Ｄ映像にレンダリングして得られるレンダリング２Ｄ映像Ａ’の推定の解像度を得る。映像合成装置は、レンダリング２Ｄ映像Ａ’の推定の解像度と、２Ｄ映像Ｂの解像度との解像感を釣り合わせるように合成時の解像度を決定する。映像合成装置は、決定した解像度となるように、３ＤモデルＡをダウンサンプリングするか、２Ｄ映像Ｂの解像度を変換することにより、これら異なるフォーマットの映像間の解像感を合わせて合成した合成映像Ｃを得る。以下に、本発明の詳細な実施形態を説明する。

【0016】

［第１の実施形態］
図２は、第１の実施形態による映像合成装置１の構成を示す機能ブロック図である。図２には、本実施形態と関係する機能ブロックのみを抽出して示してある。映像合成装置１は、例えば１台以上のコンピュータ装置により実現することができる。映像合成装置１は、３Ｄモデル属性取得部１１と、２Ｄ映像属性取得部１２と、画質情報記憶部１３と、画質決定部１４と、映像合成部１５と、端末別画質変換部１６と、端末解像度取得部１７とを備えて構成される。

【0017】

３Ｄモデル属性取得部１１は、３Ｄモデルと、３Ｄモデル属性情報を取得する。３Ｄモデル属性情報は、３Ｄモデルが表すオブジェクトの種類、元のモデルの大きさ、３Ｄモデル生成手法、３Ｄモデルのポイント数、及び、３Ｄモデルのショット種類の情報を含む。元のモデルの大きさとは、３Ｄモデルが表すオブジェクトの実際の大きさを表す。ショットの種類には、例えば、人物や物の全体のショットであるショットＦＳ（フルショット）、人物等の腰から頭までの範囲のショットであるＷＳ（ウェストショット）、人物等の胸から頭までの範囲のショットであるＢＳ（バストショット）、人物等の肩から頭での範囲のショットであるＵＳ（アップショット）などがある。３Ｄモデル属性取得部１１は、これらの３Ｄモデル属性情報に含まれる各情報を、例えば、３Ｄモデルが記述されているplyファイルのヘッダー等から取得してもよく、記録媒体から読み出してもよく、ネットワークを介して接続される他の装置から受信してもよい。また、３Ｄモデル属性情報の各情は、映像合成装置１が備える図示しない入力部により入力されてもよく、３Ｄモデル属性取得部１１は、３Ｄモデルを解析して、３Ｄモデル属性情報の一部又は全ての情報を取得してもよい。また、３Ｄモデル属性取得部１１は、オブジェクトの種類に応じて元のモデルの大きさを取得してもよい。

【0018】

２Ｄ映像属性取得部１２は、２Ｄ映像と、２Ｄ映像属性情報を取得する。２Ｄ映像属性情報は、取得した２Ｄ映像の解像度の情報を含む。解像度は、例えば、７６８０×４３２０（ピクセル）などの画像サイズにより表される。２Ｄ映像属性取得部１２は、任意の既存の方法により、２Ｄ映像からその画像サイズを取得する。一例として、オープンソースのライブラリであるＯｐｅｎＣＶ（Open Source Computer Vision Library）の．ｓｈａｐｅなどを用いることができる。以下では、取得した２Ｄ映像の解像度を、２Ｄ映像解像度と記載する。なお、２Ｄ映像属性取得部１２は、２Ｄ映像属性情報を記録媒体から読み出してもよく、ネットワークを介して接続される他の装置から受信してもよい。２Ｄ映像属性情報は、映像合成装置１が備える図示しない入力部により入力されてもよい。

【0019】

画質情報記憶部１３は、画質ＤＢを記憶する。画質ＤＢは、３Ｄモデルの属性情報と、その属性情報の３Ｄモデルを２Ｄレンダリングして得られる映像の推定解像度とを対応付けた情報である。推定解像度は、１６：９の画面における横の画素数の値で表される。例えば、推定解像度「１９２０」は、２Ｋ相当の画質を意味する。画質ＤＢは予め作成され、画質情報記憶部１３に格納される。

【0020】

画質決定部１４は、３Ｄモデル属性取得部１１が取得した３Ｄモデル属性情報に対応する推定解像度を画質情報記憶部１３に記憶されている画質ＤＢから読み出し、読み出した推定解像度と２Ｄ映像解像度とを比較する。画質決定部１４は、推定解像度と２Ｄ映像解像度とのうち低い方を、合成映像解像度に決定する。

【0021】

映像合成部１５は、３Ｄモデルを合成映像解像度の２Ｄ映像にレンダリングし、レンダリング２Ｄ映像を生成する。映像合成部１５は、合成映像解像度のレンダリング２Ｄ映像と、合成映像解像度の２Ｄ映像とを合成して、合成映像を生成する。映像合成部１５は、画質変換部１５１と、ボクセルサイズ情報記憶部１５２と、２Ｄレンダリング部１５３と、２Ｄ映像合成部１５４とを有する。

【0022】

画質変換部１５１は、合成映像解像度が３Ｄモデルの推定解像度である場合、３Ｄモデルをそのまま２Ｄレンダリング部１５３に出力するとともに、合成映像解像度に変換した２Ｄ映像を２Ｄ映像合成部１５４へ出力する。画質変換部１５１は、合成映像解像度が２Ｄ映像解像度である場合、２Ｄレンダリング後に合成映像解像度となるようにダウンサンプリングした３Ｄモデルを２Ｄレンダリング部１５３へ出力するとともに、２Ｄ映像の解像度を変更することなく、そのまま２Ｄ映像合成部１５４へ出力する。画質変換部１５１は、ポイント数を減らすダウンサンプリングの手法として、VoxelGridFilterなど、既存の技術を使用することができる。

【0023】

ボクセルサイズ情報記憶部１５２は、ボクセルサイズＤＢを記憶する。ボクセルサイズＤＢは、３Ｄモデルの属性情報と、３Ｄモデルを２Ｄレンダリングして得られる映像の推定解像度と、３Ｄモデルのボクセルサイズとを対応付けた情報である。画質変換部１５１は、３Ｄモデルをダウンサンプリングする際に、３Ｄモデル属性取得部１１が取得した３Ｄモデル属性情報と、合成映像解像度とに対応したボクセルサイズをボクセルサイズＤＢから読み出し、読み出したボクセルサイズをVoxelGridFilterのパラメータとして用いて３Ｄモデルをダウンサンプリングする。

【0024】

２Ｄレンダリング部１５３は、画質変換部１５１から入力した３Ｄモデルを２Ｄ映像にレンダリングし、レンダリング２Ｄ映像を生成する。２Ｄレンダリング部１５３は、生成されたレンダリング２Ｄ映像を２Ｄ映像合成部１５４へ出力する。２Ｄ映像合成部１５４は、２Ｄレンダリング部１５３から入力したレンダリング２Ｄ映像と、画質変換部１５１から入力した２Ｄ映像とを合成し、合成映像を生成する。２Ｄ映像合成部１５４は、生成された合成映像を端末別画質変換部１６に出力する。

【0025】

端末別画質変換部１６は、映像合成部１５から入力した合成映像を、端末別画質変換部１６が取得した端末解像度に合わせた映像に変換する。端末解像度は、視聴端末２の解像度である。端末別画質変換部１６は、この変換に、例えば、バイキュービックなど既存の手法を用いる。端末別画質変換部１６は、端末解像度に合わせて変換した合成映像を放送により又は通信ネットワークを介して視聴端末２に配信する。端末解像度取得部１７は、視聴端末２から例えば通信ネットワークを介して端末解像度を取得する。

【0026】

図３は、画質ＤＢの例を示す図である。画質ＤＢは、オブジェクトの種類、元のモデルの大きさ、３Ｄモデルの生成手法、ポイント数、及び、ショットの種類を含む属性情報と、推定解像度とを対応付けた情報である。推定解像度は、１６：９の映像における横画素数で表される。画質ＤＢに設定する推定解像度の決定には、以下の参考文献１の技術が用いられる。

【0027】

（参考文献１）三浦菊佳他、“2D表示した3Dオブジェクトの解像感評価”、電子情報通信学会総合大会D-11-15、2023年3月

【0028】

具体的には、３Ｄモデルを２Ｄレンダリングして得られた映像と、段階的に解像度を落とした２Ｄ映像とを比較し、解像感が一致する又は最も近い２Ｄ映像を人が見て選択する。画質ＤＢには、３Ｄモデルの属性情報に紐づけて、その３Ｄモデルについて選択された２Ｄ映像の解像度が推定解像度として設定される。また、ショットの種類は、映像内におけるオブジェクトの大きさに関連するため、推定解像度を決定する要因となる。

【0029】

図４は、ボクセルサイズＤＢの例を示す図である。ボクセルサイズＤＢは、オブジェクトの種類、元のモデルの大きさ、３Ｄモデル生成手法、ショットの種類及び推定解像度と、ボクセルサイズとを対応付けた情報である。推定解像度は、１６：９の映像における横画素数で表される。ボクセルサイズＤＢに設定するボクセルサイズの決定には、上記の参考文献１の技術が用いられる。

【0030】

具体的には、所定の解像度の２Ｄ映像と、ボクセルサイズを変えながら３Ｄモデルを段階的にダウンサンプリングした後に２Ｄレンダリングして得られた各レンダリング２Ｄ映像とを比較し、２Ｄ映像と解像感が一致する、又は、最も解像感が近いレンダリング２Ｄ映像を人が見て選択する。ボクセルサイズＤＢには、選択されたレンダリング２Ｄ映像が得られた３Ｄモデルのオブジェクト種類、元のモデルの大きさ、３Ｄモデル生成手法、及び、ショットの種類と、２Ｄ映像の解像度を示す推定解像度と、選択されたレンダリング２Ｄ映像の生成に用いられたボクセルサイズとが紐づけて設定される。

【0031】

図５は、映像合成装置１の処理を示すフロー図である。まず、映像合成装置１の３Ｄモデル属性取得部１１は、３Ｄモデルと、その３Ｄモデルの３Ｄモデル属性情報を取得する（ステップＳ１０５）。取得した３Ｄモデル属性情報を、取得３Ｄモデル属性情報と記載する。また、２Ｄ映像属性取得部１２は、２Ｄ映像と、その２Ｄ映像の２Ｄ映像属性情報を取得する（ステップＳ１１０）。

【0032】

画質決定部１４は、取得３Ｄモデル属性情報が示すオブジェクト種類、元のモデルの大きさ、３Ｄモデル生成手法、ポイント数及びショットの種類を推定解像度検索条件とする。画質決定部１４は、推定解像度検索条件と一致する属性情報に対応付けられた推定解像度を、画質情報記憶部１３に記憶されている画質ＤＢから読み出す（ステップＳ１１５）。画質決定部１４は、ステップＳ１１０において取得された２Ｄ映像属性情報が示す２Ｄ映像解像度と、ステップＳ１１５において読み出された推定解像度とを比較する（ステップＳ１２０）。

【0033】

画質決定部１４は、推定解像度よりも２Ｄ映像解像度のほうが高いと判断した場合（ステップＳ１２５：ＹＥＳ）、推定解像度を合成映像解像度に決定し、決定した合成映像解像度を映像合成部１５に出力する（ステップＳ１３０）。映像合成部１５の画質変換部１５１は、ステップＳ１１０において取得した２Ｄ映像を、合成映像解像度の２Ｄ映像に変換して２Ｄ映像合成部１５４に出力する（ステップＳ１３５）。さらに、画質変換部１５１は、３Ｄモデルをそのまま２Ｄレンダリング部１５３に出力する。

【0034】

２Ｄレンダリング部１５３は、画質変換部１５１から入力した３Ｄモデルを２Ｄ映像にレンダリングし、レンダリング２Ｄ映像を生成する（ステップＳ１４０）。２Ｄレンダリング部１５３は、生成したレンダリング２Ｄ映像を２Ｄ映像合成部１５４へ出力する。２Ｄ映像合成部１５４は、２Ｄレンダリング部１５３から入力したレンダリング２Ｄ映像と、画質変換部１５１から入力した２Ｄ映像とを合成し、合成映像を生成する（ステップＳ１４５）。２Ｄ映像合成部１５４は、生成した合成映像を端末別画質変換部１６に出力する。

【0035】

端末解像度取得部１７は、視聴端末２の端末解像度を取得し、端末別画質変換部１６に出力する（ステップＳ１５０）。端末別画質変換部１６は、映像合成部１５から入力した合成映像を、端末解像度取得部１７が取得した端末解像度の配信映像に変換する（ステップＳ１５５）。端末別画質変換部１６は、端末解像度に変換された配信映像を視聴端末２に配信する（ステップＳ１６０）。

【0036】

一方、画質決定部１４は、２Ｄ映像解像度よりも推定解像度のほうが高いと判断した場合（ステップＳ１２５：ＮＯ）、２Ｄ映像解像度を合成映像解像度に決定し、決定した合成映像解像度を映像合成部１５に出力する（ステップＳ１６５）。映像合成部１５の画質変換部１５１は、取得３Ｄモデル属性情報が示すオブジェクトの種類、元のモデルの大きさ、３Ｄモデルの生成手法及びショット種類と、合成映像解像度とをボクセルサイズ検索条件とする。映像合成部１５の画質変換部１５１は、ボクセルサイズ情報記憶部１５２に記憶されているボクセルサイズＤＢから、ボクセルサイズ検索条件に対応したボクセルサイズを読み出す。画質変換部１５１は、読み出したボクセルサイズを用いて３Ｄモデルをダウンサンプリングする（ステップＳ１７０）。画質変換部１５１は、ダウンサンプリングした３Ｄモデルを２Ｄレンダリング部１５３に出力し、２Ｄ映像をそのまま２Ｄ映像合成部１５４に出力する。映像合成装置１は、ステップＳ１４０以降の処理を行う。

【0037】

なお、映像合成装置１は、ステップＳ１１０の処理を、ステップＳ１２０の前までの任意のタイミングで行ってもよい。また、映像合成装置１は、ステップＳ１５０の処理を、ステップＳ１５５より前の任意のタイミングで行ってもよい。

【0038】

ステップＳ１１５の処理において、画質決定部１４は、取得３Ｄモデル属性情報から得られた推定解像度検索条件により画質ＤＢを検索して推定解像度を取得し、合成映像の画質である合成映像解像度を決定する。しかしながら、取得３Ｄモデル属性情報に設定されている情報と完全に一致する属性情報が画質ＤＢに含まれていない場合がある。この場合、画質決定部１４は、取得３Ｄモデル属性情報と、（１）３Ｄモデル生成手法、（２）ショット種類、（３）オブジェクト種類、（４）ポイント数、の優先度で一致する属性情報に対応した推定解像度を読み出す。

【0039】

具体的には、例えば、画質決定部１４は、以下のように推定解像度を読み出す。まず、画質決定部１４は、画質ＤＢに設定されている属性情報のうち、取得３Ｄモデル属性情報に含まれる３Ｄモデル生成手法が設定されている３Ｄモデル属性情報を抽出し、第一抽出属性情報とする。画質決定部１４は、第一抽出属性情報のうち、取得３Ｄモデル属性情報に含まれるショット種類が設定されているものを抽出し、第二抽出属性情報とする。画質決定部１４は、第一抽出属性情報のいずれにも取得３Ｄモデル属性情報に含まれるショット種類が設定されていない場合、第一抽出属性情報を全て第二抽出属性情報とする。

【0040】

次に、画質決定部１４は、第二抽出属性情報のうち、取得３Ｄモデル属性情報に含まれるオブジェクト種類が設定されているものを第三抽出属性情報として抽出する。画質決定部１４は、第二抽出属性情報のいずれにも取得３Ｄモデル属性情報に含まれるオブジェクト種類が設定されていない場合、第二抽出属性情報を全て第三抽出属性情報とする。

【0041】

次に、画質決定部１４は、第三抽出属性情報のうち、取得３Ｄモデル属性情報に含まれるポイント数が設定されているものを第四抽出属性情報として抽出する。画質決定部１４は、第三抽出属性情報のいずれにも取得３Ｄモデル属性情報に含まれるオブジェクト種類が設定されていない場合、第三抽出属性情報を全て第四抽出属性情報とする。画質決定部１４は、第四抽出属性情報に紐づけられている推定解像度のうち、最も多く出現する推定解像度を、取得３Ｄモデル属性情報に対応する推定解像度とする。あるいは、画質決定部１４は、第四抽出属性情報と紐づけられている推定解像度の平均などを、取得３Ｄモデル属性情報に対応する推定解像度としてもよい。

【0042】

また、画質決定部１４は、取得３Ｄモデル属性情報のオブジェクト種類と、画質ＤＢに設定されているオブジェクト種類との一致を判断する場合、文字上の一致に限らず、類似した概念によって一致を判断してもよい。例えば、画質決定部１４は、分類語彙表、WordNetなどのシソーラスを用いて、オブジェクト種類名については犬とイヌを等価として扱ってもよい。また、画質決定部１４は、取得３Ｄモデル属性情報に設定されているオブジェクト種類名「オオカミ」が画質ＤＢに用いられていない場合、類語や上位概念等としてシソーラスから取得した「イヌ」を「オオカミ」の代わりに用いて画質ＤＢを参照してもよい。画質決定部１４は、取得３Ｄモデル属性情報に設定されているオブジェクト種類名の類語も上位概念も取得できない場合は、大きさが似ているもの、大きさの情報がない場合は、ポイント数が近いものの推定解像度を画質ＤＢから取得する。なお、類語処理は、以下の参考文献２に記載されている。

【0043】

（参考文献２）「[自然言語] Wordnet×Pythonで類義語を抽出する」、［online］、[2023年6月21日検索]、インターネット＜https://www.yoheim.net/blog.php?q=20160201＞、2016年

【0044】

３Ｄモデルから生成されたレンダリング２Ｄ映像の解像感は、動物の毛、光ったもの、反射が多いもの、色の諧調が再現されにくい、など様々な要因によって変化する。種類が類似したオブジェクトの映像は類似の特徴を有することが多いと考えられることから、本実施形態では、類語や上位概念を用いて画質ＤＢを検索する。

【0045】

図６は、画質決定部１４が類似した概念により画質ＤＢを検索する処理の例を示すフロー図である。画質決定部１４は、ステップＳ１１５において、図６に示す処理を行う。

【0046】

画質決定部１４は、取得３Ｄモデル属性情報に設定されているオブジェクト種類名（以下、取得オブジェクト種類名と記載）が画質ＤＢに含まれていると判断した場合（ステップＳ２０５：ＹＥＳ）、取得３Ｄモデル属性情報が示すオブジェクト種類、元のモデルの大きさ、３Ｄモデル生成手法、ポイント数及びショットの種類を推定解像度検索条件に用いて画質ＤＢから推定解像度を取得する（ステップＳ２１０）。

【0047】

画質決定部１４は、取得オブジェクト種類名が画質ＤＢに含まれていないと判断した場合（ステップＳ２０５：ＮＯ）、取得オブジェクト種類名の類語をシソーラスから読み出す。シソーラスは、映像合成装置１と接続されるコンピュータサーバ等に記憶されてもよく、映像合成装置１が有する記憶装置に記憶されてもよい。画質決定部１４は、読み出した類語が画質ＤＢに含まれていると判断した場合（ステップＳ２１５：ＹＥＳ）、読み出した類語と、取得３Ｄモデル属性情報が示す元のモデルの大きさ、３Ｄモデル生成手法、ポイント数及びショットの種類とを推定解像度検索条件に用いて画質ＤＢから推定解像度を取得する（ステップＳ２２０）。

【0048】

画質決定部１４は、読み出した類語が画質ＤＢに含まれていないと判断した場合（ステップＳ２１５：ＮＯ）、取得オブジェクト種類名の上位概念をシソーラスから読み出す。画質決定部１４は、読み出した上位概念が画質ＤＢに含まれていると判断した場合（ステップＳ２２５：ＹＥＳ）、読み出した上位概念と、取得３Ｄモデル属性情報が示す元のモデルの大きさ、３Ｄモデル生成手法、ポイント数及びショットの種類とを推定解像度検索条件に用いて画質ＤＢから推定解像度を取得する（ステップＳ２３０）。

【0049】

画質決定部１４は、読み出した上位概念が画質ＤＢに含まれていないと判断した場合（ステップＳ２２５：ＮＯ）、取得３Ｄモデル属性情報から元のモデルの大きさを取得できるか否かを判断する（ステップＳ２３５）。画質決定部１４は、元のモデルの大きさを取得可能と判断した場合（ステップＳ２３５；ＹＥＳ）、取得３Ｄモデル属性情報が示す元のモデルの大きさ、３Ｄモデル生成手法、ポイント数及びショットの種類が一致し、かつ、取得３Ｄモデル属性情報が示す元のモデルの大きさと最も近い属性情報に対応付けられている推定解像度を画質ＤＢから読み出す（ステップＳ２４０）。

【0050】

画質決定部１４は、元のモデルの大きさを取得できないと判断した場合（ステップＳ２３５：ＮＯ）、取得３Ｄモデル属性情報が示す元のモデルの大きさ、３Ｄモデル生成手法及びショットの種類が一致し、かつ、取得３Ｄモデル属性情報が示すポイント数と最も近い属性情報に対応付けられている推定解像度を画質ＤＢから読み出す（ステップＳ２４５）。

【0051】

画質決定部１４は、取得オブジェクト種類名がボクセルサイズＤＢに含まれていない場合も図６と同様の処理を行う。すなわち、画質決定部１４は、取得オブジェクト種類名に代えて、類語、上位概念等を使用してボクセルサイズＤＢを検索し、類語及び上位概念も使用できない場合は、元のモデルの大きさが似ているもののボクセルサイズを取得する。

【0052】

図７は、映像合成装置１の具体的な処理の例を示す図である。図７は、３Ｄモデルの解像感が２Ｄ映像よりも低いケースについての例を示す。図７及び図５を用いて映像合成装置１の具体的な処理の例を説明する。ここでは、図１に示すように、人物の３ＤモデルＡ（ポイントクラウド）と、海の背景の２Ｄ映像Ｂとを合成し、合成映像Ｃを得るケースを考える。映像合成装置１は、まず３ＤモデルＡ及び２Ｄ映像Ｂの双方の属性情報を取得する。次に、映像合成装置１は、画質ＤＢから３ＤモデルＡの属性情報と合致する推定解像度を取得し、２Ｄ映像Ｂの解像度との比較によって画質を決定する。映像合成装置１は、決定された画質に従って２Ｄ映像Ｂのサイズ変換を行う。映像合成装置１は、３ＤモデルＡを２Ｄ映像にレンダリングして得られたレンダリング２Ｄ映像Ａ’と２Ｄ映像Ｂとを合成した合成映像Ｃの解像度を、視聴端末２の端末解像度に基づいて変換して配信する。

【0053】

より具体的には、３Ｄモデル属性取得部１１は、３ＤモデルＡと、ショット種類「ＦＳ」の入力を受ける。３Ｄモデル属性取得部１１は、３ＤモデルＡのファイルからオブジェクト種類「人物」、元のモデルの大きさ「１７０ｃｍ」、オブジェクトの生成手法「Ａ方式」、及び、ポイント数「２，０００，０００（ポイント）」を取得する（ステップＳ１０５）。一方、２Ｄ映像属性取得部１２は、２Ｄ映像Ｂの入力を受ける。２Ｄ映像属性取得部１２は、入力された２Ｄ映像Ｂを解析し、２Ｄ映像解像度「７６８０×４３２０（ピクセル）」を取得する（ステップＳ１１０）。

【0054】

画質決定部１４は、オブジェクト種類「人物」、元のモデルの大きさ「１７０ｃｍ」、オブジェクトの生成手法「Ａ方式」、ポイント数「２，０００，０００（ポイント）」、及び、ショット種類「ＦＳ」を推定解像度検索条件に用いて、図３に示す画質ＤＢから、推定画質「９６０」を読み出す（ステップＳ１１５）。画質決定部１４は、推定解像度「９６０」＜２Ｄ映像解像度（横画素数）「７６８０」であるため、合成映像解像度を「９６０」と決定する（ステップＳ１２０、ステップＳ１２５：ＹＥＳ、ステップＳ１３０）。

【0055】

画質変換部１５１は、２Ｄ映像Ｂを解像度「９６０×５４０」の２Ｄ映像Ｂ’に変換する（ステップＳ１３５）。２Ｄレンダリング部１５３は、３ＤモデルＡを２Ｄ映像にレンダリングしてレンダリング２Ｄ映像Ａ’を生成する（ステップＳ１４０）。２Ｄ映像合成部１５４は、レンダリング２Ｄ映像Ａ’と、解像度「９６０×５４０」の２Ｄ映像Ｂ’とを合成し、解像度「９６０×５４０」の合成映像Ｃを生成する（ステップＳ１４５）。端末別画質変換部１６は、解像度「９６０×５４０」の合成映像Ｃを、端末解像度「１９２０×１０８０」の配信映像Ｃ’に変換し、配信する（ステップＳ１５０、Ｓ１５５）。

【0056】

図８は、３Ｄモデルの解像感が２Ｄ映像よりも高い場合の映像合成装置１の具体的な処理の例を示す図である。図８及び図５を用いて、３Ｄモデルの解像感が２Ｄ映像よりも高いケースについて説明する。３Ｄモデルの解像感が２Ｄ映像よりも高い場合、映像合成部１５の画質変換部１５１は、３Ｄモデルのポイント数を減らすことにより画質を調整する。

【0057】

具体的には、３Ｄモデル属性取得部１１は、３ＤモデルＡと、ショット種類「ＦＳ」の入力を受ける。３Ｄモデル属性取得部１１は、３ＤモデルＡのファイルからオブジェクト種類「タヌキ」、元のモデルの大きさ「８０ｃｍ」、オブジェクトの生成手法「Ｂ方式」、及び、ポイント数「３０，０００，０００（ポイント）」を取得する（ステップＳ１０５）。一方、２Ｄ映像属性取得部１２は、２Ｄ映像Ｂの入力を受ける。２Ｄ映像属性取得部１２は、入力された２Ｄ映像Ｂを解析し、２Ｄ映像解像度「１９２０×１０８０（ピクセル）」を取得する（ステップＳ１１０）。

【0058】

画質決定部１４は、オブジェクト種類「タヌキ」、元のモデルの大きさ「８０ｃｍ」、オブジェクトの生成手法「Ｂ方式」、ポイント数「３０，０００，０００（ポイント）」、及び、ショット種類「ＦＳ」を推定解像度検索条件に用いて、図３に示す画質ＤＢから、推定画質「５７６０」を読み出す（ステップＳ１１５）。画質決定部１４は、推定解像度「５７６０」＞２Ｄ映像解像度「１９２０」であるため、合成映像解像度を「１９２０」と決定する（ステップＳ１２０、ステップＳ１２５：ＮＯ、ステップＳ１６５）。

【0059】

画質変換部１５１は、ボクセルサイズ情報記憶部１５２に記憶されているボクセルサイズＤＢから、オブジェクトの種類「タヌキ」、元のモデルの大きさ「８０ｃｍ」、オブジェクトの生成手法「Ｂ方式」、ショット種類「ＦＳ」、合成映像解像度「１９２０」に対応したボクセルサイズ「０．０８」を読み出す。画質変換部１５１は、ボクセルサイズ「０．０８」をパラメータ値に用いてVoxelGridFilterにより３Ｄモデルをダウンサンプリングし、２，０００，０００ポイントの３ＤモデルＡ”を得る（ステップＳ１７０）。

【0060】

なお、画質変換部１５１は、画質ＤＢから、オブジェクトの種類「タヌキ」、オブジェクトの生成手法「Ｂ方式」、ショット種類「ＦＳ」、推定解像度「１９２０」に対応したポイント数「２，０００，０００」を読み出してもよい。画質変換部１５１は、ポイント数「２，０００，０００」となるように、３ＤモデルＡをダウンサンプリングして３ＤモデルＡ”を生成する。この場合、３Ｄモデルを目標のポイント数に変換する技術が必要である。

【0061】

２Ｄレンダリング部１５３は、ダウンサンプリングされた３ＤモデルＡ”を２Ｄ映像にレンダリングし、レンダリング２Ｄ映像Ａ’を生成する（ステップＳ１４０）。２Ｄ映像合成部１５４は、レンダリング２Ｄ映像Ａ’と、解像度「１９２０×１０８０」の２Ｄ映像Ｂとを合成し、解像度「１９２０×１０８０」の合成映像Ｃを生成する（ステップＳ１４５）。端末別画質変換部１６は、端末解像度が「１９２０×１０８０」であるため、解像度「１９２０×１０８０」の合成映像Ｃをそのまま配信映像Ｃ’として、配信する（ステップＳ１５０、Ｓ１５５）。

【0062】

なお、映像合成装置１は、任意の合成映像解像度の入力を受けてもよい。この場合、映像合成装置１は、図５のステップＳ１１５～ステップＳ１３０、ステップＳ１６５の処理を行わない。映像合成装置１は、入力された合成映像解像度となるようにステップＳ１３５の処理及びステップＳ１７０の処理を行った後、ステップＳ１４０以降の処理を行う。また、映像合成装置１は、３Ｇモデルと２Ｄ映像とで異なる合成映像解像度を入力してもよい。この場合、映像合成装置１は、入力された第１の合成映像解像度となるようにステップＳ１３５の処理を行い、入力された第２の合成映像解像度となるようにステップＳ１７０の処理を行った後、ステップＳ１４０以降の処理を行う。

【0063】

［第２の実施形態］
第２の実施形態では、映像合成装置に入力する２Ｄ映像と、画質ＤＢが前提としている縦横比が異なる場合を説明する。第２の実施形態を、第１の実施形態との差分を中心に説明する。

【0064】

図９は、第２の実施形態による映像合成装置１ａの構成を示す機能ブロック図である。図９には、本実施形態と関係する機能ブロックのみを抽出して示してある。図９に示す映像合成装置１ａが、図２に示す第１の実施形態の映像合成装置１と異なる点は、２Ｄ補正算出部１８をさらに備える点と、映像合成部１５に代えて映像合成部１５ａを備える点である。映像合成部１５ａが、図２に示す第１の実施形態の映像合成部１５と異なる点は、画質変換部１５１に代えて画質変換部１５１ａを備える点である。

【0065】

画質情報記憶部１３の画質ＤＢに設定されている推定解像度は、１６：９のように画面比率が所定の縦横比の画面における横の画素数の値で表される。この比率を基準比率と記載する。２Ｄ補正算出部１８は、２Ｄ映像属性取得部１２が取得した２Ｄ映像の画像サイズが基準比率ではない場合、２Ｄ映像の縦の画素数を固定して基準比率にした場合の横の画素数である換算画素数を算出する。２Ｄ補正算出部１８は、算出した横の換算画素数と、２Ｄ映像の縦の画素数とを２Ｄ映像属性情報として画質決定部１４に出力する。さらに、２Ｄ補正算出部１８は、画質決定部１４に通知した２Ｄ映像属性情報が示す画像サイズから、２Ｄ映像の画像サイズへ変換するための補正値を算出し、映像合成部１５ａの画質変換部１５１ａへ通知する。この補正値は、２Ｄ映像の横の画素数を、換算画素数により除算して得られる。

【0066】

画質決定部１４は、２Ｄ補正算出部１８から入力した２Ｄ映像属性情報が示す横の換算画素数を２Ｄ映像解像度として用い、第１の実施形態と同様の処理を行う。画質変換部１５１ａは、画質決定部１４が決定した合成映像解像度と、２Ｄ補正算出部１８が算出した横の換算画素数とが同じ場合、第１の実施形態の画質変換部１５１と同様に動作する。すなわち、画質変換部１５１ａは、２Ｄレンダリング後に合成映像解像度となるようにダウンサンプリングした３Ｄモデルを２Ｄレンダリング部１５３へ出力するとともに、２Ｄ映像の解像度を変更することなく、そのまま２Ｄ映像合成部１５４へ出力する。

【0067】

一方、画質変換部１５１ａは、合成映像解像度が３Ｄモデルの推定解像度である場合、３Ｄモデルをそのまま２Ｄレンダリング部１５３に出力する。さらに、画質変換部１５１ａは、画質決定部１４から通知された合成映像解像度を、２Ｄ補正算出部１８から通知された補正値により補正して、２Ｄ映像の画質変換後の横の画素数を算出する。画質変換部１５１ａは、横の画素数が算出された画質変換後の横の画素数であり、かつ、縦横比が２Ｄ映像の元の縦横比である場合の縦の画素数を、２Ｄ映像の画質変換後の縦の画素数として算出する。画質変換部１５１ａは、２Ｄ映像を、画質変換後の横の画素数及び縦の画素数の２Ｄ映像に変換した後、２Ｄ映像合成部１５４へ出力する。

【0068】

図１０は、第２の実施形態による映像合成装置１ａの処理を示すフロー図である。図１０において、図５に示す第１の実施形態の処理と同様の処理には同一の符号を付し、その説明を省略する。映像合成装置１ａは、図５のステップＳ１０５～ステップＳ１１０と同様の処理を行う。２Ｄ補正算出部１８は、２Ｄ映像属性取得部１２から入力した２Ｄ映像属性情報に設定されている画像サイズが基準比率ではない場合、その画像サイズの縦の画素数を固定し、縦横比を基準比率とした場合の横の画素数である換算画素数を算出する。２Ｄ補正算出部１８は、算出した横の換算画素数と、２Ｄ映像の縦の画素数とを設定した２Ｄ映像属性情報を画質決定部１４に出力する（ステップＳ３０５）。さらに、２Ｄ補正算出部１８は、画質決定部１４に通知した２Ｄ映像属性情報が示す画像サイズから、ステップＳ１１０において取得した２Ｄ映像の画像サイズへ戻すための補正値を算出する（ステップＳ３１０）。２Ｄ補正算出部１８は、算出した補正値を、映像合成部１５ａの画質変換部１５１ａへ通知する。

【0069】

画質決定部１４は、取得３Ｄモデル属性情報に基づいて画質ＤＢから推定解像度を読み出す（ステップＳ１１５）。画質決定部１４は、ステップＳ３０５において２Ｄ補正算出部１８から通知された２Ｄ映像属性情報の横の換算画素数として示される２Ｄ映像解像度と、ステップＳ１１５において読み出された推定解像度とを比較する（ステップＳ１２０）。画質決定部１４は、推定解像度よりも２Ｄ映像解像度のほうが高いと判断した場合（ステップＳ１２５：ＹＥＳ）、推定解像度を合成映像解像度に決定し、決定した合成映像解像度を映像合成部１５ａに出力する（ステップＳ１３０）。

【0070】

画質変換部１５１ａは、合成映像解像度が３Ｄモデルの推定解像度である場合、３Ｄモデルをそのまま２Ｄレンダリング部１５３に出力する。さらに、画質変換部１５１ａは、合成映像解像度を、２Ｄ補正算出部１８から通知された補正値により補正して画質変換後の２Ｄ映像の横の画素数を算出する。画質変換部１５１ａは、横の画素数が算出された画質変換後の横の画素数であり、かつ、縦横比がステップＳ１１０で取得された２Ｄ映像の縦横比である場合の縦の画素数を、２Ｄ映像の画質変換後の縦の画素数として算出する。画質変換部１５１ａは、ステップＳ１１０において取得された２Ｄ映像を、画質変換後の横の画素数及び縦の画素数の２Ｄ映像に変換した後、２Ｄ映像合成部１５４へ出力する（ステップＳ３１５）。さらに、画質変換部１５１は、３Ｄモデルをそのまま２Ｄレンダリング部１５３に出力する。

【0071】

映像合成装置１ａのステップＳ１４０以降の処理は、第１の実施形態と同様である。また、ステップＳ１２５において、画質決定部１４が、２Ｄ映像解像度よりも推定解像度のほうが高いと判断した場合（ステップＳ１２５：ＮＯ）の映像合成装置１ａのステップＳ１６５以降の処理は、第１の実施形態と同様である。

【0072】

図９及び図１０を用いて、映像合成装置１ａの具体的な処理例を説明する。ここでは、２Ｄ映像の縦横比が８：９であり、基準比率が１６：９の例を示す。

【0073】

３Ｄモデル属性取得部１１は、３ＤモデルＡと、ショット種類「ＦＳ」の入力を受ける。３Ｄモデル属性取得部１１は、３ＤモデルＡのファイルからオブジェクト種類「人物」、元のモデルの大きさ「１７０ｃｍ」、オブジェクトの生成手法「Ａ方式」、及び、ポイント数「２，０００，０００（ポイント）」を取得する（ステップＳ１０５）。一方、２Ｄ映像属性取得部１２は、２Ｄ映像Ｂの入力を受ける。２Ｄ映像属性取得部１２は、入力された２Ｄ映像Ｂを解析し、２Ｄ映像解像度「３８４９×４３２０（ピクセル）」を取得する（ステップＳ１１０）。２Ｄ補正算出部１８は、２Ｄ映像の画像サイズの縦横比が８：９であるため、縦が４３２０ピクセルである場合の基準比率１６：９の画像サイズ「７６６０×４３２０」を算出する。２Ｄ補正算出部１８は、算出した画像サイズを設定した２Ｄ映像属性情報を画質決定部１４に出力する（ステップＳ３０５）。２Ｄ補正算出部１８は、画質決定部１４に通知した画像サイズ「７６６０×４３２０」から、元の２Ｄ映像の画面サイズ「３８４９×４３２０（ピクセル）」へ戻すための補正値として、「横を１／２倍する」という情報を算出し、画質変換部１５１ａへ通知する。

【0074】

画質決定部１４は、オブジェクト種類「人物」、元のモデルの大きさ「１７０ｃｍ」、オブジェクトの生成手法「Ａ方式」、及び、ショット種類「ＦＳ」を推定解像度検索条件に用いて、図３に示す画質ＤＢから、推定画質「９６０」を読み出す（ステップＳ１１５）。画質決定部１４は、推定解像度「９６０」＜２Ｄ映像解像度「７６８０」であるため、合成映像解像度を「９６０」と決定する（ステップＳ１２０、ステップＳ１２５：ＹＥＳ、ステップＳ１３０）。

【0075】

画質変換部１５１ａは、３Ｄモデルをそのまま２Ｄレンダリング部１５３に出力する。さらに、画質変換部１５１ａは、合成映像解像度「９６０」を、２Ｄ補正算出部１８から通知された補正値「横を１／２倍する」により補正して、画質変換後２Ｄ映像の横の画素数「４８０」を算出する。画質変換部１５１ａは、横の画素数「４８０」であり、縦横比が８：９の場合の縦の画素数「５４０」を算出する。画質変換部１５１ａは、入力された２Ｄ映像Ｂを、サイズ「４８０×５４０」の２Ｄ映像Ｂ’に変換する（ステップＳ３１５）。

【0076】

２Ｄレンダリング部１５３は、３ＤモデルＡを２Ｄ映像にレンダリングしてレンダリング２Ｄ映像Ａ’を生成する（ステップＳ１４０）。２Ｄ映像合成部１５４は、レンダリング２Ｄ映像Ａ’と、解像度「４８０×５４０」の２Ｄ映像Ｂ’とを合成し、解像度「４８０×５４０」ピクセルの合成映像Ｃを生成する（ステップＳ１４５）。端末別画質変換部１６は、合成映像Ｃを、端末解像度「１９２０×１０８０」の縦のサイズに合わせて解像度「９６０×１０８０」の配信映像Ｃ’に変換し、配信する（ステップＳ１５０、Ｓ１５５）。

【0077】

以上説明した実施形態によれば、映像合成装置１、１ａは、異なるフォーマットの３Ｄモデルと２Ｄ映像とを、より自然に見える解像感の映像に合成することができる。また、映像合成装置１、１ａは、解像度をそろえるだけでなく、画質ＤＢを参照することにより、演出意図に応じて３Ｄモデル及び２Ｄ映像それぞれのぼけ具合を任意に指定することもできる。また、映像合成装置１、１ａは、ポイントクラウドのデータである３Ｄモデルを、用途に応じて必要なポイント数に減らしてから２次元映像にレンダリングするため、負荷を軽減することができる。

【0078】

映像合成装置１、１ａを、ネットワークに接続される複数のコンピュータ装置により実現してもよい。この場合、映像合成装置１、１ａの各機能部を、これら複数のコンピュータ装置のいずれにより実現するかは任意とすることができる。例えば、映像合成装置１の３Ｄモデル属性取得部１１、２Ｄ映像属性取得部１２、画質情報記憶部１３、画質決定部１４及び映像合成部１５を実現するコンピュータ装置と、映像合成装置１の端末別画質変換部１６及び端末解像度取得部１７を実現するコンピュータ装置とが異なってもよい。また、映像合成装置１の３Ｄモデル属性取得部１１、２Ｄ映像属性取得部１２、画質情報記憶部１３及び画質決定部１４を実現するコンピュータ装置と、映像合成装置１の映像合成部１５を実現するコンピュータ装置とが異なってもよい。また、映像合成装置１、１ａの同一の機能部を複数のコンピュータ装置により実現してもよい。例えば、画質情報記憶部１３を複数のコンピュータ装置により実現してもよい。

【0079】

図１１は、映像合成装置１、１ａのハードウェア構成例を示す図である。映像合成装置１、１ａは、プロセッサ７１と、記憶部７２と、通信インタフェース７３と、ユーザインタフェース７４とを備える。プロセッサ７１は、演算や制御を行う中央演算装置である。プロセッサ７１は、例えば、ＣＰＵ（central processing unit）やＧＰＵ（Graphics Processing Unit）である。プロセッサ７１は、記憶部７２からプログラムを読み出して実行する。記憶部７２は、さらに、プロセッサ７１が各種プログラムを実行する際のワークエリアなどを有する。通信インタフェース７３は、他装置と通信可能に接続するものである。ユーザインタフェース７４は、ボタン、キーボード、ポインティングデバイスなどの入力装置や、ディスプレイなどの表示装置や、スピーカなどの音声出力装置である。

【0080】

映像合成装置１、１ａの機能の全て又は一部は、プロセッサ７１が記憶部７２からプログラムを読み出して実行することより実現される。なお、これらの機能の全て又は一部は、ＡＳＩＣやＰＬＤ等のハードウェアを用いて実現されてもよい。

【0081】

以上説明した実施形態によれば、映像合成装置は、三次元モデル属性取得部と、二次元映像属性取得部と、画質決定部と、映像合成部とを備える。例えば、三次元モデル属性取得部は、実施形態の３Ｄモデル属性取得部１１に対応し、二次元映像属性取得部は、実施形態の２Ｄ映像属性取得部１２に対応する。三次元モデル属性取得部は、ポイントクラウドによりオブジェクトが描画されたデータである三次元モデルと、オブジェクトの種類、オブジェクトの大きさ、三次元モデルの生成手法、三次元モデルのポイント数、及び、ショットの種類を含む三次元モデル属性とを取得する。二次元映像属性取得部は、二次元映像と、二次元映像の解像度である二次元映像解像度とを取得する。画質決定部は、三次元モデル属性の三次元モデルを二次元映像に変換した場合の推定解像度と、二次元映像解像度とのうち低いほうを画質に決定する。映像合成部は、推定解像度を画質に決定した場合、その画質に解像度を変換した二次元映像と、二次元映像に変換した三次元モデルとを合成して合成映像を生成し、二次元映像解像度を画質に決定した場合、二次元映像属性取得部が取得した二次元映像と、その画質の二次元映像に変換した三次元モデルとを合成して合成映像を生成する。

【0082】

映像合成装置は、オブジェクトの種類、オブジェクトの大きさ、三次元モデルの生成手法、ポイント数、及び、ショットの種類と、推定解像度とを対応付けて記憶する画質記憶部を備えてもよい。画質決定部は、三次元モデル属性が示すオブジェクトの種類を表す単語、オブジェクトの種類を表す単語の類語、又は、オブジェクトの種類を表す単語の上位概念の単語と、三次元モデル属性が示すオブジェクトの大きさ、生成手法、ポイント数、及び、ショットの種類とに対応した推定解像度を画質記憶部から読み出す。

【0083】

映像合成部は、三次元モデルのポイント数を削減し、ポイント数が削減された三次元モデルを二次元映像に変換することにより、決定した画質の二次元映像に変換した三次元モデルを得る。

【0084】

二次元映像属性取得部は、取得した二次元映像の画面サイズを取得し、取得した画面サイズの縦横比が所定の比率である場合には、画面サイズの横の画素数を二次元映像解像度とし、取得した画面サイズの縦横比が所定の比率ではない場合には、その画面サイズにおける縦の画素数を変更せずに縦横比を所定の比率とした場合の横の画素数を二次元映像解像度とする。

【0085】

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

【符号の説明】

【0086】

１、１ａ 映像合成装置
１１ ３Ｄモデル属性取得部
１２ ２Ｄ映像属性取得部
１３ 画質情報記憶部（画質ＤＢ）
１４ 画質決定部
１５、１５ａ 映像合成部
１６ 端末別画質変換部
１７ 端末解像度取得部
１８ ２Ｄ補正算出部
７１ プロセッサ
７２ 記憶部
７３ 通信インタフェース
７４ ユーザインタフェース
１５１、１５１ａ 画質変換部
１５２ ボクセルサイズ情報記憶部（ボクセルサイズＤＢ）
１５３ ２Ｄレンダリング部
１５４ ２Ｄ映像合成部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】