特許 7320400 映像演出処理装置及びそのプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-07-26

(45)【発行日】2023-08-03

(54)【発明の名称】映像演出処理装置及びそのプログラム

(51)【国際特許分類】

   H04N 5/222 20060101AFI20230727BHJP

   H04N 23/611 20230101ALI20230727BHJP

   H04N 23/60 20230101ALI20230727BHJP

   G06T 19/00 20110101ALI20230727BHJP

【ＦＩ】

H04N5/222 400

H04N23/611

H04N23/60 500

G06T19/00 A

【請求項の数】 5

(21)【出願番号】P 2019144745

(22)【出願日】2019-08-06

(65)【公開番号】P2021027487

(43)【公開日】2021-02-22

【審査請求日】2022-07-11

(73)【特許権者】

【識別番号】000004352

【氏名又は名称】日本放送協会

(74)【代理人】

【識別番号】110001807

【氏名又は名称】弁理士法人磯野国際特許商標事務所

(72)【発明者】

【氏名】三ツ峰 秀樹

(72)【発明者】

【氏名】三須 俊枝

(72)【発明者】

【氏名】荒井 敦志

【審査官】高野 美帆子

(56)【参考文献】

【文献】国際公開第２０１７／１８３３４６（ＷＯ，Ａ１）

【文献】特開２０１７－０２２４５７（ＪＰ，Ａ）

【文献】特表２０１７－５０７５５７（ＪＰ，Ａ）

【文献】特開２０１１－３９７７８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／２２２

Ｈ０４Ｎ ２３／６１１

Ｈ０４Ｎ ２３／６０

Ｇ０６Ｔ １９／００

(57)【特許請求の範囲】

【請求項1】

被写体の３次元形状及び表面模様からなるボリューメトリックキャプチャ情報を、前記被写体の動きから３次元データにデジタル化するボリューメトリックキャプチャにより生成し、前記ボリューメトリックキャプチャ情報と前記被写体を撮影する撮影カメラのカメラパラメータとを用いて、肉眼の動き特性により前記被写体のＶＲコンテンツに誘導をかける視線誘導効果を付加するようにした映像演出処理装置であって、
前記ボリューメトリックキャプチャにより、前記ＶＲコンテンツ及び前記ボリューメトリックキャプチャ情報を生成するボリューメトリックキャプチャ手段と、
前記カメラパラメータに含まれる前記撮影カメラのレンズの中心座標であるレンズ主点と前記撮影カメラの撮影画角とで表される四角錐状の領域を、前記撮影カメラの撮影範囲である視体積として算出する視体積算出手段と、
前記ボリューメトリックキャプチャ情報に基づいて、前記視体積に含まれる被写体の３次元形状及び表面模様についての３次元顕著性マップを生成する３次元顕著性マップ生成手段と、
機械学習により、前記視体積に含まれる被写体の種類を認識する被写体認識手段と、
前記被写体認識手段が認識した被写体の種類と重要度とを対応付けて設定する重要度設定手段と、
前記視体積を複数の分割領域に分割し、前記被写体の種類毎に設定された重要度を前記被写体が分割されている分割領域に割り当て、割り当てた前記分割領域の重要度に、前記撮影カメラのフォーカス位置から前記分割領域までの距離が離れる程に小さくなるように予め設定された第１係数と、前記分割領域が前記カメラパラメータの焦点深度に基づき前記フォーカス位置から外れる程に小さくなるように予め設定された第２係数とを乗算する重要度乗算手段と、
前記重要度乗算手段が乗算した重要度を前記ボリューメトリックキャプチャ情報に反映させたレンダリングパラメータを生成し、当該レンダリングパラメータを前記ＶＲコンテンツに付加する視線誘導手段と、
を備えることを特徴とする映像演出処理装置。

【請求項2】

カメラキャリブレーションにより、前記カメラパラメータを推定するカメラパラメータ推定手段、
をさらに備えることを特徴とする請求項１に記載の映像演出処理装置。

【請求項3】

前記被写体認識手段は、前記機械学習により、前記被写体として顔を認識すると共に前記顔の方向も認識し、
前記重要度設定手段は、前記被写体認識手段が認識した顔の方向と前記重要度とを対応付けて設定することを特徴とする請求項２に記載の映像演出処理装置。

【請求項4】

前記視体積算出手段は、予め設定されたレンズ歪み係数が反映された前記撮影画角、及び、前記レンズ主点で表される四角錐状の領域を、前記視体積として算出することを特徴とする請求項１から請求項３の何れか一項に記載の映像演出処理装置。

【請求項5】

コンピュータを、請求項１から請求項４の何れか一項に記載の映像演出処理装置として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ＶＲコンテンツに視線誘導効果を付加する映像演出処理装置及びそのプログラムに関する。

【背景技術】

【0002】

従来、映像コンテンツを視聴する表示デバイスとしては、２次元ディスプレイが主流であった。近年、仮想現実（ＶＲ：Virtual Reality）や拡張現実（ＡＲ：Augmented Reality）のコンテンツを視聴できるヘッドマウントディスプレイやスマートグラスといった表示デバイスの利用も拡大しつつある（例えば、非特許文献１及び２）。以後、ＶＲ及びＡＲのコンテンツをＶＲコンテンツと記載する。

【先行技術文献】

【非特許文献】

【0003】

【文献】山口勝、公共放送による３６０°映像のＶＲ配信の意義～２０２０年とその先に向けて、放送研究と調査、２０１７年１０月、Ｐ．９０～９７

【文献】神谷直亮、ＮＨＫ番組技術展、ＦＤＩ，２０１８年７月、Ｐ．２８～２９

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、コンテンツの内容が同一であるにも関わらず、表示デバイスの種類に合わせて、２次元映像コンテンツとＶＲコンテンツを別々に制作することが多い。このため、ＶＲコンテンツを制作する際、２次元映像コンテンツの制作者（例えば、放送局やプロダクション）のノウハウを十分に活かすことができていない。例えば、２次元映像コンテンツの制作で用いられる映像演出手法である撮影時のカメラワークによる視線・視野の拘束やテロップ、ナレーション又はセリフ無しで「視線を誘導」することによる映像的ストーリーテリングが困難である。

【0005】

そこで、本発明は、肉眼の動きの特性により被写体のＶＲコンテンツに誘導をかける視線誘導効果を有するＶＲコンテンツを効率的に制作できる映像演出処理装置及びそのプログラムを提供することを課題とする。

【課題を解決するための手段】

【0006】

前記した課題に鑑みて、本発明に係る映像演出処理装置は、被写体の３次元形状及び表面模様からなるボリューメトリックキャプチャ情報を、被写体の動きから３次元データにデジタル化するボリューメトリックキャプチャにより生成し、ボリューメトリックキャプチャ情報と被写体を撮影する撮影カメラのカメラパラメータとを用いて、肉眼の動き特性により被写体のＶＲコンテンツに誘導をかける視線誘導効果を付加するようにした映像演出処理装置であって、ボリューメトリックキャプチャ手段と、視体積算出手段と、３次元顕著性マップ生成手段と、被写体認識手段と、重要度設定手段と、重要度乗算手段と、視線誘導手段と、を備える構成とした。

【0007】

かかる構成によれば、ボリューメトリックキャプチャ手段は、ボリューメトリックキャプチャにより、ＶＲコンテンツ及び前記ボリューメトリックキャプチャ情報を生成する。
視体積算出手段は、カメラパラメータに含まれる撮影カメラのレンズの中心座標であるレンズ主点と撮影カメラの撮影画角とで表される四角錐状の領域を、撮影カメラの撮影範囲である視体積として算出する。このカメラパラメータには、２次元映像コンテンツの制作者のノウハウの一つである、カメラマンによるカメラワークが反映されている。従って、カメラパラメータから算出した視体積には、２次元映像コンテンツの制作者が視線を誘導したい被写体が含まれることになる。

【0008】

３次元顕著性マップ生成手段は、ボリューメトリックキャプチャ情報に基づいて、視体積に含まれる被写体の３次元形状及び表面模様についての３次元顕著性マップを生成する。この３次元顕著性マップは、被写体の３次元形状を平面上の奥行き画像に変換した情報と、表面模様の勾配や色彩を数値化した情報とが含まれている。

【0009】

被写体認識手段は、機械学習により、視体積に含まれる被写体の種類を認識する。重要度設定手段は、被写体認識手段が認識した被写体の種類と重要度とを対応付けて設定する。重要度乗算手段は、視体積を複数の分割領域に分割し、被写体の種類毎に設定された重要度を被写体が分割されている分割領域に割り当て、割り当てた分割領域の重要度に、撮影カメラのフォーカス位置から分割領域までの距離が離れる程に小さくなるように予め設定された第１係数と、分割領域がカメラパラメータの焦点深度に基づきフォーカス位置から外れる程に小さくなるように予め設定された第２係数とを乗算する。つまり、重要度乗算手段は、２次元映像コンテンツの制作者が視線を誘導したい被写体の重要度が高くなるように、第１係数及び第２係数を乗算する。

【0010】

視線誘導手段は、重要度乗算手段が乗算した重要度をボリューメトリックキャプチャ情報に反映させたレンダリングパラメータを生成し、レンダリングパラメータをＶＲコンテンツに付加する。つまり、このＶＲコンテンツは、重要度が高い被写体を注視させるようにレンダリングパラメータが付加されているので、視線誘導効果が高くなる。

【0011】

ここで、視線誘導効果とは、肉眼の動きの特性により、映像コンテンツの制作者が意図した被写体のＶＲコンテンツに視聴者の視線を誘導（誘目）する映像演出効果のことである。例えば、視線誘導効果は、所望の被写体を強調する、色鮮やかにする、明るくする、又は、視聴者の視線を誘導したくない被写体をぼかす（デフォーカス）ことである。

【0012】

なお、本発明は、コンピュータが備えるＣＰＵ、メモリ、ハードディスクなどのハードウェア資源を、前記した映像演出処理装置として動作させるプログラムで実現することもできる。

【発明の効果】

【0013】

本発明によれば、２次元映像コンテンツの制作者が視線を誘導したい被写体を注視させるように、視線誘導効果が高いＶＲコンテンツを効率的に制作することができる。

【図面の簡単な説明】

【0014】

【図1】実施形態に係るＶＲコンテンツ制作システムの概略構成図である。

【図2】実施形態に係る映像演出処理装置の構成を示すブロック図である。

【図3】実施形態において、視体積の算出を説明する説明図である。

【図4】実施形態において、重要度ＤＢを説明する説明図である。

【図5】実施形態において、注視パラメータの推定を説明する説明図である。

【図6】図２の映像演出処理装置の動作を示すフローチャートである。

【発明を実施するための形態】

【0015】

（実施形態）
［ＶＲコンテンツ制作システムの構成］
以下、本発明の実施形態について、適宜図面を参照しながら詳細に説明する。
図１を参照し、実施形態に係るＶＲコンテンツ制作システム１の構成について説明する。
図１に示すように、ＶＲコンテンツ制作システム１は、視線誘導効果が高いＶＲコンテンツを制作するものであり、固定カメラ２と、撮影カメラ３と、映像演出処理装置４とを備える。

【0016】

固定カメラ２は、後記する撮影カメラ３で撮影した被写体９の動きを正確にトラッキングして、３次元データとしてデジタル化するボリューメトリックキャプチャを行うためのカメラである。この固定カメラ２は、被写体９を撮影した映像を映像演出処理装置４に出力する。この固定カメラ２が撮影した映像には、映像演出処理装置４によりボリューメトリックキャプチャが施される。例えば、固定カメラ２は、図示を省略した撮影スタジオの所定位置に固定されている。なお、図１では、図面を見やすくするために、固定カメラ２を５台図示したが、固定カメラ２の台数は特に限定されない。

【0017】

撮影カメラ３は、被写体９を撮影する一般的な実写カメラであり、被写体９の撮影映像を映像演出処理装置４に出力する。この撮影カメラ３が撮影した映像は、２次元映像コンテンツの制作に用いられる。例えば、図示を省略したカメラマンが撮影カメラ３を操作して、被写体９の撮影を行う。このとき、固定カメラ２と撮影カメラ３とによる撮影を同時に行ってもよい。
なお、撮影カメラ３を仮想カメラとしてもよい。この場合、カメラマンは、カメラパラメータを入力可能なマニピュレータを用いて、仮想カメラを操作して被写体９を撮影する。

【0018】

映像演出処理装置４は、ボリューメトリックキャプチャ情報と、撮影カメラ３のカメラパラメータとを用いて、ボリューメトリックキャプチャで予め生成した被写体９のＶＲコンテンツに視線誘導効果を付加するものである。

【0019】

［映像演出処理装置の構成］
図２を参照し、映像演出処理装置４の構成について説明する。
図２に示すように、映像演出処理装置４は、ボリューメトリックキャプチャ手段４０と、カメラパラメータ推定手段４１と、視体積算出手段４２と、３次元顕著性マップ生成手段４３と、被写体認識手段４４と、重要度ラベリング手段（重要度設定手段）４５と、注視パラメータ推定手段（重要度乗算手段）４６と、視線誘導手段４７とを備える。

【0020】

ボリューメトリックキャプチャ手段４０は、ボリューメトリックキャプチャにより、ＶＲコンテンツ及びボリューメトリックキャプチャ情報を生成するものである。本実施形態では、ボリューメトリックキャプチャ手段４０は、各固定カメラ２からの映像に後記するボリューメトリックキャプチャを施すことで、被写体９のＶＲコンテンツ及びボリューメトリックキャプチャ情報を生成する。そして、ボリューメトリックキャプチャ手段４０は、生成したボリューメトリックキャプチャ情報及びＶＲコンテンツをカメラパラメータ推定手段４１及び視線誘導手段４７に出力する。

【0021】

なお、ボリューメトリックキャプチャとは、被写体９の３次元形状及び表面模様（例えば、テクスチャ等の表面特性）を時系列で取得する手法である。また、ボリューメトリックキャプチャ情報とは、ボリューメトリックキャプチャにより取得した被写体９の３次元形状及び表面模様を表す情報のことである。例えば、ボリューメトリックキャプチャとしては、参考文献１に記載の手法があげられる。
参考文献１：”4D Views”、［online］、株式会社クレッセント、［令和１年５月１７日検索］、インターネット〈URL：https://www.crescentinc.co.jp/company/〉

【0022】

カメラパラメータ推定手段４１は、カメラキャリブレーションにより、撮影カメラ３のカメラパラメータを推定するものである。本実施形態では、カメラパラメータ推定手段４１は、撮影カメラ３からの撮影映像に一般的なカメラキャリブレーションを施すことで、撮影カメラ３のカメラパラメータを推定する。例えば、カメラキャリブレーションの手法としては、特開２０１１－１１８７２４号公報、及び、特開２０１４－１２７０６８号公報に記載の手法があげられるため、詳細な説明を省略する。そして、カメラパラメータ推定手段４１は、推定したカメラパラメータ及び撮影映像を視体積算出手段４２に出力する。

【0023】

なお、カメラパラメータは、カメラマンにより操作されている撮影カメラ３の位置及び姿勢、撮影画角を表しており、例えば、パン、チルト、ズーム、フォーカス位置、アイリス、レンズ主点の位置が含まれている。つまり、カメラパラメータには、２次元映像コンテンツの制作者のノウハウの一つである、カメラマンによるカメラワークが反映されていると考えられる。

【0024】

ここで、カメラパラメータ推定手段４１は、撮影カメラ３が仮想カメラの場合、仮想カメラを操作するマニピュレータの操作結果に基づいてカメラパラメータを推定してもよい。この場合、カメラパラメータ推定手段４１は、カメラパラメータ及びボリューメトリックキャプチャ情報を用いて、仮想カメラで撮影した映像をレンダリングし、仮想カメラのビューファインダ映像として、カメラマンに提示してもよい。

【0025】

視体積算出手段４２は、カメラパラメータ推定手段４１が推定したカメラパラメータのレンズ主点及び撮影画角で表される四角錐状の領域を、撮影カメラ３の撮影範囲である視体積として算出するものである。この視体積は、３次元空間でどのエリアが撮影対象となっているかを表すボリューム情報である。図３に示すように、視体積Ｖは、レンズ主点Ｖ_Ｔが頂点となり、水平撮影画角θ_Ｈ及び垂直撮影画角θ_Ｖに応じたサイズとなる。また、底面Ｖ_Ｂは、奥行き方向で被写体９の背面まで視体積Ｖに収まるように、撮影カメラ３のフォーカス位置の近傍に設定される。従って、視体積Ｖには、２次元映像コンテンツの制作者が視線を誘導したい被写体９（例えば、人物の顔）が含まれている。
その後、視体積算出手段４２は、算出した視体積Ｖを３次元顕著性マップ生成手段４３及び被写体認識手段４４に出力する。

【0026】

３次元顕著性マップ生成手段４３は、ボリューメトリックキャプチャ手段４０からのボリューメトリックキャプチャ情報を参照し、３次元顕著性マップを生成するものである。図３に示すように、３次元顕著性マップ生成手段４３は、視体積算出手段４２が算出した視体積Ｖに含まれる被写体９について、３次元顕著性マップを生成する。そして、３次元顕著性マップ生成手段４３は、生成した３次元顕著性マップを注視パラメータ推定手段４６に出力する。
なお、図３では、被写体９の全体のうち、視体積Ｖに含まれる被写体９の領域を実線で図示し、視体積Ｖに含まれない被写体９の領域を破線で図示した。

【0027】

３次元顕著性マップは、被写体９の３次元形状を平面の奥行き画像に変換した情報と、被写体９の表面模様を対象として、その勾配や色彩の目立ちやすさを数値化した情報とを表している。すなわち、３次元顕著性マップは、輝度値、色空間及び勾配方向という３つの特徴マップを生成し、各特徴マップから算出した注目度を表している。ここで、３次元顕著性マップは、視体積Ｖに含まれる被写体９毎に生成される。

【0028】

なお、２次元顕著性マップの一例は、参考文献２及び、参考文献３に詳細に記載されており、３次元顕著性マップも同様の手順で生成できるため、これ以上の説明を省略する。
参考文献２：Itti ,Koch, “A saliency-based search mechanism for overt and covert shifts of visual attention”, Vision Research, 40(2000), 1489-1506
参考文献３：ディジタル画像処理［改定新版］、公益社団法人画像情報教育振興協会、２０１５年３月９日、２４４頁－２４６頁

【0029】

被写体認識手段４４は、機械学習により、視体積算出手段４２からの視体積Ｖに含まれる被写体９の種類を認識するものである。この被写体の種類は、２次元映像コンテンツの台本に含まれる被写体９の種類を表しており、例えば、主役、主役の顔、脇役、エキストラ等である。例えば、被写体認識手段４４は、ボリューメトリックキャプチャ情報を参照し、被写体９の３次元形状及び表面模様を対象として、各被写体９を上下左右前後の６方向から２次元映像にレンダリングする。そして、被写体認識手段４４は、２次元映像としてレンダリングされた被写体９の種類を機械学習により認識する。なお、機械学習の手法としては、参考文献３に記載された手法があげられる。
参考文献３：Joseph Redmon, Ali Farhadi ,”YOLOv3: An Incremental Improvement“,2018.4.8

【0030】

ここで、被写体認識手段４４は、被写体９の種類が顔である場合、機械学習により、「前方」又は「後方」のように顔の方向も認識してもよい。例えば、被写体認識手段４４は、主役が正面を向いている場合、顔の方向を「前方」と認識する。
その後、被写体認識手段４４は、認識した被写体９の種類を重要度ラベリング手段４５に出力する。

【0031】

重要度ラベリング手段４５は、被写体認識手段４４からの被写体９の種類と、被写体９の種類毎に予め設定された重要度とをラベリング（対応付ける）ものである。さらに、重要度ラベリング手段４５は、被写体９の種類が顔である場合、顔に視聴者の視線が集まりやすいので、被写体認識手段４４が認識した顔の方向と重要度とをラベリングする。つまり、重要度ラベリング手段４５は、図４に示すように、被写体９の種類と、被写体９の方向と、重要度とを対応付けた重要度ＤＢを生成する。そして、重要度ラベリング手段４５は、生成した重要度ＤＢを注視パラメータ推定手段４６に出力する。

【0032】

「被写体の種類」は、被写体認識手段４４が認識した被写体９の種類を表す。
「被写体の方向」は、被写体９の種類が顔である場合、その顔の方向（例えば、「前方」又は「後方」）を表している。図４の例では、主役の顔の向きが「前方」になっている。
「重要度」は、２次元映像コンテンツにおける被写体９の重要度を表している。この重要度は、被写体９が重要であれば大きな値、被写体９が重要でなければ小さな値になる。ここで、重要度は、２次元映像コンテンツを制作する台本に含まれるワード（例えば、セリフ）に基づいて、手動で設定する。例えば、重要度は、台本に含まれるワードの出現頻度（例えば、ＴＦ－ＩＤＦ）に基づいて設定する。

【0033】

注視パラメータ推定手段４６は、３次元顕著性マップ生成手段４３からの３次元顕著性マップ、及び、重要度ラベリング手段４５からの重要度ＤＢに基づいて、以下で説明するように、各ボクセルの注視パラメータ（重要度）を推定するものである。そして、注視パラメータ推定手段４６は、推定した注視パラメータを視線誘導手段４７に出力する。

【0034】

＜注視パラメータの推定＞
図５を参照し、注視パラメータの推定について説明する。
図５に示すように、注視パラメータ推定手段４６は、視体積Ｖを複数のボクセル（分割領域）Ｂに分割する。その結果、視体積Ｖに含まれる被写体９もボクセルＢに分割される。このボクセルＢは、直方体であり、その個数及びサイズが撮影カメラ３の画角（アスペクト比）を基準として任意である。図５の例では、撮影カメラ３の画角を４対３とし、水平方向に４個、垂直方向に３個、奥行き方向に４個、合計４８個のボクセルＢに視体積Ｖを分割している。また、図５の例では、奥行き方向の分割数を水平方向又は垂直方向の分割数の大きい方に合わせている。また、視体積Ｖの底面Ｖ_Ｂは、ボクセルＢに分割した際、撮影カメラ３のフォーカス位置が奥行方向でボクセル空間の中心となるように設定されている。なお、ボクセル空間とは、各ボクセルＢの集合で構成される空間のことである。

【0035】

次に、注視パラメータ推定手段４６は、重要度ＤＢに格納されている重要度を、被写体９が分割されているボクセルＢに割り当てる。これにより、ボクセルＢ毎に重要度が推定されることになり、重要度が各ボクセルＢの注視パラメータとなる。

【0036】

次に、注視パラメータ推定手段４６は、ボクセルＢ毎に重要度に、後記する第１係数及び第２係数を乗算する。つまり、注視パラメータ推定手段４６は、２次元映像コンテンツの制作者が視線を誘導したい被写体９の重要度が高くなるように、第１係数及び第２係数を各ボクセルＢの重要度に乗算する。この第１係数は、撮影カメラ３のフォーカス位置（ボクセル空間の中心）から各ボクセルＢまでの距離が離れる程に小さくなるように予め設定された係数である。具体的には、第１係数は、下記の式（１）に示すように、距離Ｌの二乗に反比例し、この距離ＬはボクセルＢの一辺を１としている。なお、Ｗは、１以上の任意の値で予め設定した重みを表す。
Ｗ／（Ｌ^２＋１） …式（１）

【0037】

ここで、ボクセルＢに対応する被写体９の種類が顔である場合、下記の式（１－２）及び式（１－３）に示すように、顔の方向に応じて第１係数を設定してもよい。これにより、後記する視線誘導手段４７において、２次元映像コンテンツの映像演出効果である「前空き」を実現できる。なお、Ｗ１及びＷ２は、１以上の任意の値で予め設定した重みを表し、例えば、「前空き」を実現する場合、Ｗ１＞Ｗ２となるように設定する。
前方向：Ｗ１／（Ｌ^２＋１） …式（１－２）
後方向：Ｗ２／（Ｌ^２＋１） …式（１－３）

【0038】

また、第２係数は、撮影カメラ３の焦点深度に応じた係数である。具体的には、第２係数は、カメラパラメータの焦点深度に基づいて、ボクセルＢがフォーカス位置から外れる程に小さくなるように予め設定された係数である。すなわち、第２係数は、カメラ光軸上の合焦位置を基準として、撮影カメラ３に近づく方向及び遠ざかる方向の両方で、合焦位置から離れるにつれて小さくなる。

【0039】

例えば、第１係数の重みＷ，Ｗ１，Ｗ２については、経験則より「２．０」に設定した。また、例えば、第２係数については、合焦時の解像度に対して、解像度が１／４となる限界位置で「０」とし、合焦位置で「２．０」とし、限界位置から合焦位置までの間を線形補間した値とした。

【0040】

図２に戻り、映像演出処理装置４の構成ついて説明を続ける。
視線誘導手段４７は、注視パラメータ推定手段４６が推定した重要度（注視パラメータ）を、ボリューメトリックキャプチャ手段４０からのボリューメトリックキャプチャ情報に反映させたレンダリングパラメータを生成するものである。

【0041】

まず、視線誘導手段４７は、各ボクセルＢの重要度を正規化する。例えば、視線誘導手段４７は、ボクセルＢの重要度を「０」～「１」の値で正規化する。次に、視線誘導手段４７は、ボリューメトリックキャプチャ情報の表面模様（色彩度）と正規化した重要度とを乗算する。これにより、各ボクセルの重要度が高いほど、色が鮮やかになる。さらに、視線誘導手段４７は、３次元空間におけるフォーカス位置と、撮影カメラ３の撮像素子サイズ及びレンズの口径とから、レンダリングに反映させるボケフィルタのカーネルサイズと焦点距離との関係を示す係数を一般的なレンズモデルに基づいて算出し、算出した係数をレンダリングパラメータに反映させる。これにより、各ボクセルＢでデフォーカスが表現される。

【0042】

そして、視線誘導手段４７は、重要度や焦点深度が反映されたレンダリングパラメータをボリューメトリックキャプチャ手段４０からのＶＲコンテンツに付加し、そのＶＲコンテンツを出力する。このように、ＶＲコンテンツにおいて、視線を誘導したい被写体９の色が鮮やかになり、デフォーカスが表現される。

【0043】

［映像演出処理装置の処理］
図６を参照し、映像演出処理装置４の処理について説明する。
図６に示すように、ステップＳ１において、ボリューメトリックキャプチャ手段４０は、ボリューメトリックキャプチャにより、ＶＲコンテンツ及びボリューメトリックキャプチャ情報を生成する。

【0044】

ステップＳ２において、カメラパラメータ推定手段４１は、カメラキャリブレーションにより、撮影カメラ３のカメラパラメータを推定する。
ステップＳ３において、視体積算出手段４２は、ステップＳ２で推定したカメラパラメータのレンズ主点及び撮影画角で表される四角錐状の領域を、撮影カメラ３の撮影範囲である視体積Ｖとして算出する。

【0045】

ステップＳ４において、３次元顕著性マップ生成手段４３は、ステップＳ１で生成したボリューメトリックキャプチャ情報を参照し、３次元顕著性マップを生成する。
ステップＳ５において、被写体認識手段４４は、機械学習により、ステップＳ３で算出した視体積Ｖに含まれる被写体９の種類を認識する。
ステップＳ６において、重要度ラベリング手段４５は、ステップＳ５で認識した被写体９の種類と、被写体９の種類毎に予め設定された重要度とをラベリングする。

【0046】

ステップＳ７において、注視パラメータ推定手段４６は、３次元顕著性マップ及び重要度ＤＢに基づいて、各ボクセルＢの注視パラメータを推定する。
ステップＳ８において、視線誘導手段４７は、注視パラメータをボリューメトリックキャプチャ情報に反映させたレンダリングパラメータを生成し、生成したレンダリングパラメータをＶＲコンテンツに付加する。

【0047】

［作用・効果］
以上のように、映像演出処理装置４は、視線を誘導したい被写体９の色が鮮やかになり、デフォーカスが表現されたＶＲコンテンツを生成する。このようにして、映像演出処理装置４は、２次元映像コンテンツの制作者が視線を誘導したい被写体９を注視させて、視線誘導効果が高いＶＲコンテンツを効率的に制作することができる。すなわち、映像演出処理装置４は、ＶＲコンテンツの制作を効率化するだけでなく、ＶＲコンテンツにおいて、制作者の意図を２次元映像と同レベルで伝えることが可能となる。

【0048】

さらに、映像演出処理装置４は、視聴者の視線が集まりやすい顔については、その方向も重要度に反映させる。これにより、映像演出処理装置４は、２次元映像コンテンツの制作で用いられる映像演出手法である「前空き」をＶＲコンテンツにも適用することができる。

【0049】

（変形例）
以上、本発明の実施形態を詳述してきたが、本発明は前記した実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。

【0050】

前記した実施形態において、カメラパラメータに含まれていないレンズ歪を考慮してもよい。つまり、レンズ歪については、レンズ歪モデルを予め選択しておき、レンズ歪に関連するカメラパラメータを用いて、レンズ歪モデルからレンズ歪み係数を設定する。そして、視体積算出手段が、設定されたレンズ歪係数が反映された撮影画角、及び、レンズ主点で表される四角錐状の領域を、視体積として算出する。これにより、レンズ歪の影響を受けやすい超広角レンズで撮影する場合でも、視体積を正確に求められるので、視線を誘導したい被写体を正確に注視させることができる。

【0051】

前記した実施形態において、ボリュームダイアルやＧＵＩ（Graphical User Interface）を介して、ユーザが手動で第１係数の重みを調整してもよい。また、被写体の種類及び第１係数をニューラルネットワークで学習し、学習した識別器を用いて、認識した被写体の種類に応じた第１係数を推定してもよい。

【0052】

視線誘導効果は、前記した実施形態に限定されない。例えば、重要度に基づいて所定の基準値を超えるボクセルを内包するバウンディングボックスを設定し、そのバウンディングボックスをＶＲコンテンツに含めてもよい。この場合、視聴者の視点に対応させて、バウンディングボックスを矩形実線で描画することで、注視させたい領域を明示（強調）してもよい。

【0053】

前記した各実施形態では、映像演出処理装置を独立したハードウェアとして説明したが、本発明は、これに限定されない。例えば、本発明は、コンピュータが備えるＣＰＵ、メモリ、ハードディスク等のハードウェア資源を、前記した映像演出処理装置として動作させるプログラムで実現することもできる。これらのプログラムは、通信回線を介して配布してもよく、ＣＤ－ＲＯＭやフラッシュメモリ等の記録媒体に書き込んで配布してもよい。

【符号の説明】

【0054】

１ ＶＲコンテンツ制作システム
２ 固定カメラ
３ 撮影カメラ
４ 映像演出処理装置
４０ ボリューメトリックキャプチャ手段
４１ カメラパラメータ推定手段
４２ 視体積算出手段
４３ ３次元顕著性マップ生成手段
４４ 被写体認識手段
４５ 重要度ラベリング手段（重要度設定手段）
４６ 注視パラメータ推定手段（重要度乗算手段）
４７ 視線誘導手段

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】