知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2025038752
(43)【公開日】2025-03-19
(54)【発明の名称】画像処理装置、画像処理方法、及びプログラム
(51)【国際特許分類】
G06T 7/00 20170101AFI20250312BHJP
G06T 7/55 20170101ALI20250312BHJP
【ＦＩ】
G06T7/00 350B
G06T7/55
【審査請求】未請求
【請求項の数】16
【出願形態】ＯＬ
(21)【出願番号】P 2023145542
(22)【出願日】2023-09-07
(71)【出願人】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】110001243
【氏名又は名称】弁理士法人谷・阿部特許事務所
(72)【発明者】
【氏名】岩尾 知頼
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096CA05
5L096FA67
5L096FA69
5L096KA04
(57)【要約】
【課題】 ＮｅＲＦの学習に要する時間を短縮する。
【解決手段】 画像処理装置１０２は、互いに異なる位置に配置された複数の撮像装置のそれぞれの撮像パラメータと、前記複数の撮像装置のそれぞれによる撮像により得られる撮像画像のデータと、仮想視点の位置を示す情報、及び前記仮想視点からの視線の方向を示す情報の少なくともいずれかを含む仮想視点情報とを取得し、前記仮想視点情報に基づいて、前記複数の撮像装置の撮像領域に存在するオブジェクトに対応する放射輝度場を推定する学習モデルの学習条件を決定し、前記学習条件、前記撮像パラメータ、及び前記撮像画像のデータに基づいて、前記学習モデルの学習を行う。
【選択図】 図４
【解決手段】 画像処理装置１０２は、互いに異なる位置に配置された複数の撮像装置のそれぞれの撮像パラメータと、前記複数の撮像装置のそれぞれによる撮像により得られる撮像画像のデータと、仮想視点の位置を示す情報、及び前記仮想視点からの視線の方向を示す情報の少なくともいずれかを含む仮想視点情報とを取得し、前記仮想視点情報に基づいて、前記複数の撮像装置の撮像領域に存在するオブジェクトに対応する放射輝度場を推定する学習モデルの学習条件を決定し、前記学習条件、前記撮像パラメータ、及び前記撮像画像のデータに基づいて、前記学習モデルの学習を行う。
【選択図】 図４
【特許請求の範囲】
【請求項1】
互いに異なる位置に配置された複数の撮像装置のそれぞれの撮像パラメータを取得する撮像パラメータ取得手段と、
前記複数の撮像装置のそれぞれによる撮像により得られる撮像画像のデータを取得する画像取得手段と、
仮想視点の位置を示す情報、及び前記仮想視点からの視線の方向を示す情報の少なくともいずれかを含む仮想視点情報を取得する視点取得手段と、
前記仮想視点情報に基づいて、前記複数の撮像装置の撮像領域に存在するオブジェクトに対応する放射輝度場を推定する学習モデルの学習条件を決定する決定手段と、
前記学習条件、前記撮像パラメータ、及び前記撮像画像のデータに基づいて、前記学習モデルの学習を行う学習手段と、
を有することを特徴とする画像処理装置。
前記複数の撮像装置のそれぞれによる撮像により得られる撮像画像のデータを取得する画像取得手段と、
仮想視点の位置を示す情報、及び前記仮想視点からの視線の方向を示す情報の少なくともいずれかを含む仮想視点情報を取得する視点取得手段と、
前記仮想視点情報に基づいて、前記複数の撮像装置の撮像領域に存在するオブジェクトに対応する放射輝度場を推定する学習モデルの学習条件を決定する決定手段と、
前記学習条件、前記撮像パラメータ、及び前記撮像画像のデータに基づいて、前記学習モデルの学習を行う学習手段と、
を有することを特徴とする画像処理装置。
【請求項2】
前記決定手段は、前記仮想視点情報に基づいて、前記画像取得手段により取得された複数の前記撮像画像のデータのうちから、前記学習モデルの学習において学習画像データとして用いる前記撮像画像のデータを決定することにより、前記学習条件を決定すること、
を特徴とする請求項１に記載の画像処理装置。
を特徴とする請求項１に記載の画像処理装置。
【請求項3】
前記仮想視点情報は、前記仮想視点からの視線の方向を示す情報を含み、
前記決定手段は、前記仮想視点からの視線の方向を示す情報と、前記複数の撮像装置のそれぞれの前記撮像パラメータに含まれる撮像装置の光軸の方向を示す情報とに基づいて、前記学習画像データとして用いる前記撮像画像のデータを決定すること、
を特徴とする請求項２に記載の画像処理装置。
前記決定手段は、前記仮想視点からの視線の方向を示す情報と、前記複数の撮像装置のそれぞれの前記撮像パラメータに含まれる撮像装置の光軸の方向を示す情報とに基づいて、前記学習画像データとして用いる前記撮像画像のデータを決定すること、
を特徴とする請求項２に記載の画像処理装置。
【請求項4】
前記仮想視点情報は、前記仮想視点の位置を示す情報を含み、
前記決定手段は、前記仮想視点の位置を示す情報と、前記複数の撮像装置のそれぞれの前記撮像パラメータに含まれる撮像装置の位置を示す情報とに基づいて、前記学習画像データとして用いる前記撮像画像のデータを決定すること、
を特徴とする請求項２に記載の画像処理装置。
前記決定手段は、前記仮想視点の位置を示す情報と、前記複数の撮像装置のそれぞれの前記撮像パラメータに含まれる撮像装置の位置を示す情報とに基づいて、前記学習画像データとして用いる前記撮像画像のデータを決定すること、
を特徴とする請求項２に記載の画像処理装置。
【請求項5】
前記学習手段は、前記決定手段により決定された前記撮像画像のデータのみを前記学習画像データとして用いて前記学習モデルの学習を行うこと、
を特徴とする請求項２に記載の画像処理装置。
を特徴とする請求項２に記載の画像処理装置。
【請求項6】
前記学習手段による前記学習モデルの学習は、学習フェーズとして、前記決定手段により決定された前記撮像画像のデータのみを前記学習画像データとして用いて前記学習モデルの学習を行う第１の学習フェーズと、前記画像取得手段により取得された全ての前記撮像画像のデータを前記学習画像データとして用いて前記学習モデルの学習を行う第２の学習フェーズとを含むこと、
を特徴とする請求項２に記載の画像処理装置。
を特徴とする請求項２に記載の画像処理装置。
【請求項7】
前記学習手段は、前記第１の学習フェーズによる前記学習モデルの学習を行った後に、前記第２の学習フェーズによる前記学習モデルの学習を行うこと、
を特徴とする請求項６に記載の画像処理装置。
を特徴とする請求項６に記載の画像処理装置。
【請求項8】
前記学習手段は、前記第２の学習フェーズによる前記学習モデルの学習を行った後に、前記第１の学習フェーズによる前記学習モデルの学習を行うこと、
を特徴とする請求項６に記載の画像処理装置。
を特徴とする請求項６に記載の画像処理装置。
【請求項9】
前記学習手段は、前記第１の学習フェーズによる前記学習モデルの学習、及び前記第２の学習フェーズによる前記学習モデルの学習の少なくとも一方を、他方の学習を行う前と後とに繰り返し行うこと、
を特徴とする請求項６に記載の画像処理装置。
を特徴とする請求項６に記載の画像処理装置。
【請求項10】
前記決定手段は、前記仮想視点情報に基づいて決定した、前記学習画像データとして用いる複数の前記撮像画像のデータを複数の画像グループに分割し、
前記学習手段は、前記画像グループごとに、前記画像グループに含まれる前記撮像画像のデータを前記学習画像データとして用いて前記学習モデルの学習を行うこと、
を特徴とする請求項２に記載の画像処理装置。
前記学習手段は、前記画像グループごとに、前記画像グループに含まれる前記撮像画像のデータを前記学習画像データとして用いて前記学習モデルの学習を行うこと、
を特徴とする請求項２に記載の画像処理装置。
【請求項11】
前記決定手段は、前記仮想視点情報に基づいて決定した、前記学習画像データとして用いる複数の前記撮像画像のデータを複数の画像グループに分割し、
前記学習手段は、前記画像グループごとに、前記画像グループに含まれる前記撮像画像のデータを前記学習画像データとして用いて、前記第１の学習フェーズによる前記学習モデルの学習を行うこと、
を特徴とする請求項６に記載の画像処理装置。
前記学習手段は、前記画像グループごとに、前記画像グループに含まれる前記撮像画像のデータを前記学習画像データとして用いて、前記第１の学習フェーズによる前記学習モデルの学習を行うこと、
を特徴とする請求項６に記載の画像処理装置。
【請求項12】
前記学習手段は、前記決定手段により決定された前記撮像画像のデータを前記学習画像データとして用いる場合の学習の重みを、前記画像取得手段により取得された複数の前記撮像画像のデータのうちの、前記決定手段により決定された前記撮像画像のデータ以外の前記撮像画像のデータを前記学習画像データとして用いる場合の前記学習モデルの学習の重みより高くすること、
を特徴とする請求項２に記載の画像処理装置。
を特徴とする請求項２に記載の画像処理装置。
【請求項13】
学習済みの前記学習モデルである学習済モデルを用いて、前記オブジェクトに対応する放射輝度場を推定して、前記仮想視点からの見えに対応する仮想視点画像を生成する生成手段、
を更に有し、
前記仮想視点情報は、前記仮想視点の位置を示す情報、及び前記仮想視点からの視線の方向を示す情報を含み、
前記生成手段は、前記仮想視点情報を前記学習済モデルに入力することにより前記仮想視点画像を生成すること、
を特徴とする請求項１に記載の画像処理装置。
を更に有し、
前記仮想視点情報は、前記仮想視点の位置を示す情報、及び前記仮想視点からの視線の方向を示す情報を含み、
前記生成手段は、前記仮想視点情報を前記学習済モデルに入力することにより前記仮想視点画像を生成すること、
を特徴とする請求項１に記載の画像処理装置。
【請求項14】
前記仮想視点画像を表示制御して表示装置に表示出力する出力手段、
を更に有することを特徴とする請求項１３に記載の画像処理装置。
を更に有することを特徴とする請求項１３に記載の画像処理装置。
【請求項15】
互いに異なる位置に配置された複数の撮像装置のそれぞれの撮像パラメータを取得する撮像パラメータ取得工程と、
前記複数の撮像装置のそれぞれによる撮像により得られる撮像画像のデータを取得する画像取得工程と、
仮想視点の位置を示す情報、及び前記仮想視点からの視線の方向を示す情報の少なくともいずれかを含む仮想視点情報を取得する視点取得工程と、
前記仮想視点情報に基づいて、前記複数の撮像装置の撮像領域に存在するオブジェクトに対応する放射輝度場を推定する学習モデルの学習条件を決定する決定工程と、
前記学習条件、前記撮像パラメータ、及び前記撮像画像のデータに基づいて、前記学習モデルの学習を行う学習工程と、
を含むことを特徴とする画像処理方法。
前記複数の撮像装置のそれぞれによる撮像により得られる撮像画像のデータを取得する画像取得工程と、
仮想視点の位置を示す情報、及び前記仮想視点からの視線の方向を示す情報の少なくともいずれかを含む仮想視点情報を取得する視点取得工程と、
前記仮想視点情報に基づいて、前記複数の撮像装置の撮像領域に存在するオブジェクトに対応する放射輝度場を推定する学習モデルの学習条件を決定する決定工程と、
前記学習条件、前記撮像パラメータ、及び前記撮像画像のデータに基づいて、前記学習モデルの学習を行う学習工程と、
を含むことを特徴とする画像処理方法。
【請求項16】
コンピュータを、請求項１乃至１４のいずれか１項に記載の画像処理装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、撮像装置による撮像対象領域の仮想視点画像を生成する技術に関する。
【背景技術】
【0002】
互いに異なる視点からの撮像により得られる複数の撮像画像（以下「多視点画像」と呼ぶ。）データを用いて、撮像対象領域に存在するオブジェクト（以下「シーン」と呼ぶ。）の放射輝度場（Ｒａｄｉａｎｃｅ Ｆｉｅｌｄｓ）を推定する技術がある。また、推定された放射輝度場を用いて、任意の仮想的な視点（以下「仮想視点」と呼ぶ。）からのシーンの見えに対応する画像（以下「仮想視点画像」と呼ぶ。）を生成する技術がある。非特許文献１には、深層学習ネットワークにより構成されるＮｅＲＦ（Neural Radiance Fields）を用いて、放射輝度場を推定し、仮想視点画像を生成する技術が開示されている。多視点画像データを用いたＮｅＲＦの学習の結果として得られる学習済みのＮｅＲＦに対して、３次元空間における任意の位置と視点方向と示す情報を入力することにより、シーンに対応する色と体積密度とが推定される。ここで、体積密度とは、色の不透明度を表す指標である。
【0003】
上述の学習済みのＮｅＲＦを用いて仮想視点画像を生成する場合、学習済みのＮｅＲＦ内では以下のような処理が実行される。まず、入力された仮想視点の位置及び視線方向に基づいて、生成予定の仮想視点画像の大きさに相当する画像を仮想視点の位置から３次元空間に投影し、当該画像における各画素の方向に向かって、仮想視点の位置から光線を射出する。続いて、各画素に対応する光線上に存在する、３次元空間における複数の点をサンプリングして、サンプリングした各点に対応する色と体積密度とを算出する。更に続いて、算出した各点に対応する色と体積密度とを仮想視点から光線ごとに積算することにより、仮想視点画像における各画素値を決定して、仮想視点画像を生成する。
【0004】
また、ＮｅＲＦの学習を行う場合には、以下のような一連の処理が繰り返し実行される。まず、撮像装置の位置と光軸方向（以下「姿勢」と呼ぶ。）とを示す情報をＮｅＲＦに入力する。ＮｅＲＦは、入力されたこれらの情報に基づいて、上述の仮想視点画像の生成処理と同様の処理を実行することにより、当該撮像装置の撮像により得られる撮像画像に対応する画像を生成する。続いて、当該撮像画像のデータを教師データとして、ＮｅＲＦにより生成された画像の各画素値と当該撮像画像の各画素値との差分がより小さくなるように、ＮｅＲＦを構成する深層学習ネットワークの重みパラメータを更新する。
【先行技術文献】
【非特許文献】
【0005】
【非特許文献1】Ｂｅｎ Ｍｉｌｄｅｎｈａｌｌ，外５名，“ＮｅＲＦ： Ｒｅｐｒｅｓｅｎｔｉｎｇ Ｓｃｅｎｅｓ ａｓ Ｎｅｕｒａｌ Ｒａｄｉａｎｃｅ Ｆｉｅｌｄｓ ｆｏｒ Ｖｉｅｗ Ｓｙｎｔｈｅｓｉｓ”，［online］，令和２年８月３日，ａｒＸｉｖ，［令和５年８月９日検索］，インターネット＜https://arxiv.org/pdf/2003.08934.pdf＞
【発明の概要】
【発明が解決しようとする課題】
【0006】
ＮｅＲＦを用いて高精度の放射輝度場を推定できるようにするためには、大量の多視点画像データを用いて、上述のようなＮｅＲＦの学習を繰り返し行う必要がある。そのため、ＮｅＲＦの学習には多くの時間を要するという問題点があった。
【課題を解決するための手段】
【0007】
本開示に係る画像処理装置は、互いに異なる位置に配置された複数の撮像装置のそれぞれの撮像パラメータを取得する撮像パラメータ取得手段と、前記複数の撮像装置のそれぞれによる撮像により得られる撮像画像のデータを取得する画像取得手段と、仮想視点の位置を示す情報、及び前記仮想視点からの視線の方向を示す情報の少なくともいずれかを含む仮想視点情報を取得する視点取得手段と、前記仮想視点情報に基づいて、前記複数の撮像装置の撮像領域に存在するオブジェクトに対応する放射輝度場を推定する学習モデルの学習条件を決定する決定手段と、前記学習条件、前記撮像パラメータ、及び前記撮像画像のデータに基づいて、前記学習モデルの学習を行う学習手段と、を有する。
【発明の効果】
【0008】
本開示によれば、ＮｅＲＦの学習に要する時間を短縮することができる。
【図面の簡単な説明】
【0009】
【図1】実施形態１に係る画像処理システムの構成の一例を示す図である。
【図2】実施形態１に係る画像処理装置のハードウェア構成の一例を示すブロック図である。
【図3】実施形態１に係るＮｅＲＦの学習に用いる撮像画像データを説明するための図である。
【図4】実施形態１に係る画像処理装置の機能構成の一例を示すブロック図である。
【図5】実施形態１に係る画像処理装置の一連の処理フローの一例を示すフローチャートである。
【図6】実施形態１に係る学習部における学習処理の流れの一例を示すフローチャートである。
【図7】実施形態２に係る学習部における学習処理の流れの一例を示すフローチャートである。
【図8】実施形態３に係る画像処理装置の機能構成の一例を示すブロック図である。
【図9】実施形態３に係る画像処理装置の一連の処理フローの一例を示すフローチャートである。
【図10】実施形態３に係る撮像装置の配置の一例を示す図である。
【図11】実施形態３に係る撮像画像の一例を示す図である。
【図12】実施形態３に係る重要度決定部における処理の流れの一例を示すフローチャートである。
【図13】実施形態３に係る条件決定部における処理の流れの一例を示すフローチャートである。
【図14】実施形態５に係る重要度決定部における処理の流れの一例を示すフローチャートである。
【発明を実施するための形態】
【0010】
以下、本開示の実施形態について図面を参照して説明する。なお、以下の実施形態は、本開示を限定するものではなく、また、本実施形態において説明されている特徴の組み合わせの全てが本開示の解決手段に必須のものとは限らない。なお、同一の構成については、同じ符号を付して説明する。
【0011】
［実施形態１］
本実施形態では、仮想視点の位置と、仮想視点における仮想的な視線の方向（以下、単に「視線方向」と呼ぶ。）とを示す情報に基づいて、深層学習ネットワークにより構成されるＮｅＲＦの学習に用いる撮像画像データの数を削減する方法について説明する。以下、仮想視点を仮想カメラと呼び、仮想視点の視線方向を仮想カメラの姿勢と呼ぶ。また、仮想視点の位置及び視線方向、すなわち、仮想カメラの位置及び姿勢を示す情報を仮想カメラ情報と呼ぶ。
本実施形態では、仮想視点の位置と、仮想視点における仮想的な視線の方向（以下、単に「視線方向」と呼ぶ。）とを示す情報に基づいて、深層学習ネットワークにより構成されるＮｅＲＦの学習に用いる撮像画像データの数を削減する方法について説明する。以下、仮想視点を仮想カメラと呼び、仮想視点の視線方向を仮想カメラの姿勢と呼ぶ。また、仮想視点の位置及び視線方向、すなわち、仮想カメラの位置及び姿勢を示す情報を仮想カメラ情報と呼ぶ。
【0012】
図１は、実施形態１に係る画像処理システムの構成の一例を示す図である。画像処理システムは、複数の撮像装置１０１、画像処理装置１０２、ＵＩパネル１０３、記憶装置１０４、及び表示装置１０５を有する。各撮像装置１０１は、デジタルスチルカメラ又はデジタルビデオカメラ等により構成され、設定された撮像条件に従って、撮像対象領域に存在するオブジェクト１０６を互いに同期して撮像する。撮像装置１０１は、撮像対象領域の周囲を取り囲むように配置されている。画像処理装置１０２は、各撮像装置１０１による同期した撮像により得られる複数の撮像画像（多視点画像）のデータを用いて、ＮｅＲＦの学習を行う。また、画像処理装置１０２は、学習済みのＮｅＲＦを用いて、与えられた仮想視点に対応するオブジェクト１０６の放射輝度場を推定し、当該仮想視点からの見えに対応する仮想視点画像を生成する。以下、撮像装置１０１による撮像により得られる撮像画像を、「撮像装置１０１の撮像画像」と表記する。
【0013】
ＵＩパネル１０３は、ユーザからの、各撮像装置１０１における撮像条件、並びに各撮像装置１０１及び画像処理装置１０２における処理条件の設定の入力操作を受け付ける。また、ＵＩパネル１０３は、ＮｅＲＦにより推定される放射輝度場に基づいて仮想視点画像を生成する際の、仮想視点の位置及び視線方向、すなわち、仮想カメラの位置及び姿勢の設定の入力操作を受け付け得る。なお、上述の入力操作は、必ずしもＵＩパネルを介して行われなくてもよく、例えば、マウス又はキーボード等の、画像処理装置１０２に接続された別の操作入力デバイスを介して行なわれてもよい。記憶装置１０４は、画像処理装置１０２が取得した多視点画像データ、及び、画像処理装置１０２により推定されたオブジェクト１０６の放射輝度場の情報等を記憶する。表示装置１０５は、画像処理装置１０２が生成した仮想視点画像を表示する。なお、画像処理システムの構成については、上述のものに限定されるものではなく、上述の構成以外にも、様々な構成要素が存在し得る。しかしながら、上述の構成以外の構成については、本開示の主眼ではないため、その説明については省略する。
【0014】
図２は、実施形態１に係る画像処理装置１０２のハードウェア構成の一例を示すブロック図である。画像処理装置１０２は、ＣＰＵ２０１、メインメモリ２０２、記憶部２０３、入力部２０４、表示部２０５、及び外部Ｉ／Ｆ２０６を有し、これらは互いにバス２０７を介して通信可能に接続されている。ＣＰＵ２０１は、画像処理装置１０２を統括的に制御する演算処理デバイスであり、記憶部２０３等に格納されている各種プログラムを実行して各種な処理を行う。メインメモリ２０２は、ＣＰＵ２０１が各種処理を実行する際に用いる各種のデータ及びパラメータ等を一時的に格納する。また、メインメモリ２０２は、ＣＰＵ２０１に対して作業領域を提供する。
【0015】
記憶部２０３は、各種プログラム、及び表示装置１０５へのＧＵＩ（グラフィカル・ユーザ・インターフェイス）の表示に必要な各種データ等を記憶する大容量記憶装置であり、ハードディスク又はシリコンディスク等の不揮発性メモリにより構成される。入力部２０４は、キーボード、マウス、電子ペン、又はタッチパネル等の操作入力デバイスであり、ユーザからの入力操作を受け付ける。表示部２０５は、液晶パネル等により構成され、画像処理装置１０２により出力されるＧＵＩ等の表示を行う。ＣＰＵ２０１は、表示部２０５を制御する表示制御部、及び入力部２０４を制御する入力制御部としても動作する。実施形態１では、表示部２０５及び入力部２０４は、画像処理装置１０２の内部に存在するものとして説明するが、表示部２０５及び入力部２０４の少なくとも一方は、画像処理装置１０２の外部に別の装置として存在していてもよい。外部Ｉ／Ｆ部２０６は、ＬＡＮ２０８を介して各撮像装置１０１に接続され、撮像画像データ及び制御信号の送受信を行う。
【0016】
各撮像装置１０１は、ＬＡＮ２０８を介して画像処理装置１０２と接続されている。各撮像装置１０１は、画像処理装置１０２から出力される制御信号を受信し、受信した制御信号に基づいて、撮像の開始及び停止、シャッタースピード及び絞り値等の撮像条件の設定の変更、並びに、撮像により得られる撮像画像データの送信を行う。
【0017】
図３は、実施形態１に係るＮｅＲＦの学習に用いる撮像画像データを説明するための図である。図３（ａ）は、従来のＮｅＲＦの学習に用いる撮像画像データの一例を説明するための図である。従来のＮｅＲＦの学習においては、仮想カメラ３０１の位置及び姿勢に関わらず、オブジェクト１０６を撮像し得る全ての撮像装置１０１の撮像画像（多視点画像）のデータをＮｅＲＦの学習に用いる。
【0018】
図３（ｂ）は、本実施形態に係るＮｅＲＦの学習に用いる撮像画像データの一例を説明するための図である。従来のＮｅＲＦの学習では、上述したように、仮想カメラ３０１の位置及び姿勢に関わらず、全ての撮像装置１０１による撮像により得られた多視点画像データをＮｅＲＦの学習に用いる。これに対して、本実施形態に係るＮｅＲＦの学習では、図３（ｂ）に示すように、仮想カメラ３０１の位置又は姿勢に近い１台以上の撮像装置１０１の撮像画像データのみをＮｅＲＦの学習に用いる。すなわち、仮想カメラ３０１の位置又は姿勢に近い撮像装置１０１以外の撮像装置１０１の撮像画像データについては、ＮｅＲＦの学習に用いずに、学習に用いる撮像画像データの数を削減する。学習に用いる撮像画像データを削減することにより、ＮｅＲＦの学習に要する時間を短縮することができる。
【0019】
図３（ｃ）は、ＮｅＲＦの学習に用いる撮像画像データの数を削減する場合の従来の一般的な例を示す図である。図３（ｃ）に一例として示すように、オブジェクト１０６の周囲を取り囲む撮像装置１０１の数を満遍なく削減することによりＮｅＲＦの学習に用いる撮像画像データの数を削減することができる。しかしながら、このような削減方法では、学習済みのＮｅＲＦにより推定される放射輝度場の精度が低下してしまう。結果として、このような削減方法では、生成される仮想視点画像の品質が低下してしまう。
【0020】
一方、本実施形態に係る画像処理装置１０２は、図３（ｂ）に示すような削減方法により、仮想カメラ３０１の位置又は姿勢に近い撮像装置１０１の撮像画像データを集中的に用いてＮｅＲＦの学習を行う。このような学習の結果として得られる学習済みのＮｅＲＦによれば、少なくとも当該仮想カメラ３０１の位置及び姿勢と同一又は略同一の仮想カメラの位置及び姿勢において推定される放射輝度場及び生成される仮想視点画像の品質の低下を抑制することができる。すなわち、仮想カメラ３０１の位置又は姿勢に近い撮像装置１０１の撮像画像データを集中的に用いてＮｅＲＦの学習を行うことにより、ＮｅＲＦの学習に要する時間を短縮しつつ、放射輝度場の推定精度を高精度のまま維持することができる。
【0021】
図４は、実施形態１に係る画像処理装置１０２の機能構成の一例を示すブロック図である。画像処理装置１０２は、仮想カメラ情報取得部４００、撮像パラメータ取得部４０１、画像取得部４０２、特定部４０３、学習部４０４、生成部４０５、及び出力部４０６を有する。仮想カメラ情報取得部４００は、仮想カメラ情報を取得する。仮想カメラ情報取得部４００は、例えば、画像処理装置１０２の入力部２０４であるマウス若しくはキーボード等、又はＵＩパネル１０３等を介してユーザにより設定された仮想カメラ情報を取得する。仮想カメラ情報取得部４００により取得された仮想カメラ情報は、特定部４０３及び生成部４０５に送信される。画像取得部４０２は、各撮像装置１０１の撮像画像データ、すなわち、多視点画像データを取得する。具体的には、例えば、画像取得部４０２は、全ての撮像装置１０１の同期した撮像により得られた多視点画像データを取得する。画像取得部４０２により取得された多視点画像データは、学習部４０４に送信される。多視点画像データを構成する複数の撮像画像データの一部を学習画像データとして用いて、ＮｅＲＦの学習が行われる。
【0022】
撮像パラメータ取得部４０１は、各撮像装置１０１の外部パラメータ、内部パラメータ、及び歪曲パラメータ等を含む撮像パラメータを取得する。撮像パラメータは、例えば、画像処理装置１０２とは異なる外部装置により事前に行われたカメラキャリブレーションの結果に基づいて生成され、撮像パラメータ取得部４０１は、外部装置により生成された撮像パラメータを取得する。撮像パラメータの取得方法は、上述の方法に限定されるものではなく、例えば、撮像パラメータ取得部４０１が、画像取得部４０２により取得された多視点画像データを用いてカメラキャリブレーションを行うことにより撮像パラメータを生成して取得してもよい。撮像パラメータ取得部４０１により取得された撮像パラメータは、特定部４０３及び学習部４０４に送信される。
【0023】
特定部４０３は、仮想カメラ情報取得部４００から送信される仮想カメラ情報、及び撮像パラメータ取得部４０１から送信される各撮像装置の撮像パラメータを受信する。特定部４０３は、仮想カメラ情報、及び各撮像装置の撮像パラメータに基づいて、全ての撮像装置１０１のうちから、ＮｅＲＦの学習に学習画像データとして用いる撮像画像データを出力する撮像装置１０１を特定する。すなわち、特定部４０３は、撮像装置１０１を特定することにより、画像取得部４０２が取得した多視点画像データのうちから、ＮｅＲＦの学習に学習画像データとして用いる撮像画像データを決定する。撮像装置１０１の特定方法の詳細については後述する。特定部４０３により特定された撮像装置１０１を示す情報は、学習部４０４に送信される。
【0024】
学習部４０４は、特定部４０３が特定した撮像装置１０１の撮像パラメータと撮像画像データとに基づいて、ＮｅＲＦの学習を行う。具体的には、まず、学習部４０４は、特定部４０３が特定した１台以上の撮像装置１０１のうちの任意の撮像装置１０１の撮像パラメータをＮｅＲＦに入力する。より具体的には、学習部４０４は、少なくとも、撮像パラメータのうちの外部パラメータである撮像装置１０１の位置及び姿勢を示す情報をＮｅＲＦに入力する。ＮｅＲＦでは、入力された撮像装置１０１の位置及び姿勢を示す情報に基づいて、オブジェクト１０６の放射輝度場が推定される。更に、ＮｅＲＦでは、放射輝度場の推定結果を用いて、仮想視点画像の生成と同様の処理により画像が生成される。学習部４０４は、ＮｅＲＦが生成した画像のデータを取得する。続いて、学習部４０４は、当該撮像装置１０１の撮像画像データを正解の学習画像データ（教師画像データ）として、ＮｅＲＦにより生成された画像と撮像画像との差異がより小さくなるように、ＮｅＲＦの重みパラメータを更新する。学習部４０４は、上述の一連の処理を繰り返し実行することにより、ＮｅＲＦの学習を行う。学習部４０４による学習の結果として得られる学習済みのＮｅＲＦは、生成部４０５に送信される。
【0025】
生成部４０５は、学習部４０４から送信される学習済みのＮｅＲＦと、仮想カメラ情報取得部４００から送信される仮想カメラ情報とを受信して、受信した学習済みのＮｅＲＦと仮想カメラ情報とに基づいて仮想視点画像を生成する。具体的には、生成部４０５は、学習済みのＮｅＲＦに対して、仮想カメラ情報、すなわち、仮想カメラの位置及び姿勢を示す情報を入力する。学習済みのＮｅＲＦでは、入力された仮想カメラの位置及び姿勢を示す情報に基づいて、オブジェクト１０６の放射輝度場が推定される。更に、学習済みのＮｅＲＦでは、放射輝度場の推定結果を用いて、仮想視点画像が生成される。生成部４０５は、学習済みのＮｅＲＦにより生成された仮想視点画像のデータを取得する。生成部４０５により生成された仮想視点画像のデータは、出力部４０６に送信される。出力部４０６は、仮想視点画像のデータを受信し、これを出力する。具体的には、例えば、出力部４０６は、仮想視点画像のプレビュー画像を含むＧＵＩを生成して、生成したＧＵＩを表示部２０５に出力して表示する。
【0026】
図５及び６を参照して、画像処理装置１０２の動作について説明する。図５は、実施形態１に係る画像処理装置１０２の一連の処理フローの一例を示すフローチャートである。なお、以下の説明において、符号の先頭に示す「Ｓ」は、ステップ（工程）を表す。また、図５のフローチャートに示す各ステップの処理は、ＣＰＵ２０１が、所定のプログラムを記憶部２０３から読み出してメインメモリ２０２に展開し、これをＣＰＵ２０１が実行することにより実現される。
【0027】
まず、Ｓ５０１にて、撮像パラメータ取得部４０１は、各撮像装置１０１の撮像パラメータを取得する。次に、Ｓ５０２にて、画像取得部４０２は、各撮像装置１０１による撮像により得られた多視点画像データを取得する。具体的には、例えば、画像取得部４０２は、ＬＡＮ２０８を介して各撮像装置１０１に対して撮像を指示する信号を送信する。各撮像装置１０１は、当該信号を受けて、互いに同期した撮像を行い、撮像により得た撮像画像データを、ＬＡＮ２０８を介して画像処理装置１０２に送信する。画像取得部４０２は、各撮像装置１０１から送信された撮像画像データを、ＬＡＮ２０８、外部Ｉ／Ｆ部２０６、及びバス２０７を介して受信する。画像取得部４０２により受信された各撮像画像データ、すなわち、多視点画像データは、メインメモリ２０２に格納される。
【0028】
次に、Ｓ５０３にて、仮想カメラ情報取得部４００は、仮想カメラ情報を取得する。次に、Ｓ５０４にて、特定部４０３は、Ｓ５０３にて取得された仮想カメラ情報に基づいて、全ての撮像装置１０１のうちから、ＮｅＲＦの学習に学習画像データとして用いる撮像画像データを出力する撮像装置１０１を特定する。具体的には、例えば、特定部４０３は、仮想カメラの姿勢、すなわち、仮想視点における視線の方向を示す情報を用いて、ＮｅＲＦの学習に学習画像データとして用いる撮像画像データを出力する撮像装置１０１を特定する。
【0029】
上述したように、従来のＮｅＲＦの学習方法では、多視点画像データを構成する全ての撮像画像データを学習画像データとして用いて、ＮｅＲＦの学習を行っていた。このような学習により、従来の学習済みのＮｅＲＦは、３次元空間において任意の位置に指定した仮想視点と、当該仮想視点において指定した任意の視線の方向とに対応する色と体積密とを推定することが可能なものである。一方、本実施形態に係るＮｅＲＦの学習方法では、仮想カメラの姿勢に近い姿勢の撮像装置１０１の撮像画像データのみを学習画像データとして用いて、ＮｅＲＦの学習を行う。このような学習の結果として得られる学習済みのＮｅＲＦによれば、仮想カメラの姿勢、すなわち、仮想視点における視線の方向に近い方向からオブジェクト１０６を見たときの色と体積密度とを推定することができる。このとき、仮想カメラの姿勢に近い姿勢の撮像装置１０１による撮像により得られる撮像画像データが学習画像データとして用いられているため、生成される仮想視点画像は、品質の劣化が非常に少ない画像となる。一方、仮想カメラの姿勢を大きく変えた場合において生成される仮想視点画像の精度は大きく落ちてしまう。
【0030】
例えば、特定部４０３は、まず、仮想カメラの姿勢を示す方向ベクトルと、各撮像装置１０１の姿勢を示す方向ベクトルとが成す角度の閾値θth［ｄｅｇ］を設定する。次に、特定部４０３は、全ての撮像装置１０１のうちから方向ベクトルが、例えば、次式（１）を満たす撮像装置１０１を、ＮｅＲＦの学習に学習画像データとして用いる撮像画像データを出力する撮像装置１０１として特定する。
【0031】
｜ａｒｃｃｏｓ（（ｖm・ｖr）／（｜ｖm｜｜ｖr｜））｜＜θth ・・・ 式（１）
ここで、ｖmは、仮想カメラの姿勢を示す方向ベクトルを表し、ｖrは、撮像装置１０１の姿勢を示す方向ベクトルを表し、ｖm・ｖrは、ｖmとｖrとの内積値を表す。なお、ａｒｃｃｏｓ（ｘ）は－１８０～１８０［ｄｅｇ］の値をとるものとする。特定部４０３は、式（１）を満たす１台以上の撮像装置１０１のそれぞれを、ＮｅＲＦの学習に学習画像データとして用いる撮像画像データを出力する撮像装置１０１として特定する。
ここで、ｖmは、仮想カメラの姿勢を示す方向ベクトルを表し、ｖrは、撮像装置１０１の姿勢を示す方向ベクトルを表し、ｖm・ｖrは、ｖmとｖrとの内積値を表す。なお、ａｒｃｃｏｓ（ｘ）は－１８０～１８０［ｄｅｇ］の値をとるものとする。特定部４０３は、式（１）を満たす１台以上の撮像装置１０１のそれぞれを、ＮｅＲＦの学習に学習画像データとして用いる撮像画像データを出力する撮像装置１０１として特定する。
【0032】
本実施形態では、予め与えられた１つの閾値θthを用いて、撮像装置１０１を特定するものとして説明するが、特定部４０３が用いる閾値は１つに限定されるものではなく、特定部４０３は、複数の閾値を用いて、撮像装置１０１を特定してもよい。また、特定部４０３は、仮想カメラの姿勢と撮像装置１０１の姿勢とではなく、仮想カメラの位置と撮像装置１０１の位置とに基づいて、撮像装置１０１を特定してもよい。例えば、この場合、特定部４０３は、まず、仮想カメラの位置と撮像装置１０１の位置との間の距離の閾値ｄthを設定する。次に、特定部４０３は、仮想カメラの位置と撮像装置１０１の位置との間の距離が、例えば、次式（２）を満たす撮像装置１０１を、ＮｅＲＦの学習に学習画像データとして用いる撮像画像データを出力する撮像装置１０１として特定する。
【0033】
｜｜ｐm―ｐr｜｜2＜ｄth ・・・ 式（２）
ここで、ｐmは、３次元空間における仮想カメラの位置を表す位置ベクトルであり、ｐrは、撮像装置１０１の位置に対応する３次元空間における位置を表す位置ベクトルであり、｜｜ｘ｜｜2は、ベクトルｘのユークリッドノルムを表す。また、例えば、特定部４０３は、式（１）と式（２）とを用いて、式（１）及び式（２）の両方を満たす撮像装置１０１を、ＮｅＲＦの学習に学習画像データとして用いる撮像画像データを出力する撮像装置１０１として特定してもよい。
ここで、ｐmは、３次元空間における仮想カメラの位置を表す位置ベクトルであり、ｐrは、撮像装置１０１の位置に対応する３次元空間における位置を表す位置ベクトルであり、｜｜ｘ｜｜2は、ベクトルｘのユークリッドノルムを表す。また、例えば、特定部４０３は、式（１）と式（２）とを用いて、式（１）及び式（２）の両方を満たす撮像装置１０１を、ＮｅＲＦの学習に学習画像データとして用いる撮像画像データを出力する撮像装置１０１として特定してもよい。
【0034】
Ｓ５０４の後、Ｓ５０５にて、学習部４０４は、Ｓ５０２にて取得された多視点画像データのうちの、Ｓ５０４にて特定された撮像装置１０１の撮像画像データのみを学習画像データとして用いて、ＮｅＲＦの学習を行う。Ｓ５０５における学習部４０４の処理の詳細については、図６を用いて後述する。次に、Ｓ５０６にて、生成部４０５は、Ｓ５０５における学習の結果により得られる学習済みのＮｅＲＦと、Ｓ５０３にて取得した仮想カメラ情報とに基づいて、仮想視点画像を生成する。具体的には、生成部４０５は、学習済みのＮｅＲＦに仮想カメラ情報を入力し、学習済みのＮｅＲＦにより生成して出力される仮想視点画像のデータを取得する。学習済みのＮｅＲＦにおける仮想視点画像の生成方法としては、後述するボリュームレンダリング法を用いることができる。Ｓ５０６の後、Ｓ５０７にて、出力部４０６は、Ｓ５０６にて生成された仮想視点画像を出力する。Ｓ５０７の後、画像処理装置１０２は、図５に示すフローチャートの処理を終了する。
【0035】
図６は、実施形態１に係る学習部４０４における学習処理の流れの一例を示すフローチャートであって、図５に示すＳ５０５の処理の詳細な流れの一例を示すフローチャートである。当該フローチャートの処理は、図５に示すＳ５０４の処理の後に実行される。まず、Ｓ６０１にて、学習部４０４は、ＮｅＲＦの学習を行う際の学習のエポック数を取得する。エポック数とは、深層学習における学習回数を表す数値である。本実施形態においてエポック数は、学習画像データがｎL枚の撮像画像のデータあった場合に、各撮像画像データを用いた学習を、撮像画像データごとにそれぞれ何回行うかを示す指標であるものとする。
【0036】
次に、Ｓ６０２にて、学習部４０４は、Ｓ５０４にて特定された１台以上の撮像装置１０１の任意の１つの撮像装置１０１を選択し、選択した撮像装置１０１の撮像パラメータをＮｅＲＦに入力する。ＮｅＲＦに入力される撮像パラメータには、少なくとも撮像装置１０１の位置及び姿勢を示す情報が含まれる。
【0037】
なお、非特許文献１に開示されているＮｅＲＦは、多層パーセプトロン（以下「ＭＬＰ」と表記する。）の深層学習ネットワークにより構成されている。本実施形態に係るＮｅＲＦは、ＭＬＰの深層学習ネットワークにより構成されたものであってもよく、ＭＬＰ以外の深層学習ネットワークにより構成されたものであってもよい。本実施形態に係るＮｅＲＦがＭＬＰの深層学習ネットワークにより構成されたものである場合、ＮｅＲＦの学習フェーズにおいては、非特許文献１に開示の手法と同様に、簡単には、以下のような処理がＮｅＲＦにおいて実行される。
【0038】
まず、学習部４０４により、撮像装置１０１の位置及び姿勢を示す情報がＮｅＲＦに入力される。このとき、放射輝度場の高周波成分の変化についても捉えられるように、学習部４０４にておいて、入力する情報を多次元化する変換処理を行い、当該変換処理後の情報をＮｅＲＦに入力することが好適である。次に、ＮｅＲＦは、入力された撮像装置１０１の位置に対応する３次元空間の位置から、生成予定の大きさの画像を３次元空間に投影し、投影した画像における各画素の方向に向かって当該位置から仮想の光線を射出する。次に、ＮｅＲＦは、３次元空間における、射出した光線上に存在する複数の点をサンプリングして、サンプリングした各点の色と体積密度とを算出する。次に、ＮｅＲＦは、算出した複数の点の色と体積密度とを、射出した光線ごとに、撮像装置１０１の位置に対応する３次元空間の位置から積算することにより画像を生成する。このような画像の生成方法は、一般にボリュームレンダリング法と呼ばれる。最後に、ＮｅＲＦは、生成した画像のデータを出力する。
【0039】
Ｓ６０２の後、Ｓ６０３にて、学習部４０４は、Ｓ６０２にてＮｅＲＦに入力した撮像パラメータに対応する撮像装置１０１の撮像画像データを正解の学習画像データ（教師画像データ）として、ＮｅＲＦの重みパラメータを更新する。具体的には、学習部４０４は、ＮｅＲＦが生成して出力した画像のデータと、当該学習画像データとの差分が小さくなるように、ＮｅＲＦの重みパラメータを更新する。次に、Ｓ６０４にて、学習部４０４は、Ｓ５０４にて特定された全ての撮像装置１０１の撮像パラメータをＳ６０２にて入力したか否かを判定する。Ｓ６０４にて少なくとも一部の撮像装置１０１の撮像パラメータが入力されていないと判定された場合、学習部４０４は、Ｓ６０２の処理に戻る。このとき、Ｓ６０２にて、学習部４０４は、Ｓ５０４にて特定された全ての撮像装置１０１のうちの、撮像パラメータが未だ入力されていない撮像装置１０１の撮像パラメータをＮｅＲＦに入力する。その後、学習部４０４は、Ｓ６０４にて全ての撮像装置１０１の撮像パラメータが入力されたと判定されるまでの間、Ｓ６０２からＳ６０４までの処理を繰り返し実行する。
【0040】
Ｓ６０４にて全ての撮像装置１０１の撮像パラメータが入力されたと判定された場合、Ｓ６０５にて、学習部４０４は、ＮｅＲＦの学習回数がＳ６０１にて取得されたエポック数に到達したか否かを判定する。具体的には、学習部４０４は、ＮｅＲＦの学習回数が、Ｓ５０４にて特定された各撮像装置１０１の撮像画像データごとに、エポック数に到達したか否かを判定する。Ｓ６０５にてエポック数に到達していないと判定された場合、学習部４０４は、Ｓ６０２の処理に戻って、Ｓ６０５にてエポック数に到達したと判定されるまでの間、Ｓ６０２からＳ６０５までの処理を繰り返し実行する。なお、この場合、学習部４０４は、学習回ごとに、Ｓ６０４にて全ての撮像装置１０１の撮像パラメータが入力されたと判定されるまでの間、Ｓ６０２からＳ６０４までの処理を繰り返し実行する。Ｓ６０５にてエポック数に到達したと判定された場合、学習部４０４は、図６に示すフローチャートの処理、すなわち、Ｓ５０５の処理を終了する。
【0041】
なお、本実施形態では、学習回数がエポック数に到達することが学習部４０４におけるＮｅＲＦの学習処理の終了条件であるものとして説明したが、学習処理の終了条件は、これに限定されるものではない。例えば、学習部４０４は、ＮｅＲＦの重みパラメータの更新量が所定の範囲以内に収まったり、ＮｅＲＦにより生成される画像の変化量が所定の基準より小さくなったりした場合に、学習を終了してもよい。
【0042】
以上のように、本実施形態では、ＮｅＲＦの学習の際に、仮想カメラの姿勢又は位置に近い撮像装置１０１を特定し、特定した撮像装置１０１の撮像画像データのみを学習画像データとして用いるように画像処理装置１０２を構成した。このように構成した画像処理装置１０２によれば、ＮｅＲＦの学習に用いる学習画像の枚数を削減することよりＮｅＲＦの学習時間を短縮しつつ、オブジェクト１０６の放射輝度場を高精度に推定でき、品質の劣化の少ない仮想視点画像を生成することができる。
【0043】
［実施形態２］
実施形態１に係る画像処理装置１０２は、仮想カメラの姿勢又は位置に近い撮像装置１０１の撮像画像データのみをＮｅＲＦの学習画像データとして用いて、ＮｅＲＦの学習を行うものであった。実施形態１において説明したＮｅＲＦの学習方法では、仮想カメラの姿勢又は位置に近い撮像装置１０１の数が十分に多い場合には、高精度の放射輝度場の推定が可能である。しかしながら、仮想カメラの姿勢又は位置に近い撮像装置１０１の数が少ない場合には、高精度の放射輝度場の推定ができないことがある。そこで、実施形態２では、特定部４０３が特定した撮像装置１０１の撮像画像データのみを学習画像データとして用いるのではなく、全ての撮像装置１０１の撮像画像データを学習画像データとして用いつつ、ＮｅＲＦの学習時間を短縮する形態について説明する。なお、実施形態２に係る画像処理装置１０２（以下、単に「画像処理装置１０２」と表記する。）の機能構成は、図２及び図４に一例として示す実施形態１に係る画像処理装置１０２と同様である。実施形態２では、実施形態１との差異のある内容を中心に説明する。
実施形態１に係る画像処理装置１０２は、仮想カメラの姿勢又は位置に近い撮像装置１０１の撮像画像データのみをＮｅＲＦの学習画像データとして用いて、ＮｅＲＦの学習を行うものであった。実施形態１において説明したＮｅＲＦの学習方法では、仮想カメラの姿勢又は位置に近い撮像装置１０１の数が十分に多い場合には、高精度の放射輝度場の推定が可能である。しかしながら、仮想カメラの姿勢又は位置に近い撮像装置１０１の数が少ない場合には、高精度の放射輝度場の推定ができないことがある。そこで、実施形態２では、特定部４０３が特定した撮像装置１０１の撮像画像データのみを学習画像データとして用いるのではなく、全ての撮像装置１０１の撮像画像データを学習画像データとして用いつつ、ＮｅＲＦの学習時間を短縮する形態について説明する。なお、実施形態２に係る画像処理装置１０２（以下、単に「画像処理装置１０２」と表記する。）の機能構成は、図２及び図４に一例として示す実施形態１に係る画像処理装置１０２と同様である。実施形態２では、実施形態１との差異のある内容を中心に説明する。
【0044】
実施形態２に係る学習部４０４（以下、単に「学習部４０４」と表記する。）は、実施形態１において説明した学習処理を実行する前に、全ての撮像装置１０１の撮像画像データを学習画像データとして用いてＮｅＲＦの学習を所定の回数だけ行う。全ての撮像装置１０１の撮像画像データを学習画像データとして学習に用いることにより、仮想カメラの姿勢又は位置に近い撮像装置１０１の撮像画像データのみを学習画像データとして用いる場合と比較して、より高精度の放射輝度場の推定を行うことができる。具体的には、学習部４０４は、全ての撮像装置１０１の撮像画像データを学習画像データとして用いる学習処理と、仮想カメラの姿勢又は位置に近い撮像装置１０１の撮像画像データのみを学習画像データとして用いる学習処理とを行う。すなわち、学習部４０４は、全ての撮像装置１０１の撮像画像データを学習画像データとして用いて学習した後のＮｅＲＦに対して、仮想カメラの姿勢又は位置に近い撮像装置１０１の撮像画像データのみを学習画像データとして用いた学習を更に行う。
【0045】
より具体的には、例えば、従来のＮｅＲＦの学習では、全ての撮像装置１０１の撮像画像データを学習画像データとして用いて、ｎ回の学習を行っていた。これに対して、本実施形態におけるＮｅＲＦの学習では、まず、全ての撮像装置１０１の撮像画像データを学習画像データとして用いてｎD回の学習を行う。その後、仮想カメラの姿勢又は位置に近い撮像装置１０１の撮像画像データのみを学習画像データとして用いてｎT回（ｎ－ｎD回）の学習を行う。このような学習方法によれば、仮想カメラの姿勢又は位置に近い撮像装置１０１の撮像画像データのみを学習画像データとして用いるｎT回の学習では、全ての撮像装置１０１の撮像画像データとの差分だけ、学習画像データを削減できる。結果として、本実施形態に係る画像処理装置１０２によれば、従来の、全ての撮像装置１０１の撮像画像データを学習画像データとして用いてｎ回の学習を行う場合と比較して、ＮｅＲＦの学習時間を短縮することができる。
【0046】
図７を参照して、画像処理装置１０２の動作について説明する。なお、画像処理装置１０２は、実施形態１に係る画像処理装置１０２と同様に、図５のフローチャートに示すＳ５０１からＳ５０７までの処理を順次実行するが、Ｓ５０５における学習部４０４の処理が実施形態１に係る学習部４０４の処理とは異なる。図７を参照して、学習部４０４と実施形態１に係る学習部４０４との処理の違いを説明する。図７は、実施形態２に係る学習部４０４における学習処理の流れの一例を示すフローチャートであって、図５に示すＳ５０５の処理の詳細な流れの一例を示すフローチャートである。当該フローチャートの処理は、図５に示すＳ５０４の処理の後に実行される。なお、図７に示すフローチャートの説明において、図６のフローチャートに示すステップと同一の処理を行うステップについては、同一の符号を付して説明を省略する。
【0047】
まず、Ｓ７０１にて、学習部４０４は、ＮｅＲＦの学習を行う際の学習のエポック数を取得する。実施形態１にて説明したように、エポック数とは、深層学習における学習回数を表す数値である。本実施形態に係るＮｅＲＦの学習は、全ての撮像装置１０１の撮像画像データを学習画像データとして用いる学習のステップと、仮想カメラの姿勢又は位置に近い撮像装置１０１の撮像画像データのみを学習画像データとして用いる学習のステップとに分かれる。そのため、学習部４０４は、全ての撮像装置１０１の撮像画像データを学習画像データとして用いる学習の第１エポック数と仮想カメラの姿勢又は位置に近い撮像装置１０１の撮像画像データのみを学習画像データとして用いる学習の第２エポック数とを取得する。
【0048】
次に、Ｓ７０２にて、学習部４０４は、全ての撮像装置１０１のうちから任意の撮像装置１０１を選択し、選択した撮像装置１０１の撮像パラメータをＮｅＲＦに入力する。次に、Ｓ７０３にて、学習部４０４は、Ｓ７０２にてＮｅＲＦに入力した撮像パラメータに対応する撮像装置１０１の撮像画像データを正解の学習画像データ（教師画像データ）として、ＮｅＲＦの重みパラメータを更新する。具体的には、学習部４０４は、ＮｅＲＦが生成して出力した画像のデータと当該学習画像データとの差分が小さくなるように、ＮｅＲＦの重みパラメータを更新する。次に、Ｓ７０４にて、学習部４０４は、全ての撮像装置１０１の撮像パラメータがＳ７０２にて入力されたか否かを判定する。
【0049】
Ｓ７０４にて少なくとも一部の撮像装置１０１の撮像パラメータが入力されていないと判定された場合、学習部４０４は、Ｓ７０２の処理に戻る。このとき、Ｓ７０２にて、学習部４０４は、全ての撮像装置１０１のうちの、撮像パラメータが未だ入力されていない撮像装置１０１の撮像パラメータをＮｅＲＦに入力する。その後、学習部４０４は、Ｓ７０４にて全ての撮像装置１０１の撮像パラメータが入力されたと判定されるまでの間、Ｓ７０２からＳ７０４までの処理を繰り返し実行する。Ｓ７０４にて全ての撮像装置１０１の撮像パラメータが入力されたと判定された場合、Ｓ７０５にて、学習部４０４は、ＮｅＲＦの学習回数がＳ７０１にて取得された第１エポック数に到達したか否かを判定する。具体的には、学習部４０４は、ＮｅＲＦの学習回数が、全ての撮像装置１０１のそれぞれの撮像画像データごとに、第１エポック数に到達したか否かを判定する。
【0050】
Ｓ７０５にて第１エポック数に到達していないと判定された場合、学習部４０４は、Ｓ７０２の処理に戻って、Ｓ７０５にて第１エポック数に到達したと判定されるまでの間、Ｓ７０２からＳ７０５までの処理を繰り返し実行する。なお、この場合、学習部４０４は、学習回ごとに、Ｓ７０４にて全ての撮像装置１０１の撮像パラメータが入力されたと判定されるまでの間、Ｓ７０２からＳ７０４までの処理を繰り返し実行する。
【0051】
Ｓ７０５にて第１エポック数に到達したと判定された場合、学習部４０４は、Ｓ６０２からＳ６０４までの処理を実行する。具体的には、学習部４０４は、Ｓ６０４にて全ての撮像装置１０１の撮像パラメータが入力されたと判定されるまでの間、Ｓ６０２からＳ６０４までの処理を繰り返し実行する。Ｓ６０４にて全ての撮像装置１０１の撮像パラメータが入力されたと判定された場合、Ｓ７０６にて、学習部４０４は、ＮｅＲＦの学習回数がＳ７０１にて取得された第２エポック数に到達したか否かを判定する。具体的には、学習部４０４は、ＮｅＲＦの学習回数が、Ｓ５０４にて特定された各撮像装置１０１の撮像画像データごとに、第２エポック数に到達したか否かを判定する。
【0052】
Ｓ７０６にて第２エポック数に到達していないと判定された場合、学習部４０４は、Ｓ６０２の処理に戻って、Ｓ７０６にてエポック数に到達したと判定されるまでの間、Ｓ６０２からＳ７０６までの処理を繰り返し実行する。なお、この場合、学習部４０４は、学習回ごとに、Ｓ６０４にて全ての撮像装置１０１の撮像パラメータが入力されたと判定されるまでの間、Ｓ６０２からＳ６０４までの処理を繰り返し実行する。Ｓ７０６にて第２エポック数に到達したと判定された場合、学習部４０４は、図７に示すフローチャートの処理、すなわち、Ｓ５０５の処理を終了する。
【0053】
本実施形態では、全ての撮像装置１０１の撮像画像データを学習画像データとして用いて学習を行った後に、仮想カメラの姿勢又は位置に近い撮像装置１０１の撮像画像データのみを学習画像データとして用いて学習を行うものとして説明した。しかしながら、上述の学習の順序はあくまで一例であって、ＮｅＲＦの学習の順序は、上述の順序に限定されるものではない。例えば、画像処理装置１０２は、仮想カメラの姿勢又は位置に近い撮像装置１０１の撮像画像データのみを学習画像データとして用いて学習を行った後に、全ての撮像装置１０１の撮像画像データを学習画像データとして用いて学習を行ってもよい。
【0054】
また、例えば、画像処理装置１０２は、以下のように、ＮｅＲＦの学習を行ってもよい。まず、画像処理装置１０２は、全ての撮像装置１０１の撮像画像データを学習画像データとして用いて学習を行った後に、仮想カメラの姿勢又は位置に近い撮像装置１０１の撮像画像データのみを学習画像データとして用いて学習を行う。続いて、画像処理装置１０２は、再度、全ての撮像装置１０１の撮像画像データを学習画像データとして用いて学習を行う。すなわち、画像処理装置１０２は、全ての撮像装置１０１の撮像画像データを学習画像データとして用いた学習と仮想カメラの姿勢又は位置に近い撮像装置１０１の撮像画像データのみを学習画像データとして用いた学習とを複数回に分けて行ってもよい。
【0055】
また、本実施形態では、仮想カメラの姿勢又は位置に近い撮像装置１０１の撮像画像データのみを学習画像データとして用いた学習を１つの学習処理として実行するものとして説明した。しかしながら、画像処理装置１０２は、仮想カメラの姿勢又は位置に近い撮像装置１０１の撮像画像データのみを学習画像データとして用いた学習を複数の学習処理に分けて実行してもよい。
【0056】
例えば、画像処理装置１０２は、仮想カメラの姿勢又は位置に近い撮像装置１０１の撮像画像データのみを学習画像データとして用いた学習を、以下のようにして、複数の学習処理に分けて実行する。式（１）において、仮想カメラの姿勢を示す方向ベクトルと各撮像装置１０１の姿勢を示す方向ベクトルとが成す角度の閾値θthを予め複数用意しておく。具体的には、例えば、閾値θthとして、第１閾値θth1と第２閾値θth2とを予め用意しておく。まず、画像処理装置１０２の特定部４０３は、第１閾値θth1を用いて１台以上の撮像装置１０１を特定する。続いて、画像処理装置１０２の学習部４０４は、特定部４０３が第１閾値θth1を用いて特定した各撮像装置１０１の撮像画像データを学習画像データとして用いた学習を行う。続いて、画像処理装置１０２の特定部４０３は、第２閾値θth2を用いて１台以上の撮像装置１０１を特定する。特定部４０３が第２閾値θth2を用いて特定した各撮像装置１０１の撮像画像データを学習画像データとして用いた学習を行う。続いて、画像処理装置１０２の学習部４０４は、全ての撮像装置１０１の撮像画像データを学習画像データとして用いた学習を行う。
【0057】
また、画像処理装置１０２は、仮想カメラの姿勢又は位置に近い撮像装置１０１の撮像画像データを重要な学習画像データとして、当該学習画像データを用いた学習の際に、学習の重みを高く設定する等、学習画像データごとに学習の重みを変更してもよい。
【0058】
なお、本実施形態では、学習回数がエポック数に到達することが学習部４０４におけるＮｅＲＦの学習処理の終了条件であるものとして説明したが、学習処理の終了条件は、これに限定されるものではない。例えば、学習部４０４は、実施形態１にて上述したように、ＮｅＲＦの重みパラメータの更新量が所定の範囲以内に収まったり、ＮｅＲＦにより生成される画像の変化量が所定の基準より小さくなったりした場合に、ＮｅＲＦの学習を終了してもよい。
【0059】
以上のように、本実施形態では、ＮｅＲＦの学習の際に、仮想カメラの姿勢又は位置に近い撮像装置１０１の撮像画像データのみではなく、全ての撮像装置１０１の撮像画像データについても学習画像データとして用いるように画像処理装置１０２を構成した。このように構成した画像処理装置１０２によれば、仮想カメラの姿勢又は位置に近い撮像装置１０１が少ない場合でも、ＮｅＲＦの学習時間を短縮しつつ、オブジェクト１０６の放射輝度場を高精度に推定でき、品質の劣化の少ない仮想視点画像を生成できる。
【0060】
［実施形態３］
実施形態１及び２に係る画像処理装置１０２は、仮想カメラ情報、すなわち、仮想カメラの位置又は姿勢に基づいて、学習画像データとして用いる撮像画像データを出力する撮像装置１０１を特定するものであった。実施形態１及び２に係る画像処理装置１０２によれば、このように特定された撮像装置１０１の撮像画像データを学習画像データとして重点的に学習することにより、ＮｅＲＦの学習時間を短縮することができる。実施形態３では、オブジェクト１０６の重要度に基づいてＮｅＲＦの学習条件を決定して、決定した学習条件に基づいて、ＮｅＲＦの学習を行う形態について説明する。
実施形態１及び２に係る画像処理装置１０２は、仮想カメラ情報、すなわち、仮想カメラの位置又は姿勢に基づいて、学習画像データとして用いる撮像画像データを出力する撮像装置１０１を特定するものであった。実施形態１及び２に係る画像処理装置１０２によれば、このように特定された撮像装置１０１の撮像画像データを学習画像データとして重点的に学習することにより、ＮｅＲＦの学習時間を短縮することができる。実施形態３では、オブジェクト１０６の重要度に基づいてＮｅＲＦの学習条件を決定して、決定した学習条件に基づいて、ＮｅＲＦの学習を行う形態について説明する。
【0061】
図８は、実施形態３に係る画像処理装置１０２（以下、単に「画像処理装置１０２」と表記する。）の機能構成の一例を示すブロック図である。画像処理装置１０２は、仮想カメラ情報取得部４００、撮像パラメータ取得部４０１、画像取得部４０２、特定部８３０、学習部８０４、生成部４０５、及び出力部４０６を有する。すなわち、画像処理装置１０２は、実施形態１に係る画像処理装置１０２と比較して、実施形態１に係る画像処理装置１０２の特定部４０３及び学習部４０４が、特定部８３０及び学習部８０４にそれぞれ変更されたものである。以下、図８に示す各部のうち、図４に示す各部と同一の処理を行うものについては、図４と同一の符号を付して、説明を省略する。
【0062】
特定部８３０は、全ての撮像装置１０１のうちから、ＮｅＲＦの学習に学習画像データとして用いる撮像画像データを出力する撮像装置１０１を特定する。特定部８３０は、重要度決定部８３１、条件決定部８３２を有する。以下、重要度決定部８３１及び条件決定部８３２の処理について説明する。重要度決定部８３１は、仮想視点からのオブジェクト１０６の見え、すなわち、仮想視点画像におけるオブジェクト１０６に対応する画像領域（以下、「オブジェクト１０６の領域」と呼ぶ。）に基づいて、そのオブジェクト１０６の重要度を決定する。重要度決定部８３１は、複数のオブジェクトが仮想カメラの画角に入る場合、各オブジェクトの重要度を決定する。条件決定部８３２は、重要度決定部８３１が決定した各オブジェクトの重要度に基づいて、ＮｅＲＦの学習を行う際の学習条件を決定する。以下、一例として、オブジェクトＡ、オブジェクトＢ、及びオブジェクトＣの３つのオブジェクトが仮想カメラの画角内に存在する場合について説明する。
【0063】
例えば、オブジェクトＡの重要度が他のオブジェクトの重要度より高いとされた場合、学習済みＮｅＲＦにより生成される仮想視点画像においてオブジェクトＡが高品質な像となるような放射輝度場が推定され得るようにＮｅＲＦの学習条件を決定する。オブジェクトの重要度は、例えば、仮想視点画像におけるオブジェクト１０６の領域の大きさに基づいて決定される。例えば、当該領域の大きさがより大きいオブジェクト１０６の重要度がより高くなるように決定される。オブジェクト１０６の重要度の決定方法は、上述の方法に限定されるものではなく、例えば、オブジェクト１０６の重要度は、ユーザが重点的に見たいと所望するオブジェクト１０６を、ユーザがＵＩパネル１０３等を介して指定することにより決定されてもよい。
【0064】
例えば、条件決定部８３２は、重要度が高いオブジェクト１０６を画角に捉え得る撮像装置１０１の撮像画像データを、他の撮像装置１０１の撮像画像データよりも多く学習画像データとして用いてＮｅＲＦの学習を行うように学習条件を決定する。このような学習条件の決定により、ＮｅＲＦの学習に学習画像データとして用いる撮像画像データが削減され、ＮｅＲＦの学習時間を短縮しつつ、重要度の高いオブジェクトの放射輝度場を高精度に推定することができる。
【0065】
図９乃至１３を参照して、画像処理装置１０２の動作について説明する。図９は、実施形態３に係る画像処理装置１０２の一連の処理フローの一例を示すフローチャートである。なお、図９のフローチャートに示す各ステップの処理は、ＣＰＵ２０１が、所定のプログラムを記憶部２０３から読み出してメインメモリ２０２に展開し、これをＣＰＵ２０１が実行することにより実現される。図９に示すフローチャートの説明において、図５のフローチャートに示すステップと同一の処理を行うステップについては、同一の符号を付して説明を省略する。
【0066】
まず、画像処理装置１０２は、Ｓ５０１からＳ５０３までの処理を実行する。Ｓ５０３の後、Ｓ９０１にて、重要度決定部８３１は、撮像対象領域に存在する１つ以上のオブジェクトの重要度をオブジェクトごとに決定する。Ｓ９０１におけるオブジェクトの重要度の決定処理の詳細については後述する。Ｓ９０１の後、Ｓ９０２にて、条件決定部８３２は、Ｓ９０１にて決定されたオブジェクトの重要度に基づいて、ＮｅＲＦの学習条件を決定する。Ｓ９０２における学習条件の決定処理の詳細について後述する。Ｓ９０２の後、Ｓ９０３にて、学習部８０４は、Ｓ９０２にて決定された学習条件に基づいてＮｅＲＦの学習を行い、学習の結果として得られる学習済みのＮｅＲＦを生成部４０５に送信する。Ｓ９０３におけるＮｅＲＦの学習処理の詳細については後述する。Ｓ９０３の後、画像処理装置１０２は、Ｓ５０６及びＳ５０７の処理を実行し、Ｓ５０７の後、画像処理装置１０２は、図９に示すフローチャートの処理を終了する。
【0067】
図１０は、実施形態３に係る複数の撮像装置１０１の配置、及び撮像対象領域に存在するオブジェクト１０６の一例を示す図である。図１０には、一例として、１０台の撮像装置１０１（１０１ａ乃至１０１ｊ）のそれぞれの配置が示されている。また、図１０には、一例として、３つのオブジェクト１０６（１０６ａ乃至１０６ｃ）が示されている。更に、図１０には、仮想カメラ３０１の３次元空間における位置が示されている。
【0068】
図１１は、実施形態３に係る各撮像装置１０１による撮像により得られる撮像画像の一例を示す図である。図１１（ａ）は、仮想カメラ３０１の位置及び姿勢における仮想視点画像１１００の一例を示しており、仮想視点画像１１００は、オブジェクト１０６ａ乃至１０６ｃのそれぞれに対応する像を含んでいる。図１１（ｂ）は、撮像装置１０１ａによる撮像により得られる撮像画像１１０１の一例を示しており、撮像画像１１０１は、オブジェクト１０６ａ乃至１０６ｃのそれぞれに対応する像を含んでいる。図１１（ｃ）乃至（ｋ）は、図１１（ｂ）と同様に、撮像装置１０１ｂ乃至１０１ｊによる撮像により得られる撮像画像１１０２乃至１１１０の一例を示している。また、撮像画像１１０２乃至１１１０のそれぞれは、オブジェクト１０６ａ乃至１０６ｃのそれぞれに対応する像を含んでいる。
【0069】
重要度決定部８３１は、例えば、まず、仮想視点画像におけるオブジェクト１０６ａ乃至１０６ｃのそれぞれの領域の大きさを算出する。次に、重要度決定部８３１は、算出した当該領域の大きさに基づいて、オブジェクトごとの重要度を決定する。また、重要度決定部８３１は、各撮像画像１１０１乃至１１１０のそれぞれにおけるオブジェクト１０６ａ乃至１０６ｃのそれぞれの領域の大きさを算出する。次に、重要度決定部８３１は、決定した各オブジェクト１０６の重要度と、各撮像画像１１０１乃至１１１０における各オブジェクト１０６の領域の大きさとに基づいて、撮像画像１１０１乃至１１１０ごとに、各オブジェクト１０６の領域の影響度を決定する。ここで、影響度とは、各撮像装置１０１の撮像画像データを学習画像データとしてＮｅＲＦの学習を行う場合における、学習画像データが、各オブジェクト１０６の放射輝度場の推定精度に与える影響の度合いを表す指標である。具体的には、影響度は、ＮｅＲＦの学習に用いられる撮像画像における各オブジェクト１０６の領域が、学習済みのＮｅＲＦにより生成される仮想視点画像における各オブジェクト１０６の領域の画質に与える影響の度合いを表す指標である。
【0070】
条件決定部８３２は、例えば、撮像画像における各オブジェクト１０６の領域の影響度が、対応するオブジェクト１０６の重要度に対して同程度又はより高い撮像画像のデータを学習画像データとして用いて、ＮｅＲＦの学習を行うように学習条件を決定する。また、条件決定部８３２は、重要度の高いオブジェクト１０６の領域を含む撮像画像のデータほど、より多くの回数、学習画像データとして用いられて、ＮｅＲＦの学習が行われるように学習条件を設定してもよい。
【0071】
例えば、重要度が、オブジェクト１０６ａ、オブジェクト１０６ｂ、オブジェクト１０６ｃの順に大きい場合、条件決定部８３２は、学習回数が、ｎA＞ｎB＞ｎCとなるようにＮｅＲＦの学習条件を決定する。ここで、ｎAは、最も重要度の高いオブジェクト１０６ａの領域を含む撮像画像のデータを学習画像データとして用いた、ＮｅＲＦの学習回数を表す。同様に、ｎBは、重要度が２番目に高いオブジェクト１０６ｂの領域を含む撮像画像のデータを学習画像データとして用いた、ＮｅＲＦの学習回数を表す。同様に、ｎCは、最も重要度の低いオブジェクト１０６ｃの領域を含む撮像画像のデータを学習画像データとして用いた、ＮｅＲＦの学習回数を表す。なお、仮想視点画像１１００におけるオブジェクト１０６ｃの領域が非常に小さい場合、すなわち、オブジェクト１０６ｃの重要度が非常に低い場合、条件決定部８３２は、ｎCの値を０に設定してもよい。
【0072】
また、条件決定部８３２は、上述の、オブジェクト１０６の重要度に基づく学習に加えて、全ての撮像装置１０１の撮像画像データを学習画像データとして用いた学習（以下「デフォルト学習」と呼ぶ。）を行う旨の学習条件を決定してもよい。この場合、例えば、合計の学習回数がｎ回であれば、条件決定部８３２は、ｎA、ｎB、ｎC、及び、ｎDの合計値がｎとなるようにｎA、ｎB、ｎC、及びｎDの値を設定する。ここで、ｎDは、デフォルト学習の学習回数を表す。なお、オブジェクト１０６の重要度に基づく学習を十分に行うために、デフォルト学習の学習回数を表すｎDについては、可能な限り小さい値を設定しておくのがよい。
【0073】
図１２を参照して、Ｓ９０１の処理について説明する。図１２は、実施形態３に係る重要度決定部８３１における処理の流れの一例を示すフローチャートであって、Ｓ９０１における処理の詳細な流れの一例を示すフローチャートである。当該フローチャートの処理は、図９に示すＳ５０３の処理の後に実行される。まず、Ｓ１２０１にて、重要度決定部８３１は、仮想カメラ３０１の姿勢に最も近い姿勢の撮像装置１０１を特定する。例えば、重要度決定部８３１は、式（１）のように、仮想カメラ３０１の姿勢を示す方向ベクトルと仮想カメラ３０１の姿勢を示す方向ベクトルの内積値に基づいて、仮想カメラ３０１の姿勢に最も近い姿勢の撮像装置１０１を特定する。
【0074】
次に、Ｓ１２０２にて、重要度決定部８３１は、Ｓ１２０１にて特定された撮像装置１０１を基準として、全ての撮像装置１０１のうちから、２台以上の撮像装置１０１を疎らに選択する。Ｓ１２０２にて選択された２台以上の撮像装置１０１を用いて、重要度決定部８３１は、次のステップにおいてオブジェクト１０６の粗い形状の推定を行う。そのため、Ｓ１２０２にて、重要度決定部８３１は、全ての撮像装置１０１のうちから、撮像装置１０１同士の姿勢の方向ベクトルの成す角度が水平方向に６０度等の略等間隔で並ぶ２台以上の撮像装置を選択することが好適である。
【0075】
具体的には、例えば、重要度決定部８３１は、図３（ａ）に一例として示す全ての撮像装置１０１のうちから、仮想カメラの姿勢に最も近い姿勢の撮像装置１０１を選択した後に、時計回りに４台毎に１台の撮像装置１０１を選択する。このような選択により、図３（ｃ）に一例として示す５台の撮像装置１０１が選択される。選択する撮像装置１０１の数を多くするほど、オブジェクト１０６の形状の推定精度が高くなる。しかしながら、選択する撮像装置１０１の数を多くするほど、形状の推定処理に要する演算量が増大する。そのため、ユースケースに応じて選択する撮像装置１０１の台数又は間隔等を変更することが好適である。
【0076】
Ｓ１２０２の後、Ｓ１２０３にて、重要度決定部８３１は、Ｓ５０２にて取得された多視点画像データのうちのＳ１２０２にて選択された撮像装置１０１の撮像画像データを用いて、オブジェクト１０６の形状を推定する。例えば、重要度決定部８３１は、ビジュアルハル（以下「ＶＨ」と呼ぶ。）法によりオブジェクト１０６の形状を推定する。具体的には、重要度決定部８３１は、まず、各撮像画像からオブジェクト１０６の領域をシルエットとして抽出する。続いて、重要度決定部８３１は、抽出したシルエットと、Ｓ５０１にて取得された撮像装置１０１の撮像パラメータとから、オブジェクト１０６の３次元形状を推定して３次元形状データを生成する。具体的には、重要度決定部８３１は、撮像装置１０１の撮像パラメータに基づいて、抽出したシルエットを３次元空間に投影し、重要度決定部８３１は、投影領域の積集合をオブジェクトの形状として定義して推定する。
【0077】
より具体的には、重要度決定部８３１は、まず、所定の大きさのボクセルを敷き詰めた３次元空間を定義する。続いて、重要度決定部８３１は、３次元空間に敷き詰めた各ボクセルを、撮像パラメータを用いて、３次元座標から、各撮像装置１０１の２次元の撮像画像上に射影する。重要度決定部８３１は、射影された各ボクセルが各撮像画像において抽出したオブジェクト１０６のシルエットと重なっているか否かを判定する。重要度決定部８３１は、重なっていると判定された撮像画像の枚数が予め定めらされた閾値以上となるボクセルについては、当該ボクセルがオブジェクト１０６の形状の一部であるものとする。例えば、重要度決定部８３１は、３次元空間にボクセルを敷き詰める際に、全ボクセルのフラグの値を０に初期化としておき、オブジェクト１０６の形状の一部であると判定されたボクセルのフラグの値を１に変更する。フラグの値が１のボクセルの集合が、オブジェクト１０６の形状を示す３次元形状データとなる。
【0078】
本実施形態では、重要度決定部８３１は、ＶＨ法等の３次元形状の再構成技術を用いてオブジェクト１０６の形状を推定するものとして説明するが、オブジェクト１０６の形状の推定方法は、ＶＨ法を用いる方法に限定されるものではない。例えば、重要度決定部８３１は、深層学習等の結果として得られる学習済モデルを用いて、オブジェクト１０６の形状を推定してもよい。この場合、重要度決定部８３１は、複数の撮像装置１０１の撮像画像データを用いてオブジェクト１０６の形状を推定するとは限らない。例えば、重要度決定部８３１は、Ｓ１２０１にて特定された撮像装置１０１の撮像画像データ等の、１つの撮像装置１０１の撮像画像データのみを用いてオブジェクト１０６の形状を推定してもよい。
【0079】
Ｓ１２０３の後、Ｓ１２０４にて、重要度決定部８３１は、Ｓ１２０３にて推定されたオブジェクト１０６の形状を、仮想カメラ情報に基づいて、生成予定の仮想視点画像に逆射影する。ただし、オブジェクト１０６が複数存在する場合、逆射影の際に各オブジェクト１０６の形状の領域がどのオブジェクト１０６に対応するかについては、仮想カメラと撮像装置１０１との間で整合がとれているものとする。次に、Ｓ１２０５にて、重要度決定部８３１は、Ｓ１２０４にて逆射影された仮想視点画像におけるオブジェクト１０６のシルエットの大きさ、すなわち仮想視点画像におけるオブジェクト１０６の領域の大きさに基づいてオブジェクト１０６の重要度を決定する。以下、オブジェクト１０６の領域の大きさは、当該領域に含まれる画素の数により決定されるものとして説明するが、オブジェクト１０６の領域の大きさは、当該領域の縦方向又は横方向の画素の最大値等、他の指標により決定されてもよい。
【0080】
例えば、オブジェクト１０６ａ乃至１０６ｃのそれぞれの形状の領域が仮想視点画像に逆射影される場合、仮想視点画像におけるオブジェクト１０６ａのシルエットの大きさが５００画素であるとする。また、仮想視点画像における、オブジェクト１０６ｂのシルエットの大きさが３００画素であり、オブジェクト１０６ｃのシルエットの大きさが２００画素であるものとする。この場合、例えば、重要度決定部８３１は、オブジェクト１０６ａ、１０６ｂ、及び１０６ｃのそれぞれの重要度が、順に、０．５、０．３、及び０．２であると決定する。
【0081】
上述の例では、オブジェクト１０６の重要度は、仮想視点画像におけるオブジェクト１０６の領域の大きさのみに基づいて決定されるものとして説明したが、これに加えて、ユーザにより予め設定された仮の重要度に基づいて決定されてもよい。例えば、ユーザは、オブジェクト１０６の重要度について予め仮の重要度を設定しておく。ユーザは、オブジェクト１０６の仮の重要度として、オブジェクト１０６の種類、ユーザの興味又は関心等のユーザが考えるオブジェクト１０６の重要度に基づいて、自由に設定することができる。例えば、この場合、重要度決定部８３１は、仮想視点画像におけるオブジェクト１０６の領域の大きさに基づいて決定した重要度に対して、オブジェクト１０６ごとに予め設定された仮の重要度に基づく所定の重みづけをして真の重要度を算出する。
【0082】
具体的には、例えば、ユーザは、オブジェクト１０６ａ、オブジェクト１０６ｂ、及びオブジェクト１０６ｃのそれぞれに対する仮の重要度として、順に、０．２、０．８、及び０．０を事前に設定しておく。重要度決定部８３１は、例えば、事前に設定された仮の重要度と、仮想視点画像におけるオブジェクト１０６同士の領域の大きさの比とを乗算することにより、真の重要度を決定する。すなわち、あるオブジェクト１０６における、オブジェクト１０６同士の領域に大きさの比をＩs、ユーザによって設定された仮の重要度をＩuとすると、真の重要度Ｉは、次式（３）のように表せる。
【0083】
Ｉ＝Ｉｓ×Ｉｕ ・・・ 式（３）
例えば、上述の場合、オブジェクト１０６ａ、オブジェクト１０６ｂ、及びオブジェクト１０６ｃのそれぞれの真の重要度は、順に、０．５×０．２＝０．１、０．３×０．８＝０．２４、及び０．２×０．０＝０．００となる。なお、重要度決定部８３１は、各オブジェクト１０６の重要度の合計が１となるように、重要度を補正してもよい。上述の例の場合、オブジェクト１０６ａ、オブジェクト１０６ｂ、及びオブジェクト１０６ｃのそれぞれの真の重要度は、順に、０．２９、０．７１、及び０．００となる。
例えば、上述の場合、オブジェクト１０６ａ、オブジェクト１０６ｂ、及びオブジェクト１０６ｃのそれぞれの真の重要度は、順に、０．５×０．２＝０．１、０．３×０．８＝０．２４、及び０．２×０．０＝０．００となる。なお、重要度決定部８３１は、各オブジェクト１０６の重要度の合計が１となるように、重要度を補正してもよい。上述の例の場合、オブジェクト１０６ａ、オブジェクト１０６ｂ、及びオブジェクト１０６ｃのそれぞれの真の重要度は、順に、０．２９、０．７１、及び０．００となる。
【0084】
Ｓ１２０５の後、Ｓ１２０６にて、重要度決定部８３１は、各撮像装置１０１の撮像画像における各オブジェクト１０６の領域の大きさに基づいて、各撮像装置１０１の撮像画像データを学習画像データとして学習を行う際の影響度を決定する。具体的には、例えば、重要度決定部８３１は、Ｓ１２０５におけるオブジェクト１０６の重要度の決定方法と同様の方法により、ＮｅＲＦの学習を行う際の影響度を決定する。より具体的には、例えば、重要度決定部８３１は、各撮像装置１０１の撮像画像における各オブジェクト１０６の領域の大きさの比に基づいて、撮像画像データごとに、各オブジェクト１０６の影響度を決定する。
【0085】
各撮像装置１０１の撮像画像における各オブジェクト１０６の領域の大きさの情報には、Ｓ１２０３にてＶＨ法を用いてオブジェクト１０６の形状を推定する際に抽出したオブジェクト１０６のシルエットの大きさの情報を用いることができる。なお、Ｓ１２０３にてオブジェクト１０６のシルエットの抽出を行っていない場合には、Ｓ１２０３にて推定されたオブジェクト１０６の形状の領域を各撮像装置１０１の撮像画像に逆射影したときのオブジェクト１０６のシルエットの大きさを算出すればよい。ただし、オブジェクト１０６が複数存在する場合、逆射影の際に各オブジェクト１０６の形状の領域がどのオブジェクト１０６に対応するかについては、仮想カメラと撮像装置１０１との間で整合がとれているものとする。Ｓ１２０６の後、重要度決定部８３１は、図１２に示すフローチャートの処理、すなわち、Ｓ９０１の処理を終了する。
【0086】
図１３を参照して、Ｓ９０２の処理について説明する。図１３は、実施形態３に係る条件決定部８３２における処理の流れの一例を示すフローチャートであって、Ｓ９０２における処理の詳細な流れの一例を示すフローチャートである。当該フローチャートの処理は、図９に示すＳ９０１の処理の後に実行される。まず、Ｓ１３０１にて、条件決定部８３２は、デフォルト学習の学習回数（エポック数）を決定する。ここで、デフォルト学習とは、実施形態２において上述したように、ＮｅＲＦの学習において、全ての撮像装置１０１の撮像画像データのそれぞれを学習画像データとして用いる学習である。また、デフォルト学習の学習回数（エポック数）とは、デフォルト学習において、撮像画像データを学習画像データとして用いる学習を、撮像画像データごとに何回行うかを表すものである。なお、この後のステップにおいて、条件決定部８３２は、影響度の高い撮像画像データを学習画像データとして用いる学習のエポック数を決定する。そのため、条件決定部８３２は、当該エポック数を増やすために、デフォルト学習のエポック数については、可能な限り小さな値に決定するのが好適である。
【0087】
次に、Ｓ１３０２にて、条件決定部８３２は、Ｓ９０１にて決定された、各オブジェクト１０６の重要度と、撮像画像データごとの各オブジェクト１０６の影響度とに基づいて、撮像装置１０１ごとにエポック数を決定する。例えば、条件決定部８３２は、オブジェクト１０６の重要度に対して同程度又はより高いオブジェクト１０６の影響度を有する撮像画像データを学習画像データとして用いる学習回数を多くするように、撮像装置１０１のエポック数を決定する。具体的には、例えば、オブジェクト１０６ａ乃至１０６ｃのそれぞれの重要度より数パーセント低い値を閾値として、閾値よりも高い影響度を有する撮像画像データを学習画像データとして用いる学習回数を多くするように撮像装置１０１のエポック数を決定する。
【0088】
例えば、条件決定部８３２は、多視点画像データを構成する全ての撮像画像データのうちの、オブジェクト１０６ａの重要度の閾値よりも高い影響度を有する各撮像画像データを学習画像データとして、学習画像データごとにｎA回の学習を行うように決定する。同様に、条件決定部８３２は、オブジェクト１０６ｂの重要度の閾値よりも高い影響度を有する各撮像画像データを学習画像データとして、学習画像データごとにｎB回の学習を行うように決定する。また、同様に、条件決定部８３２は、オブジェクト１０６ｂの重要度の閾値よりも高い影響度を有する各撮像画像データを学習画像データとして、学習画像データごとにｎC回の学習を行うように決定する。この場合、全てのオブジェクト１０６ａ乃至１０６ｃにおいて、重要度の閾値よりも高い影響度を有する撮像画像データについては、学習回数がｎA、ｎB、ｎC、及びｎDの合計値となる。ここで、ｎDは、デフォルト学習のエポック数である。
【0089】
なお、条件決定部８３２は、各オブジェクト１０６の重要度に応じた学習回数を、学習画像データごとに決定してもよい。すなわち、条件決定部８３２は、重要度の高いオブジェクトの領域を含む撮像画像のデータほど、より多くの回数、学習画像データとして用いて、ＮｅＲＦの学習が行われるように、ｎA、ｎB、及びｎCの値を決定してもよい。具体的には、各オブジェクト１０６の重要度がオブジェクト１０６ａ、オブジェクト１０６ｂ、オブジェクト１０６ｃの順である場合、条件決定部８３２は、ｎA、ｎB、ｎCの順に値が小さくなるように、ｎA、ｎB、及びｎCの値を決定する。
【0090】
また、本実施形態では、影響度が重要度の閾値よりも高い撮像画像データを学習画像データとして、当該学習画像データをより多くの回数用いて学習を行うものとして説明したが、エポック数の決定は、これに限定されるものではない。例えば、条件決定部８３２は、重要度の閾値よりも低い影響度を有する撮像画像データを学習画像データとして用いる学習のエポック数を減少させてもよい。また、例えば、条件決定部８３２は、重要度と同程度の影響度を有する撮像画像データを学習画像データとして用いる学習のエポック数を増加させてもよい。
【0091】
Ｓ１３０２の後、条件決定部８３２は、図１３に示すフローチャートの処理、すなわち、Ｓ９０２の処理を終了する。Ｓ９０２の後、画像処理装置１０２は、Ｓ９０３の処理を実行する。具体的には、上述したように、Ｓ９０２の後、Ｓ９０３にて、学習部８０４は、Ｓ９０２にて決定された学習条件に基づいてＮｅＲＦの学習を行う。より具体的には、
Ｓ９０３にて、学習部８０４は、Ｓ１３０２にて決定された各撮像装置１０１に対応するエポック数に応じて、各撮像装置１０１の撮像画像データを学習画像データとして用いるＮｅＲＦの学習を行う。
Ｓ９０３にて、学習部８０４は、Ｓ１３０２にて決定された各撮像装置１０１に対応するエポック数に応じて、各撮像装置１０１の撮像画像データを学習画像データとして用いるＮｅＲＦの学習を行う。
【0092】
なお、本実施形態では、学習回数がＳ１３０２にて決定されたエポック数に到達することが学習部８０４におけるＮｅＲＦの学習処理の終了条件であるものとして説明したが、学習処理の終了条件は、これに限定されるものではない。例えば、学習部８０４は、実施形態１及び２にて上述したように、ＮｅＲＦの重みパラメータの更新量がある所定の範囲以内に収まったり、ＮｅＲＦにより生成される画像の変化量が所定の基準より小さくなったりした場合に、ＮｅＲＦの学習を終了してもよい。また、この場合、学習部８０４は、学習画像データとしてＮｅＲＦの学習に用いる撮像画像データによって、学習の終了条件を変更してもよい。例えば、学習部８０４は、重要度に対して同程度又はより高い影響度を有する撮像画像データを学習画像データとして用いる学習については、学習の終了条件を厳しくしてもよい。また、例えば、学習部８０４は、重要度よりも低い影響度を有する撮像画像データを学習画像データとして用いる学習については、学習の終了条件を緩くしてもよい。
【0093】
また、学習部８０４は、ＮｅＲＦの学習に学習画像データとして用いる撮像画像データによって、学習画像データごとにＮｅＲＦの学習の重みを変更してもよい。例えば、学習部８０４は、重要度より高い影響度を有する撮像画像データについては、ＮｅＲＦの学習において重要な画像データであるものとして、当該撮像画像データを学習画像データとして用いる学習の際には、ＮｅＲＦの学習の重みを高く設定してもよい。逆に、重要度より低い影響度を有する撮像画像データについては、ＮｅＲＦの学習において重要な画像データではないものとして、学習部８０４は、当該撮像画像データを学習画像データとして用いる学習の際には、ＮｅＲＦの学習の重みを低く設定してもよい。
【0094】
本実施形態では、推定された各オブジェクト１０６の形状の領域を生成予定の仮想視点画像に対して逆射影し、当該仮想視点画像における各オブジェクト１０６のシルエットの大きさに基づいて、各オブジェクト１０６の重要度が決定されるものとして説明した。また、本実施形態では、各撮像装置１０１の撮像画像から抽出された各オブジェクト１０６に対応するシルエットの大きさに基づいて、各オブジェクト１０６の影響度が決定されるものとして説明した。しかしながら、オブジェクト１０６の重要度又は影響度を決定する方法は、上述の方法に限定されるものではない。
【0095】
例えば、重要度は、推定されたオブジェクト１０６の３次元形状と仮想カメラの位置及び姿勢とに基づいて算出し得る、仮想カメラからオブジェクト１０６までの距離に基づいて決定されてもよい。具体的には、重要度決定部８３１は、仮想カメラの位置に近いオブジェクト１０６ほど重要度が高くなるように、仮想カメラからの距離に応じて各オブジェクト１０６の重要度を決定してもよい。同様に、影響度は、推定されたオブジェクト１０６の３次元形状と各撮像装置１０１の位置及び姿勢とに基づいて算出し得る、撮像装置１０１からオブジェクト１０６までの距離に基づいて決定されてもよい。具体的には、重要度決定部８３１は、撮像装置１０１の位置に近いオブジェクト１０６ほど影響度が高くなるように、撮像装置１０１からの距離に応じて各オブジェクト１０６の影響度を決定してもよい。また、例えば、重要度決定部８３１は、推定された各オブジェクト１０６の３次元形状の体積を重要度及び影響度の決定の指標として用いてもよい。また、例えば、推定された各オブジェクト１０６の３次元形状の体積と、上記のオブジェクト１０６までの距離とを重要度及び影響度の決定の指標として用いてもよい。
【0096】
以上のように、本実施形態では、推定されたオブジェクトの３次元形状に基づいて、ＮｅＲＦの学習を行う際の学習条件を決定するように画像処理装置１０２を構成した。このように構成した画像処理装置１０２によれば、重要度の高いオブジェクト１０６が写らない撮像画像データを学習画像データとして用いるＮｅＲＦの学習の回数を減らすことができ、ＮｅＲＦの学習時間を短縮することが可能になる。更に、画像処理装置１０２によれば、ＮｅＲＦの学習時間を短縮しつつ、重要度の高いオブジェクト１０６の放射輝度場を高精度に推定でき、オブジェクト１０６の領域において品質の劣化の少ない仮想視点画像を生成することができる。
【0097】
［実施形態４］
実施形態３に係る画像処理装置１０２は、ＶＨ法を用いて粗く推定したオブジェクト１０６の形状の領域を仮想視点画像に逆射影し、仮想視点画像におけるオブジェクト１０６の領域の大きさに基づいてオブジェクト１０６の重要度を決定するものであった。また、実施形態３に画像処理装置１０２は、各撮像画像のそれぞれにおけるオブジェクト１０６の領域の大きさに基づいて、ＮｅＲＦの学習の際に学習画像データとして用いる撮像画像データにおけるオブジェクト１０６の影響度を決定するものであった。更に、実施形態３に画像処理装置１０２は、決定したオブジェクト１０６の重要度、及び、決定したオブジェクト１０６の影響度に基づいて、撮像画像データを学習画像データとして用いる際の学習回数（エポック数）を決定するものであった。ここで、ＶＨ法等によるオブジェクト１０６の３次元形状の推定処理は、演算量が多く、長い処理時間を要する。そこで、実施形態４では、オブジェクト１０６の形状の推定を行わずに、２次元画像である撮像画像のデータから、仮想視点画像におけるオブジェクト１０６の領域の大きさを推定する形態について説明する。
実施形態３に係る画像処理装置１０２は、ＶＨ法を用いて粗く推定したオブジェクト１０６の形状の領域を仮想視点画像に逆射影し、仮想視点画像におけるオブジェクト１０６の領域の大きさに基づいてオブジェクト１０６の重要度を決定するものであった。また、実施形態３に画像処理装置１０２は、各撮像画像のそれぞれにおけるオブジェクト１０６の領域の大きさに基づいて、ＮｅＲＦの学習の際に学習画像データとして用いる撮像画像データにおけるオブジェクト１０６の影響度を決定するものであった。更に、実施形態３に画像処理装置１０２は、決定したオブジェクト１０６の重要度、及び、決定したオブジェクト１０６の影響度に基づいて、撮像画像データを学習画像データとして用いる際の学習回数（エポック数）を決定するものであった。ここで、ＶＨ法等によるオブジェクト１０６の３次元形状の推定処理は、演算量が多く、長い処理時間を要する。そこで、実施形態４では、オブジェクト１０６の形状の推定を行わずに、２次元画像である撮像画像のデータから、仮想視点画像におけるオブジェクト１０６の領域の大きさを推定する形態について説明する。
【0098】
実施形態４に係る画像処理装置１０２の機能構成は、実施形態３に係る画像処理装置１０２の機能構成と同様であり、実施形態４に係る重要度決定部８３１の処理のみが実施形態３に係る重要度決定部８３１の処理と異なる。すなわち、図９に示すフローチャートにおける各ステップにおいて、実施形態４に係る画像処理装置１０２の処理のうち、Ｓ９０１の処理のみが実施形態３に係る画像処理装置１０２の処理と異なる。以下、実施形態４に係る画像処理装置１０２を、単に「画像処理装置１０２」と表記する。
【0099】
図１４は、実施形態４に係る重要度決定部８３１の処理の流れの一例を示すフローチャートであって、図９に示すＳ９０１における処理の詳細な流れの一例を示すフローチャートである。実施形態４に係る重要度決定部８３１（以下、単に「重要度決定部８３１」と表記する。）は、撮像画像に対して２次元のセグメンテーションを行うことにより、撮像画像におけるオブジェクト１０６の領域を抽出する。具体的なステップとしては、以下のとおりである。
【0100】
まず、Ｓ１４０１にて、重要度決定部８３１は、実施形態３に係る重要度決定部８３１と同様に、仮想カメラの姿勢に最も近い撮像装置１０１を特定する。次に、Ｓ１４０２にて、重要度決定部８３１は、Ｓ１４０１にて特定された撮像装置１０１の撮像画像におけるオブジェクト１０６の領域を抽出する。具体的には、重要度決定部８３１は、当該撮像画像に対して２次元のセグメンテーションを行い、主要なオブジェクト１０６の領域を、撮像画像における背景領域と分離することにより、オブジェクト１０６の領域を抽出する。例えば、重要度決定部８３１は、ＳＮＡＫＥ法、レベルセット法、又は前景背景分離法等の画像処理方法を用いて、撮像画像に対するセグメンテーションを行う。セグメンテーションの方法は、上述のような画像処理による方法に限定されるものではない。例えば、重要度決定部８３１は、セマンティックセグメンテーション等の深層学習の結果として得られる学習済モデルを用いて、撮像画像に対するセグメンテーションを行ってもよい。このような手法を用いることにより、重要度決定部８３１は、撮像画像における各オブジェクト１０６の領域を抽出することができる。
【0101】
撮像対象領域に複数のオブジェクト１０６が存在する場合、複数のオブジェクト１０６複数の領域のそれぞれがどのオブジェクト１０６に対応するかについては、例えば、セグメンテーションを行った後にオブジェクト１０６の領域ごとにラベリングが行われる。また、重要度決定部８３１は、セグメンテーションを行う際に、既知のラベルを考慮してセグメンテーションを行ってもよい。ただし、オブジェクト１０６の領域がどのオブジェクト１０６に対応するかについては、セグメンテーションが行われる際に、撮像装置１０１同士の間で整合がとれているものとする。
【0102】
次に、Ｓ１４０３にて、重要度決定部８３１は、Ｓ１４０２にて抽出された各オブジェクト１０６の領域に含まれる画素の数を取得し、取得した画素数を仮想視点画像におけるオブジェクト１０６の領域の大きさとして取得する。ここで、本実施形態では、重要度決定部８３１は、オブジェクト１０６の３次元形状の推定を行わない。そのため、重要度決定部８３１は、仮想視点画像におけるオブジェクト１０６の領域の大きさについては、直接、算出できない。したがって、重要度決定部８３１は、Ｓ１４０１にて特定された撮像装置１０１の撮像画像におけるオブジェクト１０６の領域の大きさを、仮想視点画像におけるオブジェクト１０６の領域の大きさとみなす。
【0103】
次に、Ｓ１４０４にて、重要度決定部８３１は、各オブジェクト１０６の重要度を決定する。Ｓ１４０４におけるオブジェクト１０６の重要度の決定処理は、図１２に示すＳ１２０５におけるオブジェクト１０６の重要度の決定処理と同様であるため説明を省略する。次に、Ｓ１４０５にて、重要度決定部８３１は、全ての撮像装置１０１のうちの、Ｓ１４０１にて特定された撮像装置１０１以外の各撮像装置１０１の撮像画像における各オブジェクト１０６の領域を抽出する。Ｓ１４０５におけるオブジェクト１０６の領域の抽出方法は、Ｓ１４０２におけるオブジェクト１０６の領域の抽出方法と同様であるため説明を省略する。
【0104】
次に、Ｓ１４０６にて、重要度決定部８３１は、Ｓ１４０５にて抽出された各オブジェクト１０６の領域に含まれる画素の数を取得し、取得した画素数を、各撮像画像におけるオブジェクト１０６の領域の大きさとして取得する。また、重要度決定部８３１は、Ｓ１４０２にて抽出された各オブジェクト１０６の領域に含まれる画素の数を取得し、取得した画素数を、Ｓ１４０１にて特定された撮像装置１０１の撮像画像におけるオブジェクト１０６の領域の大きさとして取得する。なお、Ｓ１４０２の処理の説明において上述したように、複数のオブジェクト１０６の領域がどのオブジェクト１０６に対応するかについては、セグメンテーションを行う際に、撮像装置１０１同士の間で整合がとれているものとする。
【0105】
次に、Ｓ１４０７にて、重要度決定部８３１は、Ｓ１４０４にて決定された各オブジェクト１０６の重要度、及び、Ｓ１４０６にて取得された、各撮像画像における各オブジェクト１０６の領域の大きさに基づいて、ＮｅＲＦの学習を行う際の影響度を決定する。具体的には、重要度決定部８３１は、各オブジェクト１０６の重要度と、各撮像画像における各オブジェクト１０６の領域の大きさとに基づいて、ＮｅＲＦの学習の際に学習画像データとして用いる撮像画像データにおけるオブジェクト１０６の影響度を決定する。Ｓ１４０７におけるオブジェクト１０６の影響度の決定処理は、図１２に示すＳ１２０６におけるオブジェクト１０６の影響度の決定処理と同様であるため説明を省略する。Ｓ１４０７の後、画像処理装置１０２は、図１４に示すフローチャートの処理、すなわち、図９に示すＳ９０１の処理を終了する。
【0106】
なお、本実施形態では、オブジェクト１０６の写り方が仮想視点画像に近い撮像画像を撮像する撮像装置１０１を特定する方法として、Ｓ１４０１のように、仮想カメラの姿勢と撮像装置１０１の姿勢とを比較している。しかしながら、撮像装置１０１の特定方法は、上述の方法に限定されるものではない。例えば、オブジェクト１０６が、ステージの中央、又は図１のように撮像対象領域の中央等の特定の位置に存在する場合、各撮像画像におけるオブジェクト１０６の領域の大きさは、各撮像装置１０１の位置、姿勢、及び画角等によって決定される。したがって、重要度決定部８３１は、これらの撮像パラメータのうちの少なくとも１つを用いて、オブジェクト１０６の写り方が仮想視点画像に近い撮像画像を撮像する撮像装置１０１を特定してもよい。
【0107】
以上のように、本実施形態では、２次元画像である撮像画像に対して２次元のセグメンテーションを行うことにより、仮想視点画像及び各撮像装置におけるオブジェクト１０６の領域の大きさを取得するように画像処理装置１０２を構成した。また、このように取得した、仮想視点画像におけるオブジェクト１０６の領域の大きさに基づいて、オブジェクト１０６の重要度を決定するように画像処理装置１０２を構成した。更に、決定したオブジェクト１０６の重要度と、このように取得した、各撮像画像におけるオブジェクト１０６の領域の大きさとに基づいて、撮像画像データごとに、オブジェクト１０６の影響度を決定するように画像処理装置１０２を構成した。このように構成した画像処理装置１０２によれば、オブジェクト１０６の３次元形状の推定を行わずに学習条件を決定することができるため、ＮｅＲＦの学習の前処理に要する時間を短縮でき、結果として、ＮｅＲＦの学習処理の全体に掛かる時間を短縮できる。
【0108】
［その他の実施形態］
本開示は、上述の実施形態の１以上の機能を実現するプログラムをネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
本開示は、上述の実施形態の１以上の機能を実現するプログラムをネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【0109】
なお、本開示はその開示の範囲内において、各実施形態の自由な組み合わせ、各実施形態の任意の構成要素の変形、又は、各実施形態において任意の構成要素の省略が可能である。
【0110】
［本開示の構成］
本開示は、以下の構成、方法、及びプログラムを含む。
本開示は、以下の構成、方法、及びプログラムを含む。
【0111】
＜構成１＞
互いに異なる位置に配置された複数の撮像装置のそれぞれの撮像パラメータを取得する撮像パラメータ取得手段と、
前記複数の撮像装置のそれぞれによる撮像により得られる撮像画像のデータを取得する画像取得手段と、
仮想視点の位置を示す情報、及び前記仮想視点からの視線の方向を示す情報の少なくともいずれかを含む仮想視点情報を取得する視点取得手段と、
前記仮想視点情報に基づいて、前記複数の撮像装置の撮像領域に存在するオブジェクトに対応する放射輝度場を推定する学習モデルの学習条件を決定する決定手段と、
前記学習条件、前記撮像パラメータ、及び前記撮像画像のデータに基づいて、前記学習モデルの学習を行う学習手段と、
を有することを特徴とする画像処理装置。
互いに異なる位置に配置された複数の撮像装置のそれぞれの撮像パラメータを取得する撮像パラメータ取得手段と、
前記複数の撮像装置のそれぞれによる撮像により得られる撮像画像のデータを取得する画像取得手段と、
仮想視点の位置を示す情報、及び前記仮想視点からの視線の方向を示す情報の少なくともいずれかを含む仮想視点情報を取得する視点取得手段と、
前記仮想視点情報に基づいて、前記複数の撮像装置の撮像領域に存在するオブジェクトに対応する放射輝度場を推定する学習モデルの学習条件を決定する決定手段と、
前記学習条件、前記撮像パラメータ、及び前記撮像画像のデータに基づいて、前記学習モデルの学習を行う学習手段と、
を有することを特徴とする画像処理装置。
【0112】
＜構成２＞
前記決定手段は、前記仮想視点情報に基づいて、前記画像取得手段により取得された複数の前記撮像画像のデータのうちから、前記学習モデルの学習において学習画像データとして用いる前記撮像画像のデータを決定することにより、前記学習条件を決定すること、
を特徴とする構成１に記載の画像処理装置。
前記決定手段は、前記仮想視点情報に基づいて、前記画像取得手段により取得された複数の前記撮像画像のデータのうちから、前記学習モデルの学習において学習画像データとして用いる前記撮像画像のデータを決定することにより、前記学習条件を決定すること、
を特徴とする構成１に記載の画像処理装置。
【0113】
＜構成３＞
前記仮想視点情報は、前記仮想視点からの視線の方向を示す情報を含み、
前記決定手段は、前記仮想視点からの視線の方向を示す情報と、前記複数の撮像装置のそれぞれの前記撮像パラメータに含まれる撮像装置の光軸の方向を示す情報とに基づいて、前記学習画像データとして用いる前記撮像画像のデータを決定すること、
を特徴とする構成２に記載の画像処理装置。
前記仮想視点情報は、前記仮想視点からの視線の方向を示す情報を含み、
前記決定手段は、前記仮想視点からの視線の方向を示す情報と、前記複数の撮像装置のそれぞれの前記撮像パラメータに含まれる撮像装置の光軸の方向を示す情報とに基づいて、前記学習画像データとして用いる前記撮像画像のデータを決定すること、
を特徴とする構成２に記載の画像処理装置。
【0114】
＜構成４＞
前記仮想視点情報は、前記仮想視点の位置を示す情報を含み、
前記決定手段は、前記仮想視点の位置を示す情報と、前記複数の撮像装置のそれぞれの前記撮像パラメータに含まれる撮像装置の位置を示す情報とに基づいて、前記学習画像データとして用いる前記撮像画像のデータを決定すること、
を特徴とする構成２又は３に記載の画像処理装置。
前記仮想視点情報は、前記仮想視点の位置を示す情報を含み、
前記決定手段は、前記仮想視点の位置を示す情報と、前記複数の撮像装置のそれぞれの前記撮像パラメータに含まれる撮像装置の位置を示す情報とに基づいて、前記学習画像データとして用いる前記撮像画像のデータを決定すること、
を特徴とする構成２又は３に記載の画像処理装置。
【0115】
＜構成５＞
前記学習手段は、前記決定手段により決定された前記撮像画像のデータのみを前記学習画像データとして用いて前記学習モデルの学習を行うこと、
を特徴とする構成２乃至４のいずれか１つに記載の画像処理装置。
前記学習手段は、前記決定手段により決定された前記撮像画像のデータのみを前記学習画像データとして用いて前記学習モデルの学習を行うこと、
を特徴とする構成２乃至４のいずれか１つに記載の画像処理装置。
【0116】
＜構成６＞
前記学習手段による前記学習モデルの学習は、学習フェーズとして、前記決定手段により決定された前記撮像画像のデータのみを前記学習画像データとして用いて前記学習モデルの学習を行う第１の学習フェーズと、前記画像取得手段により取得された全ての前記撮像画像のデータを前記学習画像データとして用いて前記学習モデルの学習を行う第２の学習フェーズとを含むこと、
を特徴とする構成２乃至４のいずれか１つに記載の画像処理装置。
前記学習手段による前記学習モデルの学習は、学習フェーズとして、前記決定手段により決定された前記撮像画像のデータのみを前記学習画像データとして用いて前記学習モデルの学習を行う第１の学習フェーズと、前記画像取得手段により取得された全ての前記撮像画像のデータを前記学習画像データとして用いて前記学習モデルの学習を行う第２の学習フェーズとを含むこと、
を特徴とする構成２乃至４のいずれか１つに記載の画像処理装置。
【0117】
＜構成７＞
前記学習手段は、前記第１の学習フェーズによる前記学習モデルの学習を行った後に、前記第２の学習フェーズによる前記学習モデルの学習を行うこと、
を特徴とする構成６に記載の画像処理装置。
前記学習手段は、前記第１の学習フェーズによる前記学習モデルの学習を行った後に、前記第２の学習フェーズによる前記学習モデルの学習を行うこと、
を特徴とする構成６に記載の画像処理装置。
【0118】
＜構成８＞
前記学習手段は、前記第２の学習フェーズによる前記学習モデルの学習を行った後に、前記第１の学習フェーズによる前記学習モデルの学習を行うこと、
を特徴とする構成６に記載の画像処理装置。
前記学習手段は、前記第２の学習フェーズによる前記学習モデルの学習を行った後に、前記第１の学習フェーズによる前記学習モデルの学習を行うこと、
を特徴とする構成６に記載の画像処理装置。
【0119】
＜構成９＞
前記学習手段は、前記第１の学習フェーズによる前記学習モデルの学習、及び前記第２の学習フェーズによる前記学習モデルの学習の少なくとも一方を、他方の学習を行う前と後とに繰り返し行うこと、
を特徴とする構成６乃至８のいずれか１つに記載の画像処理装置。
前記学習手段は、前記第１の学習フェーズによる前記学習モデルの学習、及び前記第２の学習フェーズによる前記学習モデルの学習の少なくとも一方を、他方の学習を行う前と後とに繰り返し行うこと、
を特徴とする構成６乃至８のいずれか１つに記載の画像処理装置。
【0120】
＜構成１０＞
前記決定手段は、前記仮想視点情報に基づいて決定した、前記学習画像データとして用いる複数の前記撮像画像のデータを複数の画像グループに分割し、
前記学習手段は、前記画像グループごとに、前記画像グループに含まれる前記撮像画像のデータを前記学習画像データとして用いて前記学習モデルの学習を行うこと、
を特徴とする構成２乃至９のいずれか１つに記載の画像処理装置。
前記決定手段は、前記仮想視点情報に基づいて決定した、前記学習画像データとして用いる複数の前記撮像画像のデータを複数の画像グループに分割し、
前記学習手段は、前記画像グループごとに、前記画像グループに含まれる前記撮像画像のデータを前記学習画像データとして用いて前記学習モデルの学習を行うこと、
を特徴とする構成２乃至９のいずれか１つに記載の画像処理装置。
【0121】
＜構成１１＞
前記決定手段は、前記仮想視点情報に基づいて決定した、前記学習画像データとして用いる複数の前記撮像画像のデータを複数の画像グループに分割し、
前記学習手段は、前記画像グループごとに、前記画像グループに含まれる前記撮像画像のデータを前記学習画像データとして用いて、前記第１の学習フェーズによる前記学習モデルの学習を行うこと、
を特徴とする構成６乃至９のいずれか１つに記載の画像処理装置。
前記決定手段は、前記仮想視点情報に基づいて決定した、前記学習画像データとして用いる複数の前記撮像画像のデータを複数の画像グループに分割し、
前記学習手段は、前記画像グループごとに、前記画像グループに含まれる前記撮像画像のデータを前記学習画像データとして用いて、前記第１の学習フェーズによる前記学習モデルの学習を行うこと、
を特徴とする構成６乃至９のいずれか１つに記載の画像処理装置。
【0122】
＜構成１２＞
前記学習手段は、前記決定手段により決定された前記撮像画像のデータを前記学習画像データとして用いる場合の学習の重みを、前記画像取得手段により取得された複数の前記撮像画像のデータのうちの、前記決定手段により決定された前記撮像画像のデータ以外の前記撮像画像のデータを前記学習画像データとして用いる場合の前記学習モデルの学習の重みより高くすること、
を特徴とする構成２乃至１１のいずれか１つに記載の画像処理装置。
前記学習手段は、前記決定手段により決定された前記撮像画像のデータを前記学習画像データとして用いる場合の学習の重みを、前記画像取得手段により取得された複数の前記撮像画像のデータのうちの、前記決定手段により決定された前記撮像画像のデータ以外の前記撮像画像のデータを前記学習画像データとして用いる場合の前記学習モデルの学習の重みより高くすること、
を特徴とする構成２乃至１１のいずれか１つに記載の画像処理装置。
【0123】
＜構成１３＞
学習済みの前記学習モデルである学習済モデルを用いて、前記オブジェクトに対応する放射輝度場を推定して、前記仮想視点からの見えに対応する仮想視点画像を生成する生成手段、
を更に有し、
前記仮想視点情報は、前記仮想視点の位置を示す情報、及び前記仮想視点からの視線の方向を示す情報を含み、
前記生成手段は、前記仮想視点情報を前記学習済モデルに入力することにより前記仮想視点画像を生成すること、
を特徴とする構成１乃至１２のいずれか１つに記載の画像処理装置。
学習済みの前記学習モデルである学習済モデルを用いて、前記オブジェクトに対応する放射輝度場を推定して、前記仮想視点からの見えに対応する仮想視点画像を生成する生成手段、
を更に有し、
前記仮想視点情報は、前記仮想視点の位置を示す情報、及び前記仮想視点からの視線の方向を示す情報を含み、
前記生成手段は、前記仮想視点情報を前記学習済モデルに入力することにより前記仮想視点画像を生成すること、
を特徴とする構成１乃至１２のいずれか１つに記載の画像処理装置。
【0124】
＜構成１４＞
前記仮想視点画像を表示制御して表示装置に表示出力する出力手段、
を更に有することを特徴とする構成１３に記載の画像処理装置。
前記仮想視点画像を表示制御して表示装置に表示出力する出力手段、
を更に有することを特徴とする構成１３に記載の画像処理装置。
【0125】
＜方法＞
互いに異なる位置に配置された複数の撮像装置のそれぞれの撮像パラメータを取得する撮像パラメータ取得工程と、
前記複数の撮像装置のそれぞれによる撮像により得られる撮像画像のデータを取得する画像取得工程と、
仮想視点の位置を示す情報、及び前記仮想視点からの視線の方向を示す情報の少なくともいずれかを含む仮想視点情報を取得する視点取得工程と、
前記仮想視点情報に基づいて、前記複数の撮像装置の撮像領域に存在するオブジェクトに対応する放射輝度場を推定する学習モデルの学習条件を決定する決定工程と、
前記学習条件、前記撮像パラメータ、及び前記撮像画像のデータに基づいて、前記学習モデルの学習を行う学習工程と、
を含むことを特徴とする画像処理方法。
互いに異なる位置に配置された複数の撮像装置のそれぞれの撮像パラメータを取得する撮像パラメータ取得工程と、
前記複数の撮像装置のそれぞれによる撮像により得られる撮像画像のデータを取得する画像取得工程と、
仮想視点の位置を示す情報、及び前記仮想視点からの視線の方向を示す情報の少なくともいずれかを含む仮想視点情報を取得する視点取得工程と、
前記仮想視点情報に基づいて、前記複数の撮像装置の撮像領域に存在するオブジェクトに対応する放射輝度場を推定する学習モデルの学習条件を決定する決定工程と、
前記学習条件、前記撮像パラメータ、及び前記撮像画像のデータに基づいて、前記学習モデルの学習を行う学習工程と、
を含むことを特徴とする画像処理方法。
【0126】
＜プログラム＞
コンピュータを、構成１乃至１４のいずれか１つに記載の画像処理装置として機能させるためのプログラム。
コンピュータを、構成１乃至１４のいずれか１つに記載の画像処理装置として機能させるためのプログラム。
【符号の説明】
【0127】
１０２ 画像処理装置
４００ 仮想カメラ情報取得部
４０１ 撮像パラメータ取得部
４０２ 画像取得部
４０３ 特定部
４０４ 学習部
４００ 仮想カメラ情報取得部
４０１ 撮像パラメータ取得部
４０２ 画像取得部
４０３ 特定部
４０４ 学習部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】