特許 7202087 映像処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-12-27

(45)【発行日】2023-01-11

(54)【発明の名称】映像処理装置

(51)【国際特許分類】

   H04N 13/111 20180101AFI20221228BHJP

   G06T 5/00 20060101ALI20221228BHJP

【ＦＩ】

H04N13/111

G06T5/00 720

【請求項の数】 6

(21)【出願番号】P 2018125276

(22)【出願日】2018-06-29

(65)【公開番号】P2020005202

(43)【公開日】2020-01-09

【審査請求日】2021-05-28

(73)【特許権者】

【識別番号】000004352

【氏名又は名称】日本放送協会

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】230118913

【弁護士】

【氏名又は名称】杉村 光嗣

(74)【代理人】

【識別番号】100161148

【弁理士】

【氏名又は名称】福尾 誠

(74)【代理人】

【識別番号】100185225

【弁理士】

【氏名又は名称】齋藤 恭一

(72)【発明者】

【氏名】原 一宏

(72)【発明者】

【氏名】井口 義則

(72)【発明者】

【氏名】河北 真宏

(72)【発明者】

【氏名】三科 智之

(72)【発明者】

【氏名】菊池 宏

(72)【発明者】

【氏名】妹尾 孝憲

(72)【発明者】

【氏名】藤井 俊彰

【審査官】益戸 宏

(56)【参考文献】

【文献】特開２０１７－０５０８６６（ＪＰ，Ａ）

【文献】特表２０１４－５１５１９７（ＪＰ，Ａ）

【文献】特表２０１８－５００７０８（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１８／０１６５７９８（ＵＳ，Ａ１）

【文献】中国特許出願公開第１０８１７１６６３（ＣＮ，Ａ）

【文献】特開２０１７－０５９１９３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ １３／００

Ｇ０６Ｔ ５／００

Ｇ０６Ｎ ３／０２

(57)【特許請求の範囲】

【請求項1】

機械学習機能を持ち、学習モデル及び／又は学習済みパラメータをもとに、作成された映像の不足映像情報を補完する補正処理を行う映像処理装置において、
補正処理のための入力画像は、視点内挿映像と、前記視点内挿映像の周辺視点映像と、前後フレーム映像とをアップサンプリングし、ブロック化したｍ×ｍピクセルのブロック画像を複数配置した構成であることを特徴とする、映像処理装置。

【請求項2】

機械学習機能を持ち、学習モデル及び／又は学習済みパラメータをもとに、作成された映像の不足映像情報を補完する補正処理を行う映像処理装置において、
補正処理のための入力画像は、視点内挿映像と、前記視点内挿映像の周辺視点映像と、前後フレーム映像とをアップサンプリングし、ブロック化したｍ×ｍピクセルのブロック画像をｎ×ｎ個配置した画像を、画素の並び替えにより、各ブロック画像の対応する位置のピクセルを集めたｎ×ｎピクセルの要素画像をｍ×ｍ個配置した構成であることを特徴とする、映像処理装置。

【請求項3】

請求項１又は２に記載の映像処理装置において、
学習モデル及び／又は学習済みパラメータを持つ補正部を備え、
前記補正部は、作成された映像とその関連映像を含む入力画像に基づいて、機械学習により補正処理を行うことを特徴とする、映像処理装置。

【請求項4】

請求項１乃至３のいずれか一項に記載の映像処理装置において、
作成された映像は、多視点映像から作成された視点内挿映像であることを特徴とする、映像処理装置。

【請求項5】

請求項１乃至４のいずれか一項に記載の映像処理装置において、
作成された映像をブロックごとに機械学習により補正処理を行い、補正されたブロック画像をブロック統合し、出力映像を生成することを特徴とする、映像処理装置。

【請求項6】

機械学習機能を持ち、学習モデル及び／又は学習済みパラメータをもとに、作成された映像の不足映像情報を補完する補正処理を行う映像処理装置において、
作成された映像をブロックごとに機械学習により補正処理を行い、補正されたブロック画像をブロック統合した映像を、視点内挿処理で作成された映像のインペイント処理に利用することを特徴とする、映像処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、映像処理装置に関し、特に、映像の補正処理に機械学習を利用する映像処理信装置に関する。

【背景技術】

【0002】

近年、ＨＭＤ（Head Mounted Display）による２眼の３６０度ビデオをコンテンツとしたサービスが普及している。ＶＲ（Virtual Reality）ではユーザーが別の空間に移動したような没入感を得られることが知られる。これらのサービスでは将来のサービス展開として、ユーザーが姿勢を動かしたときの運動視差に対応することが考えられている（例えば、3DoF+：3 degrees of freedom +)。そしてその先の展望として、ユーザーが姿勢だけではなく位置を移動したときの運動視差に対応するサービス（6DoF+）の実用化が期待されている。また、ＨＭＤ以外の表示端末を使用した将来の映像視聴サービスでは、スポーツ中継などでユーザーが見たい視点から映像を楽しむことができる自由視点映像の実用化に向けた開発も進められている。

【0003】

これらのサービスの実現に向けて、コンテンツ制作方法の議論が進められている。例えば、自由視点映像サービスに向けた撮影手法では膨大な数の映像を一度に取得する必要があり、複数台のカメラで撮影空間を囲むように配置することが知られている。また、運動視差つき３６０度映像では全天周カメラを所定の位置に複数台配置する取り組みが進められている。

【0004】

表示側では、撮影された映像をもとにレンダリングを行うことでユーザーが好む任意の視点映像を生成することが考えられている。これらのレンダリング処理では、撮影時に実際のカメラのない視点（仮想ビュー）を生成する視点合成処理、すなわち、カメラ間の視点映像の内挿処理、外挿処理、補間処理等が行われる。この視点合成処理は、インテグラル方式の立体映像等、様々な映像処理で用いられている（特許文献１）。

【0005】

また、編集などのコンテンツ制作では、３次元モデルシーンやイメージベース（多視点映像及び／又は多視点デプス画像）での編集作業が行われる。伝送と記録では、任意のフォーマットによって符号化が行われデータ量を圧縮した上での記録や、有線や無線ネットワークを介した配信が行われる。

【先行技術文献】

【特許文献】

【0006】

【文献】特開２０１６－１５８２１３号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

広範囲な運動視差に対応した映像の記録・伝送を行う場合に、情報量が膨大になることから、全ての情報量を記録や伝送することはできず、一部の情報を符号化して記録・伝送する。そのため、復号側では不足した情報を補完することが必要となる。

【0008】

例えばイメージベース（多視点映像及び／又は多視点デプス画像）のフォーマットでは、視点内挿処理による補間が行われる。ここで、視点内挿処理では奥行き画像（デプスマップ）を利用する方法が一般的に知られており、奥行き画像をもとにそれぞれの参照視点からの視点内挿画像を作成する。しかしながら、視点内挿画像は、参照する視点間の間隔が広い場合や、被写体の形状が複雑でカメラからの距離が近い場合に、多くのオクルージョン領域（陰になって見えない部分）が発生する。これらのオクルージョン領域はインペイント処理によって、周辺の画素などから埋められる。しかし、実際にどの画素値を割り当てるかの判定が難しいことから間違った画素値を埋めてしまうことがあり、それがノイズ成分として発生する。

【0009】

従って、上記のような問題点に鑑みてなされた本発明の目的は、映像作成時に不足する情報を適切に補完し、映像の品質を改善することのできる、映像処理装置を提供することにある。

【課題を解決するための手段】

【0010】

上記課題を解決するために本発明に係る映像処理装置は、機械学習機能を持ち、学習モデル及び／又は学習済みパラメータをもとに、作成された映像の不足映像情報を補完する補正処理を行う映像処理装置において、補正処理のための入力画像は、視点内挿映像と、前記視点内挿映像の周辺視点映像と、前後フレーム映像とをアップサンプリングし、ブロック化したｍ×ｍピクセルのブロック画像を複数配置した構成であることを特徴とする。
また、上記課題を解決するために本発明に係る映像処理装置は、機械学習機能を持ち、学習モデル及び／又は学習済みパラメータをもとに、作成された映像の不足映像情報を補完する補正処理を行う映像処理装置において、補正処理のための入力画像は、視点内挿映像と、前記視点内挿映像の周辺視点映像と、前後フレーム映像とをアップサンプリングし、ブロック化したｍ×ｍピクセルのブロック画像をｎ×ｎ個配置した画像を、画素の並び替えにより、各ブロック画像の対応する位置のピクセルを集めたｎ×ｎピクセルの要素画像をｍ×ｍ個配置した構成であることを特徴とする。

【0011】

また、前記映像処理装置は、学習モデル及び／又は学習済みパラメータを持つ補正部を備え、前記補正部は、作成された映像とその関連映像を含む入力画像に基づいて、機械学習により補正処理を行うことが望ましい。

【0012】

また、前記映像処理装置は、作成された映像が、多視点映像から作成された視点内挿映像であることが望ましい。

【0015】

また、前記映像処理装置は、作成された映像をブロックごとに機械学習により補正処理を行い、補正されたブロック画像をブロック統合し、出力映像を生成することが望ましい。

【0016】

また、前記映像処理装置は、作成された映像をブロックごとに機械学習により補正処理を行い、補正されたブロック画像をブロック統合した映像を、視点内挿処理で作成された映像のインペイント処理に利用することが望ましい。

【発明の効果】

【0017】

本発明の映像処理装置によれば、機械学習を利用して、映像作成時に不足する情報を適切に補完し、映像の品質を改善することができる。

【0018】

また、本発明をデプス推定や視点内挿技術に適用すれば、オクルージョン領域（陰になって見えない部分）等におけるノイズの低減をすることができる。さらに、補完処理によってデプス画像や視点内挿画像の画質劣化が低減することにより、より離れたカメラ間隔での視点内挿が可能となり、そのため、符号化対象となる視点数（必要なカメラ台数）を削減することができる。

【図面の簡単な説明】

【0019】

【図1】本発明の映像処理装置の一例のブロック図である。

【図2】本発明の第１の実施形態における映像生成部のブロック図である。

【図3】機械学習に用いる画像の一例である。

【図4】機械学習に用いる入力画像の別の例である。

【図5】本発明の第２の実施形態における映像生成部のブロック図である。

【発明を実施するための形態】

【0020】

以下、本発明の実施の形態について、図面を参照しながら説明する。

【0021】

（第１の実施形態）
図１は、本発明の映像処理装置の一例のブロック図である。本発明の映像処理装置は、映像の編集装置であってもよいし、また、映像の受信装置（復号装置）であってもよい。本発明の映像処理装置は、入力された映像から、新たな映像を生成するとともに、機械学習を用いて映像の補正を行う。映像処理装置１０は、入力部１１、映像生成部１２、及び表示部１３を備える。

【0022】

映像処理装置１０が映像の編集装置である場合には、入力部１１には、撮影された映像が入力され、必要に応じて編集処理が行われる。また、映像処理装置１０が映像の受信装置（復号装置）である場合には、入力部１１には、受信した符号化データを復号した映像が入力される。或いは、入力部１１内において、映像の符号化データを復号処理してもよい。入力される映像は、立体映像を構成するために複数のカメラで撮影された多視点映像、全天周カメラで撮影された映像等、複数の映像の組み合わせであってもよい。また、多視点映像に対応するデプス画像を含めることができる。

【0023】

映像生成部１２は、入力部１１から入力される映像を元に、学習用画像と正解画像情報を作成し、機械学習を行い、映像の補正に最適な学習モデル及び／又は学習パラメータを作成する。また、学習後は、入力部１１から入力される映像から作成した映像を、機械学習により得られた学習モデル及び／又は学習パラメータ（学習済みパラメータ値）等に基づいて補正し、表示部１３に出力する。映像生成部１２の詳細は後述する。

【0024】

表示部１３は、映像生成部１２で処理された映像を表示する。なお、表示部１３は、映像処理装置１０の内部に設けられることは必須ではなく、映像処理装置２０とは別体の独立した表示装置として構成してもよい。

【0025】

図２に、第１の実施形態としての映像処理装置１０の映像生成部１２のブロック図を示す。ここでは、図２の映像生成部１２が、視点内挿映像を生成すると共に、機械学習を用いて視点内挿映像の補正処理（不足映像情報を補完する処理）を行う例を説明する。

【0026】

図２において、映像生成部１２は、周辺視点映像入力部１０１、前後フレーム映像入力部１０２、視点内挿部１０３、アップサンプル部１０４、ブロック分割部１０５、入力画像生成部１０６、対象視点フレーム入力部１０７、ブロック分割部１０８、機械学習部１１０、視点内挿補正部１１１、ブロック統合部１１２、及び平滑フィルタ１１４を備えている。

【0027】

入力対象となる映像は、例えば、符号化・復号処理をされた後の映像、及び／又は、映像編集された符号化処理を経ていない映像である。入力映像には、学習用の正解画像として視点内挿を行う視点の画像、視点内挿時に参照をされる周辺視点映像などが含まれている。例えば、複数枚の多視点画像とそれに対応する複数枚のデプス画像を入力映像とする。これらの画像は、対象物を３６０度の方向から撮影した多視点映像や、インテグラル立体映像を構成するための複数映像であってもよい。また、それぞれの視点映像は、予め奇数フレームと偶数フレームの映像に分かれていてもよい。

【0028】

周辺視点映像入力部１０１は、対象視点の映像（視点内挿映像）に対してその周辺視点の映像を選択し、視点内挿部１０３及びアップサンプル部１０４に出力する。

【0029】

前後フレーム映像入力部１０２は、対象視点フレーム（又は視点内挿が行われるフレーム）の前後のフレームの映像を選択し、アップサンプル部１０４に出力する。なお、対象視点のフレームの前後のフレームからのフレーム間内挿を利用することにより、予測画像の精度が向上する。

【0030】

視点内挿部１０３は、周辺視点映像入力部１０１から入力された周辺視点映像（対象視点の周辺の視点の映像）に基づいて、視点の内挿処理を行い、対象視点の仮想ビュー（映像）を作成し、その作成された映像をアップサンプル部１０４に出力する。

【0031】

アップサンプル部１０４は、周辺視点映像入力部１０１、前後フレーム映像入力部１０２、及び視点内挿部１０３から入力されたそれぞれの映像について、アップサンプリングを行い、映像の解像度を高く（例えば、縦横２倍、又は４倍に）する。なお、映像をアップサンプリングして処理することにより、予測画像の精度が向上する。

【0032】

ブロック分割部１０５は、アップサンプル処理されたそれぞれの映像をブロックに分割する。ブロックとしては、例えば、１６×１６ピクセル（pixel）を単位ブロックとする。分割対象の映像は２倍にアップサンプル処理されているため、このブロックは、元の映像の８×８ピクセルのブロック画像に対応する。なお、単位ブロックのサイズは、上記に限定されるものではなく、例えば、３２×３２ピクセルとしてもよい。

【0033】

入力画像生成部１０６は、機械学習部１１０の入力画像を作成する。入力画像は、機械学習の学習用画像（予測の元になる画像）となる。ここでは、ブロック分割された各映像から、対象視点の映像に関連する複数のブロック映像（ブロック画像）をタイル状に並べて、入力画像を構成する。

【0034】

図３に、機械学習に用いる画像の一例を示す。図３（Ａ）は、入力画像の例である。ここでは１６×１６ピクセル（pixel）のブロック画像が９個（３×３）配列され、４８×４８ピクセルの入力画像が構成されている。まず、視点補間画像（対象視点の映像に対応する視点内挿画像）を入力画像の中央部に配置する。この視点補間画像は、視点内挿部１０３で作成された対象視点の映像をアップサンプリング（２倍）してブロック化したものである。また、視点補間画像の周囲には、その関連画像（関連映像）である、隣接画像１～４及び対象視点の映像フレームの前後フレームの映像のブロックを配置する。例えば、隣接画像１～４は、視点補間画像の上下左右に隣接する視点のブロック画像であり、周辺視点映像入力部１０１の出力をアップサンプリングしてブロック化したものから適宜選択して配置する。また、前後フレームの映像としては、例えば、１フレーム前の画像、１フレーム後の画像、３フレーム前の画像、３フレーム後の画像等であり、前後フレーム映像入力部１０２の出力をアップサンプリングしてブロック化したものから適宜選択して配置する。なお、隣接画像や前後フレーム画像をそれぞれ幾つ選び、どのように配置するか等は、適宜設定することができる。隣接画像としてデプス画像を利用してもよい。

【0035】

次に、対象視点フレーム入力部１０７は、入力映像から、対象視点のフレームの映像を選択し、ブロック分割部１０８に出力する。なお、対象視点のフレームの映像は編集された符号化前の映像に限定されるものではなく、符号化され更に復号された映像から、対象視点の映像を選択してもよい。対象視点フレーム入力部１０７から入力された映像からは、機械学習における学習用正解画像が作成される。

【0036】

ブロック分割部１０８は、対象視点フレーム入力部１０７から入力された対象視点フレームの映像を、ブロックに分割する。ブロックとしては、例えば、８×８ピクセル（pixel）を単位ブロックとする。対象視点フレーム入力部１０７からの映像はアップサンプル処理されていないため、このブロックは、入力画像の１６×１６ピクセルのブロック画像に対応する。なお、単位ブロックは、上記のサイズに限定されるものではなく、学習用画像のサイズと対応させればよい。ブロック分割部１０８で分割され出力された映像が、９ブロックの入力画像の中央にある１６×１６ピクセルの視点補間画像（視点内挿画像）に対応する正解画像となっている。図３（Ｂ）に、正解画像の一例（イメージ）を示す。

【0037】

機械学習部１１０は、入力画像生成部１０６からの入力画像を学習用画像（訓練用画像）とし、ブロック分割部１０８から入力された正解画像との比較を行うことで、機械学習を進め、最適な学習モデルと学習パラメータを算出する。なお、ここでの機械学習は広い概念でとらえて良い。例えば、畳み込みニューラルネットワークを用いて構築される機械学習であって良く、特徴量の抽出とモデリングを自動的に行うディープラーニング等を含むことができる。また、畳み込みニューラルネットワーク以外に、例えば、ＳＶＭ（Support Vector Machine）などを用いて構築してもよい。

【0038】

学習により、最適な学習モデルと学習パラメータを習得した機械学習部１１０は、図３（Ａ）に示す入力画像が入力されると、正解画像に近似した補間画像を出力することができる。図３（Ｃ）に、出力画像（補間画像）の一例（イメージ）を示す。出力画像（補間画像）は、正解画像と同じく、８×８ピクセル（pixel）の単位ブロックである。

【0039】

なお、学習用画像に対象視点を内挿して作成した映像を用い、正解画像に対象視点における実際の映像を用いることにより、機械学習部は、内挿映像で不足する映像情報（例えば、オクルージョン領域の映像情報）を生成する学習機能を得ることができる。また、学習用画像に符号化及び復号された映像を用い、正解画像に符号化前の編集映像を用いることにより、機械学習部は、符号化で失われた映像情報（画質改善のための映像情報）を生成する学習機能を得ることができる。

【0040】

学習を終了すると、機械学習部１１０は、最適な学習モデル及び／又は学習パラメータを視点内挿補正部１１１に出力する。機械学習部１１０が学習を終了し、最適な学習モデルと学習パラメータを視点内挿補正部１１１に出力した後は、対象視点フレーム入力部１０７及びブロック分割部１０８からの入力信号（学習用正解画像）は停止してよい。或いは、学習モデルと学習パラメータを出力後も、機械学習部１１０は継続的に学習を行い、より精度の高い学習モデルと学習パラメータを算出して、視点内挿補正部１１１の学習モデルと学習パラメータを更新してもよい。

【0041】

視点内挿補正部１１１は、機械学習部１１０からの最適の学習モデル及び／又は学習パラメータに基づいて、入力画像生成部１０６から出力される入力画像を受けて機械学習により視点内挿画像の補正をブロック毎に行う。視点内挿補正部１１１の出力は、例えば、図３（Ｃ）に示される８×８ピクセルの補間画像（補正画像）である。補正された画像（映像）は、作成された映像で不足する映像情報を補完することができる。

【0042】

ブロック統合部１１２は、視点内挿補正部１１１でブロック毎に生成された補正画像（ブロック画像）を統合（ブロック統合）し、一枚の補正された視点内挿映像（対象視点の映像）を生成する。なお、補正された視点内挿映像は、機械学習の結果（学習モデル結果）により、オクルージョン領域が予測され補完されている。

【0043】

平滑フィルタ１１４は、ブロック統合部１１２から入力された映像に対して、フィルタ処理を行う。ブロック境界に生じるノイズを平滑フィルタ処理により除去することができる。この平滑フィルタ１１４の出力が、映像生成部１２の出力映像となる。

【0044】

このように、学習モデル結果（機械学習による予測）を使用することにより、視点内挿映像の精度を向上させることができる。また、補正された画像は符号化・復号処理で失った画像情報も補完するから、出力映像の画質を向上させることができる。

【0045】

（入力画像の改良）
図４に、入力画像の別の例を示す。入力画像生成部１０６は、まず、アップサンプリングされてブロック分割された各映像から、対象視点の映像に関連する複数のブロック映像（ブロック画像）をタイル状に並べて、図４の左側の画像を構成する。この左側の画像は、図３（Ａ）と同様であり、ここでは１６×１６ピクセル（pixel）のブロック画像が９個（３×３）配列され、４８×４８ピクセルの画像が構成される。まず、視点補間画像（視点内挿部１０３で作成された対象視点の映像をアップサンプリングしてブロック化したもの）を中央部に配置し、その周囲には、隣接画像１～４及び対象視点の映像フレームの前後フレームのブロック画像を配置する。例えば、隣接画像１～４は、視点補間画像の上下左右に隣接する視点のブロック画像であり、前後フレームの映像としては、例えば、１フレーム前の画像、１フレーム後の画像、３フレーム前の画像、３フレーム後の画像等である。これらは、周辺視点映像入力部１０１及び前後フレーム映像入力部１０２の出力をアップサンプリングしてブロック化したものから適宜選択して配置する。なお、隣接画像や前後フレーム画像をそれぞれ幾つ選び、どのように配置するか等は、適宜設定することができる。隣接画像としてデプス画像を利用してもよい。

【0046】

次に、画素（ピクセル）の並び替えを行う。各１６×１６ピクセル（ｍ×ｍピクセル）の３×３個（ｎ×ｎ個）のブロック画像から同じ位置（例えば、左上）にある１ピクセル（pixel）を抽出して、３×３ピクセルのピクセル集合を作成し（以下、これを「要素画像」と呼ぶ。）、これを４８×４８ピクセルの対応する位置（左上の位置）に配置する。また、９個のブロック画像それぞれの次のピクセル（例えば、上の行の左から２番目の１ピクセル）を抽出し、３×３ピクセルのピクセル集合（要素画像）として、前の要素画像の右隣の位置に配置する。同様の並び替えを繰り返し、各ブロック画像から同じ位置にある１ピクセルを抽出して要素画像を作成し、対応する位置に順に配置する。こうして３×３ピクセル（ｎ×ｎピクセル）の要素画像が１６×１６個（ｍ×ｍ個）配置され、４８×４８ピクセルの新たな入力画像（図４の右側）を作成することができる。

【0047】

この新たな入力画像を、機械学習部１１０の学習用画像（訓練用画像）とする。なお、学習用正解画像は、ブロック分割部１０８から入力されるものであり、同じとする。この場合、機械学習モデルにおける、畳み込み処理の中で、それぞれの畳み込み層の中に全ての映像の成分が含まれることとなるため、補正の精度が向上する。学習終了後は、この新たな入力画像を、視点内挿補正部１１１の入力画像とする。

【0048】

（第２の実施形態）
図５に、第２の実施形態としての映像生成部１２のブロック図を示す。ここでは、映像生成部１２が、視点内挿映像を生成すると共に、インペイント処理で割り当てる画素値を機械学習結果によって得る映像生成部１２の例を説明する。第２の実施形態では、学習方法は第１の実施形態と同じだが、インペイント部において、視点内挿時のオクリュージョン領域のみを、機械学習で得られた視点内挿補正結果の画素値で置き換えられることが異なる。

【0049】

図５において、映像生成部１２は、周辺視点映像入力部１０１、前後フレーム映像入力部１０２、視点内挿部１０３、アップサンプル部１０４、ブロック分割部１０５、入力画像生成部１０６、対象視点フレーム入力部１０７、ブロック分割部１０８、機械学習部１１０、視点内挿補正部１１１、ブロック統合部１１２、インペイント部１１３、及び平滑フィルタ１１４を備えている。図２と共通の構成は、説明を簡略化する。

【0050】

映像生成部１２の入力対象となる映像は、符号化・復号処理をされた後の映像、及び／又は、映像編集された符号化処理を経ていない映像である。例えば、複数枚の多視点画像とそれに対応する複数枚のデプス画像を入力映像とする。

【0051】

周辺視点映像入力部１０１は、対象視点の映像（視点内挿映像）に対してその周辺視点の映像を選択し、視点内挿部１０３及びアップサンプル部１０４に出力する。

【0052】

前後フレーム映像入力部１０２は、対象視点フレーム（又は視点内挿が行われるフレーム）の前後のフレームの映像を選択し、アップサンプル部１０４に出力する。

【0053】

視点内挿部１０３は、周辺視点映像入力部１０１から入力された周辺視点映像（対象視点の周辺の視点の映像）に基づいて、視点の内挿処理を行い、対象視点の仮想ビュー（映像）を作成する。この映像は、第２の実施形態においては映像生成部１２の出力映像の基礎となる映像であり、その作成された映像をアップサンプル部１０４とインペイント部１１３に出力する。

【0054】

アップサンプル部１０４は、周辺視点映像入力部１０１、前後フレーム映像入力部１０２、及び視点内挿部１０３から入力されたそれぞれの映像について、アップサンプリングを行い、映像の解像度を高くする。なお、映像をアップサンプリングして処理することにより、予測画像の精度が向上する。

【0055】

ブロック分割部１０５は、アップサンプル処理されたそれぞれの映像をブロックに分割する。ブロックとしては、例えば、１６×１６ピクセル（pixel）を単位ブロックとする。なお、単位ブロックのサイズは、例えば、３２×３２ピクセルとしてもよい。

【0056】

入力画像生成部１０６は、機械学習部１１０の入力画像を作成する。入力画像は、ブロック分割された各映像から、対象視点の映像に関連する複数のブロック映像をタイル状に並べた、図３（Ａ）の入力画像として良い。また、ブロック映像からなる画像の画素を並び変えた、図４（右側）の入力画像としてもよい。

【0057】

次に、対象視点フレーム入力部１０７は、入力映像から、対象視点のフレームの映像を選択し、ブロック分割部１０８に出力する。

【0058】

ブロック分割部１０８は、対象視点フレーム入力部１０７から入力された対象視点フレームの映像を、ブロックに分割する。ブロックとしては、例えば、８×８ピクセル（pixel）を単位ブロックとする。ブロック分割部１０８で分割され出力された映像が、１６×１６ピクセルの視点補間画像（視点内挿画像）に対応する正解画像となっている。

【0059】

機械学習部１１０は、入力画像生成部１０６からの入力画像を学習用画像（訓練用画像）とし、ブロック分割部１０８から入力された正解画像との比較を行うことで、機械学習を進め、最適な学習モデルと学習パラメータを算出する。

【0060】

学習を終了すると、機械学習部１１０は、最適な学習モデル及び／又は学習パラメータを視点内挿補正部１１１に出力する。機械学習部１１０が学習を終了し、最適な学習モデルと学習パラメータを視点内挿補正部１１１に出力した後は、対象視点フレーム入力部１０７及びブロック分割部１０８からの入力信号（学習用正解画像）は停止してもよい。

【0061】

視点内挿補正部１１１は、機械学習部１１０からの最適の学習モデル及び／又は学習パラメータに基づいて、入力画像生成部１０６から出力される入力画像を受けて機械学習により視点内挿画像の補正をブロック毎に行う。

【0062】

ブロック統合部１１２は、視点内挿補正部１１１でブロック毎に生成された補正画像（ブロック画像）を統合し、一枚の補正された視点内挿映像（対象視点の映像）を生成する。なお、補正された視点内挿映像は、機械学習の結果（学習モデル結果）により、オクルージョン領域が予測され補完されている。

【0063】

インペイント部１１３には、視点内挿部１０３からの対象視点の内挿映像と、ブロック統合部１１２からの補正された視点内挿映像とが入力される。視点内挿部１０３で生成された内挿映像は、オクルージョン領域等を生じる可能性があり、インペイント部１１３は、ブロック統合部２１２からの補正された映像により、このオクルージョン領域を埋める補完処理を行う。すなわち、視点内挿部で発生したオクルージョン領域を埋めるためのインペイント領域の画素値に、学習モデル結果を使用することができる。補完された映像は、平滑フィルタ１１４に出力される。

【0064】

平滑フィルタ１１４は、インペイント部１１３からの入力された映像に対して、フィルタ処理を行う。入力された映像は、ブロック統合処理やインペイント処理により、ブロックや領域の境界にノイズ（つなぎ目）を生じやすいが、平滑フィルタ処理によりこのノイズを除去することができる。この平滑フィルタ１１４の出力が、映像生成部１２の出力映像となる。

【0065】

このように、視点内挿で得られた映像のオクルージョン領域を埋めるためのインペイント領域の画素値に、学習モデル結果（機械学習による予測）を使用することにより、視点内挿映像の精度を向上させることができる。

【0066】

上記の実施の形態では、映像処理装置１０の構成と動作について説明したが、本発明はこれに限らず、機械学習を用いた映像の処理方法として構成されてもよい。

【0067】

なお、上述した映像処理装置１０として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、映像処理装置１０の各機能を実現する処理内容を記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。なお、このプログラムは、コンピュータ読取り可能な記録媒体に記録可能である。

【0068】

上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。

【符号の説明】

【0069】

１０ 映像処理装置
１１ 入力部
１２ 映像生成部
１３ 表示部
１０１ 周辺視点映像入力部
１０２ 前後フレーム映像入力部
１０３ 視点内挿部
１０４ アップサンプル部
１０５ ブロック分割部
１０６ 入力画像生成部
１０７ 対象視点フレーム入力部
１０８ ブロック分割部
１１０ 機械学習部
１１１ 視点内挿補正部
１１２ ブロック統合部
１１３ インペイント部
１１４ 平滑フィルタ

【図1】

【図2】

【図3】

【図4】

【図5】