特許 7364250 映像処理装置、映像処理方法、映像処理システム、および映像処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-10-10

(45)【発行日】2023-10-18

(54)【発明の名称】映像処理装置、映像処理方法、映像処理システム、および映像処理プログラム

(51)【国際特許分類】

   H04N 5/20 20060101AFI20231011BHJP

【ＦＩ】

H04N5/20

【請求項の数】 9

(21)【出願番号】P 2021113194

(22)【出願日】2021-07-07

(65)【公開番号】P2023009702

(43)【公開日】2023-01-20

【審査請求日】2022-11-09

(73)【特許権者】

【識別番号】000227205

【氏名又は名称】ＮＥＣプラットフォームズ株式会社

(74)【代理人】

【識別番号】100103894

【弁理士】

【氏名又は名称】家入 健

(72)【発明者】

【氏名】中村 紳一郎

【審査官】鈴木 肇

(56)【参考文献】

【文献】特表２０２１－５１０９６４（ＪＰ，Ａ）

【文献】特開２００６－２０３８４６（ＪＰ，Ａ）

【文献】米国特許第０５４０８２６７（ＵＳ，Ａ）

【文献】韓国公開特許第１０－２００４－００４８２００（ＫＲ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／１４－ ５／２１３

Ｈ０４Ｎ ２３／８０－２３／８２

Ｇ０６Ｔ １／００－ １／４０

Ｇ０６Ｔ ３／００－ ５／５０

(57)【特許請求の範囲】

【請求項1】

γを定数とし、Ｌを正規化した輝度信号とし、Ｖを正規化した映像信号として、下記（数式１）に基づいて映像信号を輝度信号に変換する第１の変換部と、
前記第１の変換部にて変換した輝度信号に対して映像処理を施す映像処理部と、
前記映像処理部にて映像処理を施した輝度信号を、下記（数式１）に基づいて映像信号に逆変換する第２の変換部と、
を備える映像処理装置。

【数1】

【請求項2】

前記第１の変換部は、
前記（数式１）に基づく映像信号を取得し、前記（数式１）に基づいて輝度信号に変換する、
請求項１に記載の映像処理装置。

【請求項3】

前記映像信号は放送用の映像信号である、
請求項１または２のいずれかに記載の映像処理装置。

【請求項4】

前記映像処理装置は、前記逆変換した映像信号を送信所に出力する、
請求項３に記載の映像処理装置。

【請求項5】

前記第１の変換部は、
前記（数式１）に基づいて第１の映像信号を第１の輝度信号に変換し、前記（数式１）に基づいて第２の映像信号を第２の輝度信号に変換し、
前記映像処理部は、
前記第１の輝度信号と前記第２の輝度信号とを合成する映像処理を施す、
請求項１から４のいずれか１項に記載の映像処理装置。

【請求項6】

映像信号を出力するカメラと、
映像処理装置と、
を備え、
前記映像処理装置は、
γを定数とし、Ｌを正規化した輝度信号とし、Ｖを正規化した映像信号として、下記（数式１）に基づいて前記映像信号を輝度信号に変換し、
前記変換した輝度信号に対して映像処理を施し、
前記映像処理を施した輝度信号を、下記（数式１）に基づいて映像信号に逆変換する、
映像処理システム。

【数2】

【請求項7】

前記カメラは、
前記（数式１）に基づく映像信号を出力する、
請求項６に記載の映像処理システム。

【請求項8】

コンピュータが、
γを定数とし、Ｌを正規化した輝度信号とし、Ｖを正規化した映像信号として、下記（数式１）に基づいて映像信号を輝度信号に変換し、
前記変換した輝度信号に対して映像処理を施し、
前記映像処理を施した輝度信号を、下記（数式１）に基づいて映像信号に逆変換する、
映像処理方法。

【数3】

【請求項9】

コンピュータに、
γを定数とし、Ｌを正規化した輝度信号とし、Ｖを正規化した映像信号として、下記（数式１）に基づいて映像信号を輝度信号に変換する処理と、
前記変換した輝度信号に対して映像処理を施す処理と、
前記映像処理を施した映像を、下記（数式１）に基づいて映像信号に逆変換する処理と、
を実行させる映像処理プログラム。

【数4】

【発明の詳細な説明】

【技術分野】

【0001】

本発明は映像処理装置、映像処理方法、映像処理システム、および映像処理プログラムに関し、映像信号に対して映像処理を施す技術に関する。

【背景技術】

【0002】

輝度信号と映像信号との対応関係は、ガンマカーブ等のダイナミックレンジカーブを用いて表現される。ダイナミックレンジカーブでは、映像信号の大部分が低輝度の信号に対して割り当てられている。ガンマカーブ等のダイナミックレンジカーブは、輝度信号をＬとすると、Ｌ＝０に漸近する特性を有している。

【0003】

適切に映像処理を行うためには、映像信号を輝度信号に変換した後に映像処理を施し、映像信号へ逆変換を行う必要がある。このような場合、Ｌ＝０に漸近するカーブを使用して映像信号の変換を行うと、低輝度領域での量子化誤差が大きくなるという問題がある。

【0004】

なお、特許文献１は、発光輝度特性が直線に近いディスプレイデバイスにおいて、ガンマ補正された映像を適切に逆変換する技術を開示している。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２００３－１６８１０９号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

上記の通り、映像処理を行ったときに低輝度領域での量子化誤差が大きくなるという問題があった。

【0007】

本発明は、このような問題を解決するためになされたものであり、低輝度領域における量子化誤差を小さくすることが可能な映像処理装置、映像処理方法、映像処理システム、および映像処理プログラムを提供することを目的とする。

【課題を解決するための手段】

【0008】

本発明にかかる映像処理装置は、γを定数とし、Ｌを正規化した輝度信号とし、Ｖを正規化した映像信号として、下記（数式１）に基づいて映像信号を輝度信号に変換する第１の変換部と、
前記第１の変換部にて変換した輝度信号に対して映像処理を施す映像処理部と、
前記映像処理部にて映像処理を施した輝度信号を、下記（数式１）に基づいて映像信号に逆変換する第２の変換部と、
を備える。

【数1】

【0009】

本発明にかかる映像処理システムは、
映像信号を出力するカメラと、
映像処理装置と、
を備え、
前記映像処理装置は、
γを定数とし、Ｌを正規化した輝度信号とし、Ｖを正規化した映像信号として、下記（数式１）に基づいて前記映像信号を輝度信号に変換し、
前記変換した輝度信号に対して映像処理を施し、
前記映像処理を施した輝度信号を、下記（数式１）に基づいて映像信号に逆変換する。

【数2】

【0010】

本発明にかかる映像処理方法は、
コンピュータが、
γを定数とし、Ｌを正規化した輝度信号とし、Ｖを正規化した映像信号として、下記（数式１）に基づいて映像信号を輝度信号に変換し、
前記変換した輝度信号に対して映像処理を施し、
前記映像処理を施した輝度信号を、下記（数式１）に基づいて映像信号に逆変換する。

【数3】

【0011】

本発明にかかる映像処理プログラムは、
コンピュータに、
γを定数とし、Ｌを正規化した輝度信号とし、Ｖを正規化した映像信号として、下記（数式１）に基づいて映像信号を輝度信号に変換する処理と、
前記変換した輝度信号に対して映像処理を施す処理と、
前記映像処理を施した映像を、下記（数式１）に基づいて映像信号に変換する処理と、
を実行させる。

【数4】

【発明の効果】

【0012】

本発明によると、低輝度領域での量子化誤差を小さくすることが可能な映像処理装置、映像処理システム、映像処理方法、および映像処理プログラムを提供できる。

【図面の簡単な説明】

【0013】

【図1】実施形態１にかかる映像処理装置の構成を示すブロック図である。

【図2】実施形態１にかかる映像処理装置が使用するダイナミックレンジカーブを示すグラフである。

【図3】実施形態２にかかる映像処理システムの構成を示すブロック図である。

【図4】実施形態２にかかる映像処理装置における処理の流れの例を模式的に示す概略図である。

【図5】関連技術にかかる映像処理装置における低輝度領域での量子化誤差を示す概略図である。

【図6】実施形態２にかかる映像処理装置における低輝度領域での量子化誤差を示す概略図である。

【発明を実施するための形態】

【0014】

実施形態1
以下、図面を参照して本発明の実施の形態について説明する。図１は、実施形態１にかかる映像処理装置１の構成を示すブロック図である。映像処理装置１は、第１変換部１１、映像処理部１２、および第２変換部１３を備える。

【0015】

映像処理装置１は、映像信号に対して映像処理を行う装置である。映像信号は、例えばＲＧＢ（Ｒｅｄ Ｇｒｅｅｎ Ｂｌｕｅ）信号であってもよく、色差信号であってもよい。映像信号と、もとの輝度信号との関係は、ダイナミックレンジカーブを用いて表現される。

【0016】

例えば、放送機器で主流のＳＤＩ（Ｓｅｒｉａｌ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）方式では、映像信号は１０ｂｉｔで表現される。一方、ヒトの目のダイナミックレンジは８０～１００ｄＢ程度であり、１３～１７ｂｉｔの信号に相当する。したがって、輝度信号を単純に量子化すると低輝度信号はほとんど０に丸められてしまう。そこで、ガンマカーブ等のダイナミックレンジカーブを用いた変換が行われている。

【0017】

（数式２）は、ガンマ補正で用いられるダイナミックレンジカーブ（ガンマカーブとも称される）を表しており、ここでγはガンマ定数を表している。Ｖは［０，１］に正規化された映像信号を表しており、Ｌは[０，１]に正規化された輝度信号を表している。

【数5】

【0018】

また、（数式３）は、Ｈｙｂｒｉｄ Ｌｏｇ－Ｇａｍｍａ方式で用いられるダイナミックレンジカーブを表しており、ここでａ、ｂ、ｃは定数である。

【数6】

【0019】

また、映像信号と、もとの輝度信号との対応関係は、（数式１）に示すダイナミックレンジカーブを用いて表されてもよい。ここで、γは定数である。γは、（数式２）で用いられているガンマ定数に対応している。なお、後述するように、（数式１）は、第１変換部１１および第２変換部１３で用いられるダイナミックレンジカーブを表している。

【数7】

【0020】

もちろん、映像信号と、もとの輝度信号との対応関係は、（数式１）、（数式２）、および（数式３）に限定されるわけではない。映像処理装置１は、任意のダイナミックレンジカーブに基づく映像信号に対して映像処理を施すことができる。

【0021】

映像処理装置１の第１変換部１１は、γを定数とし、Ｌを正規化した輝度信号とし、Ｖを正規化した映像信号として、（数式１）に基づいて映像信号を輝度信号に変換する。以下では、映像信号を輝度信号に変換する処理を変換と称し、輝度信号を映像信号に変換する処理を逆変換と称する場合がある。

【0022】

輝度信号への変換を行うために、定数γは適切に選択されている必要がある。定数γは、例えば、ガンマ補正のガンマ定数と同じ値に設定されていてもよい。第１変換部１１は、例えば、（数式１）に対応するルックアップテーブルを用いて、映像信号を輝度信号に変換してもよい。第１変換部は、映像信号を正規化してから変換を行う必要はない。

【0023】

（数式２）および（数式３）は、冪乗に関連する変換を行っていることによりＬ→０でＬ＝０に漸近する特性を有している。それに対し、（数式１）は、Ｌ→０でＶ＝γ＊Ｌに漸近する特性を有している。したがって、映像処理装置１は、低輝度領域での量子化誤差を小さくすることができる。以下、この点についてグラフを参照して説明する。

【0024】

図２の横軸は、正規化された輝度信号Ｌの大きさを表している。縦軸は、正規化された映像信号Ｖの大きさを表している。曲線２１は、γ＝２．４として、（数式１）で表現されるダイナミックレンジカーブを示している。直線２２は、曲線２１がＬ→０で漸近する直線Ｖ＝γ＊Ｌを示している。また、曲線２３は、（数式２）で表現されるダイナミックレンジカーブを示している。

【0025】

曲線２３は、Ｌ→０でＬ＝０に漸近している。したがって、曲線２３を用いて映像信号を輝度信号に変換した場合、低輝度に対応する映像信号がつぶれてしまう（つまり、Ｌ＝０に変換されてしまう）。これにより、関連する映像処理方法では、量子化誤差が大きくなる。Ｈｙｂｒｉｄ Ｌｏｇ－Ｇａｍｍａ方式や、その他の方式を用いた関連技術でも同様である。一方、実施形態１にかかる映像処理方法では、曲線２１を用いて映像信号を変換するため、量子化誤差を小さくできる。

【0026】

なお、もとの輝度信号と、映像信号との対応関係が（数式１）で表される場合、第１変換部１１は、映像信号を、もとの輝度信号へ変換できる。したがって、後述する映像処理部１２は、映像処理をより適切に施すことができる。それ以外の場合には、第１変換部１１によって変換された輝度信号は、もとの輝度信号と完全に一致するわけではない。しかし、このような場合も、もとの輝度信号に近い信号を用いた適切な映像処理が可能であり、また、量子化誤差を小さくすることも可能である。

【0027】

図１に戻って、映像処理部１２は、第１変換部１１にて変換した輝度信号に対して映像処理を施す。映像処理部１２は、例えば、クロマキー合成等の合成処理や、解像度の変換処理や、Ｉ／Ｐ（Ｉｎｔｅｒｌａｃｅ／Ｐｒｏｇｒｅｓｓｉｖｅ）変換処理を行ってもよい。映像処理部１２は、例えば、映像処理装置１を操作するユーザの入力に応じて映像処理を行ってもよい。

【0028】

第２変換部１３は、映像処理部１２にて映像処理を施した輝度信号を、（数式１）に基づいて映像信号に逆変換する。これにより、第２変換部１３は、映像処理が施された映像信号を生成できる。第２変換部１３は、例えば（数式１）に対応するルックアップテーブルを用いて逆変換を行ってもよい。

【0029】

実施形態１にかかる映像処理装置１は、映像信号の変換（つまり、映像信号→輝度信号→映像信号の変換および逆変換）において、低輝度領域で線形な特性を有するダイナミックレンジカーブを使用する。したがって、映像処理装置１は、低輝度領域における量子化誤差を小さくすることができる。

【0030】

なお、映像処理装置１は、図示しない構成としてプロセッサ、メモリ、および記憶装置を備える。また、当該記憶装置には、実施形態１にかかる映像処理方法の処理が実装されたコンピュータプログラムが記憶されている。そして、当該プロセッサは、記憶装置からコンピュータプログラムを前記メモリへ読み込ませ、当該コンピュータプログラムを実行する。これにより、前記プロセッサは、第１変換部１１、映像処理部１２、および第２変換部１３の機能を実現する。

【0031】

または、第１変換部１１、映像処理部１２、および第２変換部１３は、それぞれが専用のハードウェアで実現されていてもよい。また、各構成要素の一部または全部は、汎用または専用の回路、プロセッサ等やこれらの組合せによって実現されてもよい。これらは単一のチップによって構成されてもよいし、バスを介して接続された複数のチップによって構成されてもよい。また、プロセッサとして、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、量子プロセッサ（量子コンピュータ制御チップ）等を用いることができる。

【0032】

また、映像処理装置１００の各構成要素の一部または全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は、集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。また、映像処理装置１の機能がＳａａＳ（Ｓｏｆｔｗａｒｅ ａｓ ａ Ｓｅｒｖｉｃｅ）形式で提供されてもよい。

【0033】

実施形態２
実施形態２は、上述した実施形態１の具体例である。実施形態２にかかる映像処理装置は、放送用の映像信号に対して映像処理を行う。放送用の映像は、高い品質が要求される場合が多く、低輝度領域における量子化誤差を小さくすることが特に望まれている。

【0034】

図３は、実施形態２にかかる映像処理システム１０００の構成を示すブロック図である。映像処理システム１０００は、送出される映像を高い精度で調整するマスターシステムに含まれていてもよい。映像処理システム１０００は、映像処理装置１００、カメラ２００、および送信所３００を備えている。カメラ２００は、放送用の映像を撮像し、シリアルデジタルインタフェース（ＳＤＩ）を介して映像信号を映像処理装置１００に出力する。ここで、カメラ２００は、例えば（数式１）に基づく映像信号を出力していてもよい。送信所３００は、映像信号に基づき電波を送信するための電気設備を備えている。

【0035】

映像処理装置１００は、上述した映像処理装置１の具体例である。映像処理装置１００は、入力装置１１０、第１変換部１２０、映像処理部１３０、および第２変換部１４０を備えている。映像処理装置１００は、例えば放送局内のマスター室に設置されていてもよい。入力装置１１０は、ユーザが入力を行うためのハードウェアであり、例えばマウスやキーボードであってもよい。

【0036】

第１変換部１２０は、上述した第１変換部１１の具体例である。第１変換部１２０は、カメラ２００から映像信号を取得し、（数式１）に基づき映像信号を輝度信号に変換する。映像処理部１３０は、上述した映像処理部１２の具体例である。映像処理部１３０は、入力装置１１０への入力に基づき、第１変換部１２０が変換した輝度信号に対して映像処理を施す。第２変換部１４０は、上述した第２変換部１３の具体例である。第２変換部１４０は、映像処理が施された輝度信号を（数式１）に基づいて映像信号に逆変換する。映像処理装置１００は、逆変換した映像信号を送信所３００に出力してもよい。

【0037】

次に、図４を参照して、映像処理装置１００が映像処理を行う流れについて具体的に説明する。図４は、背景映像に人物映像を合成する処理を模式的に示す概略図である。例えば、ニュース番組等では、キャスターの映像と、背景映像とを合成することがよく行われている。

【0038】

このような場合、まず、第１変換部１２０は、（数式１）に基づいて背景映像（第１の映像信号とも称される）を変換し、輝度信号Ｌ１を出力する（ステップＳ１０１）。また、第１変換部１２０は、（数式１）に基づいて人物映像（第２の映像信号とも称される）を変換し、輝度信号Ｌ２を出力する（ステップＳ１０２）。そして、映像処理部１３０は、ユーザの入力に応じて、輝度信号Ｌ１と輝度信号Ｌ２とを合成する合成処理を施し、合成映像である輝度信号Ｌ３を出力する（ステップＳ１０３）。最後に、第２変換部１４０は、輝度信号Ｌ３を（数式１）に基づいて逆変換する（ステップＳ１０４）。なお、図４の輝度信号Ｌ１、Ｌ２およびＬ３は、正規化した信号でなくてもよい。

【0039】

次に、図５および図６を参照して、量子化誤差の大きさの評価結果について説明する。図５は（数式２）を用いて映像変換した場合の量子化誤差の大きさを示す概略図であり、図６は（数式１）を用いて映像変換した場合の量子化誤差の大きさを示す概略図である。ここで、定数γ＝２．４とし、映像信号および輝度信号の精度を８７６として評価を行っている。

【0040】

量子化誤差を評価するため、映像処理を行わず、映像の変換および逆変換のみを行うケースを検討した。評価では、輝度信号や映像信号を正規化し数式を用いて計算した。しかし、上述の通り、実施形態では、正規化や数式による計算を行わなくてもよい。以下では、図５および図６に示す映像信号空間１、輝度信号空間、および映像信号空間２のそれぞれに含まれている信号について順番に説明する。

【0041】

まず、映像信号空間１の原信号Ｄｖ１および映像信号Ｖ１について説明する。原信号Ｄｖ１は、映像信号を表すデジタル信号である。原信号Ｄｖ１が取り得る値のうち、低輝度領域として０から２０までの範囲について検討を行っている。映像信号Ｖ１は、原信号Ｄｖ１を［０，１］に正規化したものを表している。

【0042】

次に、輝度信号空間の輝度信号Ｌ、および量子化信号Ｄｌ（ｌはエルを表している）について説明する。図５の輝度信号Ｌは、（数式２）に基づき映像信号Ｖ１を変換したものを表している。図６の輝度信号Ｌは、（数式１）に基づき映像信号Ｖ１を変換したものを表している。量子化信号Ｄｌは、輝度信号Ｌをデジタル信号として表したものを示している。（数式２）を用いた場合、輝度信号Ｌおよび量子化信号Ｄｌは全て０となっているのに対し、（数式１）を用いた場合、輝度信号Ｌおよび量子化信号Ｄｌは０になっていないことがわかる。

【0043】

次に、映像信号空間２の映像信号Ｖ２、量子化信号Ｄｖ２、および誤差について説明する。図５の映像信号Ｖ２は、量子化信号Ｄｌを正規化した後、（数式２）に基づき逆変換した映像信号を表している。図６の映像信号Ｖ２は、量子化信号Ｄｌを正規化した後、（数式１）に基づき逆変換した映像信号を表している。量子化信号Ｄｖ２は、映像信号Ｖ２をデジタル信号として表したものを示している。誤差は、原信号Ｄｖ１と量子化信号Ｄｖ２との差分を示しており、映像信号の変換および逆変換に伴う量子化誤差を表している。関連技術を用いた場合、図５に示されるように、最大で２０程度の量子化誤差が生じる。一方、（数式１）を用いた場合、誤差は最大でも１程度に抑えられている。よって、実施形態２にかかる映像処理装置を用いることにより、低輝度領域における量子化誤差を小さくできることがわかる。

【0044】

なお、上述の実施形態では、ハードウェアの構成として説明したが、これに限定されるものではない。本開示は、任意の処理を、ＣＰＵにコンピュータプログラムを実行させることにより実現することも可能である。

【0045】

上述の例において、プログラムは、コンピュータに読み込まれた場合に、実施形態で説明された１又はそれ以上の機能をコンピュータに行わせるための命令群（又はソフトウェアコード）を含む。プログラムは、非一時的なコンピュータ可読媒体又は実体のある記憶媒体に格納されてもよい。限定ではなく例として、コンピュータ可読媒体又は実体のある記憶媒体は、random-access memory（RAM）、read-only memory（ROM）、フラッシュメモリ、solid-state drive（SSD）又はその他のメモリ技術、CD-ROM、digital versatile disc（DVD）、Blu-ray（登録商標）ディスク又はその他の光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ又はその他の磁気ストレージデバイスを含む。プログラムは、一時的なコンピュータ可読媒体又は通信媒体上で送信されてもよい。限定ではなく例として、一時的なコンピュータ可読媒体又は通信媒体は、電気的、光学的、音響的、またはその他の形式の伝搬信号を含む。

【0046】

なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。

【符号の説明】

【0047】

１ 映像処理装置
１１ 第１変換部
１２ 映像処理部
１３ 第２変換部
１００ 映像処理装置
１１０ 入力装置
１２０ 第１変換部
１３０ 映像処理部
１４０ 第２変換部
２００ カメラ
３００ 送信所
１０００ 映像処理システム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】