IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 日本放送協会の特許一覧

<>
  • 特開-映像観視装置およびプログラム 図1
  • 特開-映像観視装置およびプログラム 図2
  • 特開-映像観視装置およびプログラム 図3
  • 特開-映像観視装置およびプログラム 図4
  • 特開-映像観視装置およびプログラム 図5
  • 特開-映像観視装置およびプログラム 図6
  • 特開-映像観視装置およびプログラム 図7
  • 特開-映像観視装置およびプログラム 図8
  • 特開-映像観視装置およびプログラム 図9
  • 特開-映像観視装置およびプログラム 図10
  • 特開-映像観視装置およびプログラム 図11
  • 特開-映像観視装置およびプログラム 図12
  • 特開-映像観視装置およびプログラム 図13
  • 特開-映像観視装置およびプログラム 図14
  • 特開-映像観視装置およびプログラム 図15
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023132983
(43)【公開日】2023-09-22
(54)【発明の名称】映像観視装置およびプログラム
(51)【国際特許分類】
   H04N 23/60 20230101AFI20230914BHJP
   H04N 5/262 20060101ALI20230914BHJP
   H04N 5/222 20060101ALI20230914BHJP
【FI】
H04N5/232 290
H04N5/262
H04N5/222
【審査請求】未請求
【請求項の数】9
【出願形態】OL
(21)【出願番号】P 2022038617
(22)【出願日】2022-03-11
(71)【出願人】
【識別番号】000004352
【氏名又は名称】日本放送協会
(74)【代理人】
【識別番号】100141139
【弁理士】
【氏名又は名称】及川 周
(74)【代理人】
【識別番号】100171446
【弁理士】
【氏名又は名称】高田 尚幸
(74)【代理人】
【識別番号】100114937
【弁理士】
【氏名又は名称】松本 裕幸
(74)【代理人】
【識別番号】100171930
【弁理士】
【氏名又は名称】木下 郁一郎
(72)【発明者】
【氏名】野村 光佑
【テーマコード(参考)】
5C023
5C122
【Fターム(参考)】
5C023AA01
5C023AA38
5C023BA01
5C023CA01
5C122DA02
5C122DA03
5C122DA41
5C122EA06
5C122EA47
5C122FH02
5C122FH10
5C122FH22
5C122FK23
5C122FK24
5C122FK28
5C122HA13
5C122HA35
5C122HA88
5C122HB05
5C122HB06
5C122HB09
5C122HB10
(57)【要約】
【課題】映像の色域を変換する際に特定色補正処理が加えられる場合、どの部分に特定色補正処理が適用されるかをユーザーが容易に確認でるようにする。
【解決手段】映像観視装置は、特定色補正判定処理部と表示部とを備える。特定色補正判定処理部は、入力される画像に含まれる画素の色が、画像内において所定の条件に合う色の画素の彩度を補正するための補正ファクターを求め、求められた補正ファクターの値に基づいて、前記画素が補正対象であるか否かを判定するとともに、補正対象ではない前記画素の画素値をグレースケールの画素値に変換する。表示部は、前記特定色補正判定処理部が出力する画像を表示する。
【選択図】図1
【特許請求の範囲】
【請求項1】
入力される画像に含まれる画素の色が、画像内において所定の条件に合う色の画素の彩度を補正するための補正ファクターfcorを求め、求められた補正ファクターfcorの値に基づいて、前記画素が補正対象であるか否かを判定するとともに、補正対象ではない前記画素の画素値をグレースケールの画素値に変換する特定色補正判定処理部と、
前記特定色補正判定処理部が出力する画像を表示する表示部と、
を具備する映像観視装置。
【請求項2】
前記特定色補正判定処理部は、前記画素の明度の変化に対応して連続的に変化する前記補正ファクターfcorであって、且つ前記画素の色相角の変化に対応して連続的に変化する前記補正ファクターfcor、を求める、
請求項1に記載の映像観視装置。
【請求項3】
前記特定色補正判定処理部は、補正対象ではない前記画素の色が明度と色相角と彩度とで表わされる場合の彩度をゼロに変更する、
請求項1に記載の映像観視装置。
【請求項4】
前記特定色補正判定処理部は、
前記補正ファクターfcorの値が当該画素の彩度を補正しないことを表す場合には当該画素の彩度をゼロに変更するとともに、
前記補正ファクターfcorの値が当該画素の彩度を補正することを表す場合には当該画素の彩度を変更しない、
請求項3に記載の映像観視装置。
【請求項5】
前記補正ファクターfcorは、前記画素の彩度を低下させる作用を有するものであり、
前記特定色補正判定処理部は、さらに、補正により前記画素の彩度を低下させる度合いが所定の閾値よりも低い場合にも当該画素の彩度をゼロに変更する、
請求項3に記載の映像観視装置。
【請求項6】
前記画像内における、前記特定色補正判定処理部によって補正対象の画素であると判定された画素についての、最大レベルと平均レベルの少なくともどちらかの数値を算出する平均・最大レベル算出部、
をさらに備え、
前記表示部は、さらに、前記平均・最大レベル算出部が算出した最大レベルと平均レベルの少なくともどちらかの数値を表示する、
請求項1に記載の映像観視装置。
【請求項7】
前記画像の色域を判定する色域判定処理部と、
判定結果である前記色域に基づいて、前記画像に含まれる色を所定の色空間における座標を表すベクトルデータに変換するベクトルデータ変換部と、
判定結果である前記色域に基づいて、基準色の前記所定の色空間における座標値を選択する基準色座標選択部と、
前記ベクトルデータ変換部による変換結果であるベクトルデータが表す画像と、前記基準色座標選択部によって選択された座標値が表す位置を示す印とを、重ねた画像を合成する画像合成処理部と、
前記特定色補正判定処理部が出力する画像と、画像合成処理部が出力する画像と、のどちらを表示させるかを選択する画像選択部と、
をさらに備え、
前記表示部は、前記画像選択部によって選択された側の画像を表示する、
請求項1に記載の映像観視装置。
【請求項8】
前記基準色は、75%ハイブリッド・ログ・ガンマ(HLG)および100%ハイブリッド・ログ・ガンマ(HLG)のそれぞれの、赤(R)と緑(G)と青(B)とシアン(C)とマゼンタ(M)と黄(Y)である、
請求項7に記載の映像観視装置。
【請求項9】
入力される画像に含まれる画素の色が、画像内において所定の条件に合う色の画素の彩度を補正するための補正ファクターfcorを求め、求められた補正ファクターfcorの値に基づいて、前記画素が補正対象であるか否かを判定するとともに、補正対象ではない前記画素の画素値をグレースケールの画素値に変換する特定色補正判定処理、
を具備する映像観視装置、としてコンピューターを機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、映像観視装置およびプログラムに関する。
【背景技術】
【0002】
HDR/広色域番組をSDR/標準色域番組としてハイビジョン放送で放送するためにはHDRからSDRへのダイナミックレンジの変換と色域変換が必要となる。なお、「HDR」は、ハイ・ダイナミック・レンジ(High Dynamic Range)の略である。また、「SDR」は、スタンダード・ダイナミック・レンジ(Standard Dynamic Range)の略である。
【0003】
生放送番組の場合には、放送用カメラからの出力をHDRとSDRとに分岐させ、それぞれの映像信号をビデオエンジニア(VE)が観視するようにする。これにより、HDR/広色域番組とSDR/標準色域番組とが同時に制作される。
【0004】
その際に、ビデオエンジニアは、HDR/広色域の映像信号とSDR/標準色域の映像信号とを、映像信号監視装置のWFM(Waveform Monitor,波形モニター)やベクトルスコープなどを活用して映像信号を管理している。
【0005】
例えば、特許文献1には、HLG(ハイブリッド・ログ・ガンマ)映像とSDR映像との間での変換処理について記載されている。
【0006】
また、従来技術では、明度と色相角と彩度とで構成される色空間において、肌色を抽出するために明度と色相角の範囲を特定する手法があった。
【0007】
例えば、非特許文献1では、明度と色相角の範囲に基づいて肌色を抽出している。
【先行技術文献】
【特許文献】
【0008】
【特許文献1】特開2020-025241号公報
【非特許文献】
【0009】
【非特許文献1】Recommendation ITU-R BT.2020-2 “Parameter values for ultra-high definition television systems for production and international programme exchange”.
【発明の概要】
【発明が解決しようとする課題】
【0010】
従来技術(例えば、非特許文献1)では、明度と色相角の範囲のみで肌色を抽出していたため、肌色と知覚されない彩度の高い色も肌色として抽出されてしまうという問題があった。明度と色相角の範囲のみで特定色を抽出方法ではなく、より適切な方法で特定色を抽出することが望まれる。
【0011】
また、ベクトルスコープでは色空間ごとにRGBCYMの6色の座標位置が決まっている。カラーバーなどのテストパターンの入力信号を入力した際に、入力された信号におけるRGBCYMの6色がその座標に位置するかどうかによりその信号が正しいか否かを判定できる。なお、RGBCYMは、それぞれ、赤(red)、緑(green)、青(blue)、シアン(cyan)、黄(yellow)、マゼンタ(magenta)を表す。
【0012】
一方で、上記のHDR/広色域番組とSDR/標準色域番組の同時制作において、SDR/標準色域番組をHDR/広色域番組からの映像変換によって制作する場合には、次のような問題があった。即ち、RGBCYMの6色は、変換アルゴリズムの違いによって、ベクトルスコープ内に事前に用意された座標位置とは異なるという問題があった。
【0013】
つまり、第1の課題は、SDR/標準色域番組の映像を、HDR/広色域番組の映像からのダイナミックレンジ変換および色域変換によって制作する場合に、想定している変換アルゴリズムが正しく適用されているかを判定できないということである。
【0014】
また、HDR/広色域映像信号用の映像観視装置において、HDRからSDRへのダイナミックレンジの変換と色域変換の際に、肌色補正処理を加える場合には、その肌色補正処理が適用される肌色がどの部分であるかを映像観視装置のピクチャー画面で確認することはできないという問題がある。
【0015】
非特許文献1に記載されているような明度と色相角の範囲のみで肌色を抽出する手法では、本来は肌色と知覚されない彩度の高い色も肌色として抽出されてしまうという問題があった。
【0016】
つまり、第2の課題は、映像の変換処理において特定色補正処理が加えられる場合、HDR/広色域映像信号のうち、どの部分に特定色補正処理が適用されるかを確認できないということである。
【0017】
本発明は、上記の課題認識に基づいて行なわれたものであり、上記の第1の課題および第2の課題のうちの、少なくともいずれかの課題を解決することのできる映像観視装置およびプログラムを提供しようとするものである。
【課題を解決するための手段】
【0018】
[1]上記の課題を解決するため、本発明の一態様による映像観視装置は、入力される画像に含まれる画素の色が、画像内において所定の条件に合う色の画素の彩度を補正するための補正ファクターfcorを求め、求められた補正ファクターfcorの値に基づいて、前記画素が補正対象であるか否かを判定するとともに、補正対象ではない前記画素の画素値をグレースケールの画素値に変換する特定色補正判定処理部と、前記特定色補正判定処理部が出力する画像を表示する表示部と、を具備する。
【0019】
[2]また、本発明の一態様は、上記の映像観視装置(上の[1]に記載の映像観視装置)において、前記特定色補正判定処理部は、前記画素の明度の変化に対応して連続的に変化する前記補正ファクターfcorであって、且つ前記画素の色相角の変化に対応して連続的に変化する前記補正ファクターfcor、を求める、というものである。
【0020】
[3]また、本発明の一態様は、上記の映像観視装置(上の[1]または[2]に記載の映像観視装置)において、前記特定色補正判定処理部は、補正対象ではない前記画素の色が明度と色相角と彩度とで表わされる場合の彩度をゼロに変更する、というものである。
【0021】
[4]また、本発明の一態様は、上記の映像観視装置(上の[3]に記載の映像観視装置)において、前記特定色補正判定処理部は、前記補正ファクターfcorの値が当該画素の彩度を補正しないことを表す場合には当該画素の彩度をゼロに変更するとともに、前記補正ファクターfcorの値が当該画素の彩度を補正することを表す場合には当該画素の彩度を変更しない、というものである。
【0022】
[5]また、本発明の一態様は、上記の映像観視装置(上の[3]に記載の映像観視装置)において、前記補正ファクターfcorは、前記画素の彩度を低下させる作用を有するものであり、前記特定色補正判定処理部は、さらに、補正により前記画素の彩度を低下させる度合いが所定の閾値よりも低い場合にも当該画素の彩度をゼロに変更する、というものである。
【0023】
[6]また、本発明の一態様は、上記の映像観視装置(上の[1]から[5]までのいずれかに記載の映像観視装置)において、前記画像内における、前記特定色補正判定処理部によって補正対象の画素であると判定された画素についての、最大レベルと平均レベルの少なくともどちらかの数値を算出する平均・最大レベル算出部、をさらに備え、前記表示部は、さらに、前記平均・最大レベル算出部が算出した最大レベルと平均レベルの少なくともどちらかの数値を表示する、というものである。
【0024】
[7]また、本発明の一態様は、上記の映像観視装置(上の[1]から[6]までのいずれかに記載の映像観視装置)において、前記画像の色域を判定する色域判定処理部と、判定結果である前記色域に基づいて、前記画像に含まれる色を所定の色空間における座標を表すベクトルデータに変換するベクトルデータ変換部と、判定結果である前記色域に基づいて、基準色の前記所定の色空間における座標値を選択する基準色座標選択部と、前記ベクトルデータ変換部による変換結果であるベクトルデータが表す画像と、前記基準色座標選択部によって選択された座標値が表す位置を示す印とを、重ねた画像を合成する画像合成処理部と、前記特定色補正判定処理部が出力する画像と、画像合成処理部が出力する画像と、のどちらを表示させるかを選択する画像選択部と、をさらに備え、前記表示部は、前記画像選択部によって選択された側の画像を表示する、ものである。
【0025】
[8]また、本発明の一態様は、上記の映像観視装置(上の[7]に記載の映像観視装置)において、前記基準色は、75%ハイブリッド・ログ・ガンマ(HLG)および100%ハイブリッド・ログ・ガンマ(HLG)のそれぞれの、赤(R)と緑(G)と青(B)とシアン(C)とマゼンタ(M)と黄(Y)である、というものである。
【0026】
[9]また、本発明の一態様は、入力される画像に含まれる画素の色が、画像内において所定の条件に合う色の画素の彩度を補正するための補正ファクターfcorを求め、求められた補正ファクターfcorの値に基づいて、前記画素が補正対象であるか否かを判定するとともに、補正対象ではない前記画素の画素値をグレースケールの画素値に変換する特定色補正判定処理部、を具備する映像観視装置、としてコンピューターを機能させるプログラムである。
【発明の効果】
【0027】
本発明によれば、映像観視装置は、画像内の彩度の補正の対象ではない領域をグレースケールで表示する。このため、映像観視装置のユーザーは、表示される画像を見て、補正対象の領域とその他の領域とを容易に区別することができる。
【図面の簡単な説明】
【0028】
図1】本発明の実施形態による映像観視装置の概略機能構成を示すブロック図である。
図2】同実施形態におけるピクチャー画像生成部の内部の機能構成を示すブロック図である。
図3】同実施形態における特定色補正適用領域抽出部の内部の機能構成を示すブロック図である。
図4】同実施形態による映像観視装置がCIELAB色空間において肌色として抽出すべき範囲を示す概略図である。
図5】同実施形態におけるベクトル画像生成部の内部の機能構成を示すブロック図である。
図6】同実施形態による映像観視装置が表示するベクトルスコープ図の例を示す概略図(広色域(BT.2020)の場合)である。
図7】同実施形態による映像観視装置が表示するベクトルスコープ図の例を示す概略図(標準色域(BT.709)の場合)である。
図8】同実施形態が前提とする画像補正処理における色相角habと明度関数値L* との関係を示すグラフの一例である。
図9】同実施形態が前提とする画像補正処理における色相角habと彩度補正パラメーター関数値σとの関係を示すグラフの一例である。
図10】同実施形態が前提とする画像補正処理における明度Lと彩度補正パラメーターσとの関係を示すグラフの例である。
図11】同実施形態による画像補正処理において、彩度が高くなるほど肌色の補正処理を効きにくくする作用を持つ減少関数の入出力関係の一例を示すグラフである。
図12】同実施形態の映像観視装置をコンピューターで実現する場合の内部構成の一例を示すブロック図である。
図13】同実施形態における特定色補正判定処理部が抽出する特定色補正対象の領域を表す画像(二値画像)の例を示す概略図である。
図14】同実施形態における特定色補正判定処理部が、特定色補正対象となる領域のみの色彩を残し、その他の領域をグレースケール化した画像の例を示す概略図である。
図15】同実施形態におけるベクトル画像生成部が、HDR/広色域映像信号からSDR/標準色域映像信号への変換の際に出力するベクトルスコープにおける各色(基準色)の座標を示す概略図である。
【発明を実施するための形態】
【0029】
次に、本発明の一実施形態について、図面を参照しながら説明する。
【0030】
前述の通り、SDR/標準色域番組の映像を、HDR/広色域番組の映像からのダイナミックレンジ変換および色域変換によって制作する場合に、想定している変換アルゴリズムが正しく適用されているかを判定できないという課題がある。本実施形態は、想定している変換アルゴリズムによるベクトルスコープの座標を映像観視装置に表示できるようにすることで、この課題を解決する。
【0031】
また、変換処理に特定色(例えば肌色)補正処理が加えられる場合、HDR/広色域映像信号のうち、どの部分に肌色補正処理が適用されるかが確認できないという課題がある。本実施形態は、特定色補正処理が適用される部分のみをカラー表示し、適用されない部分をグレースケール表示(白、黒およびその中間色での表示)できるようにすることで上記の課題を解決する。さらに、本実施形態は、肌色領域のみを抽出し、平均肌レベルや最大肌レベルを数値データで表示可能にする。
【0032】
なお、本実施形態において特定色とは、明度、色相角、および彩度で表わされる3次元の空間における所定の範囲の色である。特定色とは、例えば、肌色である。肌色は、ペールオレンジとも呼ばれる色であり、東アジア地域に多く見られる人の肌の色の呼び方の一つである。本実施形態における特定色補正の具体例は、肌色補正である。特定色補正処理の手順等の例については、後で説明する。
【0033】
本実施形態による映像観視装置が処理対象とする映像は、時間方向に並んだ連続するフレーム画像である。つまり、映像観視装置による映像の処理は、これら各々のフレーム画像についての処理に還元される。以下の説明において、RGB信号とは、R(赤)、G(緑)、およびB(青)を独立させた形で画像(映像)を表す信号である。また、CIELAB信号は、国際照明委員会(CIE)が策定した色空間に沿った画像(映像)の信号である。Lは明度を表し、aはマゼンタと緑との間の位置を表し、bは黄色と青との間の位置を表す。また、YC映像信号は、YCの色空間に沿った画像(映像)の信号である。Yは輝度を表し、CおよびCは色差を表す。
【0034】
図1は、本実施形態による映像観視装置の概略機能構成を示すブロック図である。図示するように、映像観視装置100は、ピクチャー画像生成部1と、ベクトル画像生成部2と、画像選択部3と、表示部4と、制御部5と、を含んで構成される。本実施形態の映像観視装置の少なくとも一部の機能は、例えば、コンピューターと、プログラムとで実現することが可能である。また、各部は、必要に応じて、記憶手段を有する。記憶手段は、例えば、プログラム上の変数や、プログラムの実行によりアロケーションされるメモリーである。また、必要に応じて、磁気ハードディスク装置やソリッドステートドライブ(SSD)といった不揮発性の記憶手段を用いるようにしてもよい。また、各部の少なくとも一部の機能を、プログラムではなく専用の電子回路として実現してもよい。
【0035】
映像観視装置100は、ピクチャー画像生成部1が生成するピクチャー画像を表示することができる。このピクチャー画像は、画像内の、特定色の補正対象である領域と補正対象ではない領域とが一目でわかるように区別して表示できるようにした画像である。また、映像観視装置100は、ベクトル画像生成部2が生成するベクトル画像を表示することができる。このベクトル画像は、入力画像の色域に応じて、基準色に対応するベクトル座標の位置を所定式域内の平面に視覚的に示すための画像である。基準色は、例えば、75%HLGおよび100%HLGのそれぞれの、赤(R)と緑(G)と青(B)とシアン(C)とマゼンタ(M)と黄(Y)であってよい。映像観視装置100は、ピクチャー画像とベクトル画像のいずれかの画像を選択して表示することができる。
【0036】
ピクチャー画像生成部1は、映像信号の変換を行って、変換後の映像信号を出力する。なお、ここでの変換は、特定色の補正処理が適用されない領域の画像をグレースケール画像に変換する処理を含む。また、ピクチャー画像生成部1は、特定色の補正処理が適用される領域についての平均レベル(平均明度。以下においても同様。)と最大レベル(最大明度。以下においても同様。)の数値を求め、それらの数値の情報を表示部4に渡す。
【0037】
ピクチャー画像生成部1の具体的な処理内容は、次の通りである。即ち、ピクチャー画像生成部1は、入力される映像について、その色域を判定する。ピクチャー画像生成部1は、判定結果である色域に応じたマトリクス演算を行うことにより、入力映像信号(YC映像信号)をRGB映像信号に変換する。そして、ピクチャー画像生成部1は、得られたRGB信号をCIELAB映像信号に変換する。ピクチャー画像生成部1は、変換結果として得られたCIELAB映像信号の各フレーム画像について、特定色補正処理が適用される領域(例えば画素単位で)と適用されない領域(例えば画素単位で)とを判別する。ピクチャー画像生成部1は、フレーム画像内の特定色補正処理が適用されない領域について、色彩を除去(彩度をゼロに)して、グレースケール画像とする。なお、ピクチャー画像生成部1は、特定色補正処理が適用される領域については、色彩を維持する。また、ピクチャー画像生成部1は、上記の変換結果として得られたCIELAB映像信号の各フレーム画像について、特定色補正処理が適用される領域(即ち、特定色の領域)のみを抽出し、その領域の平均レベルと最大レベルの数値を求め、それらの数値の情報を表示部4に渡す。また、ピクチャー画像生成部1は、上記の特定色補正処理を行った後の映像の信号を、RGB映像信号に再変換する(色空間を戻す)。ピクチャー画像生成部1は、そのようにして得られた補正後のRGB映像信号を、画像選択部3に渡す。
【0038】
ベクトル画像生成部2は、入力される映像信号に対応するベクトル画像を生成し、出力する。
【0039】
ベクトル画像生成部2の具体的な処理内容は、次の通りである。即ち、ベクトル画像生成部2は、入力される映像信号の色域を判定する。そして、ベクトル画像生成部2は、入力された映像信号をベクトルデータに変換する。入力映像信号がRGB映像信号である場合は、上で判定された色域に対応するマトリクス演算を行うことにより、YC映像信号(即ち輝度と色彩の値として表わされる信号)に変換する。その結果、ベクトル画像生成部2は、上で判定された色域に応じて、入力映像信号に含まれる色に対応するベクトル座標値を決定する。なお、色域が標準色域である場合には、ベクトル画像生成部2は、標準色域と、広色域映像信号から変換された標準色域と、のいずれかを選択する。また、ベクトル画像生成部2は、ベクトル背景画像を生成する。なお、このベクトル背景画像は、予め記憶しておいた画像を記憶手段から読み出したものであってもよい。そして、ベクトル画像生成部2は、上で決定されたベクトル座標値に対応する点と、上記のベクトル背景画像と、を重畳することによって、入力映像信号のベクトルデータを描写する。
【0040】
画像選択部3は、制御部5からの制御信号に応じて、表示部4に渡す画面を選択する。具体的には、画像選択部3は、ピクチャー画像生成部1が生成する画像と、ベクトル画像生成部2が生成する画像と、のいずれかを選択して、選択された画面を表示部4が表示できるように渡す。言い換えれば、画像選択部3は、後述する特定色補正判定処理部132が出力する画像と、後述する画像合成処理部25が出力する画像と、のどちらを表示させるかを選択して出力する。
【0041】
表示部4は、画像選択部3から渡される画面(画像、映像)を表示する。つまり、表示部4は、画像選択部3によって選択された側の画像を表示する。つまり、表示部4は、ピクチャー画像生成部1(特定色補正判定処理部132)が出力する画像を表示する場合がある。また、表示部4は、ベクトル画像生成部2(画像合成処理部25)が出力する画像を生成する場合がある。また、表示部4は、さらに、平均・最大レベル算出部135(ピクチャー画像生成部1内の特定色補正適用領域抽出部13)が算出した最大レベルと平均レベルの少なくともどちらかの数値を表示するようにしてよい。表示部4は、この最大レベルと平均レベルの両方の数値を表示してもよい。表示部4は、例えば液晶ディスプレイ装置を備え、画面の表示を行う。
【0042】
制御部5は、映像観視装置100が持つ各部を制御するものである。具体的には、制御部5は、次に挙げるような制御を行う。
【0043】
制御部5は、ピクチャー画像生成部1内の画像切替部14を制御するための信号を出力する。つまり、画像切替部14は、制御部5からの信号に基づいて、入力映像をそのまま出力するか、特定色補正適用領域抽出部13が出力する映像(特定色補正適用領域のみがカラーで、他の領域はグレースケール化された映像)を出力するかを切り替える。
【0044】
また、制御部5は、ユーザーが設定したベクトル座標のデータを、後述するベクトル座標データ選択部23に渡すことができる。つまり、制御部5は、ベクトル座標データ選択部23のためのベクトル座標の設定を行うことができる。
【0045】
また、制御部5は、画像選択部3を制御する。即ち、画像選択部3は、制御部5から渡される制御信号に基づいて、ピクチャー画像生成部1から渡される画像と、ベクトル画像生成部2から渡される画像の、どちらかを選択して出力する。
【0046】
なお、制御部5は、映像観視装置100内における上で説明した事項以外の制御を行ってもよい。
【0047】
図2は、上述したピクチャー画像生成部1の内部の機能構成を示すブロック図である。図示するように、ピクチャー画像生成部1は、色域判定処理部11と、マトリクス変換部12と、特定色補正適用領域抽出部13と、画像切替部14と、を含んで構成される。
【0048】
色域判定処理部11は、入力映像信号の色空間を判定する。具体的には、色域判定処理部11は、映像信号に重畳されたアンシラリ領域の情報に基づいて、色空間を判定する。
映像信号は例えば広色域映像信号や標準色域映像信号であり、色域判定処理部11は、これらの色域を判別する。色域判定処理部11は、判定結果の色空間の情報を、マトリクス変換部12に渡す。また、色域判定処理部11は、映像信号を、マトリクス変換部12と画像切替部14とにそれぞれ渡す。
【0049】
マトリクス変換部12は、色域判定処理部11によって判定された入力映像信号の色空間に応じたマトリクス係数を用いて、YC映像信号をRGB映像信号に変換する。つまり、マトリクス変換部12は、色域判定処理部11によって判定された色域に応じて、変換のためのマトリクス係数を決定する。マトリクス変換部12は、色空間に対応したマトリクス係数を予め記憶しておいてよい。この変換のためのマトリクス係数としては、既知の値を用いてよい。入力信号が広色域映像信号の場合のマトリクス係数は、例えば、文献[Recommendation ITU-R BT.2020-2,“Parameter values for ultra-high definition television systems for production and international programme exchange”]に記載されている。入力信号が標準色域映像信号の場合のマトリクス係数は、例えば、文献[Recommendation ITU-R BT.709-6,“Parameter values for the HDTV standards for production and international programme exchange”]に記載されている。
【0050】
特定色補正適用領域抽出部13は、映像内の特定色補正処理が適用される領域をカラーとして、それ以外の特定色補正処理が適用されない領域の色彩を除去してグレースケール化する処理を行う。また、特定色補正適用領域抽出部13は、特定色領域のみを抽出して、特定色領域における平均レベル(明度)と最大レベル(明度)のそれぞれの数値データを算出する処理を行う。特定色補正適用領域抽出部13は、上記処理を行った後の映像(特定色補正処理を適用しない領域をグレースケール化した映像)を、画像切替部14に渡す。また、特定色補正適用領域抽出部13は、特定色領域における平均レベル(明度)と最大レベル(明度)のそれぞれの数値データを、表示部4に渡す。なお、特定色補正適用領域抽出部13のさらに詳細な機能構成については、後で図3を参照しながら説明する。
【0051】
なお、マトリクス変換部12と特定色補正適用領域抽出部13との処理は、色空間の判定結果に依存する。つまり、マトリクス変換部12は、色域判定処理部11から色空間の判定結果の情報を受け取る。入力映像信号が広色域映像信号の場合には、マトリクス変換部12と特定色補正適用領域抽出部13とは、それぞれ、上で説明した処理を行う。入力映像信号が広色域映像信号ではない場合には、マトリクス変換部12は、マトリクス変換部12と特定色補正適用領域抽出部13とのそれぞれの動作を行わないように制御する。
【0052】
画像切替部14は、色域判定処理部11から渡される入力映像信号と、特定色補正適用領域抽出部13から渡される映像信号とを切り替えて、それらのうちのいずれかの映像信号を表示部4に渡す。画像切替部14は、映像信号の切り替えを、例えば制御部5からの制御信号に基づいて行う。色域判定処理部11から渡される映像信号は、映像観視装置100に入力された映像信号である。特定色補正適用領域抽出部13から渡される映像信号は、マトリクス変換部12によるマトリクス変換を行って、特定色補正適用領域抽出部13が特定色補正処理の適用領域ではない領域をグレースケール化した画像である。制御部5は、例えばユーザーからの指示(選択)に基づいて、どちらかの映像信号選択するように、画像切替部14に対して制御信号を送信する。なお、前述の通り、入力映像信号が広色域映像信号ではない場合には、マトリクス変換部12および特定色補正適用領域抽出部13は動作しないため、画像切替部14は、常に色域判定処理部11から渡される入力映像信号を出力するようにしてよい。
【0053】
図3は、上述した特定色補正適用領域抽出部13の内部の機能構成を示すブロック図である。図示するように、特定色補正適用領域抽出部13は、色空間変換処理部131と、特定色補正判定処理部132と、色空間再変換処理部133と、特定色抽出部134と、平均・最大レベル算出部135と、を含んで構成される。
【0054】
色空間変換処理部131は、入力されるR′G′B′の映像信号を、HDR(ハイ・ダイナミック・レンジ)に対応したCIELAB空間の映像信号に変換する。色空間変換処理部131による色空間の変換の処理については、後で、「前提とする特定色補正処理の例」の一部として説明する。色空間変換処理部131は、変換後の信号を、特定色補正判定処理部132および特定色抽出部134に渡す。
【0055】
特定色補正判定処理部132は、色空間変換処理部131から渡される画像に含まれる各領域(例えば画素ごと)が、特定色についての補正処理の対象となる領域であるか否かを判定する。つまり、特定色補正判定処理部132は、補正処理の対象となる領域であるか否かを表す二値画像を出力する。この二値画像の例については、後で別の図面を参照しながら説明する。
【0056】
具体的には、特定色補正判定処理部132は、入力される画像に含まれる画素の色が、画像内において所定の条件に合う色の画素の彩度を補正するための補正ファクターfcorを求め、求められた補正ファクターfcorの値に基づいて、前記画素が補正対象であるか否かを判定するとともに、補正対象ではない前記画素の画素値をグレースケールの画素値に変換する。なお、特定色補正判定処理部132は、画素の明度の変化に対応して連続的に変化する補正ファクターfcorであって、且つ画素の色の色相角の変化に対応して連続的に変化する補正ファクターfcor、を求めるものであってよい。補正ファクターfcor(特に、補正対象の色が肌色の場合には、補正ファクターfcor,skin)の求め方については後で説明する。
【0057】
特定色の補正処理については、後で「前提とする特定色補正処理の例」として説明する。特定色補正判定処理部132は、この「前提とする特定色補正処理の例」における補正ファクターの値fcorに基づく判定を行う。なお、特定色は、例えば、肌色である。補正ファクターの値fcorは、下記の値fcor,skinと同じ値である。
【0058】
具体的には、特定色補正判定処理部132は、色空間変換処理部131から渡される映像信号について、肌色の彩度を補正する際の補正ファクターの値fcor,skinを算出する。この補正ファクターの値fcor,skinが1であることと、その領域(例えば、画素)は特定色補正適用領域ではないこととは、等価である。
【0059】
そこで、特定色補正判定処理部132は、まず特定色補正処理を行う場合と同様の方法で補正ファクターfcor,skinを計算してから、次に下記の式(U1)によって補正ファクターfcor,skinの値を更新する。
【0060】
【数1】
【0061】
つまり、更新前の補正ファクターfcor,skinの値が1であった場合には更新後の補正ファクターfcor,skinの値を0とする。また、更新前の補正ファクターfcor,skinの値が1以外であった場合には更新後の補正ファクターfcor,skinの値を1とする。
【0062】
上の式(U1)に基づく更新後の補正ファクターfcor,skinを入力映像内の画素の彩度Cabに乗じることにより、特定色補正処理が適用される領域の画素の色彩は維持され(カラーとして)、且つ、特定色補正処理が適用されない領域の画素の彩度はゼロとなる(グレースケール化される)。特定色補正判定処理部132は、この処理を画像内のすべての画素について行う。なお、特定色補正判定処理部132は、画素の明度(L*)と色相角(hab)については、入力される映像における値を維持する。
【0063】
なお、変形例として、特定色補正判定処理部132は、下の式(U2)にしたがって補正ファクターfcor,skinを更新するようにしてもよい。
【0064】
【数2】
【0065】
この式(U2)において、thskinは予め設定しておける閾値であり、0≦thskin≦1である。つまり、この場合、更新前の補正ファクターfcor,skinの値がthskin以上であった場合には更新後の補正ファクターfcor,skinの値を0とする。また、更新前の補正ファクターfcor,skinの値がthskin未満であった場合には更新後の補正ファクターfcor,skinの値を1とする。即ちこの変形例では、特定色補正判定処理部132は、更新前の補正ファクターfcor,skinの値がthskin以上である領域について、画像をグレースケール化する。即ち、特定色補正判定処理部132は、補正により画素の彩度を低下させる度合いが所定の閾値よりも低い場合にも当該画素の彩度をゼロに変更する。
【0066】
つまり、特定色補正判定処理部132は、補正対象ではない画素の色が明度と色相角と彩度とで表わされる場合の彩度をゼロに変更する。また、上において数式U1で示したように、特定色補正判定処理部132は、補正ファクターfcor(fcor,skin)の値が当該画素の彩度を補正しないことを表す場合には当該画素の彩度をゼロに変更するとともに、前記補正ファクターfcorの値が当該画素の彩度を補正することを表す場合には当該画素の彩度を変更しないようにしてよい。また、上において数式U2で示したように、特定色補正判定処理部132は、さらに、補正により前記画素の彩度を低下させる度合いが所定の閾値よりも低い場合にも当該画素の彩度をゼロに変更する、ようにしてよい。この場合の前提として、補正ファクターfcorは、画素の彩度を低下させる作用を有するものである。
【0067】
つまり、特定色補正判定処理部132は、更新前の補正ファクターfcor,skinの値が所定の条件を満たす場合に、領域をグレースケール化する。つまり、特定色補正の対象とならない領域、あるいは特定色補正の度合いが相対的に少ない場合に、その領域をグレースケール表示とする。また、特定色補正判定処理部132は、その他の領域をカラー表示とする。これにより、映像観視装置100のユーザーは、入力される映像内においてどの領域に特定色補正が行われるかを、一目で把握することができる。
【0068】
特定色抽出部134は、色空間変換処理部131から渡される画像から、特定色の領域を抽出する。
【0069】
具体的には、特定色抽出部134は、色空間変換処理部131が変換結果として出力した明度L*と色座標a*、b*とから色相角habを算出する。特定色抽出部134は、その明度L*と色相角habとから、ダイナミックレンジ変換におけるトーンマッピング処理で想定している特定色レベル(肌レベル)の上限値を超える特定色領域を抽出する処理を行う。ここで想定する特定色レベルの上限値は、規定値でもよいし、ユーザーが任意に設定可能な値であってもよい。トーンマッピング処理で想定している上限値を超えるHDR/広色域映像信号の特定色(肌色)は、HDRに対応したCIELAB色空間に変換した場合には、次の範囲に収まる。即ち、明度がL* min,skin以上でL* max,skin以下の範囲、且つ色相角がhab,min以上でhab,max以下の範囲、且つ彩度がCab,min以上でCab,max以下の範囲に収まる(図4も参照)。特定色抽出部134は、その範囲外の領域については明度と彩度を0とすることで、結果的に特定色の領域のみを抽出する。
【0070】
ここで、明度L* min,skinは、トーンマッピング処理で想定している肌レベルの上限値に相当する明度である。明度L* min,skinは、トーンマッピング処理の線形関数と対数関数の変曲点であるHDRディスプレイ輝度パラメーターHDRipの明度に一致する。映像信号の上限値として、肌色領域の明度の上限値L* max,skinは95となり、そのときの映像信号レベルは70.5%HLGとなる(図4も参照)。
なお、ここで、運用上の明度の上限値L* max,skinを100としてもよい。明度L*=100は、75%HLGに相当する。
【0071】
参考文献[ICtCp Dolby White Paper,Version 7.1,https://professional.dolby.com/siteassets/pdfs/ictcp_dolbywhitepaper_v071.pdf]によると、HDR方式のICtCp空間において肌色の色相角は、ほぼ102°(度)~132°(度)の範囲に収まることが示されている。このICtCp空間の色相角から、HDRに対応したCIELAB色空間の色相角へ換算した値を用いると、次の通りである。ICtCp空間とHDRに対応したCIELAB色空間の色相角の差は、次の通りである。即ち、例えば赤成分が100%、且つ緑成分および青成分が0%の映像信号からなる赤単色の場合、ICtCp空間の色相角は約110°(度)で、HDRに対応したCIELAB色空間において対応する色相角は約43°(度)である。つまり、両者の差は、67°(度)である。この位相角の差を考慮すると、HDRに対応したCIELAB色空間における肌色の色相角の範囲の下限値および上限値は、それぞれ、hab、min=35°(度)、およびhab、max=65°(度)である。
【0072】
また、肌色の彩度の範囲を次のようにしてよい。彩度の範囲の下限値と上限値は、図5に示すように、例えば彩度の下限値Cab、min=25、且つ彩度の上限値Cab、max=45としてよい。
【0073】
特定色抽出部134は、上で説明した明度、色相角、および彩度の範囲を用いることによって、高い精度で特定色(ここでは肌色)のみを抽出することができる。
【0074】
色空間再変換処理部133は、CIELAB空間の映像信号を、R′G′B′映像信号に再変換する(戻す)処理を行う。なお、色空間再変換処理部133の処理についても、後で、「前提とする特定色補正処理の例」の中で説明する。
【0075】
平均・最大レベル算出部135は、色空間再変換処理部133が出力した画像を基に、特定色(肌色)の平均レベルの数値および最大レベルの数値を求め、出力する。
つまり、平均・最大レベル算出部135は、画像内における、特定色補正判定処理部132によって補正対象の画素であると判定された画素についての、最大レベルと平均レベルのそれぞれの数値を算出する。なお、変形例として、平均・最大レベル算出部135は、補正対象の画素であると判定された画素についての、最大レベルと平均レベルの少なくともどちらかの数値を算出するものであってもよい。
【0076】
つまり、平均・最大レベル算出部135は、特定色(肌色)以外が0%HLGとして表現された画像から、平均肌レベルと最大肌レベルを算出する処理である。平均・最大レベル算出部135は、肌色に該当するすべての画素の中で最大レベルに相当するレベルの値を最大肌レベルとして出力する。また、平均・最大レベル算出部135は、肌色に該当するすべての画素についてのレベルの総和を算出し、該当する画素数でその総和を除することによって平均肌レベルとして算出し、出力する。平均値を算出するためには、平均・最大レベル算出部135は、肌色の画素の総数を把握する必要がる。そのためには、平均・最大レベル算出部135は、例えば、肌色の画素であるか否かを表す二値画像に相当する情報を生成し、管理する。平均・最大レベル算出部135は、算出された数値データ(平均レベルおよび最大レベルの値)を、表示部4に渡す。これにより、表示部4は、平均・最大レベル算出部135から渡される数値データを、入力映像に重畳して表示したり、ベクトルスコープなどの画面上に重畳して表示したりすることができるようになる。
【0077】
以上の構成により、特定色補正適用領域抽出部13は、特定色補正適用領域を表す画像を、画像切替部14に渡す。また、特定色補正適用領域抽出部13は、特定色(例えば肌色)の平均レベルの数値および最大レベルの数値を、表示部4に渡す。
【0078】
図4の(A)および(B)は、本実施形態の映像観視装置100が、CIELAB色空間において肌色として抽出すべき範囲を示す概略図である。図4(A)では、横軸は彩度(C ab)であり、縦軸は明度(L)である。図4(B)では、横軸はaであり、縦軸はbである。
【0079】
従来技術(例えば、非特許文献1)では、明度と色相角の範囲のみで肌色を抽出していたため、肌色と知覚されない彩度の高い色も肌色として抽出されてしまうという問題があった。それに対して、本実施形態では、上述したように、明度と色相角とに加えて彩度の範囲も限定して色を抽出しているため、従来技術における問題を解決することができる。
【0080】
図5は、上述したベクトル画像生成部2の内部の機能構成を示すブロック図である。図示するように、ベクトル画像生成部2は、色域判定処理部21と、ベクトルデータ変換部22と、ベクトル座標データ選択部23と、背景画像記憶部24と、画像合成処理部25を含んで構成される。
【0081】
色域判定処理部21は、入力される映像信号(画像)の色域を判定する。色域判定処理部21が色域を判定する方法は、色域判定処理部11の機能として既に説明した方法と同様である。色域判定処理部21は、判定結果(色域)の情報を、ベクトルデータ変換部22とベクトル座標データ選択部23とに渡す。また、色域判定処理部21は、入力された映像信号をベクトルデータ変換部22に渡す。
【0082】
ベクトルデータ変換部22は、色域判定処理部21から渡される判定結果(色域)に応じて、入力される映像が表す色をベクトルデータに変換する。ベクトルデータ変換部22による変換の処理自体は、既存技術による映像観視装置における処理と同様のものである。即ち、ベクトルデータ変換部22は、色域判定処理部21による判定結果である色域に基づいて、画像に含まれる色を所定の色空間における座標を表すベクトルデータに変換する。つまり、ベクトルデータ変換部22は、入力される映像に対応するベクトルスコープの画像を生成する。ベクトルスコープは、色の方向性(色相環)と強さを示す円形のグラフである。この円形グラフにおいては、円の中心に近いほど彩度(クロマ)が小さく、円の外側ほど彩度が大きい。
【0083】
ベクトル座標データ選択部23は、「基準色座標選択部」とも呼ばれ、色域判定処理部21による判定結果の色域に応じた基準色のベクトル座標のデータを選択する。つまり、ベクトル座標データ選択部23は、色域判定処理部21による判定結果である色域に基づいて、所定の基準色の所定の色空間における座標値(ベクトル座標)を選択する。ここで基準色は、例えば、75%ハイブリッド・ログ・ガンマ(HLG)および100%ハイブリッド・ログ・ガンマ(HLG)のそれぞれの、赤(R)と緑(G)と青(B)とシアン(C)とマゼンタ(M)と黄(Y)との計12種類であってもよい。また、基準色は他の色の集合であってもよい。色域に応じたベクトル座標のデータの例については、後で図6および図7を参照しながら説明する。本実施形態では、標準色域の場合には、ユーザー制御により、HDR/広色域映像信号から変換されたSDR/標準色域映像信号のベクトル座標のデータが選択可能となる。なお、変換アルゴリズムが1つに限定されている場合には、ベクトル座標データ選択部23によって選択される座標データを固定値としてもよい。また、ユーザーが設定した座標位置を映像観視装置100内に記憶させておいてもよい。また、3D-LUT(3次元のルックアップテーブル)による変換を用いている場合には、映像観視装置100内に同じ3D-LUTをアップロードできるようにして、3D-LUTを用いることによって内部信号を数値変換して座標位置を算出してもよい。
【0084】
背景画像記憶部24は、ベクトルスコープ図を表示する際の背景画像を記憶する。この背景画像は、画像合成処理部25によって読み出され得るものである。
【0085】
画像合成処理部25は、ベクトルデータ変換部22が出力するベクトルデータが表す座標位置と、ベクトル座標データ選択部23が選択した結果であるベクトル座標が表す各色(75%HLGおよび100%HLGのそれぞれの、RGBCMY)の位置と、背景画像記憶部24から読み出す背景画像と、を合成し、合成結果の画像を出力する。言い換えれば、画像合成処理部25は、少なくとも、ベクトルデータ変換部22による変換結果であるベクトルデータが表す画像と、ベクトル座標データ選択部23(基準色座標選択部)によって選択された座標値が表す位置を示す印とを、重ねて成る画像を合成する。
【0086】
つまり、上記の各部の機能により、ベクトル画像生成部2は、映像観視装置100に入力された映像信号をベクトル画像に変換し、表示部4において表示するための画像を生成する。本実施形態においては、上記の通り、ベクトル座標データ選択部23が入力映像の色域に応じたベクトル座標位置を選択する。これにより、HDR/広色域映像信号がSDR/標準色域映像信号に変換された場合には、その変換アルゴリズムが想定しているものかどうかを判定するためのベクトル座標位置を表示できる。
【0087】
図6および図7のそれぞれは、ベクトルスコープ図の例を示す概略図である。これらのベクトルスコープ図のそれぞれは、入力される映像の色域に応じてベクトル座標データ選択部23が選択したベクトル座標データに基づくものである。具体的には、図6は、広色域(BT.2020)の場合に対応するものであり、広色域映像信号の観視用のベクトルスコープ図を示す。また、図7は、標準色域(BT.709)の場合に対応するものであり、標準色域映像信号の観視用のベクトルスコープ図を示す図である。
【0088】
図6および図7のそれぞれにおいて、(R-Y)および(B-Y)のそれぞれは、色差信号の座標軸である。また、I(肌色系)およびQ(寒色系)のそれぞれもまた、信号に対応する座標軸である。IおよびQによる座標系は、(R-Y)および(B-Y)による座標系をその平面内で回転させて得られる。つまり、Iの値は、(R-Y)信号の値と(B-Y)信号の値とのそれぞれに所定の係数を掛けて加えたものとして得られる。また、Qの値は、(R-Y)信号の値と(B-Y)信号の値とのそれぞれにまた別の係数を掛けて加えたものとして得られる。
【0089】
図6および図7のそれぞれに示すベクトルスコープ図は、各色域において、75%R-75%M-75%G-75%C-75%Y-75%Bの各色に相当する座標を結んだ図形を示す。また、各色域において、100%R-100%M-100%G-100%C-100%Y-100%Bの各色に相当する座標を結んだ図形を示す。
【0090】
[前提とする特定色補正処理の例]
次に、本実施形態が前提とする特定色補正処理について説明する。下では、肌色補正処理を例として説明する。なお、特定色が肌色である場合、前述のfcor,skinの値は、下の説明におけるfcorと同一である。
【0091】
従来技術において、HDR映像(HDRは、「High Dynamic Range」(ハイ・ダイナミック・レンジ)の略)による放送番組は、番組間の明るさのばらつきを抑制するために、HDR基準白を考慮して制作されている。HLG方式(HLGは、「Hybrid Log Gamma」(ハイブリッド・ログ・ガンマ)の略)を用いた場合のHDR基準白は、75%のHLG映像信号レベル(以下において、「75%HLG」と称す場合がある)である。
【0092】
映像を構成するうえで人の顔の肌のレベルは重要である。従来技術(例えば、特開2020-025241号公報)では、人の顔の肌のレベルは、HDR基準白を考慮した場合、45%HLGから55%HLGに収まることが報告されている。しかしながら、映像制作時の意図や人物と照明の条件が変化したときに、55%HLGよりも高いレベルで顔の肌が表現される場合もある。HLG方式では75%HLGで白くなるように明るさを調整するため、55%HLGから75%HLGまでの間で表現された肌は、肌色として彩度が保たれた状態となる。
【0093】
一方で、別の従来技術(Report ITU-R BT.2408-3「Guidance for operational practices in HDR television production」,2019年7月,ITU-R(Radiocommunication Sector of ITU))では、従来のSDR映像(SDRは、「Standard Dynamic Range」(スタンダード・ダイナミック・レンジ)の略)による番組制作において、人の顔肌レベルは、男性の場合よりも女性の場合の方が高いことが報告されている。
【0094】
SDR映像の番組において、女性の顔肌は、レベルが高くなればなるほど、階調表現を重視し低い彩度で表現される。これを従来技術(上記の特開2020-025241号公報)に記載された彩度補正処理で表現しようとした場合、肌色の多くは75%HLGに相当する明度よりも低く、彩度補正処理が適用されないため、肌色を低い彩度で表現できないという問題があった。
【0095】
また、彩度補正処理の変曲点である75%HLGに相当する明度を55%HLGに相当する明度に下げたとしても、すべての色相角で等しく彩度を低下させるため、顔肌以外の色の彩度が低下するという問題があった。
【0096】
肌色の色相角の範囲についてのみ彩度補正処理の変曲点を55%HLGに相当する明度に下げるという解決手段も考えられる。しかしながら、肌色の色相角から肌色以外の色相角へ切り替わる場合、またはその逆への切り替えの場合において、補正処理の数式が数学的に急峻な変換となる場合には、変換後の階調表現が不連続となってしまう場合もあった。また、明度と色相角とで肌色の範囲を限定する場合には、同じ色相角でありながら肌色と知覚されないような彩度の高い色までも補正処理の対象となってしまうという問題も起こり得る。
【0097】
そこで、ここで説明する特定色補正処理では、制作意図に応じて、HDR番組制作における顔肌レベルを高くし、且つ従来のSDR番組制作における顔肌の表現のように彩度を低下させて表現したい場合に、特定色の領域のみの彩度を低下させることができ、さらに、彩度補正後における階調表現に不連続性が現れないようにしたり、補正処理によって目的とする色以外の色が補正されてしまうことのないようにしたりすることを可能とするものである。
【0098】
以下で説明する画像補正処理によれば、色相および明度に関して特定の条件に合う領域のみについて、彩度の補正をすることが可能となる。
【0099】
ここでの画像補正処理は、入力されるHDR(ハイ・ダイナミック・レンジ)映像信号を補正する。具体的には、画像補正処理は、HDR映像信号において人の顔の肌レベルが高く表現された場合に、彩度を低下させて階調を保持するように、画像内の肌色を補正する。なお、本実施形態において「肌色」とは、ペールオレンジ(pale orange)などとも呼ばれる色であり、日本をはじめとする極東地域等で多く見られる人の肌の色の呼び方である。画像補正処理が対象とする映像は、フレーム画像の時系列である。映像は、音声を伴うものであってもよいし、音声が付いていないものであってもよい。画像補正処理が映像の信号を補正する際には、個々のフレーム画像についての補正を行う。
【0100】
ここでの画像補正処理は、全体として、次のような処理を行う。即ち、画像補正処理は、HDR映像信号を入力する。そして、画像補正処理は、入力されたHDR映像信号を、リニア信号、HDRに対応したCIELAB色空間(CIE 1976 (L*, a*, b*)色空間)の信号に順次変換したうえで、肌色領域のみの彩度を補正する。そして、画像補正処理は、彩度補正後の信号をHDR映像信号に変換し、そのHDR映像信号を出力する。画像補正処理の詳細を次に説明する。
【0101】
画像補正処理は、色空間変換処理の過程と、彩度補正処理の過程と、色空間再変換処理の過程とを含む。これらの各過程は、電子回路を用いて実現され得る。あるいはこれらの処理の少なくとも一部を、コンピューターとプログラムとで実現してもよい。
【0102】
画像補正処理は、HDR映像信号(BT.2020の規格で標準化された信号)を入力し、信号の補正を行い、補正後のHDR映像信号を出力する。具体的には、画像補正処理は、入力されるHDR映像信号のうち、顔肌レベルの高い領域のみの彩度を補正し、その補正後に信号を出力のためのHDR映像信号(入力された信号と同様に、BT.2020の規格で標準化された信号)に戻す構成を持つ。画像補正処理における各過程の詳細は、次の通りである。
【0103】
色空間変換処理の過程は、入力されるHDR入力映像信号を、HDRに対応したCIELAB色空間の信号に変換する。つまり、色空間変換処理の過程は、入力されるHDR映像が含む画像を、HDRに対応したCIELAB色空間の信号に変換して、彩度補正処理の過程に渡す。
なお、色空間変換処理の過程は、CIELAB色空間HDR映像が含む画像を、75%HLGのシーン輝度が拡散白(明度100)に対応するようなCIELAB色空間の信号に変換する。75%HLGのシーン輝度が拡散白(明度100)に対応するようなCIELAB色空間を、「HDRに対応したCIELAB色空間」と称す。
【0104】
具体的には、色空間変換処理の過程は、HDR入力映像信号E′hin={R′HDRin,G′HDRin,B′HDRin}に、HDR方式に準拠したEOTF関数(電気光伝達関数)を適用することにより、ディスプレイ輝度信号FdHDRin={RHDRin,GHDRin,BHDRin}を得る。さらに、色空間変換処理の過程は、上記のディスプレイ輝度信号FdHDRinを、マトリクス演算により、三刺激値XHDRinHDRinHDRinに変換する。さらに、色空間変換処理の過程は、この三刺激値を、HDRに対応したCIELAB色空間の信号に変換する。色空間変換処理の過程のこの処理により、明度L*と色座標a*、b*が算出される。
【0105】
なお、a*は、赤方向(a*の正の方向)および緑方向(a*の負の方向)の度合いを示す値である。また、b*は、黄方向(b*の正の方向)および青方向(b*の負の方向)の度合いを示す値である。色座標a*、b*の値が決まると、色相角および彩度が決まる。
【0106】
なお、色空間変換処理の過程において、RGBリニア信号を得るために、HDR方式に準拠した逆OETF関数を用いて、シーン輝度信号に変換して、さらに75%HLGのシーン輝度が拡散白(明度100)に対応するようなCIELAB色空間へ変換してもよい。
【0107】
なお、色空間変換処理自体は、従来技術に属するものであり、例えば前記の特開2020-025241号公報に記載されている処理と等価なものである。
【0108】
色空間変換処理の過程は、上記の処理で得られたHDRに対応したCIELAB空間の信号を、彩度補正処理の過程に渡す。
【0109】
彩度補正処理の過程は、画像内において所定の条件に合う色の画素の彩度を補正するための補正ファクターfcorを求め、当該画素の彩度を前記補正ファクターfcorに基づいて補正する。彩度補正処理の過程は、前記画素の少なくとも明度と色相角とに基づいて、前記明度の変化に対応して連続的に変化する前記補正ファクターfcorであって、且つ前記色相角の変化に対応して連続的に変化する前記補正ファクターfcor、を決定する。彩度補正処理の過程は、当該画素の彩度に決定された前記補正ファクターfcorを乗ずることによって当該画素の彩度を補正する。彩度補正処理の過程は、色空間変換処理の過程から渡される上記のHDRに対応したCIELAB色空間の信号に基づいて画素の彩度を補正する。
【0110】
彩度補正処理の過程は、肌色の領域を対象として彩度の補正を行う。具体的には、彩度補正処理の過程は、HDRに対応したCIELAB空間において、55%HLGを超える肌色領域のみの彩度を等明度・等色相変換により補正する処理を行う。HDR信号をHDRに対応したCIELAB色空間に変換した場合に、55%HLGを超える肌色領域は、明度がL* minからL* maxまでの範囲内、且つ色相角がhab,minからhab,maxまでの範囲内に収まる。ここで、明度L* minは55%HLGに相当する明度であり、ディスプレイ輝度から算出した場合はL* min=63、シーン輝度から算出した場合はL* min=76である。明度L* maxは映像信号の上限値109%HLGに相当する明度であり、ディスプレイ輝度から算出した場合はL* max=224、シーン輝度から算出した場合はL* max=217である。HDRに対応したCIELAB色空間における肌色の色相角の範囲の下限値hab,minと上限値hab,maxは、hab,min=35°、hab,max=65°である。ここでは、L* min、L* max、hab,min、そしてhab,maxを固定値として説明したが、これらのそれぞれをユーザーが自由に設定可能なパラメーターとしてもよい。また、映像信号の上限値を109%HLGとしたが、100%HLGとしてもよい。
【0111】
彩度補正処理の過程による彩度補正処理では、下の式(1)に示すように、クロマC* abと色相角habを算出し、色相角habがhab≧hab,minかつhab≦hab,maxの範囲で、明度L*がL*>L* minとなるときのみ、肌色の彩度を低下させるための補正ファクターfcorを算出してもよい。ただし、式(1)による計算の結果としてfcor<0となる場合には、強制的にfcor=0とする。
【0112】
また、式(1)に示すように、上記の条件を満たさない場合には補正ファクターfcorの値を1とする(彩度を補正しない)。
【0113】
【数3】
【0114】
なお、式(1)において、σは、任意に調整可能なユーザーパラメーターであり、σ≧0である。
【0115】
上記の式(1)のような補正を行う場合には、色相角habがhab,minまたはhab,maxの境界の部分で急激に(不連続に)彩度が低下するように変化する。このため、変換後の結果において階調表現の不連続性が生じる可能性がある。そこで、本実施形態では、変曲点となる明度が色相角に応じて連続的に変化するように、変曲点の明度L* を、下の式(2)に示すように関数化する。
【0116】
【数4】
【0117】
ここで、L* refは、75%HLGに相当する明度である。また、L* ipは、55%HLGに相当する明度である。また、h、h、h、hのそれぞれは、変曲点となる明度の色相角側の変曲点となる色相角である。h、h、h、hは、h≦hab,min≦h、h≦hab,max≦h、h≦h<h≦h、の関係をそれぞれ満たす限りにおいて、ユーザーが任意に調整可能なユーザーパラメーターである。特に、h=hまたはh=hとなる場合を除外して、h<h<h<hの場合に限定する制約を設けてもよい。一例として、h=34°、h=38°、h=62°、h=66°などとしてよい。
【0118】
図8は、上記の例(h=34°、h=38°、h=62°、h=66°)の場合の、色相角habと明度関数値L* との関係を示すグラフである。このグラフにおいて、横軸は色相角habでありその単位は度(°)である。色相角habの範囲を、0≦hab<360としている。また、縦軸は、明度L* である。明度L* は、色相角habに応じて定まる変曲点である。このグラフにおいて、太い実線は、本実施形態による変曲点の明度(式(2))を示す。また、細い実線は、式(1)を用いた場合の変曲点の明度を示す。また、破線は、L* ref(75%HLGに相当する明度)を示す。また、一点鎖線は、L* ip(55%HLGに相当する明度)を示す。なお、図示する通り、L* ref=100であり、L* ip=63である。
【0119】
式(1)を用いる場合(細い実線のグラフ)には、色相角hab,minおよびhab,maxにおいて変曲点の明度L* が不連続的に変化してしまう。これに対して、式(2)を用いる場合(太い実線のグラフ)には、色相角hab,minおよびhab,maxのそれぞれの付近において、変曲点の明度L* が連続的に変化するようにしている。
【0120】
つまり、太い実線のグラフでは、色相角habが0°からhまでは、変曲点の明度L* はL* ref(75%HLGに相当する明度)で一定である。色相角habがhからhまでの間で(h≦hab,min≦hである)、変曲点の明度L* は、L* ref(75%HLGに相当する明度)からL* ip(55%HLGに相当する明度)まで、直線状に変化する(下がる)。色相角habがhからhまでは、変曲点の明度L* はL* ip(55%HLGに相当する明度)で一定である。色相角habがhからhまでの間で(h≦hab,max≦hである)、変曲点の明度L* は、L* ip(55%HLGに相当する明度)からL* ref(75%HLGに相当する明度)まで、直線状に変化する(上がる)。色相角habがhよりも大きい領域では、再び、変曲点の明度L* はL* ref(75%HLGに相当する明度)で一定である。
【0121】
なお、変曲点の明度L* をこのグラフのように部分ごと(色相角habの範囲ごと)に直線状に変化させる方法は、一例であり、必ずしもこのような方法によらなくてもよい。ただし、このグラフのように(式(2)のように)変曲点の明度L* を決定する方法では、計算を単純化することができる。
【0122】
つまり、変曲点の明度L* を求める関数の一例として上で式(2)を示したが、一般化すると、変曲点の明度L* を求める関数は、次のようなものであることが望ましい。
即ち、変曲点の明度L* を求める関数は、色相角habの定義域の全領域に渡って連続な関数であることが望ましい。また、h≦hab≦hの領域において、変曲点の明度L* は、L* ref(またはその近傍)からL* ip(またはその近傍)に向けて減少する(単調減少であってよい)。なお、h≦hab≦hの領域内には、hab=hab,minの点が含まれる。また、h<hab<hの領域において、変曲点の明度L* は、L* ip(またはその近傍)において一定(またはほぼ一定)である。また、h≦hab≦hの領域において、変曲点の明度L* は、L* ip(またはその近傍)からL* ref(またはその近傍)に向けて増加する(単調増加であってよい)。なお、h≦hab≦hの領域内には、hab=hab,maxの点が含まれる。そして、その他の領域(即ち、hab<hおよびh<hab)において、変曲点の明度L* は、L* ref(またはその近傍)において一定(またはほぼ一定)である。
【0123】
次に、上記のL* を変曲点として彩度を補正する量を決定する。式(1)を用いて補正を行う場合には彩度補正パラメーターとして、ユーザーが任意に調整するσ(ただし、σ>0)を用いることもできる。しかしながら、上の式(2)の場合には明度の変曲点が連続的に変化するため、その変化に応じて彩度補正パラメーターも変化することが望ましい。そこで、彩度補正パラメーターも、変曲点の明度L* の値に応じて変化するように関数化する。例えば下の式(3)のように、彩度補正パラメーターσを決定する。
【0124】
【数5】
【0125】
式(3)において、σおよびσは、適宜設定されるパラメーターである。σおよびσの値は、σ≦σをそれぞれ満たす範囲内で、ユーザーが任意に調整可能である。なお、式(3)を用いて算出されるσの値がσ<1となる場合には、σ=1としてよい。
【0126】
図9は、一例としてσ=1、σ=2とした場合の、色相角habと彩度補正パラメーター関数値σとの関係を示すグラフである。このグラフにおいて、横軸は色相角habでありその単位は度(°)でる。なお、定義域を0≦hab<360としている。また、縦軸は、彩度補正パラメーターσである。
【0127】
図9に示す太い実線のグラフは、本実施形態による彩度補正パラメーターσであり、式(3)で算出されるものである。また、細い実線のグラフは、比較対象であり、式(1)を用いる場合の彩度は正パラメーターの一例(σ=1.0で一定)である。
【0128】
図9の太い実線のグラフで示している彩度補正パラメーターσは、図2のグラフで示した明度L* についての一次式で算出されるものである。つまり、色相角habが0°からhまでは、彩度補正パラメーターσは1.0で一定である。色相角habがhからhまでの間で、彩度補正パラメーターσは、1.0から2.0まで、直線状に変化する(上がる)。色相角habがhからhまででは、彩度補正パラメーターσは2.0で一定である。色相角habがhからhまでの間で、彩度補正パラメーターσは、2.0から1.0まで、直線状に変化する(下がる)。色相角habがhよりも大きい領域では、再び、彩度補正パラメーターσは1.0で一定である。
【0129】
図10は、明度Lと彩度補正パラメーターσの例との関係を示すグラフである。同図に示すグラフG0は、従来技術を用いる場合の彩度補正パラメーターを示し、その値は明度Lに依らず1.0で一定である。グラフG1は、本実施形態において、σ=1、σ=2とする場合の彩度補正パラメーターを示す。グラフG1では、明度L=L* ip(=63)のときにσ=2.0であり、L* ip<L<L* refにおいてσは2.0から1.0まで直線状に変化し、L≧L* ref(=100)においてはσ=1.0で一定である。グラフG2は、本実施形態において、σ=1、σ=3とする場合の彩度補正パラメーターを示す。グラフG2では、明度L=L* ip(=63)のときにσ=3.0であり、L* ip<L<L* refにおいてσは3.0から1.0まで直線状に変化し、L≧L* ref(=100)においてはσ=1.0で一定である。グラフG3は、本実施形態において、σ=1、σ=4とする場合の彩度補正パラメーターを示す。グラフG2では、明度L=L* ip(=63)のときにσ=4.0であり、L* ip<L<L* refにおいてσは4.0から1.0まで直線状に変化し、L≧L* ref(=100)においてはσ=1.0で一定である。なお、図4において例示したσとσの値の組合せ以外の場合にも、式(3)(ただし、σの下限値は1.0)によって彩度補正パラメーターσは求められる。
【0130】
彩度補正処理の過程は、さらに、肌色の色相角の範囲の中で肌色と知覚されない彩度の高い色の彩度を変更せずに維持するような補正処理を行う。そのために、彩度補正処理の過程は、彩度が高くなるほど肌色の補正処理が効きにくくなるような減少関数を用いた計算を行う。
【0131】
図11は、彩度が高くなるほど肌色の補正処理を効きにくくする作用を持つ減少関数の入力と出力との関係の一例を示すグラフである。このグラフにおいて、横軸は関数への入力値である彩度C* abに対応し、縦軸は関数からの出力値である係数C* funcに対応する。
【0132】
この減少関数の作用は次の通りである。即ち、図示するように、55%HLGを超える肌色が存在する0≦C* ab≦50の領域では、減少関数値C* funcは0.95を超える。つまり、C* abが50程度以下の場合には、肌色補正処理がよく効く。そして、この減少関数は、C* ab>50の領域では、減少関数値C* funcが急峻に減少する特性を持つ。つまり、C* abが50を超える場合には、肌色補正処理が効きにくくなる。特に、C* ab≧150の領域では、減少関数値C* funcは0.02以下であり、0に限りなく近い。つまり、C* abが150以上である場合には、肌色補正処理がほぼ効かない。
【0133】
上記のような要件を満たす減少関数としては、例えばシグモイド関数を用いて、下の式(4)のような関数を実現することができる。
【0134】
【数6】
【0135】
式(4)におけるC* cusp,minは、HDRに対応したCIELAB空間における式(2)で規定した肌色補正処理を適用する色相角の範囲h≦hab≦hにおける色域境界となる彩度のうちの、最も小さい彩度である。例えばh=34°、h=66°とした場合、C* cusp,minは約253.3であり、そのときの色相角は66°である。
【0136】
彩度補正処理の過程は、ここまでに説明した明度関数L* と、彩度補正パラメーター関数σと、減少関数C* funcとを用いて、肌色の彩度を低下させるための補正ファクターfcorを求める。補正ファクターfcorは、例えば下の式(5)を用いて算出される。
【0137】
【数7】
【0138】
ただし、式(5)で算出した結果としてfcor<0となる場合には、強制的にfcor=0とする。そして、彩度補正処理の過程は、上記の補正ファクターfcorをクロマC* abに乗算して、補正後のクロマC* ab,corを得る。即ち、下の式(6)の通りである。
【0139】
* ab,cor=C* ab×fcor (6)
【0140】
式(5)にも表しているように、補正ファクターfcorは、画素の彩度を低下させる作用を有するものである。つまり、彩度補正処理の過程は、画素の補正前の彩度C abが高いほど補正ファクターfcorによる彩度の低下の度合いを小さくする。
【0141】
その具体的な処理の方法として、彩度補正処理の過程は、画素の補正前の彩度C abに応じて、減少関数値C funcを計算する。即ち、減少関数は、画素の補正前の彩度C abに応じた関数である。減少関数値C funcは、補正ファクターfcorによる彩度の低下の度合いを表す。図11の例を参照しながら既に説明したように、減少関数値C funcは、画素の補正前の彩度C abの増加に対して単調に減少するものである(単調減少関数)。一例として、この減少関数は、次のようなものである。即ち、画素の補正前の彩度C abが50以下の場合には減少関数値C funcは0.95以上であり、画素の補正前の彩度C abが150以上の場合には前記減少関数値C funcは0.02以下である。つまり、この例では、50≦C ab≦150の領域において減少関数値C funcは急峻に減少する。これにより、彩度の高い画素においては彩度補正の効果が限定され、彩度の低い画素においては彩度補正の効果が強く現れる。なお、彩度補正処理の過程は、画素の明度および色相角に基づいて決定される所定の値(式(5)におけるσと(L-L )/(L max-L )との積)に、減少関数値C funcを乗ずることによって、補正ファクターfcorによる彩度の低下の度合いを求める。
【0142】
彩度補正処理の過程は、前述の通り、補正ファクターfcorを、式(5)によって求める。ただし、式(5)で算出した結果としてfcor<0となる場合には、強制的にfcor=0とする。なお、数式中に現れる値の意味は次の通りである。L maxは明度の最大値である。Lは前記画素の明度(0≦L≦L max)である。L は前記画素の色相角habの変化に応じて連続的に変化するように決定される明度についての所定の変曲点の値である。hおよびhのそれぞれは補正対象とする色相角habの領域に応じて適宜定められるパラメーター(ただし、h≦h)である。σは前記画素の明度の変化に応じて連続的に変化するように決定される彩度補正パラメーターである。C funcは減少関数値である。
【0143】
彩度補正処理の過程は、補正後のクロマC* ab,corと、明度L*と、色相角habとにより、補正後のLAB信号を算出する。
【0144】
なお、彩度補正処理の過程は、上記の補正対象の条件を満たす領域以外については、彩度の補正を行わない。
【0145】
彩度補正処理の過程は、彩度補正処理後の映像信号を、色空間再変換処理の過程に渡す。
【0146】
色空間再変換処理の過程は、彩度補正処理の過程から渡される信号をHDR出力映像信号に変換し、出力する。つまり、色空間再変換処理の過程は、彩度補正処理の過程によって処理された後のHDRに対応したCIELAB色空間の信号を、HDR映像に再変換して出力する。
【0147】
具体的には、色空間再変換処理の過程は、渡された彩度補正後の信号について、HDRに対応したCIELAB色空間から三刺激値XHDRoutHDRoutHDRoutへの変換を行う。さらに、色空間再変換処理の過程は、マトリクス演算により、ディスプレイ輝度信号FdHDRout={RHDRout,GHDRout,BHDRout}への変換を行う。この処理は、HDR方式に準拠した逆EOTF関数で処理されたHDR出力映像信号E′hout={R′HDRout,G′HDRout,B′HDRout}を得る処理と同等の処理である。なお、色空間変換処理においてシーン輝度信号への変換を行っていた場合には、ここで、色空間再変換処理は、HDR方式に準拠したOETF関数で映像信号に変換する。
【0148】
以上説明したように画像補正処理の手順は次の通りである。まず第1ステップにおいて、色空間変換処理は、入力されるHDR入力映像信号を、HDRに対応したCIELAB色空間の信号に変換する。次に第2ステップにおいて、彩度補正処理は、上記第1ステップにおいて変換されたCIELAB色空間の信号について、画像内の条件を満たす領域についての彩度を補正する。具体的には、彩度補正処理は、所定条件を満たす肌色領域について、彩度を補正する。次に第3ステップにおいて、色空間再変換処理は、第2ステップにおいて補正後のCIELAB色空間の信号を、出力用のHDR出力映像信号に変換する。
【0149】
以上説明した処理過程により、画像補正処理を行うことができる。つまり、HDR番組制作における人物の顔肌レベルが、制作意図や性別などにより従来技術(特開2020-025241号公報)で想定している映像信号レベルよりも大きくなったとしても、従来のSDR番組制作と同様な肌色を再現することが可能になる。また、画像補正処理により特定色(肌色)の領域のみについて補正を行うことが可能となる。
【0150】
以上説明した画像処理を、さらに次のような変形例でも実施することが可能である。
【0151】
[特定色補正処理の変形例1]
上記処理方法では、各種パラメーター(L* min、L* max、hab,min、hab,max、h、h、h、h等)の値の具体例を説明したが、パラメーター値として、異なる値を用いてもよい。また、これらの値を可変としてもよい。
【0152】
[特定色補正処理の変形例2]
上記処理方法では、肌色の領域を彩度補正の対象の領域としたが、その他の領域を彩度補正の対象としてもよい。領域に関する色の条件は、例えば、色座標a,bによって表される。領域に関する色の条件は、あるいは、色相角や彩度や明度によってあらわされてもよい。
【0153】
[特定色補正処理の変形例3]
上記処理方法では、画像補正処理として、色空間変換処理の過程と、彩度補正処理の過程と、色空間再変換処理の過程とのすべてを備えるように構成されていた。変形例としては、画像補正処理として、彩度補正処理の過程だけを実施するようにしてもよい。その場合にも、上の説明と同様の彩度の補正自体を行うことは可能である。なお、彩度補正処理の過程を実行する装置とは別の(外部の)装置で、色空間変換処理の過程や色空間再変換処理の過程を実行するようにしてもよい。
【0154】
以上説明した画像補正処理(変形例を含む)によれば、画像内の特定の条件を満たす領域のみについて、彩度の補正を行うことが可能となる。より具体的には、画像補正処理として、人の肌の色を有する領域のレベルが高くなった場合に、他の色の領域の彩度を維持しつつ、人の肌の色の領域のみを補正することが可能となる。これにより、入力されるHDR映像信号に含まれる肌の色を、従来のSDR映像信号における肌色と同様に表現することが可能となる。
【0155】
上で説明した画像補正処理(変形例を含む)によれば、画像内における補正処理の境界部分において処理結果の数値が連続になるようにしているため、補正後の画像においてなめらかな階調表現が可能になるという効果が得られる。
【0156】
上で説明した画像補正処理(変形例を含む)によれば、補正対象とする色(例えば、肌色)の領域と同じ色相角を有するがその補正対象の色には属さない(彩度が範囲外)色の画素について、補正後においても元の色が(ほぼ)維持されるようになるという効果が得られる。
【0157】
[1]上で説明した画像補正処理を実施するための装置の一態様は、次の通りである。即ち、画像補正処理装置は、
画像内において所定の条件に合う色の画素の彩度を補正するための補正ファクターfcorを求め、当該画素の彩度を前記補正ファクターfcorに基づいて補正する彩度補正処理部、
を備え、
前記彩度補正処理部は、前記画素の少なくとも明度と色相角とに基づいて、前記明度の変化に対応して連続的に変化する前記補正ファクターfcorであって、且つ前記色相角の変化に対応して連続的に変化する前記補正ファクターfcor、を決定し、当該画素の彩度に決定された前記補正ファクターfcorを乗ずることによって当該画素の彩度を補正する、
画像補正処理装置である。
【0158】
[2]画像補正処理を実施するための画像補正処理装置の一態様は、上記[1]の画像補正処理装置において、
入力されるハイ・ダイナミック・レンジ(HDR)映像が含む画像を、HDRに対応したCIELAB色空間の信号に変換して前記彩度補正処理部に渡す色空間変換処理部と、
前記彩度補正処理部によって処理された後のHDRに対応したCIELAB色空間の信号を、HDR映像に再変換して出力する色空間再変換処理部と、
をさらに備え、
前記彩度補正処理部は、前記色空間変換処理部から渡されるHDRに対応したCIELAB色空間の信号に基づいて前記画素の彩度を補正する、
画像補正処理装置である。
【0159】
[3]画像補正処理を実施するための画像補正処理装置の一態様は、上記[1]または[2]の画像補正処理装置において、
前記補正ファクターfcorは、前記画素の彩度を低下させる作用を有するものであり、
前記彩度補正処理部は、前記画素の補正前の彩度C abが高いほど前記補正ファクターfcorによる彩度の低下の度合いを小さくする、
画像補正処理装置である。
【0160】
[4]画像補正処理を実施するための画像補正処理装置の一態様は、上記[3]の画像補正処理装置において、
前記彩度補正処理部は、前記画素の補正前の彩度C abに応じて、前記補正ファクターfcorによる彩度の低下の度合いを表す減少関数値C funcを計算するものであり、
前記減少関数値C funcは、前記画素の補正前の彩度C abの増加に対して単調に減少するものであり、
前記画素の補正前の彩度C abが50以下の場合には、前記減少関数値C funcは0.95以上であり、
前記画素の補正前の彩度C abが150以上の場合には、前記減少関数値C funcは0.02以下であり、
前記彩度補正処理部は、前記画素の明度および色相角に基づいて決定される所定の値に、前記減少関数値C funcを乗ずることによって、前記補正ファクターfcorによる彩度の低下の度合いを求める、
画像補正処理装置である。
【0161】
[5]画像補正処理を実施するための画像補正処理装置の一態様は、上記[4]の画像補正処理装置において、
前記彩度補正処理部は、前記補正ファクターfcorを、下の数式;
【0162】
【数8】
【0163】
によって求めるものである(ただし、上の数式で算出した結果としてfcor<0となる場合には、fcor=0とする)、
(ただし、L maxは明度の最大値であり、Lは前記画素の明度(0≦L≦L max)であり、L は前記画素の色相角habの変化に応じて連続的に変化するように決定される明度についての所定の変曲点の値であり、hおよびhのそれぞれは補正対象とする色相角habの領域に応じて適宜定められるパラメーター(ただし、h≦h)であり、σは前記画素の明度の変化に応じて連続的に変化するように決定される彩度補正パラメーターであり、C funcは前記減少関数値である)
という画像補正処理装置である。
【0164】
図12は、本実施形態の映像観視装置100の内部構成の一例を示すブロック図である。映像観視装置100の少なくとも一部の機能は、コンピューターを用いて実現され得る。図示するように、そのコンピューターは、中央処理装置901と、RAM902と、入出力ポート903と、入出力デバイス904や905等と、バス906と、を含んで構成される。コンピューター自体は、既存技術を用いて実現可能である。中央処理装置901は、RAM902等から読み込んだプログラムに含まれる命令を実行する。中央処理装置901は、各命令にしたがって、RAM902にデータを書き込んだり、RAM902からデータを読み出したり、算術演算や論理演算を行ったりする。RAM902は、データやプログラムを記憶する。RAM902に含まれる各要素は、アドレスを持ち、アドレスを用いてアクセスされ得るものである。なお、RAMは、「ランダムアクセスメモリー」の略である。入出力ポート903は、中央処理装置901が外部の入出力デバイス等とデータのやり取りを行うためのポートである。入出力デバイス904や905は、入出力デバイスである。入出力デバイス904や905は、入出力ポート903を介して中央処理装置901との間でデータをやりとりする。バス906は、コンピューター内部で使用される共通の通信路である。例えば、中央処理装置901は、バス906を介してRAM902のデータを読んだり書いたりする。また、例えば、中央処理装置901は、バス906を介して入出力ポートにアクセスする。
【0165】
なお、上述した実施形態における映像観視装置100の少なくとも一部の機能をコンピューターおよびプログラムで実現することができる。その場合、この機能を実現するためのプログラムをコンピューター読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピューターシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピューターシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM、DVD-ROM、USBメモリー等の可搬媒体、コンピューターシステムに内蔵されるハードディスク等の記憶装置のことをいう。つまり、「コンピューター読み取り可能な記録媒体」とは、非一過性の(non-transitory)コンピューター読み取り可能な記録媒体であってよい。さらに「コンピューター読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、一時的に、動的にプログラムを保持するもの、その場合のサーバーやクライアントとなるコンピューターシステム内部の揮発性メモリーのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピューターシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【0166】
[本実施形態の効果]
以上説明したように、本実施形態によると、映像観視装置100は、次に挙げる効果を奏する。第1に、実施形態の映像観視装置100は、特定色(例えば、肌色)の補正処理が適用される領域を可視化することにより、ユーザーが直感的に把握できるようにする。それに対して、本実施形態では、明度および色相角の範囲に加えて、彩度の範囲も限定して特定色を抽出しているため、より正確な色の抽出が可能となる。第2に、実施形態の映像観視装置100は、HDR/広色域映像における特定色(例えば、肌色)のレベルについての数値(平均レベルや最大レベル)を表示する。これにより、ユーザーは特定色のレベルを明確な数値として把握できる。第3に、実施形態の映像観視装置100は、色域変換の際に基準となる色の色空間における座標を示すベクトルスコープを表示する。このため、映像観視装置100のユーザーは、色域変換の処理で適用されているアルゴリズムが正常であるか否かを容易に確認することができる。つまり、HDR/広色域映像信号から変換されたSDR/標準色域映像信号をユーザーが観視する際に、制作システムで設定した変換アルゴリズムが正しく適用されているか否かを確認することができる。
【0167】
図13は、上記実施形態による特定色補正判定処理部132が抽出する特定色補正対象の領域を表す画像情報の例を示す概略図である。つまり、この図に示す画像の中で、白で示す領域は、特定色の補正の対象となる領域である。また、黒で示す領域は、その他の領域(補正の対象ではない領域)である。この図の画像は、入力画像に基づいて算出される。本例における入力画像は、テレビ番組において人物(キャスター)が正面を向いて座っている画像である。図示するように、主として人の顔(ただし、目や唇の部分を除く)や首といった部分が、特定色(肌色)の補正の対象となる領域である。
【0168】
図14は、上記実施形態による特定色補正判定処理部132が、特定色補正対象となる領域のみの色彩を残し、その他の領域(補正対象とはならない領域)をグレースケール化した画像の例を示す概略図である。同図においてPで示される領域は特定色補正処理の対象となる領域であり、カラーで表示される。Pで示される領域は、人物の顔および首の部分と、人物の前に置かれている花の一部とである。その他の領域は、グレースケール(白、黒、およびその中間色)で表示される。
【0169】
つまり、映像観視装置100は、特定色補正(肌色補正)が適用される領域が一目でわかるような形で可視化する。図14に示すような画像が映像観視装置100の画面に表示されることによって、ユーザー(ビデオエンジニア)は、補正処理が適用される領域を直感的に把握することができるようになる。
【0170】
図15は、HDR/広色域映像信号をSDR/標準色域映像信号に変換する際の、ベクトル画像生成部2が出力するベクトルスコープにおける各色の座標を示す概略図である。同図は、IおよびQによる座標系の座標軸と、(R-Y)および(B-Y)による座標系の座標軸とを示している。また、同図に示すように、RGBCYMの6色の100%映像信号レベルと75%映像信号レベルは、正解となるベクトル座標位置にプロットされる。このため、映像観視装置100のユーザーは、映像を制作するための制作システムで設定した変換アルゴリズムが正しいかどうかを容易に判定することができる。
【0171】
なお、ここでのHDR/広色域映像信号からSDR/標準色域映像信号への変換は、上で説明した特定色(肌色)補正処理と、参考文献[Report ITU-R BT.2446-0 “Methods for conversion of high dynamic range]に記載されたダイナミックレンジ変換と、参考文献[Report ITU-R BT.2407-0 “Colour gamut conversion from Recommendation]に記載された色域変換とを用いたものである。
【0172】
なお、図15に示す各色(RGBCYMの6色の100%映像信号レベルと75%映像信号レベル)のベクトル座標は、下の表1の通りである。
【0173】
【表1】
【0174】
上記の座標は、B´-Y´の軸とR´-Y´の軸とによる直交座標の値である。ベクトル座標データ選択部23は、色域に応じてベクトル座標値を選択する。なお、前述の通り、ベクトル座標データ選択部23は、適宜、ルックアップテーブル等に書き込んでおいたベクトル座標値を用いる。
【0175】
なお、上の表1のベクトル座標値は、次の方法で算出したものである。即ち、特定色(肌色)補正処理でσ=2.5としたものを除き、前述の特定色(肌色)補正処理に記載した例と同じパラメーター値を利用し、ダイナミックレンジ変換はMethod Cを用いて行い、クロストークマトリックスパラメータα=0.33、彩度補正パラメーターσ=1として、トーンマッピングカーブパラメータについては、50%HLGが64.55%SDRに対応する線形関数のゲインを持ち,線形関数から対数関数への変曲点は88.8%SDR、基準白の対応点は75%HLGが100%SDRに対応する値を利用した。色域変換はAnnex2を利用して行った。
【0176】
[変形例]
上記実施形態の映像観視装置100は、ピクチャー画像生成部1とベクトル画像生成部2との両方を備えていた。そして、画像選択部3は、ピクチャー画像生成部1とベクトル画像生成部2のそれぞれからの画像のうち、表示部4で表示すべき画像を選択していた。変形例として、映像観視装置100は、ピクチャー画像生成部1とベクトル画像生成部2のいずれか一方のみを備えるようにしてもよい。この場合、次の通りとする。即ち、映像観視装置100がピクチャー画像生成部1を備える場合には、表示部4は、ピクチャー画像生成部1から出力される画像を表示する。また、映像観視装置100がベクトル画像生成部2を備える場合には、表示部4は、ベクトル画像生成部2から出力される画像を表示する。
【0177】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【産業上の利用可能性】
【0178】
本発明による映像観視装置等を、例えば、映像の制作等の目的で利用することができる。但し、本発明の利用範囲はここに例示したものには限られない。
【符号の説明】
【0179】
1 ピクチャー画像生成部
2 ベクトル画像生成部
3 画像選択部
4 表示部
5 制御部
11 色域判定処理部
12 マトリクス変換部
13 特定色補正適用領域抽出部
14 画像切替部
21 色域判定処理部
22 ベクトルデータ変換部
23 ベクトル座標データ選択部(基準色座標選択部)
24 背景画像記憶部
25 画像合成処理部
100 映像観視装置
131 色空間変換処理部
132 特定色補正判定処理部
133 色空間再変換処理部
134 特定色抽出部
135 平均・最大レベル算出部
901 中央処理装置
902 RAM
903 入出力ポート
904,905 入出力デバイス
906 バス
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15