知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-03-21
(45)【発行日】2024-03-29
(54)【発明の名称】色調補正装置及びそのプログラム
(51)【国際特許分類】
G06T 1/00 20060101AFI20240322BHJP
【ＦＩ】
G06T1/00 510
【請求項の数】
6
(21)【出願番号】P 2020164748
(22)【出願日】2020-09-30
(65)【公開番号】P2022056803
(43)【公開日】2022-04-11
【審査請求日】2023-08-07
(73)【特許権者】
【識別番号】000004352
【氏名又は名称】日本放送協会
(74)【代理人】
【識別番号】110001807
【氏名又は名称】弁理士法人磯野国際特許商標事務所
(72)【発明者】
【氏名】盛岡 寛史
(72)【発明者】
【氏名】洗井 淳
【審査官】三沢 岳志
(56)【参考文献】
【文献】特開２００９－２５３３２４（ＪＰ，Ａ）
【文献】特開２０２０－０１３３６８（ＪＰ，Ａ）
【文献】特開２０１０－０６２８２５（ＪＰ，Ａ）
【文献】特開２００９－２１８９１９（ＪＰ，Ａ）
【文献】特開２０１０－２１９５８７（ＪＰ，Ａ）
【文献】特開２００８－２２８２３８（ＪＰ，Ａ）
【文献】特開２００１－３２５０６９（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ １／００
(57)【特許請求の範囲】
【請求項1】
ディスプレイに表示されている人物の顔の色調を補正する色調補正装置であって、前記ディスプレイの正対視点と前記正対視点から移動した別視点との関係を示す第１変換行列により、前記別視点で前記ディスプレイを撮影した撮影画像を前記正対視点の変換画像に変換する変換画像生成手段と、
所定の顔方向毎に前記顔の色調の基準となる参照画像群を予め設定し、前記変換画像に含まれる前記人物の顔方向を算出し、前記参照画像群の中から、算出した前記顔方向に最も近い参照画像を検索する参照画像検索手段と、
前記変換画像と前記参照画像との顔方向の関係を示す第２変換行列により、前記変換画像の顔内側領域の方向が前記参照画像の顔方向に一致するように調整した顔方向調整画像を生成する顔方向調整手段と、
ポアソン画像合成により、前記顔方向調整画像と前記参照画像とを合成することで、前記顔内側領域の色調を補正した顔内側領域補正画像を生成する顔内側領域補正手段と、
前記第２変換行列の逆行列により、前記顔内側領域補正画像の顔方向が前記変換画像の顔方向に一致するように復元した顔方向復元画像を生成する顔方向復元手段と、
前記ポアソン画像合成により、前記顔方向復元画像と前記変換画像とを合成することで、顔外側領域の色調を補正した顔外側領域補正画像を生成する顔外側領域補正手段と、
前記顔外側領域補正画像に基づいて、前記人物の顔の色調を補正した色調補正画像を生成する合成手段と、
を備えることを特徴とする色調補正装置。
【請求項2】
前記正対視点の変換画像にディスプレイ領域を予め設定し、前記第１変換行列の逆行列により、前記正対視点のディスプレイ領域を前記別視点のディスプレイ領域に変換するディスプレイ領域変換手段、をさらに備え、前記合成手段は、前記第１変換行列の逆行列により、前記顔外側領域補正画像を前記別視点に変換し、前記別視点の顔外側領域補正画像を前記ディスプレイ領域でマスクし、マスクした当該顔外側領域補正画像と前記撮影画像とを合成することで、前記色調補正画像を生成することを特徴とする請求項１に記載の色調補正装置。
【請求項3】
ディスプレイに表示されている人物の顔の色調を補正する色調補正装置であって、前記ディスプレイの正対視点と前記正対視点から移動した別視点との関係を示す第１変換行列により、前記別視点で前記ディスプレイを撮影した撮影画像を前記正対視点の変換画像に変換する変換画像生成手段と、
所定の顔方向毎に前記顔の色調の基準となる参照画像群を予め設定し、前記変換画像に含まれる前記人物の顔方向を算出し、前記参照画像群の中から、算出した前記顔方向に最も近い参照画像を検索する参照画像検索手段と、
前記変換画像の顔内側領域から第１色情報の列ベクトルを取得し、前記参照画像の顔内側領域から第２色情報の列ベクトルを取得する色情報ベクトル取得手段と、
前記第１色情報の列ベクトルと第３変換行列との積が前記第２色情報の列ベクトルに等しくなる線形連立方程式を解くことで、前記第３変換行列を算出する変換行列算出手段と、
前記第３変換行列により、前記変換画像の色調を補正する色調補正手段と、
色調補正後の前記変換画像に基づいて、前記人物の顔の色調を補正した色調補正画像を生成する合成手段と、
を備えることを特徴とする色調補正装置。
【請求項4】
前記正対視点の変換画像にディスプレイ領域を予め設定し、前記第１変換行列の逆行列により、前記正対視点のディスプレイ領域を前記別視点のディスプレイ領域に変換するディスプレイ領域変換手段、をさらに備え、前記合成手段は、色調補正後の前記変換画像を前記ディスプレイ領域でマスクし、マスクした当該変換画像と前記撮影画像とを合成することで、前記色調補正画像を生成することを特徴とする請求項３に記載の色調補正装置。
【請求項5】
前記ディスプレイは、４個以上のマーカが付されており、前記マーカに基づいて、前記別視点の撮影画像が前記正対視点の変換画像に変換されるように前記第１変換行列を算出する第１変換行列算出手段、
をさらに備えることを特徴とする請求項１から請求項４の何れか一項に記載の色調補正装置。
【請求項6】
コンピュータを、請求項１から請求項５の何れか一項に記載の色調補正装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ディスプレイに表示されている人物の顔の色調を補正する色調補正装置及びそのプログラムに関する。
【背景技術】
【0002】
昨今のコロナ禍により、あらゆる産業でリモートワークの必要性が高まっており、放送業界も例外でない。いくつかの番組では、ディスプレイ越しに出演者をリモート出演させており、番組制作が大きく変化している。つまり、リモート出演では、スタジオのディスプレイに表示されている出演者をカメラで撮影することになる。
【0003】
ディスプレイ越しに出演者を撮影する場合、スタジオの出演者を直接撮影する場合に比べて、リフレッシュレート、輝度、モアレなどのディスプレイの特性により、大きく色調が変化する。つまり、同一の出演者をスタジオで直接撮影した場合とディスプレイ越しに撮影した場合とでは、テレビ画面上での見え方（色調）が大きく異なる。そこで、従来の番組制作では、ビデオエンジニアが、基準視点から見たディスプレイのパラメータを事前に調整し、色調の変化を抑える作業を行っている。
【0004】
この他、スタジオにおいて、カメラ映像中の顔の色調を補正する手法が提案されている（特許文献１）。さらに、参照画像に他の撮影画像の色調を合わせる手法も提案されている（特許文献２）。
【先行技術文献】
【特許文献】
【0005】
【文献】特開平５－６８２６２号公報
【文献】特開２００９－１３０６３０号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
前記したように、ディスプレイの見え方が視線方向に依存するため、カメラが移動して別視点からディスプレイを撮影した場合、ディスプレイ越しの人物に色調の変化が発生する。しかし、ビデオエンジニアの作業では、ある基準視点だけでしか色調を補正できず、カメラが移動した後の別視点での色調の変化に対応できない。さらに、特許文献１，２に記載の発明では、肌検出を色情報という低レベルの特徴量に依存しており、画面全体で特定の色を他の色に変換することしかできず、カメラの移動には対応できない。
【0007】
本発明は、カメラが移動する場合でも、ディスプレイに表示されている人物の顔の色調を補正できる色調補正装置及びそのプログラムを提供することを課題とする。
【課題を解決するための手段】
【0008】
前記課題を解決するため、本発明に係る色調補正装置は、ディスプレイに表示されている人物の顔の色調を補正する色調補正装置であって、変換画像生成手段と、参照画像検索手段と、顔方向調整手段と、顔内側領域補正手段と、顔方向復元手段と、顔外側領域補正手段と、合成手段と、を備える構成とした。
【0009】
変換画像生成手段は、ディスプレイの正対視点と正対視点から移動した別視点との関係を示す第１変換行列により、別視点でディスプレイを撮影した撮影画像を正対視点の変換画像に変換する。
参照画像検索手段は、所定の顔方向毎に顔の色調の基準となる参照画像群を予め設定し、変換画像に含まれる人物の顔方向を算出し、参照画像群の中から、算出した顔方向に最も近い参照画像を検索する。
顔方向調整手段は、変換画像と参照画像との顔方向の関係を示す第２変換行列により、変換画像の顔内側領域の方向が参照画像の顔方向に一致するように調整した顔方向調整画像を生成する。
参照画像検索手段は、所定の顔方向毎に顔の色調の基準となる参照画像群を予め設定し、変換画像に含まれる人物の顔方向を算出し、参照画像群の中から、算出した顔方向に最も近い参照画像を検索する。
顔方向調整手段は、変換画像と参照画像との顔方向の関係を示す第２変換行列により、変換画像の顔内側領域の方向が参照画像の顔方向に一致するように調整した顔方向調整画像を生成する。
【0010】
顔内側領域補正手段は、ポアソン画像合成により、顔方向調整画像と参照画像とを合成することで、顔内側領域の色調を補正した顔内側領域補正画像を生成する。
顔方向復元手段は、第２変換行列の逆行列により、顔内側領域補正画像の顔方向が変換画像の顔方向に一致するように復元した顔方向復元画像を生成する。
顔外側領域補正手段は、ポアソン画像合成により、顔方向復元画像と変換画像とを合成することで、顔外側領域の色調を補正した顔外側領域補正画像を生成する。
合成手段は、顔外側領域補正画像に基づいて、人物の顔の色調を補正した色調補正画像を生成する。
顔方向復元手段は、第２変換行列の逆行列により、顔内側領域補正画像の顔方向が変換画像の顔方向に一致するように復元した顔方向復元画像を生成する。
顔外側領域補正手段は、ポアソン画像合成により、顔方向復元画像と変換画像とを合成することで、顔外側領域の色調を補正した顔外側領域補正画像を生成する。
合成手段は、顔外側領域補正画像に基づいて、人物の顔の色調を補正した色調補正画像を生成する。
【0011】
かかる構成によれば、色調補正装置は、カメラが移動したときの顔方向に応じた参照画像を検索し、検索した参照画像を基準として、視聴者の注目を集めやすい人物の顔の色調を補正する。
【0012】
また、前記課題を解決するため、本発明に係る色調補正装置は、ディスプレイに表示されている人物の顔の色調を補正する色調補正装置であって、変換画像生成手段と、参照画像検索手段と、色情報ベクトル取得手段と、変換行列算出手段と、色調補正手段と、合成手段と、を備える構成とした。
【0013】
変換画像生成手段は、ディスプレイの正対視点と正対視点から移動した別視点との関係を示す第１変換行列により、別視点でディスプレイを撮影した撮影画像を正対視点の変換画像に変換する。
参照画像検索手段は、所定の顔方向毎に顔の色調の基準となる参照画像群を予め設定し、変換画像に含まれる人物の顔方向を算出し、参照画像群の中から、算出した顔方向に最も近い参照画像を検索する。
色情報ベクトル取得手段は、変換画像の顔内側領域から第１色情報の列ベクトルを取得し、参照画像の顔内側領域から第２色情報の列ベクトルを取得する。
参照画像検索手段は、所定の顔方向毎に顔の色調の基準となる参照画像群を予め設定し、変換画像に含まれる人物の顔方向を算出し、参照画像群の中から、算出した顔方向に最も近い参照画像を検索する。
色情報ベクトル取得手段は、変換画像の顔内側領域から第１色情報の列ベクトルを取得し、参照画像の顔内側領域から第２色情報の列ベクトルを取得する。
【0014】
変換行列算出手段は、第１色情報の列ベクトルと第３変換行列との積が第２色情報の列ベクトルに等しくなる線形連立方程式を解くことで、第３変換行列を算出する。
色調補正手段は、第３変換行列により、変換画像の色調を補正する。
合成手段は、色調補正後の変換画像に基づいて、人物の顔の色調を補正した色調補正画像を生成する。
色調補正手段は、第３変換行列により、変換画像の色調を補正する。
合成手段は、色調補正後の変換画像に基づいて、人物の顔の色調を補正した色調補正画像を生成する。
【0015】
かかる構成によれば、色調補正装置は、カメラが移動したときの顔方向に応じた参照画像を検索し、検索した参照画像を基準として、視聴者の注目を集めやすい人物の顔の色調を補正する。
【0016】
なお、本発明は、コンピュータを、前記した色調補正装置として機能させるためのプログラムで実現することができる。
【発明の効果】
【0017】
本発明によれば、カメラが移動する場合でも、ディスプレイに表示されている人物の顔の色調を補正することができる。
【図面の簡単な説明】
【0018】
【図1】第１実施形態において、（ａ）はリモート出演を説明する説明図であり、（ｂ）はマーカの説明図である。
【図2】第１実施形態に係る色調補正装置の構成を示すブロック図である。
【図3】第１実施形態において、（ａ）はホモグラフィ行列Ｈの算出を説明する説明図であり、（ｂ）はホモグラフィ行列Ｈによる画像変換を説明する説明図である。
【図4】第１実施形態において、ディスプレイ領域の変換を説明する説明図である。
【図5】第１実施形態において、顔メッシュの生成を説明する説明図である。
【図6】第１実施形態において、ホモグラフィ行列Ｇの算出及び変換を説明する説明図である。
【図7】第１実施形態において、一段階目のポアソン画像合成を説明する説明図である。
【図8】第１実施形態において、顔方向の復元を説明する説明図である。
【図9】第１実施形態において、二段階目のポアソン画像合成を説明する説明図である。
【図10】第１実施形態に係る色調補正装置の動作を示すフローチャートである。
【図11】第２実施形態に係る色調補正装置の構成を示すブロック図である。
【図12】第２実施形態に係る色調補正装置の動作を示すフローチャートである。
【発明を実施するための形態】
【0019】
以下、本発明の各実施形態について図面を参照して説明する。但し、以下に説明する各実施形態は、本発明の技術思想を具体化するためのものであって、特定的な記載がない限り、本発明を以下のものに限定しない。また、同一の手段には同一の符号を付し、説明を省略する場合がある。
【0020】
（第１実施形態）
［色調補正装置の構成］
図１及び図２を参照し、第１実施形態に係る色調補正装置１の構成について説明する。
色調補正装置１は、図１（ａ）に示すように、スタジオのディスプレイ９１に表示されている出演者（人物）の顔の色調を補正するものである。すなわち、色調補正装置１は、ディスプレイ９１越しにリモート出演している出演者の顔の色調を補正する。
［色調補正装置の構成］
図１及び図２を参照し、第１実施形態に係る色調補正装置１の構成について説明する。
色調補正装置１は、図１（ａ）に示すように、スタジオのディスプレイ９１に表示されている出演者（人物）の顔の色調を補正するものである。すなわち、色調補正装置１は、ディスプレイ９１越しにリモート出演している出演者の顔の色調を補正する。
【0021】
色調補正装置１では、以下の事前準備を行った後、出演者の顔の色調を補正する。本番前、カメラ９０及びディスプレイ９１を基準となる視点（例えば、後記する正対視点）に配置する。基準となる画像（例えば、グレースケール画像）を表示してディスプレイ９１の色調を調整する。
【0022】
次に、ディスプレイ９１に出演者を表示して、肌色の基準となる画像を撮影する。このとき、番組中に動かす様々な顔方向で出演者を一通り撮影する。この顔の色調の基準となる画像は、参照画像Ｉｒ（Ｉｒ１,…,Ｉｒｎ）と呼ばれる。そして、所定の顔方向毎の参照画像Ｉｒで構成された参照画像群を予め設定する。
【0023】
また、図１（ｂ）に示すように、ディスプレイ９１のフレームには、カメラ９０に映るように４個以上のマーカ９２を付けておく。このマーカ９２は、後記するホモグラフィ変換を行うために付したものである。つまり、マーカ９２は、ホモグラフィ行列に必要な点を確実に抽出できるように、ディスプレイ９１のフレームに付けることが好ましい。本実施形態では、ディスプレイ９１は、左右のフレームにそれぞれ４個、合計８個のマーカ９２が付されていることとする。ここで、マーカ９２は、それぞれの位置が一意に識別できればよく、例えば、二次元コード、ドットパターン又はカラーパターンであればよい。事前準備は、以上とおりである。
【0024】
色調補正装置１は、図２に示すように、ホモグラフィ行列Ｈ算出手段（第１変換行列算出手段）１０と、変換画像生成手段１１と、ディスプレイ領域変換手段１２と、参照画像検索手段１３と、ホモグラフィ行列Ｇ算出手段１４と、顔方向調整手段１５と、顔内側領域補正手段１６と、顔方向復元手段１７と、顔外側領域補正手段１８と、合成手段１９とを備える。
【0025】
ホモグラフィ行列Ｈ算出手段１０は、図３（ａ）に示すように、マーカ９２に基づいて、別視点の撮影画像Ｉが正対視点の変換画像Ｉｈに変換されるようにホモグラフィ行列Ｈ（第１変換行列）を算出するものである。このホモグラフィ行列Ｈは、変換画像Ｉｈを撮影したときの正対視点と、撮影画像Ｉを撮影したときの別視点と、の関係を示す。
【0026】
なお、正対視点とは、カメラ９０がディスプレイ９１に正対するときの視点、つまり、カメラ９０がディスプレイ９１の正面に位置するときの視点である。図３（ａ）に示すように、この正対視点の画像を変換画像Ｉｈとする。
また、別視点とは、カメラ９０が正対視点から移動したときの視点である。この別視点でディスプレイ９１を撮影した画像を撮影画像Ｉとする。
また、別視点とは、カメラ９０が正対視点から移動したときの視点である。この別視点でディスプレイ９１を撮影した画像を撮影画像Ｉとする。
【0027】
例えば、ホモグラフィ行列Ｈ算出手段１０は、別視点の撮影画像Ｉが外部（例えば、カメラ９０）から入力され、入力された撮影画像Ｉからマーカ９２を検出する。そして、ホモグラフィ行列Ｈ算出手段１０は、検出したマーカ９２が参照画像Ｉｒと同じ位置になるようにホモグラフィ行列Ｈを算出する。
その後、ホモグラフィ行列Ｈ算出手段１０は、算出したホモグラフィ行列Ｈ及び撮影画像Ｉを変換画像生成手段１１及びディスプレイ領域変換手段１２に出力する。
その後、ホモグラフィ行列Ｈ算出手段１０は、算出したホモグラフィ行列Ｈ及び撮影画像Ｉを変換画像生成手段１１及びディスプレイ領域変換手段１２に出力する。
【0028】
変換画像生成手段１１は、図３（ｂ）に示すように、ホモグラフィ行列Ｈにより、別視点での撮影画像Ｉを正対視点の変換画像Ｉｈに変換するものである。ここで、変換画像生成手段１１は、撮影画像Ｉをホモグラフィ行列Ｈで変換（例えば、ホモグラフィ変換）することで、正対視点の変換画像Ｉｈ＝ＨＩ生成する。
【0029】
その後、変換画像生成手段１１は、生成した変換画像Ｉｈを参照画像検索手段１３に出力する。
なお、変換画像生成手段１１は、変換画像Ｉｈと同様、前段の手段から入力された全情報（例えば、撮影画像Ｉ、ホモグラフィ行列Ｈ）も後段の手段に出力する。この点、以後の各手段も同様のため、説明を省略する。
なお、変換画像生成手段１１は、変換画像Ｉｈと同様、前段の手段から入力された全情報（例えば、撮影画像Ｉ、ホモグラフィ行列Ｈ）も後段の手段に出力する。この点、以後の各手段も同様のため、説明を省略する。
【0030】
ディスプレイ領域変換手段１２は、図４に示すように、正対視点の変換画像Ｉｈにディスプレイ領域Ｄｈを予め設定し、逆ホモグラフィ行列Ｈ－１により、正対視点のディスプレイ領域Ｄｈを別視点のディスプレイ領域Ｄに変換するものである。つまり、ディスプレイ領域変換手段１２は、正対視点でのディスプレイ領域Ｄｈが既知のものとして入力され、逆ホモグラフィ行列Ｈ－１により、別視点の撮影画像Ｉ上のディスプレイ領域Ｄ＝Ｈ－１Ｄｈを算出する。なお、図４では、白色で図示した領域が、映像に含まれるディスプレイ９１の領域を示すディスプレイ領域Ｄ，Ｄｈである。
その後、ディスプレイ領域変換手段１２は、変換したディスプレイ領域Ｄを合成手段１９に出力する。
その後、ディスプレイ領域変換手段１２は、変換したディスプレイ領域Ｄを合成手段１９に出力する。
【0031】
参照画像検索手段１３は、前記した参照画像群を予め設定し、変換画像Ｉｈに含まれる出演者の顔方向を算出し、参照画像群の中から、算出した顔方向に最も近い参照画像Ｉ*
ｒを検索するものである。例えば、参照画像検索手段１３は、図５に示すように、変換画像Ｉｈに既知の顔検出及びモデル化手法を適用し、顔メッシュを生成する（参考文献１）。なお、図５では、図面を見やすくするため、出演者の顔を破線で図示した。そして、参照画像検索手段１３は、顔メッシュから全体的な顔方向を算出し、参照画像群の中で最も類似する顔方向の参照画像Ｉ*
ｒを検索する（参考文献２，３）。さらに、参照画像検索手段１３は、変換画像Ｉｈと同様、参照画像Ｉ*
ｒからも顔メッシュを生成する。
その後、参照画像検索手段１３は、検索した参照画像Ｉ* ｒ、参照画像Ｉ* ｒ及び変換画像Ｉｈの顔メッシュをホモグラフィ行列Ｇ算出手段１４に出力する。
その後、参照画像検索手段１３は、検索した参照画像Ｉ* ｒ、参照画像Ｉ* ｒ及び変換画像Ｉｈの顔メッシュをホモグラフィ行列Ｇ算出手段１４に出力する。
【0032】
参考文献１：［online］、［令和２年９月１１日検索］、インターネット〈URL：https://www.geeksforgeeks.org/opencv-facial-landmarks-and-face-detection-using-dlib-and-opencv/〉
参考文献２：［online］、［令和２年９月１１日検索］、インターネット〈URL：https://www.learnopencv.com/head-pose-estimation-using-opencv-and-dlib/>
参考文献３：［online］、［令和２年９月１１日検索］、インターネット〈URL：https://github.com/yinguobing/head-pose-estimation>
参考文献２：［online］、［令和２年９月１１日検索］、インターネット〈URL：https://www.learnopencv.com/head-pose-estimation-using-opencv-and-dlib/>
参考文献３：［online］、［令和２年９月１１日検索］、インターネット〈URL：https://github.com/yinguobing/head-pose-estimation>
【0033】
ホモグラフィ行列Ｇ算出手段１４は、変換画像Ｉｈと参照画像Ｉ*
ｒとの顔方向の関係を示すホモグラフィ行列Ｇ（第２変換行列）を算出するものである。ここでは、変換画像Ｉｈ及び参照画像Ｉ*
ｒは、ディスプレイ領域の内側が十分に類似しているものとする。図６に示すように、ホモグラフィ行列Ｇ算出手段１４は、変換画像Ｉｈの顔メッシュから、顔輪郭の内側で目鼻に被らない境界点列を抽出し、各境界点を結んだ境界∂Ωｈを生成する。また、ホモグラフィ行列Ｇ算出手段１４は、参照画像Ｉ*
ｒの顔メッシュから、顔輪郭の内側で目鼻に被らない境界点列を抽出し、各境界点を結んだ境界∂Ωｒを生成する。そして、ホモグラフィ行列Ｇ算出手段１４は、境界∂Ωｈ，∂Ωｒそれぞれを構成している点列が最小誤差で変換されるように、ホモグラフィ行列Ｇを算出する。この場合、境界∂Ωｒ，∂Ωｈは、ホモグラフィ行列Ｇを用いて、以下の式（１）の関係式を近似的に満たすことになる。
∂Ωｒ≒∂Ωｇｈ＝Ｇ∂Ωｇ （１）
∂Ωｒ≒∂Ωｇｈ＝Ｇ∂Ωｇ （１）
【0034】
その後、ホモグラフィ行列Ｇ算出手段１４は、算出したホモグラフィ行列Ｇ、境界∂Ωｒ，∂Ωｈを顔方向調整手段１５に出力する。
【0035】
顔方向調整手段１５は、前記したホモグラフィ行列Ｇにより、変換画像Ｉｈの顔内側領域の方向が参照画像Ｉ*
ｒの顔方向に一致するように調整した顔方向調整画像Ｉｇｈを生成するものである。図６に示すように、顔方向調整手段１５は、ホモグラフィ行列Ｇで変換画像Ｉｈを変換することで、顔方向調整画像Ｉｇｈを生成する。なお、変換画像Ｉｈの顔内側領域とは、境界∂Ωｈの内側領域である。
その後、顔方向調整手段１５は、生成した顔方向調整画像Ｉｇｈを顔内側領域補正手段１６に出力する。
その後、顔方向調整手段１５は、生成した顔方向調整画像Ｉｇｈを顔内側領域補正手段１６に出力する。
【0036】
顔内側領域補正手段１６は、ポアソン画像合成により、顔方向調整画像Ｉｇｈと参照画像Ｉ*
ｒとを合成することで、顔内側領域の色調を補正した顔内側領域補正画像Ｉｐ
ｇｈを生成するものである。
【0037】
ポアソン画像合成（Poisson Image Editing）とは、画像を切り貼りするとき、画像の境界をシームレスに接続するように加工を行う技術である（参考文献４）。
参考文献４：P. Perez, M. Gangnet, A. Blake (2003), “Poisson image editing”, ACM Transactions on Graphics (SIGGRAPH'03) 22 (3): pp.313-318
参考文献４：P. Perez, M. Gangnet, A. Blake (2003), “Poisson image editing”, ACM Transactions on Graphics (SIGGRAPH'03) 22 (3): pp.313-318
【0038】
このポアソン画像合成では、対象画素の４近傍の勾配を拘束条件として、上下左右方向の勾配誤差を最小化することで最適な画素値を算出する。このとき、ポアソン画像合成では、計算対象の画素をマスキングによって指定する。つまり、ポアソン画像合成は、以下の式（２）に示すように、色調変換の対象画像であるターゲット画像Ｉｔａｒｇｅｔ、色調変換の参照画像であるリファレンス画像Ｉｒｅｆｅｒｅｎｃｅ、マスキング領域を指定したマスク画像Ｉｍａｓｋを入力とし、合成画像Ｉｏｕｔを出力するという非線形変換ｆで定式化できる。
Ｉｏｕｔ＝ｆ（Ｉｔａｒｇｅｔ，Ｉｒｅｆｅｒｅｎｃｅ，Ｉｍａｓｋ） （２）
Ｉｏｕｔ＝ｆ（Ｉｔａｒｇｅｔ，Ｉｒｅｆｅｒｅｎｃｅ，Ｉｍａｓｋ） （２）
【0039】
前記した式（１）より、境界∂Ωｇｈは、参照画像Ｉ*
ｒ上で近似的に目鼻を囲んだ境界と等しくなる。図７に示すように、顔内側領域補正手段１６は、境界∂Ωｇｈの内側領域、つまり、顔内側領域をマスキングしたマスク画像Ｍｇｈを生成する。そして、顔内側領域補正手段１６は、参照画像Ｉ*
ｒの顔内側領域を顔方向調整画像Ｉｇｈに差し替えて、ポアソン画像合成を施す。顔内側領域補正手段１６でのポアソン画像合成は、以下の式（３）で表される。
Ｉｐ ｇｈ＝ｆ（Ｉｇｈ，Ｉ* ｒ，Ｍｇｈ） （３）
Ｉｐ ｇｈ＝ｆ（Ｉｇｈ，Ｉ* ｒ，Ｍｇｈ） （３）
【0040】
これにより、顔内側領域補正手段１６は、境界∂Ωｇｈで顔方向調整画像Ｉｇｈと参照画像Ｉ*
ｒとをシームレスに合成できる。その結果、顔方向調整画像Ｉｇｈは、参照画像Ｉ*
ｒの局所的色調の影響を強く受けた顔内側領域補正画像Ｉｐ
ｇｈとして合成される。
その後、顔内側領域補正手段１６は、生成した顔内側領域補正画像Ｉｐ ｇｈを顔方向復元手段１７に出力する。
その後、顔内側領域補正手段１６は、生成した顔内側領域補正画像Ｉｐ ｇｈを顔方向復元手段１７に出力する。
【0041】
顔方向復元手段１７は、逆ホモグラフィ行列Ｇ－１により、顔内側領域補正画像Ｉｐ
ｇｈの顔方向が変換画像Ｉｈの顔方向に一致するように復元した顔方向復元画像Ｉｐ
ｈを生成するものである。図８に示すように、顔方向復元手段１７は、逆ホモグラフィ行列Ｇ－１で顔内側領域補正画像Ｉｐ
ｇｈを変換することで、顔方向復元画像Ｉｐ
ｈを生成する。
その後、顔方向復元手段１７は、生成した顔方向復元画像Ｉｐ ｈを顔外側領域補正手段１８に出力する。
その後、顔方向復元手段１７は、生成した顔方向復元画像Ｉｐ ｈを顔外側領域補正手段１８に出力する。
【0042】
顔外側領域補正手段１８は、ポアソン画像合成により、顔方向復元画像Ｉｐ
ｈと変換画像Ｉｈとを合成することで、顔外側領域の色調を補正した顔外側領域補正画像Ｉｑ
ｈを生成するものである。図９に示すように、顔外側領域補正手段１８は、境界∂Ωｈの外側領域、つまり、顔外側領域をマスキングしたマスク画像Ｍｈを生成する。そして、顔外側領域補正手段１８は、顔方向復元画像Ｉｐ
ｈの顔外側領域を変換画像Ｉｈに差し替えて、ポアソン画像合成を施す。顔外側領域補正手段１８でのポアソン画像合成は、以下の式（４）で表される。
Ｉｑ ｈ＝ｆ（Ｉｈ，Ｉｐ ｈ，Ｍｈ） （４）
Ｉｑ ｈ＝ｆ（Ｉｈ，Ｉｐ ｈ，Ｍｈ） （４）
【0043】
その後、顔外側領域補正手段１８は、生成した顔外側領域補正画像Ｉｑ
ｈを合成手段１９に出力する。
【0044】
合成手段１９は、顔外側領域補正画像Ｉｑ
ｈに基づいて、出演者の顔の色調を補正した色調補正画像を生成するものである。具体的には、合成手段１９は、逆ホモグラフィ行列Ｈ－１により、顔外側領域補正画像Ｉｑ
ｈを別視点の顔外側領域補正画像Ｉｑに変換する。この顔外側領域補正画像Ｉｑは、画像全体の色調が補正されている。そこで、合成手段１９は、別視点の顔外側領域補正画像Ｉｑをディスプレイ領域Ｄでマスクする。さらに、合成手段１９は、マスクした顔外側領域補正画像Ｉｑと撮影画像Ｉとを合成することで、ディスプレイ領域Ｄの内側のみ色調が補正された色調補正画像を生成する。
その後、合成手段１９は、生成した色調補正画像を外部（例えば、スイッチャ）に出力する。
その後、合成手段１９は、生成した色調補正画像を外部（例えば、スイッチャ）に出力する。
【0045】
［色調補正装置の動作］
図１０を参照し、色調補正装置１の動作について説明する。
図１０に示すように、ステップＳ０において、色調補正装置１は、事前準備を行う。
ステップＳ１において、ホモグラフィ行列Ｈ算出手段１０は、マーカ９２からホモグラフィ行列Ｈを算出する。
ステップＳ２において、変換画像生成手段１１は、ホモグラフィ行列Ｈで変換画像Ｉｈを生成する。
ステップＳ３において、ディスプレイ領域変換手段１２は、逆ホモグラフィ行列Ｈ－１でディスプレイ領域Ｄを生成する。
なお、ステップＳ２，Ｓ３の処理は、並列で実行できる。
図１０を参照し、色調補正装置１の動作について説明する。
図１０に示すように、ステップＳ０において、色調補正装置１は、事前準備を行う。
ステップＳ１において、ホモグラフィ行列Ｈ算出手段１０は、マーカ９２からホモグラフィ行列Ｈを算出する。
ステップＳ２において、変換画像生成手段１１は、ホモグラフィ行列Ｈで変換画像Ｉｈを生成する。
ステップＳ３において、ディスプレイ領域変換手段１２は、逆ホモグラフィ行列Ｈ－１でディスプレイ領域Ｄを生成する。
なお、ステップＳ２，Ｓ３の処理は、並列で実行できる。
【0046】
ステップＳ４において、参照画像検索手段１３は、顔メッシュを生成し、参照画像Ｉ*
ｒを検索する。
ステップＳ５において、ホモグラフィ行列Ｇ算出手段１４は、ホモグラフィ行列Ｇを算出する。
ステップＳ６において、顔方向調整手段１５は、ホモグラフィ行列Ｇで顔方向調整画像Ｉｇｈを生成する。
ステップＳ７において、顔内側領域補正手段１６は、ポアソン画像合成により、顔内側領域の色調を補正する。
ステップＳ５において、ホモグラフィ行列Ｇ算出手段１４は、ホモグラフィ行列Ｇを算出する。
ステップＳ６において、顔方向調整手段１５は、ホモグラフィ行列Ｇで顔方向調整画像Ｉｇｈを生成する。
ステップＳ７において、顔内側領域補正手段１６は、ポアソン画像合成により、顔内側領域の色調を補正する。
【0047】
ステップＳ８において、顔方向復元手段１７は、逆ホモグラフィ行列Ｇ－１で顔方向復元画像Ｉｐ
ｈを生成する。
ステップＳ９において、顔外側領域補正手段１８は、ポアソン画像合成により、顔外側領域の色調を補正する。
ステップＳ１０において、合成手段１９は、逆ホモグラフィ行列Ｈ－１で顔外側領域補正画像Ｉｑを生成する。
ステップＳ１１において、合成手段１９は、ディスプレイ領域Ｄをマスクとして、撮影画像Ｉと合成する。
ステップＳ９において、顔外側領域補正手段１８は、ポアソン画像合成により、顔外側領域の色調を補正する。
ステップＳ１０において、合成手段１９は、逆ホモグラフィ行列Ｈ－１で顔外側領域補正画像Ｉｑを生成する。
ステップＳ１１において、合成手段１９は、ディスプレイ領域Ｄをマスクとして、撮影画像Ｉと合成する。
【0048】
［作用・効果］
以上のように、色調補正装置１は、カメラ９０が移動したときの顔方向に応じた参照画像Ｉ* ｒを検索し、検索した参照画像Ｉ* ｒを基準として、視聴者が注目しやすい出演者の顔の色調を補正する。
さらに、色調補正装置１は、顔内側領域と顔外側領域の二段階でポアソン画像合成を適用するので、顔を基準として高精度に色調を補正できる。
以上のように、色調補正装置１は、カメラ９０が移動したときの顔方向に応じた参照画像Ｉ* ｒを検索し、検索した参照画像Ｉ* ｒを基準として、視聴者が注目しやすい出演者の顔の色調を補正する。
さらに、色調補正装置１は、顔内側領域と顔外側領域の二段階でポアソン画像合成を適用するので、顔を基準として高精度に色調を補正できる。
【0049】
テレビ番組において出演者がディスプレイ越しにリモート出演する場合、ディスプレイ越しに映る色調がスタジオ内の色調とズレが生じて不自然になる場合がある。このような場合でも、色調補正装置１は、テレビ番組においてディスプレイ越しの出演者とスタジオ中の出演者とを合成できる。
【0050】
ここで、ニューラルネットワークを用いて色調を補正する手法も考えられる。ニューラルネットワークでは、色調の変換を予め学習させる必要性があり、学習素材の取得コスト及び学習コスト、学習素材から離れた素材が入力されたときに誤変換する可能性が高くなってしまう。しかし、色調補正装置１では、このような問題が生じない。
【0051】
なお、第１実施形態では、顔内側領域にポアソン画像合成を適用した後、顔外側領域にポアソン画像合成を適用する二段階処理として説明した。実際には、一段階目のポアソン画像合成の途中から二段階目のポアソン画像合成を並行処理することもできる。一段階目のポアソン画像合成で、境界∂Ωｇｈから数ピクセル分内側の領域の処理が終われば、その画素情報を境界条件として二段階目の処理を開始できる。このような並列処理により、色調補正装置１は、高速化を図ることができる。
【0052】
（第２実施形態）
［色調補正装置の構成］
図１１を参照し、第２実施形態に係る色調補正装置１Ｂの構成について、第１実施形態と異なる点を説明する。
第１実施形態では、ポアソン画像合成を顔内側領域と顔外側領域との２段階で適用しているが、第２実施形態では、全体的な色調補正のみを行う点が第１実施形態と異なる。
［色調補正装置の構成］
図１１を参照し、第２実施形態に係る色調補正装置１Ｂの構成について、第１実施形態と異なる点を説明する。
第１実施形態では、ポアソン画像合成を顔内側領域と顔外側領域との２段階で適用しているが、第２実施形態では、全体的な色調補正のみを行う点が第１実施形態と異なる。
【0053】
色調補正装置１Ｂは、図１１に示すように、ホモグラフィ行列Ｈ算出手段１０と、変換画像生成手段１１と、ディスプレイ領域変換手段１２と、参照画像検索手段１３と、色情報ベクトル取得手段２０と、変換行列算出手段２１と、色調補正手段２２と、合成手段２３とを備える。
なお、ホモグラフィ行列Ｈ算出手段１０、変換画像生成手段１１、ディスプレイ領域変換手段１２及び参照画像検索手段１３は、第１実施形態と同様のため、説明を省略する。
なお、ホモグラフィ行列Ｈ算出手段１０、変換画像生成手段１１、ディスプレイ領域変換手段１２及び参照画像検索手段１３は、第１実施形態と同様のため、説明を省略する。
【0054】
色情報ベクトル取得手段２０は、変換画像Ｉｈの顔内側領域∂Ωｈから第１色情報の列ベクトルＶｈを取得し、参照画像Ｉ*
ｒの顔内側領域∂Ω＊から第２色情報の列ベクトルＶ＊を取得するものである。
以後、変換画像Ｉｈの顔内側領域を変換元領域と呼び、参照画像Ｉ* ｒの顔内側領域を変換先領域と呼ぶ場合がある。
以後、変換画像Ｉｈの顔内側領域を変換元領域と呼び、参照画像Ｉ* ｒの顔内側領域を変換先領域と呼ぶ場合がある。
【0055】
具体的には、色情報ベクトル取得手段２０は、列ベクトルＶ＊，Ｖｈが属する変換元領域及び変換先領域の画素から、ｎ個の色情報ベクトルｖ＊，ｖｈをランダムサンプリングする。この色情報ベクトルｖ＊，ｖｈは、ＲＧＢの３次元で表される。そして、色情報ベクトル取得手段２０は、ｎ個の色情報ベクトルｖ＊，ｖｈで構成されている色情報の列ベクトルＶ＊＝（ｖ＊
１，…，ｖ＊
ｎ），Ｖｈ＝（ｖｈ１，…，ｖｈｎ）を生成する。
その後、色情報ベクトル取得手段２０は、生成した色情報の列ベクトルＶｈ，Ｖ＊を変換行列算出手段２１に出力する。
その後、色情報ベクトル取得手段２０は、生成した色情報の列ベクトルＶｈ，Ｖ＊を変換行列算出手段２１に出力する。
【0056】
変換行列算出手段２１は、第１色情報の列ベクトルＶｈと変換行列（第３変換行列）Ａとの積が第２色情報の列ベクトルＶ＊に等しくなる線形連立方程式を解くことで、変換行列Ａを算出するものである。例えば、変換行列算出手段２１は、線形連立方程式Ｖ＊＝ＡＶｈを生成し、生成した線形連立方程式を近似的に満たす変換行列Ａを最小二乗法で算出する。
その後、色情報ベクトル取得手段２０は、算出した変換行列Ａを色調補正手段２２に出力する。
その後、色情報ベクトル取得手段２０は、算出した変換行列Ａを色調補正手段２２に出力する。
【0057】
色調補正手段２２は、変換行列Ａにより、変換画像Ｉｈの色調を補正するものである。具体的には、色調補正手段２２は、変換行列Ａを用いて、変換画像Ｉｈの全画素の画素値を変換する。
その後、色情報ベクトル取得手段２０は、色調を補正後の変換画像Ｉｈを合成手段２３に出力する。
その後、色情報ベクトル取得手段２０は、色調を補正後の変換画像Ｉｈを合成手段２３に出力する。
【0058】
合成手段２３は、色調補正後の変換画像Ｉｈに基づいて、出演者の顔の色調を補正した色調補正画像を生成するものである。なお、合成手段２３は、第１実施形態と同様の手法で色調補正画像を生成できるので、これ以上の説明を省略する。
【0059】
【0060】
ステップＳ２０において、色情報ベクトル取得手段２０は、変換先領域から第２色情報の列ベクトルＶ＊をランダムサンプリングする。
ステップＳ２１において、色情報ベクトル取得手段２０は、変換元領域から第１色情報の列ベクトルＶｈをランダムサンプリングする。
ステップＳ２２において、変換行列算出手段２１は、線形連立方程式Ｖ＊＝ＡＶｈを生成する。
ステップＳ２１において、色情報ベクトル取得手段２０は、変換元領域から第１色情報の列ベクトルＶｈをランダムサンプリングする。
ステップＳ２２において、変換行列算出手段２１は、線形連立方程式Ｖ＊＝ＡＶｈを生成する。
【0061】
ステップＳ２３において、変換行列算出手段２１は、線形連立方程式Ｖ＊＝ＡＶｈを解き、変換行列Ａを算出する。
ステップＳ２４において、色調補正手段２２は、変換行列Ａを用いて、変換画像Ｉｈの全画素の色調を変換する。
ステップＳ２５において、合成手段２３は、ディスプレイ領域Ｄをマスクとして、撮影画像Ｉと合成する。
ステップＳ２４において、色調補正手段２２は、変換行列Ａを用いて、変換画像Ｉｈの全画素の色調を変換する。
ステップＳ２５において、合成手段２３は、ディスプレイ領域Ｄをマスクとして、撮影画像Ｉと合成する。
【0062】
［作用・効果］
以上のように、色調補正装置１Ｂは、カメラ９０が移動したときの顔方向に応じた参照画像Ｉ* ｒを検索し、検索した参照画像Ｉ* ｒを基準として、視聴者が注目しやすい出演者の顔の色調を補正する。
さらに、色調補正装置１Ｂは、変換画像Ｉｈの全画素を一括で変換できるので、画素毎の逐次処理が必要なポアソン画像合成に比べ、処理の高速化を図ることができる。
以上のように、色調補正装置１Ｂは、カメラ９０が移動したときの顔方向に応じた参照画像Ｉ* ｒを検索し、検索した参照画像Ｉ* ｒを基準として、視聴者が注目しやすい出演者の顔の色調を補正する。
さらに、色調補正装置１Ｂは、変換画像Ｉｈの全画素を一括で変換できるので、画素毎の逐次処理が必要なポアソン画像合成に比べ、処理の高速化を図ることができる。
【0063】
以上、本発明の実施形態を詳述してきたが、本発明はこれに限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更なども含まれる。
【0064】
本発明は、コンピュータが備えるＣＰＵ、メモリ、ハードディスク等のハードウェア資源を、前記した色調補正装置として動作させるプログラムで実現することもできる。これらのプログラムは、通信回線を介して配布してもよく、ＣＤ－ＲＯＭやフラッシュメモリ等の記録媒体に書き込んで配布してもよい。
【産業上の利用可能性】
【0065】
例えば、本発明は、制作スタジオ、中継現場などの映像制作の現場にて、ディスプレイ越しのリモート出演者の色調の不自然さを補正するときに利用できる。また、本発明は、２つの映像を窓枠合成する際、素材映像の色調が異なる場合にも利用できる。
【符号の説明】
【0066】
１，１Ｂ 色調補正装置
１０ ホモグラフィ行列Ｈ算出手段（第１変換行列算出手段）
１１ 変換画像生成手段
１２ディスプレイ領域変換手段
１３ 参照画像検索手段
１４ ホモグラフィ行列Ｇ算出手段
１５ 顔方向調整手段
１６顔内側領域補正手段
１７ 顔方向復元手段
１８ 顔外側領域補正手段
１９，２３ 合成手段
２０ 色情報ベクトル取得手段
２１ 変換行列算出手段
２２ 色調補正手段
１０ ホモグラフィ行列Ｈ算出手段（第１変換行列算出手段）
１１ 変換画像生成手段
１２ディスプレイ領域変換手段
１３ 参照画像検索手段
１４ ホモグラフィ行列Ｇ算出手段
１５ 顔方向調整手段
１６顔内側領域補正手段
１７ 顔方向復元手段
１８ 顔外側領域補正手段
１９，２３ 合成手段
２０ 色情報ベクトル取得手段
２１ 変換行列算出手段
２２ 色調補正手段
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】