(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024158883
(43)【公開日】2024-11-08
(54)【発明の名称】色補正装置およびそのプログラム
(51)【国際特許分類】
H04N 9/64 20230101AFI20241031BHJP
H04N 1/48 20060101ALI20241031BHJP
H04N 1/60 20060101ALI20241031BHJP
【ＦＩ】
H04N9/64 A
H04N1/48
H04N1/60
【審査請求】未請求
【請求項の数】6
【出願形態】ＯＬ
(21)【出願番号】P 2023074495
(22)【出願日】2023-04-28
(71)【出願人】
【識別番号】000004352
【氏名又は名称】日本放送協会
(74)【代理人】
【識別番号】110001807
【氏名又は名称】弁理士法人磯野国際特許商標事務所
(72)【発明者】
【氏名】三須 俊枝
【テーマコード（参考）】
5C066
【Ｆターム（参考）】
5C066AA01
5C066BA20
5C066CA08
5C066CA17
(57)【要約】
【課題】多視点カメラで撮影された画像に対して、チャートを用いることなく、色味を合わせることが可能な色補正装置を提供する。
【解決手段】色補正装置１は、三次元形状モデルから三次元点を選択する三次元点選択部１０と、基準撮影画像を参照して、三次元点に対応する基準撮影画像の画素値を基準画素値として特定する基準撮影画像参照部１１と、対象撮影画像を参照して、三次元点に対応する対象撮影画像の画素値を対象画素値として特定する対象撮影画像参照部１２と、基準画素値と対象画素値とを対応付けた画素値対を生成する画素値対生成部１３と、複数の画素値対を回帰分析し、変換係数を算出する回帰演算部１５と、変換係数を用いて、対象撮影画像を変換して色補正済画像を生成する色変換部１６と、を備える。
【選択図】図１
【解決手段】色補正装置１は、三次元形状モデルから三次元点を選択する三次元点選択部１０と、基準撮影画像を参照して、三次元点に対応する基準撮影画像の画素値を基準画素値として特定する基準撮影画像参照部１１と、対象撮影画像を参照して、三次元点に対応する対象撮影画像の画素値を対象画素値として特定する対象撮影画像参照部１２と、基準画素値と対象画素値とを対応付けた画素値対を生成する画素値対生成部１３と、複数の画素値対を回帰分析し、変換係数を算出する回帰演算部１５と、変換係数を用いて、対象撮影画像を変換して色補正済画像を生成する色変換部１６と、を備える。
【選択図】図１
【特許請求の範囲】
【請求項1】
多視点カメラで撮影された複数の撮影画像から生成された三次元点群である三次元形状モデルを用いて、前記撮影画像の色を補正する色補正装置であって、
前記三次元形状モデルから複数の三次元点を選択する三次元点選択部と、
前記撮影画像のうちの予め定めた基準となる基準撮影画像を参照して、選択された前記三次元点に対応する前記基準撮影画像の画素値を基準画素値として特定する基準撮影画像参照部と、
前記撮影画像のうちの補正を行う対象撮影画像を参照して、選択された前記三次元点に対応する前記対象撮影画像の画素値を対象画素値として特定する対象撮影画像参照部と、
同じ前記三次元点に対応する前記基準画素値と前記対象画素値とを対応付けた画素値対を生成する画素値対生成部と、
複数の前記画素値対を回帰分析し、前記対象画素値を前記基準画素値に近似して変換させるための変換係数を算出する回帰演算部と、
前記変換係数を用いて、前記対象撮影画像の各画素の画素値を変換することで、色補正済画像を生成する色変換部と、
を備えることを特徴とする色補正装置。
前記三次元形状モデルから複数の三次元点を選択する三次元点選択部と、
前記撮影画像のうちの予め定めた基準となる基準撮影画像を参照して、選択された前記三次元点に対応する前記基準撮影画像の画素値を基準画素値として特定する基準撮影画像参照部と、
前記撮影画像のうちの補正を行う対象撮影画像を参照して、選択された前記三次元点に対応する前記対象撮影画像の画素値を対象画素値として特定する対象撮影画像参照部と、
同じ前記三次元点に対応する前記基準画素値と前記対象画素値とを対応付けた画素値対を生成する画素値対生成部と、
複数の前記画素値対を回帰分析し、前記対象画素値を前記基準画素値に近似して変換させるための変換係数を算出する回帰演算部と、
前記変換係数を用いて、前記対象撮影画像の各画素の画素値を変換することで、色補正済画像を生成する色変換部と、
を備えることを特徴とする色補正装置。
【請求項2】
前記基準撮影画像参照部は、
前記基準撮影画像を撮影したカメラのカメラパラメータを用いて、前記三次元点を仮想的に画像面に投影し、投影位置の画像座標を算出する第一投影部と、
前記基準撮影画像を参照して、前記第一投影部で算出された画像座標における画素値を前記基準画素値として特定する第一画素値参照部と、を備え、
前記対象撮影画像参照部は、
前記対象撮影画像を撮影したカメラのカメラパラメータを用いて、前記三次元点を仮想的に画像面に投影し、投影位置の画像座標を算出する第二投影部と、
前記対象撮影画像を参照して、前記第二投影部で算出された画像座標における画素値を前記対象画素値として特定する第二画素値参照部と、
を備えることを特徴とする請求項１に記載の色補正装置。
前記基準撮影画像を撮影したカメラのカメラパラメータを用いて、前記三次元点を仮想的に画像面に投影し、投影位置の画像座標を算出する第一投影部と、
前記基準撮影画像を参照して、前記第一投影部で算出された画像座標における画素値を前記基準画素値として特定する第一画素値参照部と、を備え、
前記対象撮影画像参照部は、
前記対象撮影画像を撮影したカメラのカメラパラメータを用いて、前記三次元点を仮想的に画像面に投影し、投影位置の画像座標を算出する第二投影部と、
前記対象撮影画像を参照して、前記第二投影部で算出された画像座標における画素値を前記対象画素値として特定する第二画素値参照部と、
を備えることを特徴とする請求項１に記載の色補正装置。
【請求項3】
前記第一投影部および前記第二投影部は、陰面処理により、前記三次元点が可視点であるか否かを判定し、
前記画素値対生成部は、前記第一投影部および前記第二投影部の両方で可視点であると判定された前記三次元点に対応する前記基準画素値と前記対象画素値とを対応付けることを特徴とする請求項２に記載の色補正装置。
前記画素値対生成部は、前記第一投影部および前記第二投影部の両方で可視点であると判定された前記三次元点に対応する前記基準画素値と前記対象画素値とを対応付けることを特徴とする請求項２に記載の色補正装置。
【請求項4】
前記第一画素値参照部は、前記第一投影部で算出された画像座標の成分が非整数のとき、当該画像座標近傍の前記基準撮影画像の画素値を参照して補間を行うことで、前記基準画素値を算出し、
前記第二画素値参照部は、前記第二投影部で算出された画像座標の成分が非整数のとき、当該画像座標近傍の前記対象撮影画像の画素値を参照して補間を行うことで、前記基準画素値を算出することを特徴とする請求項２に記載の色補正装置。
前記第二画素値参照部は、前記第二投影部で算出された画像座標の成分が非整数のとき、当該画像座標近傍の前記対象撮影画像の画素値を参照して補間を行うことで、前記基準画素値を算出することを特徴とする請求項２に記載の色補正装置。
【請求項5】
前記回帰演算部は、線形回帰により前記変換係数を算出することを特徴とする請求項１から請求項４のいずれか一項に記載の色補正装置。
【請求項6】
コンピュータを、請求項１に記載の色補正装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、多視点カメラで撮影された複数の撮影画像の色を補正する色補正装置およびそのプログラムに関する。
【背景技術】
【0002】
多視点カメラで撮影された画像から被写体の三次元形状モデルを生成するフォトグラメトリ技術がある。
このフォトグラメトリ技術において、三次元形状モデルに対して色柄（テクスチャ）を付与する際には、多視点カメラで撮影された画像の画素値を参照して貼り付けること（マッピング）が行われている。このとき、三次元形状の部位によっては、異なる視点のカメラで撮影された画像の画素値が使用されることがある。例えば、被写体の各部位にできる限り正対する視点のカメラの画素値を使用することが行われる。
このとき、カメラ間の色合わせが不完全であると、撮影された画像間の対応する部位の色が異なるため、生成された三次元形状モデルをレンダリングした際に、部位ごとにパッチワーク状に色味の差異を生じたＣＧ（Computer Graphics）が生成されてしまう可能性がある。
このフォトグラメトリ技術において、三次元形状モデルに対して色柄（テクスチャ）を付与する際には、多視点カメラで撮影された画像の画素値を参照して貼り付けること（マッピング）が行われている。このとき、三次元形状の部位によっては、異なる視点のカメラで撮影された画像の画素値が使用されることがある。例えば、被写体の各部位にできる限り正対する視点のカメラの画素値を使用することが行われる。
このとき、カメラ間の色合わせが不完全であると、撮影された画像間の対応する部位の色が異なるため、生成された三次元形状モデルをレンダリングした際に、部位ごとにパッチワーク状に色味の差異を生じたＣＧ（Computer Graphics）が生成されてしまう可能性がある。
【0003】
従来、このような画像間の色の違いを補正するため、マクベスチャート等の複数の所定の色で塗られたチャートをカメラで撮影し、各塗色が所定の画素値として出力されるように、撮影された画像を補正する手法が開示されている（例えば、特許文献１参照）。
また、画像の色を補正するため、画像中の肌色部分やグレー部分を検出し、ホワイトバランスを調整する手法が開示されている（例えば、特許文献２参照）。
また、画像の色を補正するため、画像中の肌色部分やグレー部分を検出し、ホワイトバランスを調整する手法が開示されている（例えば、特許文献２参照）。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特許第６４４３２３０号公報
【特許文献2】特許第３８１９３０２号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
チャートを用いて色を補正する手法は、さまざまな色相に対して色合わせを行うことが可能である。しかし、この手法は、専用のチャートを用いなければならないため、汎用性に欠けるという問題がある。また、この補正は、色補正を行う被写体領域とチャート領域とを１つの画像として撮影し、被写体領域の色補正を行っている。そのため、この手法は、補正対象の画像内において、どこにチャートの各塗色があるかを指定または検出しなければならないという手間がある。
また、ホワイトバランスを調整する手法は、さまざまな色相に対して一様な色合わせを行うため、特定の色相について必ずしも満足のいく色合わせが実現できるとは限らないという問題がある。
また、ホワイトバランスを調整する手法は、さまざまな色相に対して一様な色合わせを行うため、特定の色相について必ずしも満足のいく色合わせが実現できるとは限らないという問題がある。
【0006】
そこで、本発明は、多視点カメラで撮影された画像に対して、チャートを用いることなく、色味を合わせることが可能な色補正装置およびそのプログラムを提供することを課題とする。
【課題を解決するための手段】
【0007】
前記課題を解決するため、本発明に係る色補正装置は、多視点カメラで撮影された複数の撮影画像から生成された三次元点群である三次元形状モデルを用いて、前記撮影画像の色を補正する色補正装置であって、三次元点選択部と、基準撮影画像参照部と、対象撮影画像参照部と、画素値対生成部と、回帰演算部と、色変換部と、を備える構成とした。
【0008】
かかる構成において、色補正装置は、三次元点選択部によって、三次元形状モデルから複数の三次元点を選択する。この三次元点の選択は、三次元点群の中から人為的に選択してもよいし、三次元点群の所定の間隔やランダムな間隔で選択してもよい。
そして、色補正装置は、基準撮影画像参照部によって、撮影画像のうちの予め定めた基準となる基準撮影画像を参照して、選択された三次元点に対応する基準撮影画像の画素値を基準画素値として特定する。
また、色補正装置は、対象撮影画像参照部によって、撮影画像のうちの補正を行う対象撮影画像を参照して、選択された三次元点に対応する対象撮影画像の画素値を対象画素値として特定する。
そして、色補正装置は、基準撮影画像参照部によって、撮影画像のうちの予め定めた基準となる基準撮影画像を参照して、選択された三次元点に対応する基準撮影画像の画素値を基準画素値として特定する。
また、色補正装置は、対象撮影画像参照部によって、撮影画像のうちの補正を行う対象撮影画像を参照して、選択された三次元点に対応する対象撮影画像の画素値を対象画素値として特定する。
【0009】
そして、色補正装置は、画素値対生成部によって、同じ三次元点に対応する基準画素値と対象画素値とを対応付けた画素値対を生成する。
そして、色補正装置は、回帰演算部によって、複数の画素値対を回帰分析し、対象画素値を基準画素値に近似して変換させるための変換係数を算出する。
これによって、回帰演算部は、基準画素値と対象画素値とで色味が異なる場合に、色味を合わせるための変換係数を生成することができる。
そして、色補正装置は、回帰演算部によって、複数の画素値対を回帰分析し、対象画素値を基準画素値に近似して変換させるための変換係数を算出する。
これによって、回帰演算部は、基準画素値と対象画素値とで色味が異なる場合に、色味を合わせるための変換係数を生成することができる。
【0010】
そして、色補正装置は、色変換部によって、変換係数を用いて、対象撮影画像の各画素の画素値を変換する。
これによって、色補正装置は、対象撮影画像の色味を基準撮影画像の色味に合わせた色補正済画像を生成することができる。
なお、色補正装置は、コンピュータを、色補正装置として機能させるためのプログラムで動作させることができる。
これによって、色補正装置は、対象撮影画像の色味を基準撮影画像の色味に合わせた色補正済画像を生成することができる。
なお、色補正装置は、コンピュータを、色補正装置として機能させるためのプログラムで動作させることができる。
【発明の効果】
【0011】
本発明によれば、色味の違いを回帰分析で解析することができるため、チャートを用いることなく、多視点カメラで撮影された画像の色味を合わせることができる。
【図面の簡単な説明】
【0012】
【図1】本発明の実施形態に係る色補正装置の構成を示すブロック構成図である。
【図2】三次元点群で構成された三次元形状モデルを模式的に示す図である。
【図3】三次元形状モデルを生成するための多視点カメラを配置したボリュメトリックスタジオの例を示す図である。
【図4】投影部の処理を説明するための説明図である。
【図5】本発明の実施形態に係る色補正装置の動作を示すフローチャートである。
【図6】色補正装置が参照する参照画像の一例であって、（ａ）は基準撮影画像、（ｂ）は対象撮影画像を示す。
【図7】三次元形状モデルの三次元点から画素値対を生成するまでの処理を模式的に示す図である。
【図8】色補正前の対象撮影画像と色補正後の色補正済画像の一例を示す図である。
【発明を実施するための形態】
【0013】
以下、本発明の実施形態について図面を参照して説明する。
［色補正装置の構成］
図１を参照して、本発明の実施形態に係る色補正装置１の構成について説明する。
色補正装置１は、多視点カメラで撮影された個々の撮影画像について、基準撮影画像の色味（色合い）に合わせるように、対象撮影画像の色を補正するものである。
［色補正装置の構成］
図１を参照して、本発明の実施形態に係る色補正装置１の構成について説明する。
色補正装置１は、多視点カメラで撮影された個々の撮影画像について、基準撮影画像の色味（色合い）に合わせるように、対象撮影画像の色を補正するものである。
【0014】
基準撮影画像は、色補正を行うための基準となるカメラで撮影された画像である。
対象撮影画像は、基準撮影画像を撮影したカメラ以外のカメラで撮影された色補正を行う対象の画像である。
なお、多視点カメラの複数のカメラのうちで基準撮影画像を撮影するカメラは、予め定めたカメラであってもよいし、人が撮影画像を見て決定してもよい。
対象撮影画像は、基準撮影画像を撮影したカメラ以外のカメラで撮影された色補正を行う対象の画像である。
なお、多視点カメラの複数のカメラのうちで基準撮影画像を撮影するカメラは、予め定めたカメラであってもよいし、人が撮影画像を見て決定してもよい。
【0015】
色補正装置１は、三次元点選択部１０と、基準撮影画像参照部１１と、対象撮影画像参照部１２と、画素値対生成部１３と、画素値対記憶部１４と、回帰演算部１５と、色変換部１６と、を備える。
【0016】
三次元点選択部１０は、三次元点群で構成された三次元形状モデルから一点ずつ三次元点を選択するものである。
図２に示すように、三次元形状モデルＭは、被写体の形状を三次元点群（三次元点の集合）で構成したものである。三次元点群を構成する各三次元点には、三次元（ｘｙｚ）空間の座標値が対応付けられている。
三次元形状モデルは、例えば、図３に示すように、予め定めた複数の視点位置ＰＯにカメラＣ（Ｃ１，Ｃ２，…）を配置したボリュメトリックスタジオ１００において、被写体Ｔを撮影し、複数の撮影画像から、公知のフォトグラメトリ技術により生成することができる。なお、図３において、カメラＣは２台のみ図示し、その他は省略している。
図２に示すように、三次元形状モデルＭは、被写体の形状を三次元点群（三次元点の集合）で構成したものである。三次元点群を構成する各三次元点には、三次元（ｘｙｚ）空間の座標値が対応付けられている。
三次元形状モデルは、例えば、図３に示すように、予め定めた複数の視点位置ＰＯにカメラＣ（Ｃ１，Ｃ２，…）を配置したボリュメトリックスタジオ１００において、被写体Ｔを撮影し、複数の撮影画像から、公知のフォトグラメトリ技術により生成することができる。なお、図３において、カメラＣは２台のみ図示し、その他は省略している。
【0017】
三次元点選択部１０は、三次元形状モデルから一点ずつ選択する場所を変えて複数回三次元点を選択する。
なお、三次元点選択部１０は、外部から人為的に指定された三次元点を選択してもよいし、外部の標本化装置２によって所定の間隔やランダムな間隔で指定された三次元点を選択してもよい。
ここでは、標本化装置２が、順次、三次元点を指定するものとして説明する。
三次元点選択部１０は、選択した三次元点の座標値を、基準撮影画像参照部１１および対象撮影画像参照部１２に出力する。
以下、三次元点選択部１０において、ｉ回め（ｉは１以上の整数）に選択された三次元点の三次元座標をｘｉ∈Ｒ３（実三次元数空間）とする。
なお、三次元点選択部１０は、外部から人為的に指定された三次元点を選択してもよいし、外部の標本化装置２によって所定の間隔やランダムな間隔で指定された三次元点を選択してもよい。
ここでは、標本化装置２が、順次、三次元点を指定するものとして説明する。
三次元点選択部１０は、選択した三次元点の座標値を、基準撮影画像参照部１１および対象撮影画像参照部１２に出力する。
以下、三次元点選択部１０において、ｉ回め（ｉは１以上の整数）に選択された三次元点の三次元座標をｘｉ∈Ｒ３（実三次元数空間）とする。
【0018】
基準撮影画像参照部１１は、基準撮影画像を参照して、三次元点選択部１０で選択された三次元点に対応する基準撮影画像の画素値（色）を特定するものである。
基準撮影画像参照部１１は、投影部１１０と、画素値参照部１１１と、を備える。
基準撮影画像参照部１１は、投影部１１０と、画素値参照部１１１と、を備える。
【0019】
投影部（第一投影部）１１０は、基準撮影画像を撮影したカメラのカメラパラメータ（基準カメラパラメータ）を用いて、三次元点選択部１０で選択された三次元点を仮想的に基準撮影画像と同じ画像面に投影し、投影位置の画像座標（二次元座標）を算出するものである。
すなわち、投影部１１０は、図４に示すように、基準撮影画像を撮影したカメラと同じ基準カメラパラメータ（カメラ位置、パン、チルト、ロール、焦点距離等）の仮想カメラＣＶによって、三次元形状モデルＭの三次元点Ｐ３Ｄを、仮想カメラＣＶの二次元の画像面（撮像面）ＩＰに投影し、投影位置Ｐ２Ｄの画像座標を算出する。
すなわち、投影部１１０は、図４に示すように、基準撮影画像を撮影したカメラと同じ基準カメラパラメータ（カメラ位置、パン、チルト、ロール、焦点距離等）の仮想カメラＣＶによって、三次元形状モデルＭの三次元点Ｐ３Ｄを、仮想カメラＣＶの二次元の画像面（撮像面）ＩＰに投影し、投影位置Ｐ２Ｄの画像座標を算出する。
【0020】
ここで、基準カメラパラメータをＰｓｔｄ、三次元点Ｐ３Ｄの三次元座標をｘｉ、基準カメラパラメータＰｓｔｄに基づく投影変換を関数ｆ（Ｐｓｔｄ，ｘ）で表すと、投影部１１０は、以下の式（１）により、画像面ＩＰにおける投影位置Ｐ２Ｄの画像座標ｙｉ∈Ｒ２（実二次元数空間）を算出する。
【0021】
【数1】
【0022】
例えば、基準カメラパラメータＰｓｔｄが透視投影変換行列である場合、前記式（１）の関数ｆは、以下の式（２）となる。
【0023】
【数2】
【0024】
投影部１１０は、投影後の画像面の画像座標ｙｉを画素値参照部１１１に出力する。
なお、投影部１１０は、図４に示した三次元点選択部１０で選択された三次元点Ｐ３Ｄが、仮想カメラＣＶの視点ＶＰから見える点（可視点）であるか否かを判定し、可視点ではない（不可視点である）場合、画像面への投影を行わず、対応する画素値が存在しない旨を、画素値対生成部１３に出力する。
なお、投影部１１０は、図４に示した三次元点選択部１０で選択された三次元点Ｐ３Ｄが、仮想カメラＣＶの視点ＶＰから見える点（可視点）であるか否かを判定し、可視点ではない（不可視点である）場合、画像面への投影を行わず、対応する画素値が存在しない旨を、画素値対生成部１３に出力する。
【0025】
この可視点の判定は、投影部１１０が視点ＶＰから三次元形状モデルＭの各三次元点Ｐ３Ｄ（好ましくはすべての三次元点）までの距離または奥行きを演算し、陰面処理（例えば、Ｚバッファ処理）を行うことで、判定することができる。
ただし、三次元点選択部１０において、例えば、人為的に可視点のみを三次元点として選択する場合、投影部１１０における可視点の判定は必須ではない。
ただし、三次元点選択部１０において、例えば、人為的に可視点のみを三次元点として選択する場合、投影部１１０における可視点の判定は必須ではない。
【0026】
画素値参照部（第一画素値参照部）１１１は、基準撮影画像を参照して、投影部１１０で投影された画像座標ｙｉにおける画素値（基準画素値）を特定するものである。
画素値参照部１１１は、画像座標ｙｉ＝［ξｉ，ηｉ］Ｔ（Ｔは転置を示す）の成分が整数であれば、その画素値を、基準撮影画像の画像座標ｙｉの画素値として特定する。
画素値参照部１１１は、画像座標ｙｉ＝［ξｉ，ηｉ］Ｔ（Ｔは転置を示す）の成分が整数であれば、その画素値を、基準撮影画像の画像座標ｙｉの画素値として特定する。
【0027】
また、画素値参照部１１１は、画像座標ｙｉ＝［ξｉ，ηｉ］Ｔの成分が非整数であれば、基準撮影画像の画像座標ｙｉ近傍の画素値を参照して補間を行うことで、基準撮影画像の画像座標ｙｉの画素値を特定する。
例えば、画素値参照部１１１は、以下の式（３）に示すように、ニアレストネイバー補間（０次内挿）を用いて、画像座標ｙｉの画素値Ｉ（ｙｉ）を計算により求める。
例えば、画素値参照部１１１は、以下の式（３）に示すように、ニアレストネイバー補間（０次内挿）を用いて、画像座標ｙｉの画素値Ｉ（ｙｉ）を計算により求める。
【0028】
【数3】
【0029】
また、例えば、画素値参照部１１１は、以下の式（４）に示すように、双一次補間（バイリニア補間）を用いて、画像座標ｙｉの画素値Ｉ（ｙｉ）を計算により求める。
【0030】
【数4】
【0031】
なお、画素値参照部１１１における補間は、前記式（３），式（４）による補間に限定されない。例えば、画素値参照部１１１は、双三次補間（バイキュービック補間）、Ｗｉｎｄｏｗｅｄ Ｓｉｎｃ補間（例えば、Ｌａｎｃｚｏｓ補間）等、任意の補間法を用いることができる。
画素値参照部１１１は、画像座標ｙｉにおいて特定した基準画素値Ｉ（ｙｉ）を、画素値対生成部１３に出力する。
この画素値参照部１１１によって特定された画像座標ｙｉにおける基準画素値Ｉ（ｙｉ）は、選択された三次元点の基準撮影画像における色に相当することになる。
画素値参照部１１１は、画像座標ｙｉにおいて特定した基準画素値Ｉ（ｙｉ）を、画素値対生成部１３に出力する。
この画素値参照部１１１によって特定された画像座標ｙｉにおける基準画素値Ｉ（ｙｉ）は、選択された三次元点の基準撮影画像における色に相当することになる。
【0032】
対象撮影画像参照部１２は、対象撮影画像を参照して、三次元点選択部１０で選択された三次元点に対応する対象撮影画像の画素値（色）を特定するものである。
対象撮影画像参照部１２は、投影部１２０と、画素値参照部１２１と、を備える。
対象撮影画像参照部１２は、投影部１２０と、画素値参照部１２１と、を備える。
【0033】
投影部（第二投影部）１２０は、対象撮影画像を撮影したカメラのカメラパラメータ（対象カメラパラメータ）を用いて、三次元点選択部１０で選択された三次元点を仮想的に対象撮影画像と同じ画像面に投影し、投影位置の画像座標（二次元座標）を算出するものである。
すなわち、投影部１２０は、図４に示すように、対象撮影画像を撮影したカメラと同じ対象カメラパラメータ（カメラ位置、パン、チルト、ロール、焦点距離等）の仮想カメラＣＶによって、三次元形状モデルＭの三次元点Ｐ３Ｄを、仮想カメラＣＶの二次元の画像面（撮像面）ＩＰに投影し、投影位置Ｐ２Ｄの画像座標を算出する。
すなわち、投影部１２０は、図４に示すように、対象撮影画像を撮影したカメラと同じ対象カメラパラメータ（カメラ位置、パン、チルト、ロール、焦点距離等）の仮想カメラＣＶによって、三次元形状モデルＭの三次元点Ｐ３Ｄを、仮想カメラＣＶの二次元の画像面（撮像面）ＩＰに投影し、投影位置Ｐ２Ｄの画像座標を算出する。
【0034】
ここで、対象カメラパラメータをＰｔｇｔ、三次元点Ｐ３Ｄの三次元座標をｘｉ、対象カメラパラメータＰｔｇｔに基づく投影変換を関数ｆ（Ｐｔｇｔ，ｘ）で表すと、投影部１２０は、以下の式（５）により、画像面ＩＰにおける投影位置Ｐ２Ｄの画像座標ｚｉ∈Ｒ２（実二次元数空間）を算出する。
【0035】
【数5】
【0036】
投影部１２０は、投影後の画像面の画像座標ｚｉを画素値参照部１２１に出力する。
なお、投影部１２０は、投影部１１０と同様、図４に示した三次元点選択部１０で選択された三次元点Ｐ３Ｄが、仮想カメラＣＶの視点ＶＰから見える点（可視点）であるか否かを判定し、可視点ではない（不可視点である）場合、画像面への投影を行わず、対応する画素値が存在しない旨を、画素値対生成部１３に出力する。
ただし、三次元点選択部１０において、例えば、人為的に可視点のみを三次元点として選択する場合、投影部１２０における可視点の判定は必須ではない。
なお、投影部１２０は、投影部１１０と同様、図４に示した三次元点選択部１０で選択された三次元点Ｐ３Ｄが、仮想カメラＣＶの視点ＶＰから見える点（可視点）であるか否かを判定し、可視点ではない（不可視点である）場合、画像面への投影を行わず、対応する画素値が存在しない旨を、画素値対生成部１３に出力する。
ただし、三次元点選択部１０において、例えば、人為的に可視点のみを三次元点として選択する場合、投影部１２０における可視点の判定は必須ではない。
【0037】
画素値参照部（第二画素値参照部）１２１は、対象撮影画像を参照して、投影部１２０で投影された画像座標ｚｉにおける画素値（対象画素値）を特定するものである。
画素値参照部１２１は、画像座標ｚｉ＝［αｉ，βｉ］Ｔ（Ｔは転置を示す）の成分が整数であれば、その画素値を、対象撮影画像の画像座標ｚｉの画素値として特定する。
画素値参照部１２１は、画像座標ｚｉ＝［αｉ，βｉ］Ｔ（Ｔは転置を示す）の成分が整数であれば、その画素値を、対象撮影画像の画像座標ｚｉの画素値として特定する。
【0038】
また、画素値参照部１２１は、画像座標ｚｉ＝［αｉ，βｉ］Ｔの成分が非整数であれば、対象撮影画像の画像座標ｚｉ近傍の画素値を参照して補間を行うことで、対象撮影画像の画像座標ｚｉの画素値を特定する。
例えば、画素値参照部１２１は、以下の式（６）に示すように、ニアレストネイバー補間（０次内挿）を用いて、画像座標ｚｉの画素値Ｊ（ｚｉ）を計算により求める。
例えば、画素値参照部１２１は、以下の式（６）に示すように、ニアレストネイバー補間（０次内挿）を用いて、画像座標ｚｉの画素値Ｊ（ｚｉ）を計算により求める。
【0039】
【数6】
【0040】
また、例えば、画素値参照部１２１は、以下の式（７）に示すように、双一次補間（バイリニア補間）を用いて、画像座標ｚｉの画素値Ｊ（ｚｉ）を計算により求める。
【0041】
【数7】
【0042】
なお、画素値参照部１２１における補間は、前記式（６），式（７）による補間に限定されない。例えば、画素値参照部１２１は、双三次補間（バイキュービック補間）、Ｗｉｎｄｏｗｅｄ Ｓｉｎｃ補間（例えば、Ｌａｎｃｚｏｓ補間）等、任意の補間法を用いることができる。
画素値参照部１２１は、画像座標ｚｉにおいて特定した対象画素値Ｊ（ｚｉ）を、画素値対生成部１３に出力する。
この画素値参照部１２１によって特定された画像座標ｚｉにおける対象画素値Ｊ（ｚｉ）は、選択された三次元点の対象撮影画像における色に相当することになる。
画素値参照部１２１は、画像座標ｚｉにおいて特定した対象画素値Ｊ（ｚｉ）を、画素値対生成部１３に出力する。
この画素値参照部１２１によって特定された画像座標ｚｉにおける対象画素値Ｊ（ｚｉ）は、選択された三次元点の対象撮影画像における色に相当することになる。
【0043】
画素値対生成部１３は、選択された三次元点に対応する基準撮影画像参照部１１で特定された基準画素値と、対象撮影画像参照部１２で特定された対象画素値と、を対応付けた画素値対を生成するものである。
画素値対生成部１３は、生成した画素値対を、画素値対記憶部１４に順次記憶する。
画素値対生成部１３は、生成した画素値対を、画素値対記憶部１４に順次記憶する。
【0044】
ただし、画素値対生成部１３は、基準撮影画像参照部１１から選択された三次元点に対応する基準画素値が存在しない旨、または、対象撮影画像参照部１２から選択された三次元点に対応する対象画素値が存在しない旨が通知された場合、当該三次元点に対応する画素値対の生成を行わないこととする。
これによって、後記する回帰演算部１５における回帰分析の精度を高め、色変換部１６において、より厳密に色合わせを行うことができる。
これによって、後記する回帰演算部１５における回帰分析の精度を高め、色変換部１６において、より厳密に色合わせを行うことができる。
【0045】
画素値対生成部１３は、外部から三次元点の選択の終了が指示された段階で、回帰演算部１５に演算開始を指示する。
例えば、画素値対生成部１３は、標本化装置２から終了が指示された、外部からスイッチ等によって人為的に終了が指示された等のタイミングで、回帰演算部１５に演算開始を指示する。
例えば、画素値対生成部１３は、標本化装置２から終了が指示された、外部からスイッチ等によって人為的に終了が指示された等のタイミングで、回帰演算部１５に演算開始を指示する。
【0046】
なお、後記する回帰演算部１５において変換係数を生成するため、画素値対の数は３以上が好ましい。そこで、例えば、画素値対生成部１３は、終了が指示された段階で、画素値対の数が３未満であれば、図示を省略した表示装置等に警告を表示することとしてもよい。
【0047】
画素値対記憶部１４は、画素値対生成部１３で生成された画素値対を記憶するものである。画素値対記憶部１４は、半導体メモリ等の一般的な記憶媒体で構成することができる。
【0048】
回帰演算部１５は、画素値対記憶部１４に記憶されている画素値対を回帰分析し、対象画素値を基準画素値に近似して変換させるための変換係数を算出するものである。ここで、画素値対記憶部１４に記憶されている画素値対の数をＮ（Ｎ∈Ｚ〔整数〕、Ｎ≧３）とする。
回帰演算部１５は、画素値対記憶部１４に記憶されている基準画素値Ｉ（ｙｉ）と対象画素値Ｊ（ｚｉ）との画素値対（Ｉ（ｙｉ），Ｊ（ｚｉ））ｉ∈｛１，２，…，Ｎ｝に基づいて、変換係数を算出する。
回帰演算部１５は、画素値対記憶部１４に記憶されている基準画素値Ｉ（ｙｉ）と対象画素値Ｊ（ｚｉ）との画素値対（Ｉ（ｙｉ），Ｊ（ｚｉ））ｉ∈｛１，２，…，Ｎ｝に基づいて、変換係数を算出する。
【0049】
ここでは、基準画素値Ｉ（ｙｉ）および対象画素値Ｊ（ｚｉ）は、複数チャンネルの色情報を有するものとする。例えば、基準画素値Ｉ（ｙｉ）が、赤、緑および青の色情報を有するものとした場合、赤成分をＩＲ（ｙｉ）、緑成分をＩＧ（ｙｉ）、青成分をＩＢ（ｙｉ）とする。同様に、対象画素値Ｊ（ｚｉ）が、赤、緑および青の色情報を有するものとした場合、赤成分をＪＲ（ｚｉ）、緑成分をＪＧ（ｚｉ）、青成分をＪＢ（ｚｉ）とする。
【0050】
回帰演算部１５は、回帰分析として、例えば、線形回帰により、対象画素値を基準画素値に近似して変換させるための変換係数を算出する。この場合、変換係数は、４次元空間内の回帰超平面の３係数および定数項を、色成分ごとに示すこととなる。
【0051】
具体的には、回帰演算部１５は、行列Ａを式（８）、行列ｂを式（９）として、式（１０）により、変換係数［ｍ１１ ｍ１２ ｍ１３ ｍ１４ ｍ２１ ｍ２２ ｍ２３ ｍ２４ ｍ３１ ｍ３２ ｍ３３ ｍ３４］Ｔを算出する。
【0052】
【数8】
【数9】
【数10】
【0053】
回帰演算部１５は、算出した変換係数を色変換部１６に出力する。
色変換部１６は、回帰演算部１５で算出された変換係数を用いて、対象撮影画像の各画素の画素値（対象画素値）を変換するものである。
色変換部１６は、回帰演算部１５で算出された変換係数を用いて、対象撮影画像の各画素の画素値（対象画素値）を変換するものである。
【0054】
ここで、対象撮影画像の画像座標ｚ∈Ｒ２（実二次元数空間）の画素値をＪ（ｚ）とし、Ｊ（ｚ）の赤成分をＪＲ（ｚ）、緑成分をＪＧ（ｚ）、青成分をＪＢ（ｚ）とする。また、色補正後の画像である色補正済画像の画像座標ｚ∈Ｒ２の画素値をＫ（ｚ）とし、Ｋ（ｚ）の赤成分をＫＲ（ｚ）、緑成分をＫＧ（ｚ）、青成分をＫＢ（ｚ）とする。
このとき、色変換部１６は、以下の式（１１）の変換を画素ごとに行うことで、色補正済画像を生成する。
このとき、色変換部１６は、以下の式（１１）の変換を画素ごとに行うことで、色補正済画像を生成する。
【0055】
【数11】
【0056】
これによって、色変換部１６は、対象撮影画像を色補正して、色味を基準撮影画像に近似させた色補正済画像を生成する。
【0057】
以上説明した構成により、色補正装置１は、多視点カメラで撮影された個々の撮影画像について、基準撮影画像の色味に合わせるように、対象撮影画像の色を補正することができる。
なお、色補正装置１は、図示を省略したコンピュータを前記した各部として機能させるためのプログラム（色補正プログラム）で動作させることができる。
なお、色補正装置１は、図示を省略したコンピュータを前記した各部として機能させるためのプログラム（色補正プログラム）で動作させることができる。
【0058】
［色補正装置の動作］
次に、図５を参照（構成については適宜図１参照）して、本発明の実施形態に係る色補正装置１の動作について説明する。なお、色補正装置１の動作における具体的な処理内容については、適宜図６～図８を参照することとする。
図６は、色補正装置１が参照する参照画像の一例であって、（ａ）は基準撮影画像、（ｂ）は対象撮影画像を示す。図７は、三次元点から画素値対を生成するまでの処理を模式的に示す図である。図８は、色補正前の対象撮影画像と色補正後の色補正済画像の一例を示す図である。
次に、図５を参照（構成については適宜図１参照）して、本発明の実施形態に係る色補正装置１の動作について説明する。なお、色補正装置１の動作における具体的な処理内容については、適宜図６～図８を参照することとする。
図６は、色補正装置１が参照する参照画像の一例であって、（ａ）は基準撮影画像、（ｂ）は対象撮影画像を示す。図７は、三次元点から画素値対を生成するまでの処理を模式的に示す図である。図８は、色補正前の対象撮影画像と色補正後の色補正済画像の一例を示す図である。
【0059】
ステップＳ１において、三次元点選択部１０は、三次元形状モデルＭ（図２）から一点ずつ三次元点を選択する。
ステップＳ２において、基準撮影画像参照部１１の投影部１１０は、基準撮影画像を撮影したカメラのカメラパラメータ（基準カメラパラメータ）を用いて、ステップＳ１で選択された三次元点を仮想的に基準撮影画像と同じ画像面に投影する。
すなわち、投影部１１０は、図７に示すように、三次元形状モデルＭの三次元点Ｐ３Ｄを画像面ＩＰｓｔｄに投影することで、投影位置Ｐ２Ｄｓｔｄの二次元の画像座標を算出する。
このとき、投影部１１０は、陰面処理を行うことで、三次元点Ｐ３Ｄが不可視点であれば、画像面ＩＰｓｔｄへの投影を行わないこととする。
ステップＳ２において、基準撮影画像参照部１１の投影部１１０は、基準撮影画像を撮影したカメラのカメラパラメータ（基準カメラパラメータ）を用いて、ステップＳ１で選択された三次元点を仮想的に基準撮影画像と同じ画像面に投影する。
すなわち、投影部１１０は、図７に示すように、三次元形状モデルＭの三次元点Ｐ３Ｄを画像面ＩＰｓｔｄに投影することで、投影位置Ｐ２Ｄｓｔｄの二次元の画像座標を算出する。
このとき、投影部１１０は、陰面処理を行うことで、三次元点Ｐ３Ｄが不可視点であれば、画像面ＩＰｓｔｄへの投影を行わないこととする。
【0060】
ステップＳ３において、基準撮影画像参照部１１の画素値参照部１１１は、基準撮影画像を参照して、ステップＳ２で投影された投影位置における画素値（基準画素値）を特定する。
すなわち、画素値参照部１１１は、図７に示すように、画像面ＩＰｓｔｄに投影された投影位置Ｐ２Ｄｓｔｄと同じ基準撮影画像Ｉｓｔｄの画像座標の画素値を、三次元点Ｐ３Ｄに対応する画素値（基準画素値）と特定する。
このとき、投影位置Ｐ２Ｄｓｔｄの画像座標の成分が整数でなければ、画素値参照部１１１は、ニアレストネイバー補間等により、投影位置Ｐ２Ｄｓｔｄ近傍の基準撮影画像Ｉｓｔｄの画素値から投影位置Ｐ２Ｄｓｔｄの画素値を補間により算出する。
すなわち、画素値参照部１１１は、図７に示すように、画像面ＩＰｓｔｄに投影された投影位置Ｐ２Ｄｓｔｄと同じ基準撮影画像Ｉｓｔｄの画像座標の画素値を、三次元点Ｐ３Ｄに対応する画素値（基準画素値）と特定する。
このとき、投影位置Ｐ２Ｄｓｔｄの画像座標の成分が整数でなければ、画素値参照部１１１は、ニアレストネイバー補間等により、投影位置Ｐ２Ｄｓｔｄ近傍の基準撮影画像Ｉｓｔｄの画素値から投影位置Ｐ２Ｄｓｔｄの画素値を補間により算出する。
【0061】
ステップＳ４において、対象撮影画像参照部１２の投影部１２０は、対象撮影画像を撮影したカメラのカメラパラメータ（対象カメラパラメータ）を用いて、ステップＳ１で選択された三次元点を仮想的に対象撮影画像と同じ画像面に投影する。
すなわち、投影部１２０は、図７に示すように、三次元形状モデルＭの三次元点Ｐ３Ｄを画像面ＩＰｔｇｔに投影することで、投影位置Ｐ２Ｄｔｇｔの二次元の画像座標を算出する。
このとき、投影部１２０は、陰面処理を行うことで、三次元点Ｐ３Ｄが不可視点であれば、画像面ＩＰｔｇｔへの投影を行わないこととする。
すなわち、投影部１２０は、図７に示すように、三次元形状モデルＭの三次元点Ｐ３Ｄを画像面ＩＰｔｇｔに投影することで、投影位置Ｐ２Ｄｔｇｔの二次元の画像座標を算出する。
このとき、投影部１２０は、陰面処理を行うことで、三次元点Ｐ３Ｄが不可視点であれば、画像面ＩＰｔｇｔへの投影を行わないこととする。
【0062】
ステップＳ５において、対象撮影画像参照部１２の画素値参照部１２１は、対象撮影画像を参照して、ステップＳ４で投影された画像座標における画素値（対象画素値）を特定する。
すなわち、画素値参照部１２１は、図７に示すように、画像面ＩＰｔｇｔに投影された投影位置Ｐ２Ｄｔｇｔと同じ対象撮影画像Ｉｔｇｔの画像座標の画素値を、三次元点Ｐ３Ｄに対応する画素値（対象画素値）と特定する。
このとき、投影位置Ｐ２Ｄｔｇｔの画像座標の成分が整数でなければ、画素値参照部１２１は、ニアレストネイバー補間等により、投影位置Ｐ２Ｄｔｇｔ近傍の対象撮影画像Ｉｔｇｔの画素値から投影位置Ｐ２Ｄｔｇｔの画素値を補間により算出する。
なお、ステップＳ２，Ｓ３とステップＳ４，Ｓ５とは、動作順序を逆にしてもよいし、並列で動作させてもよい。
すなわち、画素値参照部１２１は、図７に示すように、画像面ＩＰｔｇｔに投影された投影位置Ｐ２Ｄｔｇｔと同じ対象撮影画像Ｉｔｇｔの画像座標の画素値を、三次元点Ｐ３Ｄに対応する画素値（対象画素値）と特定する。
このとき、投影位置Ｐ２Ｄｔｇｔの画像座標の成分が整数でなければ、画素値参照部１２１は、ニアレストネイバー補間等により、投影位置Ｐ２Ｄｔｇｔ近傍の対象撮影画像Ｉｔｇｔの画素値から投影位置Ｐ２Ｄｔｇｔの画素値を補間により算出する。
なお、ステップＳ２，Ｓ３とステップＳ４，Ｓ５とは、動作順序を逆にしてもよいし、並列で動作させてもよい。
【0063】
ステップＳ６において、画素値対生成部１３は、ステップＳ３およびステップＳ５で三次元点に対応する画素値（基準画素値および対象画素値）が特定されたか否かを判定する。ここでは、基準画素値および対象画素値の両方が特定された場合のみ、画素値が特定されたと判定する。
【0064】
三次元点に対応する画素値が特定された場合（ステップＳ６でＹｅｓ）、ステップＳ７において、画素値対生成部１３は、基準画素値と対象画素値とを対応付けた画素値対を生成し、画素値対記憶部１４に記憶する。
これによって、図７に示すように、基準撮影画像Ｉｓｔｄにおける投影位置Ｐ２Ｄｓｔｄの基準画素値と、対象撮影画像Ｉｔｇｔにおける投影位置Ｐ２Ｄｔｇｔの対象画素値とが、同じ三次元点Ｐ３Ｄに対応する画素値対として、画素値対記憶部１４に記憶されることになる。
一方、三次元点に対応する画素値が特定されなかった場合（ステップＳ６でＮｏ）、画素値対生成部１３は、処理を行わずにステップＳ８に動作を進める。
これによって、図７に示すように、基準撮影画像Ｉｓｔｄにおける投影位置Ｐ２Ｄｓｔｄの基準画素値と、対象撮影画像Ｉｔｇｔにおける投影位置Ｐ２Ｄｔｇｔの対象画素値とが、同じ三次元点Ｐ３Ｄに対応する画素値対として、画素値対記憶部１４に記憶されることになる。
一方、三次元点に対応する画素値が特定されなかった場合（ステップＳ６でＮｏ）、画素値対生成部１３は、処理を行わずにステップＳ８に動作を進める。
【0065】
ステップＳ８において、画素値対生成部１３は、三次元点の選択の終了が指示されたか否かを判定する。
三次元点の選択の終了が指示されなかった場合（ステップＳ８でＮｏ）、色補正装置１はステップＳ１に戻って動作を継続する。
一方、三次元点の選択の終了が指示された場合（ステップＳ８でＹｅｓ）、ステップＳ９において、回帰演算部１５は、画素値対記憶部１４に記憶されている画素値対を回帰分析し、対象画素値を基準画素値に近似して変換させるための変換係数を算出する。
三次元点の選択の終了が指示されなかった場合（ステップＳ８でＮｏ）、色補正装置１はステップＳ１に戻って動作を継続する。
一方、三次元点の選択の終了が指示された場合（ステップＳ８でＹｅｓ）、ステップＳ９において、回帰演算部１５は、画素値対記憶部１４に記憶されている画素値対を回帰分析し、対象画素値を基準画素値に近似して変換させるための変換係数を算出する。
【0066】
ステップＳ１０において、色変換部１６は、ステップＳ９で算出された変換係数を用いて、対象撮影画像の各画素の画素値（対象画素値）を変換することで色補正済画像を生成する。
これによって、色変換部１６は、例えば、図８に示すように、対象撮影画像Ｉｔｇｔの各対象画素値を変換することで、図６（ａ）に示した基準撮影画像Ｉｓｔｄと色味があった色補正済画像Ｉｃｏｒを生成することができる。
以上、本発明の実施形態に係る色補正装置１の構成および動作について説明したが、本発明は、この実施形態に限定されるものではない。
これによって、色変換部１６は、例えば、図８に示すように、対象撮影画像Ｉｔｇｔの各対象画素値を変換することで、図６（ａ）に示した基準撮影画像Ｉｓｔｄと色味があった色補正済画像Ｉｃｏｒを生成することができる。
以上、本発明の実施形態に係る色補正装置１の構成および動作について説明したが、本発明は、この実施形態に限定されるものではない。
【0067】
（変形例１）
ここでは、撮影画像（基準撮影画像、対象撮影画像）を、複数チャンネルのカラー画像の例で説明した。
しかし、撮影画像（基準撮影画像、対象撮影画像）は、１チャンネルのモノクロ画像であってもよい。
その場合、回帰演算部１５は、式（８）～式（１０）において、基準画素値Ｉ（ｙｉ）および対象画素値Ｊ（ｚｉ）の成分をそれぞれ１つとして行列の要素数を減らして演算すればよい。また、色変換部１６においても、式（１１）の画素値Ｋ（ｚ）および画素値をＪ（ｚ）の成分をそれぞれ１つとして行列の要素数を減らして演算すればよい。
ここでは、撮影画像（基準撮影画像、対象撮影画像）を、複数チャンネルのカラー画像の例で説明した。
しかし、撮影画像（基準撮影画像、対象撮影画像）は、１チャンネルのモノクロ画像であってもよい。
その場合、回帰演算部１５は、式（８）～式（１０）において、基準画素値Ｉ（ｙｉ）および対象画素値Ｊ（ｚｉ）の成分をそれぞれ１つとして行列の要素数を減らして演算すればよい。また、色変換部１６においても、式（１１）の画素値Ｋ（ｚ）および画素値をＪ（ｚ）の成分をそれぞれ１つとして行列の要素数を減らして演算すればよい。
【0068】
（変形例２）
また、ここでは、回帰演算部１５が回帰分析として線形回帰により変換係数を算出した。
しかし、回帰演算部１５は、式（１１）のような線形回帰に限定されず、任意の非線形回帰を用いることができる。この場合、式（８）～式（１０）に代えて、最急降下法、レーベンバーグ・マルカート（Levenberg-Marquardt）法等の一般的な非線形最小二乗問題の解法や、焼きなまし法（Simulated Annealing）、遺伝的アルゴリズム（Genetic Algorithm）等の最適化手法により回帰パラメータを数値的または近似的に算出することができる。
また、ここでは、回帰演算部１５が回帰分析として線形回帰により変換係数を算出した。
しかし、回帰演算部１５は、式（１１）のような線形回帰に限定されず、任意の非線形回帰を用いることができる。この場合、式（８）～式（１０）に代えて、最急降下法、レーベンバーグ・マルカート（Levenberg-Marquardt）法等の一般的な非線形最小二乗問題の解法や、焼きなまし法（Simulated Annealing）、遺伝的アルゴリズム（Genetic Algorithm）等の最適化手法により回帰パラメータを数値的または近似的に算出することができる。
【0069】
（変形例３）
また、ここでは、三次元形状モデルを、図３に示したボリュメトリックスタジオ１００において、異なる視点位置に配置したカメラＣ（多視点カメラ）で撮影した複数の画像から被写体全体をモデル化した例で説明した。
しかし、三次元形状モデルは、被写体の一部、例えば、被写体の前面のみの形状データであっても構わない。
また、ここでは、三次元形状モデルを、図３に示したボリュメトリックスタジオ１００において、異なる視点位置に配置したカメラＣ（多視点カメラ）で撮影した複数の画像から被写体全体をモデル化した例で説明した。
しかし、三次元形状モデルは、被写体の一部、例えば、被写体の前面のみの形状データであっても構わない。
【符号の説明】
【0070】
１ 色補正装置
１０ 三次元点選択部
１１ 基準撮影画像参照部
１１０ 投影部（第一投影部）
１１１ 画素値参照部（第一画素値参照部）
１２ 対象撮影画像参照部
１２０ 投影部（第二投影部）
１２１ 画素値参照部（第二画素値参照部）
１３ 画素値対生成部
１４ 画素値対記憶部
１５ 回帰演算部
１６ 色変換部
Ｍ 三次元形状モデル
Ｉｓｔｄ 基準撮影画像
Ｉｔｇｔ 対象撮影画像
Ｉｃｏｒ 色補正済画像
１０ 三次元点選択部
１１ 基準撮影画像参照部
１１０ 投影部（第一投影部）
１１１ 画素値参照部（第一画素値参照部）
１２ 対象撮影画像参照部
１２０ 投影部（第二投影部）
１２１ 画素値参照部（第二画素値参照部）
１３ 画素値対生成部
１４ 画素値対記憶部
１５ 回帰演算部
１６ 色変換部
Ｍ 三次元形状モデル
Ｉｓｔｄ 基準撮影画像
Ｉｔｇｔ 対象撮影画像
Ｉｃｏｒ 色補正済画像
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
