特許 5771423 画像色彩補正装置及び画像色彩補正方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5771423

(24)【登録日】2015年7月3日

(45)【発行日】2015年8月26日

(54)【発明の名称】画像色彩補正装置及び画像色彩補正方法

(51)【国際特許分類】

   G01B 11/00 20060101AFI20150806BHJP

   G01C 15/06 20060101ALI20150806BHJP

   G01C 11/06 20060101ALI20150806BHJP

   G06T 1/00 20060101ALI20150806BHJP

【ＦＩ】

   G01B11/00 H

   G01C15/06 T

   G01C11/06

   G06T1/00 315

   G06T1/00 510

【請求項の数】20

【全頁数】47

(21)【出願番号】特願2011-59786(P2011-59786)

(22)【出願日】2011年3月17日

(65)【公開番号】特開2012-194126(P2012-194126A)

(43)【公開日】2012年10月11日

【審査請求日】2014年2月27日

(73)【特許権者】

【識別番号】000220343

【氏名又は名称】株式会社トプコン

(74)【代理人】

【識別番号】100097320

【弁理士】

【氏名又は名称】宮川 貞二

(74)【代理人】

【識別番号】100100398

【弁理士】

【氏名又は名称】柴田 茂夫

(74)【代理人】

【識別番号】100131820

【弁理士】

【氏名又は名称】金井 俊幸

(74)【代理人】

【識別番号】100106437

【弁理士】

【氏名又は名称】加藤 治彦

(74)【代理人】

【識別番号】100155192

【弁理士】

【氏名又は名称】金子 美代子

(72)【発明者】

【氏名】廣瀬 駿

(72)【発明者】

【氏名】森山 拓哉

(72)【発明者】

【氏名】高地 伸夫

【審査官】 神谷 健一

(56)【参考文献】

【文献】 特開２００９−１３９１９７（ＪＰ，Ａ）

【文献】 特開２００１−００８２２１（ＪＰ，Ａ）

【文献】 特開２００７−１４７４５７（ＪＰ，Ａ）

【文献】 特開２００８−２８１４８１（ＪＰ，Ａ）

【文献】 特開２０１０−１４５１８６（ＪＰ，Ａ）

【文献】 特開２００２−１５２７６８（ＪＰ，Ａ）

【文献】 特開２０１２−１８１１２９（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０１Ｂ １１／００−１１／３０

Ｇ０６Ｔ １／００− １／４０

Ｇ０６Ｔ ３／００− ５／５０

Ｇ０６Ｔ ９／００− ９／４０

(57)【特許請求の範囲】

【請求項1】

測定対象物と複数のカラーコード付き標識を同時に又は別時に異なる複数方向から撮影する撮影部を備え；
前記カラーコード付き標識は、
面内に、計測位置を示すための位置検出用パターンと、
色彩の基準として用いる色彩が施された及び画像の色彩を光源によらない一定の色に統一する光源色補正に用いる色彩が施された基準色パターンと、
前記位置検出用パターンに対して所定の位置関係に配置され、標識を識別するための複数の色彩が施されたカラーコードパターンとを有し、
さらに、前記撮影部により撮影された前記カラーコード付き標識の撮影画像から、前記位置検出用パターンの位置を求める位置検出部と；
前記撮影画像から前記基準色パターンを抽出する基準色パターン抽出部と；
前記撮影画像から前記カラーコードパターンを抽出するカラーコードパターン抽出部と；
前記基準色パターン抽出部で抽出された基準色パターンのうち、少なくとも前記光源色補正に用いる色彩を用いて、前記撮影画像の光源色補正を行う色補正部とを備え；
前記光源色補正に用いる色彩が施された基準色パターンとして、色相が同一で諧調の異なる複数の色を配置した輝度スケールパターンを有し；
前記基準色パターン抽出部は前記輝度スケールパターンを抽出し；
前記色補正部は前記基準色パターン抽出部で抽出された輝度スケールパターンを用いて前記光源色補正を行う；
画像色彩補正装置。

【請求項2】

前記光源色補正に用いる色彩が施された基準色パターンとして、光三原色のそれぞれを含む複数の単位領域を有し；
前記基準色パターン抽出部は前記複数の単位領域を抽出し；
前記色補正部は前記基準色パターン抽出部で抽出された複数の単位領域を用いて前記光源色補正を行う；
請求項１に記載の画像色彩補正装置。

【請求項3】

前記単位領域の三原色として輝度がほぼ等しくなるような光三原色を用いる；
請求項１又は請求項２に記載の画像色彩補正装置。

【請求項4】

前記光源色補正において、前記基準色パターンが白色パッチの場合は領域内の画素値の平均を、グレートーンパッチの場合は諧調毎に領域内の画素値の平均を、カラートーンパッチの場合は諧調毎に表面反射率を分光分布で示した表面色で領域内の画素値を割ったものを光源色とする；
請求項１ないし請求項３のいずれか１項に記載の画像色彩補正装置。

【請求項5】

前記光源色補正は、複数のカメラで同時に画像を撮影した場合に、各カメラで撮影したパッチの画素値の比を用いて複数の画像間における輝度の補正を行う；
請求項１ないし請求項４のいずれか１項に記載の画像色彩補正装置。

【請求項6】

前記複数のカラーコード付き標識は、前記撮影部で前記複数方向から撮影して取得された撮影画像から前記撮影部の撮影パラメータを求めるのに適した位置関係に配置され；
前記位置検出部で抽出された前記位置検出用パターンの位置に基づいて撮影パラメータを求める撮影パラメータ演算部と；
前記撮影パラメータ演算部で求められた撮影パラメータを用いて、前記測定対象物の撮影画像から、前記測定対象物の位置を演算して求める三次元座標演算部とを備える；
請求項１ないし請求項５のいずれか１項に記載の画像色彩補正装置。

【請求項7】

前記撮影パラメータは、撮影光学系の歪みと焦点距離と光軸中心を含む内部パラメータと、前記撮影部の位置と傾きを含む外部パラメータを含む；
請求項６に記載の画像色彩補正装置。

【請求項8】

前記輝度スケールパターンの色相が無彩色である；
請求項１ないし請求項７のいずれか１項に記載の画像色彩補正装置。

【請求項9】

前記基準色パターンは、前記光源色補正に用いる色彩として白色が施された白色領域を有し；
前記基準色パターン抽出部は、前記白色領域を抽出する；
請求項１ないし請求項７のいずれか１項に記載の画像色彩補正装置。

【請求項10】

前記位置検出部で求められた位置検出用パターンの位置を用いて、前記異なる複数方向から撮影された撮影画像のつなぎ合わせを行う画像合成部を備える；
請求項１ないし請求項９のいずれか１項に記載の画像色彩補正装置。

【請求項11】

前記位置検出部で求められた位置検出用パターンの位置を用いて、前記異なる複数方向から撮影された撮影画像から、対象物モデルを形成するモデル形成部と；
前記モデル形成部で形成された対象物モデルに、前記色補正部で補正された測定対象物のテクスチャを貼付するテクスチャ形成部とを備える；
請求項１ないし請求項１０のいずれか１項に記載の画像色彩補正装置。

【請求項12】

面内に、計測位置を示すための位置検出用パターンと、色彩の基準として用いる色彩が施された及び画像の色彩を光源によらない一定の色に統一する光源色補正に用いる色彩が施された基準色パターンと、前記位置検出用パターンに対して所定の位置関係に配置され、標識を識別するための複数の色彩が施されたカラーコードパターンとを有するカラーコード付き標識を複数備える１組のカラーコード付き標識であって、前記１組のカラーコード付き標識の前記基準色パターンの配色は全て同一であり、
前記１組のカラーコード付き標識の各前記カラーコードパターンの配色は全て異なる１組のカラーコード付き標識を配置する標識配置工程と；
測定対象物と前記複数のカラーコード付き標識を同時に又は別時に異なる複数方向から撮影する撮影工程と；
前記撮影工程で撮影された撮影画像から、前記位置検出用パターンの位置を求める位置検出工程と；
前記撮影画像から前記基準色パターンを抽出する基準色パターン抽出工程と；
前記撮影画像から前記カラーコードパターンを抽出するカラーコードパターン抽出工程と；
前記基準色パターン抽出工程で抽出された基準色パターンのうち、少なくとも前記光源色補正に用いる色彩を用いて、前記撮影画像の光源色補正を行う色補正工程とを備え；
前記光源色補正に用いる色彩が施された基準色パターンとして、色相が同一で諧調の異なる複数の色を配置した輝度スケールパターンを有し；
前記基準色パターン抽出工程では前記輝度スケールパターンを抽出し；
前記色補正工程では前記基準色パターン抽出工程で抽出された輝度スケールパターンを用いて前記光源色補正を行う；
画像色彩補正方法。

【請求項13】

前記光源色補正に用いる色彩が施された基準色パターンとして、光三原色のそれぞれを含む複数の単位領域を有し；
前記基準色パターン抽出工程は前記複数の単位領域を抽出し；
前記色補正工程は前記基準色パターン抽出工程で抽出された複数の単位領域を用いて前記光源色補正を行う；
請求項１２に記載の画像色彩補正方法。

【請求項14】

前記単位領域の三原色として輝度がほぼ等しくなるような光三原色を用いる；
請求項１２又は請求項１３に記載の画像色彩補正方法。

【請求項15】

前記光源色補正において、前記基準色パターンが白色パッチの場合は領域内の画素値の平均を、グレートーンパッチの場合は諧調毎に領域内の画素値の平均を、カラートーンパッチの場合は諧調毎に表面反射率を分光分布で示した表面色で領域内の画素値を割ったものを光源色とする；
請求項１２ないし請求項１４のいずれか１項に記載の画像色彩補正方法。

【請求項16】

前記光源色補正は、複数のカメラで同時に画像を撮影した場合に、各カメラで撮影したパッチの画素値の比を用いて複数の画像間における輝度の補正を行う；
請求項１２ないし請求項１５のいずれか１項に記載の画像色彩補正方法。

【請求項17】

前記標識配置工程において、前記１組のカラーコード付き標識は、前記撮影工程で前記複数方向から撮影して取得された撮影画像から前記撮影部の撮影パラメータを求めるのに適した位置関係に配置され；
位置検出工程で抽出された前記位置検出用パターンの位置に基づいて撮影パラメータを求める撮影パラメータ演算工程と；
前記撮影パラメータ演算工程で求められた撮影パラメータを用いて、前記撮影画像から、前記測定対象物の三次元座標を演算して求める三次元座標演算工程とを備える；
請求項１２ないし請求項１６のいずれか１項に記載の画像色彩補正方法。

【請求項18】

前記標識配置工程において、前記１組のカラーコード付き標識はボックスの表面上、測定対象物の表面上又は測定対象物が置かれる場所の周囲に配置される；
請求項１２ないし請求項１７のいずれか１項に記載の画像色彩補正方法。

【請求項19】

前記色補正工程において、前記光源色補正に用いる色彩として白色が施された白色領域を用いて、前記撮影画像の光源色補正を行う；
請求項１２ないし請求項１８のいずれか１項に記載の画像色彩補正方法。

【請求項20】

前記位置検出工程で求められた位置検出用パターンの位置を用いて、前記異なる複数方向から撮影された撮影画像から、前記対象物モデルを形成するモデル形成工程と；
前記モデル形成工程で形成された対象物モデルに、前記色補正工程で補正された測定対象物のテクスチャを貼付するテクスチャ形成工程とを備える；
請求項１２ないし請求項１９のいずれか１項に記載の画像色彩補正方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は画像色彩補正装置及び画像色彩補正方法に関する。詳しくは、撮影画像間の色ずれの補正に使用可能な画像色彩補正装置及び画像色彩補正方法に関する。

【背景技術】

【0002】

測定対象物の３次元モデルを形成するには、測定対象物を囲む円周上に配置されたデジタルカメラを用いて測定対象物を撮影し、その撮影画像をステレオマッチング法により３次元モデリングする手法等が用いられる。この場合色彩の補正は例えば発明者達が提案したカラーコードターゲットの基準色パターンを用いて行なわれていた（特許文献１、非特許文献１参照）。また、例えば発明者達が提案した撮影パラメータのキャリブレーションが行なわれていた（特許文献２参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００７−１０１２７７号公報

【特許文献2】特開２００７−１４７４５７号公報

【非特許文献】

【0004】

【非特許文献1】森山拓哉，高地伸夫，山田光晴，深谷暢之，村井俊治：“カラーコードターゲットによる自動識別方法”，写真測量とリモートセンシング，Ｖｏｌ．４９，Ｎｏ．１，２０１０．

【発明の概要】

【発明が解決しようとする課題】

【0005】

複数台のデジタルカメラで撮影した画像を人体モデル等の光により色彩が微妙に変化する測定対象物に重ね合わせた場合、光学的に不整合（色ずれ）の発生したテクスチャとなる。これは各カメラにより露出やホワイトバランスなどのパラメータが異なることにより発生するものである。カメラパラメータを統一した場合においてもデジタルカメラの個体差があり、色誤差が発生してしまうという問題があった。特に、同じ表面色を有する測定対象物でも光源により異なった色彩に撮影され、色誤差が発生してしまうという問題があった。

【0006】

本発明は、画像の色彩を光源によらない一定の色に統一する補正を行うことができる画像色彩補正装置を提供すること、及び画像の色彩を光源によらない一定の色に統一する補正を行なうことができる画像色彩補正方法を提供することを目的とする。

【課題を解決するための手段】

【0007】

上記課題を解決するために、本発明の第１の態様に係る画像色彩補正装置１は、例えば図４に示すように、測定対象物２と複数のカラーコード付き標識ＣＴを同時に又は別時に異なる複数方向から撮影する撮影部３を備え、カラーコード付き標識ＣＴは、面内に、計測位置を示すための位置検出用パターンＰ１と、色彩の基準として用いる色彩及び光源色補正に用いる色彩が施された基準色パターンＰ２と、位置検出用パターンＰ１に対して所定の位置関係に配置され、標識を識別するための複数の色彩が施されたカラーコードパターンＰ３とを有し、さらに、撮影部３により撮影されたカラーコード付き標識ＣＴの撮影画像から、位置検出用パターンＰ１の位置を求める位置検出部５１と、撮影画像から基準色パターンＰ２を抽出する基準色パターン抽出部５２と、撮影画像からカラーコードパターンＰ３を抽出するカラーコードパターン抽出部５３と、基準色パターン抽出部５２で抽出された基準色パターンのうち、少なくとも光源色補正に用いる色彩を用いて、撮影画像の光源色補正を行う色補正部７１とを備える。

【0008】

ここにおいて、光源色補正とは、同じ色でも光源によって異なって見えるので、画像の色彩を光源によらない一定の色に統一する補正をいう。光源色補正は広義の意味で、カラーバランスをとるための補正と輝度補正（濃淡補正）とからなる。狭義の光源色補正はカラーバランスをとるための補正である。カラーバランスをとるための補正は、白色パターン又は／及び光三原色パターン（ＲＧＢパターン）を用い、画像上で白色パターン又は／及び各ＲＧＢパターンに他の色が混入しないようにＲＧＢの輝度（光量）の比率を調整するものである。色彩の基準として用いる色彩及び光源色補正に用いる色彩として白色パターン又は／及びこのカラーバランスをとるための光三原色パターン（ＲＧＢパターン）を用いることができる。白色のみ、光三原色（ＲＧＢ）のみを用いることも可能であるが、両者を用いるとカラーバランスを高精度にとれるので好ましい。また、カラーバランスをとるためは、光三原色（ＲＧＢ）の１つ又は２つを用いても不可であり、光三原色（ＲＧＢ）のそれぞれがいずれかの単位領域又は輝度スケールに含まれる必要がある。また、光三原色（ＲＧＢ）がそれぞれ既知のチャネル値（輝度値）を持つ必要がある。例えば白色領域は光三原色（ＲＧＢ）の全てを有するので光源色補正に使用できる。白色を用いる場合、チャネル値（画素値Ｉ）を１とする。光三原色（ＲＧＢ）を用いる場合、必ずしも同一輝度のＲＧＢパターンを用いる必要はないが、同一輝度のＲＧＢパターンを用いるとカラーバランスの精度が向上するので好ましい。基準色部の単位領域の色を黄（Ｙ）、シアン（Ｃ）、マゼンタ（Ｍ）の組み合わせとすると、赤（Ｒ）、緑（Ｇ）、青（Ｂ）はそれぞれ２つ単位領域に含まれるので光源色補正に使用できる。黄（Ｙ）と青（Ｂ）の組み合わせでも、赤（Ｒ）、緑（Ｇ）、青（Ｂ）はそれぞれ１つ単位領域に含まれるので光源色補正に使用できる。

【0009】

また、狭義の光源色補正において、逆レスポンス関数を推定するために、輝度スケールパターンＰ５を用いる。輝度スケールパターンの諧調数が多いほど精度の高い補正ができる。輝度スケールパターンを用いない場合は輝度１点のみのカラーバランスとなる。また、広義の光源色補正は輝度補正（濃淡補正）を含むので、輝度補正時にも輝度スケールパターンＰ５を用いる。輝度スケールパターンＰ５の色相は有彩色でも無彩色でも良い。また、色相が同一で諧調の異なる複数の色は諧調順に配置することが、逆レスポンス関数を求める処理を効率化できるので好適である。本態様における光源色補正は少なくとも狭義の光源色補正を含むものとする。特許請求の範囲及び明細書においても特にことわらない限りこの意味で用いられる。また、「光源によらない一定の色に統一する」とは、全色彩を完全に統一する補正に限られず、高精度の補正、低精度の補正を含むものとする。具体的には無彩色又は有彩色のいずれかの色彩で例えば（式５）の補正が行われていれば良い。この場合、輝度は（式３）に限られず他の関数で導かれても良い。

【0010】

また、色補正部７１は光源色補正以外の色補正、例えばカラーコードパターンの色合せの補正等を行っても良い。
また、「所定の位置関係に配置され」とは、位置検出用パターンＰ１に対してカラーコードパターンＰ３は予め定められた位置に配置されることを意味する。これにより、位置検出用パターンＰ１との位置関係からカラーコードパターンＰ３を抽出し、コード番号が判別可能になる。なお、１組のカラーコード付き標識においては、基準色パターンＰ２の配色及び輝度スケールパターンＰ５の配色は全て同一であり、カラーコードパターンＰ３の配色は全て異なるものとなる。なお、カラーコード付き標識（カラーコードターゲット）について包括的に示すときはＣＴ、個別に示す時はＣＴｉ（ｉは正整数）と表示することとする。
本態様のように構成すると、光源色補正を行なう色補正部７１を備えるので、画像の色彩を光源によらない一定の色に統一する補正を行なうことができる画像色彩補正装置を提供できる。

【0011】

また、本発明の第２の態様に係る画像色彩補正装置１は、第１の態様において、例えば図４に示すように、複数のカラーコード付き標識ＣＴは、撮影部３で複数方向から撮影して取得された撮影画像から撮影部３の撮影パラメータを求めるのに適した位置関係に配置され、位置検出部５１で抽出された位置検出用パターンＰ１の位置に基づいて撮影パラメータを求める撮影パラメータ演算部６１と、撮影パラメータ演算部６１で求められた撮影パラメータを用いて、測定対象物２の撮影画像から、測定対象物２の位置を演算して求める三次元座標演算部６２とを備える。

【0012】

ここにおいて、「撮影パラメータを求めるのに適した位置関係に配置され」とは、例えば測定対象物２とほぼ同じ大きさのキャリブレーションボックスＣＢ表面に適切な間隔で配置されること等をいう。測定対象物２の色の変化に対応するように配置することが、色の変化に良く追従できるので好ましい。すなわち、測定対象物２の色の変化が緩やかな位置ではカラーコードターゲットＣＴの間隔を疎にし、測定対象物２の色の変化が急激な位置ではカラーコードターゲットＣＴの間隔を密にすることが好ましい。また、カメラのレンズ歪が小さい位置ではカラーコードターゲットＣＴの間隔を疎にし、カメラのレンズ歪が大きい位置ではカラーコードターゲットＣＴの間隔を密にすることが好ましい。
本態様のように構成すると、求めた撮影パラメータを用いて撮影部３のカメラをキャリブレーションすることにより、測定対象物２の位置を精度良く求められる。

【0013】

また、本発明の第３の態様に係る画像色彩補正装置１は、第２の態様において、撮影パラメータは、撮影光学系の歪みと焦点距離ｆと光軸中心（ｘ_０，ｙ_０）を含む内部パラメータと、撮影部３の位置と傾きを含む外部パラメータを含む。
このように構成すると、撮影部３のカメラの撮影パラメータを用いて撮影画像の各部の位置座標を適正に補正できる。

【0014】

また、本発明の第４の態様に係る画像色彩補正装置１は、第１ないし第３のいずれかの態様において、例えば図４に示すように、光源色補正に用いる色彩が施された基準色パターンＰ２として、色相が同一で諧調の異なる複数の色を配置した輝度スケールパターンＰ５を有し、基準色パターン抽出部５２は、輝度スケールパターンＰ５を抽出する。
このように構成すると、輝度スケールパターンＰ５を用いて、広い輝度範囲にわたって精度の良い光源色補正ができる。

【0015】

また、本発明の第５の態様に係る画像色彩補正装置１は、第４の態様において、輝度スケールパターンＰ５の色相が無彩色である。
ここにおいて、無彩色の輝度スケールパターンＰ５をグレースケールパターン又はグレートーンパッチという。領域的にグレースケール領域又はグレートーンパッチ部ともいう。グレースケールパターンＰ５は、白又は／及び黒を含んでも良く、含まなくても良い。含まない場合には、いずれかのパターン（例えば位置検出用パターンＰ１や次に述べる白色領域Ｐ４）に白又は／及び黒が含まれることが、輝度の最大値と最小値が明確になるので好ましい。
本態様のように構成すると、グレートーンパッチを用いるので、色相によらない普遍的な光源色補正に適している。なお、カラートーンパッチを用いると、用いた色相における光源色補正に適している。

【0016】

また、本発明の第６の態様に係る画像色彩補正装置１は、第１ないし第４のいずれかの態様において、基準色パターンＰ２は、光源色補正に用いる色彩として白色が施された白色領域Ｐ４を有し、基準色パターン抽出部５２は、白色領域Ｐ４を抽出する。
ここにおいて、白色領域Ｐ４は輝度スケールパターンＰ５と並存しても良く、白色領域Ｐ４のみ又は白色を含む輝度スケールパターンＰ５のみを設けても良い。
本態様のように構成すると、白色領域Ｐ４を用いて、小面積で効率の良い光源色補正ができる。

【0017】

また、本発明の第７の態様に係る画像色彩補正装置１は、第１ないし第６のいずれかの態様において、色補正部７１は、基準色パターン抽出部５２で抽出された基準色パターンＰ２のうち、輝度スケールパターンＰ５を用いて、光源色補正を行う。
このように構成すると、輝度スケールパターンを用いて光源色度補正を行うので、測定対象物２の本来の色彩を極めて高い精度で表現できる。

【0018】

また、本発明の第８の態様に係る画像色彩補正装置１は、第１ないし第７のいずれかの態様において、例えば図４に示すように、位置検出部５１で求められた位置検出用パターンＰ１の位置を用いて、異なる複数方向から撮影された撮影画像のつなぎ合わせを行う画像合成部７２を備える。
ここにおいて、つなぎ合わせは色補正の前に行なっても良く、後に行なっても良い。 本態様のように構成すると、広い面積の測定対象物又は光景の撮影画像について、撮影画像のつなぎ合わせを行うことができる。

【0019】

また、本発明の第９の態様に係る画像色彩補正装置１は、第１ないし第８のいずれかの態様において、例えば図４に示すように、位置検出部５１で求められた位置検出用パターンＰ１の位置を用いて、異なる複数方向から撮影された撮影画像から、対象物モデルを形成するモデル形成部７３と、モデル形成部７３で形成された対象物モデルに、色補正部７１で補正された撮影画像の色彩を用いて測定対象物２のテクスチャを貼付するテクスチャ形成部７４とを備える。
このように構成すると、テクスチャを貼付することにより、測定対象物２の３次元モデルをリアルに表現可能である。

【0020】

また、本発明の第１０の態様に係る画像色彩補正方法は、例えば図１５に示すように、面内に、計測位置を示すための位置検出用パターンＰ１と、色彩の基準として用いる色彩及び光源色補正に用いる色彩が施された基準色パターンＰ２と、位置検出用パターンに対して所定の位置関係に配置され、標識を識別するための複数の色彩が施されたカラーコードパターンＰ３とを有するカラーコード付き標識ＣＴを複数備える１組のカラーコード付き標識であって、１組のカラーコード付き標識の基準色パターンＰ２の配色は全て同一であり、１組のカラーコード付き標識ＣＴの各カラーコードパターンＰ３の配色は全て異なる１組のカラーコード付き標識ＣＴを配置する標識配置工程（Ｓ１００）と、測定対象物２と複数のカラーコード付き標識ＣＴを同時に又は別時に異なる複数方向から撮影する撮影工程（図１５では第１の撮影工程に該当）（Ｓ１２０）と、撮影工程（Ｓ１２０）で撮影された撮影画像から、位置検出用パターンＰ１の位置を求める位置検出工程（Ｓ１２１）と、撮影画像から基準色パターンＰ２を抽出する基準色パターン抽出工程（Ｓ１２２）と、撮影画像からカラーコードパターンＰ３を抽出するカラーコードパターン抽出工程（Ｓ１２３）と、基準色パターン抽出工程（Ｓ１２２）で抽出された基準色パターンのうち、少なくとも光源色補正に用いる色彩を用いて、撮影画像の光源色補正を行う色補正工程（Ｓ１２５）とを備える。

【0021】

ここにおいて、基準色パターンＰ１の配色（輝度スケールパターンＰ５の配色を含む）及びカラーコードパターンＰ２における配色とは、色彩の位置関係を定めることをいう。また、標識配置工程（Ｓ１００）では、カラーコード付き標識ＣＴをキャリブレーションボックスＣＢの表面上に配置しても良く、測定対象物２が置かれる場所の周囲に配置しても良く、測定対象物２の表面上に配置しても良い。また、色補正工程（Ｓ１２５）では、少なくとも光源色補正を行うが、例えばカラーコードパターンＰ３の色合せの補正等他の色補正を行っても良い。
本態様のように構成すると、光源色補正を行なう色補正工程（Ｓ１２５）を備えるので、画像の色彩を光源によらない一定の色に統一する補正を行なうことができる画像色彩補正方法を提供できる。

【0022】

また、本発明の第１１の態様に係る画像色彩補正方法は、第１０の態様において、例えば図１５に示すように、標識配置工程（Ｓ１００）において、１組のカラーコード付き標識ＣＴは、撮影工程（Ｓ１２０）で複数方向から撮影して取得された撮影画像から撮影部３の撮影パラメータを求めるのに適した位置関係に配置され、位置検出工程（１２１）で抽出された位置検出用パターンＰ１の位置に基づいて撮影パラメータを求める撮影パラメータ演算工程（Ｓ１４０）と、撮影パラメータ演算工程（Ｓ１４０）で求められた撮影パラメータを用いて、撮影画像から、測定対象物２の三次元座標を演算して求める三次元座標演算工程（Ｓ１６０）とを備える。
このように構成すると、撮影パラメータ演算工程（Ｓ１４０）と三次元座標演算工程（Ｓ１６０）とを備えるので、撮影パラメータ演算工程（Ｓ１４０）で演算されキャリブレーションデータを用いて、測定対象物２に係る精度の良い三次元座標を演算できる。なお、キャリブレーション後に再度撮影（第２の撮影工程：Ｓ１５０）して三次元座標測定を行っても良く、キャリブレーションと三次元座標測定を同じ撮影画像を用いて行っても良い。前者の場合には、キャリブレーションされたカメラによる撮影画像を用いるので、精度の高い三次元座標を演算できる。後者の場合には、第２の撮影工程（Ｓ１５０）を省略するので、速く三次元座標を演算できる。

【0023】

また、本発明の第１２の態様に係る画像色彩補正方法は、第１０の態様又は第１１の態様において、標識配置工程（Ｓ１００）において、１組のカラーコード付き標識ＣＴはキャリブレーションボックスＣＢの表面上、測定対象物２の表面上又は測定対象物２が置かれる場所の周囲に配置される。
このように構成すると、１組の輝度スケール領域Ｐ５を有するカラーコード付き標識ＣＴを配置して撮影し、撮影画像の色彩を補正するので、カラーコード付き標識ＣＴを配置した場所で精度のよい色補正ができる。キャリブレーションボックスＣＢを用いた場合は、キャリブレーションボックスＣＢと測定対象物２を別時に測定するが、測定対象物２全体の撮影画像を補正できる。測定対象物２と測定対象物２を同時に撮影する場合には、カラーコード付き標識ＣＴで隠された場所は推定値を用いるが、１つの撮影画像でキャリブレーションと三次元座標演算ができる。

【0024】

また、本発明の第１３の態様に係る画像色彩補正方法は、第１０の態様又は第１１の態様において、色補正工程（Ｓ１２５）において、光源色補正に用いる色彩が施された基準色パターンＰ２として、色相が同一で諧調の異なる複数の色を配置した輝度スケールパターンＰ５を用いて、撮影画像の光源色補正を行う。
このように構成すると、輝度スケールパターンＰ５を用いて、広い輝度範囲にわたって精度の良い光源色補正ができる。

【0025】

また、本発明の第１４の態様に係る画像色彩補正方法は、第１０の態様又は第１１の態様において、色補正工程（Ｓ１２５）において、光源色補正に用いる色彩として白色が施された白色領域Ｐ４を用いて、撮影画像の光源色補正を行う。
このように構成すると、輝度スケールパターンＰ５に代えて白色領域Ｐ４を用いて、小面積で効率の良い光源色補正ができる。

【0026】

また、本発明の第１５の態様に係る画像色彩補正方法は、第１０の態様又は第１１の態様において、色補正工程（Ｓ１２５）において、光三原色が施された基準色パターンＰ２の単位領域を用いて光源色補正を行う。
ここにおいて、色彩の基準として用いる色彩としてカラーバランスをとるための光三原色（ＲＧＢ）を用いることができる。ただし、各ＲＧＢパターンはそれぞれ既知のチャネル値（画素値Ｉ）を持つ必要がある。必ずしも同一輝度のＲＧＢパターンを用いる必要はないが、同一輝度のＲＧＢパターンを用いるとカラーバランスの精度が向上するので好ましい。また、ほぼ等しいの輝度の範囲は例えば±１０％以内とする。
本態様のように構成すると、従来のカラーコードターゲットの色彩を調整するだけで、光源色の補正が可能になる。光三原色（ＲＧＢ）を画面上で輝度がほぼ等しくなるようにすると、ＲＧＢそれぞれの輝度をその近傍で調整することにより、容易にカラーバランスを取ることができる。また、光三原色が施された基準色パターンＰ２の単位領域を用いて、小面積で効率の良い光源色補正ができる。

【0027】

また、本発明の第１６の態様に係る画像色彩補正方法は、第１０の態様ないし第１５のいずれかの態様において、例えば図１５に示すように、位置検出工程（Ｓ１２１）で求められた位置検出用パターンＰ１の位置を用いて、異なる複数方向から撮影された撮影画像から、対象物モデルを形成するモデル形成工程（Ｓ１５５）と、モデル形成工程（Ｓ１５５）で形成された対象物モデル２に、色補正工程（Ｓ１２５）で補正された測定対象物２のテクスチャを貼付するテクスチャ形成工程（Ｓ１６５）とを備える。
このように構成すると、テクスチャを貼付することにより、測定対象物２の３次元モデルをリアルに表現可能である。

【発明の効果】

【0028】

本発明によれば、画像の色彩を光源によらない一定の色に統一する補正を行うことができる画像色彩補正装置を提供すること、及び画像の色彩を光源によらない一定の色に統一する補正を行なうことができる画像色彩補正方法を提供することができる。

【図面の簡単な説明】

【0029】

【図1】実施例１によるカラーコードターゲットの例を示す図である。

【図2】グレートーンパッチの例を示す図である。

【図3】キャリブレーションボックスの例を示す図である。

【図4】実施例１による画像色彩補正装置の例を示す図である。

【図5】レトロターゲットの重心位置検出を説明するための図である。

【図6】光源色補正のアルゴリズムのフロー例を示す図である。

【図7】カメラレスポンス関数推定のフロー例を示す図である。

【図8】レスポンス関数の例を示す図である。

【図9】逆レスポンス関数の例を示す図である。

【図10】光源色補正のアルゴリズムを説明するための図である。

【図11】標定を説明するための図である。

【図12】モデル画像を説明するための図である。

【図13】焦点距離推定の処理フロー例を示す図である。

【図14】焦点距離と内部パラメータ関数に用いられる係数の関係を示す図である。

【図15】実施例１における三次元座標演算の処理フロー例を示す図である。

【図16】実施例２によるカラーコードターゲットの例を示す図である。

【図17】実施例３によるカラーコードターゲットの例を示す図である。

【図18】実施例４によるカラーコードターゲットの例を示す図である。

【図19】実施例５によるカラーコードターゲットの例を示す図である。

【図20】実施例６によるカラーコードターゲットの例を示す図である。

【図21】実施例７によるカラーコードターゲットの例を示す図である。

【図22】実施例８によるキャリブレーションボックスの側面の例を示す図である。

【図23】実施例９によるカラーコードターゲットの例を示す図である。

【図24】実施例１０によるカラーコードターゲットの例を示す図である。

【図25】実施例１１によるカラーコードターゲットの例を示す図である。

【図26】実施例１２によるカラーコードターゲットの例を示す図である。

【図27】実施例１３によるカラーコードターゲットの例を示す図である。

【図28】実施例１４によるカラーコードターゲットの例を示す図である。

【発明を実施するための形態】

【0030】

以下、図面を参照して、本発明の実施の形態について説明する。尚、各図において、互いに同一又は相当する部分には同一符号を付し、重複した説明は省略する。

【実施例1】

【0031】

実施例１では、カラーコード付き標識（カラーコードターゲット）ＣＴが、グレースケールパターン（グレースケール領域）Ｐ５を白色領域Ｐ４に隣接して有する例を説明する。

【0032】

［カラーコードターゲット］
図１に本実施例によるコード付き標識としてのカラーコードターゲットＣＴ１の例を示す。カラーコードの単位領域が６個で、輝度スケール領域Ｐ５が白色領域（右下隅）Ｐ４に隣接して配置されている例である。図１のカラーコードターゲットＣＴ１は、位置検出用パターンとしてのレトロターゲット部Ｐ１、基準色パターンとしての基準色部Ｐ２、カラーコードパターンとしてのカラーコード部Ｐ３で構成されている。白色領域Ｐ４及び輝度ケール領域Ｐ５は基準色部Ｐ２の一部である。また、輝度スケール領域Ｐ５は無彩色のグレースケール領域Ｐ５となっている。本実施例では輝度スケール領域Ｐ５が白色領域Ｐ４に隣接して配置されている。これら、レトロターゲット部Ｐ１、基準色部Ｐ２（白色領域Ｐ４とグレースケール領域Ｐ５を含む）、カラーコード部Ｐ３はカラーコードターゲットＣＴ１内の所定の位置に配置される。すなわち、基準色パターンＰ２（白色領域Ｐ４とグレースケール領域Ｐ５を含む）、カラーコードパターンＰ３は位置検出用パターンＰ１に対して予め定められた位置に配置される。図１の配色は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）、黄（Ｙ）、シアン（Ｃ）、マゼンタ（Ｍ）を表す。レトロターゲット部Ｐ１は黒地の中央に再帰反射材料からなる円形パターンを有している。レトロターゲット部Ｐ１に光を照射すると再帰反射材料から再帰反射するので、レトロターゲット部Ｐ１を検出し易くなる。このような再帰反射材料を有するターゲットをレトロターゲットという。この円形パターン内部を再帰反射材料に代えて白色にしても良い。白色の場合にはカラーコードターゲットＣＴ１を製作し易く、光源色補正用の白色としても使用できる。

【0033】

レトロターゲット部Ｐ１は、位置検出用パターンとして機能し、ターゲット自体の検出用、ターゲットの位置（重心）検出用、ターゲットの傾斜検出用として使用される。３つのレトロターゲット部Ｐ１は一直線上にない３以上のパターンとして機能するので、カラーコードターゲットＣＴ１の傾斜を検出できる。また、レトロターゲットの位置を基準にして、基準色パターンＰ２（白色領域Ｐ４及び輝度スケール領域Ｐ５を含む）、カラーコードパターンＰ３の抽出に使用される。

【0034】

基準色部Ｐ２は、色彩の基準として用いる色彩の単位領域を有する。本実施例では赤、緑、青の光三原色の色彩が使用される。すなわち、相対比較時の参照用、色ずれを補正するためのカラーキャリブレーション用として使用される。また、基準色部Ｐ２は、カメラ間の色補正に使用される。複数のカメラで同一基準色を撮影し、撮影画像間の色ずれを補正する。さらに、基準色部Ｐ２の単位領域の色彩には、光源色補正に用いる色彩が使用される。光源色補正とは、同じ色でも光源（自然光、照明等）によって異なって見えるので、画像の色彩を光源によらない一定の色に統一する補正をいう。すなわち、カラーバランスの調整及び輝度補正（濃淡補正）に使用される。また、ＲＧＢ色を画面上でほぼ等しい輝度が得られるように定めておくと、ＲＧＢそれぞれの輝度をその近傍で調整してカラーバランスを取ることが容易になるので、好ましい。

【0035】

また、基準色部Ｐ２は、簡易な方法で作成されたカラーコードターゲットＣＴ１の色彩補正用として使用できる。例えば、色管理がなされていないカラープリンター（インクジェット・レーザー・昇華型等のプリンタ）で印刷したカラーコードターゲットＣＴを使用する場合は、使用プリンタ等で色彩に個体差が出るが、基準色部Ｐ２とカラーコード部Ｐ３の色を相対比較し補正することで、個体差の影響を押さえることができる。
さらに、基準色部Ｐ２は光源色補正のために白色領域Ｐ４と輝度スケール領域（本実施例ではグレースケール領域）Ｐ５を有する。これらについては後述する。

【0036】

カラーコード部Ｐ３は、その各単位領域への配色の組み合わせによってコードを表現する。コードに使用するコード色の数により表現可能なコード数が変化する。例えば、コード色数がｎで単位領域数が３の場合、ｎ×ｎ×ｎ通りのコードを表せる。信頼度を上げるため、他の単位領域に使用されている色を重複して使用しないという条件を課した場合でも、ｎ×（ｎ−１）×（ｎ−２）通りのコードを表せる。ｎ＝６の場合には、６×５×４＝１２０通りのコードを表せる。本実施例のようにｎ＝６、単位領域数が６の場合には、６×５×４×３×２×１＝７２０通りのコードを表せる。そして、コード色数を増やせばコード数を増加できる。

【0037】

さらに、カラーコード部Ｐ３の単位領域の数とコード色数を等しくするという条件を課すと、全てのコード色がカラーコード部Ｐ３に使用されるため、基準色部Ｐ２との比較のみでなく、カラーコード部Ｐ３の各単位領域間で色を相対比較することにより、各単位領域の色彩を確認して識別コードを決定することができ、信頼性を上げることができる。さらに、各単位領域の面積を全て同じにする条件を追加すると、カラーコードターゲットＣＴを画像中から検出する際にも使用できる。これは、異なる識別コードをもつカラーコードターゲットＣＴ間でも各色の占有する面積が同じになるため、カラーコード部Ｐ３全体からの検出光からはほぼ同様な分散値が得られるからである。また、単位領域間の境界は等間隔に繰り返され、明確な色彩差が検出されるので、このような検出光の繰り返しパターンからもカラーコードターゲットＣＴを画像中から検出することが可能である。

【0038】

白色領域Ｐ４は、基準色として用いるため、また、光源色補正のため白色が施される。すなわち、基準色として色ずれのキャリブレーションに使用される。また、白色は光源により敏感に変化するので、光源によらない一定の色に統一する光源色補正に好適である。また、カラーコードターゲットＣＴ１の傾斜検出用とカラーコードターゲットＣＴ１の四隅の内、一カ所だけレトロターゲットが配置されない箇所を白色領域Ｐ４とすることにより、これをカラーコードターゲットＣＴ１の傾斜検出用に使用できる。この場合、傾斜検出用にはレトロターゲットと異なるパターンであれば良いので、目視でコードを確認するための番号などの文字列を印刷しても良く、また、バーコード等のコード領域を含んでも良い。本実施例では白色領域Ｐ４がレトロターゲット部Ｐ１より小型化されて右下隅に設けられ、残りにグレースケール領域Ｐ５が配置されている。白色領域Ｐ４には番号が付記されている。

【0039】

図２にグレースケール領域Ｐ５の例を示す。グレースケール領域Ｐ５には、光源色補正のため無彩色で輝度の異なる複数の諧調の色が施される。かかる無彩色で諧調の異なる複数の色を配置したパターンをグレートーンパッチという。諧調数を増やす程光源色補正の精度を向上できる。この例では、無彩色として白、黒を含む１１階層の色を輝度の高い方を左にして、階調順に横一列に並べて配置している。本実施例（図１）では、白、黒を除く７階調の横長の無彩色パターンが、輝度の高い方を下にして、階調順に上下に配置されている。グレートーンパッチにより、光源色を算出し、光源色の補正を行なうことができる。また、複数のデジタルカメラで同時にグレートーンパッチを撮影した際に、異なるホワイトバランスや露出を原因とする画像間の明るさや色差を補正することができる。また、単一の撮影画像を用いてグレートーンパッチからデジタルカメラのレスポンス関数を推定することができる。

【0040】

輝度スケール領域Ｐ５には、光源色補正のため色相が同一で輝度の異なる複数の諧調の色が施される。この輝度スケール領域Ｐ５をカラーコードターゲットの一部に設ける他に、輝度スケール領域Ｐ５をシート状のカラーキャリブレーションシートとし、既存のカラーコードターゲットと共にキャリブレーションパネルやキャリブレーションボックスに貼り付けて使用することができる。また、既存のカラーコードターゲットの上又は近傍に貼り付けて使用することもできる。

【0041】

［キャリブレーションボックス］
図３にキャリブレーションボックスの例を示す。画像色彩補正装置１では、測定対象物２の周囲に円周上に配置された、場合によっては半球（上側）の球面上に配置された、ステレオカメラを用いてステレオマッチング法により測定対象物２の３次元モデリングを行なう。単カメラで場所を移動しながら撮影した画像をステレオペアとして用いても良い。しかし、複数台のデジタルカメラで撮影した画像を測定対象物モデルに重ね合わせた場合、光学的に不整合（色ずれ）の発生したテクスチャとなる。この原因は各カメラにより露出やホワイトバランスなどのパラメータが異なることにより発生するものである。カメラパラメータを統一した場合においてもデジタルカメラの個体差があり、色誤差が発生してしまう。画像色彩補正装置１が人体計測システムに使用される場合には人体の表面の色彩が光により微妙に変わることから、特に光源色補正が重要である。撮影画像における測定対象物２の表面の色彩を補正するためには、測定対象物２の表面の各部に近い位置に配置したカラーコードターゲットＣＴ（輝度スケール領域Ｐ５を有する）を用いて行なうのが好適である。例えば、人体に近い大きさのキャリブレーションボックスＣＢを用意し、その表面に複数のカラーコードターゲットＣＴを配置し、複数のカメラの撮影画像から光源色を算出し、画像間の輝度の誤差を補正する。

【0042】

図３には、直方体の各側面に６個ずつ大きいカラーコードターゲットＣＴが配置され、大きいカラーコードターゲットＣＴの間に小さい８個のカラーコードターゲットＣＴが配置され、上面に小さい９個のカラーコードターゲットＣＴが配置されたキャリブレーションボックスＣＢの例を示す。大きい２４個のカラーコードターゲットは第１の１組のカラーコードターゲットに属し、小さい４１個のカラーコードターゲットは第２の１組のカラーコードターゲットに属する。１組のカラーコードターゲットＣＴにおいては、基準色パターンＰ２の配色は全て同一であり、各カラーコードパターンＰ３の配色は全て異なる。白色領域Ｐ４には白色の地に各カラーコードターゲットＣＴを識別する番号が付与されている。図３は、グレースケール領域Ｐ５がない例であるが、本実施例では、図１に示すようにグレースケール領域Ｐ５が白色領域Ｐ４に隣接して配置されているカラーコードターゲットＣＴ１が配置されたキャリブレーションボックスをＣＢ用いるものとする。また、輝度スケール領域Ｐ５をシート状にしたカラーキャリブレーションシートを図３のカラーコードターゲットＣＴが貼られていない隙間に配置して用いても良い。

【0043】

［画像色彩補正装置］
図４に本実施例における画像色彩補正装置１の構成例を示す。画像色彩補正装置１は、例えば、測定対象物２（キャリブレーションボックスＣＢ等を含む）を撮影する撮影部３、撮影画像や画像処理した画像を表示したり、入出力操作を行う入出力部４、撮影画像から測定対象物２に貼り付けられたカラーコードターゲットＣＴ１を抽出するターゲット抽出部５、撮影パラメータの演算、対象物の三次元座標の演算等の演算処理を行う演算部６、色補正（光源色補正を含む）等、撮影画像に種々の画像処理を行う画像処理部７、撮影画像、モデル画像等の画像、画像処理や演算処理に有用なデータを記憶し、必要に応じて処理中のデータを記憶する記憶部８、画像色彩補正装置１及びその各部を制御して、画像色彩補正装置１として機能させる制御部９により構成される。このうち、ターゲット抽出部５、演算部６、画像処理部７、制御部９はパーソナルコンピュータ（ＰＣ）１０の機能を用いて実現でき、ＰＣ１０内に構成される。

【0044】

撮影部３は、測定対象物２を撮影するためのステレオカメラ又は単カメラ等を有し、また、撮影画像を取得する撮影画像取得部３１を有する。本実施例では撮影画像取得部３１は少なくとも異なる２方向からの撮影画像を取得する。キャリブレーション時には、カラーコードターゲットＣＴ１を撮影し、その撮影画像を取得する。入出力部４は、撮影画像、モデル画像や操作画面を表示する表示部４１、プリンタやスピーカ等を有する出力部４２、マウスやキーボード等を有する入力部４３を有する。

【0045】

ターゲット抽出部５は、撮影画像取得部３１で取得された撮影画像から、キャリブレーションボックスＣＢ等に貼り付けられたカラーコードターゲットＣＴ１の位置検出用パターンＰ１を検出し、位置検出用パターンＰ１の位置を求める位置検出部５１、位置検出部５１で検出されたカラーコードターゲットＣＴ１から基準色パターンＰ２を抽出する基準色パターン抽出部５２、位置検出部５１で検出されたカラーコードターゲットＣＴ１からカラーコードパターンＰ３を抽出するカラーコードパターン抽出部５３を有する。基準色パターン抽出部５２は、位置検出部５１で検出されたカラーコードターゲットＣＴ１から、白色領域を抽出する白色領域抽出部５２１と輝度スケール領域Ｐ５を抽出する輝度スケール領域抽出部５２２を有する。本実施例では位置検出部５１は少なくとも異なる２方向から取得された撮影画像から各位置検出用パターンＰ１を順次検出する。

【0046】

演算部６は、キャリブレーションのために貼り付けられたカラーコードターゲットＣＴ１やキャリブレーションボックスＣＢに貼り付けられたカラーコードターゲットＣＴ１の撮影画像から位置検出部５１で抽出された位置検出用パターンＰ１の位置に基づいてカメラの撮影パラメータを求める撮影パラメータ演算部６１、撮影パラメータ演算部６１で求められた撮影パラメータを用いて、測定対象物２の撮影画像から測定対象物２の位置（三次元座標）を演算して求める三次元座標演算部６２、標定計算処理を行う標定部６３を有する。標定部６３は焦点距離ｆを推定する焦点距離推定部６３１を有する。

【0047】

画像処理部７は、基準色パターン抽出部５２で抽出された各基準色パターンＰ２の色彩を用いてカメラ及び撮影画像の色補正を行なう色補正部７１、位置検出部５１で求められた位置検出用パターンＰ１の位置を用いて、異なる複数方向から撮影された撮影画像のつなぎ合わせを行う画像合成部７２、位置検出部５１で求められた位置検出用パターンＰ１の位置を用いて、異なる複数方向から撮影された撮影画像から、測定対象物モデルを作成するモデル形成部７３、モデル形成部７３で形成された測定対象物モデルに、色補正部７１で補正された測定対象物２のテクスチャを貼付するテクスチャ形成部７４、基準色パターン抽出部５２で抽出された基準色パターンＰ２の各基準色の色彩とカラーコードパターン抽出部５３で抽出されたカラーコードパターンＰ３の各コード色の色彩を比較して、カラーコードパターンＰ３の色彩の配置を求め、カラーコードターゲットＣＴ１の白色領域Ｐ４に付された番号と対応付けてカラーコード記憶部８３に記憶すると共に、求められたカラーコードパターンＰ３の色彩の配置を、記憶部８に記憶された色彩配置−コード対応表を参照してカラーコードを判別するカラーコード判別部７５、撮影パラメータ演算部６１で求められた撮影パラメータを用いて、画像データの補正を行なう画像データ補正部７６を有する。

【0048】

記憶部８は、撮影画像を記憶する撮影画像記憶部８１、基準色パターンＰ２の色彩データを記憶する基準色記憶部８２、各カラーコードパターンＰ３の色彩配置データを記憶するカラーコード記憶部８３、モデルデータを記憶するモデル記憶部８４、内部パラメータと焦点距離ｆの関係を記憶する撮影パラメータ記憶部８５を有する。また、各カラーコードパターンの色彩配置データとコード番号との対応関係を記録する色彩配置−コード対応表を有し、カラーコード判別部７５では、この色彩配置−コード対応表を参照してカラーコードを判別する。また、使用が予定される複数種類のカラーコードターゲットＣＴについて、カラーコードターゲットＣＴの種別を示す種別コード番号を記憶する。色彩配置−コード対応表はカラーコードターゲットＣＴの種別毎に記憶する。

【0049】

［カラーコードターゲットの検出］
次に、カラーコードターゲットＣＴの検出について説明する。まず、ターゲット抽出部５の位置検出部５１にて撮影画像からカラーコードターゲットＣＴを抽出する。抽出方法として、（１）カラーコードターゲットＣＴ中の位置検出用パターン（レトロターゲット部）Ｐ１を探索する方法、（２）カラーコード部Ｐ３の色分散を検出する方法、あるいは（３）彩色された位置検出用パターンを用いる方法など種々の方法がある。

【0050】

（１）カラーコードターゲットＣＴに再帰反射材料を用いたレトロターゲットが含まれている場合は、明度差が鮮明なパターンを使用するので、カメラの絞りを絞りフラッシュ撮影することにより、レトロターゲットのみが光った画像を取得でき、この像を２値化することにより簡単にレトロターゲットを検出できる。

【0051】

図５はレトロターゲットの重心位置検出を説明するための図である。ただし、レトロターゲットでなく、黒地に白の塗装で形成した白色円形のターゲットでも処理は同様である。図５の例ではレトロターゲットは２つの同心円で形成されているが、外側が必ずしも円でなくとも良い。図５（Ａ１）は同心円のうち小円の内側である内円部２０４の明度が明るく、小円と大円との間に形成された円環状の部分である外円部２０６の明度が暗いレトロターゲット２００、図５（Ａ２）は（Ａ１）のレトロターゲット２００の直径方向の明度分布図、図５（Ｂ１）は内円部２０４の明度が暗く、外円部２０６の明度が明るいレトロターゲット２００、図５（Ｂ２）は（Ｂ１）のレトロターゲット２００の直径方向の明度分布図を示している。レトロターゲットが図５（Ａ１）のように内円部２０４の明度が明るい場合は、測定対象物２の撮影画像において重心位置での反射光量が多く明るい部分になっているため、画像の光量分布が図５（Ａ２）のようになり、光量分布の閾値Ｔｏからレトロターゲットの内円部２０４や中心位置を求めることが可能となる。レトロターゲットを使用すると、反射光量が大きく検出し易いという利点がある。白色円形のターゲットでは製作が容易である。

【0052】

レトロターゲットの存在範囲が決定されると、例えばモーメント法によって重心位置を算出する。例えば、図５（Ａ１）に表記されたレトロターゲット２００の平面座標を（ｘ、ｙ）とする。そして、レトロターゲット２００の明度が、しきい値Ｔｏ以上のｘ、ｙ方向の点について、（式１）、（式２）を演算する（＊は乗算演算子）。

ｘ_ｇ＝｛Σｘ＊ｆ（ｘ、ｙ）｝／Σｆ（ｘ、ｙ） −−−−（式１）
ｙ_ｇ＝｛Σｙ＊ｆ（ｘ、ｙ）｝／Σｆ（ｘ、ｙ） −−−−（式２）
（ｘ_ｇ、ｙ_ｇ）：重心位置の座標、ｆ（ｘ、ｙ）：（ｘ、ｙ）座標上の明度値

なお、図５（Ｂ１）に表記されたレトロターゲット２００の場合は、明度がしきい値Ｔｏ以下のｘ、ｙ方向の点について、（式１）、（式２）を演算する。これにより、レトロターゲット２００の重心位置が求まる。

【0053】

（２）通常、カラーコードターゲットＣＴのカラーコード部には多数のコード色が使用され、色の分散値が大であるという特徴がある。このため、分散値の大きい箇所を画像中から見出すことにより、カラーコードターゲットＣＴを検出できる。
（３）カラーコードターゲットＣＴに使用している３隅のレトロターゲットに異なる色をもたせ、それぞれのレトロターゲットが反射する色を異なるものにする。３隅のレトロターゲットに異なる色をもたせているため、１つのカラーコードターゲットに属する各レトロターゲットを判別しやすい。

【0054】

［光源色補正アルゴリズムのフロー］
図６に光源色補正（広義の光源色補正）のアルゴリズムのフロー例を示す。まず、カラーコードターゲットＣＴ１を検出する（Ｓ０１０）。前述の（１）〜（３）のいずれかで検出できる。例えば、（１）のレトロターゲット部の検出又は（２）の色分散によるカラーコードターゲット検出を行なう。

【0055】

次に、カラーコードターゲットＣＴ１のコード番号を検出する（Ｓ０２０）。カラーコードターゲットＣＴ１は、カラーコード部Ｐ３の配色の差異により識別できる。よって、撮影画像におけるカラーコードターゲットＣＴ１の寸法と傾きを補正した後に、基準色パターン抽出部５２にて、基準色部Ｐ２を予め定められたコースで順次走査して各基準色（単位領域）の色彩を抽出する。カラーコードパターン抽出部５３にて、カラーコード部Ｐ３を予め定められたコースで順次走査して各カラーコード色（単位領域）の色彩を抽出する。本実施例では、各単位領域への配色の組み合わせについて、他の単位領域に使用されている色を重複して使用しないという条件、及びカラーコード部Ｐ３の単位領域の数とコード色数を等しくするという条件が適用されるので、各単位領域の色彩を各基準色と比較し、また、カラーコード色間で相互に比較しながら確認して識別コードを決定できる。これにより、カラーコード判別部７５は、抽出されたカラーコード部Ｐ３の色彩配置を、記憶部８に記憶された色彩配置−コード対応表を参照して、カラーコードターゲットＣＴ１のコード番号を判別する。

【0056】

次に、輝度スケール領域Ｐ５又は／及び白色領域Ｐ４の検出を行なう（Ｓ０３０）。カラーコードターゲットＣＴ１の輝度スケール領域Ｐ５又は／及び白色領域Ｐ４を自動あるいは手動で指定する。輝度スケール領域Ｐ５及び白色領域Ｐ４は、カラーコードターゲットＣＴ１の検出に使用される３個のレトロターゲットに対して予め定められた位置関係にあることから、輝度スケール領域抽出部５２２又は／及び白色領域抽出部５２１は先に求められた３個のレトロターゲットの位置から対応する位置を自動的に走査し、検出された色彩を確認する。本実施例では、カラーコードターゲットＣＴ１の右下隅の領域を輝度スケール領域Ｐ５として検出する。なお、マニュアルで対応する位置を指定することも可能である。

【0057】

［光源色補正の前処理］
次に、光源色補正（狭義の光源色補正）の前処理を行う。この前処理も狭義の光源色補正に含まれる。この前処理は色補正部７１にて行われる。
まず、逆レスポンス関数を推定し、輝度スケール領域Ｐ５において検出された画素値（Ｍ）に逆レスポンス関数を掛ける処理を行う（Ｓ０４０）。一般的なデジタルカメラではシーン（撮影されるべき撮影対象及びその背景）の放射輝度（Ｉ）をデジタルカメラの画素値（Ｍ）に対応させるためのレスポンス関数が掛かっている。これは、画像をガンマ補正がされたディスプレイ上で確認した時に自然に見えるようにするためでる。ガンマ補正とは、白色領域がディスプレイ上で、有彩色やグレーが入らず白色になるように基準となる光（ＲＧＢ）にモニタ特性の逆関数を掛ける補正することをいう。ところが、レスポンス関数の補正に関して、画像の輝度値が線形でないので、輝度補正する場合に単純ではない。例えば、２枚の画像の画素値の比を考えた場合、画素値（Ｍ）によって画素値の比が異なってしまう。例えば、白色パッチ（輝度スケール領域の白色部分又は白色領域Ｐ４）から輝度補正用のパラメータを推定した場合、そのパラメータを白色パッチ以外の領域（輝度スケール領域の白色以外の部分）に補正パラメータとして使うと補正を正しく行なうことができない。そのため、画素値から放射輝度を算出するには画素値にレスポンス関数の逆関数を掛けて、画素値を線形に変換する必要がある。

【0058】

図７にカメラのレスポンス関数推定のフロー例を示す。まず、輝度スケール領域抽出部５２２にて輝度スケール領域Ｐ５としてグレートーンパッチを検出する（Ｓ０３０）。この際、白色領域抽出部５２１で白色領域Ｐ４を、基準色パターン抽出部５２で基準色パターンＰ２のＲＧＢ領域を併せて検出しても良い。白色領域Ｐ４と基準色パターンＰ２のＲＧＢ領域を併用することにより、カラーバランスの調整精度を向上できる。次に、逆レスポンス関数の推定処理（Ｓ０４０）として、色補正部７１にて次の工程を行う。まず、グレートーンパッチの各パッチ（諧調が等しい部分を１つのパッチとする）の画素値（Ｍｎ）の抽出を行なう（Ｓ０４１）。次に、各パッチの画素値の平均値（Ｍｎ）を取得する。ここで、ｎはパッチ番号を表す（ｎ＝０〜１０）。次に、多項式で画素値（Ｍｎ）を近似する（Ｓ０４２）。各パッチの既知の諧調値を放射輝度（Ｉｎ）とする。各点Ｐｎ（Ｉｎ，Ｍｎ）（ｎ＝１〜１０）を通る関数ｆ（Ｍ）を多項式（式３）で近似する。多項式近似は最小二乗法にて行なう。なお、白色パッチの場合には、ｎ＝Ｎで、輝度値＝１である。

【数1】

【0059】

図８にレスポンス関数の例を示す。
図９に逆レスポンス関数の例を示す。逆レスポンス関数はレスポンス関数の逆関数である。

【0060】

次に、図６に戻り、色補正部７１にて光源色を算出する（Ｓ０５０）。カラーコードターゲット検出工程（Ｓ０１０）で検出した輝度スケール領域Ｐ５がグレートーンパッチである時、又は白色領域Ｐ４が白色パッチである時は、領域内の画素値（Ｉ）（グレートーンパッチの場合は諧調毎に）の平均を光源色（Ｅｐ）（光源のパワーを分光分布で示したもの）とする（式４）（川上玲，Ｒ．Ｔ．Ｔａｎ，池内克史：“光源環境の変化を利用した物体色の推定”，画像の認識・理解シンポジウム（ＭＩＲＵ２００４）参照）。それ以外のパッチ（カラートーンパッチ）を検出した場合、それぞれの諧調毎にパッチの既知である表面色（Ｓ）（表面反射率を分光分布で示したもの）で領域内の画素値（Ｉ）を割ることで光源色（Ｅｐ）（分光分布）を算出する。そして、算出された光源色（Ｅｐ）のＲＧＢ成分の二乗和が１となるように正規化する。

【数2】

Ｉ：画素値（実測値を分光分布で示したもの）
Ｓ：表面色（表面反射率を分光分布で示したもの、白の場合は１）
Ｅｐ：推定された光源色（分光分布）

【0061】

［光源色補正］
次に、色補正部７１にて光源色補正（狭義の光源色補正）を行なう（Ｓ０６０）。
図１０は光源色補正（狭義の光源色補正）のアルゴリズムを説明するための図である。光源を不知の光源に代えて標準の光源を用いるのと等価な補正を行う。撮影した画像に含まれる物が拡散反射物体であり、相互反射や鏡面反射を含まない場合、画像の画素値（Ｉ）と表面色（Ｓ）と光源色（Ｅｐ）の関係は(式４)で表される。ここで、表面色（Ｓ）とは物体固有の色であり、光源色（Ｅｐ）の変動に対して不変な色である。つまり、光源色補正を行い、光源色（Ｅｐ）によらない物体固有の色（Ｓ）に基づく画素値を求める。

【0062】

光源色補正（狭義の光源色補正）は、撮影した画像の全画素値を算出された光源色（Ｅｐ）で割ることで行なわれる。ここで、（Ｉ〜）は補正後の画素値、（Ｉ）は補正前の画素値、（Ｅｐ）は推定された光源色である。

【数3】

Ｉ〜：補正後の画素値
Ｉ ：補正前の画素値
Ｅｐ：（式４）で推定された光源色

【0063】

次に、輝度の補正を行なう（Ｓ０７０）。複数のカメラで同時に画像を撮影した場合について考える。それぞれのカメラで撮影した画像について、光源色の補正（Ｓ０６０）を行なう。この時の各画像は光源色が補正されているが、画像間では画像の明るさを表す輝度が異なる。そこで、各画像について、撮影したグレートーンパッチＰ５の画素値を基準として輝度を補正する。複数の画像のパッチの画素値の比（Ｒ）を計算する。そして、この画素値の比を片方の画像に掛けることにより複数の画像間における輝度の補正を行なう。

【数4】

Ｒ：明るさの比
Ｅｐ：各カメラにおける光源色
Ｉ：各カメラにおける画素値

これにより、画像間の輝度を合わせることができる。なお、ここでは、光源色補正（広義の光源色補正）アルゴリズムについてグレートーンパッチに適用する例を説明したが、カラートーンパッチについても同様に適用できる。

【0064】

［カメラパラメータの調整］
次にパラメータの調整について説明する（特開２００７−１４７４５７号公報参照）。

【0065】

［相互標定］
本実施の形態において、焦点距離の推定は相互標定時に行われる。ステレオペア選択された撮影画像について、特徴点や基準点と対応点の座標を用いて、標定部６３により標定計算処理を行う。標定計算処理により、撮影したカメラの位置、傾き等の外部標定要素、対応点の位置、計測精度（例えば、基準点がある場合には、バンドル調整で算出された三次元座標と基準点との残差の標準偏差、無い場合には、相互標定時の縦視差が用いられる）を求めることができる。標定計算処理は、一対の撮影画像又は一対のモデル画像の対応付けに関しては相互標定で行ない、複数または全画像間の標定に関してはバンドル調整にて行う。相互標定は標定部６３で行なわれる。

【0066】

図１１は、ステレオ画像におけるモデル画像座標系ＸＹＺとカメラ座標系ｘｙｚの関係の説明図である。モデル画像座標系の原点を左側の投影中心にとり、右側の投影中心を結ぶ線をＸ軸にとるようにする。縮尺は、基線長を単位長さにとる。このとき求めるパラメータは、左側のカメラのＺ軸の回転角κ１、Ｙ軸の回転角φ１、右側のカメラのＺ軸の回転角κ２、Ｙ軸の回転角φ２、Ｘ軸の回転角ω２の５つの回転角となる。この場合左側のカメラのＸ軸の回転角ω_１は０なので、考慮する必要はない。

【0067】

【数5】

【0068】

このような条件にすると、（式７）の共線条件式は（式８）のようになり、この式を解けば各パラメータが求まる。

【数6】

【0069】

ここで、モデル座標系ＸＹＺとカメラ座標系ｘｙｚの間には、次に示すような座標変換の関係式（式９）、（式１０）が成り立つ。

【数7】

【0070】

この式の中の、−ｃが画面距離で、焦点距離ｆと同等なものなので、この値を変動させ、最適値を選ぶことになる。なお、左右のカメラの焦点距離が異なる時は、（式９）と（式１０）のｃの値が異なる。

【0071】

これらの式を用いて、次の手順により、未知パラメータを求める。
（ｉ）パラメータ（κ１、φ１、κ２、２、ω２）の初期近似値は通常０とする。
（ｉｉ）共面条件式（式８）を近似値のまわりにテーラー展開し、線形化したときの微分係数の値を式（式９）、（式１０）により求め、観測方程式をたてる。
（ｉｉｉ）最小自乗法を適用して、近似値に対する補正量を求める。
（ｉｖ）近似値を補正する。
（ｖ）補正された近似値を用いて（ｉｉ）〜（ｉｖ）までの操作を収束するまで繰り返す。

【0072】

仮に、標定点の配置が悪い等の場合、収束しない場合がありうる。正常に行われなかった場合は、標定結果表示でエラーを出力し、どこの画像が悪いか表示する。この場合、画像上に別の標定点があれば変更して上記計算を繰り返す。だめなら標定点の配置変更を行なう。

【0073】

このように、ステレオペア選択された各画像について、抽出された標定点で標定し、撮影したカメラの位置、傾き、対応点の位置、計測精度を求めることができる。標定計算処理は、一対の撮影画像又は一対のモデル画像の対応付けに関しては相互標定で行ない、複数または全画像間の標定に関しては後述するバンドル調整にて行う。

【0074】

〔モデル形成〕
モデル形成部７３は、標定部６３によって標定計算処理された外部パラメータ（撮影したカメラの位置、傾き）を用いて、モデル及びモデル画像を形成する。ここで、モデル画像とは、偏位修正画像ともいい、撮影画像の一対である左右画像の対応点を同一エピポーラライン上に再配置したものをいう。

【0075】

図１２にモデル画像の例を示す。標定処理の結果を用いてモデル画像を形成すると、このように、左右画像のリファレンスポイントＲＦは同一エピポーラライン（水平線）ＥＰ上に再配列される。ＴＧはターゲット（本実施例ではカラーコードターゲットＣＴ１）である。焦点距離の推定を行なう場合には、焦点距離ｆを変数として離散値を用いるために、左右画像に僅かな縦視差が生じ得るが、本実施の形態ではこれらの画像もモデル画像として扱う。モデル記憶部８４は、モデル形成部７３で形成された測定対象物２のモデルデータ及びモデル画像を記憶する。表示部４１は、ターゲット抽出部５で行う特徴点抽出、対応点探索、ステレオマッチング等の処理において、撮影画像又はモデル形成部７３により形成されたモデル画像を一対の画像として表示する。

【0076】

〔焦点距離推定〕
図１３に焦点距離推定の処理フロー例を示す。ここでは、ズーム式カメラにおいて予め、複数焦点の焦点位置にてキャリブレーションを行い、これらのデータより焦点距離ｆに対するカメラ内部パラメータ（主点位置及びレンズディストーション）の近似曲線を求め、撮影パラメータ記憶部８５に記憶しておく（ステップＳ１１０：内部パラメータ記憶工程）。画像計測用に任意のズーム位置（焦点位置）にてステレオ撮影した（ステップＳ１２０、図１３では第１の撮影工程と表示）場合、相互標定にて最確（縦視差が最も小さい）な焦点距離ｆを推定する（ステップＳ１３５：標定・焦点距離推定工程）。焦点距離ｆの推定は標定部６３の焦点距離推定部６３１にて行なう。推定された焦点距離ｆに基づいてカメラ内部パラメータ（ディストーション及び主点位置）を近似曲線より取り出し、外部パラメータ（カメラの位置、傾き）も相互標定にて演算される（ステップＳ１４０：撮影パラメータ演算工程）。このようにして求めたカメラ内部パラメータ及び外部パラメータを用いて、撮影対象物２のモデルを形成し（ステップＳ１５５：モデル形成工程）、モデル三次元座標演算を行う（ステップＳ１６０：三次元座標演算工程）。かかる手法を焦点距離推定法と称する。

【0077】

モデル画像を形成するためには、少なくとも１回の相互標定を行う。この相互標定の際に、焦点距離推定部６３１において、ターゲット抽出部５で求められた特徴点、基準点及び対応点を用い、焦点距離ｆを変数として、一対のモデル画像間の残存縦視差を最小にするように、撮影レンズの焦点距離を推定する（ステップＳ１３５）。すなわち、焦点距離推定部６３１では、相互標定を行い最初のモデル画像を形成する過程で焦点距離ｆを推定する。このとき、焦点距離推定部６３１は変数としての焦点距離ｆを標定部６３に供給し、標定部６３で相互標定の計算を行って外部標定要素を算出し、モデル形成部７３ではその外部標定要素を用いてモデル画像を形成し、焦点距離推定部６３１では、これらの焦点距離ｆを変化させたときのモデル画像を比較して残存縦視差が最小となる焦点距離ｆ、すなわち、左右エピポーララインの垂直方向の差異を最小になるような焦点距離ｆを最確値とする。なお、相互標定を繰り返し行うことにより標定精度を向上できるので、２回目以後の相互標定で形成されたモデル画像を比較して焦点距離ｆを推定しても良い。

【0078】

焦点距離ｆを変数として比較する際に、例えば、ズーム式カメラ２の焦点距離が７．２ｍｍから５０．８ｍｍで調整可能な場合を取り上げる。焦点距離データの測定個数を６個とすると、７．２ｍｍが最広角となり、５２．２ｍｍが最望遠となり、中間の測定点として光学的意味での等間隔で測定をする為に、変数として、８．７ｍｍ、１１．６ｍｍ、２４．８ｍｍ、３９．０ｍｍが選択される。また、この焦点距離の最確値を近似的に求める手法として１段階目として変数を２ｍｍ間隔とし、２段階目として１段階目で求めた最確値の近傍で変数を０．５ｍｍ間隔とするなどにより、段階式に最確値を求め、高速化をはかることも可能である。そして、後述するように、推定した焦点距離ｆより、主点位置とレンズディストーションのパラメータを近似曲線より算出・取り出し、これをカメラ内部パラメータとする。また、毎回推定された焦点距離ｆと対応する内部パラメータを用いて相互標定を行うことにより、焦点距離ｆを高精度に求めることができる。

【0079】

〔バンドル調整〕
標定計算処理は、複数または全画像間の標定に関してはバンドル調整にて行う。バンドル調整は標定部６３にて行なう。カメラ内部パラメータを演算処理するに際し、例えば写真測量分野で使用されている「セルフキャリブレーション付きバンドル調整法」を用いることができる。ここで、「バンドル調整」とは、被写体、レンズ、カメラの撮像面を結ぶ光束（バンドル）は同一直線上になければならないという共線条件に基づき、各画像の光束１本毎に観測方程式をたて、最小自乗法により外部標定要素（撮影したカメラの位置と傾き）とリファレンスポイントＲＦの座標位置を同時調整する方法である。「セルフキャリブレーション付き」とはさらに、キャリブレーション要素、即ちカメラ内部標定要素（主点位置及びレンズディストーション）を求めることができる方法である。セルフキャリブレーション付きバンドル調整法（以下単に「バンドル調整法」という）の共線条件基本式は、次の（式１１）と（式１２）である。

【0080】

【数8】

この（式１１）と（式１２）は、共線条件式（式７）を基本式とするものである。即ちバンドル調整法は、（式１１）と（式１２））を用いて、複数画像から最小自乗近似して、最適解を算出する手法であり、各撮影位置のカメラの外部標定要素を同時に求めることが可能となる。即ち、カメラのキャリブレーション要素を求めることが可能となる。

【0081】

ここで、内部標定要素の補正モデルとして、放射方向レンズ歪を有する場合の一例を次の（式１３）に示す。

【数9】

ｘ_０，ｙ_０：画面中心（主点位置）

【0082】

〔内部パラメータ〕
ここで、カメラ内部標定要素（カメラ内部パラメータ）について説明する。
図１４は、焦点距離と内部パラメータ関数に用いられる係数の関係を説明する図で、図１４（Ａ）は（式１３）の係数ｋ１、図１４（Ｂ）は（式１３）の係数ｋ２、図１４（Ｃ）は画像座標系ｘでのカメラ主点と画像中心のｘ軸位置ずれ係数ｘ_０、図１４（Ｄ）は画像座標系ｙでのカメラ主点と画像中心のｙ軸位置ずれ係数ｙ_０を表している。ここでは、前述の説例のように、ズーム式カメラの焦点距離が７．２ｍｍから５０．８ｍｍで調整可能な場合を取り上げる。焦点距離データの測定個数を６個とすると、７．２ｍｍが最広角となり、５２．２ｍｍが最望遠となり、中間の測定点として光学的意味での等間隔で測定をする為に、８．７ｍｍ、１１．６ｍｍ、２４．８ｍｍ、３９．０ｍｍが選択される。

【0083】

（式１３）の係数ｋ_１、ｋ_２は、最広角側で絶対値が最大となり、最望遠側では小さくなっている。画像座標系ｘでのカメラ主点と画像中心のｘ軸位置ずれ係数ｘ_０は、ズーム式カメラの焦点距離が１１．６ｍｍで極小値を、５２．２ｍｍで最小値４．４１をとり、２４．８ｍｍで最大値４．５５をとる複雑な変化をしているので、焦点距離の五次曲線で近似している。画像座標系ｙでのカメラ主点と画像中心のｙ軸位置ずれ係数ｙ_０は、ズーム式カメラの焦点距離に応じて単調に変化している。なお、チャート撮影画像はピントが合った状態で撮影されるので、ズーム式カメラ２の焦点距離ｆと、投影中心点Ｏ_１、Ｏ_２から画像座標系までの画面距離ｃとは、等しくなっている。

【0084】

図１４の近似曲線に焦点距離ｆを入力すると、内部パラメータ関数に用いられる係数ｋ_１、ｋ_２、ｘ_０、ｙ_０が得られる（ステップＳ１３５）。ここで、カメラ主点のずれである座標（ｘ_０、ｙ_０）が光軸中心（主点位置）を表す。そして、内部パラメータ関数としての（式１１）、（式１２）、（式１３）にこれらの係数を代入して、それぞれの観測点に関して観測方程式を立てる。そして、観測方程式を連立して解くと共に、最小自乗法を適用することで、最も確からしい内部パラメータが算出できる。これらの内部パラメータと焦点距離ｆの関係は撮影パラメータ記憶部８５に入力されており、撮影パラメータ記憶部８５から取得可能である。また、ズームレンズの場合には、内部パラメータは撮影画角に対応した撮影条件による影響を加味して読み出される。
また、内部パラメータの主点位置とレンズディストーションは、パスポイント（対応点）の正確な三次元座標を算出するために使用される。

【0085】

〔撮影画像の補正〕
画像データ補正部７６は、これらの内部パラメータ係数ｋ_１、ｋ_２、ｘ_０、ｙ_０を用いて撮影画像又はモデル画像を補正する。モデル形成部７３は、標定部６３によって標定計算処理された外部パラメータ（撮影したカメラの位置、傾き）から、測定対象物２のモデル及びモデル画像を形成する（ステップＳ１５５）。この際に、画像データ補正部７６で補正された撮影画像データやモデル画像データがあれば、これを用いて新たなモデル画像を形成する。これにより、レンズ歪みの影響が除去されたモデル画像を形成できる。表示部４１は補正されたモデル画像を表示する。

【0086】

モデル形成部７３は、カメラで撮影されたステレオ画像について相互標定で得られた外部標定要素を用いて偏位修正画像（モデル画像）を生成する機能を有し、一組のステレオ撮影された画像を偏位修正して、立体視できるように調整する。さらに、偏位修正されたステレオ画像から、いわゆる絶対標定を行って、各画素（ピクセル）の地上座標を計算する。

【0087】

画像データ補正部７６は、さらに絶対標定又は相互標定で得られたステレオ画像データをオルソ画像に変換する機能を有する。オルソ画像とは、写真測量技術に基づき、カメラの傾きや比高等による歪みを補正して正射投影とした画像である。撮影画像記憶部８１に格納されたステレオ画像データは、中心投影画像とよばれるものである。画像データ補正部７６は、ステレオ画像データの画像を中心投影から正射投影（オルソ）画像に作成し直して、測定対象物２の詳細なモデル画像を作成する。
補正された画像データを用いて精密標定、三次元座標演算を行なうことができる。

【0088】

本実施例における焦点距離推定法（５）の他に、次のようなキャリブレーション方法（１）〜（４）も可能である。

【0089】

（１）目盛り合わせ法：焦点距離は一度目盛り中心に合わせてキャリブレーションを行い、再度その焦点距離に目検討で合わせ、前記キャリブレーションデータを使用して精度評価を実施する。
（２）デジタルカメラデータ解析ツール利用法：デジタルカメラの画像ファイルの規格として使用されるＥｘｉｆ（イグジフ、Ｅｘｃｈａｎｇｅａｂｌｅ Ｉｍａｇｅ Ｆｉｌｅ Ｆｏｒｍａｔの略語）形式の画像ファイルからデジタルカメラのデータ解析ツールにて得られた焦点距離を使用し、ディストーションと主点位置のパラメータは（３）に記すオンサイト法によりデータ取得し、キャリブレーションデータを作成する。
（３）オンサイト法：予め目盛に合わせて例えば６箇所の焦点距離にてキャリブレーションを実施し、これらのデータより焦点距離に対しディストーション及び主点位置に関する関数を作成しておく。任意のズーム位置でステレオ撮影すると仮定し、焦点距離はセルフキャリブレーション付きバンドル調整により取得する。例えば、パスポイント（対応点）１０点とし、取得された焦点距離に対応するキャリブレーションデータを近似曲線より算出する。
（４）固定焦点法：焦点距離を固定してキャリブレーションを実施し、その固定した焦点位置のみにて撮影・解析を行う。
（５）焦点距離推定法：本実施例に該当する方法である。相互標定にて縦視差が最も小さくなるような焦点距離を最確値として算出し、ディストーションと主点位置のパラメータは（４）に記すオンサイト法の近似曲線より算出する。

【0090】

［三次元座標演算］
図１５に実施例１における三次元座標演算の処理フロー例を示す。
まず、１組のカラーコードターゲットＣＴ１を配置する（標識配置工程：Ｓ１００）。標識配置工程（Ｓ１００）では、カラーコードターゲットＣＴ１をキャリブレーションボックスＣＢの表面上に配置しても良く、測定対象物２が置かれる場所の周囲に配置しても良く、測定対象物２の表面上に配置しても良い。本実施例ではキャリブレーションボックスＣＢの表面上に配置することとする。また、カラーコードターゲットＣＴ１は撮影パラメータを求めるのに適した位置関係に配置することが好適である。例えば測定対象物２とほぼ同じ大きさのキャリブレーションボックスＣＢ表面に、測定対象物２の色の変化に対応するように配置することが好ましい。すなわち、色の変化が緩やかな位置ではカラーコードターゲットＣＴの間隔を疎にし、色の変化が急激な位置ではカラーコードターゲットＣＴの間隔を密にすることが好ましい。また、カメラのレンズ歪が小さい位置ではカラーコードターゲットＣＴの間隔を疎にし、カメラのレンズ歪が大きい位置ではカラーコードターゲットＣＴの間隔を密にすることが好ましい。次に焦点距離推定のため、カメラ内部パラメータ（主点位置及びレンズディストーション）の近似曲線を求め、撮影パラメータ記憶部８５に記憶する（ステップＳ１１０）。

【0091】

次に、撮影部３のカメラで複数のカラーコード付き標識ＣＴを異なる複数方向から撮影する（第１の撮影工程：Ｓ１２０）。本実施例では表面に複数のカラーコードターゲットＣＴ１が配置されたキャリブレーションボックスＣＢを撮影する。なお、測定対象物２とその周囲に配置したカラーコードターゲットＣＴを同時に撮影することも可能であり、測定対象物２の表面上にカラーコードターゲットＣＴを配置して測定対象物２とカラーコードターゲットＣＴを同時に撮影することも可能である。次に、位置検出部５１にて、第１の撮影工程（Ｓ１２０）で撮影された撮影画像から、位置検出用パターンＰ１の位置を求める（位置検出工程：Ｓ１２１）。次に、求められた位置検出用パターンＰ１の位置に基づいて、基準色パターン抽出部５２にて、撮影画像から基準色パターンＰ２を抽出し（基準色パターン抽出工程：Ｓ１２２）。さらに、カラーコードパターン抽出部５３にて、撮影画像からカラーコードパターンＰ３を抽出する（カラーコードパターン抽出工程：Ｓ１２３）。基準色パターン抽出工程（Ｓ１２２）では、白色領域抽出部５２１及び輝度スケール領域抽出部５２２にて、それぞれ白色領域Ｐ４及び輝度スケール領域Ｐ５を抽出する。輝度スケール領域Ｐ５に白色パッチがある場合には、白色領域Ｐ４の抽出を省略できる。

【0092】

次に、抽出された基準色パターンＰ２のうち、少なくとも光源色補正に用いる色彩を用いて、色補正部７１にて撮影画像の光源色補正を行う（色補正工程：Ｓ１２５）。基準色部Ｐ２における白色領域Ｐ４及び輝度スケール領域Ｐ５には光源色補正に用いる色彩があるので、これを用いて光源色補正を行う。輝度スケール領域Ｐ５に白色パッチがある場合には、白色領域Ｐ４の使用を省略できる。なお、基準色部Ｐ２における光三原色（ＲＧＢ）パターンを光源色補正に使用しても良い。白色領域に併せて光三原色（ＲＧＢ）パターンを用いるとカラーバランスの調整精度を向上できる。また、本実施例では、輝度スケール領域Ｐ５として、グレースケールパッチを使用するが、これに代えて又は併用してカラースケールパッチを使用することも可能である。次に、カラーコード判別部７５にて、色補正工程（Ｓ１２５）で補正されたカラーコードパターンＰ３の色彩配列を、色彩配置−コード対応表を参照して、カラーコードターゲットＣＴ１のコード番号を判別する（カラーコード判別工程：Ｓ１３０）。

【0093】

次に、標定部６３にて標定を行なう。各カラーコードターゲットＣＴ１のコード番号が判別されたので、標定がやり易くなる。標定の際に焦点距離推定部６３１にて焦点距離の推定を行なう（標定・焦点距離推定工程：Ｓ１３５）。次に、位置検出工程（Ｓ１２１）で抽出された位置検出用パターンＰ１の位置に基づいて、また、（標定・焦点距離推定工程：Ｓ１３５）で推定された焦点距離ｆを用いて、撮影パラメータ演算部６１にて撮影パラメータを求める（撮影パラメータ演算工程：Ｓ１４０）。

【0094】

次に、キャリブレーションボックスＢＳを測定対象物２と置き換えて、撮影部３のカメラを用いて再度撮影する（第２の撮影工程：Ｓ１５０）。撮影パラメータ演算工程（Ｓ１４０）で求められた撮影パラメータによりカメラをキャリブレーションして再度撮影するので、精度の高い撮影画像を得られる。測定対象物２とカラーコードターゲットＣＴを同時に撮影した場合は、第２の撮影工程（Ｓ１５０）を省略できるが、撮影パラメータを用いて撮影画像を補正する。この場合でも精度の高い撮影画像を得るため、再度撮影しても良い。次に、再度撮影された撮影画像を用いて標定部６３にて標定を行い、モデル形成部７３にてモデル及びモデル画像を形成する（モデル形成工程：Ｓ１５５）。ここで、標定とモデル形成を繰り返してモデルの精度を高めても良い。次に、モデル形成工程（Ｓ１５５）で形成されたモデルを用いて、三次元座標演算部６２にて測定対象物２の三次元座標を演算して求める（三次元座標演算工程：Ｓ１６０）。次に、三次元座標演算工程（Ｓ１６０）で求められた三次元座標を用い、色補正工程（Ｓ１２５）で補正された色彩を用いて、テクスチャ形成部７４にてモデル各部のテクスチャを形成し、モデルにテクスチャを貼り付ける（テクスチャ形成工程：Ｓ１６５）。テクスチャを貼り付けたモデル画像は表示部４１に表示される。これにより測定対象物２のモデルをリアルに表現できる。

【0095】

以上説明したように、本実施例によれば、画像の色彩を光源によらない一定の色に統一する補正を可能にするカラーコードターゲットを提供すること、画像の色彩を光源によらない一定の色に統一する補正を行うことができる画像色彩補正装置を提供すること、及び画像の色彩を光源によらない一定の色に統一する補正を行うことができる画像色彩補正方法を提供することができる。

【実施例2】

【0096】

図１６に実施例２に係るカラーコードターゲットＣＴ２を示す。実施例１（図１参照）と異なる点を主に説明する。図１とは、右下１／４のエリアのみが異なる。白色領域Ｐ４がレトロターゲット部Ｐ１と同じ大きさで右下隅に設けられ、右下１／４のエリアで実施例１ではカラーコード部Ｐ３として使用されていた部分にグレートーンパッチ部Ｐ５が設けられている。したがって、カラーコードの単位領域は４個となっている。グレートーンパッチ部Ｐ５は白、黒を除く８階調の横長の無彩色パターンが、輝度の高い方を下にして、階調順に上下に配置されている。基準色部Ｐ２の有彩色部分及びカラーコード部Ｐ３の配色は図１と同様である（図１７と図１８についても同様）。

【0097】

カラーコードターゲットＣＴ２のその他の構成は実施例１と同様であり、画像の色彩を光源によらない一定の色に統一する補正を可能にするカラーコードターゲットを提供すること、画像の色彩を光源によらない一定の色に統一する補正を行うことができる画像色彩補正装置を提供すること、及び画像の色彩を光源によらない一定の色に統一する補正を行うことができる画像色彩補正方法を提供することができる。この効果は以下の実施例３ないし実施例７についても同様に当てはまる。

【実施例3】

【0098】

図１７に、グレートーンパッチ部Ｐ５が、カラーコードターゲットＣＴ３の中央部に配置されている例を示す。この例では、グレートーンパッチ部Ｐ５が、カラーコードターゲットＣＴ３を左右に２分するように中央部に帯状に配置され、グレートーンパッチ部Ｐ５は白、黒を除く８階調の矩形の無彩色パターンが、輝度の高い方を下にして、階調順に上下に配置されている。グレートーンパッチ部Ｐ５が配置された中央部では、基準色パターンＰ２及びカラーコードパターンＰ３の面積がその分削除されている。なお、基準色パターンＰ２及びカラーコードパターンＰ３の面積を変えずに、カラーコードターゲットＣＴをグレートーンパッチ部Ｐ５の幅分横長の矩形に形成しても良い。白色領域Ｐ４がレトロターゲット部Ｐ１と同じ大きさで右下隅に設けられている。カラーコードターゲットＣＴ３のその他の構成は実施例１と同様である。
グレートーンパッチ部Ｐ５の検出は、輝度スケール領域抽出部５２２にて、カラーコードターゲットＣＴ３の上２点のレトロターゲットの中間点で、２点のレトロターゲットの重心を結ぶ線分に対して垂直に配置されたグレートーンパッチ部Ｐ５を検出する。

【実施例4】

【0099】

図１８に、グレートーンパッチ部Ｐ５が、カラーコードターゲットＣＴ４の周縁部に配置されている例を示す。この例では、グレートーンパッチ部Ｐ５が、カラーコードターゲットＣＴ４の上側と左側の周縁部に配置され、グレートーンパッチ部Ｐ５は、上側の周縁部では黒を含み、白を除く９階調の正方形の無彩色パターンが、輝度の高い方を右にして、階調順に左右に配置され、左側の周縁部では黒を含み、白を除く９階調の正方形の無彩色パターンが、輝度の高い方を下にして、階調順に上下に配置されている。カラーコードターゲットＣＴ４のその他の構成は実施例１と同様である。
グレートーンパッチ部Ｐ５の検出は、輝度スケール領域抽出部５２２にて、カラーコードターゲットＣＴ４の上２点のレトロターゲットの重心を結ぶ線分と平行に配置され、線分の外側にあるグレートーンパッチ部Ｐ５を検出する。また、カラーコードターゲットＣＴ４の左２点のレトロターゲットの重心を結ぶ線分と平行に配置され、線分の外側にあるグレートーンパッチ部Ｐ５を検出する。

【実施例5】

【0100】

図１９に、グレートーンパッチ部Ｐ５が、カラーコードターゲットＣＴ５の位置検出用パターンＰ１に配置されている例を示す。このカラーコードターゲットＣＴ５は３枚一組となっている。カラーコードターゲットＣＴ５の位置検出用パターンＰ１の円形のレトロターゲットの部分（グレーに彩色するので再帰反射材料を使用しないが、形状がレトロターゲットと同様であり、位置検出用パターンも機能も有するので、レトロターゲットと称することとする。円形の部分が白色の場合には一般的にレトロターゲットと称されている。なお、再帰反射材料を使用してグレーに配色しても良い）がグレートーンパッチを兼ねている。なお、カラーコードターゲットＣＴ５の３つのレトロターゲットは左上、右上、左下の順番でグレーの輝度が１０％ずつ減少する。一組のカラーコードターゲットＣＴ５のレトロターゲットはそれぞれ輝度が異なり、９つのレトロターゲットは１０％〜９０％の輝度のグレーである。具体的には、カラーコードターゲットの輝度は、 グレートーンパッチ部Ｐ５の検出は、位置検出部５１にて位置検出用パターンＰ１の円形のレトロターゲットを検出し、輝度スケール領域抽出部５２２にてその円形領域の諧調をグレートーンパターンとして検出する。

【実施例6】

【0101】

図２０に、グレートーンパッチ部Ｐ５が、カラーコードターゲットＣＴ６の位置検出用パターンＰ１に配置されている別の例を示す。このカラーコードターゲットＣＴ６は２枚一組となっている。カラーコードターゲットＣＴ６の円形のレトロターゲット及び四角形の背景部分がグレートーンパターンを兼ねている。三隅のレトロターゲットの円形の部分の輝度値は１０％ずつ異なる。また、丸い領域の外の矩形領域も輝度値は１０％ずつ異なる。具体的には、レトロターゲットの輝度は、「００」のカラーコードターゲットでは、左上の丸：１００％、四角：５０％、右上の丸：９０％、四角：４０％、左下の丸：８０％、四角：３０％、「０１」のカラーコードターゲットでは、左上の丸：７０％、四角：２０％、右上の丸：６０％、四角：１０％、左下の丸：５０％、四角：０％である。また、白色領域Ｐ４はカラーコードターゲットＣＴ６の右下にあり、位置検出用パターンＰ１と同じ大きさである。その他の構成は実施例１と同様である。
グレートーンパッチ部Ｐ５の検出は、位置検出部５１にて位置検出用パターンＰ１の円形のレトロターゲットを検出し、輝度スケール領域抽出部５２２にてその円形領域及び背景の矩形領域の諧調をグレートーンパターンとして検出する。

【実施例7】

【0102】

図２１に、グレートーンパッチ部Ｐ５が、カラーコードターゲットＣＴ７の位置検出用パターンＰ１と同じ寸法の右下隅の領域に配置されている例を示す。このカラーコードターゲットＣＴ７は５枚一組となっている。各カラーコードターゲットＣＴ７を比較すると、この領域の輝度が各カラーコードターゲットＣＴ７で異なっている。白を含み、黒を除く５階調の正方形の無彩色パターンが、カラーコードターゲットＣＴ７の番号順に配置されている。グレートーンパッチ部Ｐ５にはコード番号が印刷されている。その他の構成は実施例１と同様である。
グレートーンパッチ部Ｐ５の検出は、位置検出部５１にて位置検出用パターンＰ１の円形のレトロターゲットを検出し、輝度スケール領域抽出部５２２にて位置検出用パターンＰ１と同じ寸法の右下隅の領域を走査しその諧調を検出する。

【実施例8】

【0103】

図２２に、本実施例におけるキャリブレーションボックスの側面を示す。グレースケール領域Ｐ５が、カラーコードターゲットＣＴ群を左右に２分するように中央部に帯状に配置され、グレースケール領域Ｐ５は白を含み、黒を含まない８階調の矩形の無彩色パターンが、輝度の高い方を上にして、階調順に上下に配置されている。グレースケール領域の左右両側には、各４個のカラーコードターゲットＣＴが縦一列に配置されている。左右両側のカラーコードターゲットはそれぞれ１組のカラーコードターゲットに属する。１組のカラーコードターゲットＣＴにおいては、基準色パターンＰ２の配色は全て同一であり、各カラーコードパターンＰ３の配色は全て異なる。カラーコードターゲットＣＴの構成は、白色領域Ｐ４が位置検出用パターンと同じ大きさである点を除いて実施例１と同様である。
グレースケール領域Ｐ５の検出は、輝度スケール領域抽出部５２２にてカラーコードターゲットＣＴの間に貼付されたグレースケール領域Ｐ５を検出する。
本実施例についても、グレースケール領域Ｐ５を有するので、画像の色彩を光源によらない一定の色に統一する補正を可能にするカラーコードターゲットを提供すること、画像の色彩を光源によらない一定の色に統一する補正を行うことができる画像色彩補正装置を提供すること、及び画像の色彩を光源によらない一定の色に統一する補正を行うことができる画像色彩補正方法を提供することができる。

【実施例9】

【0104】

図２３に、実施例９に係るカラーコードターゲットＣＴ８の例を示す。本実施例ではカラーコードターゲットＣＴ８がリング状の例を示す。グレースケール領域Ｐ５が、カラーコードターゲットＣＴ８の位置検出用パターンＰ１に配置されている例を示す。

【0105】

リング状のカラーコードターゲットＣＴ８では、位置検出用パターンから成るレトロターゲット部Ｐ１、基準色パターンから成る基準色部Ｐ２、カラーコードパターンから成るカラーコード部Ｐ３が２つの同心円に挟まれたリング状の領域に配置されている。本実施例ではリング状の領域が１環であるが、リング状の領域が２環以上でも良い。基準色パターンＰ３（３色）及びカラーコードパターンＰ３（６色）は予め定められた位置に配置されている。本実施例ではこのカラーコードターゲットＣＴ８は２枚一組となっている。１つのカラーコードターゲットＣＴ８は位置検出用パターンＰ１を６個有している（そのうち１個のレトロターゲットは白色であり、白色領域の機能を有する）が、残りの位置検出用パターンＰ１（１枚に５個ずつ、合計１０個）のレトロターゲットをグレースケール領域Ｐ５として兼用する。具体的には、図２３の左側のリング状カラーコードターゲットＣＴ８のレトロターゲットの輝度値が１０％ずつ異なり、１００％〜５０％であり、右側のリング状カラーコードターゲットＣＴ８のレトロターゲットの輝度値が１０％ずつ異なり、１００％及び４０％〜０％である。図２３の配色は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）、黄（Ｙ）、シアン（Ｃ）、マゼンタ（Ｍ）を表す。リング状の領域において２つの位置検出用パターンＰ１に挟まれた単位領域のうちで、１つの単位領域が位置検出用パターンＰ１に挟まれているのが基準色部Ｐ２であり、２つの単位領域が位置検出用パターンＰ１に挟まれているのがカラーコード部Ｐ３である。基準色部Ｐ２には光三原色（ＲＧＢ）が使用されている。

【0106】

本実施例についても、グレースケール領域Ｐ５を有するので、画像の色彩を光源によらない一定の色に統一する補正を可能にするカラーコードターゲットを提供すること、画像の色彩を光源によらない一定の色に統一する補正を行うことができる画像色彩補正装置を提供すること、及び画像の色彩を光源によらない一定の色に統一する補正を行うことができる画像色彩補正方法を提供することができる。この効果は以下の実施例１０ないし実施例１３についても同様に当てはまる。

【実施例10】

【0107】

図２４に、実施例１０に係るカラーコードターゲットＣＴ９の例を示す。本実施例ではカラーコードターゲットＣＴ９がリング状の別の例を示す。グレースケール領域Ｐ５が、実施例９でカラーコードターゲットＣＴ８の基準色部Ｐ２及びカラーコード部Ｐ３のあった位置に配置されている例を示す。グレースケール領域Ｐ５は９個の単位領域に白及び黒を除く９階調の無彩色パターンが、リング状領域の位置検出用パターンＰ１を除いた単位領域の位置に階調順に配置されている。また、位置検出用パターンＰ１のレトロターゲットは全て白色である。

【実施例11】

【0108】

図２５に、実施例１１に係るカラーコードターゲットＣＴ１０の例を示す。本実施例ではカラーコードターゲットＣＴ１０が２環のリング状の例を示す。内側の環が基準色部Ｐ２の有彩色部分及びカラーコード部Ｐ３として機能し、外側の環がグレースケール領域Ｐ５として機能する。外側の環のグレースケール領域Ｐ５はカラーコードターゲットＣＴ１０の内側の環の基準色部Ｐ２及びカラーコード部Ｐ３に対応する位置に配置されている。グレースケール領域Ｐ５は９個の単位領域に白及び黒を除く９階調の無彩色パターンが、階調順に配置されている。１組のカラーコードターゲットＣＴにおいては、基準色パターンＰ２（グレースケール領域Ｐ５を含む）の配色は全て同一であり、各カラーコードパターンＰ３の配色は全て異なる。

【実施例12】

【0109】

図２６に、実施例１２に係るカラーコードターゲットＣＴ１１の例を示す。本実施例ではカラーコードターゲットＣＴ１１が２環のリング状の別の例を示す。外側の環が基準色部Ｐ２の有彩色部分及びカラーコード部Ｐ３として機能し、内側の環がグレースケール領域Ｐ５として機能する。内側の環のグレースケール領域Ｐ５はカラーコードターゲットＣＴ１１の外側の環の基準色部Ｐ２及びカラーコード部Ｐ３に対応する位置に配置されている。グレースケール領域Ｐ５は９個の単位領域に白及び黒を除く９階調の円形の無彩色パターンが、階調順に配置されている。１組のカラーコードターゲットＣＴ１１においては、基準色パターンＰ２（グレースケール領域Ｐ５を含む）の配色は全て同一であり、各カラーコードパターンＰ３の配色は全て異なる。

【実施例13】

【0110】

図２７に、実施例１３に係るカラーコードターゲットＣＴ１２の例を示す。本実施例ではカラーコードターゲットＣＴ１２がリング状の別の例を示す。リングに囲まれた中心円の部分がグレースケール領域として機能する。このカラーコードターゲットＣＴ１２は９枚一組となっている（図２７ではこのうち３枚を示す）。グレースケール領域Ｐ５は中心円に、カラーコードターゲットＣＴ１２毎に１つずつ配置されている。グレースケール領域Ｐ５は中心円に白を含み、黒を除く９階調の円形の無彩色パターンが、カラーコードターゲットＣＴ１２毎に配置されている。リングが基準色部Ｐ２の有彩色部分及びカラーコード部Ｐ３として機能する。

【実施例14】

【0111】

図２８に、実施例１４に係るカラーコードターゲットＣＴ１３〜ＣＴ１５の例を示す。本実施例ではグレースケール領域はなく、光源色補正（広義の光源色補正）は白色領域Ｐ４及び基準色部Ｐ２の光三原色（ＲＧＢ）パターンを用いて行なう例を説明する。図２８（Ａ）にはカラーコードパターンの単位領域が３、図２８（Ｂ）にはカラーコードパターンの単位領域が６、図２８（Ｃ）にはカラーコードパターンの単位領域が９の例を示す。図２８（Ｂ）では、実施例１に比してグレースケール領域Ｐ５がなく、白色領域Ｐ４がグレースケール領域Ｐ５のあった領域まで広がっている。白色領域Ｐ４は光に対して良く変化するので、輝度は１点だけであるが、この領域を光源色補正（狭義の光源色補正）に用いることができる。また、基準色部Ｐ２のＲＧＢ色の配置は実施例１と同様である。基準色パターンＰ２の赤、緑、青の基準色の画素値が既知であれば、各基準色の輝度は１点ずつであるが、これらの基準色を用いて光源色補正（狭義の光源色補正）を行なうことが可能である。ここで、カラーバランスは、画像上で白色領域Ｐ４及び基準色部Ｐ２のＲＧＢ色に他の色彩が混入しないようにＲＧＢの画素値を調整することにより行なう。カラーバランスの調整は白色領域のみ又は基準色部Ｐ２のＲＧＢパターンのみでも可能であるが、両者を併用すると調整の精度を向上できる。また、基準色部Ｐ２のＲＧＢ色を画面上でほぼ等しい輝度が得られるように定めると、ＲＧＢそれぞれの輝度をその近傍で調整することにより、容易にカラーバランスを取ることができるので好ましい。輝度補正については、白色領域Ｐ４といずれかの基準色の輝度の２点を用いて行なうことができる。また、白色領域Ｐ５に番号が付されていない。カラーコードターゲットＣＴ１４のその他の構成は実施例１と同様である。また、図２８（Ａ）のカラーコードターゲットＣＴ１３及び図２８（Ｃ）のカラーコードターゲットＣＴ１５はカラーコードパターンの単位領域が図２８（Ｂ）と異なるが、その他の構成は図２８（Ｂ）と同様である。よって、図２８（Ａ）及び図２８（Ｃ）も白色領域Ｐ５及び基準色部Ｐ２の光三原色（ＲＧＢ）パターンを用いて光源色補正（広義の光源色補正）を行なうことができる。

【0112】

以上より、本実施例についても、白色領域Ｐ４を有するので、画像の色彩を光源によらない一定の色に統一する補正を可能にするカラーコードターゲットを提供すること、画像の色彩を光源によらない一定の色に統一する補正を行うことができる画像色彩補正装置を提供すること、及び画像の色彩を光源によらない一定の色に統一する補正を行うことができる画像色彩補正方法を提供することができる。

【実施例15】

【0113】

実施例１ないし実施例４では、輝度スケールがグレースケールで１本又は２本の例を説明したが、グレースケールとカラースケールの両者を有しても良く、カラースケールとして光三原色（ＲＧＢ）の各色を有しても良い。本実施例では、カラーコードターゲットＣＴの周縁部全体に、すなわち、上下左右に、グレートーンパッチ、赤のカラートーンパッチ、緑のカラートーンパッチ、青のカラートーンパッチと４本の輝度スケールを有する例を説明する。グレートーンパッチと光三原色（ＲＧＢ）のカラートーンパッチを有するので、極めて精度の高い光源色補正を行うことができる。

【実施例16】

【0114】

以上の実施例では、カラーコードターゲットＣＴの基準色パターンの３つの単位領域の色彩として光三原色（ＲＧＢ）を用いる例を説明したが、本実施例では光三原色（ＲＧＢ）のそれぞれがいずれかの単位領域に含まれる例を説明する。本実施例では、３つの単位領域の色彩が、黄（Ｙ）、シアン（Ｃ）、マゼンタ（Ｍ）の組み合わせとするが、他の組み合わせでも良い。カラーバランスをとるためは、光三原色（ＲＧＢ）の１つ又は２つを用いても不可であり、光三原色（ＲＧＢ）のそれぞれがいずれかの単位領域又は輝度スケールに含まれる必要がある。また、光三原色（ＲＧＢ）が既知の値（輝度値）を持つ必要がある。例えば白色領域は光三原色（ＲＧＢ）の全てを有するので光源色補正に使用できる。黄（Ｙ）、シアン（Ｃ）、マゼンタ（Ｍ）の組み合わせとすると、赤（Ｒ）、緑（Ｇ）、青（Ｂ）はそれぞれ２つ単位領域に含まれるので光源色補正に使用できる。黄（Ｙ）と青（Ｂ）の組み合わせでも、赤（Ｒ）、緑（Ｇ）、青（Ｂ）はそれぞれ１つ単位領域に含まれるので光源色補正に使用できる。これにより、実施例１と同様に、画像の色彩を光源によらない一定の色に統一する補正を可能にするカラーコード付き標識を提供すること、画像の色彩を光源によらない一定の色に統一する補正を行うことができる画像色彩補正装置を提供すること、及び画像の色彩を光源によらない一定の色に統一する補正を行うことができる画像色彩補正方法を提供することができる。また、実施例１５の赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３つのカラートーンパッチに代えて、黄（Ｙ）、シアン（Ｃ）、マゼンタ（Ｍ）の３つのカラートーンパッチを用いてもよく、黄（Ｙ）と青（Ｂ）の２つのカラートーンパッチを用いても良い。

【実施例17】

【0115】

以上の実施例では、カラーコードターゲットＣＴがキャリブレーションボックスなどに貼り付けられる例を主に説明したが、以上の実施例のカラーコードターゲットＣＴが測定対象物２に貼り付けられた場合や、測定対象物２の周囲に配置されて撮影された場合でも、これらのカラーコードターゲットＣＴを用いて、光源色補正を行なうと共に、測定対象物の三次元計測を行なうことができる。

【実施例18】

【0116】

以上の実施例では、画像色彩補正装置が画像合成部、テクスチャ形成部を有する例について説明したが、画像合成部、テクスチャ形成部が無い場合でも、光源色補正を行なうことができる。

【0117】

以上、本発明の実施の形態について説明したが、本発明は上記の実施例に限定されるものではなく、本発明の趣旨を逸脱しない範囲で実施例に種々変更を加えられることは明白である。

【0118】

例えば、以上の実施例では、カラーコード部のコード色数が主として６の場合について説明したが、任意に設定可能である。また、グレースケール領域の階調数も任意に設定可能である。また、キャリブレーションボックスの形状も直方体に限られず、円筒形でも良い。また、キャリブレーションボックスの代わりにキャリブレーションパネルを使用すると、パネル位置を移動して使用できる。また、装置構成も変更可能である。例えば、撮影部は単カメラを使用しても良く、ステレオカメラを使用しても良い。また、測定方法も変更可能である。例えば、色補正（光源色補正を含む）と撮影パラメータに係るカメラキャリブレーションの順序はどちらを先に行なっても良い。また、以上の実施例では、カラーコードターゲット内にグレースケールを配置する例を主に説明したが、カラーコードターゲットとグレースケールを切り離して配置しても良く、配置の位置も種々変更可能である。

【産業上の利用可能性】

【0119】

本発明は、撮影画像の色彩の補正に利用可能である。

【符号の説明】

【0120】

１ 画像色彩補正装置
２ 測定対象物
３ 撮影部
４ 入出力部
５ ターゲット抽出部
６ 演算部
７ 画像処理部
８ 記憶部
９ 制御部
１０ パーソナルコンピュータ（ＰＣ）
３１ 撮影画像取得部
４１ 表示部
４２ 出力部
４３ 入力部
５１ 位置検出部
５２ 基準色パターン抽出部
５２１ 白色領域抽出部
５２２ 輝度スケール領域抽出部
５３ カラーコードパターン抽出部
６１ 撮影パラメータ演算部
６２ 三次元座標演算部
６３ 標定部
６３１ 焦点距離推定部
７１ 色補正部
７２ 画像合成部
７３ モデル形成部
７４ テクスチャ形成部
７５ カラーコード判別部
７６ 画像データ補正部
８１ 撮影画像記憶部
８２ 基準色記憶部
８３ カラーコード記憶部
８４ モデル記憶部
８５ 撮影パラメータ記憶部
２００ レトロターゲット
２０４ 内円部
２０６ 外円部
ＣＢ キャリブレーションボックス
ＣＴ，ＣＴｉ（ｉは正整数） カラーコード付き標識（カラーコードターゲット）
ＥＰ エピポーラライン
Ｅｐ 光源色
ｆ 焦点距離
Ｉ 画素値
Ｐ１ 位置検出用パターン（レトロターゲット部）
Ｐ２ 基準色パターン（基準色部）
Ｐ３ カラーコードパターン（カラーコード部）
Ｐ４ 白色領域
Ｐ５ 輝度スケールパターン（グレースケール領域、グレートーンパッチ部）
ＲＦ リファレンスポイント
Ｓ 表面色
Ｔｏ 明度のしきい値
ＴＧ ターゲット
（ｘ_０，ｙ_０） 光軸中心（主点位置）

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図22】

【図28】

【図1】

【図2】

【図3】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図23】

【図24】

【図25】

【図26】

【図27】