特許 6645140 画像のキャリブレーション装置及びキャリブレーション方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6645140

(24)【登録日】2020年1月14日

(45)【発行日】2020年2月12日

(54)【発明の名称】画像のキャリブレーション装置及びキャリブレーション方法

(51)【国際特許分類】

   H04N 5/225 20060101AFI20200130BHJP

   H04N 5/232 20060101ALI20200130BHJP

   G06T 5/00 20060101ALI20200130BHJP

   G01B 11/00 20060101ALN20200130BHJP

   G01B 11/26 20060101ALN20200130BHJP

【ＦＩ】

   H04N5/225

   H04N5/232

   G06T5/00 725

   !G01B11/00 H

   !G01B11/26 H

【請求項の数】6

【全頁数】23

(21)【出願番号】特願2015-231259(P2015-231259)

(22)【出願日】2015年11月27日

(65)【公開番号】特開2017-98859(P2017-98859A)

(43)【公開日】2017年6月1日

【審査請求日】2018年10月26日

(73)【特許権者】

【識別番号】000006105

【氏名又は名称】株式会社明電舎

(74)【代理人】

【識別番号】110002077

【氏名又は名称】園田・小林特許業務法人

(72)【発明者】

【氏名】深井 寛修

(72)【発明者】

【氏名】庭川 誠

【審査官】 高野 美帆子

(56)【参考文献】

【文献】 特開２０１５−１６９５８３（ＪＰ，Ａ）

【文献】 特開２００３−０５０１０７（ＪＰ，Ａ）

【文献】 特開２００９−１３０５４６（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２２２−５／２５７

Ｇ０６Ｔ ５／００

Ｇ０１Ｂ １１／００

Ｇ０１Ｂ １１／２６

(57)【特許請求の範囲】

【請求項1】

透明板を透過して撮影を行うカメラにより取得した画像の校正を行うキャリブレーション装置であって、
大きさが既知である白色領域及び黒色領域が交互に配されたマーカと、
前記カメラによって撮影した画像を解析する画像処理装置と
を備え、
前記画像処理装置は、
前記カメラにより前記透明板を介さずに撮影した前記マーカの画像及び前記カメラにより前記透明板を介して撮影した前記マーカの画像を入力する画像入力部と、
前記透明板を介さずに撮影した前記マーカの画像及び前記透明板を介して撮影した前記マーカの画像から、それぞれ前記マーカの白色領域と黒色領域の境界の画像上の座標を算出する計測座標算出部と、
前記透明板を介さずに撮影した前記マーカの画像から算出した前記白色領域と前記黒色領域の境界の画像上の座標、予め既知である内部パラメータ、及び予め既知である前記白色領域と前記黒色領域の境界の実座標に基づいて前記カメラと前記マーカとの位置姿勢関係を表す外部パラメータを算出する外部パラメータ算出部と、
前記透明板を介さずに撮影した前記マーカの画像から算出した前記白色領域と前記黒色領域の境界の画像上の座標を、前記外部パラメータを用いてカメラ座標系の座標に変換するカメラ座標系変換部と、
前記透明板を介して撮影した前記マーカの画像から算出した前記白色領域と前記黒色領域の境界の画像上の座標が、前記透明板を介さずに撮影した前記マーカの画像から算出した前記白色領域と前記黒色領域の境界の画像上の座標に近似するように、前記内部パラメータ及び前記透明板を介さずに撮影した前記マーカの画像から得られた前記マーカの白色領域と黒色領域の境界の前記カメラ座標系の座標を用いて前記透明板の前記カメラに対する角度、厚さ及び屈折率を透明板のパラメータとして算出する透明板パラメータ算出部と、
前記透明板を介して撮影した前記マーカの画像から算出した前記白色領域と前記黒色領域の境界の画像上の座標を、前記透明板のパラメータに基づいて前記透明板を介さずに撮影した状態と同等となるように校正するキャリブレーション処理部と
を備えることを特徴とするキャリブレーション装置。

【請求項2】

前記マーカが、前記白色領域と前記黒色領域とが一直線上に交互に配されてなる直線マーカであり、
前記カメラが、一ラインの撮影を行うラインセンサカメラであり、
前記白色領域と前記黒色領域の境界が、前記白色領域と前記黒色領域の切り替え地点である
ことを特徴とする請求項１記載のキャリブレーション装置。

【請求項3】

前記マーカが、前記白色領域と前記黒色領域とがチェスボード型に配されてなる平面マーカであり、
前記カメラが、二次元の撮影を行うエリアカメラであり、
前記白色領域と前記黒色領域の境界が、前記白色領域と前記白色領域との交点または前記黒色領域と前記黒色領域との交点である
ことを特徴とする請求項１記載のキャリブレーション装置。

【請求項4】

透明板を透過して撮影を行うカメラにより取得した画像の校正を行うキャリブレーション方法であって、
前記透明板を介さずに前記カメラによりマーカを撮影する第一の工程と、
前記マーカと前記カメラとの間に前記透明板を配置した状態で、前記透明板を介して撮像手段により前記マーカを撮影する第二の工程と、
前記透明板を介さずに撮影した前記マーカの画像及び前記透明板を介して撮影した前記マーカの画像から、それぞれ前記マーカの白色領域と黒色領域との境界の画像上の座標を算出する第三の工程と、
前記透明板を介さずに撮影した前記マーカの画像から算出した前記白色領域と前記黒色領域の境界の画像上の座標、予め既知である内部パラメータ、及び予め既知である前記白色領域と前記黒色領域の境界の実座標に基づいて前記カメラと前記マーカとの位置姿勢関係を表す外部パラメータを算出する第四の工程と、
前記透明板を介さずに撮影した前記マーカの画像から算出した前記白色領域と前記黒色領域の境界の画像上の座標を、前記外部パラメータを用いてカメラ座標系の座標に変換する第五の工程と、
前記透明板を介して撮影した前記マーカの画像から算出した前記白色領域と前記黒色領域の境界の画像上の座標が、前記透明板を介さずに撮影した前記マーカの画像から算出した前記白色領域と前記黒色領域の境界の画像上の座標に近似するように、前記内部パラメータ及び前記透明板を介さずに撮影した前記マーカの画像から得られた前記マーカの白色領域と黒色領域の境界の前記カメラ座標系の座標を用いて前記透明板の前記カメラに対する角度、厚さ及び屈折率を透明板のパラメータとして算出する第六の工程と、
前記透明板を介して撮影した前記マーカの画像から算出した前記白色領域と前記黒色領域の境界の画像上の座標を、前記透明板のパラメータに基づいて前記透明板を介さずに撮影した状態と同等となるように校正する第七の工程と
を備えることを特徴とするキャリブレーション方法。

【請求項5】

前記マーカが、前記白色領域と前記黒色領域とが一直線上に交互に配されてなる直線マーカであり、
前記カメラが、一ラインの撮影を行うラインセンサカメラであり、
前記白色領域と前記黒色領域の境界が、前記白色領域と前記黒色領域の切り替え地点である
ことを特徴とする請求項４記載のキャリブレーション方法。

【請求項6】

前記マーカが、前記白色領域と前記黒色領域とがチェスボード型に配されてなる平面マーカであり、
前記カメラが、二次元の撮影を行うエリアカメラであり、
前記白色領域と前記黒色領域の境界が、前記白色領域と前記白色領域との交点または前記黒色領域と前記黒色領域との交点である
ことを特徴とする請求項４記載のキャリブレーション方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、表面と裏面が平らで平行な透明板を透過してカメラによる撮影を行う際に発生する写りの変化に対し、透明板がない場合の写りと同等になるよう校正を行う画像のキャリブレーション装置及びキャリブレーション方法に関する。

【背景技術】

【0002】

下記非特許文献１には、エリアカメラにより平面マーカを様々な位置姿勢で撮影することで撮影ごとの外部パラメータ及びカメラの内部パラメータを求める手法が提案されている。
また、下記特許文献１には、透明板の表面と奥面の反射を用いることで対象物の像が二重に移ることを利用したステレオ計測手法が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特許第５１４７０５５号公報

【非特許文献】

【0004】

【非特許文献1】Z. Zhang. "A Flexible New Technique for Camera Calibration",IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, Vol. 22, No. 11, pp. 1330-1334

【発明の概要】

【発明が解決しようとする課題】

【0005】

ここで、図８に示すように、カメラ１１による撮影を行う際に、カメラ１１のレンズを保護するためにカメラ１１をケース１に入れ、透明板２を透過して撮像を行うといった事例が存在する。この際、透明板２を透過して撮像を行うため、透明板２の影響でカメラ１１に入射する光線が変化し、透明板２がない場合と比較して映像が変化してしまうという問題があった。

【0006】

しかしながら、非特許文献１に記載されている方法は、カメラのレンズキャリブレーション手法であり透明板の影響については議論されていない。
また、特許文献１に記載されている方法は、ステレオ計測を行うために透明板の屈折率や厚さといったパラメータを算出しているが、あくまでもステレオ計測を目的とし、透明板の二重反射を利用してパラメータを求めるものであり、透明板の透過による写りの変化を、透明板なしの場合と同等の写りにキャリブレーションするといった用途を想定していない。

【0007】

このようなことから本発明は、透明板を透過してカメラによる撮像を行う場合であっても、透明板がない場合と同等の映像を取得することを可能とする画像のキャリブレーション装置及びキャリブレーション方法を提供することを目的とする。

【課題を解決するための手段】

【0008】

上記の課題を解決するための第１の発明に係る画像のキャリブレーション装置は、
透明板を透過して撮影を行うカメラにより取得した画像の校正を行うキャリブレーション装置であって、
大きさが既知である白色領域及び黒色領域が交互に配されたマーカと、
前記カメラによって撮影した画像を解析する画像処理装置と
を備え、
前記画像処理装置は、
前記カメラにより前記透明板を介さずに撮影した前記マーカの画像及び前記カメラにより前記透明板を介して撮影した前記マーカの画像を入力する画像入力部と、
前記透明板を介さずに撮影した前記マーカの画像及び前記透明板を介して撮影した前記マーカの画像から、それぞれ前記マーカの白色領域と黒色領域の境界の画像上の座標を算出する計測座標算出部と、
前記透明板を介さずに撮影した前記マーカの画像から算出した前記白色領域と前記黒色領域の境界の画像上の座標、予め既知である内部パラメータ、及び予め既知である前記白色領域と前記黒色領域の境界の実座標に基づいて前記カメラと前記マーカとの位置姿勢関係を表す外部パラメータを算出する外部パラメータ算出部と、
前記透明板を介さずに撮影した前記マーカの画像から算出した前記白色領域と前記黒色領域の境界の画像上の座標を、前記外部パラメータを用いてカメラ座標系の座標に変換するカメラ座標系変換部と、
前記透明板を介して撮影した前記マーカの画像から算出した前記白色領域と前記黒色領域の境界の画像上の座標が、前記透明板を介さずに撮影した前記マーカの画像から算出した前記白色領域と前記黒色領域の境界の画像上の座標に近似するように、前記内部パラメータ及び前記透明板を介さずに撮影した前記マーカの画像から得られた前記マーカの白色領域と黒色領域の境界のカメラ座標系の座標を用いて前記透明板の前記カメラに対する角度、厚さ及び屈折率を透明板のパラメータとして算出する透明板パラメータ算出部と、
前記透明板を介して撮影した前記マーカの画像から算出した前記白色領域と前記黒色領域の境界の画像上の座標を、前記透明板のパラメータに基づいて前記透明板を介さずに撮影した状態と同等となるように校正するキャリブレーション処理部と
を備えることを特徴とする。

【0009】

また、上記の課題を解決するための第２の発明に係る画像のキャリブレーション装置は、
前記マーカが、前記白色領域と前記黒色領域とが一直線上に交互に配されてなる直線マーカであり、
前記カメラが、一ラインの撮影を行うラインセンサカメラであり、
前記白色領域と前記黒色領域の境界が、前記白色領域と前記黒色領域の切り替え地点である
ことを特徴とする。

【0010】

また、上記の課題を解決するための第３の発明に係る画像のキャリブレーション装置は、
前記マーカが、前記白色領域と前記黒色領域とがチェスボード型に配されてなる平面マーカであり、
前記カメラが、二次元の撮影を行うエリアカメラであり、
前記白色領域と前記黒色領域の境界が、前記白色領域と前記白色領域との交点または前記黒色領域と前記黒色領域との交点である
ことを特徴とする。

【0011】

また、上記の課題を解決するための第４の発明に係る画像のキャリブレーション方法は、
透明板を透過して撮影を行うカメラにより取得した画像の校正を行うキャリブレーション方法であって、
前記透明板を介さずに前記カメラにより前記マーカを撮影する第一の工程と、
前記マーカと前記カメラとの間に前記透明板を配置した状態で、前記透明板を介して前記撮像手段により前記マーカを撮影する第二の工程と、
前記透明板を介さずに撮影した前記マーカの画像及び前記透明板を介して撮影した前記マーカの画像から、それぞれ前記マーカの白色領域と黒色領域との境界の画像上の座標を算出する第三の工程と、
前記透明板を介さずに撮影した前記マーカの画像から算出した前記白色領域と前記黒色領域の境界の画像上の座標、予め既知である内部パラメータ、及び予め既知である前記白色領域と前記黒色領域の境界の実座標に基づいて前記カメラと前記マーカとの位置姿勢関係を表す外部パラメータを算出する第四の工程と、
前記透明板を介さずに撮影した前記マーカの画像から算出した前記白色領域と前記黒色領域の境界の画像上の座標を、前記外部パラメータを用いてカメラ座標系の座標に変換する第五の工程と、
前記透明板を介して撮影した前記マーカの画像から算出した前記白色領域と前記黒色領域の境界の画像上の座標が、前記透明板を介さずに撮影した前記マーカの画像から算出した前記白色領域と前記黒色領域の境界の画像上の座標に近似するように、前記内部パラメータ及び前記透明板を介さずに撮影した前記マーカの画像から得られた前記マーカの白色領域と黒色領域の境界のカメラ座標系の座標を用いて前記透明板の前記カメラに対する角度、厚さ及び屈折率を透明板のパラメータとして算出する第六の工程と、
前記透明板を介して撮影した前記マーカの画像から算出した前記白色領域と前記黒色領域の境界の画像上の座標を、前記透明板のパラメータに基づいて前記透明板を介さずに撮影した状態と同等となるように校正する第七の工程と
を備えることを特徴とする。

【0012】

また、上記の課題を解決するための第５の発明に係る画像のキャリブレーション方法は、
前記マーカが、前記白色領域と前記黒色領域とが一直線上に交互に配されてなる直線マーカであり、
前記カメラが、一ラインの撮影を行うラインセンサカメラであり、
前記白色領域と前記黒色領域の境界が、前記白色領域と前記黒色領域の切り替え地点である
ことを特徴とする。

【0013】

また、上記の課題を解決するための第６の発明に係る画像のキャリブレーション方法は、
前記マーカが、前記白色領域と前記黒色領域とがチェスボード型に配されてなる平面マーカであり、
前記カメラが、二次元の撮影を行うエリアカメラであり、
前記白色領域と前記黒色領域の境界が、前記白色領域と前記白色領域との交点または前記黒色領域と前記黒色領域との交点である
ことを特徴とする。

【発明の効果】

【0014】

本発明に係る画像のキャリブレーション装置及びキャリブレーション方法によれば、透明板を透過してカメラによる撮像を行う場合であっても、透明板がない場合と同等の映像を取得することができる。

【図面の簡単な説明】

【0015】

【図1】本発明の実施例１に係るキャリブレーション装置の概略構成を示す模式図である。

【図2】本発明の実施例１に係る直線マーカの正面図である。

【図3】本発明の実施例１に係る画像処理装置の構成を示すブロック図である。

【図4】本発明の実施例１に係るキャリブレーション処理の流れを示すフローチャートである。

【図5】図１の一部を抽出して示す説明図である。

【図6】本発明の実施例２に係るキャリブレーション装置の概略構成を示す模式図である。

【図7】本発明の実施例２に係る平面マーカの正面図である。

【図8】ケースに入れたカメラにより撮影を行う例を示す説明図である。

【発明を実施するための形態】

【0016】

以下、図面を参照しつつ本発明に係るキャリブレーション装置及びキャリブレーション方法について説明する。なお、本発明では、透明板による映像の変化を透明板パラメータである透明板の厚さ、屈折率及びカメラに対する角度を用いて校正することを透明板キャリブレーションと呼ぶものとする。

【実施例1】

【0017】

図１から図４を用いて本発明の実施例１に係る画像のキャリブレーション装置及びキャリブレーション方法の詳細を説明する。
図１に示すように、本実施例に係る画像のキャリブレーション装置は、一台のラインセンサカメラ１１Ａと、直線マーカ１２Ａと、ラインセンサカメラ１１Ａにより取得した画像データを解析する画像処理装置１３とを用いて、表面と裏面が平らで平行な透明板２の影響を透明板２のカメラ１１に対する角度θ_g、厚さｄ、屈折率ｎを利用して求め、透明板２がない状態で撮影した場合と同等の画像を得るための装置である。なお本実施例に係る画像のキャリブレーション装置は、ラインセンサカメラ１１Ａと直線マーカ１２Ａの位置姿勢関係も同時に求めることが可能である。

【0018】

直線マーカ１２Ａは、棒状に形成されている。この直線マーカ１２Ａの表面には、図２に示すように、長手方向の長さが既知である白帯（白色領域）１２Ａａと黒帯（黒色領域）１２Ａｂとが長手方向に沿って交互に配されている（以下、白帯１２Ａａ及び黒帯１２Ａｂを総称する場合は白黒帯１２Ａａ，１２Ａｂと称する）。図２に示す例では、白帯１２Ａａ及び黒帯１２Ａｂは、それぞれ四つずつ設けられている。

【0019】

ラインセンサカメラ１１Ａは、１ラインの撮像を行う機器である。ラインセンサカメラ１１Ａは、直線マーカ１２Ａの白帯１２Ａａと黒帯１２Ａｂの境界（以下、切り替え地点と称する）１２Ａｃを少なくとも三箇所以上撮影するように設置される。

【0020】

画像処理装置１３は、ラインセンサカメラ１１Ａによって撮像した画像を解析して透明板キャリブレーションを実行するものである。

【0021】

図３に示すように、画像処理装置１３は、画像入力部１３ａ、計測座標算出部１３ｂ、外部パラメータ算出部１３ｃ、カメラ座標系変換部１３ｄ、透明板パラメータ算出部１３ｅ、キャリブレーション処理部１３ｆ、及び記憶部１３ｇを備えている。

【0022】

画像入力部１３ａは、ラインセンサカメラ１１Ａで取得した画像データ（透明板２ありの場合、及び、透明板２なしの場合）を入力し、記憶部１３ｇに保管する。
計測座標算出部１３ｂは、記憶部１３ｇから読み出した画像データから直線マーカ１２Ａの白黒帯１２Ａａ，１２Ａｂを検出し、切り替え地点１２Ａｃの画像上の座標（ピクセル位置）を算出し、計測座標データとして記憶部１３ｇに保管する。

【0023】

外部パラメータ算出部１３ｃは、記憶部１３ｇから読み出した透明板２なしの場合の計測座標データと、予め記憶部１３ｇに保管した既知であるラインセンサカメラ１１Ａの内部パラメータ、直線マーカ１２Ａの切り替え地点１２Ａｃのマーカ座標系（マーカ長手方向にＸ軸、それに垂直な方向にＹ軸をとる座標系。座標原点はマーカ上の任意の点（例えばマーカの中央など））の座標であるマーカ座標系座標データ（真値座標（Ｘ_i，０））に基づいて、ラインセンサカメラ１１Ａと直線マーカ１２Ａとの位置姿勢関係を表す外部パラメータを求め、これを記憶部１３ｇに保管する。

【0024】

カメラ座標系変換部１３ｄは、記憶部１３ｇから読み出した透明板２なしの場合の計測座標データ及び外部パラメータに基づいて、直線マーカ１２Ａの切り替え地点１２Ａｃのカメラ座標系（画像素子面と平行な方向にＸ軸、カメラ光軸方向にＹ軸をとる座標系。座標原点はカメラのピンホールモデルの原点（光線の集まる点）と同一の位置）の座標を算出し、カメラ座標系座標データとして記憶部１３ｇに保管する。

【0025】

透明板パラメータ算出部１３ｅは、記憶部１３ｇから読み出した透明板２あり及び透明板２なしの場合の計測座標データ、ラインセンサカメラ１１Ａの内部パラメータ、及びカメラ座標系座標データに基づいて、透明板パラメータを算出し、これを記憶部１３ｇに保管する。

【0026】

キャリブレーション処理部１３ｆは、ラインセンサカメラ１１Ａを用いた計測を行う際に、記憶部１３ｇから読み出した透明板２ありの場合の計測座標データ、予め求めた計測対象の高さ（ラインセンサカメラ１１Ａから直線マーカ１２ＡまでのＹ₁軸方向の距離）、透明板パラメータに基づいて、計測対象の校正済み計測座標を算出し、校正済み計測座標データとして記憶部１３ｇに保管する。

【0027】

記憶部１３ｇは、画像データ、各撮影での直線マーカ１２Ａの白黒帯１２Ａａ，１２Ａｂの計測座標データ、ラインセンサカメラ１１Ａの内部パラメータ、ラインセンサカメラ１１Ａと直線マーカ１２Ａとの位置姿勢関係を表す外部パラメータ、直線マーカ１２Ａの白黒帯１２Ａａ，１２Ａｂのマーカ座標系座標、直線マーカ１２Ａの白黒帯１２Ａａ，１２Ａｂのカメラ座標系座標、透明板パラメータ、計測対象の高さ、計測対象のキャリブレーション後の校正済み計測座標データ等を保管する。

【0028】

なお、構成済み計測座標データは図示しない表示部等に出力され、表示部では校正された画像が表示される。

【0029】

以下、図４を用いて本実施例に係る画像のキャリブレーション装置によるキャリブレーション処理の流れを説明する。

【0030】

透明板キャリブレーションを行うためには、透明板２の厚さｄ[mm]、屈折率ｎ、ラインセンサカメラ１１Ａに対する角度θ_g[rad]といったパラメータを求める必要がある。
そのためにまず、図４に示すように、透明板２なしで長手方向の白黒帯１２Ａａ，１２Ａｂの長さが既知である直線マーカ１２Ａをラインセンサカメラ１１Ａにより撮影する（ステップＳ１）。
なお、直線マーカ１２Ａはラインセンサカメラ１１Ａからみてほぼ正対するように設置する。また、ラインセンサカメラ１１Ａのレンズキャリブレーションはすでに行われており、焦点距離ｆ、主点座標ｃ、歪み係数といったカメラの内部パラメータは既知であり、歪みを除去した画像が得られていると仮定する。ラインセンサカメラ１１Ａによって撮影した画像は、画像入力部１３ａにより記憶部１３ｇに保管される。

【0031】

続いて、直線マーカ１２Ａ及びラインセンサカメラ１１Ａの位置を動かさずに、直線マーカ１２Ａとラインセンサカメラ１１Ａとの間に透明板２を設置して透明板２ありの状態で直線マーカ１２Ａをラインセンサカメラ１１Ａにより撮影する（ステップＳ２）。ラインセンサカメラ１１Ａによって撮影した画像は、画像入力部１３ａにより記憶部１３ｇに保管される。

【0032】

本実施例では、このようにして撮影した透明板２がない場合と透明板２がある場合の画像の写りの違いを利用して透明板２のパラメータを算出する。

【0033】

ステップＳ２に続いては、計測座標算出部１３ｂにより、記憶部１３ｇから読み出した画像データを用いて、透明板２なしで撮影した画像及び透明板２ありで撮影した画像から、それぞれ直線マーカ１２Ａの切り替え地点１２Ａｃのピクセル位置（計測座標）を検出する（ステップＳ３）。直線マーカ１２Ａの切り替え地点１２Ａｃのピクセル位置については、二値化処理やエッジ検出といった画像処理手法により検出する。

【0034】

続いて、外部パラメータ算出部１３ｃにより、記憶部１３ｇから読み出した、透明板２なしの画像から得た計測座標データ、ラインセンサカメラ１１Ａの内部パラメータ及びマーカ座標系座標データを用いて、ラインセンサカメラ１１Ａと直線マーカ１２Ａとの位置姿勢関係を表す外部パラメータとして後で説明する角度Θ、ベクトルｔ₁₁，ｔ₁₂を求め（ステップＳ４）、カメラ座標系変換部１３ｄにより、記憶部１３ｇから読み出した透明板２なしの場合の計測座標データ及び外部パラメータから、カメラ座標系における直線マーカ１２Ａの切り替え地点１２Ａｃの座標（Ｘ₁'，Ｙ₁'）を算出する（ステップＳ５）。

【0035】

カメラモデルにはピンホールモデルを用いる。ただし、ここではラインセンサカメラ１１Ａを使うため、通常のエリアカメラとは違い、三次元空間→二次元画像ではなく、二次元平面→一次元画像となる。この数式モデルを式(1)に示す。

【0036】

【数1】

【0037】

ラインセンサカメラ１１Ａは１ラインしか撮影されないが、この撮影範囲は三次元空間上では二次元平面となる。この二次元空間上のマーカ座標系のある座標をＸ₁，Ｙ₁で、カメラ座標系の光軸方向の軸とその軸に直交する軸に平行な画像座標系（画像の左端を０原点とする画像素子面と平行な座標系であり、ラインセンサカメラ１１Ａにおける光線が、カメラ座標系原点より光軸方向に焦点距離ｆ[pixel]離れた位置にある画像平面に投影されたピクセル座標を表す）のあるピクセル座標をｕ₁で表現している。マーカ座標系とカメラ座標系間の回転行列をＲ（回転軸は１軸でその角度はΘ）、並進ベクトルをｔ₁（二次元ベクトルでその要素はｔ₁₁、ｔ₁₂）とする。

【0038】

また、ｓ₁はスケーリング係数、ｕ₁は画像座標系における位置（ピクセル座標、単位はpixel）、ｆは焦点距離（単位はpixel）、ｃは主点座標（単位はpixel）、Ｘ₁，Ｙ₁はマーカ座標系における直線マーカ１２Ａの切り替え地点１２Ａｃのマーカ座標系における位置（単位はとくに決まっていないがmmとするのが一般的である）である。なお、この式(1)はラインセンサカメラ１１Ａのレンズの歪みはすでに校正済みとする。また、外部パラメータの単位は回転量がラジアン、並進移動量が特に決まっていないがmmとするのが一般的である。

【0039】

そして、透明板２なしの画像から特異値分解を用いてラインセンサカメラ１１Ａと直線マーカ１２Ａとの位置姿勢関係を表す外部パラメータとして角度Θ、ベクトルｔ₁₁，ｔ₁₂を求める。

【0040】

以下に、外部パラメータである角度Θ、ベクトルｔ₁₁、ｔ₁₂を求める方法について詳しく説明する。まず、ラインセンサカメラ１１Ａにより直線マーカ１２Ａを撮影しているため、直線マーカ１２ＡのＹ座標は全て０になる。そこで以下の式(2)が得られる。

【0041】

【数2】

【0042】

この式を展開すると、以下の式(3)となる。

【0043】

【数3】

【0044】

これを展開、整理すると、以下の式(4)となる。

【0045】

【数4】

【0046】

ここで、式(4)はスケールが次数を一つ減らせる性質を利用し、三本以上の同時方程式を立てることで解くことができる。本実施例では、ラインセンサカメラ１１Ａにより直線マーカ１２Ａの切り替え地点１２Ａｃを三箇所以上撮影するようにしたため、当該切り替え地点１２Ａｃの座標は三点以上（Ｘ₁₁，Ｘ₁₂，…，Ｘ_1M，ｕ₁₁，ｕ₁₂，…，ｕ_1M）（Ｍは３以上の整数）あるが、この場合、以下の式(5)に示すように方程式と未知数の数が一致しない。

【0047】

【数5】

【0048】

そこで最小二乗法を行う。この形から外部パラメータである角度Θ、ベクトルｔ₁₁、ｔ₁₂を求める場合、例えば非特許文献１に記載されている特異値分解等を用いて算出することができる。
なお、実際の外部パラメータとするためには、スケール不定及び光軸の向きを固定するためベクトルｔ₁₂で正規化を行い、回転行列の性質よりsin²Θ＋cos²Θ＝１を使用して、角度Θ及びベクトルｔ₁₁、ｔ₁₂を求める。このように画像上の位置ｕ₁、真値座標（マーカ１２Ａの白黒帯１２Ａａ，１２Ａｂの幅）、焦点距離ｆ、主点座標ｃが分かっていれば線形解法で解を求めることができる。

【0049】

次に、透明板２なしの場合の計測座標データから特異値分解を用いてカメラ座標系における直線マーカ１２Ａの切り替え地点１２Ａｃの座標（Ｘ₁'，Ｙ₁'）を求める。座標（Ｘ₁'，Ｙ₁'）は以下の式(6)で算出することができる。

【0050】

【数6】

【0051】

次に、透明板パラメータ算出部１３ｅにより、記憶部１３ｇから透明板２ありの場合の計測座標データ、透明板２なしの場合の計測座標データ、ラインセンサカメラ１１Ａの内部パラメータ、及びカメラ座標系座標データを読み出し、この直線マーカ１２Ａの切り替え地点１２Ａｃのカメラ座標系の座標と、透明板２ありの画像から求めた計測座標データを用いて透明板２のパラメータ（厚さｄ、屈折率ｎ、カメラ光軸に対する角度θ_g）を算出する（ステップＳ６）。具体的には、透明板２ありの画像から求めた計測座標データを用いて、直線マーカ１２Ａの切り替え地点１２Ａｃのピクセル位置と透明板２なしの画像から求めた直線マーカ１２Ａの切り替え地点１２Ａｃのピクセル位置との差が小さくなるように、レーベンバーグマーカート法などの最適化手法を用いて透明板２のパラメータを求める。

【0052】

図１に示すように、透明板２の有無によるある直線マーカ１２Ａの切り替え地点１２Ａｃからの光線の違いにより、透明板２がない場合は画像としてｕ₁の位置に写るケースであっても、透明板２がある場合は光の屈折があるため画像ではｕ₁'という異なる位置に写ることが分かる。透明板キャリブレーションとはｕ₁'の座標が得られたときに本来写るであろうｕ₁に座標を変換する処理である。
以下では、この変換のためのパラメータとして透明板２の厚さｄ、透明板２の屈折率ｎ、透明板２のカメラ光軸に対する角度θ_gを算出する。
まず、透明板２の表面と裏面が平行であると仮定する。すると、スネルの法則より透明板２の表面への入射光と透明板２の裏面から出る出射光は平行になる。この性質を利用すると光線の変化は以下の式(7)〜(9)で表せる。

【0053】

【数7】

【0054】

ここで、ｅ₁：透明板２を透過することによる出射光と光学軸とのズレ[mm]、（Ｘ₁'，Ｙ₁'）：透明板２なしの場合のマーカのある１地点のカメラ座標系における座標[mm]、（Ｘ₁''，Ｙ₁''）：ピクセル位置ｕ₁'への光線とマーカのある１地点から伸ばした画像平面と平行な軸との交点の座標[mm]、ｃ：主点座標[pixel]、ｆ：焦点距離[pixel]、ｕ₁：透明板２なしの場合のマーカのある１地点のピクセル位置[pixel]、ｕ₁'：透明板２ありの場合のマーカのある１地点のピクセル位置[pixel]、θ₁：透明板２に垂直な軸と透明板２の出射光のなす角度[rad]、θ₀₁：透明板２なしの場合のマーカのある１地点からカメラへの光線とカメラ光軸との角度（ｕ₁'からの光線とカメラ光軸との角度）[rad]、θ₁'：透明板２に垂直な軸と透明板内の光線とのなす角度[rad]である。

【0055】

ここで、（Ｘ₁'，Ｙ₁'）、（Ｘ₁''，Ｙ₁''）はどちらもカメラ座標系のため、Ｙ₁''＝Ｙ₁'、ｕ₁'：ｆ＝Ｘ₁''：Ｙ₁''より、Ｘ₁''は以下の式(10)で表される。

【0056】

【数8】

【0057】

これにより、式(9)において未算出の変数は出射光と光学軸とのズレｅ₁だけとなった。ズレｅ₁の算出を図１及び図５を用いて説明する。まず、透明板２に垂直な軸と透明板２の出射光とがなす角度θ₁[rad]、ｕ₁'からの光線とカメラ光軸との角度θ₀₁[rad]、透明板２に垂直な軸と透明板２内の光線とがなす角度θ₁'[rad]については以下の式(11)〜(13)で算出できる。

【0058】

【数9】

【0059】

次に、透明板２内の光線の長さ（以下、光路長）ｂ₁を以下の式(14)により求める。

【0060】

【数10】

【0061】

この光路長ｂ₁を用いて、当該光路長ｂ₁のＹ₁軸方向の成分ｂ₁'を求めると、以下の式(15)のようになる。

【0062】

【数11】

【0063】

光路長ｂ及び当該光路長ｂの鉛直方向の成分ｂ₁'から図５に示す成分ｅ１，ｅ２（ｅ１＋ｅ２＝ｅ₁）を算出する。

【0064】

【数12】

【0065】

よって、出射光と光学軸とのズレｅ₁は以下の式(18)で表される。

【0066】

【数13】

【0067】

ここで、透明板２の厚さｄ、透明板２のカメラ光軸に対する角度θ_g、透明板２の屈折率ｎがまだ未算出のパラメータとなる。そこで次の式(19)の二乗誤差を最小化するｄ，θ_g，ｎを求める。

【0068】

【数14】

【0069】

ここで、Ｎ１は直線マーカ１２Ａの切り替え地点１２Ａｃの数である。この数式は、透明板２ありの場合のピクセル位置ｕ₁'からの変換結果と透明板２無しの場合のピクセル位置ｕ₁との誤差を最小化するパラメータを算出するという意味になる。これにはレーベンバーグマーカート法などの最適化手法を用いる。
これで、透明板２のパラメータである厚さｄ、角度θ_g、屈折率ｎが算出される。

【0070】

次に、キャリブレーション処理部１３ｆにより、計測される透明板２ありの場合のピクセル位置ｕ₁'に対して以下の式(20)（式(9)に式(10)と式(18)を代入したもの）を用いることで、透明板２がない場合と同等のピクセル位置ｕ₁を算出する（ステップＳ７）。すなわち、求めた透明板パラメータを用いて透明板２ありで撮影した画像から求めた計測座標（ピクセル位置）を、透明板２なしで撮影した状態と同等にするようにキャリブレーションを行う。

【0071】

【数15】

【0072】

なお、キャリブレーションにＹ₁'という計測対象の高さ（ラインセンサカメラ１１Ａから直線マーカ１２ＡまでのＹ₁軸方向の距離）が必要になる。これには撮像するワーキングディスタンスを固定することで解決するか、別の手段で対象物までの距離を計測する必要がある。例えば、ラインセンサカメラを二台用いて三角測量を行うことで距離Ｙ₁'を求めることが可能である。この場合ピクセル位置ｕ₁'を初期値として三角測量を行い、求めた座標から角度θ₀₁及び距離Ｙ₁'を算出する。そして求めたピクセル位置ｕ₁を用いて再度角度θ₀₁及び距離Ｙ₁'を算出することを繰り返すことで最適なｕ座標を算出できる。

【0073】

このように構成される本実施例に係る画像のキャリブレーション装置及び方法によれば、以下の作用効果が得られる。すなわち、
１）透明板２のパラメータを画像データとマーカ座標系座標データの真値のみで算出することが可能である。
２）透明板２や直線マーカ１２Ａの設置位置の制約が少ないキャリブレーション手法である。
３）透明板パラメータの算出と直線マーカ１２Ａのカメラ座標系座標の算出が可能である。
４）ラインセンサカメラ１１Ａでの透明板キャリブレーションが可能である。

【0074】

なお、本実施例では、直線マーカ１２Ａを、長手方向の長さが既知である白帯（白色領域）１２Ａａと黒帯（黒色領域）１２Ａｂとを長手方向に沿って交互に配したものとして説明したが、直線マーカ１２Ａの配色は上述した実施例に限定されるものではなく、淡色の領域と濃色の領域とを長手方向に沿って交互に配するなど、二つの領域の境界が明確に判断できる配色であればよい。

【実施例2】

【0075】

図３，４及び図６，７を用いて本発明の実施例２に係る画像のキャリブレーション装置及びキャリブレーション方法の詳細を説明する。

【0076】

図６に示すように、本実施例に係るキャリブレーション装置は、平面マーカ１２Ｂと、一台のエリアカメラ１１Ｂと、表面と裏面が平らで平行な透明板２とを用いて、透明板２の影響を透明板２のエリアカメラ１１Ｂに対する角度θ_g、厚さｄ、屈折率ｎから求めるものである。なお本実施例に係る画像のキャリブレーション装置は、平面マーカ１２Ｂとエリアカメラ１１Ｂの位置姿勢関係も同時に求めることが可能である。

【0077】

図７に示すように、平面マーカ１２Ｂは、矩形状に形成された板体からなる。平面マーカ１２Ｂには、大きさが既知である矩形状の白色領域１２Ｂａと黒色領域１２Ｂｂとがチェスボード型に配置されている。図７に示す例では、白色領域１２Ｂａ及び黒色領域１２Ｂｂは、それぞれ八つずつ設けられている。

【0078】

エリアカメラ１１Ｂは、二次元画像の撮影が可能な機器である。エリアカメラ１１Ｂは、平面マーカ１２Ｂの白色領域１２Ｂａと黒色領域１２Ｂｂの境界（白色領域１２Ｂａと白色領域１２Ｂａとの交点、又は黒色領域１２Ｂｂと黒色領域１２Ｂｂとの交点。以下、単に交点という）１２Ｂｃを少なくとも八か所以上撮影するように設置される。

【0079】

画像処理装置１３の構成は実施例１で説明したものと概ね同様であり、図３に示すように、画像入力部１３ａ、計測座標算出部１３ｂ、外部パラメータ算出部１３ｃ、カメラ座標系変換部１３ｄ、透明板パラメータ算出部１３ｅ、キャリブレーション処理部１３ｆ、及び記憶部１３ｇを備えている。

【0080】

画像入力部１３ａは、エリアカメラ１１Ｂで取得した画像データ（透明板２ありの場合、及び、透明板２なしの場合）を入力し、記憶部１３ｇに保管する。
計測座標算出部１３ｂは、記憶部１３ｇから読み出した画像データから平面マーカ１２Ｂの白色領域１２Ｂａと黒色領域１２Ｂｂとを検出し、平面マーカ１２Ｂの交点１２Ｂｃの画像上の座標を求め、計測座標データとして記憶部１３ｇに保管する。

【0081】

外部パラメータ算出部１３ｃは、記憶部１３ｇから読み出した透明板２なしの場合の計測座標データと、予め記憶部１３ｇに保管した既知であるエリアカメラ１１Ｂの内部パラメータ、平面マーカ１２Ｂの交点１２Ｂｃのマーカ座標系の座標であるマーカ座標系座標データ（真値座標）に基づいて、エリアカメラ１１Ｂと平面マーカ１２Ｂの位置姿勢関係を表す外部パラメータを求め、これを記憶部１３ｇに保管する。

【0082】

カメラ座標系変換部１３ｄは、記憶部１３ｇから読み出した透明板２なしの場合の計測座標データ及び外部パラメータに基づいて、平面マーカ１２Ｂの交点１２Ｂｃのカメラ座標系の座標を算出し、これをカメラ座標系座標データとして記憶部１３ｇに保管する。

【0083】

透明板パラメータ算出部１３ｅは、記憶部１３ｇから読み出した透明板２あり及び透明板２なしの場合の計測座標データ、エリアカメラ１１Ｂの内部パラメータ、及びカメラ座標系座標データに基づいて、透明板パラメータを算出し、これを記憶部１３ｇに保管する。

【0084】

キャリブレーション処理部１３ｆは、エリアカメラ１１Ｂを用いた計測を行う際に、記憶部１３ｇから読み出した透明板２ありの場合の計測座標データ、予め求めた計測対象の高さ（エリアカメラ１１Ｂから平面マーカ１２ＢまでのＺ₂軸方向の距離）、透明板パラメータに基づいて、計測対象の校正済み計測座標を算出し、校正済み計測座標データとして記憶部１３ｇに保管する。

【0085】

記憶部１３ｇは、エリアカメラ撮像データ、各撮影での平面マーカ１２Ｂの交点１２Ｂｃの計測座標データ、エリアカメラ１１Ｂの内部パラメータ、エリアカメラ１１Ｂと平面マーカ１２Ｂとの位置姿勢関係を表す外部パラメータ、平面マーカ１２Ｂの交点１２Ｂｃの座標であるマーカ座標系座標、平面マーカ１２Ｂの交点１２Ｂｃの座標のカメラ座標系座標、透明板パラメータ、計測対象の高さ、計測対象のキャリブレーション後の校正済み座標計測座標データ等を保管する。
なお、構成済み計測座標データは図示しない表示部等に出力され、表示部では校正された画像が表示される。

【0086】

以下、図４を用いて本実施例に係る画像のキャリブレーション装置によるキャリブレーション処理の流れを説明する。

【0087】

透明板キャリブレーションを行うためには、透明板２の厚さｄ[mm]、屈折率ｎ、角度θ_g[rad]といったパラメータを求める必要がある。そのために、まず透明板２なしで図７に示すような、白色領域１２Ｂａと黒色領域１２Ｂｂの交点１２Ｂｃの位置が既知である平面マーカ１２Ｂを撮影する（ステップＳ１）。平面マーカ１２Ｂはエリアカメラ１１Ｂからみてほぼ正対するように設置する。

【0088】

その後、平面マーカ１２Ｂの位置とエリアカメラ１１Ｂの位置を動かさずに平面マーカ１２Ｂとエリアカメラ１１Ｂとの間に透明板２を設置し、透明板２ありの状態で平面マーカ１２Ｂを撮影する（ステップＳ２）。本実施例では、この際に得られる写りの違いを用いて透明板２のパラメータを算出する。ここでエリアカメラ１１Ｂのレンズキャリブレーションはすでに行われており、焦点距離ｆ_u，ｆ_v、主点座標ｃ_u，ｃ_v、歪み係数といったエリアカメラ１１Ｂの内部パラメータは既知であり、歪みを除去した画像が得られていると仮定する。

【0089】

続いて、計測座標算出部１３ｂにより、透明板２なしで撮影した画像から平面マーカ１２Ｂの交点１２Ｂｃの画像上の座標を検出する（ステップＳ３）。平面マーカ１２Ｂの交点１２Ｂｃのピクセル位置（計測座標）については二値化処理やエッジ検出といった画像処理手法により検出する。

【0090】

続いて、外部パラメータ算出部１３ｃにより、記憶部１３ｇから読み出した透明板２なしの場合の計測座標データ、エリアカメラ１１Ｂの内部パラメータ、及びマーカ座標系座標データを用いて、エリアカメラ１１Ｂと平面マーカ１１Ｂとの位置姿勢関係を表す外部パラメータとして回転行列Ｒ及び並進ベクトルｔ₂を求め（ステップＳ４）、これらの値からカメラ座標系における平面マーカ１２Ｂの交点１２Ｂｃの座標（Ｘ₂'，Ｙ₂'，Ｚ₂'）を算出する（ステップＳ５）。

【0091】

カメラモデルにはピンホールモデルを用いる。この数式モデルを式(21)に示す。三次元空間上のマーカ座標系をＸ₂，Ｙ₂，Ｚ₂軸で、カメラ座標系を光軸方向の軸に直交する二次元平面のｕ₂，ｖ₂軸で表現している。マーカ座標系とカメラ座標系間の回転行列をＲ（ｒ₁₁〜ｒ₃₃）、並進ベクトルをｔ₂（三次元ベクトルでその要素はｔ₂₁，ｔ₂₂，ｔ₂₃）とする。

【0092】

【数16】

【0093】

透明板２なしの画像から求めた計測座標から特異値分解を用いてエリアカメラ１１Ｂと平面マーカ１２Ｂとの位置姿勢関係を表す外部パラメータとして回転行列Ｒ及び並進ベクトルｔ₂を求める。

【0094】

また、ｓ₂はスケーリング係数、ｆ_u，ｆ_vはｕ₂，ｖ₂それぞれの焦点距離、ｃ_u，ｃ_vはｕ₂，ｖ₂それぞれの主点座標、ｕ₂，ｖ₂は画像座標系におけるピクセル位置、Ｘ₂，Ｙ₂，Ｚ₂はマーカ座標系における平面マーカ１２Ｂの交点１２Ｂｃのピクセル位置である。なお、この式(21)ではレンズの歪みはすでに校正済みとする。

【0095】

以下に、エリアカメラ１１Ｂと平面マーカ１２Ｂの位置姿勢関係を表す外部パラメータである回転行列Ｒ及び並進ベクトルｔ₂を求める方法について述べる。まず、エリアカメラ１１Ｂにより平面マーカ１２Ｂを撮影しているため、平面マーカ１２ＢのＺ₂座標は全て０になる。そこで以下の式(22)が得られる。

【0096】

【数17】

【0097】

この式を展開すると、以下の式(23)，(24)となる。

【0098】

【数18】

【0099】

これを展開、整理すると、以下の式(25)になる。

【0100】

【数19】

【0101】

ここで、上記の式(25)は、スケールが次数を一つ減らせる性質を利用し、８本以上の同時方程式を立てることで解くことができる。実際には平面マーカ１２Ｂの座標は８点以上（（Ｘ₂₁，Ｙ₂₁），（Ｘ₂₂，Ｙ₂₂），…，（Ｘ_2L，Ｙ_2L），（ｕ₂₁，ｖ₂₁），（ｕ₂₂，ｖ₂₂），…，（ｕ_2L，ｖ_2L））（Ｌは８以上の整数）あるが、この場合方程式と未知数の数が一致しない（式(26)）。

【0102】

【数20】

【0103】

そこで最小二乗法を行う。この形から外部パラメータである回転行列Ｒ及び並進ベクトルｔ₂を求める場合、特異値分解を用いることが良く知られているため（非特許文献１）、ここでは特異値分解によって算出する。

【0104】

実際の外部パラメータとするためには、スケール不定及び光軸の向きを固定するためベクトルｔ₂₃で正規化を行い、回転行列の性質より回転行列Ｒが直交行列かつ行列式の値が１を使用して回転行列Ｒ及び並進ベクトルｔ₂を求める。このように画像上の計測座標（ピクセル位置）、真値座標（平面マーカ１２Ｂの白色領域１２Ｂａと黒色領域１２Ｂｂの大きさ）、焦点距離、主点座標が分かっていれば線形解法で解を求めることができる。

【0105】

次に、透明板２なしの画像から求めた計測座標から、特異値分解を用いてカメラ座標系における平面マーカ１２Ｂの交点１２Ｂｃの座標（Ｘ₂'，Ｙ₂'，Ｚ₂'）を求める。この座標（Ｘ₂'，Ｙ₂'，Ｚ₂'）は以下の式(27)で算出することができる。

【0106】

【数21】

【0107】

次に、透明板パラメータ算出部１３ｅにより、この平面マーカ１２Ｂの交点１２Ｂｃのカメラ座標系の座標と、透明板２を透過して撮像した画像を用いて透明板２のパラメータ（厚さｄ、屈折率ｎ、カメラ光軸に対する角度θ_g）を算出する（ステップＳ６）。具体的には、透明板２ありの画像から取得した計測座標を用いて、平面マーカ１２Ｂの交点１２Ｂｃのピクセル位置と透明板２なしの画像から取得した平面マーカ１２Ｂの交点１２Ｂｃのピクセル位置との差が小さくなるように、レーベンバーグマーカート法などの最適化手法を用いて透明板２のパラメータを求める。

【0108】

図６に、透明板２の有無によるある平面マーカ１２Ｂの交点１２Ｂｃからの光線の違いを示すように、透明板２がない場合、画像として（ｕ₂，ｖ₂）の位置に写るケースであっても、透明板２がある場合は光の屈折があるため画像では（ｕ₂'，ｖ₂'）という異なる位置に写ることが分かる。透明板キャリブレーションとは（ｕ₂'，ｖ₂'）の座標が得られたときに本来写るであろう（ｕ₂，ｖ₂）に座標を変換する処理である。

【0109】

以下では、この変換のためのパラメータとして透明板２の厚さｄ、透明板２の屈折率ｎ、透明板２のカメラ光軸に対する角度θ_gを算出する。基本的な考え方は実施例１と同じになるが、ここでは対象となる画像が直線ではなく平面である。そこで、ある座標に対して放射状にある一面を区切ると、実施例１と同等の状態とみなせる。ここではこの傾向を利用して透明板２のパラメータを算出する。

【0110】

まず、透明板２の表面と裏面が平行であると仮定する。すると、スネルの法則より透明板２の表面への入射光と透明板２の裏面から出る出射光は平行になる。この性質を利用すると光線の変化は以下の式(28)〜(30)で表せる。

【0111】

【数22】

【0112】

ここで、ｄ：透明板２の厚さ[mm]、ｅ₂：透明板２を透過することによる出射光と光学軸とのズレ[mm]、ｎ：透明板２の屈折率、（Ｘ₂'，Ｙ₂'，Ｚ₂'）：透明板２なしの場合の平面マーカ１２Ｂのある１地点のカメラ座標系における座標[mm]、（Ｘ₂''，Ｙ₂''，Ｚ₂''）：ピクセル位置（ｕ₂'，ｖ₂'）への光線と平面マーカ１２Ｂのある１地点から伸ばした画像平面と平行な軸との交点の座標[mm]、（ｃ_u，ｃ_v）：主点座標[pixel]、（ｆ_u，ｆ_v）：焦点距離[pixel]、（ｕ₂，ｖ₂）：透明板２なしの場合の平面マーカ１２Ｂのある１地点のピクセル位置[pixel]、（ｕ₂'，ｖ₂'）：透明板２ありの場合の平面マーカ１２Ｂのある１地点のピクセル位置[pixel]、θ₂：透明板２に垂直な軸と透明板２の出射光のなす角度[rad]、θ₀₂：透明板２なしの場合の平面マーカ１２Ｂのある１地点からエリアカメラ１１Ｂへの光線とカメラ光軸との角度（（ｕ₂'，ｖ₂'）からの光線とカメラ光軸とがなす角）[rad]、θ_g：カメラ光軸に対する透明板２に垂直な軸の角度[rad]、θ₂'：透明板２に垂直な軸と透明板内の光線とのなす角度[rad]である。
ここで、（Ｘ₂'，Ｙ₂'，Ｚ₂'）、（Ｘ₂''，Ｙ₂''，Ｚ₂''）はどちらもカメラ座標系のため、Ｚ₂''＝Ｚ₂'、ｕ₂'：ｆ_u＝Ｘ₂''：Ｚ₂''、ｖ₂'：ｆ_v＝Ｙ₂''：Ｚ₂''より、以下の式(31)が成り立つ。

【0113】

【数23】

【0114】

これにより、式(30)においてまだ未算出の変数は出射光と光学軸とのズレｅ₂だけとなった。以下に、ズレｅ₂を算出する手法について説明する。まず、透明板２に垂直な軸と透明板２の出射光のなす角θ₂[rad]、（ｕ₂'，ｖ₂'）からの光線とカメラ光軸とがなす角θ₀₂[rad]、透明板２に垂直な軸と透明板２内の光線とのなす角θ₂'[rad]については以下の式(32)〜(34)で算出できる。

【0115】

【数24】

【0116】

ここで、θ'_gは光軸に対して透明板２の光軸中心から光線への直線がどの程度傾いているかを表す角度であり、θ_gから求めることができる。まず、光軸ベクトルを透明板２に射影したベクトルを求める。次にこのベクトルを透明板２の法線ベクトルに対して回転させ、（Ｘ₂'，Ｙ₂'，Ｚ₂'）を通る光線と交差するベクトルとする。最後にこのベクトルと光軸とのなす角がθ'_gとなる。
これ以降については実施例１と同様になる。よって、出射光と光学軸とのズレｅ₂は以下の式(35)で表される。

【0117】

【数25】

【0118】

ここで、透明板２の厚さｄ、透明板２のカメラ光軸に対する角度θ_g、透明板２の屈折率ｎがまだ未算出のパラメータとなる。そこで次の式(36)の二乗誤差を最小化するｄ，θ_g，ｎを求める。

【0119】

【数26】

【0120】

ここで、Ｎ２は平面マーカ１２Ｂの交点１２Ｂｃの数である。この数式は、透明板２ありの場合のピクセル位置ｕ₂'からの変換結果と透明板２無しの場合のピクセル位置ｕ₂との誤差を最小化するパラメータを算出するという意味になる。これにはレーベンバーグマーカート法などの最適化手法を用いる。
これで、透明板２のパラメータである厚さｄ、角度θ_g、屈折率ｎが算出される。

【0121】

その後、実施例１と同様にキャリブレーション処理部１３ｆにより、計測されるｕ₂'から透明板２がない場合と同等のピクセル位置ｕ₂を算出する（ステップＳ７）。算出にはＺ₂'という撮影対象の距離（エリアカメラ１１Ｂから平面マーカ１２ＢまでのＺ軸方向の距離）が必要になるが、実施例１と同様に、これには撮像するワーキングディスタンスを固定することで解決するか、別の手段で対象物までの距離Ｚ₂'を計測する。

【0122】

このように構成される本実施例に係る画像のキャリブレーション装置及びキャリブレーション方法によれば、以下の作用効果が得られる。すなわち、
１）透明板２のパラメータを画像データとマーカ座標系座標データの真値のみで算出することが可能である。
２）透明板２や平面マーカ１２Ｂの設置位置の制約が少ないキャリブレーション手法である。
３）透明板パラメータの算出と平面マーカ１２Ｂのカメラ座標系座標の算出が可能である。
４）エリアカメラ１１Ｂでの透明板キャリブレーションが可能である。

【0123】

なお、本実施例では、平面マーカ１２Ｂを、矩形状の白色領域１２Ｂａと黒色領域１２Ｂｂとをチェスボード型に配置したものとして説明したが、平面マーカ１２Ｂの配色は上述した実施例に限定されるものではなく、淡色の領域と濃色の領域とをチェスボード型に配置するなど、二つの領域の境界が明確に判断できる配色であればよい。

【産業上の利用可能性】

【0124】

本発明は、透明板を介してカメラで撮影した画像を、透明板がない状態と同等の画像に校正する画像のキャリブレーション装置及びキャリブレーション方法に適用することができる。

【符号の説明】

【0125】

１ ケース
２ 透明板
１１Ａ ラインセンサカメラ
１１Ｂ エリアカメラ
１２Ａ 直線マーカ
１２Ａａ 白帯（白色領域）
１２Ａｂ 黒帯（黒色領域）
１２Ａｃ 切り替え地点
１２Ｂ 平面マーカ
１２Ｂａ 白色領域
１２Ｂｂ 黒色領域
１２Ｂｃ 交点
１３ 画像処理装置
１３ａ 画像入力部
１３ｂ 計測座標算出部
１３ｃ 外部パラメータ算出部
１３ｄ カメラ座標系変換部
１３ｅ 透明板パラメータ算出部
１３ｆ キャリブレーション処理部
１３ｇ 記憶部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】