特許 6641729 ラインセンサカメラのキャリブレーション装置及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6641729

(24)【登録日】2020年1月8日

(45)【発行日】2020年2月5日

(54)【発明の名称】ラインセンサカメラのキャリブレーション装置及び方法

(51)【国際特許分類】

   G06T 7/80 20170101AFI20200127BHJP

   G01B 11/00 20060101ALI20200127BHJP

   H04N 5/225 20060101ALI20200127BHJP

   H04N 5/232 20060101ALI20200127BHJP

【ＦＩ】

   G06T7/80

   G01B11/00 H

   H04N5/225

   H04N5/232

【請求項の数】6

【全頁数】12

(21)【出願番号】特願2015-104136(P2015-104136)

(22)【出願日】2015年5月22日

(65)【公開番号】特開2016-218815(P2016-218815A)

(43)【公開日】2016年12月22日

【審査請求日】2018年4月6日

(73)【特許権者】

【識別番号】000006105

【氏名又は名称】株式会社明電舎

(74)【代理人】

【識別番号】110002077

【氏名又は名称】園田・小林特許業務法人

(72)【発明者】

【氏名】深井 寛修

(72)【発明者】

【氏名】川畑 匠朗

(72)【発明者】

【氏名】庭川 誠

【審査官】 新井 則和

(56)【参考文献】

【文献】 特開２００９−２８８１６５（ＪＰ，Ａ）

【文献】 特開２０１２−０５８０４５（ＪＰ，Ａ）

【文献】 Ikram-ul-haq et al.，Two Stage Camera Calibration Modeling and Simulation，Proceedings of International Bhurban Conference on Applied Sciences & Technology，IEEE，２００９年 １月，pp. 231-237，https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=5596448

【文献】 佐川 立昌，八木 康史，２つの平行光の観測による内部カメラパラメータの高精度なキャリブレーション，情報処理学会論文誌 第４９巻 Ｎｏ．ＳＩＧ６（ＣＶＩＭ２０） コンピュータビジョンとイメージメディア，日本，社団法人情報処理学会，２００８年 ３月１５日，第49巻 第SIG6CVIM20号，pp. 89-100，ISSN 0387-5806

【文献】 Zhengyou Zhang，A Flexible New Technique for Camera Calibration，IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE，IEEE，２０００年１１月，VOL. 22 NO. 11，pp. 1330-1334，https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=888718

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／００−７／９０

Ｇ０１Ｂ １１／００

Ｈ０４Ｎ ５／２２５

Ｈ０４Ｎ ５／２３２

(57)【特許請求の範囲】

【請求項1】

ラインセンサカメラの撮像範囲となる２次元平面上での２次元平面座標が既知の複数の検出点を有し、かつ、前記検出点の一つが他の前記検出点に対して奥行きを有する立体マーカと、
前記立体マーカを前記ラインセンサカメラで撮像した複数の画像に基づいて、前記ラインセンサカメラのキャリブレーション用の内部パラメータ及び外部パラメータを算出する処理部とを有し、
前記処理部は、
位置及び姿勢が各々異なる前記立体マーカの前記画像が各々入力される画像入力部と、
前記立体マーカの前記検出点の前記画像上の１次元画像座標を前記画像毎に算出する計測座標算出部と、
前記２次元平面座標から前記１次元画像座標へ変換する前記ラインセンサカメラの数式モデルに基づいて求めた変換行列について、前記変換行列における初期の内部パラメータとして既知の初期値を入力し、線形解法により前記変換行列から初期の外部パラメータを前記画像毎に算出する外部パラメータ算出部と、
前記数式モデルに基づいて求めたレンズ歪みを考慮した誤差関数について、前記誤差関数に前記初期の内部パラメータ及び前記初期の外部パラメータを入力し、前記検出点の全数及び前記画像の全数についての前記誤差関数の総和が最小となる前記内部パラメータ及び前記外部パラメータを、反復計算を用いた非線形解法により算出する非線形最小二乗部とを有する
ことを特徴とするラインセンサカメラのキャリブレーション装置。

【請求項2】

請求項１に記載のラインセンサカメラのキャリブレーション装置において、
前記立体マーカは、Ｌ字型の形状であり、Ｌ字型に折れ曲がった内側の面に前記複数の検出点が配置されている
ことを特徴とするラインセンサカメラのキャリブレーション装置。

【請求項3】

請求項１又は請求項２に記載のラインセンサカメラのキャリブレーション装置において、
前記数式モデルは、ピンホールカメラモデルを用いたものである
ことを特徴とするラインセンサカメラのキャリブレーション装置。

【請求項4】

ラインセンサカメラの撮像範囲となる２次元平面上での２次元平面座標が既知の複数の検出点を有し、かつ、前記検出点の一つが他の前記検出点に対して奥行きを有する立体マーカを前記ラインセンサカメラで撮像した複数の画像に基づいて、前記ラインセンサカメラのキャリブレーション用の内部パラメータ及び外部パラメータを算出するラインセンサカメラのキャリブレーション方法であって、
位置及び姿勢が各々異なる前記立体マーカの前記画像が各々入力される画像入力工程と、
前記立体マーカの前記検出点の前記画像上の１次元画像座標を前記画像毎に算出する計測座標算出工程と、
前記２次元平面座標から前記１次元画像座標へ変換する前記ラインセンサカメラの数式モデルに基づいて求めた変換行列について、前記変換行列における初期の内部パラメータとして既知の初期値を入力し、線形解法により前記変換行列から初期の外部パラメータを前記画像毎に算出する外部パラメータ算出工程と、
前記数式モデルに基づいて求めたレンズ歪みを考慮した誤差関数について、前記誤差関数に前記初期の内部パラメータ及び前記初期の外部パラメータを入力し、前記検出点の全数及び前記画像の全数についての前記誤差関数の総和が最小となる前記内部パラメータ及び前記外部パラメータを、反復計算を用いた非線形解法により算出する非線形最小二乗工程とを有する
ことを特徴とするラインセンサカメラのキャリブレーション方法。

【請求項5】

請求項４に記載のラインセンサカメラのキャリブレーション方法において、
前記立体マーカとして、Ｌ字型の形状であって、Ｌ字型に折れ曲がった内側の面に前記複数の検出点が配置されているものを用いる
ことを特徴とするラインセンサカメラのキャリブレーション方法。

【請求項6】

請求項４又は請求項５に記載のラインセンサカメラのキャリブレーション方法において、
前記数式モデルとして、ピンホールカメラモデルを用いる
ことを特徴とするラインセンサカメラのキャリブレーション方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理分野において、ラインセンサカメラのキャリブレーションを行う装置及び方法に関する。

【背景技術】

【0002】

下記の非特許文献１では、カメラのキャリブレーション方法として、エリアカメラで立体のマーカを１枚撮影することにより、カメラの内部パラメータ（焦点距離、歪み係数）及び外部パラメータ（回転、並進）を求める提案を行っている。又、下記の非特許文献２では、カメラのキャリブレーション方法として、エリアカメラで平面マーカを様々な位置、姿勢で撮影することにより、撮影毎の外部パラメータ及びカメラの内部パラメータを求める提案を行っている。

【先行技術文献】

【非特許文献】

【0003】

【非特許文献1】R. Y. Tsai, "A Versatile Camera Calibration Technique for High-Accuracy 3D Machine Vision Metrology Using Off-the-Shelf TV Cameras and Lenses", IEEE JOURNAL OF ROBOTICS AND AUTOMATION, VOL. RA-3, NO. 4, AUGUST 1987, pp. 323-344

【非特許文献2】Z. Zhang. "A Flexible New Technique for Camera Calibration", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 22, No. 11, 2000, pp. 1330-1334

【非特許文献3】R. Szeliski 著、玉木徹 他 訳、「コンピュータビジョン −アルゴリズムと応用−」、共立出版、２０１３、５１頁

【発明の概要】

【発明が解決しようとする課題】

【0004】

非特許文献１に記載のキャリブレーション方法は、立体のマーカを撮影し、仮に固定した内部パラメータを使い、線形解法によって仮の外部パラメータを求め、求めた仮の内部及び外部パラメータを初期値として、内部パラメータと外部パラメータを非線形最適化手法によって解く方法である。この方法は１回の撮影で良いことがメリットであるが、１回の撮影しか用いないため、奥行方向の変化によって得られる情報が少なく、焦点距離を正確に求めることができなかった。又、エリアカメラ用のキャリブレーション方法であり、ラインセンサカメラには対応していなかった。

【0005】

又、非特許文献２に記載のキャリブレーション方法は、平面マーカを様々な位置姿勢で撮影し、内部パラメータと各撮影の外部パラメータを非線形最適化手法によって解く方法である。平面マーカを用いるためマーカの作成が容易なこと、複数回の撮影を行うため焦点距離などを上記非特許文献１の方法よりも高精度に推定できることといったメリットがある。これらの特徴から、非特許文献２の方法はカメラのキャリブレーション方法として現在最も用いられている。しかしながら、この方法もラインセンサカメラには対応していなかった。例えば、ラインセンサカメラにおいて、非特許文献２の方法のように、平面マーカを用いると、焦点距離などの算出が不安定になるという問題がある。

【0006】

本発明は上記課題に鑑みなされたもので、ラインセンサカメラのキャリブレーションを行うことができるラインセンサカメラのキャリブレーション装置及び方法を提供することを目的とする。

【課題を解決するための手段】

【0007】

上記課題を解決する第１の発明に係るラインセンサカメラのキャリブレーション装置は、
ラインセンサカメラの撮像範囲となる２次元平面上での２次元平面座標が既知の複数の検出点を有する立体マーカと、
前記立体マーカを前記ラインセンサカメラで撮像した複数の画像に基づいて、前記ラインセンサカメラのキャリブレーション用の内部パラメータ及び外部パラメータを算出する処理部とを有し、
前記処理部は、
位置及び姿勢が各々異なる前記立体マーカの前記画像が各々入力される画像入力部と、
前記立体マーカの前記検出点の前記画像上の１次元画像座標を前記画像毎に算出する計測座標算出部と、
前記２次元平面座標から前記１次元画像座標へ変換する前記ラインセンサカメラの数式モデルに基づいて求めた変換行列について、前記変換行列における初期の内部パラメータとして既知の初期値を入力し、線形解法により前記変換行列から初期の外部パラメータを前記画像毎に算出する外部パラメータ算出部と、
前記数式モデルに基づいて求めたレンズ歪みを考慮した誤差関数について、前記誤差関数に前記初期の内部パラメータ及び前記初期の外部パラメータを入力し、前記検出点の全数及び前記画像の全数についての前記誤差関数の総和が最小となる前記内部パラメータ及び前記外部パラメータを、反復計算を用いた非線形解法により算出する非線形最小二乗部とを有する
ことを特徴とする。

【0008】

上記課題を解決する第２の発明に係るラインセンサカメラのキャリブレーション装置は、
上記第１の発明に記載のラインセンサカメラのキャリブレーション装置において、
前記立体マーカは、Ｌ字型の形状であり、Ｌ字型に折れ曲がった内側の面に前記複数の検出点が配置されている
ことを特徴とする。

【0009】

上記課題を解決する第３の発明に係るラインセンサカメラのキャリブレーション装置は、
上記第１又は第２の発明に記載のラインセンサカメラのキャリブレーション装置において、
前記数式モデルは、ピンホールカメラモデルを用いたものである
ことを特徴とする。

【0010】

上記課題を解決する第４の発明に係るラインセンサカメラのキャリブレーション方法は、
ラインセンサカメラの撮像範囲となる２次元平面上での２次元平面座標が既知の複数の検出点を有する立体マーカを前記ラインセンサカメラで撮像した複数の画像に基づいて、前記ラインセンサカメラのキャリブレーション用の内部パラメータ及び外部パラメータを算出するラインセンサカメラのキャリブレーション方法であって、
位置及び姿勢が各々異なる前記立体マーカの前記画像が各々入力される画像入力工程と、
前記立体マーカの前記検出点の前記画像上の１次元画像座標を前記画像毎に算出する計測座標算出工程と、
前記２次元平面座標から前記１次元画像座標へ変換する前記ラインセンサカメラの数式モデルに基づいて求めた変換行列について、前記変換行列における初期の内部パラメータとして既知の初期値を入力し、線形解法により前記変換行列から初期の外部パラメータを前記画像毎に算出する外部パラメータ算出工程と、
前記数式モデルに基づいて求めたレンズ歪みを考慮した誤差関数について、前記誤差関数に前記初期の内部パラメータ及び前記初期の外部パラメータを入力し、前記検出点の全数及び前記画像の全数についての前記誤差関数の総和が最小となる前記内部パラメータ及び前記外部パラメータを、反復計算を用いた非線形解法により算出する非線形最小二乗工程とを有する
ことを特徴とする。

【0011】

上記課題を解決する第５の発明に係るラインセンサカメラのキャリブレーション方法は、
上記第４の発明に記載のラインセンサカメラのキャリブレーション方法において、
前記立体マーカとして、Ｌ字型の形状であって、Ｌ字型に折れ曲がった内側の面に前記複数の検出点が配置されているものを用いる
ことを特徴とする。

【0012】

上記課題を解決する第６の発明に係るラインセンサカメラのキャリブレーション方法は、
上記第４又は第５の発明に記載のラインセンサカメラのキャリブレーション方法において、
前記数式モデルとして、ピンホールカメラモデルを用いる
ことを特徴とする。

【発明の効果】

【0013】

本発明によれば、ラインセンサカメラの撮像範囲となる２次元平面上に写る立体マーカを用い、立体マーカの２次元平面座標からラインセンサカメラの１次元画像座標へ変換する数式モデルを用いているので、ラインセンサカメラに対応する適切なキャリブレーションを行うことができる。又、線形解法と共に、誤差関数を最小化する非線形解法を用いているので、歪み係数を含む内部パラメータと外部パラメータを同時に算出することができる。又、立体マーカを用いて、検出点に奥行きを持たせたので、焦点距離を正確に算出することができる。又、立体マーカの位置及び姿勢が各々異なる複数の画像を撮像するので、歪み係数を含む内部パラメータを算出することができる。

【図面の簡単な説明】

【0014】

【図1】本発明に係るラインセンサカメラのキャリブレーション装置の実施形態の一例を示す概略構成図である。

【図2】図１に示した装置で実施するラインセンサカメラのキャリブレーション方法を説明するフローチャートである。

【発明を実施するための形態】

【0015】

カメラを用いた計測を行う際、カメラの焦点距離、主点座標、歪み係数などといったカメラパラメータを事前に求めることは必須であり、これを求めることをカメラキャリブレーションという。なお、以降、カメラキャリブレーションを、単に、キャリブレーションと呼ぶ。

【0016】

本発明では、非特許文献２の方法のように、ラインセンサカメラのキャリブレーションに、マーカの複数回撮影と非線形最適化手法によるカメラパラメータ算出を導入する。しかしながら、非特許文献２の方法はエリアカメラを前提としているため、この方法をそのままラインセンサカメラのキャリブレーションに導入することはできない。例えば、ラインセンサカメラでは、次元数が少ないため、回転行列の直交性を活用できず、又、ライセンサカメラがキャリブレーション用の平面マーカをチェスボード状に撮影できないため、焦点距離と外部パラメータ算出が不安定になることが問題となる。本発明では、これらの問題を解決するため、キャリブレーション用として、立体マーカを用いている。これにより、焦点距離と外部パラメータ算出が不安定になることを防ぐことができる。

【0017】

又、本発明では、カメラモデルとして、ピンホールカメラモデルを用いる。但し、本発明では、ラインセンサカメラを使うため、通常のエリアカメラでは撮像範囲の３次元空間が２次元画像になるのに対して、ラインセンサカメラでは撮像範囲の２次元平面が１次元画像となる。そして、撮像範囲の２次元平面上に立体マーカを設置することで、求める外部パラメータを、回転が１軸、平行移動が２次元とすることができる。

【0018】

ここで、本発明の装置構成を図１に示すと共に、図１に示す構成における数式モデルを下記式（１）に示す。なお、図１に示す本発明の装置構成の詳細については後述する。

【0019】

図１において、ラインセンサカメラ１０は１ラインしか撮像を行わないため、撮像範囲は３次元空間上では２次元平面１１となる。この２次元平面１１上のＬ字マーカ２０のオブジェクト座標系（２次元平面座標系）をＸ軸、Ｙ軸で表現し、ラインセンサカメラ１０のカメラ座標系（１次元画像座標系）を、ラインセンサカメラ１０の光軸方向の軸ｗに直交し、撮像範囲の２次元平面１１と並行なｕ軸で表現している。又、オブジェクト座標系とカメラ座標系間の回転行列をＲ（回転軸は１軸でその角度はθ）、並進ベクトルをｔ（２次元ベクトルで、その要素はｔ₁、ｔ₂）とする。

【0020】

【数1】

【0021】

ここで、ｓはスケーリング係数、ｆは焦点距離、ｃは主点座標、ｕは実際に観測されたカメラ座標系における位置（ピクセル座標における計測座標）、Ｘ、Ｙはオブジェクト座標系における位置（Ｌ字マーカ２０の実空間（２次元平面１１）上における真値座標）である。

【0022】

又、上記式（１）及び下記の式（２）〜（１６）の式中において、ボールド体（太字）ではないアルファベットはスカラーであり、ボールド体（太字）の小文字のアルファベットはベクトルであり、ボールド体（太字）の大文字のアルファベットは行列である。なお、文書中においては、ボールド体（太字）を使用できないので、通常の書式とし、該当するアルファベットの直後に“（ボールド体）”と付記している。

【0023】

上記式（１）は、Ｌ字マーカ２０のオブジェクト座標（２次元平面座標）からラインセンサカメラ１０のカメラ座標（１次元画像座標）へ変換する数式モデルとなっている。但し、上記式（１）では、ラインセンサカメラ１０のレンズの歪みが考慮されていない。そこで、下記式（２）のように（ｘ，ｙ）を定義すると、下記式（３）〜（５）のように歪みを表すことができる。なお、ｋ₁〜ｋ₃は半径歪み係数である。なお、レンズの歪みについては、非特許文献３（特に、５１頁）を参考にしている。

【0024】

【数2】

【0025】

上記式（１）〜（５）について展開したいが、式（５）にｘ”をそのまま代入できないため、次式（５）’を式（４）に代入する。式（１）〜（３）についても式（４）に代入すると下記式（６）となる。

【0026】

【数3】

【0027】

このカメラモデルでキャリブレーションを行う場合には、単位焦点距離面での誤差最小化を行うことになり、下記式（７）が最小となるように、レーベンバーグマーカート法により、内部及び外部パラメータを求めることとなる。

【0028】

【数4】

【0029】

ここで、上記式（７）において、Ｍは画像の撮影回数、Ｎは各撮影において取得される特徴点数（白黒帯２３の検出点数）である。上記式（７）は、上記式（６）に基づく誤差関数を、撮像した画像の全数Ｍ及び検出点の全数Ｎについて総和したものとなる。

【0030】

次に、上述した内部及び外部パラメータが全て校正済み（キャリブレーション済み）の場合に、計測座標ｕが得られた時のＸ、Ｙについて求める。これは、上記式（６）をＸ、Ｙの形になるように解けばよいが、上記式（６）にはＸ、Ｙ両方が含まれているため、このままでは解くことができない。そこで、Ｌ字マーカ２０の検出点では、Ｘ、Ｙの２次元平面１１上の真値座標がどちらかは０であることを利用し、真値座標が０となる方向で得られたパラメータによって算出される値も０と仮定して解く。その結果、上記式（６）は下記式（８）、（９）となり、解析的にＸ、Ｙの値を求めることができた。ここで、ｘ’やｘ”は上記式（３）〜（５）で定義された値である。

【0031】

【数5】

【0032】

次に、外部パラメータを撮影毎に求める方法について述べる。並進と回転を表す変換行列を下記式（１０）とすると、上記式（１）に基づいて、変換行列は下記式（１１）で表すことができる。

【0033】

【数6】

【0034】

これを展開、整理すると、下記式（１２）となる。

【0035】

【数7】

【0036】

ここで、スケールが次数を１つ減らせる性質を利用し、３本以上の同時方程式を立てることで変換行列を解くことができる。実際には、Ｌ字マーカ２０の座標は３点以上あるが、この場合、方程式と未知数の数が一致しない。そこで、最小二乗法を用いる。二乗誤差をＥ、各計測点で生じる誤差ベクトルをｅ（ボールド体）、マーカの座標数をｎとし、下記式（１３）で表す行列を用いると、二乗誤差Ｅを下記式（１４）で表すことができる。なお、“^T”は、転置行列を表す記号である。

【0037】

【数8】

【0038】

二乗誤差Ｅを最小化するためのベクトルは、Ｂ^TＢ（ボールド体）の最小の固有値に対応する固有ベクトルとなる。そこで、解となる固有ベクトルを求めるため、特異値分解を用いる。これは下記式（１５）となる。ここで、Ｕ（ボールド体）は左特異行列、Ｖ（ボールド体）は右特異行列、Σ（ボールド体）は特異値行列であり、Ｉ（ボールド体）は単位行列である。これにより、Ｂ^TＢ（ボールド体）は下記式（１６）で表すことができる。

【0039】

【数9】

【0040】

この結果より、固有ベクトルが右特異行列Ｖ（ボールド体）の右特異ベクトルと同じになり、固有値が特異値の二乗と同じになることが分かる。このことから、特異値分解を使うことで、変換行列を求めることができる。

【0041】

実際の外部パラメータとするには、スケール不定及びｔ₂＞０のため、ｔ₂で正規化を行い、回転行列の性質より、（ｃｏｓθ）²＋（ｓｉｎθ）²＝１を使用して、回転と並進のパラメータを求める。

【0042】

このように、ラインセンサカメラであっても、計測座標ｕ、真値座標Ｘ、Ｙ、焦点距離ｆ、主点座標ｃが分かっていれば、線形解法で解を求めることができる。実際には、焦点距離ｆ、主点座標ｃは最初には分からないため、適当な値を入力することで、初期の外部パラメータを求める。そして、最終的に、この初期の外部パラメータを初期値として、式（７）をレーベンバーグマーカート法によって解くことで、最終的な内部及び外部パラメータを得ることができる。

【0043】

次に、上述した計算を行う本発明に係るラインセンサカメラのキャリブレーション装置及び方法について、図１及び図２を参照して以下に説明する。

【0044】

［実施例１］
本実施例の装置は、ラインセンサカメラ１０のキャリブレーション装置であり、図１に示すように、Ｌ字マーカ２０と、処理システム３０とを有し、処理システム３０は、記憶部３１、画像入力部３２、計測座標算出部３３、外部パラメータ算出部３４及び非線形最小二乗部３５を有している。

【0045】

ラインセンサカメラ１０は、ＣＣＤ（Charge-Coupled Device）などの撮像素子が一次元の線状に配置され、１次元の線状に撮像対象物の画像を撮像するものである。

【0046】

Ｌ字マーカ２０は、Ｌ字型の形状の立体マーカであり、その中央２１で９０°に折れ曲がり、折れ曲がった内側の面２２に白黒帯２３を有する剛体からなる。この白黒帯２３は、中央２１を中心に対称的に配置されると共に、内側の面２２の長手方向に沿って交互に白黒となるように配置されており、白黒帯２３の白黒の幅が既知、つまり、白黒帯２３による複数の検出点が２次元平面１１上における２次元平面座標で既知となっている。上述した非特許文献２の方法のように、平面マーカを用いる場合には焦点距離が不安定になるが、本実施例では、Ｌ字マーカ２０をキャリブレーションに用いており、焦点距離を正確に算出可能となる。

【0047】

なお、本実施例では、Ｌ字型の立体マーカを用いているが、複数の検出点に奥行きを持たせることができ、かつ、全ての検出点の２次元平面１１上のＸ、Ｙの真値座標のどちらかを必ず０とすることができれば、Ｌ字型の立体マーカに限らない。例えば、直方体や直角三角柱において、直角を挟む２辺の外面に図１に示したような白黒帯２３を設けても良い。

【0048】

処理システム３０において、記憶部３１では、後述するように、ラインセンサカメラ１０からの画像データ、各撮影でのＬ字マーカ２０の白黒帯２３の画像上の計測座標データ（計測座標ｕ）、レンズ初期値、Ｌ字マーカ２０の白黒帯２３の真値座標Ｘ、Ｙ、ラインセンサカメラ１０の内部パラメータ（焦点距離ｆ、主点座標ｃ、歪み係数ｋ₁〜ｋ₃）及び各撮影でのラインセンサカメラ１０の外部パラメータ（回転θ、並進ｔ₁、ｔ₂）を保管する。記憶部３１としては、ＲＡＭ（Random Access memory）、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）などの記憶装置が使用可能である。

【0049】

又、画像入力部３２では、ラインセンサカメラ１０で取得したＬ字マーカ２０の画像データが、ラインセンサカメラ１０から入力されて、入力された画像データを記憶部３１へ保管している。

【0050】

又、計測座標算出部３３では、ラインセンサカメラ１０で撮像した画像データからＬ字マーカ２０の白黒帯２３（検出点）を検出し、各撮影でのＬ字マーカ２０の白黒帯２３（検出点）の画像上の計測座標ｕ（１次元画像座標）を求め、計測座標データとして記憶部３１へ保管する。なお、Ｌ字マーカ２０の白黒帯２３（検出点）の画像上の座標については、２値化処理やエッジ検出といった画像処理を行うことにより検出している。

【0051】

又、外部パラメータ算出部３４では、計測座標算出部３３で算出した各撮影での計測座標ｕ、レンズ初期値、Ｌ字マーカ２０の白黒帯２３（検出点）の真値座標Ｘ、Ｙから、上述した式（１０）〜（１６）を用いて、各撮影でのラインセンサカメラ１０の外部パラメータを求め、記憶部３１へ保管している。

【0052】

又、非線形最小二乗部３５では、計測座標算出部３３で算出した各撮影での計測座標ｕ、レンズ初期値、Ｌ字マーカ２０の白黒帯２３（検出点）の真値座標Ｘ、Ｙ、外部パラメータ算出部３４で求めた各撮影でのラインセンサカメラ１０の外部パラメータを用い、最終的なラインセンサカメラ１０の内部パラメータ及び各撮影でのラインセンサカメラ１０の外部パラメータについて、上述した式（７）をレーベンバーグマーカート法により算出し、記憶部３１へ保管している。

【0053】

次に、図１と共に図２を参照して、本発明に係るラインセンサカメラのキャリブレーション方法を説明する。

【0054】

（ステップＳ１）
画像入力工程において、位置を固定したＬ字マーカ２０に対し、様々な位置、姿勢になるようにラインセンサカメラ１０を設置し、それぞれの位置、姿勢での画像を撮像し、記憶部３２へ保管する（画像入力部３２）。Ｌ字マーカ２０は、その位置を固定しているので、設置誤差は含まれないようになっている。

【0055】

（ステップＳ２）
計測座標算出工程において、撮影した画像毎に、Ｌ字マーカ２０の白黒帯２３（検出点）の検出処理を行い、Ｌ字マーカ２０の白黒帯２３（検出点）の画像上の計測座標ｕ（１次元画像座標）を算出し、計測座標データとして記憶部３２へ保管する（計測座標算出部３３）。

【0056】

（ステップＳ３）
外部パラメータ算出工程において、ラインセンサカメラ１０の初期の内部パラメータとなるレンズ初期値として、焦点距離ｆをメーカの公表値、主点座標ｃを総画素数の半分、歪み係数ｋ₁〜ｋ₃を全て０とし、撮影した画像毎に、上述した式（１０）〜（１６）を用い、線形解法により初期の外部パラメータを算出し、記憶部３２へ保管する（外部パラメータ算出部３４）。

【0057】

（ステップＳ４）
非線形最小二乗工程において、上述した初期の内部パラメータ及びステップＳ３で算出した初期の外部パラメータを初期値として、撮影した画像毎に、上述した式（７）を用い、レーベンバーグマーカート法で最終的な内部及び外部パラメータを算出し、記憶部３２へ保管する（非線形最小二乗部３５）。

【0058】

本実施例は、１台のラインセンサカメラ１０と１つのＬ字マーカ２０を用い、以上の手順により、ラインセンサカメラ１０の焦点距離ｆ、主点座標ｃ、歪み係数ｋ₁〜ｋ₃といった内部パラメータを求めると共に、撮影毎のＬ字マーカ２０の回転θ、平行移動ｔ₁、ｔ₂といった外部パラメータを求めることが可能となる。

【0059】

以上説明したように、本実施例では、ラインセンサカメラ１０の撮像範囲となる２次元平面１１上に写るＬ字マーカ２０を用い、立体マーカの２次元平面座標からラインセンサカメラの１次元画像座標へ変換する数式モデルを用いているので、ラインセンサカメラ１０に対応する適切なキャリブレーションを行うことができる。又、線形解法と共に、誤差関数を最小化する非線形解法を用いているので、歪み係数ｋ₁〜ｋ₃を含む内部パラメータと外部パラメータを同時に算出することができる。又、Ｌ字マーカ２０を用いて、検出点となる白黒帯２３に奥行きを持たせたので、焦点距離ｆを正確に算出することができる。又、Ｌ字マーカ２０の位置及び姿勢が各々異なる複数の画像を撮像するので、歪み係数ｋ₁〜ｋ₃を含む内部パラメータの算出することができる。

【産業上の利用可能性】

【0060】

本発明は、ラインセンサカメラに好適なものである。

【符号の説明】

【0061】

１０ ラインセンサカメラ
２０ Ｌ字マーカ
２３ 白黒帯
３０ 処理システム
３１ 記憶部
３２ 画像入力部
３３ 計測座標算出部
３４ 外部パラメータ算出部
３５ 非線形最小二乗部

【図1】

【図2】