特許 7527622 画像処理システム及び画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-26

(45)【発行日】2024-08-05

(54)【発明の名称】画像処理システム及び画像処理方法

(51)【国際特許分類】

   G01B 11/24 20060101AFI20240729BHJP

   G06T 7/70 20170101ALI20240729BHJP

【ＦＩ】

G01B11/24 K

G06T7/70 Z

【請求項の数】 2

(21)【出願番号】P 2020098134

(22)【出願日】2020-06-05

(65)【公開番号】P2021189153

(43)【公開日】2021-12-13

【審査請求日】2023-05-11

(73)【特許権者】

【識別番号】509162388

【氏名又は名称】エイチエスティ・ビジョン株式会社

(74)【代理人】

【識別番号】100111202

【弁理士】

【氏名又は名称】北村 周彦

(74)【代理人】

【識別番号】100187562

【弁理士】

【氏名又は名称】沼田 義成

(72)【発明者】

【氏名】長谷川 潤

(72)【発明者】

【氏名】佐々木 邦彦

(72)【発明者】

【氏名】堀井 文裕

【審査官】仲野 一秀

(56)【参考文献】

【文献】特表２０２３－５１１７３５（ＪＰ，Ａ）

【文献】特開２０２０－１９７４０７（ＪＰ，Ａ）

【文献】特開２００５－２２１２４３（ＪＰ，Ａ）

【文献】特開２０１７－３５２５（ＪＰ，Ａ）

【文献】特開２０１３－２０５０７６（ＪＰ，Ａ）

【文献】特開２０１０－２３０３１７（ＪＰ，Ａ）

【文献】特開２００８－１８７５６６（ＪＰ，Ａ）

【文献】特開２０１８－１９７６８５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｂ １１／００－１１／３０

Ｇ０１Ｃ １／００－１／１４

５／００－１５／１４

Ｇ０１Ｃ ３／００－３／３２

Ｇ０６Ｔ ７／００－７／９０

(57)【特許請求の範囲】

【請求項1】

白黒以外で色相の異なる二色のキャリブレーションパターンからなるパターン領域を有する載置部と、
前記パターン領域に対象物が載置された状態で、前記パターン領域を含む撮像画像を撮像する撮像装置と、
前記撮像装置で撮像された前記撮像画像に基づいて、色相成分画像と明度成分画像とを作成し、前記色相成分画像に基づいて前記撮像装置のキャリブレーション情報を取得し、前記キャリブレーション情報及び前記明度成分画像に基づいて前記対象物の形状情報を計測する画像処理部と、
を備えることを特徴とする画像処理システム。

【請求項2】

白黒以外で色相の異なる二色のキャリブレーションパターンからなるパターン領域を有する載置部に対して、前記パターン領域に対象物が載置された状態で、前記パターン領域を含む撮像画像を撮像装置によって撮像する撮像工程と、
前記撮像画像に基づいて、色相成分画像と明度成分画像とを作成し、前記色相成分画像に基づいて前記撮像装置のキャリブレーション情報を取得し、前記キャリブレーション情報及び前記明度成分画像に基づいて前記対象物の形状情報を計測する画像処理工程と、
を含むことを特徴とする画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像装置のキャリブレーションを行うと共に、撮像画像に基づいて対象物の形状情報を計測する画像処理システム及び画像処理方法に関する。

【背景技術】

【0002】

従来、マシンビジョン等の画像処理システムは、工業製品等の対象物をカメラで撮像し、その撮像画像を解析することで対象物の形状や寸法等の形状情報を計測する。この画像解析において、撮像画像の各画素（二次元座標）と、対象物の三次元の位置座標との対応付けは、対象物に対するカメラの相対的な姿勢や、カメラに固有の光学系（即ち、レンズや撮像素子）の配置に依存する。

【0003】

そこで、画像処理システムは、キャリブレーションパターンを測定ステージに配置してカメラで撮像し、そのキャリブレーション画像を画像解析することで、カメラの位置情報や光学系情報等のカメラパラメータを取得するカメラキャリブレーションを行う。なお、カメラは、測定ステージに対して位置決め固定されている。キャリブレーションパターンとして、例えば、予め寸法の分かっている格子模様のチェッカーパターンが適用される。

【0004】

画像解析では、キャリブレーション画像から検出されるキャリブレーションパターンの特徴点、例えば、チェッカーパターンの格子点と、キャリブレーション画像の画素（二次元座標）との対応関係を解析する。キャリブレーションパターンの実際の寸法は予め分かっているので、解析した対応関係に基づいて、計測対象の実際の三次元の位置座標と、撮像画像の二次元座標との組み合わせを複数取得することができ、カメラパラメータとして記憶される。

【0005】

このようなカメラパラメータは、カメラの特性やカメラと測定ステージとの位置関係に応じて一意に決定される。そのため、カメラが測定ステージに位置決め固定された画像処理システムでは、一度カメラキャリブレーションを実行してカメラパラメータを記憶しておけば、その後、対象物の計測を行う場合、カメラキャリブレーションを行うことなく、記憶したカメラパラメータを用いることができる。

【0006】

例えば、特許文献１に記載の画像認識装置は、第１カメラである左カメラ及び第２カメラである右カメラを備えたステレオカメラと、ステレオカメラのキャリブレーションを既知の距離に配置したキャリブレーションパターンの撮影に基づいて実行するキャリブレーション部と、キャリブレーション後における視差により、ステレオカメラからキャリブレーションパターンまでの距離を算出し、この算出された距離と既知の距離との比較に基づいて、基線長の値を変更する制御部と、を有する。

【先行技術文献】

【特許文献】

【0007】

【文献】特開２０１８－２００２６８号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

しかしながら、従来の画像処理システムは、測定ステージに位置決め固定されたカメラを用いていて、位置決めされたカメラに特有のカメラパラメータでカメラキャリブレーションを行うため、測定ステージに連結されていないハンディカメラ等を用いた簡易な方法で対象物を計測することができない。測定ステージに未連結のハンディカメラ等を用いて対象物を計測する場合には、対象物を撮像する毎に、カメラキャリブレーションを行う必要があるが、キャリブレーションパターンの撮影時と対象物の撮像時とで、カメラと測定ステージとの位置関係が変化する場合がある。そのため、正確なカメラキャリブレーションができないおそれがある。

【0009】

本発明は上記した課題を解決すべくなされたものであり、カメラの位置関係に拘わらず、対象物の計測毎に、正確なカメラキャリブレーションを行うことを目的とするものである。

【課題を解決するための手段】

【0010】

本発明の画像処理システムは、所定のキャリブレーションパターンからなるパターン領域と、均一の明度の一色からなる計測領域とを有する載置部と、前記計測領域に対象物が載置された状態で、前記パターン領域及び前記計測領域を含む撮像画像を撮像する撮像装置と、前記撮像装置で撮像された前記撮像画像に基づいて、前記パターン領域に対応するパターン画像と、前記対象物を含む前記計測領域に対応する計測画像とを認識し、前記パターン画像に基づいて前記撮像装置のキャリブレーション情報を取得し、前記キャリブレーション情報及び前記計測画像に基づいて前記対象物の形状情報を計測する画像処理部と、を備えることを特徴とする。

【0011】

あるいは、本発明の画像処理システムは、白黒以外で色相の異なる二色のキャリブレーションパターンからなるパターン領域を有する載置部と、前記パターン領域に対象物が載置された状態で、前記パターン領域を含む撮像画像を撮像する撮像装置と、前記撮像装置で撮像された前記撮像画像に基づいて、色相成分画像と明度成分画像とを作成し、前記色相成分画像に基づいて前記撮像装置のキャリブレーション情報を取得し、記キャリブレーション情報及び前記明度成分画像に基づいて前記対象物の形状情報を計測する画像処理部と、を備えることを特徴とする。

【0012】

また、本発明の画像処理方法は、所定のキャリブレーションパターンからなるパターン領域と、均一の明度の一色からなる計測領域とを有する載置部に対して、前記計測領域に対象物が載置された状態で、前記パターン領域及び前記計測領域を含む撮像画像を撮像する撮像工程と、前記撮像画像に基づいて、前記パターン領域に対応するパターン画像と、前記対象物を含む前記計測領域に対応する計測画像とを認識し、前記パターン画像に基づいて前記撮像装置のキャリブレーション情報を取得し、前記キャリブレーション情報及び前記計測画像に基づいて前記対象物の形状情報を計測する画像処理工程と、を含むことを特徴とする。

【0013】

あるいは、本発明の画像処理方法は、白黒以外で色相の異なる二色のキャリブレーションパターンからなるパターン領域を有する載置部に対して、前記パターン領域に対象物が載置された状態で、前記パターン領域を含む撮像画像を撮像する撮像工程と、前記撮像画像に基づいて、色相成分画像と明度成分画像とを作成し、前記色相成分画像に基づいて前記撮像装置のキャリブレーション情報を取得し、前記キャリブレーション情報及び前記明度成分画像に基づいて前記対象物の形状情報を計測する画像処理工程と、を含むことを特徴とする。

【発明の効果】

【0014】

本発明によれば、カメラの位置関係に拘わらず、対象物の計測毎に、正確なカメラキャリブレーションを行うことができる。

【図面の簡単な説明】

【0015】

【図1】本発明の第１及び第２実施形態に係る画像処理システムを示すブロック図である。

【図2】本発明の第１実施形態に係る画像処理システムの載置部の撮像画像を示す平面図である。

【図3】他の実施形態に係る画像処理システムの載置部の撮像画像を示す平面図である。

【図4】本発明の第２実施形態に係る画像処理システムの載置部の撮像画像を示す平面図である。

【図5】本発明の第２実施形態に係る画像処理システムの載置部の色相成分画像を示す平面図である。

【図6】本発明の第２実施形態に係る画像処理システムの載置部の明度成分画像を示す平面図である。

【発明を実施するための形態】

【0016】

以下、図面を参照しつつ、本発明の実施形態について説明する。図１に示すように、第１実施形態の画像処理システム１は、載置部１０と、撮像装置２０と、画像処理装置３０とを備えていて、工業製品等の対象物２の形状や寸法等の形状情報を計測するように構成される。

【0017】

載置部１０は、計測対象の工業製品等の対象物２が載置される測定ステージであり、図２に示すように、対象物２が載置される計測領域１１と、対象物２が載置されないパターン領域１２とを有する。載置部１０は、計測領域１１及びパターン領域１２を含む測定ステージそのもので構成されてもよいが、計測領域１１及びパターン領域１２を含むパターンボードを測定ステージに対して着脱可能に配置してもよい。なお、計測領域１１及びパターン領域１２を含むパターンボードは、対象物２の種類毎に用意されるとよい。

【0018】

計測領域１１は、対象物２を載置可能な形状及び寸法、即ち、対象物２よりも大きい形状及び寸法を有し、均一の明度の一色で形成される。例えば、図２に示す載置部１０の例では、計測領域１１の色は、明度の低い黒に設定されている。対象物２の明度が高い程、計測領域１１の明度は低く設定され、一方、対象物２の明度が低い程、計測領域１１の明度は高く設定されるとよい。

【0019】

パターン領域１２は、計測領域１１の近傍の領域に、所定のキャリブレーションパターンで形成される。例えば、図２に示す載置部１０の例では、パターン領域１２は、計測領域１１の周囲に配置され、白黒の格子模様のチェッカーパターンで形成されている。パターン領域１２のキャリブレーションパターンの各特徴点の配置や特徴点間の寸法等のパターン情報は、予め設計時に取得され、あるいは予め測定されて、画像処理装置３０の記憶部３２に予め記憶される。

【0020】

なお、載置部１０は、載置された対象物２を検知する載置センサー（図示せず）を備えてもよく、その検知結果を撮像装置２０や画像処理装置３０へ送信してもよい。

【0021】

撮像装置２０は、計測対象の工業製品等の対象物２の画像を撮像するもので、例えば、ＣＣＤ等の撮像素子２１と、撮像素子２１に取り付けられたレンズ２２とを備える。例えば、撮像装置２０は、載置部１０に対して位置決め固定されないハンディタイプや携帯タイプのデジタルカメラ又はビデオカメラで構成されたものでよく、若しくは対象物２の形状情報を計測する専用装置に搭載されたものでもよい。あるいは、撮像装置２０は、スマートフォン、タブレット端末又はパーソナルコンピュータ等の端末に搭載されたものでもよく、若しくはこれらの端末に接続されるカメラに搭載されたものでもよい。なお、撮像装置２０で構成されるカメラ、あるいは撮像装置２０を搭載する端末又は装置は、撮像画像等を表示する表示部（図示せず）や、撮像等を操作するための操作部（表示せず）を備えていてよい。

【0022】

撮像装置２０は、対象物２が載置部１０の計測領域１１に載置された状態で、計測領域１１及びパターン領域１２を画角（撮影範囲）に含んだ撮像を行い、対象物２が載置された計測領域１１とパターン領域１２とを写した撮像画像をデジタルデータで取得する。撮像装置２０は、画像処理装置３０に無線又は有線で通信可能に接続され、撮像画像を画像処理装置３０へ送信する。

【0023】

また、画像処理システム１は、撮像装置２０による撮像時に対象物２に対して照明する照明装置（図示せず）を載置部１０又は撮像装置２０に備えていてよい。

【0024】

画像処理装置３０は、計測対象の工業製品等の対象物２の形状や寸法等の形状情報を計測するものである。画像処理装置３０は、例えば、ＣＰＵ等からなる制御部３１と、ＲＯＭやＲＡＭ等からなる記憶部３２とを備える。記憶部３２は、上記したように、載置部１０のパターン領域１２のキャリブレーションパターンの各特徴点の配置や特徴点間の寸法等のパターン情報を予め記憶する。また、記憶部３２は、載置部１０の計測領域１１の色情報（即ち、均一の明度の一色）も予め記憶する。なお、画像処理装置３０は、撮像画像等を表示する表示部（図示せず）や、画像処理等を操作するための操作部（表示せず）を備えていてよい。

【0025】

例えば、画像処理装置３０は、スマートフォン、タブレット又はパーソナルコンピュータ等の端末で構成されたものでよく、若しくは対象物２の形状情報を計測する専用装置で構成されたものでもよい。画像処理装置３０は、撮像装置２０と無線又は有線で通信可能に接続され、撮像装置２０から撮像画像を受信する。例えば、画像処理装置３０は、赤外線やＢｌｕｅｔｏｏｔｈ（登録商標）等の近距離無線で撮像装置２０と接続されてよく、その場合、撮像装置２０に対して近距離無線の通信範囲内に配置されるとよい。また、画像処理装置３０は、インターネットやＬＡＮを介して遠距離通信で撮像装置２０と接続されてもよく、その場合、ユーザーが手元で操作する撮像装置２０に対して、画像処理装置３０は、ユーザーや撮像装置２０から離間して配置されてもよい。

【0026】

あるいは、画像処理装置３０は、撮像装置２０で構成されるカメラ、あるいは撮像装置２０を搭載する端末又は装置と一体的に構成されてもよく、その場合、画像処理装置３０は、撮像装置２０と有線で接続されてよい。

【0027】

記憶部３２は、画像処理装置３０の各種機能を制御するためのプログラムやデータを記憶し、制御部３１が、記憶部３２に記憶されたプログラムやデータに基づいて演算処理を実行することにより、各種機能を制御する。制御部３１は、記憶部３２に記憶されたプログラムを実行することにより、対象物２の形状情報を計測する画像処理部３３として動作する。なお、画像処理部３３は、記憶部３２に記憶されるプログラムで構成されてよく、汎用のコンピュータの画像処理装置３０にインストールされるアプリケーションで構成されてもよい。

【0028】

画像処理装置３０は、撮像装置２０が送信した撮像画像を自動的に受信してもよく、あるいは、ユーザーによる操作部の操作に応じて撮像装置２０にアクセスして撮像装置２０から撮像画像を受信してもよい。画像処理装置３０は、受信した撮像画像を記憶部３２に記憶する。

【0029】

画像処理部３３は、撮像装置２０から撮像画像を受信したときに自動的に作動してもよく、あるいは、ユーザーによる操作部の操作に応じて作動してもよい。

【0030】

画像処理部３３は、先ず、撮像画像に対して、シャープ化や二値化等の所定の画像処理を施して、対象物２や、計測領域１１、パターン領域１２の認識に適した画像となるように加工してよい。また、画像処理部３３は、一つの撮像画像に基づいて、対象物２と共に計測領域１１を撮像した計測画像と、パターン領域１２を撮像したパターン画像とを抽出する。

【0031】

例えば、画像処理部３３は、撮像画像の特徴点を検出し、撮像画像の各特徴点の中から、パターン領域１２のパターン情報に対応する特徴点を検出する。そして、画像処理部３３は、パターン領域１２に対応する特徴点を含む部分的な画像を、パターン領域１２に対応するパターン画像として認識し、パターン画像以外の画像を計測領域１１に対応する計測画像として認識する。

【0032】

若しくは、画像処理部３３は、撮像画像の各画素の色情報から、計測領域１１の色情報に対応する画素を検出し、また、計測領域１１の色情報に対応する画素が連続する画素集合を検出する。そして、画像処理部３３は、この画素集合と共に囲われる画像を、計測領域１１に対応する計測画像として認識し、以外の画像をパターン領域１２に対応するパターン画像として認識する。

【0033】

なお、画像処理部３３は、パターン領域１２のパターン情報に基づいて、キャリブレーションパターンの格子の大きさを認識し、計測領域１１の色情報に対応する画素の集合が格子の大きさ以下であれば、画素集合から除外する。

【0034】

次に、画像処理部３３は、上記のように撮像画像から認識したパターン領域１２に基づいて、この撮像画像の撮像時の撮像装置２０のキャリブレーション情報として、カメラの位置情報や光学系情報等のカメラパラメータを取得する。

【0035】

また、画像処理部３３は、上記のようにパターン画像から取得したキャリブレーション情報に基づいて撮像装置２０のカメラキャリブレーションを行って、上記のように撮像画像から認識した計測画像を補正すると共に、補正した計測画像に基づいて対象物２の形状情報を計測する。このとき、画像処理部３３は、計測画像に含まれる特徴点に基づいて対象物２のエッジを検出して、対象物２の輪郭形状を解析し、対象物２の位置情報を取得して記憶部３２に記憶する。

【0036】

上記したように、第１実施形態に係る画像処理システム１は、載置部１０と、撮像装置２０と、画像処理装置３０の画像処理部３３とを備える。載置部１０は、所定のキャリブレーションパターンからなるパターン領域１２と、均一の明度の一色からなる計測領域１１とを有する。撮像装置２０は、計測領域１１に対象物２が載置された状態で、パターン領域１２及び計測領域１１を含む撮像画像を撮像する。画像処理部３３は、撮像装置２０で撮像された撮像画像に基づいて、パターン領域１２に対応するパターン画像と、対象物２を含む計測領域１１に対応する計測画像とを認識し、パターン画像に基づいて撮像装置２０のキャリブレーション情報を取得し、キャリブレーション情報及び計測画像に基づいて対象物２の形状情報を計測する。

【0037】

このような構成によれば、第１実施形態の画像処理システム１では、一つの撮像画像に基づいて、キャリブレーションパターンの認識と、対象物２の計測を行うことができる。そのため、対象物２に対する撮像装置２０の位置関係に拘わらず、対象物２の計測毎に、正確なカメラキャリブレーションを行うことができ、対象物２の位置情報を精度よく取得することができる。

【0038】

ところで、第１実施形態と異なる他の画像処理システムには、図３に示すように、対象物２を計測領域１１ではなくキャリブレーションパターン上に載置した状態で、対象物２をキャリブレーションパターンと共に撮像するものがある。このような他の画像処理システムでも、一つの撮像画像に基づいて、キャリブレーションパターンの認識と、対象物２の計測を行うことができる。そして、他の画像処理システムは、キャリブレーションパターンに対応する特徴点を撮像画像から検出することで、撮像画像内のキャリブレーションパターンを認識することができ、認識したキャリブレーションパターンに基づくカメラキャリブレーションで撮像画像を補正することができる。

【0039】

上記のような他の画像処理システムでも、撮像画像に含まれる特徴点に基づいて対象物２のエッジを検出して、対象物２の輪郭形状を解析する。しかし、対象物２の背景はキャリブレーションパターンであり、明度の高い背景と、明度の低い背景とが混在する。

【0040】

例えば、明度の高い対象物２は、明度の低い背景に対して、コントラストが高く、明瞭な輪郭線を取得することができるが、明度の高い背景に対して、コントラストが低く、明瞭な輪郭線を取得することができない。同様に、明度の低い対象物２は、明度の高い背景に対して、コントラストが高く、明瞭な輪郭線を取得することができるが、明度の低い背景に対して、コントラストが低く、明瞭な輪郭線を取得することができない。

【0041】

そのため、上記のような他の画像処理システムは、対象物２の輪郭形状に沿ったコントラストが一定にならず、背景が干渉してしまい、対象物２の全体に亘って明瞭な輪郭線を取得することができず、対象物２の位置情報を精度よく取得することができなくなる。

【0042】

これに対して、第１実施形態の画像処理システム１では、画像処理部３３が計測画像の特徴点に基づいて対象物２のエッジを検出して対象物２の輪郭形状を解析するとき、対象物２の背景が、均一の明度の一色からなる計測領域１１であるため、エッジ部分のコントラストを高くすることができる。そのため、画像処理部３３は、撮像画像に基づいて、対象物２の全体に亘って明瞭な輪郭線を取得することができ、対象物２の位置情報を精度よく取得することができる。

【0043】

なお、上記した第１実施形態では、画像処理システム１が、キャリブレーションパターンからなるパターン領域１２と、均一の明度の一色からなる計測領域１１とを有する載置部１０を適用する例を説明したが、本発明は、この例に限定されない。例えば、第２実施形態の載置部１０は、図２に示すように、白黒以外で色相の異なる二色のキャリブレーションパターンからなるパターン領域１３を有する。なお、第２実施形態の画像処理システム１も、第１実施形態と同様に、載置部１０、撮像装置２０及び画像処理装置３０を備える。第２実施形態では、対象物２が無彩色（白黒）で形成されている。

【0044】

載置部１０は、パターン領域１３を含む測定ステージそのもので構成されてもよいが、パターン領域１３を含むパターンボードを測定ステージに対して着脱可能に配置してもよい。なお、パターン領域１３を含むパターンボードは、対象物２の種類毎に用意されるとよい。

【0045】

パターン領域１３は、載置部１０の上面全体に亘って形成される。例えば、図４に示す載置部１０の例では、パターン領域１３は、第１色Ｃ１（例えば、青）と、第２色Ｃ２（例えば、紫）との格子模様のチェッカーパターンで形成されている。パターン領域１３のキャリブレーションパターンの各特徴点の配置や特徴点間の寸法、第１色Ｃ１や第２色Ｃ２の色情報等のパターン情報は、予め設計時に取得され、あるいは予め測定されて、画像処理装置３０の記憶部３２に予め記憶される。第１色Ｃ１及び第２色Ｃ２は、明度成分が近く、色相が大きく異なり、彩度が高い二色に設定される。

【0046】

また、第２実施形態において、撮像装置２０は、対象物２が載置部１０のパターン領域１３に載置された状態で、パターン領域１３を画角（撮影範囲）に含んだ撮像を行い、対象物２が載置されたパターン領域１３を写した撮像画像をデジタルデータで取得する。

【0047】

更に、第２実施形態において、画像処理装置３０の画像処理部３３は、一つの撮像画像に基づいて、色相成分画像１４（図５参照）と明度成分画像１５（図６参照）とを作成する。画像処理部３３は、色相成分画像１４に基づいて撮像装置２０のキャリブレーション情報を取得し、キャリブレーション情報及び明度成分画像１５に基づいて対象物２の形状情報を計測する。

【0048】

色相成分画像１４及び明度成分画像１５の作成例について説明する。撮像画像の各画素は、第１色Ｃ１又は第２色Ｃ２で構成され、第１色Ｃ１及び第２色Ｃ２の色ベクトルは、以下の数式（１）及び数式（２）のようになる。

【0049】

【数1】

【0050】

【数2】

【0051】

画像処理部３３は、各画素のＲＧＢの値を所定の変換行列で線形変換する。例えば、第１色Ｃ１及び第２色Ｃ２に基づいて、変換行列として、互いに直交するＵベクトル、Ｖベクトル及びＷベクトルを以下の数式（３）で算出する。

【0052】

【数3】

【0053】

これにより、Ｕベクトル、Ｖベクトル及びＷベクトルの単位ベクトルが以下の数式（４）のように算出される。

【0054】

【数4】

【0055】

そして、以下の数式（５）のように、Ｕベクトル、Ｖベクトル及びＷベクトルの単位ベクトルからなる変換行列によって、各画素（ｒ，ｇ，ｂ）を線形変換し、Ｃ′ベクトル（ｘ，ｙ，ｚ）を算出する。

【0056】

【数5】

【0057】

上記ように線形変換された各画素のｙ成分によって、図５に示すような色相成分画像１４が作成される。色相成分画像１４は、キャリブレーションパターンを構成する二色の色差を最も分離するように変換されているため、キャリブレーションパターンの輪郭線を明瞭に描出することができる。従って、色相成分画像１４からキャリブレーションパターンの特徴点座標、例えば、チェッカーパターンの格子点座標を安定して検出することができる。そのため、元の撮像画像の撮像時の撮像装置２０のキャリブレーション情報として、カメラの位置情報や光学系情報等のカメラパラメータを精度よく取得することができ、精度の高いカメラキャリブレーションを行うことができる。

【0058】

また、元の撮像画像において無彩色に近いＲＧＢ座標、即ち、彩度が所定閾値以下となる画素は、キャリブレーションパターンでないと判定して、キャリブレーションパターンの特徴点から除外し、キャリブレーション情報の算出条件の対象外とすることが容易となる。第２実施形態では、対象物２が無彩色（白黒）で形成されるため、元の撮像画像において対象物２に対応する画素は、キャリブレーションの対象外となる。なお、元の撮像画像の各画素の彩度Ｓは、以下の数式（６）で算出される。

【0059】

【数6】

【0060】

彩度の所定閾値は、対象物２の色やキャリブレーションパターンの二色に基づいて、確実に切り分けできるような値に設定されるとよい。例えば、彩度の所定閾値は、対象物２の最大彩度より大きく、キャリブレーションパターンの二色の最小彩度の半分程度に設定されてよい。

【0061】

また、上記ように線形変換された各画素のｘ成分によって、図６に示すような明度成分画像１５が作成される。明度成分画像１５は、明度に対応しながら、キャリブレーションパターンを構成する二色の画素が同じ値、即ち、同じ色になるように変換されている。例えば、キャリブレーションパターンを構成していた二色の画素は、濃度として同じ色合いになるように色座標を変換して、キャリブレーションパターンの特徴点のないグレー階調にされている。なお、明度成分画像１５は、対象物２の明度が高ければ、キャリブレーションパターンを明度の低いグレーに変換し、一方、対象物２の明度が低ければ、キャリブレーションパターンを明度の高いグレーに変換するとよい。

【0062】

そのため、明度成分画像１５は、元の撮像画像の対象物２に対応する画素を残すと共に、対象物２以外のキャリブレーションパターン、即ち、対象物２の背景の画素は均一の値（色）となり、対象物２がフラットな背景色に対して載置された状態になっている。従って、明度成分画像１５では、対象物２の輪郭形状に沿ったコントラストが一定になり、エッジ部分のコントラストを高くすることができるので、背景が干渉することなく、対象物２の全体に亘って明瞭な輪郭線を取得することができ、対象物２の位置情報を精度よく取得することができる。

【0063】

上記したように、第２実施形態に係る画像処理システム１において、載置部１０は、白黒以外で色相の異なる二色のキャリブレーションパターンからなるパターン領域１３を有する。撮像装置２０は、パターン領域１３に対象物２が載置された状態で、パターン領域１３を含む撮像画像を撮像する。画像処理部３３は、撮像装置２０で撮像された撮像画像に基づいて、色相成分画像１４と明度成分画像１５とを作成し、色相成分画像１４に基づいて撮像装置２０のキャリブレーション情報を取得し、キャリブレーション情報及び明度成分画像１５に基づいて対象物２の形状情報を計測する。

【0064】

このような構成によれば、第２実施形態の画像処理システム１では、二色のキャリブレーションパターンからなるパターン領域１３を用いた簡易な手法で、一つの撮像画像に基づいて、キャリブレーションパターンの認識と、対象物２の計測を行うことができる。そして、対象物２に対する撮像装置２０の位置関係に拘わらず、正確なカメラキャリブレーションを行うことができ、対象物２の位置情報を精度よく取得することができる。また、キャリブレーションパターン上に載置された対象物２を撮像しても、色相成分画像１４からキャリブレーション情報を精度よく取得することができ、明度成分画像１５から対象物２の形状情報を精度よく計測することができる。

【0065】

なお、本発明は、上記した構成の画像処理システム１に限定されず、第１実施形態の均一の明度の一色の計測領域１１及びパターン領域１２を有する載置部１０、あるいは第２実施形態の白黒以外で色相の異なる二色のキャリブレーションパターンのパターン領域１３を有する載置部１０を適用できれば、他の構成の画像処理システムを採用してもよい。

【0066】

更に、本発明は、上記した画像処理システム１の撮像装置２０の撮像工程や画像処理部３３の画像処理工程を有して対象物２の形状情報を計測する画像処理方法として利用することができる。

【0067】

また、本発明は、請求の範囲及び明細書全体から読み取ることのできる発明の要旨又は思想に反しない範囲で適宜変更可能であり、そのような変更を伴う画像処理システム及び画像処理装置もまた本発明の技術思想に含まれる。

【符号の説明】

【0068】

１ 画像処理システム
１０ 載置装置
１１ 計測領域
１２、１３ パターン領域
２０ 撮像装置
３０ 画像処理装置
３１ 制御部
３２ 記憶部
３３ 画像処理部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】