(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0012】
[第1の実施の形態]
次に、本発明の第1の実施の形態について図面を参照して詳細に説明する。
【0013】
まず、
図1を参照して、本実施の形態に係る画像測定装置の概略的な構成について説明する。
【0014】
図1に示す通り、本実施の形態に係る画像測定装置は、互いに直交するX,Y,Z軸を備えると共に、このZ軸の先端にワーク3を撮像する撮像装置としてカメラ141が搭載された画像測定機1と、この画像測定機1と接続されたコンピュータ(以下、「PC」と呼ぶ。)2とを備えている。
【0015】
画像測定機1は、次のように構成されている。即ち、試料移動手段11の上には、試料台12がその上面をベース面として水平面と一致するように載置され、試料移動手段11の両側端から立設されたアーム支持体13a,13bの上端でX軸ガイド13cを支持している。試料台12は、試料移動手段11によってY軸方向に駆動される。X軸ガイド13cには、撮像ユニット14がX軸方向に駆動可能に支持されている。撮像ユニット14の下端には、カメラ141がZ軸方向に駆動可能に装着されている。
【0016】
尚、本実施の形態においては試料台12上に配置されたワーク3を撮像する形式をとっているが、当然他の形式でも良く、例えば床に設置されたワークを横方向から撮像する様な形式でも良い。又、カメラ141としてはCCD、CMOS等種々のカメラを使用可能である。
【0017】
PC2は、演算装置22と、この演算装置22に接続された表示装置21及び入力装置23を備えている。演算装置22は、内部にCPUやハードディスク等の記憶装置を備えている。表示装置21は、例えば、ディスプレイやプロジェクタ等である。入力装置23は、測定者の操作を入力する操作入力装置であり、例えばマウスやキーボード、タッチパネル等である。
【0018】
次に、
図2を参照して、表示装置21の画面上に表示される映像について説明する。
【0019】
図2に示す通り、表示装置21の画面上には、カメラ141によって取得されたワーク3の画像(以下、図中、画像(3)と表記する。)が表示されている。
図2に示す例において、ワーク3は、測定対象31を含んでいる。また、表示装置21の画面上には、入力装置(マウス等)23によって操作されるポインタが表示されている。
【0020】
次に、
図3を参照して、本施の形態に係る演算装置22の構成について、更に詳しく説明する。
【0021】
図3に示す通り、本実施の形態に係る画像測定装置においては、カメラ141がワーク3を撮像し、ワーク3の画像を取得する。また、この画像は、演算装置22を介して、表示装置21に転送される。また、演算装置22は、入力装置23の入力を介して測定者の操作を受け付け、これに応じてワーク3の測定(例えば、寸法測定や形状測定等)を行う。例えば、画像を解析することによって画像中から測定対象となる部分を抽出し、この測定対象について寸法測定や形状測定等を行い、重心等の位置に関する値や、輪郭線、幅等の形状に関する値を算出する。
【0022】
尚、測定対象となる部分の抽出は、種々の態様によって行うことが可能であるが、第1の実施の形態においては、いわゆる動的輪郭モデルの手法を取り入れた方法によって行っている。即ち、測定対象31を囲う様に複数の第1の点を含む第1の点群を設定し(
図6参照)、これら複数の第1の点を測定対象31の輪郭線に近付くように移動させて複数の第2の点(第2の点群)を取得している(
図7、
図8参照)。
【0023】
図3に示す通り、演算装置22は、CPU、メモリ及びハードディスク(記憶装置24)等に格納されたプログラムによって、下記の機能を実現する。即ち、入力処理部221は、入力装置23からの入力を介して測定者の操作を受け付け、これに応じて、表示装置21に表示されるポインタ(
図2参照)の位置の算出等を行う。初期設定部222は、ワーク3の測定に必要な初期設定を行う。例えば、
図6に示す通り、複数の第1の点を含む第1の点群を設定する。輪郭抽出部223は、測定対象31の輪郭線を抽出する。例えば、
図7に示す通り、複数の第1の点が、測定対象31の輪郭線に近付くように、複数の第1の点を順次移動させ、移動後の複数の第1の点を複数の第2の点として取得する。測定結果取得部224は、輪郭抽出部223において取得された複数の第2の点(第2の点群)に基づいて、測定結果を取得する。
【0024】
次に、
図4〜
図9を参照して、本実施の形態に係る画像測定装置の動作について説明する。
【0025】
図4及び
図5に示す通り、ステップS101においては、カメラ141によって取得された画像に対して、画像処理を行う。画像処理は、種々の態様において行うことが可能であるが、例えば、2値化等の方法によって画像中のコントラストを強調する事が可能である。また、例えば、画像処理においては、各種フィルタリング等を行い、画像中のノイズを低減させることも可能である。尚、画像処理は、省略する事も可能である。
【0026】
図4及び
図6に示す通り、ステップS102においては、ワーク3の測定に必要な初期設定を行う。例えば、
図6に示す通り、入力操作に応じて、カメラ141によって取得された画像に、領域R1を設定する。
図6に示す例においては、領域R1を、測定対象31を囲う様に設定する。また、この領域R1の輪郭線に沿って、複数の第1の点を含む第1の点群を設定する。
【0027】
領域R1は、種々の方法によって設定する事が可能である。
図6に示す例においては、領域R1を、測定対象31を囲う様に設定している。例えば、
図6に示す通り、測定対象31の中心付近にあるポイントp1をクリックする事によって領域R1の中心位置を指定し、その後、ポインタの動きに追従して領域R1の外縁を動的に変化させ、ポイントp2においてクリック等の操作を行うことにより、領域R1の外縁を指定する事が出来る。また、例えばポインタの軌跡が領域R1の外縁となる様にして、測定対象31を囲うことによって領域R1を指定する事も出来る。また、一定の大きさ及び形状を有するツールによって領域R1を指定する事も出来る。また、領域R1の形状は、円、楕円、正方形、長方形又はその他の多角形等、どの様な形状でも良い。
【0028】
第1の点群は、種々の方法によって設定する事が可能である。例えば、領域R1が設定された後で、領域R1の輪郭線の長さに応じて、第1の点群の点数を調整する事が出来る。また、予め第1の点群の点数を決定する事も出来る。また、第1の点群は、輪郭R1に沿って等間隔に並べる事も出来るし、等間隔にしない事も出来る。
【0029】
また、例えば、ティーチングを利用して自動測定を行う場合等には、ティーチングの段階で、例えば上述したような条件に沿って領域R1及び第1の点群を設定し、自動測定の段階では、これと同様の条件で領域R1及び第1の点群を設定する事も可能である。
【0030】
図4、
図7及び
図8に示す通り、ステップS103においては、ステップS102において設定した複数の第1の点を、順次移動させる。第1の点群は、カメラ141によって取得された画像中の輪郭線(例えば、測定対象31の輪郭線)に近付くように移動させる。また、
図8に示す通り、ステップS103においては、移動後の複数の第1の点を、複数の第2の点(第2の点群)として取得する。
【0031】
複数の第1の点は、種々の方法によって移動させることが可能である。例えば、領域R1の輪郭線の長さ(第1の点同士の間隔)、滑らかさや、第1の点と測定対象31との距離等を勘案した評価関数を設定し、この評価関数が最適値に近付く様に、複数の第1の点を徐々に移動させることが可能である。例えば、このような評価関数は、第1の点同士の間隔が短くなり、領域R1の輪郭線が滑らかになる程最適値に近付ける事が出来る。これにより、
図7に示す通り、複数の第1の点が領域R1の内部に向かって徐々に移動する。また、上記評価関数は、例えば、画像中における濃度の傾きを示す項であって、色(濃度、階調)の変化(傾き)が大きい場合に上記評価関数を最適値に近付ける様なものを含める事が出来る。これにより、
図8に示す通り、第1の点が測定対象31の輪郭に到達したタイミングで、第1の点の移動を停止させ、第1の点を測定対象31の輪郭線上に移動させる事が出来る。
【0032】
図4及び
図9に示す通り、ステップS104においては、ステップS103において取得された複数の第2の点に基づいて、測定の結果を取得する。ステップS104においては、測定対象の重心や輪郭線、幅等、種々の値を算出することが可能である。
【0033】
測定対象の重心は、種々の方法によって算出する事が可能である。例えば、測定対象の重心は、複数の第2の点の重心を算出することによって算出する事が出来る。この場合には、例えば、ステップS103において、第2の点同士の間隔が測定対象31の輪郭線に沿って等間隔に並べる事が出来る。また、例えば、測定対象の重心は、複数の第2の点によって規定される領域R1の重心を算出することによって算出する事も出来る。また、例えば、測定対象の重心を算出する前に、予め測定対象の輪郭線を算出しておき、この輪郭線に基づいて重心を算出する事も出来る。また、第2の点群に円形や多角形等の形状をフィッティングさせ、その結果に基づいて重心を算出する事も出来る。
【0034】
測定対象の輪郭線は、種々の方法によって算出する事が可能である。例えば、複数の第2の点を通る直線又は曲線を測定対象の輪郭線とする事も出来る。また、このようにして取得した輪郭線に基づいて、測定対象の幅等を算出する事も出来る。
【0035】
また、ステップS104においては、重心や輪郭線等の測定結果を算出する前に、複数の第2の点の一部を間引きする事も出来る。間引きに際しては、例えば、複数の第2の点のうち、測定対象との距離が一定以上であるものを排除したり、最小二乗法等を用いた異常点除去処理等を用いたりする事が考えられる。
【0036】
ここで、従来の画像測定装置においては、カメラによって取得された画像に対して、エッジ検出、パターン認識、ラベリング等の処理を行い、これによって画像中から測定対象となる部分を抽出し、寸法測定や形状測定を行う場合があった。
【0037】
例えば、
図10に示す通り、エッジ検出によって寸法測定や形状測定を行う場合、一定の形状を有するエッジ検出用のツールtを使用する事があった。
図10に例示するエッジ検出用のツールtは4つのボックスbを含んでおり、各ボックスbは想定される測定対象31の輪郭に沿って延びる長方形の形状を有している。また、各ボックスbには、その短手方向に延びる線分lが、その長手方向に沿って複数設けられている。エッジ検出においては、
図10に示す通り、各ボックスbが測定対象31の輪郭に重畳され、ボックスb内の線分lに沿って色(濃度、階調)の変化(傾き)の最も大きい画素がエッジ点e1として取得されていた。また、これら複数のエッジ点e1を通る直線又は曲線が測定対象31の輪郭線とされていた。更に、このようにして取得された輪郭線に基づいて、測定対象31の重心が算出されていた。
【0038】
このような態様においては、ツールtにおけるボックスbの位置関係が固定されている。従って、例えば
図11に示す通り、測定対象31の大きさが想定していた大きさと異なっていた場合や、
図12に示す通り、ツールtの位置が測定対象31からずれてしまった場合等に、各ボックスbを測定対象31の輪郭に重畳させる事が出来ず、画像中から測定対象となる部分を適切に抽出する事が出来ない場合があった。
【0039】
また、例えば、パターン認識によって寸法測定や形状測定を行う場合、予めサンプルとなる画像を用意しておき、この画像を元に画像中から測定対象31を検索することによって測定対象31の重心が算出されていた。このような態様においては、例えば
図13に示す通り、測定対象31が傾いている場合や、
図14に示す通り、画像の階調が異なる場合等に、画像中から測定対象31を検索することが出来ず、測定対象となる部分を適切に抽出する事が出来ない場合があった。
【0040】
また、例えば、ラベリングによって寸法測定や形状測定を行う場合、カメラ141によって取得された画像を二値化し、同色の画素が上下方向や左右方向に連続する部分を、それぞれ同一の領域としていた。また、これら領域にそれぞれ異なる番号を割り振り、これら領域毎に重心の位置や輪郭線等を算出していた。
【0041】
このような態様においては、例えば、
図15に示す通り、測定対象31に異なるパターン32が重畳されていた場合等に、画像中から測定対象となる部分を適切に抽出する事が出来ない場合があった。即ち、
図15に示す通り、測定対象31に異なるパターン32が重畳されていると、画像を二値化した時点で、
図16に示す通り、測定対象31が複数の部分に分断され、これら複数の部分に異なる番号が割り振られてしまう場合があった。例えば、このような場合に重心の位置を算出しようとすると、
図16に示す通り、分断された領域のうちの一つについての重心の位置が算出されてしまい、測定対象31の重心位置を好適に算出できない場合があった。尚、
図16には、番号“8”が割り振られた領域についての重心が算出されてしまった場合を例示している。
【0042】
このような場合に対し、第1の実施の形態においては、測定対象31を囲う様に複数の第1の点を設定し(
図6参照)、これら複数の第1の点を測定対象31の輪郭線に近付くように移動させて複数の第2の点を取得し(
図7、
図8参照)、これら複数の第2の点に基づいて寸法測定や形状測定等の測定を行っている(
図9参照)。従って、複数の第1の点によって囲うことが出来れば、測定対象31の大きさが異なる場合(
図11参照)、測定対象31が傾いている場合(
図13参照)、画像の階調が異なる場合(
図14参照)等にも、画像中から測定対象となる部分を適切に抽出し、寸法測定や形状測定等の測定を行うことが可能である。また、測定対象31を複数の第1の点によって囲う場合、測定対象31の輪郭に上記ボックスbを重畳させる場合よりも、大まかな位置合わせによって測定を行うことが可能であるため、
図12に示した様なツールtを用いる場合よりも、上述したような位置ずれの問題を生じにくい。また、例えば、
図16を参照して説明した通り、二値化によって測定対象31が複数の部分に分断されてしまった場合であっても、
図17に示す通り、これら複数の部分を複数の第1の点によって囲うことにより、画像中から測定対象となる部分を適切に抽出し、測定を行うことが可能である。
【0043】
また、例えば、
図16を参照して説明した通り、測定対象31が複数の部分に分断されてしまった場合等には、複数の第2の点の一部を間引きすることによって、より高精度な測定を行うことが可能である。例えば、
図18に示す例においては、測定対象31との距離が一定以上である複数の非選択点1が排除されている。また、
図18に示す例においては、最小二乗法等を用いた異常点除去処理によって、非選択点2が排除されている。これにより、複数の第2の点のうちの選択点に基づいて測定対象31の輪郭線を検出する事が可能である。また、
図19に示す通り、これら選択点に円形や多角形等の形状をフィッティングさせることにより、測定対象31の重心を検出する事が可能である。
【0044】
[第2の実施の形態]
次に、
図20を参照し、本発明の第2の実施の形態に係る画像測定装置について説明する。尚、以下の説明において、第1の実施の形態と同様の部分については同一の符号を付し、説明を省略する。
【0045】
本実施の形態に係る画像測定装置は、基本的には第1の実施の形態と同様に構成されているが、次の点において第1の実施の形態と異なっている。即ち、本実施の形態においては、ステップS104において第2の点群に基づいて測定対象の重心や輪郭線等を算出した後、更にエッジ検出を行う。エッジ検出は、種々の態様において行う事が可能であるが、
図20に示す例においては、算出された重心や輪郭線に基づいて、測定対象31にエッジ検出ツールtを設定し、このエッジ検出ツールtを用いて測定を行っている。
【0046】
エッジ検出ツールtは、種々の方法によって設定する事が可能である。例えば、第2の点群に基づいて算出した輪郭線から、エッジ検出ツールtの形状を選択する事が出来る。例えば、エッジ検出ツールtとしては、
図20に示す様な正方形状のものの他に、円状のもの等、他の形状を有するエッジ検出ツールを使用する事も可能である。また、例えば、第2の点群に基づいて算出した輪郭線から、エッジ検出ツールtにおけるボックスb同士の距離や、ボックスbの大きさ、角度等を調整する事も出来る。
【0047】
エッジ検出ツールtを用いた測定は、種々の態様において行う事が可能であるが、
図20に示す通り、各ボックスbに、その短手方向に延びる線分lを、その長手方向に沿って複数設定し、これら複数の線分lに沿って色(濃度、階調)の変化(傾き)の最も大きい画素をエッジ点e1として取得し、これを測定対象31の輪郭線とする事が出来る。また、このようにして取得した輪郭線に基づいて、測定対象31の重心を算出する事も出来る。
【0048】
尚、エッジ検出は、例えば
図20に示す様なエッジ検出ツールtを使用せずに、エッジトレースによって行う事も可能である。このような場合には、例えば、第2の点群に基づいて算出した輪郭線上に、この輪郭線と交差する方向に延びる線分を、輪郭線に沿って複数設定し、これら複数の線分に沿ってエッジ点を取得し、これを測定対象31の輪郭線とする事も出来る。
【0049】
本実施の形態においては、第1の実施の形態と同様にステップS104において測定対象の重心や輪郭線等を算出している。従って、第1の実施の形態と同様に、測定対象となる部分を画像中から適切に抽出する事が出来る。また、本実施の形態においては、この抽出された測定箇所にエッジ検出を行っているため、更に好適に測定を行う事が可能となる。
【0050】
例えば、本実施の形態においては、第2の点群に基づいて輪郭線が算出された後、更に細かい間隔でエッジ点群を取得する事が可能であるため、測定対象31の輪郭線をより詳細に測定する事が可能である。また、例えば、大きさの異なる複数の測定対象を測定する場合、測定対象の大きさに応じて第2の点同士の間隔がばらついてしまっても、サンプリングの間隔を一定にそろえることが可能である。
【0051】
また、上述の通り、本実施の形態においては、第2の点群に基づいて算出した輪郭線からエッジ検出ツールtの形状を選択したり、エッジトレースを行ったりする事も出来る。これにより、複数の異なる形状や大きさを有する測定対象に対して精密な測定を行う事が可能であり、ティーチングの省力化や柔軟な測定の実現を図ることが可能である。
【0052】
[第3の実施の形態]
次に、
図21〜
図23を参照し、本発明の第3の実施の形態に係る画像測定装置について説明する。尚、以下の説明において、第1の実施の形態と同様の部分については同一の符号を付し、説明を省略する。
【0053】
本実施の形態に係る画像測定装置は、基本的には第1の実施の形態と同様に構成されているが、次の点において第1の実施の形態と異なっている。即ち、本実施の形態においては、
図21に示す通り、二値化した画像に対して、測定対象33を囲う様に複数の第1の点を設定し、
図22に示す通り、これら複数の第1の点を移動させて、測定対象33の輪郭に沿って並ぶ第2の点群を取得する。また、
図23に示す通り、測定対象33の輪郭の外部を、測定対象33の輪郭の内部と同じ色(濃度、階調)に塗りつぶし、再度複数の第1の点を移動させて、貫通孔34の輪郭に沿って並ぶ点群を取得する。
【0054】
[その他の実施の形態]
本発明は、カメラ141がZ軸方向に駆動可能に構成され、Z軸方向の座標を測定可能な三次元画像測定機を使用する場合の他、二次元画像測定機や、画像測定機能を有する顕微鏡を使用する場合にも適用可能である。