特許 7418810 レーザラスタ走査型３次元画像取得装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-01-12

(45)【発行日】2024-01-22

(54)【発明の名称】レーザラスタ走査型３次元画像取得装置

(51)【国際特許分類】

   G01B 11/00 20060101AFI20240115BHJP

   G01B 11/24 20060101ALI20240115BHJP

【ＦＩ】

G01B11/00 H

G01B11/24 K

【請求項の数】 5

(21)【出願番号】P 2020069029

(22)【出願日】2020-04-07

(65)【公開番号】P2021165672

(43)【公開日】2021-10-14

【審査請求日】2023-04-05

【新規性喪失の例外の表示】特許法第３０条第２項適用 配布日：令和１年６月１２日 配布した場所：画像センシング展２０１９パシフィコ横浜（横浜市西区みなとみらい１－１－１） 配布日：令和１年１２月４日 配布した場所：国際画像機器展２０１９パシフィコ横浜（横浜市西区みなとみらい１－１－１）

(73)【特許権者】

【識別番号】303035709

【氏名又は名称】株式会社オプセル

(74)【代理人】

【識別番号】100128358

【弁理士】

【氏名又は名称】木戸 良彦

(74)【代理人】

【識別番号】100086210

【弁理士】

【氏名又は名称】木戸 一彦

(72)【発明者】

【氏名】小俣 公夫

【審査官】眞岩 久恵

(56)【参考文献】

【文献】特開２０１８－１００２１（ＪＰ，Ａ）

【文献】特開２００３－５７１６９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｂ １１／００－１１／３０

(57)【特許請求の範囲】

【請求項1】

レーザ光源を用いた共焦点光学系を有するレーザラスタ走査画像取得手段と、テレセントリックレンズを用いた３次元光切断型カメラとを備え、観察対象を一定の速度で移動させながら被観察面にレーザラスタ走査光を複数回照射することによって被観察面の画像データを取得可能なレーザラスタ走査型３次元画像取得装置であって、
前記レーザラスタ走査画像取得手段は、レーザ光を平行光束として出力するレーザ光源部と、該レーザ光源部からのレーザ光を反射してレーザラスタ走査用の走査光に変換する走査ポリゴンミラーと、該走査ポリゴンミラーからの走査光を前記被観察面に垂直に照射するテレセントリックｆθレンズと、前記被観察面からの反射光を前記テレセントリックｆθレンズにより平行光束に変換し、前記走査ポリゴンミラーで反射させた後に前記レーザ光源部からのレーザ光と分離するビームスプリッタと、該ビームスプリッタで分離した前記反射光を集光する結像レンズと、前記テレセントリックｆθレンズの焦点面と共役の位置に設置したピンホールと、前記結像レンズにより集光されて前記ピンホールを通過した前記反射光の光量を計測する受光素子と、該受光素子で計測した光量に基づいて前記被観察面の２次元画像データを生成する演算手段とを備え、
前記３次元光切断型カメラは、前記被観察面からの散乱光を撮影可能に設けられ、撮影画像に基づいて前記被観察面の高さ画像データを生成するデータ処理部を有し、
前記演算手段は、前記２次元画像データと前記高さ画像データとを前記走査ポリゴンミラーの走査角度に対応した時刻情報に基づいて合成し、該合成した画像データを合成３次元画像データとして出力可能に構成されていることを特徴とするレーザラスタ走査型３次元画像取得装置。

【請求項2】

前記被観察面を１回走査する毎に、前記走査光の走査方向と直交する方向に、かつ、前記走査光の幅分だけ前記観察対象を移動させる制御手段を備えていることを特徴とする請求項１記載のレーザラスタ走査型３次元画像取得装置。

【請求項3】

前記テレセントリックｆθレンズ及び前記３次元光切断型カメラの撮影レンズは、交換可能であることを特徴とする請求項１又は２記載のレーザラスタ走査型３次元画像取得装置。

【請求項4】

前記２次元画像データ及び前記高さ画像データの横方向の分解能が異なる状態で、前記２次元画像データを基準にして前記高さ画像データを配置するとともに、前記２次元画像データに基づいて前記高さ画像データの画素を補完可能な画像補完手段を備えていることを特徴とする請求項１乃至３のいずれか１項記載のレーザラスタ走査型３次元画像取得装置。

【請求項5】

一定の傾斜角度をもってレーザ光を照射可能なレーザ光照射手段を備え、該レーザ光照射手段は、レーザ光を平行光束として出力するレーザ光源部と、該レーザ光源部からのレーザ光を反射してレーザラスタ走査用の走査光に変換する走査ポリゴンミラーと、該走査ポリゴンミラーからの走査光を前記被観察面に斜めに照射するテレセントリックｆθレンズとを有し、
前記３次元光切断型カメラは、前記レーザ光照射手段による走査光の照射を受けて、前記被観察面からの反射光を撮影可能に設けられ、前記データ処理部により撮影画像に基づいて前記被観察面の高さ画像データを生成し、
前記レーザラスタ走査画像取得手段の走査ポリゴンミラーと前記レーザ光照射手段の走査ポリゴンミラーとの回転位相を同期させる同期制御手段を備えていることを特徴とする請求項１乃至４のいずれか１項記載のレーザラスタ走査型３次元画像取得装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、レーザラスタ走査型３次元画像取得装置に関し、特に、被観察面の高さ情報を高解像度で取得可能なレーザラスタ走査型３次元画像取得装置に関する。

【背景技術】

【0002】

従来から、物体表面における凸凹や傷、付着物などを検知するために、物体形状の３次元データを取得して表面状況を知ろうとする装置が提案され、実際に使用されている。例えば、光切断顕微鏡型の光学装置では、顕微鏡の横から光のラインを生成するためのスリットを照明系で照射し、これにより、光のラインを観察物体に対して垂直方向に投影する。光のラインが投影された観察物体は、その凸凹具合が光のラインの変形されたラインになるので、これを顕微鏡で斜め方向から観察することにより、観察物体の高さ情報を画像的に取得することができる（例えば、特許文献１参照。）。

【0003】

また、レーザラインを観察物体に投影して光切断光学装置とするものもある。レーザラインの生成には、レーザ光をロッドレンズやシリンドリカルレンズに通すことで、レーザ光を点光源から扇状の光線に変換することができる。この扇状のラインを観察物体に対して垂直方向に投影し、斜め方向からカメラで画像を取得して画像処理することにより、観察物体の高さ情報を取得することができる（例えば、特許文献２参照。）。

【先行技術文献】

【特許文献】

【0004】

【文献】実開平６－４３５０９号公報

【文献】特開平１０－１６０４２７号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかし、特許文献１に記載されたスリットを使用する方式では、画像の解像度を上げようとしてスリットを細くする必要があるが、スリットが細くなると、そこを通過する光量が少なくなってしまう。これにより、観察物体に投影する光量が極めて少なくなり、物体表面の計測ができなくなるという問題がある。

【0006】

また、特許文献２に記載されたレーザ方式では、扇状にレーザ光を広げてレーザラインを形成すると、扇状に広がれば広がるほどレーザ光量が分散されてしまう。すなわち、ラインの中心付近から離れるに従って光量が減少し、その結果、物体表面の計測が困難になる。また、画像の解像度を細かくしようとすると、レーザラインのライン幅を細くする必要があるが、そのためには大きなシリンドリカルレンズが必要となり、コストが高くなってしまう。

【0007】

さらに、レーザラインの光量の変動に起因して焦点深度が浅くなったり、対象物の高さによってはラインが太くなってしまうという問題がある。また、高精度な３次元画像データを取得するには、２次元画像データ及び高さ画像データの高精度化が必要となるだけでなく、これらの画像データの位置が相互に一致している必要もあることから、種々の制約が生じてしまう。

【0008】

これに加えて、近年では、精密な３次元画像データを高速で取得する技術が求められているが、３次元画像データを取得するときに、２次元画像データ（Ｘ，Ｙ方向）を取得し、フォーカス位置（Ｚ方向）を指定位置に移動させて、再度同じ位置の２次元画像データを取得する。これを、例えば１００回程度繰り返すことによって３次元画像データを取得することができる。ここで、高さ方向における１回の移動量を５μｍとすると、５μｍ×１００回＝０．５ｍｍの高さとなる。このようにして撮ったＸ，Ｙ，Ｚの画像を処理し、３次元画像データを得ることとなる。しかしながら、この方法では、２次元画像データが大きくなると、これに対応して１００倍の時間がかかる。すなわち、５０ｍｍ×５０ｍｍの高画質２次元画像データを取得する際に５分要したとすると、全体では、５分×１００回＝５００分（８．３時間）を必要とし、多くの時間がかかってしまう。

【0009】

そこで本発明は、２次元画像データをレーザラスタ走査共焦点光学系で取得し、同時に高さ画像データを３次元光切断型カメラで取得して両者を合成することにより、精密な３次元画像データを短時間で得ることが可能なレーザラスタ走査型３次元画像取得装置を提供することを目的としている。

【課題を解決するための手段】

【0010】

上記目的を達成するため、本発明のレーザラスタ走査型３次元画像取得装置は、レーザ光源を用いた共焦点光学系を有するレーザラスタ走査画像取得手段と、テレセントリックレンズを用いた３次元光切断型カメラとを備え、観察対象を一定の速度で移動させながら被観察面にレーザラスタ走査光を複数回照射することによって被観察面の画像データを取得可能なレーザラスタ走査型３次元画像取得装置であって、前記レーザラスタ走査画像取得手段は、レーザ光を平行光束として出力するレーザ光源部と、該レーザ光源部からのレーザ光を反射してレーザラスタ走査用の走査光に変換する走査ポリゴンミラーと、該走査ポリゴンミラーからの走査光を前記被観察面に垂直に照射するテレセントリックｆθレンズと、前記被観察面からの反射光を前記テレセントリックｆθレンズにより平行光束に変換し、前記走査ポリゴンミラーで反射させた後に前記レーザ光源部からのレーザ光と分離するビームスプリッタと、該ビームスプリッタで分離した前記反射光を集光する結像レンズと、前記テレセントリックｆθレンズの焦点面と共役の位置に設置したピンホールと、前記結像レンズにより集光されて前記ピンホールを通過した前記反射光の光量を計測する受光素子と、該受光素子で計測した光量に基づいて前記被観察面の２次元画像データを生成する演算手段とを備え、前記３次元光切断型カメラは、前記被観察面からの散乱光を撮影可能に設けられ、撮影画像に基づいて前記被観察面の高さ画像データを生成するデータ処理部を有し、前記演算手段は、前記２次元画像データと前記高さ画像データとを前記走査ポリゴンミラーの走査角度に対応した時刻情報に基づいて合成し、該合成した画像データを合成３次元画像データとして出力可能に構成されていることを特徴としている。

【0011】

また、前記被観察面を１回走査する毎に、前記走査光の走査方向と直交する方向に、かつ、前記走査光の幅分だけ前記観察対象を移動させる制御手段を備えていることを特徴としている。さらに、前記テレセントリックｆθレンズ及び前記３次元光切断型カメラの撮影レンズは、交換可能であることを特徴としている。

【0012】

また、前記２次元画像データ及び前記高さ画像データの横方向の分解能が異なる状態で、前記２次元画像データを基準にして前記高さ画像データを配置するとともに、前記２次元画像データに基づいて前記高さ画像データの画素を補完可能な画像補完手段を備えていることを特徴としている。

【0013】

さらに、一定の傾斜角度をもってレーザ光を照射可能なレーザ光照射手段を備え、該レーザ光照射手段は、レーザ光を平行光束として出力するレーザ光源部と、該レーザ光源部からのレーザ光を反射してレーザラスタ走査用の走査光に変換する走査ポリゴンミラーと、該走査ポリゴンミラーからの走査光を前記被観察面に斜めに照射するテレセントリックｆθレンズとを有し、前記３次元光切断型カメラは、前記レーザ光照射手段による走査光の照射を受けて、前記被観察面からの反射光を撮影可能に設けられ、前記データ処理部により撮影画像に基づいて前記被観察面の高さ画像データを生成し、前記レーザラスタ走査画像取得手段の走査ポリゴンミラーと前記レーザ光照射手段の走査ポリゴンミラーとの回転位相を同期させる同期制御手段を備えていることを特徴としている。

【発明の効果】

【0014】

本発明のレーザラスタ走査型３次元画像取得装置によれば、共焦点光学系を有するレーザラスタ走査画像取得手段で被観察面の２次元画像データを取得するとともに、該２次元画像データを取得したものと同じレーザラインを用いて高さ画像データを３次元光切断型カメラで撮影して取得するので、光量が大きく鮮明な反射光に基づいて２次元画像データが得られ、走査幅が広く細いレーザ光の散乱光に基づいて高さ画像データが得られる。これにより、両画像データを合成して得られた精密な合成３次元画像データに基づいて観察対象の表面状況を精度よく知ることができる。また、光学系にテレセントリックなレンズを用いるので、細かな振動による悪影響をなくし、さらには、被観察面からの反射光をテレセントリックｆθレンズの焦点面と共役の位置に設置したピンホールを通過させ、余分な反射光をカットしてピントの合った光だけが受光素子に受光されるので、２次元画像データの高精細化、高コントラスト化に寄与するものである。

【0015】

また、演算手段が２次元画像データと高さ画像データとを走査ポリゴンミラーによる１本のレーザラインをなす走査角度に対応した時刻情報に基づいて合成するので、１回の走査で同時に取得した２次元画像データ及び高さ画像データの互いの対応付けが容易に行え、画像データ取得の高速化と高解像度化を両立させることができる。さらに、被観察面を１回走査する毎に、走査光の走査方向と直交する方向に、かつ、走査光の幅分だけ被観察面を移動させる制御手段を備えているので、２次元画像データと高さ画像データとに基づいて得られた３次元画像データの解像度をより高めることができる。加えて、テレセントリックｆθレンズ及び３次元光切断型カメラの撮影レンズが交換可能であるため、光学的なパラメータを容易に変更できることから、実用性に優れたものである。

【0016】

また、走査ポリゴンミラーによってレーザラインを形成するので、１画素単位でのレーザ照射ができ、その上、レーザ光量がロスしないので、反射率の少ないものも容易に検出することができる。すなわち、あらゆる対象物において良質の画像が取得可能なレーザラスタ走査型３次元画像取得装置が実現される。

【図面の簡単な説明】

【0017】

【図1】本発明の一形態例におけるレーザラスタ走査型３次元画像取得装置の全体構成を示す図である。

【図2】同じく装置本体の正面図である。

【図3】同じく側面図である。

【図4】レーザラスタ走査画像取得手段の構成を示す図である。

【図5】レーザラスタ走査型３次元画像取得装置の使用状態を示す図である。

【図6】レーザラスタ走査型３次元画像取得装置の使用状態における変形例を示す図である。

【発明を実施するための形態】

【0018】

図１乃至図６は、本発明のレーザラスタ走査型３次元画像取得装置の一形態例を示している。レーザラスタ走査型３次元画像取得装置１１は、図１乃至図３に示すように、レーザ光源を用いた共焦点光学系を有するレーザラスタ走査画像取得手段１２と、テレセントリックレンズを用いた３次元光切断型カメラ１３とを横並びに配置し、これらを基台１４上の支柱１５に上下動可能に設けている。使用時には、手動フォーカスノブ１６を回動操作して電動ステージ１７上に載置した観察対象の被観察面（図示せず）に焦点を合わせ、電動ステージ１７を、例えば、水平方向（図２の左右方向）へ移動させながら、この移動方向に直交する走査方向（図２の紙面方向）をもつレーザラスタ走査用の走査光Ｌ１を被観察面に対して複数回照射する。これにより、レーザラスタ走査画像取得手段１２及び３次元光切断型カメラ１３では、走査光Ｌ１の反射光や散乱光Ｌ２を受けて、被観察面の画像データを取得することが可能になる。

【0019】

これらの各種機器を一体的に備えた装置本体１８は、制御用のパソコン１９や前記画像データを表示するためのモニタ２０などと共に、レーザラスタ走査型３次元画像取得装置１１のシステム全体を構成するものである。個々の配線について図示は省略するが、例えば、レーザラスタ走査画像取得手段１２及び電動ステージ１７は、電源を兼ねた制御ボックス２１を介してパソコン１９のＡ／Ｄ変換部２２及びコントローラ２３にそれぞれ接続されている。

【0020】

電動ステージ１７は、モータを組み込んだ複数の移動機構部１７ａによって３次元的に移動可能である。制御ボックス２１は、レーザラスタ走査画像取得手段１２や電動ステージ１７の制御手段として機能するもので、コントローラ２３からの指令を受けて、例えば、被観察面を１回走査する毎に、走査光Ｌ１の走査方向と直交する方向に、かつ、走査光Ｌ１の幅分、例えば、１μｍ分だけ観察対象を移動させる制御を行う。Ａ／Ｄ変換部２２は、被観察面の情報であるアナログ信号をデジタル信号に変換するもので、例えば、レーザラスタ走査画像取得手段１２の受光素子で計測した光量情報を出力する。コントローラ２３は、Ａ／Ｄ変換部２２と共にレーザラスタ走査画像取得手段１２の一要素として機能し、システムの作動に必要な各種制御プログラムを実行するＣＰＵを中心に構成されている。

【0021】

付属のマウス２４やキーボード２５などを操作して装置本体１８を作動させると、コントローラ２３において、２次元画像データ及び高さ画像データを１回の走査で同時に取得する制御が行われる。これにより、レーザラスタ走査画像取得手段１２で取得した２次元画像データは、例えば、縞模様からなる輝度画像（平面画像）に変換して２次元用表示モニタ２０ａにて、３次元光切断型カメラ１３で取得した高さ画像データ、あるいは、２次元画像データと高さ画像データとを合成した画像データは、例えば、立体視することが可能な３次元画像（立体画像）に変換して３次元用表示モニタ２０ｂにてそれぞれ確認することが可能である。

【0022】

３次元光切断型カメラ１３は、３次元高速スキャンに有効な周知のＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサを搭載した光切断方式３次元計測用のカメラであって、撮影レンズとして交換可能なテレセントリックレンズ１３ａを有し、レーザラスタ走査画像取得手段１２からの走査光Ｌ１に対して整合可能な位置に配置されるとともに、前記被観察面からの散乱光Ｌ２を反射ミラー１３ｂで屈折させて取り込むことにより、散乱光Ｌ２を被観察面の輝線（輪郭）として撮影する。このとき、内蔵されるデータ処理部１３ｃにより撮影画像に基づいて被観察面の高さ画像データが生成される。具体的には、１フレームあたり設定された画素数の輝度値からなる輝線画像を取得し、該輝線画像に基づいて、あらかじめ設定された基準座標からの高さ情報を求めるとともに、これを走査方向の全座標について行うことで、１フレームで撮影した輝線画像に対応する１走査分の高さ画像データが生成される。ここで、高さ情報とは、撮影で得られた深度値を基準水平面からの高さに変換したものである。

【0023】

データ処理部１３ｃでは、前記高さ画像データを出力してパソコン１９の画像記憶部（図示せず）に記憶させる。高さ画像データは、フレームごとに入力された時点の時刻情報（時系列データ）と対応付けがなされる。したがって、高さ画像データを被観察面の移動方向に、つまり時系列順に全フレーム分つなげることで、被観察面の３次元画像（立体画像）データを生成することが可能になる。

【0024】

レーザラスタ走査画像取得手段１２は、図４に示すように、各種部品を収容した筐体１２ａと、該筐体１２ａの下端部に交換可能に装着されたテレセントリックな走査レンズ１２ｂとを有しており、具体的には、半導体レーザなどのレーザ光を平行光束として出力するレーザ光源部２６と、該レーザ光源部２６からのレーザ光を反射してレーザラスタ走査用の走査光Ｌ１に変換する走査ポリゴンミラー２７と、該走査ポリゴンミラー２７からの走査光Ｌ１を被観察面に垂直に照射する前記走査レンズ１２ｂとしてテレセントリックｆθレンズ２８と、被観察面からの反射光をテレセントリックｆθレンズ２８により平行光束に変換し、走査ポリゴンミラー２７で反射させた後にレーザ光源部２６からのレーザ光と分離するビームスプリッタ２９と、該ビームスプリッタ２９で分離した反射光を集光する結像レンズ３０と、テレセントリックｆθレンズ２８の焦点面と共役の位置に設置したピンホール３１と、結像レンズ３０により集光されてピンホール３１を通過した反射光の光量を受光素子に取り込んで計測するフォトマルセンサ３２と、該フォトマルセンサ３２で計測した光量情報を前記パソコン１９のＡ／Ｄ変換部２２へ出力するための出力部３３とを有している。

【0025】

また、走査ポリゴンミラー２７に対応する位置に原点センサ３４及び原点レーザ発生部３５が設けられている。原点センサ３４は、原点レーザ発生部３５による投光を走査ポリゴンミラー２７の反射面２７ａを介して受光しながら、該反射面２７ａの回転位置が、反射面２７ａによるレーザ光の走査が開始可能な位置にきたときに原点信号を出力する。言い換えると、原点センサ３４は、これからレーザ光の走査を行う反射面２７ａの角度が所定の角度位置になったときに原点信号を出力する。ここで、走査ポリゴンミラー２７が８つの反射面２７ａを有する場合、原点センサ３４は、走査ポリゴンミラー２７が１回転する周期で、８回原点信号を出力することになる。原点信号はコントローラ２３に送られ、原点センサ３４が原点信号を出力してから時間差をもってレーザ光の走査方向に沿った走査が開始される。すなわち、原点信号は、レーザラスタ走査画像取得手段１２による走査光Ｌ１の走査開始タイミングを示す情報となる。

【0026】

これにより、レーザラスタ走査画像取得手段１２を作動してレーザ光の走査を行うと、被観察面の反射光は、戻り光Ｒとして結像レンズ３０からピンホール３１に集光される。ピンホール３１は、被観察面の焦点の範囲内の光のみを通過させるため、受光素子に取り込んで生成される画像は、コントラストの良い共焦点画像データになる。一方、演算手段として機能するコントローラ２３では、取得した共焦点画像データに基づいて、すなわち、走査ポリゴンミラー２７の反射面２７ａの角度である走査角度に対応した時刻情報（時系列データ）に基づいて被観察面の２次元画像データを生成し、同一の時刻情報をもつ２次元画像データと高さ画像データとを対応付けてパソコン１９の画像記憶部に記憶させる。この２次元画像データは、走査光Ｌ１の幅に応じて設定される寸法の画素によって分割され、光量を示す輝度値の違いを画素の濃淡で表現したものである。したがって、２次元画像データを被観察面の移動方向に全走査分つなげることで、被観察面において１画素単位で輝度値の変化が比較可能な輝度画像（平面画像）データを生成することが可能になる。

【0027】

また、コントローラ２３は、画像処理のための制御プログラム（ソフトウェア）を実行させて、時間的に対応した２次元画像データ及び高さ画像データ、あるいは、これらに基づいて生成した輝度画像データ及び３次元画像データを出力して、２次元用表示モニタ２０ａ及び３次元用表示モニタ２０ｂにそれぞれ表示可能に構成され、これに加えて、あらかじめ２次元画像データと高さ画像データとを合成し、この合成画像データを被観察面の移動方向に全走査分つなげることで、合成３次元画像データとして出力し、該合成３次元画像データを３次元用表示モニタ２０ｂに表示可能に構成されている。

【0028】

以下では、レーザラスタ走査型３次元画像取得装置１１を使用して被観察面の合成３次元画像データを取得する手順について、図５を参照しながら説明する。ここでの観察対象（図示せず）は、例えば、リング状プレートの表面に一定の凸凹が形成されたもので、被観察面の領域は、例えば、直径３０ｍｍ程度である。

【0029】

まず、電源を投入してシステムを起動した後、三次元座標系を設定するためのキャリブレーションを行う。キャリブレーションとは、コントローラ２３が三次元座標系を設定するための処理であり、基準物（図示せず）として、例えば、１辺の長さが１ｍｍの立方体など三次元形状が既知の物を電動ステージ１７上に載置し、観察対象を撮影する場合と同じ方向から、つまり走査光Ｌ１の照射方向（垂直方向）と３次元光切断型カメラ１３における反射ミラー１３ｂへの入射方向との間にある角度θ１が、例えば、略４５度になる位置から３次元光切断型カメラ１３により撮影を行う。ここで、角度θ１は、被観察面の凸凹形状と３次元光切断型カメラ１３の視野範囲とを詳細に観察して決定される。コントローラ２３は、撮影した画像に基づいて、前記基準物における所定の頂点を検出することで、既知の座標に基づいて、レーザラスタ走査画像取得手段１２及び３次元光切断型カメラ１３にて取得した２次元画像データ及び高さ画像データと、座標系との対応付けを行う。

【0030】

観察対象を電動ステージ１７上に載置すると、被観察面はレーザラスタ走査画像取得手段１２からの走査光Ｌ１が移動方向（図５の左右方向）と直交する方向（図５の紙面方向）に切断するように配置される。そして、所定の計測開始操作を行うと、コントローラ２３によって装置本体１８が自動制御される。ここで、レーザラスタ走査画像取得手段１２による走査光Ｌ１は同じ位置に照射されるが、一方で、被観察面は電動ステージ１７上において一定量（数μｍ単位）で移動される。例えば、８つの反射面２７ａを有する走査ポリゴンミラー２７が秒速５００回転で高速回転されると、各反射面２７ａからの反射光を受けて被観察面に対して１秒間に４０００回、一定の走査速度を維持しながら走査が行われる。これに対応して、電動ステージ１７は、被観察面の移動速度が秒速４ｍｍで移動するように制御される。すなわち、１μｍの幅をもつ走査光Ｌ１であれば、被観察面を１回走査する毎に、その幅分（１μｍ）だけ移動させる制御がなされる。被観察面に対して走査光Ｌ１を繰り返し照射すると、レーザラスタ走査画像取得手段１２及び３次元光切断型カメラ１３では、走査毎に同時に取得した２次元画像データ及び高さ画像データを時系列順に出力する。

【0031】

ところで、２次元画像データと高さ画像データとは、互いの画素数が同一であれば、同一画素で共有することが可能である。すなわち、画素数と同数の高さ情報を有する合成画像データに基づいて合成３次元画像データの生成が可能である。しかしながら、２次元画像データは、その特性上、３次元光切断型カメラ１３で取得した高さ画像データよりもデータ量が大きくなる場合が多い。高さ情報の取得範囲は、両画像データの横方向の分解能、つまり２次元画像データの画素数と高さ画像データの画素数との関係に依存する。例えば、２次元画像データは２００００画素を有するのに対し、高さ画像データは、その１／１０で、２０００画素を有する場合、画素数に大きな差が生じていることから、画像上での横方向の分解能は高さ画像データの画素の大きさによって小さく決定される。これにより、２次元画像データ及び高さ画像データの横方向の分解能が異なる状態に起因して、合成３次元画像データが効果的に生成できないという不都合が生じてしまう。

【0032】

そこで、画像補完手段として機能するコントローラ２３では、前記合成画像データの生成にあたって、２次元画像データを基準にして高さ画像データを配置するとともに、２次元画像データに基づいて高さ画像データの画素を補完する処理を行う。具体的には、時間的に相互に対応した２次元画像データ及び高さ画像データについて座標系を一致させ、そのうちの画素数の多い２次元画像データを基準画像とし、画素数の少ない高さ画像データを参照画像とする。そして、参照画像の各画素の位置における高さ情報と基準画像の画素値（輝度値）との対応付けを行った後、高さ情報と画素値との相関を求める。この相関に基づいて、基準画像における他の位置の画素値について高さ情報の推定を行うことを繰り返す。これにより、画像上の特定位置、例えば、複数画素の全部あるいは一部の間隔があいた位置であっても、高さ情報をもつ画素として全て補完される。これにより、例えば、２次元画像データが２００００画素を有するが、これに対応する高さ画像データが２０００画素を有する場合であっても、共有されていない残りの１８０００画素につき、補完処理によって高さ情報が決定されるので、高さ情報が補完された後の、つまり被観察面の微細な形状が再現された合成画像データに基づいて合成３次元画像データが生成される。

【0033】

このように、本発明のレーザラスタ走査型３次元画像取得装置１１によれば、共焦点光学系を有するレーザラスタ走査画像取得手段１２で被観察面の２次元画像データを取得するとともに、該２次元画像データを取得したものと同じレーザラインを用いて高さ画像データを３次元光切断型カメラ１３で撮影して取得するので、光量が大きく鮮明な反射光に基づいて２次元画像データが得られ、走査幅が広く細いレーザ光の散乱光に基づいて高さ画像データが得られる。これにより、両画像データを合成して得られた精密な合成３次元画像データに基づいて観察対象の表面状況を精度よく知ることができる。また、光学系にテレセントリックなレンズを用いるので、細かな振動による悪影響をなくし、さらには、被観察面からの反射光をテレセントリックｆθレンズ２８の焦点面と共役の位置に設置したピンホール３１を通過させ、余分な反射光をカットしてピントの合った光だけが受光素子に受光されるので、２次元画像データの高精細化、高コントラスト化に寄与するものである。

【0034】

また、演算手段が２次元画像データと高さ画像データとを走査ポリゴンミラー２７による１本のレーザラインをなす走査角度に対応した時刻情報に基づいて合成するので、１回の走査で同時に取得した２次元画像データ及び高さ画像データの互いの対応付けが容易に行え、画像データ取得の高速化と高解像度化を両立させることができる。さらに、被観察面を１回走査する毎に、走査光の走査方向と直交する方向に、かつ、走査光の幅分だけ被観察面を移動させる制御手段を備えているので、２次元画像データと高さ画像データとに基づいて得られた３次元画像データの解像度をより高めることができる。加えて、テレセントリックｆθレンズ２８及び３次元光切断型カメラ１３の撮影レンズが交換可能であるため、光学的なパラメータを容易に変更できることから、実用性に優れたものである。

【0035】

また、走査ポリゴンミラー２７によってレーザラインを形成するので、１画素単位でのレーザ照射ができ、その上、レーザ光量がロスしないので、反射率の少ないものも容易に検出することができる。すなわち、あらゆる対象物において良質の画像が取得可能なレーザラスタ走査型３次元画像取得装置１１が実現される。

【0036】

さらに、２次元画像データ及び高さ画像データの横方向の分解能が異なる状態で使用する場合であっても、画像補完手段によって、２次元画像データに基づいて高さ画像データの画素を補完するので、両画像データの画素数の違いを簡便な方法でまかなうことができる。これにより、補完された高さ画像データを用いて合成３次元画像データを生成することで、被観察面の解像度を大幅に向上させることができ、もって、未処理の高さ画像データだけでは分からないような表面の傷やゴミなどの異物も、２次元画像データとの合成画像からその存在を正常な凸凹と区別して正確に検知することができる。

【0037】

ところで、近年、物体形状の表面状況を知ろうとするニーズの拡大に伴い、一台の装置で複数の観察対象を計測する機会が多くなってきている。一般に、被観察面が粗く、光沢や艶のないものは拡散反射の特性が強く、一方で、被観察面が滑らかで、光沢や艶のあるものは正反射の特性が強い。したがって、拡散反射の特性が強いものでは、上述した垂直のレーザ走査を行うだけで、被観察面からの反射光及び散乱光に基づいて各種画像データが取得できる。しかしながら、同様の構成で正反射の特性が強いものを計測すると、３次元光切断型カメラ１３に入射する光量が不足して被観察面の輝線位置が安定的に取得できないという問題がある。

【0038】

そこで、レーザラスタ走査型３次元画像取得装置の変形例において、一定の傾斜角度をもってレーザ光を照射可能なレーザ光照射手段を備えることで、たとえ被観察面に光沢や艶がある場合であっても、精密な３次元画像データの取得を可能にしている。なお、以下の説明において、前記形態例に示した構成要素と同一の構成要素には同一の符号を付して詳細な説明は省略する。

【0039】

本形態例では、前記形態例によるレーザラスタ走査型３次元画像取得装置１１の構成をそのまま有しており、図６に示すように、装置本体１８においてレーザ光照射手段３６を追加して備えたものである。このレーザ光照射手段３６は、レーザラスタ走査画像取得手段１２と同一（同種）の走査光を照射するもので、各種部品を収容した筐体３６ａと、該筐体３６ａの下端部に交換可能に装着されたテレセントリックな走査レンズ３６ｂとを有しており、具体的には、レーザ光を平行光束として出力するレーザ光源部３７と、該レーザ光源部３７からのレーザ光を反射してレーザラスタ走査用の走査光Ｌ３に変換する走査ポリゴンミラー３８と、該走査ポリゴンミラー３８からの走査光Ｌ３を被観察面に斜め下向きに照射する前記走査レンズ３６ｂとしてテレセントリックｆθレンズ３９とを有している。

【0040】

また、走査ポリゴンミラー３８は、レーザラスタ走査画像取得手段１２の走査ポリゴンミラー２７と同一構造であり、図示は省略するが、対応する位置に原点センサ及び原点レーザ発生部が設けられている。原点センサは、原点レーザ発生部による投光を走査ポリゴンミラー３８の反射面３８ａを介して受光しながら、該反射面３８ａの回転位置が、反射面３８ａによるレーザ光の走査が開始可能な位置にきたときに原点信号を出力する。原点信号はコントローラ２３に送られ、原点センサが原点信号を出力してから時間差をもってレーザ光の走査方向に沿った走査が開始される。すなわち、原点信号は、レーザ光照射手段３６による走査光Ｌ３の走査開始タイミングを示す情報となる。

【0041】

制御ボックス２１は、専用の電子基板が組み込まれることにより、レーザラスタ走査画像取得手段１２の走査ポリゴンミラー２７とレーザ光照射手段３６の走査ポリゴンミラー３８との回転位相を同期させる同期制御手段として機能し、原点信号に基づいて、どの走査ポリゴンミラー２７，３８がこれからレーザ光の走査を行うかを管理している。具体的には、制御ボックス２１は、原点信号が発生してから、走査ポリゴンミラー２７，３８の回転によるレーザ光の走査を開始するまでの時間差（遅延時間）を検出し、該時間差を一致させるように各走査ポリゴンミラー２７，３８の回転駆動を制御する。すなわち、原点信号を使って、レーザラスタ走査画像取得手段１２及びレーザ光照射手段３６の各走査ポリゴンミラー２７，３８の回転速度を目標値に一致させるとともと、各走査ポリゴンミラー２７，３８の回転角度位置（角度位相）を一定の関係に維持する制御が行われる。これにより、走査ポリゴンミラー２７，３８の回転位相を同期させながらレーザ光の走査を行うと、各走査光Ｌ１，Ｌ３は、被観察面に対して、異なる方向から同じ位置に、つまり垂直方向及び斜め方向から重畳して照射される。

【0042】

３次元光切断型カメラ１３は、レーザ光照射手段３６からの走査光Ｌ３に対して整合可能な位置に配置されるとともに、被観察面からの反射光Ｌ４を反射ミラー１３ｂで屈折させて取り込むことにより、反射光Ｌ４を被観察面の輝線（輪郭）として撮影する。このとき、走査光Ｌ３の照射方向（斜め方向）と３次元光切断型カメラ１３における反射ミラー１３ｂへの入射方向との間にある角度θ２は、レーザ光照射手段３６による走査光Ｌ３の照射を受けて、被観察面からの反射光Ｌ４が３次元光切断型カメラ１３に入射可能な角度、例えば、略９０度に設定されている。３次元光切断型カメラ１３で反射光Ｌ４を撮影すると、データ処理部１３ｃにより撮影画像に基づいて被観察面の高さ画像データが生成される。

【0043】

被観察面の合成３次元画像データを取得するには、コントローラ２３による装置本体１８の自動制御が行われる。例えば、制御ボックス２１は、コントローラ２３からの指令を受けてレーザラスタ走査画像取得手段１２や電動ステージ１７を制御し、被観察面を１回走査する毎に、走査光Ｌ１，Ｌ３の走査方向と直交する方向に、かつ、走査光Ｌ１，Ｌ３の幅分だけ観察対象を移動させる。ここで、各走査光Ｌ１，Ｌ３は同時に同位置に照射されるが、一方で、被観察面は電動ステージ１７上において一定量で移動される。被観察面に対して走査光Ｌ１，Ｌ３を繰り返し照射すると、レーザラスタ走査画像取得手段１２及び３次元光切断型カメラ１３では、走査毎に同時に取得した２次元画像データ及び高さ画像データを時系列順に出力する。

【0044】

すなわち、レーザラスタ走査画像取得手段１２では、走査光Ｌ１の反射光が戻り光となって受光素子に取り込まれ、これにより取得した共焦点画像データに基づいて、被観察面の２次元画像データが生成される。一方、３次元光切断型カメラ１３では、レーザ光照射手段３６からの走査光Ｌ３の反射光Ｌ４が直接取り込まれ、データ処理部１３ｃにより撮影画像に基づいて被観察面の高さ画像データが生成される。そして、コントローラ２３による画像補完処理にて高さ画像データの画素を補完した後、対応する２次元画像データと合成し、この合成画像データを被観察面の移動方向に全走査分つなげることで、合成３次元画像データが取得される。

【0045】

このように構成された本形態例においても、上述のレーザラスタ走査型３次元画像取得装置１１と同様の作用、効果が発揮でき、さらに、本形態例の場合には、装置本体１８にレーザ光照射手段３６を備えるとともに、３次元光切断型カメラ１３がレーザ光照射手段３６の斜め方向の走査光Ｌ３の照射を受けて被観察面からの反射光Ｌ４を撮影するので、被観察面に光沢や艶がある場合であっても、正確な高さ画像データを安定して取得することができる。しかも、レーザラスタ走査画像取得手段１２の走査ポリゴンミラー２７とレーザ光照射手段３６の走査ポリゴンミラー３８との回転位相を同期させる同期制御手段を備えているので、各走査光Ｌ１，Ｌ３が走査ポリゴンミラー２７，３８の回転変動の影響を受けることなく被観察面に重畳して照射され、その内部の輝度分布が均一な状態となる。これにより、２次元画像データと高さ画像データとの合成処理において、両画像データの位置関係の精度を高く保つことができ、もって精密な合成３次元画像データの生成が短時間で達成できる。

【0046】

なお、本発明は、前記形態例に限定されるものではなく、被観察面の大きさや形状などに応じて、装置本体や周辺機器などの構成を適宜に変更することができる。また、２次元画像データ及び高さ画像データは、通常、走査光の幅が小さいほど高精度なものが得られるが、走査ポリゴンミラーからの走査光の幅は、最小１μｍ程度になっていることから、各種画像データの画素もミクロンオーダの精度が達成できるという利点がある。さらに、レーザ共焦点光学系の中に、焦点深度を拡大することが可能な光学素子、例えば、ＤＯＥ（Ｄｉｆｆｒａｃｔｉｖｅ Ｏｐｔｉｃａｌ Ｅｌｅｍｅｎｔ）素子を用いることができ、この素子により、２次元画像データの安定性や高さ画像データの解像度、高さ情報も確保できる。加えて、３次元光切断型カメラは、被観察面の形状によって走査光の反射光及び散乱光のうちの一方を選択的に、又は、両方を同時に取り込むことができ、反射ミラーを用いない構成にするならば、カメラの視野方向を所定角度に傾けて設置することができる。また、３次元光切断型カメラのフォーカスポイントは、１回の走査毎の処理に時間がかかってもよいので、３次元光切断型カメラに取り付けるレンズとして液体レンズを用いて焦点調整を行うことができる。

【符号の説明】

【0047】

１１…レーザラスタ走査型３次元画像取得装置、１２…レーザラスタ走査画像取得手段、１２ａ…筐体、１２ｂ…走査レンズ、１３…３次元光切断型カメラ、１３ａ…テレセントリックレンズ、１３ｂ…反射ミラー、１３ｃ…データ処理部、１４…基台、１５…支柱、１６…手動フォーカスノブ、１７…電動ステージ、１７ａ…移動機構部、１８…装置本体、１９…パソコン、２０…モニタ、２０ａ…２次元用表示モニタ、２０ｂ…３次元用表示モニタ、２１…制御ボックス、２２…Ａ／Ｄ変換部、２３…コントローラ、２４…マウス、２５…キーボード、２６…レーザ光源部、２７…走査ポリゴンミラー、２７ａ…反射面、２８…テレセントリックｆθレンズ、２９…ビームスプリッタ、３０…結像レンズ、３１…ピンホール、３２…フォトマルセンサ、３３…出力部、３４…原点センサ、３５…原点レーザ発生部、３６…レーザ光照射手段、３６ａ…筐体、３６ｂ…走査レンズ、３７…レーザ光源部、３８…走査ポリゴンミラー、３８ａ…反射面、３９…テレセントリックｆθレンズ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】