特許 7680190 孔の光学撮像及びスキャニング

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-05-12

(45)【発行日】2025-05-20

(54)【発明の名称】孔の光学撮像及びスキャニング

(51)【国際特許分類】

   G01N 21/954 20060101AFI20250513BHJP

【ＦＩ】

G01N21/954 Z

【請求項の数】 15

【外国語出願】

(21)【出願番号】P 2020087770

(22)【出願日】2020-05-19

(65)【公開番号】P2021004873

(43)【公開日】2021-01-14

【審査請求日】2023-05-15

(31)【優先権主張番号】16/419,478

(32)【優先日】2019-05-22

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】500520743

【氏名又は名称】ザ・ボーイング・カンパニー

【氏名又は名称原語表記】Ｔｈｅ Ｂｏｅｉｎｇ Ｃｏｍｐａｎｙ

(74)【代理人】

【識別番号】110002077

【氏名又は名称】園田・小林弁理士法人

(72)【発明者】

【氏名】コスラバニ， シャハリアル

【審査官】奥野 尭也

(56)【参考文献】

【文献】特開２００３－２０７４５８（ＪＰ，Ａ）

【文献】特開２００４－１６３４２５（ＪＰ，Ａ）

【文献】特開２０１６－０７５５０９（ＪＰ，Ａ）

【文献】特表２０１７－５３０４０３（ＪＰ，Ａ）

【文献】特開平０３－２３１１０５（ＪＰ，Ａ）

【文献】特開２０１７－００３５８２（ＪＰ，Ａ）

【文献】特開２０１６－１５６６７９（ＪＰ，Ａ）

【文献】特開２０１６－１０９４５８（ＪＰ，Ａ）

【文献】特開平０４－０３６６４４（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１８／０１５６７３８（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１５／００６７９２９（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｎ ２１／８４－２１／９５８

(57)【特許請求の範囲】

【請求項1】

光学機器（５０）であって、
ハウジング（１６ａ、１６ｂ、１６ｃ）と、
前記ハウジング内部に配置された光源（１８）と、
前記ハウジング内部に配置された画像センサ（３０）と、
前記ハウジングの外部に配置され、円錐軸を有する円錐ミラー（８）と、
前記ハウジングに対して固定された位置に前記円錐ミラーを支持する円錐ミラー支持構造体（２４、３６）と、
前記ハウジングによって支持される光学サブアセンブリであって、前記光源からの光が前記円錐ミラーに衝突し前記円錐ミラーによって半径方向外向きに反射されるように、かつ、半径方向内向きに伝播して前記円錐ミラーに衝突する孔表面からの光が前記画像センサ上に向けられるように構成された、光学サブアセンブリ（１２、１４、２０、２２）と、
前記円錐ミラーに衝突する前記孔表面からの光が前記画像センサ上に向けられることで得られた画像センサ座標を有するピクセルデータを、前記孔表面に対応する円筒座標を有するピクセルデータに変換し、前記孔表面の円筒形シェルを、Ｘ軸及びＹ軸を有する平坦化された２次元平面に展開するように構成された画像処理装置（８８）と
を備え、
前記Ｙ軸は、前記円錐軸と同軸であるＺ軸に平行である、光学機器（５０）。

【請求項2】

前記円錐ミラーは、前記円錐軸に対して４５度に等しい角度で配置される線を、前記円錐軸の周りで回転することによって画定される幾何学的形状を有する、請求項１に記載の光学機器。

【請求項3】

前記円錐ミラー支持構造体は中心ポスト（２４）を備え、
前記円錐ミラーは切頂されて前記中心ポストの一端部に取り付けられている、
請求項１に記載の光学機器。

【請求項4】

前記光学サブアセンブリは、ミラー（２２）と、前記円錐軸と同軸な光軸に沿って配置される第１及び第２のレンズ（１２、３２）と、前記ミラーと前記光源との間に配置される第３のレンズ（２０）と、を備え、前記円錐ミラーから前記画像センサまで伝播する光が、前記第１のレンズ、前記ミラーの周囲、前記第２のレンズを通過するように前記ミラーのサイズが決定されている、請求項３に記載の光学機器。

【請求項5】

前記円錐ミラー支持構造体は円筒軸を有する円筒ガラス管（３６）を備え、
前記円錐軸が前記円筒軸と同軸になるように、前記円錐ミラーは前記円筒ガラス管の内部に配置される、
請求項１に記載の光学機器。

【請求項6】

前記光学サブアセンブリは、ダイクロイックミラー（１４）、第１、第２及び第３のレンズ（１２、２０、３２）を備え、前記ダイクロイックミラー（１４）、第１、第２及び第３のレンズ（１２、２０、３２）は、前記光源から前記円錐ミラーまで伝播する光が、第３のレンズ（２０）を通過し、次いで前記ダイクロイックミラーによって反射され、前記円錐ミラーから前記画像センサまで伝播する光が、前記ダイクロイックミラーを通過し、次いで第１及び第２のレンズ（１２、３２）を通過するように配置される、請求項１に記載の光学機器。

【請求項7】

前記光学サブアセンブリは、ダイクロイックミラー（１４）、第１、第２及び第３のレンズ（１２、２０、３２）を備え、前記ダイクロイックミラー（１４）、第１、第２及び第３のレンズ（１２、２０、３２）は、前記光源から前記円錐ミラーまで伝播する光が、第３のレンズ（２０）を通過し、次いでダイクロイックミラーを通過し、前記円錐ミラーから前記画像センサまで伝播する光が、前記ダイクロイックミラーによって反射され、第１及び第２のレンズ（１２、３２）を通過するように配置される、請求項１に記載の光学機器。

【請求項8】

開口部プレート（４０）をさらに備え、第３のレンズ（２０）が前記開口部プレートと前記光源との間に配置される、請求項１に記載の光学機器。

【請求項9】

基板（２）の孔（６）を撮像するための装置（１３０）に含まれる請求項１に記載の光学機器であって、前記装置は、マルチステージプローブ配置ヘッド（１４０）を備えており、
前記マルチステージプローブ配置ヘッド（１４０）は、ブロックアセンブリ（１３２）と、第１の軸に沿って前記ブロックアセンブリに対して並進可能な第１のステージ（１４４）と、前記第１の軸に直角な第２の軸に沿って前記ブロックアセンブリに対して並進可能な第２のステージ（１４６）と、前記第１及び第２の軸に直角な第３の軸に沿って前記ブロックアセンブリに対して並進可能な第３のステージ（１４２）とを備え、前記第３のステージは前記第２のステージに並進可能に連結され、前記第２のステージは前記第１のステージに並進可能に連結され、
前記第３のステージによって支持され、前記第３のステージから垂下する前記光学機器（５０）。

【請求項10】

基板（２）の孔（６）を撮像するための方法であって、
（ａ）円錐軸が孔の中心線と同軸になり、かつ円錐ミラーの頂点（８ａ）又は円錐ミラーの切り取られた部分（８ｂ）が、前記円錐ミラーの底部がある第２の深さよりも浅い第１の深さにある状態で、前記円錐ミラー（８）を孔（６）内部に配置することと、
（ｂ）前記孔内部の焦点面上に焦点が合わされた光によって前記円錐ミラーを照らすことと、
（ｃ）前記円錐ミラーを用いて、ステップ（ｂ）で述べた光を、前記孔に向かって半径方向外向きに反射させることと、
（ｄ）前記円錐ミラーを用いて、戻り光を前記孔の開口部（４）に向かって軸方向上向きに反射させることと、
（ｅ）ステップ（ｄ）において前記円錐ミラーによって軸方向上向きに反射した光を、画像センサ（３０）上に向けることと、
（ｆ）前記画像センサに衝突する光を、円錐形の光学的歪みを有する前記孔の第１の部分の第１の歪んだサブ画像のピクセルデータを表わす電気信号に変換することと、
（ｇ）画像処理装置により、前記第１の歪んだサブ画像のピクセルデータを、孔表面に対応する円筒座標を有するピクセルデータに変換することと、
（ｈ）前記画像処理装置によって、前記孔表面の円筒形シェルを、Ｘ軸及びＹ軸を有する平坦化された２次元平面に展開することであって、前記Ｙ軸は前記円錐軸と同軸であるＺ軸に平行である、前記孔表面の円筒形シェルを、Ｘ軸及びＹ軸を有する平坦化された２次元平面に展開することと、
を含む方法。

【請求項11】

非一過性の有形コンピュータ可読記憶媒体（７２）に、前記第１の歪んだサブ画像の前記ピクセルデータを保存することをさらに含む、請求項１０に記載の方法。

【請求項12】

前記非一過性の有形コンピュータ可読記憶媒体から、前記第１の歪んだサブ画像の前記ピクセルデータを取得することと、
円錐形の光学的歪みのない第１の平坦化されたサブ画像を表わすピクセルデータを生成するために、前記第１の歪んだサブ画像の前記ピクセルデータを処理することと、
をさらに含む、請求項１１に記載の方法。

【請求項13】

前記第１の平坦化されたサブ画像をディスプレイデバイス（８４）上に表示することをさらに含む、請求項１２に記載の方法。

【請求項14】

（ｉ）前記円錐ミラーの前記頂点又は前記円錐ミラーの切り取られた部分が前記第１の深さよりも前記第２の深さに近い第３の深さにある位置まで、前記孔の中心線に沿って前記円錐ミラーを移動することと、
（ｊ）前記孔内部の前記焦点面上に焦点が合わされた光によって前記円錐ミラーを照らすことと、
（ｋ）前記円錐ミラーを用いて、ステップ（ｊ）で述べた前記光を、前記孔に向かって半径方向外向きに反射させることと、
（ｌ）前記円錐ミラーを用いて、ステップ（ｋ）で述べた前記光の戻り光を前記開口部に向かって軸方向上向きに反射させることと、
（ｍ）ステップ（ｌ）において前記円錐ミラーによって軸方向上向きに反射させられた光を、画像センサ（３０）上に向けることと、
（ｎ）前記画像センサに衝突する光を、円錐形の光学的歪みを有する前記孔の第２の部分の第２の歪んだサブ画像のピクセルデータを表わす電気信号に変換することと、
をさらに含む、請求項１０から１３のいずれか一項に記載の方法。

【請求項15】

円錐形の光学的歪みのない第１の平坦化されたサブ画像を表わすピクセルデータを生成するために、前記第１の歪んだサブ画像の前記ピクセルデータを処理することと、
円錐形の光学的歪みのない第２の平坦化されたサブ画像を表わすピクセルデータを生成するために、前記第２の歪んだサブ画像の前記ピクセルデータを処理することと、
前記第１及び第２の平坦化されたサブ画像をつなぎ合わせることと、
少なくとも前記第１及び第２の平坦化されたサブ画像を含む平坦化された画像を表示デバイス（８４）に提示することと、
をさらに含む、請求項１４に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は概して、加工対象物又は構造体に機械加工された孔を検査するための方法及び装置に関して、より具体的には、ファスナを受け入れるように設計された孔を検査するための方法及び装置に関する。

【背景技術】

【0002】

軽量複合材料（繊維強化プラスチック材料など）は、航空宇宙産業界では、商用航空機と軍用機に加えて、他の航空宇宙ビークルでも、さらには他の産業界においても、ますます広範囲に使用されている。これらの複合材料を使用する構造体は、高強度構造体を形成するために積層されうる材料の複数のプライ又は層を用いて形成されてもよい。材料の多数の層を互いに締結するための少なくとも一つの方法は、層をクランプし、ドリルで穿孔し、その後、ある種のファスナを孔に挿入し、それにより層を互いに固定することである。

【0003】

製造現場では、製造された部品が設計仕様に適合していることを確かめるため、測定と検査が頻繁に行われる。これには、孔が望ましい形状と構成になっていること、例えば、直径と配置が工学上の許容誤差の範囲内にあることを確かめるために、ドリル孔などの孔の検査が含まれる。製造部品が設計仕様に適合していることを確かめることは、厳密な製造基準が維持される航空宇宙製造などの産業界では特に重要である。

【0004】

ドリル孔の設計仕様に対する適合性を確かめるため、品質管理又は品質保証の検査官に各孔の検査を依頼すること、又は、サンプル個数の孔を分析する統計的手法を用いることが、一般的に行われている。検査は、静電容量プローブ、空気圧孔プローブ、レーザー孔プローブ、ボール型プローブなどの孔径プローブを孔に手動で挿入し、設計仕様に対する適合性又は差異をチェックすることによって行われうる。複合材料又は金属の孔を光学撮像するための技術は、孔の中心線（以降、「Ｚ軸」）に対するオフセット角で深度の浅い画像しか収集できないが、これは（孔のＺ軸と同じ）光軸に沿った標準的な顕微鏡の視野が極めて狭いためである。このような光学撮像はまた、単一焦点平面に、全３６０度の平坦な孔の画像を生成することができない。

【0005】

孔の状態を評価するため、構造体の孔内部でＺ軸に沿ってスキャン可能な装置を提供することは有利であろう。

【発明の概要】

【0006】

以下で詳細に開示される主題は、複合材料又は金属材料からなる基板に機械加工、ドリル穿孔又はその他によって形成された孔の光学撮像及びスキャニングのための方法及び装置を対象としている。本書に記載の方法は、画像データを後処理して、円錐形の光学的歪みのない完全に平坦化された１つの画像を生成するように構成された（例えば、プログラムされた）画像処理装置と組み合わせて、孔の撮像及びスキャニングのための光学機器を利用する。いくつかの実施形態によれば、光学機器には、円錐形の歪みを有する全３６０度のサブ画像を生成するため、軸方向に配置された共焦点照明と円錐ミラーを備える光学顕微鏡が含まれる。後処理ステップでは、未加工の円錐サブ画像を平坦なサブ画像に変換するため、コンピュータで実行可能なコードの形式での数学的変換が用いられる。サブ画像の平坦化は、画像ビットの単純な数学的変換を用いて行われる。平坦化されたサブ画像は、孔の完全に平坦化された画像を形成するため、つなぎ合わされてもよい。

【0007】

設計により、顕微鏡は、衝突した光を画像のピクセルデータを表わす電気信号に変換する光電気素子の焦点面アレイ（以降、「光検出器のアレイ」）などの画像センサ上に光を集めるために、レンズ及び／又はミラーを使用する。本書で使用しているように、「光検出器」という用語は、デバイスの表面への光子の衝突に応じて電子を放出することができるデバイスを意味する。装置は、孔のＺ軸に平行な方向に移動可能な可動式ステージに取り付けられた９０度「円錐ミラー」を含み、一方、円錐の軸は孔のＺ軸と同軸になっている。しかしながら、切り取られた円錐形のミラー（「円錐台形ミラー」とも称される）も使用されうることを理解されたい。円錐形又は円錐台形の反射面を有するミラーは、本書では「円錐ミラー」と称される。

【0008】

以下で詳細に開示される主題は、締結される構造体の孔を検査するための自動化された高速な方法、並びに当該検査方法を実施するためのコンピュータ制御された装置をさらに対象としている。様々な実施形態では、装置は、スキャニングブリッジに装着されたマルチモーション検査ヘッド、ロボットアームの端部、又はロボット無軌道車両を備える。マルチモーション検査ヘッドは、前述の光学機器、並びに、複数の連続運動を実現するため、Ｘ、Ｙ及びＺ軸に沿って光学機器を移動させるように操作可能な電動式マルチステージプローブ配置ヘッドを備える。光学機器は、Ｚ軸の周りでの回転のため、Ｘ軸（またはＹ軸）ステージに回転可能に連結されたマンドレルに取り付けられている。フィードバック制御付きのスマートサーボモーター又はステッパモーターは、光学機器を所定の位置に移動し、各孔の内部を連続してスキャンするために使用される。一実施形態では、装置は、孔の列の検査に必要となる特別な運動のために、連続的に配置され制御される多方向電動ステージを備える。

【0009】

いくつかの実施形態では、顕微鏡及び光学機器の光源は、マルチモーション検査ヘッドによって運ばれるハウジング内に収容される。光学機器はさらに、ハウジングから下方向に延びる光プローブ（例えば、円錐ミラーと関連する支持構造体）を含む。光プローブは、検査される孔の内側に適合するように、サイズ決定され成形される。マルチモーション検査ヘッドは、光プローブの光軸が孔の中心線（Ｚ軸）に位置合わせされるまで顕微鏡を移動し、次に光プローブが孔内側の開始深度に達するまでプローブを孔に挿入するように構成されている。顕微鏡の画像センサは、様々な深さで孔の内側のサブ画像を収集する。提案している一実装では、マルチモーション検査ヘッドは、孔のＺ軸に沿って光プローブを断続的に動かし、画像センサは、光プローブが停止している間に一定の時間間隔で未加工の円錐サブ画像を収集する。１つの孔が完全に検査された後、光プローブは当該の孔から取り外され、検査すべき次の孔に挿入される。このように、孔の列の複数の孔は連続して検査されうる。

【0010】

いくつかの実施形態では、光源からの光は、画像収集中に軸方向に（又は、ほぼ軸方向に）向けられる。軸方向に伝播する光は、孔の直面する部分に向かって半径方向外向きに向けられる。照明光のこの半径方向への再配向は、円錐ミラーを用いて実施される。円錐ミラーは円錐（又は、円錐台形）の表面を有し、その頂点は顕微鏡の光軸に沿って配置される。円錐ミラーは、光源から軸方向に（又はほぼ軸方向に）伝播する光を受け取り、光プローブが挿入される孔の直面する３６０度部分を照らすため、光を半径方向外向きに反射する。

【0011】

本書で提案している方法は、単純であるが完全な光学検査を提供する。孔表面の粗度及び孔径の変動も１回のスキャンで完全に評価可能である。プローブの曲率半径の範囲内の局所条項のみを提供する代わりに、本書で開示した光学検査技術は、全３６０度ビューを生成する。

【0012】

孔の光学撮像及びスキャニングのための方法及び装置の様々な実施形態を本書において以下でやや詳細に説明するが、これらの実施形態のうちの一又は複数は、下記の態様のうちの一又は複数によって特徴付けられうる。

【0013】

以下で詳細に開示される主題の一態様は、ハウジングと、ハウジング内部に配置された光源と、ハウジング内部に配置された画像センサと、ハウジングの外部に配置され円錐軸を有する円錐ミラーと、ハウジングに対して固定された位置に円錐ミラーを支持する円錐ミラー支持構造体と、光源からの光が円錐ミラーに衝突して、円錐ミラーによって半径方向外向きに反射され、また、半径方向内向きに伝播して円錐ミラーに衝突する光が画像センサ上に向けられるように、ハウジングによって支持され、構成される光学サブアセンブリと、を備える撮像デバイスである。

【0014】

直前の段落で述べた光学機器のいくつかの実施形態では、円錐ミラー支持構造体は中心ポストを備え、円錐ミラーは切頂されて中心ポストの一端部に取り付けられている。他の実施形態では、円錐ミラー支持構造体は円筒軸を有する円筒ガラス管を備え、円錐軸が円筒軸と同軸になるように、円錐ミラーは円筒ガラス管の内部に配置される。

【0015】

以下で詳細に開示する主題の別の態様は、基板の孔を撮像するための方法であって、当該方法は、（ａ）円錐軸が孔の中心線と同軸になり、円錐ミラーの頂点又は円錐ミラーの切り取られた部分が、円錐ミラーの底部がある第２の深さよりも浅い第１の深さにある状態で、円錐ミラーを孔内に配置することと、（ｂ）孔内部の焦点面上に焦点が合わされた光によって円錐ミラーを照らすことと、（ｃ）円錐ミラーを用いて、ステップ（ｂ）で述べた光を、孔に向かって半径方向外向きに反射させることと、（ｄ）円錐ミラーを用いて、戻り光（ｒｅｔｕｒｎｉｎｇ ｌｉｇｈｔ）を開口部に向かって軸方向上向きに反射させることと、（ｅ）ステップ（ｄ）の円錐ミラーによって、軸方向上向きに反射した光を画像センサ上に向けることと、（ｆ）画像センサに衝突する光を、円錐形の光学的歪みを有する孔の第１の部分の第１の歪んだサブ画像のピクセルデータを表わす電気信号に変換することと、を含む。方法はさらに、第１の歪んだサブ画像のピクセルデータを処理して、円錐形の光学的歪みのない第１の平坦化されたサブ画像を表わすピクセルデータを生成することを含む。

【0016】

直前の段落で述べた方法はさらに、（ｇ）円錐ミラーの頂点又は円錐ミラーの切り取られた部分が第１の深さよりも第２の深さに近い第３の深さにある位置まで、孔の中心線に沿って円錐ミラーを移動することと、（ｈ）孔内部の焦点面上に焦点が合わされた光によって円錐ミラーを照らすことと、（ｉ）円錐ミラーを用いて、ステップ（ｈ）で述べた光を、孔に向かって半径方向外向きに反射させることと、（ｊ）円錐ミラーを用いて、ステップ（ｉ）で述べた光の戻り光を開口部に向かって軸方向上向きに反射させることと、（ｋ）ステップ（ｊ）の円錐ミラーによって、軸方向上向きに反射した光を画像センサ上に向けることと、（ｌ）画像センサに衝突する光を、円錐形の光学的歪みを有する孔の第２の部分の第２の歪んだサブ画像のピクセルデータを表わす電気信号に変換することと、を含む。この場合、方法はさらに、第１の歪んだサブ画像のピクセルデータを処理して、円錐形の光学的歪みのない第１の平坦化されたサブ画像を表わすピクセルデータを生成することと、第２の歪んだサブ画像のピクセルデータを処理して、円錐形の光学的歪みのない第２の平坦化されたサブ画像を表わすピクセルデータを生成することと、第１及び第２の平坦化されたサブ画像をつなぎ合わせることと、少なくとも第１及び第２の平坦化されたサブ画像を含む平坦化された画像を表示デバイスに提示することと、を含む。

【0017】

以下で詳細に開示される主題のさらなる態様は、ブロックアセンブリと、第１の軸に沿って前記ブロックアセンブリに対して並進可能な第１のステージと、前記第１の軸に直角な第２の軸に沿って前記ブロックアセンブリに対して並進可能な第２のステージと、前記第１及び第２の軸に直角な第３の軸に沿って前記ブロックアセンブリに対して並進可能な第３のステージとを備え、前記第３のステージは前記第２のステージに並進可能に連結され、前記第２のステージは前記第１のステージに並進可能に連結される、マルチステージプローブ配置ヘッドと、第３のステージによって支持され、第３のステージから垂下する光学機器であって、第３のステージに連結されて並進可能なハウジングと、ハウジング内に配置された光源と、ハウジング内に配置された画像センサと、ハウジングの外部に配置され、第１の軸に平行な円錐軸を有する円錐ミラーと、ハウジングに対して固定された位置で円錐ミラーを支持する円錐ミラー支持構造体と、光源からの光が円錐ミラーに衝突して円錐ミラーによって半径方向外向きに反射され、また、半径方向内向きに伝播して円錐ミラーに衝突する光が画像センサ上に向けられるように、ハウジングによって支持され、構成される光学サブアセンブリとを備える光学機器と、を備える、基板の孔を撮像するための装置である。

【0018】

以下で詳細に開示される主題のさらなる態様は、モーターの作動によってエンドエフェクタを動かすように構成された自動化装置と、エンドエフェクタに装着された光学機器と、光学機器によって収集された円錐形の光学的に歪んだ画像を受け取り、円錐形の光学的に歪んだ画像のピクセルデータを処理して、円錐形の光学的歪みのない平坦化された画像を表わすピクセルデータを生成するように構成された画像処理装置とを備える、基板の孔を撮像するためのシステムである。光学機器は、エンドエフェクタに連結されたハウジング、ハウジング内部に配置された光源と、ハウジング内部に配置された画像センサと、ハウジングの外部に配置され、第１の軸に平行な円錐軸を有する円錐ミラーと、ハウジングに対して固定された位置に円錐ミラーを支持する円錐ミラー支持構造体と、ハウジングによって支持され、光源からの光が円錐ミラーに衝突し、円錐ミラーによって半径方向外向きに反射され、半径方向内向きに伝播し、円錐ミラーに衝突する光が画像センサ上に向けれるように構成される光学サブアセンブリと、を備える。

【0019】

孔の光学撮像及びスキャニングのための方法及び装置の他の態様が以下で開示される。

【0020】

先行部に記載した特徴、機能、及び利点は、様々な実施形態において個別に実現さうるか、又は、さらに他の実施形態において組み合わされうる。上述した態様及びその他の態様を例示する目的で、これより、様々な実施形態について、図面を参照しつつ説明していく。本節で簡潔に記載されている図面はいずれも、縮尺どおりに描かれていない。

【図面の簡単な説明】

【0021】

【図1】一実施形態による、円錐ミラーを用いた孔の撮像に適した光学機器の動作原理を示す図である。

【図2】軸方向下向きに伝播する光が、円錐ミラーによって孔のリング形状部分に向かって半径方向外向きに反射されるときに、照らされる孔を示す図である。

【図3】図２の一部を拡大して示す図である。

【図4】一実施形態による、中心ロッドによって支持される円錐ミラーを用いた孔の撮像に適した光学機器の構造及び機能の特徴を示す図である。

【図5】別の例示的な実施形態による、ガラス管によって支持される円錐ミラーを用いた孔の撮像に適した光学機器の構造及び機能の特徴を示す図である。

【図6A】孔の円筒基準フレームと孔に挿入された円錐ミラーとの幾何学的関係を示し、また、孔表面上の点と画像センサによって検出される画像上の対応する点とをさらに示す図である。

【図6B】孔の円筒基準フレームに中心を置く極座標系で、像点の位置を示す図である。

【図6C】孔表面の点から発せられる光線が、円錐ミラーによって反射され、画像センサ上に像点を生成することを示す図である。

【図7】中心ロッドによって支持される円錐ミラーを用いた孔の撮像に適した光学機器の三次元表示で、円錐ミラーが孔内部に示されている図である。

【図8】さらなる例示的実施形態による、ガラス管によって指示される円錐ミラーを用いた孔の撮像に適した光学機器の三次元表示を示す図である。

【図9】図８に示した種類の光学機器を運ぶ無軌道車両の側面図を示す図である。

【図10】一実施形態による、孔の光学撮像及びスキャニングのためのコンピュータ制御された装置のいくつかの構成要素を特定するブロック図である。

【図11】ロボットに装着された図８に示した種類の光学機器の立面図を示す図である。

【発明を実施するための形態】

【0022】

以下で図を参照するが、異なる図中の類似の要素には、同一の参照番号が付される。

【0023】

孔の光学撮像及びスキャニングのための方法及び装置の例示的な実施形態が以下で詳細に記載される。しかしながら、実際の実装のすべての特徴が本明細書に記載されているわけではない。当業者であれば、このようないかなる実際の実施形態の開発において、開発者の特定の目的を達成するためには、多数の実装形態ごとに固有の判断を行う必要があることを理解するであろう。開発者の特定の目的は、例えば、システム関連の制約及び事業関連の制約の順守であり、これは、実装形態によって異なる。さらに、このような開発の取り組みは複雑かつ時間のかかるものとなりうるが、それでも、この開示から受益する当業者にとって、それは所定の通常業務であることが、理解されよう。

【0024】

複合材料又は金属材料からなる基板に機械加工、ドリル穿孔又はその他によって形成された孔の光学撮像及びスキャニングのための方法及び装置は、例示を目的としてやや詳細に説明される。本方法には、円錐ミラーを有する光プローブを孔内部に挿入すること、孔の一部の３６０度サブ画像を撮影すること、次にそのサブ画像データを、円錐形の光学的歪みのない平坦化されたサブ画像を生成するように構成された（例えば、プログラムされた）画像処理装置に送ること、が含まれる。複数の平坦化されたサブ画像は、完全に平坦化された孔の画像を形成するため、つなぎ合わされてもよい。

【0025】

図１は、複合材料（例えば、炭素繊維強化プラスチック）からなる基板２の孔６の撮像に適した光学機器５０の動作原理を示す図である。光学機器５０は、ハウジング部分１６ａを有する顕微鏡１０と、ハウジング部分１６ｂの内部の光源１８とを含む。光学機器ハウジングの他の部分は図１に示されていない。画像センサ（図１に示さず）は、顕微鏡１０のハウジング部分１６ａの内部に配置される。光源１８は、ハウジング部分１６ｂの内部に配置される。いくつかの実施形態では、光源１８は単色点光源である。

【0026】

光学機器５０はさらに、孔６の内部に適合するサイズの円錐ミラー８を含む。円錐ミラー８は、光学機器５０のハウジングの外部に配置され、円錐軸を有する。円錐ミラーは、円錐ミラー支持構造体（図１に示さず）によって、光学機器５０のハウジングに対して固定された位置に支持される。円錐ミラー８は、円錐軸に対して４５度に等しい角度で配置される線を、円錐軸の周りで回転することによって画定される幾何学的形状を有する。図１に部分的に示されている実装では、円錐ミラー８は頂点８ａと底部８ｃを有する。しかしながら、代替的な実施形態では、円錐ミラー８は切り取られうることを理解されたい。

【0027】

図１に部分的に示されている光学機器５０はさらに、ハウジングによって支持される光学サブアセンブリを含む。光学アセンブリは、ハウジング部分１６ａによって支持される対物レンズ１２と、ハウジング部分１６ｂによって支持されるレンズ２０と、示されていないハウジング部分によって支持されるダイクロイックミラー１４及びミラー２２とを含む。ダイクロイックミラー１４及びミラー２２は共に、対物レンズ１２の光軸に対して４５度の角度で配置される。光学サブアセンブリは、光源１８からの光（破線の矢印Ｌ１で示される）が円錐ミラー８に衝突するように構成されている。円錐ミラー８は、衝突する光を、孔６の直面する部分に向かって半径方向外向きに反射する。加えて、孔６から戻り、円錐ミラー８に衝突する半径方向内向きに伝播する光は、円錐ミラー８によって、対物レンズ１２に向かって反射される。図面が煩雑になるのを避けるため、図１は、顕微鏡１０に戻される１本の光線Ｌ２のみを示している。

【0028】

いくつかの実施形態では、光源１８からの光Ｌ１は、画像収集中には、ミラー２２及びダイクロイックミラー１４によって、円錐ミラー８に向かって軸方向に（又は、ほぼ軸方向に）向けられる。より具体的には、ミラー２２に衝突する光は、ダイクロイックミラー１４上で反射される。ダイクロイックミラー１４は次に、顕微鏡１０の光軸に平行な角度で、光源からの光を反射する。軸方向に伝播して円錐ミラー８に衝突する光は、孔６の直面する部分に向かって半径方向外向きに反射される。円錐ミラー８の頂点８ａは、顕微鏡１０の光軸に沿って配置される。円錐ミラー８は、軸方向に（又は、ほぼ軸方向に）伝播する光を受け取り、その光を半径方向外向きに反射し、孔６の直面する３６０度のリング形状部分を照らす。当該の光の一部は、孔６によって、円錐ミラー８に向かって戻るように散乱される。次に円錐ミラー８は、ダイクロイックミラー１４に向かって軸方向上向きに伝播する光を半径方向内向きに反射し、これによって光を対物レンズ１２に送る。

【0029】

ダイクロイックミラー１４は、ある範囲内の波長を有する光の透過を可能にし、当該範囲外の波長を有する光を反射する。ダイクロイックミラー１４は、光源１８からの光を反射し、円錐ミラー８から受け取った光を送るように設計されうる。ダイクロイックミラー１４は、顕微鏡１０の光軸に対して、約４５度（±５度の範囲内）の角度で配置される。ダイクロイックミラーの効果を最大化し、直角な入射光を反射するために、４５度の配向が望ましい。ダイクロイックミラーの一実施例は、ホウケイ酸クラウンガラスコーティングを有するＰＹＲＥＸ（商標）基板である。反射される又は透過するように選択される特定の波長は、ミラーとコーティングを注意深く選択することによって制御可能である。典型的には、リング形状孔部分６ａが、円錐ミラー８によって半径方向外向きに反射された光を吸収した後、より長い波長で光の再放出（散乱）が起こる。したがって、画像センサ３０に戻る散乱光をより良く識別するためには、より短い波長で照明を選択しなければならない。例えば、赤色光を通し、青色光を反射するように設定されたダイクロイックミラーを用いると、光源１８からの青色光は、円錐ミラー８に向かってダイクロイックミラー１４によって反射される。リング形状の孔部分６ａを照らす青色光によって、ＣＦＲＰ表面は（青色光よりも長い波長を有する）散乱された赤色光を生成する。赤色色は、ダイクロイックミラーによって、顕微鏡１０の内部で画像センサ３０に向かって送られる。

【0030】

画像センサ３０は衝突する光子を電子に変換し、円錐形の光学的歪みを有する孔６のリング形状部分６ａの全３６０度サブ画像を表わす画像データを出力する。後処理ステップでは、未加工の円錐サブ画像は、円錐形の光学的歪みのない平坦化されたサブ画像に変換される。平坦化された画像は次に、孔６の形状と構成を評価するため、さらに処理される。したがって、図１に示した動作原理を実装するシステムは、深さ方向に孔をスキャンし、特定の孔の特性情報を含む孔の平坦化された画像を生成するために使用される。例えば、平坦化された画像は、孔の形状及び構成（例えば、直径、配向及び表面粗度）が工学上の許容誤差の範囲内にあるか否かを判断するために処理されうる。

【0031】

図２は、軸方向下向きに伝播する光が衝突し、円錐ミラー８の反射面によって、孔６のリング形状部分６ａに向かって半径方向外向きに反射されるときに、照らし出される孔６を示す図である。図２に示した実施形態では、ハウジング部分１６ａに対して固定された位置に円錐ミラー８を支持する円錐ミラー支持構造体は、直線軸と円形の断面を有する中心ロッド２４である。提案している一実装では、中心ロッド２４の軸は顕微鏡１０の光軸と同軸になっている。Ｘ－Ｙ回転アラインメントは、図２の点２８によって示されている。

【0032】

図２に示した実施例では、円錐ミラー８の切り取られた部分８ｂは、中心ロッド２４の一方の端部に取り付けられている。顕微鏡１０はさらに、画像センサ３０と、対物レンズ１２と画像センサ３０との間の位置にハウジング部分１６ａによって支持される画像正立レンズ３２（以降、「第２のレンズ３２」）とを含む。画像センサ３０は、可視光又は赤外線波長に敏感な電荷結合素子（ＣＣＤ）などの、ステアリング焦点面アレイを備えてもよい。

【0033】

既に述べたように、孔６のリング形状部分６ａは、孔の中へ軸方向に伝播し、円錐ミラー８の反射面に衝突し、次いで当該反射面によって半径方向外向きに反射される光によって照らされる。孔６のリング形状部分６ａの上で反射した光の一部は、円錐ミラー８の反射面に向かって反射又は散乱されて戻り、次に円錐ミラー８は戻り光を対物レンズ１２に向けて反射する。顕微鏡１０の対物レンズ１２は、顕微鏡１０の光軸に垂直な第１の画像平面に、画像を形成する。第２のレンズ３２は対物レンズ１２から光を受け取り、その光に焦点を合わせて、画像センサ３０の光導電面に合致する第２の画像平面に画像を形成する。その結果、画像センサ３０（例えば、光検出器のアレイ）は、孔６のリング形状部分６ａの未加工の円錐サブ画像を収集する。

【0034】

図３は、図２の一部を拡大して示す図である。円錐ミラー８の傾斜した反射面は、底部８ｃに対して円錐角ωで配置される。孔６のリング形状部分６ａの高さは、円錐ミラー８の反射面によって反射された光によって照らされている。円錐角ωが４５度に等しい場合には、孔６の照らされたリング形状部分６ａは、図３に示した２本の光線Ｌ１を隔てる距離に等しく、この実施例では、２本の光線は、円錐軸に平行に伝播し、円錐ミラー８の反射面に衝突する、半径方向で最も内側の光線と半径方向で最も外側の光線を表わす。図３に示されていない代替的な実施例では、孔６の照らされたリング形状部分６ａの高さは、円錐ミラーの高さ（例えば、切り取られた部分８ｂと底部８ｃとの間の距離）に等しくなりうる。照明光は、円錐ミラー８の底部８ｃ下方のある距離に位置する（図３の水平破線によって示される）焦点面Ｆを有する。

【0035】

提案している一実装では、円錐ミラー８は、孔６の中心線（Ｚ軸）に沿って所定の距離だけ断続的に平行移動され、未加工の各円錐サブ画像がそれぞれの垂直位置で捕捉される。それぞれの運動に従う時間間隔で、画像センサ３０（図２参照）が未加工の円錐サブ画像を収集する間、円錐ミラー８は停止している。孔の深さ全体に沿って１つの孔が完全に検査された後、当該孔から光プローブが取り除かれ、検査される次の孔に挿入される。このように、孔の列の複数の孔は、連続して検査されうる。

【0036】

図４は、例示的な一実施形態による、中心ロッド２４によって支持された円錐ミラー８を用いた、同軸撮像及び共焦点照明による孔６の撮像に適した光学機器５０Ａの構造及び機能の特徴を示す図である。中心ロッド２４及び円錐ミラー８の軸は、顕微鏡１０の光軸と共軸である。光学機器５０Ａはさらに、光源１８、レンズ２０及び小さな４５度のミラー４２を含む。レンズ２０は、小さな４５度のミラー４２上に、光源１８からの光の焦点を結ぶように構成されている。開口部プレート４０は、レンズ２０と小さな４５度のミラー４２との間に配置されている。小さな４５度のミラー４２は、衝突する光を顕微鏡１０の対物レンズ１２に向けて反射する。光源１８からの光は、撮像される孔６のリング形状部分を照らすため、孔６の開口部４及び円錐ミラー８の反射面に向けて、対物レンズ１２によって送られる。

【0037】

図４に示した例示的な実施形態では、顕微鏡１０はさらに、第２のレンズ３２と電荷結合素子画像センサ３８（以降、「ＣＣＤ画像センサ３８」）とを含む（図４には示されていないが、ＣＣＤ画像センサ３８は、顕微鏡１０のハウジング部分１６ａによって支持されている）。ＣＣＤ画像センサでは、光検出器はｐ型金属酸化物半導体キャパシタである。画像収集が始まると、これらのキャパシタは反転のため閾値を超えてバイアスされ、半導体ー酸化物の界面における入射光子から電荷への変換を可能にする。次にこれらの電荷を読み出すためにＣＣＤが使用される。小さな４５度のミラー４２は、対物レンズ１２から第２のレンズ３２まで伝播する光を遮らないサイズになっている。例えば、小さな４５度のミラー４２は、中心ロッド２４によって作り出される影の範囲内に適合するサイズであってよい。したがって、円錐ミラー８によって上向きに反射される光は、対物レンズ１２、小さな４５度のミラー４２の周囲、第２のレンズ３２を通過して、次でＣＣＤ画像センサ３８に衝突する。対物レンズ１２は、点ｆの位置にある第１の画像平面を有する。第２のレンズ３２は、ＣＣＤ画像センサ３８の位置にある第２の画像平面を有する。

【0038】

図５は、例示的な別の実施形態による、ガラス支持管３６によって支持された円錐ミラー８を用いた、同軸照明及び共焦点撮像による孔６の撮像に適した光学機器５０Ｂの構造及び機能の特徴を示す図である。ガラス支持管３６は、その内面及び外面に反射防止コーティングをそれぞれ有する。光学機器５０Ｂは、光源１８、レンズ２０、開口部プレート４０、ダイクロイックミラー１４及び対物レンズ１２を含む。光源１８からの光は、レンズ２０、開口部プレート４０、ダイクロイックミラー１４及び対物レンズ１２を通って伝播し、孔６に入る。光源１８からの光は、撮像される孔６のリング形状部分を照らすため、円錐ミラー８の反射面に送られる。

【0039】

図５に示した例示的な実施形態では、顕微鏡１０はさらに、第２のレンズ３２とＣＣＤ画像センサ３８とを含む円錐ミラー８によって上向きに反射された光は、対物レンズ１２を通過し、次にダイクロイックミラー１４によって、第２のレンズ３２に向けて反射される。次に、第２のレンズ３２は、衝突する光をＣＣＤ画像センサ３８の光導電面に集める。

【0040】

一実施形態では、基板の孔を撮像するシステムはさらに、光学機器によって収集された円錐形の光学的に歪んだ画像を受け取り、円錐形の光学的に歪んだ画像のピクセルデータを処理して、円錐形の光学的歪みのない平坦化された画像を表わすピクセルデータを生成するように構成された（例えば、プログラムされた）画像処理装置を備える。提案している一実装では、画像処理装置は、以下のステップを含む平坦化アルゴリズムを実行するようにプログラムされている。すなわち、画像センサ座標を有するピクセルデータを、孔表面に対応する円筒座標を有するピクセルデータに変換するステップと、孔表面の円筒形シェルを、Ｘ軸及びＹ軸を有する平坦化された２次元平面に展開するステップである（図２に示したＸＹＺ座標系のＸ軸及びＹ軸とは異なる。平坦化された２次元座標系の新しいＹ軸は、ＸＹＺ座標系のＺ軸に平行である）。この変換は、円錐ミラー８の孔表面の記録された反射画像の平坦な２次元直交座標系（すなわち、画像センサの画素位置）を、平坦化された場合に孔表面を表わす、新たに展開された平坦な２次元直交座標系に変換する。結果は、円筒形の光学的に歪んだ画像が、円錐形の光学的歪みのない平坦化された画像に変換されることになる。

【0041】

図６Ａは、孔の円筒基準フレーム４４と、孔のＺ軸と同軸である円錐軸を有する円錐ミラー８との幾何学的関係を示す図である。撮像された孔表面上の点は、図６Ａの点Ｐ_０で表わされている。画像センサによって検出された画像上の対応する点は、図６Ａの点Ｐ_１によって表わされ、（ｉｍ_ｘ，ｉｍ_ｙ）に等しい画像センサの基準フレームの座標を有する。図６Ｂは、孔の円筒形基準フレーム４４に中心を置く極座標系で、像点の位置を示す図である。

【0042】

図６Ｃは、最初に点Ｐ０からＺ軸に垂直な経路４６に沿って半径方向内向きに伝播し、円錐ミラーによって９０度反射され、次いで、光線が画像センサに衝突するまで経路４８に沿って上向きに伝播し、結果として像点Ｐ_１を生成する光線を示している。図６Ｃに最もよく示されているように、円錐ミラー８の最大半径はＲ_０に等しく、Ｚ軸から光線が円錐ミラー８に衝突した点までの距離はｒに等しいＸ軸と、画像センサのＸＹ座標系の原点と像点Ｐ_１とをつなぐベクトルとの間の角度は、図６Ｂでθによって示されている。

【0043】

平坦化アルゴリズムの第１のステップは、点Ｐ_１の像座標（ｉｍ_ｘ，ｉｍ_ｙ）と高さｈを図６Ｂの極座標ｒとθに変換することである。

【0044】

平坦化アルゴリズムの第２のステップは、円筒形基準フレーム４４を平坦化し、極座標ｒとθを平坦化された画像の点Ｐ０の像座標（ｉｍ_ｘ’，ｉｍ_ｙ’）に変換することである。ここで、ｉｍ_ｘ’は基準点Ｏから点Ｐ_０までの円弧長θＲ_０（図６Ｂに示す）に等しく、ｉｍ_ｙ’は点Ｐ０の高さｈ＝Ｒ_０－ｒ（図６Ａに示す）に等しい。

【0045】

上述の円錐－平面変換は、孔の平坦化された画像を生成するため、孔から収集したすべての像点上で実施される。当該画像は、孔の目視検査を可能にする目的で、技術者に表示される。本書に開示した平坦化のアルゴリズムは、種々の構成を有するが、各孔に挿入される光プローブが円錐ミラーを含むという一般的な特徴を共有する光学機器に関連して採用されうる。

【0046】

図７は、基板２の孔６の内側で、中心ロッド２４によって支持される円錐ミラー８を有する光学機器５０Ｃの３次元画像を表わしている。両方向矢印は、光学機器５０Ｃが、孔６の軸と共軸なＺ軸に沿って垂直に移動可能であることを示している。光学機器５０Ｃのハウジングは、（ａ）顕微鏡１０の構成要素を収納するハウジング部分１６ａと、（ｂ）光源１８を収納するハウジング部分１６ｂと、対物レンズ１２の軸に対して、共に４５度の角度で配置される（破線の楕円で示された）ダイクロイックミラー１４及びミラー２２を含む光学サブアセンブリを収納するハウジング部分１６ｃと、を含む。対物レンズ１２は、ハウジング部分１６ａによって支持される。レンズ２０は、ハウジング部分１６ｂによって支持される。光源１８からの光は、レンズ２０によって送られ、ミラー２２によって反射され、ダイクロイックミラーによって下向きに反射され、次いで円錐ミラー８に衝突する。孔６からの戻り光は、円錐ミラー８によって上向きに反射され、ダイクロイックミラー１４及び対物レンズ１２によって送られ、次いで顕微鏡１０内部の画像センサ（図７には示されていない）に衝突する。

【0047】

図８は、中心ロッド２４の代わりに中心ガラス管３６によって支持される円錐ミラー８を有する光学機器５０Ｄの３次元画像を表わす図である。図８に示した他の構成要素は、図７に描かれ、直前の段落で説明されている、類似の番号が付けられた構成要素と同じ構造と機能を有する。

【0048】

図９は、一実施形態により前端部に装着されたマルチステージプローブ配置ヘッド１４０を有する無軌道車両１３０の側面図を表わす図である。マルチステージプローブ配置ヘッド１４０は、基板２（胴体外板など）の孔６の撮像に使用することができる、光学機器５０Ｄを支持する。１つの孔６のみを示しているが、典型的には複数の孔６が整列して配置される。光学機器５０Ｄは、光プローブ２６が孔６と垂直に整列される位置に示されており、例えば、光プローブ２６の光軸は、孔６の中心線と同軸になっている。検査手続き中、光学機器５０Ｄは孔内の異なる深度に配置され、各深度でぞれぞれの画像を撮影する。

【0049】

無軌道車両１３０は、車輪と吸着デバイス（例えば、無軌道車両１３０のフレームに装着されたモーターによって駆動されるファン）を用いて、水平でない表面に沿ってホロノミック運動が可能で、真空で動作する遠隔操作型のロボットの形態をとりうる。図９に示した実施形態では、４つの車輪の組のうち、２つの車輪１２２ａと１２２ｂのみが見えており、吸着デバイスは示されていない。無軌道車両１３０のフレームに装着された各モーターによって駆動されるメカナム型車輪の回転によって、ホロノミック運動が可能になる。回転と並進が分離されているホロノミック運動によって、ＸＹ平面内の任意の方向へのスキャニングが可能になる。無軌道車両１３０は、検査される孔６の列に平行なＸ軸によって、ＸＹ平面内の動きに対して操縦可能である。孔６の列に沿った無軌道車両１３０の動きは、図９の「Ｙ方向並進」と書かれた長い両方向矢印によって示されている。

【0050】

ビデオカメラ９０は、無軌道車両１３０に装着される。ビデオカメラ９０は、その視野がマルチステージプローブ配置ヘッド１４０の下方の空間を含むように配向可能である。ビデオカメラ９０は画像データを捕捉し、当該画像データをコンピュータ（図９には示さず）に送信する。ビデオカメラ９０とコンピュータと間の通信チャネルは、電気ケーブル又は無線を介することができる。光学機器５０Ｄと検査される孔６との精密な位置合わせを制御するため、コンピュータはビデオカメラ９０によって提供される画像フィードバックを使用する。

【0051】

図９をさらに参照すると、マルチステージプローブ配置ヘッド１４０は、無軌道車両１３０に取り付けられたブロックアセンブリ１３２と、ブロックアセンブリ１３２に並進可能に連結されたＺ軸ステージ１４２と、Ｚ軸ステージ１４２に並進可能に連結されたＸ軸ステージ１４４と、Ｘ軸ステージ１４４に並進可能に連結されたＹ軸ステージ１４６とを備える。マンドレル１４８は、Ｙ軸ステージ１４６に回転可能に連結される。光学機器５０Ｄはマンドレル１４８に取り付けられ、マンドレル１４８と光学機器５０Ｄは一体となって回転する。プローブ配置ヘッド１４０の３つのステージは、光学機器５０ＤがＸ、Ｙ又はＺ方向にそれぞれ動くようにするため、モーターによって駆動可能である。Ｚ軸ステージ１４２は、光学機器５０Ｄを上昇又は下降させるために使用される。Ｘ軸ステージ１４４とＹ軸ステージ１４６は、光学機器５０Ｄを孔６の中心に配置するため、精密な動きを提供する。Ｘ、Ｙ及びＺ軸は、無軌道車両１３０の基準座標フレームで互いに直角な軸である。理想的な検査シナリオでは、無軌道車両１３０のＺ軸は、検査される孔６の中心線に平行になる。（ビデオカメラ９０によって収集した画像データに基づく）フィードバック制御を有するスマートサーボ又はステッパモーター（図９には示さず）を用いた複数の運動が、孔６に対して光学機器５０Ｄを正確に配置するために利用される。適切な配置が実現されると、光プローブ２６が孔６の中へ挿入されるように、光学機器５０Ｄを下降させることができる。光学機器５０Ｄの回転を可能にするため（例えば、光学機器５０Ｄと障害物との干渉を避けるため）、ステッパモーター（図９には示さず）によって、マンドレル１４８は回転するように駆動されうる。

【0052】

図９に示したシステムは、例えば、航空機胴体の上に列をなして配置された孔６を、孔から孔へ連続して動かされる光学機器５０Ｄを用いて検査することができる。光学機器５０Ｄが次の孔６の近傍にあるときには、ビデオカメラ９０は、孔６に対する光学機器５０Ｄの位置を決定するために使用される画像データを撮影する。次に、マルチステージプローブ配置ヘッド１４０上のＸ及びＹステージモーター（図示せず）は、光学機器５０Ｄと孔６が位置合わせされるまで、光学機器５０ＤをＸ及び／又はＹ方向に並進させるように操作可能である。次に、ガラス支持管３６を孔６の内側の開始位置まで下げることができ、孔６はスキャン可能となる。

【0053】

図９に示したシナリオでは、光学機器５０Ｄは、光学機器５０Ｄの中心線が孔６の中心線とほぼ同軸になる開始位置に示されている。図９の両方向矢印は、図９に示したシナリオをもたらす様々な動きを示している。最初に、無軌道車両は、光学機器５０Ｄが孔６に近接していない位置から、光学機器５０Ｄが孔６に近接しているが孔６と整列されていない位置（この位置は図９に示されていない）まで移動された。図示したシナリオでは、無軌道車両１３０は、孔６が属する孔の列に平行なＸ軸に沿って並進された。孔６がビデオカメラ９０の視野内に入ったとき、無軌道車両１３０には停止が命ぜられた。無軌道車両１３０と光学機器５０Ｄが停止した間に、孔６の開口部４を含んだ視野を表わす画像データが収集するため、ビデオカメラ９０が起動された。当該画像データは、無軌道車両１３０の基準フレーム内で孔６の中心線の位置を決定するため、パターン認識ソフトウェアを使用するコンピュータ（図９には示さず）によって処理された。コンピュータは、無軌道車両１３０の基準フレームにおける光学機器５０Ｄの現在の位置と所望の開始位置（図９に示した）との差分を決定するため、孔の中心性の位置を使用した。その後、無軌道車両１３０が停止している間に、光学機器５０Ｄ は、現在の位置から開始位置まで、Ｘ及び／又はＹ方向に移動された（Ｙ方向の移動は図９の両方向矢印によって示されている、Ｘ方向の移動は示されていない）。Ｚ軸ステージ１４２に機械的に連結されたモーター（図示せず）を起動することによって、光学機器５０Ｄは開始位置から孔６の中へ降下された（Ｚ方向の移動は、図９に両方向矢印によって示されている）。

【0054】

図９に示したシステムの実施形態では、Ｘ、Ｙ及びＺ軸ステージは、各々の直線運動ベアリングによって、並進可能に連結されている。これらの並進可能なステージは、当該技術分野において既知の任意の好適な駆動機構によって、各ステッパモーター（図１０のプローブ配置ヘッドモーター５４を参照）に機械的に連結されうる。例えば、各ステージは、各ステッパモーターによって回転するように駆動され、これによってモーター出力シャフトの回転をステージの並進に変換する各リードスクリューに螺合する各付属ナットを有しうる。

【0055】

図１０は、一実施形態による孔の光学撮像とスキャニングのための、コンピュータ制御された無軌道車両１２２プラットフォームのいくつかの構成要素を特定するブロック図である。無軌道車両１３０は、パン－チルト装置（図示せず）に装着されたビデオカメラ９０と、マルチステージプローブ配置ヘッド１４０に装着された光学機器５０を含む。パン－チルト装置とマルチステージプローブ配置ヘッド１４０は共に、無軌道車両１２２のフレームに装着される。光学機器は、前述のように、顕微鏡１０と光源１８とを含む。光学機器５０とビデオカメラ９０の操作は、非一過性の有形なコンピュータ可読記憶媒体（図示せず）に保存されたプログラミングと共に構成されうる、コンピュータシステム７２によって制御される。

【0056】

無軌道車両１３０は、４つの車輪１２２の回転をそれぞれ駆動する４つの車輪モーター１２４を携行する。無軌道車両が傾斜した表面に真空密着するための吸着デバイスを備えている場合には、無軌道車両はさらに、複数の電気ダクテッドファンの各々の回転を駆動する複数のＥＤＦモーター（図には示さず）を備えうる。プローブ配置ヘッド１４０は複数のプローブ配置ヘッドモーター５４を支持し、そのうちの３つはＸ、Ｙ及びＺ軸にそれぞれ沿った光学機器５０Ｄの並進を駆動し、そのうちの１つはＺ軸の周りの光学機器５０Ｄの回転を駆動する。パン－チルト装置は、パン軸とチルト軸のそれぞれの周りでのビデオカメラ９０の回転を駆動するパン－チルトモーター７６を含む。

【0057】

すべてのモーターは、電源からリレーボード上のスイッチ（図には示されていない）を介して電力を受け取る。これらのスイッチの状態は、無軌道車両１３０に搭載されたコンピュータシステム７２によって制御される。コンピュータシステム７２は、様々なステッパモーターを制御するための各ソフトウェアモジュールを含む動作制御アプリケーションソフトウェアがプログラムされた汎用コンピュータを備えうる。コンピュータシステム７２は、モーターコントローラ７０に制御信号を出力し、モーターコントローラ７０はこれらの制御信号に従って、各モーターを選択的に起動／停止する。

【0058】

特に、コンピュータシステム７２は、地上のコンピュータシステム８０から受信した無線命令を実行するようにプログラムされてもよい。これらの無線命令は、地上のコンピュータシステム８０と通信可能に連結された送受信機８２によって送信され、無軌道車両１２２に搭載された送受信機７４によって受信され、適切なデジタルフォーマットに変換され、次いで搭載コンピュータシステム７２に転送される。コンピュータシステム７２は次いで、（ａ）基板に対する無軌道車両１２２の動きと、（ｂ）無軌道車両１２２のフレームに対する光学機器５０とビデオカメラ９０の動きと、（３）光学機器５０とビデオカメラ９０による画像の収集とを制御する。したがって、無軌道車両１２２に搭載された機器の操作は、地上のコンピュータシステム８０とやりとりするオペレータによって制御されうる。

【0059】

特に、Ｚ軸ステージ１４２の変位を駆動するプローブ配置ヘッド（以降、「Ｚ軸ステージモーター」）は、円錐ミラーの頂点又は切り取られた部分が孔６の第１の深さに位置するように、ガラス支持管３６を垂直位置に配置するように制御されうる。円錐ミラーが第１の深さに停止している間に、孔６の第１の３６０度画像が次に収集される。次に、円錐ミラーの頂点又は円錐ミラーの切り取られた部分が孔６の第２の深さ（第１の深さとは異なる）に位置するように、Ｚ軸ステージモーターは、ガラス支持管３６を垂直な位置に配置するように制御される。例えば、第１の深さと第２の深さを隔てる距離は、光学ミラーの高さと等しくなりうる。円錐ミラーが第２の深さで停止している間に、孔６の第２の３６０度画像が収集される。これらの処理ステップは、孔６がその長さ全体に沿って撮像されるまで反復されうる。この処理の最後に、収集されたサブ画像が平坦化され、次に平坦化されたサブ画像は、孔６全体の平坦化された画像を提供するため、つなぎ合わされる。

【0060】

提案している一実装では、地上コンピュータシステム８０は、中央処理装置８６と画像処理装置８８を含む。中央処理装置８６は、光学機器５０及びビデオカメラ９０の動きと、光学機器５０及びビデオカメラ９０による画像データの収集とを制御するため、送受信機８２を介してコンピュータシステム７２に第２の命令を送信するように構成（例えば、プログラム）されている。中央処理装置はさらに、送受信機８２を介して、光学機器５０及びビデオカメラ９０によって収集された画像データを受信し、当該画像データを画像処理装置８８に送信するように構成されている。画像処理装置８８は、画像データを処理するように構成（例えば、プログラム）されている。具体的には、画像処理装置８８は、光学機器５０によって収集された円錐形の光学的に歪んだサブ画像を、それぞれの平坦化されたサブ画像に変換するアルゴリズムを実行するようにプログラムされている。画像処理装置８８はさらに、ディスプレイモニタ８４上での表示に適した平坦化された画像を形成するため、平坦化されたサブ画像をつなぎ合わせるアルゴリズムを実行するようにプログラムされている。ディスプレイモニタ８４は、１つのウィンドウに孔６の平坦化された画像を表示し、もう１つのウィンドウに開口部４を取り囲む基板２の領域のビデオ画像を表示するように構成されうるディスプレイプロセッサを含む。

【0061】

図１１は、ロボット１００に装着された光学機器５０Ｄの立面図である。光学機器５０Ｄは、ツール側コネクタプレート６０をロボット１００のコネクタ１１４に取り付けることによって、ロボット１００に取り付けられる。光プローブ２６が孔内に停止している間に、画像データは処理のためデータ収集システムに送信される。典型的には、ロボット１００は、光プローブ２６を孔に位置合わせし、孔の中へ移動させるように自動的に制御されている。

【0062】

ロボット１００は、多軸運動能力を有し、ソフトウェアの支援を活かして、孔のスキャニングに使用される線形プロファイルを生成する。具体的には、図１１に示したロボット１００は、ロボット基部１０２、カルーセル１０４、ロッカー１０６（すなわち、ピボットアーム）、伸縮アーム１０８、ロボットハンド１１０、及びコネクタ１１４が取り付けられる部材１１２を備える。ロボット基部１０２とカルーセル１０４は、枢動連結１１６によって回転可能に連結される。カルーセル１０４とロッカー１０６は、枢動連結１１８によって回転可能に連結される。ロッカー１０６と伸縮アーム１０８は、枢動連結１２０によって回転可能に連結される。ロッカー伸縮アーム１０８とロボットハンド１１０は、枢動連結１２２によって回転可能に連結される。これらの構成要素の組み合わせにより、複数の自由度がもたらされ、それにより、光学機器５０Ｄが種々の位置及び種々の方向に移動することが可能となる。ロボット１００は、光学機器５０Ｄを正確に位置付けするために、データ収集システムに位置データ（３次元空間でのＸ、Ｙ、及びＺ）を提供する各枢軸に存在するか、又は各枢軸に関連付けられている１つ又は複数の位置センサ（図示せず）を含む。本書に開示の光学機器と共に採用されうるロボット１００の例として、（ドイツのアウクスブルクに本社を置く）Ｋｕｋａ Ｒｏｂｏｔｅｒ ＧｍｂＨによって製造されたロボット（モデルＫＲ－１５０）があるが、光学機器超音波検査ツールヘッドの挿入及びデータ収集システムとの通信か可能な任意のロボット又は他のマニピュレータも使用されうる。

【0063】

ロボット１００は一般的に、光学機器５０Ｄによって収集された画像データを処理し、処理されたデータを表示するため、データ収集システムと通信を行う。多くの場合、通信ケーブル（図１１に示さず）は、ロボット１００とデータ収集システムとの間でデータを送信する。他の実施形態では、データは、ロボット１００とデータ収集システムの間で、無線通信によって送信されてもよい。ロボット１００は、図１０に示したコンピュータシステム８０に直接、或いはネットワークを介して間接的に接続されてもよい。

【0064】

孔の光学撮像及びスキャニングのための方法及び装置について、様々な実施形態を参照しつつ説明してきたが、本書の教示から逸脱することなく、様々な変更がなされうること、及びその要素を均等物に置換しうることが、当業者には理解されよう。加えて、本書で開示されている概念及び具体化（ｒｅｄｕｃｔｉｏｎｓ ｔｏ ｐｒａｃｔｉｃｅ）をある特定の状況に適合させるために、多数の改変がなされうる。そのため、特許請求の範囲によって対象とされている主題は、開示されている実施形態に限定されないことが意図されている。

【0065】

さらに、本開示は、以下の条項による実施形態を含む。
条項１． 光学機器（５０）であって、
ハウジング（１６ａ、１６ｂ、１６ｃ）と、
前記ハウジング内部に配置された光源（１８）と、
前記ハウジング内部に配置された画像センサ（３０）と、
前記ハウジングの外部に配置され、円錐軸を有する円錐ミラー（８）と、
前記ハウジングに対して固定された位置に前記円錐ミラーを支持する円錐ミラー支持構造体（２４、３６）と、
前記ハウジングによって支持される光学サブアセンブリであって、前記光源からの光が前記円錐ミラーに衝突し前記円錐ミラーによって半径方向外向きに反射され、半径方向内向きに伝播して前記円錐ミラーに衝突する光が前記画像センサ上に向けられるように構成された、光学サブアセンブリ（１２、１４、２０、２２）と
を備える光学機器（５０）。
条項２． 前記円錐ミラーは、前記円錐軸に対して４５度に等しい角度で配置される線を、前記円錐軸の周りで回転することによって画定される幾何学的形状を有する、条項１に記載の光学機器。
条項３． 前記円錐ミラー支持構造体は中心ポスト（２４）を備え、
前記円錐ミラーは切頂されて前記中心ポストの一端部に取り付けられている、
条項１に記載の光学機器。

条項４． 前記光学サブアセンブリは、ミラー（２２）と、前記円錐軸と同軸な光軸に沿って配置される第１及び第２のレンズ（１２、３２）と、前記ミラーと前記光源との間に配置される第３のレンズ（２０）と、を備え、前記円錐ミラーから前記画像センサまで伝播する光が、前記第１のレンズ、前記ミラーの周囲、前記第２のレンズを通過するように前記ミラーのサイズが決定されている、条項３に記載の光学機器。
条項５． 前記円錐ミラー支持構造体は円筒軸を有する円筒ガラス管を備え、
前記円錐軸が前記円筒軸と同軸になるように、前記円錐ミラーは前記円筒ガラス管（３６）の内部に配置される、
条項１に記載の光学機器。
条項６． 前記光学サブアセンブリは、ダイクロイックミラー（１４）、第１、第２及び第３のレンズ（１２、２０、３２）を備え、前記ダイクロイックミラー（１４）、第１、第２及び第３のレンズ（１２、２０、３２）は、前記光源から前記円錐ミラーまで伝播する光が、第３のレンズ（２０）を通過し、次いで前記ダイクロイックミラーによって反射され、前記円錐ミラーから前記画像センサまで伝播する光が、前記ダイクロイックミラーを通過し、次いで第１及び第２のレンズ（１２、３２）を通過するように配置される、条項１に記載の光学機器。
条項７． 前記光学サブアセンブリは、ダイクロイックミラー（１４）、第１、第２及び第３のレンズ（１２、２０、３２）を備え、前記ダイクロイックミラー（１４）、第１、第２及び第３のレンズ（１２、２０、３２）は、前記光源から前記円錐ミラーまで伝播する光が、第３のレンズ（２０）を通過し、次いで前記ダイクロイックミラーを通過し、前記円錐ミラーから前記画像センサまで伝播する光が、前記ダイクロイックミラーによって反射され、前記第１及び第２のレンズ（１２、３２）を通過するように配置される、条項１に記載の光学機器。
条項８． 開口部プレート（４０）をさらに備え、前記第３のレンズ（２０）は前記開口部プレートと前記光源との間に配置される、条項１に記載の光学機器。
条項９． 基板（２）の孔（６）を撮像するための方法であって、
（ａ）円錐軸が孔の中心線と同軸になり、円錐ミラーの頂点（８ａ）又は円錐ミラーの切り取られた部分（８ｂ）が、前記円錐ミラーの底部がある第２の深さよりも浅い第１の深さにある状態で、前記円錐ミラー（８）を孔（６）内に配置することと、
（ｂ）前記孔内部の焦点面上に焦点が合わされた光によって前記円錐ミラーを照らすことと、
（ｃ）前記円錐ミラーを用いて、ステップ（ｂ）で述べた光を、前記孔に向かって半径方向外向きに反射させることと、
（ｄ）前記円錐ミラーを用いて、戻り光を前記孔の開口部（４）に向かって軸方向上向きに反射させることと、
（ｅ）ステップ（ｄ）において前記円錐ミラーによって軸方向上向きに反射した光を、画像センサ（３０）上に向けることと、
（ｆ）前記画像センサに衝突する光を、円錐形の光学的歪みを有する前記孔の第１の部分の第１の歪んだサブ画像のピクセルデータを表わす電気信号に変換することと、を含む方法。
条項１０． 非一過性の有形コンピュータ可読記憶媒体（７２）に、前記第１の歪んだサブ画像の前記ピクセルデータを保存することをさらに含む、条項９に記載の方法。
条項１１． 前記非一過性の有形コンピュータ可読記憶媒体から、前記第１の歪んだサブ画像の前記ピクセルデータを取得することと、
前記第１の歪んだサブ画像の前記ピクセルデータを処理して、円錐形の光学的歪みのない第１の平坦化されたサブ画像を表わすピクセルデータを生成することと、
をさらに含む、条項１０に記載の方法。
条項１２． 前記平坦化された第１のサブ画像をディスプレイデバイス（８４）上に表示することをさらに含む、条項１１に記載の方法。
条項１３． 前記孔の前記第１の部分は、前記第１の深さから前記第２の深さまで延在する環状の表面である、条項９に記載の方法。
条項１４． ステップ（ｃ）で半径方向外向きに反射した光は、３６０度の角度を含む、条項９に記載の方法。
条項１５． （ｇ）前記円錐ミラーの前記頂点又は前記円錐ミラーの切り取られた部分が前記第１の深さよりも前記第２の深さに近い第３の深さにある位置まで、前記孔の中心線に沿って前記円錐ミラーを移動することと、
（ｈ）前記孔内部の前記焦点面上に焦点が合わされた光によって前記円錐ミラーを照らすことと、
（ｉ）前記円錐ミラーを用いて、ステップ（ｈ）で述べた前記光を、前記孔に向かって半径方向外向きに反射させることと、
（ｊ）前記円錐ミラーを用いて、ステップ（ｉ）で述べた前記光の戻り光を前記開口部に向かって軸方向上向きに反射させることと、
（ｋ）ステップ（ｊ）において前記円錐ミラーによって軸方向上向きに反射させられた光を、画像センサ（３０）上に向けることと、
（ｌ）前記画像センサに衝突する光を、円錐形の光学的歪みを有する前記孔の第２の部分の第２の歪んだサブ画像のピクセルデータを表わす電気信号に変換することと、
をさらに含む、条項９に記載の方法。
条項１６． 前記第１の歪んだサブ画像の前記ピクセルデータを処理して、円錐形の光学的歪みのない第１の平坦化されたサブ画像を表わすピクセルデータを生成することと、
前記第２の歪んだサブ画像の前記ピクセルデータを処理して、円錐形の光学的歪みのない第２の平坦化されたサブ画像を表わすピクセルデータを生成することと、
前記第１及び第２の平坦化されたサブ画像をつなぎ合わせることと、
少なくとも前記第１及び第２の平坦化されたサブ画像を含む平坦化された画像を表示デバイス（８４）に提示することと、
をさらに含む、条項１５に記載の方法。
条項１７． 基板（２）の孔（６）を撮像するための装置（１３０）であって、
ブロックアセンブリ（１３２）と、第１の軸に沿って前記ブロックアセンブリに対して並進可能な第１のステージ（１４４）と、前記第１の軸に直角な第２の軸に沿って前記ブロックアセンブリに対して並進可能な第２のステージ（１４６）と、前記第１及び第２の軸に直角な第３の軸に沿って前記ブロックアセンブリに対して並進可能な第３のステージ（１４２）とを備え、前記第３のステージは前記第２のステージに並進可能に連結され、前記第２のステージは前記第１のステージに並進可能に連結される、マルチステージプローブ配置ヘッド（１４０）と、
前記第３のステージによって支持され、前記第３のステージから垂下する光学機器（５０）であって、
前記第３のステージに連結されて並進可能なハウジング（１６ａ、１６ｂ、１６ｃ）と、
前記ハウジング内に配置された光源（１８）と、
前記ハウジング内に配置された画像センサ（３０）と、
前記ハウジングの外部に配置され、前記第１の軸に平行な円錐軸を有する円錐ミラー（８）と、
前記ハウジングに対して固定された位置で前記円錐ミラーを支持する円錐ミラー支持構造体（２４、３６）と、
前記光源からの光が前記円錐ミラーに衝突し、前記円錐ミラーによって半径方向外向きに反射され、半径方向内向きに伝播し前記円錐ミラーに衝突する光が前記画像センサ上に向けられるように、前記ハウジングによって支持され、構成される光学サブアセンブリ（１２、１４、２０、２２）と
を備える光学機器（５０）と、
を備える装置（１３０）。
条項１８． 前記円錐ミラー支持構造体は中心ポスト（２４）を備え、
前記円錐ミラーは切頂されて前記中心ポストの一端部に取り付けられている、
条項１７に記載の装置。
条項１９． 前記円錐ミラー支持構造体は円筒軸を有する円筒ガラス管（３６）を備え、
前記円錐軸が前記円筒軸と同軸になるように、前記円錐ミラーは前記円筒ガラス管の内部に配置される、
条項１７に記載の装置。
条項２０． 基板の孔を撮像するためのシステムであって、
モーター（５４）の操作によってエンドエフェクタ（６０）を動かすように構成された自動化装置（１３０）と、
前記エンドエフェクタ（６０）に装着された光学機器（５０）であって、
前記エンドエフェクタに連結されたハウジング（１６ａ、１６ｂ、１６ｃ）と、
前記ハウジング内に配置された光源（１８）と、
前記ハウジング内に配置された画像センサ（３０）と、
前記ハウジングの外部に配置され、前記第１の軸に平行な円錐軸を有する円錐ミラー（８）と、
前記ハウジングに対して固定された位置で前記円錐ミラーを支持する円錐ミラー支持構造体（２４、３６）と、
前記光源からの光が前記円錐ミラーに衝突して、前記円錐ミラーによって半径方向外向きに反射され、また、半径方向内向きに伝播し前記円錐ミラーに衝突する光が前記画像センサ上に向けられるように、前記ハウジングによって支持され、構成される光学サブアセンブリ（１２、１４、２０、２２）と、
を備える光学機器と、
前記光学機器によって収集された円錐形の光学的に歪んだ画像を受け取り、次に前記円錐形の光学的に歪んだ画像のピクセルデータを処理して、円錐形の光学的歪みのない平坦化された画像を表わすピクセルデータを生成するように構成された画像処理装置（８８）と、
を備えるシステム。

【0066】

本書で使用されている「コンピュータシステム」という用語は、少なくとも１つのコンピュータ又はプロセッサを有するシステムと、ネットワーク又はバスを介して通信する複数のコンピュータ又はプロセッサを有しうるシステムを含むように、広く解釈されるべきである。前の一文で使用されている「コンピュータ」及び「プロセッサ」という用語は、共に処理装置（例えば中央処理装置）及び、処理装置が読み出すことができるプログラムを記憶するある形態のメモリ（すなわち、コンピュータ可読媒体）を有する装置を意味する。

【0067】

本書に記載の方法は、限定するものではないが、記憶デバイス及び／又はメモリデバイスを含む、非一過性の有形コンピュータ可読記憶媒体で具現化される実行可能な命令として符号化されうる。このような命令は、プロセッサ又はコンピュータによって実行されると、本書に記載の方法の少なくとも一部をプロセッサ又はコンピュータに実行させる。

【0068】

請求項の文言が、請求項に列挙されているステップのうちのいくつか又はすべてを実施する特定の順序を示す条件を明確に特定又は言及していない限り、以下に記載される方法の請求項は、これらのステップを、アルファベット順（請求項中の任意のアルファベット順は、既に列挙されたステップを参照するためにのみ使用される）又はこれらのステップが列挙されている順で、実施することを要求していると解釈すべきではない。また、請求項の文言が、そのような解釈を除外する条件を明確に示していない限り、方法の請求項は、同時に又は交互に実施される２つ以上のステップの任意の部分を除外すると解釈すべきでない。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6A】

【図6B】

【図6C】

【図7】

【図8】

【図9】

【図10】

【図11】