(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024050123
(43)【公開日】2024-04-10
(54)【発明の名称】検査装置、検査方法及びプログラム
(51)【国際特許分類】
G01N 21/954 20060101AFI20240403BHJP
G01B 11/30 20060101ALI20240403BHJP
G01N 21/84 20060101ALI20240403BHJP
【FI】
G01N21/954 A
G01B11/30 A
G01N21/84 A
【審査請求】未請求
【請求項の数】8
【出願形態】OL
(21)【出願番号】P 2022156774
(22)【出願日】2022-09-29
(71)【出願人】
【識別番号】517224850
【氏名又は名称】株式会社RUTILEA
(74)【代理人】
【識別番号】110002871
【氏名又は名称】弁理士法人坂本国際特許商標事務所
(72)【発明者】
【氏名】八鳥 孝志
(72)【発明者】
【氏名】矢野 貴文
(72)【発明者】
【氏名】柴田 恭佑
【テーマコード(参考)】
2F065
2G051
【Fターム(参考)】
2F065AA49
2F065BB05
2F065DD06
2F065FF04
2F065FF41
2F065JJ03
2F065JJ26
2F065MM06
2F065PP02
2F065QQ31
2F065SS02
2F065SS04
2F065SS13
2G051AA82
2G051AB02
2G051AC17
2G051CA04
2G051CA07
2G051CC01
2G051EA12
(57)【要約】
【課題】3次元形状データの生成処理を高速化し、検査の所要時間を短縮する。
【解決手段】穴101の内部に挿入可能な内視鏡45と、内視鏡45を介して穴101の内部を照らす照明46と、内視鏡45を介して穴101の内部を撮像するカメラ43と、内視鏡45及びカメラ43を移動させるアクチュエータ42と、アクチュエータ42及びカメラ43を制御する制御部6とを備える検査装置1であって、制御部6は、内視鏡45及びカメラ43を移動させながら、カメラ43に穴101の内部を撮像させ、カメラ43が撮像した複数の撮像データに基づいて、穴101の内部の3次元形状データを生成するにあたり、3次元形状データの生成に使用する撮像位置座標をアクチュエータ42による内視鏡45及びカメラ43の移動軌跡上に制限する。
【選択図】
図1
【特許請求の範囲】
【請求項1】
穴内部に挿入可能な内視鏡と、
前記内視鏡を介して前記穴内部を照らす照明と、
前記内視鏡を介して前記穴内部を撮像するカメラと、
少なくとも前記内視鏡及び前記カメラを移動させるアクチュエータと、
少なくとも前記アクチュエータ及び前記カメラを制御する制御部と、を備える検査装置であって、
前記制御部は、
前記内視鏡及び前記カメラを移動させながら、前記カメラに前記穴内部を撮像させる穴内部撮像処理手段と、
前記カメラが撮像した複数の撮像データに基づいて、前記穴内部の3次元形状データを生成する3次元形状データ生成処理手段と、を備え、
前記3次元形状データ生成処理手段は、前記3次元形状データの生成に使用する撮像位置座標を前記アクチュエータによる前記内視鏡及び前記カメラの移動軌跡上に制限する、検査装置。
【請求項2】
前記内視鏡及び前記カメラの位置を検出する位置センサをさらに備え、
前記3次元形状データ生成処理手段は、複数の前記撮像データ及び前記位置センサに基づく撮像時の検出位置情報に基づいて、前記穴内部の3次元形状データを生成する、請求項1に記載の検査装置。
【請求項3】
前記3次元形状データ生成処理手段は、並列処理が可能な複数のデータ処理装置によって構成される、請求項1に記載の検査装置。
【請求項4】
前記制御部は、前記3次元形状データに基づいて、前記穴内部の異常を判定する異常判定処理手段をさらに備える、請求項1に記載の検査装置。
【請求項5】
工業製品の穴内部に挿入可能な内視鏡と、
前記内視鏡を介して前記穴内部を照らす照明と、
前記内視鏡を介して前記穴内部を撮像するカメラと、
少なくとも前記内視鏡及び前記カメラを移動させるアクチュエータと、
前記内視鏡及び前記カメラの位置を検出する位置センサと、
少なくとも前記アクチュエータ及び前記カメラを制御する制御部と、を備える検査装置であって、
前記制御部は、前記カメラによる複数の前記撮像データに基づいて、前記穴内部の3次元形状データをSFM(Structure from Motion)により生成する3次元形状データ生成処理手段を備える、検査装置。
【請求項6】
前記制御部は、前記位置センサからのセンサ情報に基づいて、前記内視鏡及び前記カメラの位置を前記アクチュエータを介して制御する位置制御手段を更に備え、
前記3次元形状データ生成処理手段は、前記位置センサからのセンサ情報、又は、前記位置制御手段による位置制御情報に基づいて、前記穴内部の3次元形状データをSFMにより生成する際に用いる前記カメラの位置を算出する、請求項5に記載の検査装置。
【請求項7】
穴内部に挿入可能な内視鏡と、
前記内視鏡を介して前記穴内部を照らす照明と、
前記内視鏡を介して前記穴内部を撮像するカメラと、
少なくとも前記内視鏡及び前記カメラを移動させるアクチュエータと、を用いる検査方法であって、
前記内視鏡及び前記カメラを移動させながら、前記カメラに前記穴内部を撮像させる穴内部撮像処理ステップと、
前記カメラが撮像した複数の撮像データに基づいて、前記穴内部の3次元形状データを生成する3次元形状データ生成処理ステップと、を備え、
前記3次元形状データ生成処理ステップは、前記3次元形状データの生成に使用する撮像位置座標を前記アクチュエータによる前記内視鏡及び前記カメラの移動軌跡上に制限する、検査方法。
【請求項8】
穴内部に挿入可能な内視鏡と、
前記内視鏡を介して前記穴内部を照らす照明と、
前記内視鏡を介して前記穴内部を撮像するカメラと、
少なくとも前記内視鏡及び前記カメラを移動させるアクチュエータと、
少なくとも前記アクチュエータ及び前記カメラを制御する制御部と、を備える検査装置用のプログラムであって、
コンピュータを、
前記内視鏡及び前記カメラを移動させながら、前記カメラに前記穴内部を撮像させる穴内部撮像処理手段と、
前記カメラが撮像した複数の撮像データに基づいて、前記穴内部の3次元形状データを生成する3次元形状データ生成処理手段として機能させ、
前記3次元形状データ生成処理手段は、前記3次元形状データの生成に使用する撮像位置座標を前記アクチュエータによる前記内視鏡及び前記カメラの移動軌跡上に制限する、プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、検査装置、検査方法及びプログラムに関する。
【背景技術】
【0002】
穴内部を内視鏡を介してカメラで撮像し、カメラが撮像した複数の撮像データに基づいて、穴内部の3次元形状データを生成する検査装置が知られている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、従来の検査装置では、3次元形状データの生成処理に時間がかかるため、検査の所要時間を短縮することが難しい。
【0005】
そこで、本開示は、3次元形状データの生成処理を高速化し、検査の所要時間を短縮できる検査装置、検査方法及びプログラムの提供を目的とする。
【課題を解決するための手段】
【0006】
1つの側面では、以下のような解決手段を提供する。
【0007】
(1)穴内部に挿入可能な内視鏡と、前記内視鏡を介して前記穴内部を照らす照明と、前記内視鏡を介して前記穴内部を撮像するカメラと、少なくとも前記内視鏡及び前記カメラを移動させるアクチュエータと、少なくとも前記アクチュエータ及び前記カメラを制御する制御部と、を備える検査装置であって、前記制御部は、前記内視鏡及び前記カメラを移動させながら、前記カメラに前記穴内部を撮像させる穴内部撮像処理手段と、前記カメラが撮像した複数の撮像データに基づいて、前記穴内部の3次元形状データを生成する3次元形状データ生成処理手段と、を備え、前記3次元形状データ生成処理手段は、前記3次元形状データの生成に使用する撮像位置座標を前記アクチュエータによる前記内視鏡及び前記カメラの移動軌跡上に制限することを特徴とする。
【0008】
(2)上記(1)の構成において、前記内視鏡及び前記カメラの位置を検出する位置センサをさらに備え、前記3次元形状データ生成処理手段は、複数の前記撮像データ及び撮像時の検出位置情報に基づいて、前記穴内部の3次元形状データを生成することを特徴とする。
【0009】
(3)上記(1)の構成において、前記3次元形状データ生成処理手段は、並列処理が可能な複数のデータ処理装置によって構成されることを特徴とする。
【0010】
(4)上記(1)の構成において、前記制御部は、前記3次元形状データに基づいて、前記穴内部の異常を判定する異常判定処理手段をさらに備えることを特徴とする。
【0011】
(5)工業製品の穴内部に挿入可能な内視鏡と、前記内視鏡を介して前記穴内部を照らす照明と、前記内視鏡を介して前記穴内部を撮像するカメラと、少なくとも前記内視鏡及び前記カメラを移動させるアクチュエータと、前記内視鏡及び前記カメラの位置を検出する位置センサと、少なくとも前記アクチュエータ及び前記カメラを制御する制御部と、を備える検査装置であって、前記制御部は、前記カメラによる複数の前記撮像データに基づいて、前記穴内部の3次元形状データをSFM(Structure from Motion)により生成する3次元形状データ生成処理手段を備えることを特徴とする。
【0012】
(6)前記制御部は、前記位置センサからのセンサ情報に基づいて、前記内視鏡及び前記カメラの位置を前記アクチュエータを介して制御する位置制御手段を更に備え、
前記3次元形状データ生成処理手段は、前記位置センサからのセンサ情報、又は、前記位置制御手段による位置制御情報に基づいて、前記穴内部の3次元形状データをSFMにより生成する際に用いる前記カメラの位置を算出することを特徴とする。
【0013】
(7)穴内部に挿入可能な内視鏡と、前記内視鏡を介して前記穴内部を照らす照明と、前記内視鏡を介して前記穴内部を撮像するカメラと、少なくとも前記内視鏡及び前記カメラを移動させるアクチュエータと、を用いる検査方法であって、前記内視鏡及び前記カメラを移動させながら、前記カメラに前記穴内部を撮像させる穴内部撮像処理ステップと、前記カメラが撮像した複数の撮像データに基づいて、前記穴内部の3次元形状データを生成する3次元形状データ生成処理ステップと、を備え、前記3次元形状データ生成処理ステップは、前記3次元形状データの生成に使用する撮像位置座標を前記アクチュエータによる前記内視鏡及び前記カメラの移動軌跡上に制限することを特徴とする。
【0014】
(8)穴内部に挿入可能な内視鏡と、前記内視鏡を介して前記穴内部を照らす照明と、前記内視鏡を介して前記穴内部を撮像するカメラと、少なくとも前記内視鏡及び前記カメラを移動させるアクチュエータと、少なくとも前記アクチュエータ及び前記カメラを制御する制御部と、を備える検査装置用のプログラムであって、コンピュータを、前記内視鏡及び前記カメラを移動させながら、前記カメラに前記穴内部を撮像させる穴内部撮像処理手段と、前記カメラが撮像した複数の撮像データに基づいて、前記穴内部の3次元形状データを生成する3次元形状データ生成処理手段として機能させ、前記3次元形状データ生成処理手段は、前記3次元形状データの生成に使用する撮像位置座標を前記アクチュエータによる前記内視鏡及び前記カメラの移動軌跡上に制限することを特徴とする。
【発明の効果】
【0015】
本開示によれば、3次元形状データの生成処理を高速化し、検査の所要時間を短縮することが可能となる。
【図面の簡単な説明】
【0016】
【
図1】本開示による検査装置の構成を示す斜視図である。
【
図2】穴の内部に内視鏡を挿入した状態の検査装置を示す斜視図である。
【
図3】(a)は直視タイプの内視鏡を示す模式図、(b)は側視タイプの内視鏡を示す模式図である。
【
図4】(a)十字交差穴の検査領域を示す図、(b)Y字交差穴の検査領域を示す図、(c)L字交差穴の検査領域を示す図、(d)T字交差穴の検査領域を示す図、(e)複雑な穴の検査領域を示す図である。
【
図5】本開示による検査装置の制御構成を示す図である。
【
図7】制御部の処理手順を示すフローチャートである。
【発明を実施するための形態】
【0017】
以下、添付図面を参照しながら各実施例について詳細に説明する。
【0018】
図1及び
図2に示す検査装置1は、検査対象物100(ワーク)に形成された穴101の内部を検査するためのものである。
【0019】
本実施例では、一例として、検査装置1は、油圧バルブの製造工程において、油圧バルブのドリル穴交差部に生じるバリの有無を検査するために使用される。また、検査装置1は、バリ以外(例えば、設計上の意図した微細形状など)も検査対象とすることができる。なお、検査装置1の検査対象となる検査対象物100は、任意であり、典型的には、工業製品であるが、非工業製品であってもよい。また、工業製品についても、検査対象物100は、油圧バルブに限定されず、穴101を有するものであれば、エンジン部品、各種シリンダ、各種配管などであってよい。また、検査対象物100は、金属製に限定されず、樹脂製、木製などであってよい。また、穴101は、機械加工穴であってもよいし、鋳造等により形成された穴であってもよいし、穴の形態等も任意である。
【0020】
図1及び
図2に示すように、検査装置1は、土台2と、土台2から立設されるスタンド3と、スタンド3に昇降可能に支持される昇降ユニット4と、を備える。また、昇降ユニット4は、ユニット本体41と、アクチュエータ42と、カメラ43と、アダプタレンズ44と、内視鏡45と、照明46(
図5参照)と、を備えて構成される。
【0021】
ユニット本体41は、スタンド3に沿って昇降可能に構成される。アクチュエータ42は、ユニット本体41の内部に設けられており、その駆動に応じて昇降ユニット4をスタンド3に沿って昇降させる。つまり、昇降ユニット4は、直動機構などで変位可能(昇降可能)とされ、モータ、シリンダなどのアクチュエータ42により位置制御される。このとき、検査装置1の制御部6(
図5参照)は、アクチュエータ42の位置制御情報(例えば、センサ情報)からカメラ43による穴101の内部の撮像位置(例えば、後述の位置情報B
1~B
M)を精度良く算出できる。カメラ43は、アダプタレンズ44を介して内視鏡45に接続されており、内視鏡45を介して穴101の内部を撮像する。照明46は、撮像時に内視鏡45を介して穴101の内部を照らす。
【0022】
図3に示すように、本実施例の内視鏡45には、工業用内視鏡であるボアスコープが使用される。ボアスコープは、硬質の遮光性管部材の中にロッド状のレンズを内装して構成されており、基端側から入射した光を先端側から照明光45aとして出射させつつ、先端側から入射される撮像視野45bを基端側のカメラ43に対して出射させる。なお、検査装置1を構成するカメラ43、アダプタレンズ44及び内視鏡45(ボアスコープ)は、汎用品であってよい。
【0023】
図3に示すように、内視鏡45には、先端部から長さ方向に沿う方向を向いて撮像可能な直視タイプと、先端部から長さ方向と交差する方向を向いて撮像可能な側視タイプとがある。直視タイプは、視野範囲が広いため、3次元形状データを生成するのに必要な撮像データの枚数を少なくできる。また、直視タイプは、内視鏡45を回転させる必要がないため、機械的な構成を簡略化できる。一方、側視タイプは、直視タイプに比べて、3次元形状データを生成するのに必要な撮像データの枚数が多くなるだけでなく、機械的な構成が複雑化するというデメリットを有するが、横穴の奥まで撮像が可能になるというメリットがある。例えば、
図4の(a)~(d)に示すように、十字交差穴、Y字交差穴、L字交差穴、T字交差穴の場合は、直視タイプ及び側視タイプのいずれの内視鏡45でも、バリの発生しやすい部分を検査領域Kとして撮像できる。しかしながら、
図4の(e)に示すように、複雑な形状の穴であり、横穴の奥側にバリが発生しやすい検査領域Kがある場合は、側視タイプの内視鏡45を使用する必要がある。なお、本実施例では、直視タイプの内視鏡45を使用する。
【0024】
図5に示すように、検査装置1は、コンピュータ(CPU、ROM、RAM、記憶装置(HDD、又はSSD)、通信モジュールなどを含む。)を用いて構成される制御部6を備える。制御部6には、前述したアクチュエータ42、カメラ43及び照明46に加え、内視鏡45(昇降ユニット4)の昇降位置を検出する位置センサ47が接続される。また、本実施例では、並列処理可能な複数のデータ処理装置7をLANなどのネットワーク8を介して制御部6に接続し、複数のデータ処理装置7で3次元形状データの生成処理を行うが、3次元形状データの生成処理は、制御部6で行ってもよい。
【0025】
制御部6は、ハードウェア(コンピュータ)とソフトウェア(プログラム)との協働により実現される機能構成として、穴内部撮像処理手段と、3次元形状データ生成処理手段と、異常判定処理手段と、を備える。
【0026】
穴内部撮像処理手段は、内視鏡45及びカメラ43を含む昇降ユニット4を移動させながら、カメラ43に穴101の内部を撮像させる。また、穴内部撮像処理手段は、カメラ43が穴101の内部を撮像するごとに、位置センサ47から内視鏡45の位置情報を取得し、
図6の左側に示すように、複数の撮像データA
1~A
Mに位置情報B
1~B
Mを紐付けて記憶させる。
【0027】
3次元形状データ生成処理手段は、カメラ43が撮像した複数の撮像データA
1~A
Mに基づいて、穴101の内部の3次元形状データC(
図6の中央部参照)を生成する。3次元形状データ生成処理手段は、3次元形状データCを生成するアルゴリズムとして、SFM(Structure from Motion)を使用する。SMFは、対象物を多視点から撮像し、撮像データ中の特徴量を手がかりにカメラ座標及びカメラ撮像方向を推定し、対象物の3次元モデルの生成を行うアルゴリズムである。SFMにより生成した3次元形状データCによれば、顕微鏡写真に現れる微小なバリの形状も3次元形状データとして復元することができる。
【0028】
3次元形状データ生成処理手段は、SFMを使用して3次元形状データCを生成するにあたり、3次元形状データCの生成に使用する撮像位置座標をアクチュエータ42による内視鏡45及びカメラ43の移動軌跡上に制限する。例えば、複数の撮像データA1~AMと撮像時の位置情報B1~BMに基づいて、3次元形状データCを生成する。このようにすると、SFMにおけるカメラ座標及びカメラ撮像方向の推定処理を簡略化し、3次元形状データCの生成時間を短縮することができる。なお、直視タイプの内視鏡45を使用する場合は、カメラ撮像方向は一定であり、カメラ撮像方向の推定処理は不要である。側視タイプの内視鏡45を使用する場合は、内視鏡45を回転させながら撮像を行うため、カメラ撮像方向が変化するが、内視鏡45の回転角度を検出する角度センサを設け、撮像時の検出角度を撮像データに紐付ければ、カメラ撮像方向の推定処理を省略できる。
【0029】
3次元形状データ生成処理手段は、並列処理が可能な複数のデータ処理装置7によって構成されることが望ましい。このようにすると、3次元形状データCの生成時間をさらに短縮することができる。なお、並列処理時のデータの流れは後述する。
【0030】
異常判定処理手段は、生成した3次元形状データCに基づいて、穴101の内部の異常を判定する。例えば、生成した3次元形状データCと、バリのない基準3次元形状データとを比較し、両データの差異部分の大きさが閾値以上である場合に、バリの発生箇所を示す判定結果データD(
図6の右側)を出力する。例えば、
図6に示す例では、一点鎖線の円形R6内のバリ発生箇所P6を示しているが、表示方法は任意であり、バリ発生箇所を赤色、その他を緑色で表示してもよい。なお、異常判定処理には、AI(人工知能)を利用してもよい。例えば、検査用閾値(例えば、検出対象の有害なバリを判定するための閾値)の適合や、検査重視箇所(有害なバリが発生しやすい箇所)の適合にAIを用いることで、検査精度を向上させることができる。また、検査重視箇所では、解像度を上げたり、カメラ43の移動の際の位置分解能を高めたりすることで、検査精度をさらに向上させることができる。
【0031】
つぎに、上述のような機能構成を実現する制御部6の処理手順について、
図7を参照して説明する。
【0032】
図7に示すように、制御部6は、制御がスタートすると、検査開始操作の判断を繰り返し(S101:NO)、この判断結果がYESになると、変数M及び変数Nに1をセットした後(S102)、内視鏡45を検査開始位置まで移動(下降)させる(S103)。
【0033】
つぎに、制御部6は、内視鏡45を定速で移動させながら、カメラ43の撮像データAを取得するとともに(S104)、撮像時の位置情報Bを位置センサ47から取得し、位置情報Bと撮像データAをセットで記憶させる(S105)。制御部6は、その後、変数Mをインクリメントし(S106)、変数Mが100になるまで(S108:YES)、穴内部撮像処理(S104、S105)を繰り返す。なお、変数Mが100になる前に内視鏡45が検査終了位置に到達したと判断した場合は(S107:YES)、ステップS108をスキップしてステップS109に移行する。
【0034】
制御部6は、ステップS108の判断結果がYESになると、複数の撮像データA及び位置情報をN台目のデータ処理装置7に転送し、SFMを用いた3次元形状データCの生成処理を実行させる。制御部6は、その後、変数Nをインクリメントするとともに(S110)、変数Nがデータ処理装置7の台数nを超えたか否かを判断し(S111)、この判断結果がYESの場合は、変数Nに1をセットする(S112)。制御部6は、その後、内視鏡45が検査終了位置に到達したか否かを判断し(S113)、この判断結果がNOの場合は、ステップS104に戻って穴内部撮像処理を繰り返す。
【0035】
一方、制御部6は、ステップS113の判断結果がYESになると、各データ処理装置7が生成した部分的な3次元形状データCを取得し(S114)、これらの部分的な3次元形状データCを合成して穴内部の全体的な3次元形状データCを得る(S115)。つぎに、制御部6は、3次元形状データCに基づいて穴内部の異常を判定した後(S116)、判定結果を出力して1回の検査工程を終了する(S117)。
【0036】
以上、各実施例について詳述したが、特定の実施例に限定されるものではなく、特許請求の範囲に記載された範囲内において、種々の変形及び変更が可能である。また、前述した実施例の構成要素を全部又は複数を組み合わせることも可能である。
【0037】
例えば、上述した実施例では、制御部6は、位置センサ47からのセンサ情報を利用して、3次元形状データをSFMにより生成する際に用いるカメラ43の位置(位置情報B)を算出しているが、これに代えて又は加えて、アクチュエータ42の制御情報(例えばモータであれば回転角度指令値、シリンダであればピストン移動量指令値等)を利用してカメラ43の位置(位置情報B)を算出してもよい。
【0038】
また、前述した実施例では、カメラ43や内視鏡45を垂直方向に移動させているが、カメラ43や内視鏡45の移動方向は、垂直方向、水平方向、斜め方向のいずれであってもよく、これらの任意の組み合わせであってもよい。
【0039】
また、前述した実施例では、1つの穴101の検査において、撮像枚数が所定数(例えば、100)に達する毎に異なるデータ処理装置7に所定数の撮像データを送って処理するという態様で並列処理を行っているが、並列処理の態様はこれに限定されない。例えば、複数の穴101の検査を行う際、各穴101の撮像が完了する毎に、各穴101の撮像データを異なるデータ処理装置7に送って並列処理するようにしてもよい。
【符号の説明】
【0040】
1 検査装置
2 土台
3 スタンド
4 昇降ユニット
41 ユニット本体
42 アクチュエータ
43 カメラ
44 アダプタレンズ
45 内視鏡
45a 照明光
45b 撮像光
46 照明
47 位置センサ
6 制御部
7 データ処理装置
8 ネットワーク
100 検査対象物
101 穴