特許第5738417号(P5738417)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ シーメンス コーポレーションの特許一覧

特許5738417装置の並列仮想−現実画像検査システム及び方法
<>
  • 特許5738417-装置の並列仮想−現実画像検査システム及び方法 図000002
  • 特許5738417-装置の並列仮想−現実画像検査システム及び方法 図000003
  • 特許5738417-装置の並列仮想−現実画像検査システム及び方法 図000004
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】5738417
(24)【登録日】2015年5月1日
(45)【発行日】2015年6月24日
(54)【発明の名称】装置の並列仮想−現実画像検査システム及び方法
(51)【国際特許分類】
   G01N 21/88 20060101AFI20150604BHJP
【FI】
   G01N21/88 Z
【請求項の数】8
【全頁数】10
(21)【出願番号】特願2013-530338(P2013-530338)
(86)(22)【出願日】2011年9月23日
(65)【公表番号】特表2013-537979(P2013-537979A)
(43)【公表日】2013年10月7日
(86)【国際出願番号】US2011052877
(87)【国際公開番号】WO2012040533
(87)【国際公開日】20120329
【審査請求日】2013年7月30日
(31)【優先権主張番号】13/240,632
(32)【優先日】2011年9月22日
(33)【優先権主張国】US
(31)【優先権主張番号】61/386,092
(32)【優先日】2010年9月24日
(33)【優先権主張国】US
(73)【特許権者】
【識別番号】510299444
【氏名又は名称】シーメンス コーポレーション
【氏名又は名称原語表記】Siemens Corporation
(74)【代理人】
【識別番号】100075166
【弁理士】
【氏名又は名称】山口 巖
(74)【代理人】
【識別番号】100133167
【弁理士】
【氏名又は名称】山本 浩
(72)【発明者】
【氏名】シー、ビーンローン
(72)【発明者】
【氏名】ゲンク、ヤクップ
(72)【発明者】
【氏名】ガオ、シアーン
【審査官】 田中 洋介
(56)【参考文献】
【文献】 特開平07−225121(JP,A)
【文献】 米国特許出願公開第2006/0140473(US,A1)
【文献】 米国特許出願公開第2007/0217672(US,A1)
【文献】 特開平06−148093(JP,A)
【文献】 特開2009−162718(JP,A)
【文献】 特開昭63−009850(JP,A)
【文献】 特表2007−527993(JP,A)
【文献】 特開2008−020426(JP,A)
【文献】 特開2010−135784(JP,A)
【文献】 特開平10−073636(JP,A)
【文献】 米国特許出願公開第2005/0147290(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G01N 21/84−21/958
G01B 11/00−11/30
(57)【特許請求の範囲】
【請求項1】
第1及び第2アームをもち且つコンピューティングデバイスに制御される制御可能なアクチュエータに搭載されて機械部品に向けられる複数の可動カメラに対し、予め定められた位置に前記機械部品を配置し、
前記コンピューティングデバイス上のユーザインターフェースで前記制御可能なアクチュエータを制御して前記カメラを位置決めし、
前記コンピューティングデバイスで前記機械部品のCADモデルから仮想画像を描画し、
前記カメラにより生成された前記機械部品の少なくとも1つの生画像をディスプレイに表示し、
前記コンピューティングデバイスが、前記アクチュエータの位置及び向きと前記カメラの物理的特性に従って前記機械部品上の前記カメラが捉えている部分を掌握し、前記CADモデルから当該部分に対応する仮想画像を描画して該仮想画像を前記生画像と並べて前記ディスプレイに表示させる、
ことを含み、
広域版の前記仮想画像上の適切な部分に前記生画像を正しく位置させるようにして、前記広域版の仮想画像に対し前記生画像をオーバーレイ方式で前記ディスプレイに表示することをさらに含む、
機械部品を検査する方法。
【請求項2】
前記複数のカメラにより前記機械部品の2以上の部分の生画像が生成され、
前記コンピューティングデバイスが、該2以上の部分にそれぞれ対応する2以上の仮想画像を前記CADモデルから描画して該仮想画像を前記生画像と並べて表示させ、
広域版の前記仮想画像上の適切な部分に前記2以上の生画像を正しく位置させるようにして、前記広域版の仮想画像に対し前記2以上の生画像をオーバーレイ方式で前記ディスプレイに表示する、
請求項1に記載の方法。
【請求項3】
前記制御可能なアクチュエータが多自由度で動作可能である、請求項1又は請求項2のいずれか1項に記載の方法。
【請求項4】
コンピューティングデバイスが、機械部品の少なくとも1つの部分の生画像、該生画像を生成するカメラの複数の物理的特性、該カメラを搭載した制御可能なアクチュエータの位置と向き、及び前記カメラに対する前記機械部品の較正を収集し、前記カメラの位置及び向きを制御し、
前記コンピューティングデバイスが、前記機械部品のCADモデルを収集し、
前記コンピューティングデバイスが、前記機械部品のCADモデルから前記機械部品の仮想画像を描画し、
前記コンピューティングデバイスが、前記アクチュエータの位置及び向きと前記カメラの物理的特性に従って前記機械部品上の前記カメラが捉えている部分を掌握し、前記CADモデルから当該部分に対応する仮想画像を描画して、前記生画像及び該生画像に対応する部分の前記仮想画像を同時に並べて表示させると共に、
前記コンピューティングデバイスが、広域版の前記仮想画像上の適切な部分に前記生画像を正しく位置させるようにして、前記広域版の仮想画像に対し前記生画像をオーバーレイ方式でも表示させる、
ことを含む、機械部品を検査する方法。
【請求項5】
前記コンピューティングデバイスが、前記機械部品の2以上の部分の生画像を前記カメラから収集し、
前記コンピューティングデバイスが、前記2以上の生画像及び該生画像のそれぞれに対応する部分の前記仮想画像を同時に並べて表示させると共に、
広域版の前記仮想画像上の適切な部分に前記2以上の生画像を正しく位置させるようにして、前記広域版の仮想画像に対し前記2以上の生画像をオーバーレイ方式でも表示させる、
請求項4に記載の方法。
【請求項6】
制御可能なアクチュエータにそれぞれ搭載され、コンピューティングデバイスの制御で機械部品へ向けられる、複数のカメラと、
検査対象の前記機械部品の少なくとも部分の仮想画像を前記コンピューティングデバイスが描画するために、前記コンピューティングデバイスからアクセス可能なメモリに記憶される、前記機械部品のCADモデルと、
前記複数のカメラと接続されて前記複数のカメラの1つ以上からの生画像を表示する、少なくとも1つのディスプレイと、
を備え、
前記コンピューティングデバイスは、
前記制御可能なアクチュエータ及び前記少なくとも1つのディスプレイと接続され、前記制御可能なアクチュエータを制御するためのユーザインターフェースを含み、
前記制御可能なアクチュエータから受信される当該アクチュエータの位置及び向きと前記カメラの物理的特性に従って前記機械部品上の前記カメラが捉えている部分を掌握し、前記CADモデルから当該部分に対応する仮想画像を描画して該仮想画像を前記生画像と並べて前記ディスプレイに表示させると共に、
広域版の前記仮想画像上の適切な部分に前記生画像を正しく位置させるようにして、前記広域版の仮想画像に対し前記生画像をオーバーレイ方式でも前記ディスプレイに表示させる、
機械部品を検査するための検査システム。
【請求項7】
前記ディスプレイが、2以上の前記生画像を表示し、
前記コンピューティングデバイスは、
前記2以上の生画像のぞれぞれに対応する部分の前記仮想画像を前記生画像と並べて前記ディスプレイに表示させると共に、
広域版の前記仮想画像上の適切な部分に前記2以上の生画像を正しく位置させるようにして、前記広域版の仮想画像に対し前記2以上の生画像をオーバーレイ方式で前記ディスプレイに表示させる、
請求項6に記載の検査システム。
【請求項8】
前記制御可能なアクチュエータは、多自由度で動作可能である、請求項6又は請求項7に記載の検査システム。
【発明の詳細な説明】
【技術分野】
【0001】
関連事件の言及
本願は、2010年9月24日出願のUS仮出願61/386,092の優先権と利益を主張する。
【0002】
本発明は、カメラを利用した検査システム及び方法に関する。
【背景技術】
【0003】
産業装置及び設備に関し、カメラ画像からのコンピュータ化された検査で非常に正確な情報が提供される。しかし、検査対象物が複雑である場合(例えば、最新のガスタービン機械)、及び、複数のカメラ及び複数のカメラ配置が入り組んでいるとき、検査は難しくなる。各カメラ又はカメラ配置と検査される装置との空間的関係を理解するのは、直感的でないことが多い。これが、検査の生産性を妨げる。
【0004】
検査プロセスは、検査対象装置が複雑なときに特に難しい。例えば、既存の検査システム及び手順を備えた最新のガスタービン機械の検査は困難である。その理由の一つが、装置が大きく且つ検査の配信映像を精査するときに位置を突き止め難い複雑な形状ということである。
【発明の概要】
【発明が解決しようとする課題】
【0005】
したがって、複雑な装置を検査するための新しく改善されたシステム及び手順が求められる。
【課題を解決するための手段】
【0006】
本発明は、装置を検査する検査者に、該検査対象の装置に対するカメラ配置の最適状況を認識させるように、直接支援する。本発明の一態様によれば、ジョイスティック、キーボード、及びマウスを含むユーザインターフェースを備えたコンピュータから制御可能なアクチュエータに、カメラが設置される。カメラは、多自由度をもち得る。コンピューティングデバイスのソフトウエアがアクチュエータを全面的に制御し、各カメラの空間的位置及び向きを掌握する。
【0007】
検査対象のCADモデルを利用可能であり、コンピューティングデバイスのソフトウエアに読み込まれる。カメラからのビデオ画像は、コンピュータへ中継される。本発明のシステムは、これら利用可能な情報を選択的に並列にして提示することが可能である:カメラからの生画像;CADモデルにオーバーレイ表示した生画像と合わせて、CADモデル中のカメラの仮想表示並びにカメラ及びCADモデルの現状概観。
【0008】
これらの表示で、検査者は、検査対象の装置に対するカメラの位置、カメラ映像をチューニング(微調整)せずに見た外観、及びカメラからの実画像、を全て同時に同じアプリケーションにおいて正確に把握できる。これは、ユーザが予め定められた配置を設定し、トレーニングを実施し、そして検査を実際に行うことに対し大きな手助けとなる。
【0009】
したがって、装置を検査する新しく改善された方法及びシステムが、本発明の各種態様に応じて提供される。
【0010】
本発明の一態様によれば、装置を検査する方法が提案される。検査対象装置は、制御可能なアクチュエータに搭載された複数の可動カメラと関連させて、予め定められた位置に配置される。次に、アクチュエータを操作して、複数のカメラを装置に向ける。制御可能なアクチュエータは、ユーザインターフェースを介して検査者又はユーザにより制御されてカメラを位置決めする。
【0011】
コンピューティングデバイスが検査対象装置のCADモデルをアクセスし、該CADモデルから検査対象装置の仮想画像を描画する。
【0012】
そして、検査対象装置の生画像が、1以上のカメラによってディスプレイに生成される。コンピューティングデバイスは、そのディスプレイに、描画した装置の仮想画像を表示させ得る。
【0013】
本発明の一態様によれば、カメラにより生成された装置の生画像及びCADモデルから描画された仮想画像が、ディスプレイに並列に表示される。
【0014】
本発明の他の態様によれば、カメラにより生成された装置の生画像及びCADモデルから描画された仮想画像は、生画像をCADモデルから描画した広域版の仮想画像上の適切な部分に正しく位置させるようにして、該広域版の仮想画像に生画像をオーバーレイ表示するオーバーレイ方式により、表示され得る。
【0015】
本発明の他の態様によれば、複数のカメラから2以上の生画像が取得されこれら複数の生画像のそれぞれをCADモデルから描画した広域版の仮想画像上の適切な部分に正しく位置させるようにして、該広域版の仮想画像上に複数の生画像をオーバーレイ表示するオーバーレイ方式により、表示される。
【0016】
本発明の他の態様によれば、装置は、該装置の生画像が得られた後に検査可能である。この場合、当該生画像はカメラにより得られ、そして本発明の態様によれば分析のために記憶される。
【0017】
この本発明の態様によれば、コンピューティングデバイスが、装置の生画像、該生画像を生成するカメラの複数の物理的特性、該カメラの位置及び向き、該カメラに対する装置の較正を読み出す。コンピューティングデバイスは、検査対象装置のCADモデルも読み出す。
【0018】
コンピューティングデバイスは、装置のCADモデルから該装置の仮想画像を描画する。このコンピューティングデバイスは、対象となっている装置の部分に応じて、CADモデルの一部又は全体を描画し得る。
【0019】
コンピューティングデバイスは、次に、装置の生画像と該装置の仮想画像の対応する部分とを同時に表示させる。カメラにより生成された装置の生画像及びCADモデルから描画した仮想画像は、ディスプレイに並列に表示可能である。さらに、カメラにより生成された装置の生画像及びCADモデルから描画した仮想画像は、CADモデルから描画した広域版の仮想画像上の適切な部分生画像を正しく位置させるようにして、広域版の仮想画像に生画像をオーバーレイ表示するオーバーレイ方式により、表示され得る。
【0020】
複数のカメラから2以上の生画像が取得されこれら複数の生画像のそれぞれをCADモデルから描画した広域版の仮想画像上の適切な部分に正しく位置させるようにして、広域版の仮想画像に複数の生画像をオーバーレイ表示するオーバーレイ方式により、表示され得る。
【0021】
本発明の態様によれば、上記方法及び本明細書に記載するその他の方法を実行するシステムも提供される。本発明の一態様によれば、装置を検査する検査システムは、複数のカメラを含み、該複数のカメラのそれぞれは、制御可能なアクチュエータに搭載され、装置へ向けられる。該システムはさらに、コンピューティングデバイスからアクセス可能なメモリに記憶された、装置のCADモデルを含む。コンピューティングデバイスは、検査対象装置の少なくとも部分の仮想画像を描画する。このシステムは、複数のカメラと接続された少なくとも1つのディスプレイを含み、複数のカメラの1つ以上からの生画像を表示する。
【0022】
コンピューティングデバイスは、各制御可能アクチュエータ及び少なくとも1つのディスプレイと接続されており、各制御可能アクチュエータを制御するユーザインターフェースを含む。コンピューティングデバイスは、さらに、描画仮想画像を少なくとも1つのディスプレイに表示させる。
【図面の簡単な説明】
【0023】
図1】本発明の実施形態に係る装置検査システムを説明する。
図2】コンピューティングデバイスによりディスプレイに表示されるアクチュエータの位置データを説明する。
図3】本発明の実施形態に係り、コンピューティングデバイスがディスプレイに表示するウインドウを説明する。
【発明を実施するための形態】
【0024】
図1は、本発明の実施形態に従う検査対象装置及び検査システムを示す。検査対象装置10が図示されている。この装置10は、タービンやガスタービン等を含む非常に多くの装置のいずれかであり得る。当該検査対象装置は、サイズ及び形状の両方において非常に複雑であり得る。検査をするためにカメラを使用する場合、欠陥のある位置を簡単に見失ってしまう。欠陥は、傷、ひび、染み、その他の欠陥であり得る。
【0025】
複数のカメラ12,14が検査対象装置10の内側で動作し、検査が行われる。カメラ12,14は、可動の、制御可能なアクチュエータ16に搭載される。本発明の実施形態によれば、アクチュエータ16は、第1アーム18及び第2アーム20を含む。
【0026】
2つのカメラ12,14が図示されているが、1つのカメラも使用され得る。他に、2個以上のカメラも使用され得る。
【0027】
第1アーム18は、矢印22で示す方向に沿って制御可能に動かせる。したがって、カメラ12,14は、検査実行にあたり、検査対象装置10の中心を通して動かすことができる。
【0028】
第2アーム20は、矢印24で示す方向に回動可能である。第2アーム20は、図の内外にも回動可能である。したがって、制御可能な可動アクチュエータ16は、多自由度をもつ。アクチュエータ16を方向22に沿って移動させつつ、第2アーム20を回動させ、検査対象装置10の全内部を精査することができる。
【0029】
本発明の他の実施形態によれば、伝送回路がアクチュエータ16に取り付けられ、アクチュエータ16の位置及び向きを、インターフェース28を介してコンピューティングデバイス26へ伝達する。伝送回路は、カメラ12,14の全物理的特性も、コンピューティングデバイス26へ伝送し得る。これにより、コンピューティングデバイス26は、カメラ12,14が装置10上の何を見ているのか掌握し、カメラ12,14の特性を理解する。
【0030】
本発明の実施形態に係る装置検査システムが、さらに図2に図示されている。検査されるべき装置30が図示される。該装置は、典型的には、ガスタービン機械のような複雑な装置である。
【0031】
このシステムは、複数のカメラ32,34を含む。上述のように、2つのカメラを図示するが、2以上のカメラも使用し得る。本発明の他の実施形態によれば、1つのカメラも使用し得る。使用するカメラのタイプは、複雑な装置の検査を実行するために使用される標準的産業カメラである。
【0032】
各カメラ32,34は、それぞれアクチュエータ36,38に取り付けられる。本発明の実施形態によれば、アクチュエータ36,38は、複数部品を含む単一機構の部分である。あるいは、アクチュエータ36,38のそれぞれが、個別のアクチュエータ機構であり得る。アクチュエータ36,38は、複数のカメラ32,34のそれぞれに対して多自由度を提供する。これにより、カメラ32,34は、検査対象装置上のいかなる所望の位置にも向けることができる。
【0033】
アクチュエータは、インターフェース42を通してコンピューティングデバイス40により制御可能である。コンピューティングデバイスは、パーソナルコンピュータ、ラップトップ、又は専用設計コンピュータも含んだ、如何なるタイプのコンピューティングデバイスでもよい。検査対象装置に対するアクチュエータ36,38の位置及び向きは、コンピューティングデバイス40の一部であるユーザインターフェースによりコントロールされる。使用可能なユーザインターフェースは、マウス、キーボード、キーパッド、タッチスクリーン、及びジョイスティックを含む。これらは、コンピューティングデバイスの一部として提供される。
【0034】
システムは、カメラ32,34のそれぞれと接続された1以上のディスプレイ44を含む。本発明の一実施形態では、各カメラ32,34がディスプレイ44に接続される。本発明の他の実施形態によれば、1つのカメラが個別に1つのディスプレイと接続され得る。
【0035】
検査され得る複数の装置の1以上のCADモデルがメモリ48に記憶される。メモリ48は、遠隔操作でコンピューティングデバイス40からアクセスされる遠隔サーバの一部でもよい。メモリ48は、検査対象装置30のCADモデルを含む。
【0036】
コンピューティングデバイス40は、検査対象装置のCADモデルから該検査対象装置の仮想画像を描画する。これは、OpenGL(登録商標)などの公的に利用可能なソフトウエアを使用して実行可能である。コンピューティングデバイス40は、検査対象装置全体の完全な仮想画像を描画できるし、あるいは、検査対象装置の部分の仮想画像を描画して時間を節約することもできる。
【0037】
カメラ32,34の位置及び向きは、検査対象装置の生画像を得るべくコンピューティングデバイス40のユーザインターフェースから制御される。本発明の実施形態によれば、検査対象装置からの生画像及び描画された仮想画像は、同時に表示される。
【0038】
図3は、コンピューティングデバイス40により表示されるウインドウ50を図示する。画像52,54は検査対象装置からの生画像である。もし、傷、ひび、脱色等の欠陥が存在すれば、当該欠陥はここに現れる。しかし、これら画像を単純に精査しただけでは、検査対象装置におけるその位置が検査者にとって不確定なままのことがある。検査者にとっては、検査対象装置の特質なのか、実際に欠陥があるのか否かも、不確かであり得る。
【0039】
そこで、本発明は、画像58,56のように、生画像に対応する描画仮想画像も表示する。すなわち、生画像52は描画仮想画像58と関連する。また、生画像54は描画仮想画像56と関連する。
【0040】
一般的に、仮想画像は、予め定められた仮想カメラ位置及び内的特性を用いてCADモデルから描画される。仮想画像と生画像との間の相互関係を確立するために、仮想カメラは、生カメラと同じ位置及び内的特性をもつ必要がある。内的較正プロセスが生カメラの内的特性を評価する。外的較正プロセスの後、何時でも、CADモデルに関する生カメラの位置は、アクチュエータ位置測定値から計算される。
【0041】
生カメラの位置及び内的パラメータが得られれば、これらはOpenGL(登録商標)などのコンピュータグラフィック技術を使用してCADモデルから仮想画像56,58を描画するべく、仮想カメラに使用される。生画像54及び仮想画像56の最上部中央の穴など、仮想画像及び生画像は類似構造を示す。
【0042】
したがって、本発明の実施形態は、検査対象装置の生画像を描画仮想画像と共に表示することを可能にする。本発明の実施形態によれば、生画像54は、描画仮想画像56の隣に表示される。これら画像は並列に表示可能である。これは、検査対象装置の欠陥をより簡単に特定することを可能にする。すなわち、検査者が、既に使用に供されている検査対象装置の画像を精査するにあたり、未使用状態の装置のモデルを見ることができるからである。
【0043】
追加的に、あるいは代替的に、生画像52は、ウインドウ60内の、より広域版の描画仮想画像62における画像64のように、オーバーレイ表示することが可能である。これは、位置を相関させることで行われる。
【0044】
アクチュエータがその位置をコンピューティングデバイスに通知するので、コンピューティングデバイスは、カメラの位置及び向きを掌握する。カメラの必要な物理的特性も、アクチュエータインターフェースを通してコンピューティングデバイスへ送信可能である。あるいは、カメラの物理的特性は、メモリに記憶して必要に応じコンピューティングデバイスからアクセスすることもできる。コンピューティングデバイスは、この情報を利用して、生画像64,66を描画仮想画像62上に配置する。
【0045】
図3に示すように、複数の画像64,66は、検査中の装置の描画仮想画像62上にオーバーラップ表示され得る。
【0046】
ディプレイ60は、検査者が画像の位置及び生画像52,54にある欠陥の位置を容易に特定することを補助する。
【0047】
本発明の検査ステーションは、異なるモードで使用可能である。第1モードにおいては、検査対象装置のリアルタイム検査から生成の生画像がコンピューティングデバイスに取り込まれる。この場合、コンピューティングデバイスは、リアルタイムで上記ステップを実行し、アクチュエータの位置、したがってカメラの位置を制御するべく使用可能である。
【0048】
本発明の他の実施形態によれば、装置の生画像は、カメラ及び可動の制御可能なアクチュエータを使用して生成可能であり、当該生画像がメモリに記憶される。分析時には、生画像は、コンピューティングデバイスからアクセス可能なメモリに記憶されている。
【0049】
コンピューティングデバイスは、上記のように、検査対象装置のCADモデルにアクセスする。コンピューティングデバイスは、例えばOpenGL(登録商標)を使用して、CADモデルから検査対象装置の仮想画像を描画する。コンピューティングデバイスは、次いで、1以上の生画像を描画仮想画像と同時に表示させる。
【0050】
生画像及び描画仮想画像の表示は、上述のような並列又はオーバーラップ方式、あるいはその両方である。並列表示及びオーバーレイ表示は、図3に示してある。
【0051】
検査対象装置は、検査前に、カメラ又はアクチュエータに対して規定の位置に配置される。これにより、コンピューティングデバイスは、装置のCADモデルの適切な部分へ画像を関連付けることができる。これを較正(キャリブレーション)と呼ぶ。較正は手動で実行可能であり、較正の詳細がコンピューティングデバイスに通知される。
【0052】
本発明の基礎的な新規特徴を、その好適な実施形態に適用して、図示し、説明し、指摘したが、記載した方法及びシステムの形態及び詳細とその動作において、種々の省略、代替、変更を、本発明の思想を逸脱することなく、当業者であればなし得る。すなわち、特許請求の範囲によってのみ範囲を定めるべきと考える。
【符号の説明】
【0053】
10,30 検査対象の装置
12,14,32,34 カメラ
16,36,38 アクチュエータ
18 第1アーム
20 第2アーム
26,40 コンピューティングデバイス
28,42 インターフェース
44 ディスプレイ
48 メモリ
50,60 ウインドウ
52,54,64,66 画像(生)
56,58,62 画像(仮想)
図1
図2
図3