特開 2023-168279 オブジェクトの三次元表現に基づく相互作用測定

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023168279

(43)【公開日】2023-11-24

(54)【発明の名称】オブジェクトの三次元表現に基づく相互作用測定

(51)【国際特許分類】

   G06T 19/00 20110101AFI20231116BHJP

   G06T 7/50 20170101ALI20231116BHJP

   G06T 7/00 20170101ALI20231116BHJP

   G06V 10/82 20220101ALI20231116BHJP

   G06F 3/04815 20220101ALI20231116BHJP

   G06F 3/04845 20220101ALI20231116BHJP

【ＦＩ】

G06T19/00 A

G06T7/50

G06T7/00 610Z

G06T7/00 350B

G06T7/00 350C

G06V10/82

G06F3/04815

G06F3/04845

【審査請求】有

【請求項の数】15

【出願形態】ＯＬ

(21)【出願番号】P 2023077761

(22)【出願日】2023-05-10

(31)【優先権主張番号】63/341,696

(32)【優先日】2022-05-13

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】18/131,456

(32)【優先日】2023-04-06

(33)【優先権主張国・地域又は機関】US

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＢＬＵＥＴＯＯＴＨ

(71)【出願人】

【識別番号】517318263

【氏名又は名称】ベイカー ヒューズ ホールディングス エルエルシー

(74)【代理人】

【識別番号】110002871

【氏名又は名称】弁理士法人坂本国際特許商標事務所

(72)【発明者】

【氏名】クラーク、エー．、ベンダル

【テーマコード（参考）】

5B050

5E555

5L096

【Ｆターム（参考）】

5B050AA03

5B050BA06

5B050BA09

5B050BA13

5B050BA20

5B050CA06

5B050DA01

5B050DA09

5B050EA19

5B050EA26

5B050FA02

5B050FA06

5B050FA12

5B050FA13

5E555AA27

5E555BA02

5E555BA03

5E555BA05

5E555BA06

5E555BA70

5E555BB02

5E555BB03

5E555BB05

5E555BB06

5E555BC17

5E555BD01

5E555BE16

5E555CA02

5E555CA12

5E555CA17

5E555CA18

5E555CA42

5E555CB02

5E555CB12

5E555CB45

5E555CC05

5E555DA11

5E555DB04

5E555DB53

5E555DB56

5E555DC09

5E555DC43

5E555DC54

5E555EA07

5E555EA11

5E555EA22

5E555EA25

5E555FA00

5L096AA02

5L096AA06

5L096AA09

5L096BA03

5L096CA02

5L096DA01

5L096DA02

5L096EA22

5L096EA28

5L096FA06

5L096FA17

5L096GA51

5L096HA11

5L096HA13

5L096KA04

(57)【要約】      （修正有）

【課題】ターゲットオブジェクトの表面上の第１の位置の選択を使用して、ターゲットオブジェクトの視覚表現をレンダリングする方法、システム及びコンピュータプログラム製品を提供する。
【解決手段】方法は、ターゲットオブジェクトの一部分の視覚表現をグラフィカルユーザインターフェースにおいてレンダリングし、ターゲットオブジェクトの表面上の第１の位置の選択を示す第１のユーザ入力を受信し、基準面を、ターゲットオブジェクトの表面上の選択された位置に基づいて判定し、ターゲットオブジェクトの視覚表現をオーバーレイするグラフィカルオブジェクトをレンダリングし、第１の距離を示す第２のユーザ入力を受信し、グラフィカルオブジェクトの第２のパラメータを判定し、ターゲットオブジェクトをグラフィカルオブジェクトのパラメータに基づいて特徴付け、修復デバイスによって実施される動作を選択する。
【選択図】図２

【特許請求の範囲】

【請求項1】

方法であって、
グラフィカルユーザインターフェース表示空間において、ターゲットオブジェクトの視覚表現をレンダリングすることと、
前記視覚表現との第１のユーザ相互作用に基づいて、前記ターゲットオブジェクトの表面上の第１の位置の選択を示す第１のユーザ入力を受信することと、
前記ターゲットオブジェクトの前記表面上の複数の位置の選択に基づいて基準面を判定することであって、前記複数の位置は、前記ターゲットオブジェクトの前記表面上の前記第１の位置から第１の距離内に位置する、判定することと、
前記グラフィカルユーザインターフェースにおいて、前記ターゲットオブジェクトの前記視覚表現をオーバーレイするグラフィカルオブジェクトをレンダリングすることであって、前記グラフィカルユーザインターフェースにおける前記グラフィカルオブジェクトの場所は、前記基準面に基づき、前記グラフィカルオブジェクトは、前記第１の位置と関連付けられた第１の点を含む、レンダリングすることと、
前記グラフィカルオブジェクトに基づいて前記ターゲットオブジェクトを特徴付けることと、を含む、方法。

【請求項2】

前記ターゲットオブジェクトの複数の画像を特徴付けるデータを受信することと、
前記ターゲットオブジェクトの三次元表現を判定することであって、前記三次元表現は、前記ターゲットオブジェクトの前記表面上の複数の点を含む、判定することと、を更に含み、
前記ターゲットオブジェクトの前記視覚表現は、前記ターゲットオブジェクトの前記複数の画像及び／又は前記ターゲットオブジェクトの前記三次元表現に基づく、請求項１に記載の方法。

【請求項3】

前記複数の画像は、前記ターゲットオブジェクトの立体視画像である、請求項２に記載の方法。

【請求項4】

第２の距離を示す第２のユーザ入力を受信することを更に含む、請求項１に記載の方法。

【請求項5】

前記ターゲットオブジェクトの前記表面上の第２の位置の選択を示す第２のユーザ入力を受信することと、
前記第１の位置及び前記第２の位置に基づいて前記第２の距離を判定することと、を更に含む、請求項４に記載の方法。

【請求項6】

前記第１の点は、前記ターゲットオブジェクトの表面上の第１の場所の投影である、請求項１に記載の方法。

【請求項7】

前記視覚表現は、前記ターゲットオブジェクトの二次元画像を含む、請求項１に記載の方法。

【請求項8】

前記視覚表現は、前記ターゲットオブジェクトの三次元表現を含む、請求項１に記載の方法。

【請求項9】

前記ターゲットオブジェクトは、産業デバイスを含む、請求項１に記載の方法。

【請求項10】

前記複数の位置は、前記三次元表現の三次元座標系における複数の点にマッピングし、前記複数の位置の各位置は、特定の三次元点に対応する、請求項１に記載の方法。

【請求項11】

前記グラフィカルオブジェクトは、前記三次元座標系における円にマッピングし、前記第２の距離は、前記円の半径を示す、請求項１０に記載の方法。

【請求項12】

前記円は、前記基準面上に位置する、請求項１１に記載の方法。

【請求項13】

前記グラフィカルオブジェクトは、前記ターゲットオブジェクトの前記視覚表現において楕円形である、請求項１０に記載の方法。

【請求項14】

システムであって、
少なくとも１つのデータプロセッサと、
前記少なくとも１つのデータプロセッサに連結されたメモリであって、前記メモリは、前記少なくとも１つのデータプロセッサに、
グラフィカルユーザインターフェース表示空間において、ターゲットオブジェクトの視覚表現をレンダリングすることと、
前記視覚表現との第１のユーザ相互作用に基づいて、前記ターゲットオブジェクトの表面上の第１の位置の選択を示す第１のユーザ入力を受信することと、
前記ターゲットオブジェクトの前記表面上の複数の位置の選択に基づいて基準面を判定することであって、前記複数の位置は、前記ターゲットオブジェクトの前記表面上の前記第１の位置から第１の距離内に位置する、判定することと、
前記グラフィカルユーザインターフェースにおいて、前記ターゲットオブジェクトの前記視覚表現をオーバーレイするグラフィカルオブジェクトをレンダリングすることであって、前記グラフィカルユーザインターフェースにおける前記グラフィカルオブジェクトの場所は、前記基準面に基づき、前記グラフィカルオブジェクトは、前記第１の位置と関連付けられた第１の点を含む、レンダリングすることと、
前記グラフィカルオブジェクトに基づいて前記ターゲットオブジェクトを特徴付けることと、を含む動作を実施させる命令を記憶する、メモリと、を備える、システム。

【請求項15】

命令を記憶する機械可読媒体を備えるコンピュータプログラム製品であって、前記命令は、少なくとも１つのプログラマブルプロセッサによって実行されると、前記少なくとも１つのプログラマブルプロセッサに、
グラフィカルユーザインターフェース表示空間において、ターゲットオブジェクトの視覚表現をレンダリングすることと、
前記視覚表現との第１のユーザ相互作用に基づいて、前記ターゲットオブジェクトの表面上の第１の位置の選択を示す第１のユーザ入力を受信することと、
前記ターゲットオブジェクトの前記表面上の複数の位置の選択に基づいて基準面を判定することであって、前記複数の位置は、前記ターゲットオブジェクトの前記表面上の前記第１の位置から第１の距離内に位置する、判定することと、
前記グラフィカルユーザインターフェースにおいて、前記ターゲットオブジェクトの前記視覚表現をオーバーレイするグラフィカルオブジェクトをレンダリングすることであって、前記グラフィカルユーザインターフェースにおける前記グラフィカルオブジェクトの場所は、前記基準面に基づき、前記グラフィカルオブジェクトは、前記第１の位置と関連付けられた第１の点を含む、レンダリングすることと、
前記グラフィカルオブジェクトに基づいて前記ターゲットオブジェクトを特徴付けることと、を含む動作を実施させる、コンピュータプログラム製品。

【発明の詳細な説明】

【技術分野】

【0001】

（関連出願）
本出願は、米国特許法第１１９条（ｅ）の下で、２０２２年５月１３日に出願された米国特許仮出願第６３／３４１，６９６号の優先権を主張するものであり、その全容が参照により本明細書に明示的に組み込まれる。

【0002】

（発明の分野）
本出願は、オブジェクトの三次元表現に基づく相互作用測定のためのシステム及び方法に関する。

【背景技術】

【0003】

三次元オブジェクト（例えば、表面）が撮像され、グラフィカルユーザインターフェース（graphical user interface、ＧＵＩ）に提示され得る。例えば、オブジェクトの二次元画像（例えば、写真）がＧＵＩに提示され得る。代替的に、オブジェクトの三次元画像（例えば、点群図）がＧＵＩに提示され得る。点群図は、構造光投影法、ステレオ法、写真測量法、飛行時間法などの３Ｄ画像技術を使用してオブジェクトの外面上の複数の場所を検出することによって生成され得る。いくつかの実装形態では、外部オブジェクトの複数の画像が組み合わされて、三次元画像の一部分が生成され得る。点群は、計測のために、アニメーション又は他の用途において、製造部品の３Ｄコンピュータ支援設計（computer-aided design、ＣＡＤ）モデルを生成するために使用され得る。

【発明の概要】

【0004】

概して、監視デバイスによって検出されるオブジェクトの三次元表現の相互作用測定のためのシステム及び方法が提供される。開示される主題の様々な態様は、以下の機能のうちの１つ以上を提供することができる。

【0005】

方法は、グラフィカルユーザインターフェース表示空間において、ターゲットオブジェクトの視覚表現をレンダリングすることを含む。本方法はまた、視覚表現との第１のユーザ相互作用に基づいて、ターゲットオブジェクトの表面上の第１の位置の選択を示す第１のユーザ入力を受信することを含み得る。本方法は、ターゲットオブジェクトの表面上の複数の位置の選択に基づいて基準面を判定することを更に含み得る。複数の位置は、ターゲットオブジェクトの表面上の第１の位置から第１の距離内に位置する。本方法はまた、グラフィカルユーザインターフェースにおいて、ターゲットオブジェクトの視覚表現をオーバーレイするグラフィカルオブジェクトをレンダリングすることを含み得る。グラフィカルユーザインターフェースにおけるグラフィカルオブジェクトの場所は、判定された基準面に基づく。グラフィカルオブジェクトは、複数の外周位置を含む外周を有する。複数の外周位置のうちの１つの外周位置は、ターゲットオブジェクトの三次元表現の三次元座標系における第２の点にマッピングされる。三次元座標系における第１の点と第２の点との間の距離は、第２の距離以下である。三次元座標系における第１の点は、第１の位置と関連付けられる。

【0006】

命令を記憶する非一時的コンピュータプログラム製品（すなわち、物理的に具現化されたコンピュータプログラム製品）も記載されており、命令は、１つ以上のコンピューティングシステムの１つ以上のデータプロセッサによって実行されると、少なくとも１つのデータプロセッサに、本明細書に記載の動作を実施させる。同様に、１つ以上のデータプロセッサ及び１つ以上のデータプロセッサに結合されたメモリを含み得るコンピュータシステムも記載されている。メモリは、少なくとも１つのプロセッサに、本明細書に記載される動作のうちの１つ以上を実施させる命令を一時的又は永続的に記憶し得る。加えて、方法は、１つ以上のデータプロセッサによって、単一のコンピューティングシステム内か、又は２つ以上のコンピューティングシステム間に分散されるか、のいずれかで実装され得る。このようなコンピューティングシステムは、接続され、ネットワーク（例えば、インターネット、無線広域ネットワーク、ローカルエリアネットワーク、広域ネットワーク、有線ネットワーク等）を介した接続を含む１つ以上の接続、複数のコンピューティングシステムのうちの１つ以上の間の直接接続等を経由して、データ及び／若しくはコマンド又は他の命令等を交換し得る。

【0007】

開示される主題のこれらの能力及び他の能力は、以下の図面、発明を実施するための形態、及び特許請求の範囲の閲覧後により完全に理解されよう。

【図面の簡単な説明】

【0008】

これらの特徴及び他の特徴は、添付図面と併せて講じられる以下の発明を実施するための形態からより容易に理解されるであろう。

【図1】本明細書に提示される実施形態による、システムの一例を例解する。

【図2】本明細書に提示される実施形態による、例示的プロセスのフローチャートである。

【図3】本明細書に提示される実施形態による、撮像ターゲットの視覚表現を含む、例示的なグラフィカルユーザインターフェース（ＧＵＩ）を例解する。

【図4】本明細書に提示される実施形態による、撮像ターゲットの視覚表現を含む、例示的なグラフィカルユーザインターフェース（ＧＵＩ）を例解する。

【図5】本明細書に提示される実施形態による、撮像ターゲットの視覚表現を含む、例示的なグラフィカルユーザインターフェース（ＧＵＩ）を例解する。

【図6】本明細書に提示される実施形態による、撮像ターゲットの視覚表現を含む、例示的なグラフィカルユーザインターフェース（ＧＵＩ）を例解する。

【図7】本明細書に提示される実施形態による、撮像ターゲットの視覚表現を含む、例示的なグラフィカルユーザインターフェース（ＧＵＩ）を例解する。

【図8】本明細書に提示される実施形態による、撮像ターゲットの視覚表現を含む、例示的なグラフィカルユーザインターフェース（ＧＵＩ）を例解する。

【図9】本明細書に提示される実施形態による、撮像ターゲットの視覚表現を含む、例示的なグラフィカルユーザインターフェース（ＧＵＩ）を例解する。

【図10】本明細書に提示される実施形態による、撮像ターゲットの視覚表現を含む、例示的なグラフィカルユーザインターフェース（ＧＵＩ）を例解する。

【図11】本明細書に提示される実施形態による、撮像ターゲットの視覚表現を含む、例示的なグラフィカルユーザインターフェース（ＧＵＩ）を例解する。

【図12】本明細書に提示される実施形態による、撮像ターゲットの視覚表現を含む、例示的なグラフィカルユーザインターフェース（ＧＵＩ）を例解する。

【図13】本明細書に提示される実施形態による、グラフィカルオブジェクトの半径を示すユーザ入力を提供することを可能にする、例示的なＧＵＩを例解する。

【図14】本明細書に提示される実施形態による、グラフィカルオブジェクトの半径を判定するために使用され得る乗数値を示すユーザ入力を提供することを可能にする、例示的なＧＵＩを例解する。

【図15】本明細書に提示される実施形態による、例示的な撮像デバイスを例解する。

【図16】いくつかの例示的な実装形態による、コンピューティングシステムの一例を例示するブロック図を示す。 実際には、同様の参照番号は、同様の構造、特徴、又は要素を示す。

【発明を実施するための形態】

【0009】

本出願は、ターゲットオブジェクトの三次元表現の相互作用測定に関する。ターゲットオブジェクト（例えば、産業機械）は、監視デバイスによって、撮像され得、その撮像データは、検査システムのグラフィカルユーザインターフェース（ＧＵＩ）での検査のためにユーザに提示され得る。例えば、ユーザは、産業機械を検査し、産業機械の動作の進行中にあらゆる損傷又は損傷の可能性を識別し得る。撮像データは、ターゲットオブジェクトの二次元（two-dimensional、２Ｄ）画像及び／又は三次元（three-dimensional、３Ｄ）画像として提示され得る。画像は、相互作用設定で表示され得る。例えば、相互作用設定は、ターゲットオブジェクトの２Ｄ／３Ｄ画像をオーバーレイするグラフィカルオブジェクトの生成を可能にし得る。グラフィカルオブジェクトは、産業機械の検査を改善することを可能にし得る。例えば、相互作用設定は、ターゲットオブジェクト産業機械を検査しながら、産業機械の特徴をグラフィカルオブジェクトの特徴と比較することを可能にし得る。

【0010】

いくつかの実装形態では、撮像データは、ターゲットオブジェクトの三次元（３Ｄ）表現を構築するために使用され得る。３Ｄ表現は、２Ｄ画像における位置（又はピクセル）を３Ｄ画像における点（例えば、ｘ、ｙ、ｚ座標）にマッピングすることを可能にし得る。２Ｄ画像において生成されたグラフィカルオブジェクト（例えば、２Ｄ画像における複数の位置（又はピクセル）によって画定される）は、ターゲットオブジェクトの３Ｄ表現における複数の点又はその表面にマッピングされ得る（例えば、２Ｄ画像における各位置は、ターゲットオブジェクトの表面の３Ｄ表現における点にマッピングし得る）。いくつかの実装形態では、（例えば、２Ｄ画像を取り込むために使用されるカメラの視点に基づいて）３Ｄ表現内の円を２Ｄ画像内の楕円形領域にマッピングし得る。いくつかの実装形態では、相互作用設定は、ターゲットオブジェクトのマッピングの特徴付け（欠陥検出を含む）に基づいて操作の推奨を生成し得る。その操作は、ターゲットオブジェクトの検出された欠陥を修復するために、監視デバイス又は修復デバイスによって実施されるように自動的にトリガされ得る。

【0011】

前置きとして、図１は、いくつかの例示的な実施形態による、システム１００の一例を例解する図を示す。図１に例解するシステム１００は、サーバシステム１０２、産業設備１０３、クライアントデバイス１０４、及びネットワーク１０６を含む。産業設備１０３は、１つ以上の撮像ターゲット１０８Ａ、１０８Ｂ、撮像デバイス１１０Ａ、センサ１１０Ｂ、及び修復デバイス１１２を含み得る。撮像ターゲット１０８Ａ、１０８Ｂは、互いに動作可能に結合され得る産業機械を含み得る。

【0012】

サーバシステム１０２は、ネットワーク１０６を介して、産業設備１０３のコンポーネント（例えば、撮像ターゲット１０８Ａ、１０８Ｂ、撮像デバイス１１０Ａ、センサ１１０Ｂ、及び修復デバイス１１２）、及び、例えば、クライアントデバイス１０４などを含む複数のクライアントと通信可能に結合されてもよい。サーバシステム１０２は、撮像デバイス１１０Ａ及び／又は検査デバイス１１０Ｂから、撮像ターゲット１０８Ａ、１０８Ｂと関連付けられたデータ（例えば、画像、検出されたデータ、及びメタデータ）を受信するように構成され得る。

【0013】

サーバシステム１０２は、特徴付けエンジン１１４及びデータベース１１６を含む。特徴付けエンジン１１４は、限定はしないが、ウェブサーバ、アプリケーションサーバ、プロキシサーバ、ネットワークサーバ、及び／又はサーバプールを含む、様々な形態のサーバを表すように意図されたサーバデバイスとして構成され得る。一般に、特徴付けエンジン１１４は、撮像ターゲット１０８Ａ、１０８Ｂ（例えば、パイプ、パイプラインネットワーク、及び／又は機械）の欠陥の検出及び特徴付けなどの画像処理サービスの要求を受け入れ、そのようなサービスを、ネットワーク１０６を介して任意の数のデバイス（例えば、撮像デバイス１１０Ａ、修復デバイス１１２、及びクライアントデバイス１０４）に提供する。特徴付けエンジン１１４は、データベース１１６のカーネルに含まれる対応する実行可能コード（例えば、．ｅｘｅファイル）のインスタンスを実行していることがある。データベース１１６のカーネルはまた、特徴付けエンジン１１４又はサーバシステム１０２の他の機能を実行するように構成された他の実行可能コード（例えば、．ｅｘｅファイル）を含み得る。いくつかの実装形態では、実行可能コードは、機械語（例えば、バイナリコード）にすでにコンパイルされたコンピュータプログラムであり得、したがってデータプロセッサによって直接実行することが可能である。特徴付けエンジン１１４は、データベース１１６と通信可能に結合されている。

【0014】

データベース１１６は、例えば、リレーショナルデータベース、非構造化クエリ言語（non-structured query language、ＮｏＳＱＬ）データベース、インメモリデータベース、グラフデータベース、クラウドデータベースシステム環境などを含む、任意のタイプのデータベースであり得る。データベース１１６は、撮像ターゲット１０８Ａ、１０８Ｂの欠陥を検出及び特徴付けするために、特徴付けエンジン１１４によって使用され得るドキュメント１１８及び学習モデル１２０を含み得るローカルライブラリを記憶し得る。ドキュメント１１８は、トレーニングドキュメント（例えば、検出された欠陥の過去の推奨と関連付けられた過去の修復決定）、実行可能ファイル（例えば、撮像ターゲット１０８Ａ、１０８Ｂにおける欠陥の自動検出及び特徴付けのために画像処理アプリケーション及び欠陥特徴付けアプリケーションによって使用される実行可能ファイル）、及び推奨設定ファイル（例えば、欠陥の自動特徴付けのための閾値パラメータを含む）を含み得る。ドキュメント１１８は、データベース１１６によって、Ｅｘｃｅｌファイルなど、多次元ファイルとして記憶され得る。Ｅｘｃｅｌファイルは、ユーザが、次元（単一又は複数のタブ内の行及び／又は列）を修正する、ドキュメント１１８の１つ以上の次元に項目を追加する、及び／又はドキュメント１１８の特定の次元内のデータタイプを修正するなど、ドキュメント１１８を編集することを可能にし得る。ドキュメント１１８は、例えば、キー値ペアの形態で構造化データを含む任意のタイプの電子ドキュメントを含み得る。キー値ペア内のキーは、対応する値（例えば、欠陥の自動特徴付けのための閾値パラメータ値）を識別するストリング値であり得る。

【0015】

いくつかの例示的な実施形態では、学習モデル１２０は、クライアントデバイス１０４が、まだ学習モデル１２０の一部ではないオブジェクトを有する欠陥関連イベントを作成するとき、追加のオブジェクト（欠陥分類）を含むように動的に拡張され得るテーブルに記憶されてもよい。例えば、学習モデル１２０は、第１の組の欠陥パラメータ（例えば、場所、サイズ、材料利得／損失、形状）を含むものとして記載されているが、特徴付けエンジン１１４は、クライアントデバイス１０４から、欠陥特徴付けに新しい欠陥パラメータ（例えば、欠陥時間進行）を追加する指示を受信してもよい。欠陥特徴付けへの新しい欠陥パラメータの追加に応答して、特徴付けエンジン１１４は、欠陥特徴付けに対応するために、学習モデル１２０を記憶する１つ以上のテーブルを拡張してもよい。

【0016】

クライアントデバイス１０４は、例えば、携帯電話、スマートフォン、タブレットコンピュータ、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、携帯情報端末（personal digital assistant、ＰＤＡ）、ネットワーク家電、カメラ、拡張汎用パケット無線サービス（enhanced general packet radio service、ＥＧＰＲＳ）携帯電話、メディアプレーヤ、ナビゲーションデバイス、電子メールデバイス、ゲームコンソール、又はこれらのデバイス若しくは他のデータ処理デバイスのうちの任意の２つ以上の適切な組み合わせなどの任意のタイプのプロセッサ及びメモリベースのデバイスであってもよく、及び／又はそれらを含んでもよい。クライアントデバイス１０４は、固定及び可変コンピューティングコンポーネントの任意の組み合わせを含み得る。例解していないが、いくつかの実装形態では、異なるオペレーティングシステム、異なる処理能力、異なるハードウェアコンポーネント、及び／又は他の差異などの異なるコンピューティングシステム構成を含む複数のクライアントデバイス１０４が、特徴付けエンジン１１４からの欠陥修復推奨を含む欠陥特徴付け結果をサーバシステム１０２から同時に受信し得る。クライアントデバイス１０４は、グラフィカルユーザインターフェース（ＧＵＩ）１２２上に、撮像ターゲットの視覚表現（図２～図１４を参照して記載するように）及びサーバシステム１０２から受信した欠陥特徴付け結果を表示するように構成され得る。ＧＵＩ１２２は、入力インターフェース、出力インターフェース、及び通信インターフェースを含み得る。ＧＵＩ１２２は、ユーザ入力（例えば、タッチスクリーンディスプレイ、キーボード、キーパッド、マウス、ボタン、スイッチ、マイクロフォン、カメラなど）などを介して、撮像ターゲット（ターゲットオブジェクト）の表示された画像と関連付けられたユーザ入力を受信するように構成され得る。いくつかの実施例では、通信インターフェース１２２は、クライアントデバイス１０４が別のデバイスから情報を受信すること、及び／又は別のデバイスに情報を提供することを可能にする。いくつかの実施例では、通信インターフェース１２２は、イーサネットインターフェース、光インターフェース、同軸インターフェース、赤外線インターフェース、無線周波数（radio frequency、ＲＦ）インターフェース、ユニバーサルシリアルバス（universal serial bus、ＵＳＢ）インターフェース、Ｗｉ－Ｆｉ（登録商標）インターフェース、セルラーネットワークインターフェースなどを含む。

【0017】

図１に示すように、クライアントデバイス１０４は、ネットワーク１０６を介してサーバシステム１０２と通信可能に結合されて、自動的に実施される欠陥特徴付けプロセスの監視を可能にし得る。ネットワーク１０６は、任意の数の通信デバイス、モバイルコンピューティングデバイス、固定コンピューティングデバイス、サーバシステム、及び／若しくは同等物を接続する、例えば、パブリックランドモバイルネットワーク（public land mobile network、ＰＬＭＮ）、ローカルエリアネットワーク（local area network、ＬＡＮ）、広域ネットワーク（wide area network、ＷＡＮ）、インターネット、セルラーネットワーク、電話ネットワーク（例えば、ＰＳＴＮ）、又はそれらの適切な組み合わせを含む、任意の有線及び／又はワイヤレスネットワークであり得る。

【0018】

コンテキストの実施例では、撮像デバイス１１０Ａ（検査デバイス）は、データベース１１６によって記憶され得る走査図面（撮像位置などの走査設定を定義する）に従って撮像ターゲット１０８Ａ、１０８Ｂ（例えば、圧縮機）のコンポーネント（例えば、圧縮機ブレード）を走査するように構成され得る。撮像デバイス１１０Ａ及び／又はセンサ１１０Ｂは、Ｘ線撮像デバイス、コンピュータ断層撮影撮像デバイス、並びに任意の他のタイプの撮像デバイス及びセンサなど、設定された深さまで撮像ターゲットを貫通し得、ビームと撮像ターゲットとの相互作用の応答を記録し得る、非破壊ビームを使用して画像及び他のデータ（例えば、位置データ）を生成するように構成された任意のデバイスを含み得る。撮像デバイス１１０Ａ及び／又はセンサ１１０Ｂは、カメラ、ＬＩＤＡＲセンサ、ＲＡＤＡＲセンサ、ＳＯＮＡＲセンサ、又は他の感知デバイスを含み得る。撮像デバイス１１０Ａは、取得された画像を特徴付けエンジン１１４に送信し得、特徴付けエンジン１１４は、潜在的に存在する欠陥を検出するために図面に従って撮像ターゲット１０８Ａ、１０８Ｂの走査領域の画像を自動的に処理し得る。いくつかの実装形態では、撮像デバイス１１０Ａは、撮像ターゲット１０８Ａ、１０８Ｂ（例えば、圧縮機）の一部分（例えば、ブレード）の位置に対してその位置を（例えば、ユーザ入力に応答して）調整し得る。撮像デバイス１１０Ａは、図３を参照して記載するように、特性付け及び修復プロセスの実施を可能にするように、修復デバイス１１２に統合、及び／又は修復デバイス１１２に結合され得る。特徴付けエンジン１１４は、撮像ターゲット１０８Ａ、１０８Ｂにおける欠陥の自動特徴付けのための１つ以上の機械学習アルゴリズムを含む欠陥特徴付けアプリケーションを使用して、検出された欠陥を特徴付け得る。特徴付けエンジン１１４は、クライアントデバイス１０４が、修復デバイス１１２によって実行され得る、重大であると特徴付けられた検出された欠陥の修復を承認するための推奨を生成してもよい。

【0019】

いくつかの例示的な実施形態では、特徴付けエンジン１１４は、クライアントデバイス１０４から受信したフィードバックに基づいて、データベース１１６によって記憶された学習モデルによって使用される１つ以上の欠陥特徴付けパラメータを少なくとも生成及び／又は更新してもよい。例えば、検出された欠陥が監視に自動的に割り当てられることの修復イベントの開始を検出することに応答して、特徴付けエンジン１１４は、学習モデル１２０を更新して、検出された欠陥のパラメータの組み合わせが手動で修復に割り当てられることを含む、欠陥のクリティカルレベルを増分し得る。代替的に及び／又は追加的に、検出された欠陥に対する監視イベントが修復イベントに自動的に割り当てられることで修復イベントの置換を検出することに応答して、特徴付けエンジン１１４は、学習モデル１２０を更新して、監視に手動で割り当てられた検出された欠陥パラメータの組み合わせを含む欠陥のクリティカルレベルを減少させ得る。こうして、特徴付けエンジン１１４は、学習モデル１２０を更新するために、及び／又は学習モデルを適用してクライアントデバイス１０４によって表示されるべき１つ以上の推奨を生成するために、データベース１１６に問い合わせてもよい。

【0020】

述べたように、特徴付けエンジン１１４がクライアントデバイス１０４から修復イベントを作成する指示を受信すると、特徴付けエンジン１１４は、少なくとも学習モデル１２０を適用して、クライアント装置１０４が修復イベントに撮像ターゲット１０８Ａ、１０８Ｂを追加することの推奨を生成することによって応答してもよい。それにより、特徴付けエンジン１１４は、撮像ターゲット１０８Ａ、１０８Ｂにおいて検出された欠陥の欠陥特徴付けに少なくとも基づいて、撮像ターゲット１０８Ａ、１０８Ｂを修復イベントに追加する推奨を生成してもよい。例えば、特徴付けエンジン１１４は、少なくとも欠陥パラメータが重大閾値を超えることに基づいて、撮像ターゲット１０８Ａ、１０８Ｂを修復イベントに追加する推奨を生成してもよい。代替的に及び／又は追加的に、特徴付けエンジン１１４は、欠陥パラメータの組み合わせがそれぞれの重大閾値を超えることに少なくとも基づいて、撮像ターゲット１０８Ａ、１０８Ｂを修復イベントに追加する推奨を生成してもよい。例示的なシステム１００によって実施され得るプロセスの更なる詳細を、図２を参照して記載する。

【0021】

ここで図２を参照すると、ＧＵＩにおけるターゲットオブジェクトの視覚表現をオーバーレイするグラフィカルオブジェクトをレンダリングする例示的なプロセス２００のフローチャートが示されている。例示的なプロセス２００は、図１を参照して記載した欠陥特徴付けシステム１００によって実施されてもよい。

【0022】

２０２において、ターゲットオブジェクトの一部分の視覚表現がグラフィカルユーザインターフェースにおいてレンダリングされ得る。視覚表現は、ターゲット画像の２Ｄ画像、ターゲット画像の３Ｄ画像（例えば、産業機械又は産業コンポーネントの一部分）、又はその両方を含み得る。画像は、撮像図面に従って、ターゲットオブジェクトの少なくとも一部分を撮像するように構成された撮像デバイスから、サーバシステム又はクライアントデバイスによって受信され得る。いくつかの実装形態では、撮像図面は、撮像ターゲットタイプと関連付けられた撮像タイプの記述を含み得る。撮像デバイスは、ターゲットオブジェクトの複数の画像（例えば、立体画像）を特徴付けるデータと、任意選択的に、画像と関連付けられたメタデータ（例えば、撮像ターゲットに含まれる又は撮像ターゲットの外部の基準点に対する撮像位置）を生成及び送信するように構成され得る。視覚表現は、ターゲットオブジェクトの１つ以上の画像を処理することによって生成され得る。視覚表現は、ターゲットオブジェクトの点群画像を含み得る。視覚表現は、（例えば、ターゲットオブジェクトの表面の３Ｄ表現を介して）ターゲットオブジェクト表面の三次元情報を含み得る。ターゲットオブジェクトの複数の画像に基づいて３Ｄ表現が判定され得る。３Ｄ表現は、ターゲットオブジェクトの表面上の複数の点を含む。

【0023】

２０４において、ターゲットオブジェクトの表面上の第１の位置の選択を示す第１のユーザ入力が、クライアントデバイスによって受信され得る。第１のユーザ入力は、クライアントデバイスのＧＵＩ内の視覚表現と第１のユーザとの相互作用（例えば、ユーザが２Ｄ画像における第１の位置をクリックすることによる）に基づく。

【0024】

２０６において、ターゲットオブジェクトの３Ｄ表現において基準面が判定され得る。いくつかの実装形態では、基準面は、ターゲットオブジェクトの表面上の第１の位置から第１の距離内に位置する複数の位置の選択に基づいて判定され得る。いくつかの実装形態では、第１の距離は、２Ｄ画像における距離（例えば、ピクセル）であってもよい。いくつかの実装形態では、第１の距離は、３Ｄ座標系における距離（例えば、ミリメートル又はインチ）であってもよい。いくつかの実装形態では、第１の位置は、ターゲットオブジェクトの３Ｄ表現における第１の点にマッピング（又は投影）され得る。第１の距離（例えば、所定の半径）内にあり、かつターゲットオブジェクトの表面上にある、３Ｄ表現における複数の点が、自動的に識別され得る。選択された複数の点は、（例えば、２Ｄ画像において）上述の複数の位置にマッピングされる。複数の点を処理して、基準面を判定し得る。例えば、点は、線形回帰（例えば、ファジー論理、ニューラルネットワーク、区分線形回帰、多項式適合、並びに他のパターン認識及び平面推定技法）を使用して処理され得、複数の点に対する最適な適合平面を計算するために使用され得る。いくつかの実装形態では、基準面は、ターゲットオブジェクトの表面上の複数の位置の選択に基づいて判定され得る。例えば、複数の位置のうちの少なくとも第１の位置、第２の位置及び第３の位置が、それぞれ、第２のユーザ入力、第３のユーザ入力及び第４のユーザ入力に基づいて選択され得る。第１の位置、第２の位置、及び第３の位置が、それぞれ、第１の点、第２の点及び第３の点にマッピングされ得る。第１の点、第２の点及び第３の点を含む基準面が、ターゲットオブジェクトの３Ｄ表現において（例えば、線形回帰を使用して）判定され得る。

【0025】

２０８において、ターゲットオブジェクトの視覚表現をオーバーレイするグラフィカルオブジェクトがレンダリングされ得る。判定された基準面に基づいてグラフィカルオブジェクトがオーバーレイされ得る。グラフィカルオブジェクトは、複数の外周位置を含む外周を有し得る。外周位置は、３Ｄ表現における外周点にマッピングされ得る。例えば、各外周位置は、３Ｄ表現における特定の点にマッピングされ得る。第１の点（例えば、第１の場所を選択する第１のユーザ入力に基づいて判定される）とターゲットオブジェクトの三次元表現上の第２の点との間の距離は、第２の距離（例えば、グラフィカルオブジェクトの半径を示す）以下であり得る。言い換えれば、ターゲットオブジェクトの表面上の複数の点は、３Ｄ座標系において画定され得、３Ｄ表現をレンダリングするために使用され得る。３Ｄ座標系における基準表面上に３Ｄ円を画定してもよい。３Ｄ円は、第１のユーザ入力及び第２に基づいて判定される中心点及び半径を有してもよい。３Ｄ円を表すグラフィカルオブジェクトは、３Ｄ表現上にオーバーレイされてもよい（例えば、３Ｄ表現の上に描画されるか、又はその一部としてレンダリングされる）。３Ｄ円を表すグラフィカルオブジェクトはまた、３Ｄ座標系における２Ｄ画像を取り込むために使用されるカメラの位置及び向き、並びにその光学特性（例えば、視野、光学歪み、ピクセルサイズなど）に基づいて、３Ｄ円の外周上の１つ以上の点を２Ｄ画像空間に投影することに基づいて判定されてもよい。２Ｄ画像及び／又は３Ｄ画像上にオーバーレイされたグラフィカルオブジェクトは、基準面に対するカメラの見る視点に応じて、円形状（例えば、円又は楕円）として現れてもよい。いくつかの実装形態では、３Ｄ画像上にオーバーレイされたグラフィカルオブジェクトは、基準面に対するカメラの見る視点に応じて、球形状（例えば、球）として現れてもよい。

【0026】

いくつかの実装形態では、点は、３Ｄ表現において円（２Ｄ画像におけるグラフィカルオブジェクトにマッピングされる）として表示されるグラフィカルオブジェクトの中心であり得る第１の点と、円の外周上の点であり得る第２の点とを含み得る。いくつかの実装形態では、図１３に記載するように、第１の点と第２の点との間の距離が円として表示されるグラフィカルオブジェクトの直径であるように、第１の点と第２の点の両方が、円の外周上に位置し得る。

【0027】

２１０において、第１の距離を示す第２のユーザ入力が、クライアントデバイスによって受信され得る。第２のユーザ入力は、ターゲットオブジェクトの画像上にオーバーレイされたグラフィカルオブジェクト（例えば、円）の測定平面及び／又はパラメータ（例えば、半径又は直径）の値を追加で含み得る。例えば、ユーザ入力は、３つのカーソルの場所と関連付けられた場所に近接する３Ｄ表現からの複数の３Ｄ点を使用して最良適合平面を判定するために使用され得る表現におけるターゲット表面上に３つのカーソルを位置付けることを含み得る。いくつかの実装形態では、第２の入力は、ターゲットオブジェクトの表面上の第２の位置の選択を示し得る。第１の距離（例えば、円の直径）は、第１の点（３Ｄ表現における第１の場所のマッピングである）と第２の点（３Ｄ表現における第２の場所のマッピングである）との間の距離に基づいて判定され得る。

【0028】

２１２において、ターゲットオブジェクトの画像上にオーバーレイされたグラフィカルオブジェクト（例えば、円）の第２のパラメータが、第２のユーザ入力を使用することによって判定され得る。例えば、第１の点（円の中心である）及び第１のパラメータ（例えば、半径又は直径）値を処理して、円の外周上の第２の点を判定し得る。いくつかの実装形態では、第１の点（円の中心ある）及び第１のパラメータ（例えば、半径又は直径）値を処理することは、図６に記載するように、測定平面マスクをターゲットオブジェクトの画像に追加することを含み得る。

【0029】

２１４において、ターゲットオブジェクトは、クライアントデバイス又はサーバシステムによって、グラフィカルオブジェクトのパラメータに基づいて特徴付けられる。いくつかの実装形態では、ターゲットオブジェクト（例えば、ジェットエンジンなどの産業機械）の特徴付けは、パラメータを関連する閾値と比較することを含み得る。例えば、ターゲットオブジェクト（例えば、ジェットエンジンなどの産業機械）の特徴付けは、閾値との比較を実施するために産業機械又はその一部分のエッジプロファイルを判定することを含み得る。エッジプロファイルは、無欠陥表面（例えば、欠陥のない表面）の特徴付けを画定する特定の所定の基準と比較され得る。例えば、エッジプロファイルの半径は、ターゲットオブジェクトの構造的完全性を画定する最小半径値及び最大半径値に対応し得る。例えば、航空機では、ジェットエンジンを通過する一片の破片が圧縮機ブレードのエッジに衝突して、半径を制御半径範囲外にさせる、エッジの変形と関連付けられる損傷を生じさせ得る。半径評価は、典型的には、「ブレンディング」手順が実施されるまで行われない。損傷は、典型的には、それがブレンドされる必要があるかどうかを判定するために、ブレード上のそのサイズ及び位置によって評価される。必要である場合、ブレンディングが実施され、次いで、ブレンドされた面積のリードイン、リードアウト、及び中央部分の半径が、最小及び／又は最大半径要件に対してチェックされ得る。生じた損傷は、ブレード上に亀裂が形成されるリスクを増大させる応力集中につながることがある。亀裂は、最終的に、ブレードの一部分を破断させ、損傷を増大させる場合がある。ターゲットオブジェクトの特徴付けは、ターゲットオブジェクトが損傷している（１つ以上のパラメータが設定範囲及び／又は閾値外である場合）、又は無欠陥である（全てのパラメータが設定範囲内及び／又は設定閾値未満である場合）という分類を含み得る。いくつかの実装形態では、検出された欠陥が重大であるか、中程度であるか、又は重要でないかを判定することによって、欠陥の重大レベルが判定される。重大レベルの分類は、１つ以上の欠陥パラメータが閾値を上回るかどうかを判定することに基づき得る。いくつかの実装形態では、欠陥パラメータのいずれかがそれぞれの第１の閾値を上回る場合、欠陥は重大であると識別される。それぞれの欠陥パラメータ閾値は、撮像ターゲットを構成する材料のタイプ、撮像ターゲットを画定するアセットのタイプ、及び撮像ターゲットと関連付けられた重大レベルに依存し得る。例えば、周辺産業アセットの欠陥パラメータ閾値は、ノード産業アセットの欠陥パラメータ閾値よりも高くあり得、ノード産業アセットの機能は、他の産業アセットの機能を有効にする。いくつかの実装形態では、複数の欠陥パラメータがそれぞれの第２の閾値を上回る場合、欠陥は重大であると識別される。例えば、検出されたパーセンテージの材料変化（損失又は利得）が、第２の寸法閾値を超える寸法に沿ってそれぞれの第２の閾値を上回る場合、欠陥は重大であると識別される。別の実施例として、欠陥パラメータのうちのいずれかの変動（経時的な変化）が変化率閾値を超え、欠陥深刻度の増加を示す場合、以前に監視クラスに分類された欠陥は、重大クラスに再割り当てされ得る。いくつかの実装形態では、欠陥の分類は、分類を確認及び／又は調整するために、一組の画像及びユーザ入力に対してトレーニングされた学習モデルによって実施され得る。

【0030】

２１６において、ターゲットオブジェクトが損傷していると判定することに応答して、クライアントデバイス又はサーバシステムによって、修復デバイスによって実施される動作が選択され得る。その動作は、特徴付けと、判定された特徴付けに一致し、かつターゲットオブジェクトに適合するものとして識別された修復図面とに基づいて選択され得る。ジェットエンジンの損傷したブレードの実施例では、修復デバイスは、応力集中を低減し得る滑らかなエッジプロファイルを生成する（例えば、「ボロブレンディング」と称される）損傷面積を研削するために挿入され得る研削工具を含み得る。いくつか場合では、エンジン製造業者は、応力集中が許容される限度を下回ることを確実にするために、ブレンドされたブレードエッジに沿った最小許容半径を指定してもよい。既存のボアスコープは、修復された（ブレンドされた）ブレードが半径要件を満たすかどうかを判定する実用的な方式を提供しない。いくつかの実装形態では、例示的なプロセス２００の少なくとも一部分を繰り返すことによって、ブレンドされたブレードのエッジプロファイルとグラフィカルオブジェクト（例えば、円、楕円など）との比較に基づいて、ブレンドされたブレードエッジの許容性の判定が行われ得る。例えば、グラフィカルオブジェクトが生成され（例えば、工程２０２～１０８によって生成され）、ブレードの画像（例えば、ブレードの２Ｄ画像）上にオーバーレイされ得る。グラフィカルオブジェクトは、ブレードの３Ｄ表現における円にマッピングされ得る２Ｄ画像における楕円であってもよい。グラフィカルオブジェクトは、ブレードの画像上で移動され得る（例えば、クリック及びドラッグによって）。いくつかの実装形態では、グラフィカルオブジェクトの外周は、ブレンドされたブレードエッジ上に位置付けられ得、グラフィカルオブジェクト外周の曲率は、ブレンドされたブレードエッジの曲率と比較され得る。例えば、グラフィカルオブジェクトの外周における外周場所は、ブレンドされたエッジ上の場所（例えば、ブレードにおけるブレンドが始まる場所）に位置付けられ得る。いくつかの実装形態では、グラフィカルオブジェクト（又は３Ｄ表現におけるグラフィカルオブジェクトの投影）の半径は、ブレードにおけるブレンドの深さに基づいて判定され得る（例えば、図１４に記載するように、深さの乗数値によって判定される所定の倍数であり得る）。いくつかの実装形態では、ブレンドされたブレードエッジの曲率がグラフィカルオブジェクト外周の曲率よりも小さい場合、ブレンドされたブレードは動作に不適切であるとみなされてもよい。いくつかの実装形態では、複数のグラフィカルオブジェクトがグラフィカルユーザインターフェースにおいて生成され得る。例えば、中心がブレード上に位置する第１のグラフィカルオブジェクトが生成され得、中心がブレード上に位置しない第２のグラフィカルオブジェクトが生成され得る。グラフィカルオブジェクトの表現の実施例は、図３～図１４を参照して提供される。

【0031】

図３Ａ及び図３Ｂは、測定平面を含む、少なくとも１つのグラフィカルオブジェクトがブレードの２Ｄ画像上にオーバーレイされた、例示的な表現を示す。図３Ａは、グラフィカルオブジェクトがブレードの２Ｄ画像上にオーバーレイされた、例示的な表現を示す。グラフィカルオブジェクトの中心は、ブレード上に位置している。図３Ｂは、２つのグラフィカルオブジェクトがブレードの２Ｄ画像上にオーバーレイされた、例示的な表現を示す。第１のグラフィカルオブジェクトの中心はブレードの上に位置しているが、第２のグラフィカルオブジェクトの中心はブレードの上に位置していない。２つのグラフィカルオブジェクトは異なる半径を有する。

【0032】

図４は、ブレードの２Ｄ画像及び点群画像を含む例示的な表現を示す。図５は、測定面が追加されたブレードの表面上の３つの位置を選択することによる、測定平面と称され得る基準面の例示的な生成を示す。図６は、図５において生成された基準面から所定の距離内にあるブレードの表面上の一部分を例解する。図７及び図８は、ブレード及びグラフィカルオブジェクトの点群画像の例示的な表現を例解しており、グラフィカルオブジェクトによって表される３Ｄ円は、図５において選択されたブレードの表面上の３つの位置を使用して判定された基準表面上にある。図９～図１２は、グラフィカルオブジェクト及び／又は基準面がブレードの画像上にオーバーレイされたブレードの２Ｄ画像の例示的な表現を例解する。

【0033】

図１３は、グラフィカルオブジェクトによって表される円の半径を示すユーザ入力を提供することを可能にする例示的なＧＵＩを例解する。図１４は、グラフィカルオブジェクトによって表される円の半径を判定するために使用され得る乗数値を示すユーザ入力を提供することを可能にする例示的なＧＵＩを例解する。例えば、ブレンドの深さは、例えば、点から線の測定を使用して判定されてもよい。乗数値にブレードにおけるブレンドの深さを乗算して、グラフィカルオブジェクトによって表される円の半径を判定し得る。いくつかの実装形態では、ＧＵＩは、グラフィカルオブジェクトによって表される円の半径を判定する際の因子として使用される、点から線の測定などの既存の測定の結果を選択するユーザ入力を提供することを可能にしてもよい。

【0034】

図１５は、本明細書に提示される実施形態による、ボアスコープ１５００を含む例示的な撮像デバイスを例解する。例示的なボアスコープ１５００は、限られたメモリ容量及び記憶容量を有するポータブルデバイスを含み得る。例示的なボアスコープ１５００は、検査中に大量のデータを取り込み生成するように構成され得る。例示的なボアスコープ１５００によって生成されたデータは、図１～図１４を参照して記載するように、対応する３Ｄデータを有する２Ｄ画像及び／又は３Ｄボリューム画像、測定値、人間又はコンピュータによって生成された注釈及び指示、メニュー方式検査（menu driven inspection、ＭＤＩ）メタデータ、並びに検査と関連付けられた他のメタデータを含み得る。１つ以上のボアスコープ１５００から取り込まれたデータは、遠隔サーバシステム（例えば、図１を参照して記載されるサーバシステム１０２）に連続的に同期され、ボアスコープ１５００から管理され得る。

【0035】

ボアスコープ１５００は、制御ユニット１５０２（又はコントローラ）、導管区間１５０４、屈曲可能な関節運動区間１５０６、及びヘッド区間１５０８を含み得る。一実施形態では、区間１５０４、１５０６、及び１５０８は、異なる長さを有し得、互いに一体であり得、又は互いに対して着脱可能であり得る。図示するように、導管区間１５０４は、内部のターボ機械、機器、パイプ、導管、水中の場所、曲線部、屈曲部、航空機システムの内部又は外部など、様々な異なるターゲットに挿入するのに好適であり得る。ボアスコープ１５００は、導管区間１５０４に結合されたプローブドライバを含み得る。プローブドライバは、（例えば、プローブヘッド１５０８が、撮像ターゲット内に挿入されるのを容易にするために）区間１５０４、１５０６、１５０８のうちの１つ以上を並進及び／又は回転させるように構成されたモータ（図示せず）を含み得る。追加的に又は代替的に、ヘッド区間１５０８の一部分（例えば、カメラ、光源など）の向き／位置を、検査領域画像（例えば、ＲＧＢ画像、ＩＲ画像など）を取得するために変化させ得る。制御ユニット１５０２は、制御ユニットハウジング１５１０、コントローラ１５１２、方向入力部１５１４、及びスクリーン１５１６を含み得る。コントローラ１５１２は、プロセッサと、ボアスコープ１５００を作動させるためにプロセッサによって実行され得るコンピュータ可読命令を含む可読メモリと、を含み得る。コンピュータ可読命令は、検査図面を含み得、その検査図面に基づいて、ボアスコープ１５００又はその一部分（例えば、導管区間１５０４、屈曲可能な関節運動区間１５０６、及びヘッド区間１５０８）を、（例えば、プローブドライバによって）並進／回転させ得る。いくつかの実装形態では、プローブドライバの動作は、制御信号（例えば、検査図面／スクリーン１５１６上のＧＵＩ表示空間を介したユーザ入力又はコンピューティングデバイスなどに基づいてコントローラによって生成される）に基づき得る。

【0036】

コントローラ１５１２は、１つ以上の信号を介して制御ユニット１５０２に通信可能に結合され得る。コントローラ１５１２は、制御ユニットハウジング１５１０内に配置され得るか、又は制御ユニットハウジング１５１０外に配置され得る。いくつかの実装形態では、方向入力部１５１４は、ボアスコープ１５００を作動させるための制御ユニット１５０２へのユーザ入力（例えば、方向制御）を受信するように構成され得る。スクリーン１５１６は、ヘッド区間１５０８に配置されたカメラ（光センサを備える）によって受信されている視覚情報を表示し得、それによりユーザは、方向入力部１５１４を使用してボアスコープ１５００をより良好に誘導することを可能にし得る。方向入力部１５１４及びスクリーン１５１６は、１つ以上の信号を介してコントローラ１５１２と通信可能に結合され得るが、この信号は、有線接続信号、又はＷｉ－Ｆｉ若しくはＢｌｕｅｔｏｏｔｈなどのワイヤレス信号であり得る。一実装形態では、検査データ及び／又は通知（例えば、上述のような検査データに基づく通知）が、スクリーン１５１６上で提供され得る。

【0037】

導管区間１５０４は、管状ハウジングを含むが、その管状ハウジングは、近位端及び遠位端を含み得る。管状ハウジングは、その全長にわたって可撓性部材であり得るか、又は近位端で剛性であり、遠位端に向かって導管区間１５０４の長さ方向に下って進むにつれてより可撓性になり得る。ある特定の実施形態では、管状ハウジングは、汚染物質が導管区間１５０４を介してボアスコープ１５００に入るのを防止するために、非多孔質材料から形成され得る。制御ユニット１５０２は、管状ハウジングの近位端に配置され得、屈曲可能な関節運動区間１５０６は、管状ハウジングの遠位端に配置され得る。屈曲可能な関節運動区間１５０６は、屈曲可能なネック及びワッシャを含み得る。屈曲可能なネックは、管状ハウジングの遠位端に配置され得、Ｙ－Ｚ平面において作動させることができる。屈曲可能なネックは、汚染物質が屈曲可能な関節運動区間１５０６を介してボアスコープ１５００に入るのを防止するために、非多孔質材料で包まれ得る。ヘッド区間１５０８は、ヘッドアセンブリを含み得る。ヘッドアセンブリは、１つ以上の光源（例えば、ＬＥＤ又は近位端にライトを有する光ファイバ束）と、カメラ（又は可視光カメラ、ＩＲカメラなどのような複数のカメラ）と、周囲環境に関するデータを収集するように構成され得る１つ以上のセンサと、を含み得る。ボアスコープ１５００のカメラは、検査に好適な画像及び動画を制御ユニット１５０２のスクリーン１５１６に提供し得る。光源は、ヘッド区間１５０８が低光量又は無光量の場所に配設されるときに、照明を提供するために使用され得る。センサは、温度データ、距離データ、間隙データ（例えば、回転要素と静止要素との間の距離）、流量データなどを含むデータを記録し得る。使用中、屈曲可能な関節運動区間１５０６及びプローブドライバは、例えば、方向入力部１５１４からの制御入力（例えば、相対的制御ジェスチャ、物理的操縦デバイス）、及び／又はコントローラ１５１２によって生成される制御信号によって制御され得る。方向入力部は、ジョイスティック、Ｄパッド、タッチパッド、トラックボール、光学センサ、又はスクリーン１５１６上のタッチスクリーンであり得る。方向入力部１５１４はまた、制御ユニットハウジング１５１０の外側に位置し、有線手段又はワイヤレス手段によって接続された類似のデバイスであり得る。具体的には、一組の制御入力を使用して、屈曲可能な関節運動区間１５０６及び／又はプローブドライバ１５０９を制御し得る。屈曲可能な関節運動区間１５０６は、様々な寸法で操縦、すなわち「屈曲」し得る一方で、導管区間１５０４は、制御ユニット１５０２内に配置されたアクチュエータ及びワイヤの任意の組み合わせを使用して並進及び／又は回転して、ヘッド区間１５０８の向き（例えば、位置決め）を調整し得る。いくつかの実装形態では、制御入力／方向入力部１５１４は、検査図面に基づいて、コントローラによって生成され得る。

【0038】

アクチュエータは、電気、空気圧、若しくは超音波で動作するモータ若しくはソレノイド、形状合金、電気活性ポリマー、誘電性エラストマー、ポリマー筋肉材料、又は他の材料であり得る。例えば、屈曲可能な関節運動区間１５０６及びプローブドライバ１５０９は、Ｘ－Ｙ平面、Ｘ－Ｚ平面、及び／又はＹ－Ｚ平面におけるヘッド区間１５０８の移動を可能にし得る。実際に、方向入力部１５１４は、図示されている角度αなど様々な角度でヘッド区間１５０８を配設するのに好適な制御操作を実施するために使用され得る。このようにして、ヘッド区間１５０８は、所望の場所を視覚的に検査するために位置決めされ得る。ヘッド区間１５０８が所望の位置に来ると、カメラは、例えば、静止視覚画像又は連続視覚画像を取得するように動作し得るが、この画像は、制御ユニット１５０２のスクリーン１５１６上に表示され得、ボアスコープ１５００によって記録され得る。実施形態では、スクリーン１５１６は、スタイラス及び／又は１本以上の人間の指のタッチを検出するために、静電容量技術、抵抗技術、赤外線グリッド技術などを使用するマルチタッチ式タッチスクリーンであり得る。追加的に又は代替的に、取得された視覚画像は、後で参照するために、別個の記憶デバイスに送信され得る。

【0039】

図１６に示すように、コンピューティングシステム１６００は、プロセッサ１６１０、メモリ１６２０、記憶デバイス１６３０、及び入力／出力デバイス１６４０を含み得る。プロセッサ１６１０、メモリ１６２０、記憶デバイス１６３０、及び入力／出力デバイス１６４０は、システムバス１６５０を介して相互接続され得る。プロセッサ１６１０は、コンピューティングシステム１６００内で実行するための命令を処理することができる。そのような実行される命令は、例えば、図１を参照して記載されるサーバシステム１０２及び／又はクライアントデバイス１０４の１つ以上のコンポーネントによって実装され得る。いくつかの例示的な実装形態では、プロセッサ１６１０はシングルスレッドプロセッサであり得る。代替的に、プロセッサ１６１０は、マルチスレッドプロセッサであり得る。プロセッサ１６１０は、メモリ１６２０及び／又は記憶デバイス１６３０に記憶された命令を処理して、入力／出力デバイス１６４０を介して提供されるユーザインターフェースのためのグラフィカル情報を提示することが可能である。

【0040】

メモリ１６２０は、コンピューティングシステム１６００内に情報を記憶する揮発性又は不揮発性などのコンピュータ可読媒体である。メモリ１６２０は、例えば、構成オブジェクトデータベースを表すデータ構造を記憶し得る。記憶デバイス１６３０は、コンピューティングシステム１６００のための永続ストレージを提供することができる。記憶デバイス１６３０は、フロッピーディスクデバイス、ハードディスクデバイス、光ディスクデバイス、又はテープデバイス、又は他の好適な永続的記憶手段であり得る。入力／出力デバイス１６４０は、コンピューティングシステム１６００のための入力／出力動作を提供する。いくつかの例示的な実装形態では、入力／出力デバイス１６４０は、キーボード及び／又はポインティングデバイスを含む。様々な実装形態では、入力／出力デバイス１６４０は、グラフィカルユーザインターフェースを表示するためのディスプレイユニットを含む。

【0041】

いくつかの例示的な実装形態によれば、入力／出力デバイス１６４０は、ネットワークデバイスのための入力／出力動作を提供し得る。例えば、入力／出力デバイス１６４０は、１つ以上の有線及び／又はワイヤレスネットワーク（例えば、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、インターネット）と通信するために、Ｅｔｈｅｒｎｅｔポート又は他のネットワーキングポートを含み得る。

【0042】

いくつかの例示的な実装形態では、コンピューティングシステム１６００は、様々なフォーマットのデータの編成、分析、及び／又は記憶のために使用され得る、様々な相互作用コンピュータソフトウェアアプリケーションを実行するために使用され得る。代替的に、コンピューティングシステム１６００は、ソフトウェアアプリケーションを実行するように特に構成され得る。これらのアプリケーションは、様々なフルネス検出機能、例えば、計画機能（例えば、スプレッドシートドキュメント、ワードプロセッシングドキュメント、及び／又は任意の他のオブジェクトの生成、管理、編集など）、コンピューティング機能、通信機能などを実施し得る。アプリケーションは、様々なアドイン機能を含み得るか、又はスタンドアロンコンピューティング製品及び／又は機能であり得る。アプリケーション内でアクティブ化されると、機能を使用して、入力／出力デバイス１６４０を介して提供されるユーザインターフェースを生成し得る。ユーザインターフェースは、コンピューティングシステム１６００によって生成され、ユーザに提示され得る（例えば、コンピュータスクリーンモニタ上など）。

【0043】

本明細書に記載される主題の１つ以上の態様又は特徴は、特別に構成されたデジタル電子回路、集積回路、特定用途向け集積回路（application-specific integrated circuit、ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（field programmable gate array、ＦＰＧＡ）コンピュータハードウェア、ファームウェア、ソフトウェア、及び／又はそれらの組み合わせで実現され得る。これらの様々な態様又は特徴は、記憶システム、少なくとも１つの入力デバイス、及び少なくとも１つの出力デバイスからデータ及び命令を受信し、かつそこにデータ及び命令を送信するために連結された、専用又は汎用であり得る少なくとも１つのプログラマブルプロセッサを含む、プログラマブルシステム上で実行可能及び／又は解釈可能な１つ以上のコンピュータプログラムへの実装を含み得る。プログラマブルシステム又はコンピューティングシステムは、クライアント及びサーバを含んでもよい。クライアント及びサーバは、互いに実質的に遠隔であり、典型的には、通信ネットワークを介して相互作用する。クライアントとサーバとの関係は、それぞれのコンピュータ上で実行され、互いにクライアント－サーバ関係を有するコンピュータプログラムによって生じる。

【0044】

プログラム、ソフトウェア、ソフトウェアアプリケーション、アプリケーション、コンポーネント、又はコードとも称され得るこれらのコンピュータプログラムは、プログラマブルプロセッサのための機械命令を含み、高レベル手続き型言語及び／又はオブジェクト指向プログラミング言語、並びに／又はアセンブリ／機械言語で実装され得る。本明細書で使用するとき、用語「機械可読媒体」は、機械命令を機械可読信号として受信する機械可読媒体を含む、プログラマブルプロセッサに機械命令及び／又はデータを提供するために使用される、例えば磁気ディスク、光ディスク、メモリ、及びプログラマブルデバイス（Programmable Logic Device、ＰＬＤ）などの任意のコンピュータプログラム製品、装置、及び／又はデバイスを指す。用語「機械可読信号」は、プログラマブルプロセッサに機械命令及び／又はデータを提供するために使用される任意の信号を指す。機械可読媒体は、例えば、非一時的ソリッドステートメモリ、又は磁気ハードドライブ、又は任意の同等の記憶媒体などの、かかる機械命令を非一時的に記憶し得る。機械可読媒体は、代替的に又は追加的に、例えば、１つ以上の物理的プロセッサコアと関連付けられたプロセッサキャッシュ又は他のランダムアクセスメモリなどのように、そのような機械命令を一時的に記憶し得る。

【0045】

ユーザとの相互作用を提供するために、本明細書に記載される主題の１つ以上の態様又は特徴は、ユーザに情報を表示するためのディスプレイデバイス、例えば、陰極線管（cathode ray tube、ＣＲＴ）又は液晶ディスプレイ（liquid crystal display、ＬＣＤ）又は発光ダイオード（light emitting diode、ＬＥＤ）モニタ、並びにユーザがコンピュータに入力を提供するのに利用し得るキーボード及びポインティングデバイス、例えば、マウス又はトラックボールを有するコンピュータ上に実装され得る。他の種類のデバイスを使用して、ユーザとの相互作用を提供することもできる。例えば、ユーザに提供されるフィードバックは、任意の形態の感覚フィードバック、例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバックであり得、ユーザからの入力は、音響、音声、又は触覚入力を含む任意の形態で受信され得る。他の可能な入力デバイスとしては、タッチスクリーン、又はシングルポイント若しくはマルチポイント抵抗性若しくは容量性トラックパッドなどの他のタッチ感知デバイス、音声認識ハードウェア及びソフトウェア、光学スキャナ、光学ポインタ、デジタル画像キャプチャデバイス及び関連する解釈ソフトウェアなどが挙げられる。

【0046】

上の明細書及び特許請求の範囲において、「～のうちの少なくとも１つ」又は「～のうちの１つ以上」などの語句が、要素又は特徴の接続的なリストに続いて現れる場合がある。「及び／又は」という用語も、２つ以上の要素又は特徴のリスト内に現れる場合がある。それが使用される文脈によって暗示的又は明示的に矛盾しない限り、そのような語句は、列挙された個々の要素若しくは特徴のいずれかを個々に、又は他の列挙された要素若しくは特徴のいずれかと他の列挙された要素若しくは特徴のいずれかとの組み合わせを意味することが意図される。例えば、「Ａ及びＢのうちの少なくとも１つ」、「Ａ及びＢのうちの１つ以上」、並びに「Ａ及び／又はＢ」という語句は各々、「Ａのみ、Ｂのみ、又はＡ及びＢの双方」を意味することを意図している。３つ以上の項目を含むリストにも、同様の解釈が意図される。例えば、「Ａ、Ｂ、及びＣのうちの少なくとも１つ」、「Ａ、Ｂ、及びＣのうちの１つ以上」、並びに「Ａ、Ｂ、及び／又はＣ」という語句は、各々、「Ａのみ、Ｂのみ、Ｃのみ、Ａ及びＢの双方、Ａ及びＣの双方、Ｂ及びＣの双方、又はＡ及びＢ及びＣの全て」を意味することを意図している。上記及び特許請求の範囲における「～に基づいて」という用語の使用は、列挙されていない特徴又は要素も許容可能であるように、「～に少なくとも部分的に基づいて」を意味することが意図される。

【0047】

本明細書で使用される場合、「ユーザインターフェース」（相互作用ユーザインターフェース、グラフィカルユーザインターフェース、又はユーザインターフェース若しくはＵＩ（user interface）とも称される）は、入力信号を受信するための、若しくは電子情報を提供するための、及び／又は任意の受信された入力信号に応答してユーザに情報を提供するためのデータフィールド及び／又は他の制御要素を含むネットワークベースのインターフェースを指し得る。制御要素は、ＵＩを介して提示されるダイヤル、ボタン、アイコン、選択可能面積、又は他の知覚可能な印を含み得、これらは、相互作用される（例えば、クリックされる、タッチされる、選択されるなど）と、ＵＩを提示するデバイスのためのデータの交換を開始する。ＵＩは、ハイパーテキストマークアップ言語（hyper-text mark-up language、ＨＴＭＬ）、ＦＬＡＳＨ（商標）、ＪＡＶＡ（商標）、．ＮＥＴ（商標）、ウェブサービス、又はリッチサイトサマリ（rich site summary、ＲＳＳ）などの技術を使用して全体的又は部分的に実装されてもよい。いくつかの実装形態では、ＵＩは、記載される態様のうちの１つ以上に従って通信する（例えば、データを送信又は受信する）ように構成されたスタンドアロンクライアント（例えば、シッククライアント、ファットクライアント）に含まれてもよい。通信は、それと通信する医療デバイス又はサーバへの、又はそれからのものであってもよい。

【0048】

本明細書で使用される場合、「判定する（determine）」又は「判定すること（determining）」という用語は、多種多様な操作を包含する。例えば、「判定すること」は、ユーザ介入なしにハードウェア要素を介して計算すること、コンピューティングすること、処理すること、導出すること、生成すること、取得すること、ルックアップすること（例えば、テーブル、データベース、又は別のデータ構造をルックアップすること）、確認することなどを含んでもよい。また、「判定すること」は、ユーザの介入なしにハードウェア要素を介して受信すること（例えば、情報を受信すること）、アクセスすること（例えば、メモリ内のデータにアクセスすること）などを含んでもよい。「判定すること」は、ユーザの介入なしにハードウェア要素を介して解決すること、選択すること、選定すること、確立することなどを含んでもよい。

【0049】

本明細書で使用される場合、「提供する（provide）」又は「提供すること（providing）」という用語は、多種多様な操作を包含する。例えば、「提供すること」は、後の検索のために記憶デバイスの場所に値を記憶すること、少なくとも１つの有線又はワイヤレスの通信媒体を介してレセプタクルに直接値を伝送すること、値への参照を伝送又は記憶することなどを含んでもよい。「提供すること」はまた、ハードウェア要素を介して、符号化すること、復号すること、暗号化すること、解読すること、検証すること、検証することなどを含んでもよい。

【0050】

本明細書で使用される場合、「メッセージ」という用語は、情報を通信する（例えば、送信又は受信する）ための多種多様なフォーマットを包含する。メッセージは、ＸＭＬドキュメント、固定フィールドメッセージ、コンマ区切りメッセージなどの情報の機械可読集合体を含んでもよい。メッセージは、いくつかの実装形態では、情報の１つ以上の表現を送信するために利用される信号を含んでもよい。単数形で記載されているが、メッセージは、複数の部分で構成、送信、記憶、受信され得ることが理解されるであろう。

【0051】

本明細書で使用される場合、「対応する（correspond）」又は「対応すること（corresponding）」という用語は、２つ以上のオブジェクト、データセット、情報などの間の構造的、機能的、定量的及び／又は定性的相関又は関係を包含し、好ましくは、その対応又は関係は、２つ以上のオブジェクト、データセット、情報などのうちの１つ以上を、同じか又は同等に見えるように変換するために使用されてもよい。対応は、閾値、値範囲、ファジー論理、パターンマッチング、機械学習評価モデル、又はそれらの組み合わせのうちの１つ以上を使用して評価されてもよい。

【0052】

いくつかの実装形態では、生成又は検出されたデータは、「遠隔（remote）」デバイス又は場所に転送され得、「遠隔」は、プログラムが実行される場所又はデバイス以外の場所又はデバイスを意味する。例えば、遠隔の場所は、同じ都市の別の場所（例えば、オフィス、研究室など）、異なる都市の別の場所、異なる州の別の場所、異なる国の別の場所などであり得る。このように、１つの項目が別の項目から「遠隔」であると示される場合、２つの項目が同じ部屋にあるが分離されているか、又は少なくとも異なる部屋若しくは異なる建物にあり得、少なくとも１マイル、１０マイル、又は少なくとも１００マイル離れてあり得ることを意味する。情報を「通信する（Communicating）」とは、その情報を表すデータを電気信号として好適な通信チャネル（例えば、プライベートネットワーク又はパブリックネットワーク）を介して送信することを指す。項目を「転送する（Forwarding）」とは、その項目を物理的に輸送するか、又は別の方法（それが可能な場合）によるかにかかわらず、その項目をある場所から次の場所に移動させる任意の手段を指し、少なくともデータの場合、データを搬送する媒体を物理的に輸送すること、又はデータを通信することを含む。通信媒体の実施例には、無線又は赤外線送信チャネル、並びに別のコンピュータ又はネットワークデバイスへのネットワーク接続、及びインターネットを含むか、又は電子メール送信及びウェブサイトなどに記録された情報が含まれる。

【0053】

本明細書に記載される主題は、所望の構成に応じて、システム、装置、方法、及び／又は物品において具現化され得る。前述の説明に記載された実装形態は、本明細書に記載される主題と一致する全ての実装形態を表すものではない。その代わりに、これらは、記載された主題に関連する態様と一致するいくつかの実施例に過ぎない。いくつかの変形が上で詳細に説明されてきたが、他の修正又は追加が可能である。具体的には、本明細書に記載されるものに加えて、更なる特徴及び／又は変形が提供され得る。例えば、上記の実装形態は、開示された特徴の様々な組み合わせ及び部分的組み合わせ、並びに／又は上記に開示のいくつかの更なる特徴の組み合わせ及び部分的組み合わせを対象とし得る。加えて、添付の図に示され、かつ／又は本明細書に記載される論理の流れは、所望の結果を達成するために、図示される特定の順序、又は連続的な順序を必ずしも必要としない。他の実装形態は、以下の特許請求の範囲の範囲内であり得る。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】