特開 2022-100239 機器検査のためのシステムおよび方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022100239

(43)【公開日】2022-07-05

(54)【発明の名称】機器検査のためのシステムおよび方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20220628BHJP

   G01N 21/88 20060101ALI20220628BHJP

【ＦＩ】

G06T7/00 350C

G01N21/88 J

G06T7/00 610C

【審査請求】有

【請求項の数】20

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2021186496

(22)【出願日】2021-11-16

(31)【優先権主張番号】63/130,085

(32)【優先日】2020-12-23

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】17/523,343

(32)【優先日】2021-11-10

(33)【優先権主張国・地域又は機関】US

(71)【出願人】

【識別番号】519447732

【氏名又は名称】トランスポーテーション アイピー ホールディングス，エルエルシー

(74)【代理人】

【識別番号】100082072

【弁理士】

【氏名又は名称】清原 義博

(72)【発明者】

【氏名】カルナラトネ，ミラン

(72)【発明者】

【氏名】ノース，ネイサン トーマス

【テーマコード（参考）】

2G051

5L096

【Ｆターム（参考）】

2G051AA07

2G051AA89

2G051AB02

2G051CB01

2G051EB05

5L096BA03

5L096DA01

5L096DA03

5L096HA11

5L096KA04

5L096KA15

(57)【要約】      （修正有）

【課題】準拠していないか又はリスクのある検査を自動的に追跡及び識別して、準拠していない検査のリスクを低減するためのフォローアップアクションを可能にするシステム及び方法を提供する。
【解決手段】方法は、検査工程の前に機器部品の外観を表す画像データを受信することと、ベースライン画像データを定義する機械学習モデルで画像データを評価して、画像データが、機器部品が検査のために準備されていることを示すかどうかを判定することと、評価が、機器部品が準備されていないことを示すと、検査工程の実施を防止することと、を含む。
【選択図】図１０

【特許請求の範囲】

【請求項1】

方法であって、
機器部品の外観を表す画像データを受信することであって、前記画像データが、前記機器部品に対する検査工程の実施の前に取得される、受信することと、
ベースライン画像データを定義する機械学習モデルで前記画像データを評価して、前記画像データが、前記機器部品が前記検査工程のために準備されていることを示すかどうかを判定することと、
前記ベースライン画像データに対する前記画像データの前記評価が、前記機器部品が前記検査工程のために準備されていないことを示すと、前記機器部品に対する前記検査工程の前記実施を防止することと、
を含む、方法。

【請求項2】

前記画像データを前記ベースライン画像データに対して評価して、前記機器部品が、洗浄されたか、検査マークを付されたか、または識別マークを付されたかのうちの１つ以上であるかどうかを判定する、請求項１に記載の方法。

【請求項3】

前記ベースライン画像データは、前記機器部品の１つ以上の履歴画像を含むか、または前記履歴画像に基づいている、請求項１に記載の方法。

【請求項4】

前記機器部品の使用法に基づいて前記ベースライン画像データを修正すること
をさらに含む、請求項１に記載の方法。

【請求項5】

前記画像データの異なる部分を互いに評価して、前記画像データの前記異なる部分が前記機器部品の同じ領域の画像であるかどうかを判定することと、
前記画像データの前記異なる部分が前記機器部品の前記同じ領域の前記画像であることに応答して、前記機器部品に対する前記検査工程の前記実施を防止することと、
をさらに含む、請求項１に記載の方法。

【請求項6】

前記機器部品に対して実施された前記検査工程の検査結果を受信することと、
受信される前記画像データに基づいて前記検査結果を修正することであって、前記機器部品が前記検査工程のために準備されていないことを示す前記画像データに応答して、前記検査結果が、無損傷または許容可能な損傷量という第１の結論から、損傷または許容不可の損傷量という異なる第２の結論に修正される、修正することと、
をさらに含む、請求項１に記載の方法。

【請求項7】

前記画像データが、前記機器部品から反射された可視光の１つ以上の画像またはビデオフレームを含む、請求項１に記載の方法。

【請求項8】

前記画像データが、光の可視スペクトル外の光の１つ以上の画像またはビデオフレームを含む、請求項１に記載の方法。

【請求項9】

システムであって、
機器部品の外観を表す画像データを受信するように構成されたコントローラであって、前記画像データが、前記機器部品に対する検査工程の実施の前に取得され、前記コントローラが、
機械学習モデルを使用して、前記画像データをベースライン画像データに対して評価して、前記機器部品が前記検査工程のために準備されているかどうかを判定することと、
前記機器部品が前記検査工程のために準備されていないことを示す前記ベースライン画像データに対する前記画像データの前記評価に基づいて、前記機器部品に対する前記検査工程の前記実施を防止することと、
を行うように構成されている、コントローラを含む、システム。

【請求項10】

前記コントローラが、前記画像データを前記ベースライン画像データに対して評価して、前記機器部品が洗浄されたか、検査マークを付されたか、または識別マークを付されたかのうちの１つ以上であるかどうかを判定するように構成されている、請求項９に記載のシステム。

【請求項11】

前記ベースライン画像データが、前記機器部品の１つ以上の履歴画像を含むか、または前記履歴画像に基づいている、請求項９に記載のシステム。

【請求項12】

前記コントローラが、
前記機器部品の使用法に基づいて前記ベースライン画像データを修正する
ようにさらに構成されている、請求項９に記載のシステム。

【請求項13】

前記コントローラが、
前記画像データの異なる部分を互いに評価して、前記画像データの前記異なる部分が前記機器部品の同じ領域の画像であるかどうかを判定することと、
前記画像データの前記異なる部分が前記機器部品の前記同じ領域の前記画像であることに応答して、前記機器部品に対する前記検査工程の前記実施を防止することと、
を行うようにさらに構成されている、請求項９に記載のシステム。

【請求項14】

前記コントローラが、
前記機器部品に対して実施された前記検査工程の検査結果を受信することと、
受信される前記画像データに基づいて前記検査結果を修正することであって、前記機器部品が前記検査工程のために準備されていないことを示す前記画像データに応答して、前記検査結果が、無損傷または許容可能な損傷量という第１の結論から、損傷または許容不可の損傷量という異なる第２の結論に修正される、修正することと、
を行うようにさらに構成されている、請求項９に記載のシステム。

【請求項15】

前記画像データが、前記機器部品から反射された可視光の１つ以上の画像またはビデオフレームを含む、請求項９に記載のシステム。

【請求項16】

前記画像データが、光の可視スペクトル外の光の１つ以上の画像またはビデオフレームを含む、請求項９に記載のシステム。

【請求項17】

方法であって、
機器部品の検査工程の前に、前記機器部品の第１の画像を受信することと、
前記第１の画像を第２の画像またはベースライン画像データのうちの１つ以上に対して機械学習モデルで評価して、前記機器部品が前記検査工程のために準備されているかどうかを判定することと、
前記第１の画像を、前記第２の画像または前記機器部品が前記検査工程のために準備されていないことを示す前記ベースライン画像データのうちの１つ以上に対して、評価することに基づいて、前記機器部品に対する前記検査工程の前記実施を防止することと、
を含む、方法。

【請求項18】

前記第１の画像を前記ベースライン画像データに対して評価して、前記機器部品が、洗浄されたか、検査マークを付されたか、または識別マークを付されたかのうちの１つ以上であるかどうかを判定する、請求項１７に記載の方法。

【請求項19】

前記第１の画像を前記第２の画像に対して評価して、前記第１の画像と前記第２の画像とが同じ機器部品を示すかどうかを判定し、前記第１の画像と前記第２の画像とが前記同じ機器部品を示すと判定することに応答して、前記検査工程の前記実施が防止される、請求項１７に記載の方法。

【請求項20】

前記機器部品に対して実施された前記検査工程の検査結果を受信することと、
受信される前記画像データに基づいて前記検査結果を修正することであって、前記機器部品が前記検査工程のために準備されていないことを示す前記画像データに応答して、前記検査結果が、無損傷または許容可能な損傷量という第１の結論から、損傷または許容不可の損傷量という異なる第２の結論に修正される、修正することと、
をさらに含む、請求項１７に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本出願は、２０２０年１２月２３日に出願された米国仮特許出願第６３／１３０，０８５号の優先権を主張し、その開示全体が参照により本明細書に組み込まれる。

【背景技術】

【0002】

本明細書に記載される開示された本主題は、機器を検査するためのシステムおよび方法に関する。より具体的には、本明細書に記載される開示された本主題は、視覚的検査基準を評価し、視覚的検査基準のフィードバックおよび／または評価を提供し、視覚的検査基準の追跡および通知を提供するためのシステムおよび方法に関する。

【0003】

車両の部品などの機器の検査は、損傷もしくは欠陥を有し得るか、または損傷もしくは欠陥を有するに近い部品を検出するために行われる。検査は、部品ごとに確立されたプロセスに従って実施され得る。しかしながら、検査者によってプロセスの準拠がばらつく可能性があり、このことは、不正確な結果につながり得る。検査者は、以前の検査が、確立されたプロセスに従って実施されたかどうかを判断することを困難にさせる以前の検査結果にアクセスすることができない可能性がある。部品が検査され、損傷または欠陥を有していないと誤って識別された場合、部品の不良は、機器（例えば、機関車など）が故障する結果をもたらし得る。逆に、部品が検査され、損傷または欠陥を有すると誤って識別された場合、部品の不必要な交換は、サービスからの機器の除外、および追加の修理費用をもたらす。

【発明の概要】

【0004】

一実施形態によれば、方法は、機器部品の外観を表す画像データを受信することを含み得る。画像データは、機器部品に対する検査工程の実施の前に取得され得る。方法はまた、ベースライン画像データを定義する機械学習モデルで画像データを評価して、画像データが、機器部品が検査工程のために準備されていることを示すかどうかを判定することを含み得る。方法は、ベースライン画像データに対する画像データの評価が、機器部品が検査工程のために準備されていないことを示すと、機器部品に対する検査工程の実施を防止することをさらに含んでもよい。

【0005】

一実施形態によれば、システムは、機器部品の外観を表す画像データを受信するコントローラを含み得る。画像データは、機器部品に対する検査工程の実施の前に取得され得る。コントローラは、機械学習モデルを使用して、画像データをベースライン画像データに対して評価して、機器部品が検査工程のために準備されているかどうかを判定し得る。コントローラは、機器部品が検査工程のために準備されていないことを示すベースライン画像データに対する画像データの評価に基づいて、機器部品に対する検査工程の実施を防止し得る。

【0006】

一実施形態によれば、方法は、機器部品の検査の前に機器部品の第１の画像を受信することを含み得る。方法は、第１の画像を第２の画像またはベースライン画像データのうちの１つ以上に対して機械学習モデルで評価して、機器部品が検査工程のために準備されているかどうかを判定することを含み得る。方法はまた、第１の画像を、第２の画像または機器部品が検査工程のために準備されていないことを示すベースライン画像データのうちの１つ以上に対して、評価することに基づいて、機器部品に対する検査工程の実施を防止することを含み得る。

【0007】

本発明の主題は、添付の図面を参照して、非限定的な実施形態の以下の説明を読むことから理解され得る。

【図面の簡単な説明】

【0008】

【図1】検査準備の第１の状態による機器部品の画像。

【図2】検査準備の第２の状態による機器部品の画像。

【図3】検査準備の第３の状態による機器部品の画像。

【図4】一実施形態による機械学習モデルを概略的に例示している。

【図5】一実施形態による機械学習モデルを概略的に例示している。

【図6】一実施形態による検査対象の機器部品を評価するためのシステムを概略的に例示している。

【図7】一実施形態による機器部品の画像データを評価するためのアプリケーションを概略的に例示している。

【図8】一実施形態による機器部品の画像データを評価するためのアプリケーションを概略的に例示している。

【図9】一実施形態による機器部品の画像データを評価するためのアプリケーションを概略的に例示している。

【図10】一実施形態による方法を概略的に例示している。

【図11】一実施形態による方法を概略的に例示している。

【発明を実施するための形態】

【0009】

本明細書に記載される主題の実施形態は、検査工程と同時に検査フィードバックを提供することによって、検査品質と、確立された検査工程および手順の順守と、を改善および検証するシステムおよび方法に関する。システムおよび方法は、例えば、画像、日付、部品、場所、および検査者を介して、検査工程を追跡する方式を提供する。システムおよび方法は、準拠していないまたはリスクのある検査を自動的に追跡および識別して、準拠していない検査のリスクを低減するためのフォローアップアクションを可能にすることができる。

【0010】

機器部品の適切な検査は、検査が行われる前に検査基準が完備することを必要とする。例えば、部品の検査対象の領域を洗浄してもよく、洗浄された領域を他の領域とは別に示すために、洗浄された領域に線を引くかまたは絵を描いてもよく、検査された部品で検査結果を識別することが可能になるように、部品に番号付けしてもよい。検査基準を完備していないことは、不十分な検査、および不正確な結果につながり得る。検査基準が適切に完備されているという判定により、不十分な検査の発生が低減され得る。検査者に、機器部品が検査のために適切に準備されていないことを警告することは、不十分な検査の発生を防止し得る。

【0011】

１つ以上の実施形態が、鉄道車両システムに関連して記載されるが、すべての実施形態が鉄道車両システムに限定されるわけではない。本明細書に記載される本発明の主題は、明示的に否定されない限り、または別途記載されない限り、自動車、トラック（トレーラの有無にかかわらない）、バス、船舶、航空機、鉱業車両、農業車両、または他のオフハイウェイ車両などの他のタイプの車両システムにわたる。本明細書に記載される車両システム（レール車両システム、またはレールまたは線路上を走行しない他の車両システム）は、単一の車両または複数の車両から形成され得る。多車両システムに関して、車両は、（例えば、連結器によって）互いに機械的に連結され得るか、または機械的に連結されずに論理的に連結され得る。例えば、別個の車両が互いに通信して、車両が（例えば、護送車として）一緒に走行するように車両の移動を互いに協調させるときに、車両は、機械的にではなく、論理的に連結されてもよい。

【0012】

図１を参照すると、検査対象の機器部品１０は、検査領域１２を含む。機器部品は、例えば、機関車のラジエータ用のファンの羽根であってもよい。検査領域は、ファンブレードの中央部分、すなわち、ファンブレードの端部間の部分であってもよい。検査領域は、機器部品の任意の部分、例えば、使用中に亀裂などの欠陥が発生する可能性のある領域であってもよい。ただし、機器部品の任意の領域が、検査のために準備され、その後、検査されてもよい。

【0013】

他の実施形態によれば、検査され得る機器部品は、熱交換器チューブ、ラジエータファンブレード溶接部、ギアケースアセンブリ、コンプレッサフレーム、ケーブル、および車輪を含む。機器部品はまた、機関車以外の機器、例えば、航空機および航空機エンジン、建設機器、発電機器、または別の車両（例えば、自動車、バス、トラック、採鉱車両、船舶、農業車両など）からのものであってもよい。本明細書に開示されるシステムおよび方法は、定期的な検査の対象となる任意の機器に適用可能であり得る。

【0014】

再び図１を参照すると、検査対象の機器部品には、機器部品に固有の部品識別子１４が標示されていてもよい。機器部品の検査領域は、検査領域マーカ１６によってマークされ得る。図に示すように、検査領域は、２つの検査領域マーカによってマークされるが、任意の数の検査領域マーカ、例えば、１つのマーカまたは複数のマーカを使用して、検査領域をマークしてもよいことを理解されたい。

【0015】

図１の機器部品は、不十分な検査準備の例である。機器部品は、洗浄の痕跡を示していない。現在の技術を使用して高精度で亀裂などの欠陥を検出することは、困難である。機器部品検査領域の洗浄不足は、欠陥の検出をより困難にし、欠陥を検出できない結果となる可能性があり、そのことが機器部品の不良をもたらし得る。図１の機器部品の検査は、非準拠の検査とみなされ得る。

【0016】

図２を参照すると、検査対象の機器部品は、部品を識別するための部品識別子と、検査領域を識別するための検査領域マーカと、を含む。図２の機器部品は、不完全な検査準備の例である。機器部品は、いくらかの洗浄の痕跡を示しているが、検査領域は、亀裂などの欠陥を検出するための検査工程の不良を防止するには十分に洗浄されていない。機器部品は、部品識別子と検査領域を識別するための検査領域マーカとを含むが、検査領域の不完全な洗浄は、欠陥の検出を妨げる可能性がある。図２の機器部品の検査は、リスクのある検査または不十分な検査とみなされ得る。

【0017】

図３を参照すると、検査対象の機器部品は、部品を識別するための部品識別子と、検査領域を識別するための検査領域マーカと、を含む。検査領域は、欠陥の検査および検出を困難にする可能性がある材料または組成物を洗浄してある。例えば、機器部品は、機関車のラジエータ用のファンブレードであってもよく、検査の準備（洗浄）の前に、検査領域に炭素もしくはすす、グリース、および／または錆を有してもよい。図３の機器部品の検査領域は、そのような材料または組成物を除去するために洗浄されている。図３の機器部品の検査は、準拠した検査とみなされ得る。

【0018】

図４を参照すると、一実施形態による機械学習モデル１８は、ニューラルネットワークの形態で提供され得る。機械学習モデルは、入力層２０、隠れ層２２、および出力層２４を含む。入力層は、検査対象である機器部品の外観を表す画像データを受け入れる。画像データは、機器部品に対する検査工程の実施の前に取得される。機器部品は、例えば図１～３に示すように検査のために準備され得る。検査対象の任意の個々の機器部品の準備は、非準拠であり得るか、リスクがあり得るか、または準拠し得る。

【0019】

一実施形態では、機械学習モデルは、教師あり機械学習モデルである。機械学習モデルに、ラベル付けされたトレーニングデータが提供され得る。検査のために準備された、すなわち、部品識別子、検査領域マーカ、および少なくとも部分的に洗浄された検査領域を備えた機器部品の画像データが、機械学習モデルに提供される。訓練データの各画像データは、検査のための準備の後の機器部品の条件に応じて、非準拠、リスクあり、または準拠のいずれかとラベル付けされる。訓練データを機械学習モデルが使用して、入力画像データが、準拠した表面プロファイルに対応するかどうかを判定するために使用され得る機器部品の表面プロファイルのベースラインを確立する。検査対象の機器部品のキャプチャ画像データが、準拠した表面プロファイルのベースライン面プロファイルに対応すると判定された場合、検査者に、検査を進めることができるというメッセージが提供され得る。検査対象の機器部品のキャプチャ画像データが、ベースライン表面プロファイルに対応していない場合、例えば、機械学習モデルが、キャプチャ画像データが、非準拠のまたはリスクのある検査準備を表すと判定した場合、検査者に、機器部品が検査工程のために準備されていないというメッセージを提供され得、検査者は、検査を防止し得る。

【0020】

隠れ層は、機械学習モデルのアルゴリズムの入力層と出力層との間に位置する。アルゴリズムは、重みを入力（例えば、キャプチャ画像データピクセル）に適用し、これらの入力を、活性化関数を介して出力として導く。隠れ層は、ネットワークに入力された入力の非線形変換を実行する。

【0021】

図５を参照すると、一実施形態による機械学習モデル２６は、入力層２８、複数の隠れ層３０、３２、３４、３６、および出力層３８を含む。機械学習モデルは、複数の隠れ層に起因して深層学習機械学習モデルと呼ばれ得る。隠れ層は、機械学習モデルの機能に応じて変化し得、隠れ層は、これらの隠れ層の関連付けられた重みに応じて変化し得る。隠れ層は、機械学習モデルの機能を入力データの特定の変換に分解することを可能にする。各隠れ層関数は、定義された出力を生成するために提供され得る。例えば、１つの隠れ層は、どのタイプの機器部品が検査対象であるかを識別するために使用されてもよい。隠れ層は、機器部品を、検査対象のラジエータファンブレード、またはギアケースアセンブリ、または何らかの他の機器部品として識別し得る。例えば部品識別子を識別するために、別の隠れ層が提供されてもよく、検査領域マーカを識別するために、別の隠れ層が提供されてもよい。例えば、キャプチャ画像データが同じ機器部品、ぼやけた画像、または機器部品の照明を表すかどうかを検出するために、他の隠し層が提供されてもよい。各隠れ層の関数は、キャプチャ画像データが準拠した検査を提供するのに十分な検査のために準備された機器部品を表すかどうかを独立して判定するには十分でないが、隠れ層は、機械学習モデル内で共同して機能して、キャプチャ画像データが適切に準備された機器部品を表す確率を判定する。

【0022】

図６を参照すると、検査対象の機器部品を評価するためのシステム４０は、モバイルハンドヘルドデバイス４１を含む。モバイルハンドヘルドデバイスは、スマートフォン、タブレット、またはパーソナルデジタルアシスタント（ＰＤＡ）であり得る。モバイルハンドヘルドデバイスは、検査対象の機器部品の画像をキャプチャするように構成された画像キャプチャデバイス、例えばカメラを含む。モバイルハンドヘルドデバイスはまた、機械学習モデルを使用して、検査対象である機器部品が、準拠した検査準備、リスクのある検査準備、または非準拠の検査準備を表すかどうかを判定するための、メモリ４４に記憶された命令を実行するコントローラ４２を含む。

【0023】

機器部品を評価するためのシステムはまた、コントローラ４８およびメモリ５０を含むコンピュータ４６を含んでもよい。コンピュータは、例えば、無線で、またはハード接続（例えば、ケーブル）によって、モバイルハンドヘルドデバイスに接続され得る。コンピュータのメモリは、機械学習モデルの訓練データを含み得る。モバイルハンドヘルドデバイスによってキャプチャされた画像データはまた、モバイルハンドヘルドデバイスからコンピュータのメモリに転送されて、機械学習モデルの訓練データに追加され得る。機械学習モデルは、モバイルハンドヘルドデバイスのメモリおよび／またはコンピュータのメモリに提供された機器部品のキャプチャ画像データに基づいて、ベースライン表面プロファイル画像データを修正し得る。

【0024】

コンピュータのプロセッサはまた、機械学習モデルを使用するための、コンピュータのメモリ内の命令を実行して、検査対象である機器部品が、準拠した検査準備、リスクのある検査準備、または非準拠の検査準備を表すかどうかを判定し得る。一実施形態では、モバイルハンドヘルドデバイスは、検査対象の機器部品の画像をキャプチャするデジタルカメラであってもよい。画像データは、コンピュータのメモリに転送され得、コンピュータのコントローラは、機械学習モデルを使用して、機器部品が、準拠した検査準備を表すベースライン表面画像データに対応するかどうかを判定し得る。検査対象の機器部品の画像データをキャプチャするために、他の画像キャプチャデバイスが使用され得る。例えば、カメラは、検査のために機器部品を準備する検査者によって装着されてもよい。別の例として、カメラは、機器部品の内部に挿入するためのスコープ上に提供されるか、または無人航空機（例えば、ドローン）上に設けられて、遠隔の機器部品上の画像データをキャプチャし得る。

【0025】

システムはまた、クラウドコンピューティングネットワーク５２を含んでもよい。クラウドコンピューティングネットワークは、例えば、機械学習モデルの訓練データ、および機器部品の検査中に取得された画像キャプチャデータを含む、画像キャプチャデータを記憶し得る。クラウドコンピューティングネットワークは、モバイルハンドヘルドデバイスおよび／またはコンピュータが通信し得る１つ以上のクラウドコンピューティングノードを含み得る。ノードは、互いに通信し得、１つ以上のネットワーク内で物理的にまたは仮想的にグループ化され得る。クラウドコンピューティングネットワークは、（例えば、ウェブブラウザを使用して）任意のタイプのネットワークおよび／またはネットワークアドレス可能な接続を介して、例えばモバイルハンドヘルドデバイスおよびコンピュータを含む、任意のタイプのコンピュータ化デバイスと通信することができる。

【0026】

クラウドコンピューティングネットワークはまた、機械学習モデルを使用して、モバイルハンドヘルドデバイスおよび／またはコンピュータから提供されるキャプチャされた画像データを評価して、検査対象の機器部品が、検査のための準拠した準備、リスクのある準備、または非準拠の準備を表すかどうかを判定し得る。

【0027】

検査対象の機器部品の撮影画像データは、機器部品から反射された可視光の１つ以上の画像またはビデオフレームを含み得る。検査対象の機器部品のキャプチャ画像データは、追加的にまたは代替的に、機器部品から反射された可視スペクトル外の光の１つ以上の画像またはビデオフレームを含んでもよい。機械学習モデルは、反射光に基づいてぼやけた画像を識別し得る。機械学習モデルはまた、複数のキャプチャ画像データが同じまたは異なる機器部品から反射されるかどうかを判定してもよい。

【0028】

図７を参照すると、モバイルハンドヘルドデバイスは、モバイルハンドヘルドデバイス上に提供されるアプリケーションの動作によって検査対象の機器部品を評価するためのプログラムまたはアプリケーションを実行し得る。他の実施形態によれば、プログラムまたはアプリケーションは、コンピュータ上で実行され得る。プログラムまたはアプリケーションは、例えばタッチスクリーン５４を介して、入力を受け入れ、検査者が検査対象の特定の機器部品、例えばラジエータファン、を示すことを可能にし、機器部品が機器部品の検査履歴に追加されていることをディスプレイ５６に提供する。プログラムまたはアプリケーションは、検査者が、識別情報５８を入力することを可能にし、識別情報５８は、例えば、検査施設の名称および／または場所、検査対象の機器部品のシリアル番号または追跡番号、および検査日を含み得る。識別情報が確認されると、プログラムまたはアプリケーションは、検査を開始するための入力６０を提供する。

【0029】

図８を参照すると、検査対象の機器部品の画像６２は、機械学習モデルによって評価される。機械学習モデルは、画像データが、機械学習モデルのベースライン画像データに対応しないこと、および機器部品の準備が、リスクのある準備または非準拠の準備を表すことを結論し得る。例えば、機械学習モデルは、検査領域を定義する検査領域マーカ（例えば、線）が見えないことを検査者に警告してもよい。機械学習モデルはまた、画像データの他の特性が機器部品の画像データの評価を信頼できないものにすると判定してもよい。例えば、機械学習モデルは、画像データがぼやけている、または画像データが以前のキャプチャ画像データと同じ機器部品ではないと判定してもよい。機械学習モデルは、画像データの評価情報６４を、準備に関する問題、またはリスクのある検査または非準拠の検査をもたらし得る画像データを識別する検査者に提供し得る。アプリケーションはまた、検査者が機械学習モデルによる最終評価から画像データを除外するか、または機械学習モデルによる最終評価に画像データを含めることを可能にする入力６６を含む。

【0030】

図９を参照すると、プログラムまたはアプリケーションは、検査対象の機器部品の複数の画像データ６８をディスプレイに提示する。機械学習モデルは、各画像が同じ機器部品からのものかどうかを判定する。機械学習モデルはまた、画像データの数が検査対象の機器部品の準拠した準備を表すかどうか、および準拠した画像データの数が機器部品の画像データのうちのすべての指定された割合であることを判定する。準拠した検査が実施され得ることを示す画像データの数が不十分であり、および／または準拠した検査が実施され得ることを示す画像データの数が、画像データのうちのすべての十分な割合ではない場合、プログラムまたはアプリケーションは、機器部品が適切に準備されておらず、リスクのある検査、または非準拠の検査を表すため、機器部品の検査を実施すべきでないことを、アカウントまたは検査施設に、例えば電子メールにより、警告を自動的に送信し得る。警告は、機器部品の検査を防止し得る。機械学習モデルが、画像データが準拠した検査を提供するベースライン画像データに対応すると判定する場合、プログラムまたはアプリケーションは、検査者が検査を継続または一時停止することを可能にする入力７０を含む。

【0031】

図１０を参照すると、方法１００は、機器部品の外観を表す画像データを受信するステップ１１０であって、画像データは、機器部品に対する検査工程の実施の前に取得される、ステップ１１０と、ベースライン画像データを定義する機械学習モデルで画像データを評価して、画像データが、機器部品が検査工程のために準備されていることを示すかどうかを判定するステップ１２０と、を含む。方法は、ベースライン画像データに対する画像データの評価が、機器部品が検査工程のために準備されていないことを示すと、機器部品に対する検査工程の実施を防止するステップ１３０をさらに含む。

【0032】

図１１を参照すると、方法２００は、機器部品の外観を表す画像データを受信するステップ２１０を含む。画像データは、機器部品に対する検査工程の実施の前に取得され得る。方法はまた、ベースライン画像データを定義する機械学習モデルで画像データを評価して、画像データが、機器部品が検査工程のために準備されていることを示すかどうかを判定するステップ２２０を含み得る。方法は、ベースライン画像データに対する画像データの評価が、機器部品が検査工程のために準備されていないことを示すと、機器部品に対する検査工程の実施を防止するステップ２３０をさらに含む。

【0033】

方法は、機器部品の外観を表す画像データを受信することであって、画像データは、機器部品に対する検査工程の実施の前に取得される、受信することと、ベースライン画像データを定義する機械学習モデルで画像データを評価して、画像データが、機器部品が検査工程のために準備されていることを示すかどうかを判定することと、を含み得る。方法は、ベースライン画像データに対する画像データの評価が、機器部品が検査工程のために準備されていないことを示すと、機器部品に対する検査工程の実施を防止することと、をさらに含んでもよい。

【0034】

画像データをベースライン画像データに対して評価して、機器部品が、洗浄されたか、検査マークを付されたか、または識別マークを付されたかのうちの１つ以上であるかどうかを判定し得る。ベースライン画像データは、機器部品の１つ以上の履歴画像を含み得るか、またはこの履歴画像に基づき得る。

【0035】

方法は、機器部品の使用法に基づいてベースライン画像データを修正することをさらに含んでもよい。方法は、画像データの異なる部分が機器部品の同じ領域の画像であるかどうかを判定するために、画像データの異なる部分を互いに評価することと、画像データの異なる部分が機器部品の同じ領域の画像であることに応答して、機器部品に対する検査工程の実施を防止することと、をさらに含んでもよい。

【0036】

方法は、機器部品に対して実施された検査工程の検査結果を受信することと、受信される画像データに基づいて検査結果を修正することと、をさらに含んでもよい。検査結果は、機器部品が検査工程のために準備されていないことを示す画像データに応答して、無損傷または許容可能な損傷量という第１の結論から、損傷または許容不可の損傷量という異なる第２の結論に修正され得る。

【0037】

画像データは、機器部品から反射された可視光の１つ以上の画像またはビデオフレームを含み得る。画像データは、光の可視スペクトル外の光の１つ以上の画像またはビデオフレームを含み得る。

【0038】

システムは、機器部品の外観を表す画像データを受信するコントローラを含み得る。画像データは、機器部品に対する検査工程の実施の前に取得され得る。コントローラは、機械学習モデルを使用して、画像データをベースライン画像データに対して評価して、機器部品が検査工程のために準備されているかどうかを判定し得る。コントローラは、機器部品が検査工程のために準備されていないことを示すベースライン画像データに対する画像データの評価に基づいて、機器部品に対する検査工程の実施を防止し得る。

【0039】

コントローラは、画像データをベースライン画像データに対して評価して、機器部品が、洗浄されたか、検査マークを付されたか、または識別マークを付されたかのうちの１つ以上であるかどうかを判定し得る。ベースライン画像データは、機器部品の１つ以上の履歴画像を含み得るか、またはこの履歴画像に基づき得る。

【0040】

コントローラは、機器部品の使用法に基づいて、ベースライン画像データをさらに修正してもよい。コントローラはさらに、画像データの異なる部分が機器部品の同じ領域の画像であるかどうかを判定するために、画像データの異なる部分を互いに評価し、画像データの異なる部分が機器部品の同じ領域の画像であることに応答して、機器部品に対する検査工程の実施を防止してもよい。

【0041】

コントローラはさらに、機器部品に対して実施された検査工程の検査結果をさらに受信し、受信される画像データに基づいて検査結果を修正してもよく、機器部品が検査工程のために準備されていないことを示す画像データに応答して、検査結果が、無損傷または許容可能な損傷量という第１の結論から、損傷または許容不可の損傷量という異なる第２の結論に修正される。

【0042】

画像データは、機器部品から反射された可視光の１つ以上の画像またはビデオフレームを含み得る。画像データは、光の可視スペクトル外の光の１つ以上の画像またはビデオフレームを含み得る。

【0043】

方法は、機器部品の検査工程の前に機器部品の第１の画像を受信することと、第１の画像を第２の画像またはベースライン画像データのうちの１つ以上に対して機械学習モデルで評価して、機器部品が検査工程のために準備されているかどうかを判定することと、を含み得る。方法は、第２の画像または機器部品が検査工程のために準備されていないことを示すベースライン画像データのうちの１つ以上に対して第１の画像を、評価することに基づいて、機器部品に対する検査工程の実施を防止することをさらに含んでもよい。

【0044】

第１の画像を、ベースライン画像データに対して評価して、機器部品が、洗浄されたか、検査マークを付されたか、または識別マークを付されたかのうちの１つ以上であるかどうかを判定し得る。第１の画像を第２の画像に対して評価して、第１の画像と第２の画像とが同じ機器部品を示すかどうかを判定し得、第１の画像と第２の画像とが同じ機器部品を示すと判定することに応答して、検査工程の実施が防止され得る。

【0045】

方法は、機器部品に対して実施された検査工程の検査結果を受信することと、受信される画像データに基づいて検査結果を修正することと、をさらに含んでもよい。検査結果は、機器部品が検査工程のために準備されていないことを示す画像データに応答して、無損傷または許容可能な損傷量という第１の結論から、損傷または許容不可の損傷量という異なる第２の結論に修正され得る。

【0046】

本明細書で使用される場合、単数形で列挙され、単語「ａ」または「ａｎ」に続く要素またはステップは、上記の要素または動作の複数形を排除せず、そのような排除が明示的に述べられた場合にはこの限りでない。さらに、本発明の「一実施形態」への言及は、列挙された特徴を組み込む追加の実施形態の存在を排除しない。さらに、明示的に否定しない限り、特定の特性を有する要素または複数の要素を「含む（ｃｏｍｐｒｉｓｉｎｇ）」、「含む（ｃｏｍｐｒｉｓｅｓ）」、「含む（ｉｎｃｌｕｄｉｎｇ）」、「含む（ｉｎｃｌｕｄｅｓ）」、「有する（ｈａｖｉｎｇ）」、または「有する（ｈａｓ）」実施形態は、その特性を有しない追加のそのような要素を含んでもよい。添付の特許請求の範囲では、「含む（ｉｎｃｌｕｄｉｎｇ）」および「その場合に（ｉｎ ｗｈｉｃｈ）」という用語は、「含む（ｃｏｍｐｒｉｓｉｎｇ）」および「その場合に（ｗｈｅｒｅｉｎ）」というそれぞれの用語の平易な英語の同等なものとして使用される。さらに、以下の条項において、「第１」、「第２」、および「第３」などの用語は、単にラベルとして使用され、それらの対象に数値的要件を課さない。さらに、以下の特許請求の範囲の限定は、ミーンズ・プラス・ファンクション形式では記述されず、そのような特許請求の範囲の限定が「のための手段」という語句と、これに続く、さらなる構造を有しない機能の言明と、を明示的に使用しない限り、米国特許法第１１２条（ｆ）に基づいて解釈されることを意図しない。

【0047】

上記の説明は、例示であり、限定ではない。例えば、上述の実施形態（および／またはそれらの態様）は、互いに組み合わせて使用されてもよい。加えて、特定の状況または材料を本発明の主題の範囲から逸脱することなく本発明の主題の教示に適合させるために、多くの修正を行うことができる。本明細書に記載されるコンポーネントの寸法およびタイプは、本発明の主題のパラメータを定義するが、それらは、例示的な実施形態である。他の実施形態は、上記の説明を検討すると、当業者には明らかであろう。したがって、本発明の主題の範囲は、そのような条項が適格である均等物の全範囲とともに、添付の特許請求の範囲を参照して決定されるべきである。

【0048】

記述された本明細書明は、実施例を使用して、ベストモードを含む本発明の主題のいくつかの実施形態を開示し、任意のデバイスまたはシステムを作製および使用すること、および任意の組み込まれた方法を実施することを含めて、当業者が本発明の主題の実施形態を実践することを可能にする。本発明の主題の特許可能な範囲は、特許請求の範囲によって定義され、当業者が思い付く他の例を含み得る。そのような他の例は、それらが特許請求の範囲の文字通りの言葉と異ならない構造要素を有する場合、またはそれらが特許請求の範囲の文字通りの言葉とは実質的に異なる均等な構造要素を含む場合、特許請求の範囲の範囲内であることが意図される。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【外国語明細書】