特許 7261527 物理オブジェクトの欠陥を判定するためのシステム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-04-12

(45)【発行日】2023-04-20

(54)【発明の名称】物理オブジェクトの欠陥を判定するためのシステム及び方法

(51)【国際特許分類】

   G01N 21/88 20060101AFI20230413BHJP

【ＦＩ】

G01N21/88 J

【請求項の数】 41

(21)【出願番号】P 2021514017

(86)(22)【出願日】2019-11-19

(65)【公表番号】

(43)【公表日】2022-01-31

(86)【国際出願番号】 US2019062145

(87)【国際公開番号】W WO2020106682

(87)【国際公開日】2020-05-28

【審査請求日】2021-05-06

(31)【優先権主張番号】16/196,990

(32)【優先日】2018-11-20

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】505220284

【氏名又は名称】ビーエヌエスエフ レイルウェイ カンパニー

【住所又は居所原語表記】２５００ Ｌｏｕ Ｍｅｎｋ Ｄｒｉｖｅ， Ｆｏｒｔ Ｗｏｒｔｈ， Ｔｅｘａｓ ７６１３１ Ｕ．Ｓ．Ａ．

(74)【代理人】

【識別番号】100120662

【弁理士】

【氏名又は名称】川上 桂子

(74)【代理人】

【識別番号】100216770

【弁理士】

【氏名又は名称】三品 明生

(74)【代理人】

【識別番号】100217364

【弁理士】

【氏名又は名称】田端 豊

(72)【発明者】

【氏名】コーラー、 レイチェル

(72)【発明者】

【氏名】クルーガー、 ダレル アール．

(72)【発明者】

【氏名】ローホン、 ケビン

(72)【発明者】

【氏名】スミトレイ、 ギャレット

【審査官】小野寺 麻美子

(56)【参考文献】

【文献】特開２０１０－１３９３１７（ＪＰ，Ａ）

【文献】特開２０１８－００５６４０（ＪＰ，Ａ）

【文献】特開２０１２－０２６９８２（ＪＰ，Ａ）

【文献】特開２０１６－１０９４９５（ＪＰ，Ａ）

【文献】特表２００８－５０５２６０（ＪＰ，Ａ）

【文献】特開２０１７－１８７４８７（ＪＰ，Ａ）

【文献】特表２００８－５０２５３８（ＪＰ，Ａ）

【文献】FAGHIH-ROOHI,S. et al.，Deep convolutional neural networks for detection of rail surface defects，2016 International Joint Conference on Neural Networks (IJCNN)，2016年，pp.2584-2589，DOI: 10.1109/IJCNN.2016.7727522

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｎ ２１／８４ － Ｇ０１Ｎ ２１／９５８

Ｇ０６Ｔ １／００ － Ｇ０６Ｔ １／４０

Ｇ０６Ｔ ３／００ － Ｇ０６Ｔ ９／４０

Ｇ０１Ｂ １１／００ － Ｇ０１Ｂ １１／３０

Ｅ０１Ｂ １／００ － Ｅ０１Ｂ ３７／００

(57)【特許請求の範囲】

【請求項1】

方法であって、
欠陥検出器モジュールによって、物理オブジェクトの画像を受信するステップと、
前記欠陥検出器モジュールによって、前記物理オブジェクトの前記画像から１つ以上の第１の特徴を１つ以上の機械学習アルゴリズムを使用して１つ以上の第１の分類に分類するステップと、
前記欠陥検出器モジュールによって、前記１つ以上の第１の分類を分析するステップと、
前記欠陥検出器モジュールによって、前記１つ以上の第１の分類を分析するステップに基づいて、前記物理オブジェクトが欠陥を含むことを判定するステップと、
前記欠陥検出器モジュールによって、前記１つ以上の機械学習アルゴリズムを使用して前記物理オブジェクトの前記画像から１つ以上の第２の特徴を１つ以上の第２の分類に分類するステップであって、前記１つ以上の第２の特徴を前記１つ以上の第２の分類に分類することは前記１つ以上の第２の特徴を前記物理オブジェクトの１つ以上の構成要素として分類することを含むステップと、
前記欠陥検出器モジュールによって、前記物理オブジェクトの前記１つ以上の構成要素のトリミングされた画像を生成するために、前記１つ以上の第２の特徴を囲む領域で前記画像をトリミングするステップとを含み、
前記物理オブジェクトの前記画像から前記１つ以上の第１の特徴を１つ以上の第１の分類に分類するステップは、前記物理オブジェクトの前記トリミングされた画像からの前記１つ以上の第１の特徴を１つ以上の第１の分類に分類するステップを含む、
方法。

【請求項2】

前記欠陥検出器モジュールによって、前記画像内の前記欠陥の位置を判定するステップと、
前記欠陥検出器モジュールによって、前記画像内の前記欠陥の位置が前記物理オブジェクトの一部であることを判定するステップと、
前記欠陥検出器モジュールによって、前記画像内の前記欠陥の位置および前記物理オブジェクトの地理的位置に少なくとも部分的に基づいて、前記物理オブジェクトの前記欠陥の地理的位置を判定するステップと、
を含む、請求項１に記載の方法。

【請求項3】

前記欠陥検出器モジュールによって、前記画像の前記１つ以上の第１の特徴を１つ以上のラベルでラベル付けするステップをさらに含む、請求項１に記載の方法。

【請求項4】

前記欠陥検出器モジュールによって、前記１つ以上の第１の特徴を示すサンプルデータを収集することによって、前記画像から前記１つ以上の第１の特徴を分類するために、前記１つ以上の機械学習アルゴリズムをトレーニングするステップをさらに含む、請求項１に記載の方法。

【請求項5】

前記物理オブジェクトは、レールジョイントであり、
前記欠陥は、破損したレールジョイントであり、
前記１つ以上の第１の分類は、
ボルト、破損、孔、及び不連続部のうちの１つ以上を含む、請求項１に記載の方法。

【請求項6】

前記１つ以上の第２の分類は、レールジョイントバー、レール間の不連続部、及びエンドポストのうちの少なくとも１つを含むステップを含む、請求項１に記載の方法。

【請求項7】

前記物理オブジェクトの前記画像は、前記物理オブジェクトに対して動く構成要素によって撮影される、請求項１に記載の方法。

【請求項8】

１つ以上のプロセッサと、前記１つ以上のプロセッサによって実行されるとき、前記１つ以上のプロセッサに動作を実行させる命令を格納するメモリと、を含むシステムであって、
前記動作は、
欠陥検出器モジュールによって、物理オブジェクトの画像を受信するステップと、
前記欠陥検出器モジュールによって、前記物理オブジェクトの前記画像から１つ以上の第１の特徴を１つ以上の機械学習アルゴリズムを使用して１つ以上の第１の分類に分類するステップと、
前記欠陥検出器モジュールによって、前記１つ以上の第１の分類を分析するステップと、
前記欠陥検出器モジュールによって、前記１つ以上の第１の分類を分析するステップに基づいて、前記物理オブジェクトが欠陥を含むことを判定するステップと、
前記欠陥検出器モジュールによって、前記１つ以上の機械学習アルゴリズムを使用して前記物理オブジェクトの前記画像から１つ以上の第２の特徴を１つ以上の第２の分類に分類するステップであって、前記１つ以上の第２の特徴を前記１つ以上の第２の分類に分類することは前記１つ以上の第２の特徴を前記物理オブジェクトの１つ以上の構成要素として分類することを含み、前記１つ以上の第２の分類は、レールジョイントバー、レール間の不連続部、及びエンドポストのうちの少なくとも１つを含むステップと、
前記欠陥検出器モジュールによって、前記物理オブジェクトの前記１つ以上の構成要素のトリミングされた画像を生成するために、前記１つ以上の第２の特徴を囲む領域で前記画像をトリミングするステップとを含み、
前記物理オブジェクトの前記画像から前記１つ以上の第１の特徴を１つ以上の第１の分類に分類するステップは、前記物理オブジェクトの前記トリミングされた画像からの前記１つ以上の第１の特徴を１つ以上の第１の分類に分類するステップを含む、
システム。

【請求項9】

前記欠陥検出器モジュールによって、前記画像内の前記欠陥の位置を判定するステップと、
前記欠陥検出器モジュールによって、前記画像内の前記欠陥の位置が前記物理オブジェクトの一部であることを判定するステップと、
前記欠陥検出器モジュールによって、前記画像内の前記欠陥の位置および前記物理オブジェクトの地理的位置に少なくとも部分的に基づいて、前記物理オブジェクトの前記欠陥の地理的位置を判定するステップと、
を含む、請求項８に記載のシステム。

【請求項10】

前記動作は、前記欠陥検出器モジュールによって、前記画像の前記１つ以上の第１の特徴を１つ以上のラベルでラベル付けするステップをさらに含む、請求項８に記載のシステム。

【請求項11】

前記動作は、前記欠陥検出器モジュールによって、前記１つ以上の第１の特徴を示すサンプルデータを収集することによって、前記画像から前記１つ以上の第１の特徴を分類するために、前記１つ以上の機械学習アルゴリズムをトレーニングするステップをさらに含む、請求項８に記載のシステム。

【請求項12】

前記物理オブジェクトは、レールジョイントであり、
前記欠陥は、破損したレールジョイントであり、
前記１つ以上の第１の分類は、
ボルト、破損、孔、及び不連続部のうちの１つ以上を含む、請求項８に記載のシステム。

【請求項13】

前記１つ以上の第２の分類は、レールジョイントバー、レール間の不連続部、及びエンドポストのうちの少なくとも１つを含む、請求項８に記載のシステム。

【請求項14】

前記物理オブジェクトの前記画像は、前記物理オブジェクトに対して動く構成要素によって撮影される、請求項８に記載のシステム。

【請求項15】

プロセッサによって実行されるとき、プロセッサに、動作を実行させる命令を含むコンピュータプログラムであって、
前記動作は、
欠陥検出器モジュールによって、物理オブジェクトの画像を受信するステップと、
前記欠陥検出器モジュールによって、前記物理オブジェクトの前記画像から１つ以上の第１の特徴を１つ以上の機械学習アルゴリズムを使用して１つ以上の第１の分類に分類するステップと、
欠陥検出器モジュールによって、前記１つ以上の第１の分類を分析するステップと、
前記欠陥検出器モジュールによって、前記１つ以上の第１の分類を分析するステップに基づいて、前記物理オブジェクトが欠陥を含むことを判定するステップと、
前記欠陥検出器モジュールによって、前記１つ以上の機械学習アルゴリズムを使用して前記物理オブジェクトの前記画像から１つ以上の第２の特徴を１つ以上の第２の分類に分類するステップであって、前記１つ以上の第２の特徴を前記１つ以上の第２の分類に分類することは前記１つ以上の第２の特徴を前記物理オブジェクトの１つ以上の構成要素として分類することを含み、前記１つ以上の第２の分類は、レールジョイントバー、レール間の不連続部、及びエンドポストのうちの少なくとも１つを含むステップと、
前記欠陥検出器モジュールによって、前記物理オブジェクトの前記１つ以上の構成要素のトリミングされた画像を生成するために、前記１つ以上の第２の特徴を囲む領域で前記画像をトリミングするステップとを含み、
前記物理オブジェクトの前記画像から前記１つ以上の第１の特徴を１つ以上の第１の分類に分類するステップは、前記物理オブジェクトの前記トリミングされた画像からの前記１つ以上の第１の特徴を１つ以上の第１の分類に分類するステップを含む、
コンピュータプログラム。

【請求項16】

前記動作は、
前記欠陥検出器モジュールによって、前記画像内の前記欠陥の位置を判定するステップと、
前記欠陥検出器モジュールによって、前記画像内の前記欠陥の位置が前記物理オブジェクトの一部であることを判定するステップと、
前記欠陥検出器モジュールによって、前記画像内の前記欠陥の位置および前記物理オブジェクトの地理的位置に少なくとも部分的に基づいて前記物理オブジェクトの前記欠陥の地理的位置を判定するステップと、
をさらに含む、請求項１５に記載のコンピュータプログラム。

【請求項17】

前記動作は、
前記欠陥検出器モジュールによって、前記画像の前記１つ以上の第１の特徴を１つ以上のラベルでラベル付けするステップをさらに含む、請求項１５に記載のコンピュータプログラム。

【請求項18】

前記動作は、
前記１つ以上の第１の特徴を示すサンプルデータを収集することによって、前記画像から前記１つ以上の第１の特徴を分類するために、前記１つ以上の機械学習アルゴリズムをトレーニングするステップをさらに含む、請求項１５に記載のコンピュータプログラム。

【請求項19】

前記物理オブジェクトは、レールジョイントであり、
前記欠陥は、破損したレールジョイントであり、
前記１つ以上の第１の分類は、
ボルト、破損、孔、不連続部のうちの１つ以上を含む、
請求項１５に記載のコンピュータプログラム。

【請求項20】

前記１つ以上の第２の分類は、レールジョイントバー、レール間の不連続部、及びエンドポストのうちの少なくとも１つを含むステップを含む、請求項１５に記載のコンピュータプログラム。

【請求項21】

方法であって、
欠陥検出器モジュールによって、物理オブジェクトの画像を受信するステップと、
前記欠陥検出器モジュールによって、前記物理オブジェクトの前記画像から１つ以上の第１の特徴を１つ以上の機械学習アルゴリズムを使用して１つ以上の第１の分類に分類するステップと、
前記欠陥検出器モジュールによって、前記１つ以上の第１の分類を分析するステップと、
前記欠陥検出器モジュールによって、前記１つ以上の第１の分類を分析するステップに基づいて、前記物理オブジェクトが欠陥を含むことを判定するステップと、
前記欠陥検出器モジュールによって、前記画像内の前記欠陥の位置を判定するステップと、
前記欠陥検出器モジュールによって、前記画像内の前記欠陥の位置が前記物理オブジェクトの一部であることを判定するステップと、
前記欠陥検出器モジュールによって、前記画像内の前記欠陥の位置および前記物理オブジェクトの地理的位置に少なくとも部分的に基づいて、前記物理オブジェクトの前記欠陥の地理的位置を判定するステップと、
を含む、
方法。

【請求項22】

前記物理オブジェクトの欠陥の地理的位置を判定するステップは、前記画像に関連する緯度及び経度を判定するステップを含む、請求項２１に記載の方法。

【請求項23】

前記欠陥検出器モジュールによって、前記画像の前記１つ以上の第１の特徴を１つ以上のラベルでラベル付けするステップをさらに含む、請求項２１に記載の方法。

【請求項24】

前記欠陥検出器モジュールによって、前記１つ以上の第１の特徴を示すサンプルデータを収集することによって、前記画像から前記１つ以上の第１の特徴を分類するために、前記１つ以上の機械学習アルゴリズムをトレーニングするステップをさらに含む、請求項２１に記載の方法。

【請求項25】

前記物理オブジェクトは、レールジョイントであり、
前記欠陥は、破損したレールジョイントであり、
前記１つ以上の第１の分類は、
ボルト、破損、孔、及び不連続部のうちの１つ以上を含む、請求項２１に記載の方法。

【請求項26】

前記欠陥検出器モジュールによって、前記１つ以上の機械学習アルゴリズムを使用して前記物理オブジェクトの前記画像から１つ以上の第２の特徴を１つ以上の第２の分類に分類するステップであって、前記１つ以上の第２の特徴を前記１つ以上の第２の分類に分類することは前記１つ以上の第２の特徴を前記物理オブジェクトの１つ以上の構成要素として分類することを含み、前記１つ以上の第２の分類は、レールジョイントバー、レール間の不連続部、及びエンドポストのうちの少なくとも１つを含むステップと、
前記欠陥検出器モジュールによって、前記物理オブジェクトの前記１つ以上の構成要素のトリミングされた画像を生成するために、前記１つ以上の第２の特徴を囲む領域で前記画像をトリミングするステップとをさらに含み、
記物理オブジェクトの前記画像から前記１つ以上の第１の特徴を１つ以上の第１の分類に分類するステップは、前記物理オブジェクトの前記トリミングされた画像からの前記１つ以上の第１の特徴を１つ以上の第１の分類に分類するステップを含む、
請求項２１に記載の方法。

【請求項27】

前記物理オブジェクトの前記画像は、前記物理オブジェクトに対して動く構成要素によって撮影される、請求項２１に記載の方法。

【請求項28】

１つ以上のプロセッサと、前記１つ以上のプロセッサによって実行されるとき、前記１つ以上のプロセッサに動作を実行させる命令を格納するメモリと、を含むシステムであって、
前記動作は、
欠陥検出器モジュールによって、物理オブジェクトの画像を受信するステップと、
前記欠陥検出器モジュールによって、前記物理オブジェクトの前記画像から１つ以上の第１の特徴を１つ以上の機械学習アルゴリズムを使用して１つ以上の第１の分類に分類するステップと、
前記欠陥検出器モジュールによって、前記１つ以上の第１の分類を分析するステップと、
前記欠陥検出器モジュールによって、前記１つ以上の第１の分類を分析するステップに基づいて、前記物理オブジェクトが欠陥を含むことを判定するステップと、
前記欠陥検出器モジュールによって、前記画像内の前記欠陥の位置を判定するステップと、
前記欠陥検出器モジュールによって、前記画像内の前記欠陥の位置が前記物理オブジェクトの一部であることを判定するステップと、
前記欠陥検出器モジュールによって、前記画像内の前記欠陥の位置および前記物理オブジェクトの地理的位置に少なくとも部分的に基づいて前記物理オブジェクトの前記欠陥の地理的位置を判定するステップと、
を含む、
システム。

【請求項29】

前記物理オブジェクトの欠陥の地理的位置を判定するステップは、前記画像に関連する緯度及び経度を判定するステップを含む、請求項２８に記載のシステム。

【請求項30】

前記動作は、前記欠陥検出器モジュールによって、前記画像の前記１つ以上の第１の特徴を１つ以上のラベルでラベル付けするステップをさらに含む、請求項２８に記載のシステム。

【請求項31】

前記動作は、前記欠陥検出器モジュールによって、前記１つ以上の第１の特徴を示すサンプルデータを収集することによって、前記画像から前記１つ以上の第１の特徴を分類するために、前記１つ以上の機械学習アルゴリズムをトレーニングするステップをさらに含む、請求項２８に記載のシステム。

【請求項32】

前記物理オブジェクトは、レールジョイントであり、
前記欠陥は、破損したレールジョイントであり、
前記１つ以上の第１の分類は、ボルト、破損、孔、不連続部のうちの１つ以上を含む、
請求項２８に記載のシステム。

【請求項33】

前記欠陥検出器モジュールによって、前記１つ以上の機械学習アルゴリズムを使用して前記物理オブジェクトの前記画像から１つ以上の第２の特徴を１つ以上の第２の分類に分類するステップであって、前記１つ以上の第２の特徴を前記１つ以上の第２の分類に分類することは前記１つ以上の第２の特徴を前記物理オブジェクトの１つ以上の構成要素として分類することを含み、前記１つ以上の第２の分類は、レールジョイントバー、レール間の不連続部、及びエンドポストのうちの少なくとも１つを含むステップと、
前記欠陥検出器モジュールによって、前記物理オブジェクトの前記１つ以上の構成要素のトリミングされた画像を生成するために、前記１つ以上の第２の特徴を囲む領域で前記画像をトリミングするステップとをさらに含み、
前記物理オブジェクトの前記画像から前記１つ以上の第１の特徴を１つ以上の第１の分類に分類するステップは、前記物理オブジェクトの前記トリミングされた画像からの前記１つ以上の第１の特徴を１つ以上の第１の分類に分類するステップを含む、
請求項２８に記載のシステム。

【請求項34】

前記物理オブジェクトの前記画像は、前記物理オブジェクトに対して動く構成要素によって撮影される、請求項２８に記載のシステム。

【請求項35】

プロセッサによって実行されるとき、プロセッサに、動作を実行させる命令を含むコンピュータプログラムであって、
前記動作は、
欠陥検出器モジュールによって、物理オブジェクトの画像を受信するステップと、
前記欠陥検出器モジュールによって、前記物理オブジェクトの前記画像から１つ以上の第１の特徴を１つ以上の機械学習アルゴリズムを使用して１つ以上の第１の分類に分類するステップと、
欠陥検出器モジュールによって、前記１つ以上の第１の分類を分析するステップと、
前記欠陥検出器モジュールによって、前記１つ以上の第１の分類を分析するステップに基づいて、前記物理オブジェクトが欠陥を含むことを判定するステップと、
記欠陥検出器モジュールによって、前記画像内の前記欠陥の位置を判定するステップと、
前記欠陥検出器モジュールによって、前記画像内の前記欠陥の位置が前記物理オブジェクトの一部であることを判定するステップと、
前記欠陥検出器モジュールによって、前記画像内の前記欠陥の位置および前記物理オブジェクトの地理的位置に少なくとも部分的に基づいて前記物理オブジェクトの前記欠陥の地理的位置を判定するステップと、
を含む、
コンピュータプログラム。

【請求項36】

前記物理オブジェクトの欠陥の地理的位置を判定するステップは、前記画像に関連する緯度及び経度を判定するステップを含む、請求項３５に記載のコンピュータプログラム。

【請求項37】

前記動作は、前記欠陥検出器モジュールによって、前記画像の前記１つ以上の第１の特徴を１つ以上のラベルでラベル付けするステップをさらに含む、請求項３５に記載のコンピュータプログラム。

【請求項38】

前記動作は、前記１つ以上の第１の特徴を示すサンプルデータを収集することによって、前記画像から前記１つ以上の第１の特徴を分類するために、前記１つ以上の機械学習アルゴリズムをトレーニングするステップをさらに含む、請求項３５に記載のコンピュータプログラム。

【請求項39】

前記物理オブジェクトは、レールジョイントであり、
前記欠陥は、破損したレールジョイントであり、
前記１つ以上の第１の分類は、
ボルト、破損、孔、不連続部のうちの１つ以上を含む、
請求項３５に記載のコンピュータプログラム。

【請求項40】

前記動作は、
前記欠陥検出器モジュールによって、前記１つ以上の機械学習アルゴリズムを使用して前記物理オブジェクトの前記画像から１つ以上の第２の特徴を１つ以上の第２の分類に分類するステップであって、前記１つ以上の第２の特徴を前記１つ以上の第２の分類に分類することは前記１つ以上の第２の特徴を前記物理オブジェクトの１つ以上の構成要素として分類することを含み、前記１つ以上の第２の分類は、レールジョイントバー、レール間の不連続部、及びエンドポストのうちの少なくとも１つを含むステップと、
前記欠陥検出器モジュールによって、前記物理オブジェクトの前記１つ以上の構成要素のトリミングされた画像を生成するために、前記１つ以上の第２の特徴を囲む領域で前記画像をトリミングするステップとをさらに含み、
前記物理オブジェクトの前記画像から前記１つ以上の第１の特徴を１つ以上の第１の分類に分類するステップは、前記物理オブジェクトの前記トリミングされた画像からの前記１つ以上の第１の特徴を１つ以上の第１の分類に分類するステップを含む、
請求項３５に記載のコンピュータプログラム。

【請求項41】

請求項１５～２０、３５～４０のいずれか一項に記載のコンピュータプログラムを記録した、１つ以上のコンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、一般に欠陥の判定、より具体的には、物理オブジェクトの欠陥の判定に関する。

【背景技術】

【0002】

物理オブジェクトは、ビジネスの目的を実行するために様々な産業で使用される。例えば、鉄道車両は、線路上で貨物を移動する。鉄道車両と線路は、いくつかの物理オブジェクトの組み合わせを含む。時間の経過とともに、物理オブジェクトは、摩耗、破損、又はその他の欠陥を有する可能性があり、鉄道車両と線路を継続して安全に運用するためには、欠陥の修理が必要になる場合がある。通常、鉄道の構成要素などの物理オブジェクトは、欠陥を特定するために技術者が手動で検査を行う。

【発明の概要】

【課題を解決するための手段】

【0003】

一実施形態によれば、方法は、欠陥検出器モジュールによって、物理オブジェクトの画像を受信するステップと、欠陥検出器モジュールによって、物理オブジェクトの画像から１つ以上の第１の特徴を１つ以上の機械学習アルゴリズムを使用して１つ以上の第１の分類に分類するステップとを含む。方法はさらに、欠陥検出器モジュールによって、１つ以上の第１の分類を分析するステップと、欠陥検出器モジュールによって、１つ以上の第１の分類を分析するステップに基づいて、物理オブジェクトが欠陥を含むことを判定するステップとを含む。

【0004】

別の実施形態によれば、システムは、１つ以上のプロセッサと、１つ以上のプロセッサによって実行されるとき、１つ以上のプロセッサに欠陥検出器モジュールによって物理オブジェクトの画像を受信するステップ、及び欠陥検出器モジュールによって、物理オブジェクトの画像から１つ以上の第１の特徴を１つ以上の機械学習アルゴリズムを使用して１つ以上の第１の分類に分類するステップを含む動作を実行させる命令を格納するメモリと、を含む。動作はさらに、欠陥検出器モジュールによって１つ以上の第１の分類を分析するステップ、及び欠陥検出器モジュールによって、１つ以上の第１の分類を分析するステップに基づいて、物理オブジェクトが欠陥を含むことを判定するステップをさらに含む。

【0005】

さらに別の実施形態によれば、１つ以上のコンピュータ可読記憶媒体は、プロセッサによって実行されるとき、プロセッサが欠陥検出器モジュールによって物理オブジェクトの画像を受信するステップ、及び欠陥検出器モジュールによって物理オブジェクトの画像から１つ以上の第１の特徴を１つ以上の機械学習アルゴリズムを使用して１つ以上の第１の分類に分類するステップを含む動作を実行させる命令を内蔵する。動作はさらに、欠陥検出器モジュールによって１つ以上の第１の分類を分析するステップ、及び欠陥検出器モジュールによって、１つ以上の第１の分類を分析するステップに基づいて、物理オブジェクトが欠陥を含むことを判定するステップを含む。

【0006】

本開示内容の特定の実施形態の技術的利点には、以下のうちの１つ以上を含み得る。開示された画像撮影システムは、物理オブジェクトの画像を自動で撮影して、手動のデータ収集及び人的労力が排除又は削減され、時間及び費用が節約される。画像撮影システムは、手動検査では識別できない角度から鉄道の構成要素などの物理オブジェクトの画像を撮影することができ、これにより、物理オブジェクトの欠陥を検出する精度が向上し得る。開示された欠陥検出器モジュールは、機械学習アルゴリズムを使用して物理オブジェクトの欠陥を自動で検出することができ、これは、潜在的な欠陥の画像をスキャンしてラベル付けする手作業を排除することができる。本開示で説明されるシステム及び方法は、鉄道、道路、及び水路を含む異なる輸送インフラで一般化され得る。

【0007】

他の技術的利点は、以下の図、説明、及び特許請求の範囲から当業者には容易に明らかになるであろう。さらに、特定の利点が上に列挙されたが、様々な実施形態は、列挙された利点の全てか一部を含む、又は全く含まない場合がある。

【0008】

本開示内容の理解を助けるために、添付の図面と併せて以下の説明を参照する。

【図面の簡単な説明】

【0009】

【図1】物理オブジェクトの欠陥を判定するための例示的なシステムを示す。

【図2】物理オブジェクトの欠陥を判定するための例示的な方法を示す。

【図3】物理オブジェクトの欠陥を判定するための別の例示的な方法を示す。

【図4】例示的な画像撮影システムを示す。

【図5】図４の画像撮影システムによって使用され得る例示的なモジュールを示す。

【図6】特徴をラベルでタグ付けするための例示的な方法を示す。

【図7】本明細書で説明するシステム及び方法によって使用され得る例示的なコンピュータシステムを示す。

【発明を実施するための形態】

【0010】

鉄道の構成要素などの物理オブジェクトは、ビジネスの目的を実行するために様々な産業で使用される。時間の経過とともに、物理オブジェクトが破損したり、欠陥が生じたりする可能性があり、欠陥は、鉄道車両を継続して安全に運用するために、修理が必要な場合がある。一般に、鉄道の構成要素などの物理オブジェクトは、欠陥を特定するために技術者が手動で検査を行う。

【0011】

状態及び欠陥分析アルゴリズムは、１つ以上の従来のコンピュータビジョン技術（例えば、関心領域分析、フィルタリング、閾値、ブロブ技術、エッジ分析、輪郭抽出、ヒストグラム分析など）、及び様々な条件の検出を自動化するための共通の資産及び／又は欠陥ヒューリスティック（ｄｅｆｅｃｔ ｈｅｕｒｉｓｔｉｃｓ）を活用してもよい。このような技術は、非常に具体的で一貫性のある場合に効果的であるが、実際の条件下では脆弱なことが多く、保守、修正、及び強化に多くの時間を必要とし得る。

【0012】

画像の分類及びセグメンテーションタスクのための機械学習アルゴリズムを使用することには、従来の算出方法とは根本的に異なる画像分析手法の方式が含まれる。ピクセルマトリックスでアルゴリズムによるフィルタリング、歪み、グループ化、セグメント化、及び算出を行う代わりに、機械学習アルゴリズム（例えば、ニューラルネットワーク）は、画像又は画像の一部が通過する一連のトレーニングされたネットワークレイヤを利用して画像の内容に対する予測を行う。

【0013】

本開示の実施形態は、視覚的画像を撮影（ｃａｐｔｕｒｅ）及び分析するために深層機械学習を使用する。開示されたシステム及び方法は、移動中の車両（例えば、レール上を移動する車両、レールに沿って移動する車両など）の特定のハードウェア構成からみた物理オブジェクト（例えば、鉄道の構成要素）を認識し、及び継続的に撮影、プール、及び重み付けされた、ラベル付けされたトレーニングデータの量、多様性、及び精度に基づいて視覚的データを解釈する。開示されたシステム及び方法は、撮影された様々な物理オブジェクトのより高い精度及びより高いレベルの分析を得るために、物理オブジェクトの撮影された画像データに対してトレーニングされたモデルを使用することによって解釈を行う。機械学習アルゴリズムは、ハードウェア構成ごとにカスタムトレーニングされおり、様々な物理オブジェクトごとに最適な連続撮影及び分析を実現する。アルゴリズムは、物理オブジェクトの画像から特定の特徴を分類するために使用される。次に、分類を使用して、物理オブジェクトの欠陥を判定する。

【0014】

図１～図７は、物理オブジェクトの欠陥を判定するための例示的なシステム及び方法を示す。図１は、物理オブジェクトの欠陥を判定するための例示的なシステムを示す。図２及び図３は、物理オブジェクトの欠陥を判定する例示的な方法を示す。図４は、例示的な画像撮影システム（ｉｍａｇｅ ｃａｐｔｕｒｉｎｇ ｓｙｓｔｅｍ）を示す。図５は、図４の画像撮影システムによって使用され得る例示的なモジュールを示す。図６は、特徴をラベルでタグ付けするための例示的な方法を示す。図７は、本明細書で説明するシステム及び方法によって使用され得る例示的なコンピュータシステムを示す。

【0015】

図１は、物理オブジェクトの欠陥を判定するための例示的なシステム１００を示す。図１のシステム１００は、ネットワーク１１０、欠陥検出器モジュール（ｄｅｆｅｃｔ ｄｅｔｅｃｔｏｒ ｍｏｄｕｌｅ）１２０、及び画像撮影システム１７０を含む。システム１００又はその一部は、企業、会社（例えば、鉄道会社、運輸会社など）のような任意のエンティティ、又は物理オブジェクトの欠陥を判定できる政府機関（例えば、交通部、公共安全部など）を含んでもよく、エンティティに関連付けられてもよい。システム１００の要素は、ハードウェア、ファームウェア、及びソフトウェアの任意の適切な組み合せを使用して実装され得る。

【0016】

ネットワーク１１０は、システム１００の構成要素間の通信を容易にする任意のタイプのネットワークであり得る。ネットワーク１１０は、欠陥検出器モジュール１２０とシステム１００の画像撮影システム１７０とを接続してもよい。本開示は、ネットワーク１１０が特定の種類のネットワークであることを示しているが、本開示は、任意の適切なネットワークを企図する。ネットワーク１１０の１つ以上の部分は、アドホックネットワーク、イントラネット、エクストラネット、仮想私設通信網（ＶＰＮ）、ローカルエリアネットワーク（ＬＡＮ）、無線ＬＡＮ（ＷＬＡＮ）、広域ネットワーク（ＷＡＮ）、無線ＷＡＮ（ＷＷＡＮ）、大都市圏ネットワーク（ＭＡＮ）、インターネットの一部、公衆交換電話網（ＰＳＴＮ）の一部、携帯電話網、３Ｇネットワーク、４Ｇネットワーク、５Ｇネットワーク、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）セルラ通信網、これらの２つ以上の組み合わせ、又はその他の適切なタイプのネットワークを含み得る。ネットワーク１１０の１つ以上の部分は、１つ以上のアクセス（例えば、モバイルアクセス）、コア、及び／又はエッジネットワークを含み得る。ネットワーク１１０は、プライベートネットワーク、パブリックネットワーク、インターネットを介した接続、モバイルネットワーク、ＷＩ－ＦＩネットワーク、ブルートゥース（登録商標）ネットワークなどの任意の通信ネットワークであってもよい。ネットワーク１１０は、１つ以上のネットワークノードを含み得る。ネットワークノードは、ネットワーク１１０を介してデータを受信、生成、格納、及び／又は送信することができる接続ポイントである。ネットワーク１１０は、クラウドコンピューティング機能を含み得る。システム１００の１つ以上の構成要素は、ネットワーク１１０を介して通信してもよい。例えば、欠陥検出器モジュール１２０は、画像撮影システム１７０からの情報の受信を含んでネットワーク１１０を介して通信してもよい。

【0017】

システム１００の欠陥検出器モジュール１２０は、物理オブジェクトの欠陥１５６を判定するのに使用され得る任意の適切なコンピューティング構成要素を示す。欠陥１５６は、物理オブジェクトの有用性を潜在的に破損させる欠点である。物理オブジェクトは、識別可能な物質の集りである。物理オブジェクトには、道路、鉄道、航空路、水路、運河、パイプライン、及びターミナルの構成要素など輸送インフラの構成要素が含まれてもよい。鉄道の構成要素の例には、ジョイント、転轍機、フロッグ（ｆｒｏｇ）、レール頭部、アンカー、締結装置、ゲージプレート、バラスト、枕木（例えば、コンクリートの枕木及び木の枕木）などが含まれる。

【0018】

欠陥検出器モジュール１２０は、インタフェース１２２、メモリ１２４、及びプロセッサ１２６を含む。欠陥検出器モジュール１２０のインタフェース１２２は、ネットワーク１１０から情報を受信、ネットワーク１１０を介して情報を送信、情報の適切な処理を実行、図１のシステム１００の他の構成要素（例えば、画像撮影システム１７０の構成要素）と通信、又はこれらの任意の組み合せであり得る任意の適切なコンピュータ要素を示す。インタフェース１２２は、ハードウェア、ファームウェア、及びソフトウェアの任意の適切な組み合せを含んで実際の又は仮想の任意のポート又は接続を示し、ＬＡＮ、ＷＡＮ、又は図１のシステム１００がシステム１００の構成要素の間で情報を交換するための他の通信システムを介して通信するためのプロトコル変換及びデータ処理能力を含む。

【0019】

欠陥検出器モジュール１２０のメモリ１２４は、永久的及び／又は一時的に受信及び送信された情報だけでなく、システムソフトウェア、制御ソフトウェア、欠陥検出器モジュール１２０のための他のソフトウェア、及びその他の様々な情報を格納する。メモリ１２４は、プロセッサ１２６による実行のための情報を格納し得る。メモリ１２４は、情報を格納するのに適した揮発性又は不揮発性のローカル又は遠隔装置のいずれか１つ又は組み合せを含む。メモリ１２４は、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、磁気記憶装置、光学記憶装置、又は任意の他の適切な情報記憶装置、又はこれら装置の組み合わせを含み得る。メモリ１２４は、欠陥検出器モジュール１２０の動作で使用するための任意の適切な情報を含み得る。さらに、メモリ１２４は、欠陥検出器モジュール１２０の外部（又は部分的に外部）の構成要素であり得る。メモリ１２４は、メモリ１２４が欠陥検出器モジュール１２０と通信するのに適した任意の場所に配置され得る。欠陥検出器モジュール１２０のメモリ１２４は、画像収集エンジン１３０、分類エンジン１３２、欠陥検出器エンジン１３４、報告エンジン１３６、ラベリングエンジン１３８、及びトレーニングエンジン１４０を格納し得る。別の例として、画像収集エンジン１３０、分類エンジン１３２、欠陥検出器エンジン１３４、報告エンジン１３６、ラベリングエンジン１３８、及びトレーニングエンジン１４０は、メモリ１２４及び／又は欠陥検出器モジュール１２０の外部にあってもよい。

【0020】

欠陥検出器モジュール１２０の画像収集エンジン１３０は、物理オブジェクトの画像１５２を収集するアプリケーションである。画像収集エンジン１３０は、ネットワーク１１０を介して画像撮影システム１７０から１つ以上の物理オブジェクトの１つ以上の画像１５２を受信し得る。画像収集エンジン１３０は、物理オブジェクトが画像撮影システム１７０によって撮影されるときに、リアルタイム又は略リアルタイムで物理オブジェクトの画像１５２を受信し得る。画像収集エンジン１３０は、スケジュール（例えば、毎分、時間、毎週など）に従って、物理オブジェクトの画像１５２を受信し得る。画像収集エンジン１３０は、１つ以上の画像１５２を結合して（例えば、つなぎ合わせて）結合した画像１５２を生成し得る。画像収集エンジン１３０は、物理オブジェクトなどの任意の適切な組み合せによって画像１５２をグループ化することができ、画像撮影システム１７０によって画像１５２が撮影され、画像収集エンジン１３０によって画像１５２が受信された時間、及び／又は画像１５２が撮影された位置１５８（例えば、地理的位置１５８）によって撮影される。

【0021】

欠陥検出器モジュール１２０の分類エンジン１３２は、１つ以上の物理オブジェクトの１つ以上の画像１５２から特徴１５４を１つ以上の分類１５５に分類するアプリケーションである。各特徴１５４は、画像１５２の特徴であり得る。例えば、特徴１５４は、ボルト頭部などの鉄道の構成要素を含んでもよい。特徴１５４は、物理オブジェクト自体又は物理オブジェクトの１つ以上の構成要素を示し得る。例えば、第１の特徴１５４は、物理オブジェクト（例えば、レールジョイント）を示してもよく、１つ以上の第２の特徴１５４は、レールジョイントの構成要素（例えば、ボルト頭部、四角ナット、六角ナット、丸ナット、孔など）を示してもよい。

【0022】

分類エンジン１３２は、１つ以上の機械学習アルゴリズムを適用することによって、画像１５２からのデータを分析する。機械学習アルゴリズムは、１つ以上のニューラルネットワーク（例えば、ディープニューラルネットワーク）、１つ以上のディープラーニングアルゴリズム、１つ以上の畳み込みニューラルネットワーク（ＣＮＮ）、人工知能（ＡＩ）、その他の適切なアプリケーション、又は上記の任意の適切な組み合せと関連し得る。各機械学習アルゴリズムは、１つ以上の画像１５２から１つ以上の特徴１５４を認識するために、ラベル付けされた画像データに対してトレーニングされてもよい。分類エンジン１３２によって使用される１つ以上の機械学習アルゴリズムは、画像撮影システム１７０の１つ以上の構成要素（例えば、１つ以上のカメラ）によって見られる特定の物理オブジェクト（例えば、鉄道の構成要素）を認識するようにトレーニングされる。例えば、１つ以上のＣＮＮ１６６は、画像１５２の内容についての予測を判定するために、画像１５２又は画像１５２の一部が通過する、一連の畳み込み、プーリング、縮小、及び完全に接続された層を使用することができる。１つ以上の機械学習アルゴリズムは、確実性のレベル内の１つ以上の画像１５２の１つ以上の特徴１５４を説明する１つ以上の分類１５５を出力する。確実性のレベルは、分類１５５の数、所望の精度、各分類１５５のサンプルトレーニングデータの可用性などによって変わり得る。確実性のレベルは確率として示すことができる。

【0023】

１つ以上の特徴１５４を識別するために、１つ以上の分類１５５が使用される。例えば、第１の分類１５５は、レールジョイントの第１の特徴１５４を示すことができ、１つ以上の第２の分類１５５は、ボルト頭部、四角ナット、六角ナット、丸ナット、孔などのレールジョイントに関する１つ以上の第２の特徴１５４を示すことができる。分類１５５は、画像１５２内の特徴１５４の位置を含み得る。例えば、「ボルト頭部」の分類１５５は、物理オブジェクト（例えば、レールジョイント）の一部であってもよく、画像１５２内のボルト頭部の位置を含み得る。

【0024】

１つ以上の分類１５５は、１つ以上の欠陥１５６を含み得る。欠陥１５６は、欠点又は欠乏である物理オブジェクトの任意の属性を含む。欠陥１５５は、亀裂、破損、孔、不一致、欠け、摩耗などのような欠点を含み得る。例えば、レールジョイントの欠陥１５５は、ボルトの欠落、破損、亀裂、枕木の状態（例えば、枕木の劣化）、レールの不一致、レール端部の割れ目、レール端部のつぶれ、バラストの状態（例えば、バラストの劣化）、適格サイズのジョイントバーなどを含み得る。別の例として、鉄道の転轍機の欠陥１５６は、つぶれたポイント、破損したポイント、欠落した締結装置（例えば、基本レール）、曲がった転轍ロッド、転轍機のポイントでのレール動作（ｒａｉｌ ｒｕｎ）、不適切な枕木間隔、不適切なロッド間隔、不適切なフランジウェー幅などを含み得る。鉄道のフロッグの欠陥１５６は、つぶれたポイント、破損したポイント、トレッド摩耗、破損したゲージプレート、曲がったゲージプレート、欠落した締結装置（例えば、欠落したフロッグボルト）、欠落したプレート、破損したガードレールなどを含み得る。

【0025】

レール頭部の欠陥１５６は、レール波状摩滅、レール剥離、レールシェリング、破損したレールなどを含み得る。鉄道アンカー及び／又は締結装置の欠陥１５６は、アンカー及び／又は締結装置の欠落、不適切なアンカーパターン、クリップの欠落、スパイクの欠落などを含み得る。鉄道ゲージプレートの欠陥１５６は、曲がったゲージプレート、破損したゲージプレートなどを含み得る。鉄道バラストの欠陥１５６は、不十分なバラスト、汚れたバラスト、腐ったバラストなどを含み得る。鉄道のコンクリートの枕木の欠陥１５６は、破損した枕木、ひびが入った枕木、劣化した枕木、枕木間の不十分な距離などを含み得る。鉄道の木の枕木の欠陥１５６は、プレートカット（ｐｌａｔｅ ｃｕｔ）、ホイールカット（ｗｈｅｅｌ ｃｕｔ）、枕木間の不十分な距離、腐った枕木、中空の枕木などを含み得る。他の欠陥１５６は、撮影される物理オブジェクトに基づいて識別又は定義され得る。

【0026】

欠陥検出器モジュール１２０の欠陥検出器エンジン１３４は、１つ以上の機械学習アルゴリズム（例えば、ＣＮＮ１６６）の出力分析に基づいて物理オブジェクトが１つ以上の欠陥１５６を含むか否かを判定するアプリケーションである。例えば、欠陥検出器エンジン１３４は、１つ以上の機械学習アルゴリズムによって出力された１つ以上の分類１５５を分析し得る。欠陥検出器エンジン１３４は、１つ以上のアルゴリズムを検出結果（例えば、分類１５５）に適用して、１つ以上の欠陥１５６を判定（例えば、光学的に識別）し得る。

【0027】

欠陥検出器エンジン１３４は、１つ以上の欠陥１５６を識別するために１つ以上の分類１５５を分析し得る。例えば、欠陥検出器エンジン１３４は、物理オブジェクトに関連する分類１５５が欠陥１５６（例えば、破損）である場合、物理オブジェクト（例えば、レールジョイント）が欠陥１５６を含むと判定し得る。欠陥検出器エンジン１３４は、欠陥１５６に対する追加情報を生成するために、物理オブジェクトの他の特徴１５４に関する物理オブジェクト上の欠陥１５６の位置１５８を判定し得る。例えば、欠陥検出器エンジン１３４は、「破損」及び「ジョイントバー」の分類１５５を含む１つ以上の機械学習アルゴリズムの結果に基づいて、ジョイントバーの破損を識別し得る。欠陥検出器エンジン１３４は、ジョイントバーが「ボルト」の分類１５５に基づくボルトを含むと判定し得る。欠陥検出器エンジン１３４は、ボルトに対する破損の位置１５８を判定し得る。欠陥検出器エンジン１３４は、その相対位置１５８に基づいて、破損に対する追加情報を生成し得る。例えば、欠陥検出器エンジン１３４は、破損が２つの中間ボルトの間にある場合、破損を「中央破損欠陥」として分類してもよい。別の例として、欠陥検出器エンジン１３４は、破損が２つの中間ボルトの外部にある場合、破損を「１／４破損欠陥」として分類してもよい。

【0028】

欠陥検出器エンジン１３４は、物理オブジェクトの欠陥１５６の地理的位置１５８を判定し得る。欠陥検出器エンジン１３４は、画像収集エンジン１３０から受信した情報を使用して地理的位置１５８を判定し得る。画像収集エンジン１３０は、１つ以上の画像１５２と関連付けられた１つ以上の地理的位置１５８を示す情報（例えば、緯度及び経度）を保存（ｃａｐｔｕｒｅ）してこの情報を欠陥検出器エンジン１３４に送信してもよい。欠陥検出器エンジン１３４は、画像収集エンジン１３０から受信した情報を任意の適切なフォーマットに変換してもよい。例えば、欠陥検出器エンジン１３４は、画像収集エンジン１３０から受信した緯度及び経度を線路タイプ、番線、ラインセグメント、マイルポストの情報などに変換してもよい。欠陥検出器エンジン１３４は、１つ以上のアルゴリズム（例えば、最も近い点のアルゴリズム）を使用して、地図（例えば、鉄道線路の既存地図）上の地理的位置１５８を特定し得る。

【0029】

特定の実施形態では、欠陥検出器エンジン１３４は、レールの画像１５２内の溶接（例えば、テルミット溶接）を検出し、溶接位置を使用してマイルポストを識別し得る。それぞれの画像１５２は、幅が「ｎ」フィート（例えば、５フィート）である「ｎ」フィート（例えば、５フィート）のレールを意味してもよく、ここでｎは、任意の適切な数を示す。欠陥検出器エンジン１３４は、マイルポストに関連する物理オブジェクトの画像１５２から映像を判定することによって、物理オブジェクトの地理的位置１５８を判定してもよい。欠陥検出器エンジン１３４は、マイルポストの上昇方向及び／又は下降方向における物理オブジェクトからの映像によって、物理オブジェクトの地理的位置１５８を判定し得る。例えば、欠陥検出器エンジン１３４は、物理オブジェクトがマイルポスト１００を過ぎた特定のフィート数（例えば、１０００フィート）であると判定することができ、これは「ＭＰ １００．０＋１０００フィート」で表せ得る（例えば、出力）。別の例として、欠陥検出器エンジン１３４は、物理オブジェクトがマイルポスト１３７の前に特定のフィート数（例えば、１０００フィート）であると判定することができ、これは「ＭＰ １００．０－１０００フィート」で表され得る（例えば、出力）。特定の実施形態では、欠陥検出器エンジン１３４は、地理的位置１５８を全地球測位システム（ＧＰＳ）座標として表すことができる。

【0030】

欠陥検出器エンジン１３４は、物理オブジェクトに対する欠陥１５６の位置１５８に少なくとも部分的に基づいて地理的位置１５８を判定し得る。例えば、欠陥検出器エンジン１３４は、レールジョイントに対する破損の位置１５８に部分的に基づいてレールジョイントの破損の地理的位置１５８を判定してもよい。欠陥検出器エンジン１３４は、システム１００（例えば、画像撮影システム１７０）内に位置する１つ以上のセンサ（例えば、位置センサ）に少なくとも部分的に基づいて地理的位置１５８を判定してもよい。地理的位置１５８は、座標（例えば、経度及び緯度）によって定義され得る。

【0031】

欠陥検出器エンジン１３４はまた、物理オブジェクトの識別マークを判定し得る。物理オブジェクトの識別マークは、物理オブジェクトを識別するのに適した任意の文字（例えば、数字、文字など）を含んでもよい。物理オブジェクトの識別マークは、物理オブジェクトの所有者及び／又は製造業者（例えば、鉄道製造業者）を識別し得る。物理オブジェクトの識別マークは、物理オブジェクトの出所を追跡するのに使用されてもよい。例えば、識別マークには、物理オブジェクトを特定の製造バッチまで追跡できるバッチコードが含まれてもよい。欠陥検出器エンジン１３４は、物理オブジェクトの地理的位置１５８に基づいて及び／又は物理オブジェクトの１つ以上の画像１５２を分析することによって物理オブジェクトの識別マークを判定してもよい。

【0032】

欠陥検出器モジュール１２０の報告エンジン１３６は、１つ以上の報告書１６０を生成するアプリケーションである。報告エンジン１３６は、欠陥検出器エンジン１３４が物理オブジェクトに欠陥１５６が含まれないと判定した場合、物理オブジェクトに欠陥がないことを示す報告書１６０を生成し得る。報告エンジン１３６は、欠陥検出器エンジン１３４が物理オブジェクトに欠陥１５６が含まれていると判断した場合、物理オブジェクトに欠陥があることを示す報告書１６０を生成し得る。報告書１６０は、欠陥１５６を伝達するための任意の適切な形態（例えば、書面及び／又は口頭）であってもよい。報告書１６０は、物理オブジェクト、特徴１５４、分類１５５、位置１５８、ラベル１６２などに関連する情報を含み得る。例えば、報告書１６０は、図６に示されるラベル１６２、位置１５８（例えば、地理的位置１５８）及び／又は識別マークを含んでもよい。報告書１６０は、１つ以上の図、表、リスト、グラフ、及び／又は情報を伝達するための他の任意の適切なフォーマットを含んでもよい。報告エンジン１３６は、報告書１６０をシステム１００の１つ以上の構成要素（例えば、画像撮影システム１７０）及び／又はシステム１００のユーザ（例えば、管理者、技術者など）に伝達してもよい。

【0033】

欠陥検出器モジュール１２０のラベリングエンジン１３８は、１つ以上のラベル１６２を生成するアプリケーションである。ラベル１６２は、特徴１５４、分類１５５、欠陥１５６、及び／又は位置１５８に関連する視覚情報を提供する。ラベリングエンジン１３８は、ラベル１６２を有する１つ以上の物理オブジェクトの特徴１５４をタグ付けする。それぞれのラベル１６２は、物理オブジェクトに関連する情報を含み得る。それぞれのラベル１６２は、特徴１５４、分類１５５、位置１５８などに関する特徴１５４、確率、サイズ（例えば、直径、面積など）を含み得る。例えば、ラベル１６２は、「ボルト頭部」の分類１５５、及び特徴１５４がボルト頭部として正確に識別される確率０．７７（即ち、７７％）を説明するために、特徴１５４を「ボルト頭部（０．７７）」として示してもよい。

【0034】

ラベリングエンジン１３８は、物理オブジェクト（例えば、レールジョイント）の特徴１５４を示すラベル１６２の１つ以上の部分を物理オブジェクトの図に挿入し得る。ラベリングエンジン１３８は、関連する特徴１５４が物理オブジェクトで発生する位置１５８の図上のラベル１６２の１つ以上の部分を挿入し得る。例えば、ボルト頭部の特徴１５４の場合、ラベリングエンジン１３８は、ボルト頭部が物理オブジェクト上に配置される位置１５８で物理オブジェクトの図上にラベル１６２の１つ以上の部分を挿入してもよい。ラベル１６２は、任意の適切な形状又は文字で特徴１５４を示してもよい。例えば、ボルト頭部の特徴１５４を示すラベル１６２は、正方形又は長方形の形状を有する境界ボックスであってもよい。欠陥検出器エンジン１３４は、以下の図６に説明されるように、欠陥１５６をさらに分類するためにラベル１６２を使用してもよい。

【0035】

欠陥検出器モジュール１２０のトレーニングエンジン１４０は、１つ以上の機械学習アルゴリズム（例えば、ＣＮＮ１６６）をトレーニングするアプリケーションである。トレーニングエンジン１４０は、トレーニングデータ（例えば、トレーニング画像１６４）を使用して機械学習アルゴリズムをトレーニングし、それによって、物理オブジェクトを正確に認識するように重みを調整し得る。機械学習アルゴリズムは、各分類１５５に最高の精度を提供するために、画像撮影システム１７０の特定のカメラアングルのそれぞれに対してトレーニングされ得る。トレーニングエンジン１４０は、各分類１５５を示すサンプルデータ（例えば、トレーニング画像１６４）を収集することによって、１つ以上の機械学習アルゴリズムをトレーニングし得る。トレーニングエンジン１４０は、１つ以上の機械学習アルゴリズムをトレーニングして各分類１５５を認識するように、サンプルデータにラベル１６２でラベル付け、及びラベル付けされたデータを使用してもよい。トレーニングエンジン１４０は、各機械学習アルゴリズムの精度を検査するために、ラベル付けされた画像のサブセットを使用してもよい。

【0036】

トレーニングエンジン１４０は、システム１００の管理者から初期トレーニングデータを受信し得る。１つ以上の機械学習アルゴリズムによって使用されるトレーニングデータ（例えば、トレーニング画像１６４）の量及び多様性は、分類１５５の数、所望の精度、及び各分類１５５のサンプルデータの可用性によって異なる。

【0037】

メモリ１２４は、データベース１５０を格納し得る。データベース１５０は、欠陥検出器モジュール１２０に関する特定のタイプの情報を格納し得る。例えば、データベース１５０は、画像１５２、特徴１５４、分類１５５、欠陥１５６、位置１５８、報告書１６０、ラベル１６２、トレーニング画像１６４、及び機械学習アルゴリズム（例えば、ＣＮＮ１６６）を格納してもよい。データベース１５０は、情報を格納するのに適した揮発性又は不揮発性ローカル又は遠隔装置のうちのいずれか１つ又は組み合せであってもよい。データベース１５０は、ＲＡＭ、ＲＯＭ、磁気記憶装置、光学記憶装置、又は他の任意の適切な情報記憶装置、又はこれらの装置の組み合わせを含んでもよい。データベース１５０は、欠陥検出器モジュール１２０の外部の構成要素であってもよい。データベース１５０は、欠陥検出器モジュール１２０の情報を格納するためにデータベース１５０に適した任意の位置に配置してもよい。例えば、データベース１５０は、クラウド環境に配置されてもよい。

【0038】

欠陥検出器モジュール１２０のプロセッサ１２６は、インタフェース１２２及びメモリ１２４から受信する、又はプロセッサ１２６によってアクセスされる情報を処理することによって、欠陥検出器モジュール１２０の特定の動作を制御する。プロセッサ１２６は、インタフェース１２２及びメモリ１２４に通信的に結合される。プロセッサ１２６は、情報を制御及び処理するように動作する任意のハードウェア及び／又はソフトウェアを含み得る。プロセッサ１２６は、プログラミング可能なロジックデバイス、マイクロコントローラ、マイクロプロセッサ、任意の適切な処理装置、又はこれらの任意の適切な組み合せであってもよい。さらに、プロセッサ１２６は、欠陥検出器モジュール１２０の外部の構成要素であってもよい。プロセッサ１２６は、プロセッサ１２６が欠陥検出器モジュール１２０と通信するのに適した任意の位置に配置されてもよい。欠陥検出器モジュール１２０のプロセッサ１２６は、画像収集エンジン１３０、分類エンジン１３２、欠陥検出器エンジン１３４、報告エンジン１３６、ラベリングエンジン１３８、及びトレーニングエンジン１４０の動作を制御する。

【0039】

欠陥検出器モジュール１２０の１つ以上の構成要素は、クラウドで動作し得る。クラウドは、ネットワーク１１０を介して欠陥検出器モジュール１２０に異なるサービス（例えば、アプリケーション、サーバ、及びストレージ）を提供し得る。クラウドは、ハードウェア、ファームウェア、及びソフトウェアの適切な組み合せを使用して実装され得る。例えば、クラウドは、図７のコンピュータシステムの１つ以上の構成要素を使用して実装されてもよい。

【0040】

システム１００の画像撮影システム１７０は、物理オブジェクトの画像１５２を撮影するためのシステムを示す。画像撮影システムは、サブフレーム１７２、ビーム１７４、１つ以上のモジュール１７６、照明システム１７８、暖房、換気、及び空調（ＨＶＡＣ）システム１８０、データシステム１８２、及び１つ以上のコントローラ１８４を含む。画像撮影システム１８０の構成要素は、車両（例えば、機関車）に取り付け（例えば、物理的に取り付け）られる。画像撮影システム１７０は、車両が物理オブジェクトに対して移動する間に、物理オブジェクトの１つ以上の画像１５２を撮影し得る。例えば、画像撮影システム１７０は、機関車に取り付けられ、画像撮影システム１７０は、機関車が鉄道線路に沿って移動する間にレールジョイントの画像１５２を撮影してもよい。画像撮影システム１７０は、停止した物理オブジェクトの画像１５２を撮影する間、画像撮影システム１７０が動いていることを除いて、フラットベッドドキュメントスキャナ（ｆｌａｔｂｅｄ ｄｏｃｕｍｅｎｔ ｓｃａｎｎｅｒ）と同様に動作し得る。画像撮影システム１７０は、以下の図４でより詳細に説明される。

【0041】

図１は、ネットワーク１１０、欠陥検出器モジュール１２０、インタフェース１２２、メモリ１２４、プロセッサ１２６、画像収集エンジン１３０、分類エンジン１３２、欠陥検出器エンジン１３４、報告エンジン１３６、ラベリングエンジン１３８、トレーニングエンジン１４０、データベース１５０、及び画像撮影システム１７０の特定の配置を示しているが、本開示は、ネットワーク１１０、欠陥検出器モジュール１２０、インタフェース１２２、メモリ１２４、プロセッサ１２６、画像収集エンジン１３０、分類エンジン１３２、欠陥検出器エンジン１３４、報告エンジン１３６、ラベリングエンジン１３８、トレーニングエンジン１４０、データベース１５０、及び画像撮影システム１７０の任意の適切な配置を企図する。ネットワーク１１０、欠陥検出器モジュール１２０、インタフェース１２２、メモリ１２４、プロセッサ１２６、画像収集エンジン１３０、分類エンジン１３２、欠陥検出器エンジン１３４、報告エンジン１３６、ラベリングエンジン１３８、トレーニングエンジン１４０、データベース１５０、及び画像撮影システム１７０は、物理的又は論理的に互いに全体的又は部分的に同じ場所に配置され得る。

【0042】

図１は、特定の数のネットワーク１１０、欠陥検出器モジュール１２０、インタフェース１２２、メモリ１２４、プロセッサ１２６、画像収集エンジン１３０、分類エンジン１３２、欠陥検出器エンジン１３４、報告エンジン１３６、ラベリングエンジン１３８、トレーニングエンジン１４０、データベース１５０、及び画像撮影システム１７０を示しているが、本開示は、ネットワーク１１０、欠陥検出器モジュール１２０、インタフェース１２２、メモリ１２４、プロセッサ１２６、画像収集エンジン１３０、分類エンジン１３２、欠陥検出器エンジン１３４、報告エンジン１３６、ラベリングエンジン１３８、トレーニングエンジン１４０、データベース１５０、及び画像撮影システム１７０の任意の適切な配置を企図する。欠陥検出器モジュール１２０及び／又は画像撮影システム１７０の１つ以上の構成要素は、図７のコンピュータシステムの１つ以上の構成要素を使用して実装され得る。

【0043】

図１は、物理オブジェクトで欠陥１５６を判定するためのシステム１００を説明しているが、システム１００の１つ以上の構成要素は、他の実装に適用されてもよい。例えば、欠陥検出器モジュール１２０及び／又は画像撮影システム１７０の１つ以上の構成要素は、資産の識別（ｓｅｔ ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）及び／又は目録（ｉｎｖｅｎｔｏｒｙ）のために使用されてもよい。例えば、欠陥検出器モジュール１２０の分類エンジン１３２は、物理オブジェクト（例えば、レールジョイントバー、転轍機、クロッシング、フロッグなど）を識別して、識別された物理オブジェクトの目録を記録するのに使用されてもよい。

【0044】

作動時、欠陥検出器モジュール１２０の画像収集エンジン１３０は、画像撮影システム１７０から物理オブジェクト（例えば、レールジョイント）の画像１５２を受信する。欠陥検出器モジュール１２０の分類エンジン１３２は、１つ以上の機械学習アルゴリズム（例えば、ＣＮＮ１６６）を使用して、物理オブジェクトの画像１５２からの特徴１５４（例えば、ボルト、破損、不連続部、及び孔）を分類（例えば、ボルト、破損、不連続部、及び孔）に分類する。欠陥検出器モジュール１２０の欠陥検出器エンジン１３４は、分類１５５を分析し、分析に基づいて物理オブジェクトが欠陥１５６（例えば、破損）を含むと判定する。欠陥検出器エンジン１３４は、画像１５２を使用して物理オブジェクトの他の特徴１５４に対する欠陥１５６の位置１５８を判定する。欠陥検出器エンジン１３４は、物理オブジェクトの他の特徴１５４に対する欠陥１５６の位置１５８に少なくとも部分的に基づいて、物理オブジェクトの欠陥１５６の地理的位置１５８を判定する。報告エンジン１３６は、物理オブジェクトが欠陥１５６を含むことを示す報告書１６０を生成する。報告書１６０には、欠陥１５６の地理的位置１５８が含まれる。ラベリングエンジン１３８は、１つ以上のラベル１６２で画像１５２の１つ以上の第１の特徴１５４にラベル付けする。ラベル１６２は、物理オブジェクトの欠陥１５６（例えば、破損）を示すラベル１６２を含む。

【0045】

このように、図１の手動検査の必要性を削減又は排除するシステム１００は、物理オブジェクトの画像１５２を撮影し、画像１５２を分析し、１つ以上の機械学習アルゴリズムを使用して画像１５２から特徴１５４を分類し、及び分類１５５に基づいて欠陥１５６を判定することによって物理オブジェクトの欠陥１５６を判定する。

【0046】

図２は、物理オブジェクトの欠陥を判定するための例示的な方法２００を示す。方法２００は、ステップ２１０で開始される。ステップ２２０で、欠陥検出器モジュール（例えば、図１の欠陥検出器モジュール１２０）は、画像撮影システム（例えば、図１の画像撮影システム１７０）から物理オブジェクトの画像（例えば、図１の画像１５２）を受信する。例えば、欠陥検出器モジュールの画像収集エンジン（例えば、図１の画像収集エンジン１３０）は、画像撮影システムからレールジョイントの画像を受信してもよい。画像撮影システムは、構成要素（例えば、機関車）に取り付けられてもよく、画像撮影システムは、構成要素が物理オブジェクトに対して動く間に画像を撮影してもよい。

【0047】

ステップ２３０で、欠陥検出器モジュールは、１つ以上の機械学習アルゴリズム（例えば、図１のＣＮＮ１６６）を使用して、画像から１つ以上の特徴（例えば、図１の特徴１５４）を１つ以上の分類（例えば、図１の分類１５５）に分類する。例えば、欠陥検出器モジュールの分類エンジン（例えば、分類エンジン１３２）は、四角ナット、ボルト頭部、破損、孔、不連続部、及びバー（ｂａｒ）などの特徴を、四角ナット、ボルト頭部、破損、孔、不連続部、及びバーのそれぞれを含む分類に分類するために１つ以上のＣＮＮを使用してもよい。四角ナットとボルト頭部との間の視覚的区分は、ボルトの物理的表現に等しいため、１つ以上のアルゴリズムで四角ナットとボルト頭部の分類を単一のボルト分類に論理的に減らしてもよい。

【0048】

ステップ２４０で、欠陥検出器モジュールは、１つ以上の分類を分析する。欠陥検出器モジュールの欠陥検出器エンジン（例えば、図１の欠陥検出器エンジン１３４）は、物理オブジェクトにおける欠陥（例えば、図１の欠陥１５６）の存在を識別するために、１つ以上の分類を分析してもよい。ステップ２５０にて、欠陥検出器モジュールは、分類に基づいて物理オブジェクトが欠陥であるか否かを判定する。欠陥検出器エンジンは、１つ以上の分類が欠陥（例えば、破損）を含む場合、物理オブジェクトに欠陥があるか否かを判定してもよい。

【0049】

欠陥検出器モジュールが分類に基づいて物理オブジェクトに欠陥がないと判定した場合、方法２００は、ステップ２５０からステップ２６０に進み、ここで報告エンジン（例えば、図１の報告エンジン１３６）は、物理オブジェクトに欠陥がないことを示す報告書を生成する。次に、方法２００はステップ２８０に移動し、そこで方法２００は終了する。欠陥検出器モジュールが分類に基づいて物理オブジェクトに欠陥があると判定した場合、方法２００は、ステップ２５０からステップ２７０に進み、そこで報告エンジンは、物理オブジェクトに欠陥があることを示す報告書を生成する。次に、方法２００はステップ２８０に移動し、そこで方法２００は終了する。

【0050】

図２に示される方法２００に対して、修正、追加、又は省略を行うことができる。方法２００は、より多くの、より少ない、又は他のステップを含み得る。例えば、方法２００は、画像内の特徴を正確に認識して分類するための欠陥検出器モジュールのトレーニングエンジン（例えば、図１のトレーニングエンジン１４０）、１つ以上のニューラルネットワーク、及び／又はアルゴリズム（例えば、ＣＮＮ）によるトレーニングを含んでもよい。別の例として、方法２００は、欠陥検出器モジュールのラベリングエンジン（例えば、図１のラベリングエンジン１３８）によって、１つ以上の特徴を示す１つ以上のラベル（例えば、図１のラベル１６２）を生成するステップを含んでもよい。ステップは、並行して、又は任意の適切な順序で実行されてもよい。方法２００のステップを完了する特定の構成要素として論じられているが、任意の適切な構成要素は、方法２００の任意のステップを実行してもよい。

【0051】

図３は、物理オブジェクトの欠陥を判定するための例示的な方法３００を示す。方法３００は、ステップ３０５で開始される。ステップ３１０において、欠陥検出器モジュール（例えば、図１の欠陥検出器モジュール１２０）の画像収集エンジン（例えば、図１の画像収集エンジン１３０）は、画像撮影システム（例えば、図１の画像撮影システム１７０）からの物理オブジェクトの画像（例えば、図１の画像１５２）を受信する。欠陥検出器モジュールの画像収集エンジンは、画像内のレールジョイントの存在を検出し得る。

【0052】

ステップ３１５で、欠陥検出器モジュールは、画像からの第１の特徴（例えば、図１の特徴１５４）を第１の分類（例えば、図１の分類１５５）に分類する。例えば、１つ以上のＣＮＮは、「バー」、「不連続部」、及び「端柱（ｅｎｄ ｐｏｓｔ）」などの分類を検出するようにトレーニングされてもよく、欠陥検出器モジュールの分類エンジン（例えば、図１の分類エンジン１３２）は、１つ以上のＣＮＮを使用してバーの第１の特徴を「バー」の分類に分類してもよい。ステップ３２０にて、欠陥検出器モジュールは、画像を第１の特徴を囲んだ領域でトリミングする。例えば、分類エンジンは、レールジョイントのバーを囲む領域で画像をトリミングしてもよい。

【0053】

ステップ３２５にて、欠陥検出器モジュールは、１つ以上のＣＮＮを使用して、画像から１つ以上の第２の特徴を１つ以上の第２の分類に分類する。例えば、１つ以上のＣＮＮが、「ボルト頭部」、「四角ナット」、「六角ナット」、「丸ナット」、「孔」、及び「破損」などの第２の分類を検出するようにトレーニングしてもよく、欠陥検出器モジュールの分類エンジンは、１つ以上のＣＮＮを使用して、破損の第２の特徴を「破損」の分類に分類してもよい。

【0054】

ステップ３３０にて、欠陥検出器モジュールは、１つ以上の第２の分類を分析する。ステップ３３５にて、欠陥検出器モジュールは、１つ以上の第２の分類を分析することに基づいて、画像が欠陥（例えば、図１の欠陥１５６）を含むか否かを判定する。例えば、欠陥検出器モジュールの欠陥検出器エンジン（例えば、図１の欠陥検出器エンジン１３４）は、１つ以上の第２の分類が欠陥である場合、物理オブジェクトの画像に欠陥（例えば、図１の欠陥１５６）が含まれると判定してもよい。

【0055】

欠陥検出器モジュールが１つ以上の第２の分類に基づいて画像に欠陥が含まれていないと判定した場合、方法３００は、ステップ３３５からステップ３４５に進み、ここで報告エンジン（例えば、図１の報告エンジン１３６）は、物理オブジェクトに欠陥がないことを示す報告書を生成する。次に、方法３００は、ステップ３４５からステップ３６５に移動し、ここで方法３００は終了する。

【0056】

欠陥検出器モジュールが１つ以上の第２の分類に基づいて画像に欠陥が含まれていると判定した場合、方法３００は、ステップ３３５からステップ３４０に進む。ステップ３４０で、欠陥検出器モジュールは、欠陥が物理オブジェクトの一部であるか否かを判定する。例えば、欠陥検出器エンジンは、欠陥の位置が画像の物理オブジェクトの一部である場合、物理オブジェクトが欠陥を含むと判定し得る。別の例として、欠陥検出器エンジンは、欠陥の位置が画像の物理オブジェクトの外側にある場合（例えば、同じ画像の異なる物理オブジェクトの一部）、物理オブジェクトが欠陥を含まないと判定し得る。欠陥検出器モジュールが、欠陥が物理オブジェクトの一部ではないと判定した場合、方法３００は、ステップ３４０からステップ３４５に進み、そこで、報告エンジンは、物理オブジェクトに欠陥がないことを示す報告書を生成する。次に、方法３００は、ステップ３４５からステップ３６５に移動し、ここで方法３００は終了する。

【0057】

欠陥検出器モジュールが、欠陥が物理オブジェクトの一部であると判定した場合、方法３００は、ステップ３４０からステップ３５０に進み、ここで、欠陥検出器モジュールは、トリミングされた画像内の欠陥の位置を判定する。ステップ３５５で、欠陥検出器モジュールは、画像内の欠陥の位置及び画像撮影システム（例えば、図１の画像撮影システム１７０）から取得されたセンサ情報を使用して、物理オブジェクト欠陥の地理的位置（例えば、ＧＰＳ位置）を判定する。次に、方法３００はステップ３６０に進み、報告エンジンが物理オブジェクトに欠陥があることを示す報告書を生成する。報告書は、物理オブジェクトの欠陥の地理的位置を示す場合もある。次に、方法３００は、ステップ３６０からステップ３６５に移動し、ここで方法３００は終了する。

【0058】

図３に示される方法３００に対して、修正、追加、又は省略を行うことができる。方法３００は、より多くの、より少ない、又は他のステップを含み得る。例えば、方法３００は、物理オブジェクト（例えば、レールジョイントバー）の欠陥（例えば、破損）を、物理オブジェクトの他の特徴（例えば、ボルト、孔、及び不連続部）に関する欠陥の位置に基づくより具体的な欠陥（例えば、中央破損ジョイントバー又は１／４破損ジョイントバー）に分類するステップをさらに含んでもよい。ステップは、並行して、又は任意の適切な順序で実行することができる。方法３００のステップを完了する特定の構成要素として論じられているが、任意の適切な構成要素は、方法３００の任意のステップを実行してもよい。

【0059】

図４は、例示的な画像撮影システム１７０を示す。画像撮影システム１７０は、物理オブジェクトの画像（例えば、図１の画像１５２）を撮影し、画像を欠陥検出器モジュール（例えば、図１の欠陥検出器モジュール１２０）に伝達する。画像撮影システム１７０又はその一部は、企業、会社（例えば、鉄道会社、運輸会社など）のような任意のエンティティ、又は画像を撮影する政府機関（例えば、交通部、公共安全部など）を含んでもよく、エンティティと関連付けられてもよい。システム１００の要素は、ハードウェア、ファームウェア、及びソフトウェアの任意の適切な組み合せを使用して実装され得る。

【0060】

図４の画像撮影システム１７０は、車両４１０、回転位置エンコーダ４２０、サブフレーム１７２、及びビーム１７４を含む。車両４１０は、ビーム１７４が接続され得る任意の機械である。車両４１０は、エンジン及び／又は車輪を有し得る。車両４１０は、自動車、機関車、トラック、バス、航空機、又は移動に適した他の任意の機械であり得る。車両４１０は、ビーム１７４の１つ以上の構成要素（例えば、センサ、カメラなど）が画像の撮影を許容する任意の速度で作動してもよい。例えば、車両４１０は、時速７０マイルを走行する鉄道車両であってもよい。

【0061】

画像撮影システム１７０の回転位置エンコーダ４２０は、車軸回転を測定するために使用されるホイールエンコーダ又は他のタイミング装置である。回転位置エンコーダ４２０は、車軸が回転する回数を測定し得る。回転位置エンコーダ４２０は、車両４１０の軸に取り付けられ得る。回転位置エンコーダ４２０は、画像撮影システム１７０の１つ以上の構成要素に物理的に及び／又は論理的に接続され得る。例えば、回転位置エンコーダ４２０は、モジュール１７６の１つ以上のカメラ及び／又はセンサに物理的に及び／又は論理的に接続されてもよい。別の例として、回転位置エンコーダ４２０は、コントローラ１８４に物理的に及び／又は論理的に接続されてもよい。

【0062】

回転位置エンコーダ４２０は、車両４１０の移動速度に関係なく、カメラが同じ遠近及び比率の画像を確実に撮影するようにモジュール１７６のカメラと通信してもよい。例えば、回転位置エンコーダ４２０は、ビーム１７４の複数のカメラと同期して、全てのカメラが同時に画像を確実に撮影するようにしてもよい。別の例として、回転位置エンコーダ４２０は、第１の速度（例えば、時速７マイル）で車両４１０と共に移動するカメラが、第２の速度（例えば、時速７０マイル）で車両４１０と共に移動するカメラと同じ遠近及び比率である画像を確実に撮影するようにビーム１７４のカメラと同期してもよい。

【0063】

画像撮影システム１７０のサブフレーム１７２は、車両４１０をビーム１７４に接続する中間構造である。サブフレーム１７２は、複数の位置で車両４１０と係合する。サブフレーム１７２は、１つ以上のボルト４３０、溶接部、及び／又は任意の他の適切な結合を用いて車両４１０及び／又はビーム１７４に接続し得る。サブフレーム１７２のスロット４４０は、ビーム１７４のレベル及び／又は高さの調整を提供する。スロット４４０は、垂直及び／又は水平であり得る。サブフレーム１７２の垂直に配向したスロット４４０は、ビーム１７４の高さ調整を提供する。サブフレーム１７４は、車両４１０の前方端部、車両４１０の後方端部、車両４１０の側面、又は、車両４１０をビーム１７４に接続するための他の任意の適切な場所に接続され得る。サブフレーム１７２は、金属（例えば、鋼鉄又はアルミニウム）、プラスチック、又は車両４１０とビーム１７４を接続するのに適した他の任意の材料で製造されてもよい。特定の実施形態では、サブフレーム１７２は、ビーム１７４が車両４１０に直接取り付けられるように省略されてもよい。

【0064】

画像撮影システム１７０のビーム１７４は、画像を撮影するために使用される構成要素（例えば、カメラ及びセンサ）を含んで方向付ける構造である。特定の実施形態では、ビーム１７４は、固定された物理オブジェクトの画像１５２を撮影している間、ビーム１７４が動いている点を除いて、フラットベッドドキュメントスキャナと同様に作動する。ビーム１７４は、サブフレーム１７２と係合する。例えば、ビーム１７４は、ボルト４３０でサブフレーム１７２にボルトで固定されてもよい。図４に示した実施形態では、ビーム１７４は、２つの端部セクション及び中央セクションを含む３つのセクションを有する。ビーム１７４は、中央セクションがビーム１７４の中央に向かって内側に曲がるようなガルウィング構成（ｇｕｌｌｗｉｎｇ ｃｏｎｆｉｇｕｒａｔｉｏｎ）を有する。ガルウィング構成は、ビーム１７４内のモジュール１７６の画像撮影構成要素（例えば、センサ、カメラなど）が撮影される物理オブジェクトに対して適切に配向されるようにする。特定の実施形態では、ビーム１７４の中央セクションは省略されてもよく、各端部セクションは、サブフレーム１７２に接続される。ビーム１７４は、金属（例えば、鋼鉄又はアルミニウム）、プラスチック、又はビーム１７４の構成要素を収容し、ビーム１７４をサブフレーム１７２に取り付けるのに適した他の任意の材料で製造されてもよい。

【0065】

ビーム１７４は、１つ以上の開口部４５０を含み得る。開口部４５０は、ビーム１７４内にモジュール１７６の配置を提供し得る。開口部は、モジュール１７６の設置、調整、及びメンテナンスを可能にし得る。ビーム１７４が特定のサイズ及び形状を有するものとして図４に示されているが、ビーム１７４は、その構成要素（例えば、モジュール１７６）を収容及び配向するのに適した任意のサイズ及び形状を有し得る。ビーム１７４の設計に寄与できる他の要素には、耐衝撃性、耐振動性、耐候性の考慮事項、耐久性、メンテナンスの容易さ、校正の考慮事項、及び設置の容易さが含まれる。

【0066】

ビーム１７４は、モジュール１７６、照明システム１７８、ＨＶＡＣシステム１８０、データシステム１８２、及びコントローラ１８４を含む。モジュール１７６は、画像を撮影するための構成要素を収容する。各モジュール１７６は、１つ以上のセンサ、カメラなどを含み得る。モジュール１７６は、ビーム１７４内に配置され、ビーム１７４内の画像撮影構成要素の位置決め及び支持をサポートする。モジュール１７６は、保守性と調整を可能にするように設計されている。

【0067】

特定の実施形態では、ビーム１７４の各端部セクションは、１つ以上のカメラモジュール１７６を収容する。例えば、ビーム１７４の第１端部セクションは、レールの枕木及びバラスト領域の画像を撮影する２つの下向きカメラを含むモジュール１７６を収容し得る。ビーム１７４の第１端部セクションは、レールに対して実質的に水平である第１端部セクションの部分に２つの下向きのカメラを収容し得る。第１端部セクションに対向するビーム１７４の第２端部セクションは、各モジュールがレール及びレール固定システムの両側の画像を撮影する２つの角度付きカメラを含む２つのモジュール１７６を収容し得る。ビーム１７４の第２端部セクションは、レールに対してある角度（例えば、４５度の角度）にある第２端部セクションの部分に４つの角度付きカメラを収容し得る。

【0068】

画像撮影システム１７０のモジュール１７６は、検出及び／又は測定の要件に応じて、様々なタイプのセンサを収容し得る。モジュール１７６によって収容されるセンサは、光学センサ（例えば、可視光線（単色及びカラー）、赤外線、紫外線、及び／又は熱用のカメラ）、モーションセンサ（例えば、ジャイロスコープ、及び加速度計）、光検出及び距離測定（ＬＩＤＡＲ）センサ、超分光センサ、ＧＰＳセンサなどを含み得る。偏向又はプロファイルを測定するためのレーザ三角測量を行うために、光学センサとレーザを共に使用してもよい。ＬＩＤＡＲセンサは、３次元（３Ｄ）点群データを生成するのに使用してもよい。ハイパースペクトルセンサは、特定の波長応答に使用してもよい。例示的なモジュール１７６は、以下の図５で説明される。

【0069】

画像撮影システム１７０の照明システム１７８は、画像を撮影するための外部照明を提供する。照明システム１７８は、日中及び暗闇で画像を撮影するための照明を提供する。照明システム１７８は、照明システム１７８が所定の速度（例えば、時速７０マイル）で移動する間に、固定された物理オブジェクトの画像を撮影するのに十分な照明強度を提供し、照明を適切に配向するためのメカニズムを含み得る。照明システム１７８は、画像撮影のための適切な照明を提供するのに適した任意のタイプの照明を含み得る。照明システム１７８は、発光ダイオード（ＬＥＤ）照明（例えば、白色ＬＥＤ照明、オフロード競走ＬＥＤ照明など）、ライトバー（例えば、オフロード競走ＬＥＤライトバー）、補助照明（例えば、ＬＥＤ補助照明）、赤外線照明、これらの組み合せ、又はその他の適切なタイプの照明を含んでもよい。照明システム１７８は、レーザ照明、赤外線照明、紫外線照明、又はモジュール１７６の１つ以上の構成要素（例えば、センサ、カメラなど）によって必要とされる任意の他の適切なタイプの照明を提供する１つ以上の構成要素を含んでもよい。

【0070】

画像撮影システム１７０のＨＹＡＣシステム１８０は、画像撮影システム１７０のビーム１７４に暖房、換気、及び／又は空調を提供する。ＨＹＡＣシステム１８０は、ビーム１７４の環境条件（例えば、内部温度、湿度など）を調節し得る。ＨＹＡＣシステム１８０は、ビーム１７４のモジュール１７６の動作要件が満たされていることを保障するために、ビーム１７４の環境条件を監視し得る。例えば、ＨＹＡＣシステム１８０は、モジュール１７６（例えば、カメラ及びセンサ）が厚い時期に動作するための強化された環境を保障するために、ビーム１７４に冷却を提供してもよい。ＨＹＡＣシステム１８０は、凝縮器、蒸発器、圧縮機、膨張弁、ベルト、ホース、冷媒などのうちの１つ以上を含む従来のＨＹＡＣシステムであってもよい。

【0071】

ＨＹＡＣシステム１８０は、空気動力渦発生装置（ａｉｒ－ｐｏｗｅｒｅｄ ｖｏｒｔｅｘ ｇｅｎｅｒａｔｏｒ）を介してビーム１７４に冷却を提供し得る。車両４１０（例えば、機関車）の主リザーバシステムから乾燥、濾過、及び調節された空気が渦発生装置に適用され得る。渦発生装置（ｖｏｒｔｅｘ ｇｅｎｅｒａｔｏｒ）は、冷却された圧縮空気をビーム１７４に適用し得る。冷却された空気は、直接適用するために、各モジュール１７６（例えば、１つ以上のセンサ）に送られてもよい。渦発生装置は、湿度調節器としても機能し得る。例えば、渦発生装置は、湿度を約５０％に調節してもよい。圧縮空気は、ビーム１７４にわずかな正圧を提供することができ、これは、外部のほこり及び／又は破片が小さい孔を通ってビーム１７４に入るのを防ぐことができる。

【0072】

画像撮影システム１７０のデータシステム１８２は、画像撮影システム１７０の１つ以上の構成要素から受信した全てのデータ（例えば、センサデータ）を１つ以上のコンピュータ、１つ以上のコントローラ（例えば、コントローラ１８４）、及び／又は１つ以上の記憶装置に接続して指示する。データシステム１８２は、データをコントローラ及び／又は記憶装置に通信するための１つ以上のデータケーブルを含み得る。データシステム１８２のデータケーブルは、ビーム１７４の内部に存在する内部ケーブルを含み得る。データシステム１８２のデータケーブルは、ビーム１７４の外部に存在する外部ケーブルを含み得る。内部ケーブル及び外部ケーブルは、ビーム１７４の壁に位置する耐候性コネクタによって結合され得る。１つ以上の外部ケーブルは、１つ以上のコンピュータ、１つ以上のコントローラ、及び／又は１つ以上の記憶装置に送られ得る。データシステム１８２のデータケーブルは、データの流入及び／又は流出のための経路を提供する。例えば、データシステム１８２のデータケーブルは、コントローラ１８４からの信号流入をトリガーしてもよい。別の例として、データシステム１８２は、任意の適切な無線又はセルラ通信プロトコルを使用して、データをコントローラ１８４及び／又は記憶装置に無線で通信してもよい。

【0073】

画像撮影システム１７０のコントローラ１８４は、画像撮影システム１７０のための情報を処理するのに使用され得る任意の適切なコンピューティング構成要素を示す。コントローラ１８４は、画像撮影システム１７０の１つ以上の構成要素を調整し得る。コントローラ１８４は、モジュール１７６、照明システム１７９、ＨＶＡＣシステム１８０、データシステム１８２、車両４１０、及び／又は回転位置エンコーダ４２０からデータを受信し得る。コントローラ１８４は、モジュール１７６、照明システム１７８、ＨＶＡＣシステム１８０、及び回転位置エンコーダ４２０の入力及び／又は出力を監視し得る。コントローラ１８４は、ユーザ（例えば、技術者）が画像撮影システム１７０に直接結合することを可能にする通信機能を含み得る。例えば、コントローラ１８４は、コンピュータ（例えば、ラップトップ）の一部であってもよく、ユーザは、コンピュータのインタフェース（例えば、スクリーン、グラフィクユーザインタフェース（ＧＵＩ）、又はパネル）を介してコントローラ１８４にアクセスしてもよい。コントローラ１８４は、ネットワーク（例えば、図１のネットワーク１１０）を介して画像撮影システム１７０の１つ以上の構成要素と通信してもよい。例えば、コントローラ１８４は、ＬＡＮを介して、及び／又はセルラ又は無線ネットワークなどのＷＡＮ上のリモート端末から、画像撮影システム１７０の１つ以上の構成要素と通信してもよい。コントローラ１８４は、車両４１０内部に配置されてもよい。

【0074】

コントローラ１８４は、画像撮影システム１７０の１つ以上の構成要素への調整を開始し得る。調整は、１つ以上の条件に応答して、コントローラ１８４によって自動的に開始され得る。例えば、コントローラ１８４は、ビーム１７４内の温度が所定の値を超えたときに、ビーム１７４に冷却を提供するようにＨＶＡＣシステム１８０に指示してもよい。調整は、コントローラ１８４のユーザ（例えば、コントローラ１８４を含むコンピュータを使用する技術者）によって局所的に（例えば、車両４１０内で）開始されてもよい。調整は、コントローラ１８４によって遠隔的に（例えば、セルラ又は無線リンクを介して））開始されてもよい。調整は、照明システム１７８（例えば、照明方向、照明強度など）の調整、ＨＶＡＣシステム１８０（例えば、温度、湿度など）の調整、カメラの向きの調整などを含んでもよい。

【0075】

画像撮影システム１７０のコントローラ１８４は、画像撮影システム１７０の１つ以上の構成要素の電力状態を監視し得る。コントローラ１８４は、画像撮影システム１７０の１つ以上の構成要素（例えば、モジュール１７６のセンサ）に電力を提供し得る。コントローラ１８４は、リモートリセットなどの非データ機能を使用し得る。コントローラ１８４は、回転位置エンコーダ４２０からトリガー信号を受信し、その信号をモジュール１７６のコントローラ（例えば、センサコントローラ）に分配し得る。モジュール１７６のコントローラは、制御システム信号を用いてリアルタイムでモジュール１７６（例えば、センサ）の１つ以上の構成要素を作動させ得る。画像撮影システム１７０は、外部の特徴（例えば、でこぼこの線路）によって引き起こされる車両の動きを説明するためのトリガー信号補償係数を提供するジャイロスコープ及び加速度計などの１つ以上のモーション検出センサを含み得る。

【0076】

特定の実施形態では、画像撮影システム１７０は、車両４１０の速度を受信し得る。コントローラ１８４は、ＧＰＳ受信機、レーダー速度測定システム、レーザ速度測定システム、又は、車両４１０の速度を測定するように動作可能な任意の他の適切な構成要素からの速度（例えば、ＧＰＳの速度信号）を受信し得る。

【0077】

図４は、車両４１０、回転位置エンコーダ４２０、サブフレーム１７２、ビーム１７４、モジュール１７６、照明システム１７８、ＨＶＡＣシステム１８０、データシステム１８２、及びコントローラ１８４の特定の配置を示しているが、本開示は、車両４１０、回転位置エンコーダ４２０、サブフレーム１７２、ビーム１７４、モジュール１７６、照明システム１７８、ＨＶＡＣシステム１８０、データシステム１８２、及びコントローラ１８４の任意の適切な配置を企図する。例えば、照明システム１７０は、ビーム１７４の外部に配置されてもよい。車両４１０、回転位置エンコーダ４２０、サブフレーム１７２、ビーム１７４、モジュール１７６、照明システム１７８、ＨＶＡＣシステム１８０、データシステム１８２、及びコントローラ１８４は、物理的又は論理的に互いに全体的又は部分的に同じ場所に配置されてもよい。

【0078】

図４は、特定数の車両４１０、回転位置エンコーダ４２０、サブフレーム１７２、ビーム１７４、モジュール１７６、照明システム１７８、ＨＶＡＣシステム１８０、データシステム１８２、及びコントローラ１８４を示しているが、本開示は、任意の適切な数の車両４１０、回転位置エンコーダ４２０、サブフレーム１７２、ビーム１７４、モジュール１７６、照明システム１７８、ＨＶＡＣシステム１８０、データシステム１８２、及びコントローラ１８０を企図する。例えば、画像撮影システム１７０は、車両４１０の前方端部にある第１ビーム１７４、及び車両４１０の後方端部にある第２ビーム１７４を含んでもよい。別の例として、画像撮影システム１７８は、複数のコントローラ１８４（例えば、コントローラ及びサブコントローラ）を含んでもよい。画像撮影システム１７０の１つ以上の構成要素は、図７のコンピュータシステムの１つ以上の構成要素を使用して実装されてもよい。

【0079】

図５は、図４の画像撮影システム１７０によって使用され得る例示的なモジュール１７６を示す。モジュール１７６は、カメラ５１０、レンズ５２０、上部プレート５３０、ベースプレート５４０、カバープレート５５０、クリーニング装置５６０、ボルト５７０、開口部５８０、及び空気圧縮機５８５を含む。カメラ５１０は、物理オブジェクトの画像（例えば、図１の画像１５２）を撮影する任意の装置である。例えば、カメラ５１０は、レールの構成要素（例えば、レールジョイント、転轍機、フロッグ、締結装置、バラスト、レール頭部、及び／又はレールの枕木）の画像を撮影してもよい。特定の実施形態では、カメラ５１０は、センサである。

【0080】

１つ以上のカメラ５１０は、異なる角度から１つ以上の物理オブジェクトの画像を撮影し得る。例えば、１つ以上のカメラ５１０は、任意の与えられた位置で鉄道システムの両側のレールの画像を撮影してもよい。各ビーム（例えば、図４のビーム１７４）は、複数のカメラ５１０を含み得る。ビームは、物理オブジェクトの俯瞰画像を撮影するために、真下に向けられた第１カメラ５１０を含んでもよい。ビームは、物理オブジェクトの角度のある画像を撮影するために下向き及び外向きに向けられた第２カメラ５１０を含んでもよい。

【0081】

カメラ５１０は、ラインスキャンカメラであり得る。ラインスキャンカメラには、１列のピクセルが含まれる。カメラ５１０は、デュアルラインスキャンカメラであってもよい。デュアルラインスキャンカメラは、同時に撮影及び／又は処理できる２列のピクセルを含む。カメラ５１０が物理オブジェクト上を移動すると、カメラ５１０は、物理オブジェクトの完全な画像をソフトウェアで１行ずつ再構成できるように画像を撮影してもよい。カメラ５１０は、最大１４０キロヘルツの撮影速度を有し得る。カメラ５１０は、少なくとも１／１６インチのサイズの物理オブジェクトを検出するための解像度及び光学系を有し得る。代替の実施形態では、カメラ５１０は、エリアスキャンカメラであってもよい。

【0082】

カメラ５１０は、入射光をカメラ５１０のセンサに集束及び向けるレンズ５２０を含む。レンズ５２０は、一片のガラス又は他の透明な物質であってもよい。レンズ５２０は、任意の適切な材料（例えば、スチール、アルミニウム、ガラス、プラスチック、又はこれらの組み合せ）で製造され得る。

【0083】

上部プレート５３０及びベースプレート５４０は、モジュール１７６の１つ以上の構成要素（例えば、カメラ５１０又はセンサ）を配置、支持、及び／又は安定化するために使用される構造要素である。上部プレート５３０及び下部プレート５４０は、任意の適切な材料（例えば、スチール、アルミニウム、プラスチック、ガラスなど）で製造され得る。上部プレート５３０は、１つ以上のボルト５７０でベースプレート５４０に接続され得る。ボルト５７０（例えば、ジャッキボルト）は、カメラ５１０のピッチ及び／又はロールの方向を変更するために使用され得る。例えば、ボルト５７０は、上部プレート５３０とベースプレート５４０との間の有効高さを変更するために使用されてもよい。上部プレート５３０及び／又はベースプレート５４０は、モジュール１７６の振動及び／又は衝撃を低減するように調整されてもよい。上部プレート５３０及び／又はベースプレート５４０は、より冷たい天候の期間に作動するようにカメラ５１０及びレンズ５２０に暖かい環境を提供するための抵抗性加熱要素を含んでもよい。

【0084】

カバープレート５５０は、ベースプレート５４０を覆うプレートである。カバープレート５５０は、任意の適切な材料（例えば、ガラス、スチール、アルミニウムなど）で製造され得る。カバープレート５５０は、開口部５８０を含む。開口部５８０は、カメラ５１０のレンズが物理オブジェクトを見る開口の役割をし得る。開口部５８０は、環境から検出された信号の送信が、カメラ５１０のセンサに到達できるようにする。開口部５８０は、カメラ５１０のビューを収容するのに適した任意のサイズ（例えば、楕円形、長方形など）であり得る。カメラ５１０及び／又は空気圧縮機５８５のレンズ５２０は、開口部５８０の真上に配置し得る。空気圧縮機５８５は、上記の図４で説明されたように、空気動力の渦発生装置を介してビーム１７４に冷却を提供し得る。

【0085】

クリーニング装置（Ｃｌｅａｎｉｎｇ ｄｅｖｉｃｅ）５６０は、レンズ５２０及び／又はカメラ５１０のセンサを環境から保護する任意の装置である。クリーニング装置５６０は、開口部５８０を介する視界を遮る可能性のある、ほこり、小さな破片、水、及び／又はその他の項目を取り除く。クリーニング装置５６０は、モジュール１７６の構成要素（例えば、カメラ又はセンサ）によって送信される信号の妨害を最小限に抑えるか、又は障害を無くす。クリーニング装置５６０は、カバープレート５５０とベースプレート５４０との間に設けられ得る。特定の実施形態では、クリーニング装置５６０は、カバープレート５５０及び／又はベースプレート５４０に物理的に接続される。クリーニング装置５６０は、任意の適切な材料（例えば、ガラス、スチール、アルミニウムなど）で製造され得る。クリーニング装置５６０は、モジュール１７６の外面（例えば、モジュール１７６の底面）に配置されてもよい。

【0086】

クリーニング装置５６０は、カメラ５１０のレンズ５２０をクリーニングするために任意の適切な方法を使用し得る。例えば、クリーニング装置５６０は、圧縮空気、圧縮ガス、又はクリーニング液を放出するクリーニング剤を含み得る。クリーニング装置５６０は、ワイパブレード、ブラシ、又はレンズ５２０をクリーニングするための任意の他の適切な方法を含み得る。特定の実施形態では、クリーニング剤は、圧縮空気又は圧縮ガスを放出する圧縮機（例えば、空気圧縮機５８５）である。圧縮空気又は圧縮ガスは、コアンダ効果を活用するように設計されたオリフィスを介して排出され、これは、周囲の大気を１次流に流入させて、レンズ５２０を横切って変位する空気の量（空気流については表記法５９０参照）を増幅させる。特定の実施形態では、クリーニング装置５６０は、ＨＶＡＣシステムの一部であってもよい（例えば、図４のＨＶＡＣシステム１８０）。

【0087】

図５は、カメラ５１０、レンズ５２０、上部プレート５３０、ベースプレート５４０、カバープレート５５０、クリーニング装置５６０、ボルト５７０、開口部５８０、及び空気圧縮機５８５の特定の配置を示しているが、本開示は、カメラ５１０、レンズ５２０、上部プレート５３０、ベースプレート５４０、カバープレート５５０、クリーニング装置５６０、ボルト５７０、開口部５８０、及び空気圧縮機５８５の任意の適切な配置を企図する。図５は、特定数のカメラ５１０、レンズ５２０、上部プレート５３０、ベースプレート５４０、カバープレート５５０、クリーニング装置５６０、ボルト５７０、開口部５８０、及び空気圧縮機５８５を示しているが、本開示は、任意の適切な数のカメラ５１０、レンズ５２０、上部プレート５３０、ベースプレート５４０、カバープレート５５０、クリーニング装置５６０、ボルト５７０、開口部５８０、及び空気圧縮機５８５を企図する。例えば、モジュール１７６は、複数のカメラ５１０を含んでもよい。モジュール１７６の１つ以上の構成要素は、図７のコンピュータシステムの１つ以上の構成要素を使用して実装され得る。

【0088】

図６は、ラベル１６２で特徴１５４をタグ付けするための例示的な方法６００を示す。図６は、レール６３０及びレールジョイントバー６３２の図を含む。方法６００は、ステップ６１０で始まり、ここで、分類エンジン（例えば、図１の分類エンジン１３２）は、レールジョイント１３２の特徴１５４を識別する。特徴１５４は、第１四角ナット６３４、第１ボルト頭部６３６、第１孔６３８、第２孔６４０、第２四角ナット６４２、第２ボルト頭部６３６、破損６４６、及び不連続部６４８を含む。破損６４６は、レールジョイントバー６３２の欠陥（例えば、図１の欠陥１５６）を示す。不連続部６４８は、レール６３０の間の分離を示す。分類エンジンは、１つ以上のＣＮＮを使用してレールジョイント１３２の特徴１５４を識別（例えば、分類）し得る。

【0089】

方法６００のステップ６２０で、ラベリングエンジン（例えば、図１のラベリングエンジン１３８）は、ラベル１６２でレールジョイント１３２の特徴１５４をタグ付けする。図示するように、ラベリングエンジンは、特徴６３４を「四角ナット（０．８４）」としてタグ付けし、特徴６３６を「ボルト頭部（０．７７）」としてタグ付けし、特徴６３８を「孔（０．８９）」としてタグ付けし、特徴６４０を「孔（０．８９）」としてタグ付けし、特徴６４２を「四角ナット（０．８４）」としてタグ付けし、特徴６４４を「ボルト頭部（０．７７）」としてタグ付けし、特徴６４６を「破損（０．８３）」としてタグ付けし、及び特徴６４８を「不連続部（０．８７）」としてタグ付けする。各ラベルは、各特徴１５４の分類（例えば、図１の分類１５５）及び各分類が各特徴を正確に識別する確率を含む。例えば、「ボルト頭部（０．７７）」としてタグ付けされた特徴６３６は、「ボルト頭部」の分類と、「ボルト頭部」が特徴６３６を正確に識別する確率０．７７（例えば、７７％）を示す。別の例として、「孔（０．８９）」としてタグ付けされた特徴６３８は、「孔」の分類と、「孔」が特徴６３８を正確に識別する確率０．８９（例えば、８９％）を示す。別の例として、「破損（０．８３）」としてタグ付けされた特徴６４６は、「破損」の分類と、「破損」が特徴６４６を正確に識別する確率０．８３（例えば、８３％）を示す。別の例として、「不連続部（０．８７）」としてタグ付けされた特徴６４８は、「不連続部」の分類と、「不連続部」が特徴６４８を正確に識別する確率０．８７（例えば、８７％）を示す。

【0090】

分類及び／又は確率は、１つ以上の機械学習ネットワーク（例えば、ＣＮＮ）及び／又はアルゴリズムを使用する分類エンジンによって判定され得る。図示した実施形態では、各境界ボックスの位置は、他の特徴１５４に対する、及びレールジョイントバー６３２に対する各特徴１５４の位置を示す。各境界ボックスは、任意の適切な四角形形（即ち、正方形、長方形など）であり得る。物体検出モデルは、検出された分類の境界ボックス、及びラベル１６２を出力するために使用されてもよい。図６に示した実施形態は、境界ボックスを備える特徴１５４を表しているが、特徴１５４は、任意の適切な形状及び／又は文字によって表現されてもよい。

【0091】

方法６００は、欠陥をさらに分類するために使用され得る。図６では、欠陥は「破損」として示されている。１つ以上の機械学習アルゴリズム（例えば、図１のＣＮＮ１６６）は、四角ナット、ボルト頭部、破損、ホール、不連続部、及びバーの図示された分類を認識するようにトレーニングされ得る。１つ以上のＣＮＮは、四角ナットとボルト頭部とを視覚的に区別するようにトレーニングされているが、２つの分類の視覚的表現は、ボルトの存在の物理的表現と同等である。欠陥検出器エンジン（例えば、図１の欠陥検出器エンジン１３４）は、１つ以上のアルゴリズムを使用して四角ナット及びボルト頭部の分類を単一のボルトの分類に論理的に減らすことができる。欠陥検出器エンジンは、検出されたオブジェクト（即ち、ボルト、破損、孔、及び不連続部）のそれぞれの相対位置（例えば、図１の位置１５８）を確認するために、１つ以上のアルゴリズムを使用してもよい。

【0092】

欠陥検出器エンジンは、ジョイントバーで検出された破損が相対位置を使用して、中央破損又は１／４破損欠陥であるか否かを判定するために、１つ以上のアルゴリズムを使用し得る。図示した実施形態では、破損に対して検出された境界ボックスは、２つの中間ボルトの間に位置する（例えば、「ボルト頭部（０．７７）「及び」四角ナット（０．８４）」）。欠陥検出器エンジンは、２つの中間ボルトの間の破損の位置によって、破損が中央の破損したジョイントバーの欠陥であると判定することができ、これは、破損が不連続部に非常に近接していることを示す。代替の実施形態では、破損は、２つの中間ボルトの外部に位置することがあり、欠陥検出器エンジンは、２つの中間ボルトの外部の破損位置に起因する１／４が破損したジョイントバーであると判定し得る。

【0093】

図６に示された方法６００に対して、修正、追加、又は省略を行うことができる。方法６００は、より多くの、より少ない、又は他のステップを含み得る。例えば、上述したように、方法６００は、物理オブジェクトの他の特徴（例えば、ボルト、孔、及び不連続部）に関する欠陥の位置に基づいて物理オブジェクト（例えば、レールジョイントバー）の欠陥（例えば、破損）をより具体的な欠陥（例えば、中央破損ジョイントバー又は１／４破損ジョイントバー）に分類するステップをさらに含んでもよい。ステップは、並行して、又は任意の適切な順序で実行されてもよい。方法６００のステップを完了する特定の構成要素として論じられているが、任意の適切な構成要素は、方法６００の任意のステップを実行してもよい。

【0094】

図７は、本明細書に記載のシステム及び方法によって使用され得る例示的なコンピュータシステムを示す。例えば、図１のネットワーク１１０、欠陥検出器モジュール１２０、及び画像撮影システム１７０は、１つ以上のインタフェース７１０、処理回路７２０、メモリ７３０、及び／又は他の適切な要素を含み得る。インタフェース７１０（例えば、図１のインタフェース１２２）は、入力を受信し、出力を送信し、入力及び／又は出力を処理し、及び／又は他の適切な動作を行う。インタフェース７１０は、ハードウェア及び／又はソフトウェアを含み得る。

【0095】

処理回路７２０（例えば、図１のプロセッサ１２６）は、構成要素の動作を実行又は管理する。処理回路７２０は、ハードウェア及び／又はソフトウェアを含み得る。処理回路の例には、１つ以上のコンピュータ、１つ以上のマイクロプロセッサ、１つ以上のアプリケーションなどが含まれる。特定の実施形態では、処理回路７２０は、入力から出力を生成するようなアクション（例えば、動作）を行うためにロジック（例えば、命令）を実行する。処理回路７２０によって実行されるロジックは、１つ以上の有形の非一時的なコンピュータ可読媒体（例えば、メモリ７３０）に符号化され得る。例えば、ロジックは、コンピュータプログラム、ソフトウェア、コンピュータ実行可能命令、及び／又はコンピュータによって実行され得る命令を含んでもよい。特定の実施形態では、実施形態の動作は、コンピュータプログラムを格納、具現化、及び／又は符号化し、及び／又は格納及び／又は符号化されたコンピュータプログラムを有する１つ以上のコンピュータ可読媒体によって実行されてもよい。

【0096】

メモリ７３０（又はメモリユニット）は、情報を格納する。メモリ７３０（例えば、図１のメモリ１２４）は、１つ以上の非一時的、有形、コンピュータ可読、及び／又はコンピュータ実行可能な記憶媒体を含み得る。メモリ７３０の例には、コンピュータメモリ（例えば、ＲＡＭ又はＲＯＭ）、大容量記憶媒体（例えば、ハードディスク）、リムーバブル記憶媒体（例えば、コンパクトディスク（ＣＤ）又はデジタルビデオディスク（ＤＶＤ））、データベース、及び／又はネットワークストレージ（例えば、サーバ）、及び／又はその他のコンピュータ可読媒体が含まれる。

【0097】

本明細書では、コンピュータ可読非一時的記憶媒体（ｓｔｏｒａｇｅ ｍｅｄｉｕｍ ｏｒ ｍｅｄｉａ）は、１つ以上の半導体ベース又は他の集積回路（ＩＣ）（例えば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）又は特定用途向けＩＣ（ＡＳＩＣ））、ハードディスクドライブ（ＨＤＤ）、ハイブリッドハードドライブ（ＨＨＤ）、光ディスク、光ディスクドライブ（ＯＤＤ）、光磁気ディスク、光磁気ドライブ、フロッピーディスク、フロッピーディスクドライブ（ＦＤＤ）、磁気テープ、ソリッドステートドライブ（ＳＳＤ）、ＲＡＭドライブ、安全なデジタルカード又はドライブ、その他の適切なコンピュータ可読の非一時的記憶媒体、又は必要に応じて、これらの２つ以上の適切な組み合せを含んでもよい。コンピュータ可読非一時的記憶媒体は、必要に応じて、揮発性、不揮発性、又は揮発性と不揮発性との組み合せであってもよい。

【0098】

本明細書において、「又は」は、明示的に特別な指示がない限り、又は文脈において特別な指示がない限り、包括的であり排他的でない。従って、本明細書では、「Ａ又はＢ」は、明示的に特別な指示がない限り、又は文脈において特別な指示がない限り、「Ａ、Ｂ又はその両方」を意味する。さらに、「及び」は、明示的に特別な指示がない限り、又は文脈において特別な指示がない限り、共同及び別々のものである。従って、本明細書で「Ａ及びＢ」は、明示的に特別な指示がない限り、又は文脈において特別な指示がない限り、「Ａ及びＢ、共同又は個別」を意味する。

【0099】

本開示の範囲は、当業者が理解できる本明細書に記載又は図示された例示的な実施形態に対する全ての変更、置換、変形、変更、及び修正を含む。本開示の範囲は、本明細書に記載又は図示された例示的な実施形態に限定されない。さらに、本開示は、特定の構成要素、要素、特徴、機能、動作、又はステップを含むものとして本明細書のそれぞれの実施形態を説明及び例示するが、これらの実施形態のいずれも、当業者が理解できる本明細書に記載又は図示された任意の構成要素、要素、特徴、機能、動作、又はステップのいずれかの任意の組み合せ又は順列を含み得る。さらに、特定の機能を実行するように適切に構成して配置され、作動又は作動可能な装置、又はシステム、又はその構成要素に関する添付の特許請求の範囲への言及は、その装置、システム、又は構成要素が適切に構成して配置され、作動又は作動可能、又は特定の機能が活性化又は解除されたかに関わらず、その装置のシステム又は構成要素を含む。さらに、本開示は、特定の利点を提供するものとして特定の実施形態を説明又は例示しているが、特定の実施形態では、これらの利点を提供しないか、一部又は全てを提供してもよい。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】