特許 7405338 遷移画像を使用してオブジェクトを再構成するためのシステム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-12-18

(45)【発行日】2023-12-26

(54)【発明の名称】遷移画像を使用してオブジェクトを再構成するためのシステム及び方法

(51)【国際特許分類】

   G06T 3/00 20060101AFI20231219BHJP

   G06T 1/00 20060101ALI20231219BHJP

   G06T 7/00 20170101ALI20231219BHJP

【ＦＩ】

G06T3/00 780

G06T1/00 330A

G06T7/00 650A

【請求項の数】 17

(21)【出願番号】P 2022581595

(86)(22)【出願日】2021-05-12

(65)【公表番号】

(43)【公表日】2023-10-18

(86)【国際出願番号】 US2021031892

(87)【国際公開番号】W WO2022005622

(87)【国際公開日】2022-01-06

【審査請求日】2023-02-28

(31)【優先権主張番号】16/917,590

(32)【優先日】2020-06-30

(33)【優先権主張国・地域又は機関】US

【早期審査対象出願】

(73)【特許権者】

【識別番号】505220284

【氏名又は名称】ビーエヌエスエフ レイルウェイ カンパニー

【住所又は居所原語表記】２５００ Ｌｏｕ Ｍｅｎｋ Ｄｒｉｖｅ， Ｆｏｒｔ Ｗｏｒｔｈ， Ｔｅｘａｓ ７６１３１ Ｕ．Ｓ．Ａ．

(74)【代理人】

【識別番号】100120662

【弁理士】

【氏名又は名称】川上 桂子

(74)【代理人】

【識別番号】100216770

【弁理士】

【氏名又は名称】三品 明生

(74)【代理人】

【識別番号】100217364

【弁理士】

【氏名又は名称】田端 豊

(74)【代理人】

【識別番号】100180529

【弁理士】

【氏名又は名称】梶谷 美道

(72)【発明者】

【氏名】コーラー、 レイチェル

【審査官】岡本 俊威

(56)【参考文献】

【文献】特開２００５－０３８０３５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １／００

Ｇ０６Ｔ ３／００

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

装置であって、
１つ以上のプロセッサと、
前記１つ以上のプロセッサに結合された１つ以上のコンピュータ可読非一時的記憶媒体であって、前記１つ以上のプロセッサによって実行されると、前記装置に処理を実行させる命令を含む１つ以上のコンピュータ可読非一時的記憶媒体と、
を含み、
前記処理は、
輸送インフラ構成要素の第１画像、及び前記輸送インフラ構成要素の第２画像を受信する処理であって、前記第１画像は、オブジェクトの第１領域を含み、前記第２画像は、前記オブジェクトの第２領域を含む処理と、
遷移画像を識別する処理であって、前記遷移画像は、前記オブジェクトの第１領域、及び前記オブジェクトの第２領域を含む処理と、
前記遷移画像内の前記オブジェクトの第１領域、及び前記第１画像内の前記オブジェクトの第１領域が第１等価領域であると決定する処理と、
前記第１画像及び前記遷移画像を使用して前記オブジェクトの再構成を生成する処理と、
を含み、
前記オブジェクトの再構成は、前記オブジェクトの第１領域及び前記オブジェクトの第２領域を含み、
前記オブジェクトの再構成は、前記第１等価領域の重複を除外し、
前記第１画像内の前記オブジェクトの第１部分を識別する処理と、
前記第１画像内の前記オブジェクトの第１部分の周辺に第１バウンディングボックスを構成する処理であって、前記第１バウンディングボックスは前記オブジェクトの第１領域を含む処理と、
前記遷移画像内の前記オブジェクトの第２部分を識別する処理と、
前記遷移画像内の前記オブジェクトの第２部分の周辺に第２バウンディングボックスを構成する処理であって、前記第２バウンディングボックスは、前記遷移画像内の前記オブジェクトの第１領域及び前記オブジェクトの第２領域を含む処理と、
を含む、
装置。

【請求項2】

前記第１画像は、前記オブジェクトの第３領域、前記オブジェクトの第４領域、及び前記オブジェクトの第５領域をさらに含み、
前記遷移画像は、前記オブジェクトの第３領域及び前記オブジェクトの第４領域を含む
請求項１に記載の装置。

【請求項3】

前記処理は、
前記遷移画像内の前記オブジェクトの第３領域及び前記第１画像内の前記オブジェクトの第３領域が第３等価領域であると決定する処理と、
前記遷移画像内の前記オブジェクトの第４領域及び前記第１画像内の前記オブジェクトの第４領域が第４等価領域であると決定する処理と、
を含み、
前記オブジェクトの再構成は、前記第３及び第４等価領域を除外する、請求項２に記載の装置。

【請求項4】

前記処理は、前記オブジェクトの再構成を生成するために、前記オブジェクトの第１領域、前記オブジェクトの第２領域、前記オブジェクトの第３領域、前記オブジェクトの第４領域、及び前記オブジェクトの第５領域を連結する処理をさらに含み、前記オブジェクトの再構成は、前記オブジェクト全体を示す、請求項２に記載の装置。

【請求項5】

前記処理は、前記遷移画像内の前記オブジェクトの第１領域及び前記第１画像内の前記オブジェクトの第１領域が前記第１等価領域であることを決定するために、ＩｏＵ（Ｉｎｔｅｒｓｅｃｔｉｏｎ ｏｖｅｒ Ｕｎｉｏｎ）を使用する処理をさらに含む、請求項１に記載の装置。

【請求項6】

前記遷移画像は、前記第１画像の半分及び前記第２画像の半分を含む、請求項１に記載の装置。

【請求項7】

方法であって、
オブジェクト再構成モジュールによって、輸送インフラ構成要素の第１画像と、輸送インフラ構成要素の第２画像を受信する処理であって、前記第１画像は、オブジェクトの第１領域を含み、前記第２画像は、前記オブジェクトの第２領域を含むステップと、
前記オブジェクト再構成モジュールによって、遷移画像を識別するステップであって、前記遷移画像は、前記オブジェクトの第１領域及び前記オブジェクトの第２領域を含むステップと、
前記オブジェクト再構成モジュールによって、前記遷移画像内の前記オブジェクトの第１領域及び前記第１画像内の前記オブジェクトの第１領域が第１等価領域であると決定するステップと、
前記オブジェクト再構成モジュールによって、前記第１画像及び前記遷移画像を使用して前記オブジェクトの再構成を生成するステップと、
を含み、
前記オブジェクトの再構成は、前記オブジェクトの第１領域及び前記オブジェクトの第２領域を含み、
前記オブジェクトの再構成は、前記第１等価領域の重複を除外し、
前記オブジェクト再構成モジュールによって、前記第１画像内の前記オブジェクトの第１部分を識別するステップと、
前記オブジェクト再構成モジュールによって、前記第１画像内の前記オブジェクトの第１部分の周辺に第１バウンディングボックスを構成するステップであって、前記第１バウンディングボックスは、前記オブジェクトの第１領域を含むステップと、
前記オブジェクト再構成モジュールによって、前記遷移画像内の前記オブジェクトの第２部分を識別するステップと、
前記オブジェクト再構成モジュールによって、前記遷移画像内の前記オブジェクトの第２部分の周辺に第２バウンディングボックスを構成するステップであって、前記第２バウンディングボックスは、前記遷移画像内の前記オブジェクトの第１領域及び前記オブジェクトの第２の領域を含むステップと、
を含む、
方法。

【請求項8】

前記第１画像は、
前記オブジェクトの第３領域、前記オブジェクトの第４領域、及び前記オブジェクトの第５領域をさらに含み、
前記遷移画像は、
前記オブジェクトの第３領域、及び前記オブジェクトの第４領域を含む、
請求項７に記載の方法。

【請求項9】

前記オブジェクト再構成モジュールによって、前記遷移画像内の前記オブジェクトの第３領域、及び前記第１画像内の前記オブジェクトの第３領域が第３等価領域であると決定するステップと、
前記オブジェクト再構成モジュールによって、前記遷移画像内の前記オブジェクトの第４領域、及び前記第１画像内の前記オブジェクトの第４領域が第４等価領域であると決定するステップと、
をさらに含み、
前記オブジェクトの再構成は、前記第３及び第４等価領域を除外する、
請求項８に記載の方法。

【請求項10】

前記方法は、
前記オブジェクト再構成モジュールによって、前記オブジェクトの再構成を生成するために、前記オブジェクトの第１領域、前記オブジェクトの第２領域、前記オブジェクトの第３領域、前記オブジェクトの第４領域、及び前記オブジェクトの第５領域を連結するステップをさらに含み、
前記オブジェクトの再構成は、前記オブジェクト全体を示す、
請求項８に記載の方法。

【請求項11】

前記遷移画像内の前記オブジェクトの第１領域及び前記第１画像内の前記オブジェクトの第１領域が前記第１等価領域であることを決定するために、ＩｏＵ（Ｉｎｔｅｒｓｅｃｔｉｏｎ ｏｖｅｒ Ｕｎｉｏｎ）を使用するステップをさらに含む、請求項７に記載の方法。

【請求項12】

前記遷移画像は、前記第１画像の半分及び前記第２画像の半分を含む、請求項７に記載の方法。

【請求項13】

プロセッサによって実行されると、前記プロセッサに処理を実行させる命令を具現化する１つ以上のコンピュータ可読非一時的記憶媒体であって、
前記処理は、
オブジェクト再構成モジュールによって、輸送インフラ構成要素の第１画像、及び前記輸送インフラ構成要素の第２画像を受信する処理であって、前記第１画像は、オブジェクトの第１領域を含み、前記第２画像は、前記オブジェクトの第２領域を含む処理と、
前記オブジェクト再構成モジュールによって、遷移画像を識別する処理であって、前記遷移画像は、前記オブジェクトの第１領域、及び前記オブジェクトの第２領域を含む処理と、
前記オブジェクト再構成モジュールによって、前記遷移画像内の前記オブジェクトの第
１領域、及び前記第１画像内の前記オブジェクトの第１領域が第１等価領域であると決定する処理と、
前記オブジェクト再構成モジュールによって、前記第１画像及び前記遷移画像を使用して前記オブジェクトの再構成を生成する処理と、
を含み、
前記オブジェクトの再構成は、前記オブジェクトの第１領域及び前記オブジェクトの第２領域を含み、
前記オブジェクトの再構成は、前記第１等価領域の重複を除外し、
前記オブジェクト再構成モジュールによって、前記第１画像内の前記オブジェクトの第１部分を識別する処理と、
前記オブジェクト再構成モジュールによって、前記第１画像内の前記オブジェクトの第１部分の周辺に第１バウンディングボックスを構成する処理であって、前記第１バウンディングボックスは、前記オブジェクトの第１領域を含む処理と、
前記オブジェクト再構成モジュールによって、前記遷移画像内の前記オブジェクトの第２部分を識別する処理と、
前記オブジェクト再構成モジュールによって、前記遷移画像内の前記オブジェクトの第２部分の周辺に第２バウンディングボックスを構成する処理であって、第２バウンディングボックスは、前記遷移画像内の前記オブジェクトの前記第１領域及び前記オブジェクトの前記第２領域を含む処理と、
を含む、
コンピュータ可読非一時的記憶媒体。

【請求項14】

前記第１画像は、前記オブジェクトの第３領域、前記オブジェクトの第４領域、及び前記オブジェクトの第５領域をさらに含み、
前記遷移画像は、前記オブジェクトの第３領域及び前記オブジェクトの第４領域を含む、
請求項１３に記載のコンピュータ可読非一時的記憶媒体。

【請求項15】

前記処理は、
前記オブジェクト再構成モジュールによって、前記遷移画像内の前記オブジェクトの第３領域、及び前記第１画像内の前記オブジェクトの第３領域が第３等価領域であると決定する処理と、
前記オブジェクト再構成モジュールによって、前記遷移画像内の前記オブジェクトの第４領域、及び前記第１画像内の前記オブジェクトの第４領域が第４等価領域であると決定する処理と、
をさらに含み、
前記オブジェクトの再構成は、前記第３及び第４等価領域を除外する、
請求項１４に記載のコンピュータ可読非一時的記憶媒体。

【請求項16】

前記処理は、
前記オブジェクト再構成モジュールによって、前記オブジェクトの再構成を生成するために、前記オブジェクトの第１領域、前記オブジェクトの第２領域、前記オブジェクトの第３領域、前記オブジェクトの第４領域、及び前記オブジェクトの第５領域を連結する処理をさらに含み、
前記オブジェクトの再構成は、オブジェクト全体を示す、
請求項１４に記載のコンピュータ可読非一時的記憶媒体。

【請求項17】

前記処理は、
前記遷移画像内の前記オブジェクトの第１領域及び前記第１画像内の前記オブジェクトの第１領域が前記第１等価領域であることを決定するために、ＩｏＵ（Ｉｎｔｅｒｓｅｃ
ｔｉｏｎ ｏｖｅｒ Ｕｎｉｏｎ）を使用する処理をさらに含む、請求項１３に記載のコンピュータ可読非一時的記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、一般にオブジェクト再構成（ｒｅｃｏｎｓｔｒｕｃｔｉｎｇ ｏｂｊｅｃｔ）に関し、特に遷移画像（ｔｒａｎｓｉｔｉｏｎａｌ ｉｍａｇｅ）を使用してオブジェクトを再構成するシステム及び方法に関する。

【背景技術】

【0002】

オブジェクト検出モデル（Ｏｂｊｅｃｔ ｄｅｔｅｃｔｉｏｎ ｍｏｄｅｌ）は、大量の画像データを処理すると共に各画像を独立的に類推する。深層学習モデル（ｄｅｅｐ ｌｅａｒｎｉｎｇ ｍｏｄｅｌ）の速度と精度の間には、本質的なトレードオフ（ｔｒａｄｅｏｆｆ）が存在する。このトレードオフは、サイズが劇的に変化するオブジェクト及び／又は全体のピクセルデータの比率が非常に小さいオブジェクトの一部を検出するようにモデルを訓練するときに増幅される。オブジェクト検出モデルは、複数の画像内のオブジェクトを正確に識別するように訓練することができるが、特定のシステムでは、オブジェクトの非常に小さな部分を正確に検出することにともなう遅延ペナルティ（ｌａｔｅｎｃｙ ｐｅｎａｌｔｙ）を許容することができない。

【発明の概要】

【課題を解決するための手段】

【0003】

一実施形態によれば、方法は、オブジェクト再構成モジュール（ｏｂｊｅｃｔ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｍｏｄｕｌｅ）によって、第１画像及び第２画像を受信するステップを含む。第１画像は、オブジェクトの第１領域を含み、第２画像は、オブジェクトの第２領域を含む。この方法はまた、オブジェクト再構成モジュールによって、遷移画像を識別するステップを含む。遷移画像は、オブジェクトの第１領域及びオブジェクトの第２領域を含む。方法はまた、オブジェクト再構成モジュールによって、遷移画像内のオブジェクトの第１領域及び第１画像内のオブジェクトの第１領域が第１等価領域（ｆｉｒｓｔ ｅｑｕｉｖａｌｅｎｔ ｒｅｇｉｏｎ）であると決定するステップと、オブジェクト再構成モジュールによって、第１画像及び遷移画像を使用してオブジェクトの再構成（ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ）を生成するステップとを含む。オブジェクトの再構成は、オブジェクトの第１領域及びオブジェクトの第２領域を含み、第１等価領域を除外する。

【0004】

特定の実施形態では、第１画像は、オブジェクトの第３領域、オブジェクトの第４領域、及びオブジェクトの第５領域をさらに含み、遷移画像は、オブジェクトの第３領域、及びオブジェクトの第４領域を含む。いくつかの実施形態では、方法は、オブジェクト再構成モジュールによって、遷移画像内のオブジェクトの第３領域、及び第１画像内のオブジェクトの第３領域を決定するステップを含む。画像は、第３等価領域であり、オブジェクト再構成モジュールによって、遷移画像内のオブジェクトの第４領域、及び第１画像内のオブジェクトの第４領域が第４等価領域であると決定する。特定の実施形態では、オブジェクトの再構成は、第３及び第４領域を除外する。いくつかの実施形態では、方法は、オブジェクト再構成モジュールによって、オブジェクトの再構成を生成するために、オブジェクトの第１領域、オブジェクトの第２領域、オブジェクトの第３領域、オブジェクトの第４領域、及びオブジェクトの第５領域を連結するステップを含み、ここでオブジェクトの再構成は、オブジェクト全体を示す。

【0005】

特定の実施形態では、方法は、オブジェクト再構成モジュールによって、第１画像内のオブジェクトの第１部分（ｆｉｒｓｔ ｐｏｒｔｉｏｎ）を識別するステップと、オブジェクト再構成モジュールによって、第１画像内のオブジェクトの第１部分の周辺に第１バウンディングボックス（ｆｉｒｓｔ ｂｏｕｎｄｉｎｇ ｂｏｘ）を構成するステップとを含む。第１バウンディングボックスは、オブジェクトの第１領域を含み得る。いくつかの実施形態では、方法は、オブジェクト再構成モジュールによって、遷移画像内のオブジェクトの第２部分を識別するステップと、オブジェクト再構成モジュールによって、遷移画像内のオブジェクトの第２部分の周辺に第２バウンディングボックスを構成するステップとを含む。第２バウンディングボックスは、オブジェクトの第１領域及びオブジェクトの第２領域を含み得る。特定の実施形態では、方法は、遷移画像内のオブジェクトの第１領域及び第１画像内のオブジェクトの第１領域が等価領域であることを決定するために、ＩｏＵ（Ｉｎｔｅｒｓｅｃｔｉｏｎ ｏｖｅｒ Ｕｎｉｏｎ）を使用する処理を含む。いくつかの実施形態では、遷移画像は、第１画像の半分及び第２画像の半分を含む。

【0006】

他の実施形態によれば、装置は、１つ以上のプロセッサと、１つ以上のプロセッサに結合された１つ以上のコンピュータ可読非一時的記憶媒体（ｃｏｍｐｕｔｅｒ－ｒｅａｄａｂｌｅ ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ ｓｔｏｒａｇｅ ｍｅｄｉａ）とを含む。１つ以上のコンピュータ可読非一時的記憶媒体は、１つ以上のプロセッサによって実行されると、第１画像及び第２画像の受信を含む処理を装置に実行させる命令を含む。第１画像は、オブジェクトの第１領域を含み、第２画像は、オブジェクトの第２領域を含む。処理は、遷移画像を識別する処理も含む。遷移画像は、オブジェクトの第１領域及びオブジェクトの第２領域を含む。処理はまた、遷移画像内のオブジェクトの第１領域及び第１画像内のオブジェクトの第１領域が第１等価領域であると決定する処理と、第１画像及び遷移画像を使用してオブジェクトの再構成を生成する処理とを含む。オブジェクトの再構成は、オブジェクトの第１領域及びオブジェクトの第２領域を含み、第１等価領域を除外する。

【0007】

また他の実施形態によれば、１つ以上のコンピュータ可読記憶媒体は、プロセッサによって実行されると、オブジェクト再構成モジュールによって、第１画像及び第２画像を受信する処理を含む処理をプロセッサに実行させる命令を具現化する。第１画像は、オブジェクトの第１領域を含み、第２画像は、オブジェクトの第２領域を含む。処理はまた、オブジェクト再構成モジュールによって、遷移画像を識別する処理を含む。遷移画像は、オブジェクトの第１領域及びオブジェクトの第２領域を含む。処理はまた、オブジェクト再構成モジュールによって、遷移画像内のオブジェクトの第１領域、及び第１画像内のオブジェクトの第１領域が第１等価領域であると決定する処理と、オブジェクト再構成モジュールによって、第１画像及び遷移画像を使用してオブジェクトの再構成を生成する処理とを含む。オブジェクトの再構成は、オブジェクトの第１領域及びオブジェクトの第２領域を含み、第１等価領域を除外する。

【0008】

本開示の特定の実施形態の技術的利点は、以下のうちの１つ以上を含み得る。本開示は、遷移画像を使用してオブジェクトを再構成するシステム及び方法について説明する。特定の実施形態では、オブジェクトを再構成するために使用されるバウンディングボックス縮小アルゴリズムは、単一画像及び単一類推結果内に含まれたバウンディングボックスを縮小するために、画像別に動作する標準の非最大抑制アルゴリズム（ｎｏｎ－ｍａｘｉｍｕｍ ｓｕｐｐｒｅｓｓｉｏｎ ａｌｇｏｒｉｔｈｍｓ）と組み合わせて使用され得る。特定の実施形態では、遷移画像は、２つの画像を所定のパーセンテージで重ね合わせることによって生成される。本開示の特定の実施形態では、５０％の所定のパーセンテージで使用されるが、本開示は、任意の適切な所定のパーセンテージ（例えば、２５パーセント、７５パーセントなど）を企図する。特定の実施形態では、本明細書に開示されたシステム及び方法は、２つ以上のボックス間のＩｏＵスコア、検出ラベルの同等性、及び／又は信頼スコアの閾値などの縮小基準を使用し得る。

【0009】

本開示の特定の実施形態では、本明細書に開示されたシステム及び方法は、同じ画像内のいくつかのオブジェクトクラスにわたって使用され得る。例えば、いくつかの実施形態では、同じクラスに属するバウンディングボックスを論理的に縮小することができ、その結果、いくつかの完全に構成されたオブジェクトが生成されてもよい。特定の実施形態では、等価を算出するために、標準の非最大抑制アルゴリズムが使用される方法と同様に、ＩｏＵを使用して、バウンディングボックス及び／又は他の関心領域の等価領域を算出してもよい。本開示で説明するシステム及び方法は、鉄道、道路、及び水路を含む様々な運送インフラに一般化し得る。

【0010】

他の技術的利点は、以下の図面、説明、及び特許請求の範囲から当業者には容易に明らかになるであろう。さらに、特定の利点が上に列挙されているが、様々な実施形態は、列挙された利点の全部又は一部を含むか、全く含まなくてもよい。

【0011】

本開示内容の理解を助けるために、添付の図面と併せて以下の説明を参照する。

【図面の簡単な説明】

【0012】

【図1】遷移画像を使用してオブジェクトを再構成するための例示的なシステムを示す図である。

【図2】図１のシステムによって使用され得る例示的な画像を示す図である。

【図3】図１のシステムによって使用され得る例示的な遷移画像を示す図である。

【図4】図１のシステムによって決定され得る例示的な等価領域を示す図である。

【図5】図１のシステムによって生成され得るオブジェクト再構成の例を示す図である。

【図6】遷移画像を使用してオブジェクトを再構成する例示的な方法を示す図である。

【図7】本明細書に記載のシステム及び方法によって使用され得る例示的なコンピュータシステムを示す図である。

【発明を実施するための形態】

【0013】

図１～図７は、遷移画像を使用してオブジェクトを再構成するための例示的なシステム及び方法を示している。図１は、遷移画像を使用してオブジェクトを再構成するための例示的なシステムを示し、図２は、図１のシステムによって使用され得る例示的な画像を示している。図３は、図１のシステムによって使用され得る例示的な遷移画像を示し、図４は、図１のシステムによって決定され得る例示的な等価領域を示している。図５は、図１のシステムによって生成され得るオブジェクト再構成の例を示している。図６は、遷移画像を使用してオブジェクトを再構成する例示的な方法を示している。図７は、本明細書に記載のシステム及び方法によって使用され得る例示的なコンピュータシステムを示している。

【0014】

図１は、遷移画像を使用してオブジェクトを再構成するための例示的なシステム１００を示す。システム１００又はその一部は、組織（ｅｎｔｉｔｙ）に関連することができ、遷移画像を使用してオブジェクトを再構成する、企業、会社（例えば、鉄道会社、運送会社など）又は政府機関（例えば、運輸局、公安局など）のような任意の組織を含み得る。システム１００の要素は、ハードウェア、ファームウェア、及びソフトウェアの任意の適切な組み合わせを使用して実現され得る。例えば、システム１００の要素は、図７のコンピュータシステムの１つ以上の構成要素を使用して実現されてもよい。システム１００は、ネットワーク１１０、鉄道環境（ｒａｉｌｗａｙ ｅｎｖｉｒｏｎｍｅｎｔ）１２０、鉄道線路１３０、鉄道車両１４０、画像キャプチャモジュール１５０、オブジェクト１６０、オブジェクト再構成モジュール１７０、画像１７２、遷移画像１７４、バウンディングボックス１７６、等価領域、及びオブジェクト再構成１８０を含む。

【0015】

ネットワーク１１０は、システム１００の構成要素間の伝達を容易にする任意のタイプのネットワークであり得る。ネットワーク１１０の１つ以上の部分は、アドホックネットワーク、イントラネット、エクストラネット、仮想私設網（ＶＰＮ）、ローカルエリアネットワーク（ＬＡＮ）、無線ＬＡＮ（ＷＬＡＮ）、広域ネットワーク（ＷＡＮ）、無線ＷＡＮ（ＷＷＡＮ）、大都市圏ネットワーク（ＭＡＮ）、インターネットの一部、公衆交換電話網（ＰＳＴＮ）の一部、携帯電話網、３Ｇネットワーク、４Ｇネットワーク、５Ｇネットワーク、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）セルラ通信網、これらの２つ以上の組み合わせ、又はその他の適切なタイプのネットワークを含み得る。ネットワーク１１０の１つ以上の部分は、１つ以上のアクセス（例えば、モバイルアクセス）、コア及び／又はエッジネットワークを含み得る。ネットワーク１１０は、私設網（ｐｒｉｖａｔｅ ｎｅｔｗｏｒｋ）、公衆網（ｐｕｂｌｉｃ ｎｅｔｗｏｒｋ）、インターネットを介した接続、モバイルネットワーク、ＷＩ－ＦＩネットワーク、ブルートゥース（登録商標）ネットワークなどの任意の通信網であり得る。システム１００の１つ以上の構成要素は、ネットワーク１１０を介して伝達し得る。例えば、オブジェクト再構成モジュール１７０は、画像キャプチャモジュール１５０から情報を受信することを含め、ネットワーク１１０を介して伝達し得る。

【0016】

システム１００の鉄道環境１２０は、１つ以上の鉄道線路１３０を含む領域である。鉄道環境１２０は、区画（ｄｉｖｉｓｉｏｎ）及び／又は細区画（ｓｕｂｄｉｖｉｓｉｏｎ）に関連し得る。区画は、監督者の監督下にある鉄道の部分である。細区画は、区画のさらに小さな部分である。細区画は、作業員区域（ｃｒｅｗ ｄｉｓｔｒｉｃｔ）及び／又は支線（ｂｒａｎｃｈ ｌｉｎｅ）であり得る。図１に示す実施形態では、鉄道環境１２０は、鉄道線路１３０、鉄道車両１４０、画像キャプチャモジュール１５０、及びオブジェクト１６０を含む。

【0017】

システム１００の鉄道線路１３０は、鉄道車両１４０の車輪が転がるための表面を提供することによって、鉄道車両１４０が動くことを可能にする構造である。特定の実施形態では、鉄道線路１３０は、レール、締結装置、枕木、バラストなどを含む。システム１００の鉄道車両１４０は、鉄道線路１３０に沿って移動できる車両である。鉄道車両１４０は、ジオメトリ車両、機関車、客車、貨車、有蓋車、長物車、タンク車などであってもよい。特定の実施形態では、鉄道車両１４０は、１つ以上の画像キャプチャモジュール１５０に関連付けられてもよい。

【0018】

システム１００の画像キャプチャモジュール１５０は、オブジェクト１６０の画像１７２をキャプチャする構成要素である。システム１００のオブジェクト１６０は、道路、鉄道、航空路、水路、運河、パイプライン、及びターミナル構成要素などの輸送インフラ構成要素である。オブジェクト１６０は、鉄道線路１３０、破片（ｄｅｂｒｉｓ）（例えば、瓦礫（ｒｕｂｂｌｅ）、残骸（ｗｒｅｃｋａｇｅ）、廃虚（ｒｕｉｎｓ）、落葉（ｌｉｔｔｅｒ）、ゴミ（ｔｒａｓｈ）、小枝（ｂｒｕｓｈ）など）、歩行者（例えば、侵入者（ｔｒｅｓｐａｓｓｅｒ））、動物（ａｎｉｍａｌ）、植生（ｖｅｇｅｔａｔｉｏｎ）、バラストなどの鉄道環境１２０内の構成要素を含み得る。オブジェクト１６０は、ジョイント（ｊｏｉｎｔ）、スイッチ（ｓｗｉｔｃｈ）、フロッグ（ｆｒｏｇ）、レールヘッド（ｒａｉｌ ｈｅａｄ）、アンカー（ａｎｃｈｏｒ）、ファスナ（ｆａｓｔｅｎｅｒ）、ゲージプレート（ｇａｇｅ ｐｌａｔｅ）、バラスト（ｂａｌｌａｓｔ）、枕木（例えば、コンクリート製の枕木及び木製の枕木）などの鉄道線路１３０の構成要素を含み得る。システム１００の画像１７２は、１つ以上のオブジェクト１６０の物理的形態を示す。画像１７２は、デジタル画像、写真などを含み得る。画像１７２は、画像１７２ａ、画像１７２ｂなどを含み、画像１７２ｎまで続き、ここで、１７２ｎは、任意の適切な数を表す。

【0019】

画像キャプチャモジュール１５０は、１つ以上のカメラ、レンズ、センサ、光学装置、照明要素などを含み得る。例えば、画像キャプチャモジュール１５０は、オブジェクト１６０の画像１７２を自動でキャプチャする１つ以上のカメラ（例えば、高解像度カメラ、ラインスキャンカメラ、ステレオカメラなど）を含んでもよい。特定の実施形態では、画像キャプチャモジュール１５０は、鉄道車両１４０に取り付けられる。画像キャプチャモジュール１５０は、鉄道環境１２０の鮮明な視野を提供する任意の適所で鉄道車両１４０に取り付けられ得る。例えば、画像キャプチャモジュール１５０は、鉄道線路１３０の下向きのビューを提供するために、鉄道車両１４０の前方端部（例えば、フロントバンパ）に取り付けられてもよい。別の例として、画像キャプチャモジュール１５０は、鉄道線路１３０の前方ビューを提供するために、鉄道車両１４０の前方端部（例えば、フロントガラス）に取り付けられてもよい。また別の例として、画像キャプチャモジュール１５０は、鉄道線路１３０の後方ビューを提供するために、鉄道車両１４０の後方端部（例えば、後部フロントガラス）に取り付けられてもよい。

【0020】

画像キャプチャモジュール１５０は、鉄道車両１４０が鉄道線路１３０に沿って移動する間に、静止画像又は動画１７２を自動でキャプチャし得る。画像キャプチャモジュール１５０は、任意の適切な数の静止画像又は動画１７２を自動でキャプチャし得る。例えば、画像キャプチャモジュール１５０は、カメラ（例えば、ラインスキャンカメラ）をトリガーするために、エンコーダ（例えば、位置エンコーダ）を使用して、距離の関数として画像１７２を自動でキャプチャしてもよい。別の例として、画像キャプチャモジュール１５０は、毎秒、毎分、毎時間など、所定の数の静止画像１７２を自動でキャプチャしてもよい。いくつかの実施形態では、画像キャプチャモジュール１５０は、オブジェクト１６０に対して画像１７２を検査し得る。例えば、画像キャプチャモジュール１５０は、１つ以上のモデルを使用して、画像１７２内のオブジェクト１６０を検出してもよい。モデルは、１つ以上のオブジェクト検出モデル、機械学習モデル、マシンビジョンモデル、深層学習モデルなどを含み得る。画像キャプチャモジュール１５０は、１つ以上のオブジェクト１６０の１つ以上の画像１７２をオブジェクト再構成モジュール１７０に伝達し得る。

【0021】

システム１００のオブジェクト再構成モジュール１７０は、１つ以上の画像１７２及び／又は１つ以上の遷移画像１７４からオブジェクト１６０を再生成する構成要素である。特定の実施形態では、オブジェクト再構成モジュール１７０は、システム１００の１つ以上の構成要素から画像１７２を受信する。例えば、オブジェクト再構成モジュール１７０は、画像キャプチャモジュール１５０から画像１７２ａ及び画像１７２ｂを受信してもよい。複数の画像１７２は、単一オブジェクト１６０の１つ以上の部分を含み得る。例えば、画像１７２ａは、オブジェクト１６０の第１部分を含んでもよく、画像１７２ｂは、オブジェクト１６０の第２部分を含んでもよい。

【0022】

各オブジェクト１６０は、領域として表し得る。例えば、オブジェクト１６０（例えば、レールの継目板）は、画像１７２ａがオブジェクト１６０の４つの連続した領域を含み、画像１７２ｂがオブジェクト１６０の残りの第５領域を含むように、５つの領域を有してもよい。別の例として、オブジェクト１６０は、画像１７２ａがオブジェクト１６０の３つの連続的な領域を含み、画像１７２ｂがオブジェクト１６０の残りの第４領域及び第５領域を含むように５つの領域を有してもよい。

【0023】

特定の実施形態では、オブジェクト再構成モジュール１７０は、１つ以上の画像１７２及び／又は遷移画像１７４に対する類推を実行する。オブジェクト再構成モジュール１７０は、画像１７２及び／又は遷移画像１７４内のオブジェクト１６０を検出するために、オブジェクト検出アルゴリズムを実行することによって類推を実行し得る。類推の実行に応答して、オブジェクト再構成モジュール１７０は、１つ以上のオブジェクト１６０（又はその一部）の周辺に１つ以上のバウンディングボックス１７６を生成し得る。バウンディングボックス１７６は、オブジェクト１６０を識別する輪郭線である。特定の実施形態では、各バウンディングボックス１７６は、長方形の４つの角を識別するｘ及びｙ座標であり、オブジェクト１６０の周辺の長方形のボックスである。バウンディングボックス１７６は、バウンディングボックス１７６ａ、バウンディングボックス１７６ｂ、バウンディングボックス１７６ｃなどを含み、バウンディングボックス１７６ｎまで続き、ここで、１７４ｎは、任意の適切な数を表す。

【0024】

特定の実施形態では、画像キャプチャモジュール１５０は、画像１７２内のオブジェクト１６０（又はその一部）の周辺にバウンディングボックス１７６を構成する。例えば、オブジェクト再構成モジュール１７０は、画像１７２ａ内のオブジェクト１６０の第１部分を識別し、画像１７２ａ内のオブジェクト１６０の第１部分の周辺にバウンディングボックス１７６ａを構成してもよい。別の例として、オブジェクト再構成モジュール１７０は、画像１７２ｂ内のオブジェクト１６０の第２部分を識別し、画像１７２ｂ内のオブジェクト１６０の第２部分の周辺にバウンディングボックス１７６ｂを構成してもよい。また別の例として、オブジェクト再構成モジュール１７０は、遷移画像１７４ａ内のオブジェクト１６０の第３部分を識別し、遷移画像１７６ａ内のオブジェクト１６０の第３部分の周辺にバウンディングボックス１７６ｃを構成してもよい。

【0025】

いくつかの実施形態では、オブジェクト１６０の領域は、バウンディングボックス１７６によって画定される。例えば、５つの領域を有するオブジェクトの場合、画像１７２ａ内のバウンディングボックス１７６ａによって囲まれたオブジェクト１６０の第１部分は、オブジェクト１６０の第１領域、第２領域、第３領域、及び第４領域を画定してもよく、画像１７２ｂ内のバウンディングボックス１７６ｂによって囲まれたオブジェクト１６０の第２部分は、オブジェクト１６０の第５領域を画定してもよく、そして、遷移画像１７４ａ内のバウンディングボックス１７６ｃによって囲まれたオブジェクト１６０の第３部分は、オブジェクト１６０の第２領域、第３領域、第４領域、及び第５領域を画定してもよい。

【0026】

特定の実施形態では、オブジェクト再構成モジュール１７０は、画像１７２から遷移画像１７４を生成する。遷移画像１７４は、１つ以上の他の画像１７２と同じピクセルを共有する画像である。例えば、画像１７２ａ及び遷移画像１７４ａは、同じピクセルの所定の比率（例えば、２５，５０、又は７５％）を共有してもよい。遷移画像１７４は、遷移画像１７４ａ、遷移画像１７４ｂ、及び遷移画像１７４ｎまで含み、ここで、１７６ｎは、任意の適切な数を表す。

【0027】

いくつかの実施形態では、オブジェクト再構成モジュール１７０は、２つ以上の画像１７２を重ね合わせることによって遷移画像１７４を生成する。例えば、オブジェクト再構成モジュール１７０は、遷移画像１７４ａが画像１７２ａと画像１７２ｂの重なった部分を含むように、画像１７２ａの一部（例えば、５０％）と画像１７２ｂの一部（例えば、５０％）を重ねて遷移画像１７４ａを生成してもよい。いくつかの実施形態では、画像キャプチャモジュール１５０は、遷移画像１７４をキャプチャする。例えば、画像キャプチャモジュール１５０は、所定の量の重なり（例えば、２５，５０又は７５パーセントの重なり）を含む後続の画像１７２をキャプチャするように構成してもよい。

【0028】

特定の実施形態では、各遷移画像１７４は、オブジェクト１６０の１つ以上の領域を含む。例えば、５つの領域を有するオブジェクトの場合、画像１７２ａは、第１領域、第２領域、第３領域、及び第４領域を含んでもよく、画像１７２ｂは、第５領域を含んでもよく、遷移画像１７４ａは、画像１７２ａの第２、第３、及び第４領域と画像１７２ｂの第５領域を含んでもよい。

【0029】

特定の実施形態では、オブジェクト再構成モジュール１７０は、１つ以上の等価領域１７８を決定する。等価領域１７８は、同じピクセルを共有する画像１７２及び遷移画像１７４内の領域である。等価領域１７８は、等価領域１７８ａ、等価領域１７８ｂなどを等価領域１７８ｎまで含み、ここで、１７８ｎは、任意の適切な数を表す。オブジェクト再構成モジュール１７０は、１つ以上の画像１７２と１つ以上の遷移画像１７４との間の等価領域１７８を決定し得る。例えば、オブジェクト再構成モジュール１７０は、画像１７２ａ及び遷移画像１７４ａの両方がオブジェクト１６０の第２、第３、及び第４領域を含むと決定してもよい。特定の実施形態では、オブジェクト再構成モジュール１７０は、オブジェクト再構成１８０から等価領域１７８を除外する。いくつかの実施形態では、オブジェクト再構成モジュール１７０は、遷移画像１７４内のオブジェクト１６０の第１領域と画像１７２ａ内のオブジェクト１６０の第１領域とが等価領域１７８であることを決定するために、ＩｏＵ、検出ラベルの同等性、及び／又は信頼度スコアの閾値を使用する。

【0030】

特定の実施形態では、オブジェクト再構成モジュール１７０は、オブジェクト再構成１８０を生成する。各オブジェクト再構成１８０は、オブジェクト１６０の全体の表現である。例えば、オブジェクト再構成１８０は、画像１７２ａの第１、第２、第３、及び第４領域、及び画像１７２ｂの第５領域を含んでもよい。オブジェクト再構成１８０は、オブジェクト再構成１８０ａ、オブジェクト再構成１８０ｂなどを含み、オブジェクト再構成１８０ｎまで続き、ここで、１８０ｎは、任意の適切な数を表す。特定の実施形態では、オブジェクト再構成モジュール１７０は、１つ以上の画像１７２及び１つ以上の遷移画像１７４を使用してオブジェクト再構成１８０を生成する。例えば、オブジェクト再構成モジュール１７０は、画像１７２ａからの第１、第２、第３、及び第４領域と遷移画像１７４ａからの第５領域とを連結することによって、オブジェクト再構成１８０ａを生成してもよい。特定の実施形態では、オブジェクト再構成モジュール１７０は、オブジェクト再構成１８０を生成するときに、オブジェクト１６０の領域の重複を避けるために、等価領域１７８を除外する。例えば、画像１７２ａ及び遷移画像１７４ａの両方が、オブジェクト１６０の第２領域、第３領域、及び第４領域を含む場合、オブジェクト再構成モジュール１７０は、オブジェクト再構成１８０ａにおいてこれらの領域が重複するのを避けるために、遷移画像１７４ａの第２領域、第３領域、及び第４領域を除外してもよい。

【0031】

作動中に、システム１００の画像キャプチャモジュール１５０は、鉄道車両１４０に取り付けられる。

【0032】

画像キャプチャモジュールは、鉄道車両１４０が鉄道環境１２０の鉄道線路１３０に沿って移動する間に、オブジェクト１６０の画像１７２ａ及び画像１７２ｂをキャプチャする。システム１００のオブジェクト再構成モジュール１７０は、ネットワーク１１０を介して、画像キャプチャモジュール１５０からオブジェクト１６０（例えば、レールの継目板（ｒａｉｌ ｊｏｉｎｔ ｂａｒ））の画像１７２ａ及び画像１７２ｂを受信する。オブジェクト再構成モジュール１７０は、画像１７２ａ内のオブジェクト１６０の第１部分を検出するために、１つ以上のオブジェクト検出モデルを使用する。オブジェクト再構成モジュール１７０は、画像１７２ａ内のオブジェクト１６０の第１部分の周辺にバウンディングボックス１７６ａを構成する。オブジェクト１６０は、５つの領域として表され、バウンディングボックス１７６ａによって囲まれた画像１７２ａの第１部分は、オブジェクト１６０の第１領域、第２領域、第３領域、及び第４領域を含む。画像１７２ｂは、オブジェクト１６０の第２部分及び第５領域を含む。しかし、オブジェクト再構成モジュール１７０は、画像１７２ｂの全体サイズに対する第２部分のサイズのために、オブジェクト１６０の第２部分を検出しないことがある。

【0033】

オブジェクト再構成モジュール１７０は、遷移画像１７４ａが画像１７２ａの半分と画像１７２ｂの半分とを含むように、画像１７２ａと画像１７２ｂとを重ね合わせることによって、遷移画像１７４ａを生成する。オブジェクト再構成モジュール１７０は、遷移画像１７４ａ内のオブジェクト１６０の第３部分を検出し、オブジェクト１６０の第３部分の周辺にバウンディングボックス１７６ｃを構成する。バウンディングボックス１７６ｃは、オブジェクト１６０の第２領域、第３領域、第４領域、及び第５領域を含む。オブジェクト再構成モジュール１７０は、画像１７２ａ及び遷移画像１７４ａの第２領域、第３領域、及び第４領域が等価領域１７８であると決定する。オブジェクト再構成モジュール１７０は、オブジェクト１６０の領域の重複を避けるために、オブジェクト再構成１８０において等価領域１７８（例えば、遷移画像１７４ａの第３領域、第４領域、及び第５領域）を除外する。オブジェクト再構成モジュール１７０は、画像１７２ａの第１領域、第２領域、第３領域、及び第４領域と遷移画像１７４ａの第５領域とを連結することによって、オブジェクト１６０のオブジェクト再構成１８０を生成する。このように、システム１００は、オブジェクト１６０の小さい部分が画像１７２ｂで検出されない場合でも、オブジェクト１６０全体を正確に再生成するのに使用され得る。

【0034】

図１は、ネットワーク１１０、鉄道環境１２０、鉄道線路１３０、鉄道車両１４０、画像キャプチャモジュール１５０、オブジェクト１６０、オブジェクト再構成モジュール１７０、画像１７２、バウンディングボックス１７６、遷移画像１７４、等価領域１７８、及びオブジェクト再構成１８０の特定の配置を示す。本明細書は、ネットワーク１１０、鉄道環境１２０、鉄道線路１３０、鉄道車両１４０、画像キャプチャモジュール１５０、オブジェクト１６０、オブジェクト再構成モジュール１７０、画像１７２、バウンディングボックス１７６、遷移画像１７４、等価領域１７８、及びオブジェクト再構成１８０の任意の適切な配置を企図する。

【0035】

例えば、画像キャプチャモジュール１５０、及びオブジェクト再構成モジュール１７０は、単一モジュールに結合され得る。

【0036】

図１は、ネットワーク１１０、鉄道環境１２０、鉄道線路１３０、鉄道車両１４０、画像キャプチャモジュール１５０、オブジェクト１６０、オブジェクト再構成モジュール１７０、画像１７２、バウンディングボックス１７６、遷移画像１７４、等価領域１７８、及びオブジェクト再構成１８０の特定の数を示す。本明細書は、ネットワーク１１０、鉄道環境１２０、鉄道線路１３０、鉄道車両１４０、画像キャプチャモジュール１５０、オブジェクト１６０、オブジェクト再構成モジュール１７０、画像１７２、遷移画像１７４、バウンディングボックス１７６、等価領域１７８、及びオブジェクト再構成１８０の任意の適切な数を企図する。例えば、システム１００は、複数の鉄道環境１２０、複数の画像キャプチャモジュール１５０及び／又は複数のオブジェクト再構成モジュール１７０を含んでもよい。

【0037】

図２は、図１のシステムによって使用され得る例示的な画像１７２を示す。図２に示した実施形態では、画像１７２は、画像１７２ａ及び画像１７２ｂを含む。画像１７２ａは、オブジェクト（例えば、図１のオブジェクト１６０）の一部を含み、画像１７２ｂは、同一のオブジェクトの残りの部分を含む。画像１７２ａ内のオブジェクトの部分は、バウンディングボックス１７６ａによって囲まれ、画像１７２ｂ内のオブジェクトの部分は、バウンディングボックス１７６ｂによって囲まれている。

【0038】

画像１７２内のオブジェクト全体を理解するのに役立つように、オブジェクトを５つの領域に分割する。画像１７２ａ内のオブジェクトの部分は、領域１、領域２、領域３、及び領域４を含み、画像１７２ｂ内のオブジェクトの部分は、領域５を含む。オブジェクトが２つの独立的な画像１７２として表される場合、オブジェクト全体の再構成は、画像１７２ａからのバウンディングボックス１７６ａ（領域１から４を含む）と、それに続く画像１７２ｂからのバウンディングボックス１７６ｂ（領域５を含む）である。バウンディングボックス１７６ａとバウンディングボックス１７６ｂとの連結は、領域１から５までの完全なセットを生成する。

【0039】

図２に示すように、画像１７２ｂは、オブジェクトの相対的に小さい部分であるオブジェクトの５分の１を含む。図１のオブジェクト再構成モジュールは、画像１７２ｂ内のオブジェクトの相対的に小さい部分を正確に検出するように訓練され得るが、このプロセスは、オブジェクト検出速度を著しく低下させる可能性がある。特定の実施形態では、オブジェクト再構成モジュールは、画像１７２ｂ内の領域５を検出することの遅延ペナルティを吸収できない場合がある。しかし、オブジェク再構成モジュールは、オブジェクト全体をキャプチャする必要がある。この問題を解決するために、オブジェクト再構成モジュールは、以下の図３で説明するように遷移画像を利用して、完全な遅延ペナルティを招かずに、オブジェクト全体を正確に検出することができる。

【0040】

図３は、図１のシステムによって使用され得る遷移画像１７４ａを示す。画像１７２ａ及び画像１７２ｂは、各々２つの部分、即ち第１部分及び第２部分に分割される。画像１７２ａの第２部分は、バウンディングボックス１７６ａの領域２、領域３、及び領域４を含み、画像１７２ｂの第１部分は、バウンディングボックス１７６ｂの領域５を含む。特定の実施形態では、オブジェクト再構成モジュールは、画像１７２ａの第２部分を画像１７２ｂの第１部分と重ね合わせることによって、遷移画像１７４ａが画像１７２ａの第２部分及び画像１７２ｂの第１部分を含むように生成し得る。いくつかの実施形態では、遷移画像１７４ａは、画像キャプチャモジュールによって生成される。

【0041】

図３の画像１７２ａ、画像１７２ｂ及び遷移画像１７４ａの各々に対して独立的な類推が実行される。類推の実行に応答して、バウンディングボックス１７６ａは、画像１７２ａ上に構成され、バウンディングボックス１７６ｂは、画像１７２ｂ上に構成され、バウンディングボックス１７６ｃは、遷移画像１７４ａ上に構成される。画像１７２ａは、領域１，２，３及び４を含み、画像１７２ｂは、領域５を含み、遷移画像１７４ａは、領域２、３、４、及び５を含む。

【0042】

遷移画像１７４ａが存在するため、速度のために精度を犠牲にするオブジェクト再構成モジュールは、画像１７２ａ及び画像１７２ｂ内のオブジェクト全体を正確に検出することができる。オブジェクト再構成モジュールが画像１７２ｂ内のオブジェクトの領域５を検出できない場合でも、画像１７２ｂに元々含まれていたピクセルは、遷移画像１７４ａにも含まれる。従って、画像１７２ａ及び遷移画像１７４ａ内のオブジェクトの検出は、完全な検出である。追加の画像（例えば、遷移画像１７４ａ）に対する類推は、遅延ペナルティを招くが、特定の実施形態では、この遅延ペナルティは、画像１７２ｂ内のオブジェクトの領域５を正確に検出することによって生じる遅延ペナルティよりも少なくなり得る。以下の図４及び図５は、領域１から５までの重複を避けるために画像に適用される追加の処理を示している。

【0043】

図４は、図１のシステムによって決定され得る例示的な等価領域１７８ａを示す。画像１７２ａは、バウンディングボックス１７６ａ（オブジェクトの領域１、領域２、領域３、及び領域４を囲む）、及び画像１７２ｂは、バウンディングボックス１７６ｂ（オブジェクトの領域５を囲む）を含む。特定の実施形態では、それぞれの領域は、自身のバウンディングボックス１７６によって囲まれ得る。例えば、画像１７２ａの領域１は、第１バウンディングボックス１７６によって囲まれることができ、画像１７２ａの領域２は、第２バウンディングボックス１７６によって囲まれることができ、以下同様である。特定の実施形態では、バウンディングボックスは、互いの中に入れ子にすることができる。例えば、重なる２つの他のオブジェクトが検出された場合、領域１は、さらに大きいバウンディングボックス１７６内に入れ子にできる第１バウンディングボックス１７６によって囲まれてもよい。

【0044】

図４に示すように、画像１７２ａのバウンディングボックス１７６ａと遷移画像１７４ａのバウンディングボックス１７６ｃは、同等でない。バウンディングボックス１７６ａ及びバウンディングボックス１７６ｃは、互いに異なる座標空間を占有し、オブジェクトの互いに異なる領域を含む。しかし、画像１７２ａの第２部分に含まれたピクセルは、遷移画像１７４ａの第１部分に含まれたピクセルと同じピクセルである。画像１７２ａのバウンディングボックス１７６ａと遷移画像１７４ａのバウンディングボックス１７６ｃの単純な連結は、領域１２３４２３４５を生成するが、これは、オブジェクト全体の領域２、３、及び４の不正確な重複である。

【0045】

オブジェクトの領域を重複せずにオブジェクト全体を正確に再構成するために、画像１７２ａ及び／又は遷移画像１７４ａは、重なるピクセルを考慮して縮小される。特定の実施形態では、図１のオブジェクト再構成モジュールは、画像１７２ａ及び遷移画像１７４ａ内の等価領域１７８ａを決定する。等価領域１７８ａは、同じピクセルを共有する２つ以上の画像内の領域である。オブジェクト再構成モジュール１７０は、等価領域１７８ａを決定するために、ＩｏＵ、検出ラベルの同等性、及び／又は信頼度スコアの閾値を使用し得る。例えば、オブジェクト再構成モジュール１７０は、画像１７２ａの領域２、領域３、及び領域４を囲むバウンディングボックス１７６と遷移画像１７４ａの領域２、領域３、及び領域４が等価領域１７８ａであることを決定するために、ＩｏＵを使用してもよい。特定の実施形態では、オブジェクト再構成モジュールは、画像１７２ａ及び遷移画像１７４ａにおける検出のＩｏＵを算出し、ＩｏＵが所定の閾値より大きいか否かを決定する。ＩｏＵが所定の閾値よりも大きい場合、オブジェクト再構成モジュール１７０は、画像１７２ａと遷移画像１７４ａとの間の重なりが等価領域１７８ａを画定すると決定する。以下の図５で説明するように、等価領域１７８ａは、最終的なオブジェクト再構成から除外し得る。

【0046】

図５は、図１のシステムによって生成され得る例示的なオブジェクト再構成１８０ａを示す。上の図４に表示すように、画像１７２ａ及び遷移画像１７４ａの領域２、３、４は、等価領域１７８ａである。等価領域１７８ａは、このような領域の重複を避けるために、オブジェクト再構成１８０ａから除外される（即ち、領域２、３、及び４は、オブジェクト再構成１８０ａに一度だけ含まれる）。図１のオブジェクト再構成モジュールは、領域１、２、３、４、及び５を連結することによって、オブジェクト再構成１８０ａを生成する。領域１から５の連結は、オブジェクト再構成１８０ａがオブジェクト（例えば、全体で図１のオブジェクト１６０）を示すように１２３４５として表し得る。オブジェクト再構成モジュールによって画像１７２ｂ内のオブジェクトの領域５が検出された場合、等価領域１７８ｂの重複を避けるために、同じプロセスが適用され得る。

【0047】

図６は、遷移画像（例えば、図１の遷移画像１７４ａ）を使用してオブジェクトを再構成するための例示的な方法６００を示す。方法６００は、ステップ６１０で開始する。ステップ６２０で、オブジェクト再構成モジュール（例えば、図１のオブジェクト再構成モジュール１７０）は、ネットワーク（例えば、図１のネットワーク１１０）を介して、オブジェクト（例えば、図１のオブジェクト１６０）の２つ以上の画像を受信する。例えば、オブジェクト再構成モジュールは、画像キャプチャモジュール（例えば、図１の画像キャプチャモジュール１５０）からオブジェクトの第１画像（例えば、図１の画像１７２ａ）及び第２画像（例えば、図１の画像１７２ｂ）を受信してもよい。画像キャプチャモジュールは、鉄道車両（例えば、図１の鉄道車両１４０）に取り付けられ得る。特定の実施形態では、画像キャプチャモジュールは、鉄道車両が鉄道環境（例えば、図１の鉄道環境１２０）の鉄道線路（例えば、鉄道線路１３０）に沿って移動する間に、オブジェクトの画像をキャプチャする。次に、方法６００は、ステップ６２０からステップ６３０に移動する。

【0048】

方法６００のステップ６３０で、オブジェクト再構成モジュールは、オブジェクト再構成のために遷移画像（例えば、図３の遷移画像１７４ａ）を使用するか否かを決定する。例えば、オブジェクト再構成モジュールは、オブジェクト再構成モジュールがオブジェクト検出精度よりオブジェクト検出速度を優先する場合（例えば、受信した画像内のオブジェクトの相対的に小さい部分を検出）、遷移画像を利用するように決定してもよい。オブジェクト再構成モジュールがオブジェクト再構成のために遷移画像を利用しないと決定した場合、オブジェクト再構成モジュールは、ステップ６３０からステップ６７０に進み、オブジェクト再構成モジュールは、受信した画像からオブジェクトの再構成を生成する。例えば、オブジェクト再構成モジュールによって受信された第１画像は、オブジェクトの第１領域、第２領域、及び第３領域を含んでもよく、オブジェクト再構成モジュールによって受信され第２画像は、オブジェクトの第４領域及び第５領域を含んでもよい。

【0049】

オブジェクト再構成モジュールは、第１画像内のオブジェクトの第１領域、第２領域、及び第３領域を検出し得る。オブジェクト再構成モジュールは、第２画像内のオブジェクトの第４領域及び第５領域を検出し得る。オブジェクト再構成モジュールは、オブジェクト再構成がオブジェクト全体を示すように、第１画像で検出された第１領域、第２領域、及び第３領域を、第２画像で検出された第４領域及び第５領域と連結することによって、オブジェクトの再構成を生成し得る。次に、方法６００は、ステップ６７０からステップ６８０に移動し、ここで方法６００は終了する。

【0050】

ステップ６３０において、オブジェクト再構成モジュールが、オブジェクト再構成のために遷移画像を利用すると決定した場合、オブジェクト再構成モジュールは、遷移画像が各画像の重なった部分を含むように、第１画像及び第２画像を重ねて遷移画像を作成し得る。例えば、オブジェクト再構成モジュールによって受信された第１画像は、オブジェクトの第１領域、第２領域、第３領域、及び第４領域を含んでもよく、オブジェクト再構成モジュールによって受信され第２画像は、オブジェクトの第５領域を含んでもよい。オブジェクト再構成モジュールは、オブジェクトの第２領域、第３領域、第４領域、及び第５領域を含むように、第１画像と第２画像とを重ねて遷移画像を生成し得る。特定の実施形態では、オブジェクト再構成モジュールは、画像キャプチャモジュールから遷移画像を受信する。次に、方法６００は、ステップ６３０からステップ６４０に移動する。

【0051】

方法６００のステップ６４０で、オブジェクト再構成モジュールは、各画像に対して類推を実行する。例えば、オブジェクト再構成モジュールは、第１画像、第２画像、及び遷移画像内のオブジェクトを検出するためにオブジェクト検出アルゴリズムを実行することによって、第１画像、第２画像、及び遷移画像に対する類推を実行してもよい。類推を実行してオブジェクトを検出することに応答して、オブジェクト再構成モジュールは、検出されたオブジェクト（又はその一部）の周辺に１つ以上のバウンディングボックスを生成し得る。各バウンディングボックスは、オブジェクトの１つ以上の領域を含み得る。次に、方法６００は、ステップ６４０からステップ６５０に移動する。

【0052】

方法６００のステップ６５０で、オブジェクト再構成モジュールは、受信した画像内の等価領域（例えば、図４の等価領域１７８ａ）を決定する。等価領域は、同じピクセルを共有する領域である。特定の実施形態では、オブジェクト再構成モジュールは、２つ以上のボックスのＩｏＵを算出する前に、重複領域を超えて延在し得るバウンディングボックスを正規化するために、第１画像、第２画像、及び遷移画像のバウンディングボックス及び重複領域の交差を実行する。いくつかの実施形態では、オブジェクト再構成モジュールは、ＩｏＵ、検出ラベル等価性、及び／又は信頼度スコアの閾値を使用して、重複領域を決定する。例えば、オブジェクト再構成モジュールは、第２領域、第３領域、及び第４領域が第１画像及び遷移画像で重複することを決定するために、ＩｏＵ、検出レーベル等価性、及び／又は信頼スコアの閾値を使用してもよい。別の例として、オブジェクト再構成モジュールは、第５領域が第２画像及び遷移画像で重複することを決定するために、ＩｏＵ、検出ラベルの同等性、及び／又は信頼度スコアの閾値を使用してもよい。次に、方法６００は、ステップ６５０からステップ６６０に移動する。

【0053】

方法６００のステップ６６０で、オブジェクト再構成モジュールは、オブジェクトの再構成から等価領域を除外する。例えば、オブジェクト再構成モジュールが、第１画像及び遷移画像からの第２領域、第３領域、及び第４領域が等価領域であると決定した場合、オブジェクト再構成モジュールは、オブジェクト再構成が第２領域、第３領域、及び第４領域の１つの複製だけを含むようにオブジェクト再構成で等価領域を除外してもよい。別の例として、オブジェクト再構成モジュールが、第２画像からの第５領域及び遷移画像が等価領域であると決定した場合、オブジェクト再構成モジュールは、オブジェクト再構成が第５領域の１つの複製だけを含むようにオブジェクト再構成において等価領域を除外してもよい。次に、方法６００は、ステップ６６０からステップ６７０に移動する。

【0054】

方法６００のステップ６７０で、オブジェクト再構成モジュールは、１つ以上の受信した画像及び１つ以上の遷移画像からオブジェクトの再構成（例えば、図５のオブジェクト再構成１８０ａ）を生成する。例えば、オブジェクト再構成モジュールによって受信された第１画像は、オブジェクトの第１領域、第２領域、第３領域、及び第４領域を含んでもよく、方法６００のステップ６３０で生成された遷移画像は、オブジェクトの第２領域、第３領域、第４領域、及び第５領域を含んでもよい。オブジェクト再構成モジュールは、オブジェクトの再構成がオブジェクト全体を示すように、第１画像からの第１領域、第２領域、第３領域、及び第４領域を遷移画像の第５領域と連結することによって、オブジェクトの再構成を生成し得る。次に、方法６００は、ステップ６７０からステップ６８０に移動し、ここで方法６００は終了する。このように、方法６００は、受信した画像内のオブジェクトの特定の領域が検出されない場合でも、オブジェクトを全体的に再構成するために使用され得る。

【0055】

図４に示される方法６００に対して、修正、追加、又は省略を行うことができる。方法６００は、より多い、より少ない、又は他のステップを含み得る。例えば、方法６００は、第２遷移画像を利用することを含み得る。ステップは、並行して、又は任意の適切な順序で実行され得る。方法６００のステップを完了する特定の構成要素として論じられているが、任意の適切な構成要素は、方法６００の任意のステップを実行し得る。例えば、方法６００の１つ以上のステップは、画像キャプチャモジュールによって実行されてもよい。

【0056】

図７は、本明細書に記載のシステム及び方法によって使用され得る例示的なコンピュータシステムを示す。例えば、図１のシステム１００の１つ以上の構成要素（例えば、画像キャプチャモジュール１５０及び／又はオブジェクト再構成モジュール１７０）は、１つ以上のインターフェース７１０、処理回路７２０、メモリ７３０、及び／又は他の適切な要素を含んでもよい。インターフェース７１０は、入力を受信し、出力を送信し、入力及び／又は出力を処理して、及び／又は他の適切な動作を実行する。インターフェース７１０は、ハードウェア及び／又はソフトウェアを含み得る。

【0057】

処理回路７２０は、構成要素の処理を実行又は管理する。処理回路７２０は、ハードウェア及び／又はソフトウェアを含み得る。処理回路の例は、１つ以上のコンピュータ、１つ以上のマイクロプロセッサ、１つ以上のアプリケーションなどを含む。特定の実施形態では、処理回路７２０は、入力から出力を生成するなどのアクション（例えば、処理）を実行するめのロジック（例えば、命令）を実行する。処理回路７２０によって実行されるロジックは、１つ以上の有形の非一時的なコンピュータ可読媒体（例えば、メモリ７３０）に符号化され得る。例えば、ロジックは、コンピュータプログラム、ソフトウェア、コンピュータ実行可能命令、及び／又はコンピュータによって実行可能である命令を含んでもよい。特定の実施形態では、実施形態の処理は、コンピュータプログラムを格納、実現及び／又は符号化、及び／又は格納及び／又は符号化されたコンピュータプログラムを有する１つ以上のコンピュータ可読媒体によって実行されてもよい。

【0058】

メモリ７３０（又はメモリユニット）は、情報を格納する。メモリ７３０は、１つ以上の非一時的、有形、コンピュータ可読、及び／又はコンピュータ実行可能記憶媒体を含み得る。メモリ７３０の例は、コンピュータメモリ（例えば、ＲＡＭ又はＲＯＭ）、大容量記憶媒体（例えば、ハードディスク）、リムーバブル記憶媒体（例えば、コンパクトディスク（ＣＤ）又はデジタルビデオディスク（ＤＶＤ））、データベース及び／又はネットワークストレージ（例えば、サーバ）及び／又はその他コンピュータ可読媒体を含む。

【0059】

本明細書では、コンピュータ可読非一時的記憶媒体又は媒体は、１つ以上の半導体ベース又は他の集積回路（ＩＣ）（例えば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）又は特定用途向け集積回路（ＡＳＩＣ））、ハードディスクドライブ（ＨＤＤ）、ハイブリッドハードドライブ（ＨＨＤ）、光ディスク、光ディスクドライブ（ＯＤＤ）、光磁気ディスク、光磁気ドライブ、フロッピーディスク、フロッピーディスクドライブ（ＦＤＤ）、磁気テープ、ソリッドステートドライブ（ＳＳＤ）、ＲＡＭドライブ、ＳＤ（ＳＥＣＵＲＥ ＤＩＧＩＴＡＬ）カード又はドライブ、その他の適切なコンピュータ可読の非一時的記憶媒体、又は必要に応じてこれらの２以上の適切な組み合わせを含み得る。コンピュータ可読非一時的記憶媒体は、必要に応じて、揮発性、不揮発性、又は揮発性と不揮発性の組み合わせであり得る。

【0060】

本明細書において、「又は」は、明示的に別段の指示がない限り、又は文脈によって別段の指示がない限り、包括的であって排他的ではない。従って、本明細書において、「Ａ又はＢ」は、明示的に別段の指示がない限り、又は文脈によって別段の指示がない限り、「Ａ、Ｂ、又はその両方」を意味する。また、「及び」は、明示的に別段の指示がない限り、又は文脈によって別段の指示がない限り、共同及び複数を意味する。従って、本明細書で「Ａ及びＢ」は、明示的に別段の指示がない限り、又は文脈によって別段の指示がない限り、「Ａ及びＢ、共同、又は個別」を意味する。本開示の範囲は、当業者が理解することのできる本明細書に記載又は図示された例示的な実施形態に対する全ての変更、置換、変形、変更及び修正を含む。本開示の範囲は、本明細書に記載又は図示された例示的な実施形態に限定されない。さらに、本開示は、特定の構成要素、要素、特徴、機能、処理、又はステップを含むものとして本明細書のそれぞれの実施形態を説明及び例示しているが、これらの実施形態のいずれも、当業者が理解し得る本明細書のどこかに記載又は図示された構成要素、要素、特徴、機能、処理、又はステップのうちの任意の組み合わせ又は順列を含み得る。さらに、特定の機能を実行するように適切に構成して配置され、作動又は作動可能な装置、又はシステム、又はその構成要素に対する添付された特許請求の範囲の言及は、その装置、システム、又は構成要素が適切に構成して配置され、作動又は作動可能、又は特定の機能が活性化又は解除されたかにかかわらず、その装置のシステム又は構成要素を含む。さらに、本開示は、特定の利点を提供するものとして特定の実施形態を説明又は図示しているが、特定の実施形態は、これらの利点のいずれも提供しないか、一部を提供、又は全てを提供し得る。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】