特開2024-23500遷移画像を使用してオブジェクトを再構成するためのシステム及び方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024023500
(43)【公開日】2024-02-21
(54)【発明の名称】遷移画像を使用してオブジェクトを再構成するためのシステム及び方法
(51)【国際特許分類】
G06T 7/00 20170101AFI20240214BHJP
【ＦＩ】
G06T7/00 650Z
【審査請求】未請求
【請求項の数】20
【出願形態】ＯＬ
(21)【出願番号】P 2023203821
(22)【出願日】2023-12-01
(62)【分割の表示】P 2022581595の分割
【原出願日】2021-05-12
(31)【優先権主張番号】16/917,590
(32)【優先日】2020-06-30
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】505220284
【氏名又は名称】ビーエヌエスエフ レイルウェイ カンパニー
【住所又は居所原語表記】２５００ Ｌｏｕ Ｍｅｎｋ Ｄｒｉｖｅ， Ｆｏｒｔ Ｗｏｒｔｈ， Ｔｅｘａｓ ７６１３１ Ｕ．Ｓ．Ａ．
(74)【代理人】
【識別番号】100110423
【弁理士】
【氏名又は名称】曾我 道治
(74)【代理人】
【識別番号】100111648
【弁理士】
【氏名又は名称】梶並 順
(74)【代理人】
【識別番号】100221729
【弁理士】
【氏名又は名称】中尾 圭介
(74)【代理人】
【識別番号】100120662
【弁理士】
【氏名又は名称】川上 桂子
(74)【代理人】
【識別番号】100216770
【弁理士】
【氏名又は名称】三品 明生
(74)【代理人】
【識別番号】100217364
【弁理士】
【氏名又は名称】田端 豊
(74)【代理人】
【識別番号】100180529
【弁理士】
【氏名又は名称】梶谷 美道
(72)【発明者】
【氏名】コーラー、 レイチェル
(57)【要約】 （修正有）
【課題】遷移画像を使用してオブジェクトを再構成するためのシステム及び方法を提供する。
【解決手段】方法は、オブジェクト再構成モジュールによって、第１画像及び第２画像を受信するステップを含む。第１画像はオブジェクトの第１領域を含み、第２画像はオブジェクトの第２領域を含む。方法はまた、オブジェクト再構成モジュールによって遷移画像を識別するステップを含む。遷移画像は、オブジェクトの第１領域及びオブジェクトの第２領域を含む。方法はさらに、オブジェクト再構成モジュールによって、遷移画像内のオブジェクトの第１領域及び第１画像内のオブジェクトの第１領域が等価領域であると決定するステップと、オブジェクト再構成モジュールによって、第１画像及び遷移画像を使用してオブジェクトの再構成を生成するステップとを含む。オブジェクトの再構成は、オブジェクトの第１領域及びオブジェクトの第２領域を含み、等価領域を除外する。
【選択図】図６
【解決手段】方法は、オブジェクト再構成モジュールによって、第１画像及び第２画像を受信するステップを含む。第１画像はオブジェクトの第１領域を含み、第２画像はオブジェクトの第２領域を含む。方法はまた、オブジェクト再構成モジュールによって遷移画像を識別するステップを含む。遷移画像は、オブジェクトの第１領域及びオブジェクトの第２領域を含む。方法はさらに、オブジェクト再構成モジュールによって、遷移画像内のオブジェクトの第１領域及び第１画像内のオブジェクトの第１領域が等価領域であると決定するステップと、オブジェクト再構成モジュールによって、第１画像及び遷移画像を使用してオブジェクトの再構成を生成するステップとを含む。オブジェクトの再構成は、オブジェクトの第１領域及びオブジェクトの第２領域を含み、等価領域を除外する。
【選択図】図６
【特許請求の範囲】
【請求項1】
装置であって、
１つ以上のプロセッサと、
前記１つ以上のプロセッサに結合された１つ以上のコンピュータ可読非一時的記憶媒体であって、前記１つ以上のプロセッサによって実行されると、前記装置に処理を実行させる命令を含む１つ以上のコンピュータ可読非一時的記憶媒体と、
を含み、
前記処理は、
プロセッサを介して、遷移画像を識別する処理であって、前記遷移画像は、
輸送インフラ構成要素の第１画像内のオブジェクトの第１領域、及び
前記輸送インフラ構成要素の第２画像内の前記オブジェクトの第２領域、
を含む処理と、
前記遷移画像を使用して前記オブジェクトの再構成を生成する処理であって、前記オブジェクトの再構成は、前記オブジェクトの第１領域及び前記オブジェクトの第２領域を含む処理と、
前記第１画像内の前記オブジェクトの第１部分を識別する処理と、
前記第１画像内の前記オブジェクトの第１部分の周辺に第１バウンディングボックスを構成する処理であって、前記第１バウンディングボックスは、前記オブジェクトの第１領域を含む処理と、
前記遷移画像内の前記オブジェクトの第２部分を識別する処理と、
前記遷移画像内の前記オブジェクトの第２部分の周辺に第２バウンディングボックスを構成する処理であって、前記第２バウンディングボックスは、前記遷移画像内の前記オブジェクトの第１領域及び前記オブジェクトの第２領域を含む処理と、
を含む、
装置。
１つ以上のプロセッサと、
前記１つ以上のプロセッサに結合された１つ以上のコンピュータ可読非一時的記憶媒体であって、前記１つ以上のプロセッサによって実行されると、前記装置に処理を実行させる命令を含む１つ以上のコンピュータ可読非一時的記憶媒体と、
を含み、
前記処理は、
プロセッサを介して、遷移画像を識別する処理であって、前記遷移画像は、
輸送インフラ構成要素の第１画像内のオブジェクトの第１領域、及び
前記輸送インフラ構成要素の第２画像内の前記オブジェクトの第２領域、
を含む処理と、
前記遷移画像を使用して前記オブジェクトの再構成を生成する処理であって、前記オブジェクトの再構成は、前記オブジェクトの第１領域及び前記オブジェクトの第２領域を含む処理と、
前記第１画像内の前記オブジェクトの第１部分を識別する処理と、
前記第１画像内の前記オブジェクトの第１部分の周辺に第１バウンディングボックスを構成する処理であって、前記第１バウンディングボックスは、前記オブジェクトの第１領域を含む処理と、
前記遷移画像内の前記オブジェクトの第２部分を識別する処理と、
前記遷移画像内の前記オブジェクトの第２部分の周辺に第２バウンディングボックスを構成する処理であって、前記第２バウンディングボックスは、前記遷移画像内の前記オブジェクトの第１領域及び前記オブジェクトの第２領域を含む処理と、
を含む、
装置。
【請求項2】
前記第１画像は、前記オブジェクトの第３領域、前記オブジェクトの第４領域、及び前記オブジェクトの第５領域をさらに含み、
前記遷移画像は、前記オブジェクトの第３領域及び前記オブジェクトの第４領域を含む請求項１に記載の装置。
前記遷移画像は、前記オブジェクトの第３領域及び前記オブジェクトの第４領域を含む請求項１に記載の装置。
【請求項3】
前記処理は、
前記遷移画像内の前記オブジェクトの第３領域及び前記第１画像内の前記オブジェクトの第３領域が第３等価領域であると決定する処理と、
前記遷移画像内の前記オブジェクトの第４領域及び前記第１画像内の前記オブジェクトの第４領域が第４等価領域であると決定する処理と、
を含み、
前記オブジェクトの再構成は、前記第３及び第４等価領域を除外する、請求項２に記載の装置。
前記遷移画像内の前記オブジェクトの第３領域及び前記第１画像内の前記オブジェクトの第３領域が第３等価領域であると決定する処理と、
前記遷移画像内の前記オブジェクトの第４領域及び前記第１画像内の前記オブジェクトの第４領域が第４等価領域であると決定する処理と、
を含み、
前記オブジェクトの再構成は、前記第３及び第４等価領域を除外する、請求項２に記載の装置。
【請求項4】
前記処理は、前記オブジェクトの再構成を生成するために、前記オブジェクトの第１領域、前記オブジェクトの第２領域、前記オブジェクトの第３領域、前記オブジェクトの第４領域、及び前記オブジェクトの第５領域を連結する処理をさらに含み、前記オブジェクトの再構成は、前記オブジェクト全体を示す、請求項２に記載の装置。
【請求項5】
前記処理は、前記遷移画像内の前記オブジェクトの第１領域及び前記第１画像内の前記オブジェクトの第１領域が前記第１等価領域であることを決定するために、ＩｏＵ（Ｉｎｔｅｒｓｅｃｔｉｏｎ ｏｖｅｒ Ｕｎｉｏｎ）を使用する処理をさらに含む、請求項１に記載の装置。
【請求項6】
前記１つ以上のプロセッサは、オブジェクト再構成モジュールを含む、請求項１に記載の装置。
【請求項7】
前記遷移画像は、前記第１画像の半分及び前記第２画像の半分を含む、請求項１に記載の装置。
【請求項8】
方法であって、
プロセッサを介して、遷移画像を識別するステップであって、前記遷移画像は、
輸送インフラ構成要素の第１画像内のオブジェクトの第１領域、及び
前記輸送インフラ構成要素の第２画像内の前記オブジェクトの第２領域、
を含むステップと、
前記遷移画像を使用して前記オブジェクトの再構成を生成する処理であって、前記オブジェクトの再構成は、前記オブジェクトの第１領域及び前記オブジェクトの第２領域を含むステップと、
前記第１画像内の前記オブジェクトの第１部分を識別するステップと、
前記第１画像内の前記オブジェクトの第１部分の周辺に第１バウンディングボックスを構成するステップであって、前記第１バウンディングボックスは、前記オブジェクトの第１領域を含むステップと、
前記遷移画像内の前記オブジェクトの第２部分を識別するステップと、
前記遷移画像内の前記オブジェクトの第２部分の周辺に第２バウンディングボックスを構成するステップであって、前記第２バウンディングボックスは、前記遷移画像内の前記オブジェクトの第１領域及び前記オブジェクトの第２の領域を含むステップと、
を含む、
方法。
プロセッサを介して、遷移画像を識別するステップであって、前記遷移画像は、
輸送インフラ構成要素の第１画像内のオブジェクトの第１領域、及び
前記輸送インフラ構成要素の第２画像内の前記オブジェクトの第２領域、
を含むステップと、
前記遷移画像を使用して前記オブジェクトの再構成を生成する処理であって、前記オブジェクトの再構成は、前記オブジェクトの第１領域及び前記オブジェクトの第２領域を含むステップと、
前記第１画像内の前記オブジェクトの第１部分を識別するステップと、
前記第１画像内の前記オブジェクトの第１部分の周辺に第１バウンディングボックスを構成するステップであって、前記第１バウンディングボックスは、前記オブジェクトの第１領域を含むステップと、
前記遷移画像内の前記オブジェクトの第２部分を識別するステップと、
前記遷移画像内の前記オブジェクトの第２部分の周辺に第２バウンディングボックスを構成するステップであって、前記第２バウンディングボックスは、前記遷移画像内の前記オブジェクトの第１領域及び前記オブジェクトの第２の領域を含むステップと、
を含む、
方法。
【請求項9】
前記第１画像は、
前記オブジェクトの第３領域、前記オブジェクトの第４領域、及び前記オブジェクトの第５領域をさらに含み、
前記遷移画像は、
前記オブジェクトの第３領域、及び前記オブジェクトの第４領域を含む、
請求項８に記載の方法。
前記オブジェクトの第３領域、前記オブジェクトの第４領域、及び前記オブジェクトの第５領域をさらに含み、
前記遷移画像は、
前記オブジェクトの第３領域、及び前記オブジェクトの第４領域を含む、
請求項８に記載の方法。
【請求項10】
前記オブジェクト再構成モジュールによって、前記遷移画像内の前記オブジェクトの第３領域、及び前記第１画像内の前記オブジェクトの第３領域が第３等価領域であると決定するステップと、
前記オブジェクト再構成モジュールによって、前記遷移画像内の前記オブジェクトの第４領域、及び前記第１画像内の前記オブジェクトの第４領域が第４等価領域であると決定するステップと、
をさらに含み、
前記オブジェクトの再構成は、前記第３及び第４等価領域を除外する、
請求項９に記載の方法。
前記オブジェクト再構成モジュールによって、前記遷移画像内の前記オブジェクトの第４領域、及び前記第１画像内の前記オブジェクトの第４領域が第４等価領域であると決定するステップと、
をさらに含み、
前記オブジェクトの再構成は、前記第３及び第４等価領域を除外する、
請求項９に記載の方法。
【請求項11】
前記方法は、
前記オブジェクト再構成モジュールによって、前記オブジェクトの再構成を生成するために、前記オブジェクトの第１領域、前記オブジェクトの第２領域、前記オブジェクトの第３領域、前記オブジェクトの第４領域、及び前記オブジェクトの第５領域を連結するステップをさらに含み、
前記オブジェクトの再構成は、前記オブジェクト全体を示す、
請求項９に記載の方法。
前記オブジェクト再構成モジュールによって、前記オブジェクトの再構成を生成するために、前記オブジェクトの第１領域、前記オブジェクトの第２領域、前記オブジェクトの第３領域、前記オブジェクトの第４領域、及び前記オブジェクトの第５領域を連結するステップをさらに含み、
前記オブジェクトの再構成は、前記オブジェクト全体を示す、
請求項９に記載の方法。
【請求項12】
前記遷移画像内の前記オブジェクトの第１領域及び前記第１画像内の前記オブジェクトの第１領域が前記第１等価領域であることを決定するために、ＩｏＵ（Ｉｎｔｅｒｓｅｃｔｉｏｎ ｏｖｅｒ Ｕｎｉｏｎ）を使用するステップをさらに含む、請求項８に記載の方法。
【請求項13】
前記プロセッサは、オブジェクト再構成モジュールを含む、請求項８に記載の方法。
【請求項14】
前記遷移画像は、前記第１画像の半分及び前記第２画像の半分を含む、請求項８に記載の方法。
【請求項15】
プロセッサによって実行されると、前記プロセッサに処理を実行させる命令を具現化する１つ以上のコンピュータ可読非一時的記憶媒体であって、
前記処理は、
プロセッサを介して、遷移画像を識別する処理であって、前記遷移画像は、
輸送インフラ構成要素の第１画像内のオブジェクトの第１領域、及び
前記輸送インフラ構成要素の第２画像内の前記オブジェクトの第２領域、
を含む処理と、
前記遷移画像を使用して前記オブジェクトの再構成を生成する処理であって、前記オブジェクトの再構成は、前記オブジェクトの第１領域及び前記オブジェクトの第２領域を含む処理と、
前記第１画像内の前記オブジェクトの第１部分を識別する処理と、
前記第１画像内の前記オブジェクトの第１部分の周辺に第１バウンディングボックスを構成する処理であって、前記第１バウンディングボックスは、前記オブジェクトの第１領域を含む処理と、
前記遷移画像内の前記オブジェクトの第２部分を識別する処理と、
前記遷移画像内の前記オブジェクトの第２部分の周辺に第２バウンディングボックスを構成する処理であって、第２バウンディングボックスは、前記遷移画像内の前記オブジェクトの前記第１領域及び前記オブジェクトの前記第２領域を含む処理と、
を含む、
コンピュータ可読非一時的記憶媒体。
前記処理は、
プロセッサを介して、遷移画像を識別する処理であって、前記遷移画像は、
輸送インフラ構成要素の第１画像内のオブジェクトの第１領域、及び
前記輸送インフラ構成要素の第２画像内の前記オブジェクトの第２領域、
を含む処理と、
前記遷移画像を使用して前記オブジェクトの再構成を生成する処理であって、前記オブジェクトの再構成は、前記オブジェクトの第１領域及び前記オブジェクトの第２領域を含む処理と、
前記第１画像内の前記オブジェクトの第１部分を識別する処理と、
前記第１画像内の前記オブジェクトの第１部分の周辺に第１バウンディングボックスを構成する処理であって、前記第１バウンディングボックスは、前記オブジェクトの第１領域を含む処理と、
前記遷移画像内の前記オブジェクトの第２部分を識別する処理と、
前記遷移画像内の前記オブジェクトの第２部分の周辺に第２バウンディングボックスを構成する処理であって、第２バウンディングボックスは、前記遷移画像内の前記オブジェクトの前記第１領域及び前記オブジェクトの前記第２領域を含む処理と、
を含む、
コンピュータ可読非一時的記憶媒体。
【請求項16】
前記第１画像は、前記オブジェクトの第３領域、前記オブジェクトの第４領域、及び前記オブジェクトの第５領域をさらに含み、
前記遷移画像は、前記オブジェクトの第３領域及び前記オブジェクトの第４領域を含む、
請求項１５に記載のコンピュータ可読非一時的記憶媒体。
前記遷移画像は、前記オブジェクトの第３領域及び前記オブジェクトの第４領域を含む、
請求項１５に記載のコンピュータ可読非一時的記憶媒体。
【請求項17】
前記処理は、
前記オブジェクト再構成モジュールによって、前記遷移画像内の前記オブジェクトの第３領域、及び前記第１画像内の前記オブジェクトの第３領域が第３等価領域であると決定する処理と、
前記オブジェクト再構成モジュールによって、前記遷移画像内の前記オブジェクトの第４領域、及び前記第１画像内の前記オブジェクトの第４領域が第４等価領域であると決定する処理と、
をさらに含み、
前記オブジェクトの再構成は、前記第３及び第４等価領域を除外する、
請求項１６に記載のコンピュータ可読非一時的記憶媒体。
前記オブジェクト再構成モジュールによって、前記遷移画像内の前記オブジェクトの第３領域、及び前記第１画像内の前記オブジェクトの第３領域が第３等価領域であると決定する処理と、
前記オブジェクト再構成モジュールによって、前記遷移画像内の前記オブジェクトの第４領域、及び前記第１画像内の前記オブジェクトの第４領域が第４等価領域であると決定する処理と、
をさらに含み、
前記オブジェクトの再構成は、前記第３及び第４等価領域を除外する、
請求項１６に記載のコンピュータ可読非一時的記憶媒体。
【請求項18】
前記処理は、
前記オブジェクト再構成モジュールによって、前記オブジェクトの再構成を生成するために、前記オブジェクトの第１領域、前記オブジェクトの第２領域、前記オブジェクトの第３領域、前記オブジェクトの第４領域、及び前記オブジェクトの第５領域を連結する処理をさらに含み、
前記オブジェクトの再構成は、オブジェクト全体を示す、
請求項１６に記載のコンピュータ可読非一時的記憶媒体。
前記オブジェクト再構成モジュールによって、前記オブジェクトの再構成を生成するために、前記オブジェクトの第１領域、前記オブジェクトの第２領域、前記オブジェクトの第３領域、前記オブジェクトの第４領域、及び前記オブジェクトの第５領域を連結する処理をさらに含み、
前記オブジェクトの再構成は、オブジェクト全体を示す、
請求項１６に記載のコンピュータ可読非一時的記憶媒体。
【請求項19】
前記処理は、
前記遷移画像内の前記オブジェクトの第１領域及び前記第１画像内の前記オブジェクトの第１領域が前記第１等価領域であることを決定するために、ＩｏＵ（Ｉｎｔｅｒｓｅｃｔｉｏｎ ｏｖｅｒ Ｕｎｉｏｎ）を使用する処理をさらに含む、請求項１５に記載のコンピュータ可読非一時的記憶媒体。
前記遷移画像内の前記オブジェクトの第１領域及び前記第１画像内の前記オブジェクトの第１領域が前記第１等価領域であることを決定するために、ＩｏＵ（Ｉｎｔｅｒｓｅｃｔｉｏｎ ｏｖｅｒ Ｕｎｉｏｎ）を使用する処理をさらに含む、請求項１５に記載のコンピュータ可読非一時的記憶媒体。
【請求項20】
前記１つ以上のプロセッサは、オブジェクト再構成モジュールを含む、請求項１５に記載のコンピュータ可読非一時的記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、一般にオブジェクト再構成（ｒｅｃｏｎｓｔｒｕｃｔｉｎｇ ｏｂｊｅｃｔ
）に関し、特に遷移画像（ｔｒａｎｓｉｔｉｏｎａｌ ｉｍａｇｅ）を使用してオブジェ
クトを再構成するシステム及び方法に関する。
）に関し、特に遷移画像（ｔｒａｎｓｉｔｉｏｎａｌ ｉｍａｇｅ）を使用してオブジェ
クトを再構成するシステム及び方法に関する。
【背景技術】
【0002】
オブジェクト検出モデル（Ｏｂｊｅｃｔ ｄｅｔｅｃｔｉｏｎ ｍｏｄｅｌ）は、大量
の画像データを処理すると共に各画像を独立的に類推する。深層学習モデル（ｄｅｅｐ
ｌｅａｒｎｉｎｇ ｍｏｄｅｌ）の速度と精度の間には、本質的なトレードオフ（ｔｒａ
ｄｅｏｆｆ）が存在する。このトレードオフは、サイズが劇的に変化するオブジェクト及
び／又は全体のピクセルデータの比率が非常に小さいオブジェクトの一部を検出するよう
にモデルを訓練するときに増幅される。オブジェクト検出モデルは、複数の画像内のオブ
ジェクトを正確に識別するように訓練することができるが、特定のシステムでは、オブジ
ェクトの非常に小さな部分を正確に検出することにともなう遅延ペナルティ（ｌａｔｅｎ
ｃｙ ｐｅｎａｌｔｙ）を許容することができない。
の画像データを処理すると共に各画像を独立的に類推する。深層学習モデル（ｄｅｅｐ
ｌｅａｒｎｉｎｇ ｍｏｄｅｌ）の速度と精度の間には、本質的なトレードオフ（ｔｒａ
ｄｅｏｆｆ）が存在する。このトレードオフは、サイズが劇的に変化するオブジェクト及
び／又は全体のピクセルデータの比率が非常に小さいオブジェクトの一部を検出するよう
にモデルを訓練するときに増幅される。オブジェクト検出モデルは、複数の画像内のオブ
ジェクトを正確に識別するように訓練することができるが、特定のシステムでは、オブジ
ェクトの非常に小さな部分を正確に検出することにともなう遅延ペナルティ（ｌａｔｅｎ
ｃｙ ｐｅｎａｌｔｙ）を許容することができない。
【発明の概要】
【課題を解決するための手段】
【0003】
一実施形態によれば、方法は、オブジェクト再構成モジュール（ｏｂｊｅｃｔ ｒｅｃ
ｏｎｓｔｒｕｃｔｉｏｎ ｍｏｄｕｌｅ）によって、第１画像及び第２画像を受信するス
テップを含む。第１画像は、オブジェクトの第１領域を含み、第２画像は、オブジェクト
の第２領域を含む。この方法はまた、オブジェクト再構成モジュールによって、遷移画像
を識別するステップを含む。遷移画像は、オブジェクトの第１領域及びオブジェクトの第
２領域を含む。方法はまた、オブジェクト再構成モジュールによって、遷移画像内のオブ
ジェクトの第１領域及び第１画像内のオブジェクトの第１領域が第１等価領域（ｆｉｒｓ
ｔ ｅｑｕｉｖａｌｅｎｔ ｒｅｇｉｏｎ）であると決定するステップと、オブジェクト
再構成モジュールによって、第１画像及び遷移画像を使用してオブジェクトの再構成（ｒ
ｅｃｏｎｓｔｒｕｃｔｉｏｎ）を生成するステップとを含む。オブジェクトの再構成は、
オブジェクトの第１領域及びオブジェクトの第２領域を含み、第１等価領域を除外する。
ｏｎｓｔｒｕｃｔｉｏｎ ｍｏｄｕｌｅ）によって、第１画像及び第２画像を受信するス
テップを含む。第１画像は、オブジェクトの第１領域を含み、第２画像は、オブジェクト
の第２領域を含む。この方法はまた、オブジェクト再構成モジュールによって、遷移画像
を識別するステップを含む。遷移画像は、オブジェクトの第１領域及びオブジェクトの第
２領域を含む。方法はまた、オブジェクト再構成モジュールによって、遷移画像内のオブ
ジェクトの第１領域及び第１画像内のオブジェクトの第１領域が第１等価領域（ｆｉｒｓ
ｔ ｅｑｕｉｖａｌｅｎｔ ｒｅｇｉｏｎ）であると決定するステップと、オブジェクト
再構成モジュールによって、第１画像及び遷移画像を使用してオブジェクトの再構成（ｒ
ｅｃｏｎｓｔｒｕｃｔｉｏｎ）を生成するステップとを含む。オブジェクトの再構成は、
オブジェクトの第１領域及びオブジェクトの第２領域を含み、第１等価領域を除外する。
【0004】
特定の実施形態では、第１画像は、オブジェクトの第３領域、オブジェクトの第４領域
、及びオブジェクトの第５領域をさらに含み、遷移画像は、オブジェクトの第３領域、及
びオブジェクトの第４領域を含む。いくつかの実施形態では、方法は、オブジェクト再構
成モジュールによって、遷移画像内のオブジェクトの第３領域、及び第１画像内のオブジ
ェクトの第３領域を決定するステップを含む。画像は、第３等価領域であり、オブジェク
ト再構成モジュールによって、遷移画像内のオブジェクトの第４領域、及び第１画像内の
オブジェクトの第４領域が第４等価領域であると決定する。特定の実施形態では、オブジ
ェクトの再構成は、第３及び第４領域を除外する。いくつかの実施形態では、方法は、オ
ブジェクト再構成モジュールによって、オブジェクトの再構成を生成するために、オブジ
ェクトの第１領域、オブジェクトの第２領域、オブジェクトの第３領域、オブジェクトの
第４領域、及びオブジェクトの第５領域を連結するステップを含み、ここでオブジェクト
の再構成は、オブジェクト全体を示す。
、及びオブジェクトの第５領域をさらに含み、遷移画像は、オブジェクトの第３領域、及
びオブジェクトの第４領域を含む。いくつかの実施形態では、方法は、オブジェクト再構
成モジュールによって、遷移画像内のオブジェクトの第３領域、及び第１画像内のオブジ
ェクトの第３領域を決定するステップを含む。画像は、第３等価領域であり、オブジェク
ト再構成モジュールによって、遷移画像内のオブジェクトの第４領域、及び第１画像内の
オブジェクトの第４領域が第４等価領域であると決定する。特定の実施形態では、オブジ
ェクトの再構成は、第３及び第４領域を除外する。いくつかの実施形態では、方法は、オ
ブジェクト再構成モジュールによって、オブジェクトの再構成を生成するために、オブジ
ェクトの第１領域、オブジェクトの第２領域、オブジェクトの第３領域、オブジェクトの
第４領域、及びオブジェクトの第５領域を連結するステップを含み、ここでオブジェクト
の再構成は、オブジェクト全体を示す。
【0005】
特定の実施形態では、方法は、オブジェクト再構成モジュールによって、第１画像内の
オブジェクトの第１部分（ｆｉｒｓｔ ｐｏｒｔｉｏｎ）を識別するステップと、オブジ
ェクト再構成モジュールによって、第１画像内のオブジェクトの第１部分の周辺に第１バ
ウンディングボックス（ｆｉｒｓｔ ｂｏｕｎｄｉｎｇ ｂｏｘ）を構成するステップと
を含む。第１バウンディングボックスは、オブジェクトの第１領域を含み得る。いくつか
の実施形態では、方法は、オブジェクト再構成モジュールによって、遷移画像内のオブジ
ェクトの第２部分を識別するステップと、オブジェクト再構成モジュールによって、遷移
画像内のオブジェクトの第２部分の周辺に第２バウンディングボックスを構成するステッ
プとを含む。第２バウンディングボックスは、オブジェクトの第１領域及びオブジェクト
の第２領域を含み得る。特定の実施形態では、方法は、遷移画像内のオブジェクトの第１
領域及び第１画像内のオブジェクトの第１領域が等価領域であることを決定するために、
ＩｏＵ（Ｉｎｔｅｒｓｅｃｔｉｏｎ ｏｖｅｒ Ｕｎｉｏｎ）を使用する処理を含む。い
くつかの実施形態では、遷移画像は、第１画像の半分及び第２画像の半分を含む。
オブジェクトの第１部分（ｆｉｒｓｔ ｐｏｒｔｉｏｎ）を識別するステップと、オブジ
ェクト再構成モジュールによって、第１画像内のオブジェクトの第１部分の周辺に第１バ
ウンディングボックス（ｆｉｒｓｔ ｂｏｕｎｄｉｎｇ ｂｏｘ）を構成するステップと
を含む。第１バウンディングボックスは、オブジェクトの第１領域を含み得る。いくつか
の実施形態では、方法は、オブジェクト再構成モジュールによって、遷移画像内のオブジ
ェクトの第２部分を識別するステップと、オブジェクト再構成モジュールによって、遷移
画像内のオブジェクトの第２部分の周辺に第２バウンディングボックスを構成するステッ
プとを含む。第２バウンディングボックスは、オブジェクトの第１領域及びオブジェクト
の第２領域を含み得る。特定の実施形態では、方法は、遷移画像内のオブジェクトの第１
領域及び第１画像内のオブジェクトの第１領域が等価領域であることを決定するために、
ＩｏＵ（Ｉｎｔｅｒｓｅｃｔｉｏｎ ｏｖｅｒ Ｕｎｉｏｎ）を使用する処理を含む。い
くつかの実施形態では、遷移画像は、第１画像の半分及び第２画像の半分を含む。
【0006】
他の実施形態によれば、装置は、１つ以上のプロセッサと、１つ以上のプロセッサに結
合された１つ以上のコンピュータ可読非一時的記憶媒体（ｃｏｍｐｕｔｅｒ－ｒｅａｄａ
ｂｌｅ ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ ｓｔｏｒａｇｅ ｍｅｄｉａ）とを含む。１つ
以上のコンピュータ可読非一時的記憶媒体は、１つ以上のプロセッサによって実行される
と、第１画像及び第２画像の受信を含む処理を装置に実行させる命令を含む。第１画像は
、オブジェクトの第１領域を含み、第２画像は、オブジェクトの第２領域を含む。処理は
、遷移画像を識別する処理も含む。遷移画像は、オブジェクトの第１領域及びオブジェク
トの第２領域を含む。処理はまた、遷移画像内のオブジェクトの第１領域及び第１画像内
のオブジェクトの第１領域が第１等価領域であると決定する処理と、第１画像及び遷移画
像を使用してオブジェクトの再構成を生成する処理とを含む。オブジェクトの再構成は、
オブジェクトの第１領域及びオブジェクトの第２領域を含み、第１等価領域を除外する。
合された１つ以上のコンピュータ可読非一時的記憶媒体（ｃｏｍｐｕｔｅｒ－ｒｅａｄａ
ｂｌｅ ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ ｓｔｏｒａｇｅ ｍｅｄｉａ）とを含む。１つ
以上のコンピュータ可読非一時的記憶媒体は、１つ以上のプロセッサによって実行される
と、第１画像及び第２画像の受信を含む処理を装置に実行させる命令を含む。第１画像は
、オブジェクトの第１領域を含み、第２画像は、オブジェクトの第２領域を含む。処理は
、遷移画像を識別する処理も含む。遷移画像は、オブジェクトの第１領域及びオブジェク
トの第２領域を含む。処理はまた、遷移画像内のオブジェクトの第１領域及び第１画像内
のオブジェクトの第１領域が第１等価領域であると決定する処理と、第１画像及び遷移画
像を使用してオブジェクトの再構成を生成する処理とを含む。オブジェクトの再構成は、
オブジェクトの第１領域及びオブジェクトの第２領域を含み、第１等価領域を除外する。
【0007】
また他の実施形態によれば、１つ以上のコンピュータ可読記憶媒体は、プロセッサによ
って実行されると、オブジェクト再構成モジュールによって、第１画像及び第２画像を受
信する処理を含む処理をプロセッサに実行させる命令を具現化する。第１画像は、オブジ
ェクトの第１領域を含み、第２画像は、オブジェクトの第２領域を含む。処理はまた、オ
ブジェクト再構成モジュールによって、遷移画像を識別する処理を含む。遷移画像は、オ
ブジェクトの第１領域及びオブジェクトの第２領域を含む。処理はまた、オブジェクト再
構成モジュールによって、遷移画像内のオブジェクトの第１領域、及び第１画像内のオブ
ジェクトの第１領域が第１等価領域であると決定する処理と、オブジェクト再構成モジュ
ールによって、第１画像及び遷移画像を使用してオブジェクトの再構成を生成する処理と
を含む。オブジェクトの再構成は、オブジェクトの第１領域及びオブジェクトの第２領域
を含み、第１等価領域を除外する。
って実行されると、オブジェクト再構成モジュールによって、第１画像及び第２画像を受
信する処理を含む処理をプロセッサに実行させる命令を具現化する。第１画像は、オブジ
ェクトの第１領域を含み、第２画像は、オブジェクトの第２領域を含む。処理はまた、オ
ブジェクト再構成モジュールによって、遷移画像を識別する処理を含む。遷移画像は、オ
ブジェクトの第１領域及びオブジェクトの第２領域を含む。処理はまた、オブジェクト再
構成モジュールによって、遷移画像内のオブジェクトの第１領域、及び第１画像内のオブ
ジェクトの第１領域が第１等価領域であると決定する処理と、オブジェクト再構成モジュ
ールによって、第１画像及び遷移画像を使用してオブジェクトの再構成を生成する処理と
を含む。オブジェクトの再構成は、オブジェクトの第１領域及びオブジェクトの第２領域
を含み、第１等価領域を除外する。
【0008】
本開示の特定の実施形態の技術的利点は、以下のうちの１つ以上を含み得る。本開示は
、遷移画像を使用してオブジェクトを再構成するシステム及び方法について説明する。特
定の実施形態では、オブジェクトを再構成するために使用されるバウンディングボックス
縮小アルゴリズムは、単一画像及び単一類推結果内に含まれたバウンディングボックスを
縮小するために、画像別に動作する標準の非最大抑制アルゴリズム（ｎｏｎ－ｍａｘｉｍ
ｕｍ ｓｕｐｐｒｅｓｓｉｏｎ ａｌｇｏｒｉｔｈｍｓ）と組み合わせて使用され得る。
特定の実施形態では、遷移画像は、２つの画像を所定のパーセンテージで重ね合わせるこ
とによって生成される。本開示の特定の実施形態では、５０％の所定のパーセンテージで
使用されるが、本開示は、任意の適切な所定のパーセンテージ（例えば、２５パーセント
、７５パーセントなど）を企図する。特定の実施形態では、本明細書に開示されたシステ
ム及び方法は、２つ以上のボックス間のＩｏＵスコア、検出ラベルの同等性、及び／又は
信頼スコアの閾値などの縮小基準を使用し得る。
、遷移画像を使用してオブジェクトを再構成するシステム及び方法について説明する。特
定の実施形態では、オブジェクトを再構成するために使用されるバウンディングボックス
縮小アルゴリズムは、単一画像及び単一類推結果内に含まれたバウンディングボックスを
縮小するために、画像別に動作する標準の非最大抑制アルゴリズム（ｎｏｎ－ｍａｘｉｍ
ｕｍ ｓｕｐｐｒｅｓｓｉｏｎ ａｌｇｏｒｉｔｈｍｓ）と組み合わせて使用され得る。
特定の実施形態では、遷移画像は、２つの画像を所定のパーセンテージで重ね合わせるこ
とによって生成される。本開示の特定の実施形態では、５０％の所定のパーセンテージで
使用されるが、本開示は、任意の適切な所定のパーセンテージ（例えば、２５パーセント
、７５パーセントなど）を企図する。特定の実施形態では、本明細書に開示されたシステ
ム及び方法は、２つ以上のボックス間のＩｏＵスコア、検出ラベルの同等性、及び／又は
信頼スコアの閾値などの縮小基準を使用し得る。
【0009】
本開示の特定の実施形態では、本明細書に開示されたシステム及び方法は、同じ画像内
のいくつかのオブジェクトクラスにわたって使用され得る。例えば、いくつかの実施形態
では、同じクラスに属するバウンディングボックスを論理的に縮小することができ、その
結果、いくつかの完全に構成されたオブジェクトが生成されてもよい。特定の実施形態で
は、等価を算出するために、標準の非最大抑制アルゴリズムが使用される方法と同様に、
ＩｏＵを使用して、バウンディングボックス及び／又は他の関心領域の等価領域を算出し
てもよい。本開示で説明するシステム及び方法は、鉄道、道路、及び水路を含む様々な運
送インフラに一般化し得る。
のいくつかのオブジェクトクラスにわたって使用され得る。例えば、いくつかの実施形態
では、同じクラスに属するバウンディングボックスを論理的に縮小することができ、その
結果、いくつかの完全に構成されたオブジェクトが生成されてもよい。特定の実施形態で
は、等価を算出するために、標準の非最大抑制アルゴリズムが使用される方法と同様に、
ＩｏＵを使用して、バウンディングボックス及び／又は他の関心領域の等価領域を算出し
てもよい。本開示で説明するシステム及び方法は、鉄道、道路、及び水路を含む様々な運
送インフラに一般化し得る。
【0010】
他の技術的利点は、以下の図面、説明、及び特許請求の範囲から当業者には容易に明ら
かになるであろう。さらに、特定の利点が上に列挙されているが、様々な実施形態は、列
挙された利点の全部又は一部を含むか、全く含まなくてもよい。
かになるであろう。さらに、特定の利点が上に列挙されているが、様々な実施形態は、列
挙された利点の全部又は一部を含むか、全く含まなくてもよい。
【0011】
本開示内容の理解を助けるために、添付の図面と併せて以下の説明を参照する。
【図面の簡単な説明】
【0012】
【図1】遷移画像を使用してオブジェクトを再構成するための例示的なシステムを示す図である。
【図6】遷移画像を使用してオブジェクトを再構成する例示的な方法を示す図である。
【図7】本明細書に記載のシステム及び方法によって使用され得る例示的なコンピュータシステムを示す図である。
【発明を実施するための形態】
【0013】
図１～図７は、遷移画像を使用してオブジェクトを再構成するための例示的なシステム
及び方法を示している。図１は、遷移画像を使用してオブジェクトを再構成するための例
示的なシステムを示し、図２は、図１のシステムによって使用され得る例示的な画像を示
している。図３は、図１のシステムによって使用され得る例示的な遷移画像を示し、図４
は、図１のシステムによって決定され得る例示的な等価領域を示している。図５は、図１
のシステムによって生成され得るオブジェクト再構成の例を示している。図６は、遷移画
像を使用してオブジェクトを再構成する例示的な方法を示している。図７は、本明細書に
記載のシステム及び方法によって使用され得る例示的なコンピュータシステムを示してい
る。
及び方法を示している。図１は、遷移画像を使用してオブジェクトを再構成するための例
示的なシステムを示し、図２は、図１のシステムによって使用され得る例示的な画像を示
している。図３は、図１のシステムによって使用され得る例示的な遷移画像を示し、図４
は、図１のシステムによって決定され得る例示的な等価領域を示している。図５は、図１
のシステムによって生成され得るオブジェクト再構成の例を示している。図６は、遷移画
像を使用してオブジェクトを再構成する例示的な方法を示している。図７は、本明細書に
記載のシステム及び方法によって使用され得る例示的なコンピュータシステムを示してい
る。
【0014】
図１は、遷移画像を使用してオブジェクトを再構成するための例示的なシステム１００
を示す。システム１００又はその一部は、組織（ｅｎｔｉｔｙ）に関連することができ、
遷移画像を使用してオブジェクトを再構成する、企業、会社（例えば、鉄道会社、運送会
社など）又は政府機関（例えば、運輸局、公安局など）のような任意の組織を含み得る。
システム１００の要素は、ハードウェア、ファームウェア、及びソフトウェアの任意の適
切な組み合わせを使用して実現され得る。例えば、システム１００の要素は、図７のコン
ピュータシステムの１つ以上の構成要素を使用して実現されてもよい。システム１００は
、ネットワーク１１０、鉄道環境（ｒａｉｌｗａｙ ｅｎｖｉｒｏｎｍｅｎｔ）１２０、
鉄道線路１３０、鉄道車両１４０、画像キャプチャモジュール１５０、オブジェクト１６
０、オブジェクト再構成モジュール１７０、画像１７２、遷移画像１７４、バウンディン
グボックス１７６、等価領域、及びオブジェクト再構成１８０を含む。
を示す。システム１００又はその一部は、組織（ｅｎｔｉｔｙ）に関連することができ、
遷移画像を使用してオブジェクトを再構成する、企業、会社（例えば、鉄道会社、運送会
社など）又は政府機関（例えば、運輸局、公安局など）のような任意の組織を含み得る。
システム１００の要素は、ハードウェア、ファームウェア、及びソフトウェアの任意の適
切な組み合わせを使用して実現され得る。例えば、システム１００の要素は、図７のコン
ピュータシステムの１つ以上の構成要素を使用して実現されてもよい。システム１００は
、ネットワーク１１０、鉄道環境（ｒａｉｌｗａｙ ｅｎｖｉｒｏｎｍｅｎｔ）１２０、
鉄道線路１３０、鉄道車両１４０、画像キャプチャモジュール１５０、オブジェクト１６
０、オブジェクト再構成モジュール１７０、画像１７２、遷移画像１７４、バウンディン
グボックス１７６、等価領域、及びオブジェクト再構成１８０を含む。
【0015】
ネットワーク１１０は、システム１００の構成要素間の伝達を容易にする任意のタイプ
のネットワークであり得る。ネットワーク１１０の１つ以上の部分は、アドホックネット
ワーク、イントラネット、エクストラネット、仮想私設網（ＶＰＮ）、ローカルエリアネ
ットワーク（ＬＡＮ）、無線ＬＡＮ（ＷＬＡＮ）、広域ネットワーク（ＷＡＮ）、無線Ｗ
ＡＮ（ＷＷＡＮ）、大都市圏ネットワーク（ＭＡＮ）、インターネットの一部、公衆交換
電話網（ＰＳＴＮ）の一部、携帯電話網、３Ｇネットワーク、４Ｇネットワーク、５Ｇネ
ットワーク、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）セルラ通信網、これら
の２つ以上の組み合わせ、又はその他の適切なタイプのネットワークを含み得る。ネット
ワーク１１０の１つ以上の部分は、１つ以上のアクセス（例えば、モバイルアクセス）、
コア及び／又はエッジネットワークを含み得る。ネットワーク１１０は、私設網（ｐｒｉ
ｖａｔｅ ｎｅｔｗｏｒｋ）、公衆網（ｐｕｂｌｉｃ ｎｅｔｗｏｒｋ）、インターネッ
トを介した接続、モバイルネットワーク、ＷＩ－ＦＩネットワーク、ブルートゥース（登
録商標）ネットワークなどの任意の通信網であり得る。システム１００の１つ以上の構成
要素は、ネットワーク１１０を介して伝達し得る。例えば、オブジェクト再構成モジュー
ル１７０は、画像キャプチャモジュール１５０から情報を受信することを含め、ネットワ
ーク１１０を介して伝達し得る。
のネットワークであり得る。ネットワーク１１０の１つ以上の部分は、アドホックネット
ワーク、イントラネット、エクストラネット、仮想私設網（ＶＰＮ）、ローカルエリアネ
ットワーク（ＬＡＮ）、無線ＬＡＮ（ＷＬＡＮ）、広域ネットワーク（ＷＡＮ）、無線Ｗ
ＡＮ（ＷＷＡＮ）、大都市圏ネットワーク（ＭＡＮ）、インターネットの一部、公衆交換
電話網（ＰＳＴＮ）の一部、携帯電話網、３Ｇネットワーク、４Ｇネットワーク、５Ｇネ
ットワーク、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）セルラ通信網、これら
の２つ以上の組み合わせ、又はその他の適切なタイプのネットワークを含み得る。ネット
ワーク１１０の１つ以上の部分は、１つ以上のアクセス（例えば、モバイルアクセス）、
コア及び／又はエッジネットワークを含み得る。ネットワーク１１０は、私設網（ｐｒｉ
ｖａｔｅ ｎｅｔｗｏｒｋ）、公衆網（ｐｕｂｌｉｃ ｎｅｔｗｏｒｋ）、インターネッ
トを介した接続、モバイルネットワーク、ＷＩ－ＦＩネットワーク、ブルートゥース（登
録商標）ネットワークなどの任意の通信網であり得る。システム１００の１つ以上の構成
要素は、ネットワーク１１０を介して伝達し得る。例えば、オブジェクト再構成モジュー
ル１７０は、画像キャプチャモジュール１５０から情報を受信することを含め、ネットワ
ーク１１０を介して伝達し得る。
【0016】
システム１００の鉄道環境１２０は、１つ以上の鉄道線路１３０を含む領域である。鉄
道環境１２０は、区画（ｄｉｖｉｓｉｏｎ）及び／又は細区画（ｓｕｂｄｉｖｉｓｉｏｎ
）に関連し得る。区画は、監督者の監督下にある鉄道の部分である。細区画は、区画のさ
らに小さな部分である。細区画は、作業員区域（ｃｒｅｗ ｄｉｓｔｒｉｃｔ）及び／又
は支線（ｂｒａｎｃｈ ｌｉｎｅ）であり得る。図１に示す実施形態では、鉄道環境１２
０は、鉄道線路１３０、鉄道車両１４０、画像キャプチャモジュール１５０、及びオブジ
ェクト１６０を含む。
道環境１２０は、区画（ｄｉｖｉｓｉｏｎ）及び／又は細区画（ｓｕｂｄｉｖｉｓｉｏｎ
）に関連し得る。区画は、監督者の監督下にある鉄道の部分である。細区画は、区画のさ
らに小さな部分である。細区画は、作業員区域（ｃｒｅｗ ｄｉｓｔｒｉｃｔ）及び／又
は支線（ｂｒａｎｃｈ ｌｉｎｅ）であり得る。図１に示す実施形態では、鉄道環境１２
０は、鉄道線路１３０、鉄道車両１４０、画像キャプチャモジュール１５０、及びオブジ
ェクト１６０を含む。
【0017】
システム１００の鉄道線路１３０は、鉄道車両１４０の車輪が転がるための表面を提供
することによって、鉄道車両１４０が動くことを可能にする構造である。特定の実施形態
では、鉄道線路１３０は、レール、締結装置、枕木、バラストなどを含む。システム１０
０の鉄道車両１４０は、鉄道線路１３０に沿って移動できる車両である。鉄道車両１４０
は、ジオメトリ車両、機関車、客車、貨車、有蓋車、長物車、タンク車などであってもよ
い。特定の実施形態では、鉄道車両１４０は、１つ以上の画像キャプチャモジュール１５
０に関連付けられてもよい。
することによって、鉄道車両１４０が動くことを可能にする構造である。特定の実施形態
では、鉄道線路１３０は、レール、締結装置、枕木、バラストなどを含む。システム１０
０の鉄道車両１４０は、鉄道線路１３０に沿って移動できる車両である。鉄道車両１４０
は、ジオメトリ車両、機関車、客車、貨車、有蓋車、長物車、タンク車などであってもよ
い。特定の実施形態では、鉄道車両１４０は、１つ以上の画像キャプチャモジュール１５
０に関連付けられてもよい。
【0018】
システム１００の画像キャプチャモジュール１５０は、オブジェクト１６０の画像１７
２をキャプチャする構成要素である。システム１００のオブジェクト１６０は、道路、鉄
道、航空路、水路、運河、パイプライン、及びターミナル構成要素などの輸送インフラ構
成要素である。オブジェクト１６０は、鉄道線路１３０、破片（ｄｅｂｒｉｓ）（例えば
、瓦礫（ｒｕｂｂｌｅ）、残骸（ｗｒｅｃｋａｇｅ）、廃虚（ｒｕｉｎｓ）、落葉（ｌｉ
ｔｔｅｒ）、ゴミ（ｔｒａｓｈ）、小枝（ｂｒｕｓｈ）など）、歩行者（例えば、侵入者
（ｔｒｅｓｐａｓｓｅｒ））、動物（ａｎｉｍａｌ）、植生（ｖｅｇｅｔａｔｉｏｎ）、
バラストなどの鉄道環境１２０内の構成要素を含み得る。オブジェクト１６０は、ジョイ
ント（ｊｏｉｎｔ）、スイッチ（ｓｗｉｔｃｈ）、フロッグ（ｆｒｏｇ）、レールヘッド
（ｒａｉｌ ｈｅａｄ）、アンカー（ａｎｃｈｏｒ）、ファスナ（ｆａｓｔｅｎｅｒ）、
ゲージプレート（ｇａｇｅ ｐｌａｔｅ）、バラスト（ｂａｌｌａｓｔ）、枕木（例えば
、コンクリート製の枕木及び木製の枕木）などの鉄道線路１３０の構成要素を含み得る。
システム１００の画像１７２は、１つ以上のオブジェクト１６０の物理的形態を示す。画
像１７２は、デジタル画像、写真などを含み得る。画像１７２は、画像１７２ａ、画像１
７２ｂなどを含み、画像１７２ｎまで続き、ここで、１７２ｎは、任意の適切な数を表す
。
２をキャプチャする構成要素である。システム１００のオブジェクト１６０は、道路、鉄
道、航空路、水路、運河、パイプライン、及びターミナル構成要素などの輸送インフラ構
成要素である。オブジェクト１６０は、鉄道線路１３０、破片（ｄｅｂｒｉｓ）（例えば
、瓦礫（ｒｕｂｂｌｅ）、残骸（ｗｒｅｃｋａｇｅ）、廃虚（ｒｕｉｎｓ）、落葉（ｌｉ
ｔｔｅｒ）、ゴミ（ｔｒａｓｈ）、小枝（ｂｒｕｓｈ）など）、歩行者（例えば、侵入者
（ｔｒｅｓｐａｓｓｅｒ））、動物（ａｎｉｍａｌ）、植生（ｖｅｇｅｔａｔｉｏｎ）、
バラストなどの鉄道環境１２０内の構成要素を含み得る。オブジェクト１６０は、ジョイ
ント（ｊｏｉｎｔ）、スイッチ（ｓｗｉｔｃｈ）、フロッグ（ｆｒｏｇ）、レールヘッド
（ｒａｉｌ ｈｅａｄ）、アンカー（ａｎｃｈｏｒ）、ファスナ（ｆａｓｔｅｎｅｒ）、
ゲージプレート（ｇａｇｅ ｐｌａｔｅ）、バラスト（ｂａｌｌａｓｔ）、枕木（例えば
、コンクリート製の枕木及び木製の枕木）などの鉄道線路１３０の構成要素を含み得る。
システム１００の画像１７２は、１つ以上のオブジェクト１６０の物理的形態を示す。画
像１７２は、デジタル画像、写真などを含み得る。画像１７２は、画像１７２ａ、画像１
７２ｂなどを含み、画像１７２ｎまで続き、ここで、１７２ｎは、任意の適切な数を表す
。
【0019】
画像キャプチャモジュール１５０は、１つ以上のカメラ、レンズ、センサ、光学装置、
照明要素などを含み得る。例えば、画像キャプチャモジュール１５０は、オブジェクト１
６０の画像１７２を自動でキャプチャする１つ以上のカメラ（例えば、高解像度カメラ、
ラインスキャンカメラ、ステレオカメラなど）を含んでもよい。特定の実施形態では、画
像キャプチャモジュール１５０は、鉄道車両１４０に取り付けられる。画像キャプチャモ
ジュール１５０は、鉄道環境１２０の鮮明な視野を提供する任意の適所で鉄道車両１４０
に取り付けられ得る。例えば、画像キャプチャモジュール１５０は、鉄道線路１３０の下
向きのビューを提供するために、鉄道車両１４０の前方端部（例えば、フロントバンパ）
に取り付けられてもよい。別の例として、画像キャプチャモジュール１５０は、鉄道線路
１３０の前方ビューを提供するために、鉄道車両１４０の前方端部（例えば、フロントガ
ラス）に取り付けられてもよい。また別の例として、画像キャプチャモジュール１５０は
、鉄道線路１３０の後方ビューを提供するために、鉄道車両１４０の後方端部（例えば、
後部フロントガラス）に取り付けられてもよい。
照明要素などを含み得る。例えば、画像キャプチャモジュール１５０は、オブジェクト１
６０の画像１７２を自動でキャプチャする１つ以上のカメラ（例えば、高解像度カメラ、
ラインスキャンカメラ、ステレオカメラなど）を含んでもよい。特定の実施形態では、画
像キャプチャモジュール１５０は、鉄道車両１４０に取り付けられる。画像キャプチャモ
ジュール１５０は、鉄道環境１２０の鮮明な視野を提供する任意の適所で鉄道車両１４０
に取り付けられ得る。例えば、画像キャプチャモジュール１５０は、鉄道線路１３０の下
向きのビューを提供するために、鉄道車両１４０の前方端部（例えば、フロントバンパ）
に取り付けられてもよい。別の例として、画像キャプチャモジュール１５０は、鉄道線路
１３０の前方ビューを提供するために、鉄道車両１４０の前方端部（例えば、フロントガ
ラス）に取り付けられてもよい。また別の例として、画像キャプチャモジュール１５０は
、鉄道線路１３０の後方ビューを提供するために、鉄道車両１４０の後方端部（例えば、
後部フロントガラス）に取り付けられてもよい。
【0020】
画像キャプチャモジュール１５０は、鉄道車両１４０が鉄道線路１３０に沿って移動す
る間に、静止画像又は動画１７２を自動でキャプチャし得る。画像キャプチャモジュール
１５０は、任意の適切な数の静止画像又は動画１７２を自動でキャプチャし得る。例えば
、画像キャプチャモジュール１５０は、カメラ（例えば、ラインスキャンカメラ）をトリ
ガーするために、エンコーダ（例えば、位置エンコーダ）を使用して、距離の関数として
画像１７２を自動でキャプチャしてもよい。別の例として、画像キャプチャモジュール１
５０は、毎秒、毎分、毎時間など、所定の数の静止画像１７２を自動でキャプチャしても
よい。いくつかの実施形態では、画像キャプチャモジュール１５０は、オブジェクト１６
０に対して画像１７２を検査し得る。例えば、画像キャプチャモジュール１５０は、１つ
以上のモデルを使用して、画像１７２内のオブジェクト１６０を検出してもよい。モデル
は、１つ以上のオブジェクト検出モデル、機械学習モデル、マシンビジョンモデル、深層
学習モデルなどを含み得る。画像キャプチャモジュール１５０は、１つ以上のオブジェク
ト１６０の１つ以上の画像１７２をオブジェクト再構成モジュール１７０に伝達し得る。
る間に、静止画像又は動画１７２を自動でキャプチャし得る。画像キャプチャモジュール
１５０は、任意の適切な数の静止画像又は動画１７２を自動でキャプチャし得る。例えば
、画像キャプチャモジュール１５０は、カメラ（例えば、ラインスキャンカメラ）をトリ
ガーするために、エンコーダ（例えば、位置エンコーダ）を使用して、距離の関数として
画像１７２を自動でキャプチャしてもよい。別の例として、画像キャプチャモジュール１
５０は、毎秒、毎分、毎時間など、所定の数の静止画像１７２を自動でキャプチャしても
よい。いくつかの実施形態では、画像キャプチャモジュール１５０は、オブジェクト１６
０に対して画像１７２を検査し得る。例えば、画像キャプチャモジュール１５０は、１つ
以上のモデルを使用して、画像１７２内のオブジェクト１６０を検出してもよい。モデル
は、１つ以上のオブジェクト検出モデル、機械学習モデル、マシンビジョンモデル、深層
学習モデルなどを含み得る。画像キャプチャモジュール１５０は、１つ以上のオブジェク
ト１６０の１つ以上の画像１７２をオブジェクト再構成モジュール１７０に伝達し得る。
【0021】
システム１００のオブジェクト再構成モジュール１７０は、１つ以上の画像１７２及び
／又は１つ以上の遷移画像１７４からオブジェクト１６０を再生成する構成要素である。
特定の実施形態では、オブジェクト再構成モジュール１７０は、システム１００の１つ以
上の構成要素から画像１７２を受信する。例えば、オブジェクト再構成モジュール１７０
は、画像キャプチャモジュール１５０から画像１７２ａ及び画像１７２ｂを受信してもよ
い。複数の画像１７２は、単一オブジェクト１６０の１つ以上の部分を含み得る。例えば
、画像１７２ａは、オブジェクト１６０の第１部分を含んでもよく、画像１７２ｂは、オ
ブジェクト１６０の第２部分を含んでもよい。
／又は１つ以上の遷移画像１７４からオブジェクト１６０を再生成する構成要素である。
特定の実施形態では、オブジェクト再構成モジュール１７０は、システム１００の１つ以
上の構成要素から画像１７２を受信する。例えば、オブジェクト再構成モジュール１７０
は、画像キャプチャモジュール１５０から画像１７２ａ及び画像１７２ｂを受信してもよ
い。複数の画像１７２は、単一オブジェクト１６０の１つ以上の部分を含み得る。例えば
、画像１７２ａは、オブジェクト１６０の第１部分を含んでもよく、画像１７２ｂは、オ
ブジェクト１６０の第２部分を含んでもよい。
【0022】
各オブジェクト１６０は、領域として表し得る。例えば、オブジェクト１６０（例えば
、レールの継目板）は、画像１７２ａがオブジェクト１６０の４つの連続した領域を含み
、画像１７２ｂがオブジェクト１６０の残りの第５領域を含むように、５つの領域を有し
てもよい。別の例として、オブジェクト１６０は、画像１７２ａがオブジェクト１６０の
３つの連続的な領域を含み、画像１７２ｂがオブジェクト１６０の残りの第４領域及び第
５領域を含むように５つの領域を有してもよい。
、レールの継目板）は、画像１７２ａがオブジェクト１６０の４つの連続した領域を含み
、画像１７２ｂがオブジェクト１６０の残りの第５領域を含むように、５つの領域を有し
てもよい。別の例として、オブジェクト１６０は、画像１７２ａがオブジェクト１６０の
３つの連続的な領域を含み、画像１７２ｂがオブジェクト１６０の残りの第４領域及び第
５領域を含むように５つの領域を有してもよい。
【0023】
特定の実施形態では、オブジェクト再構成モジュール１７０は、１つ以上の画像１７２
及び／又は遷移画像１７４に対する類推を実行する。オブジェクト再構成モジュール１７
０は、画像１７２及び／又は遷移画像１７４内のオブジェクト１６０を検出するために、
オブジェクト検出アルゴリズムを実行することによって類推を実行し得る。類推の実行に
応答して、オブジェクト再構成モジュール１７０は、１つ以上のオブジェクト１６０（又
はその一部）の周辺に１つ以上のバウンディングボックス１７６を生成し得る。バウンデ
ィングボックス１７６は、オブジェクト１６０を識別する輪郭線である。特定の実施形態
では、各バウンディングボックス１７６は、長方形の４つの角を識別するｘ及びｙ座標で
あり、オブジェクト１６０の周辺の長方形のボックスである。バウンディングボックス１
７６は、バウンディングボックス１７６ａ、バウンディングボックス１７６ｂ、バウンデ
ィングボックス１７６ｃなどを含み、バウンディングボックス１７６ｎまで続き、ここで
、１７４ｎは、任意の適切な数を表す。
及び／又は遷移画像１７４に対する類推を実行する。オブジェクト再構成モジュール１７
０は、画像１７２及び／又は遷移画像１７４内のオブジェクト１６０を検出するために、
オブジェクト検出アルゴリズムを実行することによって類推を実行し得る。類推の実行に
応答して、オブジェクト再構成モジュール１７０は、１つ以上のオブジェクト１６０（又
はその一部）の周辺に１つ以上のバウンディングボックス１７６を生成し得る。バウンデ
ィングボックス１７６は、オブジェクト１６０を識別する輪郭線である。特定の実施形態
では、各バウンディングボックス１７６は、長方形の４つの角を識別するｘ及びｙ座標で
あり、オブジェクト１６０の周辺の長方形のボックスである。バウンディングボックス１
７６は、バウンディングボックス１７６ａ、バウンディングボックス１７６ｂ、バウンデ
ィングボックス１７６ｃなどを含み、バウンディングボックス１７６ｎまで続き、ここで
、１７４ｎは、任意の適切な数を表す。
【0024】
特定の実施形態では、画像キャプチャモジュール１５０は、画像１７２内のオブジェク
ト１６０（又はその一部）の周辺にバウンディングボックス１７６を構成する。例えば、
オブジェクト再構成モジュール１７０は、画像１７２ａ内のオブジェクト１６０の第１部
分を識別し、画像１７２ａ内のオブジェクト１６０の第１部分の周辺にバウンディングボ
ックス１７６ａを構成してもよい。別の例として、オブジェクト再構成モジュール１７０
は、画像１７２ｂ内のオブジェクト１６０の第２部分を識別し、画像１７２ｂ内のオブジ
ェクト１６０の第２部分の周辺にバウンディングボックス１７６ｂを構成してもよい。ま
た別の例として、オブジェクト再構成モジュール１７０は、遷移画像１７４ａ内のオブジ
ェクト１６０の第３部分を識別し、遷移画像１７６ａ内のオブジェクト１６０の第３部分
の周辺にバウンディングボックス１７６ｃを構成してもよい。
ト１６０（又はその一部）の周辺にバウンディングボックス１７６を構成する。例えば、
オブジェクト再構成モジュール１７０は、画像１７２ａ内のオブジェクト１６０の第１部
分を識別し、画像１７２ａ内のオブジェクト１６０の第１部分の周辺にバウンディングボ
ックス１７６ａを構成してもよい。別の例として、オブジェクト再構成モジュール１７０
は、画像１７２ｂ内のオブジェクト１６０の第２部分を識別し、画像１７２ｂ内のオブジ
ェクト１６０の第２部分の周辺にバウンディングボックス１７６ｂを構成してもよい。ま
た別の例として、オブジェクト再構成モジュール１７０は、遷移画像１７４ａ内のオブジ
ェクト１６０の第３部分を識別し、遷移画像１７６ａ内のオブジェクト１６０の第３部分
の周辺にバウンディングボックス１７６ｃを構成してもよい。
【0025】
いくつかの実施形態では、オブジェクト１６０の領域は、バウンディングボックス１７
６によって画定される。例えば、５つの領域を有するオブジェクトの場合、画像１７２ａ
内のバウンディングボックス１７６ａによって囲まれたオブジェクト１６０の第１部分は
、オブジェクト１６０の第１領域、第２領域、第３領域、及び第４領域を画定してもよく
、画像１７２ｂ内のバウンディングボックス１７６ｂによって囲まれたオブジェクト１６
０の第２部分は、オブジェクト１６０の第５領域を画定してもよく、そして、遷移画像１
７４ａ内のバウンディングボックス１７６ｃによって囲まれたオブジェクト１６０の第３
部分は、オブジェクト１６０の第２領域、第３領域、第４領域、及び第５領域を画定して
もよい。
６によって画定される。例えば、５つの領域を有するオブジェクトの場合、画像１７２ａ
内のバウンディングボックス１７６ａによって囲まれたオブジェクト１６０の第１部分は
、オブジェクト１６０の第１領域、第２領域、第３領域、及び第４領域を画定してもよく
、画像１７２ｂ内のバウンディングボックス１７６ｂによって囲まれたオブジェクト１６
０の第２部分は、オブジェクト１６０の第５領域を画定してもよく、そして、遷移画像１
７４ａ内のバウンディングボックス１７６ｃによって囲まれたオブジェクト１６０の第３
部分は、オブジェクト１６０の第２領域、第３領域、第４領域、及び第５領域を画定して
もよい。
【0026】
特定の実施形態では、オブジェクト再構成モジュール１７０は、画像１７２から遷移画
像１７４を生成する。遷移画像１７４は、１つ以上の他の画像１７２と同じピクセルを共
有する画像である。例えば、画像１７２ａ及び遷移画像１７４ａは、同じピクセルの所定
の比率（例えば、２５，５０、又は７５％）を共有してもよい。遷移画像１７４は、遷移
画像１７４ａ、遷移画像１７４ｂ、及び遷移画像１７４ｎまで含み、ここで、１７６ｎは
、任意の適切な数を表す。
像１７４を生成する。遷移画像１７４は、１つ以上の他の画像１７２と同じピクセルを共
有する画像である。例えば、画像１７２ａ及び遷移画像１７４ａは、同じピクセルの所定
の比率（例えば、２５，５０、又は７５％）を共有してもよい。遷移画像１７４は、遷移
画像１７４ａ、遷移画像１７４ｂ、及び遷移画像１７４ｎまで含み、ここで、１７６ｎは
、任意の適切な数を表す。
【0027】
いくつかの実施形態では、オブジェクト再構成モジュール１７０は、２つ以上の画像１
７２を重ね合わせることによって遷移画像１７４を生成する。例えば、オブジェクト再構
成モジュール１７０は、遷移画像１７４ａが画像１７２ａと画像１７２ｂの重なった部分
を含むように、画像１７２ａの一部（例えば、５０％）と画像１７２ｂの一部（例えば、
５０％）を重ねて遷移画像１７４ａを生成してもよい。いくつかの実施形態では、画像キ
ャプチャモジュール１５０は、遷移画像１７４をキャプチャする。例えば、画像キャプチ
ャモジュール１５０は、所定の量の重なり（例えば、２５，５０又は７５パーセントの重
なり）を含む後続の画像１７２をキャプチャするように構成してもよい。
７２を重ね合わせることによって遷移画像１７４を生成する。例えば、オブジェクト再構
成モジュール１７０は、遷移画像１７４ａが画像１７２ａと画像１７２ｂの重なった部分
を含むように、画像１７２ａの一部（例えば、５０％）と画像１７２ｂの一部（例えば、
５０％）を重ねて遷移画像１７４ａを生成してもよい。いくつかの実施形態では、画像キ
ャプチャモジュール１５０は、遷移画像１７４をキャプチャする。例えば、画像キャプチ
ャモジュール１５０は、所定の量の重なり（例えば、２５，５０又は７５パーセントの重
なり）を含む後続の画像１７２をキャプチャするように構成してもよい。
【0028】
特定の実施形態では、各遷移画像１７４は、オブジェクト１６０の１つ以上の領域を含
む。例えば、５つの領域を有するオブジェクトの場合、画像１７２ａは、第１領域、第２
領域、第３領域、及び第４領域を含んでもよく、画像１７２ｂは、第５領域を含んでもよ
く、遷移画像１７４ａは、画像１７２ａの第２、第３、及び第４領域と画像１７２ｂの第
５領域を含んでもよい。
む。例えば、５つの領域を有するオブジェクトの場合、画像１７２ａは、第１領域、第２
領域、第３領域、及び第４領域を含んでもよく、画像１７２ｂは、第５領域を含んでもよ
く、遷移画像１７４ａは、画像１７２ａの第２、第３、及び第４領域と画像１７２ｂの第
５領域を含んでもよい。
【0029】
特定の実施形態では、オブジェクト再構成モジュール１７０は、１つ以上の等価領域１
７８を決定する。等価領域１７８は、同じピクセルを共有する画像１７２及び遷移画像１
７４内の領域である。等価領域１７８は、等価領域１７８ａ、等価領域１７８ｂなどを等
価領域１７８ｎまで含み、ここで、１７８ｎは、任意の適切な数を表す。オブジェクト再
構成モジュール１７０は、１つ以上の画像１７２と１つ以上の遷移画像１７４との間の等
価領域１７８を決定し得る。例えば、オブジェクト再構成モジュール１７０は、画像１７
２ａ及び遷移画像１７４ａの両方がオブジェクト１６０の第２、第３、及び第４領域を含
むと決定してもよい。特定の実施形態では、オブジェクト再構成モジュール１７０は、オ
ブジェクト再構成１８０から等価領域１７８を除外する。いくつかの実施形態では、オブ
ジェクト再構成モジュール１７０は、遷移画像１７４内のオブジェクト１６０の第１領域
と画像１７２ａ内のオブジェクト１６０の第１領域とが等価領域１７８であることを決定
するために、ＩｏＵ、検出ラベルの同等性、及び／又は信頼度スコアの閾値を使用する。
７８を決定する。等価領域１７８は、同じピクセルを共有する画像１７２及び遷移画像１
７４内の領域である。等価領域１７８は、等価領域１７８ａ、等価領域１７８ｂなどを等
価領域１７８ｎまで含み、ここで、１７８ｎは、任意の適切な数を表す。オブジェクト再
構成モジュール１７０は、１つ以上の画像１７２と１つ以上の遷移画像１７４との間の等
価領域１７８を決定し得る。例えば、オブジェクト再構成モジュール１７０は、画像１７
２ａ及び遷移画像１７４ａの両方がオブジェクト１６０の第２、第３、及び第４領域を含
むと決定してもよい。特定の実施形態では、オブジェクト再構成モジュール１７０は、オ
ブジェクト再構成１８０から等価領域１７８を除外する。いくつかの実施形態では、オブ
ジェクト再構成モジュール１７０は、遷移画像１７４内のオブジェクト１６０の第１領域
と画像１７２ａ内のオブジェクト１６０の第１領域とが等価領域１７８であることを決定
するために、ＩｏＵ、検出ラベルの同等性、及び／又は信頼度スコアの閾値を使用する。
【0030】
特定の実施形態では、オブジェクト再構成モジュール１７０は、オブジェクト再構成１
８０を生成する。各オブジェクト再構成１８０は、オブジェクト１６０の全体の表現であ
る。例えば、オブジェクト再構成１８０は、画像１７２ａの第１、第２、第３、及び第４
領域、及び画像１７２ｂの第５領域を含んでもよい。オブジェクト再構成１８０は、オブ
ジェクト再構成１８０ａ、オブジェクト再構成１８０ｂなどを含み、オブジェクト再構成
１８０ｎまで続き、ここで、１８０ｎは、任意の適切な数を表す。特定の実施形態では、
オブジェクト再構成モジュール１７０は、１つ以上の画像１７２及び１つ以上の遷移画像
１７４を使用してオブジェクト再構成１８０を生成する。例えば、オブジェクト再構成モ
ジュール１７０は、画像１７２ａからの第１、第２、第３、及び第４領域と遷移画像１７
４ａからの第５領域とを連結することによって、オブジェクト再構成１８０ａを生成して
もよい。特定の実施形態では、オブジェクト再構成モジュール１７０は、オブジェクト再
構成１８０を生成するときに、オブジェクト１６０の領域の重複を避けるために、等価領
域１７８を除外する。例えば、画像１７２ａ及び遷移画像１７４ａの両方が、オブジェク
ト１６０の第２領域、第３領域、及び第４領域を含む場合、オブジェクト再構成モジュー
ル１７０は、オブジェクト再構成１８０ａにおいてこれらの領域が重複するのを避けるた
めに、遷移画像１７４ａの第２領域、第３領域、及び第４領域を除外してもよい。
８０を生成する。各オブジェクト再構成１８０は、オブジェクト１６０の全体の表現であ
る。例えば、オブジェクト再構成１８０は、画像１７２ａの第１、第２、第３、及び第４
領域、及び画像１７２ｂの第５領域を含んでもよい。オブジェクト再構成１８０は、オブ
ジェクト再構成１８０ａ、オブジェクト再構成１８０ｂなどを含み、オブジェクト再構成
１８０ｎまで続き、ここで、１８０ｎは、任意の適切な数を表す。特定の実施形態では、
オブジェクト再構成モジュール１７０は、１つ以上の画像１７２及び１つ以上の遷移画像
１７４を使用してオブジェクト再構成１８０を生成する。例えば、オブジェクト再構成モ
ジュール１７０は、画像１７２ａからの第１、第２、第３、及び第４領域と遷移画像１７
４ａからの第５領域とを連結することによって、オブジェクト再構成１８０ａを生成して
もよい。特定の実施形態では、オブジェクト再構成モジュール１７０は、オブジェクト再
構成１８０を生成するときに、オブジェクト１６０の領域の重複を避けるために、等価領
域１７８を除外する。例えば、画像１７２ａ及び遷移画像１７４ａの両方が、オブジェク
ト１６０の第２領域、第３領域、及び第４領域を含む場合、オブジェクト再構成モジュー
ル１７０は、オブジェクト再構成１８０ａにおいてこれらの領域が重複するのを避けるた
めに、遷移画像１７４ａの第２領域、第３領域、及び第４領域を除外してもよい。
【0031】
作動中に、システム１００の画像キャプチャモジュール１５０は、鉄道車両１４０に取
り付けられる。
り付けられる。
【0032】
画像キャプチャモジュールは、鉄道車両１４０が鉄道環境１２０の鉄道線路１３０に沿
って移動する間に、オブジェクト１６０の画像１７２ａ及び画像１７２ｂをキャプチャす
る。システム１００のオブジェクト再構成モジュール１７０は、ネットワーク１１０を介
して、画像キャプチャモジュール１５０からオブジェクト１６０（例えば、レールの継目
板（ｒａｉｌ ｊｏｉｎｔ ｂａｒ））の画像１７２ａ及び画像１７２ｂを受信する。オ
ブジェクト再構成モジュール１７０は、画像１７２ａ内のオブジェクト１６０の第１部分
を検出するために、１つ以上のオブジェクト検出モデルを使用する。オブジェクト再構成
モジュール１７０は、画像１７２ａ内のオブジェクト１６０の第１部分の周辺にバウンデ
ィングボックス１７６ａを構成する。オブジェクト１６０は、５つの領域として表され、
バウンディングボックス１７６ａによって囲まれた画像１７２ａの第１部分は、オブジェ
クト１６０の第１領域、第２領域、第３領域、及び第４領域を含む。画像１７２ｂは、オ
ブジェクト１６０の第２部分及び第５領域を含む。しかし、オブジェクト再構成モジュー
ル１７０は、画像１７２ｂの全体サイズに対する第２部分のサイズのために、オブジェク
ト１６０の第２部分を検出しないことがある。
って移動する間に、オブジェクト１６０の画像１７２ａ及び画像１７２ｂをキャプチャす
る。システム１００のオブジェクト再構成モジュール１７０は、ネットワーク１１０を介
して、画像キャプチャモジュール１５０からオブジェクト１６０（例えば、レールの継目
板（ｒａｉｌ ｊｏｉｎｔ ｂａｒ））の画像１７２ａ及び画像１７２ｂを受信する。オ
ブジェクト再構成モジュール１７０は、画像１７２ａ内のオブジェクト１６０の第１部分
を検出するために、１つ以上のオブジェクト検出モデルを使用する。オブジェクト再構成
モジュール１７０は、画像１７２ａ内のオブジェクト１６０の第１部分の周辺にバウンデ
ィングボックス１７６ａを構成する。オブジェクト１６０は、５つの領域として表され、
バウンディングボックス１７６ａによって囲まれた画像１７２ａの第１部分は、オブジェ
クト１６０の第１領域、第２領域、第３領域、及び第４領域を含む。画像１７２ｂは、オ
ブジェクト１６０の第２部分及び第５領域を含む。しかし、オブジェクト再構成モジュー
ル１７０は、画像１７２ｂの全体サイズに対する第２部分のサイズのために、オブジェク
ト１６０の第２部分を検出しないことがある。
【0033】
オブジェクト再構成モジュール１７０は、遷移画像１７４ａが画像１７２ａの半分と画
像１７２ｂの半分とを含むように、画像１７２ａと画像１７２ｂとを重ね合わせることに
よって、遷移画像１７４ａを生成する。オブジェクト再構成モジュール１７０は、遷移画
像１７４ａ内のオブジェクト１６０の第３部分を検出し、オブジェクト１６０の第３部分
の周辺にバウンディングボックス１７６ｃを構成する。バウンディングボックス１７６ｃ
は、オブジェクト１６０の第２領域、第３領域、第４領域、及び第５領域を含む。オブジ
ェクト再構成モジュール１７０は、画像１７２ａ及び遷移画像１７４ａの第２領域、第３
領域、及び第４領域が等価領域１７８であると決定する。オブジェクト再構成モジュール
１７０は、オブジェクト１６０の領域の重複を避けるために、オブジェクト再構成１８０
において等価領域１７８（例えば、遷移画像１７４ａの第３領域、第４領域、及び第５領
域）を除外する。オブジェクト再構成モジュール１７０は、画像１７２ａの第１領域、第
２領域、第３領域、及び第４領域と遷移画像１７４ａの第５領域とを連結することによっ
て、オブジェクト１６０のオブジェクト再構成１８０を生成する。このように、システム
１００は、オブジェクト１６０の小さい部分が画像１７２ｂで検出されない場合でも、オ
ブジェクト１６０全体を正確に再生成するのに使用され得る。
像１７２ｂの半分とを含むように、画像１７２ａと画像１７２ｂとを重ね合わせることに
よって、遷移画像１７４ａを生成する。オブジェクト再構成モジュール１７０は、遷移画
像１７４ａ内のオブジェクト１６０の第３部分を検出し、オブジェクト１６０の第３部分
の周辺にバウンディングボックス１７６ｃを構成する。バウンディングボックス１７６ｃ
は、オブジェクト１６０の第２領域、第３領域、第４領域、及び第５領域を含む。オブジ
ェクト再構成モジュール１７０は、画像１７２ａ及び遷移画像１７４ａの第２領域、第３
領域、及び第４領域が等価領域１７８であると決定する。オブジェクト再構成モジュール
１７０は、オブジェクト１６０の領域の重複を避けるために、オブジェクト再構成１８０
において等価領域１７８（例えば、遷移画像１７４ａの第３領域、第４領域、及び第５領
域）を除外する。オブジェクト再構成モジュール１７０は、画像１７２ａの第１領域、第
２領域、第３領域、及び第４領域と遷移画像１７４ａの第５領域とを連結することによっ
て、オブジェクト１６０のオブジェクト再構成１８０を生成する。このように、システム
１００は、オブジェクト１６０の小さい部分が画像１７２ｂで検出されない場合でも、オ
ブジェクト１６０全体を正確に再生成するのに使用され得る。
【0034】
図１は、ネットワーク１１０、鉄道環境１２０、鉄道線路１３０、鉄道車両１４０、画
像キャプチャモジュール１５０、オブジェクト１６０、オブジェクト再構成モジュール１
７０、画像１７２、バウンディングボックス１７６、遷移画像１７４、等価領域１７８、
及びオブジェクト再構成１８０の特定の配置を示す。本明細書は、ネットワーク１１０、
鉄道環境１２０、鉄道線路１３０、鉄道車両１４０、画像キャプチャモジュール１５０、
オブジェクト１６０、オブジェクト再構成モジュール１７０、画像１７２、バウンディン
グボックス１７６、遷移画像１７４、等価領域１７８、及びオブジェクト再構成１８０の
任意の適切な配置を企図する。
像キャプチャモジュール１５０、オブジェクト１６０、オブジェクト再構成モジュール１
７０、画像１７２、バウンディングボックス１７６、遷移画像１７４、等価領域１７８、
及びオブジェクト再構成１８０の特定の配置を示す。本明細書は、ネットワーク１１０、
鉄道環境１２０、鉄道線路１３０、鉄道車両１４０、画像キャプチャモジュール１５０、
オブジェクト１６０、オブジェクト再構成モジュール１７０、画像１７２、バウンディン
グボックス１７６、遷移画像１７４、等価領域１７８、及びオブジェクト再構成１８０の
任意の適切な配置を企図する。
【0035】
例えば、画像キャプチャモジュール１５０、及びオブジェクト再構成モジュール１７０
は、単一モジュールに結合され得る。
は、単一モジュールに結合され得る。
【0036】
図１は、ネットワーク１１０、鉄道環境１２０、鉄道線路１３０、鉄道車両１４０、画
像キャプチャモジュール１５０、オブジェクト１６０、オブジェクト再構成モジュール１
７０、画像１７２、バウンディングボックス１７６、遷移画像１７４、等価領域１７８、
及びオブジェクト再構成１８０の特定の数を示す。本明細書は、ネットワーク１１０、鉄
道環境１２０、鉄道線路１３０、鉄道車両１４０、画像キャプチャモジュール１５０、オ
ブジェクト１６０、オブジェクト再構成モジュール１７０、画像１７２、遷移画像１７４
、バウンディングボックス１７６、等価領域１７８、及びオブジェクト再構成１８０の任
意の適切な数を企図する。例えば、システム１００は、複数の鉄道環境１２０、複数の画
像キャプチャモジュール１５０及び／又は複数のオブジェクト再構成モジュール１７０を
含んでもよい。
像キャプチャモジュール１５０、オブジェクト１６０、オブジェクト再構成モジュール１
７０、画像１７２、バウンディングボックス１７６、遷移画像１７４、等価領域１７８、
及びオブジェクト再構成１８０の特定の数を示す。本明細書は、ネットワーク１１０、鉄
道環境１２０、鉄道線路１３０、鉄道車両１４０、画像キャプチャモジュール１５０、オ
ブジェクト１６０、オブジェクト再構成モジュール１７０、画像１７２、遷移画像１７４
、バウンディングボックス１７６、等価領域１７８、及びオブジェクト再構成１８０の任
意の適切な数を企図する。例えば、システム１００は、複数の鉄道環境１２０、複数の画
像キャプチャモジュール１５０及び／又は複数のオブジェクト再構成モジュール１７０を
含んでもよい。
【0037】
図２は、図１のシステムによって使用され得る例示的な画像１７２を示す。図２に示し
た実施形態では、画像１７２は、画像１７２ａ及び画像１７２ｂを含む。画像１７２ａは
、オブジェクト（例えば、図１のオブジェクト１６０）の一部を含み、画像１７２ｂは、
同一のオブジェクトの残りの部分を含む。画像１７２ａ内のオブジェクトの部分は、バウ
ンディングボックス１７６ａによって囲まれ、画像１７２ｂ内のオブジェクトの部分は、
バウンディングボックス１７６ｂによって囲まれている。
た実施形態では、画像１７２は、画像１７２ａ及び画像１７２ｂを含む。画像１７２ａは
、オブジェクト（例えば、図１のオブジェクト１６０）の一部を含み、画像１７２ｂは、
同一のオブジェクトの残りの部分を含む。画像１７２ａ内のオブジェクトの部分は、バウ
ンディングボックス１７６ａによって囲まれ、画像１７２ｂ内のオブジェクトの部分は、
バウンディングボックス１７６ｂによって囲まれている。
【0038】
画像１７２内のオブジェクト全体を理解するのに役立つように、オブジェクトを５つの
領域に分割する。画像１７２ａ内のオブジェクトの部分は、領域１、領域２、領域３、及
び領域４を含み、画像１７２ｂ内のオブジェクトの部分は、領域５を含む。オブジェクト
が２つの独立的な画像１７２として表される場合、オブジェクト全体の再構成は、画像１
７２ａからのバウンディングボックス１７６ａ（領域１から４を含む）と、それに続く画
像１７２ｂからのバウンディングボックス１７６ｂ（領域５を含む）である。バウンディ
ングボックス１７６ａとバウンディングボックス１７６ｂとの連結は、領域１から５まで
の完全なセットを生成する。
領域に分割する。画像１７２ａ内のオブジェクトの部分は、領域１、領域２、領域３、及
び領域４を含み、画像１７２ｂ内のオブジェクトの部分は、領域５を含む。オブジェクト
が２つの独立的な画像１７２として表される場合、オブジェクト全体の再構成は、画像１
７２ａからのバウンディングボックス１７６ａ（領域１から４を含む）と、それに続く画
像１７２ｂからのバウンディングボックス１７６ｂ（領域５を含む）である。バウンディ
ングボックス１７６ａとバウンディングボックス１７６ｂとの連結は、領域１から５まで
の完全なセットを生成する。
【0039】
図２に示すように、画像１７２ｂは、オブジェクトの相対的に小さい部分であるオブジ
ェクトの５分の１を含む。図１のオブジェクト再構成モジュールは、画像１７２ｂ内のオ
ブジェクトの相対的に小さい部分を正確に検出するように訓練され得るが、このプロセス
は、オブジェクト検出速度を著しく低下させる可能性がある。特定の実施形態では、オブ
ジェクト再構成モジュールは、画像１７２ｂ内の領域５を検出することの遅延ペナルティ
を吸収できない場合がある。しかし、オブジェク再構成モジュールは、オブジェクト全体
をキャプチャする必要がある。この問題を解決するために、オブジェクト再構成モジュー
ルは、以下の図３で説明するように遷移画像を利用して、完全な遅延ペナルティを招かず
に、オブジェクト全体を正確に検出することができる。
ェクトの５分の１を含む。図１のオブジェクト再構成モジュールは、画像１７２ｂ内のオ
ブジェクトの相対的に小さい部分を正確に検出するように訓練され得るが、このプロセス
は、オブジェクト検出速度を著しく低下させる可能性がある。特定の実施形態では、オブ
ジェクト再構成モジュールは、画像１７２ｂ内の領域５を検出することの遅延ペナルティ
を吸収できない場合がある。しかし、オブジェク再構成モジュールは、オブジェクト全体
をキャプチャする必要がある。この問題を解決するために、オブジェクト再構成モジュー
ルは、以下の図３で説明するように遷移画像を利用して、完全な遅延ペナルティを招かず
に、オブジェクト全体を正確に検出することができる。
【0040】
図３は、図１のシステムによって使用され得る遷移画像１７４ａを示す。画像１７２ａ
及び画像１７２ｂは、各々２つの部分、即ち第１部分及び第２部分に分割される。画像１
７２ａの第２部分は、バウンディングボックス１７６ａの領域２、領域３、及び領域４を
含み、画像１７２ｂの第１部分は、バウンディングボックス１７６ｂの領域５を含む。特
定の実施形態では、オブジェクト再構成モジュールは、画像１７２ａの第２部分を画像１
７２ｂの第１部分と重ね合わせることによって、遷移画像１７４ａが画像１７２ａの第２
部分及び画像１７２ｂの第１部分を含むように生成し得る。いくつかの実施形態では、遷
移画像１７４ａは、画像キャプチャモジュールによって生成される。
及び画像１７２ｂは、各々２つの部分、即ち第１部分及び第２部分に分割される。画像１
７２ａの第２部分は、バウンディングボックス１７６ａの領域２、領域３、及び領域４を
含み、画像１７２ｂの第１部分は、バウンディングボックス１７６ｂの領域５を含む。特
定の実施形態では、オブジェクト再構成モジュールは、画像１７２ａの第２部分を画像１
７２ｂの第１部分と重ね合わせることによって、遷移画像１７４ａが画像１７２ａの第２
部分及び画像１７２ｂの第１部分を含むように生成し得る。いくつかの実施形態では、遷
移画像１７４ａは、画像キャプチャモジュールによって生成される。
【0041】
図３の画像１７２ａ、画像１７２ｂ及び遷移画像１７４ａの各々に対して独立的な類推
が実行される。類推の実行に応答して、バウンディングボックス１７６ａは、画像１７２
ａ上に構成され、バウンディングボックス１７６ｂは、画像１７２ｂ上に構成され、バウ
ンディングボックス１７６ｃは、遷移画像１７４ａ上に構成される。画像１７２ａは、領
域１，２，３及び４を含み、画像１７２ｂは、領域５を含み、遷移画像１７４ａは、領域
２、３、４、及び５を含む。
が実行される。類推の実行に応答して、バウンディングボックス１７６ａは、画像１７２
ａ上に構成され、バウンディングボックス１７６ｂは、画像１７２ｂ上に構成され、バウ
ンディングボックス１７６ｃは、遷移画像１７４ａ上に構成される。画像１７２ａは、領
域１，２，３及び４を含み、画像１７２ｂは、領域５を含み、遷移画像１７４ａは、領域
２、３、４、及び５を含む。
【0042】
遷移画像１７４ａが存在するため、速度のために精度を犠牲にするオブジェクト再構成
モジュールは、画像１７２ａ及び画像１７２ｂ内のオブジェクト全体を正確に検出するこ
とができる。オブジェクト再構成モジュールが画像１７２ｂ内のオブジェクトの領域５を
検出できない場合でも、画像１７２ｂに元々含まれていたピクセルは、遷移画像１７４ａ
にも含まれる。従って、画像１７２ａ及び遷移画像１７４ａ内のオブジェクトの検出は、
完全な検出である。追加の画像（例えば、遷移画像１７４ａ）に対する類推は、遅延ペナ
ルティを招くが、特定の実施形態では、この遅延ペナルティは、画像１７２ｂ内のオブジ
ェクトの領域５を正確に検出することによって生じる遅延ペナルティよりも少なくなり得
る。以下の図４及び図５は、領域１から５までの重複を避けるために画像に適用される追
加の処理を示している。
モジュールは、画像１７２ａ及び画像１７２ｂ内のオブジェクト全体を正確に検出するこ
とができる。オブジェクト再構成モジュールが画像１７２ｂ内のオブジェクトの領域５を
検出できない場合でも、画像１７２ｂに元々含まれていたピクセルは、遷移画像１７４ａ
にも含まれる。従って、画像１７２ａ及び遷移画像１７４ａ内のオブジェクトの検出は、
完全な検出である。追加の画像（例えば、遷移画像１７４ａ）に対する類推は、遅延ペナ
ルティを招くが、特定の実施形態では、この遅延ペナルティは、画像１７２ｂ内のオブジ
ェクトの領域５を正確に検出することによって生じる遅延ペナルティよりも少なくなり得
る。以下の図４及び図５は、領域１から５までの重複を避けるために画像に適用される追
加の処理を示している。
【0043】
図４は、図１のシステムによって決定され得る例示的な等価領域１７８ａを示す。画像
１７２ａは、バウンディングボックス１７６ａ（オブジェクトの領域１、領域２、領域３
、及び領域４を囲む）、及び画像１７２ｂは、バウンディングボックス１７６ｂ（オブジ
ェクトの領域５を囲む）を含む。特定の実施形態では、それぞれの領域は、自身のバウン
ディングボックス１７６によって囲まれ得る。例えば、画像１７２ａの領域１は、第１バ
ウンディングボックス１７６によって囲まれることができ、画像１７２ａの領域２は、第
２バウンディングボックス１７６によって囲まれることができ、以下同様である。特定の
実施形態では、バウンディングボックスは、互いの中に入れ子にすることができる。例え
ば、重なる２つの他のオブジェクトが検出された場合、領域１は、さらに大きいバウンデ
ィングボックス１７６内に入れ子にできる第１バウンディングボックス１７６によって囲
まれてもよい。
１７２ａは、バウンディングボックス１７６ａ（オブジェクトの領域１、領域２、領域３
、及び領域４を囲む）、及び画像１７２ｂは、バウンディングボックス１７６ｂ（オブジ
ェクトの領域５を囲む）を含む。特定の実施形態では、それぞれの領域は、自身のバウン
ディングボックス１７６によって囲まれ得る。例えば、画像１７２ａの領域１は、第１バ
ウンディングボックス１７６によって囲まれることができ、画像１７２ａの領域２は、第
２バウンディングボックス１７６によって囲まれることができ、以下同様である。特定の
実施形態では、バウンディングボックスは、互いの中に入れ子にすることができる。例え
ば、重なる２つの他のオブジェクトが検出された場合、領域１は、さらに大きいバウンデ
ィングボックス１７６内に入れ子にできる第１バウンディングボックス１７６によって囲
まれてもよい。
【0044】
図４に示すように、画像１７２ａのバウンディングボックス１７６ａと遷移画像１７４
ａのバウンディングボックス１７６ｃは、同等でない。バウンディングボックス１７６ａ
及びバウンディングボックス１７６ｃは、互いに異なる座標空間を占有し、オブジェクト
の互いに異なる領域を含む。しかし、画像１７２ａの第２部分に含まれたピクセルは、遷
移画像１７４ａの第１部分に含まれたピクセルと同じピクセルである。画像１７２ａのバ
ウンディングボックス１７６ａと遷移画像１７４ａのバウンディングボックス１７６ｃの
単純な連結は、領域１２３４２３４５を生成するが、これは、オブジェクト全体の領域２
、３、及び４の不正確な重複である。
ａのバウンディングボックス１７６ｃは、同等でない。バウンディングボックス１７６ａ
及びバウンディングボックス１７６ｃは、互いに異なる座標空間を占有し、オブジェクト
の互いに異なる領域を含む。しかし、画像１７２ａの第２部分に含まれたピクセルは、遷
移画像１７４ａの第１部分に含まれたピクセルと同じピクセルである。画像１７２ａのバ
ウンディングボックス１７６ａと遷移画像１７４ａのバウンディングボックス１７６ｃの
単純な連結は、領域１２３４２３４５を生成するが、これは、オブジェクト全体の領域２
、３、及び４の不正確な重複である。
【0045】
オブジェクトの領域を重複せずにオブジェクト全体を正確に再構成するために、画像１
７２ａ及び／又は遷移画像１７４ａは、重なるピクセルを考慮して縮小される。特定の実
施形態では、図１のオブジェクト再構成モジュールは、画像１７２ａ及び遷移画像１７４
ａ内の等価領域１７８ａを決定する。等価領域１７８ａは、同じピクセルを共有する２つ
以上の画像内の領域である。オブジェクト再構成モジュール１７０は、等価領域１７８ａ
を決定するために、ＩｏＵ、検出ラベルの同等性、及び／又は信頼度スコアの閾値を使用
し得る。例えば、オブジェクト再構成モジュール１７０は、画像１７２ａの領域２、領域
３、及び領域４を囲むバウンディングボックス１７６と遷移画像１７４ａの領域２、領域
３、及び領域４が等価領域１７８ａであることを決定するために、ＩｏＵを使用してもよ
い。特定の実施形態では、オブジェクト再構成モジュールは、画像１７２ａ及び遷移画像
１７４ａにおける検出のＩｏＵを算出し、ＩｏＵが所定の閾値より大きいか否かを決定す
る。ＩｏＵが所定の閾値よりも大きい場合、オブジェクト再構成モジュール１７０は、画
像１７２ａと遷移画像１７４ａとの間の重なりが等価領域１７８ａを画定すると決定する
。以下の図５で説明するように、等価領域１７８ａは、最終的なオブジェクト再構成から
除外し得る。
７２ａ及び／又は遷移画像１７４ａは、重なるピクセルを考慮して縮小される。特定の実
施形態では、図１のオブジェクト再構成モジュールは、画像１７２ａ及び遷移画像１７４
ａ内の等価領域１７８ａを決定する。等価領域１７８ａは、同じピクセルを共有する２つ
以上の画像内の領域である。オブジェクト再構成モジュール１７０は、等価領域１７８ａ
を決定するために、ＩｏＵ、検出ラベルの同等性、及び／又は信頼度スコアの閾値を使用
し得る。例えば、オブジェクト再構成モジュール１７０は、画像１７２ａの領域２、領域
３、及び領域４を囲むバウンディングボックス１７６と遷移画像１７４ａの領域２、領域
３、及び領域４が等価領域１７８ａであることを決定するために、ＩｏＵを使用してもよ
い。特定の実施形態では、オブジェクト再構成モジュールは、画像１７２ａ及び遷移画像
１７４ａにおける検出のＩｏＵを算出し、ＩｏＵが所定の閾値より大きいか否かを決定す
る。ＩｏＵが所定の閾値よりも大きい場合、オブジェクト再構成モジュール１７０は、画
像１７２ａと遷移画像１７４ａとの間の重なりが等価領域１７８ａを画定すると決定する
。以下の図５で説明するように、等価領域１７８ａは、最終的なオブジェクト再構成から
除外し得る。
【0046】
図５は、図１のシステムによって生成され得る例示的なオブジェクト再構成１８０ａを
示す。上の図４に表示すように、画像１７２ａ及び遷移画像１７４ａの領域２、３、４は
、等価領域１７８ａである。等価領域１７８ａは、このような領域の重複を避けるために
、オブジェクト再構成１８０ａから除外される（即ち、領域２、３、及び４は、オブジェ
クト再構成１８０ａに一度だけ含まれる）。図１のオブジェクト再構成モジュールは、領
域１、２、３、４、及び５を連結することによって、オブジェクト再構成１８０ａを生成
する。領域１から５の連結は、オブジェクト再構成１８０ａがオブジェクト（例えば、全
体で図１のオブジェクト１６０）を示すように１２３４５として表し得る。オブジェクト
再構成モジュールによって画像１７２ｂ内のオブジェクトの領域５が検出された場合、等
価領域１７８ｂの重複を避けるために、同じプロセスが適用され得る。
示す。上の図４に表示すように、画像１７２ａ及び遷移画像１７４ａの領域２、３、４は
、等価領域１７８ａである。等価領域１７８ａは、このような領域の重複を避けるために
、オブジェクト再構成１８０ａから除外される（即ち、領域２、３、及び４は、オブジェ
クト再構成１８０ａに一度だけ含まれる）。図１のオブジェクト再構成モジュールは、領
域１、２、３、４、及び５を連結することによって、オブジェクト再構成１８０ａを生成
する。領域１から５の連結は、オブジェクト再構成１８０ａがオブジェクト（例えば、全
体で図１のオブジェクト１６０）を示すように１２３４５として表し得る。オブジェクト
再構成モジュールによって画像１７２ｂ内のオブジェクトの領域５が検出された場合、等
価領域１７８ｂの重複を避けるために、同じプロセスが適用され得る。
【0047】
図６は、遷移画像（例えば、図１の遷移画像１７４ａ）を使用してオブジェクトを再構
成するための例示的な方法６００を示す。方法６００は、ステップ６１０で開始する。ス
テップ６２０で、オブジェクト再構成モジュール（例えば、図１のオブジェクト再構成モ
ジュール１７０）は、ネットワーク（例えば、図１のネットワーク１１０）を介して、オ
ブジェクト（例えば、図１のオブジェクト１６０）の２つ以上の画像を受信する。例えば
、オブジェクト再構成モジュールは、画像キャプチャモジュール（例えば、図１の画像キ
ャプチャモジュール１５０）からオブジェクトの第１画像（例えば、図１の画像１７２ａ
）及び第２画像（例えば、図１の画像１７２ｂ）を受信してもよい。画像キャプチャモジ
ュールは、鉄道車両（例えば、図１の鉄道車両１４０）に取り付けられ得る。特定の実施
形態では、画像キャプチャモジュールは、鉄道車両が鉄道環境（例えば、図１の鉄道環境
１２０）の鉄道線路（例えば、鉄道線路１３０）に沿って移動する間に、オブジェクトの
画像をキャプチャする。次に、方法６００は、ステップ６２０からステップ６３０に移動
する。
成するための例示的な方法６００を示す。方法６００は、ステップ６１０で開始する。ス
テップ６２０で、オブジェクト再構成モジュール（例えば、図１のオブジェクト再構成モ
ジュール１７０）は、ネットワーク（例えば、図１のネットワーク１１０）を介して、オ
ブジェクト（例えば、図１のオブジェクト１６０）の２つ以上の画像を受信する。例えば
、オブジェクト再構成モジュールは、画像キャプチャモジュール（例えば、図１の画像キ
ャプチャモジュール１５０）からオブジェクトの第１画像（例えば、図１の画像１７２ａ
）及び第２画像（例えば、図１の画像１７２ｂ）を受信してもよい。画像キャプチャモジ
ュールは、鉄道車両（例えば、図１の鉄道車両１４０）に取り付けられ得る。特定の実施
形態では、画像キャプチャモジュールは、鉄道車両が鉄道環境（例えば、図１の鉄道環境
１２０）の鉄道線路（例えば、鉄道線路１３０）に沿って移動する間に、オブジェクトの
画像をキャプチャする。次に、方法６００は、ステップ６２０からステップ６３０に移動
する。
【0048】
方法６００のステップ６３０で、オブジェクト再構成モジュールは、オブジェクト再構
成のために遷移画像（例えば、図３の遷移画像１７４ａ）を使用するか否かを決定する。
例えば、オブジェクト再構成モジュールは、オブジェクト再構成モジュールがオブジェク
ト検出精度よりオブジェクト検出速度を優先する場合（例えば、受信した画像内のオブジ
ェクトの相対的に小さい部分を検出）、遷移画像を利用するように決定してもよい。オブ
ジェクト再構成モジュールがオブジェクト再構成のために遷移画像を利用しないと決定し
た場合、オブジェクト再構成モジュールは、ステップ６３０からステップ６７０に進み、
オブジェクト再構成モジュールは、受信した画像からオブジェクトの再構成を生成する。
例えば、オブジェクト再構成モジュールによって受信された第１画像は、オブジェクトの
第１領域、第２領域、及び第３領域を含んでもよく、オブジェクト再構成モジュールによ
って受信され第２画像は、オブジェクトの第４領域及び第５領域を含んでもよい。
成のために遷移画像（例えば、図３の遷移画像１７４ａ）を使用するか否かを決定する。
例えば、オブジェクト再構成モジュールは、オブジェクト再構成モジュールがオブジェク
ト検出精度よりオブジェクト検出速度を優先する場合（例えば、受信した画像内のオブジ
ェクトの相対的に小さい部分を検出）、遷移画像を利用するように決定してもよい。オブ
ジェクト再構成モジュールがオブジェクト再構成のために遷移画像を利用しないと決定し
た場合、オブジェクト再構成モジュールは、ステップ６３０からステップ６７０に進み、
オブジェクト再構成モジュールは、受信した画像からオブジェクトの再構成を生成する。
例えば、オブジェクト再構成モジュールによって受信された第１画像は、オブジェクトの
第１領域、第２領域、及び第３領域を含んでもよく、オブジェクト再構成モジュールによ
って受信され第２画像は、オブジェクトの第４領域及び第５領域を含んでもよい。
【0049】
オブジェクト再構成モジュールは、第１画像内のオブジェクトの第１領域、第２領域、
及び第３領域を検出し得る。オブジェクト再構成モジュールは、第２画像内のオブジェク
トの第４領域及び第５領域を検出し得る。オブジェクト再構成モジュールは、オブジェク
ト再構成がオブジェクト全体を示すように、第１画像で検出された第１領域、第２領域、
及び第３領域を、第２画像で検出された第４領域及び第５領域と連結することによって、
オブジェクトの再構成を生成し得る。次に、方法６００は、ステップ６７０からステップ
６８０に移動し、ここで方法６００は終了する。
及び第３領域を検出し得る。オブジェクト再構成モジュールは、第２画像内のオブジェク
トの第４領域及び第５領域を検出し得る。オブジェクト再構成モジュールは、オブジェク
ト再構成がオブジェクト全体を示すように、第１画像で検出された第１領域、第２領域、
及び第３領域を、第２画像で検出された第４領域及び第５領域と連結することによって、
オブジェクトの再構成を生成し得る。次に、方法６００は、ステップ６７０からステップ
６８０に移動し、ここで方法６００は終了する。
【0050】
ステップ６３０において、オブジェクト再構成モジュールが、オブジェクト再構成のた
めに遷移画像を利用すると決定した場合、オブジェクト再構成モジュールは、遷移画像が
各画像の重なった部分を含むように、第１画像及び第２画像を重ねて遷移画像を作成し得
る。例えば、オブジェクト再構成モジュールによって受信された第１画像は、オブジェク
トの第１領域、第２領域、第３領域、及び第４領域を含んでもよく、オブジェクト再構成
モジュールによって受信され第２画像は、オブジェクトの第５領域を含んでもよい。オブ
ジェクト再構成モジュールは、オブジェクトの第２領域、第３領域、第４領域、及び第５
領域を含むように、第１画像と第２画像とを重ねて遷移画像を生成し得る。特定の実施形
態では、オブジェクト再構成モジュールは、画像キャプチャモジュールから遷移画像を受
信する。次に、方法６００は、ステップ６３０からステップ６４０に移動する。
めに遷移画像を利用すると決定した場合、オブジェクト再構成モジュールは、遷移画像が
各画像の重なった部分を含むように、第１画像及び第２画像を重ねて遷移画像を作成し得
る。例えば、オブジェクト再構成モジュールによって受信された第１画像は、オブジェク
トの第１領域、第２領域、第３領域、及び第４領域を含んでもよく、オブジェクト再構成
モジュールによって受信され第２画像は、オブジェクトの第５領域を含んでもよい。オブ
ジェクト再構成モジュールは、オブジェクトの第２領域、第３領域、第４領域、及び第５
領域を含むように、第１画像と第２画像とを重ねて遷移画像を生成し得る。特定の実施形
態では、オブジェクト再構成モジュールは、画像キャプチャモジュールから遷移画像を受
信する。次に、方法６００は、ステップ６３０からステップ６４０に移動する。
【0051】
方法６００のステップ６４０で、オブジェクト再構成モジュールは、各画像に対して類
推を実行する。例えば、オブジェクト再構成モジュールは、第１画像、第２画像、及び遷
移画像内のオブジェクトを検出するためにオブジェクト検出アルゴリズムを実行すること
によって、第１画像、第２画像、及び遷移画像に対する類推を実行してもよい。類推を実
行してオブジェクトを検出することに応答して、オブジェクト再構成モジュールは、検出
されたオブジェクト（又はその一部）の周辺に１つ以上のバウンディングボックスを生成
し得る。各バウンディングボックスは、オブジェクトの１つ以上の領域を含み得る。次に
、方法６００は、ステップ６４０からステップ６５０に移動する。
推を実行する。例えば、オブジェクト再構成モジュールは、第１画像、第２画像、及び遷
移画像内のオブジェクトを検出するためにオブジェクト検出アルゴリズムを実行すること
によって、第１画像、第２画像、及び遷移画像に対する類推を実行してもよい。類推を実
行してオブジェクトを検出することに応答して、オブジェクト再構成モジュールは、検出
されたオブジェクト（又はその一部）の周辺に１つ以上のバウンディングボックスを生成
し得る。各バウンディングボックスは、オブジェクトの１つ以上の領域を含み得る。次に
、方法６００は、ステップ６４０からステップ６５０に移動する。
【0052】
方法６００のステップ６５０で、オブジェクト再構成モジュールは、受信した画像内の
等価領域（例えば、図４の等価領域１７８ａ）を決定する。等価領域は、同じピクセルを
共有する領域である。特定の実施形態では、オブジェクト再構成モジュールは、２つ以上
のボックスのＩｏＵを算出する前に、重複領域を超えて延在し得るバウンディングボック
スを正規化するために、第１画像、第２画像、及び遷移画像のバウンディングボックス及
び重複領域の交差を実行する。いくつかの実施形態では、オブジェクト再構成モジュール
は、ＩｏＵ、検出ラベル等価性、及び／又は信頼度スコアの閾値を使用して、重複領域を
決定する。例えば、オブジェクト再構成モジュールは、第２領域、第３領域、及び第４領
域が第１画像及び遷移画像で重複することを決定するために、ＩｏＵ、検出レーベル等価
性、及び／又は信頼スコアの閾値を使用してもよい。別の例として、オブジェクト再構成
モジュールは、第５領域が第２画像及び遷移画像で重複することを決定するために、Ｉｏ
Ｕ、検出ラベルの同等性、及び／又は信頼度スコアの閾値を使用してもよい。次に、方法
６００は、ステップ６５０からステップ６６０に移動する。
等価領域（例えば、図４の等価領域１７８ａ）を決定する。等価領域は、同じピクセルを
共有する領域である。特定の実施形態では、オブジェクト再構成モジュールは、２つ以上
のボックスのＩｏＵを算出する前に、重複領域を超えて延在し得るバウンディングボック
スを正規化するために、第１画像、第２画像、及び遷移画像のバウンディングボックス及
び重複領域の交差を実行する。いくつかの実施形態では、オブジェクト再構成モジュール
は、ＩｏＵ、検出ラベル等価性、及び／又は信頼度スコアの閾値を使用して、重複領域を
決定する。例えば、オブジェクト再構成モジュールは、第２領域、第３領域、及び第４領
域が第１画像及び遷移画像で重複することを決定するために、ＩｏＵ、検出レーベル等価
性、及び／又は信頼スコアの閾値を使用してもよい。別の例として、オブジェクト再構成
モジュールは、第５領域が第２画像及び遷移画像で重複することを決定するために、Ｉｏ
Ｕ、検出ラベルの同等性、及び／又は信頼度スコアの閾値を使用してもよい。次に、方法
６００は、ステップ６５０からステップ６６０に移動する。
【0053】
方法６００のステップ６６０で、オブジェクト再構成モジュールは、オブジェクトの再
構成から等価領域を除外する。例えば、オブジェクト再構成モジュールが、第１画像及び
遷移画像からの第２領域、第３領域、及び第４領域が等価領域であると決定した場合、オ
ブジェクト再構成モジュールは、オブジェクト再構成が第２領域、第３領域、及び第４領
域の１つの複製だけを含むようにオブジェクト再構成で等価領域を除外してもよい。別の
例として、オブジェクト再構成モジュールが、第２画像からの第５領域及び遷移画像が等
価領域であると決定した場合、オブジェクト再構成モジュールは、オブジェクト再構成が
第５領域の１つの複製だけを含むようにオブジェクト再構成において等価領域を除外して
もよい。次に、方法６００は、ステップ６６０からステップ６７０に移動する。
構成から等価領域を除外する。例えば、オブジェクト再構成モジュールが、第１画像及び
遷移画像からの第２領域、第３領域、及び第４領域が等価領域であると決定した場合、オ
ブジェクト再構成モジュールは、オブジェクト再構成が第２領域、第３領域、及び第４領
域の１つの複製だけを含むようにオブジェクト再構成で等価領域を除外してもよい。別の
例として、オブジェクト再構成モジュールが、第２画像からの第５領域及び遷移画像が等
価領域であると決定した場合、オブジェクト再構成モジュールは、オブジェクト再構成が
第５領域の１つの複製だけを含むようにオブジェクト再構成において等価領域を除外して
もよい。次に、方法６００は、ステップ６６０からステップ６７０に移動する。
【0054】
方法６００のステップ６７０で、オブジェクト再構成モジュールは、１つ以上の受信し
た画像及び１つ以上の遷移画像からオブジェクトの再構成（例えば、図５のオブジェクト
再構成１８０ａ）を生成する。例えば、オブジェクト再構成モジュールによって受信され
た第１画像は、オブジェクトの第１領域、第２領域、第３領域、及び第４領域を含んでも
よく、方法６００のステップ６３０で生成された遷移画像は、オブジェクトの第２領域、
第３領域、第４領域、及び第５領域を含んでもよい。オブジェクト再構成モジュールは、
オブジェクトの再構成がオブジェクト全体を示すように、第１画像からの第１領域、第２
領域、第３領域、及び第４領域を遷移画像の第５領域と連結することによって、オブジェ
クトの再構成を生成し得る。次に、方法６００は、ステップ６７０からステップ６８０に
移動し、ここで方法６００は終了する。このように、方法６００は、受信した画像内のオ
ブジェクトの特定の領域が検出されない場合でも、オブジェクトを全体的に再構成するた
めに使用され得る。
た画像及び１つ以上の遷移画像からオブジェクトの再構成（例えば、図５のオブジェクト
再構成１８０ａ）を生成する。例えば、オブジェクト再構成モジュールによって受信され
た第１画像は、オブジェクトの第１領域、第２領域、第３領域、及び第４領域を含んでも
よく、方法６００のステップ６３０で生成された遷移画像は、オブジェクトの第２領域、
第３領域、第４領域、及び第５領域を含んでもよい。オブジェクト再構成モジュールは、
オブジェクトの再構成がオブジェクト全体を示すように、第１画像からの第１領域、第２
領域、第３領域、及び第４領域を遷移画像の第５領域と連結することによって、オブジェ
クトの再構成を生成し得る。次に、方法６００は、ステップ６７０からステップ６８０に
移動し、ここで方法６００は終了する。このように、方法６００は、受信した画像内のオ
ブジェクトの特定の領域が検出されない場合でも、オブジェクトを全体的に再構成するた
めに使用され得る。
【0055】
図４に示される方法６００に対して、修正、追加、又は省略を行うことができる。方法
６００は、より多い、より少ない、又は他のステップを含み得る。例えば、方法６００は
、第２遷移画像を利用することを含み得る。ステップは、並行して、又は任意の適切な順
序で実行され得る。方法６００のステップを完了する特定の構成要素として論じられてい
るが、任意の適切な構成要素は、方法６００の任意のステップを実行し得る。例えば、方
法６００の１つ以上のステップは、画像キャプチャモジュールによって実行されてもよい
。
６００は、より多い、より少ない、又は他のステップを含み得る。例えば、方法６００は
、第２遷移画像を利用することを含み得る。ステップは、並行して、又は任意の適切な順
序で実行され得る。方法６００のステップを完了する特定の構成要素として論じられてい
るが、任意の適切な構成要素は、方法６００の任意のステップを実行し得る。例えば、方
法６００の１つ以上のステップは、画像キャプチャモジュールによって実行されてもよい
。
【0056】
図７は、本明細書に記載のシステム及び方法によって使用され得る例示的なコンピュー
タシステムを示す。例えば、図１のシステム１００の１つ以上の構成要素（例えば、画像
キャプチャモジュール１５０及び／又はオブジェクト再構成モジュール１７０）は、１つ
以上のインターフェース７１０、処理回路７２０、メモリ７３０、及び／又は他の適切な
要素を含んでもよい。インターフェース７１０は、入力を受信し、出力を送信し、入力及
び／又は出力を処理して、及び／又は他の適切な動作を実行する。インターフェース７１
０は、ハードウェア及び／又はソフトウェアを含み得る。
タシステムを示す。例えば、図１のシステム１００の１つ以上の構成要素（例えば、画像
キャプチャモジュール１５０及び／又はオブジェクト再構成モジュール１７０）は、１つ
以上のインターフェース７１０、処理回路７２０、メモリ７３０、及び／又は他の適切な
要素を含んでもよい。インターフェース７１０は、入力を受信し、出力を送信し、入力及
び／又は出力を処理して、及び／又は他の適切な動作を実行する。インターフェース７１
０は、ハードウェア及び／又はソフトウェアを含み得る。
【0057】
処理回路７２０は、構成要素の処理を実行又は管理する。処理回路７２０は、ハードウ
ェア及び／又はソフトウェアを含み得る。処理回路の例は、１つ以上のコンピュータ、１
つ以上のマイクロプロセッサ、１つ以上のアプリケーションなどを含む。特定の実施形態
では、処理回路７２０は、入力から出力を生成するなどのアクション（例えば、処理）を
実行するめのロジック（例えば、命令）を実行する。処理回路７２０によって実行される
ロジックは、１つ以上の有形の非一時的なコンピュータ可読媒体（例えば、メモリ７３０
）に符号化され得る。例えば、ロジックは、コンピュータプログラム、ソフトウェア、コ
ンピュータ実行可能命令、及び／又はコンピュータによって実行可能である命令を含んで
もよい。特定の実施形態では、実施形態の処理は、コンピュータプログラムを格納、実現
及び／又は符号化、及び／又は格納及び／又は符号化されたコンピュータプログラムを有
する１つ以上のコンピュータ可読媒体によって実行されてもよい。
ェア及び／又はソフトウェアを含み得る。処理回路の例は、１つ以上のコンピュータ、１
つ以上のマイクロプロセッサ、１つ以上のアプリケーションなどを含む。特定の実施形態
では、処理回路７２０は、入力から出力を生成するなどのアクション（例えば、処理）を
実行するめのロジック（例えば、命令）を実行する。処理回路７２０によって実行される
ロジックは、１つ以上の有形の非一時的なコンピュータ可読媒体（例えば、メモリ７３０
）に符号化され得る。例えば、ロジックは、コンピュータプログラム、ソフトウェア、コ
ンピュータ実行可能命令、及び／又はコンピュータによって実行可能である命令を含んで
もよい。特定の実施形態では、実施形態の処理は、コンピュータプログラムを格納、実現
及び／又は符号化、及び／又は格納及び／又は符号化されたコンピュータプログラムを有
する１つ以上のコンピュータ可読媒体によって実行されてもよい。
【0058】
メモリ７３０（又はメモリユニット）は、情報を格納する。メモリ７３０は、１つ以上
の非一時的、有形、コンピュータ可読、及び／又はコンピュータ実行可能記憶媒体を含み
得る。メモリ７３０の例は、コンピュータメモリ（例えば、ＲＡＭ又はＲＯＭ）、大容量
記憶媒体（例えば、ハードディスク）、リムーバブル記憶媒体（例えば、コンパクトディ
スク（ＣＤ）又はデジタルビデオディスク（ＤＶＤ））、データベース及び／又はネット
ワークストレージ（例えば、サーバ）及び／又はその他コンピュータ可読媒体を含む。
の非一時的、有形、コンピュータ可読、及び／又はコンピュータ実行可能記憶媒体を含み
得る。メモリ７３０の例は、コンピュータメモリ（例えば、ＲＡＭ又はＲＯＭ）、大容量
記憶媒体（例えば、ハードディスク）、リムーバブル記憶媒体（例えば、コンパクトディ
スク（ＣＤ）又はデジタルビデオディスク（ＤＶＤ））、データベース及び／又はネット
ワークストレージ（例えば、サーバ）及び／又はその他コンピュータ可読媒体を含む。
【0059】
本明細書では、コンピュータ可読非一時的記憶媒体又は媒体は、１つ以上の半導体ベー
ス又は他の集積回路（ＩＣ）（例えば、フィールドプログラマブルゲートアレイ（ＦＰＧ
Ａ）又は特定用途向け集積回路（ＡＳＩＣ））、ハードディスクドライブ（ＨＤＤ）、ハ
イブリッドハードドライブ（ＨＨＤ）、光ディスク、光ディスクドライブ（ＯＤＤ）、光
磁気ディスク、光磁気ドライブ、フロッピーディスク、フロッピーディスクドライブ（Ｆ
ＤＤ）、磁気テープ、ソリッドステートドライブ（ＳＳＤ）、ＲＡＭドライブ、ＳＤ（Ｓ
ＥＣＵＲＥ ＤＩＧＩＴＡＬ）カード又はドライブ、その他の適切なコンピュータ可読の
非一時的記憶媒体、又は必要に応じてこれらの２以上の適切な組み合わせを含み得る。コ
ンピュータ可読非一時的記憶媒体は、必要に応じて、揮発性、不揮発性、又は揮発性と不
揮発性の組み合わせであり得る。
ス又は他の集積回路（ＩＣ）（例えば、フィールドプログラマブルゲートアレイ（ＦＰＧ
Ａ）又は特定用途向け集積回路（ＡＳＩＣ））、ハードディスクドライブ（ＨＤＤ）、ハ
イブリッドハードドライブ（ＨＨＤ）、光ディスク、光ディスクドライブ（ＯＤＤ）、光
磁気ディスク、光磁気ドライブ、フロッピーディスク、フロッピーディスクドライブ（Ｆ
ＤＤ）、磁気テープ、ソリッドステートドライブ（ＳＳＤ）、ＲＡＭドライブ、ＳＤ（Ｓ
ＥＣＵＲＥ ＤＩＧＩＴＡＬ）カード又はドライブ、その他の適切なコンピュータ可読の
非一時的記憶媒体、又は必要に応じてこれらの２以上の適切な組み合わせを含み得る。コ
ンピュータ可読非一時的記憶媒体は、必要に応じて、揮発性、不揮発性、又は揮発性と不
揮発性の組み合わせであり得る。
【0060】
本明細書において、「又は」は、明示的に別段の指示がない限り、又は文脈によって別
段の指示がない限り、包括的であって排他的ではない。従って、本明細書において、「Ａ
又はＢ」は、明示的に別段の指示がない限り、又は文脈によって別段の指示がない限り、
「Ａ、Ｂ、又はその両方」を意味する。また、「及び」は、明示的に別段の指示がない限
り、又は文脈によって別段の指示がない限り、共同及び複数を意味する。従って、本明細
書で「Ａ及びＢ」は、明示的に別段の指示がない限り、又は文脈によって別段の指示がな
い限り、「Ａ及びＢ、共同、又は個別」を意味する。本開示の範囲は、当業者が理解する
ことのできる本明細書に記載又は図示された例示的な実施形態に対する全ての変更、置換
、変形、変更及び修正を含む。本開示の範囲は、本明細書に記載又は図示された例示的な
実施形態に限定されない。さらに、本開示は、特定の構成要素、要素、特徴、機能、処理
、又はステップを含むものとして本明細書のそれぞれの実施形態を説明及び例示している
が、これらの実施形態のいずれも、当業者が理解し得る本明細書のどこかに記載又は図示
された構成要素、要素、特徴、機能、処理、又はステップのうちの任意の組み合わせ又は
順列を含み得る。さらに、特定の機能を実行するように適切に構成して配置され、作動又
は作動可能な装置、又はシステム、又はその構成要素に対する添付された特許請求の範囲
の言及は、その装置、システム、又は構成要素が適切に構成して配置され、作動又は作動
可能、又は特定の機能が活性化又は解除されたかにかかわらず、その装置のシステム又は
構成要素を含む。さらに、本開示は、特定の利点を提供するものとして特定の実施形態を
説明又は図示しているが、特定の実施形態は、これらの利点のいずれも提供しないか、一
部を提供、又は全てを提供し得る。
段の指示がない限り、包括的であって排他的ではない。従って、本明細書において、「Ａ
又はＢ」は、明示的に別段の指示がない限り、又は文脈によって別段の指示がない限り、
「Ａ、Ｂ、又はその両方」を意味する。また、「及び」は、明示的に別段の指示がない限
り、又は文脈によって別段の指示がない限り、共同及び複数を意味する。従って、本明細
書で「Ａ及びＢ」は、明示的に別段の指示がない限り、又は文脈によって別段の指示がな
い限り、「Ａ及びＢ、共同、又は個別」を意味する。本開示の範囲は、当業者が理解する
ことのできる本明細書に記載又は図示された例示的な実施形態に対する全ての変更、置換
、変形、変更及び修正を含む。本開示の範囲は、本明細書に記載又は図示された例示的な
実施形態に限定されない。さらに、本開示は、特定の構成要素、要素、特徴、機能、処理
、又はステップを含むものとして本明細書のそれぞれの実施形態を説明及び例示している
が、これらの実施形態のいずれも、当業者が理解し得る本明細書のどこかに記載又は図示
された構成要素、要素、特徴、機能、処理、又はステップのうちの任意の組み合わせ又は
順列を含み得る。さらに、特定の機能を実行するように適切に構成して配置され、作動又
は作動可能な装置、又はシステム、又はその構成要素に対する添付された特許請求の範囲
の言及は、その装置、システム、又は構成要素が適切に構成して配置され、作動又は作動
可能、又は特定の機能が活性化又は解除されたかにかかわらず、その装置のシステム又は
構成要素を含む。さらに、本開示は、特定の利点を提供するものとして特定の実施形態を
説明又は図示しているが、特定の実施形態は、これらの利点のいずれも提供しないか、一
部を提供、又は全てを提供し得る。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
