特開 2023-156236 画像マップ生成システムおよび方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023156236

(43)【公開日】2023-10-24

(54)【発明の名称】画像マップ生成システムおよび方法

(51)【国際特許分類】

   G06T 7/579 20170101AFI20231017BHJP

   G06T 7/00 20170101ALI20231017BHJP

   G06T 1/00 20060101ALI20231017BHJP

   G06T 5/50 20060101ALI20231017BHJP

   B61L 25/02 20060101ALI20231017BHJP

【ＦＩ】

G06T7/579

G06T7/00 350B

G06T7/00 650B

G06T1/00 315

G06T1/00 330A

G06T1/00 330B

G06T5/50

G06T7/00 650A

B61L25/02 Z

【審査請求】未請求

【請求項の数】20

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2023047139

(22)【出願日】2023-03-23

(31)【優先権主張番号】63/330,204

(32)【優先日】2022-04-12

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】18/181,027

(32)【優先日】2023-03-09

(33)【優先権主張国・地域又は機関】US

(71)【出願人】

【識別番号】519447732

【氏名又は名称】トランスポーテーション アイピー ホールディングス，エルエルシー

(74)【代理人】

【識別番号】110003797

【氏名又は名称】弁理士法人清原国際特許事務所

(72)【発明者】

【氏名】ポール，アンソニー ディー．

(72)【発明者】

【氏名】カルナラトナ，ミラン

【テーマコード（参考）】

5B057

5H161

5L096

【Ｆターム（参考）】

5B057AA16

5B057BA02

5B057CA08

5B057CA12

5B057CA16

5B057CB08

5B057CB13

5B057CB16

5B057CD14

5B057CE10

5B057DA20

5B057DB02

5B057DB09

5B057DC32

5H161AA01

5H161BB20

5H161DD20

5H161FF07

5L096AA06

5L096AA09

5L096BA04

5L096BA08

5L096CA04

5L096DA01

5L096DA02

5L096GA08

5L096GA51

5L096HA02

5L096HA11

5L096HA13

(57)【要約】

【解決手段】方法は、空間体積のセットビューを形成するセットの画像タイルの画像偏差データを検査すること、およびタイルがタイルを更新するための改定の時期であるかどうかを判定することを含むことができる。本方法は、第１の車両（１０２）が更新された画像タイルを取り込む予定を組むこと、および／または第２の車両（１０２）を識別して更新された画像タイルを取り込むことを含むことができる。システム（１５０）は、空間体積のセットビューを形成するセットの画像タイルの画像偏差データを検査し、セットの１つまたは複数の画像タイルがビューを更新するための改定の時期であるかどうかを判定するために、１つまたは複数のプロセッサ（１３２）を含むことができる。１つまたは複数のプロセッサ（１３２）は、第１の車両（１０２）が空間体積の中をまたはそばで移動して１つまたは複数の更新された画像タイルを取り込む予定を組むか、または、第２の車両（１０２）を識別して１つまたは複数の更新された画像タイルを取り込む。
【選択図】図１

【特許請求の範囲】

【請求項1】

方法であって、
空間体積のより大きなセットビューを形成するために使用される画像タイルのセットの１つまたは複数の前記画像タイルに関連付けられる画像偏差データを検査することと、
検査される前記画像偏差データに基づいて、前記空間体積の前記より大きなセットビューを更新するために、前記セットの前記１つまたは複数の画像タイルが改定の時期であるかどうかを判定することと、
（ａ）第１の車両（１０２）が１つまたは複数のセンサ（１１２）を伴って前記空間体積の中をまたはそばで移動して、１つまたは複数の更新された画像タイルを取り込む予定を組むこと、または（ｂ）前記セットの前記１つまたは複数の画像タイルが改定の時期であると判定したことに応答して、前記１つまたは複数の更新された画像タイルを取り込むために、前記１つまたは複数のセンサ（１１２）を伴って前記空間体積の中を、そばで、または方へ移動している第２の車両（１０２）を特定すること、の一方または両方と
を含む、方法。

【請求項2】

前記画像偏差データが、前記１つまたは複数の画像タイルのうちの第１の画像タイルの画像データと前記１つまたは複数の画像タイルのうちの第２の画像タイルの画像データとの間の差を含む、請求項１に記載の方法。

【請求項3】

前記画像偏差データが、前記１つまたは複数の画像タイルのうちの第１の画像タイルが取得された第１の時刻と前記１つまたは複数の画像タイルのうちの第２の画像タイルが取得された画像データとの間の時間差を含む、請求項１に記載の方法。

【請求項4】

前記セット内の前記１つまたは複数の画像タイルのうちの少なくとも１つが、異なるセンサ出力の組合せである、請求項１に記載の方法。

【請求項5】

前記画像タイルの前記より大きなセットビューが、前記空間体積の前記より大きなセットビューを形成するようにつなぎ合わされた２つ以上の画像、ビデオフレーム、または光学センサ（１１２）から出力されたデータを含む、請求項１に記載の方法。

【請求項6】

前記画像タイルの前記より大きなセットビューが、前記空間体積の３次元画像を含む、請求項１に記載の方法。

【請求項7】

前記セットの前記１つまたは複数の画像タイルが改定の時期であるかどうかを判定することが、前記１つまたは複数の画像タイルのうちの以前に取得された画像タイルのデータ内容が、より最近に取得された画像タイルのデータ内容とは閾値内容量を超えて異なるかどうかを判定することを含む、請求項１に記載の方法。

【請求項8】

前記セットの前記１つまたは複数の画像タイルが改定の時期であるかどうかを判定することが、（ｃ）前記１つまたは複数の画像タイルのうちの以前に取得された画像タイルのデータ内容が取得されたより早い時刻と、（ｄ）より最近取得された画像タイルのデータ内容が取得されたより遅い時刻と、の間の期間が閾値期間よりも長いかどうかを判定することを含む、請求項１に記載の方法。

【請求項9】

（ａ）前記第１の車両（１０２）の予定を組むこと、または（ｂ）前記第２の車両（１０２）を特定すること、の前記一方または両方が、前記第１の車両（１０２）または前記第２の車両（１０２）に、搭載センサを使用して、前記画像タイルのうちの他の１つまたは複数よりも古いか、または先行する変化の頻度の増加に関連付けられる前記画像タイルのうちの少なくとも１つを更新するためのデータを検知するよう指示することを含む、請求項１に記載の方法。

【請求項10】

（ａ）前記第１の車両（１０２）の予定を組むこと、または（ｂ）前記第２の車両（１０２）を特定すること、の前記一方または両方が、前記第１の車両（１０２）または前記第２の車両（１０２）に、前記１つまたは複数のセンサ（１１２）の搭載センサを使用して、前記画像タイルのうちの少なくとも１つの、全部ではなくサンプリングされた部分の部分データを検知するよう指示することを含み、
前記搭載センサによって検知された前記画像タイルのうちの前記少なくとも１つの前記部分データを検査して、前記画像タイルのうちの前記少なくとも１つの前記部分データが、前記画像タイルのうちの前記少なくとも１つが変化していることを示しているかどうかを判定すること
をさらに含む、請求項１に記載の方法。

【請求項11】

前記画像タイルのうちの前記少なくとも１つが変化していないと判定したことに応答して、前記部分データに関連付けられる前記画像タイルのうちの前記少なくとも１つのタイムスタンプを更新すること、または
前記画像タイルのうちの前記少なくとも１つが変化していると判定したことに応答して、前記画像タイルのうちの前記少なくとも１つの全体の追加データを取得するよう前記搭載センサに指示すること
をさらに含む、請求項１０に記載の方法。

【請求項12】

（ｃ）第３の車両（１０２）が前記１つまたは複数のセンサ（１１２）を伴って前記空間体積の中をまたはそばで移動して、前記１つまたは複数の更新された画像タイルを取り込む予定を組むこと、または（ｄ）前記画像タイルのうちの前記少なくとも１つが閾値量を超えて変化していると判定したことに応答して、前記１つまたは複数の更新された画像タイルを取り込むために、前記１つまたは複数のセンサ（１１２）を伴って前記空間体積の中を、そばで、または方へ移動している第４の車両（１０２）を特定すること、の一方または両方
をさらに含む、請求項１１に記載の方法。

【請求項13】

前記画像タイルの前記セットを少なくとも第３の車両（１０２）に伝達して、前記少なくとも前記第３の車両（１０２）が前記空間体積の中を移動している間に前記少なくとも前記第３の車両（１０２）が前記少なくとも前記第３の車両（１０２）の動きを制御または変更すること
をさらに含む、請求項１に記載の方法。

【請求項14】

システム（１５０）であって、
空間体積のより大きなセットビューを形成するために使用される画像タイルのセットの１つまたは複数の前記画像タイルに関連付けられる画像偏差データを検査するように構成された１つまたは複数のプロセッサ（１３２）であって、前記１つまたは複数のプロセッサ（１３２）が、検査される前記画像偏差データに基づいて、前記セットの前記１つまたは複数の画像タイルが前記空間体積の前記より大きなセットビューを更新するための改定の時期であるかどうかを判定するように構成され、前記１つまたは複数のプロセッサ（１３２）がまた、（ａ）第１の車両（１０２）が１つまたは複数のセンサ（１１２）を伴って前記空間体積の中をまたはそばで移動して、１つまたは複数の更新された画像タイルを取り込む予定を組むこと、または（ｂ）前記セットの前記１つまたは複数の画像タイルが改定の時期であると判定したことに応答して、前記１つまたは複数の更新された画像タイルを取り込むために、前記１つまたは複数のセンサ（１１２）を伴って前記空間体積の中を、そばで、または方へ移動している第２の車両（１０２）を特定すること、の一方または両方を行うように構成される、プロセッサ（１３２）を備える、システム（１５０）。

【請求項15】

前記画像偏差データが、
前記１つまたは複数の画像タイルのうちの第１の画像タイルの画像データと前記１つまたは複数の画像タイルのうちの第２の画像タイルの画像データとの間の差、または
前記１つまたは複数の画像タイルのうちの第１の画像タイルが取得された第１の時刻と前記１つまたは複数の画像タイルのうちの第２の画像タイルが取得された画像データとの間の時間差
の一方または両方を含む、請求項１４に記載のシステム（１５０）。

【請求項16】

前記画像タイルの前記より大きなセットビューが、前記空間体積の３次元画像を含む、請求項１４に記載のシステム（１５０）。

【請求項17】

前記セットの前記１つまたは複数の画像タイルが改定の時期であるかどうかを判定することが、前記１つまたは複数の画像タイルのうちの以前に取得された画像タイルのデータ内容が、より最近に取得された画像タイルのデータ内容とは閾値内容量を超えて異なるかどうかを判定することを含む、請求項１４に記載のシステム（１５０）。

【請求項18】

システム（１５０）であって、
空間体積のより大きなセットビューを形成するために使用される画像タイルのセットの１つまたは複数の前記画像タイルに関連付けられる画像偏差データを検査するように構成されたコントローラ（１３６）であって、前記コントローラ（１３６）がまた、検査される前記画像偏差データに基づいて、前記空間体積の前記より大きなセットビューを更新するために、前記セットの前記１つまたは複数の画像タイルが改定の時期であるかどうかを判定するように構成され、前記コントローラ（１３６）が、前記セットの前記１つまたは複数の画像タイルが改定の時期であると判定したことに応答して、１つまたは複数の搭載センサ（１１２）を伴って前記空間体積の中を、そばで、または方へ移動している車両（１０２）に、前記１つまたは複数の更新された画像タイルの部分データを取り込むよう指示するように構成され、
前記コントローラ（１３６）が、前記部分データを検査して、前記１つまたは複数の更新された画像タイルが変化していることを前記部分データが示しているかどうかを判定するように構成され、前記コントローラ（１３６）が、前記１つまたは複数の更新された画像タイルが変化していないと判定したことに応答して前記１つまたは複数の更新された画像タイルのタイムスタンプを更新するか、または前記１つまたは複数の更新された画像タイルが変化していると判定したことに応答して前記１つまたは複数の更新された画像タイルの全体の追加データを取得するよう前記１つまたは複数のセンサ（１１２）に指示するように、構成される、コントローラ（１３６）を備える、システム（１５０）。

【請求項19】

前記車両（１０２）が第１の車両（１０２）であり、前記コントローラ（１３６）は、第２の車両（１０２）が前記１つまたは複数のセンサ（１１２）を伴って前記空間体積の中をまたはそばで移動して、前記１つまたは複数の更新された画像タイルを取り込む予定を組むこと、または、前記１つまたは複数の画像タイルが閾値量を超えて変化していると判定したことに応答して、前記１つまたは複数の更新された画像タイルを取り込むために、前記１つまたは複数のセンサ（１１２）を伴って前記空間体積の中を、そばで、または方へ移動している第３の車両（１０２）を特定すること、の一方または両方を行うように構成される、請求項１８に記載のシステム（１５０）。

【請求項20】

前記車両（１０２）が第１の車両（１０２）であり、前記コントローラ（１３６）が、前記画像タイルの前記セットを少なくとも第２の車両（１０２）に伝達して、前記少なくとも前記第２の車両（１０２）が前記空間体積の中を移動している間に前記少なくとも前記第２の車両（１０２）が前記少なくとも前記第２の車両（１０２）の動きを制御または変更するように構成される、請求項１８に記載のシステム（１５０）。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本出願は、米国仮出願第６３／３３０，２０４号（２０２２年４月１２日に出願済み）の優先権を主張するものであり、その全開示は参照により本明細書に組み込まれる。

【0002】

本明細書に記載の開示される主題は、輸送ネットワーク（ｔｒａｎｓｐｏｒｔａｔｉｏｎ ｎｅｔｗｏｒｋ）および輸送ネットワーク内の資産（ａｓｓｅｔｓ）の３次元（３Ｄ）マップタイル（ｍａｐ ｔｉｌｅｓ）を生成およびリフレッシュするためのシステムおよび方法に関する。

【背景技術】

【0003】

輸送ネットワーク、例えば鉄道貨物ネットワークは、カメラおよび他のビジョンシステムの利用を高めている。カメラおよびビジョンシステムは、列車のような移動する資産上に取り付けられ、インフラストラクチャと他の資産などの他の移動する物体との両方、あるいは輸送ネットワーク内の自動車および人々との遭遇に関する情報を収集することができる。仮想現実（ｖｉｒｔｕａｌ ｒｅａｌｉｔｙ）などの新技術は、アクティブカメラがその領域内で利用できない場合でも、以前に観察されマッピングされたことがある物理的領域を探索することを可能にする。仮想現実のようなツールは、車両オペレータを訓練するために使用され得るとともに、意思決定、調査、または監査の代用となり得る。しかしながら、仮想現実には、最近の視覚情報から基礎となるマップが作成される必要がある。遠隔オペレータが視認性を得る必要がある領域内にアクティブカメラを有することがいつも可能であるとは限らない。

【0004】

現在利用可能なシステムおよび方法とは異なるシステムおよび方法を有することが望ましい場合がある。

【発明の概要】

【0005】

１つの態様または例によれば、方法は、空間体積（ｖｏｌｕｍｅ ｏｆ ｓｐａｃｅ）のより大きなセットビュー（ｓｅｔ ｖｉｅｗ）を形成するために使用される画像タイルのセットの１つまたは複数の画像タイルに関連付けられる画像偏差データ（ｉｍａｇｅ ｄｅｖｉａｔｉｏｎ ｄａｔａ）を検査することと、検査される画像偏差データに基づいて、空間体積のより大きなセットビューを更新するために、セットの１つまたは複数の画像タイルが改定の時期であるかどうかを判定することと、を含むことができる。本方法は、（ａ）第１の車両が１つまたは複数のセンサを伴って空間体積の中またはそばで移動して、１つまたは複数の更新された画像タイルを取り込む予定を組むこと、または（ｂ）セットの１つまたは複数の画像タイルが改定の時期であると判定したことに応答して、１つまたは複数の更新された画像タイルを取り込むために、１つまたは複数のセンサを伴って空間体積の中を、そばで、または方へ移動している第２の車両を特定すること、の一方または両方を含むことができる。

【0006】

１つの態様または例によれば、システムは、１つまたは複数のプロセッサを含むことができる。１つまたは複数のプロセッサは、空間体積のより大きなセットビューを形成するために使用される画像タイルのセットの１つまたは複数の画像タイルに関連付けられる画像偏差データを検査することができる。１つまたは複数のプロセッサは、検査される画像偏差データに基づいて、空間体積のより大きなセットビューを更新するために、セットの１つまたは複数の画像タイルが改定の時期であるかどうかを判定することができる。１つまたは複数のプロセッサは、（ａ）第１の車両が１つまたは複数のセンサを伴って空間体積の中をまたはそばで移動して、１つまたは複数の更新された画像タイルを取り込むための予定を組み、かつ／または（ｂ）セットの１つまたは複数の画像タイルが改定の時期であると判定したことに応答して、１つまたは複数のセンサを伴って空間体積の中を、そばで、または方へ移動している第２の車両を特定して、１つまたは複数の更新された画像タイルを取り込むことができる。

【0007】

１つの態様または例によれば、システムはコントローラを含むことができる。コントローラは、空間体積のより大きなセットビューを形成するために使用される画像タイルのセットの１つまたは複数の画像タイルに関連付けられる画像偏差データを検査することができる。コントローラは、検査される画像偏差データに基づいて、空間体積のより大きなセットビューを更新するために、セットの１つまたは複数の画像タイルが改定の時期であるかどうかを判定することができる。コントローラは、１つまたは複数の搭載センサを用いて空間体積の中を、そばで、または方へ移動している車両に、セットの１つまたは複数の画像タイルが改定の時期であると判定したことに応答して１つまたは複数の更新された画像タイルの部分データを取り込むよう指示することができる。コントローラは、部分データを検査して、１つまたは複数の更新された画像タイルが変化していることを部分データが示しているかどうかを判定することができる。コントローラは、１つまたは複数の更新された画像タイルが変化していないと判定したことに応答して１つまたは複数の更新された画像タイルのタイムスタンプを更新するか、または、１つまたは複数のセンサに、１つまたは複数の更新された画像タイルが変化していると判定したことに応答して１つまたは複数の更新された画像タイルの全体の追加データを取得するよう指示することができる。

【図面の簡単な説明】

【0008】

本主題は、添付の図面を参照して、非限定的な実施形態の以下の説明を読むことにより理解され得る。

【図1】車両システムの一例を示す図である。

【図2】マップ生成システムの一例を示す図である。

【図3】一実施形態による方法を概略的に示す図である。

【図4】一実施形態による方法を概略的に示す図である。

【図5】一実施形態による方法を概略的に示す図である。

【図6】一実施形態による方法を概略的に示す図である。

【図7】一実施形態による方法を概略的に示す図である。

【発明を実施するための形態】

【0009】

本明細書に記載の主題の諸実施形態は、輸送ネットワークと輸送ネットワーク内の車両システムを含む資産との仮想現実マップの作成および／または更新に関する。輸送ネットワークのタイルマップは、輸送ネットワーク内で動作する車両システムによって収集された画像データから生成され得る。タイルマップは、いくつかの画像（２Ｄ画像または３Ｄ画像）から形成された３次元（３Ｄ）または２次元（２Ｄ）マップであり得る。タイルマップは、収集された画像データから形成および／または作成され得る。タイルマップは、例えば、輸送ネットワーク内で動作する車両システムの列車オペレータを訓練するとともに、修理、交換、またはより綿密な検査を必要とする輸送ネットワークの各セクション（例えば、経路、トンネル、橋、道端の装置、スイッチ、ゲート、光信号、標識など）を識別するために、仮想現実環境内で使用され得る。マップおよび仮想現実環境は、輸送ネットワーク内の交通ルーティングに関する決定を行う、調査（例えば、車両システムに関わる事故を含むインシデントに対する）を行う、輸送ネットワーク内での車両システム動作の監査を行う、などのために使用され得る。

【0010】

マップは、マップおよび仮想現実環境に、輸送ネットワークを表す最近の情報を提供するために維持および更新され得る。視覚タイルまたは画像タイルは、輸送ネットワークからの最新情報またはより最近の情報の表現を作成するために更新され、タイムスタンプされ得る。例えば、経路回廊（ｒｏｕｔｅ ｃｏｒｒｉｄｏｒ）の仮想現実マップが、カメラによって観察される回廊の各部分の写真タイルを用いた３Ｄレンダリングとして輸送経路または輸送回廊を記録しマッピングする１つまたは複数のカメラを有する第１の車両システムによって作成されることになる。各視覚タイルは、タイルに関連付けられる画像によって表される日付、ならびに／または、日付および／もしくは時間を示すタイムスタンプに関連付けることができる。その後、マップは、仮想現実ツアーに利用可能にされ得る。別の資産または車両システムが、輸送経路または輸送回廊を同じ方向または反対方向に通過するか、または別の経路上を通り過ぎるとき、この他の資産または車両の見晴らしの利く地点は異なっていてもよく、他の資産または車両は新しい画像またはタイルを取得することができ、新しい画像またはタイルは、先行車両もしくは資産からの画像またはタイル相互間の隙間を埋める、先行車両からの画像またはタイルを更新する、などのために使用され得る。第２の車両はまた、任意の既存のタイルをリフレッシュし（例えば、既存のタイルの更新された画像を取得し）、既存のタイルを更新された画像に置き換えることができる。後の監査では、輸送経路または輸送回廊のマップは、期限切れ（例えば、直近に取得された画像、またはタイルを形成する画像の平均年齢が指定年齢よりも古い）と識別されるか、またはリフレッシュを必要とする特定の部分またはタイルを有することができる。単一または複数の車両システムが回廊を通過するように予定されている場合、この車両は、輸送経路または輸送回廊の一部の画像を収集するように指示され得る。そうでなければ、画像を収集するために車両システムが輸送経路または輸送回廊に派遣され得る。これらの画像は、回廊のマップを置換または更新するために使用され得る。経時的に、輸送ネットワーク全体、例えば貨物、トランジット、鉄道、道路、採掘、または高速道路のネットワークが、いくつかの車両または車両システムによって取得された画像を使用してマッピングされ得る。マップは、ソフトウェアアプリケーションへのサービスとして利用可能にされ、拡張性のある複雑なインフラストラクチャおよびネットワーク表現を遠隔で観察することが必要であり得るケースを使用することができる。

【0011】

輸送ネットワークのマップが更新またはリフレッシュされ得る頻度は、画像データを取り込むまたは収集するために利用可能な輸送ネットワーク内の車両システムの数、輸送ネットワーク内の車両システムに搭載された画像データを記憶するためのメモリの可用性、および／または、マップを生成し、維持し、かつ更新するためのシステムの処理能力の可用性を含むいくつかの要因に依存し得る。画像データの更新と更新との時間は、この時間が輸送ネットワーク内の１つまたは複数の輸送経路または１つまたは複数の輸送回廊の最新の状態または状況を表すようにマップの精度を維持するために決定され得る。取り込まれるまたは収集される画像データはまた、取り込まれたまたは収集された画像データが更新またはリフレッシュを必要とするくらいマップの画像データと異なるかどうかを判定するために分析されてもよい。

【0012】

マップ全体がリアルタイムでリフレッシュされる必要なしに仮想現実マップが正確であることを確実にするのに役立つように、優先順位付けモデルが確立され得る。この優先順位付けモデルは、どのタイルを他のタイルより前に更新すべきかを決定するために使用され得る。マップリフレッシングプロセスの優先順位付けは、すべてのタイルが指定期間内に（例えば、毎月）リフレッシュされるべきであること、を含むことができる。タイルがリフレッシュされると、タイルを同じタイルの以前のバージョンと比較することができ、差分計算を決定することができる。画像相互間の差が閾値を下回る場合、同じタイルが再びリフレッシュまたは更新される前の時間は長くされ得る。タイル相互間の差が閾値を超える場合、同じタイルが再びリフレッシュまたは更新される前の時間は、タイルをより頻繁に更新するために短縮され得る。

【0013】

マップ内で、優先順位付けモデルは特定の物体を認識することもできる。例えば、経路上の気動車（ｒａｉｌｃａｒ）などの車両が画像に出現することがあり、気動車の一種として、またその気動車のインスタンス化として記憶され得る。ゴンドラは、基礎となる３Ｄモデルを有する気動車タイプとして認識され得る。観察される特定のゴンドラ気動車は、車両が異なる角度から観察されるたびにそれ自体の３Ｄ記録を有することができる。移動カメラは、環境内の障害物（例えば気動車）を既知の物体として認識できる場合があり、地上トポロジーのその部分を再現することはなく、気動車の特徴をインフラストラクチャの変化として誤って描写することになる。例えば、この気動車が出現しない画像を用いて以前にマップが作成された場合、マップを更新するために使用される、続いて取得された画像は、気動車を示すことができる。気動車は、気動車が画像内にどのように出現するかをシステムに知らせるデータモデルを使用して識別され得るので、システムは、気動車と移動式ではない静的インフラストラクチャとを見分けることができる。システムは、タイルマップを新しい画像内の情報で更新することができるが、気動車自体を含まない（気動車がマップに示される静的インフラストラクチャの変化としてシステムによって識別されるのを回避するため）。気動車自体は、カメラがその現在の配置内に気動車を観察したことがない場合でも、画像内に正確に表すことができる。例えば、派遣システムが特定の場所に特定の気動車を示す場合、仮想現実は、その特定の気動車のタイルモデルをその現在の位置に、損傷および／または落書きなどの詳細に含めるようにし、気動車を仮想的に歩き回って気動車の各側面を観察することを可能にすることができる。

【0014】

１つまたは複数の実施形態が鉄道車両システム（ｒａｉｌ ｖｅｈｉｃｌｅ ｓｙｓｔｅｍｓ）に関連して記述されるが、すべての実施形態が鉄道車両システムに関するわけではない。さらに、本明細書に記載の実施形態は、多種の車両システムに及ぶ。適切な車両システムは、鉄道車両、自動車、トラック（トレーラの有無にかかわらず）、バス、船舶、航空機、採掘車両、農業車両、およびオフハイウェイ車両を含むことができる。本明細書に記載の適切な車両システムは、単一車両から形成することができる。他の実施形態では、車両システムは、協調して移動する複数の車両を含むことができる。複数車両システムに関して、車両は互いに（例えば、連結器によって）機械的に連結することができる、または車両は仮想的または論理的に連結されるが、機械的に連結されなくてもよい。例えば、別個の車両が互いに通信して、車両が共に（例えば、コンボイ、隊列、スウォーム、フリートとして）走行するように車両の動きを互いに協調させるときに、車両は通信可能に連結されるが、機械的には連結されなくてもよい。適切な車両システムは、軌道上を走行する鉄道車両システム、または道路もしくは路上を走行する車両システムであってもよい。

【0015】

図１を参照すると、画像データ取込みおよび通信システム１００（画像マップ生成システムとも呼ばれる）は車両システム１０２上に配置され得る。車両システムは、出発地または発車地から目的地または到着地までのトリップ中に経路１０４に沿って走行することができる。経路は、道路（例えば、多車線の高速道路または他の道路）、軌道、鉄道、空域、水路などであり得る。車両システムは、推進力発生車両１０８と、任意選択的に、経路に沿って共に走行するように互いに相互接続された１つまたは複数の非推進力発生車両１１０と、を含むことができる。車両システムは、少なくとも１つの推進力発生車両と、任意選択的に、１つまたは複数の非推進力発生車両と、を含むことができる。

【0016】

１つまたは複数の推進力発生車両は、経路に沿って１つまたは複数の非推進力発生車両を推進させる（例えば、引くまたは押す）ための牽引力を発生させることができる。推進力発生車両は、車輪１２０に接続された車軸１２２を駆動するための推進サブシステム１１８を含む。一実施形態によれば、推進システムは、車両システムを推進させるための牽引力を生成する１つまたは複数の牽引モータを含む。一実施形態によれば、推進力車両のうちの１つは、複数車両システム内の先頭車両であってもよく、他の車両は複数車両システムの遠隔車両である。遠隔車両は、推進力発生車両または非推進力発生車両であり得る。

【0017】

車両システム内の車両は、互いに機械的に連結され得る。例えば、推進力発生車両は、連結器１２３によって非推進力発生車両に機械的に連結され得る。あるいは、車両システム内の車両は、互いに機械的に連結されていなくてもよく、互いに論理的に連結されていてもよい。例えば、車両が互いに通信して、車両が車両システムとしてコンボイまたはグループで共に走行するように車両の動きを互いに協調させることにより、車両は互いに論理的に連結され得る。

【0018】

一実施形態によれば、車両システムは鉄道車両システムであってもよく、経路は１つまたは複数のレールによって形成された軌道であってもよい。推進力発生車両は機関車であってもよく、非推進力発生車両は乗客および／または貨物を運ぶ鉄道車両であってもよい。あるいは、推進力発生車両は、機関車以外の別の種類の鉄道車両であってもよい。他の実施形態によれば、車両システムは、１つまたは複数の自動車、船舶、航空機、採掘車両、農業車両、または他のオフハイウェイ車両（ＯＨＶ）システム（例えば、法的に許可されていない、かつ／または公道上での走行用に設計されていない車両システム）などであってもよい。本明細書で提供されるいくつかの例は、経路を軌道であるものとして説明しているが、すべての実施形態が鉄道線路上を走行する鉄道車両に限定されるわけではない。１つまたは複数の実施形態は、非鉄道車両と道路、路、水路などの軌道以外の経路とに関連して使用され得る。

【0019】

画像データ収集および通信システムは、車両システムが経路に沿って走行するときにデータを取り込むまたは収集することができる１つまたは複数の視覚センサ１１２を含むことができる。一実施形態によれば、視覚センサは撮像装置であり得る。例えば、視覚センサは、静止画像を取り込むまたは収集することができるカメラ、ビデオ画像を取り込むまたは収集することができるビデオカメラ、赤外線カメラ、高解像度カメラ、レーダ、ソナー、またはライダーであり得る。視覚センサは、経路に関連付けられる画像データを取得するように配置され得る。画像データは、経路の画像を含むことができる。画像データは、経路を取り囲む領域の画像を含むことができる。一実施形態によれば、車両システムは鉄道車両であってもよく、画像データは、鉄道車両が走行する軌道の画像を含むことができる。一実施形態によれば、車両システムは、道路上を走行する車両システムであってもよく、画像データは道路の画像を含むことができる。一実施形態によれば、車両システムはオフロード車両システムであり、画像データはオフロード車両システム経路の画像を含むことができる。

【0020】

一実施形態によれば、画像データ収集および通信システムは、車両システムの１つの車両上に、例えば１つの推進力発生車両上に完全に配置され得る。一実施形態によれば、画像データ収集および通信システムの１つまたは複数の構成要素が、車両システムの車両の間で分散され得る。例えば、いくつかの構成要素が、グループで互いに連結されているか、または構成している２つ以上の推進力発生車両の間に分散され得る。

【0021】

一実施形態によれば、マップデータ収集および通信システムの構成要素のうちの少なくともいくつかが、派遣場所やバックオフィス場所など、車両システムから遠隔に配置され得る。画像データ収集および通信システムの遠隔構成要素は、車両システム、および車両システム上に配置されたマップデータ収集および通信システムの構成要素と通信することができる。

【0022】

画像データは、走行経路を取り囲む領域の画像を含むことができる。例えば、画像データは、走行経路を取り囲む領域のパノラマビュー（例えば、３６０°の視野）を含むことができる。画像データは、１つまたは複数の視覚センサの特定の視野角内の領域の画像を含むことができる。画像データは、走行経路上の地形（例えば、丘、水域など）、植生、建物、交通信号、および／または他の車両のうちの１つまたは複数の画像を含むことができる。画像データ収集および通信システムは、車両通信アセンブリ１２８および遠隔通信アセンブリ１３０を含む通信システム１２６を含むことができる。車両通信アセンブリは、先頭車両、例えば先頭推進力発生車両に搭載され得る。遠隔通信アセンブリは、派遣場所やバックオフィス場所など、車両システムから遠く離れた場所にあってもよい。車両通信アセンブリは、遠隔通信アセンブリと無線で通信することができる。

【0023】

車両システムは、車両システムのための１つまたは複数の機能を実行するように動作するハードウェアおよび／またはソフトウェアシステムであり得るコントローラ１３６または制御ユニットを有することができる。コントローラは、１つまたは複数の視覚センサなどの、画像データ収集および通信システムの構成要素から情報を受信し、受信した情報を分析し、通信信号を生成する。位置決定システム１０６は、経路に沿った車両システムの位置を決定することができる。一実施形態によれば、位置決定システムは、全地球測位システム（ＧＰＳ）であってもよい。車両通信アセンブリは、車両システムの位置を遠隔通信アセンブリに伝達することができる。

【0024】

図２を参照すると、マップ生成システム１５０は、通信システム、車両通信アセンブリ、車両コントローラ、１つまたは複数の視覚センサ、および遠隔通信アセンブリを含むことができる。マップ生成システムは、車両システムに搭載されたメモリ１１４、入力１１６、およびディスプレイ１２４を含むことができる。マップ生成システムは、遠隔通信アセンブリを含む遠隔地１４２に、１つまたは複数のプロセッサ１３２、メモリ１３４、入力１３８、およびディスプレイ１４０を含むことができる。遠隔地は、例えば、派遣場所またはバックオフィス場所であってもよい。遠隔地は、クラウドコンピューティングサービスを含むか、またはこれと通信することができる。車両システムに搭載されたメモリは、本明細書に開示される方法を実施するために遠隔地の１つまたは複数のプロセッサを実装するか、またはこのプロセッサで動作する車両システムに搭載されたコントローラによって実行可能である命令を含むことができる。遠隔地のメモリは、本明細書に開示される方法を実施するために、車両システムに搭載されたコントローラを実装するか、またはこのコントローラで動作する１つまたは複数のプロセッサによって実行可能である命令を含むことができる。

【0025】

車両システムに搭載されたメモリは、１つまたは複数の視覚センサによって収集されたデータを記憶することができる。車両に搭載されたメモリはまた、トリップの開始前に生成された経路のマップを記憶することもできる。マップは、遠隔地のメモリに記憶され得る。マップは、複数の画像タイルから形成され得る。画像タイルは、車両システムと、車両システムが走行している経路上を走行したことがあり、経路を走行しながら画像データを取り込んだ他の車両システムと、の１つまたは複数の視覚センサによって収集された画像データを含むことができる。画像タイルは、車両システム、あるいは経路が共有する地点または領域を含む他の経路を走行したことがある他の車両システムによって収集された画像データを含むことができる。

【0026】

車両システムが輸送ネットワーク内で動作すると、車両システムに搭載された視覚センサは、輸送ネットワーク内の経路に沿って移動しながら輸送ネットワークの画像データを取り込むまたは収集する。収集された画像データから画像タイルのセットが形成される。各画像タイルは、複数の視覚センサからの画像データの組合せまたは多様性を使用して作成され得る。例えば、各画像タイルは、カメラ、ビデオカメラ、レーダ、ＬｉＤＡＲ、ソナー、赤外線、および／または他の視覚センサからの画像データから作成され得る。

【0027】

画像タイルのセットを形成するために、複数の画像タイルが一緒にグループ化され得る。複数の画像タイルは、タイルマップを形成するようにつなぎ合わされてもよい。一実施形態によれば、タイルマップは３Ｄタイルマップであってもよい。３Ｄタイルマップによって表される領域は、輸送ネットワーク内の空間体積である。セットは、タイルマップを形成するために組み合わされる画像をすべて含む。より大きなセットビューは、３Ｄタイルマップを含む。より大きなセットビューはまた、２つ以上の画像から形成される２Ｄビューを含むことができる。例えば、画像タイルのより大きなセットビューは、空間体積のより大きなセットビューを形成するようにつなぎ合わされた２つ以上の画像、ビデオフレーム、または１つまたは複数の視覚センサから出力されたデータを含むことができる。

【0028】

画像タイルは、画像タイルの画像データが取り込まれたまたは収集された日時を含む情報を含むメタデータを含むことができる。メタデータは、画像データが取り込まれたまたは収集された位置を示す位置データを含むことができる。位置データは、例えば、位置決定システムから取得され得る。メタデータは、画像データが変わっていないと確認された画像タイルの画像データの収集の連続カウントを含むことができる。メタデータは、画像データが変わっていないと確認された収集の期間カウントを含むことができる。例えば、メタデータは、画像タイルの画像データが１年間変化していないデータを含むことができる。各タイルは、画像データの収集がタイルの以前の画像データの収集から最後に逸脱したときのメタデータ、ならびに収集の数、および逸脱と最新の画像データの収集との間に経過した時間を含むことができる。次いで、メタデータを使用して、特定の画像タイルの変化の頻度を計算し、それにより特定の画像タイルが画像データの次の収集にいつ予定されるかを決定することができる。

【0029】

画像タイルが収集される予定がない場合、画像タイルが表す領域を通り過ぎる車両システムは、最後の収集から最も古いタイルであり得るか、または以前の収集および比較に基づいて頻繁に変化することが知られ得るタイルのリストを割り当てられてもよい。車両システムの視覚センサがタイルのリストの画像データを取り込んでいるまたは収集しているとき、視覚センサは画像タイル全体の画像データを収集しなくてもよい。視覚センサは、画像タイルが以前の画像データの収集と同じであることを確認または否定するために、画像タイルのより小さい部分をサンプリングすることができる。より小さいサンプリング部分が同じである場合、画像ファイルのタイムスタンプは更新され得る。より小さいサンプリング部分が異なる場合、視覚センサは、比較のために画像タイル全体の画像データを直ちに収集することができる。

【0030】

収集された画像データから形成された画像タイルが予想とは著しく異なる場合、マップは改正することができ、画像タイルには、画像タイルが安定しており変化していないと再び考えられるまでの期間のさらなる収集のためにフラグを立てることができる。画像の取込みまたは収集は、輸送ネットワーク内の他の通過車両システムによって行われてもよい。画像タイルを安定しており変化していないものと確認するためにさらに画像データを収集することで、画像タイルが、例えば経路上の葉または雪の蓄積に起因する一時的な状況のために恒久的に改正されることを防止する。

【0031】

メタデータは、最適最小サンプルサイズを含むことができる。単一タイルの有用な比較に必要な最小数の画像タイル変動を最適化するために、機械学習（ＭＬ）モデルを使用することができる。例えば、照明および気象変動を最小限にした環境では、比較目的のために単一タイルが１年間使用され得る。別の例によれば、著しい照明および天候の差がある環境では、比較目的のために２つまたは３つの画像タイルが必要とされ得る。機械学習モデルは、画像タイル相互間の差を報告する前に、画像タイル変動のうちのどれが一致するかを検出することができる。最良のタイル一致は、例えば、時刻、季節、および照明の尺度を含むコンテキストメタデータでログ記録または記録され得る。機械学習モデルは、コンテキストメタデータによる優先順位で画像タイルを比較するために使用され得る。比較は、最初の一致の後で停止されてもよい。次いで、機械学習モデルは、最適な最小サンプルサイズを再び決定することができる。機械学習モデルは、季節および時刻のドリフトパターンを監視しながら、年間を通して単一の一致比較を可能にするために、できるだけ少ない変動を作成し保存することができる。

【0032】

各車両システムは、画像データを収集するまたは取り込むための優先度レベルを有することができる。車両システムは、割り当てられた画像データ収集または取込みがないことを含み得る低い優先度を有することができる。車両システムの視覚センサは、ローリング受動抜取り検査を実行するために使用され得る。取り込まれるまたは収集される画像データは、画像タイルの完全な収集でなくてもよく、散乱した画像タイルのより小さいサンプルであってもよい。

【0033】

車両システムは、画像データの取込みまたは収集について中程度の優先度を有することができる。車両システムには、最新の画像データから変わっていないものものとして予定された収集および／または確認のためにリスト内の特定の画像タイルが割り当てられてもよい。視覚センサは、リスト内の各画像タイルについて画像データの部分的収集または完全な収集を行うことができる。特定のタイルは、作業リストとして車両システムに指示されてもよい。リストはジャストインタイム収集とは異なり得るが、現在の優先度レベルに依存し得る。優先度レベルは、まれではあるが高リスクの変化が存在する領域における優先度レベルへの変更を指示するビジネスおよび／またはコンテキストルールと共に、最も古いタイルがチェックまたは更新されることを含むことができる。例えば、ウォッシュアウトまたは泥流が発生することが知られている領域で車両システムが動作している場合、車両システム優先度は変更または更新され得る。車両システムの速度制限と同様に、ビジネスおよび／またはコンテキストルールは、永続的または一時的であり得る。例えば、ビジネスルールおよび／またはコンテキストルールは、例えば雪による優先度レベルを変更するための季節ルール、または例えば、ハリケーンの最中や後などの１回限りの事象による一時的ルールなど、永続的または一時的であり得る。

【0034】

車両システムは、データの取込みまたは収集について高い優先度を有することができる。車両システムは、不一致などの以前の観察を確認または否定するよう要求され得る。視覚センサは、１つまたは複数の画像タイル上で部分的収集または完全な収集を行い、変化が何であるかを報告するか、あるいは遠隔地もしくはクラウドでの処理のため、または人間による見直しのために完全な収集を提出することができる。車両システムは、例えばエッジデバイスを使用して、変化のオンボード分析を行うことができる。

【0035】

車両システムは、輸送ネットワーク内にある間、異なる優先度レベルに従って動作することができる。車両システムは、高優先度レベルに従って動作することができ、同時に、中優先度レベルおよび低優先度レベルに従って実行することができる。車両システムの優先度レベルは、輸送ネットワーク内で動作している間に変化し得る。例えば、車両システムは、低優先度レベルに従って動作しているが、遠隔地から通信または送信を受けて中優先度レベルおよび／または高優先度レベルで動作することができる。車両システムのコントローラは、各優先度レベルに従って実行する視覚センサの能力を決定することができる。車両システムのコントローラは、例えば車両システムの稼働時間に関して、各優先度レベルに従って動作するための車両システムのリソース容量、他の車両システム動作のための視覚センサの要件に加えて、画像データ取込みまたは収集を実行する視覚センサの可用性または能力、車両システムに搭載されたデータ記憶容量、ならびに／あるいは遠隔地および／またはクラウドとの通信可用性を決定することができる。

【0036】

図３を参照すると、一実施形態による方法３００は、車両システムが、トリップを開始する前に、環境比較で使用する一致サンプルをダウンロードするステップ３１０を含む。車両システムは、画像タイルの一致サンプルを車両システムに搭載されたエッジデバイスにダウンロードすることができる。エッジデバイスは、車両システムを遠隔地の遠隔通信アセンブリまたはクラウドストレージシステムに接続するハードウェアを含むことができる。本方法は、車両システムが輸送ネットワーク内をトリップしている間、画像タイルの一致サンプルを比較のために車両システムに送信または伝達するステップ３２０を含むことができる。

【0037】

本方法は、画像タイルの一致サンプルを、トリップ中に取り込まれたまたは収集された画像データとローリング比較するステップ３３０を含むことができる。車両システムが輸送ネットワーク内の経路を走行している間、取り込まれたまたは収集された画像データは画像タイルに形成される。画像タイルは、トリップ前にダウンロードされた画像タイルの一致サンプルと、かつ／またはトリップ中に車両システムに送信または伝達された画像タイルの一致サンプルと比較され得る。本方法は、画像タイルの一致サンプルのうちの１つまたは複数とトリップ中に取り込まれたまたは収集された画像データから形成された１つまたは複数の画像タイルとの間の不一致を観察するステップ３４０を含むことができる。本方法は、１つまたは複数の観察された不一致をログ記録もしくは記録または記憶するステップ３５０を含むことができる。１つまたは複数の観察された不一致は、車両システムに搭載されたメモリ、遠隔地のメモリ、および／またはクラウドに記憶され得る。

【0038】

本方法は、データを同時に追加することが可能であれば、観察された不一致の記録またはログ記録と同時に、データをマップ収集に追加するステップ３６０を含むことができる。本方法は、報告することが可能であれば、観察された不一致を記録またはログ記録するのと同時に、観察された不一致をクラウドに報告するステップ３７０を含むことができる。観察された不一致を報告することが不可能であれば、本方法は、システムが、例えばネットワークを通じて遠隔地に接続することができるまで、画像データおよび観察された不一致と報告とを保存することを含むことができる。

【0039】

図４を参照すると、方法４００は、第１の車両（車両１）によって画像タイルを作成または更新するステップ４１０を含むことができる。本方法は、第２の車両（車両２）が画像タイルをサンプリングし、画像タイルをマップ内の画像タイルの記録と比較するステップ４２０を含むことができる。本方法は、サンプリングされた画像タイルとマップ内の画像タイルの記録との間の不一致を観察するステップ４３０を含むことができる。本方法は、サンプリングされた画像タイルとマップ内の画像タイルの記録との一致を観察するステップ４３５を含むことができる。本方法は、収集有効期限をリセットして観察された一致を反映するステップ４４０、すなわち、画像タイルの最新サンプルがマップ収集における画像タイルの記録と一致することを確認するステップを含むことができる。

【0040】

本方法は、画像タイルのより幅広いサンプルを収集すること、または画像タイルの完全なサンプルを収集することを第３の車両（車両３）に課して、観察された不一致を確認または否定するステップ４４５を含むことができる。本方法は、第３の車両によってより幅広いまたは完全なサンプルから観察された不一致を確認するステップ４５０と、画像タイルを新しい画像データおよび新しい有効期限で更新するステップ４６０と、を含むことができる。

【0041】

本方法は、第３の車両による画像タイルのより幅広いまたは完全なサンプルの場合、観察された不一致を否定するステップ４５５を含むことができる。観察された不一致は、第３の車両によるより幅広いまたは完全なサンプルが第２の車両によって観察された同じ不一致である場合、否定され得る。本方法は、フォールスポジティブ（第２の車両によって観察された不一致）をログ記録または報告するステップ４６５を含むことができる。本方法は、視覚センサまたは場所がフォールスポジティブの観察された不一致を繰り返す場合、フォールスポジティブの診断のために画像データ収集の見直しを行うステップ４７０を含むことができる。

【0042】

図５を参照すると、方法５００は、通過車両システムの視覚センサを用いて、１つまたは複数の画像タイルの予期せぬ画像データを観察するステップ５０５を含むことができる。視覚センサは、予期せぬ画像データが何であるかを決定することができない場合がある。本方法は、車両システムが観察された予期せぬ画像データを遠隔地またはクラウドに報告またはアップロードするステップ５１０を含む。本方法は、遠隔地またはクラウドが、追加の画像データの収集による確認のために画像タイルにフラグを立てるステップ５１５を含む。一実施形態によれば、追加の画像データの収集は、タイル画像データの完全な収集でなくてもよい。

【0043】

本方法は、遠隔地またはクラウドが、画像タイルの画像データをサンプリングすべき領域を通り過ぎる次に利用可能な車両システムに仕事を課すステップ５２０を含むことができる。本方法は、車両システムが画像タイルの散乱サンプルを取り、不一致を否定する（すなわち、画像タイルがマップ収集の画像タイルと一致すると決定する）ステップ５２５を含むことができる。このステップは、車両システムが画像タイルの散乱サンプルを取り、不一致を確認する（すなわち、画像タイルがマップ収集の画像タイルと一致しないと決定する）ステップ５３０を含むことができる。

【0044】

本方法は、人間による見直しのために散乱サンプルを遠隔地またはクラウドに送るステップ５３５と、状況に応じて人間による見直しおよび介入のために散乱サンプル画像を待ち行列に入れるステップ５４０と、を含むことができる。本方法は、遠隔地またはクラウドが完全な新しい画像データ収集のために画像タイルに自動的に優先順位を付けるステップ５４５と、次に利用可能な車両システムが画像タイルのための画像データの新しい収集を行うステップ５５０と、を含むことができる。本方法は、画像タイルのメタデータを更新するステップ５５を含むことができる。更新されたメタデータは、将来の画像データ収集の優先度に影響を及ぼし得る。

【0045】

図６を参照すると、方法６００は、画像タイルのメタデータを更新するステップ６１０を含むことができる。本方法は、画像タイルへの確認された変化と画像タイルへの以前の確認された変化との間の時間が、２つの以前の確認された変化の間の時間よりも短いかどうかを判定するステップ６２０を含むことができる。本方法は、確認された変化の間の時間が２つの以前の確認された変化の間の時間よりも短い場合（Ｓ６２０：はい）、現在の優先度レベルよりも早い時間に画像タイルの画像データを収集するステップ６３０を含むことができる。本方法は、確認された変化の間の時間が２つの以前に確認された変化の間の時間よりも長い場合（Ｓ６２０：いいえ）、現在の優先度レベルよりも後の時間に画像タイルの画像データを収集するステップ６４０を含むことができる。

【0046】

図７を参照すると、方法７００は、空間体積のより大きなセットビューを形成するために使用される画像タイルのセットの１つまたは複数の画像タイルに関連付けられる画像偏差データを検査するステップ７１０を含む。本方法は、検査される画像偏差データに基づいて、空間体積のより大きなセットビューを更新するために、セットの１つまたは複数の画像タイルが改定の時期であるかどうかを判定するステップ７２０を含むことができる。本方法は、（ａ）第１の車両が１つまたは複数のセンサを伴って空間体積の中をまたはそばで移動して、１つまたは複数の更新された画像タイルを取り込む予定を組むこと、または（ｂ）セットの１つまたは複数の画像タイルが改定の時期であると判定したことに応答して、１つまたは複数の更新された画像タイルを取り込むために、１つまたは複数のセンサを伴って空間体積の中を、そばで、または方へ移動している第２の車両を特定すること、の一方または両方のステップ７３０を含むことができる。

【0047】

方法は、空間体積のより大きなセットビューを形成するために使用される画像タイルのセットの１つまたは複数の画像タイルに関連付けられる画像偏差データを検査することと、検査される画像偏差データに基づいて、空間体積のより大きなセットビューを更新するために、セットの１つまたは複数の画像タイルが改定の時期であるかどうかを判定することと、を含むことができる。本方法は、（ａ）第１の車両が１つまたは複数のセンサを伴って空間体積の中またはそばで移動して、１つまたは複数の更新された画像タイルを取り込む予定を組むこと、または（ｂ）セットの１つまたは複数の画像タイルが改定の時期であると判定したことに応答して、１つまたは複数の更新された画像タイルを取り込むために、１つまたは複数のセンサを伴って空間体積の中を、そばで、または方へ移動している第２の車両を特定すること、の一方または両方を含むことができる。

【0048】

画像偏差データは、１つまたは複数の画像タイルのうちの第１の画像タイルの画像データと１つまたは複数の画像タイルのうちの第２の画像タイルの画像データとの間の差を含むことができる。

【0049】

画像偏差データは、１つまたは複数の画像タイルのうちの第１の画像タイルが取得された第１の時刻と１つまたは複数の画像タイルのうちの第２の画像タイルが取得された画像データとの間の時間差を含むことができる。

【0050】

セット内の１つまたは複数の画像タイルのうちの少なくとも１つは、異なるセンサ出力の組合せであり得る。

【0051】

画像タイルのより大きなセットビューは、空間体積のより大きなセットビューを形成するようにつなぎ合わされた２つ以上の画像、ビデオフレーム、または光学センサから出力されたデータを含むことができる。

【0052】

画像タイルのより大きなセットビューは、空間体積の３次元画像を含むことができる。

【0053】

セットの１つまたは複数の画像タイルが改定の時期であるかどうかを判定することは、１つまたは複数の画像タイルのうちの以前に取得された画像タイルのデータ内容が、より最近に取得された画像タイルのデータ内容とは閾値内容量を超えて異なるかどうかを判定することを含むことができる。

【0054】

セットの１つまたは複数の画像タイルが改定の時期であるかどうかを判定することは、（ｃ）１つまたは複数の画像タイルのうちの以前に取得された画像タイルのデータ内容が取得されたより早い時刻と、（ｄ）より最近取得された画像タイルのデータ内容が取得されたより遅い時刻と、の間の期間が閾値期間よりも長いかどうかを判定することを含むことができる。

【0055】

（ａ）第１の車両の予定を組むこと、または（ｂ）第２の車両を特定することの一方または両方は、第１の車両または第２の車両に、搭載センサを使用して、画像タイルのうちの他の１つまたは複数よりも古いか、または以前の変化の頻度の増加に関連付けられる画像タイルのうちの少なくとも１つを更新するためのデータを検知するよう指示することを含むことができる。

【0056】

（ａ）第１の車両の予定を組むこと、または（ｂ）第２の車両を特定することの一方または両方は、第１の車両または第２の車両に、１つまたは複数のセンサのうちの搭載センサを使用して画像タイルのうちの少なくとも１つの全部ではなくサンプリングされた部分の部分データを検知するよう指示することを含むことができる。本方法は、搭載センサによって検知された画像タイルのうちの少なくとも１つの部分データを検査して、画像タイルのうちの少なくとも１つの部分データが、画像タイルのうちの少なくとも１つが変化していることを示しているかどうかを判定することを含むことができる。

【0057】

本方法は、画像タイルのうちの少なくとも１つが変化していないと判定したことに応答して、部分データに関連付けられる画像タイルのうちの少なくとも１つのタイムスタンプを更新すること、または、画像タイルのうちの少なくとも１つが変化していると判定したことに応答して、画像タイルのうちの少なくとも１つの全体の追加データを取得するよう搭載センサに指示すること、を含むことができる。

【0058】

本方法は、（ｃ）第３の車両が１つまたは複数のセンサを伴って空間体積の中をまたはそばで移動して、１つまたは複数の更新された画像タイルを取り込む予定を組むこと、または（ｄ）画像タイルのうちの少なくとも１つが閾値量を超えて変化していると判定したことに応答して、１つまたは複数の更新された画像タイルを取り込むために、１つまたは複数のセンサを伴って空間体積の中を、そばで、または方へ移動している第４の車両を特定すること、の一方または両方を含むことができる。

【0059】

本方法は、画像タイルのセットを少なくとも第３の車両に伝達して、少なくとも第３の車両が空間体積の中を移動している間に少なくとも第３の車両が少なくとも第３の車両の動きを制御または変更することを含むことができる。

【0060】

システムは、１つまたは複数のプロセッサを含むことができる。１つまたは複数のプロセッサは、空間体積のより大きなセットビューを形成するために使用される画像タイルのセットの１つまたは複数の画像タイルに関連付けられる画像偏差データを検査することができる。１つまたは複数のプロセッサは、検査される画像偏差データに基づいて、空間体積のより大きなセットビューを更新するために、セットの１つまたは複数の画像タイルが改定の時期であるかどうかを判定することができる。１つまたは複数のプロセッサは、（ａ）第１の車両が１つまたは複数のセンサを伴って空間体積の中をまたはそばで移動して、１つまたは複数の更新された画像タイルを取り込む予定を組むこと、または（ｂ）セットの１つまたは複数の画像タイルが改定の時期であると判定したことに応答して、１つまたは複数の更新された画像タイルを取り込むために、１つまたは複数のセンサを伴って空間体積の中を、そばで、または方へ移動している第２の車両を特定すること、の一方または両方を行うことができる。

【0061】

画像偏差データは、１つまたは複数の画像タイルのうちの第１の画像タイルの画像データと１つまたは複数の画像タイルのうちの第２の画像タイルの画像データとの間の差、または、１つまたは複数の画像タイルのうちの第１の画像タイルが取得された第１の時刻と１つまたは複数の画像タイルのうちの第２の画像タイルが取得された画像データとの間の時間差、の一方または両方を含むことができる。

【0062】

画像タイルのより大きなセットビューは、空間体積の３次元画像を含むことができる。

【0063】

セットの１つまたは複数の画像タイルが改定の時期であるかどうかを判定することは、１つまたは複数の画像タイルのうちの以前に取得された画像タイルのデータ内容が、より最近に取得された画像タイルのデータ内容とは閾値内容量を超えて異なるかどうかを判定することを含むことができる。

【0064】

システムは、コントローラを含むことができる。コントローラは、空間体積のより大きなセットビューを形成するために使用される画像タイルのセットの１つまたは複数の画像タイルに関連付けられる画像偏差データを検査することができる。コントローラは、検査される画像偏差データに基づいて、空間体積のより大きなセットビューを更新するために、セットの１つまたは複数の画像タイルが改定の時期であるかどうかを判定することができる。コントローラは、１つまたは複数の搭載センサを用いて空間体積の中を、そばで、または方へ移動している車両に、セットの１つまたは複数の画像タイルが改定の時期であると判定したことに応答して１つまたは複数の更新された画像タイルの部分データを取り込むよう指示することができる。コントローラは、部分データを検査して、１つまたは複数の更新された画像タイルが変化していることを部分データが示しているかどうかを判定することができる。コントローラは、１つまたは複数の更新された画像タイルが変化していないと判定したことに応答して１つまたは複数の更新された画像タイルのタイムスタンプを更新するか、または、１つまたは複数のセンサに、１つまたは複数の更新された画像タイルが変化していると判定したことに応答して１つまたは複数の更新された画像タイルの全体の追加データを取得するよう指示することができる。

【0065】

車両は第１の車両であってもよく、コントローラは、第２の車両が１つまたは複数のセンサを伴って空間体積の中をまたはそばで移動して、１つまたは複数の更新された画像タイルを取り込む予定を組むこと、または、１つまたは複数の画像タイルが閾値量を超えて変化していると判定したことに応答して、１つまたは複数の更新された画像タイルを取り込むために、１つまたは複数のセンサを伴って空間体積の中を、そばで、または方へ移動している第３の車両を特定すること、の一方または両方を行うことができる。

【0066】

車両は第１の車両であってもよく、コントローラは、画像タイルのセットを少なくとも第２の車両に伝達して、少なくとも第２の車両が空間体積の中を移動している間に少なくとも第２の車両が少なくとも第２の車両の動きを制御または変更することができる。

【0067】

一実施形態では、制御システムは、導出ベースの学習結果を可能にするために機械学習を使用することができる展開されたローカルデータ収集システムを有することができる。コントローラは、データ駆動予測を行い、データセットに従って適合させることにより、データセット（様々なセンサによって提供されるデータを含む）から学習し、データセットを決定することができる。諸実施形態では、機械学習は、教師あり学習、教師なし学習、強化学習などの機械学習システムにより複数の機械学習タスクを実行することを含むことができる。教師あり学習は、１組の入力例および所望の出力を機械学習システムに提示することを含むことができる。教師なし学習は、パターン検出および／または特徴学習などの方法によりその入力を構造化する学習アルゴリズムを含むことができる。強化学習は、機械学習システムが動的環境内で実行し、次いで正しい決定および誤った決定に関するフィードバックを提供することを含むことができる。諸例では、機械学習は、機械学習システムの出力に基づく複数の他のタスクを含むことができる。諸例では、タスクは、分類、回帰、クラスタリング、密度推定、次元削減、異常検出などの機械学習問題であり得る。諸例では、機械学習は、複数の数学的かつ統計的技法を含むことができる。諸例では、多くの種類の機械学習アルゴリズムは、決定木ベースの学習、相関ルール学習、ディープラーニング、人工ニューラルネットワーク、遺伝的学習アルゴリズム、誘導論理プログラミング、サポートベクターマシン（ＳＶＭ）、ベイジアンネットワーク、強化学習、表現学習、ルールベースの機械学習、スパース辞書学習、類似性およびメトリック学習、学習分類子システム（ＬＣＳ）、ロジスティック回帰、ランダムフォレスト、Ｋ平均、勾配ブースト、Ｋ最近傍（ＫＮＮ）、アプリオリアルゴリズムなどを含むことができる。諸実施形態では、特定の機械学習アルゴリズムが（例えば、自然選択に基づき得る制約付き最適化問題と制約なし最適化問題の両方を解くために）使用され得る。一例では、アルゴリズムは、いくつかの成分が整数値であることに制限される混合整数プログラミングの問題に対処するために使用され得る。アルゴリズムならびに機械学習技法および機械学習システムは、計算知能システム、コンピュータビジョン、自然言語処理（ＮＬＰ）、レコメンダシステム、強化学習、グラフィカルモデル構築などに使用され得る。一例では、機械学習は、車両性能および行動分析などに使用することができる。

【0068】

一実施形態では、制御システムは、１つまたは複数のポリシーを適用し得るポリシーエンジンを含むことができる。これらのポリシーは、機器または環境の所与の項目の特性に少なくとも部分的に基づくことができる。制御ポリシーに関して、ニューラルネットワークは、いくつかの環境パラメータおよびタスク関連パラメータの入力を受け取ることができる。これらのパラメータは、車両グループの決定されたトリップ計画の識別、様々なセンサからのデータ、ならびに場所および／または位置データを含むことができる。ニューラルネットワークは、これらの入力に基づいて出力を生成するように訓練することができ、出力は、トリップ計画を達成するために車両グループが取るべきアクションまたは一連のアクションを表す。一実施形態の運転中、決定は、ニューラルネットワークのパラメータを介して入力を処理して、そのアクションを所望のアクションとして指定する値を出力ノードで生成することにより行うことができる。このアクションは、車両を動作させる信号に変換することができる。これは、バックプロパゲーション、フィードフォワードプロセス、閉ループフィードバック、または開ループフィードバックによって実現され得る。あるいは、コントローラの機械学習システムは、バックプロパゲーションを使用するのではなく、人工ニューラルネットワークの様々なパラメータを調整するために進化戦略技法を使用することができる。コントローラは、バックプロパゲーションを使用して常に解決できるとは限らないかもしれない関数、例えば非凸である関数を有するニューラルネットワークアーキテクチャを使用することができる。一実施形態では、ニューラルネットワークは、そのノード接続の重みを表すパラメータのセットを有する。このネットワークのいくつかのコピーが生成され、次いでパラメータに対する異なる調整が行われ、シミュレーションが行われる。様々なモデルからの出力が得られると、これらのモデルは、決定された成功メトリックを使用してそれらの性能について評価することができる。最良のモデルが選択され、車両コントローラは、その計画を実行して所望の入力データを実現し、それにより予測される最良の結果シナリオを反映する。さらに、成功メトリックは、互いに対して重み付けされ得る最適化された結果を組み合わせたものであり得る。

【0069】

本明細書で使用される場合、「プロセッサ（ｐｒｏｃｅｓｓｏｒ）」および「コンピュータ（ｃｏｍｐｕｔｅｒ）」という用語、ならびに関連する用語、例えば「処理装置（ｐｒｏｃｅｓｓｉｎｇ ｄｅｖｉｃｅ）」、「計算装置（ｃｏｍｐｕｔｉｎｇ ｄｅｖｉｃｅ）」、および「コントローラ（ｃｏｎｔｒｏｌｌｅｒ）」は、当技術分野ではコンピュータと呼ばれる集積回路だけに限定されるものではなく、マイクロコントローラ、マイクロコンピュータ、プログラマブル論理コントローラ（ＰＬＣ）、フィールドプログラマブルゲートアレイ、および特定用途向け集積回路、ならびに他のプログラマブル回路を指すことができる。適切なメモリは、例えば、コンピュータ可読媒体を含むことができる。コンピュータ可読媒体は、例えば、ランダムアクセスメモリ（ＲＡＭ）、フラッシュメモリなどのコンピュータ可読不揮発性媒体であり得る。「非一時的コンピュータ可読媒体（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ－ｒｅａｄａｂｌｅ ｍｅｄｉａ）」という用語は、コンピュータ可読命令、データ構造、プログラムモジュールおよびサブモジュール、または任意の装置内の他のデータなどの情報の短期および長期記憶のために実装される有形のコンピュータベースの装置を表す。したがって、本明細書に記載の方法は、記憶装置および／またはメモリ装置を制限なく含む、有形の非一時的なコンピュータ可読媒体で具現化された実行可能命令として符号化され得る。そのような命令は、プロセッサによって実行されると、プロセッサに本明細書に記載の方法の少なくとも一部を実行させる。したがって、この用語は、揮発性媒体および不揮発性媒体を制限なく含む非一時的コンピュータ記憶装置を制限なく含む有形のコンピュータ可読媒体と、ファームウェア、物理および仮想記憶装置、ＣＤ－ＲＯＭ、ＤＶＤなどのリムーバブル媒体および非リムーバブル媒体と、ネットワークやインターネットなどの他のデジタルソースと、を含む。

【0070】

本明細書で使用される場合、単数形で列挙され、単語「ａ」または「ａｎ」の後に続く要素またはステップは、そのような除外が明示的に述べられていない限り、前記要素または動作の複数形を除外しない。さらに、本発明の「一実施形態（ｏｎｅ ｅｍｂｏｄｉｍｅｎｔ）」への言及は、列挙された特徴を組み込む追加の実施形態の存在を排除するものではない。さらに、明示的に反対の記載がない限り、特定の特性を有する１つの要素または複数の要素を「備える（ｃｏｍｐｒｉｓｉｎｇ）」、「備える（ｃｏｍｐｒｉｓｅｓ）」、「含む（ｉｎｃｌｕｄｉｎｇ）」、「含む（ｉｎｃｌｕｄｅｓ）」、「有する（ｈａｖｉｎｇ）」、または「有する（ｈａｓ）」実施形態は、その特性を有していない追加のそのような要素を含むことができる。添付の特許請求の範囲において、「含む（ｉｎｃｌｕｄｉｎｇ）」および「ｉｎ ｗｈｉｃｈ」という用語は、それぞれ「備える（ｃｏｍｐｒｉｓｉｎｇ）」および「ｗｈｅｒｅｉｎ」という用語の平易な英語の同義語として使用される。さらに、以下の特許請求の範囲において、「第１の（ｆｉｒｓｔ）」、「第２の（ｓｅｃｏｎｄ）」、「第３の（ｔｈｉｒｄ）」などの用語は、単にラベルとして使用され、それらの対象に数値的な要件を課すものではない。さらに、以下の特許請求の範囲の限定は、かかる特許請求の範囲の限定が「～のための手段（ｍｅａｎｓ ｆｏｒ）」の後にさらなる構造を欠いた機能の記述が続くフレーズを明示的に使用しない限り、そうするまで、ミーンズ・プラス・ファンクション形式で書かれたものではなく、米国特許法第１１２条（ｆ）に基づいて解釈されることを意図するものではない。

【0071】

上記説明は例示的なものであり、限定的なものではない。例えば、上述の実施形態（および／またはその態様）は、互いに組み合わせて使用することができる。さらに、特定の状況または材料を主題の教示に、主題の範囲から逸脱することなく適合させるために、多くの修正を行うことができる。本明細書に記載の材料の寸法および種類は、主題のパラメータを定義するが、それらは例示的な実施形態である。他の実施形態は、上記説明を精査すれば当業者には明らかであろう。したがって、本主題の範囲は、添付の特許請求の範囲を参照して、かかる特許請求の範囲が権利を与えられる均等物の全範囲と共に決定されるべきである。

【0072】

本明細書は、最良の形態を含む本主題のいくつかの実施形態を開示するために、かつ、任意の装置またはシステムを製作し使用すること、および任意の組み込まれた方法を実行することを含む、本主題の実施形態を当業者が実施することを可能にするために、例を使用する。本主題の特許可能な範囲は、特許請求の範囲によって定義され、当業者が思いつく他の例を含むことができる。そのような他の例は、それらが特許請求の範囲の文言と異ならない構造要素を有する場合、または、それらが特許請求の範囲の文言と実質的に異ならない同等の構造要素を含む場合、特許請求の範囲内にあるように意図されている。

【0073】

特許文献または先行技術として特定された他の事項への本明細書における言及は、文献または他の事項が知られていた、または、それに入っている情報が、特許請求の範囲のいずれかの優先日の時点で共通の一般知識の一部であったという承認として受け取られるべきではない。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【外国語明細書】