特開 2024-102010 貨物をモニタリングするための自動視覚システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024102010

(43)【公開日】2024-07-30

(54)【発明の名称】貨物をモニタリングするための自動視覚システム

(51)【国際特許分類】

   B64F 1/32 20060101AFI20240723BHJP

   H04N 7/18 20060101ALI20240723BHJP

   B07C 5/342 20060101ALI20240723BHJP

【ＦＩ】

B64F1/32

H04N7/18 C

H04N7/18 K

B07C5/342

【審査請求】未請求

【請求項の数】20

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2024004402

(22)【出願日】2024-01-16

(31)【優先権主張番号】63/439,701

(32)【優先日】2023-01-18

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】18/484,063

(32)【優先日】2023-10-10

(33)【優先権主張国・地域又は機関】US

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＷＣＤＭＡ

(71)【出願人】

【識別番号】500520743

【氏名又は名称】ザ・ボーイング・カンパニー

【氏名又は名称原語表記】Ｔｈｅ Ｂｏｅｉｎｇ Ｃｏｍｐａｎｙ

(74)【代理人】

【識別番号】110002077

【氏名又は名称】園田・小林弁理士法人

(72)【発明者】

【氏名】エヴァンズ， ニック シャーベ

(72)【発明者】

【氏名】キャラハン， ケヴィン エス．

(72)【発明者】

【氏名】アショク， ヴェーダ

(72)【発明者】

【氏名】アヤガリ， アルン

(72)【発明者】

【氏名】ビージョー， ガブリエル ファイズ

【テーマコード（参考）】

3F079

5C054

【Ｆターム（参考）】

3F079BA05

3F079CA10

3F079CA18

3F079CA19

3F079CA20

3F079CA21

3F079CA23

3F079CB24

3F079CB29

5C054CA04

5C054CC02

5C054FC12

5C054FC14

5C054FC15

5C054GB01

5C054GB05

5C054HA05

5C054HA26

(57)【要約】      （修正有）

【課題】輸送体上に積み込まれる貨物をモニタリングするための装置及び方法を提供する。
【解決手段】計算装置は、メモリ回路と、メモリ回路内に記憶されたプログラミング命令にしたがって、貨物の画像を受け取ることと、画像内の貨物を識別することと、識別に基づき、貨物の体積を含む貨物の一又は複数の態様を決定することと、一又は複数の態様に基づき、貨物が積み込まれる輸送体での位置を決定することとを行うよう動作するように構成された処理回路とを含む。
【選択図】図５

【特許請求の範囲】

【請求項1】

輸送体（１００）上に積み込まれている貨物（２００）をモニタリングするように構成された計算装置であって、前記計算装置が、
メモリ回路（２２）と、
処理回路（２１）と
を備え、前記処理回路（２１）が、
前記メモリ回路（２２）内に記憶されたプログラミング命令にしたがって、
前記輸送体（１００）に固定された少なくとも１つの電気光学センサ（７０）から前記貨物（２００）の画像を受け取ることと、
前記画像内の前記貨物（２００）を識別することと、
前記貨物（２００）の体積を含む、前記貨物（２００）の一又は複数の態様を計算することと、
前記貨物（２００）の前記画像に基づき、前記貨物（２００）が積み込まれる前記輸送体（１００）での位置を決定することと、
前記輸送体（１００）での積み込まれる前記位置に基づき、前記貨物（２００）の前記体積を含む一又は複数の態様を、前記貨物（２００）に関連させることと
を行うよう動作するように構成されている、計算装置。

【請求項2】

前記処理回路（２１）が、前記画像のうちの少なくとも１つに基づき、前記貨物（２００）を識別するように更に構成されている、請求項１に記載の計算装置。

【請求項3】

前記処理回路（２１）が、
前記輸送体（１００）内の位置合わせエリア（１０６）内に前記貨物（２００）の一時的な位置を決定することと、
前記位置合わせエリア（１０６）に位置決めされた後、前記貨物（２００）が入る前記輸送体（１００）内のレーン（１０５）を決定することと、
前記貨物（２００）が最終的に位置決めされる前記レーン（１０５）に沿った場所を決定することと
を行うように構成されている、請求項１に記載の計算装置。

【請求項4】

前記輸送体（１００）に載っている間の前記輸送体（１００）上の前記貨物（２００）の前記位置を、通信ネットワーク（９８）を通じてアップロードするように構成された通信回路（２４）を更に備える、請求項１に記載の計算装置。

【請求項5】

前記処理回路（２１）が、
セマンティックセグメンテーションを使用して、セマンティックセグメンテーションにより、前記画像の中の第１のセットのピクセルを前記貨物（２００）として識別し、別の第２のセットのピクセルを別の物体として識別することと、
前記貨物（２００）の識別の信頼値を決定することと
を行うように構成されている、請求項１に記載の計算装置。

【請求項6】

前記処理回路（２１）が、
前記画像内の前記貨物（２００）を、前記貨物（２００）の各々をカプセルに包む境界ボックス（７３）によって識別することと、
前記貨物（２００）の識別の信頼値を決定することと
を行うように更に構成されている、請求項１に記載の計算装置。

【請求項7】

前記処理回路（２１）が、前記画像に基づき、前記貨物（２００）上の点を決定し、前記点に基づき、前記輸送体（１００）内の前記貨物（２００）の前記位置を追跡するように構成されている、請求項１に記載の計算装置。

【請求項8】

前記処理回路が、
主要なカメラ及び一又は複数の従属のカメラからの前記画像を受け取ることと、
前記貨物を捕捉する前記主要なカメラからの前記画像を選択することと、
前記主要なカメラから選択された前記画像と同時に撮像された、前記一又は複数の従属のカメラからの前記画像を選択することと、
選択された前記画像に基づき、前記貨物を識別することと
を行うように更に構成されている、請求項１に記載の計算装置。

【請求項9】

前記処理回路（２１）が、前記主要なカメラ及び前記一又は複数の従属のカメラから選択されなかった前記画像を破棄するように更に構成されている、請求項８に記載の計算装置。

【請求項10】

前記処理回路（２１）が、前記画像に基づき、前記貨物（２００）の３Ｄメッシュ又は３Ｄ点群のうちの一方を計算し、前記３Ｄメッシュ又は前記３Ｄ点群を使用して、前記貨物（２００）の前記体積を決定するように更に構成されている、請求項１に記載の計算装置。

【請求項11】

輸送体（１００）上に積み込まれている貨物（２００）をモニタリングするように構成された計算装置であって、前記計算装置が、
メモリ回路（２２）と、
処理回路（２１）と
を備え、前記処理回路（２１）が、
前記メモリ回路（２２）内に記憶されたプログラミング命令にしたがって、
複数の電気光学センサ（７０）から前記貨物（２００）の画像を受け取ることと、
前記画像を分析し、前記貨物（２００）を識別することと、
前記画像に基づき、前記貨物（２００）上の点を決定することと、
前記輸送体（１００）によって移送する間の前記貨物（２００）が積み込まれる前記輸送体（１００）での位置を決定することと
を行うよう動作するように構成されている、計算装置。

【請求項12】

前記処理回路（２１）が、前記貨物（２００）の形状、及び前記貨物（２００）の寸法を決定するように更に構成されている、請求項１１に記載の計算装置。

【請求項13】

前記処理回路（２１）が、前記複数の電気光学センサ（７０）から受け取られた限られた数の前記画像を選択し、前記限られた数の画像に基づき、前記貨物（２００）を識別するように更に構成されている、請求項１１に記載の計算装置。

【請求項14】

前記処理回路が、
主要なカメラ及び一又は複数の従属のカメラからの前記画像を受け取ることと、
前記貨物を捕捉する前記主要なカメラからの前記画像を選択することと、
前記主要なカメラから選択された前記画像と同時に撮像された、前記一又は複数の従属のカメラからの前記画像を選択することと、
選択された前記画像のみに基づき、前記貨物を分析し、識別することと
を行うように更に構成されている、請求項１１に記載の計算装置。

【請求項15】

前記処理回路（２１）が、前記主要なカメラ及び前記一又は複数の従属のカメラから選択されなかった前記画像を破棄するように更に構成されている、請求項１４に記載の計算装置。

【請求項16】

輸送体（１００）上に積み込まれている貨物（２００）をモニタリングする方法であって、前記方法が、
複数の電気光学センサから前記貨物（２００）の画像を受け取ることと、
限られた数の前記画像を含む、前記画像のワーキングセットを決定することと、
前記画像の前記ワーキングセット内の前記貨物（２００）を識別することと、
前記画像の前記ワーキングセットに基づき、前記貨物（２００）上の点を決定することと、
前記画像の前記ワーキングセットに基づき、前記貨物（２００）の体積を決定することと、
前記輸送体（１００）によって移送する間、前記貨物（２００）が積み込まれる前記輸送体（１００）の位置を決定することと
を含む、方法。

【請求項17】

前記貨物を捕捉しない前記画像を破棄することを更に含む、請求項１６に記載の方法。

【請求項18】

前記貨物を捕捉する主要なカメラからの前記画像を選択することと、
前記主要なカメラから選択された前記画像と同時に撮像された、一又は複数の従属のカメラからの前記画像を選択することと、
選択された前記画像から前記ワーキングセットを作り出すことと
を更に含む、請求項１６に記載の方法。

【請求項19】

前記輸送体（１００）上の前記貨物（２００）の前記位置をリモートノードに送信することであって、前記送信が、前記貨物（２００）が前記輸送体（１００）に積み込まれている間に生じることを更に含む、請求項１６に記載の方法。

【請求項20】

受け取られた限られた数の前記画像に基づき、前記貨物（２００）の一又は複数の態様を決定することを更に含む、請求項１６に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

［０００１］本出願は、２０２３年１月１８日に出願された米国仮特許出願第６３／４３９，７０１号からの優先権を主張し、同出願の開示は、全体として参照により本明細書に援用される。

【0002】

［０００２］本開示は、広くは、貨物の取り扱いの分野に関し、より具体的には、貨物を識別する視覚システムに関する。

【背景技術】

【0003】

［０００３］多種多様な輸送体が、貨物を移送するために使用される。例えば、航空機、遠洋航行船、及びトラックが含まれるが、これらに限定されるわけではない。移送プロセスは、一般に、貨物を輸送体上に積み込むこと、輸送体内の貨物を位置決めすること、第１の場所から第２の場所に貨物を移送すること、次いで、貨物を降ろすことを含む。移送プロセス中、貨物を識別し、モニタリングする必要性がある。

【0004】

［０００４］既存のシステムは、輸送体上に積み込まれる貨物を識別する様々な方法を提供する。しかしながら、これらのシステムは、貨物の体積を正確に決定することはできない。十分に積み込まれていない貨物コンテナ／パレットを識別するのは困難であるため、このことは、輸送非効率性へとつながる。更に、契約された梱包利用基準にしたがって梱包整合性を測定する方法はない。この情報なしでは、整合性を強化するのは困難である。

【0005】

［０００５］幾つかの既存のシステムは、貨物の重量を使用して、輸送体の積み荷を識別及び／又は提供する。しかし、貨物の様々なサイズ及び寸法のため、貨物の重さを正確に量ることは困難である。更に、たとえ重量が正確に決定されても、この重量に基づいて体積を決定することは、困難であり、かつ／又は効果的でない。正確な体積決定なしでは、積み荷プロセスの非効率性は継続して生じる。

【0006】

［０００６］幾つかの既存のシステムは、貨物を視覚的に検査するオペレータを必要とする。オペレータは、貨物の観察された態様に基づき、梱包の効率性を決定する。しかし、貨物の視覚的識別は、不正確であることが分かっている。体積を決定するための基準は主観的であり、異なるオペレータの間で不正確な結果へとつながる。

【0007】

［０００７］既存のシステムは、正確な体積見積を提供しないので、個々の貨物の積み荷と輸送体の全体の積み荷とが食い違う。更に、貨物の追加の梱包／再梱包を考慮した非効率性を識別する機構が存在しない。

【発明の概要】

【0008】

［０００８］一態様が、輸送体上に積み込まれている貨物をモニタリングするように構成された計算装置を対象とする。計算装置は、メモリ回路と、メモリ回路内に記憶されたプログラミング命令にしたがって、輸送体に添えられた少なくとも１つの電気光学センサから貨物の画像を受け取ることと、画像内の貨物を識別することと、貨物の体積を含む、貨物の一又は複数の態様を計算することと、貨物の画像に基づき、貨物が積み込まれる輸送体での位置を決定することと、輸送体の積み込まれた位置に基づき、貨物の体積を含む一又は複数の態様を貨物に関連させることとを行うよう動作するように構成された処理回路とを備える。

【0009】

［０００９］別の態様では、処理回路は、画像のうちの少なくとも１つに基づき、貨物を識別するように更に構成されている。

【0010】

［００１０］別の態様では、処理回路は、輸送体の位置合わせエリア内に貨物の一時的な位置を決定することと、位置合わせエリアに位置決めされた後、貨物が入る輸送体内のレーンを決定することと、貨物が最終的に位置決めされるレーンに沿った場所を決定することとを行うように構成されている。

【0011】

［００１１］別の態様では、通信回路が、輸送体に載っている間、輸送体上の貨物の位置を、通信ネットワークを通じてアップロードするように構成されている。

【0012】

［００１２］別の態様では、処理回路は、画像の中の第１のセットのピクセルを貨物として識別し、別の第２のセットのピクセルをセマンティックセグメンテーションを通した別の物体として識別するために、セマンティックセグメンテーションを使用することと、貨物の識別の信頼値を決定することとを行うように構成されている。

【0013】

［００１３］別の態様では、処理回路は、貨物の各実例をカプセルに包む境界ボックスを有する画像内の貨物を識別することと、貨物の識別の信頼値を決定することとを行うように更に構成されている。

【0014】

［００１４］別の態様では、処理回路は、画像に基づき、貨物上の点を決定し、点に基づき、輸送体内の貨物の位置を追跡するように構成されている。

【0015】

［００１５］別の態様では、処理回路は、主要なカメラ及び一又は複数の従属のカメラからの画像を受け取ることと、貨物を捕捉する主要なカメラからの画像を選択することと、主要なカメラから選択された画像と同時に撮像された、一又は複数の従属のカメラからの画像を選択することと、選択された画像のみに基づき、貨物を識別することとを行うように更に構成されている。

【0016】

［００１６］別の態様では、処理回路は、主要なカメラ及び一又は複数の従属のカメラから選択されなかった画像を破棄するように更に構成されている。

【0017】

［００１７］別の態様では、処理回路は、画像に基づき、貨物の３Ｄメッシュ又は３Ｄ点群のうちの一方を計算し、３Ｄメッシュ又は３Ｄ点群を使用して、貨物の体積を決定するように更に構成されている。

【0018】

［００１８］一態様が、輸送体上に積み込まれている貨物をモニタリングするように構成された計算装置を対象とする。計算装置は、メモリ回路と、メモリ回路内に記憶されたプログラミング命令にしたがって、
複数の電気光学センサから貨物の画像を受け取ることと、画像を分析し、貨物を識別することと、画像に基づき、貨物上の点を決定することと、輸送体によって移送する間、貨物が積み込まれる輸送体での位置を決定することとを行うよう動作するように構成された処理回路とを備える。

【0019】

［００１９］別の態様では、処理回路は、貨物の形状、及び貨物の寸法を決定するように更に構成されている。

【0020】

［００２０］別の態様では、処理回路は、複数の電気光学センサから受け取られた限られた数の画像を選択し、限られた数の画像に基づき、貨物を識別するように更に構成されている。

【0021】

［００２１］別の態様では、処理回路は、主要なカメラ及び一又は複数の従属のカメラからの画像を受け取ることと、貨物を捕捉する主要なカメラからの画像を選択することと、主要なカメラから選択された画像と同時に撮像された、一又は複数の従属のカメラからの画像を選択することと、選択された画像のみに基づき、貨物を分析し、識別することとを行うように更に構成されている。

【0022】

［００２２］別の態様では、処理回路は、主要なカメラ及び一又は複数の従属のカメラから選択されなかった画像を破棄するように構成されている。

【0023】

［００２３］一態様が、輸送体上に積み込まれている貨物をモニタリングする方法を対象とする。本方法は、複数の電気光学センサから貨物の画像を受け取ることと、限られた数の画像を含む、画像のワーキングセットを決定することと、画像のワーキングセット内の貨物を識別することと、画像のワーキングセットに基づき、貨物上の点を決定することと、画像のワーキングセットに基づき、貨物の体積を決定することと、輸送体によって移送する間、貨物が積み込まれる輸送体での位置を決定することとを含む。

【0024】

［００２４］別の態様では、本方法は、貨物を捕捉しない画像を破棄することを更に含む。

【0025】

［００２５］別の態様では、本方法は、貨物を捕捉する主要なカメラからの画像を選択することと、主要なカメラから選択された画像と同時に撮像された、一又は複数の従属のカメラからの画像を選択することと、選択された画像からワーキングセットを作り出すこととを更に含む。

【0026】

［００２６］別の態様では、本方法は、貨物が輸送体に積み込まれる間、送信が生じた状態で、輸送体上の貨物の位置をリモートノードに送信することを更に含む。

【0027】

［００２７］別の態様では、本方法は、受け取られた限られた数の画像に基づき、貨物の一又は複数の態様を決定することを更に含む。

【0028】

［００２８］上述の特徴、機能、及び利点は、様々な態様において単独で実現することができ、又は、更に別の態様において組み合わせることができるが、これらの更なる詳細は、以下の記載及び図面を参照することによって確認することができる。

【図面の簡単な説明】

【0029】

【図1】［００２９］視覚システムを使用する方法のフロー図である。

【図2】［００３０］視覚システムを有する輸送体の等角図である。

【図3】［００３１］輸送体の開口部を通じて積み込まれる貨物の等角図である。

【図4】［００３２］計算装置及びカメラを含む視覚システムの概略図である。

【図5】［００３３］輸送体上に積み込まれている貨物をモニタリングする方法のフロー図である。

【図6】［００３４］画像内で識別される貨物の概略図である。

【図7A】［００３５］異なるカメラによって捕捉された画像のチャートである。

【図7B】［００３６］異なるカメラによって捕捉された画像のチャートである。

【図7C】［００３７］異なるカメラによって捕捉された画像のチャートである。

【図8】［００３８］それぞれが貨物を捕捉する画像のセットである。

【図9】［００３９］輸送体の内部空間の概略図である。

【図10】［００４０］貨物が積み込まれた輸送体の内部空間の概略図である。

【図11】［００４１］通信ネットワークの概略図である。

【図12】［００４２］視覚システムの一部である計算装置の概略図である。

【図13】［００４３］視覚システムの適用の概略図である。

【発明を実施するための形態】

【0030】

［００４４］本開示は、容積測定貨物の体積見積のための自動視覚システムを対象とする。１つの特定の適用は、輸送体上に貨物を積み込む間の使用のためである。次いで、貨物のための正確な体積見積が、多種多様な分析を決定するために使用され得、多種多様な分析は、貨物の体積、貨物の寸法、及び輸送体内での貨物の配置を含むが、これらに限定されるわけではない。この分析はまた、輸送体の積み荷の効率性、及び輸送体内での貨物の場所などの輸送体積み荷態様を含む。非効率性は、移送中に識別され得、貨物を降ろすこと、効率性を向上させるために追加の材料を貨物に付加すること、次いで再梱包された貨物を再び積み込むことによってなどで対処され得る。

【0031】

［００４５］システムは、自動システムである。これは、オペレータの介在を最小化及び／又は除外する。システムは、電気光学センサによって自動的に捕捉された画像を利用する。システムは、機械学習画像データ品質フィルタを更に利用して、画像の数量、ひいては３Ｄ画像分析のために使用されるデータ量を低減する。システムはまた、接続性と一致するようにアップロード／出力されたデータ忠実度及び動的データを低減するように構成され、一又は複数のリモートノードに送信されるデータを優先させ得る。一実施例では、システムは輸送体と一体化しており、輸送体が動作する様々な場所での使用を提供する。別の実施例では、システムは、静止した地理的な場所（例えば、ウェアハウス又は空港積み荷施設）に取り付けられる。

【0032】

［００４６］図１は、視覚システムの処理の高水準概要を示す。処理は、貨物の画像を捕捉することを含む（ブロック３００）。次いで、捕捉された画像は、貨物の体積を決定するために分析される（ブロック３０２）。次いで、この情報は、一又は複数のリモートノードに送られる（ブロック３０４）。

【0033】

［００４７］一実施例では、視覚システム１５は、貨物を移送するように構成された輸送体１００に一体化される。視覚システム１５は、貨物の画像を捕捉する電気光学センサ７０、及び体積を決定し、データをリモートノードに送る計算装置２０を含む。図２は、輸送体１００が航空機である特定の実施例を示す。輸送体１００は、貨物を保持するように構成された内部空間１０３を含む胴体１０１を含む。一又は複数のドア１０２が、内部空間１０３内の貨物の積み下ろしを提供する。

【0034】

［００４８］図３は、輸送体１００内に積み込むためにプラットフォーム２０１に位置決めされている貨物２００を示す。輸送体胴体１０１のドア１０２が開位置にある。これは、貨物２００が胴体１０１の開口部１０４を通じて、内部空間１０３内に移動することをもたらす。貨物２００は、様々な形状及びサイズを有し得る。一実施例では、貨物２００は、手荷物、運送貨物、及び郵便物を広胴型及び特定の狭胴型航空機上に積み込むために使用されるコンテナを含むユニットロードデバイス（ＵＬＤ）を含む。別の実施例では、貨物２００は、パレットに位置決めされ、包装材料と一緒に保持されるより小さいコンテナ（例えば、箱、木箱）を含む。

【0035】

［００４９］電気光学センサ７０が輸送体１００に位置決めされて、貨物２００が開口部１０４を通って移動するときに貨物２００の画像を捕捉する。以下の開示は、カメラである電気光学センサ７０を含むが、他の種類の電気光学センサは、貨物２００の画像を捕捉するために使用され得る。カメラ７０は、ドア１０２のうちの一又は複数、開口部１０４の胴体壁部、及び内部空間１０３内を含む様々な場所で輸送体１００に取り付けられる。カメラ７０は、貨物２００の個々の別々の画像及び／又は貨物２００の映像を捕捉するように構成される。カメラ７０は、２次元及び３次元の画像を捕捉するように構成される。

【0036】

［００５０］一実施例では、複数のカメラ７０がドア１０２のそれぞれに位置決めされる。ある特定の実施例では、３つのカメラ７０が輸送体１００のドア１０２のそれぞれに位置決めされる。カメラは、異なる見方から貨物２００の画像を捕捉するように位置決めされる。カメラ７０は、貨物２００の異種の見方を取得するように位置決めされる。異なる見方は、貨物２００の異なる側を捕捉して、より正確な体積見積を提供し、カメラ７０の一又は複数が動作しない又はビューがブロックされた場合には、余剰の画像を提供する。

【0037】

［００５１］一実施例では、カメラ７０は固定された視野を含む。これは、視野の端から端まで移動する貨物２００を含む捕捉されるべき画像のシーケンスを提供する。例えば、シーケンスの第１の画像は画像の第１の側で貨物２００を捕捉し、第２の画像は画像の中央で貨物２００を捕捉し、第３の画像は視野の反対側の第２の側で貨物を捕捉する。

【0038】

［００５２］一実施例では、カメラ７０はヒータを装備している。ヒータは、カメラのビューをふさぎ得る凝縮を防止／低減する。追加的に又は代替的に、カメラは明るい光源（例えば、日光／ヘッドライト）からまぶしい光を和らげる偏光子を含む。一実施例では、カメラ７０はレーザなどの能動的エネルギーを含まない受動的カメラである。受動的カメラは、制限的な必要条件を有する空港では、ディプロイ及び動作するのにより適切となる。

【0039】

［００５３］図４は、計算装置２０及びカメラ７０を含む視覚システム１５の概略図を示す。一実施例では、カメラ７０はデータバス２９を通して計算装置２０と通信する。システムは、カメラ７０から計算装置２０にカメラデータの送達を可能にするために、イーサネットの出力を利用する。カメラ７０は、様々な他の無線及び有線構造を通じて計算装置２０に画像を送り得る。

【0040】

［００５４］一実施例では、視覚システム１５は輸送体１００と一体化している。計算装置２０は、貨物２００の計算のみを提供する独立型装置であり得る。別の実施例では、計算装置２０は、一又は複数の追加の機能を実行する。例えば、計算装置２０は、輸送体１００の動作を監督する飛行制御コンピュータの一部であり得る。別の実施例では、計算装置２０は、輸送体１００の至るところに位置するカメラ７０を備え、乗客及び／又は貨物をモニタリングするために使用される視覚システム全体の一部である。更に別の実施例では、計算装置２０は輸送体１００から遠隔に位置する。一実施例は、カメラ７０から画像を受け取り、視覚データを処理するリモートサーバである計算装置２０を含む。

【0041】

［００５５］計算装置２０は、カメラ７０から画像を受け取る。計算装置２０は、機械学習知覚、写真測量法、及び自動化されたソフトウェアモジュールの組み合わせを使用して、データをリアルタイムで自動的に処理し、送達するように構成される。計算装置２０は、データ量及びジョブの必要とされるパラメータに応じて、分から時間の範囲に及び得る良いタイミングでデータを処理するように構成される。一実施例では、計算装置２０は、カメラ７０から画像を受け取って２０分以内に、画像を処理し、体積計算を決定するように構成される。

【0042】

［００５６］図５は、貨物２００の体積及び輸送体１００での位置を決定する方法を示す。最初に、カメラ７０は貨物２００の画像を捕捉する。画像の数は変動し得る。画像は、計算装置２０によって受け取られる（ブロック３１０）。計算装置２０は、画像を処理して貨物２００を識別し（ブロック３１２）、追跡のために使用される貨物２００上の点を決定する（ブロック３１４）。画像のサブセットが更なる処理のために選択され（ブロック３１６）、貨物の体積を決定する（ブロック３１８）。計算装置２０が利用可能な情報を使用して、輸送体１００上での貨物２００の位置を決定する（ブロック３２０）。貨物２００が位置する位置に基づき、体積を含む一又は複数の態様が、貨物２００と関連させられる。

【0043】

［００５７］貨物検出（ブロック３１２）が、カメラ７０から送られた画像内の貨物２００を識別する。一実施例では、画像内の貨物２００の場所を識別するために、識別は、セマンティックセグメンテーション及び境界ボックスを使用する。セマンティックセグメンテーションは、ラベル又はカテゴリを、画像の中のピクセルと関連させる深層学習アルゴリズムである。計算装置２０は、貨物２００を形成するピクセルの収集を識別する。計算装置２０は、貨物２００の一部ではない画像の中のピクセルも識別する。幾つかの実施例では、これらの他のピクセルは、別の物体として識別される。

【0044】

［００５８］一実施例では、計算装置２０は畳み込みニューラルネットワークの使用を通じて訓練されて、貨物検出を実行する。畳み込みニューラルネットワークは、画像を撮像し、重量及び偏りなどの重要性を画像内の様々な異なる態様に割り当てる深層学習アルゴリズムであり、様態を区別することができる。一実施例では、計算装置２０は、訓練ライブラリに記憶される訓練用画像を使用して、訓練される。訓練用画像は、計算装置２０内の別個の記憶、メモリ回路の一部、又はリモートデータベースなどの、計算装置２０から遠隔に記憶される別個の構成要素であり得る。一実施例では、訓練用画像は、カメラ７０によって捕捉される見方とは異なる見方から捕捉される。別の実施例では、訓練用画像は、異なる設定で貨物２００の映像を含む（例えば、積み荷エリアの通路の貨物、空港カートによって移動されている貨物）。ある特定の実施例では、映像はユーチューブから取得される。

【0045】

［００５９］画像内の貨物２００を検出することに加えて、プロセスは、貨物２００の形状及びサイズを更に決定する。この分析は、貨物２００を画像内の他のエリアに対して分類するセマンティックセグメンテーションに基づく。分類されたピクセルに基づき、貨物２００の全体のサイズ及び寸法が決定される。

【0046】

［００６０］貨物検出プロセスは、画像を分析し、画像内の貨物２００を識別する。分析の結果に基づき、アルゴリズムは画像内の識別された貨物に信頼値を割り当てる。信頼値は、画像の識別された様態が実際に貨物である可能性がどの程度であるかを表す。一実施例では、信頼値は、１．００（最も高い信頼値）から変動し、下方に低減する。図６は、計算装置２０によって分析された画像７１を示す。分析は、画像７１内で視認できる様々な別個の貨物２００を識別する。識別された貨物２００をカプセルに包む境界ボックス７３が形成される。信頼値７２が各貨物２００に対して決定される。この実施例では、信頼値７２は、画像７１内でより十分に視認できる貨物２００に対してより高くなる。画像７１内でより隠された貨物２００は、より低い信頼値７２を有する。一実施例では、信頼値は、ニューラルネットワークを使用した標準の物体検出を使用して決定される。

【0047】

［００６１］プロセスは、貨物上の点を識別することを含む（ブロック３１４）。この点は、貨物２００がカメラ７０の視野を通じて移動するときなど、貨物２００が異なる画像７１で追跡されることをもたらす。一実施例では、これは、画像７１内の貨物２００の特定の点の場所を決定することを含む。例えば、画像７１内の貨物２００の重心の位置である。他の実施例は、貨物２００上の別の点（限定されるわけではないが、コーナー、上縁部上の点、下縁上の点など）を選択することを含む。

【0048】

［００６２］幾つかの実施例では、点は、複数の画像７１で一貫している貨物２００の部分に沿って位置決めされる。例えば、貨物２００は堅いＵＬＤコンテナを含む。選択された点は、各側が堅いので、側のうちの１つに沿って位置し、貨物２００の他の部分に対しては移動しない。別の実施例では、貨物２００は、箱の上に大まかに延在する防水布を伴う箱の積み重ねである。防水布は移動可能であり、異なる画像７１では別の相対的な位置を有するため、貨物２００のために選択された点は、防水布で覆われていない箱の１つの上にある。幾つかの実施例では、貨物２００の下部の特徴は、デフォルトの点として選択される。下部は通常、貨物２００の他の部分よりも移動する可能性の低い堅い部材（例えば、パレット、ＵＬＤの堅い側）である。

【0049】

［００６３］幾つかの実施例では、画像７１は、画像が捕捉された時間を示すタイムスタンプを含む。タイムスタンプは、カメラ７０又は計算装置２０によって適用され得る。タイムスタンプは、貨物２００の移動、及びカメラ７０によって捕捉される異なる画像を追跡するために、計算装置によって使用され得る。

【0050】

［００６４］ある期間にわたって画像を捕捉する複数のカメラを使用する視覚システム１５では、画像の数は大量のデータをもたらし得る。プロセスは、カメラ７０によって捕捉された全画像から限られた数の画像を選択することを含む（ブロック３１６）。限られた数の画像は、カメラ７０から受け取られた画像の総数よりも少ないワーキングセットである。選択は、処理されるべきデータ量を低減し、そのことが、記憶及び処理出力を低減し、処理時間を低減する。選択された画像を使用することにより、貨物の体積を決定する際、より良い画像分析がもたらされる。

【0051】

［００６５］画像選択プロセスは、識別された点が所定のエリアに位置する画像７１を識別し、選択する。一実施例では、選択は、画像を選択するために、時空間的なフィルタを使用する。計算装置２０は、貨物２００が一又は複数のカメラ７０の視野を通って移動するある期間にわたり捕捉された、一連の画像及び／又は映像シーケンスを受け取る。計算装置２０は貨物２００を識別し、時空間的なフィルタを通った点を識別する。シーケンスのより早い画像について、点は画像の第１のエリア内にある。シーケンスのより遅い画像は、画像の第１のエリアから第２のエリアまで移動した点を含む。シーケンスの最後の画像は、第３のエリアに移動した点を含む。一実施例では、画像は、輸送体１００に積み込まれている貨物２００のシーケンスを含む。貨物２００は、左から右へシーケンス内の視野を通って移動する。より早い画像は、画像の左側に沿って位置する貨物２００を含み、より遅い画像は、画像の中央に沿って位置する貨物２００を含み、次いで、画像は最終的に、画像の右側に沿った貨物２００を含む。計算装置２０は、識別された点が画像の予想されたエリアに位置決めされる画像を選択するために、時空間的なフィルタリングを使用する。

【0052】

［００６６］別の実施例では、計算装置２０は、選択された点が画像の選択されたエリア内にある画像を選択する。例えば、選択されたエリアは、画像の中心点を中心に置く。識別された点が所定のエリア内に入る画像が使用される。

【0053】

［００６７］幾つかの実施例では、画像は、カメラ階層に基づき選択又は破棄される。一実施例は、主要であるカメラ７０及び従属である他のカメラ７０のうちの一方を含む。主要によって捕捉される貨物を含む画像は、同時に従属によって捕捉された画像として保存される。主要によって捕捉される、貨物を含まない画像は、同時に従属によって捕捉された画像と同様に破棄される。図７Ａは、カメラ１が主要で、カメラ２及び３が従属である状態の、主要－従属配置の実施例を示す。カメラのそれぞれは、別の時間にそれぞれ７つの画像を捕捉する（例えば、それぞれ所定の時間空けた画像の進行）。カメラ１によって捕捉された最初の４つの画像（画像１～４）は貨物を含み、したがって保存される。カメラ２及び３によって同時に捕捉された画像も保存される。カメラ２及び３からのこれらの画像は、貨物を含んでもよいし、含まなくてもよい。カメラ１によって捕捉された画像５～７は貨物を含まず、したがって破棄される。同様に、カメラ２及び３によって同時に捕捉された画像５～７も、破棄される（貨物を捕捉しても捕捉しなくても）。

【0054】

［００６８］別の実施例では、カメラ７０のそれぞれは独立している。貨物２００を含む、カメラ７０のいずれかによって捕捉された画像は保存される。貨物２００を含まない、カメラによって捕捉された画像は破棄される。図７Ｂは、独立したカメラを有する実施例を示す。カメラ１からの画像１～４は、それらが貨物２００を含むので保存される。カメラ１からの画像５～７は、それらが貨物を捕捉しないので破棄される。カメラ２の画像３～５は、画像１、２、６及び７が破棄されて、保存される。カメラ３の画像４～６は、画像１～３及び７が破棄されて、保存される。

【0055】

［００６９］別の実施例では、カメラが貨物を含む画像を捕捉すれば、その時点からの画像は、カメラのそれぞれについて保存される。いずれのカメラによっても貨物が捕捉されないときに捕捉された画像は、破棄される。図７Ｃは、画像のどれも貨物を捕捉していないので破棄される、カメラ１～３の第１の画像のそれぞれを含む。カメラ１の画像が貨物を捕捉するので、カメラのそれぞれからの第２の画像は保存される。カメラ１及び２が貨物を捕捉するので、各カメラからの第３の画像は保存される。カメラ２が貨物を捕捉するので、第４の画像は保存される。カメラ２及び３が貨物を捕捉するので、第５の画像は保存される。第３のカメラが貨物を捕捉するので、第６の画像は保存される。画像のどれも貨物を捕捉していないので、カメラからの第７の画像は破棄される。

【0056】

［００７０］図７Ａ～７Ｃは、３つのカメラを有する実施例を含む。画像をフィルタリングするためのこれらの階層は、様々な数のカメラを有する視覚システムに適用され得ることが理解される。更に、図７Ａ～７Ｃは、破棄される選択されない画像を有する実施例を含む。他の実施例では、選択されない画像は記憶されるが、貨物分析の一部としては使用されない。

【0057】

［００７１］一又は複数のフィルタリングステップは、体積見積のために保存し、使用されるべき選択された画像を提供する。選択されなかった画像は、このプロセスのために使用されない。選択されなかった画像は、計算装置２０で記憶され得るか、又はリモートデータベースなどのリモート記憶場所に送られ得る。幾つかの実施例では、選択されなかった画像は破棄される。

【0058】

［００７２］一実施例では、フレーム選択はまた、余剰の画像７１も決定する。余剰の画像７１は、将来の画像処理のためにデータからフィルタリングされ、データ記憶及び処理能力を再び制限し、一方、画像分析のために必要な画像７１を依然として提供する。図８は、ある期間にわたってカメラ７０によって捕捉された画像７１ａ、７１ｂ、７１ｃのシーケンスを示す。捕捉された画像７１の頻度は変動し得る。画像７１ａ～７１ｃのそれぞれは、輸送体１００上に積み込まれている貨物２００を捕捉する。画像捕捉の頻度及び／又は輸送体に積み込まれている貨物２００のスピードのため、各画像は、画像７１の実質的に同じ位置に位置する貨物２００と同様である。アルゴリズムは、複数の画像７１の余剰性を検出し、後続の画像分析に使用されないように、画像のうちの一又は複数を除去するように構成される。この実施例では、第２の画像７１ｂは、余剰であり、除去されるように決定される。

【0059】

［００７３］一実施例では、アルゴリズムは、貨物２００の重心、エリア、及び輪郭形状のうちの一又は複数を追跡するセマンティックセグメンテーションを利用する。アルゴリズムは、各画像７１のための空間分布を計算する。効果的な空間分布は、画像セットにわたり計算され、余剰性を決定するために使用される。

【0060】

［００７４］上記で開示の幾つかの実施例では、プロセスは、追加の処理のために選択された画像のみを使用する。他の実施例では、プロセスは、カメラ７０によって捕捉される画像の全てを使用する。

【0061】

［００７５］画像の追加の処理は、貨物２００の体積を決定することを含む（ブロック３１８）。処理は、貨物２００の様々な寸法（例えば、高さ、長さ、幅）及び／又は輪郭を決定することを含む。一実施例では、体積決定は、写真測量、自動メッシュ閉鎖、及び体積見積を含む一連の処理ステップを使用する。

【0062】

［００７６］写真測量は、画像７１に基づき、貨物２００に関する物理的特性を決定する。一実施例では、プロセスは、画像７１に基づき、３Ｄ容積測定メッシュを決定する。プロセスは、画像から３次元測定を引き出す。一実施例では、プロセスは、画像のスケールに対して画像７１の２つの識別された点に基づき、貨物２００上の２つの点の間の距離を決定する。一実施例では、プロセスは、測定を決定するとき、グレイスケール画像を使用する。

【0063】

［００７７］処理は、画像７１に基づき、貨物２００の３Ｄ容積測定メッシュを作り出す。処理は、固定されたパラメータを使用し、６自由度で画像７１の見方を決定する（例えば、画像が捕捉されるときの貨物２００に対するカメラ７０の場所）。プロセスは、画像７１の間の視覚的な特徴の対のセットを見積もり、次いで、一致した視覚的な特徴から、見積もられた疎な３Ｄ点群を計算する。プロセスは、更に３Ｄメッシュを点に一致させる。プロセスは、モデルの中の間隙を満たす自動メッシュ閉鎖を更に含む。間隙は、画像７１から決定され得る不十分なデータによって生じる。プロセスは、形成された３Ｄモデル内にあるデータの欠如によって生じた孔を識別する。次いで、プロセスは、既存の３Ｄの形状を分析し、形状を一致させて３Ｄモデルの残りを完成させる。モデルが完成すると、プロセスは貨物２００の体積を決定する。体積見積は、スケールに基づき、３Ｄモデルの寸法を決定し、次いで、体積を決定するために計算を実行することを含み得る。

【0064】

［００７８］別の実施例では、画像分析は、画像からの測定値及び画像の既知のスケールを使用して、体積を決定する。画像上の識別された点の間の距離は、スケールに対して計算されて、貨物２００の寸法を決定する。

【0065】

［００７９］プロセスは、輸送体１００の内部空間１０３内の貨物２００の位置を決定することを更に含む（ブロック３２０）。このプロセスでは、画像を使用して、貨物２００が輸送体１００のどこに位置するかを決定し、輸送体１００の既知のレイアウトを使用して、位置を決定する。

【0066】

［００８０］図９は、貨物２００が輸送体１００に積み込まれる胴体１０１の、内部空間１０３及び開口部１０４を示す。内部空間１０３は、開口部１０４から内側の位置合わせエリア１０６を更に含む。位置合わせエリア１０６は、内部空間１０３内に延在するレーン１０５のうちの１つに沿って貨物２００を位置合わせすることをもたらす。積み荷の間、貨物２００は位置合わせエリア１０６内に移動し、レーン１０５のうちの１つと位置合わせし、次いで、選択されたレーン１０５に下げられる。貨物２００は、レーン１０５の端部、又は既にレーン１０５に積み込まれた他の貨物２００に達するまで、レーン１０５に沿って移動する。図９は、内部空間１０３が６つのレーン１０５を含む実施例を含む。他のレイアウトは、様々な構成において多数又は少数のレーン１０５を含む。

【0067】

［００８１］カメラ７０のうちの一又は複数は、位置合わせエリア１０６に位置合わせされた貨物２００の画像を捕捉するように位置決めされる。計算装置２０は、位置合わせエリア１０６内の貨物の位置を決定する。一実施例では、計算装置２０は、貨物２００上の識別された点を追跡し、レーン１０５に対する場所を決定する。計算装置２０は、内部空間１０３内の点の位置に基づき、貨物２００が特定のレーン１０５と位置合わせされることを決定する。一実施例では、貨物２００の重心が追跡され、レーン１０５のうちの１つと位置合わせするように決定される。別の実施例では、計算装置２０は、レーン１０５のそれぞれを識別するために、重心などの識別された点が、位置合わせエリア１０６の予め指定された閾値をいつ超えるかを決定する。様々な実施例では、計算装置２０は、どのレーン１０５が入っているかを決定するために、貨物２００の動きを更にモニタリングする。例えば、計算装置２０は、貨物が特定のレーン（例えばレーン４）を有する位置合わせエリア１０６に位置合わせされることを追跡し、次いで、レーン（例えばレーン４）に沿った貨物の移動をモニタリングして、最初のレーン決定は正確であることを確認する。

【0068】

［００８２］図１０は、内部空間１０３内に４つのレーン１０５ａ～１０５ｄがある実施例を示す。貨物２００のうちの２つのユニットは、既にレーン１０５ａに積み込まれ、貨物２００の１つのユニットは、レーン１０５ｂ、１０５ｃのそれぞれに積み込まれる。貨物２００の後続のユニットについては、計算装置２０は、位置合わせエリア１０６内に貨物２００の場所を決定して、適用できるレーン１０５を決定する。一実施例では、計算装置２０は、レーン１０５の少なくとも最初の部分に沿った移動をモニタリングすることによって、レーン１０５を更に確認する。一実施例では、積み荷は、貨物２００をレーン１０５の中の可能な限り遠くに移動させることを含む。別の実施例では、貨物２００は、レーン１０５に沿った任意の位置に位置し得る。

【0069】

［００８３］計算装置２０は、輸送体１００の中の貨物２００の場所の記録８０を更に維持する。記録８０は、レーン１０５及びレーン１０５内の位置を含む。例として図１０を使用して、レーン１０５ｂに積み込まれる貨物２００の後続のユニットは、レーン１０５ｂ、第２の位置としてリストされる。レーン１０５ａに積み込まれる貨物２００の後続のユニットは、レーン１０５ａ、位置３に位置する。位置に加えて、計算装置２０は、計算された体積特性を貨物２００と関連させる。この関係により、計算装置２０は、貨物２００の特定のユニットと関連する寸法の位置を突き止めることができる。

【0070】

［００８４］内部空間１０３内の貨物２００の位置及び既知の体積は、様々な分析のために使用され得る。分析の実施例は、貨物の個々のユニットの効率性（例えば、貨物体積、貨物サイズ、貨物密度、及び貨物２００を識別すること）を含む。追加的に又は代替的に、分析は、輸送体レベルであり、積み込まれた内部空間１０３の効率性を決定することができる。

【0071】

［００８５］計算装置２０によって決定されたデータは、一又は複数のリモートノード９９に送達される。システムは、ノード９９との通信能力の接続性及び帯域幅を検出するように構成される。計算装置２０は、データを様々なレベルの忠実度にパッケージし、優先順位を付けてデータを出力できる。一実施例では、このことは、輸送体１００が目的地に達する前に、作用できるように、最も小さく最も高い価値のデータをまず送達することを含む。システムはまた、作用し得るデータをクラウドに出力させることができ、次いで、データは、一又は複数のリモートノードに送達される。

【0072】

［００８６］輸送体１００は、一又は複数の異なる通信チャネルを通じて、リモートノード９９と通信するように構成される。図１１に示されるように、通信は、無線通信ネットワーク９８を通じて生じる。無線通信ネットワーク９８は、パケットデータネットワーク（ＰＤＮ）９７を含み得る。ＰＤＮ９７は、インターネットなどの公共ネットワーク、又は私的ネットワークを含み得る。無線通信ネットワーク９８は、移動通信ネットワーク（ＭＣＮ）９６（例えば、ＷＣＤＭＡ、ＬＴＥ、又はＷｉＭＡＸネットワーク）を含み得る。ＭＣＮ９６は、コアネットワーク、及び一又は複数の基地局を含む無線アクセスネットワークを含む。ＭＣＮ９６は、現在知られる又は後に開発される任意の通信基準にしたがって動作する従来のセルラーネットワークであり得る。例えば、ＭＣＮ９６は、Ｗｉｄｅｂａｎｄ Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ（ＷＣＤＭＡ）ネットワーク、Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ（ＬＴＥ）ネットワーク、又はＷｉＭＡＸネットワークを含み得る。ＭＣＮ９６は、ＰＤＮ９７にアクセスするように更に構成される。

【0073】

［００８７］輸送体１００はまた、Ｗｉｆｉインターフェースとして一般に知られている、基準の８０２．１１ファミリーにしたがって動作するＷｉｒｅｌｅｓｓ Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ（ＷＬＡＮ）９５を通じて通信し得る。通信は、一又は複数の衛星９０を通じても利用可能であり得る。衛星９０は、地上局９１のうちの一又は複数を通じて通信し得る。

【0074】

［００８８］輸送体１００は、異なる時間に、異なる通信のチャネルを使用し得る。例えば、飛行中の航空機は、衛星９０を使用して通信し得る。同じ航空機は、地上にあるとき及び空港に駐機しているとき、ＭＣＮ９６及び／又はＷＬＡＮ９５を通じて通信し得る。

【0075】

［００８９］計算装置２０は、リアルタイムで利用可能な帯域幅を測定及び見積もるように構成される。幾つかの実施例では、計算装置２０は、機内インターネット接続を利用し、軽量データの最初のセットをアップロードする。一実施例では、軽量データは、約１ＭＢである。軽量データは、既知のサイズで、所与の時間にわたってアップロードされる。次いで、計算装置２０は、利用可能なインターネット接続スピードを見積もる。一実施例では、計算装置２０はインターネット接続を分析し、衛星経由でＡｉｒｃｒａｆｔ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ａｄｄｒｅｓｓｉｎｇ ａｎｄ Ｒｅｐｏｒｔｉｎｇ Ｓｙｓｔｅｍ（ＡＣＡＲＳ）及び／又はＶＨＦ通信を自動的に選択して、軽量データを送信する。他の実施例では、計算装置２０は、異なる通信リンクを使用して、データを送信する。追加的に又は代替的に、輸送体は、ＬＴＥ／４Ｇセルラーデータ及び輸送体アンテナを利用して、測定のときに輸送体からデータをアップロードする。

【0076】

［００９０］一実施例では、計算装置２０は、３つの忠実度レベルを区別する。軽量忠実度レベルは、数的体積、３次式データ、体積使用のパーセントなどの数値／整数値データを含むが、これらに限定されるわけではない。中間の忠実度レベルは、様々な解決法であり得る単一の画像のためである。３番目に高い忠実度レベルは、３Ｄモデル及びメッシュモデルを含む。一実施例では、３Ｄモデルは、１．２ＭＢから６．０ＭＢの範囲のサイズにわたる。

【0077】

［００９１］計算装置２０はまた、ｌｏａｄｉｎｇ ｉｎｓｔｒｕｃｔｉｏｎ ｒｅｐｏｒｔ（ＬＩＲ）にアクセスし得る。ＬＩＲは、輸送体１００に積み込み、輸送体１００のどこに貨物２００を積み込み、位置決めするか命令を提供するオペレータによって使用されて、重量及びバランスの制限に従う。ＬＩＲデータがない場合は、計算装置２０は、ｒｅａｌ－ｔｉｍｅ ｌａｓｔ ｉｎ－ｆｉｒｓｔ ｏｕｔ（ＬＩＦＯ）システムを利用して、分析を開始する。

【0078】

［００９２］計算装置２０は、貨物２００を分析するための要求を受け取る。要求は、リモートノード９９（例えば顧客）によって輸送体１００へ送信される。積まれた要求は、必要に応じて再度優先されて、体積の計算及び他の分析を促進する。

【0079】

［００９３］計算装置２０は、計算装置２０からのデータの陳腐化をパージして、メモリ回路を満たされることから防止する。計算装置２０は、メモリ回路で利用可能な残りの記憶をモニタリングし、記憶の閾値に達したときに過剰なデータをパージする。一実施例では、計算装置２０は、残りの記憶を評価するスケジュール記憶評価を定期的に実行する。残りの記憶が閾値を下回る場合、データが記録された時間に基づくデータは除去される。このことは、データを消去すること又は別の場所にデータを記憶することを含み得る。一実施例では、通常の動作の間、輸送体に十分なデータ出力の帯域幅が利用可能ではないため、モジュールが使用される。一実施例では、計算装置２０は、実行可能なインターネット接続を定期的に取得し、データは、消去されるのではなく別の記憶場所にアップロードされる。

【0080】

［００９４］図１２に示されるように、計算装置２０は、処理回路２１、メモリ回路２２、カメラインターフェース回路２３、及び通信回路２４を含む。処理回路５１は、メモリ回路２２に記憶されたプログラム命令にしたがって、視覚システム１５の全体的な動作を制御する。処理回路２１は、一又は複数の回路、マイクロコントローラ、マイクロプロセッサ、ハードウェア、又はそれらの組み合わせを含み得る。処理回路２１は、必要な機能を提供するために、様々な量の計算出力を含み得る。一実施例では、処理回路２１は、１テラフロップスよりも大きい計算出力を有する。増大された計算出力は、機械学習アルゴリズムを可能にし得る及び／又は畳み込みニューラルネットワークの使用を提供し得る。

【0081】

［００９５］メモリ回路２２は、コンピュータプログラム製品などの、プログラム命令を記憶する非一時的コンピュータ可読記憶媒体を含み、これは、処理回路２１が、本明細書に記述の技法のうちの一又は複数を実装するように構成する。メモリ回路２２は、例えば、読み取り専用メモリ、及びフラッシュメモリなどの様々なメモリ装置を含み得る。メモリ回路２２は、図１２に示されるように別個の構成要素であり得、あるいは処理回路２１に組み込まれ得る。あるいは、処理回路２１は、例えば、処理回路２１が専用かつ非プログラム式である少なくとも幾つかの実施形態にしたがって、メモリ回路２２を省略し得る。メモリ回路２２は、リアルタイム処理及び記憶のために、ランタイムメモリへの画像のロードを支持するように構成される。一実施例では、メモリ回路２２は、ソリッドステート装置（ＳＳＤ）を含む。

【0082】

［００９６］計算装置２０は、グラフィックスプロセッシングユニット（ＧＰＵ）８１を含む。ＧＰＵは、操作するのに設計された特殊な電子回路であり、メモリ回路２２を変更して、出力用に意図されたフレームバッファにおける画像の生成を加速させる。ＧＰＵ８１は、必要な機能を提供するために、様々な量の計算出力を含み得る。一実施例では、ＧＰＵ８１は、１テラフロップスよりも大きい計算出力を有する。この処理能力は、大規模機械学習を提供する。一実施例では、計算装置２０は、別個のＧＰＵ８１を含む。別の実施例では、この処理は処理回路２１で実行される。

【0083】

［００９７］メモリ回路２２は、貨物２００の記録８０を記憶するように構成される。記録８０は、輸送体１００の貨物２００の、計算された体積及び場所を含む。記録８０は、貨物２００に関する追加の情報を含み得、これは例えば、重量、内容、特定の輸送命令、開始点、及び目的地点であるが、これらに限定されるわけではない。

【0084】

［００９８］カメラインターフェース回路２３は、カメラ７０から画像を受け取ることをもたらす。カメラインターフェース回路２３は、カメラ７０からの片方向通信、又はカメラ７０との間の双方向通信を提供し得る。

【0085】

［００９９］通信回路２４は、計算装置２０との間の通信を提供する。通信は、輸送体１００上の他の回路との通信（例えば、輸送体制御システム）及び／又はリモートノード９９との通信を含み得る。通信回路２４は、リモートノード９９でデータを送受信することを提供する。計算装置２０は、利用可能な接続性及び帯域幅を自動的に検出する。計算装置２０は、通信回路２４を通じて、優先されたデータの出力のために、データを変動する忠実度のレベルにパッケージする。一実施例では、優先順位付けは、最初に最も小さく最も高い値／機会の貨物データを送達するので、顧客は輸送体１００が目的地に到着する前に、それに基づいて行動することができる。一実施例では、計算装置２０は、作用し得るデータを自動的にクラウドに出力して、次いで、顧客に送達する。

【0086】

［００１００］ユーザインターフェース２８は、ユーザが貨物２００に関するデータにアクセスすることをもたらす。ユーザインターフェース２８は、一又は複数の入力装置２７（例えば、限定されるわけではないが、キーパッド、タッチパッド、水性ボールペン、及びジョイスティック）を含む。ユーザインターフェース２８はまた、貨物２００に関する情報を表示する及び／又はオペレータが処理回路２１にコマンドを入力するための、一又は複数のディスプレイ２６を含む。

【0087】

［００１０１］一実施例では、計算装置２０は、走査された画像データを処理し、データを一又は複数のリモートノードに出力するように、自律的に動作する。自律的能力は、プロセスを遅くし得る及び／又は誤りを作り出し得るオペレータの介在を最小化及び／又は除外する。

【0088】

［００１０２］図１３は、視覚システム１５を使用する１つの適用を示す。輸送体１００が第１の場所４００に位置する間、貨物２００は、輸送体１００上に積み込まれる。貨物２００の画像がカメラ７０によって捕捉され、体積見積を決定するように処理される。輸送体１００が貨物２００を移送している間、データはリモートノード９９（例えば顧客サーバ）にアップロードされ、ここでデータは、顧客（例えば、貨物に責任のあるエンティティ）によってアクセスされる。データは分析され、貨物２００は問題がある（例えば、十分詰まっていない）と決定される。輸送体１００が中間の場所４０１に到着するとき、貨物２００が輸送体１００から除去され、再梱包されてより高い効率性を提供する。次いで、再梱包された貨物２００は輸送体１００内に再度積み込まれ、最終目的地まで移送される。

【0089】

［００１０３］一実施例では、視覚システム１５は輸送体１００内に一体化している。視覚システム１５は、多種多様な輸送体１００で使用され得る。輸送体１００は、トラック、列車、船舶、及び航空機を含む。

【0090】

［００１０４］視覚システム１５は、他の環境でも使用され得る。例としては、ウェアハウス、空港積み荷施設、及び分配センターが含まれるが、これらに限定されるわけではない。別の実施例では、視覚システム１５は人を識別するように構成される。視覚システム１５は、人の一又は複数の画像を受け取る。ある特定の実施例では、画像は人の顔である。視覚システム１５は、上記で説明したように同様の方法で画像を分析する。一実施例では、このことは、複数の画像を受け取ること、及び識別するのに最も関連のある画像を決定することを含む。例えば、人の顔が不明瞭あるいはその他の方法で十分視認できない画像は破棄される。関連のある画像は分析されて、人を識別する。一実施例では、分析された画像は人の記憶された画像のデータベースに対して評価される。分析は、捕捉された画像を記憶された画像と比較して、人を識別するのに一致するものを決定する。

【0091】

［００１０５］分量又は測定値に関連する「実質的に（ｓｕｂｓｔａｎｔｉａｌｌｙ）」という語句は、列挙された特性、パラメータ、又は値を正確に達成する必要はないことを意味する。むしろ、偏差又は変動（例えば、公差、測定誤差、測定精度限界、及び当業者にとって既知の他の要因を含む）が、特性によってもたらされるように意図された効果を排除しない範囲で生じ得る。

【0092】

［００１０６］本発明は、本発明の本質的な特性から逸脱しない限り、本明細書に具体的に提示された方法よりも他の方法で実施され得る。本実施形態は、あらゆる点で、例示的かつ非限定的であるとみなすべきであり、添付の特許請求の範囲の意味及び均等性の範囲内に入る全ての変更は、特許請求の範囲に包含されることが意図されている。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7A】

【図7B】

【図7C】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【外国語明細書】