特表 2024-520533 在庫追跡のためのシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-05-24

(54)【発明の名称】在庫追跡のためのシステム

(51)【国際特許分類】

   G06Q 10/083 20240101AFI20240517BHJP

【ＦＩ】

G06Q10/083

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2023573372

(86)(22)【出願日】2022-05-26

(85)【翻訳文提出日】2024-01-23

(86)【国際出願番号】 US2022031070

(87)【国際公開番号】W WO2022251452

(87)【国際公開日】2022-12-01

(31)【優先権主張番号】63/194,265

(32)【優先日】2021-05-28

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】523446996

【氏名又は名称】コイリーダー テクノロジーズ インコーポレイテッド

(74)【代理人】

【識別番号】110001243

【氏名又は名称】弁理士法人谷・阿部特許事務所

(72)【発明者】

【氏名】アシュトシュ プラサード

(72)【発明者】

【氏名】ヴィヴェク プラサード

【テーマコード（参考）】

5L010

【Ｆターム（参考）】

5L010AA16

(57)【要約】

アイテムまたは輸送ハンドリングユニットが施設内において移動される毎に在庫を追跡する在庫管理システムを提供するための技術が記載される。幾つかのケースにおいて、システムは、フォークリフト装備と関連付けられた視野に取り付けられたセンサを含み、フォークリフトオペレータによって実施される収集イベントそれぞれの識別およびロケーションを決定するために処理される。

【特許請求の範囲】

【請求項1】

物理環境に関連付けられた第１のセンサデータを受信することと、
前記第１のセンサデータに少なくとも部分的に基づいて、前記センサデータに関連付けられた第１のタイプのイベントを決定することと
前記第１のセンサデータに少なくとも部分的に基づいて、輸送ハンドリングユニットのアイデンティティを決定することと、
前記第１のセンサデータに少なくとも部分的に基づいて、前記輸送ハンドリングユニットに関連付けられた第１のロケーションを決定することと、
前記第１のセンサデータに少なくとも部分的に基づいて、前記輸送ハンドリングユニットの装備および開口部の間のアライメントを決定することと、
前記輸送ハンドリングユニットに関連付けられたレコードを更新することと
を備える、方法。

【請求項2】

前記方法は、
前記物理環境に関連付けられた第２のセンサデータを受信することと、
前記第２のセンサデータに少なくとも部分的に基づいて、前記センサデータに関連付けられたイベントの第２のタイプを決定することであって、前記第２のタイプは前記第１のタイプとは異なる、ことと、
前記第２のセンサデータに少なくとも部分的に基づいて、前記輸送ハンドリングユニットのアイデンティティを確認することと、
前記第２のセンサデータに少なくとも部分的に基づいて、前記輸送ハンドリングユニットに関連付けられた第２のロケーションを決定することと、
前記第２のロケーションに少なくとも部分的に基づいて、前記輸送ハンドリングユニットに関連付けられたレコードを更新することと、
をさらに備える、請求項１に記載の方法。

【請求項3】

前記方法は、
前記輸送ハンドリングユニットに関連付けられた前記レコードに少なくとも部分的に基づいて、レポートを生成することと、
オペレータに関連付けられたデバイスに前記レポートを送信することと、
をさらに備える、請求項１または２の何れかに記載の方法。

【請求項4】

前記方法は、
前記アライメントが前記装備に関連付けられた衝突をもたらし得ることを決定することと、
前記アライメントが前記衝突をもたらし得るとの決定に応答して、前記装備に関連付けられた車両のオペレータにアラートを送信することと、
をさらに備える、請求項１－３の何れかに記載の方法。

【請求項5】

前記方法は、
前記第２のロケーションが期待されるロケーションと一致しないことを決定することと、
前記第２のロケーションが前記期待されるロケーションと一致しないとの決定に応答して、前記装備に関連付けられた車両のオペレータにアラートを送信することと、
をさらに備える、請求項１－４の何れかに記載の方法。

【請求項6】

前記第１のロケーションを決定すること、または、前記第２のロケーションを決定することは、前記第１のセンサデータまたは前記第２のセンサデータ内において１つまたは複数のライセンスプレートを検出することに少なくとも部分的に基づく、請求項１－５の何れかに記載の方法。

【請求項7】

前記輸送ハンドリングユニットの前記アイデンティティを決定することは、前記輸送ハンドリングユニットに関連付けられた少なくとも１つの資産のアイデンティティを決定することをさらに含む、請求項１－６の何れかに記載の方法。

【請求項8】

前記センサデータは、オペレータに装着されたセンサシステムから受信される、請求項１－７の何れかに記載の方法。

【請求項9】

前記センサデータは、前記装備に関連付けられた視野を有するセンサシステムから受信される、請求項１－７の何れかに記載の方法。

【請求項10】

前記センサデータは、施設に対して固定されたロケーションにあるセンサシステムから受信される、請求項１－７の何れかに記載の方法。

【請求項11】

前記方法は、
物理処理領域に関連付けられた第３のセンサデータを受信することと、
前記第３のセンサデータに少なくとも部分的に基づいて、再ラベリングイベントが進行中であることを決定することと、
前記第３のセンサデータに少なくとも部分的に基づいて、第１の識別子に基づいた資産のアイデンティティを決定することと、
前記資産に関連付けられた第４のセンサデータを受信することと、
前記第４のセンサデータに少なくとも部分的に基づいて、前記資産が再ラベリングされていることを決定することと、
前記第４のセンサデータに少なくとも部分的に基づいて、第２の識別子に基づいた前記資産の新しいアイデンティティを決定することと、
前記資産に関連付けられたレコードを更新することと、
をさらに備える、請求項１－１０の何れかに記載の方法。

【請求項12】

前記方法は、
前記第３のセンサデータに少なくとも部分的に基づいて、第１のＴＨＵからの前記資産の積み降ろしを決定することと、
前記第４のセンサデータに少なくとも部分的に基づいて、第２のＴＨＵからの前記資産の積み込みを決定することと、
前記第２のＴＨＵのアイデンティティに少なくとも部分的に基づいて、前記資産に関連付けられた前記レコードを更新することと、
をさらに備える、請求項１１の何れかに記載の方法。

【請求項13】

コンピュータ上で実行されると、請求項１－１２の何れかに記載の方法を実装するコード化された命令を含む、コンピュータプログラム製品。

【請求項14】

１つまたは複数のプロセッサと、
前記１つまたは複数のプロセッサによって実行されると、前記１つまたは複数のプロセッサに、動作を実施させる命令を記憶する１つまたは複数の非一時的なコンピュータ可読媒体と、を備えるシステムであって、前記動作は、
物理環境に関連付けられた第１のセンサデータを受信することと、
前記第１のセンサデータに少なくとも部分的に基づいて、前記センサデータに関連付けられた第１のタイプのイベントを決定することと、
前記第１のセンサデータに少なくとも部分的に基づいて、輸送ハンドリングユニットのアイデンティティを決定することと、
前記第１のセンサデータに少なくとも部分的に基づいて、前記輸送ハンドリングユニットに関連付けられた第１のロケーションを決定することと、
前記第１のセンサデータに少なくとも部分的に基づいて、前記輸送ハンドリングユニットの装備および開口部の間のアライメントを決定することと、
前記輸送ハンドリングユニットに関連付けられたレコードを更新することと、
を含む、システム。

【請求項15】

前記動作は、
前記物理環境に関連付けられた第２のセンサデータを受信することと、
前記第２のセンサデータに少なくとも部分的に基づいて、前記センサデータに関連付けられたイベントの第２のタイプを決定することであって、前記第２のタイプは前記第１のタイプとは異なる、ことと、
前記第２のセンサデータに少なくとも部分的に基づいて、前記輸送ハンドリングユニットの前記アイデンティティを確認することと、
前記第２のセンサデータに少なくとも部分的に基づいて、前記輸送ハンドリングユニットに関連付けられた第２のロケーションを決定することと、
前記第２のロケーションに少なくとも部分的に基づいて、前記輸送ハンドリングユニットに関連付けられたレコードを更新することと、
をさらに含む、請求項１４に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、在庫追跡のためのシステムに関する。

【背景技術】

【0002】

関連出願の相互参照
[0001]本願は、参照によりその全体が本明細書に組み込まれる、２０２１年５月２８日に出願され、かつ、「在庫追跡のためのシステム」と題された米国特許仮出願第６３／１９４，２６５号明細書の優先権を主張する。

【0003】

[0002]出荷場、処理工場、倉庫、物流センタ、港湾、置き場などといった保管施設では、一定期間にわたって大量の在庫を保管することがある。在庫の監視は、典型的には、週次、月次、年次の監査の一環として行われる手作業である。これらの監査は、しばしば時間がかかり、エラーが発生しやすい。追加的に、監査と監査との間に在庫が紛失したり、誤った場所に紛れ込んだりすることもあり、その結果、物流の遅れなどが発生する。

【図面の簡単な説明】

【0004】

[0003]詳細な説明が、添付の図面を参照して説明される。図面において、参照番号の左端の桁は、その参照番号が最初に現れる図面を識別する。異なる図面において同じ参照番号を使用することは、類似または同一の構成要素または特徴を示す。

【0005】

【図1】[0004]図1は、在庫システムおよび在庫追跡能力とその他の安全特徴を提供する例示ブロック図である。

【図2】[0005]図２は、幾つかの実装による、ピックまたは収集イベントに関連付けられた例示的なプロセスを示すフロー図である。

【図3】[0006]図３は、幾つかの実装による、配送イベントに関連付けられた例示的なプロセスを示すフロー図である。

【図4】[0007]図４は、幾つかの実装による、施設内での車両のルーティングに関連付けられた例示的なプロセスを示すフロー図である。

【図5】[0008]図５は、幾つかの実装による、本明細書において説明される技術を実装し得る例示的なセンサシステムを示す図である。

【図6】[0009]図６は、幾つかの実装による、本明細書において説明される技術を実装し得る例示的な在庫管理システムを示す図である。

【図7】[0010]図７は、幾つかの実装による、図１から図６のシステムに関連付けられた例示的な絵画図（pictorial view）である。

【図8】[0011]図８は、幾つかの実装による、図１から図６のシステムに関連付けられた例示的な絵画図である。

【図9】[0012]図９は、幾つかの実装による、図１から図６のシステムに関連付けられた他の例示的な絵画図である。

【図10】[0013]図１０は、幾つかの実装による、図１から図６のシステムに関連付けられた他の例示的な絵画図である。

【図11】[0014]図１１は、幾つかの実装による、図１から図６のシステムに関連付けられた他の例示的な絵画図である。

【図12】[0015]図１２は、幾つかの実装による、図１から図６のシステムに関連付けられた他の例示的な絵画図である。

【発明を実施するための形態】

【0006】

[0016]本明細書において論じるのは、保管施設、倉庫、置き場などといった施設内に保管されている在庫、並びに、出荷および配送中に保管されている在庫を監視、追跡、配置、および、発注するためのシステムである。例えば、本明細書において論じる在庫管理システムは、在庫管理システム、倉庫管理システム、資産（asset）管理システム、施設管理システム、サプライチェーン管理システムなどを含み得る。在庫管理システムは、クラウドベースの在庫管理サービスなどの中央またはエッジ処理システムに通信可能に結合された複数のセンサシステムを含み得る。例えば、センサシステムは、フォークリフト、パレットトラック、パレットジャッキ、バンプトラック、レーザ誘導車（ＬＧＶ）、自律走行車、ヘルメットまたは人間装着システムなどに関連付けられ得る。

【0007】

[0017]幾つかのケースにおいて、システムはまた、様々な表面（例えば、壁および／または天井）に取り付けられたセンサシステムも含み得る。センサは、パレット、ビン、ユニットロードデバイス（ＵＬＤｓ）、海上コンテナ、在庫アイテムを運ぶ（carry）か、そうでなければ輸送（transport）し得る、あらゆる物体を含むがこれらに限定されないパッケージおよび／または輸送ハンドリングユニット（ＴＨＵ）に関連付けられたＲＦＩＤ ＵＷＢまたはＢＬＥタグ、バーコード、英数字コードといった識別子を検出するように構成され得る。

【0008】

[0018]幾つかのケースにおいて、センサは、フォークリフトまたは他の車両の装備（implement）またはフォーク（forks）と一致した視野を有するように取り付けられてよい。このようにして、在庫管理システムは、フォークリフトのオペレータがＴＨＵを整列、ピックアップ、および、配送する際に、フォークリフト装備の視野に関連付けられたセンサデータを受信し得る。幾つかのケースにおいて、センサシステムは、自律フォークリフトのケースのように、フォークリフトと統合されてもよく、他のケースにおいては、センサシステムは、装備の近くのようにフォークリフトに結合されてもよい。

【0009】

[0019]例えば、フォークリフトがＴＨＵに近づくと、装備に関連付けられた視野を有するセンサデータが在庫管理システムに送信され得る。在庫管理システムは、まず、ＴＨＵ、棚、および／または、ＴＨＵ上のパッケージがセンサデータに関連付けられたシーン内においてサイズが大きくなっているという決定に基づいて、フォークリフトがＴＨＵを収集またはピックアップするプロセスにあることを決定し得る。

【0010】

[0020]ＴＨＵがフォークリフトまたは他の車両によって収集されている際、在庫管理システムは、センサデータに基づいて、切り欠き、穴などのような、装備またはフォークを受け入れるためのＴＨＵの入口または開口の位置も識別し得る。在庫管理システムはまた、ＴＨＵを安全に収集およびピックアップするために、開口に対して装備のフォークが正しく整列されている（例えば、水平および垂直に整列されている）ことを実質的にリアルタイムに決定し得る。例えば、フォークリフトのオペレータがＴＨＵおよび装備をはっきりと見ることができないような部分的に高い棚からＴＨＵを回収する際に在庫が損傷することがよくある。この例では、在庫管理システムは、装備が正しく整列されているかどうかを決定し得、整列されていれば、オペレータにＴＨＵの回収を許可し得る。しかし、在庫管理システムが、整列が正しくない、または、ＴＨＵおよび／またはＴＨＵに関連付けられた在庫に影響を与える可能性が高いと決定した場合、在庫管理システムは、自律システム（車両など）、および／または、オペレータにアラートを生成して、収集作業を停止させ得る。例えば、アラートは、スピーカによって出力され、電子デバイスに表示され、および／または、フォークリフトに関連付けられたディスプレイに表示され得る。幾つかのケースにおいて、アラートは、装備を上げる、装備を下げるなどのような整列を支援する指示を含み得る。

【0011】

[0021]在庫管理システムは、視野内にありＴＨＵおよびＴＨＵの内容物に関連付けられた１つまたは複数の識別子に少なくとも部分的に基づいて、ＴＨＵおよび／またはＴＨＵ上のパッケージのアイデンティティも決定し得る。例えば、ＴＨＵに隣接する棚および／またはフロアスペースは、ＴＨＵおよび／またはＴＨＵに関連付けられたパッケージを認識および分類するために、センサデータ内において検出され、在庫管理システムによって利用可能なライセンスプレートまたはその他の識別子を含み得る。他のケースにおいて、在庫管理システムは、ＴＨＵおよび／または個々のパッケージの識別子を見つけて追跡し得る。例えば、ＴＨＵおよび／または個々のパッケージは、バーコード、ＱＲコード（登録商標）、または、センサデータから検出され得るその他の識別子を含み得る。幾つかのケースにおいて、識別子は、例えば、ＲＦＩＤまたはＵＷＢまたはＢＬＥタグ、または他の無線通信技術のような電気的な形態であり得る。

【0012】

[0022]識別に応じて、在庫管理システムは、ＴＨＵが期待される資産であるかを決定し、そうでない場合には、システム（監視システム、センサデバイス、車両など）、車両のオペレータ、および／または、監督者にアラートを送信し得る。例えば、識別子が期待される識別子と一致しない場合、在庫管理システムは、スピーカにオペレータへの可聴アラートを出力させてよい。他の例において、在庫管理システムは、オペレータに関連付けられたスマートフォンおよび／またはフォークリフトに関連付けられたディスプレイのような電子デバイスに、可視アラートを表示させてもよい。アラートはまた、オペレータに関連付けられた電子デバイスに関連付けられた振動などの触覚であってもよい。幾つかのケースにおいて、システムは、例えば、自律車両またはシステムの制御装置に保存または提供され得るアラートに関連付けられた例外レポートを生成してもよい。このようにして、在庫管理システムは、ＴＨＵおよびそれに関連付けられた在庫の誤配置を積極的に防止し得、それにより、従来の在庫管理システムにおいて必要であった週次、月次および／または年次の監査の必要性を低減および／または排除する。

【0013】

[0023]在庫管理システムはまた、ＴＨＵの配送先への配送に関連付けられたセンサデータを受信し得る。幾つかのケースにおいて、在庫管理システムは、配送に関連付けられたセンサデータを受信し得る。在庫管理システムは、センサデータに基づいて装備の移動方向を決定することによって、センサデータが配送に関連付けられていることを決定し得る。例えば、在庫管理システムは、ＴＨＵおよびそれに関連付けられた在庫が、配置後にフォークリフトがＴＨＵから後退するにつれてシーン内においてサイズが小さくなり得るため、配送を決定し得る。他の例において、在庫管理システムは、シーン内において検出された１つまたは複数の物体の位置の変化を決定し得る。この時、在庫管理システムは、ＴＨＵおよび／またはそれに関連付けられた在庫のアイデンティティを再度検証し得る。在庫管理システムはまた、ＴＨＵが配置されたフロアエリアまたは追加の棚に関連付けられたライセンスプレートなどのロケーション指標に基づいて、配送ロケーションを決定し得る。繰り返しになるが、このように、在庫管理システムは、ＴＨＵおよびそれに関連付けられた在庫の誤配置を積極的に防止し得、これにより、従来の在庫システムにおいて必要であった週次、月次、および／または、年次の監査の必要性をさらに低減および／または排除する。

【0014】

[0024]幾つかの例において、在庫管理システムはまた、実装センサデータを使用して、フォークリフトによって収集および／または配送されたパッケージの数または在庫の量を決定するか、さもなければ推定し得る。例えば、在庫管理システムは、センサデータをセグメント化して、個々のパッケージ、ユニット、またはアイテム、および／または、それらに関連付けられた識別子を識別し得る。そして、在庫管理システムは、個々のユニットのサイズ、ＴＨＵの既知のサイズ（例えば、長さおよび／または幅）、ＴＨＵのタイプ、棚および／またはＴＨＵに関連するユニットに関連付けられた高さに基づいて、ユニット数を推定し得る。

【0015】

[0025]幾つかのケースにおいて、在庫管理システムはまた、施設内に貼り付けられた１つまたは複数のセンサからセンサデータを受信し得る。例えば、センサは、棚の通路に沿って、様々な天井ロケーション（フロアスペース、処理エリア、コンベアベルト、または、他のワークスペースの上など）に、タワーまたは取り付け位置（ベイドア、フロアスペース、または、他のオープンスペースに沿ってなど）に貼り付けられてもよい。具体的な一例として、センサは、複数の車両のルーティングを支援するためにコーナーに配置され得る。例えば、在庫管理システムは、コーナーに関連付けられたセンサデータを受信して、２台の対向車両が接近していることを決定し得る。在庫管理システムは、各車両、他の自律システム、および／または、車両の何れか一方または両方のオペレータに、事故などを防ぐために、どちらの車両が停止し、かつ、どちらの車両が進むべきかの指示を伴うアラートを送信し得る。幾つかの例において、在庫管理システムはまた、個々のユニットおよび／またはＴＨＵに関連付けられたロケーション、サイズ、在庫数などを決定するために、複数のセンサからのセンサデータを集約してもよい。幾つかのケースにおいて、ＢＬＵ、ＲＦＩＤ、またはＵＷＢセンサが車両の近接を検出するケースのように、車両の一方または両方からセンサデータが受信されてもよい。

【0016】

[0026]幾つかの実装において、在庫管理システムはまた、ヘルメット、ベスト、または他の装着型センサシステムからセンサデータを受信してもよい。例えば、幾つかのケースにおいて、在庫がビンやバケツに保管されていることがある。このような場合、ビンの中身は、蓋、カバー、他のビン、他のＴＨＵ、棚などによってセンサの視野からしばしば遮られる。スタッフベースのセンサからのセンサデータを取り入れることにより、在庫管理システムは、アクセスイベント時のビンに関する在庫数、ピック、配置を決定し得る。図示された例として、オペレータがビンを開けてユニットを取り出す場合、身体または装着センサは、ビンの内容物だけでなく、ピックを表現するデータをキャプチャし得る。在庫管理システムは、このデータを利用して、ビンに関連付けられた在庫数を更新し得る（例えば、ピッキングされたアイテムを差し引く、および／または、ビンの内容に関連付けられたデータを処理して、残りのユニット数を推定する）。

【0017】

[0027]幾つかの例において、在庫管理システムは、１つまたは複数の機械学習モデルを使用してセンサデータを処理し得る。本明細書において説明されるように、機械学習モデルは、様々な機械学習技術を使用して生成され得る。例えば、モデルは、１つまたは複数のニューラルネットワークを使用して生成され得る。ニューラルネットワークは、入力データ（例えば、ＩｏＴコンピューティングデバイスによってキャプチャされた画像データおよびセンサデータ）を一連の接続された層に通して、出力または学習された推論を生成する、生物学的に刺激された（inspired）アルゴリズムまたは技法であり得る。ニューラルネットワークの各層は、別のニューラルネットワークを構成することも可能であり、または、あらゆる数の層（畳み込み型であるか否かに関わらず）を構成することも可能である。本開示の文脈において理解できるように、ニューラルネットワークは、機械学習を利用することが可能であり、これは、学習されたパラメータに基づいて出力が生成される、そのような技術の広範なクラスを指すことが可能である。

【0018】

[0028]理解に役立つ例として、１つまたは複数のニューラルネットワークは、キャプチャされたセンサおよび／または画像データから、あらゆる数の学習された推論またはヘッドを生成し得る。幾つかのケースにおいて、ニューラルネットワークは、エンドツーエンドである学習済みネットワークアーキテクチャであってもよい。一例において、機械学習モデルは、センサおよび／または画像データの抽出された深層畳み込み特徴を意味データにセグメント化および／または分類することを含み得る。幾つかのケースにおいて、画素単位の意味的分類（例えば、車両識別子、コンテナ識別子、ドライバ識別子など）の形態でのモデルの適切な真理値出力がある。

【0019】

[0029]ニューラルネットワークの文脈において議論したが、あらゆるタイプの機械学習が、本開示と整合して使用され得る。例えば、機械学習アルゴリズムは、回帰アルゴリズム（例えば、通常の最小二乗回帰（ＯＬＳＲ）、線形回帰、ロジスティック回帰、ステップワイズ回帰、多変数適応回帰スプライン（ＭＡＲＳ）、局所推定散乱プロット平滑化（ＬＯＥＳＳ））、インスタンスベースアルゴリズム（例えば、リッジ回帰、最小絶対縮小および選択演算子(ＬＡＳＳＯ)、弾性ネット、最小角度回帰（ＬＡＲＳ））、決定木アルゴリズム（例えば、分類および回帰木（ＣＡＲＴ）、ＩＤ３（iterative dichotomiser 3）、カイ２乗自動交互作用検出（ＣＨＡＩＤ）、決定スタンプ、条件付き決定木）、ベイズアルゴリズム（例えば、ナイーブベイズ、ガウシアンナイーブベイズ、多項ナイーブベイズ、平均１依存推定量（ＡＯＤＥ）、ベイズ信念ネットワーク（ＢＮＮ）、ベイズネットワーク）、クラスタリングアルゴリズム（例えば、ｋ平均、ｋ中央値、期待値最大化（ＥＭ）、階層的クラスタリング）、相関ルール学習アルゴリズム（例えば、パーセプトロン、逆伝搬、ホップフィールドネットワーク、放射状基底関数ネットワーク（ＲＢＦＮ））、深層学習アルゴリズム（深層ボルツマンマシン（ＤＢＭ）、深層信念ネットワーク（ＤＢＮ）、畳み込みニューラルネットワーク（ＣＮＮ）、スタック型自動エンコーダ）、次元削減アルゴリズム（例えば、主成分分析（ＰＣＡ）、主成分回帰（ＰＣＲ）、部分最小二乗回帰（ＰＬＳＲ）、サモンマッピング、多次元スケーリング（ＭＤＳ）、射影追跡、線形判別分析（ＬＤＡ）、混合判別分析（ＭＤＡ）、二次判別分析（ＱＤＡ）、フレキシブル判別分析（ＦＤＡ））、アンサンブルアルゴリズム（例えば、ブースティング、ブーストラップドアグリゲーション（バギング）、アダブースト、スタックドジェネラリゼーション（ブレンディング）、勾配ブースティングマシン（ＧＢＭ）、勾配ブーステッド回帰木（ＧＢＲＴ）、ランダムフォレスト）、ＳＶＭ（サポートベクターマシン）、教師あり学習、教師なし学習、半教師あり学習などを含むことが可能であるが、これらに限定されない。アーキテクチャの追加例には、ＲｅｓＮｅｔ５０、ＲｅｓＮｅｔ１０１、ＶＧＧ、ＤｅｎｓｅＮｅｔ、ＰｏｉｎｔＮｅｔといったニューラルネットワークが含まれる。幾つかのケースにおいて、システムはまた、ガウシアンブラー（Gaussian blurs）、ベイズ関数、色分析または処理技術、および／または、それらの組み合わせを適用することが可能である。

【0020】

[0030]幾つかの例において、フォークリフトの装備に対して設置されたセンサシステムは、１つまたは複数のＩｏＴデバイスを含み得る。ＩｏＴコンピューティングデバイスは、スマートネットワークビデオレコーダ（ＮＶＲ）または他のタイプのＥＤＧＥコンピューティングデバイスを含み得る。個々のＩｏＴデバイスはまた、可視光画像システム、赤外線画像システム、レーダベースの画像システム、ＬＩＤＡＲベースの画像システム、ＳＷＩＲベースの画像システム、ミュオン（Muon）ベースの画像システム、電波ベースの画像システム、および／または、そのようなものといった、センサおよび／または画像キャプチャデバイスを備えてもよい。幾つかのケースにおいて、ＩｏＴコンピューティングデバイスはまた、クラウドベースのサービスに代替または追加して、上述のように、収集または配送イベントに関連付けられた情報をキャプチャ、解析、識別および抽出するためのモデルおよび命令を備えてよい。例えば、ＩｏＴコンピューティングデバイスおよび／またはクラウドベースのサービスは、セグメンテーション、分類、属性検出、認識、データ抽出などを実行するように構成されてもよい。

【0021】

[0031]図１は、在庫システム１０２、および、在庫追跡能力および他の安全特徴を提供するための例示的なブロック図１００である。例えば、在庫管理システム１０２は、一般に１０６で示される様々なデバイスからセンサデータ１０４を受信し得る。デバイスは、施設のあらゆる固定ロケーションに設置された、および／または、フォークリフト、表面搭載型、オペレータ搭載型といった車両装備に関連付けられた、１つまたは複数のＩｏＴデバイスまたはセンサを含み得る。

【0022】

[0032]幾つかのケースにおいて、フォークリフトに関連付けられたセンサシステムは、ジャイロスコープ、加速度計、慣性測定ユニット（ＩＭＵ）などだけでなく、画像デバイス、記録・データ記憶装置またはシステムを含み得る。動作中、センサは、ピッキング、片付け、補充中に画像デバイスからの画像またはビデオデータと共にデータを収集し得る。画像またはビデオデータは、監査、安全および挙動分析を生成するために無線インタフェース（ストリームデータのような）を介してＥＤＧＥコンピューティングデバイスに送信され得る。そして、生成されたデータは、フォークリフトオペレータ（どのオペレータがフォークリフト操作および運転挙動に基づいて事故を起こす可能性が最も高いか）に関連付けられる予測スコアを生成するために使用され得る。監査、安全性および挙動分析はまた、潜在的な安全リスクについてオペレータおよびオペレーションスーパーバイザにフィードバックを提供するためにリアルタイムで使用されることも可能である。このアラートは、後述するように、音／音声、または視覚的表示もしくは信号によって提供され得る。

【0023】

[0033]幾つかのケースにおいて、センサデータ１０４は、フォークリフトの装備に関連付けられたセンサ１０６の視野に関連付けられた画像データを含み得る。在庫管理システム１０２は、装備に関連付けられた視野を有するセンサデータを利用して、ＴＨＵ、棚および／またはＴＨＵ上のパッケージがキャプチャされたシーン内においてサイズが増加しているとの決定に基づいて、フォークリフトがＴＨＵを収集またはピックアップしている最中であるかを決定し得る。在庫管理システム１０２はまた、ＴＨＵが収集されているときに、センサデータに基づいてＴＨＵの開口部の位置も識別し得る。例えば、在庫管理システム１０２は、ＴＨＵを安全に収集およびピックアップするために、ＴＨＵの開口部に対して装備のフォークが正しく整列されている（例えば、水平方向および垂直方向に整列されている）ことも決定し得る。このようにして、在庫管理システム１０２は、施設（例えば、棚）、ＴＨＵ、および、ＴＨＵの内容の損傷を防止し得る。

【0024】

[0034]在庫管理システム１０２が、アライメントが正しくない、または、ＴＨＵおよび／またはＴＨＵに関連付けられた在庫に影響を与える可能性が高いと決定した場合、在庫管理システム１０２は、フォークリフトおよび／またはセンサ１０６に関連付けられたフォークリフトのオペレータに（制御信号のような）アラート１０８を生成し得る。アラート１０８は、収集作業を停止するための指示または制御信号であってもよい。例えば、アラート１０８は、スピーカによって出力されてもよいし、電子デバイス、フォークリフトに関連付けられたディスプレイ、携帯電話、および／または、そのようなものに表示されてもよい。幾つかのケースにおいて、アラート１０８は、装備を上げる、装備を下げるといった整列を支援するための指示を含んでいてもよい。

【0025】

[0035]在庫管理システム１０２はまた、センサ１０６の視野内にあり、かつ、ＴＨＵおよびＴＨＵの内容に関連付けられた１つまたは複数の識別子に少なくとも部分的に基づいて、ＴＨＵおよび／またはＴＨＵの内容のアイデンティティも決定し得る。例えば、上述したように、ＴＨＵに隣接する棚および／またはフロアスペースは、ＴＨＵおよび／またはそれに関連付けられた内容を認識および分類するために、センサデータ１０４内において検出され、在庫管理システム１０２によって使用可能なライセンスプレートまたは他の識別子を含み得る。他のケースにおいて、在庫管理システム１０２は、ＴＨＵおよび／または個々のパッケージ／内容の識別子を特定かつ追跡し得る。理解を助ける例として、ＴＨＵおよび／または個々のパッケージは、バーコード、ＱＲコード（登録商標）、または、センサデータ１０４において検出および／またはセンサデータ１０４から抽出され得る他の識別子を含み得る。幾つかのケースにおいて、識別子は、例えば、ＲＦＩＤタグ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、低エネルギー（ＢＬＥ）信号、または、その他の無線通信技術の形態として電気的であり得る。

【0026】

[0036]識別に応じて、在庫管理システム１０２は、ＴＨＵが期待される資産であるかを決定し得、そうでない場合には、センサ１０６に関連付けられた車両および／またはフォークリフトのオペレータに追加のアラート１０８を送信し得る。例えば、識別子が期待される識別子と一致しない場合、在庫管理システム１０２は、再度、スピーカに可聴アラート１０８をオペレータに出力させ得る。他の例において、在庫管理システム１０２は、オペレータに関連付けられたスマートフォンおよび／またはフォークリフトに関連付けられたディスプレイのような電子デバイス上に可視アラート１０８を表示させ得る。追加のアラート１０８はまた、オペレータに関連付けられた電子デバイスに関連付けられた振動などの触覚であってもよい。このようにして、在庫管理システム１０２は、ＴＨＵおよびそれに関連付けられた在庫の誤配置を積極的に防止し得、それにより、従来の在庫システムに必要であった週次、月次、および／または、年次の監査の必要性を低減および／または排除する。

【0027】

[0037]在庫管理システム１０２は、ＴＨＵの目的地への配送に関連付けられたセンサデータ１０４を受信してもよい。幾つかのケースにおいて、在庫管理システム１０２は、ＴＨＵおよびそれに関連付けられた在庫が、配置後にフォークリフトがＴＨＵから後退するにつれてシーン内においてサイズが減少し得るため、センサデータ１０４が配送に関連付けられていると決定し得る。この時、在庫管理システム１０２は、ＴＨＵおよび／またはそれに関連付けられた在庫のアイデンティティを、再度、検証し得る。また、在庫管理システム１０２はまた、ＴＨＵが配置されたフロアエリアまたは追加の棚に関連付けられたライセンスプレートのような、センサデータ１０４内において表されるロケーション指標に基づいて、配送ロケーションを決定してもよい。

【0028】

[0038]幾つかのケースにおいて、在庫管理システム１０２はまた、センサデータ１０４に関連付けられた対応するフォークリフトによって収集および／または配送された在庫のユニット数または量を決定、または、そうでなければ推定し得る。例えば、在庫管理システム１０２は、個々のパッケージ、ユニット、またはアイテム、および／または、関連する識別子を識別するために、センサデータをセグメント化してもよい。そして、在庫管理システム１０２は、個々のユニットのサイズ、ＴＨＵの既知のサイズ（例えば、長さおよび／または幅）、ＴＨＵのタイプ、棚に関連付けられた高さ、ＴＨＵに関連付けられたユニットなどに基づいて、ユニット数を推定し得る。

【0029】

[0039]幾つかのケースにおいて、在庫管理システムはまた、施設にわたって貼り付けられた１または複数のセンサからセンサデータ１１０を受信し得る。例えば、センサ１１２は、棚の通路に沿って、様々な天井ロケーション（フロアスペース、処理エリア、コンベアベルト、または他のワークスペースの上など）に、タワーまたは取り付け位置（ベイドア、フロアスペース、または他のオープンスペースに沿ってなど）に貼り付けられてもよい。具体例において、センサ１１２は、複数の車両ルーティングを支援するためにコーナーに配置されてよい。例えば、在庫管理システム１０２は、コーナーに関連付けられたセンサデータ１１０を受信し得、２台の対向車両が接近していることを決定し得る。在庫管理システム１０２は、どちらか一方または両方の車両に、および／または、どちらか一方または両方の車両のオペレータに、事故などを防止するために、どちらの車両を停止させ、かつ、どちらの車両を進行させるべきかの指示を伴う（制御信号のような）アラート１０８を送信し得る。幾つかの例において、在庫管理システム１０２は、個々のユニットおよび／またはＴＨＵに関連付けられたロケーション、サイズ、在庫数などを決定するために、センサシステム１０６および１１２のような複数のセンサからのセンサデータ１０４および／またはセンサデータ１１０を集約してもよい。

【0030】

[0040]幾つかの実装において、在庫管理システム１０２は、オペレータおよび／または施設スタッフが着用するヘルメット、ベスト、または他のセンサ１１２からセンサデータ１１０を受信してもよい。例えば、幾つかのケースにおいて、在庫は、ビン、バケツ、または他の容器に保管されることがある。このような場合、ビンの内容物は、蓋、カバー、他のビン、他のＴＨＵ、棚などによってセンサの視野からしばしば妨げられる。スタッフベースセンサ１１２からのセンサデータ１１０を取り入れることにより、在庫管理システム１０２は、アクセスイベント時のビンに関する在庫数、ピック、および配置を決定し得る。図示された例として、オペレータがビンを開けてユニットを取り出す場合、身体または装着型センサ１１２は、ビンの内容物だけでなく、ピックを表現するセンサデータ１１０をキャプチャし得る。在庫管理システム１０２は、センサデータ１１０を利用して、ビンに関連付けられた在庫数を更新し得る（例えば、ピッキングされたアイテムを差し引く、および／または、ビンの内容物に関連付けられたデータを処理して残りのユニット数を推定する）。

【0031】

[0041]幾つかのケースにおいて、在庫管理システム１０２は、センサデータ１０４および／または１１０を利用して、施設オペレータ１１６、および／または、在庫の買い手、所有者、売り手といったサードパーティー１１８のためのレポート１１４を生成してもよい。幾つかのケースにおいて、レポート１１４は、マニュアル監査に代替または追加して使用され得る。例えば、レポート１１４は、在庫数、ロケーション、在庫に関連付けられた処理データ（例えば、包装、配置、ピッキング、収納、補充、ステッカリング、ラベリング、再ラベリング、処理、アイテムハンドリング、パレットビルド、積み込み（loading）、積み降ろし（unloading）など）、および、その他の情報を含み得る。

【0032】

[0042]本例において、センサデータ１０４、センサデータ１１０、アラート１０８、および、レポート１１４、並びに、他のデータは、一般に１２０～１２６によって示されるネットワークを使用して、様々なシステム間において伝送され得る。ネットワーク１２０～１２６は、１つまたは複数のシステム間の機能を促進するあらゆるタイプのネットワークであってよく、１つまたは複数のセルラーネットワーク、無線、ＷｉＦｉネットワーク、短距離または近距離ネットワーク、赤外線信号、ローカルエリアネットワーク、ワイドエリアネットワーク、インターネットなどを含み得る。本例において、個々のネットワーク１２０～１２６は、別個のネットワークとして示されているが、２つ以上のネットワークが組み合わされてもよいし、同一であってもよいことが理解されるべきである。

【0033】

[0043]図２～図４は、本明細書において論じる在庫管理システムに関連付けられた例示的なプロセスを示すフロー図である。プロセスは、論理フロー図におけるブロックの集合として図示され、これらは、動作のシーケンスを表し、その一部または全部は、ハードウェア、ソフトウェア、またはそれらの組み合わせにおいて実装され得る。ソフトウェアの文脈において、ブロックは、１つまたは複数のコンピュータ可読媒体に格納されたコンピュータ実行可能な命令を表し、この命令が１つまたは複数のプロセッサによって実行されると、前述の動作が実行される。一般に、コンピュータ実行可能な命令は、特定の機能を実行する、または特定の抽象データタイプを実装するルーチン、プログラム、オブジェクト、コンポーネント、暗号化、解読、圧縮、記録、データ構造などを含む。

【0034】

[0044]動作が説明される順序は、限定として解釈されるべきではない。説明されたブロックのあらゆる数をあらゆる順序で、および／または、並列に組み合わせて、プロセスまたは代替プロセスを実行することが可能であり、ブロックのすべてが実行される必要はない。議論の目的のために、本明細書におけるプロセスは、本明細書の例において説明されるフレームワーク、アーキテクチャおよび環境を参照して説明されるが、プロセスは、多種多様な他のフレームワーク、アーキテクチャまたは環境において実行され得る。

【0035】

[0045]図２は、幾つかの実装による、ピックまたは収集イベントに関連付けられた例示的なプロセス２００を示すフロー図である。本明細書において論じられるように、在庫システムは、フォークリフトのような車両のオペレータに安全アラートを提供するだけでなく、在庫追跡を支援するように構成され得る。

【0036】

[0046]２０２において、在庫管理システムは、車両の装備に関連付けられたセンサデータを受信し得る。例えば、センサデータは、フォークリフトの装備に対応する視野を有するセンサシステムから受信され得る。幾つかのケースにおいて、センサシステムは、装備と共に昇降するように構成され得、かつ、フォークリフトから独立した充電可能な電源を含み得る。幾つかのケースにおいて、再充電可能電源は、フォークリフトがドッキングされているとき、梱包されているとき、または、そうでなければ使用されていないときに、ワイヤレス充電または有線充電のシステムのために構成されてもよい。センサデータは、ＴＨＵおよび関連する内容物を含む視野に関連付けられた画像データを含み得る。

【0037】

[0047]２０４において、在庫管理システムは、センサデータに少なくとも部分的に基づいて、ピックアップイベントが進行中であることを決定し得る。例えば、在庫管理システムは、ＴＨＵ、棚、および／または、ＴＨＵの内容物が、連続するフレームにおけるシーン内のオブジェクトの相対位置に基づいて、センサデータまたは進行方向を表すシーン内においてサイズが増加していることを決定し得る。他のケースにおいて、フォークリフトのオペレータは、関連する電子デバイスを介するなどして、ピックアップイベントが進行中であることを示すユーザ入力を提供し得る。

【0038】

[0048]２０６において、在庫管理システムは、装備とＴＨＵとの間のアライメントを決定し得る。例えば、在庫管理システムは、ＴＨＵの開口部および装備の推定軌道を検出してアライメントを決定し得る。幾つかのケースにおいて、在庫管理システムは、開口部に関連付けられた境界ボックスを生成し、かつ、装備のアライメントまたは推定位置が境界ボックスの閾値内に入るかどうかを決定し得る。

【0039】

[0049]２０８において、在庫管理システムは、アライメントが許容可能であるか（例えば、閾値内であるか）を決定し得る。アライメントが許容できない場合、プロセス２００は２１０に進む。２１０において、在庫管理システムは、装備に関連付けられた車両のオペレータのためのアラートを生成し得る。例えば、アラートは、スピーカによって出力されてもよいし、電子デバイスに表示されてもよいし、および／または、フォークリフトに関連付けられたディスプレイに表示されてもよい。幾つかのケースにおいて、アラートは、装備を上げる、装備を下げるなどといった、整列を支援するための指示を含み得る。そして、プロセス２００は２０６に戻り、装備とＴＨＵとの間のアライメントを再決定する。

【0040】

[0050]一方、アライメントが許容可能である場合、プロセス２００は２１２に進む。２１２において、在庫管理システムは、ＴＨＵおよび／またはＴＨＵに関連付けられた１つまたは複数の資産のアイデンティティを決定し得る。例えば、在庫管理システムは、ＴＨＵおよび／または資産のアイデンティティを決定するために、センサデータから識別子を分析および抽出し得る。

【0041】

[0051]２１４において、在庫管理システムは、オブジェクト追跡を開始し得る。例えば、在庫管理システムは、ＴＨＵおよび／または識別された資産を追跡し得る。幾つかのケースにおいて、ＴＨＵが装備と係合しているときに、車載センサシステムの視野が妨げられることがある。これらのケースにおいて、在庫管理システムは、上述したように、施設に固定ロケーションに配置された他のセンサからのセンサデータに少なくとも部分的に基づいて、フォークリフト、ＴＨＵおよび／または資産の位置を追跡し得る。

【0042】

[0052]２１６において、在庫管理システムは、ＴＨＵおよび／または資産の配送先への配送を決定し得る。例えば、フォークリフトは、ＴＨＵをフロアロケーション、処理ロケーション（コンベアベルト、作業領域、組み立て領域、積み込みまたは積み降ろし領域など）に配送し得る。幾つかのケースにおいて、在庫管理システムは、受信したセンサデータを処理して、配送先に関連付けられたライセンスプレートを決定し得る。在庫管理システムは、車載センサシステムからのセンサデータを使用して、ＴＨＵが除去または解放される際に、ＴＨＵおよび／または資産のアイデンティティを確認し得る。

【0043】

[0053]２１８において、在庫管理システムは、ＴＨＵ、および／または、１つまたは複数の資産に関連付けられたロケーションを更新し得る。在庫管理システムはまた、施設オペレータ、管理者などのためのレポートまたは配送アラートを生成してもよい。

【0044】

[0054]図３は、幾つかの実装による、配送イベントに関連付けられた例示的なプロセス３００を示すフロー図である。本明細書において説明されるように、在庫システムは、フォークリフトなどの車両のオペレータに安全アラートを提供するだけでなく、在庫追跡を支援するように構成され得る。

【0045】

[0055]３０２において、在庫管理システムは、車両の装備に関連付けられたセンサデータを受信し得る。例えば、センサデータは、フォークリフトの装備に対応する視野を有するセンサシステムから受信され得る。センサデータは、ＴＨＵおよび関連する内容物を含む視野に関連付けられた画像データを含み得る。

【0046】

[0056]３０４において、在庫管理システムは、センサデータに少なくとも部分的に基づいて、配送イベントが進行中であることを決定し得る。例えば、在庫管理システムは、連続するフレーム内のシーンにおけるオブジェクトの相対的な位置に基づいて、ＴＨＵ、棚、および／または、ＴＨＵの内容物が、センサデータを表現するシーン内においてサイズが小さくなっていること、または、ＴＨＵから離れる方向を決定し得る。他のケースにおいて、フォークリフトのオペレータは、関連付けられた電子デバイスを介してのように、ピックアップイベントが進行中であることを示すユーザ入力を提供し得る。

【0047】

[0057]３０６において、在庫管理システムは、目的地に関連付けられたロケーションを決定し得る。例えば、在庫管理システムは、受信されたセンサデータを処理して、目的地に関連付けられたライセンスプレートを決定し得る。

【0048】

[0058]３０８において、在庫管理システムは、車載センサシステムからのセンサデータを使用して、ＴＨＵが除去される、または、装備から解放される際に、ＴＨＵおよび／または資産のアイデンティティを確認し得る。

【0049】

[0059]３１０において、在庫管理システムは、パッケージの目的地への配送を確認し得る。例えば、在庫管理システムは、ＴＨＵがもはや装備と係合しておらず、かつ、検出されたロケーションが期待される配送ロケーションと一致する（例えば、ＴＨＵが正しいロケーションに配送された）ことをセンサデータにおいて検出することに基づいて、配送を確認し得る。幾つかのケースにおいて、検出されたロケーションが期待される配送ロケーションと一致しない場合、在庫管理システムは、配送が誤っていたことを車両オペレータに通知するためのアラートを生成し得、それによって、在庫が配送時に誤配置されることを防止する。

【0050】

[0060]３１２において、在庫管理システムは、ＴＨＵおよび／または資産に関連付けられたロケーションを更新し得る。例えば、在庫管理システムにおいて、施設内の資産の数および／またはロケーションを記憶し得る。幾つかのケースにおいて、在庫管理システムは、更新されたロケーションについて施設オペレータ、管理者などに通知するレポートまたはアラートを生成し得る。

【0051】

[0061]図４は、幾つかの実装による、施設内のルーティング車両に関連付けられた例示的なプロセス４００を示すフロー図である。例えば、多くの場合、複数のフォークリフトが施設内において動作している。フォークリフトオペレータは、典型的には最大収納容量に利用される高いラックまたは棚または経路断面のために、および／または、装備と係合するＴＨＵの存在のために、視認性がしばしば制限される。この例において、在庫管理システムは、施設内のフォークリフト間、個々人の間、および／または、他の構造物の間の偶発的な衝突を防ぐために、フォークリフトのルーティングを支援し得る。

【0052】

[0062]４０２において、在庫管理システムは、１つまたは複数のセンサシステムによってキャプチャされたセンサデータ内においてなど、第１の車両を検出し得る。センサシステムは、固定ロケーション、個々の車両、および／または、個々のオペレータに関連付けられ得る。

【0053】

[0063]４０４において、在庫管理システムは、第１の車両に関連付けられた第１の軌道を決定し得る。例えば、在庫管理システムは、車両の現在位置、および速度、進行方向などといった検出された特性に基づいて、並びに、目的地のロケーション、現在の負荷などといった車両についての既知の情報に基づいて、軌道を決定し得る。

【0054】

[0064]４０６において、在庫管理システムは、１つまたは複数のセンサシステムによってキャプチャされたセンサデータ内においてなど、第２の車両を検出し得、かつ、４０８において、在庫管理システムは、第１の車両に関連付けられた第１の軌道を決定し得る。例えば、在庫管理システムは、車両の現在の位置、および速度、進行方向などといった検出された特性に基づいて、並びに、目的地のロケーション、現在の負荷などといった車両に関する既知の情報に基づいて、軌道を再び決定し得る。

【0055】

[0065]４１０において、在庫管理システムは、第１の軌道および第２の軌道の交差、または第１の車両および第２の車両に関連付けられた他の潜在的な衝突イベントを決定し得る。例えば、在庫管理システムは、第１の軌道および第２の軌道に基づいて、両方の車両が同時にコーナーに到着し得ることを決定し得る。

【0056】

[0066]４１２において、在庫管理システムは、第１のアラートを第１の車両に送信し得、かつ、第２のアラートを第２の車両に送信し得る。上述したように、アラートは、停止、減速、経路変更などといった命令を含み得る。幾つかのケースにおいて、アラートは、車両のディスプレイ、またはオペレータに関連付けられた他の電子デバイスを介して、オペレータに提示され得る。他のケースにおいて、アラートは、可聴などであり得る。

【0057】

[0067]図５は、幾つかの実装による、本明細書において説明される技術を実装し得る例示的なセンサシステム５００である。センサシステム５００は、１つまたは複数の通信インタフェース５０２（通信デバイスおよび／またはモデムとも称される）、１つまたは複数のセンサ５０４、および、１つまたは複数のエミッタ５０６を含み得る。

【0058】

[0068]センサシステム５００は、システム５００と、図１から図４の在庫管理システムのような、１つまたは複数の他のローカルまたはリモートコンピューティングデバイスまたはリモートサービスとの間の通信を可能にする１つまたは複数の通信インタフェース５０２を含み得る。例えば、通信インタフェース５０２は、他の近接センサシステム、中央制御システム、または他の施設システムとの通信を促進することが可能である。通信インタフェース５０２は、ＩＥＥＥ８０２．１１規格によって定義された周波数を介するようなＷｉ－Ｆｉ（登録商標）ベースの通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）のような短距離無線周波数、セルラー通信（例えば、２Ｇ、３Ｇ、４Ｇ、４Ｇ ＬＴＥ、５Ｇなど）、衛星通信、専用狭域通信（ＤＳＲＣ）、または、個々のコンピューティングデバイスが他のコンピューティングデバイスとインタフェースすることを可能にするあらゆる適切な有線または無線通信プロトコルを可能にし得る。

【0059】

[0069]１つまたは複数のセンサ５０４は、車両、シャーシ、コンテナ、および／または、コンテナの内容物の外部および／または内部に関連付けられたセンサデータ５２６をキャプチャするように構成され得る。少なくとも幾つかの例において、センサ５０４は、熱センサ、飛行時間（time-of-flight）センサ、ロケーションセンサ、ＬＩＤＡＲセンサ、ＳＷＩＲセンサ、レーダセンサ、ソナーセンサ、赤外線センサ、カメラ（例えば、ＲＧＢ、ＩＲ、強度、深度など））、ミュオンセンサ、マイクロフォンセンサ、環境センサ（例えば、温度センサ、湿度センサ、光センサ、圧力センサなど）などを含み得る。幾つかの例において、センサ５０４は、各タイプのセンサの複数のインスタンスを含み得る。例えば、カメラセンサは、様々なロケーションに配置された複数のカメラを含み得る。

【0060】

[0070]センサシステム５００はまた、光および／または音を発するための１つまたは複数のエミッタ５０６を含み得る。限定ではなく例として、この例におけるエミッタは、光、照明器、レーザ、光アレイのようなパターン、オーディオエミッタなどを含む。

【0061】

[0071]センサシステム５００は、１つまたは複数のプロセッサ５０８、および、１つまたは複数のコンピュータ可読媒体５１０を含んでよい。プロセッサ５０８のそれぞれは、それ自体が１つまたは複数のプロセッサまたは処理コアを含み得る。コンピュータ可読媒体５１０は、メモリ／記憶装置を含むものとして図示される。コンピュータ可読媒体５１０は、揮発性媒体（ランダムアクセスメモリ（ＲＡＭ）のような）および／または不揮発性媒体（読み取り専用メモリ（ＲＯＭ）、フラッシュメモリ、光ディスク、磁気ディスクなどのような）を含み得る。コンピュータ可読媒体５１０は、リムーバブルメディア（例えば、フラッシュメモリ、リムーバブルハードドライブ、光ディスクなど）だけでなく、固定媒体（例えば、ＧＰＵ、ＮＰＵ、ＲＡＭ、ＲＯＭ、固定ハードドライブなど）を含み得る。コンピュータ可読媒体５１０は、以下においてさらに説明されるように、様々な他の手段において構成されてよい。

【0062】

[0072]命令、データ記憶などのような幾つかのモジュールは、コンピュータ可読媒体５１０内に記憶され得、プロセッサ５０８上において実行するように構成され得る。例えば、図示されるように、コンピュータ可読媒体５１０は、データキャプチャ命令５１２、データ抽出命令５１４、識別命令５１６、損傷検査命令５１８、イベント決定命令５２０、アライメント命令５２２、アラート命令５２４、並びに、オペレーティングシステムのような他の命令を記憶する。コンピュータ可読媒体５１０はまた、センサデータ５２６および機械学習モデル５２８並びに他のデータといった、データを記憶するように構成され得る。

【0063】

[0073]データキャプチャ命令５１２は、エミッタ５０６および／またはセンサシステム５０４を利用または起動して、ＴＨＵ、施設の領域および／または様々な在庫に関連付けられたセンサデータ５２６をキャプチャするように構成され得る。そして、キャプチャされたセンサデータ５２６は、本明細書において説明されるように、在庫管理システムに記憶、および／または、送信またはストリーミングされ得る。

【0064】

[0074]データ抽出命令５１４は、センサデータ５２６において表されるオブジェクトを抽出、セグメント化、分類するように構成され得る。例えば、データ抽出命令５１４は、ＴＨＵ上に存在するユニットのそれぞれ、並びに、ＴＨＵおよびセンサデータ５２６内の他のオブジェクトまたは特徴の開口部をセグメント化し、かつ、分類し得る。幾つかのケースにおいて、データ抽出命令５１４は、機械学習モデル５２８を利用して、抽出、セグメント化、分類などを実施し得る。

【0065】

[0075]識別命令５１６は、ＴＨＵのアイデンティティ、ＴＨＵに関連付けられた資産、施設の領域などを決定するように構成され得る。例えば、識別命令５１６は、上述したように、センサデータ５２６および／または抽出されたデータに関して１つまたは複数の機械学習モデル５２８を利用して、ＴＨＵのアイデンティティ、ロケーション、および／または、資産を決定し得る。

【0066】

[0076]損傷検査命令５１８は、センサデータ５２６を処理して、資産および／またはＴＨＵに関連付けられた損傷を識別するように構成され得る。例えば、損傷検査命令５１８は、機械学習モデルを使用して損傷を検出し得、そして、検出された損傷をあらゆる既知の損傷と比較して、ＴＨＵが移動中に損傷を受けたかを決定する。幾つかのケースにおいて、損傷検査命令５１８はまた、例えば、深刻度評価を使用して損傷を評価し得る。

【0067】

[0077]イベント決定命令５２０は、センサデータ５２６を処理して、ピックアップまたは配送イベントが処理中であるかどうかを決定するように構成され得、かつ、イベントタイプの決定に基づいてプロセッサ５０８に様々な動作を実施させるように構成され得る。例えば、プロセッサ５１０は、ピックアップイベントの発生において、アライメント命令５２４に関連付けられた動作を実施し得る。

【0068】

[0078]アライメント命令５２２は、センサデータ５２６を処理して、車両の装備がＴＨＵの開口部に対して正しく整列しているかを決定し、それによって、ＴＨＵの内容物との不注意な接触を防止するように構成され得る。このようにして、アライメント命令５２２は、施設内の在庫への損傷を減少させる、またはそうでなければ防止することを支援し得る。

【0069】

[0079]アラート命令５２４は、センサデータ５２６に応答して、またはデータ抽出命令５１４、識別命令５１６、損傷検査命令５１８、アライメント決定命令５２４、および／または、それらの組み合わせによって生成された信号に応答して、車両オペレータおよび／または施設オペレータにアラートする、またはそうでなければ通知するように構成され得る。例えば、アラート命令５２２は、ＴＨＵの開口部との装備のミスアライメントに応答して、命令が車両オペレータに提示されるようにさせ得る。

【0070】

[0080]図６は、幾つかの実装による、本明細書において説明される技術を実装し得る例示的な在庫管理システム６００である。在庫管理システム６００は、１つまたは複数の通信インタフェース６０２（通信デバイスおよび／またはモデムとも称される）を含み得る。１つまたは複数の通信インタフェース６０２は、システム６００と、図５のセンサシステムのような１つまたは複数の他のローカルまたはリモートコンピューティングデバイスまたはリモートサービスとの間の通信を可能にし得る。例えば、通信インタフェース６０２は、他の近接センサシステム、中央制御システム、または他の施設システムとの通信を促進することが可能である。通信インタフェース６０２は、ＩＥＥＥ８０２．１１規格によって定義された周波数を介するようなＷｉ－Ｆｉ（登録商標）ベースの通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの短距離無線周波数、セルラー通信（例えば、２Ｇ、３Ｇ、４Ｇ、４Ｇ ＬＴＥ、５Ｇなど）、衛星通信、専用狭域通信（ＤＳＲＣ）、またはそれぞれのコンピューティングデバイスが他のコンピューティングデバイスとインタフェースすることを可能にするあらゆる適切な有線または無線通信プロトコルを可能にし得る。

【0071】

[0081]在庫管理システム６００は、１つまたは複数のプロセッサ６１０、および、１つまたは複数のコンピュータ可読媒体６１２を含み得る。プロセッサ６１０のそれぞれは、それ自体が１つまたは複数のプロセッサまたは処理コアを含み得る。コンピュータ可読媒体６１２は、メモリ／記憶装置を含むものとして図示される。コンピュータ可読媒体６１２は、揮発性媒体（ランダムアクセスメモリ（ＲＡＭ）などのような）、および／または、不揮発性媒体（読み取り専用メモリ（ＲＯＭ）、フラッシュメモリ、光ディスク、磁気ディスクなどのような）を含み得る。コンピュータ可読媒体６１２は、リムーバブルメディア（例えば、フラッシュメモリ、リムーバブルハードドライブ、光ディスクなど）だけでなく、固定媒体（例えば、ＧＰＵ、ＮＰＵ、ＲＡＭ、ＲＯＭ、固定ハードドライブなど）を含み得る。コンピュータ可読媒体６１２は、以下においてさらに説明されるように、様々な他の手段において構成され得る。

【0072】

[0082]命令、データストアなどのような幾つかのモジュールは、コンピュータ可読媒体６１２内に記憶され得、かつ、プロセッサ６１０上で実行されるように構成され得る。例えば、図示されるように、コンピュータ可読媒体６１２は、イベント決定命令６１４、アライメント命令６１６、識別命令６１８、損傷検査命令６２０、在庫メトリック命令６２２、レポーティング命令６２４、ロケーション追跡命令６２６、アラート命令６２８、並びに、オペレーティングシステムなどの他の命令を記憶する。コンピュータ可読媒体６１２はまた、センサデータ６３０、機械学習モデル６３２、および、レポート６３４、並びに、他のデータといったデータを記憶するようにも構成され得る。

【0073】

[0083]イベント決定命令６１４は、センサデータ６３０を処理して、ピックアップまたは配送イベントが処理中であるかを決定し、かつ、イベントタイプの決定に基づいてプロセッサ６１０に様々な動作を実行させるように構成され得る。例えば、プロセッサ６１０は、ピックアップイベントの発生において、アライメント命令６１６に関連付けられた動作を実施し得る。

【0074】

[0084]アライメント命令６１６は、センサデータ６３０を処理して、車両の装備がＴＨＵの開口部と正しく整列しているかを決定し、それによってＴＨＵの内容物との不注意な接触を防止するように構成され得る。このようにして、アライメント命令６１６は、施設内の在庫への損傷を減少させる、またはそうでなければ防止することを支援し得る。

【0075】

[0085]識別命令６１８は、ＴＨＵのアイデンティティ、ＴＨＵに関連付けられた資産、施設の領域などを決定するように構成され得る。例えば、識別命令６１８は、上述したように、センサデータ６３０に関して１つまたは複数の機械学習モデル６３２を利用して、ＴＨＵのアイデンティティ、ロケーション、および／または、資産を決定し得る。

【0076】

[0086]損傷検査命令６２０は、センサデータ６３０を処理して、資産および／またはＴＨＵに関連付けられた損傷を識別するように構成され得る。例えば、損傷検査命令６３０は、機械学習モデルを使用して損傷を検出し得、そして、検出された損傷をあらゆる既知の損傷と比較して、ＴＨＵが移動中に損傷を受けたかを決定する。幾つかのケースにおいて、損傷検査命令６３０はまた、例えば、深刻度評価を使用して損傷を評価し得る。

【0077】

[0087]在庫メトリック命令６２２は、センサデータ６３０を処理して、在庫数、出荷されたユニット、受け取ったユニットなどに関連付けられた収支（balances）を更新するように構成され得る。

【0078】

[0088]レポーティング命令６２４は、在庫に関して施設オペレータシステムおよび／またはサードパーティシステムを更新するために、図１のレポート１１４のようなレポートを生成するように構成され得る。幾つかのケースにおいて、レポーティング命令６２４は、センサデータ６３０、アラートに関連付けられたデータ、車両動作に関連付けられたデータ、在庫メトリック命令６２２に関連付けられたデータ、ロケーションおよび追跡命令６２６に関連付けられたデータなどを含み得る。

【0079】

[0089]ロケーション追跡命令６２６は、施設のあらゆる在庫の位置および／またはロケーションを追跡するように構成され得る。ロケーション追跡命令６２６は、上述したように、資産がフォークリフトまたは人間に対して識別される、および／または、フォークリフトまたは人間によって移動されるごとに、ロケーションの位置を更新し得る。

【0080】

[0090]アラート命令６２８は、センサデータ６３０、識別命令６１８、損傷検査命令６２２、アライメント決定命令６１６、および／または、それらの組み合わせに応答して、車両オペレータおよび／または施設オペレータにアラートする、またはそうでなければ通知するように構成され得る。例えば、アラート命令６２８は、ＴＨＵの開口部との装備のミスアライメントに応答して、命令が車両オペレータに提示されるようにさせ得る。

【0081】

[0091]図７および図８は、幾つかの実装による、図１－図６のシステムに関連付けられた例示的な絵画図７００および８００である。本例において、センサシステム７０２は、車両７０６の装備７０４と視野を共有する。この例において、センサ７０２と通信するセンサ（ＥＤＧＥコンピューティングデバイス０のような）７０８は、在庫管理システムの動作を実施するか、または、センサデータを中央在庫管理システムまたはクラウドベースのサービスに送信（例えば、ストリーミング）し得る。この例において、システムは、車両７０６の決定された進行方向に基づいて、オペレータがＴＨＵ７１０をライセンスプレート７１２によって示されるロケーションにピックアップしていると決定し得る。

【0082】

[0092]図９および図１０は、いくつかの実装による、図１－図６のシステムに関連付けられた他の例示的な絵画図９００および１０００である。本例において、センサシステム９０２は、車両９０６の装備９０４と視野を共有する。この例において、センサ９０２と通信するセンサ（ＥＤＧＥコンピューティングデバイスのような）９０８は、在庫管理システムの動作を実施するか、または、センサデータを中央在庫管理システムまたはクラウドベースのサービスに送信（例えば、ストリーミング）し得る。この例において、システムは、車両９０６の決定された進行方向に基づいて、オペレータがＴＨＵ９１０をライセンスプレート９１２によって示されるロケーションに配送していると決定し得る。

【0083】

[0093]図１１は、幾つかの実装による、図１－図６のシステムに関連付けられた他の例示的な絵画図１１００である。例えば、この例において、システムは、一般に１１０２によって示される、処理の領域（area）または区域（region）に位置する、タワーなどに設置されたセンサシステムを含み得る。設置されたセンサシステム１１０２は、処理イベント（例えば、組み立て、再パッケージング、再ラベリング、再ステッカリング、故障、構築など）に関連付けられた追加のセンサデータをキャプチャし得る。本例において、一般に１１０４によって示される資産は、一般に１１０６によって示される施設従業員によって再ラベリングまたは再ステッカリングされている。したがって、本明細書において論じられる在庫システムは、設置されたセンサ１１０２からセンサデータを受信して、再ラベリングイベントの前に資産１１０４のアイデンティティを決定し得る。例えば、図示されるように、センサデータは、識別子１１０８の画像を含み得る。設置されたセンサ１１０２はまた、再ラベリングイベントおよび新しいラベルに関連付けられたセンサデータをキャプチャし得る。そして、在庫管理システムは、特定の資産１１０４の新しいラベルまたは識別子１１１０に基づいて、再ラベリングイベントおよび新しい識別子を検出し得る。そして、在庫管理システムは、資産１１０４に関連付けられた在庫レコードを新しい識別子またはアイデンティティによって更新し得る。このようにして、資産１１０４が処理されると、在庫管理システムは、正確かつ最新のレコードを維持し得る。幾つかのケースにおいて、センサ１１０４はまた、再ラベリングされた資産をＴＨＵにロードすることに関連付けられたセンサデータをキャプチャして、資産１１０４のロケーションをさらに追跡し得る。

【0084】

[0094]図１２は、幾つかの実装による、図１－図６のシステムに関連付けられた他の例示的な絵画図１２００である。本例において、センサデータに関連付けられたシーンが示される。この例において、在庫管理システムは、ＴＨＵ１２０６に関連付けられた位置１２０２および１２０４を検出し得、装備（図示せず）が適切に位置合わせされているかを決定し得る。在庫管理システムはまた、示されるように、センサデータおよび様々なユニットおよびＴＨＵの識別に基づいて、イベントのタイプ（例えば、収集または配送）を決定し得る。

【0085】

[0095]上記の説明は、記載された技術の例示的な実装を説明するが、他のアーキテクチャが、記載された機能を実装するために使用されてもよく、本開示の範囲内であることが意図される。さらに、主題は、構造的な特徴および／または方法的な動作に特有の言語で記載されているが、添付の特許請求の範囲において定義される主題は、必ずしも記載された特定の特徴または動作に限定されないことを理解すべきである。むしろ、特定の特徴および動作は、特許請求の範囲を実施する例示的な形態として開示される。

【0086】

例示節
[0096]Ａ．１つまたは複数のプロセッサと、前記１つまたは複数のプロセッサによって実行されると、前記１つまたは複数のプロセッサに、物理環境に関連付けられた第１のセンサデータを受信することと、前記第１のセンサデータに少なくとも部分的に基づいて、前記センサデータに関連付けられた第１のタイプのイベントを決定することと、前記第１のセンサデータに少なくとも部分的に基づいて、輸送ハンドリグユニットのアイデンティティを決定することと、前記第１のセンサデータに少なくとも部分的に基づいて、輸送ハンドリングユニットに関連付けられた第１のロケーションを決定することと、前記第１のセンサデータに少なくとも部分的に基づいて、装備と輸送ハンドリングユニットの開口との間のアライメントを決定することと、輸送ハンドリングユニットに関連付けられたレコードを更新することとを含む動作を実行させる命令を記憶する１つまたは複数の非一時的なコンピュータ可読媒体と、を備えるシステム。

【0087】

[0097]Ｂ．前記動作は、前記物理環境に関連付けられた第２のセンサデータを受信することと、前記第２のセンサデータに少なくとも部分的に基づいて、前記センサデータに関連付けられた第２のタイプのイベントを決定することであって、前記第２のタイプは前記第１のタイプとは異なることと、前記第２のセンサデータに少なくとも部分的に基づいて、前記輸送ハンドリングユニットのアイデンティティを確認することと、前記第２のセンサデータに少なくとも部分的に基づいて、前記輸送ハンドリングユニットに関連付けられた第２のロケーションを決定することと、前記第２のロケーションに少なくとも部分的に基づいて、前記輸送ハンドリングユニットに関連付けられたレコードを更新することと、をさらに含む、クレームＡに記載のシステム。

【0088】

[0098]Ｃ．前記動作は、前記輸送ハンドリングユニットに関連付けられた前記レコードに少なくとも部分的に基づいて、レポートを生成することと、前記レポートをオペレータに関連付けられたデバイスに送信することと、をさらに含む、クレームＡおよびＢに記載のシステム。

【0089】

[0099]Ｄ．前記動作は、前記アライメントが前記装備に関連付けられた衝突をもたらし得ることを決定することと、前記アライメントが前記衝突をもたらし得るとの決定に応答して、前記装備に関連付けられた車両のオペレータにアラートを送信することと、をさらに含む、クレームＡ－Ｃに記載のシステム。

【0090】

[00100]Ｅ．前記動作は、前記第２のロケーションが期待されるロケーションと一致しないことを決定することと、前記第２のロケーションが前記期待されるロケーションと一致しないとの決定に応答して、前記装備に関連付けられた車両のオペレータにアラートを送信することと、をさらに含む、クレームＡ－Ｅに記載のシステム。

【0091】

[00101]Ｆ．前記第１のロケーションを決定すること、または、前記第２のロケーションを決定することは、前記第１のセンサデータまたは前記第２のセンサデータにおいて１つまたは複数のライセンスプレートを検出することに少なくとも部分的に基づく、クレームＡ－Ｅに記載のシステム。

【0092】

[00102]Ｇ．前記輸送ハンドリングユニットの前記アイデンティティを決定することは、前記輸送ハンドリングユニットに関連付けられた少なくとも１つの資産の識別を決定することをさらに含む、クレームＡ－Ｆに記載のシステム。

【0093】

[00103]Ｈ．前記センサデータは、オペレータによって装着されたセンサシステムから受信される、クレームＡ－Ｇに記載のシステム。

【0094】

[00104]Ｉ．前記センサデータは、前記装備に関連付けられた視野を有するセンサシステムから受信される、クレームＡ－Ｇに記載のシステム。

【0095】

[00105]Ｊ．前記センサデータは、施設に対して固定されたロケーションにあるセンサシステムから受信される、クレームＡ－Ｇに記載のシステム。

【0096】

[00106]Ｋ．前記動作は、物理的な処理領域に関連付けられた第３のセンサデータを受信することと、前記第３のセンサデータに少なくとも部分的に基づいて、再ラベリングイベントが進行中であることを決定することと、前記第３のセンサデータに少なくとも部分的に基づいて、第１の識別子に基づいた資産のアイデンティティを決定することと、前記資産に関連付けられた第４のセンサデータを受信することと、前記第４のセンサデータに少なくとも部分的に基づいて、前記資産が再ラベリングされていることを決定することと、前記第４のセンサデータに少なくとも部分的に基づいて、第２の識別子に基づいた前記資産の新しいアイデンティティを決定することと、前記資産に関連付けられたレコードを更新することと、をさらに含む、クレームＡ－Ｊに記載のシステム。

【0097】

[00107]Ｌ．前記動作は、前記第３のセンサデータに少なくとも部分的に基づいて、第１のＴＨＵからの前記資産の積み降ろしを決定するステップと、前記第４のセンサデータに少なくとも部分的に基づいて、第２のＴＨＵからの前記資産の積み込みを決定することと、前記第２のＴＨＵのアイデンティティに少なくとも部分的に基づいて、前記資産に関連付けられた前記レコードを更新することと、をさらに備える、クレームＫに記載のシステム。

【0098】

[00108]上述した例示節は、１つの特定の実装に関して記載される一方で、本明細書の文脈において、例示節の内容は、方法、デバイス、システム、コンピュータ可読媒体、および／または、他の実装を介して実装可能であることも理解されるべきである。追加的に、何れかの例は、単独で、または、他の１つまたは複数の例の何れかと組み合わせて実装され得る。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【国際調査報告】