(58)【調査した分野】(Int.Cl.,DB名)
少なくとも第1のロボット装置と第2のロボット装置とを含む複数のロボット装置との通信のために動作可能な通信インターフェースであって、前記第1のロボット装置および前記第2のロボット装置は、各々が対応する物品識別子を有する複数の在庫物品を有する倉庫環境内に配備される、通信インターフェースと、
プロセッサと、
非一過性コンピュータ可読媒体に記憶されるプログラム命令であって、
第1のロボット装置が、前記複数の在庫物品から対象物品識別子を有する対象在庫物品を移送するための移送割り当てを有することを決定することと、
前記第2のロボット装置に対して、前記第1のロボット装置によって移送されている第1の在庫物品に対応する第1の物品識別子を確認する要求を送信することと、
前記第2のロボット装置の画像センサによって取り込まれたデータを受信することであって、前記第1のロボット装置および前記第2のロボット装置は、前記倉庫環境において別々に移動可能である、ことと、
前記第1のロボット装置に積み込まれた前記第1の在庫物品の前記第1の物品識別子を検出するために、前記受信されたデータを分析することと、
少なくとも前記第1の物品識別子と前記対象物品識別子との比較に基づいて、前記対象在庫物品が前記第1のロボット装置に積み込まれているか否かを判断することと、
前記対象在庫物品が前記第1のロボット装置に積み込まれているか否かについての判断に応答して動作を実行することと
を行うように前記プロセッサによって実行可能なプログラム命令と
を備える、倉庫管理システム。
【発明を実施するための形態】
【0010】
[0018] 本明細書において、方法、システム、および装置の例を説明する。本明細書に記載されている実施形態または特徴のいずれの例も、他の実施形態または特徴よりも好適である、または有利であると解釈すべきでない。本明細書に記載されている実施形態は、限定的なものではない。開示されているシステムおよび方法の特定の態様は、多種多様な異なる構成で配置され、組み合わされ得ることは容易に理解されるであろう。本明細書内では、これら全てが考慮されている。
【0011】
[0019] さらに、図面に示されている特定の配置は、限定的なものであると見なすべきではない。他の実施形態は、所与の図面に示されている各々の要素をそれより多いまたは少ない数で含み得ることは理解されたい。また、図示されている要素のいくつかは、組み合わされ得る、または除外され得る。さらに、一実施形態例は、図面に示されていない要素を含み得る。
I.概要
【0012】
[0020] 倉庫の通常または典型的な稼働の間、パレットおよび物品は、パレットジャッキのようなロボット装置によって、ある位置から別の位置へと日常的に移動される。本明細書内において、用語「パレットジャッキ」は、任意の利用可能なロボット装置の代用として使用され得、パレットジャッキのいずれの説明も、倉庫環境内で動作する1つまたは複数の他のタイプのロボット装置にも適用され得る。したがって、パレットジャッキの動作、機能、および操作は、パレタイズされた物体およびパレタイズされていない物体の両方との相互作用を含み得る。
【0013】
[0021] いくつかの倉庫システムにおいて、パレットジャッキは、本明細書に示されているように、物品またはパレットを識別するバーコードまたは他の識別子を読み取ることができるカメラまたはセンサを含み得る。しかしながら、場合によっては、識別子は、隠れている、誤って配置されている、またはそれ以外の形でパレットジャッキが読み取りにくい場合がある。これは、特に、パレットジャッキ自体が移送中の物品である場合に該当する。それは、本明細書に示されているパレットジャッキのカメラまたは他のセンサがパレットジャッキの環境のデータを取り込むために外側に向けられ得るためである。このように、パレットジャッキが運んでいる物品は、パレットジャッキのセンサの視野から外れている場合がある。さらに、ある位置から他の位置へ移動する間に、1つまたは複数の物品がパレットから落下する場合がある。その結果、所与のパレットジャッキがある位置から別の位置へ移送するために正確なパレットを決定する、またはパレットが正確な数の物品を含むかどうかを判断することが難しくなり得る。パレットジャッキが自律または半自律車両であり、人が物品およびパレットジャッキによって実行される動作の全てを見ることができるとは限らない環境において、上記の問題は大きな影響を及ぼし得る。さらに、場合によっては、倉庫内の所与のパレットの位置は、ロボット装置および/または集中管理システムによって記憶されているパレットの位置と異なる場合がある。このことは、パレットの意図していない動き、更新情報の誤り、パレットもしくはパレットの位置のラベルの誤り、または他のエラーが原因で生じ得る。その結果、倉庫の一定の割合の在庫が消失する、または誤った位置に配置される場合があり、そのために、物品を顧客に出荷するのが遅れ、また消失した物品または誤った位置に配置された物品を見つけるためのリソースが必要となり得る。本明細書に示されている実施形態例は、このような問題に対処するのを支援し得る。
【0014】
[0022] 倉庫の一例は、物品が顧客への出荷のために選択され、分類され、梱包されるフルフィルメント倉庫であり得る。物品は、顧客の需要、製品サイズ、重量、形状、または他の特性に基づいて、このプロセスの効率を上げるために、倉庫内に配置または整理され得る。物品は、段積みされ得るパレット上および/または上方に伸びる棚(例えば、多段棚)上に積まれ得るパレット上に保管され得る。さらに、各々の物品、パレット、および/または棚は、物品、パレット、および/または棚を識別するバーコードもしくはクイックレスポンス(QR)コードのような視覚的識別子を含み得る。
【0015】
[0023] コンピュータベースの倉庫管理システム(WMS)は、倉庫用に実装され得る。WMSは、物品、パレット、および棚、さらには倉庫内で動作する1つまたは複数のアクターに関する情報を記憶するためのデータベースを含み得る。例えば、WMSは、各々の物品、パレット、棚、および/またはアクターに関する情報を含み得る。この情報は、アクターが顧客の注文の履行のような1つまたは複数の機能を実行することができるように、アクターを連係させるのに使用され得る。さらに、この情報は、倉庫の在庫を構築および/または維持するのに使用され得る。
【0016】
[0024] 倉庫内で動作するアクターは、自律搬送車(AGV)のようなロボット装置を含み得る。AGVの例は、パレットジャッキ、フォークリフト車、トラックローダ/アンローダ、および他の装置を含み得る。各々の装置は、自律的または部分的に自律的であり得る。人間が操作する装置も可能である。さらに、各々の装置は、該装置が倉庫内を走行することができるように、カメラを有するビジョンシステムを含み得る。
A.多目的カメラ
【0017】
[0025] 有利には、ロボット装置の一例は、倉庫環境内に配備され得、走行および在庫管理の両方のために、既存のカメラシステムを使用し得る。特に、パレットジャッキは、パレットジャッキが環境を検知して倉庫内を走行するのに使用し得るステレオビジョンカメラシステム(ステレオカメラ対)が既に装備されている場合がある。ナビゲーション目的で取り込まれた画像データは、環境内のパレット、他のパレットジャッキもしくは装置、および他の物体の画像を含み得る。したがって、パレット上のバーコードは、画像データ内で検出され、倉庫内のパレットの位置を決定するために位置情報と組み合わされ得る。多数のパレットジャッキが倉庫内を動き回っているときに、WMSは、このようなパレットジャッキからの情報を組み合わせて、倉庫内のパレットの在庫管理を改善することができる。
【0018】
[0026] 一例では、倉庫内で動作するロボット装置は、自律パレットジャッキであり得る。自律パレットジャッキは、倉庫内で自律パレットジャッキを誘導するための誘導システムを含み得る。誘導システムは、カメラ、GPS受信機、および/または他の装置もしくはシステムを含み得る。カメラは、パレットジャッキ上の固定位置に取り付けられ得る、または回転され得る、もしくは二次元もしくは三次元に調整され得るように、例えば、ジンバルもしくは旋回機構上に取り付けられ得る。カメラは、自律フォークリフトの周囲に関する可視データを受信するように構成され得る。受信した可視データに基づいて、自律パレットジャッキは、倉庫内の自身の位置および向きを判断することができ、ある位置から別の位置まで移動しながら、進行途中の障害物を避けることができる。
【0019】
[0027] 誘導システムカメラは、誘導目的専用に構成され得る。例えば、カメラは、より正確な奥行き認識、より優れた位置および向きの測定、さらにより的確な物体回避を可能にし得る2つの光受信器(すなわち、ステレオカメラ)を含み得る。誘導システムカメラはさらに、物体が自律フォークリフトを妨害する可能性が高い地面に向かって下向きに角度調整され得る。
【0020】
[0028] いくつかの例では、自律フォークリフトは、誘導以外の他の目的のために誘導システムカメラを使用する場合がある。例えば、自律フォークリフトが物品、パレット、または棚の近くにあるとき、誘導システムカメラは、物品、パレット、または棚に対応するバーコードの画像を読み取ることができる。パレットに関連付けられたバーコードが読み取られると、倉庫内のパレットの位置が、バーコードを読み込んだ誘導システムカメラの位置に基づいて決定され得る。バーコード、パレットの位置、自律フォークリフトの位置、および/または他の情報は、WMSに送信され得、その後、WMSにおいて、パレットの予想位置と比較され得る。相違がある場合、WMSは、エージェントを出動させ、警告を発し/送信し、配置場所に誤りがあるパレットのリストにそのパレットを追加する、または別の行動を取ることによって、問題に対処し得る。
【0021】
[0029] いくつかの例では、誘導システムカメラは、見える各々の物品、パレット、および/または棚のバーコードを読み取ることができる。データは、倉庫内の物品、パレット、および棚の位置を継続的に確認するために、常にまたは定期的にWMSに送信され得る。さらに、いくつかの例は、倉庫環境内で動作する複数のロボット装置の誘導システムカメラを含み得、そのことにより、各々のロボット装置がWMSにデータを送信し、常にまたは定期的に在庫位置の確認が行われている。
【0022】
[0030] さらに別の例では、AGVの動きおよび/またはAGV上の誘導システムカメラの向きは、より多くの物品在庫データを取得するために、能動的に操縦され得る。例えば、誘導システムカメラは、(例えば、通路に沿って配置された棚の上の)AGVの上部および側面に配置された物品のバーコードの読み取りを試みるために、倉庫内を移動しながらAGVの上方および/または側面に向けて角度調整され得る。さらに、AGVおよび/またはカメラは、WMSに物品の最新の情報を提供するために、最近更新されていない物品に向けて操縦され得る。例えば、通路の棚の北側は、最近走査または確認が行われていない物品を含み得る。AGVがこの通路を進んでいくときに、WMS内の情報を更新するために、誘導カメラは、保管されている物品のバーコードを読み取るように棚の北側に向けて角度調整され得る。
【0023】
[0031] さらに別の例は、在庫更新の必要性とロボット装置の安全で正確なナビゲーションの必要性とのバランシングを含み得る。これは、誘導カメラを使用して物品を走査することによって取得され得る情報の値または重要度をロボット装置のナビゲーションの予想される精度低下と比較検討することを含み得る。AGV上の誘導カメラは、より高い棚に保管されている物品に関する情報を読み取るために、上方に角度調整され得る。しかし、カメラはすぐに地面上の障害物を捉えることができなくなる場合があるので、この情報は代償を伴う場合がある。この相反する関係は、特に、カメラを上方に角度調整することによって取得された物品情報が有用であり、障害物に衝突する可能性が低い場合には、有益であり得る。
【0024】
[0032] いくつかの実施形態では、倉庫内の物品、パレット、棚、およびロボット装置の位置に関するデータを収集するために、専用に設計されたロボット装置が使用され得る。専用に設計されたロボット装置は、見える物品、パレット、棚、および/またはロボット装置のバーコードを読み取るのに使用され得るスタンドアロン型カメラを含み得る。スタンドアロン型カメラは、広角レンズを有し得、および/またはバーコードがより正確かつ容易に読み取られ得るようにラスタライズする機能を含み得る。
B.複数のセンサの使用
【0025】
[0033] 物品およびパレットは、倉庫内の位置から位置へ移送され得る。一例では、自律パレットジャッキは、物品のパレットを第1の位置から第2の位置まで移動させる役割を果たし得る。この役割を果たすために、複数のステップが実行され得る。最初に、パレットジャッキは、移動させようとするパレットの位置を決定し得る。次に、パレットジャッキは、その位置まで進み、例えば、近くのバーコードを読み取り、探しているパレットを識別することによってパレットを見つけ出し得る。その後、パレットジャッキは、第1の位置から第2の位置までパレットを移送し得る。
【0026】
[0034] パレットジャッキがこの役割を果たそうとするときに、いくつかの問題が発生し得る。まず、パレットの位置が正しくない場合がある。これは、不正確な情報またはパレットが誤って配置されたことなどが原因であり得る。第二に、パレットを識別するバーコードが、隠れている、パレット上に誤って配置されている、またはそれ以外の形でパレットジャッキが読み取りにくい場合がある。例えば、パレットは、パレットジャッキが位置する通路の反対側のパレットの側面にバーコードが付けられた状態で棚上に配置される場合がある。第三に、第1の位置から第2の位置へ移動する間、1つまたは複数の物品がパレットから落下する場合がある。
【0027】
[0035] 上述の問題および他の問題を解決するために、システムの一例は、情報を収集し、倉庫管理システム(WMS)と、および/または互いに情報を共有する複数のパレットジャッキを利用することができる。場合によっては、パレットジャッキは、物品、パレット、および棚、ならびにパレットジャッキや倉庫内で動作する他のロボット装置に関する在庫情報を記憶するWMSに接続され得る。WMSはさらに、物品、パレット、棚、およびロボット装置の位置および他の特性の更新リストを維持するために、パレットジャッキ間を連係させることができる。他の例では、パレットジャッキは、物品、パレット、棚、および互いに関する情報を記憶および更新するために互いに通信するピアツーピア・ネットワークを形成する場合がある。
【0028】
[0036] 一例では、第1のパレットジャッキは、倉庫内のある位置から別の位置にパレットを運んでいる場合がある。倉庫はさらに、第2のパレットジャッキと、倉庫を管理するWMSとを含み得る。第1のパレットジャックがパレットを運んでいる間、第1のパレットジャッキがどのパレットを運んでいるのか、および/またはパレットの内容物を確認することができない場合がある。これは、第1のパレットジャッキのカメラの位置決めおよび視野が原因であり得る。第1のパレットジャッキは異なる視野を得るためにパレットを下に降ろすことができるが、別の手段を用いてパレットの同一性および/または内容物を確認することが有利であり得る。第1のパレットジャッキおよび/またはWMSは、第2のパレットジャッキに、パレットの同一性および/または内容物の確認を要求するメッセージを送信し得る。第2のパレットジャッキは、パレットをもっと良く見ることができるカメラを有する場合があり、パレットのバーコードを走査する、またはパレットの内容物を識別することができる場合がある。この情報は、その後、WMSおよび/または第1のパレットジャッキと共有され得る。このように、第2のパレットジャッキは第1のパレットジャッキのための「ミラー」としての機能を果たし得るので、第1のパレットジャッキは、運んでいるパレットに関して、第2のパレットジャッキを利用しなければ収集することができない情報を収集することができる。したがって、第1のパレットジャッキは、第2のパレットジャッキのリソースを利用することによって、第1のパレットジャッキ自身を「見る」ことができる場合がある。
【0029】
[0037] いくつかの例では、この「ミラーリング」は、第1のパレットジャッキからの明示的要求なしに実行され得る。複数のパレットジャッキを含む倉庫において、各々のパレットジャッキは、通常の操作または作業の実行の間に、1つまたは複数の他のパレットジャッキが擦れ違う、またはそれ以外の形で近接して進むときに、パレットジャッキの内容物を確認し得る。さらに、WMSは、1つまたは複数のパレットジャッキが擦れ違い、互いに対する確認を行うことができるように、これらのパレットジャッキの経路または位置を調整し得る。
【0030】
[0038] いくつかの例は、運んでいるパレットの重量を測定することができるパレットジャッキを含み得る。測定された重量は、第2のパレットジャッキが第1のパレットジャッキの内容物を確認するように第1のパレットジャッキが要求すべき指標として使用され得る。パレットの予想重量は、WMSによって記憶され得る。パレットジャッキは、実際の重量を決定するためにパレットの重量を測定し得る。予想重量と実際の重量との不一致が検出されると、パレットジャッキおよび/またはWMSは対応策を取ることができる。この対応策は、パレットおよび/またはパレットの内容物を確認するために第2のパレットジャッキを出動させることを含み得る。さらに、対応策は、1つまたは複数のカメラもしくは他の装置がパレットおよび/またはパレットの内容物を確認することができるように、パレットジャッキにパレットを所定の位置まで、または所定の経路に沿って移動させることを含み得る。
【0031】
[0039] 典型的な倉庫の操作の間、パレットおよび物品は、パレットジャッキのようなロボット装置によって、ある位置から別の位置へと日常的に移動される。本明細書内において、用語「パレットジャッキ」は、任意の利用可能なロボット装置の代用として使用され得、パレットジャッキのいずれの説明も、倉庫環境内で動作する1つまたは複数の他のタイプのロボット装置にも適用され得る。したがって、パレットジャッキの動作、機能、および操作は、パレタイズされた物体およびパレタイズされていない物体の両方との相互作用を含み得る。
II.環境例
【0032】
[0040] 添付図面に示されているさまざまな実施形態について、詳細に説明する。以下の詳細な説明において、本開示および記載されている実施形態を十分に理解することができるように、多くの具体的詳細を説明する。しかしながら、本開示は、これらの具体的詳細がなくても実施可能である。さらに、実施形態の態様を不必要に不明瞭にしないように、周知の方法、手順、構成要素、および回路は詳細に説明されていない。
【0033】
[0041] 実施形態例は、倉庫環境内に配備されたロボットフリートを含み得る。より具体的には、ボックス、パッケージ、または他のタイプの物体の自動処理を容易にするために、固定要素および移動要素の組み合わせが環境内に配備され得る。システム例は、例えば、保管コンテナまたは配送車両に対するボックスおよび/または他の物体の自動積み込みおよび/または荷降ろしを含み得る。いくつかの実施形態例では、ボックスまたは物体は、自動的に整理されて、パレット上に配置され得る。例の中では、トラックの積み込み/荷降ろしのプロセス、および/または倉庫内の保管をより容易にするためにおよび/または倉庫への往復移送のために物体からパレットを形成するプロセスを自動化することは、産業上および営業上の多くの利点をもたらし得る。
【0034】
[0042] さまざまな実施形態によれば、倉庫における配送用トラックの積み込みならびに/もしくは荷降ろしのプロセスおよび/またはパレットを形成するプロセスの自動化は、物体を移動させるまたは他の機能を実行するための1つまたは複数の異なるタイプのロボット装置の配備を含み得る。いくつかの実施形態では、ロボット装置のいくつかは、車輪付き台座、ホロノミック台座(例えば、任意の方向に移動することができる台座)、または天井、壁、もしくは床のレールと結合することによって移動可能になり得る。別の実施形態では、ロボット装置のいくつかは、さらに環境内で固定され得る。例えば、ロボットマニピュレータは、倉庫内の異なる選択位置にある高い台座に位置決めされ得る。
【0035】
[0043] 本明細書で使用される場合、用語「倉庫」は、ボックスまたは物体がロボット装置によって操作され、処理され、および/または保管され得る物理的環境の意味を示し得る。いくつかの例では、倉庫は、物体のパレットを保管するためのパレットラックまたは棚のような特定の固定要素をさらに含み得る1つの物理的建造物または構造物であり得る。他の例では、いくつかの固定要素は、物体の処理の前または処理中に、環境内に設置され得る、またはそれ以外の方法で位置決めされ得る。他の例では、倉庫は、複数の別個の物理的構造物を含み得、および/または物理的構造物によって覆われない物理的空間をさらに含み得る。
【0036】
[0044] さらに、用語「ボックス」は、パレット上に配置され得る、またはトラックもしくはコンテナに積み込まれる、もしくはトラックもしくはコンテナから降ろされ得る任意の物体もしくは物品の意味を示し得る。例えば、「ボックス」は、長方形固体以外に、缶、ドラム、タイヤ、または任意の他の「単純な」形状の物品の意味を示し得る。さらに、「ボックス」は、移送または保管のために1つまたは複数の物品を収容することができるトートボックス、収納容器、または他のタイプのコンテナの意味を示し得る。例えば、プラスチック保管トートボックス、ガラス繊維トレイ、またはスチール容器は、倉庫内のロボットによって移動され得る、またはそれ以外の方法で操作され得る。本明細書内の例はさらに、ボックス以外の物体およびさまざまなサイズや形状の物体にも適用され得る。さらに、「積み込み」および「荷降ろし」はそれぞれ、お互いの意味を含んでいる可能性がある。例えば、一例がトラックに積み込む方法を説明する場合、実質的に同じ方法がトラックの荷降ろしにも使用され得ることを理解されたい。本明細書内で使用される場合、「パレタイズ」は、ボックスをパレットに積み込んで段積みする、またはパレット上のボックスがパレット上に保管され得る、もしくは移送され得るようにボックスを配置することを意味する。さらに、「パレタイズ」および「デパレタイズ」はそれぞれ、お互いの意味を含んでいる可能性がある。
【0037】
[0045] 例の中では、異種の倉庫ロボットフリートが多くの異なる用途で使用され得る。1つの可能な用途は、注文履行(例えば、個々の顧客に対する)を含み、この場合、個々の注文を履行するために、ケースは開封され、ケースからの個々の物品がボックス内に梱包され得る。別の可能な用途は、分配(例えば、店舗または他の倉庫へ)を含み、この場合、店舗に出荷する製品の異なるタイプの群を含む混合パレットが構成され得る。さらに別の可能な用途は、クロスドッキングを含み、この場合、何も保管せずに出荷コンテナ間での移送を含み得る(例えば、物品は、4台の40フィートトレーラから移動され、3台のより軽量のトラクタトレーラに積み込まれ得、さらにパレタイズされ得る)。多くの他の用途も可能である。
【0038】
[0046] 図面を参照すると、
図1Aは、一実施形態例の倉庫環境内のロボットフリートを示している。より具体的には、異なるタイプのロボット装置は、倉庫環境内の物品、物体、またはボックスの処理に関する作業を実行するために協働するように制御され得る異種のロボットフリート100を形成し得る。例示目的で、異なるロボット装置のタイプおよび数の特定の例がここに示されているが、ロボットフリート100は、それより多いまたは少ないロボット装置を採用してもよく、ここに示されている特定のタイプのロボット装置を除外してもよく、さらに図示されていない他のタイプのロボット装置を含んでもよい。さらに、ここでは、特定のタイプの固定要素および構造物を有する倉庫環境が示されているが、他の例では固定要素および構造物の他のタイプ、数、および配置が使用される場合もある。
【0039】
[0047] ロボットフリート100内に示されているロボット装置のタイプの一例は、自律搬送車(AGV)112であり、これは、個々のパッケージ、ケース、またはトートボックスを倉庫内のある位置から別の位置まで移送する機能を果たし得る輪付きの比較的小型の移動装置であり得る。ロボット装置のタイプの別の例は、自律フォークリフト車114、つまり、(例えば、パレットを保管用のラック上に配置するために)ボックスのパレットを移送し、および/またはボックスのパレットを持ち上げるのに使用され得るフォークリフトを備えた移動装置である。ロボット装置のタイプのさらに別の例は、ロボットトラックローダ/アンローダ116、つまり、ボックスをトラックもしくは他の車両への積み込むおよび/または降ろすのを容易にするためにトラックロボットマニピュレータおよび光学センサのような他の構成要素を備えた移動装置である。例えば、ロボットトラックアンローダ116は、倉庫に隣接して駐車され得るボックスを配送用トラック118に積み込むのに使用され得る。いくつかの例では、さらに配送用トラック118の移動(例えば、別の倉庫にパッケージを配送するために)も、フリート内のロボット装置と連係され得る。
【0040】
[0048] ここに示されている装置以外の他のタイプの移動装置も、同様に、または代わりに含まれる場合がある。いくつかの例では、1つまたは複数のロボット装置は、車輪以外の地上輸送の異なる形態を使用する場合がある。例えば、1つまたは複数のロボット装置は、飛行式(例えば、クワッドコプタ)であり得、物体の移動または環境のセンサデータの収集のような作業に使用され得る。
【0041】
[0049] さらに別の例では、ロボットフリート100はさらに、倉庫内に位置決めされ得るさまざまな固定要素を含み得る。いくつかの例では、1つまたは複数の固定ロボット装置は、ボックスを移動させる、またはそれ以外の方法で処理するのに使用され得る。例えば、ペデスタルロボット122は、倉庫内の地上に固定されたペデスタル上で上昇されるロボットアームを含み得る。ペデスタルロボット122は、他のロボット間でボックスを分配する、および/またはボックスのパレットの段積みおよび段ばらしを行うように制御され得る。例えば、ペデスタルロボット122は、近くのパレット140からボックスをピッキングして移動させ、倉庫内の他の位置まで移送するためにボックスを個々のAGV112に分配することができる。
【0042】
[0050] 別の例では、ロボットフリート100は、倉庫空間内に位置決めされる追加の固定要素を使用し得る。例えば、高密度保管ラック124は、倉庫内のパレットおよび/または物体を保管するのに使用され得る。保管ラック124は、自律フォークリフト車114のようなフリート内の1つまたは複数のロボット装置との相互作用を容易にするように設計され、位置決めされ得る。さらに別の例では、特定の地上空間が選択されて、同様にまたは代わりにパレットまたはボックスを保管するのに使用され得る。例えば、パレット130は、パレットを1つまたは複数のロボット装置によってピッキングする、分配する、またはそれ以外の方法で処理することができるように、一定期間、倉庫環境内の選択された位置に位置決めされ得る。
【0043】
[0051]
図1Bは、一実施形態例に従うロボット倉庫フリート100の構成要素を示す機能ブロック図である。ロボットフリート100は、AGV112、自律フォークリフト車114、ロボットトラックローダ/アンローダ116、および配送用トラック118のような1つまたは複数のさまざまな移動要素を含み得る。ロボットフリート100はさらに、ペデスタルロボット122、密度保管コンテナ124、およびバッテリ交換/充電ステーション126のような倉庫または他の環境内に位置決めされる1つまたは複数の固定要素を含み得る。さらに別の例では、
図1Bに示されている構成要素の異なる数およびタイプの要素がフリート内に含まれ得、特定のタイプが除外され得、追加の機能的要素および/または物理的要素が
図1Aおよび
図1Bによって示されている例にさらに追加され得る。別個の構成要素の動作を連係させるために、遠隔のクラウドベースサーバシステムのような倉庫管理システム150は、システムコンポーネントのいくつかまたは全ておよび/または個々の構成要素の別個のローカル制御システムと、(例えば、無線通信を介して)通信することができる。
【0044】
[0052] 例の中では、特定の固定要素120は、ロボットフリート100の残りの要素の配備の前に設置され得る。いくつかの例では、ペデスタルロボット122またはバッテリ交換ステーション126のような特定の固定要素120の配置を決定する前の空間に位置付けるために、1つまたは複数の移動ロボットが導入され得る。マップ情報が利用可能になると、システムは、(例えば、シミュレーションを実行することによって)利用可能な空間内の固定要素のレイアウト方法を決定することができる。場合によっては、レイアウトは、必要とされる固定要素の数および/または固定要素が使用する空間の量を最小限に抑えるように選択され得る。固定要素120および移動要素110は、別個の段階で、または同時に配備され得る。別の例では、特定の移動要素110は、一定期間の間のみ、または特定の作業を完了させるためにのみ導入され得る。
【0045】
[0053] いくつかの例では、倉庫管理システム150は、フリート100内の異なるロボット装置に作業を割り当てる中央プランニングシステムを含み得る。中央プランニングシステムは、どの装置がどの作業をどの時点で完了させるかを決定するために、さまざまなスケジューリングアルゴリズムを採用し得る。例えば、個々のロボットが異なる作業を担当するオークションタイプのシステムが使用され得、中央プランニングシステムは、総経費を最小限に抑えるために、ロボットに作業を割り当てることができる。別の例では、中央プランニングシステムは、時間、空間、またはエネルギー利用のような1つまたは複数の異なるリソースにわたって最適化することができる。さらに別の例では、プランニングまたはスケジューリングシステムはさらに、ボックスのピッキング、梱包、または保管の形状および物理特性の特定の態様を組み込むことができる。
【0046】
[0054] さらに、プランニング制御は、個々のシステムコンポーネント全体に分散され得る。例えば、倉庫管理システム150は、グローバルなシステムプランに従って命令を出すことができ、個々のシステムコンポーネントはさらに、別個のローカルプランに従って動作することができる。さらに、異なるレベルの詳細がグローバルプランに含まれ得、他の態様は、ローカルでプランニングするために個々のロボット装置に任される。例えば、移動ロボット装置は、グローバルプランナによって対象目標物を割り当てられ得るが、それらの対象目標物に到達するまでの全経路は、ローカルでプランニングされ、または修正され得る。
【0047】
[0055] 別の例では、中央プランニングシステムは、ロボットフリート100内のロボットの機能を連係させるために個々のロボット装置のローカルビジョンと併用して使用され得る。例えば、中央プランニングシステムは、到達する必要がある場所の比較的近くにロボットを行かせるのに使用され得る。しかしながら、ロボットがレールに固定されるか、またはロボットの位置を精密に制御するために他の測定要素が使用されない限り、中央プランニングシステムがミリメートルの精度でロボットにコマンドを出すのは困難であり得る。したがって、個々のロボット装置のローカルビジョンおよびプランニングは、異なるロボット装置間の融通性を可能にするのに使用され得る。対象位置の近くにロボットを行かせるために、汎用プランナが使用され得、その位置でロボットのローカルビジョンが引き継ぐことができる。いくつかの例では、ほとんどのロボット機能は、対象位置の比較的近くにロボットを行かせるための位置制御機能であり得、その後、ローカル制御に必要な場合に、ビジョンおよびハンドシェイクが使用され得る。
【0048】
[0056] さらに別の例では、視覚的ハンドシェイクは、バーコード、QRコード、拡張現実タグ(ARタグ)、または他の特性によって2つのロボットが互いを識別し、フリート100内で協調操作を実行することを可能にし得る。別の例では、物品(例えば、出荷されるパッケージ)は、同様にまたは代わりに視覚的タグが付けられ得、ローカルビジョン制御を使用して物品における操作を実行するためにロボット装置によって使用され得る。特に、タグは、ロボット装置による物品の操作を容易にするのに使用され得る。例えば、パレット上の特定の位置の1つまたは複数のタグは、パレットをどこで、またはどのようにして持ち上げるのかをフォークリフトに知らせるのに使用され得る。
【0049】
[0057] 別の例では、固定要素および/または移動要素の配備および/またはプランニング手順は、経時的に最適化され得る。例えば、クラウドベースのサーバシステムは、フリート内の個々のロボットおよび/または外部ソースからのデータおよび情報を組み込み得る。その後、手順は、フリートが使用する空間、時間、動力、電力を減らすために、または他の変数を最適化するために経時的に改善され得る。いくつかの例では、最適化は、場合によりロボットフリートを有する他の倉庫および/または従来の倉庫を含む複数の倉庫にわたって行われ得る。例えば、グローバル制御システム150は、配送車両および施設間の輸送時間に関する情報を中央プランニングに組み込むことができる。
【0050】
[0058] いくつかの例では、倉庫管理システムは、ロボットが動けなくなったとき、またはパッケージがある場所に落下して不明になったときのように、機能しなくなる場合がある。したがって、ローカルロボットビジョンは、倉庫管理システムの一部が機能しなくなった場合に対処するために冗長性を加えることによってロバスト性を提供し得る。例えば、自動パレットジャッキが通過して物体を識別すると、パレットジャッキは、遠隔のクラウドベースサーバシステムまで情報を送信することができる。この情報は、中央プランニングのエラーを修正する、ロボット装置の位置を特定する、または不明物体を識別するために使用され得る。
【0051】
[0059] さらに別の例では、倉庫管理システムは、ロボットフリート100およびロボット装置によって処理される物体を含む物理的環境のマップを動的に更新することができる。いくつかの例では、マップは、動的物体(移動ロボットおよびロボットによって移動されるパッケージ)に関する情報によって、継続的に更新され得る。別の例では、動的マップは、倉庫内の(または複数の倉庫にわたる)構成要素の現在の構成または配置の情報および近い時期に予想されることに関する情報を含み得る。例えば、マップは、移動ロボットの現在位置および将来のロボットの予想位置を示すことができ、これらはロボット間の動作を連係させるのに使用され得る。マップはさらに、処理される物品の現在位置および物品の予想される将来の位置(例えば、物品が現在ある場所および物品が出荷されると予想される時期)を示すことができる。さらに、マップは、倉庫内の(または複数の倉庫にわたる)全ての物品の現在位置を示すことができる。
【0052】
[0060] 別の例では、ロボットのいくつかまたは全ては、プロセス内の異なる地点で物体上のラベルを走査することができる。走査は、構成要素および物品を見つけるまたは追跡するのを容易にするために、個々の構成要素または特定の物品に貼り付けられ得る視覚的タグを探すのに使用され得る。この走査は、物品がロボットによって操作または移送されるときに絶えず動き回る物品の軌跡を生成し得る。潜在的利益は、供給者側と消費者側の両方において透明性が付与されることである。供給者側では、過剰在庫を回避するのに、および/または需要を予想するために物品または物品のパレットを異なる位置または倉庫まで移動させるのに、在庫の現在位置に関する情報が使用され得る。消費者側では、向上した精度で特定のパッケージがいつ配送されるのかを決定するために、特定の物品の現在位置に関する情報が使用され得る。
【0053】
[0061] いくつかの例では、ロボットフリート100内の移動要素110のいくつかまたは全ては、複数の充電器が装備されたバッテリ交換ステーション126から定期的に充電済みバッテリを受け取ることができる。特に、ステーション126は、移動ロボットの古いバッテリを再充電されたバッテリと交換することができ、このことにより、ロボットがバッテリを充電するためにじっと待つ必要がなくなる。バッテリ交換ステーション126には、ロボットアームのようなロボットマニピュレータが設けられ得る。ロボットマニピュレータは、個々の移動ロボットからバッテリを取り外して、利用可能な充電器にバッテリを取り付けることができる。ロボットマニピュレータは、その後、ステーション126に位置する充電済みバッテリを移動ロボットまで移動させて、取り外されたバッテリと交換することができる。例えば、バッテリが消耗されたAGV112は、バッテリ交換ステーション126まで移動するように制御され、そこでロボットアームがAGV112からバッテリを抜き取って、充電器にバッテリを入れ、AGV112に新しいバッテリを渡す。
【0054】
[0062] さらに別の例では、バッテリ交換は、倉庫管理システムによってスケジューリングされ得る。例えば、個々の移動ロボットは、バッテリ充電状態を監視するように構成され得る。ロボットは、ロボットのバッテリの状態を示す情報を倉庫管理システムに定期的に送信することができる。この情報は、その後、必要なときに、または都合の良いときに、フリート内の個々のロボットのバッテリ交換をスケジューリングするために倉庫管理システムによって使用され得る。
【0055】
[0063] いくつかの例では、フリート100は、異なるタイプのバッテリを使用する多くの異なるタイプの移動要素110を含み得る。したがって、バッテリ交換ステーション126は、異なるタイプのバッテリおよび/または移動ロボット用の異なるタイプの充電器が装備され得る。さらに、バッテリ交換ステーション126には、異なるタイプのロボット用のバッテリを交換することができるロボットマニピュレータが設けられ得る。いくつかの例では、移動ロボットは、複数のバッテリを収容するバッテリ容器を有し得る。例えば、パレットジャッキのような自律フォークリフト車114は、3個または4個のバッテリを有するスチールバケットを有し得る。ステーション126のロボットアームは、バッテリのバケット全体を持ち上げて、個々のバッテリをステーション126の棚上の充電器に取り付けるように構成され得る。ロボットアームは、その後、古いバッテリと交換するために充電済みバッテリを見つけ、バケットをパレットジャッキに再び差し込む前に、充電済みバッテリをバケット内に戻すことができる。
【0056】
[0064] さらに別の例では、倉庫管理システム150および/またはバッテリ交換ステーション126の別個の制御システムはさらに、バッテリ管理手順を自動化することができる。例えば、各々のバッテリは、システムが個々のバッテリを識別することができるように、バーコードまたは他の識別マークを有し得る。バッテリ交換ステーション126の制御システムは、(例えば、水または空のバッテリを完全に交換する時期を判断するために)個々のバッテリを再充電した回数をカウントすることができる。制御システムはさらに、どのロボット装置のどのバッテリが時間経過したか、これまでステーション126でバッテリを再充電するのにどのくらいの時間を要したか、および効率的なバッテリ管理のための他の関連する特性を追跡することができる。このバッテリ使用情報は、ロボットマニピュレータが特定の移動ロボットに渡すバッテリを選択するために、制御システムによって使用され得る。
【0057】
[0065] 別の例では、バッテリ交換ステーション126はさらに、場合によっては人間のオペレータを含む場合もある。例えば、ステーション126は、人が安全に手動でバッテリ交換を行うことができる、または必要であればフリート100へ配備するために新しいバッテリをステーションに渡すことができるリグを含むことができる。
【0058】
[0066]
図2A〜
図2Dは、ロボット倉庫フリート内に含まれ得るロボット装置の複数の例を示す。ここに示されているものとは形が異なる他のロボット装置および他のタイプのロボット装置も含まれ得る。
【0059】
[0067]
図2Aは、一実施形態例に従うロボットトラックアンローダを示す図である。いくつかの例では、ロボットトラックアンローダは、1つまたは複数のセンサ、1つまたは複数のコンピュータ、および1つまたは複数のロボットアームを含み得る。センサは、可視データおよび/または三次元(3D)奥行き情報を取り込むために、1つまたは複数の物体を含む環境を走査し得る。走査によるデータは、その後、デジタル環境再構成を実現するために、より広い領域の表示の中に組み込まれ得る。別の例では、再構成された環境は、その後、ピッキングする物体を識別し、物体のピッキング位置を決定し、および/または1つまたは複数のロボットアームおよび/または移動台座のための衝突のない軌道をプランニングするのに使用され得る。
【0060】
[0068] ロボットトラックアンローダ200は、環境内の物体を把持するための把持要素204を有するロボットアーム202を含み得る。ロボットアーム202は、把持要素204を使用して、トラックまたは他のコンテナへの積み込みまたは荷降ろしを行うために、ボックスをピッキングして配置することができる。トラックアンローダ200はさらに、移動するための車輪214を有する可動カート212を含み得る。車輪214は、カート212を2自由度で移動させることができるホロノミック車輪であり得る。さらに、巻き付け式のフロントコンベヤベルト210がホロノミックカート212に含まれ得る。いくつかの例では、巻き付け式のフロントコンベヤベルトにより、トラックローダ200は、グリッパ204を回転させずに、トラックコンテナまたはパレットに対するボックスの積み込みまたは荷降ろしを行うことができる。
【0061】
[0069] さらに別の例では、ロボットトラックアンローダ200の検知システムは、センサ206およびセンサ208のようなロボットアーム202に取り付けられた1つまたは複数のセンサを使用することができ、これらのセンサは、ロボットアーム202が移動したときの環境に関する情報を検知する二次元(2D)センサおよび/または3D深度センサで有り得る。検知システムは、ボックスを効率良くピッキングして移動させるために、制御システム(例えば、コンピュータ走行モーションプラニングソフトウェア)によって使用され得る環境に関する情報を決定することができる。制御システムは、装置上に配置され得る、または装置と遠隔通信し得る。さらに別の例では、ナビゲーションセンサ216や安全センサ218のような移動台座上の固定マウントを有する1つまたは複数の2Dもしくは3Dセンサ、およびセンサ206やセンサ208のようなロボットアームに取り付けられた1つまたは複数のセンサからの走査は、側面、床、天井、および/またはトラックもしくは他のコンテナの前壁を含む環境のデジタルモデルを構築するために組み込まれ得る。この情報を使用して、制御システムは、荷降ろしまたは積み込みのための位置まで移動台座を走行させることができる。
【0062】
[0070] さらに別の例では、ロボットアーム202には、デジタル吸引グリッドグリッパのようなグリッパ204が装備され得る。このような実施形態では、グリッパは、遠隔検知もしくは一点距離測定によって、および/または吸引が行われたがどうかを検出することによって、オンオフされ得る1つまたは複数の吸引弁を含み得る。別の例では、デジタル吸引グリッドグリッパは、関節式延長部を含み得る。いくつかの実施形態では、レオロジー流体または粉末によって吸引グリッパを作動させることができることにより、高曲率の物体をさらに大きく把持することができる。
【0063】
[0071] トラックアンローダ200はさらに、電力駆動の電気モータであり得る、またはガス系燃料もしくはソーラーパワーのような多くの異なるエネルギー源によって駆動され得るモータを含み得る。さらに、モータは、電源から電力を受け取るように構成され得る。電源は、ロボットシステムのさまざまな構成要素に電力を供給することができ、例えば、再充電可能なリチウムイオン電池または鉛電池を表すことができる。一実施形態例では、このような1つまたは複数のバッテリ群が電力を供給するように構成され得る。他の電源の材料およびタイプも可能である。
【0064】
[0072]
図2Bは、一実施形態例に従うペデスタル上のロボットアームを示す図である。より詳細には、ペデスタルロボット220は、倉庫環境のような環境内に位置決めされ、届く範囲内の物体をピッキングして、移動させ、および/またはそれ以外の方法で操作するのに使用され得る。いくつかの例では、ペデスタルロボット220は、動作するのにバッテリを必要とせずに重い物を持ち上げるように特化され得る。ペデスタルロボット220は、ロボットトラックアンローダ200に関して上述したロボットマニピュレータ202およびグリッパ204と同じタイプであり得るエンドエフェクタ付きグリッパ224を有するロボットアーム222を含み得る。ロボットアーム222は、ペデスタル226上に取り付けられ得、このことにより、例えば、異なる移動ロボット間でパッケージを分配するために、ロボットアーム222が近くのパッケージを容易にピッキングして移動させることができる。いくつかの例では、ロボットアーム222はさらに、ボックスのパレットを組み立てる、および/または分解するように動作可能であり得る。別の例では、ペデスタル226は、制御システムがロボットアーム222の高さを変えることができるようにするアクチュエータを含み得る。
【0065】
[0073] さらに別の例では、ペデスタルロボット220の底面は、パレット形状の構造であり得る。例えば、底面は、倉庫内での物体の移送または保管に使用される他のパレットとほぼ同じ寸法および形状を有し得る。ペデスタルロボット220の底部をパレットのような形状にすることによって、ペデスタルロボット220は、パレットジャッキまたは異なるタイプの自律フォークリフト車に載せられて、倉庫環境内の異なる位置まで移動され得る。例えば、配送用トラックが倉庫の特定のドッキングポートに到着すると、配送用トラックへのボックスの積み降ろし処理をより効率良く行うために、ペデスタルロボット220は載せられて、配送用トラックにより近い位置まで移動され得る。
【0066】
[0074] 別の例では、ペデスタルロボット220はさらに、ペデスタルロボット220近傍の範囲内のボックスおよび/または他のロボット装置を識別するために、1つまたは複数の視覚センサを含み得る。例えば、ペデスタルロボット220の制御システムまたはグローバル制御システムは、ペデスタルロボット220上のセンサからのセンサデータを使用して、ペデスタルロボット220のロボットアーム222およびグリッパ224がピッキングする、または操作するボックスを識別することができる。さらに別の例では、センサデータはさらに、個々のボックスをどこに分配すべきかを決定するために、移動ロボット装置を識別するのにも使用され得る。さらに、異種のロボットフリート内で他のタイプのロボット固定操作ステーションも使用され得る。
【0067】
[0075]
図2Cは、一実施形態例に従う自律搬送車(AGV)を示す図である。より詳細には、AGV240は、個々のボックスまたはケースを移送することができる比較的小型の移動ロボット装置であり得る。AGV240は、倉庫環境内の移動を可能にする車輪242を含み得る。さらに、AGV240の上面244は、移送するボックスまたは他の物体を配置するのに使用され得る。いくつかの例では、上面244は、物体のAGV240への積み降ろしのための回転コンベヤを含み得る。別の例では、AGV240は、バッテリ充電ステーションにおいて急速に再充電可能である、および/またはバッテリ交換ステーションで新しいバッテリと交換可能である1つまたは複数のバッテリによって駆動され得る。さらに別の例では、AGV240はさらに、ここでは具体的に特定されていない他の構成要素、例えば、ナビゲーション用センサを含み得る。場合により倉庫が扱うパッケージのタイプに応じて、異なる形状およびサイズを有するAGVもロボット倉庫フリートに含まれ得る。
【0068】
[0076]
図2Dは、一実施形態例に従う自律フォークリフト車を示す図である。より詳細には、自律フォークリフト車260は、ボックスまたは他のより大きな物質のパレットを持ち上げて、および/または移動させるためのフォークリフト262を含み得る。いくつかの例では、フォークリフト262は、倉庫内の保管ラックまたは他の固定保管構造物の異なるラックに到達するように上昇され得る。自律フォークリフト車260はさらに、倉庫内のパレットを移送するために移動用の車輪264を含み得る。別の例では、自律フォークリフト車は、ロボットトラックアンローダ200に関して上述したようなモータ、電源、および検知システムを含み得る。自律フォークリフト車260はさらに、
図2Dに示されているものとは、サイズまたは形状が異なる場合もある。
【0069】
[0077] 本明細書に開示されている方法およびシステムの例は、
図1に示されている環境のような倉庫環境内で実行され、および/または配置され得る。上述したように、倉庫環境は、1室もしくは多室構造、および/または屋根付きおよび/または屋根無しのエリア、例えば、積み降ろしエリアを含み得る。倉庫環境は、パレット、ボックス、棚、または他の物品のような複数の在庫物品を含み得る。これらの在庫物品は、倉庫環境内で通路に構成された棚上に配置され保管され得る。この構成により、ロボット装置は1つまたは複数の在庫物品にアクセスするために通路の間を走行することが可能になる。倉庫環境はさらに、ロボット装置のナビゲーションに使用され得る1つまたは複数のタグ、基準マーカ、視覚的識別子、ビーコン、マーク、または他の表示を含み得る。
【0070】
[0078] いくつかの例では、倉庫環境内の各々の在庫物品は、センサが検出することができる識別子を含み得ることにより、センサおよび/または接続されているコンピューティングデバイスが物品を識別することができる。識別子は、物品上または物品内に配置され得るバーコード、QRコード、RFIDチップ、または他の識別子であり得る。他の例では、在庫物品の形状、サイズ、色、テクスチャ、または物品自体の他の特性が物品を識別するのに使用される場合がある。
【0071】
[0079] いくつかの例では、バーコードは、各々の在庫物品に関連付けられる視覚的識別子として使用され得る。各々のバーコードは、梱包材料または包装材料などの、在庫物品の外側に配置され得る。ロボット装置が識別子をより早くかつ確実に見つけることができるように、1つの面の右上隅のように物品上の同じまたは同様の位置に各々の物品の識別子を配置することは有益であり得る。他の例では、RFIDタグ識別子または他のタグは、物品梱包材料自体の内部に配置される場合がある。物品視覚的識別子に関して本明細書で示されている例は、RFIDタグのような非視覚的識別子にも適用可能であり得る。さらに、さまざまな例において、1つまたは複数の物品識別子を読み取る、検出する、決定する、またはそれ以外の方法で識別するために、1つまたは複数のセンサが使用され得る。
【0072】
[0080]
図3Aおよび
図3Bは、システム例300を示す。
図3Aは、在庫物品310を運んでいるロボット装置302を示している。ロボット装置302は、AGVであり得る、または
図2A〜
図2Dに示されているような1つまたは複数の他のロボット装置の形態を取り得る。他の形態も可能である。ロボット装置302は、倉庫環境内に配備され得、ロボット装置302上に取り付けられた1つまたは複数のセンサによって収集された情報に基づいて倉庫環境内を移動するように構成され得る。例えば、ロボット装置302の移動のためのルートまたは経路を生成するのに使用され得る、ロボット装置302の周囲の全体または一部の3Dモデルを構築することができるように、1つまたは複数のセンサがロボット装置302上に位置決めされ得る。あるいは、ロボット装置302は、ロボット装置302に通信可能に結合されたコンピューティングシステムからのコマンドに基づいて移動することができる。例えば、ロボット装置上に位置決めされた、または倉庫環境内に位置決めされた1つまたは複数のセンサは、データをコンピューティングシステム(例えば、倉庫管理システム)に送信し、その後、コンピューティングシステムがロボット装置302のためのルート、経路、または他のナビゲーション命令を生成することができる。別の例では、ロボット装置302は、ローカル検知情報およびコンピューティングシステムからの集中管理コマンドの両方の組み合わせに基づいて、倉庫環境を移動および/または走行することができる。
【0073】
[0081] いくつかの例では、ロボット装置302は、第1の物品視覚的識別子を有する第1の在庫物品を移送するように構成され得る。
図3Aは、対応する物品視覚的識別子312を有する在庫物品310を移送するロボット装置302を示している。
図3は、物品視覚的識別子312が使用される一例を示しているが、いくつかの例は、本明細書に示されているような他の識別子の使用を含み得る。
【0074】
[0082] システム300はさらに、
図3Bに示されている第2のロボット装置332を含み得る。第2のロボット装置332は、ロボット装置302と同様または同一であり得る。第2のロボット装置332は、ナビゲーション目的で、および/または本明細書に示されている1つまたは複数の動作を実行するために使用され得るカメラ334を有し得る。カメラ334は、視野340からの画像データを取り込むことができる。取り込まれた画像データは、ナビゲーション、障害物回避、物品識別、物品確認、およびロボット装置識別のような本明細書に示されている1つまたは複数の目的のために使用され得る。カメラ304は、例えば、サイズ、形状、奥行き、テクスチャ、および色のような視覚情報を取り込むように構成された1つまたは複数の光学センサを含み得る。一実施形態では、光学センサは、カメラの視野の3D画像を生成するために前後に並んで動作し得るステレオレンズを含み得る。カメラ304は、さらに、または代替として、1つまたは複数のレンズ、RADARセンサ、LIDARセンサ、3Dセンサ、または他のタイプの検知機器を含み得る。それより多い、または少ないレンズもしくはセンサが使用される場合もある。
【0075】
[0083] システム300はさらに倉庫管理システム(WMS)320を含み得る。
図3Aおよび
図3Bに示されているように、WMS320は、ロボット装置302および/またはロボット装置332から分離され得、無線接続を介して1つまたは複数のロボット装置に通信可能に結合され得る。あるいは、いくつかの例では、WMS320は、無線接続を介して1つまたは複数のロボット装置に結合され得、および/または1つまたは複数のロボット装置自体の構成要素であり得る。他の例では、WMS320は、本明細書に示されているWMS320の機能が、ロボット装置上の構成要素か、中央コンピューティング装置もしくはシステムか、またはそれらの組み合わせのいずれかによって実行され得るように、ロボット装置および他の場所の両方に配置される構成要素を含み得る。さらに他の例では、WMS320は、WMSを含むロボット装置のピアツーピア・ネットワークが形成されるように、2つ以上のロボット装置にわたって分散され得る。
【0076】
[0084] WMS320は、本明細書に示されている少なくとも第1のロボット装置と第2のロボット装置とを含む複数のロボット装置との通信のために動作可能な1つまたは複数の通信インターフェースを含み得る。WMSはさらに、プロセッサと、非一過性コンピュータ可読媒体に記憶され、本明細書に示されている1つまたは複数の機能を実行するために少なくとも1つのプロセッサによって実行可能なプログラム命令とを含み得る。
【0077】
[0085] WMS320は、倉庫環境内の複数の在庫物品、ロボット装置、および他の物体に関する情報を記憶し得る。例えば、WMS320は、1つまたは複数の物品に関連する位置、内容物、サイズ、重量、色、および履歴をさまざまな他の特性と併せて記憶し得る。さらに、WMS320は、ある在庫物品が所定のロボット装置上に積み込まれているか否かを含む、1つまたは複数のロボット装置の状態に関する情報を記憶し得る。この情報は、ロボット装置上の、および/または倉庫内に配置された1つまたは複数のセンサから受信した情報に基づいて、収集されおよび/または修正され得る。いくつかの例では、所与の物品のために記憶される情報は、予想位置、予想重量、予想色などのような予想値であり得る。これらの予想値は、WMSシステム内でいつでも、例えば、物品が移動されたときに更新され得る。倉庫の定期的な使用の間、在庫物品は、1つまたは複数の目的のために選択されて、ある位置から別の位置まで移動され得る。このことは、物品の正確なまたは実際の位置を変更する場合がある。しかしながら、コンピューティングシステムは、正確に、またはタイミング良く、常に更新されるとは限らないので、正確な位置と予想位置との不一致が生じ得る。そのため、コンピューティングシステムは、正確なまたは現在の情報を常に有するとは限らない。
【0078】
[0086] いくつかの例では、WMS320は、対象在庫物品を決定するように構成される。WMSは、ロボット装置302に対象在庫物品を倉庫内のある位置から別の位置まで移動させるように指示することができる。WMS320はさらに、予想される位置、重量、色、物品視覚的識別子、または他の特性のような対象在庫物品に対応する情報を取り出すことができる。WMS320は、ロボット装置302が対象在庫物品を移動させるのを容易にするために、この情報の一部または全てをロボット装置302に送信することができる。ロボット装置302は、その後、対象物品の予想位置まで進むことができる。
【0079】
[0087] ロボット装置302は、予想位置に到着すると、予想位置に配置されている物品が対象物品であることを確認しようと試みることができる。しかしながら、いくつかの例では、ロボット装置302は、在庫物品の物品視覚的識別子を読み取ることができない場合がある。視覚的識別子が誤って配置され、物品の反対側に配置されている場合がある、またはロボット装置のカメラが遮られている、もしくは作動していない場合がある。これらの場合に、特に、ロボット装置302によって移送されている、または移送される予定の物体が正しい物品であることを確認することが有益であり得る。
【0080】
[0088] そのためには、WMS320は、第2のロボット装置に対して、第1のロボット装置302によって扱われている物体に対応する物品視覚的識別子の確認を求める要求を送信することができる。場合によっては、この要求は、第1のロボット装置302によってWMS320に送信され得、WMS320がこの要求を第2のロボット装置に送信し得る。
図3Bに示されているように、第2のロボット装置332は、カメラ334によって、在庫物品310の物品視覚的識別子312を含む画像データを取り込むことができる。いくつかの例では、この要求は、物品視覚的識別子312を確認するために第1のロボット装置302の近くで第2のロボットに対する停止要求であり得る。停止要求は、倉庫環境内に配置された移動装置および固定装置の両方を含む、カメラを備えた任意の第2のロボット装置が視覚的識別子を見ることを含み得る。
【0081】
[0089] いくつかの例では、確認要求は、ロボット装置によってピッキングされた物品の重量が予想重量と異なることを検出したことに応答して、送信され得る。ロボット装置302は、運んでいるまたは保持している在庫物品の重量を決定し得る。この決定は、ロボット装置302上に、またはロボット装置302の周囲に位置決めされた重量センサ、圧力センサ、または他のセンサによって行われ得る。例えば、ロボット装置302は、重量を測定するのに使用される秤を含み得る、またはロボット装置302は、在庫物品の重量を決定するのに使用され得る倉庫内に配置された秤の上を移動し得る。第1のロボット装置302は、その後、在庫物品の重量をWMS320に送信し得る。WMS320は、例えば、メモリからの情報を取り出すことによって、在庫物品の予想重量を決定し得る。WMS320は、その後、ロボット装置302から受信した重量を予想重量と比較し、それに応答して、物品視覚的識別子を確認する要求を送信し得る。
【0082】
[0090] 第2のロボット装置332は、その後、ロボット装置332上に取り付けられたカメラが在庫物品310と物品視覚的識別子312とを「見る」ことができるように、ロボット装置332自身を位置決めし得る。いくつかの例では、第2のロボット装置は、AGVまたは他の移動ロボット装置であり得る。
図3Bは、第2のロボット装置332が視野340を有するカメラ334を備えた第2のAGVである例を示している。他の例では、第2のロボット装置は、
図2Bに示されているペデスタル上のロボットアーム、または倉庫環境の壁、棚、または他の部分に取り付けられたカメラのような固定ロボット装置であり得る。これらの例では、第2のロボット装置に送信される要求は、カメラを位置決めする、および/または第1のロボット装置302が視野に入ったときにカメラから画像データを取り込む要求を含み得る。
【0083】
[0091] 第2のロボット装置332は、その後、物品視覚的識別子312を含む画像データを取り込み得る。
図3Bは、在庫物品310と物品視覚的識別子312とを見ることができるように位置決めされたカメラ334を備えた第2のロボット装置332を示している。第2のロボット装置332によって取り込まれる画像データは、視野340の範囲の画像を含む。第2のロボット装置332は、その後、取り込まれた画像データをWMS320に送信し得る。
【0084】
[0092] WMS320は、第2のロボット装置332によって取り込まれた画像データを受信して、第1の物品視覚的識別子を検出するためにその画像データを分析し得る。いくつかの例では、識別子を検出することは、バーコード、QRコード、タグ、または他の物品視覚的識別子の画像データを走査する、または探すことを含み得る。識別子は、その後、抽出され、または「読み出され」、対応する在庫物品が決定され得る。いくつかの例では、画像データはさらに、ロボット装置のナビゲーションを容易にするために、受信され、分析され得る。この分析は、ロボット装置自体によって、WMSによって、またはクラウドベースのコンピューティングシステムによって行われ得る。
【0085】
[0093] いくつかの例では、WMS320は、検出された物品視覚的識別子を対象の物品視覚的識別子と比較することができる。WMSは、第1のロボット装置302によって運ばれている在庫物品が対象在庫物品と同じ視覚的識別子を有することを確認することができる。あるいは、WMSは、検出された物品視覚的識別子を対象の物品視覚的識別子と同じでないことを判断することができる。識別子の不一致は、第1のロボット装置は間違った在庫物品をピッキングしたこと、および/または何らかの他のエラーが発生したことを示し得る。
【0086】
[0094] 比較に応答して、WMSは、1つまたは複数の動作を実行することができる。例えば、第1の物品視覚的識別子312が対象の物品視覚的識別子と一致していない場合、WMSは、誤って配置された、または誤認識された在庫物品に対して指定された倉庫のエリアに第1の在庫物品310を移送するように第1のロボット装置302に指示することができる。このエリアは、倉庫の所定のエリアであり得、各々の在庫物品をチェックすることができる人間のオペレータの近くに位置し得る。
【0087】
[0095] 比較に応答して、倉庫環境内の1つまたは複数の在庫物品に対応する、WMSによって記憶されている情報を更新することを含む他の動作が実行される場合がある。さらに、動作は、在庫物品310を継続して移動させるように第1のロボット装置302に指示することを含み得る。
III.方法例
【0088】
[0096]
図4および
図5は、実施形態例に従う方法例400および方法例500のフローチャートである。方法400および方法500は、
図2A〜
図2Dおよび
図3A〜
図3Bに示されているロボット装置および/または本明細書に示されているコンピューティングシステムならびに倉庫管理システムのように、本明細書に示されている装置またはシステムのうちのいずれかによって実行され得る。方法400および方法500は、各々の在庫物品が対応する物品視覚的識別子を有する複数の在庫物品が配置された倉庫環境内で実行され得る。
【0089】
[0097] さらに、本明細書に示されているフローチャートに関して説明する機能性は、特殊機能のハードウェアモジュールおよび/または構成された汎用機能のハードウェアモジュール、
図4および
図5に示されているフローチャートに関して説明する特定の論理機能、決定、および/またはステップを達成するためにプロセッサによって実行されるプログラムコードの一部として実装されることに留意されたい。プログラムコードは、使用される場合、例えば、ディスクまたはハードドライブを含む記憶装置のような任意のタイプのコンピュータ可読媒体に記憶され得る。
【0090】
[0098] さらに、
図4および
図5に示されているフローチャートの各々のブロックは、プロセスにおける特定の論理機能を実行するために接続された回路を表すことができる。特に示さない限り、
図4および
図5に示されているフローチャートの機能は、記載されている方法の全体的な機能性が維持される限りにおいて、別個に記載されている機能を実質的に同時に実行すること、またはいくつかの例では含まれる機能性に応じて逆の順序で実行することを含む、図示されているまたは説明されている順序とは異なる順序で実行されてよい。
【0091】
[0099]
図4のブロック402において、方法400は、対象物品識別子を有する対象在庫物品を決定するステップを含み得る。対象在庫物品は、倉庫の外側の別の場所に出荷するために倉庫内のある位置から別の位置まで移動するようにスケジューリングされた、またはメンテナンスもしくは対象在庫物品の内容物のチェックのような何らかの他の目的のために指定された在庫物品であり得る。
【0092】
[0100] いくつかの例では、WMSは、対象在庫物品を決定する、または選択することができる。対象在庫物品は、WMSによって考えられる1つまたは複数の要因に基づいて決定され得る。例えば、フルフィルメント倉庫では、所与の在庫物品は、WMSがその特定の物品の注文を受け取ったときに、対象在庫物品として選択され得る。他の例では、対象在庫物品は、集中管理WMSではなく、ロボット装置または複数のロボット装置にわたって分散されたWMSによって決定され、または選択され得る。さらに、対象在庫物品は、倉庫内の棚上の対象位置に配置され得るので、ロボット装置は在庫物品をピッキングするために対象位置まで移動することができる。あるいは、対象物品は、現在ロボット装置によって運ばれている物品であり得る。
【0093】
[0101] 対象在庫物品が決定されると、ロボット装置がまだその物品を運んでいない場合、第1のロボット装置が倉庫内の対象在庫物品の予想位置まで派遣され得る。WMSは、対象在庫物品の予想位置および/または予想位置に到着するためのナビゲーション命令を含む命令およびデータを第1のロボット装置に送信することができる。
【0094】
[0102] 方法400は、ブロック404において、第1の物品識別子を有する第1の在庫物品が第1のロボット装置に積み込まれていることを判断するステップを含む。このことは、第1のロボット装置上の1つまたは複数のセンサ、および/または倉庫環境内に配置されている1つまたは複数のセンサ(例えば、カメラ、重量センサなど)によって判断され得る。いくつかの例では、第1のロボット装置は、WMSによって指示された対象物品の位置まで移動することができ、その位置にある在庫物品をピッキングすることができる。したがって、第1の在庫物品は、WMSおよびロボット装置が対象在庫物品であると予想する在庫物品であり得る。しかし、第1のロボット装置は、例えば、第1のロボット装置のカメラまたは他のセンサの位置決めや視野妨害が原因で、第1の在庫物品が対象在庫物品であることを確認することができない場合がある。そのような状況でも、第1のロボット装置は、第1の在庫物品をピッキングして移送することができる。
【0095】
[0103] あるいは、第1のロボット装置がすでに在庫物品を運んでいる途中である場合に、第1のロボット装置は、例えば、同様に第1のロボット装置のカメラまたは他のセンサの位置決めや視野妨害が原因で、第1のロボット装置が対象在庫物品を運んでいることを確認することができない場合がある。
【0096】
[0104] 第1のロボット装置が、第1の在庫物品が対象庫在庫物品であることを確認できない場合、第2のロボット装置に確認ステップ実行してもらうことが有益である場合がある。そのためには、方法400は、ブロック406において、第1の物品識別子を確認する要求を送信するステップを含み得る。いくつかの例では、この要求は、第1のロボット装置自身によって第2のロボット装置に送信され得る。あるいは、この要求は、第1のロボット装置によってWMSに送信され得る、またはWMSから第2のロボット装置に送信され得る。これに応答して、第2のロボット装置が移動ロボット装置である場合、第2のロボット装置は第1のロボット装置の位置まで移動することができる。
【0097】
[0105] 他の例では、第1の物品視覚的識別子を確認する要求を送信するステップは、第1のロボット装置に第2のロボット装置の位置まで移動する命令を送信するステップを含み得る。これは、第1のロボット装置が、カメラを含む第2の固定ロボット装置を含む倉庫内の指定エリアまで移動するステップを含み得る。
【0098】
[0106] 第1の物品識別子を確認する要求は、第1のロボット装置が運んでいる物品を自身で確認することができないことを判断したことに応答して送信され得る。または、この要求は、第1のロボット装置によって運ばれている第1の在庫物品の重量が対象在庫物品の予想重量と一致しない、または対象在庫物品の予想重量の誤差の範囲内にないことを判断したことに応答して送信され得る。
【0099】
[0107] いくつかの例では、方法400は、対象在庫物品の予想重量を決定するステップを含み得る。これは、WMSが対象在庫物品に関連する予想重量を取り出すステップを含み得る。該方法は、その後、第1のロボット装置が運んでいる第1の在庫物品の重量を第1のロボット装置が決定するステップを含み得る。その後、対象在庫物品の予想重量と第1の在庫物品の重量とが比較され得、この比較に基づいて、確認要求が送信され得る。つまり、確認を実行すべきかどうかを決定するのに、重量差が使用され得る。
【0100】
[0108] 方法400は、ブロック408において、第2のロボット装置のセンサによって取り込まれたデータを受信するステップを含み得る。いくつかの例では、このデータは、第2のロボット装置のカメラによって取り込まれた画像データであり得る。第2のロボット装置は、第1のロボット装置の近くの位置へと移動することができ、第1の在庫物品に関連付けられた物品識別子を読み取るために自身のカメラまたは他のセンサを位置決めすることができる。
【0101】
[0109] 方法400は、ブロック410において、第1の物品識別子を判断するために、受信した画像データを分析するステップを含み得る。いくつかの例では、受信データは、第2のロボット装置および/またはWMSによって分析され得る。第1の物品識別子を判断することは、例えば、パターン認識のような受信データ上での分析を実行することを含み得る。
【0102】
[0110] 方法400は、ブロック412において、第1の物品識別子を対象物品識別子と比較するステップを含み得る。この比較は、第1の在庫物品が対象在庫物品であるか否かを確認することができる。
【0103】
[0111] 次に、方法400は、ブロック414において、比較に応答して動作を実行するステップを含み得る。WMS、第1のロボット装置、および/または第2のロボット装置は、比較に基づいて動作を実行し得る。例えば、第1の物品識別子と対象物品識別子が同一でないと判断された場合、第1のロボット装置は、第1の在庫部物品を、誤ってラベルが貼られたまたは誤認識された物品の倉庫内の指定エリアまで移送することができる。他の例では、識別子が同一でない場合、WMSは、第1の在庫物品または対象在庫物品をリストに追加することができ、および/または1つまたは複数のロボット装置に命令を送信することができる。あるいは、第1の物品識別子と対象物品識別子が同一であると判断された場合、第1のロボット装置は、当初の命令に従って第1の在庫部物品をピッキングする、または継続して移動させることができる。さらに、比較に応答して、WMSは、第1の在庫物品および/または対象在庫物品に対応する記憶情報を更新することができる。
【0104】
[0112]
図5は、方法例500のフローチャートである。方法500は、いくつかの点において、方法400と同様または同じであり得る。例えば、ブロック502およびブロック506〜ブロック514は、ブロック402およびブロック406〜ブロック414と同様または同じであり得る。しかしながら、方法500は、第1のロボット装置によって移送するために、第1の物品識別子を有する第1の在庫物品を選択するステップを含み得るブロック504を含み得る。
【0105】
[0113] いくつかの例では、第1のロボット装置は、(例えば、WMSによって決定された)対象在庫物品を移動させる役割を担うことができ、対象物品に対応する対象位置まで進むように指示され得る。第1のロボット装置は、対象位置まで移動することができ、その位置にある在庫物品を検出することができる。この在庫物品は、第1の在庫物品であり得る。しかしながら、第1のロボット装置は、対象位置に配置されている第1の在庫物品が対象在庫物品であることを確認することができない場合がある。第1のロボット装置のカメラが遮られている場合がある、または第1の在庫物品の物品識別子が第1のロボット装置の反対側に配置されている場合がある。その状態であっても、第1の在庫物品は、移送するために第1の在庫物品を選択することができる。
【0106】
[0114] 次に、第1の物品識別子を確認する要求が送信され得る。いくつかの例では、これは、物品の異なる側から第1の在庫物品を見るために対象位置まで移動するように第2のロボット装置に指示することを含み得る。他の例では、これは、第2のロボット装置またはセンサが第1の在庫物品を確認するのに使用され得る位置まで移動するように第1のロボット装置に指示することを含み得る。特定の例では、第1の在庫物品は、棚上に配置され得、第1の物品識別子は、第1のロボット装置が位置する通路に背を向けた物品の裏側に配置されたバーコードであり得る。この場合、第2のロボット装置は、第1の物品識別子を読み取ることができるように、第1の在庫物品の裏面の通路に配備され得る。
IV.変形例
【0107】
[0115] 本明細書に記載されているシステム例および方法例はさらに、1つまたは複数の在庫物品の予想位置および実際の位置を決定すること、および上述したような1つまたは複数の動作を実行するための基準としてその位置を使用することを含み得る。
【0108】
[0116] 方法400および方法500はさらに、対象在庫物品の予想位置を決定するステップを含み得る。予想位置は、WMSによって記憶されている対象庫物品の位置であり得る。第1の在庫物品の位置はさらに、例えば、第1のロボット装置によって決定され得る。次に、これらの2つの位置は比較され得、一致または閾値未満の差は、第1の在庫物品が対象在庫物品であることの確認の追加のメトリックとなり得る。この第2のレベルの確認は、場合によっては有益であり得る。比較は、対象在庫物品の予想位置と第1の在庫物品の位置が一致する、および/または閾値距離の範囲内もしくは誤差の範囲内であることを判断することを含み得る。
【0109】
[0117] 次に、位置の比較および物品視覚的識別子の比較の両方に基づいて、WMSおよび/または第1もしくは第2のロボット装置は、命令の送信または在庫物品の移動のような動作を実行することができる。したがって、方法400のブロック414および方法500のブロック514に関して説明した動作は、(i)検出された第1の物品視覚的識別子と対象物品視覚的識別子との比較、および(ii)対象在庫物品の予想位置と第1の在庫物品の位置が一致することの判断の両方に応答して実行され得る。
【0110】
[0118] 本明細書に含まれる例を、物品視覚的識別子に関して説明することができる。しかし、いくつかの例では、本明細書に記載されている動作および/または機能は、非視覚的物品識別子に関連して実行され、実施される場合がある。例えば、在庫物品は、RFIDタグのような非視覚的物品識別子を有する場合がある。さらに、例は、非視覚的物品識別子を読み取るように構成されたセンサを有するロボット装置を含み得、本明細書に記載されているコンピューティングシステムは、センサによって読み取られたデータを受信し、物品識別子を判断するためにデータを分析し、さまざまな識別子を比較し、それに応答して1つまたは複数の動作を実行するように構成され得る。
【0111】
[0119] 本開示は、本明細書に示されている特定の実施形態に限定されず、これらの実施形態は、さまざまな態様の例示のために示されたものである。当業者には明らかであるように、本開示の精神および範囲から逸脱せずに、多くの修正および変更がなされ得る。本明細書に列挙されているものに加えて、本開示の範囲内の機能的に同等の方法および装置は、上記の説明から当業者には明らかであろう。このような修正および変形は、添付の請求項の範囲内にあるものとする。
【0112】
[0120] 上記の詳細な説明は、添付図面に関して開示されているシステム、装置、および方法のさまざまな特徴および機能を示している。図面では、文脈上別のものを指す場合を除き、同様の参照番号は、一般に、同様の構成要素を特定するものである。本明細書および図面に示されている実施形態例は、限定的なものではない。本明細書に示されている主題の精神または範囲から逸脱せずに、他の実施形態が使用されてよく、他の変更がなされてよい。本開示の態様は、本明細書に全般的に示され、図面に示されているように、多種多様な異なる構成で配置され、置換され、組み合わされ、分離され、設計され得ることは容易に理解されるであろう。本明細書内では、これら全てが明示的に考慮されている。
【0113】
[0121] 情報の処理を表すブロックは、本明細書に示されている方法または技術の特定の論理機能を実行するように構成され得る回路に対応し得る。代替的にまたは追加的に、情報の処理を表すブロックは、モジュール、セグメント、またはプログラムコードの一部(関連データを含む)に対応し得る。プログラムコードは、方法または技術における特定の論理機能または動作を実装するためにプロセッサによって実行可能な1つまたは複数の命令を含み得る。プログラムコードおよび/または関連データは、ディスクもしくはハードドライブを含む記憶装置または他の記憶媒体のような任意のタイプのコンピュータ可読媒体に記憶され得る。
【0114】
[0122] コンピュータ可読媒体はさらに、レジスタメモリ、プロセッサキャッシュ、およびランダム・アクセス・メモリ(RAM)のようにデータを短期間記憶するコンピュータ可読媒体のような非一過性コンピュータ可読媒体を含み得る。コンピュータ可読媒体はさらに、例えば、読み取り専用メモリ(ROM)、光学ディスクもしくは磁気ディスク、コンパクトディスク読み取り専用メモリ(CD−ROM)のように、二次もしくは永続的長期記憶装置のようなプログラムコードおよび/またはデータを長期間記憶する非一過性コンピュータ可読媒体を含み得る。コンピュータ可読媒体はさらに、任意の他の揮発性もしくは不揮発性の記憶システムであり得る。コンピュータ可読媒体は、例えば、コンピュータ可読記憶媒体、または有形記憶装置と考えられ得る。
【0115】
[0123] さらに、1つまたは複数の情報送信を表すブロックは、同じ物理装置内のソフトウェアモジュールおよび/またはハードウェアモジュール間の情報送信に対応し得る。しかしながら、他の情報送信は、異なる物理装置内のソフトウェアモジュールおよび/またはハードウェアモジュール間の情報送信であり得る。
【0116】
[0124] 図面に示されている特定の配置は、限定的なものであると見なすべきではない。他の実施形態は、所与の図面に示されている各々の要素をそれより多いまたは少ない数で含み得ることは理解されたい。また、図示されている要素のいくつかは、組み合わされ得る、または除外され得る。さらに、一実施形態例は、図面に示されていない要素を含み得る。
【0117】
[0125] 本明細書ではさまざまな態様および実施形態について説明したが、他の態様および実施形態が当業者には明らかになるであろう。本明細書に開示されているさまざまな態様および実施形態は、例示目的で示されたものであって、限定するものではなく、真の範囲は以下の請求項によって示されている。