(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-03-05
(54)【発明の名称】スマート倉庫の安全機構
(51)【国際特許分類】
B66F 9/24 20060101AFI20240227BHJP
G05D 1/223 20240101ALI20240227BHJP
【FI】
B66F9/24 R
G05D1/223
B66F9/24 J
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2023549985
(86)(22)【出願日】2022-02-18
(85)【翻訳文提出日】2023-10-11
(86)【国際出願番号】 US2022017048
(87)【国際公開番号】W WO2022182595
(87)【国際公開日】2022-09-01
(32)【優先日】2021-02-23
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
(71)【出願人】
【識別番号】523312196
【氏名又は名称】ファントム・オート・インコーポレイテッド
(74)【代理人】
【識別番号】100114188
【氏名又は名称】小野 誠
(74)【代理人】
【識別番号】100119253
【氏名又は名称】金山 賢教
(74)【代理人】
【識別番号】100124855
【氏名又は名称】坪倉 道明
(74)【代理人】
【識別番号】100129713
【氏名又は名称】重森 一輝
(74)【代理人】
【識別番号】100137213
【氏名又は名称】安藤 健司
(74)【代理人】
【識別番号】100143823
【氏名又は名称】市川 英彦
(74)【代理人】
【識別番号】100183519
【氏名又は名称】櫻田 芳恵
(74)【代理人】
【識別番号】100196483
【氏名又は名称】川嵜 洋祐
(74)【代理人】
【識別番号】100160749
【氏名又は名称】飯野 陽一
(74)【代理人】
【識別番号】100160255
【氏名又は名称】市川 祐輔
(74)【代理人】
【識別番号】100219265
【氏名又は名称】鈴木 崇大
(74)【代理人】
【識別番号】100203208
【氏名又は名称】小笠原 洋平
(74)【代理人】
【識別番号】100146318
【氏名又は名称】岩瀬 吉和
(74)【代理人】
【識別番号】100127812
【氏名又は名称】城山 康文
(72)【発明者】
【氏名】マジモフ,シェイ
(72)【発明者】
【氏名】パルナキアン,デイビッド
(72)【発明者】
【氏名】ドヴィル,オハド
(72)【発明者】
【氏名】ロジャース,ブレット・ビー
【テーマコード(参考)】
3F333
5H301
【Fターム(参考)】
3F333AA02
3F333AB13
3F333AE02
3F333BA02
3F333FA09
3F333FA16
3F333FA34
3F333FA36
3F333FD02
3F333FD06
3F333FD08
5H301AA02
5H301BB07
5H301CC03
5H301CC06
5H301CC10
5H301DD06
5H301DD17
5H301GG09
5H301JJ05
5H301LL01
5H301LL08
5H301LL11
(57)【要約】
遠隔動作システムは、ユーティリティ乗り物(フォークリフトなど)を支援する。遠隔動作システムは、フォークリフトの安全な操作が困難であると決定した場合、緊急停止を安全に実施するようにフォークリフトを制御する。フォークリフトの緊急停止を実施するために、システムは、フォークリフトによって運搬されている荷物の質量分布、及びフォークリフトのフォークの上昇に少なくとも部分的に基づいてフォークリフトの運動学を監視する。さらに、緊急停止を実行すると決定したことに応答して、システムは、フォークリフトの運動学に基づいてフォークリフトについての減速限界を決定し、決定された減速限界に基づいてフォークリフトのブレーキを作動させる。
【選択図】
図2A
【特許請求の範囲】
【請求項1】
フォークリフトを自律的に動作させるための方法であって、
前記フォークリフトによって運搬されている荷物の質量分布を決定することと、
前記フォークリフトによって運搬されている荷物の質量分布及び前記フォークリフトのフォークの上昇に少なくとも部分的に基づいて前記フォークリフトの運動学を監視することと、
緊急停止を実行すると決定することと、
前記緊急停止を実行すると決定したことに応答して、前記フォークリフトの前記運動学に基づいて前記フォークリフトについての減速限界を決定することと、
前記決定された減速限界に基づいて前記フォークリフトのブレーキを作動させることと、
を含む、方法。
【請求項2】
前記緊急停止を実行すると決定することが前記フォークリフトの遠隔オペレータから緊急停止メッセージを受信することを含む、請求項1に記載の方法。
【請求項3】
前記緊急停止を実行すると決定することが、
前記フォークリフトの1つ又は複数のカメラによってキャプチャされた1つ又は複数のビデオフィードを受信することと、
前記1つ又は複数のビデオフィードの待ち時間を決定することと、
前記1つ又は複数のビデオフィードの前記待ち時間が閾値待ち時間を超えると決定したことに応答して、前記緊急停止を実行すると決定することと、
を含む、請求項1に記載の方法。
【請求項4】
前記緊急停止を実行すると決定することが、
ビデオフィードのペア間の非同期間隔を決定することと、
ビデオフィードのペア間の前記非同期間隔が閾値非同期閾値を超えると決定したことに応答して、前記緊急停止を実行すると決定することと、
をさらに含む、請求項3に記載の方法。
【請求項5】
前記緊急停止を実行すると決定することは、監督システムが閾値数のキープアライブ信号を受信できなかったことに応答して、前記監督システムから緊急停止命令を受信することを含む、請求項1に記載の方法。
【請求項6】
前記フォークリフトの前記運動学を監視することが、前記フォークリフトによって運搬されている前記荷物の前記質量分布及び前記フォークリフトの前記フォークの前記上昇に基づいて運動学方程式を周期的に解くことを含む、請求項1に記載の方法。
【請求項7】
前記フォークリフトの前記運動学に基づいて前記フォークリフトについての減速限界を決定することが、前記運動学方程式の最新の解を検索することと、前記運動学方程式の前記検索された最新の解に基づいて前記減速限界を決定することと、を含む、請求項6に記載の方法。
【請求項8】
前記フォークリフトによって運搬されている前記荷物の前記質量分布が、前記フォークリフト用の前記フォークに埋め込まれた荷物センサのセット及び前記フォークリフトのホイールのセットに埋め込まれた圧力センサのセットのうちの少なくとも一方を使用して決定される、請求項1に記載の方法。
【請求項9】
前記フォークリフトに埋め込まれた1つ又は複数のセンサを分析することと、
物体が前記フォークリフトの場所及び前記フォークリフトの前記フォークの前記上昇のうちの少なくとも一方に基づいて決定された場所内にあるかどうかを決定することと、
前記フォークリフトの前記場所及び前記フォークリフトの前記フォークの前記上昇のうちの少なくとも一方に基づいて決定された前記場所内に物体を検出したことに応答して、衝突警告イベントをトリガすることと、
をさらに含む、請求項1に記載の方法。
【請求項10】
前記1つ又は複数のセンサが、近接センサを含み、
物体が前記フォークリフトの場所及び前記フォークリフトの前記フォークの前記上昇のうちの少なくとも一方に基づいて決定された場所内にあるかどうかを決定することが、前記近接センサの出力に基づいて、物体が前記フォークリフトから閾値距離内にあるかどうかを決定することを含む、請求項9に記載の方法。
【請求項11】
前記1つ又は複数のセンサが、前記フォークリフトの前記フォークの移動軸に沿って物体を検出するためのセンサを含み、
物体が前記フォークリフトの場所及び前記フォークリフトの前記フォークの前記上昇のうちの少なくとも一方に基づいて決定された場所内にあるかどうかを決定することが、前記フォークリフトの前記フォークの移動軸に沿って物体を検出するためのセンサの出力に基づいて、物体が前記フォークリフトの前記フォークの下にあるかどうかを決定することを含む、請求項9に記載の方法。
【請求項12】
前記フォークリフトの前記フォークの移動軸に沿って物体を検出するための前記センサが、下向き近接センサ、下向き赤外線センサ、下向きカメラ、下向き飛行時間スキャナ、及び、下向き構造化光スキャナのうちの1つである、請求項11に記載の方法。
【請求項13】
前記フォークリフトの前記フォークの移動軸に沿って物体を検出するためのセンサの出力に基づいて、物体が前記フォークリフトの前記フォークの下にあるかどうかを決定することが、前記フォークリフトの前記フォークの推定高さよりも低い高さで前記フォークリフトの前記フォークの前記移動軸の内側の物体を検出することを含む、請求項11に記載の方法。
【請求項14】
前記衝突警告イベントは、前記検出された物体が所定の温度範囲内の温度を有するという決定に応答してトリガされる、請求項11に記載の方法。
【請求項15】
前記所定の温度範囲が人体の典型的な温度に基づいて設定される、請求項14に記載の方法。
【請求項16】
フォークリフトであって、
荷物を保持するパレットをハンドリングするためのフォークと、
前記フォークリフトによって運搬されている前記荷物の質量分布を決定するための荷物センサのセットを備えるセンサのセットと、
前記フォークリフトによって運搬されている前記荷物の質量分布及び前記フォークリフトの前記フォークの上昇に少なくとも部分的に基づいて前記フォークリフトの運動学を監視し、緊急停止を実行すると決定したことに応答して、前記フォークリフトの前記運動学に基づいて前記フォークリフトについての減速限界を決定し、前記決定された減速限界に基づいて前記フォークリフトのブレーキを作動させるように構成された緊急停止モジュールと、
を具備する、フォークリフト。
【請求項17】
前記緊急停止モジュールが、前記フォークリフトのカメラによってキャプチャされた1つ又は複数のビデオフィードの待ち時間及び前記フォークリフトのカメラによってキャプチャされたビデオフィードのペア間の非同期間隔のうちの少なくとも一方に基づいて前記緊急停止を実行すると決定する、請求項16に記載のフォークリフト。
【請求項18】
物体が前記フォークリフトの場所及び前記フォークリフトの前記フォークの前記上昇のうちの少なくとも一方に基づいて決定された場所内にあると決定したことに応答して、衝突警告イベントをトリガするように構成された衝突警告モジュール、
をさらに具備する、請求項16に記載のフォークリフト。
【請求項19】
フォークリフトを制御するための命令を記憶する非一時的コンピュータ可読記憶媒体であって、前記命令は、プロセッサによって実行されると、前記プロセッサに、
前記フォークリフトによって運搬されている荷物の質量分布を決定させ、
前記フォークリフトによって運搬されている荷物の前記質量分布及び前記フォークリフトのフォークの上昇に少なくとも部分的に基づいて前記フォークリフトの運動学を監視させ、
緊急停止を実行すると決定させ、
前記緊急停止を実行すると決定したことに応答して、前記フォークリフトの前記運動学に基づいて前記フォークリフトについての減速限界を決定させ、
前記決定された減速限界に基づいて前記フォークリフトのブレーキを作動させる、非一時的コンピュータ可読記憶媒体。
【請求項20】
前記命令が、さらに、前記プロセッサに、
前記フォークリフトに埋め込まれた1つ又は複数のセンサを分析させ、
物体が前記フォークリフトの場所及び前記フォークリフトの前記フォークの前記上昇のうちの少なくとも一方に基づいて決定された場所内にあるかどうかを決定させ、
前記フォークリフトの前記場所及び前記フォークリフトの前記フォークの前記上昇のうちの少なくとも一方に基づいて決定された前記場所内に物体を検出したことに応答して、衝突警告イベントをトリガさせる、請求項19に記載の非一時的コンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本出願は、2021年2月23日に出願された米国仮出願第63/152,818号明細書の利益を主張し、その全体が参照により組み込まれる。
【0002】
本開示は、一般に、コネクテッド型の乗り物に関し、より具体的には、倉庫又は他の産業及び物流環境における遠隔動作される貨物及びユーティリティ乗り物(utility vehicle)のための安全機構に関する。
【背景技術】
【0003】
コンピューティング及びネットワーク技術の継続的な急増は、人間の努力のあらゆる分野に大きな影響を与える。他の効果の中でも、コンピュータのサイズ及び電力要件の減少、並びにセルラー通信の進歩及び急速に低下するコストは、輸送及び物流産業を最適化するための莫大な機会を生み出した。乗用の乗り物及びタクシーの完全に自律型の車両群を構築するという目標は公衆の注目を集めているが、安全上の考慮事項は、自律型の乗り物を動作させる機械知能が安全に進行することができない場合には、乗り物が遠隔運転者によって制御される遠隔操作能力も有するべきであることを要求している。遠隔操作はまた、産業用途でも使用される可能性があり、カスタム情報システム及び拡張現実ディスプレイと融合することによって、人間の怪我の可能性を低減し、産業用乗り物のオペレータの全体的な効率を改善する。しかし、産業用乗り物の遠隔操作システムに関するあらゆる実装は、安全な動作を可能にするために、いくつかの特別なシナリオを認識して取り扱うべきである。
【発明の概要】
【発明が解決しようとする課題】
【0004】
遠隔動作システムは、ユーティリティ乗り物(フォークリフトなど)を支援する。遠隔動作システムは、フォークリフトの安全な操作が困難であると決定した場合、緊急停止を安全に実施するようにフォークリフトを制御する。フォークリフトの緊急停止を実施するために、遠隔動作システムは、フォークリフトによって運搬されている荷物の質量分布、及びフォークリフトのフォークの上昇に少なくとも部分的に基づいてフォークリフトの運動学を監視する。さらに、緊急停止を実行すると決定したことに応答して、遠隔動作システムは、フォークリフトの運動学に基づいてフォークリフトについての減速限界を決定し、決定された減速限界に基づいてフォークリフトのブレーキを作動させる。
【0005】
いくつかの実施形態では、遠隔動作システムは、フォークリフトの遠隔オペレータからの緊急停止メッセージの受信に応答して、緊急停止を実施する。さらに、遠隔動作システムは、フォークリフトの動作を制御するために使用される1つ又は複数のビデオフィードの待ち時間が閾値待ち時間を超えると決定したことに応答して、緊急停止を実施することができる。加えて、遠隔動作システムは、フォークリフトの動作を制御するために使用されるビデオフィードのペア間の非同期間隔が非同期閾値を超えると決定したことに応答して、緊急停止を実施することが可能である。さらに別の例では、遠隔動作システムは、閾値数のキープアライブ信号を受信できなかったことに応答して、緊急停止を実施することができる。
【0006】
いくつかの実施形態では、遠隔動作システムは、フォークリフトによって運搬されている荷物の質量分布、及び運動学方程式のセットが解かれている際のフォークの上昇に基づいて運動学方程式のセットを周期的に解く。緊急停止を実行すると決定したことに応答して、遠隔動作システムは、運動学方程式のセットの最新の解を検索し、検索された解に基づいて減速限界を決定する。いくつかの実施形態では、フォークリフトによって運搬されている荷物の質量分布は、フォークリフト用のフォークに埋め込まれた荷物センサのセット、及びフォークリフトのホイールのセットに埋め込まれた圧力センサのセットの少なくとも1つを使用して決定される。
【0007】
さらに、遠隔動作システムは、フォークリフトに埋め込まれた1つ又は複数のセンサによってキャプチャされたデータを分析し、物体がフォークリフトの場所、及び/又はフォークリフトのフォークの上昇に基づいて決定された場所内にあるかどうかを決定することができる。遠隔動作システムが物体がその場所内にあると決定した場合、遠隔動作システムは、衝突警告イベントをトリガする。
【図面の簡単な説明】
【0008】
【
図1】
図1は、1つ又は複数の実施形態による、スマート倉庫レイアウトの図である。
【
図2A】
図2Aは、1つ又は複数の実施形態による、フォークリフト遠隔動作システムの図である。
【
図2B】
図2Bは、1つ又は複数の実施形態による、遠隔フォークリフト動作システムの例示的な制御モジュールを示す図である。
【
図3A】
図3Aは、1つ又は複数の実施形態による、様々なフォークリフトタイプの図である。
【
図3B】
図3Bは、1つ又は複数の実施形態による、様々な輸送モードの図である。
【
図4】
図4は、1つ又は複数の実施形態による、標準的なタンク操舵方法の図である。
【
図5】
図5は、1つ又は複数の実施形態による、フォークリフト動作プロトコルの図である。
【
図6】
図6は、1つ又は複数の実施形態による、複合現実視覚表示システムインジケータの図である。
【
図7】
図7は、1つ又は複数の実施形態による、カメラ視野インジケータの図である。
【
図8】
図8は、1つ又は複数の実施形態による、パレットをフォークリフトのフォーク上に積載するようにフォークリフトを制御するためのフロー図である。
【
図9】
図9は、1つ又は複数の実施形態による、フォークリフトの緊急停止を制御するためのフロー図である。
【発明を実施するための形態】
【0009】
自律運転技術、無線通信、及びネットワーク化されたマルチメディアツールにおける最近の進歩は、モノのインターネット製品の普及及び複数の産業のデジタル変換を可能にしている。ネットワーク化されたアプリケーションスタック及びクラウドコンピューティングの信頼性の向上により、道路又は産業用乗り物の遠隔操作などの高い安全要件を有する用途にこの手法を採用することが実用的になっている。
【0010】
構成の概要
遠隔フォークリフト動作システムは、ベース乗り物(base vehicle)と、ドライブバイワイヤシステムと、車載コンピューティングシステムと、センサスイート及びネットワークインターフェースと、オペレータコンソールとを含むフォークリフトを含む。次いでオペレータコンソールは、ヒューマンインターフェースデバイス又はその複数と、視覚表示システムと、コンピュータと、ネットワークインターフェースとを含む。フォークリフト及びオペレータコンソールのネットワークインターフェースは、プライベート又はパブリックデジタルネットワークを介してフォークリフトとオペレータコンソールとの間の通信を可能にする。
【0011】
一実施形態では、システムは、オペレータが遠隔動作の安全性に関連する情報を視覚的、グラフィック、又は数値形式で知覚することを可能にするために、オペレータコンソールに表示される拡張現実層(ARL)をさらに含む。
【0012】
一実施形態では、システムは、無線接続状態、他の乗り物及び倉庫内の人員の活動、並びにオペレータのスキルレベルなどの外部変数と内部変数の両方に基づいてオペレータが操縦の危険レベルを評価することを可能にする、危険推定モジュールをさらに含む。
【0013】
一実施形態では、システムは、オペレータが傾斜面上でフォークリフトを安全に動作させることを可能にする、斜面横断支援モジュールをさらに含む。
【0014】
一実施形態では、システムは、オペレータが倉庫を効率的にナビゲートすることを可能にする、視聴覚ガイダンスモジュールをさらに含む。
【0015】
一実施形態では、システムは、オペレータが貨物倉又はラックスロットへの入口に対してフォークリフトを効果的に位置決めすることを可能にする、横方向測位ガイダンスモジュールをさらに含む。
【0016】
一実施形態では、システムは、測距センサ、レーザガイドライン、又は非コヒーレント照明器具に基づくパレットスロット照明モジュールをさらに含む。
【0017】
一実施形態では、システムは、フォークリフトのフォークがパレットのいずれかの部分と接触しているかどうか、及びそれらがパレット開口部に挿入される深さをオペレータが決定することを可能にする、フォーク接触及び位置検出モジュールをさらに含む。
【0018】
一実施形態では、システムは、フォークリフト本体及びフォークの周り、又はフォークの下若しくは上の潜在的に危険な場所にある物体及び材料を識別し、それらまでの距離を決定する障害物検出モジュールをさらに含む。
【0019】
一実施形態では、システムは、緊急停止モジュールをさらに含み、緊急停止モジュールは、キープアライブ信号モニタ、データ待ち時間モニタ、ビデオ待ち時間及び品質モニタ、ネットワークモニタ、手動トリガデバイスの1つ又は複数を備える。
【0020】
さらなる実施形態では、システムは、緊急停止モジュールと一体化された衝突回避モニタをさらに含み、人員、乗り物、又は材料との衝突をもたらす可能性があるアクションを制限する。いくつかの実施形態では、システムは、潜在的に危険な緊急停止操縦及びそれらの制限の算出を可能にする運動学解モジュールを含む。
【0021】
一実施形態では、システムは、オペレータがフォークリフトの知覚される前方と後方を切り替えることを可能にする、双方向運転支援をさらに含む。さらなる実施形態では、システムは、現場の人員が、現在オペレータの注意の焦点であるフォークリフト周囲のセクタを正確に評価することを可能にする、フォークリフトと一体化された現在の進行方向インジケータをさらに含む。
【0022】
一実施形態では、システムは、オペレータステーション又は車載コンピュータが、明るく照らされたエリアと暗く照らされたエリアとの間の移動に起因する悪影響を除去又は補償することを可能にする、高ダイナミックレンジビデオシステムをさらに含む。
【0023】
一実施形態では、システムは、アクセスポイントの場所、倉庫内の乗り物及び材料の位置及び姿勢、又は他のパラメータに基づく無線ネットワーク接続モデルをさらに含む。
【0024】
システムアーキテクチャ
図1は、1つ又は複数の実施形態による、倉庫施設100に位置するフォークリフト101(又は他のユーティリティ乗り物)の遠隔動作の例示的な設定を示している。いくつかの実施形態では、倉庫施設100に位置するフォークリフト101又は他のユーティリティ乗り物は、近接するオフィス109又は離れたネットワーク化された場所110に位置するオペレータステーション108からの人間のエージェントによって動作される。倉庫施設100は、積載ドック104、ピッキングエリア105、及びパレットラック106のブロックに隣接する、1つ又は複数の積載エリア102及び降下エリア103を有することができる。ラック106間のパレットの水平又は垂直輸送、並びに貨物トラック107の積載及び荷降ろしを実施するために、複数のタイプのフォークリフト101を利用することができる。しかし、フォークリフト101を遠隔動作させ、安全に、確実に、かつ効率的にその機能を実施するタスクは、道路又は歩道の乗り物の遠隔動作では一般的ではないいくつかの課題を解決する必要がある。
【0025】
図2Aは、1つ又は複数の実施形態による、例示的な遠隔フォークリフト動作システム200を示している。遠隔フォークリフト動作システム200は、フォークリフト101と、オペレータステーション108とを含む。次いでフォークリフトは、ベース乗り物201と、ドライブバイワイヤシステム202と、車載コンピューティングシステム203と、センサスイート204と、ネットワークインターフェース205(又はその複数)とを含むことができる。さらに、次いでオペレータステーション108は、ヒューマンインターフェースデバイス206(又はその複数)、視覚表示システム207、コンピュータ208、及びネットワークインターフェース209(又はその複数)とすることができる。ネットワークインターフェース205、209は、プライベート又はパブリックデジタルネットワーク210(又はその複数)を介してフォークリフト101とオペレータステーション108との間の通信を可能にする。
【0026】
図2Bは、1つ又は複数の実施形態による、遠隔フォークリフト動作システム200の例示的な制御モジュールを示している。いくつかの実施形態では、遠隔フォークリフト動作システム200の制御モジュールは、測位支援モジュール250、斜面横断モジュール254、傾斜ベクトルデータセット255、監督及び緊急停止モジュール(supervisor and emergency stop module)260、障害物検出及び衝突警告モジュール262、並びに警告モジュール264を含む。いくつかの実施形態では、
図2Bに示す遠隔フォークリフト動作システム200の制御モジュールの1つ又は複数の構成要素は、フォークリフト101の車載コンピューティングシステム203に実装される。加えて、いくつかの実施形態では、
図2Bに示す遠隔フォークリフト動作システム200の制御モジュールの1つ又は複数の構成要素は、オペレータステーション108のコンピュータ208に実装される。
【0027】
測位支援モジュール250は、パレット積載モジュール251と、パレット荷降ろしモジュール252と、パレットハンドリングモジュール254とを含む。パレット積載モジュール251は、フォークリフト101を制御し、パレットをフォークリフトのフォーク上に積載するように構成される。パレット荷降ろしモジュール252は、フォークリフト101を制御し、フォークリフトのフォークからパレットを荷降ろしするように構成される。さらに、パレットハンドリングモジュール253は、フォークリフト101を制御し、パレットを操作するように構成される。測位支援モジュール250のより詳細な動作は、以下に提供される。
【0028】
斜面横断モジュール254は、遠隔運転者が傾斜面を通ってフォークリフト101をナビゲートするのを支援するように構成される。斜面横断モジュール254は、傾斜ベクトルデータセット255から傾斜ベクトル情報を検索するように構成される。傾斜ベクトルデータセット255に記憶された情報は、事前に又は1つ又は複数のフォークリフトの動作中にマッピングされた倉庫の横断可能面についての傾斜情報に対応する。斜面横断モデル254のより詳細な動作は、以下に提供される。
【0029】
監督及び緊急停止モジュール260は、フォークリフト動作システム200のネットワーク状態を監視するように構成され、ネットワーク状態が閾値レベルを下回ったときにフォークリフトを制御することができる。いくつかの実施形態では、監督及び緊急停止モジュール260は、フォークリフト動作システム200のネットワーク状態が閾値レベルを下回った場合、フォークリフト101の動作を停止するように構成される。監督及び緊急停止モジュール260のより詳細な動作は、以下に提供される。
【0030】
障害物検出及び衝突警告モジュール262は、フォークリフトの1つ又は複数のセンサからセンサデータを受信し、受信したセンサデータに基づいて物体又は障害物を検出するように構成される。いくつかの実施形態では、障害物検出及び衝突警告モジュール262は、物体がフォークリフトから所定の距離内にあるかどうか、又は物体がフォークリフトに対して所定の場所内(例えば、フォークリフトのフォークの下)にあるかどうかを決定する。いくつかの実施形態では、障害物検出及び衝突警告モジュール262は、物体がフォークリフトに対して所定の場所内で検出された場合、警告イベントをトリガするように構成される。例えば、障害物検出及び衝突警告モジュール262は、物体がフォークリフトの横断経路内のフォークリフトから設定距離内で検出された場合、衝突警告イベントをトリガすることができる。別の例では、障害物検出及び衝突警告モジュール262は、物体がフォークリフトのフォークの下で検出された場合、フォーク衝突警告イベントをトリガすることができる。障害物検出及び衝突警告モジュール262のより詳細な動作は、以下に提供される。
【0031】
警告モジュール264は、フォークリフトに埋め込まれた信号デバイスを制御し、フォークリフトによって実施されている1つ又は複数のアクションをフォークリフトの周囲の人々に警告するように構成される。例えば、警告モジュール264は、フォークリフトによって実施されている操縦に基づいて聴覚又は視覚信号デバイス(スピーカ又はライトなど)のセットを制御することができる。警告モジュール264のより詳細な動作は、以下に提供される。
【0032】
図3Aは、1つ又は複数の実施形態による、様々なタイプのフォークリフトを示している。
図3Bは、1つ又は複数の実施形態による、フォークリフトについての様々な輸送モードを示している。
図3Aに示されるように、フォークリフトは、スタッカ、カウンターバランス、パレットジャッキ、リーチトラック、タガー、又は他のタイプのフォークリフト若しくはユーティリティ乗り物であってもよい。さらに、
図3Bに示されるように、フォークリフトによって実施されるパレット輸送のモードは、水平移動301、垂直移動302、又は積載/荷降ろしプロセス303を含むことができる。
【0033】
図4は、様々な実施形態による、様々な操舵方法を示している。
図4に示されるように、ベース乗り物201の操縦モードは、規則的なステア401又はタンクステア402のいずれかとして実施されてもよい。規則的なステア401において、ベース乗り物201は、第1のホイール対(例えば、左前ホイール及び右前ホイールを含む前ホイール、又は左後ホイール及び右後ホイールを含む後ホイール)を操舵し、第2のホイール対に動力を供給することによって旋回することができる。タンクステア402において、ベース乗り物201は、両方のホイール対の第1の側に動力を供給して一方向に回転させ、両方のホイール対の第2の側に動力を供給して反対方向に回転させることによって旋回することができる。例えば、ベース乗り物201は、前方向に左前ホイール及び左後ホイールを旋回させ、逆方向に右前ホイール及び右後ホイールを旋回させて右折してもよい。同様に、ベース乗り物201は、逆方向に左前ホイール及び左後ホイールを旋回させ、前方向に右前ホイール及び右後ホイールを旋回させて左折してもよい。
【0034】
図5は、1つ又は複数の実施形態による、フォークリフトの動作のフロー図を示している。フォークリフトは、最初にパレットをピックアップすることができる。パレットをピックアップするために、フォークリフト201は、倉庫の床の起点に位置するパレット又はパレットラックに接近し501、パレット開口部に対してフォークを位置決めする502ことができる。いくつかの実施形態では、パレットをピックアップするために、フォークリフト201は、フォークを開口部に挿入するように移動し503a、フォークを上昇させる503c。あるいは、他の実施形態では、パレットをピックアップするために、フォークリフト201は、プッシュ/プルフォーク取付具を伸長させ503c、プッシュ/プルフォーク取付具を作動させ503d、プッシュ/プルフォーク取付具を後退させる503e。
【0035】
パレットをピックアップした後、フォークリフト201は目的地までナビゲートし504、指定されたスロット(例えば、積載ゾーン102、降下ゾーン103、若しくはピッキングエリア105における床の上、又はパレットラック106内)に接近し505、指定されたスロットの上に荷物を位置決めする506ことができる。さらに、パレットが指定されたスロットの上に位置決めされると、フォークリフト201は、指定されたスロットでパレットを降下させる。指定されたスロットでパレットを降下させる場合、フォークリフトは、フォークを下降させて507aパレットを解放する。あるいは、他の実施形態では、指定されたスロットでパレットを降下させるために、フォークリフトは、フォークを下降させ507b、プッシュ/プルフォーク取付具を作動させ507c、プッシュ/プルフォーク取付具を伸長させる507d。
【0036】
図2Aに戻って参照すると、一実施形態では、フォークリフト101は、1つ又は複数の無線接続とは対照的に、フレキシブルネットワークケーブルを介してオペレータステーション108に接続することができる。例えば、そのような実施形態は、フォークリフトの限られた可動性しか必要とされない状況(例えば、その機能は、1つ又は複数の隣接するドックを介してパレットをトラックに積載することである)及び無線通信チャネルが信頼できない又は望ましくない可能性がある状況(例えば、規制によって課される無線無音の維持に起因して、又はそれぞれの帯域における高レベルの無線ノイズに起因して)で使用されてもよい。
【0037】
一実施形態では、視覚表示システム207は、複合現実層又はヘッドアップディスプレイをさらに含み、実質的にリアルタイムでグラフィック又は数値形式でコネクテッド型のフォークリフト101の1つ又は複数の技術パラメータの状態を更新及び表示することができる。一例として、
図6に示されるように、視覚表示システム207は、フォークリフト101の個々のホイール内の空気圧を示す第1のインジケータ601、フォークリフト101の個々のサスペンションハードポイントが受ける力を示す第2のインジケータ602、ジャイロスコープ、加速度計、磁力計、又は他のタイプの慣性測定ユニットなどのセンサの読み取り値に基づいてフォークリフトの傾きを示す第3のインジケータ603、又は(例えば、荷物を運搬する)フォークリフト101の重心を示す第4のインジケータ604を含むことができる。
【0038】
さらなる実施形態では、インジケータ値が予め定義された閾値を超えたことに応答して、視覚表示システム207は、インジケータ601、602、603、604の視覚的表現を変更することができる。
【0039】
一実施形態では、視覚表示システム207は、フォークリフト101上で現在アクティブなカメラの利用可能な視野(FoV)のインジケータをさらに含むことができる。一例として、
図7に示されるように、FoVインジケータ701は、フォークリフト101の概略的なトップダウン表現と、各カメラの視野の縁部を表す光線とを含むことができる。
【0040】
さらなる実施形態では、FoVインジケータ701は、カメラによって現在キャプチャされているビデオフィード704の変換されたテクスチャ、又は他のセンサ204によって取得されたデータの記号表現、例えば実線マーカ702として表される測距センサ204によって現在検出されている障害物、又はフェードアウトマーカ703として表されるそれらの履歴の最後に見た位置をさらに表示することができる。
【0041】
図2Aに戻って参照すると、一実施形態では、センサスイート204は、フォーク搭載カメラ又はソナーなどの近接センサをさらに含むことができ、遠隔オペレータが、特にフォークが上昇又は伸長したとき、乗り物101のフォーク又は貨物がラック106上の隣接するパレット又は材料と衝突する潜在的なリスクを評価することを可能にする。
【0042】
さらなる実施形態では、オペレータステーション108は、ビデオ焦点制御をさらに含むことができる。ビデオ焦点制御の手動又はプログラムによる作動に応答して、オペレータステーション108は、1つ又は複数のビデオフィードを拡大、再位置決め、強調表示、改善、又は他の方法で操作することができる。例えば、そのような手法は、後退している間に後方カメラのビデオフィードにオペレータの注意を集中させるために、又はフォークに近接した材料の検出に応答してフォーク搭載カメラのビデオフィードにオペレータの注意を集中させるために使用され得る。
【0043】
さらなる実施形態では、視覚表示システム207は、フォーク状態インジケータをさらに含むことができる。例えば、フォーク状態インジケータは、グラフィック又は数値形式でフォーク上昇の現在の状態を表示することが可能である。さらなる実施形態では、フォーク状態インジケータは、危険を構成する可能性がある、フォークが閾値レベルを超えて伸長又は上昇した状態でかなりの期間にわたってフォークリフト101を運転するオペレータに応答してアラームを表示することができる。
【0044】
フォークリフトパレット積載モジュール
パレット積載モジュール251は、フォークリフト101の制御を支援し、パレットをフォークリフトのフォーク上に積載するように構成される。フォークリフト101の遠隔動作中にこの手順を実施するには、いくつかの課題がある。パレットをフォークリフトのフォーク上に積載するために、オペレータは、最初にパレット開口部に対して横方向にフォークリフト101を正確に位置決めし、続いてフォークを上昇させてパレットを持ち上げる前に、フォークをパレット開口部に全長で挿入する必要がある。
【0045】
一実施形態では、測位支援モジュール250のパレット積載モジュール251は、フォークリフトのオペレータが規則的なステア又はタンクステアのフォークリフト101を用いてパレット接近軌道に従うのを支援する。例示的な実施形態では、パレット積載モジュール251は、手動入力方法又はプログラムインターフェースを使用して、オペレータ又は倉庫自動操作がそれぞれ対象パレットを識別すること、コンピュータビジョン(CV)構成要素がパレット開口部を識別して乗り物に対するパレットの距離を決定すること、及び視覚表示システム207内の複合現実インジケータ(乗り物の現在の並進及び回転速度又は加速度が維持されるという仮定の下で算出された推定された左右のホイールトラックの表現など)を可能にすることができる。別の実施形態では、遠隔フォークリフト動作システム200は、解の精度を高めるために、パルス若しくは連続波LIDAR、レーダ、又はソナーなどの飛行時間測距センサ204をさらに含むことができる。
【0046】
図8は、1つ又は複数の実施形態による、パレットをフォークリフトのフォーク上に積載するようにフォークリフトを制御するためのフロー図を示している。遠隔フォークリフト動作システム200は、フォークリフトのオペレータからの操舵、加速、又は減速コマンドを受信する810。オペレータが操舵、加速、又は減速コマンドを発行するのに応答して、測位支援モジュール250のパレット積載モジュール251は、推定乗り物軌道及びそれぞれの複合現実インジケータにおけるその表現を決定する820。パレット積載モジュール251が、推定乗り物軌道が最適な場所でパレット開口部面を遮らないと決定したことに応答して、パレット積載モジュール251は、パレット開口部に対して乗り物を位置決めする加速度及び操舵解を算出し830、オペレータに数値若しくはグラフィック形式で複合現実インジケータ上に動作推奨事項を提示するか、又はHID触覚フィードバック、聴覚フィードバック、若しくは他の種類のフィードバックを提供する840。さらなる実施形態では、パレット積載モジュール251が、安全なパレット接近解が存在しないと決定したことに応答して、測位支援モジュールは、視覚、聴覚、又は他のタイプの警告信号を発する850。
【0047】
一実施形態では、フォークリフト101は、パレット開口部を照明するために、1つ又は複数の懐中電灯、LED、又は他の非コヒーレント光源をさらに含む。
【0048】
一実施形態では、フォークリフト101は、フォークと軸方向に整列した1つ又は複数の光波長レーザをさらに含む。そのようなレーザによって提供される照明は、オペレータの遠近感を改善するのに役立つ。
【0049】
一実施形態では、フォークリフト101は、フォーク先端又はフォーク上の他の場所又はフォークに沿って位置決めされた1つ又は複数のカメラをさらに含む。
【0050】
一実施形態では、フォークリフト101は、フォークと整列した1つ又は複数の構造化光又は飛行時間センサ204をさらに含み、視覚表示システム207は、フォークガイダンス複合現実要素又は聴覚ガイダンスをさらに含む。構造化光又は飛行時間センサ204による測定値の取得に応答して、視覚表示システム207は、パレット開口部の真の幾何学的形状、フォークに対するその位置、及び内部の潜在的な障害物を記述する複合現実要素又はその複数をレンダリング若しくは調整するか、又は聴覚ガイダンス信号を生成する。
【0051】
さらなる実施形態では、オペレータステーション108は、上述のパレット開口部照明デバイスのオン/オフを切り替える、又はそれらの輝度若しくは電力レベルを操作するヒューマンインターフェースデバイス(HID)又は複合現実制御をさらに含むことができる。
【0052】
さらなる実施形態では、フォークリフト101は、予め定義された規則に従って上述のパレット開口部照明デバイスのオン/オフを切り替える自動操作をさらに含むことができる。例えば、フォークリフト101は、フォークリフト101が対象パレットへの有効な接近軌道上にあるとの確認を生成したパレット積載モジュール251に応答して、レーザフォークガイダンスを自動的にオンに切り替えることができる。
【0053】
一実施形態では、センサスイート204は、フォーク(例えば、その基部において、その軸に沿って)に搭載された測距デバイス(超音波ソナー又はステレオカメラなど)又はその複数をさらに含み、視覚表示システム207は、ガイダンス要素又はその複数(例えば、各々が測距デバイスを表す一連の点灯した又は点灯していない円)をさらに含む。異なるフォーク挿入深さにおいて、測距デバイスの異なるサブセットは、近位の障害物までの短い距離を観察することになる。能動測距デバイスサブセットの変化に応答して、視覚表示システムは、それぞれの測距デバイスの表現を変化させる。
【0054】
さらなる実施形態では、オペレータステーション108は、測距デバイスのフルセットの作動に応答して視覚又は聴覚信号をさらに生成することができる。
【0055】
フォークリフトパレット荷降ろしモジュール
パレット荷降ろしモジュール252は、フォークリフト101の制御を支援し、フォークリフトのフォークからパレットを荷降ろしするように構成される。フォークリフト101の遠隔動作中にこの手順を実施するには、いくつかの課題がある。パレットを荷降ろしするとき、フォークは、その上面でパレットとの接触を完全に失うが、パレットが解放されてそこから離れることを考慮する前に、その底面でパレットとまだ接触しないように十分に下降させなければならない。
【0056】
一実施形態では、センサスイート204は、フォークの上面及び底面に設置された1つ又は複数の近接センサ対をさらに含むことができる。上部センサ及び底部センサによって測定された平均、最小、又は他の集合距離は、それぞれDT及びDBと呼ばれる。
【0057】
さらなる実施形態では、DT値とDB値の両方が予め定義された閾値を超えたことに応答して、パレット荷降ろしモジュール251は、フォークがパレットから係合解除されたと決定する。
【0058】
別の実施形態では、パレット荷降ろしモジュール251は、実質的にリアルタイムでDT値及びDB値を監視する。積P(t)=DT(t)・DB(t)がフォーク下降プロセス中にピーク値に達し、減少し始めること、又はP(t)の導関数若しくはゼロに接近する若しくはゼロになることに応答して、パレット荷降ろしモジュール251は、フォークがパレットから係合解除されたと決定する。そのような実施形態は、パレット開口部の底部と上部の両方から最適な距離を達成することを可能にする。
【0059】
別の実施形態では、センサスイート204は、フォークと軸方向に整列し、フォーク面の上及び下に位置決めされた既知のビームコーン角を有する1つ又は複数の光波長レーザ又は指向性光をさらに含むことができ、パレット荷降ろしモジュール251は、光源によって生成された光点までの距離を決定するCVモジュールをさらに含むことができる。パレット荷降ろしモジュール251が、すべての光点までの距離が予め定義された閾値を超えると決定したことに応答して、パレット荷降ろしモジュール251は、フォークがパレットから係合解除されたと決定する。
【0060】
別の実施形態では、センサスイート204は、フォークの上面及び底面に設置されたピエゾメータ、圧力スイッチ、容量性センサ、電磁センサ、又は他の圧力センサなどの1つ又は複数の圧力センサをさらに含むことができる。予め定義された閾値を下回る圧力レベルを報告するすべて又は閾値数の圧力センサに応答して、パレット荷降ろしモジュール251は、フォークがパレットから係合解除されたと決定する。
【0061】
別の実施形態では、フォークリフト101は、フォークの上面及び底面に設置され、圧力下でフォークの表面に沈むことが可能であり、それによって電気回路を閉じるか、又はばねの影響下で飛び出して電気回路を開くことができ、又はその逆も可能な、1つ又は複数の導電性ばね搭載型可動押出要素をさらに含むことができる。すべて又は閾値数の電気回路が可動要素のばね上昇押出状態に対応する状態にあることを示すパレット荷降ろしモジュール252のそれぞれの入力に応答して、パレット荷降ろしモジュール251は、フォークがパレットから係合解除されたと決定する。
【0062】
別の実施形態では、センサスイート204は、フォークの上面及び底面に設置された1つ又は複数の音響発生器及びセンサ対をさらに含むことができる。固体連続媒体における音速は一般的に、特に木材では空気中の音速の10倍であるため、発生器において音パルスを発し、センサへのパルスの異なる到達時間を測定することによって、センサと発生器との間の接触の有無を区別することが可能である。パレット荷降ろしモジュール252が、フォーク材料における空中伝送又は伝送のみに対応する到達時間、及びパレットの木製又はプラスチック材料に対応するパルス到達時間の不在を検出することに応答して、パレット荷降ろしモジュール251は、フォークがパレットから係合解除されたと決定する。
【0063】
別の実施形態では、センサスイート204は、フォークの上面及び底面に設置されたISM(2.4GHz)周波数又は他の周波数における1つ又は複数の誘電率測定デバイスをさらに含むことができる。測定された誘電率プロファイルがパレットの木製又はプラスチック材料のプロファイルと不一致であることに応答して、パレット荷降ろしモジュール251は、フォークがパレットから係合解除されたと決定する。
【0064】
フォークリフトパレットハンドリングモジュール
パレットハンドリングモジュール253は、フォークリフト101の制御を支援し、ラック棚上のパレット又は貨物を操作するように構成される。ラック棚上のパレット又は貨物は、異なる高さに位置する可能性があり、カメラを介してオペレータが十分に観察できない場合があり、したがって正確に垂直フォーク移動を実施することが困難になる。
【0065】
一実施形態では、センサスイート204は、高い垂直FoV(高VFoV)を有するカメラをさらに含む。例えば、そのようなカメラは、倉庫100内のラック棚の平均予想高さに設置されてもよい。さらなる実施形態では、オペレータステーション108は、結果として得られるビデオフィードが長方形になるように、直線投影への高VFoVカメラのビデオフィードの変換、及びビデオフィード角の切り詰めを実施することができる。
【0066】
一実施形態では、フォークリフト101は、フォーク先端又はフォーク上の他の場所又はフォークに沿って位置決めされた1つ又は複数のカメラをさらに含む。
【0067】
一実施形態では、フォークリフト101は、1つ又は複数の自由度を有する伸長可能な機械アームと、アーム先端又はフォーク上の他の場所又はフォークに沿って位置決めされた1つ又は複数のカメラとをさらに含み、オペレータステーション108は、必要な棚に対して機械アームを位置決めする手動又は自動制御をさらに含む。
【0068】
一実施形態では、フォークリフト101は、取り外し可能な空中ドローンと、ドローン上に位置する1つ又は複数のカメラとをさらに含み、オペレータステーション108は、必要な棚に対してドローンを位置決めする手動又は自動制御をさらに含む。
【0069】
一実施形態では、フォークリフト101は、各々が倉庫100内のラック棚の予想高さに対応する、異なる高さに位置決めされた複数のカメラをさらに含む。
【0070】
一実施形態では、倉庫100は、ラック棚に対して位置決めされた静的又は可動カメラをさらに含み、オペレータステーション108は、倉庫カメラからのビデオフィードを選択して視覚表示システム207に表示する手動又は自動制御をさらに含む。
【0071】
フォークリフト斜面横断モジュール
斜面横断モジュール254は、遠隔運転者が傾斜面を通ってフォークリフト101をナビゲートするのを支援するように構成される。一実施形態では、レム斜面横断モジュール254は、遠隔オペレータが狭い斜面上で正しく安全に運転する傾斜を評価することを可能にするという少なくとも2つの目的を果たすことができる。
【0072】
一実施形態では、視覚表示システム207は、床傾斜インジケータをさらに含むことができ、センサスイート204は、ジャイロスコープ、加速度計、磁力計、又は他のタイプの慣性測定ユニット(IMU)をさらに含むことができる。フォークリフト101に搭載されたIMUによる測定値の取得に応答して、車載コンピュータ203は、1つ又は複数の無線ネットワーク210を介して測定値をオペレータステーション108に送信する。コンピュータ208によるIMU測定値の受信に応答して、斜面横断モジュール254は、視覚表示システム207における床傾斜インジケータを更新することができる(例えば、数値又はグラフィック形式で表示される)。
【0073】
別の実施形態では、遠隔フォークリフト動作システム200は、事前に又は動作中にマッピングされ、コンピュータ208にアクセス可能なそれぞれのデータベースに記憶された床傾斜ベクトルデータセット255をさらに含むことができ、センサスイート204は、無線三角測量、コンピュータビジョン、又は他の技法に基づく屋内測位システムをさらに含むことができる。測位システムによる測定値の取得に応答して、車載コンピュータ203は、1つ又は複数の無線ネットワーク210を介して測定値をオペレータステーション108に送信する。測位システムの測定値の受信に応答して、コンピュータ208は、測定値に対応する床傾斜ベクトルデータセット255から値を抽出し、抽出の成功に応答して、斜面横断モジュール254は、視覚表示システム207における床傾斜インジケータを更新することができる。
【0074】
一実施形態では、センサスイート204は、フォークリフトの基部の近くに搭載され、フォークリフトの並進運動の軸に沿って中心に置かれた1つ又は複数の高FoVカメラをさらに含むことができる。
【0075】
別の実施形態では、センサスイート204は、最大距離で乗り物201から横方向に突出するホイール又は乗り物201の構成要素に近接して搭載された2つ以上のカメラをさらに含むことができる。
【0076】
一実施形態では、遠隔フォークリフト動作システム200は、オペレータが効率的に倉庫100施設をナビゲートすることを可能にするナビゲーションモジュールをさらに含むことができる。この実施形態では、センサスイート204は、無線三角測量(BLEビーコン又はWiFiホットスポットなどの空間的に分散された無線モジュールを伴う)、コンピュータビジョン技法(バーコード、QRコード、又はArUcoマーカなどの空間的に分散されたタグを伴う)、又は他の技術に基づく屋内測位システムをさらに含むことができ、視覚表示システム207は、倉庫100の2D又は3Dのミニマップ表現をさらに含むことができ、これは、実質的にリアルタイムでフォークリフト101の位置、並びに聴覚又は複合現実ガイドラインの中心に置かれていてもよい。
【0077】
フォークリフト監督及び緊急停止モジュール
一実施形態では、遠隔フォークリフト動作システム200は、不安定な無線ネットワーク210の状態における安全性を改善する監督及び緊急停止モジュール260をさらに含むことができる。
【0078】
一実施形態では、オペレータステーション108は、緊急停止ボタン210をさらに含む。緊急停止ボタン210の手動作動に応答して、オペレータステーションは、オペレータステーション108でE-STOPイベントをトリガし、その後フォークリフト101に送信する。
【0079】
別の実施形態では、監督及び緊急停止モジュール260は、オペレータステーション108とフォークリフト101の両方でテレメトリ並びにコマンド&制御チャネル待ち時間を監視する。待ち時間値のいずれかが予め定義された閾値を超えたことに応答して、監督及び緊急停止モジュール260は、フォークリフト101又はオペレータステーション108で直接E-STOPイベントをトリガし、その後フォークリフト101に送信する。
【0080】
別の実施形態では、監督及び緊急停止モジュール260は、センサスイート204によって取得されたビデオフィードの待ち時間及び同期を監視する。待ち時間レベルが予め定義された閾値を超えたことの検出に応答して、又はビデオフィードの任意のペア間の最大非同期間隔が予め定義された閾値を超えたことの検出に応答して、監督及び緊急停止モジュール260は、オペレータステーション108でE-STOPイベントをトリガし、その後フォークリフト101に送信する。いくつかの実施形態では、各ビデオフィードフレームについての原点時間識別情報は、ビデオフィードのペア間の非同期間隔を識別するために使用される。例えば、ビデオフレームフォーマットは、コンピュータ203での符号化タイムスタンプ、又はコンピュータ203で追跡される順次増加する数値識別子(オペレータステーション108がより高速な非同期試験を実施するのを可能にするために、ビデオフィードごとに個別、又はそれらのうちの2つ以上に共通)を部分的に含むことができる。識別情報は、メタデータフィールド、又は数値フォーマット、QRコードフォーマット、又は他の種類の視覚的に表現可能な機械可読フォーマットのビデオフレームの一部を含み得る。
【0081】
さらなる実施形態では、監督及び緊急停止モジュール260は、規則的なキープアライブ信号のソースとして最後に見たビデオフィードIDを監視する。ビデオフィードにおける連続して欠落したキープアライブ信号の数が予め定義された閾値を超えたことの検出に応答して、監督及び緊急停止モジュール260は、オペレータステーション108でE-STOPイベントをトリガし、その後フォークリフト101に送信するか、又はそれぞれのビデオフィードをオフラインにマークし、ビデオ表示システム207におけるそのレンダリングを無効にする。無効にされたビデオフィードの総数が予め定義された閾値を超えたことに応答して、監督及び緊急停止モジュール260は、オペレータステーション108でE-STOPイベントをトリガし、その後フォークリフト101に送信する。
【0082】
別の実施形態では、監督及び緊急停止モジュール260は、無線ネットワーク210のサービス品質を監視し、予め定義されたE-STOPトリガルールセットを記憶する。ルールセットは、分析表現又は訓練済ニューラルネットワークなどのファジー論理コントローラを含むことができる。監督及び緊急停止モジュール260は、周期的に、一時的に、又は実質的にリアルタイムでルールセットに問い合わせ、無線ネットワーク210の現在及び/又は最近の状態を記述する1つ又は複数のデータ点を適用する。ルールセットが予め定義された閾値を超える危険推定値を返すことに応答して、監督及び緊急停止モジュール260は、フォークリフト101でE-STOPイベントをトリガする。
【0083】
図9は、1つ又は複数の実施形態による、フォークリフトの緊急停止を制御するためのフロー図を示している。特定のシナリオでは、荷物下でのフォークリフト101の完全かつ突然の停止は、フォークリフト101の安定性を失い転倒する可能性があるため、許容できない。同様に、いくつかの操縦は、動的安定性の喪失につながり、事故を引き起こす可能性がある。
【0084】
一実施形態では、監督及び緊急停止モジュール260は、貨物質量並びにフォークの分布、伸長、及び上昇を考慮したフォークリフト101の運動学を監視する910。次いで、監督及び緊急停止モジュール260は、緊急停止を実行するかどうかを決定する920(例えば、E-STOP命令の受信に基づいて、又はE-STOPイベントのトリガに基づいて)。緊急停止を実行すると決定したことに応答して、監督及び緊急停止モジュール260は、運動学方程式系を解いて減速限界を決定し930(例えば、最大安全減速度に基づいて)、解に従って緊急ブレーキを作動させる940。
【0085】
さらなる実施形態では、監督及び緊急停止モジュール260は、周期的に、一時的に、又は実質的にリアルタイムで運動学方程式系を解くことによって、最新の緊急ブレーキ解を維持する。緊急停止を実行すると決定したことに応答して、監督及び緊急停止モジュール260は、最も最近の解に従って緊急ブレーキを作動させる940。
【0086】
さらなる実施形態では、監督及び緊急停止モジュール260は、E-STOPイベントが任意の所与の瞬間にトリガされた場合に安全な緊急ブレーキ手順が総期間又はブレーキ距離などの予め定義された要件のセットに適合するようにフォークリフト101の操縦性又は速度に対する制限を課し、フォークリフト101に課された制限を違反させるオペレータコマンドを無視又は仲介する。
【0087】
フォークリフト障害物検出及び衝突警告モジュール
一実施形態では、フォークリフト101のセンサ204は、その主移動軸に沿って障害物検出を実施するソナーなどの近接センサをさらに含む。近接センサが予め定義された閾値よりも低い距離で障害物を検出したことに応答して、障害物検出及び衝突警告モジュール262は、衝突警告イベントをトリガすることができる。さらなる実施形態では、衝突警告イベントは、障害物までの推定距離に関する情報を部分的に含むことができる。例えば、そのような実施形態は、上昇したフォーク上のパレットを後退させながら、フォークリフトのラックとの衝突を防止するのに有用であり得る。
【0088】
いくつかのシナリオでは、現場の人員が上昇したフォークの下に位置するか、又はフォークを通過することが可能である。一実施形態では、フォークリフト101のセンサ204は、フォークの移動軸に沿って障害物検出を実施するソナーなどの下向き近接センサをさらに含む。近接センサがフォークの推定高さよりも低い距離でフォークリフト101のフォークの下の障害物を検出したことに応答して、障害物検出及び衝突警告モジュール262は、フォーク衝突警告イベントをトリガすることができる。
【0089】
一実施形態では、フォークリフト101のセンサ204は、下向き赤外線センサをさらに含む。赤外線センサがフォークリフト101のフォークの下の人体温度にほぼ対応する温度を有する物体を検出し、予め定義された閾値を超えるセンサエリアを占有することに応答して、障害物検出及び衝突警告モジュール262は、フォーク衝突警告イベントをトリガすることができる。
【0090】
別の実施形態では、フォークリフト101のセンサ204は、光学カメラ、飛行時間スキャナ、又は構造化光スキャナなどの下向きセンサをさらに含み、障害物検出及び衝突警告モジュール262は、そのようなセンサによって生成された画像内の人間又は貨物パレットなどの障害物を検出するように訓練されたCV構成要素をさらに含むことができる。障害物検出及び衝突警告モジュール262のCV構成要素、又はフォークの下で閾値レベルを超える確率で一致する障害物プロファイルを検出する他のファジー論理構成要素に応答して、障害物検出及び衝突警告モジュール262は、フォーク衝突警告イベントをトリガすることができる。
【0091】
フォークリフト警告システム
一実施形態では、フォークリフト101は、フォークに搭載された聴覚又は視覚信号デバイスをさらに含む。フォーク衝突警告又はフォーク下降開始などのイベントに応答して、信号デバイスは、現場の人員に警告するために聴覚又は視覚警告信号を発することができる。
【0092】
一実施形態では、オペレータステーション108は、視覚又は聴覚アラートシステムをさらに含む。フォーク衝突警告イベント又はフォークリフト衝突警告イベントに応答して、警告モジュール264は、オペレータステーション108の適切なアラート機構を作動させる。例えば、オペレータステーション108は、フォークリフト衝突警告イベントのストリームの受信に応答して規則的なトーンのビープ音を発することができ、ビープ音のピッチは、障害物までの推定距離に対応する。
【0093】
さらなる実施形態では、警告モジュール264は、運転及び積載/荷降ろし動作のために別々の警告プロファイルを使用する。例えば、積載/荷降ろし動作中にパレットが衝突の脅威と見なされ得る距離は、運転中よりも実質的に低くなり得る。
【0094】
さらなる実施形態では、警告モジュール264は、運動学に基づく警告プロファイルをさらに使用し、衝突脅威推定値は、乗り物速度、動作待ち時間、又は他のパラメータの関数として表される。
【0095】
さらに、事故のリスクを低減するために、現場の人員が遠隔オペレータの注意及び焦点の方向を認識することを可能にすることが望ましい場合があり、これはオペレータが存在せず、したがってフォークリフトのコックピットに慣れた視覚的合図が存在しないために困難であり得る。
【0096】
一実施形態では、フォークリフト101は、可能な走行方向又は遠隔オペレータ注意焦点方向に対応する主面上に警告灯(例えば、白色光及び赤色光)をさらに含む。例えば、警告モジュール264は、オペレータの焦点の現在の方向に対応する表面上の白色光のみをオンにし、すべての他の表面上の赤色光のみをオンにすることができる。
【0097】
一実施形態では、フォークリフト101は、可能な走行方向又は遠隔オペレータ注意焦点方向に対応する主面上にEインク画面又はLCDディスプレイなどのモニタをさらに含む。例えば、警告モジュール264は、オペレータの焦点の現在の方向に対応する表面上のモニタ上のオペレータの顔、目、又は顔のビデオフィードのアイコン、及びすべての他の表面上のモニタ上の他の視覚信号を表示することができる。
【0098】
一実施形態では、フォークリフト101は、オペレータの現在の中心FoVを倉庫100の床で強調表示するレーザ又は他の指向性光ビームエミッタをさらに含む。さらなる実施形態では、フォークリフト101は、オペレータの現在の中心FoVの全角度にわたって強調表示を分散させる1つ又は複数の光学系をさらに含む。
【0099】
追加の制御モジュール
いくつかのシナリオでは、照明レベルが大幅に異なる可能性がある。例えば、フォークリフトは、倉庫を出て日当たりの良い領域に移動し、点灯していないトレーラに入る必要があり得る。周囲照明のこのような急速で劇的な変化は、高ダイナミックレンジソフトウェア又は露出及び感度コントローラが変化に適応するまで、カメラの一時的なブラインドにつながる可能性がある。これを軽減するために、遠隔フォークリフト動作システム200は、フォークリフト101が実質的にリアルタイムでカメラ露出又はHDR設定を操作することを可能にするシステムをさらに含むことができる。
【0100】
一実施形態では、遠隔フォークリフト動作システム200(例えば、車載コンピュータ203における)は、事前にマッピングされたデータセットに基づく照明レベル予測モデルをさらに含むことができ、センサスイート204は、無線三角測量、コンピュータビジョン、又は他の技法に基づく屋内測位システムをさらに含むことができる。遠隔フォークリフト動作システム200が現在のカメラ感度、露出、又はHDR設定と互換性のない照明レベルを予測したことに応答して、遠隔フォークリフト動作システム200は、予測照明レベル(例えば、線形関数、ロジスティック関数、又は他の関数)と互換性があるように設定を修正する。
【0101】
一実施形態では、遠隔フォークリフト動作システム200は、センサスイート204から得られたフィードバックに基づく照明レベル予測モデルと、予め定義された分析又はファジー論理モデルとをさらに含むことができる。遠隔フォークリフト動作システム200は、一時的に、周期的に、又は実質的にリアルタイムでモデルを呼び出し、センサスイート204によって取得された現在又は過去の測定値の選択されたセットをモデルに渡す。遠隔フォークリフト動作システム200のモデルが現在のカメラ感度、露出、又はHDR設定と互換性のない照明レベルを予測したことに応答して、遠隔フォークリフト動作システム200は、予測照明レベル(例えば、線形関数、ロジスティック関数、又は他の関数)と互換性があるように設定を修正する。
【0102】
別の実施形態では、上記の実施形態に従って予想される照明の変化に応答して、遠隔フォークリフト動作システム200は、カメラに達する周囲照明レベルを明示的に操作することによって、カメラ感度、露出、又はHDR設定の緩やかな変更を実施することができる。例えば、遠隔フォークリフト動作システム200は、カメラの視野内のフォークリフト101に搭載された車載光源、又はカメラの現在の視野内の倉庫施設100における他の場所の静的光源のオン/オフを一時的に切り替えるか又は明るさを修正することができる。例えば、そのような実施形態は、カメラ設定の明示的な操作が実行不可能又は実用的でないシナリオで使用され得る。
【0103】
別の実施形態では、上記の実施形態に従って予想される照明の変化に応答して、遠隔フォークリフト動作システム200は、異なる感度、露出、又はHDR設定で隣接するカメラ間でビデオフィードを切り替えることができる。例えば、そのような実施形態は、カメラ設定の明示的な操作が実行不可能又は実用的でないシナリオで使用され得る。
【0104】
別の実施形態では、上記の実施形態に従って予想される照明の変化に応答して、オペレータステーション107は、感度、露出、又はHDR設定を適合及び変更するのに十分な時間をカメラに与えるために、注意を払うか、又はフォークリフト101を停止させるなどの特定のアクションを実行するか、又は速度を所定の値に低下させるようにオペレータに命令する警告音又は複合現実要素を視覚表示システム207上に生成することができる。
【0105】
一実施形態では、遠隔動作システム200は、無線接続モデル(WCM)を部分的に含む。WCMは、フォークリフト101又は他のユーティリティ乗り物によって一時的に、周期的に、又は実質的にリアルタイムで事前にマッピング又は更新されたデータセット上に構築される。例えば、モデルは、倉庫100内のすべての乗り物201の位置及び速度、パレットラック106の幾何学的形状及び出し入れ、又は無線ネットワークアクセスポイント210の場所などの入力特徴に基づくことができる。特徴の現在の状態に応答して、遠隔動作システム200は、フォークリフト101についての予測スループットを再算出し、この情報をフォークリフト101の安全システム、108オペレータステーション、又は他の消費者に利用可能にする。さらなる実施形態では、遠隔動作システム200は、利用可能な新しい予測について、又は安全でない遠隔操作環境の特性を有する新しい予測について、通知を一人又は複数の消費者に追加的に発行することができる。
【0106】
さらなる考察
本明細書における「一実施形態」又は「実施形態」への言及は、実施形態に関連して説明される特定の特徴、構造、又は特性が少なくとも1つの実施形態に含まれることを意味する。本明細書の様々な箇所における「一実施形態では」又は「実施形態」という語句の出現は、必ずしもすべてが同じ実施形態を指すとは限らない。
【0107】
詳細な説明のいくつかの部分は、コンピュータメモリ内のデータビットに対する演算のアルゴリズム及び記号表現に関して提示される。これらのアルゴリズムの記述及び表現は、データ処理技術の当業者によって、それらの研究の内容を他の当業者に最も効果的に伝えるために使用される手段である。アルゴリズムは、ここでは一般に、所望の結果をもたらすステップ(命令)の自己矛盾のないシーケンスであると考えられる。ステップは、物理量の物理的操作を必要とするステップである。通常、必ずしもそうとは限らないが、これらの量は、記憶、転送、結合、比較、及び他の方法で操作することが可能である電気信号、磁気信号、又は光信号の形式をとる。主に一般的な使用の理由から、これらの信号をビット、値、要素、シンボル、文字、項、数などとして参照することが時には便利である。さらに、一般性を失うことなく、物理的操作又は物理量の変換又はモジュール若しくはコードデバイスとしての物理量の表現を必要とするステップの特定の配置を参照することも時には便利である。
【0108】
しかし、これら及び同様の用語のすべては、適切な物理量に関連付けられるべきであり、これらの量に適用される便利なラベルにすぎない。以下の説明から明らかなように特に明記しない限り、説明全体を通して、「処理すること」、又は「算出すること」、又は「計算すること」、又は「決定すること」、又は「表示すること」、又は「決定すること」などの用語を利用する説明は、コンピュータシステムのメモリ若しくはレジスタ又は他のそのような情報記憶装置、伝送装置、若しくは表示デバイス内の物理(電子)量として表されるデータを操作及び変換するコンピュータシステム又は同様の電子コンピューティングデバイス(特定のコンピューティングマシンなど)のアクション及びプロセスを指すことが理解される。
【0109】
実施形態の特定の態様は、アルゴリズムの形式で本明細書に記載のプロセスステップ及び命令を含む。実施形態のプロセスステップ及び命令は、ソフトウェア、ファームウェア、又はハードウェアで具現化することができ、ソフトウェアで具現化される場合、様々なオペレーティングシステムによって使用される異なるプラットフォームに存在し、そこから動作するようにダウンロードすることができることに留意されたい。実施形態はまた、コンピューティングシステム上で実行することができるコンピュータプログラム製品とすることができる。
【0110】
実施形態はまた、本明細書の動作を実施するための装置に関する。この装置は、例えば、特定のコンピュータなどの目的のために特別に構成されてもよく、又はコンピュータに記憶されたコンピュータプログラムによって選択的に作動又は再構成されたコンピュータを備えてもよい。そのようなコンピュータプログラムは、限定はしないが、フロッピーディスク、光ディスク、CD-ROM、光磁気ディスク、読み出し専用メモリ(ROM)、ランダムアクセスメモリ(RAM)、EPROM、EEPROM、磁気又は光カード、特定用途向け集積回路(ASIC)、又は電子命令を記憶するのに適した任意のタイプの媒体を含む任意のタイプのディスクなどのコンピュータ可読記憶媒体に記憶することができ、その各々はコンピュータシステムバスに結合されている。メモリは、情報/データ/プログラムを記憶することができ、一時的又は非一時的媒体とすることができる上記及び/又は他のデバイスのいずれかを含むことができ、非一時的(non-transient)又は非一時的(non-transitory)媒体は、最小期間を超えて情報を記憶するメモリ/記憶装置を含むことができる。さらに、本明細書で言及されるコンピュータは、単一のプロセッサを含んでもよく、又は算出能力を高めるために複数のプロセッサ設計を採用するアーキテクチャであってもよい。
【0111】
本明細書に提示されるアルゴリズム及びディスプレイは、いかなる特定のコンピュータ又は他の装置にも本質的に関連しない。様々なシステムはまた、本明細書の教示によるプログラムと共に使用されてもよく、又は方法ステップを実施するためのより特殊化された装置を構築することが好都合であると判明する可能性もある。様々なこれらのシステムについての構造は、本明細書の説明から明らかになるであろう。加えて、実施形態は、いかなる特定のプログラミング言語を参照しても説明されない。本明細書に記載の実施形態の教示を実施するために様々なプログラミング言語を使用することができ、本明細書における特定の言語へのあらゆる参照は、有効化及び最良の態様の開示のために提供されることが理解されよう。
【0112】
本明細書全体を通して、いくつかの実施形態は、その派生語と共に「結合された」という表現を使用している。本明細書で使用される「結合された」という用語は、必ずしも2つ以上の要素が直接物理的又は電気的に接触していることに限定されない。むしろ、「結合された」という用語はまた、2つ以上の要素が互いに直接接触していないが、それでもなお互いに協働若しくは相互作用するか、又は要素間に熱伝導経路を提供するように構造化されていることを包含し得る。
【0113】
同様に、本明細書で使用される場合、「備える」、「備えている」、「含む」、「含んでいる」、「有する」、「有している」という用語又はそれらの任意の他の変形は、非排他的包含を網羅することを意図している。例えば、要素のリストを含むプロセス、方法、物品、又は装置は、必ずしもそれらの要素のみに限定されず、明示的に列挙されていない、又はそのようなプロセス、方法、物品、又は装置に固有の他の要素を含むことができる。
【0114】
加えて、「a」又は「an」の使用は、本明細書の実施形態の要素及び構成要素を説明するために用いられる。これは単に便宜上、及び実施形態の一般的な意味を与えるために行われる。この説明は、1つ又は少なくとも1つを含むように読まれるべきであり、そうでないことを意味することが明らかでない限り、単数形は複数形も含む。及び/又はという用語の使用は、「両方」、「及び」、又は「又は」のいずれかを意味することを意図している。
【0115】
加えて、本明細書で使用される言語は、主に読みやすさ及び説明の目的のために選択されており、本発明の主題を描写又は限定するために選択されていない場合がある。したがって、実施形態の開示は、実施形態の範囲を限定するものではなく、例示することを意図している。
【0116】
特定の実施形態及び用途を本明細書で図示及び説明したが、実施形態は、本明細書に開示された正確な構造及び構成要素に限定されず、実施形態の趣旨及び範囲から逸脱することなく、実施形態の方法及び装置の配置、動作、及び詳細に様々な修正、変更、及び変形を行うことができることを理解されたい。
【国際調査報告】