特表 2022-525441 スマートフォークリフト及び容器位置姿勢ずれの検出方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-05-13

(54)【発明の名称】スマートフォークリフト及び容器位置姿勢ずれの検出方法

(51)【国際特許分類】

   G06T 7/70 20170101AFI20220506BHJP

   B66F 9/24 20060101ALI20220506BHJP

【ＦＩ】

G06T7/70 Z

B66F9/24 L

B66F9/24 A

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2021563272

(86)(22)【出願日】2019-12-24

(85)【翻訳文提出日】2021-11-29

(86)【国際出願番号】 CN2019128048

(87)【国際公開番号】W WO2020215772

(87)【国際公開日】2020-10-29

(31)【優先権主張番号】201910337791.X

(32)【優先日】2019-04-25

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

(71)【出願人】

【識別番号】518231921

【氏名又は名称】北京極智嘉科技股▲ふん▼有限公司

(74)【代理人】

【識別番号】110002262

【氏名又は名称】ＴＲＹ国際特許業務法人

(72)【発明者】

【氏名】郭 暁麗

(72)【発明者】

【氏名】楊 寧寧

【テーマコード（参考）】

3F333

5L096

【Ｆターム（参考）】

3F333AA02

3F333AB13

3F333AE02

3F333BD02

3F333FD14

3F333FE05

5L096AA02

5L096AA06

5L096AA09

5L096CA04

5L096DA03

5L096EA03

5L096EA05

5L096EA06

5L096EA35

5L096FA16

5L096FA18

5L096FA32

5L096FA59

5L096FA66

5L096FA67

5L096FA69

5L096GA08

5L096GA51

5L096GA55

5L096JA09

5L096KA04

(57)【要約】

本出願の実施例は、スマートフォークリフト（４００）及び容器位置姿勢ずれの検出方法を開示する。当該スマートフォークリフト（４００）は、スマートフォークリフト（４００）が搬送対象在庫容器（１２０）を搬送する作業状態を監視し、作業状態に基づいて、容器画像収集モジュール（４２０）を制御して画像収集を行うように構成される作業状態監視モジュール（４１０）と、作業状態監視モジュールのトリガに応答し、搬送対象在庫容器（１２０）を含むＲＧＢＤ画像フレームを収集し、当該ＲＧＢＤ画像フレームを処理モジュール（４３０）に伝送するように構成される容器画像収集モジュール（４２０）と、容器画像収集モジュール（４２０）からフィードバックされたＲＧＢＤ画像フレームを受信し、ＲＧＢＤ画像フレームに基づいて搬送対象在庫容器（１２０）の位置姿勢ずれ度合いを検出し、位置姿勢ずれ度合いの検出結果に基づいて、搬送対象在庫容器（１２０）の前記スマートフォークリフト（４００）における位置姿勢を調整するための警報を行うように構成される処理モジュール（４３０）と、を含む。

【特許請求の範囲】

【請求項1】

スマートフォークリフトであって、作業状態監視モジュール、容器画像収集モジュール及び処理モジュールを含み、
前記容器画像収集モジュールは前記作業状態監視モジュール及び前記処理モジュールに電気的に接続されており、
前記作業状態監視モジュールは、前記スマートフォークリフトが搬送対象在庫容器を搬送する作業状態を監視し、前記作業状態に基づいて、前記容器画像収集モジュールを制御して画像収集を行うように構成されており、
前記容器画像収集モジュールは、前記作業状態監視モジュールのトリガに応答し、前記搬送対象在庫容器を含むＲＧＢＤ画像フレームを収集し、前記ＲＧＢＤ画像フレームを処理モジュールに伝送するように構成されており、
前記処理モジュールは、前記ＲＧＢＤ画像フレームを受信し、前記ＲＧＢＤ画像フレームに基づいて前記搬送対象在庫容器の位置姿勢ずれ度合いを検出し、位置姿勢ずれ度合いの検出結果に基づいて、前記搬送対象在庫容器の前記スマートフォークリフトにおける位置姿勢を調整するための警報を行うように構成される、
スマートフォークリフト。

【請求項2】

前記容器画像収集モジュールは、前記スマートフォークリフトのパレットフォークの上方に取り付けられる少なくとも１つのカメラを含む、
請求項１に記載のスマートフォークリフト。

【請求項3】

前記ＲＧＢＤ画像フレームは、赤、緑、青のＲＧＢ画像及び深度画像を含み、前記搬送対象在庫容器を特徴付けるための前記ＲＧＢＤ画像フレームにおける画像は、前記ＲＧＢＤ画像フレーム内の指定領域内に位置する、
請求項１に記載のスマートフォークリフト。

【請求項4】

前記作業状態監視モジュールは、
前記スマートフォークリフトが前記搬送対象在庫容器の持ち上げ動作を完了したことがモニタリングされた場合、画像収集を行うように前記容器画像収集モジュールをトリガし、
前記スマートフォークリフトが前記搬送対象在庫容器の載置動作を完了したことがモニタリングされた場合、前記容器画像収集モジュールの画像収集動作を終了する、という方式によって前記作業状態に基づいて前記容器画像収集モジュールを制御して画像収集を行うように構成される、
請求項１に記載のスマートフォークリフト。

【請求項5】

前記処理モジュールは、
予め決定された容器認識モデルに基づいて、現在のＲＧＢＤ画像フレームのＲＧＢ画像から、搬送対象保管容器の前記ＲＧＢ画像における位置を決定し、
前記搬送対象保管容器の前記ＲＧＢ画像における位置に基づいて、前記現在のＲＧＢＤ画像フレームの深度画像から、前記搬送対象保管容器を含む目標関心領域を切り取り、
前記目標関心領域の深度特徴及び面積特徴を決定し、前記目標関心領域の深度特徴及び面積特徴、並びに予め設定された比較対象テンプレートの深度特徴及び面積特徴に基づいて、深度特徴差分値及び面積特徴差分値を決定し、
前記深度特徴差分値及び前記面積特徴差分値、並びに予め設定された深度特徴閾値及び予め設定された面積特徴閾値に基づいて、前記搬送対象在庫容器の現在の位置姿勢ずれ度合いを検出する、という方式によって前記ＲＧＢＤ画像フレームに基づいて前記搬送対象在庫容器の位置姿勢ずれ度合いを検出するように構成される、
請求項３に記載のスマートフォークリフト。

【請求項6】

前記処理モジュールは、
予め設定されたレイヤ数に基づいて前記目標関心領域に対してダウンサンプリング処理を行い、ダウンサンプリング後の関心領域画像を得て、
前記ダウンサンプリング後の関心領域画像におけるすべてのピクセルポイントの深度値を合計し、前記目標関心領域の深度特徴を得て、
前記ダウンサンプリング後の関心領域画像の面積を決定し、前記目標関心領域の面積特徴を得る、という方式によって前記目標関心領域の深度特徴及び面積特徴を決定するように構成される、
請求項５に記載のスマートフォークリフト。

【請求項7】

前記予め設定された比較対象テンプレートは、少なくとも標準容器テンプレート及び前記現在のＲＧＢＤ画像フレームの１つ前のフレームのＲＧＢＤ画像フレームを含む、
請求項５に記載のスマートフォークリフト。

【請求項8】

前記標準容器テンプレートは、予め設定された数の初期収集されたＲＧＢＤ画像フレームの深度特徴平均値及び面積特徴平均値に基づいて算出される、
請求項７に記載のスマートフォークリフト。

【請求項9】

前記処理モジュールは、
前記現在のＲＧＢＤ画像フレームと前記標準容器テンプレートとの深度特徴差分値が予め設定された標準深度特徴閾値より大きい場合、前記現在のＲＧＢＤ画像フレームと前記標準容器テンプレートとの面積特徴差分値が予め設定された標準面積特徴閾値より大きい場合、前記現在のＲＧＢＤ画像フレームと前記現在ＲＧＢＤ画像フレームの１つ前のフレームのＲＧＢＤ画像フレームとの深度特徴差分値が予め設定された隣接特徴閾値より大きい場合、及び前記現在のＲＧＢＤ画像フレームと前記現在のＲＧＢＤ画像フレームの１つ前のフレームのＲＧＢＤ画像フレームとの面積特徴差分値が予め設定された隣接面積特徴閾値より大きい場合のうちの少なくとも１つが検出されると、現時点で前記搬送対象在庫容器の前記スマートフォークリフトにおける位置姿勢がずれていると決定する、という方式によって前記深度特徴差分値及び前記面積特徴差分値、並びに予め設定された深度特徴閾値及び予め設定された面積特徴閾値に基づいて、前記搬送対象在庫容器の現在の位置姿勢ずれ度合いを検出する、
請求項７に記載のスマートフォークリフト。

【請求項10】

位置姿勢ずれの検出方法であって、
スマートフォークリフトが搬送対象在庫容器の持ち上げ動作を完了したことがモニタリングされた場合、前記搬送対象在庫容器を含むＲＧＢＤ画像フレームを収集するステップであって、前記ＲＧＢＤ画像フレームは、ＲＧＢ画像及び深度画像を含むステップと、
予め決定された容器認識モデルに基づいて、現在のＲＧＢＤ画像フレームのＲＧＢ画像から、搬送対象保管容器の前記ＲＧＢ画像における位置を決定するステップと、
前記搬送対象保管容器の前記ＲＧＢ画像における位置に基づいて、前記現在のＲＧＢＤ画像フレームの深度画像から、前記搬送対象保管容器を含む目標関心領域を切り取るステップと、
前記目標関心領域の深度特徴及び面積特徴、予め設定された比較対象テンプレートの深度特徴及び面積特徴、並びに予め設定された深度特徴閾値及び面積特徴閾値に基づいて、前記搬送対象在庫容器の現在の位置姿勢ずれ度合いを検出するステップと、を含む、
位置姿勢ずれの検出方法。

【請求項11】

前記目標関心領域の深度特徴及び面積特徴、予め設定された比較対象テンプレートの深度特徴及び面積特徴、並びに予め設定された深度特徴閾値及び面積特徴閾値に基づいて、前記搬送対象在庫容器の現在の位置姿勢ずれ度合いを検出するステップは、
前記目標関心領域の深度特徴及び面積特徴を決定するステップと、
前記目標関心領域の深度特徴及び面積特徴、並びに予め設定された比較対象テンプレートの深度特徴及び面積特徴に基づいて、深度特徴差分値及び面積特徴差分値を決定するステップと、
前記深度特徴差分値及び面積特徴差分値、並びに予め設定された深度特徴閾値及び予め設定された面積特徴閾値に基づいて、前記搬送対象在庫容器の現在の位置姿勢ずれ度合いを検出するステップと、を含む、
請求項１０に記載の方法。

【請求項12】

前記目標関心領域の深度特徴及び面積特徴を決定するステップは、
予め設定されたレイヤ数に基づいて前記目標関心領域に対してダウンサンプリング処理を行い、ダウンサンプリング後の関心領域画像を得るステップと、
前記ダウンサンプリング後の関心領域画像におけるすべてのピクセルポイントの深度値を合計し、前記目標関心領域の深度特徴を得るステップと、
前記ダウンサンプリング後の関心領域画像の面積を決定し、前記目標関心領域の面積特徴を得るステップと、を含む、
請求項１１に記載の方法。

【請求項13】

前記予め設定された比較対象テンプレートは、少なくとも標準容器テンプレート及び前記現在のＲＧＢＤ画像フレームの１つ前のフレームのＲＧＢＤ画像フレームを含む、
請求項１１に記載の方法。

【請求項14】

前記標準容器テンプレートは、予め設定された数の初期収集されたＲＧＢＤ画像フレームの深度特徴平均値及び面積特徴平均値に基づいて算出される、
請求項１３に記載の方法。

【請求項15】

前記深度特徴差分値及び面積特徴差分値、並びに予め設定された深度特徴閾値及び予め設定された面積特徴閾値に基づいて、前記搬送対象在庫容器の現在の位置姿勢ずれ度合いを検出するステップは、
前記現在のＲＧＢＤ画像フレームと前記標準容器テンプレートとの深度特徴差分値が予め設定された標準深度特徴閾値より大きい場合、前記現在のＲＧＢＤ画像フレームと前記標準容器テンプレートとの面積特徴差分値が予め設定された標準面積特徴閾値より大きい場合、前記現在のＲＧＢＤ画像フレームと前記現在ＲＧＢＤ画像フレームの１つ前のフレームのＲＧＢＤ画像フレームとの深度特徴差分値が予め設定された隣接特徴閾値より大きい場合、及び前記現在のＲＧＢＤ画像フレームと前記現在のＲＧＢＤ画像フレームの１つ前のフレームのＲＧＢＤ画像フレームとの面積特徴差分値が予め設定された隣接面積特徴閾値より大きい場合のうちの少なくとも１つが検出されると、現時点で前記搬送対象在庫容器の前記スマートフォークリフトにおける位置姿勢がずれていると決定するステップを含む、
請求項１３に記載の方法。

【請求項16】

前記搬送対象在庫容器の現在の位置姿勢ずれ度合いを検出するステップの後、
前記搬送対象在庫容器の前記スマートフォークリフトにおける位置姿勢がずれていると決定した場合、前記搬送対象在庫容器の前記スマートフォークリフトにおける位置姿勢を調整するための警報を行うステップをさらに含む、
請求項１０に記載の方法。

【請求項17】

コンピュータプログラムが記憶されているコンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラムがプロセッサによって実行された場合、請求項１０～１６のいずれかに記載の容器位置姿勢ずれの検出方法が実現される、
コンピュータ読み取り可能な記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本出願は、２０１９年０４月２５日に中国特許庁に提出され、出願番号が２０１９１０３３７７９１．Ｘの中国特許出願の優先権を主張しており、当該出願のすべての内容は、引用により本出願に組み込まれている。

【0002】

本出願の実施例は、スマート倉庫技術の分野に関し、例えば、スマートフォークリフト及び容器位置姿勢ずれの検出方法に関する。

【背景技術】

【0003】

現代の倉庫技術の急速な発展に伴い、フォークリフトは、倉庫分野でますます重要な役割を果たし、フォークリフトは、トレイなどの在庫容器を搭載して物品の搬送や保管を実現する。

【0004】

関連技術において、手動でフォークリフトを運転して搬送対象在庫容器の保管位置に移動することができ、フォークリフトのパレットフォークを利用して搬送対象在庫容器を持ち上げることによって搬送対象在庫容器をピックアップし、したがって、作業者は搬送中に搬送対象在庫容器のパレットフォークでの位置に常に注意を払い、物品を安全かつ安定的に特定の保管位置まで搬送して保管することを実現する。また、スマートフォークリフトが予め設定された経路に基づいて搬送対象在庫容器の保管位置まで移動するように、スマートフォークリフトの移動経路を予め設定したり、在庫容器の底面識別子を認識することにより、搬送対象在庫容器を持ち上げて、搬送対象在庫容器を搬送して保管したりするなどの操作流れをスマート倉庫環境で実行することもできる。

【0005】

しかしながら、関連技術は、在庫容器の搬送中、スタッフはパレットフォークによって持ち上げられた在庫容器の位置姿勢を正確、効果的かつ適時に観察することが困難であり、操作の難しさ及び手動介入のコストが増加し、スマートフォークリフトはパレットフォーク上の在庫容器に対するスマート化位置姿勢検出を実現することができず、フォークリフトが在庫容器を搬送する効率及び安全性が低下する。

【発明の概要】

【0006】

本出願の実施例は、パレットフォーク上の在庫容器のスマート化位置姿勢検出を可能にするスマートフォークリフト及び容器位置姿勢ずれの検出方法を提供し、フォークリフトによる在庫容器の搬送の効率及び安全性を向上させる。

【課題を解決するための手段】

【0007】

本出願の実施例は、作業状態監視モジュール、容器画像収集モジュール及び処理モジュールを含むスマートフォークリフトを提供し、
前記容器画像収集モジュールは前記作業状態監視モジュール及び前記処理モジュールに電気的に接続されており、ここで、
前記作業状態監視モジュールは、前記スマートフォークリフトが搬送対象在庫容器を搬送する作業状態を監視し、前記作業状態に基づいて、前記容器画像収集モジュールを制御して画像収集を行うように構成されており、
前記容器画像収集モジュールは、前記作業状態監視モジュールのトリガに応答し、前記搬送対象在庫容器を含むＲＧＢＤ画像フレームを収集し、当該ＲＧＢＤ画像フレームを前記処理モジュールに伝送するように構成されており、
前記処理モジュールは、前記容器画像収集モジュールからフィードバックされたＲＧＢＤ画像フレームを受信し、前記ＲＧＢＤ画像フレームに基づいて前記搬送対象在庫容器の位置姿勢ずれ度合いを検出し、位置姿勢ずれ度合いの検出結果に基づいて、前記搬送対象在庫容器の前記スマートフォークリフトにおける位置姿勢を調整するための警報を行うように構成される。

【0008】

本出願の実施例は、容器位置姿勢ずれの検出方法を提供し、前記容器位置姿勢ずれの検出方法は、
スマートフォークリフトが搬送対象在庫容器の持ち上げ動作を完了したことがモニタリングされた場合、前記搬送対象在庫容器を含むＲＧＢＤ画像フレームを収集するステップであって、前記ＲＧＢＤ画像フレームは、ＲＧＢ画像及び深度画像を含むステップと、
予め決定された容器認識モデルに基づいて、現在のＲＧＢＤ画像フレームのＲＧＢ画像から、前記搬送対象保管容器の前記ＲＧＢ画像における位置を決定ステップと、
前記搬送対象保管容器の前記ＲＧＢ画像における位置に基づいて、前記現在のＲＧＢＤ画像フレームの深度画像から、前記搬送対象保管容器を含む目標関心領域を切り取るステップと、
前記目標関心領域の深度特徴及び面積特徴、予め設定された比較対象テンプレートの深度特徴及び面積特徴、並びに予め設定された深度特徴閾値及び面積特徴閾値に基づいて、前記搬送対象在庫容器の現在の位置姿勢ずれ度合いを検出するステップと、を含む。

【0009】

本出願の実施例は、コンピュータプログラムが記憶されているコンピュータ読み取り可能な記憶媒体を提供し、当該プログラムがプロセッサによって実行された場合、本出願の任意の実施例に記載の容器位置姿勢ずれの検出方法が実現される。

【図面の簡単な説明】

【0010】

【図1】本出願の実施例により提供されるスマートフォークリフトが在庫容器を搬送する例図である。

【図2】本出願の実施例により提供される在庫容器の概略構成図である。

【図3】本出願の実施例により提供されるスマートフォークリフトの概略構成図である。

【図4】本出願の実施例により提供される別のスマートフォークリフトの構成ブロック図である。

【図5】本出願の実施例により提供される容器位置姿勢ずれの検出方法のフローチャートである。

【図6】本出願の実施例により提供される別の容器位置姿勢ずれの検出方法のフローチャートである。

【発明を実施するための形態】

【0011】

以下、図面と併せて本出願の実施例を説明する。なお、本明細書に記載された実施例は、本出願の実施例を解釈するためだけに用いられ、本出願を限定するものではない。また、説明を容易にするために、添付図面には、すべての構造ではなく、本出願の実施例に関連する部分のみが示されている。

【0012】

図１に示すスマートフォークリフトが在庫容器を搬送する例図を参照されたい。図１に示すように、スマートフォークリフト１１０は、在庫容器１２０がスマートフォークリフト１１０のパレットフォーク上に位置するように、パレットフォークを介して在庫容器１２０を持ち上げ、在庫容器１２０に対して搬送操作を行う。本実施例において、在庫容器１２０の側壁は、スマートフォークリフト１１０のパレットフォークに対応するフォークホール構造、例えば、トレイを有し、スマートフォークリフト１１０は、在庫容器１２０を搭載し、在庫容器１２０を搬送するように、パレットフォークをフォークホール構造に挿入する。在庫容器１２０には、物品１３０を載置することができる。倉庫環境では、在庫容器１２０は、保管領域、例えば、保管領域における棚の仕切り板に位置してもよいし、ワークステーションなどの仕分け領域に位置してもよい。これにより、スマートフォークリフト１１０は、必要に応じて、倉庫環境において在庫容器１２０を搬送する操作を行う。

【0013】

図２は、本出願の実施例により提供される在庫容器の概略構成図である。図２に示すように、在庫容器１２０は、規則的又は不規則な直方体であってもよく、在庫容器１２０は、４つの側壁を有し、在庫容器１２０の少なくとも２つの対向する側壁は、フォークホール構造２００を有する。フォークホール構造２００は、フォークホールサブ構造２１０及び在庫容器１２０自体のフレームサブ構造２２０を有する。物品１３０は、在庫容器１３０に直接載置することができ、物品１３０は、任意の適切な方式で在庫容器１２０に載置することができ、例えば、物品１３０を収納したバンカーが在庫容器１２０の上に載置されている。一実施例において、バンカーは、在庫容器１２０から分離されていてもよいし、在庫容器１２０と一体的に構成されていてもよいし、バンカーには、１つ又は複数の物品１３０が載置されていてもよい。

【0014】

図３は、本出願の実施例により提供されるスマートフォークリフトの概略構成図である。図１及び図３と併せて、一例では、スマートフォークリフト１１０は、パレットフォーク１１１と、スマートフォークリフト１１０のパレットフォーク１１１が一定の高さ範囲内で昇降することを可能にするスライドレール１１２とを含むことができる。スマートフォークリフト１１０は、棚の出口などの在庫ゾーンの保管位置まで動作し、パレットフォーク１１１を利用して在庫容器１２０のフォークホール構造２００内に挿入して在庫容器１２０を搭載し、在庫容器１２０を割り当てられたシャトル場所又はワークステーションなどの指定された場所に搬送することができる。作業者（又はロボットアームなどの自動化装置）は、ピップアップワークステーションで在庫容器１２０から物品をピックアップする。本出願の実施例は、物品をシャトル場所又はワークステーションなどの指定された場所に搬送することに限定されるものではなく、いかなる搬送先であっても本実施例に適用することができる。

【0015】

また、一例では、スマートフォークリフト１１０は、深度カメラなどの容器画像収集モジュール１１３を少なくとも含み、画像収集モジュール１１３は、パレットフォーク１１１、パレットフォーク１１１上の在庫容器１２０及び在庫容器１２０上の物品１３０に対して画像収集を行い、在庫容器１２０及び物品１３０を完全に含む画像を得ることができる。それに応じて、スマートフォークリフト１１０は、容器画像収集モジュール１１３によって収集された画像を処理し、在庫容器１２０の位置姿勢ずれ度合いの検出を実現するように構成される処理モジュール１１４をさらに含む。

【0016】

スマートフォークリフト１１０は、在庫容器１２０の搬送中、パレットフォーク１１１が在庫容器１２０の持ち上げ動作を完了したことがモニタリングされた場合、パレットフォーク１１１上の在庫容器１２０の画像を収集するように容器画像収集モジュール１１３をトリガし、処理モジュール１１４は、収集された画像に基づいて、在庫容器１２０を認識することにより、現時点における在庫容器１２０の位置姿勢ずれ度合いを決定し、位置姿勢ずれ度合いの検出結果に基づいて、在庫容器１３０のパレットフォーク１１１における位置を調整した後、搬送操作を継続するように制動及び警報を行う。

【0017】

従来の倉庫システムにおいて、手動でフォークリフトを運転して搬送対象在庫容器の保管位置に移動することができ、フォークリフトのパレットフォークを利用して搬送対象在庫容器を持ち上げることによって搬送対象在庫容器をピックアップし、したがって、作業者は搬送中に搬送対象在庫容器のパレットフォークでの位置に常に注意を払い、物品を安全かつ安定的に特定の保管位置まで搬送して保管することを実現する。また、スマートフォークリフトが予め設定された経路に基づいて搬送対象在庫容器の保管位置まで移動するように、スマートフォークリフトの移動経路を予め設定したり、在庫容器の底面識別子を認識することにより、搬送対象在庫容器を持ち上げて、搬送対象在庫容器を搬送して保管したりするなどの操作流れをスマート倉庫環境で実行することもできる。しかしながら、スタッフはパレットフォークによって持ち上げられた在庫容器の位置姿勢を正確、効果的かつ適時に観察することが困難であり、操作の難しさ及び手動介入のコストが増加し、スマートフォークリフトはパレットフォーク上の在庫容器に対するスマート化位置姿勢検出を実現することができず、フォークリフトが在庫容器を搬送する効率及び安全性が低下する。

【0018】

以下に、本出願の実施例において提供されるスマートフォークリフトに対して、複数の実施例で説明する。

【0019】

＜実施例１＞
図４は、本出願の実施例により提供されるスマートフォークリフトの構成ブロック図であり、本実施例は、スマートフォークリフトが在庫容器を搬送する場合に適用することができ、当該スマートフォークリフト４００は、作業状態監視モジュール４１０、容器画像収集モジュール４２０及び処理モジュール４３０を含み、容器画像収集モジュール４２０は、作業状態監視モジュール４１０及び処理モジュール４３０に電気的に接続されている。

【0020】

本実施例において、作業状態監視モジュール４１０は、スマートフォークリフトが搬送対象在庫容器を搬送する作業状態を監視し、作業状態に基づいて、容器画像収集モジュール４２０を制御して画像収集を行うように構成されており、容器画像収集モジュール４２０は、作業状態監視モジュールのトリガに応答し、搬送対象在庫容器を含むＲＧＢＤ画像フレームを収集し、当該ＲＧＢＤ画像フレームを処理モジュール４３０に伝送するように構成されており、処理モジュール４３０は、容器画像収集モジュール４２０からフィードバックされたＲＧＢＤ画像フレームを受信し、ＲＧＢＤ画像フレームに基づいて搬送対象在庫容器の位置姿勢ずれ度合いを検出し、位置姿勢ずれ度合いの検出結果に基づいて、搬送対象在庫容器のスマートフォークリフトにおける位置姿勢を調整するための警報を行うように構成される。

【0021】

本実施例において、作業状態監視モジュール４１０は、スマートフォークリフトの複数の機械構造の作業状態を監視する機能を有し、ハードウェアの形でスマートフォークリフトに取り付けることができ、作業状態監視モジュール４１０の取り付け位置が限定されないか、又はソフトウェアの形でスマートフォークリフトのソフトウェア処理プログラムに統合することができる。一実施例において、作業状態監視モジュール４１０は、スマートフォークリフトの位置、パレットフォークの昇降高さ、パレットフォークの積載重量及びスマートフォークリフトの経路の進行状況などのデータに基づいて、スマートフォークリフトが在庫容器を搬送する作業状態、例えば、在庫容器が持ち上げられている状態、在庫容器が搬送中である状態、在庫容器が降ろされている状態などを監視することができる。これにより、モニタリングされた作業状態に基づいて容器画像収集モジュール４２０の作業状態を制御し、例えば、画像収集を行うように容器画像収集モジュール４２０をトリガするか、又は画像収集を終了する。

【0022】

スマートフォークリフトに取り付けられており、スマートフォークリフトのパレットフォーク上の在庫容器及び在庫容器上の搭載物品に対してリアルタイムで画像収集するように構成される容器画像収集モジュール４２０は、画像収集機能を有する。容器画像収集モジュール４２０は、画像収集の起動がトリガされた後、連続する複数フレームの画像収集を行う。スマートフォークリフトに取り付けられる画像収集モジュール４２０は、１つであってもよいし、複数であってもよい。例えば、スマートフォークリフトが通過できる各高さの段に１つの容器画像収集モジュール４２０を取り付けるか、又はパレットフォークの上方、すなわち、スマートフォークリフトの先端に１つの容器画像収集モジュール４２０を取り付ける。

【0023】

処理モジュール４３０は、画像認識機能、データ処理機能、容器位置姿勢検出機能及びアラームなどの機能を有することができる。処理モジュール４３０は、スマートフォークリフトに取り付けられており、処理モジュール４３０の取り付け位置が限定されない。一実施例において、処理モジュール４３０は、容器画像収集モジュール４２０によってリアルタイムでフィードバックされた画像フレームを受信し、画像フレームに対して在庫容器認識を行い、認識結果に基づいて在庫容器の特徴を決定し、最後に在庫容器の特徴に基づいて位置姿勢ずれ度合いの検出などを行うことができる。

【0024】

本実施例において、容器画像収集モジュール４２０と作業状態監視モジュール４１０との接続方式、及び容器画像収集モジュール４２０と処理モジュール４３０との接続方式は、電気的接続であってもよいし、通信接続であってもよいし、電気的接続又は通信接続を介してデータ又は指令の伝送などを行う。

【0025】

本実施例において、搬送対象在庫容器とは、倉庫環境においてフォークリフトが搬送可能な在庫容器、例えば、トレイなどを指す。それに応じて、この類の搬送対象在庫容器は、パレットフォークを挿入し、搬送対象在庫容器を持ち上げ、搬送対象在庫容器を搬送するための、フォークリフトのパレットフォークにマッチングするフォークホール構造を有する。この類の搬送対象在庫容器は、倉庫環境中の任意の位置、例えば、保管領域に位置してもよい。一実施例において、搬送対象在庫容器は、保管領域における棚の仕切り板に位置してもよい。さらに、スマートフォークリフトのパレットフォークを搬送対象在庫容器の位置する高さまで昇降させた場合、パレットフォークを搬送対象在庫容器のフォークホール構造に位置合わせしたら、パレットフォークを搬送対象在庫容器のフォークホール構造に挿入することにより、スマートフォークリフトが搬送対象在庫容器を搭載するようになり、搬送対象在庫容器に対するピックアップ及び搬送などの操作を実現する。

【0026】

一実施例において、容器画像収集モジュール４２０は、ＲＧＢＤ（ＲＧＢ＋Ｄｅｐｔｈ Ｍａｐ）画像を収集するように構成されるＫｉｎｅｃｔなどのＲＧＢＤ画像センサであってもよい。ＲＧＢＤ画像内の各ピクセルポイントは、Ｒ（Ｒｅｄ、赤）、Ｇ（Ｇｒｅｅｎ、緑）、Ｂ（Ｂｌｕｅ、青）カラーピクセル情報及び対応する深度情報を含む。ＲＧＢＤ画像内の各ピクセルポイントのＲＧＢカラー情報は、ＲＧＢ画像を構成し、ＲＧＢＤ画像内の各ピクセルポイントの深度情報は、シーンの二次元ピクセルマトリックス、すなわち、深度画像を構成する。深度画像内の各ピクセル値は、容器画像収集モジュール４２０の所在する平面からの当該ピクセルポイントに対応する物体の距離を表し、各ピクセルポイントの位置は、当該ピクセルポイントに対応する物体のシーンにおける位置に対応し、関連するＲＧＢ画像内の位置に対応する。

【0027】

一実施例において、スマートフォークリフトは、搬送対象在庫容器を搬送する際に、所定の経路に基づいて、保管領域又はフォークホール構造を有するトレイを保管する棚ゾーンなど、搬送対象在庫容器の所在する保管位置まで走行する。スマートフォークリフトは、制御の下で、パレットフォークを搬送対象在庫容器の保管位置の所在する高さまで昇降させる。一実施例において、作業状態監視モジュール４１０は、パレットフォークの所在する高さ、積載重量又はパレットフォークの作業動作などを監視することができ、パレットフォークが搬送対象在庫容器の所在する高さまで昇降し、かつ搬送対象在庫容器に対する持ち上げ動作を完了したことがモニタリングされた場合、ＲＧＢＤ画像フレームの連続的な収集のために容器画像収集モジュール４２０をトリガする。容器画像収集モジュール４２０は、作業状態監視モジュールのトリガに応答し、搬送対象在庫容器を含むＲＧＢＤ画像フレームを収集し、当該ＲＧＢＤ画像フレームを処理モジュール４３０に伝送する。

【0028】

これにより、処理モジュール４３０は、画像収集モジュール４２０からフィードバックされたＲＧＢＤ画像フレームを収集し、予め決定された容器認識モデルに基づいて、ＲＧＢＤ画像フレーム内の搬送対象在庫容器を認識し、現在のＲＧＢＤ画像フレームのＲＧＢ画像から、搬送対象保管容器のＲＧＢ画像における位置を決定することができる。搬送対象保管容器のＲＧＢ画像における位置に基づいて、現在のＲＧＢＤ画像フレームの深度画像から、搬送対象保管容器を含む目標関心領域を切り取る。深度情報を有する目標関心領域を利用して、目標関心領域の深度特徴及び面積特徴を決定し、搬送対象在庫容器の現在の位置姿勢ずれ度合いを検出する。本実施例において、位置姿勢ずれ度合いの検出は、搬送対象在庫容器とパレットフォークとの相対的なずれ度合に対する検出を含むことできるが、搬送対象在庫容器上の物品と搬送対象在庫容器との相対的なずれ度合に対する検出を含むこともできる。

【0029】

したがって、本出願の実施例に係るスマートフォークリフトは、搬送対象在庫容器の搬送中、パレットフォーク上の搬送対象在庫容器及び搬送対象在庫容器に載置されている物品の位置ずれ度合いを常に検出し、パレットフォーク上の搬送対象在庫容器又は物品に大きい位置ずれがあると決定された場合、制動及び警報を行い、当該スマートフォークリフトのパレットフォーク上の搬送対象在庫容器及び／又は物品の位置姿勢を調整するように作業者又は他のロボットに促す。位置姿勢調整後、スマートフォークリフトが搬送対象在庫容器を目的地まで搬送し、搬送対象在庫容器を降ろすまで搬送を継続し、画像の収集及び検出を終了する。これにより、パレットフォーク上の搬送対象在庫容器及び／又は物品の位置姿勢が変化して安全且つ正常に搬送できないという問題を回避し、搬送対象在庫容器の全搬送中に搬送対象在庫容器及び／又は物品がパレットフォーク上に安定的に載置されることを確保する。

【0030】

本実施例の技術案は、スマートフォークリフトに取り付けられる容器画像収集モジュールによって、在庫容器の搬送中、パレットフォーク上の搬送対象保管容器に対してＲＧＢＤ画像収集を行うことにより、常に収集されたＲＧＢＤ画像フレームに基づいて、パレットフォーク上の搬送対象在庫容器に対して位置姿勢ずれ度合いを検出し、位置姿勢ずれ度合いの検出結果に基づいて、搬送対象在庫容器のスマートフォークリフトにおける位置姿勢を調整するための警報を行う。本出願の実施例は、パレットフォーク上の搬送対象在庫容器を含むＲＧＢＤ画像に対して収集及び容器認識を行うことにより、パレットフォーク上の搬送対象在庫容器の位置姿勢ずれに対する効果的な検出を実現し、搬送対象在庫容器が搬送中に外力を受けたり、フォークリフトが急ブレーキをかけたりすることにより、搬送対象在庫容器のパレットフォークにおける位置が変化して安全に搬送できないという問題を回避し、フォークリフトによる在庫容器の搬送の効率及び安全性を向上させる。

【0031】

＜実施例２＞
本実施例は、上記実施例１に基づいて、搬送対象在庫容器の認識及び特徴の決定により、搬送対象在庫容器の位置姿勢ずれ度合いを検出することができるスマートフォークリフトの一実施形態を提供する。

【0032】

一実施例において、容器画像収集モジュール４２０は、スマートフォークリフトのパレットフォークの上方に取り付けられる少なくとも１つのカメラを含む。

【0033】

一実施例において、ＲＧＢＤ画像フレームは、ＲＧＢ画像及び深度画像を含み、搬送対象在庫容器を特徴付けるためのＲＧＢＤ画像フレームにおける画像は、ＲＧＢＤフレーム内の指定領域内に位置する。

【0034】

一実施例において、作業状態監視モジュール４１０は、スマートフォークリフトが搬送対象在庫容器の持ち上げ動作を完了したことがモニタリングされた場合、画像収集を行うように容器画像収集モジュール４２０をトリガし、スマートフォークリフトが搬送対象在庫容器の載置動作を完了したことがモニタリングされた場合、容器画像収集モジュール４２０の画像収集動作を終了する、という方式によって作業状態に基づいて容器画像収集モジュール４２０を制御して画像収集を行うように構成される。

【0035】

本実施例において、容器画像収集モジュール４２０は、深度カメラ又はＫｉｎｅｃｔセンサなどのＲＧＢＤ画像が収集できる装置であってもよい。一実施例において、容器画像収集モジュール４２０は、少なくとも１つのカメラを含み、カメラは、スマートフォークリフトが通過できる各高さの段に取り付けたり、パレットフォークの上方、すなわち、スマートフォークリフトの先端に取り付けたりすることができる。パレットフォークが搬送対象在庫容器の持ち上げ動作を完了した後、カメラは、搬送対象在庫容器及び搬送対象在庫容器上の物品を完全に含むＲＧＢＤ画像フレームを投射して収集することができる。

【0036】

本実施例において、容器画像収集モジュール４２０のカメラのトレイからの距離又は相対的な高さが変化した場合、収集された画像は、地面などの無効な周囲環境画像を含む可能性がある。搬送対象在庫容器の位置姿勢の検出効率を向上させるために、搬送対象在庫容器及び搬送対象在庫容器上の物品を含む領域を検出すればよい。したがって、パレットフォークの高さ、及び当該高さでのパレットフォークとカメラとの固有の相対的な位置関係に基づいて、画像中の在庫容器の所在する画像における位置を決定することができ、これにより、画像が得られた場合、そのうち搬送対象在庫容器を特徴付けることができる画像は、通常、画像内の指定領域内に位置する。

【0037】

本実施例において、作業状態監視モジュール４１０は、パレットフォークの所在する高さ、積載重量又はパレットフォークの作業動作などを監視することができ、パレットフォークが搬送対象在庫容器の所在する高さまで昇降し、かつ搬送対象在庫容器に対する持ち上げ動作を完了したことがモニタリングされた場合、ＲＧＢＤ画像フレームを連続的に収集するために容器画像収集モジュール４２０をトリガする。パレットフォークが目標保管位置の所在する高さまで昇降し、搬送対象在庫容器の降ろし動作を完了したことがモニタリングされた場合、画像収集動作を終了するように容器画像収集モジュール４２０を制御する。

【0038】

一実施例において、処理モジュール４３０は、予め決定された容器認識モデルに基づいて、現在のＲＧＢＤ画像フレームのＲＧＢ画像から、搬送対象保管容器のＲＧＢ画像における位置を決定し、搬送対象保管容器の前記ＲＧＢ画像における位置に基づいて、現在のＲＧＢＤ画像フレームの深度画像から、搬送対象保管容器を含む目標関心領域を切り取り、目標関心領域の深度特徴及び面積特徴を決定し、目標関心領域の深度特徴及び面積特徴、並びに予め設定された比較対象テンプレートの深度特徴及び面積特徴に基づいて、深度特徴差分値及び面積特徴差分値を決定し、深度特徴差分値及び面積特徴差分値、並びに予め設定された深度特徴閾値及び予め設定された面積特徴閾値に基づいて、搬送対象在庫容器の現在の位置姿勢ずれ度合いを検出する、という方式によってＲＧＢＤ画像フレームに基づいて搬送対象在庫容器の位置姿勢ずれ度合いを検出するように構成される。

【0039】

一実施例において、処理モジュール４３０は、予め設定されたレイヤ数に基づいて前記目標関心領域に対してダウンサンプリング処理を行い、ダウンサンプリング後の関心領域画像を得て、ダウンサンプリング後の関心領域画像におけるすべてのピクセルポイントの深度値を合計し、目標関心領域の深度特徴を得て、ダウンサンプリング後の関心領域画像の面積を決定し、目標関心領域の面積特徴を得る、という方式によって目標関心領域の深度特徴及び面積特徴を決定するように構成される。

【0040】

一実施例において、予め設定された比較対象テンプレートは、少なくとも標準容器テンプレート及び現在のＲＧＢＤ画像フレームの１つ前のフレームのＲＧＢＤ画像フレームを含む。

【0041】

一実施例において、標準容器テンプレートは、予め設定された数の初期収集されたＲＧＢＤ画像フレームの深度特徴平均値及び面積特徴平均値に基づいて算出される。

【0042】

一実施例において、処理モジュール４３０は、現在のＲＧＢＤ画像フレームと標準容器テンプレートとの深度特徴差分値及び面積特徴差分値、現在のＲＧＢＤ画像フレームと現在ＲＧＢＤ画像フレームの１つ前のフレームのＲＧＢＤ画像フレームとの深度特徴差分値及び面積特徴差分値、並びに予め設定された標準深度特徴閾値、標準面積特徴閾値、隣接特徴閾値及び隣接面積特徴閾値に基づいて、少なくとも１つの特徴差分値が対応する特徴閾値より大きいと検出された場合、現時点で搬送対象在庫容器のスマートフォークリフトにおける位置姿勢がずれていると決定する、という方式によって深度特徴差分値及び面積特徴差分値、並びに予め設定された深度特徴閾値及び予め設定された面積特徴閾値に基づいて、搬送対象在庫容器の現在の位置姿勢ずれ度合いを検出する。

【0043】

本実施例において、容器認識モデルとは、パレットフォーク上の搬送対象在庫容器を認識するためのモデルであり、事前のトレーニングにより取得することができる。一実施例において、スマートフォークリフトの上記構造に基づいて、複数のシーンを予め設定し、複数のシーンでスマートフォークリフトが在庫容器を搬送する過程における大量のサンプルＲＧＢ画像を収集することができる。サンプルＲＧＢ画像は、シーンの違いに基づいて、在庫容器及び在庫容器上の物品の全体、一部を含むか、又は含まない可能性がある。これにより、サンプルＲＧＢ画像を分類し、在庫容器を含むＲＧＢ画像を正のサンプルとし、在庫容器を含まないＲＧＢ画像を負のサンプルとする。サポートベクターマシン（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ、ＳＶＭ）を用いて容器認識モデルのトレーニングを行い、容器認識モデルを得ることができる。

【0044】

本実施例において、トレーニングされたＳＶＭモデルを用いて現在のＲＧＢＤ画像フレームのＲＧＢ画像を認識し、認識された搬送対象在庫容器に最小外接矩形を追加し、ＲＧＢ画像における当該最小外接矩形の少なくとも２つの対角頂点の座標を記録し、搬送対象保管容器のＲＧＢ画像における位置とし、例えば、左上隅の頂点座標及び右下隅の頂点座標であり、当該位置によって当該最小外接矩形の位置及び大きさを表すことができる。

【0045】

本実施例において、容器画像収集モジュール４２０のカメラは、スマートフォークリフトの移動中に画像収集を行い、その間、カメラとスマートフォークリフトとの相対的な位置は固定しており、通常の作業状態では、搬送対象在庫容器と物品の位置は変わらない。特徴を決定する前、フィルタを用いて深度画像に対してノイズ除去処理を行うことができる。例えば、ガウス低域通過フィルタを用いて深度画像に対して平滑化処理を行い、深度画像におけるカメラの振動やレーザ受光妨害などによるノイズを除去することにより、各ピクセルポイントの正確な距離情報を取得することができる。一実施例において、用いられたガウス低域通過フィルタテンプレートのサイズは、３×３又は５×５であり、標準偏差が１である。本実施例における深度画像のノイズ除去アルゴリズムは、ガウス低域通過フィルタに限定されるものではなく、深度画像ノイズ除去が実現できる任意のアルゴリズムは、いずれも本実施例に適用することができる。

【0046】

本実施例において、ノイズが除去された深度画像に基づいて、現在のＲＧＢＤ画像フレームのＲＧＢ画像と深度画像中の各ピクセルポイントは、関連して対応する関係があり、同一のシーンでの異なる画像情報を表す。したがって、搬送対象保管容器のＲＧＢ画像における位置に基づいて、現在のＲＧＢＤ画像フレームの深度画像から、目標関心領域として同じ矩形領域を切り取ることができる。それに応じて、当該目標関心領域は、搬送対象保管容器を含み、かつ搬送対象保管容器の深度情報を含む。

【0047】

本実施例において、深度特徴及び面積特徴を目標関心領域の重要な情報として、重要な情報に基づいて在庫容器の位置姿勢ずれ度合いを検出する。一実施例において、深度特徴とは、深度画像におけるすべてのピクセルポイントの深度値の合計であり、面積特徴とは、深度画像の総面積である。オリジナル画像のピクセル解像度が高いから、検出効率を向上させるために、本実施例において、目標関心領域に対してダウンサンプリング処理を行うように、目標関心領域が得られた後、先ず目標関心領域に対してピラミッド画像を構築することができる。一実施例において、ピラミッド画像のレイヤ数は、ＲＧＢＤセンサのカメラ焦点距離に基づいて決定することができる。これにより、ダウンサンプリング処理後の関心領域画像に対して、深度特徴として関心領域画像におけるすべてのピクセルポイントの深度値の和を求め、面積特徴として関心領域画像の総面積を算出する。

【0048】

本実施例において、予め設定された比較対象テンプレートとは、安全な位置姿勢状態を有する在庫容器の深度画像であってもよいし、現在のＲＧＢＤ画像フレームよりも前の画像フレームの深度画像であってもよい。一実施例において、搬送対象在庫容器は、初期持ち上げ状態で、搬送対象在庫容器の位置姿勢が比較的安全且つ安定的であるので、予め設定された数の初期収集されたＲＧＢＤ画像フレームの深度画像の平均値を、予め設定された比較対象テンプレートとすることができ、また、現在のＲＧＢＤ画像フレームの検出時に、現在のＲＧＢＤ画像フレームよりも前の画像フレームは、検出の結果、いずれも位置姿勢ずれがないか、安全なずれ範囲内にあるので、現在のＲＧＢＤ画像フレームの１つ前のフレームのＲＧＢＤ画像フレームの深度画像を予め設定された比較対象テンプレートとすることもできる。さらに、上記深度特徴及び面積特徴の決定方法に基づいて、予め設定された比較対象テンプレートの深度特徴及び面積特徴を決定することができる。これにより、目標関心領域の深度特徴及び面積特徴のそれぞれを、予め設定された比較対象テンプレートの深度特徴及び面積特徴と比較し、深度特徴差分値及び面積特徴差分値を得る。

【0049】

本実施例は、異なるシーンでの危険ずれ度合いに基づいて、深度特徴閾値及び面積特徴閾値を予め決定する。すなわち、深度特徴差分値及び面積特徴差分値に基づいて位置姿勢ずれ度合いを決定し、深度特徴閾値及び／又は面積特徴閾値によって限定された位置姿勢ずれ度合いを超えた場合、搬送対象在庫容器に現在大きなずれが生じ、セキュリティ上の問題があり、安全に、又は正常に搬送できなくなりやすく、又は倉庫環境における他のフォークリフトやロボットの正常な搬送に影響を与えると決定する。したがって、処理モジュール４３０は、大きいずれがあると検出された場合、スマートフォークリフトのブレーキを制御し、作業者や他のロボットが当該スマートフォークリフトのパレットフォーク上の搬送対象在庫容器及び／又は物品の位置姿勢を調整するための警報を行う。位置姿勢調整後、スマートフォークリフトが搬送対象在庫容器を目的地まで搬送し、搬送対象在庫容器を降ろすまで搬送を継続し、その時点で画像収集及び検出を終了する。

【0050】

【0051】

【0052】

【0053】

本実施例の技術案は、スマートフォークリフトが在庫容器を持ち上げたことがモニタリングされた場合、パレットフォーク上の搬送対象保管容器に対してＲＧＢＤ画像収集を行うように容器画像収集モジュールをトリガする。現在のＲＧＢＤ画像フレームのＲＧＢ画像に対して在庫容器認識を行うことにより、搬送対象在庫容器のＲＧＢ画像における位置を決定し、当該位置に基づいて、現在のＲＧＢＤ画像フレームの深度画像の目標関心領域を切り取る。目標関心領域に対して深度特徴及び面積特徴を決定し、予め設定された比較対象テンプレート及び特徴閾値に基づいて特徴を比較し、特徴比較結果に基づいて、パレットフォーク上の搬送対象保管容器に対して位置姿勢ずれ度合いを検出し、位置姿勢ずれ度合いの検出結果に基づいて、搬送対象在庫容器のスマートフォークリフトにおける位置姿勢を調整するための警報を行う。本出願の実施例は、パレットフォーク上の搬送対象在庫容器を含むＲＧＢＤ画像に対して収集及び容器認識を行うことにより、パレットフォーク上の搬送対象在庫容器の位置姿勢ずれに対する効果的な検出が実現され、搬送対象在庫容器が搬送中に外力を受けたり、フォークリフトが急ブレーキをかけたりすることにより、搬送対象在庫容器のパレットフォークにおける位置が変化して安全に搬送できないという問題が回避され、フォークリフトによる在庫容器の搬送の効率及び安全性を向上させる。

【0054】

＜実施例３＞
図５は、本出願の実施例により提供される容器位置姿勢ずれの検出方法のフローチャートであり、本実施例は、スマートフォークリフトが在庫容器を搬送する場合に適用することができ、当該方法は、ソフトウェア及び／又はハードウェアで実現可能な容器位置姿勢ずれの検出装置によって実行可能である。一実施例において、当該装置は、スマートフォークリフト内に載置されている。当該方法は、以下のステップを含む。

【0055】

ステップ５１０において、スマートフォークリフトが搬送対象在庫容器の持ち上げ動作を完了したことがモニタリングされた場合、搬送対象在庫容器を含むＲＧＢＤ画像フレームを収集する。

【0056】

本実施例において、搬送対象在庫容器とは、倉庫環境においてフォークリフトが搬送可能な在庫容器、例えば、トレイなどを指す。それに応じて、この類の搬送対象在庫容器は、パレットフォークを挿入し、搬送対象在庫容器を持ち上げ、搬送対象在庫容器を搬送するための、フォークリフトのパレットフォークにマッチングするフォークホール構造を有する。この類の搬送対象在庫容器は、倉庫環境中の任意の位置、例えば、保管領域に位置してもよい。一実施例において、搬送対象在庫容器は、保管領域における棚区画上に位置してもよい。さらに、スマートフォークリフトのパレットフォークを搬送対象在庫容器の位置する高さまで昇降させた場合、パレットフォークを搬送対象在庫容器のフォークホール構造に位置合わせしたら、パレットフォークを搬送対象在庫容器のフォークホール構造に挿入することにより、スマートフォークリフトが搬送対象在庫容器を搭載するようになり、搬送対象在庫容器に対するピックアップ及び搬送などの操作を実現する。

【0057】

一実施例において、ＫｉｎｅｃｔなどのＲＧＢＤ画像センサを用いて画像収集を行うことができ、収集された画像は、ＲＧＢＤ画像（ＲＧＢ＋Ｄｅｐｔｈ Ｍａｐ）であり、ＲＧＢＤ画像内の各ピクセルポイントは、Ｒ（Ｒｅｄ、赤）、Ｇ（Ｇｒｅｅｎ、緑）、Ｂ（Ｂｌｕｅ、青）カラーピクセル情報及び対応する深度情報を含む。ＲＧＢＤ画像内の各ピクセルポイントのＲＧＢカラー情報は、ＲＧＢ画像を構成し、ＲＧＢＤ画像内の各ピクセルポイントの深度情報は、シーンの二次元ピクセルマトリックス、すなわち、深度画像を構成する。深度画像内の各ピクセル値は、ＲＧＢＤ画像センサの所在する平面からの当該ピクセルポイントに対応する物体の距離を表し、各ピクセルポイントの位置は、当該ピクセルポイントに対応する物体のシーンにおける位置に対応し、関連するＲＧＢ画像内の位置に対応する。

【0058】

一実施例において、スマートフォークリフトは、搬送対象在庫容器を搬送する際に、所定の経路に基づいて、保管領域又はフォークホール構造を有するトレイを保管する棚ゾーンなど、搬送対象在庫容器の所在する保管位置まで走行する。スマートフォークリフトは、制御の下で、パレットフォークを搬送対象在庫容器の保管位置の所在する高さまで昇降させる。一実施例において、パレットフォークの所在する高さ、積載重量又はパレットフォークの作業動作などを監視することができ、パレットフォークが搬送対象在庫容器の所在する高さまで昇降し、かつ搬送対象在庫容器に対する持ち上げ動作を完了したことがモニタリングされた場合、ＲＧＢＤ画像フレームに対する連続的な収集をトリガする。

【0059】

ステップ５２０において、予め決定された容器認識モデルに基づいて、現在のＲＧＢＤ画像フレームのＲＧＢ画像から、搬送対象保管容器のＲＧＢ画像における位置を決定する。

【0060】

本実施例において、予め決定された容器認識モデルに基づいて、ＲＧＢＤ画像フレーム内の搬送対象在庫容器を認識し、現在のＲＧＢＤ画像フレームのＲＧＢ画像から、搬送対象保管容器のＲＧＢ画像における位置を決定することができる。容器認識モデルとは、パレットフォーク上の搬送対象在庫容器を認識するためのモデルであり、事前のトレーニングにより取得することができる。一実施例において、スマートフォークリフトの上記構造に基づいて、複数のシーンを予め設定し、複数のシーンでスマートフォークリフトが在庫容器を搬送する過程における大量のサンプルＲＧＢ画像を収集することができる。サンプルＲＧＢ画像は、シーンの違いに基づいて、在庫容器及び在庫容器上の物品の全体、一部を含むか、又は含まない可能性がある。これにより、サンプルＲＧＢ画像を分類し、在庫容器を含むＲＧＢ画像を正のサンプルとし、在庫容器を含まないＲＧＢ画像を負のサンプルとする。ＳＶＭを用いて容器認識モデルのトレーニングを行い、容器認識モデルを得ることができる。

【0061】

本実施例において、トレーニングされたＳＶＭモデルを用いて現在のＲＧＢＤ画像フレームのＲＧＢ画像を認識し、認識された搬送対象在庫容器に最小外接矩形を追加し、ＲＧＢ画像における当該最小外接矩形の少なくとも２つの対角頂点の座標を記録し、搬送対象保管容器のＲＧＢ画像における位置とし、例えば、左上隅の頂点座標及び右下隅の頂点座標であり、当該位置によって当該最小外接矩形の位置及び大きさを表すことができる。

【0062】

ステップ５３０において、搬送対象保管容器のＲＧＢ画像における位置に基づいて、現在のＲＧＢＤ画像フレームの深度画像から、搬送対象保管容器を含む目標関心領域を切り取る。

【0063】

本実施例において、現在のＲＧＢＤ画像フレームのＲＧＢ画像と深度画像中の各ピクセルポイントは、関連して対応する関係があり、同一のシーンでの異なる画像情報を表す。したがって、搬送対象保管容器のＲＧＢ画像における位置に基づいて、現在のＲＧＢＤ画像フレームの深度画像から、目標関心領域として同じ矩形領域を切り取ることができる。それに応じて、当該目標関心領域は、搬送対象保管容器を含み、かつ搬送対象保管容器の深度情報を含む。

【0064】

ステップ５４０において、目標関心領域の深度特徴及び面積特徴、予め設定された比較対象テンプレートの深度特徴及び面積特徴、並びに予め設定された深度特徴閾値及び予め設定された面積特徴閾値に基づいて、搬送対象在庫容器の現在の位置姿勢ずれ度合いを検出する。

【0065】

本実施例において、深度特徴及び面積特徴を目標関心領域の重要な情報として、重要な情報に基づいて在庫容器の位置姿勢ずれ度合いを検出する。一実施例において、深度特徴とは、深度画像におけるすべてのピクセルポイントの深度値の合計であり、面積特徴とは、深度画像の総面積である。

【0066】

本実施例において、予め設定された比較対象テンプレートとは、安全な位置姿勢状態を有する在庫容器の深度画像であってもよいし、現在のＲＧＢＤ画像フレームよりも前の画像フレームの深度画像であってもよい。一実施例において、搬送対象在庫容器は、初期持ち上げ状態で、搬送対象在庫容器の位置姿勢が比較的安全且つ安定的であるので、予め設定された数の初期収集されたＲＧＢＤ画像フレームの深度画像の平均値を、予め設定された比較対象テンプレートとすることができ、また、現在のＲＧＢＤ画像フレームの検出時に、現在のＲＧＢＤ画像フレームよりも前の画像フレームは、検出の結果、いずれも位置姿勢ずれがないか、安全なずれ範囲内にあるので、現在のＲＧＢＤ画像フレームの１つ前のフレームのＲＧＢＤ画像フレームの深度画像を予め設定された比較対象テンプレートとすることもできる。さらに、上記深度特徴及び面積特徴の決定方法に基づいて、予め設定された比較対象テンプレートの深度特徴及び面積特徴を決定することができる。これにより、目標関心領域の深度特徴及び面積特徴のそれぞれを、予め設定された比較対象テンプレートの深度特徴及び面積特徴と比較し、深度特徴差分値及び面積特徴差分値を得る。

【0067】

本実施例は、異なるシーンでの危険ずれ度合いに基づいて、深度特徴閾値及び面積特徴閾値を予め決定する。すなわち、深度特徴差分値及び面積特徴差分値に基づいて位置姿勢ずれ度合いを決定し、深度特徴閾値及び／又は面積特徴閾値によって限定された位置姿勢ずれ度合いを超えた場合、搬送対象在庫容器に現在大きなずれが生じ、セキュリティ上の問題があり、安全に、又は正常に搬送できなくなりやすく、又は倉庫環境における他のフォークリフトやロボットの正常な搬送に影響を与えると決定する。

【0068】

本実施例の技術案は、スマートフォークリフトが搬送対象在庫容器の持ち上げ動作を完了したことがモニタリングされた場合、在庫容器の搬送中、パレットフォーク上の搬送対象保管容器のＲＧＢＤ画像を連続的に収集するように画像収集機能をトリガし、常に収集されたＲＧＢＤ画像フレームに基づいて、パレットフォーク上の搬送対象在庫容器に対して位置姿勢ずれ度合いを検出し、位置姿勢ずれ度合いの検出結果に基づいて、搬送対象在庫容器のスマートフォークリフトにおける位置姿勢を調整するための警報を行う。本出願の実施例は、パレットフォーク上の搬送対象在庫容器を含むＲＧＢＤ画像に対して収集及び容器認識を行うことにより、パレットフォーク上の搬送対象在庫容器の位置姿勢ずれに対する効果的な検出が実現され、搬送対象在庫容器が搬送中に外力を受けたり、フォークリフトが急ブレーキをかけたりすることにより、搬送対象在庫容器のパレットフォークにおける位置が変化して安全に搬送できないという問題が回避され、フォークリフトによる在庫容器の搬送の効率及び安全性を向上させる。

【0069】

＜実施例４＞
本実施例は、上記実施例３に基づいて、搬送対象在庫容器の認識及び特徴の決定により、搬送対象在庫容器の位置姿勢ずれ度合いを検出することができる容器位置姿勢ずれの検出方法の一実施形態を提供する。図６は、本出願の実施例により提供される別の容器位置姿勢ずれの検出方法のフローチャートであり、図６に示すように、当該方法は、以下のステップを含む。

【0070】

ステップ６１０において、スマートフォークリフトが搬送対象在庫容器の持ち上げ動作を完了したことがモニタリングされた場合、搬送対象在庫容器を含むＲＧＢＤ画像フレームを収集する。

【0071】

ステップ６２０において、予め決定された容器認識モデルに基づいて、現在のＲＧＢＤ画像フレームのＲＧＢ画像から、搬送対象保管容器のＲＧＢ画像における位置を決定する。

【0072】

本実施例において、トレーニングされたＳＶＭモデルを用いて現在のＲＧＢＤ画像フレームのＲＧＢ画像を認識し、認識された搬送対象在庫容器に最小外接矩形を追加し、ＲＧＢ画像における当該最小外接矩形の少なくとも２つの対角頂点の座標を記録し、搬送対象保管容器のＲＧＢ画像における位置とし、当該位置によって当該最小外接矩形の位置及び大きさを表すことができる。

【0073】

【0074】

ステップ６３０において、搬送対象保管容器のＲＧＢ画像における位置に基づいて、現在のＲＧＢＤ画像フレームの深度画像から、搬送対象保管容器を含む目標関心領域を切り取る。

【0075】

本実施例において、深度カメラなどの画像センサは、スマートフォークリフトの移動中に画像収集を行い、その間、画像センサとスマートフォークリフトとの相対的な位置は固定しており、通常の作業状態では、搬送対象在庫容器と物品の位置は変わらない。特徴を決定する前、フィルタを用いて深度画像に対してノイズ除去処理を行うことができる。例えば、ガウス低域通過フィルタを用いて深度画像に対して平滑化処理を行い、深度画像における画像センサの振動やレーザ受光妨害などによるノイズを除去することにより、各ピクセルポイントの正確な距離情報を取得することができる。一実施例において、用いられたガウス低域通過フィルタテンプレートのサイズは、３×３又は５×５であり、標準偏差が１である。本実施例における深度画像のノイズ除去アルゴリズムは、ガウス低域通過フィルタに限定されるものではなく、深度画像ノイズ除去が実現できる任意のアルゴリズムは、いずれも本実施例に適用することができる。

【0076】

本実施例において、ノイズが除去された深度画像に基づいて、現在のＲＧＢＤ画像フレームのＲＧＢ画像と深度画像中の各ピクセルポイントは、関連して対応する関係があり、同一のシーンでの異なる画像情報を表す。したがって、搬送対象保管容器のＲＧＢ画像における位置に基づいて、現在のＲＧＢＤ画像フレームの深度画像から、目標関心領域として同じ矩形領域を切り取ることができる。それに応じて、当該目標関心領域は、搬送対象保管容器を含み、かつ搬送対象保管容器の深度情報を含む。

【0077】

【0078】

ステップ６４０において、目標関心領域の深度特徴及び面積特徴を決定する。

【0079】

本実施例において、オリジナル画像のピクセル解像度が高いから、検出効率を向上させるために、本実施例において、目標関心領域に対してダウンサンプリング処理を行うように、目標関心領域が得られた後、先ず目標関心領域に対してピラミッド画像を構築することができる。一実施例において、ピラミッド画像のレイヤ数は、ＲＧＢＤセンサのカメラ焦点距離に基づいて決定することができる。これにより、ダウンサンプリング処理後の関心領域画像に対して、深度特徴として関心領域画像におけるすべてのピクセルポイントの深度値の和を求め、面積特徴として関心領域画像の総面積を算出する。

【0080】

一実施例において、予め設定されたレイヤ数に基づいて前記目標関心領域に対してダウンサンプリング処理を行い、ダウンサンプリング後の関心領域画像を得て、ダウンサンプリング後の関心領域画像におけるすべてのピクセルポイントの深度値を合計し、前記目標関心領域の深度特徴を得て、ダウンサンプリング後の関心領域画像の面積を決定し、目標関心領域の面積特徴を得る。

【0081】

【0082】

ステップ６５０において、目標関心領域の深度特徴及び面積特徴、並びに予め設定された比較対象テンプレートの深度特徴及び面積特徴に基づいて、深度特徴差分値及び面積特徴差分値を決定する。

【0083】

本実施例において、予め設定された比較対象テンプレートとは、安全な位置姿勢状態を有する在庫容器の深度画像であってもよいし、現在のフレームよりも前の画像フレームの深度画像であってもよい。一実施例において、搬送対象在庫容器は、初期持ち上げ状態で、搬送対象在庫容器の位置姿勢が比較的安全且つ安定的であり、又は現在のＲＧＢＤ画像フレームの検出時に現在のフレームよりも前の画像フレームは、検出の結果、いずれも位置姿勢ずれがないか、安全なずれ範囲内にある。したがって、予め設定された比較対象テンプレートは、少なくとも標準容器テンプレート及び前のフレームのＲＧＢＤ画像フレームを含むことができる。一実施例において、標準容器テンプレートは、予め設定された数の初期収集されたＲＧＢＤ画像フレームにおける深度特徴及び面積特徴の平均値に基づいて算出される。さらに、上記深度特徴及び面積特徴の決定方法に基づいて、予め設定された比較対象テンプレートの深度特徴及び面積特徴を決定することができる。これにより、目標関心領域の深度特徴及び面積特徴のそれぞれを、予め設定された比較対象テンプレートの深度特徴及び面積特徴と比較し、深度特徴差分値及び面積特徴差分値を得る。

【0084】

【0085】

ステップ６６０において、深度特徴差分値及び面積特徴差分値、並びに予め設定された深度特徴閾値及び予め設定された面積特徴閾値に基づいて、搬送対象在庫容器の現在の位置姿勢ずれ度合いを検出する。

【0086】

本実施例は、異なるシーンでの危険ずれ度合いに基づいて、深度特徴閾値及び面積特徴閾値を予め決定する。すなわち、深度特徴差分値及び面積特徴差分値に基づいて位置姿勢ずれ度合いを決定し、深度特徴閾値及び／又は面積特徴閾値によって限定された位置姿勢ずれ度合いを超えた場合、搬送対象在庫容器に現在大きなずれが生じ、セキュリティ上の問題があり、安全に、又は正常に搬送できなくなりやすく、又は倉庫環境における他のフォークリフトやロボットの正常な搬送に影響を与えると決定する。

【0087】

一実施例において、現在のＲＧＢＤ画像フレームと標準容器テンプレートとの深度特徴差分値及び面積特徴差分値、現在のＲＧＢＤ画像フレームと現在ＲＧＢＤ画像フレームの１つ前のフレームのＲＧＢＤ画像フレームとの深度特徴差分値及び面積特徴差分値、並びに予め設定された標準深度特徴閾値、標準面積特徴閾値、隣接特徴閾値及び隣接面積特徴閾値に基づいて、少なくとも１つの特徴差分値が対応する特徴閾値より大きいと検出された場合、現時点で搬送対象在庫容器のスマートフォークリフトにおける位置姿勢がずれていると決定する。

【0088】

本実施例において、現在のＲＧＢＤ画像フレームと標準容器テンプレートとの深度特徴差分値を、標準深度特徴閾値と比較し、現在のＲＧＢＤ画像フレームと標準容器テンプレートとの面積特徴差分値を、標準面積特徴閾値と比較し、現在のＲＧＢＤ画像フレームと前のフレームのＲＧＢＤ画像フレームとの深度特徴差分値を、予め設定された隣接特徴閾値と比較し、現在のＲＧＢＤ画像フレームと前のフレームのＲＧＢＤ画像フレームとの面積特徴差分値を、隣接面積特徴閾値と比較する。これにより、上記４つの比較において、少なくとも１つの特徴差分値が対応する特徴閾値より大きいことが存在する場合、現時点で搬送対象在庫容器の前記スマートフォークリフトにおける位置姿勢がずれていると決定する。

【0089】

【0090】

ステップ６７０において、搬送対象在庫容器のスマートフォークリフトにおける位置姿勢がずれていると決定された場合、搬送対象在庫容器のスマートフォークリフトにおける位置姿勢を調整するための警報を行う。

【0091】

本実施例において、スマートフォークリフトは、アップロードされた検出データに基づいて、大きなずれがあると検出された場合、ブレーキをかけて警報を行い、作業者や他のロボットに当該スマートフォークリフトのパレットフォーク上の搬送対象在庫容器及び／又は物品の位置姿勢を調整させ、警報を解除する。スマートフォークリフトは、調整が完了した後、搬送対象在庫容器を目的地まで搬送し、搬送対象在庫容器を降ろすまで搬送タスクを続け、画像の収集及び検出を終了する。

【0092】

本実施例の技術案は、スマートフォークリフトが在庫容器を持ち上げたことがモニタリングされた場合、パレットフォーク上の搬送対象保管容器に対してＲＧＢＤ画像収集を行うようにトリガする。現在のＲＧＢＤ画像フレームのＲＧＢ画像に対して在庫容器認識を行うことにより、搬送対象在庫容器のＲＧＢ画像における位置を決定し、当該位置に基づいて、現在のＲＧＢＤ画像フレームの深度画像の目標関心領域を切り取る。目標関心領域に対して深度特徴及び面積特徴を決定し、予め設定された比較対象テンプレートに基づいて特徴を比較し、特徴比較結果及び特徴閾値に基づいて、パレットフォーク上の搬送対象保管容器に対して位置姿勢ずれ度合いを検出し、位置姿勢ずれ度合いの検出結果に基づいて、搬送対象在庫容器のスマートフォークリフトにおける位置姿勢を調整するための警報を行う。本出願の実施例は、パレットフォーク上の搬送対象在庫容器を含むＲＧＢＤ画像に対して収集及び容器認識を行うことにより、パレットフォーク上の搬送対象在庫容器の位置姿勢ずれに対する効果的な検出が実現され、搬送対象在庫容器が搬送中に外力を受けたり、フォークリフトが急ブレーキをかけたりすることにより、搬送対象在庫容器のパレットフォークにおける位置が変化して安全に搬送できないという問題が回避され、フォークリフトによる在庫容器の搬送の効率及び安全性を向上させる。

【0093】

＜実施例５＞
本出願の実施例は、コンピュータプログラム（又はコンピュータ実行可能な指令と呼ばれる）が記憶されているコンピュータ読み取り可能な記憶媒体をさらに提供し、当該プログラムがプロセッサによって実行された場合、容器位置姿勢ずれの検出方法を実行することに用いられ、当該方法は、スマートフォークリフトが搬送対象在庫容器の持ち上げ動作を完了したことがモニタリングされた場合、前記搬送対象在庫容器を含むＲＧＢＤ画像フレームを収集するステップであって、前記ＲＧＢＤ画像フレームは、ＲＧＢ画像及び深度画像を含むステップと、予め決定された容器認識モデルに基づいて、現在のＲＧＢＤ画像フレームのＲＧＢ画像から、前記搬送対象保管容器の前記ＲＧＢ画像における位置を決定するステップと、前記搬送対象保管容器の前記ＲＧＢ画像における位置に基づいて、現在のＲＧＢＤ画像フレームの深度画像から、前記搬送対象保管容器を含む目標関心領域を切り取るステップと、前記目標関心領域の深度特徴及び面積特徴、予め設定された比較対象テンプレートの深度特徴及び面積特徴、並びに予め設定された深度特徴閾値及び面積特徴閾値に基づいて、前記搬送対象在庫容器の現在の位置姿勢ずれ度合いを検出するステップと、を含む。

【0094】

本出願により提供されるコンピュータ読み取り可能な記憶媒体、コンピュータ読み取り可能な記憶媒体に記憶されているコンピュータによって実行可能な指令は、上記の方法操作に限定されるものではなく、本出願の任意の実施例により提供される容器位置姿勢ずれの検出方法における関連操作を実行することもできる。

【0095】

上記の実施形態に関する説明によって、当業者であれば、本出願の実施例は、ソフトウェア及び汎用のハードウェアによって実現されてもよく、もちろんハードウェアによって実現されてもよいことを理解することができる。このような理解に基づいて、本出願の実施例の技術案は、ソフトウェア製品の形で具体化することができ、当該コンピュータソフトウェア製品は、コンピュータのフロッピーディスク、読み取り専用メモリ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ、ＲＯＭ）、ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、フラッシュメモリ（ＦＬＡＳＨ（登録商標））、ハードディスク又は光ディスクなどのコンピュータ読み取り可能な記憶媒体に記憶されてもよく、１台のコンピュータ装置（パーソナルコンピュータ、サーバ、又はネットワークデバイスなど）に、本出願の任意の実施例に記載の方法を実行させるための複数の指令を含む。

【0096】

上記装置の実施例では、含まれた複数のユニット及びモジュールは機能論理のみによって区分され、上記区分に限定されず、対応する機能を実現できればよく、また、複数の機能ユニットの名称も、相互の区別を容易にするためだけであり、本出願の保護範囲を制限するためのものではない。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【手続補正書】

【提出日】2021-11-29

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

スマートフォークリフトであって、作業状態監視モジュール、容器画像収集モジュール及び処理モジュールを含み、
前記容器画像収集モジュールは前記作業状態監視モジュール及び前記処理モジュールに電気的に接続されており、
前記作業状態監視モジュールは、前記スマートフォークリフトが搬送対象在庫容器を搬送する作業状態を監視し、前記作業状態に基づいて、前記容器画像収集モジュールを制御して画像収集を行うように構成されており、
前記容器画像収集モジュールは、前記作業状態監視モジュールのトリガに応答し、前記搬送対象在庫容器を含むＲＧＢＤ画像フレームを収集し、前記ＲＧＢＤ画像フレームを処理モジュールに伝送するように構成されており、
前記処理モジュールは、前記ＲＧＢＤ画像フレームを受信し、前記ＲＧＢＤ画像フレームに基づいて前記搬送対象在庫容器の位置姿勢ずれ度合いを検出し、位置姿勢ずれ度合いの検出結果に基づいて、前記搬送対象在庫容器の前記スマートフォークリフトにおける位置姿勢を調整するための警報を行うように構成される、
スマートフォークリフト。

【請求項2】

前記容器画像収集モジュールは、前記スマートフォークリフトのパレットフォークの上方に取り付けられる少なくとも１つのカメラを含む、
請求項１に記載のスマートフォークリフト。

【請求項3】

前記ＲＧＢＤ画像フレームは、赤、緑、青のＲＧＢ画像及び深度画像を含み、前記搬送対象在庫容器を特徴付けるための前記ＲＧＢＤ画像フレームにおける画像は、前記ＲＧＢＤ画像フレーム内の指定領域内に位置する、
請求項１または２に記載のスマートフォークリフト。

【請求項4】

前記作業状態監視モジュールは、
前記スマートフォークリフトが前記搬送対象在庫容器の持ち上げ動作を完了したことがモニタリングされた場合、画像収集を行うように前記容器画像収集モジュールをトリガし、
前記スマートフォークリフトが前記搬送対象在庫容器の載置動作を完了したことがモニタリングされた場合、前記容器画像収集モジュールの画像収集動作を終了する、という方式によって前記作業状態に基づいて前記容器画像収集モジュールを制御して画像収集を行うように構成される、
請求項１～３のいずれかに記載のスマートフォークリフト。

【請求項5】

前記処理モジュールは、
予め決定された容器認識モデルに基づいて、現在のＲＧＢＤ画像フレームのＲＧＢ画像から、搬送対象保管容器の前記ＲＧＢ画像における位置を決定し、
前記搬送対象保管容器の前記ＲＧＢ画像における位置に基づいて、前記現在のＲＧＢＤ画像フレームの深度画像から、前記搬送対象保管容器を含む目標関心領域を切り取り、
前記目標関心領域の深度特徴及び面積特徴を決定し、前記目標関心領域の深度特徴及び面積特徴、並びに予め設定された比較対象テンプレートの深度特徴及び面積特徴に基づいて、深度特徴差分値及び面積特徴差分値を決定し、
前記深度特徴差分値及び前記面積特徴差分値、並びに予め設定された深度特徴閾値及び予め設定された面積特徴閾値に基づいて、前記搬送対象在庫容器の現在の位置姿勢ずれ度合いを検出する、という方式によって前記ＲＧＢＤ画像フレームに基づいて前記搬送対象在庫容器の位置姿勢ずれ度合いを検出するように構成される、
請求項３に記載のスマートフォークリフト。

【請求項6】

前記処理モジュールは、
予め設定されたレイヤ数に基づいて前記目標関心領域に対してダウンサンプリング処理を行い、ダウンサンプリング後の関心領域画像を得て、
前記ダウンサンプリング後の関心領域画像におけるすべてのピクセルポイントの深度値を合計し、前記目標関心領域の深度特徴を得て、
前記ダウンサンプリング後の関心領域画像の面積を決定し、前記目標関心領域の面積特徴を得る、という方式によって前記目標関心領域の深度特徴及び面積特徴を決定するように構成される、
請求項５に記載のスマートフォークリフト。

【請求項7】

前記予め設定された比較対象テンプレートは、少なくとも標準容器テンプレート及び前記現在のＲＧＢＤ画像フレームの１つ前のフレームのＲＧＢＤ画像フレームを含む、
請求項５に記載のスマートフォークリフト。

【請求項8】

前記標準容器テンプレートは、予め設定された数の初期収集されたＲＧＢＤ画像フレームの深度特徴平均値及び面積特徴平均値に基づいて算出される、
請求項７に記載のスマートフォークリフト。

【請求項9】

前記処理モジュールは、
前記現在のＲＧＢＤ画像フレームと前記標準容器テンプレートとの深度特徴差分値が予め設定された標準深度特徴閾値より大きい場合、前記現在のＲＧＢＤ画像フレームと前記標準容器テンプレートとの面積特徴差分値が予め設定された標準面積特徴閾値より大きい場合、前記現在のＲＧＢＤ画像フレームと前記現在ＲＧＢＤ画像フレームの１つ前のフレームのＲＧＢＤ画像フレームとの深度特徴差分値が予め設定された隣接特徴閾値より大きい場合、及び前記現在のＲＧＢＤ画像フレームと前記現在のＲＧＢＤ画像フレームの１つ前のフレームのＲＧＢＤ画像フレームとの面積特徴差分値が予め設定された隣接面積特徴閾値より大きい場合のうちの少なくとも１つが検出されると、現時点で前記搬送対象在庫容器の前記スマートフォークリフトにおける位置姿勢がずれていると決定する、という方式によって前記深度特徴差分値及び前記面積特徴差分値、並びに予め設定された深度特徴閾値及び予め設定された面積特徴閾値に基づいて、前記搬送対象在庫容器の現在の位置姿勢ずれ度合いを検出する、
請求項７に記載のスマートフォークリフト。

【請求項10】

位置姿勢ずれの検出方法であって、
スマートフォークリフトが搬送対象在庫容器の持ち上げ動作を完了したことがモニタリングされた場合、前記搬送対象在庫容器を含むＲＧＢＤ画像フレームを収集するステップであって、前記ＲＧＢＤ画像フレームは、ＲＧＢ画像及び深度画像を含むステップと、
予め決定された容器認識モデルに基づいて、現在のＲＧＢＤ画像フレームのＲＧＢ画像から、搬送対象保管容器の前記ＲＧＢ画像における位置を決定するステップと、
前記搬送対象保管容器の前記ＲＧＢ画像における位置に基づいて、前記現在のＲＧＢＤ画像フレームの深度画像から、前記搬送対象保管容器を含む目標関心領域を切り取るステップと、
前記目標関心領域の深度特徴及び面積特徴、予め設定された比較対象テンプレートの深度特徴及び面積特徴、並びに予め設定された深度特徴閾値及び面積特徴閾値に基づいて、前記搬送対象在庫容器の現在の位置姿勢ずれ度合いを検出するステップと、を含む、
位置姿勢ずれの検出方法。

【請求項11】

前記目標関心領域の深度特徴及び面積特徴、予め設定された比較対象テンプレートの深度特徴及び面積特徴、並びに予め設定された深度特徴閾値及び面積特徴閾値に基づいて、前記搬送対象在庫容器の現在の位置姿勢ずれ度合いを検出するステップは、
前記目標関心領域の深度特徴及び面積特徴を決定するステップと、
前記目標関心領域の深度特徴及び面積特徴、並びに予め設定された比較対象テンプレートの深度特徴及び面積特徴に基づいて、深度特徴差分値及び面積特徴差分値を決定するステップと、
前記深度特徴差分値及び面積特徴差分値、並びに予め設定された深度特徴閾値及び予め設定された面積特徴閾値に基づいて、前記搬送対象在庫容器の現在の位置姿勢ずれ度合いを検出するステップと、を含む、
請求項１０に記載の方法。

【請求項12】

前記目標関心領域の深度特徴及び面積特徴を決定するステップは、
予め設定されたレイヤ数に基づいて前記目標関心領域に対してダウンサンプリング処理を行い、ダウンサンプリング後の関心領域画像を得るステップと、
前記ダウンサンプリング後の関心領域画像におけるすべてのピクセルポイントの深度値を合計し、前記目標関心領域の深度特徴を得るステップと、
前記ダウンサンプリング後の関心領域画像の面積を決定し、前記目標関心領域の面積特徴を得るステップと、を含む、
請求項１１に記載の方法。

【請求項13】

前記予め設定された比較対象テンプレートは、少なくとも標準容器テンプレート及び前記現在のＲＧＢＤ画像フレームの１つ前のフレームのＲＧＢＤ画像フレームを含む、
請求項１１に記載の方法。

【請求項14】

前記標準容器テンプレートは、予め設定された数の初期収集されたＲＧＢＤ画像フレームの深度特徴平均値及び面積特徴平均値に基づいて算出される、
請求項１３に記載の方法。

【請求項15】

前記深度特徴差分値及び面積特徴差分値、並びに予め設定された深度特徴閾値及び予め設定された面積特徴閾値に基づいて、前記搬送対象在庫容器の現在の位置姿勢ずれ度合いを検出するステップは、
前記現在のＲＧＢＤ画像フレームと前記標準容器テンプレートとの深度特徴差分値が予め設定された標準深度特徴閾値より大きい場合、前記現在のＲＧＢＤ画像フレームと前記標準容器テンプレートとの面積特徴差分値が予め設定された標準面積特徴閾値より大きい場合、前記現在のＲＧＢＤ画像フレームと前記現在ＲＧＢＤ画像フレームの１つ前のフレームのＲＧＢＤ画像フレームとの深度特徴差分値が予め設定された隣接特徴閾値より大きい場合、及び前記現在のＲＧＢＤ画像フレームと前記現在のＲＧＢＤ画像フレームの１つ前のフレームのＲＧＢＤ画像フレームとの面積特徴差分値が予め設定された隣接面積特徴閾値より大きい場合のうちの少なくとも１つが検出されると、現時点で前記搬送対象在庫容器の前記スマートフォークリフトにおける位置姿勢がずれていると決定するステップを含む、
請求項１３に記載の方法。

【請求項16】

前記搬送対象在庫容器の現在の位置姿勢ずれ度合いを検出するステップの後、
前記搬送対象在庫容器の前記スマートフォークリフトにおける位置姿勢がずれていると決定した場合、前記搬送対象在庫容器の前記スマートフォークリフトにおける位置姿勢を調整するための警報を行うステップをさらに含む、
請求項１０に記載の方法。

【請求項17】

コンピュータプログラムが記憶されているコンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラムがプロセッサによって実行された場合、請求項１０～１６のいずれかに記載の容器位置姿勢ずれの検出方法が実現される、
コンピュータ読み取り可能な記憶媒体。

【請求項18】

コンピュータ上で動作しているときに、請求項１０～１６のいずれかに記載の容器位置姿勢ずれの検出方法を前記コンピュータに実現させる、
ことを特徴とするコンピュータプログラム。

【手続補正2】

【補正対象書類名】明細書

【補正対象項目名】０００９

【補正方法】変更

【補正の内容】

【0009】

本出願の実施例は、コンピュータプログラムが記憶されているコンピュータ読み取り可能な記憶媒体を提供し、当該プログラムがプロセッサによって実行された場合、本出願の任意の実施例に記載の容器位置姿勢ずれの検出方法が実現される。
本出願の実施例は、コンピュータプログラムを提供し、当該コンピュータプログラムがコンピュータによって実行された場合、本出願の任意の実施例に記載の容器位置姿勢ずれの検出方法を前記コンピュータに実現させる。

【国際調査報告】