2023-541619 倉庫保管ロボットの位置決めと地図作成方法、ロボット及び記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-10-03

(54)【発明の名称】倉庫保管ロボットの位置決めと地図作成方法、ロボット及び記憶媒体

(51)【国際特許分類】

   G06T 7/70 20170101AFI20230926BHJP

   G05D 1/02 20200101ALI20230926BHJP

【ＦＩ】

G06T7/70 A

G05D1/02 J

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023516646

(86)(22)【出願日】2021-07-30

(85)【翻訳文提出日】2023-03-13

(86)【国際出願番号】 CN2021109692

(87)【国際公開番号】W WO2022052660

(87)【国際公開日】2022-03-17

(31)【優先権主張番号】202010963415.4

(32)【優先日】2020-09-14

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

(71)【出願人】

【識別番号】519232057

【氏名又は名称】霊動科技（北京）有限公司

【氏名又は名称原語表記】ＬＩＮＧＤＯＮＧ ＴＥＣＨＮＯＬＯＧＹ （ＢＥＩＪＩＮＧ） ＣＯ．， ＬＴＤ．

【住所又は居所原語表記】Ｃ４， Ｂｅｉｊｉｎｇ Ｓｈａｎｇｄｅ Ｉｎｔｅｌｌｉｇｅｎｔ Ｍａｎｕｆａｃｔｕｒｉｎｇ Ｉｎｄｕｓｔｒｉａｌ Ｐａｒｋ，Ｎｏ．１０ Ｊｉａｎｃａｉｃｈｅｇ Ｅａｓｔ Ｒｏａｄ， Ｘｉｓａｎｑｉ， Ｈａｉｄｉａｎ Ｄｉｓｔｒｉｃｔ， Ｂｅｉｊｉｎｇ， Ｃｈｉｎａ

(74)【代理人】

【識別番号】110002262

【氏名又は名称】ＴＲＹ国際弁理士法人

(72)【発明者】

【氏名】張 広鵬

【テーマコード（参考）】

5H301

5L096

【Ｆターム（参考）】

5H301AA02

5H301BB05

5H301CC03

5H301CC06

5H301CC10

5H301GG09

5L096AA09

5L096BA05

5L096CA04

5L096FA69

5L096FA72

5L096JA22

(57)【要約】

本出願の実施例は、倉庫保管ロボットの位置決めと地図作成方法、ロボット及び記憶媒体を提供する。本出願の実施例では、倉庫保管環境の意味地図を事前に作成し、意味地図は倉庫保管環境に存在する複数のオブジェクト及びその意味情報を含み、位置決め過程において、倉庫保管ロボットは、自身の画像センサを用いて周囲環境の画像又はビデオデータを収集し（１１）、画像又はビデオデータにおけるターゲットオブジェクト及びその意味情報を認識し（１２）、当該ターゲットオブジェクトと倉庫保管ロボットとの相対的な位置関係を取得し（１３）、さらに、当該相対的な位置関係及び当該ターゲットオブジェクトの意味情報に基づいて、意味地図における倉庫保管ロボットの位置を特定する（１４）。この方法は、視覚的な意味位置決めに基づく形態を用いており、直接検出するものが明確なターゲットであるため、検出速度が速く、意味情報が豊富で、他の干渉要因の影響を受けにくく、倉庫保管環境における標識への依存から脱却し、位置決めの自由度が高い。

【特許請求の範囲】

【請求項1】

倉庫保管ロボットの位置決め方法において、
倉庫保管ロボットの移動中、倉庫保管ロボットにおける画像センサを用いて周囲倉庫保管環境の画像又はビデオデータを収集することと、
前記周囲倉庫保管環境の画像又はビデオデータに対してターゲット検出と意味認識を実行して、倉庫保管ロボットの周囲倉庫保管環境に存在するターゲットオブジェクト及びその意味情報を取得することと、
センサ座標系とロボット座標系との変換関係に基づいて、前記ターゲットオブジェクトと前記倉庫保管ロボットとの相対的な位置関係を算出することと、
前記ターゲットオブジェクトと前記倉庫保管ロボットとの相対的な位置関係及び前記ターゲットオブジェクトの意味情報に従って、意味地図における前記倉庫保管ロボットの位置を特定することと、を含み、前記意味地図は、倉庫保管環境に存在する複数のオブジェクト及びその意味情報を含む、ことを特徴とする倉庫保管ロボットの位置決め方法。

【請求項2】

センサ座標系とロボット座標系との変換関係に基づいて、前記ターゲットオブジェクトと前記倉庫保管ロボットとの相対的な位置関係を算出することは、
センサ座標系で前記ターゲットオブジェクト上の画素点の３次元座標を算出することと、
センサ座標系とロボット座標系との変換関係に基づいて、センサ座標系で前記ターゲットオブジェクト上の画素点の３次元座標をロボット座標系に変換することと、
ロボット座標系で前記ターゲットオブジェクト上の画素点の３次元座標に従って、前記ターゲットオブジェクトと前記倉庫保管ロボットの相対的な位置関係を算出することと、を含む、ことを特徴とする請求項１に記載の方法。

【請求項3】

前記画像センサが単眼カメラであり、前記ターゲットオブジェクトが地平面と交差するオブジェクト又は地平面上に位置するオブジェクトである場合、センサ座標系で前記ターゲットオブジェクト上の画素点の３次元座標を算出することは、前記単眼カメラの撮影幾何学を組み合わせ、地平面における前記ターゲットオブジェクト上の地平面と交差する画素点の３次元座標を算出すること、
前記画像センサが双眼カメラである場合、センサ座標系で前記ターゲットオブジェクト上の画素点の３次元座標を算出することは、双眼ステレオマッチングアルゴリズムを用いてセンサ座標系で前記ターゲットオブジェクト上の画素点の３次元座標を算出すること、又は、
前記画像センサが赤・緑・青深度マップＲＧＢＤカメラである場合、センサ座標系で前記ターゲットオブジェクト上の画素点の３次元座標を算出することは、収集された前記ターゲットオブジェクトを含むＲＧＢ画像と深度画像のマッチング関係から、センサ座標系で前記ターゲットオブジェクト上の画素点の３次元座標を算出することを含む、ことを特徴とする請求項２に記載の方法。

【請求項4】

前記ターゲットオブジェクトと前記倉庫保管ロボットとの相対的な位置関係及び前記ターゲットオブジェクトの意味情報に従って、意味地図における前記倉庫保管ロボットの位置を特定することは、
前記ターゲットオブジェクトの意味情報に従って、意味地図における前記ターゲットオブジェクトの位置を決定することと、
前記ターゲットオブジェクトと前記倉庫保管ロボットとの相対的な位置関係及び意味地図における前記ターゲットオブジェクトの位置に従って、意味地図における前記倉庫保管ロボットの位置を特定することと、を含む、ことを特徴とする請求項１に記載の方法。

【請求項5】

前記ターゲットオブジェクトの意味情報に従って、意味地図における前記ターゲットオブジェクトの位置を決定することは、
前記倉庫保管ロボットにおける他のセンサデータに基づいて、意味地図における前記倉庫保管ロボットの初期位置を算出することと、
前記ターゲットオブジェクトの意味情報に従って、前記意味地図内の前記初期位置の周囲から前記ターゲットオブジェクトの位置を探すことと、を含む、ことを特徴とする請求項４に記載の方法。

【請求項6】

前記倉庫保管ロボットにおける他のセンサデータに基づいて、意味地図における前記倉庫保管ロボットの初期位置を算出することは、
前記倉庫保管ロボットにおけるレーザーセンサデータ、慣性測定ユニットＩＭＵデータ、及び走行距離計データのうちの少なくとも１つに基づいて、意味地図における前記倉庫保管ロボットの初期位置を算出することを含む、ことを特徴とする請求項５に記載の方法。

【請求項7】

倉庫保管ロボットが前記倉庫保管環境をトラバースする間、倉庫保管ロボットにおける画像センサを用いて前記倉庫保管環境の画像又はビデオデータを収集することと、
前記倉庫保管環境の画像又はビデオデータに対してターゲット検出と意味認識を実行して、前記倉庫保管環境に存在する複数のオブジェクト及びその意味情報を取得することと、
センサ座標系とロボット座標系との変換関係に基づいて、前記複数のオブジェクトと前記倉庫保管ロボットとの相対的な位置関係をそれぞれ算出することと、
前記複数のオブジェクトと前記倉庫保管ロボットとの相対的な位置関係、及び前記倉庫保管環境の画像又はビデオデータを収集するときのベース環境地図における前記倉庫保管ロボットの位置に従って、前記複数のオブジェクトの意味情報を前記ベース環境地図に追加して倉庫保管環境の意味地図を取得することと、をさらに含む、ことを特徴とする請求項１～６のいずれか一項に記載の方法。

【請求項8】

前記倉庫保管環境の画像又はビデオデータを収集する過程では、
ＳＬＡＭ技術を用いて倉庫保管環境のベース環境地図を確立し、前記倉庫保管環境の画像又はビデオデータを収集するときのベース環境地図における前記倉庫保管ロボットの位置を特定することをさらに含む、ことを特徴とする請求項７に記載の方法。

【請求項9】

前記ターゲットオブジェクトには、少なくとも、棚、棚と地平面との交線、及び棚によって形成される交差点が含まれる、ことを特徴とする請求項１～６及び８のいずれか一項に記載の方法。

【請求項10】

前記ターゲットオブジェクトは、棚脚位置、消火栓、及び避難標識のうちの少なくとも１つをさらに含む、ことを特徴とする請求項９に記載の方法。

【請求項11】

意味地図の作成方法において、
倉庫保管ロボットが倉庫保管環境をトラバースする間、倉庫保管ロボットにおける画像センサを用いて前記倉庫保管環境の画像又はビデオデータを収集することと、
前記倉庫保管環境の画像又はビデオデータに対してターゲット検出と意味認識を実行して、前記倉庫保管環境に存在する複数のオブジェクト及びその意味情報を取得することと、
センサ座標系とロボット座標系との変換関係に基づいて、前記複数のオブジェクトと前記倉庫保管ロボットとの相対的な位置関係をそれぞれ算出することと、
前記複数のオブジェクトと前記倉庫保管ロボットとの相対的な位置関係、及び前記倉庫保管環境の画像又はビデオデータを収集するときのベース環境地図における前記倉庫保管ロボットの位置に従って、前記複数のオブジェクトの意味情報を前記ベース環境地図に追加して倉庫保管環境の意味地図を取得することと、を含む、ことを特徴とする意味地図の作成方法。

【請求項12】

メモリ及びプロセッサが設けられている機器本体を備える倉庫保管ロボットであって、
前記メモリは、コンピュータプログラムを格納するために使用され、
前記プロセッサは、前記メモリと結合され、前記コンピュータプログラムを実行して、倉庫保管ロボットの移動中、倉庫保管ロボットにおける画像センサを用いて周囲倉庫保管環境の画像又はビデオデータを収集し、前記周囲倉庫保管環境の画像又はビデオデータに対してターゲット検出と意味認識を実行して、倉庫保管ロボットの周囲倉庫保管環境に存在するターゲットオブジェクト及びその意味情報を取得し、センサ座標系とロボット座標系との変換関係に基づいて、前記ターゲットオブジェクトと前記倉庫保管ロボットとの相対的な位置関係を算出し、前記ターゲットオブジェクトと前記倉庫保管ロボットとの相対的な位置関係及び前記ターゲットオブジェクトの意味情報に従って、意味地図における前記倉庫保管ロボットの位置を特定するために使用され、前記意味地図は、倉庫保管環境に存在する複数のオブジェクト及びその意味情報を含む、ことを特徴とする倉庫保管ロボット。

【請求項13】

前記プロセッサは、センサ座標系とロボット座標系との変換関係に基づいて、前記ターゲットオブジェクトと前記倉庫保管ロボットとの相対的な位置関係を算出する場合、具体的には、
センサ座標系で前記ターゲットオブジェクト上の画素点の３次元座標を算出し、
センサ座標系とロボット座標系との変換関係に基づいて、センサ座標系で前記ターゲットオブジェクト上の画素点の３次元座標をロボット座標系に変換し、
ロボット座標系で前記ターゲットオブジェクト上の画素点の３次元座標に従って、前記ターゲットオブジェクトと前記倉庫保管ロボットの相対的な位置関係を算出するために使用される、ことを特徴とする請求項１２に記載の倉庫保管ロボット。

【請求項14】

前記プロセッサは、前記ターゲットオブジェクトと前記倉庫保管ロボットとの相対的な位置関係及び前記ターゲットオブジェクトの意味情報に従って、意味地図における前記倉庫保管ロボットの位置を特定する場合、具体的には、
前記ターゲットオブジェクトの意味情報に従って、意味地図における前記ターゲットオブジェクトの位置を決定し、
前記ターゲットオブジェクトと前記倉庫保管ロボットとの相対的な位置関係及び意味地図における前記ターゲットオブジェクトの位置に従って、意味地図における前記倉庫保管ロボットの位置を特定するために使用される、ことを特徴とする請求項１２に記載の倉庫保管ロボット。

【請求項15】

前記プロセッサは、さらに、
倉庫保管ロボットが前記倉庫保管環境をトラバースする間、倉庫保管ロボットにおける画像センサを用いて前記倉庫保管環境の画像又はビデオデータを収集し、
前記倉庫保管環境の画像又はビデオデータに対してターゲット検出と意味認識を実行して、前記倉庫保管環境に存在する複数のオブジェクト及びその意味情報を取得し、
センサ座標系とロボット座標系との変換関係に基づいて、前記複数のオブジェクトと前記倉庫保管ロボットとの相対的な位置関係をそれぞれ算出し、
前記複数のオブジェクトと前記倉庫保管ロボットとの相対的な位置関係、及び前記倉庫保管環境の画像又はビデオデータを収集するときのベース環境地図における前記倉庫保管ロボットの位置に従って、前記複数のオブジェクトの意味情報を前記ベース環境地図に追加して倉庫保管環境の意味地図を取得するために使用される、ことを特徴とする請求項１２～１４のいずれか一項に記載の倉庫保管ロボット。

【請求項16】

コンピュータプログラムが格納されているコンピュータ可読記憶媒体であって、前記コンピュータプログラムがプロセッサによって実行されると、請求項１～１１のいずれか一項に記載の方法におけるステップを前記プロセッサに実現させることを特徴とするコンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本出願は、２０２０年０９月１４日に提出された発明の名称が「倉庫保管ロボットの位置決めと地図作成方法、ロボット及び記憶媒体」で、出願番号が第２０２０１０９６３４１５４号である中国特許出願を参照し、参照によりその全体が本出願に援用される。

【0002】

本出願は、倉庫保管ロボットの技術分野に関し、特に、倉庫保管ロボットの位置決めと地図作成方法、ロボット及び記憶媒体に関する。

【背景技術】

【0003】

人工智能技術の発展に伴い、物流倉庫保管ロボットが登場した。通常、物流倉庫保管ロボットは倉庫保管環境で作業し、倉庫保管環境は多くの棚や地面上に積み上げられた物体を有し、環境は比較的複雑である。倉庫保管ロボットの位置決めを補助するため、倉庫保管環境に反射板やＱＲコード（登録商標）などの標識を設置し、地図作成時に倉庫保管ロボットが倉庫保管環境をトラバースし、位置決めと地図作成の同時実行（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ、ＳＬＡＭ）技術を使用して環境地図を作成し、環境地図上の「標識」の位置をマークする。位置決め時、倉庫保管ロボットは、ロボット本体に対する標識の位置関係を検出し、環境地図上の標識の位置を組み合わせて、環境地図における倉庫保管ロボットの位置を推定する。従来の倉庫保管位置決め方法では、倉庫保管環境に事前に配置された標識が必要であり、標識に大きく依存しているため、位置決め自由度が低くなる。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本出願の複数の側面は、倉庫保管環境における標識への依存から脱却するために、倉庫保管ロボットの位置決めと地図作成方法、ロボット及び記憶媒体を提供する。

【課題を解決するための手段】

【0005】

本出願の実施例は、倉庫保管ロボットの移動中、倉庫保管ロボットにおける画像センサを用いて周囲倉庫保管環境の画像又はビデオデータを収集することと、周囲倉庫保管環境の画像又はビデオデータに対してターゲット検出と意味認識を実行して、倉庫保管ロボットの周囲倉庫保管環境に存在するターゲットオブジェクト及びその意味情報を取得することと、センサ座標系とロボット座標系との変換関係に基づいて、ターゲットオブジェクトと倉庫保管ロボットとの相対的な位置関係を算出することと、ターゲットオブジェクトと倉庫保管ロボットとの相対的な位置関係及びターゲットオブジェクトの意味情報に従って、意味地図における倉庫保管ロボットの位置を特定することと、を含み、意味地図は、倉庫保管環境に存在する複数のオブジェクト及びその意味情報を含む、倉庫保管ロボットの位置決め方法を提供する。

【0006】

本出願の実施例は、さらに、倉庫保管ロボットが倉庫保管環境をトラバースする間、倉庫保管ロボットにおける画像センサを用いて倉庫保管環境の画像又はビデオデータを収集することと、倉庫保管環境の画像又はビデオデータに対してターゲット検出と意味認識を実行して、倉庫保管環境に存在する複数のオブジェクト及びその意味情報を取得することと、センサ座標系とロボット座標系との変換関係に基づいて、複数のオブジェクトと倉庫保管ロボットとの相対的な位置関係をそれぞれ算出することと、複数のオブジェクトと倉庫保管ロボットとの相対的な位置関係、及び倉庫保管環境の画像又はビデオデータを収集するときのベース環境地図における倉庫保管ロボットの位置に従って、複数のオブジェクトの意味情報をベース環境地図に追加して倉庫保管環境の意味地図を取得することと、を含む、意味地図の作成方法を提供する。

【0007】

本出願の実施例は、さらに、メモリ及びプロセッサが設けられている機器本体を備える倉庫保管ロボットであって、メモリは、コンピュータプログラムを格納するために使用され、プロセッサは、メモリと結合され、コンピュータプログラムを実行して、倉庫保管ロボットの移動中、倉庫保管ロボットにおける画像センサを用いて周囲倉庫保管環境の画像又はビデオデータを収集し、周囲倉庫保管環境の画像又はビデオデータに対してターゲット検出と意味認識を実行して、倉庫保管ロボットの周囲倉庫保管環境に存在するターゲットオブジェクト及びその意味情報を取得し、センサ座標系とロボット座標系との変換関係に基づいて、ターゲットオブジェクトと倉庫保管ロボットとの相対的な位置関係を算出し、ターゲットオブジェクトと倉庫保管ロボットとの相対的な位置関係及びターゲットオブジェクトの意味情報に従って、意味地図における倉庫保管ロボットの位置を特定するために使用され、意味地図は、倉庫保管環境に存在する複数のオブジェクト及びその意味情報を含む、倉庫保管ロボットを提供する。

【0008】

本出願の実施例は、さらに、コンピュータプログラムが格納されているコンピュータ可読記憶媒体であって、コンピュータプログラムがプロセッサによって実行されると、本出願の実施例のいずれか一項の倉庫保管ロボットの位置決め方法と意味地図の作成方法におけるステップをプロセッサに実現させるコンピュータ可読記憶媒体を提供する。

【0009】

本出願の実施例では、倉庫保管環境の意味地図を事前に作成し、意味地図は倉庫保管環境に存在する複数のオブジェクト及びその意味情報を含み、位置決め過程において、倉庫保管ロボットは、自身の画像センサを用いて周囲環境の画像又はビデオデータを収集し、画像又はビデオデータにおけるターゲットオブジェクト及びその意味情報を認識し、当該ターゲットオブジェクトと倉庫保管ロボットとの相対的な位置関係を取得し、さらに、当該相対的な位置関係及び当該ターゲットオブジェクトの意味情報に基づいて、意味地図における倉庫保管ロボットの位置を特定する。この方法は、視覚的な意味位置決めに基づく形態を用いており、直接検出するものが明確なターゲットであるため、検出速度が速く、意味情報が豊富で、他の干渉要因の影響を受けにくく、倉庫保管環境における標識への依存から脱却し、位置決めの自由度が高い。

【図面の簡単な説明】

【0010】

ここで説明する図面は、本出願をさらに理解するために使用され、本出願の一部を構成する。本出願の概略的な実施例及びその説明は本出願を解釈するためのものであり、本出願を制限するためのものではない。図面において、

【図1a】本出願の例示的実施例によって提供される倉庫保管ロボットの位置決め方法の概略フローチャートである。

【図1b】本出願の例示的実施例によって提供される倉庫保管環境における棚の模式図である。

【図1c】本出願の例示的実施例によって提供される倉庫保管環境における棚と地平面との交線の模式図である。

【図1d】本出願の例示的実施例によって提供される倉庫保管環境における棚による交差点の模式図である。

【図1e】本出願の例示的実施例によって提供されるターゲット検出によって得られる棚の模式図である。

【図2】本出願の例示的実施例によって提供される単眼カメラの画素平面と地平面との位置関係の模式図である。

【図3】本出願の例示的実施例によって提供される意味地図の作成方法の概略フローチャートである。

【図4】本出願の例示的実施例によって提供される倉庫保管ロボットの構造模式図である。

【発明を実施するための形態】

【0011】

以下、本出願の目的、技術案、及び利点をより明確するために、本出願の技術案について本出願の特定の実施例及び対応する図面を参照しながら明確かつ完全に説明する。また、説明される実施例は本出願の実施例の一部に過ぎず、全ての実施例ではないことは言うまでもない。本出願における実施例に基づいて、当業者が創造的な努力なしに得た他の全ての実施例は、いずれも本出願の保護範囲に含まれる。

【0012】

従来技術における標識への依存性が強くて、位置決めの自由度が低くなるという問題に対して、本出願の実施例では、倉庫保管環境の意味地図を事前に作成し、意味地図は倉庫保管環境に存在する複数のオブジェクト及びその意味情報を含み、位置決め過程において、倉庫保管ロボットは、自身の画像センサを用いて周囲環境の画像又はビデオデータを収集し、画像又はビデオデータにおけるターゲットオブジェクト及びその意味情報を認識し、当該ターゲットオブジェクトと倉庫保管ロボットとの相対的な位置関係を取得し、さらに、当該相対的な位置関係及び当該ターゲットオブジェクトの意味情報に基づいて、意味地図における倉庫保管ロボットの位置を特定する。この方法は、視覚的な意味位置決めに基づく形態を用いており、直接検出するものが明確なターゲットであるため、検出速度が速く、意味情報が豊富で、他の干渉要因の影響を受けにくく、倉庫保管環境における標識への依存から脱却し、位置決めの自由度が高い。

【0013】

以下、本出願の各実施例によって提供される技術案について、図面を参照しながら詳細に説明する。

【0014】

図１ａは、本出願の例示的実施例によって提供される倉庫保管ロボットの位置決め方法の概略フローチャートである。図１ａに示すように、この方法には、
１１：倉庫保管ロボットの移動中、倉庫保管ロボットにおける画像センサを用いて周囲倉庫保管環境の画像又はビデオデータを収集することと、
１２：周囲倉庫保管環境の画像又はビデオデータに対してターゲット検出と意味認識を実行して、倉庫保管ロボットの周囲倉庫保管環境に存在するターゲットオブジェクト及びその意味情報を取得することと、
１３：センサ座標系とロボット座標系との変換関係に基づいて、ターゲットオブジェクトと倉庫保管ロボットとの相対的な位置関係を算出することと、
１４：ターゲットオブジェクトと倉庫保管ロボットとの相対的な位置関係及びターゲットオブジェクトの意味情報に従って、意味地図における倉庫保管ロボットの位置を特定することと、が含まれ、意味地図は、倉庫保管環境に存在する複数のオブジェクト及びその意味情報を含む。

【0015】

本実施例において、倉庫保管環境とは、例えば、倉庫、保管庫、又はストアハウスなど、商品が保管される場所を指す。倉庫保管環境には、通常、図１ｂ～図１ｄに示すように、格納された商品、商品を格納する複数の棚、棚と地平面との交線、及び棚によって形成される交差点などの複数のオブジェクトが含まれ、さらに、棚脚位置、消火栓、及び避難標識のうちの少なくとも１つのオブジェクトを含んでもよい。

【0016】

本実施例において、倉庫保管ロボットとは、倉庫保管環境で作業し、倉庫保管環境内で高度な自律性を持って空間内を移動できる机械機器を指す。例えば、倉庫保管協働ロボット、ピッキングロボット、又は搬送ロボットなどである。倉庫保管ロボットは、制御ユニットとシャーシ構造とを含む機器本体を備え、シャーシは倉庫保管ロボットの耐荷重部材であり、シャーシ構造は、底板、駆動輪アセンブリ、及び従動輪アセンブリを含む。制御ユニットは、駆動輪アセンブリを制御して従動輪アセンブリを動かし、倉庫保管環境内で移動させることができる。その他、倉庫保管ロボットには、ディスプレイ画面及び／又はオーディオアセンブリなどの人間とコンピュータの相互作用のための部材をさらに含めてもよい。これらの部材を介して、ユーザーは倉庫保管ロボットに制御命令を発したり、倉庫保管ロボットに商品、オーダ、搬送先などの関連データを提供したりして、倉庫保管ロボットが倉庫保管作業を正常に完了するのを支援することができる。さらに、倉庫保管ロボットは、倉庫保管ロボットの周囲倉庫保管環境の画像又はビデオデータを収集するための画像センサを含んでもよい。本実施例において、画像センサは限定されず、倉庫保管ロボットの周囲倉庫保管環境の画像又はビデオデータを収集できる画像センサはいずれも本出願の実施例に適用可能である。例えば、画像センサは、単眼カメラ、双眼カメラ、又は赤・緑・青深度マップ（Ｒｅｄ Ｇｒｅｅｎ Ｂｌｕｅ Ｄｅｐｔｈ ｍａｐ、ＲＧＢＤ）カメラなどであってもよいが、これらに限定されない。さらに、倉庫保管ロボットは、倉庫保管ロボットの周囲の環境情報、運動データ及び／又は姿勢データなどを収集して倉庫保管ロボットの位置決めをするための、例えば、レーザーセンサ、走行距離計、及び慣性測定ユニット（Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ、ＩＭＵ）のうちの少なくとも１つのような他のセンサを有してもよい。

【0017】

本実施例において、倉庫保管ロボットが位置する倉庫保管環境に対応して意味地図があり、当該意味地図は、倉庫保管環境における複数のオブジェクトの意味情報を含む環境地図を指す。オブジェクトの意味情報とは、自然言語の助けを借りてオブジェクト又はそのカテゴリなどの情報が何であるかを理解し解釈するものであり、例えば、オブジェクトの名前、形状、位置などを含んでもよいが、これらに限定されない。従来の非意味の環境地図と比較して、意味地図は高い意味レベルを有し、倉庫保管ロボット自身の位置決めが容易であり、ユーザーのエクスペリエンスを向上させ、意味地図に対する人々のニーズを満たすことができる。本実施例において、倉庫保管ロボットは、意味地図に基づいて視覚的な意味位置決めを実現することができる。意味地図の作成過程に関して、以下の図３に示す実施例を参照することができ、ここでは詳細に説明しない。

【0018】

図１ｂ～図１ｄに示すように、倉庫保管ロボットは倉庫保管環境内を移動し、移動中、その画像センサは倉庫保管ロボットの周囲倉庫保管環境の画像又はビデオデータを収集することができる。周囲倉庫保管環境とは、倉庫保管ロボット近くの倉庫保管環境の一部を指し、周囲倉庫保管環境で倉庫保管ロボットが画像又はビデオデータを収集できる範囲は、画像センサの視野に関連し、画像センサの視野角が大きいほど、収集される画像又はビデオデータの範囲が大きくなる。周囲倉庫保管環境の画像又はビデオデータが収集された後、周囲倉庫保管環境の画像又はビデオデータに対してターゲット検出と意味認識を実行して、倉庫保管ロボットの周囲倉庫保管環境に存在するオブジェクト及びその意味情報を取得する。ここで、図１ｂに示す画像データを例として、図１ｅに示すように、当該画像データに含まれるオブジェクトが検出され、さらに、オブジェクトが認識された後、それに対して意味認識を実行して、棚などのオブジェクトに対応する意味情報を取得する。倉庫保管環境全体には複数のオブジェクトが存在しており、区別と説明を容易にするために、位置決め過程中に収集された倉庫保管ロボットの周囲倉庫保管環境に存在するオブジェクトをターゲットオブジェクトと呼ぶ。本実施例において、オブジェクトの意味情報は視覚的な意味技術によって認識される。即ち、明確なターゲットを直接検出でき、検出速度が速く、意味情報が豊富で、他の干渉要因の影響を受けにくく、倉庫保管環境における標識への依存から脱却するための倉庫保管ロボットの位置決めの基礎を提供し、位置決めの自由度を向上させるのに役立つ。

【0019】

本実施例において、倉庫保管環境の画像及びビデオデータに対してターゲット検出及び意味認識を実行する実施形態は限定されず、例えば、ターゲット検出モデルを用いて当該画像又はビデオデータに対するターゲット検出及び意味認識を実行することができる。ターゲット検出モデルは、ターゲット検出機能と意味認識機能の両方を有して、倉庫保管環境に含まれるオブジェクト及びその位置を認識できるだけでなく、検出されたオブジェクトに対する意味認識を実行してオブジェクトの視覚的な意味情報を取得することもできる。ターゲット検出機能と意味認識機能の両方を有するモデルは、いずれも本出願の実施例のターゲット検出モデルに適用される。例えば、領域畳み込みニューラルネットワーク（Ｒｅｇｉｏｎ－Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ、Ｒ－ＣＮＮ）や高速領域畳み込みニューラルネットワーク（Ｆａｓｔ Ｒｅｇｉｏｎ－Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ、Ｆａｓｔ－Ｒ－ＣＮＮ）などの領域ベースのターゲット検出モデルであってもよく、一度見るだけで良い（Ｙｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ、ＹＯＬＯ）モデルやシングルショットマルチボックス検出器（Ｓｉｎｇｌｅ Ｓｈｏｔ ＭｕｌｔｉＢｏｘ Ｄｅｔｅｃｔｏｒ、ＳＳＤ）などの回帰ベースのターゲット検出モデルであってもよく、これに限定されない。

【0020】

ターゲットオブジェクトの意味情報を取得した後、倉庫保管環境の意味地図と組み合わせて、意味地図内のターゲットオブジェクトの位置を決定することができ、ターゲットオブジェクトと倉庫保管ロボットとの相対的な位置関係が分かれば、ターゲットオブジェクトの意味情報と組み合わせて意味地図における倉庫保管ロボットの位置を特定することができる。これに基づいて、本実施例では、画像センサによって収集された周囲倉庫保管環境の画像又はビデオデータを取得した後、ターゲットオブジェクトの位置座標を計算し、そしてターゲットオブジェクトの位置座標に基づいて、ターゲットオブジェクトと倉庫保管ロボットとの相対的な位置関係を算出することもできる。ここで、画像センサは倉庫保管ロボットに取り付けられ、画像センサはセンサ座標系を使用する。好ましくは、画像センサがカメラである場合、センサ座標系はカメラ座標系と呼ぶことができ、倉庫保管ロボットはロボット座標系を使用しており、２つの座標系の間には変換関係がある。画像センサによって収集された倉庫保管ロボットの周囲倉庫保管環境の画像及びビデオデータは、センサ座標系に位置するものである。つまり、ターゲット検出モデルによって認識されたターゲットオブジェクトの位置座標はセンサ座標系に位置するものである。これに基づいて、ターゲットオブジェクトと倉庫保管ロボットとの相対的な位置関係を取得するために、センサ座標系とロボット座標系との変換関係に基づいて、ターゲットオブジェクトの位置座標をロボット座標系に変換することで、ターゲットオブジェクトと倉庫保管ロボットとの相対的な位置関係を算出することができる。具体的には、センサ座標系でターゲットオブジェクト上の画素点の３次元座標を算出することと、センサ座標系とロボット座標系との変換関係に基づいて、センサ座標系でターゲットオブジェクト上の画素点の３次元座標をロボット座標系に変換することと、ロボット座標系でターゲットオブジェクト上の画素点の３次元座標に従って、ターゲットオブジェクトと倉庫保管ロボットとの相対的な位置関係を算出することと、を含む。ここで、画像センサは倉庫保管ロボットに位置しており、倉庫保管ロボットに対する画像センサの取付位置は決まっており、既知であるため、倉庫保管ロボットに対する画像センサの取付位置に応じてセンサ座標系とロボット座標系との変換関係を事前に算出することができる。

【0021】

ここで、センサ座標系とロボット座標系との変換関係は、回転行列Ｒ１と並進ベクトルＴ１を用いて次のように求めることができる。

【0022】

【0023】

さらに、ターゲットオブジェクトと倉庫保管ロボットとの相対的な位置関係を取得した後、ターゲットオブジェクトと倉庫保管ロボットとの相対的な位置関係及びターゲットオブジェクトの意味情報に従って、意味地図における倉庫保管ロボットの位置を特定することができる。

【0024】

本出願の実施例では、倉庫保管環境の意味地図を事前に作成し、意味地図は倉庫保管環境に存在する複数のオブジェクト及びその意味情報を含み、位置決め過程において、倉庫保管ロボットは、自身の画像センサを用いて周囲環境の画像又はビデオデータを収集し、画像又はビデオデータにおけるターゲットオブジェクト及びその意味情報を認識し、当該ターゲットオブジェクトと倉庫保管ロボットとの相対的な位置関係を取得し、さらに、当該相対的な位置関係及び当該ターゲットオブジェクトの意味情報に基づいて、意味地図における倉庫保管ロボットの位置を特定する。この方法は、視覚的な意味位置決めに基づく形態を用いており、直接検出するものが明確なターゲットであり、検出速度が速く、意味情報が豊富で、他の干渉要因の影響を受けにくく、倉庫保管環境における標識への依存から脱却し、位置決めの自由度が高い。

【0025】

以下の実施例では、画像センサが単眼カメラ、双眼カメラ、又はＲＧＢＤカメラであることを例として、センサ座標系でターゲットオブジェクト上の画素点の３次元座標を計算する実施形態について説明する。

【0026】

実施形態Ａ１：倉庫保管ロボットで用いられる画像センサは単眼カメラである。単眼カメラは、倉庫保管ロボットの周囲倉庫保管環境の画像又はビデオデータを収集し、当該画像又はビデオデータには、例えば棚と地平面との交線のような地平面と交差するいくつかのターゲットオブジェクトが含まれ、例えば地平面上の棚の間に形成される交差点のような地平面上に位置するいくつかのターゲットオブジェクトも含まれる。交差点として、丁字路交差点や十字路交差点であり得る。この場合、単眼カメラの撮影幾何学と組み合わせて、ターゲットオブジェクトの地平面と交差する各画素点の地平面上の３次元座標を計算することができ、この３次元座標はセンサ座標系の位置座標である。

【0027】

図２に示すように、Ｏは単眼カメラの光学中心、Ｄは単眼カメラの画素平面、Ｑは地平面であると仮定する。単眼カメラによって収集された画像又はビデオデータのうち、各画素点ｐは光学中心Ｏから画素平面Ｄを通る１本の放射線に対応し、放射線Ｏｐは地平面Ｑと点ｑで交差する。ターゲットオブジェクトにおける地平面と交差する画素点の地平面上の３次元座標を計算する形態、つまり点ｑの３次元座標を計算する形態は、単眼カメラの内部パラメータと外部パラメータに依存する。単眼カメラの内部パラメータは、例えば、単眼カメラの焦点距離や画素サイズなどの単眼カメラ自体の特性に関連するパラメータであり、単眼カメラの外部パラメータは、カメラの位置や回転方向などである。

【0028】

【0029】

実施形態Ａ２：倉庫保管ロボットで用いられる画像センサは双眼カメラである。双眼カメラによって倉庫保管環境の画像を収集するとき、同じシーンの左右の２つの視点画像を撮影することができ、双眼ステレオマッチングアルゴリズムを適用して、２つの視点画像の視差画像を取得し、さらに深度画像を取得し、深度画像に基づいてカメラ座標系でのターゲットオブジェクト上の画素点の３次元座標を取得することができる。

【0030】

実施形態Ａ３：倉庫保管ロボットで用いられる画像センサはＲＧＢＤカメラである。ＲＧＢＤカメラによって倉庫保管環境の画像を収集するとき、同じシーンの深度画像とＲＧＢ画像を撮影することで、ＲＧＢ画像と深度画像のマッチング関係を利用してカメラ座標系でのターゲットオブジェクト上の画素点の３次元座標を直接取得することができる。

【0031】

また、画像センサに加えて、倉庫保管ロボットは深度センサを含んでもよい。深度センサは、倉庫保管環境の深度画像を収集することができ、倉庫保管ロボットは、画像センサによって収集された画像情報を深度センサによって収集された深度情報と組み合わせて画像におけるターゲットオブジェクトの３次元座標を取得することができる。

【0032】

上記実施形態にかかわらず、センサ座標系でのターゲットオブジェクト上の画素点の３次元座標を取得した後、センサ座標系とロボット座標系との変換関係に基づいて、センサ座標系でターゲットオブジェクト上の画素点の３次元座標をロボット座標系に変換し、ロボット座標系でターゲットオブジェクト上の画素点の３次元座標に従って、ターゲットオブジェクトと倉庫保管ロボットとの相対的な位置関係を算出することができる。

【0033】

本出願の実施例では、ターゲットオブジェクトの意味情報及びターゲットオブジェクトと倉庫保管ロボットとの相対的な位置関係を取得した後、ターゲットオブジェクトの意味情報に従って、意味地図におけるターゲットオブジェクトの位置を決定し、ターゲットオブジェクトと倉庫保管ロボットとの相対的な位置関係及び意味地図におけるターゲットオブジェクトの位置に従って、意味地図における倉庫保管ロボットの位置を特定することができる。

【0034】

一部のアプリケーションシナリオでは、倉庫保管環境全体に複数のオブジェクトが存在するが、複数のオブジェクトの意味情報は互いに異なる。あるいは、意味地図を作成する過程で、意味情報を細かく区別することで、各オブジェクトが異なる意味情報を有することができる。例えば、同じ棚の場合、棚のブランド、仕様、型番、色などの特徴によって棚の意味を定義できるため、棚が異なれば意味情報も異なる。このように、意味地図には、意味情報が異なる複数のオブジェクトが含まれる。この場合、ターゲットオブジェクトの意味情報に従って、意味地図におけるターゲットオブジェクトの位置を直接決定することができる。

【0035】

もちろん、他のアプリケーションシナリオでは、倉庫保管環境に多くの同様の棚が存在し、これらの棚は意味地図でいずれも棚としてマークされる場合があるため、単に棚の意味情報に基づいて倉庫保管ロボットがどの棚の近くにあるかを直接特定することはできない。この場合、倉庫保管ロボットがどの棚の近くにあるかを区別するために、最初に倉庫保管ロボットを大まかに位置決めし、大まかな位置決めの結果に基づいて、まず倉庫保管ロボットがどの棚の近くにあるかを決定し、次にその棚の位置に合わせて倉庫保管ロボットを細かく位置決めすることができる。もちろん、倉庫保管環境には多くの類似した棚に加えて、類似した交差点、棚脚位置、消火栓、避難標識などの他のオブジェクトが多数存在する可能性があり、処理方法は同じ又は類似である。これに基づいて、いくつかの好ましい実施例では、ターゲットオブジェクトの意味情報に従って意味地図におけるターゲットオブジェクトの位置を特定する実施形態は、倉庫保管ロボットの他のセンサデータに基づいて、意味地図における倉庫保管ロボットの初期位置を計算することと、ターゲットオブジェクトの意味情報に従って、意味地図で初期位置の周囲からターゲットオブジェクトの位置を探すことと、を含む。意味地図におけるターゲットオブジェクトの位置を特定した後、ターゲットオブジェクトと倉庫保管ロボットとの相対的な位置関係に組み合わせて、意味地図における倉庫保管ロボットの位置を特定することができる。ここで、初期位置の周囲のターゲットオブジェクトは、初期位置に最も近く、認識された意味情報を有するオブジェクト、又は初期位置から一定の範囲内に前記認識された意味情報を有するオブジェクトであり得る。

【0036】

好ましくは、他のセンサデータは、レーザーセンサデータ、慣性測定ユニットＩＭＵデータ、及び走行距離計データのうちの少なくとも１つであり得る。他のセンサデータに基づいて意味地図における倉庫保管ロボットの初期位置を計算する一部の実施形態について以下に説明する。

【0037】

実施形態Ｂ１：倉庫保管ロボットにはレーザーセンサがさらに取り付けられ、倉庫保管ロボットの移動中、レーザーセンサは周囲環境情報も収集することができ、このときに収集された環境情報はレーザーセンサデータと呼ばれる。レーザーセンサデータと組み合わせて、倉庫保管ロボットは、ＳＬＡＭ初期位置決め過程である、作成されたベース環境地図で倉庫保管ロボットの初期位置を特定することができる。ここで、ベース環境地図は、ＳＬＡＭ技術を使用して倉庫保管ロボットによって事前に作成され得る。

【0038】

実施形態Ｂ１では、まずＳＬＡＭ技術を使用して倉庫保管ロボットの初期位置決めを実行し、次に視覚的意味と組み合わせて二次精密位置決めを実行する。これにより、倉庫保管ロボットの初期位置の精度が高くなりすぎないため、レーザーセンサを使用して倉庫保管ロボットの初期位置を特定する過程では、比較的少数のセンサデータを使用することができ、位置決め効率の向上と、コンピューティング リソースの節約に役立つ。また、視覚的な意味位置決めと組み合わせて、ＳＬＡＭによる位置決め過程で収集された特徴の欠如や、明らかな又は十分なテクスチャ情報の欠如によって位置決め精度が不十分になるという問題を克服して、位置決め精度を確保することができる。

【0039】

以下の実施形態Ｂ２及び実施形態Ｂ３では、移動開始時に意味地図内の倉庫保管ロボットの位置がわかっていると仮定すると、他のセンサで倉庫保管ロボットのポーズと方向角の変化を測定することができ、従って、移動開始時の意味地図における倉庫保管ロボットの位置に基づいて、倉庫保管ロボットのポーズ及び方向角の変化と組み合わせて、意味地図における倉庫保管ロボットの初期位置が取得される。

【0040】

実施形態Ｂ２：倉庫保管ロボットにはＩＭＵがさらに取り付けられ、倉庫保管ロボットの移動中に、ＩＭＵはＩＭＵデータと呼ばれる倉庫保管ロボットの運動及び／又は姿勢データを収集することができる。ＩＭＵの内部には３軸加速度計と３軸のジャイロスコープが含まれる。ここで、加速度計は、ロボット座標系で３つの座標軸の方向における倉庫保管ロボットの加速度情報を出力するために使用され、ジャイロスコープは、ロボット座標系の３つの座標軸の方向に対する倉庫保管ロボットの角速度情報を出力するために使用され、ロボットの３次元座標系における倉庫保管ロボットの角速度及び加速度情報に従って、倉庫保管ロボットのポーズと方向角の変化を取得することができ、さらに意味地図における倉庫保管ロボットの初期位置を取得することができる。

【0041】

実施形態Ｂ３：倉庫保管ロボットには走行距離計がさらに取り付けられ、倉庫保管ロボットの移動中に、走行距離計は、倉庫保管ロボットの移動距離や角度などのデータを測定することができ、略して走行距離計データと呼ばれる。走行距離計は、主にサンプリング周期内の光電エンコーダのパルスの変化量に基づいて、地面に対する倉庫保管ロボットの移動距離と方向角の変化量を計算し、意味地図における倉庫保管ロボットの初期位置を計算する。

【0042】

上記の実施例では、意味地図における倉庫保管ロボットの位置を特定する場合、倉庫保管ロボットが位置している倉庫保管環境の意味地図を使用する必要がある。これに基づいて、本出願の実施例は意味地図の作成方法の概略フローチャートも提供する。図３に示すように、この方法は、
３１：倉庫保管ロボットが倉庫保管環境をトラバースする間、倉庫保管ロボットにおける画像センサを用いて倉庫保管環境の画像又はビデオデータを収集することと、
３２：倉庫保管環境の画像又はビデオデータに対してターゲット検出と意味認識を実行して、倉庫保管環境に存在する複数のオブジェクト及びその意味情報を取得することと、
３３：センサ座標系とロボット座標系との変換関係に基づいて、複数のオブジェクトと倉庫保管ロボットとの相対的な位置関係をそれぞれ算出することと、
３４：複数のオブジェクトと倉庫保管ロボットとの相対的な位置関係、及び倉庫保管環境の画像又はビデオデータを収集するときのベース環境地図における倉庫保管ロボットの位置に従って、複数のオブジェクトの意味情報をベース環境地図に追加して倉庫保管環境の意味地図を取得することと、を含む。

【0043】

本実施例において、倉庫保管ロボットは、倉庫保管環境に対応する意味地図を作成するために、倉庫保管環境全体をトラバースする必要がある。倉庫保管環境全体をトラバースする過程では、画像センサを用いて倉庫保管環境全体の画像又はビデオデータを収集し、収集した画像又はビデオデータに対してターゲット検出と意味認識を実行して、倉庫保管環境に存在する複数のオブジェクト及びその意味情報を取得することができる。ここで、倉庫保管環境に存在する複数のオブジェクト及びその意味情報を取得する詳細な実施過程は上記の実施例を参照することができ、ここではさらに繰り返さない。

【0044】

好ましい実施例では、倉庫保管環境全体をトラバースする過程において、ＳＬＡＭ技術を利用して倉庫保管環境のベース環境地図を作成してもよい。さらに、倉庫保管環境の画像又はビデオデータを収集する場合、ＳＬＡＭ技術を利用してベース環境地図における倉庫保管ロボットの位置を特定してもよい。ここで、ベース環境地図とは、ＳＬＡＭ技術を利用して倉庫保管ロボットによって作成された環境地図を指し、例えば、格子地図である場合がある。意味地図と比較すると、ベース環境地図は意味情報を含まない環境地図である。もちろん、ベース環境地図と意味地図の作成は、同じトラバース過程で完了してもよいし、別のトラバース過程でベース環境地図の作成を事前に完了してもよく、これに限定されないことに注意されたい。

【0045】

倉庫保管環境に存在する複数のオブジェクト及びその意味情報を取得した後、複数のオブジェクトと倉庫保管ロボットとの相対的な位置関係がわかっている場合は、倉庫保管環境の画像又はビデオデータを収集するときのベース環境地図における倉庫保管ロボットの位置に基づいて、意味地図における複数のオブジェクトの位置を決定することができる。これに基づいて、本実施例では、画像センサによって収集された倉庫保管環境の画像又はビデオデータを取得した後、ターゲットオブジェクトの位置座標を計算し、そしてターゲットオブジェクトの位置座標に基づいて、ターゲットオブジェクトと倉庫保管ロボットとの相対的な位置関係を算出することもできる。詳細については、上記実施例を参照することができ、ここではさらに繰り返さない。

【0046】

さらに、複数のオブジェクトと倉庫保管ロボットとの相対的な位置関係、及び倉庫保管環境の画像又はビデオデータを収集するときのベース環境地図における倉庫保管ロボットの位置に従って、ベース環境地図における複数のオブジェクトの位置を取得する。最後に、倉庫保管環境内の複数のオブジェクト及びその意味情報をベース環境地図に追加して、意味地図を取得する。

【0047】

なお、上記実施例で提供される方法の各ステップの実行対象は、いずれも同じ機器であってもよいし、異なる機器であってもよいことに留意されたい。例えば、ステップ１１～ステップ１３の実行対象が機器Ａであってもよいし、別の例として、ステップ１１及び１２の実行対象が機器Ａであり、ステップ１３の実行対象が機器Ｂであってもよい、等々である。

【0048】

また、上記の実施例及び図面で説明した処理の一部では、特定の順序で表される複数の操作が含まれているが、これらの操作は、本明細書で表された順序で実行されたり、並行して実行されたりしない場合があり、１１、１２などの操作のシリアル番号は、異なる操作を区別するためにのみ使用され、シリアル番号自体が実行順序を表すものではないことを明確に理解されたい。また、これらの処理には、より多くの又はより少ない操作を含めることができ、これらの操作は順序又は並行して実行できる。なお、本明細書中の「第１」、「第２」などの説明は、異なるメッセージ、機器、モジュールなどを区別するために使用され、順序を表すものではなく、「第１」と「第２」が異なる型であることを限定するものでもないことに注意されたい。

【0049】

図４は、本出願の例示的実施例によって提供される倉庫保管ロボットの構造模式図である。図４に示すように、倉庫保管ロボットは、メモリ４４とプロセッサ４５が設けられた機器本体４０を備える。

【0050】

メモリ４４は、コンピュータプログラムを格納するために使用され、倉庫保管ロボットの操作をサポートするために他の様々なデータを格納するように構成することができる。これらのデータの例には、倉庫保管ロボットで操作するためのアプリケーション又は方法の命令、連絡先データ、電話帳データ、メッセージ、写真、ビデオなどが含まれる。

【0051】

メモリ４４は、スタティックランダムアクセスメモリ（ＳＲＡＭ）、電気的消去可能プログラマブル読み出し専用メモリ（ＥＥＰＲＯＭ）、消去可能プログラマブル読み出し専用メモリ（ＥＰＲＯＭ）、プログラマブル読み取り専用メモリ（ＰＲＯＭ）、読み取り専用メモリ（ＲＯＭ）、磁気メモリ、フラッシュメモリ、磁気ディスク、又は光ディスクなど、任意のタイプの揮発性又は不揮発性記憶装置又はそれらの組み合わせによって実現することができる。

【0052】

プロセッサ４５は、メモリ４４と結合され、メモリ４４内のコンピュータプログラムを実行して、倉庫保管ロボットの移動中、倉庫保管ロボットにおける画像センサを用いて周囲倉庫保管環境の画像又はビデオデータを収集し、周囲倉庫保管環境の画像又はビデオデータに対してターゲット検出と意味認識を実行して、倉庫保管ロボットの周囲倉庫保管環境に存在するターゲットオブジェクト及びその意味情報を取得し、センサ座標系とロボット座標系との変換関係に基づいて、ターゲットオブジェクトと倉庫保管ロボットとの相対的な位置関係を算出し、ターゲットオブジェクトと倉庫保管ロボットとの相対的な位置関係及びターゲットオブジェクトの意味情報に従って、意味地図における倉庫保管ロボットの位置を特定するために使用され、意味地図は、倉庫保管環境に存在する複数のオブジェクト及びその意味情報を含む。

【0053】

好ましい実施例では、プロセッサ４５が、センサ座標系とロボット座標系との変換関係に基づいてターゲットオブジェクトと倉庫保管ロボットとの相対的な位置関係を計算するとき、具体的に、センサ座標系でターゲットオブジェクト上の画素点の３次元座標を算出し、センサ座標系とロボット座標系との変換関係に基づいて、センサ座標系でターゲットオブジェクト上の画素点の３次元座標をロボット座標系に変換し、ロボット座標系でターゲットオブジェクト上の画素点の３次元座標に従って、ターゲットオブジェクトと倉庫保管ロボットとの相対的な位置関係を算出するために使用される。

【0054】

好ましい実施例では、画像センサが単眼カメラであり、ターゲットオブジェクトが地平面と交差するオブジェクト又は地平面上に位置するオブジェクトである場合、プロセッサ４５がセンサ座標系でターゲットオブジェクト上の画素点の３次元座標を算出するとき、具体的に、単眼カメラの撮影幾何学を組み合わせ、地平面におけるターゲットオブジェクト上の地平面と交差する画素点の３次元座標を算出するために使用されるか、又は画像センサが双眼カメラである場合、プロセッサ４５がセンサ座標系でターゲットオブジェクト上の画素点の３次元座標を算出するとき、具体的に、双眼ステレオマッチングアルゴリズムを用いてセンサ座標系でターゲットオブジェクト上の画素点の３次元座標を算出するために使用されるか、又は画像センサがＲＧＢＤカメラである場合、プロセッサ４５がセンサ座標系でターゲットオブジェクト上の画素点の３次元座標を算出するとき、具体的に、収集されたターゲットオブジェクトを含むＲＧＢ画像と深度画像のマッチング関係から、センサ座標系でターゲットオブジェクト上の画素点の３次元座標を算出するために使用される。

【0055】

好ましい実施例では、プロセッサ４５がターゲットオブジェクトと倉庫保管ロボットとの相対的な位置関係及びターゲットオブジェクトの意味情報に従って、意味地図における倉庫保管ロボットの位置を特定するとき、具体的に、ターゲットオブジェクトの意味情報に従って、意味地図におけるターゲットオブジェクトの位置を決定し、ターゲットオブジェクトと倉庫保管ロボットとの相対的な位置関係及び意味地図におけるターゲットオブジェクトの位置に従って、意味地図における倉庫保管ロボットの位置を特定するために使用される。

【0056】

好ましい実施例では、プロセッサ４５がターゲットオブジェクトの意味情報に従って意味地図におけるターゲットオブジェクトの位置を特定するとき、具体的に、倉庫保管ロボットの他のセンサデータに基づいて、意味地図における倉庫保管ロボットの初期位置を計算し、ターゲットオブジェクトの意味情報に従って、意味地図で初期位置の周囲からターゲットオブジェクトの位置を探すために使用される。

【0057】

好ましい実施例では、プロセッサ４５が倉庫保管ロボットにおける他のセンサデータに基づいて意味地図における倉庫保管ロボットの初期位置を算出するとき、具体的に、倉庫保管ロボットにおけるレーザーセンサデータ、慣性測定ユニットＩＭＵデータ、及び走行距離計データのうちの少なくとも１つに基づいて、意味地図における前記倉庫保管ロボットの初期位置を算出するために使用される。

【0058】

好ましい実施例では、プロセッサ４５は、さらに、倉庫保管ロボットが倉庫保管環境をトラバースする間、倉庫保管ロボットにおける画像センサを用いて倉庫保管環境の画像又はビデオデータを収集し、倉庫保管環境の画像又はビデオデータに対してターゲット検出と意味認識を実行して、倉庫保管環境に存在する複数のオブジェクト及びその意味情報を取得し、センサ座標系とロボット座標系との変換関係に基づいて、複数のオブジェクトと倉庫保管ロボットとの相対的な位置関係をそれぞれ算出し、複数のオブジェクトと倉庫保管ロボットとの相対的な位置関係、及び倉庫保管環境の画像又はビデオデータを収集するときのベース環境地図における倉庫保管ロボットの位置に従って、複数のオブジェクトの意味情報をベース環境地図に追加して倉庫保管環境の意味地図を取得するために使用される。

【0059】

好ましい実施例では、プロセッサ４５が倉庫保管環境の画像又はビデオデータを収集する過程において、さらに、ＳＬＡＭ技術を用いて倉庫保管環境のベース環境地図を確立し、倉庫保管環境の画像又はビデオデータを収集するときのベース環境地図における倉庫保管ロボットの位置を特定するために使用される。

【0060】

好ましい実施例では、ターゲットオブジェクトは、少なくとも、棚、棚と地平面との交線、及び棚によって形成される交差点を含む。

【0061】

好ましい実施例では、ターゲットオブジェクトは、棚脚位置、消火栓、及び避難標識のうちの少なくとも１つをさらに含む。

【0062】

さらに、図４に示すように、倉庫保管ロボットは、通信アセンブリ４６、ディスプレイ４７、電源アセンブリ４８、オーディオアセンブリ４９及びその他の構成要素をさらに含む。図４では一部の構成要素を概略的に示しているにすぎず、倉庫保管ロボットが図４に示されている構成要素のみを含むことを意味するものではない。なお、図４中の破線のボックス内の構成要素は規定構成要素ではなく、選択可能な構成要素であり、具体的には倉庫保管ロボットの製品形態によって決定できることに留意されたい。

【0063】

それに対応して、本出願の実施例は、コンピュータプログラムが格納されているコンピュータ可読記憶媒体も提供しており、コンピュータプログラムが実行されると、上記の倉庫保管ロボットの位置決め方法及び意味地図の作成方法の実施例において倉庫保管ロボットによって実行され得る各ステップを実現することができる。

【0064】

上記の図４中の通信アセンブリは、通信アセンブリが配置されている機器と他の機器との間の有線又は無線方式による通信を容易にするように構成される。通信アセンブリが配置されている機器は、ＷｉＦｉ、２Ｇ、３Ｇ、４Ｇ／ＬＴＥ、５Ｇなどの移動通信ネットワーク、又はそれらの組み合わせなどの通信規格に基づく無線ネットワークにアクセスできる。例示的な一実施例では、通信アセンブリは、ブロードキャストチャネルを介して外部ブロードキャスト管理システムからのブロードキャスト信号又はブロードキャスト関連情報を受信する。例示的な一実施例では、前記通信アセンブリは、近距離通信（ＮＦＣ）モジュールをさらに含み、短距離通信を容易にする。例えば、ＮＦＣモジュールは、無線周波数識別（ＲＦＩＤ）技術、赤外線データ協会（ＩｒＤＡ）技術、超広帯域（ＵＷＢ）技術、ブルートゥース（登録商標）（ＢＴ）技術及びその他の技術に基づいて実現することができる。

【0065】

上述した図４中のディスプレイはスクリーンを含み、スクリーンは液晶ディスプレイ（ＬＣＤ）及びタッチパネル（ＴＰ）を含んでもよい。スクリーンがタッチパネルを含む場合、スクリーンは、ユーザーからの入力信号を受信するタッチスクリーンとして実現され得る。タッチパネルには、タッチ、スワイプ、及びタッチパネル上でのジェスチャを感知するための１つ又は複数のタッチセンサが含まれる。前記タッチセンサは、タッチ又はスワイプアクションの境界を感知するだけでなく、前記タッチ又はスワイプアクションに関連する持続時間及び圧力も検出することができる。

【0066】

上述した図４中の電源アセンブリは、電源アセンブリが配置されている機器の様々な構成要素に電力を供給する。電源アセンブリは、電源管理システム、１つ又は複数の電源、及び電源アセンブリが存在する機器への電力の生成、管理、及び配電に関連する他の構成要素を含み得る。

【0067】

上述した図４中のオーディオアセンブリは、オーディオ信号を出力及び／又は入力するように構成され得る。例えば、オーディオアセンブリは、オーディオアセンブリが配置されている機器が通話モード、録音モード、音声認識モードなどの操作モードにあるときに、外部オーディオ信号を受信するように構成されたマイクロフォン（ＭＩＣ）を含む。受信されたオーディオ信号は、さらにメモリに格納されるか、又は通信アセンブリを介して送信されてもよい。いくつかの実施例では、オーディオアセンブリは、オーディオ信号を出力するためのスピーカをさらに含む。

【0068】

本分野の当業者であれば、本出願の実施例が方法、システム、又はコンピュータプログラム製品として提供され得ることを理解すべきである。従って、本出願は、完全にハードウェアの実施例、完全にソフトウェアの実施例、又はソフトウェアとハードウェアの側面を組み合わせた実施例の形態をとることができる。さらに、本出願は、コンピュータが使用可能なプログラムコードを含んでいる１つ又は複数のコンピュータが使用可能な記憶媒体（ディスク記憶装置、ＣＤ－ＲＯＭ、光学記憶装置などを含むがこれらに限定されない）上で実施されるコンピュータプログラム製品の形態をとることができる。

【0069】

本出願は、本出願の実施例による方法、機器（システム）、及びコンピュータプログラム製品のフローチャート及び／又はブロック図を参照して説明される。コンピュータプログラム命令によって、フローチャート及び／又はブロック図における各手順及び／又はブロック、ならびにフローチャート及び／又はブロック図における手順及び／又はブロックの組み合わせを実現できることを理解すべきである。これらのコンピュータプログラム命令を汎用コンピュータ、専門コンピュータ、組み込みプロセッサ、又は他のプログラマブルデータ処理機器のプロセッサに提供してマシンを生成することができるので、コンピュータ又は他のプログラマブルデータ処理機器のプロセッサによって実行される命令はフローチャートの１つの手順又は複数の手順及び／又はブロック図の１つのブロック又は複数のブロックで指定された機能を実現する装置を生成する。

【0070】

これらのコンピュータプログラム命令は、特定の方法で動作するようにコンピュータ又は他のプログラマブルデータ処理機器を指示することができるコンピュータ可読メモリに記憶されてもよい。これにより、このコンピュータ可読メモリに記憶された命令は命令装置を含む製品を生成し、この命令装置はフローチャートの１つの手順又は複数の手順及び／又はブロック図の１つのブロック又は複数のブロックで指定された機能を実現する。

【0071】

これらのコンピュータプログラム命令は、コンピュータ又は他のプログラマブル機器が一連の操作ステップを実行してコンピュータによって実現される処理を生成するように、コンピュータ又は他のプログラマブルデータ処理機器にインストールされてもよい。これにより、コンピュータ又は他のプログラマブル機器で実行される命令は、フローチャートの１つの手順又は複数の手順及び／又はブロック図の１つのブロック又は複数のブロックで指定された機能を実現するためのステップを提供する。

【0072】

典型的な構成では、コンピューティングデバイスは、１つ又は複数のプロセッサ（ＣＰＵ）、入出力インターフェイス、ネットワークインターフェイス、及びメモリを含む。

【0073】

メモリとして、コンピュータ読み取り可能な媒体における非永続的メモリ、ランダムアクセスメモリ（ＲＡＭ）及び／又は不揮発性メモリ等の形式、例えばリードオンリーメモリ（ＲＯＭ）又はフラッシュメモリ（ｆｌａｓｈ ＲＡＭ）を含む可能性がある。メモリはコンピュータ読み取り可能な媒体の例である。

【0074】

コンピュータ読み取り可能な媒体は、永続的及び非永続的、可動性及び非可動性の媒体を含み、任意の方法又は技術によって情報保存を実現することができる。情報は、コンピュータ読み取り可能な命令、データ構造、プログラムのモジュール、又は他のデータであってもよい。コンピュータの記憶媒体の例としては、相変化メモリ（ＰＲＡＭ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、他のタイプのランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、書き換え可能なリードオンリーメモリ（ＥＥＰＲＯＭ）、フラッシュメモリ又は他のメモリ技術、コンパクトディスクリードオンリーメモリ（ＣＤ－ＲＯＭ）、デジタルバーサタイルディスク（ＤＶＤ）又は他の光学記憶装置、カセット磁気テープ、磁気テープ・磁気ディスク記憶装置又は他の磁気記憶装置又は他の非伝送媒体が挙げられるが、これらに限られず、コンピューティングデバイスにアクセスされる情報を記憶するために用いることができる。本明細書の画定されば、コンピュータ読み取り可能な媒体は、変調されたデータ信号や搬送波などの一時的なコンピュータ読み取り可能な媒体（ｔｒａｎｓｉｔｏｒｙ ｍｅｄｉａ）を含まない。

【0075】

なお、用語「備える」、「含む」又はその他の変形は、非排他的な含有をカバーすることを意味し、それにより一連の要素を含むプロセス、方法、商品又は機器は、それら要素だけでなく、明確に挙げられていない他の要素も含み、若しくは、これらのプロセス、方法、商品又は機器に固有する要素も含む。より多くの制限がない場合には、「１つの……を含む」という用語により限定される要素は、前記要素を含むプロセス、方法、商品又は機器に更に別の同じ要素が存在することを排除しない。

【0076】

以上は、本出願の実施例に過ぎず、本出願を制限するためのものではない。当業者にとって、本出願には様々な修正や変化を加えることができる。本出願の思想及び原理の範囲内で行われる全ての修正、同等置換、改良などは、いずれも本出願の特許請求の範囲に含まれるべきである。

【図1a】

【図1b】

【図1c】

【図1d】

【図1e】

【図2】

【図3】

【図4】

【国際調査報告】