特表 2024-524595 移動ロボットのインタラクション方法、装置、移動ロボット及び記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-07-05

(54)【発明の名称】移動ロボットのインタラクション方法、装置、移動ロボット及び記憶媒体

(51)【国際特許分類】

   G05D 1/617 20240101AFI20240628BHJP

   G05D 1/246 20240101ALI20240628BHJP

   G05D 1/43 20240101ALI20240628BHJP

   G05D 1/644 20240101ALI20240628BHJP

【ＦＩ】

G05D1/617

G05D1/246

G05D1/43

G05D1/644

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2024500596

(86)(22)【出願日】2022-11-16

(85)【翻訳文提出日】2024-01-09

(86)【国際出願番号】 CN2022132312

(87)【国際公開番号】W WO2023088316

(87)【国際公開日】2023-05-25

(31)【優先権主張番号】202111354791.4

(32)【優先日】2021-11-16

(33)【優先権主張国・地域又は機関】CN

(31)【優先権主張番号】202111355659.5

(32)【優先日】2021-11-16

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

(71)【出願人】

【識別番号】522070592

【氏名又は名称】深▲せん▼市普渡科技有限公司

【氏名又は名称原語表記】Ｓｈｅｎｚｈｅｎ Ｐｕｄｕ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ．

【住所又は居所原語表記】Ｒｏｏｍ ５０１， Ｂｕｉｌｄｉｎｇ Ａ， Ｂｌｏｃｋ １， Ｐｈａｓｅ １， Ｓｈｅｎｚｈｅｎ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｉｎｎｏ Ｖａｌｌｅｙ， Ｄａｓｈｉ １ｓｔ Ｒｏａｄ， Ｘｉｌｉ Ｃｏｍｍｕｎｉｔｙ， Ｘｉｌｉ Ｓｔｒｅｅｔ， Ｎａｎｓｈａｎ Ｄｉｓｔｒｉｃｔ， Ｓｈｅｎｚｈｅｎ， Ｃｈｉｎａ

(74)【代理人】

【識別番号】110002871

【氏名又は名称】弁理士法人坂本国際特許商標事務所

(72)【発明者】

【氏名】朱俊安

(72)【発明者】

【氏名】張濤

(72)【発明者】

【氏名】郭▲ツォン▼

(72)【発明者】

【氏名】陳鵬

(72)【発明者】

【氏名】▲ウー▼翔

(72)【発明者】

【氏名】曾飛

(72)【発明者】

【氏名】陳俊偉

【テーマコード（参考）】

5H301

【Ｆターム（参考）】

5H301CC03

5H301CC06

5H301CC10

5H301GG08

5H301GG09

5H301MM00

5H301MM09

5H301QQ06

(57)【要約】

移動ロボットのインタラクション方法、装置、移動ロボット及び記憶媒体に関する。方法は、移動ロボットが位置する空間の地図データ情報を取得し、及び、環境感知センサが採取したリアルタイム環境感知データを取得し、リアルタイム環境感知データがリアルタイム障害物情報と移動ロボットの周囲の道路状況を指示するリアルタイム指示情報とを含むことと、リアルタイム障害物情報及び地図データ情報に基づき、移動ロボットの目標走行経路情報を取得し、目標走行経路情報及びリアルタイム指示情報から、地面投影領域を特定することと、投影待ちパターンを取得し、投影待ちパターン及び地面投影領域から、投影待ちパターンに対応する投影パラメータを特定し、投影待ちパターンは、移動ロボットの走行意図を指示するものであることと、投影待ちパターンを地面投影領域に投影するように、投影パラメータから投影装置を制御することと、を含む。
【選択図】図２

【特許請求の範囲】

【請求項1】

移動ロボットのインタラクション方法であって、
前記移動ロボットには、投影装置及び環境感知センサが設けられ、
前記方法は、
前記移動ロボットが位置する空間の地図データ情報を取得し、及び、前記環境感知センサが採取したリアルタイム環境感知データを取得し、前記リアルタイム環境感知データは、リアルタイム障害物情報と前記移動ロボットの周囲の道路状況を指示するリアルタイム指示情報とを含むことと、
前記リアルタイム障害物情報及び前記地図データ情報に基づき、前記移動ロボットの目標走行経路情報を取得し、前記目標走行経路情報及び前記リアルタイム指示情報から、地面投影領域を特定することと、
投影待ちパターンを取得し、前記投影待ちパターン及び前記地面投影領域から、前記投影待ちパターンに対応する投影パラメータを特定し、前記投影待ちパターンは、前記移動ロボットの走行意図を指示するものであることと、
前記投影待ちパターンを前記地面投影領域に投影するように、前記投影パラメータから前記投影装置を制御することと、を含む、
移動ロボットのインタラクション方法。

【請求項2】

前記移動ロボットが位置する空間の地図データ情報を取得し、及び、前記環境感知センサが採取したリアルタイム環境感知データを取得する前に、前記方法は、さらに、
前記移動ロボットの位置する空間の環境が所定の環境条件を満たす場合に前記環境感知センサが採取した履歴環境感知データを取得することと、
前記履歴環境感知データから、前記移動ロボットが位置する空間の空間座標情報を特定し、前記空間座標情報から前記空間の地図を作成することと、
前記地図のデータ情報を前記地図データ情報とすることと、を含む、
請求項１に記載のインタラクション方法。

【請求項3】

前記環境感知センサは、レーダ装置及びカメラ装置を含み、
前記環境感知センサが採取したリアルタイム環境感知データを取得することは、
前記レーダ装置が採取した障害物と前記移動ロボットとのリアルタイム距離情報を取得することと、
前記カメラ装置が採取したリアルタイム障害物識別情報、前記移動ロボットの周囲の路面の路面形状情報及び前記移動ロボットの周囲の路面のリアルタイム障害物分布情報を取得することと、
前記リアルタイム障害物識別情報及び前記リアルタイム距離情報を前記リアルタイム障害物情報とし、前記路面形状情報及び前記リアルタイム障害物分布情報を前記リアルタイム指示情報とすることと、を含む、
請求項２に記載のインタラクション方法。

【請求項4】

前記リアルタイム障害物情報及び地図データ情報に基づき、前記移動ロボットの目標走行経路情報を取得することは、
前記地図データ情報及び前記リアルタイム障害物情報から、前記移動ロボットのリアルタイム位置及び障害物の位置を特定することと、
前記移動ロボットの目標終点位置を取得し、前記リアルタイム位置及び前記障害物の位置に基づき、前記リアルタイム位置から前記目標終点位置までの最短経路情報を特定し、前記最短経路情報を前記移動ロボットの目標走行経路情報とすることと、を含む、
請求項１に記載のインタラクション方法。

【請求項5】

前記投影待ちパターン及び前記地面投影領域から、前記投影待ちパターンに対応する投影パラメータを特定することは、
前記投影待ちパターンにおける各前記画素点に対して、前記地面投影領域から、前記画素点に対応する投射角度、前記画素点に対応する投射時間及び前記画素点に対応する投射色を特定することと、
各前記画素点に対応する投射角度、各前記画素点に対応する投射時間及び各前記画素点に対応する投射色を前記投影待ちパターンに対応する投影パラメータとすることと、を含む、
請求項１に記載のインタラクション方法。

【請求項6】

前記投影装置は、ガルバノミラー、可視光レーザ及びレンズを含み、
前記投影待ちパターンを前記地面投影領域に投影するように、前記投影パラメータから前記投影装置を制御することは、
各前記画素点に対応する投射角度から各前記画素点に対応する前記ガルバノミラーの回転角度を特定し、各前記画素点に対応する投射色から各前記画素点に対応する前記可視光レーザのレーザ発射情報及び前記レンズのレーザ合成情報を特定することと、
各前記画素点に対応する投射時間から、各前記画素点の投射順番を特定することと、
各前記画素点の投射順番に従って、各前記画素点に対応する前記ガルバノミラーの回転角度、各前記画素点に対応する前記レーザ発射情報及び各前記画素点に対応する前記レンズのレーザ合成情報から、前記投影待ちパターンを前記地面投影領域に投影するように、前記投影装置を調整することと、を含む、
請求項５に記載のインタラクション方法。

【請求項7】

前記目標走行経路情報及び前記リアルタイム指示情報から地面投影領域を特定する前に、前記インタラクション方法は、さらに、
前記目標走行経路情報及び前記リアルタイム環境感知データから、所定の投影条件に合致するかどうかを判断することを含み、
対応して、前記目標走行経路情報から地面投影領域を特定することは、
判断結果が所定の投影条件に合致することである場合、前記目標走行経路情報から地面投影領域を特定することを含む、
請求項１に記載のインタラクション方法。

【請求項8】

前記所定の投影条件は、少なくとも、
将来の所定の時間帯内に前記移動ロボットの走行方向が変化することと、
前記移動ロボットの走行状態が一時停止状態であることと、
前記移動ロボットの周囲に歩行者が存在することと、
前記移動ロボットが現在運転状態にあることと、のいずれか一つの条件を含む、
請求項７に記載のインタラクション方法。

【請求項9】

前記所定の投影条件が前記移動ロボットが現在運転状態にあることである場合、前記投影待ちパターンを取得することは、
前記目標走行経路情報から、前記移動ロボットの現在の投影パターンが前記移動ロボットの走行意図を反映できるかどうかを判断することと、
そうであれば、前記移動ロボットの現在の投影パターンを前記投影待ちパターンとすることと、
そうでなければ、前記移動ロボットの走行意図から前記投影待ちパターンを生成することと、を含む、
請求項８に記載のインタラクション方法。

【請求項10】

前記目標走行経路情報から、前記移動ロボットの現在の投影パターンが前記移動ロボットの走行意図を反映できるかどうかを判断することは、
前記リアルタイム障害物情報が前記移動ロボットの周囲に存在する障害物が移動障害物であることを指示すれば、前記目標走行経路情報から、前記移動ロボットの現在の投影パターンが前記移動ロボットの走行意図を反映できるかどうかを判断するステップを実行することを含む、
請求項９に記載のインタラクション方法。

【請求項11】

前記投影パラメータから前記投影待ちパターンを前記地面投影領域に投影するように前記投影装置を制御した後、前記インタラクション方法は、さらに、
運転過程で投影待ちパターンをリアルタイムに投射し、且つ運転過程で路面に存在する障害物領域を取得することと、
前記投影待ちパターンと前記障害物領域との間に重複領域が存在するかどうかを検出し、前記投影待ちパターンと前記障害物領域との間に重複領域が存在する場合、前記投影待ちパターンと前記障害物領域との間に重複領域が存在しないように、前記重複領域から前記投影待ちパターンを調整することと、を含む、
請求項１に記載のインタラクション方法。

【請求項12】

前記運転過程で路面に存在する障害物領域を取得することは、
運転過程で障害物情報をリアルタイムに採取し、所定の投影図において前記障害物情報に対応する画素情報をマッピングすることと、
全ての前記画素情報を含む投影領域から最小面積領域を特定して、前記最小面積領域を前記障害物領域と記録することと、を含む、
請求項１１に記載のインタラクション方法。

【請求項13】

前記投影待ちパターンは、初期投影待ちパターン、及び異なる時刻に応じて異なる拡大比率で生成された異なる拡大投影待ちパターンを含み、
前記運転過程で投影待ちパターンをリアルタイムに投射することは、
前記初期投影待ちパターンを投射し、及び前記異なる時刻に従って前記初期投影待ちパターンと配列するように、生成された拡大投影待ちパターンを投射することと、を含む、
請求項１１に記載のインタラクション方法。

【請求項14】

前記投影待ちパターンは、初期投影待ちパターンと拡大投影待ちパターンのうちの少なくとも１つを含み、前記拡大投影待ちパターンは、前記初期投影待ちパターンが所定の拡大比率で拡大処理されることにより形成され、
前記運転過程で投影待ちパターンをリアルタイムに投射することは、
運転過程で前記初期投影待ちパターンと前記拡大投影待ちパターンのうちの少なくとも１つをリアルタイムに投射することを含む、
請求項１１に記載のインタラクション方法。

【請求項15】

前記重複領域から前記投影待ちパターンを調整することは、
前記重複領域において重複投影待ちパターンと前記障害物領域の２つの曲線の交点を特定し、前記重複投影待ちパターンとは、前記初期投影待ちパターン又は前記拡大投影待ちパターンであることと、
前記重複投影待ちパターンにおける２つの前記曲線の交点の間に位置する線分に対して削除処理を行い、削除処理後の前記重複投影待ちパターンにおける２つの残存曲線線分を得ることと、
２つの前記曲線の交点の間の連結線に対応する垂直二等分線の交点を特定することと、
前記垂直二等分線の交点と境界交点との間の垂直距離を検出し、前記垂直距離を所定の距離閾値と比較し、前記境界交点とは、前記垂直二等分線と前記障害物領域の縁との交点であり、且つ前記境界交点は、前記曲線重複領域内に位置することと、
前記垂直距離が所定の距離閾値以下である場合、２つの前記残存曲線線分、前記曲線の交点及び前記境界交点から、前記投影待ちパターンを調整し、調整後の投影待ちパターンを得、前記調整後の投影待ちパターンと前記障害物領域との間には重複領域が存在しないことと、を含む、
請求項１３又は１４に記載のインタラクション方法。

【請求項16】

前記重複領域から前記投影待ちパターンを調整することは、
前記障害物領域と重複領域が存在する初期投影待ちパターン又は拡大投影待ちパターンを重複投影待ちパターンと記録し、前記重複投影待ちパターンは、前記障害物領域と重複する重複領域と、前記障害物領域と重複しない残存領域とを含むことと、
前記重複投影待ちパターンの重複領域を削除する、又は前記重複投影待ちパターンが前記障害物領域の縁に接するように前記重複投影待ちパターンを所定の比率で縮小することで、調整後の投影待ちパターンを得ることと、を含む、
請求項１４に記載のインタラクション方法。

【請求項17】

２つの前記残存曲線線分、前記曲線の交点及び前記境界交点から、前記投影待ちパターンを調整して、調整後の投影待ちパターンを得ることは、
所定の連結形態により、２つの曲線の交点と前記境界交点とを連結して、連結線分を得ることと、
２つの前記残存曲線線分及び前記連結線分の間に連結して形成される投影待ちパターンを調整後の投影待ちパターンと記録することと、を含む、
請求項１５に記載のインタラクション方法。

【請求項18】

前記垂直距離を所定の距離閾値と比較した後、前記プロセッサが前記コンピュータ読み取り可能な命令を実行するときにさらに以下のステップを実現し、
前記垂直距離が前記所定の距離閾値よりも大きい場合、前記投影待ちパターンの投射を停止する、
請求項１５に記載のインタラクション方法。

【請求項19】

前記重複領域から前記投影待ちパターンを調整した後、前記プロセッサが前記コンピュータ読み取り可能な命令を実行するときにさらに以下のステップを実現し、
ロボットの現在位置情報を取得し、前記現在位置情報から前記ロボットと前記障害物領域との間の位置距離を特定し、
前記位置距離から調整後の前記投影待ちパターンの色パラメータを特定し、前記色パラメータから調整後の前記投影待ちパターンを投射する
請求項１１に記載のインタラクション方法。

【請求項20】

移動ロボットのインタラクション装置であって、
前記移動ロボットには、投影装置及び環境感知センサが設けられ、
前記インタラクション装置は、
前記移動ロボットが位置する空間の地図データ情報を取得し、及び前記環境感知センサが採取したリアルタイム環境感知データを取得し、前記リアルタイム環境感知データは、リアルタイム障害物情報と前記移動ロボットの周囲の道路状況を指示するリアルタイム指示情報とを含む、取得モジュールと、
前記リアルタイム障害物情報及び前記地図データ情報に基づき、前記移動ロボットの目標走行経路情報を取得し、前記目標走行経路情報及び前記リアルタイム指示情報から、地面投影領域を特定する、経路モジュールと、
投影待ちパターンを取得し、前記投影待ちパターン及び前記地面投影領域から、前記投影待ちパターンに対応する投影パラメータを特定し、前記投影待ちパターンは、前記移動ロボットの走行意図を指示するものである、特定モジュールと、
前記投影待ちパターンを前記地面投影領域に投影するように、前記投影パラメータから前記投影装置を制御する、投影モジュールと、を含む、
移動ロボットのインタラクション装置。

【請求項21】

運転過程で投影待ちパターンをリアルタイムに投射し、運転過程で存在する障害物領域を取得する、障害物領域取得モジュールと、
前記投影待ちパターンと前記障害物領域との間に重複領域が存在するかどうかを検出し、前記投影待ちパターンと前記障害物領域との間に重複領域が存在する場合、前記投影待ちパターンと前記障害物領域との間に重複領域が存在しないように、前記重複領域から前記投影待ちパターンを調整する、重複領域検出モジュールと、をさらに含む、
請求項２０に記載の移動ロボットのインタラクション装置。

【請求項22】

移動ロボットであって、
投影装置と、環境感知センサと、プロセッサとを含み、
前記環境感知センサは、リアルタイム環境感知データを採取し、前記リアルタイム環境感知データは、リアルタイム障害物情報と、前記移動ロボットの周囲の道路状況を指示するリアルタイム指示情報とを含み、
前記プロセッサは、前記移動ロボットが位置する空間の地図データ情報を取得し、及び前記リアルタイム環境感知データを取得し、前記リアルタイム障害物情報及び前記地図データ情報に基づき、前記移動ロボットの目標走行経路情報を取得し、前記目標走行経路情報及び前記リアルタイム指示情報から、地面投影領域を特定し、投影待ちパターンを取得し、前記投影待ちパターン及び前記地面投影領域から、前記投影待ちパターンに対応する投影パラメータを特定し、前記投影待ちパターンは、前記移動ロボットの走行意図を指示するものであり、前記投影待ちパターンを前記地面投影領域に投影するように、前記投影パラメータから前記投影装置を制御し、
前記投影装置は、前記投影待ちパターンを前記地面投影領域に投影する、
移動ロボット。

【請求項23】

前記プロセッサは、さらに、
前記目標走行経路情報及び前記リアルタイム環境感知データから、所定の投影条件に合致するかどうかを判断し、前記所定の投影条件は、少なくとも、将来の所定の時間帯内に前記移動ロボットの走行方向が変化することと、前記移動ロボットの走行状態が一時停止状態であることと、前記移動ロボットの周囲に歩行者が存在することと、前記移動ロボットが現在運転状態にあることとのいずれか一つの条件を含み、
判断結果が所定の投影条件に合致することである場合、前記目標走行経路情報から、地面投影領域を特定する、
請求項２２に記載の移動ロボット。

【請求項24】

前記プロセッサは、さらに、
前記所定の投影条件が、前記移動ロボットが現在運転状態にあることである場合、前記目標走行経路情報から、前記移動ロボットの現在の投影パターンが前記移動ロボットの走行意図を反映できるかどうかを判断し、
そうであれば、前記移動ロボットの現在の投影パターンを前記投影待ちパターンとし、
そうでなければ、前記移動ロボットの走行意図から前記投影待ちパターンを生成する、
請求項２３に記載の移動ロボット。

【請求項25】

コンピュータ読み取り可能な記憶媒体であって、コンピュータプログラムが記憶され、前記コンピュータプログラムは、プロセッサによって実行されると、請求項１乃至１９のいずれか１項に記載のインタラクション方法のステップを実現する、
コンピュータ読み取り可能な記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

［関連出願の相互参照］
本願は、２０２１年１１月１６日に出願された、出願番号２０２１１１３５４７９１．４、名称「移動ロボットのインタラクション方法、装置、移動ロボット及び記憶媒体」である中国特許出願の優先権、及び２０２１年１１月１６日に出願された、出願番号２０２１１１３５５６５９．５、名称「ロボット、障害物に基づくロボットインタラクション方法、装置及び媒体」である中国特許出願の優先権を主張し、参照としてそれらの全体をここに組み込む。

【0002】

本願は、人工知能分野に関し、特に移動ロボットのインタラクション方法、装置、移動ロボット及び記憶媒体に関する。

【背景技術】

【0003】

移動ロボットは、現在、人出の大きなレストランやデパート、ホテルなどの場所に応用されている。移動ロボットの走行中、歩行者との間に道路権の衝突が発生することがよくある。上記の状況に対して、歩行者が移動ロボットの走行意図をリアルタイムに理解し、道路権の衝突を解決するために相応の行動をとることができるようにするインタラクション方式を提供する必要がある。

【0004】

従来技術では、移動ロボットと歩行者との間の情報のインタラクション方式は、主に音声形式、動作形式を含み、例えば、移動ロボットは、マイクによって人間の指令を受信し、この指令に対応する提示情報を特定し、スピーカによって人間に提示音声を発し、この提示音声は、人間に提示情報の情報内容を説明し、又は動作指令を受信することによって、異なる機械動作を実行することで指令情報を伝達する。例えば、通常、音声放送の方式を採用して移動ロボットと歩行者とのインタラクションを実現することで、歩行者が移動ロボットの走行意図を理解するようになる。例えば移動ロボットが右折する際、「右へ曲がりますので、気を付けて退避してください」という音声を放送することで歩行者に知らせる。

【0005】

従来技術では、提示情報は、音声提示又は肢体動作によって伝送され、提示音声は、人間と移動ロボットとの距離、周囲環境の音声、言語地域性などの多種の要因の影響を受けるため、提示動作も人間と移動ロボットとの距離の影響を受ける。特に、レストランやデパートなどの比較的に騒がしい場所では、移動ロボットが放送する音声は、はっきりと歩行者に伝達しにくく、インタラクション効果が悪い。そのため、移動ロボットが迅速、且つ正確に人間に提示情報を説明しにくく、さらに移動ロボットと歩行者との間のインタラクション効率が低く、且つインタラクションの正確率が低くなってしまう。

【発明の概要】

【0006】

本願は、移動ロボットのインタラクション方法、装置、移動ロボット及び記憶媒体を提供する。

【0007】

第１態様は、移動ロボットのインタラクション方法を提供し、移動ロボットには、投影装置及び環境感知センサが設けられ、当該方法は、
前記移動ロボットが位置する空間の地図データ情報を取得し、及び、前記環境感知センサが採取したリアルタイム環境感知データを取得し、前記リアルタイム環境感知データは、リアルタイム障害物情報と前記移動ロボットの周囲の道路状況を指示するリアルタイム指示情報とを含むことと、
前記リアルタイム障害物情報及び前記地図データ情報に基づき、前記移動ロボットの目標走行経路情報を取得し、前記目標走行経路情報及び前記リアルタイム指示情報から、地面投影領域を特定することと、
投影待ちパターンを取得し、前記投影待ちパターン及び前記地面投影領域から、前記投影待ちパターンに対応する投影パラメータを特定し、前記投影待ちパターンは、前記移動ロボットの走行意図を指示するものであることと、
前記投影待ちパターンを前記地面投影領域に投影するように、前記投影パラメータから前記投影装置を制御することとを含む。

【0008】

第２態様は、移動ロボットのインタラクション装置を提供し、当該装置は、
移動ロボットが位置する空間の地図データ情報を取得し、及び環境感知センサが採取したリアルタイム環境感知データを取得し、リアルタイム環境感知データは、リアルタイム障害物情報と移動ロボットの周囲の道路状況を指示するリアルタイム指示情報とを含む、取得モジュールと、
リアルタイム障害物情報及び地図データ情報に基づき、移動ロボットの目標走行経路情報を取得し、目標走行経路情報及びリアルタイム指示情報から、地面投影領域を特定する、経路モジュールと、
投影待ちパターンを取得し、投影待ちパターン及び地面投影領域から、投影待ちパターンに対応する投影パラメータを特定し、投影待ちパターンは、移動ロボットの走行意図を指示するものである、特定モジュールと、
投影待ちパターンを地面投影領域に投影するように、投影パラメータから投影装置を制御する、投影モジュールとを含む。

【0009】

第３態様は、移動ロボットを提供し、移動ロボットは、投影装置、環境感知センサ及びプロセッサを含み、
環境感知センサは、リアルタイム環境感知データを採取し、リアルタイム環境感知データは、リアルタイム障害物情報と、移動ロボットの周囲の道路状況を指示するリアルタイム指示情報とを含み、
プロセッサは、移動ロボットが位置する空間の地図データ情報を取得し、及びリアルタイム環境感知データを取得し、リアルタイム障害物情報及び地図データ情報に基づき、移動ロボットの目標走行経路情報を取得し、目標走行経路情報及びリアルタイム指示情報から、地面投影領域を特定し、投影待ちパターンを取得し、投影待ちパターン及び地面投影領域から、投影待ちパターンに対応する投影パラメータを特定し、投影待ちパターンは、移動ロボットの走行意図を指示するものであり、投影待ちパターンを地面投影領域に投影するように、投影パラメータから投影装置を制御し、
投影装置は、投影待ちパターンを地面投影領域に投影する。

【0010】

第４態様は、コンピュータ読み取り可能な記憶媒体を提供し、当該コンピュータ読み取り可能な記憶媒体には、コンピュータプログラムが記憶され、当該コンピュータプログラムは、プロセッサによって実行されると、上記第１態様の移動ロボットのインタラクション方法を実現する。

【0011】

本願の一つ又は複数の実施例の詳細は、以下の図面と説明において提出される。本願の他の特徴と利点は明細書、図面及び特許請求の範囲から明らかになる。

【図面の簡単な説明】

【0012】

本願の実施例または従来の技術における技術案をより明確に説明するために、以下では実施例または従来の技術の説明に必要な図面を簡単に紹介する。明らかに、以下の説明における図面は本願の一部の実施例にすぎず、当業者にとっては、創造的な労力を必要としない前提で、これらの図面に基づいて他の図面を得ることができる。

【図1】本願の一実施例における移動ロボットの構成模式図である。

【図2】本願の一実施例における移動ロボットのインタラクション方法のフロー模式図である。

【図3】本願の一実施例における移動ロボットの投影領域の模式図である。

【図4】本願の一実施例における移動ロボットの投影応用の模式図である。

【図5】本願の一実施例におけるステップ１０１のフロー模式図である。

【図6】本願の他の実施例におけるステップ１０１のフロー模式図である。

【図7】本願の一実施例におけるステップ１０２のフロー模式図である。

【図8】本願の一実施例におけるステップ１０３のフロー模式図である。

【図9】本願の一実施例におけるＲＧＢＤセンサの作動模式図である。

【図10】本願の一実施例におけるレーザ投影装置の１種の構成模式図である。

【図11】本願の他の実施例におけるレーザ投影装置の１種の構成模式図である。

【図12】本願の一実施例におけるステップ１０４のフロー模式図である。

【図13】本願の他の実施例における移動ロボットのインタラクション方法のフロー模式図である。

【図14】本願の別の実施例における移動ロボットのインタラクション方法のフロー模式図である。

【図15】本願の一実施例における移動ロボットのインタラクション装置の構成ブロック図である。

【図16】本願の一実施例において移動ロボットに基づくインタラクション方法の１つのフロー図である。

【図17】本願の一実施例において障害物に基づくロボットインタラクション方法におけるステップ１０５の１つのフロー図である。

【図18】本願の一実施例において投影待ちパターンは、障害物領域と重複領域が存在しない１つの模式図である。

【図19】本願の一実施例において投影待ちパターンは、障害物領域と重複領域が存在する１つの模式図である。

【図20】本願の一実施例における移動ロボットが運動過程で障害物領域と重複領域が存在する模式図である。

【図21】本願の一実施例におけるロボットの内部構成模式図である。

【発明を実施するための形態】

【0013】

本願を理解しやすくするために、以下では関連する添付図を参照して本願に対してより全面的な説明を行う。添付図の中に本願の実施例を提供する。しかし、本願は多くの異なる形式で実現することができ、本文で説明した実施例に限定されない。逆に、これらの実施例を提供する目的は本願の開示内容をより徹底的で全面的にすることである。

【0014】

別段の定義がない限り、本明細書中で使用されるすべての技術的および科学的用語は、本願に属する当業者によって一般的に理解されるものと同じ意味を有する。本明細書中で使用される用語は、特定の実施例を説明することのみを目的とし、本願を限定することを意図しない。本明細書中で使用される「および／または」という用語は、関連して列挙される項目の任意およびすべての組合せを含む。

【0015】

本願の実施例が提供する移動ロボットのインタラクション方法は、その実行主体が移動ロボットのインタラクション装置であってもよく、当該移動ロボットのインタラクション装置は、図１に示す移動ロボットに設けられ、ソフトウェア、ハードウェア又はソフトウェアとハードウェアとの組み合わせの方式によって移動ロボットの端末の部分又は全部として実現される。当該端末は、パーソナルコンピューター、ノートパソコン、メディアプレイヤー、スマートテレビ、スマートフォン、タブレットコンピュータ及びポータブルウェアラブルデバイスなどであってもよい。

【0016】

当該移動ロボットには、複数の環境感知センサ及びレーザ投影装置が設けられる。また、環境感知センサは、１つ、２つの又は複数であってもよい。環境感知センサが複数である場合、各環境感知センサの設置が異なる。図１には、例示的に１種の移動ロボットを示し、図１に示すように、当該複数の環境感知センサは、ＲＧＢＤカメラ１及びレーダ装置３を含み、投影装置２は、移動ロボットの走行機構４の上方に設けられる。ここで、走行機構４は、ハブモータを含むことができる。なお、環境感知センサのセンサ種類及び取付位置は、実際の状況に応じて調整することできる。

【0017】

図２を参照すると、本願の実施例の提供する移動ロボットのインタラクション方法のフロー図を示す。本実施例は、当該方法が端末に応用されることを例として説明し、理解できるように、当該方法は、端末及びサーバを含むシステムにも応用され、端末とサーバのインタラクションによって実現されてもよい。図２に示すように、当該移動ロボットのインタラクション方法は、以下のステップを含むことができる。

【0018】

ステップ１０１であって、移動ロボットが位置する空間の地図データ情報及び取得環境感知センサが採取したリアルタイム環境感知データを取得する。

【0019】

ここで、リアルタイム環境感知データは、リアルタイム障害物情報と、移動ロボットの周囲の道路状況を指示するリアルタイム指示情報とを含む。障害物は、静止障害物と移動障害物の２種類のタイプを含み、各タイプの障害物のデータは限定されない。この移動ロボットの周囲の道路状況を指示するリアルタイム指示情報は、少なくとも移動ロボットの周囲の路面形状情報及び周囲の路面上の障害物分布状況を含む。

【0020】

いくつかの実施例では、当該環境感知センサは、少なくともＲＧＢＤカメラを含む。当該ＲＧＢＤカメラは、移動ロボットの周囲の障害物と移動ロボットとの距離、障害物識別情報及び移動ロボットの周囲の道路状況を指示するリアルタイム指示情報を検知する。移動ロボットは、ＲＧＢＤカメラの採取したカラー画像及び深度画像を処理することにより、リアルタイム環境感知データを得る。

【0021】

選択的な実現形態では、所定の記憶領域から保存された地図データ情報を直接に呼び出し、地図データ情報を得る。ここで、所定の記憶領域は、サーバ又は移動ロボットの端末にあってもよい。他の選択的な実現形態では、当該地図データ情報は、移動ロボットによってリアルタイムに構築される。移動ロボットが運動過程で、環境感知センサを利用して地図の構築に必要なデータを採取し、採取されたデータに基づき、地図を構築及び改善する。

【0022】

ステップ１０２であって、リアルタイム環境感知データ及び地図データ情報に基づき、移動ロボットの目標走行経路情報を取得し、目標走行経路情報及びリアルタイム指示情報から、地面投影領域を特定する。

【0023】

レストラン又はデパートの環境では、静的障害物は、一定の時間帯内に所在する位置が一定である物体、例えばテーブルや椅子やゴミ箱やキャビネットなどであると考えることができる。いくつかの実施例では、当該地図データ情報は、これらの静的障害物の位置情報を含む。移動ロボットは、走行を開始する前、まず始点位置及び終点位置を取得し、そして、地図データ情報に基づき、始点位置から終点位置の初期走行経路を特定する。環境感知センサが移動ロボットの周囲に移動障害物（例えば歩行者）が存在すると検知すると、障害物回避操作を実行し、移動ロボットの走行ルートを変更し、即ち、リアルタイム環境感知データ及び地図データ情報に基づき、移動ロボットの目標走行経路情報を取得する。

【0024】

いくつかの実施例では、移動ロボットは、得られたリアルタイム環境感知データ及び地図データ情報から、経路計画アルゴリズムを採用して経路計画を行い、目標走行経路情報を得る。ここで、当該経路計画アルゴリズムは、インクリメンタル式ヒューリスティックアルゴリズム、ＢＵＧアルゴリズム、グラフ探索法又は多種の経路計画アルゴリズムが融合された組み合わせアルゴリズムなどを含む。

【0025】

いくつかの実施例では、移動ロボットは、目標走行経路情報を取得した後、当該目標走行経路から将来の一定の時間帯内に移動ロボットが走行する路面領域を地面投影領域として特定する。ここで、当該将来の一定の時間の長さは、移動ロボットの走行速度によって特定することができる。

【0026】

図３に示すように、ここで、図（ａ）は、移動ロボットの周囲の空間の斜視模式図であり、６は、投影装置の投影出光口であり、７～１０は、障害物であり、１１は、投影領域模式図であり、１２は、移動ロボットであり、図（ｂ）は、その図（ａ）に対応する地面分布図であり、７´-１０´は、障害物７-１０と地面との接触面であり、１２´は、移動ロボット１２と地面との接触面の略図であり、１３は、移動ロボットの目標走行方向を示す。

【0027】

移動ロボット１２と地面と接触面の中心位置に対応する座標点を移動ロボットの座標位置、即ち、図（ｂ）におけるｄ＿０ (ｘ＿０，ｙ＿０) とし、目標走行経路情報から将来の一定の時間帯内に移動ロボットの一連の移動座標点を特定し、当該一連の移動座標点は、１本の中心線、即ち、図（ｂ）における曲線１４を形成し、そして、当該中心線を両側へ一定の距離平行移動して２本のエッジ線を得る。ここで、平行移動する距離値は、移動ロボットの底面の幅値の半分である。２本のエッジ線の間の領域は、地面投影領域、即ち、図（ｂ）における１１´である。

【0028】

いくつかの実施例では、目標走行経路情報から地面投影領域が位置する方向を特定し、路面形状情報及び前記リアルタイム障害物分布情報から地面投影領域の大きさ及び形状を特定する。例えば、路面形状情報が湾曲形状である場合、当該地面投影領域の形状は、湾曲形状である。リアルタイム障害物分布情報は、リアルタイム障害物の前の空き空間が比較的に狭い場合、地面投影領域を小さく調整する必要がある。

【0029】

ステップ１０３であって、投影待ちパターン情報を取得し、投影待ちパターン情報及び地面投影領域から、投影待ちパターンに対応する投影パラメータを特定する。

【0030】

ここで、投影待ちパターン情報は、移動ロボットの走行意図を指示するために用いられる。当該投影待ちパターンは、文字パターン、図形パターン又は文字と幾何図形式を組み合わせたパターンであってもよく、動的画像であってもよい。当該投影待ちパターン情報は、地面に点滅して表示することができる。

【0031】

いくつかの実施例では、当該投影パラメータは、投射角度、投射色、投射内容及び投射時間などを含む。

【0032】

ステップ１０４であって、投影待ちパターン情報を地面投影領域に投影するように、投影パラメータからレーザ投影装置を制御する。

【0033】

図４に示すように、投影パラメータが特定されると、移動ロボットは、投影装置２が投影待ちパターン情報を地面投影領域に投影するように、投影パラメータから投影装置２を調整し、周囲の歩行者は、地面における投影情報を観察することで、移動ロボットの走行意図を知ることができる。

【0034】

当該実施例は、移動ロボットの目標走行経路情報と、移動ロボットの周囲の道路状況を指示するリアルタイム指示情報から地面投影領域を特定し、移動ロボットの走行意図を示す投影待ちパターンを地面投影領域に投影するように、特定された投影待ちパターンに対応する投影パラメータに基づきレーザ投影装置を調整する。それにより、歩行者は、投影装置が地面に投影した投影パターン情報から移動ロボットの走行意図を知ることができ、ロボットの位置する空間環境の音声が騒々しいことに起因してインタラクション効果が悪いという技術的問題を解決し、移動ロボットと歩行者との間のインタラクション効果を向上させた。

【0035】

本願の実施例では、図５を参照すると、図２に示す実施例に基づき、ステップ１０１で移動ロボットが位置する空間の地図データ情報及び環境感知センサが採取したリアルタイム環境感知データを取得する前、本実施例の提供する移動ロボットのインタラクション方法は、さらにステップ２０１、ステップ２０２及びステップ２０３を含む。

【0036】

ステップ２０１であって、移動ロボットが位置する空間の環境が所定の環境条件を満たす場合に環境感知センサが採取した履歴環境感知データを取得する。

【0037】

ここで、当該所定の環境条件は、少なくとも移動ロボットが位置する空間の環境において歩行者の数が少ないこと及び移動ロボットが位置する空間の環境において人間がいないことのいずれか１つを含む。

【0038】

いくつかの実施例では、当該履歴環境感知データは、移動ロボットが位置する空間に存在する静的障害物、例えばテーブルや椅子又はゴミ箱の情報を含む。所定の環境条件が、移動ロボットが位置する空間の環境において歩行者の数が少ないことである場合、環境感知センサが採取したオリジナルの感知データにおける歩行者に関する情報をフィルタリングして、履歴環境感知データを得る。

【0039】

いくつかの実施例では、移動ロボットは、取得した履歴環境感知データの採取時間情報から、いつ上記履歴環境感知データの採取操作を実行するかを特定し、例えば履歴環境感知データの採取時刻を毎日の夜２３：００に設定する。

【0040】

ステップ２０２であって、履歴環境感知データから、移動ロボットが位置する空間の空間座標情報を特定し、空間座標情報から、空間の地図を作成する。

【0041】

ここで、当該空間座標情報は、移動ロボットの位置する全体の空間の空間座標情報又は移動ロボットが通過する空間の空間座標情報、例えば、レストラン又はデパートの空間座標情報又はデパートにおける移動ロボットのサービス領域に対応する空間の空間座標情報である。例えば、移動ロボットのサービス領域がデパートの２階に位置する領域である場合、デパートの２階の空間座標情報を特定する必要がある。

【0042】

ここで、空間座標情報は、２次元座標情報又は３次元座標情報である。いくつかの実施例では、図３に示すように、地面を平面として２次元座標を確立し、１つの参照位置点を設定する。例えば、当該参照位置点は、空間においてある静的障害物の位置点であり、又は、地面に１つの参照物体が配置され、当該参照物の位置する位置点が参照位置点とされる。当該参照位置点の２次元座標に基づき、当該空間において他の位置点に対応する２次元座標を特定する。

【0043】

ステップ２０３であって、地図のデータ情報を地図データ情報とする。

【0044】

当該実施例では、移動ロボットが位置する空間の環境が所定の環境条件を満たす場合に環境感知センサが採取した履歴環境感知データを取得することで、空間の空間座標情報を特定し、空間座標情報から空間の地図を作成する。当該地図が、所定の環境条件を満たす空間環境で採取された履歴環境感知データに基づき構築されるため、空間における干渉情報が低減され、さらに地図構築の難易度及び地図データ情報のデータ量が低減された。

【0045】

本願の実施例では、各環境感知センサは、レーダ装置及びカメラ装置を含み、図６を参照すると、本実施例に係るのは、ステップ１０１で環境感知センサが採取したリアルタイム環境感知データを取得する過程である。図５に示す実施例に基づき、図６に示すように、当該過程は、ステップ３０１、ステップ３０２及びステップ３０３を含む。

【0046】

ステップ３０１であって、レーダ装置が採取した障害物と移動ロボットとのリアルタイム距離情報を取得する。

【0047】

いくつかの実施例では、当該レーダ装置は、少なくともレーザーレーダ装置及び超音波レーダ装置のいずれか１つを含む。当該レーザーレーダ装置は、２Ｄ又は３Ｄ平面範囲内で、ロボットの周囲の物体とロボットとの距離を検知する。

【0048】

ステップ３０２であって、カメラ装置が採取したリアルタイム障害物識別情報、移動ロボットの周囲の路面の路面形状情報及び移動ロボットの周囲の路面のリアルタイム障害物分布情報を取得する。

【0049】

いくつかの実施例では、当該カメラ装置は、ＲＧＢＤカメラを含み、又は当該カメラ装置は、ＲＧＢＤカメラ及びＲＧＢカメラを含む。

【0050】

ここで、当該リアルタイム障害物識別情報は、当該障害物が歩行者であるかどうかを識別するものを含む。いくつかの実施例では、画像識別アルゴリズムを利用してＲＧＢカメラ又はＲＧＢＤカメラが採取した障害物の画像を識別し、当該障害物が歩行者であるかどうかを特定する。

【0051】

いくつかの実施例では、当該カメラ装置がＲＧＢＤカメラ及びＲＧＢカメラを含む場合、ＲＧＢカメラは、レーダ装置と組み合わせて使用され、レーダ装置が障害物があると検知すると、移動ロボットは、ＲＧＢカメラを起動して採取操作を実行し、リアルタイム障害物識別情報を得る。

【0052】

ステップ３０３であって、リアルタイム障害物識別情報及びリアルタイム距離情報をリアルタイム障害物情報とし、路面形状情報及びリアルタイム障害物分布情報をリアルタイム指示情報とする。

【0053】

本願の実施例は、レーダ装置で障害物と移動ロボットとのリアルタイム距離情報を取得し、及び、カメラ装置でリアルタイム障害物識別情報、移動ロボットの周囲の路面の路面形状情報及び移動ロボットの周囲の路面のリアルタイム障害物分布情報を取得することで、リアルタイム環境感知データの取得を実現した。多種の採取装置を組み合わせて使用することで、リアルタイム環境感知データの多様性及びリアルタイム環境感知データの信頼性を向上させた。

【0054】

本願の実施例では、図７を参照すると、図２に示す実施例に基づき、本実施例に係るのは、ステップ１０２でリアルタイム障害物情報及び地図データ情報に基づき、移動ロボットの目標走行経路情報を取得することであり、ステップ４０１及びステップ４０２を含む。

【0055】

ステップ４０１であって、地図データ情報及びリアルタイム障害物情報から、移動ロボットのリアルタイム位置及び障害物の位置を特定する。

【0056】

いくつかの実施例では、移動ロボットの地図における座標位置をリアルタイム位置として取得し、そして、リアルタイム障害物情報から当該障害物の地図における座標位置を障害物の位置として特定する。

【0057】

ステップ４０２であって、移動ロボットの目標終点位置を取得し、リアルタイム位置及び障害物の位置に基づき、リアルタイム位置から目標終点位置までの最短経路情報を特定し、最短経路情報を移動ロボットの目標走行経路情報とする。

【0058】

いくつかの実施例では、最短経路アルゴリズムでリアルタイム位置から目標終点位置までの最短経路情報を特定する。ここで、当該最短経路アルゴリズムは、Ｄｉｊｋｓｔｒａアルゴリズム、Ｂｅｌｌｍａｎ－Ｆｏｒｄアルゴリズム、Ｆｌｏｙｄアルゴリズム及びＳＰＦＡアルゴリズムなどを含む。

【0059】

当該実施例は、地図データ情報及びリアルタイム障害物情報から、移動ロボットのリアルタイム位置及び障害物の位置を特定し、移動ロボットの目標終点位置を取得し、リアルタイム位置及び障害物の位置に基づき、リアルタイム位置から目標終点位置までの最短経路情報を特定することで、移動ロボットの目標走行経路情報のリアルタイムな特定を実現し、移動ロボットの経路計画の信頼性を向上させた。

【0060】

本願の実施例では、図８を参照すると、図２に示す実施例に基づき、本実施例に係るのは、ステップ１０３で投影待ちパターン情報及び地面投影領域から、レーザ投影装置の投影パラメータを特定することであり、ステップ５０１及びステップ５０２を含む。

【0061】

ステップ５０１であって、投影待ちパターンにおける各画素点に対して、地面投影領域から、画素点に対応する投射角度、画素点に対応する投射時間及び画素点に対応する投射色を特定する。

【0062】

いくつかの実施例では、投影待ちパターンにおける各画素点のぞれぞれと地面投影領域におけるある空間座標点との間の対応関係を取得し、当該対応関係から各画素点に対応する投射角度、各画素点に対応する投射時間及び各画素点に対応する投射色を特定する。

【0063】

いくつかの実施例では、図９に示すように、当該地面投影領域に平坦でない領域が存在する可能性がある。ＲＧＢＤカメラを用いて移動ロボットの周囲の路面とＲＧＢＤカメラとの間の垂直距離情報を取得する。

【0064】

各画素点に対して、まず投影待ちパターン情報を平坦な路面に投射する際に対応するオリジナルの投射角度、投射時間及び投射色を想定し、そして、当該移動ロボットの周囲の路面とＲＧＢＤカメラとの間の垂直距離情報から、投影角度補正パラメータを取得し、当該投影角度補正パラメータ及びオリジナルの投射角度から、最終的に当該サンプリング点に対応する実際の投射角度を得る。当該実際の投射角度は、サンプリング点に対応する投射角度である。

【0065】

ステップ５０２であって、各画素点に対応する投射角度、各画素点に対応する投射時間及び各画素点に対応する投射色をレーザ投影装置の投影パラメータとする。

【0066】

当該実施例は、投影待ちパターンにおける各画素点のそれぞれに対して、対応する投射角度、投射時間及び投射色を特定することで、投影装置の投影パラメータの特定を実現し、投影待ちパターンの投影効果を向上させるとともに、各画素点の色情報を設定することができ、路面に投影された投影パターンをカラーパターンとし、周囲の歩行者の注意を引きやすく、さらに移動ロボットと歩行者とのインタラクション効果を向上させた。

【0067】

本願の実施例では、投影装置は、ガルバノミラー、可視光レーザ及びレンズを含み、図１０及び図１１に示すように、当該ガルバノミラーは、回転ガルバノミラー又はＭＥＭＳ固体ガルバノミラーであり、レーザの投射方向を制御するために用いられ、可視光レーザは、可視光周波数帯のレーザを発射して表示するために用いられ、レンズは、多種の色のレーザを合成するために用いられる。

【0068】

一実施例では、当該ガルバノミラーが回転ガルバノミラーである場合、図１０に示すように、当該投影装置は、第１回転ガルバノミラー１３、第２回転ガルバノミラー１４、レンズ１５及び第１可視光レーザ１６、第２可視光レーザ１７及び第３可視光レーザ１８を含む。第１可視光レーザ１６、第２可視光レーザ１７及び第３可視光レーザ１８は、それぞれレーザを発射し、レンズ１５は、受け取ったレーザを１本の光線に合成し、そして第１回転ガルバノミラー１３及び第２回転ガルバノミラー１４により合成後の光線の方向を調整し、最終的に透過待ちパターン１９を投射した。

【0069】

他の実施例では、当該ガルバノミラーがＭＥＭＳ固体ガルバノミラーである場合、図１１に示すように、当該投影装置は、ＭＥＭＳ固体ガルバノミラー２０、レンズ１５及び第１可視光レーザ１６、第２可視光レーザ１７及び第３可視光レーザ１８を含む。第１可視光レーザ１６、第２可視光レーザ１７及び第３可視光レーザ１８は、それぞれレーザを発射し、レンズ１５は、受け取ったレーザを１本の光線に合成し、そして、ＭＥＭＳ固体ガルバノミラー２０により合成後の光線の方向を調整し、最終的に透過待ちパターン１９を投射した。

【0070】

図１２を参照すると、図９に示す実施例に基づき、本実施例に係るのは、ステップ１０４で投影待ちパターン情報を地面投影領域に投影するように、投影パラメータからレーザ投影装置を調整することであり、ステップ６０１、ステップ６０２及びステップ６０３を含む。

【0071】

ステップ６０１であって、各画素点に対応する投射角度から各画素点に対応するガルバノミラーの回転角度を特定し、各画素点に対応する投射色から各画素点に対応する可視光レーザのレーザ発射情報及びレンズのレーザ合成情報を特定する。

【0072】

ここで、可視光レーザに対応するレーザは、赤、緑、青（ＲＧＢ）の三原色レーザを含み、当該レーザの発射情報は、可視光周波数帯を含む。いくつかの実施例では、投射色から、図１０又は図１１における３つの可視光レーザにそれぞれ対応する可視光周波数帯を特定する。

【0073】

ステップ６０２であって、各画素点に対応する投射時間から、各画素点の投射順番を特定する。

【0074】

ステップ６０３であって、各画素点の投射順番に従って、各画素点に対応するガルバノミラーの回転角度、各画素点に対応するレーザ発射情報、及び各画素点に対応するレンズのレーザ合成情報から、投影待ちパターン情報を地面投影領域に投影するように、レーザ投影装置を調整する。

【0075】

当該実施例は、投影待ちパターン情報の地面投影領域における可視光表示を実現し、しかも、地面にカラーパターンを投射することができ、歩行者の注意を引きやすく、インタラクション効果を向上させた。

【0076】

本願の実施例では、図１３を参照すると、図２に示す実施例に基づき、目標走行経路情報及びリアルタイム指示情報から地面投影領域を特定するステップの前、当該移動ロボットのインタラクション方法は、さらに、以下のステップを含む。

【0077】

ステップ７０１であって、目標走行経路情報及びリアルタイム環境感知データから、所定の投影条件に合致するかどうかを判断する。

【0078】

ここで、当該所定の投影条件は、少なくとも、将来の所定の時間帯内に移動ロボットの走行方向が変化することと、移動ロボットの走行状態が一時停止状態であることと、移動ロボットの周囲に歩行者が存在することと、移動ロボットが現在運転状態にあることとのいずれか一つの条件を含む。

【0079】

いくつかの実施例では、当該所定の投影条件は、移動ロボットの走行状況に関する。所定の投影条件毎に異なる投影待ちパターン情報を設定することができる。例えば、移動ロボットの走行方向が変化する場合、投影待ちパターン情報は、「走行方向に対応する矢印標識と文字との組み合わせ形式」であってもよく、移動ロボットの走行状態が一時停止状態である場合、投影待ちパターン情報は、「お先にどうぞ」の文字パターン又は「ｘｘｘ分後走行開始」の文字パターンなどであってもよい。

【0080】

いくつかの実施例では、当該所定の投影条件は、移動ロボットが現在運転状態にあることである。移動ロボットが起動状態にあるかどうかを検出することで、起動状態にあれば、投影装置を起動して投影を行う。この場合、移動ロボットの投影装置は、常にパターンを投影する状態にある。地面に投影された投影パターンは、リアルタイムに変換することができる。

【0081】

いくつかの実施例では、当該所定の投影条件は、移動ロボットの周囲の音声強度が所定の値よりも高いことである。移動ロボットには、音声採取装置が設けられ、当該音声採取装置で移動ロボットの周囲の音声を採取し、周囲の音声の強度が所定の値よりも高い場合、投影の方式を採用してインタラクションを実行し、周囲の音声の強度が所定の値よりも低い場合、音声によるリマインドの方式を採用してインタラクションを実行する。

【0082】

ステップ７０２であって、判断結果が所定の投影条件に合致することである場合、目標走行経路情報から、地面投影領域を特定する。

【0083】

当該実施例は、目標走行経路情報及びリアルタイム環境感知データから、所定の投影条件に合致するかどうかを判断し、判断結果が所定の投影条件に合致することである場合、目標走行経路情報から、地面投影領域を特定することで、所定の投影条件に合致する場合に限り、投影待ちパターンの投影を実行するため、投影装置の投影設置の柔軟性を向上し、移動ロボットのエネルギー消耗及び演算量が低減され、レーザ投影装置の耐用年数を向上させた。

【0084】

本願の実施例では、図１３に示す実施例に基づき、当該投影条件が、移動ロボットが現在運転状態にあることである場合、ステップ１０３で投影待ちパターンを取得することは、以下のステップを含む。

【0085】

ステップ８０１であって、目標走行経路情報から、移動ロボットの現在の投影パターンが移動ロボットの走行意図を反映できるかどうかを判断する。

【0086】

ここで、移動ロボットの現在の投影パターンは、現在時刻において地面に投影された投影パターンである。

【0087】

ステップ８０２であって、そうであれば、移動ロボットの現在の投影パターンを投影待ちパターンとする。

【0088】

ここで、当該投影パターンは、現在時刻の次の時刻点において地面に投影される投影パターンである。

【0089】

ステップ８０３であって、そうでなければ、移動ロボットの走行意図から、投影待ちパターンを生成する。

【0090】

いくつかの実施例では、移動ロボットの走行意図によっては、異なる投影待ちパターンが設定される。移動ロボットの走行意図が変化すると、地面に投影されたパターンも変化し、即ち、次の時刻での投影パターンは、前の時刻点での投影パターンと異なる。例えば、移動ロボットの走行意図が変化し、即ち「直進」から「左折」又は「右折」へ変更する場合、現在の投影パターン（即ち、「直進」を示した投影パターン）を「左折」又は「右折」を示すように投影パターンを変更する必要がある。

【0091】

実施例は、移動ロボットの現在の投影パターンが、移動ロボットの走行意図を反映できるかどうかを判断し、移動ロボットの走行意図を反映できない場合、移動ロボットの走行意図から投影待ちパターンを生成することで、移動ロボットの走行意図から投影パターンをリアルタイムに調整する目的を実現し、歩行者は、移動ロボットの走行意図を正確に把握することができ、移動ロボットが歩行者に伝達する情報の正確性を向上させ、さらに移動ロボットと歩行者との間のインタラクション効果を向上させた。

【0092】

本願の実施例では、図１４に示すように、移動ロボットのインタラクション方法を提供し、当該方法は、以下のステップを含む。

【0093】

ステップ９０１であって、移動ロボットが位置する空間の環境が所定の環境条件を満たす場合に環境感知センサが採取した履歴環境感知データを取得する。

【0094】

ステップ９０２であって、履歴環境感知データから、移動ロボットが位置する空間の空間座標情報を特定し、空間座標情報から空間の地図を作成し、地図を地図データ情報とする。

【0095】

ステップ９０３であって、レーダ装置が採取した障害物と移動ロボットとのリアルタイム距離情報、及びカメラ装置が採取したリアルタイム障害物識別情報、移動ロボットの周囲の路面の路面形状情報及び移動ロボットの周囲の路面のリアルタイム障害物分布情報を取得する。

【0096】

ステップ９０４であって、リアルタイム障害物識別情報及びリアルタイム距離情報をリアルタイム障害物情報とし、路面形状情報及びリアルタイム障害物分布情報をリアルタイム指示情報とする。

【0097】

ステップ９０５であって、地図データ情報及びリアルタイム障害物情報から、移動ロボットのリアルタイム位置及び障害物の位置を特定する。

【0098】

ステップ９０６であって、移動ロボットの目標終点位置を取得し、リアルタイム位置及び障害物の位置に基づき、リアルタイム位置から目標終点位置までの最短経路情報を特定し、最短経路情報を移動ロボットの目標走行経路情報とする。

【0099】

ステップ９０７であって、目標走行経路情報及びリアルタイム環境感知データから、所定の投影条件に合致するかどうかを判断し、判断結果が所定の投影条件に合致することである場合、目標走行経路情報及びリアルタイム指示情報から、地面投影領域を特定する。

【0100】

ここで、所定の投影条件は、少なくとも、将来の所定の時間帯内に移動ロボットの走行方向が変化することと、移動ロボットの走行状態が一時停止状態であることと、移動ロボットの周囲に歩行者が存在すること及び移動ロボットが現在運転状態にあることとのいずれか一つの条件を含む。

【0101】

ステップ９０８であって、投影待ちパターンを取得する。

【0102】

ここで、所定の投影条件が、移動ロボットが現在運転状態にあることである場合、目標走行経路情報から、移動ロボットの現在の投影パターンが移動ロボットの走行意図を反映できるかどうかを判断し、そうであれば、移動ロボットの現在の投影パターンを投影待ちパターンとし、そうでなければ、移動ロボットの走行意図から、投影待ちパターンを生成する。

【0103】

ステップ９０９であって、投影待ちパターンにおける各画素点に対して、地面投影領域から、画素点に対応する投射角度、画素点に対応する投射時間及び画素点に対応する投射色を特定する。

【0104】

ステップ９１０であって、各画素点に対応する投射角度、各画素点に対応する投射時間及び各画素点に対応する投射色をレーザ投影装置の投影パラメータとする。

【0105】

ステップ９１１であって、各画素点に対応する投射角度から、各画素点に対応するガルバノミラーの回転角度を特定し、各画素点に対応する投射色から、各画素点に対応する可視光レーザのレーザ発射情報及びレンズのレーザ合成情報を特定する。

【0106】

ステップ９１２であって、各画素点に対応する投射時間から、各画素点の投射順番を特定する。

【0107】

ステップ９１３であって、各画素点の投射順番に従って、各画素点に対応するガルバノミラーの回転角度、各画素点に対応するレーザ発射情報及び各画素点に対応するレンズのレーザ合成情報から、投影待ちパターン情報を地面投影領域に投影するように、レーザ投影装置を調整する。

【0108】

当該実施例は、投影待ち画像をレーザ投影装置で地面に投射して歩行者が移動ロボットの走行意図を知るようにすることで、移動ロボットと歩行者との間のインタラクション効果を向上させ、ロボットの位置する空間環境の音声が騒々しいことに起因してインタラクション効果が悪いという技術的問題を解決した。しかも、路面に投影された投影パターンは、カラーパターンであってもよく、歩行者の注意をよりよく引き、インタラクション効果を向上させた。なお、投影条件を予め設定することができ、投影装置の柔軟性を向上させ、実際のシーンに応じて投影パターンを調整し、移動ロボットが歩行者に伝達する情報の正確性を向上させ、さらに移動ロボットと歩行者との間のインタラクション効果を向上させた。

【0109】

本願の一実施例では、ステップ１０４を実行する過程において、前記投影待ちパターンを前記地面投影領域に投影するように、前記投影パラメータから前記投影装置を制御した後、前記移動ロボットのインタラクション方法は、さらに以下のステップを含むことができる。

【0110】

ステップ１０５であって、運転過程で投影待ちパターンをリアルタイムに投射し、運転過程で路面に存在する障害物領域を取得する。

【0111】

ステップ１０６であって、前記投影待ちパターンと前記障害物領域との間に重複領域が存在するかどうかを検出し、前記投影待ちパターンと前記障害物領域との間に重複領域が存在する場合、前記投影待ちパターンと前記障害物領域との間に重複領域が存在しないように、前記重複領域から前記投影待ちパターンを調整する。

【0112】

本実施例では、前記投影待ちパターンは、具体的に進行指示図であってよい。投影待ちパターンと障害物領域との間の曲線重複領域を特定して、曲線重複領域から投影待ちパターンを調整することにより、ロボットの射出した投影待ちパターンが障害物領域によって動的に変形することができ、且つ当該調整後の投影待ちパターンは、障害物領域と重複せず、さらにロボットと障害物との間の情報インタラクションを実現し、ロボットと人間との間の情報インタラクション効率及び情報インタラクション正確率を向上させた。

【0113】

一実施例では、上述した運転過程で路面に存在する障害物領域を取得することは、
運転過程で障害物情報をリアルタイムに採取し、所定の投影図において前記障害物情報に対応する画素情報をマッピングすることと、
全ての前記画素情報を含む投影領域から最小面積領域を特定して、前記最小面積領域を前記障害物領域と記録することを含む。

【0114】

一実施例では、前記投影待ちパターンは、初期投影待ちパターン、及び異なる時刻に応じて異なる拡大比率で生成された異なる拡大投影待ちパターンを含み、
上述した運転過程で投影待ちパターンをリアルタイムに投射することは、
前記初期投影待ちパターンを投射し、及び前記異なる時刻に従って前記初期投影待ちパターンと配列するように、生成された拡大投影待ちパターンを投射することを含む。

【0115】

一実施例では、前記投影待ちパターンは、初期投影待ちパターンと拡大投影待ちパターンのうちの少なくとも１つを含み、
上述した運転過程で投影待ちパターンをリアルタイムに投射することは、
所定の拡大比率で前記初期投影待ちパターンに対して徐々に拡大処理を行って前記拡大投影待ちパターンを形成し、前記初期投影待ちパターンと前記拡大投影待ちパターンのうちの少なくとも１つを投射することを含む。

【0116】

一実施例では、上述した所定の拡大比率で前記初期投影待ちパターンに対して徐々に拡大処理を行って前記拡大投影待ちパターンを形成し、前記初期投影待ちパターンと前記拡大投影待ちパターンのうちの少なくとも１つを投射することは、以下のステップを含む。

【0117】

ステップ１０７であって、初期投影待ちパターンを取得する。

【0118】

ステップ１０８であって、所定の拡大比率で前記初期投影待ちパターンに対して徐々に拡大処理を行って拡大投影待ちパターンを形成する。

【0119】

ステップ１０９であって、前記初期投影待ちパターンと前記拡大投影待ちパターンのうちの少なくとも１つを時系列に表示し、表示される前記初期投影待ちパターンと前記拡大投影待ちパターンのうちの少なくとも１つは、前記投影待ちパターンである。

【0120】

一実施例では、上述した前記重複領域から前記投影待ちパターンを調整することは、
前記重複領域において重複投影待ちパターンと前記障害物領域の２つの曲線の交点を特定し、前記重複投影待ちパターンとは、前記初期投影待ちパターン又は前記拡大投影待ちパターンであることと、
前記重複投影待ちパターンにおける２つの前記曲線の交点の間に位置する線分に対して削除処理を行い、削除処理後の前記重複投影待ちパターンにおける２つの残存曲線線分を得ることと、
２つの前記曲線の交点の間の連結線に対応する垂直二等分線の交点を特定することと、
前記垂直二等分線の交点と境界交点との間の垂直距離を検出し、前記垂直距離を所定の距離閾値と比較し、前記境界交点とは、前記垂直二等分線と前記障害物領域の縁との交点であり、且つ前記境界交点は、前記曲線重複領域内に位置することと、
前記垂直距離が所定の距離閾値以下である場合、２つの前記残存曲線線分、前記曲線の交点及び前記境界交点から、前記投影待ちパターンを調整することとを含む。

【0121】

一実施例では、前記重複領域から前記投影待ちパターンを調整することは、
前記障害物領域と重複領域が存在する初期投影待ちパターン又は拡大投影待ちパターンを重複投影待ちパターンと記録し、前記重複投影待ちパターンは、前記障害物領域と重複する重複領域と、前記障害物領域と重複しない残存領域とを含むここと、
前記重複投影待ちパターンの重複領域を削除する、又は前記重複投影待ちパターンが前記障害物領域の縁に接するように前記重複投影待ちパターンを所定の比率で縮小することで、調整後の投影待ちパターンを得ることとを含む。

【0122】

一実施例では、２つの前記残存曲線線分、前記曲線の交点及び前記境界交点から、前記投影待ちパターンを調整して、調整後の投影待ちパターンを得ることは、
所定の連結形態により、２つの曲線の交点と前記境界交点とを連結して、連結線分を得ることと、
２つの前記残存曲線線分及び前記連結線分の間に連結して形成される投影待ちパターンを調整後の投影待ちパターンと記録することを含む。

【0123】

一実施例では、前記垂直距離を所定の距離閾値と比較した後、さらに、
前記垂直距離が前記所定の距離閾値よりも大きい場合、前記投影待ちパターンの投射を停止することを含む。

【0124】

一実施例では、前記重複領域から前記投影待ちパターンを調整した後、さらに、
ロボットの現在位置情報を取得し、前記現在位置情報から前記ロボットと前記障害物領域との間の位置距離を特定することと、
前記位置距離から調整後の前記投影待ちパターンの色パラメータを特定し、前記色パラメータから調整後の前記投影待ちパターンを投射することを含む。

【0125】

理解すべきことは、上記実施例における各ステップの番号の大きさは、実行順番の前後を意味するものではなく、各手順の実行順番はその機能と内在ロジックによって決定すべきであり、本願実施例の実施過程にいかなる限定を構成するものではない。

【0126】

理解すべきことは、理解すべきなのは、図２、図５－図８、図１２－図１４、及び図１６－図１７のフローチャート中の各ステップは矢印の指示に従って順次に表示されるが、これらのステップは必ずしも矢印の指示に従って順次に実行されるわけではないことである。本文において明確な説明がない限り、これらのステップの実行は厳格な順番の制限がなく、これらのステップは他の順番で実行することができる。且つ、図２、図５－図８、図１２－図１４、及び図１６－図１７中の少なくとも一部分のステップは複数のステップ又は複数の段階を含むことができる。これらのステップ又は段階は必ずしも同一の時刻に実行して完成するものではなく、異なる時刻に実行することができる。これらのステップ又は段階の実行順番も必ずしも順次に行うものではなく、他のステップ又は他のステップ中のステップ又は段階の少なくとも一部分と交互又は交替に実行することができる。

【0127】

本願の実施例では、図１５に示すように、移動ロボットのインタラクション装置を提供し、当該装置は、取得モジュール、経路モジュール、特定モジュール及び投影モジュールを含み、具体的には、
取得モジュールは、移動ロボットが位置する空間の地図データ情報及び環境感知センサが採取したリアルタイム環境感知データを取得し、リアルタイム環境感知データは、リアルタイム障害物情報と移動ロボットの周囲の道路状況を指示するリアルタイム指示情報とを含み、
経路モジュールは、リアルタイム障害物情報及び地図データ情報に基づき、移動ロボットの目標走行経路情報を取得し、目標走行経路情報及びリアルタイム指示情報から、地面投影領域を特定し、
特定モジュールは、投影待ちパターンを取得し、投影待ちパターン及び地面投影領域から、投影待ちパターンに対応する投影パラメータを特定し、投影待ちパターン情報は、移動ロボットの走行意図を指示するものであり、
投影モジュールは、投影待ちパターン情報を地面投影領域に投影するように、投影パラメータから投影装置を制御する。

【0128】

一実施例では、当該装置は、さらに地図モジュールを含み、
当該地図モジュールは、具体的に、
移動ロボットが位置する空間の環境が所定の環境条件を満たす場合に環境感知センサが採取した履歴環境感知データを取得し、
履歴環境感知データから、移動ロボットが位置する空間の空間座標情報を特定し、空間座標情報から空間の地図を作成し、
地図のデータ情報を地図データ情報とする。

【0129】

一実施例では、環境感知センサは、レーダ装置及びカメラ装置を含み、
取得モジュールは、
レーダ装置が採取した障害物と移動ロボットとのリアルタイム距離情報を取得し、
カメラ装置が採取したリアルタイム障害物識別情報、移動ロボットの周囲の路面の路面形状情報及び移動ロボットの周囲の路面のリアルタイム障害物分布情報を取得し、
リアルタイム障害物識別情報及びリアルタイム距離情報をリアルタイム障害物情報とし、路面形状情報及びリアルタイム障害物分布情報をリアルタイム指示情報とする。

【0130】

一実施例では、当該経路モジュールは、
地図データ情報及びリアルタイム障害物情報から、移動ロボットのリアルタイム位置及び障害物の位置を特定し、
移動ロボットの目標終点位置を取得し、リアルタイム位置及び障害物の位置に基づき、リアルタイム位置から目標終点位置までの最短経路情報を特定し、最短経路情報を移動ロボットの目標走行経路情報とする。

【0131】

一実施例では、当該特定モジュールは、
投影待ちパターンにおける各画素点に対して、地面投影領域から、画素点に対応する投射角度、画素点に対応する投射時間及び画素点に対応する投射色を特定し、
各画素点に対応する投射角度、各画素点に対応する投射時間及び各画素点に対応する投射色を投影装置の投影パラメータとする。

【0132】

一実施例では、投影装置は、ガルバノミラー、可視光レーザ及びレンズを含み、
当該投影モジュールは、
各画素点に対応する投射角度から、各画素点に対応するガルバノミラーの回転角度を特定し、各画素点に対応する投射色から、各画素点に対応する可視光レーザのレーザ発射情報及びレンズのレーザ合成情報を特定し、
各画素点に対応する投射時間から、各画素点の投射順番を特定し、
各画素点の投射順番に従って、各画素点に対応するガルバノミラーの回転角度、各画素点に対応するレーザ発射情報及び各画素点に対応するレンズのレーザ合成情報から、投影待ちパターン情報を地面投影領域に投影するように、投影装置を調整する。

【0133】

一実施例では、当該経路モジュールは、さらに、具体的に、
目標走行経路情報及びリアルタイム環境感知データから、所定の投影条件に合致するかどうかを判断し、
判断結果が、所定の投影条件に合致することである場合、目標走行経路情報から地面投影領域を特定する。

【0134】

一実施例では、所定の投影条件は、少なくとも、
将来の所定の時間帯内に移動ロボットの走行方向が変化することと、移動ロボットの走行状態が一時停止状態であることと、移動ロボットの周囲に歩行者が存在することと、移動ロボットが現在運転状態にあることとのいずれか一つの条件を含む。

【0135】

一実施例では、特定モジュールは、具体的に、
所定の投影条件が、移動ロボットが現在運転状態にあることである場合、目標走行経路情報から、移動ロボットの現在の投影パターンが移動ロボットの走行意図を反映できるかどうかを判断し、
そうであれば、移動ロボットの現在の投影パターンを投影待ちパターンとし、
そうでなければ、移動ロボットの走行意図から投影待ちパターンを生成する。

【0136】

一実施例では、当該特定モジュールは、さらに、具体的に、
リアルタイム障害物情報が移動ロボットの周囲に存在する障害物が移動障害物であることを指示すれば、目標走行経路情報から、移動ロボットの現在の投影パターンが移動ロボットの走行意図を反映できるかどうかを判断するステップを実行する。

【0137】

一実施例では、前記移動ロボットのインタラクション装置は、さらに、
運転過程で投影待ちパターンをリアルタイムに投射し、運転過程で路面に存在する障害物領域を取得する、障害物領域取得モジュールと、
前記投影待ちパターンと前記障害物領域との間に重複領域が存在するかどうかを検出し、前記投影待ちパターンと前記障害物領域との間に重複領域が存在する場合、前記投影待ちパターンと前記障害物領域との間に重複領域が存在しないように、前記重複領域から前記投影待ちパターンを調整する、重複領域検出モジュールとを含んでもよい。

【0138】

本願の一実施例では、移動ロボットを提供し、移動ロボットは、投影装置、環境感知センサ及びプロセッサを含み、
環境感知センサは、リアルタイム環境感知データを採取し、リアルタイム環境感知データは、リアルタイム障害物情報と、移動ロボットの周囲の道路状況を指示するリアルタイム指示情報とを含み、
プロセッサは、移動ロボットが位置する空間の地図データ情報及びリアルタイム環境感知データを取得し、リアルタイム障害物情報及び地図データ情報に基づき、移動ロボットの目標走行経路情報を取得し、目標走行経路情報及びリアルタイム指示情報から、地面投影領域を特定し、投影待ちパターンを取得し、投影待ちパターン及び地面投影領域から、投影待ちパターンに対応する投影パラメータを特定し、投影待ちパターンは、移動ロボットの走行意図を指示するものであり、投影待ちパターンを地面投影領域に投影するように、投影パラメータから投影装置を制御し、
投影装置は、投影待ちパターンを地面投影領域に投影する。

【0139】

一実施例では、プロセッサは、さらに、
移動ロボットが位置する空間の環境が所定の環境条件を満たす場合に環境感知センサが採取した履歴環境感知データを取得し、履歴環境感知データから、移動ロボットが位置する空間の空間座標情報を特定し、空間座標情報から空間の地図を作成し、地図のデータ情報を地図データ情報とする。

【0140】

一実施例では、当該環境感知センサは、レーダ装置及びカメラ装置を含み、
レーダ装置は、障害物と移動ロボットとのリアルタイム距離情報を採取し、
カメラ装置は、リアルタイム障害物識別情報、移動ロボットの周囲の路面の路面形状情報及び移動ロボットの周囲の路面のリアルタイム障害物分布情報を採取し、
プロセッサは、リアルタイム距離情報及びリアルタイム障害物識別情報を取得し、リアルタイム距離情報及びリアルタイム障害物識別情報をリアルタイム障害物情報とし、路面形状情報及びリアルタイム障害物分布情報を取得し、路面形状情報及びリアルタイム障害物分布情報をリアルタイム指示情報とする。

【0141】

一実施例では、当該プロセッサは、
地図データ情報及びリアルタイム障害物情報から、移動ロボットのリアルタイム位置及び障害物の位置を特定し、移動ロボットの目標終点位置を取得し、リアルタイム位置及び障害物の位置に基づき、リアルタイム位置から目標終点位置までの最短経路情報を特定し、最短経路情報を移動ロボットの目標走行経路情報とする。

【0142】

一実施例では、当該プロセッサは、
投影待ちパターンにおける各画素点に対して、地面投影領域から、画素点に対応する投射角度、画素点に対応する投射時間及び画素点に対応する投射色を特定し、各画素点に対応する投射角度、各画素点に対応する投射時間及び各画素点に対応する投射色を投影装置の投影パラメータとする。

【0143】

一実施例では、当該投影装置は、ガルバノミラー、可視光レーザ及びレンズを含み、
当該プロセッサは、
各画素点に対応する投射角度から、各画素点に対応するガルバノミラーの回転角度を特定し、各画素点に対応する投射色から、各画素点に対応する可視光レーザのレーザ発射情報及びレンズのレーザ合成情報を特定し、各画素点に対応する投射時間から、各画素点の投射順番を特定し、各画素点の投射順番に従って、各画素点に対応するガルバノミラーの回転角度、各画素点に対応するレーザ発射情報及び各画素点に対応するレンズのレーザ合成情報から、投影待ちパターン情報を地面投影領域に投影するように、投影装置を調整し、
当該投影装置は、各画素点の投射順番に従って、各画素点に対応するガルバノミラーの回転角度、各画素点に対応するレーザ発射情報、各画素点に対応するレンズのレーザ合成情報から、各画素点を地面投影領域に投影する。

【0144】

一実施例では、プロセッサは、さらに、
目標走行経路情報及びリアルタイム環境感知データから、所定の投影条件に合致するかどうかを判断し、所定の投影条件は、少なくとも、将来の所定の時間帯内に移動ロボットの走行方向が変化することと、移動ロボットの走行状態が一時停止状態であることと、移動ロボットの周囲に歩行者が存在することと、移動ロボットが現在運転状態にあることとのいずれか一つの条件を含み、判断結果が所定の投影条件に合致することである場合、目標走行経路情報から、地面投影領域を特定する。

【0145】

一実施例では、当該プロセッサは、さらに、
所定の投影条件が、移動ロボットが現在運転状態にあることである場合、目標走行経路情報から、移動ロボットの現在の投影パターンが移動ロボットの走行意図を反映できるかどうかを判断し、そうであれば、移動ロボットの現在の投影パターンを投影待ちパターンとし、そうでなければ、移動ロボットの走行意図から、投影待ちパターンを生成する。

【0146】

一実施例では、当該プロセッサは、さらに、
リアルタイム障害物情報が移動ロボットの周囲に存在する障害物が移動障害物であることを指示すれば、目標走行経路情報から、移動ロボットの現在の投影パターンが移動ロボットの走行意図を反映できるかどうかを判断するステップを実行する。

【0147】

一実施例では、図２１に示すように、前記移動ロボットは、さらにメモリを含み、前記メモリには、前記プロセッサ上に実行可能なコンピュータ読み取り可能な命令が記憶され、前記プロセッサは、前記コンピュータ読み取り可能な命令を実行すると以下のステップを実現する。

【0148】

ステップ１０５であって、運転過程で投影待ちパターンをリアルタイムに投射し、運転過程で路面に存在する障害物領域を取得する。

【0149】

理解できるように、投影待ちパターンは、ロボットの進行意図を表す投影待ちパターンであり、当該投影待ちパターンは、曲線投影待ちパターン、直線投影待ちパターン、画像投影待ちパターンなどであってもよい。当該投影待ちパターンは、例えばロボットに設けられたレーザ装置によりリアルタイムに投射することができ、例えば、ロボットの前方の進行道路の路面に投射し、又は、ロボットの前方の進行道路上の装置に投射する。一実施例では、投影待ちパターンは、ロボットの前進方向に一定の数の点を予め設定し、曲線又は直線を用いて当該一定の数の点を連結して１つの連続するグラフを形成する。他の実施例では、投影待ちパターンは、ベジェ曲線によって所定数の曲線ノードを連結して得られた曲線である。ここで、所定数は、具体的な需要に応じて設定することができ、例示的に、所定数は、５個、７個、９個、１０個などとすることができる。運転過程は、ロボットの運動の過程、ロボットが運動過程で障害物に遭遇することで運動を停止して待機する過程、ロボットが起動後にある場所に固定されて運動しない過程などを含むことができる。いくつかの実施例では、当該投影待ちパターンは、具体的に進行指示図であってもよい。

【0150】

障害物領域は、ロボットの進行過程で検出された障害物情報の領域である。ここで、障害物情報は、静的障害物情報及び動的障害物情報を含む。ここで、静的障害物情報とは、静的障害物（例えば配膳ロボットのシーンでのテーブル、椅子、キャビネットなどの自主的に移動不可な障害物）の位置情報であり、動的障害物情報とは、動的障害物（例えば、歩行者、他のロボットなどの自主的に移動可能な物体）の位置情報である。

【0151】

一実施例では、ステップ１０５において、即ち、上述した運転過程で路面に存在する障害物領域を取得することは、
運転過程で障害物情報をリアルタイムに採取し、所定の投影図において前記障害物情報に対応する画素情報にマッピングすることを含む。

【0152】

一具体的な実施形態では、ロボットの運転過程で、ロボットに設けられた障害物検出装置により、静的障害物及び動的障害物を検知し、さらに各静的障害物及び動的障害物のリアルタイム位置情報、即ち、障害物情報を取得してよい。ここで、障害物検出装置は、レーザーレーダセンサ、ＲＧＢＤ（ＲＧＢ Ｄｅｐｔｈ、ＲＧＢ深度）カメラ又は超音波センサなどであってもよい。

【0153】

一実施例では、障害物情報を所定の投影図上に配置するとき、各障害物情報を所定の投影図において画素情報にマッピングする必要があり、即ち、１つの障害物情報は、１つの画素情報に対応する。ここで、所定の投影図は、ロボットに設けられた投影展示画面に展示することができ、当該所定の投影図において画素情報により各障害物情報を表すことができ、且つロボットが障害物情報を採取すると、同期して当該所定の投影図に更新することができる。ここで、投影展示画面は、ロボットの前端又は後端に設けられた表示スクリーンであり、当該表示スクリーンは、タッチパネル又はドットマトリックススクリーンなどであってもよい。このように、当該投影展示画面に所定の投影図及び障害物情報を展示することができる。

【0154】

すべての前記画素情報を含む投影領域から最小面積領域を特定し、前記最小面積領域を前記障害物領域と記録する。

【0155】

理解できるように、ロボットと障害物とのインタラクション過程で、すべての障害物情報をカバーする必要があり、そのため、所定の投影図において障害物情報に対応する画素情報をマッピングした後、所定の形状を有し、且つすべての画素情報を含む最小面積領域を１つ画定し、当該最小面積領域を障害物情報に対応する障害物領域と記録する。選択的には、所定の形状は、楕円形、円形、方形、不規則な図形などの形状とすることができる。本実施例では、所定の形状を円形とし、最小面積領域は、すべての画素情報を含み、且つ円形の面積領域が最も小さい領域となる。領域面積が過度に大きく設定されると、データの冗長を引き起こし、及び、ロボットが障害物に接近する前に早めに障害物とのインタラクションを行い、ロボットインタラクションの正確性を低減させた。

【0156】

一実施例では、前記投影待ちパターンは、初期投影待ちパターン、及び異なる時刻に応じて異なる拡大比率で生成された異なる拡大投影待ちパターンを含み、
上述した運転過程で投影待ちパターンをリアルタイムに投射することは、
前記初期投影待ちパターンを投射し、及び前記異なる時刻に従って前記初期投影待ちパターンと配列するように、生成された拡大投影待ちパターンを投射することを含む。

【0157】

理解できるように、本実施例における拡大投影待ちパターンは、初期投影待ちパターンに基づき、異なる時刻に応じて異なる拡大比率で生成された異なる拡大投影待ちパターンであり、当該拡大投影待ちパターンの数は、２つ、３つなどであってもよく、ここで限定しない。なお、仮に初期投影待ちパターンを１倍拡大して１つ目の拡大投影待ちパターンを得た後、２つ目の拡大投影待ちパターンが１つ目の拡大投影待ちパターンに基づき１倍の拡大処理を行ったとしても、その本質は、初期投影待ちパターンに基づき２倍拡大処理を行って得られたものである。従って、初期投影待ちパターン及び異なる時刻に応じて異なる拡大比率で生成された異なる拡大投影待ちパターンを取得した後、初期投影待ちパターンを投射し、及び異なる時刻に従って初期投影待ちパターンと配列するように、生成された拡大投影待ちパターンを投射する。ここで、拡大比率は、具体的な拡大需要に応じて選択することができる。

【0158】

他の一実施例では、前記投影待ちパターンは、初期投影待ちパターンと拡大投影待ちパターンのうちの少なくとも１つを含み、前記拡大投影待ちパターンは、前記初期投影待ちパターンが所定の拡大比率で拡大処理されることで形成され、
図１７に示すように、運転過程で投影待ちパターンをリアルタイムに投射することは、具体的に、
所定の拡大比率で前記初期投影待ちパターンに対して徐々に拡大処理を行って前記拡大投影待ちパターンを形成し、運転過程で前記初期投影待ちパターンと前記拡大投影待ちパターンのうちの少なくとも１つをリアルタイムに投射することを含む。

【0159】

上述した所定の拡大比率で前記初期投影待ちパターンに対して徐々に拡大処理を行って前記拡大投影待ちパターンを形成し、前記初期投影待ちパターンと前記拡大投影待ちパターンのうちの少なくとも１つを投射することは、以下のステップを含む。

【0160】

ステップ１０７であって、初期投影待ちパターンを取得する。

【0161】

理解できるように、投影待ちパターンは、初期投影待ちパターンと拡大投影待ちパターンのうちの少なくとも１つを含み、現在時刻の投影待ちパターンに初期投影待ちパターンが現れなければ、後続のある時刻に初期投影待ちパターンが現れる。初期投影待ちパターンは、ロボットのメモリに記憶される。

【0162】

ステップ１０８であって、所定の拡大比率で前記初期投影待ちパターンに対して拡大処理を行って拡大投影待ちパターンを形成する。

【0163】

理解できるように、所定の拡大比率は、具体的な拡大需要に応じて設定することができ、当該所定の拡大比率は、１つの一定の値であってもよいし、可変な値であってもよい。なお、本実施例では、初期投影待ちパターンに対して拡大処理を行うことは、拡大の限界が存在し、即ち、初期投影待ちパターンが徐々に一定の回数（例えば３回、４回又は５回）拡大された後、拡大処理を停止する。

【0164】

ここで、１回目拡大された拡大投影待ちパターンは、初期投影待ちパターンを基礎として拡大され、２回目拡大された拡大投影待ちパターンは、１回目拡大された拡大投影待ちパターンを基礎として拡大される場合、当該所定の拡大比率は、一定の値であり、例えば、所定の拡大比率は、２０％、３０％、４０％又は５０％などと設定することができる。例示的に、仮に所定の拡大比率が２０％に設定されると、現在時刻で初期投影待ちパターンを２０％拡大して１つ目の拡大投影待ちパターンを得た後、次の時刻で初期投影待ちパターンを基礎として２０％拡大された１つ目の拡大初期投影待ちパターンを、さらに２０％拡大して２つ目の拡大投影待ちパターンを得る。

【0165】

さらに、形成される拡大投影待ちパターンは、いずれも初期投影待ちパターンを基礎として拡大される場合、当該所定の拡大比率は、可変な値であってもよく、例えば所定の拡大比率は、１０％（１つ目の拡大投影待ちパターンが初期投影待ちパターンを基礎とする拡大比率）、１５％（２つ目の投影待ちパターンが初期投影待ちパターンを基礎とする拡大比率）、２０％（３つ目の拡大投影待ちパターンが初期投影待ちパターンを基礎とする拡大比率）及び２５％（４つ目の拡大投影待ちパターンが初期投影待ちパターンを基礎とする拡大比率）と設定することができる。

【0166】

ステップ１０９であって、前記初期投影待ちパターンと前記拡大投影待ちパターンのうちの少なくとも１つを時系列に表示する。

【0167】

理解できるように、前記拡大投影待ちパターンは、１つ、２つ又は複数が含まれてよい。前記拡大投影待ちパターンが１つである場合、時間順番に従って初期投影待ちパターンと拡大投影待ちパターンのうちの少なくとも１つを投射（即ち、時系列に表示）することは、１つの時刻に初期投影待ちパターン又は拡大投影待ちパターンのみを表示してもよいし、各時刻に初期投影待ちパターン及び拡大投影待ちパターンを共に表示してもよい。拡大投影待ちパターンが２つである場合、初期投影待ちパターンと拡大投影待ちパターンのうちの少なくとも１つを時系列に表示することは、１つの時刻に初期投影待ちパターンのみを表示し、次の時刻にそのうちの１つの拡大投影待ちパターンを表示し、さらに次の時刻にもう１つの拡大投影待ちパターンを表示して、この順番で順に循環しもよいし、１つの時刻に初期投影待ちパターンを表示し、次の時刻に初期投影待ちパターンとそのうちの１つの拡大投影待ちパターンを表示し、さらに次の時刻に初期投影待ちパターン及び２つの拡大投影待ちパターンを表示して、この順番で順に循環してもよい。

【0168】

前記初期投影待ちパターンと前記拡大投影待ちパターンのうちの少なくとも１つを時系列に表示することには、複数種の表示形態があり、以下、数種の表示形態の例示を挙げるが、本願は、列挙される下記の実施例に限定されない。表示する形態は、段階的に３回拡大することを例として説明する。１回目の拡大後の投影待ちパターンは、第１拡大投影待ちパターンと理解することができ、２回目の拡大後の投影待ちパターンは、第２拡大投影待ちパターンと理解することができ、３回目の拡大後の投影待ちパターンは、第３拡大投影待ちパターンと理解することができる。

【0169】

投影待ちパターンを動的に表示する例示１として、第１時刻に初期投影待ちパターンを表示し、第２時刻に１回目の拡大後の拡大投影待ちパターンを表示し、第３時刻に２回目の拡大後の拡大投影待ちパターンを表示し、第４時刻に３回目の拡大後の拡大投影待ちパターンを表示する。障害物に遭遇する又はロボットの運動方向が変化する際に投影待ちパターンに変形が生じるまで、第５時刻及びその以降の時刻に再び順に上記４つの時刻に表示される初期投影待ちパターン又は拡大投影待ちパターンを循環させる。

【0170】

投影待ちパターンを動的に表示する例示２として、第１時刻～第４時刻での表示は、例示１と同様であり、障害物に遭遇する又はロボットの運動方向が変化する際に投影待ちパターンに変形が生じるまで、第５時刻及びその以降の時刻に常に第４時刻での拡大投影待ちパターンを表示する。

【0171】

投影待ちパターンを動的に表示する例示３として、第１時刻に初期投影待ちパターンを表示し、第２時刻に初期投影待ちパターンと１回目の拡大後の拡大投影待ちパターンを表示し、第３時刻に初期投影待ちパターン、１回目の拡大後の拡大投影待ちパターン及び２回目の拡大後の拡大投影待ちパターンを表示し、第４時刻に初期投影待ちパターン、１回目の拡大後の拡大投影待ちパターン、２回目の拡大後の拡大投影待ちパターン及び３回目の拡大後の拡大投影待ちパターンを表示し、表示する際に初期投影待ちパターンと拡大投影待ちパターンの順番に対して要求なし、まず初期投影待ちパターンを表示して、そして拡大投影待ちパターンを表示してもよいし、まず拡大投影待ちパターンを表示して、そして初期投影待ちパターンを表示してもよい。障害物に遭遇する又はロボットの運動方向が変化する際に投影待ちパターンに変形が生じるまで、第５時刻及びその以降の時刻に再び順に上記４つの時刻に表示された初期投影待ちパターン又は初期投影待ちパターンと各拡大投影待ちパターンを循環させる。

【0172】

投影待ちパターンを動的に表示する例示４として、第１時刻～第４時刻での表示は、例示３と同様であり、障害物に遭遇する又はロボットの運動方向が変化する際に投影待ちパターンに変形が生じるまで、第５時刻及びその以降の時刻に常に第４時刻での初期投影待ちパターンと各拡大投影待ちパターンを表示する。

【0173】

ステップ１０６であって、前記投影待ちパターンと前記障害物領域との間に重複領域が存在するかどうかを検出し、前記投影待ちパターンと前記障害物領域との間に重複領域が存在する場合、前記投影待ちパターンと前記障害物領域との間に重複領域が存在しないように、前記重複領域から前記投影待ちパターンを調整する。

【0174】

理解できるように、上記の説明において、投影待ちパターンには初期投影待ちパターン及び拡大投影待ちパターンが含まれるため、投射された初期投影待ちパターン又は拡大投影待ちパターンは、障害物領域と重複が存在する場合、投影待ちパターンと障害物領域との間に重複領域が存在すると特定することができる。

【0175】

例えば、ロボットと障害物領域との間の距離が遠い場合、初期投影待ちパターンと障害物領域との間に重複領域が存在しない可能性があるが、拡大後の初期投影待ちパターン、即ち拡大投影待ちパターンは、障害物領域と重複領域が存在する可能性があり、例えば拡大投影待ちパターンと障害物領域との間に交差領域が現れるとき、当該相交領域は、重複領域となる。ロボットと障害物領域との間の距離が近い場合、初期投影待ちパターンと障害物領域との間に重複領域がすでに存在する可能性があるため、本実施例では、初期投影待ちパターン又は拡大投影待ちパターンは障害物領域と重複が存在することが検出されると、投影待ちパターンと障害物領域との間に重複領域が存在すると特定する。

【0176】

例示的に、図１８に示すように、Ｂ１は、初期投影待ちパターンであり、Ｂ２は、１回目の拡大後に得られた拡大投影待ちパターンであり、Ｂ３は、２回目の拡大後に得られた拡大投影待ちパターンであり、そのとき、初期投影待ちパターン及び拡大投影待ちパターンは、いずれも障害物領域と重複が存在しないため、投影待ちパターンと障害物領域との間に重複領域が存在しないと特定することができる。

【0177】

いくつかの実施例では、当該初期投影待ちパターンは、具体的に初期指示図であってもよく、当該拡大投影待ちパターンは、具体的に拡大指示図であってもよい。

【0178】

理解できるように、上記の説明において、障害物領域を所定の投影図にマッピングし、さらにロボットが進行過程でリアルタイムに投射する必要のある投影待ちパターンも所定の投影図にマッピングする場合、ロボットが現在位置するリアルタイム位置を所定の投影図にマッピングし、障害物領域の位置情報も所定の投影図にマッピングし、さらに所定の投影図においてロボットが現在位置するリアルタイム位置に投射された投影待ちパターンと障害物領域との間に重複領域が存在するかどうかをシミュレーションすることができる。ここで、ロボットが現在位置するリアルタイム位置、及び障害物領域の実際の位置を所定の投影図に展示してもよいし、ロボットが現在位置するリアルタイム位置及び障害物領域の実際の位置を一定の比率でマッピングした後、所定の投影図に展示してもよく、ここでは限定されない。

【0179】

理解できるように、投影待ちパターンと障害物領域との間に重複領域が存在する場合、本実施例では、投影待ちパターンと障害物領域との間に重複領域が存在しないように、重複領域から投影待ちパターンを調整する必要があり、それにより、ロボットと人間とのインタラクションを実現する。

【0180】

一実施例では、ステップ１０６において、即ち、上述した前記重複領域から前記投影待ちパターンを調整することは、以下を含む。

【0181】

前記重複領域において重複投影待ちパターンと前記障害物領域の２つの曲線の交点、即ち重複投影待ちパターンの曲線と障害物領域の曲線との交点を特定し、前記重複投影待ちパターンとは、前記初期投影待ちパターン又は前記拡大投影待ちパターンである。曲線とは、直線と非直線の総称である。例えば、非直線の線は、波線、弧度を有する線などである。初期投影待ちパターンは、直線分から構成されてもよいし、非直線分から構成されてもよいし、直線分と非直線分との組み合わせから構成されてもよい。

【0182】

理解できるように、いくつかの実施例では、当該重複投影待ちパターンは、具体的に重複指示図であってもよい。上記の説明において、本願における障害物領域が円形障害物領域であり、即ちすべての障害物情報を含む最小面積の円形領域（図１９における「Ａ１」）である。さらに重複投影待ちパターン（例えば図１９における「Ｌ５」）は、障害物領域と重複領域が存在する場合、重複領域において重複投影待ちパターンと障害物領域との２つの曲線の交点（例えば図１９における１つの曲線の交点「１」、もう１つの曲線の交点「２」）、即ち、重複投影待ちパターンと円形障害物領域との境界の２つの交点を特定する。

【0183】

前記重複投影待ちパターンにおける２つの前記曲線の交点の間に位置する線分に対して削除処理を行い、削除処理後の前記重複投影待ちパターンにおける２つの残存曲線線分を得る。

【0184】

理解できるように、上記の説明において投影待ちパターンが所定数の曲線のノードから構成されるため、前記重複領域において重複投影待ちパターンと前記障害物領域との２つの曲線の交点を特定した後、重複投影待ちパターンにおける２つの曲線の交点の間に位置する線分を削除し（例えば図１９において重複投影待ちパターンＬ５において障害物領域内部Ａ１の内部に位置する破線線分）、即ち、２つの曲線の交点の間に位置し且つ重複投影待ちパターン上のすべての曲線ノード（例えば図１９において重複投影待ちパターンＬ５において障害物領域内部Ａ１の内部に位置する破線線分上のすべてのノード）を削除し、さらにそのうちの１つの曲線の交点を終了端点とする残存曲線線分（例えば、図１９における「Ｌ１」）及びもう１つの曲線の交点を開始端点とするもう１つの残存曲線線分（例えば図１９における「Ｌ２」）を得る。

【0185】

２つの前記曲線の交点の間の連結線に対応する垂直二等分線交点を特定する。

【0186】

例示的に、図１９における「Ｌ３」は、２つの曲線の交点の間の連結線、即ち２つの曲線の交点の間の線分である。図１９における「Ｌ４」は、２つの前記曲線の交点の間の連結線に対応する垂直二等分線である。垂直二等分線交点（図１９における交点「４」）は、２つの前記曲線の交点の間の連結線に対応する垂直二等分線の交点である。

【0187】

前記垂直二等分線交点と境界交点との間の垂直距離を検出し、前記垂直距離を所定の距離閾値と比較し、前記境界交点とは、前記垂直二等分線と前記障害物領域の縁との交点であり、且つ前記境界交点は、前記曲線重複領域内に位置する。

【0188】

ここで、境界交点（例えば図１９における「３」）とは、垂直二等分線と障害物領域の縁との交点であり、且つ当該境界交点は、重複領域（例えば図１９における「Ａ２」）内に位置し、所定の距離閾値は、ロボットがリアルタイムに投射した投影待ちパターンの視覚効果に応じて設定することができ、例えば所定の距離閾値は、障害物領域の半径（上記の説明において本願における障害物領域は、円形領域と選択される）に設定することができる。

【0189】

前記垂直距離が所定の距離閾値以下である場合、２つの前記残存曲線線分、前記曲線の交点及び前記境界交点から、前記投影待ちパターンを調整する。

【0190】

具体的には、前記垂直距離を所定の距離閾値と比較すると、垂直距離が所定の距離閾値以下であれば、２つの残存曲線線分が２つの曲線の交点及び境界交点により連結され、且つ２つの曲線の交点と境界交点との間も対応的に曲線（当該曲線の弧度は、障害物領域に応じて特定することができ、即ち、最終的に当該２つの曲線の交点と境界交点との間も対応的に曲線に連結されて、障害物領域と重複しないようにする）に連結されることで、調整後の投影待ちパターン（例えば図１９における「Ｌ６」）が得られ、垂直距離が所定の距離閾値よりも大きいのであれば、前記投影待ちパターンの投射を停止する。

【0191】

他の一実施例では、ステップ１０６において、上述した前記重複領域から前記投影待ちパターンを調整することは、
前記障害物領域と重複領域が存在する初期投影待ちパターン又は拡大投影待ちパターンを重複投影待ちパターンと記録し、前記重複投影待ちパターンは、前記障害物領域と重複する重複領域と、前記障害物領域と重複しない残存領域とを含むことと、
前記重複投影待ちパターンの重複領域を削除する、又は前記重複投影待ちパターンが前記障害物領域の縁に接するように前記重複投影待ちパターンを所定の比率で縮小することで、調整後の投影待ちパターンを得ることとを含む。

【0192】

一実施例では、重複投影待ちパターンの重複領域を削除して、調整後の投影待ちパターンを得る。例えば、投影待ちパターンとして、第１時刻に初期投影待ちパターンのみが表示され、第２時刻に第１拡大投影待ちパターンのみが表示され、第３時刻に第２拡大投影待ちパターンが表示され、第４時刻及びその後続の時刻に常に第２拡大投影待ちパターンが表示される。障害物に遭遇する際、第２拡大投影待ちパターンは、重複投影待ちパターンであり、第２拡大投影待ちパターンにおける重複領域を削除して調整後の投影待ちパターンを得て、後続の時刻に調整後の投影待ちパターンを表示する。

【0193】

一実施例では、前記重複投影待ちパターンが前記障害物領域の縁に接するように前記重複投影待ちパターンを所定の比率で縮小することで、調整後の投影待ちパターンを得る。例えば、投影待ちパターンとして、第１時刻に初期投影待ちパターンのみが表示され、第２時刻に第１拡大投影待ちパターンのみが表示され、第３時刻に第２拡大投影待ちパターンが表示され、後続の時刻に上記順番で循環して表示される。障害物に遭遇すると、第２拡大投影待ちパターン、第１拡大投影待ちパターン又は初期投影待ちパターンは、いずれも重複投影待ちパターンになる可能性があり、重複投影待ちパターンが障害物領域の縁に接するように、重複投影待ちパターンが所定の比率で縮小される。当該縮小に関わる所定の比率は、１つの変数であり、即ち、異なる時刻の重複投影待ちパターンに対応する縮小に関わる所定の比率は、異なる。所定の比率は、重複投影待ちパターンと障害物領域との重複度に応じて算出される。

【0194】

一実施例では、図２０に示すように、図２０は、移動ロボットが運動過程で障害物領域と重複領域が存在する模式図である。障害物領域Ａ１は、ロボットの進行方向の前方に位置し、上記の説明においてロボットが運転過程でリアルタイムに投射した投影待ちパターンは、初期投影待ちパターン、及び初期投影待ちパターンに対して徐々に拡大処理を行った拡大投影待ちパターンを含み、且つ運転過程で初期投影待ちパターン及び拡大投影待ちパターンを動的に表示し、初期投影待ちパターン又はいずれかの拡大投影待ちパターンは、障害物領域と重複領域が存在すれば、ロボットがリアルタイムに投射した投影待ちパターンと障害物領域との間に重複領域が存在すると特定する。従って、図２０に示すように、ロボットが投射した投影待ちパターンにおいて、拡大投影待ちパターンＢ４、及び投影待ちパターンを拡大する前に投射した他の拡大投影待ちパターン又は初期投影待ちパターンは、いずれも障害物領域Ａ１と重複領域が存在しない。投影待ちパターンＢ４を拡大した後の拡大投影待ちパターンＢ５は、障害物領域Ａ１と重複領域が存在するため、ロボットが運転過程でリアルタイムに投射した投影待ちパターンは、障害物領域と重複領域が存在すると特定する。従って、拡大投影待ちパターンＢ５と障害物領域Ａ１との間の重複領域から、調整後の拡大投影待ちパターンＢ５は、障害物領域Ａ１と重複領域が存在しないように、拡大投影待ちパターンＢ５を調整する。

【0195】

一実施例では、ステップ１０６の後、上述した前記重複領域から前記投影待ちパターンを調整した後、前記プロセッサが前記コンピュータ読み取り可能な命令を実行する際に、以下のステップを実現する。

【0196】

前記ロボットの現在位置情報を取得し、前記現在位置情報から、前記ロボットと前記障害物領域との間の位置距離を特定することを実現する。

【0197】

理解できるように、現在位置情報とは、ロボットが現在位置するリアルタイム位置情報であり、さらに、ロボットの現在位置情報をリアルタイムに取得した後、現在位置情報からロボットと障害物領域との間の位置距離を特定する。

【0198】

前記位置距離から調整後の前記投影待ちパターンの色パラメータを特定し、且つ前記曲線色パラメータから調整後の前記投影待ちパターンを投射する。

【0199】

理解できるように、色パラメータは、色の種類及び色の深度などを含むことができる。ロボットと障害物との距離が遠い場合、投影待ちパターンは、薄い色で表示することができ、ロボットと障害物との距離が次第に短くなるにつれて、投影待ちパターンが示す色が次第に濃くなる。例えば、ロボットが障害物領域から遠い場合（例えば障害物領域から１ｋｍの場合）、当該色パラメータは、深度が浅い水色のレーザビームを選択することができ、ロボットが障害物領域に近い場合（例えば障害物領域から１００ｍの場合）、当該色パラメータは、深度が深い深赤色のレーザビームを選択することができる。

【0200】

具体的には、前記ロボットの現在位置情報を取得し、且つ前記現在位置情報から前記ロボットと前記障害物領域との間の位置距離を特定した後、前記位置距離から調整後の前記投影待ちパターンの色パラメータを特定し、前記色パラメータから調整後の前記投影待ちパターンを投射し、調整後の投影待ちパターンを地面に投影し、人間とのインタラクションを実現する。

【0201】

本実施例では、投影待ちパターンと障害物領域との間の曲線重複領域を特定して、曲線重複領域から投影待ちパターンを調整することにより、ロボットの射出した投影待ちパターンが障害物領域によって動的に変形し、且つ当該調整後の投影待ちパターンは、障害物領域と重複せず、さらにロボットと障害物との情報インタラクションを実現し、ロボットと人間との情報インタラクションの効率及び情報インタラクションの正確率を向上させた。

【0202】

一実施例では、前記初期投影待ちパターン又は前記拡大投影待ちパターンは、前記障害物領域と重複が存在する場合、前記投影待ちパターンと前記障害物領域との間に重複領域が存在すると特定した後、前記プロセッサが前記コンピュータ読み取り可能な命令を実行する際に、さらに以下のステップを実現する。
前記初期投影待ちパターン又は前記拡大投影待ちパターンは前記障害物領域と重複が存在する場合、ロボットの重複位置情報を取得し、前記重複位置情報から、ロボットと障害物領域との間の位置距離を特定し、
前記位置距離から前記重複領域を更新する。

【0203】

理解できるように、重複位置情報とは、初期投影待ちパターン又は前記拡大投影待ちパターンが前記障害物領域と重複が存在する場合、ロボットが現在位置するリアルタイム位置情報である。さらに、上記の説明において、ロボットがリアルタイムに投射した投影待ちパターンは初期投影待ちパターンから段階的に拡大されるものであり、即ちロボットがリアルタイムに投射した投影待ちパターンに初期投影待ちパターン及び拡大投影待ちパターンが含まれ、且つ循環的にリアルタイムに投射され、且つ各投影待ちパターン（初期投影待ちパターンと拡大投影待ちパターン、又は異なる拡大投影待ちパターン）の間に一定の間隔が存在するため、ロボットの位置する位置が異なると、ロボットが投射した投影待ちパターンは、障害物領域と重複が存在する部分が異なり、さらに異なる位置において、重複領域を更新する必要がある。

【0204】

さらに、初期投影待ちパターン又は拡大投影待ちパターンは、障害物領域と重複が存在する場合、ロボットの現在位置（即ち、重複位置情報）を取得し、当該重複位置情報からロボットと障害物領域との間の位置距離を特定し、ロボットの異なる位置と障害物領域との間の重複領域が異なり、例えば、同じ投影待ちパターン（初期投影待ちパターン又は拡大投影待ちパターン）は、ロボットと障害物領域との位置距離が近いほど、投影待ちパターンと障害物領域との間の重複領域が大きくなる可能性があり、このように重複領域をリアルタイムに更新することができ、さらに更新した重複領域から投影待ちパターンを調整し、ロボットと人間とのインタラクションの柔軟性をより高く、より正確にする。

【0205】

一実施例では、前記初期投影待ちパターン又は前記拡大投影待ちパターンは、前記障害物領域と重複が存在する場合、前記投影待ちパターンと前記障害物領域との間に重複領域が存在すると特定した後、前記プロセッサは、前記コンピュータ読み取り可能な命令を実行する際に、以下のステップを実現する。
前記障害物領域と重複領域が存在することに対応する拡大投影待ちパターンの拡大倍数を取得し、
前記拡大倍数から前記重複領域の領域の大きさを特定する。

【0206】

理解できるように、拡大倍数とは、拡大投影待ちパターンが初期投影待ちパターンに基づき拡大された倍数であり、例示的に、仮に所定の拡大比率が２０％であるとすると、１つ目の拡大投影待ちパターンが初期投影待ちパターンに基づき拡大された倍数は、２０％であり、２つ目の拡大投影待ちパターンが初期投影待ちパターンに基づき拡大された倍数は、４０％である。しかし、拡大倍数が異なると、対応する拡大投影待ちパターンと障害物領域との間の重複領域は異なるため、本実施例では、拡大倍数から重複領域の領域の大きさを特定することができ、さらに異なる投影待ちパターン（例えば上記初期投影待ちパターン又は拡大投影待ちパターン）と障害物領域との間に重複が存在する場合、当該拡大倍数から重複領域の領域の大きさを調整して、重複領域をリアルタイムに更新することができ、更新した重複領域から投影待ちパターンを調整し、ロボットと人間とのインタラクションの柔軟性をより高く、より正確にする。

【0207】

一実施例では、コンピュータプログラムが記憶されたコンピュータ読み取り可能な記憶媒体を提供し、当該コンピュータプログラムはプロセッサによって実行されると、上記各方法の実施例におけるステップを実現する。

【0208】

当業者であれば理解できるように、前記実施例の方法における全部または一部のプロセスを実現することは、コンピュータプログラムによって関連するハードウェアに指令して完成することができ、前記コンピュータプログラムは不揮発性コンピュータの読み取り可能な記憶媒体に記憶することができ、前記コンピュータプログラムが実行する時、前記各方法の実施例のプロセスを含むことができる。また、本願が提供する各実施例に使用されるメモリ、記憶装置、データベースまたは他の媒体に対する任意の参照は、いずれも不揮発性と揮発性メモリのうちの少なくとも１つを含むことができる。不揮発性メモリは読み取り専用メモリ(Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ、ＲＯＭ)、テープ、フロッピーディスク、フラッシュメモリまたは光メモリなどを含むことができる。揮発性メモリはランダムアクセスメモリ(Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＲＡＭ)または外部キャッシュメモリを含むことができる。限定ではなく、例として、ＲＡＭは、静的ランダムアクセスメモリ(Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＳＲＡＭ)または動的ランダムアクセスメモリ(Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＤＲＡＭ)などの様々な形態とすることができる。

【0209】

以上の実施例の各技術的特徴は任意の組み合わせを行うことができ、説明を簡潔にするために、前記実施例中の各技術的特徴のすべての可能な組み合わせに対してすべて説明していないが、これらの技術的特徴の組み合わせに矛盾が存在しない限り、すべて本明細書に記載した範囲と見なすべきである。

【0210】

以上の実施例は本願のいくつかの実施方式のみを表し、その説明は比較的具体的かつ詳細であるが、これによって発明の特許範囲に対する制限と理解することはできない。なお、本分野の一般的な技術者にとっては、本願の構想から逸脱しない前提の下で、さらに若干の変形と改良を行うことができ、これらはいずれも本願の保護範囲に属する。したがって、本願の特許の保護範囲は添付の請求項を基準とする。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【手続補正書】

【提出日】2024-01-09

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

移動ロボットのインタラクション方法であって、
前記移動ロボットには、投影装置及び環境感知センサが設けられ、
前記方法は、
前記移動ロボットが位置する空間の地図データ情報を取得し、及び、前記環境感知センサが採取したリアルタイム環境感知データを取得し、前記リアルタイム環境感知データは、リアルタイム障害物情報と前記移動ロボットの周囲の道路状況を指示するリアルタイム指示情報とを含むことと、
前記リアルタイム障害物情報及び前記地図データ情報に基づき、前記移動ロボットの目標走行経路情報を取得し、前記目標走行経路情報及び前記リアルタイム指示情報から、地面投影領域を特定することと、
投影待ちパターンを取得し、前記投影待ちパターン及び前記地面投影領域から、前記投影待ちパターンに対応する投影パラメータを特定し、前記投影待ちパターンは、前記移動ロボットの走行意図を指示するものであることと、
前記投影待ちパターンを前記地面投影領域に投影するように、前記投影パラメータから前記投影装置を制御することと、を含む、
移動ロボットのインタラクション方法。

【請求項2】

前記移動ロボットが位置する空間の地図データ情報を取得し、及び、前記環境感知センサが採取したリアルタイム環境感知データを取得する前に、前記方法は、さらに、
前記移動ロボットの位置する空間の環境が所定の環境条件を満たす場合に前記環境感知センサが採取した履歴環境感知データを取得することと、
前記履歴環境感知データから、前記移動ロボットが位置する空間の空間座標情報を特定し、前記空間座標情報から前記空間の地図を作成することと、
前記地図のデータ情報を前記地図データ情報とすることと、を含み、
前記環境感知センサは、レーダ装置及びカメラ装置を含み、
前記環境感知センサが採取したリアルタイム環境感知データを取得することは、
前記レーダ装置が採取した障害物と前記移動ロボットとのリアルタイム距離情報を取得することと、
前記カメラ装置が採取したリアルタイム障害物識別情報、前記移動ロボットの周囲の路面の路面形状情報及び前記移動ロボットの周囲の路面のリアルタイム障害物分布情報を取得することと、
前記リアルタイム障害物識別情報及び前記リアルタイム距離情報を前記リアルタイム障害物情報とし、前記路面形状情報及び前記リアルタイム障害物分布情報を前記リアルタイム指示情報とすることと、を含む、
請求項１に記載のインタラクション方法。

【請求項3】

前記リアルタイム障害物情報及び地図データ情報に基づき、前記移動ロボットの目標走行経路情報を取得することは、
前記地図データ情報及び前記リアルタイム障害物情報から、前記移動ロボットのリアルタイム位置及び障害物の位置を特定することと、
前記移動ロボットの目標終点位置を取得し、前記リアルタイム位置及び前記障害物の位置に基づき、前記リアルタイム位置から前記目標終点位置までの最短経路情報を特定し、前記最短経路情報を前記移動ロボットの目標走行経路情報とすることと、を含む、
請求項１に記載のインタラクション方法。

【請求項4】

前記投影待ちパターン及び前記地面投影領域から、前記投影待ちパターンに対応する投影パラメータを特定することは、
前記投影待ちパターンにおける各前記画素点に対して、前記地面投影領域から、前記画素点に対応する投射角度、前記画素点に対応する投射時間及び前記画素点に対応する投射色を特定することと、
各前記画素点に対応する投射角度、各前記画素点に対応する投射時間及び各前記画素点に対応する投射色を前記投影待ちパターンに対応する投影パラメータとすることと、を含み、
前記投影装置は、ガルバノミラー、可視光レーザ及びレンズを含み、
前記投影待ちパターンを前記地面投影領域に投影するように、前記投影パラメータから前記投影装置を制御することは、
各前記画素点に対応する投射角度から各前記画素点に対応する前記ガルバノミラーの回転角度を特定し、各前記画素点に対応する投射色から各前記画素点に対応する前記可視光レーザのレーザ発射情報及び前記レンズのレーザ合成情報を特定することと、
各前記画素点に対応する投射時間から、各前記画素点の投射順番を特定することと、
各前記画素点の投射順番に従って、各前記画素点に対応する前記ガルバノミラーの回転角度、各前記画素点に対応する前記レーザ発射情報及び各前記画素点に対応する前記レンズのレーザ合成情報から、前記投影待ちパターンを前記地面投影領域に投影するように、前記投影装置を調整することと、を含む、
請求項１に記載のインタラクション方法。

【請求項5】

前記目標走行経路情報及び前記リアルタイム指示情報から地面投影領域を特定する前に、前記インタラクション方法は、さらに、
前記目標走行経路情報及び前記リアルタイム環境感知データから、所定の投影条件に合致するかどうかを判断することを含み、
対応して、前記目標走行経路情報から地面投影領域を特定することは、
判断結果が所定の投影条件に合致することである場合、前記目標走行経路情報から地面投影領域を特定することを含み、
前記所定の投影条件は、少なくとも、
将来の所定の時間帯内に前記移動ロボットの走行方向が変化することと、
前記移動ロボットの走行状態が一時停止状態であることと、
前記移動ロボットの周囲に歩行者が存在することと、
前記移動ロボットが現在運転状態にあることと、のいずれか一つの条件を含み、
前記所定の投影条件が前記移動ロボットが現在運転状態にあることである場合、前記投影待ちパターンを取得することは、
前記目標走行経路情報から、前記移動ロボットの現在の投影パターンが前記移動ロボットの走行意図を反映できるかどうかを判断することと、
そうであれば、前記移動ロボットの現在の投影パターンを前記投影待ちパターンとすることと、
そうでなければ、前記移動ロボットの走行意図から前記投影待ちパターンを生成することと、を含み、
前記目標走行経路情報から、前記移動ロボットの現在の投影パターンが前記移動ロボットの走行意図を反映できるかどうかを判断することは、
前記リアルタイム障害物情報が前記移動ロボットの周囲に存在する障害物が移動障害物であることを指示すれば、前記目標走行経路情報から、前記移動ロボットの現在の投影パターンが前記移動ロボットの走行意図を反映できるかどうかを判断するステップを実行することを含む、
請求項１に記載のインタラクション方法。

【請求項6】

前記投影パラメータから前記投影待ちパターンを前記地面投影領域に投影するように前記投影装置を制御した後、前記インタラクション方法は、さらに、
運転過程で投影待ちパターンをリアルタイムに投射し、且つ運転過程で路面に存在する障害物領域を取得することと、
前記投影待ちパターンと前記障害物領域との間に重複領域が存在するかどうかを検出し、前記投影待ちパターンと前記障害物領域との間に重複領域が存在する場合、前記投影待ちパターンと前記障害物領域との間に重複領域が存在しないように、前記重複領域から前記投影待ちパターンを調整することと、を含み、
前記運転過程で路面に存在する障害物領域を取得することは、
運転過程で障害物情報をリアルタイムに採取し、所定の投影図において前記障害物情報に対応する画素情報をマッピングすることと、
全ての前記画素情報を含む投影領域から最小面積領域を特定して、前記最小面積領域を前記障害物領域と記録することと、を含む、
請求項１に記載のインタラクション方法。

【請求項7】

前記投影待ちパターンは、初期投影待ちパターン、及び異なる時刻に応じて異なる拡大比率で生成された異なる拡大投影待ちパターンを含み、
前記運転過程で投影待ちパターンをリアルタイムに投射することは、
前記初期投影待ちパターンを投射し、及び前記異なる時刻に従って前記初期投影待ちパターンと配列するように、生成された拡大投影待ちパターンを投射することと、を含む、
或いは、前記投影待ちパターンは、初期投影待ちパターンと拡大投影待ちパターンのうちの少なくとも１つを含み、前記拡大投影待ちパターンは、前記初期投影待ちパターンが所定の拡大比率で拡大処理されることにより形成され、
前記運転過程で投影待ちパターンをリアルタイムに投射することは、
運転過程で前記初期投影待ちパターンと前記拡大投影待ちパターンのうちの少なくとも１つをリアルタイムに投射することを含む、
請求項６に記載のインタラクション方法。

【請求項8】

前記重複領域から前記投影待ちパターンを調整することは、
前記重複領域において重複投影待ちパターンと前記障害物領域の２つの曲線の交点を特定し、前記重複投影待ちパターンとは、前記初期投影待ちパターン又は前記拡大投影待ちパターンであることと、
前記重複投影待ちパターンにおける２つの前記曲線の交点の間に位置する線分に対して削除処理を行い、削除処理後の前記重複投影待ちパターンにおける２つの残存曲線線分を得ることと、
２つの前記曲線の交点の間の連結線に対応する垂直二等分線の交点を特定することと、
前記垂直二等分線の交点と境界交点との間の垂直距離を検出し、前記垂直距離を所定の距離閾値と比較し、前記境界交点とは、前記垂直二等分線と前記障害物領域の縁との交点であり、且つ前記境界交点は、前記曲線重複領域内に位置することと、
前記垂直距離が所定の距離閾値以下である場合、２つの前記残存曲線線分、前記曲線の交点及び前記境界交点から、前記投影待ちパターンを調整し、調整後の投影待ちパターンを得、前記調整後の投影待ちパターンと前記障害物領域との間には重複領域が存在しないことと、を含む、
請求項７に記載のインタラクション方法。

【請求項9】

前記重複領域から前記投影待ちパターンを調整することは、
前記障害物領域と重複領域が存在する初期投影待ちパターン又は拡大投影待ちパターンを重複投影待ちパターンと記録し、前記重複投影待ちパターンは、前記障害物領域と重複する重複領域と、前記障害物領域と重複しない残存領域とを含むことと、
前記重複投影待ちパターンの重複領域を削除する、又は前記重複投影待ちパターンが前記障害物領域の縁に接するように前記重複投影待ちパターンを所定の比率で縮小することで、調整後の投影待ちパターンを得ることと、を含む、
請求項７に記載のインタラクション方法。

【請求項10】

移動ロボットであって、
投影装置と、環境感知センサと、プロセッサとを含み、
前記環境感知センサは、リアルタイム環境感知データを採取し、前記リアルタイム環境感知データは、リアルタイム障害物情報と、前記移動ロボットの周囲の道路状況を指示するリアルタイム指示情報とを含み、
前記プロセッサは、前記移動ロボットが位置する空間の地図データ情報を取得し、及び前記リアルタイム環境感知データを取得し、前記リアルタイム障害物情報及び前記地図データ情報に基づき、前記移動ロボットの目標走行経路情報を取得し、前記目標走行経路情報及び前記リアルタイム指示情報から、地面投影領域を特定し、投影待ちパターンを取得し、前記投影待ちパターン及び前記地面投影領域から、前記投影待ちパターンに対応する投影パラメータを特定し、前記投影待ちパターンは、前記移動ロボットの走行意図を指示するものであり、前記投影待ちパターンを前記地面投影領域に投影するように、前記投影パラメータから前記投影装置を制御し、
前記投影装置は、前記投影待ちパターンを前記地面投影領域に投影する、
移動ロボット。

【国際調査報告】