(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-01-17
(45)【発行日】2024-01-25
(54)【発明の名称】パトロールロボットを制御するための方法、システムおよび非一過性のコンピュータ読み取り可能な記録媒体
(51)【国際特許分類】
G05D 1/43 20240101AFI20240118BHJP
B25J 5/00 20060101ALI20240118BHJP
【FI】
G05D1/02 H
B25J5/00 E
(21)【出願番号】P 2021096512
(22)【出願日】2021-06-09
【審査請求日】2021-06-09
(32)【優先日】2021-05-21
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】521217150
【氏名又は名称】ベア ロボティクス インク
【氏名又は名称原語表記】Bear Robotics, Inc.
(74)【代理人】
【識別番号】100112737
【氏名又は名称】藤田 考晴
(74)【代理人】
【識別番号】100136168
【氏名又は名称】川上 美紀
(74)【代理人】
【識別番号】100196117
【氏名又は名称】河合 利恵
(72)【発明者】
【氏名】ジョン ジョンウ ハ
【審査官】藤崎 詔夫
(56)【参考文献】
【文献】米国特許出願公開第2020/0009731(US,A1)
【文献】米国特許出願公開第2021/0102817(US,A1)
【文献】特開2014-085829(JP,A)
【文献】国際公開第2019/151387(WO,A1)
【文献】特開2009-172410(JP,A)
【文献】中国特許出願公開第112356022(CN,A)
【文献】特開2021-074492(JP,A)
【文献】韓国公開特許第10-2021-0033214(KR,A)
(58)【調査した分野】(Int.Cl.,DB名)
G05D 1/02
B25J 5/00
(57)【特許請求の範囲】
【請求項1】
パトロール(patrolling)ロボットを制御するための方法であって、
パトロールロボットに結合される支持台に関する重さ情報および前記支持台に関するイメージ情報のうち少なくとも一つとパトロール場所での前記パトロールロボットの位置に関する情報を前記パトロールロボットに関する第1状況情報として獲得する獲得段階、および
前記第1状況情報に基づいて前記パトロールロボットの任務および移動経路を決定する決定段階を含み、
前記獲得段階で、前記パトロール場所内の空間別参加者数および前記パトロール場所
内の空間別のサービングまたはバッシングされたサービング客体の量を前記パトロール場所に関する第2状況情報として獲得し、前記第2状況情報に基づいて前記パトロール場所でのサービング客体に関する空間別需要を推定し、
前記決定段階で、前記サービング客体に関する空間別需要を参照して前記パトロールロボットの任務および移動経路を決定し、
前記パトロール場所内の特定の空間における前記サービング客体に関する空間別需要は、
前記特定の空間でサービングまたはバッシングされた客体の量と該当空間の参加者数の比率に基づいて推定される方法。
【請求項2】
前記獲得段階で、前記支持台に関する重さ情報および前記支持台に関するイメージ情報のうち少なくとも一つに基づいて前記支持台に載置されるか前記支持台から片づけられる少なくとも一つのサービング客体を認識し、前記認識の結果を前記第1状況情報としてさらに獲得する、請求項1に記載の方法。
【請求項3】
前記サービング客体に関する空間別需要には前記サービング客体のサービングに対する空間別需要および前記サービング客体のバッシング(bussing)に対する空間別需要のうち少なくとも一つが含まれる、請求項1に記載の方法。
【請求項4】
前記第1状況情報、前記第2状況情報および前記サービング客体に関する空間別需要のうち少なくとも一つが前記パトロール場所内の複数のパトロールロボットの間で共有されるようにする、請求項1に記載の方法。
【請求項5】
前記決定段階で、前記パトロールロボットが前記サービング客体に関する空間別需要がさらに高い空間を優先的に訪問するように前記パトロールロボットの移動経路を決定する、請求項1に記載の方法。
【請求項6】
前記決定段階で、前記第1状況情報、前記第2状況情報および前記サービング客体に関する空間別需要のうち少なくとも一つに基づいて前記パトロールロボットの移動速度をさらに決定する、請求項1に記載の方法。
【請求項7】
請求項1に記載された方法を実行するための、コンピュータプログラムを記録した非一過性のコンピュータ読み取り可能記録媒体。
【請求項8】
パトロール(patrolling)ロボットを制御するためのシステムであって、
パトロールロボットに結合される支持台に関する重さ情報および前記支持台に関するイメージ情報のうち少なくとも一つとパトロール場所での前記パトロールロボットの位置に関する情報を前記パトロールロボットに関する第1状況情報として獲得する状況情報管理部、および
前記第1状況情報に基づいて前記パトロールロボットの任務および移動経路を決定する任務および移動管理部を含み、
前記状況情報管理部は、前記パトロール場所内の空間別参加者数および前記パトロール場所
内の空間別のサービングまたはバッシングされたサービング客体の量を前記パトロール場所に関する第2状況情報として獲得し、前記第2状況情報に基づいて前記パトロール場所でのサービング客体に関する空間別需要を推定し、
前記任務および移動管理部は、前記サービング客体に関する空間別需要を参照して前記パトロールロボットの任務および移動経路を決定し、
前記パトロール場所内の特定の空間における前記サービング客体に関する空間別需要は、
前記特定の空間でサービングまたはバッシングされた客体の量と該当空間の参加者数の比率に基づいて推定されるシステム。
【請求項9】
前記状況情報管理部は、前記支持台に関する重さ情報および前記支持台に関するイメージ情報のうち少なくとも一つに基づいて前記支持台に載置されるか前記支持台から片づけられる少なくとも一つのサービング客体を認識し、前記認識の結果を前記第1状況情報としてさらに獲得する、請求項8に記載のシステム。
【請求項10】
前記サービング客体に関する空間別需要には前記サービング客体のサービングに対する空間別需要および前記サービング客体のバッシング(bussing)に対する空間別需要のうち少なくとも一つが含まれる、請求項8に記載のシステム。
【請求項11】
前記状況情報管理部は、前記第1状況情報、前記第2状況情報および前記サービング客体に関する空間別需要のうち少なくとも一つが前記パトロール場所内の複数のパトロールロボットの間で共有されるようにする、請求項8に記載のシステム。
【請求項12】
前記任務および移動管理部は、前記パトロールロボットが前記サービング客体に関する空間別需要がさらに高い空間を優先的に訪問するように前記パトロールロボットの移動経路を決定する、請求項8に記載のシステム。
【請求項13】
前記任務および移動管理部は、前記第1状況情報、前記第2状況情報および前記サービング客体に関する空間別需要のうち少なくとも一つに基づいて前記パトロールロボットの移動速度をさらに決定する、請求項8に記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明はパトロールロボットを制御するための方法、システムおよび非一過性のコンピュータ読み取り可能な記録媒体に関する。
【背景技術】
【0002】
サービングとは、食堂などの場所で顧客に飲料や飲食などの客体を提供することを意味し、最近ロボットなどが開発されてウェイターやウェイトレスの代わりに、またはこれらを補助してサービングに利用されている。このようなロボットは大体飲食の注文を受けたり注文にともなうサービングを遂行する機能を有し、テーブル位置情報などを利用して自律走行をしたりもする。このようなロボットは移動手段(障害物の回避のためのセンサを含む)、メニューの出力または注文の入力のためのディスプレイ手段などを含んで構成され得る。また、ロボットは飲食や飲食容器の配置や運搬のための手段を含むことができる。
【0003】
これに関する従来技術の一例として、特許文献1に開示された技術を挙げることができる。これによると、食堂内で注文を受け、注文された飲食物が載置されたトレイを移送する飲食店のサービングのためのロボットシステムであって、同期駆動される一対の多関節ロボットアームと、多関節ロボットアームの下段に回動可能に結合され、トレイを固定するトレイ把持部を含む上段部、メイン車輪と一つ以上の補助車輪を含むロボット移動部が下部に設けられた下段部、下段部に固定され上段部が回転可能に連結された中間部、および一対の多関節ロボットアーム、トレイ把持部および前記ロボット移動部の作動を制御する制御部を含むものの、トレイ把持部は多関節ロボットアームの端部に回動可能に結合されたハンド、ハンドに上下移動可能に備えられた固定部、トレイの下部に位置し固定部に結合されたグリッパー、トレイの上部に位置し前記グリッパーと対向するように固定部に結合されたストッパー、多関節ロボットアームの端部が下方向に駆動されるとともに、トレイにストッパーが押圧されて上方向に移動する固定部で押圧されるスイッチ、固定部が上方向に移動時に収縮するスプリング、およびグリッパーの角度を感知するグリッパー角度感知部を含むことを特徴とするロボットシステムが紹介されたことがある。
【0004】
一方、前述したような従来のサービングロボットをはじめとしてこれまで紹介されたサービングロボットは、基本的に食堂などのサービング場所で飲食の注文を受けるかその注文にともなうサービングをする任務を遂行するように開発されてきたが、このようなサービングロボットは、カクテルパーティー、カンファレンス(conference)等の行事でのように注文を受けた飲食をサービングする任務よりは、行事場所を歩き回りながら準備されたサービング客体(例えば、飲食、飲料など)を参加者に分け与えたり、分け与えたサービング客体を回収する任務(すなわち、バッシング(bussing))を遂行するには適合でない面があった。
【0005】
そこで、本発明者(ら)は、行事場所を歩き回りながら準備されたサービング客体を参加者に分け与えたり、分け与えたサービング客体を回収する任務を遂行するパトロールロボットを制御するための技術を提案するところである。
【先行技術文献】
【特許文献】
【0006】
【発明の概要】
【発明が解決しようとする課題】
【0007】
本発明は前述した従来技術の問題点をすべて解決することを目的とする。
また、本発明は、パトロールロボットに結合される支持台に関する重さ情報および該当支持台に関するイメージ情報のうち少なくとも一つとパトロール場所での該当パトロールロボットの位置に関する情報を該当パトロールロボットに関する第1状況情報として獲得し、第1状況情報に基づいて該当パトロールロボットの任務および移動経路を決定することを他の目的とする。
【0008】
また、本発明は、パトロール場所でのサービング客体に関する空間別需要を参照してパトロールロボットの任務および移動経路を決定することをさらに他の目的とする。
【課題を解決するための手段】
【0009】
前述の目的を達成するための本発明の代表的な構成は次の通りである。
【0010】
本発明の一態様によると、パトロール(patrolling)ロボットを制御するための方法であって、パトロールロボットに結合される支持台に関する重さ情報および前記支持台に関するイメージ情報のうち少なくとも一つとパトロール場所での前記パトロールロボットの位置に関する情報を前記パトロールロボットに関する第1状況情報として獲得する段階、および前記第1状況情報に基づいて前記パトロールロボットの任務および移動経路を決定する段階を含み、前記獲得段階で、前記パトロール場所内の空間別参加者数および前記パトロール場所内の空間別のサービングまたはバッシングされたサービング客体の量のうち少なくとも一つを前記パトロール場所に関する第2状況情報として獲得し、前記第2状況情報に基づいて前記パトロール場所でのサービング客体に関する空間別需要を推定し、前記決定段階で、前記サービング客体に関する空間別需要を参照して前記パトロールロボットの任務および移動経路を決定し、前記パトロール場所内の特定の空間における前記サービング客体に関する空間別需要は、前記特定の空間でサービングまたはバッシングされた客体の量と該当空間の参加者数の比率に基づいて推定される方法が提供される。
【0011】
本発明の他の態様によると、パトロール(patrolling)ロボットを制御するためのシステムであって、パトロールロボットに結合される支持台に関する重さ情報および前記支持台に関するイメージ情報のうち少なくとも一つとパトロール場所での前記パトロールロボットの位置に関する情報を前記パトロールロボットに関する第1状況情報として獲得する状況情報管理部、および前記第1状況情報に基づいて前記パトロールロボットの任務および移動経路を決定する任務および移動管理部を含み、前記状況情報管理部は、前記パトロール場所内の空間別参加者数および前記パトロール場所内の空間別のサービングまたはバッシングされたサービング客体の量のうち少なくとも一つを前記パトロール場所に関する第2状況情報として獲得し、前記第2状況情報に基づいて前記パトロール場所でのサービング客体に関する空間別需要を推定し、前記任務および移動管理部は、前記サービング客体に関する空間別需要を参照して前記パトロールロボットの任務および移動経路を決定し、前記パトロール場所内の特定の空間における前記サービング客体に関する空間別需要は、前記特定の空間でサービングまたはバッシングされた客体の量と該当空間の参加者数の比率に基づいて推定されるシステムが提供される。
【0012】
この他にも、本発明を具現するための他の方法、他のシステムおよび前記方法を実行するためのコンピュータプログラムを記録した非一過性のコンピュータ読み取り可能な記録媒体がさらに提供される。
【発明の効果】
【0013】
本発明によると、パトロールロボットに結合される支持台に関する重さ情報および該当支持台に関するイメージ情報のうち少なくとも一つとパトロール場所での該当パトロールロボットの位置に関する情報を該当パトロールロボットに関する第1状況情報として獲得し、第1状況情報に基づいて該当パトロールロボットの任務および移動経路を決定できることになる。
【0014】
また、本発明によると、パトロール場所でのサービング客体に関する空間別需要を参照してパトロールロボットの任務および移動経路を決定できることになる。
【図面の簡単な説明】
【0015】
【
図1】本発明の一実施例によりパトロールロボットを制御するための全体システムの概略的な構成を示す図面である。
【
図2】本発明の一実施例に係るロボット制御システムの内部構成を詳細に図示する図面である。
【
図3】本発明の一実施例に係るパトロールロボットの構造を例示的に示す図面である。
【
図4】本発明の一実施例に係るパトロールロボットの構造を例示的に示す図面である。
【
図5】本発明の一実施例によりパトロールロボットの任務および移動経路を決定する過程を例示的に示す図面である。
【
図6】本発明の一実施例によりパトロールロボットの任務および移動経路を決定する過程を例示的に示す図面である。
【発明を実施するための形態】
【0016】
後述する本発明に対する詳細な説明は、本発明が実施され得る特定の実施例を例示として図示する添付図面を参照する。このような実施例は当業者が本発明を充分に実施できるほど詳細に説明される。本発明の多様な実施例は互いに異なるが互いに排他的である必要はないことが理解されるべきである。例えば、本明細書に記載されている特定形状、構造および特性は、本発明の精神と範囲を逸脱することなく一実施例から他の実施例に変更されて具現され得る。また、それぞれの実施例内の個別構成要素の位置または配置も本発明の精神と範囲を逸脱することなく変更され得ることが理解されるべきである。したがって、後述する詳細な説明は限定的な意味として行われるものではなく、本発明の範囲は特許請求の範囲の請求項が請求する範囲およびそれと均等なすべての範囲を含むものと理解されるべきである。図面で類似する参照符号は多様な側面に亘って同一または類似する構成要素を示す。
【0017】
以下では、本発明が属する技術分野で通常の知識を有する者が本発明を容易に実施できるようにするために、本発明の多様な好ましい実施例に関して添付された図面を参照して詳細に説明することにする。
【0018】
[全体システムの構成]
【0019】
図1は、本発明の一実施例によりパトロールロボットを制御するための全体システムの概略的な構成を示す図面である。
【0020】
図1に図示された通り、本発明の一実施例に係る全体システムは通信網100、ロボット制御システム200およびパトロールロボット300を含むことができる。
【0021】
まず、本発明の一実施例に係る通信網100は有線通信や無線通信のような通信形態にかかわらず構成され得、近距離通信網(LAN:Local Area Network)、都市圏通信網(MAN:Metropolitan Area Network)、広域通信網(WAN:Wide Area Network)等の多様な通信網で構成され得る。好ましくは、本明細書における通信網100は公知のインターネットまたはワールドワイドウェブ(WWW:World Wide Web)であり得る。しかし、通信網100は、あえてこれに限定される必要はなく、公知の有線/無線データ通信網、公知の電話網または公知の有線/無線テレビ通信網をその少なくとも一部において含んでもよい。
【0022】
例えば、通信網100は無線データ通信網として、ワイファイ(WiFi)通信、ワイファイダイレクト(WiFi Direct)通信、ロングタームエボリューション(LTE:Long Term Evolution)通信、5G通信、ブルートゥース(登録商標)通信(低電力ブルートゥース(登録商標)(BLE:Bluetooth(登録商標) Low Energy)通信を含む)、赤外線通信、超音波通信などのような従来の通信方法を少なくとも一部分において具現するものであり得る。他の例を挙げると、通信網100は光通信網として、ライファイ(LiFi:Light Fidelity)などのような従来の通信方法を少なくともその一部分において具現するものであり得る。
【0023】
次に、本発明の一実施例に係るロボット制御システム200は、パトロールロボットに結合される支持台に関する重さ情報および該当支持台に関するイメージ情報のうち少なくとも一つとパトロール場所での該当パトロールロボットの位置に関する情報を該当パトロールロボットに関する第1状況情報として獲得し、第1状況情報に基づいて該当パトロールロボットの任務および移動経路を決定する機能を遂行することができる。
【0024】
本発明に係るロボット制御システム200の構成と機能に関しては以下の詳細な説明を通じて詳察することにする。
【0025】
次に、本発明の一実施例に係るパトロールロボット300は通信網100を通じてロボット制御システム200と通信することができ、使用者(例えば、従業員、顧客等)による操作なしに所定の機能や付与された作業(例えば、飲食のサービング、容器の回収など)を自律的に遂行できる機器であって、少なくとも一つのサービング客体を支持するように構成される支持台を含むことができる。また、本発明の一実施例に係るパトロールロボット300はサービング客体(例えば、飲食トレイ)のローディングおよびアンローディングのためのモジュール(例えば、グラブ、ロボットアームモジュールなど)、周辺映像を獲得するための映像モジュール(例えば、可視光線カメラ、赤外線カメラなど)、障害物情報を獲得するためのスキャナモジュール(例えば、ライダー(LIDAR:Light Detection And Ranging)センサなど)、周辺の音声を獲得するための音声獲得モジュール(例えば、マイクなど)、映像および音声を提供するためのディスプレイおよびスピーカーモジュール、およびパトロールロボット300の移動のための駆動モジュール(例えば、モータなど)のうち少なくとも一つのモジュールを含むことができる。
【0026】
例えば、このようなパトロールロボット300は案内ロボット、サービングロボット、運搬ロボット、掃除ロボット、医療ロボット、エンターテインメントロボット、ペットロボットおよび無人飛行ロボットのうち少なくとも一つと類似する特性や機能を有するロボットであり得る。一方、本明細書でサービング客体を支持するとは、飲食や飲料のようなサービング客体を入れる容器、その容器を載置できる手段(例えば、トレイなど)等を支持することを含む意味で解釈されるべきである。
【0027】
一方、本発明の一実施例によると、パトロールロボット300には本発明によりパトロールロボット300を制御するためのアプリケーション(図示されず)が含まれ得る。このようなアプリケーションはロボット制御システム200または外部のアプリケーション配布サーバー(図示されず)からダウンロードされたものであり得る。本発明の一実施例によると、このようなアプリケーションの性格は後述するようなロボット制御システム200の状況情報管理部210、任務および移動管理部220、通信部230および制御部240と全般的に類似し得る。ここで、アプリケーションはその少なくとも一部が必要に応じてそれと実質的に同一または均等な機能を遂行できるハードウェア装置やファームウェア装置で置換されてもよい。
【0028】
図3および
図4は、本発明の一実施例に係るパトロールロボット300の構造を例示的に示す図面である。
【0029】
図3を参照すると、パトロールロボット300は本体310、駆動部320およびプロセッサ330を含んで構成され得る。
【0030】
まず、本発明の一実施例に係る本体310には少なくとも一つのサービング客体を支持するように構成される支持台340a、340bおよび340cが結合され得る。本発明の一実施例によると、このような支持台340a、340bおよび340cは洗浄、取り替えなどのために着脱可能に結合されたものであり得る。また、それぞれの支持台340a、340bおよび340cにはそのそれぞれの支持台340a、340bおよび340cによって支持される重さを感知するための重さセンサ(図示されず)が含まれ得る。本発明の一実施例によると、重さセンサは一つ以上の変形率計(strain gauge)(例えば、3個の変形率計、4個の変形率計など)を使って具現され得る。そして、本発明の一実施例によると、このような重さセンサはプロセッサ330に結合されたものであり得る。
【0031】
また、本発明の一実施例に係る本体310には、重さセンサの代わりにまたはそれに加えて、それぞれの支持台340a、340bおよび340c上の空間領域を眺めるように構成される撮影モジュール(図示されず)が含まれ得る。一方、本発明の一実施例によると、それぞれの支持台340a、340bおよび340c上の空間領域を眺めるように構成される撮影モジュールは必ずしも本体310に含まれなければならないものではなく、少なくとも一部の撮影モジュールはパトロール場所の構造物に設置されたものであってもよい。
【0032】
一方、本発明の一実施例に係る本体310には運送対象客体または回収対象客体(本明細書で、運送対象客体または回収対象客体はサービング客体と称される)を積載するための少なくとも一つの積載空間が含まれ得る。そして、本発明の一実施例によると、このような積載空間には支持台340a、340bおよび340cが含まれ得る。本発明の一実施例に係る運送対象客体および回収対象客体は移動できるすべての有形物を総称する概念であって、例えば事物、動物、人などを含む概念であり得る。例えば、運送対象客体は飲食物であり、回収対象客体は該当飲食物が入っている容器であり得る。
【0033】
図4を参照すると、本発明の一実施例に係るパトロールロボット300は運送対象客体の提供(すなわち、サービング(serving))および回収対象客体の回収(すなわち、バッシング(bussing))のための第1空間410および第2空間420を含むことができる。また、パトロールロボット300は着脱式柱を通じて提供される拡張空間である第3空間430をさらに含むことができ、必要に応じて拡張空間をさらに追加することによってより多くの積載空間を具備することができる。また、パトロールロボット300は運送対象客体または回収対象客体専用のトレイ440をさらに含んでもよい。例えば、トレイ440は上から見る時、その上面に複数個の円形溝が形成された構成を有することができる。それぞれの円形溝は飲料が入っているカップの下部が載置されて容易にある程度固定されるように形成されていてもよい。このような円形溝の大きさは多様であり得る。また、パトロールロボット300の第1空間410の下部にはパトロールロボット300の側面を通じて取り出され得る第4空間450がさらに含まれ得る。本発明の一実施例に係る第4空間450はその内部に空いた空間が形成されており、側面は閉塞しており、上面は開いており、下面は閉まっている、籠に類似する形態を有することができる。ただし、本発明の一実施例に係るパトロールロボット300の積載空間は前記列挙された内容に限定されて具現されるものではなく、本発明の目的を達成できる範囲内で他の形態の積載空間等で多様に具現され得る。
【0034】
次に、再び
図3を参照すると、本発明の一実施例に係る駆動部320は、本体310を他の地点に移動させるためのモジュールで構成され得る。例えば、駆動部320は、本体310を他の地点に移動させるためのモジュールであって、電気式、機械式、または油圧式で駆動される車輪、プロペラなどに関するモジュールなどを含むことができる。
【0035】
次に、本発明の一実施例に係るプロセッサ330は駆動部320と電気的に連結されて駆動部320を制御する機能を遂行することができ(外部システムとの通信のための通信モジュールをさらに含んでもよい)、例えばプログラム内に含まれたコードまたは命令で表現された機能を遂行するために物理的に構造化された回路を有する、ハードウェアに内蔵されたデータ処理装置を意味し得る。例えば、このようにハードウェアに内蔵されたデータ処理装置は、マイクロプロセッサ(microprocessor)、中央処理装置(central processing unit)、プロセッサコア(processor core)、マルチプロセッサ(multiprocessor)、ASIC(application-specific integrated circuit)、FPGA(field programmable gate array)等の処理装置を含むことができる。
【0036】
また、プロセッサ330は本発明に係るロボット制御システム200の状況情報管理部210と任務および移動管理部220のうち少なくとも一つの機能を遂行することができ(例えば、該当機能がモジュール化されてプロセッサ330に含まれ得る)、状況情報管理部210と任務および移動管理部220のうち少なくとも一つの機能を遂行する外部システム(図示されず)との通信を通じて駆動部320を制御する機能を遂行してもよい。
【0037】
具体的には、プロセッサ330はパトロールロボット300に結合される支持台に関する重さ情報および該当支持台に関するイメージ情報のうち少なくとも一つとパトロール場所での該当パトロールロボット300の位置に関する情報を該当パトロールロボット300に関する第1状況情報として獲得し、第1状況情報に基づいて該当パトロールロボット300の任務および移動経路を決定する機能を遂行することができる。
【0038】
一方、本明細書では、本発明に係るパトロール場所が宴会場やカンファレンスルームである実施例に対して主に説明されるが、パトロール場所は必ずしもここにのみ限定されるものではなく、本発明の目的を達成できる範囲内でいくらでも変更できることを明らかにしておく。例えば、本発明は一般的な食堂で歩き回るロボットに対しても適用され得る。
【0039】
[ロボット制御システムの構成]
【0040】
以下では、本発明の具現のために重要な機能を遂行するロボット制御システム200の内部構成と各構成要素の機能について詳察することにする。
【0041】
図2は、本発明の一実施例に係るロボット制御システム200の内部構成を詳細に図示する図面である。
【0042】
図2に図示された通り、本発明の一実施例に係るロボット制御システム200は、状況情報管理部210、任務および移動管理部220、通信部230および制御部240を含んで構成され得る。本発明の一実施例によると、状況情報管理部210、任務および移動管理部220、通信部230および制御部240は、そのうちの少なくとも一部が外部のシステム(図示されず)と通信するプログラムモジュールであり得る。このようなプログラムモジュールは運営システム、アプリケーションモジュールまたはその他プログラムモジュールの形態でロボット制御システム200に含まれ得、物理的には多様な公知の記憶装置に保存され得る。また、このようなプログラムモジュールはロボット制御システム200と通信可能な遠隔記憶装置に保存されてもよい。一方、このようなプログラムモジュールは本発明により後述する特定の業務を遂行したり特定の抽象データ類型を実行するルーチン、サブルーチン、プログラム、客体、コンポーネント、データ構造などを包括するが、これに制限されはしない。
【0043】
一方、ロボット制御システム200に関して前記のように説明したが、このような説明は例示的なものであり、ロボット制御システム200の構成要素または機能のうち少なくとも一部が必要に応じてパトロールロボット300または外部システム(図示されず)内で具現されたり、パトロールロボット300または外部システム(図示されず)内に含まれ得るということは当業者に自明である。また、場合によっては、ロボット制御システム200のすべての機能と構成要素がパトロールロボット300内ですべて具現されたり、パトロールロボット300内にすべて含まれ得る。
【0044】
まず、本発明の一実施例に係る状況情報管理部210はパトロールロボット300に結合される支持台に関する重さ情報および該当支持台に関するイメージ情報のうち少なくとも一つとパトロール場所での該当パトロールロボット300の位置に関する情報を該当パトロールロボット300に関する第1状況情報として獲得する機能を遂行することができる。
【0045】
具体的には、本発明の一実施例に係る状況情報管理部210は、支持台に含まれる重さセンサからその重さセンサによって感知される重さまたはその重さの変化を支持台に関する重さ情報として獲得することができる。本発明の一実施例によると、このような重さ情報はパトロールロボット300に結合される少なくとも一つの支持台に関して獲得され得る。
【0046】
引き続き、本発明の一実施例に係る状況情報管理部210は、支持台上の空間領域を眺めるように構成される撮影モジュールからその撮影モジュールによって撮影されるイメージまたはそのイメージの変化を支持台に関するイメージ情報として獲得することができる。本発明の一実施例によると、このようなイメージ情報はパトロールロボット300に結合される少なくとも一つの支持台に関して獲得され得る。
【0047】
引き続き、本発明の一実施例に係る状況情報管理部210は、パトロール場所でのパトロールロボット300の位置に関する情報を獲得することができる。このために、パトロールロボット300はビーコン(Beacon)、RFID(Radio Frequency Identifier)などを基盤とする位置測定モジュールを具備することができるが、位置を測定するための方式に制限があるものではない。例えば、本発明の一実施例に係る状況情報管理部210は、パトロールロボット300に備えられた位置測定モジュールを使う代わりにまたはそれに加えて、パトロール場所に設置されたカメラ(例えば、天井に設置されたカメラなど)によって獲得される映像を分析することによって、パトロールロボット300の位置に関する情報を獲得してもよい。
【0048】
そして、本発明の一実施例によると、このようなパトロールロボット300の位置に関する情報は、サービングまたはバッシングサービスの提供を受ける参加者が集まった場所での位置だけでなく、サービングのためにパトロールロボット300がサービング客体の(再)供給を受けるための場所(例えば、台所など)での位置とバッシングのためにパトロールロボット300がサービング客体を返却するための場所(例えば、洗浄室など)での位置に関する情報を含むことができる。すなわち、本発明の一実施例によると、パトロール場所はパトロールロボット300が歩き回ることができるすべての場所を含む概念として理解されるべきである。本発明の一実施例によると、このようなパトロールロボット300の位置に関する情報は、パトロール場所に関する所定のマップでのパトロールロボット300の座標に関する情報を意味し得るが、これに制限されるものではない。
【0049】
一方、本発明の一実施例に係る状況情報管理部210は、支持台に関する重さ情報および支持台に関するイメージ情報のうち少なくとも一つに基づいて支持台に載置されるか支持台から片づけられる少なくとも一つのサービング客体を認識する機能を遂行することができる。そして、本発明の一実施例に係る状況情報管理部210は、前記のようにサービング客体が認識されると、その認識の結果をパトロールロボット300に関する第1状況情報として獲得することができる。
【0050】
具体的には、本発明の一実施例に係る状況情報管理部210は、支持台に関する重さ情報および支持台に関するイメージ情報のうち少なくとも一つに基づいて支持台にサービング客体が載置されるか支持台からサービング客体が片づけられるかの可否を判断することができる。ひいては、本発明の一実施例に係る状況情報管理部210は、支持台に関する重さ情報および支持台に関するイメージ情報のうち少なくとも一つに基づいて支持台に載置されるか支持台から片づけられるサービング客体が何であるかを具体的に認識することもできる。
【0051】
ここで、本発明の一実施例によると、サービング客体が支持台に載置されるか支持台から片づけられるとは、サービング客体が支持台に直接載置されるか支持台から直接片づけられる場合を含むだけでなく、支持台上に配置された構造体に載置されるかその構造体から片づけられる場合まで含む意味として理解されるべきである。例えば、
図3を参照すると、サービング客体が支持台340cの上に配置された構造体350に載置されるかその構造体350から片づけられる場合も、サービング客体が支持台340cに載置されるか支持台340cから片づけられると表現され得る。同様に、
図4を参照すると、飲料および飲食が支持台上に配置された構造体440および450に載置されるかその構造体440および450から片づけられる場合も飲料および飲食が支持台に載置されるか支持台から片づけられると表現され得る。
【0052】
例えば、本発明の一実施例に係る状況情報管理部210は、支持台に含まれる重さセンサによって感知される重さの変化および支持台上の空間領域を眺めるように構成される撮影モジュールによって撮影されるイメージの変化のうち少なくとも一つに基づいて、サービング客体が支持台に載置されるか支持台から片づけられるかの可否を判断することができる。
【0053】
他の例を挙げると、本発明の一実施例に係る状況情報管理部210は、パトロール場所で提供され得るサービング客体の重さに関するデータベースを参照して支持台に関する重さ情報を処理することによって、支持台に載置されるか支持台から片づけられるサービング客体を具体的に認識することができる。
【0054】
さらに他の例を挙げると、本発明の一実施例に係る状況情報管理部210は、サービング客体に関するマシンラーニング基盤の客体認識モデルを利用して支持台に関するイメージ情報を処理することによって、支持台に載置されるか支持台から片づけられるサービング客体を具体的に認識することができる。ここで、本発明の一実施例によると、客体認識モデルはR-CNN(Region-based Convolutional Neural Networks)、YOLO(You Only Look Once)、SSD(Single Shot Detector)等のアルゴリズムを利用して具現され得るが、必ずしもこれに限定されるものではなく、本発明の目的を達成できる範囲内で多様に変更され得る。
【0055】
また、本発明の一実施例に係る状況情報管理部210は、パトロール場所内の空間別参加者数およびパトロール場所でのパトロール記録のうち少なくとも一つをパトロール場所に関する第2状況情報として獲得することができる。
【0056】
具体的には、本発明の一実施例に係る状況情報管理部210は、パトロール場所で参加者が集まっている状態に基づいてパトロール場所の少なくとも一部を他の空間と区別される空間として特定することができ、その特定された空間に含まれる参加者数を推定することによって該当空間の参加者数をパトロール場所に関する第2状況情報として獲得することができる。
【0057】
より具体的には、本発明の一実施例に係る状況情報管理部210は、パトロールロボット300および/またはパトロール場所に含まれるか設置され得る映像モジュール(例えば、可視光線カメラ、赤外線カメラなど)、スキャナモジュール(例えば、ライダー(LIDAR)センサなど)および音声獲得モジュール(例えば、マイクなど)のうち少なくとも一つのモジュールを利用して、ロボットの周辺および/またはパトロール場所の少なくとも一部の空間に参加者が集まっている程度を推定することができ、これに基づいてパトロール場所内の空間別参加者数を獲得することができる。
【0058】
例えば、
図5を参照すると、本発明の一実施例に係る状況情報管理部210は、パトロール場所で参加者が集まっている状態に基づいてパトロール場所の一部の空間を第1空間510、第2空間520および第3空間530として特定し、該当空間510、520および530にそれぞれ含まれる参加者数を推定することによって、パトロール場所内の空間510、520および530別参加者数(すなわち、6人、4人および2人)を獲得することができる。
【0059】
一方、本発明の一実施例に係るパトロール場所内の空間別参加者数を獲得する方式は前述したものに限定されず、参加者数を獲得するために特定される空間の大きさや形態も本発明の目的を達成できる範囲内で多様に変更され得るものと理解されるべきである。例えば、本発明の一実施例に係る状況情報管理部210は、パトロール場所にテーブルが配置された場合には各テーブル(またはその周辺)を一つの固定された空間として特定することができ、
図5に図示された通り、パトロール場所が、参加者が自由に移動できる形態で構成されている場合には参加者が集まっている状態に基づいて空間を動的に特定してもよい。
【0060】
引き続き、本発明の一実施例に係る状況情報管理部210は、パトロール場所でのパトロール記録をパトロール場所に関する第2状況情報として獲得することができる。本発明の一実施例に係る状況情報管理部210は、前述したパトロールロボット300に関する第1状況情報に基づいてこのようなパトロール記録を獲得することができ、ここにはサービング客体に関するサービング記録(例えば、パトロールロボット300がサービングのために訪問した空間の位置、訪問時間、訪問時に使った時間、サービングしたサービング客体の量、サービング時間、最後の訪問から経過した時間、最後のサービングから経過した時間、サービング客体が消尽した空間の位置など)およびサービング客体に関するバッシング記録(例えば、パトロールロボット300がバッシングのために訪問した空間の位置、訪問時間、訪問時に使った時間、バッシングしたサービング客体の量、バッシング時間、最後の訪問から経過した時間、最後のバッシングから経過した時間、回収するサービング客体がいっぱいとなった空間の位置など)のうち少なくとも一つが含まれ得る。本発明の一実施例に係る状況情報管理部210はこのようなパトロール記録をパトロール場所内の空間別に獲得することができ、サービング客体が具体的に認識される場合にはサービング客体別に獲得してもよい。
【0061】
さらに、本発明の一実施例に係る状況情報管理部210は、前述のように獲得されるパトロール場所に関する第2状況情報に基づいてパトロール場所でのサービング客体に関する空間別需要を推定することができる。本発明の一実施例によると、このようなサービング客体に関する空間別需要には、サービング客体のサービングに対する空間別需要およびサービング客体のバッシングに対する空間別需要のうち少なくとも一つが含まれ得る。
【0062】
具体的には、本発明の一実施例に係る状況情報管理部210は、特定の空間でサービングまたはバッシングされたサービング客体の量と該当空間の参加者数の比率、特定の空間に対するサービングまたはバッシングのためのパトロールロボット300の最後の訪問から経過した時間、その最後の訪問で使った時間(該当空間の参加者数が共に考慮され得る)、特定の空間に対するパトロールロボット300の最後のサービングまたはバッシングから経過した時間、パトロールロボット300がサービングするサービング客体が消尽した空間の位置およびパトロールロボット300が回収(すなわち、バッシング)するサービング客体がいっぱいとなった空間の位置のうち少なくとも一つに基づいて、特定の空間でのサービングに対する需要およびバッシングに対する需要のうち少なくとも一つを推定することができる。
【0063】
例えば、本発明の一実施例に係る状況情報管理部210は、特定の空間でサービング(またはバッシング)されたサービング客体の量を該当空間の参加者数で割った値が小さいほど、該当空間に対するサービング(またはバッシング)のためのパトロールロボット300の最後の訪問から経過した時間が長いほど、その最後の訪問でパトロールロボット300が使った時間が短いほど(または該当空間の参加者数に比べて使った時間が短いほど)、または、該当空間に対するパトロールロボット300の最後のサービング(またはバッシング)から経過した時間が長いほど、該当空間でのサービング(またはバッシング)に対する需要をさらに高く推定することができる。
【0064】
他の例を挙げると、本発明の一実施例に係る状況情報管理部210は、パトロールロボット300がサービングするサービング客体が消尽した空間でのサービングに対する需要を高く推定することができ、パトロールロボット300が回収(すなわち、バッシング)するサービング客体がいっぱいとなった空間でのバッシングに対する需要を高く推定することができる。
【0065】
ただし、本発明の一実施例によりサービング客体に関する空間別需要を推定するために考慮され得る要素およびサービング客体に関する空間別需要を推定する方式は前述したものに限定されず、本発明の目的を達成できる範囲内で多様に変更され得る。
【0066】
一方、本発明の一実施例に係る状況情報管理部210は、パトロールロボット300に関する第1状況情報、パトロール場所に関する第2状況情報およびサービング客体に関する空間別需要のうち少なくとも一つがパトロール場所内の複数のパトロールロボット300の間で共有されるようにする機能を遂行することができる。
【0067】
具体的には、本発明の一実施例に係る状況情報管理部210は、パトロール場所内で運用される複数のパトロールロボット300の間で前記のような第1状況情報、第2状況情報およびサービング客体に関する空間別需要のうち少なくとも一つが共有されるようにすることによって、後述するように、特定パトロールロボット300の任務、移動経路および移動速度のうち少なくとも一つを決定するにおいて、他のパトロールロボット300から獲得され得る第1状況情報、第2状況情報および/または第2状況情報に基づいて推定されるサービング客体に関する空間別需要が考慮されるようにすることができる。すなわち、本発明の一実施例に係る状況情報管理部210は、状況によって変わり得るパトロール場所でのサービング客体に関する空間別需要を複数のパトロールロボット300を利用して動的に推定し、このような空間別需要がその複数のパトロールロボット300の間で共有されるようにすることができる。
【0068】
次に、本発明の一実施例に係る任務および移動管理部220は、パトロールロボット300に関する第1状況情報に基づいてパトロールロボット300の任務および移動経路を決定する機能を遂行することができる。
【0069】
具体的には、本発明の一実施例に係る任務および移動管理部220は、前述したパトロールロボット300に関する第1状況情報に基づいてサービングおよびバッシングのうち少なくとも一つをパトロールロボット300の任務として決定することができる。より具体的には、本発明の一実施例に係る任務および移動管理部220は、パトロールロボット300に結合される支持台にサービング客体が載置されるか該当支持台からサービング客体が片づけられるかの可否および/またはそのサービング客体の認識の結果に基づいて、前述のようなパトロールロボット300の任務を決定することができる。そして、本発明の一実施例によると、このような任務は、サービングのために台所から出発、引き続き、サービング、サービングのために台所に復帰、サービングからバッシングに転換、引き続き、バッシング、バッシングのために洗浄室に復帰、バッシングのために洗浄室から出発、バッシングからサービングに転換などのように、より具体的に決定されてもよい。
【0070】
引き続き、本発明の一実施例に係る任務および移動管理部220は、前述したパトロールロボット300に関する第1状況情報に基づいてパトロールロボット300の移動経路を決定することができる。また、本発明の一実施例に係る任務および移動管理部220は、パトロール場所に関する第2状況情報に基づいて推定されるパトロール場所でのサービング客体に関する空間別需要を参照してパトロールロボット300の任務および移動経路を決定してもよい。
【0071】
具体的には、本発明の一実施例に係る任務および移動管理部220は、パトロールロボット300がサービング客体に関する空間別需要がさらに高い空間を優先的に訪問するようにパトロールロボット300の移動経路を決定することができる。また、本発明の一実施例に係る任務および移動管理部220は、サービングをするパトロールロボット300とバッシングをするパトロールロボット300の数が所定の割合で維持されるようにパトロールロボット300の任務を決定してもよい。ここで、本発明の一実施例によると、このような比率はパトロール状況によって動的に決定され得る。
【0072】
例えば、本発明の一実施例に係る任務および移動管理部220は、パトロールの初期やパトロール場所に参加者が増える場合のように、サービングに対する需要が高いかサービングに対する需要が増加する状況では、サービングをするパトロールロボット300がバッシングをするパトロールロボット300より多く維持されるようにすることができ、その反対の状況ではサービングをするパトロールロボット300がバッシングをするパトロールロボット300より少なく維持されるようにすることができる。
【0073】
一方、本発明の一実施例に係る任務および移動管理部220は、パトロールロボット300に関する第1状況情報、パトロール場所に関する第2状況情報およびサービング客体に関する空間別需要のうち少なくとも一つに基づいて、パトロールロボット300の移動速度を決定することができる。
【0074】
例えば、本発明の一実施例に係る状況情報管理部210は、パトロールロボット300に結合される支持台にサービング客体が載置されるか該当支持台からサービング客体が片づけられるかの可否に関する情報をパトロールロボット300に関する第1状況情報として獲得することができる。そして、パトロールロボット300が移動する途中で前記のようにサービング客体が載置されるか片づけられたのであれば、本発明の一実施例に係る任務および移動管理部220はパトロールロボット300の移動速度が遅くなるように決定することができる。また、該当支持台にサービング客体が載置されないか該当支持台からサービング客体が片づけられない状況が所定時間以上続くと、本発明の一実施例に係る任務および移動管理部220はパトロールロボット300の移動速度が速くなるように決定することができる。
【0075】
他の例を挙げると、本発明の一実施例に係る状況情報管理部210はパトロール場所内の空間別参加者数をパトロール場所に関する第2状況情報として獲得し、このような第2状況情報に基づいてパトロール場所でのサービング客体に関する空間別需要を推定することができる。そして、本発明の一実施例に係る任務および移動管理部220は特定の空間の参加者数が多いほど、または該当空間でのサービング客体に関する需要が高いほど該当空間でのパトロールロボット300の移動速度が遅くなるように決定することができる。その反対に、本発明の一実施例に係る任務および移動管理部220は特定の空間の参加者数が少ないほど、または該当空間でのサービング客体に関する需要が低いほど該当空間でのパトロールロボット300の移動速度が速くなるように決定することができる。
【0076】
図5および
図6は、本発明の一実施例によりパトロールロボットの任務および移動経路を決定する過程を例示的に示す図面である。
【0077】
例えば、
図5を参照すると、本発明の一実施例に係る状況情報管理部210は、パトロールロボット300に結合される支持台に関する重さ情報および該当支持台に関するイメージ情報のうち少なくとも一つとパトロールロボット300の位置に関する情報をパトロールロボット300に関する第1状況情報として獲得することができる。そして、本発明の一実施例に係る任務および移動管理部220は、該当支持台に載置されたサービング客体が消尽するまでパトロールロボット300の任務をサービングとして決定するか、該当支持台に回収するサービング客体がいっぱいとなるまでパトロールロボット300の任務をバッシングとして決定することができる。そして、本発明の一実施例に係る任務および移動管理部220は、パトロールロボット300が既に設定された移動経路に沿って移動するものとしてパトロールロボット300の移動経路501を決定したり、パトロール場所内の空間510、520および530別に参加者が集まっている状態に基づいて適切な移動経路501を動的に決定することができる。
【0078】
他の例を挙げると、
図6を参照すると、本発明の一実施例に係る状況情報管理部210は、パトロール場所内の空間510、520および530別参加者数およびパトロール場所でのパトロール記録のうち少なくとも一つをパトロール場所に関する第2状況情報として獲得することができる。そして、本発明の一実施例に係る任務および移動管理部220は、第2状況情報に基づいて推定されるパトロール場所でのサービング客体に関する空間510、520および530別需要を参照して、サービング客体に関する空間510、520および530別需要がさらに高い空間を優先的に訪問するようにパトロールロボット300の移動経路601を決定することができる。
【0079】
次に、本発明の一実施例に係る通信部230は、状況情報管理部210と任務および移動管理部220からの/へのデータの送受信を可能にする機能を遂行することができる。
【0080】
最後に、本発明の一実施例に係る制御部240は状況情報管理部210、任務および移動管理部220および通信部230間のデータの流れを制御する機能を遂行することができる。すなわち、本発明の一実施例に係る制御部240はロボット制御システム200の外部からの/へのデータの流れまたはロボット制御システム200の各構成要素間のデータの流れを制御することによって、状況情報管理部210、任務および移動管理部220および通信部230でそれぞれ固有機能を遂行するように制御することができる。
【0081】
以上で説明された本発明に係る実施例は、多様なコンピュータ構成要素を通じて実行され得るプログラム命令語の形態で具現されてコンピュータ読み取り可能な記録媒体に記録され得る。コンピュータ読み取り可能な記録媒体は、プログラム命令語、データファイル、データ構造などを単独でまたは組み合わせて含むことができる。コンピュータ読み取り可能な記録媒体に記録されるプログラム命令語は、本発明のために特別に設計されて構成されたものであるか、コンピュータソフトウェア分野の当業者に公知になっていて使用可能なものであり得る。コンピュータ読み取り可能な記録媒体の例には、ハードディスク、フロッピーディスクおよび磁気テープのような磁気媒体、CD-ROMおよびDVDのような光記録媒体、フロプティカルディスク(floptical disk)のような磁気-光媒体(magneto-optical medium)、およびROM、RAM、フラッシュメモリなどのような、プログラム命令語を保存し実行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるような機械語コードだけでなくインタープリタなどを使ってコンピュータによって実行され得る高級言語コードも含まれる。ハードウェア装置は本発明に係る処理を遂行するために一つ以上のソフトウェアモジュールに変更され得、その逆も同じである。
【0082】
以上、本発明が具体的な構成要素などのような特定事項と限定された実施例および図面によって説明されたが、これは本発明のより全般的な理解を助けるために提供されたものに過ぎず、本発明は前記実施例に限定されるものではなく、本発明が属する技術分野で通常の知識を有する者であればこのような記載から多様な修正と変更を試みることができる。
【0083】
したがって、本発明の思想は前述に説明された実施例に限定されて定められてはならず、後述する特許請求の範囲だけでなくこの特許請求の範囲と均等なまたはこれから等価的に変更されたすべての範囲は本発明の思想の範疇に属すると言える。
【符号の説明】
【0084】
100:通信網
200:ロボット制御システム
210:状況情報管理部
220:任務および移動管理部
230:通信部
240:制御部
300:パトロールロボット