(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-01-19
(45)【発行日】2023-01-27
(54)【発明の名称】ロボット遠隔制御方法及びシステム
(51)【国際特許分類】
G05D 1/00 20060101AFI20230120BHJP
G05D 1/02 20200101ALI20230120BHJP
G08G 1/16 20060101ALI20230120BHJP
【ＦＩ】
G05D1/00 B
G05D1/02 K
G08G1/16 A
【請求項の数】
9
(21)【出願番号】P 2021122299
(22)【出願日】2021-07-27
(65)【公開番号】P2022027569
(43)【公開日】2022-02-10
【審査請求日】2021-07-27
(31)【優先権主張番号】10-2020-0094178
(32)【優先日】2020-07-29
(33)【優先権主張国・地域又は機関】KR
(73)【特許権者】
【識別番号】319012978
【氏名又は名称】ネイバーラボス コーポレーション
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【弁理士】
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】キム ガヒョン
【審査官】松本 泰典
(56)【参考文献】
【文献】特開２０１０－１２８７９９（ＪＰ，Ａ）
【文献】特表２０１４－５０３３７６（ＪＰ，Ａ）
【文献】特開２００７－２２１１９１（ＪＰ，Ａ）
【文献】特開２０１７－００３８６６（ＪＰ，Ａ）
【文献】特開２０１４－０１６８５８（ＪＰ，Ａ）
【文献】特開平１１－１４９３１５（ＪＰ，Ａ）
【文献】特開２０１７－２１１８９３（ＪＰ，Ａ）
【文献】特開２０１９－０７７５２８（ＪＰ，Ａ）
【文献】特開２００２－０８４５３１（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０５Ｄ １／０２
Ｇ０８Ｇ １／１６
Ｇ０６Ｑ ５０／００
Ｂ２５Ｊ １／００
Ｇ０８Ｂ １／００
Ｇ０６Ｆ ３／００
Ｈ０４Ｎ １／００
(57)【特許請求の範囲】
【請求項1】
ロボットの走行を遠隔制御する方法であって、前記ロボットに備えられたカメラから、前記ロボット周辺の周辺画像を受信するステップと、
前記周辺画像と共に、前記周辺画像に対応する場所情報を含む地図イメージをディスプレイ部に出力するステップであり、前記ディスプレイ部のディスプレイ領域は、メイン領域、および、サブ領域、を含む、ステップと、
前記周辺画像及び前記地図イメージが前記ディスプレイ部に出力されている状態で、前記ディスプレイ部に対するユーザ入力に応答して、前記ロボットの走行を制御するための制御命令を生成するステップと、
前記ロボットが前記制御命令に基づいて走行するように、前記制御命令を、前記ロボットに送信するステップと、を含み、
前記制御命令を生成するステップにおいて、
前記ユーザ入力が前記サブ領域に加えられる場合に、前記ロボットの走行を制御するための前記制御命令を生成すると共に、前記ディスプレイ領域を制御して、前記メイン領域及び前記サブ領域にそれぞれ出力されていた視覚的な情報を互いに切り替え、
前記ユーザ入力が前記メイン領域に加えられる場合に、前記ディスプレイ領域を制御することなく、前記ロボットの走行を制御するための前記制御命令を生成する、
ことを特徴とする、方法。
【請求項2】
前記サブ領域は、前記メイン領域の少なくとも一部にオーバーラップし、
前記周辺画像及び前記地図イメージのいずれか一方は、前記メイン領域に出力され、他方は、前記サブ領域に出力される、
ことを特徴とする、請求項１に記載の方法。
【請求項3】
前記メイン領域に前記周辺画像が出力され、前記サブ領域に前記地図イメージが出力されている状態で、前記ユーザ入力が前記サブ領域に加えられた場合には、前記制御命令を生成するステップにおいて、
前記ユーザ入力に応答して、前記ロボットの走行を制御するための前記制御命令を生成すると共に、前記サブ領域に出力されていた前記地図イメージを前記メイン領域に出力し、前記メイン領域に出力されていた前記周辺画像を前記サブ領域に出力する、
ことを特徴とする、請求項１に記載の方法。
【請求項4】
前記地図イメージは、前記ロボットを示すグラフィックオブジェクトを含み、前記グラフィックオブジェクトは、前記地図イメージ上で前記ロボットの現在位置に対応する領域に配置されている、
ことを特徴とする、請求項１～３のいずれか一項に記載の方法。
【請求項5】
前記ロボットが前記制御命令に基づいて走行する場合に、前記ロボットの走行に連動して、前記地図イメージ上での前記グラフィックオブジェクトの出力位置が変更される、ことを特徴とする、請求項４に記載の方法。
【請求項6】
前記ディスプレイ部には、前記ユーザ入力に対応して前記ディスプレイ部上で移動するカーソルイメージが出力され、前記ロボットの走行属性は、前記ユーザ入力に応じて移動する前記カーソルイメージのドラッグの程度及びドラッグの方向に基づいて決定される、
ことを特徴とする、請求項１～５のいずれか一項に記載の方法。
【請求項7】
前記ロボットの走行属性は、前記ロボットの移動方向、移動速度、及び移動距離のうち少なくとも１つを含み、前記ロボットの移動速度は、前記ユーザ入力に応じて前記カーソルイメージがドラッグされる速度に基づいて決定される、
ことを特徴とする、請求項６に記載の方法。
【請求項8】
ロボット遠隔制御システムであって、ディスプレイ部であり、前記ディスプレイ部のディスプレイ領域は、メイン領域、および、サブ領域を含む、ディスプレイ部と、
入力部と、
ロボットに備えられたカメラから、前記ロボット周辺の周辺画像を受信する通信部と、
前記周辺画像と共に、前記周辺画像に対応する場所情報を含む地図イメージを出力するように、前記ディスプレイ部を制御する制御部と、を含み、
前記制御部は、
前記周辺画像及び前記地図イメージが前記ディスプレイ部に出力されている状態で、前記入力部を介して受信するユーザ入力に応答して、前記ロボットの走行を制御するための制御命令を生成し、
前記ロボットが前記制御命令に基づいて走行するために前記制御命令を前記ロボットに送信するように、前記通信部を制御し、かつ、
前記ユーザ入力が前記サブ領域に加えられる場合に、前記ロボットの走行を制御するための前記制御命令を生成すると共に、前記ディスプレイ領域を制御して、前記メイン領域及び前記サブ領域にそれぞれ出力されていた視覚的な情報を互いに切り替え、
前記ユーザ入力が前記メイン領域に加えられる場合に、前記ディスプレイ領域を制御することなく、前記ロボットの走行を制御するための前記制御命令を生成する、
ことを特徴とする、システム。
【請求項9】
前記サブ領域は、前記メイン領域の少なくとも一部にオーバーラップし、
前記周辺画像及び前記地図イメージのいずれか一方は、前記メイン領域に出力され、他方は、前記サブ領域に出力される、
ことを特徴とする、請求項８に記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ロボットの制御に関し、より詳細には、ロボットの走行を遠隔制御できるロボット遠隔制御方法及びシステムに関する。
【背景技術】
【0002】
技術が発展するにつれて、様々なサービスデバイスが出現しており、特に、近年は、様々な作業やサービスを行うロボットに関する技術開発が盛んに行われている。
【0003】
さらに、近年は、人工知能技術やクラウド技術などが発展するにつれて、ロボットの活用度がますます高まっている。
【0004】
一方、ロボットにより様々な作業やサービスを提供するためには、ロボットを正確に制御することが非常に重要である。ユーザがロボットの周辺で逐一ロボットの制御を行うには現実的な限界があるので、ロボットを遠隔制御する技術の必要性がますます高まっている。
【0005】
よって、特許文献１（ラップアラウンド画像を用いたロボット遠隔制御のための方法及びそのための装置）においては、ロボットの四方にカメラを備え、ロボット周辺の画像を取得し、それを用いてロボットを遠隔制御する技術について開示している。
【0006】
ただし、ロボットに備えられたカメラのみでロボットの周辺環境を把握する場合、ロボットが位置する場所に関する情報を正確に把握できないという問題が生じ得る。よって、ロボットの位置情報及びロボットの周辺環境情報をより直観的に提供できる制御システムに対するニーズが依然として存在する。
【先行技術文献】
【特許文献】
【0007】
【文献】韓国登録特許第１０－１３０５９４４号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
本発明は、ロボットの遠隔制御方法及びシステムを提供するものである。より具体的に、本発明は、より直観的にロボットの走行を遠隔制御できる方法及びシステムを提供するものである。
【課題を解決するための手段】
【0009】
上記課題を解決するために、本発明によるロボット遠隔制御方法は、ロボットに備えられたカメラから、前記ロボット周辺の周辺画像を受信するステップと、前記周辺画像と共に、前記周辺画像に対応する場所情報を含む地図イメージをディスプレイ部に出力するステップと、前記周辺画像及び前記地図イメージが前記ディスプレイ部に出力されている状態で、前記ディスプレイ部へのユーザ入力に応答して、前記ロボットの走行を制御するための制御命令を生成するステップと、前記ロボットが前記制御命令に基づいて走行するように、前記制御命令を前記ロボットに送信するステップと、を含む、ことを特徴とする。
【0010】
また、本発明によるロボット遠隔制御システムは、ディスプレイ部と、入力部と、ロボットに備えられたカメラから、前記ロボット周辺の周辺画像を受信する通信部と、前記周辺画像と共に、前記周辺画像に対応する場所情報を含む地図イメージを出力するように、前記ディスプレイ部を制御する制御部とを含み、前記制御部は、前記周辺画像及び前記地図イメージが前記ディスプレイ部に出力されている状態で、前記入力部を介して受信するユーザ入力に応答して、前記ロボットの走行を制御するための制御命令を生成し、前記ロボットが前記制御命令に基づいて走行するために前記制御命令を前記ロボットに送信するように、前記通信部を制御する、ことを特徴とする。
【発明の効果】
【0011】
以上のように、本発明によるロボット遠隔制御方法及びシステムは、ロボットから受信する画像と、ロボットが位置する場所に関する情報を含む地図を共に提供することができる。これにより、本発明によるロボット遠隔制御方法及びシステムは、ロボットを遠隔制御する状況で、ロボットを囲む周辺環境情報を総合的に提供できるユーザ環境を提供することができる。よって、ロボットを遠隔制御するユーザは、ロボットを遠隔制御する際に、周辺環境を考慮して、ロボットの制御をより正確に行うことができる。
【0012】
また、本発明によるロボット遠隔制御方法及びシステムは、ロボットの遠隔制御のためのユーザ入力に基づいて、ロボットの制御を行うと共に、ディスプレイ領域の制御を行うことができるユーザ環境を提供することができる。よって、ロボットを遠隔制御するユーザは、状況に応じて、ロボットの制御及びディスプレイ領域の制御を、１つの制御命令に基づいて行うことにより、作業をより簡単かつ直観的に行うことができる。
【図面の簡単な説明】
【0013】
【図1】本発明によるロボット遠隔制御方法及びシステムを説明するための概念図である。
【図2】本発明によるロボット遠隔制御方法及びシステムを説明するための概念図である。
【図3】本発明によるロボット遠隔制御方法及びシステムにおける、ロボットで収集される画像及びロボットの現在位置を推定する方法を説明するための概念図である。
【図4】本発明によるロボット遠隔制御方法及びシステムにおける、ロボットで収集される画像及びロボットの現在位置を推定する方法を説明するための概念図である。
【図5】本発明によるロボット遠隔制御方法を説明するためのフローチャートである。
【図6】本発明によるロボット遠隔制御方法及びシステムにおける、ロボットを遠隔制御する方法を説明するための概念図である。
【図7】本発明によるロボット遠隔制御方法及びシステムにおける、ロボットを遠隔制御する方法を説明するための概念図である。
【図8a】本発明によるロボット遠隔制御方法及びシステムにおける、ロボットを遠隔制御する方法を説明するための概念図である。
【図8b】本発明によるロボット遠隔制御方法及びシステムにおける、ロボットを遠隔制御する方法を説明するための概念図である。
【図9a】本発明によるロボット遠隔制御方法及びシステムにおける、ロボットを遠隔制御する方法を説明するための概念図である。
【図9b】本発明によるロボット遠隔制御方法及びシステムにおける、ロボットを遠隔制御する方法を説明するための概念図である。
【図10】本発明によるロボット遠隔制御方法及びシステムにおける、ロボットを遠隔制御する方法を説明するための概念図である。
【図11】本発明によるロボット遠隔制御方法及びシステムにおける、ロボットを遠隔制御するための制御命令を説明するための概念図である。
【発明を実施するための形態】
【0014】
以下、添付図面を参照して本明細書に開示される実施形態について詳細に説明するが、図面番号に関係なく、同一又は類似の構成要素には同一又は類似の符号を付し、その説明は省略する。以下の説明で用いる構成要素の接尾辞である「モジュール」及び「部」は、明細書の作成を容易にするために付与又は混用されるものであり、それ自体が有意性や有用性を有するものではない。また、本明細書に開示される実施形態について説明するにあたって、関連する公知技術についての具体的な説明が本明細書に開示される実施形態の要旨を不明確にする恐れがあると判断される場合は、その詳細な説明を省略する。なお、添付図面は本明細書に開示される実施形態を容易に理解できるようにするためのものにすぎず、添付図面により本明細書に開示される技術的思想が限定されるものではなく、本発明の思想及び技術範囲に含まれるあらゆる変更、均等物、又は代替物が本発明に含まれるものと理解されるべきである。
【0015】
第１、第２などのように序数を含む用語は様々な構成要素を説明するために用いられるが、上記構成要素は、上記用語により限定されるものではない。上記用語は１つの構成要素を他の構成要素と区別する目的でのみ用いられる。
【0016】
ある構成要素が他の構成要素に「連結」又は「接続」されていると言及された場合は、他の構成要素に直接連結又は接続されていてもよく、中間に、さらに他の構成要素が存在してもよいものと解すべきである。それに対して、ある構成要素が他の構成要素に「直接連結」又は「直接接続」されていると言及された場合は、中間には、さらに他の構成要素が存在しないものと解すべきである。
【0017】
単数の表現には、特に断らない限り複数の表現が含まれる。
【0018】
本明細書において、「含む」や「有する」などの用語は、明細書に記載された特徴、数字、ステップ、動作、構成要素、部品、又は、それらの組み合わせが存在することを指定しようとするものであり、１つ又はそれ以上の他の特徴、数字、ステップ、動作、構成要素、部品、又は、それらの組み合わせの存在や付加可能性を予め排除するものではないと理解すべきである。
【0019】
本発明は、ロボットの周辺環境及びロボットの現在位置をどちらも考慮して、ロボットを遠隔制御することのできる、ロボット遠隔制御方法及びシステムを提供するものである。
【0020】
また、本発明は、ロボットを制御するためのインタフェースを直観的に制御するためのユーザ環境を提供できるロボット遠隔制御方法及びシステムを提供するものである。
【0021】
より具体的には、本発明は、ロボットの遠隔制御方法及びシステムを提供するものであり、さらに具体的には、より直観的にロボットの走行を遠隔制御できる方法及びシステムを提供するものである。以下に、添付図面を参照して、ロボットが走行する空間及びそれに関連するロボット遠隔制御システムについて説明する。図１及び図２は、本発明によるロボット遠隔制御方法及びシステムを説明するための概念図である。
【0022】
図１に示すように、技術が発展するにつれて、ロボットの活用度はますます高まっている。従来のロボットは、特殊な産業分野（例えば、産業自動化関連分野）で活用されていたが、次第に、人間や設備のために有用な作業を行うサービスロボットに変貌している。
【0023】
このように、様々なサービスを提供するロボットは、与えられたタスクを実行するために、図１に示すような空間１０を走行するようにしてよい。ロボットが走行する空間の種類に制限はなく、ロボットは、必要に応じて、室内空間及び室外空間の少なくとも一方を走行するようにしてもよい。例えば、室内空間には、デパート、空港、ホテル、学校、ビル、地下鉄駅、汽車駅、書店など、様々な空間が含まれる。ロボットは、このように、様々な空間に配置され、人間に有用なサービスを提供する。
【0024】
一方、ロボットを用いて様々なサービスを提供する上で、ロボットを正確に制御することは非常に重要な要素である。よって、本発明は、ロボットに備えられたカメラ及び空間に関する地図情報を用いて、ロボットを遠隔でより正確に制御する方法を提案する。なお、本発明によるロボットは、様々に命名され、例えば、無人移動マシン、自律移動マシン、などと呼ばれる。
【0025】
図１に示すように、ロボットが位置する空間１０にはカメラ２０が配置されてよい。空間１０に配置されたカメラ２０の数は制限されない。同図に示すように、空間１０には、複数のカメラ２０ａ、２０ｂ、２０ｃが配置されてもよい。空間１０に配置されたカメラ２０としては、様々な種類を用いることができる。空間１０に配置されたカメラ２０は、ＣＣＴＶ（closed-circuit television）であってもよい。
【0026】
図２に示すように、本発明によれば、ロボット遠隔制御システム３００は、ロボット１００の走行を遠隔制御することができる。
【0027】
図２に示すように、本発明によるロボット遠隔制御システム３００は、通信部３１０、保存部３２０、ディスプレイ部３３０、入力部３４０、及び制御部３５０の少なくとも１つを含む。
【0028】
通信部３１０は、空間１０に配置された様々なデバイスと有線又は無線で通信するように構成される。通信部３１０は、同図に示すように、ロボット１００との通信を行うことができる。通信部３１０は、ロボット１００との通信により、ロボット１００に備えられたカメラで撮影される画像を受信するようにしてよい。
【0029】
また、通信部３１０は、空間１０に配置されたカメラ２０との直接的な通信を行うことができる。さらに、通信部３１０は、カメラ２０を制御する画像管制システムとの通信を行うことができる。
【0030】
さらに、通信部３１０は、少なくとも１つの外部サーバ２００（又は、外部ストレージ）との通信を行うことができる。ここで、外部サーバ２００は、同図に示すように、クラウドサーバ２１０及びデータベース２２０の少なくとも一方を含むように構成されてよい。一方、外部サーバ２００は、制御部３５０の少なくとも一部の役割を果たすように構成されてもよい。すなわち、データ処理やデータ演算などの実行は、外部サーバ２００で行われるようにしてもよく、本発明においては、その方式に特に制限を設けていない。
【0031】
一方、通信部３１０は、通信するデバイスの通信規格に準拠して、様々な通信方式をサポートすることができる。
【0032】
例えば、通信部３１０は、ＷＬＡＮ（Wireless LAN）、Ｗｉ－Ｆｉ（Wireless Fidelity）、Ｗｉ－Ｆｉ Ｄｉｒｅｃｔ（Wireless Fidelity Direct）、ＤＬＮＡ（登録商標）（Digital Living Network Alliance）、ＷｉＢｒｏ（Wireless Broadband）、ＷｉＭＡＸ（World Interoperability for Microwave Access）、ＨＳＤＰＡ（High-Speed Downlink Packet Access）、ＨＳＵＰＡ（High-Speed Uplink Packet Access）、ＬＴＥ（Long Term Evolution）、ＬＴＥ－Ａ（Long Term Evolution-Advanced）、５Ｇ（5th Generation Mobile Telecommunication）、ブルートゥース（登録商標）（BluetoothTM）、ＲＦＩＤ（Radio Frequency Identification）、ＩｒＤＡ（Infrared Data Association）、ＵＷＢ（Ultra Wide Band）、ＺｉｇＢｅｅ（登録商標）、ＮＦＣ（Near Field Communication）、及びワイヤレスＵＳＢ（Wireless Universal Serial Bus）技術のうち少なくとも１つを用いて、空間１０の内外に位置するデバイス（クラウドサーバを含む）と通信を行うようにしてよい。
【0033】
次に、保存部３２０は、本発明に係る様々な情報を保存するようにしてよい。本発明において、保存部３２０は、ロボット遠隔制御システム３００自体に備えられてもよい。それとは異なり、保存部３２０の少なくとも一部は、クラウドサーバ２１０及びデータベース２２０の少なくとも一方であってもよい。すなわち、保存部３２０は、本発明によるロボットの遠隔制御のために必要な情報が保存される空間であれば十分であり、物理的な空間の制約はないものと解される。よって、以下では、保存部３２０、クラウドサーバ２１０、及びデータベース２２０を区分せず、全てを保存部３２０とする。ここで、クラウドサーバ２１０とは「クラウドストレージ」を意味する。
【0034】
まず、保存部３２０には、ロボット１００に関する情報を保存することができる。
【0035】
ロボット１００に関する情報は、非常に様々であり、例えば、ｉ）空間１０に配置されたロボット１００を識別するための識別情報（例えば、シリアル番号、ＴＡＧ情報、ＱＲコード（登録商標）情報など）、ｉｉ）ロボット１００に与えられたタスクに関するタスク情報、ｉｉｉ）ロボット１００に設定された走行経路に関する走行経路情報、ｉｖ）ロボット１００の位置情報、ｖ）ロボット１００の状態情報（例えば、電源状態、故障の有無、バッテリ状態など）、ｖｉ）ロボット１００に備えられたカメラから受信した画像に関する画像情報、などが挙げられる。
【0036】
次に、保存部３２０には、空間１０の地図（又は、地図情報）を保存することができる。ここで、地図は、２次元地図及び３次元地図の少なくとも一方であってよい。空間１０の地図とは、ロボット１００の現在位置を把握し、または、ロボット１００の走行経路を設定するのに活用できる地図を意味する。
【0037】
特に、本発明によるロボット遠隔制御システム３００においては、ロボット１００から受信する画像に基づいて、ロボット１００の位置を把握することができる。そのために、保存部３２０に保存された空間１０の地図は、画像に基づいて位置を推定できるようにするデータで構成されてよい。
【0038】
ここで、空間１０の地図は、事前に、空間１０を移動する少なくとも１つのロボットにより、ＳＬＡＭ（Simultaneous Localization and Mapping）に基づいて作成された地図であってもよい。このような空間１０の地図は、地図イメージからなるようにしてもよい。
【0039】
一方、保存部３２０には、前記列挙された情報の種類以外にも様々な情報を保存することができる。
【0040】
次に、ディスプレイ部３３０は、ロボット１００に備えられたカメラ及び空間１０の地図イメージの少なくとも一方を出力するようにしてよい。ディスプレイ部３３０は、ロボット１００を遠隔管理する管理者のデバイスに備えられたものであり、図２に示すように、遠隔管制室３００ａに備えられてもよい。また、それとは異なり、ディスプレイ部３３０は、モバイルデバイスに備えられたディスプレイであってもよい。このように、本発明においては、ディスプレイ部の種類に制限を設けていない。
【0041】
次に、入力部３４０は、ユーザ（又は、管理者）からの情報の入力のためのものであり、入力部３４０は、ユーザ（又は、管理者）とロボット遠隔制御システム３００間の媒体であるといえる。より具体的には、入力部３４０とは、ユーザからロボット１００の走行を遠隔制御するための制御命令を受信する入力手段を意味する。
【0042】
ここで、入力部３４０の種類に特に制限はなく、入力部３４０は、機械式（mechanical）入力手段（又はメカニカルキー）及びタッチ式入力手段の少なくとも一方を含む。機械式入力手段としては、例えば、マウス（mouse）、ジョイスティック（joystick）、物理的なボタン、ドームスイッチ（dome switch）、ジョグホイール、ジョグスイッチ、などが挙げられる。タッチ式入力手段は、例えば、ソフトウェア的な処理によりタッチスクリーンに表示される仮想キー（virtual key）、ソフトキー（soft key）、又はビジュアルキー（visual key）から構成されるようにしてよく、前記タッチスクリーン以外の部分に配置されるタッチキー（touch key）から構成されるようにしてもよい。一方、前記仮想キー及び前記ビジュアルキーは、タッチスクリーン上に様々な形状で表示され、例えば、グラフ（graphic）、テキスト（text）、アイコン（icon）、ビデオ（video）、又はそれらの組み合わせから構成されるようにしてもよい。ここで、入力部３４０がタッチスクリーンを含む場合、ディスプレイ部３３０は、タッチスクリーンから構成されるようにしてもよい。この場合、ディスプレイ部３３０は、情報を出力する役割と情報の入力を受ける役割の両方を果たす。
【0043】
次に、制御部３５０は、本発明によるロボット遠隔制御システム３００の全般的な動作を制御するように構成される。制御部３５０は、上記構成要素により入力又は出力される信号、データ、情報などを処理し、または、ユーザに適切な情報又は機能を提供又は処理することができる。
【0044】
特に、制御部３５０は、ロボット１００に備えられたカメラから受信する画像、及び、空間１０の地図イメージを用いて、ロボット１００を遠隔制御することができる。制御部３５０は、ロボット１００の直観的な遠隔制御のために、ロボット１００に備えられたカメラから受信する画像から、空間でのロボット１００の位置に関する位置情報を抽出することができる。また、制御部３５０は、保存部３２０から、前記抽出されたロボット１００の位置情報に対応する地図イメージを抽出することができる。さらに、制御部３５０は、前記画像及び前記地図イメージがディスプレイ部３３０に共に出力されるように、ディスプレイ部３３０を制御することができる。さらに、制御部３５０は、入力部３４０を介してディスプレイ部３３０に入力されるユーザ入力に基づいて、ロボット１００の遠隔制御を行うことができる。
【0045】
以下に、添付図面を参照して、ロボット１００から受信する画像に基づいて、ロボット１００の現在位置を推定する方法及び地図イメージを特定する方法について、より具体的に説明する。図３及び図４は、本発明によるロボット遠隔制御方法及びシステムにおける、ロボットで収集される画像及びロボットの現在位置を推定する方法を説明するための概念図である。
【0046】
前述のように、本発明による制御部３５０は、ロボット１００に備えられたカメラ（図示せず）を用いて空間１０の画像を受信し、受信した画像からロボットの位置を推定するビジュアルローカリゼーション（Visual Localization）を行うように構成される。ここで、ロボット１００に備えられたカメラは、空間１０の画像、すなわちロボット１００周辺の画像を撮影（又は、検知）するように構成される。以下では、説明の便宜上、ロボット１００に備えられたカメラにより取得された画像を「周辺画像」という。
【0047】
制御部３５０は、図３の（ａ）に示すように、ロボット１００に備えられたカメラにより周辺画像４１０を取得するように構成される。また、制御部３５０は、取得された周辺画像４１０を用いて、ロボット１００の現在位置を推定することができる。
【0048】
さらに、制御部３５０は、周辺画像４１０と保存部３２０に保存された地図情報とを比較し、図３の（ｂ）に示すように、ロボット１００の現在位置に対応する位置情報を抽出することができる。
【0049】
前述のように、本発明において、空間１０の地図は、事前に、空間１０を移動する少なくとも１つのロボットにより、ＳＬＡＭに基づいて作成された地図であってよい。特に、空間１０の地図は、画像情報に基づいて生成された地図であってもよい。
【0050】
すなわち、空間１０の地図は、ビジョン（又は、ビジュアル）ベースのＳＬＡＭ技術により生成された地図であってもよい。
【0051】
よって、制御部３５０は、図３の（ｂ）に示すように、ロボット１００で取得された周辺画像４１０の座標情報（例えば、「３階Ｂ区域（３，１，１）」、「３階Ｂ区域（７，１，１）」）を特定することができる。このように特定された座標情報は、ロボット１００の現在位置情報となる。
【0052】
ここで、制御部３５０は、ロボット１００で取得された周辺画像４１０とビジョン（又は、ビジュアル）ベースのＳＬＡＭ技術により生成された地図とを比較することにより、ロボット１００の現在位置を推定することができる。この場合、制御部３５０は、ｉ）周辺画像４１０と予め生成された地図を構成するイメージとのイメージ比較により、周辺画像４１０に最も類似したイメージを特定し、ｉｉ）特定されたイメージにマッチした位置情報を取得する方式で、ロボット１００の位置情報を特定することができる。
【0053】
このように、制御部３５０は、図４の（ａ）に示すように、ロボット１００で周辺画像４１０が取得されると、取得された周辺画像４１０を用いて、ロボット１００の現在位置を特定することができる。前述したように、制御部３５０は、保存部３２０に予め保存された地図情報（例えば、「参照マップ」ともいえる）から、周辺画像４１０に対応する位置情報（例えば、座標情報）を抽出することができる。
【0054】
また、制御部３５０は、図４の（ｂ）に示すように、抽出された位置情報に対応する地図イメージ４２０を特定することができる。本発明において、地図イメージは、２次元イメージ又は３次元イメージであり、ロボット１００が位置する空間１０を視覚化したイメージからなるようにしてもよい。ここで、地図イメージには、ロボット１００で取得された周辺画像４１０に対応する場所情報が含まれるようにしてもよい。
【0055】
地図イメージは、様々な形式が可能であり、実際のカメラにより取得された画像から構成されるようにしてもよい。この場合、地図イメージは、空間１０に配置されたカメラ２０又はロボット１００で取得された画像の少なくとも一方を用いて構成してもよい。
【0056】
それとは異なり、地図イメージは、カメラにより取得された画像ではなく、空間１０を所定の倍率で縮小したイメージで構成してもよい。地図イメージは、空間１０を構成する実際の全ての事物をそのまま含むのではなく、空間１０の一部の情報を含むように構成したイメージであってもよい。ここで、空間１０の一部の情報は、ロボット１００の走行及び経路を決定するのに必要な情報であり、柱情報、天井情報、壁情報、空間区分情報、家具（空間１０に配置された家具）情報、などを含んでもよい。
【0057】
本発明において、制御部３５０は、ロボット１００の遠隔制御のために、ロボット１００自体で取得された周辺画像４１０だけでなく、ロボット１００が位置する空間に対応する地図イメージをディスプレイ部３３０に共に出力させることができる。よって、本発明においては、ロボット１００を遠隔制御する管理者が、ロボット１００で取得された周辺画像４１０だけでなく、ロボット１００が位置する空間を考慮して、ロボット１００の遠隔制御を行うようにすることができる。
【0058】
一方、制御部３５０は、ディスプレイ部３３０に地図イメージ４２０を出力する際に、空間１０に関する情報をロボット１００の周辺画像４１０とは異なる倍率で提供するように、地図イメージ４２０の出力倍率を制御することができる。すなわち、制御部３５０は、空間１０に関する情報を周辺画像４１０より広い画角（視野）で提供するように、地図イメージ４２０の出力倍率を制御することができる。この場合、ユーザは、ロボット１００を遠隔制御する際に、空間１０に関する情報をより総合的に考慮することができる。
【0059】
なお、本発明においては、周辺画像及び地図イメージをディスプレイ部３３０に共に出力し、入力部３４０を介して周辺画像及び地図イメージの少なくとも一方に対して入力されるユーザ入力に基づいて、ロボット１００を遠隔制御する。ここで、本発明においては、ロボット１００を遠隔制御するための制御命令を、ロボット１００に対する制御命令としてだけでなく、ディスプレイ部３３０に対する制御命令としても用いることにより、ユーザ利便性を向上させることができる。以下に、それについて、添付図面を参照してより具体的に説明する。図５は、本発明によるロボット遠隔制御方法を説明するためのフローチャートである。また、図６、図７ａ、図７ｂ、図７ｃ、図８ａ、図８ｂ、図９ａ、図９ｂ、及び図１０は、本発明によるロボット遠隔制御方法及びシステムにおける、ロボットを遠隔制御する方法を説明するための概念図である。さらに、図１１は、本発明によるロボット遠隔制御方法及びシステムにおける、ロボットを遠隔制御するための制御命令を説明するための概念図である。
【0060】
まず、本発明によるロボット遠隔制御方法においては、ロボットに備えられたカメラからロボット周辺の周辺画像を受信する過程が行われる（Ｓ５１０）。
【0061】
制御部３５０は、通信部３１０により、ロボット１００から周辺画像を受信するようにしてよい。ここで、ロボット１００は、遠隔制御の対象となるロボットであってもよい。遠隔制御の対象となるロボット１００の特定は、様々に行うことができ、本発明においては、これについて具体的に限定しない。すなわち、制御部３５０は、様々な方法で遠隔制御の対象となるロボット１００の特定が行われると、遠隔制御の対象となるロボット１００から周辺画像を受信することができる。
【0062】
このように、ロボット１００から周辺画像を受信すると、制御部３５０は、受信した周辺画像を用いて、ロボット１００の現在位置を推定することができる。制御部３５０は、ビジュアルローカリゼーションにより、ロボット１００の現在位置を特定することができる。制御部３５０は、周辺画像と保存部３２０に保存された地図情報とを比較し、図３の（ｂ）に示すように、ロボット１００の現在位置に対応する位置情報を抽出することができる。
【0063】
前述のように、本発明において、空間１０の地図は、事前に、空間１０を移動する少なくとも１つのロボットにより、ＳＬＡＭに基づいて作成された地図であってよい。特に、空間１０の地図は、画像情報に基づいて生成された地図であってもよい。すなわち、空間１０の地図は、ビジョン（又は、ビジュアル）ベースのＳＬＡＭ技術により生成された地図であってもよい。
【0064】
制御部３５０は、ロボット１００で取得された周辺画像とビジョン（又は、ビジュアル）ベースのＳＬＡＭ技術により生成された地図とを比較することにより、ロボット１００の現在位置を推定することができる。この場合、制御部３５０は、ｉ）周辺画像４１０と予め生成された地図を構成するイメージとのイメージ比較により、周辺画像４１０に最も類似したイメージを特定し、ｉｉ）特定されたイメージにマッチした位置情報を取得する方式で、ロボット１００の位置情報を特定することができる。このように、制御部３５０は、前述した図４の（ａ）に示すように、ロボット１００で周辺画像４１０が取得されると、取得された周辺画像４１０を用いて、ロボット１００の現在位置を特定することができる。前述のように、制御部３５０は、保存部３２０に予め保存された地図情報（例えば、「参照マップ」ともいえる）から、周辺画像４１０に対応する位置情報（例えば、座標情報）を抽出することができる。
【0065】
また、制御部３５０は、前述した図４の（ｂ）に示すように、周辺画像を用いて抽出した位置情報に対応する地図イメージを特定することができる。本発明において、地図イメージは、２次元イメージ又は３次元イメージであり、ロボット１００が位置する空間１０を視覚化したイメージから構成されるようにしてよい。ここで、地図イメージには、ロボット１００で取得された周辺画像４１０に対応する場所情報が含まれるようにしてもよい。
【0066】
前述のように、制御部３５０は、ロボット１００で取得された周辺画像に対応する場所情報を含む地図イメージを特定することができる。このような地図イメージは、保存部３２０に保存されるようにしてよい。
【0067】
制御部３５０は、画像情報に対応する座標情報に対応する場所を特定し、当該場所に対応する地図イメージを特定することができる。特定された地図イメージは、空間１０の全地図イメージの少なくとも一部であってよい。すなわち、制御部３５０は、空間１０の全地図イメージから、周辺画像に対応する場所を含む部分を抽出し、抽出した部分をロボット１００の現在位置に対応する地図イメージとして特定することができる。
【0068】
このように、ロボット１００の現在位置が特定されると、本発明においては、ロボット１００で取得された周辺画像と共に、周辺画像に対応する場所情報を含む地図イメージを出力する過程が行われる（Ｓ５２０）。
【0069】
より具体的には、制御部３５０は、図６ａの（ａ）及び（ｂ）に示すように、周辺画像６１０及び地図イメージ６２０がディスプレイ部３３０に共に出力されるように、ディスプレイ部３３０を制御することができる。
【0070】
図６ａの（ａ）及び（ｂ）に示すように、ディスプレイ部３３０は、メイン領域Ａと、メイン領域Ａの少なくとも一部にオーバーラップするサブ領域Ｂとを含んでもよい。ディスプレイ部３３０において視覚的な情報が表示される領域を「ディスプレイ領域」ともいう。この場合、ディスプレイ部３３０のディスプレイ領域は、メイン領域Ａと、メイン領域Ａの少なくとも一部にオーバーラップするサブ領域Ｂとを含むといえる。
【0071】
一方、メイン領域Ａにおいてサブ領域Ｂがオーバーラップする位置は、ユーザ入力に基づいて変更することができる。また、メイン領域Ａ及びサブ領域Ｂの少なくとも一方の出力の大きさも、ユーザ入力に基づいて変更できることは言うまでもない。
【0072】
上記の例においては、サブ領域Ｂがメイン領域Ａ上にオーバーラップする場合について説明したが、本発明は、上記の例に限定されるものではない。例えば、ディスプレイ部３３０は、複数のディスプレイ領域に分割され、そのうち、いずれか１つにはメイン領域Ａが割り当てられ、他の１つにはサブ領域Ｂが割り当てられるようにしてよい。ここで、メイン領域Ａとサブ領域Ｂとは、重ならないようにしてもよく、少なくとも一部のみ重なるようにしてもよい。本発明においては、メイン領域Ａの方がサブ領域Ｂより大きく形成されてもよい。
【0073】
以下に、説明の便宜上、メイン領域Ａの少なくとも一部にサブ領域Ｂが重なる場合を例に説明する。ただし、以下に説明される制御及びインタラクションを他の画面構成に同様に適用できることは言うまでもない。
【0074】
以上で説明したように、ディスプレイ部３３０は、メイン領域Ａ及びサブ領域Ｂを含み、本発明においては、ロボット１００から受信した周辺画像及び前記周辺画像に対応する場所情報を含む地図イメージのうち、いずれか一方をメイン領域Ａ上に出力し、他方をサブ領域Ｂ上に出力することができる。
【0075】
図６に示すように、制御部３５０は、メイン領域Ａ及びサブ領域Ｂのうち、いずれか一方に周辺画像６１０が出力され、他方に地図イメージ６２０が出力されるように、ディスプレイ部３３０を制御することができる。例えば、図６の（ａ）に示すように、メイン領域Ａにロボット１００で撮影された周辺画像６１０が出力される場合、サブ領域Ｂには周辺画像６１０に対応する場所情報を含む地図イメージ６２０が出力されるようにしてよい。これとは逆に、図６の（ｂ）に示すように、メイン領域Ａに周辺画像６１０に対応する場所情報を含む地図イメージ６２０が出力される場合、サブ領域Ｂにロボット１００で撮影された周辺画像６１０が出力されるようにしてもよい。
【0076】
また、ディスプレイ部３３０のメイン領域Ａ及びサブ領域Ｂのうち、地図イメージ６２０が出力される領域には、ロボット１００の現在位置を示すグラフィックオブジェクト６０１がさらに出力されるようにしてよい。すなわち、制御部３５０は、グラフィックオブジェクト６０１を用いて、地図イメージ６２０に対応する空間でロボット１００がどこに位置するかに関する情報を表示することにより、ユーザがロボット１００の直観的な遠隔制御を行えるようにすることができる。
【0077】
このように、ディスプレイ部３３０に出力される地図イメージ６２０は、ロボット１００を示すグラフィックオブジェクト６０１を含んでよい。ここで、グラフィックオブジェクト６０１は、地図イメージ６２０上でロボット１００の現在位置に対応する領域に配置される。
【0078】
一方、グラフィックオブジェクト６０１は、ロボット１００が走行する場合、ロボット１００の走行に連動して、地図イメージ６２０上での出力位置が変更される。制御部３５０は、ロボット１００の現在位置が変更されると、ロボット１００の変更される現在位置に応じて、グラフィックオブジェクト６０１の出力位置が変更されるように、ディスプレイ部３３０を制御することができる。よって、ユーザは、グラフィックオブジェクト６０１が地図イメージ６２０上でどこに位置するかによって、空間１０でのロボット１００の位置を直観的に把握することができる。一方、制御部３５０は、ビジュアルローカリゼーションにより、ロボット１００が走行する間、受信する画像からロボット１００の位置を追跡し続けることができる。
【0079】
一方、図６を参照して説明したように、周辺画像及び地図イメージがディスプレイ部３３０に出力されている状態で、ディスプレイ部３３０へのユーザ入力が受信されると、本発明においては、ユーザ入力に応答して、ロボットの走行を制御するための制御命令を生成する過程が行われる（Ｓ５３０）。また、本発明においては、ロボット１００が前記制御命令に基づいて走行するように、前記制御命令を前記ロボットに送信する過程が行われる（Ｓ５４０）。前記制御命令を受信したロボット１００は、前記制御命令に基づいて走行が制御される。
【0080】
より具体的には、前述したように、ユーザ入力は、入力部３４０を介して行われるようにしてもよい。入力部３４０は、その種類が様々であり、機械式入力手段（又はメカニカルキー、例えばマウス、ジョイスティック、物理的なボタン、ドームスイッチ、ジョグホイール、ジョグスイッチなど）及びタッチ式入力手段の少なくとも一方を含む。
【0081】
また、ディスプレイ部３３０へのユーザ入力は、ｉ）タッチスクリーンで構成されるディスプレイ部３３０への直接的なタッチによる入力、及び、ｉｉ）マウスなどの別の入力手段を媒体としてディスプレイ部３３０に加えられる入力のうち少なくとも１つを含む。
【0082】
例えば、マウスなどの入力手段を介してユーザ入力が受信される場合、ディスプレイ部３３０には、図７の（ａ）～（ｄ）に示すように、ユーザ入力に対応してディスプレイ部３３０上で移動するグラフィックオブジェクト（例えば、カーソルイメージ７０１）が出力される。ユーザは、このようなカーソルイメージ７０１により、入力部３４０を介したユーザ入力がディスプレイ部３３０のどの領域（又は、地点）に加えられているかを把握することができる。一方、タッチスクリーンを介してユーザ入力が受信される場合も、カーソルイメージ７０１などのグラフィックオブジェクトが出力されるようにしてもよいことは言うまでもない。以下に、ユーザ入力を受ける具体的な入力手段を限定せずに説明する。すなわち、以下では、タッチスクリーンや他の入力手段を介してディスプレイ部３３０に加えられるユーザ入力を、「ディスプレイ部へのユーザ入力」という。
【0083】
制御部３５０は、図６を参照して説明したように、周辺画像及び地図イメージがディスプレイ部３３０に出力されている状態で、ディスプレイ部３３０に対するユーザ入力が受信されると、ユーザ入力に応答して、ロボットの走行を制御するための制御命令を生成することができる。例えば、制御命令は、ロボットの走行方向、走行速度、走行中であるか否か、走行距離、走行経路、などのように、ロボットの走行に関する様々な命令を含む。ロボット１００は、ロボット遠隔制御システム３００を介して受信した制御命令に基づいて、走行することができる。
【0084】
制御部３５０は、入力部３４０を介してディスプレイ部３３０に入力されるユーザ入力に基づいて、ロボット１００の走行に関する制御命令を生成することができる。この場合、制御部３５０は、入力部３４０を介したユーザ入力がディスプレイ部３３０のどの領域に加えられたかによって、ディスプレイ部３３０の制御を共に行うことができる。
【0085】
すなわち、制御部３５０は、ディスプレイ部３３０へのユーザ入力を、ロボット１００に対する制御命令としてだけでなく、ディスプレイ部３３０に対する制御命令として処理することもできる。
【0086】
このように、制御部３５０は、入力部３４０を介したユーザ入力がディスプレイ部３３０のどの領域に加えられたかによって、異なる制御（又は、異なるデータ処理）を行うことができる。
【0087】
より具体的に、制御部３５０は、ユーザ入力がディスプレイ部３３０のメイン領域Ａ及びサブ領域Ｂのうちどちらの領域に加えられたかによって、ロボット１００の走行を制御するための前記制御命令を生成すると共に、前記ディスプレイ領域の制御を行うことができる。
【0088】
前述のように、メイン領域Ａの方がサブ領域Ｂより大きく形成されてよいが、ユーザは、サブ領域Ｂに表示された情報をより大きくして見たいことがある。この場合、メイン領域Ａ及びサブ領域Ｂに出力されている視覚的な情報を互いに切り替えなければならない。本発明においては、メイン領域Ａ及びサブ領域Ｂに出力されている情報を互いに切り替えるための制御命令をさらに入力しなければならないユーザの不便を解消するために、ロボット１００を制御するためのユーザ入力を、ディスプレイ部３３０の制御にも活用することができる。
【0089】
制御部３５０は、図７の（ｂ）及び（ｄ）に示すように、ユーザ入力がメイン領域Ａ及びサブ領域Ｂのうちサブ領域Ｂに対して加えられた場合、メイン領域Ａ及びサブ領域Ｂに出力されている情報を互いに切り替えるための制御命令が入力されたと判断することができる。すなわち、制御部３５０は、図７の（ｂ）及び（ｄ）に示すように、ユーザ入力がサブ領域Ｂに対して加えられたイベントを、「メイン領域Ａ及びサブ領域Ｂに出力されている情報を互いに切り替える」ための制御命令として処理することができる。
【0090】
よって、図７の（ｂ）及び（ｄ）に示すように、ユーザ入力がサブ領域Ｂに対して加えられると、制御部３５０は、ロボット１００の走行を制御するための制御命令を生成すると共に、ディスプレイ部３３０のディスプレイ領域（例えば、メイン領域Ａ及びサブ領域Ｂ）に関する制御を行うことができる。
【0091】
これとは逆に、図７の（ａ）及び（ｃ）に示すように、ユーザ入力がメイン領域Ａに対して加えられると、制御部３５０は、ディスプレイ部３３０のディスプレイ領域（例えば、メイン領域Ａ及びサブ領域Ｂ）に関する制御を行うことなく、ロボット１００の走行を制御するための制御命令のみを生成することができる。
【0092】
具体的な例として、図８ａの（ａ）に示すように、ディスプレイ部３３０のメイン領域Ａにロボット１００で撮影された周辺画像８１０が出力され、ディスプレイ部３３０のサブ領域Ｂにロボット１００の位置情報に対応する場所の地図イメージ８２０が出力されているとする。このように、メイン領域Ａ及びサブ領域Ｂにそれぞれ周辺画像８１０及び地図イメージ８２０が出力されている状態で、入力部３４０を介したユーザ入力がメイン領域Ａに対して加えられると、制御部３５０は、前記ユーザ入力に応答して、前記ユーザ入力に対応するロボット１００の走行に関する制御命令を生成することができる。例えば、前記ユーザ入力がロボット１００を一方向（８０２ａから８０２への方向）に前進走行させる制御命令である場合、ロボット１００は、前記制御命令に基づいて前記一方向に走行することができる。その結果、図８ａの（ｂ）に示すように、メイン領域Ａには、ロボット１００が前記制御命令に基づいて走行する前の周辺画像８１０（図８ａの（ａ）参照）とは異なる周辺画像８１０’が出力される。すなわち、制御部３５０は、ロボット１００からリアルタイムで、又は、所定の時間間隔で画像を受信し、最も新しく受信した周辺画像をメイン領域Ａに出力することができる。
【0093】
一方、ロボット１００の走行を制御するためのユーザ入力は、入力部３４０を介してディスプレイ部３３０に加えられるドラッグ入力であってよい。制御部３５０は、図８ａの（ａ）に示すように、カーソルイメージ８０１ａ、８０１を一方向（８０２ａから８０２への方向）にドラッグするユーザ入力に基づいて、ロボット１００の走行を制御するための制御命令を生成することができる。
【0094】
また、ロボット１００が前記制御命令に基づいて走行することにより、ロボット１００の現在位置が変更されると、図８ａの（ｂ）に示すように、サブ領域Ｂに出力された地図イメージ８２０に含まれるロボット１００の現在位置を示すグラフィックオブジェクト８０３ａの出力位置も変更される。一方、図示していないが、地図イメージに含まれる場所情報は、ロボット１００の走行に連動して少なくとも一部を変更することができる。すなわち、制御部３５０は、ロボット１００の現在位置を基準として、所定の範囲内の場所情報が地図イメージ８２０に含まれるように、地図イメージをリアルタイムで、又は、所定の時間間隔でアップデートすることができる。
【0095】
制御部３５０は、図８ａに示すように、ユーザ入力がメイン領域Ａに対して加えられると、ロボット１００の走行を制御するための制御命令のみを生成することができる。
【0096】
次に、上記の例とは異なる場合について説明する。図８ｂの（ａ）に示すように、ディスプレイ部３３０のメイン領域Ａにロボット１００で撮影された周辺画像８１０が出力され、ディスプレイ部３３０のサブ領域Ｂにロボット１００の位置情報に対応する場所の地図イメージ８２０が出力されるとする。このようにメイン領域Ａ及びサブ領域Ｂにそれぞれ周辺画像８１０及び地図イメージ８２０が出力されている状態で、入力部３４０を介したユーザ入力がサブ領域Ｂに対して加えられると、制御部３５０は、前記ユーザ入力に応答して、前記ユーザ入力に対応するロボット１００の走行に関する制御命令を生成することができる。例えば、前記ユーザ入力がロボット１００を一方向に前進走行させる制御命令である場合、ロボット１００は、前記制御命令に基づいて、前記一方向に走行することができる。
【0097】
また、制御部３５０は、図８ｂの（ａ）に示すように、ユーザ入力がサブ領域Ｂに対して加えられたことに応答して、ｉ）ロボット１００の走行を制御するための制御命令を生成すると共に、図８ｂの（ａ）及び（ｂ）に示すように、ｉｉ）サブ領域Ｂに出力されていた地図イメージ８２０がメイン領域Ａに出力され、ｉｉｉ）メイン領域Ａに出力されていた周辺画像８１０がサブ領域Ｂに出力されるように、ディスプレイ部３３０を制御することができる。
【0098】
すなわち、制御部３５０は、ユーザ入力がサブ領域Ｂに対して加えられると、メイン領域Ａ及びサブ領域Ｂに出力されている視覚的な情報を互いに切り替えることができる。
【0099】
一方、前述のように、ロボット１００の走行を制御するためのユーザ入力は、入力部３４０を介してディスプレイ部３３０に加えられるドラッグ入力であってよい。制御部３５０は、図８ｂの（ａ）に示すように、カーソルイメージ８０１ａ、８０１を一方向（８０３ａから８０３への方向）にドラッグするユーザ入力に基づいて、ロボット１００の走行を制御するための制御命令を生成することができる。
【0100】
このようにして、ロボット１００が前記制御命令に基づいて走行することにより、ロボット１００の現在位置が変更されると、図８ｂの（ｂ）に示すように、メイン領域Ａに出力された地図イメージ８２０に含まれるロボット１００の現在位置を示すグラフィックオブジェクト８０３ｂの出力位置も変更される（ロボット１００が走行する前のグラフィックオブジェクト８０３ａの出力位置を参照のこと）。このように、制御部３５０は、ユーザ入力がサブ領域Ｂに対して加えられると、ロボット１００の走行を制御するための制御命令を生成すると共に、ディスプレイ部３３０のディスプレイ領域（例えば、メイン領域Ａ及びサブ領域Ｂ）に関する制御を行うことができる。よって、ユーザは、ロボット１００の走行を制御中に、メイン領域Ａとサブ領域Ｂとの画面切り替えが必要であれば、ユーザ入力を加える領域を選択することにより、簡単に画面切り替えを行うことができる。
【0101】
以上、メイン領域Ａに周辺画像が出力された状態でメイン領域Ａとサブ領域Ｂとの画面切り替えを行う方法について説明した。以下、メイン領域Ａに地図イメージが出力された状態でメイン領域Ａとサブ領域Ｂとの画面切り替えを行う方法について説明する。
【0102】
図９ａの（ａ）に示すように、ディスプレイ部３３０のメイン領域Ａには、ロボット１００の位置情報に対応する場所の地図イメージ９２０が出力され、ディスプレイ部３３０のサブ領域Ｂには、ロボット１００で撮影された周辺画像９１０が出力されている。このようにメイン領域Ａ及びサブ領域Ｂにそれぞれ地図イメージ９２０及び周辺画像９１０が出力されている状態で、入力部３４０を介したユーザ入力がメイン領域Ａに対して加えられると、制御部３５０は、前記ユーザ入力に応答して、前記ユーザ入力に対応するロボット１００の走行に関する制御命令を生成することができる。例えば、前記ユーザ入力がロボット１００を一方向（９０２ａから９０２への方向）に前進走行させる制御命令である場合、ロボット１００は、前記制御命令に基づいて、前記一方向に走行することができる。ロボット１００が前記制御命令に基づいて走行することにより、ロボット１００の現在位置が変更されると、図９ａの（ｂ）に示すように、メイン領域Ａに出力された地図イメージ９２０に含まれるロボット１００の現在位置を示すグラフィックオブジェクト９０２（図９ａの（ａ）の９０２ａを参照のこと）の出力位置も変更される。一方、図示していないが、地図イメージに含まれる場所情報は、ロボット１００の走行に連動して、少なくとも一部を変更することができる。すなわち、制御部３５０は、ロボット１００の現在位置を基準として、所定の範囲内の場所情報が地図イメージ９２０に含まれるように、地図イメージをリアルタイムで、又は、所定の時間間隔でアップデートすることができる。
【0103】
制御部３５０は、図９の（ａ）に示すように、ユーザ入力がメイン領域Ａに対して加えられると、ロボット１００の走行を制御するための制御命令のみを生成することができる。すなわち、この場合、メイン領域Ａ及びサブ領域Ｂに出力される情報の種類は、変更されず、ユーザ入力が行われる前と同じである。
【0104】
また、図９ａの（ｂ）に示すように、サブ領域Ｂには、ロボット１００が前記制御命令に基づいて走行する前の周辺画像９１０（図９ａの（ａ）を参照のこと）とは異なる周辺画像９１０’が出力される。すなわち、制御部３５０は、ロボット１００からリアルタイムで、又は、所定の時間間隔で画像を受信し、最も新しく受信した周辺画像をサブ領域Ｂに出力することができる。一方、前述のように、ロボット１００の走行を制御するためのユーザ入力は、入力部３４０を介してディスプレイ部３３０に加えられるドラッグ入力であってもよい。
【0105】
次に、上記の例とは異なる場合について説明する。図９ｂの（ａ）に示すように、ディスプレイ部３３０のメイン領域Ａには、ロボット１００の位置情報に対応する場所の地図イメージ９２０が出力され、ディスプレイ部３３０のサブ領域Ｂには、ロボット１００で撮影された周辺画像９１０が出力されている。このようにメイン領域Ａ及びサブ領域Ｂにそれぞれ地図イメージ９２０及び周辺画像９１０が出力されている状態で、入力部３４０を介したユーザ入力がサブ領域Ｂに対して加えられると、制御部３５０は、前記ユーザ入力に応答して、前記ユーザ入力に対応するロボット１００の走行に関する制御命令を生成することができる。例えば、前記ユーザ入力がロボット１００を一方向に前進走行させる制御命令である場合、ロボット１００は、前記制御命令に基づいて、前記一方向に走行することができる。
【0106】
また、制御部３５０は、図９ｂの（ａ）に示すように、ユーザ入力がサブ領域Ｂに対して加えられたことに応答して、ｉ）ロボット１００の走行を制御するための制御命令を生成すると共に、図９ｂの（ａ）及び（ｂ）に示すように、ｉｉ）サブ領域Ｂに出力されていた周辺画像９１０がメイン領域Ａに出力され、ｉｉｉ）メイン領域Ａに出力されていた地図イメージ９２０がサブ領域Ｂに出力されるように、ディスプレイ部３３０を制御することができる。
【0107】
すなわち、制御部３５０は、ユーザ入力がサブ領域Ｂに対して加えられると、メイン領域Ａ及びサブ領域Ｂに出力されている視覚的な情報を互いに切り替えることができる。一方、前述のように、ロボット１００の走行を制御するためのユーザ入力は、入力部３４０を介してディスプレイ部３３０に加えられるドラッグ入力であってもよい。
【0108】
制御部３５０は、図９ｂの（ａ）に示すように、カーソルイメージ９０１ａ、９０１を一方向（９０３ａから９０３への方向）にドラッグするユーザ入力に基づいて、ロボット１００の走行を制御するための制御命令を生成することができる。
【0109】
このようにして、ロボット１００が前記制御命令に基づいて走行することにより、ロボット１００の現在位置が変更されると、地図イメージ９２０に含まれるロボット１００の現在位置を示すグラフィックオブジェクト９０２’の出力位置も変更される（ロボット１００が走行する前のグラフィックオブジェクト９０２の出力位置を参照のこと）。このように、制御部３５０は、ユーザ入力がサブ領域Ｂに対して加えられると、ロボット１００の走行を制御するための制御命令を生成すると共に、ディスプレイ部３３０のディスプレイ領域（例えば、メイン領域Ａ及びサブ領域Ｂ）に関する制御を行うことができる。
【0110】
このように、本発明においては、ロボット遠隔制御システム３００のディスプレイ部３３０へのユーザ入力に基づいて、ロボットの走行を遠隔制御すると共に、ディスプレイ部３３０の制御を行うことができる。一方、制御部３５０は、ユーザにロボット１００の走行に関する情報を提供するために、図１０に示すように、ロボット１００の走行に関するガイド情報１０３０をディスプレイ部３３０に出力することができる。ガイド情報１０３０は、ロボット１００の走行経路及び走行速度の少なくとも一方に基づいて、視覚的な形状が異なるようにしてもよい。ガイド情報１０３０は、同図に示すように、ロボット１００から受信した周辺画像１０１０にオーバーラップして表示されるようにしてよい。
【0111】
それとは異なり、制御部３５０は、メイン領域Ａにガイド情報１０３０が表示されるようにしてもよい。この場合、メイン領域Ａには、周辺画像及び地図イメージのいずれか一方が出力される。ガイド情報１０３０により、ユーザはロボットの遠隔制御をより容易に行うことができる。
【0112】
なお、本発明において、ディスプレイ部３３０に加えられるユーザ入力は、入力部３４０を介して行われるようにしてもよい。ここで、制御部３５０は、ユーザ入力の属性によって、ロボット１００の走行に関する異なる制御命令を実行することができる。すなわち、ロボット１００の走行属性は、ユーザ入力の属性によって異なる。例えば、ユーザ入力が、入力部３４０を用いてカーソルイメージ（例えば、図８ａの（ａ）の符号８０１を参照のこと）をドラッグするドラッグ入力である場合、制御部３５０は、前記ユーザ入力に応じて移動するカーソルイメージ８０１のドラッグの程度及びドラッグの方向に基づいて、ロボット１００の走行属性を決定することができる。
【0113】
ここで、ロボット１００の走行属性は、ロボット１００の走行方向（又は、ロボット１００の移動方向）、ロボット１００の走行速度（又は、ロボット１００の移動速度）、走行中であるか否か、走行経路、及び、ロボット１００の走行距離（又は、ロボット１００の移動距離）のうち１つ以上を含んでよい。
【0114】
例えば、制御部３５０は、前記ユーザ入力に応じてカーソルイメージ８０１がドラッグされる速度に基づいて、ロボット１００の走行速度を制御することができる。
【0115】
図１１に示すように、制御部３５０は、ユーザ入力の属性とロボット１００の走行属性とをマッチングさせたマッチング情報を含んでよい。また、ユーザ入力の入力方式や入力特徴などに基づいて、ロボット１００の走行を制御するための様々な制御命令を生成することができる。図１１に示すマッチング情報は、一例であり、場合によって様々に変化する。例えば、ユーザは、「ドラッグ」という入力方式の様々な入力属性（又は、入力特徴）を変化させることにより、ロボット１００の走行に関する様々な制御命令を出すことができる。例えば、カーソルイメージ８０１のドラッグ長さが長くなるほど、制御部３５０は、ロボット１００の移動距離が長くなるように制御することができる。このように、本発明においては、ディスプレイ部３３０への直観的なユーザ入力に基づいて、ロボット１００の走行を制御すると共に、ディスプレイ部３３０の画面切り替えを行うことにより、ロボット１００を遠隔制御するためのユーザ利便性を最大化することができる。
【0116】
一方、上記の説明においては、ロボット１００の位置推定が制御部３５０により行われる例について説明したが、本発明は、これに限定されるものではない。すなわち、ロボット１００の位置推定は、ロボット１００自体で行われるようにしてもよい。すなわち、ロボット１００は、ロボット１００自体で受信する画像に基づいて、上記方式で現在位置を推定することができる。また、ロボット１００は、推定された位置情報を制御部３５０に送信することができる。この場合、制御部３５０は、ロボット１００から受信する位置情報に基づいて、前述した一連の制御を行うことができる。
【0117】
前述のように、本発明によるロボット遠隔制御方法及びシステムは、ロボットから受信する画像と、ロボットが位置する場所に関する情報を含む地図を共に提供することができる。これにより、本発明によるロボット遠隔制御方法及びシステムは、ロボットを遠隔制御する状況で、ロボットを囲む周辺環境情報を総合的に提供できるユーザ環境を提供することができる。よって、ロボットを遠隔制御するユーザは、ロボットを遠隔制御する際に、周辺環境を考慮して、ロボットの制御をより正確に行うことができる。
【0118】
また、本発明によるロボット遠隔制御方法及びシステムは、ロボットの遠隔制御のためのユーザ入力に基づいて、ロボットの制御を行うと共に、ディスプレイ領域の制御を行うことができるユーザ環境を提供することができる。よって、ロボットを遠隔制御するユーザは、状況に応じて、ロボットの制御及びディスプレイ領域の制御を１つの制御命令に基づいて行うことにより、作業をより簡単かつ直観的に行うことができる。
【0119】
一方、前述した本発明は、コンピュータで１つ以上のプロセスにより実行され、コンピュータ可読媒体に保存できるプログラムとして実現することができる。
【0120】
また、前述した本発明は、プログラム記録媒体にコンピュータ可読コード又はコマンドとして実現することができる。すなわち、本発明は、プログラムの形態で提供することができる。
【0121】
一方、コンピュータ可読媒体は、コンピュータシステムにより読み取り可能なデータが記録されるあらゆる種類の記録装置を含む。コンピュータ可読媒体の例としては、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Disk）、ＳＤＤ（Silicon Disk Drive）、ＲＯＭ、ＲＡＭ、ＣＤ－ＲＯＭ、磁気テープ、フロッピーディスク、光データ記憶装置、などが挙げられる。
【0122】
また、コンピュータ可読媒体は、ストレージを含み、電子機器が通信によりアクセスできるサーバ又はクラウドストレージであり得る。この場合、コンピュータは、有線又は無線通信により、サーバ又はクラウドストレージから本発明によるプログラムをダウンロードすることができる。
【0123】
さらに、本発明において、前述したコンピュータは、プロセッサ、すなわち中央処理装置（Central Processing Unit、CPU）が搭載された電子機器であり、その種類は特に限定されない。
【0124】
一方、本発明の詳細な説明は例示的なものであり、あらゆる面で制限的に解釈されてはならない。本発明の範囲は、添付の特許請求の範囲の合理的解釈により定められるべきであり、本発明の等価的範囲内でのあらゆる変更が本発明の範囲に含まれる。
【符号の説明】
【0125】
１０ 空間
２０（２０ａ、２０ｂ、２０ｃ） カメラ
１００ ロボット
３００ ロボット遠隔制御システム
３１０ 通信部
３２０ 保存部
３３０ ディスプレイ部
３４０ 入力部
３５０ 制御部
２０（２０ａ、２０ｂ、２０ｃ） カメラ
１００ ロボット
３００ ロボット遠隔制御システム
３１０ 通信部
３２０ 保存部
３３０ ディスプレイ部
３４０ 入力部
３５０ 制御部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8a】
【図8b】
【図9a】
【図9b】
【図10】
【図11】