(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-12-22
(45)【発行日】2023-01-05
(54)【発明の名称】ロボット管制方法及びシステム
(51)【国際特許分類】
G05D 1/00 20060101AFI20221223BHJP
G06Q 50/10 20120101ALI20221223BHJP
G05D 1/02 20200101ALI20221223BHJP
【ＦＩ】
G05D1/00 B
G06Q50/10
G05D1/02 K
【請求項の数】
11
(21)【出願番号】P 2021122298
(22)【出願日】2021-07-27
(65)【公開番号】P2022027568
(43)【公開日】2022-02-10
【審査請求日】2021-07-27
(31)【優先権主張番号】10-2020-0094921
(32)【優先日】2020-07-30
(33)【優先権主張国・地域又は機関】KR
(73)【特許権者】
【識別番号】319012978
【氏名又は名称】ネイバーラボス コーポレーション
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【弁理士】
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】キム ガヒョン
(72)【発明者】
【氏名】チャ セジン
【審査官】藤崎 詔夫
(56)【参考文献】
【文献】特開２００５－２６８９７２（ＪＰ，Ａ）
【文献】特開２００２－８４５３１（ＪＰ，Ａ）
【文献】特開平０４－２５０３８０（ＪＰ，Ａ）
【文献】特開２００１－３１５０８０（ＪＰ，Ａ）
【文献】特開２００６－８１０５３（ＪＰ，Ａ）
【文献】特開２０１９－１２５３５４（ＪＰ，Ａ）
【文献】特開２０１９－１２８２５８（ＪＰ，Ａ）
【文献】特開２０１４－１６７０６（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０５Ｄ １／００
Ｇ０６Ｑ ５０／１０
Ｇ０５Ｄ １／０２
(57)【特許請求の範囲】
【請求項1】
ロボット管制方法であって、空間内に位置するロボットから、前記ロボットの位置情報を受信するステップと、
前記位置情報に基づいて、前記空間に配置された複数のカメラのうち、前記位置情報に対応する特定の空間に配置されたカメラを特定するステップと、
前記ロボットに備えられたカメラ及び前記特定されたカメラから、それぞれ画像を受信するステップと、
前記ロボットに備えられたカメラ及び前記特定されたカメラから受信した画像を、ディスプレイ部に出力するステップと、を含み、
前記カメラを特定するステップは、
前記空間に配置された複数のカメラのうち、前記ロボットの走行情報に含まれる走行方向に対応する領域を画角とするカメラを特定し、
前記画像をディスプレイ部に出力するステップは、
前記特定されたカメラから受信する画像を前記ディスプレイ部上の特定の位置に出力する、
ことを特徴とする、ロボット管制方法。
【請求項2】
前記ディスプレイ部には、
前記特定されたカメラである第１カメラから受信した第１画像が、前記特定の位置である前記ディスプレイ部の第１位置に表示される、
ことを特徴とする、請求項１に記載のロボット管制方法。
【請求項3】
前記カメラを特定するステップは、前記第１カメラを特定すると共に、前記ロボットの走行方向の逆方向に対応する第２領域を画角とする第２カメラを特定し、
前記第２カメラから受信する第２画像は、
前記ディスプレイ部上で、前記第１画像が出力される前記第１位置とは重ならない第２位置に出力される、
ことを特徴とする、請求項２に記載のロボット管制方法。
【請求項4】
前記ディスプレイ部のメイン領域には、前記ロボットに備えられたカメラから受信する画像が出力され、前記メイン領域と重なるサブ領域には、前記第１画像及び前記第２画像が出力される、
ことを特徴とする、請求項３に記載のロボット管制方法。
【請求項5】
前記サブ領域は、前記第１画像を含む第１サブ領域、及び、前記第２画像を含む第２サブ領域を含み、前記第１サブ領域及び前記第２サブ領域の出力位置は、前記ロボットの走行方向を基準に決定される、
ことを特徴とする、請求項４に記載のロボット管制方法。
【請求項6】
前記特定されたカメラが複数である場合、前記ロボットに備えられたカメラから受信した画像と、前記特定された複数のカメラから受信した複数の画像との類似度を比較するステップ、をさらに含み、
前記ディスプレイ部に出力される、前記特定されたカメラから受信した画像は、前記類似度に基づいて特定される、
ことを特徴とする、請求項１～５のいずれか一項に記載のロボット管制方法。
【請求項7】
前記ディスプレイ部には、前記特定された複数のカメラから受信した複数の画像のうち、前記ロボットに備えられたカメラから受信した画像との類似度が最も低い画像が出力される、
ことを特徴とする、請求項６に記載のロボット管制方法。
【請求項8】
前記カメラを特定するステップは、前記ロボットに設定された走行経路に基づいて、前記空間に配置された複数のカメラのうち、前記走行経路上に配置された複数のカメラを特定し、
前記ディスプレイ部では、
前記ロボットが前記走行経路を走行することに連動して、前記複数の特定されたカメラから受信した画像間の切り替えが行われる、
ことを特徴とする、請求項１に記載のロボット管制方法。
【請求項9】
前記カメラを特定するステップは、前記複数の特定されたカメラのうち、前記ロボットの現在位置を基準にして前記ロボットに最も近い位置に配置された第１カメラを特定し、
前記画像を出力するステップにおいては、
前記ディスプレイ部に前記第１カメラから受信した画像が出力されている状態で、前記ロボットが前記走行経路を走行することにより、前記ロボットの現在位置に最も近い位置に配置されたカメラが、前記第１カメラから、前記複数の特定されたカメラのうちの第２カメラに変更される場合に、
前記ディスプレイ部に出力された前記第１カメラから受信した画像を、前記第２カメラから受信した画像に切り替える、
ことを特徴とする、請求項８に記載のロボット管制方法。
【請求項10】
前記ディスプレイ部には、前記位置情報に対応する場所の地図イメージがさらに出力される、
ことを特徴とする、請求項１～９のいずれか一項に記載のロボット管制方法。
【請求項11】
ロボット管制システムであって、ディスプレイ部と、
空間内に位置するロボットから、前記ロボットの位置情報を受信する通信部と、
前記位置情報に基づいて、前記空間に配置された複数のカメラのうち、前記位置情報に対応する特定の空間に配置されたカメラを特定する制御部と、を含み、
前記制御部は、
前記ロボットに備えられたカメラ及び前記特定されたカメラから、それぞれ画像を受信するように、前記通信部を制御し、かつ、
前記ロボットに備えられたカメラ及び前記特定されたカメラから受信した画像が共に出力されるように、前記ディスプレイ部を制御し、
前記空間に配置された複数のカメラのうち、前記ロボットの走行情報に含まれる走行方向に対応する領域を画角とするカメラを特定し、
前記特定されたカメラから受信する画像を前記ディスプレイ部上の特定の位置に出力する、
ことを特徴とする、ロボット管制システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ロボットの管制に関し、より詳細には、ロボットを遠隔で管理及び制御できるロボット管制方法及びシステムに関する。
【背景技術】
【0002】
技術が発展するにつれて、様々なサービスデバイスが出現しており、特に、近年は、様々な作業やサービスを行うロボットに関する技術開発が盛んに行われている。
【0003】
さらに、近年では、人工知能技術やクラウド技術などが発展するにつれて、ロボットの活用度がますます高まっている。
【0004】
一方、ロボットを使用して様々な作業やサービスを提供するためには、ロボットを正確に制御することが非常に重要である。しかし、ユーザがロボットの周辺で逐一ロボットの制御を行うことには現実的な限界があるので、ロボットを遠隔で管理及び制御する技術の必要性がますます高まっている。
【0005】
よって、特許文献１（ラップアラウンド画像を用いたロボット遠隔制御のための方法及びそのための装置）は、ロボットの四方にカメラを備え、ロボット周辺の画像を取得し、それを用いてロボットを遠隔で管理する技術について開示している。
【0006】
ただし、ロボットに備えられたカメラのみでロボットの周辺環境を把握する場合、ロボットが位置する場所に関する情報を正確に把握できないという問題が生じ得る。よって、ロボットの位置情報及びロボットの周辺環境情報をより直観的に提供できる管制システムに対するニーズが依然として存在する。
【先行技術文献】
【特許文献】
【0007】
【文献】韓国登録特許第１０－１３０５９４４号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
本発明は、ロボットの管制方法及びシステムを提供するものである。より具体的に、本発明は、より直観的にロボットを遠隔で管理及び制御できるロボット管制方法及びシステムを提供するものである。
【課題を解決するための手段】
【0009】
上記課題を解決するために、本発明によるロボット管制方法は、空間内に位置するロボットから、前記ロボットの位置情報を受信するステップと、前記位置情報に基づいて、前記空間に配置された複数のカメラのうち、前記位置情報に対応する特定の空間に配置されたカメラを特定するステップと、前記ロボットに備えられたカメラ及び前記特定されたカメラからそれぞれ画像を受信するステップと、前記ロボットに備えられたカメラ及び前記特定されたカメラから受信した画像をディスプレイ部に出力するステップとを含む、ことを特徴とする。
【0010】
また、本発明によるロボット管制システムは、ディスプレイ部と、空間内に位置するロボットから、前記ロボットの位置情報を受信する通信部と、前記位置情報に基づいて、前記空間に配置された複数のカメラのうち、前記位置情報に対応する特定の空間に配置されたカメラを特定する制御部とを含み、前記制御部は、前記ロボットに備えられたカメラ及び前記特定されたカメラから画像を受信するように、前記通信部を制御し、かつ、前記ロボットに備えられたカメラ及び前記特定されたカメラから受信した画像が共に出力されるように、前記ディスプレイ部を制御する、ことを特徴とする。
【発明の効果】
【0011】
以上のように、本発明によるロボット管制方法及びシステムは、ロボットが位置する空間に配置されたカメラから画像を受信し、受信した画像を提供することができる。よって、ユーザは、ロボットの周辺にいなくても、ロボット周辺の状況情報を一目で把握することができる。
【図面の簡単な説明】
【0012】
【図1】本発明によるロボット管制方法及びシステムを説明するための概念図である。
【図2】本発明によるロボット管制方法及びシステムを説明するための概念図である。
【図3】本発明によるロボット管制方法及びシステムにおける、ロボットで収集される画像及びロボットの現在位置を推定する方法を説明するための概念図である。
【図4】本発明によるロボット管制方法を説明するためのフローチャートである。
【図5a】本発明によるロボット管制方法及びシステムにおける、ロボットを囲む周辺環境に関する情報を提供する方法を説明するための概念図である。
【図5b】本発明によるロボット管制方法及びシステムにおける、ロボットを囲む周辺環境に関する情報を提供する方法を説明するための概念図である。
【図5c】本発明によるロボット管制方法及びシステムにおける、ロボットを囲む周辺環境に関する情報を提供する方法を説明するための概念図である。
【図6】本発明によるロボット管制方法及びシステムにおける、ロボットを囲む周辺環境に関する情報を提供する方法を説明するための概念図である。
【図7a】本発明によるロボット管制方法及びシステムにおける、ロボットを囲む周辺環境に関する情報を提供する方法を説明するための概念図である。
【図7b】本発明によるロボット管制方法及びシステムにおける、ロボットを囲む周辺環境に関する情報を提供する方法を説明するための概念図である。
【発明を実施するための形態】
【0013】
以下、添付図面を参照して本明細書に開示される実施形態について詳細に説明するが、図面番号に関係なく、同一又は類似の構成要素には同一又は類似の符号を付し、その説明は省略する。以下の説明で用いる構成要素の接尾語である「モジュール」及び「部」は、明細書の作成を容易にするために付与又は混用されるものであり、それ自体が有意性や有用性を有するものではない。また、本明細書に開示される実施形態について説明するにあたって、関連する公知技術についての具体的な説明が本明細書に開示される実施形態の要旨を不明確にする恐れがあると判断される場合は、その詳細な説明を省略する。なお、添付図面は、本明細書に開示される実施形態を容易に理解できるようにするためのものにすぎず、添付図面によって本明細書に開示される技術的思想が限定されるものではない。本発明の思想及び技術範囲に含まれるあらゆる変更、均等物、又は代替物は、本発明に含まれるものと理解されるべきである。
【0014】
第１、第２などのように序数を含む用語は、様々な構成要素を説明するために用いられるが、上記構成要素は、上記用語によって限定されるものではない。上記用語は、１つの構成要素を他の構成要素と区別する目的でのみ用いられる。
【0015】
ある構成要素が他の構成要素に「連結」又は「接続」されていると言及された場合は、その構成要素は、他の構成要素に直接連結又は接続されていてもよく、中間に、さらに、他の構成要素が存在してもよいものと解すべきである。それに対して、ある構成要素が他の構成要素に「直接連結」又は「直接接続」されていると言及された場合は、中間に、他の構成要素がさらには
存在しないものと解すべきである。
存在しないものと解すべきである。
【0016】
単数の表現には、特に断らない限り複数の表現が含まれる。
【0017】
本明細書において、「含む」や「有する」などの用語は、明細書に記載された特徴、数字、ステップ、動作、構成要素、部品、又は、それらの組み合わせが存在することを指定しようとするものであり、１つ又はそれ以上の他の特徴、数字、ステップ、動作、構成要素、部品、又は、それらの組み合わせの存在や付加可能性を予め排除するものではないものと理解すべきである。
【0018】
本発明は、ロボットの周辺環境及びロボットの現在位置のどちらを考慮しても、ロボットを遠隔制御することのできる、ロボット管制方法及びシステムを提供するものである。より具体的に、本発明は、ロボットの死角まで考慮するロボット管制方法及びシステムを提供するものである。
【0019】
また、本発明は、ロボットの周辺環境を直観的に把握できるユーザ環境を提供する管制方法及びシステムを提供するものである。
【0020】
より具体的に、本発明は、ロボットの管制方法及びシステムを提供するものであり、さらに具体的には、より直観的にロボットを遠隔で管理及び制御できる方法及びシステムを提供するものである。以下に、添付図面を参照して、ロボットが走行する空間、及び、それに関連するロボット管制システムについて説明する。図１及び図２は、本発明によるロボット管制方法及びシステムを説明するための概念図である。
【0021】
図１に示すように、技術が発展するにつれて、ロボットの活用度はますます高まっている。従来のロボットは、特殊な産業分野（例えば、産業自動化関連分野）で活用されていたが、次第に人間や設備のために有用な作業を行うサービスロボットに変貌している。
【0022】
このように様々なサービスを提供するロボットは、与えられたタスクを実行するために、図１に示すような空間１０を走行するようにしてよい。ロボットが走行する空間の種類に制限はなく、ロボットは、必要に応じて、室内空間及び室外空間の少なくとも一方を走行するようにしてもよい。例えば、室内空間には、デパート、空港、ホテル、学校、ビル、地下鉄駅、汽車駅、書店など、様々な空間が含まれる。ロボットは、このように様々な空間に配置され、人間に有用なサービスを提供する。
【0023】
一方、ロボットを用いて様々なサービスを提供する上で、ロボットを正確に制御することは非常に重要な要素である。よって、本発明は、空間に配置されたカメラを共に用いて、ロボットを遠隔で、より正確に制御する方法を提案する。
【0024】
図１に示すように、ロボットが位置する空間１０にはカメラ２０が配置されてよい。空間１０に配置されたカメラ２０の数は制限されない。同図に示すように、空間１０には、複数のカメラ２０ａ、２０ｂ、２０ｃが配置されてよい。空間１０に配置されたカメラ２０として、様々な種類を用いることができる。本発明においては、特に、空間１０に配置されたカメラ２０として、ＣＣＴＶ（closed-circuit television）を用いることができる。
【0025】
図２に示すように、本発明によれば、ロボット管制システム３００は、ロボット１００を遠隔で管理及び制御することができる。
【0026】
本発明において、「管制」は、ロボットを遠隔で管理、監視、又は制御するという意味を含む包括的な用語として用いられる。すなわち、管制の対象となるロボット１００は、本発明によるロボット管制システム３００から受信した制御命令に基づいて、動作（例えば、走行）が制御される。
【0027】
本発明によるロボット管制システム３００は、空間１０に配置されたカメラ２０（例えば、ＣＣＴＶ）から受信する画像を用いて、ロボットの遠隔監視及び制御を適切に行うことができる。以下、空間に配置されたＣＣＴＶから受信する画像をロボットの管制に用いる方法について、より具体的に説明する。
【0028】
図２に示すように、本発明によるロボット管制システム３００は、通信部３１０、保存部３２０、ディスプレイ部３３０、入力部３４０、及び制御部３５０の少なくとも１つを含む。
【0029】
通信部３１０は、空間１０に配置された様々なデバイスと有線又は無線で通信するように構成されている。通信部３１０は、同図に示すように、ロボット１００と通信することができる。通信部３１０は、ロボット１００との通信により、ロボット１００に備えられたカメラで撮影される画像を受信するようにしてもよい。
【0030】
また、通信部３１０は、カメラ２０との直接的な通信を行うことができる。さらに、通信部３１０は、カメラ２０を制御する画像管制システム２０００と通信することができる。画像管制システム２０００と通信部３１０間で通信が行われる場合、ロボット管制システム３００は、通信部３１０により、画像管制システム２０００からカメラ２０で撮影される（又は、受信される）画像を受信することができる。
【0031】
さらに、通信部３１０は、少なくとも１つの外部サーバ２００（又は外部ストレージ）と通信することができる。ここで、外部サーバ２００は、同図に示すように、クラウドサーバ２１０及びデータベース２２０の少なくとも一方を含むように構成されてよい。一方、外部サーバ２００は、制御部３５０の少なくとも一部の役割を果たすように構成されてもよい。すなわち、データ処理やデータ演算などの実行は、外部サーバ２００で行われるようにしてもよく、本発明においては、その方式に特に制限を設けていない。
【0032】
一方、通信部３１０は、通信するデバイスの通信規格に準拠して、様々な通信方式をサポートすることができる。
【0033】
例えば、通信部３１０は、ＷＬＡＮ（Wireless LAN）、Ｗｉ－Ｆｉ（Wireless Fidelity）、Ｗｉ－Ｆｉ Ｄｉｒｅｃｔ（Wireless Fidelity Direct）、ＤＬＮＡ（登録商標）（Digital Living Network Alliance）、ＷｉＢｒｏ（Wireless Broadband）、ＷｉＭＡＸ（World Interoperability for Microwave Access）、ＨＳＤＰＡ（High-Speed Downlink Packet Access）、ＨＳＵＰＡ（High-Speed Uplink Packet Access）、ＬＴＥ（Long Term Evolution）、ＬＴＥ－Ａ（Long Term Evolution-Advanced）、５Ｇ（5th Generation Mobile Telecommunication）、ブルートゥース（登録商標）（BluetoothTM）、ＲＦＩＤ（Radio Frequency Identification）、ＩｒＤＡ（Infrared Data Association）、ＵＷＢ（Ultra Wide Band）、ＺｉｇＢｅｅ（登録商標）、ＮＦＣ（Near Field Communication）、及びワイヤレスＵＳＢ（Wireless Universal Serial Bus）技術のうち少なくとも１つを用いて、空間１０の内外に位置するデバイス（クラウドサーバを含む）と通信を行うようにしてよい。
【0034】
次に、保存部３２０は、本発明に係る様々な情報を保存するようにしてよい。本発明において、保存部３２０は、ロボット管制システム３００自体に備えられてもよい。それとは異なり、保存部３２０の少なくとも一部は、クラウドサーバ２１０及びデータベース２２０の少なくとも一方であってもよい。すなわち、保存部３２０は、本発明によるロボットの管制のために必要な情報が保存される空間であれば十分であり、物理的な空間の制約はないものと解される。よって、以下では、保存部３２０、クラウドサーバ２１０、及びデータベース２２０を区分せず、全てを保存部３２０とする。ここで、クラウドサーバ２１０とは「クラウドストレージ」を意味する。また、保存部３２０は、ロボット管制システム３００に関する情報だけでなく、画像管制システム２０００に関する様々な情報を保存するようにしてもよい。
【0035】
まず、保存部３２０には、ロボット１００に関する情報を保存することができる。
【0036】
ロボット１００に関する情報は、非常に様々であり、例えば、ｉ）空間１０に配置されたロボット１００を識別するための識別情報（例えば、シリアル番号、ＴＡＧ情報、ＱＲコード（登録商標）情報など）、ｉｉ）ロボット１００に与えられたタスクに関するタスク情報、ｉｉｉ）ロボット１００に設定された走行経路に関する走行経路情報、ｉｖ）ロボット１００の位置情報、ｖ）ロボット１００の状態情報（例えば、電源状態、故障の有無、バッテリ状態など）、ｖｉ）ロボット１００に備えられたカメラから受信した画像に関する画像情報、などが挙げられる。
【0037】
次に、保存部３２０には、カメラ２０に関する情報を保存することができる。
【0038】
カメラ２０に関する情報は、非常に様々であり、例えば、ｉ）それぞれのカメラ２０ａ、２０ｂ、２０ｃ、２０ｄ・・・の識別情報（例えば、シリアル番号、ＴＡＧ情報、ＱＲコード（登録商標）情報など）、ｉｉ）それぞれのカメラ２０ａ、２０ｂ、２０ｃ、２０ｄ・・・の配置位置情報（例えば、空間内でそれぞれのカメラ２０ａ、２０ｂ、２０ｃ、２０ｄ・・・が配置された位置に関する情報）、ｉｉｉ）それぞれのカメラ２０ａ、２０ｂ、２０ｃ、２０ｄ・・・の画角情報（例えば、空間内でそれぞれのカメラ２０ａ、２０ｂ、２０ｃ、２０ｄ・・・が撮影しているビューに関する情報）、ｉｖ）それぞれのカメラ２０ａ、２０ｂ、２０ｃ、２０ｄ・・・の状態情報（例えば、電源状態、故障の有無、バッテリ状態など）、ｖ）それぞれのカメラ２０ａ、２０ｂ、２０ｃ、２０ｄ・・・から受信した画像に関する画像情報、などが挙げられる。
【0039】
一方、前記列挙されたカメラ２０に関する情報は、それぞれのカメラ２０ａ、２０ｂ、２０ｃ、２０ｄ・・・を基準に、互いにマッチングされて存在するようにしてもよい。
【0040】
例えば、保存部３２０には、特定のカメラ２０ａの識別情報、位置情報、画角情報、状態情報、及び画像情報の少なくとも１つがマッチングされて、マッチング情報として存在するようにしてもよい。このようなマッチング情報は、今後、画像を見ようとする位置が特定された場合、当該位置のカメラを特定するのに有効に用いることができる。
【0041】
次に、保存部３２０には、空間１０の地図（又は地図情報）を保存することができる。ここで、地図は、２次元地図及び３次元地図の少なくとも一方であってよい。空間１０の地図とは、ロボット１００の現在位置を把握したり、ロボット１００の走行経路を設定したりするのに活用できる地図を意味する。
【0042】
特に、本発明によるロボット管制システム３００においては、ロボット１００から受信する画像に基づいて、ロボット１００の位置を把握することができる。そのために、保存部３２０に保存された空間１０の地図は、画像に基づいて位置を推定できるようにするデータで構成されてよい。
【0043】
ここで、空間１０の地図は、事前に、空間１０を移動する少なくとも１つのロボットにより、ＳＬＡＭ（Simultaneous Localization and Mapping）に基づいて作成された地図であってもよい。
【0044】
一方、保存部３２０には、前記列挙された情報の種類以外にも様々な情報を保存することができる。
【0045】
次に、ディスプレイ部３３０は、ロボット１００に備えられたカメラ及び空間１０に配置されたカメラ２０の少なくとも一方から受信する画像を出力するようにしてよい。ディスプレイ部３３０は、ロボット１００を遠隔管制する管理者のデバイスに備えられたものであり、図２に示すように、遠隔管制室３００ａに備えられてよい。また、それとは異なり、ディスプレイ部３３０は、モバイルデバイスに備えられたディスプレイであってもよい。このように、本発明においては、ディスプレイ部の種類に制限を設けていない。
【0046】
次に、入力部３４０は、ユーザ（又は、管理者）からの情報の入力のためのものであり、入力部３４０は、ユーザ（又、は管理者）とロボット管制システム３００との間の媒体であるといえる。より具体的に、入力部３４０とは、ユーザからロボット１００を制御するための制御命令を受信する入力手段を意味する。
【0047】
ここで、入力部３４０の種類に特に制限はなく、入力部３４０は、機械式（mechanical）入力手段（又はメカニカルキー）及びタッチ式入力手段の少なくとも一方を含む。機械式入力手段としては、例えば、マウス（mouse）、ジョイスティック（joystick）、物理的なボタン、ドームスイッチ（dome switch）、ジョグホイール、ジョグスイッチ、などが挙げられる。タッチ式入力手段は、例えば、ソフトウェア的な処理によりタッチスクリーンに表示される仮想キー（virtual key）、ソフトキー（soft key）、又はビジュアルキー（visual key）から構成されるようにしてよく、前記タッチスクリーン以外の部分に配置されるタッチキー（touch key）から構成されるようにしてもよい。一方、前記仮想キー及び前記ビジュアルキーは、タッチスクリーン上に様々な形状で表示され、例えば、グラフ（graphic）、テキスト（text）、アイコン（icon）、ビデオ（video）、又は、それらの組み合わせから構成されるようにしてもよい。ここで、入力部３４０がタッチスクリーンを含む場合、ディスプレイ部３３０は、タッチスクリーンからなるようにしてもよい。この場合、ディスプレイ部３３０は、情報を出力する役割と情報の入力を受ける役割の両方を果たす。
【0048】
次に、制御部３５０は、本発明によるロボット管制システム３００の全般的な動作を制御するように構成される。制御部３５０は、上記構成要素により入力又は出力される信号、データ、情報などを処理したり、ユーザに適切な情報又は機能を提供又は処理したりすることができる。
【0049】
特に、制御部３５０は、ロボット１００に備えられたカメラから受信する画像、及び、空間１０に配置されたカメラ２０から受信する画像を用いて、ロボット１００を管制できるディスプレイ環境を提供することができる。
【0050】
制御部３５０は、ロボット１００の現在位置情報に基づいて、ロボット１００が位置する場所に配置された少なくとも１つのカメラを特定することができる。特に、ロボット１００に備えられたカメラから受信する画像から、空間でのロボット１００の位置に関する位置情報を抽出することができる。また、制御部３５０は、保存部３２０から、前記抽出されたロボット１００の位置情報に対応するカメラを特定することができる。
【0051】
ここで、前記特定されたカメラは、ロボット１００の位置情報に対応する場所に配置されたカメラであってよい。また、前記特定されたカメラは、ロボット１００の走行方向に対応する領域を画角とするカメラであってもよい。
【0052】
一方、このようにカメラが特定されると、制御部３５０は、ロボット１００から受信した画像と前記特定されたカメラから受信した画像がディスプレイ部３３０に共に出力されるように、ディスプレイ部３３０を制御することができる。また、制御部３５０は、入力部３４０を介してディスプレイ部３３０に入力されるユーザ入力に基づいて、ロボット１００の遠隔制御を行うこともできる。
【0053】
一方、上記の説明においては、ロボット１００の位置推定が制御部３５０により行われる例について説明したが、本発明は、これに限定されるものではない。すなわち、ロボット１００の位置推定は、ロボット１００自体で行われるようにしてもよい。すなわち、ロボット１００は、ロボット１００自体で受信する画像に基づいて、上記の方式で現在位置を推定することができる。また、ロボット１００は、推定された位置情報を制御部３５０に送信することができる。この場合、制御部３５０は、ロボット１００から受信する位置情報に基づいて、一連の制御を行うことができる。
【0054】
一方、画像管制システム２０００は、空間１０内に配置された少なくとも１つのカメラ２０を制御するように構成されてよい。同図に示すように、空間１０には、複数のカメラ２０ａ、２０ｂ、２０ｃ、２０ｄ・・・が配置される。複数のカメラ２０ａ、２０ｂ、２０ｃ、２０ｄ・・・は、空間１０内でそれぞれ異なる位置に配置される。
【0055】
このように、空間１０の異なる位置に複数のカメラ２０ａ、２０ｂ、２０ｃ、２０ｄ・・・が配置されるので、ロボット管制システム３００においては、このような複数のカメラ２０ａ、２０ｂ、２０ｃ、２０ｄ・・・を用いて、ロボット１００を遠隔管理することができる。
【0056】
画像管制システム２０００は、ロボット管制システム３００との相互通信により、ロボット１００の管制に必要な情報をロボット管制システム３００に提供することができる。前述の保存部３２０の構成と同様に、画像管制システム２０００の保存部には、カメラ２０に関する様々な情報を保存することができる。カメラ２０に関する情報は、非常に様々であり、例えば、ｉ）それぞれのカメラ２０ａ、２０ｂ、２０ｃ、２０ｄ・・・の識別情報（例えば、シリアル番号、ＴＡＧ情報、ＱＲコード（登録商標）情報など）、ｉｉ）それぞれのカメラ２０ａ、２０ｂ、２０ｃ、２０ｄ・・・の配置位置情報（例えば、空間内でそれぞれのカメラ２０ａ、２０ｂ、２０ｃ、２０ｄ・・・が配置された位置に関する情報）、ｉｉｉ）それぞれのカメラ２０ａ、２０ｂ、２０ｃ、２０ｄ・・・の画角情報（例えば、空間内でそれぞれのカメラ２０ａ、２０ｂ、２０ｃ、２０ｄ・・・が撮影しているビューに関する情報）、ｉｖ）それぞれのカメラ２０ａ、２０ｂ、２０ｃ、２０ｄ・・・の状態情報（例えば、電源状態、故障の有無、バッテリ状態など）、ｖ）それぞれのカメラ２０ａ、２０ｂ、２０ｃ、２０ｄ・・・から受信した画像に関する画像情報、などが挙げられる。
【0057】
一方、前記列挙されたカメラ２０に関する情報は、それぞれのカメラ２０ａ、２０ｂ、２０ｃ、２０ｄ・・・を基準に、互いにマッチングされて存在するようにしてもよい。
【0058】
例えば、画像管制システム２０００の保存部には、特定のカメラ２０ａの識別情報、位置情報、画角情報、状態情報、及び画像情報の少なくとも１つがマッチングされて、マッチング情報として存在するようにしてよい。このようなマッチング情報は、今後、画像を見ようとする位置が特定された場合、当該位置のカメラを特定するのに有効に用いることができる。
【0059】
一方、以下では、前述したカメラに関する情報がどちらの保存部（又は、ストレージ）に保存されるかを区分せず、説明の便宜上、保存部３２０の構成に保存された場合を例として説明する。すなわち、カメラに関する情報は、状況に応じて様々な保存部に保存できるので、本発明においては、これに特に制限を設けていない。
【0060】
以上では、画像管制システム２０００及びロボット管制システム３００を別の構成として説明した。しかし、本発明は、これに限定されるものではなく、画像管制システム２０００及びロボット管制システム３００は、１つの統合されたシステムから構成されるようにしてもよい。この場合、画像管制システム２０００は、「カメラ部」の構成として命名してもよい。
【0061】
以下、添付図面を参照して、ロボット１００から受信する画像に基づいて、ロボット１００の現在位置を推定する方法について、より具体的に説明する。図３は、本発明によるロボット管制方法及びシステムにおける、ロボットで収集される画像及びロボットの現在位置を推定する方法を説明するための概念図である。
【0062】
前述のように、本発明による制御部３５０は、ロボット１００に備えられたカメラ（図示せず）を用いて空間１０の画像を受信し、受信した画像からロボットの位置を推定するビジュアルローカリゼーション（Visual Localization）を行うように構成される。ここで、ロボット１００に備えられたカメラは、空間１０の画像、すなわちロボット１００周辺の画像を撮影（又は検知）するように構成される。以下、説明の便宜上、ロボット１００に備えられたカメラにより取得された画像を「ロボット画像」という。また、空間１０に配置されたカメラにより取得された画像を「空間画像」という。
【0063】
制御部３５０は、図３の（ａ）に示すように、ロボット１００に備えられたカメラによりロボット画像１１０を取得するように構成される。また、制御部３５０は、取得されたロボット画像１１０を用いて、ロボット１００の現在位置を推定することができる。
【0064】
さらに、制御部３５０は、ロボット画像１１０と保存部３２０に保存された地図情報とを比較し、図３の（ｂ）に示すように、ロボット１００の現在位置に対応する位置情報（例えば、「３階のＡ区域（３，１，１）」）を抽出することができる。
【0065】
前述のように、本発明において、空間１０の地図は、事前に、空間１０を移動する少なくとも１つのロボットにより、ＳＬＡＭに基づいて作成された地図であってよい。特に、空間１０の地図は、画像情報に基づいて生成された地図であってもよい。
【0066】
すなわち、空間１０の地図は、ビジョン（又は、ビジュアル）ベースのＳＬＡＭ技術により生成された地図であってよい。
【0067】
よって、制御部３５０は、図３の（ｂ）に示すように、ロボット１００で取得されたロボット画像１１０の座標情報（例えば、「３階のＡ区域（３，１，１）」）を特定することができる。このように特定された座標情報は、ロボット１００の現在位置情報となる。
【0068】
ここで、制御部３５０は、ロボット１００で取得されたロボット画像１１０とビジョン（又は、ビジュアル）ベースのＳＬＡＭ技術により生成された地図とを比較することにより、ロボット１００の現在位置を推定することができる。この場合、制御部３５０は、ｉ）ロボット画像１１０と予め生成された地図を構成するイメージとのイメージ比較により、ロボット画像１１０に最も類似したイメージを特定し、ｉｉ）特定されたイメージにマッチした位置情報を取得する方式で、ロボット１００の位置情報を特定することができる。
【0069】
このように、制御部３５０は、図３の（ａ）に示すように、ロボット１００でロボット画像１１０が取得されると、取得されたロボット画像１１０を用いて、ロボット１００の現在位置を特定することができる。前述のように、制御部３５０は、保存部３２０に予め保存された地図情報（例えば、「参照マップ」ともいえる）から、ロボット画像１１０に対応する位置情報（例えば、座標情報）を抽出することができる。
【0070】
一方、上記説明においては、ロボット１００の位置推定が制御部３５０により行われる例について説明したが、前述のように、ロボット１００の位置推定がロボット１００自体で行われるようにしてもよい。すなわち、ロボット１００は、ロボット１００自体で受信する画像に基づいて、上記方式で現在位置を推定することができる。また、ロボット１００は、推定された位置情報を制御部３５０に送信することができる。この場合、制御部３５０は、ロボット１００から受信する位置情報に基づいて、一連の制御を行うことができる。
【0071】
このようにロボット画像１１０からロボット１００の位置情報が抽出されると、制御部３５０は、前記位置情報に対応する場所に配置された少なくとも１つのカメラ２０を特定することができる。制御部３５０は、保存部３２０に保存されたカメラに関するマッチング情報から、前記位置情報に対応する場所に配置されたカメラ２０を特定することができる。
【0072】
また、制御部３５０は、ロボット１００の管制のために、ロボット１００自体で取得されたロボット画像１１０だけでなく、ロボット１００が位置する空間に配置されたカメラ２０により取得された画像をディスプレイ部３３０に共に出力させることができる。よって、本発明においては、ロボット１００を遠隔で管理及び制御する管理者が、ロボット１００で取得されたロボット画像１１０だけでなく、ロボット１００が位置する空間を考慮して、ロボット１００の遠隔制御を行うようにすることができる。
【0073】
なお、本発明においては、ロボット画像及び空間画像をディスプレイ部３３０に共に出力することにより、ユーザがロボットを囲む様々な環境を全て考慮してロボットを管制できるユーザ環境を提供することができる。以下、それについて、添付図面を参照してより具体的に説明する。図４は、本発明によるロボット管制方法を説明するためのフローチャートであり、図５ａ、図５ｂ、図５ｃ、図６、図７ａ、及び図７ｂは、本発明によるロボット管制方法及びシステムにおける、ロボットを囲む周辺環境に関する情報を提供する方法を説明するための概念図である。
【0074】
まず、本発明によるロボット管制方法においては、ロボットで撮影された画像に対応する位置情報を特定する過程が行われる（Ｓ４１０）。
【0075】
ここで、特定される位置情報には、ロボットが現在位置する場所に関する情報が含まれてよい。
【0076】
前述のように、ロボット１００の位置情報は、制御部３５０又はロボット１００により特定されるようにしてもよい。
【0077】
ロボット１００においてロボット１００の位置情報が特定されると、制御部３５０は、ロボット１００から位置情報を受信する。よって、ロボット１００から位置情報を受信することは、「ロボット１００の位置情報が特定される」ともいえる。
【0078】
また、ロボット１００の位置情報は、制御部３５０により抽出及び特定されるようにしてもよい。より具体的に、制御部３５０は、通信部３１０により、ロボット１００からロボット画像を受信するようにしてよい。ここで、ロボット１００は、管制の対象（又は、遠隔制御の対象）となるロボットであってもよい。管制の対象となるロボット１００の特定は、様々に行うことができ、本発明においては、これについて具体的に限定しない。すなわち、制御部３５０は、様々な方法で管制の対象となるロボット１００の特定が行われると、管制の対象となるロボット１００から画像（ロボット画像）を受信することができる。
【0079】
このようにロボット１００からロボット画像を受信すると、制御部３５０は、受信したロボット画像を用いて、ロボット１００の現在位置を推定することができる。制御部３５０は、ビジュアルローカリゼーションにより、ロボット１００の現在位置を特定することができる。制御部３５０は、ロボット画像と保存部３２０に保存された地図情報とを比較し、図３の（ｂ）に示すように、ロボット１００の現在位置に対応する位置情報を抽出することができる。
【0080】
前述のように、本発明において、空間１０の地図は、事前に、空間１０を移動する少なくとも１つのロボットにより、ＳＬＡＭに基づいて作成された地図であってよい。特に、空間１０の地図は、画像情報に基づいて生成された地図であってもよい。すなわち、空間１０の地図は、ビジョン（又は、ビジュアル）ベースのＳＬＡＭ技術により生成された地図であってもよい。
【0081】
制御部３５０は、ロボット１００で取得されたロボット画像と、ビジョン（又は、ビジュアル）ベースのＳＬＡＭ技術により生成された地図とを比較することにより、ロボット１００の現在位置を推定することができる。この場合、制御部３５０は、ｉ）ロボット画像１１０と予め生成された地図を構成するイメージとのイメージ比較により、ロボット画像１１０に最も類似したイメージを特定し、ｉｉ）特定されたイメージにマッチした位置情報を取得する方式で、ロボット１００の位置情報を特定することができる。
【0082】
このように、制御部３５０は、前述した図３の（ａ）に示すように、ロボット１００でロボット画像１１０が取得されると、取得されたロボット画像１１０を用いて、ロボット１００の現在位置を特定することができる。前述のように、制御部３５０は、保存部３２０に予め保存された地図情報（例えば、「参照マップ」ともいえる）から、ロボット画像１１０に対応する位置情報（例えば、座標情報）を抽出することができる。
【0083】
一方、前述した制御部３５０において、ロボット１００の位置情報を特定する方法が、ロボット１００自体で行われるようにしてもよい。よって、この場合、前述した制御部３５０の役割は、ロボットの制御部により行われる。
【0084】
前述のように空間１０内に配置されたロボット１００の位置情報が特定されると、前記位置情報に基づいて、空間１０に配置されたカメラのうち、特定の空間に配置されたカメラを特定する過程が行われる（Ｓ４２０）。
【0085】
前述のように、本発明においては、説明の便宜上、ロボット１００に備えられたカメラにより取得された画像を「ロボット画像」という。また、空間１０に配置されたカメラにより取得された画像を「空間画像」という。
【0086】
本発明においては、ロボット１００に備えられたカメラ及びステップＳ４２０で特定されたカメラからそれぞれ画像を受信する過程が行われる（Ｓ４３０）。そして、ロボット１００に備えられたカメラ及びステップＳ４２０で特定されたカメラに対応する画像を共に管制システム３００のディスプレイ部３３０に出力する過程が行われる（Ｓ４４０）。
【0087】
本発明によるロボット管制システム３００は、ロボット１００及び空間１０に備えられたカメラから、リアルタイム又は所定の時間間隔でロボット画像及び空間画像をそれぞれ受信することができる。
【0088】
本明細書においては、ロボット１００に対応するグラフィックオブジェクトに対して符号１００ａを付す。
【0089】
制御部３５０は、図５ａに示すように、ロボット画像５１０、及び、空間画像５２１、５２２がディスプレイ部３３０に共に出力されるように、ディスプレイ部３３０を制御することができる。
【0090】
図５ａに示すように、ディスプレイ部３３０は、メイン領域Ａと、メイン領域Ａの少なくとも一部にオーバーラップする少なくとも１つのサブ領域Ｂ（Ｂ１、Ｂ２）とを含んでよい。ディスプレイ部３３０において視覚的な情報が表示される領域を「ディスプレイ領域」ともいう。この場合、ディスプレイ部３３０のディスプレイ領域は、メイン領域Ａと、メイン領域Ａの少なくとも一部にオーバーラップするサブ領域Ｂとを含むといえる。
【0091】
一方、メイン領域Ａにおいてサブ領域Ｂがオーバーラップする位置は、制御部３５０の制御又はユーザ入力に基づいて変更することができる。また、メイン領域Ａ及びサブ領域Ｂの少なくとも一方の出力の大きさも、制御部３５０の制御又はユーザ入力に基づいて変更できることは言うまでもない。
【0092】
上記の例においては、サブ領域Ｂがメイン領域Ａ上にオーバーラップする場合について説明したが、本発明は、上記の例に限定されるものではない。例えば、ディスプレイ部３３０は、複数のディスプレイ領域に分割され、そのうち、いずれか１つにメイン領域Ａが割り当てられ、他の少なくとも１つにはサブ領域Ｂが割り当てられるようにしてもよい。ここで、メイン領域Ａとサブ領域Ｂとは、重ならないようにしてよく、少なくとも一部のみ重なるようにしてもよい。本発明においては、メイン領域Ａの方がサブ領域Ｂより大きく形成されてもよい。
【0093】
制御部３５０は、図５ａに示すように、ロボット１００のロボット画像５１０と空間画像５２１、５２２を１つのディスプレイ部３３０に出力させることにより、ユーザにロボット１００を囲む空間に関する情報を総合的に提供することができる。
【0094】
また、本発明において、制御部３５０は、図５ａに示すように、ロボット１００の現在位置に対応する場所情報を含む地図イメージＣをさらに提供することができる。この場合、ディスプレイ部３３０には、ロボット画像５１０、空間画像５２１、５２２、及び地図イメージＣを共に出力することができる。
【0095】
本発明において、地図イメージＣは、２次元イメージ又は３次元イメージであり、ロボット１００が位置する空間１０を視覚化したイメージから構成されるようにしてよい。ここで、地図イメージＣには、ロボット１００で取得されたロボット画像５１０に対応する場所情報が含まれるようにしてもよい。制御部３５０は、抽出されたロボット１００の位置情報に対応する地図イメージＣを特定することができる。
【0096】
地図イメージＣは、様々な形式が可能であり、実際のカメラにより取得された画像から構成されるようにしてよい。この場合、地図イメージＣは、空間１０に配置されたカメラ２０又はロボット１００で取得された画像の少なくとも一方を用いて構成してもよい。
【0097】
それとは異なり、地図イメージＣは、カメラにより取得された画像ではなく、空間１０を所定の倍率で縮小したイメージで構成してよい。地図イメージＣは、空間１０を構成する実際の全ての事物をそのまま含むのではなく、空間１０の一部の情報を含むように構成したイメージであってもよい。ここで、空間１０の一部の情報は、ロボット１００の走行及び経路を決定するのに必要な情報であり、柱情報、天井情報、壁情報、空間区分情報、家具（空間１０に配置された家具）情報などを含んでもよい。
【0098】
本発明において、制御部３５０は、ロボット１００の遠隔管制のために、ロボット１００自体で取得されたロボット画像５１０だけでなく、ロボット１００が位置する空間に対応する地図イメージＣをディスプレイ部３３０に共に出力させることができる。よって、本発明においては、ロボット１００を遠隔制御する管理者が、ｉ）ロボット１００で取得されたロボット画像５１０、ｉｉ）ロボットが位置する空間に配置されたカメラから収集された空間画像５２１、５２２に加えて、ｉｉｉ）ロボットが位置する空間の地図イメージＣをさらに用いて、ロボット１００を囲む周辺環境を総合的に考慮することができる。
【0099】
一方、制御部３５０は、ディスプレイ部３３０に地図イメージＣを出力する際に、空間１０に関する情報をロボット１００のロボット画像５１０とは異なる倍率で提供するように、地図イメージＣの出力倍率を制御することができる。すなわち、制御部３５０は、空間１０に関する情報をロボット画像５１０より広い画角（視野）で提供するように、地図イメージＣの出力倍率を制御することができる。この場合、ユーザは、ロボット１００を遠隔制御する際に、空間１０に関する情報をより総合的に考慮することができる。
【0100】
一方、同図に示すように、地図イメージＣには、空間１０におけるロボット１００の現在位置を示すグラフィックオブジェクトＲがさらに出力されるようにしてもよい。すなわち、制御部３５０は、グラフィックオブジェクトＲを用いて、地図イメージＣに対応する空間１０でロボット１００がどこに位置するかに関する情報を表示することにより、ユーザがロボット１００をより効果的に管理及び制御できるようにすることができる。
【0101】
以上で説明したように、制御部３５０は、ディスプレイ部３３０のメイン領域Ａに、ロボット１００で取得されたロボット画像５１０を出力し、ディスプレイ部３３０のサブ領域Ｂ（Ｂ１、Ｂ２）に、ロボットが位置する空間に配置されたカメラから収集された空間画像５２１、５２２を出力し、ディスプレイ部３３０の一領域に、ロボット１００の現在位置に対応する場所情報を含む地図イメージＣを出力することができる。
【0102】
以下に、サブ領域Ｂ（Ｂ１、Ｂ２）に出力される空間画像を撮影するカメラを特定する方法及びサブ領域Ｂ（Ｂ１、Ｂ２）を配置する方法についてより具体的に説明する。
【0103】
図１に示すように、空間１０には、複数のカメラ２０ａ、２０ｂ、２０ｃが配置されてよい。複数のカメラ２０ａ、２０ｂ、２０ｃは、異なる位置に配置される。制御部３５０は、空間１０に配置されたカメラ２０のうち、ロボットの現在位置に対応する位置に配置されたカメラを特定することができる。
【0104】
より具体的に、制御部３５０は、ロボット１００の位置情報に基づいて、前記位置情報に対応する特定の空間に配置されたカメラを特定することができる。
【0105】
本発明において、「カメラを特定する」とは、制御部３５０からディスプレイ部３３０に出力される画像を提供する、カメラを選択することを意味する。ここで、制御部３５０は、保存部３２０に予め保存されたカメラに関する情報（例えば、カメラの配置位置情報、カメラの画角情報など）に基づいて、ロボット１００が位置する特定の空間に配置されたカメラの識別情報を抽出することができる。また、制御部３５０は、抽出されたカメラの識別情報に対応するカメラを、ロボット１００の位置情報に対応する特定の空間に配置されたカメラとして特定することができる。このように、制御部３５０は、ロボット１００の現在位置と同一又は類似の場所に配置された少なくとも１つのカメラを特定することができる。
【0106】
一方、「特定の空間」は、ロボット１００の位置情報に対応する地点（又は、場所）を基準に所定の距離以内の領域と規定される。
【0107】
例えば、制御部３５０は、空間１０に配置された複数のカメラのうち、ロボット１００の位置情報に基づいて、所定の距離（又は、範囲）以内に配置されたカメラを特定することができる。制御部３５０は、保存部３２０に保存されたカメラに関する情報に基づいて、前記位置情報に対応する場所（又は、地点）から所定の距離以内に配置された少なくとも１つのカメラ（又は、カメラの識別情報）を抽出することができる。すなわち、制御部３５０は、ロボットの位置情報と同一又は類似の位置情報を有するカメラを抽出することができる。この場合、ロボットの位置情報及びカメラの位置情報は、空間１０に関する座標（又は、座標情報）を含んでよい。制御部３５０は、ロボットの位置情報及びカメラの位置情報にそれぞれ対応する座標を比較し、ロボットの現在位置に対応する位置に配置されたカメラを抽出することができる。
【0108】
このようにして抽出されたカメラは、前記特定の空間に配置されたカメラとして特定することができる。
【0109】
一方、前記特定の空間に配置されたカメラは、複数であり得る。この場合、制御部３５０は、様々な基準で、ロボットの現在位置に対応するカメラを特定することができる。
【0110】
例えば、制御部３５０は、ロボット１００の走行情報に基づいて、カメラを特定することができる。この場合、制御部３５０は、ロボット１００の走行情報に対応する画角を有するカメラを抽出することができる。より具体的に、制御部３５０は、ロボット１００の位置情報及びロボット１００の走行情報に基づいて、空間１０に配置された複数のカメラ２０の少なくとも１つを特定することができる。
【0111】
制御部３５０は、ロボット１００の走行情報に対応するロボット１００の走行方向に基づいて、カメラを特定することができる。制御部３５０は、空間１０に配置された複数のカメラ２０のうち、ロボット１００の走行方向に対応する領域を画角とするカメラを特定することができる。ここで、ロボット１００の走行方向に対応する領域は、ロボット１００の進行方向に対応する領域であってよい。ロボット１００の進行方向に対応する領域は、ロボット１００の正面が向く方向であってもよい。このように、制御部３５０は、空間１０に配置されたカメラ２０を用いて、ロボット１００の進行方向に対応する領域に関する情報（空間画像）を提供することができる。
【0112】
より具体的に、制御部３５０は、ロボット１００の位置情報に対応する特定の空間に配置された複数のカメラのうち、ロボット１００の走行方向に対応する第１領域を画角とする第１カメラを特定することができる。
【0113】
ここで、走行方向は、ロボットの正面が向く方向であってよい。この場合、第１領域は、ロボットの正面が向く領域である。
【0114】
また、制御部３５０は、図５ａに示すように、ディスプレイ部３３０上の第１位置に前記第１カメラから受信する第１画像（又は、第１空間画像）５２１が出力されるように、ディスプレイ部３３０を制御することができる。例えば、制御部３５０は、図５ａに示すように、空間１０においてロボット１００の走行方向（又は、前進方向）５５０に対応する領域を撮影できる画角を有するカメラを、第１カメラとして特定することができる。こうすることにより、ディスプレイ部３３０には、ロボット画像５１０と共に、ロボット１００の走行方向（又は、前進方向、ロボット１００の正面が向く方向）５５０に対応する特定の空間の画像である第１画像（又は、第１空間画像）５２１が出力される。
【0115】
同図に示すように、ディスプレイ部３３０のメイン領域Ａには、ロボット画像５１０が出力され、サブ領域Ｂ（Ｂ１）には、第１空間画像５２１が出力されるようにしてよい。また、同図に示すように、ディスプレイ部３３０には、地図イメージＣが共に出力されるようにしてもよい。
【0116】
さらに、制御部３５０は、図５ａに示すように、ロボット１００が位置する特定の空間に配置された複数のカメラから受信する複数の画像５２１、５２２をディスプレイ部３３０に出力することができる。
【0117】
ここで、複数の画像５２１、５２２は、異なる画角を有するカメラから受信する画像であってよい。
【0118】
例えば、制御部３５０は、前述したように、ロボット１００の走行方向（又は、進行方向）５５０に対応する第１カメラを特定すると共に、ロボット１００の走行方向の逆方向に対応する第２領域を画角とする第２カメラを特定することができる。図５ａに示すように、ディスプレイ部３３０は、複数のサブ領域Ｂ１、Ｂ２を含んでよい。複数のサブ領域Ｂ１、Ｂ２は、第１サブ領域Ｂ１及び第２サブ領域Ｂ２を含んでもよい。制御部３５０は、第１サブ領域Ｂ１には第１カメラから受信する第１画像（又は第１空間画像）５２１を出力し、第２サブ領域Ｂ２には第２カメラから受信する第２画像（又は第２空間画像）５２２を出力するようにしてもよい。
【0119】
同図に示すように、第２カメラから受信する第２画像（又は第２空間画像）５２２は、ディスプレイ部３３０上で、第１画像５２１が出力される第１位置とは重ならない第２位置に出力される。すなわち、第１サブ領域Ｂ１と第２サブ領域Ｂ２とは、ディスプレイ部３３０上で重ならないように配置される。
【0120】
このように、ディスプレイ部３３０には、図５ａに示すように、ロボットから受信するロボット画像５１０、ロボットの走行方向５５０に対応する第１空間画像５２１、及び、ロボットの走行方向の逆方向に対応する第２空間画像５２２を、共に出力することができる。
【0121】
一方、制御部３５０は、ロボット１００の走行方向５５０を基準にして、複数のサブ領域の出力位置（配置位置）を決定することができる。すなわち、制御部３５０は、サブ領域に出力されている画像がロボット１００の走行方向５５０を基準にして、どの領域に対応する画像であるかによって、サブ領域の出力位置を決定することができる。
【0122】
例えば、図５ｂに示すように、サブ領域Ｂ（Ｂ１、Ｂ２）は、ｉ）ロボットの走行方向５５０に対応する第１空間画像５２１を含む第１サブ領域Ｂ１、及び、ｉｉ）ロボットの走行方向の逆方向（ロボットの背面が向く方向）に対応する第２空間画像５２２を含む第２サブ領域Ｂ２を含んでよい。また、制御部３５０は、ロボットの走行方向５５０を基準に、第１サブ領域Ｂ１及び第２サブ領域Ｂ２の相対出力位置を決定することができる。同図に示すように、制御部３５０は、ロボットの走行方向５５０に対応する第１空間画像５２１を含む第１サブ領域Ｂ１の方を、ロボットの走行方向の逆方向（ロボットの背面が向く方向）に対応する第２空間画像５２２を含む第２サブ領域Ｂ２よりも、ディスプレイ部３３０の上側に配置してもよい。ディスプレイ部３３０のメイン領域Ａにはロボット１００の正面に備えられたカメラから受信するロボット画像５１０が出力され、第１サブ領域Ｂ１の方が第２サブ領域Ｂ２より上側に配置された場合、ユーザは、第１サブ領域Ｂ１が走行方向に対応する空間の画像であることを直観的に把握することができる。
【0123】
さらに、制御部３５０は、図５ｃに示すように、前方を含む複数の方向を画角とする複数のカメラを特定することができる。ここで、「前方」とは、ロボット１００の正面が向く方向をいう。
【0124】
例えば、制御部３５０は、空間１０に配置された複数のカメラのうち、ロボット１００の前方を向く第１カメラ、ロボット１００の後方を向く第２カメラ、ロボット１００の左方を向く第３カメラ、及び、ロボットの右方を向く第４カメラをそれぞれ特定することができる。この場合、図５ｃに示すように、ディスプレイ部３３０には、ロボット１００の前後左右方向のそれぞれに対応する空間の画像が出力される。
【0125】
ロボット１００の前方を向く第１カメラから受信する画像（第１空間画像）を「前方画像」といい、ロボット１００の後方を向く第２カメラから受信する画像（第２空間画像）を「後方画像」という。また、ロボット１００の左側面が向く方向を向く第３カメラから受信する画像（第３空間画像）を「左方画像」といい、ロボット１００の右側面が向く方向を向く第４カメラから受信する画像（第４空間画像）を「右方画像」という。
【0126】
制御部３５０は、ユーザの選択又は制御部３５０の制御下で、ディスプレイ部３３０上に第１～第４サブ領域Ｂ１、Ｂ２、Ｂ３、Ｂ４を出力し、第１～第４サブ領域Ｂ１、Ｂ２、Ｂ３、Ｂ４のそれぞれにロボット１００の前後左右方向のそれぞれに対応する第１～第４空間画像５２１、５２２、５２３、５２４を提供することができる。よって、ユーザにロボット１００を囲む空間に関する情報を総合的に提供することができる。
【0127】
上記の例においては、ロボット１００の現在位置に対応する特定の空間に配置された複数のカメラのうち、ロボットの走行方向を基準にして、カメラを特定する方法について説明した。以下では、ロボットとの相対的な位置を基準にして、カメラを特定する方法について説明する。
【0128】
より具体的に、制御部３５０は、ロボット１００に設定された走行経路を基準にして、空間１０に配置された複数のカメラのうち、前記走行経路上に配置された複数のカメラを特定することができる。ここで、複数の特定されたカメラは、ロボット１００が走行する前記走行経路上の特定の空間に配置されたカメラであってよい。
【0129】
空間１０には非常に多くのカメラが配置されるので、前記走行経路上に配置された複数のカメラが予め特定された場合、ロボット１００の走行によりロボット１００の現在位置が変更されたとき、ロボット１００の変更された現在位置に対応するカメラを特定するのに必要な演算時間を短縮することができる。
【0130】
このように、制御部３５０は、ロボット１００の走行経路を基準に、空間画像を提供する複数のカメラを一次的に選別し、ロボット１００の走行の程度に応じて、選別された複数のカメラから提供される画像間の切り替えを行うことができる（説明の便宜上、ロボットの走行方向を向く画角を有するカメラを例に説明する）。
【0131】
例えば、制御部３５０は、ロボット１００の現在位置情報及びロボット１００の走行経路情報を用いて、複数のカメラを特定することができる。制御部３５０は、ロボット１００の現在位置情報に基づいて、ロボット１００の走行経路上に配置された複数のカメラを、ロボット１００の位置情報に対応する特定の空間に配置されたカメラとして特定することができる。ここで、制御部３５０は、前記走行経路上に配置された複数のカメラのうち、ロボット１００の現在位置に基づいて所定の基準（例えば、ロボット１００に最も近いカメラ）を満たすカメラから受信する画像をディスプレイ部３３０に出力することができる。
【0132】
図６の（ａ）及び（ｂ）に示すように、制御部３５０は、ロボット１００が走行経路を走行することに連動して、前記複数の特定されたカメラから受信した画像間の切り替えが行われるように、ディスプレイ部３３０を制御することができる。
【0133】
同図に示すように、第１サブ領域Ｂ１に出力される画像７２１、７２１’、及び、第２サブ領域Ｂ２に出力される画像７２２、７２２’は、ロボット１００が走行することにより切り替えられる。制御部３５０は、ロボット１００の走行によりロボット１００の現在位置が変更された場合、ロボット１００の走行経路上に配置された予め複数の特定されたカメラのうち、変更されたロボット１００の現在位置を基準にして、ロボット１００に最も近い位置に配置されたカメラを二次的に特定することができる。一次的に選別されたロボット１００の走行経路上に配置された複数のカメラから受信する複数の画像間の切り替えは、ロボット１００の現在位置情報のアップデートに基づいて行われるようにしてもよい。
【0134】
一方、上記の例においては、ロボット１００の走行経路に基づいて、ロボット１００の走行経路上に配置された複数のカメラを特定する方法について説明したが、制御部３５０は、ロボット１００の現在位置に基づいて、リアルタイム又は所定の時間間隔でロボット１００の現在位置の周辺に配置されたカメラを特定することができる。また、制御部３５０は、ロボット１００の現在位置が変更されることにより、予め特定されたカメラの画角にロボット１００の現在位置に対応する特定の空間に関する情報が含まれなくなると、カメラの再特定を行うことができる。よって、ディスプレイ部３３０のサブ領域Ｂには、ロボット１００の現在位置が変更されることにより再特定された異なるカメラから受信する空間画像が出力されるようになる。
【0135】
一方、制御部３５０は、予め特定されたカメラから受信する空間画像とロボット画像との画像比較により、予め特定されたカメラの画角にロボット１００の現在位置に対応する特定の空間に関する情報が含まれるか否かを判断することができる。この場合、制御部３５０は、画像比較の結果として、予め特定されたカメラから受信する空間画像とロボット画像との類似度が所定の基準を満たさない場合、カメラを新たに特定することができる。
【0136】
また、制御部３５０は、空間に配置されたカメラに関する情報（例えば、画角情報）を用いて、予め特定されたカメラの画角にロボット１００の現在位置に対応する特定の空間に関する情報が含まれるか否かを判断することができる。
【0137】
以下に、ロボット１００に備えられたカメラから受信する画像と空間に配置されたカメラから受信する画像との類似度を比較し、類似度に基づいて少なくとも１つのカメラを選択する方法について説明する。
【0138】
制御部３５０は、ロボット１００の現在位置に対応する特定の空間に配置されたカメラが複数の場合、複数のカメラのうち、ロボット１００から受信するロボット画像との類似度が最も低い画像を撮影するカメラを選択するようにしてよい。
【0139】
これは、ロボット１００に備えられたカメラの画角では提供できない空間に関する情報を最大限に提供するためである。ここで、前記特定の空間は、ロボット１００の現在位置を基準にした所定の距離範囲内の空間であり、ロボット１００の遠隔管制のために参考の対象となる意味のある空間である。
【0140】
ここで、複数のカメラは、ロボット１００の走行経路上に配置されたカメラであってよい。すなわち、複数のカメラの画角は、ロボット１００の走行経路に対応する空間を含むようにしてもよい。例えば、複数のカメラは、ロボット１００の走行方向を基準に同一方向（例えば、走行方向）を画角とするカメラであってもよい。これは、ロボット１００に備えられたカメラの画角では提供できない空間に関する情報を最大限に提供するためである。
【0141】
制御部３５０は、前記ロボットに備えられたカメラから受信したロボット画像と、前記特定の空間に配置された複数の特定されたカメラから受信した複数の画像との類似度を比較することができる。また、制御部３５０は、前記特定されたカメラから受信した画像の少なくとも１つを前記類似度に基づいて特定し、ディスプレイ部３３０に出力させることができる。
【0142】
制御部３５０は、前記特定の空間に配置された複数のカメラのうち、前記ロボット画像との類似度が最も低い画像を撮影するカメラを選択し、選択されたカメラで撮影される画像をディスプレイ部３３０に出力させることができる。よって、ディスプレイ部３３０には、前記複数の特定されたカメラから受信した複数の画像のうち、前記ロボットに備えられたカメラから受信した画像との類似度が最も低い画像が出力されるようになる。前述のように、ロボット画像は、メイン領域Ａに出力され、空間に配置されたカメラから受信する画像（空間画像）が、サブ領域Ｂに出力されるようにしてよい。さらに、地図イメージが共にディスプレイ部３３０に出力されるようにしてもよいことは言うまでもない。
【0143】
以下に、空間の環境情報に基づいてカメラを選択する方法について説明する。制御部３５０は、ロボット１００の現在位置に対応する特定の空間に配置されたカメラが複数の場合、複数のカメラのうち、空間の環境情報に基づいて少なくとも１つのカメラを選択することができる。
【0144】
ここで、空間の環境情報は、空間の混雑度（例えば、人又は事物の配置による混雑度）に関するものであってよい。すなわち、制御部３５０は、前記特定の空間に配置されたカメラが複数の場合、複数のカメラのうち、特定の環境情報を含む領域（空間）を撮影するカメラを選択し、選択されたカメラから受信する画像をディスプレイ部３３０に出力させることができる。ここで、複数のカメラは、ロボット１００の走行経路上に配置されたカメラであってよい。すなわち、複数のカメラの画角は、ロボット１００の走行経路に対応する空間を含むようにしてもよい。
【0145】
一方、特定の環境情報は、前述のように、空間の混雑度に関するものであってよい。制御部３５０は、画像分析アルゴリズムを用いて、カメラから受信する画像から特定の環境情報を抽出することができる。
【0146】
前述のように、ロボット画像は、メイン領域Ａに出力され、空間に配置されたカメラから受信する画像（空間画像）が、サブ領域Ｂに出力されるようにしてもよい。さらに、地図イメージが共にディスプレイ部３３０に出力されるようにしてもよいことは言うまでもない。
【0147】
以上で説明したように、本発明によるロボット管制方法及びシステムにおいては、ロボットで撮影されるロボット画像だけでなく、ロボットが属する空間に配置されたカメラから受信する画像を共に提供することができる。よって、管理者は、空間に関する情報の総合的な提供を受けることにより、ロボットの死角まで考慮して、ロボットを監視及び制御することができる。
【0148】
一方、上記の実施形態においては、ディスプレイ部３３０のメイン領域Ａにロボット画像を提供し、ディスプレイ部３３０のサブ領域Ｂに空間画像を提供することについて説明した。また、本発明においては、サブ領域Ｂへのユーザ入力に基づいて、ディスプレイ部３３０に配置されたサブ領域Ｂの出力位置を制御したり、サブ領域Ｂに出力される空間画像を切り替えたりすることができる。
【0149】
ここで、ユーザ入力は、ディスプレイ部３３０に加えられる入力であってよい。より具体的には、本発明において、ディスプレイ部３３０に加えられるユーザ入力が、入力部３４０を介して行われるようにしてもよい。
【0150】
例えば、制御部３５０は、図７ａに示すように、入力部３４０を用いてカーソルイメージ（例えば、図７ａの符号６０１（６０１ａ、６０１ｂ）を参照）をドラッグするドラッグ入力を受信すると、図７ａ及び図７ｂに示すように、サブ領域Ｂ１、Ｂ３の出力位置を変更することができる。ここで、制御部３５０は、図７ａに示すように、サブ領域Ｂ１がドラッグされる領域６４０の位置に応じて、図７ａ及び図７ｂに示すように、サブ領域Ｂ１、Ｂ３に出力される画像を変更することができる。
【0151】
制御部３５０は、ユーザ入力に基づいて、ロボット１００の走行方向５５０（図５ａ参照）を基準にして、サブ領域がディスプレイ部３３０の上下左右のいずれの領域に移動したかによって、異なるカメラから空間画像を受信することができる。
【0152】
例えば、制御部３５０は、図７ａに示すように第１領域に出力されたサブ領域Ｂ１が、ユーザ入力に基づいて、図７ａ及び図７ｂに示すように第２領域６４０（ディスプレイ部３３０の左側に対応する領域）に移動すると、ロボット１００の左側面部分に対応する空間を撮影するカメラから画像を受信することができる。よって、図７ｂに示すように、前記ユーザ入力に基づいて、サブ領域Ｂ３の出力位置及びサブ領域Ｂ３に出力される画像を提供するカメラも変更することができる。ここで、ロボット１００の左側面は、ロボット１００の走行方向５５０（図５ａ参照）をロボット１００の正面が向く方向と仮定した場合を基準に特定される領域である。
【0153】
このように、本発明において、制御部３５０は、ユーザ入力に基づいて、サブ領域Ｂ１が移動した位置に応じて、サブ領域Ｂ１に出力される画像を撮影するカメラを再特定することができる。また、図示していないが、制御部３５０は、ユーザ入力に基づいてサブ領域が移動すると、サブ領域の移動と共に、サブ領域に含まれる画像を提供するカメラの再特定を行うか否かをユーザに選択させるようにしてよい。この場合、ディスプレイ部３３０は、それに関する案内情報を出力し、制御部３５０は、前記案内情報に基づいたユーザ入力に基づいて、サブ領域の移動及びカメラの再特定の少なくとも一方を行うようにしてもよい。
【0154】
一方、上記の例においては、ディスプレイ部上にロボット画像及び空間画像を提供する方法について説明したが、本発明においては、ロボット管制システムが、ロボットに対する直接的な制御命令を生成及び送信することが可能である。すなわち、制御部３５０は、ディスプレイ部３３０へのユーザ入力に基づいて、ロボットの走行を制御するための制御命令を生成することができる。例えば、制御命令は、ロボットの走行方向、走行速度、走行中であるか否か、走行距離、走行経路などのような、ロボットの走行に関する様々な命令を含む。ロボット１００は、ロボット管制システム３００を介して受信した制御命令に基づいて、走行することができる。
【0155】
一方、前述のように、ユーザ入力が、入力部３４０を介して行われるようにしてよい。入力部３４０は、その種類が様々であり、機械式入力手段（又は、メカニカルキー、例えば、マウス、ジョイスティック、物理的なボタン、ドームスイッチ、ジョグホイール、ジョグスイッチ、など）、及び、タッチ式入力手段の少なくとも一方を含む。
【0156】
また、ディスプレイ部３３０へのユーザ入力は、ｉ）タッチスクリーンで構成されるディスプレイ部３３０への直接的なタッチによる入力、及び、ｉｉ）マウスなどの別の入力手段を媒体としてディスプレイ部３３０に加えられる入力の少なくとも１つを含む。
【0157】
前述のように、本発明によるロボット管制方法及びシステムは、ロボットが位置する空間に配置されたカメラから画像を受信し、受信した画像を提供することができる。よって、ユーザは、ロボットの周辺にいなくても、ロボット周辺の状況情報を一目で把握することができる。
【0158】
また、これにより、本発明によるロボット管制方法及びシステムは、ロボットから受信する画像と、ロボットが位置する空間に配置されたカメラから受信する画像とを共に提供することができる。よって、ユーザは、ロボットに備えられたカメラとは異なる画角を有する画像が共に提供されることにより、ロボットの死角まで考慮して、ロボットを遠隔制御することができる。
【0159】
このように、本発明では、ロボットを囲む周辺環境情報を総合的に提供できるユーザ環境を提供することにより、ユーザは、ロボットを遠隔制御する場合、周辺環境を考慮して、ロボットの制御をより正確に行うことができる。
【0160】
一方、前述した本発明は、コンピュータで１つ以上のプロセスにより実行され、コンピュータ可読媒体に保存できるプログラムとして実現することができる。
【0161】
また、前述した本発明は、プログラム記録媒体におけるコンピュータ可読コード又はコマンドとして実現することができる。すなわち、本発明は、プログラムの形態で提供することができる。
【0162】
一方、コンピュータ可読媒体は、コンピュータシステムにより読み取り可能なデータが記録されるあらゆる種類の記録装置を含む。コンピュータ可読媒体の例としては、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Disk）、ＳＤＤ（Silicon Disk Drive）、ＲＯＭ、ＲＡＭ、ＣＤ－ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ記憶装置、などが挙げられる。
【0163】
また、コンピュータ可読媒体は、ストレージを含み、電子機器が通信によりアクセスできるサーバ又はクラウドストレージであり得る。この場合、コンピュータは、有線又は無線通信により、サーバ又はクラウドストレージから、本発明によるプログラムをダウンロードすることができる。
【0164】
さらに、本発明において、前述したコンピュータは、プロセッサ、すなわち中央処理装置（Central Processing Unit, CPU）が搭載された電子機器であり、その種類は特に限定されない。
【0165】
一方、本発明の詳細な説明は例示的なものであり、あらゆる面で制限的に解釈されてはならない。本発明の範囲は、添付の特許請求の範囲の合理的な解釈により定められるべきであり、本発明の等価的範囲内でのあらゆる変更が本発明の範囲に含まれる。
【符号の説明】
【0166】
１０ 空間
２０（２０ａ、２０ｂ、２０ｃ） カメラ
１００ ロボット
３００ ロボット管制システム
３１０ 通信部
３２０ 保存部
３３０ ディスプレイ部
３４０ 入力部
３５０ 制御部
２０（２０ａ、２０ｂ、２０ｃ） カメラ
１００ ロボット
３００ ロボット管制システム
３１０ 通信部
３２０ 保存部
３３０ ディスプレイ部
３４０ 入力部
３５０ 制御部
【図1】
【図2】
【図3】
【図4】
【図5a】
【図5b】
【図5c】
【図6】
【図7a】
【図7b】
