特開 2022-132166 ロボット支援システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022132166

(43)【公開日】2022-09-07

(54)【発明の名称】ロボット支援システム

(51)【国際特許分類】

   G06Q 50/28 20120101AFI20220831BHJP

   G05D 1/02 20200101ALI20220831BHJP

【ＦＩ】

G06Q50/28

G05D1/02 P

【審査請求】有

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2022027111

(22)【出願日】2022-02-24

(31)【優先権主張番号】P 2021030008

(32)【優先日】2021-02-26

(33)【優先権主張国・地域又は機関】JP

(71)【出願人】

【識別番号】714008031

【氏名又は名称】株式会社キビテク

(74)【代理人】

【識別番号】100123858

【弁理士】

【氏名又は名称】磯田 志郎

(72)【発明者】

【氏名】行村 隆志

(72)【発明者】

【氏名】林 摩梨花

(72)【発明者】

【氏名】菊嶋 久光

【テーマコード（参考）】

5H301

5L049

【Ｆターム（参考）】

5H301AA02

5H301BB05

5H301BB14

5H301CC03

5H301CC06

5H301CC10

5H301GG09

5H301KK04

5H301KK08

5L049CC51

(57)【要約】      （修正有）

【課題】多数、かつ、多様なロボットを支援する場合に、特にオペレータの熟練度が不要で、オペレータへの負担が少なく、短時間でロボットの支援が可能なロボット支援システムを提供する。
【解決手段】ネットワーク３を介して接続可能なロボット５１、５２、５３、支援管理サーバ２、ユーザインターフェース（ＵＩ）端末４１、４２と、記憶サーバ６と、を含むロボット支援システム１であって、ロボットは、各作業に関するタスク情報を含む動作状況情報又は動作状況情報及びロボット情報を支援管理サーバに提供する。支援管理サーバは、作業補助情報データベースを用いてロボットから提供された動作状況情報及び／又はロボット情報に基づいて作業補助情報を選択し、選択した作業補助情報をユーザインターフェース端末（ＵＩ端末）に提供する。ＵＩ端末は、出力手段によって作業補助情報をユーザに提供する。
【選択図】図２

【特許請求の範囲】

【請求項1】

ロボットと、支援管理サーバと、ユーザインターフェース端末とを含むロボット支援システムであって、
前記ロボットと前記支援管理サーバとは、ネットワークを介して接続可能であり、前記支援管理サーバと前記ユーザインターフェース端末とは、ネットワークを介して接続可能であり、
前記ロボットは、複数の作業を自律的に実行可能な制御手段と、前記支援管理サーバに支援要請を実行可能な支援要請手段と、ロボット情報を記憶した記憶手段とを含み、前記支援要請手段は、各作業に関するタスク情報を含む動作状況情報又は前記動作状況情報及び前記ロボット情報を前記支援管理サーバに提供可能であり、
前記支援管理サーバは、状況情報及び／又はロボット情報と関連付けられた作業補助情報が記憶された作業補助情報データベースを含み、前記作業補助情報データベースを用いて前記ロボットから提供された動作状況情報及び／又は前記ロボット情報に基づいて作業補助情報を選択し、選択した作業補助情報を前記ユーザインターフェース端末に提供可能であり、
前記ユーザインターフェース端末は、前記ロボットを指示又は操作可能な入力手段と、出力手段とを含み、前記出力手段によって前記支援管理サーバから提供された作業補助情報をユーザに提供可能である、ロボット支援システム。

【請求項2】

前記作業補助情報は、前記ロボットの作業内容を含む、請求項１に記載のロボット支援システム。

【請求項3】

前記作業補助情報は、前記作業補助情報に関連付けられたタスク情報に対応する作業の正常動作を記録した動画、静止画又は音声、前記作業補助情報に関連付けられたロボット識別情報に対応するロボットの正常動作を記録した動画、静止画又は音声、及び／又は正常時に期待される状況を示す動画、静止画又は音声を含む、請求項１又は２に記載のロボット支援システム。

【請求項4】

前記支援管理サーバは、前記ロボットの複数の作業の正常動作を時系列に記録した動画を当該ロボットのタスク情報に対応付けて作業ごとに区分して前記作業補助情報データベースに記憶しており、前記作業補助情報として前記ロボットから提供された動作状況情報に含まれるタスク情報に対応する区分の動画を前記ユーザインターフェース端末に提供可能である、請求項１～３の何れか１項に記載のロボット支援システム。

【請求項5】

前記ロボットは、エラー検出手段を含み、前記エラー検出手段で検出したエラー情報を前記支援管理サーバに提供可能であり、
前記作業補助情報データベースは、前記作業補助情報をエラー情報と関連付けて記憶しており、
前記支援管理サーバは、前記ロボットから提供されたエラー情報に基づいて前記作業補助情報データベースを検索し、検索された作業補助情報を前記ユーザインターフェース端末に提供可能である、請求項１～４の何れか１項に記載のロボット支援システム。

【請求項6】

前記ユーザインターフェース端末は、前記支援管理サーバに対し、前記ロボットの複数の作業について、個別に作業補助情報の送信の要否を設定可能である、請求項１～５のいずれか１項に記載のロボット支援システム。

【請求項7】

前記作業補助情報データベースは、前記作業補助情報を言語に関する言語情報と関連付けて記憶しており、
前記ユーザインターフェース端末は、ユーザが使用する言語情報を前記支援管理サーバに通知可能であり、
前記支援管理サーバは、前記ユーザインターフェース端末から提供された言語情報に基づいて前記作業補助情報データベースを検索し、検索された作業補助情報を前記ユーザインターフェース端末に提供可能である、請求項１～６の何れか１項に記載のロボット支援システム。

【請求項8】

前記ロボット情報は、各ロボットを一意に特定するロボット識別情報、ロボットの種類を特定するロボット種別情報、及びロボットの稼働場所を特定する稼働場所情報の少なくとも１つを含み、
前記支援管理サーバは、前記ロボット識別情報と対応付けて、当該ロボットに関するロボット種別情報及び／又は稼働場所情報が記憶されたロボット情報データベースを含み、前記ロボットから提供された前記ロボット識別情報に基づいて前記ロボット種別情報及び／又は稼働場所情報を検索し、検索したロボット種別情報及び／又は稼働場所情報に基づいて作業補助情報を選択する、請求項１～７の何れか１項に記載のロボット支援システム。

【請求項9】

前記支援要請手段は、前記ロボットの周囲の環境情報、前記ロボットの周囲の画像情報、前記ロボットの周囲の音声情報、前記ロボットの地図上における位置情報、及び前記ロボットの構成要素の相対的な配置情報の少なくとも一つを取得し、前記動作状況情報に含めて前記支援管理サーバに提供可能である、請求項１～８の何れか１項に記載のロボット支援システム。

【請求項10】

前記ロボットは、異なる作業を実行する種類の異なる複数のロボットを含み、各ロボットは、複数の稼働場所に配置されており、
前記ユーザインターフェース端末は、複数の拠点に配置されている、請求項１～９の何れか１項に記載のロボット支援システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ロボット支援システムに関し、特に、自律的に動作可能なロボットと支援管理サーバとユーザインターフェース端末で構成され、支援管理サーバは、ロボットとユーザインターフェース端末にネットワークを介して接続可能であり、ロボットが支援を必要な状況において、オペレータは、ユーザインターフェース端末から、ロボットの動作を支援することが可能なロボット支援システムに関する。

【背景技術】

【0002】

近年、様々な分野において自律的に作業するロボットによる自動化が進んでいるが、ロボットにトラブルが生じた場合、ロボット自体に自動的にトラブルを解消する手段を設けたり、オペレータ等によってロボットを支援したりすることが行われている。また、ロボットの種類によっては自動化にも限界があり、オペレータによるロボットの支援が必要とされることもある。

【0003】

例えば、搬送車の現在位置が三角測量の原理に基づいて特定できなくなった場合の自動復帰について知られていた（特許文献１）。特許文献１には、搬送システムとして、レーザスキャナ、反射体 、および、三角測量の原理に基づいて搬送車の現在位置を特定し、特定された現在位置を用いて指定経路に沿って目標作業位置へ搬送車を走行させることが開示されている。この走行中に、搬送車の現在位置が三角測量の原理に基づいて特定できなくなると、搬送システムは、施設内の環境を計測する計測センサからの情報と施設内の環境地図との照合に基づいて搬送車の現在位置を推定し、推定された現在位置を用いて復帰場所へ搬送車を走行させ、これにより、搬送車の現在位置が三角測量の原理に基づいて再び特定できるようになり、搬送システムは、特定された現在位置を用いて搬送車を再び走行させる方法が開示されている。

【0004】

さらに、従来から、ユーザの操作に基づき前記移動手段を駆動して自機を誘導する誘導手段が知られていた（特許文献２）。特許文献２には、自機の周囲に存在する物体の検出情報を取得する物体情報取得手段と、物体情報取得手段により取得された物体の検出情報のうち、所定の領域内における検出情報をマスクするマスク手段と、マスク手段によりマスク処理が施された検出情報から、自機周辺の局所地図を作成する局所地図作成手段と、自機を移動させる移動手段と、局所地図作成手段により作成された局所地図及び移動手段の移動量に基づいて、自己位置を推定する自己位置推定手段と、ユーザの操作に基づき移動手段を駆動して自機を誘導する誘導手段と、誘導手段による誘導中に、自己位置推定手段により推定された自己位置及び局所地図から、移動領域の環境地図を作成する環境地図作成手段を備える自律移動装置が開示されている。

【0005】

また、オペレータによるロボットの支援が必要なシステムとして、手術支援ロボットを遠隔支援する遠隔支援システムが知られていた（特許文献３）。特許文献３には、手術支援ロボットの稼働に関する稼働情報の少なくとも１つを、前記手術支援ロボットの遠隔支援業務を行うためのサーバ装置にて受信し、所定のイベントが検出されると、前記サーバ装置から前記手術支援ロボットおよび端末装置の少なくとも１つに対して、音声、画像、およびテキストの少なくとも１つを配信する手術支援ロボットの遠隔支援方法が開示されている。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特許６６８７３１３号公報

【特許文献2】特許６１３６４３５号公報

【特許文献3】特開２０２０－６０８８０号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

特許文献１では、自己位置喪失からの自己位置の復帰方法として、位置特定部が特定した搬送車の最後の位置を初期位置として、後進により最も近い復帰場所（三角測量の原理に基づいて自己位置を確実に特定できる予め設定された場所）に向けて搬送車を走行させている。また、最後の位置から位置推定誘導までの間に移動した場合には、走行輪の回転を検出するエンコーダなどのセンサからの情報と最後の位置とから、搬送車の現在位置を演算して、これを初期位置として用いて復帰場所まで走行させている。しかし、搬送車には、走行輪のスリップや振動などによって搬送車の位置や向きが不意に変わることがあり、位置特定部の初期位置に対して実際の搬送車の現在位置や向きが異なる事態が想定される。そのような場合には、現在位置の推定が誤っているため、復帰場所に到達できなくなるおそれがある。また、搬送車が自動で復帰位置まで戻る方法であるので、復帰場所までの間に新たな物品が配置されたり、あるいは一時的な障害物が発生したりしている場合には、移動体の走行を復帰させることはできない。

【0008】

また、特許文献２では、ユーザ（オペレータ）の操作に基づき移動手段を駆動して自機を誘導する誘導手段が開示されているが、移動領域の環境地図を作成する環境地図を作成する際にユーザが移動体を誘導するものであり、自己位置を喪失した時の復帰方法は開示されていない。さらに、特許文献２では、環境地図を作成する際に、ユーザが障害物として誤って登録されてしまうことを防止するため、ユーザが位置する所定の領域内をマスクしている。このように、特許文献２の誘導手段は、自律移動装置の近傍でユーザが視認しながら操作することを想定したものであり、予想外に発生する自己位置喪失のエラーに対処するためには、エラーが発生するたびに自律移動装置の近傍に行く必要があり、煩雑な物であった。

【0009】

特許文献３では、手術支援ロボットの稼働に関する稼働情報を、手術支援ロボットの遠隔支援業務を行うためのサーバ装置にて受信し、所定のイベントが検出されると、サーバ装置から手術支援ロボットおよび端末装置の少なくとも１つに対して、音声、画像、およびテキストの少なくとも１つを配信することにより、手術支援ロボットを用いた手術等を行う遠隔支援システムが開示されている。手術支援ロボットにイベントが発生した場合、手術支援ロボットの撮影した画像、手術室の画像等の稼働情報をサーバ装置経由で端末装置に通知し、オペレータは、そのイベントの内容、画像の内容を基に、端末装置からサーバ装置経由で手術支援ロボットにイベントに対応する情報を配信する遠隔支援システムが開示されているが、イベントの応答を入力するのはオペレータであり、遠隔支援するオペレータには、高度な技術及び知識が必要とされる。

【0010】

近年、異なる作業を実行する種類の異なる複数のロボットが稼働する環境も増えている。例えば、店舗などにおいて、自律して要求事項（注文）を受け付ける受付ロボット、その要求事項である目的物（商品）を把持し積み込むアームロボット（マニピュレータ）、その目的物（商品）を所定の経路に沿って自律的に空間を移動する搬送ロボット等の複数のロボットで構成されたシステムが提案されている。受付ロボットは、音声認識機能を持ち、顧客の要望を受け付ける。アームロボットは、画像認識機能、関節を持ち、目的物の選別を行い、目的物を把持し、搬送ロボットに引き渡す。搬送ロボットは、レーザ距離センサ等の外界センサを用いて周囲の空間を走査し、走査結果と、予め用意された地図とのマッチングを行い、自身の現在の位置および姿勢を推定しながら目的位置まで移動する。しかし、受付ロボットにおいて、顧客等の指示内容が理解できない場合、アームロボットが、把持対象を判別できない場合、搬送ロボットにおいて、走査結果と、予め用意された地図とのマッチングに失敗し、搬送ロボットが自己位置を喪失（ロスト）してしまい目的地に移動することができなくなった場合等に、ロボット支援システムを管理しているオペレータの支援が必要となる。このように、異なる作業を実行する種類の異なる複数のロボットを支援するための適切なシステムは従来見当たらなかった。また、オペレータは、全てのロボットの全ての作業に対して、支援するための知識が必要となるが、そのようなオペレータを教育するのは時間も費用も掛かるものであった。さらに、あるロボットについての知識を有していても、別のメーカのロボットでは操作方法が違うこともあり、また、ロボットのバージョンアップ等で新しい機能が追加されたり、操作方法が変更されたりするたびに改めて勉強する必要があった。

【0011】

本発明は、前述した課題を解決することを目的とするものであり、異なる作業を実行する種類の異なる複数のロボットを支援する場合において、特にオペレータの熟練度が必要なく、かつオペレータへの負担が少なく、短時間でロボットの支援が可能なロボット支援システムを提供することを目的とする。

【課題を解決するための手段】

【0012】

上記の課題を解決するため、本発明のロボット支援システムは、ロボットと、支援管理サーバと、ユーザインターフェース端末とを含むロボット支援システムであって、前記ロボットと前記支援管理サーバとは、ネットワークを介して接続可能であり、前記支援管理サーバと前記ユーザインターフェース端末とは、ネットワークを介して接続可能であり、前記ロボットは、複数の作業を自律的に実行可能な制御手段と、前記支援管理サーバに支援要請を実行可能な支援要請手段と、ロボット情報を記憶した記憶手段とを含み、前記支援要請手段は、各作業に関するタスク情報を含む動作状況情報又は前記動作状況情報及び前記ロボット情報を前記支援管理サーバに提供可能であり、前記支援管理サーバは、状況情報及び／又はロボット情報と関連付けられた作業補助情報が記憶された作業補助情報データベースを含み、前記作業補助情報データベースを用いて前記ロボットから提供された動作状況情報及び／又は前記ロボット情報に基づいて作業補助情報を選択し、選択した作業補助情報を前記ユーザインターフェース端末に提供可能であり、前記ユーザインターフェース端末は、前記ロボットを指示又は操作可能な入力手段と、出力手段とを含み、前記出力手段によって前記支援管理サーバから提供された作業補助情報をユーザに提供可能である。

【0013】

さらに、上記ロボット支援システムにおいて、前記作業補助情報は、前記ロボットの作業内容を含んでもよい。

【0014】

さらに、上記ロボット支援システムにおいて、前記作業補助情報は、前記作業補助情報に関連付けられたタスク情報に対応する作業の正常動作を記録した動画、静止画又は音声、前記作業補助情報に関連付けられたロボット識別情報に対応するロボットの正常動作を記録した動画、静止画又は音声、及び／又は正常時に期待される状況を示す動画、静止画又は音声を含んでもよい。

【0015】

さらに、上記ロボット支援システムにおいて、前記支援管理サーバは、前記ロボットの複数の作業の正常動作を時系列に記録した動画を当該ロボットのタスク情報に対応付けて作業ごとに区分して前記作業補助情報データベースに記憶しており、前記作業補助情報として前記ロボットから提供された動作状況情報に含まれるタスク情報に対応する区分の動画を前記ユーザインターフェース端末に提供可能であってもよい。

【0016】

さらに、上記ロボット支援システムにおいて、前記ロボットは、エラー検出手段を含み、前記エラー検出手段で検出したエラー情報を前記支援管理サーバに提供可能であり、前記作業補助情報データベースは、前記作業補助情報をエラー情報と関連付けて記憶しており、前記支援管理サーバは、前記ロボットから提供されたエラー情報に基づいて前記作業補助情報データベースを検索し、検索された作業補助情報を前記ユーザインターフェース端末に提供可能であってもよい。

【0017】

さらに、上記ロボット支援システムにおいて、前記ユーザインターフェース端末は、前記支援管理サーバに対し、前記ロボットの複数の作業について、個別に作業補助情報の送信の要否を設定可能であってもよい。

【0018】

さらに、上記ロボット支援システムにおいて、前記作業補助情報データベースは、前記作業補助情報を言語に関する言語情報と関連付けて記憶しており、前記ユーザインターフェース端末は、ユーザが使用する言語情報を前記支援管理サーバに通知可能であり、前記支援管理サーバは、前記ユーザインターフェース端末から提供された言語情報に基づいて前記作業補助情報データベースを検索し、検索された作業補助情報を前記ユーザインターフェース端末に提供可能であってもよい。

【0019】

さらに、上記ロボット支援システムにおいて、前記ロボット情報は、各ロボットを一意に特定するロボット識別情報、ロボットの種類を特定するロボット種別情報、及びロボットの稼働場所を特定する稼働場所情報の少なくとも１つを含み、前記支援管理サーバは、前記ロボット識別情報と対応付けて、当該ロボットに関するロボット種別情報及び／又は稼働場所情報が記憶されたロボット情報データベースを含み、前記ロボットから提供された前記ロボット識別情報に基づいて前記ロボット種別情報及び／又は稼働場所情報を検索し、検索したロボット種別情報及び／又は稼働場所情報に基づいて作業補助情報を選択してもよい。

【0020】

さらに、上記ロボット支援システムにおいて、前記支援要請手段は、前記ロボットの周囲の環境情報、前記ロボットの周囲の画像情報、前記ロボットの周囲の音声情報、前記ロボットの地図上における位置情報、及び前記ロボットの構成要素の相対的な配置情報の少なくとも一つを取得し、前記動作状況情報に含めて前記支援管理サーバに提供可能であってもよい。

【0021】

さらに、上記ロボット支援システムにおいて、前記ロボットは、異なる作業を実行する種類の異なる複数のロボットを含み、各ロボットは、複数の稼働場所に配置されており、前記ユーザインターフェース端末は、複数の拠点に配置されてもよい。

【発明の効果】

【0022】

本発明のロボット支援システムによれば、自律動作しているロボットからオペレータ支援の要請があった場合、支援管理サーバは、ロボットから提供された動作状況情報に含まれるタスク情報及び／又はロボット識別情報に基づいて作業補助情報データベースを検索し、適当な作業補助情報をユーザインターフェース端末に提供可能であり、オペレータは、その作業補助情報により、容易に、短時間で適切に支援することが可能となる。また、この作業補助情報は、ロボットの作業内容を含む場合もあり、ロボットの正常動作を記録した動画又は静止画を含む場合もあり、ロボットのエラー検出手段によるエラー情報を含む場合もあり、ユーザが使用したい言語情報を含む場合もある。このような作業補助情報を提供することにより、オペレータは少ない負担で迅速にロボットを支援することが可能となり、経験の乏しいオペレータでもロボットの支援が可能である。さらに、異なる作業を実行する種類の異なる多種多様なロボットに対して、一人のオペレータで支援することも可能である。

【図面の簡単な説明】

【0023】

【図1】本発明のロボット支援システムにおけるフローチャートの一例

【図2】本発明のロボット支援システムを実現するハードウェアの一例を示す図

【図3】本発明の各構成要素とデータ構造を示す図

【図4】本発明のロボット群における一連の動作を説明する図

【図5】本発明のロボット群における一連の動作を説明する図

【図6】本発明のロボット群における一連の動作を説明する図

【図7】本発明のロボット群における一連の動作を説明する図

【図8】本発明のロボット群における一連の動作を説明する図

【図9】ロボット情報データベースの一例を示す図

【図10】作業補助情報データベースの一例を示す図

【図11】作業補助情報データベースの他の一例を示す図

【図12】作業補助情報データベースの他の一例を示す図

【図13】ＵＩ端末の表示画面の一例を示す図

【図14】ＵＩ端末の表示画面の一例を示す図

【図15】（Ａ）は搬送ロボットが搬送する範囲を示した地図情報を示し、（Ｂ）は搬送ロボットが正常に移動しているＵＩ端末の表示画面を示す図。

【図16】（Ａ）及び（Ｂ）は、搬送ロボットが自己位置を喪失した状態を説明するための図

【図17】（Ａ）は搬送ロボットのカメラによって取得した画像情報を用いた支援作業を説明する図、（Ｂ）は搬送ロボットのＬｉｄａｒによって取得した環境情報を用いた支援作業を説明する図

【図18】（Ａ）は暫定目的地に到達した状態を示す図、（Ｂ）は周囲の環境情報の総和を反映させた地図情報を示す図近傍ＳＬＡＭ情報での移動目標点指定による移動指示（近傍ＳＬＡＭのみ表示）を示す図。

【図19】異常状態におけるＵＩ端末の表示画面を示す図

【図20】異常状態におけるＵＩ端末の表示画面を示す図

【図21】異常状態におけるＵＩ端末の表示画面を示す図

【図22】ＵＩ端末における通知設定の一例を示す図

【発明を実施するための形態】

【0024】

そもそも、ロボットによって全ての作業及びトラブルを自動的に処理できるのが理想であるが、全ての作業及びトラブルに対して完璧な対応を準備するのは技術的にも費用的にも困難である。そこで、一部の作業又はトラブルについてはオペレータによる支援を前提としてロボットを設計するという現実的な思想を新たに提案する。例えば、通常時には自律して作業を処理するが、自律処理できない場合（例えば異常時又は人の判断が必要な処理時）にはオペレータの支援を求め、オペレータからの支援（例えば指示又は操作）によって作業できるようにロボットを設計する。このような設計は、複数の稼働場所に配置され、様々な作業を実行する多種多様な複数のロボットに対して適用することが可能である。そして、この設計思想では、オペレータの介在を前提としており、ネットワークを通じてオペレータがロボットに支援できるようにして、異なる複数の作業場所で作業している複数のロボットに対して、また、同種の作業を実行する複数のロボットだけではなく、様々な作業を実行する多種多様な複数のロボットに対して支援するシステムとすることもできる。加えて、ユーザインターフェース端末（ＵＩ端末）が配置され、オペレータが支援作業を実施する拠点（オペレータがＵＩ端末を携帯して移動する場合のオペレータの居場所を含む）についても、一つの拠点において多数のオペレータが作業する態様も、多数のオペレータが作業する拠点を複数設ける態様も、様々な拠点において個別のオペレータが作業する態様であってもよい。その場合、多種多様なロボットに対して、又は複数の異なる作業に対して、それぞれ専用のオペレータを配置してもよいが、多種多様なロボットの複数の異なる作業を支援可能なオペレータを配置できれば、オペレータの支援作業量を均一化することができ、迅速な支援が実現できる。つまり、ロボット及び／又は作業の種類によって支援を必要とする頻度にばらつきがあるが、専用のオペレータを配置した場合は、頻度の少ない支援を担当するオペレータが、頻度の多い支援を手伝うことができず、結果として頻度の多い支援については適切なタイミングで支援するのが難しくなる。この点、オペレータが多種多様なロボットの複数の異なる作業を支援可能であれば、支援作業を分担して処理することができる。

【0025】

本発明は、このようなロボット支援システムにおいて、オペレータがＵＩ端末で支援作業（例えば指示又は操作）を行う際に、オペレータの支援作業を補助するための作業補助情報をロボットの種別や作業内容に応じてオペレータに提供するものである。このため、本発明においては、オペレータが多種多様なロボットの複数の異なる作業に対して支援作業を行うことが容易となる。

【0026】

図１は、本発明のロボット支援システムにおいて、ロボットのオペレータ支援の要請からオペレータ支援による対処までのフローチャートの一例である。本発明のロボットは、複数の作業を自律的に実行可能な制御手段により、通常は自律動作している。ロボットが自律動作できない状況になった場合、支援管理サーバは、ロボットからの動作状況を取得し、動作状況に応じて選択した作業補助情報をユーザインターフェース端末（ＵＩ端末）に送信し、オペレータは、ＵＩ端末に提示された作業補助情報を基にして支援作業を行う。図１のＳ１において、ロボットは、自律動作ができない状況を検出すると、支援管理サーバにオペレータ支援を要請する。要請する際にロボットを特定するロボット識別情報を支援管理サーバに提供してもよい。Ｓ２において、支援管理サーバは、支援要請を処理する担当オペレータを割り当て、Ｓ３において、支援管理サーバは、支援要請をしたロボットから動作状況情報を取得する。動作状況情報は、少なくとも各作業に関するタスク情報を含み、さらに、エラー情報、周囲の静止画情報、動画情報等の環境情報を含んでいてもよい。Ｓ４において、支援管理サーバは、ロボットの動作状況情報のタスク状態及び／又は前記ロボット識別情報を基にオペレータが必要と予想される作業補助情報を選択し。Ｓ５において、支援管理サーバは、選択した作業補助情報をＵＩ端末へ送信する。Ｓ６において、ＵＩ端末は、支援管理サーバから送付された作業補助情報をオペレータに提示し、Ｓ７において、オペレータは、ＵＩ端末に提示された作業補助情報を基にロボットの支援作業を行う。なお、Ｓ１において、ロボットは、ロボット識別情報だけではなく、動作状況情報も支援管理サーバに提供してもよい（この場合、Ｓ３は不要となる）。また、Ｓ２の担当オペレータの割り当ては、動作状況情報を取得した後でも、作業補助情報を取得した後でもよい。

【0027】

図２は、本発明のロボット支援システム１を実現するハードウェアの一例であり、図３は、本発明を実現するためのロボット支援システム１に必要な構成要素、データ構造のブロック図の一例である。本実施形態におけるロボット支援システム１は、支援管理サーバ２がネットワーク３を介して、複数のユーザインターフェース端末４１、４２、及び異なる作業を実行する種類の異なる複数のロボット５１、５２、５２と接続されている。支援システム１は、必要に応じてネットワーク３を介して接続可能な記憶サーバ６を含んでいてもよい。複数のロボット５１、５２、５２は、例えば、指示を受け付ける受付ロボット５１、指示された対象物を選択して把持することができるアームロボット５２、自己位置を推定しつつ目的地まで自律して移動できる自律式の搬送ロボット５３を含む。本実施形態のロボット支援システム１は、受付ロボット５１が指示対象物の選定ができない場合、アームロボット５２がピッキング対象物を判別できない場合、搬送ロボット５３が自己位置を喪失して復帰できない場合等に、ネットワーク３を介してＵＩ端末４１、４２と接続してオペレータのサポートによって作業を実施する。例えば、オペレータは、支援作業として、受付ロボット５１に対する対象物選定の指示や客との会話、アームロボット５２に対するピッキング対象物の指示や操作、搬送ロボット５３に対する暫定目的地の指示や移動操作等を行う。受付ロボット５１、アームロボット５２、搬送ロボット５３は、自律処理できない場合（例えば異常時又は人の判断が必要な処理時）に、支援管理サーバ２に支援要請を行って、動作状況情報を提供する。支援管理サーバ２は、受付ロボット５１、アームロボット５２、搬送ロボット５３からの動作状況情報を解析することにより、作業補助情報を選択し、ＵＩ端末４１、４２等に表示する。オペレータは、熟練知識が無くても、作業補助情報によって支援作業内容を把握できるので、受付ロボット５１、アームロボット５２、搬送ロボット５３に対して、適切な指示を与えたり、操作することができる。図２において、各要素を連結する線は情報を相互に又は一方に提供可能に接続されていることを意味し、両者が同一機器内部に実装されて内部バスによって接続されている場合も、別々の機器に実装されて有線又は無線のネットワークによって接続されている場合も含む。

【0028】

支援管理サーバ２は、図３に示すように、ロボット情報データベース２１、作業補助情報データベース２２を含んでおり、ロボット情報データベース２１は、ロボット識別情報２１１、ロボット種別情報２１２、ロボットの稼働場所情報２１３を含み、作業補助情報データベース２２は、作業補助情報２２１、動作状況情報２２２、ロボット情報２１０、言語情報２２３を含んでいる。これらの情報は、支援管理サーバ２の記憶手段に記憶しておいてもよいし、記憶サーバ６に記憶して、必要に応じて支援管理サーバ２がネットワーク３を介して接続して取得するように構成してもよい。なお、記憶サーバ６は各ＵＩ端末４１，４２に設けられていてもよい。支援管理サーバ２は、ロボットからのオペレータ支援要請に対し、支援作業を行う担当オペレータを選択し、担当オペレータに対し支援作業に有用な作業補助情報を選択し、提供する。なお、支援管理サーバ２は、図示しないが制御手段やネットワークと通信するための通信手段を含んでおり、さらにオペレータデータベースを含んでいてもよい。

【0029】

ロボット情報データベース２１は、ロボットに関する情報（ロボット情報）のデータベースであり、ロボット識別情報２１１と対応付けて、当該ロボットに関するロボット種別情報２１２、稼働場所情報２１３等が記録されており、ロボット識別情報２１１から検索可能とされている。ロボット識別情報２１１は、各ロボットに一対一で対応するロボットを一意に識別する情報であり、例えば、製造番号や整理番号である。ロボット種別情報２１２は、ロボットの種類を特定する情報であり、例えば、「受付ロボット」、「アームロボット」、「搬送ロボット」というロボットの目的や用途による抽象的な大分類でもよいが、より具体的な分類とすることが好ましく、例えば、ロボットが具備する機能、性能、装備としてもよいし、既製品のロボットであれば製造メーカ、モデル名、型番等としてもよいし、注文品のロボットであれば製造メーカ、稼働場所、使用設備等としてもよい。稼働場所情報２１３は、ロボットが稼働している場所、施設等に関する情報である。ロボット情報、すなわちロボット識別情報２１１、ロボット種別情報２１２、稼働場所情報２１３等は、支援を要請したロボットを特定するものであり、さらに、ロボットが実行する作業内容を特定できることが好ましく、オペレータによるロボットの支援作業に有用な作業補助情報を選択する際に使用されてもよい。なお、ロボットから提供されるロボット識別情報２１１に、ロボット種別情報２１２や稼働場所情報２１３が含まれていてもよく、その場合には、ロボット情報データベース２１を設けなくてもよい。

【0030】

作業補助情報データベース２２は、オペレータによるロボットの支援作業に有用な作業補助情報２２１を選択するためのデータベースであり、動作状況情報２２２及び／又はロボット情報２１０に対応付けて、作業補助情報２２１が記録されており、動作状況情報２２２及び／又はロボット情報２１０から作業補助情報２２１を検索可能とされており、さらに、言語情報２２３を関連付けていてもよい。作業補助情報２２１は、オペレータによるロボットの支援作業に有用な情報であり、オペレータに指示するためのテキスト情報、ロボットの作業内容を含む動画、静止画、音声等でもよい。例えば、タスク情報に対応する作業の正常動作を記録した動画、静止画又は音声、ロボット識別情報に対応するロボットの正常動作を記録した動画、静止画又は音声、及び／又は正常時に期待される状況を示す動画、静止画又は音声、ＵＩ端末の入力手段における支援作業の指示又は操作内容等を含む。動画及び静止画は、実際の現実世界を撮影したものも、コンピュータグラフィックス（ＣＧ）によって描かれたものも、それらを組み合わせたものも含む。例えば、各ロボットに環境情報取得手段として搭載されたカメラ（ＲＧＢの２次元画像を取得するカメラ、熱情報を取得する赤外線カメラ、被写体までの距離情報も取得できる赤外線カメラ、ステレオカメラ、パターンプロジェクションカメラ）からの動画又は静止画や、ロボットの稼働場所に設置されたカメラからの動画又は静止画でもよいし、これらの動画又は静止画にＣＧ（テキストを含む）を重ねて表示した動画又は静止画でもよいし、コンピュータによって全てがレンダリングされた２Ｄ又は３ＤのＣＧ動画又はＣＧ静止画でもよい。ＣＧ動画又はＣＧ静止画は、予め準備された物であってもよいし、ロボットに搭載されたセンサ又は稼働場所に設置されたセンサからの情報に基づいて現状を反映させたものでもよい。また、音声も、実際の音でもよいし、コンピュータで合成された音でもよいし、それらを組み合わせてもよい。動作状況情報２２２は、ロボットから取得する情報に対応し、少なくとも各作業に関するタスク情報を含み、さらに、支援要請時又は現時点における周囲の静止画情報、動画情報、音声情報等の環境情報、支援要請時又は現時点におけるロボットの位置情報、またロボットに生じたエラーに関するエラー情報等を含んでいてもよい。ロボット情報２１０は、ロボット識別情報２１１、ロボット種別情報２１２、稼働場所情報２１３等であり、ロボット情報５６１に基づいて取得可能なものである。言語情報２２３は、作業補助情報２２１に含まれる言語に関する情報であり、例えば動画の説明文や音声が日本語の場合は、日本語という言語情報が作業補助情報２２１に対応付けられる。字幕、吹替等により複数国語が含まれる場合は複数の言語情報が対応付けられてもよい。なお、各作業補助情報を一意に識別する作業補助情報ＩＤを付与してもよい。

【0031】

ネットワーク３は、特に限定されるものではなく、インターネットを含み、例えば、公衆電話網、ＩＳＤＮ（Integrated Service Digital Networkの略。デジタル総合サービス網とも呼ばれる。）、ＡＤＳＬ（Asymmetric Digital Subscriber Line）、ＣＡＴＶ（Community Antenna TeleVision）網、光ファイバー網、無線ＬＡＮ（Local Area Network）、ＣＳ（Communication Satellite）放送、移動通信システム網（３Ｇ、４Ｇ、５Ｇ回線等を含む）などを利用することができる。ネットワーク３には、複数のロボット５１、５２、５３、複数のＵＩ端末４１、４２が接続されてもよい。ネットワーク３を介して、支援管理サーバ２と複数のロボット５１、５２、５３とが接続可能であり、支援管理サーバ２と複数のＵＩ端末４１、４２とが接続可能であり、さらに、複数のＵＩ端末４１、４２と複数のロボット５１、５２、５３とが相互に接続可能であってもよい。

【0032】

ユーザインターフェース端末４１、４２は、出力手段４３、入力手段４４及び記憶手段４５を含み、図示しないが制御手段やネットワークと通信するための通信手段を含んでいる。ＵＩ端末としては、例えば、コンピュータ、ノートパソコン、携帯情報端末（スマートフォン、タブレット端末を含む）等を含み、一つのハードウェアでＵＩ端末を実現してもよいし、複数のハードウェア（例えば、ディスプレイ・スピーカを出力手段、キーボード・マウスを入力手段、ネットワーク上の記憶サーバを記憶手段とし、コンピュータで処理する等）に手段を分散してＵＩ端末を実現してもよい。

【0033】

出力手段４３は、様々な情報を出力する手段であり、少なくとも支援管理サーバ２から提供された作業補助情報２２０を出力する。出力手段４３としては、例えば、液晶ディスプレイ（ＬＣＤ）、有機ＥＬディスプレイ、プロジェクタ、スピーカ、プリンタ等を含む。出力手段４３としてタッチパネル式のディスプレイを使用すれば、入力手段４４としても使用できる。また、複数のロボット５１～５３に対応して、複数の出力手段４３を設けてもよいし、一つの出力手段４３に複数のロボット５１～５３の情報を同時に又は順次表示するようにしてもよい。出力手段４３には、例えば、作業補助情報としてロボットの作業内容を含む動画、静止画が表示され、スピーカから音声が出力されるが、さらに、ロボット５１～５３から取得した支援要請時又は現時点における状況（環境情報、位置情報、エラー情報等）が出力されてもよい。このように、正常時の状況と支援要請時又は現時点の状況の両方を出力することで、正常時と比較した異常が見つかりやすく、また正常時に復帰するために必要な指示又は操作を把握しやすくなる。

【0034】

入力手段４４は、ロボットから要請された支援作業を実行する手段であり、例えば、ロボットに対して指示したり、ロボットを操作できるものである。入力手段４４として、例えば、キーボード、ポインティングデバイス（マウス、タッチパッド等）、タッチパネル（タッチスクリーンを含む）、コントローラ、マイク等を含む。入力手段４４は、ＵＩ端末の操作も可能であり、例えば、入力手段４４によって出力手段４３に表示された作業補助情報を操作（再生、停止、早回し、逆再生、拡大、縮小、移動等）してもよいし、支援要請時又は現時点における環境情報を操作して、所望の情報を取得してもよい。

【0035】

記憶手段４５は、指示操作情報４５１、支援サーバ２から提供された作業補助情報４５２、通知設定４５３、オペレータ情報４５４等が記憶されている。記憶手段４５としては、例えば、ＵＳＢメモリ、半導体メモリ、ＣＤ、ＤＶＤ、ＨＤＤなどを含み、複数の記憶手段を有していてもよい。指示操作情報４５１は、入力手段４４によって入力されたロボットに対する指示又は操作内容に関する情報であり、ネットワーク３を介してロボット５１～５３に提供される。作業補助情報４５２は、支援サーバ２から提供されたものであり、出力手段４３を介してオペレータに提供される。通知設定４５３は、支援管理サーバ２から提供される情報のうち必要な情報及び不要な情報の設定であり、各オペレータが個別に設定可能であることが好ましい。さらに、ロボットの種類又は作業内容ごとに設定可能であることが好ましい。例えば、オペレータは、自分が得意とする種類のロボットや作業については、支援作業を熟知しているため、作業補助情報の提供を不要とすることができる。オペレータ情報４５４は、当該ＵＩ端末を使用しているオペレータに関する情報であり、例えば、オペレータが使用する言語、オペレータが得意とするロボットの種類又は作業、オペレータの作業経験、オペレータの能力（例えば、各支援作業の平均処理時間等）を含む。ＵＩ端末４１，４２は、通知設定４５３及びオペレータ情報４５４を支援管理サーバ２に提供することができ、支援管理サーバ２は提供された通知設定４５３に基づいてＵＩ端末へ提供する情報を判断してもよいし、提供されたオペレータ情報４５４に基づいて担当オペレータを選択してもよいし、提供されたオペレータ情報４５４に基づいて支援内容及び／又は言語情報を参酌して適切な作業補助情報を選択してもよい。

【0036】

ロボット５１～５３は、様々な作業を実行する多種多様な複数のロボットであり、例えば、顧客等の要望を受け付ける受付ロボット５１、対象物を認識して、把持し、搬送ロボットに引き渡すアームロボット５２、及び目的地まで対象物を運ぶ搬送ロボット５３を含む。ロボット５１～５３は、少なくとも自律制御手段５４、支援要請手段５５及び記憶手段５６を含み、さらにエラー検出手段５７、環境情報取得手段５８、位置情報検出手段５９等を含んでいてもよく、また図示しないが各ロボットの機能を実現するための手段やネットワークと通信するための通信手段を含んでいる。さらに、記憶手段５６は、ロボット情報５６１及び動作状況情報５６２を含み、動作状況情報５６２は、少なくともタスク情報５６３を含み、さらにエラー情報５６４、環境情報５６５、位置情報５６６等を含んでいてもよい。

【0037】

自律制御手段５４は、各ロボットの機能を実現するための手段を制御して、複数の作業を自律的に実行するものである。例えば、受付ロボット５１の場合、複数の作業として、顧客等の要望があるまで待機、顧客の要望を得るために移動、巡回、顧客の要望を受け付けて認識、顧客の要望を他のロボットに転送等を実行する。アームロボット５２の場合は、複数の作業として、要求待ち、対象物のピックアップ、関節機能による対象物の把持、把持の解放等を実行する。搬送ロボット５３の場合、複数の作業として、要求待ち、積み込み場所への移動、待ち、自律搬送、積み下ろし待機、復帰移動等を実行する。さらに、自律制御手段５４は、ロボットが自律動作できない状況になった場合、支援要請手段５５から支援管理サーバ２に支援要請させる。

【0038】

支援要請手段５５は、支援管理サーバ２に支援要請を実行可能であり、支援要請時に少なくともタスク情報５６３を含む動作状況情報５６２を支援管理サーバ２に提供する。さらに、支援要請手段５５は、支援要請時にロボット情報５６１も支援管理サーバ２に提供してもよいが、ロボット情報５６１は別のタイミングで提供してもよい。動作状況情報５６２には、さらにエラー情報５６４、環境情報５６５、位置情報５６６等を含んでいてもよい。

【0039】

記憶手段５６は、各種情報を記憶するものであり、記憶手段５６としては、例えば、ＵＳＢメモリ、半導体メモリ、ＣＤ、ＤＶＤ、ＨＤＤなどを含み、複数の記憶手段を有していてもよい。ロボットに記憶されたロボット情報５６１は、少なくとも自己のロボット識別情報を含み、さらにロボット種別情報、稼働場所情報等を含んでいてもよく、支援管理サーバ２に提供される。支援管理サーバ２は、必要に応じてロボット情報データベース２１によって、提供されたロボット識別情報からロボット種別情報２１２や稼働場所情報２１３等を検索する。動作状況情報５６２は、支援要請時に支援管理サーバ２に提供される場合は、少なくとも支援を必要とする作業に関連付けられたタスク情報５６３を含み、さらにエラー情報５６４、環境情報５６５、位置情報５６６等を含めてもよい。なお、支援要請時以外の場合に動作状況情報５６２を提供する際（例えば、支援要請後にオペレータからの指示で提供）は、タスク情報５６３を含めなくてもよい。タスク情報５６３はロボットが実行する複数の作業の一つ又は複数と関連付けられている。

【0040】

エラー検出手段５７は、ロボットに生じた障害や異常を検出するものであり、障害や異常が発生した際に予め決められた障害や異常の種類に分類してエラー情報５６４を取得する。エラー情報５６４は、障害や異常の種類を特定する情報（エラーコードを含む）でもよいし、障害や異常の内容（例えば、自己位置ロスト等）を含む情報でもよい。

【0041】

環境情報取得手段５８は、ロボットの周囲の環境情報５６５を取得するものであり、ロボットの周囲の障害物の存在と位置（相対的な位置又は絶対的な位置）を検出する手段、周囲の画像を取得する手段、又は音声を取得する手段等を含む。環境情報取得手段５８として、例えば、レーザ光を使用したＬｉＤＡＲ（Light Detection and Ranging又はLaser Imaging Detection and Ranging）や測域センサ、複数のカメラを使用したステレオカメラ、パターンプロジェクションカメラ、電波（ミリ波）を使用したレーダ、磁気センサ、２次元画像を取得するカメラ（ＣＣＤカメラ、ＣＭＯＳセンサ、赤外線カメラ）、音声を取得する音声取得手段などを使用することができる。また、少なくともロボット５１～５３の移動方向前方の画像（静止画又は動画）を取得でき、高精細な３ＤのＬｉＤＡＲ等を使用すれば、測定点のパターンによって周囲の障害物を判定又は確認することも可能である。

【0042】

位置情報検出手段５９は、地図情報におけるロボット５１～５３の位置を推定したり、ロボットの関節、アーム等の位置を検出したりする手段であり、それらの位置情報５６６を取得する。自己位置を推定する場合は、例えば、位置推定プログラムを実行することによって実現され、例えば、ＣＰＵ（Central Processing Unit）及び作業用メモリなどによって、或いは集積回路（Integrated Circuit）によって実現される。位置情報検出手段５９としては、地図情報における移動体の位置が特定できればよく、特に手段を問うものではないが環境情報取得手段５８で取得した環境情報（周囲の障害物の配置）５６５と、予め用意された地図情報とを照合して、照合結果に基づきロボットの位置を算出してもよい。他の位置情報推定手段５９としては、ＧＰＳで特定した座標を地図情報の座標に変換したり、通信アンテナや基地局で特定した座標を地図情報の座標に変換したり、周囲の壁、天井、床に位置を示す記号を表記してそれを画像認識し、地図情報と対応させることで特定したりしてもよい。また、関節、アーム等の位置を検出する場合は、例えば、関節やアームを駆動するアクチュエータによる変位量から位置を検出してもよいし、ロボット又は周囲の壁、天井、床等に設置されたカメラやセンサによって駆動後のアームの状態を検知して位置を検出してもよい。なお、位置情報検出手段５９は、ロボット５１～５３ではなく、支援管理サーバ２に設けられてもよい。

【0043】

［通常動作］
図４～図８は、受付ロボット５１、アームロボット５２、搬送ロボット５３のロボットで構成され、顧客等の要望を認識して、その要望を達成するシステムにおける一連の動作を例示したものである。今回の例では、顧客の要望した飲料を顧客のいる座席まで届ける動作が行われる。

【0044】

図４は、受付ロボット５１、アームロボット５２、搬送ロボット５３のロボットが待機している状態を示している。受付ロボットは、巡回しても定位置にいてもよい。図５は、顧客１０の要望を受付ロボット５１が顧客の指示を認識している状態を示している。受付ロボット５１は、顧客１０の入店を認識した場合、顧客１０に向かって移動してもよい。受付ロボット５１は、顧客１０に対応し、要望するものを音声又はタッチパネル等によって入力させる。顧客１０が飲料を指示すると、受付ロボット５１は、音声認識又は画面タッチによって顧客１０の要望として飲料を受け付け、認識した顧客１０の要望をアームロボット５２、搬送ロボット５３にネットワークを通じて伝達する。

【0045】

図６（Ａ）は、受付ロボットから伝達された顧客の要望をアームロボット５２が認識して、対象物を判別している状態を示し、（Ｂ）は、アームロボット５２が、対象物である机上の飲料１１を認識して、アームを移動させて先端のハンドで飲料１１を把持した状態を示し、（Ｃ）は、アームロボット５２が、自身の関節を動かし、飲料１１を持ち上げた状態を示している。

【0046】

図７（Ａ）は、搬送ロボット５３が、アームロボット５２の近傍に近づき、積み込み待機位置で待機している状態を示し、（Ｂ）は、アームロボット５２が飲料１１を搬送ロボット５３に載置するためにアームを動かしている状態を示し、（Ｃ）は、アームロボット５２が搬送ロボット５３上に飲料１１を載置し、ハンドによる把持を開放して役割を終え、搬送ロボット５３が、飲料１１の搬送を開始する状態を示している。

【0047】

図８（Ａ）は、搬送ロボット５３が、飲料１１を顧客１０の座席まで搬送している途中の状態を示し、（Ｂ）は、搬送ロボット５３が、飲料１１を顧客１０の座席まで搬送し、積み下ろし待機位置で待機している状態を示し、（Ｃ）は、顧客１０が飲料１１を受け取り、搬送ロボット５３が役割を終え、待機場所に戻った状態を示している。

【0048】

［データベースの例］
図９は、ロボット情報データベース２１の一例である。ロボット情報データベース２１は、ロボット識別情報（ＩＤ）２１１に対応させて、ロボット種別情報２１２、ロボット稼働場所情報２１３、各種機能２１４～２１７が記憶されている。本実施形態では、ロボットＩＤ２１１は、７桁の文字と数字から構成され、１桁目が稼働場所に関する情報、２～４桁目がロボット種別に関する情報、５～７桁目が各ロボット種別におけるナンバリングであり、それ自体に、ロボット種別情報２１２及び稼働場所情報２１３を含んでいるが、単に各ロボットをナンバリングしただけでもよい。ロボット種別情報２１２では、製造メーカだけではなく、同じα社製でも、モデルが異なる場合又は機能が異なる場合は別の種別としている。稼働場所情報２１３についても、同じ会社であっても工場や倉庫で区別し、さらに工場内においても受付などのように稼働場所を具体的に分類している。各種機能２１４～２１７としては、音声認識２１４、画像認識２１５、移動手段２１６、把持手段２１７を例示し、それぞれ具備する場合を〇で、具備しない場合を×で示しているが、これに限定されるものではない。これらのロボット情報２１０に対して、作業補助情報を対応付けることができる。

【0049】

図１０は、作業補助情報データベース２２ａの一例である。作業補助情報データベース２２ａは、作業補助情報ＩＤ２２０、ロボット種別及びロボット稼働場所のロボット情報２１０、作業補助情報種別２２１ａ、作業補助情報２２１、言語情報２２３及びエラー情報２２４を含んでいる。作業補助情報データベース２２ａにおいては、ロボット情報２１０、言語情報２２３及びエラー情報２２５から作業補助情報２２１を選択することができる。ただし、ＩＤ１～３の作業補助情報から選択する場合であれば、ロボット情報２１０のみから作業補助情報を選択可能であり、ＩＤ１～６の作業補助情報から選択する場合であれば、ロボット情報２１０及び言語情報２２３から選択可能である。このように、作業補助情報の選択は、ロボット情報２１０、言語情報２２３及びエラー情報２２４の全ての情報を必要とするものではない。ＩＤ１～６の作業補助情報は動画であり、ＩＤ１～３は日本語、ＩＤ４～６は英語の動画である。ＩＤ１の作業補助情報は、例えば、日本語で説明したＡ社○○工場におけるＸ社製受付ロボットの正常動作の動画等である。ＩＤ７の作業補助情報は静止画であり、例えば、Ｂ社ＸＸ倉庫内の通常時の画像等である。ＩＤ８～１１の作業補助情報は音声であり、言語情報２２３及びエラー情報２２４に応じて該当する作業補助情報が選択される。例えば、搬送対象なしの場合は、オペレータに対して「目的地に到着しましたが搬送対象が見当たりません。搬送対象をご指示ください」という音声が通知される。また、重複配送の場合は、オペレータに対して「搬送対象は既に搬送されています。別の搬送対象をご指示ください」という音声が通知される。なお、作業補助情報種別２２１ａは、作業補助情報のデータ形式を示しており、動画、静止画、音声、テキスト等である。

【0050】

図１１は、他の作業補助情報データベース２２ｂの一例である。作業補助情報データベース２２ｂは、作業補助情報ＩＤ２２０（図ではＩＤのみを表記）、ロボット種別及びロボット稼働場所のロボット情報２１０、言語情報２２３、タスク情報２２５及び作業補助情報２２１として正常動作動画の開始位置及び動画の長さの情報を含んでいる。作業補助情報データベース２２ｂにおいては、ロボット情報２１０、言語情報２２３及びタスク情報２２５から作業補助情報２２１を選択することができる。タスク情報２２５は、ロボットの作業内容を区分したものであり、例えば、Ａ社○○工場におけるＸ社製受付ロボットでは、「要求待ち移動」、「顧客対応」、「顧客要望受付」及び「顧客要望転送」に区分されており、Ｙ社製マニピュレータでは、「要求待ち」、「把持中」、「搬送中」及び「把持開放中」に区分されており、Ｚ社製搬送車では、「要求待ち」、「積み込み待機」、「移動中」、「積み下ろし待機」及び「復帰移動中」に区分されている。それぞれ正常動作時の動画における開始位置及び動画長さが指定されており、一連の正常動作時の動画のうち、指定された開始位置及び動画長さの動画を作業補助情報２２１としてＵＩ端末に提供できる。このように、作業補助情報データベース２２ｂを使用すれば、ロボットから提供された支援要請時の動作状況情報５６２に含まれるタスク情報５６３から、対応する作業補助情報２２１を選択することができる。なお、図１０に示す作業補助情報データベース２２ａでＩＤ１～６の作業補助情報が選択された場合に、図１１の作業補助情報データベース２２ｂを用いてさらに具体的な作業補助情報を選択してもよい。

【0051】

図１２（Ａ）は、倉庫内の各搬送対象Ａ０１～Ｅ０１の配置図であり、（Ｂ）は、他の作業補助情報データベース２２ｃの一例であり、（Ｃ）は、静止画の一例である。作業補助情報データベース２２ｃは、作業補助情報ＩＤ２２０（図ではＩＤのみを表記）、作業補助情報２２１として静止画のファイル名及び位置範囲２２６ａとして左上の頂点の座標と右下の頂点の座標の情報を含んでいる。作業補助情報データベース２２ｃにおいては、ロボットから提供された位置情報から作業補助情報２２１を選択することができる。例えば、ロボットから提供された位置情報が位置範囲２２６ａ内に含む静止画を選択してＵＩ端末に提供することができる。作業補助情報２２１の静止画としては、例えば、図１２（Ｃ）に示すように、各搬送対象Ａ０１～Ｅ０１の通常時の画像でもよいが、搬送対象以外の倉庫内の画像でもよい。各位置範囲２２６ａは、本実施形態においては、各搬送対象Ａ０１～Ｅ０１から一定の範囲であるが、かかる態様に限定されるものではない。例えば、倉庫内をマトリクス状に区分して、各区分を位置範囲として、その位置からの通常時に確認できる画像を作業補助情報２２１としてもよい。なお、図１０に示す作業補助情報データベース２２ａでＩＤ７の作業補助情報が選択された場合に、図１２の作業補助情報データベース２２ｃを用いてさらに具体的な作業補助情報を選択してもよい。

【0052】

［支援要請時の動作］
まず、受付ロボット５１が、顧客１０の要望内容が認識できない場合にオペレータに支援を求める場合の例を説明する。受付ロボット５１が「顧客要望受付」の作業中、顧客１０の要望内容を認識できない場合、エラー検出手段５７が「顧客要望認識不可」と認識する。受付ロボット５１は、環境情報取得手段５８の画像取得手段によって録画及び録音していた顧客１０との対応の動画及び音声（環境情報５６５）を準備し、さらに、位置情報検出手段５９により取得した位置情報５６６を準備する。そして、受付ロボット５１は、支援要請手段５５によって、ネットワーク３を介してロボット情報５６１及び動作状況情報５６２を支援管理サーバ２に送信する。動作状況情報５６２は、「顧客要望受付」というタスク情報５６１を含み、さらに「顧客要望認識不可」というエラー情報５６４、顧客１０との対応の動画及び音声（環境情報５６５）及び位置情報５６６を含んでいてもよい。

【0053】

管理支援サーバ２は、受信したロボット情報５６１から、必要に応じてロボット情報データベース２１を用いて受付ロボット５１のロボット種別や稼働場所を特定し、また、必要に応じて受信した動作状況情報５６２と併せて、作業補助情報データベース２２と突き合わせてユーザインターフェース端末に提供する作業補助情報２２１を選択する。ここで、管理支援サーバ２は、ロボットが稼働している国、地域に合わせた言語情報、時刻、オペレータの混雑度等を考慮して、適切なオペレータのいるＵＩ端末を選択してもよい。例えば、管理支援サーバ２は、作業補助情報データベース２２ｂを用いて、ロボット情報５６１及び「顧客要望受付」というタスク情報５６１、並びに選択したＵＩ端末の言語情報からＩＤ１－３の動画を選択し、ＵＩ端末に送信する。さらに、管理支援サーバ２は、ロボットから受信した動作状況情報５６２、例えば顧客１０との対応の動画及び音声（環境情報５６５）をＵＩ端末に送信してもよい。なお、動作状況情報５６２は、受付ロボット５１からＵＩ端末に直接送信してもよい。

【0054】

図１３は、ＵＩ端末４１の表示画面４１１の一例であり、右側に作業補助情報用領域４１２が表示され、左側に指示・操作領域４１３が表示されている。作業補助情報用領域４１２には、作業補助情報として提供された正常時の動作の動画を再生する領域４１２ａと再生ボタン４１２ｂが表示されている。指示・操作領域４１３の上領域４１３ａは、ロボットからの支援要請時又は現時点の状況が示され、図１３では顧客１０との対応の動画及び音声（環境情報５６５）が表示され、中央の３種類の飲料が並んだ領域４１３ｂは顧客１０の要望を入力する領域であり、下の円マークは決定ボタン４１３ｃである。オペレータは領域４１２ａに再生された正常時の動作の動画を確認しつつ、顧客１０との対応の動画及び音声（環境情報５６５）から顧客の要望を判断して、領域４１３ｂの３種類の飲料から要望のものを選択し、決定ボタン４１３ｃで指示を受付ロボット５１に送信する。なお、要望のものを指示するのではなく、ＵＩ端末４１を受付ロボット５１と接続して、オペレータが音声、動画又はテキストで顧客１０と応答して要望する飲料１１を特定してもよい。

【0055】

次に、アームロボット５２が、受付ロボット５１から要望の飲料１１の情報を引き継いだが、飲料プールから飲料１１の把持に失敗した場合の例を説明する。アームロボット５２が「把持中」の作業中、ピッキング対象物を判別できない場合、エラー検出手段５７が「判別不可」と認識する。さらに、アームロボット５２は、環境情報取得手段５８の画像取得手段によって飲料プールを録画し、支援要請手段５５によって、ネットワーク３を介してロボット情報５６１及び動作状況情報５６２を支援管理サーバ２に送信する。動作状況情報５６２には、「把持中」というタスク情報５６１を含み、さらに「判別不可」というエラー情報５６４、録画した飲料プールの画像（環境情報５６５）、ピッキング対象物である要望の飲料１１の情報を含んでいてもよい。

【0056】

管理支援サーバ２は、上記受付ロボット５１の場合と同様に、適切なオペレータのいるＵＩ端末を選択し、作業補助情報データベース２２と突き合わせて作業補助情報２２１を選択する。例えば、管理支援サーバ２は、作業補助情報データベース２２ｂを用いて、ロボット情報５６１及び「把持中」というタスク情報５６１、並びに選択したＵＩ端末の言語情報からＩＤ５－２の動画を選択し、ＵＩ端末に送信する。さらに、管理支援サーバ２は、ロボットから受信した動作状況情報５６２、例えば録画した飲料プールの画像（環境情報５６５）、ピッキング対象物である要望の飲料１１の情報等をＵＩ端末に送信してもよい。なお、動作状況情報５６２は、アームロボット５２からＵＩ端末に直接送信してもよい。

【0057】

図１４は、ＵＩ端末４１の表示画面４１１の一例であり、右側に作業補助情報用領域４１２が表示され、左側に指示・操作領域４１３が表示されている。作業補助情報用領域４１２には、作業補助情報として提供された正常時の動作の動画を再生する領域４１２ａと再生ボタン４１２ｂが表示されている。指示・操作領域４１３には、実際の飲料プールの画像とピッキング対象物である無印の飲料１１が示されている。領域４１３において、点線で示された飲料１１ａは、アームロボット５２が通常時において把持する位置であり、実線で示された飲料１１ｂは、実際の位置である。アームロボット５２は、通常時において把持する位置に飲料が無かったため「判別不可」のエラーとなった。オペレータは領域４１２ａに再生された正常時の動作の動画を確認しつつ、ピッキング対象物を破線４１４で選択して指示した。なお、ピッキング対象物を指示するのではなく、ＵＩ端末４１をアームロボット５２と接続して、オペレータがアームロボット５２のハンドを操作して要望する飲料１１ｂを把持してもよい。

【0058】

さらに、位置推定手段５９により自己位置を推定しつつ移動する搬送ロボット５３が、自己位置を喪失した場合にオペレータに支援を求める場合の例を説明する。図１５（Ａ）は、搬送ロボット５３の移動範囲の間取りを示す地図情報７０を示しており、事前に建物の間取り図、建築図面などの既存の地図を取り込んで作成してもよいし、事前に搬送ロボット５３の移動範囲内を移動させて環境情報取得手段５８を使用したＳＬＡＭ（Simultaneous Localization and Mapping）によって、自己位置推定と環境地図作成を同時に行って取得してもよいし、他の移動体又は他のコンピュータで作成された地図情報を使用してもよい。

【0059】

図１５（Ｂ）は、ＵＩ端末４１の表示画面４１１の一例であり、右側に作業補助情報用領域４１２が表示され、左側に指示・操作領域４１３が表示されている。指示・操作領域４１３には、現状の間取り７１が示されており、地図情報７０にはない物体７１ａが存在している。搬送ロボット５３は、この図では部屋の左下に位置している。搬送ロボット５３は、移動手段として４つの車輪を有し、環境情報取得手段５８としてＬｉＤＡＲ及びカメラを有し、さらに位置推定手段５９を有している。ＬｉＤＡＲは、マイクロパルスレーザ光を所定のステップ角度毎に順次照射し、周囲の壁などの障害物で反射光や散乱光を発生させ、戻ってきた反射光又は散乱光をＬｉＤＡＲの検出器で検出し、照射してから戻ってくるまでの時間を計測することにより各測定点までの距離及び方向を測定することにより、環境情報として、ＬｉＤＡＲを中心とした各障害物の極座標（距離，角度）を得ることができる。なお、各測定点の極座標を直交座標に変換してもよい。そして、位置推定手段５９がＬｉＤＡＲで取得した環境情報と、事前に準備した地図情報７０とを整合させて自己位置を推定する。

【0060】

図１６（Ａ）及び（Ｂ）は、搬送ロボット５３が、地図上にない物体７１ａがあるために自己位置を喪失した状態を説明するための図である。図１６（Ａ）は現状の間取り７１における実際の搬送ロボット５３の位置を示し、図１６（Ｂ）は、地図上にない物体７１ａのため、搬送ロボット５３が環境情報取得手段５８（ＬｉＤＡＲ）で取得した黒丸で示す各測定点が地図情報７０と一致せず、自己位置を実際よりも左の位置に誤認識している状態を示している。図１６（Ｂ）の矢印は、物体７１ａによって地図情報上では測定点がずれていることを示している。さらに、図１６（Ｂ）では、右側の作業補助情報用領域４１２に復旧手順に使える操作方法が表示されている。上段の領域４１２ａには、搬送ロボット５３の操作方法が動画で説明されており、オペレータは、領域４１２ａを参照しつつ、搬送ロボット５３の移動や環境情報取得のための方向を操作することができる。中段の領域４１２ｂには、搬送ロボット５３のカメラから取得した画像情報が表示され、下段の領域４１２ｃには、搬送ロボット５３から取得したＬｉＤＡＲの環境情報が表示されている。

【0061】

図１７（Ａ）は、指示・操作領域４１３に搬送ロボット５３の環境情報取得手段５８のカメラによって取得した周囲の画像情報７２を表示した図である。画像情報７２は、搬送ロボット５３が自己位置を喪失した位置において撮影された画像である。オペレータは、ＵＩ端末４１の入力手段４４を操作してカーソル７３により、画像情報上の一点を選択し、暫定目的地７３ａを設定し、搬送ロボット５３に暫定目的地７３ａを送信する。また、図１７（Ｂ）は、指示・操作領域４１３に搬送ロボット５３の環境情報取得手段５８のＬｉＤＡＲによって取得した周囲の環境情報７４を表示した図である。オペレータは、ＵＩ端末４１の入力手段４４を操作してカーソル７３により、環境情報上の一点を選択し、暫定目的地７３ａを設定してもよい。

【0062】

入力手段４７による暫定目的地の設定は、例えば、キーボードで座標を入力してもよいし、ポインティングデバイスやタッチパネルで環境情報又は画像情報上の点を選択することにより、選択した座標を暫定目的地に選択してもよい。また、例えば、環境情報又は画像情報上に移動経路を描くことで経路の終点を暫定目的地として設定してもよい。入力手段４７は、環境情報及び／又は画像情報を拡大又は縮小操作可能であってもよい。さらに、入力手段４７は、地図情報における搬送ロボット５３の現在位置を指定可能であってもよい。例えば、オペレータが環境情報及び／又は画像情報から搬送ロボット５３の地図情報における現在位置が推定できた場合、入力手段４７によって地図情報における移動体の現在位置を指定すると、搬送ロボット５３は、指定された位置を自己位置として自律移動を再開できる。

【0063】

図１８（Ａ）は、オペレータが指示した暫定目的地７３ａに到達した状態を示す図であり、移動中の各位置において取得した環境情報（近傍ＳＬＡＭのみの表示）を示している。搬送ロボット５３は、移動中も継続的に環境情報を取得し、環境情報の取得位置を現在位置として、環境情報に設定された暫定目的地７３ａに向けた移動を繰り返す。図１８（Ａ）は、搬送ロボット５３が自己位置を喪失した地点から暫定目的地７３ａまでの移動中に新たに取得した周囲の環境情報７４の総和を示している。暫定目的地７３ａに到着した搬送ロボット５３は、その位置において位置情報検出手段が自己位置を推定可能か判定する。現在の自己位置推定に成功すれば、自律移動に復帰することができ、失敗すれば、再びＵＩ端末４１に暫定目的地の設定を要求するか、ＵＩ端末４１の作業補助情報による操作を待つ。現在位置推定に成功した場合は、暫定目的地７３ａまでの移動で取得した環境情報を地図情報に反映させることが好ましい。図１８（Ｂ）は、暫定目的地７３ａにおいて、搬送ロボット５３の現在位置推定に成功し、新たに取得した周囲の環境情報の総和を反映させた地図情報７５を示す。

【0064】

図１９は、地図情報では存在していた物体７１ａが実際には存在しなかった状況におけるＵＩ端末４１の表示画面４１１の一例であり、右側に作業補助情報用領域４１２ａ、４１２ｂ、４１２ｃが表示され、左側に指示・操作領域４１３が表示されている。搬送ロボット５３は、物体７１ａに近接する位置まで移動したところ、物体７１ａが存在しておらず、異常を検知して緊急停止した状態である。右上の領域４１２ａには、正常であった場合の期待されるＲＧＢの画像が表示され、右中央の領域４１２ｂには、熱画像カメラの画像又は熱画像カメラの画像に基づくＣＧ画像が表示され、右下の領域４１２ｃには、実際の熱画像カメラの画像が表示されている。熱画像を用いることにより、暗所等のＲＧＢカメラでは適していない環境であっても、オペレータに作業補助情報を提供できる。オペレータは、正常な画像４１２ａ、４１２ｂと実際の画像４１２ｃとを比較して、物体７１ａが存在しないことを前提として、ロボットを操作又は指示して正常動作に復帰させる。

【0065】

図２０は、地図情報では存在していた物体７１ａが実際には存在せず、未確認の物体が存在していた状況におけるＵＩ端末４１の表示画面４１１の一例であり、右側に作業補助情報用領域４１２ａ、４１２ｂが表示され、左側に指示・操作領域４１３が表示されている。搬送ロボット５３は、物体７１ａに近接する位置まで移動したところ、物体７１ａが存在せず、未確認の物体が存在していたため、自己位置を喪失した状態である。右上の領域４１２ａには、正常であった場合の期待される画像に画像認識した判別結果がオーバーレイされた画像が表示されている。右下の領域４１２ｂには、実際の画像に画像認識した判別結果がオーバーレイされた画像が表示されている。オペレータは、正常な画像４１２ａと実際の画像４１２ｂとを比較して、正常な状態では、正面に物体７１ａが配置されているはずが、実際には物体７１ａが存在せずに、部品Ａが落ちていることを認識して、部品Ａを回避するようロボットを操作又は指示して正常動作に復帰させる。なお、判別結果の数字は、認識精度であり、画像認識の正確性を示すものであり、オペレータへの参考情報として表示することが好ましいが、認識精度を表示しなくてもよい。

【0066】

図２１は、地図情報では存在していた物体７１ａが実際には存在しなかった状況におけるＵＩ端末４１の表示画面４１１の一例であり、右側に作業補助情報用領域４１２ａ、４１２ｂが表示され、左側に指示・操作領域４１３が表示されている。搬送ロボット５３は、物体７１ａに近接する位置まで移動したところ、予定されていた近距離の物体７１ａが存在せず、ＬｉＤＡＲによって遠距離に未確認の障害物を検出したため、自己位置を喪失した状態である。右上の領域４１２ａには、正常であった場合のＲＧＢ画像が表示されている。右下の領域４１２ｂには、実際のＬｉＤＡＲ点群又はＬｉＤＡＲ点群に基づく３ＤＣＧ画像が表示されている。右下の領域４１２ｂにおいて、ロボットのＬｉＤＡＲが配置された自己位置４１５ａから離れた位置４１５ｂに柱７１ｂに基づく障害物を検出した。オペレータは、地図情報、正常な画像４１２ａ及び実際の画像４１２ｂとを比較して、物体７１ａが存在せず、柱７１ｂを障害物として検知したことを前提として、ロボットを操作又は指示して正常動作に復帰させる。

【0067】

図２２は、ＵＩ端末における通知設定４５３の一例である。通知設定４５３は、支援管理サーバ２から提供される情報のうち必要な情報及び不要な情報の設定であり、各オペレータが個別に設定可能である。通知設定４５３は、作業補助情報ＩＤ、オペレータＩＤ、及び通知要否を含む。作業補助情報ＩＤは、図１０の作業補助情報データベース２２ａのＩＤ２２０と対応付けられている。オペレータＩＤはオペレータを一意に識別する情報である。通知要否は通知が必要なもの（ＯＮ）と不要なもの（ＯＦＦ）を設定できる。図２２（Ａ）は、ＡＢＣというＩＤのオペレータの通知設定４５３であるが、作業に不慣れなため全ての作業補助情報の通知をＯＮとしている。図２２（Ｂ）は、ＸＹＺというＩＤのオペレータの通知設定４５３であるが、作業に熟練しているため全ての作業補助情報の通知をＯＦＦとしている。図２２（Ｃ）は、いろはというＩＤのオペレータの通知設定４５３であるが、倉庫に関する作業は慣れているため通知をＯＦＦとしているが、他は通知をＯＮとしている。このように、オペレータごとに通知要否を設定することで効率的な作業が可能である。

【符号の説明】

【0068】

１ ロボット支援システム
２ 支援管理サーバ
３ ネットワーク
６ 記憶サーバ
４１、４２ ユーザインターフェース端末（ＵＩ端末）
５１ 受付ロボット
５２ アームロボット
５３ 搬送ロボット

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】