特許 6971955 ロボット遠隔操作装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6971955

(24)【登録日】2021年11月5日

(45)【発行日】2021年11月24日

(54)【発明の名称】ロボット遠隔操作装置

(51)【国際特許分類】

   B25J 3/00 20060101AFI20211111BHJP

【ＦＩ】

   B25J3/00 Z

【請求項の数】10

【全頁数】24

(21)【出願番号】特願2018-227828(P2018-227828)

(22)【出願日】2018年12月5日

(65)【公開番号】特開2020-89937(P2020-89937A)

(43)【公開日】2020年6月11日

【審査請求日】2020年11月2日

(73)【特許権者】

【識別番号】000006013

【氏名又は名称】三菱電機株式会社

(73)【特許権者】

【識別番号】504132272

【氏名又は名称】国立大学法人京都大学

(74)【代理人】

【識別番号】100088672

【弁理士】

【氏名又は名称】吉竹 英俊

(74)【代理人】

【識別番号】100088845

【弁理士】

【氏名又は名称】有田 貴弘

(72)【発明者】

【氏名】藤本 堅太

(72)【発明者】

【氏名】松野 文俊

(72)【発明者】

【氏名】遠藤 孝浩

【審査官】 木原 裕二

(56)【参考文献】

【文献】 特開平０８−１０８３８７（ＪＰ，Ａ）

【文献】 特開平１１−１６１３１０（ＪＰ，Ａ）

【文献】 特開２００６−２２４２７６（ＪＰ，Ａ）

【文献】 特開平０６−１１４７６６（ＪＰ，Ａ）

【文献】 特開平０３−０６０９９１（ＪＰ，Ａ）

【文献】 特開平０８−２７５９５８（ＪＰ，Ａ）

【文献】 国際公開第２０１８／２１２２２５（ＷＯ，Ａ１）

【文献】 特開２００１−０２５９８６（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１５／０３１４４４７（ＵＳ，Ａ１）

【文献】 特開平１０−１０００８６（ＪＰ，Ａ）

【文献】 特開平０６−２９７３５８（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１６／０３２５４３４（ＵＳ，Ａ１）

【文献】 米国特許出願公開第２０１２／００４１５９９（ＵＳ，Ａ１）

【文献】 特開２００４−２９１１８６（ＪＰ，Ａ）

【文献】 米国特許第０８３８０６５２（ＵＳ，Ｂ１）

【文献】 特開平０９−２６１６１８（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｂ２５Ｊ １／００ − ２１／０２

(57)【特許請求の範囲】

【請求項1】

少なくとも一つのロボットを制御する少なくとも一つのロボット制御装置と、
前記少なくとも一つのロボット制御装置と通信を行う少なくとも一つの作業支援装置と
を備え、
前記ロボット制御装置は、
前記ロボットの状態であるロボット状態を取得する状態取得部を含み、
前記作業支援装置は、
少なくとも一人の作業者の操作から第１アバターに変換する第１アバター変換部と、
前記操作から、前記ロボット制御装置の制御によって前記ロボットを動作させるためのロボット動作指令に変換するロボット指令変換部と、
前記ロボット状態から第２アバターに変換する第２アバター変換部と、
前記ロボット動作指令と前記ロボット状態とに基づいて、前記ロボット制御装置に前記ロボット動作指令を送信するタイミングを制御するタイミング制御部と
を含み、
前記第１アバター及び前記第２アバターを表示する表示装置をさらに備え、
前記表示装置は、
前記第１アバターの作業状態と前記第２アバターの作業状態との差異が閾値を超えた場合に、前記第１アバター及び前記第２アバターのいずれか一方の色を変更する、ロボット遠隔操作装置。

【請求項2】

少なくとも一つのロボットを制御する少なくとも一つのロボット制御装置と、
前記少なくとも一つのロボット制御装置と通信を行う少なくとも一つの作業支援装置と
を備え、
前記ロボット制御装置は、
前記ロボットの状態であるロボット状態を取得する状態取得部を含み、
前記作業支援装置は、
少なくとも一人の作業者の操作から第１アバターに変換する第１アバター変換部と、
前記操作から、前記ロボット制御装置の制御によって前記ロボットを動作させるためのロボット動作指令に変換するロボット指令変換部と、
前記ロボット状態から第２アバターに変換する第２アバター変換部と、
前記ロボット動作指令と前記ロボット状態とに基づいて、前記ロボット制御装置に前記ロボット動作指令を送信するタイミングを制御するタイミング制御部と
を含み、
前記第１アバター及び前記第２アバターを表示する表示装置をさらに備え、
前記表示装置は、
予め定められた複数の段階のうち、前記第１アバターの作業状態と前記第２アバターの作業状態との差異が属する段階に基づいて、前記第１アバター及び前記第２アバターのいずれか一方の色を変更する、ロボット遠隔操作装置。

【請求項3】

少なくとも一つのロボットを制御する少なくとも一つのロボット制御装置と、
前記少なくとも一つのロボット制御装置と通信を行う少なくとも一つの作業支援装置と
を備え、
前記ロボット制御装置は、
前記ロボットの状態であるロボット状態を取得する状態取得部を含み、
前記作業支援装置は、
少なくとも一人の作業者の操作から第１アバターに変換する第１アバター変換部と、
前記操作から、前記ロボット制御装置の制御によって前記ロボットを動作させるためのロボット動作指令に変換するロボット指令変換部と、
前記ロボット状態から第２アバターに変換する第２アバター変換部と、
前記ロボット動作指令と前記ロボット状態とに基づいて、前記ロボット制御装置に前記ロボット動作指令を送信するタイミングを制御するタイミング制御部と
を含み、
前記第１アバター及び前記第２アバターを表示する表示装置をさらに備え、
前記表示装置は、
前記第１アバターの作業状態と前記第２アバターの作業状態との差異である工程差の数を表示する、ロボット遠隔操作装置。

【請求項4】

請求項１から請求項３のうちのいずれか１項に記載のロボット遠隔操作装置であって、
前記ロボット制御装置と前記作業支援装置との間のデータの送受信ができない異常を検出する通信異常検出部をさらに備え、
前記作業支援装置は、
前記通信異常検出部で異常が検出された場合に、前記ロボット制御装置に送信すべき前記ロボット動作指令を保存し、
前記表示装置は、
前記通信異常検出部で異常が検出された場合に異常を表示する、ロボット遠隔操作装置。

【請求項5】

請求項４に記載のロボット遠隔操作装置であって、
前記ロボット制御装置は、
前記通信異常検出部で異常が検出された場合に、前記ロボットの現在位置を保存して前記ロボットを停止する、ロボット遠隔操作装置。

【請求項6】

請求項４または請求項５に記載のロボット遠隔操作装置であって、
前記ロボット制御装置と前記作業支援装置との間のデータの送受信が異常から正常に移行した場合に、保存された前記ロボット動作指令に基づいて前記ロボットへの遠隔操作を復帰する異常復帰部をさらに備える、ロボット遠隔操作装置。

【請求項7】

請求項１から請求項３のうちのいずれか１項に記載のロボット遠隔操作装置であって、
前記ロボットが行う作業の異常を検出する作業異常検出部と、
前記ロボットが行う作業が異常から正常に移行した場合に、前記ロボットへの遠隔操作を復帰する異常復帰部と
をさらに備える、ロボット遠隔操作装置。

【請求項8】

請求項１から請求項７のうちのいずれか１項に記載のロボット遠隔操作装置であって、
前記少なくとも一つのロボットは、複数のロボットであり、
前記少なくとも一つのロボット制御装置は、前記複数のロボットをそれぞれ制御する複数のロボット制御装置であり、
前記少なくとも一つの作業支援装置は、
一人の作業者の操作を前記少なくとも一人の作業者の操作として用い、前記複数のロボット制御装置に前記ロボット動作指令を送信する一つの作業支援装置である、ロボット遠隔操作装置。

【請求項9】

請求項１から請求項７のうちのいずれか１項に記載のロボット遠隔操作装置であって、
前記少なくとも一つのロボットは、複数のロボットであり、
前記少なくとも一つのロボット制御装置は、前記複数のロボットをそれぞれ制御する複数のロボット制御装置であり、
前記少なくとも一つの作業支援装置は、
複数人の作業者の操作を前記少なくとも一人の作業者の操作として用い、前記複数のロボット制御装置に前記ロボット動作指令を送信する一つの作業支援装置である、ロボット遠隔操作装置。

【請求項10】

請求項１から請求項７のうちのいずれか１項に記載のロボット遠隔操作装置であって、
前記少なくとも一つの作業支援装置は、
それぞれが、一人の作業者の操作を前記少なくとも一人の作業者の操作として用い、前記少なくとも一つのロボット制御装置に前記ロボット動作指令を送信する複数の作業支援装置であり、
前記ロボット制御装置は、
一の前記作業支援装置から送信された前記ロボット動作指令を実行している間に、別の前記作業支援装置から送信された前記ロボット動作指令を保存する、ロボット遠隔操作装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ロボットを遠隔操作するロボット遠隔操作装置に関する。

【背景技術】

【0002】

近年、生産人口の減少や熟練技能者の高齢化が進み、ものづくりができる人材が減少してきている。このため、ものづくりに参画できる人材の裾野を広げるために、在宅から遠隔地でのものづくりに参画できるしくみが必要になってきている。

【0003】

ものづくり現場では、作業者の組立てや搬送などの作業をロボットに代替させており、自動化が進められてきている。しかしながら、ロボットに所望の作業を行わせるには、作業経路における開始姿勢、中間姿勢、及び終了姿勢等のロボットの挙動が変化する場面において、位置姿勢（位置、高さ及び傾き）を定義するための教示が必要である。

【0004】

遠隔地からロボットを教示する場合、作業者は、ロボットと通信するための通信装置と、現場の状態を表示する表示装置と、ロボットを操作するためのインタフェース装置とを用いてリアルタイムにロボットを教示する。しかしながら、ネットワークの輻輳や遅延により、現場の状況をリアルタイムに確認しながら、ロボットを教示・制御できない問題がある。

【0005】

例えば、特許文献１では、作業装置が受けた遠隔操作の映像と、操作者が空間内を前進移動した場合に対象物が操作者に近づく方向に移動する動画像とを合成して得られる合成映像を提示することで、正確な遠隔操作が可能な技術を提供している。

【0006】

特許文献２に記載されたロボットは、対象物に対して作業を行うためのツールと、作業中にツール及び対象物を同時に撮影可能なカメラと、ツール及びカメラの位置及び姿勢を３次元空間内で移動可能なロボットアームと、カメラの画像を送信しロボットアームに対する動作指令を受信する作業側無線装置とを有する。そして、無線装置を経由して当該ロボットを遠隔操作する際に、対象物に対するツールの位置または姿勢の変化により画像上の形状が変化する立体マーカを設定する。このような構成によれば、操作者は、当該立体マーカの形状の画像上の変化を視認しながら操作することで、対象物に対するツールの位置及び姿勢を目視で合わせることができる。

【0007】

なお、以上のようなロボット遠隔操作装置では、遠隔地にあるロボットを操作する際に、作業者側の通信装置とロボット側の通信装置との間に通信遅延が発生する。このため、操作者が生成したコマンドでロボットが動作する際にタイムラグが発生し、操作効率が悪化するという問題がある。このような問題に対して、特許文献３では、操作者側のコンピュータでロボットの動作をシミュレートして予測し、予測結果を操作者へ提示することで、タイムラグを実質的に抑制する技術が提案されている。

【先行技術文献】

【特許文献】

【0008】

【特許文献1】特許第４３２０３０５号公報

【特許文献2】特許第６２２７９９３号公報

【特許文献3】特開２００５−１６１４９８号公報

【発明の概要】

【発明が解決しようとする課題】

【0009】

上述したように、ロボット遠隔操作装置では、作業者がネットワークを経由してロボットを遠隔操作する際に、伝送遅れによる通信遅延が発生するため、作業者が操作した時点から、当該操作のとおりにロボットが動作される時点までの間に一定時間ではないタイムラグがある。従来のロボット遠隔操作装置では、このタイムラグが大きくなった場合に、ロボットが作業者の操作に対応する作業が部分的に行われないことがあり、その結果として、作業者の操作とロボットの作業との間の整合性が取れないことがあった。

【0010】

そこで、本発明は、上記のような問題点を鑑みてなされたものであり、作業者の操作とロボットの作業との間の整合性を取ることが可能な技術を提供することを目的とする。

【課題を解決するための手段】

【0011】

本発明に係るロボット遠隔操作装置は、少なくとも一つのロボットを制御する少なくとも一つのロボット制御装置と、前記少なくとも一つのロボット制御装置と通信を行う少なくとも一つの作業支援装置とを備え、前記ロボット制御装置は、前記ロボットの状態であるロボット状態を取得する状態取得部を含み、前記作業支援装置は、少なくとも一人の作業者の操作から第１アバターに変換する第１アバター変換部と、前記操作から、前記ロボット制御装置の制御によって前記ロボットを動作させるためのロボット動作指令に変換するロボット指令変換部と、前記ロボット状態から第２アバターに変換する第２アバター変換部と、前記ロボット動作指令と前記ロボット状態とに基づいて、前記ロボット制御装置に前記ロボット動作指令を送信するタイミングを制御するタイミング制御部とを含み、前記第１アバター及び前記第２アバターを表示する表示装置をさらに備え、前記表示装置は、前記第１アバターの作業状態と前記第２アバターの作業状態との差異が閾値を超えた場合に、前記第１アバター及び前記第２アバターのいずれか一方の色を変更する。

【発明の効果】

【0012】

本発明によれば、ロボット動作指令とロボット状態とに基づいて、作業支援装置からロボット制御装置にロボット動作指令を送信するタイミングを制御する。このような構成によれば、作業者の操作とロボットの作業との間の整合性を取ることができる。

【図面の簡単な説明】

【0013】

【図1】実施の形態１に係るロボット遠隔操作装置の構成を示すブロック図である。

【図2】実施の形態１に係る初期処理の手順を示すフローチャートである。

【図3】実施の形態１に係る状態遷移図を示す図である。

【図4】実施の形態１に係る状態管理テーブルを示す図である。

【図5】実施の形態１に係る操作登録処理の手順を示すフローチャートである。

【図6】実施の形態１に係る操作登録装置の構成を示す模式図である。

【図7】実施の形態２に係るロボット遠隔操作装置の構成を示すブロック図である。

【図8】実施の形態３に係るロボット遠隔操作装置の構成を示すブロック図である。

【図9】実施の形態３に係る状態管理テーブルを示す図である。

【図10】実施の形態４に係るロボット遠隔操作装置の構成を示すブロック図である。

【図11】実施の形態５に係るロボット遠隔操作装置の構成を示すブロック図である。

【図12】実施の形態５に係る状態管理テーブルを示す図である。

【図13】実施の形態６に係るロボット遠隔操作装置の構成を示すブロック図である。

【図14】実施の形態６に係る状態管理テーブルを示す図である。

【図15】実施の形態６に係る初期処理の手順を示すフローチャートである。

【図16】実施の形態６に係る操作装置一覧テーブルを示す図である。

【図17】実施の形態７に係るロボット遠隔操作装置の構成を示すブロック図である。

【図18】実施の形態８に係るロボット遠隔操作装置の構成を示すブロック図である。

【図19】実施の形態８に係る動作表示装置の表示例を示す図である。

【図20】実施の形態８に係る動作表示装置の表示例を示す図である。

【図21】実施の形態９に係る作業差異管理テーブルを示す図である。

【図22】実施の形態９に係る動作表示装置の表示例を示す図である。

【図23】実施の形態９に係る動作表示装置の表示例を示す図である。

【発明を実施するための形態】

【0014】

＜実施の形態１＞
図１は、本発明の実施の形態１に係るロボット遠隔操作装置の全体構成を示すブロック図である。なお、後述される他の実施の形態に係るロボット遠隔操作装置のいくつかの構成要素は、図１のロボット遠隔操作装置のいくつかの構成要素と同様である。

【0015】

図１のロボット遠隔操作装置は、少なくとも一つのロボット制御装置と、少なくとも一つの作業支援装置と、表示装置である動作表示装置４とを備える。本実施の形態１では、少なくとも一つのロボット制御装置は一つのロボット制御装置２であり、少なくとも一つの作業支援装置は一つの作業支援装置３である。

【0016】

ロボット制御装置２は、少なくとも一つのロボットを制御する。本実施の形態１では、ロボット制御装置２は、一つのロボット１を制御する。図１のロボット制御装置２は、通信部２ａと、作業指示取得部２ｂと、状態取得部２ｃとを含む。

【0017】

通信部２ａは、作業支援装置３と通信する。作業指示取得部２ｂは、作業支援装置３から通信部２ａに送信されたロボット動作指令に基づいてロボットを動作させる。つまり、ロボット動作指令は、ロボット制御装置２の制御によってロボット１を動作させるための指令である。

【0018】

状態取得部２ｃは、ロボットの状態であるロボット状態を取得する。ロボット状態は、例えば、ロボット１またはロボット１に接続されたセンサで検出された値などである。通信部２ａは、状態取得部２ｃで取得されたロボット状態を作業支援装置３に送信する。

【0019】

図１の作業支援装置３は、操作検出部３ａと、第１アバター変換部である操作−アバター変換部３ｂと、ロボット指令変換部である操作−ロボット指令変換部３ｃと、第２アバター変換部であるロボット−アバター変換部３ｄと、タイミング制御部３ｅと、作業者状態遷移記憶部３ｆと、ロボット状態遷移記憶部３ｇと、状態管理テーブル記憶部３ｈと、通信部３ｉとを含む。作業支援装置３の通信部３ｉと、ロボット制御装置２の通信部２ａとの間でネットワークなどによる通信が行われることにより、作業支援装置３はロボット制御装置２と通信を行う。この通信は、有線、無線、及び、これらの組み合わせのいずれであってもよい。

【0020】

操作検出部３ａは、少なくとも一人の作業者の操作を検出する。本実施の形態１では、操作検出部３ａは、一人の作業者５の操作を検出する。

【0021】

操作−アバター変換部３ｂは、操作検出部３ａで検出された操作から、第１アバターである作業者アバターに変換する。

【0022】

操作−ロボット指令変換部３ｃは、操作検出部３ａで検出された操作から、上記ロボット動作指令に変換する。

【0023】

ロボット−アバター変換部３ｄは、通信部３ｉ及びタイミング制御部３ｅを介してロボット制御装置２から上記ロボット状態を取得する。そして、ロボット−アバター変換部３ｄは、取得したロボット状態から、第２アバターであるロボット動作アバターに変換する。

【0024】

タイミング制御部３ｅは、通信部３ｉを介してロボット制御装置２から上記ロボット状態を取得する。そして、タイミング制御部３ｅは、操作−ロボット指令変換部３ｃで得られたロボット動作指令と、ロボット制御装置２からのロボット状態とに基づいて、通信部３ｉからロボット制御装置２にロボット動作指令を送信するタイミングを制御する。

【0025】

動作表示装置４は、操作−アバター変換部３ｂで得られた作業者アバター４１と、ロボット−アバター変換部３ｄで得られたロボット動作アバター４２とを表示する。なお、動作表示装置４は、例えば、モニタ及びヘッドマウントディスプレイなどを含む。

【0026】

次に、ロボット遠隔操作装置の上記構成要素のいくつかについて詳細に説明する。

【0027】

ロボット遠隔操作装置には、作業開始前に行う初期処理と、作業を行うための作業中処理とからなる２つのフェーズが規定されている。以下、初期処理について説明した後、作業中処理について説明する。

【0028】

＜初期処理＞
図２は、作業者の行動計画を登録する初期処理の手順を示すフローチャートである。

【0029】

まずステップＳ１にて、作業者は、作業全体の行動計画を状態遷移として作成する行動計画作成処理を行う。

【0030】

図３は、作業者及びロボットの行動計画を示す状態遷移図である。この状態遷移図は、作業者及びロボットの動作を規定する図であり、図２のステップＳ１の行動計画作成処理で作成される。図３の状態遷移図として、作業者用の作業者状態遷移を示す状態遷移図と、ロボット用のロボット状態遷移を示す状態遷移図とが規定される。なお、作業者状態遷移と、ロボット状態遷移とは実質的に互いに同じである。このため、以下の説明では、作業者状態遷移及びロボット状態遷移の一方の遷移しか説明しない場合もあるが、他方の遷移の説明は一方の遷移の説明と同様である。作成された作業者状態遷移は、作業者状態遷移記憶部３ｆに記憶され、作成されたロボット状態遷移は、ロボット状態遷移記憶部３ｇに記憶される。

【0031】

図３の例では、８つの状態（（１）〜（８）の状態）と、１５つの状態遷移を示す１５の矢印とが示されている。ある状態から別の状態に遷移する状態遷移などの処理には一意のＩＤが付与される。なお、ＩＤの付与はこれに限ったものではなく、例えば、後の実施の形態で説明するように異常復帰などの処理にも一意のＩＤが付与される。遷移前の状態として規定されたＩＤに対応する操作が行われると、当該遷移前の状態から、当該ＩＤ及び当該操作に対応する遷移後の状態に遷移する。

【0032】

ここで図３の状態遷移図の処理例について説明する。処理が開始された場合、作業者状態及びロボット状態は「（１）初期状態」となる。「（１）初期状態」のときに、操作検出部３ａが、ＩＤ１に対応する操作を検出すると、ロボット状態は、「（１）初期状態」から、第１物体の把持位置までロボット１を移動させる「（２）第１物体へ移動」に遷移する。「（１）初期状態」のときに、操作検出部３ａが、ＩＤ２に対応する操作を検出すると、ロボット状態は、「（１）初期状態」から、第２物体の把持位置までロボット１を移動させる「（３）第２物体へ移動」に遷移する。

【0033】

状態遷移図の作成が完了した後、次に説明する状態管理テーブルの状態番号と遷移先番号とが登録され、全ての状態遷移に対して一意のＩＤが登録される。

【0034】

図４は、状態管理テーブルを示す図である。図４の状態管理テーブルは、ＩＤと、状態番号と、状態先番号と、作業者操作と、アバター動作と、ロボットプログラム番号と、現場状態と、タイミング制御とを含む。なお、状態管理テーブルは、状態管理テーブル記憶部３ｈに記憶される。

【0035】

ＩＤは、上述したように状態遷移に対して一意に付与される。状態番号は、遷移前のロボット状態に対して一意に付与される。状態先番号は、適切な操作が行われた場合に遷移前のロボット状態から遷移すべき遷移後のロボット状態に対して一意に付与される。なお、図２のステップＳ１では、遷移に付与される全てのＩＤについて、状態番号と、当該状態番号から遷移する可能性がある遷移先番号との関連付けが行われる。

【0036】

図４に戻って、作業者操作は、状態番号から遷移先番号へ作業者アバター４１を状態遷移させる契機となる操作であり、ＩＤに対応する操作である。なお、異なるＩＤに同じ操作が対応付けられてもよい。

【0037】

現場状態は、状態番号から遷移先番号へロボット動作アバター４２を状態遷移させる契機となる状態であり、ロボット状態と実質的に同じである。

【0038】

アバター動作は、各種アバターの動画像などの画像が登録される。例えば、図１の操作−アバター変換部３ｂは、操作検出部３ａで検出された操作を、状態管理テーブルの作業者操作から読み出し、当該作業者操作に対応するアバター動作を作業者アバター４１として読み出すことによって、操作から作業者アバター４１に変換する。例えば、ロボット−アバター変換部３ｄは、ロボット制御装置２からのロボット状態を、状態管理テーブルの現場状態から読み出し、当該現場状態に対応するアバター動作をロボット動作アバター４２として読み出すことによって、ロボット状態からロボット動作アバター４２に変換する。

【0039】

ロボットプログラム番号は、操作検出部３ａが操作を検出したときにロボット１を動作させるための番号であり、上記ロボット動作指令と実質的に同じである。例えば、図１の操作−ロボット指令変換部３ｃは、操作検出部３ａで検出された操作を、状態管理テーブルの作業者操作から読み出し、当該作業者操作に対応するロボットプログラム番号を読み出すことによって、操作からロボット動作指令であるロボットプログラム番号に変換する。

【0040】

タイミング制御は、ロボット動作指令とロボット状態とに基づいて、ロボット制御装置２にロボット動作指令を送信するタイミングを制御するか否かが設定される。タイミングを制御する場合、つまりタイミング制御を有効にする場合には「〇」が登録される。

【0041】

図２のステップＳ２にて、作業者は、図４の状態管理テーブルの作業者操作を登録する操作登録処理を行う。図５は、図２のステップＳ２の操作登録処理の手順を示すフローチャートである。この図５の処理を行うことによって、図４の状態管理テーブルの作業者操作が登録される。なお、ここでは作業者操作は、状態管理テーブルのＩＤごとに異なるものとして説明する。

【0042】

まずステップＳ１１にて、作業者は、物理的媒体を用いた操作登録装置によって現場状態を作成（規定）する。作成された現場状態は、図４の状態管理テーブルに登録される。以下、現場状態の作成について説明する。

【0043】

図６は、上記操作登録装置の構成を示す模式図である。図６の操作登録装置は、図６の操作状態取得装置６６と、図６の在荷センサ６７ａ，６７ｂ，６７ｃ，６ｄ，６７ｅとを備える。操作状態取得装置６６は、例えばカメラであり、作業者が物体を操作する状態を取得する。在荷センサ６７ａ，６７ｂ，６７ｃ，６ｄ，６７ｅは、それぞれ第１物体６２ａの図６の位置、第２物体６２ｂの図６の位置、第１場所６３ａ、第２場所６３ｂ及び第３場所６３ｃでの物体の有無を検出する。

【0044】

例えば、図４の状態管理テーブルのＩＤが０である場合の状態番号（１）は、初期状態を示す。初期状態では、在荷センサ６７ａ，６７ｂのセンサ値は、物体ありを示すＯＮとなり、在荷センサ６７ｃ，６７ｄ，６７ｅのセンサ値は、物体なしを示すＯＦＦとなる。このように、在荷センサ６７ａ〜６７ｅのセンサ値の組み合わせなどが、各状態番号に対応する実際の状態、ひいては現場状態として作成される。

【0045】

図５のステップＳ１２にて、操作検出部３ａは、図４の状態管理テーブルのＩＤに対応する作業者操作を登録する。ここで、図１の作業支援装置３の操作検出部３ａは、操作取得部３ａ１と、状態変化取得部３ａ２とを含む。

【0046】

状態変化取得部３ａ２は、在荷センサ６７ａ〜６７ｅのセンサ値に基づいて、状態を遷移する操作が行われたか否かを判定する。例えば、在荷センサ６７ａ，６７ｂ，６７ｃ，６ｄ，６７ｅのセンサ値が、順にＯＮ，ＯＮ，ＯＦＦ，ＯＦＦ，ＯＦＦである状態から、順にＯＮ，ＯＦＦ，ＯＦＦ，ＯＦＦ，ＯＦＦである状態に変化した場合を想定する。この場合、状態変化取得部３ａ２は、図４の状態管理テーブルにおける状態番号（２）から状態番号（４）に遷移する操作、つまりＩＤ４に対応する操作が行われたと判定する。

【0047】

操作取得部３ａ１は、状態変化取得部３ａ２で操作が行われたと判定された場合に操作状態取得装置６６で取得された操作状態を、作業者操作として登録する。例えば、図４の状態番号（１）から状態番号（２）に遷移する操作が行われたと状態変化取得部３ａ２で判定された場合に、操作状態取得装置６６は操作状態を取得し、操作取得部３ａ１は、操作状態取得装置６６で取得された操作状態を作業者操作の「操作１」として登録する。

【0048】

図５のステップＳ１３にて、作業支援装置３は、登録された作業者操作と、当該操作が行われた後の現場状態とを関連付ける。その後、図５の処理が終了する。この図５の動作は、遷移に付与される全てのＩＤについて行われる。

【0049】

図５の処理からなる図２のステップＳ２が終了した後、ステップＳ３にて、図４の状態管理テーブルのうち残りの項目が登録される。つまり、アバター動作の登録と、ロボットプログラム番号と、タイミング制御とが関連付けて登録される。その後、図２の初期処理が完了する。

【0050】

＜作業中処理＞
次に作業中処理の一例について説明する。最初にロボット遠隔操作装置を起動すると、作業者及びロボットのそれぞれの状態は、図３の「（１）初期状態」となる。

【0051】

操作検出部３ａが、ＩＤ１に対応する操作１を検出すると、作業支援装置３の操作−ロボット指令変換部３ｃは、図４の状態管理テーブルを参照し、操作１に対応するロボットプログラム番号２１をロボット制御装置２に送信する。これにより、ロボットプログラム番号２１の制御がロボット制御装置２に依頼される。

【0052】

作業支援装置３は、操作−アバター変換部３ｂによって操作１から変換されたアバター動作２を動作表示装置４に送信し、動作表示装置４はアバター動作２の画像を作業者アバター４１として表示する。以上の動作が終了したとき、作業者状態は、図３の「（１）初期状態」から「（２）第１物体へ移動」に遷移する。

【0053】

ロボット制御装置２は、ロボットプログラム番号２１の実行を完了した場合に、「状態２完了」というロボット状態を作業支援装置３に送信する。作業支援装置３は、ロボット−アバター変換部３ｄによって「状態２完了」というロボット状態から変換されたアバター動作２を動作表示装置４に送信し、動作表示装置４はアバター動作２の画像をロボット動作アバター４２として表示する。以上の動作が終了したとき、ロボット状態は、図３の「（１）初期状態」から「（２）第１物体へ移動」に遷移する。

【0054】

その後、作業者が、ＩＤ４に対応する操作４、ＩＤ７に対応する操作７、ＩＤ１３に対応する操作１３を順に行うと、上記と同様の動作が行われ、作業者状態及びロボット状態は、図３の「（４）第１物体を把持」、「（６）第１場所へ移動・配置」、「（１）初期状態」に順に遷移する。

【0055】

ここで、作業支援装置３とロボット制御装置２との間の通信遅延により、作業者の操作が先行し、ロボット制御装置２の制御が追従しないことがある。このため、例えば通信遅延が大きくなった場合には、ロボットが作業者の操作に対応する作業が部分的に行われないことがあり、その結果として、作業者の操作とロボットの作業との間の整合性が取れないことがある。

【0056】

これに対して本実施の形態１では、状態管理テーブルにてタイミング制御が有効にされている場合に、タイミング制御部３ｅは、ロボット制御装置２が有効に設定されたレコードのロボットプログラム番号の作業が完了するまで、次のロボットプログラム番号の送信を停止し、次のロボットプログラム番号を保存する。そして、タイミング制御部３ｅは、ロボット制御装置２が有効に設定されたレコードのロボットプログラム番号の作業が完了した場合に、次のロボットプログラム番号をロボット制御装置２に送信する。

【0057】

以上のような本実施の形態１に係るロボット遠隔操作装置によれば、作業者５は、遠隔地のロボット１の作業状態を把握しながら操作を行うことができる。また、本実施の形態１によれば、タイミング制御部３ｅにより、作業者５の状態とロボット１の状態との間に乖離が発生した場合に、作業支援装置３からロボット制御装置２へのロボット動作指令を待たせることができるので、作業者５の操作とロボット１の作業との間の整合性を取ることができる。

【0058】

＜実施の形態２＞
図７は、本発明の実施の形態２に係るロボット遠隔操作装置の全体構成を示すブロック図である。以下、本実施の形態２に係る構成要素のうち、上述の構成要素と同じまたは類似する構成要素については同じ参照符号を付し、異なる構成要素について主に説明する。図７のロボット遠隔操作装置の構成は、図１の構成に、通信異常検出部３ｊ，２ｄを追加した構成と同様である。

【0059】

作業支援装置３に含まれる通信異常検出部３ｊは、ロボット制御装置２へ一定時間間隔で、ロボットプログラム番号などのデータを送信する。ロボット制御装置２に含まれる通信異常検出部２ｄは、受信したデータについての応答を作業支援装置３に返送する。通信異常検出部３ｊは、上記一定時間間隔で通信異常検出部２ｄからの応答を受信しなかった場合に、通信異常が発生したと検出する。つまり、通信異常検出部３ｊは、ロボット制御装置２作業支援装置３との間のデータの送受信ができない異常である通信異常を検出する。

【0060】

本実施の形態２では、作業支援装置３は、通信異常検出部３ｊで通信異常が検出された場合に、ロボット制御装置２に送信しているロボットプログラム番号の状態番号を、現在の状態番号として保存する。つまり、作業支援装置３は、通信異常検出部３ｊで通信異常が検出された場合に、ロボット制御装置２に送信すべきロボット動作指令を保存する。

【0061】

また本実施の形態２では、作業支援装置３は、通信異常検出部３ｊで通信異常が検出された場合に、ロボット制御装置２へのロボットプログラム番号などのデータの送信を停止する。

【0062】

ロボット制御装置２は、上記一定時間間隔で作業支援装置３からのデータを受信しなかった場合、つまり通信異常検出部３ｊで通信異常が検出された場合に、ロボット１の現在位置を保存してロボット１を停止する。

【0063】

通信異常検出部３ｊで通信異常が検出された場合に、動作表示装置４は、作業支援装置３の制御によって作業者アバター４１及びロボット動作アバター４２に異常を表示する。この場合に、作業支援装置３の操作検出部３ａは、作業者からの操作の検出を停止するように構成されてもよい。

【0064】

以上のような本実施の形態２に係るロボット制御装置によれば、作業者５は、保存された現在の状態番号のロボットプログラム番号を確認することにより、通信異常時にロボット制御装置２に送信されていたロボットプログラム番号を確認することができる。また、通信異常検出部３ｊで通信異常が検出された場合に、動作表示装置４が異常を表示するので、作業者５は通信異常の発生を知ることができる。また、通信異常検出部３ｊで通信異常が検出された場合に、ロボット１を停止させるので、ロボット１によって想定外の作業が行われることを抑制することができる。

【0065】

＜実施の形態３＞
図８は、本発明の実施の形態３に係るロボット遠隔操作装置の全体構成を示すブロック図である。以下、本実施の形態３に係る構成要素のうち、上述の構成要素と同じまたは類似する構成要素については同じ参照符号を付し、異なる構成要素について主に説明する。図８のロボット遠隔操作装置の構成は、図７の構成に、異常復帰部３ｋを追加した構成と同様である。

【0066】

図９は、本実施の形態３に係る状態管理テーブルを示す図である。図９の状態管理テーブルでは、図４の状態管理テーブルにＩＤ１６が追加されている。ＩＤ１６に対応する状態番号は「異常復帰」である。ＩＤ１６に対応する操作１６は、ロボット制御装置２と作業支援装置３との間のデータの送受信が異常から正常に移行した場合に行われる操作である。

【0067】

作業者５は、通信異常が取り除かれた場合に、図９の状態管理テーブルの状態番号「異常復帰」に登録された操作１６を行う。操作検出部３ａで操作１６が検出された場合、異常復帰部３ｋは、つまりロボット制御装置２と作業支援装置３との間のデータの送受信が異常から正常に移行した場合に、異常復帰部３ｋは、実施の形態２において保存されたロボット動作指令と、ロボット制御装置２から取得したロボットプログラム番号とに基づいてロボット１への遠隔操作を復帰する。

【0068】

例えば、操作検出部３ａで操作１６が検出された場合に、異常復帰部３ｋは、ロボット制御装置２にて最後に実行したロボットプログラム番号を、通信部３ｉなどを介してロボット制御装置２から取得する。ロボット制御装置２から取得したロボットプログラム番号が、保存された現在の状態番号のロボットプログラム番号と同じである場合には、作業支援装置３の状態とロボット制御装置２の状態とが一致しているため、異常復帰部３ｋは、作業者からの作業指示の受付を再開する。また、動作表示装置４における異常表示が削除される。

【0069】

ロボット制御装置２から取得したロボットプログラム番号が、保存された現在の状態番号のロボットプログラム番号と異なる場合には、作業支援装置３のロボットプログラム番号が、ロボット制御装置２のロボットプログラム番号と一致するように、異常復帰部３ｋは、作業支援装置３のロボット状態を変更する。そして、異常復帰部３ｋは、変更後のロボット状態に対応し、作業者アバター４１として表示すべきアバター動作を動作表示装置４へ送信し、作業者からの作業指示の受付を再開する。また、動作表示装置４における異常表示が削除される。

【0070】

なお、異常復帰部３ｋは、ロボット制御装置２からロボットプログラム番号を取得できない場合には、実施の形態２において保存されたロボット動作指令に基づいてロボット１への遠隔操作を復帰してもよい。

【0071】

以上のような本実施の形態３に係るロボット遠隔操作装置によれば、保存されたロボット動作指令に基づいてロボット１への遠隔操作を復帰することができる。

【0072】

＜実施の形態４＞
図１０は、本発明の実施の形態４に係るロボット遠隔操作装置の全体構成を示すブロック図である。以下、本実施の形態４に係る構成要素のうち、上述の構成要素と同じまたは類似する構成要素については同じ参照符号を付し、異なる構成要素について主に説明する。図１０のロボット遠隔操作装置の構成は、図８の構成に、作業異常検出部２ｅを追加した構成と同様である。

【0073】

作業異常検出部２ｅは、例えば、ロボット１の干渉、ロボット１によるワークの把持の失敗、ロボット１によるワークの落下など、ロボット１が行う作業の異常である作業異常を、センサなどによって検出する。

【0074】

作業異常検出部２ｅは、作業異常を検出した場合にロボット１を停止し、実行中のロボットプログラム番号と、センサなどによって検出された作業異常とを、通信部２ａなどを介して作業支援装置３へ送信する。

【0075】

作業支援装置３が、ロボット制御装置２から実行中のロボットプログラム番号及び作業異常を受信した場合、つまり、作業異常検出部２ｅで作業異常が検出された場合に、動作表示装置４は、作業支援装置３の制御によってロボット動作アバター４２に異常を表示する。この場合に、作業支援装置３の操作検出部３ａは、作業者からの操作の検出を停止するように構成されてもよい。

【0076】

作業異常が取り除かれた場合、作業を再開できる状態までロボット１やワークが、作業者の手作業またはロボット制御装置２の制御によって移動される。当該移動後のロボット１やワークの状態に対応するロボットプログラム番号が、次に実行すべきロボットプログラム番号としてロボット制御装置２に設定される。

【0077】

作業異常検出部２ｅは、ロボットプログラムの再開コマンドと、ロボット制御装置２に設定されたロボットプログラム番号とを作業支援装置３へ送信する。異常復帰部３ｋは、ロボットプログラムの再開コマンドとロボットプログラム番号とを通信部３ｉなどを介して受信した場合、つまり、ロボット１が行う作業が異常から正常に移行した場合に、ロボット１への遠隔操作を復帰する。ロボット１への遠隔操作を復帰の例として、異常復帰部３ｋは、受信したロボットプログラム番号に該当する現在の状態番号を取得し、ロボット制御装置２へロボットプログラムの実行コマンドを送信する。また、ロボット１が行う作業が異常から正常に移行した場合に、動作表示装置４は、作業支援装置３の制御によって、状態番号に対応する作業者アバター４１を表示する。この際、動作表示装置４における異常表示が削除される。

【0078】

ロボット制御装置２は、ロボットプログラムの実行コマンドを作業支援装置３から受信すると、ロボット制御装置２に設定されたロボットプログラム番号を実行し、当該実行を完了したときにロボット状態を作業支援装置３に送信する。作業支援装置３は、当該ロボット状態から変換されたアバター動作を動作表示装置４に送信し、動作表示装置４は当該アバター動作の画像をロボット動作アバター４２として表示する。以上の動作が終了したとき、ロボット状態は次の状態に遷移する。

【0079】

以上のような本実施の形態４に係るロボット遠隔操作装置によれば、作業者５は、現場の作業状態の異常、つまりロボット１の作業状態の異常を知ることができる。また、ロボット１やワークの状態に基づいて作業を再開することができる。

【0080】

＜実施の形態５＞
図１１は、本発明の実施の形態５に係るロボット遠隔操作装置の全体構成を示すブロック図である。以下、本実施の形態５に係る構成要素のうち、上述の構成要素と同じまたは類似する構成要素については同じ参照符号を付し、異なる構成要素について主に説明する。

【0081】

本実施の形態５では、少なくとも一つのロボットは、第１ロボット１１及び第２ロボット１２を含む複数のロボットであり、少なくとも一つのロボット制御装置は、第１ロボット制御装置２１及び第２ロボット制御装置２２を含む複数のロボット制御装置である。第１ロボット制御装置２１の構成は、実施の形態１で説明したロボット制御装置２と同様であり、第１ロボット１１を制御する。第２ロボット制御装置２２の構成は、実施の形態１で説明したロボット制御装置２と同様であり、第２ロボット１２を制御する。

【0082】

少なくとも一つの作業支援装置は、一つの作業支援装置３であり、本実施の形態５に係る作業支援装置３は、一人の作業者５の操作に基づいて、第１及び第２ロボット制御装置２１，２２にロボット動作指令を送信する。

【0083】

動作表示装置４は、作業支援装置３の制御によって、第１ロボット１１に対応するロボット動作アバターを、第１ロボット動作アバター４２ａとして表示する。同様に、動作表示装置４は、作業支援装置３の制御によって、第２ロボット１２に対応するロボット動作アバターを、第２ロボット動作アバター４２ｂとして表示する。

【0084】

図１２は、本実施の形態５に係る状態管理テーブルを示す図である。図１２の状態管理テーブルでは、図９の状態管理テーブルに、第１及び第２ロボット制御装置２１，２２のいずれかを示すロボット制御装置番号が追加されている。

【0085】

初期処理では、図２のステップＳ２の操作登録処理において、図１２の全てのＩＤに対応するロボット制御装置番号に、複数のロボット制御装置（第１及び第２ロボット制御装置２１，２２）のうち、作業者５が操作する装置が登録される。なお、ロボット制御装置番号の「１」は、第１ロボット制御装置２１を示し、ロボット制御装置番号の「２」は、第２ロボット制御装置２２を示す。

【0086】

作業中処理では、操作検出部３ａが操作を検出すると、作業支援装置３の操作−ロボット指令変換部３ｃは、図１２の状態管理テーブルを参照する。そして、操作−ロボット指令変換部３ｃは、当該操作に対応するロボットプログラム番号を、第１及び第２ロボット制御装置２１，２２のうち当該操作に対応する一方のロボット制御装置に送信する。例えば、操作検出部３ａが操作１を検出すると、作業支援装置３の操作−ロボット指令変換部３ｃは、図１２の状態管理テーブルを参照し、当該操作１に対応するロボットプログラム番号２１を、当該操作１に対応する第１ロボット制御装置２１に送信する。これにより、操作検出部３ａで検出された操作に対応するロボットプログラム番号の制御が、第１及び第２ロボット制御装置２１，２２のうち当該操作に対応する一方のロボット制御装置に依頼される。

【0087】

以上のような本実施の形態５に係るロボット遠隔操作装置によれば、一人の作業者５の操作によって、複数のロボット（第１及び第２ロボット１１，１２）を用いた作業を完遂することができる。

【0088】

＜実施の形態６＞
図１３は、本発明の実施の形態６に係るロボット遠隔操作装置の全体構成を示すブロック図である。以下、本実施の形態６に係る構成要素のうち、上述の構成要素と同じまたは類似する構成要素については同じ参照符号を付し、異なる構成要素について主に説明する。

【0089】

少なくとも一つのロボットは、実施の形態５と同様に、第１ロボット１１及び第２ロボット１２を含む複数のロボットであり、少なくとも一つのロボット制御装置は、実施の形態５と同様に、第１ロボット制御装置２１及び第２ロボット制御装置２２を含む複数のロボット制御装置である。少なくとも一つの作業支援装置は、一つの作業支援装置３であり、本実施の形態６に係る作業支援装置３は、第１作業者５１及び第２作業者５２を含む複数人の作業者の操作に基づいて、第１及び第２ロボット制御装置２１，２２にロボット動作指令を送信する。

【0090】

動作表示装置４は、実施の形態５と同様に、第１及び第２ロボット動作アバター４２ａ，４２ｂを表示する。また本実施の形態６に係る動作表示装置４は、作業支援装置３の制御によって、第１作業者５１に対応する作業者アバターを、第１作業者アバター４１ａとして表示する。同様に、動作表示装置４は、作業支援装置３の制御によって、第２作業者５２に対応する作業者アバターを、第２作業者アバター４１ｂとして表示する。

【0091】

図１４は、本実施の形態６に係る状態管理テーブルを示す図である。図１４の状態管理テーブルでは、図１２の状態管理テーブルに、操作装置番号が追加されている。

【0092】

図１５は、本実施の形態６に係る初期処理の手順を示すフローチャートである。図１５の処理は、図２の処理にステップＳ２１を追加した処理と同様である。

【0093】

ロボット遠隔操作装置は、複数の操作装置を有しており、作業者ごとに異なる操作装置が使用される。なお、複数の操作装置は、例えば複数の操作検出部３ａに含まれる。各操作装置は特定の操作者のみが使用できるものとする。

【0094】

図２のステップＳ２１では、操作装置ごとに操作可能な作業が割り当てられる作業者登録処理が行われる。次に、このステップＳ２１の作業者登録処理の一例について説明する。

【0095】

第１作業者５１は、第１操作装置を接続し、ステップＳ２１の作業者登録処理を実行する。これを実行すると、図１６のような操作装置一覧テーブルが動作表示装置４に表示される。なお、操作装置一覧テーブルは、作業支援装置３に接続された操作装置を示すテーブルである。

【0096】

第１作業者５１は、動作表示装置４に表示された操作装置一覧テーブルをみて、第１操作装置に対応する装置番号が「２３」であることを確認し、図１４の状態管理テーブルの第１作業者５１が操作する全ての処理（ＩＤ０〜ＩＤ１６）の操作装置番号に、「２３」という装置番号を登録する。

【0097】

同様に第２作業者５２は、第２操作装置を接続し、ステップＳ２１の作業者登録処理を実行する。これを実行すると、図１６のような操作装置一覧テーブルが動作表示装置４に表示される。

【0098】

第２作業者５２は、動作表示装置４に表示された操作装置一覧テーブルをみて、第２操作装置に対応する装置番号が「６７」であることを確認し、図１４の状態管理テーブルの第２作業者５２が操作する全ての処理（ＩＤ０〜ＩＤ２０）の操作装置番号に、「６７」という装置番号を登録する。

【0099】

次に作業中処理の一例について説明する。操作検出部３ａの第１操作装置が、操作を第１作業者５１から検出すると、作業支援装置３は、第１操作装置で検出した操作に関わらず、図１６の操作装置一覧テーブルの操作装置番号から、第１操作装置に対応する装置番号を取得する。次に、作業支援装置３は、図１４の状態管理テーブルを参照し、検出された操作に対応する操作装置番号に、取得された装置番号が含まれているかを判定する。そして、作業支援装置３は、当該操作装置番号に当該装置番号が含まれていると判定した場合に、当該操作に対応するロボットプログラム番号を、当該操作に対応するロボット制御装置に送信する。

【0100】

具体的には、作業者及びロボットのそれぞれの状態が、図３の「（１）初期状態」であり、かつ、第１操作装置が、ＩＤ１に対応する操作１を第１作業者５１から検出すると、作業支援装置３は、図１６の操作装置一覧テーブルの操作装置番号から、第１操作装置に対応する装置番号として「２３」を取得する。そして、作業支援装置３は、第１操作装置が検出した操作１に対応する操作装置番号に、取得された装置番号「２３」が含まれていると判定し、操作１に対応するロボットプログラム番号２１を、操作１に対応する第１ロボット制御装置２１に送信する。

【0101】

動作表示装置４は、作業支援装置３の制御によって、第１作業者５１に対応する作業者アバターを、第１作業者アバター４１ａとして表示する。状態管理テーブルの操作装置番号に装置番号「２３」が含まれていない場合には、動作表示装置４は、作業支援装置３の制御によって、第１作業者アバター４１ａについて操作不可エラーを表示する。

【0102】

なお、以上では、第１操作装置が操作を検出した場合について説明したが、第２操作装置が操作を検出した場合も同様である。

【0103】

以上のような本実施の形態６に係るロボット遠隔操作装置によれば、作業者ごとに操作可能な作業を登録することができる。

【0104】

＜実施の形態７＞
図１７は、本発明の実施の形態７に係るロボット遠隔操作装置の全体構成を示すブロック図である。以下、本実施の形態７に係る構成要素のうち、上述の構成要素と同じまたは類似する構成要素については同じ参照符号を付し、異なる構成要素について主に説明する。

【0105】

少なくとも一つのロボットは、実施の形態５と同様に、第１ロボット１１及び第２ロボット１２を含む複数のロボットであり、少なくとも一つのロボット制御装置は、実施の形態５と同様に、第１ロボット制御装置２１及び第２ロボット制御装置２２を含む複数のロボット制御装置である。

【0106】

本実施の形態７では、少なくとも一つの作業支援装置は、第１作業支援装置３１及び第２作業支援装置３２を含む複数の作業支援装置である。第１作業支援装置３１は、実施の形態５と同様に、第１作業者５１の操作を用い、第１及び第２ロボット制御装置２１，２２にロボット動作指令を送信する。第２作業支援装置３２は、実施の形態５と同様に、第２作業者５２の操作を用い、第１及び第２ロボット制御装置２１，２２にロボット動作指令を送信する。なお、第２作業支援装置３２は、動作表示装置４と接続されているが、図面の簡略化のため、図１７では、それらの間の接続線の図示は省略している。

【0107】

第１及び第２ロボット制御装置２１，２２のそれぞれは、第１及び第２作業支援装置３１，３２のいずれか一方の装置から送信されたロボット動作指令を実行している間に、他方の装置から送信されたロボット動作指令を保存する。本実施の形態７では、第１及び第２ロボット制御装置２１，２２のそれぞれは、プログラムキュー２ｆと、タイミング制御部２ｇと備える。

【0108】

プログラムキュー２ｆは、実行すべきプログラムを実行順に配列された状態で保存する。タイミング制御部２ｇは、ロボットがロボットプログラムを実行していない待機状態と、ロボットがロボットプログラムを実行している実行状態とによって、ロボットのプログラム状態を管理する。

【0109】

作業指示取得部２ｂは、ロボット動作指令であるロボットプログラム番号を受信したときに、タイミング制御部２ｇにロボットのプログラム状態を問い合わせる。問い合わせた結果が待機状態であれば、作業指示取得部２ｂは、タイミング制御部２ｇのプログラム状態を待機状態から実行状態へ遷移させ、受信したロボットプログラム番号をプログラムキュー２ｆに格納する。問い合わせた結果が実行状態であれば、作業指示取得部２ｂは、受信したロボットプログラム番号をプログラムキュー２ｆに格納する。

【0110】

タイミング制御部２ｇで管理するプログラム状態が実行状態に遷移している場合、作業指示取得部２ｂは、プログラムキュー２ｆに格納されている先頭のロボットプログラム番号を削除し、当該先頭のロボットプログラム番号に基づいてロボットを動作させる。

【0111】

ロボットプログラム番号の実行が完了した場合、作業指示取得部２ｂは、当該ロボットプログラム番号の実行が完了したことを第１及び第２作業支援装置３１，３２へ送信し、かつ、プログラムキュー２ｆにロボットプログラム番号が格納されているかを確認する。

【0112】

プログラムキュー２ｆにロボットプログラム番号が格納されている場合には、作業指示取得部２ｂは、プログラムキュー２ｆに格納されている先頭のロボットプログラム番号を削除し、当該先頭のロボットプログラム番号に基づいてロボットを動作させる。プログラムキュー２ｆにロボットプログラム番号が格納されていない場合には、作業指示取得部２ｂは、タイミング制御部２ｇのプログラム状態を実行状態から待機状態へ遷移させる。

【0113】

以上のような本実施の形態７に係るロボット遠隔操作装置によれば、第１及び第２ロボット制御装置２１，２２のそれぞれは、一の作業支援装置から送信されたロボット動作指令を実行している間に、別の作業支援装置から送信されたロボット動作指令を保存する。このような構成によれば、複数の遠隔地（第１及び第２作業支援装置３１，３２）にて操作を行うことによって、ロボット制御装置２を用いた作業を適切に行うことができる。

【0114】

＜実施の形態８＞
図１８は、本発明の実施の形態８に係るロボット遠隔操作装置の全体構成を示すブロック図である。以下、本実施の形態８に係る構成要素のうち、上述の構成要素と同じまたは類似する構成要素については同じ参照符号を付し、異なる構成要素について主に説明する。図１８のロボット遠隔操作装置の構成は、図１の構成に、差異検出部３ｌを追加した構成と同様である。

【0115】

差異検出部３ｌは、作業者アバター４１の作業状態である作業者状態遷移回数と、ロボット動作アバター４２の作業状態であるロボット状態遷移回数との差異が閾値を超えたか否かを判定する。そして、差異検出部３ｌは、差異が閾値を超えている場合には、ロボット動作アバター４２に薄い赤色を付す指示をロボット−アバター変換部３ｄに行い、差異が閾値を超えていない場合には、ロボット動作アバター４２に薄い赤色を付す指示をロボット−アバター変換部３ｄに行わない。

【0116】

図１９及び図２０は、本実施の形態８に係る動作表示装置４の表示例を示す図である。図１９には、作業者状態遷移回数とロボット状態遷移回数との差異が閾値以下である場合の表示例が示されている。図２０には、作業者状態遷移回数とロボット状態遷移回数との差異が閾値を超えた場合の表示例が示されている。図２０では、色が変更されたことがドットハッチングで示されている。このように本実施の形態８では、動作表示装置４は、作業者アバター４１の作業状態とロボット動作アバター４２の作業状態との差異が閾値を超えた場合には、ロボット動作アバター４２の色を変更し、当該差異が閾値を超えない場合には、ロボット動作アバター４２を通常表示する。

【0117】

なお、図１９及び図２０の表示例では、差異が閾値を超えた場合にロボット動作アバター４２の色が変更されているが、ロボット動作アバター４２の色ではなく作業者アバター４１の色が変更されてもよい。また、図１９及び図２０に示すように、動作表示装置４は、作業者状態遷移回数とロボット状態遷移回数との差異がない場合には作業者アバター４１とロボット動作アバター４２とを重ねて表示し、作業者状態遷移回数とロボット状態遷移回数との差異がある場合には作業者アバター４１とロボット動作アバター４２とを離間して表示してもよい。また、上記閾値は作業者によって所望の値に適宜設定にされてもよいし、上記色は作業者によって所望の色に適宜設定にされてもよい。

【0118】

以上のような本実施の形態８に係るロボット遠隔操作装置によれば、作業者は、自身の作業状態と、ロボット１の作業状態との差異が大きいか否かを容易に知ることができる。

【0119】

＜実施の形態９＞
本発明の実施の形態９に係るロボット遠隔操作装置の全体構成は、実施の形態８に係るロボット遠隔操作装置の全体構成（図１８）と同様である。以下、本実施の形態９に係る構成要素のうち、上述の構成要素と同じまたは類似する構成要素については同じ参照符号を付し、異なる構成要素について主に説明する。

【0120】

差異検出部３ｌは、作業者アバター４１の作業状態である作業者状態遷移回数と、ロボット動作アバター４２の作業状態であるロボット状態遷移回数との差異である工程差の数を求める。また、差異検出部３ｌは、予め定められた複数の段階のうち、作業者状態遷移回数とロボット状態遷移回数との差異が属する段階に基づいて、ロボット動作アバター４２の色を変更する指示をロボット−アバター変換部３ｄに行う。

【0121】

図２１は、段階を規定する閾値と、対応する色とを管理する作業差異管理テーブルを示す図である。この作業差異管理テーブルは、差異検出部３１に含まれる。例えば、上記差異が、閾値「２」よりも大きく閾値「４」よりも小さい段階に属する場合、差異検出部３１は、ロボット動作アバター４２に薄い赤色を付す指示をロボット−アバター変換部３ｄに行う。また例えば、上記差異が、閾値「４」よりも大きく閾値「５」よりも小さい段階に属する場合、差異検出部３１は、ロボット動作アバター４２に赤色を付す指示をロボット−アバター変換部３ｄに行う。上記差異が、閾値「５」よりも大きい段階に属する場合、差異検出部３１は、ロボット動作アバター４２に濃い赤色を付す指示をロボット−アバター変換部３ｄに行う。なお、上記閾値は作業者によって所望の値に適宜設定にされてもよいし、上記色は作業者によって所望の色に適宜設定にされてもよい。

【0122】

図２２及び図２３は、本実施の形態９に係る動作表示装置４の表示例を示す図である。図２２には、作業者状態遷移回数とロボット状態遷移回数との差異が３である場合の表示例が示されている。この場合、ロボット動作アバター４２には薄い赤色が付される。図２３には、作業者状態遷移回数とロボット状態遷移回数との差異が６である場合の表示例が示されている。この場合、ロボット動作アバター４２には濃い赤色が付される。

【0123】

このように本実施の形態９に係る動作表示装置４は、予め定められた複数の段階のうち、作業者状態遷移回数とロボット状態遷移回数との差異が属する段階に基づいて、ロボット動作アバター４２の色を変更する。また、動作表示装置４は、図２２及び図２３に示すように、差異検出部３１で求めた工程差の数を枠４３に表示する。

【0124】

なお、図２２及び図２３の表示例では、差異が閾値を超えた場合にロボット動作アバター４２の色が変更されているが、ロボット動作アバター４２の色ではなく作業者アバター４１の色が変更されてもよい。

【0125】

以上のような本実施の形態９に係るロボット遠隔操作装置によれば、作業者は、自身の作業状態と、ロボット１の作業状態との差異がどれぐらいかを容易に知ることができる。

【0126】

なお、本発明は、その発明の範囲内において、各実施の形態を自由に組み合わせたり、各実施の形態を適宜、変形、省略したりすることが可能である。

【符号の説明】

【0127】

１ ロボット、２ ロボット制御装置、２ｃ 状態取得部、２ｅ 作業異常検出部、３ 作業支援装置、３ｂ 操作−アバター変換部、３ｃ 操作−ロボット指令変換部、３ｄ ロボット−アバター変換部、３ｅ タイミング制御部、３ｊ 通信異常検出部、３ｋ 異常復帰部、４ 動作表示装置、５ 作業者、１１ 第１ロボット、１２ 第２ロボット、２１ 第１ロボット制御装置、２２ 第２ロボット制御装置、３１ 第１作業支援装置、３２ 第２作業支援装置、４１ 作業者アバター、４２ ロボット動作アバター、５１ 第１作業者、５２ 第２作業者。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】