特許 7503660 ロボットシステム及びロボット作業方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-06-12

(45)【発行日】2024-06-20

(54)【発明の名称】ロボットシステム及びロボット作業方法

(51)【国際特許分類】

   B25J 13/00 20060101AFI20240613BHJP

   B25J 5/00 20060101ALI20240613BHJP

【ＦＩ】

B25J13/00 Z

B25J5/00 A

【請求項の数】 8

(21)【出願番号】P 2022571554

(86)(22)【出願日】2021-12-22

(86)【国際出願番号】 JP2021047585

(87)【国際公開番号】W WO2022138724

(87)【国際公開日】2022-06-30

【審査請求日】2023-04-13

(31)【優先権主張番号】P 2020215817

(32)【優先日】2020-12-24

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000000974

【氏名又は名称】川崎重工業株式会社

(74)【代理人】

【識別番号】110000556

【氏名又は名称】弁理士法人有古特許事務所

(72)【発明者】

【氏名】掃部 雅幸

(72)【発明者】

【氏名】岡 朋暉

【審査官】神山 貴行

(56)【参考文献】

【文献】特開２００５－２０８８５７（ＪＰ，Ａ）

【文献】特開２０１９－０３０９２５（ＪＰ，Ａ）

【文献】特開２０１０－０９４７７７（ＪＰ，Ａ）

【文献】特開２０１０－１２８９３５（ＪＰ，Ａ）

【文献】特開２０１９－１８８５７６（ＪＰ，Ａ）

【文献】特開２００４－２４３４９９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ２５Ｊ １／００－２１／０２

(57)【特許請求の範囲】

【請求項1】

１以上の関節を有するロボットアームを含む自走ロボットと、
操作者による操作を受け付ける、前記自走ロボットを操作するための操作部と、
前記操作者により視認される表示器と、
前記自走ロボットに搭載され、当該自走ロボットの周囲の状況を撮像する周囲カメラと、
処理回路と、を備え、
前記処理回路は、
前記ロボットアームの姿勢を含む前記自走ロボットの姿勢を時々刻々模擬する自走ロボット模擬画像を生成し、
前記周囲カメラで撮像された周囲状況画像と、生成された前記自走ロボット模擬画像とを含み、前記表示器に表示される複合画像を生成するように構成され、
前記処理回路は、前記自走ロボットから眺めた一人称視点の複合画像を生成する場合、
前記自走ロボット模擬画像において前記自走ロボットにおける前記ロボットアームの前記周囲状況画像に写っていない部分の少なくとも一部を模擬するアーム模擬部分が、前記周囲状況画像に写った前記ロボットアームの一部に繋がるように前記自走ロボット模擬画像を生成し、且つ、
前記生成された自走ロボット模擬画像の前記アーム模擬部分が、前記周囲状況画像に写った前記ロボットアームの一部に繋がるように、前記一人称視点の複合画像を生成するように構成されている、ロボットシステム。

【請求項2】

前記ロボットアームは、前記１以上の関節をそれぞれ駆動する１以上のモータと、前記１以上のモータの回転角をそれぞれ検知する１以上の回転角検知部とを備え、
前記処理回路は、少なくとも、前記１以上の回転角検知部で検知された回転角に基づいて、前記自走ロボット模擬画像を生成するように構成されている、請求項１に記載のロボットシステム。

【請求項3】

前記処理回路は、前記自走ロボットの予定移動経路が前記周囲状況画像に重ねて示された前記複合画像を生成するように構成されている、請求項１又は２に記載のロボットシステム。

【請求項4】

前記処理回路は、前記自走ロボットの前記ロボットアームの姿勢の変化を示すアーム動画が、前記周囲状況画像または前記自走ロボット模擬画像に重ねて示された前記複合画像を生成するように構成されている、請求項１乃至３のいずれかに記載のロボットシステム。

【請求項5】

前記処理回路は、前記周囲カメラで撮像された前記周囲状況画像及び前記自走ロボットの姿勢に基づいて、前記ロボットアームが前記自走ロボットの周囲の物体と干渉するか否かを判定し、干渉すると判定した場合に、干渉警告信号を出力する、請求項１乃至４のいずれかに記載のロボットシステム。

【請求項6】

前記表示器は、出力される前記干渉警告信号に応じて、干渉警告を表す画像を表示するように構成されている、請求項５に記載のロボットシステム。

【請求項7】

前記表示器とは別個に配置され、出力される前記干渉警告信号に応じて、干渉警告を報知する干渉警告報知器をさらに備える、請求項５に記載のロボットシステム。

【請求項8】

ロボットアームを備える自走ロボットを操作することと、
前記ロボットアームの姿勢を含む前記自走ロボットの姿勢を時々刻々模擬する自走ロボット模擬画像を生成することと、
前記自走ロボットに、当該自走ロボットの周囲の状況を撮像する周囲カメラを設けることと、
前記周囲カメラで撮像された周囲状況画像と前記自走ロボット模擬画像とを含む複合画像を生成することと、
前記複合画像を表示することと、を含む、ロボット作業方法であって、
前記自走ロボットから眺めた一人称視点の複合画像を生成する場合、
前記自走ロボット模擬画像において前記自走ロボットにおける前記ロボットアームの前記周囲状況画像に写っていない部分の少なくとも一部を模擬するアーム模擬部分が、前記周囲状況画像に写った前記ロボットアームの一部に繋がるように前記自走ロボット模擬画像を生成し、且つ、
前記生成された自走ロボット模擬画像の前記アーム模擬部分が、前記周囲状況画像に写った前記ロボットアームの一部に繋がるように、前記一人称視点の複合画像を生成する、ロボット作業方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、ロボットシステム及びロボット作業方法に関する。

【背景技術】

【0002】

従来、自律移動可能なロボットの周囲を撮像し、その撮像された画像を操作者が見ながら移動させることが知られている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１３－０３１８９７号公開特許公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

自律走行可能なロボット（以下、自走ロボットと呼ぶ）の中には、ロボットアームを備えるものがある、そのような自走ロボットを走行させる場合、ロボットアームが周囲の物体と干渉しやすい。上記従来の技術では、そのことに全く言及していない。

【0005】

本開示は上記のような課題を解決するためになされたもので、ロボットアームを備える自走ロボットが周囲の物体と干渉することを回避可能なロボットシステム及びロボット作業方法を提供することを目的としている。

【課題を解決するための手段】

【0006】

上記目的を達成するために、本開示のある形態（aspect）に係る、ロボットシステムは、１以上の関節を有するロボットアームを含む自走ロボットと、操作者による操作を受け付ける、前記自走ロボットを操作するための操作部と、前記操作者により視認される表示器と、前記自走ロボットに搭載され、当該自走ロボットの周囲の状況を撮像する周囲カメラと、処理回路と、を備え、前記処理回路は、前記ロボットアームの姿勢を含む前記自走ロボットの姿勢を時々刻々模擬する自走ロボット模擬画像を生成し、前記周囲カメラで撮像された周囲状況画像と、生成された前記自走ロボット模擬画像とを含み、前記表示器に表示される複合画像を生成するように構成される。ここで、「時々刻々模擬する」とは、模擬画像生成部で自走ロボット模擬画像が連続する動画が生成され、当該自走ロボット模擬画像が当該動画の瞬時画像であることを明確にするための文言であり、それ以外に特段の意味はない。

【0007】

また、本開示の他の形態（aspect）に係るロボット作業方法は、ロボットアームを備える自走ロボットを操作することと、前記ロボットアームの姿勢を含む前記自走ロボットの姿勢を時々刻々模擬する自走ロボット模擬画像を生成することと、前記自走ロボットに、当該自走ロボットの周囲の状況を撮像する周囲カメラを設けることと、前記周囲カメラで撮像された周囲状況画像と前記自走ロボット模擬画像とを含む複合画像を生成することと、前記複合画像を表示することと、を含む。

【発明の効果】

【0008】

本開示は、ロボットアームを備える自走ロボットが周囲の物体と干渉することを回避可能なロボットシステム及びロボット作業方法を提供できるという効果を奏する。

【図面の簡単な説明】

【0009】

【図1】図１は、本開示の実施形態に係るロボットシステムの構成の一例を示す模式図である。

【図2】図２は、図１の操作ユニットの構成の一例を示す平面図である。

【図3】図３は、図１の周囲カメラの撮像範囲を模式的に示す図である。

【図4】図４は、図３のロボットシステムの制御系統の構成を示す機能ブロックである。

【図5】図５は、周囲状況画像と自走ロボット模擬画像との複合画像を、自走ロボットを俯瞰する視点から眺めた画像として示す俯瞰視点図である。

【図6】図６は、周囲状況画像と自走ロボット模擬画像との複合画像を、自走ロボットを上方の視点から眺めた画像として示す上視点図である。

【図7】図７は、周囲状況画像と自走ロボット模擬画像との複合画像を、自走ロボットから眺めた画像として示す一人称視点図である。

【図8】図８は、自走ロボットの予定移動経路が周囲状況画像に重ねて示された複合画像を示す図である。

【図9】図９は、自走ロボットのロボットアームの姿勢の変化を示すアーム動画が自走ロボット模擬画像及び周囲状況画像に重ねて示された複合画像を示す図である。

【図10A】図１０Ａは、自走ロボットのロボットアームの姿勢の変化を示すアーム動画の一コマを示す図である。

【図10B】図１０Ｂは、自走ロボットのロボットアームの姿勢の変化を示すアーム動画の一コマを示す図である。

【図10C】図１０Ｃは、自走ロボットのロボットアームの姿勢の変化を示すアーム動画の一コマを示す図である。

【図10D】図１０Ｄは、自走ロボットのロボットアームの姿勢の変化を示すアーム動画の一コマを示す図である。

【発明を実施するための形態】

【0010】

以下、本開示の実施形態を、図面を参照しながら説明する。なお、以下では全ての図面を通じて同一又は相当する要素には同一の参照符号を付して、その重複する説明を省略する。また、以下の図は、本開示を説明するための図であるので、本開示に無関係な要素が省略される場合、誇張等のために寸法が正確でない場合、簡略化される場合、複数の図において互いに対応する要素の形態が一致しない場合等がある。また、本開示は、以下の実施形態に限定されない。

【0011】

（実施形態）
図１は、本開示の実施形態に係るロボットシステム１００の構成の一例を示す模式図である。

【0012】

［ハードウェアの構成］
図１を参照すると、実施形態に係るロボットシステム１００は、ロボットアーム１２１Ａ，１２１Ｂを備える自走ロボット１と、自走ロボット１を操作するための操作部２１（図２の２１Ａ，２１Ｂ）を含む操作ユニット２と、ロボットアーム１２１Ａ，１２１Ｂの姿勢を含む自走ロボット１の姿勢を時々刻々模擬する自走ロボット模擬画像１６０（図５～図７参照）を生成する模擬画像生成部１１５（図４）と、自走ロボット１に設けられ、当該自走ロボット１の周囲の状況を撮像する周囲カメラ１７と、周囲カメラ１７で撮像された周囲状況画像５０（図５～図７参照）及び模擬画像生成部１１５で生成された自走ロボット模擬画像１６０含む複合画像５０１，６０１，７０１（図５～図７参照）を生成する複合画像生成部１１６（図４参照）と、複合画像生成部１１６で生成された複合画像５０１，６０１，７０１を表示する上記操作ユニット２の表示部２３（図２参照）と、を備える。以下、この構成を詳しく説明する。

【0013】

本実施形態のロボットシステム１００は、自律走行作可能な走行部１１と走行部１１に設けられたアーム部１３とを備える自走ロボット１と、操作ユニット（コンソール）２と、を備える。

【0014】

自走ロボット１と操作ユニット２とは、例えば、データ通信ネットワーク３を介して接続される。自走ロボット１と操作ユニット２とが、直接、有線又は無線で接続されてもよい。

【0015】

以下、ロボットシステム１００におけるこれらの要素を詳しく説明する。

【0016】

＜ロボットシステム１００の用途＞
ロボットシステム１００の用途は特に限定されない。以下では、自走ロボット１が、個人の邸宅内で介護を行う場合を例示する。

【0017】

＜データ通信ネットワーク３＞
データ通信ネットワーク３は、データ通信可能なネットワークであればよい。データ通信ネットワーク３として、インターネット、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）等が例示される。

【0018】

＜自走ロボット１＞
図１を参照すると、自走ロボット１は、基本的に、自律走行可能な走行部１１と当該走行部１１に設けられたアーム部（ロボットアーム）１３とを含むように構成されておればよい。

【0019】

自走ロボット１は、ここでは、走行部１１と、昇降部１２と、アーム部１３とを備える。

【0020】

走行部１１は、例えば、台車で構成される（以下では、台車１１と表記する）。台車１１は、基部に前輪及び後輪からなる車輪１１ａを備える。前輪及び後輪の一方が操舵輪であり、前輪及び後輪の少なくとも一方が駆動輪である。また、台車の前部に昇降部１２が設けられ、台車１１の後部に、物品を置くための置き棚１１ｂが設けられている。

【0021】

台車１１は、さらに、バッテリ及びモータを備えていて、台車１１は、モータがバッテリを電源として車輪１１ａを駆動することによって自律走行する。また、昇降部１２、アーム部１３、並びに、後述するロボット側表示部１４、ロボット側マイクロフォン１５、及びロボット側放音部１６は、このバッテリを電源として動作する。

【0022】

昇降部１２は、基部１２２と、基部１２２に対して昇降する昇降軸１２３と、を備える。昇降軸１２３は、例えば上下方向に延在している。

【0023】

昇降軸１２３の上部に、第１ロボットアーム１２１Ａ及び第２ロボットアーム１２１Ｂの各基端部が、昇降軸１２３の中心軸の周りに回動自在に設けられている。第２ロボットアーム１２１Ｂは、第１ロボットアーム１２１Ａの上側に設けられている。第１ロボットアーム１２１Ａ及び第２ロボットアーム１２１Ｂはそれぞれの回転位置が入れ替わることができ、左右の区別はない。

【0024】

第１ロボットアーム１２１Ａ及び第２ロボットアーム１２１Ｂは、それぞれ、多関節ロボットアームで構成され、それぞれ、先端にハンド１２４Ａ及びハンド１２４Ｂを備える。

【0025】

ハンド１２４Ａ及びハンド１２４Ｂは、特に限定されないが、ここでは、対象物を把持することが可能な形状に形成されている。

【0026】

昇降軸１２３の前方には、周囲カメラ１７が設けられている。周囲カメラ１７は、この他、台車１１の右側部（参照符号１７で図示）、後部（図１に示さず）、及び左側部（図１に示さず）に設けられている。これらの４つの周囲カメラは、互いに同じ高さ位置に設けられている。４つの周囲カメラ１７は、操作者Ｐが、自走ロボット１の周囲の状況（環境）を確認するためのデバイスである。周囲カメラ１７については、後で詳しく説明する。

【0027】

第２ロボットアーム１２１Ｂの先端部には、手先カメラ１８が設けられている。手先カメラ１８は、一対のハンド１２４Ａ，１２４Ｂが把持しようとする対象物を、操作者Ｐが確認するためのデバイスである。

【0028】

昇降軸１２３の上端部には、支持部材１２５を介して、ロボット側表示部１４が取り付けられている。ロボット側表示部１４は、例えば、液晶ディスプレイで構成される。

【0029】

ロボット側表示部１４の適所には、ロボット側マイクロフォン１５、ロボット側放音部１６、及び主カメラ１９が設けられている。

【0030】

ロボット側表示部１４、ロボット側マイクロフォン１５、ロボット側放音部１６、及び主カメラ１９は、自走ロボット１が、人（以下、対話者という）と対話するためのデバイス群である。ロボット側表示部１４は、対話者に伝達しようとする情報（画像情報、文字情報等）を表示する。ロボット側マイクロフォン１５は、対話者の音声を取得する。ロボット側放音部１６は、例えば、スピーカで構成され、対話者に伝達しようとする音声情報を放音する。主カメラ１９は、対話者を撮像する。

【0031】

台車１１は、さらに、演算回路モジュールＣｍ１及びロボット側通信部１１３を備える。演算回路モジュールＣｍ１は、プロセッサＰｒ１とメモリＭｅ１とを備える。演算回路モジュールＣｍ１は、後述するように、ロボット制御部（コントローラ）１１２、模擬画像生成部１１５、複合画像生成部１１６、干渉警告部１１７（図４参照）を構成する。模擬画像生成部１１５、複合画像生成部１１６および干渉警告部１１７の一部または全部は、後述の演算回路モジュールＣｍ２により構成されてもよい。

【0032】

＜操作ユニット２＞
図２は、図１の操作ユニット２の構成の一例を示す平面図である。操作ユニット２は、自走ロボット１を操作できるものであれば、特に限定されない。操作ユニット２は、図２に示すように、左右の操作部２１Ａ，２１Ｂが、一体化されていてもよいし、個別に形成された複数の操作部で構成されてもよい。操作部は、操作者が操作できるものであれば、特に限定されない。操作部（操作具、操作子）として、キー、ジョイスティック、ハンドル、タッチパネル等が例示される。

【0033】

また、操作ユニット２は、図２に示すように、操作部２１Ａ，２１Ｂと、操作側表示部２３、操作側マイクロフォン２５、及び操作側放音部２６と、が一体化されていてもよいし、操作部２１Ａ，２１Ｂと、操作側表示部２３、操作側マイクロフォン２５、及び操作側放音部２６とが、別個に形成されていてもよい。

【0034】

図２を参照すると、操作ユニット２は、本体２０を備える。本体２０は、扁平な直方体状の箱に形成されている。

【0035】

本体２０の左端部及び右端部には、それぞれ、左手操作部２１Ａ及び右手操作部２１Ｂが設けられている。これらの左手操作部２１Ａ及び右手操作部２１Ｂが、操作部２１を構成する。左手操作部２１Ａ及び右手操作部２１Ｂには、それぞれ、所定の一群の操作キー２９が配置されている。この所定の一群の操作キー２９は、例えば、ゲーム機の周知の操作キー群と同様に構成される。従って、この所定の一群の操作キー２９の説明を省略する。操作者Ｐが、これらの一群の操作キー２９を両手で、適宜、操作すると、その操作に応じて、自走ロボット１の走行部、昇降部、及びアーム部１３が動作する。つまり、操作部２１は、自走ロボット１の走行部、昇降部、及びアーム部１３を操作するためのキー操作信号を出力するように構成されている。

【0036】

本体２０の上面の中央部に、操作者Ｐにより視認される操作側表示部２３が設けられている。操作側表示部２３は、例えば、タッチスクリーンである。ただし、操作側表示部２３は、画像を表示するものであればよく、タッチスクリーンでなくてもよい。例えば、操作側表示部２３は、操作ユニット２とは別個に配置された液晶ディスプレイでもよいし、ヘッドマウントディスプレイであってもよい。操作側表示部２３は、操作者Ｐが自走ロボット１を操作するために必要な情報（画像情報、文字情報等）を表示する。例えば、操作側表示部２３には、主カメラ１９で撮像された主画像、手先カメラ１８で撮像された手先画像が、適宜、表示される。また、操作側表示部２３には、後述する複合画像５０１，６０１，７０１（図５～図７参照）が表示される。

【0037】

本体２０の上面の適所には、操作側マイクロフォン２５及び操作側放音部２６が設けられている。操作側マイクロフォン２５は、対話者の音声を取得する。操作側放音部２６は、例えば、スピーカで構成され、ロボット側マイクロフォン１５で取得された対話者の音声を放音する。操作側放音部２６は、さらに、ヘッドフォン２６ａを備える。本体２０の適所には、音声出力端子が設けられており、この音声出力端子にヘッドフォン２６ａの接続コード３０を接続すると、操作側放音部２６の出力部がスピーカからヘッドフォン２６ａに切り替わり、ヘッドフォン２６ａからロボット側マイクロフォン１５で取得された対話者の音声等が放音される。

【0038】

本体２０の内部には、演算回路モジュールＣｍ２及び操作側通信部２８が設けられている。演算回路モジュールＣｍ２は、プロセッサＰｒ２とメモリＭｅ２とを備える。演算回路モジュールＣｍ２は、後述するように、操作制御部２７（図４参照）を構成する。

【0039】

＜周囲カメラ１７＞
図３は、図１の周囲カメラ１７の撮像範囲を模式的に示す図である。

【0040】

図３を参照すると、４つの周囲カメラ１７が、自走ロボット１の前部、右側部、後部、及び後部に、それぞれ、設けられている。これらの４つの周囲カメラ１７は、平面視（上面視）において、自走ロボット１の所定の中心軸Ｃに対し、前後及び左右に対称に設けられている。また、これらの４つの周囲カメラ１７は、自走ロボット１の高さ方向の中程に互いに同じ高さ位置に設けられている。

【0041】

各周囲カメラ１７は、広角カメラ、ここでは、画角が１８０度のカメラで構成される。従って、４つの周囲カメラ１７の撮像範囲１５１Ａ～１５１Ｄは、各周囲カメラ１７の横方向の両端部において、互いに重なる。

【0042】

周囲カメラ１７は、ここでは、３Ｄカメラ（３次元カメラ）で構成される。３Ｄカメラは、横及び縦（Ｘ及びＹ）の２次元情報だけではなく、奥行き（Ｚ）の情報をも取得できるカメラである。３Ｄカメラとして、例えば、複数のカメラを用いて視差を利用するステレオ方式のカメラ、光の飛行時間を利用するＴｏＦ方式のカメラ、及び、パターン化された光を利用する構造化照明方式のカメラが例示される。これらのカメラは周知であるので、詳しい説明を省略する。

【0043】

ここでは、これらの４つの周囲カメラ１７で撮像した画像を組み合わせて画像処理することによって、周囲を、俯瞰する視点から眺めた画像（以下、俯瞰視点画像と呼ぶ。図５参照。）、周囲を、上方の視点から眺めた画像（以下、上視点画像と呼ぶ。図６参照）、及び周囲を、自走ロボット１から眺めた画像（以下、一人称視点画像と呼ぶ。図７参照）の３種類の画像を取得する。周囲カメラ１７の撮像画像は奥行情報を含むので、このような画像処理を行うことが可能である。

【0044】

これらの画像は、後述するように、自走ロボット模擬画像と組み合わせて複合画像に合成される。

【0045】

［制御系統の構成］
図４は、図１のロボットシステム１００の制御系統の構成を示す機能ブロックである。

【0046】

以下、ロボットシステム１００の制御系統の構成を「基本的な構成」、「複合画像に関する構成」、及び「干渉警告に関する構成」に分けて説明する。

【0047】

＜基本的な構成＞
｛操作ユニット２側の構成｝
図４を参照すると、操作ユニット２は、操作部２１、操作側表示部２３、操作側マイクロフォン２５、操作側放音部２６、操作制御部２７、及び操作側通信部２８を備える。

【0048】

操作部２１は、操作者Ｐの一群の操作キー２９の操作に応じたキー操作信号を、操作制御部２７に出力する。

【0049】

操作側表示部２３は、操作制御部２７から入力される画像表示信号に従って、画像を表示する。また、操作側表示部２３は、後で詳しく説明する複合画像指定情報、予定移動経路情報、及びアーム動画情報を出力する。さらに、操作側表示部２３は、表示画像切替情報を出力する。

【0050】

操作側マイクロフォン２５は、操作者Ｐの音声を取得し、これを操作者音声信号として、操作制御部２７に出力する。

【0051】

操作側放音部（干渉警告報知部）２６は、操作制御部２７から入力される対話者音声信号及び干渉警告音声信号に従って、それぞれ、対話者音声及び干渉警告音声を放音する。操作側放音部２６は、干渉警告報知器に対応する。

【0052】

操作制御部２７は、操作部２１から入力されるキー操作信号に応じた操作信号を生成し、これを操作側通信部２８に出力する。この操作信号は、例えば、予め設定された「一群の操作キー２９のキー操作信号の組み合わせ」に対する「自走ロボットの走行部の動作、昇降部の動作、アーム部の動作」の割り当て情報に基づいて生成される。

【0053】

また、操作制御部２７は、操作側マイクロフォン２５から入力される操作者音声信号を、操作側通信部２８に出力する。また、操作制御部２７は、操作側表示部２３から入力される複合画像指定情報、予定移動経路情報、及びアーム動画情報を操作側通信部２８に出力する。

【0054】

一方、操作制御部２７は、操作側通信部２８から入力される複合画像信号、手先画像信号、及び主画像信号に基づいて、適宜、複合画像、手先画像、及び主画像の表示信号を生成し、これらを操作側表示部２３に出力する。この際、操作制御部２７は、操作側表示部２３から入力される表示切替情報に応じて、複合画像、手先画像、及び主画像の表示信号を切り替える。

【0055】

また、操作制御部２７は、操作側通信部２８から入力される干渉警告信号に基づいて、干渉警告画像信号を操作側表示部２３に出力し、且つ、前記干渉警告信号に基づいて干渉警告音声信号を生成し、これを操作側マイクロフォン２５に出力する。

【0056】

また、操作制御部２７は、操作側通信部２８から入力される対話者音声信号を操作側放音部２６に出力する。

【0057】

操作側通信部２８は、データ通信可能な通信器で構成される。操作側通信部２８は、操作制御部２７から入力される操作信号、操作者音声信号、及び複合画像指定情報、予定移動経路情報、及びアーム動画情報を、それぞれ、通信データ（パケット）に変換して、ロボット側通信部１１３に送信する。

【0058】

また、操作側通信部２８は、ロボット側通信部１１３から複合画像信号、手先画像信号、主画像信号、干渉警告信号、及び対話者音声信号の通信データを受信し、これらを、それぞれ、複合画像信号、手先画像信号、主画像信号、干渉警告信号、及び対話者音声信号に戻して操作制御部２７に出力する。

【0059】

これらの通信は、ここでは、データ通信ネットワーク３を介して、行われる。

【0060】

ここで、操作制御部２７は、プロセッサＰｒ２とメモリＭｅ２とを有する演算回路モジュールＣｍ２で構成される。操作制御部２７は、この演算回路モジュールＣｍ２において、メモリＭｅ２に格納された制御プログラムをプロセッサＰｒ２が実行することによって実現される機能ブロックである。この演算回路モジュールＣｍ２は、具体的には、例えば、マイクロコントローラ、ＭＰＵ、ＦＰＧＡ（Field Programmable Gate Array）、ＰＬＣ（Programmable Logic Controller）等で構成される。これらは、集中制御を行う単独の演算回路モジュールで構成されてもよく、分散制御を行う複数の演算回路モジュールで構成されてもよい。

【0061】

｛自走ロボット１側の構成｝
自走ロボット１は、走行部１１、昇降部１２、アーム部１３、ロボット側表示部１４、ロボット側マイクロフォン１５、ロボット側放音部１６、周囲カメラ１７、手先カメラ１８、主カメラ１９、ロボット制御部１１２、ロボット側通信部１１３、模擬画像生成部１１５、複合画像生成部１１６、及び干渉警告部１１７を備える。

【0062】

ロボット側通信部１１３は、データ通信可能な通信器で構成される。ロボット側通信部１１３は、操作側通信部２８から、操作信号、操作者音声信号、及び複合画像指定情報、予定移動経路情報、及びアーム動画情報の通信データを受信し、これらを、操作信号、操作者音声信号、及び複合画像指定情報、予定移動経路情報、及びアーム動画情報に戻して、これらをロボット制御部１１２に出力する。

【0063】

また、ロボット側通信部１１３は、ロボット制御部１１２から入力される複合画像信号、手先画像信号、主画像信号、干渉警告信号、及び対話者音声信号を通信データ（パケット）に変換し、これらを操作側通信部２８に送信する。

【0064】

ロボット制御部１１２は、ロボット側通信部１１３から入力される操作信号を、走行部１１、昇降部１２、及びアーム部１３に出力する。

【0065】

また、ロボット制御部１１２は、ロボット側通信部１１３から入力される複合画像指定情報、予定移動経路情報、及びアーム動画情報を複合画像生成部１１６に出力する。

【0066】

また、ロボット制御部１１２は、適宜、画像表示信号を生成して、これをロボット側表示部１４に出力する。

【0067】

また、ロボット制御部１１２は、ロボット側通信部１１３から入力される操作者音声信号をロボット側放音部１６に出力する。なお、この場合、ロボット制御部１１２は、例えば、ロボット側表示部１４に、所定の作業現場に応じた制服を着用した人物画像（例えば、イラスト画像）を表示させ、操作者音声信号を、当該人物に適合する音声（例えば、当該従業員の性別に対応し、且つ、ソフトな音声）の信号に変換してもよい。

【0068】

また、ロボット制御部１１２は、複合画像生成部１１６から入力される複合画像信号、手先カメラ１８から入力される手先画像信号、及び主カメラ１９から入力される主画像信号を、ロボット側通信部１１３に出力する。

【0069】

走行部１１、昇降部１２、及びアーム部１３は、ロボット制御部１１２から入力される操作信号に従って動作する。

【0070】

ロボット側表示部１４は、ロボット制御部１１２から入力される画像表示信号に従って、画像を表示する。

【0071】

ロボット側マイクロフォン１５は、対話者（例えば、顧客）の音声を取得し、これを対話者音声信号として、ロボット制御部１１２に出力する。

【0072】

ロボット側放音部１６は、ロボット制御部１１２から入力される操作者音声信号に従って、音声を放音する。ロボット側放音部１６は、例えば、スピーカで構成される。

【0073】

周囲カメラ１７は、自走ロボット１の周囲の状況（環境）を撮像して、これを周囲状況画像として、複合画像生成部１１６及び干渉警告部１１７に出力する。

【0074】

手先カメラ１８は、第２ロボットアーム１２１Ｂの手先の環境を撮像して、これを手先画像として、ロボット制御部１１２に出力する。第２ロボットアーム１２１Ｂの手先の環境として、ハンド１２４Ｂが把持しようとする対象物等が例示される。

【0075】

主カメラ１９は、立っている人の視野に相当する視野を撮像して、これを、主画像としてロボット制御部１１２に出力する。自走ロボット１が対話者と対面している場合には、この主画像に対話者の画像が存在する。

【0076】

ここで、ロボット制御部１１２、模擬画像生成部１１５、複合画像生成部１１６、及び干渉警告部１１７は、プロセッサＰｒ１とメモリＭｅ１とを有する演算回路モジュールＣｍ１で構成される。プロセッサＰｒ１は、処理回路の一例である。模擬画像生成部１１５、複合画像生成部１１６、及び干渉警告部１１７は、それぞれ、模擬画像生成回路、複合画像生成回路、及び干渉警告回路とも称し得る。ロボット制御部１１２、模擬画像生成部１１５、複合画像生成部１１６、及び干渉警告部１１７は、この演算回路モジュールＣｍ１において、メモリＭｅ１に格納された制御プログラムをプロセッサＰｒ１が実行することによって実現される機能ブロックである。この演算回路モジュールＣｍ１は、具体的には、例えば、マイクロコントローラ、ＭＰＵ、ＦＰＧＡ（Field Programmable Gate Array）、ＰＬＣ（Programmable Logic Controller）等で構成される。これらは、集中制御を行う単独の演算回路モジュールで構成されてもよく、分散制御を行う複数の演算回路モジュールで構成されてもよい。

【0077】

ここで、本明細書で開示する要素の機能は、開示された機能を実行するよう構成又はプログラムされた汎用プロセッサ、専用プロセッサ、集積回路、ASIC（Application Specific Integrated Circuits）、従来の回路、及び/又は、それらの組み合わせ、を含む回路又は処理回路を使用して実行できる。プロセッサは、トランジスタやその他の回路を含むため、処理回路又は回路と見なされる。本開示において、「ユニット」又は「部」は、列挙された機能を実行するハードウェアであるか、又は、列挙された機能を実行するようにプログラムされたハードウェアである。ハードウェアは、本明細書に開示されているハードウェアであってもよいし、あるいは、列挙された機能を実行するようにプログラム又は構成されているその他の既知のハードウェアであってもよい。ハードウェアが回路の一種と考えられるプロセッサである場合、「ユニット」又は「部」は、ハードウェアとソフトウェアの組み合わせであり、ソフトウェアは、ハードウェア及び/又はプロセッサの構成に使用される。

【0078】

＜複合画像に関する構成＞
複合画像に関する構成を、以下、構成要素毎に順に説明する。

【0079】

｛模擬画像生成部１１５｝
図１及び図４を参照すると、自走ロボット１の第１及び第２ロボットアーム１２１Ａ，１２１Ｂは、各関節をモータＭＡ（図４参照）によって駆動され、姿勢が変化する。各関節には、このモータＭＡの回転角を検知する回転角検知部ＥＡ（図４参照）が設けられている。この回転角検知部ＥＡは、例えば、エンコーダで構成される。従って、各関節のモータＭＡの回転角を利用して、第１及び第２ロボットアーム１２１Ａ，１２１Ｂの姿勢をリアルタイムで取得することができる。

【0080】

模擬画像生成部１１５は、第１及び第２ロボットアーム１２１Ａ，１２１Ｂの各関節の回転角検知部ＥＡから出力される回転角に基づいて、第１及び第２ロボットアーム１２１Ａ，１２１Ｂの姿勢を時々刻々模擬するアーム部画像を生成する。

【0081】

自走ロボット１の昇降部１２には、昇降軸１２３を昇降させるモータＭＬ（図４参照）の回転角を検知する回転角検知部ＥＬ（図４参照）が設けられている。この回転角検知部ＥＬは、例えば、エンコーダで構成される。従って、このモータＭＬの回転角を利用して、昇降部１２の姿勢をリアルタイムで取得することができる。模擬画像生成部１１５は、この回転角検知部ＥＬから出力される回転角に基づいて、昇降部１２の姿勢を時々刻々模擬する昇降部画像を生成する。

【0082】

そして、模擬画像生成部１１５は、上記アーム画像と上記昇降部画像を合成することによって、第１及び第２ロボットアーム１２１Ａ，１２１Ｂの姿勢を含む自走ロボット１の姿勢を時々刻々模擬する自走ロボット模擬画像１６０（図５乃至図７参照）を生成する。そして、この自走ロボット模擬画像１６０を複合画像生成部１１６に出力する。自走ロボット模擬画像１６０の生成には、例えば、自走ロボット１のＣＡＤデータが用いられる。自走ロボット模擬画像１６０は、自走ロボット１の姿勢の明確性を大きく損なわない限度で、簡略化してもよい。

【0083】

具体的には、模擬画像生成部１１５は、複合画像生成部１１６から入力される複合画像指定情報に従って、自走ロボット１を俯瞰する視点から眺めた自走ロボット模擬画像１６０と、自走ロボット１を上方から眺めた自走ロボット模擬画像１６０と、自走ロボット１から眺めた周囲状況画像５０の周縁部（ここでは、上端部の左端部及び右端部）に配置される、後述するアーム模擬部分１６０ａからなる自走ロボット模擬画像１６０との３種類の自走ロボット模擬画像のいずれかを生成する。

【0084】

｛複合画像生成部１１６｝
複合画像生成部１１６は、上述のように、４つの周囲カメラ１７から入力される撮像画像を、組み合わせて画像処理することによって、俯瞰視点画像、上視点画像、及び一人称視点画像の３種類の画像を生成する。そして、これらを、模擬画像生成部１１５から入力される自走ロボット模擬画像と組み合わせて複合画像に合成する。

【0085】

この場合、自走ロボット模擬画像は３次元の情報を含むので、俯瞰視点画像、上視点画像、及び一人称視点画像に合わせて、自走ロボット模擬画像を、正確にこれらの３種類の視点の画像に変換することが可能である。

【0086】

図５は、周囲状況画像５０と自走ロボット模擬画像１６０との複合画像５０１を、自走ロボットを俯瞰する視点から眺めた画像として示す俯瞰視点図である。図６は、周囲状況画像５０と自走ロボット模擬画像１６０との複合画像６０１を、自走ロボットを上方の視点から眺めた画像として示す上視点図である。図７は、周囲状況画像５０と自走ロボット模擬画像１６０との複合画像７０１を、自走ロボットから眺めた画像として示す一人称視点図である。図５～図７は、例えば、自走ロボット１が、個人の邸宅内を介護のために移動する様子を示している。

【0087】

図５を参照すると、この俯瞰視点の複合画像５０１は、自走ロボット１を俯瞰する視点から眺めた周囲状況画像５０の手前に、自走ロボット１を俯瞰する視点から眺めた自走ロボット模擬画像１６０が配置されている。周囲状況画像５０は、広角の周囲カメラ１７で撮像されているため、歪んでいる。

【0088】

図６を参照すると、この上視点の複合画像６０１は、自走ロボット１を上方から眺めた周囲状況画像５０の手前に、自走ロボット１を上方から眺めた自走ロボット模擬画像１６０が配置されている。

【0089】

図７を参照すると、この一人称視点の複合画像７０１は、自走ロボット１から眺めた周囲状況画像５０の周縁部（ここでは、上端部の左端部及び右端部）に、自走ロボット１のロボットアーム１２１Ａ，１２１Ｂの一部を模擬するアーム模擬部分１６０ａが自走ロボット模擬画像１６０として配置されている。具体的には、周囲状況画像５０の上端部の左端部及び右端部にロボットアーム１２１Ａ，１２１Ｂの先端部５０ａが写っている。アーム模擬部分１６０ａは、その先端部が周囲状況画像５０に写ったロボットアーム１２１Ａ，１２１Ｂの先端部５０ａに繋がるように示されている。

【0090】

なお、ここでは、周囲カメラ１７が、ロボットアーム１２１Ａ，１２１Ｂの下方且つ前方に配置されているため、ロボットアーム１２１Ａ，１２１Ｂの先端部以外の部分は、周囲状況画像には写らない。そこで、上述のように、自走ロボット模擬画像１６０のアーム模擬部分１６０ａが、周囲状況画像５０に写ったロボットアーム１２１Ａ，１２１Ｂの先端部５０ａに繋がるように、周囲状況画像５０の上端部の左端部及び右端部に配置されている。この場合、自走ロボット模擬画像１６０におけるロボットアームの基端部の模擬部分（周囲カメラ１７の背後に存在する）を示そうとすると、それを周囲状況画像５０の中央部に示すことになり、肝心の周囲状況画像５０の中央部が示されないことになる。そのため、自走ロボット模擬画像１６０におけるロボットアームの模擬部分は、ロボットアームの基端部に対応する部分を示さずに、周囲状況画像５０の上端部の左端部及び右端部に分離して示されており、これにより、周囲状況画像５０の中央部を示すことが可能になっている。なお、自走ロボット模擬画像１６０におけるロボットアームの模擬部分を大胆に模式化（簡略化）して、例えば、ロボットアームの基端部に対応する部分を周囲画像５０の上側又は下側に配置するようにして、自走ロボット模擬画像１６０を生成してもよい。

【0091】

複合画像生成部１１６は、上記合成によって、これらの３種類の複合画像５０１，６０１，７０１を生成する。具体的には、複合画像生成部１１６は、ロボット制御部１１２から複合画像指定情報が入力されると、この複合画像指定情報を模擬画像生成部１１５に出力するとともに、３種類の複合画像５０１，６０１，７０１のうちの、指定された複合画像を生成し、これをロボット制御部１１２に出力する。

【0092】

＜自走ロボット１の予定移動経路８０２に関する構成＞
図８は、自走ロボット１の予定移動経路８０２が周囲状況画像５０に重ねて示された複合画像を示す図である。

【0093】

図８を参照すると、複合画像８０１では、自走ロボット１の予定移動経路８０２が周囲状況画像５０に重ねて示されている。この予定移動経路８０２は、自走ロボット模擬画像１６０から目標位置まで延びるように示される。

【0094】

複合画像生成部１１６は、ロボット制御部１１２から予定移動経路情報を受け取ると、自走ロボット１の予定移動経路８０２を周囲状況画像５０に重ねて示す。この場合、複合画像生成部１１６は、例えば、予定移動経路情報に示された自走ロボット１の目標位置と自走ロボット１の現在位置とに基づいて、予定移動経路８０２を生成する。なお、自走ロボット１の現在位置は、例えば、自走ロボット１の走行部を駆動するモータの回転角から取得する。

【0095】

また、複合画像生成部１１６は、ロボット制御部１１２が受け取る操作信号に基づいて、予定移動経路８０２を生成してもよい。この場合、操作信号における自走ロボット１の移動（走行）目標値（指令値）が自走ロボット１の目標位置とされる。また、予定移動経路情報は、自走ロボット１の移動目標位置を含まない。なお、図８は、俯瞰視点の複合画像において、予定移動経路８０２を示しているが、これと同様に、上視点又は一人称視点の複合画像において、予定移動経路８０２を示すことができる。

【0096】

＜アーム動画に関する構成＞
図９は、自走ロボット１のロボットアーム１２１Ａ，１２１Ｂの姿勢の変化を示すアーム動画８０３が自走ロボット模擬画像１６０及び周囲状況画像５０に重ねて示された複合画像９０１を示す図である。図１０Ａ乃至図１０Ｄは、それぞれ、自走ロボット１のロボットアーム１２１の姿勢の変化を示すアーム動画８０３の一コマを示す図である。図１０Ａ乃至図１０Ｄにおいて、ロボットアーム１２１Ａ，１２１Ｂは、簡略化されて示されている。Ｕ字状のケーブルの図示も省略されている。アーム動画８０３におけるロボットアームは、実際のロボットアーム１２１Ａ，１２１Ｂに忠実に示されてもよく、もっと、簡略化されてもよい。

【0097】

図９を参照すると、複合画像生成部１１６は、ロボット制御部１１２からアーム動画情報を受け取ると、アーム動画８０３を自走ロボット模擬画像１６０及び周囲状況画像５０に重ねて示す。なお、アーム動画８０３を自走ロボット模擬画像１６０のみ又は周囲状況画像５０のみに重ねて示してもよい。このアーム動画８０３は、図１０Ａ乃至図１０Ｄに示すように、ロボットアーム１２１Ａ，１２１Ｂが変化する様子を示す。

【0098】

この場合、複合画像生成部１１６は、例えば、アーム動画情報に示されたロボットアーム１２１Ａ，１２１Ｂの目標位置（姿勢）とロボットアーム１２１Ａ，１２１Ｂの現在の位置（姿勢）とに基づいて、アーム動画８０３を生成する。なお、自走ロボット１の現在位置は、上述の、第１及び第２ロボットアーム１２１Ａ，１２１Ｂの各関節の回転角検知部ＥＡから出力される回転角から取得する。

【0099】

また、複合画像生成部１１６は、ロボット制御部１１２が受け取る操作信号に基づいて、予定移動経路８０２を生成してもよい。この場合、操作信号におけるロボットアーム１２１Ａ，１２１Ｂの位置指令値がロボットアーム１２１Ａ，１２１Ｂの目標位置とされる。また、アーム動画情報は、ロボットアーム１２１Ａ，１２１Ｂの目標位置を含まない。なお、図９は、上視点の複合画像において、アーム動画８０３を示しているが、これと同様に、俯瞰視点又は一人称視点の複合画像において、アーム動画８０３を示すことができる。

【0100】

＜干渉警告に関する構成＞
干渉警告部１１７は、周囲カメラ１７から入力される周囲状況画像と自走ロボット１の姿勢とに基づいて、干渉警告信号を生成し、これをロボット制御部１１２に出力する。

【0101】

周囲状況画像は、３次元の情報を含む。干渉警告部１１７は、まず、周囲状況画像から自走ロボット１の両側方向及び進行方向に存在する物体の３次元の輪郭（以下、単に物体という）を、画像処理によって、抽出する。次いで、干渉警告部１１７は、抽出した物体と自走ロボット１との距離を、周囲状況画像の奥行き（深度）情報を利用して取得する。次いで、干渉警告部１１７は、例えば、抽出した物体の自走ロボット１との距離及び方角から、自走ロボット１が、当該物体と干渉するか否かを判定する。干渉警告部１１７は、自走ロボット１が当該物体と干渉すると判定した場合には、干渉警告信号を、ロボット制御部１１２に出力する。

【0102】

すると、この干渉警告信号が、ロボット制御部１１２、ロボット側通信部１１３、操作側通信部２８を介して、操作制御部２７に送られる。すると、操作制御部２７が、この干渉警告信号に応じて、操作側表示部２３に、干渉警告表示を表示させるとともに、操作側放音部２６に干渉警告音声を放音させる。

【0103】

［動作］
次に、以上のように構成されたロボットシステム１００の動作（ロボット作業方法）を説明する。

【0104】

図１及び図２を参照すると、操作者Ｐは、操作ユニット２の操作部２１を操作して、個人の邸宅内を、介護のために自走ロボット１を走行させる。この走行の際に、自走ロボット１に介護に必要な作業を行わせる。この際、操作者Ｐは、主に、操作ユニット２の操作側表示部２３に表示される主画像及び手先画像を見ながら、自走ロボット１に、この作業を行わせる。この際、操作者Ｐは、操作側表示部２３にタッチすることによって、操作側表示部２３に、主画像、手先画像、及び複合画像を切り替えて表示させることができる。また、必要に応じて、操作者Ｐは、操作ユニット２の操作側マイクロフォン２５及び操作側放音部２６と、自走ロボット１のロボット側表示部１４、ロボット側マイクロフォン１５、及びロボット側放音部１６とを利用して、介護者又は介護者の関係者と対話する。

【0105】

また、操作者Ｐは、自走ロボット１を走行させる場合、操作側表示部２３にタッチして、当該操作側表示部２３に所望の複合画像５０１，６０１，７０１を表示させる。複合画像５０１，６０１，７０１は、自走ロボット１が進行すると、それに連れて、周囲状況画像５０が、時々刻々変化し、且つ、作業のためにアーム部１３及び昇降部１２の姿勢が変化すると、自走ロボット模擬画像１６０が、それに伴って、時々刻々変化する。この場合、特に、自走ロボット模擬画像１６０においてアーム部の姿勢が時々刻々変化するので、操作者Ｐは、自走ロボット１を、周囲の物体と干渉しないように走行させことができる。

【0106】

また、この場合、操作者Ｐが、操作側表示部２３にタッチして、自走ロボット１の移動目標位置を含む予定移動経路情報を入力すると、自走ロボット１の予定移動経路８０２を含む複合画像８０１が、操作側表示部２３に表示される。操作者Ｐは、この予定移動経路８０２を参照しながら、的確に自走ロボット１を走行させることができる。

【0107】

操作者Ｐが、操作側表示部２３にタッチして、自走ロボット１のロボットアーム１２１Ａ，１２１Ｂの目標位置を含むアーム動画情報を入力すると、アーム動画８０３を含む複合画像９０１が、操作側表示部２３に表示される。操作者Ｐは、このアーム動画８０３を参照しながら、的確にロボットアーム１２１Ａ，１２１Ｂを操作して、作業を好適に行うことができる。

【0108】

また、自走ロボット１が走行の際に周囲の物体と干渉しそうになると、操作側表示部２３に、干渉警告表示が表示されるとともに、操作側放音部２６から干渉警告音声が放音される。操作者Ｐは、この干渉警告表示及び干渉警告音声によって、干渉の可能性を察知し、操作ユニット２を操作して、自走ロボット１に、必要な干渉回避動作を行わせる。

【0109】

（その他の実施形態）
上記実施形態において、模擬画像生成部１１５は、昇降部１２の姿勢変化を省略した自走ロボット模擬画像１６０を生成するように構成されていてもよい。

【0110】

以上に説明したように、本開示の実施形態によれば、ロボットアーム１２１Ａ，１２１Ｂを備える自走ロボット１が周囲の物体と干渉することを回避することができる。

【0111】

また、ロボットアーム１２１Ａ，１２１Ｂは、各関節を駆動するモータＭＡの回転角を検知する回転角検知部ＥＡを備え、模擬画像生成部１１６は、少なくとも、ロボットアーム１２１Ａ，１２１Ｂの各関節に対応する回転角検知部ＥＡで検知された回転角に基づいて、自走ロボット模擬画像１６０を生成するように構成されている。

【0112】

従って、自走ロボット模擬画像１６０が、ロボットアーム１２１Ａ，１２１Ｂの各関節に対応する回転角検知部ＥＡで検知された回転角に基づいて生成されるので、自走ロボット模擬画像１６０におけるロボットアーム１２１Ａ，１２１Ｂの姿勢がリアルタイムの正確な姿勢になる。その結果、ロボットアーム１２１Ａ，１２１Ｂを備える自走ロボット１が周囲の物体と干渉することをより的確に回避できる。

【0113】

また、ロボットシステム１００は、複合画像生成部１１６が自走ロボット１から眺めた一人称視点の複合画像７０１を生成する場合、模擬画像生成部１１５が、自走ロボット模擬画像１６０において自走ロボット１におけるロボットアーム１２１Ａ，１２１Ｂの周囲状況画像５０に写っていない部分の少なくとも一部を模擬するアーム模擬部分１６０ａが、周囲状況画像に写った前記ロボットアームの一部５０ａに繋がるように自走ロボット模擬画像１６０を生成し、且つ、複合画像生成部１１６が、前記生成された自走ロボット模擬画像１６０のアーム模擬部分１６０ａが、周囲状況画像５０に写ったロボットアームの一部５０ａに繋がるように、一人称視点の複合画像５０を生成するように構成されている。

【0114】

従って、周囲カメラ１７の配置上、自走ロボット１のロボットアーム１２１Ａ，１２１Ｂの全体が写らない周囲状況画像５０を用いる一人称視点の複合画像７０１においても、自走ロボット１におけるロボットアーム１２１Ａ，１２１Ｂの周囲状況画像５０に写っていない部分の少なくとも一部を模擬するアーム模擬部分１６０ａを含む自走ロボット模擬画像１６０を好適に生成することができる。

【0115】

また、複合画像生成部１１６は、自走ロボット１の予定移動経路８０２が周囲状況画像５０に重ねて示された複合画像８０１を生成するように構成されている。

【0116】

従って、操作者Ｐが、自走ロボット１の予定移動経路８０２を見ながら、的確に自走ロボットを走行させることができる。

【0117】

また、複合画像生成部１１６は、自走ロボット１のロボットアーム１２１Ａ，１２１Ｂの姿勢の変化を示すアーム動画８０３が周囲状況画像５０及び自走ロボット模擬画像１６０の少なくとも一方に重ねて示された複合画像６０１を生成するように構成されている。従って、操作者Ｐが、この動画８０３を見ながら、的確にロボットをアーム１２１Ａ，１２１Ｂを操作して作業を行うことができる。

【0118】

また、ロボットシステム１００は、周囲カメラ１７で撮像された周囲状況画像及び自走ロボット１の姿勢に基づいて、ロボットアーム１２１Ａ，１２１Ｂが自走ロボット１の周囲の物体と干渉するか否かを判定し、干渉すると判定した場合に、干渉警告信号を出力する干渉警告部１１７をさらに備えている。

【0119】

従って、干渉警告信号を利用して、ロボットアーム１２１Ａ，１２１Ｂと自走ロボット１の周囲の物体との干渉回避を図ることができる。

【0120】

また、表示部２３は、干渉警告部１１６から出力される干渉警告信号に応じて、干渉警告を表す画像を表示するように構成されている。

【0121】

従って、操作者Ｐが、表示部２３の表示を見て、ロボットアーム１２１Ａ，１２１Ｂと自走ロボット１の周囲の物体との干渉の可能性を知ることができる。

【0122】

ロボットシステム１００は、表示器２３とは別個に設けられ、干渉警告部１１６から出力される干渉警告信号に応じて、干渉警告を報知する干渉警告報知部２６をさらに備えている。

【0123】

従って、操作者Ｐが、干渉警告報知部２６の報知によって、ロボットアーム１２１Ａ，１２１Ｂと自走ロボット１の周囲の物体との干渉の可能性を知ることができる。

【0124】

上記説明から、当業者にとっては、多くの改良や他の実施形態が明らかである。従って、上記説明は、例示としてのみ解釈されるべきである。

【0125】

本明細書で開示する要素の機能は、開示された機能を実行するよう構成またはプログラムされた汎用プロセッサ、専用プロセッサ、集積回路、ASIC（Application Specific Integrated Circuits）、従来の回路、および/または、それらの組み合わせ、を含む回路または処理回路を使用して実行できる。プロセッサは、トランジスタやその他の回路を含むため、処理回路または回路と見なされる。本開示において、回路、ユニット、または手段は、列挙された機能を実行するハードウェアであるか、または、列挙された機能を実行するようにプログラムされたハードウェアである。ハードウェアは、本明細書に開示されているハードウェアであってもよいし、あるいは、列挙された機能を実行するようにプログラムまたは構成されているその他の既知のハードウェアであってもよい。ハードウェアが回路の一種と考えられるプロセッサである場合、回路、手段、またはユニットはハードウェアとソフトウェアの組み合わせであり、ソフトウェアはハードウェアおよび/またはプロセッサの構成に使用される。

【0126】

本開示の一態様に係るロボットシステムは、１以上の関節を有するロボットアームを含む自走ロボットと、操作者による操作を受け付ける、前記自走ロボットを操作するための操作部と、前記操作者により視認される表示器と、前記自走ロボットに搭載され、当該自走ロボットの周囲の状況を撮像する周囲カメラと、処理回路と、を備え、前記処理回路は、前記ロボットアームの姿勢を含む前記自走ロボットの姿勢を時々刻々模擬する自走ロボット模擬画像を生成し、前記周囲カメラで撮像された周囲状況画像と、生成された前記自走ロボット模擬画像とを含み、前記表示器に表示される複合画像を生成するように構成される。

【0127】

この構成によれば、表示器に、ロボットアームの姿勢を含む自走ロボットの姿勢を時々刻々模擬する自走ロボット模擬画像が、周囲カメラで撮像された周囲状況画像と一緒に表示されるので、操作者がその表示を見て、ロボットアームを備える自走ロボットが周囲の物体と干渉することを回避するよう操作部を操作できる。

【0128】

前記ロボットアームは、前記１以上の関節をそれぞれ駆動する１以上のモータと、前記１以上のモータの回転角をそれぞれ検知する１以上の回転角検知部とを備え、前記処理回路は、少なくとも、前記１以上の回転角検知部で検知された回転角に基づいて、前記自走ロボット模擬画像を生成するように構成されてもよい。

【0129】

上記のロボットシステムにおいて、前記処理回路は、前記自走ロボットから眺めた一人称視点の複合画像を生成する場合、前記自走ロボット模擬画像において前記自走ロボットにおける前記ロボットアームの前記周囲状況画像に写っていない部分の少なくとも一部を模擬するアーム模擬部分が、前記周囲状況画像に写った前記ロボットアームの一部に繋がるように前記自走ロボット模擬画像を生成し、且つ、前記生成された自走ロボット模擬画像の前記アーム模擬部分が、前記周囲状況画像に写った前記ロボットアームの一部に繋がるように、前記一人称視点の複合画像を生成するように構成されてもよい。

【0130】

上記のロボットシステムにおいて、前記処理回路は、前記自走ロボットの予定移動経路が前記周囲状況画像に重ねて示された前記複合画像を生成するように構成されてもよい。

【0131】

上記のロボットシステムにおいて、前記処理回路は、前記自走ロボットの前記ロボットアームの姿勢の変化を示すアーム動画が、前記周囲状況画像または前記自走ロボット模擬画像に重ねて示された前記複合画像を生成するように構成されてもよい。

【0132】

上記のロボットシステムにおいて、前記処理回路は、前記周囲カメラで撮像された前記周囲状況画像及び前記自走ロボットの姿勢に基づいて、前記ロボットアームが前記自走ロボットの周囲の物体と干渉するか否かを判定し、干渉すると判定した場合に、干渉警告信号を出力してもよい。

【0133】

上記のロボットシステムは、前記表示器は、出力される前記干渉警告信号に応じて、干渉警告を表す画像を表示するように構成されてもよい。

【0134】

上記のロボットシステムは、前記表示器とは別個に配置され、出力される前記干渉警告信号に応じて、干渉警告を報知する干渉警告報知器をさらに備えてもよい。

【0135】

本開示の一態様に係るロボット作業方法は、ロボットアームを備える自走ロボットを操作することと、前記ロボットアームの姿勢を含む前記自走ロボットの姿勢を時々刻々模擬する自走ロボット模擬画像を生成することと、前記自走ロボットに、当該自走ロボットの周囲の状況を撮像する周囲カメラを設けることと、前記周囲カメラで撮像された周囲状況画像と前記自走ロボット模擬画像とを含む複合画像を生成することと、前記複合画像を表示することと、を含む。

【0136】

この構成によれば、ロボットアームを備える自走ロボットが周囲の物体と干渉することを回避できる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10A】

【図10B】

【図10C】

【図10D】