特開 2023-175160 ロボットシステム、ロボットおよびロボットシステムの制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023175160

(43)【公開日】2023-12-12

(54)【発明の名称】ロボットシステム、ロボットおよびロボットシステムの制御方法

(51)【国際特許分類】

   B25J 13/08 20060101AFI20231205BHJP

【ＦＩ】

B25J13/08 A

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2022087471

(22)【出願日】2022-05-30

(71)【出願人】

【識別番号】000000974

【氏名又は名称】川崎重工業株式会社

(74)【代理人】

【識別番号】100104433

【弁理士】

【氏名又は名称】宮園 博一

(74)【代理人】

【識別番号】100202728

【弁理士】

【氏名又は名称】三森 智裕

(72)【発明者】

【氏名】徐 天奮

(72)【発明者】

【氏名】大野 誠太

(72)【発明者】

【氏名】吉桑 栄二

【テーマコード（参考）】

3C707

【Ｆターム（参考）】

3C707BS10

3C707KS16

3C707KS20

3C707KT02

3C707LV15

(57)【要約】

【課題】ロボットアームによるワークの把持作業の作業効率が低下してしまうのを抑制することが可能なロボットシステム、ロボットおよびロボットシステムの制御方法を提供する。
【解決手段】このロボットシステム１００では、ロボットコントローラ１２は、第１撮像部３１によるワークＷの撮像中に、第２撮像部３２によるワークＷの撮像に基づいてロボットアーム１１によるワークＷの把持が可能な状態で、第２撮像部３２を待機させる制御を行う。
【選択図】図３

【特許請求の範囲】

【請求項1】

ワークを把持するハンドが取り付けられるロボットアームと、
前記ワークを撮像する２つの撮像部と、
前記２つの撮像部を制御する制御部と、を備え、
前記制御部は、前記２つの撮像部のうちの一方による前記ワークの撮像中に、前記２つの撮像部のうちの他方による前記ワークの撮像に基づいて前記ロボットアームによる前記ワークの把持が可能な状態で、前記２つの撮像部のうちの他方を待機させる制御を行うとともに、前記２つの撮像部のうちの一方による前記ワークの撮像中に、前記２つの撮像部のうちの一方の故障が検出された場合に、前記ワークの撮像を前記２つの撮像部のうちの一方によって行う状態から前記２つの撮像部のうちの他方によって行う状態に切り換える制御を行う、ロボットシステム。

【請求項2】

前記制御部は、前記２つの撮像部のうちの一方による前記ワークの撮像中に、前記２つの撮像部のうちの他方による前記ワークの撮像に基づいて前記ロボットアームによる前記ワークの把持が可能なように前記２つの撮像部のうちの他方の位置情報と前記ロボットアームの位置情報とが関連付けられた状態で、前記２つの撮像部のうちの他方を待機させる制御を行う、請求項１に記載のロボットシステム。

【請求項3】

前記２つの撮像部同士は、互いに、前記２つの撮像部の各々を前記制御部に接続して前記制御部と情報通信を行うためのインタフェース、および、撮像範囲を角度で表したものである画角が同一のカメラである、請求項１に記載のロボットシステム。

【請求項4】

前記２つの撮像部の各々は、共通の前記ワークを撮像するように、前記ロボットアームに対して略同じ位置に配置されている、請求項１に記載のロボットシステム。

【請求項5】

前記制御部は、前記２つの撮像部のうちの一方による前記ワークの撮像中に、前記２つの撮像部のうちの一方の故障が検出された場合に、前記２つの撮像部のうちの一方が故障していることを報知する制御を行う、請求項１に記載のロボットシステム。

【請求項6】

ワークを把持するハンドが取り付けられるロボットアームと、
前記ワークを撮像する２つの撮像部と、
前記２つの撮像部を制御する制御部と、を備え、
前記制御部は、前記２つの撮像部のうちの一方による前記ワークの撮像中に、前記２つの撮像部のうちの他方による前記ワークの撮像に基づいて前記ロボットアームによる前記ワークの把持が可能な状態で、前記２つの撮像部のうちの他方を待機させる制御を行うとともに、前記２つの撮像部のうちの一方による前記ワークの撮像中に、前記２つの撮像部のうちの一方の故障が検出された場合に、前記ワークの撮像を前記２つの撮像部のうちの一方によって行う状態から前記２つの撮像部のうちの他方によって行う状態に切り換える制御を行う、ロボット。

【請求項7】

ワークを把持するハンドが取り付けられるロボットアームと、前記ワークを撮像する２つの撮像部と、を備えるロボットシステムの制御方法であって、
前記２つの撮像部のうちの一方により前記ワークを撮像するとともに、前記２つの撮像部のうちの一方による前記ワークの撮像中に、前記２つの撮像部のうちの他方による前記ワークの撮像に基づいて前記ロボットアームによる前記ワークの把持が可能な状態で、前記２つの撮像部のうちの他方を待機させることと、
前記２つの撮像部のうちの一方による前記ワークの撮像中に、前記２つの撮像部のうちの一方の故障が検出された場合に、前記ワークの撮像を前記２つの撮像部のうちの一方によって行う状態から前記２つの撮像部のうちの他方によって行う状態に切り換えることと、を備える、ロボットシステムの制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

この開示は、ロボットシステム、ロボットおよびロボットシステムの制御方法に関する。

【背景技術】

【0002】

従来、ワークを把持するハンドが取り付けられるロボットアームと、ワークを撮像する２つの撮像部と、を備えるロボットシステムが知られている。たとえば、特許文献１には、ロボットシステムは、ワークの上方に固定されワークを撮像する固定カメラと、ロボットのハンドに装着されワークを撮像するハンドカメラと、固定カメラおよびハンドカメラが撮像したワークを認識する画像処理装置と、を有するロボットシステムが開示されている。特許文献１に開示されているロボットシステムでは、固定カメラがワークを誤認識するか、または、固定カメラが破損したことが検出された場合、ワークを撮像するカメラが、固定カメラからハンドカメラに切り換えられる。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開平６－１５５３４９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ここで、上記特許文献１には明確に記載されていないが、上記特許文献１に記載されているようなロボットシステムでは、ワークを撮像するカメラが固定カメラからハンドカメラに切り換えられることが決定した後に、まず、カメラおよびロボットを制御する制御部により、ハンドカメラによるワークの撮像に基づいてロボットのハンドによるワークの把持を行うための事前の処理が行われると考えられる。ハンドカメラによるワークの撮像に基づいてロボットのハンドによるワークの把持を行うための事前の処理は、たとえば、制御部によるカメラの位置情報とロボットのハンドの位置情報とを対応付ける処理等である。すなわち、上記特許文献１に記載されているようなロボットシステムでは、ワークを撮像するカメラが固定カメラからハンドカメラに切り換った直後に、ハンドカメラによるワークの撮像に基づいてロボットのハンドによるワークの把持が可能な状態になっていないと考えられる。この場合、ハンドカメラによるワークの撮像に基づいてロボットのハンドによるワークの把持を行えない時間が生じる。すなわち、ロボットアームによるワークの把持作業の作業効率が低下してしまう。このため、ロボットアームによるワークの把持作業の作業効率が低下してしまうのを抑制することが望まれている。

【0005】

この開示は、上記のような課題を解決するためになされたものであり、この開示の１つの目的は、ロボットアームによるワークの把持作業の作業効率が低下してしまうのを抑制することが可能なロボットシステム、ロボットおよびロボットシステムの制御方法を提供することである。

【課題を解決するための手段】

【0006】

上記目的を達成するために、この開示の第１の局面によるロボットシステムは、ワークを把持するハンドが取り付けられるロボットアームと、ワークを撮像する２つの撮像部と、２つの撮像部を制御する制御部と、を備え、制御部は、２つの撮像部のうちの一方によるワークの撮像中に、２つの撮像部のうちの他方によるワークの撮像に基づいてロボットアームによるワークの把持が可能な状態で、２つの撮像部のうちの他方を待機させる制御を行うとともに、２つの撮像部のうちの一方によるワークの撮像中に、２つの撮像部のうちの一方の故障が検出された場合に、ワークの撮像を２つの撮像部のうちの一方によって行う状態から２つの撮像部のうちの他方によって行う状態に切り換える制御を行う。

【0007】

この開示の第１の局面によるロボットシステムでは、上記のように、制御部は、２つの撮像部のうちの一方によるワークの撮像中に、２つの撮像部のうちの他方によるワークの撮像に基づいてロボットアームによるワークの把持が可能な状態で、２つの撮像部のうちの他方を待機させる制御を行う。また、制御部は、２つの撮像部のうちの一方によるワークの撮像中に、２つの撮像部のうちの一方の故障が検出された場合に、ワークの撮像を２つの撮像部のうちの一方によって行う状態から２つの撮像部のうちの他方によって行う状態に切り換える制御を行う。これにより、２つの撮像部のうちの一方によるワークの撮像中に、２つの撮像部のうちの他方によるワークの撮像に基づいてロボットアームによるワークの把持が可能な状態で、２つの撮像部のうちの他方を待機させているので、２つの撮像部のうちの一方の故障が検出された場合に、ワークの撮像を２つの撮像部のうちの一方によって行う状態から２つの撮像部のうちの他方によって行う状態に切り換えた後、直ちに、２つの撮像部のうちの他方によるワークの撮像に基づいてロボットアームによるワークの把持を行うことができる。すなわち、ワークの撮像を２つの撮像部のうちの一方によって行う状態から２つの撮像部のうちの他方によって行う状態に切り換える際に、撮像部によるワークの撮像に基づいてロボットアームによるワークの把持を行うことができない時間を短くすることができる。その結果、ロボットアームによるワークの把持作業の作業効率が低下してしまうのを抑制することができる。

【0008】

また、上記目的を達成するために、この開示の第２の局面によるロボットは、ワークを把持するハンドが取り付けられるロボットアームと、ワークを撮像する２つの撮像部と、２つの撮像部を制御する制御部と、を備え、制御部は、２つの撮像部のうちの一方によるワークの撮像中に、２つの撮像部のうちの他方によるワークの撮像に基づいてロボットアームによるワークの把持が可能な状態で、２つの撮像部のうちの他方を待機させる制御を行うとともに、２つの撮像部のうちの一方によるワークの撮像中に、２つの撮像部のうちの一方の故障が検出された場合に、ワークの撮像を２つの撮像部のうちの一方によって行う状態から２つの撮像部のうちの他方によって行う状態に切り換える制御を行う。

【0009】

この開示の第２の局面によるロボットでは、上記のように、制御部は、２つの撮像部のうちの一方によるワークの撮像中に、２つの撮像部のうちの他方によるワークの撮像に基づいてロボットアームによるワークの把持が可能な状態で、２つの撮像部のうちの他方を待機させる制御を行う。また、制御部は、２つの撮像部のうちの一方によるワークの撮像中に、２つの撮像部のうちの一方の故障が検出された場合に、ワークの撮像を２つの撮像部のうちの一方によって行う状態から２つの撮像部のうちの他方によって行う状態に切り換える制御を行う。これにより、上記第１の局面によるロボットシステムと同様に、２つの撮像部のうちの一方の故障が検出された場合に、ワークの撮像を２つの撮像部のうちの一方によって行う状態から２つの撮像部のうちの他方によって行う状態に切り換えた後、直ちに、２つの撮像部のうちの他方によるワークの撮像に基づいてロボットアームによるワークの把持を行うことができる。その結果、ロボットアームによるワークの把持作業の作業効率が低下してしまうのを抑制することが可能なロボットを提供することができる。

【0010】

また、上記目的を達成するために、この開示の第３の局面によるロボットシステムの制御方法は、ワークを把持するハンドが取り付けられるロボットアームと、ワークを撮像する２つの撮像部と、を備えるロボットシステムの制御方法であって、２つの撮像部のうちの一方によりワークを撮像するとともに、２つの撮像部のうちの一方によるワークの撮像中に、２つの撮像部のうちの他方によるワークの撮像に基づいてロボットアームによるワークの把持が可能な状態で、２つの撮像部のうちの他方を待機させることと、２つの撮像部のうちの一方によるワークの撮像中に、２つの撮像部のうちの一方の故障が検出された場合に、ワークの撮像を２つの撮像部のうちの一方によって行う状態から２つの撮像部のうちの他方によって行う状態に切り換えることと、を備える。

【0011】

この開示の第３の局面によるロボットシステムの制御方法では、上記のように、２つの撮像部のうちの一方によるワークの撮像中に、２つの撮像部のうちの他方によるワークの撮像に基づいてロボットアームによるワークの把持が可能な状態で、２つの撮像部のうちの他方を待機させる。また、２つの撮像部のうちの一方によるワークの撮像中に、２つの撮像部のうちの一方の故障が検出された場合に、ワークの撮像を２つの撮像部のうちの一方によって行う状態から２つの撮像部のうちの他方によって行う状態に切り換える。これにより、上記第１の局面によるロボットシステムと同様に、２つの撮像部のうちの一方の故障が検出された場合に、ワークの撮像を２つの撮像部のうちの一方によって行う状態から２つの撮像部のうちの他方によって行う状態に切り換えた後、直ちに、２つの撮像部のうちの他方によるワークの撮像に基づいてロボットアームによるワークの把持を行うことができる。その結果、ロボットアームによるワークの把持作業の作業効率が低下してしまうのを抑制することが可能なロボットシステムの制御方法を提供することができる。

【発明の効果】

【0012】

本開示によれば、上記のように、ロボットアームによるワークの把持作業の作業効率が低下してしまうのを抑制することが可能なロボットシステム、ロボットおよびロボットシステムの制御方法を提供することができる。

【図面の簡単な説明】

【0013】

【図1】本開示の一実施形態によるロボットシステムのロボットアームおよび２つの撮像部を示す斜視図である。

【図2】本開示の一実施形態によるロボットシステムの全体構成を示すブロック図である。

【図3】本開示の一実施形態によるロボットシステムのロボットコントローラによる制御フローを示す図である。

【図4】本開示の一実施形態の変形例によるロボットの全体構成を示すブロック図である。

【発明を実施するための形態】

【0014】

以下、本開示を具体化した実施形態を図面に基づいて説明する。

【0015】

［ロボットシステム構成］
図１および図２を参照して、本開示の一実施形態によるロボットシステム１００の構成について説明する。

【0016】

（ロボットシステムの全体構成）
図１に示すように、ロボットシステム１００は、撮像部により撮像されたワークＷに対してロボットアーム１１が作業を行うシステムである。ロボットアーム１１が行う作業は、たとえば、ロボットアーム１１が、ロボットアーム１１の近傍に配置されたワークＷを所定位置に積み換える作業である。図１では、ワークＷが、段ボール箱である例を示している。

【0017】

図２に示すように、ロボットシステム１００は、ロボット１０と、ビジョンコントローラ２０と、第１撮像部３１と、第２撮像部３２と、を備える。なお、第１撮像部３１および第２撮像部３２は、それぞれ、特許請求の範囲の「２つの撮像部のうちの一方」および「２つの撮像部のうちの他方」の一例である。

【0018】

ロボット１０は、ロボットアーム１１と、ロボットコントローラ１２と、を含む。なお、ロボットコントローラ１２は、特許請求の範囲の「制御部」の一例である。

【0019】

図１に示すように、ロボットアーム１１は、複数の関節部を有する垂直多関節ロボットアームである。ロボットアーム１１には、ワークＷを把持するハンドＨが取り付けられている。ハンドＨは、ロボットアーム１１の先端部に取り付けられている。ロボットアーム１１は、ロボットコントローラ１２に制御されて、複数の関節部を動作させる。

【0020】

図２に示すように、ロボットコントローラ１２は、ロボットアーム１１の動作を制御する。ロボットコントローラ１２は、ロボットアーム１１に取り付けられたハンドＨの動作を制御する。ロボットコントローラ１２は、ビジョンコントローラ２０を介して、第１撮像部３１および第２撮像部３２の動作を制御する。ロボットコントローラ１２は、たとえば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等のプロセッサと、情報を記憶するメモリと、を含む。

【0021】

ビジョンコントローラ２０は、第１撮像部３１および第２撮像部３２において撮像された画像を処理する画像処理装置である。ビジョンコントローラ２０は、たとえば、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等のプロセッサと、情報を記憶するメモリと、を含む。

【0022】

第１撮像部３１および第２撮像部３２は、ワークＷ（図１参照）を撮像する。第１撮像部３１と第２撮像部３２とは、ビジョンコントローラ２０に対して並列に接続されている。これにより、ロボットコントローラ１２は、ビジョンコントローラ２０を介して、第１撮像部３１および第２撮像部３２を同時に制御可能である。

【0023】

第１撮像部３１および第２撮像部３２は、互いに、第１撮像部３１および第２撮像部３２の各々をロボットコントローラ１２に接続してロボットコントローラ１２と情報通信を行うためのインタフェース、および、撮像範囲を角度で表したものである画角が同一のカメラである。好ましくは、第１撮像部３１および第２撮像部３２は、互いに、同一のメーカーの同一の機種である全く同一のカメラである。

【0024】

第１撮像部３１および第２撮像部３２の各々は、たとえば、耐環境性の規格に対応する産業用カメラ以外の耐環境性の規格に対応しない汎用カメラである。これにより、汎用カメラは産業用カメラと比較して価格が安いので、第１撮像部３１および第２撮像部３２の各々に産業用カメラを用いる場合と比較して、ロボットシステム１００に掛かるコストを削減することができる。また、汎用カメラは産業用カメラと比較して入手が容易であるので、第１撮像部３１および第２撮像部３２の各々に産業用カメラを用いる場合と比較して、ロボットシステム１００を容易に稼働させることができる。また、後述するように、ロボットシステム１００では、第１撮像部３１の故障が検出された場合に、ワークＷの撮像を第１撮像部３１のうちの一方によって行う状態から第２撮像部３２によって行う状態に切り換えた後、直ちに、第２撮像部３２によるワークＷの撮像に基づいてロボットアーム１１によるワークＷの把持を行うことができる。この効果は、カメラの種類に依らず、第１撮像部３１および第２撮像部３２の各々が汎用カメラであっても得られる。

【0025】

図１に示すように、第１撮像部３１および第２撮像部３２の各々は、共通のワークＷを撮像するように、ロボットアーム１１に対して略同じ位置に配置されている。具体的には、第１撮像部３１および第２撮像部３２の各々は、ワークＷの近傍に配置されたカメラ取付部材３３における所定の位置に取り付けられている。所定の位置は、第１撮像部３１および第２撮像部３２の各々がワークＷを撮像可能な位置である。

【0026】

（ワークの撮像に基づくロボットアームによるワークの把持）
ロボットシステム１００では、第１撮像部３１または第２撮像部３２により撮像されたワークＷの画像に基づいて、ロボットアーム１１によるワークＷの把持が行われる。具体的には、ロボットコントローラ１２（図２参照）は、ワークＷの撮像を行うように第１撮像部３１または第２撮像部３２を制御する。ビジョンコントローラ２０（図２参照）は、第１撮像部３１または第２撮像部３２により撮像された画像を処理する。ロボットコントローラ１２は、ビジョンコントローラ２０によって処理された画像に基づいて、ワークＷの位置を認識する。ロボットコントローラ１２は、認識したワークＷの位置に基づいて、ロボットアーム１１に取り付けられたハンドＨがワークＷを把持するように、ロボットアーム１１およびハンドＨを制御する。

【0027】

（ワークの撮像を行う撮像部の切り換え）
ロボットシステム１００では、第２撮像部３２を待機させた状態で、第１撮像部３１によりワークＷの撮像が行われるとともに、第１撮像部３１が故障した場合に、ワークＷの撮像を第１撮像部３１により行う状態から第２撮像部３２により行う状態に切り換わる。具体的には、先ず、ロボットコントローラ１２（図２参照）は、第２撮像部３２を待機させる制御を行うとともに、ワークＷの撮像を行うように第１撮像部３１を制御する。第２撮像部３２を待機させる制御は、ロボットコントローラ１２が第２撮像部３２を制御したい場合に、直ぐに、ロボットコントローラ１２が第２撮像部３２を制御できるように、第２撮像部３２をスタンバイさせる制御である。第２撮像部３２を待機させる制御は、少なくとも、第２撮像部３２に電源が投入された状態、かつ、ロボットコントローラ１２と第２撮像部３２とが通信可能な状態にする制御である。

【0028】

そして、ロボットコントローラ１２（図２参照）は、第２撮像部３２を待機させる制御を継続したまま、認識したワークＷの位置に基づいて、ロボットアーム１１に取り付けられたハンドＨがワークＷを把持するように、ロボットアーム１１およびハンドＨを制御する。そして、ロボットコントローラ１２は、第１撮像部３１によるワークＷの撮像中に、第１撮像部３１の故障が検出された場合に、ワークＷの撮像を第１撮像部３１によって行う状態から第２撮像部３２によって行う状態に切り換える制御を行う。ロボットコントローラ１２は、第１撮像部３１が故障したか否かを、たとえば、第１撮像部３１から撮像した画像が正常に取得できないこと等に基づいて判断する。そして、ワークＷの撮像が第１撮像部３１によって行われる状態から第２撮像部３２によって行われる状態に切り換わった後、ロボットコントローラ１２は、第２撮像部３２により撮像されたワークＷの画像に基づいて認識したワークＷの位置に基づいて、ロボットアーム１１に取り付けられたハンドＨがワークＷを把持するように、ロボットアーム１１およびハンドＨを制御する。

【0029】

ロボットコントローラ１２（図２参照）は、第１撮像部３１によるワークＷの撮像中に、第２撮像部３２によるワークＷの撮像に基づいてロボットアーム１１によるワークＷの把持が可能な状態で、第２撮像部３２を待機させる制御を行う。詳細には、ロボットコントローラ１２は、第１撮像部３１によるワークＷの撮像中に、第２撮像部３２によるワークＷの撮像に基づいてロボットアーム１１によるワークＷの把持が可能なように第２撮像部３２の位置情報とロボットアーム１１の位置情報とが関連付けられた状態で、第２撮像部３２を待機させる制御を行う。

【0030】

具体的には、ロボットシステム１００では、第１撮像部３１によるワークＷの撮像に基づいてロボットアーム１１によるワークＷの把持を行う場合には、ロボットコントローラ１２（図２参照）は、第１撮像部３１の座標系とロボットアーム１１の座標系との相対的な関係を認識する必要がある。同様に、第２撮像部３２によるワークＷの撮像に基づいてロボットアーム１１によるワークＷの把持を行う場合には、ロボットコントローラ１２は、第２撮像部３２の座標系とロボットアーム１１の座標系との相対的な関係を認識する必要がある。そして、ロボットシステム１００の稼働に伴って、第１撮像部３１の座標系とロボットアーム１１の座標系との相対的な関係に誤差が生じるとともに、第２撮像部３２の座標系とロボットアーム１１の座標系との相対的な関係に誤差が生じる。上記の誤差が大きくなった場合、ロボットアーム１１によるワークＷの把持を適切に行うことができない。したがって、ロボットコントローラ１２は、所定のタイミングにおいて、第１撮像部３１の座標系とロボットアーム１１の座標系との相対的な関係、および、第２撮像部３２の座標系とロボットアーム１１の座標系との相対的な関係を補正するキャリブレーション処理を行う。キャリブレーション処理は、たとえば、以下のように行う。ロボットアーム１１のハンドＨに設けられたマーカを、ハンドＨの位置を変えながら複数回撮像する。そして、ハンドＨの複数の位置と、ハンドＨの複数の位置の各々に対応するマーカの複数の位置と基づいて、撮像部の座標系とロボットアーム１１の座標系との相対的な関係を取得する。なお、キャリブレーション処理は、常時行ってもよいし、所定の時間間隔で行ってもよいし、ロボットシステム１００のメンテナンス時のみ行ってもよい。

【0031】

ロボットコントローラ１２（図２参照）は、第１撮像部３１によるワークＷの撮像中に、第１撮像部３１の故障が検出された場合に、第１撮像部３１が故障していることを報知する制御を行う。具体的には、ビジョンコントローラ２０（図２参照）には、第１撮像部３１および第２撮像部３２が正常であるかを示す報知部２１が設けられている。報知部２１は、たとえば、ディスプレイ、ランプ、スピーカー等である。ロボットコントローラ１２は、ビジョンコントローラ２０の報知部２１によりを第１撮像部３１が故障していることを報知するように、ビジョンコントローラ２０を制御する。

【0032】

なお、第１撮像部３１および第２撮像部３２が略同時に故障する確率は、第１撮像部３１のみが故障する確率、および、第２撮像部３２のみが故障する確率と比較して非常に低い。したがって、第２撮像部３２によるワークＷの撮像が可能な状態である間に、ロボットシステム１００を点検する作業者によって、故障した第１撮像部３１の修理または交換を行うことが可能である。これにより、撮像部により撮像されたワークＷに対するロボットアーム１１による作業を継続して行うことができる。

【0033】

［ロボットシステムの制御方法］
図３を参照して、ロボットコントローラ１２による制御フローに沿って、ロボットシステム１００の制御方法について説明する。

【0034】

図３に示すように、ステップＳ１において、ロボットコントローラ１２は、第１撮像部３１によりワークＷを撮像するとともに、第１撮像部３１によるワークＷの撮像中に、第２撮像部３２によるワークＷの撮像に基づいてロボットアーム１１によるワークＷの把持が可能な状態で、第２撮像部３２の他方を待機させる制御を行う。

【0035】

ステップＳ２において、ロボットコントローラ１２は、第１撮像部３１の故障が検出されたか否かを判断する。ステップＳ２において、第１撮像部３１の故障が検出された場合、ステップＳ３に進む。ステップＳ２において、第１撮像部３１の故障が検出されない場合、ステップＳ１に戻る。すなわち、ステップＳ２は、第１撮像部３１の故障が検出されるまで、繰り返し行われる。

【0036】

ステップＳ３において、ロボットコントローラ１２は、ワークＷの撮像を第１撮像部３１によって行う状態から第２撮像部３２によって行う状態に切り換える制御を行う。そして、ステップＳ４に進む。

【0037】

ステップＳ４において、ロボットコントローラ１２は、第１撮像部３１が故障していることを報知する制御を行う。

【0038】

なお、上記の制御フローにおいて、ステップＳ３とステップＳ４とは、互いに逆の順序で行われてもよい。

【0039】

［実施形態の効果］
本実施形態では、以下のような効果を得ることができる。

【0040】

本実施形態では、ロボットコントローラ１２は、第１撮像部３１によるワークＷの撮像中に、第２撮像部３２によるワークＷの撮像に基づいてロボットアーム１１によるワークＷの把持が可能な状態で、第２撮像部３２を待機させる制御を行う。また、ロボットコントローラ１２は、第１撮像部３１によるワークＷの撮像中に、第１撮像部３１の故障が検出された場合に、ワークＷの撮像を第１撮像部３１によって行う状態から第２撮像部３２によって行う状態に切り換える制御を行う。これにより、第１撮像部３１によるワークＷの撮像中に、第２撮像部３２によるワークＷの撮像に基づいてロボットアーム１１によるワークＷの把持が可能な状態で、第２撮像部３２を待機させているので、第１撮像部３１の故障が検出された場合に、ワークＷの撮像を第１撮像部３１のうちの一方によって行う状態から第２撮像部３２によって行う状態に切り換えた後、直ちに、第２撮像部３２によるワークＷの撮像に基づいてロボットアーム１１によるワークＷの把持を行うことができる。すなわち、ワークＷの撮像を第１撮像部３１によって行う状態から第２撮像部３２によって行う状態に切り換える際に、撮像部によるワークＷの撮像に基づいてロボットアーム１１によるワークＷの把持を行うことができない時間を短くすることができる。その結果、ロボットアーム１１によるワークＷの把持作業の作業効率が低下してしまうのを抑制することができる。

【0041】

また、本実施形態では、ロボットコントローラ１２は、第１撮像部３１によるワークＷの撮像中に、第２撮像部３２によるワークＷの撮像に基づいてロボットアーム１１によるワークＷの把持が可能なように第２撮像部３２の位置情報とロボットアーム１１の位置情報とが関連付けられた状態で、第２撮像部３２を待機させる制御を行う。これにより、第２撮像部３２の位置情報とロボットアーム１１の位置情報とが関連付けられることによって、第２撮像部３２によるワークＷの撮像に基づいてロボットアーム１１によるワークＷの把持が可能な状態に容易にすることができる。その結果、第２撮像部３２を、第２撮像部３２によるワークＷの撮像に基づいてロボットアーム１１によるワークＷの把持が可能な状態で、確実に待機させることができる。

【0042】

また、本実施形態では、第１撮像部３１および第２撮像部３２同士は、互いに、第１撮像部３１および第２撮像部３２の各々をロボットコントローラ１２に接続してロボットコントローラ１２と情報通信を行うためのインタフェース、および、撮像範囲を角度で表したものである画角が同一のカメラである。これにより、ワークＷの撮像を第１撮像部３１によって行う状態から第２撮像部３２によって行う状態に切り換えた時点の前後で、ワークＷを撮像するためのロボットコントローラ１２による撮像部の制御内容が同一になるので、撮像部を制御するためのロボットコントローラ１２の処理負担を低減することができる。

【0043】

また、本実施形態では、第１撮像部３１および第２撮像部３２の各々は、共通のワークＷを撮像するように、ロボットアーム１１に対して略同じ位置に配置されている。これにより、第１撮像部３１と第２撮像部３２とがロボットアーム１１に対して互いに大きく異なる位置に配置されている場合と比較して、第１撮像部３１および第２撮像部３２の各々により、共通のワークＷを容易に撮像することができる。

【0044】

また、本実施形態では、ロボットコントローラ１２は、第１撮像部３１によるワークＷの撮像中に、第１撮像部３１の故障が検出された場合に、第１撮像部３１が故障していることを報知する制御を行う。これにより、第１撮像部３１が故障した場合に、第１撮像部３１が故障していることを、ユーザに容易に認識させることができる。

【0045】

［変形例］
今回開示された実施形態は、全ての点で例示であり制限的なものではないと考えられるべきである。本開示の範囲は、上記した実施形態の説明ではなく特許請求の範囲によって示され、さらに特許請求の範囲と均等の意味および範囲内での全ての変更（変形例）が含まれる。

【0046】

たとえば、上記実施形態では、ビジョンコントローラ２０には、第１撮像部３１および第２撮像部３２が正常であるかを示す報知部２１が設けられている例を示したが、本開示はこれに限られない。本開示では、ビジョンコントローラ以外の部分に、２つの撮像部が正常であるかを示す報知部が設けられていてもよい。

【0047】

また、上記実施形態では、ロボットコントローラ１２が、第１撮像部３１によるワークＷの撮像中に、第１撮像部３１の故障が検出された場合に、第１撮像部３１が故障していることを報知する制御を行う例を示したが、本開示はこれに限られない。本開示では、制御部が、２つの撮像部のうちの一方によるワークの撮像中に、２つの撮像部のうちの一方の故障が検出された場合に、２つの撮像部のうちの一方が故障していることを報知する制御を行わなくてもよい。なお、２つの撮像部が略同時に故障する確率は、１つの撮像部が故障する確率と比較して非常に低いので、２つの撮像部のうちの一方が故障した直後に２つの撮像部のうちの一方が故障したことをユーザが認識することは必須ではない。

【0048】

また、上記実施形態では、第１撮像部３１および第２撮像部３２の各々が、共通のワークＷを撮像するように、ロボットアーム１１に対して略同じ位置に配置されている例を示したが、本開示はこれに限られない。本開示では、２つの撮像部の各々が、共通のワークを撮像することが可能であれば、２つの撮像部のうちの一方と他方とがロボットアームに対して互いに大きく異なる位置に配置されていてもよい。

【0049】

また、上記実施形態では、第１撮像部３１および第２撮像部３２同士が、互いに、第１撮像部３１および第２撮像部３２の各々をロボットコントローラ１２に接続してロボットコントローラ１２と情報通信を行うためのインタフェース、および、撮像範囲を角度で表したものである画角が同一のカメラである例を示したが、本開示はこれに限られない。本開示では、２つの撮像部同士が、互いに、インタフェースおよび画角の一方のみが同一のカメラであってもよいし、インタフェースおよび画角の両方が異なるカメラであってもよい。

【0050】

また、上記実施形態では、ロボットコントローラ１２が、ビジョンコントローラ２０を介して、第１撮像部３１および第２撮像部３２の動作を制御する例を示したが、本開示はこれに限られない。本開示では、ビジョンコントローラ２０が、直接、第１撮像部および第２撮像部３２の動作を制御してもよい。

【0051】

また、上記実施形態では、ビジョンコントローラ２０、第１撮像部３１および第２撮像部３２が、ロボット１０とは別個に設けられている例を示したが、本開示はこれに限られない。本開示では、図４に示す変形例のように、ロボット２１０が、ロボットアーム１１およびロボットコントローラ１２に加えて、ビジョンコントローラ２２０、第１撮像部２３１および第２撮像部２３２を備えていてもよい。なお、第１撮像部２３１および第２撮像部２３２は、それぞれ、特許請求の範囲の「２つの撮像部のうちの一方」および「２つの撮像部のうちの他方」の一例である。

【0052】

本明細書で開示する要素の機能は、開示された機能を実行するよう構成またはプログラムされた汎用プロセッサ、専用プロセッサ、集積回路、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔｓ）、従来の回路、および／または、それらの組み合わせ、を含む回路または処理回路を使用して実行できる。プロセッサは、トランジスタやその他の回路を含むため、処理回路または回路と見なされる。本開示において、回路、ユニット、または手段は、列挙された機能を実行するハードウェアであるか、または、列挙された機能を実行するようにプログラムされたハードウェアである。ハードウェアは、本明細書に開示されているハードウェアであってもよいし、あるいは、列挙された機能を実行するようにプログラムまたは構成されているその他の既知のハードウェアであってもよい。ハードウェアが回路の一種と考えられるプロセッサである場合、回路、手段、またはユニットはハードウェアとソフトウェアの組み合わせであり、ソフトウェアはハードウェアおよび／またはプロセッサの構成に使用される。

【0053】

［態様］
上記した例示的な実施形態は、以下の態様の具体例であることが当業者により理解される。

【0054】

（項目１）
ワークを把持するハンド取り付けられるロボットアームと、
前記ワークを撮像する２つの撮像部と、
前記２つの撮像部を制御する制御部と、を備え、
前記制御部は、前記２つの撮像部のうちの一方による前記ワークの撮像中に、前記２つの撮像部のうちの他方による前記ワークの撮像に基づいて前記ロボットアームによる前記ワークの把持が可能な状態で、前記２つの撮像部のうちの他方を待機させる制御を行うとともに、前記２つの撮像部のうちの一方による前記ワークの撮像中に、前記２つの撮像部のうちの一方の故障が検出された場合に、前記ワークの撮像を前記２つの撮像部のうちの一方によって行う状態から前記２つの撮像部のうちの他方によって行う状態に切り換える制御を行う、ロボットシステム。

【0055】

（項目２）
前記制御部は、前記２つの撮像部のうちの一方による前記ワークの撮像中に、前記２つの撮像部のうちの他方による前記ワークの撮像に基づいて前記ロボットアームによる前記ワークの把持が可能なように前記２つの撮像部のうちの他方の位置情報と前記ロボットアームの位置情報とが関連付けられた状態で、前記２つの撮像部のうちの他方を待機させる制御を行う、項目１に記載のロボットシステム。

【0056】

（項目３）
前記２つの撮像部同士は、互いに、前記２つの撮像部の各々を前記制御部に接続して前記制御部と情報通信を行うためのインタフェース、および、撮像範囲を角度で表したものである画角が同一のカメラである、項目１または項目２に記載のロボットシステム。

【0057】

（項目４）
前記２つの撮像部の各々は、共通の前記ワークを撮像するように、前記ロボットアームに対して略同じ位置に配置されている、項目１から項目３までのいずれか１項に記載のロボットシステム。

【0058】

（項目５）
前記制御部は、前記２つの撮像部のうちの一方による前記ワークの撮像中に、前記２つの撮像部のうちの一方の故障が検出された場合に、前記２つの撮像部のうちの一方が故障していることを報知する制御を行う、項目１から項目４までのいずれか１項に記載のロボットシステム。

【0059】

（項目６）
ワークを把持するハンド取り付けられるロボットアームと、
前記ワークを撮像する２つの撮像部と、
前記２つの撮像部を制御する制御部と、を備え、
前記制御部は、前記２つの撮像部のうちの一方による前記ワークの撮像中に、前記２つの撮像部のうちの他方による前記ワークの撮像に基づいて前記ロボットアームによる前記ワークの把持が可能な状態で、前記２つの撮像部のうちの他方を待機させる制御を行うとともに、前記２つの撮像部のうちの一方による前記ワークの撮像中に、前記２つの撮像部のうちの一方の故障が検出された場合に、前記ワークの撮像を前記２つの撮像部のうちの一方によって行う状態から前記２つの撮像部のうちの他方によって行う状態に切り換える制御を行う、ロボット。

【0060】

（項目７）
ワークを把持するハンド取り付けられるロボットアームと、前記ワークを撮像する２つの撮像部と、を備えるロボットシステムの制御方法であって、
前記２つの撮像部のうちの一方により前記ワークを撮像するとともに、前記２つの撮像部のうちの一方による前記ワークの撮像中に、前記２つの撮像部のうちの他方による前記ワークの撮像に基づいて前記ロボットアームによる前記ワークの把持が可能な状態で、前記２つの撮像部のうちの他方を待機させることと、
前記２つの撮像部のうちの一方による前記ワークの撮像中に、前記２つの撮像部のうちの一方の故障が検出された場合に、前記ワークの撮像を前記２つの撮像部のうちの一方によって行う状態から前記２つの撮像部のうちの他方によって行う状態に切り換えることと、を備える、ロボットシステムの制御方法。

【符号の説明】

【0061】

１０、２１０ ロボット
１１ ロボットアーム
１２ ロボットコントローラ（制御部）
３１、２３１ 第１撮像部（２つの撮像部のうちの一方）
３２、２３２ 第２撮像部（２つの撮像部のうちの他方）
１００ ロボットシステム
Ｈ ハンド
Ｗ ワーク

【図1】

【図2】

【図3】

【図4】