特許 7302672 ロボットシステム、コントローラ及び制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-06-26

(45)【発行日】2023-07-04

(54)【発明の名称】ロボットシステム、コントローラ及び制御方法

(51)【国際特許分類】

   B25J 19/06 20060101AFI20230627BHJP

【ＦＩ】

B25J19/06

【請求項の数】 13

(21)【出願番号】P 2021565653

(86)(22)【出願日】2020-12-17

(86)【国際出願番号】 JP2020047245

(87)【国際公開番号】W WO2021125288

(87)【国際公開日】2021-06-24

【審査請求日】2022-06-22

(31)【優先権主張番号】62/948,820

(32)【優先日】2019-12-17

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】000006622

【氏名又は名称】株式会社安川電機

(74)【代理人】

【識別番号】100088155

【弁理士】

【氏名又は名称】長谷川 芳樹

(74)【代理人】

【識別番号】100145012

【弁理士】

【氏名又は名称】石坂 泰紀

(74)【代理人】

【識別番号】100171099

【弁理士】

【氏名又は名称】松尾 茂樹

(72)【発明者】

【氏名】伊藤 俊樹

(72)【発明者】

【氏名】熊谷 弘

(72)【発明者】

【氏名】戸畑 享大

(72)【発明者】

【氏名】出口 央

(72)【発明者】

【氏名】中村 啓介

【審査官】樋口 幸太郎

(56)【参考文献】

【文献】特開２０１０－１８８５１５（ＪＰ，Ａ）

【文献】特開２０１７－０１３１８０（ＪＰ，Ａ）

【文献】特開２０１３－１３９０７５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ２５Ｊ １９／０６

(57)【特許請求の範囲】

【請求項1】

ワークを搬送する搬送装置と、
前記搬送装置が搬送する前記ワークを含む対象エリアを撮影して環境画像データを生成する環境撮像装置と、
前記環境画像データに基づいて、前記ワークの現在位置と、１以上の物体の占有領域とを特定する環境特定装置と、
前記ワークに対し作業するようにロボットを制御するコントローラと、
を備え、
前記コントローラは、
前記ワークの現在位置に基づいて、前記ワークと共に移動するインタロック領域を特定するインタロック領域特定部と、
前記インタロック領域が、前記ロボット以外の他の物体の占有領域と重複しているか否かに基づいて、前記ロボットによる前記ワークに対する作業可否を判定する作業可否判定部と、
前記作業可否判定部が作業可と判定した場合、前記ワークの現在位置に基づいて前記ロボットを制御する制御実行部と、
を有するロボットシステム。

【請求項2】

前記コントローラは、前記ワークの現在位置に基づいて、予め定められた動作プログラムを修正するプログラム修正部を更に備え、
前記制御実行部は、前記作業可否判定部が作業可と判定した場合、修正後の動作プログラムに基づいて、前記ロボットを制御する、請求項１記載のロボットシステム。

【請求項3】

前記環境特定装置は、前記ワークと共に移動する確認対象領域内における前記１以上の物体の占有領域を特定する、請求項１又は２記載のロボットシステム。

【請求項4】

前記ロボットの動作範囲と重複する動作範囲にて、前記ワークに対し作業するように第２ロボットを制御する第２コントローラを更に備え、
前記第２コントローラは、
前記ワークの現在位置に基づいて、前記ワークと共に移動する第２インタロック領域を特定するインタロック領域特定部と、
前記第２インタロック領域が前記第２ロボット以外の他の物体の占有領域と重複しているか否かに基づいて、前記第２ロボットによる前記ワークに対する作業可否を判定する第２作業可否判定部と、
前記第２作業可否判定部が作業可と判定した場合、前記ワークの現在位置に基づいて前記第２ロボットを制御する制御実行部と、を有する、請求項１～３のいずれか一項記載のロボットシステム。

【請求項5】

前記ロボット以外の他の物体の占有領域は、作業者が占める人占有領域を含む、請求項１～４のいずれか一項記載のロボットシステム。

【請求項6】

前記環境撮像装置は、前記対象エリアに対する距離画像データと、輝度画像データとを含む前記環境画像データを生成し、
前記環境特定装置は、前記距離画像データと、前記輝度画像データとに基づいて、前記１以上の物体の占有領域を特定する、請求項１～５のいずれか一項記載のロボットシステム。

【請求項7】

前記環境特定装置は、前記環境画像データに基づいて、前記ワークに付されたマーカを認識し、前記対象エリア内における前記マーカの位置に基づいて前記ワークの現在位置を特定する、請求項１～６のいずれか一項記載のロボットシステム。

【請求項8】

前記インタロック領域特定部は、前記修正後の動作プログラムに基づいて前記ワークに対し作業を行う場合の前記ロボットの占有予定領域を特定し、前記占有予定領域に基づいて前記インタロック領域を特定する、請求項２記載のロボットシステム。

【請求項9】

前記インタロック領域特定部は、前記ワークの現在位置に基づいて、所定のマージンをもって前記ロボットの作業対象位置を取り囲むように前記インタロック領域を特定する、請求項１～７のいずれか一項記載のロボットシステム。

【請求項10】

前記確認対象領域は、複数の区画を含み、
前記環境特定装置は、前記１以上の物体の占有領域を前記複数の区画単位で特定し、
前記インタロック領域特定部は、前記インタロック領域を前記複数の区画単位で特定する、請求項３記載のロボットシステム。

【請求項11】

前記環境特定装置は、前記距離画像データと、前記輝度画像データとを含む入力データに基づいて、前記１以上の物体の占有領域を出力するように、機械学習により生成された画像認識モデルと、新たな距離画像データ及び輝度画像データとに基づいて前記１以上の物体の新たな占有領域を特定する、請求項６記載のロボットシステム。

【請求項12】

前記ロボットは、ロボット本体と、ロボット本体を保持して搬送する台車と、前記ロボット本体による作業領域を撮影して作業対象画像データを生成する作業対象撮像装置と、を有し、
前記制御実行部は、前記作業対象画像データに更に基づいて前記ロボットを制御する、請求項１～１１のいずれか一項記載のロボットシステム。

【請求項13】

搬送装置にワークを搬送させることと、
前記搬送装置が搬送する前記ワークを含む対象エリアを撮影して環境画像データを生成することと、
前記環境画像データに基づいて、前記ワークの現在位置と、１以上の物体の占有領域とを特定することと、
前記ワークの現在位置に基づいて、前記ワークと共に移動するインタロック領域を特定することと、
ロボットによる前記ワークに対する作業可否を、前記インタロック領域がロボット以外の他の物体の占有領域と重複しているか否かに基づいて判定することと、
作業可と判定した場合、前記ワークの現在位置に基づいて前記ワークに対し作業するように前記ロボットを制御することと、を含む制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、ロボットシステム、コントローラ及び制御方法に関する。

【背景技術】

【0002】

特許文献１には、複数のロボット毎に、自身の占有領域が他のロボットの占有領域と重なり合う干渉領域が存在した場合に、他のロボットとの通信によって当該他のロボットが干渉領域内に進入したことを検出したとき、自身の占有領域の内側であって干渉領域へ進入する前で動作を停止し、自身の占有領域から他のロボットが退出したとき、自身の目標位置へ移動する動作を再開するロボットの干渉回避方法が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００７－１４８５２７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

本開示は、環境変化に対する柔軟な適応に有効なロボットシステムを提供する。

【課題を解決するための手段】

【0005】

本開示の一側面に係るロボットシステムは、ワークを搬送する搬送装置と、ワークの現在位置と、１以上の物体の占有領域とを特定する環境特定装置と、ワークに対し作業するようにロボットを制御するコントローラと、を備え、コントローラは、ワークの現在位置に基づいて、ワークと共に移動するインタロック領域を特定するインタロック領域特定部と、インタロック領域が、ロボット以外の他の物体の占有領域と重複しているか否かに基づいて、ロボットによるワークに対する作業可否を判定する作業可否判定部と、作業可否判定部が作業可と判定した場合、ワークの現在位置に基づいてロボットを制御する制御実行部と、を有する。

【0006】

本開示の他の側面に係るコントローラは、ワークの現在位置に基づいて、ワークと共に移動するインタロック領域を特定するインタロック領域特定部と、ロボットによるワークに対する作業可否を、インタロック領域がロボット以外の他の物体の占有領域と重複しているか否かに基づいて判定する作業可否判定部と、作業可否判定部が作業可と判定した場合、ワークの現在位置に基づいてワークに対し作業するようにロボットを制御する制御実行部と、を備える。

【0007】

本開示の更に他の側面に係る制御方法は、ワークの現在位置に基づいて、ワークと共に移動するインタロック領域を特定することと、ロボットによるワークに対する作業可否を、インタロック領域がロボット以外の他の物体の占有領域と重複しているか否かに基づいて判定することと、作業可と判定した場合、ワークの現在位置に基づいてワークに対し作業するようにロボットを制御することと、を含む。

【発明の効果】

【0008】

本開示によれば、環境変化に対する柔軟な適応に有効なロボットシステムを提供することができる。

【図面の簡単な説明】

【0009】

【図1】ロボットシステムの全体構成を例示する模式図である。

【図2】ロボットの構成を例示する模式図である。

【図3】環境特定装置及びロボットコントローラの構成を例示するブロック図である。

【図4】ロボットの占有領域を例示する模式図である。

【図5】作業者の占有領域を例示する模式図である。

【図6】進捗データを例示するテーブルである。

【図7】インタロック領域を例示する模式図である。

【図8】インタロック領域と占有領域とが重複する場合を例示する模式図である。

【図9】インタロック領域と占有領域とが重複する場合を例示する模式図である。

【図10】インタロック領域と占有領域とが重複しない場合を例示する模式図である。

【図11】インタロック領域と占有領域とが重複しない場合を例示する模式図である。

【図12】環境特定装置及びロボットコントローラのハードウェア構成を例示するブロック図である。

【図13】環境特定手順を例示するフローチャートである。

【図14】ロボット制御手順を例示するフローチャートである。

【発明を実施するための形態】

【0010】

以下、実施形態について、図面を参照しつつ詳細に説明する。説明において、同一要素又は同一機能を有する要素には同一の符号を付し、重複する説明を省略する。

【0011】

〔ロボットシステム〕
図１に示すロボットシステム１は、搬送装置と、少なくとも一台のロボットとの協働によって、ワークの生産を行うシステムである。以下、ワークの生産過程において、各ローカル機器の作業対象となる物体の全てを「ワーク」という。例えば「ワーク」は、ロボットシステム１における最終生産物、最終生産物の部品、及び複数の部品を組み合わせたユニット等を含む。一例として、ロボットシステム１は、搬送装置２と、複数台（例えば三台）のロボット３Ａ，３Ｂ，３Ｃと、制御システム１００とを備える。

【0012】

搬送装置２は、例えば電動モータ等の動力によりワーク９０を搬送する。一例として、搬送装置２は、水平面に沿ってワーク９０を一方向に搬送する。このような搬送装置２の具体例としては、ベルトコンベヤ、ローラコンベヤ等が挙げられる。

【0013】

ロボット３Ａ，３Ｂ，３Ｃのそれぞれは、搬送装置２が搬送するワーク９０に対して予め定められた作業を行う。ロボット３Ａ，３Ｂ，３Ｃは、互いに動作範囲が重複する二台以上のロボットを含んでいてもよい。一例として、ロボット３Ｂは、ロボット３Ａの動作範囲と重複する動作範囲にて、ワーク９０に対し作業を行い、ロボット３Ｃは、ロボット３Ａの動作範囲及びロボット３Ｂの動作範囲と重複する動作範囲にてワーク９０に対し作業を行う。ワーク９０に対する作業の具体例としては、搬送装置２が搬送するワーク９０（例えばベースパーツ）に対する他のワーク９０（例えばサブパーツ）の組付け、搬送装置２が搬送するワーク９０におけるパーツ同士の締結（例えばボルト締結）・接合（例えば溶接）等が挙げられる。

【0014】

ロボット３Ａ，３Ｂ，３Ｃの少なくともいずれかは、自律走行可能なロボットであってもよい。図１は、ロボット３Ａ，３Ｂ，３Ｃの全てが自律走行可能である場合を例示している。図２に示すように、ロボット３Ａ，３Ｂ，３Ｃのそれぞれは、ロボット本体４と、搬送台車５とを有する。搬送台車５（台車）は、ロボット本体４を保持し、当該ロボット本体４を搬送するように搬送装置２の周囲を自律走行する。搬送台車５の具体例としては、電動式の所謂ＡＧＶ（Ａｕｔｏｍａｔｅｄ Ｇｕｉｄｅｄ Ｖｅｈｉｃｌｅ）が挙げられる。

【0015】

ロボット本体４は、６軸の垂直多関節ロボットであり、基部１１と、旋回部１２と、第１アーム１３と、第２アーム１４と、第３アーム１７と、先端部１８と、アクチュエータ４１，４２，４３，４４，４５，４６とを有する。

【0016】

基部１１は、搬送台車５の上に固定されている。旋回部１２は、鉛直な軸線２１まわりに旋回するように基部１１上に設けられている。第１アーム１３は、軸線２１に交差（例えば直交）する軸線２２まわりに揺動するように旋回部１２に接続されている。交差は、所謂立体交差のようにねじれの関係にある場合も含む。第２アーム１４は、軸線２２に実質的に平行な軸線２３まわりに揺動するように第１アーム１３の先端部に接続されている。第２アーム１４は、アーム基部１５とアーム端部１６とを含む。アーム基部１５は、第１アーム１３の先端部に接続され、軸線２３に交差（例えば直交）する軸線２４に沿って延びている。アーム端部１６は、軸線２４まわりに旋回するようにアーム基部１５の先端部に接続されている。第３アーム１７は、軸線２４に交差（例えば直交）する軸線２５まわりに揺動するようにアーム端部１６の先端部に接続されている。先端部１８は、軸線２５に交差（例えば直交）する軸線２６まわりに旋回するように第３アーム１７の先端部に接続されている。

【0017】

このように、ロボット本体４は、基部１１と旋回部１２とを接続する関節３１と、旋回部１２と第１アーム１３とを接続する関節３２と、第１アーム１３と第２アーム１４とを接続する関節３３と、第２アーム１４においてアーム基部１５とアーム端部１６とを接続する関節３４と、アーム端部１６と第３アーム１７とを接続する関節３５と、第３アーム１７と先端部１８とを接続する関節３６とを有する。

【0018】

アクチュエータ４１，４２，４３，４４，４５，４６は、例えば電動モータ及び減速機を含み、関節３１，３２，３３，３４，３５，３６をそれぞれ駆動する。例えばアクチュエータ４１は、軸線２１まわりに旋回部１２を旋回させ、アクチュエータ４２は、軸線２２まわりに第１アーム１３を揺動させ、アクチュエータ４３は、軸線２３まわりに第２アーム１４を揺動させ、アクチュエータ４４は、軸線２４まわりにアーム端部１６を旋回させ、アクチュエータ４５は、軸線２５まわりに第３アーム１７を揺動させ、アクチュエータ４６は、軸線２６まわりに先端部１８を旋回させる。

【0019】

先端部１８には、作業ツールが設けられる。作業ツールの具体例としては、把持又は吸着により対象物を保持する保持ツール、ねじ締めツール、溶接トーチ等が挙げられる。ロボット本体４は、アクチュエータ４１，４２，４３，４４，４５，４６により関節３１，３２，３３，３４，３５，３６をそれぞれ駆動することで、作業ツールの位置及び姿勢を可動範囲内で自在に調節する。

【0020】

ロボット３Ａ，３Ｂ，３Ｃの具体的な構成は適宜変更可能である。例えばロボット３Ａ，３Ｂ，３Ｃは、上記６軸の垂直多関節ロボットに更に１軸の関節を追加した７軸の冗長型ロボットであってもよく、所謂スカラー型の多関節ロボットであってもよい。ロボット３Ａ，３Ｂ，３Ｃは必ずしも自律走行可能でなくてもよく、基部１１が搬送装置２の周囲に固定されていてもよい。

【0021】

ロボット３Ａ，３Ｂ，３Ｃのそれぞれは、作業対象カメラ５１を更に有してよい。作業対象カメラ５１（作業対象撮像装置）は、ロボット本体４による作業領域を撮影して作業対象画像データを生成する。作業対象カメラ５１の具体例としては、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサ又はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ－Ｏｘｉｄｅ－Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ等の固体撮像素子と、撮像素子に作業領域を結像させる光学系とを有する電子カメラが挙げられる。

【0022】

例えば作業対象カメラ５１は、作業ツールと共に先端部１８に取り付けられる。これにより、作業ツールを作業領域に向ける際に、作業対象カメラ５１を作業領域に向けることができ、作業領域をより確実に撮影することができる。なお、作業対象カメラ５１の設置位置は必ずしも先端部１８に限られない。作業領域を撮影し得る限り、作業対象カメラ５１はロボット３Ａ，３Ｂ，３Ｃのいずれの部位に設けられていてもよい。

【0023】

ロボットシステム１は、環境撮像装置６を更に備えてもよい。環境撮像装置６は、搬送装置２が搬送するワーク９０を含む対象エリアを撮影して環境画像データを生成する。例えば環境撮像装置６は、搬送装置２を鉛直上方から撮影する。環境撮像装置６は、複数種類の画像データを生成するように構成されていてもよい。例えば環境撮像装置６は、対象エリアに対する距離画像データと、輝度画像データとを含む環境画像データを生成してもよい。輝度画像は、対象エリア内の各部の明るさを色彩の分布で表した二次元画像である。距離画像は、対象エリア内の各部までの距離を色彩の分布で表した二次元画像である。色彩の分布で表すことは、色の三属性（色相、明度、及び彩度）の少なくともいずれかの分布で表すことを意味する。

【0024】

例えば環境撮像装置６は、輝度画像データを生成する輝度カメラ７と、距離画像データを生成する距離カメラ８とを含む。輝度カメラ７の具体例としては、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサ又はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ－Ｏｘｉｄｅ－Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ等の固体撮像素子と、撮像素子に作業領域を結像させる光学系とを有する電子カメラが挙げられる。距離カメラ８の具体例としては、赤外光等を対象エリアに出射した後、その反射光が戻ってくるまでの時間に基づいて距離情報を得るＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）カメラが挙げられる。なお、環境撮像装置６は、必ずしも複数種類の画像データを生成しなくてもよく、例えば輝度画像データのみを生成するように構成されていてもよい。

【0025】

制御システム１００は、環境特定装置２００と、ロボットコントローラ３００と、搬送コントローラ４００とを有する。搬送コントローラ４００は、例えばワーク９０を所定の速度で搬送するように搬送装置２を制御する。環境特定装置２００は、搬送装置２におけるワーク９０の現在位置と、ワーク９０の近傍における１以上の物体の占有領域とを特定する。物体の具体例としては、ロボット３Ａ，３Ｂ，３Ｃが挙げられる。物体は、ロボット３Ａ，３Ｂ，３Ｃ以外の他の装置であってもよく、ロボット３Ａ，３Ｂ，３Ｃと協働する作業者（人）であってもよい。

【0026】

環境特定装置２００は、環境撮像装置６が生成した環境画像データに基づいて、ワーク９０の現在位置と、１以上の物体の占有領域とを特定するように構成されていてもよい。例えば図３に示すように、環境特定装置２００は、機能上の構成要素（以下、「機能ブロック」という。）として、画像データ取得部２１１と、環境画像データ記憶部２１２と、ワーク位置検出部２１３と、占有領域検出部２１４とを有する。

【0027】

画像データ取得部２１１は、環境撮像装置６が生成した環境画像データを取得する。環境画像データ記憶部２１２は、画像データ取得部２１１が取得した環境画像データを記憶する。ワーク位置検出部２１３は、環境画像データに基づいて、ワーク９０の現在位置を特定する。ワーク位置検出部２１３は、輝度画像データに基づいてワーク９０の現在位置を特定してもよい。ワーク位置検出部２１３は、輝度画像データに基づいて、ワーク９０に付されたマーカを認識し、上記対象エリア（環境撮像装置６による撮影対象エリア）内におけるマーカの位置に基づいてワーク９０の現在位置を特定する。

【0028】

図４は、搬送装置２を鉛直上方から見た図であり、環境撮像装置６は、図中の対象エリアＴＡ１を撮影する。ワーク９０は、複数の作業対象部位９２を有する。作業対象部位９２は、ロボット３Ａ，３Ｂ，３Ｃ又は作業者による作業の対象部位である。作業対象部位９２に対し行われる作業内容に特に制限はない。例えば、ロボット３Ａ，３Ｂ，３Ｃ又は作業者によって、作業対象部位９２に部品を組み付ける作業等が行われる。

【0029】

ワーク９０には、マーカ９１が付されている。例えばマーカ９１は、ワーク９０において、複数の作業対象部位９２に含まれない位置に付されている。マーカ９１は、画像処理により認識可能であればいかなるものであってもよい。マーカ９１の具体例としては、二次元バーコード等が挙げられる。図４の例において、ワーク位置検出部２１３は、対象エリアＴＡ１におけるマーカ９１の位置に基づいて、ワーク９０の現在位置を特定する。なお、ワーク位置検出部２１３は、マーカ９１に代えて、ワーク９０上の特徴（例えば円形の凹凸等）又はワーク９０そのものを画像処理により認識することで、ワーク９０の現在位置を特定してもよい。

【0030】

図３に戻り、占有領域検出部２１４は、環境画像データに基づいて、１以上の物体の占有領域を特定する。占有領域検出部２１４は、距離画像データと、輝度画像データとに基づいてワーク９０の現在位置を特定してもよい。占有領域検出部２１４は、ワーク９０と共に移動する確認対象領域内における１以上の物体の占有領域を特定してもよい。確認対象領域は、複数の区画を含んでもよく、占有領域検出部２１４は、１以上の物体の占有領域を複数の区画単位で特定してもよい。

【0031】

図４は、占有領域検出部２１４によるロボット３Ａの占有領域の特定結果を例示している。図４の例においては、ワーク９０の全ての作業対象部位９２を含むように確認対象領域９３が定められている。確認対象領域９３は、複数の区画として、複数の作業対象部位９２を含んでいる。複数の区画は必ずしも複数の作業対象部位９２に対応していなくてもよく、複数の作業対象部位９２よりも細分化されていてもよい。

【0032】

占有領域検出部２１４は、環境画像データに基づいて、ロボット３Ａのロボット本体４を内包するように内包領域Ａ０１を特定し、確認対象領域９３と内包領域Ａ０１との重複領域を確認対象領域９３内におけるロボット３Ａの占有領域Ａ０２として特定する。

【0033】

この際に、占有領域検出部２１４は、複数の区画単位で占有領域Ａ０２を特定する。例えば占有領域検出部２１４は、複数の作業対象部位９２のうち、内包領域Ａ０１と重なる作業対象部位９２Ｄ，９２Ｅ，９２Ｆ，９２Ｇ，９２Ｎ，９２Ｐを確認対象領域９３内におけるロボット３Ａの占有領域Ａ０２として特定する。

【0034】

図５は、占有領域検出部２１４による作業者９が占める占有領域（人占有領域）の特定結果を例示している。占有領域検出部２１４は、環境画像データに基づいて、作業者９を内包するように内包領域Ａ１１を特定し、確認対象領域９３と内包領域Ａ１１との重複領域を確認対象領域９３内における作業者９の占有領域Ａ１２として特定する。

【0035】

この際に、占有領域検出部２１４は、複数の区画単位で占有領域Ａ１２を特定する。例えば占有領域検出部２１４は、複数の作業対象部位９２のうち、内包領域Ａ１１と重なる作業対象部位９２Ａ，９２Ｂ，９２Ｃ，９２Ｄ，９２Ｌ，９２Ｍを確認対象領域９３内における作業者９の占有領域Ａ１２として特定する。

【0036】

環境特定装置２００は、距離画像データと、輝度画像データとを含む入力データに基づいて、１以上の物体の占有領域を出力するように、機械学習により生成された画像認識モデルと、新たな距離画像データ及び輝度画像データとに基づいて１以上の物体の新たな占有領域を特定するように構成されていてもよい。

【0037】

例えば環境特定装置２００は、モデル記憶部２１５を更に有する。モデル記憶部２１５は、上記画像認識モデルを記憶する。画像認識モデルの具体例としては、距離画像データ及び輝度画像データ（入力ベクトル）が入力されるのに応じ、１以上の物体の占有領域を表す座標点列データ（出力ベクトル）を出力するニューラルネットワークが挙げられる。

【0038】

ニューラルネットワークは、入力層と、一層又は複数層の中間層と、出力層とを有する。入力層は、入力ベクトルをそのまま次の中間層に出力する。中間層は、一つ前の層からの入力を活性化関数により変換して次の層に出力する。出力層は、入力層から最も遠い中間層からの入力を活性化関数により変換し、変換結果を出力ベクトルとして出力する。このようなニューラルネットワークは、入力ベクトルと出力ベクトルとを対応付けた教師データセットを蓄積した学習データに基づき、各層の活性化関数を最適化することにより生成される。

【0039】

占有領域検出部２１４は、モデル記憶部２１５が記憶する画像認識モデルに、新たな距離画像データ及び輝度画像データを入力することで、１以上の物体の新たな占有領域を特定する。

【0040】

なお、機械学習による画像認識モデルに基づいて１以上の物体の占有領域を特定することは必須ではない。占有領域検出部２１４は、パターンマッチングなどによる画像内の境界認識等、機械学習によらない手法で１以上の物体の占有領域を特定してもよい。

【0041】

環境特定装置２００は、ワーク９０に対する作業の進捗情報を記憶し、実際の作業の進捗に合わせて進捗情報を更新するように構成されていてもよい。例えば環境特定装置２００は、進捗記憶部２１６と、進捗管理部２１７とを更に有する。

【0042】

進捗記憶部２１６は、作業対象部位９２に対する作業の進捗情報を記憶する。例えば図６に示すように、進捗記憶部２１６は、複数の作業対象部位９２ごとに、作業の進捗情報を記憶する。図６における進捗情報は、「未」、「済み」、「予約あり」により表されている。「未」は、作業が未完了であることを意味する。「済み」は、作業が完了していることを意味する。「予約あり」は、ロボット３Ａ，３Ｂ，３Ｃのいずれかが作業を行うことを予定していることを意味する。

【0043】

進捗管理部２１７は、実際の作業の進捗に合わせて、進捗記憶部２１６が記憶する進捗情報を更新する。例えば進捗管理部２１７は、後述のロボットコントローラ３００Ａ，３００Ｂ，３００Ｃによるロボット３Ａ，３Ｂ，３Ｃの制御状況と、環境画像データとに基づいて進捗情報を更新する。

【0044】

ロボットコントローラ３００（コントローラ）は、ワーク９０に対し作業するようにロボット３Ａ，３Ｂ，３Ｃを制御する。ロボットシステム１が複数のロボット３Ａ，３Ｂ，３Ｃを備える場合、制御システム１００は、複数のロボット３Ａ，３Ｂ，３Ｃをそれぞれ制御する複数のロボットコントローラ３００を備えていてもよい。一例として、ロボットコントローラ３００は、ロボット３Ａ，３Ｂ，３Ｃをそれぞれ制御するロボットコントローラ３００Ａ，３００Ｂ，３００Ｃを有する。

【0045】

ロボットコントローラ３００Ａは、ワーク９０の現在位置に基づいて、ワーク９０と共に移動するインタロック領域を特定することと、ロボット３Ａによるワーク９０に対する作業可否を、インタロック領域がロボット３Ａ以外の他の物体の占有領域と重複しているか否かに基づいて判定することと、作業可と判定した場合、ワーク９０の現在位置に基づいてワーク９０に対し作業するようにロボット３Ａを制御することと、を実行するように構成されている。

【0046】

図３に示すように、ロボットコントローラ３００Ａは、機能ブロックとして、プログラム保持部３１１と、作業対象選択部３１２と、プログラム修正部３１３と修正済みプログラム保持部３１４と、インタロック領域特定部３１５と、作業可否判定部３１６と、制御実行部３１７とを有する。

【0047】

プログラム保持部３１１は、ワーク９０に対する作業をロボット３Ａに行わせるように予め生成された動作プログラムを記憶する。例えばプログラム保持部３１１は、複数の作業対象部位９２のうち、２以上の作業対象部位９２（以下、「２以上の管轄部位」という。）ごとに生成された２以上の動作プログラムを記憶する。全ての作業対象部位９２が管轄部位となっていてもよい。例えば動作プログラムは、時系列に並ぶ複数のモーション指令を含む。複数のモーション指令のそれぞれは、先端部１８の目標位置・目標姿勢を含む。

【0048】

作業対象選択部３１２は、進捗記憶部２１６が記憶する進捗情報と、ワーク位置検出部２１３が特定したワーク９０の現在位置と、ロボット３Ａの現在位置とに基づいて、２以上の管轄部位のうちいずれかを選択する。例えば作業対象選択部３１２は、２以上の管轄部位のうち、作業が未完了で、且つロボット３Ａから最も近くに位置する部位を選択する。以下、選択した部位を「選択済み部位」という。

【0049】

プログラム修正部３１３は、ワーク９０の現在位置に基づいて、選択済み部位に対する動作プログラムを修正する。例えば動作プログラムは、ワーク９０が所定の基準位置にあることを前提として生成されている。プログラム修正部３１３は、基準位置と、現在位置との差に基づいて、上記複数のモーション指令のそれぞれにおける目標位置・目標姿勢を修正する。

【0050】

修正済みプログラム保持部３１４は、プログラム修正部３１３により修正された動作プログラムを記憶する。以下、修正済みプログラム保持部３１４が記憶する動作プログラムを「修正済みプログラム」という。

【0051】

インタロック領域特定部３１５は、ワーク９０の現在位置に基づいて、ワーク９０と共に移動するインタロック領域を特定する。インタロック領域は、選択済み部位に対する作業をロボット３Ａが実行する際に、他の物体の存在を許容できない領域である。他の物体の存在を許容できないことの具体例としては、インタロック領域内に他の物体が存在する場合に、当該他の物体とロボット３Ａとの衝突が生じ得ることが挙げられる。

【0052】

インタロック領域特定部３１５は、上記修正済みプログラムに基づいてワーク９０に対し作業を行う場合のロボット３Ａの占有予定領域を特定し、占有予定領域に基づいてインタロック領域を特定してもよい。インタロック領域特定部３１５は、インタロック領域を確認対象領域の複数の区画単位で特定してもよい。

【0053】

図７の（ａ）は、インタロック領域特定部３１５によるインタロック領域の特定結果を例示している。インタロック領域特定部３１５は、修正済みプログラムに基づいて、選択済み部位である作業対象部位９２Ｍに対し作業を行う場合のロボット３Ａの占有予定領域Ａ２１を特定し、確認対象領域９３と占有予定領域Ａ２１との重複領域をインタロック領域Ａ２２として特定する。

【0054】

この際に、インタロック領域特定部３１５は、複数の区画単位でインタロック領域Ａ２２を特定する。例えばインタロック領域特定部３１５は、複数の作業対象部位９２のうち、占有予定領域Ａ２１と重なる作業対象部位９２Ｃ，９２Ｄ，９２Ｋ，９２Ｌ，９２Ｍ，９２Ｎをインタロック領域Ａ２２として特定する。

【0055】

なお、作業対象部位が同一であっても、ロボット３Ａの配置によってインタロック領域は変わり得る。例えば図７の（ｂ）は、図７の（ａ）と同じ作業対象部位９２Ｍに対し作業を行う場合であっても、ロボット３Ａの配置によってインタロック領域Ａ２２が変わることを例示している。具体的に図７の（ｂ）においては、９２Ｄ，９２Ｅ，９２Ｌ，９２Ｍ，９２Ｎ，９２Ｐがインタロック領域Ａ２２として選択されている。

【0056】

図７の（ａ）におけるインタロック領域Ａ２２と、図７の（ｂ）におけるインタロック領域Ａ２２との両方を含む程度に大きなマージンを設定することが許される場合、インタロック領域特定部３１５は、単に所定のマージンを持って作業対象位置（例えば作業対象部位９２Ｍ）を取り囲むようにインタロック領域を設定してもよい。

【0057】

例えば、２区画のマージンを持って作業対象部位９２Ｍを取り囲むインタロック領域は、作業対象部位９２Ｂ，９２Ｃ，９２Ｄ，９２Ｅ，９２Ｆ，９２Ｋ，９２Ｌ，９２Ｍ，９２Ｎ，９２Ｐを含むように特定される。このインタロック領域は、図７の（ａ）におけるインタロック領域Ａ２２と、図７の（ｂ）におけるインタロック領域Ａ２２との両方を含む。

【0058】

作業可否判定部３１６は、インタロック領域が、ロボット３Ａ以外の他の物体（例えばロボット３Ｂ，３Ｃ又は作業者９）の占有領域と重複しているか否かに基づいて、ロボット３Ａによるワーク９０に対する作業可否を判定する。例えば作業可否判定部３１６は、インタロック領域が、ロボット３Ａ以外の他の物体の占有領域と重複していない場合に、ロボット３Ａによる選択済み部位への作業は可であると判定する。一方、作業可否判定部３１６は、インタロック領域が、ロボット３Ａ以外の他の物体の占有領域と重複している場合にロボット３Ａによる選択済み部位への作業は不可であると判定する。

【0059】

一例として、図８は、選択済み部位である作業対象部位９２Ｍに対するインタロック領域Ａ３１が、ロボット３Ｂの占有領域Ａ３２と重複している場合を例示している。この場合、作業可否判定部３１６は、ロボット３Ａによる作業対象部位９２Ｍへの作業は不可であると判定する。

【0060】

図９は、選択済み部位である作業対象部位９２Ｍに対するインタロック領域Ａ４１が、作業者９の占有領域Ａ４２と重複している場合を例示している。この場合も、作業可否判定部３１６は、ロボット３Ａによる作業対象部位９２Ｍへの作業は不可であると判定する。

【0061】

図１０は、選択済み部位である作業対象部位９２Ｋに対するインタロック領域Ａ５１が、ロボット３Ｃの占有領域Ａ５２と重複していない場合を例示している。この場合、作業可否判定部３１６は、ロボット３Ａによる作業対象部位９２Ｋへの作業は可であると判定する。これにより、同一のワーク９０に対し、ロボット３Ａ，３Ｃが同時に作業を行うことが可能となる（図１１参照）。

【0062】

制御実行部３１７は、作業可否判定部３１６が作業可と判定した場合、ワーク９０の現在位置に基づいてロボット３Ａを制御する。例えば制御実行部３１７は、ワーク９０の現在位置に基づいて修正された上記修正済みプログラムに基づいて、ロボット３Ａを制御する。より具体的には、ロボット３Ａの先端部１８を上記修正済みプログラムに従って変位させるように、逆運動学演算により関節３１，３２，３３，３４，３５，３６の角度目標値を算出し、アクチュエータ４１，４２，４３，４４，４５，４６によって、関節３１，３２，３３，３４，３５，３６のそれぞれの角度を角度目標値に追従させる。

【0063】

ロボットコントローラ３００は、ロボット３Ａに設けられた作業対象カメラ５１により生成された作業対象画像データに更に基づいてロボット３Ａを制御するように構成されていてもよい。例えばロボットコントローラ３００は、作業対象位置検出部３１８を更に有してもよい。

【0064】

作業対象位置検出部３１８は、作業対象カメラ５１が生成した作業対象画像データを取得する。制御実行部３１７は、作業対象位置検出部３１８が取得した作業対象画像データに更に基づいて、ロボット３Ａを制御する。例えば制御実行部３１７は、作業対象画像データに基づいて、選択済み部位に対する先端部１８の位置・姿勢のずれを特定し、特定したずれを縮小するように先端部１８の目標位置・目標姿勢を補正し、補正後の目標位置・目標姿勢に基づいてロボット３Ａを制御する。

【0065】

以上においては、作業可否判定部３１６が作業可と判定した後に、選択済み部位に対する作業をロボット３Ａに開始させる構成を例示したが、これに限られない。制御実行部３１７は、選択済み部位に対する作業をロボット３Ａに途中まで遂行させた後にロボット３Ａを一時停止させ、作業可否判定部３１６が作業可と判定するのを待機してもよい。

【0066】

制御実行部３１７は、予め生成された動作プログラムに基づくことなく、ワーク９０の現在位置に応じた動作プログラムをリアルタイムで生成し、生成した動作プログラムに基づいてロボット３Ａを制御してもよい。この場合、プログラム修正部３１３及び修正済みプログラム保持部３１４は省略可能となる。

【0067】

ロボットコントローラ３００Ａと同様に、ロボットコントローラ３００Ｂは、ワーク９０の現在位置に基づいて、ワーク９０と共に移動するインタロック領域を特定することと、ロボット３Ｂによるワーク９０に対する作業可否を、インタロック領域がロボット３Ｂ以外の他の物体の占有領域と重複しているか否かに基づいて判定することと、作業可と判定した場合、ワーク９０の現在位置に基づいてワーク９０に対し作業するようにロボット３Ｂを制御することと、を実行するように構成されている。

【0068】

ロボットコントローラ３００Ｃは、ワーク９０の現在位置に基づいて、ワーク９０と共に移動するインタロック領域を特定することと、ロボット３Ｃによるワーク９０に対する作業可否を、インタロック領域がロボット３Ｃ以外の他の物体の占有領域と重複しているか否かに基づいて判定することと、作業可と判定した場合、ワーク９０の現在位置に基づいてワーク９０に対し作業するようにロボット３Ｃを制御することと、を実行するように構成されている。

【0069】

ロボットコントローラ３００Ｂ，３００Ｃの具体的な構成はロボットコントローラ３００Ａと共通である。よって、ロボットコントローラ３００Ｂ，３００Ｃについての詳細な説明は省略する。

【0070】

図１２は、環境特定装置２００及びロボットコントローラ３００のハードウェア構成を例示するブロック図である。図１２に示すように、環境特定装置２００は、回路２９０を有する。回路２９０は、一つ又は複数のプロセッサ２９１と、メモリ２９２と、ストレージ２９３と、通信ポート２９４と、入出力ポート２９５とを含む。ストレージ２９３は、例えば不揮発性の半導体メモリ等、コンピュータによって読み取り可能な記憶媒体を有する。ストレージ２９３は、搬送装置２におけるワーク９０の現在位置と、ワーク９０の近傍における１以上の物体の占有領域とを特定することを環境特定装置２００に実行させるためのプログラムを記憶している。例えばストレージ２９３は、上述した各機能ブロックを環境特定装置２００に構成させるためのプログラムを記憶している。

【0071】

メモリ２９２は、ストレージ２９３の記憶媒体からロードしたプログラム及びプロセッサ２９１による演算結果を一時的に記憶する。プロセッサ２９１は、メモリ２９２と協働して上記プログラムを実行することで、環境特定装置２００の各機能ブロックを構成する。通信ポート２９４は、プロセッサ２９１からの指令に従って、ネットワーク回線ＮＷを介して、ロボットコントローラ３００との間で通信を行う。入出力ポート２９５は、プロセッサ２９１からの指令に従って、輝度カメラ７及び距離カメラ８との間で情報の入出力を行う。

【0072】

ロボットコントローラ３００は、回路３９０を有する。回路３９０は、一つ又は複数のプロセッサ３９１と、メモリ３９２と、ストレージ３９３と、通信ポート３９４と、ドライバ回路３９５とを含む。ストレージ３９３は、例えば不揮発性の半導体メモリ等、コンピュータによって読み取り可能な記憶媒体を有する。ストレージ３９３は、ワーク９０の現在位置に基づいて、ワーク９０と共に移動するインタロック領域を特定することと、ロボット３Ａ，３Ｂ，３Ｃによるワーク９０に対する作業可否を、インタロック領域がロボット３Ａ，３Ｂ，３Ｃ以外の他の物体の占有領域と重複しているか否かに基づいて判定することと、作業可と判定した場合、ワーク９０の現在位置に基づいてワーク９０に対し作業するようにロボット３Ａ，３Ｂ，３Ｃを制御することと、をロボットコントローラ３００に実行させるためのプログラムを記憶している。例えばストレージ３９３は、上述した各機能ブロックをロボットコントローラ３００に構成させるためのプログラムを記憶している。

【0073】

メモリ３９２は、ストレージ３９３の記憶媒体からロードしたプログラム及びプロセッサ３９１による演算結果を一時的に記憶する。プロセッサ３９１は、メモリ３９２と協働して上記プログラムを実行することで、ロボットコントローラ３００の各機能ブロックを構成する。通信ポート３９４は、プロセッサ３９１からの指令に従って、ネットワーク回線ＮＷを介して、環境特定装置２００との間で通信を行う。ドライバ回路３９５は、プロセッサ３９１からの指令に従って、ロボット３Ａ，３Ｂ，３Ｃに駆動電力を出力する。

【0074】

なお、回路２９０，３９０は、必ずしもプログラムにより各機能を構成するものに限られない。例えば回路２９０，３９０は、専用の論理回路又はこれを集積したＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）により少なくとも一部の機能を構成してもよい。

【0075】

〔制御手順〕
続いて、制御方法の一例として、制御システム１００が実行する制御手順を例示する。この手順は、環境特定装置２００が実行する環境特定手順と、ロボットコントローラ３００が実行するロボット制御手順とを含む。以下、各手順を詳細に例示する。

【0076】

（環境特定手順）
図１３に示すように、環境特定装置２００は、ステップＳ０１，Ｓ０２，Ｓ０３を実行する。ステップＳ０１では、画像データ取得部２１１が、環境撮像装置６が生成した環境画像データを取得する。ステップＳ０２では、ワーク位置検出部２１３が、環境画像データに基づいて、ワーク９０の現在位置を特定する。ステップＳ０３では、占有領域検出部２１４が、環境画像データに基づいて、１以上の物体の占有領域を特定する。環境特定装置２００は、以上の手順を繰り返す。

【0077】

（ロボット制御手順）
ロボット制御手順は、ロボットコントローラ３００Ａ，３００Ｂ，３００Ｃで共通である。そこで、以下においては、ロボットコントローラ３００Ａが実行するロボット制御手順のみを説明し、ロボットコントローラ３００Ｂ，３００Ｃが実行するロボット制御手順の説明は省略する。

【0078】

この手順は、ワーク９０の現在位置に基づいて、ワーク９０と共に移動するインタロック領域を特定することと、ロボット３Ａによるワーク９０に対する作業可否を、インタロック領域がロボット３Ａ以外の他の物体の占有領域と重複しているか否かに基づいて判定することと、作業可と判定した場合、ワーク９０の現在位置に基づいてワーク９０に対し作業するようにロボット３Ａを制御することと、を含む。

【0079】

図１４に示すように、ロボットコントローラ３００は、まずステップＳ１１，Ｓ１２，Ｓ１３，Ｓ１４，Ｓ１５を実行する。ステップＳ１１では、作業対象選択部３１２が、進捗記憶部２１６が記憶する進捗情報と、ワーク位置検出部２１３が特定したワーク９０の現在位置と、ロボット３Ａの現在位置とに基づいて、２以上の管轄部位のうちいずれかを選択する。ステップＳ１２では、作業対象選択部３１２が、選択済み部位を「予約あり」に変更することを進捗管理部２１７に要求する。進捗管理部２１７は、選択済み部位を「予約あり」にするように、進捗記憶部２１６の進捗情報を更新する。ステップＳ１３では、プログラム修正部３１３が、ワーク９０の現在位置に基づいて、選択済み部位に対する動作プログラムを修正する。

【0080】

ステップＳ１４では、インタロック領域特定部３１５が、ワーク９０の現在位置に基づいて、ワーク９０と共に移動するインタロック領域を特定する。ステップＳ１５では、インタロック領域が、ロボット３Ａ以外の他の物体（例えばロボット３Ｂ，３Ｃ又は作業者９）の占有領域と重複しているか否かに基づいて、ロボット３Ａによるワーク９０に対する作業可否を作業可否判定部３１６が判定する。

【0081】

ステップＳ１５において、ロボット３Ａによるワーク９０に対する作業が可でないと判定した場合、ロボットコントローラ３００は処理をステップＳ１３に戻す。以後、ロボット３Ａによるワーク９０に対する作業が可であると判定されるまで、ワーク９０の現在位置に基づく動作プログラムの修正と、ワーク９０の現在位置に基づくインタロック領域の特定と、作業可否の判定とが繰り返される。

【0082】

ステップＳ１５において、ロボット３Ａによるワーク９０に対する作業が可であると判定した場合、ロボットコントローラ３００は、所定の制御周期で、修正済みプログラムに基づくロボット３Ａの制御を繰り返し実行する。

【0083】

まず、ロボットコントローラ３００は、ステップＳ２１，Ｓ２２を実行する。ステップＳ２１では、制御実行部３１７が、修正済みプログラムに基づいて、現在の制御周期における先端部１８の目標位置・目標姿勢を算出する。ステップＳ２２では、制御実行部３１７が、先端部１８が所定の微調開始位置に到達しているか否かを確認する。一例として、微調開始位置は、選択済み部位の少なくとも一部が作業対象画像データに含まれる位置とされている。

【0084】

ステップＳ２２において、先端部１８が微調開始位置に到達していないと判定した場合、ロボットコントローラ３００は、ステップＳ２５，Ｓ２６を実行する。ステップＳ２５では、制御実行部３１７が、算出済みの目標位置・目標姿勢に先端部１８を追従させるように、アクチュエータ４１，４２，４３，４４，４５，４６により関節３１，３２，３３，３４，３５，３６を駆動する。ステップＳ２６では、制御実行部３１７が、動作プログラムの全てのモーション指令に従った制御が完了したか否かを確認する。

【0085】

ステップＳ２６において、動作プログラムの一部のモーション指令に従った制御が完了していないと判定した場合、ロボットコントローラ３００は処理をステップＳ２１に戻す。以後、全てのモーション指令に従った制御が完了するまでは、修正済みプログラムに基づくロボット３Ａの制御が上記制御周期で繰り返される。

【0086】

この繰り返しにおいて、ステップＳ２２において先端部１８が微調開始位置に到達していると判定した場合、ロボットコントローラ３００は、ステップＳ２５の前にステップＳ２３，Ｓ２４を実行する。ステップＳ２３では、作業対象位置検出部３１８が、作業対象カメラ５１が生成した作業対象画像データを取得する。ステップＳ２４では、制御実行部３１７が、作業対象画像データに基づいて、選択済み部位に対する先端部１８の位置・姿勢のずれを特定し、特定したずれを縮小するように先端部１８の目標位置・目標姿勢を補正する。以後、全てのモーション指令に従った制御が完了するまでは、修正済みプログラムと、作業対象画像データとに基づくロボット３Ａの制御が上記制御周期で繰り返される。

【0087】

ステップＳ２６において、動作プログラムの全てのモーション指令に従った制御が完了したと判定した場合、ロボットコントローラ３００はステップＳ２７を実行する。ステップＳ２７では、作業対象選択部３１２が、選択済み部位を「済み」に変更することを進捗管理部２１７に要求する。進捗管理部２１７は、選択済み部位を「済み」にするように、作業可否判定部３１６の進捗情報を更新する。以上でロボット制御手順が完了する。

【0088】

〔本実施形態の効果〕
以上に説明したように、ロボットシステム１は、ワーク９０を搬送する搬送装置２と、ワーク９０の現在位置と、１以上の物体の占有領域とを特定する環境特定装置２００と、ワーク９０に対し作業するようにロボット３Ａ，３Ｂ，３Ｃを制御するロボットコントローラ３００と、を備え、ロボットコントローラ３００は、ワーク９０の現在位置に基づいて、ワーク９０と共に移動するインタロック領域を特定するインタロック領域特定部３１５と、インタロック領域が、ロボット３Ａ，３Ｂ，３Ｃ以外の他の物体の占有領域と重複しているか否かに基づいて、ロボット３Ａ，３Ｂ，３Ｃによるワーク９０に対する作業可否を判定する作業可否判定部３１６と、作業可否判定部３１６が作業可と判定した場合、ワーク９０の現在位置に基づいてロボット３Ａ，３Ｂ，３Ｃを制御する制御実行部３１７と、を有する。

【0089】

本ロボットシステム１は、ワーク９０と共に移動するインタロック領域が、他の物体の占有領域と干渉しているか否かに基づいて、ロボット３Ａ，３Ｂ，３Ｃによるワーク９０に対する作業可否を判定する。このため、搬送装置２に搬送されて作業対象のワーク９０が移動する状況においても、作業対象のワーク９０に対しロボットが作業を行う際に、ロボット３Ａ，３Ｂ，３Ｃが他の物体と衝突し得るかを適切に評価し、ロボット３Ａ，３Ｂ，３Ｃによる作業可否を適切に判定することができる。従って、本ロボットシステム１は、環境変化に対する柔軟な適応に有効である。

【0090】

ロボットコントローラ３００は、ワーク９０の現在位置に基づいて、予め定められた動作プログラムを修正するプログラム修正部３１３を更に備え、制御実行部３１７は、作業可否判定部３１６が作業可と判定した場合、修正後の動作プログラムに基づいて、ロボット３Ａ，３Ｂ，３Ｃを制御してもよい。作業可と判定される際のワーク９０の位置は、搬送中のいずれのタイミングで作業可となるかによって変わる。このため、作業可と判定される際のワーク９０の位置にロボット３Ａ，３Ｂ，３Ｃの動作を適応させる必要がある。これに対し、本ロボットシステム１は、予め定められた動作プログラムを、ワーク９０の現在位置に基づいて修正する。このため、作業可と判定される際のワーク９０の位置にロボット３Ａ，３Ｂ，３Ｃの動作を容易に適応させることができる。

【0091】

環境特定装置２００は、ワーク９０と共に移動する確認対象領域９３内における１以上の物体の占有領域を特定してもよい。この場合、１以上の占有領域のうち、インタロック領域との重複確認の対象となる領域を縮小することによって、ロボットコントローラ３００における処理負担を軽減することができる。

【0092】

ロボットシステム１は、ロボット３Ａ，３Ｂ，３Ｃの動作範囲と重複する動作範囲にて、ワーク９０に対し作業するようにロボット３Ａ，３Ｂ，３Ｃ（第２ロボット）を制御するロボットコントローラ３００（第２コントローラ）を更に備え、第２コントローラは、ワーク９０の現在位置に基づいて、ワーク９０と共に移動する第２インタロック領域を特定するインタロック領域特定部３１５と、第２インタロック領域が第２ロボット以外の他の物体の占有領域と重複しているか否かに基づいて、第２ロボットによるワーク９０に対する作業可否を判定する作業可否判定部（第２作業可否判定部）と、第２作業可否判定部が作業可と判定した場合、ワーク９０の現在位置に基づいて第２ロボットを制御する制御実行部３１７と、を有していてもよい。この場合、環境変化に対する柔軟な適応性を、動作範囲が互いに重複するロボット３Ａ，３Ｂ，３Ｃ同士の動作タイミングの調整にも有効活用することができる。

【0093】

ロボット３Ａ，３Ｂ，３Ｃ以外の他の物体の占有領域は、作業者９が占める人占有領域を含んでいてもよい。この場合、人とロボット３Ａ，３Ｂ，３Ｃとが協働する作業環境においても、ロボット３Ａ，３Ｂ，３Ｃによる作業可否を適切に判断することができる。

【0094】

ロボットシステム１は、搬送装置２が搬送するワークを含む対象エリアを撮影して環境画像データを生成する環境撮像装置６を更に備え、環境特定装置２００は、環境画像データに基づいて、ワーク９０の現在位置と、１以上の物体の占有領域とを特定してもよい。この場合、環境情報の信頼性を向上させることで、環境情報に基づくロボット３Ａ，３Ｂ，３Ｃの動作の信頼性も向上させることができる。

【0095】

環境撮像装置６は、対象エリアに対する距離画像データと、輝度画像データとを含む環境画像データを生成し、環境特定装置２００は、距離画像データと、輝度画像データとに基づいて、１以上の物体の占有領域を特定してもよい。この場合、距離画像データと輝度画像データとの併用により、環境情報の信頼性を更に向上させることができる。

【0096】

環境特定装置２００は、環境画像データに基づいて、ワーク９０に付されたマーカ９１を認識し、対象エリア内におけるマーカ９１の位置に基づいてワーク９０の現在位置を特定してもよい。この場合、環境画像データをワーク９０の位置の検出にも活用することができる。

【0097】

インタロック領域特定部３１５は、修正後の動作プログラムに基づいてワーク９０に対し作業を行う場合のロボット３Ａ，３Ｂ，３Ｃの占有予定領域を特定し、占有予定領域に基づいてインタロック領域を特定してもよい。この場合、より適切な第１インタロック領域を特定することで、実際には作業可であるにもかかわらず作業不可と判定してしまうことを減らし、ロボット３Ａ，３Ｂ，３Ｃの作業効率を向上させることができる。

【0098】

インタロック領域特定部３１５は、ワーク９０の現在位置に基づいて、所定のマージンをもってロボット３Ａ，３Ｂ，３Ｃの作業対象位置を取り囲むようにインタロック領域を特定してもよい。この場合、インタロック領域の特定処理を簡素化し、ロボットコントローラ３００における処理負担を軽減することができる。

【0099】

確認対象領域は、複数の区画を含み、環境特定装置２００は、１以上の物体の占有領域を複数の区画単位で特定し、インタロック領域特定部３１５は、インタロック領域を複数の区画単位で特定してもよい。この場合、１以上のロボット重複領域の特定処理と、インタロック領域の特定処理とを簡素化し、環境特定装置２００及びロボットコントローラ３００における処理負担を更に軽減することができる。

【0100】

環境特定装置２００は、距離画像データと、輝度画像データとを含む入力データに基づいて、１以上の物体の占有領域を出力するように、機械学習により生成された画像認識モデルと、新たな距離画像データ及び輝度画像データとに基づいて１以上の物体の新たな占有領域を特定してもよい。この場合、機械学習の活用により、距離画像データと輝度画像データとをより適切に併用して１以上のロボット占有領域を特定することができる。

【0101】

ロボット３Ａ，３Ｂ，３Ｃは、ロボット本体４と、ロボット本体４を保持して搬送する搬送台車５と、ロボット本体４による作業領域を撮影して作業対象画像データを生成する作業対象カメラ５１（作業対象撮像装置）と、を有し、制御実行部３１７は、作業対象画像データに更に基づいてロボット３Ａ，３Ｂ，３Ｃを制御してもよい。この場合、搬送台車５の位置ずれが生じ得る状況においても、ワーク９０に対するロボット３Ａ，３Ｂ，３Ｃの作業精度を維持することができる。

【0102】

以上、実施形態について説明したが、本開示は必ずしも上述した実施形態に限定されるものではなく、その要旨を逸脱しない範囲で様々な変更が可能である。

【符号の説明】

【0103】

１…ロボットシステム、２…搬送装置、３Ａ，３Ｂ，３Ｃ…ロボット、４…ロボット本体、５…搬送台車（台車）、６…環境撮像装置、９…作業者、５１…作業対象カメラ（作業対象撮像装置）、９０…ワーク、９１…マーカ、９３…確認対象領域、２００…環境特定装置、３００…ロボットコントローラ（コントローラ）、３１３…プログラム修正部、３１５…インタロック領域特定部、３１６…作業可否判定部、３１７…制御実行部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】