特開 2023-55063 学習システム、画像生成システム、生産システム、学習方法、及びＧＡＮ

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023055063

(43)【公開日】2023-04-17

(54)【発明の名称】学習システム、画像生成システム、生産システム、学習方法、及びＧＡＮ

(51)【国際特許分類】

   G06T 7/00 20170101AFI20230410BHJP

   G06N 20/00 20190101ALI20230410BHJP

   B25J 13/08 20060101ALI20230410BHJP

【ＦＩ】

G06T7/00 350B

G06N20/00

B25J13/08 A

【審査請求】有

【請求項の数】13

【出願形態】ＯＬ

(21)【出願番号】P 2021164164

(22)【出願日】2021-10-05

(71)【出願人】

【識別番号】000006622

【氏名又は名称】株式会社安川電機

(74)【代理人】

【識別番号】110000154

【氏名又は名称】弁理士法人はるか国際特許事務所

(72)【発明者】

【氏名】森 誠

(72)【発明者】

【氏名】増村 諒

【テーマコード（参考）】

3C707

5L096

【Ｆターム（参考）】

3C707AS04

3C707DS01

3C707KS35

3C707KT01

3C707KV01

3C707LS15

3C707LS20

3C707LV04

3C707LV05

3C707LW12

3C707LW15

5L096HA09

5L096JA03

5L096JA11

5L096KA04

(57)【要約】

【課題】実環境画像に仮想環境画像を近づけるためのＧＡＮの学習を実現する。
【解決手段】学習システム（Ｓ）の実環境画像取得部（１０１）は、複数の実対象物が配置された実環境の様子を示す実環境画像を取得する。仮想環境画像生成部（１０２）は、複数の仮想対象物が配置された仮想環境の様子を示し、実対象物の色及び実背景の色とは異なる色の仮想対象物及び仮想背景の少なくとも一方を含む仮想環境画像を生成する。ＧＡＮ学習部（１０３）は、実環境画像と、仮想環境画像と、に基づいて、仮想環境画像を実環境画像に近づけるためのＧＡＮの学習を行う。
【選択図】図７

【特許請求の範囲】

【請求項1】

複数の実対象物が配置された実環境の様子を示す実環境画像を取得する実環境画像取得部と、
複数の仮想対象物が配置された仮想環境の様子を示し、前記実対象物の色及び実背景の色とは異なる色の前記仮想対象物及び仮想背景の少なくとも一方を含む仮想環境画像を生成する仮想環境画像生成部と、
前記実環境画像と、前記仮想環境画像と、に基づいて、前記仮想環境画像を前記実環境画像に近づけるためのＧＡＮ（Generative Adversarial Networks）の学習を行うＧＡＮ学習部と、
を含む学習システム。

【請求項2】

前記仮想環境画像生成部は、互いに異なる色の前記仮想対象物及び前記仮想背景を含む前記仮想環境画像を生成する、
請求項１に記載の学習システム。

【請求項3】

前記仮想環境画像生成部は、前記実対象物の色及び前記実背景の色とは異なる複数の色を有する前記仮想対象物及び前記仮想背景の少なくとも一方を含む前記仮想環境画像を生成する、
請求項１又は２に記載の学習システム。

【請求項4】

前記学習システムは、前記実対象物の色と、前記実背景の色と、に基づいて、前記異なる色を設定する設定部を有する、
請求項１～３の何れかに記載の学習システム。

【請求項5】

前記仮想環境画像生成部は、前記実対象物の色及び前記実背景の色とは異なる色の前記仮想対象物を含む前記仮想環境画像を生成する、
請求項１～４の何れかに記載の学習システム。

【請求項6】

前記複数の実対象物には、第１の色の第１の実対象物と、第２の色の第２の実対象物と、が含まれており、
前記仮想環境画像生成部は、互いに異なる色の、前記第１の実対象物に対応する第１の仮想対象物と、前記第２の実対象物に対応する第２の仮想対象物と、を含む前記仮想環境画像を生成する、
請求項５に記載の学習システム。

【請求項7】

前記仮想環境画像生成部は、前記実対象物の色及び前記実背景の色とは異なる色の前記仮想背景を生成する、
請求項１～６の何れかに記載の学習システム。

【請求項8】

前記学習システムは、前記実対象物に対応する色の前記仮想対象物と、前記実背景に対応する色の前記仮想背景と、を含む３次元空間において、前記仮想対象物の位置が前記実対象物の位置と異なる仮想環境を生成するシミュレータを更に有し、
前記仮想環境画像生成部は、前記シミュレータが生成した前記仮想環境から前記仮想環境画像を生成する場合に、前記異なる色の前記仮想対象物及び前記仮想背景の少なくとも一方を含む前記仮想環境画像を生成する、
請求項１～７の何れかに記載の学習システム。

【請求項9】

請求項１～８の何れかに記載の学習システムと、
前記ＧＡＮ学習部により学習されたＧＡＮにより、前記学習に使用された仮想環境画像と異なる仮想環境画像を前記実環境画像に近づけた疑似環境画像を生成するＧＡＮ推論部と、
を有する画像生成システム。

【請求項10】

請求項９に記載の画像生成システムと、
前記画像生成システムにより生成された疑似環境画像と、ロボットのピッキング情報と、を含む訓練データに基づいて、前記ロボットによるピッキングを制御するためのピッキング制御モデルの学習を行うモデル学習部と、
前記ロボットによるピッキングを制御する場合に、現在の前記実環境の様子を示す現在画像を取得する現在画像取得部と、
前記現在画像と、前記ピッキング制御モデルと、に基づいて、前記ロボットを制御するロボット制御部と、
を有する生産システム。

【請求項11】

前記仮想環境画像生成部は、前記仮想対象物と前記仮想背景を区別しやすくする画像処理を実行することによって、前記仮想環境画像を生成し、
前記ＧＡＮ学習部は、前記画像処理が実行された前記仮想環境画像に基づいて、前記ＧＡＮの学習を行い、
前記生産システムは、前記画像生成システムにより生成された疑似環境画像に、前記画像処理の逆変換を実行する逆画像処理部を更に有し、
前記モデル学習部は、前記逆画像処理部で逆変換が実行された前記疑似環境画像に基づいて、前記ピッキング制御モデルの学習を行う、
請求項１０に記載の生産システム。

【請求項12】

複数の実対象物が配置された実環境の様子を示す実環境画像を取得し、
複数の仮想対象物が配置された仮想環境の様子を示し、前記実対象物の色及び実背景の色とは異なる色の前記仮想対象物及び仮想背景の少なくとも一方を含む仮想環境画像を生成し、
前記実環境画像と、前記仮想環境画像と、に基づいて、前記仮想環境画像を前記実環境画像に近づけるためのＧＡＮ（Generative Adversarial Networks）の学習を行う、
学習方法。

【請求項13】

複数の実対象物が配置された実環境の様子を示す実環境画像と、複数の仮想対象物が配置された仮想環境の様子を示し、前記実対象物の色及び実背景の色とは異なる色の前記仮想対象物及び仮想背景の少なくとも一方を含む仮想環境画像と、に基づいて学習が行われたＧＡＮ（Generative Adversarial Networks）。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、学習システム、画像生成システム、生産システム、学習方法、及びＧＡＮに関する。

【背景技術】

【0002】

ロボット等の産業装置を制御するために、機械学習を利用する技術が知られている。機械学習モデルを学習させるためには、実環境の様子を示す実環境画像である訓練画像と、産業装置の制御情報と、を含む訓練データを多数用意する必要がある。例えば、訓練データを用意する手間を軽減するために、非特許文献１に記載のＣｙｃｌｅＧＡＮを利用することが考えられる。ＣｙｃｌｅＧＡＮを利用すれば、仮想環境の様子を示す仮想環境画像を実環境画像に近づけた画像を取得できるので、実環境に近い訓練画像を、手間をかけずに用意できる。

【先行技術文献】

【非特許文献】

【0003】

【非特許文献1】Jun-Yan Zhu, Taesung Park, Phillip Isola, Alexei A. Efros, “Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks”,［ｏｎｌｉｎｅ］，２０１８年１月２４日，［令和３年９月３日検索］，インターネット＜https://arxiv.org/abs/1703.10593＞

【発明の概要】

【発明が解決しようとする課題】

【0004】

本開示の目的の１つは、例えば、実環境画像に仮想環境画像を近づけるためのＧＡＮの学習を実現することである。

【課題を解決するための手段】

【0005】

本開示の一側面に係る学習システムは、複数の実対象物が配置された実環境の様子を示す実環境画像を取得する実環境画像取得部と、複数の仮想対象物が配置された仮想環境の様子を示し、前記実対象物の色及び実背景の色とは異なる色の前記仮想対象物及び仮想背景の少なくとも一方を含む仮想環境画像を生成する仮想環境画像生成部と、前記実環境画像と、前記仮想環境画像と、に基づいて、前記仮想環境画像を前記実環境画像に近づけるためのＧＡＮ（Generative Adversarial Networks）の学習を行うＧＡＮ学習部と、を含む。

【発明の効果】

【0006】

本開示によれば、例えば、実環境画像に仮想環境画像を近づけるためのＧＡＮの学習を実現できる。

【図面の簡単な説明】

【0007】

【図1】生産システムのハードウェア構成の一例を示す図である。

【図2】生産システムにおける実環境の様子の一例を示す図である。

【図3】シミュレータが生成した仮想環境の一例を示す図である。

【図4】仮想対象物及び仮想背景が同化する場合の一例を示す図である。

【図5】ＧＡＮの学習回数とロスとの関係の一例を示す図である。

【図6】第１実施形態で実行される処理の一例を示す図である。

【図7】第１実施形態における機能の一例を示す機能ブロック図である。

【図8】生産システムで実行される処理の一例を示すフロー図である。

【図9】第４実施形態で実行される処理の一例を示す図である。

【図10】第４実施形態の機能ブロック図の一例である。

【図11】変形例２の機能ブロック図である。

【発明を実施するための形態】

【0008】

［１．第１実施形態］
本開示に係る生産システムの実施形態の一例である第１実施形態を説明する。第１実施形態では、生産システムにおいてロボットが制御される場合を例に挙げる。

【0009】

［１－１．生産システムのハードウェア構成］
図１は、生産システムのハードウェア構成の一例を示す図である。例えば、生産システムＳは、学習装置１０、コントローラ２０、ロボット３０、及びカメラ４０を含む。

【0010】

学習装置１０は、ＧＡＮ（Generative Adversarial Networks）の学習を行う装置である。ＧＡＮは、教師無し学習のアルゴリズムの一種である。第１実施形態では、ＧＡＮの一例としてＣｙｃｌｅＧＡＮを説明するが、ＳｉｎＧＡＮ、ＤＣＧＡＮ、又はＳｔｙｌｅＧＡＮといった他のＧＡＮであってもよい。第１実施形態では、ＣｙｃｌｅＧＡＮを単にＧＡＮと記載する。

【0011】

例えば、学習装置１０は、パーソナルコンピュータ、タブレット端末、スマートフォン、又はサーバコンピュータである。ＣＰＵ１１は、少なくとも１つのプロセッサを含む。記憶部１２は、揮発性メモリと、不揮発性メモリと、の少なくとも一方を含む。通信部１３は、有線通信用の通信インタフェースと、無線通信用の通信インタフェースと、の少なくとも一方を含む。操作部１４は、マウス又はキーボード等の入力デバイスである。表示部１５は、液晶ディスプレイ又は有機ＥＬディスプレイである。

【0012】

コントローラ２０は、ロボット３０を制御する装置である。ＣＰＵ２１、記憶部２２、及び通信部２３の物理的構成は、それぞれＣＰＵ１１、記憶部１２、及び通信部１３と同様であってもよい。ＣＰＵ１１，２１は、circuitryの一種である。circuitryは、ＭＰＵ、ＦＰＧＡ、又はＡＳＩＣといった他の回路であってもよい。例えば、コントローラ２０又はロボット３０には、モータエンコーダやトルクセンサといったセンサが接続されていてもよい。コントローラ２０には、カメラ４０が接続される。第１実施形態では、カメラ４０が深度センサを含む場合を説明するが、カメラ４０は、深度センサを含まなくてもよい。

【0013】

なお、各装置に記憶されるプログラムは、産業用ネットワーク、ＬＡＮ、又はインターネットといった任意のネットワークを介して供給されてもよい。また、各装置のハードウェア構成は、上記の例に限られず、種々のハードウェアを適用可能である。例えば、コンピュータ読み取り可能な情報記憶媒体を読み取る読取部（例えば、メモリカードスロット）、又は、外部機器と接続するための入出力部（例えば、ＵＳＢ端子）が含まれてもよい。この場合、情報記憶媒体に記憶されたプログラムが読取部又は入出力部を介して供給されてもよい。

【0014】

［１－２．第１実施形態の概要］
第１実施形態では、コントローラ２０が、ばら積みピッキングを行うロボット３０を制御する場合を例に挙げる。ばら積みピッキングは、不規則に配置された実対象物をピッキングすることである。実対象物は、ロボット３０による作業の対象となる物体である。実対象物は、ワークと呼ばれることもある。第１実施形態では、実対象物が部品である場合を例に挙げるが、実対象物は、製品、製品が梱包された箱、又は材料といった任意の物体であってよい。ピッキングの方法自体は、把持又は吸着といった種々の方法を利用可能である。

【0015】

図２は、生産システムＳにおける実環境の様子の一例を示す図である。実環境ＲＥは、実対象物ＲＯに対する作業が行われる環境である。例えば、実環境ＲＥは、工場等の施設内の空間である。図２の例では、実対象物ＲＯが載せられた箱が実環境ＲＥに配置されている。この箱は、カメラ４０により生成される撮影画像における背景に相当するので、以降では、箱を実背景ＲＢと記載する。なお、図２では、学習装置１０を省略しているが、学習装置１０は、通信ケーブル等によってコントローラ２０に接続可能である。

【0016】

第１実施形態では、カメラ４０の位置及び向きが固定されている場合を説明するが、カメラ４０の位置及び向きの少なくとも一方が変わってもよい。例えば、カメラ４０は、ロボット３０の作業範囲の上方に、真下を向くようにして配置される。カメラ４０の位置及び向きは、任意の位置及び向きであってよく、第１実施形態の例に限られない。例えば、カメラ４０は、斜め上から斜め下に実対象物ＲＯ及び実背景ＲＢを見下ろすような位置及び向きであってもよい。他にも例えば、ロボット３０又は他のロボットがカメラ４０を把持してもよい。

【0017】

実対象物ＲＯ及び実背景ＲＢは、カメラ４０の撮影範囲内に収まるように配置される。カメラ４０は、所定のフレームレートで連続的に撮影し、コントローラ２０に撮影画像を連続的に送信する。以降、ロボット３０を制御するために生成された撮影画像を、現在画像と記載する。コントローラ２０は、カメラ４０から受信した現在画像をピッキング制御モデルに入力し、実対象物ＲＯのピッキング情報を取得する。

【0018】

ピッキング制御モデルは、機械学習を利用したモデルである。第１実施形態では、教師有り学習のモデルが利用される場合を説明するが、半教師有り学習又は教師無し学習のモデルが利用されてもよい。ピッキング制御モデルは、種々のモデルを利用可能であり、例えば、ＣＮＮ、Ｒ－ＣＮＮ、又はマスクＲ－ＣＮＮを利用してもよい。ピッキング制御モデルは、現在画像が入力されると、畳み込み等の処理を実行してピッキング情報を出力する。

【0019】

ピッキング情報は、ロボット３０の目標位置を含む。目標位置は、ロボット３０の移動先の位置である。ピッキング情報は、目標位置以外にも、ロボット３０のハンドの向きや把持力といった他の情報を含んでもよい。コントローラ２０は、ピッキング制御モデルから出力されたピッキング情報に基づいて、ロボット３０を制御する。

【0020】

ピッキング制御モデルには、訓練用の画像と、正解となるピッキング情報と、のペアである訓練データが学習されている。訓練用の画像には、実環境ＲＥで想定されるばら積みの様子が示されている。ばら積みピッキングの精度を高めるには、種々のばら積みの様子を想定する必要があるので、多数の訓練データを用意する必要があり、非常に手間がかかる。そこで、第１実施形態では、シミュレータを利用することによって、訓練データを用意する手間を軽減する。シミュレータは、実環境ＲＥを模した仮想環境を生成するプログラムである。

【0021】

図３は、シミュレータが生成した仮想環境の一例を示す図である。第１実施形態では、仮想環境ＶＥが３次元である場合を説明するが、仮想環境ＶＥは、２次元であってもよい。仮想環境ＶＥには、３次元の座標軸（図３では、Ｘ軸、Ｙ軸、及びＺ軸）が設定される。例えば、これらの座標軸の原点Ｏは、ロボット３０の位置に対応するように設定されてもよい。仮想環境ＶＥ内の位置は、３次元座標によって特定される。仮想環境ＶＥには、仮想背景ＶＢと、仮想対象物ＶＯと、が配置される。

【0022】

仮想背景ＶＢは、実背景ＲＢである箱を模した３次元オブジェクトである。例えば、仮想背景ＶＢは、箱の３次元スキャンデータ又はＣＡＤデータに基づいて作成される。他にも例えば、３辺の長さを指定することによって箱を再現したり、直径の長さを指定することによって球状の物体を再現したりするといったように、仮想背景ＶＢは、ユーザが指定したパラメータに基づいて作成されてもよい。第１実施形態では、箱の形状及びサイズと、仮想背景ＶＢの形状及びサイズと、が同じである場合を説明するが、これらの形状及びサイズの少なくとも一方は、多少であれば異なっていてもよい。これらの形状及びサイズの少なくとも一方が異なる場合には、形状及びサイズの少なくとも一方の違いが所定範囲に収まるものとする。

【0023】

仮想対象物ＶＯは、実対象物ＲＯを模した３次元オブジェクトである。例えば、仮想対象物ＶＯは、実対象物ＲＯの３次元スキャンデータ又はＣＡＤデータに基づいて作成される。第１実施形態では、実対象物ＲＯの形状及びサイズと、仮想対象物ＶＯの形状及びサイズと、が同じである場合を説明するが、これらの形状及びサイズは、多少であれば異なっていてもよい。これらの形状及びサイズの少なくとも一方が異なる場合には、形状及びサイズの少なくとも一方の違いが所定範囲に収まるものとする。

【0024】

仮想環境ＶＥには、仮想カメラＶＣが設定される。第１実施形態では、座標軸の原点Ｏ、仮想カメラＶＣ、及び仮想背景ＶＢの位置関係と、ロボット３０、カメラ４０、及び実背景ＲＢの位置関係と、が同じである場合を説明するが、これらの位置関係は、多少であれば異なっていてもよい。これらの位置関係が異なる場合には、位置関係の違いが所定範囲に収まるものとする。

【0025】

仮想カメラＶＣの向きは、カメラ４０と同じ向きに設定される。第１実施形態では、カメラ４０の撮影方向Ｖ１が下方向なので、仮想カメラＶＣの撮影方向Ｖ２も下方向（Ｚ軸の負方向）になる。仮想カメラＶＣの撮影方向Ｖ２に、仮想背景ＶＢ及び仮想対象物ＶＯが配置される。仮想背景ＶＢの中には、任意の数の仮想対象物ＶＯが配置される。例えば、仮想対象物ＶＯの数、位置、及び向きは、ランダムに決定されてもよいし、ユーザが指定してもよい。なお、撮影方向Ｖ１及び撮影方向Ｖ２は、多少であれば異なってもよい。

【0026】

ピッキング制御モデルの精度を高めるためには、なるべく実環境ＲＥに近い訓練用の画像をピッキング制御モデルに学習させる必要がある。このため、仮想対象物ＶＯを実対象物ＲＯに近い色にして、仮想背景ＶＢを実背景ＲＢに近い色にしたうえで、仮想カメラＶＣの撮影範囲内の様子を示す仮想環境画像を生成することが考えられる。他にも例えば、仮想環境画像のうちの仮想背景ＶＢの部分を、カメラ４０で撮影した撮影画像のうちの実背景ＲＢの部分に差し替えることも考えられる。

【0027】

しかしながら、シミュレータで再現できる実環境ＲＥの精度には限度があるので、学習装置１０は、ＧＡＮを利用して、仮想環境画像を実環境ＲＥに近づけるようにしている。ＧＡＮは、カメラ４０の撮影画像を利用する。以降、この撮影画像を、実環境画像と記載する。また、ＧＡＮから出力される画像を、疑似環境画像と記載する。ＧＡＮは、仮想環境画像を実環境画像に近づけた疑似環境画像を出力する。

【0028】

この点、実対象物ＲＯの色と、実背景ＲＢの色と、が大きく異なる場合には、実対象物ＲＯ及び実背景ＲＢを明確に区別できるので、ＧＡＮから出力される疑似環境画像は、実環境ＲＥの再現度が高くなる。一方、実対象物ＲＯの色と、実背景ＲＢの色と、が似ていると、実対象物ＲＯ及び実背景ＲＢを区別しにくくなるので、ＧＡＮから出力される疑似環境画像に示された仮想対象物ＶＯが背景と同化する場合がある。カラー画像ではなく、グレースケール画像を利用する場合も同様の同化が発生する場合がある。

【0029】

図４は、仮想対象物ＶＯ及び仮想背景ＶＢが同化する場合の一例を示す図である。図４では、出願書類の都合上、各画像をグレースケールとしているが、各画像は、カラーであってもよい。図４の実環境画像ＲＩのように、実対象物ＲＯの色と、実背景ＲＢの色と、が似ていると、疑似環境画像ＩＩにおける仮想対象物ＶＯ及び仮想背景ＶＢが同化する場合がある。これらの色が同化する原因の１つとして、実環境画像ＲＩ及び仮想環境画像ＶＩに基づいてＧＡＮ１００Ｂの学習を行う場合のロス（学習誤差）が関係していることが考えられる。

【0030】

図５は、ＧＡＮ１００Ｂの学習回数とロスとの関係の一例を示す図である。ＧＡＮ１００Ｂは、生成器（Generator）及び識別器（Discriminator）の２つが存在する。本実施形態のように、ＧＡＮ１００ＢがＣｙｃｌｅＧＡＮの場合には、生成器及び識別器が２セット存在する。ＧＡＮ１００Ｂの生成器及び識別器は、交互に学習される。学習がうまくいっている場合には、生成器及び識別器の各々のロスは下がらずに、互いに拮抗した状態となる。これは、生成器は、識別器をうまく騙すほどロスが小さくなり、識別器は、生成器が生成した画像の真贋をうまく見破るほどロスが低くなるよう学習されるからである。このため、単純にロスが下がることが良い状態を意味するとは限らない。ただし、ＧＡＮ１００Ｂが十分に学習された場合に、重みが固定された識別器に対しては、ロスが低いほど高品質の画像が生成されているとみなすことはできる。

【0031】

生成器の学習フェーズでは、仮想環境画像ＶＩの仮想対象物ＶＯを実背景ＲＢ（仮想背景ＶＢ）に近づけたほうが識別器を騙せるか（即ち、ロスが下がるか）、仮想環境画像ＶＩの仮想対象物ＶＯを実際の実対象物ＲＯに近づけたほうが識別器を騙せるか（即ち、ロスが下がるか）、によって、仮想対象物ＶＯが実背景ＲＢ（仮想背景ＶＢ）に近づくか、仮想対象物ＶＯが実対象物ＲＯに近づくかが決まると考えられる。

【0032】

例えば、仮想環境画像ＶＩの仮想対象物ＶＯが実背景ＲＢに近い場合（例えば、仮想環境画像ＶＩにおいて、実背景ＲＢの色、仮想対象物ＶＯの色、実対象物ＲＯの色の順に並ぶ場合）、学習フェーズの序盤から識別器をうまく騙すことができてしまい、ロスが比較的小さくなることがある。この場合、ＧＡＮ１００Ｂの重みの更新量が小さくなり、局所解（即ち、仮想対象物ＶＯの色を実背景ＲＢの色に近づけること）に陥りやすくなる。一方、実背景ＲＢの色と、仮想対象物ＶＯの色と、が大きく異なる場合（例えば、仮想環境画像ＶＩにおいて、実背景ＲＢの色、実対象物ＲＯの色、仮想対象物ＶＯの色の順に並ぶ場合）には、学習フェーズの序盤は識別器をうまく騙すことができず、ロスが比較的大きくなることがある。この場合、ＧＡＮ１００Ｂの重みの更新量が大きくなるため、学習フェーズの序盤で谷を越えやすくなると思われる。

【0033】

図５のように、実環境画像ＲＩと、仮想環境画像ＶＩと、に基づいて、ＧＡＮ１００Ｂの学習が繰り返し実行されてロスが変化する。序盤の学習回数ｎ１の時点では、まだロスが大きいので、仮想対象物ＶＯは実対象物ＲＯの色に近づかない。ロスが小さくなるにつれて、仮想対象物ＶＯの色が実対象物ＲＯの色に近づく。

【0034】

例えば、学習回数ｎ２の時点では、先述した局所解に陥った状態になり、仮想対象物ＶＯは、実対象物ＲＯ及び実背景ＲＢの中間色になることがある。この状態だと、図４のように仮想対象物ＶＯ及び仮想背景ＶＢが同化する場合がある。学習回数ｎ３の時点では、学習回数ｎ２のような谷の部分を超えており、仮想対象物ＶＯの色が実対象物ＲＯの色にかなり近づく。この状態になれば、仮想対象物ＶＯ及び仮想背景ＶＢを区別でき、かつ、実環境ＲＥに近い状態の疑似環境画像ＩＩになる。

【0035】

上記のように、学習フェーズの序盤で谷を越えることができなければ、仮想対象物ＶＯの色が、実対象物ＲＯの色ではなく、実対象物ＲＯ及び実背景ＲＢの中間色又は実背景ＲＢに近い色になることがある。図５の例であれば、学習回数ｎ２のようなロスの曲線における谷を超えることができなければ、図４の疑似環境画像ＩＩのように、仮想対象物ＶＯ及び仮想背景ＶＢが同化する場合がある。一方、ロスの曲線における谷を越えることができれば、仮想対象物ＶＯ及び仮想背景ＶＢが同化するといったことを防止できると考えられる。

【0036】

この点、ロスの曲線における谷を越えるためには、学習の序盤において、あえてロスが大きくなるような仮想環境画像ＶＩを生成し（図５における学習回数ｎ１をより高い位置から落とすような慣性を与え）、学習の序盤でロスの谷にはまることを防止すれば、ロスの曲線における谷に入る前のロスの変化が大きくなる。谷に入る前のロスの変化が大きいと、その付近で学習が落ち着く（ＧＡＮ１００Ｂが実環境ＲＥを十分に再現できているとみなしてしまう）ことがなくなるので、谷を越えることができると考えられる。例えば、このような学習は、モメンタム項を有するオプティマイザ（例えば、Ａｄａｍと呼ばれる、完成の性質を取り入れた手法）により実現可能である。一方、学習の序盤における学習量が少なければ、ロスの曲線の傾きが緩やかになり、谷付近のロスで学習が落ち着いてしまい、ロスの曲線の谷を越えることができない可能性がある。そこで、第１実施形態では、特に学習の序盤における学習量が多くなるように、仮想対象物ＶＯの色を、あえて実対象物ＲＯとは大きく異なる色になるようにしている。

【0037】

図６は、第１実施形態で実行される処理の一例を示す図である。図６の仮想環境画像ＶＩのように、第１実施形態では、仮想対象物ＶＯの色と、実対象物ＲＯの色と、は大きく異なる。その結果、仮想対象物ＶＯの色と、仮想背景ＶＢの色と、も大きく異なる。例えば、実対象物ＲＯ及び実背景ＲＢがグレー色だったとすると、仮想対象物ＶＯを黄色にして、仮想背景ＶＢをグレー色にする。これにより、学習の序盤でロスの曲線における谷を越えることができる。このため、実環境画像ＲＩに仮想環境画像ＶＩを近づけるようなＧＡＮ１００Ｂの学習を実現できる。以降、第１実施形態の詳細を説明する。

【0038】

［１－３．第１実施形態における機能］
図７は、第１実施形態における機能の一例を示す機能ブロック図である。

【0039】

［１－３－１．学習装置の機能］
データ記憶部１００は、記憶部１２を主として実現される。実環境画像取得部１０１、仮想環境画像生成部１０２、ＧＡＮ学習部１０３、ＧＡＮ推論部１０４、訓練データ生成部１０５、及びモデル学習部１０６は、ＣＰＵ１１を主として実現される。

【0040】

［データ記憶部］
データ記憶部１００は、シミュレータ１００Ａを記憶する。例えば、シミュレータ１００Ａは、実対象物ＲＯに対応する色の仮想対象物ＶＯと、実背景ＲＢに対応する色の仮想背景ＶＢと、を含む３次元空間において、仮想対象物ＶＯの位置が実対象物ＲＯの位置と異なる仮想環境ＶＥを生成する。この仮想環境ＶＥは、図４の仮想環境画像ＶＩに示された仮想環境ＶＥとなる。

【0041】

実対象物ＲＯに対応する色とは、実対象物ＲＯと同じ色、又は、実対象物ＲＯと似ている色である。色が似ているとは、数値化した色の数値の差が閾値未満のことである。色をベクトル形式で表現する場合には、ベクトル空間における距離が閾値未満であることは、色が似ていることに相当する。例えば、同系色であることは、色が似ていることに相当する。実背景ＲＢに対応する色とは、実背景ＲＢと同じ色、又は、実背景ＲＢと似た色である。

【0042】

実背景ＲＢは、実環境画像ＲＩに示された物体のうち、実対象物ＲＯ以外の物体である。例えば、実背景ＲＢは、カメラ４０の撮影範囲にある物体のうち、実対象物ＲＯよりもカメラから遠い位置にある物体である。実背景ＲＢは、箱以外の物体であってもよい。例えば、箱以外の容器、シート、ベルトコンベア、又は机の上に実対象物ＲＯが配置される場合、箱以外の容器、シート、ベルトコンベア、又は机が実背景ＲＢに相当する。また、複数の物体の組み合わせが実背景ＲＢに相当してもよい。

【0043】

仮想背景ＶＢは、仮想環境画像ＶＩに示された仮想的な物体のうち、仮想対象物ＶＯ以外の物体である。第１実施形態では、３次元オブジェクトが仮想的な物体に相当するが、仮想環境ＶＥが２次元であれば、平面的な画像が仮想的な物体に相当する。例えば、仮想背景ＶＢは、仮想カメラＶＣの撮影範囲にある仮想的な物体のうち、仮想対象物ＶＯよりも仮想カメラＶＣから遠い位置にある物体である。仮想背景ＶＢは、箱以外の物体であってもよい。例えば、箱以外の容器、シート、ベルトコンベア、又は机を模した仮想的な物体の上に仮想対象物ＶＯが配置される場合、箱以外の容器、シート、ベルトコンベア、又は机を模した仮想的な物体が仮想背景ＶＢに相当する。

【0044】

例えば、データ記憶部１００は、仮想対象物ＶＯ及び仮想背景ＶＢの各々の色に関する色情報を記憶する。色情報には、色だけではなく、必要に応じて模様パターンが示されてもよい。例えば、色情報は、テクスチャであってもよい。仮想対象物ＶＯ及び仮想背景ＶＢは、単色であってもよいし、複数色であってもよい。仮想対象物ＶＯ及び仮想背景ＶＢの各々の色は、ユーザにより指定されてもよいし、実環境画像ＲＩから取得されてもよい。仮想対象物ＶＯ及び仮想背景ＶＢの各々の色は、シミュレータ１００Ａに予め定められたデフォルトの色であってもよい。

【0045】

データ記憶部１００は、学習前のＧＡＮ１００Ｂを記憶する。データ記憶部１００は、ＧＡＮ１００Ｂに含まれるパラメータ及びプログラムといったデータを記憶する。データ記憶部１００に記憶されたＧＡＮ１００Ｂは、ＧＡＮ学習部１０３により学習が行われる。ＧＡＮ学習部１０３による学習が行われた場合、データ記憶部１００は、学習済みのＧＡＮ１００Ｂを記憶する。

【0046】

データ記憶部１００は、学習前のピッキング制御モデル１００Ｃを記憶する。データ記憶部１００は、ピッキング制御モデル１００Ｃに含まれるパラメータ及びプログラムといったデータを記憶する。データ記憶部１００に記憶されたピッキング制御モデル１００Ｃは、モデル学習部１０６により学習が行われる。モデル学習部１０６による学習が行われた場合、データ記憶部１００は、学習済みのピッキング制御モデル１００Ｃを記憶する。

【0047】

データ記憶部１００は、訓練データベース１００Ｄを記憶する。訓練データベース１００Ｄには、複数の訓練データが格納される。個々の訓練データは、先述した通りである。訓練データは、訓練データ生成部１０５により生成される。データ記憶部１００は、仮想対象物ＶＯ及び仮想背景ＶＢのデータ、コントローラ２０の設定をするためのエンジニアリングツールといった他の任意のデータも記憶可能である。

【0048】

［実環境画像取得部］
実環境画像取得部１０１は、複数の実対象物ＲＯが配置された実環境ＲＥの様子を示す実環境画像ＲＩを取得する。第１実施形態では、カメラ４０により実環境画像ＲＩが生成される場合を説明するが、他のカメラにより実環境画像ＲＩが生成されてもよい。実環境画像取得部１０１は、カメラ４０から直接的に実環境画像ＲＩを取得してもよいし、コントローラ２０、他の装置、又は情報記憶媒体に記録された実環境画像ＲＩを取得してもよい。

【0049】

［仮想環境画像生成部］
仮想環境画像生成部１０２は、複数の仮想対象物ＶＯが配置された仮想環境ＶＥの様子を示し、実対象物ＲＯの色及び実背景ＲＢの色とは異なる色の仮想対象物ＶＯ及び仮想背景ＶＢの少なくとも一方を含む仮想環境画像ＶＩを生成する。色が異なるとは、色が同じではないこと、又は、色が似ていないことを意味する。

【0050】

第１実施形態では、実対象物ＲＯの色及び実背景ＲＢの色と、仮想対象物ＶＯの色と、が異なり、かつ、実背景ＲＢの色と、仮想背景ＶＢの色と、が似ている場合を例に挙げる。このため、仮想環境画像生成部１０２は、互いに異なる色の仮想対象物ＶＯ及び仮想背景ＶＢを含む仮想環境画像ＶＩを生成する。仮想環境画像生成部１０２は、実対象物ＲＯの色及び実背景ＲＢの色とは異なる色の仮想対象物ＶＯを含む仮想環境画像ＶＩを生成するということもできる。なお、実背景ＲＢの色と、仮想背景ＶＢの色と、が似ているので、結果的に、実対象物ＲＯの色と、仮想背景ＶＢの色と、も似ていることになる。

【0051】

仮想対象物ＶＯには、予め色が設定されていてもよいし、仮想環境画像生成部１０２が仮想対象物ＶＯに色を設定してもよい。例えば、仮想環境画像生成部１０２は、色が設定されていない仮想対象物ＶＯに対し、データ記憶部１００に記憶された色情報に基づいて、色を設定してもよい。色情報がテクスチャを示す場合には、テクスチャマッピングによって、仮想対象物ＶＯの表面にテクスチャを設定すればよい。実対象物ＲＯに対応する色が仮想対象物ＶＯにデフォルトで設定されている場合には、仮想環境画像生成部１０２は、仮想対象物ＶＯに設定された色を変更すればよい。仮想背景ＶＢも同様に、予め仮想背景ＶＢに色が設定されていてもよいし、仮想環境画像生成部１０２が仮想背景ＶＢに色を設定してもよい。

【0052】

例えば、実対象物ＲＯ及び実背景ＲＢが無彩色だったとすると、仮想環境画像生成部１０２は、有彩色の仮想対象物ＶＯと、無彩色の仮想背景ＶＢと、を含む仮想環境画像ＶＩを生成してもよい。実対象物ＲＯ及び実背景ＲＢがグレー系統の色だったとすると、仮想環境画像生成部１０２は、グレー色とはかけ離れた黄色の仮想対象物ＶＯと、グレー系統の色の仮想背景ＶＢと、を含む仮想環境画像ＶＩを生成する。

【0053】

逆に、実対象物ＲＯ及び実背景ＲＢが有彩色だったとすると、仮想環境画像生成部１０２は、無彩色の仮想対象物ＶＯと、有彩色の仮想背景ＶＢと、を含む仮想環境画像ＶＩを生成してもよい。例えば、実対象物ＲＯ及び実背景ＲＢが緑系統の色だったとすると、仮想環境画像生成部１０２は、緑系統の色とはかけ離れたグレー色の仮想対象物ＶＯと、緑系統の色の仮想背景ＶＢと、を含む仮想環境画像ＶＩを生成する。

【0054】

なお、仮想対象物ＶＯの色は、上記の例に限られず、仮想背景ＶＢと十分に区別できる色であればよい。また、色の類否は、公知のカラーパレットツール等で定義された類似色に応じて定めてもよい。例えば、仮想環境画像生成部１０２は、実対象物ＲＯ及び実背景ＲＢが互いに反対色となるように、仮想環境画像ＶＩを生成してもよい。反対色は、補色、余色、又は対象色と呼ばれることもある。

【0055】

第１実施形態では、シミュレータ１００Ａが仮想環境ＶＥを生成するので、仮想環境画像生成部１０２は、シミュレータ１００Ａが生成した仮想環境ＶＥから仮想環境画像ＶＩを生成する場合に、異なる色の仮想対象物ＶＯ及び仮想背景ＶＢの少なくとも一方を含む仮想環境画像ＶＩを生成する。仮想環境画像生成部１０２の処理は、シミュレータ１００Ａの処理の一部として実行されてもよい。仮想環境画像生成部１０２は、所定の座標変換処理を実行することによって、シミュレータ１００Ａが生成した仮想環境ＶＥのうち、仮想カメラＶＣの撮影範囲内の様子を示す仮想環境画像ＶＩを生成する。

【0056】

仮想環境画像生成部１０２は、ＧＡＮ１００Ｂの学習用の仮想環境画像ＶＩと、訓練データの生成用（ＧＡＮ１００Ｂの推論用）の仮想環境画像ＶＩと、を生成する。学習用の仮想環境画像ＶＩと、訓練データの生成用の仮想環境画像ＶＩと、は仮想環境ＶＥにおける仮想対象物ＶＯの数、位置、及び姿勢の少なくとも１つが異なる。例えば、シミュレータは、仮想対象物ＶＯの数、位置、及び姿勢の少なくとも１つをランダムに決定することによって、学習用の仮想環境画像ＶＩと、訓練データの生成用の仮想環境画像ＶＩと、を異ならせる。ユーザが、仮想対象物ＶＯの数、位置、及び姿勢の少なくとも１つを指定してもよい。仮想環境画像生成部１０２は、ＧＡＮ１００Ｂの学習用の仮想環境画像ＶＩと、訓練データの生成用の仮想環境画像ＶＩと、をそれぞれ少なくとも１枚生成すればよく、これらの枚数は任意であってよい。例えば、訓練データの生成用の仮想環境画像ＶＩは、数十枚～数千枚又はそれ以上生成されてもよい。

【0057】

［ＧＡＮ学習部］
ＧＡＮ学習部１０３は、実環境画像取得部１０１により取得された実環境画像ＲＩと、仮想環境画像生成部１０２により生成された仮想環境画像ＶＩと、に基づいて、仮想環境画像ＶＩを実環境画像ＲＩに近づけるためのＧＡＮ１００Ｂの学習を行う。第１実施形態では、ＧＡＮ学習部１０３は、仮想環境画像ＶＩが実環境画像ＲＩに近づけるＧＡＮ１００Ｂになるように、ＧＡＮ１００Ｂの学習を行う。

【0058】

なお、ＧＡＮ１００Ｂの学習自体は、公知の教師無し学習の手法を利用すればよい。例えば、ＧＡＮ１００ＢがＣｙｃｌｅＧＡＮである場合には、先述したように、ＧＡＮ学習部１０３は、生成器及び識別器を２セット含み、生成器及び識別器を交互に学習させることによって、ＧＡＮ１００Ｂの学習を行う。ＧＡＮ学習部１０３は、予め定められた回数だけ学習を繰り返してもよいし、ユーザがＧＡＮ１００Ｂから出力された疑似環境画像ＶＩを視認して十分な精度になった場合に学習を終了してもよい。他にも例えば、Inception Score又はFIDと呼ばれるスコアを利用して学習の終了が判定されてもよい。

【0059】

［ＧＡＮ推論部］
ＧＡＮ推論部１０４は、ＧＡＮ学習部１０３により学習されたＧＡＮ１００Ｂにより、学習に使用された仮想環境画像ＶＩと異なる仮想環境画像ＶＩを実環境画像ＲＩに近づけた疑似環境画像ＩＩを生成する。学習に使用された仮想環境画像ＶＩは、先述した学習用の仮想環境画像ＶＩである。この仮想環境画像ＶＩと異なる仮想環境画像ＶＩは、先述した訓練データの生成用の仮想環境画像ＶＩである。

【0060】

ＧＡＮ推論部１０４は、仮想環境画像ＶＩをＧＡＮ１００Ｂに入力して疑似環境画像ＩＩを生成させ、ＧＡＮ１００Ｂから出力された疑似環境画像ＩＩを取得する。例えば、仮想環境画像生成部１０２が、訓練データの生成用の仮想環境画像ＶＩをｎ（ｎは自然数）枚生成したとすると、ＧＡＮ推論部１０４は、ｎ枚の仮想環境画像ＶＩの各々をＧＡＮ１００Ｂに入力し、ｎ枚の疑似環境画像ＩＩを生成する。

【0061】

［訓練データ生成部］
訓練データ生成部１０５は、ＧＡＮ推論部１０４により生成された疑似環境画像ＩＩに基づいて、ピッキング制御モデル１００Ｃに学習させる訓練データを生成する。訓練データ生成部１０５は、ＧＡＮ推論部１０４により生成された疑似環境画像ＩＩをそのまま訓練用の画像として取得してもよいし、階調処理等の画像処理を施した疑似環境画像ＩＩを訓練用の画像として取得してもよい。訓練データ生成部１０５は、疑似環境画像ＩＩに対応するピッキング情報を取得し、疑似環境画像ＩＩ及びピッキング情報のペアを、訓練データとして生成して訓練データベース１００Ｄに格納する。

【0062】

例えば、訓練データ生成部１０５は、仮想環境ＶＥの状況を解析することによって、ピッキング情報を取得する。この解析方法自体は、任意の方法であってよい。例えば、訓練データ生成部１０５は、仮想環境ＶＥにおける仮想対象物ＶＯの位置を示す３次元座標を取得する。この位置は、仮想対象物ＶＯの表面、内部、又は周囲の位置であってよい。この位置は、仮想対象物ＶＯの重心に基づいて定まる位置であってもよい。ピッキング情報の３次元座標は、仮想環境ＶＥの座標軸における座標であってもよいし、仮想カメラＶＣを基準とした座標であってもよい。ピッキング情報は、上記説明した解析的な方法によって取得されるのではなく、ユーザにより指定されてもよい。

【0063】

なお、ピッキング情報は、複数の実対象物ＲＯの各々に対するピッキングの位置等の上方を含んでもよい。即ち、１つの疑似環境画像ＩＩに対し、複数の実対象物ＲＯを次々と連続的にピッキングするためのピッキング位置等を含むピッキング情報が関連付けられてもよい。この場合には、ピッキング情報には、ピッキング位置等が時系列的に示されているものとする。この場合も、個々のピッキング位置等は、シミュレータ１００Ａが生成した仮想環境ＶＥを解析することによって取得されてもよいし、ユーザにより指定されてもよい。

【0064】

［モデル学習部］
モデル学習部１０６は、ＧＡＮ推論部１０４により生成された疑似環境画像ＩＩと、ロボットのピッキング情報と、を含む訓練データに基づいて、ロボットによるピッキングを制御するためのピッキング制御モデル１００Ｃの学習を行う。学習自体は、教師有り学習で利用される公知の学習方法を利用すればよい。例えば、モデル学習部１０６は、誤差逆伝播法や勾配降下法といった手法を利用して、疑似環境画像ＩＩが入力された場合に、疑似環境画像ＩＩに対応するピッキング情報が出力されるように、ピッキング制御モデル１００Ｃの学習を行う。モデル学習部１０６は、学習済みのピッキング制御モデル１００Ｃをデータ記憶部１００に記録する。このピッキング制御モデル１００Ｃは、コントローラ２０のデータ記憶部２００にも記録される。

【0065】

［１－３－２．コントローラの機能］
データ記憶部２００は、記憶部２２を主として実現される。現在画像取得部２０１及びロボット制御部２０２は、ＣＰＵ２１を主として実現される。

【0066】

［データ記憶部］
データ記憶部２００は、ロボット３０を制御するために必要なデータを記憶する。例えば、データ記憶部２００は、学習済みのピッキング制御モデル２００Ａを記憶する。このピッキング制御モデル２００Ａは、学習装置１０のデータ記憶部１００に記憶された学習済みのピッキング制御モデル１００Ｃと同じである。データ記憶部２００は、ロボット３０の動作手順が定義されたプログラムと、ロボット３０の制御で利用されるパラメータと、を記憶する。

【0067】

［現在画像取得部］
現在画像取得部２０１は、ロボット３０によるピッキングを制御する場合に、現在の実環境ＲＥの様子を示す現在画像を取得する。現在画像取得部２０１は、カメラ４０から現在画像を取得する。第１実施形態では、実環境画像ＲＩもカメラ４０から取得されるが、実環境画像ＲＩがＧＡＮ１００Ｂの学習で用いられるのに対し、現在画像は、ロボット３０の制御で用いられる点で異なる。現在画像取得部２０１がカメラ４０から直接的に現在画像を取得する場合を説明するが、現在画像取得部２０１は、他の装置を介して現在画像を取得してもよい。

【0068】

［ロボット制御部］
ロボット制御部２０２は、現在画像と、ピッキング制御モデル２００Ａと、に基づいて、ロボット３０を制御する。ロボット制御部２０２は、現在画像をピッキング制御モデル２００Ａに入力し、ピッキング制御モデル２００Ａから出力されたピッキング情報を取得する。例えば、ロボット制御部２０２は、当該取得されたピッキング情報が示す目標位置にロボット３０が移動するように、ロボット３０を制御する。

【0069】

なお、所定の目標位置にロボット３０を移動させる方法自体は、公知の方法を利用可能である。例えば、ロボット制御部２０２は、ロボット３０の現在位置からピッキング情報までのパスを計算し、当該計算されたパス上を移動するように、ロボット３０を制御する。ロボット３０のハンドの向き及び把持力がピッキング情報に示される場合には、ロボット制御部２０２は、この向き及び把持力に基づいて、ロボット３０を制御する。ピッキング情報が、複数の実対象物ＲＯの各々に対するピッキングの位置等の上方を含む場合には、ロボット制御部２０２は、ピッキング情報に基づいて、複数の実対象物ＲＯを次々と連続的にピッキングするように、ロボット３０を制御する。

【0070】

［１－４．生産システムで実行される処理］
図８は、生産システムＳで実行される処理の一例を示すフロー図である。図８の処理は、ＣＰＵ１１，２１がそれぞれ記憶部１２，２２に記憶されたプログラムに基づいて動作することによって実行される。図８のように、学習装置１０は、カメラ４０により生成された実環境画像ＲＩを取得する（Ｓ１）。学習装置１０は、シミュレータ１００Ａを起動し、ＧＡＮ１００Ｂの学習用の仮想環境画像ＶＩを生成する（Ｓ２）。Ｓ２では、学習装置１０は、シミュレータ１００Ａで仮想環境ＶＥを生成し、実対象物ＲＯ、実背景ＲＢ、及び仮想背景ＶＢとは異なる色の仮想対象物ＶＯと、実背景ＲＢに対応する色の仮想背景ＶＢと、を含む仮想環境画像ＶＩを生成する。

【0071】

学習装置１０は、Ｓ１で取得した実環境画像ＲＩと、Ｓ２で取得した仮想環境画像ＶＩと、に基づいて、ＧＡＮ１００Ｂの学習を行う（Ｓ３）。学習装置１０は、訓練データの生成用の仮想環境画像ＶＩを生成する（Ｓ４）。Ｓ４では、学習装置１０は、Ｓ２で仮想環境画像ＶＩを生成した時とは仮想対象物ＶＯの数、位置、及び向きの少なくとも１つを異ならせる。学習装置１０は、Ｓ４で生成した仮想環境画像ＶＩをＧＡＮ１００Ｂに入力し、疑似環境画像ＩＩを生成する（Ｓ５）。Ｓ４で複数の仮想環境画像ＶＩが生成された場合には、Ｓ５では、仮想環境画像ＶＩごとに、疑似環境画像ＩＩが生成される。

【0072】

学習装置１０は、疑似環境画像ＩＩと、仮想環境ＶＥにおける仮想対象物ＶＯの位置に応じたピッキング情報と、に基づいて、訓練データを生成して訓練データベース１００Ｄに格納する（Ｓ６）。Ｓ５で複数の疑似環境画像ＩＩが生成された場合には、Ｓ６では、疑似環境画像ＩＩごとに、訓練データが生成される。学習装置１０は、訓練データベース１００Ｄに格納された訓練データに基づいて、ピッキング制御モデル１００Ｃの学習を行う（Ｓ７）。学習装置１０は、学習済みのピッキング制御モデル１００Ｃをコントローラ２０に送信する（Ｓ８）。

【0073】

コントローラ２０は、学習装置１０から受信したピッキング制御モデル１００Ｃを、ピッキング制御モデル２００Ａとして記録する（Ｓ９）。コントローラ２０は、カメラ４０から現在画像を取得する（Ｓ１０）。コントローラ２０は、Ｓ１０で取得した現在画像と、ピッキング制御モデル２００Ａと、に基づいて、ピッキング情報を取得する（Ｓ１１）。コントローラ２０は、Ｓ１１で取得したピッキング情報に基づいて、ロボット３０を制御し（Ｓ１２）、本処理は終了する。以降、実対象物ＲＯがなくなるまで、Ｓ１０～Ｓ１２の処理が繰り返される。

【0074】

第１実施形態の生産システムＳによれば、実対象物ＲＯの色及び実背景ＲＢの色とは異なる色の仮想対象物ＶＯ及び仮想背景ＶＢの少なくとも一方を含む仮想環境画像ＶＩに基づいてＧＡＮ１００Ｂの学習を行う。これにより、仮想対象物ＶＯが仮想背景ＶＢの色に近づくようなＧＡＮ１００Ｂになることを防止し、実環境画像ＲＩに仮想環境画像ＶＩを近づけるＧＡＮ１００Ｂを得ることができる。例えば、実環境画像ＲＩにおける実対象物ＲＯと実背景ＲＢの色が似ており、かつ、仮想環境画像ＶＩにおける仮想対象物ＶＯと仮想背景ＶＢの色も似ていると、ある一定程度のロスに陥ることがある。この場合、ＧＡＮ１００Ｂが、仮想対象物ＶＯの色を実背景ＲＢの色に似せれば仮想環境画像ＶＩが実環境画像ＲＩに近づくと認識し、仮想環境画像ＶＩにおける仮想対象物ＶＯが仮想背景ＶＢの色と同化するような画像が出力される可能性がある。この点、第１実施形態の仮想環境画像ＶＩは、仮想対象物ＶＯと仮想背景ＶＢの色の違い等が大きくＧＡＮ１００Ｂの学習量が増えるので、ある一定程度のロスに陥るといったことを防止し、上記の色の同化を防止できる。即ち、仮想環境画像ＶＩの仮想対象物ＶＯが実背景ＲＢではなく実対象物ＲＯに近づくようなＧＡＮ１００Ｂを得ることができる。このようなＧＡＮ１００Ｂは、実環境画像ＲＩに近い疑似環境画像ＩＩを生成できる。カラー画像ではなくグレースケール画像を利用する場合も背景色との同化が発生する可能性があるが、第１実施形態のようにすれば、背景色と同化しないようなＧＡＮ１００Ｂを得ることができる。

【0075】

また、生産システムＳは、仮想対象物ＶＯ及び仮想背景ＶＢが互いに同じ又は似た色になると、仮想対象物ＶＯが仮想背景ＶＢと同化するような仮想環境画像ＶＩを生成するＧＡＮ１００Ｂになってしまうが、互いに異なる色の仮想対象物ＶＯ及び仮想背景ＶＢを含む仮想環境画像ＶＩを生成することによって、実環境画像ＲＩに仮想環境画像ＶＩを近づけるＧＡＮ１００Ｂを得ることができる。

【0076】

また、生産システムＳは、実対象物ＲＯの色及び実背景ＲＢの色とは異なる色の仮想対象物ＶＯを含む仮想環境画像ＶＩを生成することによって、仮想対象物ＶＯが仮想背景ＶＢと同化することを防止し、実環境画像ＲＩに仮想環境画像ＶＩを近づけるＧＡＮ１００Ｂを得ることができる。

【0077】

また、生産システムＳは、実対象物ＲＯに対応する色の仮想対象物ＶＯと、実背景ＲＢに対応する色の仮想背景ＶＢと、を含む３次元空間において、仮想対象物ＶＯの位置が実対象物ＲＯの位置と異なる仮想環境ＶＥを生成するシミュレータ１００Ａにより、実環境ＲＥと同様の状況でシミュレーションをすることができる。このため、ユーザの利便性が高まる。例えば、仮想環境ＶＥの様子を表示部１５に表示させることによって、ユーザは、仮想環境ＶＥの様子を確認できる。

【0078】

また、生産システムＳは、ＧＡＮ学習部１０３により学習されたＧＡＮ１００Ｂにより、学習に使用された仮想環境画像ＶＩと異なる仮想環境画像ＶＩを実環境画像ＲＩに近づけた疑似環境画像ＩＩを生成する。これにより、訓練データを効率的に生成できる。多数の訓練データを用意することによって、ピッキング制御モデル１００Ｃ，２００Ａの精度も高まる。

【0079】

また、生産システムＳは、現在画像と、学習済みのピッキング制御モデル２００Ａと、に基づいて、ロボット３０を制御することによって、ピッキングの精度が高まる。

【0080】

［２．第２実施形態］
第１実施形態では、実対象物ＲＯからかけ離れた色の仮想対象物ＶＯと、実背景ＲＢに対応する仮想背景ＶＢと、を含む仮想環境画像ＶＩを生成する場合を説明した。第２実施形態では、実対象物ＲＯに対応する色の仮想対象物ＶＯと、実背景ＲＢからかけ離れた色の仮想背景ＶＢと、を含む仮想環境画像ＶＩを生成する場合を説明する。なお、以降説明する第２実施形態～第５実施形態では、第１実施形態と同様の点については説明を省略する。

【0081】

第２実施形態では、仮想環境画像生成部１０２は、実対象物ＲＯの色及び実背景ＲＢの色とは異なる色の仮想背景ＶＢを生成する。予め仮想背景ＶＢに色が設定されていてもよいし、仮想環境画像生成部１０２が仮想背景ＶＢに色を設定してもよい。例えば、仮想環境画像生成部１０２は、色が設定されていない仮想背景ＶＢに対し、データ記憶部１００に記憶された色情報に基づいて、色を設定してもよい。実背景ＲＢに対応する色が仮想背景ＶＢにデフォルトで設定されている場合には、仮想環境画像生成部１０２は、仮想背景ＶＢに設定された色を変更すればよい。色情報がテクスチャを示す場合には、テクスチャマッピングによって、仮想背景ＶＢの表面にテクスチャを設定すればよい。仮想対象物ＶＯも同様に、予め仮想対象物ＶＯに色が設定されていてもよいし、仮想環境画像生成部１０２が仮想対象物ＶＯに色を設定してもよい。

【0082】

例えば、実対象物ＲＯ及び実背景ＲＢが無彩色だったとすると、仮想環境画像生成部１０２は、無彩色の仮想対象物ＶＯと、有彩色の仮想背景ＶＢと、を含む仮想環境画像ＶＩを生成してもよい。実対象物ＲＯ及び実背景ＲＢがグレー系統の色だったとすると、仮想環境画像生成部１０２は、グレー系統の色の仮想対象物ＶＯと、グレー色とはかけ離れた黄色の仮想背景ＶＢと、を含む仮想環境画像ＶＩを生成する。

【0083】

逆に、実対象物ＲＯ及び実背景ＲＢが有彩色だったとすると、仮想環境画像生成部１０２は、有彩色の仮想対象物ＶＯと、無彩色の仮想背景ＶＢと、を含む仮想環境画像ＶＩを生成してもよい。例えば、実対象物ＲＯ及び実背景ＲＢが緑系統の色だったとすると、仮想環境画像生成部１０２は、緑系統の色の仮想対象物ＶＯと、緑系統の色とはかけ離れたグレー色の仮想背景ＶＢと、を含む仮想環境画像ＶＩを生成する。

【0084】

仮想環境画像ＶＩが第１実施形態とは異なるが、ＧＡＮ１００Ｂの学習方法自体は、第１実施形態と同様である。第２実施形態によれば、実対象物ＲＯの色及び実背景ＲＢの色とは異なる色の仮想背景ＶＢを生成することによって、仮想対象物ＶＯと仮想背景ＶＢを区別しやすい仮想環境画像ＶＩを取得する。これにより、仮想対象物ＶＯが背景色に近づくことを防止し、実環境画像ＲＩに仮想環境画像ＶＩを近づけるＧＡＮ１００Ｂを得ることができる。

【0085】

［３．第３実施形態］
例えば、第１実施形態及び第２実施形態を組み合わせてもよい。第３実施形態の仮想環境画像生成部１０２は、実対象物ＲＯの色及び実背景ＲＢの色とは異なる色の仮想対象物ＶＯと、実対象物ＲＯ及び実背景ＲＢの色とは異なる色の仮想背景ＶＢと、を含む仮想環境画像ＶＩを生成する。ただし、仮想対象物ＶＯ及び仮想背景ＶＢは、互いに色が異なるものとする。例えば、実環境ＲＥのカメラ４０の撮影範囲内に、黄色とピンク色の物体が配置されていなかったとすると、仮想対象物ＶＯが黄色であり、仮想背景ＶＢがピンク色であってもよい。逆に、仮想対象物ＶＯがピンク色であり、仮想背景ＶＢが黄色であってもよい。

【0086】

第３実施形態によれば、実対象物ＲＯの色及び実背景ＲＢの色とは異なる色の仮想対象物ＶＯと、実対象物ＲＯ及び実背景ＲＢの色とは異なる色の仮想背景ＶＢと、を含む仮想環境画像ＶＩを生成することによって、仮想対象物ＶＯと仮想背景ＶＢを区別しやすい仮想環境画像ＶＩを取得する。これにより、仮想対象物ＶＯが背景色に近づくことを防止し、実環境画像ＲＩに仮想環境画像ＶＩを近づけるＧＡＮ１００Ｂを得ることができる。

【0087】

［４．第４実施形態］
第１実施形態～第３実施形態では、仮想対象物ＶＯ及び仮想背景ＶＢの少なくとも一方が、実環境ＲＥからかけ離れた色である場合を説明した。第４実施形態では、実対象物ＲＯに対応する色の仮想対象物ＶＯと、実背景ＲＢに対応する色の仮想背景ＶＢと、を含む画像（図４の仮想環境画像ＶＩと同様の画像）に対し、仮想対象物ＶＯ及び仮想背景ＶＢを区別しやすくするように、所定の画像処理を実行することによって、仮想環境画像ＶＩを生成する場合を説明する。

【0088】

図９は、第４実施形態で実行される処理の一例を示す図である。図９のように、画像処理前の仮想環境画像ＶＩ１に比べると、画像処理後の仮想環境画像ＶＩ２は、仮想対象物ＶＯの輪郭が強調されているので、仮想対象物ＶＯ及び仮想背景ＶＢを区別しやすくなっている。ＧＡＮ１００Ｂには、第１実施形態～第３実施形態と同様の実環境画像ＲＩが入力されてもよいし、図９のように、第１実施形態～第３実施形態と同様の実環境画像ＲＩ１に画像処理が実行された実環境画像ＲＩ２が入力されてもよい。図９のように、ＧＡＮ１００Ｂから出力される疑似環境画像ＩＩ１は、仮想対象物ＶＯ及び仮想背景ＶＢが同化せずに、互いに区別できるようになっている。

【0089】

ただし、ＧＡＮ１００Ｂに入力された仮想環境画像ＶＩ２は、画像処理済みなので、疑似環境画像ＩＩ１の仮想対象物ＶＯ及び仮想背景ＶＢは、実対象物ＲＯ及び実背景ＲＢと全体的な色合いが若干異なっている。そこで、第４実施形態では、図９の疑似環境画像ＩＩ１に対し、仮想環境画像ＶＩ１に施した画像処理の逆変換を実行することによって、実環境ＲＥにより近い疑似環境画像ＩＩ２を生成するようにしている。

【0090】

図１０は、第４実施形態の機能ブロック図の一例である。第４実施形態の仮想環境画像生成部１０２は、仮想対象物ＶＯと仮想背景ＶＢを区別しやすくする画像処理を実行することによって、仮想環境画像ＶＩを生成する。第４実施形態では、画像処理の一例としてフィルタ処理を説明するが、仮想対象物ＶＯと仮想背景ＶＢを区別しやすくする画像処理であればよく、フィルタ処理に限られない。例えば、画像処理は、仮想対象物ＶＯ及び仮想背景ＶＢの色の違いを強調するような諧調処理であってもよい。

【0091】

例えば、仮想環境画像生成部１０２は、図４のように生成した仮想環境画像ＶＩ１にフィルタ処理を実行することによって、仮想環境画像ＶＩ２を生成する。仮想環境画像ＶＩ２は、フィルタ処理により、仮想対象物ＶＯのエッジが強調されている。ＧＡＮ学習部１０３は、画像処理が実行された仮想環境画像ＶＩ２に基づいて、ＧＡＮ１００Ｂの学習を行う。フィルタ処理が施された仮想環境画像ＶＩ２がＧＡＮ１００Ｂの学習で利用される点で第１実施形態～第３実施形態とは異なるが、ＧＡＮ１００Ｂの学習方法自体は、第１実施形態～第３実施形態と同様である。

【0092】

逆画像処理部１０７は、ＣＰＵ１１を主として実現される。逆画像処理部１０７は、ＧＡＮ１００Ｂにより生成された疑似環境画像ＩＩ１に、上記画像処理の逆変換を実行する。第４実施形態では、フィルタ処理が画像処理に相当する場合を説明するので、逆変換は、逆フィルタ処理である。逆変換は、画像処理に応じた処理であればよく、逆フィルタに限られない。例えば、画像処理が諧調処理である場合には、階調処理で利用した行列の逆行列を利用することによって逆変換が実行されるようにすればよい。

【0093】

モデル学習部１０６は、逆画像処理部１０７で逆変換が実行された疑似環境画像ＩＩ２に基づいて、ピッキング制御モデル１００Ｃの学習を行う。逆変換が実行された疑似環境画像ＩＩ２がピッキング制御モデル１００Ｃで利用される点で第１実施形態～第３実施形態とは異なるが、ピッキング制御モデル１００Ｃの学習方法自体は、第１実施形態～第３実施形態と同様である。

【0094】

第４実施形態によれば、仮想対象物ＶＯと仮想背景ＶＢを区別しやすくするための画像処理を実行することによって、仮想環境画像ＶＩを取得できる。これにより、仮想対象物ＶＯが背景色に近づくことを防止し、仮想環境画像ＶＩを実環境画像ＲＩに近づけるＧＡＮ１００Ｂを得ることができる。逆変換を実行することによって、ロボット３０の制御時に画像処理をする必要がなくなるので、ロボット制御を高速化できる。

【0095】

なお、疑似環境画像ＩＩへの逆変換は、実行されなくてもよい。この場合、モデル学習部１０６は、ＧＡＮ１００Ｂから出力された疑似環境画像ＩＩ１に基づいて、ピッキング制御モデル１００Ｃの学習を行う。逆変換をしていない疑似環境画像ＩＩ１に基づいて、ピッキング制御モデル１００Ｃが学習されるので、コントローラ２０は、学習済みのピッキング制御モデル１００Ｃを利用してロボット３０を制御する場合に、現在画像にフィルタ処理を実行したうえで、ピッキング制御モデル１００Ｃに入力する。コントローラ２０は、ピッキング制御モデル１００Ｃから出力された、フィルタ処理後の現在画像に対応するピッキング情報に基づいて、ロボット３０を制御すればよい。

【0096】

［５．第５実施形態］
第４実施形態では、フィルタ処理を実行した仮想環境画像ＶＩを生成する場合を説明したが、実対象物ＲＯと実背景ＲＢを区別しやすくするように、実環境画像ＲＩにフィルタ処理を実行してもよい。学習装置１０は、実環境画像取得部１０１により取得された実環境画像ＲＩにフィルタ処理を実行し、実対象物ＲＯと実背景ＲＢを区別しやすくした実環境画像ＲＩを生成する。なお、フィルタ処理以外の画像処理が実環境画像ＲＩに実行されてもよい点は、第４実施形態と同様である。この画像処理は、実環境画像ＲＩにおける実対象物ＲＯと実背景ＲＢを区別しやすくするような諧調処理等であればよい。

【0097】

第５実施形態では、ＧＡＮ学習部１０３は、フィルタ処理が実行された実環境画像ＲＩに基づいて、ＧＡＮ１００Ｂの学習を行う。フィルタ処理が施された仮想環境画像ＶＩがＧＡＮ１００Ｂの学習で利用される点で第１実施形態～第４実施形態とは異なるが、ＧＡＮ１００Ｂの学習方法自体は、第１実施形態～第４実施形態と同様である。モデル学習部１０６は、ＧＡＮ１００Ｂから出力された疑似環境画像ＩＩに基づいて、ピッキング制御モデル１００Ｃの学習を行う。

【0098】

フィルタ処理が実行された実環境画像ＲＩに基づいて、ピッキング制御モデル１００Ｃが学習されるので、コントローラ２０は、学習済みのピッキング制御モデル１００Ｃを利用してロボット３０を制御する場合に、現在画像にフィルタ処理を実行したうえで、ピッキング制御モデル１００Ｃに入力する。コントローラ２０は、ピッキング制御モデル１００Ｃから出力された、フィルタ処理後の現在画像に対応するピッキング情報に基づいて、ロボット３０を制御する。

【0099】

第５実施形態によれば、実対象物ＲＯと実背景ＲＢを区別しやすくするための画像処理を実行した実環境画像ＲＩに基づいて、ＧＡＮ１００Ｂの学習を行う。これにより、仮想対象物ＶＯが背景色に近づくことを防止し、仮想環境画像ＶＩを実環境画像ＲＩに近づけるＧＡＮ１００Ｂを得ることができる。

【0100】

なお、第５実施形態でも第４実施形態と同様に、逆画像処理部１０７は、ＧＡＮ１００Ｂにより生成された疑似環境画像ＩＩに逆変換をしてもよい。この場合、モデル学習部１０６は、逆画像処理部１０７で逆変換が実行された疑似環境画像に基づいて、ピッキング制御モデル１００Ｃの学習を行う。コントローラ２０は、現在画像にフィルタ処理を実行せずに、現在画像をピッキング制御モデル１００Ｃに入力する。コントローラ２０は、ピッキング制御モデル１００Ｃから出力された、フィルタ処理後の現在画像に対応するピッキング情報に基づいて、ロボット３０を制御する。逆変換を実行することによって、ロボットの制御時にフィルタ処理をする必要がなくなるので、ロボット制御を高速化できる。

【0101】

［６．変形例］
なお、本開示は、以上に説明した実施形態に限定されるものではない。本開示の趣旨を逸脱しない範囲で、適宜変更可能である。

【0102】

［変形例１］
例えば、第１実施形態～第５実施形態では、仮想対象物ＶＯが単色である場合を説明したが、仮想対象物ＶＯは、複数の色を含んでもよい。同様に、仮想背景ＶＢは、単色ではなく、複数の色を含んでもよい。仮想環境画像生成部１０２は、実対象物ＲＯの色及び実背景ＲＢの色とは異なる複数の色を有する仮想対象物ＶＯ及び仮想背景ＶＢの少なくとも一方を含む仮想環境画像ＶＩを生成する。変形例１では、第１実施形態のように、実対象物ＲＯ及び実背景ＲＢとは異なる色の仮想対象物ＶＯと、実背景ＲＢに対応する色の仮想背景ＶＢと、を例に挙げるが、第２実施形態～第５実施形態と変形例１を組み合わせてもよい。

【0103】

仮想対象物ＶＯの複数の色は、互いに異なる色である。即ち、複数の色は、互いに似ていない色である。例えば、実対象物ＲＯ及び実背景ＲＢがグレー色だったとすると、仮想対象物ＶＯは、黄色及びピンク色であり、仮想背景ＶＢは、グレー色であってもよい。仮想対象物ＶＯが複数の色を有する点で第１実施形態とは異なるが、他の点については、第１実施形態と同様である。第２実施形態のように仮想背景ＶＢの色にする場合には、実対象物ＲＯ及び実背景ＲＢがグレー色だったとすると、仮想対象物ＶＯは、グレー色であり、仮想背景ＶＢは、黄色及びピンク色であってもよい。

【0104】

変形例１によれば、実対象物ＲＯの色及び実背景ＲＢの色とは異なる複数の色を有する仮想対象物ＶＯ及び仮想背景ＶＢの少なくとも一方を含む仮想環境画像ＶＩを生成することによって、ＧＡＮ１００Ｂの学習に適した仮想環境画像ＶＩを生成できる。

【0105】

［変形例２］
図１１は、変形例２の機能ブロック図である。図１１のように、生産システムＳは、実対象物ＲＯの色と、実背景ＲＢの色と、に基づいて、仮想対象物ＶＯ及び仮想背景ＶＢの少なくとも一方の色（第１実施形態で説明した「異なる色」）を設定する設定部１０８を含んでもよい。設定部１０８は、ＣＰＵ１１を主として実現される。設定部１０８の処理は、シミュレータ１００Ａの処理の一部であってもよい。変形例１では、第１実施形態のように、実対象物ＲＯ及び実背景ＲＢとは異なる色の仮想対象物ＶＯと、実背景ＲＢに対応する色の仮想背景ＶＢと、を例に挙げるが、第２実施形態～第５実施形態と変形例１を組み合わせてもよい。

【0106】

例えば、実対象物ＲＯ及び実背景ＲＢの色と、仮想対象物ＶＯの色と、の関係は、データ記憶部１００に定義されているものとする。例えば、実対象物ＲＯ及び実背景ＲＢの色と、仮想対象物ＶＯの色と、が反対色となるように、これらの関係が定義されている。設定部１０８は、実対象物ＲＯ及び実背景ＲＢの色に関連付けられた色を、仮想対象物ＶＯに設定する。実対象物ＲＯ及び実背景ＲＢの色は、ユーザにより指定されてもよいし、実環境画像ＲＩを画像解析することによって特定されてもよい。

【0107】

なお、設定部１０８が仮想背景ＶＢの色を設定する場合には、実対象物ＲＯ及び実背景ＲＢの色と、仮想背景ＶＢの色と、の関係がデータ記憶部１００に定義されているものとする。この場合も、実対象物ＲＯ及び実背景ＲＢの色と、仮想背景ＶＢの色と、が反対色となるように、これらの関係が定義されている。設定部１０８は、実対象物ＲＯ及び実背景ＲＢの色に関連付けられた色を、仮想背景ＶＢに設定する。

【0108】

変形例２によれば、実対象物ＲＯの色と、実背景ＲＢの色と、に基づいて、仮想対象物ＶＯ及び仮想背景ＶＢの少なくとも一方の色を設定することによって、ＧＡＮ１００Ｂの学習に適した仮想環境画像ＶＩを取得できる。

【0109】

［変形例３］
例えば、複数の実対象物ＲＯには、第１の色の第１の実対象物ＲＯ１と、第２の色の第２の実対象物ＲＯ２と、が含まれていてもよい。即ち、実背景ＲＢである箱の中には、互いに異なる色の複数の実対象物ＲＯが混載されていてもよい。変形例３の仮想環境画像生成部１０２は、互いに異なる色の、第１の実対象物ＲＯ１に対応する第１の仮想対象物ＶＯ１と、第２の実対象物ＲＯ２に対応する第２の仮想対象物ＶＯ２と、を含む仮想環境画像ＶＩを生成する。変形例３では、変形例１－２と同様に、第１実施形態と組み合わせた場合を例に挙げるが、第２実施形態～第５実施形態と変形例３を組み合わせてもよい。

【0110】

第１の仮想対象物ＶＯ１の色と、第２の仮想対象物ＶＯ２の色と、は互いに異なる。更に、第１の仮想対象物ＶＯ１及び第２の仮想対象物ＶＯ２は、第１の実対象物ＲＯ１、第２の実対象物ＲＯ２、実背景ＲＢ、及び仮想背景ＶＢとは異なる色を有する。例えば、第１の実対象物ＲＯ１が濃いグレー色であり、第２の実対象物ＲＯ２が薄いグレー色であり、実背景ＲＢがその中間のグレー色だったとする。この場合、第１の仮想対象物ＶＯ１の色を黄色とし、第２の仮想対象物ＶＯ２をピンク色とし、仮想背景ＶＢをグレー系統の色にしてもよい。このようにすることで、仮想環境画像ＶＩにおいて、第１の仮想対象物ＶＯ１、第２の仮想対象物ＶＯ２、及び仮想背景ＶＢを区別しやすくなるので、図４のように同化した疑似環境画像ＩＩではなくなる。

【0111】

なお、互いに異なる色の複数の実対象物ＲＯが混載する点で第１実施形態とは異なるが、ＧＡＮ１００Ｂの学習方法、ピッキング制御モデル１００Ｃの学習方法、及びロボット３０の制御方法自体は、第１実施形態で説明した通りである。変形例３でも、第２実施形態のような仮想背景ＶＢの色としてもよい。例えば、第１の実対象物ＲＯ１が濃いグレー色であり、第２の実対象物ＲＯ２が薄いグレー色であり、実背景ＲＢがその中間のグレー色だったとする。この場合、第１の仮想対象物ＶＯ１の色を黄色とし、第２の仮想対象物ＶＯ２を薄いグレー色とし、仮想背景ＶＢをピンク色にしてもよい。このようにすることでも、仮想環境画像ＶＩにおいて、第１の仮想対象物ＶＯ１、第２の仮想対象物ＶＯ２、及び仮想背景ＶＢを区別しやすくなるので、図４のように同化した疑似環境画像ＩＩではなくなる。

【0112】

変形例３によれば、互いに色が異なる実対象物ＲＯが実環境ＲＥに含まれていたとしても、仮想環境画像ＶＩを実環境画像ＲＩに近づけるＧＡＮ１００Ｂを得ることができる。

【0113】

［その他変形例］
例えば、生産システムＳを例に挙げたが、実環境画像取得部１０１、仮想環境画像生成部１０２、仮想環境画像生成部１０２、及びＧＡＮ学習部１０３を含む学習システムも、本開示の範囲に含まれる。例えば、学習システムは、学習装置１０だけで構成されてもよい。例えば、第１の装置により、実環境画像取得部１０１、仮想環境画像生成部１０２、及びＧＡＮ学習部１０３が実現され、第２の装置により、ＧＡＮ推論部１０４及びモデル学習部１０６が実現されてもよい。この場合、第１の装置が学習システムに相当する。第２の装置は、学習システムには含まれない外部の装置である。このような学習システムでも、実環境画像ＲＩに仮想環境画像ＶＩを近づけるためのＧＡＮ１００Ｂの学習を実現できる。

【0114】

例えば、上記学習システムと、ＧＡＮ推論部１０４と、を含む画像生成システムも、本開示の範囲に含まれる。例えば、画像生成システムは、学習装置１０だけで構成されてもよい。例えば、第１の装置により、実環境画像取得部１０１、仮想環境画像生成部１０２、ＧＡＮ学習部１０３、及びＧＡＮ推論部１０４が実現され、第２の装置によりモデル学習部１０６が実現されてもよい。この場合、第１の装置が画像生成システムに相当する。第２の装置は、画像生成システムには含まれない外部の装置である。このような画像生成システムでも、実環境画像ＲＩに仮想環境画像ＶＩを近づけるためのＧＡＮ１００Ｂの学習を実現し、かつ、ロボット制御に有用な疑似環境画像ＩＩを生成できる。

【0115】

例えば、ロボット３０は、ばら積みピッキング以外の作業を行ってもよい。例えば、加工、梱包、運搬、又は検査といった他の作業を行うロボット３０にも、生産システムＳ、学習システム、及び画像生成システムを適用可能である。他にも例えば、コントローラ２０がロボット３０を制御する場面を例に挙げたが、生産システムＳ、学習システム、及び画像処理システムは、ロボット制御以外の種々の場面に適用可能である。生産システムＳ、学習システム、及び画像処理システムは、実対象物ＲＯに対する何らかの作業が発生する場面に適用可能であり、例えば、ＰＬＣ、モータ制御装置、数値制御装置、セルを管理する装置、又はラインを管理する装置を含む場面にも適用可能である。

【0116】

例えば、各機能は、生産システムＳにおける任意の装置で実現されるようにすればよい。学習装置１０で実現されるものとして説明した機能の一部又は全部は、複数の装置で分担されてもよい。コントローラ２０で実現されるものとして説明した機能の一部又は全部は、学習装置１０又は他の装置によって実現されてもよい。

【符号の説明】

【0117】

Ｓ 生産システム、１０ 学習装置、１１，２１ ＣＰＵ、１２，２２ 記憶部、１３，２３ 通信部、１４ 操作部、１５ 表示部、２０ コントローラ、３０ ロボット、４０ カメラ、ＩＩ 疑似環境画像、ＲＢ 実背景、ＲＥ 実環境、ＲＩ 実環境画像、ＲＯ 実対象物、Ｖ１，Ｖ２ 撮影方向、ＶＢ 仮想背景、ＶＣ 仮想カメラ、ＶＥ 仮想環境、ＶＩ 仮想環境画像、ＶＯ 仮想対象物、１００ データ記憶部、１００Ａ シミュレータ、１００Ｂ ＧＡＮ、１００Ｃ，２００Ａ ピッキング制御モデル、１００Ｄ 訓練データベース、１０１ 実環境画像取得部、１０２ 仮想環境画像生成部、１０３ ＧＡＮ学習部、１０４ ＧＡＮ推論部、１０５ 訓練データ生成部、１０６ モデル学習部、１０７ 逆画像処理部、１０８ 設定部、２００ データ記憶部、２０１ 現在画像取得部、２０２ ロボット制御部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】