特許 6941203 画像処理搬送システム、画像処理装置、画像処理方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】6941203

(24)【登録日】2021年9月7日

(45)【発行日】2021年9月29日

(54)【発明の名称】画像処理搬送システム、画像処理装置、画像処理方法、及びプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20210916BHJP

   B65G 47/52 20060101ALI20210916BHJP

【ＦＩ】

   G06T7/00 610C

   B65G47/52 A

【請求項の数】14

【全頁数】15

(21)【出願番号】特願2020-89118(P2020-89118)

(22)【出願日】2020年5月21日

【審査請求日】2020年5月29日

(73)【特許権者】

【識別番号】591213623

【氏名又は名称】不二輸送機工業株式会社

(74)【代理人】

【識別番号】110000198

【氏名又は名称】特許業務法人湘洋内外特許事務所

(72)【発明者】

【氏名】山田 康

【審査官】 松浦 功

(56)【参考文献】

【文献】 特開２０１９−０４９７８０（ＪＰ，Ａ）

【文献】 特開２０２０−１８３８７６（ＪＰ，Ａ）

【文献】 特表２００１−５２３５７４（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／００ − ７／９０

Ｂ６５Ｇ ４７／５２

Ｇ０６Ｔ １／００

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

１つ以上のワークが載置された上流側コンベヤの第１領域を撮像して第１撮像画像を得る第１撮像装置と、
前記第１撮像画像に対する画像認識により作業対象ワークを認識する第１画像処理装置と、
認識された前記作業対象ワークを前記上流側コンベヤから下流側コンベヤに移動させるように移載装置を制御する制御装置と、
前記下流側コンベヤの第２領域を撮像して第２撮像画像を得る第２撮像装置と、
前記第２撮像画像に対する画像認識により前記作業対象ワークを認識する第２画像処理装置と、を備え、
前記第２画像処理装置は、前記作業対象ワークの認識結果を前記第１画像処理装置に送信し、
前記第１画像処理装置は、前記第２画像処理装置から受信した前記認識結果に基づいて、画像認識処理に関する学習を行う
画像処理搬送システム。

【請求項2】

請求項１に記載の画像処理搬送システムであって、
前記認識結果は、認識された前記作業対象ワークの画像データを含み、
前記第１画像処理装置は、前記画像データを正解データとして学習する
画像処理搬送システム。

【請求項3】

請求項１に記載の画像処理搬送システムであって、
前記第１画像処理装置は、認識した前記作業対象ワークの識別データを前記第２画像処理装置に送信する
画像処理搬送システム。

【請求項4】

請求項３に記載の画像処理搬送システムであって、
前記第２画像処理装置は、前記第１画像処理装置から受信した前記識別データを、前記第２画像処理装置が認識した前記作業対象ワークの識別データと比較し、前記作業対象ワークの識別が不一致の場合に、前記認識結果を送信する
画像処理搬送システム。

【請求項5】

請求項４に記載の画像処理搬送システムであって、
前記認識結果は、認識された前記作業対象ワークの画像データを含み、
前記第１画像処理装置は、前記画像データを正解データとして学習する
画像処理搬送システム。

【請求項6】

請求項４に記載の画像処理搬送システムであって、
前記認識結果は、前記作業対象ワークの識別が不一致であることを示すデータを含み、
前記第１画像処理装置は、前記画像認識で使用した画像データを不正解データとして学習する
画像処理搬送システム。

【請求項7】

請求項５に記載の画像処理搬送システムであって、
前記第１画像処理装置は、受信した前記画像データと、前記画像認識で使用した画像データとを表示し、正解データの選択を受け付ける
画像処理搬送システム。

【請求項8】

請求項１〜７いずれか一項に記載の画像処理搬送システムであって、
前記第１領域では、前記１つ以上のワークがパレットに積み付けられている
画像処理搬送システム。

【請求項9】

請求項１〜８いずれか一項に記載の画像処理搬送システムであって、
前記第１撮像装置から前記第１領域の被写体までの距離は、前記第２撮像装置から前記第２領域の被写体までの距離よりも遠い
画像処理搬送システム。

【請求項10】

１つ以上のワークが載置された上流側コンベヤの第１領域を撮像した第１撮像画像を、第１撮像装置から受信し、前記第１撮像画像に対する画像認識により作業対象ワークを認識する画像認識部と、
前記作業対象ワークの認識結果を、前記上流側コンベヤから下流側コンベヤに移動させるように移載装置を制御する制御装置に送信する認識結果出力部と、
前記下流側コンベヤの第２領域を撮像した第２撮像画像に対する画像認識により認識された前記作業対象ワークの認識結果を第２画像処理装置から受信し、受信した前記認識結果に基づいて、前記画像認識部の画像認識処理に関する学習を行う学習部と
を備える第１画像処理装置。

【請求項11】

下流側コンベヤの第２領域を撮像した第２撮像画像を、第２撮像装置から受信し、前記第２撮像画像に対する画像認識により作業対象ワークを認識する画像認識部と、
前記作業対象ワークの認識結果を、上流側コンベヤの第１領域を撮像した第１撮像画像に対する画像認識により前記作業対象ワークを認識する第１画像処理装置に、前記画像認識の学習データとして送信する認識結果出力部と
を備える第２画像処理装置。

【請求項12】

画像処理搬送システムにおける画像処理方法であって、
第１撮像装置が、１つ以上のワークが載置された上流側コンベヤの第１領域を撮像して第１撮像画像を得るステップと、
第１画像処理装置が、前記第１撮像画像に対する画像認識により作業対象ワークを認識するステップと、
制御装置が、認識された前記作業対象ワークを前記上流側コンベヤから下流側コンベヤに移動させるように移載装置を制御するステップと、
第２撮像装置が、前記下流側コンベヤの第２領域を撮像して第２撮像画像を得るステップと、
第２画像処理装置が、前記第２撮像画像に対する画像認識により前記作業対象ワークを認識するステップと、
前記第２画像処理装置が、前記作業対象ワークの認識結果を前記第１画像処理装置に送信するステップと、
前記第１画像処理装置が、前記第２画像処理装置から受信した前記認識結果に基づいて、画像認識処理に関する学習を行うステップと
を含む画像処理方法。

【請求項13】

１つ以上のワークが載置された上流側コンベヤの第１領域を撮像した第１撮像画像を、第１撮像装置から受信するステップと、
前記第１撮像画像に対する画像認識により作業対象ワークを認識するステップと、
前記作業対象ワークの認識結果を、前記上流側コンベヤから下流側コンベヤに移動させるように移載装置を制御する制御装置に送信するステップと、
前記下流側コンベヤの第２領域を撮像した第２撮像画像に対する画像認識により認識された前記作業対象ワークの認識結果を第２画像処理装置から受信するステップと、
受信した前記認識結果に基づいて、画像認識処理に関する学習を行うステップと
をコンピュータに実行させるプログラム。

【請求項14】

下流側コンベヤの第２領域を撮像した第２撮像画像を、第２撮像装置から受信するステップと、
前記第２撮像画像に対する画像認識により作業対象ワークを認識するステップと、
前記作業対象ワークの認識結果を、上流側コンベヤの第１領域を撮像した第１撮像画像に対する画像認識により前記作業対象ワークを認識する第１画像処理装置に、前記画像認識の学習データとして送信するステップと
をコンピュータに実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理搬送システム、画像処理方法、画像処理装置、及びプログラムに関する。

【背景技術】

【0002】

画像認識処理により搬送物（以下「ワーク」という）の種類、位置座標などを認識し、認識したワークをロボットにより把持する搬送システムが知られている。例えば、特許文献１には、カメラで撮像した画像からワークを検出する物品搬送システムについて記載されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１９−０２５５５７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

画像認識処理では、環境の明るさやワークの外観（例えば麻袋のしわ）の変化によって、ワークの誤認識が発生し易くなる。例えば、ロボットが誤認識されたワークを把持して、原材料が混合される次の工程に搬送した場合、正しい製品が製造されないこととなる。

【0005】

本発明は、画像処理搬送システムにおいて画像認識の正確性を向上することを目的とする。

【課題を解決するための手段】

【0006】

上記の課題を解決するための本発明の一態様は、画像処理搬送システムであって、１つ以上のワークが載置された上流側コンベヤの第１領域を撮像して第１撮像画像を得る第１撮像装置と、前記第１撮像画像に対する画像認識により作業対象ワークを認識する第１画像処理装置と、認識された前記作業対象ワークを前記上流側コンベヤから下流側コンベヤに移動させるように移載装置を制御する制御装置と、前記下流側コンベヤの第２領域を撮像して第２撮像画像を得る第２撮像装置と、前記第２撮像画像に対する画像認識により前記作業対象ワークを認識する第２画像処理装置と、を備え、前記第２画像処理装置は、前記作業対象ワークの認識結果を前記第１画像処理装置に送信し、前記第１画像処理装置は、前記第２画像処理装置から受信した前記認識結果に基づいて、画像認識処理に関する学習を行う。

【0007】

前記認識結果は、認識された前記作業対象ワークの画像データを含み、前記第１画像処理装置は、前記画像データを正解データとして学習してもよい。

【0008】

前記第１画像処理装置は、認識した前記作業対象ワークの識別データを前記第２画像処理装置に送信してもよい。

【0009】

前記第２画像処理装置は、前記第１画像処理装置から受信した前記識別データを、前記第２画像処理装置が認識した前記作業対象ワークの識別データと比較し、前記作業対象ワークの識別が不一致の場合に、前記認識結果を送信してもよい。

【0010】

前記認識結果は、認識された前記作業対象ワークの画像データを含み、前記第１画像処理装置は、前記画像データを正解データとして学習してもよい。

【0011】

前記認識結果は、前記作業対象ワークの識別が不一致であることを示すデータを含み、前記第１画像処理装置は、前記画像認識で使用した画像データを不正解データとして学習してもよい。

【0012】

前記第１画像処理装置は、受信した前記画像データと、前記画像認識で使用した画像データとを表示し、正解データの選択を受け付けてもよい。

【0013】

前記第１領域では、前記１つ以上のワークがパレットに積み付けられていてもよい。

【0014】

前記第１撮像装置から前記第１領域の被写体までの距離は、前記第２撮像装置から前記第２領域の被写体までの距離よりも遠くてもよい。

【0015】

上記の課題を解決するための本発明の他の態様は、第１画像処理装置であって、１つ以上のワークが載置された上流側コンベヤの第１領域を撮像した第１撮像画像を、第１撮像装置から受信し、前記第１撮像画像に対する画像認識により作業対象ワークを認識する画像認識部と、前記作業対象ワークの認識結果を、前記上流側コンベヤから下流側コンベヤに移動させるように移載装置を制御する制御装置に送信する認識結果出力部と、前記下流側コンベヤの第２領域を撮像した第２撮像画像に対する画像認識により認識された前記作業対象ワークの認識結果を第２画像処理装置から受信し、受信した前記認識結果に基づいて、前記画像認識部の画像認識処理に関する学習を行う学習部とを備える。

【0016】

上記の課題を解決するための本発明のさらに他の態様は、第２画像処理装置であって、下流側コンベヤの第２領域を撮像した第２撮像画像を、第２撮像装置から受信し、前記第２撮像画像に対する画像認識により作業対象ワークを認識する画像認識部と、前記作業対象ワークの認識結果を、上流側コンベヤの第１領域を撮像した第１撮像画像に対する画像認識により前記作業対象ワークを認識する第１画像処理装置に、前記画像認識の学習データとして送信する認識結果出力部とを備える。

【0017】

上記の課題を解決するための本発明のさらに他の態様は、画像処理搬送システムにおける画像処理方法であって、第１撮像装置が、１つ以上のワークが載置された上流側コンベヤの第１領域を撮像して第１撮像画像を得るステップと、第１画像処理装置が、前記第１撮像画像に対する画像認識により作業対象ワークを認識するステップと、制御装置が、認識された前記作業対象ワークを前記上流側コンベヤから下流側コンベヤに移動させるように移載装置を制御するステップと、第２撮像装置が、前記下流側コンベヤの第２領域を撮像して第２撮像画像を得るステップと、第２画像処理装置が、前記第２撮像画像に対する画像認識により前記作業対象ワークを認識するステップと、前記第２画像処理装置が、前記作業対象ワークの認識結果を前記第１画像処理装置に送信するステップと、前記第１画像処理装置が、前記第２画像処理装置から受信した前記認識結果に基づいて、画像認識処理に関する学習を行うステップとを含む。

【0018】

上記の課題を解決するための本発明のさらに他の態様は、プログラムであって、１つ以上のワークが載置された上流側コンベヤの第１領域を撮像した第１撮像画像を、第１撮像装置から受信するステップと、前記第１撮像画像に対する画像認識により作業対象ワークを認識するステップと、前記作業対象ワークの認識結果を、前記上流側コンベヤから下流側コンベヤに移動させるように移載装置を制御する制御装置に送信するステップと、前記下流側コンベヤの第２領域を撮像した第２撮像画像に対する画像認識により認識された前記作業対象ワークの認識結果を第２画像処理装置から受信するステップと、受信した前記認識結果に基づいて、画像認識処理に関する学習を行うステップとをコンピュータに実行させる。

【0019】

上記の課題を解決するための本発明のさらに他の態様は、プログラムであって、下流側コンベヤの第２領域を撮像した第２撮像画像を、第２撮像装置から受信するステップと、前記第２撮像画像に対する画像認識により作業対象ワークを認識するステップと、前記作業対象ワークの認識結果を、上流側コンベヤの第１領域を撮像した第１撮像画像に対する画像認識により前記作業対象ワークを認識する第１画像処理装置に、前記画像認識の学習データとして送信するステップとをコンピュータに実行させる。

【発明の効果】

【0020】

画像処理搬送システムにおいて画像認識の正確性を高めることができる。

【図面の簡単な説明】

【0021】

【図1】本発明の第１実施形態に係る画像処理搬送システムの構成例を示す図である。

【図2】本発明の第１実施形態に係る２台の画像処理装置の構成例を示す図である。

【図3】本発明の第１実施形態に係る２台の画像処理装置及び制御装置の処理の一例を説明するシーケンス図である。

【図4】本発明の第２実施形態に係る２台の画像処理装置の構成例を示す図である。

【図5】本発明の第２実施形態に係る２台の画像処理装置及び制御装置の処理の一例を説明するシーケンス図である。

【図6】本発明の第３実施形態に係る２台の画像処理装置及び制御装置の処理の一例を説明するシーケンス図である。

【図7】本発明の第４実施形態に係る２台の画像処理装置及び制御装置の処理の一例を説明するシーケンス図である。

【発明を実施するための形態】

【0022】

以下、本発明の複数の実施形態について図面に基づいて説明する。なお、各実施形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。また、以下の各実施形態において、その構成要素（要素ステップ等も含む）は、特に明示した場合および原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須のものではないことは言うまでもない。また、特にその要素のみである旨明示した場合等を除き、それ以外の要素を排除するものでないことは言うまでもない。同様に、以下の各実施形態において、構成要素等の形状、位置関係等に言及するときは、特に明示した場合および原理的に明らかにそうでないと考えられる場合等を除き、実質的にその形状、位置関係等に近似または類似するもの等を含むものとする。

【0023】

［第１実施形態］
図１は、本発明の第１実施形態に係る画像処理搬送システムの構成例を示す。

【0024】

画像処理搬送システムは、ロボット１、撮像装置２、撮像装置３、コンベヤ４、コンベヤ５、制御装置１０、画像処理装置２０、及び画像処理装置３０を備える。撮像装置２、撮像装置３、画像処理装置２０、及び画像処理装置３０は、それぞれ、本発明の第１撮像装置、第２撮像装置、第１画像処理装置、及び第２画像処理装置に相当する。

【0025】

ロボット１と制御装置１０、撮像装置２と画像処理装置２０、撮像装置３と画像処理装置３０は、それぞれ、互いに通信可能に接続されている。制御装置１０、画像処理装置２０、及び画像処理装置３０は、ＬＡＮ（Local Area Network）等のネットワークを介して通信可能に接続されている。

【0026】

この画像処理搬送システムでは、例えば、複数のワークＷが積み付けられたパレットＰは、上流側のコンベヤ４上を搬送され、コンベヤ４の終端の搬出領域まで搬送される。そして、ロボット１が、パレットＰ上のワークＷを１つ把持して持ち上げ、下流側のコンベヤ５の始端の搬入領域まで移動させ、載置して放す。コンベヤ５に載置されたワークＷは、コンベヤ５上を次の工程へと搬送される。この画像処理搬送システムでは、このようなワークＷの積み降ろし（バラし）作業が繰り返し行われる。

【0027】

ロボット１は、ワークＷを把持して移動させて載置する作業機械（移載装置ともいう）であり、例えば、ボディ、アーム、ハンド、及びこれらを動作させるための駆動モータなどを備える。ロボット１は、接続された制御装置１０からの制御命令に従って、アームやハンドを動作させる。もちろん、ワークＷの積み降ろし（バラし）作業を行えれば、ロボット１の形態は限定されないし、ロボット１の代わりにロボットと呼ばれない種類の移載装置を設置してもよい。

【0028】

撮像装置２は、単眼カメラ、又はステレオカメラに代表される複眼カメラであり、コンベヤ４の搬出領域に配置されたパレットＰ（及びその上の１つ以上のワークＷ）を撮像し、撮像した画像データを画像処理装置２０に送信する。

【0029】

撮像装置３は、単眼カメラ、又はステレオカメラに代表される複眼カメラであり、コンベヤ５上を搬送されるワークＷを撮像し、撮像した画像データを画像処理装置３０に送信する。

【0030】

撮像装置２は、その視野Ａ（第１領域）内にパレットＰが含まれるように、搬出領域の上方に固定的に設置されている。撮像装置３は、その視野Ｂ（第２領域）内にワークＷが含まれるように、コンベヤ５の上方に固定的に設置されている。

【0031】

ここで、搬出領域にはロボット１のアーム及びハンドが進入するため、撮像装置２は、これらに衝突しないように、ロボット１のアーム及びハンドの動作範囲よりも高い垂直位置に設置せざるを得ない。一方で、撮像装置３は、ロボット１に衝突しない離れた水平位置に、ワークＷを撮像できる高さの垂直位置に設置される。すなわち、撮像装置２は撮像装置３よりも高い位置に設置されており、撮像装置２から被写体までの距離は、撮像装置３から被写体までの距離よりも遠い。

【0032】

従って、同程度の性能の撮像装置を使用した場合、撮像画像データにおける被写体の解像度は、撮像装置２の方が撮像装置３よりも低くなる。そのため、撮像装置２の画像データを用いた画像認識処理では、撮像装置３の画像データを用いた画像認識処理よりも、ワークの誤認識が発生し易くなる。ワークの誤認識では、例えば、ワークの識別子、位置、向きなどが誤って認識される。

【0033】

そこで、本実施形態の画像処理装置２０及び画像処理装置３０は、上記のような誤認識の発生を少なくするための機能を有する。

【0034】

制御装置１０は、ロボット１の作動を制御する。コンベヤ４、５の作動を制御してもよい。制御装置１０は、例えば制御盤であり、プロセッサ、メモリ、ストレージ、通信インターフェイス、入力装置、表示装置などを含む。

【0035】

具体的には、制御装置１０は、画像処理装置２０から送信された認識結果を受信する。認識結果には、例えば、作業対象ワークＷに関して、位置座標、向き、及び識別子等のデータを含む。制御装置１０は、受信した認識結果に基づいて、制御命令を生成し、ロボット１に出力する。これにより、ロボット１は、搬出領域内のパレットＰ上の作業対象ワークＷを搬入領域まで運ぶ。

【0036】

画像処理装置２０は、撮像装置２から受信した画像データに対して画像認識処理を行い、上述した認識結果を制御装置１０に送信する。画像処理装置２０は、例えば、ＰＣ（Personal Computer）やサーバコンピュータなどの一般的なコンピュータにより実現できる。画像処理装置２０については、図２を用いて後に詳述する。

【0037】

画像処理装置３０は、撮像装置３から受信した画像データに対して画像認識処理を行い、上述した認識結果を画像処理装置２０に送信する。画像処理装置３０は、例えば、ＰＣ（Personal Computer）やサーバコンピュータなどの一般的なコンピュータにより実現できる。画像処理装置３０については、図２を用いて後に詳述する。

【0038】

図２は、画像処理装置２０及び画像処理装置３０の構成例を示す図である。

【0039】

画像処理装置２０は、処理部２１、記憶部２２、通信部２３、入力部２４、及び表示部２５を有する。これらは、それぞれ例えば、プロセッサ、メモリ又はストレージ、ネットワークＮ及び撮像装置２用の通信インターフェイス、キーボード等の入力装置、ディスプレイにより実現できる。

【0040】

処理部２１は、画像認識部２１１、認識結果出力部２１２、及び学習部２１３を含む機能を有する。これらの機能は、例えばプロセッサが所定のプログラムを実行することで実現される。

【0041】

画像認識部２１１は、通信部２３を介して撮像装置２から画像データを受信し、受信した画像データに対して画像認識処理を行い、作業対象ワークＷを認識する。画像認識処理には既存技術を使用することができるので、詳細な説明を省略する。例えば、画像認識部２１１は、学習済データ２２１に格納されている、マッチング用の各種ワークＷの画像データ（正解データ）を用いて、受信した画像データに対してマッチング処理を行い、認識結果として、受信画像データ中のワークＷの位置座標、向き、及び識別子を得る。もちろん、マッチング処理前に、受信した画像データに対して輪郭抽出処理などの前処理を施してもよい。

【0042】

具体例として、マッチング用の画像データには、各種原材料の麻袋の平面画像データが含まれる。画像認識部２１１は、受信画像データに対して、各平面画像データのマッチングを試みることで、受信画像データに含まれる原材料の麻袋の位置座標、向き、及び識別子を識別する。複数のワークを認識できてもよい。

【0043】

認識結果出力部２１２は、画像認識部２１１で得られた認識結果を、通信部２３を介して制御装置１０に出力する。

【0044】

学習部２１３は、画像処理装置３０から送信された認識結果に基づいて、画像認識処理に関する学習を行う。例えば、画像認識処理に用いる学習済データ２２１に対する学習を行う。具体的には、学習部２１３は、受信した画像データを、マッチング用の画像データ（正解データ）として学習済データ２２１に格納する。つまり、本実施形態では、撮像装置２よりも撮像距離の近い撮像装置３により撮像された画像データの方が画像認識の信頼性が高いと扱う。これにより、画像処理装置２０における画像認識の精度を向上することができる。

【0045】

もちろん、学習部２１３は、画像処理装置３０から画像データを受け付ける他に、マッチング用の画像データを入力部２４又は通信部２３を介してユーザから受け付けて、学習済データ２２１に格納してもよい。

【0046】

なお、画像認識部２１１の画像認識処理は、いわゆるマッチング処理に限られず、例えば機械学習や深層学習により得た学習済モデルを使用してもよい。この場合、学習済データ２２１には、学習済モデルが含まれる。当該学習済モデルは、例えば、入力層にワークの画像データが入力され、複数段の中間層を経て、出力層から各種ワークに対する一致率が出力されるニューラルネットワークである。学習部２１３は、画像処理装置３０から送信された認識結果（ワークの画像データとワークの識別子）を用いて、学習済モデルにさらに学習させることができる。

【0047】

画像処理装置３０は、処理部３１、記憶部３２、通信部３３、入力部３４、及び表示部３５を有する。これらは、それぞれ例えば、プロセッサ、メモリ又はストレージ、ネットワークＮ及び撮像装置３用の通信インターフェイス、キーボード等の入力装置、ディスプレイにより実現できる。

【0048】

処理部３１は、画像認識部３１１、認識結果出力部３１２、及び学習部３１３を含む機能を有する。これらの機能は、例えばプロセッサが所定のプログラムを実行することで実現される。

【0049】

画像認識部３１１は、通信部３３を介して撮像装置３から画像データを受信し、受信した画像データに対して画像認識処理を行い、作業対象ワークＷを認識する。画像認識処理は、画像認識部２１１と同様なので説明を省略する。なお、画像認識部３１１は、学習済データ３２１に格納されているマッチング用の画像データ（正解データ）を使用する。

【0050】

認識結果出力部３１２は、画像認識部３１１で得られた認識結果を、通信部３３を介して画像処理装置２０に出力する。

【0051】

学習部３１３は、入力部３４又は通信部３３を介してユーザから入力された画像データに基づいて、画像認識処理に関する学習を行う。例えば、画像認識処理に用いる学習済データ３２１に対する学習を行う。具体的には、学習部３１３は、ユーザから受け付けた画像データを、マッチング用の画像データ（正解データ）として学習済データ３２１に格納する。

【0052】

なお、画像認識部３１１の画像認識処理は、画像認識部２１１と同様に、例えば機械学習や深層学習により得た学習済モデルを使用してもよい。学習部３１３は、ユーザから入力された学習データ（ワークの画像データとワークの識別子）を用いて、学習済モデルにさらに学習させることができる。

【0053】

図３は、本発明の第１実施形態に係る画像処理装置２０、３０及び制御装置１０の処理の一例を説明するシーケンス図である。本シーケンスは、コンベヤ４の搬出領域である第１領域内の全てのワークＷの搬出が終わるまで繰り返し実行される。

【0054】

まず、画像認識部２１１は、コンベヤ４上の第１領域内を撮像した画像データを撮像装置２から受信し、画像認識処理を行い、作業対象ワークＷを認識する（ステップＳ１）。認識結果出力部２１２は、ステップＳ１の認識結果（作業対象ワークＷの位置座標、向き、及び識別子）を制御装置１０に送信する（ステップＳ２）。

【0055】

制御装置１０は、ステップＳ２で受信した認識結果に基づいて、当該作業対象ワークＷをコンベヤ４の搬出領域からコンベヤ５の搬入領域まで運ぶように作動させる制御命令を生成し（ステップＳ３）、ロボット１に出力する（ステップＳ４）。ロボット１によってコンベヤ５に載置されたワークＷは、コンベヤ５によって下流へ搬送される。

【0056】

画像認識部３１１は、コンベヤ５上の第２領域内を撮像した画像データを撮像装置３から受信し、画像認識処理を行い、作業対象ワークＷを認識する（ステップＳ５）。認識結果出力部３１２は、ステップＳ５の認識結果（作業対象ワークＷの識別子、及び画像データ）を画像処理装置２０に送信する（ステップＳ６）。なお、ステップＳ６で送信する画像データは、撮像された画像データ内で認識された作業対象ワークＷの占める部分で足りる。

【0057】

学習部２１３は、ステップＳ６で受信した識別子と画像データを関連付けて、マッチング用の画像データ（正解データ）として学習済データ２２１に格納する（ステップＳ７）

【0058】

以上、本発明の第１実施形態について説明した。本実施形態によれば、上流側よりも近距離で撮像された下流側の画像データを使った画像認識結果が、上流側の画像処理装置で学習される。これにより、上流側における画像認識の正確性を高めることができる。

【0059】

［第２実施形態］
第２実施形態では、画像処理装置２０が認識結果を画像処理装置３０に出力する。以下、第１実施形態と異なる点を中心に説明し、共通する点については説明を省略する。

【0060】

図４は、本発明の第２実施形態に係る画像処理装置２０及び画像処理装置３０の構成例を示す図である。

【0061】

画像処理装置２０の認識結果出力部２１２は、画像認識部２１１で得られた認識結果（ワークの位置座標、向き、及び識別子）を、制御装置１０だけでなく画像処理装置３０にも出力する。

【0062】

画像処理装置３０は、認識結果比較部３１４を有する。認識結果比較部３１４は、画像処理装置２０から送信された認識結果を受信し、画像認識部３１１で得られた認識結果と比較する。具体的には、認識結果比較部３１４は、ワークの識別子が一致するか否かを判定する。

【0063】

認識結果出力部３１２は、ワークの識別子が一致しないと判定された場合に、画像認識部３１１で得られた認識結果を、画像処理装置２０に出力する。

【0064】

図５は、本発明の第２実施形態に係る画像処理装置２０、３０及び制御装置１０の処理の一例を説明するシーケンス図である。

【0065】

認識結果出力部２１２は、ステップＳ１の認識結果（作業対象ワークＷの識別子）を画像処理装置３０に送信する（ステップＳ１１）。

【0066】

認識結果比較部３１４は、ステップＳ５の認識結果とステップＳ１１で受信した認識結果の識別子を比較し、一致するかどうかを判定する（ステップＳ１２）。認識結果出力部３１２は、ステップＳ１２で識別子が一致すると判定された場合（ステップＳ１３でＹ）、ステップＳ６の処理を行わない。

【0067】

認識結果出力部３１２は、ステップＳ１２で識別子が一致しないと判定された場合（ステップＳ１３でＮ）、ステップＳ５の認識結果（作業対象ワークＷの識別子、及び画像データ）を画像処理装置２０に送信する（ステップＳ６）。

【0068】

なお、ステップＳ７において、学習部２１３は、正解データを学習するのに加え、ステップＳ１でマッチしたマッチング用の画像データを、不正解データと扱い、学習済データ２２１から削除してもよい。

【0069】

以上、本発明の第２実施形態について説明した。本実施形態によれば、上流側と下流側とで画像認識結果が不一致の場合のみ、上流側の画像処理装置に画像データが送信され、学習される。これにより、画像処理装置２０の処理負荷を低減することができるし、画像データの伝送によるネットワークの通信負荷を低減することができる。

【0070】

［第３実施形態］
以下、第２実施形態と異なる点を中心に説明し、共通する点については説明を省略する。

【0071】

図６は、本発明の第３実施形態に係る画像処理装置２０、３０及び制御装置１０の処理の一例を説明するシーケンス図である。

【0072】

認識結果出力部３１２は、ステップＳ１２で識別子が一致しないと判定された場合（ステップＳ１３でＮ）、認識結果として不一致であることを示すデータを画像処理装置２０に送信する（ステップＳ２１）。第２実施形態と異なり、作業対象ワークＷの識別子、及び画像データを送信しない。

【0073】

学習部２１３は、ステップＳ２１で不一致であることを示すデータを受信すると、不正解データとして学習する（ステップＳ２２）。例えば、学習部２１３は、ステップＳ１でマッチしたマッチング用の画像データを、不正解データと扱い、学習済データ２２１から削除する。

【0074】

以上、第３実施形態について説明した。本実施形態によれば、下流側から上流側の画像処理装置へ画像データが送信されない。これにより、画像データの伝送によるネットワークの通信負荷をなくすことができる。

【0075】

［第４実施形態］
以下、第２実施形態と異なる点を中心に説明し、共通する点については説明を省略する。

【0076】

図７は、本発明の第３実施形態に係る画像処理装置２０、３０及び制御装置１０の処理の一例を説明するシーケンス図である。

【0077】

学習部２１３は、ステップＳ６で認識結果を受信すると、ステップＳ１で認識された認識結果と、ステップＳ６で受信した認識結果とを表示する（ステップＳ３１）。具体的には、学習部２１３は、ステップＳ１で撮像された画像データ内で認識された作業対象ワークＷの画像およびその識別子と、ステップＳ６で受信した作業対象ワークＷの画像およびその識別子とを並べた画面を表示部２５に表示させる。

【0078】

それから、学習部２１３は、正解を受け付ける（ステップＳ３２）。具体的には、学習部２１３は、表示部２５に表示された画面上で、正解の認識結果を選択するユーザの操作を入力部２４から受け付ける。

【0079】

そして、学習部２１３は、正解データを学習する（ステップＳ３３）。具体的には、学習部２１３は、ステップＳ３２で選択された正解の方の画像データを、マッチング用の画像データ（正解データ）として学習済データ２２１に格納する。なお、学習部２１３は、ステップＳ３２で選択されなかった方の画像データが、ステップＳ１の認識結果である場合、ステップＳ１でマッチしたマッチング用の画像データを、不正解データと扱い、学習済データ２２１から削除してもよい。

【0080】

以上、本発明の第４実施形態について説明した。本実施形態によれば、ユーザは、上流と下流のどちらの認識結果が正しいか等を検討することができる。また、ユーザによる検討結果として学習が行われるので、より正確な学習が期待できる。

【0081】

本発明は、上記の各実施形態に限定されず、本発明の要旨の範囲内で種々の変形実施が可能であり、それらの態様を含むものである。ある実施形態の一部の構成要素を、他の実施形態に加えたり、他の実施形態の一部の構成要素と置換したりしてもよい。ある実施形態の構成要素のうち、一部の構成要素を省略することもできる。

【0082】

本発明は、画像処理搬送システム、画像処理装置だけでなく、画像処理方法、画像処理プログラムなどの様々な態様で提供することができる。

【符号の説明】

【0083】

１…ロボット、２…撮像装置、３…撮像装置、４…コンベヤ、５…コンベヤ、１０…制御装置、２０…画像処理装置、２１…処理部、２２…記憶部、２３…通信部、２４…入力部、２５…表示部、３０…画像処理装置、３１…処理部、３２…記憶部、３２…ステップ、３３…通信部、３４…入力部、３５…表示部、２１１…画像認識部、２１２…認識結果出力部、２１３…学習部、２２１…学習済データ、３１１…画像認識部、３１２…認識結果出力部、３１３…学習部、３１４…認識結果比較部、３２１…学習済データ、Ｎ…ネットワーク、Ｐ…パレット、Ｗ…ワーク

【要約】

【課題】画像処理搬送システムにおいて画像認識の正確性を向上する。
【解決手段】画像処理搬送システムは、１つ以上のワークが載置された上流側コンベヤの第１領域を撮像して第１撮像画像を得る第１撮像装置と、前記第１撮像画像に対する画像認識により作業対象ワークを認識する第１画像処理装置と、認識された前記作業対象ワークを前記上流側コンベヤから下流側コンベヤに移動させるように移載装置を制御する制御装置と、前記下流側コンベヤの第２領域を撮像して第２撮像画像を得る第２撮像装置と、前記第２撮像画像に対する画像認識により前記作業対象ワークを認識する第２画像処理装置と、を備え、前記第２画像処理装置は、前記作業対象ワークの認識結果を前記第１画像処理装置に送信し、前記第１画像処理装置は、前記第２画像処理装置から受信した前記認識結果に基づいて、画像認識処理に関する学習を行う。
【選択図】図１

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】