特許 7481575 対象物員数検査用の学習モデル生成方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-04-30

(45)【発行日】2024-05-10

(54)【発明の名称】対象物員数検査用の学習モデル生成方法及びプログラム

(51)【国際特許分類】

   G01N 21/88 20060101AFI20240501BHJP

   G06M 11/00 20060101ALI20240501BHJP

   G06T 7/00 20170101ALI20240501BHJP

【ＦＩ】

G01N21/88 J

G06M11/00 D

G06T7/00 350B

【請求項の数】 10

(21)【出願番号】P 2023509932

(86)(22)【出願日】2021-03-29

(86)【国際出願番号】 JP2021013359

(87)【国際公開番号】W WO2022208623

(87)【国際公開日】2022-10-06

【審査請求日】2023-08-04

(73)【特許権者】

【識別番号】000010076

【氏名又は名称】ヤマハ発動機株式会社

(74)【代理人】

【識別番号】100115381

【弁理士】

【氏名又は名称】小谷 昌崇

(74)【代理人】

【識別番号】100127797

【弁理士】

【氏名又は名称】平田 晴洋

(72)【発明者】

【氏名】駒池 国宗

【審査官】小野寺 麻美子

(56)【参考文献】

【文献】特開２０２０－０８０００３（ＪＰ，Ａ）

【文献】特開２０１９－２００５３３（ＪＰ，Ａ）

【文献】特開２０２０－１２６３１３（ＪＰ，Ａ）

【文献】米国特許出願公開第２０２０／００４３１７１（ＵＳ，Ａ１）

【文献】特開２０１９－１９１９７３（ＪＰ，Ａ）

【文献】国際公開第２０１９／１５９４４０（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｎ ２１／８４ － Ｇ０１Ｎ ２１／９５８

Ｇ０６Ｍ ７／００ － Ｇ０６Ｍ １５／００

Ｇ０６Ｔ １／００ － Ｇ０６Ｔ ７／９０

(57)【特許請求の範囲】

【請求項1】

容器内に収容される対象物の員数を自動検査する処理を行うための、機械学習に用いられる学習モデルの生成方法であって、前記学習モデルの生成装置に、
前記容器及び対象物の形状を画像で表現するモデルデータを入力するステップと、
前記モデルデータを用いて、複数個の対象物を任意に配置した単位配置体を複数体作成させると共に、前記容器に対応する容器エリア内に前記単位配置体を任意に配置することで、前記対象物を任意の密集度で収容している前記容器の形状画像データを作成させるステップと、
前記形状画像データに、現実の前記容器及び前記対象物の質感を与える処理を加え、前記学習モデルを構築する際に使用される教師画像データを作成させるステップと、
を実行させることを特徴とする対象物員数検査用の学習モデル生成方法。

【請求項2】

請求項１に記載の学習モデル生成方法において、
前記単位配置体は、前記容器エリアよりも小さい拘束エリアを予め設定し、任意数の前記対象物を前記拘束エリア内に任意に配置することにより作成される、対象物員数検査用の学習モデル生成方法。

【請求項3】

請求項２に記載の学習モデル生成方法において、
物理シミュレーションにより、前記拘束エリア内に前記任意数の対象物を自由落下させることにより、当該対象物を前記拘束エリア内に任意に配置する、対象物員数検査用の学習モデル生成方法。

【請求項4】

請求項２又は３に記載の学習モデル生成方法において、
前記形状画像データを作成させるステップは、
前記容器エリアと同等又は小さく、前記拘束エリアよりも大きいミックスエリアを設定し、前記ミックスエリア内に前記複数体の単位配置体を任意に配置するステップと、
前記単位配置体が配置された前記ミックスエリアを、前記容器エリア内の任意の位置に任意の方向で配置するステップと、を含む、対象物員数検査用の学習モデル生成方法。

【請求項5】

請求項１に記載の学習モデル生成方法において、
物理シミュレーションにより、前記複数体の単位配置体を、前記対象物の任意配置状態を維持できる落下開始位置から、前記容器エリア内に自由落下させることで、容器エリア内に前記単位配置体を任意に配置する、対象物員数検査用の学習モデル生成方法。

【請求項6】

請求項１～５のいずれか１項に記載の学習モデル生成方法において、
前記形状画像データにおける前記対象物の各々の配置を示す情報を、前記教師画像データに存在する前記対象物の配置を示す正解データとして扱い、
前記学習モデルの生成装置が備える記憶装置に、前記教師画像データと前記正解データとを関連付けて記憶させる、対象物員数検査用の学習モデル生成方法。

【請求項7】

請求項１～６のいずれか１項に記載の学習モデル生成方法において、
前記質感を与える処理は、前記対象物及び前記容器の撮像光学系の設定及びそのバラツキ範囲の設定、並びに、前記対象物及び前記容器の材質及びそのバラツキ範囲の設定を含む、物理ベースレンダリングにて実行される、対象物員数検査用の学習モデル生成方法。

【請求項8】

請求項１～７のいずれか１項に記載の学習モデル生成方法において、
前記対象物の員数の自動検査の際に実際に取得される前記対象物を収容した容器の実画像と、前記教師画像データとを対比し、
両者の類似度が所定の閾値よりも低い場合に、前記実画像の傾向に沿った教師画像データを追加作成して前記学習モデルを更新する、対象物員数検査用の学習モデル生成方法。

【請求項9】

請求項１～８のいずれか１項に記載の学習モデル生成方法において、
前記形状画像データを作成させるステップは、前記対象物以外の異物を、前記容器エリア内に配置するステップを含む、対象物員数検査用の学習モデル生成方法。

【請求項10】

容器内に収容される対象物の員数を自動検査する処理を行うための、機械学習に用いられる学習モデルを、所定の学習モデル生成装置に作成させるためのプログラムであって、
前記容器及び対象物の形状を画像で表現するモデルデータの入力を受け付けるステップと、
前記モデルデータを用いて、複数個の対象物を任意に配置した単位配置体を複数体作成させると共に、前記容器に対応する容器エリア内に前記単位配置体を任意に配置することで、前記対象物を任意の密集度で収容している前記容器の形状画像データを作成させるステップと、
前記形状画像データに、現実の前記容器及び前記対象物の質感を与える処理を加え、前記学習モデルを構築する際に使用される教師画像データを作成させるステップと、
を前記学習モデル生成装置に実行させることを特徴とする対象物員数検査用の学習モデル生成プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、対象物の員数を自動検査する処理を行うための機械学習に使用される学習モデルの生成方法、及びそのプログラムに関する。

【背景技術】

【0002】

ロボット等によりトレイ（容器）に収容された部品（対象物）のピッキング等を行わせるに際し、当該トレイに収容されている部品の員数（個数）を確認する検査、或いは所要員数の部品が容器に収容されているか否かの検査が行われる場合がある。この場合、部品入りのトレイを撮像し、画像認識処理によって前記トレイ内の部品個数を自動的に特定する手法が採られることがある。前記画像認識を的確に行わせるために、多数の部品入りトレイの画像を教師画像データとして機械学習させ、検査用の学習モデルを作成することが考えられる。

【0003】

特許文献１には、部品入りトレイを実際に撮像した実画像をベースに、部品の位置、向きなどを異ならせて多数の教師画像データを作成し、機械学習を行わせる技術が開示されている。しかし、実画像において、各部品が認識可能に明瞭に映っているとは限らない。例えば、エッジ抽出処理によって部品を画像認識する場合、そのエッジが明瞭でなかったり、部品同士が重なっていたりすると、認識性能が低下する。従って、実画像をベースとして作成された教師画像データを用いて機械学習を行わせても、的確な学習モデルが得られないことがあった。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０２０－１２６４１４号公報

【発明の概要】

【0005】

本発明は、対象物の員数を検査する処理を行うための機械学習に使用される学習モデルを的確に作成することができる学習モデル生成方法を提供することを目的とする。

【0006】

本発明の一局面に係る対象物員数検査用の学習モデル生成方法は、容器内に収容される対象物の員数を自動検査する処理を行うための、機械学習に用いられる学習モデルの生成方法であって、前記学習モデルの生成装置に、前記容器及び対象物の形状を画像で表現するモデルデータを入力するステップと、前記モデルデータを用いて、複数個の対象物を任意に配置した単位配置体を複数体作成させると共に、前記容器に対応する容器エリア内に前記単位配置体を任意に配置することで、前記対象物を任意の密集度で収容している前記容器の形状画像データを作成させるステップと、前記形状画像状データに、現実の前記容器及び前記対象物の質感を与える処理を加え、前記学習モデルを構築する際に使用される教師画像データを作成させるステップと、を実行させることを特徴とする。

【0007】

本発明の他の局面に係る対象物員数検査用の学習モデル生成プログラムは、容器内に収容される対象物の員数を自動検査する処理を行うための、機械学習に用いられる学習モデルを、所定の学習モデル生成装置に作成させるためのプログラムであって、前記容器及び対象物の形状を画像で表現するモデルデータの入力を受け付けるステップと、前記モデルデータを用いて、複数個の対象物を任意に配置した単位配置体を複数体作成させると共に、前記容器に対応する容器エリア内に前記単位配置体を任意に配置することで、前記対象物を任意の密集度で収容している前記容器の形状画像データを作成させるステップと、前記形状画像状データに、現実の前記容器及び前記対象物の質感を与える処理を加え、前記学習モデルを構築する際に使用される教師画像データを作成させるステップと、を前記学習モデル生成装置に実行させることを特徴とする。

【図面の簡単な説明】

【0008】

【図1】図１は、本発明の係る学習モデル生成方法が適用される、第１実施形態に係る員数自動検査システムの構成を示すブロック図である。

【図2】図２は、教師画像データ作成部の機能構成を示すブロック図である。

【図3】図３は、第１実施形態の教師画像データ作成処理を大略的に示すフローチャートである。

【図4】図４は、教師画像データ作成処理の実施状況を示す模式図である。

【図5】図５（Ａ）、（Ｂ）は、図３のステージ１における単位配置体の作成状況を示す図である。

【図6】図６（Ａ）、（Ｂ）は、単位配置体の作成に際に行われる自由落下処理を示す図である。

【図7】図７（Ａ）～（Ｅ）は、図３のステージ２におけるミックスエリアへの単位配置体の配置処理の実施状況を示す図である。

【図8】図８は、ミックスエリアへの単位配置体の配置処理の他の例を示す図である。

【図9】図９（Ａ）～（Ｃ）は、図３のステージ３におけるは、ミックスエリアの容器エリアへの配置処理の実施状況を示す図である。

【図10】図１０（Ａ）～（Ｅ）は、教師画像データの具体例を示す図である。

【図11】図１１は、第１実施形態の教師画像データ作成処理を示すフローチャートである。

【図12】図１２は、第２実施形態に係る員数自動検査システムの構成を示すブロック図である。

【図13】図１３（Ａ）及び（Ｂ）は、合成教師画像と実画像の類似度の判定状況を示す図である。

【図14】図１４は、第３実施形態に係る教師画像データ作成処理の実施状況を示す模式図である。

【図15】図１５（Ａ）及び（Ｂ）は、第４実施形態における単位配置体の配置処理の実施状況を示す図である。

【図16】図１６は、第４実施形態の教師画像データ作成処理を示すフローチャートである。

【図17】図１７（Ａ）～（Ｅ）は、実画像に基づき教師画像データを作成する場合の不具合を説明するための図である。

【発明を実施するための形態】

【0009】

以下、図面に基づいて、本発明に係る対象物員数検査用の学習モデル生成方法の実施形態について詳細に説明する。本発明において作成する学習モデルは、容器に収容されている対象物の員数（個数）を把握する検査、或いは、容器に所要の員数の対象物が収容されているか否かの検査等を、所定の処理装置に画像認識処理によって自動的に実行させる際に用いられる。容器に多様な配置形態で収容される対象物の画像を教師画像データとして機械学習させることで、員数検査用の学習モデルを作成する。本発明では、教師画像として、対象物を収容した容器の実際の画像（実画像）を用いるのではなく、ＣＡＤデータ等の形状画像データに基づいて作成される合成画像を用いる。

【0010】

本発明の検査対象物については特に制限はなく、撮像された画像において個体として認識可能な物体であれば検査対象物となり得る。容器についても特に制限はなく、所要数の対象物を収容可能であって、収容している対象物の全てを撮像可能な開口を有する容器であれば良い。対象物としては、機械部品や電子部品等の部品、小サイズの完成品、穀類、果実、野菜、根菜等の農産物、加工食品などを例示することができる。容器としては、上面開口の収容箱、トレイ、平皿、コンテナなどを例示することができる。

【0011】

［第１実施形態／員数自動検査システムの構成］
図１は、本発明に係る学習モデル生成方法が適用される、第１実施形態に係る員数自動検査システム１の構成を示すブロック図である。ここでは、部品トレイ等の容器Ｔに収容されている部品Ｃ（対象物）の個数を把握する検査を行う員数自動検査システム１を例示する。検査後、容器Ｔの部品Ｃは、例えばロボットハンドでピッキングされる。

【0012】

員数自動検査システム１は、学習モデル生成装置１０、検査カメラ１４、検査処理部１５及び検査表示部１６を備える。学習モデル生成装置１０は、部品Ｃを様々な配置態様で収容した容器Ｔの合成画像を教師画像データとして用い、所定の機械学習アルゴリズムによる学習を実行し、学習モデルを作成する。検査カメラ１４は、員数検査の対象となる部品Ｃを収容した容器Ｔの実画像を撮像する。

【0013】

検査処理部１５は、検査カメラ１４が撮像した実画像に、学習モデル生成装置１０が作成した学習モデルを適用して、当該実画像において容器Ｔに収容されている部品Ｃの個数を検出する。検査処理部１５は、画像処理部１５１及び員数認識部１５２を含む。画像処理部１５１は、検査カメラ１４が撮像した実画像データに、コントラストや明るさの補正処理、ノイズ除去処理、拡大・縮小処理、エッジ強調処理、トリミング処理等の、必要な画像処理を施す。特段の画像処理を施さない場合は、画像処理部１５１を省いても良い。員数認識部１５２は、画像処理後の前記実画像データに前記学習モデルを適用して、当該実画像データにおいて部品Ｃと認識された個数を検出する。検査表示部１６は、検査処理部１５が認識した部品Ｃの個数、或いは前記個数に基づく合否判定結果等を表示する。

【0014】

学習モデル生成装置１０は、教師画像データ作成部１１、学習処理部１２及び学習モデル記憶部１３を備える。教師画像データ作成部１１は、学習素材となる多種多様な教師画像データを、画像合成により作成する。学習処理部１２は、教師画像データ作成部１１が作成した多数の教師画像データを用いて、機械学習アルゴリズムにより教師あり学習を実行し、学習モデルを作成する。機械学習アルゴリズムとしては、ニューラルネットワークを用いた機械学習であるＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）などのディープラーニングを用いることができる。学習モデル記憶部１３は、学習処理部１２が作成した学習モデルを記憶する。

【0015】

図２は、教師画像データ作成部１１の機能構成を示すブロック図である。教師画像データ作成部１１は、処理装置２、データ入力部２６、操作部２７及び表示部２８を含む。例えば、処理装置２はパーソナルコンピュータの本体部、操作部２７及び表示部２８は前記パーソナルコンピュータのキーボード及びモニタである。前記パーソナルコンピュータにインストールされるソフトウェアが、本発明に係る対象物員数検査用の学習モデル生成プログラムに相当する。

【0016】

データ入力部２６は、合成画像を作成する部品Ｃ及び容器Ｔの三次元形状を画像で表現するモデルデータを、処理装置２に入力する。例えばデータ入力部２６は、三次元ＣＡＤデータを作成する他のコンピュータ装置、或いは前記三次元ＣＡＤデータを記憶しているサーバ装置等である。操作部２７は、教師画像データとなる合成画像の作成に際して、処理装置２に対して必要な操作をオペレータから受け付ける。表示部２８は、作成される合成画像の表示等を行う。

【0017】

処理装置２は、機能的に、拘束エリア設定部２１、単位配置体作成部２２、部品配置画像作成部２３、レンダリング部２４及びデータ記憶部２５を備えている。拘束エリア設定部２１は、モデルデータで作成された任意数の部品Ｃを収容する単位領域となる拘束エリアを作成する。単位配置体作成部２２は、物理シミュレーションにより、前記拘束エリアに任意数の部品Ｃを自由落下させる処理を実行する。この処理により、前記拘束エリア内に任意数の部品Ｃが任意に配置された単位配置体３（図４）が作成される。

【0018】

部品配置画像作成部２３は、容器Ｔに対応する容器エリア内に単位配置体３を任意に配置することで、部品Ｃを任意の密集度で収容している容器Ｔの形状画像データを作成する。レンダリング部２４は、前記形状画像データに、現実の容器Ｔ及び部品Ｃの質感を与える処理を加えた合成画像を作成する。この合成画像のデータは、学習処理部１２が学習モデルを構築する際に使用される教師画像データとなる。データ記憶部２５は、前記形状画像データにおける部品Ｃの各々の配置を示す情報を、前記教師画像データに存在する部品Ｃの配置を示す正解データとして記憶する。

【0019】

［教師画像データ作成の全体的な流れ］
図３は、第１実施形態の教師画像データ作成処理を大略的に示すフローチャート、図４は、前記教師画像データ作成処理の実施状況を示す模式図である。本実施形態の教師画像データ作成処理は、複数体の単位配置体３の作成処理（ステージ１）、複数体の単位配置体３のミックスエリア４への配置処理（ステージ２）、及び、ミックスエリア４の容器エリアへの配置及び質感付与処理、すなわち教師画像５への仕上げ処理（ステージ３）の、三段階の処理が行われる。

【0020】

ステージ１で作成される単位配置体３は、三次元ＣＡＤデータで作成された部品ＣＡと、その配置領域を制限する拘束エリア３１とからなる。ステージ１では、任意数の部品ＣＡが異なる態様で配置された複数体の単位配置体３が作成される。具体的には、拘束エリア３１のサイズ、部品ＣＡの配置個数、及び部品ＣＡの配置方向が異なる複数体の単位配置体３が作成される。但し、拘束エリア３１は、容器Ｔに対応する容器エリアＴＡよりも小さいサイズに設定される。

【0021】

図４では、タイプＡ～Ｄの４種の単位配置体３Ａ～３Ｄが、各々複数体例示されている。タイプＡの単位配置体３Ａは、所定サイズを有する拘束エリア３１Ａに２個の部品ＣＡがランダムに配置されている。タイプＢの単位配置体３Ｂは、タイプＡと同サイズの拘束エリア３１Ａに３個の部品ＣＡがランダムに配置されている。つまり、単位配置体３Ｂは、単位配置体３Ａよりも高い密集度で部品ＣＡが配置されている。タイプＣの単位配置体３Ｃは、拘束エリア３１Ａよりも大きい拘束エリア３１Ｂに４個の部品ＣＡがランダムに配置されている。タイプＤの単位配置体３Ｄは、拘束エリア３１Ｂよりもさらに大きい拘束エリア３１Ｃに、５個の部品ＣＡがランダムに配置されている。

【0022】

ステージ２では、ステージ１で作成された単位配置体３を任意に組み合わせてミックスエリア４に配置し、部品ＣＡの配置の多様性を創出する。ミックスエリア４は、容器エリアＴＡと同等又は小さく、拘束エリア３１よりも大きいサイズに設定される。単位配置体３Ａ～３Ｄでは、ミックスエリア４内における単位配置体３の配置数、配置位置、配置方向、粗密状態等を異ならせた複数のミックスエリア４が作成される。

【0023】

図４では、配置パターンＡ～Ｃの３種のミックスエリア４Ａ～４Ｃが例示されている。配置パターンＡのミックスエリア４Ａには、タイプＡ、Ｂの単位配置体３Ａ、３Ｂを組み合わせにより、部品ＣＡの配置パターンが形成されている。配置パターンＢのミックスエリア４Ｂには、タイプＡ、Ｂ、Ｃの単位配置体３Ａ、３Ｂ、３Ｃの組み合わせにより、部品ＣＡの配置パターンが形成されている。配置パターンＣのミックスエリア４Ｃには、タイプＢ、Ｃ、Ｄの単位配置体３Ｂ、３Ｃ、３Ｄの組み合わせにより、の配置パターンが形成されている。このようなミックスエリア４の形成手法を取ることで、ミックスエリア４内に部品ＣＡがまんべんなく分散配置された合成画像データだけでなく、部品ＣＡが偏って配置される合成画像データも作成できる。従って、多様な密集度乃至は粗密度合いで部品ＣＡが配置された合成画像データを作成できる。

【0024】

ステージ３では、ステージ２で作成したミックスエリア４を、容器エリアＴＡ内の任意の位置に任意の方向で配置して形状画像データを作成する。さらに、前記形状画像データにレンダリング処理を施し、実際の部品Ｃ及び容器Ｔにマッチする質感を与える。ステージ３の処理により、部品Ｃを収容した容器Ｔを撮像した実画像と遜色のない画像からなる、教師画像５のデータが生成される。

【0025】

図４では、２種の教師画像５Ａ、５Ｂが例示されている。教師画像５Ａは、配置パターンＡのミックスエリア４Ａを容器エリアＴＡの左上寄りに配置して作成された形状画像データに、レンダリング処理により質感を与えた画像である。教師画像５Ｂは、配置パターンＢのミックスエリア４Ｂを容器エリアＴＡの右下寄りに配置して作成された形状画像データに、レンダリング処理を施した画像である。前記形状画像データに含まれている部品ＣＡは、教師画像５Ａ、５Ｂにおいては、実際の質感を有する部品ＣＡＲに加工されている。容器エリアＴＡも、実際の容器Ｔが持つ質感が与えられている。

【0026】

［各ステージにおける処理の詳細］
以下、上述のステージ１～３において実行される処理の具体例を説明する。これらの処理に際しては、物理シミュレータが使用される。

【0027】

＜ステージ１＞
図５（Ａ）、（Ｂ）は、図３のステージ１における単位配置体３の作成状況を示す図である。拘束エリア３１は、物理シミュレータ上では拘束容器３２として表現される。拘束容器３２は、ＸＹ方向の４つの側辺３２１と、側辺３２１よりも下側に配置される底壁３２２と、側辺３２１と底壁３２２との間のテーパ部３２３とを有している。拘束エリア３１のＸＹ方向のサイズは、例えば次式で自動設定又はマニュアル設定することができる。
Ｘ＝部品ＣＡの長辺方向サイズ×拡張係数β
Ｙ＝部品ＣＡの短辺方向サイズ×部品ＣＡの個数×拡張係数β

【0028】

上式の拡張係数βは、拘束エリア３１における単位面積当たりの部品ＣＡの密集度を設定する係数となる。拡張係数βは、例えば１．０～２．０の範囲で、０．１刻みで設定することができる。部品ＣＡについては、実際野部品Ｃの公差を反映させるものとする。なお、正方形の部品ＣＡの場合は、一辺のサイズに拡張係数βを乗じることで、ＸＹ方向のサイズを定めることができる。また、円形の部品ＣＡの場合は、直径のサイズに拡張係数βを乗じることで、ＸＹ方向のサイズを定めることができる。

【0029】

単位配置体３は、任意数の部品ＣＡを拘束エリア３１内に任意に配置することによって作成される。この任意配置の手法として本実施形態では、物理シミュレーションにより、拘束エリア３１（拘束容器３２）内に任意数の部品ＣＡを自由落下させる手法が採られる。自由落下により部品ＣＡの配置状態を作るのは、部品ＣＡの物理現象に反するような配置状態が作られてしまうのを防止するためである。但し、拘束エリア３１の設定により、自由落下後の部品ＣＡの無秩序な転動が制限され、部品ＣＡが任意配置される範囲が拘束エリア３１内に規制される。このため、単位面積当たりの部品ＣＡの配置密度を同一として配置姿勢の異なる単位配置体３の群（例えば図４の単位配置体３Ａの群）の作成や、配置密度を異ならせると共に配置姿勢の異なる単位配置体３の群（例えば単位配置体３Ａと３Ｂの群）の作成が行い易くなる。また、単位配置体３の枠が定型化されるので、その後のミックスエリア４への配置が行い易くなる。

【0030】

ある高さ、姿勢を持った部品ＣＡを拘束容器３２に自由落下させると、拘束容器３２内で部品ＣＡは様々な姿勢を取る。図５（Ａ）は、２個の部品ＣＡを拘束容器３２に自由落下させた例である。この例では、２個の部品ＣＡが拘束容器３２の底壁３２２上に収まっている。図５（Ｂ）は、同じサイズの拘束容器３２に３個の部品ＣＡを自由落下させた例である。この例では、一部の部品ＣＡがテーパ部３２３に差し掛かり、不自然な状態となっている。自然落下後、物理シミュレータ上で拘束容器３２が除去される。

【0031】

図５（Ａ）及び（Ｂ）の右図は、拘束容器３２を除去後における拘束エリア３１内の部品ＣＡの配置を示している。この拘束エリア３１内に含まれる複数の部品ＣＡが、一つの単位配置体３の部品群となる。図５（Ａ）の拘束エリア３１では、拘束容器３２の除去前後で部品ＣＡの姿勢に変更はない。一方、図５（Ｂ）の拘束エリア３１では、拘束容器３２の除去前後で一部の部品ＣＡの姿勢が変わっている。このように、部品姿勢が変わることがあるので、拘束容器３２の除去後、所定の時間を待機時間として定め、部品ＣＡの位置や姿勢に変動の安定を待つ。前記待機時間の経過後、拘束エリア３１のセンターを当該単位配置体３における部品群センターＧＣとし、その部品群センターＧＣに対する各部品ＣＡの相対的な位置及び姿勢のデータを保存する。

【0032】

図６（Ａ）、（Ｂ）は、部品ＣＡの自由落下の実行例を示す模式図である。一つの拘束容器３２に対して複数の部品ＣＡの自由落下を開始させるときの状態は、複数の部品ＣＡ間で同一であっても、異なっていても良い。図６（Ａ）は、二つの部品Ｃ１１、Ｃ１２を同一の高さの同位置から、同一の回転状態及び姿勢で自由落下させる例を示している。なお、部品Ｃ１１、Ｃ１２の前記回転は、Ｚ軸周りの回転であり、前記姿勢は、Ｘ軸及び／又はＹ軸回りの回転である。

【0033】

図６（Ａ）の（Ａ１）図に示す部品Ｃ１１は、拘束容器３２（拘束エリア３１）の平面高さである基準高さｈ０よりもΔｈ１だけ高い落下開始高さｈ１から、部品群センターＧＣより鉛直上方に延びる落下軸Ｒに沿って自由落下されている。部品Ｃ１１には、当該部品Ｃ１１の長手方向がＸ軸に沿うようにＺ軸周りの回転が与えられている一方、Ｘ軸及びＹ軸回りの回転は与えられていない。（Ａ２）図に示す部品Ｃ１２は、部品Ｃ１１と同一の落下開始高さｈ１から、同一の回転及び姿勢で、落下軸Ｒに沿って自由落下されている。拘束容器３２上では、部品Ｃ１１の上に部品Ｃ１２が乗り上げた状態となっている。

【0034】

図６（Ｂ）は、二つの部品Ｃ１３、Ｃ１４を、同一の落下開始高さであるものの、異なる位置から、異なる姿勢で自由落下させる例を示している。図６（Ｂ）の（Ｂ１）図に示す部品Ｃ１３は、落下軸Ｒに対してシフトした位置から、先述の部品Ｃ１１と同じ回転状態及び姿勢で拘束容器３２に自由落下されている。一方、（Ｂ２）図に示す部品Ｃ１４は、部品Ｃ１３とは異なりＹ軸周りに回転された姿勢で、部品Ｃ１３とは異なる位置から拘束容器３２に自由落下されている。拘束容器３２上では、部品Ｃ１３と部品Ｃ１４とが位置ズレして並んだ状態となっている。

【0035】

以上の通り、本実施形態では物理シミュレーションによる部品ＣＡの自由落下の手法を用いるので、任意数の部品ＣＡが拘束エリア３１へ任意配置された単位配置体３を多数作成するに際して、部品配置状態に特定の偏りが生じ難くなる。従って、拘束エリア３１内で様々な配置姿勢を取る単位配置体３を作成でき、部品ＣＡの多様な密集度乃至は粗密度合いを有する形状画像データを作成することできる。

【0036】

＜ステージ２＞
図７（Ａ）～（Ｅ）は、図３のステージ２におけるミックスエリア４への単位配置体３の配置処理の実施状況を示す図である。物理シミュレータ上でミックスエリア４は、容器エリアＴＡと同等若しくは小さく設定される。ミックスエリア４のサイズは、例えば次式で自動設定させることができる。
ミックスエリア４のサイズ＝容器エリアＴＡのサイズ×縮小係数α

【0037】

縮小係数αは、容器エリアＴＡ内で複数体の単位配置体３を配置できるサイズにミックスエリア４を設定するための係数である。例えば、容器エリアＴＡはＸＹの辺を有する矩形のエリアである場合、ミックスエリア４は、そのＸＹの辺長に縮小係数αを乗じたＸＹの辺長を有するサイズに設定される。縮小係数αは、例えば０．８～１．０の範囲で設定することができる。

【0038】

ステージ１において作成された複数体の単位配置体３が、ミックスエリア４内に任意に配置される。図７（Ａ）では、４つの単位配置体３がミックスエリア４内に配置されている例を示している。これら４つの単位配置体３を、それぞれ部品群Ｇ１、Ｇ２、Ｇ３、Ｇ４と呼ぶ。部品群Ｇ１～Ｇ４の配置は、部品群センターＧＣを基準として決定される。先ず、部品群Ｇ１の部品群センターＧＣのミックスエリア４内における配置座標を任意に定めると共に、部品群センターＧＣ回りに任意に回転させることで、部品群Ｇ１の配置を定める。部品群Ｇ１の配置は、部品ＣＡがミックスエリア４からはみ出ないように設定される。但し、部品群Ｇ１の配置枠である拘束エリア３１は、ミックスエリア４からはみ出ても良い。

【0039】

次いで、部品群Ｇ２がミックスエリア４内に配置される。上記と同様に、部品群Ｇ２の部品群センターＧＣのミックスエリア４内における配置座標と回転とを任意に設定する。その後、部品群Ｇ２の部品ＣＡが先配置した部品群Ｇ１の部品ＣＡと干渉しているか否かを確認する干渉チェックが行われる。単位配置体３については、図５（Ｂ）に例示したように、部品ＣＡ同士の干渉配置を想定しているので、ミックスエリア４への単位配置体３の配置段階では、処理の簡素化のため部品群Ｇ１～Ｇ４同士の干渉を発生させない配置とする。

【0040】

前記干渉チェックの結果、干渉が発生していなければ、続いて部品群Ｇ３がミックスエリア４内に配置される。引き続き、前記干渉チェックの後、部品群Ｇ４がミックスエリア４内に配置される。図７（Ａ）では、部品群Ｇ１～Ｇ４の部品ＣＡ同士が互いに干渉することなく配置された例を示している。なお、拘束エリア３１同士は、互いに干渉していても構わない。

【0041】

図７（Ｂ）は、ミックスエリア４内に配置された部品群Ｇ１～Ｇ４の部品ＣＡの一部に干渉が生じている例を示している。具体的には、部品群Ｇ３と部品群Ｇ４の部品ＣＡ同士に重なりが生じている。このような干渉が生じている場合、下記（ａ）又は（ｂ）の変更処理を行う。
（ａ）干渉を回避できるよう、部品群Ｇ３又は部品群Ｇ４のいずれかの部品群センターＧＣの配置座標をシフトさせる処理、若しくは、部品群センターＧＣ回りに回転させる処理を行う。
（ｂ）部品群Ｇ３又は部品群Ｇ４の部品群センターＧＣの配置座標をキャンセルして、新たな配置座標及び回転を設定する処理を行う。

【0042】

図７（Ｃ）は、上記（ａ）の変更処理の例を示しており、部品群Ｇ３の配置座標を右斜め上方向にシフトさせることで、部品群Ｇ３及び部品群Ｇ４の干渉を回避している。図７（Ｃ）の例に代えて、部品群Ｇ４の配置座標をシフトさせる、若しくは、部品群Ｇ３又は部品群Ｇ４を部品群センターＧＣ回りに回転させて、前記干渉を回避しても良い。図７（Ｄ）は、上記（ｂ）の変更処理の例を示す。図７（Ｂ）で設定された部品群Ｇ３の配置座標がキャンセルされ、新たな部品群Ｇ３の配置座標及び回転が設定されている。もちろん、部品群Ｇ４の配置座標をキャンセルし、新たな部品群Ｇ４の配置座標及び回転を設定しても良い。以上の手順により、ステージ１で作成された部品群Ｇ１～Ｇ４各々の部品配置関係を維持したまま、ミックスエリア４内に多様に部品ＣＡを配置することができる。

【0043】

続いて、図７（Ｅ）に示すように、ミックスエリア４において部品ＣＡが配置されていない領域をデータ上で除去する処理が行われる。これにより、ミックスエリア４内に配置された部品群Ｇ１～Ｇ４の、容器エリアＴＡへの配置自由度を高めるこができる。図７（Ｅ）では、部品群Ｇ１～Ｇ４を取り囲むことができる最小矩形エリア（最外形）をミックス部品群エリア４１として定め、このエリア４１より外側の領域を削除している例を示している。なお、最外形より外側の領域を除く処理の形態は、最小矩形エリアの設定に限らず、任意の除去手法を採用しても良い。また、除去作業自体を省き、ミックスエリア４をそのまま用いても良い。

【0044】

その後、ミックス部品群エリア４１内における部品群Ｇ１～Ｇ４の配置状態が保存される。具体的には、ミックス部品群エリア４１の中心座標であるミックス部品群センターＭＧＣを基準座標として、部品群Ｇ１～Ｇ４の各部品群センターＧＣの配置座標と回転角とが記憶装置に格納される。格納されるデータは、ミックス部品群センターＭＧＣを基準とするｘ方向及びｙ方向の座標値、及び、部品群センターＧＣのｚ軸回りの回転角θを示す、「ｘｎ、ｙｎ、θｎ」の値である。

【0045】

図８は、ミックスエリア４への単位配置体３の配置処理の他の例を示す図である。図７（Ａ）～（Ｅ）の例では、ミックスエリア４の全域を単位配置体３の配置可能領域として使用する例を示した。これに代えて、図８では、ミックスエリア４内に、単位配置体３を配置させない配置不可領域４２が設定される例を示している。この例の場合、単位配置体３の部品ＣＡ同士の干渉だけでなく、部品ＣＡと配置不可領域４２との干渉が回避されるように、単位配置体３がミックスエリア４内の配置可能領域に配置される。実際の部品Ｃの補填作業において、部品Ｃが容器Ｔの縁付近に偏って配置される場合も想定される。このような配置を想定した教師画像データの作成に、配置不可領域４２の設定は寄与する。

【0046】

＜ステージ３＞
ステージ３では、ステージ２で作成したミックス部品群エリア４１又はミックスエリア４を、容器エリアＴＡ内に配置する処理が実行される。図９（Ａ）～（Ｃ）は、ミックス部品群エリア４１の容器エリアＴＡへの配置処理の実施状況を示す図である。ミックス部品群エリア４１は、ミックス部品群センターＭＧＣの配置座標（ｘｎ、ｙｎ）と、ミックス部品群センターＭＧＣ軸回りの回転角（θｎ）とを任意に設定することによって、容器エリアＴＡに配置される。但し、配置座標の設定範囲は、容器エリアＴＡとミックス部品群エリア４１との差分の範囲である。

【0047】

図９（Ａ）は、ミックス部品群エリア４１が容器エリアＴＡの左上寄りに配置されている例である。図９（Ｂ）は、ミックス部品群エリア４１が容器エリアＴＡの右下寄りに配置されている例である。容器エリアＴＡには、側壁領域ＴＡＷと、実際に部品が載置される底壁領域ＴＡＢとが設定されている。図９（Ａ）及び（Ｂ）のミックス部品群エリア４１は、いずれも底壁領域ＴＡＢ内に収まっており、配置要件を満たしている例である（配置ＯＫ）。

【0048】

一方、図９（Ｃ）は、配置要件を満たさない例である（配置ＮＧ）。ミックス部品群エリア４１のミックス部品群センターＭＧＣの配置座標は、容器エリアＴＡの中心である。しかし、図９（Ａ）のミックス部品群エリア４１に対して、図９（Ｃ）の例ではセンターＭＧＣ軸回りに時計方向に９０度回転されているため、部品群Ｇ１及びＧ４が側壁領域ＴＡＷに差し掛かっている。このような配置となった場合、ミックス部品群エリア４１の回転角を変更する、或いはミックス部品群センターＭＧＣの配置座標及び回転角を再設定する処理が実行される。

【0049】

ステージ３では、続いてレンダリングにより容器エリアＴＡ及び部品ＣＡに質感を与える処理が実行される。この処理には、物理ベースレンダリングツールを用いることが望ましい。レンダリング処理の一つは、部品ＣＡが配置された容器エリアＴＡを撮像する光学系の設定である。この撮像光学系の設定は、検査カメラ１４（図１）で実際に部品Ｃが配置された容器エリアＴＡを撮像するケースを想定して行われる。つまり、検査カメラ１４を想定した疑似カメラ、及び検査室の環境を想定した疑似照明を設定する。

【0050】

疑似カメラについては、露出（絞り、シャッター速度及びＩＳＯ感度）、被写界深度、画角、カメラ配置角などのパラメータが設定される。実際の検査カメラ１４による撮像では、合焦度が異なる画像や、撮像方向の変動した画像等が撮像され、画一的な画像を取得できないケースが想定される。このため、上記パラメータのうち、変動が予想され画質に影響を与えるパラメータについてはバラツキ範囲を設定する。但し、あくまで物理現象に即した範囲でのバラツキ値である。これにより、検査カメラ１４にて取得される可能性のある画像をカバーすることができ、実情に即した教師画像データを作成できる。

【0051】

疑似照明については、使用する照明のタイプ、明るさ、色合い、照明方向、検査室の反射条件などのパラメータが設定される。照明条件も、種々の要因で変動し得る。例えば、作業員が検査カメラ１４による撮像位置付近を通過した際の影により、一時的に照明条件が変動する。このため、上記パラメータのうち、変動が予想されるパラメータについては、バラツキ範囲を設定する。

【0052】

レンダリング処理の他の一つは、部品ＣＡ及び容器エリアＴＡの材質設定である。例えば、実際の部品Ｃが金属ボルトである場合、金属光沢、ねじ部分の凹凸による反射感、ざらつき感などのパラメータの設定が行われる。部品ＣＡについても、実際の容器Ｔの材質、色、表面光沢などのパラメータの設定が行われる。これら材質の設定が、部品ＣＡ及び容器エリアＴＡの質感調整ともなる。また、実際の部品Ｃ及び容器Ｔの質感にはバラツキが有るので、材質パラメータにバラツキ範囲を設定する。

【0053】

上述のようにして、部品ＣＡ及び容器エリアＴＡのレンダリング設定が完了したら、物理ベースレンダリングを実行して教師画像５を作成し、その教師画像データを保存する。図１０（Ａ）～（Ｅ）は、教師画像５の具体例を示す図である。質感が付与された容器エリアＴＡの底壁領域ＴＡＢに、質感が付与された複数の部品ＣＡＲが載置された合成画像からなる教師画像５が、部品数や配置状態を異ならせて多数作成される。

【0054】

図１０（Ａ）は、部品ＣＡＲが容器エリアＴＡの底壁領域ＴＡＢに満遍なく配置された合成画像である。図１０（Ｂ）は、部品ＣＡＲが側壁領域ＴＡＷに沿うように配置された合成画像である。図１０（Ｃ）は、底壁領域ＴＡＢの約半面に密集して部品ＣＡＲが配置された合成画像である。図１０（Ｄ）及び（Ｅ）は、部品ＣＡＲのペアが、底壁領域ＴＡＢに密接して配置された合成画像である。単位配置体３及びミックスエリア４を作成して部品配置を多様化した上で、物理ベースレンダリングを実行しているので、物理現象に即し且つ部品配置のバリエーションに富んだ教師画像５を生成することができる。

【0055】

［教師画像データ作成処理のフロー］
図１１は、図２に示す教師画像データ作成部１１が実行する、第１実施形態に係る教師画像データ作成処理を示すフローチャートである。教師画像データ作成部１１の処理装置２は、教師画像５となる合成画像を作成する各種の部品Ｃ及び容器Ｔの三次元形状を画像で表現するモデルデータの入力を、データ入力部２６から受け付ける（ステップＳ１）。前記モデルデータは、例えばＣＡＤファイルの形式で処理装置２に入力される。

【0056】

続いて、単位配置体作成部２２が、物理シミュレータで作成する単位配置体３（図４）を構成する部品ＣＡの種別及び員数を選定する（ステップＳ２）。一方、拘束エリア設定部２１は、上述した通り、選定された部品ＣＡの長辺・短辺方向サイズ及び拡張係数βを用いて、所要のＸＹ方向のサイズを備えた拘束エリア３１を設定する。さらに、拘束エリア設定部２１は、当該拘束エリア３１に基づいて、物理シミュレータ上に拘束容器３２（図５）を生成する（ステップＳ３）。

【0057】

次に単位配置体作成部２２は、ステップＳ３で生成した拘束容器３２に、ステップＳ２で選定した部品ＣＡの自由落下条件を設定する（ステップＳ４）。設定されるのは、部品ＣＡの自由落下開始位置及び部品姿勢である。自由落下開始位置は、ＸＹ平面上の位置を示すＸＹ座標位置と、落下開始高さｈ１（図６（Ａ））に相当するＺ座標位置とで設定される。部品姿勢は、ＸＹＺの各軸回りの回転角にて設定される。その後、単位配置体作成部２２は、物理シミュレーションにより、設定された自由落下条件にて、拘束容器３２内に員数分の部品ＣＡを自由落下させる（ステップＳ５）。

【0058】

自由落下させた部品ＣＡの姿勢安定後、単位配置体作成部２２は、拘束容器３２の除去処理を行い、さらに前記除去処理後、所定の待機時間の経過を待つ。部品ＣＡの変動がなくなった時点で、一つの単位配置体３の作成が完了する。その後、単位配置体作成部２２は、作成した単位配置体３の部品群センターＧＣに対する各部品ＣＡの相対的なＸＹ位置座標及び各軸回りの回転角のデータを、データ記憶部２５に保存する（ステップＳ６）。以上のような単位配置体３の作成処理が、所要の単位配置体３の体数分だけ実行される。

【0059】

次に、部品配置画像作成部２３は、ミックスエリア４（図４）に配置する単位配置体３及びその個数を設定する（ステップＳ７）。その後、部品配置画像作成部２３は、物理シミュレータ上にミックスエリア４を設定する（ステップＳ８）。ミックスエリア４のサイズは、上述の通り、容器エリアＴＡのサイズと縮小係数αとを用いて設定される。

【0060】

続いて部品配置画像作成部２３は、図７に例示したように、ミックスエリア４に単位配置体３を任意の位置及び回転角で配置する処理を実行する（ステップＳ９）。この処理の際、部品配置画像作成部２３は、各単位配置体３に対応する部品群Ｇ１～Ｇ４同士の干渉チェックを行う。前記干渉が生じている場合、部品配置画像作成部２３は、その干渉を解消するように、部品群Ｇ１～Ｇ４のいずれかのシフト又は再配置を実行する（図７（Ｃ）、（Ｄ））。

【0061】

その後、部品配置画像作成部２３は、ミックスエリア４において部品ＣＡが配置されていない領域を、各部品の最外形から判断して除くことで、ミックス部品群エリア４１（図７（Ｅ））が設定される（ステップＳ１０）。そして、部品配置画像作成部２３は、ミックス部品群センターＭＧＣを基準座標として、部品群Ｇ１～Ｇ４の各部品群センターＧＣの配置座標と回転角とをデータ記憶部２５に格納する（ステップＳ１１）。

【0062】

さらに、部品配置画像作成部２３は、図９に例示したように、容器エリアＴＡ内にミックス部品群エリア４１をランダムに配置する処理を実行する（ステップＳ１２）。部品配置画像作成部２３は、ミックス部品群エリア４１の配置後における、ミックス部品群センターＭＧＣの配置座標（ｘｎ、ｙｎ）及びミックス部品群センターＭＧＣ軸回りの回転角（θｎ）も、データ記憶部２５に格納する。格納された配置情報は、教師画像データに存在する部品ＣＡの配置を示す正解データとなる。部品配置画像作成部２３は、教師画像データの識別番号とその正解データとを関連付けてデータ記憶部２５に記憶させる。

【0063】

続いて、レンダリング部２４が、物理ベースレンダリングにより容器エリアＴＡ及び部品ＣＡに質感を付与する処理を実行する。具体的には、レンダリング部２４は、部品ＣＡが配置された容器エリアＴＡを撮像する光学系（カメラ及び照明）の設定、及びそのバラツキ範囲を設定する（ステップＳ１３）。また、レンダリング部２４は、部品ＣＡ及び容器エリアＴＡの材質の設定、及びそのバラツキ範囲を設定する（ステップＳ１４）。

【0064】

しかる後、レンダリング部２４は、物理ベースレンダリング処理を実行し、教師画像５となる合成画像データ（教師画像データ）を生成する（ステップＳ１５）。作成された教師画像データは、データ記憶部２５に保存される（ステップＳ１６）。データ記憶部２５の教師画像データは、必要に応じて学習モデル生成装置１０に提供される。

【0065】

［第２実施形態］
図１２は、第２実施形態に係る員数自動検査システム１Ａの構成を示すブロック図である。員数自動検査システム１Ａは、第１実施形態の員数自動検査システム１に比較して、モデル更新処理部１７が追加されている点で相違する。モデル更新処理部１７は、学習モデル記憶部１３に格納されている学習モデルの作成元となった教師画像と、最近の員数検査において検査カメラ１４が撮像している実画像とを比較する。そして、両画像の傾向に齟齬が生じている場合、モデル更新処理部１７は学習モデル生成装置１０に学習モデルの更新処理を実行させる。

【0066】

作業者（或いはロボット）によって、部品Ｃを容器Ｔに載置する傾向が変わる場合がある。例えば、先行の作業者Ａが、部品Ｃを容器Ｔに満遍なく分散して載置する作業傾向があったとする。一方、同作業を引き継いだ作業者Ｂが、部品Ｃを容器Ｔの偏った位置に密集状態にして載置する作業傾向があったとする。現状で学習モデル記憶部１３に格納されている学習モデルが、作業者Ａの作業下では員数判定精度が高かったとしても、作業傾向が異なる作業者Ｂの作業下でも員数判定精度が高いとは限らない。このような事象を想定して、モデル更新処理部１７は、定期的に学習モデルの精度を判定する。

【0067】

モデル更新処理部１７は、機能的に画像類似度評価部１７１及び再学習判定部１７２を備えている。画像類似度評価部１７１は、員数自動検査の際に実際に検査カメラ１４によって取得されている部品Ｃを収容した容器Ｔの実画像と、教師画像データ作成部１１によって作成された教師画像５と比較し、両者の画像類似度を評価する。画像類似度は、例えばテンプレートマッチング等の手法で評価することができ、例えばＳＷＤ（Ｓｌｉｃｅｄ Ｗａｓｓｅｒｓｔｅｉｎ Ｄｉｓｔａｎｃｅ）にて評価することができる。

【0068】

再学習判定部１７２は、画像類似度評価部１７１が評価結果に基づいて、学習モデルの更新、すなわち教師画像データを用いた再学習の必要性を判定する。再学習判定部１７２は、画像類似度が所定の閾値よりも低い場合に、現状で取得されている実画像の傾向に沿った教師画像データを追加作成して学習モデルを更新するよう、学習モデル生成装置１０に指示を与える。

【0069】

図１３（Ａ）及び（Ｂ）は、合成教師画像と実画像の類似度の判定状況を示す図である。図１３（Ａ）には、５種の合成教師画像Ｔ１～Ｔ５が例示されている。合成教師画像Ｔ１～Ｔ５は、図１０（Ａ）～（Ｅ）に例示した教師画像と同じである。図１３（Ｂ）の左側の実画像ＡＤ１は、部品Ｃが比較的分散して容器Ｔに収容されている。一方、右側の実画像ＡＤ２は、部品Ｃが中央付近に密集して容器Ｔに収容されている。

【0070】

合成教師画像Ｔ１～Ｔ５のうち、実画像ＡＤ１に最も類似度が高いのは合成教師画像Ｔ１であり、次に類似度が高いのは合成教師画像Ｔ２である。これに対し、合成教師画像Ｔ３、Ｔ４、Ｔ５は、実画像ＡＤ１に対して類似度が低い。一方、実画像ＡＤ２に最も類似度が高いのは合成教師画像Ｔ３であり、次に類似度が高いのは合成教師画像Ｔ４、Ｔ５である。これに対し、合成教師画像Ｔ１、Ｔ２は、実画像ＡＤ２に対して類似度が低い。

【0071】

実際の員数検査で取得されている画像が実画像ＡＤ１の傾向である場合、合成教師画像Ｔ１、Ｔ２に示すような部品分散型の教師画像をより多く学習させた方が、学習モデルの性能が向上する。逆に、取得画像が実画像ＡＤ２の傾向である場合は、合成教師画像Ｔ３～Ｔ５に示すような密集型の教師画像をより多く学習させた方が、学習モデルの性能が向上する。

【0072】

例えば、検査カメラ１４が撮像している画像の傾向が実画像ＡＤ１から実画像ＡＤ２に変化した場合、モデル更新処理部１７は、合成教師画像Ｔ３～Ｔ５、特にＴ３の傾向に沿った合成画像のバリエーションを多数作成して再学習し、学習モデルを更新するよう学習モデル生成装置１０に指示を与える。以上の第２実施形態によれば、部品員数の自動検査を実際に行っていくうちに、教師画像データが実画像とかけ離れる傾向が生じたような場合に、学習モデルを実情に沿うように更新させてその性能を高めることができる。

【0073】

［第３実施形態］
図１４は、第３実施形態に係る教師画像データ作成処理の実施状況を示す模式図である。第３実施形態では、本来の部品ＣＡ以外の異物を交えて教師画像データを作成する例を示す。これにより、員数自動検査システム１に、員数検査だけでなく、異物の有無検査機能を付加することができる。

【0074】

第３実施形態では、図３のステージ１の段階で、実際の異物を模擬して三次元データにて作成された異物６１が、教師画像データ作成部１１によって単位配置体３と共に作成される。異物６１としては、単位配置体３の部品ＣＡが収容される容器Ｔに、実際に混入する可能性のある他種の部品を作成することが望ましい。図１４では、物理シミュレータにより、一つの異物６１を含む異物ブロック６が複数作成されている例を示している。

【0075】

ステージ２のミックスエリア４への配置ステップでは、複数体の単位配置体３と共に、異物ブロック６も配置される。図１４では、２種類の単位配置体３Ａ、３Ｂに加えて、２個の異物ブロック６がミックスエリア４内に配置されている例を示している。

【0076】

続くステージ３では、異物ブロック６を含むミックスエリア４を容器エリアＴＡに任意に配置して形状画像データが作成される。さらに、当該形状画像データにレンダリングを施すことで質感を与える処理が実行され、教師画像５が作成される。教師画像５においては、異物６１に対してもモデルとした実際の異物が持つ質感が与えられるので、部品ＣＡ及び異物６１は各々質感を有する部品ＣＡＲ及び異物６１Ｒとして表現される。

【0077】

異物６１Ｒ入りの教師画像５を作成しておけば、検査カメラ１４で取得された検査画像に想定した異物が含有されているとき、検査処理部１５は前記異物が容器Ｔに混入していることが識別可能となる。従って、部品Ｃの中に異物が混入した容器が、次段の工程に流出しないようにチェックすることができる。

【0078】

［第４実施形態］
第４実施形態では、レンダリング処理を施す前の形状画像データの作成処理を簡素化する例を示す。第１実施形態では、部品ＣＡを自由落下させて生成した単位配置体３をミックスエリア４に任意配置し、これを容器エリアＴＡに任意配置して形状画像データを作成する例を示した。これに対し、第４実施形態では、容器エリアＴＡに部品ＣＡを直接自由落下させることで、形状画像データを作成する例を示す。

【0079】

図１５は、第４実施形態における単位配置体３の配置処理の実施状況を示す図である。第１実施形態では、自由落下させる部品ＣＡの配置範囲を拘束容器３２で拘束した。これに代えて第４実施形態では、自由落下開始位置を制限することで、部品ＣＡの配置範囲を拘束する。図１５（Ａ）に示すように、部品Ｃ１１及びＣ１２の自由落下を開始させる落下開始高さｈ２を、自由落下面３２Ａの基準高さｈ０よりもΔｈ２だけ高い高さ（対象物の任意は位置状態を維持できる落下開始高さ）に設定する。

【0080】

落下開始高さｈ２は、図６（Ａ）に示した落下開始高さｈ１よりも低い高さ（Δｈ１＞Δｈ２）であって、自由落下面３２Ａへの衝突後に部品Ｃ１１、Ｃ１２の配置関係が大きく乱れない高さである。従って、部品Ｃ１１、Ｃ１２の配置関係を予め定めて自由落下をさせると、図１５（Ａ）に示す配置エリアを持つ自由落下面３２Ａの範囲内に、部品Ｃ１１、Ｃ１２を配置することが可能となる。このため、自由落下面３２Ａを単位配置体３と扱うことができる。また、自由落下前の部品Ｃ１１、Ｃ１２の配置関係をある程度維持できるため、ミックスエリア４への配置ステップを省いて、直接容器エリアＴＡに自由落下させても、ある程度は部品密集度のバラエティーに富んだ形状画像データを作成することができる。

【0081】

図１５（Ｂ）は、容器エリアＴＡに部品群Ｃ３１、Ｃ３２、Ｃ３３、Ｃ３４を直接自由落下させている例を示す図である。部品群Ｃ３１～Ｃ３４の部品配置関係は、自由落下前に予め定められ、物理シミュレータ上において上述の落下開始高さｈ２に相当する高さ位置から自由落下される。自由落下された部品群Ｃ３１～Ｃ３４の部品配置関係は、概ね自由落下前の部品配置関係を維持している。この自由落下処理により、容器エリアＴＡに複数の部品が任意に配置された形状画像データが作成される。その後、当該形状画像データに対して、図３のステージ３の質感付与処理が施され、教師画像データが作成される。

【0082】

図１６は、第４実施形態の教師画像データ作成処理を示すフローチャートである。本実施形態においても、図２に示す教師画像データ作成部１１が教師画像データを作成する。処理装置２は、教師画像５となる合成画像を作成する各種の部品Ｃ及び容器Ｔの三次元形状を画像で表現するモデルデータの入力を、データ入力部２６から受け付ける（ステップＳ２１）。続いて、単位配置体作成部２２が、物理シミュレータで作成する部品群Ｃ３１～Ｃ３４を構成する部品の種別及び員数を選定する（ステップＳ２２）。

【0083】

次に単位配置体作成部２２は、ステップＳ２２で選定した部品群Ｃ３１～Ｃ３４の自由落下条件を設定する（ステップＳ２３）。設定されるのは、部品群Ｃ３１～Ｃ３４の自由落下開始位置及び部品姿勢である。自由落下開始位置は、ＸＹ平面上の位置を示すＸＹ座標位置と、落下開始高さｈ２に相当するＺ座標位置とで設定される。部品姿勢は、ＸＹＺの各軸回りの回転角にて設定される。

【0084】

その後、単位配置体作成部２２は、物理シミュレーションにより、設定された自由落下条件にて、容器エリアＴＡに部品群Ｃ３１～Ｃ３４を自由落下させる（ステップＳ２４）。自由落下させた部品群Ｃ３１～Ｃ３４の姿勢安定後、部品群Ｃ３１～Ｃ３４を構成する各部品のＸＹ位置座標及び各軸回りの回転角のデータを、データ記憶部２５に保存する（ステップＳ２５）。

【0085】

その後、レンダリング部２４が、物理ベースレンダリングにより容器エリアＴＡ及び部品群Ｃ３１～Ｃ３４に質感を付与する処理を実行する（ステップＳ２６～Ｓ２８）。実行されるレンダリング処理は、図１１のステップＳ１３～Ｓ１５で説明した処理と同じであるので、説明を省く。作成された教師画像データは、データ記憶部２５に保存される（ステップＳ２９）。

【0086】

［作用効果］
以上説明した実施形態によれば、モデルデータから作成された容器エリアＴＡ及び部品ＣＡを用いて、図９（Ａ）、（Ｂ）に示したような模擬的な形状画像データが作成される。前記形状画像データは、複数体の単位配置体３をミックスエリア４に配置し、さらにミックス部品群エリア４１を容器エリアＴＡ内に任意に配置して作成される。単位配置体３自体が、複数個の部品ＣＡを任意に配置して作成されるので、部品ＣＡの密集度乃至は粗密が多様な形状画像データを容易に合成することができる（第１実施形態）。また、第４実施形態のように、容器エリアＴＡに部品群Ｃ３１～Ｃ３４を直接自由落下させれば、部品配置のバリエーションは若干低下するとしても、簡易に形状画像データを合成することができる。さらに、前記形状画像状データに、現実の容器Ｔ及び部品Ｃの質感を与える処理を施して教師画像５のデータが作成される。このため、部品Ｃを収容した容器Ｔを実際に撮像した実画像と遜色のない教師画像データを得ることができる。従って、当該教師画像データを用いて機械学習を行って生成される学習モデルの性能を高めることができる。

【0087】

さらに、実画像から教師画像を作成するのではなく、最初から画像合成により教師画像を作成するので、より学習に適した教師画像データを作成することができる。図１７は、実画像に基づき教師画像データを作成する場合の不具合を説明するための図である。実画像から教師画像を作成する場合、取得された二次元の実画像をベースにして画像合成を行うことになる。もちろん、実画像を多数枚取得してこれを教師画像としても良いが、撮像に膨大な手間を要する。

【0088】

二次元画像から部品等の対象物を認識するためには、エッジ抽出等の画像処理が必要となる。図１７（Ａ）は、ある実画像から切り出されたボルト型の対象物を示している。この切り出し画像では、対象物のオリジナル形状のエッジが明瞭に認識されている。しかし、二次元の実画像から対象物とその背景とを切り出した画像では、対象物のエッジを明確に認識できない場合が多々ある。図１７（Ｂ）は対象物のエッジが不明瞭な例、図１７（Ｃ）はエッジが欠落している例である。また、対象物同士が重なり合ったり接近したりしていると、対象物のオリジナル形状とは異なる形状を認識してしまう。図１７（Ｄ）は、対象物同士が重なっている場合に認識されるエッジの例、図１７（Ｅ）は、対象物同士が隣接している場合に認識されるエッジの例である。これに対し、上述した実施形態のように、三次元の合成画像の場合は、対象物が単体で配置されている場合はもちろんのこと、複数の対象物が重なりや隣接している状態で配置されている場合でも、その配置関係を明確に把握することができる。従って、本実施形態によれば、対象物の配置を示す正解データと正確に対応した教師画像データを作成することができる。

【0089】

［上記実施形態に含まれる発明］
本発明の一局面に係る対象物員数検査用の学習モデル生成方法は、容器内に収容される対象物の員数を自動検査する処理を行うための、機械学習に用いられる学習モデルの生成方法であって、前記学習モデルの生成装置に、前記容器及び対象物の形状を画像で表現するモデルデータを入力するステップと、前記モデルデータを用いて、複数個の対象物を任意に配置した単位配置体を複数体作成させると共に、前記容器に対応する容器エリア内に前記単位配置体を任意に配置することで、前記対象物を任意の密集度で収容している前記容器の形状画像データを作成させるステップと、前記形状画像状データに、現実の前記容器及び前記対象物の質感を与える処理を加え、前記学習モデルを構築する際に使用される教師画像データを作成させるステップと、を実行させることを特徴とする。

【0090】

本発明の他の局面に係る対象物員数検査用の学習モデル生成プログラムは、容器内に収容される対象物の員数を自動検査する処理を行うための、機械学習に用いられる学習モデルを、所定の学習モデル生成装置に作成させるためのプログラムであって、前記容器及び対象物の形状を画像で表現するモデルデータの入力を受け付けるステップと、前記モデルデータを用いて、複数個の対象物を任意に配置した単位配置体を複数体作成させると共に、前記容器に対応する容器エリア内に前記単位配置体を任意に配置することで、前記対象物を任意の密集度で収容している前記容器の形状画像データを作成させるステップと、前記形状画像状データに、現実の前記容器及び前記対象物の質感を与える処理を加え、前記学習モデルを構築する際に使用される教師画像データを作成させるステップと、を前記学習モデル生成装置に実行させることを特徴とする。

【0091】

この学習モデル生成方法又は学習モデル生成プログラムによれば、容器及び対象物のモデルデータを用いて模擬的な形状画像データが作成される。この形状画像データは、複数体の単位配置体を容器エリア内に任意に配置して作成される。前記単位配置体自体が、複数個の対象物を任意に配置して作成されるので、前記対象物の密集度乃至は粗密が多様な形状画像データを容易に合成することができる。さらに、前記形状画像状データに、現実の前記容器及び前記対象物の質感を与える処理を施して教師画像データが作成される。このため、対象物入り容器を実際に撮像した実画像と遜色のない教師画像データを得ることができる。従って、当該教師画像データを用いて機械学習を行って生成される学習モデルの性能を高めることができる。

【0092】

上記の学習モデル生成方法において、前記単位配置体は、前記容器エリアよりも小さい拘束エリアを予め設定し、任意数の前記対象物を前記拘束エリア内に任意に配置することにより作成されることが望ましい。

【0093】

この学習モデル生成方法によれば、単位配置体の範囲が拘束エリアによって定型化されるので、その後の容器エリア内への前記単位配置体の配置が行い易くなる。

【0094】

上記の学習モデル生成方法において、物理シミュレーションにより、前記拘束エリア内に前記任意数の対象物を自由落下させることにより、当該対象物を前記拘束エリア内に任意に配置することが望ましい。

【0095】

この学習モデル生成方法によれば、物理シミュレーションによる自由落下を用いるので、任意数の対象物の前記拘束エリア内への任意配置に特定の偏りが生じ難くなる。従って、拘束エリア内で様々な配置姿勢を取る単位配置体を作成でき、対象物の多様な密集度乃至は粗密度合いを有する形状画像データを作成することできる。

【0096】

上記の学習モデル生成方法において、前記形状画像データを作成させるステップは、前記容器エリアと同等又は小さく、前記拘束エリアよりも大きいミックスエリアを設定し、前記ミックスエリア内に前記複数体の単位配置体を任意に配置するステップと、前記単位配置体が配置された前記ミックスエリアを、前記容器エリア内の任意の位置に任意の方向で配置するステップと、を含むことが望ましい。

【0097】

この学習モデル生成方法によれば、複数体の単位配置体をミックスエリア内に任意配置した上で、さらに当該ミックスエリアを容器エリア内に任意配置する。このため、容器内に対象物が分散した配置或いは偏った配置の形状画像データを作成できる等、より一層対象物の多様な密集度乃至は粗密度合いを有する形状画像データを作成できる。

【0098】

上記の学習モデル生成方法において、物理シミュレーションにより、前記複数体の単位配置体を、前記対象物の任意配置状態を維持できる落下開始位置から、前記容器エリア内に自由落下させることで、容器エリア内に前記単位配置体を任意に配置することができる。

【0099】

この学習モデル生成方法によれば、対象物の任意配置状態を維持したまま、直接容器エリア内に前記単位配置体を任意に配置できる。従って、形状画像データの作成を簡素化することができる。

【0100】

上記の学習モデル生成方法において、前記形状画像データにおける前記対象物の各々の配置を示す情報を、前記教師画像データに存在する前記対象物の配置を示す正解データとして扱い、前記学習モデルの生成装置が備える記憶装置に、前記教師画像データと前記正解データとを関連付けて記憶させることが望ましい。

【0101】

この学習モデル生成方法によれば、実画像に基づき正解データを導出する場合に比べて、教師画像データにおける対象物の配置と、その正解データとを正確に紐付けることができる。

【0102】

上記の学習モデル生成方法において、前記質感を与える処理は、前記対象物及び前記容器の撮像光学系の設定及びそのバラツキ範囲の設定、並びに、前記対象物及び前記容器の材質及びそのバラツキ範囲の設定を含む、物理ベースレンダリングにて実行されることが望ましい。

【0103】

この学習モデル生成方法によれば、実際の員数検査の状況に応じた質感を前記対象物及び前記容器に与えることが可能となる。従って、より実画像に近い教師画像データを生成させることができる。

【0104】

上記の学習モデル生成方法において、前記対象物の員数の自動検査の際に実際に取得される前記対象物を収容した容器の実画像と、前記教師画像データとを対比し、両者の類似度が所定の閾値よりも低い場合に、前記実画像の傾向に沿った教師画像データを追加作成して前記学習モデルを更新することが望ましい。

【0105】

この学習モデル生成方法によれば、前記対象物の員数の自動検査を実際に行っていくうちに、教師画像データが実画像とかけ離れる傾向が生じたような場合に、学習モデルを実情に沿うように更新させてその性能を高めることができる。

【0106】

上記の学習モデル生成方法において、前記形状画像データを作成させるステップは、前記対象物以外の異物を、前記容器エリア内に配置するステップを含むことが望ましい。

【0107】

この学習モデル生成方法によれば、異物を含んだ形状画像データが作成される。このため、員数検査だけでなく、異物の有無検査にも学習モデルを適用することが可能となる。

【0108】

以上説明した本発明によれば、対象物の員数を検査する処理を行うための機械学習に使用される学習モデルを的確に作成することができる学習モデル生成方法、及び学習モデル生成プログラムを提供することができる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】