特許 7753695 画像検査用の学習モデルを更新する装置および方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-10-06

(45)【発行日】2025-10-15

(54)【発明の名称】画像検査用の学習モデルを更新する装置および方法

(51)【国際特許分類】

   G01N 21/88 20060101AFI20251007BHJP

【ＦＩ】

G01N21/88 J

【請求項の数】 5

(21)【出願番号】P 2021110472

(22)【出願日】2021-07-02

(65)【公開番号】P2023007558

(43)【公開日】2023-01-19

【審査請求日】2024-02-12

(73)【特許権者】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(74)【代理人】

【識別番号】110000028

【氏名又は名称】弁理士法人明成国際特許事務所

(72)【発明者】

【氏名】佐藤 駿

【審査官】田中 洋介

(56)【参考文献】

【文献】特許第６６０７２６１（ＪＰ，Ｂ２）

【文献】特開２０１９－０６０７８０（ＪＰ，Ａ）

【文献】特表２０２１－５１５９２７（ＪＰ，Ａ）

【文献】特開２０２０－１７７４３０（ＪＰ，Ａ）

【文献】特開２０２１－０１８６４３（ＪＰ，Ａ）

【文献】特開２０１８－０３６８８４（ＪＰ，Ａ）

【文献】特開２０１９－０８７０４４（ＪＰ，Ａ）

【文献】特開２０２１－０５６８０３（ＪＰ，Ａ）

【文献】特開２０１２－２５２５０７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｎ ２１／８４－２１／９５８

Ｇ０１Ｂ １１／００－１１／３０

Ｇ０６Ｔ １／００－１／６０

Ｇ０６Ｔ ７／００－７／９０

Ｇ０６Ｖ １０／００－１０／９８

Ｇ０６Ｎ ２０／００－２０／２０

(57)【特許請求の範囲】

【請求項1】

画像検査用の学習モデルを更新する装置であって、
画像検査の被検査体が配置される実空間を撮像して得られた撮像画像を用いて取得される前記実空間における光源の位置と向きとのうちの一方または両方の情報を表す第１光源情報を取得する光源情報取得部と、
前記学習モデルの学習に用いられた第１学習用画像の前記光源の位置と向きとのうちの一方または両方の情報を表す第２光源情報と、前記第１光源情報とが異なるか否かを判定する光源情報比較部と、
前記光源情報比較部によって前記第１光源情報と前記第２光源情報とが異なると判断された場合に、前記被検査体を模擬した三次元モデルと前記第１光源情報に従って前記光源を模擬した仮想光源とを仮想空間に配置し、前記仮想空間における前記三次元モデルの位置と向きとのうちの一方または両方を異ならせながら前記三次元モデルが表された複数の第２学習用画像を生成する学習用画像生成部と、
前記学習用画像生成部によって生成された前記複数の第２学習用画像を用いて前記学習モデルを更新する学習モデル生成部と、
を備える、装置。

【請求項2】

請求項１に記載の装置であって、
前記学習モデル生成部による前記学習モデルの更新後に前記被検査体を撮像して得られた撮像画像と前記学習モデル生成部によって更新された前記学習モデルとを用いて、前記被検査体の画像検査を実行する画像検査部を備える、装置。

【請求項3】

請求項２に記載の装置であって、
前記光源情報比較部は、前記画像検査部による画像検査の誤判定率が予め定められた値を超えた場合に、前記第１光源情報と前記第２光源情報とが異なるか否かを判定する、装置。

【請求項4】

請求項１から請求項３いずれか一項に記載の装置であって、
前記第１学習用画像を記憶する記憶部を備え、
前記光源情報取得部は、前記記憶部に記憶された前記第１学習用画像を解析することによって前記第２光源情報を取得する、装置。

【請求項5】

画像検査用の学習モデルを更新する方法であって、
画像検査の被検査体が配置される実空間を撮像して得られた撮像画像を用いて取得される前記実空間における光源の位置と向きとのうちの一方または両方の情報を表す第１光源情報を取得する光源情報取得工程と、
前記学習モデルの学習に用いられた第１学習用画像の前記光源の位置と向きとのうちの一方または両方の情報を表す第２光源情報と、前記第１光源情報とが異なるか否かを判定する光源情報比較工程と、
前記光源情報比較工程において前記第１光源情報と前記第２光源情報とが異なると判断された場合に、前記被検査体を模擬した三次元モデルと前記第１光源情報に従って前記光源を模擬した仮想光源とを仮想空間に配置し、前記仮想空間における前記三次元モデルの位置と向きとのうちの一方または両方を異ならせながら前記三次元モデルが表された複数の第２学習用画像を生成する学習用画像生成工程と、
前記学習用画像生成工程において生成された前記複数の第２学習用画像を用いて前記学習モデルを更新する学習モデル生成工程と、
を有する、方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、画像検査用の学習モデルを更新する装置および方法に関する。

【背景技術】

【0002】

特許文献１には、カメラ等によって物体を撮像して得られた画像内の光源の位置を変更する技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１３－２３５５３７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

機械学習によって生成された学習モデルが画像検査に用いられることがある。しかしながら、例えば、工場のレイアウト変更などによって被検査体を照らす光源の位置や向きが変更された場合に、画像検査の判定精度が低下することがある。そこで、上記文献のようにカメラによって被検査体を撮像して得られた画像内の光源の位置を変更することが考えられるが、それだけでは、画像検査の判定精度を確保することができなかった。

【課題を解決するための手段】

【0005】

本開示は、以下の形態として実現することが可能である。

【0006】

（１）本開示の第１の形態によれば、画像検査用の学習モデルを更新する装置が提供される。この装置は、画像検査の被検査体が配置される実空間を撮像して得られた撮像画像を用いて取得される前記実空間における光源の位置と向きとのうちの一方または両方の情報を表す第１光源情報を取得する光源情報取得部と、前記学習モデルの学習に用いられた第１学習用画像の前記光源の位置と向きとのうちの一方または両方であって前記第１光源情報が表す一方または両方の情報を表す第２光源情報と、前記第１光源情報とが異なるか否かを判定する光源情報比較部と、前記光源情報比較部によって前記第１光源情報と前記第２光源情報とが異なると判断された場合に、前記被検査体を模擬した三次元モデルと前記第１光源情報に従って前記光源を模擬した仮想光源とを仮想空間に配置し、前記仮想空間における前記三次元モデルの位置と向きとのうちの一方または両方を異ならせながら前記三次元モデルが表された複数の第２学習用画像を生成する学習用画像生成部と、前記学習用画像生成部によって生成された前記複数の第２学習用画像を用いて前記学習モデルを更新する学習モデル生成部と、を備える。
この形態の装置によれば、実空間の光源の位置と向きとのうちの一方または両方が変更された場合に、実空間の光源の位置および向きに応じた位置および向きに配置された仮想光源に照らされた三次元モデルを用いて、三次元モデルの位置と向きとのうちの一方または両方の互いに異なる複数の第２学習用画像を生成し、複数の第２学習用画像を用いて学習モデルを更新することができる。そのため、被検査体に対する画像検査の判定精度を確保することができる。
（２）上記形態の装置は、前記学習モデル生成部による前記学習モデルの更新後に前記被検査体を撮像して得られた撮像画像と前記学習モデル生成部によって更新された前記学習モデルとを用いて、前記被検査体の画像検査を実行する画像検査部を備えてもよい。
この形態の装置によれば、更新した学習モデルを用いて被検査体に対する画像検査を実行することができる。
（３）上記形態の装置において、前記光源情報比較部は、前記画像検査部による画像検査の誤判定率が予め定められた値を超えた場合に、前記第１光源情報と前記第２光源情報とが異なるか否かを判定してもよい。
この形態の装置によれば、光源の位置や向きが変更されたことよって画像検査の誤判定率が増加した場合に、自動的に学習モデルを更新して画像検査の誤判定率を低減することができる。
（４）上記形態の装置は、前記第１学習用画像を記憶する記憶部を備え、前記光源情報取得部は、前記記憶部に記憶された前記第１学習用画像を解析することによって前記第２光源情報を取得してもよい。
この形態の装置によれば、記憶部に記憶された第１学習用画像を用いて第２光源情報を取得することができる。
（５）本開示の第２の形態によれば、画像検査用の学習モデルを更新する方法が提供される。この方法は、画像検査の被検査体が配置される実空間を撮像して得られた撮像画像を用いて取得される前記実空間における光源の位置と向きとのうちの一方または両方の情報を表す第１光源情報を取得する光源情報取得工程と、前記学習モデルの学習に用いられた第１学習用画像の前記光源の位置と向きとのうちの一方または両方であって前記第１光源情報が表す一方または両方の情報を表す第２光源情報と、前記第１光源情報とが異なるか否かを判定する光源情報比較工程と、前記光源情報比較工程において前記第１光源情報と前記第２光源情報とが異なると判断された場合に、前記被検査体を模擬した三次元モデルと前記第１光源情報に従って前記光源を模擬した仮想光源とを仮想空間に配置し、前記仮想空間における前記三次元モデルの位置と向きとのうちの一方または両方を異ならせながら前記三次元モデルが表された複数の第２学習用画像を生成する学習用画像生成工程と、前記学習用画像生成工程において生成された前記複数の第２学習用画像を用いて前記学習モデルを更新する学習モデル生成工程と、を有する。
この形態の方法によれば、実空間の光源の位置と向きとのうちの一方または両方が変更された場合に、実空間の光源の位置および向きに応じた位置および向きに配置された仮想光源に照らされた三次元モデルを用いて、三次元モデルの位置と向きとのうちの一方または両方の互いに異なる複数の第２学習用画像を生成し、複数の第２学習用画像を用いて学習モデルを更新することができる。そのため、被検査体に対する画像検査の判定精度を確保することができる。
本開示は、画像検査用の学習モデルを更新する装置や画像検査用の学習モデルを更新する装置以外の種々の形態で実現することも可能である。例えば、画像検査システムや画像検査装置や画像検査方法などの形態で実現することができる。

【図面の簡単な説明】

【0007】

【図1】画像検査システムの概略構成を模式的に示す説明図。

【図2】学習モデル更新処理の内容を示すフローチャート。

【図3】学習用画像生成処理の内容を示すフローチャート。

【図4】仮想空間に配置された三次元モデルを示す説明図。

【発明を実施するための形態】

【0008】

Ａ．第１実施形態：
図１は、第１実施形態における画像検査システム１０の概略構成を模式的に示す説明図である。本実施形態では、画像検査システム１０は、ステージ２０と、光源３０と、カメラ４０と、カメラコントローラ４５と、情報処理装置５０と、表示装置６０とを備えている。なお、情報処理装置５０のことを画像検査用の学習モデルＧＭを更新する装置、あるいは、画像検査装置と呼ぶことがある。

【0009】

ステージ２０は、例えば、工場などの屋内に配置されている。ステージ２０には、画像検査の検査対象である被検査体ＲＭが載置される。本実施形態では、被検査体ＲＭは、自動車のバンパーである。自動車のバンパーでは、同じ車種用のバンパーであっても、バンパーに装着されるエンブレムやグリルなどの各種部品がグレードや販売地域などによって異なることがある。被検査体ＲＭとしてのバンパーは、グレードや販売地域に応じて各種部品が適切に装着されていることを画像検査システム１０によって検査される。被検査体ＲＭは、例えば、図示されていないロボットアームによって搬送されて、ステージ２０に載置される。

【0010】

光源３０は、ステージ２０に載置されている被検査体ＲＭに光を照射する。光源３０には、例えば、ＬＥＤ（Light Emitting Diode）照明を用いることができる。光源３０は、図示されていない光源固定用治具によって固定されている。

【0011】

カメラ４０は、ステージ２０に載置されている被検査体ＲＭを撮像する。カメラ４０は、光源３０から光を照射されている被検査体ＲＭを撮像する。カメラ４０には、例えば、ＣＣＤ（Charge-Coupled Device）イメージセンサを有するカメラ、あるいは、ＣＯＭＳ（Complementary Metal Oxide Semiconductor）イメージセンサを有するカメラを用いることができる。カメラ４０は、図示されていないカメラ固定用治具によって固定されている。カメラ４０は、有線通信あるいは無線通信によってカメラコントローラ４５に接続されており、カメラ４０からの出力信号は、カメラコントローラ４５に送信される。

【0012】

カメラコントローラ４５は、カメラ４０からの出力信号を処理することによって撮像画像ＲＧを生成する。さらに、本実施形態では、カメラコントローラ４５は、撮像画像ＲＧを解析することによって、光源３０の位置および向きを推定し、推定した光源３０の位置および向きの情報を表す光源情報ＬＤを生成する。カメラコントローラ４５は、例えば、撮像画像ＲＧに表された反射光の拡散反射成分がLambertianモデルに従い、撮像画像ＲＧに表された反射光の鏡面反射成分がTorrance-Sparrow反射モデルに従うという条件を同時に満足するような反射パラメータ、光源３０の位置、および、光源３０の向きを探索する逐次的緩和法によって、光源３０の位置および向きを推定する。カメラコントローラ４５は、上述した方法によって１枚の撮像画像ＲＧから光源３０の位置および向きを推定することができる。カメラコントローラ４５は、有線通信あるいは無線通信によって情報処理装置５０に接続されており、カメラコントローラ４５によって生成された撮像画像ＲＧおよび光源情報ＬＤは、情報処理装置５０に送信される。

【0013】

情報処理装置５０は、ＣＰＵ１０１と、メモリ１０２と、入出力インタフェース１０３とを備えている。本実施形態では、情報処理装置５０は、撮像画像取得部１１０と、光源情報取得部１２０と、光源情報比較部１３０と、学習用画像生成部１４０と、学習モデル生成部１５０と、画像検査部１６０とを有している。撮像画像取得部１１０、光源情報取得部１２０、光源情報比較部１３０、学習用画像生成部１４０、学習モデル生成部１５０、および、画像検査部１６０は、メモリ１０２に格納されたコンピュータプログラムをＣＰＵ１０１が実行することによってソフトウェア的に実現される。なお、撮像画像取得部１１０、光源情報取得部１２０、光源情報比較部１３０、学習用画像生成部１４０、学習モデル生成部１５０、および、画像検査部１６０のうちの少なくとも１つは、ハードウェア回路によって実現されてもよい。メモリ１０２のことを記憶部と呼ぶことがある。

【0014】

撮像画像取得部１１０は、撮像画像ＲＧを取得する。本実施形態では、撮像画像取得部１１０は、カメラコントローラ４５から送信された撮像画像ＲＧを取得する。撮像画像取得部１１０によって取得された撮像画像ＲＧは、メモリ１０２に記憶される。

【0015】

光源情報取得部１２０は、光源３０の位置および向きの情報を表す光源情報ＬＤを取得する。本実施形態では、光源情報取得部１２０は、カメラコントローラ４５から送信された光源情報ＬＤを取得する。光源情報取得部１２０によって取得された光源情報ＬＤは、メモリ１０２に記憶される。

【0016】

光源情報比較部１３０は、２つの光源情報ＬＤを比較することによって、２つの光源情報ＬＤに表された光源３０の位置と向きとのうちの少なくとも一方が異なるか否かを判定する。

【0017】

学習用画像生成部１４０は、学習モデル生成部１５０による機械学習に用いられる学習用画像ＶＧを生成する。本実施形態では、学習用画像生成部１４０は、３Ｄシミュレータによって構成されている。学習用画像生成部１４０によって生成された学習用画像ＶＧは、メモリ１０２に記憶される。

【0018】

学習モデル生成部１５０は、学習用画像ＶＧを用いた機械学習を実行することによって学習モデルＧＭを生成する。学習モデル生成部１５０によって生成された学習モデルＧＭは、メモリ１０２に記憶される。

【0019】

画像検査部１６０は、カメラ４０によって被検査体ＲＭを撮像して得られた撮像画像ＲＧと学習モデル生成部１５０によって生成された学習モデルＧＭとを用いて、被検査体ＲＭの画像検査を実行する。画像検査部１６０による画像検査の検査結果ＲＤは、メモリ１０２に記憶される。

【0020】

表示装置６０は、例えば、液晶ディスプレイや、有機ＥＬディスプレイで構成されている。表示装置６０には、画像検査部１６０による画像検査の検査結果ＲＤが表示される。例えば、被検査体ＲＭであるバンパーに、グレードや販売地域に応じた各種部品が適切に装着されていると画像検査部１６０によって判定された場合には、「ＯＫ」の文字が表示装置６０に表示され、グレードや販売地域に応じた各種部品が適切に装着されていない場合には、「ＮＧ」の文字が表示装置６０に表示される。表示装置６０は、例えば、工場内のステージ２０の近傍に配置されており、検査員は、表示装置６０に表示された検査結果ＲＤを確認することによって、グレードや販売地域に応じた各種部品がバンパーに適切に装着されているか否かを把握することができる。「ＮＧ」の文字が表示装置６０に表示された場合には、検査員による目視検査が実行される。目視検査の結果、グレードや販売地域に応じた各種部品がバンパーに適切に装着されていた場合には、画像検査部１６０の誤判定であることが検査員によって情報処理装置５０に入力される。検査結果ＲＤには、誤判定率の情報が含まれる。

【0021】

本実施形態の画像検査システム１０では、画像検査部１６０が学習モデルＧＭを用いた画像検査を実行するので、検査員が被検査体ＲＭを目視検査する形態に比べて、検査員の負担を軽減することができる。さらに、本実施形態のように学習モデルＧＭを用いた画像検査では、一般に、検査員による目視検査に比べて短時間で検査することができる。しかしながら、例えば、工場内のレイアウト変更などによって光源３０の位置や向きが変更された場合に、画像検査部１６０による画像検査の判定精度が低下することがある。判定精度が低下するとは、誤判定率が増加することを意味する。判定精度の低下は、例えば、光源３０の位置や向きの変更前後で撮像画像ＲＧに表される被検査体ＲＭの色味が変化することによって生じる。本実施形態では、光源３０の位置や向きが変更されたとしても、情報処理装置５０が学習モデル更新処理を実行することにより画像検査に用いられる学習モデルＧＭを更新することで、画像検査における誤判定率を低減することができる。

【0022】

図２は、学習モデル更新処理の内容を示すフローチャートである。図３は、学習モデル更新処理において実行される学習用画像生成処理の内容を示すフローチャートである。図４は、学習用画像生成処理において用いられる仮想空間ＶＳに配置された三次元モデルＶＭを示す説明図である。

【0023】

図２に示すように、本実施形態では、学習モデル更新処理は、メモリ１０２に記憶された検査結果ＲＤに表された画像検査の誤判定率が所定の値を超えた場合に、情報処理装置５０のＣＰＵ１０１によって開始される。学習モデル更新処理が開始されると、まず、ステップＳ１１０にて、撮像画像取得部１１０は、カメラコントローラ４５を介してカメラ４０を制御することによって、カメラ４０を用いて被検査体ＲＭを撮像し、カメラコントローラ４５から被検査体ＲＭの撮像画像ＲＧを取得する。

【0024】

次に、ステップＳ１２０にて、光源情報取得部１２０は、光源３０の位置および向きの情報を表す光源情報ＬＤを取得する。本実施形態では、カメラコントローラ４５が撮像画像ＲＧを解析することによって光源３０の位置および向きを推定することで光源情報ＬＤを生成し、光源情報取得部１２０は、カメラコントローラ４５によって生成された光源情報ＬＤを取得する。光源情報取得部１２０によって取得された光源情報ＬＤは、メモリ１０２に記憶される。なお、ステップＳ１２０のことを画像検査用の学習モデルＧＭを更新する方法の光源情報取得工程、あるいは、画像検査方法の光源情報取得工程と呼ぶことがある。

【0025】

ステップＳ１３０にて、光源情報比較部１３０は、ステップＳ１２０にて取得された現在の光源３０の位置および向きを表す光源情報ＬＤである第１光源情報ＬＤ１と、メモリ１０２に記憶された過去の光源３０の位置および向きを表す光源情報ＬＤである第２光源情報ＬＤ２とを比較することによって、光源３０の位置と向きとのうちの少なくとも一方が変更されたか否かを判定する。本実施形態では、光源情報比較部１３０は、第１光源情報ＬＤ１に表された光源３０の位置と向きとのうちの少なくとも一方と第２光源情報ＬＤ２に表された光源３０の位置と向きとのうちの少なくとも一方とが互いに乖離している場合に、光源３０の位置と向きとのうちの少なくとも一方が変更されたと判断する。第１光源情報ＬＤ１に表された光源３０の位置と向きとのうちの少なくとも一方と第２光源情報ＬＤ２に表された光源３０の位置と向きとのうちの少なくとも一方とが互いに乖離しているとは、第１光源情報ＬＤ１に表された光源３０の位置と第２光源情報ＬＤ２に表された光源３０の位置とが所定距離以上離れている状態と、第１光源情報ＬＤ１に表された光源３０の向きと第２光源情報ＬＤ２に表された光源３０の向きとが所定角度以上離れている状態とのうちの少なくとも一方の状態であることを意味する。なお、ステップＳ１３０のことを画像検査用の学習モデルＧＭを更新する方法の光源情報比較工程、あるいは、画像検査方法の光源情報比較工程と呼ぶことがある。光源情報比較部１３０は、学習モデル更新処理の開始前に画像検査に用いていた学習モデルＧＭの学習に用いられた学習用画像ＶＧにおける光源３０の位置および向きを表す光源情報ＬＤを第２光源情報ＬＤ２として用いる。学習モデル更新処理の開始前に画像検査に用いていた学習モデルＧＭの学習に用いられた学習用画像ＶＧのことを第１学習用画像ＶＧ１と呼ぶことがある。

【0026】

ステップＳ１３０にて光源３０の位置と向きとのうちの少なくとも一方が変更されたと判断されなかった場合、情報処理装置５０は、この処理を終了する。ステップＳ１３０にて光源３０の位置と向きとのうちの少なくとも一方が変更されたと判断された場合、ステップＳ１４０にて、学習用画像生成部１４０は、学習用画像生成処理を開始する。

【0027】

図３に示すように、学習用画像生成処理が開始されると、まず、ステップＳ１４１にて、学習用画像生成部１４０は、図４に示す仮想空間ＶＳに、被検査体ＲＭを模擬した三次元モデルＶＭを配置する。本実施形態では、学習用画像生成部１４０は、メモリ１０２に予め記憶された三次元モデルＶＭを読み込んで、仮想空間ＶＳに三次元モデルＶＭを配置する。三次元モデルＶＭは、被検査体ＲＭの三次元形状だけではなく、被検査体ＲＭの材質をも模擬している。なお、被検査体ＲＭが配置された現実の空間のことを実空間と呼ぶことがある。

【0028】

次に、ステップＳ１４２にて、学習用画像生成部１４０は、学習モデル更新処理のステップＳ１２０にて取得された第１光源情報ＬＤ１に表された光源３０の位置および向きに従って、仮想空間ＶＳに配置された仮想光源ＶＬの位置および向きを変更する。なお、ステップＳ１４１とステップＳ１４２との順序は逆でもよい。

【0029】

ステップＳ１４３にて、学習用画像生成部１４０は、カメラ４０の視点を模擬した仮想カメラＶＣによって仮想空間ＶＳに配置された三次元モデルＶＭをキャプチャすることにより、仮想光源ＶＬに照らされた三次元モデルＶＭが表された学習用画像ＶＧを生成する。学習用画像ＶＧには、カメラ４０が被検査体ＲＭを撮像する視点と同じ視点で三次元モデルＶＭが表される。学習用画像生成部１４０によって生成された学習用画像ＶＧは、メモリ１０２に記憶される。

【0030】

ステップＳ１４４にて、学習用画像生成部１４０は、所定枚数の学習用画像ＶＧを生成したか否かを判定する。学習用画像生成部１４０は、例えば、１０００枚の学習用画像ＶＧを生成したか否かを判定する。

【0031】

ステップＳ１４４にて所定枚数の学習用画像ＶＧを生成したと判断されなかった場合、学習用画像生成部１４０は、ステップＳ１４５にて、仮想光源ＶＬの位置および向きを変更せずに仮想空間ＶＳにおける三次元モデルＶＭの位置と向きとのうちの少なくとも一方を変更した後、ステップＳ１４３に処理を戻して学習用画像ＶＧを生成する。学習用画像生成部１４０は、ステップＳ１４４にて所定枚数の学習用画像ＶＧを取得したと判断されるまでステップＳ１４３からステップＳ１４５までの処理を繰り返すことによって、三次元モデルＶＭの位置と向きとのうちの少なくとも一方が互いに異なる所定枚数の学習用画像ＶＧを生成する。

【0032】

ステップＳ１４４にて所定枚数の学習用画像ＶＧを取得したと判断された場合、学習用画像生成部１４０は、ステップＳ１４６にて、全ての三次元モデルＶＭについて学習用画像ＶＧを生成したか否かを判定する。ステップＳ１４６にて全ての三次元モデルＶＭについて学習用画像ＶＧを生成したと判断されなかった場合、学習用画像生成部１４０は、ステップＳ１４７にて、仮想空間ＶＳに配置される三次元モデルＶＭを切り替える。本実施形態では、複数種類の三次元モデルＶＭがメモリ１０２に予め記憶されている。各三次元モデルＶＭは、複数種類の被検査体ＲＭ、つまり、グレードや販売地域の異なる複数種類のバンパーを模擬している。学習用画像生成部１４０は、所定枚数の学習用画像ＶＧの生成が終了した三次元モデルＶＭとは異なる種類の三次元モデルＶＭを読み込むことによって、仮想空間ＶＳに配置されている三次元モデルＶＭを切り替えた後、ステップＳ１４３に処理を戻して学習用画像ＶＧを生成する。

【0033】

学習用画像生成部１４０は、ステップＳ１４６にて全ての三次元モデルＶＭについて学習用画像ＶＧを生成したと判断されるまでステップＳ１４３からステップＳ１４６までの処理を繰り返すことによって、各三次元モデルＶＭの学習用画像ＶＧを所定枚数生成する。ステップＳ１４６にて全ての三次元モデルＶＭについて学習用画像ＶＧを生成したと判断された場合、学習用画像生成部１４０は、学習用画像生成処理を終了する。なお、学習用画像生成処理のことを画像検査用の学習モデルＧＭを更新する方法の学習用画像生成工程、あるいは、画像検査方法の学習用画像生成工程と呼ぶことがある。学習用画像生成処理によって生成された学習用画像ＶＧのことを第２学習用画像ＶＧ２と呼ぶことがある。

【0034】

図３に示すように、学習用画像生成処理が終了した後、学習モデル更新処理のステップＳ１５０にて、学習モデル生成部１５０は、学習用画像ＶＧにグレードや販売地域を表すラベルを付与して、学習用データセットを生成する。ステップＳ１６０にて、学習モデル生成部１５０は、学習用データセットを読み込んで機械学習を実行することによって学習モデルＧＭを生成して、メモリ１０２に記憶された学習モデルＧＭを更新する。本実施形態では、学習モデル生成部１５０は、畳み込みニューラルネットワークの機械学習を実行することによって学習モデルＧＭを生成する。その後、情報処理装置５０は、学習モデル更新処理を終了する。なお、ステップＳ１６０のことを画像検査用の学習モデルＧＭを更新する方法の学習モデル生成工程、あるいは、画像検査方法の学習モデル生成工程と呼ぶことがある。

【0035】

以上で説明した本実施形態における画像検査システム１０によれば、実空間の光源３０の位置と向きとのうちの少なくとも一方が変更された場合に、情報処理装置５０は、実空間の光源３０の位置および向きに応じた位置および向きに配置された仮想光源ＶＬに照らされた三次元モデルＶＭを用いて、三次元モデルＶＭの位置と向きとのうちの少なくとも一方の互いに異なる複数の学習用画像ＶＧを生成し、複数の学習用画像ＶＧを用いて学習モデルＧＭを更新する。そのため、実空間の光源３０の位置と向きとのうちの少なくとも一方が変更された場合であっても、被検査体ＲＭに対する画像検査の判定精度を確保することができる。特に、本実施形態では、三次元モデルＶＭの位置と向きとのうちの少なくとも一方の互いに異なる複数の学習用画像ＶＧを用いて学習モデルＧＭを更新するので、ステージ２０に載置された被検査体ＲＭの位置や向きが基準の位置や向きに対してずれた場合であっても、画像検査の判定精度を確保することができる。さらに、本実施形態では、三次元モデルＶＭを用いて生成された画像が学習用画像ＶＧとして用いられるので、カメラ４０によって被検査体ＲＭを撮像して得られた撮像画像ＲＧが学習用画像ＶＧとして用いられる形態に比べて短時間で学習用画像ＶＧを収集することができる。

【0036】

また、本実施形態では、情報処理装置５０は、学習モデル生成部１５０による学習モデルＧＭの更新後に被検査体ＲＭを撮像して得られた撮像画像ＲＧと学習モデル生成部１５０によって更新された学習モデルＧＭとを用いて、被検査体ＲＭの画像検査を実行する画像検査部１６０を備えている。そのため、情報処理装置５０によって、更新した学習モデルＧＭを用いた被検査体ＲＭに対する画像検査を実行することができる。

【0037】

また、本実施形態では、情報処理装置５０は、画像検査部１６０による画像検査の誤判定率が予め定められた値を超えた場合に、学習モデル更新処理を開始する。そのため、画像検査の誤判定率が増加した場合に、自動的に学習モデルＧＭを更新して画像検査の誤判定率を低減することができる。特に、本実施形態では、光源３０の位置や向きが変更されたことや、画像検査の誤判定率が増加したことを検査員が認識していない場合であっても、自動的に学習モデルＧＭを更新して画像検査の誤判定率を低減することができる。

【0038】

Ｂ．他の実施形態：
（Ｂ１）上述した実施形態の画像検査システム１０では、カメラコントローラ４５は、カメラ４０からの出力信号を受信して撮像画像ＲＧを生成する機能と、撮像画像ＲＧを解析することによって光源３０の位置および向きを推定して、光源情報ＬＤを生成する機能とを有している。これに対して、情報処理装置５０は、上述したカメラコントローラ４５の機能の少なくとも一部を有してもよい。例えば、画像検査システム１０に、カメラコントローラ４５が設けられずに、カメラコントローラ４５の上述した機能の全てを情報処理装置５０が有してもよい。あるいは、画像検査システム１０において、カメラコントローラ４５がカメラ４０からの出力信号を受信して撮像画像ＲＧを生成し、情報処理装置５０の光源情報取得部１２０がカメラコントローラ４５から送信された撮像画像ＲＧを解析することによって光源３０の位置および向きを推定して、光源情報ＬＤを生成してもよい。

【0039】

（Ｂ２）上述した実施形態の画像検査システム１０では、第２光源情報ＬＤ２が情報処理装置５０のメモリ１０２に記憶されている。これに対して、第２光源情報ＬＤ２が情報処理装置５０のメモリ１０２に記憶されていなくてもよい。この場合、例えば、撮像画像ＲＧを解析することによって光源３０の位置および向きを推定して、光源情報ＬＤを生成する機能を有するように光源情報取得部１２０が構成され、光源情報取得部１２０は、光源３０の位置や向きが変更される前に撮像された撮像画像ＲＧをメモリ１０２から読み込んで解析することによって、第２光源情報ＬＤ２を生成してもよい。

【0040】

（Ｂ３）上述した各実施形態の画像検査システム１０では、情報処理装置５０には、画像検査部１６０が設けられている。これに対して、情報処理装置５０に画像検査部１６０が設けられずに、例えば、カメラコントローラ４５に画像検査部１６０が設けられてもよい。この場合、カメラ４０を用いて撮像して得られた撮像画像ＲＧと、情報処理装置５０から取得した学習モデルＧＭとを用いて被検査体ＲＭの画像検査を実行してもよい。

【0041】

（Ｂ４）上述した各実施形態の画像検査システム１０では、情報処理装置５０のメモリ１０２に記憶された画像検査の検査結果ＲＤに表された誤判定率が所定の値を超えた場合に、情報処理装置５０によって学習モデル更新処理が自動的に開始される。これに対して、情報処理装置５０は、自動的に学習モデル更新処理を開始しなくてもよい。例えば、画像検査システム１０の定期点検時に、定期点検の作業者によって情報処理装置５０に所定の開始操作が行われた場合に、情報処理装置５０は、学習モデル更新処理を開始してもよい。

【0042】

（Ｂ５）上述した各実施形態の画像検査システム１０では、学習用画像生成部１４０は、学習用画像生成処理において、複数種類の三次元モデルＶＭを用いて学習用画像ＶＧを生成する。これに対して、学習用画像生成部１４０は、学習用画像生成処理において、１種類のみの三次元モデルＶＭを用いて学習用画像ＶＧを生成してもよい。

【0043】

（Ｂ６）上述した各実施形態の画像検査システム１０では、第１光源情報ＬＤ１および第２光源情報ＬＤ２には、光源３０の位置および向きの情報が表されている。これに対して、第１光源情報ＬＤ１および第２光源情報ＬＤ２には、光源３０の向きの情報が表されていなくてもよい。この場合、第１光源情報ＬＤ１に表された光源３０の位置と第２光源情報ＬＤ２に表された光源３０の位置とが乖離している場合に、学習用画像生成部１４０は、第１光源情報ＬＤ１に従って仮想光源ＶＬの位置を変更し、位置を変更された仮想光源ＶＬに照らされた三次元モデルＶＭが表された学習用画像ＶＧを生成してもよい。また、第１光源情報ＬＤ１および第２光源情報ＬＤ２には、光源３０の位置の情報が表されていなくてもよい。この場合、第１光源情報ＬＤ１に表された光源３０の向きと第２光源情報ＬＤ２に表された光源３０の向きとが乖離している場合に、学習用画像生成部１４０は、第１光源情報ＬＤ１に従って仮想光源ＶＬの向きを変更し、向きを変更された仮想光源ＶＬに照らされた三次元モデルＶＭが表された学習用画像ＶＧを生成してもよい。

【0044】

本開示は、上述の実施形態に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態中の技術的特徴は、上述の課題の一部又は全部を解決するために、あるいは、上述の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。

【符号の説明】

【0045】

１０…画像検査システム、２０…ステージ、３０…光源、４０…カメラ、４５…カメラコントローラ、５０…情報処理装置、６０…表示装置、１０１…ＣＰＵ、１０２…メモリ、１０３…入出力インタフェース、１１０…撮像画像取得部、１２０…光源情報取得部、１３０…光源情報比較部、１４０…学習用画像生成部、１５０…学習モデル生成部、１６０…画像検査部

【図1】

【図2】

【図3】

【図4】