特許 7038259 画像解析装置、方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-03-09

(45)【発行日】2022-03-17

(54)【発明の名称】画像解析装置、方法、およびプログラム

(51)【国際特許分類】

   G01N 15/00 20060101AFI20220310BHJP

   G06T 7/00 20170101ALI20220310BHJP

【ＦＩ】

G01N15/00 A

G06T7/00 350C

【請求項の数】 13

(21)【出願番号】P 2021522720

(86)(22)【出願日】2020-04-24

(86)【国際出願番号】 JP2020017799

(87)【国際公開番号】W WO2020241142

(87)【国際公開日】2020-12-03

【審査請求日】2021-10-21

(31)【優先権主張番号】P 2019098384

(32)【優先日】2019-05-27

(33)【優先権主張国・地域又は機関】JP

【早期審査対象出願】

(73)【特許権者】

【識別番号】000002004

【氏名又は名称】昭和電工株式会社

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(72)【発明者】

【氏名】奥野 好成

(72)【発明者】

【氏名】武田 領子

(72)【発明者】

【氏名】渋谷 純一

(72)【発明者】

【氏名】中尾 悠基

(72)【発明者】

【氏名】小川 兼司

【審査官】外川 敬之

(56)【参考文献】

【文献】国際公開第２０１７／０５１３２７（ＷＯ，Ａ１）

【文献】特開昭６０－０５２７４１（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１９／００９６０５６（ＵＳ，Ａ１）

【文献】特開２０１０－１１７１７５（ＪＰ，Ａ）

【文献】特開平０７－０３５６９６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｎ １５／００

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

対象物の画像から抽出された粒子画像の各粒子の形状を判定して、所定の形状についての基準を満たしているＯＫ粒子のＯＫ粒子画像と、前記基準を満たしていない暫定ＮＧ粒子の暫定ＮＧ粒子画像とを得る形状判定部と、
前記ＯＫ粒子画像を含む複数の粒子画像を重畳することで、疑似画像を生成する疑似画像生成部と、
前記暫定ＮＧ粒子画像について、前記疑似画像と類似しているか否かを判断し、前記疑似画像と類似していると判断されたとき前記暫定ＮＧ粒子は前記ＯＫ粒子を含んでいると判断する類否判断部と
を有する画像解析装置。

【請求項2】

前記疑似画像は、少なくとも１つの前記ＯＫ粒子画像を含む複数の粒子画像が重畳された粒子群の粒子画像である、請求項１に記載の画像解析装置。

【請求項3】

対象物の画像から抽出された粒子画像の各粒子の形状を判定して、所定の形状についての基準を満たしているＯＫ粒子のＯＫ粒子画像と、前記基準を満たしていない暫定ＮＧ粒子の暫定ＮＧ粒子画像とを得る形状判定部と、
生成モデルを用いて疑似画像を生成する疑似画像生成部と、
前記暫定ＮＧ粒子画像について、前記疑似画像と類似しているか否かを判断し、前記疑似画像と類似していると判断されたとき前記暫定ＮＧ粒子は前記ＯＫ粒子を含んでいると判断する類否判断部と
を有し、
前記疑似画像の生成に用いられる粒子画像は、少なくとも１つの前記ＯＫ粒子画像を含む、画像解析装置。

【請求項4】

前記生成モデルは、敵対的生成ネットワーク（Generative Adversarial Networks （ＧＡＮ））である、請求項３に記載の画像解析装置。

【請求項5】

前記ＯＫ粒子画像を含む複数の粒子画像を入力データとし、前記暫定ＮＧ粒子画像を本物データとして、前記疑似画像として疑似画像（偽物）を生成する、請求項４に記載の画像解析装置。

【請求項6】

前記ＯＫ粒子画像を入力データとし、不鮮明画像を本物データとして、前記疑似画像を生成する、請求項４または５に記載の画像解析装置。

【請求項7】

前記生成モデルは、変分自己符号化器（Variational AutoEncoder (ＶＡＥ)）である、請求項３に記載の画像解析装置。

【請求項8】

前記ＯＫ粒子画像を含む複数の粒子画像を入力データとし、前記暫定ＮＧ粒子画像を前記入力データに似たデータとして前記疑似画像を生成する、請求項７に記載の画像解析装置。

【請求項9】

前記ＯＫ粒子画像を入力データとし、不鮮明画像を前記入力データに似たデータとして前記疑似画像を生成する、請求項７に記載の画像解析装置。

【請求項10】

前記類否判断部は、前記暫定ＮＧ粒子の外形と前記疑似画像に含まれる粒子の外形との類否を判断することによって、前記暫定ＮＧ粒子画像と前記疑似画像とが類似しているか否かを判断する、請求項１から９のいずれか一項に記載の画像解析装置。

【請求項11】

前記類否判断部は、前記暫定ＮＧ粒子画像の各画素の濃度値と前記疑似画像の各画素の濃度値との類否を判断することによって、前記暫定ＮＧ粒子画像と前記疑似画像とが類似しているか否かを判断する、請求項１から１０のいずれか一項に記載の画像解析装置。

【請求項12】

コンピュータによって実行される方法であって、
対象物の画像から抽出された粒子画像の各粒子の形状を判定して、所定の形状についての基準を満たしているＯＫ粒子のＯＫ粒子画像と、前記基準を満たしていない暫定ＮＧ粒子の暫定ＮＧ粒子画像とを得るステップと、
前記ＯＫ粒子画像を含む複数の粒子画像を重畳することで、疑似画像を生成するステップと、
前記暫定ＮＧ粒子画像について、前記疑似画像と類似しているか否かを判断し、前記疑似画像と類似していると判断されたとき前記暫定ＮＧ粒子は前記ＯＫ粒子を含んでいると判断するステップと、を含む方法。

【請求項13】

コンピュータを
対象物の画像から抽出された粒子画像の各粒子の形状を判定して、所定の形状についての基準を満たしているＯＫ粒子のＯＫ粒子画像と、前記基準を満たしていない暫定ＮＧ粒子の暫定ＮＧ粒子画像とを得る形状判定部、
前記ＯＫ粒子画像を含む複数の粒子画像を重畳することで、疑似画像を生成する疑似画像生成部、
前記暫定ＮＧ粒子画像について、前記疑似画像と類似しているか否かを判断し、前記疑似画像と類似していると判断されたとき前記暫定ＮＧ粒子は前記ＯＫ粒子を含んでいると判断する類否判断部、として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本願は、日本特許庁に２０１９年５月２７日に出願された基礎出願２０１９-０９８３８４号の優先権を主張するものであり、その全内容を参照によりここに援用する。

【0002】

本発明は、画像解析装置、方法、およびプログラムに関する。

【背景技術】

【0003】

従来、酸化アルミニウム粉末等の研磨材用粉末および金属粉末の品質検査では、光学顕微鏡等により得られた酸化アルミニウム粒子等の画像を解析し、酸化アルミニウム粒子等の粒子が所定の基準を満たすか否かを判定する。具体的には、酸化アルミニウム粒子等を撮影した画像から各粒子の画像を抽出し、それぞれの粒子の形状が所定の基準を満たすか否かを判定する。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１８－１１６３９１号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、実際には所定の基準を満たす粒子であっても、画像中で粒子同士が重なっていたり凝集していたりすると、粒子と粒子との境界の判別が困難となり、それらの粒子群は、所定の基準を満たしていないと判定されてしまう。

【0006】

そこで、本発明は、対象物の画像に含まれる各粒子を判定する際の判定精度を向上することを目的とする。

【課題を解決するための手段】

【0007】

本発明は、以下の示す構成を備える。
［１］対象物の画像から抽出された粒子画像の各粒子の形状を判定して、所定の形状についての基準を満たしているＯＫ粒子のＯＫ粒子画像と、前記基準を満たしていない暫定ＮＧ粒子の暫定ＮＧ粒子画像とを得る形状判定部と、
前記ＯＫ粒子画像を含む複数の粒子画像を重畳することで、疑似画像を生成する疑似画像生成部と、
前記暫定ＮＧ粒子画像について、前記疑似画像と類似しているか否かを判断し、前記疑似画像と類似していると判断されたとき前記暫定ＮＧ粒子は前記ＯＫ粒子を含んでいると判断する類否判断部と
を有する画像解析装置。
［２］前記疑似画像は、少なくとも１つの前記ＯＫ粒子画像を含む複数の粒子画像が重畳された粒子群の粒子画像である、［１］に記載の画像解析装置。
［３］対象物の画像から抽出された粒子画像の各粒子の形状を判定して、所定の形状についての基準を満たしているＯＫ粒子のＯＫ粒子画像と、前記基準を満たしていない暫定ＮＧ粒子の暫定ＮＧ粒子画像とを得る形状判定部と、
生成モデルを用いて疑似画像を生成する疑似画像生成部と、
前記暫定ＮＧ粒子画像について、前記疑似画像と類似しているか否かを判断し、前記疑似画像と類似していると判断されたとき前記暫定ＮＧ粒子は前記ＯＫ粒子を含んでいると判断する類否判断部と
を有する画像解析装置。
［４］前記疑似画像の生成に用いられる粒子画像は、少なくとも１つの前記ＯＫ粒子画像を含む、［３］に記載の画像解析装置。
［５］前記生成モデルは、敵対的生成ネットワーク（Generative Adversarial Networks （ＧＡＮ））である、［３］に記載の画像解析装置。
［６］前記ＯＫ粒子画像を含む複数の粒子画像を入力データとし、前記暫定ＮＧ粒子画像を本物データとして、前記疑似画像として疑似画像（偽物）を生成する、［５］に記載の画像解析装置。
［７］前記ＯＫ粒子画像を入力データとし、不鮮明画像を本物データとして、前記疑似画像を生成する、［５］または［６］に記載の画像解析装置。
［８］前記生成モデルは、変分自己符号化器（Variational AutoEncoder (ＶＡＥ)）である、［３］に記載の画像解析装置。
［９］前記ＯＫ粒子画像を含む複数の粒子画像を入力データとし、前記暫定ＮＧ粒子画像を前記入力データに似たデータとして前記疑似画像を生成する、［８］に記載の画像解析装置。
［１０］前記ＯＫ粒子画像を入力データとし、不鮮明画像を前記入力データに似たデータとして前記疑似画像を生成する、［８］に記載の画像解析装置。
［１１］前記類否判断部は、前記暫定ＮＧ粒子の外形と前記疑似画像に含まれる粒子の外形との類否を判断することによって、前記暫定ＮＧ粒子画像と前記疑似画像とが類似しているか否かを判断する、［１］から［１０］のいずれかに記載の画像解析装置。
［１２］前記類否判断部は、前記暫定ＮＧ粒子画像の各画素の濃度値と前記疑似画像の各画素の濃度値との類否を判断することによって、前記暫定ＮＧ粒子画像と前記疑似画像とが類似しているか否かを判断する、［１］から［１１］のいずれかに記載の画像解析装置。
［１３］コンピュータによって実行される方法であって、
対象物の画像から抽出された粒子画像の各粒子の形状を判定して、所定の形状についての基準を満たしているＯＫ粒子のＯＫ粒子画像と、前記基準を満たしていない暫定ＮＧ粒子の暫定ＮＧ粒子画像とを得るステップと、
前記ＯＫ粒子画像を含む複数の粒子画像を重畳することで、疑似画像を生成するステップと、
前記暫定ＮＧ粒子画像について、前記疑似画像と類似しているか否かを判断し、前記疑似画像と類似していると判断されたとき前記暫定ＮＧ粒子は前記ＯＫ粒子を含んでいると判断するステップと、を含む方法。
［１４］コンピュータを
対象物の画像から抽出された粒子画像の各粒子の形状を判定して、所定の形状についての基準を満たしているＯＫ粒子のＯＫ粒子画像と、前記基準を満たしていない暫定ＮＧ粒子の暫定ＮＧ粒子画像とを得る形状判定部、
前記ＯＫ粒子画像を含む複数の粒子画像を重畳することで、疑似画像を生成する疑似画像生成部、
前記暫定ＮＧ粒子画像について、前記疑似画像と類似しているか否かを判断し、前記疑似画像と類似していると判断されたとき前記暫定ＮＧ粒子は前記ＯＫ粒子を含んでいると判断する類否判断部、として機能させるためのプログラム。

【発明の効果】

【0008】

本発明では、対象物の画像に含まれる各粒子を判定する際の判定精度を向上することができる。

【図面の簡単な説明】

【0009】

【図1】図１は、本発明の一実施形態に係る画像解析装置を含む全体の品質検査システムの構成を示す図である。

【図2】図２は、本発明の一実施形態に係る画像解析装置のハードウェア構成を示す図である。

【図3】図３は、本発明の一実施形態に係る画像解析装置の機能ブロックを示す図である。

【図4】図４は、本発明の一実施形態に係る画像解析処理の概要を説明するための図である。

【図5】図５は、本発明の一実施形態に係る粒子画像抽出および形状判定を説明するための図である。

【図6】図６は、本発明の一実施形態に係る疑似画像生成を説明するための図である。

【図7】図７は、本発明の一実施形態に係る画像解析処理の流れを示すフローチャートである。

【図8】図８は、本発明の一実施形態に係る機械学習を説明するための図である。

【図9】図９は、本発明の一実施形態に係る機械学習を説明するための図である。

【図10】図１０は、本発明の一実施形態に係る機械学習を説明するための図である。

【図11】図１１は、本発明の一実施形態に係る機械学習を説明するための図である。

【発明を実施するための形態】

【0010】

以下、各実施形態について添付の図面を参照しながら説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省略する。

【0011】

なお、本明細書では、酸化アルミニウム粉末等が所定の基準を満たすか否かを判定する場合を説明するが、本発明は、任意の物質の粒子を含む粉末等の製品が所定の基準を満たすか否かを判定する場合に適用することができる。また、本明細書では、光学顕微鏡により得られた画像の場合を説明するが、本発明は、走査型電子顕微鏡（ＳＥＭ）をはじめ、任意の機器により得られた粒子画像を対象とすることができる。

【0012】

以下、疑似画像（詳細は後述する）を所定の生成ルールに基づいて生成する実施形態（下記の＜実施形態１＞）と、疑似画像を機械学習によって生成する実施形態（下記の＜実施形態２＞）とに分けて説明する。

【0013】

＜実施形態１＞
＜システム構成＞
図１は、本発明の一実施形態に係る画像解析装置１０２を含む全体のシステム構成を示す図である。画像解析装置１０２は、品質検査を行うためのシステム（品質検査システム１００）にて用いられうる。品質検査システム１００は、光学顕微鏡１０１、画像解析装置１０２、ユーザ端末１０３を含むことができる。画像解析装置１０２は、画像解析装置１０２に接続された光学顕微鏡１０１から、光学顕微鏡が撮影した画像を取得する。また、画像解析装置１０２は、任意のネットワーク１０４を介してユーザ端末１０３とデータを送受信する。データの送受信は、後述する半導体メモリ等の記憶媒体を介して行われてもよい。以下、それぞれについて説明する。

【0014】

光学顕微鏡１０１は、対象物（例えば、酸化アルミニウム粉末等に含まれる酸化アルミニウム粒子）を撮影する。光学顕微鏡１０１は、デジタルカメラ等の撮影装置および対象物を撮影した画像を保存する記憶装置を備えることができる。また、光学顕微鏡１０１は、撮影して得た対象物の画像を、光学顕微鏡１０１に接続された画像解析装置１０２へ送る。光学顕微鏡１０１が有する顕微鏡は、反射型顕微鏡や透過型顕微鏡であってもよい。また、光学顕微鏡１０１は、超高圧水銀灯、キセノンランプ、三原色を含む各色ＬＥＤ、紫外線ＬＥＤ、レーザー光等の光源を備えてもよく、また、画像の観察方法としては、明視野観察法、暗視野観察法、位相差観察法、微分干渉観察法、偏光観察法、蛍光観察法等の観察方法を用いることができる。

【0015】

画像解析装置１０２は、例えば、酸化アルミニウム粉末等が所定の基準を満たすか否かを判定するための装置である。画像解析装置１０２は、例えば、１または複数のコンピュータからなる。具体的には、画像解析装置１０２は、光学顕微鏡１０１から送られてきた対象物（例えば、酸化アルミニウム粉末等の複数の粒子）の画像を解析し、酸化アルミニウム粉末等が所定の基準を満たすか否かを判定する。また、画像解析装置１０２は、品質検査の結果のデータをユーザ端末１０３へ送信する。後段で、図２、図３を参照しながら、画像解析装置１０２について詳細に説明する。

【0016】

ユーザ端末１０３は、品質検査を実施する者が利用する端末である。具体的には、ユーザ端末１０３は、画像解析装置１０２へ、例えば、酸化アルミニウム粉末等が満たすべき所定の基準のデータを送信する。また、ユーザ端末１０３は、画像解析装置１０２から、品質検査の結果のデータを受信してユーザ端末１０３上またはユーザ端末１０３に接続された表示装置（図示せず）上に表示する。ユーザ端末１０３は、例えば、パーソナルコンピュータなどのコンピュータである。

【0017】

なお、本明細書では、画像解析装置１０２とユーザ端末１０３とを別々のコンピュータとして説明するが、画像解析装置１０２とユーザ端末１０３とを１つのコンピュータで実装するようにしてもよい。また、画像解析装置１０２がユーザ端末１０３の一部の機能を有するようにしてもよい。

【0018】

＜画像解析装置１０２のハードウェア構成＞
図２は、本発明の一実施形態に係る画像解析装置１０２のハードウェア構成の例を示す図である。画像解析装置１０２は、ＣＰＵ（Central Processing Unit）１、ＲＯＭ（Read Only Memory）２、ＲＡＭ（Random Access Memory）３を有する。ＣＰＵ１、ＲＯＭ２、ＲＡＭ３は、いわゆるコンピュータを形成する。

【0019】

また、画像解析装置１０２は、さらに、ＧＰＵ（Graphics Processing Unit）４、補助記憶装置５、Ｉ／Ｆ（Interface）装置６、ドライブ装置７を有することができる。なお、画像解析装置１０２の各ハードウェアは、バス８を介して相互に接続されている。

【0020】

ＣＰＵ１は、補助記憶装置５にインストールされている各種プログラムを実行する演算デバイスである。

【0021】

ＲＯＭ２は、不揮発性メモリである。ＲＯＭ２は、補助記憶装置５にインストールされている各種プログラムをＣＰＵ１が実行するために必要な各種プログラム、データ等を格納する主記憶デバイスとして機能する。具体的には、ＲＯＭ２はＢＩＯＳ（Basic Input/Output System）やＥＦＩ（Extensible Firmware Interface）等のブートプログラム等を格納する、主記憶デバイスとして機能する。

【0022】

ＲＡＭ３は、ＤＲＡＭ（Dynamic Random Access Memory）やＳＲＡＭ（Static Random Access Memory）等の揮発性メモリである。ＲＡＭ３は、補助記憶装置５にインストールされている各種プログラムがＣＰＵ１によって実行される際に展開される作業領域を提供する、主記憶デバイスとして機能する。

【0023】

ＧＰＵ４は、画像処理に特化した演算デバイスである。

【0024】

補助記憶装置５は、各種プログラムや、各種プログラムが実行される際に用いられる情報を格納する補助記憶デバイスである。

【0025】

Ｉ／Ｆ装置６は、光学顕微鏡１０１、ユーザ端末１０３と通信を行うための通信デバイスである。

【0026】

ドライブ装置７は記憶媒体９をセットするためのデバイスである。ここでいう記憶媒体９には、ＣＤ－ＲＯＭ、フレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的あるいは磁気的に記録する媒体が含まれる。また、記憶媒体９には、ＲＯＭ、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等が含まれていてもよい。

【0027】

なお、補助記憶装置５にインストールされる各種プログラムは、例えば、配布された記憶媒体９がドライブ装置７にセットされ、該記憶媒体９に記録された各種プログラムがドライブ装置７により読み出されることでインストールされる。あるいは、補助記憶装置５にインストールされる各種プログラムは、Ｉ／Ｆ装置６を介して、ネットワーク１０４とは異なる他のネットワークよりダウンロードされることでインストールされてもよい。

【0028】

＜画像解析装置１０２の機能ブロック＞
図３は、本発明の一実施形態に係る画像解析装置１０２の機能ブロックを示す図である。画像解析装置１０２は、対象物画像取得部３０１、粒子画像抽出部３０２、形状判定部３０３、疑似画像生成部３０４、類否判断部３０５、合否判定部３０６を含むことができる。また、画像解析装置１０２は、プログラムを実行することで、対象物画像取得部３０１、粒子画像抽出部３０２、形状判定部３０３、疑似画像生成部３０４、類否判断部３０５、合否判定部３０６として機能することができる。以下、それぞれについて説明する。

【0029】

対象物画像取得部３０１は、光学顕微鏡１０１から、光学顕微鏡１０１が撮影した対象物の画像を取得する。また、対象物画像取得部３０１は、取得した対象物の画像を粒子画像抽出部３０２が参照できるように記憶装置に記憶する。

【0030】

粒子画像抽出部３０２、形状判定部３０３、疑似画像生成部３０４、類否判断部３０５は、例えば、酸化アルミニウム粉末等が所定の基準を満たすか否かを判定するための処理を行う。まず、図４を参照しながら、本発明の一実施形態に係る画像解析処理の概要を説明する。

【0031】

図４は、本発明の一実施形態に係る画像解析処理の概要を説明するための図である。図４上部に示される画像は、対象物画像取得部３０１が光学顕微鏡１０１から取得した対象物の画像である。対象物の画像は、複数の粒子の画像を含む。

【0032】

ステップ４０１（Ｓ４０１）において、粒子画像抽出部３０２が、対象物の画像から１個または複数個が重畳した粒子の画像を抽出する。そして、形状判定部３０３が、抽出した粒子画像に含まれる粒子の形状が所定の基準を満たすか否かを判定する。以下、所定の基準を満たしている粒子（以下、ＯＫ粒子とも呼ぶ）の粒子画像をＯＫ画像と呼び（以下、ＯＫ粒子画像とも記す）、所定の基準を満たしていない粒子（以下、暫定ＮＧ粒子とも呼ぶ）の粒子画像を暫定的なＮＧ画像（以下、暫定ＮＧ画像とも呼ぶ）と呼ぶ（以下、暫定ＮＧ粒子画像とも記す）。すなわち、対象物の画像から抽出された粒子画像の各粒子の形状を判定して、ＯＫ画像と、暫定ＮＧ画像とを得る。

【0033】

ここで、対象物の画像には、粒子としては輪郭の不鮮明な画像（エッジ欠け画像ともいう）が存在する場合がある。この輪郭不鮮明画像については、例えば、輪郭の鮮明な画像の輪郭の一部を除去する等の処理をすることにより同一の画像が再現できるとき、輪郭の鮮明な画像と同様に扱うことができる。すなわち、粒子としての輪郭の不鮮明な画像であっても、輪郭鮮明画像から同一の画像を再現できる画像については、前述した所定の基準を満たすか否かの判定を行い、ＯＫ画像または暫定ＮＧ画像として扱うことができる。

【0034】

ステップ４０２（Ｓ４０２）において、疑似画像生成部３０４が、Ｓ４０１で得たＯＫ画像を含む複数の粒子画像を重畳することで、重畳した画像（以下、「疑似画像」と呼ぶ）を生成する。

【0035】

疑似画像生成部３０４は、Ｓ４０１で得たＯＫ画像を少なくとも１つ含む複数の粒子画像を重畳して疑似画像を生成してもよい。また、疑似画像の生成に用いられる粒子画像としては、ＯＫ画像が複数含まれてもよく、暫定ＮＧ画像が含まれてもよい。疑似画像の生成に用いられる暫定ＮＧ画像としては、当該対象物画像から抽出された暫定ＮＧ画像を用いてもよく、同じ粉末についての別の対象物画像（例えば、品質検査が行われている酸化アルミニウム粉末とは別の酸化アルミニウム粉末の画像、あるいは、品質検査が行われている酸化アルミニウム粉末の別の画像）から抽出された暫定ＮＧ画像を用いてもよい。さらに、同じ粉末についての別の対象物画像に対して、後述する類比判断まで行った結果、正式にＮＧ画像と判定された暫定ＮＧ画像を用いてもよい。

【0036】

ステップ４０３（Ｓ４０３）において、類否判断部３０５が、Ｓ４０１で抽出した暫定ＮＧ画像と、Ｓ４０２で生成した疑似画像とが類似しているか否かを判断する。そして、類否判断部３０５は、両者が類似している場合には暫定ＮＧ粒子はＯＫ粒子を含むとみなし（つまり、所定の基準を満たしている粒子が重なったり凝集したりして含まれていたと判断する）、両者が類似していない場合には暫定ＮＧ画像を正式にＮＧ画像とみなす。すなわち、疑似画像と類似すると判断された暫定ＮＧ画像の暫定ＮＧ粒子は、類似する疑似画像の生成に用いられたＯＫ画像の数と同数のＯＫ粒子を含むと判断する。

【0037】

図３に戻る。上述したように、粒子画像抽出部３０２は、対象物画像取得部３０１が取得した対象物の画像から、粒子の画像を抽出する。また、粒子画像抽出部３０２は、抽出した粒子の画像を形状判定部３０３が参照できるように記憶装置に記憶させる。

【0038】

形状判定部３０３は、粒子画像抽出部３０２が抽出した粒子の画像に含まれる粒子の形状が、所定の基準を満たすか否かを判定する。例えば、形状判定部３０３は、粒子の真円度が閾値以上である場合には、その粒子が含まれる画像をＯＫ画像と判定することができる。ここで真円度とは、ＪＩＳ Ｂ０６２１－１９８４「幾何偏差の定義および表示」において定義されているとおり、「円形形体の幾何学的に正しい円からの狂いの大きさ」をいう。また、例えば、形状判定部３０３は、粒子の真円度が閾値よりも低い場合には、その粒子が含まれる画像を暫定ＮＧ画像と判定する。なお、粒子の形状が満たすべき基準は真円度に限らず、粒子の形状が楕円等である場合も含んでよく、粒子の面積、粒子の長径、短径、円相当径、フェレ径等の長さ、または粒子の周囲長などの特徴量で構成した基準を用いてもよい。

【0039】

図５は、本発明の一実施形態に係る粒子画像抽出および形状判定を説明するための図である。

【0040】

・ステップ５０１（Ｓ５０１）において、対象物画像取得部３０１は、図５で示されるような対象物の画像（画像解析の元となる画像）を光学顕微鏡１０１から取得する。
・ステップ５０２（Ｓ５０２）において、粒子画像抽出部３０２は、粒子の画像を抽出する。例えば、粒子画像抽出部３０２は、Ｓ５０１の元画像を２値化して、図５で示されるようなマスク画像（図５では、粒子の領域を白、粒子以外の領域を黒で示している）を生成する。そして、粒子画像抽出部３０２は、マスク画像に基づいて、Ｓ５０１の元画像から周囲に他の粒子がない粒子の画像を抽出（クロップ、切り抜きともいう）する。
・ステップ５０３（Ｓ５０３）において、形状判定部３０３は、Ｓ５０２で抽出した粒子の画像に含まれる粒子が所定の基準を満たすか否かを判定する。

【0041】

図３に戻る。疑似画像生成部３０４は、複数の粒子画像を重畳して重畳した画像（つまり、疑似画像）を生成する。

【0042】

ここで、疑似画像について説明する。疑似画像は、２つ以上の粒子の画像を含む画像を重畳して生成される。つまり、疑似画像は、２つの粒子の画像を用いて生成されてもよいし、あるいは、３つ以上の粒子の画像を用いて生成されてもよい。また、疑似画像は、少なくとも１つのＯＫ画像を用いて生成されてもよい。つまり、疑似画像は、ＯＫ画像のみを用いて生成されてもよいし、あるいは、ＯＫ画像とＯＫ画像以外の画像（例えば、暫定ＮＧ画像）とを用いて生成されてもよい。

【0043】

疑似画像の生成に用いられる暫定ＮＧ画像としては、当該対象物画像から抽出された暫定ＮＧ画像を用いてもよく、同じ粉末についての別の対象物画像から抽出された暫定ＮＧ画像を用いてもよい。さらに、同じ粉末についての別の対象物画像に対して、後述する類比判断まで行った結果、正式にＮＧ画像とみなされた暫定ＮＧ画像を用いてもよい。

【0044】

以下、図６を参照しながら、本発明の一実施形態に係る疑似画像生成を説明する。

【0045】

図６は、本発明の一実施形態に係る疑似画像生成を説明するための図である。

【0046】

まず、疑似画像生成部３０４は、疑似画像を生成するために用いる粒子の画像をランダムに選び出す。具体的には、疑似画像生成部３０４は、ＯＫ画像とＯＫ画像以外の画像（例えば、暫定ＮＧ画像）とのなかから、少なくとも１つのＯＫ画像を含む２つ以上の粒子の画像を選び出すことができる。
・ステップ６０１（Ｓ６０１）において、疑似画像生成部３０４は、選び出した２つ以上の粒子の画像の位置補正を行う。具体的には、疑似画像生成部３０４は、粒子画像中の粒子同士が接触するように粒子の画像の位置関係を決める。疑似画像生成部３０４は、粒子の画像中の粒子同士が接触する場所を調整することで、様々な疑似画像を生成することができる。
・ステップ６０２（Ｓ６０２）において、疑似画像生成部３０４は、Ｓ６０１で位置補正を行った粒子の画像同士を重ね合わせる処理を行う。疑似画像生成部３０４は、重ね合わせ度合いを調整することで、様々な疑似画像を生成することができる。
・ステップ６０３（Ｓ６０３）において、疑似画像生成部３０４は、Ｓ６０２で重ね合わせた粒子の画像群を回転させる。疑似画像生成部３０４は、重ね合わせた粒子の画像群の回転度合いを調整することで、様々な疑似画像を生成することができる。

【0047】

上記のパラメータの調整以外にも、疑似画像生成部３０４は、種々のパラメータを調整することによって様々な疑似画像を生成することができる。パラメータは、例えば、粒子の個数、もしくは、粒子の画像中の、粒子同士が接触する場所、重ね合わせ度合い、重ね合わせた粒子の画像群の回転度合い、または、画像中の粒子の、円形度、色味、透過度、ボケ具合等の任意の組み合わせであってよい。また、疑似画像生成部３０４は、粒子を枠内の一方向から落として積んでいく方式（テトリス（登録商標）方式とも呼ばれる）を用いることによって疑似画像を生成することもできる。

【0048】

図３に戻る。類否判断部３０５は、形状判定部３０３が判定した暫定ＮＧ画像と、疑似画像生成部３０４が生成した疑似画像とが類似しているか否かを判断する。また、類否判断部３０５は、両者が類似している場合には暫定ＮＧ画像に含まれる暫定ＮＧ粒子はＯＫ粒子を含むと判定し（つまり、ＯＫ粒子を含む複数の粒子が重なったり凝集したりしていたと判断する）、両者が類似していない場合には暫定ＮＧ画像を正式にＮＧ粒子の画像と判定する。以下、２つの類否判断例を説明する。

【0049】

＜外形による類否判断＞
類否判断部３０５は、疑似画像に含まれる重畳された粒子画像に含まれる粒子の外形（輪郭）と、暫定ＮＧ画像に含まれる粒子の外形（輪郭）とを対比する。例えば、類否判断部３０５は、疑似画像に含まれる重畳された粒子画像に含まれる粒子の外形と、暫定ＮＧ画像に含まれる粒子の外形との差分が閾値以下である場合には、両者が類似していると判断する。また、例えば、類否判断部３０５は、疑似画像に含まれる重畳された粒子画像に含まれる粒子の外形と、暫定ＮＧ画像に含まれる粒子の外形との差分が閾値より大きい場合には、両者が類似していないと判断する。

【0050】

＜濃淡による類否判断＞
類否判断部３０５は、上記の＜外形による類否判断＞に加えてあるいは代えて、画像の各画素の濃淡（濃度）による類否判断を行うことができる。具体的には、類否判断部３０５は、疑似画像の各画素の濃度値と、暫定ＮＧ画像の各画素の濃度値とを対比する。例えば、類否判断部３０５は、疑似画像の各画素の濃度値と、暫定ＮＧ画像の各画素の濃度値との差分が閾値以下である場合には、両者が類似していると判断する。また、例えば、類否判断部３０５は、疑似画像の各画素の濃度値と、暫定ＮＧ画像の各画素の濃度値との差分が閾値より大きい場合には、両者が類似していないと判断する。画素による類比判断を行う場合には、疑似画像と、対比される暫定ＮＧ画像との、いずれの粒子画像もそれぞれ３２×３２以上の画素を有することが好ましく、６４×６４以上の画素を有することが好ましい。

【0051】

合否判定部３０６は、対象物である粒子が含まれる粉末等が合格であるか否か（つまり、品質検査の結果）を判定する。具体的には、合否判定部３０６は、形状判定部３０３によってＯＫ画像であると判定されたＯＫ粒子の個数と、類否判断部３０５によって疑似画像と類似すると判断された暫定ＮＧ画像に含まれていたＯＫ粒子の個数とを計測し、得られた計測値を用いて判定する。

【0052】

合格の判定にあたっては、対象物の画像から抽出される粒子の画像の数が、好ましくは１００個以上、より好ましくは５００個以上、さらに好ましくは１，０００個以上となるように、上述した対象物の画像の撮影から類比の判定に至る一連の工程を繰り返して累積した後に合否の判定をすることができる。

【0053】

以下、２つの通知例を説明する。

【0054】

＜数値の通知＞
合否判定部３０６は、ユーザ端末１０３へ、形状判定部３０３によってＯＫ画像であると判定されたＯＫ粒子の個数の総数（個数値１）、類否判断部３０５によって疑似画像と類似すると判断された暫定ＮＧ画像に含まれていたＯＫ粒子の個数の総数（個数値２）、および類否判断部３０５によって正式にＮＧ画像と判定されたＮＧ粒子の個数の総数（個数値３）の合計値に対する、前記個数値１と前記個数値２との合計値の百分率を通知する。また、前述した形状判定の所定の基準の例からいずれかの値が粒子の半径として選択されると、粒子の体積を求めることができ、形状判定部３０３によってＯＫ画像であると判定されたＯＫ粒子、および類否判断部３０５によって疑似画像と類似すると判断された暫定ＮＧ画像に含まれていたＯＫ粒子の体積の累積分布として、５０％累積体積粒子径（Ｄ_５０）を通知することもできる。

【0055】

＜合否の通知＞
合否判定部３０６は、形状判定部３０３によってＯＫ画像であると判定されたＯＫ粒子の個数の総数（個数値１）、類否判断部３０５によって疑似画像と類似すると判断された暫定ＮＧ画像に含まれていたＯＫ粒子の個数の総数（個数値２）、および類否判断部３０５によって正式にＮＧ画像と判定されたＮＧ粒子の個数の総数（個数値３）の合計値に対する、前記個数値１と前記個数値２との合計値の百分率が所定の数値以上である場合に、その対象物が含まれる粉末等は合格であると判定する。このとき、合否判定部３０６は、ユーザ端末１０３へ、対象物が含まれる粉末等が合格である旨を通知する。合格とされる所定の数値は、好ましくは９５％であり、より好ましくは９７％であり、好ましくは９９％である。

【0056】

図７は、本発明の一実施形態に係る画像解析処理の流れを示すフローチャートである。

【0057】

ステップ７００（Ｓ７００）において、粒子画像抽出部３０２は、粒子の画像を抽出し、抽出した粒子の画像を作製する。粒子の画像の抽出においては、前述したクロップ等の処理を行うことができる。

【0058】

ステップ７０１（Ｓ７０１）において、形状判定部３０３は、粒子の画像に含まれる粒子が満たすべき基準（例えば、閾値）を設定する。例えば、形状判定部３０３は、ユーザ端末１０３から指定された基準を設定することができる。

【0059】

ステップ７０２（Ｓ７０２）において、形状判定部３０３は、Ｓ７００において抽出された粒子の画像がＳ７０１で設定された基準を満たすか否かを判定する。所定の基準を満たしていない（つまり、暫定ＮＧ画像である）と判定された場合にはステップ７０３へ、所定の基準を満たしている（つまり、ＯＫ画像である）と判定された場合にはステップ７０７へ進む。形状判定部３０３において、粒子としては輪郭の不鮮明な画像がある場合には、前述した輪郭不鮮明画像についての判定をさらに行うことができる。

【0060】

ステップ７０７（Ｓ７０７）において、形状判定部３０３は、ＯＫ画像の個数を合否判定部３０６へ通知する。

【0061】

ステップ７０３（Ｓ７０３）において、疑似画像生成部３０４は、疑似画像を生成する。

【0062】

なお、疑似画像生成部３０４は、品質検査を実施するたびに疑似画像を生成してもよいし、あるいは、すでに生成されている疑似画像（つまり、品質検査を実施しようとしている対象物と同一の物質のＯＫ画像を用いて生成された疑似画像）を用いるようにしてもよい。

【0063】

ステップ７０４（Ｓ７０４）において、類否判断部３０５は、Ｓ７０２で判定された暫定ＮＧ画像と、Ｓ７０３の疑似画像との類否を判断する。類似していない場合にはステップ７０５へ、類似している場合にはステップ７０８へ進む。

【0064】

ステップ７０８（Ｓ７０８）において、類否判断部３０５は、疑似画像と類似すると判断された暫定ＮＧ画像に含まれていたＯＫ粒子の個数を合否判定部３０６へ通知する。

【0065】

ステップ７０５（Ｓ７０５）において、類否判断部３０５は、暫定ＮＧ画像を正式にＮＧ画像と判定する。正式にＮＧ画像と判定されたＮＧ粒子の個数を合否判定部３０６へ通知する。

【0066】

ステップ７０６（Ｓ７０６）において、合否判定部３０６は、Ｓ７０２でＯＫ画像であると判定されたＯＫ粒子の個数と、Ｓ７０８で疑似画像と類似すると判断された暫定ＮＧ画像に含まれていたＯＫ粒子の個数（つまり、Ｓ７０４で類似していると判断された疑似画像に含まれていたＯＫ粒子の個数）と、Ｓ７０５で正式にＮＧ画像と判定されたＮＧ粒子の個数について、それぞれを計測する。

【0067】

このように、本発明では、いったん暫定的にＮＧ画像であると判定された暫定ＮＧ画像のうち、ＯＫ画像を用いて生成された疑似画像に類似すると判定された暫定ＮＧ粒子は、ＯＫ粒子を１個または複数含むと判定する。そのため、従来の画像解析では所定の基準を満たさないと判定されていた粒子の画像のうち、所定の基準を満たす粒子が重なったり凝集したりしていたにすぎない粒子群の画像をＯＫ粒子画像として取り扱うことができる。

【0068】

＜実施形態２＞
以下、図８から図１１を参照しながら、実物に近い疑似画像を機械学習によって生成する実施形態について説明する。なお、実施形態１と異なる点を主に説明する。

【0069】

＜実施形態２＞では、生成モデルを用いて疑似画像を生成する。生成モデル(Generative model)とは、学習データを学習して、それらのデータと似た新しいデータを生成する方法であり、学習に用いた学習データの分布と生成データの分布が一致するように学習していくモデルのことである。生成モデルの例として、例えば、敵対的生成ネットワーク（Generative Adversarial Networks （ＧＡＮ））と変分自己符号化器（Variational AutoEncoder (ＶＡＥ)）の２種類を挙げることができる。生成モデルを用いて疑似画像を生成すると、実物に近い疑似画像を生成することができる。

【0070】

生成モデルとして、敵対的生成ネットワーク（ＧＡＮ）を用いる場合を、図を参照して説明する。

【0071】

まず、図８および図９は、本発明の一実施形態に係るＧＡＮを説明するための図である。

【0072】

図８では、生成ネットワーク（Ｇｅｎｅｒａｔｏｒ）に入力ノイズ（Ｚ（noise）、例えば乱数）とともに入力画像のクラス情報（C（class））を入力して疑似画像（偽物）（Ｘ fake）を生成し、識別ネットワーク（Ｄｉｓｃｒｉｍｉｎａｔｏｒ）において、疑似画像（偽物）と本物データ（Ｘ real(data)）とを対比して、疑似画像（偽物）の真偽（realまたはfake）とともにクラスの判別を行っている。図９では、生成ネットワーク（Ｇｅｎｅｒａｔｏｒ）において、疑似画像（偽物）が、特徴量をアップサンプリングすることにより生成されてくる逆畳み込み（deconvolution（"deconv"））の過程を示している。図中の１００は特徴量の例示であり、図８のＧＡＮの構成におけるC（class）とＺ（noise）の和に相当する。

【0073】

また、機械学習から対象物画像の特徴量を得て、ＧＡＮと組み合わせることもできる。図１０に示されるように、入力層が対象物の画像（つまり、ＯＫ画像および暫定ＮＧ画像を含む入力データ）であり、出力層が特徴量である前段階ネットワークと、入力層が前段階ネットワークで出力された特徴量であり、出力層が実施形態１にて生成された疑似画像である後段階ネットワークとにより構成されるネットワークを用いて機械学習を行い、特徴量を抽出する。次に、図１１に示されるように、ＧＡＮを用いて、判断対象の暫定ＮＧ画像を本物データとして、疑似画像（偽物）を生成する。具体的には、生成ネットワーク（Ｇｅｎｅｒａｔｏｒ）が、特徴量（図１０で抽出した特徴量）を調整することによって、様々な疑似画像（偽物）が生成される。ここで、生成ネットワーク（Ｇｅｎｅｒａｔｏｒ）は、上述した、特徴量を入力して疑似画像を出力とする後段階ネットワークと同じものを用いる。そして、識別ネットワーク（Ｄｉｓｃｉｍｉｎａｔｏｒ）が、生成された疑似画像（偽物）と、本物データ（本物）（つまり、本物データとして用いた暫定ＮＧ画像）とを対比して、本物か偽物かを識別する。生成ネットワークは識別ネットワークを欺こうと学習し、識別ネットワークはより正確に識別しようと学習するので、学習が進むにつれ、生成ネットワークでは、より本物データに近い疑似画像（偽物）が生成されるようになる。

【0074】

生成モデルとしてＧＡＮを用いる場合には、ＯＫ画像を含む抽出された複数の粒子画像を入力データとして、前述した特徴量の抽出を行う。より具体的には、ＯＫ画像を含み、類比判断対象の暫定ＮＧ画像を含まない、複数の抽出された粒子画像を入力データとして、前述した特徴量の抽出を行うとともに、疑似画像（偽物）の生成に用いられたＯＫ画像の個数を付加情報として得る。そして、生成ネットワークは、類比判断対象の暫定ＮＧ画像を本物データとして、疑似画像（偽物）を生成する。ＧＡＮが学習した結果、暫定ＮＧ画像と類似すると判断される疑似画像（偽物）が生成される。類比判断対象の暫定ＮＧ画像については、生成された疑似画像（偽物）の付加情報を参照することにより、暫定ＮＧ画像に含まれるＯＫ粒子の個数が得られる。

【0075】

対象物の画像には、粒子としては輪郭の不鮮明な画像（エッジ欠け画像ともいう）や、画素にノイズを含むことにより不鮮明な画像（ノイズ含み画像ともいう）が存在する場合がある。これらの不鮮明画像については、生成モデルとしてＧＡＮを用いる場合、より具体的には、ＯＫ画像を入力データとして特徴量の抽出を行い、対象の不鮮明画像を本物データとして、疑似画像を生成することができる。得られた不鮮明な疑似画像は、ＯＫ画像として扱うことができる。

【0076】

変分自己符号化器（(ＶＡＥ)）を用いる場合を説明する。ＶＡＥは、ＧＡＮと同様にデータを表現する特徴を学習して、入力データに似た出力データを生成する。ＶＡＥでは、入力層側のＥｎｃｏｄｅｒにより平均ベクトルと分散ベクトルが求められ、これらを元に潜在変数が確率的に抽出され、出力層側のＤｅｃｏｄｅｒにより抽出された潜在変数を用いて元のデータを再現した、入力データに似た出力データが生成される。ＶＡＥでは、潜在変数が入力データの特徴量をできるだけ保持するように調整される。そのように学習した結果、類比判断対象の暫定ＮＧ画像に似た、粒子の画像が生成される。

【0077】

生成モデルとしてＶＡＥを用いる場合には、ＯＫ画像を含む複数の粒子画像が入力され、入力層側で重畳された画像を入力データとし、暫定ＮＧ画像を入力データに似たデータとして疑似画像を生成する。より具体的には、ＯＫ画像を含み、類比判断対象の暫定ＮＧ画像を含まない、抽出された粒子画像が入力され、入力層側で重畳された画像を入力データとして、平均ベクトルと分散ベクトルが求められる。これらを元に潜在変数が確率的に抽出され、抽出された潜在変数を用いて類比判断対象の暫定ＮＧ画像に似た疑似画像が複数生成されるとともに、疑似画像の生成に用いられたＯＫ画像の個数をそれぞれ付加情報として得る。類比判断対象の暫定ＮＧ画像と類似すると判断された疑似画像については、生成された疑似画像の付加情報を参照することにより、暫定ＮＧ画像に含まれるＯＫ粒子の個数が得られる。

【0078】

生成モデルとしてＶＡＥを用いる場合、前述した不鮮明画像については、ＯＫ画像を入力データとし、不鮮明画像を入力データに似た出力データとして、疑似画像を生成することができる。対象の不鮮明画像と類似すると判断された疑似画像は、ＯＫ画像として扱うことができる。

【0079】

このように、＜実施形態２＞では、疑似画像に表される粒子群の画像として、粒子の重なり方や凝集の仕方が実物に近づき、前述した＜実施形態１＞において行ったような、合成特有の不自然さがなくなる。そのため、実際に存在する粒子群（つまり、所定の基準を満たす粒子が重なったり凝集したりした、実在する粒子群）の画像であるかのような疑似画像を生成することができる。

【0080】

なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせ等、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。

【符号の説明】

【0081】

１００ 品質検査システム
１０１ 光学顕微鏡
１０２ 画像解析装置
１０３ ユーザ端末
１０４ ネットワーク
３０１ 対象物画像取得部
３０２ 粒子画像抽出部
３０３ 形状判定部
３０４ 疑似画像生成部
３０５ 類否判断部
３０６ 合否判定部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】