特許 6961319 評価方法及び評価装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6961319

(24)【登録日】2021年10月15日

(45)【発行日】2021年11月5日

(54)【発明の名称】評価方法及び評価装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20211025BHJP

【ＦＩ】

   G06T7/00 350B

   G06T7/00 610B

【請求項の数】12

【全頁数】21

(21)【出願番号】特願2021-43561(P2021-43561)

(22)【出願日】2021年3月17日

(65)【公開番号】特開2021-157791(P2021-157791A)

(43)【公開日】2021年10月7日

【審査請求日】2021年3月17日

(31)【優先権主張番号】特願2020-54162(P2020-54162)

(32)【優先日】2020年3月25日

(33)【優先権主張国】JP

【早期審査対象出願】

(73)【特許権者】

【識別番号】000000033

【氏名又は名称】旭化成株式会社

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(72)【発明者】

【氏名】松下 雄史

(72)【発明者】

【氏名】高橋 慶

(72)【発明者】

【氏名】富重 将司

(72)【発明者】

【氏名】猿渡 崇宏

【審査官】 小池 正彦

(56)【参考文献】

【文献】 国際公開第２０１９／００３８１３（ＷＯ，Ａ１）

【文献】 特開２０１３−１８６０７５（ＪＰ，Ａ）

【文献】 特開２０１８−００５５０６（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

対象物の第１画像を取得することと、
第１方法を用いて、前記第１画像であって１画素あたり１つの指標により表現される第１形式の前記第１画像の一部を抽出することと、
前記第１方法により抽出した前記第１画像に基づいて、１画素あたり複数の指標により表現される第２形式の第２画像を生成することと、
機械学習を用いて取得された第２方法を用いて、前記第２画像から、特異部の有無を評価することと、
を含む評価方法。

【請求項2】

前記抽出は、前記第１画像から、複数の前記第１画像の一部を抽出し、
前記生成は、複数の前記第１画像の一部に基づいて、複数の前記第２画像を生成し、
前記特異部の有無の評価は、複数の前記第２画像に対して行われる、
請求項１に記載の評価方法。

【請求項3】

前記第２画像の特異部の有無の評価結果に基づいて、目視による評価を行うか否かを判定すること、
を更に含む請求項１又は２に記載の評価方法。

【請求項4】

前記第１方法を用いて、前記第１画像の一部を抽出できない場合に、前記対象物の前記第１画像の範囲に前記特異部が無いと判定すること、
を更に含む請求項１乃至３の何れか一項に記載の評価方法。

【請求項5】

生成された複数の前記第２画像に前記特異部が無い場合に、前記対象物に前記特異部が無いと評価すること、
を更に含む請求項２に記載の評価方法。

【請求項6】

前記機械学習は、
特異部を含む第３画像から、前記第３画像よりも小さく、かつ、前記特異部の位置が異なる複数の第４画像を生成することと、
複数の前記第４画像であって前記第２形式で表現された前記第４画像を教師データとして内部パラメータの最適化を行うこと、
を含む請求項１乃至５の何れか一項に記載の評価方法。

【請求項7】

対象物の第１画像を取得する手段と、
第１方法を用いて、前記第１画像であって１画素あたり１つの指標により表現される第１形式の前記第１画像の一部を抽出する手段と、
前記第１方法により抽出した前記第１画像に基づいて、１画素あたり複数の指標により表現される第２形式の第２画像を生成する手段と、
機械学習を用いて取得された第２方法を用いて、前記第２画像から、特異部の有無を評価する手段と、
を含む評価装置。

【請求項8】

前記抽出する手段は、前記第１画像から、複数の前記第１画像の一部を抽出するように構成され、
前記生成する手段は、複数の前記第１画像の一部に基づいて、複数の前記第２画像を生成するように構成され、
前記特異部の有無を評価する手段は、複数の前記第２画像に対して特異部の有無を評価するように構成される、
請求項７に記載の評価装置。

【請求項9】

前記第２画像の特異部の有無の評価結果に基づいて、目視による評価を行うか否かを判定する手段、
を更に備える請求項７又は８に記載の評価装置。

【請求項10】

前記第１方法を用いて、前記第１画像の一部を抽出できない場合に、前記対象物の前記第１画像の範囲に前記特異部が無いと判定する手段、
を更に備える請求項７乃至９の何れか一項に記載の評価装置。

【請求項11】

生成された複数の前記第２画像に前記特異部が無い場合に、前記対象物に前記特異部が無いと評価する手段、
を更に備える請求項８に記載の評価装置。

【請求項12】

前記機械学習は、
特異部を含む第３画像から、前記第３画像よりも小さく、かつ、前記特異部の位置が異なる複数の第４画像を生成することと、
複数の前記第４画像であって前記第２形式で表現された前記第４画像を教師データとして内部パラメータの最適化を行うこと、
を含む請求項７乃至１１の何れか一項に記載の評価装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、評価方法及び評価装置に関する。

【背景技術】

【0002】

対象物を撮像等することによって得られた画像に基づいて、対象物に発生する可能性がある異常状態、又は、他とは異なる特徴を有する部位の有無を評価する欠陥検査システム、異常検査システム、又は、特異部検知システムが知られている。近年、機械学習を用いて、欠陥等を含む、他の大部分の領域と異なる特徴を持った部位（以下、「特異部」という。）の有無を評価するための手法が提案されている。

【0003】

特許文献１には、撮像部で撮像された対象物の撮像画像から任意の特徴を持った特異部を含む特異部画像を抽出し、特異部画像を入力とした機械学習により特異部の種別を識別する特異部検知システムが記載されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】国際公開第２０１９／００３８１３号

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特異部の有無の検出精度には、向上の余地がある。また、多数の対象物について、特異部の有無を迅速に評価することが求められる場合もある。

【0006】

そこで本発明は、特異部の検出精度を維持又は向上しつつ、多数の対象物について、特異部の有無を迅速に評価することが可能になる評価方法及び評価装置を提供することを目的とする。

【課題を解決するための手段】

【0007】

本開示に係る評価方法は、対象物の第１範囲に対応する第１画像を取得することと、第１方法を用いて、第１画像の画像データであって１画素あたり１つの指標により表現される第１形式の画像データから、第１範囲の一部である第２範囲を抽出することと、機械学習を用いて取得された第２方法を用いて、第２範囲に相当する第２画像の画像データであって１画素あたり複数の指標により表現される第２形式の画像データから、第２範囲内の特異部の有無を評価することと、を含む。

【0008】

なお、「１画素あたり１つの指標により表現される第１形式の画像データ」は、各画素の色彩の違いが１つの指標によって表現される画像データである。このような画像データは、１つの画素が単一の濃度値により表現される画像データであってよい。このような画像データとしては、例えば、グレースケールデータが挙げられる。また、このような画像データとして、各画素において、ＲＧＢの各原色が同一の濃度値（輝度）を有することにより、画像データを構成する各画素を、１つの濃度値で表現可能な画像データが挙げられる。各画素が、ＲＧＢの各原色のうち２つの原色が固定された濃度値を有することにより、画像データを構成する各画素を、残り１つの原色が有する１つの濃度値で表現可能な画像データが挙げられる。なお、各画素は、ＣＭＹ等、他の原色により表現されてもよい。また、各画素の色彩を、色相、彩度、明度の３つのパラメータにより表現する場合には、各画素について、これら３つのパラメータのうちの２つが固定され、各画素の色彩の違いが、残りの１つのパラメータにより表現される画像データが挙げられる。

【0009】

上述した指標としては、濃度（輝度）、色相、彩度、明度等を用いることができる。

【0010】

「１画素あたり複数の指標を有する第２形式の画像データ」は、例えば、ＲＧＢの各原色を独立した濃度値で表現可能なＲＧＢデータ等のカラーデータを含む。また、ＣＭＹデータ等、異なるカラーモデルで表現されるカラーデータを含む。また、色相、彩度、明度のうち、複数のパラメータによって各画素の違いが表現される画像データを含む。

【0011】

このような方法によれば、第２形式の画像データと比較して情報量の少ない第１形式の画像データを用いることで、第２範囲の抽出の画像処理に要する演算量を抑え、その結果、演算時間を短縮することが可能になる。また、機械学習を用いて取得された第２方法を用いて、第２範囲に相当する第２画像のカラーデータ等、情報量の多い第２形式で表現される画像データから、第２範囲内の特異部の有無を評価する。すなわち、第２形式の第２画像と比較して大きい領域の画像であって、かつ、各画素が有する情報量は少ない第１画像に対して第１の方法の画像処理を適用し、これにより第１画像のうち異常が存在する部分領域を第２画像とすることで探索範囲の絞込を行った後、第１画像よりも相対的に各画素が有する情報量の多い第２画像に対して第２の方法の画像処理を適用し、第２画像に特異部が存在するか否かの評価を行うようにしている。これによれば、機械学習による検出精度を維持又は向上することが可能になる。その結果、特異部の検出精度を維持又は向上しつつ、多数の対象物について、特異部の有無を迅速に評価することが可能になる。例えば、一の対象物について第２方法を実行しながら、同時に、この対象物とは異なる一又は複数の対象物について第１方法を実行してもよい。

【0012】

なお、本開示における「評価」は、特異部の有無を判断すること、又は、確率情報と共に特異部の有無を判断すること、特異部の有無に関する確率情報を出力することを含む。また、本開示における「評価」は、特異部に複数の種類がある場合には、上記特異部の有無に関する情報および／または特異部の種別に関する情報を出力することを含む。

【0013】

また、第１方法は、例えば、グレースケールデータから二値データを作成し、所定の大きさの領域内における所定の二値データを有するピクセル数に基づいて第２範囲を抽出する方法であってもよい。例えば、全体、又は、一部のグレースケールデータから決定される閾値に基づいて白黒の二値データを作成し、所定の大きさの領域内に含まれる黒のピクセル数が所定数以上の場合にその領域を第２範囲として抽出する方法であってもよい。また、二値化フィルターにより輪郭を強調して背景との境界を強調してもよい。その他、第１方法は、評価対象となる特異部の特徴に基づいて、グレースケールデータから特異部を含む可能性がある第２範囲を抽出するのに適した手法を選択することができる。例えば、異物のモデル形状に基づくパターン認識により第２範囲を抽出してもよい。

【0014】

また、グレースケールデータ等、第１形式の画像データに基づいてカラーデータ等、第２形式の画像データを生成してもよい。例えば、グレースケールデータを変換してカラーデータを生成してもよい。第１形式の画像データを第２形式の画像データに変換する方法の一例として、第１形式のグレースケールデータに含まれる指標としての輝度を、ＲＧＢ等の各原色の輝度に採用することで、カラー画像を生成する方法が挙げられる。

【0015】

このような構成とすることにより、機械学習を用いて取得された第２方法を用いて、カラーデータから特異部の有無を評価することが可能になるとともに、第１範囲についてカラーデータを取得する必要がない。

【0016】

また、機械学習は、一の特異部を含む第３画像から、第３画像よりも小さく、かつ、一の特異部の位置が異なる複数の第４画像を生成することと、複数の第４画像のカラーデータ等、第２形式の画像データで表現された画像データを教師データとして内部パラメータの最適化を行うことと、を含んでもよい。

【0017】

なお、第３画像は、第２範囲以上の大きさの画像であってよい。例えば、第３画像は第２範囲と同じ大きさの画像（一例として２５６画素×２５６画素）であってよい。第３画像は、機械学習よって第２の方法に用いる学習済みモデルを得るための一連の演算処理の事前に準備されてもよい。第４画像は、学習済みモデルを得るための一連の演算処理において、第３画像の一部であって第２範囲よりも小さく（一例として、２２４画素×２２４画素）、かつ、特異部を含む複数の画像を抽出することにより生成されてよい。これにより、特異部の位置が互いに異なる複数の第４画像が得られる。複数の第４画像は、同一の特異部を含み、かつ、特異部の位置が異なる複数の画像を有してよい。これら第４画像は教師データとして用いられる。また、第３画像を第２範囲よりも大きい画像とし、第４画像を第２範囲と同じ大きさの画像としてもよい。

【0018】

このような構成とすることにより、偏った位置に特異部が存在する教師データを複数パターン生成することが可能になるから、機械学習による検出精度を維持又は向上することが可能になる。なお、一の特異部を含む第３画像から、一の特異部を含み、かつ、色彩が異なる複数の画像を生成し、これを教師データとしてもよい。

【0019】

上述のように教師データの態様（特異部の位置、色彩、明度等）を異ならせて教師データの分散の程度を大きくすることで、検出したい特異部の特徴の検出精度を向上させる効果がある。

【0020】

また、本開示に係る評価装置は、対象物の第１範囲に対応する第１画像を取得する手段と、第１方法を用いて、第１画像の画像データであって１画素あたり１つの指標により表現される第１形式の画像データから、第１範囲の一部である第２範囲を抽出する手段と、機械学習を用いて取得された第２方法を用いて、第２範囲に相当する第２画像の画像データであって、１画素あたり複数の指標により表現される第２形式の画像データから、第２範囲内の特異部の有無を評価する手段と、を備える。

【0021】

このような装置によれば、第２形式の画像データと比較して情報量の少ない第１形式の画像データを用いることで、第２範囲の抽出の画像処理に要する演算量を抑え、その結果、演算時間を短縮することが可能になる。また、機械学習を用いて取得された第２方法を用いて、第２範囲に相当する第２画像のカラーデータ等、情報量の多い第２形式で表現される画像データから、第２範囲内の特異部の有無を評価する手段を備えるから、機械学習による検出精度を維持又は向上することが可能になる。従って、特異部の検出精度を維持又は向上しつつ、多数の対象物について、特異部の有無を迅速に評価することが可能になる。

【0022】

また、本開示に係るコンピュータプログラムは、コンピュータに、対象物の第１範囲に対応する第１画像を取得することと、第１方法を用いて、第１画像の画像データであって１画素あたり１つの指標により表現される第１形式の画像データから、第１範囲の一部である第２範囲を抽出することと、機械学習を用いて取得された第２方法を用いて、第２範囲に相当する第２画像の画像データであって１画素あたり複数の指標により表現される第２形式の画像データから、第２範囲内の特異部の有無を評価することと、を実行させる命令を含む。

【0023】

このようなコンピュータプログラムによれば、第２形式の画像データと比較して情報量の少ない第１形式の画像データを用いることで、第２範囲の抽出の画像処理に要する演算量を抑え、その結果、演算時間を短縮することが可能になる。また、コンピュータに、機械学習を用いて取得された第２方法を用いて、第２範囲に相当する第２画像のカラーデータ等、情報量の多い第２形式で表現される画像データから、第２範囲内の特異部の有無を評価させるから、機械学習による検出精度を維持又は向上することが可能になる。従って、特異部の検出精度を維持又は向上しつつ、多数の対象物について、特異部の有無を迅速に評価することが可能になる。

【0024】

また、本開示に係る評価システムは、評価装置とサーバを備える。サーバは、機械学習の教師データとして、それぞれが異なる種類の特異部を含む第１画像データ群及び特異部を含まない第２画像データ群を格納する。第１画像データには、同一のラベルが付与されてもよい。第２画像データ群には、第１画像データに付与されるラベルとは異なるラベルが付与される。また、本開示に係る評価システムは、上述した本開示に係るコンピュータプログラムに含まれる実行命令が、プロセッサおよびメモリを備え、無線または有線により互いに通信可能に接続された複数の演算装置が連携して実行される態様を含む。

【0025】

このような評価システムによれば、上記評価装置と同様の効果を発揮することが可能になる。

【0026】

また、本開示は、対象物の第１範囲に対応する第１画像を取得するステップと、第１の画像処理方法を用いて、第１画像の画像データであって１画素あたり１つの濃度値を有する第１形式の画像データから、第１範囲の一部である第２範囲を抽出する画像処理をする第１ステップと、機械学習を用いて取得された第２の画像処理方法を用いて、第２範囲に相当する第２画像の画像データであって１画素あたり複数の濃度値を有する第２形式の画像データから、第２範囲内の特異部の有無を評価する画像処理をする第２ステップ、を含む。

【0027】

このような画像処理方法によれば、第１ステップの演算量を抑え、演算時間を短縮することが可能になる。このため、特異部を有する可能性が低い対象物に対し、演算時間を短縮することが可能になる。また、第２ステップは、情報量の多い第２形式の画像データを利用するから機械学習を用いて取得された第２の画像処理方法を用いた評価精度を維持又は高めることが可能になる。

【0028】

また、このような画像処理方法をコンピュータに実行させるために、第１の画像処理方法を実装する第１のソフトウェアモジュールは、対象物の第１範囲に対応して取得された第１画像に対して、第１画像の画像データであって１画素あたり１つの濃度値を有する第１形式の画像データから、第１範囲の一部である第２範囲を抽出する画像処理をする第１ステップをコンピュータに実行させるための命令を含む。また、機械学習を用いて取得された第２の画像処理方法を実装する第２のソフトウェアモジュールは、第２範囲に相当する第２画像の画像データであって１画素あたり複数の濃度値を有する第２形式の画像データから、第２範囲内の特異部の有無を評価する画像処理をする第２ステップをコンピュータに実行させるための命令を含む。

【図面の簡単な説明】

【0029】

【図1】評価システム１０の機能ブロック図

【図2】評価システム１０の評価装置のハードウェア構成を示すブロック図

【図3】本実施形態に示される評価方法のフローチャート

【図4A】第１範囲ＡＲ１及び第２範囲ＡＲ２乃至ＡＲ４の模式図

【図4B】第２範囲ＡＲ２及び特異部候補Ｃ２

【図4C】第２範囲ＡＲ３及び特異部候補Ｃ３

【図4D】第２範囲ＡＲ４及び特異部候補Ｃ４

【図5】本実施形態に係る評価方法による評価結果を示すグラフ

【図6A】教師データの生成方法を示す模式図

【図6B】教師データの生成方法を示す模式図

【発明を実施するための形態】

【0030】

以下、本発明の実施形態について図面を用いて説明する。以下の実施形態は、本発明を説明するための例示であり、本発明をその実施形態のみに限定する趣旨ではない。

【0031】

図１は、本実施形態に係る特異部の評価システム１０の機能ブロック図である。この評価システム１０は、液体を収容するペットボトル（「対象物」の一例）の内部に異物が混入しているか否かを判断するための評価システムである。但し、後述するように、本発明は、様々な対象物及び様々な特異部に適用することが可能である。

【0032】

この評価システム１０は、撮像部１２、特異部検出部１４、特異部画像抽出部１６、画像データ変換部１８及び特異部有無評価部２０を有する評価装置を備えている。更に、評価システム１０は、特異部有無評価部２０にネットワークＮを介して接続されるサーバ装置を更に備えている。サーバ装置は、正常サンプルの画像を格納するデータベースＤＢ１及び異常サンプルの画像を格納するデータベースＤＢ２を備えている。本実施の形態において、正常サンプルとは、特異部を含まない、換言すると、対象物が異常を有しないサンプルであり、良品に該当するサンプルである。また、異常サンプルとは、特異部を含む、換言すると、対象物が異常を有するサンプルであり、不良品に該当するサンプルである。

【0033】

撮像部１２は、対象物の一部又は全部撮像し、画像を取得する。撮像部１２は、例えば、ラインセンサ又はエリアセンサ等のイメージセンサ等から構成することができる。例えば、対象物が中心軸に対し回転対称に形成されるペットボトルのような形状を有する対象物の場合、ペットボトルを中心軸周りに回転させながら、ラインセンサで側面を撮像することにより、対象物の側面全体（「第１範囲」の一例）に対応する画像を取得することができる。本実施形態の場合、撮像部１２はラインセンサから構成され、対象物の画像として、５０００画素×５０００画素の各画素について、８ビット（２５６階調）の輝度値（「濃度値」の一例）を有するグレースケールデータ（「第１形式の画像データ」の一例）を取得する。なお、撮像部１２により対象物を撮像して画像を取得することに替えて、対象物の画像を格納するデータベース等から、対象物の画像を取得してもよい。また、撮像部１２によりカラーデータを撮像し、これをグレースケールデータに変換することにより、１画素あたり１つの濃度値など、１つの指標により表現される第１形式の画像データを取得してもよい。例えば、ＩＴＵ（International Telecommunication Union）が策定したBT.601("Studio encoding parameters of digital television for standard 4:3 and wide screen 16:9 aspect ratio")規格で規定される数式（ＲＧＢの輝度値の重み付け平均）に従って、カラーデータをグレースケールデータに変換することにより、第１形式の画像データを取得してもよい。ここで、第１形式の画像データは、各画素の違いが１つの指標によって表現される画像データである。このため、１つの画素が濃度値という単一の指標によって表現される場合の他、輝度、色相、彩度又は明度によって表現される画像データを第１形式の画像データとして用いてもよい。また、ＲＧＢデータなどであっても、ＲＧＢの各原色のうち２つの原色が固定された濃度値を有することにより、画像データを構成する各画素を、残り１つの原色が有する１つの濃度値で表現可能な画像データを、第１形式の画像データとして用いてもよい。更に、色相、彩度、明度の３つのパラメータにより表現される場合であっても、これら３つのパラメータのうちの２つのパラメータが固定され、残り１つのパラメータによって表現可能な画像データを、第１形式の画像データとして用いてもよい。

【0034】

特異部検出部１４は、撮像部１２で取得された対象物の画像から、任意の特徴を持った特異部を検出する。ここで特異部とは、形状、輝度及び色の少なくとも一つの観点から、周囲の領域とは異なる特徴をもった部位のことをいう。特異部は、欠陥であってもよいし、人為的に設定されたマークやパターン等であってもよい。形状に関する特異部は、形状が有する特性（例えば、体積、面積、高さ、粒子径、アスペクト比、真円度、輪郭形状等）において、周囲の領域とは異なる特性を有する部分のことをいう。同様に、輝度については、明るさ、ヒストグラム等の輝度に関する特性において、色については、スペクトル、中心波長、最大波長等の色に関する特性において、周囲の領域とは異なる特性を有する部分のことをいう。本実施形態における特異部は、ペットボトル内部の液体中に含まれ得る塵、人毛及び容器の汚れ等である。

【0035】

特異部を検出する手法は、様々な方法を採用することが可能である。本実施形態における特異部検出部１４は、例えば、第１範囲であるペットボトルの側面全体の画像として、各画素に対応して取得されたグレースケールデータを、適応的に設定された閾値を用いて二値化し、所定領域内に含まれる二値化データの画素数に応じて、特異部を検出する（「第１方法」の一例）。例えば、特異部検出部１４は、所定の対象画素を中心とする所定の周辺領域に含まれる複数の画素の輝度の平均値を取得する。次に、中心とされた対象画素の輝度と、算出された輝度の平均値との差分を取得する。この差分の値が、予め定められた所定の閾値を上回るか否かに基づいて、対象画素を二値化する処理実行し、これを各画素について繰り返す。このように、周囲の画素に基づいて閾値を設定することにより、ペットボトルに含まれる液体の色など、背景部分の影響を抑え、より精度良く特異部を検出することが可能になる。そして特異部検出部１４は、所定領域内に含まれる黒画素（又は白画素）の数が所定個以上である場合に、特異部が存在する可能性があると判断する。なお、閾値の設定方法や特異部の検出手法は、評価目的に応じて適宜選択可能である。例えば、なるべく検出漏れを抑制したい場合、閾値を小さく設定し、特異部を検出されやすくすることができる。

【0036】

また、特異部を検出する手法は、特異部の特徴に応じて様々な手法を採用することが可能である。例えば、特異部が特徴的な幾何学形状を有することが予めわかっている場合、その形状のパターンマッチングによって、特異部を検出するように特異部検出部１４を構成してもよい。

【0037】

特異部画像抽出部１６は、ペットボトルの側面全体である第１範囲から、特異部検出部１４で検出された特異部の全部又は一部を含む領域（「第２範囲」の一例）を抽出する。本実施形態においては、特異部検出部１４で検出された特異部を含む２５６画素×２５６画素の領域を特異部画像として抽出する。抽出される領域及びそれに対応する特異部画像の数は、０個の場合もあるし、複数個の場合もある。

【0038】

画像データ変換部１８は、画像に含まれる各画素の色彩の違いを１画素あたり１つの指標によって表現する第１形式の画像データを、各画素の色彩の違いを１画素あたり複数の指標によって表現する第２形式の画像データに変換する。

【0039】

本実施形態において、画像データ変換部１８は、グレースケールデータ等、１画素あたり１つの濃度値を有する第１形式の画像データを、各８ビットのＲＧＢのカラーデータ（以下、「ＲＧＢデータ」という。）等、１画素あたり複数の濃度値を有する第２形式の画像データに変換する。例えば、濃い灰色を表現する所定のグレースケールデータであって、１６９の輝度値を有する画像データは、ＲＧＢデータ、ＣＭＹデータ、において、例えば、１６９、１６９、１６９という３つの輝度値を有するように変換されることができる。このように、１つの指標を有するグレースケールを複数の指標を有するカラーデータに変換する場合に、例えば、グレースケールデータが有する１つの指標としての輝度を、カラーデータを表現する３つの原色の輝度として用いることで、カラーデータを得ることができる。同様に、特異部画像抽出部１６は、第２範囲に含まれる各画素について、所定の変換テーブル、変換行列、変換式又は変換マップ等を用いて、元のグレースケールデータを、これと同一又は近似のＲＧＢデータに変換する。以上のようにして、画像データ変換部１８は、１又は複数の第２範囲について、１画素あたり複数の濃度値を有する第２形式の画像データを生成する。なお、第１形式の画像データの各画素が、例えば、ＨＳＶに対応する色相、彩度、明度のうちの１つのパラメータによって表現されている場合には、ＨＳＶ表現とＲＧＢ表現との公知の換算式を用いることにより、第１形式の画像データを第２形式の画像データに変換してよい。

【0040】

本実施の形態における評価方法は、第２の方法が適用され、第２範囲に対応する第２形式の画像データのデータ量が、第１の方法が適用され、第１範囲に対応する第１形式の画像データよりも小さくなるように構成されている。より具体的には、本実施の形態における評価方法は、第２範囲に対応する第２形式の画像データの各画素が有するデータ量が、第１範囲に対応する第１形式の画像データの各画素が有するデータ量よりも多くなるようにし、かつ、第２範囲に対応する第２形式の画像データの大きさ（画素数）が、第１形式の画像データのそれよりも小さくなるように構成されている。このとき、第２形式の画像データの各画素が有するデータ量の増加分よりも、第２範囲の大きさを第１範囲よりも小さくすることによるデータ量の削減分が上回るようにする。このような演算処理により、第２範囲に対応する第２形式の画像データであって、第１範囲に対応する第１形式の画像データよりもデータ量が小さい第２形式の画像データを得る。

【0041】

特異部有無評価部２０は、機械学習を用いて生成されたモデルに基づいて、第２範囲内に特異部が含まれているか否かを評価する。本実施形態では、特異部有無評価部２０は、畳み込みニューラルネットワークを備える。畳み込みニューラルネットワークは、第２範囲について第２形式の画像データを入力するための入力層と、特異部の有無を出力するための出力層と、両層を結合する中間層を備える。中間層は、フィルターをスライドさせて重複部分の積和を特徴量として算出する畳み込み演算を行って特徴量を有するマップを生成する畳み込み層と、畳み込み層から出力された二次元配列データの最大値を抽出するプーリング層との組み合わせを複数備え、内部パラメータを重み係数として結合して出力層に評価結果を提供する結合層とを備える。なお、ニューラルネットワークは、畳み込みニューラルネットワーク（Convolutional Neural Network）の他、ＲＮＮ（Recurrent Neural Network)、Ｅｌｍａｎ ｎｅｔｗｏｒｋ、Ｊｏｒｄａｎ ｎｅｔｗｏｒｋ、ＥＳＮ（Echo State Network）、ＬＳＴＭ（Long Short Term Memory network)、ＢＲＮＮ（Bi-directional RNN）などから構成することができる。また、出力層は、特異部の有無という２種類の結果を出力する場合に限られない。例えば、特異部の種類に応じて３種類以上の結果を出力するように構成してもよく、特定の画素または特定の画素の集合体が、特異部に該当するかに関する数値情報を出力するように構成してもよい。

【0042】

サーバ装置は、正常な対象物のサンプル画像を格納するデータベースＤＢ１及び異常な対象物のサンプル画像を格納するデータベースＤＢ２を備えている。データベースＤＢ１は、特異部を含まない第２形式の画像データを格納する。本実施形態では、データベースＤＢ１は、対象物であるペットボトルの側面を撮像して取得される、２２４画素×２２４画素の特異部を含まないＲＧＢデータを格納する。例えば、ペットボトルの容器に収容される液体が炭酸を含む場合、気泡は、特異部ではない。このため、データベースＤＢ１は、特異部を含まない画像データとして、気泡を含むＲＧＢデータを格納する。

【0043】

データベースＤＢ２は、特異部を含む第２形式の画像データを格納する。本実施形態では、データベースＤＢ２は、対象物であるペットボトルの側面を撮像して取得される、２２４画素×２２４画素の特異部の全部又は一部を含むＲＧＢデータである。特異部は、例えば、人毛、塵、容器の汚れである。従って、データベースＤＢ２は、人毛を含む複数のＲＧＢデータ、塵を含む複数のＲＧＢデータ、容器の汚れを含む複数のＲＧＢデータをそれぞれ格納する。これらデータベースＤＢ１及びデータベースＤＢ２に格納される画像データの生成方法については後述する。

【0044】

特異部有無評価部２０は、データベースＤＢ１及びデータベースＤＢ２に格納される第２形式の画像データを教師データとして学習することにより、特異部の有無を評価するための内部パラメータを含む学習済みモデルを取得している。内部パラメータは、例えば、畳み込み層におけるバイアス値、結合層における重み付け係数等である。教師データを追加することにより内部パラメータは、変動する。

【0045】

本実施の形態における学習済みモデルは、所定の大きさの入力画像に含まれる特異部の有無に関する情報を出力するように構成された学習済みモデルである。本実施の形態における学習済みモデルは、複数の第２形式の画像データのそれぞれに対して特異部の有無がラベル付けされた教師データを用いた機械学習により生成される。なお、学習済みモデルは、入力画像に含まれる特異部の有無に関する情報および／または特異部の種別に関する情報を出力するようにしてもよい。このような学習済みモデルは、複数の第２形式の画像データのそれぞれに対して、特異部の有無および／または特異部の種別がラベル付けされた教師データを用いた機械学習により生成される。

【0046】

図２は、評価システム１０を構成する評価装置を実現するためのハードウェア構成を示すブロック図である。撮像部１２は、上述したとおり、対象物を撮像して対象物の第１範囲に対応する第１画像を取得するものであり、例えば、ラインカメラから構成される。プロセッサ２２は、記憶部２４に記憶されたコンピュータプログラム（特異部有無の評価を行うための学習済みモデルを含む。）を実行して、本実施形態に示される各演算処理を実行する。従って、プロセッサ２２及び記憶部２４は、協働して、特異部検出部１４、特異部画像抽出部１６、画像データ変換部１８及び特異部有無評価部２０として機能する。プロセッサ２２は、例えば、複数の演算コアを備えるＡＳＩＣ（Application Specific Integrated Circuit)、ＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array)又は量子コンピュータ等から構成される。記憶部２４は、本実施形態に示される各演算処理を実行するためのコンピュータプログラム（特異部有無の評価を行うための学習済みモデルを含む。）を含む各命令その他の情報を記憶する。記憶部２４は、ＮＡＮＤフラッシュメモリ、ＦｅＲＡＭ、ＭＲＡＭ等の電気的に情報を記録及び読取可能な不揮発性半導体記憶素子（一時的でない記憶素子）又はＨＤＤ（Hard Disc Drive）等の磁気記憶素子から構成される。ＲＡＭ２６は、本実施形態に示される各演算処理等のために使用するデータその他の情報を一次記憶するためのＳＲＡＭ(Static Random Access Memory）及びＤＲＡＭ（Dynamic Random Access Memory）等の揮発性半導体記憶素子から構成される。表示部２８は、プロセッサ２２による演算結果を表示するためのディスプレイを備える。演算結果は、特異部有無評価部２０による評価結果を含む。通信Ｉ／Ｆ部３０は、ネットワークＮを介して、データベースＤＢ１及びデータベースＤＢ２に接続され、データベースＤＢ１及びデータベースＤＢ２から情報を受け取ることができる。入力部３２は、評価者が評価システム１０に情報を入力するためのキーボード等の入力機器を備える。これら各構成は、バスを介して相互にデータ送受信可能に接続される。ただし、一部構成は、ネットワークＮを介して遠隔地に設けられてもよいし、他の構成と一体化されてもよい。また、プロセッサ２２によって実行される機能の一部は、撮像部１２等、他の構成によって実行されてもよい。

【0047】

以上のような評価システム１０を用いた特異部の評価方法について説明する。図３は、本実施形態に示される評価方法のフローチャートである。

【0048】

まず、撮像部１２は、対象物を撮像する。具体的には、対象物であるペットボトルを中心軸周りに回転させながら、撮像部１２のラインカメラによってペットボトルの側面を撮像して、第１範囲に対応する第１画像を撮像する。本実施形態において、撮像部１２は、第１範囲に対応する第１画像として５０００画素×５０００画素の画像を撮像する。また、本実施形態において、撮像部１２は、５０００画素×５０００画素の各画素について、８ビット（２５６階調）の輝度値を有するグレースケールデータを第１画像として取得する（ステップＳ１）。ここで、ペットボトルの容器は、透光性を有する。このため、撮像部１２は、ペットボトルの容器及びその内部に収容される液体の画像を取得する。

【0049】

次いで、特異部検出部１４は、撮像部１２によって取得されたペットボトルの側面の画像から、特異部を検出する（ステップＳ２）。具体的には、各画素に対応して取得されたグレースケールデータを、適応的に設定された閾値を用いて二値化し、所定領域内に含まれる閾値を越えた画素数が所定個以上である場合に、特異部を検出する。

【0050】

次いで、特異部検出部１４は、撮像部１２によって取得されたペットボトルの側面の画像内に特異部が検出されたか否か判断する（ステップＳ３）。本実施形態において、特異部検出部１４は、ルールベースの画像処理によって第１範囲に対応する第１画像に含まれる特異部を検出する。

【0051】

特異部が検出されず、従って、特異部を含む第２範囲が抽出されなかった場合（ＮＯ）、その対象物について検査は終了する。なお、特異部が検出されなかった対象物について簡易の目視検査を実行してもよい。

【0052】

特異部が検出された場合（ＹＥＳ）、特異部画像抽出部１６は、第１範囲に対応する第１画像（本実施の形態では撮像部１２によって撮像された画像）から、特異部検出部１４によって検出された特異部の全部又は一部を含む領域を抽出する（ステップＳ４）。具体的には、特異部画像抽出部１６は、特異部検出部１４で検出された一又は複数の特異部を含む２５６画素×２５６画素の領域を特異部画像として抽出する。図４Ａは、撮像部１２によって取得されたペットボトルの側面に相当する第１範囲ＡＲ１と、第１範囲ＡＲ１に相当する第１形式の画像データから抽出された３つの第２範囲ＡＲ２乃至ＡＲ４を示す。図４Ｂ乃至図４Ｄは、第２範囲ＡＲ２乃至ＡＲ４及びそれに含まれる特異部候補Ｃ２乃至Ｃ４の画像を示している。なお、複数の第２範囲は、一部が互いに重複するように抽出されてもよい。これにより、第１範囲に対応する第１画像のうち、所定の画像処理によって特異部が存在する領域の絞込が行われる。

【0053】

次いで、画像データ変換部１８は、第２範囲ＡＲ２乃至ＡＲ４に相当する各画素のグレースケールデータを、ＲＧＢデータに変換し、第２範囲ＡＲ２乃至ＡＲ４に相当する各画素のＲＧＢデータを生成する（ステップＳ５）。

【0054】

次いで、特異部有無評価部２０は、機械学習を用いて生成された学習済みモデルに基づいて、第２範囲内に特異部が含まれているか否かを評価する（ステップＳ６）。

【0055】

いずれの第２範囲ＡＲ２乃至ＡＲ４にも、特異部が含まれていないと評価された場合（ＮＯ）、その対象物について特異部が無いと評価され、検査は終了する。なお、特異部が無いと評価された対象物について簡易の目視検査を実行してもよい。

【0056】

いずれかの第２範囲ＡＲ２乃至ＡＲ４に特異部が含まれていると評価された場合（ＹＥＳ）、その旨の情報を出力し、検査者による目視検査を促す。これにより、検査者による目視検査を行う（ステップＳ７）。このとき、表示部２８は、図４Ａに示されるように、第１範囲ＡＲ１と、特異部が含まれていると評価された第２範囲（例えば、第２範囲ＡＲ３及び第２範囲ＡＲ４）の第１範囲ＡＲ１内における位置を表示するように構成される。このように構成することで、検査者は、特異部が含まれていると評価された領域を容易に特定することができる。このため、目視による検査時間を低減することが可能になる。なお、特異部が含まれていると評価された第２範囲の第１範囲ＡＲ１内における位置を表示しない場合、検査者は、広範囲にわたり、実際に特異部が含まれているか定かでない領域を検査しなければならない。

【0057】

検査者は、特異部が含まれていると評価された第２範囲に、実際に特異部が含まれていたか否かを判断する。このとき検査者は、特異部が含まれていると評価された第２範囲に特異部が実際に含まれていたか否かを示す情報を入力部３２を用いて入力することができる。入力された情報及び対応する第２範囲のＲＧＢデータは、教師データとして、データベースＤＢ１又はデータベースＤＢ２に格納されるように構成することができる。

【0058】

以上のような評価システム１０及び評価方法によれば、第２形式の画像データと比較して情報量の少ない第１形式の画像データを用いて、機械学習による第２方法の評価対象領域を抽出するため、第２範囲の抽出の画像処理に要する演算量を抑え、その結果、演算時間を短縮することが可能になる。また、第２範囲以外の画像データを削減することが可能になる。機械学習による第２方法の評価にあたっては、必要な情報が付加され、情報量の多い第２形式の画像データを用いるから、評価精度を維持又は向上することが可能になる。従って、特異部の検出精度を維持又は向上しつつ、多数の対象物について、特異部の有無を迅速に評価することが可能になる。

【0059】

また、本実施の形態における評価方法では、第２の方法として、教師データ（訓練データ）に基づいて、入力データに対する推定ルールを自律的に生成可能な、機械学習により得られたモデルを用いる方法を採用する。さらに、機械学習に用いる訓練データとして、第１形式の画像データと比較して各画素の違いを示すデータ量が多い第２形式の画像データを用いる。これにより、以下の図５に基づいて説明するように、特異部の見逃し率、及び、過検出率をいずれも低減することができる。

【0060】

また、第２形式の画像データは、第１形式の画像データよりも画素数の少ない画像データ（より典型的には、大きさ範囲の小さい画像データ）とすることで、各画素のデータ量は増加しながらも、第１形式の画像データからのデータ量の総量を少なくするようにしている。これにより、第２の方法を適用して第２の画像に含まれる特異部の評価の精度を向上させながら、学習済みモデルを生成するのにかかる時間（学習時間）の過度な増大を防止することができる。

【0061】

特に、本実施の形態における評価方法を製造ラインに実装して製品検査に用いることを想定すると、製造対象の製品のロット変更や型式変更に臨機応変に対応すべく、学習済みモデルを生成するための時間は短いことが好ましい。上記のように、学習時間の増大を抑制することで、製造ラインへの実装に適した評価方法を実現することができる。

【0062】

なお、上述した効果をさらに高める観点から、第１の方法としては、製造対象の製品のロット変更や型式変更に応じて変更すべき要素が少なく、また、データ量の大きい画像処理にも適用可能なルールベースの画像処理方法を用いることが、好ましい。

【0063】

図５は、特異部有無評価部２０を用いて、５０００個以上の対象物について、グレースケールデータで特異部の有無を評価した場合と、ＲＧＢデータで特異部の有無を評価した場合における特異部の見逃し率及び過検出率を示すグラフである。

【0064】

グレースケールデータで特異部の有無を評価した場合、特異部が存在するにもかかわらず、特異部が無いと評価される見逃し率が０．０５％存在した。一方で、ＲＧＢデータで特異部の有無を評価した場合、特異部が存在するにもかかわらず、特異部が無いと評価される見逃し率をゼロにすることができた。大量に生産される対象物のうちの１個のみに特異部が存在したとしても大きな問題に生じる可能性があるところ、本実施形態に係る評価システム１０及び評価方法を使用することにより、特異部の見逃し率をゼロにすることができた。その理由は、機械学習を用いて取得された第２方法による評価を実行する際に、情報量の多い第２形式の画像データを用いたためであると推察される。一方で、第１方法を実行する際は、情報量の少ない第１形式の画像データを用いることで、演算時間を短縮することが可能になる。また、特異部が無いにも関わらず特異部が有ると評価される過検出率も、グレースケールデータの場合、約５．６％であった一方で、ＲＧＢデータの場合、約３．６％と大きく減少した。過検出がなされると、長大な時間を要する目視検査を実行するため、過検出を減少することによって、大幅に評価時間を短縮することが可能になる。このように、見逃し率、過検出率ともに向上することが確認された。

【0065】

また、本実施形態では、第１形式の画像データに基づいて第２形式の画像データを生成するようにしたから、第１方法で第２範囲が抽出されないときに第２形式の画像データを生成する必要がなくなる。また、第１方法で実行された画像処理後の画像データを利用して第２形式の画像データを生成するから、第２方法を実行する際に、同様の画像処理を省略又は簡略化することが可能になる。このため、演算時間を一層短縮することが可能になる。このため、大量の対象物を効率的に評価することが可能になる。

【0066】

なお、撮像部１２により撮像される領域を通過するように複数の対象物を移動させながら撮像することにより、複数の対象物を同時に撮像可能としてもよい。これによれば、複数の対象物を効率的に評価可能となる。その際、中心軸周りに対象物を回転させながら移動させることにより、側面全体を評価可能に評価システム１０を構成してもよい。また、第１の対象物について、撮像部１２、特異部検出部１４を用いて、撮像及び特異部の検出を実行しながら、同時に、他の対象物について、特異部有無評価部２０を用いて特異部の有無の評価を実行してもよい。例えば、特異部検出部１４を用いて検出された特異部を含む第２画像について、順に、特異部有無評価部２０を用いて特異部の有無の評価を実行することで、特異部の検出と特異部の有無の評価とを並行して実行してよい。

【0067】

［教師データの生成方法］
以下、データベースＤＢ１及びデータベースＤＢ２に格納する教師データの生成方法について説明する。

【0068】

図６Ａは、図４Ｃに示される第２範囲ＡＲ３に相当する画像（「第３画像」の一例）のＲＧＢデータに基づいて教師データを生成する方法を説明する模式図である。上述したように、第２範囲ＡＲ３は、２５６画素×２５６画素の領域を有し、特異部候補Ｃ２を含む特異部画像である。なお、教師データを生成するための元画像である第３画像は、必ずしも、第２範囲ＡＲ３と同じ大きさでなくてもよい。例えば、第２範囲ＡＲ３より大きい画像に基づいて教師データを生成してもよい。

【0069】

本実施形態において、教師データは、第２範囲ＡＲ３から、第２範囲ＡＲ３よりも小さく、かつ、特異部候補Ｃ３の位置が異なる４つの第４画像を切り出すことによって生成される。具体的には、１つ目の第４画像として、第２範囲ＡＲ３の頂点Ｖ１を頂点とする２２８画素×２２８画素の範囲の画像を切り出す。この第４画像は、同図に示される頂点Ｖ１及び頂点Ｖ７を対角の頂点とし、かつ、特異部候補Ｃ３を含む画像である。同様に２つ目の第４画像として、第２範囲ＡＲ３の頂点Ｖ２及び頂点Ｖ８を対角の頂点とし、３つ目の第４画像として、第２範囲ＡＲ３の頂点Ｖ３及び頂点Ｖ５を対角の頂点とし、４つ目の第４画像として、第２範囲ＡＲ３の頂点Ｖ４及び頂点Ｖ６を対角の頂点とする、それぞれ２２８画素×２２８画素の大きさを有する画像を切り出すことによって、教師データとなる４つのＲＧＢデータを生成する。目視等により、特異部候補Ｃ３が特異部であることが確認済みの場合、生成された教師データを異常サンプルを格納するデータベースＤＢ２に格納する。特異部候補Ｃ３が、気泡等、特異部でないことが確認済みの場合、正常サンプルを格納するデータベースＤＢ１に格納する。

【0070】

このようにして、１つの第３画像に基づいて、４つの教師データを生成することが可能になる。各教師データにおける特異部候補Ｃ３の位置は異なる。一方で、特異部画像抽出部１６で抽出される画像中の特異部の位置は、一定ではない。このため、特異部候補Ｃ３の位置が異なる複数の教師データを生成することによって、特異部有無評価部２０による評価精度を高めることが可能になる。

【0071】

図６Ｂは、図６Ａに示される第３画像を９０度回転させた画像である。この画像に基づいて、同様に、４つの第４画像を切り出すことによって、更に、特異部候補Ｃ３の位置及び角度が異なる４つの教師データを生成することが可能になる。一方で、特異部画像抽出部１６で抽出される画像中の特異部の位置及び角度は、一定ではない。このため、特異部候補Ｃ３の角度が異なる複数の教師データを生成することによって、特異部有無評価部２０による評価精度を高めることが可能になる。

【0072】

更に、生成された各教師データのそれぞれについて、色彩を変動させることにより、さらに多くの教師データを生成してもよい。例えば、ＲＧＢの各原色の輝度により色彩が表現されるカラーデータのＲＧＢのそれぞれのレイヤにおいて、輝度値及びコントラストを変動させることにより、より多くの教師データを生成し、評価システム１０による評価のロバスト性を向上させることが可能になる。特に、対象物が液体を収容する物である場合、又は、対象物が液体を収容しない場合であっても、透光性を有する容器を有する場合、液体部分又は透光性を有する容器で光が屈折するために、光の当たり方等の周囲の環境に応じて、ＲＧＢのそれぞれのレイヤの輝度値等が異なる場合がある。従って、このような教師データを生成することにより、特異部有無評価部２０による評価精度を高めることが可能になる。色彩の変動は、例えば、輝度値及びコントラストをランダムに変動させてよく、また、例えば、ＲＧＢの各原色の輝度値それぞれに同一の値を加算または減算させてるようにして色彩を変動させてもよいい。なお、１つの第３画像から複数の第４画像を生成する際、特異部を含む異常サンプルの教師データの生成数（例えば、１２の教師データ）を、特異部を含まない正常サンプルの教師データの生成数（例えば、８の教師データ）より大きくしてもよい。このように構成することで、特異部有無評価部２０が、特異部を有する評価をするように過学習させ、特異部を見逃す可能性を低下させることが可能になる。

【0073】

［第１変形例］
以下、第１実施形態の変形例について説明する。第１実施形態では、撮像部１２が備えるラインセンサを用いて対象物のグレースケールデータを取得した。本変形例における撮像部１２は、二次元のＲＧＢデータを取得するエリアセンサ（例えば、ＣＭＯＳイメージセンサ）を用いて対象物の第１画像を取得する。特異部検出部１４は、撮像部１２によって取得されたＲＧＢデータに基づいて、第１画像のグレースケールデータ（「第１形式の画像データ」の一例）を生成し、これに基づいて特異部を検出する。また、特異部有無評価部２０は、検出された特異部を含む第２範囲に相当するＲＧＢデータ（「第２形式の画像データ」の一例）を撮像部１２から取得し、これに基づいて第２範囲の特異部の有無を評価する。

【0074】

このような態様によっても、特異部の検出精度を維持又は向上しつつ、多数の対象物について、特異部の有無を迅速に評価することが可能になる評価方法及び評価装置を提供することが可能になる。また、撮像部１２によって取得された高分解能のカラーデータや異なるカラーデータ（例えば、ＣＭＹＫカラーモデルによるカラーデータ）に基づいて第２範囲内の特異部の有無を評価することが可能になるから、評価対象によっては、第２方法による評価精度を高めることが可能になる。

【0075】

［適用範囲］
本開示に係る評価システム及び評価装置は、様々な対象物を評価するために適用することが可能である。例えば、ポリ塩化ビニリデン（ＰＶＤＣ）の透明フィルムの製造工程において、透明フィルムに含まれ得る異物、傷、皺等を特異部として検出するために使用することができる。

【0076】

また、フラットパネルディスプレイ用等の高分子フィルムの製造工程において、高分子フィルムに含まれ得る異物、傷等を特異部として検出するために使用することができる。

【0077】

また、ガラス製品等の製造工程において、ガラスに含まれ得る割れやキズ等を特異部として検出するために使用することができる。この場合、ガラス製品に照明を当てて撮像し、特異部において輝度が他の部位よりも高くなることを利用して特異部を検出することができる。

【0078】

また、クロマトグラフィーの分離膜の製造工程において、膜表面の変形や気泡を特異部として検出するために使用することができる。この場合、分離膜に照明を当てて撮像し、特異部において輝度が他の部位よりも低く、又は、高くなることを利用して特異部を検出することができる。

【0079】

また、本開示は、その要旨を逸脱しない限り、さまざまな変形が可能である。たとえば、当業者の通常の創作能力の範囲内で、ある実施形態における一部の構成要素を、他の実施形態に追加することができる。また、ある実施形態における一部の構成要素を、他の実施形態の対応する構成要素と置換することができる。

【0080】

例えば、本開示に係る評価方法は、
対象物の第１範囲に対応する画像を取得することと、
第１方法を用いて、前記第１範囲に対応する画像であって、各画素の色彩の違いが第１の指標により表現される第１の画像から、前記第１範囲の一部である第２範囲を抽出することと、
前記第２範囲に対応する画像であって、各画素の色彩の違いが前記第１指標により表現される第２の画像に、前記各画素の色彩の違いを示す第２の指標を付与することで、前記各画素の色彩の違いが前記第１の指標および前記第２の指標により表現される第３画像の画像を得ることと、
機械学習を用いて取得される第２の方法を用いて、前記第３の画像内の特異部の有無を評価することと、
を含む評価方法であってよい。

【0081】

ここで、第１方法は、好ましくはルールベースの方法である。また、第１の方法は、好ましくは、第２の方法によってその有無が判断されるべき特異部の候補が含まれている第２範囲を抽出する方法である。

【0082】

また、第１の画像は、好ましくはグレースケールの画像である。このとき、第１の指標は各画素の色彩の違いを表現する画素の輝度であってよい。また、第２の画像は、好ましくはカラー画像である。このとき、第２の指標は各画素の色彩を表現する三原色のそれぞれの輝度であってよい。なお、第２の指標が第１の指標を包含する場合には、第２の指標の付与は、第２指標から第１指標を除いた指標の付与であってよい。

【0083】

また、第２の画像に各画素の色彩の違いを示す第２の指標の付与は、これにより得られる第３の画像のデータ量が、第１の画像のデータ量を超えない範囲で行われることが好ましい。

【0084】

例えば、本開示に係る評価方法は、
対象物の第１画像を取得することと、
第１方法を用いて、前記第１画像であって、各画素の色彩が第１の色情報により表現される第１形式の前記第１画像の一部を、特異部が存在する候補領域の第２画像として抽出することと、
前記第１形式の前記第２画像に、各画素の色彩を表す第２の色情報を付与することで、各画素の色彩が、前記第１の色情報および前記第２の色情報により表現される第２形式の第３画像を得ることと、
機械学習を用いて取得された第２方法を用いて、前記第２形式の前記第３画像から、特異部の有無を識別することと、
を含む評価方法、であってよい。

【0085】

例えば、本開示に係る評価手段は、
対象物の第１画像を取得する手段と、
第１方法を用いて、前記第１画像であって、各画素の色彩が第１の色情報により表現される第１形式の前記第１画像の一部を、特異部が存在する候補領域の第２画像として抽出する手段と、
前記第１形式の前記第２画像に、各画素の色彩を表す第２の色情報を付与することで、各画素の色彩が、前記第１の色情報および前記第２の色情報により表現される第２形式の第３画像を取得する手段と、
機械学習を用いて取得された第２方法を用いて、前記第２形式の前記第３画像から、特異部の有無を識別する手段と、
を含む評価装置、であってよい。

【0086】

ここで第１画像は、対象物の第１範囲に対応する画像であってよく、第２画像および第３画像は、第１範囲の一部である第２範囲に対応する画像であってよい。

【0087】

また、第１および第２の色情報は、それぞれ、各画素の色彩の違いを示す指標の情報であってよい。

【0088】

上述した「指標」は、「色情報」と表現される場合がある。

【0089】

上述した「評価」は、識別を含む。

【0090】

上述した実施形態に関し、さらに以下の付記を開示する。
（付記１）
対象物の第１画像を取得することと、
第１方法を用いて、前記第１画像であって１画素あたり１つの指標により表現される第１形式の前記第１画像の一部を、第２画像として抽出することと、
機械学習を用いて取得された第２方法を用いて、前記第２画像であって１画素あたり複数の指標により表現される第２形式の前記第２画像から、特異部の有無を評価することと、
を含む評価方法。
（付記２）
前記第１形式の前記第１画像に基づいて前記第２形式の前記第２画像を生成すること、
を更に含む付記１に記載の評価方法。
（付記３）
前記第２画像の抽出は、前記第１画像から、複数の前記第２画像を抽出し、
前記特異部の有無の評価は、複数の前記第２画像に対して行われる、
付記１又は２に記載の評価方法。
（付記４）
前記第２画像の特異部の有無の評価結果に基づいて、目視による評価を行うか否かを判定すること、
を更に含む付記１乃至３の何れか一項に記載の評価方法。
（付記５）
前記第１方法を用いて、前記第１画像から、前記第２画像を抽出できない場合に、前記対象物の前記第１画像の範囲に前記特異部が無いと判定すること、
を更に含む付記１乃至４の何れか一項に記載の評価方法。
（付記６）
抽出された複数の前記第２画像に前記特異部が無い場合に、前記対象物に前記特異部が無いと評価すること、
を更に含む付記３に記載の評価方法。
（付記７）
前記機械学習は、
特異部を含む第３画像から、前記第３画像よりも小さく、かつ、前記特異部の位置が異なる複数の第４画像を生成することと、
複数の前記第４画像であって前記第２形式で表現された前記第４画像を教師データとして内部パラメータの最適化を行うこと、
を含む付記１乃至６の何れか一項に記載の評価方法。
（付記８）
対象物の第１画像を取得する手段と、
第１方法を用いて、前記第１画像であって１画素あたり１つの指標により表現される第１形式の前記第１画像の一部を、第２画像として抽出する手段と、
機械学習を用いて取得された第２方法を用いて、前記第２画像であって１画素あたり複数の指標により表現される第２形式の前記第２画像から、特異部の有無を評価する手段と、
を含む評価装置。
（付記９）
前記第１形式の前記第１画像に基づいて前記第２形式の前記第２画像を生成する手段、
を更に備える付記８に記載の評価装置。
（付記１０）
前記第２画像を抽出する手段は、前記第１画像から、複数の前記第２画像を抽出するように構成され、
前記特異部の有無を評価する手段は、複数の前記第２画像に対して特異部の有無を評価するように構成される、
付記８又は９に記載の評価装置。
（付記１１）
前記第２画像の特異部の有無の評価結果に基づいて、目視による評価を行うか否かを判定する手段、
を更に備える付記８乃至１０の何れか一項に記載の評価装置。
（付記１２）
前記第１方法を用いて、前記第１画像から、前記第２画像を抽出できない場合に、前記対象物の前記第１画像の範囲に前記特異部が無いと判定する手段、
を更に備える付記８乃至１１の何れか一項に記載の評価装置。
（付記１３）
抽出された複数の前記第２画像に前記特異部が無い場合に、前記対象物に前記特異部が無いと評価する手段、
を更に備える付記１０に記載の評価装置。
（付記１４）
前記機械学習は、
特異部を含む第３画像から、前記第３画像よりも小さく、かつ、前記特異部の位置が異なる複数の第４画像を生成することと、
複数の前記第４画像であって前記第２形式で表現された前記第４画像を教師データとして内部パラメータの最適化を行うこと、
を含む付記８乃至１３の何れか一項に記載の評価装置。

【符号の説明】

【0091】

１０ 評価システム
１２ 撮像部
１４ 特異部検出部
１６ 特異部画像抽出部
１８ 画像データ変換部
２０ 特異部有無評価部
２２ プロセッサ
２４ 記憶部
２８ 表示部
３０ 通信Ｉ／Ｆ部
３２ 入力部
ＡＲ１ 第１範囲
ＡＲ２ 第２範囲
ＡＲ３ 第２範囲
ＡＲ４ 第２範囲

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図4C】

【図4D】

【図5】

【図6A】

【図6B】