特許 7572762 検査装置、検査方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2024-10-16

(45)【発行日】2024-10-24

(54)【発明の名称】検査装置、検査方法及びプログラム

(51)【国際特許分類】

   G01N 21/88 20060101AFI20241017BHJP

【ＦＩ】

G01N21/88 J

【請求項の数】 10

(21)【出願番号】P 2024137697

(22)【出願日】2024-08-19

【審査請求日】2024-08-19

【早期審査対象出願】

(73)【特許権者】

【識別番号】515237795

【氏名又は名称】アキュイティー株式会社

(74)【代理人】

【識別番号】110004222

【氏名又は名称】弁理士法人創光国際特許事務所

(72)【発明者】

【氏名】和田 悟

【審査官】田中 洋介

(56)【参考文献】

【文献】特表２０２３－５３２９９９（ＪＰ，Ａ）

【文献】特開２０００－１６２０８９（ＪＰ，Ａ）

【文献】特開２０１３－１６０５３０（ＪＰ，Ａ）

【文献】国際公開第２０２０／０９０１５４（ＷＯ，Ａ１）

【文献】中国特許出願公開第１１５０９６８９９（ＣＮ，Ａ）

【文献】特開２０２３－０３７８４８（ＪＰ，Ａ）

【文献】特開平０８－３２３９６５（ＪＰ，Ａ）

【文献】特開２０２１－１２８１７１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｎ ２１／８４－２１／９５８

Ｇ０６Ｔ ７／００－７／９０

ＪＳＴＰｌｕｓ（ＪＤｒｅａｍＩＩＩ）

ＪＳＴＣｈｉｎａ（ＪＤｒｅａｍＩＩＩ）

(57)【特許請求の範囲】

【請求項1】

検査対象物を撮影することにより生成されたグレースケール画像データを取得する画像データ取得部と、
複数のグレースケール画素値と複数のカラー画素値との対応関係を示す変換用データに基づいて、前記グレースケール画像データに含まれる複数のグレースケール画素値を複数のカラー画素値に変換することにより、検査用カラー画像データを生成する画像データ生成部と、
学習用カラー画像データを用いて学習した機械学習モデルに前記検査用カラー画像データを入力することにより前記機械学習モデルが出力した判定結果に基づいて、前記検査用カラー画像データに含まれる前記検査対象物の検査結果を出力する検査部と、
を有し、
前記画像データ取得部は、それぞれ露光時間が異なる状態で前記検査対象物を撮影することにより生成された第１グレースケール画像データと、第２グレースケール画像データと、第３グレースケール画像データと、を取得し、
前記画像データ生成部は、前記第１グレースケール画像データに含まれる前記複数のグレースケール画素値を前記検査用カラー画像データのＲチャネルの複数の画素値に変換し、前記第２グレースケール画像データに含まれる前記複数のグレースケール画素値を前記検査用カラー画像データのＧチャネルの複数の画素値に変換し、前記第３グレースケール画像データに含まれる前記複数のグレースケール画素値を前記検査用カラー画像データのＢチャネルの複数の画素値に変換することにより、前記検査用カラー画像データを生成する、
検査装置。

【請求項2】

検査対象物を検査するための検査装置であって、
前記検査対象物を撮影することにより生成されたグレースケール画像データを取得する画像データ取得部と、
複数のグレースケール画素値と複数のカラー画素値との対応関係を示す変換用データに基づいて、前記グレースケール画像データに含まれる複数のグレースケール画素値を複数のカラー画素値に変換することにより、検査用カラー画像データを生成する画像データ生成部と、
学習用カラー画像データを用いて学習した機械学習モデルに前記検査用カラー画像データを入力することにより前記機械学習モデルが出力した判定結果に基づいて、前記検査用カラー画像データに含まれる前記検査対象物の検査結果を出力する検査部と、
前記変換用データの作成に用いられる複数の画素値データを記憶する記憶部と、
前記複数の画素値データから１つの画素値データを選択する操作を受け付ける受付部と、
前記１つの画素値データに基づいて前記変換用データを作成する変換用データ作成部と、
を有し、
前記画像データ生成部は、前記複数の画素値データのうち１以上の画素値データに基づく前記変換用データを用いて、前記検査対象物を撮像することにより生成された設定用グレー画像データに含まれる複数のグレースケール画素値を複数のカラー画素値に変換することにより設定用カラー画像データを生成し、
前記検査装置は、前記設定用カラー画像データを表示部に表示させる表示処理部をさらに有し、
前記受付部は、前記表示処理部が前記設定用カラー画像データを前記表示部に表示させた後に、前記複数の画素値データから前記１つの画素値データを選択する操作を受け付ける、
検査装置。

【請求項3】

前記複数のグレースケール画素値に対応する前記複数のカラー画素値の設定操作を受け付ける受付部と、
前記設定操作が示す前記複数のグレースケール画素値と前記複数のカラー画素値との関係に基づいて前記変換用データを作成する変換用データ作成部をさらに有する、
請求項１に記載の検査装置。

【請求項4】

検査対象の種別に関連付けて、前記変換用データの作成に用いられる複数の画素値データを記憶する記憶部と、
検査対象の種別を受け付ける受付部と、
前記受付部が受け付けた前記種別に関連付けて前記記憶部に記憶された前記画素値データを選択することにより前記変換用データを作成する変換用データ作成部と、
をさらに有する、
請求項１に記載の検査装置。

【請求項5】

異常領域を有する前記検査対象物を撮影することにより生成された前記グレースケール画像データにおける検査対象領域と、前記検査対象領域に含まれる前記異常領域と、の指定を受け付ける受付部をさらに有し、
前記画像データ生成部は、前記変換用データに基づいて、前記検査対象領域に対応する第１カラースケール画素値と、前記異常領域に対応する第２カラースケール画素値との色差が閾値以上になるように、前記複数のグレースケール画素値を前記複数のカラー画素値に変換することにより、前記検査用カラー画像データを生成する、
請求項１に記載の検査装置。

【請求項6】

前記学習用カラー画像データは、学習用のグレースケール画像データに含まれる複数のグレースケール画素値を前記変換用データに基づいて複数のカラー画素値に変換することにより作成されたデータである、
請求項１に記載の検査装置。

【請求項7】

コンピュータが実行する、
それぞれ露光時間が異なる状態で検査対象物を撮影することにより生成された第１グレースケール画像データと、第２グレースケール画像データと、第３グレースケール画像データと、を取得するステップと、
検査用カラー画像データを生成するステップであって、複数のグレースケール画素値と複数のカラー画素値との対応関係を示す変換用データに基づいて、前記第１グレースケール画像データに含まれる前記複数のグレースケール画素値を前記検査用カラー画像データのＲチャネルの複数の画素値に変換し、前記第２グレースケール画像データに含まれる前記複数のグレースケール画素値を前記検査用カラー画像データのＧチャネルの複数の画素値に変換し、前記第３グレースケール画像データに含まれる前記複数のグレースケール画素値を前記検査用カラー画像データのＢチャネルの複数の画素値に変換することにより、前記検査用カラー画像データを生成するステップと、
学習用カラー画像データを用いて学習した機械学習モデルに前記検査用カラー画像データを入力することにより前記機械学習モデルが出力した判定結果に基づいて、前記検査用カラー画像データに含まれる前記検査対象物の検査結果を出力するステップと、
を有する検査方法。

【請求項8】

コンピュータが実行する、
検査対象物を撮影することにより生成されたグレースケール画像データを取得するステップと、
記憶部に記憶された複数の画素値データから１つの画素値データを選択する第１操作を受け付けるステップと、
前記第１操作により選択された前記１つの画素値データに基づいて、複数のグレースケール画素値と複数のカラー画素値との対応関係を示す第１変換用データを作成するステップと、
前記第１変換用データを用いて、前記検査対象物を撮像することにより生成された設定用グレー画像データに含まれる複数のグレースケール画素値を複数のカラー画素値に変換することにより設定用カラー画像データを生成するステップと、
前記設定用カラー画像データを表示部に表示させるステップと、
前記設定用カラー画像データを前記表示部に表示させた後に、前記複数の画素値データから前記１つの画素値データを選択する第２操作を受け付けるステップと、
前記第２操作により選択された前記１つの画素値データに基づいて、複数のグレースケール画素値と複数のカラー画素値との対応関係を示す第２変換用データを作成するステップと、
前記第２変換用データに基づいて、前記グレースケール画像データに含まれる複数のグレースケール画素値を複数のカラー画素値に変換することにより、検査用カラー画像データを生成するステップと、
学習用カラー画像データを用いて学習した機械学習モデルに前記検査用カラー画像データを入力することにより前記機械学習モデルが出力した判定結果に基づいて、前記検査用カラー画像データに含まれる前記検査対象物の検査結果を出力するステップと、
を有する検査方法。

【請求項9】

コンピュータに、
それぞれ露光時間が異なる状態で検査対象物を撮影することにより生成された第１グレースケール画像データと、第２グレースケール画像データと、第３グレースケール画像データと、を取得するステップと、
検査用カラー画像データを生成するステップであって、複数のグレースケール画素値と複数のカラー画素値との対応関係を示す変換用データに基づいて、前記第１グレースケール画像データに含まれる前記複数のグレースケール画素値を前記検査用カラー画像データのＲチャネルの複数の画素値に変換し、前記第２グレースケール画像データに含まれる前記複数のグレースケール画素値を前記検査用カラー画像データのＧチャネルの複数の画素値に変換し、前記第３グレースケール画像データに含まれる前記複数のグレースケール画素値を前記検査用カラー画像データのＢチャネルの複数の画素値に変換することにより、前記検査用カラー画像データを生成するステップと、
学習用カラー画像データを用いて学習した機械学習モデルに前記検査用カラー画像データを入力することにより前記機械学習モデルが出力した判定結果に基づいて、前記検査用カラー画像データに含まれる前記検査対象物の検査結果を出力するステップと、
を実行させるためのプログラム。

【請求項10】

コンピュータに、
検査対象物を撮影することにより生成されたグレースケール画像データを取得するステップと、
記憶部に記憶された複数の画素値データから１つの画素値データを選択する第１操作を受け付けるステップと、
前記第１操作により選択された前記１つの画素値データに基づいて、複数のグレースケール画素値と複数のカラー画素値との対応関係を示す第１変換用データを作成するステップと、
前記第１変換用データを用いて、前記検査対象物を撮像することにより生成された設定用グレー画像データに含まれる複数のグレースケール画素値を複数のカラー画素値に変換することにより設定用カラー画像データを生成するステップと、
前記設定用カラー画像データを表示部に表示させるステップと、
前記設定用カラー画像データを前記表示部に表示させた後に、前記複数の画素値データから前記１つの画素値データを選択する第２操作を受け付けるステップと、
前記第２操作により選択された前記１つの画素値データに基づいて、複数のグレースケール画素値と複数のカラー画素値との対応関係を示す第２変換用データを作成するステップと、
前記第２変換用データに基づいて、前記グレースケール画像データに含まれる複数のグレースケール画素値を複数のカラー画素値に変換することにより、検査用カラー画像データを生成するステップと、
学習用カラー画像データを用いて学習した機械学習モデルに前記検査用カラー画像データを入力することにより前記機械学習モデルが出力した判定結果に基づいて、前記検査用カラー画像データに含まれる前記検査対象物の検査結果を出力するステップと、
を実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、検査装置、検査方法及びプログラムに関する。

【背景技術】

【0002】

従来、Ｘ線撮像装置によって生成されたグレースケール画像を用いて検査対象物を検査する検査装置が知られている（例えば、特許文献１を参照）。また、検査対象物の画像を機械学習モデルに入力することにより検査対象物を検査するシステムも知られている（例えば、特許文献２を参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０２３－１０３３５１号公報

【文献】特開２０２４－６７３６０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

検査対象の種別によっては、モノクロセンサにより生成されたグレースケール画像のコントラストの方がカラー画像のコントラストよりも大きく、検査に適しているという場合がある。しかしながら、モノクロセンサにより生成されたグレースケール画像は、同等の解像度のカラー画像よりもデータ量が少ないため、カラー画像に基づく検査ができる機械学習モデルにモノクロセンサにより生成されたグレースケール画像を入力した場合、カラー画像を入力する場合よりも検査の精度が低下する場合があるという問題が生じていた。

【0005】

そこで、本発明はこれらの点に鑑みてなされたものであり、グレースケール画像を用いた検査の精度を向上させることを目的とする。

【課題を解決するための手段】

【0006】

本発明の第１の態様の検査装置は、検査対象物を撮影することにより生成されたグレースケール画像データを取得する画像データ取得部と、複数のグレースケール画素値と複数のカラー画素値との対応関係を示す変換用データに基づいて、前記グレースケール画像データに含まれる複数のグレースケール画素値を複数のカラー画素値に変換することにより、検査用カラー画像データを生成する画像データ生成部と、学習用カラー画像データを用いて学習した機械学習モデルに前記検査用カラー画像データを入力することにより前記機械学習モデルが出力した判定結果に基づいて、前記検査用カラー画像データに含まれる前記検査対象物の検査結果を出力する検査部と、を有する。

【0007】

前記画像データ取得部は、それぞれ露光時間が異なる状態で前記検査対象物を撮影することにより生成された複数の暫定グレースケール画像データが統合された前記グレースケール画像データを取得してもよい。

【0008】

前記画像データ取得部は、それぞれ露光時間が異なる状態で前記検査対象物を撮影することにより生成された第１グレースケール画像データと、第２グレースケール画像データと、第３グレースケール画像データと、を取得し、前記画像データ生成部は、前記第１グレースケール画像データに含まれる前記複数のグレースケール画素値を前記検査用カラー画像データのＲチャネルの複数の画素値に変換し、前記第２グレースケール画像データに含まれる前記複数のグレースケール画素値を前記検査用カラー画像データのＧチャネルの複数の画素値に変換し、前記第３グレースケール画像データに含まれる前記複数のグレースケール画素値を前記検査用カラー画像データのＢチャネルの複数の画素値に変換することにより、前記検査用カラー画像データを生成してもよい。

【0009】

前記検査装置は、前記複数のグレースケール画素値に対応する前記複数のカラー画素値の設定操作を受け付ける受付部と、前記設定操作が示す前記複数のグレースケール画素値と前記複数のカラー画素値との関係に基づいて前記変換用データを作成する変換用データ作成部をさらに有してもよい。

【0010】

前記変換用データの作成に用いられる複数の画素値データを記憶する記憶部と、前記複数の画素値データから１つの画素値データを選択する操作を受け付ける受付部と、前記１つの画素値データに基づいて前記変換用データを作成する変換用データ作成部と、をさらに有してもよい。

【0011】

前記画像データ生成部は、前記複数の画素値データのうち１以上の画素値データに基づく前記変換用データを用いて、前記検査対象物を撮像することにより生成された設定用グレー画像データに含まれる複数のグレースケール画素値を複数のカラー画素値に変換することにより設定用カラー画像データを生成し、前記検査装置は、前記設定用カラー画像データを表示部に表示させる表示処理部をさらに有し、前記受付部は、前記表示処理部が前記設定用カラー画像データを前記表示部に表示させた後に、前記複数の画素値データから前記１つの画素値データを選択する操作を受け付けてもよい。

【0012】

前記検査装置は、検査対象の種別に関連付けて、前記変換用データの作成に用いられる複数の画素値データを記憶する記憶部と、検査対象の種別を受け付ける受付部と、前記受付部が受け付けた前記種別に関連付けて前記記憶部に記憶された前記画素値データを選択することにより前記変換用データを作成する変換用データ作成部と、をさらに有してもよい。

【0013】

前記検査装置は、異常領域を有する前記検査対象物を撮影することにより生成された前記グレースケール画像データにおける検査対象領域と、前記検査対象領域に含まれる前記異常領域と、の指定を受け付ける受付部をさらに有し、前記画像データ生成部は、前記変換用データに基づいて、前記検査対象領域に対応する第１カラースケール画素値と、前記異常領域に対応する第２カラースケール画素値との色差が閾値以上になるように、前記複数のグレースケール画素値を前記複数のカラー画素値に変換することにより、前記検査用カラー画像データを生成してもよい。

【0014】

前記学習用カラー画像データは、例えば、学習用のグレースケール画像データに含まれる複数のグレースケール画素値を前記変換用データに基づいて複数のカラー画素値に変換することにより作成されたデータである。

【0015】

本発明の第２の態様の検査方法は、コンピュータが実行する、検査対象物を撮影することにより生成されたグレースケール画像データを取得するステップと、複数のグレースケール画素値と複数のカラー画素値との対応関係を示す変換用データに基づいて、前記グレースケール画像データに含まれる複数のグレースケール画素値を複数のカラー画素値に変換することにより、検査用カラー画像データを生成するステップと、学習用カラー画像データを用いて学習した機械学習モデルに前記検査用カラー画像データを入力することにより前記機械学習モデルが出力した判定結果に基づいて、前記検査用カラー画像データに含まれる前記検査対象物の検査結果を出力するステップと、を有する。

【0016】

本発明の第３の態様のプログラムは、コンピュータに、検査対象物を撮影することにより生成されたグレースケール画像データを取得するステップと、複数のグレースケール画素値と複数のカラー画素値との対応関係を示す変換用データに基づいて、前記グレースケール画像データに含まれる複数のグレースケール画素値を複数のカラー画素値に変換することにより、検査用カラー画像データを生成するステップと、学習用カラー画像データを用いて学習した機械学習モデルに前記検査用カラー画像データを入力することにより前記機械学習モデルが出力した判定結果に基づいて、前記検査用カラー画像データに含まれる前記検査対象物の検査結果を出力するステップと、を実行させるためのプログラムである。

【発明の効果】

【0017】

本発明によれば、グレースケール画像を用いた検査の精度を向上させることができるという効果を奏する。

【図面の簡単な説明】

【0018】

【図1】検査システムＳの概要を説明するための図である。

【図2】検査装置１の処理の概要を説明するための図である。

【図3】検査装置１の構成を示す図である。

【図4】グレースケール画素値とカラー画素値との関係の概要を示す図である。

【図5】グレースケール画像データとグレースケール画素値との関係を示す図である。

【図6】グレースケール画素値が変換されたカラー画素値の例を示す図である。

【図7】カラー画素値を設定するための操作画面の一例を示す図である。

【図8】検査装置１における処理の流れを示すフローチャートである。

【図9】変換用データを作成する処理の流れを示すフローチャートである。

【図10】複数のグレースケール画像データに基づいて１つの検査用カラー画像データを生成する方法を説明するための図である。

【発明を実施するための形態】

【0019】

［検査システムＳの概要］
図１は、検査システムＳの概要を説明するための図である。検査システムＳは、検査対象物Ｗを検査するためのシステムであり、検査装置１と撮像装置２とを有する。図１においては、ベルトコンベアーＣに載置された状態で移動する複数の検査対象物Ｗが示されているが、人が検査対象物Ｗを検査位置に設置してもよい。

【0020】

撮像装置２は、検査対象物Ｗを撮影することによりグレースケール画像データを生成するモノクロセンサを有するカメラ、ラインスキャナ、ラインセンサー又はエリアセンサーである。撮像装置２は、検査対象物Ｗの外観を示すグレースケール画像データを生成するカメラであってもよく、検査対象物Ｗの内部の状態を示すグレースケール画像データを生成するカメラ（例えばＸ線カメラ、可視光カメラ又は赤外線カメラ）であってもよい。撮像装置２は、生成したグレースケール画像データを検査装置１に送信する。

【0021】

検査装置１は、撮像装置２から受信したグレースケール画像データを解析することにより検査対象物Ｗに異常があるか否かを検査する装置であり、例えばコンピュータを含む。グレースケール画像データは、カラー画像データに比べてコントラスト又はエッジが強く表されることが多いので、検査対象物Ｗが有する汚れ、傷又は凹み等の異常箇所の検知において有利だとされている。しかしながら、画像データを解析するために用いられる機械学習モデルはカラー画像データを解析できるように構成されているにもかかわらず、グレースケール画像データのデータ量はカラー画像データのデータ量よりも少ないため、グレースケール画像データを機械学習モデルに入力する場合、機械学習モデルの性能を十分に活用できない。

【0022】

具体的には、グレースケール画像データの画素値（すなわち輝度値）は一般的に８ビットで表されるところ、カラー画像データの画素値は一般的にＲ（赤色）８ビット、Ｇ（緑色）８ビット、Ｂ（青色）８ビットの合計２４ビットで表される。したがって、グレースケール画像データを機械学習モデルに入力する場合は、２４ビットのうち１６ビット分のデータが活用されないと考えられる。

【0023】

そこで、検査装置１は、所定のルールに基づいて、グレースケール画像データを検査用カラー画像データに変換し、検査用カラー画像データを機械学習モデルに入力することにより検査対象物Ｗを検査する。これにより、コントラスト又はエッジが強く表されるというグレースケール画像データの利点を生かしつつ、機械学習モデルの性能を最大限に活用することができるので、検査の精度を向上させることができる。

【0024】

図２は、検査装置１の処理の概要を説明するための図である。図２（ａ）は、グレースケール画像データの一例の模式図である。図２（ａ）における網点の領域は検査対象物Ｗの表面が正常な領域を示しており、斜線部分は検査対象物Ｗの表面に汚れが付着した領域を示している。検査対象物Ｗにおける正常な領域の色と汚れの色との色差が小さい場合、グレースケール画像データに基づいて汚れの検出をできないということが想定される。そこで、検査装置１は、正常な領域の色と異常な領域の色との色差ができるだけ大きくなるように、グレースケール画像データを検査用カラー画像データに変換する。

【0025】

図２（ｂ）は、図２（ａ）に示すグレースケール画像データが変換されることにより生成された検査用カラー画像データの模式図である。図２（ｂ）における白色の領域は例えば黄色であり、図２（ｂ）における黒色の領域は、黄色との色差が比較的大きい青色である。すなわち、図２（ａ）における網点の領域は黄色に変換され、斜線の領域は青色に変換されている。このようなカラー画像データが機械学習モデルに入力されることで、検査の精度が向上する。

【0026】

なお、色差は、例えばＬａｂ色空間の色差図における距離により表される。複数の色の明度差が大きいほど色差が大きくなり、彩度差が大きいほど色差が大きくなる。
以下、検査装置１の構成及び動作を詳細に説明する。

【0027】

［検査装置１の構成］
図３は、検査装置１の構成を示す図である。検査装置１は、第１通信部１０と、第２通信部１１と、操作部１２と、表示部１３と、記憶部１４と、制御部１５と、を有する。制御部１５は、画像データ取得部１５１と、画像データ生成部１５２と、検査部１５３と、受付部１５４と、表示処理部１５５と、変換用データ作成部１５６と、を有する。

【0028】

第１通信部１０は、撮像装置２からグレースケール画像データを受信するための通信インターフェースを有する。第１通信部１０は、例えばＵＳＢ（Universal Serial Bus）であるが、他の通信インターフェースを有してもよい。第２通信部１１は、検査対象物Ｗに異常があるか否かが検査された結果を外部の装置に送信するための通信インターフェースを有する。第２通信部１１は、例えばＬＡＮコントローラであるが、他の通信インターフェースを有してもよい。

【0029】

操作部１２は、ユーザの操作を受け付けるためのデバイスであり、例えばキーボード、マウス、又はタッチパネルである。
表示部１３は、情報を表示するためのデバイスであり、例えばディスプレイである。

【0030】

記憶部１４は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）及びＳＳＤ（Solid State Drive）等の記憶媒体を有する。記憶部１４は、制御部１５が実行するプログラムを記憶する。記憶部１４は、撮像装置２が生成したグレースケール画像データを一時的に記憶する。また、記憶部１４は、グレースケール画像データをカラー画像データに変換するために使用される変換用データを記憶する。記憶部１４は、制御部１５が実行するプログラムとして、検査用カラー画像データに基づいて検査対象物Ｗを検査するための機械学習モデルのプログラムを記憶してもよい。

【0031】

図４から図６は、変換用データについて説明するための図である。図４は、グレースケール画像データの画素値（以下、「グレースケール画素値」という場合がある）とカラー画像データの画素値（以下、「カラー画素値」という場合がある）との関係の概要を示す図である。変換用データは、グレースケール画素値の８ビットの値のそれぞれを、カラー画素値の２４ビットの値のどの値に変換するかを規定するデータである。図４に示されるように、グレースケール画像画素値の０から２５５（２^８）までの値のそれぞれは、カラー画素値の０から２^２４までの値のいずれかに変換される。

【0032】

図５は、グレースケール画像データとグレースケール画素値との関係を示す図である。図５（ａ）は、図２（ａ）に示した検査対象物Ｗのグレースケール画像データであり、検査対象物Ｗの正常な領域Ａと、汚れが付着した領域Ｂとが示されている。図５（ｂ）は、領域Ａの画素値が６０であり、領域Ｂの画素値が５０であることを示している。

【0033】

図６は、図５（ｂ）に示したグレースケール画素値が変換されたカラー画素値の例を示す図である。図６（ａ）は、図５（ｂ）におけるグレースケール画素値６０が変換されたカラー画素値であり、Ｒ２５５：Ｇ２５５：Ｂ０の黄色に対応する。図６（ｂ）は、図５（ｂ）におけるグレースケール画素値５０が変換されたカラー画素値であり、Ｒ０：Ｇ０：Ｂ２５５の青色に対応する。

【0034】

この場合、変換用データにおいては、グレースケール画素値６０と、カラー画素値Ｒ２５５：Ｇ２５５：Ｂ０とが関連付けられている。また、グレースケール画素値５０と、カラー画素値Ｒ０：Ｇ０：Ｂ２５５とが関連付けられている。このように変換用データが構成されていることにより、検査装置１は、機械学習モデルを用いて検査対象物Ｗにおける異常を検出しやすい検査用カラー画像データを生成することができる。

【0035】

図３に戻って、制御部１５の構成を説明する。制御部１５は、例えばＣＰＵ（Central Processing Unit）又はＧＰＵ（Graphic Processing Unit）を有する。制御部１５は、記憶部１４に記憶されたプログラムを実行することにより、画像データ取得部１５１、画像データ生成部１５２、検査部１５３、受付部１５４、表示処理部１５５及び変換用データ作成部１５６として機能する。

【0036】

画像データ取得部１５１は、検査対象物Ｗを撮影することにより生成されたグレースケール画像データを取得する。画像データ取得部１５１は、例えば撮像装置２からグレースケール画像データを取得するが、他の装置を介してグレースケール画像データを取得してもよい。画像データ取得部１５１は、取得したグレースケール画像データを画像データ生成部１５２に入力する。

【0037】

画像データ生成部１５２は、複数のグレースケール画素値と複数のカラー画素値との対応関係を示す変換用データに基づいて、グレースケール画像データに含まれる複数のグレースケール画素値を複数のカラー画素値に変換することにより、検査用カラー画像データを生成する。画像データ生成部１５２は、記憶部１４に記憶された変換用データを読み出して、変換用データにおいて、グレースケール画像データに含まれる複数のグレースケール画素値それぞれに対応するカラー画素値を特定する。画像データ生成部１５２は、グレースケール画像データにおける複数の画素それぞれのグレースケール画素値を、特定したカラー画素値に変換することにより、検査用カラー画像データを生成する。

【0038】

検査部１５３は、画像データ生成部１５２が生成した検査用カラー画像データを解析することにより、検査対象物Ｗに異常があるか否かを検査する。具体的には、検査部１５３は、学習用カラー画像データを用いて学習した機械学習モデルに検査用カラー画像データを入力することにより機械学習モデルが出力した判定結果に基づいて、検査用カラー画像データに含まれる検査対象物の検査結果を出力する。

【0039】

機械学習モデルが出力する判定結果は、例えば、検査用カラー画像データに含まれる複数の画素それぞれに関連付けて、異常がある確率を示す数値マップである。検査部１５３は、例えば、機械学習モデルが出力する数値マップを出力する。検査部１５３は、数値マップにおける数値（すなわち異常確率）が閾値以上である画素の位置を示す検査結果を出力してもよい。検査部１５３は、判定結果が示す確率が閾値以上である画素が所定数以上連続している領域を示す検査結果を出力してもよい。検査部１５３は、数値マップにおける数値が閾値以上である画素が所定数以上あることを条件として、検査対象物Ｗに異常があるという検査結果を出力してもよい。

【0040】

検査部１５３は、例えば第２通信部１１を介して、検査対象物Ｗが正常であるか異常であるかを示す検査結果を外部の装置に出力する。検査部１５３は、表示処理部１５５を介して、検査結果を表示部１３に表示させてもよい。

【0041】

機械学習モデルは、例えば記憶部１４に記憶されているが、検査装置１と異なる装置に記憶されていてもよい。機械学習モデルの学習に用いられる学習用カラー画像データは、学習用のグレースケール画像データに含まれる複数のグレースケール画素値を変換用データに基づいて複数のカラー画素値に変換することにより作成されたデータである。学習用のグレースケール画像データは、検査対象の異常が生じている検査対象物Ｗを撮影することにより生成されたグレースケール画像データである。学習用のグレースケール画像データは、正常な検査対象物Ｗを撮影することにより生成されたグレースケール画像データであってもよい。

【0042】

学習用グレースケール画像データは、検査対象の種別（例えば、物体検知（Object Detection）、画像全体からの分類（Classification）、ピクセル単位の領域検出（Segmentation））に関連付けられていてもよい。この場合、検査対象の種別ごとに異なる機械学習モデルが作成され、検査部１５３は、検査対象の種別に対応する機械学習モデルに検査用カラー画像データを入力することにより検査対象物Ｗを検査する。

【0043】

受付部１５４は、操作部１２を介して、検査装置１を使用するユーザによる各種の操作を受け付ける。受付部１５４は、例えば、変換用データを作成するための操作、又は検査対象の種別を指定するための操作を受け付ける。

【0044】

表示処理部１５５は、各種の情報を表示部１３に表示させる。表示処理部１５５は、例えば、変換用データを設定するための画面を表示部１３に表示させる。

【0045】

変換用データ作成部１５６は、変換用データを作成する。変換用データ作成部１５６は、例えば、検査装置１のユーザにより行われた設定操作が示す内容に基づいて変換用データを作成する。以下、変換用データを作成する方法の複数の例を説明する。

【0046】

［変換用データの作成方法１］
受付部１５４は、変換用データ作成部１５６が変換用データを作成できるようにするために、例えば複数のグレースケール画素値に対応する複数のカラー画素値を設定するための操作を受け付ける。複数のグレースケール画素値に対応する複数のカラー画素値を設定するための操作の具体的な方法は任意である。一例として、受付部１５４は、表示処理部１５５を介して、複数のグレースケール画素値０～２５５に対応するカラー画素値を入力するための画面を表示部１３に表示させ、複数のカラー画素値の入力をユーザから受け付ける。

【0047】

変換用データ作成部１５６は、受付部１５４が受け付けた設定操作が示す複数のグレースケール画素値と複数のカラー画素値との関係に基づいて変換用データを作成する。変換用データ作成部１５６は、複数のグレースケール画素値と複数のカラー画素値との関係を示す変換用データを作成し、作成した変換用データを記憶部１４に記憶させる。

【0048】

［変換用データの作成方法２］
多数のカラー画素値をユーザが入力するには長時間を要する。そこで、変換用データの作成に用いられる複数の画素値データが記憶部１４に記憶されており、変換用データ作成部１５６は、ユーザにより複数の画素値データから選択された１つの画素値データに基づいて変換用データを作成してもよい。この場合、受付部１５４は、例えば複数のグレースケール画素値０～２５５に対応するカラー画素値を示す複数の画素値データを表示部１３に表示させ、複数の画素値データから１つの画素値データを選択する操作を受け付ける。変換用データ作成部１５６は、選択された１つの画素値データに基づいて変換用データを作成する。

【0049】

ユーザが１つの画素値データを選択しやすくするために、表示処理部１５５は、複数の画素値データのうち、ユーザにより選択された画素値データに基づく変換用データを用いて画像データ生成部１５２が作成した設定用カラー画像データを表示部１３に表示させてもよい。画像データ生成部１５２は、例えば、検査対象物を撮像することにより生成された設定用グレー画像データに含まれる複数のグレースケール画素値を複数のカラー画素値に変換することにより設定用カラー画像データを作成する。表示処理部１５５は、複数の設定用カラー画像データを同時に表示部１３に表示させてもよく、ユーザの操作に応じて表示させる設定用カラー画像データを切り替えてもよい。

【0050】

受付部１５４は、表示処理部１５５が設定用カラー画像データを表示部１３に表示させた後に、複数の画素値データから１つの画素値データを選択する操作を受け付ける。受付部１５４は、複数の設定用カラー画像データから１つの設定用カラー画像データを選択する操作を、選択された設定用カラー画像データに対応する１つの画素値データを選択する操作として受け付けてもよい。

【0051】

図７は、カラー画素値を設定するための操作画面の一例を示す図である。図７に示す操作画面には、領域Ｒ１、領域Ｒ２及び領域Ｒ３が含まれている。

【0052】

領域Ｒ１は、検査対象物Ｗが写ったグレースケール画像が表示される領域である。領域Ｒ１には、例えば変換用データを作成するための操作を行ったユーザにより指定された、異常箇所が含まれるグレースケール画像が表示される。図７の領域Ｒ１には１つのグレースケール画像が表示されているが、領域Ｒ１には複数のグレースケール画像が表示されてもよい。

【0053】

領域Ｒ２は、画素値データを選択するための領域である。領域Ｒ２には、グレースケール画素値を示すグレースケールマップＧＳと、複数の画素値データであるカラーマップＣＭ（ＣＭ１、ＣＭ２、ＣＭ３、・・・）とが表示されている。グレースケールマップＧＳには、領域Ｒ１に表示されているグレースケール画像に含まれているグレースケール画素値が示されている。

【0054】

複数のカラーマップＣＭは、グレースケール画素値に対応するカラー画素値がそれぞれ異なっている。複数のカラーマップＣＭの右側には、いずれかのカラーマップＣＭを選択するためのボックスが表示されている。カラーマップＣＭにおけるカラー画素値は、グレースケールマップＧＳにおける水平方向の位置が同じ位置のグレースケール画素値に対応している。変換用データ作成部１５６は、ユーザにより選択されたカラーマップＣＭにおけるカラー画素値と、水平方向の位置が同じ位置のグレースケール画素値と、が関連付けられた変換用データを作成する。

【0055】

領域Ｒ３は、ユーザが選択したカラーマップＣＭに基づく変換用データを用いて、領域Ｒ１に表示されたグレースケール画像データが変換されることにより生成されたカラー画像データに基づくカラー画像が表示される領域である。ユーザは、領域Ｒ３に表示されるカラー画像を確認することにより、選択したカラーマップＣＭが適切であるか否かを判断することができる。選択したカラーマップＣＭが適切であるとユーザが判断した場合には、ユーザが「決定」を押すことにより、変換用データ作成部１５６が、選択されたカラーマップＣＭに基づく変換用データを作成する。選択したカラーマップＣＭが適切でないとユーザが判断した場合、ユーザは、他のカラーマップＣＭを選択して、選択されたカラーマップＣＭに基づくカラー画像を確認することができる。

【0056】

［変換用データの作成方法３］
検査対象物Ｗの種別又は検査の内容の種別等の検査対象の種別によって、機械学習モデルが異常を検出しやすい色が異なることが想定される。そこで、記憶部１４は、検査対象の種別に関連付けて、変換用データの作成に用いられる複数の画素値データを記憶し、受付部１５４は、検査対象の種別を受け付けてもよい。この場合、変換用データ作成部１５６は、受付部１５４が受け付けた種別に関連付けて記憶部１４に記憶された画素値データを選択することにより変換用データを作成する。

【0057】

検査対象の種別は、検査対象物Ｗの名称若しくは型名、検査対象物Ｗの形状、検査の内容、又はこれらの組み合わせにより特定される。検査の内容は、例えば表面の傷の検査、外形の検査、又は色の検査である。

【0058】

表示処理部１５５は、受付部１５４が検査対象の種別を受け付けたことに応じて、図７に示す画面を表示部１３に表示させてもよい。この場合、表示処理部１５５は、画素値データ選択画面（領域Ｒ２）に、検査対象の種別に関連付けられた１以上の画素値データである１以上のカラーマップＣＭを表示する。このように、検査対象の種別によって異なる画素値データを選択できるようにすることで、画像データ生成部１５２が検査対象の種別に適した検査用カラー画像データを生成できるので、検査の精度が向上する。

【0059】

［変換用データの作成方法４］
ユーザによる設定操作をできるだけ少なくするために、画像データ生成部１５２は、ユーザによる画素値の入力操作又は画素値データ（カラーマップ）の選択操作によることなく、変換用データを作成してもよい。画像データ生成部１５２は、例えば、グレースケール画像に含まれる正常な領域と異常な領域との色差ができるだけ大きくなるようにするための変換用データを作成する。

【0060】

このようにするために、受付部１５４は、異常領域を有する検査対象物Ｗを撮影することにより生成されたグレースケール画像データにおける検査対象領域と、当該検査対象領域に含まれる異常領域と、の指定を受け付ける。受付部１５４は、例えば、図７の領域Ｒ１に示したような設定用グレースケール画像を表示部１３に表示するよう表示処理部１５５に指示し、表示された設定用グレースケール画像において検査対象領域Ａと異常領域Ｂとを指定するための操作を受け付ける。

【0061】

変換用データ作成部１５６は、検査対象領域のグレースケール画素値に対応する第１カラースケール画素値と、異常領域のグレースケール画素値に対応する第２カラースケール画素値との色差が閾値以上になるような変換用データを作成する。一例として、図７に示した設定用グレースケール画像における検査対象領域Ａのカラー画素値が黄色になり、異常領域Ｂのカラー画素値が青色になるような変換用データを作成する。

【0062】

画像データ生成部１５２は、作成された変換用データに基づいて、検査対象領域に対応する第１カラースケール画素値と、異常領域に対応する第２カラースケール画素値との色差が閾値以上になるように、複数のグレースケール画素値を複数のカラー画素値に変換することにより、検査用カラー画像データを生成する。画像データ生成部１５２がこのような検査用カラー画像データを生成することにより、グレースケール画像データに含まれる正常な領域と異常な領域とに対応する検査用カラー画像データの色差が閾値よりも大きくなるので、検査の精度が向上する。

【0063】

［検査装置１における処理の流れ］
図８は、検査装置１における処理の流れを示すフローチャートである。図８に示すフローチャートは、検査対象物Ｗの検査をする指示を検査装置１が受けた時点から開始している。

【0064】

まず、画像データ取得部１５１は撮像装置２からグレースケール画像データを取得する（Ｓ１）。画像データ生成部１５２は、変換用データに基づいてグレースケール画像データを検査用カラー画像データに変換する（Ｓ２）。検査部１５３は、検査用カラー画像データを機械学習モデルに入力し（Ｓ３）、機械学習モデルから判定結果を取得する。検査部１５３は、取得した判定結果を出力する（Ｓ４）。

【0065】

図９は、変換用データを作成する処理の流れを示すフローチャートである。まず、画像データ取得部１５１は、設定用グレースケール画像データを取得する（Ｓ２１）。設定用グレースケール画像データは、例えば異常箇所がある検査対象物Ｗを撮影することにより生成されたグレースケール画像データである。

【0066】

表示処理部１５５は、例えば図７に示したような態様で設定用グレースケール画像を表示させる（Ｓ２２）。この状態で、受付部１５４はグレースケール画像データにおける異常領域（例えば図７における領域Ｂ）の設定を受け付ける（Ｓ２３）。

【0067】

続いて、変換用データ作成部１５６は、設定された異常領域のカラー画素値と、他の領域のカラー画素値との色差ができるだけ大きくなるような暫定変換用データを作成する（Ｓ２４）。画像データ生成部１５２は、暫定変換用データを用いて設定用グレースケール画像データをカラー画像データに変換し（Ｓ２５）、表示処理部１５５はカラー画像データを表示部１３に表示させる（Ｓ２６）。

【0068】

表示されたカラー画像データに対応する暫定変換用データを使用することを示す操作を受付部１５４が受け付けた場合（Ｓ２７においてＹＥＳ）、変換用データ作成部１５６は、暫定変換用データを変換用データに決定し（Ｓ２８）、決定した変換用データを記憶部１４に記憶させる。表示されたカラー画像データに対応する暫定変換用データを使用しないことを示す操作を受付部１５４が受け付けた場合（Ｓ２７においてＮＯ）、Ｓ２４に戻って変換用データ作成部１５６は他の暫定変換用データを作成し、検査装置１はＳ２４からＳ２７までの処理を繰り返す。

【0069】

［複数のグレースケール画像を利用する例］
以上の説明においては、検査装置１が１つのグレースケール画像データを用いて検査対象物Ｗを検査する例を説明したが、検査装置１は、複数のグレースケール画像データを用いて検査対象物Ｗを検査してもよい。複数のグレースケール画像データは、１つの検査対象物Ｗが複数回にわたって撮影されることにより生成されたグレースケール画像データ、又は複数の撮像装置２によって検査対象物Ｗが撮影されることにより生成されたグレースケール画像データである。

【0070】

この場合、画像データ生成部１５２は、例えば、複数のグレースケール画像データに基づいて複数の検査用カラー画像データを生成し、検査部１５３は、複数の検査用カラー画像データを順次機械学習モデルに入力することにより検査対象物Ｗを検査する。検査部１５３は、複数の検査用カラー画像データのうち１以上のカラー画像データに異常がある場合に、検査対象物Ｗに異常があると判定する。このように複数のグレースケール画像データを用いて検査装置１が検査対象物Ｗを検査することで、検査の精度が向上する。

【0071】

検査対象物Ｗに凹凸がある場合、特定の露光時間で撮影するだけでは明瞭に写らない領域が生じ得る。そこで、撮像装置２は、それぞれ異なる露光時間で検査対象物Ｗを撮影することにより複数のグレースケール画像データを生成し、検査装置１は、このようにして生成された複数のグレースケール画像データを用いて検査対象物Ｗを検査してもよい。

【0072】

ところで、画像データ生成部１５２が複数のグレースケール画像データに基づいて複数の検査用カラー画像データを生成し、検査部１５３が複数の検査用カラー画像データのそれぞれを機械学習モデルに入力すると、検査の時間が長くなってしまう。そこで、画像データ生成部１５２は、複数のグレースケール画像データに基づいて１つの検査用カラー画像データを生成してもよい。

【0073】

一例として、画像データ取得部１５１は、それぞれ露光時間が異なる状態で検査対象物Ｗを撮影することにより生成された複数の暫定グレースケール画像データが統合されたグレースケール画像データを取得する。画像データ取得部１５１は、取得した複数の暫定グレースケール画像データを統合して、１つのグレースケール画像データを生成してもよい。このグレースケール画像データは、検査対象物Ｗにおける複数の領域のそれぞれに対して、グレースケール画素値が黒色と白色との間の所定の範囲内になっている暫定グレースケール画像データを選択し、選択した暫定グレースケール画像データのグレースケール画素値を各画素に割り当てることにより構成されている。所定の領域内でグレースケール画素値が黒色と白色との間の所定の範囲内になっている暫定グレースケール画像データは、当該領域内で黒飛び又は白飛びしていない画像データである。

【0074】

画像データ生成部１５２が、このようなグレースケール画像データに基づいて検査用カラー画像データを生成し、検査部１５３が当該検査用カラー画像データを用いて検査対象物Ｗを検査することで、検査対象物Ｗに凹凸がある場合の検査の精度が向上する。

【0075】

複数の暫定グレースケール画像データを統合して１つのグレースケール画像データを生成する場合、選択されなかった暫定グレースケール画像データに含まれる情報が検査に使用されない。そこで、画像データ生成部１５２は、複数の暫定グレースケール画像データのグレースケール画素値を用いて検査用カラー画像データを生成してもよい。

【0076】

図１０は、複数のグレースケール画像データに基づいて１つの検査用カラー画像データを生成する方法を説明するための図である。画像データ取得部１５１は、それぞれ露光時間が異なる状態で検査対象物Ｗを撮影することにより生成された第１グレースケール画像データと、第２グレースケール画像データと、第３グレースケール画像データと、を取得する。

【0077】

画像データ生成部１５２は、第１グレースケール画像データに含まれる複数のグレースケール画素値を検査用カラー画像データのＲチャネルの複数の画素値に変換する。同様に、画像データ生成部１５２は、第２グレースケール画像データに含まれる複数のグレースケール画素値を検査用カラー画像データのＧチャネルの複数の画素値に変換し、第３グレースケール画像データに含まれる複数のグレースケール画素値を検査用カラー画像データのＢチャネルの複数の画素値に変換する。画像データ生成部１５２は、このように複数のグレースケール画像データのグレースケール画素値を、ＲＧＢそれぞれのチャネルの画素値に変換することにより、検査用カラー画像データを生成する。

【0078】

すなわち、画像データ生成部１５２は、３つの８ビットグレースケール画像データのそれぞれを、検査用カラー画像データにおける赤色（Ｒ）に対応する８ビットデータ、緑色（Ｇ）に対応する８ビットデータ、青色（Ｂ）に対応する８ビットデータに割り当てることを示す変換用データに基づいて、３つのグレースケール画像データを統合する。

【0079】

このようにして生成された検査用カラー画像データは、それぞれ露光時間が異なる状態で撮影された３つのグレースケール画像データに含まれている特徴が表れたカラー画像データになっている。したがって、検査部１５３が、この検査用カラー画像データに基づいて検査対象物Ｗを検査することで、１枚のグレースケール画像データに基づく検査を行う場合に比べて検査の精度が向上する。

【0080】

［検査装置１による効果］
以上説明したように、画像データ生成部１５２は、複数のグレースケール画素値と複数のカラー画素値との対応関係を示す変換用データに基づいて、グレースケール画像データに含まれる複数のグレースケール画素値を複数のカラー画素値に変換することにより、検査用カラー画像データを生成する。そして、検査部１５３は、生成された検査用カラー画像データを、カラー画像データの解析が可能な機械学習モデルに入力することにより検査対象物Ｗの異常の有無を検査する。検査装置１がこのように構成されていることで、コントラスト又はエッジが強く表されるというモノクロセンサで取得されたグレースケール画像データの利点を生かしつつ、機械学習モデルの性能を最大限に活用することができるので、検査の精度を向上させることができる。

【0081】

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の全部又は一部は、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を併せ持つ。

【0082】

例えば、以上の説明においては、機械学習モデルが検査対象物Ｗの異常を検知する場合を例示したが、機械学習モデルが物体を検知する機能（Object Detection）を有していてもよく、画像全体を分類する機能（Classification）や、ピクセル単位の領域を検出する機能（Segmentation）を有する場合にも本発明を適用することができる。また、グレースケール画像データは、撮像装置２により生成されたデータに限らず、生成ＡＩにより生成された画像データであってもよく、正常品を撮影して生成された画像データに画像編集ソフトで異常箇所が付加された画像データであってもよい。

【符号の説明】

【0083】

１ 検査装置
２ 撮像装置
１０ 第１通信部
１１ 第２通信部
１２ 操作部
１３ 表示部
１４ 記憶部
１５ 制御部
１５１ 画像データ取得部
１５２ 画像データ生成部
１５３ 検査部
１５４ 受付部
１５５ 表示処理部
１５６ 変換用データ作成部

【要約】

【課題】グレースケール画像を用いた検査の精度を向上させる。
【解決手段】検査装置１は、検査対象物Ｗを撮影することにより生成されたグレースケール画像データを取得する画像データ取得部１５１と、複数のグレースケール画素値と複数のカラー画素値との対応関係を示す変換用データに基づいて、グレースケール画像データに含まれる複数のグレースケール画素値を複数のカラー画素値に変換することにより、検査用カラー画像データを生成する画像データ生成部１５２と、学習用カラー画像データを用いて学習した機械学習モデルに検査用カラー画像データを入力することにより機械学習モデルが出力した判定結果に基づいて、検査用カラー画像データに含まれる検査対象物の検査結果を出力する検査部１５３と、を有する。
【選択図】図３

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】