特表 2023-503564 目標コーティング中の効果顔料を識別する方法及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-01-31

(54)【発明の名称】目標コーティング中の効果顔料を識別する方法及び装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20230124BHJP

   G06V 10/82 20220101ALI20230124BHJP

   G01N 21/27 20060101ALI20230124BHJP

   G01J 3/46 20060101ALI20230124BHJP

   G06N 3/02 20060101ALI20230124BHJP

   G06T 7/90 20170101ALI20230124BHJP

【ＦＩ】

G06T7/00 350C

G06V10/82

G01N21/27 A

G01J3/46 Z

G06N3/02

G06T7/90 Z

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2022528245

(86)(22)【出願日】2020-11-12

(85)【翻訳文提出日】2022-07-08

(86)【国際出願番号】 EP2020081979

(87)【国際公開番号】W WO2021094496

(87)【国際公開日】2021-05-20

(31)【優先権主張番号】19209119.7

(32)【優先日】2019-11-14

(33)【優先権主張国・地域又は機関】EP

(81)【指定国・地域】

(71)【出願人】

【識別番号】390008981

【氏名又は名称】ビーエーエスエフ コーティングス ゲゼルシャフト ミット ベシュレンクテル ハフツング

【氏名又は名称原語表記】ＢＡＳＦ Ｃｏａｔｉｎｇｓ ＧｍｂＨ

【住所又は居所原語表記】Ｇｌａｓｕｒｉｔｓｔｒａｓｓｅ １， Ｄ－４８１６５ Ｍｕｅｎｓｔｅｒ，Ｇｅｒｍａｎｙ

(74)【代理人】

【識別番号】100100354

【弁理士】

【氏名又は名称】江藤 聡明

(74)【代理人】

【識別番号】100167106

【弁理士】

【氏名又は名称】倉脇 明子

(74)【代理人】

【識別番号】100194135

【弁理士】

【氏名又は名称】山口 修

(74)【代理人】

【識別番号】100206069

【弁理士】

【氏名又は名称】稲垣 謙司

(74)【代理人】

【識別番号】100185915

【弁理士】

【氏名又は名称】長山 弘典

(72)【発明者】

【氏名】ビショフ，グイド

(72)【発明者】

【氏名】バーグマン，ドナルド アール

(72)【発明者】

【氏名】レオポルド，マシュー

(72)【発明者】

【氏名】スコット，スチュアート ケー

【テーマコード（参考）】

2G020

2G059

5L096

【Ｆターム（参考）】

2G020AA08

2G020DA02

2G020DA03

2G020DA04

2G020DA05

2G020DA14

2G020DA34

2G020DA43

2G059AA01

2G059AA02

2G059AA05

2G059BB04

2G059CC01

2G059CC12

2G059CC20

2G059EE02

2G059EE13

2G059FF03

2G059HH02

2G059JJ01

2G059KK04

2G059MM09

2G059MM10

5L096AA02

5L096AA06

5L096BA08

5L096CA02

5L096DA02

5L096FA06

5L096FA14

5L096FA35

5L096FA69

5L096GA10

5L096GA30

5L096GA40

5L096GA51

5L096GA55

5L096HA11

5L096KA04

(57)【要約】

本発明は、コンピュータで実装される方法に関し、前記方法は少なくとも以下のステップ：
－ 少なくとも１つの測定装置を使用して、目標コーティングのカラー値、テクスチャ値及びデジタル画像を取得するステップと、
－ コーティング組成物の配合と、相関するカラー値と、相関するテクスチャ値と、相関するデジタル画像とを含むデータベースから、前記目標コーティングについて取得されたカラー値及び／又はテクスチャ値に基づいて、１つ以上の予マッチング配合を検索するステップと、
－ 前記取得された画像及び前記１つ以上の予マッチング配合と関連付けられた画像内で、輝点を決定するステップと、
－ 前記それぞれの画像から、各輝点のサブ画像を生成するステップと、
－ 前記生成されたサブ画像を、それぞれの輝点のそれぞれのサブ画像と顔料及び／又は顔料クラスとを関係づけるように学習された畳み込みニューラルネットワークに提供するステップと、
－ 前記ニューラルネットワークの出力に基づいて、前記１つ以上の予マッチング配合のうちの少なくとも１つを、前記目標コーティングにベストマッチングする配合として、決定するステップと、
を含む。
本発明はさらに、それぞれの装置及び非一時的コンピュータ可読媒体を提供する。
【選択図】図７

【特許請求の範囲】

【請求項1】

コンピュータ実装方法であって、少なくとも以下のステップ：
－ 少なくとも１つの測定装置を使用して、目標コーティングのカラー値、テクスチャ値及びデジタル画像を取得するステップと、
－ コーティング組成物の配合と、相関するカラー値と、相関するテクスチャ値と、相関するデジタル画像とを含むデータベースから、前記目標コーティングについて取得されたカラー値及び／又はテクスチャ値に基づいて、１つ以上の予マッチング配合を検索するステップと、
－ 少なくとも１つのフィルタリング技術と連動するコンピュータプロセッサを用いて、前記目標コーティングの取得された画像及び前記１つ以上の予マッチング配合と相関する画像のそれぞれについて、前記それぞれの画像内に存在する少なくとも１つの輝点を決定するために、画像分析を実行するステップと、
－ 前記取得された画像のそれぞれから、及び前記１つ以上の予マッチング配合に相関する前記画像のそれぞれから、各輝点のサブ画像を生成するステップと、
－ 前記生成されたサブ画像を畳み込みニューラルネットワークに提供するステップであって、前記畳み込みニューラルネットワークは、それぞれの輝点のそれぞれのサブ画像と顔料及び／又は顔料クラスとを関係づけるように、及び、前記それぞれの輝点の前記それぞれのサブ画像に基づいて顔料及び／又は顔料クラスを識別するように学習されている、ステップと、
－ 前記目標コーティング及び各予マッチング配合について、前記識別された顔料及び／又は顔料クラスの統計をそれぞれ決定し、出力するステップと、
－ コンピュータプロセッサを用いて、前記目標コーティングについて決定された前記統計と、前記１つ以上の予マッチング配合について決定された前記統計を比較するステップと、
－ 前記目標コーティングにベストマッチングする配合として、前記１つ以上の予マッチング配合のうちの少なくとも１つを決定するステップと、
を含む、コンピュータ実装方法。

【請求項2】

各サブ画像から、少なくとも１つの顔料との相関を導出することをさらに含み、前記相関は、前記サブ画像が切り出された前記それぞれの画像内の前記輝点の分布に対する前記少なくとも１つの顔料の寄与を示す、請求項１に記載の方法。

【請求項3】

各画像の前記画像分析は、マスクの生成、輪郭の識別及びこのように生成されたフレームをそれぞれの画像に重ねることを含み、このようにそれぞれの前記画像から各輝点の前記サブ画像を生成する、請求項１又は２に記載の方法。

【請求項4】

各測定ジオメトリの各サブ画像と少なくとも１つの顔料の関連付けは、それぞれの輝点の各サブ画像を、各測定ジオメトリについて、予め与えられた確率で特定の顔料及び／又は特定の顔料クラスに分類するように構成された畳み込みニューラルネットワークによって導出される、請求項１～３のいずれか１項に記載の方法。

【請求項5】

それぞれのサブ画像が取得された各測定ジオメトリに対する前記導出された各関連付けは、ベストマッチング配合を決定する際に、少なくとも１つの顔料及び／又は顔料クラスの寄与を適応させるために使用される、請求項４に記載の方法。

【請求項6】

前記ベストマッチング配合の決定は、それぞれの量及び／又は濃度を有する顔料のリストを提供することを含む、請求項１～５のいずれか１項に記載の方法。

【請求項7】

各サブ画像は、黒背景内の前記少なくとも１つの輝点の最大サイズに基づく画像領域で生成される、請求項１～６のいずれか１項に記載の方法。

【請求項8】

少なくとも：
－ コーティング組成物の配合と、相関するカラー値と、相関するテクスチャ値と、相関するデジタル画像とを含む、データベースと、
－ 少なくとも１つのプロセッサであって、少なくとも１つの測定装置、前記データベース、少なくとも１つのフィルタリング技術、及び畳み込みニューラルネットワークと通信接続され、少なくとも以下のステップ：
ａ． 前記測定装置から、目標コーティングのカラー値、テクスチャ値及びデジタル画像を受信するステップと、
ｂ． 前記目標コーティングについて受信した前記カラー値及び／又は前記テクスチャ値に基づいて、前記データベースから１つ以上の予マッチング配合を検索するステップと、
ｃ． 前記フィルタリング技術を使用することにより、前記目標コーティングの受信した画像及び前記１つ以上の予マッチング配合と相関する画像のそれぞれについて、前記それぞれの画像内の少なくとも１つの輝点を探し、決定するための画像分析を実行するステップと、
ｄ． 前記受信した画像から、及び、前記１つ以上の予マッチング配合と相関する画像から、各輝点のサブ画像を生成するステップと、
ｅ． 前記生成されたサブ画像を畳み込みニューラルネットワークに提供するステップであって、前記畳み込みニューラルネットワークは、それぞれの輝点のそれぞれのサブ画像を顔料及び／又は顔料クラスと関連付け、前記それぞれの輝点の前記それぞれのサブ画像に基づいて、顔料及び／又は顔料クラスを識別するように学習されている、ステップと、
ｆ． 前記目標コーティングと各予マッチング配合について、前記識別された顔料及び／又は顔料クラスの統計をそれぞれ決定し、出力するステップと、
ｇ． 前記目標コーティングについて決定された統計と、前記１つ以上の予マッチング配合について決定された統計とを比較するステップと、
ｈ． 前記１つ以上の予マッチング配合のうち少なくとも１つを、前記目標コーティングとベストマッチングする配合として決定するステップと、
を実行するようにプログラムされた少なくとも１つのプロセッサと、
を含む装置。

【請求項9】

前記少なくとも１つの測定装置と、前記フィルタリング技術及び／又は前記畳み込みニューラルネットワークと、をさらに含む、請求項８に記載の装置。

【請求項10】

前記プロセッサは、各サブ画像から少なくとも１つの顔料との関連付けを導出するステップを実行するようにさらに構成されており、前記関連付けは、前記サブ画像が切り出されたそれぞれの画像内の輝点の分布に対する前記少なくとも１つの顔料の寄与を示す、請求項８又は９に記載の装置。

【請求項11】

前記プロセッサは、それぞれの輝点の各サブ画像を、各測定ジオメトリについて、予め与えられた確率で、特定の顔料及び／又は顔料クラスに分類するように構成された畳み込みニューロンネットワークによって、各測定ジオメトリについて、各サブ画像と少なくとも１つの顔料との関連付けを導出するようにさらに構成されている、請求項８～１０のいずれか１項に記載の装置。

【請求項12】

前記プロセッサは、ベストマッチング配合を決定する際に、少なくとも１つの顔料及び／又は顔料クラスの寄与を適応させるように、前記それぞれのサブ画像が取得された各測定ジオメトリについて、それぞれ導出された関連付けを使用するようにさらに構成されている、請求項１１に記載の装置。

【請求項13】

前記決定されたベストマッチング配合を出力するように構成された出力ユニットをさらに含む、請求項８～１２のいずれか１項に記載の装置。

【請求項14】

請求項１～７のいずれか１項に記載の方法を実行するように構成されている、請求項８～１３のいずれか１項に記載の装置。

【請求項15】

コンピュータプログラムがロードされ、少なくとも１つの測定装置、データベース、フィルタリング技術、及び畳み込みニューラルネットワークと通信接続されている少なくとも１つのプロセッサによって実行されるときに、少なくとも以下のステップ：
Ａ． 前記測定装置から、目標コーティングのカラー値、テクスチャ値、及びデジタル画像を受信するステップと、
Ｂ． コーティング組成物の配合と、相関するカラー値と、相関するテクスチャ値と、相関するデジタル画像とを含むデータベースから、前記目標コーティングについて取得された前記カラー値及び／又は前記テクスチャ値に基づいて、１つ以上の予マッチング配合を検索するステップと、
Ｃ． フィルタリング技術を使用することにより、前記目標コーティングの前記取得された画像と前記１つ以上の予マッチング配合と相関する画像のそれぞれについて、前記それぞれの画像内の少なくとも１つの輝点を決定するように画像分析を行うステップと、
Ｄ． 前記受信した画像から、及び前記１つ以上の予マッチング配合に相関する画像から、各輝点のサブ画像を生成するステップと、
Ｅ． 前記生成されたサブ画像を前記畳み込みニューラルネットワークに提供するステップであって、前記畳み込みニューラルネットワークは、前記それぞれの輝点のそれぞれのサブ画像を顔料及び／又は顔料クラスと関連付けるように、及び、前記それぞれの輝点のそれぞれのサブ画像に基づいて、顔料及び／又は顔料クラスを識別するように学習されている、ステップと、
Ｆ． 前記目標コーティングについて、及び各予マッチング配合について、前記識別された顔料及び／又は顔料クラスの統計をそれぞれ決定し、出力するステップと、
Ｇ． 前記目標コーティングについて決定された前記統計と、前記１つ以上の予マッチング配合について決定された前記統計とを比較するステップと、
Ｈ． 前記１つ以上の予マッチング配合のうち少なくとも１つを、前記目標コーティングにベストマッチングする配合として、決定するステップと、
を実行するように構成されたプログラムコードを備えたコンピュータプログラムを有する非一時的コンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、目標コーティング中の効果顔料を識別するためのコンピュータ実装方法及び装置に関する。

【背景技術】

【0002】

今日、カラー調査及び検索プロセスのために、追加的な特徴、例えば、粗さ、輝き面積、輝き強度、輝きグレード及び／又は輝きカラー変化／分布などが、側面条件として、カラー情報の他に、与えられた目標カラー／目標コーティングの最適な解を見つけるために使用されている。これらの追加的な特徴は、カラーのテクスチャ外観の様々な視覚的特性に対する測定の基準である。

【0003】

これらの特徴は、今日の光分光計装置、例えば、Ｘｒｉｔｅ ＭＡ－Ｔ６（登録商標）、ＭＡ－Ｔ１２（登録商標）、Ｂｙｋ ｍａｃ ｉ（登録商標）などによってキャプチャされた目標コーティングの画像生データから通常導出される。画像生データは、画像処理アルゴリズムによって処理される。これらのアルゴリズムの出力として、テクスチャの特徴、すなわちテクスチャ値が得られ、それらは目標コーティングのテクスチャの光学特性を表すと考えられる。これらのテクスチャ値は、既知の業界基準に従って分類される。

【0004】

複雑なコーティング混合物の性質のため、容認可能なマッチングする配合及び／又は顔料を配合、識別、及び／又はサーチすることは、時には困難な場合がある。理想的には、人間は複雑なコーティング混合物を見て、コーティング混合物内の適切な顔料を決定することができることである。しかしながら、現実には、コーティング混合物内の顔料は、マッチングするコーティングを作るために利用される塗料システムのトナーのセットで、容易に利用できるようになっていない場合がある。したがって、カラーマッチングの熟練者は、塗料システムが適切なオフセットを含有するかどうかを判断しなければならず、そうである場合は、それらが元の顔料と完全にマッチングしないとして、オフセットに対応するために行う必要な追加の変更を判断しなければならない。

【0005】

未知の目標コーティングを測定することができ、目標コーティングの測定データに基づいて、データベース内でベストマッチングするコーティング配合を検索することができる方法及び装置を有すること、及び／又は、目標コーティングの測定データに基づいて新しいコーティング配合を作成すること、が望ましいであろう。しかしながら、現在のところ、既知のシステムは、カラー又はバルクの効果顔料のタイプを決定することができるだけであり、一般に、未知の目標コーティングにマッチングするために必要な例えば特定のパールの決定を支援することはできない。

【0006】

目標コーティングの顕微鏡評価と任意に組み合わされたカメラ及び／又は分光計を用いる公知の技術は、一般に、新しい効果顔料又は複雑な混合物を効率的に取り扱うために適切に定義されておらず、目標コーティングの個別の評価、すなわち、ケースごとの分析に大きく焦点が当てられ、それは、新しい未知の目標コーティングのそれぞれが全ての分析ステップを通過する必要があるため、非常に時間のかかるプロセスである。したがって、このような時間のかかるプロセスは、マッチングする配合の提供と組み合わられた目標コーティングの時間効率の良い分析を必要とする適用問題に十分対処することがでない可能性がある。

【0007】

さらに、塗装されたサンプル又は様々なテクスチャを表す仮想サンプルを使用し、それらを未知の目標コーティングと比較する方法がある。しかし、このような手法は、実質的なユーザーの介入を必要とすることが多く、主観的であるため、一貫性のない結果をもたらす可能性がある。

【発明の概要】

【発明が解決しようとする課題】

【0008】

そのため、効果顔料を含む未知の目標コーティングを効率的に分析するのに適した方法及び装置が必要とされている。

【課題を解決するための手段】

【0009】

上述の目的は、それぞれの独立請求項の特徴を有する方法及び装置によって解決される。さらなる実施形態が、以下の説明及びそれぞれの従属請求項によって示される。

【0010】

本開示は、コンピュータに実装される方法に関し、該方法は少なくとも以下のステップ：
－ 少なくとも１つの測定装置を使用して、目標コーティングのカラー値、テクスチャ値及びデジタル画像を測定／取得するステップと、
－ コーティング組成物の配合と、相関するカラー値と、相関するテクスチャ値と、相関するデジタル画像を含むデータベースから、前記目標コーティングについて取得されたカラー値及び／又はテクスチャ値に基づいて、１つ以上の予マッチング配合を検索するステップと、
－ 少なくとも１つのフィルタリング技術と連動するコンピュータプロセッサを用いて、前記目標コーティングの取得された画像及び前記１つ以上の予マッチング配合と相関／関連付けられる画像のそれぞれについて、少なくとも１つの輝点を探して決定／識別するために、すなわち、前記それぞれの画像内に存在し得る輝点を決定／識別するために、画像分析を実行するステップと、
－ 前記取得された画像のそれぞれから、及び前記１つ以上の予マッチング配合に相関する前記画像のそれぞれから、各輝点のサブ画像を生成するステップと、
－ 前記生成されたサブ画像を畳み込みニューラルネットワークに提供するステップであって、前記畳み込みニューラルネットワークは、それぞれの輝点のそれぞれのサブ画像と顔料及び／又は顔料クラスとを関係づけるように、及び、前記それぞれの輝点の前記それぞれのサブ画像に基づいて顔料及び／又は顔料クラスを識別するように学習されている、ステップと、
－ 前記目標コーティング及び各予マッチング配合について、前記識別された顔料及び／又は顔料クラスの統計をそれぞれ決定し、出力するステップと、
－ コンピュータプロセッサを用いて、前記目標コーティングについて決定された前記統計と、前記１つ以上の予マッチング配合について決定された前記統計を比較するステップと、
－ 前記目標コーティングにベストマッチングする配合として、前記１つ以上の予マッチング配合のうちの少なくとも１つを決定するステップと、
を含む。

【0011】

本明細書では、「配合(formula)」及び「調合(formulation)」という用語は同義的に使用される。「連動する(in operative conjunction)」という用語は、それぞれの構成要素、すなわちコンピュータプロセッサと少なくとも１つのフィルタリング技術が、コンピュータプロセッサが少なくとも１つのフィルタリング技術を制御／操作できるように、及び／又は少なくとも１つのフィルタリング技術がそれぞれのフィルタリング結果をコンピュータプロセッサに送信できるように、相互に通信していることを意味する。「関連付けられた(associated with)」及び「相関する(interrelated with)」という用語は、同義語として使用される。両方の用語とも、互いに関連付けられた／相関する構成要素の一体性を示す。

【0012】

カラー値は、少なくとも１つの測定装置を用いて、目標コーティングのスペクトル曲線を分析することによって得られ、前記スペクトル曲線は、目標コーティングの表面に対して異なる測定ジオメトリで測定される。一般に、スペクトル測定ジオメトリは、照射方向／角度及び観察方向／角度によって定義される。典型的なスペクトル測定ジオメトリは、コーティングの表面法線に対して測定される４５°の固定照射角と、鏡面角すなわち鏡面方向に対して測定される－１５°、１５°、２５°、４５°、７５°、１１０°の視野角であり、該鏡面方向は、コーティング表面の法線に対してそれぞれの光線の入射方向と同じ角度をなす出射方向として定義される。

【0013】

画像値及びテクスチャ値は、画像キャプチャ装置を用いて、目標コーティングの表面に対して異なる測定ジオメトリでそれぞれ得られた、複数のデジタル画像、特にＨＤＲ画像をキャプチャすることによって得られる。典型的な画像ベースのテクスチャ測定ジオメトリは、目標コーティングの表面の法線に対して１５°での、画像キャプチャ装置、すなわちカメラの固定位置である。照射角度は、ｒ１５ａｓ－１５、ｒ１５ａｓ１５、ｒ１５ａｓ－４５、ｒ１５ａｓ４５、ｒ１５ａｓ８０、及びＸ－Ｒｉｔｅ ＭＡ－Ｔ６（登録商標）から定義される半拡散として選択される。「半拡散」とは、本明細書では、測定装置及びその空間的寸法に対して「可能な限り拡散している」ことを意味する。幾何学的指定に関して、少なくとも１つの測定装置（例えばカメラ）の位置と照射の位置は逆である。つまり、鏡面角度は、ここではカメラの固定位置によって定義される。具体的には、これは：例えば、「ｒ１５ａｓ－１５」という指定は、カメラの固定位置の「ｒ」、「１５」で「逆」を示し、すなわち目標コーティングの表面の法線に対して１５°の角度を示し、鏡面角度に対して測定された照射角度の「逆鏡面(aspecular)」「として」「－１５」を示している。

【0014】

テクスチャ値／パラメータは、特に、目標コーティングの輝きグレードＳＧと、輝きカラー変化ＣＶ及び粗さＣ又は粒状性Ｇと、輝き強度Ｓ＿ｉと、輝き面積Ｓ＿ａである。

【0015】

少なくとも１つの測定装置は、Ｘｒｉｔｅ ＭＡ－Ｔ６（登録商標）、Ｘｒｉｔｅ ＭＡ－Ｔ１２（登録商標）又はＢｙｋ ｍａｃ ｉ（登録商標）などの光分光計として選択されることができる。このような光分光計は、例えば顕微鏡画像などのさらに多くの画像データを得るために、顕微鏡などのさらに適切な装置と組み合わされることもできる。

【0016】

データベースは、コーティング組成物の配合と、相関比色データを含む配合データベースである。相関比色データは、各配合について、それぞれの配合に基づいて、スペクトルデータすなわちカラー値、テクスチャ値、及びサンプルコーティングのデジタル画像を含む。予マッチング配合は、第１マッチング基準に基づいて、データベースの複数の配合の中から選択される。第１マッチング基準は、上記のスペクトル測定ジオメトリの全て又はそのうちの少なくともいくつかについての、目標コーティングとそれぞれのサンプルコーティングの間の色差基準、例えば

【数1】

によって、及び、任意に補充的に、例えば、Ｂｙｋ－Ｇａｒｄｎｅｒ［「Ｂｅｕｒｔｅｉｌｕｎｇ ｖｏｎ Ｅｆｆｅｋｔｌａｃｋｉｅｒｕｎｇｅｎ， Ｄｅｎ Ｇｅｓａｍｔｆａｒｂｅｉｎｄｒｕｃｋ ｏｂｊｅｋｔｉｖ ｍｅｓｓｅｎ」、Ｂｙｋ－Ｇａｒｄｎｅｒ ＧｍｂＨ］によって定義されたテクスチャ差

【数2】

の少なくとも１つによる少なくとも１つのテクスチャ差基準によって定義／計算される。色差基準及び少なくとも１つのテクスチャ差基準は、任意に加重和によって、合計されることができる。色差メトリックは、３つのカラー値

【数3】

であるとして、

【数4】

によって、記述され得る。

【0017】

目標コーティングのデジタル画像を得た後、スクラッチなどの欠陥を識別するためにデジタル画像の事前分析を最初に実行することが有用であり得る。したがって、少なくとも１つのフィルタリングユニットと作動的に接続している電子コンピュータプロセッサを使用して、得られたデジタル画像に対して第１画分析を行い、画像背景データから画像前景データを分離することによって、各デジタル画像内で少なくとも１つの明るい領域を決定する。その後、各デジタル画像について、ブロブ分析が実行され、少なくとも１つの明るい領域内で少なくとも１つの破損領域が決定される；少なくとも１つの破損領域が見つけられた場合、該少なくとも１つの破損領域はそれぞれのデジタル画像のさらなる分析のためにマスクされ、該それぞれのデジタル画像は拒否され、及び／又は、画像キャプチャの繰り返しが開始される。

【0018】

この事前分析により、目標コーティングの画像から欠陥を検出することができる。提案された事前分析の基本的な方策は、（１）例えば指紋及び傷などの典型的な構造特性を検索することによって、画像中の欠陥を発見し、（２）画像を拒否するか、又はさらなる画像処理のために、画像中の検出された破損／欠陥領域を無視するかを決定することである。

【0019】

つまり、欠陥を有する画像を含む測定は拒否され得るか、又は画像内の欠陥／破損領域は、それぞれの画像のさらなるテクスチャ分析のためにマスクされ得るかである。事前分析はまた、画像キャプチャ装置のユーザーが、測定（得られた少なくとも１つのデジタル画像）が有効でなかったことについて、例えば、ディスプレイ及び／又は音響出力装置などの出力装置にコンピュータプロセッサを介して、警告メッセージ／信号を出す／出力することによって、通知を受けるように構成されることができ、ここで、該出力装置はコンピュータプロセッサの一部であるか又はコンピュータプロセッサと通信している。また、測定データ、すなわち得られたデジタル画像が有効になるまで、コーティングを再測定するようにユーザーに求めることもできる。得られたデジタル画像が有効になるまで、すなわち検出可能な欠陥がない状態になるまで、画像キャプチャが画像キャプチャ装置によって自動的に繰り返されることも可能である。それによって、画像キャプチャ装置は、画像キャプチャ装置と電子コンピュータプロセッサとの間の通信接続を介して、それぞれの一画像内で検出された少なくとも１つの破損領域／欠陥について自動的に通知される。

【0020】

そのため、より正確な結果と、カラーサーチ及び検索プロセスにおけるエラーの低減が達成され得る。さらに、カラー開発及び顧客サービスマッチングのための研究室の労力を削減することができる。カラーマッチングプロセスは、作動ユニットのコスト削減を伴って、より信頼性が高くなり、より速くなる。

【0021】

「通信している」という表現は、それぞれの構成要素の間に通信接続が存在することを示す。

【0022】

配合データベースから１つ以上の予マッチング配合を検索した後、目標コーティングの画像からの、及び、予マッチング配合と相関する画像からの、顔料及び／又は顔料クラスの基本統計が計算される。

【0023】

次いで、１つ以上の予マッチング配合から少なくとも１つが、目標コーティングと予マッチング配合についての顔料及び／又は顔料クラスの統計に基づいて、第１マッチング基準と新しい輝き差を最小化するように、ベストマッチング配合として選択される。つまり、目標コーティングと１つ以上の予マッチング配合ついての顔料及び／又は顔料クラスの統計に基づいて、すなわち、それらの統計の比較に基づいて、少なくとも１つの予マッチング配合が識別されることができ、その輝き差は目標コーティングのそれぞれの輝点に対して最小である（その輝点が目標コーティングのそれぞれの輝点から最小の輝き距離を有する）。

【0024】

目標コーティングについて決定された統計と、１つ以上の予マッチング配合について決定された統計は、それぞれ、それぞれのヒストグラム及び／又はそれぞれのベクトルとして示されることができる。

【0025】

さらに、得られた画像からの、及び１つ以上の予マッチング配合に関連付けられた画像からの、各輝点のサブ画像は、背景あり及び／又は背景なしで、すなわち輝点の実際の周囲を伴って、及び／又は均一な背景、特に黒い背景（「背景なし」に相当）を伴って生成されることができる。

【0026】

提案された方法の一実施形態によれば、本方法は、ニューラルネットワークを用いて、正確に１つの輝点を表す各サブ画像から、輝点と少なくとも１つの顔料及び／又は顔料クラスとの相関を導出することをさらに含み、該相関は、前記サブ画像が切り出されたそれぞれの画像内の輝点の分布に対する少なくとも１つの顔料及び／又は顔料クラスの寄与を示す。有利には、各サブ画像から、ニューラルネットワークを使用して、表されたそれぞれの輝点と正確に１つの顔料の相関が導出される。各画像について、サブ画像は、画像がサブ画像で構成されるように、生成される。一般に、サブ画像の数は、画像内に存在し、１００～１０００、例えば、２００～５００の間隔で存在する輝点の数によって暗黙的に決定される。

【0027】

目標コーティングのキャプチャされたデジタル画像に、又は、コーティング組成物の配合に関連付けられ、データベースから検索されたデジタル画像に、ｎ個の輝点がある場合、ｎ個のサブ画像が生成され、サブ画像の数Ｓ１が顔料１と関係づけられ、サブ画像の数Ｓ２が顔料２と関係づけられ、以下同様に、サブ画像の数Ｓｋが顔料ｋと関係づけられる結果が得られ得、ここで、ｋは２より大きくｎ以下であり、ｋ、ｎは両方とも整数である。

【0028】

数Ｓ１、Ｓ２、．．．、Ｓｋは、それぞれの顔料１、２、．．．、ｋとともに、目標コーティング内の、すなわち目標コーティングに関連付けられた配合内の、及び／又はそれぞれのデジタル画像に関連付けられた配合内の異なる顔料１、２、．．．、ｋのそれぞれの割合に関する統計の編集を可能にする。

【0029】

提案された方法は、輝きカラー分布及び／又は輝きサイズ分布を使用するさらなる顔料識別方法に加えて、特に前又は後に実行され得る。そのような方法は、例えば、ＵＳ２０１７／０２００２８８Ａ１及び出願番号１９１５４８９８．１の欧州出願に記載されており、後者の内容は、参照により本明細書に完全に含まれる。

【0030】

最後に、ベストマッチングした配合が識別され、識別されたベストマッチング配合に基づく塗料／コーティング組成物を製造／混合するように構成された混合ユニットに転送される。混合ユニットは、目標コーティングの所で使用され得るそのような塗料／コーティング組成物を製造する。混合ユニットは、提案された装置の構成要素であり得る。

【0031】

提案された方法で使用可能なニューラルネットワークは、バックプロパゲーション（逆伝播法）と呼ばれる学習方法に基づいている。ニューラルネットワークのニューロンは、層状に構成されている。これらの層は、入力ニューロンを有する層（入力層）、出力ニューロンを有する層（出力層）、及び１つ以上の内部層を含む。出力ニューロンは、顔料、すなわちトナー、又は目標コーティングの（塗料）配合を探して決定／予測される顔料クラスである。

【0032】

学習データとして学習段階でニューラルネットワークに使用される入力ニューロンは、サンプルコーティングの画像のサブ画像であり、各サンプルコーティングは、正確に１つの以前から知られている顔料／トナーを含む配合に基づくものである。各このようなサブ画像は、それが切り出されたそれぞれの画像の１つの輝点を正確に表している。

【0033】

畳み込みニューラルネットワークの内部層は、畳み込み層、最大プーリング層、及び全結合デンス層の全て又はサブセットで構成されている。畳み込み＋ＲＥＬＵ（ｒｅｃｔｉｆｉｅｄ ｌｉｎｅａｒ ｕｎｉｔ）層は、入力画像(input image)／受信画像(incoming image)から特徴を抽出するために、入力ニューロン、すなわち入力画像にフィルタを適用する。プーリング層は、畳み込みから得られる特徴の次元を減らす役割を果たす。デンス層は、畳み込み＋ＲＥＬＵ及び最大プーリング層からの高レベル特徴を、所望の顔料及び／又は顔料クラスにマッピングする、ニューラルネットワークのニューロンの標準的な全結合セットである。

【0034】

一般に、輝点と顔料の正確な相関は、大量の学習データを必要とする。正確に１つの以前から知られている顔料／トナーを含む配合に基づくサンプルコーティングの画像は、一般に多数の輝点を示し、そのような輝点ごとにサブ画像が生成されるため、対応する多数のサブ画像が得られる。このように、利用可能な顔料の数は数えられる（すなわち限られている）が、十分に多くの学習データを作成することができる。学習データの数、すなわち利用可能なサブ画像の数は、各顔料について、黒背景を有する画像とその他の適切な背景を有するサブ画像の両方を使用することにより、さらに拡張されることができる。

【0035】

利用可能な顔料の数／多数が変わった場合のみ、ニューラルネットワークを再定義し、再学習し、再テストする必要がある。

【0036】

「以前から知られている顔料／トナー」とは、カラー配合のためのカラー成分として既知であり利用可能であった顔料を意味する。

【0037】

「コーティング組成物の配合と関連付けられた画像」とは、コーティング組成物の配合と、それぞれのコーティングのキャプチャされた画像を意味する。また、「１つ以上の予マッチング配合に関連付けられた画像」とは、１つ以上の予マッチング配合のそれぞれのコーティングのそれぞれキャプチャされた画像を意味する。

【0038】

提案された方法は、特に、目標コーティングの画像内の識別された輝点と関連付けられた異なる顔料に関する統計を提供し、したがって、どの顔料がどの程度の量で目標コーティングの配合の一部を形成するかを結論づけるために役立つ。使用されるニューラルネットワークは、バックプロパゲーションと呼ばれる学習方法に基づいている。バックプロパゲーションは、ここでは、エラーフィードバックによる教師あり学習方法の総称として理解されるべきである。バックプロパゲーションのアルゴリズムには：例えば、Ｑｕｉｃｋｐｒｏｐ、Ｒｅｓｉｌｉｅｎｔ Ｐｒｏｐａｇａｔｉｏｎ（ＲＰＲＯＰ）など、様々なものがある。この方法は、少なくとも３層：入力ニューロンを有する第１層、出力ニューロンを有する第ｎ層、及び（ｎ－２）内部層、（ｎは２より大きい自然数）を含むニューラルネットワークを使用する。このようなネットワークでは、出力ニューロンは、目標コーティングによって、すなわち、対応する配合によって含有されている顔料クラス及び／又は顔料を識別するのに役立つ。

【0039】

「顔料を識別する」とは、具体的な顔料を直接決定すること、及び／又は、その顔料が属する顔料クラスを決定することを意味する。例えば、１つの顔料クラスはメタリック効果顔料によって構成され得、さらなる顔料クラスはパール光沢効果顔料によって構成され得る。他の適切な分類、特にさらに洗練された分類が可能である。例えば、顔料クラス「メタリック」を、「粗メタリック」及び「微細メタリック」に、又は「小粗メタリック／微細メタリック」もしくは「大粗メタリック／微細メタリック」に交差させることが可能である。顔料クラス「アルミニウム顔料」及びさらなるクラス「干渉顔料」を提供することが可能である。クラス「アルミニウム顔料」は、サブクラス「コーンフレーク」及びサブクラス「シルバーダラー」などのサブクラスにさらに細分化されることが可能である。クラス「干渉顔料」は、サブクラス「ホワイトマイカ」、「ゴールデンマイカ」、「ブルーマイカ」にさらに細分されることができ、「ｘｉｒａｌｌｉｃ（登録商標）」、「ガラス」、「天然マイカ」などのサブクラスにさらに細分されることができる。統計の比較後、クラス又はサブクラスのいくつかは適切に再統合されることもできる。

【0040】

提案された方法の１つの可能な実施形態によれば、画像分析は、画像セグメンテーション技術を使用して、各画像における輝点の位置を識別する。画像マスクが作成され、それは色、テクスチャ、及びそれらのグラデーションに基づいて輝点の位置を識別する。マスク内の全てのピクセルには、そのピクセルが輝点の一部ではないことを意味する「０」、又は輝点の一部であることを意味する「１」のどちらかのラベルが付けられる。マスクされた画像の輪郭検出により、個々の輝点位置ごとの接続されたピクセルの境界が識別される。識別された輝点輪郭は、元のＨＤＲ（ハイダイナミックレンジ）画像上に重ねられる。関連付けられたピクセル位置について元のＨＤＲ画像からＲＧＢ（Ｒｅｄ Ｇｒｅｅｎ Ｂｌｕｅ色空間から導出される）ピクセルデータを抽出し、該ＲＧＢデータを標準画像フレーム（この標準画像フレームのＲＧＢピクセルデータは、定義された背景を提供するために、予め「０」（黒）で初期化されていた）の中央に配置することによって、サブ画像がマスク内で識別された全ての輝点に対して生成される。

【0041】

代替の又は追加のセグメンテーション技術は、閾値法、エッジベース法、クラスタリング法、ヒストグラムベース法、ニューラルネットワークベース法、ハイブリッド法、などを含む。

【0042】

提案された方法のさらに別の態様によれば、各サブ画像と少なくとも１つの顔料及び／又は顔料クラスの関連付けは、各測定ジオメトリについてそれぞれの輝点の各サブ画像を、予め与えられた確率で特定の顔料及び／又は特定の顔料クラスに分類するように構成された畳み込みニューラルネットワークによって導出される。

【0043】

それぞれのサブ画像が取得された各測定ジオメトリに対するこのよう導出された各関連付けは、ベストマッチング配合を決定する際に、少なくとも１つの顔料の寄与を適応させるために使用される。

【0044】

提案された方法のさらに別の態様によれば、ベストマッチング配合を決定するステップは、それぞれの顔料のそれぞれの量及び／又は濃度を有する顔料のリストを提供することを含む。

【0045】

輝点が顔料クラスに関連付けられている場合、前記識別された顔料クラス内の具体的な顔料の決定は、それぞれの画像内の輝きカラー分布及び／又は輝きサイズ分布を使用して、上述の方法のいずれか１つ又はそれらの組み合わせの使用によって実行されることができる。代替的に、具体的な顔料の選択は、人間の入力／決定によって行われることができる。

【0046】

一般に、サブ画像の画像領域は、それぞれのサブ画像によって表される輝点の輝きサイズによって定義される。それぞれの画像の全てのサブ画像が同じ画像領域で生成されることができる。このような場合、画像領域は、それぞれの画像の最大の輝点の輝きサイズによって、すなわち最大輝きサイズによって定義される。典型的な画像領域は、黒背景中の１０^＊１０ピクセルの画像領域であり得る。

【0047】

本開示は、さらに、装置に言及する。該装置は、少なくとも：
－ コーティング組成物の配合と、相関するカラー値と、相関するテクスチャ値と、相関するデジタル画像とを含む、データベースと、
－ 少なくとも１つのプロセッサであって、少なくとも１つの測定装置、前記データベース、少なくとも１つのフィルタリング技術、及び畳み込みニューラルネットワークと通信接続され、少なくとも以下のステップ：
ａ． 前記測定装置から、目標コーティングのカラー値、テクスチャ値及びデジタル画像を受信するステップと、
ｂ． 前記目標コーティングについて受信した前記カラー値及び／又は前記テクスチャ値に基づいて、前記データベースから１つ以上の予マッチング配合を検索するステップと、
ｃ． 前記フィルタリング技術を使用することにより、前記目標コーティングの受信した画像及び前記１つ以上の予マッチング配合と相関する画像のそれぞれについて、前記それぞれの画像内の少なくとも１つの輝点を探し、決定するための画像分析を実行するステップと、
ｄ． 前記受信した画像から、及び、前記１つ以上の予マッチング配合と相関する／関連付けられる画像から、各輝点のサブ画像を生成するステップと、
ｅ． 前記生成されたサブ画像を畳み込みニューラルネットワークに提供するステップであって、前記畳み込みニューラルネットワークは、それぞれの輝点のそれぞれのサブ画像を顔料及び／又は顔料クラスと関連付け、前記それぞれの輝点の前記それぞれのサブ画像に基づいて、顔料及び／又は顔料クラスを識別するように学習されている、ステップと、
ｆ． 前記目標コーティングと各予マッチング配合について、前記識別された顔料及び／又は顔料クラスの統計をそれぞれ決定し、出力するステップと、
ｇ． 前記目標コーティングについて決定された統計と、前記１つ以上の予マッチング配合について決定された統計とを比較するステップと、
ｈ． 前記１つ以上の予マッチング配合のうち少なくとも１つを、前記目標コーティングとベストマッチングする配合として決定するステップと、
を実行するようにプログラムされた少なくとも１つのプロセッサと、
を含む。

【0048】

さらに別の態様によれば、本装置は、前記少なくとも１つの測定装置、前記フィルタリング技術及び／又は前記畳み込みニューラルネットワーク、をも含む。

【0049】

提案された装置の別の実施形態によれば、プロセッサは、各サブ画像から少なくとも１つの顔料及び／又は顔料クラスとの関連付けを導出するステップを実行するようにさらに構成されており、前記関連付けは、前記サブ画像が切り出されたそれぞれの画像内の輝点の分布に対する前記少なくとも１つの顔料及び／又は顔料クラスの寄与を示す。

【0050】

プロセッサは、それぞれの輝点の各サブ画像を、各測定ジオメトリについて（予め与えられた確率で）特定の顔料及び／又は特定の顔料クラスと関連付けるように構成された畳み込みニューロンネットワークによって、各測定ジオメトリについて、各サブ画像と少なくとも１つの顔料及び／又は顔料クラスとの関連付けを導出するようにさらに構成されてよい。

【0051】

プロセッサは、ベストマッチング配合（複数可）を決定する際に、少なくとも１つの顔料及び／又は顔料クラスの寄与を適応／推定／決定するように、それぞれのサブ画像が取得された各測定ジオメトリについて、それぞれ導出された関連付けを使用するようにさらに構成されてよい。

【0052】

提案される装置は、決定されたベストマッチング配合（複数可）を出力するように構成された出力ユニットを含んでいてよい。

【0053】

提案される装置は、特に、上述した方法の実施形態を実行するように構成されている。

【0054】

一般に、少なくともデータベース（配合データベースとも呼ばれる）及び少なくとも１つのプロセッサは、それぞれの通信接続を介して相互にネットワーク化されている。少なくとも１つの測定装置、フィルタリング技術、及び畳み込みニューラルネットワークが、装置の内部構成要素であるか又は外部構成要素であるかの別々の構成要素（すなわち、少なくとも１つのプロセッサに実装されていない）である場合、データベース及び少なくとも１つのプロセッサはまた、それぞれの通信接続を介してこれらの構成要素とネットワーク接続されている（すなわち互いに通信している）。異なる構成要素間の各通信接続は、それぞれ、直接接続又は間接接続であってよい。各通信接続は、有線接続、又は、無線接続であってよい。各適切な通信技術が使用されてよい。配合データベース、少なくとも１つのプロセッサは、それぞれ相互に通信するための１つ以上の通信インタフェースを含んでよい。このような通信は、ファイバ分散データインタフェース（ＦＤＤＩ）、デジタル加入者回線（ＤＳＬ）、イーサネット、非同期転送モード（ＡＴＭ）又はその他の有線伝送プロトコルなどの有線データ伝送プロトコルを用いて実行されてよい。あるいは、通信は、汎用パケット無線サービス（ＧＰＲＳ）、ユニバーサル移動体通信システム（ＵＭＴＳ）、符号分割多重アクセス（ＣＤＭＡ）、ロング・ターム・エボリューション（ＬＴＥ）、無線ユニバーサルシリアルバス（ＵＳＢ）、及び／又はその他の任意の無線プロトコルなど、様々なプロトコルのいずれかを使用して、無線通信ネットワークを介して無線で行われてよい。それぞれの通信は、無線通信及び有線通信を組み合わせたものであってもよい。

【0055】

プロセッサは、タッチスクリーン、音声入力、動作入力、マウス、キーパッド入力及び／又は類似のものなどの１つ以上の入力装置を含んでよく、又はそれらと接続されていてよい。さらに、プロセッサは、オーディオ出力、ビデオ出力、スクリーン／ディスプレイ出力及び／又は類似のものなどの１つ以上の出力装置を含んでよく、又はこれらと接続されていてもよい。

【0056】

本発明の実施形態は、スタンドアロンユニット、又は、例えばインターネット又はイントラネットなどのネットワークを介して、例えばクラウドに配置された中央コンピュータと通信する１つ以上のリモート端末であり得るコンピュータシステムと共に使用されてよく、又は組み込まれていてもよい。このように、本明細書に記載のプロセッサ及び関連の構成要素は、ローカルコンピュータシステムの一部、又はリモートコンピュータ、又はオンラインシステム、又はそれらの組み合わせであってよい。本明細書に記載の配合データベース及びソフトウェアは、コンピュータ内部メモリ又は非一時的コンピュータ可読媒体に格納されていてよい。

【0057】

本開示の範囲内では、データベースは、データ保存ユニットの一部であってよく、又はデータ保存ユニット自体を表してよい。「データベース」及び「データ保存ユニット」という用語は、同義的に使用される。

【0058】

本開示はさらに、コンピュータプログラムがロードされ、少なくとも１つの測定装置、データベース、フィルタリング技術、及び畳み込みニューラルネットワークと通信接続されている少なくとも１つのプロセッサによって実行されるときに、少なくとも以下のステップ：
Ａ． 前記測定装置から、目標コーティングのカラー値、テクスチャ値、及びデジタル画像を受信するステップと、
Ｂ． コーティング組成物の配合と、相関するカラー値と、相関するテクスチャ値と、相関するデジタル画像とを含むデータベースから、前記目標コーティングについて取得された前記カラー値及び／又は前記テクスチャ値に基づいて、１つ以上の予マッチング配合を検索するステップと、
Ｃ． フィルタリング技術を使用することにより、前記目標コーティングの前記取得された画像と前記１つ以上の予マッチング配合と相関する画像のそれぞれについて、前記それぞれの画像内の少なくとも１つの輝点を決定するように画像分析を行うステップと、
Ｄ． 前記受信した画像から、及び前記１つ以上の予マッチング配合に関連付けられた／相関する画像から、各輝点のサブ画像を生成するステップと、
Ｅ． 前記生成されたサブ画像を前記畳み込みニューラルネットワークに提供するステップであって、前記畳み込みニューラルネットワークは、前記それぞれの輝点のそれぞれのサブ画像を顔料及び／又は顔料クラスと関連付けるように、及び、前記それぞれの輝点のそれぞれのサブ画像に基づいて、顔料及び／又は顔料クラスを識別するように学習されている、ステップと、
Ｆ． 前記目標コーティングについて、及び各予マッチング配合について、前記識別された顔料及び／又は顔料クラスの統計をそれぞれ決定し、出力するステップと、
Ｇ． 前記目標コーティングについて決定された前記統計と、前記１つ以上の予マッチング配合について決定された前記統計とを比較するステップと、
Ｈ． 前記１つ以上の予マッチング配合のうち少なくとも１つを、前記目標コーティングにベストマッチングする配合として、決定するステップと、
を実行するように構成されたプログラムコードを備えたコンピュータプログラムを有する非一時的コンピュータ可読媒体にさらに言及する。

【0059】

本発明は、以下の実施例でさらに定義される。これらの実施例は、本発明の好ましい実施形態を示すことにより、説明のためにのみ与えられていることを理解すべきである。上述の議論及び実施例から、当業者は、本発明の本質的な特徴を特定することができ、その精神及び範囲から逸脱することなく、本発明を様々な用途及び条件に適合させるために、本発明の様々な変化及び変更を行うことができる。

【図面の簡単な説明】

【0060】

【図1】標準的なマルチアングル分光器及び／又はカラーカメラ用語に従ってラベル付けされた角度を有する可能な画像ベースの測定ジオメトリを示す図である。

【図2】提案された方法の一実施形態のフロー図を概略的に示す図である。

【図3】図３ａは、所定の画像ベースの測定ジオメトリでキャプチャされた目標コーティングの画像、図３ｂは、図３ａの画像分析中にフィルタリングされた画像、図３ｃは、図３ａの画像内で検出された輝点を示す図である。

【図4】提案された装置の一実施形態を示す図である。

【図5】提案された方法の可能な実施形態に従って、ニューラルネットワーク学習セットがどのように生成されるかを概略的に示す図である。

【図6】提案された方法の別の可能な実施形態に従って、ニューラルネットワーク学習セットがどのように生成されるかを概略的に示す図である。

【図7】提案された方法のさらに別の実施形態で使用されるニューラルネットワークを概略的に示す図である。

【発明を実施する形態】

【0061】

図面の詳細な説明
従来の光分光計及び画像キャプチャ装置は、可能な画像ベースの測定ジオメトリとして、図１に表された光源１１１～１１５及びカメラ１２０を考える。図１は、鏡面角１００に関する光源１１１～１１５の角度を記述するために、業界で受け入れられている用語を使用している。ここでは、従来の数学的標準が使用されている。様々な実施形態において、拡散又はコリメートされた色補正光を使用する従来の光源１１１～１１５が使用されてよく、画像キャプチャ装置（例えば、適切な解像度を有するカラーカメラ）１２０が、光源１１１～１１５の識別された又は同様の角度の１つ、いくつか、又は全てでの照射によって、目標コーティング１３０の画像を収集するために使用され得る。

【0062】

目標コーティングのデジタル画像を得た後、スクラッチなどの欠陥を識別するためにデジタル画像の事前分析を最初に実行することが有用であり得る。したがって、少なくとも１つのフィルタリングユニットと作動的に接続されている電子コンピュータプロセッサを使用して、得られたデジタル画像に対する第１画像分析を行い、画像前景データを画像背景データから分離することによって、各デジタル画像内で少なくとも１つの明るい領域を探し、決定する。その後、各デジタル画像について、ブロブ分析が、該少なくとも１つの明るい領域内で少なくとも１つの破損領域を探して決定するために行われ、少なくとも１つの破損領域が見つかった場合、該少なくとも１つの破損領域は、それぞれのデジタル画像のさらなる分析のためにはマスクされ、それぞれのデジタル画像は拒否され、及び／又は画像キャプチャの繰り返しが開始される。

【0063】

その後の画像分析の過程で、ハイパスフィルタが、画像中の様々なピクセルの中で最も明るい点を決定するために、画像キャプチャ装置から得られた目標コーティングの各画像に、適用され得る。結果として得られるデータ／画像は、明るい場所のみに関する情報を含み得る。ハイパスフィルタは、高い値の中心点と低い値の端点とを有する値のマトリックスを、画像の強度情報のマトリックスに畳み込むことができる。これにより、輝点として識別され得る高輝度ピクセルが分離される。輝点をさらに洗練するために、フィルタリングのエッジ検出方法が強度フィルタリングと組み合わされて適用されてよい。同様の手順が、データベースから検索された１つ以上の予マッチング配合に関連付けられた画像の各々に適用される。

【0064】

図２は、提案された方法の一実施形態を概略的に示している。図２に示されるように、ステップ１０において、少なくとも１つの測定装置を用いて、目標コーティングのカラー値、テクスチャ値、及びデジタル画像を測定／取得した後、１つ以上の予マッチング配合が、ステップ１２において、コーティング組成物の配合と、相関するカラー値と、相関するテクスチャ値と、相関するデジタル画像とを含むデータベースから取得される。１つ以上の予マッチング配合は、目標コーティングについて取得されたカラー値及び／又はテクスチャ値に基づいて検索される。予マッチング配合は、目標コーティングと複数の配合のそれぞれの配合のサンプルコーティングとの間の色差基準によって定義される第１マッチング基準に基づいて、データベースの複数の配合の中から選択される。目標コーティングに関するそれぞれの第１マッチング基準が、予め定義された／予め与えられた閾値よりも小さいか又は等しいそれらの配合は、予マッチング配合として選択される。予マッチング配合として、１つの配合のみが選択されることも可能である。予マッチング配合を選択するためのさらなる基準として、少なくとも１つのテクスチャ差基準、例えばテクスチャ差ｄＳｉ、ｄＳａ、ｄＧの少なくとも１つが、目標コーティングに関連してデータベースの配合のそれぞれのサンプルコーティングについて決定されることができる。色差と少なくとも１つのテクスチャ差は、特に加重和によって合計されることができる。ステップ１４で、前述のように、目標コーティングの取得された画像は、傷などの破損領域を検出し、マスクするために、事前分析を受けることができる。このような事前分析の後、ステップ１６において、上述したような画像分析は、目標コーティングについて取得された画像の各々の輝点と、１つ以上の予マッチング配合に関連付けられ、データベースから検索された画像の各々の輝点とを決定するために用いられる。このような画像分析は、少なくとも１つのフィルタリング技術と連動するコンピュータプロセッサを使用して実行される。輝点が決定され、分離されると、ステップ１８において、取得された画像と、１つ以上の予マッチング配合に関連付けられた画像の中の各輝点の少なくとも１つのサブ画像がそれぞれ生成される。生成されたサブ画像は、ステップ２０において、畳み込みニューラルネットワーク（ＣＮＮ）に提供される。ニューラルネットワークは、それぞれの輝点のそれぞれのサブ画像と、顔料及び／又は顔料クラスとを関連付け、それぞれの輝点のそれぞれのサブ画像に基づいて、顔料及び／又は顔料クラスを識別するように、すなわち出力するように学習される。

【0065】

ステップ２２において、目標コーティング及び各予マッチング配合について、識別された顔料及び／又は顔料クラスのそれぞれの統計がそれぞれ決定され、出力される。そのような出力は、スクリーンなどの表示装置を用いて行われることができる。目標コーティングについて決定された統計は、ステップ２４において、１つ以上の予マッチング配合について決定された統計とそれぞれ比較される。ステップ２６では、１つ以上の予マッチング配合の少なくとも１つが、目標コーティングにベストマッチングするものとして決定される。

【0066】

図３ａは、目標コーティングの元のＨＤＲ（ハイダイナミックレンジ）画像を示している。画像分析では、第１ステップとして、目標コーティングの元の画像の強度値が、画像の構造をできる限り最良に表すために、必要に応じて、分析され、適応される。このようにして、不均一な照明条件から生じ得る攪乱要因が排除され得る。次に、提案された方法の１つの可能な実施形態によれば、画像分析は、画像内の輝点の位置を識別するために、画像セグメンテーション技術を用いる（異なるアルゴリズムが、輝点を識別し、異なる輝点の明るさ及び位置に関する情報を得るために使用され得る）。図３ｂに示すような画像マスクが生成され、画像マスクは、色、テクスチャ、及び／又はそれらのグラデーションに基づいて、輝点位置を識別する。そうすることで、画像は、閾値処理を介して二値画像に変換されることができ、該二値画像は連続領域を用いてさらにセグメント化され、ブロブ検出がこれらのセグメント化で実行される。それぞれの明るさと位置によって表される輝点は、コピーされ、黒い背景を有する空の画像に貼り付けられ、図３ｂに示すような画像マスクが生成される。生成された画像マスク内では、画像の全てのピクセルは、当該ピクセルが輝点の一部でないことを示す「０」、又は当該ピクセルが輝点の一部であることを示す「１」のいずれかによってラベル付けされる。輝点は、黒色の背景に対してはっきりと見える。つまり、フィルタリング／閾値処理により、元の画像（図３ａ）の全ての輝点が、図３ｂに示される画像マスクにおいて、白又は明るいグレーの点として表示される。

【0067】

画像マスクの輪郭検出が、個別の輝点位置のそれぞれについて、接続されたピクセルの境界を識別する。最終検査のため、識別された輝点の輪郭は、図３ｃに示すように、目標コーティングの元の画像に重ねられる。より良く示すために、輝点は、目標コーティングの元の画像の主な色とは別の色で示される。ここでは、目標コーティングの元の画像の主な色は赤（白黒画像ではグレー）であるため、輝点は緑（白黒画像ではライトグレー）で表されている。

【0068】

図５及び図６に示すように、サブ画像は、関連付けられたピクセル位置のための元のＨＤＲ画像から各輝点ＲＧＢデータを抽出し、これらの抽出されたＲＧＢデータを標準画像フレーム（この標準画像フレームのＲＧＢピクセルデータは、定義された背景を提供するために、予め「０」（黒）で初期化されている）の中央に配置することによって、画像内（すなわち画像マスク内）で識別された全ての輝点について、生成される。

【0069】

図４は、目標コーティングのコーティング混合物の顔料及び／又は顔料のクラスを識別するために使用され得る装置４００の実施形態を示している。ユーザー４０は、目標コーティング４３の特性を測定するため、すなわち、カメラによって目標コーティングのデジタル画像をキャプチャする（各画像は異なる画像ベースのテクスチャ測定ジオメトリ、例えば、異なる角度で取得される）ため、及び、例えば分光光度計を使用して異なるスペクトル測定ジオメトリのカラー値及びテクスチャ値を決定するため、グラフィカルユーザーインタフェースなどのユーザーインタフェース４１を利用して少なくとも１つの測定装置４２を作動させることができる。少なくとも１つの測定装置、例えばカメラ４２からのデータは、パーソナルコンピュータ、モバイルデバイス、又は任意のタイプのプロセッサなどのコンピュータ４４に転送されてよい。コンピュータ４４は、ネットワーク４５を介して、サーバ４６と通信してよい、すなわち、通信接続されてよい。ネットワーク４５は、インターネット、ローカルエリアネットワーク、イントラネット、又は無線ネットワークなどの、任意のタイプのネットワークであり得る。サーバ４６は、比較目的のための、本発明の実施形態の方法によって使用されるデータ及び情報を保存することができるデータベース４７と通信している。様々な実施形態において、データベース４７は、例えば、クライアントサーバ環境において、又は、例えば、クラウドコンピューティング環境などのウェブベース環境において利用され得る。本発明の実施形態の方法の様々なステップは、コンピュータ４４及び／又はサーバ４６によって実行され得る。別の態様では、本発明は、コンピュータ又はコンピュータシステムに上記の方法を実行させるためのソフトウェアを含む非一時的コンピュータ可読媒体として実装され得る。ソフトウェアは、プロセッサ及びユーザーインタフェースがここで説明した方法を実行することを可能にするために使用される様々なモジュールを含むことができる。

【0070】

図５は、目標コーティングのコーティング混合物の顔料及び／又は顔料クラスを識別するようにニューラルネットワークを学習するために使用され得るニューラルネットワーク学習セットがどのように生成され得るかの１つの可能性を概略的に示している。一般に、有限数のトナー／効果顔料が与えられる。各効果顔料について、デジタル画像、特にＨＤＲ画像が、当該各効果顔料のみを顔料として含むコーティングからキャプチャされる。これらのデジタル画像は、それぞれの効果顔料に関連付けられ、データベース、すなわちディレクトリ５０１に格納される。ニューラルネットワークを学習する際、各このようなデジタル画像は、輝点を分離するために、前述したように、ステップ５０２でセグメント化される。ステップ５０３では、そのようなデジタル画像の識別された輝点が、元の画像に重ねられる。ステップ５０４では、各輝点のサブ画像がデジタル画像から生成される。そうすることで、各輝点について、ＲＧＢデータが、関連付けられたピクセル位置について元のＨＤＲ画像から抽出され、標準画像フレームの中央に配置される（この標準画像フレームのＲＧＢピクセルデータは、定義された背景を提供するために、予め「０」（黒）で初期化されている）。ここに示す場合では、サブ画像５０４－１、５０４－２、５０４－３は、黒い背景のデジタル画像から生成される。どの顔料がコーティングによって含まれているかが分かっているため、ステップ５０５では、生成された全てのサブ画像はそれぞれの顔料と明確に関連付けられ、それぞれの顔料のフォルダ５０６に格納されることができる。全ての顔料のフォルダは、ディレクトリ５０７に格納される。このように、入力ニューロン、すなわち入力画像、特に各々が正確に１つの顔料を含むコーティングのそれぞれのサブ画像、ならびに、出力ニューロン、すなわちコーティングによって含まれるそれぞれの顔料は既知であり、ニューラルネットワークを学習させるために使用されることが可能である。

【0071】

図６は、目標コーティングのコーティング混合物の顔料及び／又は顔料クラスを識別するようにニューラルネットワークを学習するために使用され得るニューラルネットワーク学習セットがどのように生成され得るかの別の可能性を概略的に示している。一般に、有限数のトナー／効果顔料が与えられる。各効果顔料について、デジタル画像が、当該各効果顔料のみを顔料として含むコーティングからキャプチャされる。これらのデジタル画像は、それぞれの効果顔料及び／又は顔料クラスに関連付けられ／相関し、データベース、すなわちディレクトリ６０１に格納される。ニューラルネットワークを学習する際、このような各デジタル画像は、ステップ６０２で輝点を分離するために、画像上を移動する、すなわち、画像の左から右へ、上から下へ、ピクセルを見つけながらピクセルからピクセルに移動するフレームによって重ねられる。ステップ６０３では、各輝点のサブ画像がデジタル画像から生成される。ここに示した場合では、サブ画像６０３－１、６０３－２、６０３－３が、動画フレームを抽出することにより、デジタル画像からそれぞれ生成される。どの顔料がコーティングによって含まれているかが分かっているため、ステップ６０４では、生成された全てのサブ画像はそれぞれの顔料及び／又は顔料クラスと明確に関連付けられ、それぞれの顔料／又は顔料クラスのフォルダ６０５に格納されることができる。全ての顔料／又は顔料クラスのフォルダは、ディレクトリ６０６に格納される。このように、入力ニューロン、ならびに出力ニューロンは既知であり、ニューラルネットワークを学習するために使用されることが可能である。

【0072】

図７は、目標コーティングのコーティング混合物の顔料及び／又は顔料クラスを識別するために使用されることができる畳み込みニューラルネットワーク７００を示している。この文脈で使用される１つのニューラルネットワークは、バックプロパゲーション（逆伝播法）と呼ばれる学習方法に基づいている。ニューラルネットワークのニューロンは、層状に構成されている。これらは、入力ニューロンを有する層（入力層）、出力ニューロンを有する層（出力層）、及び１つ以上の内部層を含む。出力ニューロンは、決定される塗料配合の顔料又は顔料クラスである。ニューラルネットワークに使用される入力ニューロンは、目標コーティングのデジタル画像で、及び／又は、目標コーティングにマッチングする１つ以上の予配合に関連付けられたデジタル画像で予め決定された輝点から生成されたサブ画像である。一般に、畳み込みニューラルネットワーク（ＣＮＮ）は、その層（複数）の少なくとも１つにおいて、一般的なマトリックスの乗算に代えて畳み込みを用いるニューラルネットワークである。畳み込みニューラルネットワークは、入力層７０１、及び出力ソフトマックス層７０６、ならびに特徴学習と分類の内部層からなる。ＣＮＮの特徴学習セクションは、典型的には、乗算又は他のドット積で畳み込む一連の畳み込み層７０３からなる。アクティベーションファンクションは一般にＲＥＬＵ（ｒｅｃｔｉｆｉｅｄ ｌｉｎｅａｒ ｕｎｉｔ）層であり、畳み込みの次元を減らすプーリング層７０４によって後続される。ＣＮＮの分類セクションは、全結合層７０２と、マルチクラス確率を計算するための出力ソフトマックス層７０６からなる。ニューラルネットワーク７００は、学習例がニューラルネットワークに提示されると、畳み込み層及びデンス層の重みを調整することによって、実際の出力と予測された出力との間の誤差を最小化するバックプロパゲーション（逆伝播法）アルゴリズムを用いて学習させられる。

【0073】

入力ニューロンは、目標コーティングのデジタル画像から、及び／又は、１つ以上の予マッチング配合に関連付けられた画像としてデータベースから検索された画像から抽出されたサブ画像７０５によって与えられる。ニューラルネットワーク７００は、図５及び図６に例示的に記載されているように、学習データによって予め学習されている。それらのサブ画像７０５は、ニューラルネットワーク７００を介して、顔料及び／又は顔料クラス７０６に割り当てられる。

【0074】

本発明の実施形態は、テクスチャパラメータ、例えば色相、強度、サイズ及び／又は反射率データを用いて顔料識別のための他の方法と組み合せて使用されることができることを理解されたい。様々な実施形態において、未知のコーティング又は目標コーティングにおいて使用されているトナーの種類、又はそのオフセットを適切に識別するために、正確な角度を観察し、前もって生成されたデータベース内の既存の既知のトナーと比較することが望ましい。トナーの二元混合物は、トナーの様々な濃度がその輝きカラー属性に与える影響を評価するために、生成されることができる。

【符号の説明】

【0075】

１００ 鏡面角
１１１ 光源
１１２ 光源
１１３ 光源
１１４ 光源
１１５ 光源
１２０ カメラ
１３０ 目標コーティング
１０ 方法ステップ
１２ 方法ステップ
１４ 方法ステップ
１６ 方法ステップ
１８ 方法ステップ
２０ 方法ステップ
２２ 方法ステップ
２４ 方法ステップ
２６ 方法ステップ
４００ 装置
４０ ユーザー
４１ ユーザーインタフェース
４２ 測定装置
４３ 目標コーティング
４４ コンピュータ
４５ ネットワーク
４６ サーバ
４７ データベース
５０１ ディレクトリ
５０２ 輝き画像セグメンテーション
５０３ ＨＤＲイメージに重ねられた輪郭
５０４ 各輝点のサブ画像の生成
５０４－１ 輝点のサブ画像
５０４－２ 輝点のサブ画像
５０４－３ 輝点のサブ画像
５０５ サブ画像と顔料との関連付け
５０６ フォルダ
５０７ ディレクトリ
６０１ ディレクトリ
６０２ デジタル画像上でフレームを移動するステップ
６０３ 各輝点のサブ画像の生成
６０３－１ サブ画像
６０３－２ サブ画像
６０３－３ サブ画像
６０４ サブ画像と顔料との関連付け
６０５ フォルダ
６０６ ディレクトリ
７００ ニューラルネットワーク
７０１ 入力層
７０２ 全結合層
７０３ 畳み込み＋ＲＥＬＵ層
７０４ プーリング層
７０５ サブ画像
７０６ ソフトマックス層

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【手続補正書】

【提出日】2022-07-19

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】請求項８

【補正方法】変更

【補正の内容】

【請求項8】

少なくとも：
－ コーティング組成物の配合と、相関するカラー値と、相関するテクスチャ値と、相関するデジタル画像とを含む、データベースと、
－ 少なくとも１つのプロセッサであって、少なくとも１つの測定装置、前記データベース、少なくとも１つのフィルタリング技術、及び畳み込みニューラルネットワークと通信接続され、少なくとも以下のステップ：
ａ． 前記測定装置から、目標コーティングのカラー値、テクスチャ値及びデジタル画像を受信するステップと、
ｂ． 前記目標コーティングについて受信した前記カラー値及び／又は前記テクスチャ値に基づいて、前記データベースから１つ以上の予マッチング配合を検索するステップと、
ｃ． 前記フィルタリング技術を使用することにより、前記目標コーティングの受信した画像及び前記１つ以上の予マッチング配合と相関する画像のそれぞれについて、前記それぞれの画像内の少なくとも１つの輝点を決定するための画像分析を実行するステップと、
ｄ． 前記受信した画像から、及び、前記１つ以上の予マッチング配合と相関する画像から、各輝点のサブ画像を生成するステップと、
ｅ． 前記生成されたサブ画像を畳み込みニューラルネットワークに提供するステップであって、前記畳み込みニューラルネットワークは、それぞれの輝点のそれぞれのサブ画像を顔料及び／又は顔料クラスと関連付け、前記それぞれの輝点の前記それぞれのサブ画像に基づいて、顔料及び／又は顔料クラスを識別するように学習されている、ステップと、
ｆ． 前記目標コーティングと各予マッチング配合について、前記識別された顔料及び／又は顔料クラスの統計をそれぞれ決定し、出力するステップと、
ｇ． 前記目標コーティングについて決定された統計と、前記１つ以上の予マッチング配合について決定された統計とを比較するステップと、
ｈ． 前記１つ以上の予マッチング配合のうち少なくとも１つを、前記目標コーティングとベストマッチングする配合として決定するステップと、
を実行するようにプログラムされた少なくとも１つのプロセッサと、
を含む装置。

【国際調査報告】