特許 7403006 目標コーティング中の効果顔料を識別するための方法及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-12-13

(45)【発行日】2023-12-21

(54)【発明の名称】目標コーティング中の効果顔料を識別するための方法及び装置

(51)【国際特許分類】

   G06T 7/11 20170101AFI20231214BHJP

   G06T 7/00 20170101ALI20231214BHJP

【ＦＩ】

G06T7/11

G06T7/00 350C

【請求項の数】 15

(21)【出願番号】P 2022573227

(86)(22)【出願日】2021-05-20

(65)【公表番号】

(43)【公表日】2023-06-28

(86)【国際出願番号】 EP2021063564

(87)【国際公開番号】W WO2021239593

(87)【国際公開日】2021-12-02

【審査請求日】2023-01-10

(31)【優先権主張番号】20176958.5

(32)【優先日】2020-05-27

(33)【優先権主張国・地域又は機関】EP

(73)【特許権者】

【識別番号】390008981

【氏名又は名称】ビーエーエスエフ コーティングス ゲゼルシャフト ミット ベシュレンクテル ハフツング

【氏名又は名称原語表記】ＢＡＳＦ Ｃｏａｔｉｎｇｓ ＧｍｂＨ

【住所又は居所原語表記】Ｇｌａｓｕｒｉｔｓｔｒａｓｓｅ １， Ｄ－４８１６５ Ｍｕｅｎｓｔｅｒ，Ｇｅｒｍａｎｙ

(74)【代理人】

【識別番号】100100354

【弁理士】

【氏名又は名称】江藤 聡明

(74)【代理人】

【識別番号】100167106

【弁理士】

【氏名又は名称】倉脇 明子

(74)【代理人】

【識別番号】100194135

【弁理士】

【氏名又は名称】山口 修

(74)【代理人】

【識別番号】100206069

【弁理士】

【氏名又は名称】稲垣 謙司

(74)【代理人】

【識別番号】100185915

【弁理士】

【氏名又は名称】長山 弘典

(72)【発明者】

【氏名】ボーマン，ドナルド アール

(72)【発明者】

【氏名】ビショフ，グイド

(72)【発明者】

【氏名】レオポルト，マシュー

(72)【発明者】

【氏名】マクガッキン，ジェシカ ジェイ

(72)【発明者】

【氏名】スコット，スチュワート ケイ

【審査官】片岡 利延

(56)【参考文献】

【文献】特開２０１２－２２６７６３（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１６／０１１７８４４（ＵＳ，Ａ１）

【文献】特表２０１７－５３５７７１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／１１

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

コンピュータに実装される方法であって、少なくとも以下のステップ：
－ デジタル画像と、それぞれのデジタル画像に関連付けられた既知の顔料及び／又は顔料クラスを有するコーティング組成物のそれぞれの配合式とを提供するステップと、
－ 各画像について、少なくとも１つの画像セグメンテーション技術を使用し、それぞれの画像をピクセル単位で視覚的に吟味することによって、各ピクセルを分類し、視覚的外観及びそれぞれの画像と関連付けられた配合式と整合するように、顔料ラベル及び／又は顔料クラスラベルで各ピクセルに注釈付けをするための画像注釈ツール（３００）を構成するステップと、
－ 各画像（３０１）について、関連付けられたピクセル単位の注釈付けされた画像（３０３）を提供するステップと、
－ 前記提供されたデジタル画像を入力として、及び関連付けられたピクセル単位の注釈付けされた画像を出力として、少なくとも１つのコンピュータプロセッサ（４４，４６）上で実装及び実行される第１ニューラルネットワーク（３１０）に学習させるステップであって、前記第１ニューラルネットワーク（３１０）は、それぞれの関連付けられた注釈付けされた画像（３０３）の顔料ラベル及び／又は顔料クラスラベルで、それぞれの入力画像（３０１）の全てのピクセルを関連付けるように学習させられる、ステップと、
－ 前記学習させられた第１ニューラルネットワークを、目標コーティング（４３）の少なくとも１つの未知の入力画像に適用するために、及び、顔料ラベル及び／又は顔料クラスラベルを前記少なくとも１つの未知の入力画像の各ピクセルに割り当てるために、前記学習させられた第１ニューラルネットワーク（３１０）を前記少なくとも１つのコンピュータプロセッサ（４４，４６）で利用可能にするステップであって、前記顔料ラベル及び／又は顔料クラスラベルは、顔料又は顔料クラスの特定のラベルと背景の特定のラベルの両方を含む、ステップと、
－ 各入力画像について、前記割り当てられた顔料ラベル及び／又は顔料クラスラベルに基づいて、対応する識別された顔料及び／又は顔料クラスの統計値を、それぞれ決定及び／又は出力する、ステップと、
を含む、方法。

【請求項2】

前記少なくとも１つの画像セグメンテーション技術は、少なくとも：ニューラルネットワークベースの方法、閾値法、エッジベースの方法、クラスタリング方法、ヒストグラムベースの方法、ハイブリッド方法、及びそれらの組み合わせを含む群から選択される、請求項１に記載の方法。

【請求項3】

デジタル画像を提供するステップと、デジタル画像をピクセル単位で分類するステップは、以下のステップ：
－ 既知の顔料及び／又は顔料クラスを有するコーティング組成物の配合式と、それぞれの配合式に関連付けられたデジタル画像とを含むデータベース（４７）を提供するステップと、
－ 各配合式及びその配合式に関連付けられたデジタル画像について、前記少なくとも１つの画像セグメンテーション技術の少なくとも１つと作動的に連動する少なくとも１つのコンピュータプロセッサ（４４，４６）を使用して、少なくとも１つの輝点及びそれぞれの画像内でのその位置を識別するために画像解析を実行するステップと、
－ 各識別された輝点の各画像について、前記少なくとも１つの画像分類技術と作動的に連動する少なくとも１つのコンピュータプロセッサ（４４，４６）を使用して分類するステップと、
－ 前記少なくとも１つの画像セグメンテーション技術の少なくとも１つの局所的セグメンテーション技術を使用して、それぞれの画像をピクセル単位で視覚的に吟味することにより、前記画像注釈ツール（３００）で各画像内の誤った分類を修正するステップと、
を有する、請求項１又は２に記載の方法。

【請求項4】

前記識別された輝点を分類するステップは第２ニューラルネットワークを使用して行われ、少なくとも以下のステップ：
－ それぞれの画像から、識別された各輝点のサブ画像を作成するステップと、
－ 前記サブ画像をそれぞれの入力として第２ニューラルネットワークへ提供するステップであって、前記第２ニューラルネットワークは、それぞれの輝点のそれぞれのサブ画像を顔料及び／又は顔料クラスと相関させるように学習させられるステップと、
－ 前記第２ニューラルネットワークから、それぞれのサブ画像に関連付けられた識別された輝点ごとに、それぞれの出力として相関する顔料及び／又は顔料クラスを取得するステップと、
－ 前記第２ニューラルネットワークのそれぞれの出力に基づいて、画像ごとに識別された輝点のそれぞれを分類するステップと、
を含む、請求項３に記載の方法。

【請求項5】

以下のステップ：
－ １つ以上の予マッチング配合式について決定されたそれぞれの統計値と比較することにより、前記識別された顔料及び／又は顔料クラスの統計値を、前記目標コーティングのデータベース探索の追加情報として使用するステップと、
－ 前記１つ以上の予マッチング配合式のうち少なくとも１つを、前記目標コーティングに最もマッチする配合式として決定するステップと、
をさらに含む、請求項１～４のいずれか１項に記載の方法。

【請求項6】

以下のステップ：
－ 前記識別された顔料及び／又は顔料クラスの統計値を、目標コーティングにマッチングする組成物を開発するためのフィルタ及び適合アルゴリズムの一部として使用するステップ、
をさらに含む、請求項１～４のいずれか１項に記載の方法。

【請求項7】

デジタル画像をピクセル単位で分類するステップは、前記画像注釈ツール（３００）においてそれぞれの注釈付けの視覚的吟味と手動入力によって実行及び／又は補完される、請求項１～６のいずれか１項に記載の方法。

【請求項8】

前記第１ニューラルネットワーク（３１０）は、ピクセル単位のセグメンテーション畳み込みニューラルネットワークとして選択され、特に、前記第１ニューラルネットワーク（３１０）は、以下のニューラルネットワーク：Ｕ－ｎｅｔ、ＳｅｇＮｅｔのうちの少なくとも１つをベースとし及び／又はそれとして実現される、請求項１～７のいずれか１項に記載の方法。

【請求項9】

－ 既知の顔料及び／又は顔料クラスを有するコーティング組成物の配合式と、それぞれの配合式に関連付けられたデジタル画像とを含むデータベース（４７）と、
－ 少なくとも１つのコンピュータプロセッサ（４４，４６）であって、前記コンピュータプロセッサ（４４，４６）は、前記データベース（４７）、少なくとも１つの画像セグメンテーション技術、画像注釈ツール（３００）、及び少なくとも１つのニューラルネットワーク（３１０）と通信接続され、少なくとも以下のステップ：
ａ） 前記データベースから、デジタル画像と、それぞれの画像に関連付けられた既知の顔料及び／又は顔料クラスを有するコーティング組成物のそれぞれの配合式と、を検索するステップと、
ｂ） 各画像について、前記少なくとも１つの画像セグメンテーション技術を使用し、前記それぞれの画像をピクセル単位で視覚的に吟味することによって、各ピクセルを分類し、視覚的外観及び前記それぞれの画像に関連付けられた配合式と整合するように、顔料ラベル及び／又は顔料クラスラベルで各ピクセルに注釈付けをするように前記画像注釈ツール（３００）を構成するステップと、
ｃ） 各画像（３０１）について、関連付けられた注釈付けされた画像（３０３）を提供するステップと、
ｄ） 前記データベース（４７）からのデジタル画像を入力として、前記関連付けられた注釈付けされた画像を出力として、第１ニューラルネットワーク（３１０）に学習させるステップであって、前記第１ニューラルネットワーク（３１０）は、それぞれの入力画像の全てのピクセルを、それぞれの関連付けられた注釈付けされた画像の顔料ラベル及び／又は顔料クラスラベルに関連付けるように学習させられる、ステップと、
ｅ） 前記学習させられた第１ニューラルネットワークを、目標コーティング（４３）の未知の入力画像に適用するために、及び、顔料ラベル及び／又は顔料クラスラベルを、前記未知の入力画像の各ピクセルに割り当てるために、前記学習させられた第１ニューラルネットワークを利用可能にするステップであって、前記顔料ラベル及び／又は顔料クラスラベルは、顔料又は顔料クラスの特定のラベルと背景の特定のラベルの両方を含んでいる、ステップと、
ｆ） 各入力画像について、割り当てられた顔料ラベル及び／又は顔料クラスラベルに基づいて、対応する識別された顔料及び／又は顔料クラスの統計値を、それぞれ決定及び／又は出力する、ステップと、
を実行するようにプログラムされている、少なくとも１つのコンピュータプロセッサ（４４，４６）と、
を有する装置。

【請求項10】

前記少なくとも１つの画像セグメンテーション技術は、少なくとも：手動画像セグメンテーション方法、ニューラルネットワークベースの方法、閾値法、エッジベースの方法、クラスタリング方法、ヒストグラムベースの方法、ハイブリッド方法、及びそれらの組み合わせを含む群のうちの１つである、請求項９に記載の装置。

【請求項11】

前記第１ニューラルネットワークは、ピクセル単位のセグメンテーション畳み込みニューラルネットワークであり、特に、前記第１ニューラルネットワーク（３１０）は、以下のニューラルネットワーク：Ｕ－ｎｅｔ、ＳｅｇＮｅｔのうちの少なくとも１つをベースとし及び／又はそれとして実現される、請求項９又は１０に記載の装置。

【請求項12】

入力画像ごとに、それぞれの入力画像に関連付けられた注釈付けされた画像によって補完されて、識別された顔料及び／又は顔料クラスの統計値をそれぞれ出力するように構成された出力ユニットをさらに備える、請求項９～１１のいずれか１項に記載の装置。

【請求項13】

前記画像注釈ツール（３００）は、露出調整バーを有する元のデジタル画像と、関連付けられた注釈付けされた画像と、関連付けられた注釈付けされた画像を形成するために、元のデジタル画像に注釈付けをするために選択され得る利用可能なラベルと、を表示する、請求項９～１２のいずれか１項に記載の装置。

【請求項14】

請求項１～８のいずれか１項に記載の方法を実行するように構成された、請求項９～１３のいずれか１項に記載の装置。

【請求項15】

プログラムコードを有するコンピュータプログラムを有する非一時的コンピュータ可読媒体であって、前記プログラムコードは、コンピュータプログラムがロードされ、少なくとも１つの画像セグメンテーション技術と、画像注釈ツール（３００）と、少なくとも１つのニューラルネットワーク（３１０）と、既知の顔料及び／又は顔料クラスを有するコーティング組成物の配合式とそれぞれの配合式に関連付けられたデジタル画像とを含むデータベース（４７）と、に通信接続された少なくとも１つのコンピュータプロセッサ（４４，４６）によって実行されたときに、少なくとも以下のステップ：
Ａ） 前記データベースから、デジタル画像と、それぞれの画像に関連付けられた既知の顔料及び／又は顔料クラスを有するコーティング組成物のそれぞれの配合式と、を受信するステップと、
Ｂ） 各画像について、前記少なくとも１つの画像セグメンテーション技術を使用し、前記それぞれの画像をピクセル単位で視覚的に吟味することによって、各ピクセルを分類し、視覚的外観及び前記それぞれの画像に関連付けられた配合式と整合するように、顔料ラベル及び／又は顔料クラスラベルで各ピクセルに注釈付けをするように前記画像注釈ツール（３００）を構成するステップと、
Ｃ） 各画像について、関連付けられた注釈付けされた画像を提供するステップと、
Ｄ） 前記データベース（４７）からのデジタル画像を入力として、前記関連付けられた注釈付けされた画像を出力として、第１ニューラルネットワーク（３１０）に学習させるステップであって、前記第１ニューラルネットワーク（３１０）は、それぞれの入力画像の全てのピクセルを、それぞれの関連付けられた注釈付けされた画像の顔料ラベル及び／又は顔料クラスラベルに関連付けるように学習させられる、ステップと、
Ｅ） 前記学習させられた第１ニューラルネットワーク（３０１）を、目標コーティング（４３）の未知の入力画像に適用するために、及び、顔料ラベル及び／又は顔料クラスラベルを、前記未知の入力画像の各ピクセルに割り当てるために、前記学習させられた第１ニューラルネットワークを利用可能にするステップであって、前記顔料ラベル及び／又は顔料クラスラベルは、顔料又は顔料クラスの特定のラベルと背景の特定のラベルの両方を含んでいる、ステップと、
Ｆ） 各入力画像について、割り当てられた顔料ラベル及び／又は顔料クラスラベルに基づいて、対応する識別された顔料及び／又は顔料クラスの統計値を、それぞれ決定及び／又は出力する、ステップと、
を実行するように構成され及びプログラムされている、非一時的コンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、デジタル画像のセマンティックセグメンテーションを使用して、目標コーティング中の効果顔料を識別するためのコンピュータ実装方法及び装置に関する。

【背景技術】

【0002】

自動車用コーティングなどの目標コーティングに存在する効果顔料とレベルの識別は、配合及び測定のデータベースから最適な配合式を選択し、その配合式を最適なカラーマッチングに調整することのための、主要なカラーマッチングの課題である。

【0003】

今日、色探索と検索処理に関して、例えば粗さ、輝き面積、輝き強度、輝き等級及び／又は輝き色変化／分布などの追加的特徴は、与えられた目標色／目標コーティングの最適解を見つけるための、色情報の他の付帯条件として使用されている。これらの追加的特徴は、色のテクスチャ外観の様々な視覚的特性の指標である。

【0004】

従来技術は、Ｂｙｋ－Ｇａｒｄｎｅｒ社によって導入された、テクスチャ値Ｇｄｉｆｆ（拡散粒状性又は粗さ）、Ｓｉ（輝き強度）、及びＳａ（輝き面積）を計算するために、黒白画像能力を有する分光光度計を使用していた。これはコーティングのテクスチャを特徴付けることに対する良い第一歩であったが、配合中の特定の効果顔料を識別する能力は限定的であった。

【0005】

これらの特徴は、Ｘｒｉｔｅ ＭＡ－Ｔ６（登録商標）、ＭＡ－Ｔ１２（登録商標）、又はＢｙｋ ｍａｃ ｉ（登録商標）などの現在の光分光計機器によってキャプチャされた目標コーティングの画像生データから得られる。画像生データは、画像処理アルゴリズムによって処理される。これらのアルゴリズムの出力として、目標コーティングのテクスチャの光学特性を表すテクスチャ特徴、すなわち、テクスチャ値が得られる。これらのテクスチャ値は、既知の業界標準に従って分類される。

【0006】

複雑なコーティング混合物の性質により、許容可能なマッチングする配合及び／又は顔料を配合、識別、及び／又は探索することは、時には困難である。理想的には、人間が複雑なコーティング混合物を見て、コーティング混合物内の適切な顔料を決定することができればよい。しかしながら、現実には、コーティング混合物内の顔料は、マッチングするコーティングを作るために利用されるべき塗料システムのトナーセットの形ですぐに利用できない場合がある。したがって、カラーマッチングの熟練者は、塗料システムが適切なオフセットを含むかどうかについての判断をしなければならず、もしそうであれば、元の色素形成と同一ではないとして、オフセットに対応するために行う必要のある追加の変更を決定する必要がある。

【0007】

未知の目標コーティングを測定することができ、目標コーティングの測定データに基づいて、データベース内で最もマッチングするコーティング配合式をデータベースで検索することができ、及び／又は目標コーティングの測定データに基づいて、新しいコーティング配合式を作成することができる方法及び装置を有することが望ましい。しかしながら、現在のところ、既知のシステムは、色又はバルク効果顔料のタイプを決定することができるだけであり、一般には、未知の目標コーティングにマッチングするために必要な、例えば、特定のパールを決定することを支援することはできない。

【0008】

カメラ及び／又は分光計を使用し、任意に目標コーティングの顕微鏡評価と組み合わされた既知の技術は、一般に、新しい効果色素形成又は複雑な混合物に効率的に対処するために適切に画定されておらず、目標コーティングの個々の評価、すなわち、ケースごとの分析に主に焦点が当てられており、これは新しい未知の目標コーティングごとに全ての分析ステップを通過する必要があるため、非常に時間のかかるプロセスである。したがって、このような時間のかかるプロセスは、マッチングする配合式の提供と組み合わされた目標コーティングの時間効率の良い分析を必要とする適用のための課題に、十分に対処できない可能性がある。

【0009】

さらに、様々なテクスチャを表す塗装サンプル又は仮想サンプルを使用し、それらを未知の目標コーティングと比較する戦略もある。しかし、このような技術は、実質的なユーザの介入を必要とすることが多く、そのため主観的であり、一貫性のない結果をもたらす可能性がある。

【0010】

米国特許ＵＳ９，９０５，０２７Ｂ２に記載された技術は、輝き色分布を決定するための色相分析を追加することによって技術を改善した。この進歩は、カラーマッチング能力を改善するが、色画像からの限られた特徴セットしか利用できない。欧州特許出願(出願番号１９２０９１１９)「Ｍｅｔｈｏｄ ａｎｄ ｄｅｖｉｃｅ ｆｏｒ ｉｄｅｎｔｉｆｉｃａｔｉｏｎ ｏｆ ｅｆｆｅｃｔ ｐｉｇｍｅｎｔｓ ｉｎ ｔｈｅ ｔａｒｇｅｔ ｃｏａｔｉｎｇ」は、輝点を識別する画像セグメンテーションと、顔料及び／又は顔料クラスの識別のための畳み込みニューラルネットワークとを使用している。これは、効果コーティング画像における隠れた特徴の抽出を可能にするが、しかしまだ、隣接する輝点、フィルム中のより深い輝点、色収差、コーティングの欠陥などによっていくつかの誤分類を有している。その点の他に、学習データの効果的な生成が、１種類の効果顔料のみを含む色の測定値に基づくようにのみ意図されていた。そのため、ニューラルネットワークは、１つの色における異なる種類の効果顔料間の相互作用、例えば、ホワイトパール顔料が重なっているアルミニウム顔料間の相互作用を学習することができなかった。

【発明の概要】

【発明が解決しようとする課題】

【0011】

したがって、異なる種類の効果顔料間の相互作用を考慮して、効果顔料を含む未知の目標コーティングを、効率的に分析するのに適した方法及び装置が必要とされている。

【課題を解決するための手段】

【0012】

上述の目的は、それぞれの独立請求項の特徴を有する方法及び装置によって解決される。さらなる実施形態は、以下の説明及びそれぞれの従属請求項によって示される。

【0013】

本開示は、方法、特にコンピュータに実装される方法に言及し、前記方法は少なくとも以下のステップ：
－ デジタル画像と、それぞれのデジタル画像に関連付けられた既知の顔料及び／又は顔料クラスを有するコーティング組成物のそれぞれの配合式を提供するステップと、
－ 各画像について、少なくとも１つの（局所）セグメンテーション技術を使用し、それぞれの画像をピクセル単位で視覚的に吟味することによって、各ピクセルを分類し、顔料ラベル及び／又は顔料クラスラベルで各ピクセルに注釈付けをし、すなわち、視覚的外観及びそれぞれの画像と関連付けられた配合式と整合するように、各ピクセルを顔料及び／又は顔料クラス及び／又は背景に帰属させる画像注釈ツールを構成するステップと、
－ 各画像について、関連付けられたピクセル単位の注釈付けされた画像を提供するステップと、
－ デジタル画像を入力（すなわち入力画像）として、及び関連付けられたピクセル単位の注釈付けされた画像を出力（すなわち出力画像）として、少なくとも１つのコンピュータプロセッサ上で実装及び実行される第１ニューラルネットワークに学習させるステップであって、前記第１ニューラルネットワークは、それぞれの関連付けられた注釈付けされた画像の顔料ラベル及び／又は顔料クラスラベルで、それぞれの入力画像の全てのピクセルを分類／関連付けるように学習させられる、ステップと、
－ 前記学習させられた第１ニューラルネットワーク（すなわち入力画像及び出力顔料及び／又は顔料クラス間の学習された相関関係）を、目標コーティングの少なくとも１つの未知の入力画像に適用するために、及び、顔料ラベル及び／又は顔料クラスラベルを前記少なくとも１つの未知の入力画像の各ピクセルに割り当てるために、前記学習させられた第１ニューラルネットワークを前記少なくとも１つのコンピュータプロセッサで利用可能にするステップであって、前記顔料ラベル及び／又は顔料クラスラベルは、顔料又は顔料クラスの特定のラベルと背景の特定のラベルの両方を含む、ステップと、
－ 各入力画像について、前記割り当てられた顔料ラベル及び／又は顔料クラスラベルに基づいて、対応する識別された顔料及び／又は顔料クラスの統計値を、それぞれ決定及び／又は出力する、ステップと、
を含む。

【0014】

画像注釈ツールは、ユーザが、視覚的外観並びにそれぞれの画像に関連付けられた表示された配合式と整合するように、それぞれの画像の各ピクセルにラベル、すなわちラベルレパートリーの顔料ラベル及び／又は顔料クラスラベルでそれぞれの画像の各ピクセルを注釈付けできるように、顔料ラベル及び／又は顔料クラスラベルのラベルレパートリーを提供し、その関連付けられた配合式とともに各デジタル画像を（元の外観で）表示するよう設計されている。画像注釈ツールは、元のデジタル画像と関連付けられた注釈付けされた画像の両方を表示する。画像注釈ツールは、露出調整バーを有する元のデジタル画像を表示することができる。さらに、画像注釈ツールは、それぞれの画像のそれぞれのピクセルに注釈を付けるために使用される得る使用可能なラベル、すなわち、使用可能な顔料ラベル及び／又は顔料クラスラベルのレパートリーを表示する。注釈としてそれぞれの画像に設定され得る各ラベルは、特定の顔料及び／又はそれぞれの画像の背景を含む顔料クラスのいずれかに割り当てられている。したがって、各ラベルは、各ラベルによって注釈付けされる各ピクセルの明確な割り当てを示す。

【0015】

デジタル画像と、それぞれのデジタル画像に関連付けられた既知の顔料及び／又は顔料クラスを有するコーティング組成物のそれぞれの配合式を提供するステップは、既知の顔料及び／又は顔料クラスによるコーティング組成物の配合式と、それぞれの配合式と関連付けられたデジタル画像と、を含むデータベースを提供することによって実現されることが可能である。

【0016】

一般に、提案された方法は３つの主要なステップ／フェーズを含む。第一に、学習データは、入力として（すなわち入力画像として）既知の処方のデジタル画像、及び、出力として（すなわち出力画像として）関連付けられたピクセル単位の注釈付けされたデジタル画像について、準備される。第二に、第１ニューラルネットワークは準備された学習データで学習させられ、最終的に、学習させられた第１ニューラルネットワークは、色素形成に関する情報、特に目標コーティングの効果顔料に関する情報を取得するために、未知の配合式を有する目標コーティングの画像データに適用される。

【0017】

「配合式」及び「配合」という用語は、本明細書では同義的に使用される。「画像」及び「デジタル画像」という用語は、本明細書では同義的に使用される。「セグメンテーション技術」及び「画像セグメンテーション技術」という用語は、本明細書では同義的に使用される。「作動的に連動して」という表現は、それぞれの構成要素、すなわち、コンピュータプロセッサと少なくとも１つの画像セグメンテーション技術、及びコンピュータプロセッサと少なくとも１つの画像注釈ツールが、コンピュータプロセッサが少なくとも１つの画像セグメンテーション技術及び／又は少なくとも１つの画像注釈ツールを制御／操作できるように、及び／又は、少なくとも１つの画像セグメンテーション技術及び／又は少なくとも１つの画像注釈ツールがそれぞれの結果をコンピュータプロセッサにそれぞれ通信できるように、互いに通信状態にあるということを意味する。「関連付けられた」及び「相互に関連付けられた」という用語は、同義的に使用される。両方の用語は、互いに関連付けられた／相互に関連付けられた構成要素の一体性を示す。

【0018】

提案された方法の一実施形態によれば、本方法は、さらに以下のステップ：
－ １つ以上の予マッチング配合式について決定されたそれぞれの統計値と比較することにより、前記識別された顔料及び／又は顔料クラスの統計値を、前記目標コーティングのデータベース探索の追加情報として使用するステップと、
－ 前記１つ以上の予マッチング配合式のうち少なくとも１つを、前記目標コーティングに最もマッチする配合式として決定するステップと、
を含む。

【0019】

１つ以上の予マッチング配合式は、さらなるマッチング基準、例えば、１つ以上の予マッチング配合式の色及び／又はテクスチャ値を使用して、目標コーティングの色及び／又はテクスチャ値に関して、特に色マッチ指標（ｄＥ^＊など）及び／又はテクスチャマッチ指標（ｄＳ、ｄＧなど）及び／又は目標コーティングの反射率曲線と１つ以上の予マッチング配合式の間の類似性を定義するマッチ指標（類似指数ＳＩなど）とともに決定され得る。さらに、前述のマッチ指標の任意の組み合わせを使用することができる。このように、統計値は、配合データベース内の目標色、すなわち目標コーティングの色探索アルゴリズム内の追加情報として使用される。

【0020】

提案された方法のさらなる態様によれば、本方法は、さらに以下のステップ：
－ 識別された顔料及び／又は顔料クラスの統計値を、最初からのマッチングにおける追加情報として使用するステップ、
を含む。

【0021】

統計値は、カラーマッチングアルゴリズム内の追加情報、例えば効果顔料の事前選択又は拘束(constraint)として使用されることができる。

【0022】

学習用画像、すなわち提供されたデジタル画像の注釈は、人間であるユーザによって行われ／証明され／修正されることができる。人間であるユーザは、画像注釈ツールのディスプレイ上で、それぞれのデジタル画像に関連付けられたそれぞれの塗料における効果顔料寄与を有する注釈と対応する配合を見る。人間であるユーザは、提供された学習画像の注釈が、画像の視覚的外観及び表示された塗料の配合(それもユーザに表示される)と一致するように注意する必要があり、例えば、赤色が赤色スパークルを含有している場合、アルミニウムフレーク又は他の赤色効果顔料を区別するために、ユーザに配合を見るのに役立つ。

【0023】

提案された方法のさらに別の態様によれば、デジタル画像を提供するステップと、デジタル画像をピクセル単位で分類するステップは、以下のステップ：
－ 既知の顔料及び／又は顔料クラスを有するコーティング組成物の配合式と、それぞれの配合式に関連付けられたデジタル画像を含むデータベースを提供するステップと、
－ 各配合式及びその配合式に関連付けられたデジタル画像について、少なくとも１つの画像セグメンテーション技術と作動的に連動する少なくとも１つのコンピュータプロセッサを使用して、少なくとも１つの輝点及びそれぞれの画像内でのその位置を識別するために画像解析を実行するステップと、
－ 各識別された輝点の各画像について、少なくとも１つの画像分類技術と作動的に連動する少なくとも１つのコンピュータプロセッサを使用して分類するステップと、
－ 少なくとも１つの局所的セグメンテーション技術を使用して、それぞれの画像をピクセル単位で視覚的に吟味することにより、前記画像注釈ツールの各画像内の誤った分類を修正するステップと、
を含む。

【0024】

第１ニューラルネットワークが実装される少なくとも１つのコンピュータプロセッサは、それぞれの画像における少なくとも１つの輝点を識別するために前述の画像解析を行うのに使用される少なくとも１つのコンピュータプロセッサと同じであってよく、又は動作的に連動していてもよい。

【0025】

色値は、必要に応じて、少なくとも１つの測定装置を使用して、目標コーティングのスペクトル曲線を分析することによって得られ、スペクトル曲線は、目標コーティングの表面に対して異なる測定ジオメトリで測定される。一般に、スペクトル測定ジオメトリは、照射方向／角度及び観察方向／角度によって定義される。典型的なスペクトル測定ジオメトリは、コーティングの表面法線に対して測定された４５°の固定照射角と、鏡面角、すなわち鏡面方向に関してそれぞれ測定された－１５°、１５°、２５°、４５°、７５°、１１０°の視野角であり、鏡面方向は、コーティング表面の法線に関してそれぞれの光線の入射方向と同じ角度をなす出射方向と定義される。

【0026】

デジタル画像、すなわち対応する画像値、及び任意でのテクスチャ値は、画像キャプチャ装置を使用して、それぞれのコーティング、すなわちデータベースの配合式に関連付けられたコーティング（学習段階において）又は目標コーティングのコーティング（未知の入力画像として）の表面に関して異なる測定ジオメトリでそれぞれ取得された複数のデジタル画像、特にＨＤＲ画像をキャプチャによって取得される。典型的な画像ベースのテクスチャ測定ジオメトリは、それぞれのコーティングの表面の法線に対して１５°の画像キャプチャ装置すなわちカメラの固定位置である。照射角度は、ｒ１５ａｓ－１５、ｒ１５ａｓ１５、ｒ１５ａｓ－４５、ｒ１５ａｓ８０、及びＸ－Ｒｉｔｅ ＭＡ－Ｔ６（登録商標）から定義される半拡散として選択される。「半拡散」とは、ここでは、測定装置及びその空間寸法に関して「可能な限り拡散している」ことを意味する。幾何学的表記に関して、少なくとも１つの測定装置、例えばカメラと照射の位置、及び照射の位置は逆である。つまり、鏡面角度は、ここではカメラの固定位置によって定義される。具体的には、これは、例えば、「ｒ１５ａｓ－１５」という表記は、「ｒ」で「逆(reverse)」、「１５」でカメラの固定位置、すなわち目標コーティングの表面の法線に対して１５°の角度、「ａｓ」は「非鏡面」、「－１５」は鏡面角度に関して測定された照射角度を示している。

【0027】

テクスチャ値／パラメータは、特に、それぞれのコーティングの輝等級ＳＧ、輝き色変化ＣＶ及び粗さＣ（又は拡散粗さＣｄｉｆｆ）又は粒状性Ｇ（又は拡散粒状性Ｇｄｉｆｆ）、輝き強度Ｓｉ及び輝き面積Ｓａである。

【0028】

少なくとも１つの測定装置は、例えばＸｒｉｔｅ ＭＡ－Ｔ６（登録商標）、Ｘｒｉｔｅ ＭＡ－Ｔ１２（登録商標）又はＢｙｋ ｍａｃ ｉ（登録商標）のような光分光計として選択されることができる。このような光分光計は、例えば顕微鏡画像のようにさらに多くの画像データを得るために顕微鏡などのさらなる適した装置と組み合わせることもできる。

【0029】

前述のデータベースは、コーティング組成物の配合式と、相互に関連付けられた比色データ(colorimetric data)を含む配合データベースである。相互に関連付けられた比色データは、各配合式について、各配合式に基づくサンプルコーティングのデジタル画像と、任意にスペクトルデータ、すなわち色値及びテクスチャ値とを含む。本開示の範囲において、サンプルコーティングは、データベースの既知の配合に基づくコーティングとして理解される。各既知の配合については、顔料などの成分(ingredients)、すなわち顔料のタイプ及び／又は顔料のクラス、並びにそのような成分の、すなわちそのような顔料のそれぞれの量は既知である。

【0030】

「通信する」という表現は、それぞれの構成要素の間に通信接続があることを示す。このような通信接続には、あらゆる適切な通信技術を使用することができる。

【0031】

統計値、つまり統計的分布、例えばそれぞれのデジタル画像について決定及び／又は出力された、それぞれの顔料ラベル及び／又は顔料クラスラベルに関連付けられた顔料及び／又は顔料クラスのそれぞれの頻度及び／又はパーセンテージに対する関数は、それぞれのヒストグラムとして及び／又はそれぞれのベクトルとしてそれぞれ表されることができる。それぞれの関数は、全ての顔料及び／又は顔料クラスの合計に対して評価された、それぞれの顔料及び／又は顔料クラスのそれぞれの単一カウントを加算するような単純な線形タイプであってよいが、最近隣の顔料及び／又は顔料クラスの評価された寄与と一緒にそれぞれの顔料及び／又は顔料クラスを合計するような複雑なタイプであってもよい。さらに、それぞれの関数の挙動は、線形、二次、三次、又はさらに高いべき乗を含むことができる。それぞれの関数は、全ての顔料及び／又は顔料クラスのカウントの平均値に対する単一のカウントの評価された差を含んでよく、ここで、それぞれの差は、絶対値として又は特定のべき乗で形成されてよく、評価の要因は、それぞれの顔料及び／又は顔料クラスを識別する測定方法の不確実性とこの不確実性の特定のべき乗によって形成されてよい。顔料ラベル及び／又は顔料クラスラベルのそれぞれの統計的分布は、それぞれの未知のデジタル画像に関連付けられた目標コーティングの未知の配合における、及び／又はデータベースから検索されそれぞれのデジタル画像に関連付けられたコーティング組成物の既知の配合における、それぞれの顔料及び／又は顔料クラスのパーセンテージについて結論を導き出すことを可能にする。

【0032】

目標コーティングからキャプチャされたデジタル画像、又はコーティング組成物の既知の配合に関連し、例えばデータベースから検索したデジタル画像、にｎ個の異なる顔料ラベル（及び／又は顔料クラスラベル）がある場合、顔料ラベル（及び／又は顔料クラスラベル）の数Ｓ１が顔料（及び／又は顔料クラス）１と相関し、顔料ラベル（及び／又は顔料クラスラベル）の数Ｓ２は、顔料（及び／又は顔料クラス）２と相関するなど、顔料ラベル（及び／又は顔料クラスラベル）の数Ｓｋが顔料（及び／又は顔料クラス）ｋと相関するまで続けられ、ここで、ｋは２より大きくｎより小さいか等しく、ｋ、ｎは、両方とも整数値である。

【0033】

例えば、番号Ｓ１、Ｓ２、．．．、Ｓｋは、それぞれの顔料（及び／又は顔料クラス）１、２、．．．、ｋと共に、目標コーティング内、すなわち、目標コーティングに関連付けられた配合式内及び／又はそれぞれのデジタル画像に関連付けられた既知の配合内の異なる顔料（及び／又は顔料クラス）１、２、．．．、ｋのそれぞれの割合に関する頻度の線形統計を構成することが可能である。より簡単なケースでは、たった１つ又は２つの顔料及び／又は顔料クラスが、目標コーティング、すなわち、目標コーティングに関連付けられた配合式内及び／又はそれぞれのデジタル画像に関連付けられた既知の配合内に含まれる。このより簡単なケースに基づく統計値は、それに応じて単純化される。

【0034】

提案された方法の一実施形態によれば、少なくとも１つの画像セグメンテーション技術は、少なくとも：手動セグメンテーション技術、ニューラルネットワークベースの方法、閾値法、エッジベースの方法、クラスタリング方法、ヒストグラムベースの方法、ハイブリッド方法、及びそれらの組み合わせを含む群から選択される。

【0035】

学習データの準備段階／フェーズでは、デジタル画像のピクセル単位の分類を行う前に、デジタル画像は前処理されてよい。

【0036】

少なくとも１つの画像セグメンテーション及び分類技術は、少なくとも１つの輝点及びそれぞれの画像内のその位置を識別し、識別された各輝点を分類するために、第２ニューラルネットワークを使用して、それぞれのデジタル画像に適用され得る。

【0037】

第２ニューラルネットワークを使用して、識別された各輝点を分類するために、方法はさらに以下の特徴：
－ それぞれの画像から、識別された各輝点のサブ画像を作成するステップと、
－ 前記サブ画像をそれぞれの入力として第２ニューラルネットワークへ提供するステップであって、前記第２ニューラルネットワークは、それぞれの輝点のそれぞれのサブ画像を顔料及び／又は顔料クラスと相関させるように学習させられるステップと、
－ 前記第２ニューラルネットワークから、それぞれのサブ画像に関連付けられた識別された輝点ごとに、それぞれの出力として相関する顔料及び／又は顔料クラスを取得するステップと、
－ 前記第２ニューラルネットワークのそれぞれの出力に基づいて、画像ごとに識別された輝点のそれぞれを分類するステップと、
を含む。

【0038】

つまり、第２ニューラルネットワークは、（黒い背景を有する）フル画像の関連付けられたピクセル位置上にマッピングされた(サブ画像からの)全ての識別された顔料クラスの画像として各デジタル画像を前処理するために使用される。これは、ピクセル単位の顔料クラスのフル画像を生成するために使用される。しかし、このような前処理された画像の分類は、画像注釈ツールを使用して、視覚的にそれぞれの画像をピクセル単位で吟味することによって修正される必要があることが多い。

【0039】

このようなデジタル画像の前処理については、欧州特許出願番号１９２０９１１９にさらに詳しく記載されている。

【0040】

提案された方法は、輝色分布及び／又は輝きサイズ分布を用いたさらなる顔料識別方法に加えて、特にその前又はその後に実施されることができる。そのような方法は、例えば、ＵＳ２０１７／０２００２８８Ａ１、出願番号１９１５４８９８の欧州特許出願、出願番号１９１９０３８８の欧州特許出願、及び／又は前述の欧州特許出願１９２０９１１９に記載されている。

【0041】

提案された方法のさらに別の態様によれば、分類ステップは、画像注釈ツールでの正しく割り当てられた顔料及び／又は顔料クラスに関するそれぞれの注釈の視覚的吟味と手動入力によって、すなわちピクセル単位の検査及びそれぞれの顔料ラベル及び／又は顔料クラスラベルで各ピクセルに注釈付けすることによって実行及び／又は補完される。ここで、ユーザは、視覚的認知と効果顔料組成に整合するように注釈を処理できるように、配合式に関する情報、すなわち対応する（関連付けられた）デジタル画像への効果顔料の組成に関する情報を表示される。つまり、視覚的な吟味プロセス内では、ユーザは、ユーザがそれぞれの画像で正しい注釈を付すことができるように、すなわち、画像の注釈付けが視覚的外観、同様に対応する色の表示された配合式と整合するように、対応する色（それぞれの画像に示されているように）の正しい配合式を表示されることが重要である。

【0042】

それぞれのデジタル画像内の全てのピクセルは、そのピクセルが背景の一部であって輝点ではないことを意味する「０」、又はそのピクセルがそれぞれの顔料及び／又は顔料クラスに割り当てられることを意味するラベルレパートリーから選択された顔料の特定のラベルのいずれかでラベル付けされる。識別されたラベルは、元のＨＤＲ（ハイダイナミックレンジ）画像に重ねられる。このようにして、注釈付けされたデジタル画像が作成される。

【0043】

それぞれのデジタル画像の各ピクセルと少なくとも１つの顔料及び／又は顔料クラスの相関は、それぞれの画像に関連付けられた既知の配合と整合するように視覚検査に基づいて導出される。それぞれの画像に関連付けられた配合の知識により、どの顔料及び／又は顔料クラスがどの濃度でそれぞれの配合に含まれているかが分かる。目視検査とともにこの知識に基づいて、各ピクセルを十分高い確率で特定の顔料及び／又は顔料クラスに割り当てられることができ、すなわち、それぞれの顔料ラベル及び／又は顔料クラスラベルで注釈付けられることができる。

【0044】

代替的又は追加的なセグメンテーション技術は、閾値法、エッジベース法、クラスタリング法、ヒストグラムベース法、ニューラルネットワークベース法、ハイブリッド法などを含む。

【0045】

学習させられ、学習させられた第１ニューラルネットワークとして利用可能な第１ニューラルネットワークは、ピクセル単位のセグメンテーション畳み込みニューラルネットワークとして（特に基づいて）、選択され、以下のニューラルネットワーク：Ｕ－ｎｅｔ、ＳｅｇＮｅｔの少なくとも１つとして実現される。

【0046】

第１ニューラルネットワークのタスクは、それぞれの画像内の全ての輝点を分類し、位置を特定することである。セマンティック画像セグメンテーションの目標は、対応する顔料及び／又は顔料クラスで画像の各ピクセルをラベル付けすること、すなわち対応する顔料ラベル及び／又は顔料クラスラベルで、画像の各ピクセルに注釈付けすることである。セマンティックセグメンテーションにおける出力は、ピクセルのラベルであるだけでなく、任意で、各ピクセルが特定の顔料及び／又は顔料クラスに分類される、すなわち、各ピクセルが特定の顔料ラベル及び／又は顔料クラスラベルでラベル付けされた高解像度画像（典型的には入力画像と同じサイズ）であってもよい。したがって、それはピクセルレベルの画像分類である。このようなピクセルレベルの画像分類とともに、コンピュータプロセッサは、各輝点を個別に分類するように構成される。つまり、全ての輝点は別個に（異なる色で）分類される。また、輝点に属さない全てのピクセルは「背景」として分類される。

【0047】

Ｕ－ｎｅｔは、Ｏｌａｆ Ｒｏｎｎｅｂｅｒｇｅｒらによって、バイオメディカル画像のセグメンテーションのために開発されたものである。このアーキテクチャは２つのパスを含む。第１のパスは、それぞれの画像のコンテキストをキャプチャするために使用される。エンコーダは、畳み込み層と最大プーリング層の従来のスタックにすぎない。第２のパスは、転置畳み込み(transposed convolution)を使って正確な位置付けを可能にするために使用される対称拡大(symmetric expanding)パス（デコーダとも呼ばれる）である。このように、それはエンドツーエンドの完全畳み込みネットワーク（ＦＣＮ）であり、つまり、それは畳み込み層のみを含み、密層(dense layer)を含まず、そのためにどんなサイズの画像でも受け入れることができる。

【0048】

ＳｅｇＮｅｔは、英国ケンブリッジ大学のＣｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｒｏｂｏｔｉｃｓ Ｇｒｏｕｐのメンバーによって研究開発された、ピクセル単位のマルチクラスセグメンテーションのためのディープエンコーダ／デコーダアーキテクチャである。

【0049】

最後に、目標コーティングの少なくとも１つの未知の画像に対する識別された顔料及び／又は顔料クラスの決定された統計値に基づいて、ベストマッチング配合式が、識別され、そして、識別されたベストマッチング配合式に基づいて塗料／コーティング組成物を製造／混合するように構成されている混合ユニットに転送される。混合ユニットは、目標コーティングの場所で使用されることができる塗料／コーティング組成物を製造する。混合ユニットは、提案された装置の構成要素であってもよい。

【0050】

注釈について、すなわち顔料ラベル及び／又は顔料クラスラベルについて、したがって、それぞれの顔料及び／又は顔料クラスについての統計値を計算することが可能である。統計値は、少なくとも１つのコンピュータプロセッサと結合された適切なディスプレイ上に、ヒストグラムとして、及び／又はそれぞれのベクトルとして見せる／表示される(show/displayed)ことが可能である。そのようなヒストグラムは、全ての顔料クラスについての顔料クラスカウント／パーセンテージのヒストグラムに対応することができる。さらに、そのような統計値は、それぞれの画像内の顔料及び／又は顔料クラスのカウント／パーセンテージを示すことができる。さらに、そのような統計値は、目標コーティングとデータベースの１つ以上の予マッチング配合式の間の顔料の差を示すことができる。

【0051】

さらに、効果顔料組成に関する検索された統計値は、色探索及び検索処理に使用されることができる。目標コーティングについて得られた色値及び／又はテクスチャ値に基づいてデータベースから検索され得る１つ以上の予マッチング配合式の決定の後、識別された顔料及び／又は顔料クラスの統計値が、目標コーティング及び各予マッチング配合式について、それぞれ決定され出力され得る。さらに、目標コーティングについて決定された統計値は、１つ以上の予マッチング配合式について決定された統計値と比較されることができ、１つ以上の予マッチング配合式の少なくとも１つが、目標コーティングに最もマッチングする配合式（複数可）として決定されることができる。

【0052】

色検索（データベース）及び検索処理は、前述の統計値に関する追加情報によって改善され得る。カラーマッチングと調整プロセスは、得られた統計値から導出される適切な効果顔料を使用することにより、改善され得る。

【0053】

一般に、デジタル画像とピクセル単位で注釈付けされた画像の正確な相関は、大量の学習データを必要とする。データベースは一般的に３０，０００を超える配合式と、関連付けられた画像セットとを含むため、それに応じて多数の学習データが得られる。このように、利用可能な顔料の数が数えられる（すなわち有限である）が、十分に多数の学習データが作成されることができる。第１ニューラルネットワークの学習データの数、すなわち既知の配合の利用可能なデジタル画像の数は、最初は未知の入力画像が正しい顔料及び／又は顔料クラスに割り当てられるたびに、第１ニューラルネットワークの学習を継続することにより、さらに増加させることができる。つまり、第１ニューラルネットワークの学習は、動作中も動的に継続される。

【0054】

使用可能な顔料及び／又は顔料クラスの数／多さに変化があった場合にのみ、第１ニューラルネットワークと、任意で使用される第２ニューラルネットワークを再定義し、再学習し、再テストする必要がある。

【0055】

「従来から知られている顔料／トナー」とは、色配合の色構成要素として知られ、利用可能な顔料を意味する。

【0056】

「コーティング組成物の配合式と、関連付けられた画像」とは、コーティング組成物の配合式と、それぞれのコーティングのキャプチャされた画像を意味する。

【0057】

提案された方法は、特に、目標コーティングのデジタル画像のピクセル単位の注釈付けを提供し、したがって、目標コーティングのそれぞれの画像に相関付けられた異なる顔料及び／又は顔料クラスに関する統計値を提供し、したがって、目標コーティングの配合によってどの顔料及び／又は顔料クラスがどの量で含まれるかということを結論付けることに役立つ。使用される第１ニューラルネットワークは、セマンティックセグメンテーションに基づく。第１ニューラルネットワークに学習データを提供するための画像セグメンテーション技術として使用され得る第２ニューラルネットワークは、バックプロパゲーションと呼ばれる学習プロセスに基づいている。

【0058】

注釈／ラベルに関する検索された統計値、すなわちそれぞれの注釈／ラベルに相関付けられた顔料及び／又は顔料クラスに関する統計値は、例えば、色の検索及び／又は検索処理に使用される。

【0059】

「顔料を識別する」とは、それぞれの注釈付けされた画像の注釈／ラベルに基づいて、具体的な顔料を直接決定すること、及び／又は、顔料が属する顔料クラスを決定することを意味する。例えば、１つの顔料クラスは、メタリック効果顔料によって構成され、さらなる顔料クラスは、パール光沢効果顔料によって構成されることができる。他の適切な分類、特にさらに洗練された分類が可能である。例えば、顔料クラス「メタリック」を「粗いメタリック」と「細かいメタリック」に、又は「小さい粗い／細かいメタリック」と「大きい粗い／細かいメタリック」に分けることが可能である。顔料クラス「アルミニウム顔料」及びさらなるクラス「干渉顔料」を提供することが可能である。クラス「アルミニウム顔料」は、サブクラス「コーンフレーク」及びサブクラス「シルバーダラー」などのサブクラスに、さらに細分化されることが可能である。クラス「干渉顔料」は、さらに「白雲母」、「金雲母」、「青雲母」、さらに「ｘｉｒａｌｌｉｃ（登録商標）」、「ガラス」、「天然雲母」などのサブクラスに細分化されることができる。統計値の比較後、いくつかのクラス又はサブクラスは適切に再統合されることもできる。

【0060】

各入力画像について、対応する識別された顔料及び／又は顔料クラスの統計値を決定及び／又は出力するステップは、それぞれの顔料のそれぞれの量及び／又は濃度を有する顔料のリストを提供することをそれぞれ含む。

【0061】

それぞれのデジタル画像内の輝点が顔料クラスと関連付けられている場合、前記識別された顔料クラス内の具体的な顔料の決定は、それぞれの画像内の輝き色分布及び／又は輝きサイズ分布を使用して、上述の方法のいずれか１つ又はそれらの組み合わせを使用することによって実行されることができる。代替的に、具体的な顔料の選択は、人間の入力／決定によって行われることができる。

【0062】

本開示は、さらに、装置、すなわちシステムにも言及する。装置は、少なくとも１つの画像セグメンテーション技術、画像注釈ツール、少なくとも１つニューラルネットワーク、及び任意で、既知の顔料及び／又は顔料クラスを含むコーティング組成物の配合式と、それぞれの配合式に関連付けられたデジタル画像とを含むデータベースと通信接続している、少なくとも１つのコンピュータプロセッサを備え、前記少なくとも１つのコンピュータプロセッサは、少なくとも次のステップ：
ａ） デジタル画像と、前記それぞれの画像に関連付けられた既知の顔料及び／又は顔料クラスを有するコーティング組成物のそれぞれの配合式とを、例えばデータベースから検索するなど、受信するステップ、
ｂ） 各画像について、少なくとも１つのセグメンテーション技術を使用し、前記それぞれの画像をピクセル単位で視覚的に吟味することによって、各ピクセルを分類し、視覚的外観と前記それぞれの画像に関連付けられた配合式と整合するように、顔料ラベル及び／又は顔料クラスラベルで各ピクセルに注釈付けするための画像注釈ツールを構成するステップと、
ｃ） 各画像について、関連付けられた注釈付けされた画像を提供するステップと、
ｄ） データベースからのデジタル画像を入力として（すなわち入力画像として）、それぞれの前記関連付けられた注釈付けされた画像を出力として（すなわち出力画像として）、第１ニューラルネットワークに学習させるステップであって、前記第１ニューラルネットワークは、それぞれの入力画像の全てのピクセルを、関連付けられたそれぞれの注釈付けされた画像の顔料ラベル及び／又は顔料クラスラベルに分類／関連付けるように学習させられる、ステップと、
ｅ） 前記学習させられた第１ニューラルネットワーク、すなわち入力画像と出力顔料及び／又は顔料クラスとの間の学習された相関関係を、未知の入力画像に適用するために、及び、顔料ラベル及び／又は顔料クラスラベルを、未知の入力画像の各ピクセルに割り当てるために、前記学習させられた第１ニューラルネットワークを利用可能にするステップであって、前記顔料ラベル及び／又は顔料クラスラベルは、顔料又は顔料クラスの特定のラベルと背景の特定のラベルの両方を含んでいる、ステップと、
ｆ） 各入力画像について、前記割り当てられた顔料ラベル及び／又は顔料クラスラベルに基づいて、対応する識別された顔料及び／又は顔料クラスの統計値を、それぞれ決定及び／又は出力する、ステップと、
を実行するようにプログラムされている。

【0063】

提案される装置の一実施形態によれば、少なくとも１つのプロセッサは、さらに、少なくとも１つの画像セグメンテーション技術を使用して、配合式ごと及びその配合式に関連付けられたデジタル画像ごとに、画像解析を実行し、少なくとも１つの輝点とそれぞれの画像内のその位置を識別し、画像ごとに各識別された輝点を分類し、及び少なくとも１つの局所セグメント化技術を使用して、ユーザによってそれぞれの画像をピクセル単位で視覚的に吟味することによって各画像内の誤った分類を修正するように画像注釈ツールを構成するように、さらに構成されている。

【0064】

提案された装置の可能な実施形態によれば、装置は、少なくとも１つの画像セグメンテーション技術、画像注釈ツール、及び／又は、第１ニューラルネットワークをさらに備える。

【0065】

さらなる態様によれば、少なくとも１つの画像セグメンテーション技術は、少なくとも：ニューラルネットワークベースの方法、閾値法、エッジベースの方法、クラスタリング方法、ヒストグラムベースの方法、ハイブリッド方法、及びそれらの組み合わせを含む群のうちの１つである。

【0066】

画像注釈ツールは、露出調整バーを有する元の画像、関連付けられた注釈付けされた画像とラベルを表示するように構成されており、各ラベルは顔料及び／又は顔料クラスに関連付けられている。

【0067】

さらにさらなる態様によれば、第１ニューラルネットワークは、ピクセル単位のセグメンテーション畳み込みニューラルネットワークであり、特に、第１ニューラルネットワークは、以下のニューラルネットワーク：Ｕ－ｎｅｔ、ＳｅｇＮｅｔのうちの少なくとも１つをベースとする。

【0068】

提案された装置は、入力画像ごとに、識別された顔料及び／又は顔料クラスの統計値をそれぞれ出力及び表示するように構成された出力ユニットをさらに備える。出力ユニットはまた、それぞれの入力画像に関連付けられた注釈付けされた画像を出力するようにも構成され得る。このような注釈付けられた画像は、それぞれのピクセルラベル及び／又は顔料クラスラベルでピクセル単位に注釈付けされている。注釈付けされた画像は、高解像度の注釈付けされた画像であり得る。

【0069】

提案された装置は、特に、本明細書に記載される方法を実行するように構成されている。

【0070】

画像注釈ツールは、ディスプレイなどの出力装置を備え、露出調整バーを有するそれぞれの元の画像、関連付けられた注釈付けされた画像、ラベル、及び関連付けられた配合式を表示するように構成されている。画像注釈ツールは、自動化された局所的なセグメンテーション及び手動セグメンテーションの能力を有する。

【0071】

一般に、少なくともデータベース（配合データベースとも呼ばれる）及び少なくとも１つのプロセッサは、それぞれ通信接続を介して相互間でネットワーク化される。少なくとも１つの注釈ツール、画像セグメンテーション技術、及び第１ニューラルネットワークが、装置の内部コンポーネントであるか又は外部コンポーネントであるかにかかわらず、別個のコンポーネント（すなわち、少なくとも１つのプロセッサに実装されていない）である場合、データベース及び少なくとも１つのプロセッサも、それらのコンポーネントとそれぞれの通信接続を介してネットワーク化されており、すなわちそれらは互いに通信接続されている。異なるコンポーネント間の通信接続のそれぞれは、直接接続であってよく又は間接接続であってもよい。各通信接続は、有線接続であってよく又は無線接続であってもよい。各適切な通信技術が使用され得る。配合データベースと、少なくとも１つのプロセッサは、それぞれ、互いに通信するための１つ以上の通信インターフェースを含んでよい。このような通信は、ファイバ分散データインターフェース（ＦＤＤＩ）、デジタル加入者線（ＤＳＬ）、イーサネット、非同期転送モード（ＡＴＭ）、又は他の任意の有線伝送プロトコルなどの有線データ伝送プロトコルを使用して実行され得る。あるいは、通信は、汎用パケット無線サービス（ＧＰＲＳ）、ユニバーサル移動通信システム（ＵＭＴＳ）、符号分割多重アクセス（ＣＤＭＡ）、ロングタームエボリューション（ＬＴＥ）、ワイヤレスユニバーサルシリアルバス（ＵＳＢ）、及び／又は任意の他の無線プロトコルなど、様々なプロトコルのいずれかを使用して無線通信ネットワークを介したワイヤレスであってよい。それぞれの通信は、無線通信と有線通信の組み合わせであってもよい。

【0072】

プロセッサは、タッチスクリーン、オーディオ入力、動作入力、マウス、キーパッド入力等の１つ以上の入力装置を含むか、又はそれらと通信可能である。さらにプロセッサは、オーディオ出力、ビデオ出力、スクリーン／ディスプレイ出力等の１つ以上の出力装置を含むか、又はそれらと通信可能である。

【0073】

本発明の一実施形態は、スタンドアロンユニットであり得るか、又は、例えばインターネット又はイントラネットなどのネットワークを介して、例えばクラウドに位置する中央コンピュータと通信する１つ以上のリモート端末又は装置を含み得るコンピュータシステムと共に使用されるか、又はそれに組み込まれて使用されることも可能である。このように、本明細書に記載されるプロセッサ及び関連付けられたコンポーネントは、ローカルコンピュータシステム又はリモートコンピュータ又はオンラインシステム又はそれらの組み合わせの一部であってよい。本明細書に記載される配合データベース及びソフトウェアは、コンピュータ内部メモリ又は非一時的なコンピュータ可読媒体に保存され得る。

【0074】

本開示の範囲内において、データベースは、データ保存装置の一部であってよく、又はデータ保存装置そのものを表してよい。「データベース」及び「データ保存装置」という用語は、同義的に使用される。

【0075】

本開示は、さらに、コンピュータプログラムがロードされ、少なくとも１つの画像セグメンテーション技術、画像注釈ツール、少なくとも１つニューラルネットワーク、及び任意に、既知の顔料及び／又は顔料クラスを含むコーティング組成物の配合式と、それぞれの配合式に関連付けられたデジタル画像とを含むデータベース、と通信接続している少なくとも１つのコンピュータプロセッサによって実行されると、少なくとも以下のステップ：
Ａ） デジタル画像と、前記それぞれの画像に関連付けられた既知の顔料及び／又は顔料クラスを有するコーティング組成物のそれぞれの配合式とを、例えばデータベースから検索するなど、受信するステップと、
Ｂ） 各画像について、少なくとも１つのセグメンテーション技術を使用し、前記それぞれの画像をピクセル単位で視覚的に吟味することによって、各ピクセルを分類し、視覚的外観及び前記それぞれの画像に関連付けられた配合式と整合するように、顔料ラベル及び／又は顔料クラスラベルで各ピクセルに注釈付けをするように画像注釈ツールを構成するステップと、
Ｃ） 各画像について、関連付けられた注釈付けされた画像を提供するステップと、
Ｄ） データベースからのデジタル画像を入力として（すなわち入力画像として）、前記関連付けられた注釈付けされた画像を出力として（すなわち出力画像として）、第１ニューラルネットワークに学習させるステップであって、前記第１ニューラルネットワークは、それぞれの入力画像の全てのピクセルを、関連付けられたそれぞれの注釈付けされた画像の顔料ラベル及び／又は顔料クラスラベルに分類／関連付けるように学習させられる、ステップと、
Ｅ） 前記学習させられた第１ニューラルネットワーク、すなわち入力画像と出力顔料及び／又は顔料クラスとの間の学習された相関関係を、目標コーティングの未知の入力画像に適用するために、及び、顔料ラベル及び／又は顔料クラスラベルを、未知の入力画像の各ピクセルに割り当てるために、前記学習させられた第１ニューラルネットワークを利用可能にするステップであって、前記顔料ラベル及び／又は顔料クラスラベルは、顔料又は顔料クラスの特定のラベルと背景の特定のラベルの両方を含んでいる、ステップと、
Ｆ） 各入力画像について、前記割り当てられた顔料ラベル及び／又は顔料クラスラベルに基づいて、対応する識別された顔料及び／又は顔料クラスの統計値を、それぞれ決定及び／又は出力する、ステップと、
を実行するように構成されたプログラムコードを有するコンピュータプログラムを有する非一時的なコンピュータ可読媒体に言及している。

【0076】

提案されるコンピュータ可読媒体の一実施形態によれば、プログラムコードは、さらに、以下のステップ：
－ 少なくとも１つのセグメンテーション技術を使用して、各配合式について、及びその配合式に関連付けられた各デジタル画像について、少なくとも１つの輝点及びそれぞれの画像内のその位置を識別するために、画像解析を実行するステップと、
－ 少なくとも１つの画像分類技術を使用して、画像ごとに各識別された輝点を分類するステップと、
－ 少なくとも１つの局所的画像セグメンテーション技術を使用して、それぞれの画像をピクセル単位で視覚的に吟味することにより、各画像内の誤った分類を修正するための画像注釈ツールを提供／構成するステップと、
を実行するように構成されている。

【0077】

本発明は、以下の実施例においてさらに定義される。これらの実施例は、本発明の好ましい実施形態を示すことにより、説明のためにのみ与えられることを理解されたい。

【図面の簡単な説明】

【0078】

【図1】元の画像と従来の最新技術に従って分析されたそれぞれの画像の例を示す図である。

【図2】提案された方法の一実施形態のフロー図を概略的に示す図である。

【図3】請求された方法の実施形態の経過を画像／写真で示した図である。

【図4】提案された装置の一実施形態を示す図である。

【発明を実施するための形態】

【0079】

図面の詳細な説明
図１は、元の画像と従来の最新技術に従って分析されたそれぞれの画像の例を示している。図１ａは、左側に、長方形の枠で示される隣接する輝点を有する元の画像１０１を示す。従来の最新技術による画像解析の後、このような隣接する輝点は互いに区別できない、すなわち、このような輝点間の境界を視覚化することができない。したがって、このような隣接する輝点は、図１ａの右側の画像１０２のそれぞれの長方形の枠で示されるように、互いに融合する。

【0080】

図１ｂは、左側に、フィルムのより深部に輝点を有する元の画像１０３を示している。従来の最新技術に従った画像解析の後、このような輝点は、図１ｂの右側の画像１０４のそれぞれの長方形の枠で示されるように、識別されることはできない。

【0081】

図１ｃは、左側に、コーティング欠陥、例えば、それぞれの枠に示されるようなスクラッチを有する元の画像１０５を示す。従来の最新技術による画像解析の後、このようなコーティング欠陥は識別されるが、スクラッチの周囲にある他の全ての輝点は、図１ｃの右側の画像１０６のそれぞれの長方形の枠に示されるように、欠落している。

【0082】

図２は、提案された方法の一実施形態を概略的に示している。まず、ステップ１０では、デジタル画像と、それらの画像に関連付けられたそれぞれの既知の配合式とが提供される。それらの画像と関連付けられた配合式が、既知の顔料及び／又は顔料クラスを有するコーティング組成物のための配合式と、それぞれの配合式に関連付けられたデジタル画像とを含むデータベースから検索されることが可能である。次に、各ピクセルが、画像注釈ツールを使用して、それらのデジタル画像の画像ごとに、分類される。そのようにする際、それぞれの画像はピクセル単位で視覚的に吟味され、各ピクセルは、視覚的外観とそれぞれの画像に関連付けられた配合式と整合するように、顔料ラベル及び／又は顔料クラスラベルで注釈付けされる。

【0083】

提案された方法の一実施形態によれば、提供された各デジタル画像は、後述のステップ１２、１４、１６をスキップすることによってステップ１８で、人間であるユーザによって、ユーザがそれぞれの顔料及び／又は顔料クラスの特定のラベルによってそれぞれの画像の各ピクセルを分類し注釈付けすることを可能にする画像注釈ツールを使用して、直接吟味される。画像注釈ツールは、露出調整バーとともにそれぞれの元のデジタル画像、利用可能なラベルのレパートリー（ここで、各ラベルは、特定の顔料及び／又は顔料クラスに割り当てられる）、それぞれのデジタル画像に関連付けられた配合式、及び元のデジタル画像に関連付けられたそれぞれの注釈付けされたデジタル画像を、表示するように構成されている。画像注釈ツールは、ユーザがラベルを設定すること、すなわち画像に注釈を付けることを可能にする入力ユニットを含む。このように、人間であるユーザは、関連付けられた配合式に整合するようにラベルを選択し、設定する。

【0084】

代替的及び／又は追加的に、提案された方法のさらなる実施形態によれば、提供されたデジタル画像がそれぞれ前処理されることも可能である。すなわち、配合式ごとに及びその配合式に関連付けられたデジタル画像ごとに、画像解析が、少なくとも１つの輝点及びそれぞれの画像におけるその位置を識別するために、ステップ１２において実行されることを意味する。ステップ１４では、それぞれの配合式のデジタル画像が、スクラッチなどの破損領域を検出し、マスクするために、事前分析にかけられることができる。このような事前分析の後、ステップ１６では、画像解析が、本明細書で説明したように、それぞれの配合式に関連付けられたデジタル画像のそれぞれの輝点を決定しデータベースから検索するために、使用される。このような画像解析は、少なくとも１つの画像セグメンテーション技術と、少なくとも１つの分類技術と作動的に連動するコンピュータプロセッサを使用して実行される。ここでは、ニューラルネットワークベースの技術を使用することが可能である。その場合、ここでは第２ニューラルネットワークと呼ばれるニューラルネットワークを使用することができる。このために、輝点が決定され分離されると、それぞれの配合式に関連付けられたデジタル画像内の各輝点の少なくとも１つのサブ画像がそれぞれ作成される。作成されたサブ画像は、畳み込みニューラルネットワーク（ＣＮＮ）として設計された第２ニューラルネットワークに提供される。第２ニューラルネットワークは、それぞれの輝点のそれぞれのサブ画像を顔料及び／又は顔料クラスと関連付け、それぞれの輝点のそれぞれのサブ画像に基づいて、顔料及び／又は顔料クラスを識別するように学習させられる。このようにして、それぞれのデジタル画像内のそれぞれの輝点が分類され、顔料及び／又は顔料クラスに割り当てられる。

【0085】

ステップ１８では、それぞれの配合式の各画像ごとに、少なくとも１つの局所的セグメンテーション技術を使用して、それぞれの画像をピクセル単位で視覚的に吟味することによって、誤った分類が画像注釈ツールで修正される。局所的セグメンテーション技術は、さらに、手動セグメンテーション技術であってよい。それぞれのデジタル画像の各ピクセルに注釈付けをする場合、それぞれのデジタル画像の目視検査は、それぞれのデジタル画像に関連付けられたそれぞれの配合に整合するように行われる。それぞれの配合は、含まれる顔料及び／又は顔料クラスのそれぞれの正確な濃度を明示的に示し、したがって、デジタル画像に示されるように、及び、それぞれの配合がサンプルコーティングとしてサンプル基板に適用された場合に生じるように、含まれる顔料及び／又は顔料クラスの塗料／色へのそれぞれの寄与を明示的に示している。各ピクセルは特定のラベルでラベル付けされている。目視検査及びそれぞれのデジタル画像に関連付けられた既知の配合を考慮して設定することができる、明確に識別可能な顔料又は顔料クラスの特定のラベルがない場合、それぞれのピクセルは、背景に関連付けられたラベルに割り当てられる（例えば、背景の特定のラベルは「０」とすることができる）。背景に関連付けられたラベルは、本明細書では、顔料ラベル及び／又は顔料クラスラベルの下に包含される。画像注釈ツールは、露出調整バーを有するそれぞれの元のデジタル画像と、ユーザがそれぞれの特定のラベルを使用／設定注釈付けを行った後及び／又は誤った分類を修正した後に得られる注釈付けされた画像と、の両方をユーザに表示する。さらに、画像注釈ツールは、ユーザによって設定され得るラベルと、データベースからの関連付けられた配合式とを表示する。画像注釈ツールは、自動化された局所的セグメンテーションと手動セグメンテーションの両方の能力を有することができる。ステップ２０で、Ｕ－ｎｅｔ又はＳｅｇＮｅｔなどのセマンティックピクセル単位のセグメンテーション畳み込みニューラルネットワーク（ここでは第１ニューラルネットワークと呼ぶ）が、データベースからのデジタル画像を入力画像として、関連付けられたピクセル単位の注釈付けされた画像を出力画像として学習させられる。ステップ２２では、学習させられた第１ニューラルネットワーク、すなわち学習させられたセマンティックセグメンテーション畳み込みニューラルネットワークが、学習させられた第１ニューラルネットワーク、すなわち入力画像と出力顔料及び／又は顔料クラスとの間の学習された相関関係を目標コーティングの少なくとも１つの未知の入力画像に適用するために、及び、顔料ラベル及び／又は顔料クラスラベルを未知の入力画像内の各ピクセルに割り当てるために、少なくとも１つのプロセッサで利用可能にされる。このようにして、目標コーティングに含まれる顔料及び／又は顔料クラスに関する統計値が生成される。検索された統計値は、色検索及び／又は色検索プロセスのために使用されることができる。「目標コーティングの未知の入力画像」という表現は、その入力画像に関連付けられた配合が未知であること、すなわち、未知の入力画像の基となる（すなわち、それらから未知の入力画像が取得された）目標コーティングを形成するために使用される顔料及び／又は顔料クラス並びにそれらそれぞれの濃度が未知であることを意味する。

【0086】

目標コーティングに最もマッチングする配合式を探索する場合、目標コーティングのデジタル画像が提供される。このようなデジタル画像は、画像キャプチャ装置を使用して作成されることができる。目標コーティングのデジタル画像を取得した後、スクラッチなどの欠陥を識別するために、デジタル画像の事前分析を最初に実行することが有用であり得る。最後に、目標コーティングの少なくとも１つのデジタル画像が、目標コーティングの成分として識別される顔料及び／又は顔料クラスの統計値及び関連付けられた目標配合式を得るために、学習させられた第１ニューラルネットワークの入力画像として選択される。

【0087】

セマンティックセグメンテーションにより、目標コーティングのそれぞれの入力画像の各ピクセルは、顔料及び／又は顔料クラスラベルに割り当てられる、すなわち、関連付けられた注釈付けされた画像は、ステップ２４で、それぞれの入力画像の全てのピクセルについて割り当てられた顔料及び／又は顔料（輝き）クラス（例えば黄色、青、赤、緑、ニュートラルなど）を有する。背景の各ピクセルは、顔料クラス「背景」に割り当てられる。それぞれの顔料及び／又は顔料クラスに対するそれぞれのラベルは、予め定義されている必要があるが、任意に定義されることができる。第１ニューラルネットワークは、関連付けられた注釈付けされた画像の関連付けられた顔料及び／又は顔料クラスによって、入力画像の全てのピクセルを分類するように学習させられる。注釈付けされた画像に基づいて、各入力画像について、識別された顔料及び／又は顔料クラスの統計値がステップ２６で決定されることができる。最後に、そのような統計値に基づいて、任意で他の情報と組み合わせて、目標コーティングの配合式が決定されることができる。混合ユニットによって、目標コーティングに十分よくマッチングするコーティングが作成されることができる。

【0088】

図３ａは、既知の顔料及び／又は顔料クラスを有するコーティング組成物の配合式と、それぞれの配合式に関連付けられたデジタル画像とを含むデータベースからの配合式の元のＨＤＲ（ハイダイナミックレンジ）画像３０１を示す。提案された方法の一実施形態によれば、人間であるユーザは、画像注釈ツール３００を使用して、データベース内の全ての配合について各デジタル画像３０１を直接視覚的に吟味し、各画像３０１について画像注釈付けを行い、すなわち、適切なユーザインターフェースを介して、特にグラフィックユーザインターフェースを介して画像注釈ツール３００によって提供されるラベルレパートリーからラベル３０４を設定する。したがって、矢印３０６で示すように、各画像３０１について関連付けられた画像３０３が得られる。提案された方法のさらなる実施形態によれば、代替的及び／又は追加的に、最初のステップで、画像セグメンテーション技術が、データベース内の全ての配合及び関連付けられた画像について、既知の顔料及び／又は顔料クラスの輝点を識別するために使用される。このようなデータベースは、一般に、３０,０００以上の配合式及び関連付けられた画像、すなわち画像セットを含む。画像解析は、画像中の輝点の位置を識別するために、画像セグメンテーション技術を用いる（異なるアルゴリズムが、輝点を識別するため、及び、異なる輝点の輝度及び位置に関する情報を得るために使用され得る）。図３ｂに示されるように、誤った分類は、局所的及び手動セグメンテーション技術を使用して、画像注釈ツール３００において視覚的に吟味され、修正される。画像注釈ツール３００は、露出調整バー３０２を有する元の画像３０１、注釈付けされた画像３０３、ラベル３０４、及び関連付けられた配合式３０５を示す。画像注釈ツール３００は、自動化された局所的セグメンテーションと手動セグメンテーションの能力を有する。

【0089】

図３ｃに示されるように、ここでは第１ニューラルネットワーク３１０と呼ばれるセマンティック「ピクセル単位」セグメンテーション畳み込みニューラルネットワーク（例えばＵ－ｎｅｔ、ＳｅｇＮｅｔなど）が、データベースからのＨＤＲ画像３０１を入力として（すなわち入力画像として）、図３ａ及び３ｂからの関連付けられた注釈付けされた画像３０３を出力として（すなわち出力画像として）学習させられる。学習させられた第１ニューラルネットワーク３１０、すなわちそれぞれのセマンティックセグメンテーションは、画像３２２の各ピクセルに顔料及び／又は顔料クラスラベルを割り当てる。したがって、関連付けられた注釈付けされた画像３２３は、入力画像３２２の全てのピクセルについて割り当てられた顔料及び／又は顔料（輝き）クラス（例えば黄色、青、赤、緑、ニュートラルなど）を有する。第１ニューラルネットワーク３１０は、入力画像３２２内の全てのピクセルを、注釈付けされた画像３２３の関連付けられた顔料及び／又は顔料（輝き）クラスで分類するように学習させられる。この例示的な例では、Ｕネット３１０は、畳み込み及び最大プーリング層を有する収縮パス３１１と、畳み込み層に後続される逆畳み込み層を有する拡大パス３１２とからなる。収縮パス３１１から拡大パス３１２には特徴を転送するための追加の接続がある。

【0090】

画像注釈ツール３００で将来の誤ったモデル予測を修正することによって、第１ニューラルネットワーク３１０を連続的に（すなわち動作中に）学習させ、第１ニューラルネットワーク３１０、例えばＵ－Ｎｅｔを「オンザフライ」の学習を継続することは可能である。

【0091】

上述したピクセル単位の畳み込みニューラルネットワークモデルの適用は、以下を含む：
１． 複数の効果顔料を有する目標コーティングの効果顔料統計値を算出する（これは、特定の効果顔料が塗装ラインにある可能性を示す）。

【0092】

２． 効果顔料の統計値を、配合及び測定データベースから目標コーティングにマッチングする可能性のあるものを検索／取得(search/retrieval)するためのフィルタ及び適合アルゴリズムの一部として使用する。

【0093】

３． 効果顔料統計値を、元の組成からの配合式を調整する適合アルゴリズム、及び目標測定値への測定の一部として使用する。

【0094】

４． 効果顔料の統計値を、目標コーティングにマッチングする組成物(スクラッチとのマッチング)を開発するためのフィルタ及び適合アルゴリズムの一部として使用する。

【0095】

図４は、目標コーティング４３のコーティング混合物の顔料及び／又は顔料の顔料クラスを識別するために使用され得る装置４００の一実施形態を示す。ユーザ４０は、目標コーティング４３の特性を測定するため、すなわち、カメラであって各画像が異なる画像ベースのテクスチャ測定ジオメトリ例えば異なる角度で得られるカメラによって目標コーティングのデジタル画像をキャプチャするため、及び、任意で、例えば分光計を使用して異なるスペクトル測定ジオメトリについて色値及び／又はテクスチャ値を決定するため、グラフィカルユーザインターフェースなどのユーザインターフェース４１を利用して少なくとも１つの測定装置４２を操作することができる。少なくとも１つの測定装置、例えばカメラ４２からのデータは、パーソナルコンピュータ、モバイル装置、又は任意のタイプのプロセッサなどのコンピュータ４４に転送されることができる。コンピュータ４４は、ネットワーク４５を介して、サーバ４６と通信状態にある、すなわち、通信接続されてよい。ネットワーク４５は、インターネット、ローカルエリアネットワーク、イントラネット、又は無線ネットワークなど、任意のタイプのネットワークであってよい。サーバ４６は、比較目的のために本発明の実施形態の方法によって使用されるデータ及び情報を保存することができるデータベース４７と通信状態にある。様々な実施形態において、データベース４７は、例えば、クライアントサーバ環境において、又は、例えば、クラウドコンピューティング環境などのウェブベース環境において利用され得る。本発明の実施形態の方法の様々なステップは、コンピュータ４４及び／又はサーバ４６によって実行され得る。別の態様では、本発明は、コンピュータ又はコンピュータシステムに上述の方法を実行させるソフトウェアを含む非一過性のコンピュータ可読媒体として実装され得る。ソフトウェアは、少なくとも１つのプロセッサ及びユーザインターフェースに本明細書に記載された方法を実行できるようにするために使用される様々なモジュールを含むことができる。

【0096】

本発明の実施形態は、テクスチャパラメータ、例えば色相、強度、サイズ及び／又は反射率データを用いる顔料識別のための他の方法とともに使用されることができることを理解することができる。様々な実施形態において、トナーの種類、すなわち未知の目標コーティングで使用されている顔料及び／又は顔料クラス、又はそのオフセットを適切に識別するために、正しい角度で観察し、以前に作成されたデータベース内の既存の既知のトナーと比較することが望ましい。トナーの二成分混合物を生成して、トナーの様々な濃度がその輝きカラー属性に与える影響を評価することができる。

【符号の説明】

【0097】

１０１ 元の画像
１０２ 解析画像
１０３ 元の画像
１０４ 解析画像
１０５ 元の画像
１０６ 解析画像
１０ 方法ステップ
１２ 方法ステップ
１４ 方法ステップ
１６ 方法ステップ
１８ 方法ステップ
２０ 方法ステップ
２２ 方法ステップ
２４ 方法ステップ
２６ 方法ステップ
３００ 画像注釈ツール
３０１ 元の画像
３０２ 露出調整バー
３０３ 注釈付けされた画像
３０４ ラベル
３０５ 関連付けられた配合式
３０６ 矢印
３１０ 第１ニューラルネットワーク
３１１ 収縮パス
３１２ 拡大パス
３２２ 元の画像
３２３ 注釈付けされた画像
４００ 装置
４０ ユーザ
４１ ユーザインターフェース
４２ 測定装置
４３ 目標コーティング
４４ コンピュータ
４５ ネットワーク
４６ サーバ
４７ データベース

【図1】

【図2】

【図3a】

【図3b】

【図3c】

【図4】