特許 7511054 色判定システム、色判定方法及び色判定プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2024-06-26

(45)【発行日】2024-07-04

(54)【発明の名称】色判定システム、色判定方法及び色判定プログラム

(51)【国際特許分類】

   G06T 7/90 20170101AFI20240627BHJP

   G06T 7/73 20170101ALI20240627BHJP

   G01J 3/52 20060101ALI20240627BHJP

   G06V 10/56 20220101ALI20240627BHJP

【ＦＩ】

G06T7/90 Z

G06T7/73

G01J3/52

G06V10/56

【請求項の数】 9

(21)【出願番号】P 2023089745

(22)【出願日】2023-05-31

【審査請求日】2023-05-31

(73)【特許権者】

【識別番号】592131906

【氏名又は名称】みずほリサーチ＆テクノロジーズ株式会社

(74)【代理人】

【識別番号】100105957

【弁理士】

【氏名又は名称】恩田 誠

(74)【代理人】

【識別番号】100068755

【弁理士】

【氏名又は名称】恩田 博宣

(72)【発明者】

【氏名】永田 亮

(72)【発明者】

【氏名】下元 正義

(72)【発明者】

【氏名】山本 凱

(72)【発明者】

【氏名】笠間 俊夫

【審査官】稲垣 良一

(56)【参考文献】

【文献】特開２０２３－３４７４０（ＪＰ，Ａ）

【文献】国際公開第２０１３／１４５２９５（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００ － ７／９０

Ｇ０１Ｊ ３／５２

Ｇ０６Ｖ １０／５６

(57)【特許請求の範囲】

【請求項1】

撮影部から画像を取得する制御部を備えた色判定システムであって、
前記制御部が、
対象物とともに、複数の色見本を含むスケールを撮影した画像において、複数の前記色見本の検出領域を特定し、
前記検出領域と、前記スケールの色見本の配置パターンを用いて、前記色見本の未検出領域を特定し、
前記検出領域と前記未検出領域とを用いて、前記スケールの配置を予測し、
前記予測した配置で前記スケールの色見本を用いて、前記対象物の色を判定することを特徴とする色判定システム。

【請求項2】

前記色見本は、色属性として明度、色相及び彩度の少なくとも一つの色属性値を変更した配色の見本であることを特徴とする請求項１に記載の色判定システム。

【請求項3】

前記制御部が、前記複数の色見本の検出領域の色属性値と、前記スケールの色見本の配置パターンとにより、前記未検出領域を特定することを特徴とする請求項１又は２に記載の色判定システム。

【請求項4】

前記制御部が、前記画像に含まれる色分布の均一性に応じて、前記検出領域及び前記未検出領域を特定することを特徴とする請求項１又は２に記載の色判定システム。

【請求項5】

前記制御部が、
前記画像において、前記スケールの色見本のエッジを特定し、
前記エッジを用いて、複数の色見本の輪郭の配置を特定することを特徴とする請求項１又は２に記載の色判定システム。

【請求項6】

前記制御部が、
前記検出領域の重心位置を特定し、
前記重心位置と、前記スケールにおける色見本の配置パターンとから、前記未検出領域を特定することを特徴とする請求項５に記載の色判定システム。

【請求項7】

前記スケールは、コンクリートの色評価のための色見本を含むことを特徴とする請求項１又は２に記載の色判定システム。

【請求項8】

撮影部から画像を取得する制御部を備えた色判定システムを用いて、対象物の色を判定する方法であって、
前記制御部が、
対象物とともに、複数の色見本を含むスケールを撮影した画像において、複数の前記色見本の検出領域を特定し、
前記検出領域と、前記スケールの色見本の配置パターンを用いて、前記色見本の未検出領域を特定し、
前記検出領域と前記未検出領域とを用いて、前記スケールの配置を予測し、
前記予測した配置で前記スケールの色見本を用いて、前記対象物の色を判定することを特徴とする色判定方法。

【請求項9】

撮影部から画像を取得する制御部を備えた色判定システムを用いて、対象物の色を判定するためのプログラムであって、
前記制御部を、
対象物とともに、複数の色見本を含むスケールを撮影した画像において、複数の前記色見本の検出領域を特定し、
前記検出領域と、前記スケールの色見本の配置パターンを用いて、前記色見本の未検出領域を特定し、
前記検出領域と前記未検出領域とを用いて、前記スケールの配置を予測し、
前記予測した配置で前記スケールの色見本を用いて、前記対象物の色を判定する手段として機能させるための色判定プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、色見本を用いて、色を判定するための色判定システム、色判定方法及び色判定プログラムに関する。

【背景技術】

【0002】

対象物の色を判定する場合、カラースケールを用いることがある。カラースケールでは、「色」の色見本が配列されている。そして、対象物の色と色見本とを比較することにより、対象物に対応する色見本により色を判定する。また、対象物の状況を、対象物の色によって判定することもある（例えば、特許文献１を参照）。この文献に記載された変化度合い導出装置は、対象物を撮影した位置を確認するための位置確認手段および色の数値が既知である複数の色見本を有する色既知体と共に対象物を撮影した画像を受け付ける。次に、画像に含まれる色見本から装置非依存の色空間における数値に変換する変換規則を生成する。そして、変換規則に従って、画像に含まれる対象物の色を装置非依存の色空間における数値に変換する。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１７－２０１２５１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

カラースケールを撮影した画像には、複数の色見本が含まれる。撮影状態によっては、各色見本の識別が困難な場合があるため、色の判定が難しいことがある。

【課題を解決するための手段】

【0005】

上記課題を解決する色判定システムは、撮影部から画像を取得する制御部を備える。そして、前記制御部が、対象物とともに、複数の色見本を含むスケールを撮影した画像において、複数の前記色見本の検出領域を特定し、前記検出領域と、前記スケールの色見本の配置パターンを用いて、前記色見本の未検出領域を特定し、前記検出領域と前記未検出領域とを用いて、前記スケールの配置を予測し、前記予測した配置で前記スケールの色見本を用いて、前記対象物の色を判定する。

【発明の効果】

【0006】

本開示によれば、的確に色を判定することができる。

【図面の簡単な説明】

【0007】

【図1】実施形態の色判定システムの説明図である。

【図2】実施形態のハードウェア構成の説明図である。

【図3】実施形態の処理手順の説明図である。

【図4】実施形態の画像の説明図であって、（ａ）は撮影画像、（ｂ）はグレースケール画像、（ｃ）はエッジ抽出画像の説明図である。

【図5】実施形態の画像の説明図であって、（ａ）はエッジ強調画像、（ｂ）は輪郭抽出画像、（ｃ）は重畳画像の説明図である。

【図6】実施形態の画像の説明図であって、（ａ）は重畳画像、（ｂ）はレイアウト、（ｃ）は重畳画像の説明図である。

【図7】実施形態の処理手順の説明図であって、（ａ）は輪郭の間隔が小さい場合、（ｂ）は輪郭の間隔が大きい場合の説明図である。

【発明を実施するための形態】

【0008】

図１～図７に従って、色判定システム、色判定方法及び色判定プログラムを具体化した実施形態を説明する。
図１に示すように、本実施形態では、コンクリート材の色評価のために、異なる色が配置されたスケールを用いる。そして、色判定システムとしての判定装置２０は、対象物Ｔ１の近傍に配置されたスケール１０を用いて色を判定する。

【0009】

（ハードウェア構成例）
図２は、判定装置２０として機能する情報処理装置Ｈ１０のハードウェア構成例である。

【0010】

情報処理装置Ｈ１０は、通信装置Ｈ１１、入力装置Ｈ１２、表示装置Ｈ１３、記憶装置Ｈ１４、プロセッサＨ１５を有する。なお、このハードウェア構成は一例であり、他のハードウェアを有していてもよい。

【0011】

通信装置Ｈ１１は、他の装置との間で通信経路を確立して、データの送受信を実行するインタフェースであり、例えばネットワークインタフェースや無線インタフェース等である。

【0012】

入力装置Ｈ１２は、利用者等からの入力を受け付ける装置であり、例えばマウスやキーボード等である。表示装置Ｈ１３は、各種情報を表示するディスプレイやタッチパネル等である。

【0013】

記憶装置Ｈ１４は、判定装置２０の各種機能を実行するためのデータや各種プログラムを格納する記憶装置である。記憶装置Ｈ１４の一例としては、ＲＯＭ、ＲＡＭ、ハードディスク等がある。

【0014】

プロセッサＨ１５は、記憶装置Ｈ１４に記憶されるプログラムやデータを用いて、判定装置２０における各処理（例えば、後述する制御部２１における処理）を制御する。プロセッサＨ１５の一例としては、例えばＣＰＵやＭＰＵ等がある。このプロセッサＨ１５は、ＲＯＭ等に記憶されるプログラムをＲＡＭに展開して、各種処理に対応する各種プロセスを実行する。例えば、プロセッサＨ１５は、判定装置２０のアプリケーションプログラムが起動された場合、後述する各処理を実行するプロセスを動作させる。

【0015】

プロセッサＨ１５は、自身が実行するすべての処理についてソフトウェア処理を行なうものに限られない。例えば、プロセッサＨ１５は、自身が実行する処理の少なくとも一部についてハードウェア処理を行なう専用のハードウェア回路（例えば、特定用途向け集積回路：ＡＳＩＣ）を備えてもよい。すなわち、プロセッサＨ１５は、以下で構成し得る。

【0016】

（１）コンピュータプログラム（ソフトウェア）に従って動作する１つ以上のプロセッサ
（２）各種処理のうち少なくとも一部の処理を実行する１つ以上の専用のハードウェア回路、或いは
（３）それらの組み合わせ、を含む回路（circuitry）
プロセッサは、ＣＰＵ並びに、ＲＡＭ及びＲＯＭ等のメモリを含み、メモリは、処理をＣＰＵに実行させるように構成されたプログラムコード又は指令を格納している。メモリすなわちコンピュータ可読媒体は、汎用又は専用のコンピュータでアクセスできるあらゆる利用可能な媒体を含む。

【0017】

（各情報処理装置の機能）
図１を用いて、スケール１０、判定装置２０の機能を説明する。
スケール１０には、異なる配色の複数の色見本が配置される。本実施形態のスケール１０は、異なる配色として明度の色属性値を順次変更して、白から黒までの複数の色見本が配置されたカラースケールを用いる。

【0018】

判定装置２０は、撮影画像において対象物の色を判定するコンピュータシステムである。この判定装置２０は、撮影部２０１、制御部２１、スケール情報記憶部２２を備えている。

【0019】

撮影部２０１は、被写体を撮影する装置である。本実施形態では、撮影部２０１を用いて、色判定の対象物Ｔ１とともに、スケール１０を撮影する。
制御部２１は、後述する処理（管理段階、画像処理段階、予測段階等を含む処理）を行なう。このための色判定プログラムを実行することにより、制御部２１は、管理部２１０、画像処理部２１１、予測部２１２等として機能する。

【0020】

管理部２１０は、撮影部２０１から撮影画像を取得するとともに、画像処理部２１１、予測部２１２を制御する。
画像処理部２１１は、撮影部２０１による撮影画像の画像処理を実行する。
予測部２１２は、画像処理された画像を用いて、色を判定する処理を実行する。

【0021】

スケール情報記憶部２２には、スケール１０の色見本の配置パターン（フォーマット）に関するスケール管理情報が記録される。このスケール管理情報は、スケール１０が登録された場合に記録される。スケール管理情報には、カラー見本のレイアウト、各カラー見本の色情報に関するデータが記録される。

【0022】

（色判定処理）
次に、図３～図７を用いて、色判定処理を説明する。
図３に示すように、まず、スケールを配置する（ステップＳ１０）。具体的には、スケール１０を、対象物Ｔ１の近傍に配置する。

【0023】

次に、判定装置２０の制御部２１は、撮影画像の取得処理を実行する（ステップＳ２０）。具体的には、判定装置２０の撮影部２０１を用いて、対象物Ｔ１とスケール１０とを、被写体として撮影する。この場合、制御部２１の管理部２１０は、対象物Ｔ１とスケール１０とが含まれる撮影画像を生成する。なお、以下の画像では、スケール１０の近傍のみを切り出した画像を用いて説明する。
具体的には、図４（ａ）に示すように、撮影部２０１によって撮影されたカラーの画像５００を取得する。

【0024】

次に、判定装置２０の制御部２１は、四角形検出処理を実行する（ステップＳ３０）。具体的には、制御部２１の画像処理部２１１は、撮影画像において、色見本の配置を特定する。
四角形検出処理（ステップＳ３０）については、以下で詳述する。

【0025】

ここでは、まず、判定装置２０の制御部２１は、グレースケール化処理を実行する（ステップＳ３１）。具体的には、制御部２１の画像処理部２１１は、画像５００の色の濃淡の画素値を、白から黒までの２５６階調で表示したグレースケール画像に変換する。
図４（ａ）に示す画像５００を、図４（ｂ）に示すように、グレースケールの画像５１０に変換する。

【0026】

次に、判定装置２０の制御部２１は、エッジ検出処理を実行する（ステップＳ３２）。具体的には、制御部２１の画像処理部２１１は、グレースケール画像において、画素値が閾値以上で不連続な部分を検出するフィルタをかけることにより、エッジを表示したエッジ抽出画像を生成する。
図４（ｂ）に示す画像５１０を、図４（ｃ）に示すように、エッジを表示した画像５２０に変換する。

【0027】

次に、判定装置２０の制御部２１は、エッジ強調処理を実行する（ステップＳ３３）。具体的には、制御部２１の画像処理部２１１は、エッジ抽出画像におけるエッジを強調するフィルタをかけることにより、エッジ強調画像を生成する。
図４（ｃ）に示す画像５２０を、図５（ａ）に示すように、エッジを強調した画像５３０に変換する。

【0028】

次に、判定装置２０の制御部２１は、輪郭抽出処理を実行する（ステップＳ３４）。具体的には、制御部２１の画像処理部２１１は、エッジ強調画像において、輪郭を抽出する。

【0029】

次に、判定装置２０の制御部２１は、閉図形の抽出処理を実行する（ステップＳ３５）。具体的には、制御部２１の画像処理部２１１は、抽出した輪郭の中で、閉図形のみを含めた四角形の輪郭抽出画像を生成する。ここでは、四角形（４点で表示できる輪郭）のみを抽出する。
図５（ａ）に示す画像５３０から、図５（ｂ）に示すように、四角形のみを抽出した画像５４０を生成する。画像５４０には、輪郭５４１～５４６が含まれる。
以上の四角形検出処理（ステップＳ３０）によって、色見本の配置を特定する。

【0030】

次に、判定装置２０の制御部２１は、位置推定処理を実行する（ステップＳ４０）。具体的には、制御部２１の予測部２１２は、輪郭抽出画像において、スケールの位置を推定する。
位置推定処理（ステップＳ４０）については、以下で詳述する。

【0031】

ここでは、まず、判定装置２０の制御部２１は、未検出領域の予測処理を実行する（ステップＳ４１）。具体的には、制御部２１の予測部２１２は、撮影画像に対して、輪郭抽出画像を重畳させた重畳画像を生成する。

【0032】

図５（ｃ）に示すように、画像５００に、図５（ｂ）に示す画像５４０を重畳させた画像５５０を生成する。
この場合、制御部２１の予測部２１２は、画像５５０において、各輪郭内の色分布の均一性を確認する。そして、予測部２１２は、色分布が均一でない輪郭を除去する。
図６（ａ）に示すように、画像５５０において、輪郭５４１内には、複数の色が分布しているため、輪郭５４１を削除する。

【0033】

次に、判定装置２０の制御部２１は、スケールの配置判定処理を実行する（ステップＳ４２）。具体的には、制御部２１の予測部２１２は、スケール情報記憶部２２に記録された色見本のレイアウト（色見本の配置）を当てはめる。
ここでは、図６（ｂ）に示すレイアウト２２０を用いる。

【0034】

次に、判定装置２０の制御部２１は、未検出の色見本推定処理を実行する（ステップＳ４３）。具体的には、制御部２１の予測部２１２は、各輪郭の重心位置を特定する。そして、予測部２１２は、重心位置を結ぶ線を延長させて、検出できていない色見本領域を予測する。

【0035】

図７（ａ）に示すように、３個の輪郭Ｆ１～Ｆ３（検出領域）を特定している場合には、各輪郭Ｆ１～Ｆ３の重心位置を結ぶ線を延長させることにより、存在する可能性がある未検出領域Ｆｘ１，Ｆｘ２等を特定する。
ここでは、隣接する色見本の輪郭Ｆ１～Ｆ３を検出しているので、重心の間隔を延長した領域に未検出領域Ｆｘ１，Ｆｘ２を特定する。これら未検出領域Ｆｘ１，Ｆｘ２は、輪郭Ｆ１，Ｆ３の外側の領域に配置される。
また、図７（ｂ）に示すように、３個の輪郭Ｆ１～Ｆ３（検出領域）のように、複数の輪郭が、検出領域のサイズ（幅）以上で大きい場合には、検出した輪郭の間隔を輪郭の幅で除算した個数の未検出領域を特定する。ここでは、更に、輪郭Ｆ２，Ｆ３間に未検出領域Ｆｘ３を特定する。

【0036】

そして、予測部２１２は、未検出領域Ｆｘ１，Ｆｘ２等の色分布を確認し、色分布が均一な場合には、色見本領域と判定する。
そして、図６（ｃ）に示すように、画像５６０において、すべての色見本が配置された輪郭を特定する。この画像５６０においては、輪郭５６１，５６２が新たに検出されている。

【0037】

次に、判定装置２０の制御部２１は、色の判定処理を実行する（ステップＳ５０）。具体的には、制御部２１の管理部２１０は、スケール１０において、対象物Ｔ１の色に対応する色見本を特定する。そして、管理部２１０は、特定した色見本の色を、対象物Ｔ１の色として判定して、表示装置Ｈ１３に出力する。

【0038】

本実施形態によれば、以下のような効果を得ることができる。
（１）本実施形態においては、判定装置２０の制御部２１は、グレースケール化処理を実行する（ステップＳ３１）。これにより、明るさの濃淡により、スケールの配置を予測することができる。

【0039】

（２）本実施形態においては、判定装置２０の制御部２１は、エッジ検出処理（ステップＳ３２）、エッジ強調処理（ステップＳ３３）を実行する。これにより、一つの色見本領域は単色であるため、各色見本領域を抽出することができる。

【0040】

（３）本実施形態においては、判定装置２０の制御部２１は、輪郭抽出処理（ステップＳ３４）、閉図形の抽出処理（ステップＳ３５）を実行する。これにより、閉図形の輪郭で囲まれた色見本領域を特定することができる。

【0041】

（４）本実施形態においては、判定装置２０の制御部２１は、未検出領域の予測処理（ステップＳ４１）、スケールの配置判定処理（ステップＳ４２）、未検出の色見本推定処理（ステップＳ４３）を実行する。撮影状況に応じて、的確に色見本領域を特定できない場合にも、検出したい色見本領域から未検出の色見本領域を予測することができる。

【0042】

（５）本実施形態においては、判定装置２０の制御部２１は、色の判定処理を実行する（ステップＳ５０）。これにより、スケールの色見本を用いて、対象物の色を判定することができる。

【0043】

本実施形態は、以下のように変更して実施することができる。本実施形態、以下の実施形態及び以下の変更例は、技術的に矛盾しない範囲で互いに組み合わせて実施することができる。

【0044】

・上記実施形態では、コンクリート材の色を判定したが、色を判定する対象物は、コンクリート材に限定されるものではない。
・上記実施形態では、判定装置２０を用いる。ハードウェアの構成は、これらに限定されるものではない。例えば、撮影部２０１と判定装置２０とを分けて、クライアント・サーバ形式で実現してもよい。
・上記実施形態では、スケール１０として、明度異なる色見本が配置されたグレースケールを用いたが、明度、色相及び彩度の少なくとも一つの色属性値が異なる色見本が配置されたカラースケールを用いてもよい。

【0045】

・上記実施形態では、判定装置２０の制御部２１は、未検出の色見本推定処理を実行する（ステップＳ４３）。具体的には、輪郭の配置から、未検出の色見本を推定する。これに加えて、色勾配を用いてもよい。ここでは、複数の色見本の検出領域の色属性値と、スケールの色見本の配置パターンとにより、未検出領域を特定する。具体的には、予測部２１２は、検出した複数の色見本領域の色を比較して色勾配を算出する。そして、予測部２１２は、算出している勾配と、スケール情報記憶部２２に記録されているスケールの色見本の配置に応じた色勾配とを比較して、スケールの配置を予測する。

【符号の説明】

【0046】

Ｔ１…対象物、１０…スケール、２０…判定装置、２０１…撮影部、２１…制御部、２１０…管理部、２１１…画像処理部、２１２…予測部、２２…スケール情報記憶部。

【要約】

【課題】的確に色を判定するための色判定システム、色判定方法及び色判定プログラムを提供する。
【解決手段】判定装置２０は、撮影部２０１から画像を取得する制御部２１を備える。そして、制御部２１が、対象物とともに、複数の色見本を含むスケールを撮影した画像において、複数の色見本の検出領域を特定し、検出領域と、スケール１０の色見本の配置パターンを用いて、色見本の未検出領域を特定し、検出領域と未検出領域とを用いて、スケール１０の配置を予測し、予測した配置でスケール１０の色見本を用いて、対象物の色を判定する。
【選択図】図１

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】