(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024011601
(43)【公開日】2024-01-25
(54)【発明の名称】色推定方法、色推定装置、及び、色推定プログラム
(51)【国際特許分類】
G01J 3/46 20060101AFI20240118BHJP
H04N 1/56 20060101ALI20240118BHJP
H04N 1/60 20060101ALI20240118BHJP
G06T 7/90 20170101ALI20240118BHJP
【FI】
G01J3/46 Z
H04N1/56
H04N1/60 020
G06T7/90 A
【審査請求】未請求
【請求項の数】12
【出願形態】OL
(21)【出願番号】P 2022113742
(22)【出願日】2022-07-15
【新規性喪失の例外の表示】特許法第30条第2項適用申請有り 第37回ファジィシステムシンポジウム講演論文集(FSS2021オンライン)、第313~316頁、日本知能情報ファジィ学会、令和3年9月3日発行 〔刊行物等〕情報処理学会東北支部研究報告、Vol.2021-akita、第4号、第1~7頁、令和3年度情報処理学会東北支部研究会、令和3年12月3日発行 〔刊行物等〕映像情報メディア学会2021年冬季大会講演予稿集、21C-4、一般社団法人映像情報メディア学会、令和3年12月1日発行 〔刊行物等〕情報処理学会第84回全国大会講演論文集、第2-145~146頁、一般社団法人情報処理学会、令和4年2月18日発行
【国等の委託研究の成果に係る記載事項】(出願人による申告)令和2年度、国立研究開発法人科学技術振興機構、研究成果展開事業「可搬型非接触色特徴解析と変換・表示法の開発」委託研究、産業技術力強化法第17条の適用を受ける特許出願
(71)【出願人】
【識別番号】504409543
【氏名又は名称】国立大学法人秋田大学
(71)【出願人】
【識別番号】305024547
【氏名又は名称】有限会社イグノス
(74)【代理人】
【識別番号】100142734
【弁理士】
【氏名又は名称】安 裕 希
(72)【発明者】
【氏名】景山 陽一
(72)【発明者】
【氏名】白井 光
(72)【発明者】
【氏名】渡邊 成美
(72)【発明者】
【氏名】大和田 功
(72)【発明者】
【氏名】寒川 陽美
【テーマコード(参考)】
2G020
5C079
5L096
【Fターム(参考)】
2G020AA08
2G020DA02
2G020DA03
2G020DA04
2G020DA05
2G020DA12
2G020DA22
2G020DA32
2G020DA34
5C079HB01
5C079HB08
5C079HB11
5C079LA02
5C079MA10
5C079NA29
5L096AA02
5L096BA03
5L096CA02
5L096DA02
5L096EA35
5L096FA15
(57)【要約】
【課題】汎用のカメラ付き情報処理装置を用いて、手軽に非接触で対象物の色を精度良く推定する色推定方法等を提供する。
【解決手段】色推定方法は、対象物を撮影することにより、該対象物を写した画像を取得する画像取得ステップと、画像内において対象物が写った領域を構成する画素のうち、陰影に該当する画素である陰影画素以外の画素の画素値を取得する画素値取得ステップと、画素値と色の真値との関係を表す関係式と、画素値取得ステップにおいて取得された画素値とを用いて、対象物の色の推定値を算出する算出ステップと、を含む。
【選択図】
図1
【特許請求の範囲】
【請求項1】
対象物を撮影することにより、前記対象物を写した画像を取得する画像取得ステップと、
前記画像内において前記対象物が写った領域を構成する画素のうち、陰影に該当する画素である陰影画素以外の画素の画素値を取得する画素値取得ステップと、
画素値と色の真値との関係を表す関係式と、前記画素値取得ステップにおいて取得された画素値とを用いて、前記対象物の色の推定値を算出する算出ステップと、
を含む色推定方法。
【請求項2】
前記画素値取得ステップは、
前記対象物が写った領域を構成する画素から、前記陰影画素を除去し、前記対象物が写った領域を構成する画素から前記陰影画素が除去された残りの画素の画素値を取得する、請求項1に記載の色推定方法。
【請求項3】
前記画素値取得ステップは、前記画像に対して適応的閾値処理を施すことにより生成された二値画像に基づいて、前記陰影画素を特定する、請求項2に記載の色推定方法。
【請求項4】
前記画素値取得ステップは、前記画像を構成する画素の情報量に基づいて、前記陰影画素以外の画素の画素値を取得する、請求項1に記載の色推定方法。
【請求項5】
前記画像取得ステップにおいて取得された画像を構成する各画素の画素値がRGB表色系により表わされ、
前記画像を構成する各画素の画素値を、RGB表色系における値からL*a*b*表色系における値に変換するステップをさらに含み、
前記算出ステップは、L*a*b*表色系における値を前記関係式に代入することにより、前記対象物の色の推定値を算出する、請求項1~4のいずれか1項に記載の色推定方法。
【請求項6】
前記関係式は、色見本を撮影することにより取得された画像における該色見本の画素値と、前記色見本の色の真値とを回帰分析することにより予め取得された回帰式である、請求項1~4のいずれか1項に記載の色推定方法。
【請求項7】
前記回帰式は、画素値の成分に応じた回帰分析の手法により作成されている、請求項6に記載の色推定方法。
【請求項8】
前記対象物の色域を取得する色域取得ステップをさらに含み、
前記関係式は、色域ごとに作成され、
前記算出ステップは、前記対象物の色域に応じて選択される関係式を用いて、前記対象物の色の推定値を算出する、
請求項1~4のいずれか1項に記載の色推定方法。
【請求項9】
前記対象物の表面特性に関する情報を取得する表面特性取得ステップをさらに含み、
前記関係式は、表面特性ごとに作成され、
前記算出ステップは、前記対象物の表面特性に応じて選択される関係式を用いて、前記対象物の色の推定値を算出する、
請求項1~4のいずれか1項に記載の色推定方法。
【請求項10】
前記対象物は布地であり、
前記表面特性に関する情報は、布地の種類を表す情報である、
請求項9に記載の色推定方法。
【請求項11】
対象物を撮影する撮像部と、
前記撮像部から出力されるデータに基づいて、前記対象物を写した画像を取得する画像取得部と、
前記画像内において前記対象物が写った領域を構成する画素のうち、陰影に該当する画素である陰影画素以外の画素の画素値を取得する画素値取得部と、
画素値と色の真値との関係を表す関係式を記憶する記憶部と、
前記関係式と、前記画素値取得部により取得された画素値とを用いて、前記対象物の色の推定値を算出する算出部と、
を備える色推定システム。
【請求項12】
撮像部に対象物を撮影させることにより、前記対象物を写した画像を取得する画像取得ステップと、
前記画像内において前記対象物が写った領域を構成する画素のうち、陰影に該当する画素である陰影画素以外の画素の画素値を取得する画素値取得ステップと、
画素値と色の真値との関係を表す関係式と、前記画素値取得ステップにおいて取得された画素値とを用いて、前記対象物の色の推定値を算出する算出ステップと、
をコンピュータに実行させる色推定プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、測定対象の色を推定する色推定方法、色推定装置、及び、色推定プログラムに関する。
【背景技術】
【0002】
工業製品の配色や物質の化学検査において、色情報を正確に測定することは、品質管理の面で非常に重要である。また、近年のネット環境やオンラインサービスの充実により、多くの物がネットショッピングで入手可能となっているが、商品を撮影した光源色の違いなどに起因して、ネットショッピングで購入した実際の商品の色が、消費者が想定した色と異なっている場合が多い。そのため、色情報を正確に取得することができる技術に対するニーズは大きい。
【0003】
現在、精密な色情報を取得する手段として、色を定量的に測定する機器である分光測色計が知られている。しかしながら,分光測色計は一般的に高価であると共に、据え置き型の機器が多いため測色環境が限定され易く、一般のユーザには使い難いという問題がある。
【0004】
色情報を取得する別の手段として、測色対象と標準色票とを目視で比較する方法も知られている。しかしながら、目視により測色する場合、測定者の熟練度や体調等により色の読み取り誤差が生じ易い。また、労力を要するという問題もある。
【0005】
最近では、スマートフォンやタブレット端末など汎用のカメラ付きモバイル端末(可搬型の情報処理装置)が普及しており、このようなモバイル端末で測色対象を撮影することにより取得された画像データ(画素値)に基づいて測定対象の色情報を取得する技術も知られている。
【0006】
測色に関する技術として、例えば、特許文献1には、色標を用いて対象物の色を推定する技術として、傾斜センサにより検出した撮像装置の傾きに基づいて、該撮像装置に対して対象物と対象物に隣接する色標の撮影を指示する指示部と、撮像装置を用いて撮影した画像から、対象物に対応する対象物画素値と、色標内に配置された基準色の複数の領域に対応する複数の基準色画素値とを抽出し、対象物画素値と前記複数の基準色画素値とを用いて対象物の色を推定する推定部と、対象物の色を示す推定結果を出力する出力部と、を備える色推定装置が開示されている。
【0007】
特許文献2には、人の眼に忠実で正確な色情報を取得して、色情報から色合い等を正確に検査することを目的として、CIE XYZ等色関数と等価に線形変換された三つの分光感度(S1(λ),S2(λ),S3(λ))を有する撮像装置と、撮像装置により取得した第1画像の関心領域の正規化された第1の色度図分布を生成し、撮像装置により取得した第2画像の関心領域の正規化された第2の色度図分布を生成し、第1の色度図分布と、第2の色度図分布とを対比し、第1の色度図分布と第2の色度図分布の重複領域を検出し、関心領域の第1画素数を検出し、重複領域の第2画素数を検出し、第1画素数に対する第2画素数の割合を演算する画像色分布検査装置が開示されている。
【0008】
特許文献3には、1枚のデジタル画像から事前学習を行うことなく、質感の高い画像を再現することを目的として、デジタル画像の画素を構成する少なくとも1つの色信号情報の強度が飽和した画素を含む飽和領域と飽和した画素を含まない非飽和領域とを検出する飽和領域検出部と、デジタル画像中の被写体を色信号情報に基づいて検出して被写体領域に分割し、飽和領域が対応する被写体領域を隣接する同一被写体の被写体領域に併合して修正する領域分割部と、修正した被写体領域中の飽和領域に対応する画素の飽和した色信号情報の強度を当該被写体領域中の非飽和領域に対応する画素の色信号情報の強度から被写体色を復元する被写体色推定部とを備える質感検出装置が開示されている。
【0009】
非特許文献1には、機械学習を用いて布地の欠陥を検出する手法として、グレースケール画像から、テトロレット変換による特徴量及びテクスチャ特徴量を抽出し、これら特徴量をRideNNとDeep Neuro Fuzzy Network (DNFN)を組み合わせた手法により布地の欠陥検出を行うことが開示されている。
【先行技術文献】
【特許文献】
【0010】
【特許文献1】特開2017-135649号公報
【特許文献2】特開2016-59054号公報
【特許文献3】特開2015-115628号公報
【0011】
【非特許文献1】M. S. Biradarほか著,“Fabric Defect Detection Using Competitive Cat Swarm Optimizer Based RideNN and Deep Neuro Fuzzy Network”,Sensing and Imaging, No.23, Vol.3 (2021年12月15日発行)
【発明の概要】
【発明が解決しようとする課題】
【0012】
汎用のカメラ付き情報処理装置を用いることにより、可搬且つ手軽に非接触で測色することができる反面、環境光の影響やカメラの露出補正などに起因して、正確な色情報を取得することが困難という問題がある。特に、布地などの素材は、表面の特性によっては、見る(撮影する)角度により感知される色が大きく変わることがあるため、素材本来の色情報を取得することは非常に難しい。
【0013】
上記特許文献1においては、対象物の色を推定する際に、対象物と共に色標を撮影しなければならない。また、上記特許文献2においても、対象物の他に基準物を撮影しなければならず、モバイル端末単体で測定対象の色情報を取得することができない。
【0014】
上記特許文献3においては、デジタル画像中の画素の色信号情報の強度が飽和した被写体領域を検出し、飽和領域を本来属するべき被写体領域に併合して、併合した被写体領域内の非飽和領域の画素情報を参照して飽和領域の被写体色を復元しているが、被写体そのものの色推定は行っていない。
【0015】
本発明は、上記に鑑みてなされたものであり、汎用のカメラ付き情報処理装置を用いて、手軽に非接触で対象物の色を精度良く推定することができる色推定方法、色推定装置、及び、色推定プログラムを提供することを目的とする。
【課題を解決するための手段】
【0016】
上記課題を解決するために、本発明の一態様である色推定方法は、対象物を撮影することにより、前記対象物を写した画像を取得する画像取得ステップと、前記画像内において前記対象物が写った領域を構成する画素のうち、陰影に該当する画素である陰影画素以外の画素の画素値を取得する画素値取得ステップと、画素値と色の真値との関係を表す関係式と、前記画素値取得ステップにおいて取得された画素値とを用いて、前記対象物の色の推定値を算出する算出ステップと、を含むものである。
【0017】
上記色推定方法において、前記画素値取得ステップは、前記対象物が写った領域を構成する画素から、前記陰影画素を除去し、前記対象物が写った領域を構成する画素から前記陰影画素が除去された残りの画素の画素値を取得しても良い。
【0018】
上記色推定方法において、前記画素値取得ステップは、前記画像に対して適応的閾値処理を施すことにより生成された二値画像に基づいて、前記陰影画素を特定しても良い。
【0019】
上記色推定方法において、前記画素値取得ステップは、前記画像を構成する画素の情報量に基づいて、前記陰影画素以外の画素の画素値を取得しても良い。
【0020】
上記色推定方法において、前記画像取得ステップにおいて取得された画像を構成する各画素の画素値がRGB表色系により表わされ、前記画像を構成する各画素の画素値を、RGB表色系における値からL*a*b*表色系における値に変換するステップをさらに含み、前記算出ステップは、L*a*b*表色系における値を前記関係式に代入することにより、前記対象物の色の推定値を算出しても良い。
【0021】
上記色推定方法において、前記関係式は、色見本を撮影することにより取得された画像における該色見本の画素値と、前記色見本の色の真値とを回帰分析することにより予め取得された回帰式であっても良い。
【0022】
上記色推定方法において、前記回帰式は、画素値の成分に応じた回帰分析の手法により作成されていても良い。
【0023】
上記色推定方法は、前記対象物の色域を取得する色域取得ステップをさらに含み、前記関係式は、色域ごとに作成され、前記算出ステップは、前記対象物の色域に応じて選択される関係式を用いて、前記対象物の色の推定値を算出しても良い。
【0024】
上記色推定方法は、前記対象物の表面特性に関する情報を取得する表面特性取得ステップをさらに含み、前記関係式は、表面特性ごとに作成され、前記算出ステップは、前記対象物の表面特性に応じて選択される関係式を用いて、前記対象物の色の推定値を算出しても良い。
【0025】
上記色推定方法において、前記対象物は布地であり、前記表面特性に関する情報は、布地の種類を表す情報であっても良い。
【0026】
本発明の別の態様である色推定システムは、対象物を撮影する撮像部と、前記撮像部から出力されるデータに基づいて、前記対象物を写した画像を取得する画像取得部と、前記画像内において前記対象物が写った領域を構成する画素のうち、陰影に該当する画素である陰影画素以外の画素の画素値を取得する画素値取得部と、画素値と色の真値との関係を表す関係式を記憶する記憶部と、前記関係式と、前記画素値取得部により取得された画素値とを用いて、前記対象物の色の推定値を算出する算出部と、を備えるものである。
【0027】
本発明の別の態様である色推定プログラムは、撮像部に対象物を撮影させることにより、前記対象物を写した画像を取得する画像取得ステップと、前記画像内において前記対象物が写った領域を構成する画素のうち、陰影に該当する画素である陰影画素以外の画素の画素値を取得する画素値取得ステップと、画素値と色の真値との関係を表す関係式と、前記画素値取得ステップにおいて取得された画素値とを用いて、前記対象物の色の推定値を算出する算出ステップと、をコンピュータに実行させるものである。
【発明の効果】
【0028】
本発明によれば、画像内で対象物が写った領域を構成する画素のうち、陰影に該当する画素である陰影画素以外の画素の画素値を用いて色の値を算出するので、汎用のカメラ付き情報処理装置を用いて、手軽に非接触で対象物の色を精度良く推定することが可能となる。
【図面の簡単な説明】
【0029】
【
図1】本発明の実施形態に係る色推定方法の概要を示すフローチャートである。
【
図2】布素材を写した画像における画素値の特徴を説明するための図である。
【
図3】陰影画素以外の画素の画素値を取得する第1の方法を説明するための画像である。
【
図4】陰影画素以外の画素の画素値を取得する第2の方法を説明するための模式図である。
【
図5】色推定方法において使用される関係式の作成方法を示すフローチャートである。
【
図6】本発明の実施形態に係る色推定システムの概略構成例を示すブロック図である。
【
図7】色差の大きさによる色の許容差の例を示す表である。
【
図8】実施例において使用された布素材の布名及び材質を示す表である
【
図9】実施例において使用された布素材(レーヨン)を撮影した画像である。
【
図10】実施例において使用された布素材(ポリエステル)を撮影した画像である。
【
図11】実施例において使用された布素材(綿)を撮影した画像である。
【
図12】実施例における撮影環境を示す模式図である。
【
図13】布素材が写った画像内の色情報取得領域を示す図である。
【
図14】ファジイ回帰分析におけるMIN問題の例を示すグラフである。
【
図15】色の推定精度の検証結果(細布)を示す表である。
【
図16】色の推定精度の検証結果(シルキー)を示す表である。
【
図17】色の推定精度の検証結果(プレミアムコットン)を示す表である。
【
図18】色の推定精度の検証結果(細布)を示す表である。
【
図19】色の推定精度の検証結果(シルキー)を示す表である。
【
図20】色の推定精度の検証結果(プレミアムコットン)を示す表である。
【
図22】色差の度数分布を対比して示すグラフである。
【
図23】色差の度数分布を対比して示すグラフである。
【
図24】色差の度数分布を対比して示すグラフである。
【
図25】色差の度数分布を対比して示すグラフである。
【
図26】色差の度数分布を対比して示すグラフである。
【
図27】色差の度数分布を対比して示すグラフである。
【
図28】色差の度数分布を対比して示すグラフである。
【
図29】色差の度数分布を対比して示すグラフである。
【
図30】色系統別及び素材別にサンプルを撮影した画像である。
【
図31】色系統別にサンプルを撮影した画像に基づいて算出された色差を示す表である。
【
図32】色系統別にサンプルを撮影した画像に基づいて算出された色差を示す表である。
【
図33】色系統別にサンプルを撮影した画像に基づいて算出された色差を示す表である。
【
図34】色差の度数分布を対比して示すグラフである。
【
図35】色差の度数分布を対比して示すグラフである。
【
図36】色推定の結果が目標色差範囲となったデータ数を示す表である。
【発明を実施するための形態】
【0030】
以下、本発明の実施の形態に係る色推定方法、色推定装置、及び、色推定プログラムについて、図面を参照しながら説明する。なお、これらの実施の形態によって本発明が限定されるものではない。また、各図面の記載において、同一部分には同一の符号を付して示している。
【0031】
以下の説明において参照する図面は、本発明の内容を理解し得る程度に形状、大きさ、及び位置関係を概略的に示しているに過ぎない。即ち、本発明は各図で例示された形状、大きさ、及び位置関係のみに限定されるものではない。また、図面の相互間においても、互いの寸法の関係や比率が異なる部分が含まれている場合がある。
【0032】
(色推定方法の概要)
図1は、本発明の実施形態に係る色推定方法の概要を示すフローチャートである。以下においては、色推定の対象物として、布地又は表面が布地に覆われた物を例として説明するが、本実施形態に係る色推定方法は、布地以外にも様々な素材からなる対象物の色推定に適用することができる。
【0033】
図1に示すように、本実施形態に係る色推定方法においては、まず、対象物を撮影することにより、対象物を写した画像を取得する(ステップS1)。
【0034】
次に、対象物の色域を取得する(ステップS2)。このステップS2において取得される色域は、赤域、青域、緑域、黄域など、大まかな分類であって良い。色域は、例えばステップS1において取得された画像における画素値に基づいて取得することができる。
【0035】
次に、対象物の表面特性に関する情報を取得する(ステップS3)。対象物の表面特性は、例えば、レーヨン、ポリエステル、綿100%といった布地の素材によって表すことができる。或いは、表面特性として、布地の織り方、繊維の太さ、布地の厚さなどを用いても良いし、表面粗さの程度の大まかな分類を表面特性として用いても良い。
【0036】
次に、画像内において対象物が写った領域を構成する画素のうち、陰影に該当する画素である陰影画素以外の画素の画素値を取得する(ステップS4)。陰影画素以外の画素の画素値の取得方法については後述する。
【0037】
次に、画素値と色の真値との関係を表す関係式と、ステップS4において取得された画素値とを用いて、対象物の色の推定値を算出する(ステップS5)。
【0038】
関係式は予め複数種類用意されており、ステップS5においては、ステップS2において取得された色域や、ステップS3において取得された表面特性に応じて、関係式が選択されて用いられる。例えば、赤系統のレーヨン素材(細布)の対象物の色推定を行う場合、赤系統且つ細布用として作成された関係式が用いられる。もっとも、色域や表面特性に応じて関係式を選択することは必須ではない。また、色域のみに応じて関係式を選択したり、表面特性のみに応じて関係式を選択したりすることも可能である。
【0039】
関係式は、色見本を撮影することにより取得された画像の画素値と、色見本の色の真値とを回帰分析することにより作成されたものである。関係式の種類としては、直線近似式、二次曲線近似式、ファジイ回帰式などが挙げられる。関係式は、色成分(例えばL*a*b*表色系におけるL*値、a*値、b*値)ごとに異なる種類の回帰分析により作成されたものであっても良いし、同じ種類の回帰分析により作成されたものであっても良い。前者の具体的には、L*値については直線近似式を使用し、a*値及びb*値については二次曲線近似式を使用するといった例が挙げられる。関係式の作成方法については後述する。さらに、ステップS5において算出された値を色の推定値として出力するステップに含んでも良い。
【0040】
ここで、一般的なカメラから出力される画像データにおいて、画素値はRGB表色系によって表される。一方、分光測色計などで測定される色の真値は、通常、L*a*b*表色系によって表される。そのため、ステップS1において取得された画像を構成する各画素の画素値をRGB表色系における値からL*a*b*表色系における値に変換するステップをさらに含んでも良い。この場合、ステップS5においては、L*a*b*表色系により表された画素値を上記関係式に代入することにより色の値が算出される。
【0041】
ここで、L
*a
*b
*表色系は、次式(1.1)~(1.4)により定義される。
【数1】
【0042】
L*a*b*表色系における要素のうち、L*値は明度指数である。また、a*値は色相に関係する量であり、a*値が正に大きいほど赤味が強いことを示し、負に大きいほど緑味が強いことを示す。b*値は彩度に関係する量であり、b*値が正に大きいほど黄味が強いことを示し、負に大きいほど青味が強いことを示す。
【0043】
式(1.1)~(1.4)において、X,Y,Zの各値は、XYZ表色系における三刺激値であり、Xn,Yn,Znの各値は、XYZ表色系における白色点の三刺激値を表す。分光測色計においては、光の分光分布からXYZ表色系の値を算出し、L*a*b*表色系に変換することで色情報を取得している。
【0044】
RGB表色系からXYZ表色系への変換は、RGB表色系における三刺激値であるR,G,Bの各値を用いて、次式(2.1)により定義される。また、例えばD65光源における白色点の三刺激値X
n,Y
n,Z
nの各値は、次式(2.2)により与えられる。
【数2】
【0045】
従って、式(2.1)~(2.2)を介して式(1.1)~(1.4)を適用することにより、対象物を写した画像の画素値をRGB表色系からL*a*b*表色系に変換することができる。
【0046】
次に、ステップS4における処理について詳しく説明する。
図2は、布素材を写した画像における画素値の特徴を説明するための図であり、布素材を撮影することにより取得された画像と、該画像内の明部分(布素材の凸部)及び暗部分(布素材の凹部)の画素の画素値(L
*値、a
*値、b
*値)と、これらの明暗部分における画素値の差分の絶対値とを示している。
【0047】
図2に示すように、布素材のように凹凸のある対象物を写した画像においては、凹凸により生じる陰影のため、凸部が明るく映る一方、凹部が暗く映る。そのため、均一に染色された布素材であっても、画像上では、各部を構成する画素の画素値が大きく異なってしまう。その結果、画像上での布素材の色味と実際の布素材の色味とで異なる印象をユーザに与えてしまう。また、画像に基づいて対象物の色推定を行う際に、明部分及び暗部分の画素値を含めて演算を行うと、色の推定精度が低下してしまう。
【0048】
そこで、本実施形態においては、画像内で対象物が写った領域を構成する画素のうち、陰影に該当する画素(
図2においては暗部分)である陰影画素以外の画素の画素値を取得し、この画素値に基づいて、対象物の色を推定することしている。以下、陰影画素以外の画素の画素値の取得方法(以下、陰影除去ともいう)について説明する
【0049】
(第1の方法)
図3は、陰影画素以外の画素の画素値を取得する第1の方法を説明するための画像である。このうち、
図3の(a)は対象物である布素材の色見本が写った画像(以下、元画像ともいう)を示し、
図3の(b)は、
図3の(a)に示す元画像に対して適応的閾値処理を施すことにより生成された二値画像を示す。また、
図3の(c)は比較例として、
図3の(a)に示す元画像に対して一般的な二値化処理を施すことにより生成された二値画像を示す。
【0050】
第1の方法においては、元画像から生成された二値画像に基づいて、元画像における陰影画素を特定し、元画像から陰影画素を除去した残りの画素の画素値を取得する。そして、二値画像を生成する際に、本実施形態においては、適応的閾値処理が用いられる。
【0051】
ここで、一般的な二値化処理は、画像内の着目画素の画素値が所定の閾値より大きい場合に、当該着目画素に値1(白色)を割り当て、着目画素の画素値が所定の閾値以下である場合に、値0(黒色)を割り当てる画像処理である(
図3の(c)参照)。これに対し、適応的閾値処理は、所定数の複数画素から構成される画像内の小領域ごとに閾値を設定して二値化する処理である(
図3の(b)参照)。適応的閾値処理においては、閾値として、着目画素の近傍領域における複数の画素の画素値の中央値や重み付け平均値が用いられる(参考:OpenCV-Pythonチュートリアル「画像の閾値処理」、http://whitewell.sakura.ne.jp/OpenCV/py_tutorials/py_imgproc/py_thresholding/py_thresholding.html(2022年3月31日検索))。
【0052】
二値画像は、元画像(RGB画像)を、例えばNTSC加重平均法を用いてグレースケールの画像(輝度画像)に変換し、このグレースケールの画像に対して適応的閾値処理を施すことにより作成することができる。或いは、元画像を構成する各画素の画素値をRGB表色系からL*a*b*表色系に変換し、このうちのL*値に基づいて適応的閾値処理を施しても良い。このように生成された二値画像において、値が0(黒色)の画素が、陰影画素として特定される。ステップS4においては、二値画像における白色の画素(即ち、陰影画素以外の画素)に対応する元画像内の画素の画素値が取得される。以下、この第1の方法のことを、二値画像による陰影除去ともいう。
【0053】
(第2の方法)
図4は、陰影画素以外の画素の画素値を取得する第2の方法を説明するための模式図であり、元画像に対して設定される色情報取得領域m1と、該領域を構成する画素m2とを模式的に示している。ここで、色情報取得領域とは、対象物が写った画像内で、対象物の色推定に用いられる画素値(色情報)が取得される領域のことである。画像から背景などを除いた任意の領域が色情報取得領域として設定される。
【0054】
第2の方法においては、まず、元画像を、上記第1の方法と同様にグレースケールの画像に変換する。そして、各画素の画素値(輝度値)を用いて、色情報取得領域m1内の各画素m2の情報量(エントロピー)を算出する。
図4に示すように、本実施形態においては、各画素を中心とする3×3=9画素の領域における局所エントロピーを、その中心画素m3の情報量とする。さらに、色情報取得領域m1内の全画素の情報量の平均値を算出する。そして、各画素の情報量と、全画素の情報量の平均値とを比較し、平均値よりも大きい情報量を有する画素を、陰影画素以外の画素として抽出する。このようにして抽出された画素に対応する元画像内の画素の画素値が、色推定に使用される。以下、この第2の方法のことを、情報量に基づく陰影除去ともいう。
【0055】
なお、第2の方法においても、グレースケールの画像における輝度値の代わりに、L*a*b*表色系に変換された画像のL*値を用いて、情報量を算出しても良い。
【0056】
次に、色推定方法において使用される関係式の作成方法について説明する。
図5は、関係式の作成方法を示すフローチャートである。
【0057】
まず、色見本を撮影することにより、色見本を写した画像を取得する(ステップS11)。続いて、画像内で色見本が写った領域を構成する画素のうち、陰影画素以外の画素の画素値を取得する(ステップS12)。陰影画素以外の画素の画素値の取得方法は、上記第1又は第2の方法を用いることができる。また、画素値は、RGB表色系における値からL*a*b*表色系における値に変換しておく。
【0058】
一方、同じ色見本を、分光測色計を用いて測色する(ステップS13)。これにより、色見本の真値が得られる。なお、色の真値は、通常、L*a*b*表色系における値として取得される。また、色見本の真値として、カタログの値を用いても良い。
【0059】
そして、ステップS12において取得された陰影画素以外の画素の画素値と、ステップS13において取得された色見本の真値とを回帰分析することにより、画素値と色の真値との関係を表す関係式を取得する(ステップS14)。回帰分析は、L*a*b*の色成分ごとに行われ、色成分ごとに異なる回帰分析の手法を用いても良いし、同じ回帰分析の手法を用いても良い。
【0060】
さらに、ステップS14において取得された式を、色見本の色域及び表面特性(布の素材等)と関係づけて保存する(ステップS15)。
【0061】
(色推定システムの構成)
図6は、本発明の実施形態に係る色推定システムの概略構成例を示すブロック図である。本実施形態に係る色推定システムは、好ましくは、例えば、スマートフォン、タブレット端末、携帯情報端末(PDA)、ノートPCのように、撮像機能及び画像処理等の演算機能を有する汎用の可搬型の情報処理装置によって構成することができる。
【0062】
図6に示すように、本実施形態に係る色推定システム100は、撮像部110と、記憶部120と、演算部130とを備える。また、色推定システム100は、表示部140及び操作入力部150をさらに備えても良い。
【0063】
撮像部110は、例えば、スマートフォンやタブレット端末に内蔵されたカメラである。撮像部110は、CCDイメージセンサ又はCMOSイメージセンサといった固体撮像素子を含み、対象物を撮影することによりカラー画像を表す画像データ(RAWデータ)を生成して、演算部130に入力する。
【0064】
記憶部120は、例えばROMやRAMといった半導体メモリやハードディスク等のコンピュータ読取可能な記憶媒体である。記憶部120は、プログラム記憶部121と、画像データ記憶部122と、関数記憶部123とを含む。
【0065】
プログラム記憶部121は、オペレーティングシステムプログラムや、ドライバプログラムの他、各種機能を実行するアプリケーションプログラム及びこれらのプログラムの実行中に使用される各種パラメータ等を格納する。具体的には、プログラム記憶部121は、撮像部110により撮影された対象物の画像に基づいて、該対象物の色を推定するための色推定プログラムを記憶する。
【0066】
画像データ記憶部122は、撮像部110から出力された画像データに基づいて生成された表示用の画像データを記憶する。
関数記憶部123は、画素値と色の真値との関係を表す関係式を記憶する。関係式は、色見本の色域や表面特性と関連付けて記憶されている。
【0067】
演算部130は、例えばCPU(Central Processing Unit)やGPU(Graphics Processing Unit)を用いて構成され、プログラム記憶部121に記憶された各種プログラムを読み込むことにより、色推定システム100の各部を統括的に制御すると共に、対象物の色を推定するための各種演算処理を実行する。詳細には、演算部130により実現される機能部には、画像取得部131と、色域取得部132と、表面特性取得部133と、画素値取得部134と、算出部135と、表示制御部136とが含まれる。
【0068】
画像取得部131は、撮像部110から入力された画像データ(RAWデータ)に対し、デモザイキング、ホワイトバランス処理、ガンマ補正等の画像処理を施して、表示用の画像データ(RGBデータ)を生成することにより、対象物を写した画像を取得する。
【0069】
色域取得部132は、対象物の色域を取得する。色域取得部132は、画像内の対象物が写った領域を構成する画素の画素値に基づいて、対象物の色域を取得することができる。或いは、色域取得部132は、操作入力部150から入力される情報に基づいて、対象物の色域を取得しても良い。
【0070】
表面特性取得部133は、対象物の表面特性に関する情報(表面特性情報)を取得する。表面特性情報は、対象物を写した画像から、例えばエッジ検出をすることにより取得することができる。一例として、画像から検出されたエッジに基づいて対象物の表面粗さを推定し、表面粗さに応じて分類された布の素材を対象物の表面特性情報として用いることができる。或いは、表面特性取得部133は、操作入力部150から入力される情報に基づいて、対象物の表面測定情報を取得しても良い。
【0071】
画素値取得部134は、画像内において対象物が写った領域を構成する画素のうち、陰影画素以外の画素の画素値を取得する。画素値の取得方法としては、上記第1又は第2の方法を適用することができる。
【0072】
算出部135は、陰影画素以外の画素の画素値と、関数記憶部123に記憶された関係式とを用いて、対象物の色の推定値を算出する。算出部135は、関数記憶部123に記憶された関係式のうちから、対象物の色域や表面特性に応じて、使用する関係式を選択しても良い。
【0073】
表示制御部136は、表示部140に対する表示制御を実行する。例えば、表示制御部136は、画像取得部131により取得された画像をもとの画素値のまま表示部140に表示させたり、同じ画像の画素値を、算出部135により算出された色の推定値に基づいて補正した上で表示部140に表示させるといった制御を行う。
【0074】
表示部140は、例えば液晶ディスプレイや有機ELディスプレイであり、表示制御部136の制御の下で、画像等を表示する。
【0075】
操作入力部150は、操作ボタンや、表示部140上に設けられたタッチパネル等の入力デバイスであり、外部からなされる操作に応じた信号を演算部130に入力する。
【0076】
なお、
図1に示す色推定システム100においては、撮像部110により対象物を撮影することにより取得された画像に基づいて色推定を行うこととしているが、これに限られない。例えば、WiFi(Wireless Fidelity)やブルートゥース(登録商標)等の無線通信回線で接続されたカメラにより対象物を撮影し、このカメラから演算部130に画像データを入力して色推定を行っても良い。この場合、色測定システム100は、例えばソフトモデム、ケーブルモデム、無線モデム、ADSLモデム等の通信インタフェースをさらに備えても良い。
【0077】
(実施例)
本実施形態に係る色推定方法による測色精度を検証する実験を行った。
【0078】
<実験条件及び検証方法について>
1.測色精度の判定について
実験においては、色差ΔEを用いて測色精度を評価することとした。色差ΔEは、色の差を定量的に検討するために用いられるL
*a
*b
*表色系上でのユークリッド距離である。色差ΔEは、2つの色(L
*
1,a
*
1,b
*
1),(L
*
2,a
*
2,b
*
2)を用いて、次式(3)により定義される。
【数3】
【0079】
図7は、色差ΔEの大きさによる色の許容差の例を示す表である( 日本色彩学会「新編 色彩科学ハンドブック[第3版]」(東京大学出版会)より引用)。
図7に示すように、一般ユーザにとっては、5級以降(色差ΔEが10.0以上)で明確に色の区別がつくようになることから、本実験においては、色差ΔE<10.0を目標誤差範囲内とした。
【0080】
2.測色対象について
本実験においては、色情報や素材の違いによる測色精度の差異を検討するため、測色対象として、材質が異なる3種類の布素材を用いた。布素材は、「総合見本帳 世界の装幀美’375(2020年版)」(ワールドクロス株式会社、URL<https://www.bookcloth.co.jp/products/>、2022年3月31日検索)に収集された布見本から選択した。
図8は、実験において使用した布素材の布名及び材質を示す表である。実験においては、細布(レーヨン)、シルキー(ポリエステル)、及びプレミアムコットン(綿)の3種類の素材について、各々20色、計60個の布素材を使用した。
図9~
図11に、使用した布素材を撮影した画像を示す。撮影は、布素材別に行った。
【0081】
3.布素材の真値の取得
布素材の色の真値の測定においては、Variable社製のスマートフォン対応型小型分光測色計(製品名:Spectro1TM)を使用した(参考:URL<https://www.klv.co.jp/product/spectroradiometer/spectro-1.html>、2022年3月31日検索)。
【0082】
4.使用機器及び実験環境について
本実験においては、2種類の標準光源(D65/D50)の下、2種類のタブレット端末を用いて上記布素材を撮影することにより画像データを取得した。使用したタブレット端末のスペックは以下のとおりである。
製品名「iPad(登録商標) Pro」(Apple社製、以下、タブレット端
末Aと記す。)
画素数 :約1200万画素
画像サイズ:4032×3024ピクセル
製品名「LAVIE(登録商標) Tab E」(NECパーソナルコンピュータ
株式会社製、以下、タブレット端末Bと記す。)
画素数 :約800万画素
画像サイズ:3264×2448ピクセル
【0083】
図12に、実験における撮影環境を示す。
図12に示すように、実験においては、標準光源201が取り付けられた標準光源ブース200内に、撮影対象の布素材202を床面に対して垂直に設置すると共に、布素材と平行にタブレット端末203を設置し、実験者204が標準光源ブース200に手を差し入れてタブレット端末203を操作した。標準光源ブース200としては、X-rite社製の標準光源ブース(製品名:Judge QC)を用いた。当該標準光源ブースには、標準光源としてD50及びD65が標準装備されており、これらを切り替えて使用することができる。また、布素材202とタブレット端末203との間の撮影距離Wは、20cm又は15cmとした。なお、
図3の(a)に示す画像は、
図12に示す撮影環境下においてD65光源を用いて撮影したものである。
【0084】
各タブレット端末を使用した際の撮影環境は以下のとおりである。
タブレット端末A:撮影距離20cm
屋内D65光源の場合、布素材における照度2110[lx]
屋内D50光源の場合、布素材における照度2770[lx]
タブレット端末B:撮影距離15cm
屋内D65光源の場合、布素材における照度2360[lx]
屋内D50光源の場合、布素材における照度2600[lx]
【0085】
5.画素値の取得
図12に示す撮影環境下で取得された画像から、測定対象(布素材)が写った領域の画素の画素値を取得した。
図13は、布素材が写った画像内の色情報取得領域を示す図である。
図13に示すように、実験においては、布素材が写った領域m4のうち、互いに離れた2箇所の色情報取得領域m5,m6を設定し、これらの領域内の画素の画素値を取得した。これは、布素材の裏面に文字が印刷された領域が存在しているので、撮影時における裏移りの影響を低減するためである。
【0086】
タブレット端末Aで撮影した場合、取得された画像に写った布の領域のサイズは、490×780ピクセルであった。この領域のうち、裏面に文字が印刷された領域を除くようにして、120×700ピクセルの色情報取得領域を2箇所選択した。また、タブレット端末Bで撮影した場合、取得された画像に写った布の領域のサイズは390×630ピクセルであった。この領域のうち、裏面に印刷された領域を除くようにして、97×566ピクセルの色情報取得領域を2箇所選択した。さらに、これらの色情報取得領域の画素値を、RGB表色系における値から、XYZ表色系を介してL*a*b*表色系における値に変換した。
【0087】
6.検証方法
本実験における検証方法の基本的な手順は、以下の(a)~(e)のとおりである。
手順(a)
布素材のサンプル(トータルで素材3種類×20色=60個)の各々について、画像に設定された色情報取得領域内の画素の画素値を取得する。画素値は、RGB値からL*a*b*値に変換し、サンプルごとに各色成分の平均値を算出する。
【0088】
手順(a)においては、各サンプルについて、次の3種類の平均値を算出する。
・色情報取得領域内の全画素の画素値の平均値。
・適応的閾値処理により生成された二値画像を用いた陰影除去により抽出された色情報取得領域内の画素の画素値の平均値。
・情報量に基づく陰影除去により取得された色情報取得領域内の画素の画素値の平均値。
続く手順(b)以下においては、これら3種類の平均値がそれぞれ別に処理される。
【0089】
手順(b)
各サンプルを分光測色計で測色することにより色の真値(L*a*b*値)を取得する。
【0090】
手順(c)
手順(a)で取得した画素値(平均値)と色の真値との回帰分析を行うことにより、両者の関係式を作成する。回帰分析は、布素材別に、20色のサンプルのデータを用いて行う。また、回帰式は、L*値、a*値、及びb*値の各色成分について、直線近似式、二次曲線近似式、ファジイ回帰式を作成する。直線近似式及び二次曲線近似式については、最小二乗法を用いて関数の係数を決定する。
【0091】
手順(d)
手順(a)で取得した画素値(平均値)を手順(c)で作成した関係式(布素材別)に代入することにより、色の推定値を算出する。これにより、各サンプルについて、直線近似式、二次曲線近似式、ファジイ回帰式により算出された3つの推定値が得られる。
【0092】
手順(e)
手順(d)で算出した推定値と手順(b)で取得した真値との誤差及び色差ΔEを取得し、評価する。
これらの手順(a)~(e)を、機器の組み合わせ(光源2種×タブレット端末2種)ごとに行う。
【0093】
ここで、手順(c)において用いられるファジイ回帰式は、布素材の画像から得られた画素値(L
*a
*b
*値)をファジィ数と仮定し、目的変数を説明変数で定量的に定義する区間線形モデルであるファジィ回帰分析を用いて作成される。画素値をファジイ数と仮定するのは、布素材を撮影した画像から取得された画像データには、撮影環境の外乱光や、カメラの露出補正に起因するあいまいさが含まれるからである。本実験においては、ファジィ回帰分析における目的変数を布素材の色の真値とし、布素材の画像から得られた画素値を説明変数に設定した。取得されるファジィ回帰式のモデル式を次式(4)に示す。
【数4】
式(4)において、Y(X)は推定値ファジィ出力の区間、Xは画素値、A
iは画素値から求めた真値に対応する三角型ファジィ数、a
iはファジィ数A
iの中心値、e
iはファジィ数A
iの幅をそれぞれ示す。
【0094】
なお、本実験においては、全ての入力データを包含し、幅最小の区間線形回帰モデルを求めるMIN問題を用いて回帰分析を行った。
図14は、ファジイ回帰分析におけるMIN問題の例を示すグラフである。本実験においては、画像に写った補正対象物(布素材)の領域に対し、色情報取得領域における画素の画素値の平均を三角型ファジィ数の頂点(a
1)とし,分散(σ
2)の2倍を幅(e
1)にそれぞれ設定して解析を行った。また、推定値の算出には,ファジィレベルスライス処理を用いた。具体的には、ファジィ回帰直線をスライスし、各スライスレベルに対応する推定ファジィ出力集合(推定値の候補群)を取得し、次に、各推定値の候補がそれぞれのスライスレベルにどれだけ属しているかの指標である帰属度を算出し、帰属度を基に推定値を算出した。
【0095】
【0096】
また、
図15~
図17の各図の左欄(「全画素」の欄)は、色情報取得領域内の全画素の画素値の平均値を用いて算出された推定値と真値との色差ΔEを示す。色差ΔEの各項目は、20色のサンプルについての色差ΔEの平均値、中央値、最小値、及び最大値を示す。また、各図の中央欄(「二値画像」の欄)は、二値画像を用いた陰影除去により抽出された画素の画素値の平均値を用いて算出された推定値と真値との色差ΔEを示す。各図の右欄は、全画素の画素値を用いた場合の色差ΔE(各図の左欄)と陰影除去された画素の画素値を用いた場合の色差ΔE(各図の中央欄)との差分を示す。
【0097】
また、
図18~
図20の各図の左欄(「全画素」の欄)は、色情報取得領域内の全画素の画素値の平均値を用いて算出された推定値と真値との色差ΔEを示す(色差ΔEの各項目の内容については同上)。また、各図の中央欄(「情報量」の欄)は、情報量に基づく陰影除去により抽出された画素の画素値の平均値を用いて算出された推定値と真値との色差ΔEを示す。各図の右欄は、全画素の画素値を用いた場合の色差ΔE(各図の左欄)と情報量に基づいて抽出された画素の画素値を用いた場合の色差ΔE(各図の中央欄)との差分を示す。
【0098】
図15~
図20中、色差ΔEの欄(左欄及び中央欄)においては、平均値、中央値、最小値、最大値の各項目において色差ΔEが最小となったセルに網掛けを施している。また、色差ΔEの差分の欄(右欄)においては、値がマイナスとなったセル、即ち、全画素の画素値を用いた場合の色差ΔEに対し、陰影除去された画素の画素値を用いた場合の色差ΔEが低減しているセルに網掛けを施している。
【0099】
図15~
図20に示す「組み合わせ」の行は、色成分ごとに回帰手法を組み合わせた場合の色差Δ及び差分を示す。色成分ごとの回帰手法は、直線近似式、二次曲線近似式、及びファジイ回帰式の3種類によりそれぞれ算出された推定値と真値との誤差の平均値が最小となる回帰手法を、色成分ごとに選択して組み合わせたものである。
【0100】
図21に、色成分ごとの回帰手法の組み合わせ例を示す。
図21に示すように、実験においては、布素材ごと、及び、機器の組み合わせ(光源及びタブレット端末)ごとに、各色成分の推定に使用される回帰手法を選択した。
【0101】
<考察>
1.色情報取得領域中の全画素の画素値を使用した場合について
まず、
図15~
図17のうち、色情報取得領域中の全画素の画素値(平均値)を使用した場合の結果について検討する。
【0102】
(1-1)回帰手法の比較
まず、タブレット端末Aを用いた場合について検討する。
図15の左欄に示すように、細布に対しては、D65光源を用いた場合、回帰手法を組み合わせたときに最大値及び平均値の項目において色差ΔEが最小となった。また、回帰手法の組み合わせ及び二次曲線近似を用いた場合に、全ての項目において、色差ΔEが目標色差範囲(ΔE<10)となった。
図16の左欄に示すように、シルキーに対しては、D50光源及びD65光源のいずれを用いた場合でも、回帰手法の組み合わせ及び二次曲線近似を用いたときに、中央値の項目において色差ΔEが最小となった。
図17の左欄に示すように、プレミアムコットンに対しては、D65光源を用いた場合、回帰手法を組み合わせたときに、最小値、平均値、及び中央値の項目において色差ΔEが最も小さくなった。
【0103】
次に、タブレット端末Bを用いた場合について検討する。
図15の左欄に示すように、細布に対しては、D50光源及びD65光源のいずれを用いた場合でも、回帰手法の組み合わせを用いたときに、平均値及び中央値の項目において色差ΔEが最小となった。また、
図16の左欄に示すように、シルキーに対しては、D50光源及びD65光源のいずれを用いた場合でも、回帰手法の組み合わせ及び二次曲線近似を用いたときに、最小値及び平均値の項目において色差ΔEが最小となった。
図17の左欄に示すように、プレミアムコットンに対しては、D50光源を用いた場合、二次曲線近似を用いたときに、全ての項目において色差ΔEが最小となった。
【0104】
図21に示すように、対象とする布素材により、L
*a
*b
*表色系における色成分ごとに、誤差が最小となる回帰手法が異なることがわかる。従って、布素材に応じて、色成分ごとに適切な回帰手法を組み合わせることで、色の推定精度を向上させることができるといえる。
【0105】
一方、各回帰手法を用いて算出された色差ΔEに着目すると、ファジィ回帰分析を用いた場合、平均値、中央値、最小値、及び最大値の全ての項目において、他の回帰手法と比較して各色成分の誤差が大きくなるという結果が得られた。これは、布表面における織り目により凹凸が発生したことに起因して、対象物が写った画像内における陰の影響が大きくなり、画像から取得される対象物の正確な色情報の推定が困難となったためであると考えられる。
【0106】
(1-2)タブレット端末ごとの色差ΔEの比較
対象物を撮影して画像を取得したタブレット端末ごとに、色差ΔEの算出結果を比較した。タブレット端末Bを使用した場合、タブレット端末Aを使用した場合と比較して、色差ΔEが大きいという結果が得られた。これは、タブレット端末の種類によりカメラ特性が異なっており、彩度の差が大きい色を複数含む画像の場合には、一定以上の彩度の色において階調情報が失われる色飽和が発生し、その結果として、L*a*b*表色系の各色成分の誤差が大きくなったためと推測される。
【0107】
2.陰影除去の手法に関する検討
次に、布表面における凹凸の影響を考慮するため、凹凸により発生した陰影部分を除去した画素の画素値を用いた場合の推定精度を検証した。陰影部分を除去する手法としては、上述したように、二値画像を用いた陰影除去の手法(
図3の(b)参照)と、情報量に基づく陰影除去の手法(
図4参照)とを用い、両者の色の推定精度を比較した。
【0108】
図22~
図29は、色情報取得領域中の全画素の画素値の平均値を用いて色推定した場合と、陰影部分を除去した画素の画素値の平均値を用いて色推定した場合とにおいて、色差ΔEの度数分布を対比して示すグラフである。各グラフは、機器の組み合わせ(光源×タブレット端末)ごとに作成したものである。また、色差Δの算出にあたっては、いずれも、回帰手法の組み合わせにより推定値を算出した。
図22~
図29において、白抜きの棒グラフは、全画素の画素値の平均値を使用した場合の度数(算出された色差の個数)を示し、網掛けされた棒グラフは陰影除去した場合の度数(同上)を示す。このうち、
図22~
図25は、陰影部分の除去にあたって、二値画像を用いたものである。また、
図26~
図29は、陰影部分の除去にあたって、画素の情報量を用いたものである。本検証においては、色差ΔE<10を目標色差範囲とした。
【0109】
(2-1)回帰手法の比較
まず、二値画像を用いた陰影除去の手法により画素値を取得した場合について検討する。
図15の中央欄に示すように、細布に対しては、タブレット端末Bを用いた場合には、D50光源及びD65光源のいずれにおいても、回帰手法を組み合わせたときに、平均値及び中央値の項目において色差ΔEが最小となった。また、
図16の中央欄に示すように、シルキーに対しては、全ての撮影条件下(機器の組み合わせ)において、回帰手法を組み合わせたときに、中央値の項目において色差ΔEが最小となった。さらに、
図17の中央欄に示すように、プレミアムコットンに対しては、全ての撮影条件下において、回帰手法を組み合わせたときに、平均値の項目において色差ΔEが最小となった。
【0110】
次に、情報量に基づく陰影除去の手法により画素値を取得した場合について検討する。
図18の中央欄に示すように、細布に対しては、タブレット端末Bを用いた場合には、D50光源及びD65光源のいずれにおいても、回帰手法を組み合わせたときに、平均値及び中央値の項目において色差ΔEが最小となった。また、
図19の中央欄に示すように、シルキーに対しては、全ての撮影条件下において、回帰手法を組み合わせたときに、最小値の項目において色差ΔEが最小となった。さらに、
図20の中央欄に示すように、プレミアムコットンに対しては、タブレット端末Aを用いた場合には、D50光源及びD65光源のいずれにおいても、回帰手法を組み合わせたときに、平均値及び中央値の項目において色差ΔEが最小となった。
【0111】
ファジィ回帰分析については、他の回帰手法と比較して、全ての項目において色差ΔEが最大になった。これは、ファジィ回帰分析は、画像から取得された色情報のあいまいさを含んで推定を行うため、布表面における凹凸の影響が大きくなったためと考えられる。
【0112】
(2-2)色情報の取得方法による比較
次に、色情報の取得方法(色情報取得領域からの画素の抽出方法)の違いによる色差ΔEを評価した。
二値画像を用いた陰影除去を適用した場合(
図15~
図17参照)、回帰手法の組み合わせについて検討すると、シルキーに対しては(
図16の右欄参照)、全ての撮影条件下において、最小値及び中央値の項目において色差ΔEが低減した。また、プレミアムコットンに対しては(
図17の右欄参照)、全ての撮影条件下において、平均値の項目において色差ΔEが低減した。
【0113】
一方、情報量に基づく陰影除去を適用した場合(
図18~
図20の参照)、回帰手法の組み合わせについて検討すると、細布に対しては(
図18の右欄参照)、タブレット端末Bを用いた場合に、全ての項目において色差Eが低減した。また、タブレット端末Aを用いた場合には、平均値及び最大値の項目において色差Eが低減した。また、シルキーに対しては(
図19の右欄参照)、全ての撮影条件下において、平均値及び最大値の項目において色差Eが低減した。プレミアムコットンに対しては(
図20の右欄参照)、タブレット端末A及びD50光源を用いた場合に、全ての項目において色差ΔEが低減し、タブレット端末A及びD65光源を用いた場合でも、平均値及び最大値の各項目において色差ΔEが低減した。
【0114】
ここで、色差ΔEの度数分布を比較すると、
図22~
図25に示すように、二値画像を用いた陰影除去を適用した場合、プレミアムコットンに対しては、全ての撮影条件において、目標色差範囲外である色差ΔE>10となった個数が、全画素の画素値(平均値)を用いた場合と比較して低減することがわかった。一方、
図26~
図29に示すように、情報量に基づく陰影除去を適用した場合、細布及びシルキーに対しては、全ての撮影条件において、目標色差範囲外であるΔE>10となった個数は、全画素の画素値(平均値)を用いた場合から変化しなかった。従って、
図15~
図29に示す結果を総合すると、陰影画素以外の画素の画素値を用いることにより、全体として色の推定精度が向上すると言えるが、陰影画素以外の画素の画素値を取得する方法を比較した場合、二値画像を用いる手法の方が、情報量に基づく方法と比べて、色の推定精度がより向上すると言える。
【0115】
以上の結果から、色情報を正確に推定するためには、陰影部分の影響を考慮して抽出された画素の画素値を用いて推定を行うことが必要であることがわかる。陰影部分の影響を考慮した画素の抽出には、上述した適応的閾値処理による二値画像や情報量のほか、テクスチャ特徴量など種々の画像特徴量を用いることができる。
【0116】
3.色系統ごとの推定精度に関する検討
実験において使用した一部のタブレット端末においては、対象物との撮影距離や、対象物の彩度の高さに起因して、階調情報が失われて一様な画素値として取得される色飽和の影響を受け、布表面における凹凸に関する情報を取得することが困難な場合が存在した。このような現象を鋭意検討した結果、本願発明者らは、対象物を、色系統ごと、及び、凹凸の特徴が異なる材質(布素材)ごとに分類し、色系統及び材質の違いを考慮して、これらの特性に合わせて色特徴解析を行う本発明の手法に想到した。具体的には、(1)対象物を色系統別に分類し、(2)対象物が写った画像から素材を判別し、(3)色の分類及び素材の情報に基づいて、最適な回帰手法を用いて色推定の演算を行うという手法である。
【0117】
図30は、色系統別及び素材別にサンプルを撮影した画像であり、
図9~
図11に示す画像に写った3種の布素材(細布、シルキー、プレミアムコットン)を、赤系、黄系、緑系、青系、紫系、及び、黒系の計6つの色系統に分類し、色系統別に再度撮影したものである。このように、対象物を色系統別・素材別に分類して撮影することにより、画像における色飽和を抑制することができるので、精細な色情報や素材特有の凹凸が反映された画像データを取得することができる。従って、そのような画像データに基づいて回帰分析を行うことにより、精度良い色推定を行うことができる回帰式を作成することが可能となる。
【0118】
図31~
図33は、色系統別にサンプルを撮影した画像に基づいて算出された色差ΔEを示す表である。これらの色差ΔEの算出にあたっては、二値画像を用いた陰影除去の手法により取得された画素値から算出された推定値を用いた。
【0119】
図34及び
図35は、色差ΔEの度数分布を対比して示すグラフである。
図34及び
図35において、白抜きの棒グラフは、色系統別に分類することなくサンプルを撮影した画像に基づく推定値の色差ΔEの度数(算出された色差の個数)を示し、網掛けされた棒グラフは、色系統別に分類されたサンプルを撮影した画像に基づく推定値の色差Δの度数(同上)を示す。
図34及び
図35における色差ΔEの算出にあたっては、二値画像を用いた陰影除去の手法により取得された画素値を用い、回帰手法の組み合わせにより算出された推定値を用いた。
【0120】
図31に示すように、タブレット端末Aにより細布を撮影した場合、D50光源を使用し、回帰手法の組み合わせを用いたときに、平均値、中央値、最小値、及び最大値の全ての項目において色差ΔEが最小となった。また、D65光源を使用し、回帰手法の組み合わせを用いたときに、平均値、中央値、及び最大値の各項目において色差ΔEが最小となった。
【0121】
図32に示すように、タブレット端末Aによりシルキーを撮影した場合、回帰手法の組み合わせを用いたときに、全ての項目において色差ΔEが最小となった。
【0122】
また、
図33に示すように、タブレット端末Aによりプレミアムコットンを撮影した場合、D50光源を用い、回帰手法の組み合わせを用いたときに、平均値、中央値、及び最大値の項目において色差ΔEが最小となり、D65光源を用い、回帰手法を組み合わせたときに、中央値及び最大値の各項目において色差ΔEが最小となった。
【0123】
図34に示すように、タブレット端末B及びD50光源を使用した場合には、色系統別にサンプルを撮影した画像を用いることにより、目標色差範囲外(ΔE>10)となるデータ数が低減することがわかった。また、
図35に示すように、タブレット端末B及びD65光源を使用した場合には、細布及びシルキーにおいて、目標色差範囲外となるデータ数が同等又は低減することがわかった。
【0124】
図36は、色系統別にサンプルを撮影した画像に基づいて作成された回帰式による色推定の結果が目標色差範囲(色差ΔE<10)となったデータ数を示す表である。
図36においては、目標色差範囲となったデータ数が最多のセルにおいて数値を太文字で示し、目標色差範囲となったデータ数が最少のセルに網掛けを付している。
図36に示すように、青系、紫系、及び黒系においては、目標色差範囲となったデータが多く見られた。一方、赤系、黄色系、及び緑系においては、目標色差範囲外となったデータが比較的多く、色差ΔEが大きくなりやすい傾向が見られた。
【0125】
ここで、本実験において使用したタブレット端末Aにおいては、広色域の規格であるDCI-P3が採用されている。この規格DCI-P3においては、一般的なタブレット端末等の撮影デバイスに採用されている色域であるsRGBと比較して、赤、黄色、及び緑の色域が広い(参考:「連載 制作者のための『Webカラマネ講座』 モバイルデバイス編」、EIZO株式会、URL<https://www.eizo.co.jp/eizolibrary/color_management/webcm03/>、2022年3月31日検索)。従って、正確な色推定を行う場合、デバイスごとの色域の違いを考慮して回帰式を作成することも重要となる。
【0126】
以上説明したように、本実施形態によれば、対象物を写した画像から陰影部分を除去した画素の画素値を用いて色の推定値を算出するので、精度の良い色推定を行うことが可能となる。また、推定値の算出にあたって、色見本を写した画像から陰影部分を除去した画素の画素値に基づいて作成された回帰式を用いることにより、推定精度を向上させることができる。
【0127】
また、本実施形態によれば、色の推定にあたって、L*a*b*表色系における色成分ごとに選択された回帰手法を組み合わせることにより、推定精度を向上させることが可能になる。
【0128】
また、本実施形態によれば、対象物の色系統別に作成された回帰式を用いることにより、推定精度を向上させることが可能になる。
【0129】
また、本実施形態によれば、対象物の表面特性に応じて(例えば布素材別)に作成された回帰式を用いることにより、推定精度を向上させることが可能となる。
【符号の説明】
【0130】
100…色測定システム、110…撮像部、120…記憶部、121…プログラム記憶部、122…画像データ記憶部、123…関数記憶部、130…演算部、131…画像取得部、132…色域取得部、133…表面特性取得部、134…画素値取得部、135…算出部、136…表示制御部、140…表示部、150…操作入力部、200…標準光源ブース、201…標準光源、202…布素材、203…タブレット端末、204…実験者、m1…画像、m2・m5・m6…色情報取得領域、m3…着目画素