特許 7082129 色類似性評価のための方法及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-05-30

(45)【発行日】2022-06-07

(54)【発明の名称】色類似性評価のための方法及び装置

(51)【国際特許分類】

   G06T 7/90 20170101AFI20220531BHJP

【ＦＩ】

G06T7/90 D

【請求項の数】 11

(21)【出願番号】P 2019537339

(86)(22)【出願日】2018-01-11

(65)【公表番号】

(43)【公表日】2020-03-05

(86)【国際出願番号】 IB2018050184

(87)【国際公開番号】W WO2018130969

(87)【国際公開日】2018-07-19

【審査請求日】2020-09-17

(31)【優先権主張番号】109847

(32)【優先日】2017-01-11

(33)【優先権主張国・地域又は機関】PT

(31)【優先権主張番号】17151878.0

(32)【優先日】2017-01-17

(33)【優先権主張国・地域又は機関】EP

(73)【特許権者】

【識別番号】516286707

【氏名又は名称】イーエニエーエスセー テック － インスティチュート デ エンゲンハリア デ システマス エ コンピュータドレス テクノロジア エ シエンシア

【氏名又は名称原語表記】ＩＮＥＳＣ ＴＥＣ － ＩＮＳＴＩＴＵＴＯ ＤＥ ＥＮＧＥＮＨＡＲＩＡ ＤＥ ＳＩＳＴＥＭＡＳ Ｅ ＣＯＭＰＵＴＡＤＯＲＥＳ， ＴＥＣＮＯＬＯＧＩＡ Ｅ ＣＩＥＮＣＩＡ

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】230118913

【弁護士】

【氏名又は名称】杉村 光嗣

(74)【代理人】

【識別番号】100202326

【弁理士】

【氏名又は名称】橋本 大佑

(72)【発明者】

【氏名】アメリコ ホセ ポドリゲス ペレイラ

(72)【発明者】

【氏名】ペドロ ミゲル マチャド スワレス カルヴァリョ

(72)【発明者】

【氏名】ルイス アントニオ ペレイラ メネセス コルテ レアル

【審査官】佐藤 実

(56)【参考文献】

【文献】特開２０１６－１２４１３８（ＪＰ，Ａ）

【文献】特開２０１５－１１１８０１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／９０

(57)【特許請求の範囲】

【請求項1】

ＣＩＥＤＥ２０００色差たるΔＥ _００ についての所定の閾値に関する、第１の色と第２の色との間での画像処理における色類似性評価のコンピュータ実装方法であって、該方法は、
前記第１及び第２の色に関して１つ以上の色差フィルタを計算するステップであって、前記１つ以上の色差フィルタは、ＲＧＢ色空間内の３次元座標として表された前記第１及び第２の色の間の差分ベクトルのモジュラスを計算することで取得されるモジュラスフィルタと、前記ＲＧＢ色空間内の３次元座標として表された２つのベクトルたる前記第１及び第２の色のベクトル間の角度を計算することで取得される角度フィルタと、前記第１及び第２の色の間の明度差であってとりわけＣＩＥＬＡＢ色空間内での前記第１及び第２の色の間の明度差を計算することで取得される明度フィルタと、から選択されるステップと、
前記１つ以上の計算済みフィルタの少なくとも１つが前記１つ以上の計算済みフィルタの各々についての所定の閾値を超過する場合、前記第１及び第２の色は非類似であると決定するステップと、
そうでない場合、ＣＩＥＤＥ２０００色差たるΔＥ_００を計算し、且つ、計算された前記ＣＩＥＤＥ２０００色差たるΔＥ_００がΔＥ_００についての前記所定の閾値を超過する場合、前記第１及び第２の色は非類似であると決定するステップと、
そうでない場合、前記第１及び第２の色は類似すると決定するステップと、
ＣＩＥＤＥ２０００色差たるΔＥ _００ についての前記所定の閾値から、前記モジュラスフィルタ、前記角度フィルタ、及び前記明度フィルタの所定の閾値を取得する事前のステップであって、前記１つ以上の色差フィルタの各々が前記所定の閾値を超過する任意の２色は、ＣＩＥＤＥ２０００色差たるΔＥ _００ についての前記所定の閾値よりも高いΔＥ _００ 色差を有する事前のステップと、を含む、コンピュータ実装方法。

【請求項2】

請求項１に記載のコンピュータ実装方法において、前記１つ以上の色差フィルタを計算するステップは前記モジュラスフィルタ及び前記角度フィルタを計算するステップを備える、コンピュータ実装方法。

【請求項3】

請求項１に記載のコンピュータ実装方法において、前記１つ以上の色差フィルタを計算するステップは前記モジュラスフィルタ及び前記角度フィルタを計算するステップを備えており、これらフィルタは相次いで計算されるのであってそれ故に前記モジュラスフィルタを計算した後に前記角度フィルタが計算される、コンピュータ実装方法。

【請求項4】

請求項１に記載のコンピュータ実装方法において、前記１つ以上の色差フィルタを計算するステップは前記モジュラスフィルタと前記角度フィルタと前記明度フィルタとを計算するステップを備えており、これらフィルタは相次いで計算されるのであってそれ故に前記角度フィルタの後に前記明度フィルタが計算され且つ前記モジュラスフィルタを計算した後に前記角度フィルタが計算される、コンピュータ実装方法。

【請求項5】

請求項１に記載のコンピュータ実装方法において、前記１つ以上の色差フィルタを計算するステップは前記モジュラスフィルタと前記角度フィルタと前記明度フィルタとを計算するステップを備えており、これらフィルタは並列で計算される、コンピュータ実装方法。

【請求項6】

請求項５に記載のコンピュータ実装方法において、前記１つ以上の色差フィルタを計算するステップは前記モジュラスフィルタと前記角度フィルタと前記明度フィルタとを計算するステップを備えており、これらフィルタは並列で計算され、前記計算済みフィルタの少なくとも１つが該１つのフィルタについての所定の閾値を超過する場合に前記１つ以上の色差フィルタの計算は中断される、コンピュータ実装方法。

【請求項7】

請求項１乃至６のいずれか１項に記載のコンピュータ実装方法において、前記明度フィルタについての所定の閾値は、前記ΔＥ _００ の閾値と前記明度フィルタについての所定の閾値との間の線形回帰を用いて前記ΔＥ_００の閾値から予め取得される、コンピュータ実装方法。

【請求項8】

請求項１乃至７のいずれか１項に記載のコンピュータ実装方法において、前記モジュラスフィルタについての前記所定の閾値及び／又は前記角度フィルタについての前記所定の閾値は、前記ΔＥ _００ の閾値と前記モジュラスフィルタについての前記所定の閾値及び／又は前記角度フィルタについての前記所定の閾値との間の機械学習アルゴリズムに含まれるランダムフォレストアルゴリズムを用いて前記ΔＥ_００の閾値から予め取得される、コンピュータ実装方法。

【請求項9】

コンピュータ実装方法であって、評価すべき色データを２以上のデータセットに分割して、また、該分割されたデータセットを請求項１乃至８のいずれか１項に記載の方法に従って色類似性について並列で評価する、ステップを備える、コンピュータ実装方法。

【請求項10】

色類似性評価装置を実装するためのプログラム命令を含む非一時的記憶媒体であって、該プログラム命令は、コンピュータにより実行されるとコンピュータに請求項１乃至９のいずれか１項に記載の方法を遂行させる命令である、非一時的記憶媒体。

【請求項11】

色類似性評価装置であって、請求項１０に記載の非一時的記憶媒体と、該命令を実行するように構成されたデータプロセッサとを備える、色類似性評価装置。

【発明の詳細な説明】

【技術分野】

【0001】

本願は、色類似性評価のための方法及び装置に関するのであり、具体的には、２つの色の類似性に関するのであり、デジタル画像処理やコンピュータビジョン等の分野に適用可能である。

【背景技術】

【0002】

色差は多くの用途において重要であり、画像処理やコンピュータビジョン系の手法を用いることとなる場合においては特にそうである。このような用途を例示すれば、鉱物識別、歯科用セラミクス、ワインの色分析、腐食検出等が挙げられ、より汎用的には画像セグメンテーションも挙げられる。後者は、広範に用いられており、画像及び動画処理アルゴリズムにおいては多くの場合、重要なステップとなっている。このステップにおけるノイズは後続処理、即ち具体的にはセグメンテーション、検出又は外見マッチング、における結果に影響を及ぼすのであり、適正な動作を阻害し得る。多年にわたる研究がなされども、画像セグメンテーションは未だ未解決な研究課題であり、色の識別が主要な鍵となっている。ＣＩＥＤＥ２０００（非特許文献３）メトリックは、２０００年においてＣＩＥによって、工業用の色差評価用メトリックとして推奨された。もっとも、そのもたらす便益は、その演算コストによって減殺されている。

【0003】

ＣＩＥＤＥ２０００（非特許文献３）による定式化は、２０１４年以来国際標準とされており、その全体、特にその色差に関する計算の部分が、参照によって取り込まれており、ISO CIE 11664-6:2014 (CIE S 014-6/E:2013)が参照されており、工業用用途に関して重きを置いている。このメトリックに関しては注目が近時より注がれるようになっており、色を判別すること、殊に高類似度の色を判別することに関して高い潜在的可能性を示しつつある。ＣＩＥＤＥ２０００（非特許文献３）メトリック（ΔＥ_００）を用いることによって、２つの色の間の差異を人間がどのように知覚するかを数値化できる。しかし、演算コストが高い故に、該メトリックは普及しておらず、特にリアルタイム制約が課されるシナリオ等の多くのシナリオで該メトリックの適用が妨げられている。技術革新が高演算能力をもたらしているものの、膨大な視覚的情報の存在又は限定的なハードウェアのために実現可能性が未だ肯定されない多くのシナリオが存在する。

【0004】

色に基づくアルゴリズムは照明の影響を露骨に受け得るため、近しい色同士の判別が容易になされる場合は希である。ＣＩＥＤＥ２０００メトリックは多くの用途において益々多用されるようになっており、選択されるメトリック閾値によってより粗い判別からより細かい判別まで選ぶことが可能となっている。ΔＥ_００による色差についての数式は、人間の有する知覚的な色差を特徴付けるように設計されたのであり、後述の式（１）～（２８）によって次のように要約できる：

【数1】

【数2】

【数3】

【0005】

ここで、Ｋ_Ｌ、Ｋ_Ｃ及びＫ_Ｈはそれぞれ明度（Lightness）、彩度（Chroma）及び色相（Hue）に関する補正係数である。我らの実験では、これらの値はＣＩＥ基準において定義されているように１として設定された。パラメータたるＳ_Ｌ、Ｓ_Ｃ及びＳ_Ｈは重み付け係数であり；ΔＬ’、ΔＣ’及びΔＨ’は明度、色彩及び色相に関する差である。Ｌ_１，ａ_１，ｂ_１及びＬ_２，ａ_２，ｂ_２はＣＩＥＬＡＢ色空間内の２つの色であり、ISO 11664-4:2008 (CIE S 014-4/E:2007)とされている。

【0006】

非特許文献４において提示されるエッジ検出手法では、異なるソースからのエッジマップを組み合わせて限られた空間分解能を有する深度情報をアップスケールしている。幾つかの代案が示されており、最良の結果をもたらしたものは、輝度及び色の差についてのエッジマップの組み合わせを備えていた。色差についてのエッジマップはＣＩＥＤＥ２０００色差を用いて取得されて、人間の視覚系の特徴に準拠した知覚的な色エッジ検出が得られるようにされている。このソリューションが最良の結果をもたらしたものの、高複雑度の演算を伴うという犠牲を伴った。ΔＥ_００を用いる色類似性決定に関しては、通常３以下の値が適用され、１０を超過する値の場合には２つの色が相当に相違しているものとみなされる。

【0007】

ＣＩＥＤＥ２０００（非特許文献３）のメトリックは他の並行メトリックを有しているのであり、具体的にはＣＩＥによって提案されている他のメトリックがそれであり、例えばＣＩＥ７６（別称、DeltaE CIELAB）、ＣＩＥ９４、ＤｅｌｔａＥ ＣＭＣ等が挙げられる。もっとも、幾つかの研究では、デフォルトパラメータを採用していてもΔＥ_００を用いてよりロバストな結果を得ることができる、と結論付けられている。公式の係数を、所与の用途特性に合わせてチューニングすることによって、より良い結果を得ることができる。

【0008】

本開示によって対処される技術的課題について示すために、これらの事実を開示している。

【先行技術文献】

【非特許文献】

【0009】

【文献】Griffin, Gregory and Holub, Alex and Perona, Pietro. Caltech-256 object category dataset. 2007.

【文献】Liaw, Andy and Wiener, Matthew. Classification and regression by randomForest. R news, 2(3):18-22, 2002.

【文献】Luo, M Ronnier and Cui, Guihua and Rigg, B. The development of the CIE 2000 colour-difference formula: CIEDE2000. Color Research & Application, 26(5):340-350, 2001.

【文献】Schwarz, Sebastian and Sjostrom, Marten and Olsson, Roger. Improved edge detection for EWOC depth upscaling. 2012 19th International Conference on Systems, Signals and Image Processing (IWSSIP), pages 1-4, 2012. IEEE.

【文献】Color Names Supported by All Browsers.http://www.w3schools.com/colors/colors_names.asp. [Online; accessed 08-04-2016].

【文献】Dang-Nguyen, Duc-Tien and Pasquini, Cecilia and Conotter, Valentina and Boato, Giulia. RAISE: a raw images dataset for digital image forensics. Proceedings of the 6th ACM Multimedia Systems Conference, pages 219-224, 2015. ACM.

【文献】Pecho, Oscar E and Ghinea, Razvan and Alessandretti, Rodrigo and Perez, Mara M and Della Bona, Alvaro. Visual and instrumental shade matching using CIELAB and CIEDE2000 color difference formulas. Dental Materials, 32(1):82-92, 2016.

【発明の概要】

【0010】

メトリックたるΔＥ_００の重要な利点は、多くの場合その複雑性故に損なわれる。（先述されており、また、非特許文献３において詳述されている）ΔＥ_００の公式を分析することにより、幾つかの項の高複雑度が顕現するのであり、それ故に演算コストが高く付く公式となっている。このため、この手法は多くのシナリオや用途において適用不可能であり、特に計算資源がより限られている場合程にそうである。さらに、複数の計算を行うことを要する用途においては、計算時間が長きにわたってしまって重大な影響が及ぶ。例示するに、２つの画像を想定されたいのであり、一方では解像度が７２０×４８０画素であり、他方では１９２０×１０８０画素であるとする。この場合、前者では０．３×１０^６画素の処理を要し、後者では２．１×１０^６画素の処理を要するのであり、大幅に計算量が増えている。動画の場合を検討すると、計算コストに関しての欠点はより明白なものとなる。なぜならば、毎秒複数の画像を伴うのであり、また、４Ｋや８Ｋ画像解像度が益々普及していくからである。この課題を克服して且つこの公式と該公式の利点の適用範囲をより多くのシナリオに広めるために、ΔＥ_００の利点及び性能を保ちつつ色類似性決定に関して格段により高速な決定をもたらす方法及び装置を開示する。

【0011】

計算時間を削減するために、開示の方法及び装置では、より単純な計算を行って次の評価をなすフィルタリングモジュールのセットの適用がなされる：（１）２つの入力色が異なっているのでありさらなる計算が不要であるとの評価；（２）確証を持って決定に達することができずさらなる分析を要するとの評価。一般的には、色の組について比較を行う場合、それらはモジュールへの入力として扱われるのであり、より高度の知覚的類似性を有する組であってより軽量なモジュールによって決せられることができなかった組のみについてΔＥ_００が完全に計算されることになる。したがって、完全なΔＥ_００メトリックが計算される回数が実効的に削減されるのであり、その結果として必要とされる演算の総数も実効的に削減されるのであり、結果としては同様の精度を保ちつつ処理時間がより短くなる。この帰結は、想定される結果が正確な離隔測定値ではなく、色の組についての類似性の肯否についての決定であることによって正当化される。もっとも、ΔＥ_００のみを適用して得られた結果との等価性を担保するためにフィルタリングモジュールとΔＥ_００との間の関係を識別及び確立することを要するのであり、これによってメトリックの利点が保たれる。

【0012】

多くの場合、色は、ＲＧＢ色空間内において表現される。このことは、画像を扱う場合に特にそうである。なぜならば、画像は典型的にはＲＧＢ色空間内にて撮像されるからである。ΔＥ_００メトリックはＣＩＥＬＡＢ色空間を用いているため、多くの場合、追加の色変換ステップを要するのであり、その結果追加の計算を要することになる。フィルタリングモジュールが可能な限り色空間変換を回避することが宜しいのであり、具体的には、フィルタリングモジュールはＲＧＢ色空間内で動作することが有利である。この空間は立方体として表現されることができ、それ故に２つの色の間の差は該空間内の差分ベクトルとして認識することができる。この観点によれば、開示の方法及び装置は以下の３つの特性についての検討を提案する：２つの色の間の差分ベクトルの絶対値（モジュラス）；２つの色ベクトルの間の角度；色の間での明度に関しての非類似性。最初の２つとは異なり、後者はＲＧＢ空間内では計算されずに色変換を要する（例えば、後述のように、ＣＩＥＬＡＢ明度へと、ＣＩＥＬＡＢ－ＣＩＥＸＹＺ変換及び標準的なITU-R BT.709-6のシステム値を用いて変換する場合）。本稿の残余の部分に関しては、これらの特性はそれぞれモジュラス、角度及び明度（Module, Angle and Lightness）と称する。

【0013】

ＲＧＢ形式で２つの色、即ちＣ_１＝＜ｒ_１，ｇ_１，ｂ_１＞及びＣ_２＝＜ｒ_２，ｇ_２，ｂ_２＞を与えられた場合、角度、モジュラス及び明度の特性は次のように計算される：

【数4】

ここで、Ｃ^’ _１及びＣ^’ _２は正規化された色ベクトルである。

【0014】

式（３２）及び式（３３）についての計算は、ベクトルの各成分について行われるのであり、ここではベクトル化形式で提示されている。言及されている特性に関しては明確に定義された限界値がある：（ＲＧＢ色空間内の）２つの色ベクトルに関しては０°から９０°までに制限されており；差分ベクトルに関しては、ベクトルが等しい場合には０が下限値となり、ベクトルが反対の頂点上にある場合には４４１．６７３の値で制限されており；明度に関する差は０と１００との間で制限されている。これらの特性を用いることの正当化根拠としては次のことを挙げることができる：［１］これらの特性の単純性、即ち式（１）～（２８）においてこのことを見ることができ、特にΔＥ_００と比較するとこのことが分かるということ；［２］これらの特性が明確に定義された限界値を有するということ。

【0015】

ΔＥ_００について特定の最大閾値が設定されたらば、即ちΔＥ_００がある値を超えると２つの色が知覚的に異なるものとみなされる値を定義した場合、角度・モジュラス・明度について閾値化することによって、定義された限界値を超える色差をもたらすものと予想される色についてなされる計算回数を減じることができる。したがって、角度・モジュラス・明度の関係及びΔＥ_００メトリックの異なる帰趨について特定することが枢要である。そのような関係及びΔＥ_００についての多数のパラメータの可変性について理解するために約５００万色のセットが用いられたのであり、基礎画素としては、Caltech 256（非特許文献１）データセット内に存する画像からのデータを用いて差を計算した。

【0016】

図１～３はそれぞれ、ΔＥ_００とモジュラス・角度・明度（lightness）との関係を示す。各々の色ペアについて、異なるΔＥ_００閾値が検討されたのであり、具体的な値としては３、５、１０が検討された。閾値を超過する色差は濃いグレーで表され、それ以外は薄いグレーで表される。さらに、モジュラス・角度・輝度（luminance）に対応する閾値は、水平の線で表されている。ΔＥ_００の値が指定された閾値未満のペア全てについてモジュラス・角度・明度（lightness）の閾値についても下回っていることを担保する。見て取れるように、水平の線を下回る値については、フィルタリングモジュールに基づいて確証のある決定を得ることができないのであり、追加の計算が必要となる。図１～３によれば、水平の線を上回るモジュラス・角度・明度についての値については、それらの非類似性について正確に決することができるのであり、即ち、提案されたフィルタリング特性のみを用いて異なるものとしてそれらを分類することができる。さらに、ΔＥ_００について定義された値を増大させることによって、モジュラス・角度・明度についての閾値をより大きな値とすることを要することが、グラフィクスによって示されている。もっとも、フィルタリング可能な色差の件数は常にかなり重要である。なお、ΔＥ_００の値が７を超える場合、明確に異なる色差が表されているものとみなされることに留意されたい。

【0017】

色の組に関して色類似性評価をなすための方法を開示するのであって、該方法は：
・色の組から１つ以上のフィルタを計算するステップと；
・計算されたフィルタの少なくとも１つが各フィルタについての所定の閾値を超過する場合、色の組が非類似であると決定するステップと；
・そうでない場合、ＣＩＥＤＥ２０００色差たるΔＥ_００を計算し、且つ、ＣＩＥＤＥ２０００色差たるΔＥ_００がΔＥ_００についての所定の閾値を超過する場合、色の組は非類似であると決定するステップと；
・そうでない場合、色の組は類似すると決定するステップとを含む。

【0018】

実施形態では、１つ以上のフィルタはモジュラスフィルタを備え、該フィルタの計算は、ＲＧＢ色空間内の３次元座標として表された前記第１及び第２の色の間の差分ベクトルのモジュラスを計算することを伴う。

【0019】

実施形態では、前記１つ以上のフィルタは角度フィルタを備え、該フィルタの計算は、ＲＧＢ色空間内の３次元座標として表された２つのベクトルたる前記第１及び第２の色のベクトル間の角度を計算することを伴う。

【0020】

実施形態では、前記１つ以上のフィルタは明度フィルタを備え、該フィルタの計算は、前記第１及び第２の色の間の明度差であってとりわけＣＩＥＬＡＢ色空間内での前記第１及び第２の色の間の明度差を計算することを伴う。

【0021】

実施形態では、前記１つ以上のフィルタはモジュラスフィルタ及び角度フィルタを備える。

【0022】

実施形態では、前記１つ以上のフィルタはモジュラスフィルタ及び角度フィルタを備えており、これらフィルタは相次いで計算されるのであってそれ故に前記モジュラスフィルタを計算した後に前記角度フィルタが計算される。

【0023】

実施形態では、前記１つ以上のフィルタはモジュラスフィルタと角度フィルタと明度フィルタとを備えており、これらフィルタは相次いで計算されるのであってそれ故に前記角度フィルタの後に前記明度フィルタが計算され且つ前記モジュラスフィルタを計算した後に前記角度フィルタが計算される。

【0024】

実施形態では、前記１つ以上のフィルタはモジュラスフィルタと角度フィルタと明度フィルタとを備えており、これらフィルタは並列で計算される。

【0025】

実施形態では、前記１つ以上のフィルタはモジュラスフィルタと角度フィルタと明度フィルタとを備えており、これらフィルタは並列で計算され、前記計算済みフィルタの少なくとも１つが該１つのフィルタについての所定の閾値を超過する場合に前記１つ以上のフィルタの計算は中断される。

【0026】

実施形態では、各フィルタについての所定の前記閾値は、前記ΔＥ_００の閾値から予め取得される。

【0027】

実施形態では、前記明度フィルタについての所定の閾値は、線形回帰を用いて前記ΔＥ_００の閾値から予め取得される。

【0028】

実施形態では、前記モジュラスフィルタについての前記所定の閾値及び／又は前記角度フィルタについての前記所定の閾値は、機械学習アルゴリズムとりわけランダムフォレストアルゴリズムを用いて前記ΔＥ_００の閾値から予め取得される。

【0029】

色類似性評価装置を実装するためのプログラム命令を含む非一時的記憶媒体であって、該プログラム命令は実行されると開示されたいずれかの方法を遂行させる命令である、非一時的記憶媒体も開示されている。

【0030】

色類似性評価装置であって、記載された非一時的記憶媒体と、該命令を実行するように構成されたデータプロセッサとを備える、色類似性評価装置も開示されている。

【0031】

色類似性評価装置であって、開示されたいずれかの方法のステップを遂行するように構成されている、色類似性評価装置も開示されている。

【図面の簡単な説明】

【0032】

添付の図面は明細書について例示するための好適実施形態を提供するが、本発明の範囲を限定するものと解されてはならない。

【0033】

【図1】ΔＥ_００及びモジュラスによって得られた対応する値を用いてもたらされた色差の結果間の関係についての概略図であって、閾値を超過するΔＥ_００の値が濃い灰色で表され、閾値未満の値は薄い灰色で表され、水平の線はモジュラスについて提案される閾値を表す、概略図である。

【図2】ΔＥ_００及び角度によって得られた対応する値を用いてもたらされた色差の結果間の関係についての概略図であって、閾値を超過するΔＥ_００の値が濃い灰色で表され、閾値未満の値は薄い灰色で表され、水平の線は角度について提案される閾値を表す、概略図である。

【図3】ΔＥ_００及び明度によって得られた対応する値を用いてもたらされた色差の結果間の関係についての概略図であって、閾値を超過するΔＥ_００の値が濃い灰色で表され、閾値未満の値は薄い灰色で表され、水平の線は明度について提案される閾値を表す、概略図である。

【図4】各ΔＥ_００の閾値についてのモジュラス・角度・明度についての閾値についての概略図である。

【図5】ΔＥ_００の閾値との関係でのモジュラス・角度・明度の関係に関しての最適閾値及び予想閾値の間での比較についての概略図である。

【図6】各モジュールによってフィルタリングされ得る色差についてのヒストグラムについての概略図である。

【図7】カスケード型実施形態についてのブロック図についての概略図である。

【図8】並列型実施形態についてのブロック図についての概略図である。

【図9a】異なる戦略についての処理時間に関する概略図であって、２つの決定閾値（垂直の線）が考慮されており、画像内の画素が直列的に処理され、例えばＴ_Ｄ１を適用する場合にはモジュールＭ_１によって決定がなされＴ_Ｄ２についてはモジュールＭ_３のみが決定をなし得る、概略図である。

【図9b】異なる戦略についての処理時間に関する概略図であって、２つの決定閾値（垂直の線）が考慮されており、並列処理を伴う場合であり、例えばＴ_Ｄ１を適用する場合にはモジュールＭ_１によって決定がなされＴ_Ｄ２についてはモジュールＭ_３のみが決定をなし得る、概略図である。

【図10】複数のコアを有するＣＰＵの利点を活かす画像処理の例についての概略図であって、高速色決定（ＦＣＤ、Fast Color Decision）モジュールは提案される２つの戦略のうちの一方である、概略図である。

【発明を実施するための形態】

【0034】

図１～３に示される閾値は、ΔＥ_００の値が３、５及び１０の場合についてのみ有効である。該メトリックが他の値を取る場合については新たな閾値を識別できる。モジュラス・角度・明度についてモデルを導出してこれらの閾値を経験則的に設定することを避けている。これらは、５００万件の計算済み色差から導出されたデータを用いて回帰モデルを訓練することによって、得られた。データセットについては、結果及び閾値をΔＥ_００∈｛０，３０｝について計算したのであり、ステップは０．０５とした。これらの値が選ばれたのは、色差０の色は視覚的に知覚できず、色差３０の場合には著しく異なるものとされるからである。得られた閾値関係については図４に示されている。モジュラス及び角度についての関係は非線形であるが、明度についてはおよそ線形であることに気付くであろう。特性についてのモデルを取得し、また、我らの手法を正当化するために、モジュラス及び角度についてはランダムフォレスト（非特許文献２）を、また明度については線形回帰を、訓練することとした。各モデルはクロスバリデーション手法を用いて訓練されたのであり、最も合致したモデルは角度・モジュラス・明度の各々について次の値の二乗平均平方根誤差をもたらした：０．００６７５，０．０３３３及び０．００６０２。理想的には、これらの誤差は可能な限り０に接近しているべきであるが、本願開示の範囲においては、これら取得された誤差は許容可能なものとみなされる。なぜならば、訓練に用いられたデータが既に正規化されたものだからである。

【0035】

この正規化は、生じ得る誤差が最終決定に影響を及ぼさないようにするために予測値をずらすために、訓練データに導入された。このことは最適値とは異なる予測閾値に繋がるが、対応する最適値をそれらが常に上回っていることが保証され、故に常に適用可能であることが保証される。これは正しい予測を確かなものとするも、性能悪化に繋がる。正規化データ及び非正規化データを用いる予測閾値の比較は図５に示されており、黒い線は正規化された予測閾値に対応し、点線は非正規化データに対応する。プロットを分析するに、検討された値の範囲では、予測が常にオフセットされていることが明かである。

【0036】

導出されたモデルを用いるに、任意のΔＥ_００の値について、モジュラス・角度・明度用の閾値を得ることが可能であり、２色間の差がそれらの閾値を超過する任意の２色については、ΔＥ_００の色差が指定値を超過するものと分類されることができる。このことは相当に有利なことである。なぜならば、効率的に計算量を削減する構造にそれをマッピングすることができるのであり、ΔＥ_００の特性を犠牲にせずにかなりの性能利得をもたらすことになる。ΔＥ_００について制限を設定する所定の用途にとって必要なΔＥ_００の計算量を減らすために各閾値を用いることができる。もっとも、各閾値が除く色の組み合わせは同じではない。図６は、上記において検討された３つのΔＥ_００の値について、各モジュール（module）がフィルタリングできる色に関する差の数についてのヒストグラムを、示している。ヒストグラムが示すところによれば、モジュラス・角度・明度に専ら頼っただけでは相当に減じられた数の色についての差しか独占的にフィルタリングすることができない。この数はΔＥ_００の閾値と共に増大するも、該数は依然低い水準に留まる。また、モジュラス・角度・明度を組み合わせることによって、極めて多くの数の色の差をフィルタリングできることも明らかである。この数はΔＥ_００の閾値とは反比例的に変化するのであり、２つの特性だけでフィルタリングされた差の増補分（augment of the differences）によって減少が補償されるのであり、特にモジュラス・明度及びモジュラス・角度の場合が該当するのであるが、それらでさえ完全なΔＥ_００のメトリックを計算することのみによって決し得る。故に、完全な色差公式を計算すべきか否かについての効率的な検証に際しては、異なる戦略を定義してもたらしていくことができる。可能な実施形態についてのセットを提示し、以下論じる。

【0037】

説明した概念及び関係性に基づいて、ΔＥ_００のメトリックに基づいての色類似性の高速決定に向けての異なる戦略を着想できる。このセクションでは、２つの実施形態について提示して論じる：（１）カスケード式に展開されるフィルタリングモデル（model）（即ち、続けざまに計算される態様）；（２）並列的に展開されるフィルタリングモデル。さらに、計算されるべき多様な色についての差に適用可能な実施形態について論じるのであり、具体的には画像処理に関するのであり、色差計算についての初めの方の提案を用い得るのであり、広きにわたって普及しているマルチコアハードウェアを特に活用できる。

【0038】

効率的なΔＥ_００系の色決定についての第１の提案では、図７に図示のように、フィルタリングモジュールをカスケード式に展開すること（即ち、続けざまに計算される態様）を伴う。カスケードの各モジュール（module）においては、より単純な計算を行って、モジュラス・角度・明度を計算して、評価がなされる。完全なるΔＥ_００メトリックは、最終手段としてのみ計算されるのであり、故に該モジュールは常にカスケードの最終モジュールとなる。

【0039】

カスケードの各モジュールは決定をなすことが意図されている、即ち：色が異なる場合、カスケード出力がもたらされるのであり、或いは、不確定性が存在するのであり、処理はカスケードの次のモジュールへと渡される。したがって、望ましくはより演算量的に軽い高速なモジュールを先に実行すべきものであると予測でき、望ましくは可能な限り多くの画素を始末していく。もっとも、最も充足的なカスケード構造を決定すること（即ち、演算の順序を決定すること）は実行速度によって必ずしも定義されない。カスケード構造は、ハードウェアアーキテクチャに依存し得ることに気付くことが肝要である。また、検討すべきΔＥ_００の閾値の値は最良カスケード構造に影響を与え得る。したがって、最適化された実施形態について後述する。

【0040】

カスケード式手法は、ΔＥ_００の計算を要する色のペア数を間引くための演算を逐次的に行うことを意図している。カスケードの初めのブロックらでは色の非類似性について決定できず、また、究極的にはΔＥ_００を計算することを要するため、実際には計算の総回数はΔＥ_００について単にする計算のそれよりも多くなる。したがって、カスケード式戦略の利点は、先行するブロックにてより多くの色数がフィルタリングされることに起因している。

【0041】

カスケード式に対しての代替的戦略が提案されるのであり、該戦略では並列的に異なるブロックを実行するのであり、図８のブロック図に示されているように行う。根底にある仮説は、この場合、色差を分析するための最大所要時間はΔＥ_００の時間を超過しない、ということである。このことは、同期化及び管理に関するオーバーヘッドのせいで正確には真ではないかもしれないが、この差は殆ど無視可能とみなされ得る。カスケード式の場合及び並列式の場合についてのこれらの実施形態は、それぞれ図９（ａ）及び図９（ｂ）にて示されている。明らかではあるが、並列式の戦略の場合の利点は、並列実行手段（例えば、利用可能なＣＰＵコア数）の利用可能性に直接連関している。

【0042】

このアプローチは健全であるも、その実装はカスケード式ほど直接的ではない。実際には、もたらされ得る利点が減殺され得るというおそれとの関係で、幾つかの実装に際する詳細事項を検討することを要する。

【0043】

説明される戦略は、色の類似性に関する決定との関係では汎用的である。先述のように、並列式戦略の利点は、複数のコアのＣＰＵが用いられ得る場合かつ処理が分散され得る局面において、より明らかになる。

【0044】

多くの色のアレイ（例えば、画像）を処理すべき場合（即ち、１つ以上の参照用の色と比較すべき場合）、このデータを逐次的に処理できる。この場合、各色は、入力として、参照色と所望の閾値と共に、個別的且つ逐次的に渡されることになる。換言するに、色についてのペアを一つずつこなす。これは図１０（ａ）に示されている。色差それ自体の計算は、先のサブセクションにて説明した任意の戦略を用いてなすことができる。複数のコアが利用可能である場合、図１０（ｂ）に示すように、処理すべきデータを分割してこれら各々のブロックを処理すべき入力として渡していくことができる。

【0045】

カスケード式戦略におけるブロックの順序（即ち続けざまにそれらが計算される順序）は、処理全体の結果に影響を及ぼすのであり、より具体的には、ΔＥ_００のメトリックと比較して得られる時間短縮量が変わる。ΔＥ_００についてのブロックがカスケードにおける最終のものとなるのであるが、残りのブロックを何とするのかを特定し、それらの順序を決めておくことは依然として必要である。先述された３種の特性に着目するに、表１に示すように、１５種のカスケード構造があり得る。これらの可能性の各々は、色差に対して異なる間引き処理を施す。また、カスケードの複雑度は、課される制約（即ち、要求されるΔＥ_００についての閾値）に依存する。

【0046】

【表1】

【0047】

カスケード構成例について評価するため、我らは単純なセグメンテーションアルゴリズムを実装したのであり、該アルゴリズムは、画像と色とΔＥ_００についての閾値とを与えられると、指定された閾値を下回る色の領域をハイライトする新たな画像をもたらす。各構造は、非特許文献５にて指定されている汎用色についてのバンク並びにCaltech 256データセット（非特許文献１）を用いて評価された。また、RAISEデータセット（非特許文献６）からの４Ｋ解像度画像の部分集合及びコンピュータ生成による８Ｋ画像の小規模な集合も、用いた。色バンクの各インスタンスは、３つの部分集合の画像の各画素の色と比較された。また、カスケード構造に対する影響度について理解を深めるために、３つの異なるコンピュータアーキテクチャにて評価をなした。具体的には、以下のアーキテクチャを用いた：（１）Intel（登録商標） i7 4471 プロセッサ @ 3.5Ghzを備えたデスクトップコンピュータ；（２）Raspberry Pi 2 Model B；（３）Samsung Galaxy（登録商標）S6スマートフォン。アルゴリズムらは先の２種の環境についてはＣ＋＋を用いて実装されており、スマートフォンについてはＪａｖａを用いて実装された。これらの実験では、明示的なＧＰＵアクセラレーションは用いられず、プロセスに割り当てられたＣＰＵ時間及びサイクルを測定した。

【0048】

表２に提示される結果は、デスクトップコンピュータについては、ΔＥ_００についての公式の完全な計算に代えてカスケード式手法（approach）を用いることの優位性を明確に示している。モジュラス・角度・明度についてのフィルタリングブロックとは独立に、即ちそれらの順序及び根底にあるΔＥ_００についての閾値とは独立に、カスケード式戦略（strategy）は常に性能に関して相当な利得を達成している。このことは、処理時間及びＣＰＵサイクルを測定する場合において、真である。ＣＰＵサイクル数と全体的処理時間との間には明確な関係性がある故に、以下の結果においては、追加の情報を伝えることが正当化される場合、ＣＰＵサイクル数のみを提示する。

【0049】

ΔＥ_００の閾値の増加はランキングに幾つかの変更を黙示的に及ぼすのであり、また、総合的な利得が減少する。もっとも、カスケード式戦略によって可能とされる時間的削減は依然として相当のものであり（７０％を超える）、結果はカスケード構造の一貫性を示す。幾つかの変更がランキングについて生じるも（具体的には、ＬＭＡ－ＬＡＭ及びＭ－ＭＬ）、相対的利得に関しての差は殆ど無視可能である。結果によれば、モジュラスがカスケードの最初のブロックである場合に、総合的により大きな利得が得られることが示されている。このことは次のこととの関係で整合性を有している：（１）それが軽量な演算であること；（２）それは色変換を要さないこと；（３）図１において見出すことができるように、それは多数の色差のフィルタリングを可能とすること。このことは、３（表２）のΔＥ_００の閾値について特に真であり、モジュラスフィルタリングブロックのみのカスケードについて最良な結果が取得された。フィルタリングブロックとしてのモジュラス単体それ自体で演算に関する大きな利得をもたらすも、他のブロックを追加することによってさらに良い総合的結果が得られた。なぜならば、ΔＥ_００と比較してそれらの公式が単純であるからであり、このことはモジュラス・角度・明度間のフィルタリングに際しての相補性を示しているのであり、このことは図６のヒストグラムに示されている。予想されているように、第１のブロックに明度を用いると時間的利得は（モジュラス及び角度に比して）より小さいものとなるのであり、具体的に理由について述べるに、より複雑な定式化及び色空間変換を要することにこれが起因している。なお、モジュラス・角度の組み合わせでより大きな利得が得られることに留意されたい。なお、第３のブロックとして明度を追加しても少し小さな利得が得られる。

【0050】

ラズパイ（Raspberry Pi 2 Model B）上での実験結果は、同様のオーダーでの相対的利得を享受しており、より資源制約的な環境ではあっても、デスクトップコンピュータでの結果と比べても一貫性を有している。また、デスクトップコンピュータの場合でそうであったように、相対的利得のほぼ無視可能な差に起因する、カスケード構造におけるランキングに対しての幾つかの変更がある。また、特筆すべきこととしては、デスクトップ機の場合と同様に、モジュラスが大きな影響を与えるのであり、ΔＥ_００＝３の場合にそれ自体で最良の結果をもたらす。

【0051】

Android用のランキングは先述の場合とは幾つかの差異を有しており、特にデスクトップ機と比較するとそうであり、ランキングはＭＡで始まりそれに続いてＡＭ、Ｍ若しくはＡＭＬとなり、又は、ＡＭＬで始まりそれに続いてＭＡＬ、ＡＭ、等となる。どうであれ、利得は相当に重大であり、先述の場合に比べて少し（約６５％から８９％の間で）しか低下していない。コンピュータアーキテクチャがこれに寄与していることは疑いないが、実装用言語に課されている要求も関与している。デスクトップ機及びラズパイについてブロックはＣ＋＋で実装されており、AndroidについてはJavaが用いられた。

【0052】

【表2】

【0053】

提案された実施形態は、用いられた全てのハードウェアプラットフォームにて相当に重大な利得を達成した。Androidを用いた場合には、少し低めの利得が得られたのであり、これはプラットフォームの差だけに対してアグノスティックではなく、実装言語それ自体についてもそうである。なんであれ、相対的利得に関しての差は最小限のものである。利得はΔＥ_００の結果について所望される決定境界に対して依存性を有しているものの、該メトリックの有用な値についてはこれらは非常に高く、ΔＥ_００についてのより大きな値はさらに減じられたさらに低いエントロピー（decreasingly lower entropy）を有するのであり、７を超過する値は２つのとても異なる色を表すものとみなされる。

【0054】

カスケード式戦略における最良の構造は若干の変化を示したが、見込みのある選択肢に関しては総合的には小さな集合が特定され得るのであり、相対的利得に関して極めて小さな減少を伴って水平的使用がなされ得る。具体的には、デスクトップコンピュータ上での実行に関しては、モジュラス・角度のフィルタリングブロックに続いてΔＥ_００の計算ブロックがなされることを伴う構造が特定され得るのであり、これが最良の結果又はそれより若干劣位の結果をもたらす。これらと同じ結論は、ラズパイ及びスマートフォンの場合にも適用され得る。先述と同様に、モジュラス・角度のフィルタリングブロックに続いてΔＥ_００のブロックがなされる構造が、ターゲットとされるΔＥ_００の値の範囲とは独立に適用され得る構造としての良い妥協案として特定され得る。これらの２つの場合では、特定されたカスケード構造は最良の結果をより頻繁にもたらすだけではなく、差異も非常に小さくて済む。

【0055】

１０を超えるΔＥ_００の値は検討されていないが、ΔＥ_００における距離がこの値を超えている色は著しく異なっているものとみなされる。もっとも、報告される分析及び提案されるモデル（図４を参照）から得られる知識によれば、カスケードを実装することができるのであり、カスケードがそれ自体を、先験的に知られており入力として渡されたコンテキストを付与された異なる決定閾値やハードウェアプラットフォームに順応させる態様で該実装をなし得る。

【0056】

分析されたフィルタリング特性（即ち、モジュラス・角度・明度）は、異なる戦略及びハードウェアプラットフォームと共にとても大きな処理ゲインをもたらした。もっとも、他の特性についても分析してそれらの利点について研究することも可能である。さらに、カスケード戦略及び直列戦略を組み合わせるハイブリッド戦略を用いることも可能である。

【0057】

本願にて「備える」との用語を用いる場合、該用語は述べられた特徴・要素・ステップ・コンポーネントの存在を指示する意図で用いられているが、１つ以上の他の特徴・要素・ステップ・コンポーネント又はそれらについての群の存在又は追加を除外することは意図されていない。開示された方法の特定の実施形態についての流れ図が図面中にて示されている。流れ図は任意の特定の手段を示していないのであり、むしろ、本開示において要求されるそれらの方法を実行するために当業者が必要とするだろう機能的情報を示している。当業者であれば、本稿にて別段の表示なき限り、ステップについての特定のシーケンスは例示的に過ぎず、本開示から逸脱せずに変更することが可能であるということに留意されたい。したがって、別段の表示なき限り、説明されているステップは順序付けられておらず、可能である場合には、任意の利便的な又は望ましい順序にて行われることができる。

【0058】

説明した本開示についての特定の実施形態はコード（例えば、ソフトウェアアルゴリズム又はプログラム）として実装できるのであり、該コードはファームウェア内に及び／又はコンピュータ使用可能媒体上に所在し、それは先述されたような任意のサーバのようなコンピュータプロセッサを有するコンピュータシステム上での実行を可能とするような制御ロジックを有している。そのようなコンピュータシステムは、通常はメモリ記憶部を含むのであり、該メモリ記憶部は、実行に合うようにプロセッサを構成するコードの実行からの出力を提供するように、構成されている。コードはファームウェア又はソフトウェアとして用意することができ、本願にて説明した様々なモジュール及びアルゴリズムを含むモジュールのセットとして編成することができるのであり、これらには離散的コードモジュール、関数コール、プロシージャコール又はオブジェクト指向プログラミング環境内のオブジェクトが含まれる。モジュールを用いて実装される場合、コードは単一のモジュール又は複数のモジュールを備えることができるのであり、これらは、互いに協調して動作するのであり、それが実行されているマシンを構成するのであり、関連付けられている機能をなすものであり先述のようになされる。

【0059】

本開示は説明された実施形態に限定されるものと如何なる態様においてもみなされてはならず、当業者であればこれらに対する変更の可能性を数多く見出すことができるであろう。上述した実施形態は組み合わせることができる。添付の特許請求の範囲が本開示の特定の実施形態についてさらに示す。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9(a)】

【図9(b)】

【図10】