特許 7171549 画像解析評価方法、コンピュータプログラム、画像解析評価装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-11-07

(45)【発行日】2022-11-15

(54)【発明の名称】画像解析評価方法、コンピュータプログラム、画像解析評価装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20221108BHJP

【ＦＩ】

G06T7/00 Q

【請求項の数】 6

(21)【出願番号】P 2019515714

(86)(22)【出願日】2018-04-27

(86)【国際出願番号】 JP2018017114

(87)【国際公開番号】W WO2018203514

(87)【国際公開日】2018-11-08

【審査請求日】2021-02-12

(31)【優先権主張番号】P 2017090950

(32)【優先日】2017-05-01

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000163006

【氏名又は名称】興和株式会社

(74)【代理人】

【識別番号】100186060

【弁理士】

【氏名又は名称】吉澤 大輔

(74)【代理人】

【識別番号】100145458

【弁理士】

【氏名又は名称】秋元 正哉

(72)【発明者】

【氏名】薮崎 克己

【審査官】新井 則和

(56)【参考文献】

【文献】特開平０９－０３８０４５（ＪＰ，Ａ）

【文献】特開２０１４－１０４１３２（ＪＰ，Ａ）

【文献】特開平０８－３０８６３４（ＪＰ，Ａ）

【文献】特開２００６－１４１７３４（ＪＰ，Ａ）

【文献】特開２０１２－２２８５９４（ＪＰ，Ａ）

【文献】特開２００１－０５０９０２（ＪＰ，Ａ）

【文献】Rahil Garnavi et al.，Automatic Segmentation of Dermoscopy Images Using Histogram Thresholding on Optimal Color Channels，International Journal of Medical, Medicine and Health Sciences，2011年，Vol. 5, No. 7，pp. 255-263

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００－７／９０

(57)【特許請求の範囲】

【請求項1】

静止画像の所定領域における各画素の色情報を取得するステップと、
取得した前記色情報から色の多様性を示す数値を算出するステップと、
前記色情報の平均値を算出するステップと、
算出された前記色の多様性を示す数値と前記色情報の平均値に基づいて変動係数を算出するステップとを含み、
前記変動係数を画像の評価のための指標とする画像解析評価方法であって、
閾値を超える前記変動係数が示す領域の領域面積を算出するステップと、
前記領域面積が閾値を超えるか否かを判定する判定ステップと、
を含むことを特徴とする画像解析評価方法。

【請求項2】

前記色情報とは、画素の輝度または明度であり、
前記色の多様性を示す数値とは、前記輝度または明度のばらつきである請求項１に記載の画像解析評価方法。

【請求項3】

前記輝度または明度のばらつきとは、輝度または明度の標準偏差である請求項２に記載の画像解析評価方法。

【請求項4】

前記変動係数とは、前記色情報の多様性を示す数値を前記色情報の平均値で除算することにより得た数値である請求項１乃至３のいずれか１項に記載の画像解析評価方法。

【請求項5】

コンピュータに、請求項１乃至４のいずれか１項に記載の各ステップを実行させるためのコンピュータプログラム。

【請求項6】

静止画像の所定領域における各画素の色情報を取得する手段と、
取得した前記色情報から色の多様性を示す数値を算出する手段と、
前記色情報の平均値を算出する手段と、
算出された前記色の多様性を示す数値と前記色情報の平均値に基づいて変動係数を算出する手段とを含み、
前記変動係数を画像の評価のための指標とする画像解析評価装置であって、
閾値を超える前記変動係数が示す領域の領域面積を算出する手段と、
前記領域面積が閾値を超えるか否かを判定する判定手段と、
を含むことを特徴とする画像解析評価装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、特に静止画像中に存在する色の多様性を利用して画像を解析評価する方法、装置、コンピュータプログラムに関する。

【背景技術】

【0002】

例えば顕微鏡などを利用して物体あるいは生体、ならびに、生体由来の試料を 撮影した静止画像の色や明るさの濃淡から試料の表面や内部の構造の複雑さ、あるいは、色の複雑さを解析することは様々な分野で広く行われている。例えば特許文献１および２に示すように肌の状態を定量化するための方法が試みられている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開平８－３０８６３４号公報

【文献】特開平９－３８０４５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、撮影時の露光時間や照明光の明るさにより、画像の色や明るさの濃淡が変化してしまうため、複雑さが正しく評価できなくなる問題があった。

【課題を解決するための手段】

【0005】

本発明は以上のような従来の問題点に鑑みてなされたものであり、画素の色や明るさの濃淡のばらつきを変動係数として評価することにより試料の表面や内部の構造や色の複雑さの状態を評価する方法およびその装置を提供するものである。

【0006】

本発明に係る画像解析評価方法、装置およびコンピュータプログラムは、以下に示すステップまたは手段を備える。
（１）静止画像の所定領域における各画素の色情報を取得するステップと、取得した前記色情報から色の多様性を示す数値を算出するステップと、前記色情報の平均値を算出するステップと、算出された前記色の多様性を示す数値と前記色情報の平均値に基づいて変動係数を算出するステップとを含み、前記変動係数を表面状態の評価のための指標とするものであり、閾値を超える前記変動係数が示す領域の領域面積を算出するステップと、前記領域面積が閾値を超えるか否かを判定する判定ステップと、を含む。
（２）上記（１）において、前記色情報とは、画素の輝度または明度であり、前記色の多様性を示す数値とは、前記輝度または明度のばらつきである。
（３）上記（２）において、前記輝度 または明度のばらつきとは輝度または明度の標準偏差である。
（４）上記（１）乃至（３）において、前記変動係数とは、前記色情報の多様性を示す数値を前記色情報の平均値で除算することにより得た数値である。

【発明の効果】

【0007】

本発明は、以下の効果を奏する。注目する画像中の領域に含まれる画素の色情報をもとにその領域の色の多様性を判断することにより、静止画像中の物体の表面、あるいは、内部に含まれる構造物の状態、あるいは、色の複雑さを数値化することができる。そのため、観察者の主観や経験等によらずに、客観的に構造や色の複雑さを数値として評価することができる。

【0008】

また、静止画像を無数の領域に分解して、各々の領域について色の多様性に係る数値を算出する、または、各画素、あるいは、少数の画素集団に対してそれを取り囲む領域について色の多様性に係る数値を算出するようにすることで、表面の状態の平面的（あるいは、空間的）な分布について評価することができる。これにより、画像上のどの部位で構造や色が複雑であるかを容易、かつ、客観的に知ることができる。

【図面の簡単な説明】

【0009】

【図1】３種類の静止画像のＲＧＢ色空間要素の中から赤色の要素を取り出し、輝度ヒストグラムを示した図である。

【図2】しぼ加工が施されたプラスチック部品の一部を顕微鏡で様々な露光時間で静止画として撮影し、部品の画像の輝度の標準偏差、もしくは、標準偏差を輝度の平均値で除算した変動係数として画像化したものを示す図（左側）、ならびに、画像の構造の複雑さを画像の標準偏差、もしくは、変動係数で数値化したグラフ（右側）である。

【図3】非アルコール性脂肪肝（Ｎａｓｈモデル）のマウス肝臓のクロスセクション中の油滴を色素で染色した試料を様々な明るさの光源で顕微鏡撮影した画像（上側）、その画像が持つ標準偏差、ならびに、変動係数により染色性の複雑さを評価した表（下側）図である。

【発明を実施するための形態】

【0010】

以下、実施例を交えて本発明の実施の形態を説明する。本発明は静止画の画像全体領域、あるいは、画像中に設けられた少なくとも１つ以上の領域について、当該領域中のすべて、あるいは、一部の画素について色情報を取得し、少なくとも２つ以上の画素からなる色情報の多様性を算出することにより、画像内の物体の構造、あるいは、色の複雑さを画像が持つ明るさ、あるいは、色が当該領域内で持つ多様性をもとにして構造の複雑さや色の複雑さを解析、評価するものである。

【0011】

＜画像の取得＞
本発明に使用する画像を取得するための装置（以下、画像取得装置）については、撮影した画像を画像情報としてデジタルデータとして記録できるものであればよく、同軸照明を可能にしたデジタルカメラシステムなど、従来既知のものを適宜用いればよい。

【0012】

画像取得装置は、本発明に係る画像解析評価装置と物理的又は論理的に接続される。当該画像解析評価装置は、データを演算および処理する処理手段、画像取得手段により取得された静止画像データを記憶する記憶手段を備えるものであり、当該記憶手段には、本発明を実施するためのコンピュータプログラムや所定のデータがそれぞれ記憶されており、処理手段は、当該コンピュータプログラム等による所定の命令に従ってデータの処理を行うものである。

【0013】

＜画像の色情報取得＞
以下、画像解析評価装置の具体的な処理について述べる。画像取得装置から得られた画像データから色情報を取得し、その色情報の多様性を算出し、被写体表面の状態の評価の指標とするものである。そこで、本発明に使用する色情報としては、多くの電子画像機器で用いられている方式である、赤、緑、青の３色の色要素（ＲＧＢ色空間の数値）を用いる方法で以下説明する。

【0014】

具体的には、各画素の色情報とは、画素が持つ赤、緑、青の色要素の輝度または明度であり、ＲＧＢ色空間における赤、緑、青の少なくとも１つ以上の色要素の輝度をそのまま用いてもよいし、あるいは、色情報から算出される二次的な数値を求めて使用してもよい。例えば、ヒトの色覚にあったグレースケールを作成する方法として、赤、緑、青それぞれの輝度に対して、それぞれ所定の係数（例えば、赤「０．２９８９１２」、緑「０．５８６６１１」、青「０．１１４４７８」）を 掛け合わせた後に足し合わせて算出する方法が知られているが、このように所定の方法により処理してグレースケール階調にしたものを用いてもよい。

【0015】

また、それぞれの色要素における輝度のいずれかを単独で使用、あるいは、２つ以上を組み合わせて算出するようにしてもよい。例えば、平均値による場合、２つ以上の色要素を単に平均して算出してもよいし、各要素に対して異なる所定の重み付け係数をかけ合わせて与えてもよい。

【0016】

あるいは、赤、緑、青の３色の色要素から個別に変動係数を算出し、その中の最大の値を使用したり、最小の値を使用したり、２番目に大きい数値を使用したりしてもよい。

【0017】

以上がＲＧＢ色空間の数値を用いる画像の色情報取得方法であるが、本発明に使用する色情報としては、ＨＳＶ色空間、ＨＳＢ色空間、ＨＬＳ色空間、あるいはＨＳＬ色空間などで規定される輝度、あるいは、明度を使用してもよい。

【0018】

＜色の多様性の算出＞
前記のような方法により取得した色情報から色の多様性を算出する方法としては、例えば、前記の方法で取得した色情報の少なくとも１つ以上の要素について領域内でどれぐらいばらつきがあるかを算出する方法などを挙げることができる。

【0019】

色情報の少なくとも１つ以上の要素について領域内でどれぐらいばらつきがあるかを調べる方法について説明する。ＲＧＢ色空間の色情報を画像内の所定の領域内の各画素について調べ、赤、緑、青の少なくとも１つ以上の色要素の強度が領域内部でどれぐらいばらついているかを評価することにより得る。ばらつきに関しては、各要素の値から得られる分散値を領域内の画素の輝度の平均値で除算した値を用いてもよいし、そこから算出される偏差による値（標準偏差等）を領域内の画素の輝度の平均値で除算した値、即ち、変動係数を用いてもよい。これらの値は必要により任意に選択して用いればよい。

【0020】

ここで重要なのは算出された輝度のばらつきを輝度の平均値で除算していることである。例えば、照明が暗い状態で撮影しても明るい状態で撮影しても、あるいは、短い露光時間で撮影しても長い撮影時間で撮影しても、被写体そのものの構造が持つ物理的な複雑さは固有のものであり変化しない。しかし、画像の輝度等に係る色情報について標準偏差を算出して、その値を構造や色の複雑さを示す数値として使用した場合、明るい照明では標準偏差が大きく、暗い照明では標準偏差が小さくなってしまい、得られる複雑さが異なってしまう。ばらつきを平均値で除算した変動係数で評価すると明るい画像であっても暗い画像であっても複雑さが変化しにくく、一定の値が保たれるため正しい評価を行うことが可能である。

【0021】

＜画像中における色の多様性算出の対象領域＞
このように得られた色情報の多様性は画像全体に対して算出するようにしてもよいが、あるいは、画像を格子状に任意に区分して、それぞれの格子内の領域について色の多様性を算出するようにしてもよい。

【0022】

画像全体、または、区分された領域の面積が大きい場合、計算にかかるコストが低いため、複数の静止画像を即時的に解析し数値を表示することができる。

【0023】

一方、格子状に区分した領域の数を増やし、一つ一つの領域の面積の大きさを小さくすることによって、より微小領域における色の多様性を評価することが可能である。この場合、区分された領域の数が増加するにしたがって計算コストが増大するため、解析の即時性は失われていく。

【0024】

また、画像中の各画素、あるいは、いくつかの隣接する画素を一纏めにした画素領域とし、その周囲の画素、あるいは、画素領域について色情報の多様性を求めるようにしてもよい。このようにして求めた色情報の多様性は、画像を格子状に区分けする前述の方法よりもさらに解像度が高く、且つ、空間的位置情報が元の静止画像と完全に一致しているという利点がある一方、多大な計算コストがかかるため即時性は低い。そのため、一度記録した画像に対して詳細な解析を行う場合に用いるのがよい。

【0025】

なお、色情報の多様性を計算する際、元の静止画像を、適宜、拡大、または、縮小してもよい。拡大の方法としてはバイリニア法、バイキュービック法、Ｌａｎｃｚｏｓ法など間を埋める画素の輝度を関数で補完する方法が好ましい。拡大の効果としては部位によるより詳細な状態を取得できることにある。一方、縮小の方法としてはニアレストネイバー法、バイリニア法、バイキュービック法、Ｌａｎｃｚｏｓ法などいずれの方法を用いてもよく、縮小の効果として解析時間の短縮がある。これらは必要に応じて使い分ければよい。

【0026】

静止画像から、格子、あるいは、画素、または、画素集合などの領域ごとに得られた色の多様性は、２次元に配置することにより画像中の構造物や色の複雑さの状態を示す画像として保存、表示するようにしてもよい。画像化する際には多様性の値によって輝度を増加、あるいは、減少させるグレースケールで表現してもよいし、違いをより認知しやすくするために多様性の値をもとにして得られたヒートマップカラーを用いてもよく、このようにすることで、画像中の構造物の複雑な部分を強調して表示することが可能である。

【実施例1】

【0027】

図１は、表面にしぼ加工が施されたプラスチックパーツの一部をさまざまな露光時間で撮影し、画像の画素の輝度ごとの画素の個数をプロットしたものである。

【0028】

このときの画素の色要素の輝度の標準偏差（ＳＤ）、ならびに、前記標準偏差を前記平均値で除算した変動係数（ＣＶ（％））を図２に示す。標準偏差は露光時間が増加するに従い数値が大きくなった。このことから、標準偏差を構造の複雑さを表す数値として使用するには決まった露光時間で撮影する必要があることが示される。一方、算出した標準偏差を画像の輝度の平均値で除算した変動係数は露光時間が増加しても一定の値を示したことから、撮影時間の影響を受けにくい構造の複雑さを表す数値として利用できることが示された。

【0029】

図３では非アルコール性脂肪肝を発症したマウスの肝臓をクロスセクションし、含まれる脂肪をＯｉｌ ＲｅｄＯで染色して種々の明るさの照明光源を用いて顕微鏡下で撮影を行った。このときの画像の染色の複雑さを標準偏差（ＳＤ）、ならびに、変動係数（ＣＶ（％））で評価したところ、図中の表のように照明光源を明るくするに従い標準偏差は増加したが、変動係数は照明光源の明るさに依存せず一定の値をとった。このことから、変動係数は照明光源の明るさの影響を受けにくい数値として利用できることが示された。

【0030】

以上本発明について説明してきたが、本発明は上述の実施の例に限定されず種々の変形した形での応用が可能なものである。

【産業上の利用可能性】

【0031】

本発明は生体を構成する器官、あるいは、臓器、ならびに、組織そのもの、もしくは、それらのクロスセクション、さらには、培養細胞などといった生物学的、ならびに、医学的試料を撮影した画像に含まれる構造物や色の複雑さの 解析や人の肌や爪の表面状態の評価などの美容的評価、撮影時の画像データに写る干渉縞を利用した表面の液層状態（油膜や保湿状態）の評価、材料の歪みの解析、天体写真や航空写真の解析、など幅広い応用が可能な画像解析方法である。

【図1】

【図2】

【図3】