ホーム > 特許ランキング > 株式会社プロテリアル
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-01-15
(45)【発行日】2024-01-23
(54)【発明の名称】組織画像の解析方法
(51)【国際特許分類】
G01N 21/27 20060101AFI20240116BHJP
G01N 33/204 20190101ALI20240116BHJP
【ＦＩ】
G01N21/27 A
G01N33/204
【請求項の数】
4
(21)【出願番号】P 2019190633
(22)【出願日】2019-10-18
(65)【公開番号】P2021067474
(43)【公開日】2021-04-30
【審査請求日】2022-09-16
(73)【特許権者】
【識別番号】000005083
【氏名又は名称】株式会社プロテリアル
(72)【発明者】
【氏名】神田 喬之
【審査官】伊藤 裕美
(56)【参考文献】
【文献】特開２０１０－２０３８０２（ＪＰ，Ａ）
【文献】特開２０１７－０６３９０４（ＪＰ，Ａ）
【文献】国際公開第２０１６／０８４４５２（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０１Ｎ ２１／００－Ｇ０１Ｎ ２１／６１
Ｇ０１Ｎ ３３／００ーＧ０１Ｎ ３３／９８
(57)【特許請求の範囲】
【請求項1】
情報処理装置に組織画像を入力する工程と、前記組織画像の画素ごとにおける長波長を反映した値と短波長を反映した値から指標d（Ｌ、Ｓ）を計算するとともに中波長を反映した値から指標d（Ｍ）を計算する工程と、
前記d（Ｍ）と前記d（Ｌ、Ｓ）を変数としたヒストグラムを計算する工程と、
前記ヒストグラムにおける頻度のピークを検出する工程と、
頻度のピークにおける前記d（Ｍ）と前記d（Ｌ、Ｓ）の値の組を出力する工程と、を含む、
組織画像の解析方法。
【請求項2】
前記d（Ｍ）と前記d（Ｌ、Ｓ）の値の組を情報処理装置に複数入力する工程と、前記d（Ｍ）と前記d（Ｌ、Ｓ）の値の組を前記d（Ｍ）と前記d（Ｌ、Ｓ）を軸とした平面上にプロットする工程と、
前記プロットを複数のクラスタに分類する工程と、
前記クラスタの情報を出力する工程と、を更に含む、
請求項１に記載の組織画像の解析方法。
【請求項3】
前記d（Ｌ、Ｓ）は、長波長（Ｌ）と短波長（Ｓ）に相当する信号の強度の差又は比の値を用いる、請求項１又は２に記載の組織画像の解析方法。
【請求項4】
前記d（Ｍ）は、組織画像における中波長(Ｍ)に相当する信号の強度の値を用いる、請求項１から３のいずれかに記載の組織画像の解析方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、組織画像の解析方法に関し、特に金属材料の組織画像を解析する方法に関する。
【背景技術】
【0002】
組織を構成する相が異なることにより、材料の電気伝導率や熱伝導率などの特性が変化することが知られている。
【0003】
例えば、Ｎｂは９．２５Ｋ以下の温度で超電導を示すが、ＮｂとＳｎを組み合わせてＮｂ３Ｓｎとすると、超電導を示す温度は１８．５Ｋまで向上することが知られている。すなわち、材料中の相を別の相に置き換えることで、より高特性の材料を得られる場合がある。このことから、従来の材料を上回る新規材料を得るためには、従来知られていない新規相を創製することが一つの方法といえる。しかし、使用する元素が２種である２元系については、すでに多くの探索が試みられており、新規相が得られる可能性は低い。そこで、使用する元素を３種以上とすれば、新規相を見いだす余地が広がると考えられるが、一方で組成の組合せが膨大となるため、探索を高効率化するための手法が必要とされる。比較的簡便に取得できる組織画像から相についての情報を効率的に得ることができれば、探索の高効率化を図ることができる。
【0004】
特許文献１では、組織画像から組織についての統計情報を得ることが可能な材料組織の解析方法が記載されている。
【先行技術文献】
【特許文献】
【0005】
【文献】特開２０１９－１５５７３号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
新規相の探索においては、対象とする試料に含有されている相が既知相と未知相のいずれであっても対応可能な解析方法が必要とされる。
【0007】
特許文献１に記載の材料組織の解析方法では、組織画像から統計情報を容易に得ることができるものの、あらかじめ解析対象とする相を指定しているため、指定外の相についての情報を得ることは難しい。
【0008】
本開示の実施形態は、新規相の探索を高効率化する手段を提供する。
【課題を解決するための手段】
【0009】
本開示の組織画像の解析方法は、例示的な実施形態において、情報処理装置に組織画像を入力する工程と、前記組織画像における長波長を反映した値と短波長を反映した値から指標d（Ｌ、Ｓ)を計算するとともに中波長を反映した値から指標d(Ｍ)を計算する工程と、前記d(Ｍ)と前記d（Ｌ、Ｓ)を変数としたヒストグラムを計算する工程と、前記ヒストグラムにおける頻度のピークを検出する工程と、頻度のピークにおけるd(Ｍ)とd（Ｌ、Ｓ)の値の組を出力する工程と、を含む。
【0010】
ある実施形態において、前記d(Ｍ)と前記d（Ｌ、Ｓ)の値の組を情報処理装置に複数入力する工程と、前記d(Ｍ)と前記d（Ｌ、Ｓ)の組をd(Ｍ)とd（Ｌ、Ｓ)を軸とした平面上にプロットする工程と、前記プロットを複数のクラスタに分類する工程と、前記クラスタの情報を出力する工程と、を更に含む。
【0011】
ある実施形態において、前記d（Ｌ、Ｓ)は、長波長（Ｌ）と短波長（Ｓ）に相当する信号の強度の差又は比の値を用いる。
【0012】
ある実施形態において、前記ｄ（Ｍ）は、組織画像における中波長(Ｍ)に相当する信号の強度の値を用いる。
【発明の効果】
【0013】
本開示の実施形態によれば、新規相の探索を高効率化する手段を提供することができる。
【図面の簡単な説明】
【0014】
【図1】金属の反射率の波長依存性の一般的な傾向を示した図である。
【図2】本開示の実施形態の実施例１における組織画像の解析工程を示したフローチャートである。
【図3】本開示の実施形態の実施例１で用いられる組織画像の一例を示す図である。
【図4】本開示の実施形態の実施例２における解析工程を示したフローチャートである。
【図5】本開示の実施形態の実施例２で用いられる組織画像の一例を示す図である。
【図6】本開示の実施形態の実施例２による分類結果の一例を示す図である。
【発明を実施するための形態】
【0015】
本開示の材料組織画像の解析方法は、材料の組織画像に捉えられている相の色を用いる。色の類似性に基づいて相を分類することであらかじめ解析対象とする相を指定する必要がない。そのため、既知相や未知相にかかわらず相を分類することが可能となり、新規相の探索を高効率化することができる。材料組織中において、光に対する反射率や反射率の波長依存性が異なる相が存在する場合、画像上で異なった色として判別することができる。たとえば反射率の波長依存性が無く、反射率のみが異なる場合には、相の明るさの違いとして観察される。また、反射率の波長依存性がある場合はこれに加えて、可視光のうち、どの波長に対する反射率が高いかによって画像上での色合いが異なり、たとえば長波長の光に対して高い場合には赤色の成分が強く、中波長の光に対して高い場合には緑色の成分が強く、短波長の光に対して高い場合には青色の成分が強く観察される。
そのため、反射率と反射率の波長依存性を反映した組織画像(２つ以上の波長帯について撮影したもの、たとえばカラー画像やマルチスペクトル画像など)から、各相の反射率や反射率の波長依存性の違いを基にして相を分別できる。一方で、最も一般的な三原色のカラー画像においても３つの波長帯についての情報を有しており、各色に１次元ずつ割り振ると、少なくとも３以上の次元での解析が必要になる。そして組織画像は数十万を超える画素を含むこともあり、多数の画素を多次元上で解析することとなり、必要な計算資源は大きくなる。そのため、小さい次元でも対象の性質をよく表すことのできる記述子（ｄｅｓｃｒｉｐｔｏｒ）を用いることが有効である。なお、短波長、中波長、長波長は、それぞれ光の波長が短波長＜中波長＜長波長の関係にあると定義され、例えば、短波長は３５０ｎｍ以上５００ｎｍ以下、中波長は５００ｎｍ超６００ｎｍ以下、長波長は６００ｎｍ超８００ｎｍ以下である。また、組織画像は、光学顕微鏡を用いて撮影し得る。さらに、長波長、中波長、短波長を反映した値は、例えば、光学顕微鏡により組織画像を撮影する過程において、ハロゲンランプから出た光を試料に当て、生じた反射光をＣＣＤのカラーフィルターを通すことにより検出することができる。
そのため、反射率と反射率の波長依存性を反映した組織画像(２つ以上の波長帯について撮影したもの、たとえばカラー画像やマルチスペクトル画像など)から、各相の反射率や反射率の波長依存性の違いを基にして相を分別できる。一方で、最も一般的な三原色のカラー画像においても３つの波長帯についての情報を有しており、各色に１次元ずつ割り振ると、少なくとも３以上の次元での解析が必要になる。そして組織画像は数十万を超える画素を含むこともあり、多数の画素を多次元上で解析することとなり、必要な計算資源は大きくなる。そのため、小さい次元でも対象の性質をよく表すことのできる記述子（ｄｅｓｃｒｉｐｔｏｒ）を用いることが有効である。なお、短波長、中波長、長波長は、それぞれ光の波長が短波長＜中波長＜長波長の関係にあると定義され、例えば、短波長は３５０ｎｍ以上５００ｎｍ以下、中波長は５００ｎｍ超６００ｎｍ以下、長波長は６００ｎｍ超８００ｎｍ以下である。また、組織画像は、光学顕微鏡を用いて撮影し得る。さらに、長波長、中波長、短波長を反映した値は、例えば、光学顕微鏡により組織画像を撮影する過程において、ハロゲンランプから出た光を試料に当て、生じた反射光をＣＣＤのカラーフィルターを通すことにより検出することができる。
【0016】
有用な材料として広く用いられている金属の反射率の波長に対する変化は図１のような傾向を示す。図１に示すように反射率の絶対値は、金属の種類により比較的大きく変化する。一方で波長依存性については、可視光領域においては一般に波長に対して緩やかに変化する。そのため、可視光で中波長(緑色付近)に対する反射率は、長波長(赤色付近)と短波長(青色付近)の中間の反射率を示すことが多い。そこで本発明者は、金属材料の組織画像を解析する方法として、相の色の類似性に基づいて相を分類することが有効であると想定した。そして本発明者は検討の結果、相の色を解析する際には、平均的な反射率を反映した指標として中波長（Ｍ）の反射率を反映した指標ｄ（Ｍ）と、反射率の波長依存性を反映した指標として長波長（Ｌ）と短波長（Ｓ）の反射率を反映した指標ｄ（Ｌ、Ｓ）とを用いることで、二次元であっても各相の色の違いをよく表現できることを見出した。前記ｄ（Ｍ）については、組織画像における中波長(Ｍ)に相当する信号の強度の値をそのまま用いてもよいし、前記ｄ（Ｌ、Ｓ）などとスケールを合わせるために正規化などの処理を行った値を用いてもよい。前記ｄ（Ｌ、Ｓ）については、長波長（Ｌ）と短波長（Ｓ）に相当する信号の強度を用いて演算したものであればほとんどの場合に使用可能であるが、波長依存性のわずかな違いを解析する場合にはＬとＳの強度の差又は比の値（長波長（Ｌ）に対する短波長（Ｓ）の比、又は、短波長（Ｓ）に対する長波長（Ｌ）の比）を用いることが好ましく、ノイズの影響を抑制する観点からは差の値を用いることがより好ましい。ここで、計算の順番を入れ替えても指標としての有効性が変わることはなく、たとえば差を計算する場合にはＬとＳの信号の強度を入れ替えて用いても正負の符号が反転するのみである。
【0017】
さらに本発明者は検討の結果、組織画像における各相の色を抽出する方法として、ヒストグラムにおける頻度のピークを検出する方法を用いることが有効であることが分かった。より具体的には、前記ｄ（Ｍ）)と前記ｄ（Ｌ、Ｓ）の２つの変数を持つヒストグラムを計算し、前記ｄ（Ｍ）)と前記ｄ（Ｌ、Ｓ）を軸とした二次元平面上で周囲のいずれよりも高い頻度を示す点をピークとして検出する。同一相はノイズなどの影響がなければ同一色を示すと期待されることから、ヒストグラムのピーク位置におけるｄ（Ｍ）)とｄ（Ｌ、Ｓ）の値の組は、それぞれの相の色を反映したものとなる。一般に、１枚の組織画像中に含まれる相の数は数種類程度であり、その数に対応したｄ（Ｍ）)とｄ（Ｌ、Ｓ）の値の組が得られることが期待される。このように、非構造化データである組織画像から、ｄ（Ｍ）)とｄ（Ｌ、Ｓ）の値の組を得ることで、構造化に適した形式で相に関する指標を抽出することができる。
【0018】
複数の組織画像からｄ（Ｍ）)とｄ（Ｌ、Ｓ）の値の組を得た場合、相の色に基づいた分類を行うことができる。具体的には、検出したｄ（Ｍ）とｄ（Ｌ、Ｓ）の値の組を、情報処理装置に複数入力し、ｄ（Ｍ）とｄ（Ｌ、Ｓ）を軸とした二次元上にプロットする。そして近接した点を同じグループに帰属させる（複数のクラスタに分類する）処理を行う。その際、クラスタリング手法として知られる方法を用いることができ、階層的な方法や非階層的な方法、さらに機械学習を用いた方法のいずれも用いることが可能であるが、たとえばｘ－ｍｅａｎｓ等が使用できる。
クラスタリング手法の中には多次元に対応しているものもあることから、組織画像における各画素の値をそのまま用いてクラスタリングを試みることもできるが、次元が大きくなると計算量も大幅に増大することに加え、組織画像の画素数は一般にクラスタリング手法が想定している要素数よりも非常に大きいこと、またノイズの影響により画素の値がばらついて広がることでクラスタどうしの重なり合いが生じることから、実用的に用いることは難しい。本開示の手法において、同一のクラスタに属する相は構造や組成等も同一であると捉えると、あるクラスタに所属するいずれか1つの相のみで、そのクラスタ全体を代表させることが可能となる。これより、たとえば物性測定等の時間を要する測定を行う場合に、測定対象とすべき試料の数を大幅に絞り込めることから、材料開発の高効率化を図ることができる。
クラスタリング手法の中には多次元に対応しているものもあることから、組織画像における各画素の値をそのまま用いてクラスタリングを試みることもできるが、次元が大きくなると計算量も大幅に増大することに加え、組織画像の画素数は一般にクラスタリング手法が想定している要素数よりも非常に大きいこと、またノイズの影響により画素の値がばらついて広がることでクラスタどうしの重なり合いが生じることから、実用的に用いることは難しい。本開示の手法において、同一のクラスタに属する相は構造や組成等も同一であると捉えると、あるクラスタに所属するいずれか1つの相のみで、そのクラスタ全体を代表させることが可能となる。これより、たとえば物性測定等の時間を要する測定を行う場合に、測定対象とすべき試料の数を大幅に絞り込めることから、材料開発の高効率化を図ることができる。
【0019】
以下、本発明の実施例を具体的に説明するが、本発明はこれらの実施例に限定されるものではない。
【0020】
［実施例１］
実施例１では、組織画像から提供される相の色に基づいて指標を計算する方法の例を説明する。本実施例における各工程のフローチャートを図２に示す。フローチャートのステップ１（Ｓ１）では、情報処理装置に組織画像を入力する。組織画像は複数の波長帯ごとの値を持つものであればいずれも使用できる。画素ごとに３つの波長帯についての値を有する組織画像（カラー画像）の一例を図３に示す。入力された組織画像に対しては明るさや色合いのばらつきを補正するための処理を施してもよいし、ノイズを低減するための平滑化などの処理を施してもよい。
実施例１では、組織画像から提供される相の色に基づいて指標を計算する方法の例を説明する。本実施例における各工程のフローチャートを図２に示す。フローチャートのステップ１（Ｓ１）では、情報処理装置に組織画像を入力する。組織画像は複数の波長帯ごとの値を持つものであればいずれも使用できる。画素ごとに３つの波長帯についての値を有する組織画像（カラー画像）の一例を図３に示す。入力された組織画像に対しては明るさや色合いのばらつきを補正するための処理を施してもよいし、ノイズを低減するための平滑化などの処理を施してもよい。
【0021】
フローチャートのステップ２（Ｓ２）では、長波長を反映した値と、短波長を反映した値を用いてd（Ｌ、Ｓ）を計算する。例えば、実施例１では、短波長を反映した値から長波長を反映した値を引いた値をd（Ｌ、Ｓ）として用いる。
また、中波長を反映した値からd(Ｍ)を計算する。例えば、実施例１では、中波長を反映した値をd(Ｍ)の値として用いる。なお、組織画像に記録された波長帯が２つの場合などには、長波長または短波長を反映した値を代用してd(Ｍ)を計算することもできる。
長波長、中波長、短波長を反映した値は、光学顕微鏡により組織画像を撮影し、ハロゲンランプから出た光を試料に当て、生じた反射光をＣＣＤのカラーフィルタを通すことにより検出して求めた。
また、中波長を反映した値からd(Ｍ)を計算する。例えば、実施例１では、中波長を反映した値をd(Ｍ)の値として用いる。なお、組織画像に記録された波長帯が２つの場合などには、長波長または短波長を反映した値を代用してd(Ｍ)を計算することもできる。
長波長、中波長、短波長を反映した値は、光学顕微鏡により組織画像を撮影し、ハロゲンランプから出た光を試料に当て、生じた反射光をＣＣＤのカラーフィルタを通すことにより検出して求めた。
【0022】
フローチャートのステップ３（Ｓ３）ではd(Ｍ)とd（Ｌ、Ｓ）の２つを変数としたヒストグラムを計算する。d(Ｍ)とd（Ｌ、Ｓ）のそれぞれの値域を複数のビン（互いに交わりを持たない区間）に分割し、それぞれのビンに含まれるd(Ｍ)とd（Ｌ、Ｓ）の値の組を合計して、そのビンにおける頻度とする。ビンの数については、多くするほど微細な色の違いを表現できるが、一方でビン１つあたりに含有される頻度は小さくなる。１つのビンあたりの頻度が小さくなりすぎると、次のステップでピークを検出し難くなることから、３０以上の頻度を示すビンが最低でも１つ以上出現するようにビンの数を設定する。
【0023】
フローチャートのステップ４（Ｓ４）では、ステップ３で計算したヒストグラムにおける頻度のピークを検出する。d(Ｍ)とd（Ｌ、Ｓ）を軸とした二次元平面上で、周囲に隣接するビンのいずれよりも大きな頻度を有するビンがピークとなる。このとき、元の組織画像がノイズを多く含むことにより多数の小さなピークが検出される場合には、密度推定などの処理を行ってノイズの影響を低減してもよい。
フローチャートのステップ５では、ステップ４で検出したそれぞれのピークにおけるd(Ｍ)とd（Ｌ、Ｓ）の組を出力する。このようにして出力されたd(Ｍ)とd（Ｌ、Ｓ）の組は相の色を反映した指標として用いることができる。
フローチャートのステップ５では、ステップ４で検出したそれぞれのピークにおけるd(Ｍ)とd（Ｌ、Ｓ）の組を出力する。このようにして出力されたd(Ｍ)とd（Ｌ、Ｓ）の組は相の色を反映した指標として用いることができる。
【0024】
［実施例２］
実施例１におけるステップ１から５までの工程と同様の工程を、複数の組織画像それぞれに対して行う。なお、複数の組織写真は同じ測定装置（条件）で撮影する。図５に組織画像（カラー画像）の一例を示す。そして得られた複数のd(Ｍ)とd（Ｌ、Ｓ）の組を用いて、図４のフローチャートに示した工程を行う。第２のフローチャートのステップ６（Ｓ６）では、各相の色を代表する指標であるd(Ｍ)とd（Ｌ、Ｓ）の組を情報処理装置に入力する。このとき、複数の組織画像から得られた複数のd(Ｍ)とd（Ｌ、Ｓ）の組を使用する。
実施例１におけるステップ１から５までの工程と同様の工程を、複数の組織画像それぞれに対して行う。なお、複数の組織写真は同じ測定装置（条件）で撮影する。図５に組織画像（カラー画像）の一例を示す。そして得られた複数のd(Ｍ)とd（Ｌ、Ｓ）の組を用いて、図４のフローチャートに示した工程を行う。第２のフローチャートのステップ６（Ｓ６）では、各相の色を代表する指標であるd(Ｍ)とd（Ｌ、Ｓ）の組を情報処理装置に入力する。このとき、複数の組織画像から得られた複数のd(Ｍ)とd（Ｌ、Ｓ）の組を使用する。
【0025】
第２のフローチャートのステップ７（Ｓ７）では、d(Ｍ)とd（Ｌ、Ｓ）を軸とした平面上に、入力されたd(Ｍ)とd（Ｌ、Ｓ）の組をプロットする。第２のフローチャートのステップ８（Ｓ８）では、先のステップでプロットされた要素間の距離に基づいて、d(Ｍ)とd（Ｌ、Ｓ）の類似性に基づいてそれぞれの要素を複数のクラスタに分類する。このときクラスタリングとして知られる手法を用いることができ、実施例２では、x-meansとして知られる手法を用いてクラスタリングを行い、図６のように分類した。（図６では同じクラスタに属する要素は同じ記号を用いて表現している）。
【0026】
第２のフローチャートのステップ９（Ｓ９）では、先のステップで得られたクラスタの情報を出力する。出力することができる情報としては、クラスタの数、クラスタに含まれる要素の数、クラスタの範囲、クラスタの位置を代表する指標(クラスタの中心位置など)、クラスタ間の距離、などがある。このように要素をクラスタに分類することは、組織画像における相を色に基づいて分類することに相当する。これにより、たとえば各クラスタに所属するいずれか１つの要素に該当する試料のみで、そのクラスタ全体を代表させることが可能となり、材料開発の高効率化に好適に用いることができる。
【産業上の利用可能性】
【0027】
本開示の実施形態は、比較的容易に得ることが可能な金属の組織画像から、含有される相を反映した値の組を得ることができる。さらに複数の試料の組織画像から得た値の組をクラスタに分類することができる。あるクラスタに所属するいずれか1つの相のみで、そのクラスタを代表させることが可能であることから、たとえば物性測定等の時間を要する測定を行う場合に、測定対象とすべき試料の数を大幅に絞り込めるため、材料開発の高効率化を図ることができる。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
