(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-11-25
(45)【発行日】2024-12-03
(54)【発明の名称】解析装置、解析方法、及び解析プログラム
(51)【国際特許分類】
G06T 7/00 20170101AFI20241126BHJP
【FI】
G06T7/00 350B
(21)【出願番号】P 2021066803
(22)【出願日】2021-04-09
【審査請求日】2024-01-17
(73)【特許権者】
【識別番号】000003207
【氏名又は名称】トヨタ自動車株式会社
(74)【代理人】
【識別番号】110001519
【氏名又は名称】弁理士法人太陽国際特許事務所
(72)【発明者】
【氏名】村井 祐介
(72)【発明者】
【氏名】矢野 正雄
(72)【発明者】
【氏名】庄司 哲也
【審査官】秦野 孝一郎
(56)【参考文献】
【文献】特開2021-39757(JP,A)
【文献】特開2010-271787(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 7/00
(57)【特許請求の範囲】
【請求項1】
画像全体の統計的な局所特徴量を算出する特徴量算出部と、
前記特徴量算出部が算出した前記局所特徴量を潜在空間に配置する配置部と、
前記配置部が配置した、前記局所特徴量の前記潜在空間上の位置に応じた画像処理を決定するよう学習する学習部と、
前記学習部による学習結果を用いて、対象画像に対して画像処理を選択して実行する画像処理部と、
を備える、解析装置。
【請求項2】
前記画像処理部は、画像処理後の画像の局所特徴量が前記潜在空間上の正解と定められた範囲に移動するような画像処理を実行する、請求項1に記載の解析装置。
【請求項3】
前記特徴量算出部は、Neighborhood Gray Tone Difference Matrix (NGTDM)、Gray Level Co-occurrence Matrix (GLCM)、Gray Level Size Zone Matrix (GLSZM)のいずれか、又は複数を用いて前記局所特徴量を算出する、請求項1に記載の解析装置。
【請求項4】
プロセッサが、
画像全体の統計的な局所特徴量を算出し、
算出した前記局所特徴量を潜在空間に配置し、
配置した前記局所特徴量の前記潜在空間上の位置に応じた画像処理を決定するよう学習し、
学習の結果を用いて、対象画像に対して画像処理を選択して実行する、
解析方法。
【請求項5】
コンピュータに、
画像全体の統計的な局所特徴量を算出し、
算出した前記局所特徴量を潜在空間に配置し、
配置した前記局所特徴量の前記潜在空間上の位置に応じた画像処理を決定するよう学習し、
学習の結果を用いて、対象画像に対して画像処理を選択して実行する、
処理を実行させる、解析プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、解析装置、解析方法、及び解析プログラムに関する。
【背景技術】
【0002】
顕微鏡で撮像された画像の解析に関する技術が提案されている(非特許文献1、2等参照)。
【0003】
非特許文献1は、ウェーブレット変換とソーベルフィルタとを用いて、3次元CT画像におけるノイズを低減させる技術を提案している。非特許文献2は、対話型遺伝的アルゴリズムによって、デジタル画像からひび割れを抽出する技術を提案している。
【先行技術文献】
【非特許文献】
【0004】
【文献】斎藤 雅紀,中森 伸行,“Wavelet変換とSobelフィルタを用いた歯科用3次元CT画像におけるノイズ低減法の開発”,[online],インターネット<URL:http://www.fjt.info.gifu-u.ac.jp/mii-sci/pdfs/24_1.pdf>
【文献】河村 圭,宮本 文穂,中村 秀明,佐藤 亮,“対話型遺伝的アルゴリズムによるデジタル画像からのひび割れ抽出”,[online],インターネット<URL:http://library.jsce.or.jp/jsce/open/00037/2003/742-0115.pdf>
【発明の概要】
【発明が解決しようとする課題】
【0005】
顕微鏡画像からの特徴量(結晶粒径、分布など)導出には、画像ごとに鮮明度合いや色合いの不均一があるために、前処理のパラメータ調整が都度必要で、解析の自動化ができなかった。
【0006】
非特許文献1で開示された技術では、データごとに人による高度なパラメータ調整や式の変更が必要となり、作業者が希望するノイズ低減結果を得るには、作業者の勘、試行錯誤の回数に依るところが大きい。非特許文献2で開示された技術では、画像処理パラメータの決定を遺伝的アルゴリズムによって自動決定するが、人間が、学習データ毎に処理が目的と合致しているかを評価値として与えており、人間の介入頻度が多くなる。
【0007】
本発明は、上記の点に鑑みてなされたものであり、属人性を排除し、処理の自動化により工数を削減した解析装置、解析方法、及び解析プログラムを提供することを目的とする。
【課題を解決するための手段】
【0008】
本発明の第1態様に係る解析装置は、画像全体の統計的な局所特徴量を算出する特徴量算出部と、前記特徴量算出部が算出した前記局所特徴量を潜在空間に配置する配置部と、前記配置部が配置した、前記局所特徴量の前記潜在空間上の位置に応じた画像処理を決定するよう学習する学習部と、前記学習部による学習結果を用いて、対象画像に対して画像処理を選択して実行する画像処理部と、を備える。
【0009】
第1態様に係る解析装置は、特徴量算出部が画像全体の統計的な局所特徴量を算出し、特徴量算出部が算出した局所特徴量を配置部が潜在空間に配置し、配置部が配置した局所特徴量の潜在空間上の位置に応じた画像処理を決定するよう学習部が学習し、画像処理部が、学習部による学習結果を用いて対象画像に対して画像処理を選択して実行する。第1態様に係る解析装置によれば、画像処理についての学習結果を用いて、対象画像に対して画像処理を選択して実行することで、属人性を排除し、処理の自動化により工数を削減することができる。
【0010】
本発明の第2態様に係る解析装置は、第1態様に係る解析装置であって、前記画像処理部は、画像処理後の画像の局所特徴量が前記潜在空間上の正解と定められた範囲に移動するような画像処理を実行する。第2態様に係る解析装置によれば、潜在空間上の正解と定められた範囲に移動するような画像処理の実行により、対象画像に対して正しい画像処理を実行できる。
【0011】
本発明の第3態様に係る解析装置は、第1態様に係る解析装置であって、前記特徴量算出部は、NeighborhoodGrayToneDifferenceMatrix(NGTDM)、GrayLevelCo-occurrenceMatrix(GLCM)、GrayLevelSizeZoneMatrix(GLSZM)のいずれか、又は複数を用いて前記局所特徴量を算出する。第3態様に係る解析装置によれば、解析対象の画像の局所特徴量を適切に算出できる。
【0012】
本発明の第4態様に係る解析方法は、プロセッサが、画像全体の統計的な局所特徴量を算出し、算出した前記局所特徴量を潜在空間に配置し、配置した前記局所特徴量の前記潜在空間上の位置に応じた画像処理を決定するよう学習し、学習の結果を用いて、対象画像に対して画像処理を選択して実行する。
【0013】
第4態様に係る解析方法によれば、画像処理についての学習結果を用いて、対象画像に対して画像処理を選択して実行することで、属人性を排除し、処理の自動化により工数を削減することができる。
【0014】
本発明の第5態様に係る解析プログラムは、コンピュータに、画像全体の統計的な局所特徴量を算出し、算出した前記局所特徴量を潜在空間に配置し、配置した前記局所特徴量の前記潜在空間上の位置に応じた画像処理を決定するよう学習し、学習の結果を用いて、対象画像に対して画像処理を選択して実行する、処理を実行させる。
【0015】
第5態様に係る解析プログラムによれば、画像処理についての学習結果を用いて、対象画像に対して画像処理を選択して実行することで、属人性を排除し、処理の自動化により工数を削減することができる。
【発明の効果】
【0016】
本発明によれば、属人性を排除し、処理の自動化により工数を削減した解析装置、解析方法、及び解析プログラムを提供することができる。
【図面の簡単な説明】
【0017】
【
図1】実施形態に係る解析装置の概略構成を示す図である。
【
図2】配置部により潜在空間に配置された局所特徴量の例を示す図である。
【
図4】解析装置による学習処理の流れを示すフローチャートである。
【
図5】解析装置による解析処理の流れを示すフローチャートである。
【
図6】電子顕微鏡で撮像された画像の解析のフローの例を示すフローチャートである。
【発明を実施するための形態】
【0018】
以下、本開示の実施形態の一例を、図面を参照しつつ説明する。なお、各図面において同一または等価な構成要素および部分には同一の参照符号を付与している。また、図面の寸法比率は、説明の都合上誇張されており、実際の比率とは異なる場合がある。
【0019】
図1は、本実施形態に係る解析装置の概略構成を示す図である。本実施形態に係る解析装置10は、画像を解析する装置であり、特に、電子顕微鏡で撮像された画像を解析する装置である。
【0020】
ここで、電子顕微鏡で撮像された画像の解析のフローの例を説明する。
図6は、電子顕微鏡で撮像された画像の解析のフローの例を示すフローチャートである。電子顕微鏡で撮像された画像の解析は、例えば、
図6に示したように、撮像された画像(生データ)に対して、ノイズ除去などの前処理を施し(ステップS11)、前処理後の画像を二値化して(ステップS12)、二値化後の画像に対する分析を行い(ステップS13)、分析結果に対するニーズ毎の解析を行う(ステップS14)、というフローで行われる。
【0021】
二値化後の画像に対する分析、及び分析結果に対するニーズ毎の解析は、分析手法により変化するものであって、一度方法が決まると、変更する必要は無い。一方、生データに対する前処理、及び前処理後の画像の二値化は、解析対象の画像の性質によって最適な手法が異なる。すなわち、撮像に使用した装置、撮像対象、画像に乗っているノイズの程度、画像の色合い、画像劣化程度などによって最適な手法が異なる。
【0022】
例えば、ノイズ除去のパラメータが同一であっても、解析対象の画像によって除去後の画像の性質が異なり得る。ガウシアンフィルタを適用して画像のノイズを除去する場合を考える。ガウシアンフィルタのサイズが5×5の場合、解析対象の画像の性質によって、適切にノイズが除去されている場合もあれば、画像のノイズが除去しきれない場合もある。またガウシアンフィルタのサイズが15×15の場合、解析対象の画像の性質によって、効果が強すぎて輪郭が消えてしまう場合もあれば、画像のノイズが除去しきれない場合もある。このように、解析対象の画像の性質によって、最適な画像処理の手法が異なるため、従来は人が画像処理の結果の確認を重ねて試行錯誤する必要があった。
【0023】
UMAP(Uniform Manifold Approximation and Projection)等の、画像を解析した結果に基づいて画像を大まかに分類する技術はある。しかし、解析の対象となる画像は様々であり、単に画像を分類すると、画像の大局的な特徴に影響を受ける。またどの画像にどの手法を適用すればよいかの明確な指標もない。撮像された画像に乗っているノイズの種類は様々であり、ノイズの種類ごとに空間座標を特定できたとしても、画像にどのフィルタを使うべきかわからない。
【0024】
そこで、本実施形態に係る解析装置10は、画像の局所特徴量を算出し、算出した局所特徴量を潜在空間に配置した上で、画像処理後の画像の局所特徴量を算出し、算出した局所特徴量を潜在空間に配置することで、正しい画像処理のパラメータを学習する。本実施形態に係る解析装置10は、正しい画像処理のパラメータを学習することで、属人性を排除し、処理の自動化により工数を削減したことを特徴とする。具体的には、解析装置10は、以下で説明するように、画像処理の結果を機械学習し、機械学習の結果を画像処理に反映することで、解析処理の自動化を達成した。
【0025】
解析装置10は、CPU(Central Processing Unit)11、ROM(Read Only Memory)12、RAM(Random Access Memory)13、ストレージ14、入力部15、及び表示部16を有する。
【0026】
CPU11は、中央演算処理ユニットであり、各種プログラムを実行したり、各部を制御したりする。すなわち、CPU11は、ROM12またはストレージ14からプログラムを読み出し、RAM13を作業領域としてプログラムを実行する。CPU11は、ROM12またはストレージ14に記録されているプログラムにしたがって、上記各構成の制御および各種の演算処理を行う。本実施形態では、ROM12またはストレージ14には、画像を解析するための画像処理を実行する解析プログラムが格納されている。
【0027】
ROM12は、各種プログラムおよび各種データを格納する。RAM13は、作業領域として一時的にプログラムまたはデータを記憶する。ストレージ14は、HDD(Hard Disk Drive)、SSD(Solid State Drive)またはフラッシュメモリ等の記憶装置により構成され、オペレーティングシステムを含む各種プログラム、および各種データを格納する。
【0028】
入力部15は、マウス等のポインティングデバイス、およびキーボードを含み、各種の入力を行うために使用される。
【0029】
表示部16は、たとえば、液晶ディスプレイであり、各種の情報を表示する。表示部16は、タッチパネル方式を採用して、入力部15として機能しても良い。
【0030】
上記の解析プログラムを実行する際に、解析装置10は、上記のハードウェア資源を用いて、各種の機能を実現する。解析装置10が実現する機能構成について説明する。
【0031】
図1に示すように、解析装置10は、CPU11がROM12またはストレージ14に記憶された解析プログラムを読み出し、実行することによって、CPU11が特徴量算出部101、配置部102、学習部103及び画像処理部104を有するよう機能する。
【0032】
特徴量算出部101は、解析対象の画像の局所特徴量を算出する。特徴量算出部101は、例えば、Neighborhood Gray Tone Difference Matrix(NGTDM)、Gray Level Co-occurrence Matrix(GLCM)、Gray Level Size Zone Matrix(GLSZM)等の中の少なくともいずれか、又は複数の解析法を用いて、画像の局所特徴量を算出する。GLCMは各画素値の頻度と分布が出る解析法で、頻度が少ないものは検出されにくいという特徴を有する。NGTDMは周辺画素との差を見る解析法で、全体の分布から外れた画素値に対して検出力が高いという特徴を有する。GLSZMは画像全体の画素値の連続性を評価する解析法である。もちろん、特徴量算出部101が局所特徴量を算出する際に用いる解析法は、上述した解析法に限定されない。特徴量算出部101は、NGTDM、GLCM、GLSZM等の既存の画素近傍行列の計算アルゴリズム、又はこれらのアルゴリズム相当のものを用いてもよい。
【0033】
配置部102は、特徴量算出部101が算出した局所特徴量を潜在空間に配置する。配置部102は、局所特徴量を潜在空間に配置する際に、例えばUMAPによるクラスタリングを行う。UMAPは、大局的な特徴と局所的な特徴で空間座標が決まる、表現力が高い、学習したモデルにデータの後埋めができる、軸が何を表しているか不明(特徴の類似度が距離になる)、といった特徴を有する。
【0034】
図2は、配置部102により潜在空間に配置された局所特徴量の例を示す図である。
図2に示したように、ノイズの種類毎に類似する画像が潜在空間上の座標に固まる。画像のノイズの種類毎に潜在空間上の座標が分かれると仮定すると、
図2に示したような潜在空間の座標を画像の状態として捉えることが可能となる。
【0035】
学習部103は、配置部102によって局所特徴量が配置された潜在空間に対する学習処理を行う。具体的に、学習部103は、潜在空間における正解クラスタではない各クラスタに対する適切な画像処理を学習する。正解クラスタは、例えばノイズが乗っていない綺麗な画像が集まっているクラスタである。どれが正解クラスタであるかは解析するユーザによって指定される。
【0036】
画像処理部104は、解析対象の画像に対する画像処理を行う。画像処理部104は、解析対象の画像に対する画像処理として、例えばノイズを除去する処理、画像を鮮明にする処理等を行う。
【0037】
学習部103は、正解クラスタではないクラスタに属する画像に対して、予め決められたパラメータによる、画像処理部104での画像処理後の局所特徴量が潜在空間に配置された結果、正解クラスタが属している位置に局所特徴量が移動すれば、その画像処理は適切な画像処理であると学習する。
【0038】
一方、学習部103は、正解クラスタではないクラスタに属する画像に対して、予め決められたパラメータによる、画像処理部104での画像処理後の局所特徴量が潜在空間に配置された結果、正解クラスタが属している位置に局所特徴量が移動しなければ、その画像処理は適切な画像処理ではないと学習する。
【0039】
学習部103は、画像処理毎に、潜在空間における座標間の変化を学習する。画像処理部104は、学習部103の学習結果を用いることで、入力データと目的データの潜在空間座標上の距離から、最適な処理手法又は必要なパラメータを自動で選択することができる。
【0040】
図3は、学習部103による学習処理を説明する図である。例えば、
図3に示したように、潜在空間にA、B、C、Dの3つのクラスタがあり、正解クラスタがクラスタDである場合を考える。
【0041】
この場合において、局所特徴量がクラスタAに属する画像に対して、コントラストを平坦化する画像処理及びガウシアンフィルタを掛ける画像処理を行い、画像処理後の画像の局所特徴量を再び潜在空間に配置した結果、クラスタDに属するようになったとする。学習部103は、局所特徴量がクラスタAに属する画像に対しては、コントラストを平坦化する画像処理及びガウシアンフィルタを掛ける画像処理が正しい画像処理であると学習する。
【0042】
またこの場合において、局所特徴量がクラスタBに属する画像に対して、コントラストを平坦化する画像処理及びガウシアンフィルタを掛ける画像処理を行い、画像処理後の画像の局所特徴量を再び潜在空間に配置した結果、クラスタAに属するようになったとする。学習部103は、局所特徴量がクラスタBに属する画像に対しては、コントラストを平坦化する画像処理及びガウシアンフィルタを掛ける画像処理が正しい画像処理ではないと学習する。
【0043】
特徴量算出部101が解析対象の局所特徴量を算出し、学習部103が学習を繰り返すことで、解析装置10は、解析対象の画像の局所特徴量から適切な画像処理を自動的に決定することができる。解析対象の画像の局所特徴量から適切な画像処理を自動的に決定することで、解析装置10は、属人性を排した画像処理を実行することができる。また、解析装置10は、解析対象の画像の局所特徴量から適切な画像処理を自動的に決定することで、画像処理を自動的に決定しない場合と比べ、大量の画像に対する画像処理を容易に実行することが出来る。
【0044】
次に、解析装置10の作用について説明する。
【0045】
図4は、解析装置10による学習処理の流れを示すフローチャートである。CPU11がROM12又はストレージ14から解析プログラムを読み出して、RAM13に展開して実行することにより、学習処理が行なわれる。
【0046】
CPU11は、まず解析対象となる画像全体の局所特徴量を算出する(ステップS101)。特徴量の計算手法には、上述したようにNGTDM、GLCM、GLSZM等がある。
【0047】
ステップS101に続いて、CPU11は、算出した局所特徴量を潜在空間に配置し、局所特徴量をクラスタリングする(ステップS102)。
【0048】
ステップS102に続いて、CPU11は、クラスタリングされた特徴量の中から正解クラスタの指定を受け付ける(ステップS103)。正解クラスタは、例えばノイズが乗っていない綺麗な画像が集まっているクラスタである。どれが正解クラスタであるかは解析するユーザによって指定される。
【0049】
ステップS103に続いて、CPU11は、正解クラスタではない各クラスタに対する適切な画像処理を学習し、学習済みモデルを生成する(ステップS104)。CPU11は、正解クラスタではないクラスタに対して画像処理を行い、画像処理後の特徴量を潜在空間に配置した結果、正解クラスタが属している位置に移動すれば、その画像処理は適切な画像処理であると判断する。
【0050】
CPU11は、画像処理毎に、潜在空間における座標間の変化を学習する。CPU11は、潜在空間座標上の入力データと目的データとの距離から、最適な処理手法や必要なパラメータを自動で選択する。CPU11は、最適手法で悪い結果が出てきても、次に良いと考えられる手法を自動適応し、再評価できる。
【0051】
図5は、解析装置10による解析処理の流れを示すフローチャートである。CPU11がROM12又はストレージ14から解析プログラムを読み出して、RAM13に展開して実行することにより、解析処理が行なわれる。
【0052】
CPU11は、まず解析対象となる画像全体の局所特徴量を算出する(ステップS111)。特徴量の計算手法には、上述したようにNGTDM、GLCM、GLSZM等がある。
【0053】
ステップS111に続いて、CPU11は、算出した画像全体の局所特徴量を潜在空間に配置する(ステップS112)。
【0054】
ステップS112に続いて、CPU11は、潜在空間への配置位置に応じた、解析対象となる画像への画像処理を実行する(ステップS113)。ステップS113で実行される画像処理としては、例えば、例えば、コントラストの平坦化、ガウシアンフィルタ等、公知の画像処理がある。CPU11は、ステップS113で実行する画像処理を、CPU11による学習処理の結果に基づいて選択する。CPU11は、画像処理を実行する際には、種類だけでなく、処理の強弱を選択して実行してもよい。
【0055】
ステップS113に続いて、CPU11は、解析対象となる画像への画像処理が適切なものであったかどうかを判断する(ステップS114)。具体的には、CPU11は、画像処理後の画像に対して局所特徴量を算出し、算出した局所特徴量を同じ潜在空間に配置した結果、その局所特徴量が正解クラスタに属するようになったかどうかで、画像処理が適切なものであったかどうかを判断する。
【0056】
ステップS114の判断の結果、解析対象となる画像への画像処理が適切なものであったと判断すると(ステップS114;Yes)、CPU11は、その画像への処理を終了する。一方、ステップS114の判断の結果、解析対象となる画像への画像処理が適切なものでなかったと判断すると(ステップS114;No)、CPU11は、別の画像処理を選択して、解析対象となる画像への画像処理を実行する(ステップS115)。別の画像処理の選択には、別の画像処理を実行すること、または画像処理のパラメータを変更することが含まれる。
【0057】
ステップS115の処理が終わると、CPU11は、ステップS114の処理に戻り、解析対象となる画像への画像処理が適切なものとなるまで、処理対象の画像への画像処理を繰り返す。また、ステップS114の判断の結果、解析対象となる画像への画像処理が適切なものでなかったと判断した場合、CPU11は、学習処理の結果生成された学習済みモデルの内容を更新する。
【0058】
CPU11が解析対象の局所特徴量を算出し、解析対象の局所特徴量から適切な画像処理を自動的に選択して実行することで、解析装置10は、属人性を排した画像処理を実行することができる。
【0059】
上記実施形態において、解析装置10は、単体の装置として説明したが、本発明は係る例に限定されるものでは無い。例えば、CPU11の機能はサーバ等の外部装置において実行されてもよい。
【0060】
なお、上記各実施形態でCPUがソフトウェア(プログラム)を読み込んで実行した学習処理及び解析処理を、CPU以外の各種のプロセッサが実行してもよい。この場合のプロセッサとしては、FPGA(Field-Programmable Gate Array)等の製造後に回路構成を変更可能なPLD(Programmable Logic Device)、及びASIC(Application Specific Integrated Circuit)等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が例示される。また、学習処理及び解析処理を、これらの各種のプロセッサのうちの1つで実行してもよいし、同種又は異種の2つ以上のプロセッサの組み合わせ(例えば、複数のFPGA、及びCPUとFPGAとの組み合わせ等)で実行してもよい。また、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。
【0061】
また、上記各実施形態では、学習処理及び解析処理のプログラムがROMまたはストレージに予め記憶(インストール)されている態様を説明したが、これに限定されない。プログラムは、CD-ROM(Compact Disk Read Only Memory)、DVD-ROM(Digital Versatile Disk Read Only Memory)、及びUSB(Universal Serial Bus)メモリ等の非一時的(non-transitory)記録媒体に記録された形態で提供されてもよい。また、プログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。
【符号の説明】
【0062】
10 解析装置
101 特徴量算出部
102 配置部
103 学習部
104 画像処理部