特許 7362059 粒子画像抽出プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-10-06

(45)【発行日】2023-10-17

(54)【発明の名称】粒子画像抽出プログラム

(51)【国際特許分類】

   H01J 37/22 20060101AFI20231010BHJP

   G06T 7/00 20170101ALI20231010BHJP

【ＦＩ】

H01J37/22 501Z

H01J37/22 501D

H01J37/22 502H

G06T7/00 300D

G06T7/00 350B

【請求項の数】 4

(21)【出願番号】P 2020014299

(22)【出願日】2020-01-31

(65)【公開番号】P2021120938

(43)【公開日】2021-08-19

【審査請求日】2023-01-11

(73)【特許権者】

【識別番号】510222006

【氏名又は名称】株式会社バイオネット研究所

(74)【代理人】

【識別番号】100122574

【弁理士】

【氏名又は名称】吉永 貴大

(72)【発明者】

【氏名】大橋 正隆

(72)【発明者】

【氏名】細川 史生

【審査官】藤本 加代子

(56)【参考文献】

【文献】特開２０１０－１１７１７５（ＪＰ，Ａ）

【文献】特開２００５－１２２２８４（ＪＰ，Ａ）

【文献】特開昭６２－０８９１７０（ＪＰ，Ａ）

【文献】特開平０７－１０５３７８（ＪＰ，Ａ）

【文献】特開２０２０－１３９９４５（ＪＰ，Ａ）

【文献】米国特許出願公開第２０２０／０２７２８０５（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０１Ｊ ３７／００－３７／３６

Ｇ０６Ｔ ７／００

Ｇ０１Ｎ ２３／０４

(57)【特許請求の範囲】

【請求項1】

電子顕微鏡により撮影された電顕画像から生体分子が写っている部分を抽出する粒子画像抽出プログラムであって、
コンピュータに、
前記生体分子の初期抽出領域を決定して粒子画像を抽出する初期抽出領域決定処理と、
前記抽出された粒子画像を基に、２次元画像分類により各分類の２次元平均像を生成する２次元画像分類処理と、
前記生成された各分類の２次元平均像から前記生体分子が前記抽出された粒子画像の中心付近に写っている２次元平均像を選択する平均像選択処理と、
前記選択された２次元平均像の位置と前記選択された２次元平均像を計算するために用いた前記抽出された粒子画像内の抽出粒子の位置に基づいて、前記抽出された粒子画像の抽出位置を補正する抽出位置補正処理と、を実行させる、粒子画像抽出プログラム。

【請求項2】

コンピュータに、
同一分類内の前記抽出された粒子画像同士の距離を計算し、距離に応じて重複粒子画像を除去する重複粒子画像除去処理を更に実行させる、請求項１に記載の粒子画像抽出プログラム。

【請求項3】

コンピュータに、
前記補正された粒子画像の近傍を抽出する近傍抽出処理を更に実行させる、請求項１又は２に記載の粒子画像抽出プログラム。

【請求項4】

コンピュータに、
前記電顕画像から粒子を抽出する抽出領域マップを決定する抽出領域マップ決定処理を更に実行させる、請求項１から３のいずれか１項に記載の粒子画像抽出プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、粒子画像抽出プログラムに関する。

【背景技術】

【0002】

タンパク質などの生体分子の３次元構造を決定する手法として、近年、低温電子顕微鏡法（以降、ｃｒｙｏ－ＴＥＭ；cryo-Transmission Electron Microscopyという場合がある。）が注目されている。ｃｒｙｏ－ＴＥＭには、従来主流であったＸ線結晶解析とは異なり、結晶化の必要がなく、生理条件に近い状態でタンパク質の３次元構造決定ができるという特徴がある。

【0003】

ｃｒｙｏ－ＴＥＭは、試料となる生体分子を含む水溶液を液体窒素で冷やされた液化エタンで急速凍結することにより生体分子を非結晶の薄い氷に包埋し、氷包埋されたままの状態で低温ステージを持つ透過型電子顕微鏡（以降、ＴＥＭ；Transmission Electron Microscopeという場合がある。）を使用して観察する手法である。

【0004】

生体分子の３次元構造は、ｃｒｙｏ－ＴＥＭにより、氷包埋された多量の生体分子をＴＥＭで撮影し、得られた画像（以降、電顕画像という場合がある）から生体分子が写っている部分を切り出した数万から数百万枚の粒子画像を基に推定される。２次元画像から３次元構造を推定する処理は、３次元再構成と呼ばれる。

【0005】

ｃｒｙｏ－ＴＥＭによる３次元構造の決定は、一般的に、ＴＥＭによる電顕画像の撮影、ユーザによる粒子抽出、２次元画像分類による自動抽出用テンプレートの作成、自動抽出、２次元画像分類、３次元構造分類、３次元構造精密化という手順で行われる。

【0006】

ＴＥＭで生体分子のような非常に小さな物体を撮影する場合は、位相コントラストを使用して撮影を行う。位相コントラストとは、試料を通り抜けてきた電子の波の位相のずれによる干渉模様によって形成される像のことをいう。位相コントラストを撮影する場合、試料にフォーカスを合わせて撮影するとコントラストが非常に低くなるため、フォーカスを意図的にずらした、デフォーカス状態で撮影する。フォーカスのずれ量のことをデフォーカス量という。位相コントラストによって得られる像には、収差とデフォーカスに起因する変調が加わる。この変調は、コントラスト伝達関数（以降、ＣＴＦ；Contrast Transfer Functionという場合がある。）と呼ばれる。

【0007】

図２４は、ある条件のときのＣＴＦをグラフにしたものである。図２４の左側はＣＴＦの周波数応答、図２４の右側は点線部（envelope；包絡線）のプロファイルを示している。周波数応答は、変調前の値と変調後の値の比を表す。図２４の右側のプロファイルは、横軸が周波数を表し、縦軸が周波数応答を表す。図２４の右側に示されるように、ＣＴＦは高周波になるほど、＋１～－１間の振動が激しくなるという特性を持つ。また、ＣＴＦの周波数応答はデフォーカス量によっても変化し、デフォーカス量を大きくすると、＋１～－１間の振動が激しくなるという特性も持つ。さらに、周波数応答が０となる点では、情報の欠落が発生する。

【0008】

図２５は、ＴＥＭにより撮影された生体分子の投影像のシミュレーション画像である。図２５の左側がデフォーカス量１００Åの時の投影像で、右側がデフォーカス量５００Åの時の投影像である。図２５は、デフォーカス量が大きくなると、画像のコントラストが大きくなることを示している。しかしながら、十分なコントラストを得るためにデフォーカス量を大きくすると、ＣＴＦが＋１～－１の間で激しく振動し、情報の欠落の度合いが大きくなる。加えて、ＣＴＦは周波数が高周波になるほど減衰することが知られており、周波数ごとの減衰量を表す関数は包絡関数と呼ばれている。この包絡関数はデフォーカス量に依存して変化し、デフォーカス量が大きくなるとより減衰量が大きくなることが知られている。

【0009】

ＴＥＭにより生体分子を撮影する場合は、生体分子の電子線による損傷を防ぐため、照射できる電子線量が制限される。さらに、ｃｒｙｏ－ＴＥＭでは、凍結時に氷の厚さを薄く均一に作ることが困難であり、氷が厚くなると透過する電子線量も少なくなる。これらの要因から、粒子画像の信号対雑音比（以降、Ｓ／Ｎ比という場合がある。）が非常に低いという問題がある。

【0010】

このような条件下で撮影された電顕画像を基に行われる３次元構造の推定は、推定精度を向上させるために多量の粒子画像を必要とする。構造を決定したい生体分子の３次元構造の複雑さにも依存するが、数万枚から数百万枚の粒子画像が必要になることもある。そのため手動によりすべての粒子画像を抽出することは非常に困難であり、自動化又は半自動化による粒子の抽出が行われる。

【0011】

一般的に使用されている粒子抽出方法は、非特許文献１に記載のテンプレートマッチング法である。この手法では、ユーザによって数百から千枚程度の粒子画像を手動で抽出したのちに、２次元画像分類処理により２次元平均像を生成し、生成した２次元平均像をテンプレートとして自動抽出処理を行い、多量の粒子画像を抽出する。

【0012】

しかしながら、ユーザによる手動粒子抽出を行う制約上、粒子は視認できる必要がある。この視認性は、電顕画像のノイズ量とＣＴＦに左右される。視認性を上げるためには、デフォーカス量を大きくする必要があるが、デフォーカス量を大きくすると、高周波成分が失われ、３次元構造の分解能を低下させる原因となる可能性がある。対して、デフォーカス量を小さくすると、視認性が低下するため、ユーザによる手動粒子抽出が困難になるというジレンマがあった。

【0013】

さらに、ユーザによる手動の粒子抽出には、ユーザが拾いやすい粒子を多く拾ってしまうという問題がある。このユーザによる恣意性は、抽出された生体分子の投影像の投影方向に偏りが発生する要因となる可能性がある。抽出された粒子の投影方向に偏りがあると、２次元画像から３次元構造を推定する際に、うまく３次元構造が推定できないという問題がある。

【0014】

また、ｃｒｙｏ－ＴＥＭによる試料作製にもばらつきがあり、よりよい３次元構造を得るために、何度も試料を作製して、解析を繰り返す必要がある。このため、３次元構造決定作業の自動化は非常に重要であるが、ユーザによる粒子の抽出処理は自動化を妨げる要因ともなっていた。

【0015】

粒子抽出手法としては、非特許文献２に記載のような深層学習を使用したものもあるが、モデルの学習を必要とするため、事前に学習用データを用意する必要がある。しかしながら、３次元構造を決定したい生体分子は基本的に未知のため、あらかじめ学習データを用意しておくことは難しいという問題がある。

【先行技術文献】

【非特許文献】

【0016】

【文献】CHEN, James Z.; GRIGORIEFF, Nikolaus. SIGNATURE: a single-particle selection system for molecular electron microscopy. Journal of structural biology, 2007, 157.1: 168-173.

【文献】ZHU, Yanan; OUYANG, Qi; MAO, Youdong. A deep convolutional neural network approach to single-particle recognition in cryo-electron microscopy. BMC bioinformatics, 2017, 18.1: 348.

【文献】HOU, Xiaodi; ZHANG, Liqing. Saliency detection: A spectral residual approach. In: 2007 IEEE Conference on Computer Vision and Pattern Recognition. Ieee, 2007. p. 1-8.

【発明の概要】

【発明が解決しようとする課題】

【0017】

本発明は、上記従来技術の課題を解決するためになされたものであり、ユーザによる作業負荷を軽減しつつ、粒子画像のコントラストが極端に低い場合でも粒子を抽出可能な粒子画像抽出プログラムを提供することを目的とする。

【課題を解決するための手段】

【0018】

本発明は、上記目的を達成するために、以下の構成によって把握される。本発明の第１の観点は、電子顕微鏡により撮影された電顕画像から生体分子が写っている部分を抽出する粒子画像抽出プログラムであって、コンピュータに、前記生体分子の初期抽出領域を決定して粒子画像を抽出する初期抽出領域決定処理と、前記抽出された粒子画像を基に、２次元画像分類により各分類の２次元平均像を生成する２次元画像分類処理と、前記生成された各分類の２次元平均像から前記生体分子が前記抽出された粒子画像の中心付近に写っている２次元平均像を選択する平均像選択処理と、前記選択された２次元平均像の位置と前記選択された２次元平均像を計算するために用いた前記抽出された粒子画像内の抽出粒子の位置に基づいて、前記抽出された粒子画像の抽出位置を補正する抽出位置補正処理と、を実行させる。

【0019】

本発明の第２の観点は、電子顕微鏡により撮影された電顕画像から生体分子が写っている部分を抽出する粒子画像抽出装置であって、前記生体分子の初期抽出領域を決定して粒子画像を抽出する初期抽出領域決定部と、前記抽出された粒子画像を基に、２次元画像分類により各分類の２次元平均像を生成する２次元画像分類部と、前記生成された各分類の２次元平均像から前記生体分子が前記抽出された粒子画像の中心付近に写っている２次元平均像を選択する平均像選択部と、前記選択された２次元平均像の位置と前記選択された２次元平均像を計算するために用いた前記抽出された粒子画像内の抽出粒子の位置に基づいて、前記抽出された粒子画像の抽出位置を補正する抽出位置補正部と、を備える。

【0020】

本発明の第３の観点は、電子顕微鏡により撮影された電顕画像から生体分子が写っている部分を抽出する粒子画像抽出方法であって、前記生体分子の初期抽出領域を決定して粒子画像を抽出する初期抽出領域決定ステップと、前記抽出された粒子画像を基に、２次元画像分類により各分類の２次元平均像を生成する２次元画像分類ステップと、前記生成された各分類の２次元平均像から前記生体分子が前記抽出された粒子画像の中心付近に写っている２次元平均像を選択する平均像選択ステップと、前記選択された２次元平均像の位置と前記選択された２次元平均像を計算するために用いた前記抽出された粒子画像内の抽出粒子の位置に基づいて、前記抽出された粒子画像の抽出位置を補正する抽出位置補正ステップと、を備える。

【発明の効果】

【0021】

本発明によれば、ユーザによる作業負荷を軽減しつつ、粒子画像のコントラストが極端に低い場合でも粒子を抽出可能な粒子画像抽出プログラムを提供することができる。

【図面の簡単な説明】

【0022】

【図1】本発明の第１の実施形態に係る粒子画像抽出装置を説明するためのブロック図である。

【図2】初期抽出領域決定部において初期抽出領域を位置決定する手順を説明するためのイメージ図である。

【図3】初期抽出領域決定部において実際の電顕画像に初期抽出領域を描画した例を示す図である。

【図4】２次元画像分類部において実際に生成した２次元平均像の例を示す図である。

【図5】平均像選択部の処理を説明するためのブロック図である。

【図6】平均像選択部において識別器の学習を説明するためのブロック図である。

【図7】識別器においてラベル付けを行った例を示す図であって、左側は陽性データを、右側は陰性データをそれぞれ示す。

【図8】抽出位置補正部の処理を説明するためのイメージ図であって、左側は選択平均画像を、右側は選択粒子画像をそれぞれ示す。

【図9】抽出位置補正部において実際の２次元平均像から重心位置を計算した結果の３つの例を示す図である。

【図10】平均像選択部において得られた平均画像の例を示す図であって、左側は１回目の平均画像を、右側は抽出位置補正部において補正された後に繰り返し処理を行った終了直前の平均画像をそれぞれ示す。

【図11】本発明の第１の実施形態に係る粒子画像抽出装置の変形例を説明するためのブロック図である。

【図12】本発明の第２の実施形態に係る粒子画像抽出装置を説明するためのブロック図である。

【図13】重複粒子画像除去部において除去粒子を決定する手順を説明するためのフローチャートである。

【図14】近傍抽出部の処理を説明するためのイメージ図である。

【図15】近傍抽出部において実際の電顕画像に近傍粒子領域を描画した例を示す図である。

【図16】本発明の第３の実施形態に係る粒子画像抽出装置を説明するためのブロック図である。

【図17】抽出領域決定部の処理を説明するためのブロック図である。

【図18】実際の電顕画像に不純物が写っている例を示す図である。

【図19】図１８に示した電顕画像に顕著領域検出を実施し生成された顕著性マップである。

【図20】図１９を二値化処理した二値画像の例を示す図である。

【図21】図２０を膨張処理した抽出領域マップの例を示す図である。

【図22】図１８に示した電顕画像に図２１に示した抽出領域マップを重ね合わせて表示した図である。

【図23】抽出領域マップに従って、粒子を抽出した例を示す図である。

【図24】コントラスト伝達関数（ＣＴＦ）をグラフにして示す図であって、左側はＣＴＦの周波数応答を、右側は点線部のプロファイルをそれぞれ示す。

【図25】透過型電子顕微鏡により撮影された生体分子の投影像のシミュレーション画像であって、左側はデフォーカス量１００Åのときの投影像を、右側はデフォーカス量５００Åのときの投影像をそれぞれ示す。

【発明を実施するための形態】

【0023】

（実施形態）
以下、本発明の実施形態について、図面を参照しつつ詳細に説明する。なお、実施形態の説明の全体を通じて同じ要素には同じ符号が付されている。

【0024】

（第１の実施形態）
第１の実施形態に係る粒子画像抽出装置１００について、説明する。粒子画像抽出装置１００は、事前知識に基づいて粒子の初期抽出領域を決定して粒子画像を抽出する初期抽出領域決定処理を行い、抽出された粒子画像を基に２次元画像分類処理を行い、各分類の２次元平均像が画像の中心付近に写っている２次元平均像の平均像選択処理を行い、必要に応じて、選択された２次元平均像の位置と２次元平均像を計算するために用いた粒子画像内の抽出粒子の位置に基づいて抽出粒子画像の抽出位置補正処理を行い、以降、２次元画像分類処理、２次元平均像の平均像選択処理、抽出位置補正処理を繰り返し、最終的に選択された２次元平均像を自動粒子抽出処理のテンプレートとして、粒子画像を抽出する。

【0025】

なお、粒子の初期抽出領域を決定する際に、特別な事前知識がない場合は、電顕画像から一定間隔で粒子抽出領域をずらしながら格子状に粒子を抽出する。一方、例えば電顕画像の中央付近に粒子が集りやすいなどの事前知識がある場合は、中央付近からより多く粒子を抽出する。

【0026】

上記した処理を実行するため、粒子画像抽出装置１００は、図１に示されるように、初期抽出領域決定部１０２と、２次元画像分類部１０３と、平均像選択部１０４と、抽出位置補正部１０５と、終了判定部１０６と、自動粒子抽出部１０７とを備える。

【0027】

初期抽出領域決定部１０２は、透過型の電子顕微鏡１０１により撮影された電顕画像１０を使って、粒子の抽出領域の初期位置すなわち初期抽出領域を決定し、粒子画像１１を抽出する。２次元画像分類部１０３は、抽出された粒子画像１１を基に２次元画像分類を行い、分類された各分類（以降、クラスという場合がある）ごとの平均画像１２、クラスラベル１７を作成する。平均像選択部１０４は、平均画像１２から粒子が中心付近に写っている２次元平均像を選択し、選択平均画像１３と、選択平均画像１３を生成する際に用いた選択粒子画像１４を出力する。

【0028】

抽出位置補正部１０５は、選択した選択粒子画像１４の抽出位置に対し、選択平均画像１３の重心位置と、選択粒子画像１４内の粒子の位置を使用して選択粒子画像１４の抽出位置の補正を行い、補正された抽出位置を使って粒子画像１１を再度抽出する。抽出位置の補正を行った粒子画像１１を入力として、再度、２次元画像分類部１０３により２次元画像分類処理を行い、以降、平均像選択部１０４での平均像選択処理、抽出位置補正部１０５での抽出位置補正処理を繰り返す。終了判定部１０６は、これらの２次元画像分類処理、平均像選択処理、抽出位置補正処理を繰り返すか、終了するかを判定する。反復を終了する場合は、選択平均画像１３をテンプレート１５として出力する。自動粒子抽出部１０７は、テンプレート１５を使って、電顕画像１０から粒子を抽出し、最終的に選択された粒子画像１６を出力する。

【0029】

次に、各部の詳細について説明する。初期抽出領域決定部１０２は、前述のとおり、初期抽出領域を決定し、粒子画像１１を抽出する。詳しくは図２に示されるように、初期抽出領域決定部１０２では、電顕画像１０の抽出範囲１１１において、抽出位置１１３を抽出範囲１１１内に格子状に配置し、抽出位置１１３と抽出サイズ１１４により決まる抽出領域を切り出すことで、粒子画像１１が生成される。具体的には、抽出位置１１３（e_x, e_y）は、下記の数式１によって求められる。式中、strideは移動幅１１２、（r_x, r_y）は抽出範囲１１１の開始位置、（W_r, H_r）は抽出範囲１１１のサイズ、（B_x, B_y）は抽出サイズ１１４を表し、あらかじめユーザによって与えられる。実際の電顕画像１０に初期抽出領域を描画した例は、図３に示されるとおりである。

【0030】

【数1】

【0031】

なお、初期抽出領域の決定はこれに限られるものではない。例えば、電顕画像１０上の２次元確率分布p(x, y)を定義し、定義した確率分布に従って抽出置１１３をサンプリングして決めてもよい。定義する確率分布としては、例えばガウス分布や一様分布などが考えられる。

【0032】

２次元画像分類部１０３は、粒子画像１１を分類する。本発明の第１の実施形態では分類の方法は問わないが、例えば、画像分類の方法として、混合ガウスモデル（GMM; Gaussian Mixture Model）やＫ平均法（K-means method）などがある。このとき、抽出粒子の中心位置と回転方向も推定する。さらに、２次元画像分類部１０３は、分類したクラスごとに２次元平均像を生成する。２次元平均像を生成するときは、推定した中心位置、回転方向を合わせてから平均画像１２を作成する。その際には、中心位置、回転方向の一番確率の高いところのみを使って２次元平均像を作成してもよいし、確率を重みにして２次元平均像を作成してもよい。実際に生成した２次元平均像の例は、図４に示されるとおりである。

【0033】

平均像選択部１０４は、前述のとおり、粒子が写っている２次元平均像を選択し、選択平均画像１３と、選択平均画像１３を生成する際に用いた選択粒子画像１４を出力する。詳しくは図５に示されるように、平均像選択部１０４は、特徴量抽出部１２０と、識別器１２１と、選択部１２２とを備える。

【0034】

平均像選択部１０４は、事前に識別器１２１を学習させておき、得られた学習パラメータ１２３を使用する。識別器１２１は、特に限定されないが、例えば、サポートベクターマシーン（SVM; Support Vector Machine）、ランダムフォレスト（Random Forests）などがある。特徴量抽出部１２０は、入力された平均画像１２について、画像の平均値、分散値を特徴量１２５として出力する。識別器１２１は、入力された特徴量１２５に対し、判定ラベル１２８を付与する。判定ラベル１２８は、入力した平均画像１２に粒子が写っていると判定された場合は１を、写っていないと判定された場合は０となる値である。選択部１２２は、判定ラベル１２８から、粒子画像１１、平均画像１２，クラスラベル１７を基に、選択平均画像１３，選択粒子画像１４を選択して出力する。クラスラベル１７は、粒子画像１１がどのクラスに属しているかを表すラベルである。

【0035】

ここで、識別器１２１の学習は、図６に示されるように、あらかじめラベル付けした学習データ１２４としての粒子画像１２６、ラベルデータ１２７を使用して、学習データ１２４の特徴量１２５を特徴量抽出部１２０で抽出し、これをもって識別器１２１を学習させることによって行い、識別器１２１は、学習の結果を学習パラメータ１２３として出力する。ラベル付けは粒子が写っているものを陽性（ポジティブ）、粒子が写っていないもの、又は不鮮明なものを陰性（ネガティブ）として、ラベル付けを行う。ラベル付けを行った例は、図７に示されるとおりある。

【0036】

なお、上記では、特徴量抽出部１２０と識別器１２１を各別に構成した例を示したが、ニューラルネットワークによって、平均画像１２を直接入力して識別するようにしてもよい。

【0037】

また、上記では、機械学習を使った判別方法を示したが、判別方法はこれに限定されるものではない。例えば、粒子が写っている２次元平均像の選択を手動で行ってもよい。

【0038】

抽出位置補正部１０５は、前述のとおり、選択した選択粒子画像１４の抽出位置に対し、選択平均画像１３の重心位置と、選択粒子画像１４内の粒子の位置を使用して選択粒子画像１４の抽出位置の補正を行い、補正された抽出位置を使って粒子画像１１を再度抽出する。詳しくは図８に示されるように、抽出位置補正部１０５では、選択した選択粒子画像１４の抽出位置１３３（e_x, e_y）に対し、下記の数式２により、選択粒子画像１４の抽出位置の補正後の位置（x, y）を求める。式中、（g_x, g_y）は選択平均画像１３内の２次元平均像１３２の重心位置１３１、（c_x, c_y）は選択平均画像１３内の２次元平均像１３２の中心位置１３０、（o_x, o_y）は選択粒子画像１４のオフセット１３４、θは回転角１３５を表す。さらに、求めた補正位置（x, y）を使って、粒子画像の抽出を行う。実際の２次元平均像から重心位置を計算した結果は、図９に示されるとおりである。この抽出位置補正処理は、この後に行われる２次元分類処理によって出力される２次元平均像から求められる重心位置が平均画像の中心位置に近くなるように行われるものである。

【0039】

【数2】

【0040】

終了判定部１０５は、２次元画像分類処理、平均像選択処理、抽出位置補正処理の繰り返しを終了するかどうか判定する。判定の方法は、すべての選択平均画像１３内の粒子の重心位置と画像の中心位置との差がしきい値以内の場合に繰り返しを終了する。また、別の判定条件として、選択平均画像１３の枚数が、前回の繰り返しのときの枚数と変化が無いという条件を加えてもよい。さらに、平均像選択処理の際に計算した特徴量を使ってもよい。例えば、すべての選択平均画像１３の分散値がしきい値以上という条件を加えることで、より粒子のコントラストが大きいとき、すなわち粒子がはっきり写っている平均画像が選択されているときのみ、終了させることができる。図１０は平均画像の例であって、左側は１回目の平均画像を、同じく右側は抽出位置補正部において補正された後に繰り返し処理を行った終了直前の平均画像をそれぞれ示す。

【0041】

自動粒子抽出部１０７は、入力されたテンプレート１５を基に電顕画像１０から最終的に選択された粒子画像１６を抽出する。本実施形態では、粒子画像１６の抽出方法は、テンプレートを使用して行われるもの、いわゆるテンプレートマッチング法であればどのようなものでもよい。

【0042】

また、粒子画像抽出装置１００は、変形例として、図１１に示されるように、自動粒子抽出部１０７で抽出された粒子画像１６を粒子画像１１として、２次元画像分類処理、平均像選択処理、抽出位置補正処理を繰り返すようにしてもよい。なお、この変形例は、後記する第２の実施形態に係る粒子画像抽出装置２００及び第３の実施形態に係る粒子画像抽出装置３００についても、適用することができる。粒子画像抽出方法及び粒子画像抽出プログラムについても、同様である。

【0043】

上記した第１の実施形態に係る粒子画像抽出装置１００の動作は、次のように粒子画像抽出方法の観点から規定することができる。すなわち、電子顕微鏡により撮影された電顕画像から生体分子が写っている部分を抽出する第１の実施形態に係る粒子画像抽出方法は、生体分子の初期抽出領域を決定して粒子画像を抽出する初期抽出領域決定ステップと、抽出された粒子画像を基に、２次元画像分類により各分類の２次元平均像を生成する２次元画像分類ステップと、生成された各分類の２次元平均像から生体分子が抽出された粒子画像の中心付近に写っている２次元平均像を選択する平均像選択ステップと、選択された２次元平均像の位置と選択された２次元平均像を計算するために用いた抽出された粒子画像内の抽出粒子の位置に基づいて、抽出された粒子画像の抽出位置を補正する抽出位置補正ステップと、を備える。

【0044】

また、上記した第１の実施形態に係る粒子画像抽出装置１００による処理は、次のようにコンピュータに実行させるための粒子画像抽出プログラムの観点から規定することができる。すなわち、電子顕微鏡により撮影された電顕画像から生体分子が写っている部分を抽出する第１の実施形態に係る粒子画像抽出プログラムは、コンピュータに、生体分子の初期抽出領域を決定して粒子画像を抽出する初期抽出領域決定処理と、抽出された粒子画像を基に、２次元画像分類により各分類の２次元平均像を生成する２次元画像分類処理と、生成された各分類の２次元平均像から生体分子が抽出された粒子画像の中心付近に写っている２次元平均像を選択する平均像選択処理と、選択された２次元平均像の位置と選択された２次元平均像を計算するために用いた抽出された粒子画像内の抽出粒子の位置に基づいて、抽出された粒子画像の抽出位置を補正する抽出位置補正処理と、を実行させる。

【0045】

（第２の実施形態）
本発明は、図１に示される第１の実施形態に係る粒子画像抽出装置１００（図１１に示される第１の実施形態の変形例にかかる粒子画像抽出装置１００を含む。以下、同様とする。）の構成によって実現され、電顕画像から生体分子の粒子画像を抽出することができる。しかし、本発明を実現することが可能な構成は、図１に示される構成に限られない。

【0046】

第２の実施形態に係る粒子画像抽出装置２００について、説明する。粒子画像抽出装置２００は、事前知識に基づいて粒子の初期抽出領域を決定して粒子画像を抽出する初期抽出領域決定処理を行い、抽出された粒子画像を基に２次元画像分類処理を行い、各分類の２次元平均像が画像の中心付近に写っている２次元平均像の平均像選択処理を行い、必要に応じて、同一分類内の抽出した粒子画像同士の距離を計算して距離に応じて重複画像を取り除く重複粒子画像除去処理を行い、選択された２次元平均像の位置と２次元平均像を計算するために用いた粒子画像内の抽出粒子の位置に基づいて抽出粒子画像の抽出位置補正処理を行い、補正後の粒子画像の近傍をさらに抽出する近傍抽出処理を行い、以降、２次元画像分類処理、２次元平均像の平均像選択処理、重複粒子画像除去処理、抽出位置補正処理、近傍抽出処理を繰り返し、最終的に選択された２次元平均像を自動粒子抽出処理のテンプレートとして、粒子画像を抽出する。

【0047】

粒子画像抽出装置２００は、第１の実施形態に係る粒子画像抽出装置１００に対し、重複粒子画像除去処理及び近傍抽出処理を加えた点で異なっており、図１２に示されるように、重複粒子画像除去部２０１と、近傍抽出部２０２とを更に備える。そのほかの構成は、粒子画像抽出装置１００と同様である。

【0048】

重複粒子画像除去部２０１は、抽出位置補正処理を行う前に、重複粒子画像を除去するものであり、同一分類（クラス）内の抽出された粒子画像同士の距離を計算し、距離に応じて重複画像を除去する。除去粒子決定処理の流れは、図１３に示されるフローチャートのとおりである。最初にチェックするクラス番号を取得し（ステップＳ２２０）、次に取得したクラス番号に属する未チェックの粒子番号を取得する（ステップＳ２２１）。取得した粒子番号の粒子と、残りの取得したクラス番号に属する粒子の距離を計算する（ステップＳ２２２）。計算した粒子間距離に基づいて、取得した粒子番号の粒子の近傍にある粒子を選択する（ステップＳ２２３）。近傍かどうかはユーザによりあらかじめ指定されたしきい値により判定する。

【0049】

取得した粒子番号の粒子及び近傍にある粒子のオフセットが、ユーザによりあらかじめ指定されたしきい値以上の粒子を除去粒子とする（ステップＳ２２４）。これは２次元平均像と粒子を同じ画像上に配置したときに距離が遠いものを除去していることになる。ステップＳ２２１からステップＳ２２４までの処理を取得したクラス番号に属する全粒子に対して行う（ステップＳ２２５）。さらに、ステップＳ２２１からステップＳ２２５までの処理を全クラスに対して行い（ステップＳ２２６）、除去粒子を決定する。重複粒子画像除去部２０１は、決定された除去粒子を選択粒子画像１４から取り除いて出力する。

【0050】

図１３は一例であり、重複粒子画像を除去する方法はこれに限定されるものではなく、同一クラス内に属した、極端に距離の近い粒子画像を排除できるものであればどのような方法でもよい。

【0051】

近傍抽出部２０２は、抽出位置補正処理を行った後に、補正された粒子画像の近傍を抽出する。近傍抽出部２０２は、図１４に示されるように、入力された抽出位置２１０（e_x, e_y）の近傍を、あらかじめユーザによって指定されたステップ幅２１１stepに従って近傍抽出位置２１２（nx_i, ny_i）を数式３のように計算する。図１４は、近傍８箇所を抽出した例であるが、近傍抽出部２０２の処理はこれに限定されるものではない。例えば、抽出位置２１０を中心とするガウス分布を定義し、定義したガウス分布からサンプリングした位置を近傍抽出位置２１２としてもよい。また、近傍抽出部２０２による抽出処理は、常に行う必要はなく、例えば抽出粒子数がしきい値以下のときに行うとしてもよい。図１５は、近傍粒子領域を電顕画像に描画した例である。

【0052】

【数3】

【0053】

上記した第２の実施形態に係る粒子画像抽出装置２００の動作は、次のように粒子画像抽出方法の観点から整理することができる。すなわち、第２の実施形態に係る粒子画像抽出方法は、第１の実施形態に係る粒子画像抽出方法に加えて、同一分類内の抽出された粒子画像同士の距離を計算し、距離に応じて重複粒子画像を除去する重複粒子画像除去ステップを更に備える。また、補正された粒子画像の近傍を抽出する近傍抽出ステップと、を更に備えてもよい。

【0054】

また、上記した第２の実施形態に係る粒子画像抽出装置２００による処理は、次のようにコンピュータに実行させるための粒子画像抽出プログラムの観点から規定することができる。すなわち、第２の実施形態に係る粒子画像抽出プログラムは、第１の実施形態に係る粒子画像抽出プログラムに加えて、コンピュータに、同一分類内の抽出された粒子画像同士の距離を計算し、距離に応じて重複粒子画像を除去する重複粒子画像除去処理を更に実行させる。また、補正された粒子画像の近傍を抽出する近傍抽出処理を更に実行させてもよい。

【0055】

（第３の実施形態）
本発明は、図１に示す第１の実施形態に係る粒子画像抽出装置１００（又は、第１の実施形態の変形例にかかる粒子画像抽出装置。以下、同様とする。）又は図１２に示す第２の実施形態に係る粒子画像抽出装置２００の構成によって実現され、電顕画像から生体分子の粒子画像を抽出することができる。しかし、本発明を実現することが可能な構成は、図１及び図１２に示される構成に限られない。

【0056】

第３の実施形態に係る粒子画像抽出装置３００について、説明する。粒子画像抽出装置３００は、電顕画像から粒子を抽出する抽出領域マップを決定する抽出領域マップ決定処理を行い、決定された抽出領域マップから事前知識に基づいて粒子の初期抽出領域を決定して粒子画像を抽出する初期抽出領域決定処理を行い、抽出された粒子画像を基に２次元画像分類処理を行い、各分類の２次元平均像が画像の中心付近に写っている２次元平均像の平均像選択処理を行い、必要に応じて、同一分類内の抽出した粒子画像同士の距離を計算して距離に応じて重複画像を取り除く重複粒子画像除去処理を行い、選択された２次元平均像の位置と２次元平均像を計算するために用いた粒子画像内の抽出粒子の位置に基づいて抽出粒子画像の抽出位置補正処理を行い、補正後の粒子画像の近傍をさらに抽出する近傍抽出処理を行い、以降、２次元画像分類処理、２次元平均像の平均像選択処理、重複粒子画像除去処理、抽出位置補正処理、近傍抽出処理を繰り返し、最終的に選択された２次元平均像を自動粒子抽出処理のテンプレートとして、粒子画像を抽出する。

【0057】

粒子画像抽出装置３００は、第２の実施形態に係る粒子画像抽出装置２００に対し、抽出領域マップ決定処理を加えた点で異なっており、図１６に示されるように、抽出領域マップ決定部３０１を更に備える。

【0058】

電顕画像には構造解析を行いたい粒子の他に、氷、霜などの不純物が写っている場合が多い。そのような不純物が粒子画像１１に含まれると、最終的に推定される３次元構造の分解能が低くなる。抽出領域マップ決定部３０１は、あらかじめ不純物と思われる領域を除外して粒子を抽出するための抽出領域マップを生成する。

【0059】

図１８は、電顕画像に不純物が写っている例である。不純物は一般的に厚みがあり、比較的サイズが大きいという特徴がある。逆に生体分子はコントラストが小さく、特に本特許の目的とするデフォーカスが小さい条件で撮影した場合には、よりコントラストが小さくなる。すなわち不純物は、生体分子と比べた場合に目立ちやすいという特徴がある。

【0060】

画像中から目立つ領域を検出する手法に顕著性領域検出があり、顕著性検出により出力される顕著領域を表した画像は顕著性マップと呼ばれる。本発明では、顕著性領域を検出し、顕著領域以外の領域から粒子を抽出する。

【0061】

図１７は、抽出領域マップ決定部３０１の処理を説明するためのブロック図である。抽出領域マップ決定部３０１は、初期抽出領域決定部１０２によって粒子が抽出される領域を指定する抽出領域マップ３０２を生成する。まず電顕画像１０に低周波フィルタ３１０を適用し、高周波成分をカットする。これはノイズを除去するために行われる。当然のことながらノイズ成分を除去するものであれば何でもよく、バンドパスフィルタを用いてもよい。

【0062】

次に、顕著領域検出部３１１により顕著性マップ３１４を生成する。本発明では顕著領域を検出するものであればどのような手法でもよく、例えば、非特許文献３のような手法がある。次に、二値化処理部３１２により、二値画像３１５を生成する。二値化処理は、固定しきい値を使用したものや、適応的にしきい値を決定する方法がある。次に二値画像３１５を膨張処理部３１３により膨張させ、抽出領域マップ３０２として出力する。膨張処理はマップの抜けや欠けを防ぐために行われる。

【0063】

抽出領域マップ決定処理の例を図１９から図２３に示す。図１９は、図１８に示した電顕画像に顕著領域検出を実施し生成された顕著性マップ３１４である。図２０は、図１９を二値化処理した二値画像３１５の例である。図２１は、図２０を膨張処理した抽出領域マップ３０２の例である。図２２は、図１８の電顕画像に図２２の抽出領域マップ３０２を重ね合わせて表示したものである。図２３は、抽出領域マップ３０２に従って、粒子を抽出した例である。なお、ここでは、抽出領域マップの生成に、顕著性マップを使用する方法を示したが、抽出領域マップの生成方法はこれに限られるものではない。例えば、本発明の手法又は別の手法により生成した、自動粒子抽出処理のテンプレートを使用して、抽出した粒子位置を基に、テンプレートにより抽出された粒子の領域を、抽出領域マップとして使用してもよい。これにより、粒子が抽出された場所以外から重点的に粒子抽出を行うことができる。

【0064】

上記した第３の実施形態に係る粒子画像抽出装置３００の動作は、次のように粒子画像抽出方法の観点から規定することができる。すなわち、第３の実施形態に係る粒子画像抽出方法は、第１又は第２の実施形態に係る粒子画像抽出方法に加えて、電顕画像から粒子を抽出する抽出領域マップを決定する抽出領域マップ決定ステップを更に備える。

【0065】

また、上記した第３の実施形態に係る粒子画像抽出装置３００による処理は、次のように粒子画像抽出プログラムとしてコンピュータに実行させることができる。すなわち、第３の実施形態に係る粒子画像抽出プログラムは、第１又は第２の実施形態に係る粒子画像抽出プログラムに加えて、コンピュータに、電顕画像から粒子を抽出する抽出領域マップを決定する抽出領域マップ決定処理を更に実行させる。

【0066】

（実施形態の効果）
以上、説明した実施形態によって、ユーザによる作業負荷を軽減しつつ、粒子画像のコントラストが極端に低い場合でも、粒子の抽出が行える粒子画像抽出装置、粒子画像抽出方法及び粒子画像抽出プログラムを提供することができる。

【0067】

より具体的には、第１の実施形態によれば、撮影された電顕画像の初期抽出領域を事前知識により決定し、抽出した粒子画像を基に２次元画像分類による２次元平均像を生成し、粒子が写っている２次元平均像を選択することを繰り返すため、デフォーカス量を小さくしたことによる低コントラストな電顕画像においても粒子を抽出することが可能となり、最終的には高分解能な３次元構造の決定が行えるという効果がある。

【0068】

また、第２の実施形態によれば、第１の実施形態の効果に加えて、粒子があるところを重点的に探索することで、効率よく粒子画像抽出ができる。

【0069】

また、第３の実施形態によれば、第１又は第２の実施形態の効果に加えて、氷や霜などの不純物をあらかじめ除去することで効率よく粒子を抽出することができる。さらに、不純物が含まれる粒子画像による、推定３次元構造の分解能低下を防ぐことができる。

【0070】

本開示の好ましい実施形態について詳述したが、本開示は上述した実施形態に限定されるものではなく、特許請求の範囲に記載された本開示の要旨の範囲内において、種々の変形、変更が可能である。

【符号の説明】

【0071】

１００，２００，３００…粒子画像抽出装置
１０１…透過型の電子顕微鏡
１０２…初期抽出領域決定部
１０３…２次元画像分類部
１０４…平均像選択部
１０５…抽出位置補正部
１０６…終了判定部
１０７…自動粒子抽出部
１２０…特徴量抽出部
１２１…識別器
１２２…選択部
１２４…学習データベース
２０１…重複粒子画像除去部
２０２…近傍抽出部
３０１…抽出領域マップ決定部
３１０…低周波フィルタ
３１１…顕著領域検出部
３１２…二値化処理部
３１３…膨張処理部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】