(58)【調査した分野】(Int.Cl.,DB名)
前記画像取得部は、前記第1の部分画像の撮像領域に隣接する領域を撮像した部分画像の中に、試料が存在する部分画像がないときは、前記第2の部分画像として異物が存在する部分画像を取得する請求項1〜3のいずれか1項に記載の情報処理装置。
前記画像取得部は、前記第2の部分画像を取得する際、異物が存在する部分画像と繋ぎ合わされた異物が存在する部分画像は取得対象外とする請求項1〜5のいずれか1項に記載の情報処理装置。
前記画像解析部は、前記全体画像を前記部分画像に対応する複数の領域に分割し、領域毎に試料の存在度合いを示す第1尤度と、異物の存在確率を算出する第2尤度とを算出する請求項7又は8に記載の情報処理装置。
前記画像取得部は、前記第1の部分画像の撮像領域に隣接する領域を撮像した部分画像が、試料及び異物のいずれも存在しない部分画像のみであるときは、前記第2の部分画像として前記部分画像の中から任意の部分画像を取得し、
前記画像合成部は、取得された部分画像の撮像時の位置情報に基づいて前記第1の部分画像に前記第2の部分画像を繋ぎ合わせる請求項1〜10のいずれか1項に記載の情報処理装置。
観察対象領域の一部が撮像された第1の部分画像及び第2の部分画像を、異物が存在する部分画像に対しては試料が存在する部分画像が取得されるように取得する画像取得機能と、
前記部分画像について、異物及び試料の存在の有無を判定する画像解析機能と、
前記第1の部分画像と前記第2の部分画像との繋合位置を調整する繋合位置調整機能と、
前記第1の部分画像と前記第2の部分画像とを繋ぎ合わせる画像合成機能と
を情報処理装置に実行させるプログラム。
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、前述した従来のバーチャル顕微鏡システムでは、マッチング処理において相関関係が高いと判断されたものを基準にして繋ぎ合わせを行っているが、相関関係が高いもの同士の繋ぎ合わせが、必ずしも正確な繋ぎ合わせを実現できるとは限らない。具体的には、部分画像にゴミなどの試料以外の異物が含まれている場合、これらが試料よりも相関関係が高いと判断され、誤った繋ぎ合わせが行われることがある。特に、試料上にカバーガラスの縁部が存在している場合に、この問題が生じやすい。
【0007】
そこで、本開示は、複数のデジタル画像中に異物の画像が存在していても、画像を高精度に繋ぎ合わせて、広視野かつ高解像度の顕微鏡観察画像を合成することが可能な情報処理装置、情報処理方法、プログラム及び顕微鏡システムを提供することを主目的とする。
【課題を解決するための手段】
【0008】
本開示に係る情報処理装置は、観察対象領域の一部が撮像された第1の部分画像及び第2の部分画像を取得する画像取得部と、前記第1の部分画像と前記第2の部分画像との繋合位置を調整する繋合位置調整部と、を有し、前記画像取得部は、前記第1の部分画像に異物が存在するときは、前記第2の部分画像として試料が存在する部分画像を取得する。
本開示の情報処理装置では、観察対象領域に異物が存在していても、異物の部分画像を試料の部分画像と優先的に繋ぎ合わせる処理を行う。これにより、繋ぎ合わせ処理時に繋ぎ合わせ位置のずれを防止できるため、繋ぎ合わせ精度が向上する。
この情報処理装置には、観察対象領域全体を、前記部分画像よりも低倍率で撮像した全体画像に基づいて、前記部分画像の撮像順序を作成する撮像順序生成部が設けられていてもよく、前記撮像順序生成部は、複数の領域に分割された前記全体画像の第1の領域に異物が存在するときは、前記第1の領域の次に撮像される第2の領域として試料が存在する領域を選択し、前記画像取得部は、前記撮像順序生成部で作成された撮像順序に従って、前記第1の部分画像及び前記第2の部分画像を取得してもよい。
また、前記画像取得部が、観察対象領域の一部が撮像された複数の部分画像から、前記第1の部分画像に繋ぎ合わせる前記第2の部分画像を取得し、前記繋合位置調整部が、前記第1の部分画像に対し、前記第2の部分画像の繋合位置を調整してもよい。
また、前記画像取得部は、前記第2の部分画像として異物が存在しない部分画像を取得してもよい。
また、前記画像取得部は、前記第1の部分画像の撮像領域に隣接する領域を撮像した部分画像の中に、試料が存在する部分画像がないときは、前記第2の部分画像として異物が存在する部分画像を取得してもよい。
また、前記画像取得部は、前記第2の部分画像を取得する際、異物が存在する部分画像と繋ぎ合わされた異物が存在する部分画像を取得対象外としてもよい。
また、この情報処理装置には、前記部分画像について、異物及び試料の存在の有無を判定する画像解析部が設けられていてもよい。
また、前記画像解析部は、前記全体画像の前記領域毎に異物及び試料の存在の有無を判定し、その結果に基づいて対応する部分画像の判定を行うことができる。
その場合、前記画像解析部は、同視野で撮像条件が異なる2種類の全体画像を用いて、異物及び試料の存在の有無を判定してもよい。
また、前記画像解析部は、前記全体画像の各領域について試料の存在度合いを示す第1尤度と、異物の存在確率を算出する第2尤度とを算出してもよい。
その場合、前記画像解析部は、前記第1尤度及び前記第2尤度に基づいて試料及び異物の存在情報を示す存在マップを作成することもできる。
更に、この情報処理装置には、前記第1の部分画像と前記第2の部分画像とを繋ぎ合わせる画像合成部が設けられていてもよい。
その場合、前記画像取得部は、前記第1の部分画像の撮像領域に隣接する領域を撮像した部分画像が、試料及び異物のいずれも存在しない部分画像のみであるときは、前記第2の画像として前記部分画像の中から任意の部分画像を取得し、前記画像合成部は、取得された部分画像の撮像時の位置情報に基づいて前記第1の部分画像に前記第2の部分画像を繋ぎ合わせてもよい。
更に、前記画像取得部は、前記第2の部分画像を取得する際、前記位置情報に基づいて繋ぎ合わされた部分画像は取得対象外としてもよい。
【0009】
本開示に係る情報処理方法は、画像取得部によって、観察対象領域の一部が撮像された第1の部分画像及び第2の部分画像を取得する画像取得工程と、繋合位置調整部によって、前記第1の部分画像と前記第2の部分画像との繋合位置を調整する繋合位置調整工程と、を有し、前記画像取得工程では、前記第1の部分画像に異物が存在するときは、前記第2の部分画像として試料が存在する部分画像を取得する。
【0010】
本開示に係るプログラムは、第1の部分画像及び第2の部分画像を、異物が存在する部分画像に対しては試料が存在する部分画像が取得されるように取得する画像取得機能と、前記第1の部分画像と前記第2の部分画像との繋合位置を調整する繋合位置調整機能と、を情報処理装置に実行させる。
【0011】
本開示に係る顕微鏡システムは、観察対象領域全体を撮像する全体画像撮像部と、前記観察対象領域の一部を前記全体画像よりも高倍率で撮像する部分画像撮像部とを少なくとも備える顕微鏡装置と、前記顕微鏡装置を制御すると共に、前記顕微鏡装置で撮像された各画像を処理する情報処理装置と、を少なくとも備え、前記情報処理装置には、観察対象領域の一部が撮像された第1の部分画像及び第2の部分画像を取得する画像取得部と、前記第1の部分画像と前記第2の部分画像との繋合位置を調整する繋合位置調整部と、が設けられており、前記画像取得部は、前記第1の部分画像に異物が存在するときは、前記第2の部分画像として試料が存在する部分画像を取得する。
【発明の効果】
【0012】
本開示によれば、異物の画像が存在していても、繋ぎ合わせ位置のずれを防止するため、多数の部分画像を高精度に繋ぎ合わせて、広視野かつ高解像度の顕微鏡観察画像を合成することができる。
【発明を実施するための形態】
【0014】
以下、本開示を実施するための形態について、添付の図面を参照して詳細に説明する。なお、本開示は、以下に示す各実施形態に限定されるものではない。また、説明は、以下の順序で行う。
1.第1の実施の形態
(異物が存在する画像を試料が存在する画像に優先的に繋合するシステムの例)
2.第2の実施の形態
(撮像シーケンスを作成するシステムの例)
【0015】
<1.第1の実施の形態>
[顕微鏡システムの構成]
先ず、本開示の第1の実施形態に係るバーチャル顕微鏡システムについて説明する。
図1は本実施形態の顕微鏡システムの概要を示す図である。本実施形態の顕微鏡システムは、各種プレパラート標本を高倍率で撮像して観察するものであり、
図1に示すように、デジタル顕微鏡1と情報処理装置2とを少なくとも備える。
【0016】
この情報処理装置2には、観察対象領域の一部が撮像された第1の部分画像及び第2の部分画像を取得する画像取得部233と、第1の部分画像と第2の部分画像との繋合位置を調整する繋合位置調整部234とが少なくとも設けられている。そして、画像取得部233では、第1の部分画像に異物が存在するときは、第2の部分画像として試料が存在する部分画像を優先的に取得する。
【0017】
また、本実施形態の顕微鏡システムには、サーバ3及び/又は画像表示装置4が設けられていてもよい。その場合、情報処理装置2、サーバ3及び画像表示装置4は、直接接続することもできるが、ネットワーク5を介して相互に通信可能に接続することもできる。
【0018】
[デジタル顕微鏡1]
デジタル顕微鏡1は、光源、対物レンズ、撮像素子及びステージなどを備えており、ステージ上に載置されたプレパラート標本に対して所定の照明光を照射し、観察対象物を透過した光や観察対象物から発せられた光などを撮像する。
図2はデジタル顕微鏡1の構成例を示すブロック図である。
図2に示すように、本実施形態の顕微鏡システムが備えるデジタル顕微鏡1には、全体画像撮像部11と部分画像撮像部12とが設けられている。
【0019】
全体画像撮像部11は、光源、低倍率の対物レンズ及び低解像度の撮像素子などで構成されており、ステージ上に載置されたプレパラート標本の観察対象領域全体を、低倍率かつ低解像度で撮影する。このとき、全体画像撮像部11において、同視野で撮像条件が異なる2種類の全体画像を撮像する。その場合、例えば、全体画像撮像部11には、明視野照明光を照射する光源及び暗視野照明光を照射する光源の2種類の光源を設ける。また、全体画像撮像部11には、明視野画像を取得すべきモード又は暗視野画像を取得すべきモードのどちらを実行するかを判断する照明制御部が設けられていてもよい。この照明制御部は、各モードに応じたパラメータを光源に対して設定し、光源から、各モードに適した照明光を照射させることができる。
【0020】
全体画像撮像部11では、明視野照明を用いる場合、例えば、試料が載置されたプレパラートの下方(プレパラートに対して撮像素子と反対側)からプレパラートに光を照射することができる。これにより、光を透過する部分についてはプレパラート上にある、試料及びカバーガラスなどの異物の画像を取得することができる。
【0021】
一方で、全体画像撮像部11では、暗視野照明を用いる場合、例えば、上方側からプレパラートが照明される。このとき、撮像素子により撮像された画像からは、プレパラートにおいて光が散乱された部分の情報を取得することができる。光の散乱は、例えばカバーガラスの縁部等で生ずるので、暗視野画像には、例えばプレパラート上の試料を覆うように載置されたカバーガラスの縁部が白く現れる。これにより、全体画像撮像部11では、カバーガラスの縁部を際立たせた画像を取得することができる。このように、全体画像撮像部11では、明視野画像及び暗視野画像の2種類の全体画像を取得することができる。
【0022】
また、部分画像撮像部12は、光源、全体画像撮像部11よりも高倍率の対物レンズ及び高解像度の撮像素子などで構成されており、ステージ上に載置されたプレパラート標本の観察対象領域の一部を、高倍率かつ高解像度で撮影する。即ち、デジタル顕微鏡1では、低解像度の全体画像(サムネイル画像)と、全体画像よりも高解像度の部分画像(スライド画像)が撮像される。
【0023】
また、デジタル顕微鏡1には、全体画像撮像部11及び部分画像撮像部12による撮像処理を制御する撮像装置コントローラ13や、情報処理装置2と接続するための入出力インターフェイス部14などが設けられていてもよい。入出力インターフェイス部14を設けることで、情報処理装置2からの制御コマンドの入力や、情報処理装置2に対する全体画像撮像部11及び部分画像撮像部12で撮像された各画像データの出力が可能となる。
【0024】
[情報処理装置2]
図3は情報処理装置2の構成例を示すブロック図である。情報処理装置2は、デジタル顕微鏡1で撮像された各画像を処理する画像処理部23を備えている。また、情報処理装置2には、CPU(Central Processing Unit)21、メモリ22、画像合成部24、入出力インターフェイス部25及びハードディスク26などが設けられていてもよい。
【0025】
(画像処理部23)
図4は画像処理部23の構成例を示すブロック図である。
図4に示すように、画像処理部23には、観察対象領域全体を撮像した全体画像(サムネイル画像)を解析する画像解析部232が設けられていてよい。
【0026】
この画像解析部232では、観察対象領域全体を撮像した全体画像の領域毎に異物及び試料が存在するか否かを判断する。例えば、画像解析部232では、同視野で撮像条件が異なる2種類の全体画像の夫々を複数の領域に分割し、その2種類の全体画像を比較することで、異物及び試料が存在するか否かを判断することができる。なお、ここでいう「異物」とは、試料を覆うカバーガラスの縁部又は試料に混入したゴミ等を指し、画像解析部232により、部分画像中における異物の存在の有無が判定される。
【0027】
画像解析部232において観察対象物が存在するか否かを判断する方法は、特に限定されるものではないが、例えば領域毎に異物及び試料が存在する可能性を示す尤度を算出する方法を採用することができる。なお、ここでいう「尤度」には、観察対象物の存在確率だけでなく、存在の有無の概念も含む。
【0028】
より具体的には、尤度は、例えば、全体画像のうち、明視野画像の各領域を、観察対象物が存在している領域(レベル2)、観察対象物が存在しているかもしれない領域(レベル1)、観察対象物が存在していない領域(レベル0)の3段階に分類できる。また、例えば、全体画像のうち、暗視野画像の各領域を、異物が存在している領域(レベル1)、異物が存在していない領域(レベル0)の2段階に分類できる。画像解析部232では、この明視野画像及び暗視野画像の尤度を比較することにより、試料及び異物の存在を判断することができる。
【0029】
また、画像処理部23には、観察対象領域の一部が撮像された第1の部分画像及び第2の部分画像を取得する画像取得部233が設けられている。例えば、画像取得部233は、観察対象領域の一部が撮像された複数の部分画像から、第1の部分画像に繋ぎ合わせる部分画像として第2の部分画像を取得することができる。この画像取得部233では、その第1の部分画像に異物が存在するときは、第2の部分画像として試料が存在する部分画像を優先的に取得する。
【0030】
また、画像処理部23には、繋合位置調整部234が設けられる。この繋合位置調整部234では、画像取得部233により選択された繋ぎ合わせる部分画像同士の繋ぎ合わせ位置の調整(マッチング処理)をする。
【0031】
繋合位置調整部234で繋ぎ合わせ位置を調整する方法は、特に限定されないが、例えば夫々の部分画像に繋ぎ合わせる領域(のりしろ領域)の複数の画素ごとの輝度値が算出され、その輝度値に基づいて自己相関関数が算出されることで行われる。また、重なる領域の画素ごとに輝度値の差の自乗が算出されることで繋ぎ合わせ位置が調整されてもよい。その他、画像のパターンマッチングに利用される各種アルゴリズムが利用可能である。
【0032】
(CPU21)
CPU21は、情報処理装置2に設けられた各部を統括的に制御するものであり、例えば前述した画像処理部23などを統括的に制御するプログラムを実行する。また、CPU21は情報処理装置2の各部で実行される演算処理を行ったり、画像のエンコードや後述する画像合成部24で実行される部分画像のパターンマッチング処理などを行うこともできる。
【0033】
(メモリ22)
メモリ22は、CPU21の作業領域として用いられ、デジタル顕微鏡1で撮影され入出力インターフェイス部25から入力された部分画像(スライド画像)や全体画像(サムネイル画像)などを一時的に記憶する。
【0034】
(画像合成部24)
画像合成部24では、デジタル顕微鏡1で撮像された複数の部分画像(スライド画像)を繋ぎ合わせて、高倍率かつ高解像度の広視野顕微鏡観察画像を合成する。この画像合成部24には、入出力インターフェイス部25を介して、部分画像(スライド画像)が順次入力される。そして、部分画像(スライド画像)は、撮像順にマッチング処理が行われ、その結果に基づいて繋ぎ合わせ(スティッチング)処理される。
【0035】
ここで、本実施形態の顕微鏡システムでは、異物が存在する部分画像が存在するときは、その異物が存在する部分画像に繋ぎ合わせる部分画像として、試料が存在する画像が優先的に取得される。これにより、異物が存在する部分画像同士を繋ぎ合わせることを抑制するため、繋ぎ合わせ位置のずれを防止し、繋ぎ合わせ精度が向上する。
【0036】
(ハードディスク26)
ハードディスク26には、例えば画像処理部23での処理結果(各領域の尤度、存在レベル、存在マップ、撮像順序など)や画像合成部24で合成された広視野顕微鏡観察画像などが記憶される。
【0037】
なお、これらのデータの一部又は全部は、ネットワーク5上のサーバ3に記憶することもできる。その場合、情報処理装置2に、サーバ3との接続用インターフェイス(図示せず)を設け、ネットワーク5を介して相互に通信可能とすればよい。
【0038】
また、前述した情報処理装置2の各機能を実現するためのコンピュータプログラムを作成し、パーソナルコンピュータなどに実装することが可能である。このようなコンピュータプログラムは、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどの記録媒体に格納されていてもよく、また、ネットワークを介して配信することもできる。
【0039】
[サーバ3]
サーバ3は、情報処理装置2からアップロードされた各種データを管理し、要求に応じて画像表示装置4や情報処理装置2に出力する。また、サーバ3は、画像表示装置4で閲覧可能な画像について、画像表示装置4のユーザのためのGUI(Graphical User Interface)を生成する。
【0040】
[画像表示装置4]
画像表示装置4は、サーバ3又は情報処理装置2から出力された部分画像(スライド画像)や複数の部分画像(スライド画像)を合成した広視野顕微鏡観察画像を表示する。例えば、プレパラート標本が病理標本である場合は、画像表示装置4のユーザ(画像の閲覧者)は医師などであり、表示された画像に基づいて病理診断を行う。
【0041】
[ネットワーク5]
ネットワーク5は、情報処理装置2、サーバ3及び画像表示装置4を、互いに双方向通信可能に接続する通信回線網である。このネットワーク5は、例えば、インターネット、電話回線網、衛星通信網、同報通信路などの公衆回線網や、WAN(Wide Area Network)、LAN(Local Area Network)、IP−VPN(Internet Protocol−Virtual Private Network)、Ethernet(登録商標)、ワイヤレスLANなどの専用回線網などで構成されており、有線か無線かは問わない。また、このネットワーク5は、本実施形態の顕微鏡システムに専用に設けられた通信回線網であってもよい。
【0042】
[動作]
次に、本実施形態の顕微鏡システムの動作の一例について説明する。
図5は本実施形態の顕微鏡システムの全体動作の概要を示すフローチャート図である。
【0043】
図5に示すように、本実施形態の顕微鏡システムにより対象物の顕微鏡観察をする場合は、先ず、デジタル顕微鏡1の全体画像撮像部11が、ステージ上に載置されたプレパラート標本の観察対象領域全体を、低倍率かつ低解像度で撮影する(ステップS1a)。このステップS1aで撮像された全体画像(明視野画像)は、デジタル顕微鏡1のインターフェイス14から出力され、情報処理装置2のインターフェイス25を介して、画像処理部23に入力される。
【0044】
そして、画像処理部23の画像解析部232において、入力された第1全体画像(サムネイル画像)を複数の領域に分割し、例えば尤度を算出するなどの方法で、領域毎に観察対象物が存在するか否かを判断する(ステップS2a)。例えば、各領域の尤度は、画像認識処理などによって算出することができる。そして、画像解析部232で各領域における尤度に基づいて、観察対象物の存在情報を示す存在マップを作成する(ステップS3a)。
【0045】
また、デジタル顕微鏡1の全体画像撮像部11は、明視野画像と同じ視野であって、観察対象領域の試料を覆うカバーガラスの縁部などの異物を有する全体画像(暗視野画像)を、低倍率かつ低解像度で撮影する(ステップS1b)。このとき、光源等の撮像条件が、上述したステップS1bにおける撮像条件とは異なるため、全体画像撮像部11は、試料及びカバーガラスの縁部などの異物のうち、異物を際立たせて撮影することができる。このステップS1bで撮像された暗視野画像も、デジタル顕微鏡1のインターフェイス14から出力され、情報処理装置2のインターフェイス26を介して、画像処理部23に入力される。
【0046】
そして、ステップS2a及びステップS3aで行われた処理と同様の処理が、ステップS1bで撮像された暗視野画像に対しても行われる(ステップS2b及びステップS3b)。ステップS2bでは、各領域の尤度が、画像認識処理などによって算出される。そして、ステップS3bでは、画像解析部232で各領域における尤度に基づいて、異物の存在情報を示す存在マップを作成する。なお、ステップS2b及びS3bで行われる処理は、ステップS1aで明視野画像が撮像され、ステップS1bで暗視野画像が撮像された後、ステップS2a及びS3aで行われる処理と並行して行うことができる。
【0047】
次に、画像解析部232で、ステップS3aで作成された存在マップをステップS3bで作成された存在マップに基づいて補正する(ステップS4)。
図6及び
図7は、存在マップ作成処理の概要を示す図である。
【0048】
例えば、
図6Aに示すように、まず、全体画像撮像部11が、スライドガラス8上の観察対象物6及び異物(カバーガラスの縁部)7の明視野画像を任意の観察領域9で撮像する。続いて、
図6Bに示すように、画像解析部232では、全体画像の各領域を、尤度に応じて、観察対象物6が存在している領域(レベル2)、観察対象物6が存在しているかもしれない領域(レベル1)、観察対象物6が存在していない領域(レベル0)の3段階に分類する。この段階では、観察対象物6及び異物7の存在する領域の存在レベルは「2」である。
【0049】
次に、
図6Cに示すように、全体画像撮像部11は、異物7を際立たせて撮像できるように、光源などの撮像条件を変更して暗視野画像を撮像する。このとき、異物(カバーガラスの縁部)7の存在する領域の存在レベルは「1」である(
図6Cの○で囲んだ部分)。そして、
図6Dに示すように、画像解析部232では、
図6Bに示す存在マップから
図6Cに示す存在マップを減算することで、存在マップを補正する。これにより、異物7の存在する領域の存在レベルが「1」になる。また、本実施形態の顕微鏡システムでは、異物が存在する部分画像に基づく存在マップの補正処理については、異物がカバーガラスである場合に限られず、
図7に示すようにゴミ等の異物7であっても同様に行われる。
【0050】
なお、本実施形態の顕微鏡システムでは、後述するステップS5で行われる部分画像の撮像処理を行うことができ、ステップS6で行われる部分画像同士の繋ぎ合わせ処理を行うことができれば、存在マップの作成処理方法は、上述したステップS1a、S2a、S3a、S1b、S2b及びS3bで行われる処理方法に限られない。
【0051】
次に、デジタル顕微鏡1の部分画像撮像部12により、部分画像が撮像される(ステップS5)。そして、画像取得部233で、撮像された部分画像の夫々について、繋ぎ合わせる部分画像を取得する(ステップS6)。
図8は部分画像に繋ぎ合わせる画像を取得する流れを示すフローチャート図である。
【0052】
具体的には、
図8に示すように、まず、画像取得部233で、任意の部分画像(第1の部分画像)を取得する(ステップS6−a)。この画像取得部233では、その第1の部分画像に異物が存在するときは、第2の部分画像として試料が存在する部分画像を優先的に取得する(ステップS6−b、S6−c)。このとき、画像取得部233では、第2の部分画像として、第1の部分画像に繋ぎ合わせる部分画像を取得することができる。また、画像取得部233では、第2の部分画像としては、試料が存在し、かつ異物が存在しない部分画像を取得することが好ましい。
【0053】
一方で、画像取得部233では、異物が存在する部分画像の撮像領域に隣接する領域を撮像した部分画像の中に、試料が存在する部分画像がないときは、この異物が存在する部分画像に繋ぎ合わせる部分画像として、異物が存在する部分画像を取得してもよい(ステップS6−d、S6−e)。また、画像取得部233では、第1の部分画像の撮像領域に隣接する領域を撮像した部分画像が、試料及び異物のいずれも存在しない部分画像のみであるときは、任意の部分画像を取得することができる(ステップS6−f)。この場合において、任意の部分画像は、デジタル顕微鏡1のステージ面方向の位置に関する情報に基づいて繋ぎ合わせればよい。
【0054】
また、画像取得部233では、異物が存在する部分画像に繋ぎ合わせる部分画像を取得する際、異物が存在する部分画像と繋ぎ合わされた異物が存在する部分画像や、位置情報に基づいて繋ぎ合わされた異物が存在する部分画像などを取得対象外とすることが好ましい。
【0055】
図9は、
図8に示す処理が実行された存在マップの概要を示す図である。
図9に示すように、
図8に示す処理が行われると、異物(カバーガラスの縁部)7同士を繋ぎ合わせることを防止でき、観察対象物6の存在する画像と異物7の画像とを優先的に繋ぎ合わせることが可能となる。
【0056】
次に、繋合位置調整部234において、繋ぎ合わせる部分画像の繋ぎ合わせ位置を調製する(ステップS7)。
図10は、試料と異物とが混在した状態の概要を示す図である。
図9に示した処理が実行されることで、異物が存在する部分画像は試料が存在する画像と優先的に繋ぎ合うように制御される。そのため、
図10A及び
図10Bに示すように、観察対象物6上にカバーガラスなどの異物7が存在していても、
図10Cに示すような異物が存在する部分画像同士を繋ぎ合わせることにより発生しやすい、繋ぎ合わせ位置のずれを防止できる。
【0057】
次に、部分画像は、順次、情報処理装置2に出力され、画像合成部24において、繋ぎ合わせ処理がされる(ステップS8)。このステップS8で行われる繋ぎ合わせ処理は、前述したステップS7で部分画像の繋ぎ合わせ位置が調整され、繋ぎ合わせ順序(繋合シーケンス)及び部分画像がメモリ22に一旦格納されてから行われてもよい。本実施形態の顕微鏡システムでは、観察対象領域に異物が存在していても、異物が存在する部分画像を試料が存在する部分画像と優先的に繋ぎ合わせる処理を行っているため、繋ぎ合わせ処理時に繋ぎ合わせ位置のずれが発生しにくい。その結果、部分画像を高精度に繋ぎ合わせて、広視野かつ高解像度の顕微鏡観察画像を合成することが可能となる。
【0058】
なお、本実施形態の顕微鏡システムでは、2種類の全体画像として明視野画像及び暗視野画像を用いる場合について説明したが、本開示はかかる例に限定されるものではない。
【0059】
<2.第2の実施の形態>
次に、本開示の第2の実施形態に係る顕微鏡システムについて説明する。
図11は、本実施形態の顕微鏡システムにおける情報処理装置2の構成例を示すブロック図であり、
図12は、その情報処理装置2における画像処理部23の構成例を示すブロック図である。
【0060】
図12に示すように、本実施形態の顕微鏡システムでは、情報処理装置2に、部分画像の撮像順序(撮像シーケンス)を作成する撮像順序生成部235と、第1の部分画像及び第2の部分画像を取得する画像取得部233と、これらの部分画像の繋合位置を調整する繋合位置調整部234とが少なくとも設けられている。そして、撮像順序生成部235で作成された撮像順序(撮像シーケンス)に従って、画像取得部233が第1の部分画像及び第2の部分画像を取得する。
【0061】
また、
図11に示すように、本実施形態の顕微鏡システムでは、情報処理装置2が撮像制御部27を備えている。撮像制御部27は、撮像順序生成部235の作成した撮像順序(撮像シーケンス)に基づいて、デジタル顕微鏡1により部分画像を撮像する際の駆動を制御する。
【0062】
撮像順序生成部235は、例えば、画像解析部232の判断結果に基づいて撮像順序(撮像シーケンス)を作成する。画像解析部232では、前述した第1の実施形態における画像解析部232と同様の方法で、全体画像の領域毎に異物及び試料の存在の有無を判定する。そして、撮像順序生成部235では、異物が存在する可能性が高い領域よりも、観察対象物が存在する可能性がより高い領域が先に撮像され、且つ撮像移動距離がより小さくなるように撮像シーケンスを作成する。なお、撮像順序生成部235は、画像解析部232で算出された尤度、画像解析部232で作成された存在マップに基づいて、撮像順序を作成してもよい。更に、作成された撮像順序(撮像シーケンス)は、インターフェイス231を介して、撮像制御部27に出力される。
【0063】
図13は、本実施形態の顕微鏡システムの全体動作の概要を示すフローチャート図であり、
図14は、その情報処理装置2における処理及びデータの流れを示すシーケンス図である。
【0064】
本実施形態の顕微鏡システムでは、まず、全体画像撮像部11が撮像した第1全体画像及び第2全体画像に基づいて、画像解析部232で、前述した第1の実施形態と同様に、全体画像を複数の領域に分割し、補正した存在マップを作成する(ステップS1a〜S3a、S1b〜S3b、S4)。
【0065】
次に、撮像順序生成部235において、補正した存在マップに基づいて、部分画像の撮像順序(撮像シーケンス)を作成する(ステップS9)。
図15は情報処理装置2による撮像順序作成処理の流れをより詳細に示すフローチャート図である。
図16は撮像順序生成部235において撮像順序を決定する流れを示すフローチャート図である。
図17は撮像順序生成部235で生成された撮像順序を示す図である。
【0066】
図15に示すように、撮像順序(撮像シーケンス)は、例えば、尤度(存在レベル)がより高い領域から撮像し、移動距離がより小さくなるように作成する。
【0067】
その際、本実施形態の顕微鏡システムでは、観察対象領域中に異物が存在している場合、より詳細に撮像順序を作成することができる。具体的には、
図16に示すように、まず、撮像順序生成部235で最初に撮像する領域(第1の領域)を選択する(ステップS9−a)。この撮像順序生成部235では、その第1の領域に異物が存在するときは、第1の領域の次に撮像する領域(第2の領域)として、試料が存在する領域を優先的に選択する(ステップS9−b、S9−c)。また、撮像順序生成部235では、第2の領域としては、試料が存在し、かつ異物が存在しない領域を選択することが好ましい。
【0068】
一方で、撮像順序生成部235では、異物が存在する領域に隣接する領域の中に、試料が存在する領域がないときは、この異物が存在する領域の次に撮像する領域として、異物が存在する領域を選択してもよい(ステップS9−d、S9−e)。また、撮像順序生成部235は、第1の領域の撮像領域に隣接する領域に、試料及び異物のいずれも存在しないときには、任意の領域を第1の領域の次に撮像する領域とすることができる(ステップS9−f)。この場合において、任意の領域は、デジタル顕微鏡1のステージ面方向の位置に関する情報に基づいて決定すればよい。
【0069】
また、撮像順序生成部235では、異物が存在する領域の次に撮像する領域を選択する際、試料及び異物のいずれかが存在する領域として選択された領域や、位置情報に基づいて選択された領域などを選択対象外とすることが好ましい。例えば、
図17Aに示す存在マップが作成された場合、
図17Bに示すような撮像順序が作成される。
【0070】
続いて、
図14に示すように、撮像順序生成部235で作成された撮像順序(撮像シーケンス)は、インターフェイス231を介して撮像制御部27に出力され、撮像制御部27は、撮像順序に基づいてデジタル顕微鏡1の駆動を制御する。そして、本実施形態の顕微鏡システムでは、この撮像順序に基づいて、デジタル顕微鏡1の部分画像撮像部12により、部分画像が撮像される(ステップS5)。
【0071】
次に、画像取得部233により、撮像順序生成部235で作成された撮像順序に従って、第1の部分画像及び第2の部分画像を取得し、繋ぎ合わせ位置の調整や画像合成等を行う(ステップS6〜S8)。このとき、本実施形態の顕微鏡システムでは、第1の領域に異物が存在するときは、第2の領域を試料が存在する領域とする撮像順序が撮像順序生成部235により作成されており、画像取得部233では、その順序に従って撮像された複数の部分画像を取得している。
【0072】
本実施形態の顕微鏡システムでは、観察対象領域に異物が存在していても、異物が存在する領域を試料が存在する領域よりも後に撮像するように撮像順序を作成し、その順に繋ぎ合わせ処理を行っているため、繋ぎ合わせ処理時に繋ぎ合わせ位置のずれが発生しにくい。その結果、部分画像を高精度に繋ぎ合わせて、広視野かつ高解像度の顕微鏡観察画像を合成することが可能となる。また、本実施形態の顕微鏡システムでは、撮像した複数の部分画像をメモリ22に格納せずに繋ぎ合わせ処理を行うことができるため、顕微鏡システムのデータ量を抑制することができる。更に、本実施形態の顕微鏡システムでは、撮像後の処理に要する時間を短縮することもできる。
【0073】
(変形例)
また、本開示の第2の実施形態の変形例に係る顕微鏡システムでは、1種類の全体画像を用いて、異物及び試料の存在の有無を判定することができる。
図18は、本変形例の顕微鏡システムの全体動作の概要を示すフローチャート図である。
【0074】
本変形例の顕微鏡システムでは、画像解析部232により、全体画像撮像部11が撮像した1種類の全体画像から、異物及び試料の存在を判定する。画像解析部232において異物及び試料が存在するか否かを判断する方法は、特に限定されるものではないが、例えば領域毎に観察対象物が存在する可能性を示す尤度を算出する方法を採用することができる。
【0075】
より具体的には、画像解析部232では、例えば、全体画像撮像部11により撮像された画像により異物及び試料を識別し、全体画像を部分画像に対応する複数の領域に分割し、領域毎に試料の存在度合いを示す第1尤度と、異物の存在確率を示す第2尤度とを算出することができる。1種類の全体画像から異物及び試料を区別する方法については、メモリに予め記憶された、異物及び試料に関する輝度又は形状等の情報に基づいて行われる。そして、画像解析部232では、各領域の第1尤度及び第2尤度に基づいて試料及び異物の存在情報を示す存在マップを作成することができる。
【0076】
なお、画像解析部232は、1種類の全体画像から試料及び異物の存在情報を示す存在マップと、異物の存在情報を示す存在マップとの2種類の存在マップを作成し、それらの存在マップを補正してもよい。
【0077】
これにより、観察対象領域に異物が存在していても、1種類の全体画像で異物及び試料を区別して、観察対象物6が存在する領域を優先的に撮影し、異物7の領域を後で撮影できる。本変形例の顕微鏡システムでは、画像を撮像する時間と、撮像後の処理に要する時間とを短縮し、全工程に要する時間を短縮することもできる。なお、本変形例の顕微鏡システムにおける上記以外の構成及び効果は、前述した第2の実施形態と同様である。
【0078】
また、本開示は、以下のような構成をとることもできる。
(1)
観察対象領域の一部が撮像された第1の部分画像及び第2の部分画像を取得する画像取得部と、
前記第1の部分画像と前記第2の部分画像との繋合位置を調整する繋合位置調整部と、を有し、
前記画像取得部は、前記第1の部分画像に異物が存在するときは、前記第2の部分画像として試料が存在する部分画像を取得する情報処理装置。
(2)
観察対象領域全体を、前記部分画像よりも低倍率で撮像した全体画像に基づいて、前記部分画像の撮像順序を作成する撮像順序生成部を有し、
前記撮像順序生成部は、複数の領域に分割された全体画像の第1の領域に異物が存在するときは、前記第1の領域の次に撮像される第2の領域として試料が存在する領域を選択し、
前記画像取得部は、前記撮像順序生成部で作成された撮像順序に従って、前記第1の部分画像及び前記第2の部分画像を取得する(1)に記載の情報処理装置。
(3)
前記画像取得部は、観察対象領域の一部が撮像された複数の部分画像から、前記第1の部分画像に繋ぎ合わせる前記第2の部分画像を取得し、
前記繋合位置調整部は、前記第1の部分画像に対し、前記第2の部分画像の繋合位置を調整する(1)に記載の情報処理装置。
(4)
前記画像取得部は、前記第2の部分画像として異物が存在しない部分画像を取得する(1)〜(3)のいずれかに記載の情報処理装置。
(5)
前記画像取得部は、前記第1の部分画像の撮像領域に隣接する領域を撮像した部分画像の中に、試料が存在する部分画像がないときは、前記第2の部分画像として異物が存在する部分画像を取得する(1)〜(4)のいずれかに記載の情報処理装置。
(6)
前記画像取得部は、前記第2の部分画像を取得する際、異物が存在する部分画像と繋ぎ合わされた異物が存在する部分画像は取得対象外とする(1)〜(5)のいずれかに記載の情報処理装置。
(7)
前記部分画像について、異物及び試料の存在の有無を判定する画像解析部を備える(1)〜(6)のいずれかに記載の情報処理装置。
(8)
前記画像解析部は、全体画像の複数の領域毎に異物及び試料の存在の有無を判定し、その結果に基づいて対応する部分画像の判定を行う(7)に記載の情報処理装置。
(9)
前記画像解析部は、同視野で撮像条件が異なる2種類の全体画像を用いて、異物及び試料の存在の有無を判定する(7)又は(8)に記載の情報処理装置。
(10)
前記画像解析部は、前記全体画像を前記部分画像に対応する複数の領域に分割し、領域毎に試料の存在度合いを示す第1尤度と、異物の存在確率を算出する第2尤度とを算出する(8)又は(9)に記載の情報処理装置。
(11)
前記画像解析部は、前記第1尤度及び前記第2尤度に基づいて試料及び異物の存在情報を示す存在マップを作成する(10)に記載の情報処理装置。
(12)
前記第1の部分画像と前記第2の部分画像とを繋ぎ合わせる画像合成部を備える(1)〜(11)のいずれかに記載の情報処理装置。
(13)
前記画像取得部は、前記第1の部分画像の撮像領域に隣接する領域を撮像した部分画像が、試料及び異物のいずれも存在しない部分画像のみであるときは、前記第2の部分画像として前記部分画像の中から任意の部分画像を取得し、
前記画像合成部は、取得された部分画像の撮像時の位置情報に基づいて前記第1の部分画像に前記第2の部分画像を繋ぎ合わせる(12)に記載の情報処理装置。
(14)
前記画像取得部は、前記第2の部分画像を取得する際、前記位置情報に基づいて繋ぎ合わされた部分画像は取得対象外とする(13)に記載の情報処理装置。
(15)
画像取得部により、観察対象領域の一部が撮像された第1の部分画像及び第2の部分画像を取得する画像取得工程と、
繋合位置調整部により、前記第1の部分画像と前記第2の部分画像との繋合位置を調整する繋合位置調整工程と、を有し、
前記画像取得工程では、前記第1の部分画像に異物が存在するときは、前記第2の部分画像として試料が存在する部分画像を取得する情報処理方法。
(16)
観察対象領域の一部が撮像された第1の部分画像及び第2の部分画像を、異物が存在する部分画像に対しては試料が存在する部分画像が取得されるように取得する画像取得機能と、
前記第1の部分画像と前記第2の部分画像との繋合位置を調整する繋合位置調整機能と、を情報処理装置に実行させるプログラム。
(17)
観察対象領域全体を撮像する全体画像撮像部と、前記観察対象領域の一部を前記全体画像よりも高倍率で撮像する部分画像撮像部とを少なくとも備える顕微鏡装置と、
前記顕微鏡装置を制御すると共に、前記顕微鏡装置で撮像された各画像を処理する情報処理装置と、を少なくとも備え、
前記情報処理装置には、
観察対象領域の一部が撮像された複数の部分画像から、第1の部分画像及び第2の部分画像を取得する画像取得部と、
前記第1の部分画像と前記第2の部分画像との繋合位置を調整する繋合位置調整部と、
が設けられており、
前記画像取得部は、前記第1の部分画像に異物が存在するときは、前記第2の部分画像として試料が存在する部分画像を取得する顕微鏡システム。