特許 6576921 マルチスペクトル撮像のための自動焦点方法およびシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6576921

(24)【登録日】2019年8月30日

(45)【発行日】2019年9月18日

(54)【発明の名称】マルチスペクトル撮像のための自動焦点方法およびシステム

(51)【国際特許分類】

   G02B 21/36 20060101AFI20190909BHJP

【ＦＩ】

   G02B21/36

【請求項の数】7

【全頁数】22

(21)【出願番号】特願2016-526567(P2016-526567)

(86)(22)【出願日】2014年7月15日

(65)【公表番号】特表2016-527549(P2016-527549A)

(43)【公表日】2016年9月8日

(86)【国際出願番号】EP2014065064

(87)【国際公開番号】WO2015007697

(87)【国際公開日】20150122

【審査請求日】2017年5月9日

(31)【優先権主張番号】61/847,978

(32)【優先日】2013年7月18日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】507179346

【氏名又は名称】ベンタナ メディカル システムズ， インコーポレイテッド

(74)【代理人】

【識別番号】100140109

【弁理士】

【氏名又は名称】小野 新次郎

(74)【代理人】

【識別番号】100075270

【弁理士】

【氏名又は名称】小林 泰

(74)【代理人】

【識別番号】100101373

【弁理士】

【氏名又は名称】竹内 茂雄

(74)【代理人】

【識別番号】100118902

【弁理士】

【氏名又は名称】山本 修

(74)【代理人】

【識別番号】100147991

【弁理士】

【氏名又は名称】鳥居 健一

(72)【発明者】

【氏名】ブレドノ，イェルク

(72)【発明者】

【氏名】マーティン，ジム・エフ

(72)【発明者】

【氏名】サーカー，アニンディア

【審査官】 森内 正明

(56)【参考文献】

【文献】 特表２０１２−５０６０６０（ＪＰ，Ａ）

【文献】 特開２０１２−１１４７９８（ＪＰ，Ａ）

【文献】 特開２００７−１９３０３０（ＪＰ，Ａ）

【文献】 国際公開第２０１０／１２５３４７（ＷＯ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０２Ｂ ２１／００ − ２１／３６

(57)【特許請求の範囲】

【請求項1】

顕微鏡スライドの焦点が合わせられた画像を取得するための方法であって、
較正ステップにおいて、カラーデジタル撮像素子のカラーチャネルのそれぞれにおいて最も鮮明な焦点面を提供する、前記カラーチャネルにとっての基準自動焦点面からのZオフセットを決定するステップであって、前記基準自動焦点面が、グレイスケール画像を分析することによって決定されるものであり、当該Zオフセットを決定するステップが、
訓練用スライドを用いて、前記カラーチャネルの各々に対する最も鮮明な焦点面及び前記基準自動焦点面を取得するステップと、
前記カラーチャネルの各々に対する前記最も鮮明な焦点面と、前記基準自動焦点面の間の差を決定することによって、各カラーチャネルに対してZオフセットを決定するステップと、
を含むものと、
走査ステップにおいて、前記訓練用スライドとは異なる前記顕微鏡スライドを用いることによって、前記顕微鏡スライドの位置を変更する間に、前記カラーデジタル撮像素子の視野に対する、前記カラーチャネルにとっての基準自動焦点面、及び、最も鮮明な焦点面を決定するステップであって、前記基準自動焦点面が、グレイスケール画像を分析することによって決定されるものと、
i) 視野に対する基準自動焦点面；
ii） 前記視野に対する基準自動焦点面と、視野に対する前記カラーチャンネルにとっての最も鮮明な焦点面の間のZオフセット；
iii）前記較正ステップで決定された前記カラーチャネルにとってのZオフセット；
を用いることによって、視野に対する基準自動焦点面を調整するステップと、
前記視野に対する調整された基準自動焦点面、及び、前記較正ステップにおいて決定された前記Zオフセットと、を用いて、前記カラーチャネルのそれぞれにおいて前記カラーデジタル撮像素子により、最適な焦面における、前記視野における画像データを得るステップと、
を含む、方法。

【請求項2】

前記Zオフセットは、前記カラーデジタル撮像素子によって撮像されているスライド領域の位置に応じて変化する、請求項１に記載の方法。

【請求項3】

前記走査ステップは、
前記最も鮮明な焦点面における前記カラーチャネルにおいて画像を得るステップと、
前記最も鮮明な焦点面において、および、前記最も鮮明な焦点面からの前記Zオフセットにおいて取得された前記画像に対する鮮鋭度計量を算出するステップと、
前記カラーデジタル撮像素子から出力するために、最適な鮮鋭度計量によって前記画像を選択するステップと、
をさらに含む、請求項１又は２のいずれか一項に記載の方法。

【請求項4】

前記較正ステップは、較正スライドのZスライス走査を行うステップをさらに含む、請求項１又は２のいずれか一項に記載の方法。

【請求項5】

前記走査ステップはスライドのZスライス走査を行うステップをさらに含む、請求項４に記載の方法。

【請求項6】

顕微鏡スライドの焦点が合わせられた画像を取得するための方法であって、
較正ステップにおいて、カラーデジタル撮像素子のカラーチャネルのそれぞれにおいて最も鮮明な焦点面を提供する、前記カラーチャネルにとっての基準自動焦点面からのZオフセットを決定するステップであって、前記基準自動焦点面が、グレイスケール画像を分析することによって決定されるものであり、当該Zオフセットを決定するステップが、
訓練用スライドを用いて、前記カラーチャネルの各々に対する最も鮮明な焦点面及び前記基準自動焦点面を取得するステップと、
前記カラーチャネルの各々に対する前記最も鮮明な焦点面と、前記基準自動焦点面の間の差を決定することによって、各カラーチャネルに対してZオフセットを決定するステップと、
を含むものと、
走査ステップにおいて、前記訓練用スライドとは異なる前記顕微鏡スライドを用いることによって、前記顕微鏡スライドの位置を変更する間に、前記カラーデジタル撮像素子の視野に対する、前記カラーチャネルにとっての基準自動焦点面、及び、最も鮮明な焦点面を決定するステップであって、前記基準自動焦点面が、グレイスケール画像を分析することによって決定されるものと、
i) 視野に対する基準自動焦点面；
ii） 前記視野に対する基準自動焦点面と、視野に対する前記カラーチャンネルにとっての最も鮮明な焦点面の間のZオフセット；
iii）前記較正ステップで決定された前記カラーチャネルにとってのZオフセット；
を用いることによって、視野に対する基準自動焦点面を調整するステップと、
前記視野に対する調整された基準自動焦点面、及び、前記較正ステップにおいて決定された前記Zオフセットと、を用いて、前記カラーチャネルのそれぞれにおいて前記カラーデジタル撮像素子により、最適な焦面における、前記視野における画像データを得るステップと、
を含むことによって、
光学系の色収差の影響を最小化する、
方法。

【請求項7】

顕微鏡スライドの焦点が合わせられた画像を取得するためのシステムであって、当該システムが、メモリ及びプロセッサを含み、当該システムが、
顕微鏡スライドの焦点が合わせられた画像を取得するための手段を有し、当該手段が、
カラーデジタル撮像素子のカラーチャネルのそれぞれにおいて最も鮮明な焦点面を提供する、前記カラーチャネルにとっての基準自動焦点面からのZオフセットを決定する手段であって、前記基準自動焦点面が、グレイスケール画像を分析することによって決定されるものであり、当該Zオフセットを決定する手段が、
訓練用スライドを用いて、前記カラーチャネルの各々に対する最も鮮明な焦点面及び前記基準自動焦点面を取得する手段と、
前記カラーチャネルの各々に対する前記最も鮮明な焦点面と、前記基準自動焦点面の間の差を決定することによって、各カラーチャネルに対してZオフセットを決定する手段と、
を含むものと、
前記訓練用スライドとは異なる前記顕微鏡スライドを用いることによって、前記顕微鏡スライドの位置を変更する間に、前記カラーデジタル撮像素子の視野に対する、前記カラーチャネルにとっての基準自動焦点面、及び、最も鮮明な焦点面を決定する手段であって、前記基準自動焦点面が、グレイスケール画像を分析することによって決定されるものと、
i) 視野に対する基準自動焦点面；
ii） 前記視野に対する基準自動焦点面と、視野に対する前記カラーチャンネルにとっての最も鮮明な焦点面の間のZオフセット；
iii）前記各カラーチャネルに対してZオフセットを決定する手段で決定された前記カラーチャネルにとってのZオフセット；
を用いることによって、視野に対する基準自動焦点面を調整する手段と、
前記視野に対する調整された基準自動焦点面、及び、前記各カラーチャネルに対してZオフセットを決定する手段で決定された前記Zオフセットと、を用いて、前記カラーチャネルのそれぞれにおいて前記カラーデジタル撮像素子により、最適な焦面における、前記視野における画像データを得る手段と、
を含み、
前記各手段の少なくとも１つが、前記プロセッサによる実行のために前記メモリに記憶されたコンピュータにより実行可能な命令を備える、
システム。

【発明の詳細な説明】

【技術分野】

【0001】

本明細書に開示される技術は、顕微鏡スライドを撮像するためのコンピュータベースシステム、および、自動焦点技法に関する。

【背景技術】

【0002】

デジタル病理学機器は、顕微鏡スライドのデジタル画像を作り出すために使用される場合が多い。病理学者および組織検査技師（ｈｉｓｔｏｔｅｃｈｎｏｌｏｇｉｓｔ）は、そのデジタル画像を視覚的に検査して、組織試料についての情報を得ること、および、最も適切な処置を識別して臨床転帰を改善することが多い。カラー画像を作り出すために、多くの場合、自動化スライドスキャナは、赤、緑、および、青（ＲＧＢ）のカラーチャネルにおける画像を取得し、かつ、画像を組み合わせてＲＧＢ画像を作り出す。スキャナは、例えば、画像データを取得するために、複数のフィルタまたはチューナブルフィルタのベンチを有する蛍光撮像素子（ｉｍａｇｅｒ）のような、種々のスペクトル特性を有する複数の画像チャネルも取得する。適した画像データを実現するために、自動化スライド走査は、多くの場合、多数の種々のＺ平面で組織試料を自動的に走査することを含む。キャプチャされた画像の多くは、画像データがＺ平面のほとんどにおいて焦点を外れることが多いため、ほとんどまたは全く価値がない。この問題はまた、フィルタベンチを使用した蛍光撮像に影響を及ぼす。

【0003】

また、青または緑のカラーチャネルにおける最良の焦点は、特に、撮像される特徴が小さい（例えば、光の波長の２０倍未満）場合、赤のカラーチャネルにおける最良の焦点に対してＺ平面でなくてもよい。１つのカラーチャネルの画像ぼけは、全体のカラー画像品質を低下させ、それによって、解釈、診断、および／または、自動化画像分析の深刻な問題がもたらされる可能性がある。ぼけを低減するために、カラースライドスキャナは、完全なＺスタックの画像（例えば、各カラーチャネルに対するＺスタック画像のセット）を取得し、かつ、複雑な自動焦点アルゴリズムを使用してＺスタックから単一画像を作成することができる。残念ながら、これは、かなりのＺスタック取得時間、大量のＺスタックデータを記憶するためのメモリ、および、Ｚスタックデータを分析し、かつ、カラー画像を生成するためのかなりの処理時間を必要とする。あるいは、従来のカラースライドスキャナは、１チャネルに対する焦点（または焦）面を選択し、次いで、選択された焦点面で他のチャネルを走査することができる。例えば、焦点面は、緑チャネルの最良の焦点について選択可能である。スライドスキャナは、その焦点面で、赤および青のチャネルにおける画像を取得して、カラーまたはマルチスペクトル画像を作り出す。残念ながら、チャネルの全てに対して使用される共通の焦点面は、それぞれのチャネルにとって最良の焦点面でない場合があり、その結果、焦点合わせ手順を特色付けたもの以外の色によって特色付けられる特徴に対して、合成画像において好ましくない画像ぼけが生じる。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明はこのような課題を解決するものである。

【課題を解決するための手段】

【0005】

開示された技術の少なくともいくつかの実施形態は、視覚的鮮鋭度、色分離性、および、可読性の間のバランスを改善するために選択された焦面において画像をキャプチャすることによって、合成画像の焦点を高める撮像システムである。デジタル撮像素子デバイスのそれぞれのチャネル（例えば、カラーチャネル）またはフィルタ帯域は、異なる焦面を有することができる。「焦点が合った」焦面を選択して、限られた数の画像（例えば、チャネルまたはフィルタ帯域当たり１画像）をキャプチャして、撮像時間またはデータ記憶などを制限しながら、カラーチャネル全てに対して至適に焦点が合わせられた合成画像を作り出すことができる。撮像システムは、例えば、それぞれの焦面において得られた種々のカラーチャネルにおいて個々の画像を組み合わせることによって、標本の高度に焦点を合わせたカラー画像を作り出すことができる。

【0006】

焦面または「焦点が合った」Ｚスライスは、最小量のぼけ、最も鮮明な画像などを有するチャネル（またはフィルタ帯域）においてキャプチャされた画像に対応することができる。それぞれのカラーチャネル（またはフィルタ帯域）は、合成画像において観察されるぼけおよび／またはゆがみ（例えば、色収差）の量を制限するまたは実質的に低減するために、そのカラーチャネル（またはフィルタ帯域）に対して最適な焦面またはＺスライスを使用してキャプチャされる。撮像システムは、例えば、患者からの組織試料の組織特性を示す１つまたは複数の較正顕微鏡スライド（例えば、ファントムスライド、組織特異的なトレーニングスライドなど）を撮像することができる。撮像システムは、較正スライドの取得した画像を分析して、例えば、ゆがみ、色収差、または、他の好ましくない問題を評価することができる。いくつかの較正プロセスでは、カラーチャネル全てに対する単一自動焦点面と、それぞれのカラーチャネルに対する最良の個々の焦面との間の色収差またはゆがみの影響が判断される。

【0007】

撮像システムは、同じ組織試料または異なる組織試料の後の視野を処理するためのモデルフィッティング（ｍｏｄｅｌ ｆｉｔｔｉｎｇ）技法を使用することができる。モデルフィッティングを、例えば、多項式フィッティング、または、変数として、標本の位置およびチャネルまたは帯域焦面の他の適したフィッティングを伴うオフセットまたはフィッティング技法とすることができる。いくつかの較正プロセスにおいて、１つまたは複数の較正スライドのＺスタックの画像を得ることができる。撮像システムは、それぞれのチャネルまたはフィルタ帯域に対する焦面を決定し、かつ、その焦面を、自動焦点アルゴリズムから予測された焦面と比較することができる。この情報は、組織、細胞などのような物体を撮像する時に応用される焦点方法に対して提供される。該情報、ひいては、自動焦点アルゴリズムは、自動焦点アルゴリズムの精度を上げるために、比較に基づいて連続的にまたは周期的に更新可能である。いくつかの実施形態では、自動焦点アルゴリズムは、予測された焦面および実際の焦点が合った焦面における画像の比較に基づいて更新される。１チャネルにおける画像の比較を使用して、他のチャネルにおける焦面を選択することができる。よって、単一チャネルにおける２つの画像を使用して、さらなるチャネルにおける最適な焦面を決定することができる。さらに、１チャンネルの自動焦点アルゴリズムは、別のチャネルの調節（例えば、焦点合わせ）に基づいて調節可能である。これによって、全体の処理時間を低減し、かつ、画像品質を高めることができる。

【0008】

いくつかの実施形態では、マルチスペクトルコンピュータベースシステムは、顕微鏡スライドの焦点が合わせられたカラー画像を取得する。較正ステップでは、システムは、カラーデジタル撮像素子の１つまたは複数のカラーチャネルに対して基準焦点面からのＺオフセットを決定する。１つまたは複数の基準焦点面を、例えば、最終画像におけるカラーチャネルのサブセットにおいてそれぞれのカラーチャネルに対して個々に選択された最良の焦点面とすることができる。走査ステップでは、システムは、カラーデジタル撮像素子の視野に対する最良の焦点面を決定することができる。カラーデジタル撮像素子は、較正ステップにおいて決定されるＺオフセットに従って、赤、緑、および、青のカラーチャネルのうちの１つまたは複数における視野において画像データを得ることができる。また、種々のルーチンを行って、それぞれのカラーチャネルを個々に自動焦点合わせすることができ、自動焦点合わせするための方法は、アプリケーションおよび手元の撮像された組織に基づいて選択可能である。

【0009】

いくつかの実施形態では、顕微鏡スライドの焦点が合わされた画像を取得するための方法を、光学系を有する顕微鏡、および、デジタルカラーカメラを使用して行うことができる。該方法は、デジタルカラーカメラの赤、緑、および、青のカラーチャネルのそれぞれにおける最良の焦点面からのＺオフセットとして光学系に存在する色収差を特徴付けることを含む。顕微鏡スライドは、Ｚオフセットに従って、赤、緑、および、青のカラーチャネルから画像データを得ることによって、特徴付けられた色収差の効果を低減するように撮像可能である。マルチスペクトルシステムは、光学系を自動的に焦点合わせするように実行可能である命令を記憶するメモリを含むことができる。

【図面の簡単な説明】

【0010】

【図1】開示された技術の実施形態に従って、自動焦点技法を行うためのコンピュータベースシステムおよび環境を示す図である。

【図2】開示された技術の実施形態に従って、自動焦点ルーチンを向上させるための設備を示すブロック図である。

【図3】開示された技術の実施形態に従って、較正構成要素の処理を示すフロー図である。

【図4】開示された技術の実施形態に従って、Ｚ較正構成要素の処理を示すフロー図である。

【図5】開示された技術の実施形態に従って、走査構成要素の処理を示すフロー図である。

【図6】開示された技術の実施形態に従って、Ｚ走査構成要素の処理を示すフロー図である。

【図7】開示された技術の実施形態に従って、テスト構成要素の処理を示すブロック図である。

【図8A】開示された技術の実施形態に従って、特定のスライドに対して生成されたさまざまなＺスライスまたは焦面における表示画像を示す図である。

【図8B】開示された技術の実施形態に従って、特定のスライドに対して生成されたさまざまなＺスライスまたは焦面における表示画像を示す図である。

【図8C】開示された技術の実施形態に従って、特定のスライドに対して生成されたさまざまなＺスライスまたは焦面における表示画像を示す図である。

【図8D】開示された技術の実施形態に従って、特定のスライドに対して生成されたさまざまなＺスライスまたは焦面における表示画像を示す図である。

【図8E】開示された技術の実施形態に従って、特定のスライドに対して生成されたさまざまなＺスライスまたは焦面における表示画像を示す図である。

【発明を実施するための形態】

【0011】

開示された技術の少なくともいくつかの実施形態は、種々のカラーチャネルまたはフィルタ帯域に対して種々の焦面および／またはＺスライス（例えば、Ｚスタックまたは焦面マージプロセス（ｍｅｒｇｉｎｇ ｐｒｏｃｅｓｓ）によって生成されたＺ平面）において画像をキャプチャすることによってキャプチャされた画像の「鮮鋭度」を改善するように構成された設備を含む撮像システムである。それぞれのカラーチャネルまたはフィルタ帯域に対して、設備は、最小量のぼけを有する焦面またはＺスライス（すなわち、「最も焦点が合った」焦面またはＺスライス）を識別し、かつ、例えば、焦点が合わせられた画像をキャプチャするためにこれらの焦面またはＺスライスを使用する。焦点が合わせられた画像を組み合わせて、焦点が合わせられた合成画像を作り出すことができる。例えば、焦点が合わせられた赤のチャネル画像、焦点が合わせられた緑のチャネル画像、および、焦点が合わせられた青のチャネル画像を組み合わせて、焦点が合わせられたカラー画像を作り出すことができる。設備は、それぞれのカラーチャネル（またはフィルタ帯域）にとって最適な焦面またはＺスライスを使用するため、最終合成画像において観察される色収差の量を低減することができる。

【0012】

画像の「鮮鋭度」または焦点の鮮鋭度のことを言うと、顕微鏡検査およびデジタル撮像の当業者にとって典型的なことであるが、「最良の焦点」は必ずしも「最も鮮鋭」であるわけではないことをこの特許において強調したいことに留意されたい。多くの場合、視覚的または焦点鮮鋭度によるある組み合わせにおいてカラー分離性または可読性を最適化する方がより良い。従って、「より良い鮮鋭度」および「最高の鮮鋭度」によって、本発明者は、視覚的鮮鋭度、カラー分離性、および、可読性のバランスを取る意味で、「より最適」または「至適」を意味するものとする。標本の微細構造（診断にとって無関係である組織構造）のいくつかがそれほど明白ではない場合に画像は解釈するのがより容易であることが多いため「可読性」は含まれ、これは、本特許において識別されるモデルに含まれ得る。

【0013】

本明細書に記載される技法を使用して、位相検出自動焦点技法およびコントラスト検出自動焦点技法などを含むがこれらに限定されない受動型または能動型自動焦点技法といった既知の自動焦点およびＺスライス技法を向上させることができる。さらなる自動焦点、Ｚスライス、および、スライド撮像技法は、ＢｒａｄｌｅｙおよびＢａｍｆｏｒｍによる「Ａ Ｏｎｅ−ｐａｓｓ Ｅｘｔｅｎｄｅｄ Ｄｅｐｔｈ ｏｆ Ｆｉｅｌｄ Ａｌｇｏｒｉｔｈｍ Ｂａｓｅｄ ｏｎ ｔｈｅ Ｏｖｅｒ−ｃｏｍｐｌｅｔｅ Ｄｉｓｃｒｅｔｅ Ｗａｖｅｌｅｔ Ｔｒａｎｓｆｏｒｍ（過剰完全性（Ｏｖｅｒ−ｃｏｍｐｌｅｔｅ）離散ウェーブレット変換に基づくフィールドアルゴリズムのワンパスの深度拡大）」、「Ｉｍａｇｅ ａｎｄ Ｖｉｓｉｏｎ Ｃｏｍｐｕｔｉｎｇ‘０４ Ｎｅｗ Ｚｅａｌａｎｄ（画像および視覚計算‘０４ニュージーランド）」（ＩＶＣＮＺ‘０４）、Ａｋａｒｏａ、ニュージーランド、２７９〜２８４頁（２００４年１１月）、「Ａｕｔｏｆｏｃｕｓ Ｉｍａｇｉｎｇ（オートフォーカスイメージング）」という名称の２０１１年５月４日に出願された米国特許非仮出願第１３／６９７，６８１号、「Ｏｎ−ｔｈｅ−Ｆｌｙ Ｆｏｃｕｓｉｎｇ Ｓｅｎｓｏｒ（オンザフライ焦点センサ）」という名称の２０１０年７月２３日に出願された米国特許仮出願第６１／３６７，３４１号、「Ｓｌｉｄｅ Ｃａｃｈｉｎｇ ｉｎ ａ Ｓｌｉｄｅ Ｓｃａｎｎｉｎｇ Ｍｉｃｒｏｓｃｏｐｅ（スライド走査顕微鏡におけるスライドキャッシュ）」という名称の２０１０年１月２８日に出願された米国特許仮出願第６１／２９９，２３１号、「Ｓｃａｎｎｉｎｇ Ｍｉｃｒｏｓｃｏｐｅ Ｓｌｉｄｅ Ｓｔａｇｅ（走査顕微鏡スライドステージ）」という名称の２００９年１１月１３日に出願された米国特許仮出願第６１／２６１，２５１号、「Ｈｉｇｈ Ｓｐｅｅｄ Ｓｌｉｄｅ Ｓｃａｎｎｉｎｇ Ｓｙｓｔｅｍ ｆｏｒ Ｄｉｇｉｔａｌ Ｐａｔｈｏｌｏｇｙ（デジタル病理学のための高速スライド走査システム）」という名称の２００９年１０月２９日に出願された米国特許仮出願第６１／２５６，２２８号、「Ｏｎ−ｔｈｅ−Ｆｌｙ Ｆｏｃｕｓｉｎｇ Ｓｙｓｔｅｍｓ ａｎｄ Ｔｅｃｈｎｉｑｕｅｓ ｆｏｒ Ｓｃａｎｎｉｎｇ Ｍｉｃｒｏｓｃｏｐｅｓ（オンザフライ焦点システム、および走査顕微鏡のための技法）」という名称の２００９年１０月１９日に出願された米国特許仮出願第６１／２５２，９９５号、および、「Ｃｏｌｏｒ Ｓｐａｃｅ Ｔｒａｎｓｆｏｒｍａｔｉｏｎｓ ｆｏｒ Ｕｓｅ ｉｎ Ｉｄｅｎｔｉｆｙｉｎｇ Ｏｂｊｅｃｔｓ ｏｆ Ｉｎｔｅｒｅｓｔ ｉｎ Ｂｉｏｌｏｇｉｃａｌ Ｓｐｅｃｉｍｅｎｓ（生物標本内の関心対象を識別する際に使用するためのカラースペース変換）」という名称の２０１２年１０月２８日に出願された米国特許第７，２００，２５２号において記載されている。

【0014】

いくつかの実施形態では、設備は、較正段階またはステップ中に自動焦点モデルを生成し、かつ、後続のスライド走査および／または視野走査中に生成された自動焦点モデルを使用して、走査時間およびデータサイズを低減しつつ、それぞれの個々のカラーチャネル（またはフィルタ帯域）に対する焦点を改善させる。較正ステップ中、設備は、１画像に対して、「基準」自動焦点面またはＺスライスを決定してから、さまざまなカラーチャネル（またはフィルタ帯域）に対して自動焦点面「オフセット」を決定する。較正ステップは、標本（例えば、バクテリアおよび生物的物質など）、組織（例えば、乳房組織および腫瘍組織など）、または、走査される他の標本の典型である１つまたは複数の「ファントム」または「トレーニングスライド」を分析することを含む。「基本」値は、種々の焦面においてキャプチャされたスライド（複数可）の画像を分析することによってトレーニングスライド（複数可）に自動焦点技法を応用することによって決定される。上述したものおよび他の自動焦点技法を含む多くの種々の自動焦点アルゴリズムを用いることができることを、当業者は認識するであろう。「基本」値は、いくつかの実施形態では、グレースケールバージョンのスライド（複数可）を使用して生成される。他の実施形態では、「基本」値は、単一カラーチャネル、カラーチャネルの組み合わせ（例えば、緑などの単一カラーチャネルによって特色づけられる場合があるカラーチャネルの組み合わせ）、単一フィルタ帯域、および、明度などを使用して生成される。較正ステップは、カラーチャネル（またはフィルタ帯域）にとって最高度の鮮鋭度を与える焦面に対応するそれぞれのカラーチャネル（またはフィルタ帯域）に対するＺにおける「オフセット」値を決定することをさらに含むことができる。設備は、種々の焦面（または種々のＺスライス）においてキャプチャされたスライド（複数可）のカラーチャネルまたはフィルタ帯域特異的な画像を分析して最も鮮鋭な焦面（またはＺスライス）を識別することによって自動焦点技法を第１のスライドに応用することによって、それぞれの「オフセット」値を決定することができる。それぞれの「オフセット」値は、「基本値」との差異として計算可能である。例えば、「基本」値が２３μｍ（マイクロメートル）のＺにあり、赤のカラーチャネルにとって最も鮮鋭な焦面が２４μｍのＺにある場合、赤のカラーチャネルオフセットは＋１μｍである。別の例として、「基本」値が２５μｍであり、赤のカラーチャネルにとって最も鮮鋭な焦面が２４μｍである場合、赤のカラーチャネルオフセットは−１μｍである。別の例として、「基本」Ｚスライスが７の指数を有し、赤のカラーチャネルにとって最も鮮鋭なＺスライスが９の指数を有する場合、赤のカラーチャネルオフセットは＋２である。いくつかの実施形態では、基本値は、レンズの全可動範囲に対するその測定値に対応してよい。例えば、レンズが５０μｍの全可動範囲を有する場合、基本値は、全可動範囲に沿って０μｍ〜５０μｍの測定値を表す場合がある。複数のトレーニングスライドが使用される時、結果として生じる基本値およびオフセット値を、例えば、最も一般的な基本値およびオフセット値、または、他の適した集約技法を使用して、それぞれのスライド位置／カラーチャネル（またはフィルタ帯域）に対する平均基本値およびオフセット値を算出することによって、単一合成モデルに組み合わせることができる。

【0015】

いくつかの実施形態では、設備は、スライドデータをグリッド（例えば、１×１、３×３、９×９、１２×２４、１００×１０００など）に分割し、かつ、グリッドのそれぞれのセクションに対して較正ステップを行う。例えば、設備がスライドデータを３×３のグリッドに分割する場合、設備は、９セクションのそれぞれに対して１つの「基本」値を生成し、９セクションのそれぞれに対してそれぞれのカラーチャネルまたはフィルタ帯域にとっての１つのオフセット値を生成する。このように、グリッドの各セクションに対してモデルを最適化することができる。「基本」値は、例えば、キャプチャされた画像データのグレースケールバージョン、キャプチャされた画像データの明度、キャプチャされた画像データの単一カラーチャネル（例えば、赤、緑、青）、および、特定のフィルタ帯域などを使用して計算可能である。

【0016】

いくつかの実施形態では、設備は、独立したカラーチャネル（またはフィルタ帯域）に対する組織構造的変動を反映している、例えば、適したファントムスライドまたは組織特異的トレーニングスライド（すなわち、較正スライド）のセットによる較正段階中に既存の自動焦点アルゴリズムを呼び出すことによって、較正データを作成する。設備は、既存の単一チャネル自動焦点方法を呼び出し、かつ、その結果を強化型自動焦点方法と比較して、単一平面自動焦点とそれぞれの個々の最良の焦点面との間の相違として、色収差の影響を判断することもできる。モデル適合性（例えば、変数としてスライド位置およびカラーチャネル（またはフィルタ帯域）を使用したオフセットまたは多項式フィッティング）を、較正後スライドを走査する間に用いることができる。

【0017】

ある実施形態では、設備は、適したファントムスライドのＺスライス走査から較正データを作成し、それぞれのカラーチャネル（またはフィルタ帯域）に対して個々に最良の焦点を有するＺスライスを決定し、これを、後に走査されるスライドに応用可能であるオフセット値を生成するために、同スライドに応用される自動焦点アルゴリズムの結果と比較する。いくつかの実施形態では、設備は、この較正技法を後に走査されるスライドに応用し、その較正情報を先に生成されたモデルと比較して、モデルを更新する必要があるかどうかを判断する。

【0018】

カラーチャネルの少なくとも１つは、オフセット無しでスライドに対して決定される「基準」自動焦点面またはＺスライスで取得可能である。従って、少なくとも１つのカラーチャネルは、標準焦点面において、および、上述されるようにオフセットを応用することによって修正された焦点面によって撮像される。それぞれのカラーチャネルに対して、焦点鮮鋭度計量を、取得される２つの焦面またはＺスライスに対して算出することができ、最適な平面（すなわち、最高の鮮鋭度）を、出力のために選択可能である。適切な焦点鮮鋭度最適化計量は、画像のｘ方向およびｙ方向において画像強度の勾配から導かれるまたは該勾配に関連付けられたいくつかの算出に基づくことができる。一実施形態では、このような計量の算出を、画像をｘ方向および／またはｙ方向に数画素平行移動させ、かつ、絶対差を合計することによって行うことができる。（例えば、焦点鮮鋭度の応用特異的測定値を含む）より複雑な焦点最適化計量アルゴリズムは、他に対して、（検討中の画像に共通している点、隅、線、隆起、平坦域、または、他の形状などの）１つのタイプの特徴からこの算出への寄与を高めるために頻繁に使用される。焦点鮮鋭度（従来の「鮮鋭度」）計量の評論を、Ｓ．Ｐｅｒｔｕｚ、Ｄ．Ｐｕｉｇ、Ｍ．Ａｎｇｅｌ Ｇａｒｃｉａによる「Ａｎａｌｙｓｉｓ ｏｆ ｆｏｃｕｓ ｍｅａｓｕｒｅ ｏｐｅｒａｔｏｒｓ ｆｏｒ ｓｈａｐｅ−ｆｒｏｍ−ｆｏｃｕｓ（ｓｈａｐｅ−ｆｒｏｍ−ｆｏｃｕｓのための焦点測定演算子の分析）」、Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ、第４６巻、第５号、２０１３年５月、１４１５〜１４３２頁において見出すことができる。ここで、それら焦点鮮鋭度計量は「焦点測定演算子」と言う。一般化された焦点鮮鋭度計量を算出するための別の方法は、画像の１つのカラーチャネル、または、画像において利用可能なカラーチャネルの組み合わせを表す単色画像において、メジアンフィルタオペレーションまたは他のタイプの画像平滑化を実行することである。このようなフィルタの後、平滑化画像を取り去る、または、その他の場合は、その原物と組み合わせて、スカラ、ベクトルまたはマトリックスをもたらして、画像の焦点が合わされる時絶対値は高くなり、画像の焦点が外れる時絶対値は低くなる。２つの画像の絶対差を合計することは、このような組み合わせ方法の一例である。これを拡張して、メジアンフィルタを並列に複数回実行して、３×３の画素から５×５の画素、７×７の画素などへのフィルタの局所的な応用を増加させることができる。原物を含む時がある、結果として生じる画像における最大値に対応する値（または任意の他の強度測定値）は、直線に適合可能である、または、一連の値を特徴付ける何か他のやり方で組み合わせ可能である。鮮鋭な焦点にある画像に対して、このような線の傾きは、鮮鋭な焦点にない画像の傾きより大きい。よって、走査取得プロセスによって、撮像されたスライドに対してわずか２つの画像が取得されるが、焦点性能は標準的な自動焦点技法に対して損なわれないことが示されるであろう。このさらなる自動品質保証技法を、例えば、実験によって修正された取得のいくつかに対して画像品質悪化の危険性が示される時に使用することができる。いくつかの実施形態では、設備は、上述した自動品質保証技法がうまくいかない場合、自動焦点アルゴリズムの色収差の補正のために、モデルパラメータを自動的に更新する。必要とされる、または、所望される場合、堅牢な更新スキーム（例えば、先のおよび現在の観察の重み付きマッチング（ｗｅｉｇｈｔｅｄ ｍａｔｃｈ）または最終Ｎ回のＺスライス走査に対する最適な設定のサーチ）を用いることができる。

【0019】

図１は、開示された技術の実施形態に従って、組織標本を分析するためのコンピュータベースシステムおよび環境を示す。分析システム１００は、撮像装置（ｉｍａｇｉｎｇ ａｐｐａｒａｔｕｓ）１１０およびクライアントコンピュータシステム１２０を含む。標本を含んでいる顕微鏡スライドを、撮像装置１１０に装着することができる。撮像装置１１０は、自動焦点技法を行い、かつ、複数のカラーチャネルにおいて標本の画像を作り出すことができる。いくつかの実施形態では、撮像装置は、標本を含んでいる顕微鏡スライドの明視野および／または蛍光撮像のための顕微鏡を含む。撮像装置１１０はさらに、ホールスライドスキャナ（ｗｈｏｌｅ−ｓｌｉｄｅ ｓｃａｎｎｅｒ）であってよい。ホールスライドスキャナの１つの例は、譲受人であるＶｅｎｔａｎａ Ｍｅｄｉｃａｌ Ｓｙｓｔｅｍｓ社（アリゾナ州、トゥーソン）のＶＥＮＴＡＮＡ ｉＳｃａｎ ＨＴ製品である。直接接続（図示せず）を通して、または、ネットワーク１３０を介してのどちらかで、画像をクライアントコンピュータシステム１２０に送信することができる。クライントコンピュータシステム１２０は、病理学者または組織検査技師などのユーザに画像を表示する。

【0020】

撮像装置１１０は、１つまたは複数の画像キャプチャデバイス１１１および設備２００を含むことができるがこれらに限定されない。撮像装置１１０の内部構成要素は想像線において示される。画像キャプチャデバイス１１１は、光学系（例えば、１つまたは複数のレンズ１１５、センサ焦点レンズ群、顕微鏡対物レンズなど）を有するデジタル撮像素子１１３（例えば、デジタルカメラ）、または、撮像センサ（例えば、電荷結合デバイス（ＣＣＤ）、または、相補型金属酸化膜半導体（ＣＭＯＳ）画像センサなど）などを含むことができるがこれらに限定されない。デジタル実施形態では、デジタル撮像素子１１３は、焦点合わせさせる（例えば、自動焦点合わせさせる）ために協働する複数のレンズを含むことができる。ＣＣＤセンサは、標本スライド１１７のデジタル画像をキャプチャすることができる。いくつかの実施形態では、デジタル撮像素子１１３は、カラー画像を作り出すために、赤、緑、および、青のカラーチャネルを有し、種々の焦面またはＺスライスで画像をキャプチャするように動作可能である。他の実施形態では、デジタル撮像素子１１３は、単色またはカラーセンサであり、光学系は、複数のフィルタおよび／またはチューナブルフィルタを含み、マルチスペクトルまたはカラー画像チャネルは、種々のフィルタおよび／またはフィルタ設定によって撮像素子１１３から複数の画像を取得することによって作成される。カラー画像を作り出す１つの方法は、少なくとも標本の一部分を含む顕微鏡スライドの領域またはスライド位置を含む、１つまたは複数の走査エリアを決定することを含む。走査エリアは複数のスナップショットに分割されてよい。画像は、スナップショットを組み合わせることによって作り出すことができる。標本またはスライド全体の組み合わせられた画像は、同じまたは異なる焦面でＲＧＢチャネルにおける画像を有するスナップショットを有することができる。撮像装置１１０は、アクセスドア１２１およびコントローラ１２３も含むことができる。アクセスドア１２１を介して撮像装置１１０にスライドを装着することができ、コントローラ１２３を使用して、撮像装置１１０の動作を制御することができる。

【0021】

撮像装置１１０およびクライアントコンピュータシステム１２０は、デスクトップコンピュータ、ラップトップコンピュータ、または、タブレットなどを含むことができ、デジタル電子回路部品、ファームウェア、ハードウェア、メモリ、コンピュータ記憶媒体、コンピュータプログラム、または、（プログラム式プロセッサを含む）プロセッサなどを含むことができ、デジタル画像をバイナリ形式で記憶することができる。画像はまた、画素のマトリックスに分割可能である。画素は、ビット深度によって定められる、１つまたは複数のビットのデジタル量を含むことができる。デジタル量は、例えば、画像処理によって導き出される、エネルギー、明るさ、色、強度、密度、高度、または、分類値を表すことができる。非限定的な例示のデジタル画像フォーマットは、ビットマップ、ジョイントピクチャエキスパートグループ（ｊｏｉｎｔ ｐｉｃｔｕｒｅｓ ｅｘｐｅｒｔ ｇｒｏｕｐ）（ＪＰＥＧ）、タグ付け画像ファイルフォーマット（ｔａｇｇｅｄ ｉｍａｇｅ ｆｉｌｅ ｆｏｒｍａｔ）（ＴＩＦＦ）、および、グラフィックインターチェンジフォーマット（ｇｒａｐｈｉｃｓ ｉｎｔｅｒｃｈａｎｇｅ ｆｏｒｍａｔ）（ＧＩＦ）、ならびに、他のデジタルデータフォーマットを含むがこれらに限定されない。

【0022】

ネットワーク１３０または直接接続は、撮像装置１１０およびクライアントコンピュータシステム１２０を相互接続する。ネットワーク１３０は、１つまたは複数のゲートウェイ、ルータ、ブリッジ、または、それらの組み合わせなどを含むことができるがこれらに限定されない。ネットワーク１３０は、ユーザがアクセス可能である１つまたは複数のサーバ、および、１つまたは複数のウェブサイトを含むことができ、クライアントコンピュータシステム１２０が利用することができる情報を送受信するために使用可能である。サーバは、情報（例えば、デジタル画像、アルゴリズム、または、染色プロトコルなど）を記憶するための１つまたは複数の関連付けられたデータベースを含むことができるがこれらに限定されない。ネットワーク１３０は、通信制御プロトコル（ＴＣＰ）、ユーザデータグラムプロトコル（ＵＤＰ）、インターネットプロトコル（ＩＰ）、および、他のデータプロトコルを使用するデータネットワークを含むことができるがこれらに限定されない。クライアントコンピュータシステム１２０は、本明細書に論じられる方法および技法を行うことができる。クライアントコンピュータシステム１２０の構成要素および特徴は、開示された技術の他の構成要素および特徴と混合およびマッチング可能である。

【0023】

図２は、いくつかの実施形態において、自動焦点ルーチンを向上させるための設備２００を示すブロック図である。設備２００は、較正構成要素２１０、Ｚ較正構成要素２２０、走査構成要素２３０、２４０、テスト構成要素２５０、スライドデータ記憶２６０、および、モデル記憶２７０を備える。設備は、較正構成要素２１０、Ｚ較正構成要素２２０、走査構成要素２３０、２４０、および／または、テスト構成要素２５０を選択的に呼び出すことができる。較正構成要素２１０は、後に走査されるスライドに応用可能である焦面ベース自動焦点モデルを較正しかつ生成する。Ｚ較正構成要素２２０は、後に走査されるスライドに応用可能であるＺスライスベース自動焦点モデルを較正しかつ生成する。走査構成要素２３０は、較正構成要素２１０によって生成された焦面ベース自動焦点モデルを使用して画像を走査しかつ生成することができる。Ｚ走査構成要素２４０は、Ｚ較正構成要素２１０によって生成されたＺスライスベース自動焦点モデルを使用して画像を走査しかつ生成することができる。テスト構成要素２５０は、先に生成されたモデルを更新させる必要があるかどうかを判断し、更新させる必要がある場合、該モデルを更新する。スライドデータ記憶２６０は、キャプチャされたスライドデータ（例えば、Ｚスライスおよびメタデータなどの画像）を記憶する。モデル記憶２７０は、種々のスライド位置および種々のスライドデータタイプに対する基本値およびオフセット値などのモデル情報を記憶する。例えば、モデル記憶２７０は、種々のタイプの組織または他の撮像データに対する種々のモデルを含むことができる。

【0024】

図３は、いくつかの実施形態に従って、図２の較正構成要素２１０の処理を示すフロー図である。較正構成要素２１０を、単一のトレーニングスライドまたは一連のトレーニングスライドに対して呼び出して、自動焦点モデルを生成することができる。ブロック３０５において、該較正構成要素２１０はスライドのためのスライド位置（単数または複数）を決定する。例えば、該較正構成要素２１０が特定のグリッド構成のための値を生成するように構成される場合、該較正構成要素２１０は、グリッドのセクションに対応するスライドのエリア（単数または複数）を識別する。いくつかの実施形態では、該較正構成要素２１０は、ユーザにスライド位置を識別するように指示することができる。

【0025】

ブロック３１０〜３４５では、該較正構成要素２１０は、決定されたスライド位置のそれぞれを通してループして、それぞれのスライド位置に対する基本値およびオフセット値を生成する。ブロック３１５では、該較正構成要素２１０は、自動焦点技法を呼び出して現在のスライドの焦点が合った焦点の「基準」面を識別し、かつ、焦面（例えば、レンズ、または、撮像装置の他の部分から焦面までの距離）およびスライド位置の指示を記憶する。いくつかの実施形態では、基準面は、スライドのグレースケール画像を分析することによって決定可能である。他の実施形態では、基準面は、特定のカラーチャネル（またはフィルタ帯域）を分析することによって決定可能である。ブロック３２０〜３４０では、該較正構成要素２１０は、それぞれのカラーチャネル（またはフィルタ帯域）を通してループして、それぞれのカラーチャネル（またはフィルタ帯域）に対するオフセット値を決定する。ブロック３２５では、該較正構成要素２１０は、自動焦点技法を呼び出して、現在選択のカラーチャネル（またはフィルタ帯域）およびスライド位置に対して焦点が合った焦面を識別する。例えば、焦点が合った平面は、レンズ、または、撮像装置の他の部分から焦面までの距離に基づいて決定可能である。ブロック３３０では、現在選択のカラーチャネル（またはフィルタ帯域）に対するオフセットは、ブロック３２５およびブロック３１５において識別された焦面間の距離に基づいて決定される。ブロック３３５では、該較正構成要素２１０は、決定されたオフセットを記憶する。ブロック３４０では、もしあれば、次のカラーチャネル（またはフィルタ帯域）が選択され、その後、該較正構成要素２１０は、戻るようにループして、次のカラーチャネル（またはフィルタ帯域）を処理する。ブロック３４５では、該較正構成要素２１０は、もしあれば、次のスライド位置を選択し、その後、戻るようにループして次のスライド位置を処理する。

【0026】

ブロック３５０では、自動焦点モデルは、それぞれのスライド位置に対して決定された基本値およびオフセット値を使用して生成される。自動焦点モデルは、例えば、スライド位置の数および場所の指示、走査された物質のタイプ（例えば、乳房組織、バクテリアなど）、基準焦面に対応するそれぞれのスライド位置に対する、および、それぞれのカラーチャネルまたはフィルタ帯域に対する基本値、ならびに、それぞれのスライド位置に対する１つのオフセット値の指示を記憶する。表１は、３×３のグリッドレイアウトを使用して組織について生成されたモデルにおいて記憶可能であるデータのタイプの例を示す。

【0027】

【表1】

【0028】

この例において、モデルは、９つの赤チャネルオフセット（ｏｆｆｓｅｔ_ｒｅｄ）、９つの緑チャネルオフセット（ｏｆｆｓｅｔ_{ｇｒｅｅｎ}）、および、９つの青チャネルオフセット（ｏｆｆｓｅｔ_ｂｌｕｅ）を含み、それぞれ１つがそれぞれのスライド位置に対するものである。いくつかの実施形態では、モデルは、基準焦面を決定するために使用された画像のタイプ（例えば、グレースケール画像、特定のフィルタ帯域、特定のカラーチャネル）の指示も記憶することができる。表１に記憶されたデータは、人によって容易に解釈されるフォーマットで示されるが、データが任意の様式で、または、データ構造で記憶可能であることを、当業者は認識するであろう。

【0029】

図４は、いくつかの実施形態に従って、Ｚスライスベース自動焦点モデルを較正しかつ生成するためのＺ較正構成要素２２０の処理を示すフローチャートである。構成要素２２０は、単一のトレーニングスライドまたは一連のトレーニングスライドについて設備２００によって呼び出されて、自動焦点モデルを生成することができる。ブロック４０５では、該Ｚ較正構成要素２２０は、任意の焦点合成技法を使用して、スライドに対してＺスライスを生成する。いくつかの実施形態では、該Ｚ較正構成要素２２０は、先にキャプチャされたスライドデータから生成された、記憶されたＺスライスを読み出す（または、検索する）ことができる。このように、開示された技法を使用して、先にキャプチャされたスライドの自動焦点を向上させることができる。ブロック４１０では、スライドのスライド位置（単数または複数）を決定することができる。例えば、該Ｚ較正構成要素２２０が特定のグリッド構成についての値を生成するように構成される場合、該Ｚ較正構成要素２２０は、グリッドのセクションに対応するスライドのエリアを識別する。いくつかの実施形態では、ユーザはスライド位置を識別するように指示される。ブロック４１５〜４５０では、該Ｚ較正構成要素２２０は、決定されたスライド位置のそれぞれを通してループして、それぞれのスライド位置に対する基本値およびオフセット値を生成する。ブロック４２０では、Ｚスライスは、例えば、既知の焦点合成技法を使用することによって、最も鮮鋭な画像を有するＺスライスを識別するために分析される。いくつかの実施形態では、それぞれのＺスライスのグレースケールバージョンを分析することによって、基準Ｚスライスを決定することができる。他の実施形態では、特定のカラーチャネルまたはフィルタ帯域を分析することによって、基準Ｚスライスを決定することができる。ブロック４２５〜４４５では、該Ｚ較正構成要素２２０は、それぞれのカラーチャネル（またはフィルタ帯域）を通してループして、それぞれのカラーチャネル（またはフィルタ帯域）についてのオフセット値を決定する。ブロック４３０では、現在のカラーチャネルについて最も鮮鋭な画像を有するＺスライスが識別される。ブロック４３５では、現在選択のカラーチャネル（またはフィルタ帯域）についてのオフセットは、ブロック４２０およびブロック４３０において識別されたＺスライス間の相違に基づいて決定される。ブロック４４０では、該Ｚ較正構成要素２２０は決定されたオフセットを記憶する。ブロック４４５では、もしあれば、次のカラーチャネル（またはフィルタ帯域）が選択され、その後、該Ｚ較正構成要素２２０は、戻るようにループして、次のカラーチャネル（またはフィルタ帯域）を処理する。ブロック４５０では、該Ｚ較正構成要素２２０は、もしあれば、次のスライド位置を選択し、その後、戻るようにループして次のスライド位置を処理する。ブロック４５５では、自動焦点モデルは、それぞれのスライド位置に対して決定された基本値およびオフセット値を使用して生成される。自動焦点モデルは、例えば、スライド位置の数および場所の指示、走査された物質のタイプ（例えば、乳房組織、バクテリアなど）、基準Ｚスライスに対応するそれぞれのスライド位置に対する、および、カラーチャネルまたはフィルタ帯域に対する基本値、ならびに、それぞれのスライド位置に対する１つのオフセット値の指示を記憶する。表２は、３×３のグリッドレイアウトを使用して組織について生成されたモデルにおいて記憶可能であるデータのタイプの例を示す。

【0030】

【表2】

【0031】

この例では、１６のＺスライスが生成され、それぞれのＺスライスは０〜１５の指数によって識別される。さらに、モデルは、９つの赤チャネルオフセット（ｏｆｆｓｅｔ_ｒｅｄ）、９つの緑チャネルオフセット（ｏｆｆｓｅｔ_{ｇｒｅｅｎ}）、および、９つの青チャネルオフセット（ｏｆｆｓｅｔ_ｂｌｕｅ）を含み、それぞれ１つがそれぞれのスライド位置に対するものである。いくつかの実施形態では、モデルは、基準焦面を決定するために使用された画像のタイプ（例えば、グレースケール画像、特定のフィルタ帯域、特定のカラーチャネル）の指示も記憶することができる。表２に記憶されたデータは、人によって容易に解釈されるフォーマットで示されるが、データが任意の様式で、または、データ構造で記憶可能であることを、当業者は認識するであろう。

【0032】

図５は、いくつかの実施形態に従って、自動焦点モデルに基づくスライドの画像をキャプチャするための、図２の走査構成要素２３０の処理を示すフロー図である。ブロック５０５では、該走査構成要素２３０はモデルに基づいてスライド位置を決定する。例として表１のモデルを使用して、該走査構成要素２３０は、３×３のグリッドに対応する９つの部分にスライドを分けることによって、３×３のグリッドにおけるそれぞれの位置に対応するスライドの部分を識別することができる。いくつかの実施形態では、モデルは、それぞれの部分の場所について、例えば、その部分が同じサイズでない場合、そのさらなる情報を含むことができ、その情報は、走査構成要素がスライド位置を決定するのに使用可能である。ブロック５１０〜５５０では、該走査構成要素２３０は決定されたスライド位置のそれぞれを通してループしてそれぞれのスライド位置に対して１つまたは複数の画像をキャプチャする。ブロック５１５では、自動焦点技法を使用して、現在のスライドに対して焦点が合った焦点の「基準」面を識別する。基準面は、モデルにおける基準面を識別するために使用される画像が生成されたのと同じように生成された画像を分析することによって識別される。例えば、モデルにおける基準面がグレースケール画像を分析することによって識別されたとしたら、走査構成要素は、現在のスライドに対して基準面を決定するために、現在のスライドのグレースケール画像を分析する。ブロック５２０〜５４５では、該走査構成要素２３０は、カラーチャネル（またはフィルタ帯域）のそれぞれを通してループして、それぞれに対して対応する画像をキャプチャする。ブロック５２５では、モデルによって記憶された現在のカラーチャネル（またはフィルタ帯域）に対するオフセットが決定される。ブロック５３０では、該走査構成要素２３０は、ブロック５１５において決定された「基準」面、および、オフセットに基づいて焦面を調節する。例えば、決定された「基準」面が３．２μｍであり、オフセットが−１．１μｍである場合、該走査構成要素２３０は、焦面を２．１μｍに調節することになる。ブロック５３５では、該走査構成要素２３０は、調節された焦面および現在のカラーチャネル（またはフィルタ帯域）を使用してスライドの画像をキャプチャする。ブロック５４０では、キャプチャされた画像が記憶される。ブロック５４５では、もしあれば、次のカラーチャネル（またはフィルタ帯域）が選択され、その後、該走査構成要素２３０は、戻るようにループして、次のカラーチャネル（またはフィルタ帯域）を処理する。ブロック５５０では、該走査構成要素２３０は、もしあれば、次のスライド位置を選択し、その後、戻るようにループして次のスライド位置を処理する。該走査構成要素２３０は、次いで、さらなる処理および分析のためにキャプチャされた画像データを戻す。

【0033】

図６は、Ｚ較正によって生成された自動焦点モデルといった、先に生成された自動焦点モデルに基づいてスライドに対して画像を生成するためのＺ走査構成要素２４０の処理を示すフロー図である。ブロック６０５では、該Ｚ走査構成要素２４０は現在のスライドに対してＺスライスを生成する。ブロック６１０では、スライド位置はモデルに基づいて決定される。例として表２のモデルを使用して、該Ｚ走査構成要素２４０は、３×３のグリッドに対応する９つの部分にスライドを分けることによって、３×３のグリッドにおけるそれぞれの位置に対応するスライドの部分を識別することができる。いくつかの実施形態では、モデルは、それぞれの部分の場所について、例えば、その部分が同じサイズでない場合、そのさらなる情報を含むことができ、その情報は、Ｚ走査構成要素がスライド位置を決定するのに使用可能である。ブロック６１５〜６７５では、該Ｚ走査構成要素２４０は決定されたスライド位置のそれぞれを通してループしてそれぞれのスライド位置に対して１つまたは複数の画像をキャプチャする。ブロック６２０では、生成されたＺスライスは、最も鮮鋭な画像を有するＺスライスを識別するために分析される。基準Ｚスライスは、モデルにおける基準Ｚスライスを識別するために使用される画像が生成されたのと同じように生成された画像を分析することによって識別される。例えば、モデルにおける基準Ｚスライスがグレースケール画像を分析することによって識別されたとしたら、Ｚ走査構成要素は、現在のスライドに対して基準Ｚスライスを決定するために、現在のスライドのグレースケール画像を分析する。別の例として、モデルにおける基準Ｚスライスが赤のチャネル画像を分析することによって識別されたとしたら、Ｚ走査構成要素は、現在のスライドに対して基準Ｚスライスを決定するために、現在のスライドの赤のチャネル画像を分析する。ブロック６２５〜６７０では、該Ｚ走査構成要素２４０は、カラーチャネル（またはフィルタ帯域）のそれぞれを通してループして、それぞれに対して対応する画像をキャプチャする。ブロック６３０では、該Ｚ走査構成要素２４０は、モデルによって記憶された現在のカラーチャネル（またはフィルタ帯域）に対するオフセットを決定する。ブロック６３５では、該Ｚ走査構成要素２４０は、ブロック６２０で決定された基準Ｚスライス、および、決定されたオフセットに基づいて、オフセットＺスライスを決定する。例えば、決定された「基準」Ｚスライスが７の指数を有し、かつ、オフセットが−２の場合、該Ｚ走査構成要素２４０は、５の指数に対応するＺスライスを識別することになる。ブロック６４０では、該Ｚ走査構成要素２４０は、画像とシフトされた（例えば、１方向に数画素シフトされた）同じ画像との間の絶対差の合計、画像と、平滑化動作によって撮像をフィルタリングした結果との間の絶対差の合計、異なるフィルタスケールにおける多数の平滑化動作による画像のフィルタリング後に抽出された焦点鮮鋭度測定値、または、それらの任意の組み合わせといった、焦点鮮鋭度測定値を使用して、基準Ｚスライスの鮮鋭度を判断する。ブロック６４５では、該Ｚ走査構成要素２４０は、オフセットＺスライスの鮮鋭度を判断する。決定ブロック６５０では、基準Ｚスライスの鮮鋭度がオフセットＺスライスの鮮鋭度より大きい場合、該Ｚ走査構成要素２４０はブロック６５５に進み、さもなければ、該Ｚ走査構成要素２４０はブロック６６５に進む。ブロック６５５では、基準Ｚスライスは、現在のスライド位置およびカラーチャネル（またはフィルタ帯域）に対する画像データとして選択される。このように、オフセットＺスライスの鮮鋭度が基準Ｚスライスの鮮鋭度より小さい場合、より鮮鋭なＺスライスが選択されることになる。ブロック６６０では、該Ｚ走査構成要素２４０は、モデルを随意に更新して、現在のスライド位置およびカラーチャネル（またはフィルタ帯域）に対してオフセットを調節する。例えば、特定のモデルがスライドを分析するために使用される度に、該Ｚ走査構成要素２４０は、それぞれのスライド位置およびカラーチャネル（またはフィルタ帯域）の対に対して選択されるＺスライスの指数を記録し、かつ、この情報を使用してモデルを更新する時に平均値を計算することができる。例えば、先の５、１０、１５、または、１００のＺスライス指数の平均値（例えば、加重平均）を使用してモデルを更新することができる。ブロック６６５では、該Ｚ走査構成要素２４０は、現在のスライド位置およびカラーチャネル（またはフィルタ帯域）に対する画像データとしてオフセットＺスライスを選択する。ブロック６７０では、もしあれば、次のカラーチャネル（またはフィルタ帯域）が選択され、その後、該Ｚ走査構成要素２４０は、戻るようにループして、次のカラーチャネル（またはフィルタ帯域）を処理する。ブロック６７５では、もしあれば、次のスライド位置が選択され、該Ｚ走査構成要素２４０は、その後、戻るようにループして次のスライド位置を処理する。該Ｚ走査構成要素２４０はその後、さらなる処理および分析のために選択された画像データを戻す。

【0034】

図７は、いくつかの実施形態に従って、先に生成されたモデルを更新させる必要があるかどうかを判断し、更新させる必要がある場合、該モデルを更新するためのテスト構成要素２５０の処理を示すブロック図である。ブロック７０５では、該テスト構成要素２５０は、Ｚ較正構成要素を呼び出して、受けたスライドに基づいて新しいモデルを生成する。ブロック７１０では、該テスト構成要素２５０は新しいモデルを記憶する。ブロック７１５では、スライド位置は該テスト構成要素２５０によって判断される。ブロック７２０〜７４０では、該テスト構成要素２５０は、それぞれのスライド位置を通してループして、新しいモデルと先に生成されたモデルとの間のオフセット差を決定する。ブロック７２５〜７３５では、該テスト構成要素２５０はそれぞれのカラーチャネル（またはフィルタ帯域）を通してループする。ブロック７３０では、新しいモデルにおける現在の位置およびカラーチャネル（またはフィルタ帯域）のオフセット間の相違が判断され、該テスト構成要素２５０は先に生成されたモデルにおける現在の位置およびカラーチャネル（またはフィルタ帯域）についてのオフセットを決定する。ブロック７３５では、該テスト構成要素２５０は、もしあれば、次のカラーチャネル（またはフィルタ帯域）を選択し、その後、戻るようにループして、次のカラーチャネル（またはフィルタ帯域）を処理する。ブロック７４０では、もしあれば、次のスライド位置が選択され、該テスト構成要素２５０は、その後、戻るようにループして次のスライド位置を処理する。ブロック７４５では、該テスト構成要素２５０は、２つのモデル間の距離に対応するモデル差分値を計算する。例えば、差分値は、ブロック７３０において決定されたオフセット差の平均値を計算することによって決定される。別の例として、それぞれのモデルはオフセットのベクトルである可能性があり、オフセット差の二乗の合計の平方根に基づいたその２つの間の距離を計算することができる（例えば、以下の式）。

【0035】

【数1】

【0036】

式中、Ｎは、スライド位置およびカラーチャネル（またはフィルタ帯域）の対の数を表し、ｏｆｆｓｅｔ ｄｉｆｆｅｒｅｎｃｅ（オフセット差）は、特定のスライド位置およびカラーチャネル（またはフィルタ帯域）の対に対してブロック７３０において計算された、決定されたオフセットを表す。決定ブロック７５０では、決定されたモデル差分値が所定の閾値より大きい場合、該テスト構成要素２５０はブロック７５５に進み、さもなければ、該テスト構成要素２５０は終了する。ブロック７５５では、モデルは、例えば、先に生成されたモデルを新しいモデルと置き換えること、および、モデルに対応する日にちに対して先に計算されたオフセットの平均値（例えば、加重平均）を取ることなどによって更新される。

【0037】

図８Ａ〜８Ｅは、いくつかの実施形態において、特定のスライドに対して生成されたさまざまなＺスライスまたは焦面における画像である。この例における標本は、二色ＩＳＨ（原位置ハイブリッド形成）方法によって染色され、その目的は、核内の特異遺伝子の発色マーキングによって、腫瘍細胞内の特異遺伝子発現の指標であるドットを検出かつ分類することである。ＩＳＨにおいて、標識された相補的ＤＮＡまたはＲＮＡ鎖を使用して、ＤＮＡ／ＲＮＡ塩基配列を局所化し、次いでこれらは染色体構造の指標として働く。ドットの鮮鋭度を考慮する焦点計量を使用することが望ましい場合があり、標本、および、ドット検出が画像分析の該当部である染色方法に適応される。この画像データにとって、画像における該当構造では、青のブロブが大きくなり、黒および赤のドットが小さい。いくつかの実施形態では、顕微鏡スライド上の標本に特化した焦点鮮鋭度測定値を用いることができ、染色方法が撮像前に標本に応用された。この画像データに対して、焦点を選定して、青のブロブ、赤のドット、および、黒ドットの最も鮮鋭な表現を見出すことができ、各焦点鮮鋭度測定値を応用することができる。画像（複数可）におけるいくらか円形の特徴（例えば、ドットのような、または、円盤のような形状）から焦点鮮鋭度計量への寄与を向上させるための方法は、計量の算出の根拠を、放射形対称演算子または方向性勾配濃度フィルタを使用する際に画像処理文献の中で言及される方法の応答に置くことである。既知の標的サイズ範囲の円形ドットを検出するための方法例は、Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ、第１巻、（２００４年）の会議録における、Ｑ．ＹａｎｇおよびＢ．Ｐａｒｖｉｎによる「Ｐｅｒｃｅｐｔｕａｌ ｏｒｇａｎｉｚａｔｉｏｎ ｏｆ ｒａｄｉａｌ ｓｙｍｍｅｔｒｉｅｓ（放射形対称の知覚組織化）」、パターン解析および機械知能のＩＥＥＥトランザクション、第２５巻、第８号、９５９〜９７３頁（２００３年）における、Ｇ．ＬｏｙおよびＡ．Ｚｅｌｉｎｓｋｙによる「Ｆａｓｔ ｒａｄｉａｌ ｓｙｍｍｅｔｒｙ ｆｏｒ ｄｅｔｅｃｔｉｎｇ ｐｏｉｎｔｓ ｏｆ ｉｎｔｅｒｅｓｔ（関心点を検出するための高速放射形対称）」、および、Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ、第４１巻、１９０５〜１９２３頁（２００８年）における、Ｏ．ＳｃｈｍｉｔｔおよびＭ．Ｈａｓｓｅによる「Ｒａｄｉａｌ ｓｙｍｍｅｔｒｉｅｓ ｂａｓｅｄ ｄｅｃｏｍｐｏｓｉｔｉｏｎ ｏｆ ｃｅｌｌ ｃｌｕｓｔｅｒｓ ｉｎ ｂｉｎａｒｙ ａｎｄ ｇｒａｙ ｌｅｖｅｌ ｉｍａｇｅｓ（バイナリおよびグレーレベル画像における細胞集合の放射形対称ベース分解）」に開示されている。ドットが識別されると、焦点鮮鋭度測定値は、個々に識別されたドット全ての鮮鋭度から算出可能である。ドット境界を超える画像勾配は、１ドットの鮮鋭度を示すことができる。画像におけるドットを検出するための方法は、典型的には、最小半径および最大半径といったパラメータの選定を必要とし、顕微鏡スライド上の標本の種々の組織タイプ、および、染色方法に適応可能である。焦点鮮鋭度計量は、フィルタを一度応用する、または、種々のパラメータによって何度も応用する、および、その結果を組み合わせる際の応答に基づくことができる。図８Ａ〜８Ｅは、種々の焦面でキャプチャされたスライドまたは画像の種々のＺスライスが、画像全体を通して、および、特異的領域において鮮鋭度をどのように変化させるのが可能であるかを示す。例えば、ブロブ８１０は、図８Ａから図８Ｂへ、その後、図８Ｃへとより鮮鋭になるが、図８Ｄで鮮鋭さを失い、図８Ｅで再び取り戻す。別の例として、ブロブ８２０は、図８Ａから、図８Ｂ、図８Ｃおよび図８Ｄへとより鮮鋭になるが、図８Ｅで鮮鋭さを失う。本明細書に開示された技法を使用して、図８Ｃの焦点が合されたカラー画像を作り出すことができる。

【0038】

本明細書に開示された撮像技法を使用して、種々のタイプの試料の高度に焦点が合わせられた画像を作り出すことができる。試料を、針生検、乳腺腫瘤摘出術、または、乳房切除術中に得られるような乳房組織とすることができる。試料を、獣医学的研究対象などの人間および人間以外の哺乳類を含む部類である、多細胞脊椎動物生体から得ることもできる。開示された技法は、中央処理装置、メモリ、入力デバイス（例えば、キーボードおよびポインティングデバイス）、出力デバイス（例えば、表示デバイス）、ならびに、メモリおよび／または記憶デバイス（例えば、ディスクドライブ）を含むがこれらに限定されない種々のタイプの撮像システムに実装可能である。例えば、図１の撮像装置１１０は、１つまたは複数の処理ユニット、メモリなどを含むことができる。メモリおよび記憶デバイスを、例えば、命令を含有するコンピュータ可読媒体といった技術を実装するコンピュータ実行可能命令によって符号化可能であるコンピュータ可読媒体とすることができる。該命令を記憶かつ実行して、較正プロセス、走査プロセス、再較正プロセスを行うことができる。較正プロセスでは、命令を実行して、チャネルのそれぞれにおいて最良の焦点面を提供するチャネルにとって最良の焦点面からのＺオフセットを決定することができる。その決定をメモリに記憶することができる。走査プロセスでは、命令を実行して、図１のデジタル撮像素子１１１の視野にとって最良の焦点面を決定することができる。最良の焦点面情報を図１のメモリ１１２に記憶することができる。命令を実行して、較正プロセスにおいて決定されたＺオフセットに従ってチャネルのそれぞれにおいて画像データをその視野で得るように、図１の撮像素子１１１に指令することができる。さらに、命令、較正情報、データ構造、および、メッセージ構造は、通信リンク上の信号といったデータ伝送媒体を介して伝送可能であり、かつ、暗号化可能である。従って、コンピュータ可読媒体は、データが記憶可能であるコンピュータ可読記憶媒体１１２、および、データが送信可能であるコンピュータ可読伝送媒体を含む。データは、自動焦点ルーチンまたは技法、較正スライドデータ（または他のタイプの参照データ）、参照画像、走査技法、または、較正技法などを含むことができるがこれらに限定されない。

【0039】

本明細書に記載される技術の多くの実施形態は、プログラム可能なコンピュータによって実行されるルーチンを含むコンピュータ実行可能命令の形式を取ってよい。例えば、図１の分析システム１００は、図３および図４の較正プロセスを行うコンピュータ実行可能命令を有することができる。図１のメモリ１１２は実行可能命令を記憶することができる。本明細書に示されかつ記載されるもの以外のコンピュータシステム上で、本技術の態様を実践することができることを、当業者は理解するであろう。本技術の実施形態は、パーソナルコンピュータ、サーバコンピュータ、ハンドヘルドまたはラップトップデバイス、マルチプロセッサシステム、マイクロプロセッサベースシステム、プログラム可能大衆電子機器、デジタルカメラ、ネットワークＰＣ、ミニコンピュータ、メインフレームコンピュータ、および、上記システムまたはデバイスのいずれかを含むコンピューティング環境などを含む種々の動作環境で実装かつ使用可能である。また、本技術は、本明細書に記載されるコンピュータ実行可能命令の１つまたは複数を行うように、具体的にプログラム、構成または構築される専用コンピュータまたはデータプロセッサにおいて具体化可能である。従って、本明細書において全体的に使用される「コンピュータ」または「システム」という用語は、任意のデータプロセッサに言及し、（パームトップコンピュータ、ウェアラブルコンピュータ、セルラーまたはモバイルフォン、マルチプロセッサシステム、プロセッサベースまたはプログラム可能大衆電子機器、ネットワークコンピュータ、および、ミニコンピュータなどを含む）インターネット家電およびハンドヘルドデバイスを含むことができる。これらのコンピュータによって取り扱われる情報を、ＣＲＴ表示装置またはＬＣＤを含む任意の適した表示媒体で提示することができる。ユーザは、このような表示装置上の画像およびスコアを閲覧することができる。

【0040】

前述から、本技術の特定の実施形態が例示の目的で記載されており、本開示から逸脱することなくさまざまな修正をなすことができることは理解されるであろう。設備は、さらなる構成要素もしくは特徴、および／または、本明細書に記載される構成要素もしくは特徴の種々の組み合わせを含むことができる。また、上述した技法は概して、スライド分析の文脈で記載されるが、これらの技法を、種々のタイプのスキャナ、撮像素子、カメラなどにおいて自動焦点技法を向上させるために用いることができる。さらに、新しい技術のある実施形態に関連付けられた利点はそれら実施形態の文脈で記載されているが、他の実施形態もこのような利点を呈することができ、必ずしも全ての実施形態が、本技術の範囲内にあるような利点を呈する必要はない。従って、本開示および関連の技術は、本明細書に明示的に示されないまたは記載されない他の実施形態を包含することができる。続く例は、本明細書に開示された技術のさらなる実施形態を描写する。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8A】

【図8B】

【図8C】

【図8D】

【図8E】