特許 6573894 少なくとも二画像をレジストレーション及び視覚化するための方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6573894

(24)【登録日】2019年8月23日

(45)【発行日】2019年9月11日

(54)【発明の名称】少なくとも二画像をレジストレーション及び視覚化するための方法

(51)【国際特許分類】

   H04N 5/265 20060101AFI20190902BHJP

   G02B 21/36 20060101ALI20190902BHJP

   G06T 3/00 20060101ALI20190902BHJP

【ＦＩ】

   H04N5/265

   G02B21/36

   G06T3/00 750

【請求項の数】8

【全頁数】14

(21)【出願番号】特願2016-549165(P2016-549165)

(86)(22)【出願日】2015年1月29日

(65)【公表番号】特表2017-506384(P2017-506384A)

(43)【公表日】2017年3月2日

(86)【国際出願番号】EP2015051745

(87)【国際公開番号】WO2015117875

(87)【国際公開日】20150813

【審査請求日】2017年11月8日

(31)【優先権主張番号】14153744.9

(32)【優先日】2014年2月4日

(33)【優先権主張国】EP

【早期審査対象出願】

【前置審査】

(73)【特許権者】

【識別番号】590000248

【氏名又は名称】コーニンクレッカ フィリップス エヌ ヴェ

【氏名又は名称原語表記】ＫＯＮＩＮＫＬＩＪＫＥ ＰＨＩＬＩＰＳ Ｎ．Ｖ．

(74)【代理人】

【識別番号】100122769

【弁理士】

【氏名又は名称】笛田 秀仙

(74)【代理人】

【識別番号】100163809

【弁理士】

【氏名又は名称】五十嵐 貴裕

(72)【発明者】

【氏名】ファン リーウェン マリヌス バスティアーン

(72)【発明者】

【氏名】ヴィンク イェルテ ペーター

【審査官】 佐田 宏史

(56)【参考文献】

【文献】 特開２０１３−１５２４５２（ＪＰ，Ａ）

【文献】 特開２０００−２７０１６９（ＪＰ，Ａ）

【文献】 特開２０１３−２００６４０（ＪＰ，Ａ）

【文献】 特表２０１３−５３０４６７（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １／３８７，５／２６２−５／２６５

Ｇ０２Ｂ ２１／３６

Ｇ０６Ｔ １／００，３／００，７／００−７／９０

(57)【特許請求の範囲】

【請求項1】

少なくとも二画像をレジストレーション及び視覚化するための方法であって、
前記少なくとも二画像からの第１画像のスクロール可能及び／又はズーム可能な視覚化中にユーザによって使用されるナビゲーション速度を測定し、前記ナビゲーション速度をナビゲーション速度閾値と比較するステップと、
前記ナビゲーション速度が前記ナビゲーション速度閾値を下回る場合、第１レベルの計算負荷を用いて前記第１画像の変形を解くことによって前記第１画像を視覚化するステップと、
前記ナビゲーション速度が前記ナビゲーション速度閾値を上回る場合、第２レベルの計算負荷を用いて前記第１画像の変形を解くことによって前記第１画像を視覚化するステップと、
前記少なくとも二画像の局所レジストレーションを実行するステップとを有し、
前記第１画像のスクロール可能及び／又はズーム可能な視覚化中に前記ユーザによって使用される前記ナビゲーション速度が、特徴マッチングを用いて測定され、
前記ナビゲーション速度が前記ナビゲーション速度閾値を上回るとき、前記第１画像の変形を解くステップが並進及び回転変換を適用するステップを有し、前記ナビゲーション速度が前記ナビゲーション速度閾値を下回るとき、前記第１画像の変形を解くステップが非線形精緻化を適用するステップを有する、方法。

【請求項2】

前記第１画像の変形を解くステップが、前記第１画像の画像並進、前記第１画像の画像回転、前記第１画像のスケール変動、前記第１画像の追加線形変形若しくは前記第１画像の非線形変形を有する、請求項１に記載の方法。

【請求項3】

前記第１画像のスクロール可能及び／又はズーム可能な視覚化中に前記ユーザによって使用される前記ナビゲーション速度がユーザインターフェース装置から取得される、請求項１又は２に記載の方法。

【請求項4】

プロセッサによって実行されるとき、請求項１に記載の方法のステップを実行するコンピュータプログラムが格納された、コンピュータ可読媒体。

【請求項5】

少なくとも二画像をレジストレーション及び視覚化するためのコントローラであって、
命令を格納するメモリと、
前記命令を実行するプロセッサとを有し、前記プロセッサにより実行されるとき、前記命令が前記コントローラに方法を実行させ、前記方法が、
前記少なくとも二画像からの第１画像のスクロール可能及び／又はズーム可能な視覚化中にユーザによって使用されるナビゲーション速度を測定し、前記ナビゲーション速度をナビゲーション速度閾値と比較するステップと、
前記ナビゲーション速度が前記ナビゲーション速度閾値を下回る場合、第１レベルの計算負荷を用いて前記第１画像の変形を解くことによって前記第１画像を視覚化するステップと、
前記ナビゲーション速度が前記ナビゲーション速度閾値を上回る場合、第２レベルの計算負荷を用いて前記第１画像の変形を解くことによって前記第１画像を視覚化するステップと、
前記少なくとも二画像の局所レジストレーションを実行するステップとを有し、
前記第１画像のスクロール可能及び／又はズーム可能な視覚化中に前記ユーザによって使用される前記ナビゲーション速度が、特徴マッチングを用いて測定され、
前記ナビゲーション速度が前記ナビゲーション速度閾値を上回るとき、前記第１画像の変形を解くステップが並進及び回転変換を適用することを有し、前記ナビゲーション速度が前記ナビゲーション速度閾値を下回るとき、前記第１画像の変形を解くステップが非線形精緻化を適用することを有する、コントローラ。

【請求項6】

デジタル画像レジストレーション及び視覚化のためのイメージングシステムであって、
画像プロセッサであって、
ナビゲーション速度をナビゲーション速度閾値と比較するように構成され、前記ナビゲーション速度は少なくとも二画像の第１画像のスクロール可能及び／又はズーム可能な視覚化中にユーザによって使用され、前記第１画像のスクロール可能及び／又はズーム可能な視覚化中に前記ユーザによって使用される前記ナビゲーション速度が、特徴マッチングを用いて測定され；
前記ナビゲーション速度が前記ナビゲーション速度閾値を下回るとき、第１レベルの計算負荷を用いて前記第１画像の変形を解くことによって前記第１画像を視覚化するように構成され；
前記ナビゲーション速度が前記ナビゲーション速度閾値を上回るとき、第２レベルの計算負荷を用いて前記第１画像の変形を解くことによって前記第１画像を視覚化するように構成され、前記ナビゲーション速度が前記ナビゲーション速度閾値を上回るとき、前記第１画像の変形を解くステップが並進及び回転変換を適用することを有し、前記ナビゲーション速度が前記ナビゲーション速度閾値を下回るとき、前記第１画像の変形を解くステップが非線形精緻化を適用することを有し；
前記少なくとも二画像の局所レジストレーションを実行するように構成される、画像プロセッサと、
前記少なくとも二画像を表示するように構成されるディスプレイとを有する、イメージングシステム。

【請求項7】

前記第１画像の変形を解くことが、前記第１画像の画像並進、前記第１画像の画像回転、前記第１画像のスケール変動、前記第１画像の追加線形変形若しくは前記第１画像の非線形変形を有する、請求項６に記載のイメージングシステム。

【請求項8】

前記第１画像のスクロール可能及び／又はズーム可能な視覚化中に前記ユーザによって使用される前記ナビゲーション速度がユーザインターフェース装置から取得される、請求項６に記載のイメージングシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は少なくとも二画像をレジストレーション及び視覚化するための方法、並びにデジタル画像レジストレーション及び視覚化のためのイメージングシステムに関する。

【背景技術】

【0002】

ＵＳ２０１３／００８９２４９ Ａ１はデジタル病理学における画像処理法を記載する。記載の処理法は領域内のサンプルをあらわす第１デジタル画像を処理し、当該画像は顕微鏡イメージングシステムを用いてサンプルから収集されている。画像は多重解像度画像データ構造に保存され、第１解像度で第１デジタル画像のサブ領域を読み出し、読み出されたサブ領域に対して変換関数を実行し、変換関数は第１デジタル画像の第２解像度表現から導出される少なくとも一つのメトリックに従ってサブ領域のコンテンツを修正する。

【0003】

ＵＳ２００８／０１３８５２ Ａ１は画質を改良するためのシステム、方法及びコンピュータプログラム製品を記載する。記載の方法によれば、二つの異なるスケール空間値に基づいてピクセルの二つのリストを生成するために入力画像のピクセルが使用される。その後、二つのピクセルリストが処理され、改良された画質を持つ出力画像を取得する。ＵＳ２０１０／１５７０７９ Ａ１は画像を選択的に組み合わせるシステムと方法を記載する。装置は第１画像に対応する第１画像データと第２画像に対応する第２画像データに基づいて動きベクトルデータのセットを生成するように構成されるレジストレーション回路を含む。

【0004】

ＵＳ２０１３０１６８８６ Ａ１は組織サンプルの隣接スライスの高解像度デジタルイメージングのための方法を記載する。各タイルにおいて検出される画像オブジェクトに関連する値が計算される。隣接画像中のタイルがコレジストレーションされる。第１ハイパースペクトル画像が第１画像を用いて生成され、第２ハイパースペクトル画像が第２画像を用いて生成される。

【0005】

ＵＳ２０１２／０６８９２８ Ａ１はオペレーションのセットを含むデジタル病理学環境において標本スライドを検査及び操作するための装置と方法を記載する。いずれかの方向にスクロールホイールを素早く動かすことが、最小若しくは最大倍率へのジャンプ、又は次の順次インクリメントを超える前進への指示として構成され得、中間倍率の負荷を未然に防ぐ。

【発明の概要】

【発明が解決しようとする課題】

【0006】

高速若しくはリアルタイムの複雑な画像レジストレーション及び視覚化のためにデジタル画像処理を改良する必要性があり得る。

【課題を解決するための手段】

【0007】

これらの必要性は独立クレームの主題によって満たされる。さらなる実施形態例は従属クレーム及び以下の記載から明らかとなる。

【0008】

本発明の一態様は少なくとも二画像をレジストレーション及び視覚化するための方法に関し、当該方法は、少なくとも二画像の第１画像のスクロール可能及び／又はズーム可能な視覚化中にユーザによって使用されるナビゲーション速度を測定し、ナビゲーション速度をナビゲーション速度閾値と比較するステップ；ナビゲーション速度がナビゲーション速度閾値を下回る場合、第１レベルの計算負荷を用いて第１画像の変形を解くことによって第１画像を視覚化するステップ；並びにナビゲーション速度がナビゲーション速度閾値を上回る場合、第２レベルの計算負荷を用いて第１画像の変形を解くことによって第１画像を視覚化するステップを有する。

【0009】

本発明のさらなる態様はデジタル画像レジストレーション及び視覚化のためのイメージングシステムに関し、当該イメージングシステムは、ナビゲーション速度をナビゲーション速度閾値と比較するように構成される画像プロセッサであって、当該ナビゲーション速度は少なくとも二画像の第１画像のスクロール可能及び／又はズーム可能な視覚化中にユーザによって使用され、当該画像プロセッサはさらに、ナビゲーション速度がナビゲーション速度閾値を下回る場合、第１レベルの計算負荷を用いて第１画像の変形を解くことによって第１画像を視覚化するように構成され、当該画像プロセッサはさらに、ナビゲーション速度がナビゲーション速度閾値を上回る場合、第２レベルの計算負荷を用いて第１画像の変形を解くことによって第１画像を視覚化するように構成される、画像プロセッサと、少なくとも二画像を表示するように構成されるディスプレイとを有する。

【0010】

本発明はリアルタイム若しくは高速の複雑な画像レジストレーション及び視覚化を実行することを可能にする。二画像がレジストレーションのために使用される。両画像間の粗い変換を特定するアルゴリズムが実行される。両画像間の精密な変換を特定するアルゴリズムが実行される。連続画像間の変化量を示すアルゴリズムが実行され、これは粗雑から精密へ及びその逆の変換をトリガするために使用される。

【0011】

本発明は、ユーザへのフィードバックタイムを削減するためにレジストレーションが可能な限り速く起こるように、デジタル病理画像などサイズの大きい二画像をレジストレーションするための方法を有利に提供する。方法は粗雑レジストレーション及び視覚化の後精密レジストレーション及び視覚化が続くことに基づく。

【0012】

サンプル関心領域（ＲＯＩ）及び／又は残りのサンプルの画像が、サンプルＲＯＩの分離後に生成される。この画像はサンプル全体の画像も生成したサンプル画像生成ユニットで、又は別の装置で生成され得る。サンプルＲＯＩの（若しくはサンプルの残りの）画像はサンプル全体の画像に、特に選択された画像ＲＯＩに比較されることができ、従って実際のサンプルＲＯＩが所望の関心領域に対応するか否かの検証を可能にする。

【0013】

本発明の一実施形態例によれば、第１画像の変形を解くステップは第１画像の画像並進、第１画像の画像回転、第１画像のスケール変動、第１画像の追加線形変形若しくは第１画像の非線形変形を有する。

【0014】

本発明の一実施形態例によれば、第１画像のスクロール可能及び／又はズーム可能な視覚化中にユーザによって使用されるナビゲーション速度はユーザインターフェース装置から取得される。

【0015】

二つのデジタル画像のレジストレーションの場合、ナビゲーション速度はユーザの最終更新要求からの時間によって有利に決定され得る。ユーザが絶えずパン及び／又はズームしている場合、精密変換は省略される。ユーザが視点を変えない場合、例えばパン及び／又はズームしない場合、精密変換が実行される。

【0016】

本発明の一実施形態例によれば、第１画像のスクロール可能及び／又はズーム可能な視覚化中にユーザによって使用されるナビゲーション速度はＳＩＦＴ特徴マッチングを用いて測定される。

【0017】

本発明の一実施形態例によれば、方法は少なくとも二画像の局所レジストレーションを実行するステップをさらに有する。

【0018】

本発明の一実施形態例によれば、ナビゲーション速度がナビゲーション速度閾値を上回る場合、第１画像の変形を解くことは並進及び回転変換を適用することを有し、ナビゲーション速度がナビゲーション速度閾値を下回る場合、第１画像の変形を解くことは非線形精緻化を適用することを有する。

【0019】

本発明の一実施形態例によれば、ナビゲーション速度がナビゲーション速度閾値を上回る場合、第１画像の変形を解くことは第１解像度レベルで変換を適用することを有し、ナビゲーション速度がナビゲーション速度閾値を下回る場合、第１画像の変形を解くことは第２解像度レベルで変換を適用することを有し、第１解像度レベルは第２解像度レベルよりも低い。

【0020】

本発明はさらに分子診断、分子病理学のために、特にオンコロジーアプリケーション、生物試料分析、化学試料分析、食品分析、及び／又は法医学的分析のために使用されるデジタル画像解析に関する。分子診断は例えば標的分子に直接若しくは間接的に付着される磁気ビーズ若しくは蛍光粒子を利用して達成され得る。

【0021】

本発明及びそれに付随する利点のより完全な評価は、原寸通りではない以下の略図を参照してより明確に理解される。

【図面の簡単な説明】

【0022】

【図1】本発明にかかるサンプルの検査を概略的に示す。

【図2】本発明を説明するための二つの免疫組織化学染色スライドの画像レジストレーションの例を示す。

【図3】本発明の一実施形態例にかかる構成要素の概観を示す。

【図4】本発明の一実施形態例にかかる少なくとも二画像をレジストレーション及び視覚化するための方法の略フローチャート図を示す。

【発明を実施するための形態】

【0023】

図中の例示は概略であって原寸通りではない。異なる図において、同様の若しくは同一の要素は同じ参照数字を与えられる。本特許出願で使用される"ナビゲート"という語は、全体が見えていないより大きな画像のように一見思われるものにわたる、ユーザのビューのスクロール、パン、ズーム若しくは傾斜を含む、任意の動きをあらわす。言い換えれば本特許出願にかかるスクロールとは、コンピュータのディスプレイ上でデータのビューを変更することを意味する。スクロールは離散的単位で、おそらく画像の一つ若しくはいくつかの部分を一度に若しくは連続的に、起こり得る。

【0024】

概して、同一の部分、ユニット、エンティティ若しくはステップは図において同じ参照符号を与えられる。

【0025】

患者の材料（組織及び細胞）の病理学診断検査は、特にオンコロジーにおいて、多くの治療診断の基礎である。標準的な、生検由来の薄いスライスが顕微鏡スライド上に示され、組織の形態学を視覚化するために特定プロトコルに従って染色される。より最近は疾患特異的バイオマーカについてのｉｎ‐ｓｉｔｕ染色が標的薬の比較診断のために開発されている。評価は明視野顕微鏡でなされ得る。診断が再評価される必要がある場合のバックアップとして、スライドは検査後に長期間保存される必要がある。

【0026】

デジタル病理学は、顕微鏡がデジタルスキャナによって置き換えられる新しい技術であり、デジタルスキャナは被染色組織切片を自動的にスキャンし、十分な解像度とカラーレンダリングを伴うデジタル形式で画像を保存するので、病理学者は顕微鏡において直接し得るのと同じ診断をデジタル画像からすることができる。後者はデジタル画像が物理的スライドを置き換えることができることを意味する。デジタル画像がスライドの代わりに保存され得る。

【0027】

上記形式の分析は別にして、組織及び細胞生検はｑ‐ＰＣＲ及びシークエンシングのような分子法（"分子診断"若しくは"ＭＤｘ"と略される）でも検査され得る。このいわゆる分子病理学は新たな分子バイオマーカの出現により重要性が高まっている。病理学者は正しい治療選択のために癌組織の生物学特徴を同定する分子検査を行うことを形態学的情報に基づいて決定することが多い。多くの分子バイオマーカは組織上でｉｎ ｓｉｔｕに定量化されることができず、又は少なくとも要求精度では不可能であり、ＰＣＲ若しくはシークエンシングのような別の分子診断テストが、一般に生検から既に採取されているクーペからの、生検から採取されるサンプル上で実行される。この組織切片はＤＮＡ若しくはｍＲＮＡマーカの測定前に細胞溶解によって処理される。結果として空間情報が失われる。

【0028】

腫瘍組織は一般に癌細胞だけでなく、異なる細胞型から成り、癌細胞でも腫瘍の異なるエリアにおいて分子構造が大いに異なり得る。従って分子解析の結果は分子検査用のサンプルとして使用される組織切片の厳密な組成に依存する。癌細胞がより希釈されるほど、検査結果は低感度で不確定になる。加えて、癌細胞集団内の不均質性はＭＤｘアッセイにおけるノイズも生じ、感度と特異性だけでなく再現性も削減する。再現性は単に各サンプルが固有であるという理由で一般に主要な問題である。

【0029】

デジタル病理学では、現在生検クーペのサブ切片上で分子検査を行う可能性はない。全クーペ上での検査は、異なる出所（例えば内皮、繊維芽細胞及び免疫細胞）の良性細胞と癌細胞不均質性による標的細胞の希釈のために、準最適な精度と感度を持つ。

【0030】

マニュアル選択は正確さを欠くことが多く、従って非常に低濃度の汚染さえも増幅するＰＣＲの場合特に、汚染を生じやすい。

【0031】

関心細胞の純粋画分を取得することは時間がかかる可能性があり、除去により高解像度を要する。上述のアプローチは選択の要件を緩和することを可能にし、どれ位容易な若しくは信頼できる切片が除去されることができるかを考慮する追加パラメータとのバランスをとり、選択の総サイズを制御する。好都合な選択のために、より大きな連続切片が好適である。

【0032】

画像解析は、最終的に解剖された組織における同定された細胞型の各々の数及び割合のような、表形式パラメータを提供することができる。エリアの形状は、総面積、許容曲率及び結合性のようなパラメータを含む設計基準によって制限され得る。アルゴリズムに基づいて、最適条件が各ＭＤｘに特異的であり得る所定選択アルゴリズムを所与として決定され得る。

【0033】

このアプローチの一実施形態例において、組織スライドはＨＥＲ２免疫組織化学若しくは免疫蛍光染色、又は染色アッセイの組み合わせで所定の臨床的適応に従って染色され得る。

【0034】

そしてスライドはデジタルスキャナによってスキャンされ得、得られる画像は共通の特徴のエリアを同定し示すためにコンピュータプログラムによって解析され得る。こうしたエリアは必要な場合若しくはその他望ましい場合に、確認及び適応のために病理学者に提示され得る。これらのエリアから"サンプルＲＯＩ"とよばれる関心領域がソフトウェアプログラムによって定義され得、これはＭＤｘ検査のために選択されるサンプルの一部をあらわす。

【0035】

所与の実施例におけるＨＥＲ２の平均発現、及び細胞全体の発現の統計的分布のような、典型的なパラメータがそのサンプルＲＯＩに注釈付けされる。選択されたサンプルＲＯＩの座標はＭＤｘ用のサンプルの物理的選択を処理するサンプル分離ユニットへ送信され得る。選択された"サンプルＲＯＩ"は転送装置へ転送され得るか、又は直接、ＭＤｘ検査のために使用される消耗品であり得る。

【0036】

ＭＤｘ検査は、ｑＲＴ‐ＰＣＲ、ｑｒｔ‐ＰＣＲ、シークエンシング若しくは次世代シークエンシング、又はマイクロアレイハイブリダイゼーション、又はこれらの組み合わせなど、サンプル調製と分子解析を有し得る。その分析の結果は最終的に組織選択アルゴリズムからの情報に関連付けられ、オプションとして解釈され、ＭＤｘ用に選択されたサンプルＲＯＩも示される組織のデジタル画像と一緒に病理学者へ提示される。

【0037】

図１は本発明にかかるサンプルの検査を概略的に示す。

【0038】

検査はサンプル調製ユニット１００で開始し、ここで生体組織のスライス１１がキャリアとして機能する顕微鏡スライド１０上に準備される。典型的に、組織サンプルはパラフィン包埋生検から約４‐８ミクロンの薄い切片を切り出すことによって取得される。いわゆるクーペが水膜上の顕微鏡ガラススライド１０上に置かれ、ミクロトーム負荷から緩和し、そして乾燥させる。さらに、サンプル１１はオプションとして適切な染色１２によって、例えばヘマトキシリン‐エオジン（Ｈ＆Ｅ）若しくはＩＨＣによって染色され得る。異なるアプリケーションに利用可能な複数の染色プロトコルがある。染色プロトコルは試薬を含む異なる溶液中にクーペとともにスライドを浸すことによって手動でベンチ上で実行され得るが、自動化された方法で実行されることもできる。

【0039】

一つ以上のマーカＭが顕微鏡スライド１０上にプリントされるか若しくはその中に彫刻され、これは後にスライド１０上の実際の座標に画像座標を関連付けるための基準点として機能し得る。さらに、後のスキャン中に高画質を可能にするため、及び長期保管期間にわたってサンプルの保存を保証するために、スライド１０はサンプル１１とともに好適にはカバースリップ（不図示）でカバーされる。

【0040】

調製ステップ後、スライド１０はサンプル１１とともに特にデジタルスキャン顕微鏡であり得る画像生成ユニット２００へ移される。

【0041】

サンプルのデジタル画像Ｉは顕微鏡２００によって生成される。顕微鏡はイメージングシステム３００に接続され、これは顕微鏡２００をビデオ画像源として使用し、ディスプレイ３０１とビデオ画像源データのデジタル画像処理用の画像プロセッサ３０２とを有する。

【0042】

イメージングシステム３００は例えばマウス若しくはキーボードなどのユーザインターフェース装置を有し得、イメージングシステム３００は第１画像及び／又は第２画像のスクロール可能な及び／又はズーム可能な視覚化を提供するように構成され得る。スクロール可能な及び／又はズーム可能な視覚化はユーザインターフェース装置を用いることによって入力コマンドに従って実行され得る。ユーザは第１画像及び／又は第２画像のスクロール可能及び／又はズーム可能な視覚化中に使用されるナビゲーション速度を変更し制御し得る。イメージングシステム３００はデジタル画像処理において使用される様々な画像変換に基づいて第１画像及び／又は第２画像の視覚化を提供するように構成され得る。画像プロセッサ３０２を用いて、デジタル画像に対し画像処理を実行するアルゴリズムが使用される。アルゴリズムは入力データに適用され得、処理中のノイズ及び信号ひずみの蓄積などの問題を回避することができる。

【0043】

異なる計算負荷能力が画像プロセッサ３０２による画像変換のために使用され得、使用される能力の最大閾値もイメージングシステム３００によって定義され得、これは同じ処理ユニットのマルチユーザがいる場合に有利である。

【0044】

図２は二つの免疫組織化学染色スライドの画像レジストレーションの例を示す。図２の左上部分において、両スライド間のミスアライメント誤差の例が示される。図２の左下部分において、完全な画像のレジストレーション結果の例が提示される。図２の右側において、両スライドにおけるマッチする視野の同時視覚化が提示される。

【0045】

組織病理学画像の解析に加えて、分子法、例えばＰＣＲ若しくはシークエンシングも（腫瘍）組織の生物学的特徴を同定するために使用される。ポリメラーゼ連鎖反応（ＰＣＲ）は単一若しくは数コピーのＤＮＡ断片を数桁を超えて増幅し、特定ＤＮＡシーケンスの数千から数百万コピーを生成する分子生物学における生化学技術である。

【0046】

分子法では、組織の一部が追加の分子解析のために選択される。分子解析は選択された組織領域の厳密な組成に大きく依存し、関心領域（ＲＯＩ）の選択の正確さが重要である。現在、ＲＯＩはＨ＆Ｅ染色サンプルから手動で選択される。

【0047】

ＭＤｘが次のステップとして選択される場合、一つ以上の連続サンプルが使用される。新たなサンプルを使用する理由の一つは、Ｈ＆Ｅサンプルがガラスプレート間に密封されるという事実である。他の理由はＨ＆Ｅサンプルを将来の参考と長期保管のために保全しておきたいという願望（法的な理由）及びＨ＆Ｅ染色のＭＤｘとの不適合性である。

【0048】

典型的に、医療専門家は第２のサンプルを（カバースリップなしで）顕微鏡下に置き、先に検出されたＲＯＩとマッチする組織部分を見つけるためにサンプルをブラウズする。Ｈ＆Ｅサンプルと第２のサンプル間の外観の違いに依存して、第２のサンプルにおけるＲＯＩの検索は煩雑になり得る。ＲＯＩ選択ステップの正確さの重要性のために、このステップにおいてオペレータを支援する手段が有益である。

【0049】

画像解析アルゴリズムは顕微鏡で取得された第２のサンプルのライブビデオストリームに対してＨ＆Ｅサンプル中の選択されたＲＯＩの画像データをマッチさせるように開発され得る。この画像マッチングのプロセスは計算時間を要し、結果として画像パイプラインにおいて遅延を導入する。画像マッチングに加えて、画像マッチングの視覚化も計算時間を消費することになり、従って遅延を追加する。総遅延が小さいまま、例えば１０Ｈｚを上回る限りは、ビデオストリームに導入される遅延は許容可能である。サンプル間のより複雑な変換は典型的にはより長い計算時間をもたらす。サンプル間の変換の相違は大きくなる可能性があり、単純な並進と回転から成るが、組織の引き伸ばし、裂け目、及び折り目によって生じる非線形局所変形及びスケールのわずかな変動の可能性もある。

【0050】

図３は本発明の一実施形態例にかかる構成要素の外観を示す。

【0051】

図３は本発明にかかるアルゴリズム構造を示す。アルゴリズムの入力は組織サンプル１の画像（"基準画像"）と組織サンプル２の画像（"標的画像"）である。時間ｔにおける標的画像の画像コンテンツが、以前にキャプチャされ画像バッファに保存されている標的画像と比較される。本発明の一実施形態では、画像中のピクセルのサブセットに対して差分画像が計算される。

【0052】

動き若しくは既定閾値を超える動き若しくは倍率変化がある場合、時間ｔにおける標的画像と時間ｔ−１における標的画像は実質的に異なり、（完全）基準画像との画像の複雑なマッチングにつながり、非線形精緻化（非線形変形の推定だけでなく視覚化の両方）にとって不十分な時間を残す。従って、並進｛Ｔｘ，Ｔｙ｝及び回転｛Ｒ｝並びにスケールのみに関して基準画像と標的画像間の単純変換を記述する剛性変換パラメータを推定する。当初は、並進における変化のみについてレジストレーションを補正することが我々の意図である。しかしながら、変換パラメータの推定は回転が無視される場合不安定若しくは不正確になりやすい。

【0053】

動きがない場合又は限られた計算時間のみが動き推定において失われる場合、両画像間の変換を記述するより正確な非線形変換パラメータを推定する時間が残る。標的画像の視覚化は並進及び回転で更新される。次のステップにおいて変換もその非線形性成分で図においてさらに精緻化される。

【0054】

小さな動きの場合、小さな動きは既定閾値を下回る動きをあらわすが、変位は比較的単純な／効率的な動き推定法（例えば投影強度プラス１Ｄ相関に基づく）で推定されることができる。加えて、視野において依然観察される部分について結果を再利用することが可能である。これは先と同様、より詳細な変換の推定と視覚化の余地を残す。

【0055】

ナビゲーション速度閾値若しくは動き閾値は、例えば毎秒０から５画像の範囲の間で予め定義され得るか、又は毎秒スクリーン高さ若しくはスクリーン幅単位で、例えばそれぞれ毎秒０から５スクリーン高さ若しくは幅の範囲の間で定義され得る。ナビゲーション速度閾値は動的に設定されることができる、すなわち閾値は固定値をあらわさなくてもよい。ナビゲーション速度閾値は利用可能な計算リソースに基づき得る。

【0056】

構成要素Ｂ１‐１は基準画像ｔをあらわし、構成要素Ｂ１‐２は特徴抽出サブルーチンを象徴する。構成要素Ｂ２‐１は推定剛性特徴変換に対応し、構成要素Ｂ２‐２はレジストレーション｛Ｔｘ，Ｔｙ，Ｒ｝とスケールをあらわす。構成要素Ｂ３‐１は標的画像ｔをあらわし、構成要素Ｂ３‐２は特徴抽出を象徴する。構成要素Ｂ３‐３は画像バッファに対応し、構成要素Ｂ３‐４は計算されたＳＩＦＴベース動き推定若しくは任意の他の動き推定をあらわす。構成要素Ｂ３‐５は動きが存在するかどうか若しくはナビゲーション速度閾値が超えられるかどうかに関するクエリのシンボルである。

【0057】

構成要素Ｂ４‐１は非線形変換の推定をあらわし、構成要素Ｂ４‐２は｛Ｔｘ，Ｔｙ，Ｒ｝の形のレジストレーション及びスケールを象徴する。構成要素Ｂ４‐３は｛Ｔｘ，Ｔｙ，非線形｝の形のレジストレーションに対応する。

【0058】

図４は本発明の一実施形態例にかかる少なくとも二画像をレジストレーション及び視覚化するための方法の略フローチャート図を示す。

【0059】

少なくとも二画像をレジストレーション及び視覚化する方法は以下のステップを有する。

【0060】

方法の第１ステップとして、少なくとも二画像の第１画像のスクロール可能及び／又はズーム可能な視覚化中にユーザによって使用されるナビゲーション速度を測定し、ナビゲーション速度をナビゲーション速度閾値と比較するステップＳ１が実行される。

【0061】

方法の第２のステップとして、ナビゲーション速度がナビゲーション速度閾値を上回る場合、第１レベルの計算負荷を用いて第１画像の変形を解くことによって第１画像を視覚化するステップＳ２が実行される。

【0062】

方法の第３のステップとして、ナビゲーション速度がナビゲーション速度閾値を下回る場合、第２レベルの計算負荷を用いて第１画像の変形を解くことによって第１画像を視覚化するステップＳ３が実行される。

【0063】

本発明の一実施形態例において、デジタルスキャンを基準として使用するカメラフィードのライブレジストレーションが、少なくとも二画像をレジストレーション及び視覚化するための方法によって実行される。

【0064】

本発明の別の実施形態例において、二つ以上のデジタルスキャンの画像レジストレーションが、少なくとも二画像をレジストレーション及び視覚化するための方法によって実行される。

【0065】

二つ以上のデジタルスキャンの場合、変位情報はユーザインタラクション装置（例えばデジタル環境におけるナビゲーションのために使用されるマウス、キーボード、若しくは他の装置）から直接利用可能であることがある。この場合は動き推定のための計算時間を要しないが、粗雑視覚化（｛Ｔｘ，Ｔｙ，Ｒ｝のみ）と精密視覚化との差が、サーバの計算負荷を節約するために依然望ましい。

【0066】

高解像度画像であり得る二画像間のレジストレーションを実行するために、以下のステップのサブセットが実行される。

【0067】

画像中の局所特徴を検出して記述するコンピュータビジョンにおけるアルゴリズムであるＳＩＦＴを用いて特徴の計算が実行される。

【0068】

変換の計算が、例えばＳＩＦＴ特徴マッチングに基づいて、又は投影強度の相関に基づいて実行され、これは比較的小さな変位、例えば閾値未満の変位に適用可能であり得る。局所変形の計算は例えば局所エッジ構造のマッチングによって実行される。

【0069】

画像の変換は並進と回転のみを用いて実行される。これはスケールによっても実行され得る。追加ステップとして、少なくとも二画像のうち一つの局所変形が実行され得る。

【0070】

ユーザ経験が依然快適であるようなフレームレート若しくは要求視点のビューイング若しくはローディング遅延によって制約され得る、利用可能な処理される計算負荷及び／又は時間量に依存して、上述のステップを用いる異なるストラテジが適用可能である。これらのステップは混合されるか若しくは同時に処理され得る。

【0071】

本発明の別の実施形態例において、大きな変位の場合、局所変形も適用するのではなく粗い概観が提示される。従って、局所変形の計算及び少なくとも二画像のうち一つの局所変形は無視されることができ、粗いが許容可能なレジストレーション、限られた遅延で許容可能な高フレームレートをもたらす。

【0072】

本発明の別の実施形態例において、小さな変位、例えば変位閾値未満の場合、例えば投影強度の相関に基づく、動き推定のためにより効率的なアルゴリズムを用いることによって、又は前のフレームと重なるエリアからの情報を再利用することによって、時間若しくは計算負荷が節約され得る。そして、節約された時間は局所変形を計算するため及び局所変形の視覚化のために使用されることができる。

【0073】

本発明の別の実施形態例において、アクティブなパン及びズームが適用される。ユーザがアクティブにパン及びズームしている場合、並進と回転の補正が実行される。パン及びズームにアクティブでありながら、レジストレーションの非線形及び／又は精密な詳細は必要なく、省略され得る。

【0074】

本発明の別の実施形態例において、パン及び／又はズームは起こらず、例えばユーザはパン及び／又はズームしておらず、画像は並進と回転を用いて表示される。そして、局所変形の計算が開始される。一旦、局所変形画像が利用可能になると、視点が更新される。

【0075】

本発明の別の実施形態例において、適切なシステム上で先の実施形態の一つにかかる方法の方法ステップを実行するのに適していることを特徴とするコンピュータプログラム若しくはコンピュータプログラム素子が提供される。

【0076】

従ってコンピュータプログラム素子は本発明の一実施形態の一部でもあり得るコンピュータユニット上に保存され得る。このコンピュータユニットは上記方法のステップを実行するか若しくはその実行を誘導するように適応され得る。

【0077】

さらに、これは上記装置の構成要素を操作するように適応され得る。コンピュータユニットは自動的に作動する、及び／又はユーザの命令を実行するように適応され得る。コンピュータプログラムはデータプロセッサのワーキングメモリへロードされ得る。従ってデータプロセッサは本発明の方法を実行するように装備され得る。

【0078】

本発明のこの実施形態例は初めから本発明を使用するコンピュータプログラムと、アップデートにより既存のプログラムを本発明を使用するプログラムへ変えるコンピュータプログラムの両方をカバーする。

【0079】

さらに、コンピュータプログラム素子は上記方法の一実施形態例の手順を満たす全所要ステップを提供することができてもよい。

【0080】

本発明のさらなる実施形態例によれば、前章によって記載されるコンピュータプログラム素子を記憶した、ＣＤ‐ＲＯＭなどのコンピュータ可読媒体が提示される。

【0081】

コンピュータプログラムは、他のハードウェアと一緒に若しくはその一部として供給される光学記憶媒体若しくはソリッドステート媒体などの適切な媒体上に記憶及び／又は分散され得るが、インターネット又は他の有線若しくは無線通信システムなどを介して他の形式で分散されてもよい。

【0082】

しかしながら、コンピュータプログラムはワールドワイドウェブのようなネットワークを介して提示されてもよく、かかるネットワークからデータプロセッサのワーキングメモリへダウンロードされることができる。

【0083】

本発明のさらなる実施形態例によれば、コンピュータプログラム素子をダウンロードに利用可能にするための媒体が提供され、かかるコンピュータプログラム素子は本発明の前記実施形態の一つにかかる方法を実行するように構成される。

【0084】

本発明の実施形態は異なる主題に関して記載されていることが留意されなければならない。特に、一部の実施形態は方法タイプクレームに関して記載されるが、他の実施形態は装置タイプクレームに関して記載される。

【0085】

しかしながら、当業者は上記及び下記から、他に明記されない限り、一タイプの主題に属する特徴の任意の組み合わせに加えて、異なる主題に関する特徴間の任意の組み合わせも本願とともに開示されるとみなされることがわかるだろう。しかしながら、全特徴は組み合わされて特徴の単なる総和以上の相乗効果をもたらし得る。

【0086】

本発明は図面と先の説明において詳細に図示され記載されているが、かかる図示と記載は例示若しくは説明であって限定ではないとみなされるものとする。本発明は開示の実施形態に限定されない。開示の実施形態への他の変更は図面、開示及び添付のクレームの考察から、請求される発明を実施する当業者によって理解されもたらされることができる。

【0087】

クレーム中、"有する"という語は他の要素若しくはステップを除外せず、不定冠詞"ａ"若しくは"ａｎ"は複数を除外しない。単一プロセッサ若しくはコントローラ若しくは他のユニットはクレームに列挙される複数の項目の機能を満たし得る。特定の手段が相互に異なる従属クレームに列挙されるという単なる事実はこれら手段の組み合わせが有利に使用されることができないことを示さない。クレーム中の任意の参照符号は範囲を限定するものと解釈されてはならない。

【図1】

【図2】

【図3】

【図4】