知財求人 - 知財ポータルサイト「IP Force」
▶ ザ・リージェンツ・オブ・ザ・ユニバーシティ・オブ・ミシガンの特許一覧 ▶ インベニオ イメージング、インコーポレイテッドの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-01-27
(45)【発行日】2023-02-06
(54)【発明の名称】光学組織像の分析及び遠隔読影のためのシステム及び方法
(51)【国際特許分類】
G01N 21/65 20060101AFI20230130BHJP
【ＦＩ】
G01N21/65
【請求項の数】
18
(21)【出願番号】P 2020542587
(86)(22)【出願日】2019-02-06
(65)【公表番号】
(43)【公表日】2021-05-20
(86)【国際出願番号】 US2019016886
(87)【国際公開番号】W WO2019157078
(87)【国際公開日】2019-08-15
【審査請求日】2021-08-17
(31)【優先権主張番号】62/627,033
(32)【優先日】2018-02-06
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】511000957
【氏名又は名称】ザ・リージェンツ・オブ・ザ・ユニバーシティ・オブ・ミシガン
【氏名又は名称原語表記】ＴＨＥ ＲＥＧＥＮＴＳ ＯＦ ＴＨＥ ＵＮＩＶＥＲＳＩＴＹ ＯＦ ＭＩＣＨＩＧＡＮ
(73)【特許権者】
【識別番号】518099848
【氏名又は名称】インベニオ イメージング、インコーポレイテッド
(74)【代理人】
【識別番号】110000855
【氏名又は名称】弁理士法人浅村特許事務所
(72)【発明者】
【氏名】オルリンガー、ダニエル
(72)【発明者】
【氏名】パンディアン、バラージ
(72)【発明者】
【氏名】フリューディガー、クリスチャン
(72)【発明者】
【氏名】ホロン、トッド
【審査官】吉田 将志
(56)【参考文献】
【文献】特開２０１２－００８０２７（ＪＰ，Ａ）
【文献】特開２０１６－０４０６５０（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１７／０３５６０５３（ＵＳ，Ａ１）
【文献】特開２０１７－００３３１１（ＪＰ，Ａ）
【文献】特開平１０－１９７５２２（ＪＰ，Ａ）
【文献】特開２０００－０５７３４９（ＪＰ，Ａ）
【文献】特開２００８－２０４４３２（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１６／００３５０９３（ＵＳ，Ａ１）
【文献】国際公開第２０１４／１９２８７６（ＷＯ，Ａ１）
【文献】特開２０１７－１８７４０９（ＪＰ，Ａ）
【文献】特開２００１－１８８９０６（ＪＰ，Ａ）
【文献】ORRINGER et al.，Rapid intraoperative histology of unprocessed surgical specimens via fibre-laser-based stimulated Raman scattering microscopy，Nature Biomedical Engineering，2017年02月06日，Vol.1/No.27，PP.1-13
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０１Ｎ ２１／６２ － Ｇ０１Ｎ ２１／７４
(57)【特許請求の範囲】
【請求項1】
誘導ラマン散乱を使用して組織試料の光学切片における前記組織試料の画像を取り込むイメージング・デバイスであって、前記組織試料が前記光学切片よりも大きい厚さを有する、イメージング・デバイスと、前記イメージング・デバイスから前記組織試料のための前記画像を受け取り、畳み込みニューラル・ネットワークを使用して、前記組織試料を腫瘍性組織カテゴリ又は非腫瘍性組織カテゴリを含むカテゴリへと分類することによって、前記組織試料のための診断を生成するように構成された診断モジュールであって、前記腫瘍性組織カテゴリは腫瘍のある組織試料であり、前記非腫瘍性組織カテゴリは腫瘍のない組織試料である、前記診断モジュールと
を備え、
前記診断モジュールは、前記組織試料のための細胞充実性の定量的尺度を決定し、前記畳み込みニューラル・ネットワークと前記組織試料のための前記細胞充実性の定量的尺度とによる前記組織試料の分類に基づいて、前記診断を出力する、システム。
【請求項2】
前記イメージング・デバイスが、２８２０ｃｍ－１から２８８０ｃｍ－１までの範囲内の第１のラマン・シフトにおいて、及び２９２０ｃｍ－１から２９８０ｃｍ－１までの範囲内の第２のラマン・シフトにおいて、前記組織試料を画像化する、請求項１に記載のシステム。
【請求項3】
前記イメージング・デバイスが、２７５０ｃｍ－１から２８２０ｃｍ－１までの範囲内の第３のラマン・シフトにおいて、前記組織試料をさらに画像化する、請求項２に記載のシステム。
【請求項4】
前記腫瘍性組織カテゴリが、外科的サブカテゴリと非外科的サブカテゴリとを含み、前記外科的サブカテゴリが、前記腫瘍が手術によって除去されるべきであることを示し、前記非外科的サブカテゴリが、前記腫瘍が手術によって除去されるべきでないことを示す、請求項１に記載のシステム。
【請求項5】
前記非腫瘍性組織カテゴリが、正常な脳組織のためのサブカテゴリと、神経膠症組織のためのサブカテゴリとを含む、請求項１に記載のシステム。
【請求項6】
前記外科的サブカテゴリが、膠細胞腫瘍のためのサブカテゴリと、非膠細胞腫瘍のためのサブカテゴリとを含む、請求項４に記載のシステム。
【請求項7】
前記非膠細胞腫瘍のためのサブカテゴリが、神経鞘腫腫瘍、髄膜腫腫瘍、転移性腫瘍、下垂体腫瘍、及び髄芽腫腫瘍のためのさらなるサブカテゴリを含む、請求項６に記載のシステム。
【請求項8】
前記膠細胞腫瘍のためのサブカテゴリが、神経膠芽腫腫瘍及び低悪性度神経膠腫腫瘍のためのさらなるサブカテゴリを含む、請求項６に記載のシステム。
【請求項9】
前記診断モジュールが、カテゴリのうちの少なくとも１つが、カテゴリ化できない画像のための非診断カテゴリであるように、前記組織試料を前記カテゴリへと分類する、請求項１に記載のシステム。
【請求項10】
前記診断モジュールが、ニューラル・ネットワークを使用して前記組織試料をカテゴリへと分類し、前記ニューラル・ネットワークが、カテゴリ化不可能であると指定された画像を用いて訓練される、請求項９に記載のシステム。
【請求項11】
前記診断モジュールが、二次的方法を前記画像に適用することによって前記組織試料のための二次診断を生成し、前記二次診断が前記畳み込みニューラル・ネットワークからの前記組織試料のための前記診断と一致しないときに前記組織試料を前記非診断カテゴリに分類し、前記二次的方法が機械学習を使用しない、請求項９に記載のシステム。
【請求項12】
前記診断モジュールが、前記細胞充実性の定量的尺度を決定することによって前記組織試料のための前記二次診断を生成する、請求項１１に記載のシステム。
【請求項13】
前記診断モジュールが、前記組織試料のための前記細胞充実性の定量的尺度を決定することによって前記組織試料のための前記診断を生成する、請求項１に記載のシステム。
【請求項14】
前記診断モジュールが、前記組織試料のための２つ以上の画像セグメントを受け取り、前記畳み込みニューラル・ネットワークを前記画像セグメントに適用することによって各画像セグメントのための診断を生成し、前記画像セグメントのための前記診断を集約することによって前記組織試料のための診断を生成する、請求項１に記載のシステム。
【請求項15】
各画像セグメントに対して、前記診断モジュールが、ニューラル・ネットワークを使用して前記組織試料をカテゴリへと分類し、それによって、各カテゴリのための確率を生じ、前記カテゴリにまたがる前記確率を１に正規化する、請求項１４に記載のシステム。
【請求項16】
前記診断モジュールが、非診断カテゴリ内に分類された画像セグメントのための前記診断を省略することによって前記組織試料のための診断を生成し、前記非診断カテゴリが、所与のセグメントがカテゴリ化不可能であることを示す、請求項１５に記載のシステム。
【請求項17】
所与の画像に対して、前記診断モジュールが、任意の非腫瘍性組織カテゴリのための確率をゼロに設定し、前記カテゴリのすべてにまたがる前記確率を１に再正規化し、前記非腫瘍性組織カテゴリが、組織試料が腫瘍のないことを示す、請求項１５に記載のシステム。
【請求項18】
前記診断モジュールが、前記組織試料のための前記細胞充実性の定量的尺度を決定することによって前記組織試料のための二次診断を生成し、前記二次診断が前記畳み込みニューラル・ネットワークを使用した前記組織試料のための前記診断に合致するときは、前記診断を出力する、請求項１に記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本出願は、２０１８年２月６日に出願された米国仮特許出願第６２／６２７，０３３号の利益を主張するものである。上記出願の開示全体は、参照により本明細書に組み込まれる。
【0002】
本開示は、組織像の分析及び遠隔読影のためのシステム及び方法に関し、より詳細には、組織の誘導ラマン散乱（ＳＲＳ：Ｓｔｉｍｕｌａｔｅｄ Ｒａｍａｎ Ｓｃａｔｔｅｒｉｎｇ）画像を分析及び読影するためのシステム及び方法に関する。
【背景技術】
【0003】
脳腫瘍の最適な外科的処置は、組織亜型に応じて広く変化する。中枢神経系（ＣＮＳ：ｃｅｎｔｒａｌ ｎｅｒｖｏｕｓ ｓｙｓｔｅｍ）のいくつかの腫瘍は異なる肉眼所見を有するが、他の腫瘍は見分けるのが困難である。したがって、脳腫瘍手術における術中病理組織診断の重要性は、８５年にわたって認識されている。
【0004】
凍結切片作製及び細胞学的な準備を含む既存の術中組織学的技法は、スライドを産生及び読影するために、外科病理学ラボラトリで働く熟練した技術者及び臨床医を必要とする。しかしながら、脳腫瘍手術が実行されるセンターの数は、委員会認定の神経病理医の数を超え、多数の症例における専門家による術中診察の可能性をなくす。最も高度で、スタッフが優秀な病院においてすら、術中病理学報告の所要時間が、手術中の臨床的な意思決定を遅延させることがある。
【0005】
誘導ラマン散乱（ＳＲＳ）顕微鏡は、未処理の組織標本の迅速で、ラベルのない、高分解能の顕微鏡イメージングの可能性を提供する。ＳＲＳは、脳腫瘍標本における重要な診断組織学的特徴を明らかにするために示されているが、主な技術上のハードルが、その臨床的な変換を妨げてきた。ＳＲＳ顕微鏡は、一時的にパルス持続時間よりも短く（すなわち、＜１００ｆｓ）重複され、空間的に焦点サイズよりも小さく（すなわち、＜１００ｎｍ）重複される２つのレーザ・パルス列を必要とする。これらの条件を達成するには、一般的には、光学テーブル上に載置された自由空間光学部品と、臨床環境における使用に適していない、最先端の、固体の、連続的水冷式レーザが必要である。
【0006】
したがって、望ましいものは、迅速で標準化された、正確な診断画像を送達する術中組織病理学が外科的意思決定の助けとなるシステム及び方法である。術中組織学的データへの改善されたアクセスは、腫瘍内の臨床的に関連のある組織学的変化の吟味と、残存腫瘍に関する切除空洞のアセスメントを可能にする。さらに、手術時に除去された腫瘍のパーセンテージは脳腫瘍患者の主な予後因子であるとすると、残存腫瘍を正確に識別することが可能である術中技法を開発することが望ましいであろう。
【0007】
このセクションは、必ずしも従来技術であるとは限らない、本開示に関連する背景情報を提供する。
【発明の概要】
【課題を解決するための手段】
【0008】
このセクションは、本開示の一般的な概要を提供するものであり、その全範囲又はその特徴のすべての包括的な開示ではない。
【0009】
組織像を分析及び読影するためのシステムが提示される。一実施例では、このシステムは、イメージング・デバイスと、診断モジュールからなる。このイメージング・デバイスは、組織試料の光学切片における組織試料の画像を取り込み、組織試料は、光学切片よりも大きい厚さを有する。診断モジュールは、イメージング・デバイスから組織試料のための画像を受け取るように構成され、機械学習アルゴリズムを画像に適用することによって組織試料のための診断を生成する。
【0010】
いくつかの実施例では、イメージング・デバイスは、誘導ラマン散乱を使用して組織試料の画像を生成する。たとえば、イメージング・デバイスは、２８２０ｃｍ－１から２８８０ｃｍ－１までの範囲内の第１のラマン・シフトにおいて、及び２９２０ｃｍ－１から２９８０ｃｍ－１までの範囲内の第２のラマン・シフトにおいて、組織試料を画像化する。イメージング・デバイスは、２７５０ｃｍ－１から２８２０ｃｍ－１までの範囲内の第３のラマン・シフトにおいて、組織試料をさらに画像化することがある。
【0011】
より具体的には、診断モジュールは、組織試料を、畳み込みニューラル・ネットワークなどのニューラル・ネットワークを求めるカテゴリへと分類する。一実施例では、診断モジュールは、腫瘍性組織カテゴリ又は非腫瘍性組織カテゴリを含むカテゴリへと組織試料を分類し、腫瘍性組織カテゴリは腫瘍をもつ組織試料であり、非腫瘍性組織カテゴリは腫瘍のない組織試料である。腫瘍性組織カテゴリは、外科的サブカテゴリと非外科的サブカテゴリとをさらに含み、外科的サブカテゴリは、腫瘍が手術によって除去されるべきであることを示し、非外科的サブカテゴリは、腫瘍が手術によって除去されるべきでないことを示す。非腫瘍性組織カテゴリは、正常な脳組織のためのサブカテゴリと、神経膠症組織のためのサブカテゴリとを含む。外科的サブカテゴリは、膠細胞腫瘍のためのサブカテゴリと、非膠細胞腫瘍のためのサブカテゴリとを含む。非膠細胞腫瘍のためのサブカテゴリは、神経鞘腫腫瘍、髄膜腫腫瘍、転移性腫瘍、下垂体腫瘍、及び髄芽腫腫瘍のためのサブカテゴリをさらに含んでよい。膠細胞腫瘍のためのサブカテゴリは、神経膠芽腫腫瘍及び低悪性度神経膠腫腫瘍のためのサブカテゴリをさらに含んでよい。
【0012】
いくつかの例では、診断モジュールは、組織試料を、カテゴリ化できない画像のための非診断カテゴリを含むカテゴリへと分類する。この場合、ニューラル・ネットワークは、カテゴリ化不可能であると指定された画像を用いて訓練されてよい。
【0013】
診断モジュールはまた、二次的方法を画像に適用することによって組織試料のための二次診断を生成し、二次診断が機械学習アルゴリズムからの組織試料のための診断と一致しないときに組織試料を非診断カテゴリに分類し、二次的方法は、機械学習を使用しない。１つの実例では、診断モジュールは、細胞充実性の定量的尺度を決定することによって組織試料のための二次診断を生成する。他の例では、診断モジュールは、組織試料のための細胞充実性の定量的尺度を決定することによって組織試料のための一次診断を生成する。
【0014】
いくつかの実施例では、診断モジュールは、組織試料の所与の画像を２つ以上のセグメントへとセグメンテーションし、機械学習アルゴリズムをセグメントに適用することによって各セグメントのための診断を生成して、セグメントのための診断を集約することによって組織試料のための診断を生成する。各セグメントに対して、診断モジュールは、ニューラル・ネットワークを使用して組織試料をカテゴリへと分類することができ、それによって、各カテゴリのための確率を生じ、カテゴリにまたがる確率を１に正規化する。診断モジュールは、非診断カテゴリ内に分類されたセグメントのための診断を省略することによって組織試料のための診断を生成することがあり、非診断カテゴリは、所与のセグメントがカテゴリ化不可能であることを示す。所与の画像に対して、診断モジュールは、任意の非腫瘍性組織カテゴリのための確率をゼロに設定し、カテゴリのすべてにまたがる確率を１に再正規化することもでき、非腫瘍性組織カテゴリは、組織試料が腫瘍のないことを示す。
【0015】
別の態様では、システムは、画像デバイスから画像を受け取るように構成された画像読影サブシステムをさらに含み、組織試料の画像を表示するように動作する。通信モジュールは、画像デバイスとインタフェースされ、イメージング・デバイスから、イメージング・デバイスから遠隔に配置された画像読影サブシステムに画像を送信するように動作し得る。
【0016】
いくつかの実施例では、画像読影サブシステムは、組織試料のための画像を受け取るように構成された診断モジュールを含み、機械学習アルゴリズムを画像に適用することによって組織試料のための診断を生成する。これらの実施例では、画像デバイスは、少なくとも２つの異なる視野から組織試料の画像を取り込むようにしてもよく、画像読影サブシステムは、これらの画像を組織試料の１つの組み立てられた画像へと組み立て、組み立てられた画像を表示する。診断モジュールは、機械学習アルゴリズムを適用することによってイメージング・デバイスから受け取られた各画像のための診断も生成し、画像のための診断を集約することによって組織試料のための診断を生成する。
【0017】
一実施例では、通信モジュールは、医用デジタル・イメージング及び通信（ＤＩＣＯＭ：Ｄｉｇｉｔａｌ Ｉｍａｇｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｉｎ Ｍｅｄｉｃｉｎｅ）通信プロトコルにより画像を送信する。
【0018】
他の実施例では、システムは、映像保存通信システム（ＰＡＣＳ：ｐｉｃｔｕｒｅ ａｒｃｈｉｖｉｎｇ ａｎｄ ｃｏｍｍｕｎｉｃａｔｉｏｎ ｓｙｓｔｅｍ）を含み、通信モジュールは、保存のために画像をＰＡＣＳに通信する。
【0019】
さらに他の実施例では、画像読影サブシステムは、画像読影サブシステムから二次通信リンクを介してイメージング・デバイスに組織試料の読影を送信する。組織試料の読影は、ＤＩＣＯＭ構造報告の形をとってよい。
【0020】
さらなる適用性の分野は、本明細書において提供される説明から明らかになるであろう。この概要における説明及び具体的な実例は、例示の目的を意図したにすぎず、本開示の範囲を限定することを意図したものではない。
【0021】
本明細書において説明される図面は、すべての可能な実装形態ではなく、選択された実施例の図示の目的であるにすぎず、本開示の範囲を限定することを意図したものではない。
【図面の簡単な説明】
【0022】
【図1】本開示のいくつかの態様による、光学組織像を取得及び分析するための例示的なイメージング・システムを示す図である。
【図2】ポータブルで臨床的に適合するＳＲＳイメージング・システムの一部として利用される２波長ファイバ・レーザ結合顕微鏡の構成要素を示す機能ブロック図である。レーザ図の上部部門（ｔｏｐ ａｒｍ）は、ストークス・ビームを生成するためのスキームを示し（赤色）、下部部門（ｂｏｔｔｏｍ ａｒｍ）はポンプ・ビームを生成する（オレンジ色）。本開示のいくつかの態様により、両方のビームが組み合わされ（紫色）、標本に通過される。ここで、Ｅｒ＝エルビウム、ＨＬＮＦ＝高非線形ファイバ、ＰＤ＝フォトダイオード、ＰＰＬＮ＝周期分極ニオブ酸リチウム、及びＹｂ＝イッテルビウムである。
【図3a】本開示のいくつかの態様による、雑音消去前のヒト組織の未加工の２８４５ｃｍ－１ＳＲＳ画像である。
【図3b】本開示のいくつかの態様による、平衡検出ベースに基づく雑音消去後のヒト組織の未加工の２８４５ｃｍ－１ＳＲＳ画像である。
【図4a】本開示のいくつかの態様による、獲得されたＣＨ２ラマン・シフト（２，８４５ｃｍ－１）画像である。
【図4b】本開示のいくつかの態様による、獲得されたＣＨ３ラマン・シフト（２，９３０ｃｍ－１）画像である。
【図4d】本開示のいくつかの態様による、２色の青色－緑色画像を作成するために、ＣＨ２画像を緑色チャネルに割り当てることと、ＣＨ３－ＣＨ２画像を青色チャネルに割り当てることを示す図である。
【図4e】本開示のいくつかの態様による、Ｈ＆Ｅルックアップ・テーブルを適用することによって生成された腫瘍の切片のＳＲＨ画像である。
【図4f】本開示のいくつかの態様による、ホルマリン固定、パラフィン包埋（ＦＦＰＥ：ｆｏｒｍａｌｉｎ－ｆｉｘａｔｉｏｎ， ｐａｒａｆｆｉｎ－ｅｍｂｅｄｄｉｎｇ）、及びＨ＆Ｅ染色を実行することによって生成された、図４ｅに示された画像に類似した、腫瘍の切片の画像である。
【図4g】画像化された組織のモザイクを作成するためのいくつかのＳＲＨ視野（ＦＯＶ：ｆｉｅｌｄ ｏｆ ｖｉｅｗ）のモザイク・タイル化された画像である。星は、微小血管増殖の焦点を示し、破線の円は石灰化を示し、破線のボックスは、本開示のいくつかの態様により図４ｅのＦＯＶがどのようにより大きなモザイクに嵌まるかを示す（スケール・バー＝１００μｍ）。
【図5a】本開示のいくつかの態様による、角のある境界と、赤色に見えるリポフスチン顆粒と、軸索（緑色の矢じり）である白色の線状構造とをもつ散在した錐体神経細胞（青色の矢じり）を示す、正常な皮質を示す画像である。
【図5b】本開示のいくつかの態様による、径方向に向けられた細かいタンパク質の豊富な突起（赤色の矢じり）と軸索（緑色の矢じり）をもつ反応性星状膠細胞を含む神経膠症組織を示す画像である。
【図5c】本開示のいくつかの態様による、脂質の豊富なファゴソームをもつ丸い膨張した細胞を明らかにする、神経膠芽腫の縁の近くのマクロファージ浸潤を示す画像である。
【図5d】本開示のいくつかの態様による、広汎性１ｐ１９ｑ共欠失の低悪性度乏突起神経膠腫内の、丸い核、十分な細胞質、核周囲明暈（黄色の矢じり）、及びニューロンの衛星病変（紫色の矢じり）をもつ散在した「目玉焼き型」腫瘍細胞を明らかにするＳＲＨを示す画像であり、軸索（緑色の矢じり）は、この腫瘍浸潤皮質でも明らかである。
【図5e】本開示のいくつかの態様による、より小さい隣接する腫瘍細胞とは対照的に大きな二核腫瘍細胞が示されること（挿入図）を含む、神経膠芽腫内の細胞過多、退形成、並びに細胞及び核の多形性を示すＳＲＨを示す画像である。
【図5f】本開示のいくつかの態様による、別の神経膠芽腫のＳＲＨが、紫色に見える血管形成脈管構造のタンパク質の豊富な基底膜をもつ微小血管増殖（オレンジ色の矢じり）を明らかにすることを示す画像である。
【図5g】本開示のいくつかの態様による、髄膜腫の渦巻きのある構造物（ａｒｃｈｉｔｅｃｔｕｒｅ）（黒色の矢じり）を明らかにするＳＲＨを示す画像である。
【図5h】本開示のいくつかの態様による、高い核：細胞質比をもつリンパ腫の単一形細胞を明らかにするＳＲＨを示す画像である。
【図5i】本開示のいくつかの態様による、転移性結腸直腸腺癌の腺性構造物（挿入図、灰色の矢じり）を明らかにするＳＲＨを示す画像である（大きい画像スケール・バー＝１００μｍ、挿入図画像スケール・バー＝２０μｍ）。
【図6a】本開示のいくつかの態様による、（ｉ）左側、以前の切除空洞（赤色の円）内の拡大する腫瘤（ｅｎｈａｎｃｉｎｇ ｍａｓｓ）（黄色の矢じり）のために追跡された、低悪性度乏突起神経膠腫の病歴をもつ患者の磁気共鳴映像法（ＭＲＩ）画像、及び（ｉｉ）右側、いくつかの領域内の（左の列）低悪性度乏突起神経膠腫構造物をもつ区域と、同じ標本の他の区域内の退形成の巣（右の列）を明らかにする、切除された組織のＳＲＨイメージングを示す画像である。
【図6b】本開示のいくつかの態様による、（ｉ）左側、神経節膠腫の疑いのある患者のＭＲＩ画像－神経節膠腫は、一般的には、ニューロン及び膠細胞系譜（ｌｉｎｅａｇｅ）の細胞から構成される、及び（ｉｉ）右側、無秩序な二核形成異常ニューロンが優勢な術前ＭＲＩ上の緑色の矢じりで示された場所における浅い組織生検（左の列）と、構造物が細胞過多神経膠腫とより一致する深い生検（青色の矢じり）（右の列）との間の構造上の違いを明らかにするＳＲＨイメージングを示す画像である。ホルマリン固定、パラフィン包埋（ＦＦＰＥ）、Ｈ＆Ｅ染色画像が比較のために示されている。
【図7a】本開示のいくつかの態様による、神経病理医から反応に基づいて非病変（左の列）又は病変（右の列）と判断された組織を示すＳＲＨ画像（上の行）及びＨ＆Ｅ画像（下の行）を示す画像である。
【図7b】本開示のいくつかの態様による、神経病理医から反応に基づいて膠細胞（左の列）又は非膠細胞（右の列）と判断された組織を示すＳＲＨ画像（上の行）及びＨ＆Ｅ画像（下の行）を示す画像である。
【図7c】本開示のいくつかの態様による、神経病理医から反応に基づいて神経膠芽腫（左の列）又は転移性癌（右の列）と判断された組織を示すＳＲＨ画像（上の行）及びＨ＆Ｅ画像（下の行）を示す画像である。
【図8a】破線によって指定される個々のＦＯＶとともに低悪性度膠細胞腫瘍診断クラスを示すＳＲＨモザイクである（中央）。本開示のいくつかの態様により、４つの個々のＦＯＶは、より高い縮尺で、上記で列挙されたすべての４つのカテゴリに対する診断確率とともに示される。
【図8b】本開示のいくつかの態様による、４つの診断カテゴリに対するモザイク画像上の各ＦＯＶに対するクラス・メンバシップのＭＬＰにより決定された確率を示す、ＳＲＨモザイク画像の上に重ねられた確率ヒート・マップである。色のついたボックスは、図８ａで強調されたＦＯＶに対応する。
【図9a】本開示のいくつかの態様による、ＭＬＰを介した、病変又は非病変としての症例の分類のヒート・マップ描写である。緑色のチェックは正しいＭＬＰ予測を示し、赤色の円は、正しくない予測を示す。
【図9b】本開示のいくつかの態様による、ＭＬＰを介した、膠細胞又は非膠細胞としての症例の分類のヒート・マップ描写である。緑色のチェックは正しいＭＬＰ予測を示し、赤色の円は、正しくない予測を示す。
【図9c】本開示のいくつかの態様による、３０の神経外科症例（患者７２～１０１）のテスト・セットからのＭＬＰ結果の要約である。正しいタイルの断片は、各ヒート・マップ・タイルの色合い及び強度、並びに予測診断クラスによって示される。
【図10】本開示のいくつかの態様による、さまざまな癌タイプのための、ラベルのない、未処理のＳＲＨ画像（上の行）の、従来のＨ＆Ｅ染色凍結切片（下の行）との比較を示す画像である。
【図11】本開示のいくつかの態様による、誘導ラマン組織学（右の列）との従来の組織学準備（左の列）の、比較を示す図である。
【図12】本開示のいくつかの態様による、ＳＲＨ画像の双方向転送及びアノテーションを可能にするネットワーク・アーキテクチャを示す図である。
【図13】本開示のいくつかの態様による、プールされたＳＲＨ画像及び従来の組織学画像を使用して診断を実行するための方法を示すフローチャートである。
【図14】本開示のいくつかの態様による合成画像獲得を示す図である。
【図15】本開示のいくつかの態様による、畳み込みニューラル・ネットワーク（ＣＮＮ：ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）を使用して診断を実行するための方法を示すフローチャートである。
【図16】ＳＲＨ画像を分析するための実例となる方法を示すフローチャートである。
【図17】ストリップのための診断を決定するための実例となる方法を示すフローチャートである。
【図18】ＳＲＨ画像を分析するための実例となる方法をさらに示す図である。
【図19】分類モデルのためのカテゴリの実例となるセットを示す図である。
【発明を実施するための形態】
【0023】
対応する参照番号は、図面のすべての図を通して対応する部分を示す。
【0024】
実例となる実施例が、本開示が完全であり、範囲を当業者に十分に伝えるように提供される。本開示の実施例の完全な理解を提供するために、具体的な構成、構成要素、デバイス、及び方法の実例などの多数の具体的な詳細が記載されている。具体的な詳細が用いられる必要はなく、実例となる実施例は多くの異なる形で実施されてよく、本開示の範囲を限定すると解釈されるべきでないことは、当業者には明らかであろう。いくつかの実例実施例では、よく知られているプロセス、よく知られているデバイス構造、及びよく知られている技術は、詳細に説明されない。
【0025】
本開示全体を通じて、数値は、所与の値及び言及された値をおよそ有する実施例からの小さい逸脱を包含する範囲に近似した尺度又は限界、並びに言及された値を正確に有する尺度又は限界を表す。詳細な説明の終わりに提供される実践的な実例において以外に、添付の特許請求の範囲を含む本明細書におけるパラメータ（たとえば、量又は条件）のすべての数値は、数値の前に「約」という用語が実際に出現するにせよしないにせよ、すべての例において「約」によって修飾されると理解されるべきである。「約」は、述べられる数値は、いくらかのわずかな不正確さを可能にする（値の正確さへの何らかの接近をもつ。値にほぼ又はかなり近い。ほとんど）ことを示す。そうではなく、「約」によって提供される正確さが、当技術分野でこの通常の意味とともに理解されない場合、本明細書において使用される「約」は、そのようなパラメータを測定及び使用する通常の方法から生じ得る変動を少なくとも示す。たとえば、「約」は、５％以下、任意選択で４％以下、任意選択で３％以下、任意選択で２％以下、任意選択で１％以下、任意選択で０．５％以下、及びいくつかの態様では、任意選択で０．１％以下の変動を含んでよい。
【0026】
さらに、範囲の開示は、範囲のために与えられる終点及びサブ範囲を含む、すべての値及び範囲全体の中のさらなる分割された範囲の開示を含む。
【0027】
次に、実例となる実施例が、添付の図面を参照しながらより十分に説明される。
【0028】
ファイバ・レーザ技術の進歩を活用して、本開示は、患者ケア環境におけるＳＲＳ顕微鏡の実行を可能にする臨床ＳＲＳ顕微鏡を提示する。ファイバの光学コア及びレーザ源の独自の偏波保持（ＰＭ：ｐｏｌａｒｉｚａｔｉｏｎ－ｍａｉｎｔａｉｎｉｎｇ）実装形態による光案内は、手術室内でのサービス・フリー動作を可能にする。本明細書において説明されるシステムは、ファイバ・レーザに基づくＳＲＳ顕微鏡を実行する主要な課題の１つである高い相対強度雑音の抑制のための改善された雑音消去電子機器も含む。
【0029】
本明細書において説明されるシステムは、とりわけ、ＳＲＳ顕微鏡が、従来の組織学的方法に対する効果的で簡素化された代替形態として働き、切片作製、載置、染色、及び読影のために手術室から病理学ラボラトリに標本を転送する必要性をなくすことができることを示す。さらに、ＳＲＳ顕微鏡のための組織準備が最小であるので、一般に塗抹標本では失われる重要な組織構造上詳細及び凍結切片では多くの場合に不明瞭にされる細胞学的な特徴が維持される。さらに、本開示は、腫瘍（たとえば、脳腫瘍）の重要な組織構造的特徴を強化し、従来のＨ＆Ｅに基づく技法とかなり一致する診断を可能にする、誘導ラマン組織学（ＳＲＨ）と呼ばれる、ヘマトキシリン・エオジン（Ｈ＆Ｅ：ｈｅｍａｔｏｘｙｌｉｎ ａｎｄ ｅｏｓｉｎ）染色をシミュレートするＳＲＳ画像処理のための方法を提示する。そのうえ、本開示は、たとえば、定量化されたＳＲＨ画像属性に基づいた、さまざまな教師あり機械学習手法がどのようにして脳腫瘍の診断クラスを効果的に区別するかについて説明する。したがって、ＳＲＨは、将来の脳腫瘍の外科的ケアを改善するために活用可能である、術中組織病理学のための自動化された標準化された方法を提供し得る。
【0030】
本開示の態様は、組織診断におけるＳＲＳ画像の使用について説明する。しかしながら、本明細書において説明される概念及び実装形態は、厚い組織標本の光学切片を生じさせる他の新鮮組織イメージング・モダリティに等しく適用可能である。これらは、限定するものではないが、共焦点反射顕微鏡、１光子又は２光子自己蛍光顕微鏡、蛍光寿命イメージング（ＦＬＩＭ：ｆｌｕｏｒｅｓｃｅｎｔ ｌｉｆｅｔｉｍｅ ｉｍａｇｉｎｇ）、第２高調波発生（ＳＨＧ：ｓｅｃｏｎｄ－ｈａｒｍｏｎｉｃ ｇｅｎｅｒａｔｉｏｎ）顕微鏡、第３高調波発生（ＴＨＧ：ｔｈｉｒｄ－ｈａｒｍｏｎｉｃ ｇｅｎｅｒａｔｉｏｎ）顕微鏡、及び又はコヒーレント反ストークスラマン散乱（ＣＡＲＳ：ｃｏｈｅｒｅｎｔ ａｎｔｉ－ｓｔｏｋｅｓ Ｒａｍａｎ ｓｃａｔｔｅｒｉｎｇ）顕微鏡などのラベルのないイメージング技術を含んでよい。さらに、本明細書において説明されるシステム及び方法は、１光子若しくは２光子蛍光共焦点顕微鏡又は広視野顕微鏡又は光シート顕微鏡などの、ラベルに基づく又は染色に基づくイメージング技術も利用してよい。一般的な生体内染色としては、限定するものではないが、ＤＡＰＩ、エオジン、ローダミン、ヘキスト染色、又はアクリジンオレンジがある。いくつかの実例では、本明細書において説明されるシステム及び方法は、ラベルのないイメージング技術とラベルに基づく又は染色に基づくイメージング技術の組み合わせを利用し得る。
【0031】
すべてのこれらの技法で共通する特徴は、光学切片作製である。これは、一般的には定型的な組織病理学においてなされる組織標本の物理的切片作製と対照的である。これは、画像が、標本自体よりも小さい厚さを有する組織標本内部の焦点面から生成されることを意味する。焦点外れ信号は生成されない、又は拒否される。光学切片の厚さは、使用される対物レンズの開口数によって決定可能である。これらの技術を使用すると、試料表面からのさまざまな深度における標本の深度スタックを獲得することは可能であるが、必須ではない。１つの実例では、これは、試料と対物レンズとの間の距離を規則正しく変化させることによって達成可能である。
【0032】
次に図１を参照すると、光学組織像を取得及び分析するための例示的なイメージング・システム１０が示されている。イメージング・システム１０は、一般にイメージング・デバイス１２と、コンピューティング・デバイス１４上に実装された診断モジュール１５、からなる。動作中、イメージング・デバイスは、光学切片作製を使用して新鮮組織試料の１つ又は複数の画像を取り込む。すなわち、イメージング・デバイス１２は、組織試料の光学切片において組織試料の画像を取り込み、組織試料は、光学切片よりも大きい厚さを有する。実例実施例では、イメージング・デバイス１２は、誘導ラマン散乱を使用して組織試料の画像を生成する。診断モジュール１５は、イメージング・デバイス１２から画像を受け取り、以下でさらに説明されるように機械学習アルゴリズムを画像に適用することによって組織試料のための診断を生成するように構成される。イメージング・システム１０は、診断結果を表示するためのディスプレイ・デバイス１６も含むことがある。
【0033】
より具体的には、完全に統合された誘導ラマン散乱（ＳＲＳ）イメージング・システム１０は、５つの主要な構成要素、すなわち、１）モータ駆動ステージをもつファイバ結合誘導ラマン散乱（ＳＲＳ）顕微鏡と、２）２波長ファイバ・レーザ・モジュールと、３）レーザ制御モジュールと、４）顕微鏡制御モジュールと、５）画像獲得、表示、及び処理のためのコンピュータとを含む。システム全体は、ポータブルな自律型臨床カート内に載置されてよく、標準的な壁コンセントを利用してよく、水冷式の使用を回避してよい。このようにして、図１のシステムは、手術室内でのＳＲＳ顕微鏡の実行に適合しない光学式ハードウェアに対する依拠をなくし得る。
【0034】
図２は、イメージング・システム１０の１つの実例をさらに示す機能ブロック図である。図２は、ポータブルで臨床的に適合可能なＳＲＳイメージング・システム（たとえば、図１のＳＲＳイメージング・システム）の一部として利用される２波長ファイバ・レーザ結合顕微鏡の構成要素を示す。図２では、レーザ図の上部部門は、ストークス・ビームを生成するためのスキームを示し（赤色）、下部部門はポンプ・ビームを生成する（オレンジ色）。両方のビームが組み合わされ（紫色）、標本に通過される。ここで、Ｅｒ＝エルビウム、ＨＬＮＦ＝高非線形ファイバ、ＰＤ＝フォトダイオード、ＰＰＬＮ＝周期分極ニオブ酸リチウム、及びＹｂ＝イッテルビウムである。
【0035】
２波長ファイバ・レーザは、２つの主要なファイバ利得媒質であるエルビウム（Ｅｒ）とイッテルビウム（Ｙｂ）の差周波数がラマン・スペクトルの高い波数領域と重複することに基づいて動作することがある。したがって、たとえば、図２を参照して示されるように、ＳＲＳイメージングに必要とされる２つの同期された狭帯域レーザ・パルス列が、シングル・ファイバ発振器から得られる広帯域スーパー・コンティニウムの狭帯域フィルタリングと、その後、それぞれの利得媒質内での増幅によって生成される。
【0036】
いくつかの実例によれば、（たとえば、臨床的な実装形態の場合）、図１～図２のイメージング・システムは、非偏波保持（ＰＭ）システムより安定性の著しい改善を提供し得る、ＰＭ構成要素に基づく全ファイバ・システムを構成することがある。本明細書において図１～図２に関して説明されるシステムは、大陸横断運送（たとえば、カリフォルニアからミシガンへ）全体を通した安定性と、再アライメントの必要性のない、臨床環境における連続的な、サービス・フリーの、長期（＞１年）動作を維持し得る。固体レーザで達成可能なものに匹敵する信号対雑音比をもつ高速診断品質イメージング（たとえば、波長につき２秒で１メガピクセル）を可能にするために、レーザ出力パワーは、４０ＭＨｚ繰り返し数及び２ピコ秒変換限界パルス持続時間における１０１０ｎｍから１０４０ｎｍまでの調節範囲全体にわたって、固定波長７９０ｎｍポンプ・ビームの場合はほぼ１２０ｍＷ、調節可能なストークス・ビームの場合はほぼ１５０ｍＷにスケーリングされ得る。いくつかの実例によれば、完全にカスタムなレーザ・コントローラ電子機器は、マイクロ・コントローラに基づいたこの多段階レーザ・システムの多くの設定を厳しく制御するためにイメージング・システムの一部として含まれることがある。組み立てられると、ＳＲＳ顕微鏡は、いくつかの実例によれば、３６０ｎｍの位置分解能（最大半値全幅）と、１．８μｍの軸分解能とを含むことがある。
【0037】
全ファイバ・システムの開発は、ＳＲＳの臨床的実装形態にとって望ましいが、図３ａに示されるように、ファイバ・レーザに固有の相対強度雑音が、ＳＲＳ画像品質を大幅に劣化させることがある。画像品質を改善するために、本明細書において説明されるイメージング・システムは、次いでリアルタイムで減算可能なレーザ・ノイズの尺度を提供するためにレーザ・ビームの一部分がサンプリングされる、オート・バランス検出に基づいた雑音消去スキームを実施することがある。いくつかの実例によれば、約２５倍の改善が、調整の必要なく臨床環境において信号対雑音比で達成されることがあり、これは、図３ｂに示されるように、顕微鏡的組織構造物を明らかにするために不可欠である。
【0038】
図４ａ～図４ｅは、本開示のいくつかの態様による、ＳＲＳ画像をＳＲＨ画像へと処理するための例示的な方法を示す。すなわち、図４ａ～図４ｄは、図４ｅに示されるＳＲＨ画像が、従来のホルマリン固定、パラフィン包埋、及び酸性（ヘマトキシリン）又は塩基性（エオジン）（Ｈ＆Ｅ）染色により生じられた画像（図４ｆを参照されたい）に非常によく似ているように、１つ又は複数のＳＲＳ画像を、図４ｅに示されるＳＲＨ画像などのＳＲＨ画像へと変換するための方法を示す。
【0039】
背景として、組織内の脂質、タンパク質、及びＤＮＡのような核酸などの一般的な分子のラマン・スペクトルは、複数のラマン・シフトにおいて（たとえば、２８５０ｃｍ－１及び２９３０ｃｍ－１又は２８５０ｃｍ－１、２９３０ｃｍ－１、及び２９６０ｃｍ－１などにおいて）組織内で画像化可能である。実例として、スペクトル不混和技法を使用して、Ｈ＆Ｅ染色を模倣するためにたとえば青色及び緑色、又はピンク及び紫色などの異なる疑似カラーで表示可能であるマルチ・カラーＳＲＳ画像が生成可能である。ＣＨ２振動（２８４５ｃｍ－１）のＳＲＳ画像は、有髄軸索及び細胞外マトリックスなどの、脂質が豊富な構造を示す。ＣＨ３振動（２９３０ｃｍ－１）のＳＲＳ画像は、核及びコラーゲン線維などの、タンパク質やＤＮＡが豊富な構造を示す。そのようなＳＲＳ画像は、一緒にオーバレイ又は合成可能である。ＳＲＳ顕微鏡に特有の独自の化学的コントラストは、たとえば、腫瘍浸潤組織内の組織細胞充実性、軸索密度、及びタンパク質：脂質比の定量化可能な変化を明らかにすることによって、腫瘍検出を可能にする。
【0040】
分類スキームは、堅牢な定量化されたＳＲＳ画像属性（たとえば、細胞過形成、軸索密度、タンパク質：脂質比）を、浸潤を検出するための単一のメトリックへと統合し得る。したがって、いくつかの態様では、核の数、軸索密度、及びタンパク質：脂質比が、ＳＲＳ画像から算定可能である。以前の、ハイパースペクトルＳＲＳ顕微鏡を通して仮想Ｈ＆Ｅ画像を達成するための方法とは異なり、ＳＲＨは、２つのラマン・シフト（たとえば、２８４５ｃｍ－１及び２９３０ｃｍ－１）のみを用いて必要なコントラストを生成することが可能である。ＳＲＨ画像内の色は、酸性（ヘマトキシリン）部分又は塩基性（エオジン）部分の染色と正確に対応しないが、２つの方法の間には強いオーバーラップがあり（図４ｆを参照されたい）、読影を簡略化する。ＳＲＨ画像を生じさせるために、視野（ＦＯＶ）が、モザイク・パターンにおいてフレームあたり２秒の速度で獲得され、合成され、再着色されることがある。終了結果は、従来のＨ＆Ｅ染色スライドに似たＳＲＨモザイク（図４ｇに示される）であってよい。１つの実例によれば、モザイクのための獲得の時間は約２．５分であることがあり、それは、以下でさらに詳しく説明されるように、手術室から直接的に任意のネットワーク化されたワークステーションに迅速に送信可能である。
【0041】
本開示のいくつかの実例によれば、ＳＲＨは、ＳＲＨを用いた診断組織学的特徴の検出において用いられ得る。ＳＲＨは、施設内審査委員会（ＩＲＢ：ｉｎｓｔｉｔｕｔｉｏｎａｌ ｒｅｖｉｅｗ ｂｏａｒｄ）により承認されたプロトコルを介して神経外科患者からの新鮮な外科標本を画像化することによってＣＮＳの腫瘍を検出及び分類するために必要とされる診断特徴を明らかにする能力を示している。従来のＨ＆Ｅ画像のように、ＳＲＨ画像は、非病変組織（図５ａ～図５ｃに示される）と病変組織（図５ｄ～図５ｉに示される）の区別を可能にする、細胞及び構造物の特徴を明らかにする。ＳＲＨを用いて画像化されたとき、前部側頭葉切除術患者からの構造上正常な脳組織は、リポフスチン顆粒を含む角ばった細胞体（ａｎｇｕｌａｒ ｃｅｌｌ ｂｏｄｙ）をもつニューロン（図５ａに示される）と、白色の線状構造として見える脂質の豊富な軸索（図５ａ～図５ｂに示す）を示す。術中診断を複雑にし得る、神経膠症（図５ｂに示される）及びマクロファージ浸潤（図５ｃに示される）を含む非腫瘍性反応性変化も、ＳＲＨを用いて容易に視覚化される。低悪性神経膠腫（図５ｄを参照されたい）と高悪性神経膠腫（図５ｅ～図５ｆを参照されたい）を区別する細胞充実性、血管パターン及び核構造物の違いも明らかである。特に、ＳＲＨは、一般的には凍結切片上では見られず、固定のアーチファクトと思われる、乏突起神経膠腫細胞（図５ｄを参照されたい）の核周囲明暈は、細胞質大量の高タンパク質腫瘍細胞を反映することを示唆する。さらに、血液血管の、タンパク質の豊富な基底膜を強調することによって、ＳＲＨは、高悪性度神経膠腫における微小血管増殖（図５ｆに示される）を強調することによく適している。
【0042】
ＳＲＨは、髄膜腫の渦巻きのある構造物（図５ｇを参照されたい）、リンパ腫の結合力のない（ｄｉｓｃｏｈｅｓｉｖｅ）単一形細胞（図５ｈを参照されたい）、並びに腺性構造物、大きな類上皮細胞、及び転移性腺癌のくっきりした境界（図５ｉを参照されたい）を含む、非膠細起源の腫瘍（図５ｇ～図５ｉに示される）の診断を可能にする組織構造的特徴も明らかにする。ＳＲＨは、３つの最も一般的な小児後頭蓋窩腫瘍、すなわち、若年性毛様細胞性星状細胞腫、髄芽腫、及び上衣腫を区別するに不可欠である形態的特徴を視覚化することも可能であり、これらの腫瘍の各々は、外科的管理のための異なる目標を有する。毛様細胞性星状細胞腫では、ＳＲＨは、毛様（毛髪に似た）構造物と、高いタンパク質含量によりＳＲＨ上では濃色に見えるローゼンタール線維を検出する。ＳＲＨは、髄芽腫内の著しく細胞過多の、小さく丸い青色の細胞外見及びロゼット、並びに上衣腫内の血管周囲偽ロゼットを形成する単一形の丸から卵形の細胞も明らかにする。
【0043】
ＳＲＨは、腫瘍内異種性の検出においても利用されることがある。神経膠腫は、多くの場合に、組織学的異種性を内部にもち、このことが、診断及び治療選択を複雑にする。異種性は、悪性化進展を経験した疑いのある低悪性度神経膠腫において特に一般的であり、未分化変換の実証は、診断を行うのに不可欠である。ＳＲＨは、右前頭皮質の再発性乏突起神経膠腫患者から採取された標本内の腫瘍悪性度の異種性を検出する際に利用されることがある。そのような標本では、ＳＲＨは、本明細書における図６ａに示されるように、低悪性度構造物と、細胞過多で、未分化の、有糸分裂が活発な腫瘍によって特徴づけられる高悪性度構造物の区域の両方を明らかにすることがある。
【0044】
混合型グリア神経細胞腫などの他の腫瘍では、組織学的異種性は、必要な診断基準である。単一の病理組織学的な試料は膠細胞又はニューロンの構造物を明らかにし得るが、両方の識別は診断に必要である。神経節膠腫、グリア神経細胞腫瘍の疑いのある患者では、表層性標本の術中ＳＲＨ画像（図６ｂを参照されたい）は、クラスタ化された形成異常ニューロンを明らかにし、深い標本は、細胞過多の毛様膠細胞構造を明らかにする。したがって、複数の標本を画像化する迅速な手段を提供することによって、ＳＲＨは、手術中の悪性度と組織構造の両方における臨床的に関連のある変化を確立するために必要とされる腫瘍内異種性を明らかにし得る。
【0045】
本開示のいくつかの実例によれば、本明細書において説明されるシステム及び方法は、ＳＲＨに基づいた診断の定量的な評価を容易にし得る。たとえば、診断組織学的特徴を明らかにするその能力を考えると、ＳＲＨは、既存の術中診断の方法の代替策を提供するために利用されてよい。この仮説を吟味するために、標本が、日常的な凍結切片作製又は細胞学的な技法を使用して術中診断がなされた３０人の神経外科患者から画像化される。同じ標本の隣接する部分が、日常的な組織学とＳＲＨの両方に利用される。
【0046】
術中組織学的診断の実施をシミュレートするために、コンピュータに基づいた調査が作成され、異なる施設において行う３人の委員会認定神経病理医は、患者の年齢群（子供／成人）、病変の場所、及び関連する過去の病歴に関する簡単な病歴とともに、ＳＲＨ又は日常的な（塗抹標本及び／又は凍結）画像が提示された。神経病理医は、自身の診療における方法で各症例に対する術中診断に反応した。反応は、１）組織が病変と分類されるか非病変と分類されるか、２）病変組織に対して、組織が膠細胞起源を有するか非膠細胞起源を有するか、及び３）反応が、公的な臨床術中診断情報（病変ステータス、悪性度、組織亜型）と同じ量の診断情報を含むか、に基づいて等級分けされた。
【0047】
ＳＲＨ対臨床凍結切片を利用して病理医の診断能力を査定することは、以下の表１に示されるように、病変組織と非病変組織を区別するため（ｋ＝０．８４～１．００）及び膠細胞起源の病変を非膠細胞起源と区別するため（ｋ＝０．９３～１．００）の２つの組織学的方法の間の完全に近い一致（コーエンのカッパ）を明らかにする。完全に近い一致は、最終診断を予測する際の２つのモダリティの間にも存在した（ｋ＝０．８９～０．９２）（表１を参照されたい）。再評価者間の評価者間信頼性及びＳＲＨと診断を予測するための標準的なＨ＆Ｅに基づく技法の間の一致も完全に近かった（ｋ＝０．８９～０．９２）。特に、ＳＲＨでは、病理医は、病変組織と非病変組織（９８％）、膠細胞腫瘍と非膠細胞腫瘍（１００％）を区別する際、及び診断を予測する際（９２．２％）に、非常に正確である。これらの知見は、ＳＲＨ画像から病理組織学的な診断を得る、病理医の能力は、正確であり、従来の組織学的方法とも高く一致することを示唆する。
上記の表１及び図７ｃに示されるように、両方の方法は、診断を予測する際に非常に正確であるが、ＳＲＨに基づいた診断不一致のうちの６つは、膠細胞腫瘍の分類において発生した。
【表1】
上記の表１及び図７ｃに示されるように、両方の方法は、診断を予測する際に非常に正確であるが、ＳＲＨに基づいた診断不一致のうちの６つは、膠細胞腫瘍の分類において発生した。
【0048】
図７ａ～図７ｃを手短に参照すると、図７ａ～７ｃは、ＳＲＨを用いた術間（ｉｎｔｅｒｏｐｅｒａｔｉｖｅ）組織学的診断のシミュレーションを示す。より具体的には、図７ａ～図７ｃは、とりわけ、調査中に提示された標本の部分の６つの実例、すなわち、神経膠症脳組織、髄芽腫、未分化星状細胞腫、髄膜腫、神経膠芽腫、及び転移性癌のためのＳＲＨ及びＨ＆Ｅ準備を示す（スケール・バー＝５０μｍ）。
【0049】
３つの別個の例では、病理医は、標本を神経膠腫であると正しく識別することが可能であるが、具体的な悪性度は提供しなかった。ＳＲＨでは「神経膠腫」と分類された２つの標本は、Ｈ＆Ｅに基づく技法では「高悪性度神経膠腫」と分類される。神経膠腫内の高悪性度特徴としては、著しい核の非定型性、有糸分裂の活性、微小血管増殖、及び壊死がある。核の非定型性及び有糸分裂像のアセスメントは、主観的であり、標本内の「正常」な形態対非定型の形態の閾値を設定するために、数百の症例の審査に基づいた十分な専門知識を必要とする。Ｈ＆Ｅ及びＳＲＨにおける核構造物の外観の微妙な違いを考えると、病理医は、ＳＲＨを用いて腫瘍細胞に非定型帰属及び有糸分裂帰属をすることに関して、より保守的である可能性がある。
【0050】
従来の技法（すなわち、切片作製）とＳＲＨ（すなわち、優しくつぶすこと）との組織準備の違いは、血管構造物の外観の違いをもたらす。微小血管増殖は、腔内内皮増殖（所与の血管内の内皮細胞のいくつかの層）と定義され、術中診察時に神経膠腫の悪性度を定める際に不可欠である。これは、組織が切断され２次元で分析されるときに観察しやすくすることができる。対照的に、ＳＲＨは、基底膜を強調することが可能であるが、場合によっては、微小血管増殖の古典的な構造上特徴を明らかにしないことがある。
【0051】
標本からのアンダー・サンプリングは、観察される不一致にも寄与する可能性がある。３つの調査項目では、病理医は、ＳＲＨ画像を使用して、上皮腫を「毛様細胞性星状細胞腫」と誤診した、又は、腫瘍のより一般的な説明を「低悪性度神経膠腫」と与えた。上皮腫及び毛様細胞性星状細胞腫は、薄い膠細胞プロセス（毛様に似た）から構成される背景に包埋された単調な細長い核の類似の核形態を有することがある。調査項目では明らかでなく、腫瘍全体を通じて不均一に分散されることがある、客観的な血管周囲偽ロゼット、上衣ロゼット、又はヒアリン化した血管の不在下では、上皮腫が毛様細胞性星状細胞腫と誤分類可能であることが理解できる。本開示を任意の特に理論に限定することなく、患者におけるＳＲＨ画像と従来のＨ＆Ｅ画像の一致を考えると、これらの誤りは、より大きい標本が再評価者に提供された場合に回避された可能性があることが仮定される。
【0052】
本明細書において説明されるシステム及び方法は、機械学習に基づいた組織診断を実行するためにも利用されることがある。臨床上の意志決定に最も有用である術中画像データは、迅速に取得され正確である術中画像データである。病理医による病理組織学的な画像の読影は、労力と時間をたくさん使い、観察者間の変動を起こしやすい。したがって、即時の一貫した、正確な組織診断を迅速に送達することができる、本明細書において説明されるシステム及び方法は、脳腫瘍手術中に非常に有用である。腫瘍浸潤は、組織属性の自動分析を通して定量的なＳＲＳ画像によって予測可能であるが、本開示は、以下に記載された、より堅牢な計算処理が、腫瘍診断クラスを予測するために用いられ得ることを企図する。
【0053】
具体的には、いくつかの実例によれば、多層パーセプトロン（ＭＬＰ）と呼ばれる機械学習プロセスは、１）反復しやすい、２）検証しやすい、及び３）現在の計算能力を用いて効率的であるので、診断予測のために提示される。ＭＬＰを作成するために、１２，８７９の４００×４００μｍＳＲＨ ＦＯＶが患者から組み込まれた。１つの実例によれば、ＷＮＤ－ＣＨＲＭ（機械学習のための２，９１９の画像属性を算出する）などは、定量化された属性を各ＦＯＶに割り当てるために用いられることがある。正規化された定量化された画像属性は、以下でさらに詳しく説明されるように、予測された診断と観察された診断との違いが最小になるまで、訓練、反復のためにＭＬＰへと送られることがある。基準がＭＬＰに提供されるが、本明細書において説明される技法は他のタイプの機械学習アルゴリズムに適用可能であることは容易に理解される。
【0054】
いくつかの実例によれば、ＭＬＰは、２つのソフトウェア・ライブラリ、すなわちＴｈｅａｎｏ及びＫｅｒａｓを用いてプログラムされることがある。しかしながら、前述のライブラリは、本質的に例示にすぎず、他の適切なソフトウェア・ライブラリ（たとえば、ｔｅｎｓｏｒｆｌｏｗ、ｃａｆｆｅ、ｓｃｉｋｉｔ－ｌｅａｒｎ、ｐｙｔｏｒｃｈ、ＭＸＮｅｔ、及びＣＮＴＫ）が、本明細書における教示から逸脱することなく、ＭＬＰの一部として用いられてよい。Ｔｈｅａｎｏは、ＭＬＰを訓練するために使用される高性能な低水準数式評価装置である。Ｋｅｒａｓは、Ｔｈｅａｎｏのためのラッパーとして働く高水準Ｐｙｔｈｏｎフレームワークであり、異なるＭＬＰ構成の迅速な反復及びテストを可能にする。
【0055】
いくつかの実例によれば、本明細書において説明されるＭＬＰは、完全に接続された、１，０２４ユニットからなる、１つの隠れ層の、ニューラル・ネットワークとして設計される。１つの実例では、ネットワークは、８つの連続層を以下の順で含む。１）均一な初期化をもつ密な入力層、２）ハイパボリック・タンジェント活性化層、３）ドロップアウト確率０．２をもつドロップアウト層、４）均一な初期化をもつ密な隠れ層、５）ハイパボリック・タンジェント活性化層、６）ドロップアウト確率０．２をもつドロップアウト層、７）均一な初期化をもつ密な出力層、及び８）分類の数に対応するソフトマックス活性化層。他の実装形態も本開示によって想定されている。
【0056】
ＭＬＰの訓練は、いくつかの実例によれば、調査テスト・セットから排他的な訓練セットを使用して実行されてよい。損失は、マルチ・クラス・ログ損失方式を使用して算出され得る。選択されるオプティマイザは、以下のパラメータを含んでよい、すなわち学習率＝０．００１、ベータ＿１＝０．９、ベータ＿２＝０．９９９、及びイプシロン＝１×１０－８。
【0057】
ＭＬＰの精度をテストするために、一個抜き手法が利用され、訓練セットは、テストされている患者からのＦＯＶを除くすべてのＦＯＶを含む。この方法は、訓練セットのサイズを最大にし、訓練セットとテスト・セットの試料間のあり得る相関をなくす。ＭＬＰは、個々のＦＯＶレベルに関する予測を行うように構成され、所与のＦＯＶが、非病変、低悪性度膠細胞、高悪性度膠細胞、又は非膠細胞腫瘍（転移、髄膜腫、リンパ腫、及び髄芽腫を含む）という４つの診断クラスの１つに属する確率をもたらしてよい（図８ａを参照されたい）。この実例によれば、４つの診断クラスは、脳腫瘍手術中に意思決定を知らせるための重要な情報を提供するので、選択される。
【0058】
実証するために、一個抜き手法は、神経病理医に与えられた調査において使用される３０人の患者に利用される。ＭＬＰを評価するために使用される３０人の患者の各々に対して、その患者からすべてのＦＯＶ（ｎ）がテスト・セットに置かれる。訓練セットは、１２，８７９－ｎの残りのＦＯＶから構成される。１２，８７９個のＦＯＶは、割り当てられる診断を表すことを保証するように神経病理医によってスクリーニングされる。ＦＯＶは、非病変、毛様細胞性星状細胞腫、上皮腫、乏突起神経膠腫、低悪性度びまん性星状細胞腫、未分化乏突起神経膠腫、未分化星状細胞腫、神経膠芽腫、髄膜腫、リンパ腫、転移性腫瘍、及び髄芽腫として分類される。
【0059】
ＭＬＰは２５の反復に対して訓練され、以下の２６の反復重みは、テスト・セットの検証に対して使用するために記録される。テスト・セットは、これらの２６の重みの各々へと送られ、結果として生じる、１２の診断クラスの各々の確率は、各ＦＯＶのための各診断のための最終確率を作成するように平均される。１２の診断は、診断予測を達成するために、４つのクラス（非病変、低悪性度膠細胞、高悪性度膠細胞、及び非膠細胞）に圧縮される。低悪性度膠細胞カテゴリは、毛様細胞性星状細胞腫、上皮腫、乏突起神経膠腫、及び低悪性度びまん性星状細胞腫と分類されるＦＯＶを含んだ。高悪性度膠細胞カテゴリは、未分化乏突起神経膠腫、未分化星状細胞腫、及び神経膠芽腫と分類されるＦＯＶを含んだ。非膠細胞カテゴリは、髄膜腫、リンパ腫、転移性腫瘍、及び髄芽腫と分類されるＦＯＶを含んだ。
【0060】
図８ａ～図８ｂは、ＳＲＨ画像のＭＬＰ分類を示す。図８ａ～図８ｂでは、患者８７からの標本、すなわち低悪性度上衣腫が、ＭＬＰによって低悪性度膠細胞腫瘍と分類された。図８ａでは、確率は、Ｐ（ＮＬ）＝非病変の確率、Ｐ（ＬＧＧ）＝低悪性度膠細胞の確率、Ｐ（ＨＧＧ）＝高悪性度膠細胞の確率、Ｐ（ＮＧ）＝非膠細胞の確率を反映する。さらに、代表的なＦＯＶとしては、低悪性度神経膠腫と分類された少数の卵形腫瘍細胞（矢じり）をもつＦＯＶ（左上、オレンジ色の輪郭）、非膠細胞腫瘍と分類された頻繁なヒアリン化した血液血管（矢じり）による高い細胞充実性をもつＦＯＶ（右上、緑色の輪郭）、低悪性度神経膠腫と分類された、中程度の細胞充実性と十分な毛様突起をもつＦＯＶ（右下、黄色の輪郭）、及び高悪性度膠細胞腫瘍と分類された、より高い細胞充実性といくつかの隆起血管（矢じり）をもつＦＯＶ（左下、青色の輪郭）がある。スケール・バーは、個々のＦＯＶの場合は１００μｍ、図８ａの中央にあるモザイク画像の場合は５００μｍである。
【0061】
ＣＮＳ腫瘍の組織構造的異種性と、いくつかの標本が正常なＦＯＶと病変ＦＯＶの混合物を含み得ることを考えると、ＭＬＰの診断精度は、各標本内のＦＯＶの最も一般的な診断クラス又は様式（ｍｏｄａｌ）予測診断クラスに基づいて判断される（図８ｂを参照されたい）。たとえば、患者８７からの標本は、さまざまなＳＲＨ ＦＯＶ内のすべての診断クラスのいくつかの特徴を示したが（図８ａを参照されたい）、ＭＬＰは、ＦＯＶの優勢における最高確率診断として低悪性度膠細胞カテゴリを割り当て（図８ｂを参照されたい）、低悪性度膠細胞腫瘍としてのこの標本の正しい分類をもたらした。
【0062】
図９ａ～図９ｃは、ＭＬＰに基づいた診断予測結果を示し、ここで、「Ｙ」は正しいＭＬＰ予測を示し、「Ｎ」は正しくない予測を示す。正しいタイルの一部は、各ヒート・マップ・タイルの色合い及び強度、並びに予測診断クラスによって示され、ここで、ＮＬ＝非病変、ＬＧ＝低悪性度神経膠腫、ＨＧＧ＝高悪性度神経膠腫、及びＮＧ＝非膠細胞腫瘍である。
【0063】
複数の病理医によって読まれた症例のテスト・セット内のＭＬＰを評価するために、上記で説明されたように、一個抜き手法が、病理医に与えられた調査に含まれる３０の症例の各々に対して適用される。様式診断に基づいて、ＭＬＰは、１００％の精度で病変標本を非病変標本から正確に区別した（図９ａを参照されたい）。さらに、病変又は非病変と個々のＦＯＶを分類するためのＭＬＰの診断能力は優れており、特異度は９４．１％、感度は９４．５％であった。病変標本の間で、ＭＬＰは、試料レベルにおいて９０％の精度で膠細胞標本を非膠細胞標本から区別した（図９ｂを参照されたい）。ＭＬＰによって予測される様式診断クラスは、調査の環境において病理医によってなされた診断クラスを予測する上で９０％正確であった（図９ｃを参照されたい）。
【0064】
ＭＬＰによって誤分類された症例としては、低悪性度神経膠腫ではなく、非病変と分類された毛様細胞性星状細胞腫（患者８４）からの少量のローゼンタール線維をもつ最小に細胞過多の標本があった。この標本では、ＦＯＶの多くは、正常な膠細胞組織に似ている。軟髄膜転移性癌患者（患者７２）からの別の誤分類された標本は、腫瘍を含む２つのＦＯＶのみを含んだ。ＭＬＰによって非膠細胞腫瘍と誤分類された患者８２からの神経膠芽腫標本は、ＳＲＨを用いて画像化された転移性腫瘍の組織構造に似たタンパク質の豊富な構造要素を含んだ。これらの誤りにもかかわらず、病変ステータス及び診断カテゴリの自動化検出におけるＭＬＰの精度及び全体的な能力は、どのようにＭＬＰが自動診断予測に使用され得るかに関する原理証明を提供する。
【0065】
いくつかの実施例では、診断モジュールが、ニューラル・ネットワークを使用して組織試料をカテゴリへと分類するということになり、このニューラル・ネットワークは、あらかじめ指定されたカテゴリからの画像を用いて訓練される。１つの実例となる実施例におけるカテゴリが、図１９に示されている。この実例となる実施例では、診断モジュールは、組織試料を、腫瘍性組織カテゴリ又は非腫瘍性組織カテゴリを含むカテゴリへと分類し、この腫瘍性組織カテゴリは、腫瘍のある組織試料であり、非腫瘍性組織カテゴリは、腫瘍のない組織試料である。腫瘍性組織カテゴリは、外科的サブカテゴリと非外科的サブカテゴリとをさらに含み、外科的サブカテゴリは、腫瘍が手術によって除去されるべきであることを示し、非外科的サブカテゴリは、腫瘍が手術によって除去されるべきでないことを示す。外科的サブカテゴリは、膠細胞腫瘍のためのサブカテゴリと、非膠細胞腫瘍のためのサブカテゴリとを含む。非膠細胞腫瘍のためのサブカテゴリは、神経鞘腫腫瘍、髄膜腫腫瘍、転移性腫瘍、下垂体腫瘍、及び髄芽腫腫瘍のためのサブカテゴリをさらに含んでよい。膠細胞腫瘍のためのサブカテゴリは、神経膠芽腫腫瘍及び低悪性度神経膠腫腫瘍のためのサブカテゴリをさらに含んでよい。非腫瘍性組織カテゴリは、正常な脳組織のためのサブカテゴリと、神経膠症組織のためのサブカテゴリとを含む。カテゴリは、カテゴリ化不可能である画像のための非診断カテゴリを含んでもよいし、含まなくてもよい。非診断カテゴリに対して、ニューラル・ネットワークは、カテゴリ化不可能であると指定された画像を用いて訓練され得る。これらのカテゴリは、一実装形態を例示するにすぎず、限定することを意図したものではない。
【0066】
図１６及び図１７は、イメージング・システム１０によって取り込まれたＳＲＨ画像を分析するための実例となる方法をさらに示す。開始点として、１６１において、画像が、たとえばイメージング・デバイスから直接的に、受け取られる。この場合、画像は、イメージング・デバイスの視野に対応する（たとえば、１０００×１０００ピクセル）。別の実例では、画像は、イメージング・デバイスの視野よりも大きいことがあり（たとえば、６０００×６０００ピクセル）、より大きい画像が、イメージング・デバイスによって取り込まれたより小さい画像からともに合成される。
【0067】
１６２では、画像が、その後の処理のために２つ以上のストリップへとセグメンテーションされる。たとえば、６０００×６０００ピクセルの大きい画像が、１０００×６０００ピクセルの６つのストリップへとセグメンテーションされることがある。いくつかの実例では、２つ以上のストリップがイメージング・デバイスから直接的に受け取られるので、セグメンテーションは必要とされない。いずれの場合にも、１６３において、各ストリップが取り出され、処理される。ストリップの処理及び診断が、イメージング・システムと関連づけられたコンピュータ・プロセッサとは別個であり異なるコンピュータ・プロセッサによって実行されてよいことが容易に理解される。いくつかの例では、画像ストリップは、以下でさらに説明されるように、処理のためにリモート場所に送信されることがある。
【0068】
各ストリップに対して、診断が、１６４において示されるようにストリップのために計算され、図１７に関係してさらに説明される。一実例となる実施例では、ストリップはニューラル・ネットワークによって分類され、分類モデル内の各クラスのための確率が、診断として返される。第１のストリップに対して、１６７において、確率分布が、組織試料のための診断として報告される。しかしながら、より多くのデータが受け取られる（すなわち、撮像装置からのより多くのストリップ）と、診断がリアルタイムで更新される。そうするために、その後のストリップのための確率は、１６５において、現在のストリップのための確率と組み合わされる。１つの実例では、所与のクラス内の確率は、累積確率分布を形成するために一緒に加算される。累積分布は、１６６において、以下でさらに説明されるやり方で正規化される。次いで、正規化された累積分布が、１６７において示されるように、診断として報告される。プロセスは、１６８において示されるように、ストリップがなくなるまで、画像を含む各新しいストリップに対して繰り返される。仮定は、分布は、データが最初に利用可能になったときに広く、画像が完了に近づくにつれてより顕著になり、それによって、外科医に、決定に対するより大きな信頼を与えるということである。
【0069】
図１７を参照すると、ストリップのための診断がパッチごとに実行される。実例実施例では、ストリップは、複数のパッチへとさらにセグメンテーションされる。たとえば、９００×６０００ピクセルからなるストリップは、６０のパッチへとセグメンテーションされることがあり、各パッチは３００×３００ピクセルである。ストリップ・サイズ及びパッチ・サイズは例示にすぎず、限定するものではない。
【0070】
ストリップのための診断を計算するために、ストリップ内の各パッチが、１７１において、ニューラル・ネットワークを使用して最初に分類される。実例となる実施例では、分類器出力は、各々に対してＮ×１４の配列に記憶され、ここで、Ｎはストリップ内のパッチの数、１４は、分類モデル内のクラスの数である。クラスの１つは、好ましくは、カテゴリ化不可能であるパッチのための非診断クラスである。ニューラル・ネットワークが、たとえば病理医によって分類可能でないと指定された画像を用いて訓練されることが想定される。
【0071】
非診断とみなされるストリップは、フィルタリング可能である。たとえば、所与のストリップを含むパッチの大多数が非診断と分類される場合、所与のストリップは、１７３において破棄可能であり、したがって、診断に寄与しない。一方、所与のストリップを含むパッチの大多数よりも少ないパッチが非診断と分類される場合、１７２において示されるように、ストリップの処理は継続する。
【0072】
次に、アセスメントが、所与のストリップが正常組織を表すかどうかに関して行われる。実例となる実施例では、所与のストリップのためのカテゴリにまたがる確率は、１に正規化される。正常組織を含むカテゴリ（たとえば、灰白質、白質、及び神経膠症）のための正規化された確率が一緒に加算され、閾値（たとえば、９０％）と比較される。正常組織カテゴリのための加算された確率が閾値を超える場合、所与のストリップは正常組織であるとみなされ、この結果は１７７において返される。反対に、正常組織カテゴリのための加算された確率が閾値を超えない場合、これらの正常組織カテゴリのための確率は１７５においてゼロに設定され、所与のストリップのためのカテゴリのすべてにまたがって調整された確率は、再び１に正規化される。この場合、これらの再正規化された確率は、所与のストリップのための診断結果として返される。これは、組織のより堅牢な統計解析を可能にするので、重要である。サブ腫瘍精度は、組織が、集積された８０％の「腫瘍」診断を有し、「正常」組織の残り２０％がゼロにされるとき、改善される。いくつかの腫瘍病理では、組織の一部分が、正常組織の背景の上に腫瘍を重ねる可能性がある。この「再正規化」アルゴリズムは、組織の一部分が正常であっても、重ねられた腫瘍を正しく診断する。ＳＨＲ画像を分析するためのこの方法は、図１８に示される図にさらに示されている。
【0073】
そのうえ、この方法の実例となる実装形態のための疑似コードが以下に記載される。
１： 入力
２： ｐａｔｃｈｅｓ（配列のセット）：患者からのＮ個の画像のセット
３： ｍｏｄｅｌ（計算グラフ）：訓練されたＣＮＮ
４：
５： 出力
６： ｄｉｓｔｒｉｂｕｔｉｏｎ（ディクショナリ）：診断クラスの確率へのマッピング
７：
８： ｐｒｏｃｅｄｕｒｅ ＰＲＥＤＩＣＴＩＯＮ（ｐａｔｃｈｅｓ／ｍｏｄｅｌ）
９： ｐｒｅｄｉｃｔｉｏｎｓ ←［］
１０： ｆｏｒ ｐａｔｃｈ ｉｎ ｐａｔｃｈｅｓ ｄｏ
１１： ｓｏｆｔｍａｘ＿ｏｕｔｐｕｔ ← ｍｏｄｅｌ（ｐａｔｃｈ）
１２： ｉｆ ａｒｇｍａｘ（ｓｏｆｔｍａｘ＿ｏｕｔｐｕｔ） ＝＝”ｎｏｎｄｉａｇｎｏｓｔｉｃ” ｔｈｅｎ
１３： ｃｏｎｔｉｎｕｅ
１４： ｅｌｓｅ
１５： ａｐｐｅｎｄ ｓｏｆｔｍａｘ＿ｏｕｔｐｕｔ ｔｏ ｐｒｅｄｉｃｔｉｏｎｓ
１６： ｒｅｔｕｒｎ ｐｒｅｄｉｃｔｉｏｎｓ
１７：
１８： ｐｒｏｃｅｄｕｒｅ ＲＥＮＯＲＭＡＬＩＺＥ（ｐｒｅｄｉｃｔｉｏｎｓ）
１９： ｓｕｍｍｅｄ＿ｄｉｓｔ ← ｓｕｍ（ｐｒｅｄｉｃｔｉｏｎｓ）
２０： ｆｏｒ ｃｌａｓｓ ｉｎ ｐｒｅｄｉｃｔｉｏｎｓ ｄｏ
２１： ｐｒｅｄｉｃｔｉｏｎｓ．ｃｌａｓｓ ← ｓｕｍ（ｐｒｅｄｉｃｔｉｏｎｓ．ｃｌａｓｓ）／ｓｕｍｍｅｄ＿ｄｉｓｔ
２２： ｒｅｔｕｒｎ ｐｒｅｄｉｃｔｉｏｎｓ
２３：
２４： ｐｒｏｃｅｄｕｒｅ ＤＩＡＧＮＯＳＩＳ （ｐａｔｃｈｅｓ， ｍｏｄｅｌ）
２５： ｒｅｎｏｒｍ＿ｐｒｅｄｉｃｔｉｏｎ ← ＲＥＮＯＲＭＡＬＩＺＥ（ＰＲＥＤＩＣＴＩＯＮ （ｐａｔｃｈｅｓ， ｍｏｄｅｌ））
２６： ｉｆ ｓｕｍ（ｒｅｎｏｒｍ＿ｐｒｅｄｉｃｔｉｏｎ．ｎｏｒｍａｌ）＞ ０．９ ｔｈｅｎ
２７： ｒｅｔｕｒｎ ｒｅｎｏｒｍ＿ｐｒｅｄｉｃｔｉｏｎ
２８： ｅｌｓｅ
２９： ｒｅｎｏｒｍ＿ｐｒｅｄｉｃｔｉｏｎ．ｎｏｒｍａｌ ← ０
３０： ｒｅｔｕｒｎ ＲＥＮＯＲＭＡＬＩＺＥ（ｒｅｎｏｒｍ＿ｐｒｅｄｉｃｔｉｏｎ）
３１：
３２： ｒｅｔｕｒｎ ＤＩＡＧＮＯＳＩＳ（ｐａｔｃｈｅｓ， ｍｏｄｅｌ）
１： 入力
２： ｐａｔｃｈｅｓ（配列のセット）：患者からのＮ個の画像のセット
３： ｍｏｄｅｌ（計算グラフ）：訓練されたＣＮＮ
４：
５： 出力
６： ｄｉｓｔｒｉｂｕｔｉｏｎ（ディクショナリ）：診断クラスの確率へのマッピング
７：
８： ｐｒｏｃｅｄｕｒｅ ＰＲＥＤＩＣＴＩＯＮ（ｐａｔｃｈｅｓ／ｍｏｄｅｌ）
９： ｐｒｅｄｉｃｔｉｏｎｓ ←［］
１０： ｆｏｒ ｐａｔｃｈ ｉｎ ｐａｔｃｈｅｓ ｄｏ
１１： ｓｏｆｔｍａｘ＿ｏｕｔｐｕｔ ← ｍｏｄｅｌ（ｐａｔｃｈ）
１２： ｉｆ ａｒｇｍａｘ（ｓｏｆｔｍａｘ＿ｏｕｔｐｕｔ） ＝＝”ｎｏｎｄｉａｇｎｏｓｔｉｃ” ｔｈｅｎ
１３： ｃｏｎｔｉｎｕｅ
１４： ｅｌｓｅ
１５： ａｐｐｅｎｄ ｓｏｆｔｍａｘ＿ｏｕｔｐｕｔ ｔｏ ｐｒｅｄｉｃｔｉｏｎｓ
１６： ｒｅｔｕｒｎ ｐｒｅｄｉｃｔｉｏｎｓ
１７：
１８： ｐｒｏｃｅｄｕｒｅ ＲＥＮＯＲＭＡＬＩＺＥ（ｐｒｅｄｉｃｔｉｏｎｓ）
１９： ｓｕｍｍｅｄ＿ｄｉｓｔ ← ｓｕｍ（ｐｒｅｄｉｃｔｉｏｎｓ）
２０： ｆｏｒ ｃｌａｓｓ ｉｎ ｐｒｅｄｉｃｔｉｏｎｓ ｄｏ
２１： ｐｒｅｄｉｃｔｉｏｎｓ．ｃｌａｓｓ ← ｓｕｍ（ｐｒｅｄｉｃｔｉｏｎｓ．ｃｌａｓｓ）／ｓｕｍｍｅｄ＿ｄｉｓｔ
２２： ｒｅｔｕｒｎ ｐｒｅｄｉｃｔｉｏｎｓ
２３：
２４： ｐｒｏｃｅｄｕｒｅ ＤＩＡＧＮＯＳＩＳ （ｐａｔｃｈｅｓ， ｍｏｄｅｌ）
２５： ｒｅｎｏｒｍ＿ｐｒｅｄｉｃｔｉｏｎ ← ＲＥＮＯＲＭＡＬＩＺＥ（ＰＲＥＤＩＣＴＩＯＮ （ｐａｔｃｈｅｓ， ｍｏｄｅｌ））
２６： ｉｆ ｓｕｍ（ｒｅｎｏｒｍ＿ｐｒｅｄｉｃｔｉｏｎ．ｎｏｒｍａｌ）＞ ０．９ ｔｈｅｎ
２７： ｒｅｔｕｒｎ ｒｅｎｏｒｍ＿ｐｒｅｄｉｃｔｉｏｎ
２８： ｅｌｓｅ
２９： ｒｅｎｏｒｍ＿ｐｒｅｄｉｃｔｉｏｎ．ｎｏｒｍａｌ ← ０
３０： ｒｅｔｕｒｎ ＲＥＮＯＲＭＡＬＩＺＥ（ｒｅｎｏｒｍ＿ｐｒｅｄｉｃｔｉｏｎ）
３１：
３２： ｒｅｔｕｒｎ ＤＩＡＧＮＯＳＩＳ（ｐａｔｃｈｅｓ， ｍｏｄｅｌ）
【0074】
正確な術中組織診断は、脳腫瘍手術中に不可欠である。外科医及び病理医は、信頼できるが、読影を制限し手術を遅延させ得るアーチファクトを受けやすい、凍結切片作製及び塗抹標本準備などの信頼された技法に依拠する。本明細書に提示される、術中組織学のための簡略化された標準化された方法は、術中組織学を使用して、腫瘍内部及びこの周囲の組織のより効率的で包括的なサンプリングを保証する機会を作る。高品質組織が手術中に試料されることを保証することによって、ＳＲＨが、最終診断を下す際にますます重要である分子マーカ（たとえばＩＤＨ及びＡＴＲＸ変異、１ｐ１９ｑ共欠損、ＭＧＭＴ及びＴＥＲＴプロモータ変化）のための検査生検に対する収量を上げる。本開示は、臨床環境におけるＳＲＳ顕微鏡の第１の実証を報告し、従来の技法に匹敵する診断値をもつ新鮮標本から組織像を迅速に作成するためにどのように使用可能であるかを示す。
【0075】
腫瘍浸潤組織と正常組織との組織学的及び生化学的な違いを活用する、蛍光ガイド手術、質量分析、ラマン分光法、コヒーレント反ストークスラマン散乱顕微鏡、及び光干渉断層撮影は、脳及び他のタイプの腫瘍の切除をガイドするための方法として提案されている。しかしながら、現在までのところ、臨床環境で試験された顕微鏡イメージング・モダリティは、術中意思決定を知らせるために診断品質画像を迅速に作成するのに成功している。したがって、本明細書におけるシステム及び方法は、光学及びファイバ・レーザ工学の進歩を活用して、操作しやすく、耐久性があり、患者ケア環境と適合するＳＲＳ顕微鏡を提供し、これによって、診断病理組織学的な画像が迅速に提供される。
【0076】
ＳＲＨは、脳腫瘍手術のためのワークフローへの統合によく適している。ＳＲＨのための生検を同時に収集可能であり、定位的なナビゲーション・システムによって追跡可能である手術器具は、単一ディスプレイ内での組織学的情報と位置情報の結合を可能にする。ＳＲＨと外科的ナビゲーションの統合は、最大安全細胞切除が手術空洞全体にわたって実行されることを検証する可能性を生み出す。腫瘍がＳＲＨによって検出されるが安全に除去できない状況では、たとえば、補助療法の送達により良く焦点を合わせる手段として働くことが可能な場合がある。
【0077】
医学データがますますコンピュータに基づくにつれて、ＳＲＳ顕微鏡を介して仮想組織学的切片を獲得する機会は、多数の機会を作り出す。たとえば、脳腫瘍手術が行われる多くの臨床環境では、神経病理学サービスは利用可能でない。現在、米国には、脳腫瘍手術を実行する約１，４００の病院で働く７８５人の委員会認定の神経病理医がいる。本明細書で開示されるＳＲＳ顕微鏡などのネットワーク化されたＳＲＳ顕微鏡は、試料準備とイメージングの両方を簡素化し、手術中に正確な術中診断を送達するために同じ病院内又は世界の別の部分のどちらかにいる熟練した神経病理医を外科医につなぐ可能性を作り出す。
【0078】
コンピュータ支援診断は、最終的に、病理学的診断に内在する読者間変動を減少させ得、熟練した神経病理医が役立たない環境におけるガイダンスを提供する可能性がある。たとえば、本明細書において説明されるように、機械学習アルゴリズムは、脳腫瘍を検出及び診断するために使用され得る。神経病理学におけるコンピュータ支援診断は、ホルマリン固定され、パラフィン包埋され、Ｈ＆Ｅ染色されたスライド画像全体内の診断エンティティを区別する際において効果を発揮してきた。本明細書において説明される、術中組織学のためのコンピュータ支援診断システムは、小さい新鮮組織試料内の診断を確実に予測するように構成されてよい。本明細書において報告される分類器は、病変組織試料を非病変組織試料から区別し、プールされたタイル・データに基づいて診断クラスを予測することが可能である。いくつかの実例によれば、本明細書において説明される手法などの機械学習手法は、より細かい診断分類を実行するように構成されることがある。さらに、本明細書において説明される分類器などの診断分類器の精度は、以下でさらに詳しく説明されるように、１）畳み込みのための代替ニューラル・ネットワーク構成及びシステム、２）特徴に基づく分類を用いること、３）サポート・ベクター・マシン又は統計学的モデリング手法を利用すること、並びに４）人口統計学的要因及び病歴を説明するデータ読影のためのルールを適用することを介しても改善され得る。
【0079】
本明細書において説明されるように、ＳＲＳ顕微鏡は、現在、手術ワークフローに対する最小の混乱をもつ、臨床環境における組織構造物の迅速な術中アセスメントを提供するために利用可能である。ＳＲＨ画像は、高度の精度及び標準的な術中組織学的技法との完全に近い一致をもつ、脳腫瘍標本内の診断を下すために使用されることがある。
【0080】
いくつかの実例によれば、ＳＲＳ顕微鏡から獲得される、２８４５ｃｍ－１から２９３０ｃｍ－１の画像から仮想Ｈ＆Ｅ画像を生成することは、各チャネルの単純な線形カラー・マッピングを利用し得る。チャネル減算及び平坦化（以下のセクションで説明される）の後、線形カラー再マッピングが２８４５ｃｍ－１チャネルと２９３０ｃｍ－１チャネルの両方に適用される。２８４５ｃｍ－１画像であるグレー・スケール画像は、２９３０ｃｍ－１画像内の強い信号が、白色ではなくエオジンに似た赤みがかったピンク色にマッピングされるように線形的にマッピングされる。類似の線形マッピングが、２９３０ｃｍ－１画像に適用され、ヘマトキシリンに似た濃青色／紫色が、強い信号にマッピングされる。最後に、これらの２つの層は、最終的な仮想着色された（ｖｉｒｔｕａｌ－ｃｏｌｏｒｅｄ）Ｈ＆Ｅ画像をもたらすように、一緒に線形的に追加される。
【0081】
Ｈ＆Ｅ変換のための正確な色は、真のＨ＆Ｅ染色スライドの集まりに基づいて線形最適化によって選択される。初期シード・カラーが、両方のＨ＆Ｅ変換のためにランダムに選ばれる。先に説明された線形カラー・マッピング及び追加プロセスは、これらの初期シード・カラーとともに完了される。続く画像は、細胞質部分及び核部分へと手動分離（ｈａｎｄ－ｓｅｇｒｅｇａｔｅ）される。これらの部分は、真のＨ＆Ｅ画像と比較され、生成された偽着色された（ｆａｌｓｅ－ｃｏｌｏｒｅｄ）Ｈ＆Ｅと真のＨ＆Ｅとの間の細胞質及び核の色合いの差が明らかにされる。Ｈ＆Ｅシード・カラーは、これらのそれぞれの色合いの違いによって修正され、プロセスは、生成された画像と真の画像との違いが、色合いによって１％未満異なるまで繰り返される。
【0082】
ＳＲＳ画像から仮想着色されたＨ＆Ｅ画像を生成することが可能であり、ＳＲＳ画像及びＳＲＨ画像という頭字語は、以下のステップからなる。
【0083】
１）モザイク獲得スクリプトは、あらかじめロードされた組織試料から１０２４×１０２４ピクセル画像の（Ｎ×Ｎ）シリーズを獲得する制御コンピュータ上で開始される。これらの画像は、２８４５ｃｍ－１及び２９３０ｃｍ－１のラマン・シフトで獲得され、あらかじめ指定されたフォルダに個々の２チャネルＦＯＶとして保存される。
【0084】
２）２チャネル画像が複製され、複製された画像にガウスぼかしが適用される。次いで、元の２チャネル画像が、獲得及び組織準備のアーチファクトを除去するために、ガウスぼかしによって分割される。
【0085】
３）２８４５ｃｍ－１チャネルが、各ＦＯＶ内で２９３０ｃｍ－１チャネルから減算される。
【0086】
４）新しいＦＯＶが、２８４５ｃｍ－１チャネル及び２９３０ｃｍ－１－２８４５ｃｍ－１チャネルとともに作成される。
【0087】
５）仮想色Ｈ＆Ｅスクリプト（上記のセクションで説明された）は、減算及び平坦化されたタイルのＨ＆Ｅバージョンを作成するために走らされる。
【0088】
６）元のタイルは、先に説明されたように合成される。使用者は、初期合成が容認できない画像を生じさせる場合に異なる合成パラメータで再合成する選択肢が提示される。合成の成功時、レイアウト・ファイルが、合成画像内の個々のタイルの末端位置から生成される。
【0089】
７）仮想色Ｈ＆Ｅ画像は、合成オフセット及びマージをゼロから再計算することよりも著しく速いプロセスであるステップ＃６で生成されたレイアウト・ファイルを使用して合成される。
【0090】
１つの実例によれば、未加工のＳＲＨ画像を診断の各々のための確率ベクトルに変換するためのプロセスは、次のように実行され得る。１）「組織採取及びイメージング」というサブセクションにおける説明されるように、ＦＩＪＩを使用して、ＣＨ３層からＣＨ２層を減算し、画像を平坦化する、２）ＦＩＪＩを使用して、２チャネル画像を別個のＣＨ２層とＣＨ３－ＣＨ２層へと分割する、３）先のタイルの各々に対して、９０度回転を用いてタイルの４つの複製を作成する（「回転異性体」）、４）ＷＮＤＣＨＲＭなどを使用して、前のステップからタイルの各々のための署名ファイルを生成する、５）特徴値のすべてが範囲（－１．０，１．０）に均一及び線形にマッピングされるように、署名ファイルを正規化する、６）（ＣＨ２）ＣＨ２チャネル・タイルに対応するタイルの各々に対して、前に説明されたようにＭＬＰを走らせる、７）（ＣＨ２）所与のＣＨ２チャネル・タイルのための１つの統合された診断－確率ベクトルを作成するために、所与のタイルのための回転異性体のすべてを集め、これらの回転異性体から予測値の平均（算術平均）を出す、８）ＣＨ３－ＣＨ２チャネルのためのステップ６～７を繰り返す、９）所与のタイルに対して、ＣＨ２チャネルとＣＨ３－ＣＨ２チャネルを比較し、より低い最大確率値を有するタイルのための診断－確率ベクトルを破棄する、及び１０）症例ごとの診断のために、症例のためのタイルのすべてをグループ化し、＞０．２５の診断確率をもたないタイルを除去して、タイルのセットの間で最も一般的な（最頻値）診断をもつ症例を診断する。このプロセスは、例示にすぎず、限定することを意図したものではない。
【0091】
次に図１０を参照すると、ラベルのない、未処理のＳＲＨと従来のＨ＆Ｅ染色凍結切片の比較が提供される。図示のように、ＳＲＨ画像は、Ｈ＆Ｅ染色組織では見られないであろう軸索（未分化星状細胞腫標本内の白色の線形構造）などの一意の特徴を追加しながら、従来の凍結切片とともに見られる診断組織構造的特徴を保つ。スケール・バーは、図１０では５０μＭである。
【0092】
上記で論じられたＳＲＨイメージング及び分析技法の利点に加えて、本明細書において説明されるＳＲＨイメージング及び分析技法は、以下の追加の利益を提供し得る。具体的には、ＳＲＨ画像は、１）新鮮な未処理の外科標本を使用して容易に取得可能である、２）従来の組織像に匹敵する診断内容を有する（図１０を参照されたい）：精度は、１対１比較でＳＲＨ画像と従来の組織像の両方に対して９２％を超えた。従来の組織学とＳＲＨとの間の一致は、ｋ＞０．８９でほぼ完全であった、３）手術室内で迅速に利用可能である：診断画像は、（本発明者らの施設における術中診断のための一般的な所要時間である３０～４５分ではなく）数分で取得される、４）二次分析のために組織を保存する：ＳＲＨを用いて画像化された組織は、その構造的及び生化学的な完全性を保ち、Ｈ＆Ｅ、ＩＨＣ分析、及びシークエンシングに適する、５）病院の画像保存通信システム（ＰＡＣＳ：ｐｉｃｔｕｒｅ ａｒｃｈｉｖｉｎｇ ａｎｄ ｃｏｍｍｕｎｉｃａｔｉｏｎ ｓｙｓｔｅｍ）に容易にアップロードされ、医療記録に統合され、既存のＰＡＣＳビューアを介して閲覧可能である。画像をアップロード及び転送するための容量は、遠隔読影の可能性を明らかにし、不十分な神経病理学リソースをもつセンターをスタッフが揃ったセンターに接続し、術中診断のためのより簡素化されたワークフローを提供する、６）定量化可能であり、自動画像分類及び診断を可能にする。
【0093】
脳腫瘍手術の規律（ｄｉｓｃｉｐｌｉｎｅ）、並びにより広い腫瘍外科学の分野において幅広く適用される場合、ＳＲＨは、診断を待機することに費やされる時間を減少させることにより、手術室内の効率を改善することによって、癌患者の外科的ケアに影響を及ぼす。ＳＲＨ画像が取得される速度は、より良い外科的な意志決定を駆動するために組織学的データの使用を拡張する機会を作り出す。たとえば、ＳＲＨを通して、神経外科医は、切除空洞縁における組織の腫瘍内容を検証することがある。ＳＲＨ検出可能な腫瘍が検出された場合、臨床シナリオに応じて、さらなる手術、標的術後照射、又は局所的化学療法が行われてよい。
【0094】
特に、ＳＲＨは、術中診断及び腫瘍検出が不可欠である腫瘍外科学の他の規律において潜在的な適用例を有する。たとえば、誘導ラマン散乱顕微鏡は、頭部及び頸部外科標本内の腫瘍の検出、並びに乳癌手術及び胸部腫瘍学の分野にも適切に適用され得る。最後に、ＳＲＨ画像の定量化可能性は、腫瘍検出及び診断を支援するために、人工知能及びコンピュータに基づいた画像分類の進歩を適用するための道を作り出す。
【0095】
脳腫瘍手術が行われる多くの臨床環境では、熟練した神経病理学サービスは利用可能でない。術中診断を確立するための信頼できる手段がなければ、最良の可能なケアを脳腫瘍患者に送達することは難しくなり得る。病理学的診断の実施は、コンピュータが十分に適しているタスクであるパターン認識に大きく依拠しているので、新生物の病理組織学的な診断のための人工知能（ＡＩ：ａｒｔｉｆｉｃｉａｌ ｉｎｔｅｌｌｉｇｅｎｃｅ）に基づいたシステムが提唱されている。本明細書で開示される、ＡＩに基づいたシステム及び方法を含めて、ＡＩは、病理医、特に神経病理学における公的な専門分科訓練を受けていない病理医が正確な組織診断を下すのを支援するために利用されてよい。
【0096】
分子診断の時代では、形態学のみに基づいて腫瘍を分類することは、最終診断を下すのにますます不十分である。それにもかかわらず、外科的意志決定を知らせる、関連のある術中問題の大部分は、組織形態学及び細胞学のみを評価することによって回答可能である。具体的には、組織形態学特徴は、病変組織を非病変組織から区別し、集められた組織が最終診断を下すのに有用であり、外科的除去されるべきである病変（神経膠腫、転移）を、除去されるべきでない病変（リンパ腫及び胚細胞腫）から区別する際に有用であることを保証することができる。形態学的特徴に基づいた画像分類は、計算能力及び人工知能の進歩が発生するにつれて急成長してきたコンピュータ・サイエンスのエリアである。
【0097】
本開示のいくつかの実例によれば、自動画像解析は、手術中に診断分類を送達するために人工知能とリンクされてよい。予備データは、脳腫瘍手術中に画像定量化及びＡＩを用いて外科的戦略を命令する重要な問題に回答する実行可能性を示す。ＳＲＨ画像属性（すなわち、細胞充実性及び軸索密度）が定量化可能であり、肉眼的に正常に見える区域内であっても、腫瘍の存在を検出するための基礎を作り出すことが示されている。さらに、２，９１９の画像属性を、図９ａ～図９ｃに示されるように、（１）１００％の精度で病変標本を非病変標本から、（２）９０％の精度で膠細胞を非膠細胞腫瘍から、並びに（３）非病変組織の中で、９０％の精度で、低悪性度膠細胞腫瘍、高悪性度膠細胞腫瘍、及び非膠細胞腫瘍を区別することが可能である多層パーセプトロンへと組み込んだ包括的な定量的画像解析が用いられることがある。
【0098】
次に図１１を参照すると、したがって、従来の組織学のためのワークフローの、ＳＲＨ画像生成のためのワークフローとの比較が提供される。図１１に示されるように、ＳＲＨは、従来の技法に固有の時間及びリソースをなくすことによって術中組織学の現在の慣例を簡素化し加速させるために利用されることがある。ＳＲＨの中心的な利点は、図１１に説明されるように組織像を獲得するための簡単なプロセスである。従来の技法は、７～１０の処理ステップを必要とし、規制された専用病理学ラボで行われなければならない有毒化学物質を伴うが、ＳＲＨは、そのすべてが手術室内でほんの数分で実行され得る３つの簡単なステップで実行可能である。
【0099】
術中組織学の慣例を簡素化することによって、癌患者の臨床ケアは、以下の手段で改善されるであろう。１）術中診断中の手術室内のダウンタイムの減少が確立される、２）エラーを起こしにくく、標本の範囲にわたってより均一である組織を準備するためのプロトコルへの依拠、３）凍結アーチファクトを導入せず、組織及び細胞の構造物を保存する組織準備プロトコルへの依拠、４）病理医が診断組織像を再評価し、病院内と病院間の両方で外科医と知見を通信する簡単な手段を確立すること、並びに５）診断を支援するためにＡＩ手法を開発及びテストするために使用可能である術中病理学データの中央データ・レポジトリを提供すること。
【0100】
前述の利益に加えて、ＳＲＨは、他の利益も提供する。たとえば、ＳＲＨは、（ｉ）染料への依拠がなく、（ｉｉ）手術室で一般的な周囲照明条件下で実行可能である。これらの性質の両方は、ＳＲＨが、既存のワークフローの最小の破壊とともに手術室内で外科チームによって正常に実行可能であることを保証する助けとなる。ＳＲＨは、画像化された組織を、完全に乱されないままにしておくという追加された利益を有する。組織は、いかなる形でもラベルされないので、組織は、日常的なＨ＆Ｅ染色、組織化学的分析、及びシークエンシングに後で使用可能である。さらに依然として、組織学のための他の技法の存在にもかかわらず、ＳＲＨのみは、迅速な癌検出及び診断を可能にする組織形態学的合図を明らかにするために固有の化学的コントラスト及びミクロン未満の空間的分解能を組み合わせる能力を有するように示されている。
【0101】
医用画像の記憶のための業界標準は、ＤＩＣＯＭフォーマットを介する。ＤＩＣＯＭ画像は、一般的には、ＰＡＣＳ上に記憶される。経路は、ＳＲＨ画像のＤＩＣＯＭフォーマットへの変換、並びに病院電子医療記録からのリンクにもかかわらずウェブ・ベースのＤＩＣＯＭビューアを介してアクセス可能である病院ＰＡＣＳシステム上でのＳＲＨ画像の記憶のために以前に確立されている。しかしながら、従来のシステム及び方法では、コメントを記録すること、診断すること、又は画像にアノテーション付与することは可能でなかった。
【0102】
したがって、本明細書において説明されるシステム及び方法の１つの目的は、とりわけ、ＳＲＨ画像再評価中に外科医と病理医との間の協同を促進するために、情報の小さいパケットが病院ネットワーク内で病理医のワークステーションから手術室内のＳＲＨ撮像装置に転送され得る高速経路を提供することである。このようにして、本開示のシステム及び方法を利用する病理医は、手術室内のＳＲＨ撮像装置上でＳＲＨ画像を操作（パン、ズーム）して、目に見えるカーソル又は静的なアニメーション・ツールを使用して、画像内の重要な特徴にアノテーション付与する。これは、病理医が所与の診断結論になぜ到達したかを外科医に正確に示すことを可能にすることがあり、病理医が凍結切片ラボに行ってスライドを再評価する必要がなく、外科医が患者を手術室内に残してスライドを再評価し、病理医と診断を論じる必要がないという利点がある。
【0103】
次に図１２を参照すると、ＳＲＨ画像の双方向転送及びアノテーションを可能にするためのシステムの１つの実例が示されている（たとえば、ネットワーク・アーキテクチャ）。システムは、手術室内のＳＲＨイメージング・システムを病理医に中央画像データセンターを通してリンクする仮想的な共同空間を容易にし得る。具体的には、システムは、手術室内にあるイメージング・サブシステムと、手術室から遠隔に配置される画像読影サブシステムとを含むことがある。イメージング・サブシステムは、上記で説明されたやり方で組織試料の画像を取り込む。通信デバイスは、イメージング・サブシステムとインタフェースし、ネットワーク上で画像読影サブシステムに画像を送信するように動作する。次に、画像読影サブシステムは、組織試料の画像を表示するように動作する。いくつかの実施例では、画像読影サブシステムが、上記で説明されたやり方でも動作する診断モジュールをさらに含むことが想定される。
【0104】
いくつかの実例によれば、システムは、次のように動作することがある。神経外科医と神経病理医との間の無制限の通信は、予備診断を確立し、脳腫瘍手術中に治療計画を作成する助けとなる。しかしながら、スライド準備のために必要とされる時間と結合された、手術室と凍結切片ラボとの間の物理的間隔は、手術中に神経外科医と神経病理医との間の組織診断についての自由な通信を妨げることがある。たとえば、外科医が手術室から出て神経病理医と会い、手術中に凍結切片ラボ内でスライドを再評価することが難しいことがある。病理医が医学キャンパスにわたって複数の凍結切片ラボラトリ内で監督し診断を行い、外科医にガイダンスを提供するために必要とされる時間を追加することも難しいことがある。
【0105】
したがって、本明細書において説明され図１２に示される協働システムとともに、大きな画像データセットが、確立されたＤＩＣＯＭ通信プロトコルにより病院ＰＡＣＳシステムを通して実行されることがある。リアルタイム協働は、ＤＩＣＯＭを越える別個の通信チャネルを通して実行されることがあり、メタ・データの高速の双方向性通信（たとえば、リアルタイム・イメージング・パン／ズーム又はアノテーション）を可能にする。
【0106】
ＳＲＨ撮像装置とＰＡＣＳアーカイブと病理医ワークステーションとの間の通信経路の実装に直面する２つの例示的な難題としては、（１）データ完全性を保証すること、及び（２）かなり大きいデータセット（数百ＭＢ）にリアルタイム協同を提供することがある。これらの難題に対処するために、本明細書において説明され図１２に示されるアーキテクチャは、大きい医用画像データセットの通信の堅牢さ（元々、大きいＭＲＩ３Ｄ画像データセットために設計された）を保証するために、確立された医療におけるデジタル・イメージング及び通信（ＤＩＣＯＭ）通信プロトコルによる病院ＰＡＣＳシステムを通してのデータ交換と、リアルタイム協同のために外科医と病理医との間で確立された、ピア・ツー・ピア通信を通しての二次通信経路を容易にする。このアーキテクチャでは、撮像装置の既存のグラフィカル・ユーザ・インタフェース（ＧＵＩ：Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）の機能は、外科医のために拡張され、病理医のための新規な画像ビューアを含むことがある。
【0107】
本開示の一実装形態によれば、ＳＲＨ撮像装置グラフィカル・ユーザ・インタフェース（ＧＵＩ）を最適化するためのシステム及び方法が提供される。さらに、本開示は、ＳＲＨ画像ビューアに、ＰＡＣＳアーカイブに及びそれからＳＲＨ画像を転送するための迅速なＤＩＣＯＭ準拠アップロード及びダウンロード能力を提供する。１つの実例によれば、Ｈ．Ｒ．Ｚ． Ｓｏｆｔｗａｒｅ Ｓｅｒｖｉｃｅｓ ＬＴＤなどのＤＩＣＯＭＩＺＥＲソフトウェアが、ＳＲＨ画像をＤＩＣＯＭフォーマットに変換するために利用されることがある。変換されたＳＲＨ画像は、ＰＡＣＳシステム（たとえば、病院ＰＡＣＳシステム）にアップロードされ、たとえば、電子医療記録にリンクされたＥｐｉｃ画像ビューアなどを介してアクセスされることがある。このようにして、この機能は、画像獲得が実行されながらアップロードが自動的に開始されるように、ＳＲＨイメージング・システムのＧＵＩ内で統合されることがある。ＳＲＨ画像は、かなり大きい（ＲＧＢの１００Ｍピクセル、すなわち、約３００Ｍバイト）ことがあるが、獲得速度（約１Ｍバイト／秒）は、一般的な病院イントラネット速度よりも遅い。したがって、画像獲得と並列にアップロードを開始することによって、最小レイテンシが達成可能である。
【0108】
同様に、本開示は、ＰＡＣＳシステムに関する研究を識別し画像をダウンロードすることが可能である、病理医のためのＳＲＨ画像ビューアを提供する。１つの実例では、ＳＲＨ画像ビューは、新規な画像データのためのＰＡＣＳシステムを周期的に（たとえば、常に）ｐｉｎｇを送り、ＳＲＨイメージング・システムから見えるとデータをダウンロードし始めるように構成されることがある。画像通信のための厳格なＤＩＣＯＭ規格及び確立されたＰＡＣＳシステムに依拠することによって、データ完全性が保証され得る。
【0109】
本開示の他の実装形態によれば、迅速な協同を可能にするＳＲＨ画像のアノテーションのための双方向性経路のためのインタフェースが提供される。ＰＡＣＳシステムは、大きな画像データをホストするために設計されるが、迅速な協同のためには設計されない。凍結切片の読み取り中、病理医は、多くの場合に、好適な診断をサポートする診断組織構造をもつ区域を示す。したがって、本開示の１つの目的は、病理医が画像を再評価し、アノテーションを画像メタ・データへと挿入し、診断所見を記録するための自由なテキスト・フィールドを含むフォームを編集することを可能にする速い（知覚されたレイテンシがない）経路を提供することである。すべてのアノテーション及び下された診断は、手術室内の、組織が画像化されたＳＲＨ撮像装置上で見えてよい。
【0110】
本明細書で開示されるシステム及び方法を適用すると、病理学結果を待つ外科医は、アノテーション付与された画像及び／又は診断が利用可能であるとき、手術室内にてリアルタイムで通知される。重要な実現は、未加工の画像データセットがＰＡＣＳ通信を通して撮像装置とビューアの両方にすでに存在し、フルＨＤ画像ではなく、非常に低いデータ量（たとえば、数バイト）である、現在の画像座標、ズーム・レベル、及びアノテーションを通信することのみが必要であることである。１つの実例によれば、本明細書において説明される撮像装置ＧＵＩ及び撮像装置ビューアは、アノテーション又は画像座標／ズームなどの画像メタ・データのためのピア・ツー・ピア直接通信プロトコルを装備することがある。
【0111】
いくつかの実例によれば、本明細書において説明されるシステム及び技法の実装形態に続いて、病理医は、獲得の１分以内にアップロードされたＳＲＨ画像を見ることがあり、外科医は、知覚されるレイテンシなしに、病理医によるＳＲＨ画像内のアノテーションを見ることがある。
【0112】
次に図１３を参照すると、プールされたＳＲＨ画像及び従来の組織学画像を使用して診断を実行するための方法を示すフローチャートが提供される。試験病理医による従来の組織学診断及び／又は診察する病理医による臨床診断とともにＳＲＨ診断を行うことによって、所与の診断の精度が改善され得る。
【0113】
次に図１４を参照すると、１つの実例となる実装形態による合成画像獲得を示す図が提供される。合成画像獲得は、本明細書において説明される迅速な協同を可能にするＳＲＨ画像のアノテーションのための双方向性通信経路の一部として行われてもよいし、これとともに行われてもよい。
【0114】
より具体的には、図１４を引き続き参照すると、本開示の態様により術中組織学画像を獲得、送信、及び表示するためのシステムが説明される。
【0115】
外科医は必ず病理学の専門家であるとは限らないので、外科医は、術中診察に関して専門病理医に依拠する。現在の臨床的な慣例では、組織は、生検され、処理のために凍結切片ラボに輸送される。病理医は、染色された組織切片の読影のためにこのラボに来て、外科医に電話で結果を知らせる。代替的な術中病理組織診断（誘導ラマン組織学（ＳＲＨ））は、手術室（ＯＲ：ｏｐｅｒａｔｉｎｇ ｒｏｏｍ）内又は複数のＯＲにサービスする隣接するコア・ラボラトリ内で新鮮組織標本を分析する。滅菌環境に入るのは時間がかかるので、病理医は一般的にはＯＲに来ず、多くの施設では、病理医は、病院の異なる部門にいる。いくつかの場合では、手術は、専用病理学スタッフをもたない衛星環境又は病院内で実行される。
【0116】
したがって、デジタル・フォーマットで撮像装置から読影ステーションに画像を転送することが必要とされる。ＯＲ時間は費用がかかるので、術中組織病理学イメージング・システムの重要な特徴の１つは、診断までの時間である。麻酔下で時間を最小にすることは、一般に望ましく、診断のための長い待機時間は、残余腫瘍のための手術空洞をマッピングするための手段として病理学を使用して阻害する。したがって、画像データの転送時間を最小にすることが望ましい。
【0117】
病理学イメージング・データは、ミリメートル～センチメートル・サイズの組織標本が高分解能で走査され、合成されるので、非常に大きいことが知られている。単一視野（ＦＯＶ）のサイズは、対物レンズの倍率及びサンプリングに依存するが、一般的には、約５００μｍ×５００μｍであり、５ｍｍ×５ｍｍ組織面積を走査することは、１００のＦＯＶの合成を必要とする。一般的には、個々のＦＯＶは１～５Ｍピクセル（すなわち、８ビットＲＧＢモードで３～１５ＭＢ）を有し、したがって、合成画像は３００ＭＢ～１．５ＧＢであり、画像転送のみで何分もかかることがある。高度な方法は、客観的な長さとは無関係である長さをもつ画像ストリップの形でＦＯＶを獲得するためにモータ駆動ステージが直交方向に移動しながら線画像が獲得されるストリップ・タイリングを使用する。そのような手法は、合成されることが必要なＦＯＶの数を減少させるが、データ・サイズを減少させない。
【0118】
ＦＯＶは、隣接するＦＯＶとの何らかの重複を有することもあるし有さないこともある、組織標本のより大きな画像のサブセットである。いくつかの場合では、ＦＯＶは、組織標本のより大きな画像を提供するために合成されることがある。ＦＯＶは、別々に読影、保存、又は遠隔保存、読影ステーション、若しくは閲覧ステーションに転送可能である。ＦＯＶの性質は、画像がどのように獲得されるかに関連することがある。１つの実例では、画像は、ストリップ・タイリングによって獲得され、それによって、画像は、１軸走査ミラー又はライン・カメラによって走査され、モータ駆動ステージは、画像ストリップを経時的に獲得するために、多少垂直な方向に試料を移動させる。この場合、ＦＯＶは、方形ストリップであろう。別の実例では、ストリップは、サブ切片へと人工的に細分割されることがあり、その各々は、それ自体のＦＯＶであってよい。さらに別の実例では、画像は、２軸スキャナ又は２Ｄカメラを使用することによって獲得される。そのような実例では、ＦＯＶは、この２Ｄスキャン又は画像からの出力であってよい。他の実例では、そのような２Ｄスキャン又は画像は、サブ切片へと細分割されることがあり、その各々は、それ自体のＦＯＶであってよい。そのような細分割されたＦＯＶは、サイズがより小さいことがある。
【0119】
既存のデジタル病理学システムは、独立したシステムとして画像獲得、転送、及び表示を扱う。獲得システムは、画像の走査及び合成を完了させ、それを全体として転送する。これは、医用画像のデータ完全性を保証する助けとなる。圧縮アルゴリズムは、多くの場合に、データ・サイズを減少させるために使用されるが、予測不可能な流儀で画像品質を損なうことがあり、これは、医用画像データにとって望ましくない。
【0120】
したがって、本開示は、代替システム・アーキテクチャを提供し、それによって、ＦＯＶが部分的な画像として送信され、複合画像の合成及び表示が、たとえば獲得システムと閲覧システムとの間の共有設定に基づいて画像内のストリップの場所に相関可能である獲得の順序を表す識別タグに基づいて、閲覧システムによって実行される。この手法では、画像転送は、すべての部分的な画像が獲得されて合成されるまで待機するのではなく、部分的な画像がイメージング・システムによって獲得されるとすぐに、開始可能である。
【0121】
１つの実例では、データ転送は、イメージング機器が読影ステーションに直接的に接続されるように、ピア・ツー・ピアであってよい。他の実例では、接続は、１つ又は複数の中間物を含むことがある。たとえば、いくつかの実装形態（図１２に示される実装形態など）では、イメージング機器は、ＰＡＣＳを通して画像読影ステーションと通信することがある（これは、いくつかの実例では、１つ又は複数のサーバ・コンピュータとして実装されることがある）。後者の場合では、ＰＡＣＳシステムへの及びこれからの画像のアップロード及びダウンロードは、部分的な画像データに基づくことがあり、複合画像の組み立ては、閲覧システムによって実行されることがある。
【0122】
一般的には、医用画像データは、イメージング・ファイルの記憶及び転送のためのＤＩＣＯＭ規格に準拠する。いくつかの実例によれば、本明細書において説明される手法は、このフレームワーク内で機能するように適合可能である。画像獲得の開始時に、新しいシリーズが、ＰＡＣＳシステム又は閲覧システムにおいて生成されることがあり、部分的な画像が、ネットワークを介して転送されることがある。いくつかの実例では、部分的な画像を試料内の特定の場所と自動的に関連づけるために画像データと一体的に関連づけられたＤＩＣＯＭタグが、利用されることがある。そのようなタグは、（たとえば、部分的な画像の中心位置を表す）実際の位置であってもよいし、獲得プロトコルの知識に基づいて実際の位置に相関可能である無名数であってもよい。次いで、閲覧システムが、そのような部分的な画像を受け取って、複合画像へとダウンロードすることがある。閲覧システムは、獲得全体が完了するまで待機してもよいし、部分的な画像データが利用可能になると、その部分的な画像データを表示し始めてもよい。画像は、隣接する場所又は重複する場所で獲得されることがあり、閲覧システムは、複合画像を修正し始めことがある、又は、画像全体が組み立てられた後で完全な画像のみを提供する別個の場所からのものとすることができる。
【0123】
ＤＩＣＯＭの１つの利点は、既存の病院ＩＴインフラストラクチャに適合することである。しかしながら、本明細書において説明される概念及び実例は、ＤＩＣＯＭ画像保存及び送信プロトコルとは無関係であってよく、当技術分野で知られている任意の画像データ・フォーマット（たとえば、＊．ｊｐｇ、＊．ｔｉｆｆ、＊．ｂｍｐなど）に適用可能であることが留意されるべきである。これは、画像獲得システム、データ保存ソリューション、及び／又は閲覧ステーションのうちの１つ又は複数を含む専用ＳＲＧＨ術中病理学ソリューションが提供される場合に、特に当てはまる。そのようなシナリオでは、データ・フォーマット又はＤＩＣＯＭ以外の伝送プロトコルを利用することが有利であることがある。
【0124】
多くの適用例では、ある程度の空間的な重複を有する部分的な画像を獲得し、重複アルゴリズムを使用して、２つの隣接する部分的な画像を重複させて複合画像にマージする（たとえば、相互相関及び又は線形／非線形伸張を使用する）ことが有利である。そのような重複及び併合は、イメージング獲得システム又は閲覧システムのどちらかの上で実行可能である。第１の場合には、部分的な画像の単純な位置ベースの合成は、閲覧システムによって依然として実行されることがあるが、データは、重複領域の併合部分のみが第２の部分的な画像とともに送信されるような流儀で編成されるであろう。
【0125】
本明細書において説明される技法を含む、いくつかの術中組織学技法は、同時に又は順次行われるマルチ・カラー・イメージングに依拠することがある。同じ組織領域からの異なるカラー・チャネルは、マルチ・チャネル画像の形で組み合わされて、又は単一チャネル画像として別々に、のどちらかで送信可能である。後者の場合には、本明細書において説明される閲覧システムは、そのような画像をマルチ・チャネル画像へと組み立てるように構成されることがある。
【0126】
いくつかの実例では、画像獲得を制御するコンピュータ・システムとは別個のコンピュータ・システム上でコンピュータ支援画像読影又は診断を実行することが有利であることがある。これは、別個のコンピュータ・システムが、病院ベースのサーバ又はウェブ・ベースのサーバなどのイメージング・システムのコンピュータ・システムよりも多くの計算パワーを有する場合に、そうである。別個のコンピュータ・システムは、病院ネットワークの一部であってもよいし、遠隔であってもよい。これは、イメージング・システムのコンピュータ・システムが、画像獲得が正しく実行されることを保証可能であるように、読影によって必要とされる計算付加によって影響されるべきでない場合、たとえば、重大なタイミングが必要とされる場合にも、あり得る。そのような実例では、完全な画像ではなく個々のＦＯＶ上でコンピュータ支援画像読影又は診断を実行し、個々のＦＯＶの部分的な画像転送を可能にすることが望ましいことがある。次いで、ＦＯＶが別個のコンピュータ・システム上で利用可能になるとすぐに、コンピュータ支援画像読影及び診断が開始されることがある。コンピュータ・システムは、パーソナル・コンピュータ（ＰＣ：ｐｅｒｓｏｎａｌ ｃｏｍｐｕｔｅｒ）、サーバ、マイクロ・コントローラ、ＧＰＵ、又はＦＰＧＡを含んでよい。
【0127】
いくつかの実例では、画像読影又は診断を実行するコンピュータ・システムは、画像獲得を制御するコンピュータ・システムと同じであってもよいし、これとは異なるコンピュータ・システムであってもよく、これまで獲得及び読影されたＦＯＶに基づいて十分な信頼度で画像読影又は診断を下すのに十分な画像データがいつ獲得されるかを決定する。たとえば、画像読影又は診断のための全体的な信頼度スコアは、個々のＦＯＶからの画像読影又は診断を組み合わせて、個々のＦＯＶの信頼度などの何らかの重み付けを適用することによって、生成され得る。一般的には、より多くのＦＯＶを獲得及び読影すると、より良い信頼度をもたらし得るが、特定の画像読影若しくは診断のための信頼度が１つ又は少数のＦＯＶに基づく一定の閾値を上回る、又は、より少ないＦＯＶを獲得及び／若しくは読影することによって節減される時間が信頼水準の増加よりも重要であることが当てはまることがある。部分的に、これは、必要とされる診断のレベルに依存することがある、たとえば、たとえば、膠細胞を非膠細胞腫瘍から区別しながら若しくは少数のＦＯＶに基づいて病変組織を非病変組織から区別することが可能である場合がある、又は、完全な術中診断を確立することが、より多くのＦＯＶが獲得及び読影されることを必要とすることがある。これらの場合の各々のための所望の出力及び診断の正しい読影の信頼水準に基づいて、診断の画像読影を実行するコンピュータ・システムは、十分なＦＯＶが獲得及び／又は読影されたことを決定することがある。
【0128】
いくつかの実例では、ＦＯＶ内のあらゆるピクセルが、画像読影又は診断を下すために必要とされるとは限らないことがあり、ダウン・サンプリングによって計算パワー及び／又は時間を減少させることが有利なことがある。以下の実例で説明されるように、１０００×１０００ピクセルＦＯＶ又は１０２４×１０２４ピクセルＦＯＶから２９９×２９９ピクセルＦＯＶへのダウン・サンプリングは、データの量を１０分の１未満に減少させながら優れた読影結果を生じさせ得る。一般的には、人間による読影のためのイメージング・システムは、たとえば分解能及び／又はサンプリング密度によって測定される最良の可能な画像品質を提供しようと務めるので、この結果は予期されない。たとえば、≦５００ｎｍの分解能とＦＯＶ≧５００ｕｍをもつ高価なＯｌｙｍｐｕｓ２５×１．０５ＮＡ対物レンズが用いられることがあり、獲得システムは、サンプリングするなどのために（又は光学的分解能をオーバー・サンプリングするためにすら）、≧１０００×１０００ピクセルを獲得することがある。しかしながら、コンピュータ支援画像読影又は診断を用いて許容できる結果を維持しながら、そのような画像をダウン・サンプリングすることは、許容できることがある。したがって、本明細書において説明されるイメージング・システムは、いくつかの実例によれば、光学的分解能に合致する（又はオーバー・サンプリングする）サンプリングとともに画像を獲得し、次いで、画像を、離散的な方法（たとえば、各第３の試料をピックする）又は補間、フィルタリング、畳み込みなどを使用する、より高度な方法などの、１Ｄ又は２Ｄのダウン・サンプリング方法に供するように構成されることがある。他の実例では、本明細書において説明されるイメージング・システムは、たとえば、データ獲得において適切なサンプリング・レート及び／若しくはデジタル・フィルタを選ぶことによって、並びに／又は２Ｄ方向の非対称サンプリングを選ぶことによって（たとえば、ストリップ・タイリングによって画像が獲得される場合では、正方形ピクセルを獲得するために必要であろうよりも速いスピードで１Ｄビーム走査方向と本質的に垂直な方向にステージを移動させることが可能なことがある）、アンダー・サンプリングされた画像を直接的に生じさせるように構成されることがある。ＦＯＶのダウン・サンプリング又はアンダー・サンプリングは、たとえば、画像読影又は診断が、画像獲得を制御する同じコンピュータ・システムによって実行されるときに使用されてもよいし、転送サイズを減少させようとして画像読影又は診断のために別個のコンピュータ・システムに画像を送信する前にダウン・サンプリングが実行される場合に上記で説明されたシステム及び方法と組み合わせて使用されてもよい。
【0129】
前述の内容を考慮すると、本開示の１つの実例によれば、組織標本の拡大画像を獲得及び閲覧するためのシステムが提供される。このシステムは、（ｉ）少なくとも組織標本の第１の場所における第１の部分的な拡大画像と、組織標本の第２の場所における第２の部分的な拡大画像を獲得するように構成された顕微鏡システムと、（ｉｉ）ネットワークを介して第１の部分的な拡大画像及び第２の部分的な拡大画像を送信及びアップロードするように構成された第１のコンピュータ・システムと、（ｉｉｉ）少なくとも、第１の部分的な拡大画像及び第２の部分的な拡大画像を受信及び／又はダウンロードし、そのような第１の拡大画像及び第２の拡大画像を（たとえば、第２のコンピュータ・システムの一部として含まれるディスプレイ・デバイスを介して）組織標本の複合拡大画像として表示するように構成された第２のコンピュータ・システムとを含んでよい。
【0130】
術中組織学画像を獲得、送信、及び表示するためのシステムを提供することに加えて、本開示におけるいくつかの実例によれば、機械学習の１つの特定のタイプである畳み込みニューラル・ネットワーク（ＣＮＮ）を使用してＳＲＨ画像に基づいて医学的状態を診断するためのシステムが開示される。
【0131】
より具体的には、本明細書において説明されるシステム及び方法の１つの目的は、術中診断を予測するためのＣＮＮ、すなわち、人間による入力なしに術中組織標本を正確に分類する機械学習に基づく計算モデルを提供することである。迅速なＳＲＨ画像獲得時間と結合されたこの進歩は、外科医が、組織を取得してから数分以内に重要な診断情報を取得することを可能にすることがある。ＣＮＮに基づいた診断を実現するために、本明細書において説明されるシステムは、画像前処理（たとえば、正規化、増強、統計学的セグメンテーションなど）、ネットワーク構造、サイズ、及びＣＮＮ診断性能に対する出力濃度のうちの１つ又は複数を説明してよい。
【0132】
１つの実例では、ＳＲＨ獲得プロセスは、スライド全体が画像化されるまでのモザイク・パターンでの視野（ＦＯＶ）の逐次的イメージングを含むことがある。次いで、各ＦＯＶが、スライド全体の完全な高分解能画像を作成するために合成されることがある。ウェブ・ベースのインタフェースを使用して、１つの実例では、病理医は、訓練セットに含まれるであろうすべてのＦＯＶを再評価し、空白スペース、焼灼アーチファクト、又は血餅が優勢であるＦＯＶをなくすことがある。
【0133】
残りのＦＯＶは、凍結切片診断を表す組織構造的特徴（グラウンド・トルース（ｇｒｏｕｎｄ ｔｒｕｔｈ））を含むことがある。手動キュレーションは、高品質の正確なＦＯＶが機械学習分類器の訓練に使用されることを可能にする。いくつかの実例では、手動キュレーションされたＦＯＶは、テスト・セットでは使用されない。約４５０人の患者の現在のデータセットは、組織の約１０００のスライドと、７０，０００のＦＯＶを生じた。ＳＲＨデータ保存及び可視化サーバの１つの実例は、４コア４．０ＧＨｚ、３２ＧＢメモリ、２ＴＢ ＨＤＤのデスクトップ・コンピュータを含むことがある。しかしながら、他の適切なデータ保存及び可視化コンピューティング・デバイスも、本開示の教示から逸脱することなく等しく用いられてよい。
【0134】
１つの実例では、患者のランダムな７０％／１０％／２０％の分割がそれぞれ、訓練、検証、及びテスト・クラスの間で行われることがある。この分割は、各診断をもつ最低で１人の患者が各クラスに表されることを可能にする。患者は、訓練／検証／テスト分割にまたがるスライド及び／又はＦＯＶをもたない。
【0135】
ＳＲＳ顕微鏡を用いたＦＯＶの獲得は、繰り返し可能で安定した決定論的プロセスである。しかしながら、組織又は獲得における小さい変化が分類器を偏らせるのを防止するために、本開示は、機械学習パイプラインの残りに含める前の各ＦＯＶに対する２つの前処理ステップ、すなわち、１）平均減算：画像あたりチャネルごとに平均減算を実行することによって、獲得アーチファクトの除去が可能になる、及び２）ゼロ・センタリング及び正規化：これらは、ＦＯＶ間に存在し得る輝度及びコントラストの差の除去を可能にする、を提案する。
【0136】
これらの画像の獲得における固有の回転定位又は空間定位はない。神経病理医は、ＦＯＶがどのように存在するかに関係なく画像上で診断を等しく下すことができる。この原理を使用すると、訓練のためにいくつかの一意のＦＯＶを増強することができる多くの真保存（ｔｒｕｔｈ－ｐｒｅｓｅｒｖｉｎｇ）変換がある。垂直及び水平のミラーリング並びに基本的な（ｃａｒｄｉｎａｌ）回転を用いて、単一ＦＯＶは、診断情報を不明瞭にすることなく、１６の一意のＦＯＶを生成することができる。これは、４９，０００のＦＯＶ（７０，０００のＦＯＶ＊訓練のための０．７比率）から３９２，０００のＦＯＶ（４９，０００の一意の訓練ＦＯＶ＊４回転＊２ミラーリング）に訓練サイズを増幅することができる。
【0137】
本開示のいくつかの実例によれば、畳み込みニューラル・ネットワーク（ＣＮＮ）が、ＦＯＶの診断において利用されることがある。ＣＮＮは、クラスの異なるセットに対する分類への未加工の画像の変換のためのコンピュータ・ビジョン・ソリューションを構成する。ＩｎｃｅｐｔｉｏｎＶ３、ＩｎｃｅｐｔｉｏｎＶ４、及びＸｃｅｐｔｉｏｎを含むいくつかの著名なＣＮＮは、現実世界物体認識の問題を解決するために出現した。いくつかの実例によれば、これらのネットワークの各々は、検証セット上での精度とテスト・セット上でのテストを最適化することを目的として、上記で説明されたＦＯＶ訓練セットを用いて訓練されることがある。訓練時間を最小にするために、あらかじめ訓練された重みが、転移学習としても知られる現実世界の難題から、最初に使用されてよい。そのうえ、いくつかの新規なネットワークが、畳み込み、活性化、及び最大プーリングというＣＮＮ作用素に基づいて作成されることがある。
【0138】
このようにして、本明細書において記載されるシステム及び方法は、ＦＯＶを分析して各ＦＯＶに対する推定される診断を出力することが可能である高性能ＣＮＮを提供することがある。これは、組織標本全体の正確で迅速な診断を容易にすることがある。
【0139】
術中組織は、多くの場合に、完全な標本診断を複雑にする組織構造の異種混合物を含む。したがって、本明細書において説明されるシステム及び方法の１つの目的は、個々のＦＯＶ上で集められた分析を使用して、標本全体を正確に診断することである。
【0140】
次に図１５を参照すると、ＣＮＮを使用して診断を実行するための１つの実例となる方法を示すフローチャートが提供される。一実施例では、診断モジュールは、二次的方法を画像に適用することによって、たとえば、細胞充実性の定量的尺度を決定することによって、組織試料のための二次診断を生成する。たとえば、上記で説明されたＣＮＮに基づく分析と平行なパイプラインでは、ＣｅｌｌＰｒｏｆｉｌｅｒなどの画像細胞数測定ツール（すなわち、自動細胞画像解析）を用いた各ＦＯＶの定量分析が、提供されることがある。いくつかの実例によれば、この追加情報は、各ＦＯＶに対するＣＮＮに基づいた診断を補足するために使用されることがある（が、必ずしも使用される必要はない）。実例となる実施例では、診断モジュールは、二次診断が機械学習アルゴリズムからの組織試料のための診断に合致するときは、診断を出力するが、そうでない場合は、二次診断が機械学習アルゴリズムからの組織試料のための診断に合致しないときは、組織試料を非診断カテゴリに分類する。二次的方法は、好ましくは機械学習を使用しないことに留意されたい。
【0141】
より具体的には、神経ネットワークは、画像を所定のカテゴリへと分類するように設計され、故障モードがどのように（たとえば、イメージング・システムのエラー又はハードウェア故障を使用して）神経ネットワークの出力に影響を及ぼし得るかを予測することが困難なことがある。コンピュータ支援分析を一緒に提供する２つ以上の独立した手段（たとえば、術中診断を下す畳み込み神経ネットワークや細胞充実性の尺度を生成する、ＣｅｌｌＰｒｏｆｉｌｅｒなどの細胞カウンタ）によって画像が分析される手法が提示される。最終出力は、あらかじめ定められたメトリックによって２つの手段が一致する場合のみ提供される（たとえば、「高悪性度神経膠腫」のための診断は、細胞充実性が一定の閾値を上回る場合のみ下される、又は「正常な白質」のための診断は、細胞充実性尺度が一定の閾値を下回ることを必要とする）。独立した手段が一致しない場合には、最終出力は、分類を示さない。
【0142】
別の特徴では、神経ネットワークは、細胞充実性のレベル（たとえば、試料区域あたりの核）を提供するように訓練可能である。これは、腫瘍は、一般的には、上昇したレベルの細胞充実性を有するので、有用な標識になり得る。そのような手法は、通常の組織学画像（たとえば、Ｈ＆Ｅ切片）又は核染料（たとえばＤＡＰＩ）で染色された細胞／組織とともに機能することが示されているが、画像コントラストは核にあまり特異的でないので、これはＳＲＨに拡張されない。具体的な問題は、球状の物体と見える赤血球、核と同じラマン署名とともに見えるコラーゲンの豊富な線維、及び有髄軸索のための強いラマン信号によって圧倒される白質組織内の核から生じる。驚くべきことに、適切なアノテーション付与されたデータセットが訓練セットに含まれた場合にＳＲＨ画像に基づいた細胞充実性の堅牢な尺度を提供するために神経ネットワークを訓練することが可能である。
【0143】
組織のスライド全体を構成するＮ個のＦＯＶの入力があれば、ＣＮＮは、各診断の確率に対応する分類のＮ個のベクトルを提供することがある。そのうえ、定量的な画像細胞数測定分析は、各ＦＯＶのための細胞数、核、及びテクスチャ特性について説明するデータの別のＮ個のベクトルを提供することがある。これらのデータ・ベクトルの各々をスライド全体診断へと融合させるために、完全に接続された多層パーセプトロンが、これらの数値入力の各々を診断へと変換するために含まれることがある。組み込まれ得る他の技法としては、ランダム・フォレストと、平均確率に基づいた統計学的な非機械学習手法がある。本明細書において提案される自動診断のためのワークフロー全体は、図１５に要約されている。
【0144】
特許請求の範囲を含む、本開示全体を通じて説明されるシステムのものとされるいくつかの機能は、１つ又は複数のモジュールによって適切に実行されることがある。本開示では、以下の定義を含めて、「モジュール」という用語又は「コントローラ」という用語は、「回路」という用語と置き換えられてよい。「モジュール」という用語は、特定用途向け集積回路（ＡＳＩＣ：Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）；デジタル回路、アナログ回路、若しくはアナログ／デジタル混合ディスクリート回路；デジタル集積回路、アナログ集積回路、若しくはアナログ／デジタル混合集積回路；組み合わせ論理回路；フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ：ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）；コードを実行するプロセッサ回路（共有、専用、又はグループ）；プロセッサ回路によって実行されるコードを記憶するメモリ回路（共有、専用、又はグループ）；説明された機能を提供する他の適切なハードウェア構成要素；又は、システム・オン・チップ内などの上記のいくつか又はすべての組み合わせを指してもよいし、これらの一部であってもよいし、これらを含んでもよい。
【0145】
モジュールは、１つ又は複数のインタフェース回路を含むことがある。いくつかの実例では、インタフェース回路は、ローカル・エリア・ネットワーク（ＬＡＮ：ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ）、インターネット、ワイド・エリア・ネットワーク（ＷＡＮ：ｗｉｄｅ ａｒｅａ ｎｅｔｗｏｒｋ）、又はそれらの組み合わせに接続されたワイヤード・インタフェース又はワイヤレス・インタフェースを含んでよい。本開示の任意の所与のモジュールの機能は、インタフェース回路を介して接続された複数のモジュールの間に分散されてよい。たとえば、複数のモジュールは、負荷分散を可能にすることがある。さらなる実例では、サーバ（リモート、又はクラウドとしても知られる）・モジュールは、クライアント・モジュールに代わっていくつかの機能を成し遂げることがある。
【0146】
上記で使用される、コードという用語は、ソフトウェア、ファームウェア、及び／又はマイクロコードを含んでよく、プログラム、ルーチン、関数、クラス、データ構造、及び／又はオブジェクトを指すことがある。共有プロセッサ回路という用語は、複数のモジュールからのいくらか又はすべてのコードを実行する単一プロセッサ回路を包含する。グループ・プロセッサ回路という用語は、追加のプロセッサ回路と組み合わせて１つ又は複数のモジュールからのいくらか又はすべてのコードを実行するプロセッサ回路を包含する。複数のプロセッサ回路への言及は、異なるダイ上の複数のプロセッサ回路、単一ダイ上の複数のプロセッサ回路、単一プロセッサ回路の複数のコア、単一プロセッサ回路の複数のスレッド、又は上記の組み合わせを包含する。共有メモリ回路という用語は、複数のモジュールからのいくつか又はすべてのコードを記憶する単一メモリ回路を包含する。グループ・メモリ回路という用語は、追加のメモリと組み合わせて１つ又は複数のモジュールからのいくらか又はすべてのコードを記憶するメモリ回路を包含する。
【0147】
メモリ回路という用語は、コンピュータ可読媒体という用語のサブセットである。本明細書において使用される、コンピュータ可読媒体という用語は、媒体を通って（搬送波上などで）伝搬する一時的な電気信号又は電磁信号を包含しない。したがって、コンピュータ可読媒体という用語は、有形で非一時的であると考えられ得る。非一時的な有形コンピュータ可読媒体の非限定的な実例は、不揮発性メモリ回路（フラッシュメモリ回路、消去可能プログラマブル読み出し専用メモリ回路、又はマスク読み出し専用メモリ回路など）、揮発性メモリ回路（スタティック・ランダム・アクセス・メモリ回路又はダイナミック・ランダム・アクセス・メモリ回路など）、磁気記憶媒体（アナログ又はデジタルの磁気テープ又はハード・ディスク・ドライブなど）、及び光記憶媒体（ＣＤディスク、ＤＶＤディスク、又はＢｌｕ－ｒａｙ（登録商標）ディスクなど）である。
【0148】
本出願において説明される装置及び方法は、コンピュータ・プログラム内で実施される１つ又は複数の特定の機能を実行するように汎用コンピュータを構成することによって作成された特殊目的コンピュータによって部分的又は完全に実施されてよい。上記で説明された機能ブロック、フローチャート構成要素、及び他の要素は、ソフトウェア仕様として働き、このソフトウェア仕様は、熟練した技術者又はプログラマの定型業務によってコンピュータ・プログラムへと変換可能である。
【0149】
コンピュータ・プログラムは、少なくとも１つの非一時的な有形コンピュータ可読媒体上に記憶されたプロセッサ実行可能命令を含む。コンピュータ・プログラムは、記憶されたデータも含んでもよいし、これに依拠してもよい。コンピュータ・プログラムは、特殊目的コンピュータのハードウェアと相互作用する基本入出力システム（ＢＩＯＳ：ｂａｓｉｃ ｉｎｐｕｔ／ｏｕｔｐｕｔ ｓｙｓｔｅｍ）、特殊目的コンピュータの特定のデバイスと相互作用するデバイス・ドライバ、１つ又は複数のオペレーティング・システム、ユーザ・アプリケーション、バックグラウンド・サービス、バックグラウンド・アプリケーションなどを包含してよい。
【0150】
コンピュータ・プログラムは、（ｉ）ＨＴＭＬ（ｈｙｐｅｒｔｅｘｔ ｍａｒｋｕｐ ｌａｎｇｕａｇｅ：ハイパーテキスト・マークアップ言語）、ＸＭＬ（ｅｘｔｅｎｓｉｂｌｅ ｍａｒｋｕｐ ｌａｎｇｕａｇｅ：拡張可能なマーク付け言語）、又はＪＳＯＮ（Ｊａｖａ（登録商標）Ｓｃｒｉｐｔ Ｏｂｊｅｃｔ Ｎｏｔａｔｉｏｎ：Ｊａｖａ（登録商標）Ｓｃｒｉｐｔオブジェクト表記法）などの解析されることになる説明文、（ｉｉ）アセンブリ・コード、（ｉｉｉ）コンパイラによってソース・コードから生成されたオブジェクト・コード、（ｉｖ）インタープリタによる実行のためのソース・コード、（ｖ）ジャスト・イン・タイム・コンパイラによるコンパイル及び実行のためのソース・コードなどを含んでよい。単なる例として、ソース・コードは、Ｃ、Ｃ＋＋、Ｃ＃、Ｏｂｊｅｃｔｉｖｅ Ｃ、Ｓｗｉｆｔ、Ｈａｓｋｅｌｌ、Ｇｏ、ＳＱＬ、Ｒ、Ｌｉｓｐ、Ｊａｖａ（登録商標）、Ｆｏｒｔｒａｎ、Ｐｅｒｌ、Ｐａｓｃａｌ、Ｃｕｒｌ、ＯＣａｍｌ、Ｊａｖａｓｃｒｉｐｔ（登録商標）、ＨＴＭＬ５（Ｈｙｐｅｒｔｅｘｔ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ ５ｔｈ ｒｅｖｉｓｉｏｎ：ハイパーテキスト・マークアップ言語改訂第５版）、Ａｄａ、ＡＳＰ（Ａｃｔｉｖｅ Ｓｅｒｖｅｒ Ｐａｇｅｓ：アクティブ・サーバ・ページ）、ＰＨＰ（ＰＨＰ：Ｈｙｐｅｒｔｅｘｔ Ｐｒｅｐｒｏｃｅｓｓｏｒ：ハイパーテキスト・プリプロセッサ）、Ｓｃａｌａ、Ｅｉｆｆｅｌ、Ｓｍａｌｌｔａｌｋ、Ｅｒｌａｎｇ、Ｒｕｂｙ、Ｆｌａｓｈ（登録商標）、Ｖｉｓｕａｌ Ｂａｓｉｃ（登録商標）、Ｌｕａ、ＭＡＴＬＡＢ（登録商標）、ＳＩＭＵＬＩＮＫ、及びＰｙｔｈｏｎ（登録商標）を含む言語からの構文を使用して記述され得る。
【0151】
実施例の前述の説明は、例示及び説明の目的で提供されてきた。この説明は、網羅的であること又は本開示を限定することは意図されていない。特定の実施例の個々の要素又は特徴は、一般に、その特定の実施例に限定されず、適用可能な場合、具体的に図示又は説明されない場合でも、選択された実施例において交換可能であり、使用可能である。同じものは、多くの方法でも変えられてよい。そのような変形形態は、本開示からの逸脱と見なされるべきでなく、すべてのそのような修正形態は、本開示の範囲内に含まれることが意図される。
【図1】
【図2】
【図3a】
【図3b】
【図4a】
【図4b】
【図4c】
【図4d】
【図4e】
【図4f】
【図4g】
【図5a】
【図5b】
【図5c】
【図5d】
【図5e】
【図5f】
【図5g】
【図5h】
【図5i】
【図6a】
【図6b】
【図7a】
【図7b】
【図7c】
【図8a】
【図8b】
【図9a】
【図9b】
【図9c】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
