特表 2023-549613 デジタル染色画像を生成するためのイメージング方法およびシステム、人工知能システムを訓練するための訓練方法、ならびに非一時的記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-11-28

(54)【発明の名称】デジタル染色画像を生成するためのイメージング方法およびシステム、人工知能システムを訓練するための訓練方法、ならびに非一時的記憶媒体

(51)【国際特許分類】

   G06T 1/00 20060101AFI20231120BHJP

   G06T 1/40 20060101ALI20231120BHJP

   G06T 7/90 20170101ALI20231120BHJP

   G06T 7/00 20170101ALI20231120BHJP

   G01N 33/48 20060101ALI20231120BHJP

   G01N 33/483 20060101ALI20231120BHJP

【ＦＩ】

G06T1/00 290Z

G06T1/40

G06T7/90 A

G06T7/00 630

G01N33/48 M

G01N33/483 C

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2023530277

(86)(22)【出願日】2021-11-19

(85)【翻訳文提出日】2023-07-13

(86)【国際出願番号】 EP2021082249

(87)【国際公開番号】W WO2022106593

(87)【国際公開日】2022-05-27

(31)【優先権主張番号】20208574.2

(32)【優先日】2020-11-19

(33)【優先権主張国・地域又は機関】EP

(81)【指定国・地域】

(71)【出願人】

【識別番号】523031552

【氏名又は名称】プロスペクティブ・インストルメンツ・ゲゼルシャフト・ミット・ベシュレンクテル・ハフツング

【氏名又は名称原語表記】ＰＲＯＳＰＥＣＴＩＶＥ ＩＮＳＴＲＵＭＥＮＴＳ ＧＭＢＨ

(74)【代理人】

【識別番号】110001195

【氏名又は名称】弁理士法人深見特許事務所

(72)【発明者】

【氏名】フリック，クラウス

(72)【発明者】

【氏名】トレムエル，フィリップ・ジェラルト

(72)【発明者】

【氏名】クライナー，ルーカス

【テーマコード（参考）】

2G045

5B057

5L096

【Ｆターム（参考）】

2G045CB01

2G045FA16

2G045FA19

2G045JA04

5B057AA10

5B057CA01

5B057CB01

5B057CE17

5B057CH09

5B057DC25

5L096HA11

5L096KA04

(57)【要約】

一態様では、本発明は、生体組織プローブ（５０）の物理的画像（５０’）が同時マルチモーダル顕微鏡法（５３）によって取得される、無染色組織生体組織プローブ（５０）の物理的画像（５０’）から生体組織プローブ（５０）のデジタル染色画像（５１’）を生成するためのイメージング方法に関する。別の態様では、本発明は、そのような方法で使用されるように人工知能システムを訓練するための訓練方法に関する。その上、本発明は、生体組織プローブ（５０）のデジタル染色画像（５１’）を生成するための、および／または人工知能システムを訓練するためのシステムに関する。システムは、上記方法のうちの少なくとも１つを実施するための処理ユニットを備える。さらに、本発明は、コンピュータによって実行されると、コンピュータに上記方法を実施させる命令を含む非一時的記憶媒体に関する。

【特許請求の範囲】

【請求項1】

無染色生体組織プローブ（５０）の物理的画像（７０’）から生体組織プローブ（５０）のデジタル染色画像（７０’）を生成するためのイメージング方法であって、
Ｇ１）光学顕微鏡法によって無染色生体組織プローブ（５０）の物理的画像（７０）を取得するステップと、
Ｇ２）人工知能システムを使用することによって前記物理的画像（７０）からデジタル染色画像（７０’）を生成するステップであって、前記システムは、物理的染色方法で前記プローブ（５０）を染色することによって取得可能なデジタル染色画像（７０’）を予測するように訓練される、生成するステップと
を含み、
ステップＧ１）が、同時マルチモーダル顕微鏡法によって前記無染色プローブ（５０）の前記物理的画像（７０）を取得することを含むことを特徴とする、方法。

【請求項2】

Ｇ３）前記デジタル染色画像（７０’）を表示装置（６０）に表示するステップをさらに含む、請求項１に記載の方法。

【請求項3】

先行する請求項のいずれかに記載のイメージング方法で使用されるように人工知能システムを訓練するための訓練方法であって、
Ｔ１）複数の画像対（７０、７０’）を取得するステップであって、各対は、
光学顕微鏡法によって取得される、無染色生体組織プローブ（５０）の物理的画像（７０）、および
物理的染色方法で取得される前記プローブ（５０）の染色画像（７０’）
を含む、取得するステップと、
Ｔ２）前記画像対（７０、７０’）に基づいて、デジタル染色画像（７０’）を予測するように前記人工知能システムを訓練するステップであって、前記デジタル染色画像（７０’）は、前記無染色プローブ（５０）の物理的画像（７０）から、前記染色方法において前記プローブ（５０）を染色することによって取得可能である、訓練するステップと
を含み、
ステップＴ１）が、同時マルチモーダル顕微鏡法によって前記無染色プローブ（５０）の前記物理的画像（７０）を取得することを含むことを特徴とする、方法。

【請求項4】

前記物理的染色方法は、組織学、特に免疫組織学、特に免疫組織化学、細胞学、血清学、微生物学、分子病理学、クローン分析、ＰＡＲＲ（抗原受容体再構成のためのＰＣＲ）、および分子遺伝学からなる群から選択される病理学分野で用いられる方法である、先行する請求項のいずれかに記載の方法。

【請求項5】

前記人工知能システムは、少なくとも１つのニューラルネットワーク、特に、無染色生体組織プローブ（５０）の物理的画像（７０）を入力として使用して、それぞれのデジタル染色画像（７０’）を出力として提供する、畳み込みニューラルネットワークおよび／または敵対的生成ネットワーク（ＧＡＮ）を含む、先行する請求項のいずれかに記載の方法。

【請求項6】

前記ニューラルネットワークは、画像空間（Ｉ）内の、マルチモーダル顕微鏡法によって取得された画像（７０、７０’）を特徴空間（Ｆ）内のそれぞれの画像（７１、７１’）に、特に前記特徴空間（Ｆ）内のベクトル（７１）または行列に変換する、請求項５に記載の方法。

【請求項7】

ステップＴ２）の訓練は、
Ｔ２．Ｕ．１）画像空間（Ｉ）内の一次無染色訓練画像（７０）、マルチモーダル顕微鏡法によって無染色プローブ（５０）から取得される前記無染色一次訓練画像（７０）を、第１の画像－特徴変換（７２）によって、前記特徴空間（Ｆ）内の第１のベクトル（７１）または行列に変換するステップと、
Ｔ２．Ｕ．２）前記特徴空間（Ｆ）からの前記第１のベクトル（７１）または行列を、第１の特徴－画像変換（７２’）によって、前記画像空間（Ｉ）内のデジタル染色画像（７０’）に変換するステップと、
Ｔ２．Ｕ．３）前記画像空間（Ｉ）からの前記デジタル染色画像（７０’）を、第２の画像－特徴変換（７３）によって、前記特徴空間（Ｆ）内の第２のベクトル（７１’）または行列に変換するステップと、
Ｔ２．Ｕ．４）前記特徴空間（Ｆ）内の前記第２のベクトル（７１’）または行列を、第２の特徴－画像変換（７３’）によって、二次無染色画像（７０’’）に変換するステップと、
Ｔ２．Ｕ．５）前記二次無染色画像（７０’’）と前記一次無染色訓練画像（７０）とを比較するステップと
を有する第１のシーケンスと、
Ｔ２．Ｓ．１）前記画像空間（Ｉ）内の一次染色訓練画像（７０’）、マルチモーダル顕微鏡法によって物理染色プローブ（５０）から取得される前記一次染色訓練画像（７０’）を、前記第２の画像－特徴変換（７３）によって、前記特徴空間（Ｆ）内の第１のベクトル（７１’）または行列に変換するステップと、
Ｔ２．Ｓ．２）前記特徴空間（Ｆ）からの前記第１のベクトル（７１’）または行列を、前記第２の特徴－画像変換（７３’）によって、前記画像空間（Ｉ）内のデジタル無染色画像（７０’’）に変換するステップと、
Ｔ２．Ｕ．３）前記画像空間（Ｉ）からの前記デジタル無染色画像（７０’’）を、前記第１の画像－特徴変換（７２）によって、前記特徴空間（Ｆ）内の第２のベクトル（７１）または行列に変換するステップと、
Ｔ２．Ｕ．４）前記特徴空間（Ｆ）内の前記第２のベクトル（７１）または行列を、前記第１の特徴－画像変換（７２’）によって、二次染色画像（７０）に変換するステップと、
Ｔ２．Ｓ．５）前記二次染色画像（７０）と前記一次染色訓練画像（７０’）とを比較するステップと
を有する第２のシーケンスと
を含む、請求項６に記載の方法。

【請求項8】

前記ニューラルネットワークは、
物理的染色方法において前記プローブ（５０）を染色することによって取得可能なデジタル染色画像（７０’）を予測するためのイメージングアーキテクチャと、
前記ニューラルネットワークを訓練するための訓練アーキテクチャと
を含み、前記訓練アーキテクチャは、前記イメージングアーキテクチャとは異なり、特に、前記ニューラルネットワークを訓練するためにのみ使用される少なくとも１つのネットワークコンポーネントを含む、請求項５～７のいずれかに記載の方法。

【請求項9】

前記訓練アーキテクチャは、ジェネレータ－ディスクリミネータネットワークを含む、請求項８に記載の方法。

【請求項10】

前記無染色プローブ（５０）の入力画像（７０）および前記デジタル染色画像（７０’）は、異なる数のモダリティを有する、先行する請求項のいずれかに記載の方法。

【請求項11】

前記同時マルチモーダル顕微鏡法は、２光子励起蛍光、２光子自己蛍光、蛍光寿命イメージング、自己蛍光寿命イメージング、第２高調波発生、第３高調波発生、インコヒーレント／自発ラマン散乱、コヒーレントアンチストークスラマン散乱（ＣＡＲＳ）、広帯域または多重ＣＡＲＳ、誘導ラマン散乱、コヒーレントラマン散乱、誘導放出枯渇（ＳＴＥＤ）、非線形吸収、共焦点ラマン顕微鏡、光コヒーレンストモグラフィ（ＯＣＴ）、単一光子／線形蛍光イメージング、明視野イメージング、暗視野イメージング、３光子、４光子、第２高調波発生、第３高調波発生、第４高調波発生、位相差顕微鏡法、光音響技術、例えば単一およびマルチスペクトル光音響イメージング、光音響トモグラフィ、光音響顕微鏡法、光音響リモートセンシングからなる群から選択される少なくとも２つの異なるモダリティを含む、先行する請求項のいずれかに記載の方法。

【請求項12】

生体組織プローブ（５０）のデジタル染色画像（７０）を生成するための、および／または人工知能システムを訓練するためのシステムであって、
同時マルチモーダル顕微鏡法によって生体組織プローブ（５０）の物理的画像（７０）を取得するための光学顕微鏡システム（１）と、
複数の画像対を記憶するためのデータ記憶装置であって、各対は、
同時マルチモーダル顕微鏡法によって取得される無染色生体組織プローブ（５０）の物理的画像（７０）、および
物理的染色方法において取得される前記プローブ（５０）の染色画像（７０’）
を含む、データ記憶装置と、
処理ユニットであって、
請求項１および２のいずれかに記載のイメージング方法、および／または
請求項３～１１のいずれかに記載の訓練方法
を実施するための、処理ユニットと
を備える、システム。

【請求項13】

コンピュータによって実行されると、特に請求項１２に記載のシステムにおいて、請求項１～１１のいずれかに記載の方法を前記コンピュータに実行させる命令を含む非一時的記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本出願は、生体組織プローブの画像のデジタル染色に関する。より具体的には、それは、無染色生体組織プローブから生体組織プローブのデジタル染色画像を生成するためのイメージング方法、そのような方法で使用される人工知能システムを訓練するための訓練方法、生体組織プローブのデジタル染色画像を生成するための、および／または、人工知能システムを訓練するためのシステム、ならびに、命令を含む非一時的記憶媒体に関する。

【背景技術】

【0002】

生体組織プローブの画像のデジタル染色の概念自体は、例えば国際公開第２０１７／１４６８１３号から知られている。この文献は、光学顕微鏡技術で照射された生物学的細胞の入力画像を含むデータを取得することと、ニューラルネットワークを使用してデータを処理することとを含む方法を開示している。画像処理システムは、複数のタイプの仮想的に染色された画像を生成するための染色細胞ニューラルネットワークと、染色細胞画像データを処理するための細胞特性ニューラルネットワークとからなる。正確には、細胞を特徴付ける細胞特徴を抽出または生成するためのものである。

【0003】

国際公開第２０１９／１７２９０１号は、無染色またはＨ＆Ｅ（ヘマトキシリンおよびエオシン）で染色された入力画像からＩＨＣ（免疫組織化学）染色などの特殊染色で染色された組織試料の外観の予測を生成するように訓練された機械学習予測モデルを開示している。モデルは、複数の異なる組織タイプおよび特殊染色タイプについての特殊染色画像を予測するように訓練することができる。

【0004】

上記の両方の文献に開示されている方法は、互いに正確に位置整合されなければならない画像の対を使用する。これは相当の労力を必要とし、達成することは事実上不可能でもある。これは、同じ組織切片をイメージングするのに多大な労力を必要とし、その場合でもわずかな形態学的変化が非常に起こりやすいという事実に起因する。多くの場合、上にある切片も使用され、その１つは染色され、その１つは染色されず、これらの切片は、相当の形態学的差異を有し得る。

【0005】

さらに、国際公開第２０１９／１９１６９７号は、蛍光顕微鏡を使用して獲得された自家蛍光画像に基づいて、標識または染色のない試料からのデジタル／仮想染色顕微鏡画像の収奪を可能にする深層学習ベースのデジタル染色方法を開示している。

【0006】

科学文献では、デジタル染色の一般的な概念は、例えば、以下において論じられている。

【0007】

Ｒｉｖｅｎｓｏｎ，Ｙ．、Ｗａｎｇ，Ｈ．、Ｗｅｉ，Ｚ．他「Ｖｉｒｔｕａｌ ｈｉｓｔｏｌｏｇｉｃａｌ ｓｔａｉｎｉｎｇ ｏｆ ｕｎｌａｂｅｌｌｅｄ ｔｉｓｓｕｅ－ａｕｔｏｆｌｕｏｒｅｓｃｅｎｃｅ ｉｍａｇｅｓ ｖｉａ ｄｅｅｐ ｌｅａｒｎｉｎｇ」（Ｎａｔ Ｂｉｏｍｅｄ Ｅｎｇ ３，４６６－４７７（２０１９）．ｈｔｔｐｓ：／／ｄｏｉ．ｏｒｇ／１０．１０３８／ｓ４１５５１－０１９－０３６２－ｙ）、
Ｒａｎａ Ａ、Ｌｏｗｅ Ａ、Ｌｉｔｈｇｏｗ Ｍ他「Ｕｓｅ ｏｆ Ｄｅｅｐ Ｌｅａｒｎｉｎｇ ｔｏ Ｄｅｖｅｌｏｐ ａｎｄ Ａｎａｌｙｚｅ Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｈｅｍａｔｏｘｙｌｉｎ ａｎｄ Ｅｏｓｉｎ Ｓｔａｉｎｉｎｇ ｏｆ Ｐｒｏｓｔａｔｅ Ｃｏｒｅ Ｂｉｏｐｓｙ Ｉｍａｇｅｓ ｆｏｒ Ｔｕｍｏｒ Ｄｉａｇｎｏｓｉｓ」（ＪＡＭＡ Ｎｅｔｗ Ｏｐｅｎ．２０２０；３（５）：ｅ２０５１１１．ｄｏｉ：１０．１００１／ ｊａｍａｎｅｔｗｏｒｋｏｐｅｎ．２０２０．５１１１）、および
Ｎａｖｉｄ Ｂｏｒｈａｎｉ、Ａｎｄｒｅｗ Ｊ．Ｂｏｗｅｒ、Ｓｔｅｐｈｅｎ Ａ．Ｂｏｐｐａｒｔ、およびＤｅｍｅｔｒｉ Ｐｓａｌｔｉｓ「Ｄｉｇｉｔａｌ ｓｔａｉｎｉｎｇ ｔｈｒｏｕｇｈ ｔｈｅ ａｐｐｌｉｃａｔｉｏｎ ｏｆ ｄｅｅｐ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ ｔｏ ｍｕｌｔｉ－ｍｏｄａｌ ｍｕｌｔｉ－ｐｈｏｔｏｎ ｍｉｃｒｏｓｃｏｐｙ」（Ｂｉｏｍｅｄ．Ｏｐｔ．Ｅｘｐｒｅｓｓ １０，１３３９－１３５０（２０１９））。

【発明の概要】

【発明が解決しようとする課題】

【0008】

従来技術におけるほとんどの参考文献は、基礎となる光学顕微鏡法において単一のイメージングモダリティのみを使用する。国際公開第２０１９／１９１６９７号では、この方法が、蛍光顕微鏡法、非線形顕微鏡法などのような様々なイメージングモダリティから受益し得ることが言及されている。しかしながら、従来技術で使用されているシステムは、逐次イメージングを必要とする。したがって、異なるモダリティの処理時間が加算され、結果、画像を表示またはさらに評価することができるフレームレートがかなり低くなる。その上、異なるイメージングモダリティの空間的位置合わせは、主要な技術的課題であり、これは前述のＢｏｒｈａｎｉらの論文で対処されている。

【0009】

したがって、本出願の目的は、従来技術の欠点が除去された、または少なくとも低減されたデジタル染色画像を生成するための改善された方法およびシステムを提供することである。特に、方法およびシステムは、複数の異なるモダリティが使用される場合、より短い処理時間を可能にすべきであり、画像を表示またはさらに評価することができるフレームレートは減少すべきである。

【0010】

さらに、プロセスは、組織染色ニューラルネットワークを訓練するために正確に位置整合された画像対を必要としないことが好ましい。さらに、画質を向上させる必要がある。さらに、着色中にアーチファクトまたは形態の変化をもたらし得る画像対のわずかな差異も、後の診断に誤解を招くため、好ましくは回避されるべきである。

【課題を解決するための手段】

【0011】

第１の態様では、本発明は、無染色生体組織プローブの物理的画像から生体組織プローブのデジタル染色画像を生成するためのイメージング方法に関する。イメージング方法は、
Ｇ１）光学顕微鏡法によって無染色生体組織プローブの物理的画像を取得するステップと、
Ｇ２）人工知能システムを使用することによって物理的画像からデジタル染色画像を生成するステップであって、システムは、物理的染色方法でプローブを染色することによって取得可能なデジタル染色画像を予測するように訓練される、生成するステップとを含む。

【0012】

上記の列挙において、文字「Ｇ」は「生成」態様を示す。
本発明の第１の態様によれば、ステップＧ１）は、同時マルチモーダル顕微鏡法によって無染色プローブの物理的画像を取得することを含む。言い換えれば、無染色プローブの物理的画像を取得するために、２つ以上の顕微鏡法モダリティが同時に使用される。

【0013】

同時マルチモーダル顕微鏡法の使用は、複数の異なるモダリティのより短い処理時間を可能にする。その上、画像を表示またはさらに評価することができるフレームレートが減少する。さらに、数桁の大きさをカバーする異なる長さスケールからの画像を迅速に取得することができる。加えて、複数の異なるイメージングモダリティの空間的位置合わせの必要がない。さらに、本発明のいくつかの実施形態では、プロセスは、正確に位置整合された画像対を必要としない。これは、非常に複雑で計算コストがかかる画像位置合わせアルゴリズムを回避できる可能性があるため、テスト画像生成および前処理の分野において膨大な利点をもたらす可能性がある。さらに、マルチモーダル顕微鏡法によって取得された画像は、従来の顕微鏡法によって取得された画像よりも多くの情報を含むため、画質が改善される。加えて、いくつかの実施形態では、物理的着色中の判断を誤らせるアーチファクトまたは形態の変化を回避することができる。

【0014】

いくつかの従来技術の研究において、自己蛍光画像を使用するＨ＆Ｅ染色が可能であることが既に確立されている。しかしながら、現在、画像情報の増加に伴って、染色の質が向上することが期待されている。画像情報のこの増加は、本発明によるマルチモーダルイメージング方法を使用することによって達成される。特定のモダリティがＨ＆Ｅ染色のための重要な情報を含まないことは、ヒトの眼には既に可視である。抗原抗体反応に基づく免疫組織化学に関して、追加のイメージングモダリティの使用は、特に同様に絶えず進化している複数の異なるマーカタイプを考慮すると、より良好な品質の染色をもたらすだろう。調査中の組織の同時マルチモーダル画像を取得することによって、高速の細胞内レベルおよび細胞レベルの代謝プロセスをより良好に視覚化および定量化することができる。

【0015】

ステップＧ１）は、ｅｘ ｖｉｖｏで、すなわち、患者の外部で実施されてもよい。この目的のために、組織プローブは、先行するステップで切除されていてもよく、これは、本発明による方法の一部であってもよく、またはそうでなくてもよい。あるいは、組織プローブの物理的画像は、ｉｎ ｖｉｖｏで、すなわち、患者の内部で取得されてもよい。

【0016】

同時マルチモーダル顕微鏡法に使用することができるマルチモーダル顕微鏡システムおよび関連する方法は、欧州特許出願第２０１８８１８７．７号明細書および当該出願を優先権の基礎とする任意の可能な後の特許出願に開示されている。マルチモーダル顕微鏡システムに関するこれらの出願の開示は、参照により本出願に組み込まれる。具体的な詳細は以下に明示的に開示されるが、参照による包含はこれらの明示的な詳細に限定されない。

【0017】

具体的には、ステップＧ１）がｉｎ ｖｉｖｏで実施される場合、これは、以下でさらに説明されるように、前述の出願で言及される走査ユニットを形成することができる生検針を用いて行われてもよい。生検針は、ユーザが後方散乱方式でｉｎ ｖｉｖｏで上記モダリティを適用することを可能にする。すなわち、組織からの生成信号が収集され、生検光ファイバ針を通じて検出ユニットに戻される。

【0018】

好ましくは、本方法は、デジタル染色画像を表示装置に表示するさらなるステップＧ３）を含む。このデジタル染色画像は、上述の染色方法の１つで物理的に染色されたプローブの画像に似ている。したがって、訓練を受けた人（特に病理学者）は、物理的に染色された組織の解釈における自身の経験に基づいて、組織の特性を導き出すことができる。例えば、訓練された人は、表示された画像から腫瘍または疾患の進行もしくは後退を検出し得る。さらに、上記のイメージング方法を分光法と組み合わせることにより、治療に対する患者の応答性が早期に検出され得る。さらに、特定の治療モダリティに対する動的応答が可視化され得る。

【0019】

表示装置は、イメージング方法で利用されるマルチモーダル顕微鏡システムに近接して配置されてもよく、またはそれから離れて配置されてもよい。

【0020】

表示装置上にデジタル染色画像を表示することに加えて、またはその代わりに、デジタル染色画像の解釈は、同じまたは追加の人工知能システムによって実行することができる。この人工知能システムは、それ自体知られている方法で（ただし、デジタル染色画像の文脈ではない）訓練されてもよい。

【0021】

第２の態様では、本発明はまた、上述のイメージング方法で使用されるように人工知能システムを訓練するための訓練方法に関する。訓練方法は、
Ｔ１）複数の画像対を取得するステップであって、各対は、
光学顕微鏡法によって取得される、無染色生体組織プローブの物理的画像、および
物理的染色方法で取得される上記プローブの染色画像
を含む、取得するステップと、
Ｔ２）上記画像対に基づいて、デジタル染色画像を予測するように人工知能システムを訓練するステップであって、デジタル染色画像は、上記無染色プローブの物理的画像から、上記染色方法においてプローブを染色することによって取得可能である、訓練するステップと
を含む。

【0022】

上記の列挙において、文字「Ｔ」は「訓練」態様を示す。
本発明の第２の態様によれば、ステップＴ１）は、同時マルチモーダル顕微鏡法によって無染色プローブの物理的画像を取得することを含む。

【0023】

人工知能システムがこのように訓練されている場合、それは、上記で説明したイメージング方法において、無染色生体組織プローブから生体組織プローブのデジタル染色画像を生成するために使用することができる。

【0024】

物理的染色方法は、それ自体既知であり得、組織学、特に免疫組織学、特に免疫組織化学、細胞学、血清学、微生物学、分子病理学、クローン分析、ＰＡＲＲ（抗原受容体再構成のためのＰＣＲ）、および分子遺伝学からなる群から選択される病理学分野で用いられる方法であってもよい。組織学は、上述のＨ＆Ｅ（ヘマトキシリンおよびエオシン）法を含む。「分子病理学」という分野は、本明細書では、診断医学における分子生物学、生化学、プロテオミクスおよび遺伝学の原理、技術およびツールの応用として理解される。それは、とりわけ、免疫蛍光（ＩＦ）、ｉｎ ｓｉｔｕハイブリダイゼーション（ＩＳＨ）、マイクロＲＮＡ（ｍｉＲＮＡ）分析、デジタル病理イメージング、トキシコゲノミクス評価、定量的ポリメラーゼ連鎖反応（ｑＰＣＲ）、マルチプレックスＰＣＲ、ＤＮＡマイクロアレイ、ｉｎ ｓｉｔｕ ＲＮＡシーケンシング、ＤＮＡシーケンシング、抗体ベースの免疫蛍光組織アッセイ、病原体の分子プロファイリング、および抗菌薬耐性についての細菌遺伝子の分析の方法を含む。

【0025】

同時マルチモーダル顕微鏡法は、２光子励起蛍光、２光子自己蛍光、蛍光寿命イメージング、自己蛍光寿命イメージング、第２高調波発生、第３高調波発生、インコヒーレント／自発ラマン散乱、コヒーレントアンチストークスラマン散乱（ＣＡＲＳ）、広帯域または多重ＣＡＲＳ、誘導ラマン散乱、コヒーレントラマン散乱、誘導放出枯渇（ＳＴＥＤ）、非線形吸収、共焦点ラマン顕微鏡、光コヒーレンストモグラフィ（ＯＣＴ）、単一光子／線形蛍光イメージング、明視野イメージング、暗視野イメージング、３光子、４光子、第２高調波発生、第３高調波発生、第４高調波発生、位相差顕微鏡法、光音響（または同義的に光学音響）技術、例えば単一およびマルチスペクトル光音響イメージング、光音響トモグラフィ、光音響顕微鏡法、光音響リモートセンシングおよびその変形からなる群から選択される少なくとも２つの異なるモダリティを含んでもよい。

【0026】

上述のイメージング技術のすべては、任意の適切な内視鏡技術を含め、ｉｎ－ｖｉｖｏ、ｅｘ－ｖｉｖｏ、生体組織または切除組織内のいずれかに適用することができる。

【0027】

細胞核およびその中に含まれるＤＮＡは、低い自己蛍光を呈するが、ＵＶ範囲で主に吸収を呈する。しかしながら、細胞核およびそれらのＤＮＡは、多くの診断目的にとって重要である。この欠点を克服するために、モダリティのうちの少なくとも１つは、位相差顕微鏡法モダリティであってもよい。本出願の文脈内で、位相差顕微鏡法（それ自体知られている）は、透明な標本を通過する光の位相シフトを画像の輝度変化に転換する光学顕微鏡法技術として理解されるべきである。位相シフト自体は不可視であるが、輝度変化として示されると可視になる。位相差顕微鏡法モダリティは、いくつかの他のイメージングモダリティとは対照的に、細胞核およびそれらのＤＮＡをはるかに明確に表示することができるという利点を有する。これは、本出願内でのＡＩ技術の適用を実質的に容易にする。上述の光音響技術はまた、これらの技術で適用される光が細胞核および／またはその中の分子によって高度に吸収されるため、特に適している。

【0028】

人工知能システムは、少なくとも１つのニューラルネットワーク、特に、無染色生体組織プローブの物理的画像を入力として使用して、それぞれのデジタル染色画像を出力として提供する、畳み込みニューラルネットワーク（ＣＮＮ）および／またはサイクルＧＡＮなどの敵対的生成ネットワーク（ＧＡＮ）を含んでもよい。ニューラルネットワークは、画像空間内の、マルチモーダル顕微鏡法によって取得された画像を特徴空間内のそれぞれの画像に、特に特徴空間内のベクトルまたは行列に変換してもよい。好ましくは、特徴空間内のベクトルまたは行列は、画像空間内の画像よりも低い次元を有する。特徴空間の画像から、デジタル染色画像を取得することができる。

【0029】

例えば、Ｒｏｎｎｅｂｅｒｇｅｒ他「Ｕ－Ｎｅｔ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋｓ ｆｏｒ Ｂｉｏｍｅｄｉｃａｌ Ｉｍａｇｅ Ｓｅｇｍｅｎｔａｔｉｏｎ」（ｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ／ｐｄｆ／１５０５．０４５９７．ｐｄｆから入手可能）に開示されているものと同様のニューラルネットワークを使用することができる。特に、ニューラルネットワークは、それ自体知られている以下の原理、すなわち、特に、わずかなデータしか利用できない場合のデータ増強、特にＲｏｎｎｅｂｅｒｇｅｒ他に開示されているようなダウンサンプリングおよび／またはアップサンプリング、ならびに加重損失のうちの１つまたは複数を適用することができる。

【0030】

ニューラルネットワークの代替として、例えば、ランダムフォレストなどのそれ自体知られている分類アルゴリズムによって、画像の画素ごとまたは領域ごとの着色を実施することも考えられる。しかしながら、そのような代替形態が本発明に包含されるとしても、そのようなアルゴリズムはより複雑であり、より低い品質の画像を提供すると現在想定されている。

【0031】

従来技術で知られている方法とは対照的に、本発明では、正確に位置整合されていない画像について訓練することが可能である。これは、好ましくはイメージング方法で使用されるイメージングアーキテクチャとは異なり、訓練のためにのみ利用される少なくとも１つのニューラルネットワークコンポーネントを含み得る訓練アーキテクチャによって達成することができる。

【0032】

この方法は、Ｚｈｕ他「Ｕｎｐａｉｒｅｄ Ｉｍａｇｅ－ｔｏ－Ｉｍａｇｅ Ｔｒａｎｓｌａｔｉｏｎ ｕｓｉｎｇ Ｃｙｃｌｅ－Ｃｏｎｓｉｓｔｅｎｔ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋｓ」（ｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ／ｐｄｆ／１７０３．１０５９３．ｐｄｆから入手可能）に提示されている方法の適合を含んでもよい。これはジェネレータ－ディスクリミネータネットワークを開示しており、本発明の好ましい実施形態では、訓練中に、変換画像、この場合はデジタル染色画像が、物理染色プローブの入力画像に再変換される。最終的に、再変換された画像と元の画像とは可能な限り同一であるべきである。

【0033】

より詳細には、ステップＴ２）の訓練は、
Ｔ２．Ｕ．１）画像空間内の、マルチモーダル顕微鏡法によって無染色プローブから取得される一次無染色訓練画像を、第１の画像－特徴変換によって、特徴空間内の第１のベクトルまたは行列に変換するステップと、
Ｔ２．Ｕ．２）特徴空間からの第１のベクトルまたは行列を、第１の特徴－画像変換によって、画像空間内のデジタル染色画像に変換するステップと、
Ｔ２．Ｕ．３）画像空間からのデジタル染色画像を、第２の画像－特徴変換によって、特徴空間内の第２のベクトルまたは行列に変換するステップと、
Ｔ２．Ｕ．４）特徴空間内の第２のベクトルまたは行列を、第２の特徴－画像変換によって、二次無染色画像に変換するステップと、
Ｔ２．Ｕ．５）二次無染色画像と一次無染色訓練画像とを比較するステップと
を有する第１のシーケンスを含んでもよい。

【0034】

比較が所定の範囲外の差をもたらすとき、変換および再変換は修正されてもよく、ステップＴ２．Ｕ．１）～Ｔ２．Ｕ．４）および任意選択的にＴ２．Ｕ．５）が再反復されてもよい。

【0035】

加えて、訓練は、
Ｔ２．Ｓ．１）画像空間内の、マルチモーダル顕微鏡法によって物理染色プローブから取得される一次染色訓練画像を、第２の画像－特徴変換によって、特徴空間内の第１のベクトルまたは行列に変換するステップと、
Ｔ２．Ｓ．２）特徴空間からの第１のベクトルまたは行列を、第２の特徴－画像変換によって、画像空間内のデジタル無染色画像に変換するステップと、
Ｔ２．Ｕ．３）画像空間からのデジタル無染色画像を、第１の画像－特徴変換によって、特徴空間内の第２のベクトルまたは行列に変換するステップと、
Ｔ２．Ｕ．４）特徴空間内の第２のベクトルまたは行列を、第１の特徴－画像変換によって、二次染色画像に変換するステップと、
Ｔ２．Ｓ．５）二次染色画像と一次染色訓練画像とを比較するステップと
を有する第２のシーケンスを含んでもよい。

【0036】

ここでも、比較が所定の範囲外の差をもたらすとき、変換および再変換は修正されてもよく、ステップＴ２．Ｓ．１）～Ｔ２．Ｓ．４）および任意選択的にＴ２．Ｓ．５）が再反復されてもよい。

【0037】

上記の列挙において、文字「Ｕ」は「無染色」を示し、「Ｓ」は「染色」を示す。
しかしながら、変換および再変換のためのニューラルネットワークは、Ｚｈｕ他によって開示されたものに対して逆である。上述のディスクリミネータは、グラウンドトゥルースをデジタル染色画像と比較し、それらを評価することによって、画像の信憑性の評価を引き継ぐ。Ｚｈｕ他または「ＧＡＮ－ｂａｓｅｄ Ｖｉｒｔｕａｌ Ｒｅ－Ｓｔａｉｎｉｎｇ：Ａ Ｐｒｏｍｉｓｉｎｇ Ｓｏｌｕｔｉｏｎ ｆｏｒ Ｗｈｏｌｅ Ｓｌｉｄｅ Ｉｍａｇｅ Ａｎａｌｙｓｉｓ」（Ｚｈａｏｙａｎｇ他、ｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ／ｐｄｆ／１９０１．０４０５９．ｐｄｆから入手可能）から知られているアーキテクチャとは対照的に、本発明における入力無染色画像および出力デジタル染色画像は、異なる数のモダリティを有する。これはアイデンティティ損失の問題を引き起こすため、それは本発明に適合された。

【0038】

モダリティ画像の品質に応じて、ノイズ除去および逆畳み込みの形態の前処理を実行して、着色画像が最終的に所望の要件を満たすことを確実にすることができる。この前処理は、自己教師あり画像ノイズ除去ニューラルネットワーク、例えばＫｏｂａｙａｓｈｉ他「Ｉｍａｇｅ Ｄｅｃｏｎｖｏｌｕｔｉｏｎ ｖｉａ Ｎｏｉｓｅ－Ｔｏｌｅｒａｎｔ Ｓｅｌｆ－Ｓｕｐｅｒｖｉｓｅｄ Ｉｎｖｅｒｓｉｏｎ」（ｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ／ｐｄｆ／２００６．０６１５６ｖ１．ｐｄｆから入手可能）に記載されているものと同様のニューラルネットワークを使用することによって行うことができる。

【0039】

場合によっては、画像対が正確に位置整合された場合であっても、連続する組織切片および／または再包埋された組織プローブの間にいくらかのわずかな形態学的差異が残ることがあり、これはデジタル染色画像の品質に悪影響を及ぼし得る。これらの場合、サイクルＧＡＮを使用してもよい。通常、サイクルＧＡＮの訓練は不安定性を生じるため、位置合わせされた画像および画素ごとの比較に基づく訓練を使用してもよい。これにより、一般的な着色の訓練が可能になる。連続的な訓練の過程で、画素ごとの相関の影響を低減することができ、安定したサイクルＧＡＮを訓練することができる。

【0040】

さらなる態様では、本発明はまた、生体組織プローブのデジタル染色画像を生成するための、および／または人工知能システムを訓練するためのシステムに関する。システムは、
同時マルチモーダル顕微鏡法によって生体組織プローブの物理的画像を取得するための光学顕微鏡システムと、
複数の画像対を記憶するためのデータ記憶装置であって、各対は、
光学顕微鏡法によって取得される生体組織プローブの物理的画像、および
物理的染色方法において取得されるプローブの染色画像
を含む、データ記憶装置と、
処理ユニットであって、
上記で開示されたようなイメージング方法および／または
上記で開示されたような訓練方法
を実施するための、処理ユニットと
を備える。

【0041】

このシステムにより、上述の方法を実行することができる。
このシステムにおいて、欧州特許出願第２０１８８１８７．７号明細書および当該出願を優先権の基礎とする任意の可能な後の特許出願においてにおいて開示されている光学顕微鏡システムが使用されてもよい。より詳細には、システムは、少なくとも１つの電気および／または光学ベース構成要素を備える少なくとも１つの第１のベースユニットと、少なくとも１つの走査構成要素を備える少なくとも１つの走査ユニットと、少なくとも１つの検出構成要素を備える少なくとも１つの検出ユニットと、を備えてもよい。少なくとも１つの第１のベースユニットは、少なくとも２つの電気および／または光学ベース構成要素を備えてもよい。少なくとも１つの走査ユニットは、少なくとも２つの走査構成要素を備えてもよい。少なくとも１つの検出ユニットは、少なくとも２つの検出構成要素を備えてもよい。

【0042】

走査ユニットおよび／または検出ユニットは、特に６自由度で自由に可動であってもよい。走査ユニットおよび／または検出ユニットは、少なくとも１つの可撓性接続線、特に少なくとも１つの光接続線および／または少なくとも１つの電気接続線を介して第１のベースユニットに接続されてもよい。少なくとも１つのベース構成要素、少なくとも１つの走査構成要素、および少なくとも１つの検出構成要素は、少なくとも１つのベース構成要素および／または少なくとも１つの走査構成要素および／または少なくとも１つの検出構成要素がともに、特に１つ以上のモダリティに対して同時に使用可能であり得るように、互いに動作可能に結合され得る。換言すれば、３つのユニット（ベースユニット、走査ユニット、検出ユニット）の２つの構成要素を、１つの残りのユニットの１つのまったく同じ構成要素またはまったく同じ構成要素セットと組み合わせて使用することができる。

【0043】

さらに別の態様では、本発明はまた、コンピュータ上で実行されると、コンピュータに上述の方法を実行させる命令を含む非一時的記憶媒体に関する。

【0044】

本発明の詳細な実施形態およびさらなる利点は、下記に、以下の図面を参照して説明される。

【図面の簡単な説明】

【0045】

【図1】本方法の概略図である。

【図2】本方法を実施するためのシステムの概略図である。

【図3】細胞核を含む生体組織のいくつかの画像を示す図である。

【発明を実施するための形態】

【0046】

図１の概略図は、画像空間Ｉ内の画像７０、７０’、特徴空間Ｆ内の特徴ベクトル７１、７１’、ならびにこれらの画像とベクトルとの間の変換７２、７３、７２’および７３’を示す。本発明によれば、変換７２、７３、７２’および７３’はニューラルネットワークによって取得される。

【0047】

図１の上半分によれば、多光子顕微鏡法によって無染色プローブから取得される一次画像７０は、第１の画像－特徴変換７２によって特徴空間Ｆ内の第１のベクトル７１に変換される（ステップＴ２．Ｕ．１）。第１の特徴－画像変換７２’によって、第１のベクトル７１は、画像空間Ｉ内のデジタル染色画像７０’に変換される（ステップＴ２．Ｕ．２）。この生成方法では、これらのデジタル染色画像７０’はモニタ６０に表示される。訓練中、画像空間Ｉ内のデジタル染色画像７０’は、第２の画像－特徴変換７３によって特徴空間Ｆ内の第２のベクトル７１’に変換される（ステップＴ２．Ｕ．３）。続いて、第２のベクトル７１’は、第２の特徴－画像変換７３’によって二次無染色画像７０’’に変換される（ステップＴ２．Ｕ．４）。ニューラルネットワークは、左側の一次無染色画像７０が右側の二次画像７０に類似するように、訓練されるかまたは訓練されている（ステップＴ２．Ｕ．５）。

【0048】

図１の下半分によれば、多光子顕微鏡法によって染色プローブから取得される一次画像７０’は、第２の画像－特徴変換７３によって特徴空間Ｆ内の第１のベクトル７１’に変換される（ステップＴ２．Ｓ．１）。第２の特徴－画像変換７３’によって、第１のベクトル７１’は、画像空間Ｉ内のデジタル無染色画像７０’’に変換される（ステップＴ２．Ｓ．２）。次いで、画像空間Ｉ内のデジタル染色画像７０’が、第１の画像－特徴変換７２によって特徴空間Ｆ内の第２のベクトル７１に変換される（ステップＴ２．Ｓ．３）。続いて、第２のベクトル７１’は、第１の特徴－画像変換によって二次染色画像に変換される（ステップＴ２．Ｓ．４）。ニューラルネットワークは、左側の一次染色画像７０’が右側の二次画像７０に類似するように、訓練されるかまたは訓練されている（ステップＴ２．Ｓ．５）。

【0049】

図２による実施形態では、組織プローブ５０（例えば、たとえば、パンチ生検からの急速切片、凍結切片、固定切片、新鮮切片または組織片全体）がスライド（図示せず）上に配置される。それは、次いで、上記の欧州特許出願第２０１８８１８７．７号明細書に開示されているようなマルチモーダル顕微鏡システムによって走査される。

【0050】

より詳細には、図２に示すマルチモーダル顕微鏡システム１は、第１のベースユニット２（以下、ベースユニット２という）と、走査ユニット４と、検出ユニット５とを備える。

【0051】

ベースユニット２は、異なるモダリティのためのいくつかの光源、すなわち、レーザ源１４と、蛍光イメージングのための光源１５と、ラマン散乱のためのレーザ１６と、光コヒーレント断層撮影（ＯＣＴ）のための光源１７と、増幅器ポンプレーザ１８と、白色光源１９とを含む。ベースユニット２は、電子機器２３、ソフトウェア２４、および電源２５をさらに備える。

【0052】

走査ユニット４は、いくつかの走査構成要素、すなわち、光増幅器２０と、転送／走査光学系２１と、励起放射フィルタ２２とを含む。各光源１４、１５、１６、１７、１８、１９は、別個の可撓性接続線６、例えば光ファイバケーブルを介して走査ユニット４に接続される。したがって、光源１４、１５、１６、１７、１８、１９の各々は、走査構成要素２０、２１、２２のこの単一のセットで光源１４、１５、１６、１７、１８、１９に関連する異なるモダリティを提供することができるように、走査構成要素２０、２１、２２のまったく同じセットに動作可能に接続される。

【0053】

走査ユニット４は、分析光をプローブ５０に向けるための対物レンズ１２をさらに含む。より詳細には、対物レンズ１２は、プローブから放出された信号が対物レンズ１２を通って伝送し戻されるように走査ユニット４内に配置される。フィルタ２２は、プローブ５０から放出された信号が当該フィルタ２２によってフィルタリングされるように配置される。走査ユニット４はまた、走査ユニット４に電力を供給するとともに走査ユニット４を制御する電気ケーブル２９を介して、ベースユニット２に接続される。

【0054】

検出ユニット５は、走査ユニット４と動作可能に接続され、いくつかの検出構成要素、すなわちフィルタ検出器７と、単一光子カウンタ８と、光学分光計９と、光パワーメータ１０と、蛍光カメラ１１とを含む。走査ユニット４と検出ユニット５とは両方とも、６自由度で自由に可動である。各検出構成要素７、８、９、１０、１１は、別個の可撓性接続線２８、例えば光ファイバケーブルを介して走査ユニット４に接続される。したがって、各検出構成要素７、８、９、１０、１１は、走査構成要素２０、２１、２２のこの単一のセットで検出構成要素７、８、９、１０、１１に関連する異なるモダリティを提供することができるように、走査構成要素２０、２１、２２のまったく同じセットに動作可能に接続される。あるいは、光源１７から放出された光が、プローブ５０に直接放出されてもよい。検出ユニット５はまた、検出ユニット５に電力を供給するとともに検出ユニット５を制御する電気ケーブル３０を介して、ベースユニット２に接続される。

【0055】

システム１は、選択されたモダリティに応じて、プローブ５０から放出された信号を検出ユニット５に選択的に送信することを可能にする切替ユニット３をさらに備える。

【0056】

図３では、生物学的プローブのいくつかの画像が表示されている。プローブは、パラフィンに埋め込まれた厚さ３μｍのヒト皮膚試料である。左側の画像は、Ｈ＆Ｅによって物理的に染色されたプローブを示す。この画像は２０×ＮＡ ０．７５顕微鏡によって得られたものである。細胞核５２が明瞭に見える。中央には、すべての細胞核を認識できないデジタル染色画像が示されている。それらの位置のみが５２’によってマークされている。これは、本発明の方法内の少なくとも１つの位相差モダリティを使用することによって達成され得る。

【図1】

【図2】

【図3】

【国際調査報告】