(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024059600
(43)【公開日】2024-05-01
(54)【発明の名称】臨床支援システムおよび関連するコンピュータ実装方法
(51)【国際特許分類】
G01N 33/48 20060101AFI20240423BHJP
G06N 3/0464 20230101ALI20240423BHJP
G06T 7/00 20170101ALI20240423BHJP
G16H 10/40 20180101ALI20240423BHJP
【FI】
G01N33/48 M
G06N3/0464
G06T7/00 630
G06T7/00 350C
G16H10/40
【審査請求】未請求
【請求項の数】15
【出願形態】OL
【外国語出願】
(21)【出願番号】P 2023179102
(22)【出願日】2023-10-17
(31)【優先権主張番号】22202322.8
(32)【優先日】2022-10-18
(33)【優先権主張国・地域又は機関】EP
(71)【出願人】
【識別番号】501205108
【氏名又は名称】エフ ホフマン-ラ ロッシュ アクチェン ゲゼルシャフト
(74)【代理人】
【識別番号】110001896
【氏名又は名称】弁理士法人朝日奈特許事務所
(72)【発明者】
【氏名】ニルス ブルーエンゲル
(72)【発明者】
【氏名】パトリック コンウェイ
(72)【発明者】
【氏名】ヤン-ゲリット ホーヘンダイク
(72)【発明者】
【氏名】パスカル ヴァロットン
【テーマコード(参考)】
2G045
5L096
5L099
【Fターム(参考)】
2G045AA03
2G045AA24
2G045CA12
2G045CA13
2G045CA15
2G045CA16
2G045CA17
2G045CA20
2G045CA21
2G045CA24
2G045JA01
2G045JA03
5L096AA02
5L096AA06
5L096BA13
5L096CA02
5L096DA01
5L096DA02
5L096HA11
5L096KA04
5L096KA15
5L096MA07
5L099AA03
(57)【要約】 (修正有)
【課題】自動細胞識別に使用される機械学習モデルの出力を、有意義な情報を収集するように適合し改良する臨床支援システム及び方法を提供する。
【解決手段】方法は、ヒト又は動物の対象から取得された複数の細胞の画像データを受信することと、深層学習ニューラルネットワークモデルを画像データの各サブセットに適用することであって、訓練された深層学習ニューラルネットワークモデルを画像データの各サブセットに適用することと、画像データの各サブセットについて、3つ以下の値を含むデータセットを導出することであって、値が、ボトルネック層中のノードの活性化値から導出される、3つ以下の値を含むデータセットを導出することと、臨床支援システムの表示構成要素によって実行されると、コンピュータの表示構成要素に、画像データの各サブセットのそれぞれのデータセットの3次元以下のプロットを表示させる命令を生成することと、を行う。
【選択図】
図4
【特許請求の範囲】
【請求項1】
プロセッサと表示構成要素とを備える臨床支援システムであって、
前記プロセッサが、
画像データを受信することであって、前記画像データが、ヒトまたは動物の対象から取得された複数の細胞の画像を表し、前記画像データが、画像データの複数のサブセットを含み、各サブセットが、前記複数の細胞のそれぞれの細胞に対応する前記画像データの一部を表すデータを含む、画像データを受信することと、
訓練された深層学習ニューラルネットワークモデルを前記画像データの各サブセットに適用することであって、前記深層学習ニューラルネットワークモデルが、それぞれが複数のノードを含む複数の畳み込みニューラルネットワーク(CNN)層と、10個以下のノードを含むボトルネック層とを含み、前記プロセッサが、前記複数のCNN層を適用し、続いて前記ボトルネック層を適用することによって、前記訓練された深層学習ニューラルネットワークモデルを前記画像データの各サブセットに適用するように構成され、機械学習モデルの前記ボトルネック層の各ノードが、前記画像データの前記サブセットに対するそれぞれの活性化値を出力するように構成される、訓練された深層学習ニューラルネットワークモデルを前記画像データの各サブセットに適用することと、
前記画像データの各サブセットについて、3つ以下の値を含むデータセットを導出することであって、前記値が、前記ボトルネック層中の前記ノードの前記活性化値から導出される、3つ以下の値を含むデータセットを導出することと、
前記臨床支援システムの前記表示構成要素によって実行されると、コンピュータの前記表示構成要素に、前記画像データの各サブセットのそれぞれのデータセットの3次元以下のプロットを表示させる命令を生成することと
を行うように構成される、臨床支援システム。
【請求項2】
前記訓練された深層学習ニューラルネットワークモデルが、細胞の画像を分類するように構成された深層学習ニューラルネットワークモデルの少なくともエンコーダ部分を含み、前記エンコーダ部分が、前記複数のCNN層を含む、請求項1に記載の臨床支援システム。
【請求項3】
分類器モデルが、細胞を、好中球、好塩基球、リンパ球、桿状好中球、芽球、破片、好酸球、未成熟顆粒球、リンパ球、単球、血小板、異型リンパ球、前骨髄球、骨髄球、後骨髄球、および形質細胞のうちの1または複数として分類するように構成される、請求項2に記載の臨床支援システム。
【請求項4】
前記ボトルネック層が、2つのノードまたは3つのノードを含む、請求項1から3のいずれか一項に記載の臨床支援システム。
【請求項5】
前記プロット中または前記複数のデータセット中の点のクラスタに基づいて、前記複数の細胞の画像中に存在する1または複数の細胞タイプを識別することをさらに含む、請求項1から4のいずれか1項に記載の臨床支援システム。
【請求項6】
正常細胞に関連するクラスタ内に含まれない点に基づいて、前記複数の細胞の画像における1つまたは複数の異常細胞の存在を検出することをさらに含む、請求項5に記載の臨床支援システム。
【請求項7】
細胞タイプを識別するための訓練された深層学習ニューラルネットワークモデルを生成するコンピュータ実装方法であって、
複数の電子データのセットを含む訓練データを受信することであって、各電子データのセットが細胞のそれぞれの画像を表し、各電子データのセットが前記画像に示された前記細胞のタイプを示すラベルをさらに含む、複数の電子データのセットを含む訓練データを受信することと、
前記訓練データを使用して、複数の畳み込み層を含むエンコーダ部分と、細胞タイプを出力し、細胞の画像を分類し、かつ細胞タイプを出力するように構成された初期ヘッド部分とを含む深層学習ニューラルネットワークモデルを訓練し、それによって中間深層学習ニューラルネットワークモデルを生成することと、
前記初期ヘッド部分を、3つ以下のノードを含むボトルネック層を含む置換ヘッド部分と置き換えて、更新された中間深層学習ニューラルネットワークモデルを生成することと
を含む、コンピュータ実装方法。
【請求項8】
前記ボトルネック層が、2つのノードまたは3つのノードを含む、請求項7に記載のコンピュータ実装方法。
【請求項9】
前記深層学習ニューラルネットワークモデルが分類器モデルである、請求項7または8に記載のコンピュータ実装方法。
【請求項10】
前記分類器モデルが、細胞を、好中球、好塩基球、リンパ球、桿状好中球、芽球、破片、好酸球、未成熟顆粒球、リンパ球、単球、血小板、異型リンパ球、前骨髄球、骨髄球、後骨髄球、および形質細胞のうちの1または複数として分類するように構成される、請求項9に記載のコンピュータ実装方法。
【請求項11】
前記訓練データを使用して前記更新された中間深層学習ニューラルネットワークモデルを訓練して、前記訓練された深層学習ニューラルネットワークモデルを生成することをさらに含む、請求項7から10のいずれか一項に記載のコンピュータ実装方法。
【請求項12】
前記更新された中間深層学習ニューラルネットワークモデルを訓練することが、
前記エンコーダ部分を凍結することと、
前記置換ヘッド部分のパラメータのみを変化させることによって前記更新された中間深層学習ニューラルネットワークモデルを訓練することと
を含む、請求項11に記載のコンピュータ実装方法。
【請求項13】
前記更新された中間深層学習ニューラルネットワークモデルを訓練することが、
前記更新された中間深層学習ニューラルネットワークモデルの前記エンコーダ部分を解凍することと、
前記訓練データを使用して前記更新された中間深層学習ニューラルネットワークモデル全体を訓練することと
をさらに含む、請求項12に記載のコンピュータ実装方法。
【請求項14】
複数の細胞の画像内の細胞タイプを識別するコンピュータ実装方法であって、
画像データを受信することであって、前記画像データが、ヒトまたは動物の対象から取得された複数の細胞の画像を表し、前記画像データが、画像データの複数のサブセットを含み、各サブセットが、前記複数の細胞のそれぞれの細胞に対応する前記画像データの一部を表すデータを含む、画像データを受信することと、
訓練された深層学習ニューラルネットワークモデルを前記画像データの各サブセットに適用することであって、前記深層学習ニューラルネットワークモデルが、それぞれが複数のノードを含む複数の畳み込みニューラルネットワーク(CNN)層と、10個以下のノードを含むボトルネック層とを含み、前記訓練された深層学習ニューラルネットワークモデルを前記画像データの各サブセットに適用することが、
前記複数のCNN層を適用することと、
続いて前記ボトルネック層を適用することであって、機械学習モデルの前記ボトルネック層の各ノードが、前記画像データの前記サブセットに対するそれぞれの活性化値を出力するように構成される、前記ボトルネック層を適用することと
を含む、訓練された深層学習ニューラルネットワークモデルを前記画像データの各サブセットに適用することと、
前記画像データの各サブセットについて、前記ボトルネック層中の前記ノードから3つ以下の値を含むデータセットを導出することと、臨床支援システムの表示構成要素によって実行されると、コンピュータの前記表示構成要素に、前記画像データの各サブセットのそれぞれのデータセットの3次元以下のプロットを表示させる命令を生成することと
を含む、コンピュータ実装方法。
【請求項15】
前記訓練された深層学習ニューラルネットワークが、請求項7から13のいずれか一項に記載のコンピュータ実装方法を使用して生成される、請求項1から6のいずれか一項に記載の臨床支援システムまたは請求項14に記載のコンピュータ実装方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、臨床支援システム、複数の細胞を含む画像中の細胞タイプを識別するためのコンピュータ実装方法、および深層学習ニューラルネットワークモデルを訓練するためのコンピュータ実装方法に関する。本発明の他の態様も想定される。
【背景技術】
【0002】
デジタル血液学は、例えばスライド画像中の異常な細胞の存在を検出することができることがしばしば必要な分野である。形態学的に、異常な細胞は、識別するために経験豊富な臨床医による綿密な検査を必要とする非常に微妙な方法でのみ正常細胞と異なり得る。近年、機械学習などの高度な人工知能ベースの技術の出現により、細胞の自動識別が容易になってきている。そのような技術は、容易に視覚化可能な特徴に必ずしも対応しない隠れた形態学的または幾何学的特徴をパラメータ化して「学習」することができる。
【0003】
存在する細胞の種類の全体像、ならびに細胞のタイプに関する容易に消化可能な情報を臨床医が有することは有用である。例えば、(例えば、それらは訓練データが不十分な希少な細胞タイプであるため)それらの細胞がモデルを使用して分類され得ない場合であっても、存在する異常な細胞に関するいくつかの基本的な情報を臨床医が理解することは有用であり得る。現在、分類器は、分類器の出力がクラスの形態であるように構築されており、訓練データがない異常な細胞の場合、診断または他の関連する決定を行うことができるようになるいかなる情報も臨床医に提供しない。
【0004】
したがって、自動細胞識別に使用される機械学習モデルの出力を、人間の使用のためにそれらを最適化するように、すなわち、これまで可能でなかった方法で有意義な情報を収集することを可能にするように適合および改良する必要がある。そのようなデータは、臨床医についての人間工学的改善を提供する。
【発明の概要】
【0005】
大まかに言えば、本発明は、深層学習ニューラルネットワークモデルのボトルネック層からデータを抽出し、抽出されたデータを3次元以下で提示することによってこれらの人間工学的改善を達成するコンピュータ実装方法を提供する。深層学習ニューラルネットワークモデルへのボトルネック層の導入は、モデルに、データの本質的な態様を少数の値に集約させる。これらの値に基づいて出力を生成することにより、臨床医は、人間の使用によりよく適合したデータの改善された視覚化によって提示され得る。
【0006】
より具体的には、本発明の第1の態様は、プロセッサと表示構成要素とを備える臨床支援システムであって、プロセッサが、画像データを受信することであって、画像データが、ヒトまたは動物の対象から取得された複数の細胞の画像を表し、画像データが、画像データの複数のサブセットを含み、各サブセットが、複数の細胞のそれぞれの細胞に対応する画像データの一部を表すデータを含む、画像データを受信することと、訓練された深層学習ニューラルネットワークモデルを画像データの各サブセットに適用することであって、深層学習ニューラルネットワークモデルが、それぞれが複数のノードを含む複数の畳み込みニューラルネットワーク(CNN)層と、10個以下のノードを含むボトルネック層とを含み、プロセッサが、複数のCNN層を適用し、続いてボトルネック層を適用することによって、訓練された深層学習ニューラルネットワークモデルを画像データの各サブセットに適用するように構成され、機械学習モデルのボトルネック層の各ノードが、画像データのそのサブセットに対するそれぞれの活性化値を出力するように構成される、訓練された深層学習ニューラルネットワークモデルを画像データの各サブセットに適用することと、画像データの各サブセットについて、3つ以下の値を含むデータセットを導出することであって、値が、ボトルネック層中のノードの活性化値から導出される、3つ以下の値を含むデータセットを導出することと、臨床支援システムの表示構成要素によって実行されると、コンピュータの表示構成要素に、画像データの各サブセットのそれぞれのデータセットの3次元以下のプロットを表示させる命令を生成することと、を行うように構成される、臨床支援システムを提供する。臨床支援システムは、例えばデジタル血液分析装置の形態であってもよい。臨床支援システムはまた、検査室情報システムまたは病院情報システム、より具体的には検査室情報システムまたは病院情報システムのモジュール(例えば、物理ハードウェアモジュール、またはコードで実装されたソフトウェアモジュール)の形態であってもよい。
【0007】
「活性化値」という用語は、ニューラルネットワーク内のノードのスカラー出力を表すために使用される。これは、正または負の数の形態であってもよい。一般的な法則として、ボトルネック層中の各ノードの活性化値は、問題の細胞が特定の特徴(形態学的または幾何学的特徴など)を表示する程度のパラメータ化である。特徴は、通常、現実の容易に識別可能な特徴に必ずしも対応しない隠れた特徴または潜在的な特徴である。ボトルネック層を設けることは、有効に、深層学習ニューラルネットワークモデルに、10個以下の隠れた特徴を生成させ、かつそれらの特徴のみに関して細胞の形態をパラメータ化させる。類似の細胞タイプは、ボトルネック層において類似またはほぼ類似の活性化値を有する可能性が高い。これは、データセットが導出されて表示されるとき、同じまたは類似のタイプの細胞の集団が、一般に、表示されたプロットにおいてクラスタ化されることを意味する。臨床医は、一般に、プロット中のどの位置がどの細胞タイプに対応するかを知っている。これは、プロットの予想される位置に位置しない異常細胞のクラスタが、試料内の異常細胞集団として容易に識別され得ることを意味する。さらにまた、プロット内のクラスタの位置はまた、臨床医に有用な情報を提供する。例えば、クラスタが2つの予想されるクラスタの間に位置する場合、これは、未知の集団が、2つの予想されるクラスタによって表される細胞の特性の間にある形態学的特性を有する細胞を含むことを臨床医に示し得る。
【0008】
したがって、後に深層学習ニューラルネットワークモデルにボトルネックを導入し、そのデータセット内の複数の、好ましくは全ての活性化値から導出されたデータセットをプロットすることによって、容易に解釈可能であり、したがって臨床医が容易に使用可能な出力を生成することが可能であることが理解されよう。具体的には、分類器の従来の出力とは対照的に、本発明の第1の態様の臨床支援システムによって生成された出力は、臨床医により多くの情報を提供し、異常細胞の集団を容易に識別可能であるようにすること、および他の細胞と比較して、それらの形態学的特性の一部を示す位置にそれらを配置することの両方の点で、臨床医が臨床的決定を行うことをより良好に可能にする。したがって、そのような臨床支援システムは、単純な分類器のみを使用する臨床支援システムと比較して人間工学的に改善される。
【0009】
好ましい事例では、深層学習ニューラルネットワークモデルは分類器モデルである。本発明者らは、10個以下のノードを有する分類器モデルの性能が、関心対象の血液の細胞タイプまたは成分、例えば好中球、好塩基球、リンパ球、桿状好中球、芽球、デブリ、好酸球、未成熟顆粒球、リンパ球、単球、血小板、異型リンパ球、前骨髄球、骨髄球、後骨髄球、および形質細胞を識別するのに依然として十分であることを示した。したがって、機械学習モデルは、ボトルネック層中のノードの活性化値に基づいて、画像データのサブセットに対応する画像中の細胞のタイプを示す分類出力を生成するようにさらに構成され得る。したがって、本発明は、細胞の集団に関するデータの人間工学的視覚化と効果的な分類との間のバランスを可能にし、臨床医の職務の遂行を大いに助ける。このバランスは、ボトルネック層中のノードの数が5、6、7、8、9、または10のいずれかである場合に特に効果的に達成される。
【0010】
ボトルネック層は、2つまたは3つのノードを含んでもよい。これらの場合、プロセッサは、ボトルネック層中の2つまたは3つのノードのそれぞれの活性化値を抽出することによって、ボトルネック層中のノードから3つ以下の値を含むデータセットを導出するように構成され得る。ボトルネック層に3つを超えるノードがある場合(すなわち、ボトルネック層に4から10個のノードが存在する場合)、プロセッサは、ボトルネック層中の2つまたは3つのノードから活性化値を抽出することによって、3つ以下のノードを含むデータセットを導出するように構成され得る。あるいは、ボトルネック層に3つを超えるノードがある場合、プロセッサは、データの各サブセットについて、複数のN個のデータセットを導出するように構成されてもよく、各データセットは、3つ以下の値を含み、所与のデータセットの値は、ノードのそれぞれのサブセットの活性化値から導出される。次いで、プロセッサは、臨床支援システムの表示構成要素によって実行されると、それぞれが3次元以下の複数のプロットを表示させるか、またはそれを可能にする命令を生成するように構成され得る。複数のプロットの各プロットは、好ましくは、ボトルネック層の同じノードの活性化値から導出されたデータセットに対応する。例えば、ボトルネック層にN個のノードがある場合、Nは、「Nは3を選択」または「Nは2を選択」、または2つの合計に等しくてもよい。(ここで、「XはYを選択」は、X要素のセットからY要素のサブセットを選択する方法であり、以下のように定義され得る:
)これは、それぞれがボトルネック層とは異なるノードの組み合わせの値に対応する複数のプロットが生成され得ることを意味する。このように複数のプロットを出力することにより、より有用な出力が臨床医に提供される。
【0011】
用語「ボトルネック層」は、ボトルネック層中のノードの数が前の層(すなわち、畳み込みニューラルネットワーク層)内のノードの数よりも少ないという事実を強調するために使用される。訓練された深層学習ニューラルネットワークは、ResNet18、ResNet34、ResNet50、またはResNet101などの残差ネットワークであってもよい。
【0012】
本発明の主な目的は、臨床的決定および評価を行うことを可能にする人間工学的出力をユーザにより良好に提供することができる臨床支援システムの提供であることを既に論じた。しかしながら、出力が生成されると、プロセッサは、プロット中または複数のデータセット中の点のクラスタに基づいて、複数の細胞の画像中に存在する1または複数の細胞タイプを識別するように構成され得る。例えば、プロセッサは、細胞のクラスタを識別し、かつ各クラスタ内の細胞を分類するために、プロット中の複数の点、または複数のデータセットにクラスタリングアルゴリズムを適用するように構成され得る。場合によっては、異常な細胞は、予想されるクラスタに現れないことがある。それらの場合、プロセッサは、正常細胞に関連するクラスタ内に含まれない点に基づいて、複数の細胞の画像中の異常細胞の存在を検出するように構成され得る。
【0013】
1つまたは複数のプロットの生成および表示後にプロセッサによって実行され得る様々な他のステップがある。プロセッサは、生成されたプロットに基づいて様々な分析機能を実行するように構成された分析モジュールを備え得る。いくつかの例を以下に示すが、ここで概説するように深層学習ニューラルネットワークモデルの出力を生成およびプロットすることは、そのデータのより人間工学的な表示に加えて、意味のあるデータのより直接的な抽出を可能にすることが理解されよう。分析モジュールは、プロット、またはプロットを生じさせるデータセットに対して定量分析を実行するように構成され得る。例えば、分析モジュールは、細胞のクラスタを識別するために、プロット中の複数の点、または複数のデータセットにクラスタリングアルゴリズムを実行または適用するように構成され得る。
【0014】
分析モジュールは、細胞のクラスタに対して分析を実行するようにさらに構成され得る。例えば、分析モジュールは、1つまたは複数のクラスタのそれぞれにおける点の数を決定するように構成され得る。あるいは、分析モジュールは、各クラスタ内に入る点の割合を決定するように構成されてもよい。これは、好中球増加症、赤血球増加症、または白血球増加症など、正常状態と比較して細胞の数または割合の増加をもたらす症状を識別するために使用され得る。
【0015】
クラスタの動きを経時的に追跡することによって、診断分析、すなわち疾患の状態または進行の追跡が実行され得る。したがって、プロセッサは、プロットを生成するのに必要なステップの全てを複数回実行するように構成されてもよく、分析モジュールは、シフトデータを生成するためにクラスタ内のシフトを追跡するように構成されてもよい。分析モジュールは、シフトデータに基づいて臨床的に意味のある出力を決定するように構成され得る。臨床的に意味のある出力は、シフトデータを示すスコアまたは他のデータを含んでもよく、これは、臨床医が関連する決定(例えば、診断)を行うことを可能にし得る。場合によっては、プロセッサは、表示構成要素によって実行されると、表示構成要素に複数のプロットを時系列順に表示させる命令を生成するように構成されてもよく、各プロットは、ビデオまたはアニメーションのフレームを形成する。このようにして、臨床医は、クラスタのシフトをより明確に視覚化することができ、より人間工学的な視野を提供し、例えば疾患の進行を判定するために、または治療が機能しているかどうかを見定めるために、臨床医が適切な臨床的決定を行うことを可能にする。
【0016】
分析モジュールは、(例えば、各それぞれの正常細胞タイプの第99パーセンタイルを反映する)1つまたは複数の基準クラスタによってプロットをオーバーレイするように構成され得る。本明細書では、「基準クラスタ」は、所与のタイプの細胞の正常な集団を反映する2次元または3次元プロット中の空間の領域を指すために使用される。これは、例えば、既知の正常な細胞集団で、またはそのタイプの細胞に特徴的な細胞であることが知られている画像で深層学習ニューラルネットワークモデルを実行することによって取得され得る。このように1つまたは複数の基準クラスタをオーバーレイすることにより、臨床医は、偏差をより検出することができ、したがって出力の人間工学性を改善する。
【0017】
プロセッサ、例えばその分析モジュールは、所与の細胞に関連するデータセットを、異なる分析方法を使用してその細胞に関して生成された追加のデータによって増強するように構成され得る。例えば、プロセッサ(例えば、その分析モジュール)は、セグメンテーションデータまたはCD(分化のクラスタ、当該技術分野において周知の用語)マーカー分析データによってデータセットを増強するように構成され得る。データは、例えば、核対細胞質比を含み得る。
【0018】
ここで、臨床医または他のユーザが生成されたプロットと有利に相互作用することができる方法、インターフェースの人間工学を向上させる方法、および臨床医がデータを取得および処理することができる方法を考える。コンピュータ実装方法では、プロセッサは、臨床支援システムの表示構成要素によって実行されると、グラフィカルユーザインターフェースにプロット(または前述の複数のプロット、もしくはアニメーション/ビデオ)を表示させる命令を生成するように構成され得る。グラフィカルユーザインターフェースは、例えば、マウスクリック、スクリーンタッチ、または任意の他の従来の入力の形態のユーザ入力を受信するように構成され得る。ユーザ入力は、表示されたプロット中の1つまたは複数のデータ点の選択を含み得る。
【0019】
1つまたは複数のデータ点の選択に応答して、プロセッサは、表示構成要素によって実行されると、1つまたは複数のデータ点に関する補足情報を表示させる命令を生成するように構成され得る。例えば、補足情報は、データ点によって表される細胞の画像を含み得る。そうするために、プロセッサは、問題のデータ点に対応する画像データのサブセットを取得し、かつ表示構成要素によって実行されると、画像データのサブセットに基づいて画像をレンダリングさせ、レンダリングされた画像を表示させる命令を生成するように構成され得る。
【0020】
場合によっては、集団内の各細胞の画像は、プロットに隣接するギャラリーに表示され得る。次いで、1つまたは複数の細胞が選択されると、上記で概説したように、プロセッサは、選択されたデータ点に対応する画像が最初に、またはギャラリービュー内のより顕著な位置に表示されるように画像をソートするように構成され得る。このようにして、臨床医(または他のユーザ)は、例えば正常な細胞を表すクラスタとともに位置していないため、異常である可能性があると識別したデータ点によって表される細胞の画像を迅速に取得することができる。これは、臨床医が、関心対象の細胞に関連するデータを迅速に取得することを可能にし、それに基づいて、臨床医は、診断を行うか、または他の臨床的に関連する情報を収集することができる場合がある。
【0021】
細胞の画像がプロットとともに表示される場合、ユーザ入力は、画像の選択を含んでもよい。選択に応答して、その細胞に対応するデータ点がプロット中で強調表示され得る。
【0022】
補足情報は、前述したように、セグメンテーションデータ、CDマーカー分析の結果、または核対細胞質比などの細胞に関する他の情報をさらに含み得る。これは、臨床医が、データ点に関する追加情報に迅速且つ直接的にアクセスすることを可能にし、したがって、システムの人間工学性をより大幅に改善する。
【0023】
本発明の第1の態様は、臨床支援システムに関する。本発明の第2の態様は、(本発明の第1の態様の臨床支援システムのプロセッサによって実行され得る)対応するコンピュータ実装方法に関する。より具体的には、本発明の第2の態様は、複数の細胞の画像内の細胞タイプを識別するコンピュータ実装方法であって、画像データを受信することであって、画像データが、ヒトまたは動物の対象から取得された複数の細胞の画像を表し、画像データが、画像データの複数のサブセットを含み、各サブセットが、複数の細胞のそれぞれの細胞に対応する画像データの一部を表すデータを含む、画像データを受信することと、訓練された深層学習ニューラルネットワークモデルを画像データの各サブセットに適用することであって、深層学習ニューラルネットワークモデルが、それぞれが複数のノードを含む複数の畳み込みニューラルネットワーク層と、10個以下のノードを含むボトルネック層とを含み、訓練された深層学習ニューラルネットワークモデルを画像データの各サブセットに適用することが、複数のCNN層を適用することと、続いてボトルネック層を適用することであって、機械学習モデルのボトルネック層の各ノードが、画像データのそのサブセットに対するそれぞれの活性化値を出力するように構成される、ボトルネック層を適用することとを含む、訓練された深層学習ニューラルネットワークモデルを画像データの各サブセットに適用することと、画像データの各サブセットについて、ボトルネック層中のノードから3つ以下の値を含むデータセットを導出することと、臨床支援システムの表示構成要素によって実行されると、コンピュータの表示構成要素に、画像データの各サブセットのそれぞれのデータセットの3次元以下のプロットを表示させる命令を生成することと、を含む、コンピュータ実装方法。本発明の第1の態様に関して上述した任意の特徴は、本発明の第2の態様にも同様に良好に適用されることが理解されよう。具体的には、本発明の第1の態様の臨床支援システムのプロセッサによって実行される(またはプロセッサが実行するように構成される)動作に関する任意の特徴は、本発明の第2の態様にも適用され得る。
【0024】
本発明の第1および第2の態様の両方は、画像データの様々なサブセットに適用される訓練された深層学習ニューラルネットワークモデルに依存する。深層学習ニューラルネットワークモデルは、それが使用され得るようになる前に訓練されなければならない機械学習モデルであることが理解されよう。本発明の第3の態様は、本発明の第1および第2の態様の実装において使用され得る深層学習ニューラルネットワークモデルを生成するコンピュータ実装方法を提供する。具体的には、本発明の第3の態様は、複数の細胞の画像内の細胞タイプを識別するための訓練された深層学習ニューラルネットワークモデルを生成するコンピュータ実装方法であって、複数の電子データのセットを含む訓練データを受信することであって、各電子データのセットが細胞のそれぞれの画像を表し、各電子データのセットが画像に示された細胞のタイプを示すラベルをさらに含む、複数の電子データのセットを含む訓練データを受信することと、第1の訓練段階において、訓練データを使用して、複数の畳み込み層を含むエンコーダ部分と、細胞タイプを出力し、細胞の画像を分類し、かつ細胞タイプを出力するように構成された初期ヘッド部分とを含む深層学習ニューラルネットワークモデルを訓練し、それによって中間深層学習ニューラルネットワークモデルを生成することと、初期ヘッド部分を、10個以下のノードを含むボトルネック層を含む置換ヘッド部分と置き換えて、更新された中間深層学習ニューラルネットワークモデルを生成することと、を含む、コンピュータ実装方法を提供する。本発明の第3の態様は、訓練データを使用して更新された中間深層学習ニューラルネットワークモデルを訓練して、訓練された深層学習ニューラルネットワークモデルを生成する第2の訓練段階をさらに含み得る。
【0025】
ここで、深層学習ニューラルネットワークモデルの「エンコーダ」部分は、隠れ変数または特徴に関して入力データの表現を学習するように構成された深層学習ニューラルネットワークモデルの部分またはサブネットワークである。そして、「ヘッド」部分は、隠れ変数の値に基づいて分類演算を実行するように構成された部分である。
【0026】
訓練データは、訓練データの第1のサブセットおよび訓練データの第2のサブセットを含んでもよく、それぞれは、先に定義されたような電子データのそれぞれの複数のセットを含む。これらの場合、(訓練されていない深層学習ニューラルネットワークモデル上の)第1の訓練段階は、訓練データの第1のサブセットおよび(更新された中間深層学習ニューラルネットワークモデル上の)第2の訓練段階を使用して実行され得る。あるいは、完全な訓練データは、第1の訓練段階および第2の訓練段階の両方を実行するために使用されてもよい。
【0027】
上述したように、深層学習ニューラルネットワークモデルは、複数の畳み込み層を含み得る。そのため、深層学習ニューラルネットワークモデルは、畳み込みニューラルネットワークであってもよい。本発明の第3の態様のコンピュータ実装方法(またはその点に関して任意の態様)は、あらゆる種類の深層学習ニューラルネットワークモデル、特に任意のアーキテクチャの畳み込みニューラルネットワークに適用可能である。本発明の実装において使用され得る畳み込みニューラルネットワークアーキテクチャの例は、残差ニューラルネットワーク(Resnet、例えばResnet34)、ResNeXtニューラルネットワーク、AlexNetニューラルネットワーク、VGGニューラルネットワーク、ビジョン変換ニューラルネットワーク、およびスクイーズ・アンド・エキサイテーションニューラルネットワークを含む。これは、決して網羅的なリストではなく、本発明の第3の態様のコンピュータ実装方法の適用性の幅を伝えることを意図している。好ましくは、深層学習ニューラルネットワークモデルは、分類器モデルである。分類器モデルは、画像中の細胞または他の構造を、好中球、桿状好中球、好塩基球、芽球、破片、好酸球、未成熟顆粒球、リンパ球、単球、血小板、異型リンパ球、前骨髄球、骨髄球、後骨髄球、形質細胞のうちの1または複数として分類するように構成され得る。具体的には、分類器モデルは、好ましくは、第1の訓練段階後に画像中の細胞または他の構造を分類するように構成される。分類ヘッドが除去された後、モデルの分類性能が低下することは避けられないが、10個以下のノードを有するボトルネック層の導入は、依然として適切な分類精度ならびに人間工学的に改善された出力の視覚化を提供することができることが示されている。場合によっては、ボトルネック層は、2つまたは3つのノードを有し得る。
【0028】
ボトルネック層は、3つ以下の値を含むデータセットを出力するように構成されてもよい。場合によっては、ボトルネック層が2つのノードまたは3つのノードを含む場合、ボトルネックは、各ノードの活性化値を出力するように構成されてもよい。3つを超えるノードがある場合、ボトルネック層は、2つまたは3つのノードのサブセットを選択し、かつそれらのノードの活性化値を出力するように構成され得る。これが達成され得る方法の他の例については、「概要」セクションを参照されたい。
【0029】
場合によっては、初期ヘッド部分は、1つまたは複数の緻密層を含み得る。本文脈において、「緻密層」は、層中の各ノードが前の層中の全てのノードから入力を受信するように構成されているか、または受信することができる層である。これらの場合、初期ヘッド部分を置換ヘッド部分に置き換えることは、1つまたは複数の緻密層を除去することと、除去された緻密層ごとにアイデンティティ層を追加することとを含み得る。本文脈において、「アイデンティティ層」は、ノードの出力がそのノードの入力と同一である、すなわち入力にいかなる変更も加えない層である。例えば1つまたは複数の緻密層を単に除去するのではなく、アイデンティティ層を使用することは、表現空間が望ましくない方法でスクイーズされないことを保証する。
【0030】
更新された中間深層学習ニューラルネットワークモデルを訓練することは、深層学習ニューラルネットワークモデルのエンコーダ部分を凍結することと、置換ヘッド部分のパラメータのみを変化させることによって更新された中間深層学習ニューラルネットワークモデルを訓練することと、を含み得る。換言すれば、エンコーダ部分によって学習された表現は残っており、ノードの重みが変化することが可能にされるのはネットワークの最後の部分のみである。この時点で、ネットワークの分類性能は、僅かであれば改善し得る。これらの場合、更新された中間深層学習ニューラルネットワークモデルは、1サイクルポリシー(https://arxiv.org/abs/1803.09820)を使用して訓練され得る。機械学習モデルの訓練中に、適切な学習率(逆伝播される勾配の量を決定する)を選択することが重要である。学習率が小さいということは、モデルがゆっくり収束することを意味するが、学習率が大きいと、モデルを発散させる可能性がある。従来、モデルが収束に近付くにつれて学習率が低下していた。しかしながら、1サイクルポリシーが使用される場合、学習率は、第1の期間では増加され、学習率は、好ましくは第1の期間と同じ長さの第2の期間では減少される。そうすることで、過剰嵌合を防止し、損失の急勾配領域を回避し、モデルがより平坦な最小値に達するのを支援する。
【0031】
更新された中間深層学習ニューラルネットワークモデルを訓練することは、更新された中間深層学習ニューラルネットワークモデルのエンコーダ部分を解凍すること(すなわち、その値を変化させ続けることを可能にする)と、訓練データを使用して更新された中間深層学習ニューラルネットワークモデル全体を訓練することと、をさらに含み得る。訓練データは、この最終訓練ステップに使用される訓練データの第3のサブセットを含み得る。ここでも、分類性能は、僅かであれば改善し得る。
【0032】
本発明の第4の態様は、本発明の第1の態様にかかる臨床支援システムであって、深層学習ニューラルネットワークモデルが、本発明の第3の態様のコンピュータ実装方法を使用して生成される、臨床支援システムを提供する。本発明の第5の態様は、本発明の第2の態様にかかるコンピュータ実装方法であって、深層学習ニューラルネットワークモデルが、本発明の第3の態様を使用して生成される、コンピュータ実装方法を提供する。本発明の第3の態様に関して記載された任意の特徴は、本発明の第4および第5の態様にも同様に良好に適用されることが容易に理解されよう。
【0033】
本発明のさらなる態様は、プログラムがコンピュータによって実行されると、コンピュータに、本発明の第2、第3または第5の態様のコンピュータ実装方法を実行させる命令を含むコンピュータプログラムを提供する。本発明の別の態様は、本発明の前述の態様のコンピュータプログラムを記憶したコンピュータ可読記憶媒体を提供する。
【0034】
本発明は、そのような組み合わせが明らかに許容されないかまたは明示的に回避される場合を除き、記載された態様および好ましい特徴の組み合わせを含む。
【図面の簡単な説明】
【0035】
ここで、本発明の実施形態を、添付の図面を参照して説明する。
【0036】
【
図1】デジタル血液分析装置などの臨床支援システムの例である。
【
図2】訓練された深層学習ニューラルネットワークモデルを生成するコンピュータ実装方法を示すフローチャートである。
【
図3】訓練された深層学習ニューラルネットワークモデルの概略図である。
【
図4】深層学習ニューラルネットワークモデルを使用して細胞を識別するコンピュータ実装方法を示すフローチャートである。
【
図5】本発明にしたがって生成され得る例示的な出力である。
【
図6】本発明にしたがって生成され得る例示的な出力である。
【発明を実施するための形態】
【0037】
ここで、本発明の態様および実施形態を、添付の図面を参照して説明する。さらなる態様および実施形態は、当業者には明らかであろう。本明細書で言及される全ての文書は、参照により本明細書に組み込まれる。
【0038】
図1は、例えば本発明の第1の態様にかかる臨床支援システム1の概略図である。臨床支援システム1は、プロセッサ12と、メモリ14と、表示構成要素16とを備える。
図1では、これらの構成要素は、全て同じシステムの一部であるように示されているが、システムは、様々な構成要素が異なるハードウェア上に、任意に異なる場所に配置される分散システムであってもよいことが理解されよう。これらの場合、各構成要素(例えば、プロセッサ12、メモリ14、および表示構成要素16)は、図示しないネットワークを介して接続され得る。ネットワークは、LAN、もしくはWANなどの有線ネットワークであってもよく、またはWi-Fiネットワーク、インターネット、もしくはセルラーネットワークなどの無線ネットワークであってもよい。ここで、
図2および
図4を参照して、動作であって、臨床支援システム1がこの動作を実行するように構成された、動作を論じる前に、臨床支援システム1の構造について説明する。プロセッサ12は、複数のモジュールを含む。本明細書では、「モジュール」という用語は、特定の機能を実行するように構成または適合された機能モジュールを指すために使用される。モジュールは、ハードウェア(すなわち、それらは、コンピュータ内の別個の物理的構成要素であってもよい)、ソフトウェア(すなわち、それらは、プロセッサ12によって実行されると、プロセッサに特定の機能を実行させる別個のコードセクションを表し得る)、または両方の組み合わせで実装されてもよい。具体的には、
図1のプロセッサ12は、訓練モジュール120と、細胞識別モジュール122と、分析モジュール124と、データセット抽出モジュール126と、データ視覚化モジュール128とを備える。これらのモジュールのそれぞれの機能は、より詳細に簡単に説明される。メモリ14は、永久メモリまたは一時メモリの形態であってもよく、またはこれらの組み合わせを含んでもよい。メモリ14は、深層学習ニューラルネットワークモデル140および訓練データ124を記憶する。訓練データは、3つのサブセット1420、1422、1424を含み得る。サブセットは、重複しないことが好ましく、すなわち、それらは、それぞれ異なるデータレコードを含む。表示構成要素16は、好ましくは、結果を見るために臨床医にデータを視覚的にレンダリングするように構成されたVPU、画面、またはモニタの形態である。
【0039】
図2は、臨床支援システム1のプロセッサ12の訓練モジュール120によって実行される、訓練された深層学習ニューラルネットワークモデル140が生成されるプロセスを説明する。最初のステップS200において、例えばクライアントデバイスまたは何らかのリポジトリから訓練データ142が受信される。深層学習ニューラルネットワークモデル140の目的は、細胞を特徴付け、識別することである。したがって、訓練データ142は、複数の電子データのセットを含み、各電子データのセットは、細胞のそれぞれの画像を表し、各電子データのセットは、画像に示された細胞のタイプを示すラベルをさらに含む。このように構成された訓練データ142は、深層学習ニューラルネットワークモデル140が、画像データと細胞タイプとの対応付けを学習することを可能にする。コンピュータ実装方法のこの段階では、深層学習ニューラルネットワークモデル140は、分類器ニューラルネットワークなどの完全な深層学習ニューラルネットワークモデルであり、まだ何も除去されていないことに言及する価値がある。
【0040】
ステップS202において、訓練データ142を使用して深層学習ニューラルネットワークモデル140が訓練される。これは、第1の訓練段階であり、訓練データ142の第1のサブセット1420を使用して実行されてもよい。この段階では、上述したように、深層学習ニューラルネットワークモデル140の全体が訓練データ142の第1のサブセット1420を使用して訓練される。第1の訓練段階、すなわちステップS202は、所定数のエポック、例えば10の間継続してもよい。このように分類器ニューラルネットワーク140を訓練する間、目的は、一般に、分類損失を最小限に抑えることである。しかしながら、再構成損失などの他の損失関数が使用されてもよい。
【0041】
ステップS202が完了した後、ステップS204において、深層学習ニューラルネットワークモデル140の分類ヘッドが除去され、深層学習ニューラルネットワークモデル140の畳み込み部分のみを保持する。深層学習ニューラルネットワークモデル140の畳み込み部分は、隠れ変数または特徴に関して入力データの表現を学習する部分である。分類ヘッドは、隠れ表現に基づいて細胞タイプを識別するネットワークの一部である。ステップS206において、10個以下のノード(またはニューロン)を含むボトルネック層が、分類ヘッドを置き換えるために、ネットワークの畳み込み部分の最後に追加される。元の出力クラスの数、およびソフトマックス層は保持される。ボトルネック層は、ネットワークに、データの本質的な態様を10個以下の値に集約させる。オートエンコーダとは対照的に、自己管理方式で元の画像を再構成することができる必要はない。むしろ、できるだけ多くの分類性能を保持することが望ましい。ステップS208において、分類ヘッド内の選択された正規化線形ユニット(「ReLu」)層は、表現空間が望ましくない方法でスクイーズされるのを回避するために、アイデンティティ層によって置き換えられる。そして、ステップS210において、ネットワークのエンコーダ部分(すなわち、畳み込み部分)が凍結される。これは、さらなる訓練段階の間、畳み込みまたはエンコーダ部分のノードに関連する重みが固定され、変化しないことを意味する。
【0042】
ステップS212において、セクション訓練段階が行われる。この段階の間、現在のところ深層学習ニューラルネットワークモデル140は、訓練データ142のサブセット1422を使用して訓練される。性能の向上は、この追加の訓練ステップS212から生じ得る。このステップが完了した後、ステップS214において、訓練された深層学習ニューラルネットワークモデル140がメモリ14に記憶される。
【0043】
図3は、本発明にしたがって生成され得る深層学習ニューラルネットワークモデル140の高度に概略的な図である。深層学習ニューラルネットワークモデル140は、第1の複数の畳み込み層を含む。次いで、図示の例では2つのノードのみを有し、表示のためにそれらのノードの活性化値を出力するように構成されたボトルネック層がある。次いで、任意に、深層学習ニューラルネットワークモデル140は、分類出力を提供することができる全結合層をさらに含み得る。これは、所望の出力のみが視覚化である実装に必須ではなく、視覚化および分類の両方が所望される場合に有利である。
【0044】
図4は、本発明の第1の態様のコンピュータ実装方法に対応する、複数の細胞の画像内の細胞タイプを識別するコンピュータ実装方法のステップを示すフローチャートである。第1のステップS400において、入力画像データが、例えばクライアントデバイスから、臨床支援システム1のプロセッサ12において受信される。入力画像データは、複数の細胞または細胞集団の画像の形態であり得る。したがって、画像は、それぞれが個々の細胞を示す複数の個々のより小さい画像を含み得る。これらの小さい画像のそれぞれは、画像全体を表す画像データのサブセットによって表される。ステップS402において、細胞識別モジュール122は、好ましくは、画像中の個々の細胞を識別し、かつこれらの画像部分のそれぞれを表す画像データの対応するサブセット(本明細書では、「データのサブセット」)を識別するように構成される。細胞識別モジュール122は、例えば、その全体が参照により本明細書に組み込まれる国際公開第2014/164757号に記載されているように、細胞集団の画像内の個々の細胞を識別するためのいくつかの従来技術のいずれかを使用してこの動作を実行し得る。
【0045】
上記で概説したように細胞が識別された後、ステップS404において、訓練された深層学習ニューラルネットワークモデル140がデータの各サブセットに適用される。深層学習ニューラルネットワークモデル140の畳み込み層の適用後、ボトルネック層に到達する。この時点で、細胞の特性は、10個以下のスカラー値にまとめられ、各値は、いくつかの隠れ変数を定量化する。ステップS406において、データセット抽出層126によってボトルネック層から3つ以下の値が抽出される。例えば
図3に示すように、ボトルネック層は、2つまたは3つのノードを含み得る。これらの場合、データセット抽出モジュール126は、ボトルネック層中の2つまたは3つのノードのそれぞれの活性化値を抽出することによって、ボトルネック層中のノードから3つ以下の値を含むデータセットを導出するように構成され得る。ボトルネック層に3つを超えるノードがある場合(すなわち、ボトルネック層に4から10個のノードが存在する場合)、データセット抽出モジュール126は、ボトルネック層中の2つまたは3つのノードから活性化値を抽出することによって、3つ以下のノードを含むデータセットを導出するように構成され得る。
【0046】
ステップS406においてボトルネック層から抽出される値は、最終的に2Dまたは3Dでプロットされる値である。したがって、データ視覚化モジュール128は、データの入力サブセットのそれぞれについてボトルネック層から抽出された値に基づいて、表示構成要素16によって実行されると、各データ点が抽出されたデータセットに対応する複数のデータ点を含む2Dまたは3Dプロットを表示構成要素に表示させる命令を生成するように構成される。最後に、ステップS410において、これらの命令は、実行および表示のために表示構成要素16に出力される。
【0047】
図5および
図6は、本発明のコンピュータ実装方法を使用して生成され得るプロットを示している。
図5は、ボトルネック層から3つの値のみを抽出することによって、各異なるタイプの細胞(または血液の他の成分)が、比較的少数の外れ値を有する別個の密集したクラスタと関連付けられるプロットを生成することが可能であることを示す3Dプロットである。この場合、クラスタは、好塩基球、芽球細胞、デブリ、好酸球、リンパ球、単球、好中球、損傷細胞、塊(互いにくっついた血小板の塊を指す)、画像において焦点が合っていない細胞(分化することが望ましい)、巨大血小板、「複数」(複数の細胞が単一の画像に示されている)、および有核赤血球に対応する。
【0048】
図6は、試料内の異常なまたは異常な細胞集団の識別に対する本発明の有用性を示している。以下の細胞の6つのクラスタが明確に見える:
1. 芽球細胞
2. 好酸球
3. リンパ球
4. 単球
5. 好塩基球
6. 好中球
【0049】
しかしながら、クラスタ3と4との間には、どのクラスタにも当てはまらないデータ点のスワスが存在する。そのような細胞は、明確に定義されたクラスタの外側にあるため、臨床医にはそのような細胞が異常であることは明らかである。さらにまた、データ点は、分類器モデルのボトルネックから抽出されるため、プロット中のそれらの位置は、いくつかの臨床的に関連する情報、すなわち異常細胞が形態学的にリンパ球と単球との間のどこかにあるという情報を提供することができる。したがって、本発明は、血液学者などの臨床医にとってより人間工学的に読み取り可能な分類器モデルの出力の視覚化を可能にする。
【0050】
以上の説明、または以下の特許請求の範囲、あるいは添付の図面に開示され、具体的な形態で表現されるか、または開示された機能を実行するための手段または開示された結果を得るための方法もしくはプロセスに関して表現された特徴は、必要に応じて、個別に、またはそのような特徴の任意の組み合わせにおいて、本発明を多様な形態で実現するために利用され得る。
【0051】
本発明は上述した例示的な実施形態と併せて説明されてきたが、本開示が与えられると、多くの同等の変更および変形は当業者にとって明らかであろう。したがって、上述した本発明の例示的な実施形態は、例示的なものであり、限定的ではないと見なされる。本発明の範囲から逸脱することなく、記載された実施形態に対する様々な変形が行われ得る。
【0052】
いかなる誤解も避けるために、本明細書で提供されるいかなる理論的説明も、読者の理解を改善する目的で提供されている。本発明者らは、これらの理論的説明のいずれによっても拘束されることを望まない。
【0053】
本明細書で使用されるいかなる項目の見出しも、構成上の目的のみのためであり、記載される主題を限定するものとして解釈されるべきではない。
【0054】
以下の特許請求の範囲を含む本明細書全体を通して、文脈上他の意味に解すべき場合を除き、用語「備える(comprise)」および「含む(include)」、ならびに「備える(comprises)」、「備えている(comprising)」および「含んでいる(including)」などの変形は、記載された整数もしくはステップまたは整数もしくはステップのグループの包含を意味するが、いかなる他の整数もしくはステップまたは整数もしくはステップのグループの排除を意味するものではないと理解される。
【0055】
本明細書および添付の特許請求の範囲において使用される場合、単数形「1つの(a)」、「1つの(an)」および「その(the)」は、文脈による別段の明確な指示がない限り、複数の指示対象を含むことに留意されたい。範囲は、本明細書では、「約」1つの特定の値から、および/または「約」別の特定の値までとして表現されることがある。このような範囲が表現される場合、別の実施形態は、1つの特定の値から、および/または他の特定の値までを含む。同様に、先行詞「約」の使用によって、値が近似値として表現される場合、特定の値が別の実施形態を形成することが理解されるであろう。数値に関する「約」という用語は任意であり、例えば+/-10%を意味する。
【外国語明細書】