知財求人 - 知財ポータルサイト「IP Force」
2023-517703空間マルチパラメータ細胞・細胞内撮像プラットフォームからの組織サンプルの全スライド画像における管／腺及び内腔、管／腺のクラスタ、並びに個々の核を含む組織学的構造のスケーラブルで高精度なコンテクストガイドセグメンテーション
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-04-26
(54)【発明の名称】空間マルチパラメータ細胞・細胞内撮像プラットフォームからの組織サンプルの全スライド画像における管／腺及び内腔、管／腺のクラスタ、並びに個々の核を含む組織学的構造のスケーラブルで高精度なコンテクストガイドセグメンテーション
(51)【国際特許分類】
G06T 7/00 20170101AFI20230419BHJP
G06T 7/143 20170101ALI20230419BHJP
G01N 33/48 20060101ALI20230419BHJP
【ＦＩ】
G06T7/00 630
G06T7/143
G06T7/00 350B
G01N33/48 P
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2022555766
(86)(22)【出願日】2021-03-16
(85)【翻訳文提出日】2022-11-04
(86)【国際出願番号】 US2021022470
(87)【国際公開番号】W WO2021188477
(87)【国際公開日】2021-09-23
(31)【優先権主張番号】62/990,264
(32)【優先日】2020-03-16
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】506147560
【氏名又は名称】ユニバーシティ オブ ピッツバーグ－オブ ザ コモンウェルス システム オブ ハイヤー エデュケーション
【氏名又は名称原語表記】ＵＮＩＶＥＲＳＩＴＹ ＯＦ ＰＩＴＴＳＢＵＲＧＨ ＯＦ ＴＨＥ ＣＯＭＭＯＮＷＥＡＬＴＨ ＳＹＳＴＥＭ ＯＦ ＨＩＧＨＥＲ ＥＤＵＣＡＴＩＯＮ
(74)【代理人】
【識別番号】110001438
【氏名又は名称】弁理士法人 丸山国際特許事務所
(72)【発明者】
【氏名】チェンヌボトラ，スリニバス シー．
(72)【発明者】
【氏名】チョーダリー，オム
(72)【発明者】
【氏名】トスン，アキフ ブラク
(72)【発明者】
【氏名】ファイン，ジェフリー
【テーマコード（参考）】
2G045
5L096
【Ｆターム（参考）】
2G045AA24
2G045BB24
2G045CB01
2G045JA01
5L096AA02
5L096BA06
5L096BA13
5L096FA02
5L096FA06
5L096FA35
5L096GA30
5L096KA04
5L096KA15
(57)【要約】
【解決手段】マルチパラメータ細胞・細胞内撮像データによって表される組織画像内の１又は複数の組織学的構造をセグメント化する方法（及びシステム）は、前記組織画像の最も粗いレベルの画像データを受け取ることであって、前記最も粗いレベルの画像データは、前記マルチパラメータ細胞・細胞内撮像データに対応する第１のデータのマルチスケール表現の最も粗いレベルに対応していることを含む。当該方法は更に、最も粗いレベルの画像データを複数の非重複スーパーピクセルに分割することと、各スーパーピクセルに、予め訓練された幾つかの機械学習アルゴリズムを使用して１又は複数の組織学的構造に属する確率を割り当てて確率マップを作成することと、確率マップにコンターアルゴリズムを適用して１又は複数の組織学的構造の推定境界を抽出することと、推定境界を使用して１又は複数の組織学的構造の正確な境界をもたらすこととを含む。
【選択図】図１
【選択図】図１
【特許請求の範囲】
【請求項1】
マルチパラメータ細胞・細胞内撮像データによって表される組織画像において１又は複数の組織学的構造をセグメント化する方法であって、前記組織画像について最も粗いレベルの画像データを受け取ることであって、前記最も粗いレベルの画像データは、前記マルチパラメータ細胞・細胞内撮像データに対応する第１のデータのマルチスケール表現の最も粗いレベルに対応している、ことと、
前記最も粗いレベルの画像データを複数の非重複スーパーピクセルに分解することと、
予め訓練された幾つかの機械学習アルゴリズムを使用して、前記１又は複数の組織学的構造に属する確率を各スーパーピクセルに割り当てて、確率マップを作成することと、
前記確率マップにコンターアルゴリズムを適用することによって前記１又は複数の組織学的構造の推定境界を抽出することと、
前記推定境界を用いて前記１又は複数の組織学的構造の正確な境界をもたらすことと、
を含む、方法。
【請求項2】
前記マルチスケール表現はガウシアンマルチスケールピラミッド分解を含んでおり、前記マルチパラメータ細胞・細胞内撮像データは染色組織画像データを含んでおり、前記組織画像について最も粗いレベルの画像データを受け取ることは、前記染色組織画像について最も粗いレベルの正規化構成ステイン画像データを受け取ることを含んでおり、前記最も粗いレベルの正規化構成ステイン画像データは、前記染色組織画像の特定の構成ステインについてのものであり、且つ、前記染色組織画像データに対応する前記第１のデータのガウシアンマルチスケールピラミッド分解の最も粗いレベルに対応しており、前記最も粗いレベルの画像データを複数の非重複スーパーピクセルに分解することは、前記最も粗いレベルの正規化構成ステイン画像データを前記複数のスーパーピクセルに分割することを含んでいる、請求項１に記載の方法。
【請求項3】
前記マルチパラメータ細胞・細胞内撮像データは染色組織画像データを含んでおり、前記組織画像について最も粗いレベルの画像データを受け取ることは、前記染色組織画像の最も粗いレベルの正規化構成ステイン画像データを受け取ることを含んでおり、前記最も粗いレベルの正規化構成ステイン画像データは、（ｉ）前記染色組織画像データを個々の染色強度にカラーデコンボリューションして構成ステイン画像データを作成すること、（ｉｉ）基準データセットを用いて前記構成ステイン画像データを正規化して正規化データを作成すること、（ｉｉｉ）前記正規化データに対してガウシアンマルチスケール分解を実行して、前記最も粗いレベルの正規化構成ステイン画像データを含む前記正規化データのマルチスケール表現を生成することとによって生成され、前記染色組織画像データに対応する前記第１のデータは、前記正規化データである、請求項２に記載の方法。
【請求項4】
前記染色組織画像データに対応する前記第１のデータは、前記染色組織画像データであり、前記最も粗いレベルの正規化構成ステイン画像データは、（ｉ）前記染色組織画像データに対してガウシアンマルチスケール分解を実行して、前記染色組織画像データのマルチスケール表現を作成すること、（ｉｉ）前記染色組織画像データの前記ガウシアンマルチスケールピラミッド分解の最も粗いレベルを個々の染色強度にカラーデコンボリューションして最も粗いレベルの構成ステイン画像データを作成することと、（ｉｉｉ）前記最も粗いレベルの構成ステイン画像データを基準データセットを用いて正規化して、前記最も粗いレベルの正規化構成ステイン画像データを作成することとにより生成される、請求項２に記載の方法。
【請求項5】
前記予め訓練された幾つかの機械学習アルゴリズムは、ユーザー入力に基づいて予め訓練された幾つかの教師あり機械学習アルゴリズムである、請求項２に記載の方法。
【請求項6】
前記予め訓練された幾つかの機械学習アルゴリズムは、前記複数のスーパーピクセルに適用されるコンテクスト‐ＳＶＭモデル又はコンテクスト‐ＬＲモデルと、前記複数のスーパーピクセルに適用される染色‐ＳＶＭモデル又は染色‐ＬＲモデルとを含む、請求項５に記載の方法。
【請求項7】
前記コンターアルゴリズムは、領域ベースアクティブコンターアルゴリズムである、請求項２に記載の方法。
【請求項8】
前記推定境界を用いて前記１又は複数の組織学的構造の正確な境界をもたらすことは、最も粗いレベル以外の前記ガウシアンマルチスケールピラミッド分解のレベルを使用して前記１又は複数の組織学的構造の境界をアップサンプリングすることと、前記ガウシアンマルチスケールピラミッド分解の最も細かいレベルにて領域ベースアクティブコンターアルゴリズムを使用して前記正確な境界をもたらすこととを含む、請求項２に記載の方法。
【請求項9】
前記構造は管又は腺を含んでおり、前記染色組織画像データはＨ＆Ｅデータを含んでおり、前記特定の構成ステインはヘマトキシリンである、請求項２に記載の方法。
【請求項10】
前記構造は結合組織を含んでおり、前記染色組織画像データはＨ＆Ｅデータを含んでおり、前記特定の構成ステインはエオシンである、請求項２に記載の方法。
【請求項11】
前記最も粗いレベルの画像データを複数の非重複スーパーピクセルに分割することは、線形反復クラスタリング（ＳＬＩＣ）アルゴリズムを採用する、請求項１に記載の方法。
【請求項12】
コンピュータによって実行されると、コンピュータに請求項１に記載の方法を実行させる命令を含む１又は複数のプログラムを格納している非一時的コンピュータ可読媒体。
【請求項13】
マルチパラメータ細胞・細胞内撮像データによって表される組織画像において１又は複数の組織学的構造をセグメント化するためのコンピュータシステムであって、前記組織画像について最も粗いレベルの画像データを受け取ることであって、前記最も粗いレベルの画像データは、前記マルチパラメータ細胞・細胞内撮像データに対応する第１のデータのマルチスケール表現の最も粗いレベルに対応している、ことと、
前記最も粗いレベルの画像データを複数の非重複スーパーピクセルに分解することと、
予め訓練された幾つかの機械学習アルゴリズムを使用して、前記１又は複数の組織学的構造に属する確率を各スーパーピクセルに割り当てて確率マップを作成することと、
前記確率マップにコンターアルゴリズムを適用することによって前記１又は複数の組織学的構造の推定境界を抽出することと、
前記推定境界を用いて前記１又は複数の組織学的構造の正確な境界をもたらすことと、
を行うように構成された幾つかのコンポーネントを含む処理装置を備えている、システム。
【請求項14】
前記マルチスケール表現はガウシアンマルチスケールピラミッド分解を含んでおり、前記マルチパラメータ細胞・細胞内撮像データは染色組織画像データを含んでおり、前記組織画像について最も粗いレベルの画像データを受け取ることは、前記染色組織画像について最も粗いレベルの正規化構成ステイン画像データを受け取ることを含んでおり、前記最も粗いレベルの正規化構成ステイン画像データは、前記染色組織画像の特定の構成ステインについてのものであり、且つ、前記染色組織画像データに対応する前記第１のデータのガウシアンマルチスケールピラミッド分解の最も粗いレベルに対応しており、前記最も粗いレベルの画像データを複数の非重複スーパーピクセルに分解することは、前記最も粗いレベルの正規化構成ステイン画像データを前記複数のスーパーピクセルに分割することを含んでいる、請求項１３に記載のシステム。
【請求項15】
前記マルチパラメータ細胞・細胞内撮像データは染色組織画像データを含んでおり、前記組織画像について最も粗いレベルの画像データを受け取ることは、前記染色組織画像の最も粗いレベルの正規化構成ステイン画像データを受け取ることを含んでおり、前記最も粗いレベルの正規化構成ステイン画像データは、（ｉ）前記染色組織画像データを個々の染色強度にカラーデコンボリューションして構成ステイン画像データを作成すること、（ｉｉ）基準データセットを用いて前記構成ステイン画像データを正規化して正規化データを作成すること、（ｉｉｉ）前記正規化データに対してガウシアンマルチスケール分解を実行して、前記最も粗いレベルの正規化構成ステイン画像データを含む前記正規化データのマルチスケール表現を生成することとによって生成され、前記染色組織画像データに対応する前記第１のデータは、前記正規化データである、請求項１４に記載のシステム。
【請求項16】
前記染色組織画像データに対応する前記第１のデータは、前記染色組織画像データであり、前記最も粗いレベルの正規化構成ステイン画像データは、（ｉ）前記染色組織画像データに対してガウシアンマルチスケール分解を実行して、前記染色組織画像データのマルチスケール表現を作成すること、（ｉｉ）前記染色組織画像データの前記ガウシアンマルチスケールピラミッド分解の最も粗いレベルを個々の染色強度にカラーデコンボリューションして最も粗いレベルの構成ステイン画像データを作成することと、（ｉｉｉ）前記最も粗いレベルの構成ステイン画像データを基準データセットを用いて正規化し、前記最も粗いレベルの正規化構成ステイン画像データを作成することとにより生成される、請求項１４に記載のシステム。
【請求項17】
前記予め訓練された幾つかの機械学習アルゴリズムは、ユーザー入力に基づいて予め訓練された幾つかの教師あり機械学習アルゴリズムである、請求項１４に記載のシステム。
【請求項18】
前記予め訓練された幾つかの機械学習アルゴリズムは、前記複数のスーパーピクセルに適用されるコンテクスト‐ＳＶＭモデル又はコンテクスト‐ＬＲモデルと、前記複数のスーパーピクセルに適用される染色‐ＳＶＭモデル又は染色‐ＬＲモデルとを含む、請求項１７に記載のシステム。
【請求項19】
前記コンターアルゴリズムは、領域ベースアクティブコンターアルゴリズムである、請求項１４に記載のシステム。
【請求項20】
前記推定境界を用いて前記１又は複数の組織学的構造の正確な境界をもたらすことは、最も粗いレベル以外の前記ガウシアンマルチスケールピラミッド分解のレベルを使用して前記１又は複数の組織学的構造の境界をアップサンプリングすることと、前記ガウシアンマルチスケールピラミッド分解の最も細かいレベルにて領域ベースアクティブコンターアルゴリズムを使用して前記正確な境界をもたらすこととを含む、請求項１４に記載のシステム。
【請求項21】
前記構造は管又は腺を含んでおり、前記染色組織画像データはＨ＆Ｅデータを含んでおり、前記特定の構成ステインはヘマトキシリンである、請求項１４に記載のシステム。
【請求項22】
前記構造は結合組織を含んでおり、前記染色組織画像データはＨ＆Ｅデータを含んでおり、前記特定の構成ステインはエオシンである、請求項１４に記載のシステム。
【請求項23】
前記最も粗いレベルの画像データを複数の非重複スーパーピクセルに分割することは、線形反復クラスタリング（ＳＬＩＣ）アルゴリズムを採用する、請求項１３に記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
＜政府契約＞
本発明は、国立衛生研究所（ＮＩＨ）によって授与された助成金＃ＣＡ２０４８２６を貰って政府の支援を受けてなされた。政府は本発明に対して一定の権利を有している。
本発明は、国立衛生研究所（ＮＩＨ）によって授与された助成金＃ＣＡ２０４８２６を貰って政府の支援を受けてなされた。政府は本発明に対して一定の権利を有している。
【0002】
＜技術分野＞
本発明は、デジタルパソロジーに関しており、特に、幾つかの患者又は幾つかの多細胞インビトロモデルから得られた全スライド画像（whole slide images）などの幾つかの染色組織画像のマルチパラメータ細胞・細胞内撮像データ（multi-parameter cellular and sub-cellular imaging data）における、限定ではないが、管／腺及び内腔、管／腺のクラスタ、並びに個々の核を含む組織学的構造のスケーラブルで高精度なコンテクストガイドセグメンテーションのためのシステム及び方法に関する。
本発明は、デジタルパソロジーに関しており、特に、幾つかの患者又は幾つかの多細胞インビトロモデルから得られた全スライド画像（whole slide images）などの幾つかの染色組織画像のマルチパラメータ細胞・細胞内撮像データ（multi-parameter cellular and sub-cellular imaging data）における、限定ではないが、管／腺及び内腔、管／腺のクラスタ、並びに個々の核を含む組織学的構造のスケーラブルで高精度なコンテクストガイドセグメンテーションのためのシステム及び方法に関する。
【背景技術】
【0003】
疾患組織の病理組織学的検査は、疾患の診断と等級付けとに不可欠である。現在、病理医は、通常は疾患組織の透過光画像における病理組織学的構造の視覚的解釈に基づいて診断決定（例えば、疾患の悪性度や重症度）を行っている。このような決定は大抵の場合、主観的であって、特に非典型的な状況においては、高いレベルの不一致が生じる。
【0004】
加えて、デジタルパソロジーは、セカンドオピニオンテレパソロジー、免疫染色の解釈、術中テレパソロジーなどの用途で勢いを増している。通常、デジタルパソロジーでは、幾つかの組織スライドで構成されており、それらを表す大量の患者データが生成されて、高解像度モニターにスライドが表示されて病理医によって評価される。手作業が含まれることから、デジタルパソロジーにおける現在のワークフローの実務は時間がかかり、エラーが発生しやすく、主観的である。
【発明の概要】
【0005】
ある実施形態では、マルチパラメータ細胞・細胞内撮像データによって表される組織画像において１又は複数の組織学的構造をセグメント化する方法が提供される。当該方法は、組織画像の最も粗いレベルの画像データを受け取ることであって、最も粗いレベルの画像データは、マルチパラメータ細胞・細胞内撮像データに対応する第１のデータのマルチスケール表現の最も粗いレベルに対応していることを含む。当該方法は更に、最も粗いレベルの画像データを複数の非重複スーパーピクセルに分割することと、各スーパーピクセルに、予め訓練された幾つかの機械学習アルゴリズムを使用して１又は複数の組織学的構造に属する確率を割り当てて確率マップを作成することと、確率マップにコンターアルゴリズムを適用して１又は複数の組織学的構造の推定境界を抽出することと、推定境界を使用して１又は複数の組織学的構造の正確な境界をもたらすこととを含む。ある例示的な実施態様では、マルチスケール表現はガウシアンマルチスケールピラミッド分解（Gaussian multiscale pyramid decomposition）を含んでおり、マルチパラメータ細胞・細胞内撮像データは染色組織画像データを含んでおり、組織画像について最も粗いレベルの画像データを受け取ることは、染色組織画像の最も粗いレベルの正規化構成ステイン画像データ（normalized constituent stain image data）を受け取ることを含んでおり、最も粗いレベルの正規化構成ステイン画像データは、染色組織画像の特定の構成ステインに関するものであって、染色組織画像データに対応する第１のデータのガウシアンマルチスケールピラミッド分解の最も粗いレベルに対応しており、最も粗いレベルの画像データを複数のスーパーピクセルに分割することは、最も粗いレベルの正規化構成ステイン画像データを複数のスーパーピクセルに分割することを含む。
【0006】
ある実施形態では、マルチパラメータ細胞・細胞内撮像データによって表される組織画像において１又は複数の組織学的構造をセグメント化するためのコンピュータシステムが提供される。そのシステムは処理装置を含んでおり、当該処理装置は、上記の方法を実施するために構成された幾つかのコンポーネントを備えている。
【図面の簡単な説明】
【0007】
【発明を実施するための形態】
【0008】
本明細書では、「ある」や「その」の単数形は、文脈が明らかに別のことを示さない限り、複数への言及を含む。
【0009】
本明細書では、２つ以上の部品又は構成要素が「結合」されている旨の記載は、繋がりが発生する限りにおいて、直接又は間接的に、即ち１又は複数の中間部品又は構成要素を介して部品が結合される、又は一緒に動作することを意味する。
【0010】
本明細書では、用語「幾つか」は、１又は１よりも大きい整数（即ち、複数）を意味する。
【0011】
本明細書では、用語「構成要素」及び「システム」は、ハードウェア、ハードウェアとソフトウェアの組合せ、ソフトウェア、又は実行中のソフトウェアの何れかである、コンピュータ関連エンティティに言及することを意図している。例えば、構成要素は、プロセッサ上で実行されるプロセス、プロセッサ、オブジェクト、実行可能ファイル、実行スレッド、プログラム、及び／又はコンピュータであってよく、また、これらに限定されない。例えば、サーバー上で実行されているアプリケーションとサーバーの両方が構成要素とされてよい。１又は複数のコンポーネントは、プロセス及び／又は実行スレッド内に常駐することができ、コンポーネントは、１つのコンピュータに局在し、及び／又は、２つ以上のコンピュータ間で分散することができる。ユーザーに情報を表示する幾つかの方法は、本明細書ではスクリーンショットとして特定の図又はグラフで示されて説明されているが、関連する技術分野の当業者は、他の様々な代替手段が採用できることを認識であろう。
【0012】
本明細書では、用語「マルチパラメータ細胞・細胞内撮像データ」は、組織のセクションから幾つかの画像を生成して得られるデータであって、組織のセクションにおける細胞レベル及び／又は細胞内レベルにおける複数の測定可能なパラメータに関する情報を提供するデータを意味する。マルチパラメータ細胞・細胞内撮像データは、異なる幾つかの撮像モダリティ、例えば限定ではないが、透過光（例えば、Ｈ＆Ｅ及び／又はＩＨＣ（１乃至複数のバイオマーカー）の組合せ）、蛍光、免疫蛍光（抗体、ナノボディが挙げられるが、これらに限定されない）、生細胞バイオマーカーの多重化及び／又は高多重化、及び電子顕微鏡法の何れかによって作成されてよい。ターゲットには、組織サンプル（ヒトや動物）と、組織や臓器のインビトロモデル（ヒトや動物）とが含まれるが、これらに限定されない。
【0013】
本明細書では、用語「スーパーピクセル」は、適切な色空間（例えば、ＲＧＢ、ＣＩＥＬＡＢ又はＨＳＶ）において定義される類似の画像統計量を有する２以上の画素の連結パッチ又はグループを意味する。
【0014】
本明細書では、用語「非重複スーパーピクセル（non-overlapping superpixel）」は、その境界がその近傍のスーパーピクセルの何れとも重ならないスーパーピクセルを意味する。
【0015】
本明細書では、「ガウシアンマルチスケールピラミッド分解」とは、ガウシアンフィルタを用いてｘ及びｙ方向について２で平滑化及びサブサンプリングすることを画像に繰り返し施すことを意味する。
【0016】
本明細書では、用語「領域ベースアクティブコンターアルゴリズム（region-based active contour algorithm）」は、オブジェクトの境界を検出するために画像勾配を考慮に入れた任意のアクティブコンターモデルを意味する。
【0017】
本明細書では、用語「コンテクスト‐ＭＬモデル」は、スーパーピクセルの近傍情報を考慮に入れることができる機械学習アルゴリズムを意味する。
【0018】
本明細書では、「染色‐ＭＬモデル」という用語は、スーパーピクセルの染色強度を考慮に入れることができる機械学習アルゴリズムを意味する。
【0019】
本明細書では、用語「確率マップ」は、０から１の範囲の確率値を有する画素のセットを意味するものとし、この確率値は、画素が特定の組織学的構造内にあるか否かの位置的確率を意味する。
【0020】
例えば、上、下、左、右、上側、下側、前、後、及びそれらの派生語など、本明細書で使用される方向に関する語句は、図面に示された要素の方向に関しており、明示的に記載されていない限り、特許請求の範囲を限定しない。
【0021】
以下、開示される概念を、主題であるイノベーションの完全な理解を提供するために、説明の目的で、多くの具体的な詳細に関して説明する。しかしながら、開示される概念は、本発明の精神及び範囲から逸脱することなく、これらの具体的な詳細を伴わずに実施することができることは明らかであろう。
【0022】
様々な例示的実施形態に関連して本明細書で更に詳細に説明されて開示される概念は、病理組織学的構造の形態学的特性を特定して特徴付けるための新規なアプローチを提供する。このようなツールの初期の応用例は、組織サンプルの画像（例えば、全スライド画像）において、例えば、限定ではないが、管／腺及び内腔、管／腺のクラスタ、並びに個々の核を含む組織学的構造のスケーラブルで高精度なコンテクストガイドセグメンテーションを、そのような画像を表す空間マルチパラメータ細胞・細胞内撮像データに基づいて実行することである。開示された概念のこの特定の非限定的な適用では、本明細書でより詳細に説明するように、ヘマトキシリン及びエオシン（Ｈ＆Ｅ）画像データが、マルチパラメータ細胞・細胞内撮像データとして採用され、カラーデコンボリューションされたヘマトキシリン画像データが、管／腺及び内腔、管／腺のクラスタ、並びに個々の核を区分するために使用される。しかしながら、これは単なる例示であって、開示された概念は、他のタイプのデータを使用して他の組織学的構造をセグメント化するために採用されてよいことは理解されるであろう。例えば、結合組織が、Ｈ＆Ｅ画像データから得られたカラーデコンボリューションされたエオシン画像データを用いてセグメント化されてよい。更に他の可能性が、開示される概念の範囲内で考えられる。
【0023】
開示された概念は、米国特許出願第１５／５７７，８３８（２０１８／０２０４０８５として公開）「Systems and Methods for Finding Regions of Interest in Hematoxylin and Eosin (H&E) Stained Tissue Images and Quantifying Intratumor Cellular Spatial HeterogeneityiIn Multiplexed/Hyperplexed Fluorescence Tissue Images」に記載されている主題に関連し、これを改善するものであって、その開示は参照により本明細書に組み込まれる。開示される概念は、上記出願の主題と少なくとも２つの点で異なっている。第一に、開示される概念は、機械学習アルゴリズムの少なくとも１つのステップにユーザー入力が存在する点で半教師付き又は弱教師付きのカテゴリに分類される。また、開示される概念は、関心領域（ＲＯＩ）の境界が大まかな推定で与えられる場合に最適に機能する。本明細書で詳細に説明されて開示される概念は、そのような粗い境界を鮮明にするものである。
【0024】
図１は、本明細書に開示された概念の例示的な実施形態に基づく、マルチパラメータ細胞・細胞内撮像データから組織学的構造を自動セグメンテーションするために構築及び構成された例示的なデジタルパソロジーシステム５の概略図である。図１に見られるように、システム５は、マルチパラメータ細胞・細胞内撮像データ（図１では符号２５）を生成し及び／又は受け取り、マルチパラメータ細胞・細胞内撮像データ２５によって表される組織画像内の組織学的構造をセグメント化するために、本明細書で説明されるようにしてそのデータを処理するように構築及び構成されたコンピュータデバイスである。システム５は、例えば、ＰＣ、ラップトップコンピュータ、タブレットコンピュータ、又は、本明細書に記載された機能を実行するように構築及び構成された他の適切なコンピュータデバイスであってよいが、これらに限定されない。
【0025】
システム５は、入力装置１０（キーボードなど）と、ディスプレイ１５（ＬＣＤなど）と、処理装置２０とを含む。ユーザーは、入力装置１０を使用して処理装置２０に入力を与えることができ、処理装置２０は、ディスプレイ１５に出力信号を与えて、ディスプレイ１５が本明細書で詳細に説明したような情報をユーザーに表示することを可能にする。処理装置２０は、プロセッサ及びメモリを備えている。プロセッサは、例えば、限定ではないが、マイクロプロセッサ（μＰ）、マイクロコントローラ、特定用途向け集積回路（ＡＳＩＣ）、又はその他の適切な処理デバイスであって、メモリとインターフェースしている。メモリは、コンピュータの内部ストレージ領域のようなデータストレージの場合、ＲＡＭ、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＦＬＡＳＨ（登録商標）や、ストレージレジスタを提供するその他のもの、例えば、コンピュータ読み取り可能な媒体のような様々なタイプの内部及び／又は外部ストレージメディアの１又は複数であってよく、揮発性メモリ又は不揮発性メモリであってよい。メモリには、プロセッサによって実行可能な幾つかのルーチンが格納されており、本明細書に記載されているようにして、開示される概念を実施するためのルーチンを含んでいる。特に、処理装置２０は、組織学的構造セグメンテーションコンポーネント３０を含んでおり、組織学的構造セグメンテーションコンポーネント３０は、様々な実施形態において本明細書に記載されるようにして、様々なイメージングモダリティから得られたマルチパラメータ細胞・細胞内撮像データ２５によって表される幾つかの組織画像（例えば、Ｈ＆Ｅ染色画像データ）において組織学的構造（限定ではないが、管／腺及び内腔、管／腺のクラスタ、並びに個々の核など）を識別してセグメント化するために構成されている。
【0026】
図２Ａ及び図２Ｂは、開示された概念の特定の例示的実施形態による組織学的構造をセグメント化する方法を示すフローチャートである。図２Ａ及び図２Ｂに示されている方法は、例えば限定ではないが、上述した図１のシステム５で実施されてよく、当該方法は、例示を目的としてそのように説明される。加えて、図２Ａ及び図２Ｂに示す特定の非限定的な例示的実施形態では、使用されるマルチパラメータ細胞・細胞内撮像データは、組織サンプルのＨ＆Ｅ染色画像データであり、セグメント化される組織学的構造は、ヘマトキシリン画像データに基づいており、そして、管／腺及び内腔、管／腺のクラスタ、並びに個別の核を含んでいる。ここでも、図２Ａ及び図２Ｂに示されており、本明細書で説明される特定の実施形態は、単に例示的であることを意図しており、限定的ではないことは理解されるであろう。他のタイプのマルチパラメータ細胞・細胞内撮像データが開示された概念に関連して使用されてよいことは理解されるであろう。
【0027】
図２Ａを参照すると、その方法はステップ１００で始まり、システム５の処理装置２０は、処理すべきＨ＆Ｅ染色組織画像を表すマルチパラメータ細胞・細胞内撮像データを生成する及び／又は受け取る。開示された概念によって処理され得る非限定的な例示的Ｈ＆Ｅ染色組織画像３５が、説明を目的として図３に示されている。加えて、例示的実施形態では、ステップ１００で生成される及び／又は受け取られるマルチパラメータ細胞・細胞内撮像データは、ＲＧＢフォーマットである。
【0028】
次に、ステップ１０５では、ステップ１００で生成された及び／又は受け取られたマルチパラメータ細胞・細胞内撮像データ（即ち、ＲＧＢ形式のＨ＆Ｅ染色組織画像データ）が、個々の染色強度にカラーデコンボリューションされて（ヘマトキシリンとエオシン）、処理されるＨ＆Ｅ染色組織画像についてヘマトキシリン画像データ及びエオシン画像データが作成される。図３は、ヘマトキシリン画像データによって表されるヘマトキシリン画像４０と、Ｈ＆Ｅ染色組織画像３５のカラーデコンボリューションから生じるエオシン画像データによって表される結果のエオシン画像４５とを示すことによって、ステップ１０５のカラーデコンボリューションを例示している。
【0029】
そして、方法はステップ１１０に進み、ヘマトキシリン画像データの染色強度が基準データセットで正規化されて、正規化ヘマトキシリン画像データが生成される。ステップ１１０の染色強度の正規化は、染色強度の変動が下流の処理のために規格化されるように行われる。例示的実施形態では、基準データセットを設定するために、まず、全スライド画像（ＷＳＩ）のバッチが、ヘマトキシリン染色強度画像及びエオジン染色強度画像にカラーデコンボリューションされる。このバッチから、無作為数の１Ｋｘ１Ｋ画像がトリミングされて、ヘマトキシリンチャネルの累積強度ヒストグラムを作成するために使用される。テストＷＳＩは、最初にカラーデコンボリューション演算を受ける。次に、ヒストグラム均等化が行われて、ヘマトキシリンチャネルの強度ヒストグラムを基準データセットのヒストグラムと一致させる。ステップ１１０の染色強度正規化は、図４に示されている。図４は、別の（異なる）例示的全スライド画像の元のヘマトキシリンチャネル５０と、同じ例示的全スライド画像の正規化ヘマトキシリンチャネル５５とを示している。その結果、正規化ヘマトキシリンチャネル５５の強度は、現在、基準画像データセットのものと一致する。
【0030】
次に、ステップ１１５にて、正規化ヘマトキシリン画像データに対してガウシアンマルチスケールピラミッド分解（ピラミッド表現の一形態）を行い、正規化ヘマトキシリン画像データのマルチスケール表現を生成する。ステップ１１５で作成されるマルチスケール表現は、ｎ個のレベル、Ｌ１．．．Ｌｎを含んでおり、Ｌ１は分解のフル解像度レベルを表すレベルデータであり、Ｌｎは分解の最も粗いレベルを表すレベルデータである。ガウシアンピラミッドを構築することで、開示された概念の方法に従って全スライド画像から組織学的構造を検出する際の計算負荷を軽減することができる。図５は、図４に示される例示的な正規化ヘマトキシリンチャネル５５のガウシアンマルチスケールピラミッド分解を示す。例示的実施形態では、画像のサイズは、元の解像度の３０Ｋ×５０Ｋから、最も粗いレベルの１Ｋ×１．５Ｋに縮小される。また、例示的実施形態では、分解階層の各レベルで画像の大きさは半分になる。
【0031】
その後、方法は、図２Ｂのステップ１２０に進む。ステップ１２０では、最も粗いレベルのデータＬｎは、例示的実施形態では、同様な強度（グレー）値を有する連結ピクセルの集合である非重複スーパーピクセルに分割される。理解されるように、これは幾つかのやり方で行うことができる。最も単純なアプローチでは、ノイズの正規分布が、平均がゼロで標準偏差がシグマで仮定される。例えば、ピクセルあたり２５６階調の画像の場合、通常、ノイズの標準偏差は４階調であると仮定される。この値は、エンドユーザーによって設定されてよい。例示的実施形態では、これは、単純な線形反復クラスタリング（linear iterative clustering）（ＳＬＩＣ）アルゴリズムを使用して行われ、このアルゴリズムの幾つかは当該技術分野で知られている。図６は、本明細書に記載の例示的なヘマトキシリン画像４０から得られた最も粗いレベルのデータＬｎに対して実行された場合におけるステップ１２０の結果を示している。例示的実施形態では、画像は約５Ｋのスーパーピクセルにセグメント化される。これは、計算が高速で下流の処理で有効であることから、１Ｋ×１Ｋのヘマトキシリンチャネル画像に推奨される。加えて、例示的な実施形態では、スーパーピクセル重心の２Ｄドローネ三角形分割（Delaunay triangulation）が実行されて、各スーパーピクセルについて空間的ネイバー（spatial neighbors）が識別される。
【0032】
加えて、開示された概念の一態様に基づけば、例示的実施形態では管／腺である特定の組織学的構造に属するスーパーピクセルを予測するために、幾つかの機械学習アルゴリズム／モデルが訓練される。故に、ステップ１２０に続いて、方法はステップ１２５に進み、ここで各スーパーピクセルは、予め訓練された幾つかの機械学習アルゴリズムを使用して、図示されている例示的な実施形態では管／腺であるような組織学的構造に属する確率が割り当てられる。この結果、最も粗いレベルのデータＬｎの確率マップが作成される。
【0033】
開示された概念の非限定的な例示的実施形態では、ステップ１２５で採用される幾つかの訓練済み機械学習アルゴリズムは、問題の構造に属するスーパーピクセルを予測するためのコンテクスト‐ＭＬモデル（コンテクスト‐サポートベクターマシン（ＳＶＭ）モデル又はコンテクスト‐ロジスティック回帰（ＬＲ）モデルなど）及び染色‐ＭＬモデル（染色‐サポートベクターマシン（ＳＶＭ）モデル又は染色‐ロジスティック回帰（ＬＲ）モデルなど）により構成される。この例示的実施形態では、スーパーピクセル及びそのネイバーのＲＧＢカラーヒストグラムが特徴ベクトルとして使用される。具体的には、この実施形態では、２つのモデル、即ち、コンテクスト‐ＭＬモデル及び染色‐ＭＬモデルが構築され、（監視された方法で）訓練される。これらのモデルの各々については、以下でより詳細に説明される。
【0034】
例示的実施形態ではコンテクスト‐ＳＶＭモデルであるようなコンテクスト‐ＭＬモデルに関して、例示的実施形態のトレーニングセットについて、基準画像データセットからの１０個の異なる画像における２０００個の近接するスーパーピクセル対がランダムに選択される。画面にスーパーピクセルの対を表示し、表示されたスーパーピクセルの何れも管に属していない、或いは、一方又は両方が管に属しているか否かを対象者（例えば、経験豊富な／専門の病理医）に尋ねることによって、グラウンドトゥルースが収集される（つまり、ユーザー入力が求められる）。説明を目的として、図７は、例示的な画像のこのような３つの例示的なスーパーピクセル対を示しており（Ａ、Ｂ、Ｃと符号が付されている）、符号Ａが付された対では管内に存在しているスーパーピクセルが０であり（クラスラベル０）、符号Ｂが付された対では管内にスーパーピクセルが１つ（クラスラベル１）、符号Ｃが付された対では管内にスーパーピクセルが２つ（クラスラベル２）存在している。このグラウンドトゥルースは、クラスラベルとしてコンテクストＭＬモデルの学習に利用される。例示的な実施形態では、特徴ベクトルとして、各スーパーピクセル対とそれらの一番目のネイバーの色ヒストグラム（即ち、Ｒ、Ｇ、Ｂ色のピクセル値）が使用される。各テストスーパーピクセル対について、ＭＬモデルは、その対が、共に管に属さない、或いは一方又は両方が管に属するスーパーピクセルを持つ確率を返す。各々の場合において、スーパーピクセル対は、確率の最も高いカテゴリに割り当てられる。これは、構造内にあるスーパーピクセルの実際のアイデンティティを決定しないことに留意のこと。代わりに、第２のモデル、以下に説明する染色‐ＭＬがその目的のために適用される。
【0035】
例示的実施形態では染色‐ＳＶＭモデルであるような染色‐ＭＬモデルに関して、グラウンドトゥルースは別に収集される。特に、対象者（例えば、経験豊富な／専門の病理医）は、特定のスーパーピクセルが「染色なし」、「薄い染色」、「中程度の染色」、「濃い染色」、又は「不明」の何れを有するかを分類するよう求められる（即ち、ここでも、ユーザー入力が求められる）。管のような幾つかの構造は不定形であることから、構造の境界を検出する１つの方法は、管の内側から周囲の結合組織へと移動しながら染色色の変化を注意深く観察することである。この情報を用いて、管の一部である可能性のあるスーパーピクセルを特定することができる。図７は、それぞれ「染色なし」、「薄い染色」、「中程度の染色」、「濃い染色」に分類されたこのような４つのスーパーピクセルＤ、Ｅ、Ｆ、Ｇを、例示的な画像について示している。スーパーピクセルは、最も高い確率でカテゴリに割り当てられる。
【0036】
故に、この特定の例示的実施形態によるステップ１２５では、上記の２つの機械学習モデル（コンテクスト‐ＭＬモデル及び染色‐ＭＬモデル）が、最も粗いレベルのデータＬｎの非重複スーパーピクセルに順次適用されて（ステップ１２０）、問題にされている構造（この例示的な実施形態では管）の内部にある可能性が高いスーパーピクセル対を特定するための確率マップが作成される。例示的実施形態では、中程度から濃く染色された全てのスーパーピクセルは、管内部のものとして特定される。言い換えると、コンテクスト‐ＭＬモデルと染色‐ＭＬモデルが一緒になって、問題にされている構造に属する条件付き確率を各スーパーピクセルに付与する。
【0037】
ステップ１２５にて上記のようにして確率マップが作成されると、この方法はステップ１３０に進む。ステップ１３０では、組織学的構造の境界の大まかな推定が、領域ベースアクティブコンターアルゴリズムを確率マップに適用することによって抽出される。領域ベースアクティブコンターアルゴリズムの適用を示す例示的確率マップ６０及び例示的画像６５が、図８で提供されている。
【0038】
次に、この方法はステップ１３５に進み、得られたばかりの推定が使用されて、フル解像度画像における構造のセグメンテーションがもたらされる。具体的には、ステップ１３５は、レベルＫ＋１からレベルＫまで構造境界をアップサンプリングし、そして、アップサンプリングされた境界を用いてレベルＫで領域ベースアクティブコンターを開始することによって、組織学的構造の境界を粗いものから細かいものへと逐次的に精緻化することを含む。例示的実施形態では、アップサンプリングはまず、Ｋ＋１にて分かった座標を単に２倍してレベルＫ＋１からレベルＫでの境界の座標を定めて、その後、レベルＫの境界ピクセル間で補間を行うことを含む。
【0039】
故に、図２Ａ及び図２Ｂに示す例示的な方法では、スーパーピクセルは、ピラミッドの最も粗いレベルにおいてのみ利用される。説明したように、領域ベースコンターが、特定されたスーパーピクセルの確率マップに対して実行される。しかしながら、連続するより細かいスケールでは、スーパーピクセルは必要とされず、領域ベースアクティブコンターが関連する染色分離画像上で直接実行される。
【0040】
この例示的な実施形態の１つの特定の実施態様では、使用される領域ベースアクティブコンターアルゴリズムは、前景（管）を背景（画像の残り）から分離するチャン‐ヴェーゼ（Chan-Vese）セグメンテーションアルゴリズムである。アクティブコンターのコスト関数は、前景領域と背景領域とにおけるヘマトキシリン染色の平均値の差によって変化する。例えば、管内にある可能性が高い２つのスーパーピクセルは、ほぼ同じ染色（中程度の染色から濃い染色）を有しており、それらの境界はアクティブコンター最適化によって繰り返しマージされる。
【0041】
管の「クラスタ」を構築するために、領域ベースアクティブコンターが、コンテクスト‐ＭＬモデルと染色‐ＭＬモデルによって返された確率マップ上で実行されてよい。例示的実施形態では、確率マップは、管をブリッジする領域に非ゼロ確率を帰属させて、確率マップ上で実行される領域ベースアクティブコンターモデルは、管のクラスタを描写することをよりうまく行う。全ＷＳＩから管をセグメント化するために、まず、管と管のクラスタとが、上記のステップを用いて最も解像度の低いピラミッド画像から特定される。これらの結果は再帰的にアップサンプリングされ、階層の各レベルで領域ベースアクティブコンターが再実行されて、アップサンプリングされた管境界が精緻化される。例示的実施形態では、アクティブコンター画像は、管境界の内側と外側の画素を示すマスクからなる。アクティブコンター画像とヘマトキシリン画像とは一緒にアップサンプリングされる。
【0042】
開示される概念は、管内の核を特定するために使用されてもよい。管が特定されると、スーパーピクセルセグメンテーションが管に属する領域で実行される。次に、染色‐ＭＬモデルが実行されて、管内の中程度に染色されたスーパーピクセルと濃く染色されたスーパーピクセルとが更に分離されてよい。濃く染色されたスーパーピクセルは、管内の核の位置に対応することになるだろう。管外の核を特定するために、第１層のネイバーを含まないスーパーピクセルの特徴ベクトル（赤、青、及び緑の各チャネルのヒストグラム）を構築する同様のモデルが展開されてよい。スーパーピクセルの平均ヒストグラムとその第１層がなければ、管内外の核に対応する濃く染色されたスーパーピクセルは全て特定されることになるであろう。
【0043】
図２Ａ及び図２Ｂに関連して説明した例示的実施形態では、ガウシアンマルチスケールピラミッド分解が実行される（ステップ１１５）前に、カラーデコンボリューションステップ（１０５）及び染色強度正規化ステップ（１１０）が実行される。別の実施形態では、これらのステップの順番は逆である。特に、開示された概念の代替実施形態では、マルチパラメータ細胞・細胞内撮像データが受け取られた後（ステップ１００）、まず、Ｈ＆Ｅ染色組織画像全体に対してガウシアンマルチスケールピラミッド分解が実行される。次に、ステップ１０５のカラーデコンボリューションとステップ１１０の染色強度の正規化とが、最も粗いレベルの画像データだけに対して実行され、最も粗いレベルの画像だけについて正規化ヘマトキシリン画像データが生成される。その後、ステップ１２０乃至１３０が、最も粗いレベルの画像についてのみ正規化ヘマトキシリン画像データを使用して実行され、上述のように確率マップ及び組織学的構造の推定境界が生成される。その後、境界は、説明したようにしてステップ１３５を用いて逐次的に精緻化される。
【0044】
ここでも、開示された概念の特定の実施形態は、管／腺及び内腔、管／腺のクラスタ、並びに個々の核を区分するためにカラーデコンボリューションされたヘマトキシリン画像データを使用しているが、これは例示的であることのみを意味しており、他のタイプのデータを使用して他の組織学的構造を区分するために開示された概念を採用できることは理解されることに留意のこと。例えば、限定ではないが、結合組織が、Ｈ＆Ｅ画像データから得られるカラーデコンボリューションされたエオシン画像データ（カラーデコンボリューションされたヘマトキシリン画像データとは異なる）を用いてセグメント化されてよい。更に他の可能性が、開示された概念の範囲内で考えられる。
【0045】
更に、上述の開示された概念の説明は、インサイチュのマルチパラメータ細胞・細胞内撮像データに基づいており、それを利用している。しかしながら、それは限定を意味していないことは理解されるであろう。むしろ、開示された概念は、基礎研究や臨床翻訳のために、インビトロの微小生理学的モデルと併せて使用できることは理解されるだろう。多細胞インビトロモデルは、インビトロでの疾患進行のメカニズムの調査と、薬物のテストと、移植で使用可能なこれらのモデルの構造的構成及び内容の特徴付けとに適用可能なヒト組織を要約している時空間的細胞異質性と異種細胞間コミュニケーションの研究を可能する。
【0046】
特許請求の範囲において、括弧の間に置かれた符号は、特許請求の範囲を限定するものと解釈してはならない。「備える」又は「含む」という言葉は、特許請求の範囲に記載されているもの以外の要素又はステップの存在を排除するものではない。幾つかの手段を列挙している装置請求項では、これらの手段の幾つかが、１つの同じハードウェアによって具現化されてもよい。要素に先行する「ある」という言葉は、そのような要素が複数存在することを排除するものではない。幾つかの手段を列挙している任意の装置請求項では、これらの手段のうちの幾つかが、１つの同じハードウェアによって具現化されてもよい。ある要素が相互に異なる従属形式請求項に記載されているという事実だけで、これらの要素を組み合わせては使用できないことを示しているわけではない。
【0047】
本発明は、最も実用的で好ましい実施形態であると現在考えられている実施形態に基づいて説明することを目的として、詳細に説明されてきたが、そのような詳細はあくまでもその目的のためのものであり、本発明は、開示された実施形態に限定されるものではなく、逆に、添付の特許請求の範囲の精神及び範囲内にある変更及び均等な構成を含むことが意図されていることを理解のこと。例えば、本発明は、可能な範囲で、任意の実施形態の１又は複数の特徴を、任意の他の実施形態の１又は複数の特徴と組み合わせることができることを意図していることを理解のこと。
【図1】
【図2A】
【図2B】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【国際調査報告】