▶ ユニヴェルシテ・ドゥ・ボルドーの特許一覧 ▶ アンスティチュ ナショナル ドゥ ラ サンテ エ ドゥ ラ ルシェルシュ メディカルの特許一覧 ▶ サントル・ナショナル・ドゥ・ラ・ルシェルシュ・シャンティフィクの特許一覧 ▶ アンスティテュ ポリテクニック ドゥ ボルドーの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-05-21
(54)【発明の名称】生体試料の内部三次元組織を特徴付けるための方法
(51)【国際特許分類】
G06T 7/00 20170101AFI20240514BHJP
G06T 7/11 20170101ALI20240514BHJP
G06T 7/62 20170101ALI20240514BHJP
G06V 10/82 20220101ALI20240514BHJP
G06V 20/69 20220101ALI20240514BHJP
H01J 37/22 20060101ALI20240514BHJP
【ＦＩ】
G06T7/00 630
G06T7/00 350C
G06T7/11
G06T7/62
G06V10/82
G06V20/69
H01J37/22 502H
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023565877
(86)(22)【出願日】2022-04-25
(85)【翻訳文提出日】2023-12-18
(86)【国際出願番号】 EP2022060923
(87)【国際公開番号】W WO2022229114
(87)【国際公開日】2022-11-03
(31)【優先権主張番号】2104357
(32)【優先日】2021-04-27
(33)【優先権主張国・地域又は機関】FR
(81)【指定国・地域】
(71)【出願人】
【識別番号】514058706
【氏名又は名称】ユニヴェルシテ・ドゥ・ボルドー
(71)【出願人】
【識別番号】591100596
【氏名又は名称】アンスティチュ ナショナル ドゥ ラ サンテ エ ドゥ ラ ルシェルシュ メディカル
(71)【出願人】
【識別番号】595040744
【氏名又は名称】サントル・ナショナル・ドゥ・ラ・ルシェルシュ・シャンティフィク
【氏名又は名称原語表記】ＣＥＮＴＲＥ ＮＡＴＩＯＮＡＬ ＤＥ ＬＡ ＲＥＣＨＥＲＣＨＥ ＳＣＩＥＮＴＩＦＩＱＵＥ
(71)【出願人】
【識別番号】512082439
【氏名又は名称】アンスティテュ ポリテクニック ドゥ ボルドー
【氏名又は名称原語表記】Ｉｎｓｔｉｔｕｔ Ｐｏｌｙｔｅｃｈｎｉｑｕｅ Ｄｅ Ｂｏｒｄｅａｕｘ
(74)【代理人】
【識別番号】110001508
【氏名又は名称】弁理士法人 津国
(72)【発明者】
【氏名】グロセット，クリストフ
(72)【発明者】
【氏名】ドゥニ・ドゥ・セネヴィル，ボードゥアン
(72)【発明者】
【氏名】ゴンティエ，エティエンヌ
(72)【発明者】
【氏名】コーバイ，ファトゥマ－ゾーラ
(72)【発明者】
【氏名】ラベデード，アレクサンドル
【テーマコード（参考）】
5C101
5L096
【Ｆターム（参考）】
5C101AA03
5C101BB06
5C101FF03
5C101FF23
5C101GG05
5C101HH27
5C101HH36
5C101HH37
5C101JJ04
5C101JJ07
5L096AA09
5L096BA06
5L096BA13
5L096CA23
5L096DA02
5L096EA14
5L096FA02
5L096FA53
5L096FA59
5L096FA64
5L096FA65
5L096FA66
5L096FA69
5L096HA11
5L096JA11
5L096JA22
5L096KA04
5L096KA15
(57)【要約】
本発明の１態様は、複数のタイプの生物学的要素（２０１、２０２）を含む生体組織試料の内部の三次元組織を特徴付けるための方法に関しており、上記方法は以下のステップ：
‐ 複数のタイプの生物学的要素（２０１、２０２、２０３、２０４）の内の対象とする少なくとも１つのタイプの生物学的要素（２０１、２０２、２０３、２０４）に関して、画像スタック（Ｉ３Ｄ）からの各画像（ＩＺ）内で、対象とする生物学的要素（２０１、２０２、２０３、２０４）の前記タイプをタイプとして有する少なくとも１つの生物学的要素（２０１、２０２、２０３、２０４）を含む少なくとも１つの領域の自動又は半自動のセグメント化を行うこと、ここで、前記画像スタック（Ｉ３Ｄ）は、走査型電子顕微鏡下での自動超薄切片法によるＺ系列画像化によって取得されており、並びに夫々が深さ軸（Ｚ）に対して垂直な平面内で取得され且つ夫々が前記深さ軸（Ｚ）上の位置に関連付けられた複数の画像（ＩＺ）を含み、前記複数の画像（ＩＺ）は、前記画像スタック（Ｉ３Ｄ、１０２）内の位置を増加させることによって順序付けをされている；
‐ 生物学的要素（２０１、２０２、２０３、２０４）のセットからの各生物学的要素（２０１、２０２、２０３、２０４）に対して、各対応するセグメント化された領域からの、前記生物学的要素（２０１、２０２、２０３、２０４）の構造、形態、サイズ、極性、テクスチャ、構成、配向、表面積、整列性、収束性、密度、凸性又は凹性に関する少なくとも１つの指標（３０１、３０２）の計算によって、対象とする生物学的要素（２０１、２０２、２０３、２０４）の前記タイプをタイプとして有する生物学的要素（２０１、２０２、２０３、２０４）の前記セットを特徴付けること（１０４）；
‐ 生物学的要素（２０１、２０２、２０３、２０４）の前記セットについて計算された前記複数の指標（３０１、３０２）間の比較を行うこと；
を包含する。
‐ 複数のタイプの生物学的要素（２０１、２０２、２０３、２０４）の内の対象とする少なくとも１つのタイプの生物学的要素（２０１、２０２、２０３、２０４）に関して、画像スタック（Ｉ３Ｄ）からの各画像（ＩＺ）内で、対象とする生物学的要素（２０１、２０２、２０３、２０４）の前記タイプをタイプとして有する少なくとも１つの生物学的要素（２０１、２０２、２０３、２０４）を含む少なくとも１つの領域の自動又は半自動のセグメント化を行うこと、ここで、前記画像スタック（Ｉ３Ｄ）は、走査型電子顕微鏡下での自動超薄切片法によるＺ系列画像化によって取得されており、並びに夫々が深さ軸（Ｚ）に対して垂直な平面内で取得され且つ夫々が前記深さ軸（Ｚ）上の位置に関連付けられた複数の画像（ＩＺ）を含み、前記複数の画像（ＩＺ）は、前記画像スタック（Ｉ３Ｄ、１０２）内の位置を増加させることによって順序付けをされている；
‐ 生物学的要素（２０１、２０２、２０３、２０４）のセットからの各生物学的要素（２０１、２０２、２０３、２０４）に対して、各対応するセグメント化された領域からの、前記生物学的要素（２０１、２０２、２０３、２０４）の構造、形態、サイズ、極性、テクスチャ、構成、配向、表面積、整列性、収束性、密度、凸性又は凹性に関する少なくとも１つの指標（３０１、３０２）の計算によって、対象とする生物学的要素（２０１、２０２、２０３、２０４）の前記タイプをタイプとして有する生物学的要素（２０１、２０２、２０３、２０４）の前記セットを特徴付けること（１０４）；
‐ 生物学的要素（２０１、２０２、２０３、２０４）の前記セットについて計算された前記複数の指標（３０１、３０２）間の比較を行うこと；
を包含する。
【特許請求の範囲】
【請求項1】
複数のタイプの生物学的要素（２０１、２０２、２０３、２０４）を含む生物学的組織試料の内部三次元組織を特徴付けるための方法（１００）であって、以下の工程：‐ 複数のタイプの生物学的要素（２０１、２０２、２０３、２０４）の内の対象とする少なくとも１つのタイプの生物学的要素（２０１、２０２、２０３、２０４）に関して、画像スタック（Ｉ３Ｄ）からの各画像（ＩＺ）内で、対象とする生物学的要素（２０１、２０２、２０３、２０４）の前記タイプをタイプとして有する少なくとも１つの生物学的要素（２０１、２０２、２０３、２０４）を含む少なくとも１つの領域の自動又は半自動のセグメント化を行うこと、ここで、前記画像スタック（Ｉ３Ｄ）は、走査型電子顕微鏡下での自動超薄切片法によるＺ系列画像化によって取得されており、並びに夫々が深さ軸（Ｚ）に対して垂直な平面内で取得され且つ夫々が前記深さ軸（Ｚ）上の位置に関連付けられた複数の画像（ＩＺ）を含み、前記複数の画像（ＩＺ）は、前記画像スタック（Ｉ３Ｄ、１０２）内の位置を増加させることによって順序付けをされている；
‐ 生物学的要素（２０１、２０２、２０３、２０４）のセットからの各生物学的要素（２０１、２０２、２０３、２０４）に対して、各対応するセグメント化された領域からの、前記生物学的要素（２０１、２０２、２０３、２０４）の構造、形態、サイズ、極性、テクスチャ、構成、配向、表面積、整列性、収束性、密度、凸性又は凹性に関する少なくとも１つの指標（３０１、３０２）の計算によって、対象とする生物学的要素（２０１、２０２、２０３、２０４）の前記タイプをタイプとして有する生物学的要素（２０１、２０２、２０３、２０４）の前記セットを特徴付けること（１０４）；
‐ 生物学的要素（２０１、２０２、２０３、２０４）の前記セットについて計算された前記複数の指標（３０１、３０２）間の比較を行うこと；
を包含する、前記方法。
【請求項2】
対象とする生物学的要素（２０１、２０２、２０３、２０４）の前記タイプをタイプとして有する少なくとも１つの生物学的要素（２０１、２０２、２０３、２０４）を、各対応するセグメント化された領域から三次元的に再構成する工程（１０３）を更に包含する、請求項１に記載の方法。
【請求項3】
前記画像スタック（Ｉ３Ｄ）を修正し、位置合わせし、及び最適化する事前の工程（１０１）を更に包含する、請求項１～２のいずれか１項に記載の方法（１００）。
【請求項4】
対象とする生物学的要素（２０１、２０２、２０３、２０４）の前記タイプは、次のタイプ：細胞（２０２）、細胞質膜、核（２０４）、核小体、核膜、ミトコンドリア、毛細血管（２０１）、脂質小胞、毛細胆管（２０３）、小胞体、エキソソーム、血管内腔、溶血帯、液胞、ペルオキシソーム、細胞壁、白質、葉緑体、から選択される、請求項１～３のいずれか１項に記載の方法（１００）。
【請求項5】
前記セグメント化工程（１０２）は、対象とする生物学的要素（２０１、２０２、２０３、２０４）の前記タイプをタイプとして有する少なくとも１つの生物学的要素（２０１、２０２、２０３、２０４）を含む各領域を、画像（ＩＺ）内で検出しやすいように訓練された人工ニューラルネットワークを用いて実行される、ここで、前記人工ニューラルネットワークは、複数の画像（ＩＺ）を含む訓練用データベース上で管理された方法で訓練を完了されており、対象とする生物学的要素（２０１、２０２、２０３、２０４）の前記タイプをタイプとして有する少なくとも１つの生物学的要素（２０１、２０２、２０３、２０４）を含む各領域は、識別されている、請求項１～４のいずれか１項に記載の方法（１００）。
【請求項6】
前記訓練された人工ニューラルネットワークを用いてセグメント化する前記工程（１０２）は、視覚的点検及び手動の訂正が続けられる、請求項５に記載の方法（１００）。
【請求項7】
前記訓練用データベースは、前記画像スタックからの画像によって完成される、ここで、対象とする生物学的要素の前記タイプをタイプとして有する少なくとも１つの生物学的要素を含む各領域は、前記人工ニューラルネットワークによってセグメント化を完了されており、且つ前記人工ニューラルネットワークは、完成された訓練用データベース上で再訓練される、請求項５又は６に記載の方法（１００）。
【請求項8】
前記セグメント化の工程（１０２）は、前記画像スタック（Ｉ３Ｄ）からの画像のセット（I'）に関して手動又は半手動で実行され、且つ前記画像スタック（Ｉ３Ｄ）内の画像のセット（I'）からの２枚の画像（ＩＺ）の間に置かれた前記画像スタック（Ｉ３Ｄ）からの各画像（ＩＺ）に関して、伝播アルゴリズムを用いて自動的に実行される、請求項１～４のいずれか１項に記載の方法（１００）。
【請求項9】
前記指標（３０１、３０２）は、以下の指標：体積、別の所与の生物学的要素（２０１、２０２、２０３、２０４）までの距離、所与の平面内の表面積、主軸（３０１、３０２）、所与の軸又は平面との整列性、所与の点の方向への分極、短軸／長軸の長さ、テクスチャ指標、外包の周長、表面のフラクタル次元、接触している生物学的要素（２０１、２０２、２０３、２０４）の数、隣接する生物学的要素（２０１、２０２、２０３、２０４）との接触面、近接領域における生物学的要素（２０１、２０２、２０３、２０４）の密度；から選択される、請求項１～８のいずれか１項に記載の方法（１００）。
【請求項10】
生体組織の複数の試料の前記内部三次元組織を比較するための方法（４００）であって、生体組織の複数の試料を含む生体組織の試料のセットの生体組織の各試料に対する請求項１～９のいずれか１項に記載の前記方法（１００）の前記工程、及び、生体組織の試料の前記セットからの生体組織の各試料の生物学的要素（２０１、２０２、２０３、２０４）のセットに対して計算された前記指標（３０１、３０２）間の比較をする工程（４０１）を包含する、前記方法（４００）。
【請求項11】
システムであって、前記請求項１～１０のいずれか１項に記載の前記方法（１００、４００）の前記工程を実装するように構成されたプロセッサを備えた、前記システム。
【請求項12】
コンピュータプログラム製品であって、前記プログラムがコンピュータ上で実行される場合、前記請求項１～１０のいずれか１項に記載の前記方法（１００、４００）の工程を前記コンピュータに実行させる命令を含む、前記コンピュータプログラム製品。
【請求項13】
コンピュータ可読記録媒体であって、コンピュータによって実行される場合、請求項１～１０のいずれか１項に記載の前記方法（１００、４００）の前記工程を前記コンピュータに実行させる命令を含む、前記コンピュータ可読記録媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の技術分野は、生体試料の分野、より具体的には、生体試料の内部三次元組織の研究の分野である。
【0002】
本発明は、生体試料を特徴付けるための方法、より具体的には、生体試料の内部三次元組織を特徴付けるための方法に関する。更に本発明は、生体組織の複数の試料の内部三次元組織を比較するための方法、並びに、その方法を使用するためのシステム、コンピュータプログラム製品、及び記録媒体に関する。
【背景技術】
【0003】
生体組織は、健康であろうと病的であろうと、ヒト由来であろうとなかろうと、顕微鏡的又はナノメートルサイズの多くの種類の生物学的要素を含む。そのような生物学的要素は、例えば毛細血管や毛細胆管などの組織的及び構造的要素、組織由来の細胞（筋細胞、肝細胞、免疫系細胞、内皮細胞、神経細胞、赤血球、及びリンパ球やマクロファージを含む循環又は浸潤する白血球など）であって、性質が非常に多様なもの（正常細胞、腫瘍細胞、間質細胞、付帯的なもの等）を含むが、同様に、例えば、核、核小体、ミトコンドリア、細胞質膜、核膜、脂質小胞、小胞体、エクソソームなどの細胞内（又は細胞小器官）要素も含む。
【0004】
現在、走査型電子顕微鏡又はＳＢＦ－ＳＥＭ（serial block-face scanning electron microscopy:連続ブロック面走査型電子顕微鏡）における自動超薄切片法によるＺ系列画像化を含む、いくつかの電子顕微鏡技術が存在しており、これらは、１０００ピコリットルまでの体積にわたるナノスケールでの生体組織の組織、構造、及び内部超微細構造を画像化するために用いられる。
【0005】
上記ＳＢＦ－ＳＥＭ技術は、後方散乱電子を収集することによって生体組織試料のブロックの表面を画像化することにある。その原理は、試料の表面のスライスと画像取得とのサイクルを実行することである。後方散乱電子を収集することによって試料表面の最初の画像が作成され、その後、試料の下層を電子ビームにさらすために、切断システムは試料の最初の超微細カットを生成する。その後、「取得‐切断」サイクルが自動的に繰り返され、数ｎｍの解像度でＺ軸に沿って数百又は数千の連続画像（Ｘ軸とＹ軸を含む）を取得できることがわかる。この技術を使用すると、ナノメートル分解能（ＸＹにおける１～数十ｎｍのピクセルサイズ）で試料の表面積（顕微鏡的スケールで数十～数百μｍ２）の大きなサイズの画像を取得することもできる。
【0006】
所与の生物学的要素の三次元構造を研究できるようにするために、且つそれによって所与の生物学的現象におけるその役割を定量化し、研究し、評価するためにそれを特徴付けることができるようにするために、取得された一連の画像の各画像上の要素を正確に識別することが必要である。従って、そのような識別は、専門家によって手動で実行されることが多く、その作業は退屈であり、各画像内の多数の生物学的要素の識別を必要とする試料の完全な内部組織の研究とは両立しない。
【0007】
こうして、正確且つ信頼性の高い方法で、且つ妥当な時間（即ち数時間程度）で、生体試料の内部三次元組織の特徴付けを得る方法の必要性がある。
【発明の概要】
【発明が解決しようとする課題】
【0008】
本発明は、専門家の介入を必要とする工程の数を最小限に抑えることにより、及び、数学的手順と人工知能を用いて、人間、動物、植物、又は真菌由来の生体試料の要素の分析の手順を自動化することにより、生体試料の内部三次元組織を正確且つ確実に特徴付けることを可能にすることによって、上記の問題に対する解決策を提供する。
【0009】
本発明の第１の態様は、複数のタイプの生物学的要素を含む生体組織試料の上記内部三次元組織を特徴付けるための方法であって、以下の工程：
‐ 上記複数のタイプの生物学的要素のうちの対象とする生物学的要素の少なくとも１つのタイプについて、画像スタックからの各画像において、対象とする生物学的要素の上記タイプをタイプとして有する少なくとも１つの生物学的要素を含む少なくとも１つの領域の自動又は半自動のセグメント化を行うこと、ここで、上記画像スタックは、走査型電子顕微鏡下での自動超薄切片法によるＺ系列画像化によって取得され終えており、且つ夫々が深さ軸に対して垂直な平面内で取得され、且つ夫々が上記深さ軸上の位置に関連付けられた複数の画像を含みみ、上記複数の画像は、上記画像スタック内の位置を増加させることによって順序付けをされている；
‐ 対象とする生物学的要素のタイプをタイプとして有する少なくとも1つの生物学的要素を、各対応するセグメント化された領域からの生物学的要素の構造、形態、サイズ、極性、質感、構成又は配向に関する少なくとも1つの指標の計算によって、特徴付けること；
を包含する方法に関する。
‐ 上記複数のタイプの生物学的要素のうちの対象とする生物学的要素の少なくとも１つのタイプについて、画像スタックからの各画像において、対象とする生物学的要素の上記タイプをタイプとして有する少なくとも１つの生物学的要素を含む少なくとも１つの領域の自動又は半自動のセグメント化を行うこと、ここで、上記画像スタックは、走査型電子顕微鏡下での自動超薄切片法によるＺ系列画像化によって取得され終えており、且つ夫々が深さ軸に対して垂直な平面内で取得され、且つ夫々が上記深さ軸上の位置に関連付けられた複数の画像を含みみ、上記複数の画像は、上記画像スタック内の位置を増加させることによって順序付けをされている；
‐ 対象とする生物学的要素のタイプをタイプとして有する少なくとも1つの生物学的要素を、各対応するセグメント化された領域からの生物学的要素の構造、形態、サイズ、極性、質感、構成又は配向に関する少なくとも1つの指標の計算によって、特徴付けること；
を包含する方法に関する。
【0010】
本発明によって、上記試料の各生物学的要素の特徴付けが得られるので、試料の完全又は準完全な内部三次元組織が特徴付けられうる。
【0011】
各生物学的要素のセグメント化が自動的又は半自動的に得られるので、上記試料の三次元構成の特徴付けは、従来技術よりもはるかに速く得られ、人間の介入、より具体的には専門家の介入を必要とする工程数は少なくとも９０％削減される。
【0012】
次に、生物学的概念と直接に相関付けられるように、又は別の試料から得られたパラメータと比較されるように、物理的、幾何学的、形態学的、構造的、及び組織的パラメータが、セグメント化された上記セットから抽出される。
【0013】
これによって、例えば腫瘍学の分野において、本発明による方法は、癌細胞の生検、又は、患者、動物、若しくは様々な実験モデル（例えば、マウス、ニワトリ胚、アフリカツメガエル胚、ゼブラフィッシュ、又は何らかの他の宿主動物モデルにおける、スフェロイド、腫瘍様体、腫瘍オルガノイド又は腫瘍細胞の異種移植片）の組織試料に由来するあらゆるタイプの癌又は固形腫瘍の研究を容易にする。
【0014】
前の段落において述べた上記特徴に加えて、本発明の上記第１の態様による上記方法は、以下に述べる中の、個々に考慮された、又は技術的に可能な全ての組み合わせを考慮された、１又は複数の補充的特徴をを有しうる。
【0015】
実施形態の変形例によれば、本発明による方法は、対象とする生物学的要素の上記タイプをタイプとして有する少なくとも１つの生物学的要素を、各対応するセグメント化された領域から三次元的に再構成する工程、を更に包含する。
【0016】
これによって、上記生体試料の上記内部三次元組織の完全な又はほぼ完全な再構成を得ることが可能となる。
【0017】
次に、本発明による方法は、様々なタイプ及び起源の生体組織の高解像度三次元画像と、関連する指標、数学的データ、及び形態学的パラメータ（構成的若しくは組織的などちらかの）とを含む、研究者及び臨床医がアクセス可能な三次元画像データベースの開発に導くことを結果的に可能にする。
【0018】
実施形態の上記前述の変形例と互換性のある実施形態の変形例によれば、本発明による上記方法は、上記セグメント化の工程の前に、上記画像スタックの修正、位置合わせ、及び最適化の工程を更に包含している。
【0019】
これによって、上記修正の工程は、上記３次元再構成を容易にするために上記深さ軸に沿って上記画像を整列させること、及び／又は、消費する資源を減らし且つ上記セグメント化を容易にするために上記画像をより重くないフォーマットに変換すること、及び／又は、上記画像の明るさ及びコントラストを調整すること、及び／又は、後のセグメント化を容易にために上記画像内のノイズを除去すること、から構成されうる。
【0020】
前述の変形例と互換性のある実施形態の変形例によれば、対象とする生物学的要素の上記タイプは、以下のタイプ：毛細血管、溶血帯、毛細胆管、細胞、細胞質膜、核、核小体、核膜、 ミトコンドリア、小胞体、脂質小胞、エキソソーム、血管内腔、液胞、ペルオキシソーム、細胞壁、白質、葉緑体、又は生体組織又は細胞を構成するその他の生物学的要素；から選択される。
【0021】
前述の実施形態の変形例と互換性のある実施形態の変形例によれば、上記セグメント化工程は、対象とする生物学的要素のタイプをタイプとして有する少なくとも１つの生物学的要素を含む各領域を、画像内で検出しやすいように訓練された人工ニューラルネットワークを用いて実行される、ここで、上記人工ニューラルネットワークは、複数の画像を含む訓練用データベース上で管理された方法で訓練されており、上記対象とする生物学的要素のタイプの少なくとも１つの生物学的要素を含む各領域は、識別されている。
【0022】
これによって、上記セグメント化の工程は、自動的で信頼性が高くて、人間の介入を必要としない。得られる精度／信頼性の割合は、例えば、ミトコンドリア及び核のセグメント化に対して９０％以上である。
【0023】
本実施形態の前述の変形例の副変形例によれば、上記訓練された人工ニューラルネットワークを用いる上記セグメント化工程の後に、視覚的チェック及び手動修正が行われる。
【0024】
このようにして、上記セグメント化工程は半自動であり、且つ、上記補正された画像は、次いで上記人工ニューラルネットワークの再訓練のために使用され得、それによってその精度と信頼性を向上させる。
【0025】
実施形態の前述の副変形例と互換性のある、実施形態の前述の変形例の実施形態のサブ変形例によれば、上記訓練用データベースは、上記画像スタックからの画像を補充される。ここで、対象とする生物学的要素のタイプをタイプとして有する少なくとも１つの生物学的要素を含む各領域は、上記人工ニューラル ネットワークによってセグメント化され終えており、且つ上記人工ニューラルネットワークは、上記完成された訓練用データベース上で再訓練される。
【0026】
これによって、上記人工ニューラルネットワークが再訓練されればされるほど、その上記精度と信頼性は一層向上し、このことは、目視確認工程と手動修正の数を削減することに導き、且つ、高レベルの信頼性を維持しつつ、更に上記自動セグメント化の工程に必要な時間を短縮することに導びく。
【0027】
実施形態の前述の変形例を除き、実施形態の前述の変形例と互換性のある実施形態の変形例によれば、上記セグメント化工程は、上記画像スタックからの画像のセットに関して手動又は半手動で実行され、且つ上記画像スタックからの画像の上記セットからの２つの画像の間の上記画像スタックからの各画像に関して、伝播アルゴリズムを用いて自動的に実行される。
【0028】
これによって、上記セグメント化工程は半自動であり、且つ生物学的要素（例えば細胞）をセグメント化するために用いられうるが、その輪郭は、上記画像スタックからの全ての画像に関して必ずしも鮮明であるとは限らない。
【0029】
前述の実施形態の変形例と互換性のある実施形態の変形例によれば、上記指標は、次の指標：体積、別の所与の生物学的要素までの距離、所与の平面における表面積、主軸、所与の軸又は平面との整列性、所与の点に向かう分極、短軸／長軸の長さ、質感の指標、外包の周長、表面のフラクタル次元、接触している生物学的要素の数、隣接する生物学的要素との接触面、近接領域の生物学的要素の密度；から選択される。
【0030】
前述の実施形態の変形例と互換性のある実施形態の変形例によれば、本発明による上記方法は、上記生体組織試料の生物学的要素のセットに関して計算された上記複数の指標の間の比較を行う工程を更に包含する。
【0031】
これによって、上記試料内の生物学的要素の異なるタイプの上記三次元構造の間の関連を研究することが可能になる。
【0032】
本発明の第２の態様は、生体組織の複数の試料の上記内部三次元組織を比較するための方法であって、複数の生体組織試料を含む生体組織の試料のセットの各生体組織試料に対する本発明の上記第１の態様に従う上記方法の上記工程、及び、生体組織試料の上記セットからの各生体組織試料の生物学的要素のセットに対して計算された上記複数の指標間の比較をする工程を包含するもの、に関する。
【0033】
これにより、異なる界（動物対植物対真菌など）の組織間の比較を含め、同じ組織起源又は異なる起源を有するいくつかの生物学的試料の三次元構造の間の関連だけでなく、異なる時間に実行された分析から得られる複数の生体試料の三次元構造の間の関連も研究することが可能である。これにより、例えば腫瘍学の分野において、本発明の上記第２の態様による上記方法は、腫瘍組織の内部三次元組織（その細胞内容物及びその細胞内内容物と治療に対する患者の反応との間の潜在的な関連性を、検討中の治療（化学療法、免疫療法、手術、放射線療法、凍結療法、電気穿孔法、焦点電気泳動法、温熱療法、光線療法など）に関係なく、治療前後の組織のパラメータを比較することによって、研究することを可能にする。
【0034】
本発明の第３の態様は、本発明の上記第１又は第２の態様による上記方法の上記工程を実装するように構成されたプロセッサを備えたシステムに関する。
【0035】
本発明の第４の態様は、コンピュータプログラム製品であって、上記プログラムがコンピュータ上で実行される場合、本発明の上記第１又は第２の態様による上記方法の上記工程を上記コンピュータに実行させる命令を含むもの、に関する。
【0036】
本発明の第５の態様は、コンピュータ可読記録媒体であって、コンピュータによって実行される場合に、本発明の上記第１又は第２の態様による上記方法の上記工程を実装するように上記コンピュータに導く命令を含むもの、に関する。
【0037】
本発明及びその様々な応用は、以下の説明を読み且つ添付の図面を検討すると、よりよく理解されるであろう。
【図面の簡単な説明】
【0038】
これらの図面は表示として提示されており、本発明は決して図面に限定されるものではない。
【図1】本発明の第１の態様による方法の手順を示すブロック図である。
【図2】対象とする生物学的要素のタイプとして細胞及び毛細血管を選択し、且つ指標として主軸を選択することによる、本発明の上記第１の態様による上記方法のセグメント化、特徴付け、及び比較工程の結果を示す図である。
【図3a】走査型電子顕微鏡下での自動超薄切片法によるＺ系列画像化によって取得された画像スタックを示しており、毛細胆管を構成する深さ軸Ｚに沿って位置を増加させることによって左から右に並べられている。
【図4】伝播アルゴリズムを用いた、本発明の上記第１の態様による上記方法のセグメント化工程の１実施形態を示す図である。
【図5】対象とする生物学的要素のタイプとして核及び毛細血管を選択することによる、本発明の上記第1の態様による上記方法の再構成工程の結果を示す図である。
【図6】本発明の第２の態様による方法の一連の工程を示すブロック図である。
【発明を実施するための形態】
【0039】
特に指定しない限り、異なる図面に現れる同じ要素は、１つの参照符号を有する。
【0040】
本発明の第１の態様は、生体組織試料の内部三次元組織を特徴付けるための方法に関する。
【0041】
「試料の三次元組織」とは、上記試料の内部構造を意味し、それは、電子顕微鏡を用いて検出することができる、即ち約１～数百ナノメートルの範囲内のものである。
【0042】
生体組織は、ヒト、動物、植物、又は真菌でありうる。
【0043】
上記試料は、例えば、患者（動物若しくはその他の関連する実験モデル）から、又は、生物学的な、動物、植物、若しくは真菌源から、生検又は外科的切除によって取得されたものである。
【0044】
上記試料は、例えば、体積が1ｍｍ３のオーダーである。
【0045】
生体組織は、異なるタイプの複数の生物学的要素を含む。
【0046】
生物学的要素のタイプは、例えば、細胞、赤血球、細胞質膜、核、核小体、核膜、ミトコンドリア、毛細血管、脂質小胞、毛細胆管、小胞体、溶血帯、血管の内腔、又はさらにエキソソーム、液胞、ペルオキシソーム、細胞壁、白血球、葉緑体である。分析される細胞のタイプは、植物、真菌、動物又はヒトの心臓、筋肉、内皮、神経細胞、免疫、腎臓、膵臓、肺、肝細胞、胆道、星状膠細胞、大球細胞、グリア細胞、腸細胞、胃細胞など、様々な起源のものでありえる。
【0047】
図１は、本発明の第１の態様による方法１００の一連の工程を示すブロック図である。
【0048】
本発明による方法１００は、ＳＢＦ－ＳＥＭによって得られた生体組織試料の画像スタックに対して実行される。
【0049】
試料が直交座標系（Ｘ、Ｙ、Ｚ）（ここで、Ｚは試料の深さに対応する）に配置されていることを考慮すると、上記画像スタックからの各画像は、軸Ｘ及びＹを含み且つ深さ軸Ｚに対して垂直な平面に沿って取得される。
【0050】
取得された複数の画像の複数の平面は、互いに平行であり且つ完全には一致していない、即ち、上記複数の平面は、深さ軸Ｚに沿って間隔を空けられている。このようにして、各平面は、深さ軸Ｚ上の位置に関連付けられうる。
【0051】
例えば、３つの画像が、深さ軸Ｚに対して垂直でそれぞれ２５ｎｍだけ空間を空けられた平面において取得される場合、１番目の画像は、例えば、深さ軸Ｚ上の０ｎｍの位置に関連付けられ、２番目の画像は深さ軸Ｚ上の２５ｎｍの位置に関連付けられ、３番目の画像は深さ軸Ｚ上の５０ｎｍの位置に関連付けられる。
【0052】
画像スタックからの画像は、深さ軸Ｚに沿って位置を増加させることによって順序付けられる。
【0053】
図２は、ＳＢＦ－ＳＥＭにより取得された画像スタックＩ３Ｄ、及び上記画像スタックＩ３Ｄを構成する画像ＩＺの１例を示す。
【0054】
本発明による方法１００は、上記画像スタックＩ３Ｄの変更、位置合わせ、及び最適化の第１の工程１０１を含みうる。
【0055】
上記第１の工程１０１は、画像スタックＩ３Ｄからの画像ＩＺを深さ軸Ｚに沿って位置合わせすること、及び／又は、画像スタックＩ３Ｄからの上記ＩＺ画像をより嵩張らないフォーマット（例えば、３２ビットから８ビット）へ変換すること、及び／又は、画像スタックＩ３Ｄからの画像ＩＺの明るさ及びコントラストを調整すること、及び／又は、画像スタックＩ３Ｄからの画像ＩＺ内の雑音を、例えばガウスフィルターを適用することによって除去すること、から構成されうる。
【0056】
本発明による方法１００の第２の工程１０２は、対象とする生物学的要素の少なくとも１つのタイプに関して、上記第１の工程１０１中に必要に応じて修正された画像スタックＩ３Ｄからの各画像ＩＺ内で、対象とする生物学的要素のタイプを有する少なくとも１つの生物学的要素を含む上記画像ＩＺの少なくとも１つの領域を、自動又は半自動的にセグメント化することから成る。
【0057】
対象とする生物学的要素の上記タイプは、上記試料を形成する上記生体組織に古典的に存在する生物学的要素のタイプの中から選択される。
【0058】
それによって、対象とする生物学的要素の２つのタイプ（例えば、細胞２０２及び毛細血管２０１）が選択される場合、上記第２の工程１０２は、画像スタックＩ３Ｄからの各画像ＩＺ内の細胞２０２を含む各領域をセグメント化すること、及び画像スタックＩ３Ｄからの各画像ＩＺ内の毛細血管２０１を含む各領域をセグメント化することから成る。
【0059】
「画像内の要素をセグメント化する」とは、画像内に見える要素の輪郭を識別することを意味する。
【0060】
セグメント化された画像ＩＺの領域は、生物学的要素のみを含むことができる。即ち、上記領域の輪郭は上記生物学的要素の輪郭と一致する。
【0061】
セグメント化された画像ＩＺの領域は、対象とする生物学的要素に加えて、他の生物学的要素をも含みうる。
【0062】
第１の実施形態によれば、上記第２の工程１０２は、画像スタックＩ３Ｄからの各画像ＩＺにおいて、所与のタイプの少なくとも１つの生物学的要素を含む各領域をセグメント化するために、訓練用データベース上で管理された方法で事前に訓練された人工ニューラルネットワークを用いて実行される。
【0063】
人工ニューラルネットワークは、少なくとも１つの人工ニューラル層を含み、その各層は少なくとも１つの人工ニューロンを含む。人工ニューラルネットワークの人工ニューロンはシナプスによって互いに接続されており、そして各シナプスはシナップス係数を割り当てられている。
【0064】
訓練又は学習は、人工ニューラルネットワークによって提供された出力データと実際の出力データ（即ち、人工ニューラルネットワークが、或る入力データに対して所定のタスクを実行するために出力すべきもの）との間の誤差を最小にするようにシナップス係数を更新することによって、人工ニューラルネットワークを所定のタスクを実行するように訓練するために用いられる。
【0065】
このようにして、訓練用データベースには、実際の出力データに夫々関連付けられた入力データが含まれる。
【0066】
このようにして、上記訓練用データベースには、ＳＢＦ－ＳＥＭによって取得された生体組織の試料の画像ＩＺと、各画像ＩＺ内に存在する所与のタイプの生物学的要素の少なくとも１つを含む各領域の輪郭に関するデータとが含まれる。
【0067】
各領域の上記輪郭データは、手動で、及び／又は自動で、及び／又はその２つの組み合わせで取得された。
【0068】
上記人工ニューラルネットワークは、例えば、畳み込み人工ニューラルネットワーク（例えば、U-Netネットワーク）である。
【0069】
上記第１の実施形態による上記第２の工程１０２は、次に自動的に実行される。
【0070】
上記人工ニューラルネットワークを用いて実行されるセグメント化の後に、オプションで、上記人工ニューラルネットワークによって提供された出力データの品質をチェックするために、視覚的チェック及び手動修正を行うことができる。そのような場合、上記第１の実施形態による上記第２の工程１０２は半自動的に実行される。
【0071】
上記第２の工程１０２が完了すると、訓練用データベースは、画像スタックからの画像によって完成させるられうる。ここで、対象とする少なくとも１つの生物学的要素を含む各領域は、セグメント化されており、且つ上記人工ニューラルネットワークは、完成された訓練用データに基づいて再訓練されうる。
【0072】
第２の実施形態によれば、上記第２の工程１０２は、画像スタックＩ３Ｄからの画像のセットにおける、所与のタイプの少なくとも１つの生物学的要素を含む各領域の手動又は半手動セグメント化によって実行され、且つ、伝播アルゴリズムを用いる、画像スタックＩ３Ｄ内の画像の上記セットからの２つの画像の間に置かれた画像スタックＩ３Ｄからの各画像ＩＺにおける、所与のタイプの少なくとも１つの生物学的要素を含む各領域の自動セグメント化によっても、実行される。
【0073】
「要素の半手動セグメント化」とは、上記要素の１部分に対して手動で実行されるセグメント化を意味し、上記要素の手動でセグメント化された部分は、アルゴリズムのための入力データとして用いられ、その時には、上記要素を自動的に完全にセグメント化しやすい。
【0074】
そのようなアルゴリズムは、例えば人工ニューラルネットワーク、又は画像処理アルゴリズム（例えば、領域拡大アルゴリズム）である。
【0075】
図４は、深さ軸Ｚに沿って位置を増加させることによって左から右へ、且つ対象とする生物学的要素のタイプとして細胞２０２を選択することによって上から下へと順序付けられた複数の画像ＩＺに対する上記第２の工程１０２の上記第２の実施形態の実装を示す。
【0076】
図４における点線で枠取られて表示された画像のセットからの各画像Ｉ’に関して、画像Ｉ’内に存在する細胞２０２の輪郭は、半手動で特定された。そして、別の各画像ＩＺに関して（即ち、画像Ｉ'のセットに属していない各画像ＩＺに関して）、画像ＩＺ内に存在する細胞２０２の輪郭は、セグメント化されるべき画像ＩＺの直前に先行する画像のセットＩ３Ｄから画像Ｉ'について取得された細胞２０２の輪郭から、上記伝播アルゴリズムによって自動的に識別された。
【0077】
図４において、上記半手動セグメント化は、１０枚の中の１枚の画像ＩＺに対して実行される。即ち、画像Ｉ’のセットは、画像のセットＩ３Ｄからの１０枚のうちの１枚の画像ＩＺを含む。
【0078】
上記手動又は半手動のセグメント化は、例えば画像注釈ソフトウェアを用いて実行される。
【0079】
上記伝播アルゴリズムは、例えばオプティカルフローに基づくアルゴリズムである。
【0080】
上記第２の実施形態による上記第２の工程１０２は、次いで半自動的に実行される。
【0081】
対象とする生物学的要素の複数のタイプが選択された場合、上記第２の工程１０２は、対象とする生物学的要素の或るタイプについては上記第１の実施形態に従って実行され、且つ、対象とする生物学的要素の別のタイプについては上記第２の実施形態に従って、実行されうる。
【0082】
それによって、対象とする生物学的要素の２つのタイプ（例えば、細胞２０２及びミトコンドリア）が選択される場合、上記第２の工程１０２は、ミトコンドリアについては上記第１の実施形態に従って、且つ、細胞２０２については上記第２の実施形態に従って、実行されうる。
【0083】
本発明による上記方法１００は、上記第２の工程１０２中にセグメント化された領域に含まれる各生物学的要素の三次元構造を、画像スタックＩ３Ｄからの各画像ＩＺ内の生物学的要素を含む領域のセグメント化から再構成することから成る第３の工程１０３を包含しうる。
【0084】
図３ａは、ＳＢＦ－ＳＥＭによって取得され、且つ深さ軸Ｚに沿って位置を増加させることによって左から右に順序付けされた8枚の画像ＩＺを含む画像スタックを示している。
【0085】
第１の画像ＩＺは深さ軸Ｚに沿った２．５μｍの位置に対応し、第２の画像ＩＺは深さ軸Ｚに沿った５μｍの位置に対応し、第３の画像ＩＺは深さ軸Ｚに沿った７．５μｍの位置に対応し、第４の画像ＩＺは深さ軸Ｚに沿った１０μｍの位置に対応し、第５の画像ＩＺは深さ軸Ｚに沿った１２．５μｍの位置に対応し、第６の画像ＩＺは深さ軸Ｚに沿った１５μｍの位置に対応し、第７の画像ＩＺは深さ軸Ｚに沿った１７．５μｍの位置に対応し、そして第８の画像ＩＺは深さ軸Ｚに沿った２０μｍの位置に対応する。
【0086】
図３ａにおいて、各画像ＩＺは、毛細胆管２０３の断面を示している。
【0087】
【0088】
図２は、ＳＢＦ－ＳＥＭによって取得された画像スタックＩ３Ｄから得られた試料の細胞２０２及び毛細血管２０１の三次元再構成を示す。
【0089】
図５は、ＳＢＦ－ＳＥＭによって取得された画像スタックＩ３Ｄから得られた試料の核２０４及び毛細血管２０１の三次元再構成を示す。
【0090】
上記方法１００の第４の工程１０４は、画像スタックＩ３Ｄ内の生物学的要素についてセグメント化された各領域から少なくとも１つの指標を計算することによって、対象とする生物学的要素のタイプの少なくとも１つの生物学的要素を特徴付けることから成っている。
【0091】
指標は、生物学的要素の、構造、形態、サイズ、極性、テクスチャ、構成、配向、表面積、整列性、収束、密度、凸性又は凹性に関連付けられうる。
【0092】
上記指標は、例えば、生物学的要素の体積、生物学的要素と試料の別の所与の生物学的要素との間の距離、所与の平面における生物学的要素の表面積、生物学的要素の主軸、所与の軸又は平面との生物学的要素の整列性、所与の点に向かう生物学的要素の分極性、生物学的要素の短軸／長軸の長さ、生物学的要素の質感の指標（例えば、同時生起行列）、生物学的要素の外包の周長、生物学的要素の表面のフラクタル次元、生物学的要素と接触する試料内の生物学的要素の数、試料内の生物学的要素と隣接する生物学的要素と間の接触面、生物学的要素が置かれている領域内の又は隣接する領域内の生物学的要素の密度である。
【0093】
上記指標は、例えば、核－ミトコンドリア軸の方向、対象とする細胞と接触する細胞の数、又は更には対象とする細胞と隣接細胞との接触表面でありうる。
【0094】
図２は、各細胞２０２の主軸３０２をロッドによって表し、且つ、各細胞２０２及び毛細血管２０１の３次元再構成から得られた単一の毛細血管２０１の主軸３０１を円筒形によって表す。
【0095】
生物学的要素の主軸３０１、３０２は、例えば、生物学的要素の三次元再構成を形成するボクセルの座標に対する主成分分析によって取得される。
【0096】
本発明による上記方法１００は、生物学的要素の所与のセットについて上記第４の工程１０４において計算された指標を相互に比較すること、即ち、生物学的要素のセットからの各生物学的要素ごとに上記第４の工程１０４において計算された指標を比較すること、から成る第５の工程１０５を包含しうる。
【0097】
生物学的要素の上記セットは、夫々が対象とする生物学的要素の１のタイプである複数の生物学的要素を含む。このようにして、対象とする生物学的要素の複数のタイプに対して上記第２の工程１０２が実行された場合、生物学的要素の上記セットは、生物学的要素の異なるタイプを含むことができる。
【0098】
図２は、毛細血管２０１の主軸３０１と細胞２０２の主軸３０２との間の異なる角度値に対して、上記毛細血管２０１の上記主軸３０１から上記角度値だけ引き離された主軸３０２を有する細胞２０２の数を表示すヒストグラムを含む。
【0099】
上記ヒストグラムは、各角度値に対する細胞の累積数を更に含む。
【0100】
従って、そこから、上記試料の細胞２０２の４分の３以上が上記毛細血管２０１に対して０～２０°の傾斜角で配向されていること、従って、８°の傾斜角を有する上記毛細血管２０１は、上記細胞２０２の配向の役割を有しうること、を推論することが可能である。
【0101】
本発明の第２の態様は、生体組織の複数の試料の内部三次元組織を比較するための方法に関する。
【0102】
図６は、本発明の上記第２の態様による方法４００の一連の工程を示すブロック図である。
【0103】
本発明による上記方法４００は、生体組織の試料のセットの各生体組織試料について、本発明の上記第１の態様による上記方法１００の工程を含む。
【0104】
生体組織の試料の上記セットは、同じ生体組織又は異なる生体組織の複数の試料を含む。
【0105】
図６において、生物組織の試料の上記セットは２つの試料を含み、且つ本発明の上記第１の態様による上記方法１００の工程はこのようにして２回実行される。
【0106】
本発明による上記方法４００は、生体組織試料の上記セットからの各生体組織試料の生物学的要素のセットに対して計算された上記複数の指標を比較する工程４０１を更に含む。
【図1】
【図2】
【図3a】
【図3b】
【図4】
【図5】
【図6】
【国際調査報告】