特表 2022-542150 線維性結合組織ネットワーク形成を分析、検出、および処置するためのシステムおよび方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-09-29

(54)【発明の名称】線維性結合組織ネットワーク形成を分析、検出、および処置するためのシステムおよび方法

(51)【国際特許分類】

   G16H 30/00 20180101AFI20220921BHJP

   G01N 33/48 20060101ALI20220921BHJP

   G01N 33/483 20060101ALI20220921BHJP

【ＦＩ】

G16H30/00

G01N33/48 M

G01N33/483 C

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2022505281

(86)(22)【出願日】2020-07-27

(85)【翻訳文提出日】2022-03-08

(86)【国際出願番号】 US2020043717

(87)【国際公開番号】W WO2021021720

(87)【国際公開日】2021-02-04

(31)【優先権主張番号】62/879,366

(32)【優先日】2019-07-26

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】503115205

【氏名又は名称】ザ ボード オブ トラスティーズ オブ ザ レランド スタンフォード ジュニア ユニバーシティー

(74)【代理人】

【識別番号】100078282

【弁理士】

【氏名又は名称】山本 秀策

(74)【代理人】

【識別番号】100113413

【弁理士】

【氏名又は名称】森下 夏樹

(72)【発明者】

【氏名】マシャラク， シャミク

(72)【発明者】

【氏名】デスジャルディンス－パーク， ヘザー イー．

(72)【発明者】

【氏名】ボレッリ， ミミ

(72)【発明者】

【氏名】ムーア， アレッサンドラ ローラ

(72)【発明者】

【氏名】ロンゲーカー， マイケル ティー．

【テーマコード（参考）】

2G045

5L099

【Ｆターム（参考）】

2G045AA25

2G045CB01

2G045FA19

5L099AA04

5L099AA26

(57)【要約】

組織画像サンプルを回収した患者内の線維症のレベルを確立するために、画像処理の異なるステージにおいて複数の組織画像サンプルを分析するためのシステムおよび方法。種々の実施形態は、機械学習技術を組み込み、組織画像サンプルに基づいて線維性状態を効果的にかつ効率的に診断する先進的な自動化アプローチを可能にする。他の実施形態において、上記方法は、複数のサンプル画像を有し、ここで上記複数のサンプル画像は、多くの異なる潜在的疾患を代表する。

【特許請求の範囲】

【請求項1】

組織分析のための方法であって、前記方法は、
少なくとも１つの組織サンプル画像を患者から得る工程、
線維ネットワークが前記少なくとも１つの組織サンプル画像内で同定および定量され得るように、前記少なくとも１つの組織サンプル画像を処理する工程；
前記処理したサンプル画像を、パラメーターのセットに対して評価する工程であって、ここで前記パラメーターのセットは、線維特性に対応し、ここで前記パラメーターのセットは、前記少なくとも１つのサンプル画像から定量され、前記定量したパラメーターは、前記少なくとも１つのサンプル画像内の線維症のレベルを確立するために線維特性の既知のセットに対して重み付けされる工程；および
線維性組織分類を前記少なくとも１つのサンプル画像に割り当てる工程、
を包含する方法。

【請求項2】

複数のサンプル画像をさらに含み、ここで前記複数のサンプル画像は、多くの異なる潜在的疾患を代表する、請求項１に記載の方法。

【請求項3】

所定のパラメーターの前記セットは、長さ、幅、線維の数、輝度、持続性、アラインメント、分岐点の数、オイラー数、周長、中実性、離心率、および相当直径からなる群より選択される、請求項１に記載の方法。

【請求項4】

前記処理する工程は、前記少なくとも１つの画像のカラー逆畳み込みをさらに含む、請求項１に記載の方法。

【請求項5】

前記処理する工程は、画像ノイズ低減をさらに含む、請求項１に記載の方法。

【請求項6】

前記画像ノイズ低減は、適応型エッジ保存によって行われる、請求項５に記載の方法。

【請求項7】

前記処理する工程は、画像二値化処理をさらに含む、請求項１に記載の方法。

【請求項8】

前記処理する工程は、カラー逆畳み込み、ノイズ低減、および二値化処理をさらに含む、請求項１に記載の方法。

【請求項9】

前記評価する工程は、入力層、隠れ層、および出力層を有するニューラルネットワークシステムを使用して完了される、請求項１に記載の方法。

【請求項10】

前記ニューラルネットワークシステムは、教師なしのニューラルネットワークである、請求項９に記載の方法。

【請求項11】

前記ニューラルネットワークシステムは、教師ありのニューラルネットワークである、請求項９に記載の方法。

【請求項12】

前記ニューラルネットワークシステムは、複数の隠れ層を有する、請求項９に記載の方法。

【請求項13】

評価されかつ割り当てられた画像のデータセットを生成する工程をさらに含み、ここで前記データセットは、入力画像の新たなセットのために使用される、請求項９に記載の方法。

【請求項14】

前記割り当てられた組織分類に基づいて、患者の処置プランを確立する工程をさらに包含する、請求項１に記載の方法。

【請求項15】

前記サンプル画像が得られた患者を、前記割り当てられた組織分類に従って確立された処置プランに基づいて処置する工程をさらに包含する、請求項１４に記載の方法。

【請求項16】

前記割り当てられた組織分類を利用して、組織画像サンプルのその後のセットが分析され得る組織パラメーターのデータベースを更新する工程をさらに包含する、請求項１に記載の方法。

【請求項17】

組織サンプル画像を分析するためのシステムであって、前記システムは、
入力画像のセットを受容し、前記画像を、組織接続ネットワークの単純化画像へと低減するために処理するように構成されたプロセッサ；および
少なくとも訓練されたニューラルネットワークプログラムおよび所定のパラメーターセットを含むメモリストレージデバイスであって、ここで前記プロセッサは、前記訓練されたニューラルネットワークおよび所定のパラメーターセットを使用して、前記単純化画像を分析するメモリストレージデバイス；ならびに
前記分析した画像を受容し、疾患カテゴリーおよび重篤度レベルを割り当てるように構成された出力デバイス、
を含むシステム。

【発明の詳細な説明】

【技術分野】

【0001】

相互参照される出願
本出願は、２０１９年７月２６日出願の米国仮出願第６２／８７９，３６６号（その開示は、その全体において本明細書に参考として含められる）に基づく優先権を主張する。

【0002】

連邦政府の資金提供の陳述
本明細書で記載される発明は、Ｎａｔｉｏｎａｌ Ｉｎｓｔｉｔｕｔｅｓ ｏｆ Ｈｅａｌｔｈによって授与された契約Ｒ０１－ＧＭ１１６８９２およびＵ２４－ＤＥ０２６９１４の下で政府支援を得て行われた。政府は、本発明において一定の権利を有する。

【0003】

発明の分野
本発明は、一般に、組織ネットワーク形成の分析および検出に関する。より具体的には、組織内での線維症形成を分析および検出するために使用されるシステムおよび方法に関する。

【背景技術】

【0004】

発明の背景
線維症、または過剰な結合組織の沈着は、全世界で主要な疾病原因の代表である。米国での死亡のうちの４５％が、主要臓器の線維症（例えば、心筋梗塞、脳卒中、肝硬変）、線維増殖性障害（例えば、強皮症、骨髄線維症）、および外傷と関連する瘢痕化にある可能性があると推定される。場合によっては、線維症は、いかなる既知の原因もなく、特発的に起こり得る一方で、他の場合には、それは、肺、肝臓、腹膜、皮膚、および／または他の臓器におけるようないくつかの組織に対する傷害後に起こり得る。例えば、先進諸国において１年あたり最低１億人の患者が、外科的手順、外傷、および熱傷の結果として瘢痕を獲得する。これらの治癒済みの創傷は、機能的、社会的、および心理的な結末、特に、肥厚性瘢痕およびケロイドを有し得る。さらに、線維症および結果として生じる結末は、米国単独で、年間＄２００億超もの医療費の原因であった。さらに、線維症の任意の誤診または不適切管理は、患者にさらなる医療的負担および経済的負担を課し得る。

【0005】

組織病理学は、顕微鏡レベル下で組織の評価にしばしば関わる組織疾患の診断の研究である。代表的な標本はしばしば、マッソントリクローム、ピクロシリウスレッド、コラーゲン免疫染色、レチクリン銀のような染色技術を使用して評価される。結合組織染色とともに進められる標本の組織病理学的評価は、線維性疾患の臨床管理に不可欠である。これらのモダリティーは、疾患状態を評価する、処置応答をモニターする、および研究パイプラインにおいて新たな治療の効果を評価するために使用される。組織病理学的評価はまた、臨床判断を左右する；例えば、骨髄線維症（ＭＦ）スケールを使用する骨髄線維症の評価は、治癒的な造血幹細胞移植の適合性を知らせる。他の拡がっている疾患（例えば、がん）とは対照的に（これについては、疾患負荷を評価するために客観的な最小限に侵襲性の方法が存在する）、線維症を評価するための現在の実務は、肉眼または生検した組織の定性的なスコア付けに依拠する。これらの分析は、訓練された病理医によって行われる場合にすら、本質的に、「代表的な」画像を選択し、視覚的なアナログスケールでスコアを推定するために、細胞および結合組織マトリクスをユーザーが観察することに依拠する。視覚的評価は、訓練された病理医によるものであっても、本質的には主観的であり、時間がかかり、バイアスが起こりやすい。従って、既存の方法は、疾患状態を正確に表すまたは疾患進行における微妙であるが臨床上重大な変化を捉えることができない可能性がある。線維症の結果として生じた誤診または不適切管理は、患者に医療的負担および経済的負担を増大させ得る。

【発明の概要】

【課題を解決するための手段】

【0006】

発明の要旨
多くの実施形態は、以下の工程を利用する組織分析のための方法に関する：
・少なくとも１つの組織サンプル画像を患者から得る工程；
・線維ネットワークが同定され得、かつ上記少なくとも１つの組織サンプル画像内で定量され得るように、上記少なくとも１つの組織サンプル画像を処理する工程；
・上記処理したサンプル画像を、パラメーターのセットに対して評価する工程であって、ここで上記パラメーターのセットは、線維特性に対応し、ここで上記パラメーターのセットは、上記少なくとも１つのサンプル画像から定量され、上記定量したパラメーターは、上記少なくとも１つのサンプル画像内の線維症のレベルを確立するために線維特性の既知のセットに対して重み付けされる工程；および
・線維性組織分類を上記少なくとも１つのサンプル画像に割り当てる工程。

【0007】

他の実施形態において、上記方法は、複数のサンプル画像を有し、ここで上記複数のサンプル画像は、多くの異なる潜在的疾患を代表する。

【0008】

さらに他の実施形態において、所定のパラメーターの上記セットは、長さ、幅、および線維の数、輝度、持続性、およびアラインメント、分岐点の数、オイラー数、周長、中実性、離心率、および相当直径からなる群より選択される。

【0009】

なお他の実施形態において、上記処理する工程は、上記少なくとも１つの画像のカラー逆畳み込みをさらに含む。

【0010】

さらになお他の実施形態において、上記処理する工程は、画像ノイズ低減をさらに含む。

【0011】

他の実施形態において、上記画像ノイズ低減は、適応型エッジ保存によって行われる。

【0012】

さらに他の実施形態において、上記処理する工程は、画像二値化処理をさらに含む。

【0013】

なお他の実施形態において、上記処理する工程は、カラー逆畳み込み、ノイズ低減、および二値化処理をさらに含む。

【0014】

さらになお他の実施形態において、上記評価する工程は、入力層、隠れ層、および出力層を有するニューラルネットワークシステムを使用して完了される。

【0015】

他の実施形態において、上記ニューラルネットワークシステムは、教師なしのニューラルネットワークである。

【0016】

さらに他の実施形態において、上記ニューラルネットワークシステムは、教師ありのニューラルネットワークである。

【0017】

なお他の実施形態において、上記ニューラルネットワークシステムは、複数の隠れ層を有する。

【0018】

さらになお他の実施形態において、上記方法は、評価されかつ割り当てられた画像のデータセットをさらに生成し、ここで上記データセットは、入力画像の新たなセットのために使用される。

【0019】

他の実施形態において、上記方法は、上記割り当てられた組織分類に基づいて、患者の処置プランをさらに確立する。

【0020】

さらに他の実施形態において、上記サンプル画像が得られた患者を、上記割り当てられた組織分類に従って確立した処置プランに基づいてさらに処置する。

【0021】

なお他の実施形態において、上記割り当てられた組織分類をさらに利用して、組織画像サンプルのその後のセットが分析され得る組織パラメーターのデータベースを更新する。

【0022】

他の実施形態は、組織サンプル画像を分析するためのシステムであって、上記システムは、入力画像のセットを受容し、上記画像を、組織接続ネットワークの単純化画像へと低減するために処理するように構成されたプロセッサを有するシステムを含む。さらに、上記システムは、少なくとも、訓練されたニューラルネットワークプログラムおよび所定のパラメーターセットを含むメモリストレージデバイスを有し、ここで上記プロセッサは、上記訓練されたニューラルネットワークおよび所定のパラメーターセットを使用して、上記単純化画像を分析する。上記システムはまた、上記分析した画像を受容し、疾患カテゴリーおよび重篤度レベルを割り当てるように構成された出力デバイスを有し得る。種々の実施形態において、上記システムは、上記割り当てられた疾患カテゴリーを有する患者のために処置プランを確立および利用するために使用され得る。

【0023】

さらなる実施形態および特徴は、以下の説明において一部示され、一部は、本明細書の吟味の際に当業者に明らかになるか、または本開示の実施によって学習され得る。本開示の性質および利点のさらなる理解は、本明細書の残りの部分および本開示の一部を形成する図面を参照することによって実現され得る。

【図面の簡単な説明】

【0024】

図面の説明
説明は、以下の図面を参照してより完全に理解される。図面は、本発明の例示的実施形態として示され、本発明の範囲の完全な記載として解釈されるべきではない。

【0025】

【図1】図１は、線維症に伴う潜在的問題のマインドマップを図示する。

【0026】

【図2】図２は、本発明の実施形態に従う組織分析のプロセスを図示する。

【0027】

【図3】図３は、本発明の実施形態に従うカラー逆畳み込みの例を図示する。

【0028】

【図4】図４は、本発明の実施形態に従ってサンプルをスケルトン化するダウントレース機能を図示する。

【0029】

【図5-1】図５Ａおよび５Ｂは、本発明の実施形態に従う潜在的評価パラメーターの表形式の図である。

【図5-2】図５Ａおよび５Ｂは、本発明の実施形態に従う潜在的評価パラメーターの表形式の図である。

【0030】

【図6-1】図６Ａは、分析のための瘢痕組織および正常組織の画像を図示する。

【0031】

【図6-2】図６Ｂは、本発明の実施形態に従う種々のパラメーターの正常組織と瘢痕組織との間のヒートマップ比較を図示する。

【0032】

【図6-3】図６Ｃは、本発明の実施形態に従うパラメーターのクラスター化を図示する。

【0033】

【図7-1】図７Ａは、本発明の実施形態に従う組織線維特性のクラスター化を図示する。

【0034】

【図7-2】図７Ｂは、本発明の実施形態に従う種々の組織サンプルの定量したパラメーターの階層的クラスター化を図示する。

【0035】

【図8】図８は、本発明の実施形態に従って組織サンプルを分析および比較するニューラルネットワークダイアグラムを図示する。

【0036】

【図9】図９は、本発明の実施形態に従って組織データセットをニューラルネットワークで分析するフローチャートを図示する。

【0037】

【図10】図１０は、本発明の実施形態に従う種々の組織の受信者操作特性（ＲＯＣ）曲線を図示する。

【0038】

【図11-1】図１１Ａおよび１１Ｂは、本発明の実施形態に従うＲＯＣ曲線およびフローチャート分析を図示する。

【図11-2】図１１Ａおよび１１Ｂは、本発明の実施形態に従うＲＯＣ曲線およびフローチャート分析を図示する。

【0039】

【図12-1】図１２Ａは、本発明の実施形態に従う組織線維特性のクラスター化を図示する。

【0040】

【図12-2】図１２Ｂは、本発明の実施形態に従うニューラルネットワークデータ分析とヒト病理医評価との間の比較を図示する。

【0041】

【図13-1】図１３Ａは、本発明の実施形態に従う組織線維特性のクラスター化を図示する。

【0042】

【図13-2】図１３Ｂは、本発明の実施形態に従うニューラルネットワークデータ分析とヒト病理医評価との間の比較を図示する。

【0043】

【図14-1】図１４Ａおよび１４Ｂは、本発明の実施形態に従って２９４のパラメーターにわたって定量した線維性状態のグラフ表示である。

【図14-2】図１４Ａおよび１４Ｂは、本発明の実施形態に従って２９４のパラメーターにわたって定量した線維性状態のグラフ表示である。

【0044】

【図15】図１５は、本発明の実施形態に従う分類のために組織画像を処理するためのシステムを図示する。

【0045】

【図16】図１６は、本発明の実施形態に従う組織分析のプロセスフローを図示する。

【0046】

【図17-1】図１７は、本発明の実施形態に従う機械学習のためのプロセスフローを図示する。

【図17-2】図１７は、本発明の実施形態に従う機械学習のためのプロセスフローを図示する。

【0047】

【図18】図１８は、本発明の実施形態に従う組織分析のプロセスフローを図示する。

【0048】

【図19-1】図１９は、本発明の実施形態に従う機械学習のためのプロセスフローを図示する。

【図19-2】図１９は、本発明の実施形態に従う機械学習のためのプロセスフローを図示する。

【発明を実施するための形態】

【0049】

発明の詳細な説明
ここで図面に注意を向けると、本発明の実施形態は、機械学習を使用する自動化結合組織分析のための方法を包含する。種々の実施形態において、上記方法は、種々の染色法のうちの１つで染色されている可能性がある複数の画像を得る工程を包含する。染色法としては、マッソントリクローム、ピクロシリウスレッド、コラーゲン免疫染色、および／またはレチクリン銀が挙げられ得るが、これらに限定されない。多くの実施形態において、上記染色画像は、細胞外線維および分岐点のデジタル画像マップを生成するために、カラー逆畳み込みおよび細胞減算に関して処理され得る。いったんデジタル画像マップを作成した後、種々の実施形態は、多くのパラメーターに対して線維を分析し得、次いで、定量し得、以前のデータセットに対して比較し得る。多くの実施形態は、上記定量したデータセットを利用して、線維ネットワークの拡がりを決定し得る。この情報は、線維症状態のタイプおよびその拡がりを同定するために使用され得る。いったん上記線維症のタイプおよび拡がりを決定した後、種々の実施形態は、上記情報を利用して、それぞれの患者に適した処置方法論を確立し得る。

【0050】

線維症は、患者および医療専門家に、大きな経済的負担および臨床上の負担を課す。線維症を分析することについての現在の方法論は、主に組織の主観的な臨床分析に依拠する。現在の診断法は、バイアス、観察者内での変動、および疾患状態における微妙な変化に対する不十分な感度によって悩まされる傾向にある。多くの病理医は、組織サンプルにスコアを割り当てて、線維性状態の現在の状態を決定し得る。しかし、このようなスコアは、上記の理由を考慮すれば、非常に主観的である傾向にある。線維性疾患の存在または重篤度を、信頼性をもって評価する、客観的で定量的な方法は、現在ほとんど存在しない。これは、疾患負荷および化学療法の有効性が、標準治療モダリティー（ＭＲＩ、ＰＥＴ－ＣＴなど）によって定量的かつ非侵襲的に測定され得るがんのような病理とは対照的である。線維症の臨床管理は、代わりに、生検した組織の視覚的検査に従って病理医によって評価される定性的なスコア付けスキーム（例えば、視覚的アナログスケール、骨髄線維症スコア、Ｂａｔｔｓ－Ｌｕｄｗｉｇ肝硬変スコア）に依拠する。主観的判断によって仕事をした場合、医師は、頻繁に経験則、すなわち経験に基づく「大雑把なやり方」に依拠する。このような知的ショートカットは迅速な判断を容易にする一方で、それらは、系統誤差および認知バイアスをもたらし得、これらは、診断エラーおよび治療エラーと頻繁に関連する。さらに、このようなアプローチは、線維症の中で共通する空間的および形態的複雑性を捉えるのに失敗することもある。

【0051】

対照的に、結合組織特徴に基づく完全自動化機械学習アプローチは、多くの実施形態によれば、線維症（病的瘢痕化（肥厚性瘢痕、ケロイド）、全身性強皮症、骨髄線維症、および肝硬変が挙げられる）の臨床評価のための即時の橋渡し的な意味を有し得る。種々の実施形態によれば、本明細書で記載される方法は、強皮症の早期ステージにおいて患者に特に関連し得る臨床上検出不能な皮膚線維症に対する感度を改善し得、ここでその所見は、処置決定に至らせる可能性があり、全体的な転帰にとって予測的な価値を有する。例えば、病理医のスコア付けが、患者の状態を１～４のスケールで１とスコア付けし得る一方で、種々の実施形態は、上記状態の診断および／または処置に価値を与え得る、１よりむしろ１．４に近いかもしれないスコアを改善することができる可能性がある。さらに、骨髄線維症、肝硬変、および他の線維性状態の重篤度の正確な客観的定量は、これらの疾患のステージ決定、リスクの階層化、および治療モニタリングを強化し得る。

【0052】

種々の実施形態は、多数の画像化部位にわたって数千もの細胞外マトリクス線維を迅速に定量化し得、それによって、線維症における空間的不均質性を正確に反映し得る。よって、このような方法は、現在までに研究した全ての線維性病理（全身性強皮症において「臨床上休止している（ｃｌｉｎｉｃａｌｌｙ－ｓｉｌｅｎｔ）」皮膚線維症を有する皮膚の領域を含む）に対して８０％付近またはそれより高いＡＵＣ（受信者操作特性曲線下面積）を示している。従って、多くの実施形態は、線維性疾患の検出、診断およびスコア付けを顕著に増強し得る客観的アプローチを可能にする。

【0053】

記載されるように、線維症状態の重篤度を正確にかつ迅速に決定することは、医療専門家および患者の両者にとって臨床上重要であり得る。線維症は、身体全体に種々の影響を有し得、多くの生命を脅かす状態をもたらし得る。例えば、図１は、線維症の潜在的負荷を図示する種類のマインドマップを図示する。線維症は、数例挙げると、がん、心筋梗塞、強皮症、および肝硬変のような多くの異なる状態に関連し得る。このような状態のうちの多くは、処置されないまままたはさらには診断されないまま放置されれば、患者に不要な負荷を生じ得るより大きくより長期間にわたる健康問題をもたらし得る。さらに、不適切なまたは誤診した状態は、高額な医療処置および／または潜在的な法的問題を生じ得る。

【0054】

多くの実施形態によれば、正常組織は、瘢痕化組織において線維症のレベルを最良に分類するために、瘢痕化組織と比較され得る。例えば、図２は、正確な組織線維症分類のために訓練されたニューラルネットワークにおいて分析され得る、正確な組織２０２と瘢痕組織２０４との間の比較を図示する。組織サンプルまたは画像は、組織分類を確立するために、多くの異なる方法において処理および分析され得る。例えば、いくつかの実施形態は、サンプルの各々に関して結合組織の組織像（２０６および２０８）を同定し得、次いで、上位組織像を、組織分類のための種々の異なる機械学習技術によって使用され得るサンプルのためにデジタル線維マップ画像（２１０および２１２）へと単純化し得る。いくつかの実施形態において、デジタル線維マップ画像は、画像間で区別するべき特徴２１４を抽出するために、教師なしのシステムにおいて未加工の形態で使用され得る。教師なしのシステムは、所定の表示を有しないデータセットの中でパターンを探す。いくつかの実施形態において、教師なしのシステムは、線維症および正常な皮膚の既知の画像を、受容した画像と比較および対比し、かつ線維性疾患分類および重篤度内で受容した画像を分類するために、差異を評価し得る。

【0055】

代わりに、または結合的に、いくつかの実施形態は、教師ありのシステムを利用して、上記画像／サンプルを疾患カテゴリーへと分類し得る。教師ありのシステムは、上記受容し、処理した画像（２１０および２１２）に対して、定量した線維パラメーター２１６のセットを評価し得る。さらに、教師ありのシステムは、ニューラルネットワーク２１８を利用して、上記画像に対して上記定量したパラメーター２１６を完全に評価し、各標本２２０を線維症のレベルへと分類し得る。多くの実施形態によれば、上記システムは、上記疾患およびその重篤度に基づいて、上記画像を分類するために使用され得る。さらに、上記画像の同定または分類は、その特定の線維性状態の処置において使用され得る上記状態を正確に診断するために使用され得る。多くの実施形態によれば、上記分類した画像データ２２２は、特定の状態の代表であり得、将来のサンプル画像の分析をさらに改良するために利用され得る。言い換えると、このような分類データ２２２は、ネットワーク２２４をさらに訓練するために使用され得る。

【0056】

開示される方法のうちのいくつかの操作が、便利な提示のために特定の連続する順序で記載されるものの、特定の順序が以下に示される具体的文言によって要求されなければ、この記載事項が、再編成を包含することは、理解されるべきである。例えば、連続的に記載される操作は、いくらかの場合には、再編成されてもよいし、同時に行われてもよい。さらに、単純化するために、添付の図面は、開示される方法、システム、および装置が、他のシステム、方法、および装置とともに使用され得る種々の方法を示さなくてもよい。

【0057】

画像処理の実施形態
以前に考察されたように、多くの画像または組織サンプルは、種々の異なる使用において視認性を改善するために染色され得、そのうちのいくつかは、線維性状態を診断するにあたって役立ち得る。しかし、染色はしばしば、種々のノイズまたは上記サンプル内の実際の線維ネットワークとの干渉を生じ得るので、適切な分析および比較のために線維ネットワークを抽出するために、上記画像データのある種のリダクションまたは上記画像において上記染色効果および／もしくは細胞の除去を必要とし得る。例えば、図３は、異なる染色技術で染色したいくつかの組織サンプル（３０２、３０４、および３０６）を図示する。いくつかの実施形態は、ピクロシリウスレッド染色３０２、またはマッソントリクローム染色３０４および／またはレチクリン染色３０６での画像を使用し得る。多くの実施形態によれば、上記染色画像は、上記染色画像を染色濃度へと低減するまたは上記組織サンプル内の線維ネットワークがよりよい分析のために分離され得るように色を低減するカラー逆畳み込みによって処理され得る。例えば、ピクロシリウスレッド染色は、赤の成熟線維３０８および緑の未成熟線維３１０へと低減され得る。同様に、他の染色技術で染色した組織サンプルは、マッソントリクロームにおいて全コラーゲン３１２および核および細胞質３１４のような組織部分へと逆畳み込みされ得る。種々の染色技術が使用され得、そのように染色したサンプルが、それぞれの組織サンプル内で線維ネットワークをより良好に評価するために、逆畳み込みされ得ることが認識され得る。

【0058】

カラー逆畳み込みのプロセスは十分に確立されているものの、多くの実施形態は、上記サンプル内で線維ネットワークを同定するために、画像のさらなる処理を組み込み得る。例えば、種々の実施形態において、図３に示されるような逆畳み込みしたサンプル画像は、上記サンプル画像内の線維ネットワークを分離および明確にする多くの方法において、さらに処理または単純化され得る。例えば、図４は、図３におけるものと同様に、逆畳み込みしたサンプル画像が、線維の単純化またはスケルトン化画像４０２へとさらに処理され得るプロセスを図示する。スケルトン化画像４０２は、上記サンプル内で線維症のレベルを決定するために分析され得る線形構造へと低減される上記サンプル画像内の線維に言及する。上記スケルトン化画像４０２は、本質的にデジタル線維マップを作成し、これに対して、多くのパラメーターが定量化され得る。多くの実施形態において、上記デジタル線維マップ４０２は、多くの異なる改良方法によって生成され得る。例えば、ノイズ低減方法４０４は、画像を平滑化し、線維画像をより良好に規定するために使用され得る。いくつかの実施形態において、上記ノイズ低減は、適応型エッジ保存ノイズ低減方法で行われ得る。種々の実施形態は、線維形状のオブジェクト４０６の二値化処理および／または形状ベースの選択によって、上記サンプル画像を処理し得る。二値化処理は、本質的に、画像を１および０として表し、ここで１は、繊維を含む画素を規定する。その後、上記サンプル画像は、使用され得るおよび／またはパラメーターのセットに対して比較され得るデジタル線維マップ４０２を反映して、線維性状態のカテゴリーおよび／または重篤度を確立するためにさらにダウントレース（ｄｏｗｎ ｔｒａｃｅ）され得る。本質的に、画像処理は、細胞を除去し得、存在する線維症のレベルを評価するためにさらに分析され得る個々の線維の線維ネットワークを残し得る。画像処理の各レベル内で、既存の線維ネットワークが、画像のその後の分析において使用され得る多くの異なる定量可能なパラメーターを示し得ることは容易に認識され得る。

【0059】

本明細書で記載される種々の実施形態は、任意の数およびタイプの画像に対して行われ得る画像処理を例証する。実施形態は、パラメーター定量ならびにその後の線維症診断および処置のために、上記画像を分析するために他のシステムおよび方法とともに使用され得る種々の画像処理技術の適用可能性を例証する。

【0060】

画像分析の実施形態
サンプル画像の分析は、多くの方法で行われ得る。以前に考察されたように、いくつかの実施形態は、教師なしのおよび／または教師ありのシステムを利用して、受容したサンプル画像を分類し、その後、線維症の重篤度および状態を診断するために、デジタルマップを評価および／または比較し得る。教師なしのシステムは、受容したサンプル画像を、データベースの中に保存された以前に既知の画像に対して比較し得、その結果、上記受容した画像は識別され得、線維症状態を決定するために使用され得る。これは、線維画像をスケルトン化形態へと必ずしも低減することなく行われ得る。

【0061】

いくつかの実施形態において、教師ありのシステムは、上記サンプル画像を、パラメーターのリストに対して比較および／または評価し得る。言い換えると、教師ありのシステムは、完全にスケルトン化した画像を利用し得、上記画像を、重み付けしたパラメーターの供給されたセットに基づいて評価し得る。図５Ａおよび５Ｂは、機械学習技術の間に線維症のレベルを決定するための画像分析プロセスにおいて定量され得る種々のパラメーターおよびそれらそれぞれの説明を図示する。上記パラメーターは、特定の線維性状態および／または線維の組織画像サンプルの他の定量したパラメーターに対するそれらの関連性に基づいて重み付けされ得る。パラメーターは、線維の数、長さ、幅、および／またはサンプル画像中の線維のアラインメントのような物理的特性が挙げられ得るが、これらに限定されない。このようなパラメータータイプは、周知であり得かつ理解され得るが、種々の実施形態は、オイラー数のようなそれほど知られていない属性を含み得、これは、各線維内の穴を定量する。任意の数のパラメーターが使用され得、パラメーターのリストが、機械学習プロセスプロセスを適用する実施形態を通じて拡張され得ることは認識され得る。例えば、多くの実施形態において、線維症または線維性状態のレベルは、定量され得、大きな特性のパネルにわたって線維レベルに対して比較され得る。これは、機械学習プロセスの適用とともにさらに増強され得る。

【0062】

図５Ａおよび５Ｂに図示されるパラメーターのリストは、画像サンプルに関して定量され得る多くの潜在的パラメーターのうちのいくつかの代表である。しかし、新たな画像が分析されるので、新たなパラメーターが組み込まれ得、重み付けされ得ることは認識され得る。例えば、図５Ｂは、図５Ａにおいて図示されるものを超えて拡がる特定の組織画像サンプルに関して定量および重み付けされ得るさらなるパラメーターのリストを図示する。パラメーターのリスト化は、各組織サンプルに対して必ずしも特異的ではないが、サンプル間で変動し得る。さらに、定量したパラメーターは、染色技術および画像処理のレベルに基づいて変動し得る。例えば、いくつかの実施形態は、図３と同様に、いかなるその後の処理もなしに、単純な染色画像に基づいて多くの異なるパラメーターを定量することができる可能性がある。他の実施形態は、スケルトン化したまたは二値画像の定量したパラメーターとは異なり得る、逆畳み込みした画像の多くの異なるパラメーターを定量し得る。同様に、定量したパラメーターの数およびタイプは、染色画像が、ピクロシリウスレッドまたはマッソントリクローム、レチクリンのものである場合には変動し得る。このような実施形態は、組織サンプル画像における微小な差異を引き出すことによって、本明細書で記載されるシステムおよび方法の全体的な分析能力を改善し得る。新たなパラメーターが発見されるおよび／または重み付けされるので、それらは、組織画像サンプルのその後の分析において定量され得る。従って、それらは、分析の能力および感度を改善するにあたって有用であり得る。よって、改善された感度は、それぞれの患者の改善された診断を可能にし得、有効な処置プランを確立する助けになり得る。

【0063】

図６Ａ～６Ｄは、種々の実施形態に従って比較するための２つの異なる組織サンプルの段階的分析の例を図示する。例えば、図６Ａは、２つの組織サンプル、正常６０２および瘢痕化６０４を図示し、これらは、デジタルネットワークマップ６１０および６１２を生成するために、カラー逆畳み込み６０６および６０８、ならびにノイズ低減によって処理され得る。図６Ｂは、逆畳み込みした赤６０６および緑６０８画像の両方に関して瘢痕化および正常組織サンプル画像の各々の種々のパラメーターのヒートマップ評価を図示する。ある特定の実施形態において、線維画像の各パラメーターは、０から１までで格付けまたはスケール化され得る。正常および瘢痕化組織は、線維化治癒（ｆｉｂｒｏｔｉｃ ｈｅａｌｉｎｇ）の異なるレベルを図示する別個の全体の結合組織パターンを生成し得ることが認められ得る。さらに、同じ組織からの異なる画像が、図６Ｂにおいて認められ得るように比較され得る。さらに、ヒートマップの上側の部分が、下側の部分とは異なり、それによって、瘢痕化組織と正常組織との間の別個のパターン差異を図示することが図示され得る。図６Ｂにおけるものに類似の生成したヒートマップ中に提供される情報は、メモリデバイスのある種のタイプにおいてさらに分析するために使用するために保存され得る。

【0064】

種々の実施形態において、機械学習システム（例えば、プロセッサ）は、ヒートマップにおいて図示され、類似のデータベースまたは類似のパラメーターのクラスターを生成するためにその後保存されるパラメーター特徴付けを利用し得る。例えば、図６Ｃは、いくつかの正常および瘢痕化の処理画像からのデータの階層的クラスター化を図示する。正常および瘢痕化線維は、別個の群（６２０～６２６）へとクラスター化することが認められ得る。階層的クラスターは、本質的には、組織サンプルに存在する線維症状態および／または重篤度をさらに決定するために使用されるパラメータークラスターである。画像サンプルにおけるパラメータークラスター化および識別が、患者間でおよび単一の患者内のサンプル間で変動し得ることは、認識され得る。これは、患者内での線維症のレベルの最終的な診断において、および将来の診断のために有用な情報を提供するにあたって役立ち得る。

【0065】

線維クラスターはまた、非決定性の可視化において図示され得る（例えば、図７Ａで図示されるもの）。このようなクラスター化は、標本がそれらの既知のタイプ（例えば、正常組織７０２、正常瘢痕７０４、肥厚性瘢痕（ＨＴＳ）７０６、ケロイド７０８、および／または線条７１０）に従ってクラスター化し得ることを図示することが認識され得る。比較すると、ヒートマップデータおよびその後の階層的クラスター化は、特定の状態および組織サンプルに従ってデータをクラスター化する能力を図示する。例えば、図７Ｂは、図７Ａのヒートマップで図示されたデータの階層的クラスター化を図示する。画像処理のパラメーターの確立されたセットに基づくこのグループ分けは、同様の線維が一緒にグループになり、線維性を示す傾向にあることが例証され得ることから、有益であり得る。多くの実施形態は、デジタル線維マップ画像の形成およびその後の分析に基づいて、その臨床症状を有しない患者の線維症のレベルを決定し得ることがさらに認識される。従って、多くの実施形態は、画像データのクラスター化を利用して、 早期の検出および線維性状態のその後の処置において有益であり得る診断を確立し得る。

【0066】

以前に考察されたように、多くの実施形態は、特定の線維性状態を示すにあたって有用であり得る種々のパラメーターに関して処理画像を効果的にかつ効率的に評価するように訓練され得るニューラルネットワークを使用し得る。例えば、図８は、いくつかの実施形態において使用され得るニューラルネットワーク構成を図示する。多くの実施形態において、上記ニューラルネットワークは、分析のために多数のデータ層を有し得る。入力層は、処理画像を効果的に分析するために必要とされる種々の入力パラメーターに対応し得る任意の数のニューロンからなり得る。さらに、多くの実施形態は、画像データをさらに処理するための１またはこれより多くの隠れ層を有し得る。最後に、種々の実施形態は、画像の所望の出力（または分類）に対応する出力層において１またはこれより多くの出力ニューロンを有し得る。例えば、いくつかの実施形態は、１またはこれより多くの特定の線維性状態（例えば、ケロイドまたはＨＴＳ）または硬化症を含む任意の数の線維性状態を同定するために探し得る。

【0067】

図９を参照すると、コンソートダイアグラムは、既知の線維性状態の多くの画像サンプルを分析して、画像を分類するにあたって訓練されたニューラルネットワークの有効性を図示するために、いくつかの実施形態に従う例示的操作において使用されるプロセスフローを表す。画像サンプル９０２は、多くの異なる線維性状態の代表である。画像は全て、ピクロシリウスレッド染色を使用して調製した９０４。画像を処理し、盲検９０６を、および訓練されたニューラルネットワークの有効性を評価するために訓練されたニューラルネットワーク９０８を使用するデータセットで分析した。その後、盲検データを、ニューラルネットワーク９１０によって分類し、受信者操作特性（ＲＯＣ）曲線９１２下で分析した。

【0068】

図１０は、図９において図示される例のＲＯＣ曲線を図示する。グラフは、ｘ軸に沿った偽陽性率を、画像の全５分類の真の陽性率と比較する。認められ得るように、データセットは、プロットの上の隅に接近するように伸び、これは、感度分析プロセスを図示すると認識され得る。ＲＯＣ曲線下の面積は、多くの実施形態が画像データを分析して、線維性状態の異なるレベルの特定の特性を正確に認識する改善された能力を図示することが認識され得る。例えば、多くの実施形態において、訓練されたニューラルネットワークは、それらの結合組織ネットワーク特性に基づいて、正常皮膚と、正常瘢痕、肥厚性瘢痕、ケロイド、および／または線条との間を区別するために十分感度が高い。５つの線維性状態のみが例証されるものの、多くの実施形態が、任意の数の線維性状態に対して高感度であり得るニューラルネットワークを利用し得ることが認識される。

【0069】

例えば、図１１Ａおよび１１Ｂは、全身性強皮症に関する画像データの匹敵するＲＯＣプロットおよび関連するコホートダイアグラムを図示する。図１１Ａは、正常皮膚の画像および全身性強皮症の臨床上の証拠を有する個体からのサンプルを分類するにあたって、ニューラルネットワークの性能のＲＯＣ曲線を図示する。図１１Ｂは、全身性強皮症の臨床上の証拠を有する個体からのサンプル画像を分類するにあたって、ニューラルネットワークの性能のＲＯＣ曲線を図示する。上記サンプル画像は、正常組織および線維性の組織の両方に由来した。それぞれの曲線は、ネットワークの感度および線維性状態の種々のレベルを検出する能力を図示することが認められ得る。グラフは、多くの実施形態が特定の疾患の異なるレベルおよび進行を検出する能力を図示する。

【0070】

図１２Ａ～１３Ｂは、それぞれ、骨髄線維症および肝硬変に関する病理医の組織分析と比較した場合の、ニューラルネットワーク分析の種々の実施形態からの出力データセットを図示する。図１２Ａは、骨髄線維症疾患強度レベルに基づく画像データのデータクラスター化を図示する。上記分析は、０～３（１２０２～１２０８）までの範囲に及ぶ強度スコアを有する４つの異なるクラスターを生成した。図１２Ｂは、ニューラルネットワーク分析と類似のデータセットに関する病理医の分析と間の比較を図示する。ニューラルネットワーク分析は、中間範囲のスコアの中での疾患強度レベルの変化に対して、病理医より高感度であり得ることが認識され得る。従って、多くの実施形態が、より旧来の病理分析より改善された能力を提供することが認識され得る。同様に、図１３Ａおよび１３Ｂは、５つの別個のクラスター（１３０２～１３１０）を代表する０～４の範囲に及ぶ強度スコアに対する同様の能力を図示する。よって、上記ニューラルネットワークは、中間範囲スコアの中で改善された能力を、および極端なスコアに対して病理医のものと同様の感度を示した。

【0071】

図５Ａおよび５Ｂに関して以前に記載したように、多くの実施形態は、組織画像サンプルに対して定量され得るパラメーターの数の拡大を利用し得る。例えば、図１４Ａおよび１４Ｂは、２９４個のパラメーターにわたって比較した肝硬変の種々のｔ－ＳＮＥ（Ｔ分布型確率的近傍埋め込み）プロットを図示する。疾患の重篤度間の分離は、図６～１３Ｂに図示されるデータと比較して、より多くのパラメーターセットで改善されることが図示され得る。種々の実施形態によれば、機械学習アルゴリズムは、パラメーターの数を学習し、拡張し続けることができ、従って、データセットにわたって上記システムの感度を改善して、それぞれの疾患の重篤度の異なるレベルを図示する助けになる。このような増大したパラメーターを比較する場合、上記改善された感度が効果的な診断ツールを提供し得ることは、さらに認識され得る。さらに、改善された診断は、医療提供者が、疾患の特定のレベルに向けて標的化される処置プランをより効果的に確立するのを助け得る。例えば、疾患の重篤度レベルに応じて、異なる処置プランが確立され得る（例えば、手術または侵襲性の低い技術）。本明細書で記載される方法の改善された感度によって容易に認識され得るように、線維症の特定のレベルの早期の検出が、有効な処置プランの確立において有益であり得る。以前の診断方法は、不適切な処置プランをもたらし得る線維症のレベルの不正確な決定を生じていた可能性がある。多くの実施形態によれば、有効な処置プランが確立され得、本明細書で記載される改善された感度に起因して、線維症の特定のレベルに向けて正確に標的化され得る。

【0072】

上記の考察は、種々の組織分析技術ならびに／または組織サンプル分析において使用および／もしくは定量され得るパラメーターに焦点を当てた。考察される技術および／またはパラメーターは、本明細書で例証されるものに限定されるのではなく、本明細書で記載される種々の実施形態に従って拡張され得ることは、理解されるべきである。さらに、定量されるパラメーターの数およびタイプが、特定の分析または画像タイプに限定されるのではなく、画像間でおよび画像処理の種々のステージで変動し得、それらが、合わせてまたは別個に使用され得ることは、認識されるべきである。さらに、以下で考察されるシステムおよび方法は、組み合わせて、または線維症の種々のレベルを分析し、診断し、処置するために記載される上記の技術およびパラメーターとは別個に使用され得る。

【0073】

分析のシステムおよび方法
ここで図１５に注意を向けると、多くの実施形態は、上記の方法のうちの多くを利用して組織画像データを分析するためのシステムへと組み込まれ得る。例えば、いくつかの実施形態は、処置装置１５０２を有する画像処理システム１５００からなり得る。上記処理装置は、メモリシステム１５０４またはいくつかのタイプのデータベースストレージシステムに接続され得る。メモリシステム１５０４は、ニューラルネットワーク訓練プログラム１５０６、および分析され得る種々の画像パラメーター１５０８を含むデータベースとともに構成され得る。さらなる実施形態は、種々の入力画像１５１４の分析において使用するための、種々のタイプの画像データ１５１０および／または既知の画像データベース１５１２を含み得る。種々の実施形態が、線維性組織サンプルおよび正常組織サンプルを含み得る患者に由来する多くの異なる画像１５１４を受容する能力があり得ることは認識され得る。上記で例証されるように、多くの実施形態は、線維性状態のタイプおよび重篤度の出力１５１６を生成するために、線維性の画像を処理、分析および比較する能力があり得る。さらに、多くの実施形態は、任意のその後の分析が最も直近のデータセットによって高められ得るように、以前の出力データ１５１８をシステムへと組み込み得る。

【0074】

図１６は、種々の組織サンプルの入力画像を処理および分析するための方法のフロー図を図示する。プロセス１６００は、１名またはこれより多くの患者の多くの入力画像を集め得るまたは受容し得る（１６０２）。プロセス１６００は、分析のために画像を単純化するために、種々の実施形態における入力画像をカラー逆畳み込みし得る（１６０４）。入力画像は、ノイズ低減（１６０６）を通じてさらに処理されて、細胞を除去し画像をスケルトン化画像へと低減し得る（１６０８）。次いで、上記スケルトン化画像１６０８は、重み付けされたパラメーターのセットに対して分析され得（１６１０）、次いで、既知のデータセットに対して比較されて（１６１２）、線維性状態のタイプおよび重篤度を適切に決定し得る（１６１４）。

【0075】

種々の他の実施形態において、プロセスは、さらなる工程を含み得るか、または入力画像に対するニューラルネットワークの感度を改善するために設計されたプロセスであり得る。例えば、図１７Ａおよび１７Ｂは、更新されたデータフォーム分析画像で強化され得るプロセス１７００を図示する。プロセス１７００は、カラー逆畳み込み（１７０４）およびノイズ低減（１７０６）を含む、処理するための入力画像を受容し得る（１７０２）。次いで、スケルトン化画像（１７０８）が分析され得（１７１０）、それぞれの疾患の画像の既知のデータベースと比較され得る（１７１２）。種々の実施形態において、次いで、新たなデータセットが、全体のシステムおよびニューラルネットワークの感度をさらに訓練または改善するために使用され得る。その後、ニューラルネットワークの連続的、自主的な更新は、増大したパラメーターの数が使用されることを可能にし得、これは、状態および／または重篤度に関して画像を正確に分析するシステムの能力をさらに増強する。図１７Ａは、それぞれの画像を分析および定量するために使用されるパラメーターを拡張するために、上記システムへの割り当てられた診断１７１６の連続更新１７１４を図示する。

【0076】

図１８および１９は、それぞれ、広範な処理を通じて起こり得る画像に配置されたラベルがないことに起因して、教師なしと考えられるプロセス１８００および１９００の種々の実施形態を図示する。教師なしのシステムの１つの例は、畳み込みニューラルネットワークであり得る。このネットワークは、これに提供される状態のセットに依拠するよりむしろ、提供される異なる状態を区別し得るそれら自体の画像特徴を効果的に規定する接続された「隠れ層」ニューロンの多くの層を含む。多くの実施形態において、プロセス１８００は、画像を受容し（１８０２）、所定の疾患に関する所望のパラメーターのセットに対して上記画像を評価する（１８０４）。その評価した画像は、次いで、疾患の適切な分類に関する既知のデータベースと比較され得る（１８０６）。種々の状態は、以前に考察したプロセスのようにより高いレベルの画像処理が可能でない場合もある。従って、種々の実施形態は、疾患および重篤度を割り当てるまたは決定する（１８０８）ために、あまり処理されていない画像を分析する（１８０４）ために適応させ得る。よって、画像およびデータセットの数の増大とともに、プロセス１８００の感度の改善が達成され得ることは、認識され得る。同様に、教師なしのシステムに適用されるように、画像の分析は、ニューラルネットワーク構成の深さに依存して、増大した数のパラメーターを提供するように機能し得る。例えば、図１９中のプロセス１９００は、システムまたはデータベースが情報とともに更新され得る実施形態を図示する。多くの実施形態において、プロセス１９００は、受容した（１９０２）画像を分析するためのプロセスを図示する。受容した（１９０２）画像は、既知のパラメーターのセットに対して評価され得（１９０４）、定量され得る（１９０６）。プロセスが、継続して、画像サンプルを処理するにつれ、それは、システムによって発見されたとおりの新たなパラメーターで連続して更新される１９０８。その後、分析した画像は、線維症のレベルを表し得る画像の診断スコアを割り当てる（１９１０）ために使用され得る。認識され得るように、診断した状態のための処置プランを確立するさらなる工程（１９１２）は、図１９Ｂに図示されるように実行され得る。

【0077】

上記の考察は、線維性組織分析を実施するために使用され得る種々のシステムおよび方法に焦点を当てた。本明細書で記載されるシステムおよび方法が組織画像処理、分析、診断、および／または処置を行うために、組み合わせてまたは別個に使用され得ることは、理解されるべきである。

【0078】

要旨および均等論
上記の考察から推論され得るように、上述の概念は、本発明の実施形態に従って種々の取り合わせにおいて実行され得る。具体的には、組織サンプル画像を特定の疾患カテゴリー／重篤度に分類するために、組織サンプル画像を受容し、それらを分析することができるシステムおよび方法は、診断および処置の決定のために使用され得る。

【0079】

よって、本発明は、ある特定の具体的局面において記載されてきたものの、多くのさらなる改変およびバリエーションは、当業者に明らかである。従って、本発明が、具体的に記載されるもの以外に実施され得ることは、理解されるべきである。従って、本発明の実施形態は、全ての点において例証として解釈されるべきであって、限定として解釈されるべきではない。

【図1】

【図2】

【図3】

【図4】

【図5-1】

【図5-2】

【図6-1】

【図6-2】

【図6-3】

【図7-1】

【図7-2】

【図8】

【図9】

【図10】

【図11-1】

【図11-2】

【図12-1】

【図12-2】

【図13-1】

【図13-2】

【図14-1】

【図14-2】

【図15】

【図16】

【図17-1】

【図17-2】

【図18】

【図19-1】

【図19-2】

【国際調査報告】