特表 2024-525453 医用画像における線維性被膜の検出

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-07-12

(54)【発明の名称】医用画像における線維性被膜の検出

(51)【国際特許分類】

   A61B 1/045 20060101AFI20240705BHJP

   G06T 7/00 20170101ALI20240705BHJP

   G06V 10/82 20220101ALI20240705BHJP

   A61B 1/313 20060101ALI20240705BHJP

   A61B 1/00 20060101ALI20240705BHJP

   A61B 8/12 20060101ALI20240705BHJP

【ＦＩ】

A61B1/045 619

G06T7/00 612

G06T7/00 350C

G06V10/82

A61B1/313 510

A61B1/045 614

A61B1/045 618

A61B1/00 526

A61B1/00 530

A61B8/12

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2023580528

(86)(22)【出願日】2022-06-30

(85)【翻訳文提出日】2024-02-27

(86)【国際出願番号】 US2022035800

(87)【国際公開番号】W WO2023278753

(87)【国際公開日】2023-01-05

(31)【優先権主張番号】63/217,527

(32)【優先日】2021-07-01

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】509128672

【氏名又は名称】ライトラボ・イメージング・インコーポレーテッド

(74)【代理人】

【識別番号】100099623

【弁理士】

【氏名又は名称】奥山 尚一

(74)【代理人】

【識別番号】100125380

【弁理士】

【氏名又は名称】中村 綾子

(74)【代理人】

【識別番号】100142996

【弁理士】

【氏名又は名称】森本 聡二

(74)【代理人】

【識別番号】100166268

【弁理士】

【氏名又は名称】田中 祐

(72)【発明者】

【氏名】ブレイバー，ジャスティン，アキラ

(72)【発明者】

【氏名】ゴピナス，アジェイ

(72)【発明者】

【氏名】アミス，グレゴリー，パトリック

(72)【発明者】

【氏名】サヴィッジ，カイル，エドワード

【テーマコード（参考）】

4C161

4C601

5L096

【Ｆターム（参考）】

4C161AA22

4C161BB08

4C161CC07

4C161FF40

4C161FF46

4C161HH51

4C161MM10

4C161NN01

4C161QQ09

4C161RR01

4C161RR17

4C161SS21

4C161WW02

4C161WW04

4C161WW08

4C161WW13

4C161WW16

4C601DD14

4C601EE11

4C601FE04

4C601JC15

4C601JC37

5L096BA06

5L096BA13

5L096GA51

5L096HA11

5L096KA04

(57)【要約】

本開示の態様は、血管の医用画像において線維性被膜を特定することによる脂質検出のための、コンピュータ可読記憶媒体を含む方法、システム及び装置を提供する。方法は、血管の１つ以上の入力画像を受け付けるステップと、血管の線維性被膜の位置を特定できるようにトレーニングされた機械学習モデルを用いて１つ以上の入力画像を処理するステップとを含む。機械学習モデルは、各々が１つ以上の線維性被膜の位置を用いてアノテーションがなされた複数のトレーニング画像を使用してトレーニングされる。方法は、入力画像の異なる位置において測定された半径方向信号強度の差に基づいて、脂質プールの線維性被膜を特定し特徴付けることを含む。システムは、脂質性プラークを覆う線維性被膜の予測された位置を表す視覚的にアノテーションがなされたセグメントを有する１つ以上の出力画像を生成することができる。
【選択図】図１

【特許請求の範囲】

【請求項1】

１つ以上のプロセッサが、血管の１つ以上の入力画像を受け付けるステップと、
前記１つ以上のプロセッサが、血管の線維性被膜の位置を特定できるようにトレーニングされた機械学習モデルを用いて前記１つ以上の入力画像を処理するステップであって、前記機械学習モデルは、１つ以上の線維性被膜の１つ以上の位置を用いてアノテーションがなされた複数のトレーニング画像によりトレーニングがされており、各線維性被膜はそれぞれの脂質プールに隣接している、ステップと、
前記１つ以上のプロセッサが、前記機械学習モデルの出力として、予測された線維性被膜の位置が表されるよう視覚的にアノテーションがなされたセグメントを有する１つ以上の出力画像を受け付けるステップと、
前記１つ以上のプロセッサを使用して、前記１つ以上の出力画像から、前記１つ以上の入力画像における複数の点の信号強度に基づいて、隣接する脂質プールを基準とする線維性被膜の更新された境界を生成するステップと
を含む、血管の線維性被膜を特定する方法。

【請求項2】

前記１つ以上の入力画像は、カルシウムと前記血管の管腔と中膜との少なくともいずれかの位置に対応するセグメントを用いて更にアノテーションがなされる、請求項１に記載の方法。

【請求項3】

前記１つ以上の入力画像は、中膜の１つ以上の領域を表すアノテーション付きセグメントを含み、
前記１つ以上の入力画像は、前記血管における撮像プローブの引戻しの際に前記撮像プローブから受け付けられた画像であり、
前記方法は、
前記１つ以上のプロセッサが、前記１つ以上の入力画像における中膜の領域の予測されたアノテーションと、前記１つ以上の入力画像における中膜の領域の１つ以上のグラウンドトゥルースアノテーションとの比較に基づいて、前記１つ以上の入力画像の平均信号対雑音比（ＳＮＲ）を推定するステップと、
それに応じて、前記平均ＳＮＲが所定の閾値を下回ると判定されると、前記１つ以上のプロセッサが前記１つ以上の入力画像に対応する前記１つ以上の出力画像にフラグを付けるステップと
を更に含む、請求項２に記載の方法。

【請求項4】

前記撮像プローブが、光干渉断層撮影法（ＯＣＴ）撮像プローブと、血管内超音波法（ＩＶＵＳ）撮像プローブと、近赤外分光法（ＮＩＲＳ）撮像プローブと、ＯＣＴ－ＮＩＲＳ撮像プローブと、マイクロＯＣＴ（μＯＣＴ）撮像プローブとのいずれかである、請求項３に記載の方法。

【請求項5】

前記複数の点は、前記線維性被膜を囲む１つ以上のアーク線に沿ったものである、請求項１に記載の方法。

【請求項6】

前記１つ以上の出力画像を受け付けるステップは、入力画像ごとに、線維性被膜の予測された位置を表す当該入力画像の視覚的にアノテーションがなされた各セグメントを受け付けるステップを含む、請求項１に記載の方法。

【請求項7】

前記１つ以上のプロセッサが、前記１つ以上の出力画像のそれぞれにつき、当該出力画像において位置が予測された各線維性被膜の１つ以上の厚さの測定値を受け付けるステップを更に含む請求項１に記載の方法。

【請求項8】

前記更新された境界を生成するステップは、
前記１つ以上のプロセッサが、前記線維性被膜を囲む１つ以上のアーク線に沿った複数の点の信号強度を測定するステップと、
前記１つ以上のプロセッサが、前記複数の点の信号強度の測定された減衰率と、脂質の線維性被膜を通じた信号強度の所定の減衰率との比較に基づき、前記線維性被膜と前記隣接する脂質プールとの境界を判定するステップと
を含む、請求項１に記載の方法。

【請求項9】

前記線維性被膜と前記隣接する脂質プールとの境界を判定するステップは、前記複数の点のうち、前記複数の点におけるピーク信号強度に所定の閾値の範囲内で比例する信号強度の測定値を有する点を特定するステップを含む、請求項８に記載の方法。

【請求項10】

血管の１つ以上の入力画像を受け付けるステップと、
血管の線維性被膜の位置を特定できるようにトレーニングされた機械学習モデルを用いて前記１つ以上の入力画像を処理するステップであって、前記機械学習モデルは、１つ以上の線維性被膜の位置を用いてアノテーションがなされた複数のトレーニング画像によりトレーニングがされており、各線維性被膜はそれぞれの脂質プールに隣接している、ステップと、
前記機械学習モデルの出力として、予測された線維性被膜の位置が表されるよう視覚的にアノテーションがなされたセグメントを有する１つ以上の出力画像を受け付けるステップと、
前記１つ以上の出力画像から、前記１つ以上の入力画像における複数の点の信号強度に基づいて、隣接する脂質プールを基準とする線維性被膜の更新された境界を生成するステップと
を行う１つ以上のプロセッサを備えるシステム。

【請求項11】

前記１つ以上の入力画像は、カルシウムと前記血管の管腔と中膜との少なくともいずれかの位置に対応するセグメントを用いて更にアノテーションがなされる、請求項１０に記載のシステム。

【請求項12】

前記１つ以上の入力画像は、中膜の１つ以上の領域を表すアノテーション付きセグメントを含み、
前記１つ以上の入力画像は、前記血管における撮像プローブの引戻しの際に前記撮像プローブから受け付けられた画像であり、
前記１つ以上のプロセッサは更に、
前記１つ以上の入力画像における中膜の領域の予測されたアノテーションと、前記１つ以上の入力画像における中膜の領域の１つ以上のグラウンドトゥルースアノテーションとの比較に基づいて、前記１つ以上の入力画像の平均信号対雑音比（ＳＮＲ）を推定するステップと、
それに応じて、前記平均ＳＮＲが所定の閾値を下回ると判定されると、前記１つ以上の入力画像に対応する前記１つ以上の出力画像にフラグを付けるステップと
を行う、請求項１１に記載のシステム。

【請求項13】

前記撮像プローブが、光干渉断層撮影法（ＯＣＴ）撮像プローブと、血管内超音波法（ＩＶＵＳ）撮像プローブと、近赤外分光法（ＮＩＲＳ）撮像プローブと、ＯＣＴ－ＮＩＲＳ撮像プローブと、マイクロＯＣＴ（μＯＣＴ）撮像プローブとのいずれかである、請求項１２に記載のシステム。

【請求項14】

前記複数の点は、前記線維性被膜を囲む１つ以上のアーク線に沿ったものである、請求項１０に記載のシステム。

【請求項15】

前記１つ以上の出力画像を受け付けるステップは、入力画像ごとに、線維性被膜の予測された位置を表す当該入力画像の視覚的にアノテーションがなされた各セグメントを受け付けるステップを含む、請求項１１に記載のシステム。

【請求項16】

前記１つ以上のプロセッサが更に、前記１つ以上の出力画像のそれぞれにつき、当該出力画像において位置が予測された各線維性被膜の１つ以上の厚さの測定値を受け付けるステップを行う、請求項１１に記載のシステム。

【請求項17】

前記システムは、前記１つ以上のプロセッサに通信可能に接続される撮像プローブを更に備え、
前記１つ以上のプロセッサは更に、前記血管の前記１つ以上の入力画像を受け付けるために、前記撮像プローブが前記血管の内部にある際、前記撮像プローブから前記１つ以上の入力画像に対応する画像データを受け付ける、
請求項１１に記載のシステム。

【請求項18】

前記更新された境界を生成するステップにおいて、前記１つ以上のプロセッサは更に、
前記線維性被膜を囲む１つ以上のアーク線に沿った複数の点の信号強度を測定するステップと、
前記複数の点の信号強度の測定された減衰率と、脂質の線維性被膜を通じた信号強度の所定の減衰率との比較に基づき、前記線維性被膜と前記隣接する脂質プールとの境界を判定するステップと
を行う、請求項１１に記載のシステム。

【請求項19】

前記線維性被膜と前記隣接する脂質プールとの境界を判定するために、前記１つ以上のプロセッサは更に、前記複数の点のうち、前記複数の点におけるピーク信号強度に所定の閾値の範囲内で比例する信号強度の測定値を有する点を特定するステップを行う、請求項１８に記載のシステム。

【請求項20】

１つ以上のプロセッサによって実行されると、前記１つ以上のプロセッサに処理を実行させる命令を記憶した１つ以上の非一時的コンピュータ可読媒体であって、
前記処理は、
血管の１つ以上の入力画像を受け付けるステップと、
血管の線維性被膜の位置を特定できるようにトレーニングされた機械学習モデルを用いて前記１つ以上の入力画像を処理するステップであって、前記機械学習モデルは、１つ以上の線維性被膜の位置を用いてアノテーションが各々なされた複数のトレーニング画像によりトレーニングがされており、各線維性被膜はそれぞれの脂質プールに隣接している、ステップと、
前記機械学習モデルの出力として、予測された線維性被膜の位置が表されるよう視覚的にアノテーションがなされたセグメントを有する１つ以上の出力画像を受け付けるステップと、
前記１つ以上の出力画像から、前記１つ以上の入力画像における複数の点の信号強度に基づいて、隣接する脂質プールを基準とする線維性被膜の更新された境界を生成するステップと
を含む、
非一時的コンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

［関連出願の相互参照］
本出願は、２０２１年７月１日に出願された、「FIBROTIC CAP DETECTION IN MEDICAL IMAGES」と題する米国仮特許出願第６３／２１７，５２７号の出願日の利益を主張する。この米国仮特許出願の開示内容は、引用することによって本明細書の一部をなすものとする。

【背景技術】

【0002】

光干渉断層撮影法（ＯＣＴ：optical coherence tomography）は、眼科学、心臓病学、胃腸病学、並びに他の医学分野及び科学的研究において広範な用途を有する撮像技法である。ＯＣＴは、血管内超音波法（ＩＶＵＳ：intravascular ultrasound）、近赤外分光法（ＮＩＲＳ：near-infrared spectroscopy）、血管造影法、蛍光透視法、及びＸ線ベース撮像法等の様々な他の撮像技術とともに使用することができる。

【0003】

撮像を行うために、撮像プローブをカテーテルに取り付け、患者の血管等の関心点又は関心領域を通るように撮像プローブを操作することができる。撮像プローブは、関心点の複数の画像フレームを返すことができ、これらの画像フレームは、例えば、病状を有する患者を診断するために、又は科学的研究の一部として更に処理又は分析することができる。通常の動脈は、内膜、中膜、及び外膜を含む層状構造を有する。アテローム性動脈硬化等のいくつかの病状の結果として、動脈の内膜又は他の部分は、種々のタイプの繊維、プロテオグリカン、脂質、又はカルシウムから形成される可能性があるプラークを含む場合がある。

【0004】

ニューラルネットワークは、受け付けられた入力に対する出力を予測する非線形演算をする１つ以上の層を含む機械学習モデルである。いくつかのニューラルネットワークは、入力層及び出力層に加えて、１つ以上の隠れ層を含む。各隠れ層の出力は、ニューラルネットワークの別の隠れ層又は出力層に入力することができる。ニューラルネットワークの各層は、その層の１つ以上のモデルパラメータの値に従って、受け付けられた入力からそれぞれの出力を生成することができる。モデルパラメータは、重み又はバイアスとすることができる。モデルパラメータ値及びバイアスは、ニューラルネットワークに正確な出力を生成させるためのトレーニングアルゴリズムにより求められる。

【発明の概要】

【0005】

本開示の態様は、血管画像に示された脂質の領域又はプールに隣接する線維性被膜（fibrotic cap）の自動検出及び自動特徴付けを提供する。１つ以上のプロセッサを備えるシステムが、撮像された血管の周辺の脂質プールの線維性被膜を表すセグメントを用いてアノテーションがなされた血管の画像を受け付けることができる。システムは、これらの画像を処理して、背景、血管の管腔、中膜、及び／又はカルシウムを示す画像の部分を表すセグメントに更にアノテーションを行うことができる。これらの処理された画像から、システムは、血管の入力画像に示された線維性被膜の１つ以上のセグメントであって、撮像された血管を取り囲む組織内の脂質プールを示すセグメントを特定できるように１つ以上の機械学習モデルをトレーニングすることができる。

【0006】

付加的に、又は代替的に、システムは、撮像された管腔のエッジを通って周囲の組織に入る撮像信号強度の減衰率の測定に基づいて、脂質プールの線維性被膜を検出し、特徴付けることができる。既知のサンプルとの減衰率の比較に基づいて、システムは、脂質プールの線維性被膜の位置を予測することができるとともに、線維性被膜の特性を推定することができる。例示の特性は、その厚さ及び／又は線維性被膜と脂質プールとの間の境界等を含むことができる。

【0007】

本開示の態様は、血管の医用画像において線維性被膜を特定することによる脂質検出のための、コンピュータ可読記憶媒体を含む方法、システム、及び装置を提供する。方法は、血管の１つ以上の入力画像を受け付けることと、血管の線維性被膜の位置を特定するようにトレーニングされた機械学習モデルを使用して１つ以上の入力画像を処理することとを含む。機械学習モデルは、各トレーニング画像が１つ以上の線維性被膜の位置を用いてアノテーションがなされた複数のトレーニング画像を使用してトレーニングされる。方法は、入力画像の異なる位置において測定された半径方向信号強度の相違に基づいて、脂質プールの線維性被膜を特定し、特徴付けることを含む。システムは、線維性被膜の予測された位置を表す視覚的にアノテーションがなされたセグメントを有する１つ以上の出力画像を生成することができる。

【0008】

線維性被膜は、脂質性プラークの上を覆う場合がある。本開示の態様は、線維性被膜を特定して、下部にある脂質性プラークを特定することを提供する。

【0009】

本開示の一態様は、１つ以上のプロセッサが、血管の１つ以上の入力画像を受け付けることと、１つ以上のプロセッサが、血管の線維性被膜の位置を特定するようにトレーニングされた機械学習モデルを使用して１つ以上の入力画像を処理することであって、機械学習モデルは、１つ以上の線維性被膜の１つ以上の位置を用いてアノテーションがなされた複数のトレーニング画像を使用してトレーニングされ、各線維性被膜はそれぞれの脂質プールに隣接していることと、１つ以上のプロセッサが、線維性被膜の予測された位置を表す視覚的にアノテーションがなされたセグメントを有する１つ以上の出力画像を機械学習モデルからの出力として受け付けることとを含む、血管の線維性被膜特定の方法を含む。

【0010】

本開示の一態様は、血管の１つ以上の入力画像を受け付けることと、血管の線維性被膜の位置を特定するようにトレーニングされた機械学習モデルを使用して１つ以上の入力画像を処理することであって、機械学習モデルは、１つ以上の線維性被膜の位置を用いてアノテーションがなされた複数のトレーニング画像を使用してトレーニングされ、各線維性被膜はそれぞれの脂質プールに隣接していることと、線維性被膜の予測された位置を表すか又は図示するように視覚的にアノテーションがなされたセグメントを有する１つ以上の出力画像を機械学習モデルからの出力として受け付けることとを行うように構成される１つ以上のプロセッサを備える、システムを含む。

【0011】

本開示の一態様は、１つ以上のプロセッサによって実行されると、１つ以上のプロセッサに動作を実行させる命令を記憶する１つ以上の非一時的コンピュータ可読媒体であって、動作は、血管の１つ以上の入力画像を受け付けることと、血管の線維性被膜の位置を特定するようにトレーニングされた機械学習モデルを使用して１つ以上の入力画像を処理することであって、機械学習モデルは、１つ以上の線維性被膜の位置を用いてそれぞれアノテーションがなされた複数のトレーニング画像を使用してトレーニングされ、各線維性被膜はそれぞれの脂質プールに隣接していることと、線維性被膜の予測された位置を表す視覚的にアノテーションがなされたセグメントを有する１つ以上の出力画像を機械学習モデルからの出力として受け付けることとを含む、非一時的コンピュータ可読媒体を含む。

【0012】

本開示の一態様は、１つ以上のプロセッサが、血管の１つ以上の入力画像を受け付けることと、１つ以上のプロセッサが、血管の線維性被膜の位置を特定するようにトレーニングされた機械学習モデルを使用して１つ以上の入力画像を処理することであって、機械学習モデルは、１つ以上の線維性被膜の１つ以上の位置を用いてアノテーションがなされた複数のトレーニング画像を使用してトレーニングされ、各線維性被膜はそれぞれの脂質プールに隣接していることと、１つ以上のプロセッサが、線維性被膜の予測された位置を表す視覚的にアノテーションがなされたセグメントを有する１つ以上の出力画像を機械学習モデルからの出力として受け付けることと、１つ以上のプロセッサを使用して、１つ以上の出力画像から、１つ以上の入力画像における複数の点の信号強度に基づいて、隣接する脂質プールを基準とする線維性被膜の更新された境界を生成することとを含む、血管の線維性被膜特定の方法を提供する。複数の点は、線維性被膜を囲む１つ以上のアーク線に沿ったものとすることができる。

【0013】

更新された境界を生成することは、線維性被膜を囲む１つ以上のアーク線に沿った複数の点の信号強度を測定することと、複数の点の信号強度の測定された減衰率と、脂質の線維性被膜を通る信号強度の所定の減衰率との比較に基づいて、線維性被膜と隣接する脂質プールとの間の境界を求めることとを含むことができる。信号強度は、この信号強度のプロファイルを含むメタデータとして記憶することができる。

【0014】

方法は、１つ以上の線維性被膜の位置に基づいて脂質性プラークを特定することを更に含むことができる。更新された境界を生成することは、測定された信号強度を含むとともに１つ以上の入力画像に関連付けられた半径方向強度プロファイルに基づいて境界を更新することを含むことができる。

【0015】

上記のものの他の態様は、線維性被膜検出の方法を実行するように構成される１つ以上のプロセッサを備えるシステムを含む。上記のものの他の態様は、１つ以上のプロセッサによって実行されると、この１つ以上のプロセッサに線維性被膜検出の方法を実行させる命令を記憶する１つ以上のコンピュータ可読記憶媒体を含む。

【0016】

本開示の一態様は、血管の線維性被膜特定の方法を提供し、この方法は、１つ以上のプロセッサが、血管の１つ以上の入力画像を受け付けることと、１つ以上のプロセッサを使用して、隣接する脂質プールを基準とする線維性被膜の境界を含む１つ以上の第１の出力画像を生成することであって、この生成することは、１つ以上の入力画像における複数の点の信号強度に基づくことと、１つ以上のプロセッサが、血管の線維性被膜の位置を特定するようにトレーニングされた機械学習モデルを使用して１つ以上の入力画像を処理することであって、機械学習モデルは、１つ以上の線維性被膜の１つ以上の位置を用いてアノテーションがなされた複数のトレーニング画像を使用してトレーニングされ、各線維性被膜はそれぞれの脂質プールに隣接していることと、１つ以上のプロセッサが、機械学習モデルからの出力として、線維性被膜の予測された位置を表す視覚的にアノテーションがなされたセグメントを有する１つ以上の第２の出力画像を受け付けることと、１つ以上の第２の出力画像を使用して、１つ以上の第１の出力画像における線維性被膜の境界を更新することとを含む。複数の点は、線維性被膜を囲む１つ以上のアーク線に沿ったものとすることができる。

【0017】

本開示の一態様は、血管の線維性被膜特定の方法を提供し、この方法は、１つ以上のプロセッサが、血管の１つ以上の入力画像を受け付けることと、１つ以上のプロセッサを使用して、隣接する脂質プールを基準とする線維性被膜の境界を含む１つ以上の第１の出力画像を生成することであって、この生成することは、１つ以上の入力画像における複数の点の信号強度に基づくことと、１つ以上のプロセッサが、血管の線維性被膜の位置を特定するようにトレーニングされた機械学習モデルを使用して１つ以上の第１の出力画像を処理することであって、機械学習モデルは、１つ以上の線維性被膜の１つ以上の位置を用いてアノテーションがなされた複数のトレーニング画像を使用してトレーニングされ、各線維性被膜はそれぞれの脂質プールに隣接していることと、１つ以上のプロセッサが、機械学習モデルからの出力として、線維性被膜の予測された位置を表す視覚的にアノテーションがなされたセグメントを有する１つ以上の更新された出力画像を受け付けることとを含む。

【0018】

方法は、特定された１つ以上の線維性被膜の位置に基づいて１つ以上の脂質性プラークを特定することを更に含むことができる。方法は、測定された信号強度をプロファイルとして１つ以上の出力画像に対応するメタデータに保存することを更に含むことができる。１つ以上の更新された出力画像は、測定された信号強度のプロファイルを使用して更新することができ、この更新することは、機械学習モデルを使用して生成された１つ以上の線維性被膜の境界を変更することを含む。

【0019】

本開示の上記態様及び他の態様は、以下の特徴のうちの１つ以上を含むことができる。いくつかの実施態様では、本開示の一態様は、以下の特徴の全てを組み合わせて含むことができる。

【0020】

１つ以上の入力画像は、カルシウム、血管の管腔、又は中膜のうちの少なくとも１つの位置に対応するセグメントを用いて更にアノテーションを行うことができる。

【0021】

１つ以上の入力画像は、中膜の１つ以上の領域を表すアノテーション付きセグメントを含み、１つ以上の入力画像は、血管で撮像プローブの引き戻し中に撮像プローブから受け付けられた画像であり、方法又は動作は、１つ以上のプロセッサが、１つ以上の入力画像における中膜の領域の予測されたアノテーションと、１つ以上の入力画像における中膜の領域の１つ以上のグラウンドトゥルースアノテーションとの比較に基づいて、１つ以上の入力画像の平均信号対雑音比（ＳＮＲ）を推定することと、これに応じて、１つ以上のプロセッサが、平均ＳＮＲが所定の閾値を下回るとの判断に応じて、１つ以上の入力画像に対応する１つ以上の出力画像にフラグ付けすることとを更に含む。

【0022】

撮像プローブは、光干渉断層撮影法（ＯＣＴ）撮像プローブ、血管内超音波法（ＩＶＵＳ）撮像プローブ、近赤外分光法（ＮＩＲＳ）撮像プローブ、ＯＣＴ－ＮＩＲＳ撮像プローブ、マイクロＯＣＴ（μＯＣＴ）撮像プローブ等とすることができる。いくつかの例では、撮像プローブは、上記撮像技法及び他の撮像技法の組み合わせに従って画像を生成するように構成することができる。

【0023】

撮像プローブは、光干渉断層撮影法（ＯＣＴ）撮像プローブとすることができる。

【0024】

１つ以上の出力画像を受け付けることは、各入力画像について、線維性被膜の予測された位置を表す入力画像のそれぞれの視覚的アノテーション付きセグメントを受け付けることを含むことができる。

【0025】

方法又は動作は、１つ以上のプロセッサが、１つ以上の出力画像のそれぞれについて、その位置が出力画像において予測される各線維性被膜の厚さの１つ以上の測定値を受け付けることを更に含むことができる。

【0026】

方法又は動作は、１つ以上のプロセッサを使用して、１つ以上の出力画像から、隣接する脂質プールを基準とする線維性被膜の更新された境界を生成することを更に含むことができ、生成することは、１つ以上のプロセッサが、１つ以上の入力画像における複数の点の信号強度を測定することと、１つ以上のプロセッサが、複数の点の信号強度の測定された減衰率と、脂質の線維性被膜を通る信号強度の所定の減衰率との比較に基づいて、線維性被膜と隣接する脂質プール又は脂質性プラークとの間の境界を求めることとを含む。複数の点は、線維性被膜を囲む１つ以上のアーク線に沿ったものとすることができる。

【0027】

線維性被膜と隣接する脂質プールとの間の境界を求めることは、複数の点の中で、所定の閾値内で複数の点のピーク信号強度に比例する測定された信号強度を有する点を特定することを含むことができる。

【0028】

システムは、１つ以上のプロセッサに通信可能に接続された撮像プローブを更に備えることができ、血管の１つ以上の入力画像を受け付けることは、撮像プローブが血管の内部にある間、撮像プローブから１つ以上の入力画像に対応する画像データを受け付けることを含むことができる。

【0029】

システムは、画像データを表示するように構成される１つ以上のディスプレイデバイスを更に備えることができ、１つ以上のプロセッサは、１つ以上の出力画像を１つ以上のディスプレイデバイス上に表示するように更に構成される。

【0030】

本開示の一態様は、血管の線維性被膜特定の機械学習モデルをトレーニングする方法を含み、この方法は、１つ以上のプロセッサが、複数のトレーニング画像を受け付けることであって、各トレーニング画像は、このトレーニング画像における１つ以上の線維性被膜の１つ以上の位置を用いてアノテーションがなされ、各線維性被膜はそれぞれの脂質プールに隣接していることと、１つ以上のプロセッサが、複数のトレーニング画像を処理して、カルシウム、血管の管腔、又は中膜のうちの少なくとも１つの位置を用いて各トレーニング画像にアノテーションを行うことと、１つ以上のプロセッサが、処理された複数のトレーニング画像を使用して機械学習モデルをトレーニングすることとを含む。複数のトレーニング画像を処理することは、カルシウム、血管の管腔、及び中膜のうちの少なくとも１つの位置に対応する入力画像のセグメントを特定するようにトレーニングされた１つ以上の機械学習モデルを通じて複数のトレーニング画像を処理することを更に含む。

【0031】

本開示の一態様は、複数のトレーニング画像を受け付けることであって、各トレーニング画像は、このトレーニング画像における１つ以上の線維性被膜の位置を用いてアノテーションがなされ、各線維性被膜はそれぞれの脂質プールに隣接していることと、複数のトレーニング画像を処理して、カルシウム、血管の管腔、又は中膜のうちの少なくとも１つの位置に対応するそれぞれの１つ以上のセグメントを用いて各トレーニング画像にアノテーションをすることと、処理された複数のトレーニング画像を使用して機械学習モデルをトレーニングすることとを行うように構成される１つ以上のプロセッサを備えるシステムを提供する。

【0032】

本開示の一態様は、１つ以上のプロセッサによって実行されると、１つ以上のプロセッサに動作を実行させる命令を記憶する１つ以上の一時的コンピュータ可読媒体又は非一時的コンピュータ可読媒体を提供し、動作は、複数のトレーニング画像を受け付けることであって、各トレーニング画像は、このトレーニング画像における１つ以上の線維性被膜の位置を用いてアノテーションがなされ、各線維性被膜はそれぞれの脂質プールに隣接していることと、複数のトレーニング画像を処理して、カルシウム、血管の管腔、又は中膜のうちの少なくとも１つの位置に対応するそれぞれの１つ以上のセグメントを用いて各トレーニング画像にアノテーションをすることと、処理された複数のトレーニング画像を使用して機械学習モデルをトレーニングすることとを含む。

【0033】

機械学習モデルは、第１の機械学習モデルとすることができ、方法は、複数のモデルパラメータ値を含むとともに、血管の画像におけるカルシウム、血管の管腔、及び中膜のうちの少なくとも１つの位置に対応する入力画像のセグメントを特定するようにトレーニングされた第２の機械学習モデルを受け付けることを更に含むことができ、第１の機械学習モデルをトレーニングすることは、第２の機械学習モデルからのモデルパラメータ値の少なくとも一部分を用いてトレーニングを初期化することを含む。

【0034】

第２の機械学習モデルは、複数の層を含む畳み込みニューラルネットワークとすることができ、複数の層は出力層を含み、各層は１つ以上のそれぞれのモデルパラメータ値を含み、第１の機械学習モデルをトレーニングすることは、第２の機械学習モデルの出力層を、（ｉ）第２の機械学習モデルの出力層への入力を受け付けて、（ｉｉ）入力画像のセグメンテーションマップを出力として生成するように構成される新たな層と置き換えることであって、セグメンテーションマップは、入力画像における１つ以上の線維性被膜の予測された位置を表す入力画像のセグメントを特定するチャネルを含む複数のチャネルを含むことと、処理された複数のトレーニング画像を使用して、置き換えられた出力層を有する第２の機械学習モデルをトレーニングすることとを更に含むことができる。

【0035】

セグメンテーションマップの複数のチャネルは、カルシウム、血管の管腔、及び中膜のうちの少なくとも１つの予測された位置を表す入力画像のセグメントを特定する１つ以上のチャネルを更に含むことができる。

【0036】

置き換えられた出力層を有する第１の機械学習モデルをトレーニングすることは、第１の機械学習モデルの新たな層のモデルパラメータ値のみを更新することを更に含むことができる。

【0037】

複数のトレーニング画像を処理することは、第２の機械学習モデルを使用して複数のトレーニング画像を処理することを更に含むことができる。

【0038】

機械学習モデルをトレーニングすることは、血管の画像から、線維性被膜の予測された位置を表すこの画像の視覚的アノテーション付きセグメントを出力するように機械学習モデルをトレーニングすることを含むことができる。

【0039】

機械学習モデルをトレーニングすることは、血管の画像から、この画像において特定された各線維性被膜の厚さ及び長さのうちの少なくとも一方の１つ以上の測定値を出力するように機械学習モデルをトレーニングすることを含むことができる。

【0040】

撮像プローブは、光干渉断層撮影法（ＯＣＴ）撮像プローブ、血管内超音波法（ＩＶＵＳ）撮像プローブ、近赤外分光法（ＮＩＲＳ）撮像プローブ、ＯＣＴ－ＮＩＲＳ撮像プローブ、マイクロＯＣＴ（μＯＣＴ）撮像プローブ等とすることができる。いくつかの例では、撮像プローブは、マルチモーダル撮像用、例えば、ＯＣＴ、ＮＩＲＳ、ＯＣＴ－ＮＩＲＳ、μＯＣＴ等の組み合わせを使用した撮像用に構成することができる。

【0041】

複数のトレーニング画像は、光干渉断層撮影法（ＯＣＴ）を使用して撮影された画像である。

【0042】

本開示の一態様は、１つ以上のプロセッサが、血管の入力画像を受け付けることと、１つ以上のプロセッサが、入力画像における血管基準点を基準とするアーク線について、入力画像における複数の点のそれぞれの撮像信号のそれぞれの信号強度を計算することと、１つ以上のプロセッサが、基準点を基準とする複数の点のそれぞれの信号強度から、入力画像に示された脂質プールに隣接する線維性被膜を特定することとを含む方法を提供する。複数の点は、線維性被膜を囲む１つ以上のアーク線に沿ったものとすることができる。

【0043】

本開示の一態様は、１つ以上のプロセッサを備えるシステムを提供し、１つ以上のプロセッサは、血管の入力画像を受け付けることと、入力画像における血管基準点を基準とするアーク線について、入力画像における複数の点のそれぞれの撮像信号のそれぞれの信号強度を計算することと、基準点を基準とする複数の点のそれぞれの信号強度から、入力画像に示された脂質プールに隣接する線維性被膜を特定することとを行うように構成される。複数の点は、線維性被膜を囲む１つ以上のアーク線に沿ったものとすることができる。

【0044】

本開示の一態様は、１つ以上のプロセッサによって実行されると、１つ以上のプロセッサが血管の入力画像を受け付けることと、１つ以上のプロセッサが、入力画像における血管基準点を基準とするアーク線について、入力画像における複数の点のそれぞれの撮像信号のそれぞれの信号強度を計算することと、１つ以上のプロセッサが、基準点を基準とする複数の点のそれぞれの信号強度から、入力画像に示された脂質プールに隣接する線維性被膜を特定することとを含む動作を１つ以上のプロセッサに実行させる命令を記憶する１つ以上の一時的コンピュータ可読媒体又は非一時的コンピュータ可読媒体を提供する。複数の点は、線維性被膜を囲む１つ以上のアーク線に沿ったものとすることができる。

【0045】

本開示の上記態様及び他の態様は、以下の特徴のうちの１つ以上を含むことができる。

【0046】

基準点は、血管の管腔の中心とすることができる。

【0047】

入力画像に、線維性被膜に対応する１つ以上のアーク線を用いてアノテーションをすることができる。

【0048】

入力画像に、線維性被膜に対応するセグメントを用いてアノテーションをすることができ、特定することは、線維性被膜と脂質プールとの間の更新された境界を特定することを含む。入力画像に、この入力画像に示された線維性被膜の視覚表現を用いてアノテーションがなされ、方法又は動作は、基準点を基準として、線維性被膜を特徴付けるカバレッジ角に基づいて、１つ以上のアーク線を特定することを更に含むことができる。

【0049】

複数の点は、管腔の中心を基準として距離が増加する点のシーケンスを形成することができ、シーケンスの最初の点は基準点に最も近く、シーケンスの最後の点は基準点から最も遠く、線維性被膜と脂質プールとの間の更新された境界を特定することは、アーク線に沿った点のシーケンスにおける２つ以上の点のそれぞれの信号強度における信号強度の減衰率を計算することと、計算された減衰率が、線維性被膜及び脂質プールを通る信号強度の所定の減衰率の閾値内にあると判断することと、計算された減衰率が閾値内にあるとの判断に応じて、２つ以上の点の間の入力画像のセグメントを線維性被膜として特定することとを含むことができる。

【0050】

信号強度の減衰率を計算することは、１つ以上のアーク線に沿った２番目の点よりも管腔の中心から遠いアーク線のそれぞれの信号強度について、信号強度の減衰率を計算することを更に含むことができる。

【0051】

入力画像のセグメントを線維性被膜として特定することは、線維性被膜とこの線維性被膜に隣接する脂質プールとの間の境界にアノテーションをすることを更に含むことができる。

【0052】

計算された減衰率が所定の減衰率の閾値内にあると判断することは、計算された減衰率と、１つ以上のアーク線に沿った２つ以上の点と管腔の中心を基準とする同じ距離における点にわたる所定の減衰率を少なくとも部分的に含む曲線との間のフィッティング誤差を測定することを含む。

【0053】

方法又は動作は、計算された減衰率が、脂質プールの線維性被膜の所定の減衰率の閾値内にないとの判断に応じて、減衰率が、１つ以上の他の所定の減衰率のそれぞれの閾値内にあると判断することを更に含むことができ、他の所定の減衰率のそれぞれは、プラーク又は中膜のそれぞれの非脂質領域を通る撮像信号のそれぞれの測定された減衰率に対応する。

【0054】

方法又は動作は、複数の点の第１の点を、複数の点のそれぞれの信号強度を基準とするピーク信号強度に対応するものとして特定することと、複数の点の第２の点を、ピーク信号強度を基準とする閾値強度に等しいそれぞれの信号強度に対応するものとして特定することと、線維性被膜の厚さを、撮像された血管の管腔のエッジと第２のアーク線との間の距離として測定することとを更に含むことができる。

【0055】

ピーク信号強度を基準とする閾値強度は、８０パーセントとすることができる。

【0056】

方法又は動作は、特定された線維性被膜の厚さの測定値と、入力画像フレームの１つ以上のアーク線に沿った複数の点の減衰率との一方又は双方を１つ以上の所定の閾値と比較することと、厚さの測定値及び減衰率の一方又は双方が１つ以上の所定の閾値内にある場合には入力画像にフラグ付けすることとを更に含むことができる。

【0057】

方法又は動作は、線維性被膜の位置を用いてアノテーションがなされた入力画像を表示することを更に含むことができる。

【0058】

入力画像は、光干渉断層撮影法（ＯＣＴ）撮像プローブ、血管内超音波法（ＩＶＵＳ）撮像プローブ、近赤外分光法（ＮＩＲＳ）撮像プローブ、ＯＣＴ－ＮＩＲＳ撮像プローブ、マイクロＯＣＴ（μＯＣＴ）撮像プローブ等を使用して撮影することができる。

【0059】

複数のトレーニング画像は、光干渉断層撮影法（ＯＣＴ）、血管内超音波法（ＩＶＵＳ）、近赤外分光法（ＮＩＲＳ）、ＯＣＴ－ＮＩＲＳ、又はマイクロＯＣＴ（μＯＣＴ）等を使用して撮影された画像である。

【0060】

入力画像は、光干渉断層撮影法（ＯＣＴ）を使用して撮影することができる。

【0061】

本開示の一態様は、１つ以上のプロセッサを備えるシステムを提供し、１つ以上のプロセッサは、１つ以上のプロセッサが血管の入力画像を受け付けることと、血管の線維性被膜の位置を特定するようにトレーニングされた機械学習モデルを使用して入力画像を処理することであって、機械学習モデルは、１つ以上の線維性被膜の位置を用いてアノテーションがなされた複数のトレーニング画像を使用してトレーニングされ、各線維性被膜はそれぞれの脂質プールに隣接していることと、１つ以上のプロセッサが、機械学習モデルからの出力として、線維性被膜と脂質プールとの間の境界を含む線維性被膜の予測された位置を表す視覚的にアノテーションがなされたセグメントを含む出力画像を受け付けることと、出力画像におけるセグメントに対応する１つ以上のアーク線を特定することであって、１つ以上のアーク線は、出力画像における基準点を起点としていることと、１つ以上のアーク線の１つ以上の点にわたって測定された出力画像における信号強度の差に基づいて、線維性被膜と脂質プールとの間の更新された境界を特定することとを行うように構成される。

【0062】

本開示の他の態様は、方法と、装置と、実行されると、１つ以上のプロセッサにこれらの方法の動作を実行させる１つ以上のコンピュータプログラムの命令を記憶する非一時的コンピュータ可読記憶媒体とを含む。

【図面の簡単な説明】

【0063】

【図1】本開示の態様による一例示の画像セグメンテーションシステムのブロック図である。

【図2】一例示の画像フレームに示されたラベル付き線維性被膜の一例を示す図である。

【図3】本開示の態様による、線維性検出モデルをトレーニングする一例示のプロセスのフローチャートである。

【図4A】本開示の態様による、画像セグメンテーションシステムによって生成され、極座標で表された一例示の入力画像及び対応する出力画像を示す図である。

【図4B】デカルト座標で表された図４Ａの例示の入力画像及び対応する出力画像を示す図である。

【図5】本開示の態様による、事前にトレーニングされたモデルを使用して線維性被膜検出モデルをトレーニングする一例示のプロセスのフローチャートである。

【図6A】本開示の態様による、血管を取り囲む組織内の脂質プールの線維性被膜を検出する一例示のプロセスのフローチャートである。

【図6B】本開示の態様による、低い信号対雑音比を有する線維性被膜検出モデルの出力画像にフラグを付ける一例示のプロセスのフローチャートである。

【図7A】画像フレームに示された管腔の中心からの複数のアーク線を示す図である。

【図7B】本開示の態様による、血管の入力画像から測定されるアーク線の半径方向信号強度に基づいて線維性被膜を特定する一例示のプロセスのフローチャートである。

【図8】血管の入力画像から測定されるアーク線の半径方向信号強度の減衰率に基づいて線維性被膜を特定する一例示のプロセスのフローチャートである。

【図9】異なる組織及びプラークを通るピーク信号強度及び減衰率のグラフである。

【図10】本開示の態様による、血管の入力画像から測定される一連の測定アーク線におけるピーク半径方向信号強度を使用して線維性被膜の厚さを測定する一例示のプロセスのフローチャートである。

【図11】本開示の態様による、画像セグメンテーションシステムを実施する一例示のコンピューティング環境のブロック図である。

【発明を実施するための形態】

【0064】

＜概略＞
本開示の態様は、血管の画像における脂質プールの線維性被膜の自動検出を提供するものである。血管の画像は、撮像プローブ、例えば、患者の体内の血管又は他の関心領域を通るように操作されるカテーテル等の撮像デバイスにおける撮像プローブによって撮影することができる。その後、画像のセグメントを分析することができ、種々の組織又はプラークに対応するものとしてラベル付けをすることができる。血管内及び血管の周囲における脂質の存在及び特性は、例えば、種々の循環器疾患についての患者のスクリーニングの一部として使用することができるので、撮像された血管内の脂質蓄積は特に対象となる。

【0065】

ＯＣＴキャプチャ画像に関する１つの問題は、脂質プール又は脂質性プラークが、カルシウム又は中膜のような他の組織又はプラークと異なり、多くの場合、撮像された血管の他のセグメントほど明瞭に撮像されないことである。この１つの理由は、撮像プローブからの撮像信号は、この信号が線維性被膜を通って伝播し、隣接する脂質プール内に入っていくにつれて減衰するからである。他方、カルシウム等の他のプラークは、少なくとも、それらのタイプのプラークが撮像信号を急速に減衰させる脂質のような物理的特性を有しないため、特定が比較的容易である可能性がある。

【0066】

その結果、脂質は、見分けるのが困難であり、多くの場合、特定するためにはトレーニングを受けた専門家による手動の見直しを必要とする。そのような場合であっても、専門家は、例えば、血管を取り囲む組織におけるプールの深さ又は幅を特徴付けることによって脂質を直接特徴付けることができない場合が多い。なぜならば、プールは、多くの場合、ＯＣＴキャプチャ画像に明瞭に現れないからである。もう１つの課題は、線維性被膜と脂質プール自体との境界を適切に特定することである。少なくとも、線維性被膜の厚さの測定には、被膜がどこまでであり、脂質プールがどこからなのかを知ることが必要なため、境界の特定は困難である。その結果、脂質及び線維性被膜の手動ラベル付き画像は、作成に多くの時間を要し、正確でないことが多い。さらに、専門家によるアノテーションは、多くの場合、画像ごとに一貫していない可能性があり、また、同じ画像にアノテーションをしたとしても、専門家が異なると一貫していない可能性がある。脂質を正確に特定する際のこれらの問題は、画像が血管内超音波法（ＩＶＵＳ）撮像プローブ、近赤外分光法（ＮＩＲＳ）撮像プローブ、ＯＣＴ－ＮＩＲＳ撮像プローブ、マイクロＯＣＴ（μＯＣＴ）撮像プローブ、又は様々な異なる撮像技術のうちの任意のものを実施する様々なプローブ若しくはデバイスの他の任意のものからキャプチャされるとき等の他のモダリティに従って撮影された画像について発生する可能性がある。

【0067】

本開示の態様は、線維性被膜を特定できるようにモデルをトレーニングすることによって、撮像された血管を取り囲む脂質プールを特定する技法を提供する。脂質プールの線維性被膜は、血管を取り囲む組織における脂質プールを被膜する組織を指すものとすることができる。本明細書に説明されるようなシステムは、入力画像において脂質プールの線維性被膜を予測することができるとともに、カルシウム又は中膜等の他の関心領域の存在を予測することができる。

【0068】

本明細書に提供されるようなシステムは、脂質プールを覆う線維性被膜によりラベル付けがされたトレーニングデータを、他の関心領域のラベルを用いて強化することができる。カルシウム等の関心セグメントの自動アノテーション及び手動アノテーションは一般に、脂質の特定に比べて正確且つ迅速に行うことができるので、システムは、画像における他の関心領域に既存のラベルを利用して、それらの追加のラベルがない場合よりも正確に線維性被膜を特定することができる。システムは、入力画像から可視の関心領域の１つ以上のチャネルを予測するように構成することができ、それらのチャネルは、血管の入力画像にアノテーションをするのに使用することができる。これらの追加のチャネルは、例として、血管の管腔、カルシウム、中膜、脂質、及び／又は入力画像の背景に対応するものとすることができる。

【0069】

さらに、本明細書に提供されるようなシステムは、異なる関心領域を通る撮像プローブの信号減衰率などによる脂質関心領域及び非脂質関心領域の物理的特性の違いを利用することができる。管腔エッジからの距離を基準とする領域の信号減衰率を特定及び比較することによって、システムは、その領域が脂質に対応するのか又は脂質でないものに対応するのかを予測することができる。システムは、撮像信号の信号強度の減衰率を、異なる組織及びプラークを通る信号強度減衰率の以前に受け付けられたサンプルと比較することによって、線維性被膜の厚さ等の線維性被膜の物理的特性を予測することができる。

【0070】

さらに、本明細書に提供されるようなシステムは、線維性被膜又は脂質プールを含むアークのアーク線の点に沿ったＯＣＴ画像の信号強度を測定及び比較することによって、線維性被膜と脂質プールとの間の境界をより正確に特定することができる。いくつかの例では、システムは、１つ以上の線維性被膜の手動アノテーション付き画像又は本明細書に提供される本開示の態様に従ってアノテーションがなされた画像を入力として受け付けることができる。システムは、線維性被膜と隣接する脂質プールとの間の境界を用いて画像にアノテーションをすることができる。線維性被膜を用いてアノテーションがなされた入力画像の受付けの一部として、システムは、アノテーションがなされた被膜のカバレッジ角に基づいて１つ以上のアーク線を計算することができる。いくつかの実施態様では、システムは、ＮＩＲＳ、ＩＶＵＳ、ＯＣＴ－ＮＩＲＳ、及び／又はμＯＣＴ等を使用して撮影された画像を処理して、画像の信号強度を測定及び比較し、線維性被膜及び／又は被膜と脂質プール又は脂質プラークとの間の境界を特定することができる。

【0071】

いくつかの例では、システムは、線維性被膜を含む角度に対応するアーク線を用いてアノテーションがなされた画像のみを受け付けて、それらのアーク線によって囲まれた線維性被膜と、隣接する脂質プールとの間の境界を特定することができる。それらの例では、システムは、アーク線に沿った点の信号強度分析を行って、被膜と脂質プールとの間の境界を含む線維性被膜の位置を予測するように構成することができる。

【0072】

線維性被膜の物理的特性は、撮像された血管内の薄被膜線維性粥腫（ＴＣＦＡ：thin cap fibroatheroma）等の冠動脈状態の診断の改善に使用することができる。線維性被膜の厚さの測定の精度を他の手法よりも改善することによって、システムは、患者を診断する際により高い信頼度で使用することができるデータを提供することができる。線維性被膜の厚さの相違が、比較的良性の厚被膜線維性粥腫（thick-cap fibroatheroma）とＴＣＦＡ等のより危険な状態との間で患者を診断する際の相違となる可能性があるときに、正確な測定は特に重要となる可能性がある。加えて、本明細書に説明されるシステムは、循環器疾患の線維性被膜若しくはＴＣＦＡ等のプラーク崩壊の増加リスクを診断若しくは評価する指示若しくは規格に従って調整することができる調整可能閾値に基づいて、又は、例えば、ＯＣＴキャプチャ画像、ＩＶＵＳキャプチャ画像、ＮＩＲＳキャプチャ画像、ＯＣＴ－ＮＩＲＳキャプチャ画像、μＯＣＴキャプチャ画像及び／又は様々な異なる撮像技術のうちの任意の１つを使用してキャプチャされた画像における線維性被膜の以前に分析されたサンプルの観察に基づいて、境界を特定することができる。

【0073】

＜システムの例＞
図１は、本開示の一態様による、画像セグメンテーションシステム１００のブロック図である。画像セグメンテーションシステム１００は、１つ以上の場所にあるとともに、例えば、カテーテル検査室における撮像機器及び／又は他の用具に接続されたサーバコンピューティングデバイス又はコンピューティングデバイス等の１つ以上のデバイスにわたる１つ以上のプロセッサ及びメモリデバイスを含むことができる。画像セグメンテーションシステム１００は、トレーニングエンジン１０５と、アノテーションエンジン１１０と、線維性被膜検出エンジン１１５とを含むことができる。

【0074】

概して、画像セグメンテーションシステム１００は、撮像デバイス１０７によって撮影された血管１０２等の血管の入力画像１２０等の入力画像を受け付ける。システム１００は、線維性被膜アノテーション付き画像１２５Ａと必要に応じて１つ以上のアノテーション付き画像１２６Ｂ～１２６Ｎとを含む１つ以上の出力画像１２５を、出力として生成することができる。線維性被膜アノテーション付き画像１２５Ａは、システム１００によって予測された入力画像１２０における線維性被膜のセグメントに視覚的にアノテーションをすることができる。例えば、線維性被膜アノテーション付き画像１２５Ａは、入力画像１２０における予測された線維性被膜の強調された部分又は別の方法による視覚的に異なる部分のオーバーレイを含むことができる。線維性被膜アノテーション付き画像１２５Ａから、システムは、被膜の厚さ等の特定された被膜の１つ以上の物理的特性を測定又は推定することができる。

【0075】

図７Ａ～図１０を参照してより詳細に説明されるように、画像セグメンテーションシステム１００は、入力画像１２０から測定された撮像信号の減衰を分析することと、被膜を通る撮像信号の測定された減衰率を、脂質を含む様々なプラークを通る撮像信号の事前に取得された減衰率と比較することとによって、境界を精緻化するように構成することができる。

【0076】

システム１００は、いくつかの例では、カルシウム、中膜、背景等の他のタイプの関心領域の予測された位置と、血管１０２の管腔のサイズ及び形状とを表す他のアノテーション付き画像１２５Ｂ～１２５Ｎを出力することができる。アノテーション付き画像１２５Ｂ～１２５Ｎは、カルシウム又は中膜等の特定のタイプの関心領域にそれぞれ関連付けることができる。いくつかの例では、システム１００は、入力画像１２０内のピクセルを１つ以上のチャネルにマッピングする（対応付ける）セグメンテーションマップ又は他のデータ構造体を生成する。各チャネルは、１つの関心領域に対応する。

【0077】

セグメンテーションマップは複数の要素を含むことができる。例えば、複数の要素は一つのアレイ内にあり、各要素は入力画像１２０内の一つのピクセルに対応する。アレイ内の各要素は、異なる値、例えば整数値を含むことができ、各値は、予測された関心領域の異なるチャネルに対応する。例えば、出力されるセグメンテーションマップは、線維性被膜であると予測された、対応するピクセルについては値「１」を有する要素を含むことができる。出力されるセグメンテーションマップは、カルシウムであると予測された、対応するピクセルについては値「２」等の、他の関心領域の他の値を含むことができる。システム１００は、マップに表されたチャネルの一部又は全てを有するセグメンテーションマップを出力するように構成することができる。

【0078】

いくつかの例では、システムは、出力画像１２５を生成する代わりに、１つ以上のチャネルのセグメンテーションマップを生成することができ、ユーザコンピューティングデバイス１３５は、セグメンテーションマップを入力画像１２０に適用するように構成することができる。一例として、ユーザコンピューティングデバイス１３５は、セグメンテーションマップの１つ以上のチャネルを有する入力画像１２０を処理して、１つ以上のチャネルの対応する画像、例えば、線維性被膜アノテーション付き出力画像、カルシウムアノテーション付き出力画像等を生成するように構成することができる。複数のチャネルを組み合わせて、例えば、カルシウム及び脂質の領域についてアノテーションがなされた出力画像を生成することができる。

【0079】

脂質プールの線維性被膜等の、種々の関心領域の予測には、多くの方法でアノテーションを行うことができる。例えば、セグメンテーションマップは、入力画像１２０にオーバーレイとして適用することができる１つ以上のチャネルの１つ以上のマスクとすることができる。別の例として、システム１００は、予測された複数の関心領域の位置に対応する入力画像１２０のピクセルをコピーして変更することができる。例えば、システム１００は、線維性被膜が位置していると予測される入力画像１２０のピクセルであって、入力画像１２０の他の部分と視覚的に異なって見えるように陰影付け又は変更されたピクセルを有する線維性被膜アノテーション付き画像１２５Ａを生成することができる。他の例では、システムは、予測された線維性被膜に対応するピクセルを、予測された被膜の輪郭、視覚的に異なるパターン、陰影付け又はサッチングによる方法等の他の方法で変更することができる。

【0080】

ユーザコンピューティングデバイス１３５は、撮像プローブ１０４を有する撮像デバイス１０７から入力画像１２０を受け付けるように構成することができる。撮像プローブ１０４は、例として、ＯＣＴプローブ及び／又はＩＶＵＳカテーテルとすることができる。本明細書に提供される例は、ＯＣＴプローブに関するものであるが、ＯＣＴプローブ又は特定のＯＣＴ撮像技法の使用は、限定することを意図するものではない。例えば、ＩＶＵＳカテーテルを、ＯＣＴプローブとともに又はＯＣＴプローブの代わりに使用することができる。図示されていないガイドワイヤを使用して、プローブ１０４を血管１０２内に導入することができる。データを例えば画像フレームシーケンスとして収集しながら、プローブ１０４を血管１０２の管腔の長さに沿って導入したり引き戻したりすることができる。いくつかの例によれば、ＯＣＴデータセット及び／又はＩＶＵＳデータセットの複数のスキャンを収集することができるように、引戻しにおいて、プローブ１０４を動かないように保持することができる。画像フレーム又は他の画像データを含むことができるデータセットは、脂質プール及び他の関心領域の線維性被膜の特定に使用することができる。いくつかの例によれば、プローブ１０４は、マイクロ光干渉断層撮影法（μＯＣＴ）用に構成することができる。近赤外分光法及び近赤外分光撮像法（ＮＩＲＳ）等の他の撮像技術も使用することができる。

【0081】

プローブ１０４は、光ファイバ１０６を通じてユーザコンピューティングデバイス１３５に接続することができる。ユーザコンピューティングデバイス１３５は、レーザ等の光源と、サンプルアーム及び参照アームを有する干渉計と、様々な光路と、クロックジェネレータと、フォトダイオードと、他のＯＣＴ構成要素及び／又はＩＶＵＳ構成要素とを含むことができる。いくつかの例では、ユーザコンピューティングデバイス１３５は、撮像デバイス１０７を使用して医用撮像を行う１つ以上の他のデバイス及び／又は機器（図示せず）に接続される。一例として、ユーザコンピューティングデバイス１３５及び撮像デバイス１０７は、カテーテル検査室の一部とすることができる。他の例では、システム１００、ユーザコンピューティングデバイス１３５、ディスプレイ１０９、及び撮像デバイス１０７は、例えば、カテーテル検査室の一部として実装される医用撮像用のより大きなシステムの一部である。

【0082】

システム１００は、例えば、撮像デバイス１０７が血管１０２を撮像しながら操作されている間、入力画像１２０をリアルタイムで受付け及び処理するように構成することができる。他の例では、システム１００は、血管１０２を撮像する処置が行われた後に、例えば、ユーザコンピューティングデバイス１３５又は別のデバイスに記憶された入力データを受け付けることによって１つ以上の画像フレームを受け付ける。他の例では、システム１００は、全く異なるソースから、例えば、ネットワークを介して１つ以上のデバイスから、入力画像を受け付ける。この後者の例では、システム１００は、例えば、届いた入力画像を本明細書に記載の技法に従って処理する１つ以上のサーバコンピューティングデバイス上で構成することができる。

【0083】

図示のとおり、ディスプレイ１０９は、ユーザコンピューティングデバイス１３５から離れているが、いくつかの例によれば、ディスプレイ１０９は、コンピューティングデバイス１３５の一部とすることができる。ディスプレイ１０９は、出力画像１２５等の画像データを出力することができる。ディスプレイ１０９は、いくつかの例では、円形ディスプレイビューポート等のディスプレイビューポートを通じて出力を表示することができる。

【0084】

ディスプレイ１０９は、例えば、血管１０２及び周囲の組織の２次元断面として１つ以上の画像フレームを示すことができる。ディスプレイ１０９は、患者の身体における撮像された血管又は別の関心領域の異なる視点を示す１つ以上の他のビューも含むことができる。一例として、ディスプレイ１０９は、始点から終点までの血管１０２の長さの長手方向ビューを含むことができる。いくつかの例では、ディスプレイ１０９は、長手方向ビューに沿った血管１０２の或る特定の部分を強調することができ、現在、観察用に選択されていない他の部分を少なくとも部分的に遮蔽することができる。いくつかの例では、ディスプレイ１０９は、長手方向ビューに示すように管腔２０１の複数の部分をスクラブする入力を受け付ける。

【0085】

出力は、例えば、撮像プローブ１０４が血管１０２を通って操作される処置中にリアルタイムで表示することができる。例えば、出力画像１２５と組み合わせて出力することができる他のデータは、断面スキャンデータ、長手方向スキャン、直径グラフ、管腔境界、プラークサイズ、プラーク周囲長、プラーク位置の視覚インディシア、ステント拡張に提示されたリスクの視覚的なインディシア（あるいは印、兆候）、流速等を含む。ディスプレイ１０９は、テキスト、矢印、色分け、強調、等高線、又は他の適した人間若しくは機械が可読なインディシアを用いて特徴部を特定することができる。

【0086】

いくつかの例によれば、ディスプレイ１０９は、グラフィックユーザインタフェース（「ＧＵＩ」：graphic user interface）とすることができる。本明細書に記載のプロセスの１つ以上のステップは、自動的に、すなわち、画像のナビゲート、情報の入力、入力の選択及び／又は入力とのインタラクトを行うユーザの入力等を伴わずに、実行することができる。ディスプレイ１０９は、単独で又はユーザコンピューティングデバイス１３５と組み合わせて、ユーザ入力に応じて１つ以上の観察モードを切り替えることを可能にすることができる。例えば、ユーザは、特定のサイドブランチの選択及び／又は特定のサイドブランチに関連付けられたビューの選択等によってディスプレイ１０９上の異なるサイドブランチ間で切り替え可能とすることができる。

【0087】

いくつかの例では、ディスプレイ１０９は、単独で又はユーザコンピューティングデバイス１３５と組み合わせて、メニューを含むことができる。メニューは、ユーザが様々な特徴部を示すこと又は隠すことを可能にすることができる。２つ以上のメニューが存在し得る。例えば、入力画像１２０の上部に重ね合わせる１つ以上のマスクのオン又はオフを切り替える等の、表示する血管特徴部を選択するメニューが存在し得る。付加的に、又は代替的に、ディスプレイの仮想カメラアングルを選択するメニューが存在し得る。いくつかの例では、ディスプレイ１０９は、入力を受け付けるように構成することができる。例えば、ディスプレイ１０９は、メニュー又はディスプレイ１０９上に表示された他のインタラクト可能要素とインタラクトするタッチ入力を受け付けるように構成されるタッチスクリーンを含むことができる。

【0088】

出力画像フレーム１２５は、例えば、下流側プロセスの一部として医学分析、診断、及び／又は一般的な研究に使用することができる。例えば、出力画像フレーム１２５は、医療専門家等のユーザによるレビュー及び分析用に表示することもできるし、システム１００を実施する１つ以上のコンピューティングデバイス等の１つ以上のコンピューティングデバイス上で実施されるエキスパートシステム又は他の下流側プロセス等の医療診断及び医学的評価の自動プロセスへの入力として使用することもできる。出力画像フレーム１２５のアノテーション付きセグメントから、システム１００は、例えば、図３、及び図７Ａ～図１０を参照して本明細書において説明される技法に従って、血管１０２の周囲の組織におけるそれぞれの脂質プールに隣接する１つ以上の特定された線維性被膜の厚さを推定することができる。

【0089】

例えば、予測された線維性被膜の推定された物理的特性に基づいて、出力画像フレーム１２５は、ＴＣＦＡ及び／又は他の冠動脈状態の診断に少なくとも部分的に使用することができる。ＴＣＦＡは、ＮＩＲＳ、ＯＣＴ－ＮＩＲＳ、ＩＶＵＳ、μＯＣＴ等を使用して撮影された画像等におけるＯＣＴ信号又は他の撮像信号を減衰させる脂質プールの前述の物理的特性に少なくとも起因して、目視検査のみによって診断するには困難である可能性があり、これによって、線維性被膜とその対応する脂質プールとの間の境界を確認することが困難になる可能性がある。

【0090】

エンジン１０５、１１０、及び１１５に注目すると、線維性被膜検出エンジン１１５は一般に、入力画像１２０に線維性被膜が存在することを、例えば強調又は他の可視のインディシアの形で予測するように構成される。線維性被膜検出エンジン１１５は、例えば、図３～図６を参照して本明細書に説明されるようにトレーニングされた１つ以上の機械学習モデルを通じて、脂質プールの線維性被膜を検出するように構成することができる。いくつかの例では、線維性被膜検出エンジン１１５は、図７～図１０を参照して本明細書に説明されるように、脂質プールの線維性被膜の既知のサンプルに対する血管の入力画像の半径方向信号強度を分析することによって線維性被膜を特定し、特徴付けるように構成することができる。いくつかの実施態様では、線維性被膜検出エンジン１１５は、本明細書に説明される技法の組み合わせを使用して線維性被膜を特定し、特徴付けるように構成することができる。入力画像におけるプラークの線維性被膜又は他の領域の特徴付けは、プラークの被膜又は領域の定量的特徴量又は定性的特徴量の生成又は測定を指すものとすることができる。特徴付けの一部を形成することができる例示の特徴量は、プラークの被膜又は領域の長さ、幅、又は全体的な幾何形状を含むことができる。

【0091】

トレーニングエンジン１０５は、届いたトレーニング画像データ１４５を受け付け、線維性被膜検出エンジン１１５の一部として実施される１つ以上の機械学習モデルをトレーニングするように構成される。トレーニング画像データ１４５は、線維性被膜を用いてアノテーションがなされた血管の画像フレームとすることができる。図３～図６Ｂを参照して本明細書に説明されるように、トレーニングエンジン１０５は、線維性被膜検出エンジン１１５の一部として実施される１つ以上の機械学習モデルをトレーニングするように構成することができる。トレーニングエンジン１０５は、アノテーションエンジン１１０によって、対応する画像フレームにおける線維性被膜の位置を用いてアノテーションがなされるとともに、他の関心領域の位置を用いて更にアノテーションがなされたトレーニング画像データ１４５を使用することができる。

【0092】

図２に、一例示の画像フレーム２００におけるラベル付けされた線維性被膜２０１の一例を示す。図２において、ラベル付けされた線維性被膜２０１は、一連の点によって輪郭が描かれているが、被膜の領域を画像フレーム２００の他の部分に対して陰影付けすること等により他の方法で線維性被膜２０１を表すことができる。ラベルは、例えば、手動で、線維性被膜の画像フレームを評価する指示に従って生成することができる。画像フレーム２００は、例えば、管腔２０４の中心の位置と、画像フレームがデバイスによってキャプチャされた時の撮像デバイスの中心２０２と、線維性被膜２０１に隣接する脂質プールを示す領域２０３とを追加してラベル付けすることもできる。

【0093】

いくつかの例では、トレーニングエンジン１０５は、カルシウム、中膜、又は撮像された血管の管腔によって覆われた輪郭若しくはエリア等の１つ以上の他の関心領域を用いてアノテーションがなされていない図２の画像フレーム２００等のトレーニング用の画像フレームを受け付ける。アノテーションエンジン１１０は、トレーニング画像データ１４５を受け付けるとともに、カルシウム、中膜、管腔、背景等の領域に対応するアノテーションを用いてデータの画像フレームに更にアノテーションをするように構成することができる。これを行うために、アノテーションエンジン１１０は、例えば、１つ以上の適切にトレーニングされた機械学習モデルを使用してこれらの関心領域を特定及び分類する様々な異なる技法のうちの任意のものを使用して実施することができる。

【0094】

例えば、アノテーションエンジン１１０は、画像フレームに示されたカルシウムの領域を特定及び分類するようにトレーニングされた１つ以上の機械学習モデルを実施することができる。いくつかの例では、アノテーションエンジン１１０は、カルシウム又は他の特定された非脂質プラークの領域を取り囲む輪郭等の予測された関心領域の視覚表示を有する変更された画像フレームを生成する。他の例では、アノテーションエンジン１１０は、トレーニングエンジン１０５が、対応するトレーニング画像フレームに加えて処理するように構成されるデータを生成することができる。生成されたデータは、例えば、トレーニング画像フレームのピクセル上のマスクを定めるデータとすることができ、トレーニング画像フレームの各ピクセルは、そのマスクにおけるピクセルに対応し、そのピクセルが、トレーニング画像に示された関心領域を部分的に表すか否かを示す。

【0095】

生成されたデータは、いくつかの例では、関心領域を少なくとも部分的に示す処理された画像フレームのピクセルに対応する座標データを含むことができる。例えば、生成されたデータは、検出された非脂質プラークの領域に対応するマスクの各ピクセルの空間座標又はデカルト座標を含むことができる。アノテーションエンジンは、或る系（デカルト座標等）による座標データを別の座標系（管腔の中心等の基準点を基準とする極座標等）へと必要に応じて変換するように構成することもできる。

【0096】

同様に、トレーニング画像データ１４５は、脂質プールの線維性被膜の領域に対応するものとしてアノテーションがなされたピクセルの位置を定めるデータも含むことができる。システム１００はこのデータを、トレーニングエンジン１０５及び／又は線維性被膜検出エンジン１１５の入力要件に応じて変換することができる。異なる座標系を使用する理由の１つとして、トレーニング画像データ１４５は、アノテーションがなされた線維性被膜の外周部を集合的に定める複数の個々の点によって手動でラベル付けされるものの、線維性被膜検出エンジン１１５は、同じ画像データを、極座標で表される異なる点の位置を用いて処理するように構成されるということが挙げられる。システム１００は、極座標系に従って配置されたピクセルの位置を有する出力画像１２５を生成し、必要に応じて、出力画像１２５をディスプレイ１０９上での表示用にデカルト座標に変換して戻すように構成することができる。

【0097】

トレーニングエンジン１０５は、画像セグメンテーションシステム１００の一部として示されているが、いくつかの例では、トレーニングエンジン１０５は、システム１００の他の部分を実施する１つ以上のデバイスと異なる１つ以上のデバイス上で実施される。さらに、システム１００は、説明された１つ以上の機械学習モデルをトレーニング又は微調整することもできるし、トレーニング又は微調整せず、代わりに、本開示の態様に従って事前にトレーニングされたモデルを受け付けることもできる。

【0098】

＜方法の例＞
図３は、本開示の態様による、線維性被膜検出モデルをトレーニングする一例示のプロセス３００のフローチャートである。プロセス３００は、１つ以上の位置に配置されるとともに本開示の態様に従って適切に構成された１つ以上のプロセッサを備えるシステムが実行することができる。

【0099】

線維性被膜検出モデルは、ラベル付き画像トレーニングデータ、例えば図１を参照して説明されるようなトレーニング画像データ１４０を使用してトレーニングが可能なニューラルネットワーク等の１つ以上の機械学習モデルを含むことができる。システム１００の線維性被膜検出エンジン１１５等の線維性被膜検出エンジンは、１つ以上の数学モデル、例えば、線維性被膜検出モデルと総称される図１及び図２を参照して上述した１つ以上の機械学習モデルを実施することができ、本明細書に説明されるように、画像フレームの脂質プールの線維性被膜を特定して特徴付けるように構成することができる。

【0100】

システムは、ブロック３１０により、複数のトレーニング画像を受け付ける。各トレーニング画像は、そのトレーニング画像における１つ以上の線維性被膜の位置を用いてアノテーションがなされている。図１、図２を参照しながら本明細書に説明したように、システムは、各画像において検出された線維性被膜の位置によってラベル付けされたトレーニング画像データを受け付けることができる。複数のトレーニング画像の受付けの一部として、システムは、データを、トレーニング用、試験用、及び有効性確認用の画像フレーム等の複数のセットに分けることができる。

【0101】

システムは、ブロック３２０により、複数のトレーニング画像を処理して、入力画像の１つ以上の非脂質セグメントを用いて各画像にアノテーションをする。例えば、図１を参照して説明したように、システムは、カルシウム、中膜、血管の管腔、及び背景等の非脂質プラークの予測された領域を特定するアノテーションを用いてトレーニング画像フレームにアノテーションをするアノテーションエンジンを含むことができる。

【0102】

システムは、ブロック３３０により、処理された複数のトレーニング画像を使用して線維性被膜検出モデルをトレーニングする。いくつかの例では、モデルは、線維性被膜であると予測された入力画像の部分を含む予測された１つ以上の関心領域を表すセグメンテーションマップを出力として生成する。

【0103】

線維性被膜検出モデルは、トレーニング例のうちの少なくともいくつかがラベル付けされたデータセットを使用して、教師あり学習の任意の技法に従って、一般的には機械学習モデルのトレーニング技法に従ってトレーニングすることができる。例えば、線維性被膜検出モデルは、例として、個々の画像フレーム又は画像フレームのバッチのいずれかに対して、勾配降下とともにバックプロパゲーションを使用してトレーニングプロセスの一部として更新されるモデルパラメータ値を有する１つ以上のニューラルネットワークとすることができる。

【0104】

いくつかの例では、線維性被膜検出モデルは、入力画像に対応するピクセルを入力として受け付けて、入力画像における関心領域の１つ以上のチャネルに対応するセグメンテーションマップを出力として生成する１つ以上の畳み込みニューラルネットワークとすることができる。一例として、線維性被膜検出モデルは、入力層及び出力層と、入力層と出力層との間にある１つ以上の隠れ層とを含むニューラルネットワークとすることができる。各層は１つ以上のモデルパラメータ値を含むことができる。各層は、隠れ層の場合には先行する層等からの１つ以上の入力を受け付けることもできるし、入力層の場合には入力画像等のネットワーク入力を受け付けることもできる。入力を受け付ける各層は、その入力を、その層のモデルパラメータ値に従って重み付け及び／又はバイアスされる１つ以上の活性化関数により処理することができる。層は、出力をネットワーク内の後続の層に渡すこともできるし、出力層の場合には、例えば、図１及び図２を参照して本明細書に説明したようにセグメンテーションマップ及び／又は１つ以上の出力画像を出力するように構成することもできる。

【0105】

ニューラルネットワークとしての線維性被膜検出モデルは、プーリング層、畳み込み層、及び全結合層等の様々な異なるタイプの層を含むことができ、これらの層は、入力画像データを受信及び処理する様々な異なる構成のうちの任意のものに従って配置及びサイズ決めすることができる。

【0106】

線維性被膜検出モデルの例は、ニューラルネットワーク及び畳み込みニューラルネットワークとして提供されている。しかし、機械学習モデルは、入力を受信し、この入力に従って出力を生成するように構成されるとともに、入力トレーニング画像データ及び／又は入力トレーニング画像データから抽出されたデータを使用して正確な出力を生成するようにトレーニングすることができる任意のモデル又はシステムを指すことができる。線維性被膜検出モデルが、２つ以上の機械学習モデルを含む場合には、それらの機械学習モデルは、最後のモデルの出力に到達するまで１つのモデルの出力を後続のモデルの入力とすることができるように、端部と端部をつないでトレーニング及び実行を行うことができる。

【0107】

いくつかの例では、線維性被膜検出モデルは、スキップ接続を有するエンコ－ダデコーダアーキテクチャを少なくとも部分的に含む。別の例として、線維性被膜検出モデルは、ＯＣＴ、ＩＶＵＳ、ＮＩＲＳ、ＯＣＴ－ＮＩＲＳ、μＯＣＴを使用して撮影された画像、又は様々な他の撮像技術のうちの他の任意のものを使用して撮影された画像等の画像のコンパクトな（符号化された）表現を非ラベル付きトレーニングデータから学習するようにトレーニングされた１つ以上のニューラルネットワーク層をオートエンコーダの一部として含むことができる。ニューラルネットワーク層は、本明細書に説明されるように入力トレーニング画像に関して更にトレーニングすることができ、線維性被膜検出モデルは、非ラベル付きトレーニング画像を使用して少なくとも部分的にトレーニングされることによってより広いトレーニングセットから利益を得ることができる。

【0108】

いくつかの実施態様では、線維性被膜検出モデルは、入力画像に示された１つ以上の脂質被膜を含むカバレッジ角のアーク線を予測するようにトレーニングすることができる。線維性被膜検出モデルは、アーク線を用いてアノテーションがなされた出力画像を生成することができ、この出力画像は、図７Ａ～図１０を参照して本明細書に説明されるように、脂質被膜とそれに隣接する脂質プールとの境界を精緻化又は特定する入力として使用することができる。

【0109】

いくつかの実施態様では、線維性被膜検出モデルは、本明細書に説明されるような画像セグメンテーションに加えて又は画像セグメンテーションの代替として、脂質被膜分類についてトレーニングすることができる。それらの実施態様では、線維性被膜検出モデルは、脂質被膜及び非脂質関心領域の位置を用いてアノテーションがなされた同じ入力トレーニング画像データを用いてトレーニングすることができる。

【0110】

トレーニングは、脂質プールの線維性被膜についてシステムによって予測された位置と、入力画像のトレーニングデータの一部として受け付けられた線維性被膜のグラウンドトゥルースの位置との差を定量化する損失関数を使用して行うことができる。

【0111】

損失関数は、例えば、予測された位置及びグラウンドトゥルース位置上の点の１つ以上の対において測定された線維性被膜の予測された位置及びグラウンドトゥルース位置の間の距離とすることができる。一般に、予測されたアノテーションを有するトレーニング画像と、グラウンドトゥルースアノテーションを有するトレーニング画像との間で各ピクセルを比較する任意の損失関数を使用することができる。例示の損失関数は、線維性被膜の予測された位置を有するトレーニング画像フレームと、線維性被膜のグラウンドトゥルース位置を有するトレーニング画像フレームとの間のジャッカード類似度係数又はスコアを計算することを含むことができる。別の例示の損失関数は、ピクセルごとの交差エントロピー損失とすることができるが、画像セグメンテーションタスクを行うモデルのトレーニングに使用される任意の損失関数を適用することができる。

【0112】

システムのトレーニングの一部として使用されるコスト関数は、処理されたトレーニング画像フレームの少なくとも一部分にわたる損失関数値の値の平均とすることができる。例えば、コスト関数は、トレーニング画像フレームのセットにわたる平均ジャッカードスコアとすることができる。システムは、例えば、トレーニング画像の有効性確認試験セットを処理するときに最大誤差閾値を指定することができる１つ以上のトレーニング基準を満たすまで、線維性被膜検出モデルをトレーニングすることができる。他のトレーニング基準は、例えば、エポック数として測定される最小トレーニング反復回数又は最大トレーニング反復回数（すなわち、トレーニングデータの全てにわたる完全な通過）、処理されたバッチ及び／又は個々のトレーニング例、又は線維性被膜検出モデルをトレーニングするプロセス３００の実行に費やされる最小時間量若しくは最大時間量を含むことができる。

【0113】

システムは、１つ以上の停止基準が満たされたと判定されるまでトレーニングを行うことができる。例えば、停止基準は、事前に設定されたエポック数、損失関数を使用して測定されるようなエポック間のシステムの最小改善度、所定の実時間量の経過、及び／又は計算バジェット、例えば所定の処理サイクル数が使い尽くされるまで、とすることができる。

【0114】

図５を参照してより詳細に説明するように、非脂質関心領域を予測できるように、そして、複数の出力チャネルのうちの１つとして脂質プールの線維性被膜の位置をも予測できるようにトレーニングされた既存の機械学習モデルを用いて、既存のモデルを強化することができる。図１及び図２に関しても本明細書に説明されるように、線維性被膜検出モデルは、各チャネルがそれぞれの関心領域に対応する複数のチャネルを出力するようにトレーニングすることができる。これらのチャネルは、例えば、１つ以上の出力画像として、及び／又は、脂質及び非脂質の双方の異なる関心領域に対応するものとして入力画像の領域を特徴付けるセグメンテーションマップ若しくは他のデータとして表すことができる。

【0115】

非脂質関心領域の追加のアノテーションを含めることによって、線維性被膜検出モデルは、カルシウムの領域等のより容易に特定可能な領域からの追加の情報を利用して、脂質プールの線維性被膜をより正確に特定することができる。これは、少なくとも、脂質に対するカルシウムの領域等の異なる関心領域は、双方のタイプのプラークを用いてアノテーションがなされた同じ画像内で比較することができる異なる物理的特性を有するからである。図７～図１０を参照して本明細書により詳細に説明するように、ＯＣＴ信号又は他の撮像信号、例えば、異なる線維性被膜を通るＩＶＵＳ、ＮＩＲＳ、ＯＣＴ－ＮＩＲＳ、μＯＣＴ等を使用して生成される撮像信号の減衰率を、カルシウムのような非脂質プラークの他の領域の被膜に対して脂質のプールの線維性被膜を予測するために、システムによって分析することができる。加えて、線維性被膜検出モデルは、非脂質関心領域を用いてアノテーションがなされた画像データの処理の性質に起因して、複数のチャネルを有するセグメンテーションマップを付加的に出力することができ、これによって、分析用のより多くのデータを別々にではなく共に生成することが可能になる。

【0116】

図４Ａに、本開示の態様による、画像セグメンテーションシステムによって生成され、極座標で表された一例示の入力画像４０１Ａ及び対応する出力画像４０３Ａを示す。図４には、脂質のプールの線維性被膜の領域のグラウンドトゥルースアノテーション４０２Ｂを有する画像４０２Ａをも示す。画像４０３Ａは、例えば、図３を参照して本明細書に説明されるようにトレーニングされたモデルを使用して生成されたモデル生成アノテーション４０３Ｂとともに示されている。基準点、例えば撮像された血管の管腔の中心を基準とする極座標で表された画像４０１Ａ～４０３Ａが示されている。いくつかの例では、システムは、例えば、（１５，２）のカーネルサイズを有するＭＡＸフィルタを適用することによって、出力画像を後処理することができる。異なるサイズを有する他のタイプのフィルタも、代わりに又は組み合わせて使用することができる。後処理する理由の１つとして、アノテーションが表示される前にアノテーションの境界を滑らかにすることを挙げることができる。

【0117】

図４Ｂに、デカルト座標で表された図４Ａの例示の入力画像４０１Ａ及び対応する出力画像４０３Ａを示す。画像４０２Ａも示す。図４Ａ、図４Ｂは、様々な異なるフォーマットで異なる座標系に従って画像を出力するようにシステムを構成することができることも示している。

【0118】

図５は、本開示の態様による、事前にトレーニングされたモデルを使用して線維性被膜検出モデルをトレーニングする一例示のプロセス５００のフローチャートである。いくつかの例では、プロセス５００は、異なるタスクを実行するようにトレーニングされた別の機械学習モデルを使用して線維性被膜検出モデルを微調整又はトレーニングする転移学習の手順の一部として実行することができる。

【0119】

システムは、ブロック５１０に従って、機械学習モデルを受け付ける。機械学習モデルは、複数のモデルパラメータ値を含むことができ、血管の画像におけるカルシウム、管腔、又は中膜等の非脂質関心領域に対応する入力画像を特定できるようにトレーニングすることができる。

【0120】

システムは、ブロック５２０に従って、機械学習モデルの出力層を、この出力層への入力を受けて入力画像のセグメンテーションマップを生成する新たな層へと置き換える。例えば、元の出力層を、この元の出力層から入力を受けて１つ以上のチャネルを有するセグメンテーションマップを出力する新たなニューラルネットワーク層に置き換えることができる。当初において、この新たなニューラルネットワーク層は、ランダムに初期化されたモデルパラメータ値を含むことができる。

【0121】

システムは、処理された複数のトレーニング画像を使用して、新たな出力層を有する機械学習モデルをトレーニングする。トレーニング画像は、図３におけるプロセス３００のブロック３２０に従って処理することができ、それぞれ非脂質関心領域の位置の各アノテーションを含むことができる。トレーニングの際、システムは、新たな出力層を除いて機械学習モデルにおける各層のモデルパラメータ値をフリーズする（据え置く）ことができる。システムは、教師あり学習の任意の技法に従って、例えば、図３を参照して本明細書に説明される技法及びトレーニング画像データを使用して、部分的にフリーズされたこのモデルをトレーニングすることができる。システムは、或る特定の数のエポック、例えば５０個のエポックについて機械学習モデルをトレーニングし、その後、機械学習モデルを通じてトレーニング画像の有効性確認セットを処理した後に特定された機械学習モデルのモデルパラメータ値の最良のセットを保存するように構成することができる。

【0122】

システムは、新たな出力層の最良のモデルパラメータ値、例えば、損失関数の最小損失量を、有効性確認のためのトレーニング画像のセットについてもたらすモデルパラメータ値をロードすることができる。そして、システムは、１つ以上の別のトレーニング基準が満たされるまで、例えば２００エポックが満たされるまで、しかし今回はモデルのモデルパラメータ値の残りをフリーズ解除（据置き中止）した後に、トレーニングすることができる。言い換えると、例えば、図３を参照して説明したプロセス３００に従って機械学習モデルをトレーニングすることができ、そのモデルパラメータ値を更新することができる。

【0123】

図６Ａは、本開示の態様による、血管を取り囲む組織において脂質プールの線維性被膜を検出する一例示のプロセス６００Ａのフローチャートである。

【0124】

システムは、ブロック６１０に従って、血管の１つ以上の入力画像を受け付ける。例えば、図１を参照して本明細書にて説明したように、システムは、入力画像１２０及び／又は１つ以上の追加の画像を受け付けることができる。

【0125】

システムは、ブロック６２０に従って、線維性被膜の位置を特定できるようにトレーニングされた線維性被膜検出モデルを使用して１つ以上の入力画像を処理する。線維性被膜検出モデルは、それぞれが１つ以上の線維性被膜の位置を用いてアノテーションがなされたトレーニング画像を用いてトレーニングすることができる。いくつかの例では、トレーニング画像は、線維性被膜とは異なる血管のカルシウム、中膜、及び管腔等の非脂質関心領域の位置を用いて更にアノテーションがなされている。これらのアノテーションは、出力画像上にオーバーレイされた視覚的な境界を含むこともできるし、例えば、切り離されたデータとして、例えばピクセルのマスクとして提供することもできる。

【0126】

本明細書では、特定及びアノテーションは、例えば、所定のマージンの誤差又は閾値内にある近似的なものとすることができる。近似的なアノテーションは、所定のマージンの誤差又は閾値内で線維性被膜に十分なアノテーションがされない場合もあるし、過剰にアノテーションがなされる場合もある。同様に、本開示の態様による線維性被膜の特定は、所定のマージンの誤差又は閾値内で、入力画像の一部を特定された線維性被膜に対応するものとして十分に特定しない場合もあるし、過剰に特定する場合もある。

【0127】

いくつかの実施態様では、システムは、出力画像の非脂質セグメントの予測を、一連の出力画像シーケンスの信号対雑音比の推定の一部として使用するように構成される。本明細書に説明されるように、撮像信号とインタラクト（相互作用）するときの少なくとも非脂質領域に対する脂質領域の物理的特性のために、カルシウム又は中膜等の非脂質領域は、脂質領域に対してより高い精度で特定することができる。システムは、本明細書に説明されるように、非脂質領域のアノテーションを使用して、脂質プールに隣接する線維性被膜の位置をより正確に予測することができるが、システムは、非脂質領域を特定する信頼度も利用して、出力画像シーケンスの信号対雑音比を推定することができる。

【0128】

画像フレームシーケンスにおける信号対雑音比（ＳＮＲ：signal-to-noise ratio）が低いと、そのシーケンス内で線維性被膜を特定し特徴付ける際の精度が低下することに対応する可能性があることが確認されている。システムは、中膜等の非脂質領域に対応するグラウンドトゥルースアノテーションと、撮像された血管内の位置の予測されたアノテーションとを比較することによってＳＮＲを推定することができる。推定されたＳＮＲが低い場合、例えば、閾値未満である場合、システムは、脂質プールの線維性被膜の検出精度が低下する可能性があるとしてそのシーケンスにフラグを付けることができる。

【0129】

図６Ｂは、本開示の態様による、低い信号対雑音比を用いて線維性被膜検出モデルの出力画像にフラグを付ける一例示のプロセスのフローチャートである。

【0130】

システムは、ブロック６１０Ｂに従って、線維性被膜検出モデルの出力画像を受け付ける。出力画像は、例えば、図３及び図５を参照して本明細書にて説明したようにトレーニングされた線維性被膜検出モデルにより生成することができる。出力画像は、例えば、撮像処置の一部としての引き戻しの際に撮像デバイスによってキャプチャされた入力画像シーケンスに対応するものとすることができる。

【0131】

脂質プールの線維性被膜の位置の検出に加えて、線維性被膜検出モデルは、プロセス６００Ｂに説明されるように、中膜又はカルシウム等の少なくとも１つのタイプの非脂質領域を入力画像において検出できるようにもトレーニングされる。以下の説明は、ＳＮＲを推定する際に中膜の領域の使用を説明しているが、カルシウム又は背景等の他のタイプのプラーク又は組織も使用することができる。

【0132】

システムは、出力画像における中膜の予測された領域のアノテーションと、中膜のそれらの領域のグラウンドトゥルースアノテーションとの比較に基づいて、画像の平均信号対雑音比を推定する。システムは、例えば、出力画像の有効性確認セットの一部として、又は関心領域を特定して特徴付けるように構成される別のソース、例えば、図１のシステム１００のアノテーションエンジン１１０から、グラウンドトゥルースアノテーションを受け付けることができる。

【0133】

システムは、ゼロ信号を有するはずである画像の領域、例えば血管の管腔と、画像フレームにおけるその領域の信号の実際の値との標準偏差を計算することにより、画像内の雑音を推定することができる。その領域における信号の実際の値と予想値との標準偏差は、画像の推定された雑音値とすることができる。撮像された血管の管腔に対応する領域に加えて又はこの領域の代わりとして、画像の他の領域を選択することができる。例えば、十分に遠く離れた点における領域は、雑音を伴わないゼロの信号値が記録されるため、例えば、その領域は、画像に示すようにカテーテルの位置から遠く離れた点とすることができる。ガイドワイヤは、その背後の全ての信号をブロックするため、別の例の領域としては、カテーテルのガイドワイヤの背後の空間とすることができる。

【0134】

いくつかの実施態様では、システムは、ワイヤ、ステント、及びカテーテルからの屈折作用を無視して、画像フレームに示された組織の屈折作用から正規化されていない最も高い強度を測定することによって、雑音を推定することができる。いくつかの例では、システムは、２モードガウス混合モデルを、ワイヤ、ステント、又はカテーテルを示す領域における信号強度を除いた画像フレームの強度ヒストグラムにフィッティングすることにより、ＳＮＲを推定することができる。システムは、低い側の強度モデルが雑音を表し且つ高い強度モデルが信号を表す２混合モデルの平均を除することができる。いくつかの例では、システムは、最も明るい組織ピクセルを最も暗い管腔ピクセルで除することによってＳＮＲを推定することができる。

【0135】

システムは、ブロック６３０Ｂに従って、推定されたＳＮＲが所定の閾値未満である場合には、出力画像にフラグを付ける。そして、フラグが付けられた出力画像は、例えば取っておくこともできるし、及び／又は、手動でレビューすることもできる。いくつかの例では、システムは、線維性被膜検出モデルをトレーニングする有効性確認セットの処理の一部としてのみプロセス６００Ｂを実行する。

【0136】

画像セグメンテーションシステム１００は、血管の入力画像におけるアーク線にわたって半径方向の信号強度を測定することによって、脂質プールの線維性被膜を特定し及び／又は特徴付けるように構成することができる。本明細書に説明されるように、異なる組織及びプラークは、異なる物理的特性を有する。例示の特性は、組織又はプラークを通過するＯＣＴ信号、ＩＶＵＳ信号、ＮＩＲＳ信号、ＯＣＴ－ＮＩＲＳ信号、μＯＣＴ信号等の撮像信号のピーク強度及び減衰率を含む。

【0137】

信号の減衰率は、基準点からの距離の増加に伴う信号強度の変化を指す。基準点は、例えば、２次元断面として観察されるときの撮像された血管の管腔の中心、又は、信号の発信源となる撮像プローブを有するカテーテルの中心とすることができる。信号が、管腔、組織、及び／又はプラークを通じて伝播するにつれて、信号は、例えば、管腔のエッジが線維性被膜を有する場合、管腔のエッジにおいて又はエッジの近くにおいて一般に生じるピーク信号強度から次第に弱くなっていく。ピーク信号強度は、例えば、管腔のエッジから少なくとも部分的に反射する信号の結果として生じる可能性がある。管腔のエッジを過ぎると、信号は、一般に、信号強度が０になるまで、又は、信号をもはや検出することができないほど十分に低くなるまで減衰する。

【0138】

同じく本明細書に説明されるように、血管を取り囲む組織内の脂質を正確に特定して特徴付けることに伴う１つの課題は、透過する信号を急速に減衰させる脂質の特性から生じる。しかし、減衰率は、複数の血管にわたる異なる脂質プール及び線維性被膜の異なる画像にわたって比較的一致していることが確認されている。本開示の態様は、信号減衰率を特定し、その率を種々の組織及びプラークの既知の率と比較して、入力画像フレームに示された線維性被膜を特定する技法を提供する。

【0139】

図７Ａに、画像フレーム７００Ａに示された管腔の中心７６０からの複数のアーク線７５０Ａ及び７５０Ｂを示す。画像フレーム７００Ａは、画像フレーム７００Ａをキャプチャする撮像信号の発信源である撮像プローブの中心７７０も示している。アーク線７５０Ａ及び７５０Ｂは、線維性被膜によって占有される管腔壁の部分に対応するカバレッジ角７９０を形成する。アーク線７５０Ａ及び７５０Ｂは、一例として、管腔の中心７６０を基準として示されているが、アーク線７５０Ａ及び７５０Ｂは、任意の基準点、例えば、画像フレーム７００Ａをキャプチャする撮像プローブを有するカテーテルの中心７７０を基準とすることができる。システムは、アーク線７５０Ａ及び７５０Ｂの異なる点に沿った画像フレームにおける信号強度を測定するように構成することができる。

【0140】

図７Ａに例示を目的としてアーク線７５０Ａ及び７５０Ｂを示しているが、システムは、プロセス７００Ｂの実行の一部として表示用のアーク線をレンダリングも引くこともしない。いくつかの実施態様では、システムは、１つ以上の測定されたアーク線及びそれらの対応する信号強度に対応する表示用のデータを追加で送信するように構成することができる。図７Ａには、線維性被膜７８５と脂質の領域７９５との間の境界７８０をも示している。図７Ｂ～図９を参照して本明細書に説明されるように、画像セグメンテーションシステムは、線維性被膜を特定し、線維性被膜と脂質プールとの境界を特定できるように構成することができる。いくつかの例では、画像セグメンテーションシステムは、線維性被膜アノテーションを有する入力画像を受信し、このアノテーションを精緻化して、アノテーション付き被膜と隣接する脂質プールとの間のより正確な境界を表すように構成される。

【0141】

図７Ｂは、本開示の態様による、血管の入力画像におけるアーク線の半径方向の信号強度に基づいて線維性被膜を特定する一例としてのプロセス７００Ｂのフローチャートである。

【0142】

システムは、ブロック７１０Ｂに従って、血管の入力画像フレームを受け付ける。例えば、入力画像フレームは、図１を参照して本明細書に説明したように、ユーザコンピューティングデバイスが撮像デバイスを通じて受け付けた画像フレームとすることができる。入力画像は、血管の管腔を取り囲む線維性被膜の１つ以上のアノテーションを含むことができる。これらのアノテーションは、例えば、手動でラベル付けすることもできるし、図１を参照して本明細書に説明したように、画像セグメンテーションシステムによって生成することもできる。いくつかの例では、入力画像に線維性被膜を用いてアノテーションがなされるものの、被膜のカバレッジ角に対応するアーク線を用いてアノテーションがなされない場合に、システムは、画像フレームに示された管腔の中心等の基準点を基準とするアーク線を計算するように構成することができる。アーク線生成の一部として、システムは管腔の中心を特定することができる。

【0143】

いくつかの例では、システムは、入力画像に示された１つ以上の線維性被膜のアーク線のみを用いてアノテーションがなされた入力画像フレームを受け付ける。それらの例では、入力画像フレームは、手動でアノテーションをすることもできるし、入力画像フレームに示された線維性被膜のカバレッジ角によって画定されるアーク線を予測できるようにトレーニングされた１つ以上の機械学習モデルを使用してアノテーションをすることもできる。

【0144】

システムは、ブロック７２０Ｂに従って、画像フレームに示された血管の管腔の中心を基準とした各アーク線について、それぞれの半径方向の信号強度を計算する。半径方向の信号強度（又は「信号強度」）は、撮像された血管の管腔の中心等の基準点を基準として定められるそれぞれのアークに対応する画像フレームの領域における撮像信号の強度を指す。システムは、基準点を基準とした距離が変化する各アーク線上の複数の点に沿って半径方向の信号強度を測定することができる。

【0145】

システムは、入力画像フレームの各ピクセルについて、信号を数値に変換することができる。各ピクセルについて、それぞれの数値は、その点において撮像プローブから反射された光の量に対応することができる。いくつかの例では、システムは、最高値が１となり、最低値が０となるように各画像フレームを正規化することができる。ピクセル近傍内の正規化された値は、雑音の少ない信号を提供するように平均することができる。ピクセル近傍は、一例として、ターゲットピクセルに隣接する全てのピクセルとすることができるが、ピクセル近傍は、実施態様ごとに、ターゲットピクセルを基準とする他のピクセルにわたって定めることができる。

【0146】

各アーク線の信号強度の測定値は、種々の収集された測定値から雑音を除去するために平滑化することができる。例えば、角度寸法（例えば、共通原点を基準とする、或る点及び基準点を交差する線によって形成される角度寸法）における複数のサンプル、例えば一時に１２個のサンプルを平均することができる。別の例として、システムは、例えば１３ピクセルの窓サイズを有するバートレット窓関数又は三角窓関数を適用して、端点の半径方向寸法（例えば、極座標に表されるアーク線に沿った点の半径方向寸法）に沿った雑音を削減することができる。各アーク線の信号強度測定値は、管腔のエッジにおける信号値によって各値を除することによって正規化することができる。

【0147】

システムは、ブロック７３０Ｂに従って、アーク線に沿った点の複数の半径方向信号強度から、入力画像に示された１つ以上の線維性被膜を特定する。図８及び図９を参照して本明細書に説明されるように、システムは、複数の半径方向信号強度の減衰率を計算し、その減衰率を、異なる組織又はプラークを通る他の既知の減衰率と比較する。例えば、脂質を通るアーク線は、管腔のエッジの後に高い信号強度を有し、その後のアーク線の強度は、減衰曲線に従って減少することが分かっている。減衰曲線は、例えば、基準点からの距離に対して指数関数的なものとすることができる。

【0148】

線維性被膜を特定することの一部として、システムは、線維性被膜を用いてアノテーションがなされた画像を受信し、線維性被膜と、隣接する脂質プールとの間の境界を特定することができる。システムは、その後、被膜とプールとの間の境界をより正確に反映するように線維性被膜のアノテーションを更新することができる。システムは、境界に対応する点としてのアーク線に沿った点の相対半径方向強度を特定するように構成することができる。相対半径方向強度は、アーク線に沿った、管腔の壁に対応する別の点について測定されたピーク半径方向強度に比例することができる。線維性被膜と、隣接する脂質プールとの間の境界に対応する相対信号強度は、以下に説明されるように、線維性被膜を用いてアノテーションがなされた画像の既知のサンプルの信号強度の減衰曲線に基づくことができる。

【0149】

いくつかの例では、当初生成された境界の最終的な境界は、本明細書に説明されるように、システムが、例えば、線維性被膜検出モデル及び半径方向強度分析の双方により得られた、異なる出力画像において特定されるアノテーション付き線維性被膜の境界間のピクセルの平均位置を得ることによって判定することができる。ピクセルのそれぞれにわたる平均位置は、更新された境界の一部を形成することができる。

【0150】

いくつかの例では、システムは、別々に生成された出力画像間でアノテーションがなされたピクセルの重なりの程度を求めることができ、別々にアノテーションがなされた出力画像が重なり合う位置を表すピクセルを、更新された境界に含めることができる。システムは、更新された境界の残りのピクセルを、例えば、別々に生成された出力画像がアノテーションにおいて重なり合わない位置において補間することができる。

【0151】

いくつかの例では、システムは、血管の入力画像から測定された複数のアーク線の半径方向信号強度の減衰率に基づいて線維性被膜をまず特定し、その後、線維性被膜検出モデルを使用して線維性被膜のアノテーションの境界を更新するように構成することができる。このように、実施されるいずれの手法も、本明細書に説明される相補的な技法を実行することによる追加の処理を通じて強化することができる。

【0152】

いくつかの例では、例えば、本明細書に説明されるような線維性被膜検出モデルを使用する手法又は半径方向強度分析を使用する手法のいずれの手法も、同じ入力画像についていずれかの手法によって生成された偽陽性又は相反する特定を検出するのに使用することができる。例えば、入力画像が、線維性被膜検出モデルによって処理される場合、同じ入力画像を、例えば、図７及び図８を参照してそれぞれ説明されるプロセス７００及び８００を実行することにより、入力画像から測定された異なるアーク線の半径方向信号強度の減衰率に基づいて線維性被膜を特定するために処理することもできる。

【0153】

異なる手法による出力画像が、例えば、正確に又はアノテーションがなされた出力画像間の所定の類似閾値内において一致していない場合には、システムは、１つ以上の処理を行うことができる。例えば、システムは、例えば、ユーザによる更なるレビューのために不一致としてフラグを付けることができる。付加的に又は代替的に、システムは、生成された２つの出力画像のうちの一方がシステムの「真」の出力であることを提案することもできるし、一方をシステムの「真」の出力であると自動的に選択することもできる。システムは、例えば、所定の基本設定に基づいて決定することができる。いくつかの例では、本明細書に説明されるように同じ入力に対して異なる手法を使用して２つ以上の生成出力画像を生成することは、必要に応じてエラーチェック及び出力有効性確認を提供する、ユーザにより有効化又は無効化される特徴とすることができる。

【0154】

図８は、血管の入力画像から測定された複数のアーク線の半径方向信号強度の減衰率に基づいて線維性被膜を特定する一例示のプロセス８００のフローチャートである。

【0155】

システムは、ブロック８１０に従って、アーク線の２つ以上の点に沿った減衰率を計算する。例えば、システムは、基準点から始まり、基準点から離れて外側に伸びていくアーク線の異なる点からの信号強度の変化率を計算する。システムは、本明細書に説明される図９に示すように、２つ以上の点にわたる減衰率の曲線を、基準点からの距離の関数としてプロットすることができる。

【0156】

２つ以上の点は、基準点を基準とする２つ以上のアーク線の距離に基づいて選択される複数の点のサブセットとすることができる。例えば、信号強度の減衰率が減少を開始する可能性のある位置の異なる観測値に基づいて、システムは、その位置から開始するアーク線の減衰率を計算することができる。この位置は、例えば、基準点から１ミリメートルとすることができるが、この位置は、基準点のより近くに調整することもできるし、基準点からより遠くに調整することもできる。いくつかの例では、信号強度の曲線は、測定されたアーク線の全てにわたる信号強度を表すことができる。それらの例では、測定された減衰率は、２つ以上の点のうちの基準点に最も近い最初の点から開始し、２つ以上の点のうちの基準点から最も遠い最後の点で終了する。

【0157】

システムは、ブロック８２０に従って、減衰率が所定の減衰率の閾値内にあるか否かを判断する。例えば、システムは、減衰率の測定された曲線を既知の曲線にフィッティングすることによって、減衰率が所定の減衰率の閾値内にあるか否かを判断する。既知の曲線は、例えば、線維性被膜及び脂質プールを通って伝播するアーク線の信号強度の減衰率の既知の曲線である。システムは、二乗平均平方根誤差（ＲＭＳＥ：root-mean-square error）等の任意の統計誤差測定技法を使用して曲線間の差又は誤差を計算することができる。ＲＭＳＥ又は他の技法は、システムが所定の閾値と比較する誤差値を生成することができ、所定の閾値を例えば０．０２とすることができる。所定の閾値は、例えば、測定された曲線を既知の曲線にフィッティングする際の誤差の許容可能範囲に基づいて、実施態様ごとに変わる可能性がある。

【0158】

脂質プールの線維性被膜に関して、既知の曲線の受け入れの一例として、システムは、測定された曲線を、脂質プールの１つ以上の線維性被膜によってラベル付けされた画像のサンプルセットにわたって計算された曲線と比較することができる。例えば、サンプルセットは、図１を参照して本明細書に説明したトレーニング画像データ、及び／又は１つ以上の他のソースからの専門家によるアノテーション付き画像を含むことができる。いくつかの例では、サンプルセットは、図１～図６を参照して本明細書に説明されるように、入力画像フレームにおける線維性被膜を予測できるようにトレーニングされた線維性被膜検出モデルによってアノテーションがなされた画像フレームを含むことができる。

【0159】

システムが、減衰率が所定の減衰率の閾値内にないと判断した場合には（「ＮＯ」）、プロセス８００は終了する。さもなければ、システムは、ブロック８３０に従って、２つ以上の点と管腔のエッジとの間の入力フレームのセグメントを、線維性被膜を示すものとして特定する。

【0160】

脂質プールの線維性被膜の特定において、減衰率は、信号が脂質プールを通過するときの信号強度の減衰に対応する。減衰率が特定された２つ以上の点のうちの最初の点は、信号が脂質プールを通過する最初の点を表すことができる。システムは、管腔エッジにおける点と脂質の境界における点（比較される減衰率が曲線において開始する２つ以上の点のうちの最初の点によって示される）との間の空間を線維性被膜の位置として特定することができる。線維性被膜の位置を特定することによって、システムは、被膜と、隣接する脂質プールとの間の境界も判定する。

【0161】

システムは、例えば、本明細書に説明されるような、撮像された血管の管腔に対応するチャネルを出力するようにトレーニングされた線維性被膜検出モデルを使用して、管腔のエッジ又は外周部を特定するように構成することができる。

【0162】

いくつかの例では、システムは、本明細書に説明されるような半径方向強度分析を使用してトレーニングデータを処理し、トレーニングデータにおける各画像が線維性被膜を示しているか否かを判定することによって、線維性被膜検出モデルをトレーニングするためのトレーニングデータを精緻化することができる。システムは、線維性被膜検出モデルをトレーニングするために受け付けられた受付けトレーニングデータの一部又は全てをサンプリングし、サンプリングされたトレーニングデータが線維性被膜を示していない画像を含むか否かを、所定の信頼度の範囲内で判定することができる。システムは、それらの画像が破棄されるべきか又はトレーニングデータとして留まるべきかを判定する、例えば手動検査による更なるレビューのためにこれらの画像にフラグを付けることができる。いくつかの例では、システムは、フラグの付加及び削除を自動的に行うように構成することができる。

【0163】

いくつかの例では、システムは、本明細書に説明されるような半径方向強度分析を使用してトレーニングデータを処理することによって、線維性被膜検出モデルをトレーニングするトレーニングデータに対し事前にラベル付けすることができる。事前ラベルは、トレーニングデータのラベルとして、線維性被膜検出モデルをトレーニングするのに使用することができる。他の例では、事前ラベルは、トレーニングデータに線維性被膜を手動でラベル付けすることを容易にするために、手動検査用に提供することができる。いくつかの例では、システムは、事前ラベルのうちの少なくともいくつかを、受け付けられたトレーニングデータのラベルとして提供し、少なくともいくつかの他の事前ラベルを手動検査用に提供する。

【0164】

いくつかの例では、システムは、対応する線維性被膜のカバレッジ角のみを用いてアノテーションがなされた入力画像フレームを受け付ける。システムは、このカバレッジ角から、アノテーションがなされた角度で線維性被膜を含むアーク線を特定し、図８を参照して本明細書に説明されるように、線維性被膜を特定することができる。画像データは、本明細書に説明されるような線維性被膜検出モデルをトレーニングする追加のトレーニングデータとして提供することができる。

【0165】

カバレッジ角による手動アノテーションは、線維性被膜自体の位置にアノテーションをするよりも容易なものとすることができ、これによって、より多くのトレーニングデータを同じ時間量で生成することを可能にすることができる。システムをより多くのデータに対してトレーニングすることができ、これによって、より多種多様なトレーニングデータをシステムのトレーニングに使用することを可能にすることができる。加えて、線維性被膜のカバレッジ角を用いてアノテーションがなされた画像からトレーニングデータを生成することは、トレーニングデータ全体にわたってアノテーションを標準化することによって手動アノテーションを改善することができる。例えば、手動アノテータは、線維性被膜自体の位置にアノテーションをすることとは異なり、カバレッジ角についてアノテーションをしている間に互いのアノテーションをより一貫したものとすることができる。線維性被膜自体の位置のアノテーションは、変化の影響をより受けやすいおそれがあり、例えば、アノテータが異なると、同じ線維性被膜について異なる厚さが推定される場合がある。

【0166】

図９に、異なる組織及びプラークを通るピーク信号強度及び減衰率のグラフ９００Ａ～９００Ｄを示す。グラフ９００Ａは、相対信号強度９０１Ａ（最も高い検出信号強度及び最も低い検出信号強度を基準とする）と、例えば、ピクセルで測定された基準点からの距離９０２Ａとをプロットしている。実線の曲線９０３Ａは、例えば、全てが脂質プールの線維性被膜を示すといった共通の特性を共有する画像フレームのサンプルセットから測定された曲線を表す。点線の曲線９０４Ａは、入力画像フレームの測定されたアーク線、例えば、図９００を参照して本明細書に説明されるような２つ以上のアーク線から計算された曲線の少なくとも一部分を表す。

【0167】

領域９０５Ａは、減衰率が、その領域内の位置に対応するアーク線の２つ以上の点から測定される画像フレームの領域に対応する。本明細書に説明されるように、２つ以上の点の減衰率は、システムによってそれまでに受け付けられた実線の曲線９０３Ａにフィッティングする。この例では、曲線間のフィッティング度は０．０２の誤差を有する。領域９０６Ａは、脂質プールの線維性被膜を示すために予測された画像フレームの領域に対応する。図１０を参照して本明細書に説明するように、システムは、脂質プールの線維性被膜の厚さを推定することができる。線９５０は、領域９０６Ａの端部に対応し、この端部は、線維性被膜と脂質プールとの間の境界をも表す。言い換えれば、線９５０は、曲線９０３Ａが、脂質を通過するときに以前に測定された信号強度減衰に対応する率で減衰が始まる点に対応する。

【0168】

グラフ９００Ｂ～９００Ｄは、測定された減衰率に対応する点線曲線９０４Ａを、異なる特性、例えば、撮像された血管の周辺の異なるプラークを有する画像フレームのセットからそれまでに生成された実線曲線９０４Ｂ～９０４Ｄとともに示している。グラフ９００Ｂの実線曲線９０４Ｂは、グラフ９００Ａを参照して説明されるように、脂質プールの線維性被膜を示す画像フレームのセットから測定された曲線である。実線曲線９０４Ｂは、信号強度が管腔エッジの後で通常はより高い（より明るい）ことを示している。

【0169】

グラフ９００Ｃの実線曲線９０４Ｃは、撮像された血管の組織における可視の中膜を示す画像フレームのセットから測定された曲線である。実線曲線９０４Ｃは、信号強度を、管腔エッジの後で通常はより高い（より明るい）ものとして示しているが、曲線９０４Ｃの減衰率は、点線曲線９０４Ａにフィッティング（適合）していないだけでなく、実線曲線９０３Ａ又は９０４Ｂともフィッティングしていない。グラフ９００Ｃでは、曲線間のフィッティング誤差が０．０５として測定される。

【0170】

グラフ９００Ｄの実線曲線９０４Ｄは、可視の中膜、カルシウム、又は脂質を示していない画像フレームのセットから測定された曲線である。実線曲線９０４Ｄは、実線曲線９０４Ａ～９０４Ｃを生成するために測定された血管の管腔エッジを基準としてより低いピーク強度を示し、曲線９０４Ｄと点線曲線９０４Ａとのフィッティング誤差も、点線曲線９０４Ａ及び実線曲線９０３Ａのフィッティング度よりも高い（０．０３）。いくつかの例では、既知のサンプルセットの曲線、例えば、実線曲線９０４Ａ～９０４Ｄの比較と、異なる曲線のフィッティング誤差の相違の比較とに基づいて所定の閾値を生成することができる。

【0171】

図１０は、本開示の態様による、撮像された血管の一連の測定アーク線におけるピーク半径方向信号強度を使用して線維性被膜の厚さを測定する一例としてのプロセス１０００のフローチャートである。

【0172】

システムは、ブロック１０１０に従って、ピーク半径方向信号強度に対応するアーク線の第１の点を特定する。例えば、システムは、アーク線に沿った複数の点の半径方向信号強度をプロットし、最も高い信号強度値を有する点を特定することができる。図８及び図９を参照して本明細書に説明したように、ピーク信号強度は、一般に、撮像された血管の管腔のエッジの後で生ずる可能性がある。

【0173】

システムは、ブロック１０２０に従って、ピーク半径方向信号強度を基準とする閾値強度値を満たす半径方向信号強度に対応するアーク線の第２の点を特定する。例えば、閾値強度値は、ピーク信号強度の８０％に設定することができる。閾値強度値は、例えば、アノテーションがなされた線維性被膜の画像フレームのサンプルセットの分析と、線維性被膜の両端におけるアーク線に沿った点の信号強度の比較とに基づいて、実施態様ごとに変更することができる。

【0174】

システムは、ブロック１０３０に従って、アーク線における第１の点と第２の点との間の距離として線維性被膜の厚さを測定する。システムは、同じ基準点を起点とする複数のアーク線についてプロセス１０００を繰り返すことができるとともに、線維性被膜に対応するカバレッジ角を画定するアーク線の間にある同じ基準点を起点とする１つ以上の線についてもプロセス１０００を繰り返すことができる。例えば、線維性被膜は、点が異なると厚さが異なる場合があるため、システムは、ブロック１０３０に従って異なる線に沿って厚さを測定し、線維性被膜の厚さがより大きい領域又はより小さい領域を特定することができる。

【0175】

受け付けられた入力画像フレームにおける線維性被膜の位置及び厚さを推定した後、システムは、これらの推定を定めるデータを、例えば、図１及び図２を参照して本明細書に説明したように、ディスプレイ上に、又は、診断及び／又は分析用の下流側プロセスの一部として出力するように構成することができる。いくつかの例では、システムは、厚さ閾値よりも薄い脂質プールの予測された線維性被膜を用いて、例えば、ディスプレイ上のプロンプト又は或る視覚インジケータを通じて画像フレームにフラグを付けるように構成することができる。例えば、厚さ閾値よりも薄い線維性被膜を示す画像フレームは、画像血管のＴＣＦＡ等のプラーク崩壊のリスク増加のインジケータとすることができるため、厚さ閾値は、可能性のある追加のレビュー及び分析のために画像フレームにフラグを付けられるように設定することができる。

【0176】

＜コンピューティング環境の例＞
図１１は、本開示の態様による、画像セグメンテーションシステム１００を実施する一例示のコンピューティング環境のブロック図である。システム１００は、サーバコンピューティングデバイス１１１５等の１つ以上の位置に１つ以上のプロセッサを有する１つ以上のデバイス上で実施することができる。ユーザコンピューティングデバイス１１１２及びサーバコンピューティングデバイス１１１５は、ネットワーク１１６０を介して１つ以上の記憶デバイス１１３０に通信可能に結合することができる。記憶デバイス（複数の場合もある）１１３０は、揮発性メモリ及び不揮発性メモリを組み合わせたものとすることができ、コンピューティングデバイス１１１２、１１１５と同じ物理位置に存在することもできるし、異なる物理位置に存在することもできる。例えば、記憶デバイス（複数の場合もある）１１３０は、ハードドライブ、ソリッドステートドライブ、テープドライブ、光学記憶装置、メモリカード、ＲＯＭ、ＲＡＭ、ＤＶＤ、ＣＤ－ＲＯＭ、書き込み可能メモリ、及びリードオンリメモリ等の、情報を記憶することが可能な任意のタイプの非一時的コンピュータ可読媒体を含むことができる。

【0177】

サーバコンピューティングデバイス１１１５は、１つ以上のプロセッサ１１１３及びメモリ１１１４を含むことができる。メモリ１１１４は、プロセッサ（複数の場合もある）１１１３が実行することができる命令１１２１を含む、プロセッサ（複数の場合もある）１１１３によってアクセス可能な情報を記憶することができる。メモリ１１１４は、プロセッサ（複数の場合もある）１１１３が取り出し、操作又は記憶することができるデータ１１２３も含むことができる。メモリ１１１４は、揮発性メモリ及び不揮発性メモリ等の、プロセッサ（複数の場合もある）１１１３によってアクセス可能な情報を記憶することが可能なタイプの非一時的コンピュータ可読媒体とすることができる。プロセッサ（複数の場合もある）１１１３は、１つ以上の中央処理ユニット（ＣＰＵ：central processing unit）、グラフィック処理ユニット（ＧＰＵ：graphic processing unit）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ：field-programmable gate array）、及び／又は特定用途向け集積回路（ＡＳＩＣ：application-specific integrated circuit）を含むことができる。

【0178】

命令１１２１は、プロセッサ（複数の場合もある）１１１３によって実行されると、命令によって定義される動作をこれらの１つ以上のプロセッサに実行させる１つ以上の命令を含むことができる。命令１１２１は、プロセッサ（複数の場合もある）１１１３によって直接処理されるオブジェクトコードフォーマットで記憶することもできるし、インタープリタブルスクリプト又はオンデマンドでインタープリットされるか若しくは事前にコンパイルされた独立したソースコードモジュールの集合体を含む他のフォーマットで記憶することもできる。命令１１２１は、本開示の態様と一致したシステム１００を実施する命令を含むことができる。システム１００は、プロセッサ（複数の場合もある）１１１３を使用して実行することもできるし、及び／又はサーバコンピューティングデバイス１１１５からリモート配置された他のプロセッサを使用して実行することもできる。

【0179】

データ１１２３は、プロセッサ（複数の場合もある）１１１３が命令１１２１に従って取り出し、記憶、又は変更することができる。データ１１２３は、コンピュータレジスタに記憶することもできるし、複数の異なるフィールド及びレコードを有するテーブルとして又はＪＳＯＮドキュメント、ＹＡＭＬドキュメント、ｐｒｏｔｏドキュメント、若しくはＸＭＬドキュメントとして、リレーショナルデータベース又は非リレーショナルデータベースに記憶することもできる。データ１１２３は、これらに限定されるものではないがバイナリ値、ＡＳＣＩＩ又はＵｎｉｃｏｄｅ等のコンピュータ可読フォーマットにフォーマットすることもできる。その上、データ１１２３は、数字、記述テキスト、独自コード、ポインタ、他のネットワーク位置を含む他のメモリに記憶されたデータへの参照子、又は関連データを計算する関数によって使用される情報等の関連情報を特定するのに十分な情報を含むことができる。

【0180】

ユーザコンピューティングデバイス１１１２は、１つ以上のプロセッサ１１１６、メモリ１１１７、命令１１１８、及びデータ１１１９を用いて、サーバコンピューティングデバイス１１１５と同様に構成することもできる。ユーザコンピューティングデバイス１１１２は、ユーザ出力部１１２６及びユーザ入力部１１２４も含むことができる。ユーザ入力部１１２４は、キーボード、マウス、機械アクチュエータ、ソフトアクチュエータ、タッチスクリーン、マイクロホン、及びセンサ等の、ユーザからの入力を受け付ける任意の適切なメカニズム又は技法を含むことができる。

【0181】

サーバコンピューティングデバイス１１１５は、データをユーザコンピューティングデバイス１１１２に送信するように構成することができ、ユーザコンピューティングデバイス１１１２は、受け付けられたデータの少なくとも一部分をユーザ出力部１１２６の一部として実装されたディスプレイ上に表示するように構成することができる。ユーザ出力部１１２６は、ユーザコンピューティングデバイス１１１２とサーバコンピューティングデバイス１１１５との間のインタフェースの表示にも使用することができる。ユーザ出力部１１２６は、代替的又は付加的に１つ以上のスピーカ、トランスデューサ又は他のオーディオ出力部、非視覚情報及び非可聴情報をユーザコンピューティングデバイス１１１２のプラットホームユーザに提供する触覚インタフェース又は他の触知性フィードバックを含むことができる。

【0182】

図１１は、プロセッサ１１１３、１１１６及びメモリ１１１４、１１１７を、コンピューティングデバイス１１１５、１１１２内に存在するものとして示しているが、プロセッサ１１１３、１１１６及びメモリ１１１４、１１１７を含めて、本明細書に説明される構成要素は、同じコンピューティングデバイス内ではなく異なる物理位置において動作することができる複数のプロセッサ及びメモリを含むことができる。例えば、命令１１２１、１１１８及びデータ１１２３、１１１９のうちのいくつかは、リムーバブルＳＤカード及びリードオンリコンピュータチップ内の他のものに記憶することができる。命令及びデータの一部又は全てを、プロセッサ１１１３、１１１６から物理的に遠方ではあるがプロセッサ１１１３、１１１６によって引き続きアクセス可能な位置に記憶することができる。同様に、プロセッサ１１１３、１１１６は、並行動作及び／又は逐次動作を実行することができるプロセッサの集合体を含むことができる。コンピューティングデバイス１１１５、１１１２はそれぞれ、コンピューティングデバイス１１１５、１１１２によって実行される動作及びプログラムの時間測定に使用することができるタイミング情報を提供する１つ以上の内部クロックを含むことができる。

【0183】

デバイス１１１２、１１１５は、ネットワーク１１６０を介した直接通信及び間接通信が可能なものとすることができる。例えば、ネットワークソケットを使用して、ユーザコンピューティングデバイス１１１２は、データセンタ１１５０において動作するサービスにインターネットプロトコルを通じて接続することができる。デバイス１１１５、１１１２は、情報の送受信用の開始接続を受け付けることができるリスニングソケットをセットアップすることができる。ネットワーク１１６０自体が、インターネット、ワールドワイドウェブ、イントラネット、仮想プライベートネットワーク、ワイドエリアネットワーク、ローカルネットワーク、及び１つ以上の企業に独自の通信プロトコルを使用するプライベートネットワークを含む様々な構成及びプロトコルを含むことができる。ネットワーク１１６０は、様々な短距離接続及び長距離接続をサポートすることができる。短距離接続及び長距離接続は、２．４０２ＧＨｚ～２．４８０ＧＨｚ（一般にＢｌｕｅｔｏｏｔｈ（商標）標準規格に関連付けられる）、２．４ＧＨｚ及び５ＧＨｚ（一般にＷｉ－Ｆｉ（商標）通信プロトコルに関連付けられる）等の異なる帯域幅上で、又は無線広帯域通信用のＬＴＥ（商標）標準規格等の様々な通信標準規格を用いて行うことができる。ネットワーク１１６０は、付加的又は代替的に、様々なタイプのイーサネット接続を介することを含めて、デバイス１１１２、１１１５の間の有線接続もサポートすることができる。

【0184】

単一のサーバコンピューティングデバイス１１１５及びユーザコンピューティングデバイス１１１２が図１１に示されているが、本開示の態様は、逐次処理若しくは並列処理のパラダイムにおけるもの、又は複数のデバイスの分散ネットワークにわたるものを含めて、様々な異なる構成及び様々な異なる数量のコンピューティングデバイスに従って実施することができることが分かる。いくつかの実施態様では、本開示の態様は、単一のデバイス及びそれらの任意の組み合わせにおいて行うことができる。

【0185】

図面に示される動作及び特許請求の範囲に列挙される動作は、特定の順序で示されているが、これらの動作は、示されている順序と異なる順序で行うことができること、並びに、いくつかの動作は省略することができ、２回以上実行することができ、及び／又は他の動作と並列に実行することができることが分かる。さらに、異なる動作を実行するように構成される異なるシステム構成要素の分離は、それらの構成要素の分離を必要とするものと理解されるべきでない。説明されている構成要素、モジュール、プログラム、及びエンジンは、単一のシステムとして互いに統合することもできるし、複数のシステムの一部とすることもできる。加えて、本明細書に説明されるように、図１の画像セグメンテーションシステム１００等の画像セグメンテーションシステムは、本明細書に説明されるプロセスを実行することができる。

【0186】

別段の指示がない限り、上述の代替的な例は、互いに排他的ではなく、固有の利点を達成するために様々な組み合わせで実施することができる。上述したこれらの機能及び他の変形形態並びに組み合わせを、特許請求の範囲によって規定される主題から逸脱することなく利用することができ、上述の実施形態の記載は、特許請求の範囲によって規定される主題を限定するのではなく、例示するものとして解釈されるべきである。加えて、本明細書に記載した例の提供、及び「等」、「を含む」等という言い回しの節は、特許請求の範囲の主題を特定の例に限定するものとして解釈されるべきではなく、むしろ、こうした例は、多くのあり得る実施形態のうちの１つのみを例示することが意図されている。さらに、様々な図における同じ参照符号は、同じ又は類似の要素を識別することができる。

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図5】

【図6A】

【図6B】

【図7A】

【図7B】

【図8】

【図9】

【図10】

【図11】

【国際調査報告】