▶ キヤノン ユーエスエイ，インコーポレイテッドの特許一覧 ▶ ザ ジェネラル ホスピタル コーポレイションの特許一覧
特許7514300機械学習及びその結果の使用を含む人工知能コレジストレーション並びにマーカ検出
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-07-02
(45)【発行日】2024-07-10
(54)【発明の名称】機械学習及びその結果の使用を含む人工知能コレジストレーション並びにマーカ検出
(51)【国際特許分類】
A61B 6/00 20240101AFI20240703BHJP
A61B 1/00 20060101ALI20240703BHJP
A61B 6/50 20240101ALI20240703BHJP
A61B 8/12 20060101ALI20240703BHJP
【ＦＩ】
A61B6/00 560
A61B1/00 526
A61B6/50 500B
A61B8/12
【請求項の数】
14
(21)【出願番号】P 2022517736
(86)(22)【出願日】2020-09-18
(65)【公表番号】
(43)【公表日】2022-11-24
(86)【国際出願番号】 US2020051615
(87)【国際公開番号】W WO2021055837
(87)【国際公開日】2021-03-25
【審査請求日】2022-06-10
(31)【優先権主張番号】62/903,630
(32)【優先日】2019-09-20
(33)【優先権主張国・地域又は機関】US
【前置審査】
(73)【特許権者】
【識別番号】596130705
【氏名又は名称】キヤノン ユーエスエイ，インコーポレイテッド
【氏名又は名称原語表記】ＣＡＮＯＮ Ｕ．Ｓ．Ａ．，ＩＮＣ
(73)【特許権者】
【識別番号】592017633
【氏名又は名称】ザ ジェネラル ホスピタル コーポレイション
(74)【代理人】
【識別番号】100090273
【弁理士】
【氏名又は名称】國分 孝悦
(72)【発明者】
【氏名】國尾 美絵
(72)【発明者】
【氏名】ヘルマン マルクス ダニエル
(72)【発明者】
【氏名】ティアニー ギレルモ ジェイ
【審査官】松岡 智也
(56)【参考文献】
【文献】特開２０１７－１３１３４８（ＪＰ，Ａ）
【文献】国際公開第２０１９／０２３３８２（ＷＯ，Ａ１）
【文献】特開２０１７－１８５００７（ＪＰ，Ａ）
【文献】特表２０２０－５２８７７９（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ａ６１Ｂ ６／００－６／５８
(57)【特許請求の範囲】
【請求項1】
人工知能を用いて訓練されたモデルを用いる装置であって、前記装置は、１つ以上のプロセッサを備え、
前記１つ以上のプロセッサは、
血管造影画像データを取得又は受信するステップと、
訓練済みモデルを受信するか、又は、訓練済みモデルをメモリからロードするステップであって、前記訓練済みモデルは、取得又は受信された前記血管造影画像データの血管造影フレーム上のマーカ位置を少なくとも検出するように、血管造影画像データの血管造影フレームを少なくとも含む訓練データを用いて人工知能を用いて訓練されたものである、受信又はロードするステップと、
取得又は受信された前記血管造影画像データに前記訓練済みモデルを適用するステップと、
前記訓練済みモデルが適用された後に、取得又は受信された前記血管造影画像データの１つ以上の血管造影フレームのうちの１つの血管造影フレームを選択するステップと、
前記訓練済みモデルを用いて、選択された前記血管造影フレーム上でマーカ位置を検出するステップと、
（ｉ）前記訓練済みモデルの前記訓練データが実際のマーカ位置のデータを更に含む場合は前記訓練済みモデルからの出力データを用いて、かつ／又は、（ｉｉ）前記装置のユーザからの入力を用いて、前記マーカ位置が正解であるかどうかを確認するステップであって、前記訓練済みモデルの前記出力データ又は前記ユーザからの前記入力は、前記マーカ位置が正解であるかどうかを示すものであり、又は、前記マーカ位置が正解でない場合に前記マーカ位置になされるべき修正を示すものである、確認するステップと、
前記マーカ位置が正解でなかった場合は、前記マーカ位置になされるべき前記修正を示す前記訓練モデルからの前記出力データを用いて、かつ／又は、前記マーカ位置になされるべき前記修正を示す前記装置の前記ユーザからの前記入力を用いて、検出された前記マーカ位置を変更し、変更されたマーカ位置が正解であるかどうかについて前記確認を繰り返し、又は、前記マーカ位置が正解である場合は、正解のマーカ位置を含むかどうかについて前記１つ以上の血管造影フレームのうちの全ての血管造影フレームが確認されたかどうかを確認するステップと、
正解のマーカ位置を含むかどうかについて前記血管造影フレームの全てが確認されていない場合は、前記１つ以上の血管造影フレームのうちの別の血管造影フレームを選択し、当該別の血管造影フレームについて、マーカ位置の検出と、前記マーカ位置が正解であるかどうかの確認とを繰り返すステップと、
を実行するように機能する、装置。
【請求項2】
前記１つ以上のプロセッサは、（ｉ）正解のマーカ位置を含むかどうかについて前記血管造影フレームの全てが確認された場合、検出された前記マーカ位置に基づいてコレジストレーションを実行すること、
（ｉｉ）検出された前記マーカ位置をディスプレイ上に表示すること、
（ｉｉｉ）検出された前記マーカ位置が血管造影データに重ね合わされるように、検出された前記マーカ位置を前記ディスプレイ上に表示すること、
（ｉｖ）変更された前記マーカ位置を、前記ディスプレイ上に表示すること、
（ｖ）マーカ又は放射線不透過性マーカを有する血管内イメージングカテーテルが物体又はサンプル内にあるときに、前記血管内イメージングカテーテルを制御すること、及び／又は、
（ｖｉ）マーカ又は放射線不透過性マーカを有する血管内イメージングカテーテルのプルバック動作中に、前記血管造影画像データを取得又は受信することであって、前記プルバック動作は、前記血管内イメージングカテーテルを制御するように機能する前記１つ以上のプロセッサによって制御される、取得又は受信すること、
のうちの１つ以上を実行するように更に機能する、請求項１に記載の装置。
【請求項3】
前記物体又はサンプルは、血管、標的の標本若しくは物体、及び／又は患者、のうちの１つ以上を含む、請求項２に記載の装置。
【請求項4】
前記１つ以上のプロセッサは、前記訓練済みモデルを受信すること、前記訓練済みモデルをロードすること、前記血管造影フレームを選択すること、各フレームについて前記マーカ位置を検出すること、前記訓練済みモデルの前記出力データを用いて、かつ／又は、前記装置の前記ユーザからの前記入力を用いて、検出された前記マーカ位置が正解であるかどうかを決定すること、各フレームについて検出された前記マーカ位置を変更すること、検出された前記マーカ位置を前記ディスプレイ上に表示すること、前記コレジストレーションを実行すること、前記血管内イメージングカテーテルが前記物体又はサンプルに挿入されるように、前記血管内イメージングカテーテルを制御すること、及び／又は、前記プルバック動作中に前記血管造影画像データを取得又は受信すること、のうちの１つ以上を実行するために、１つ以上のニューラルネットワーク又は畳込みニューラルネットワークを用いるように更に機能する、請求項２に記載の装置。
【請求項5】
前記１つ以上のプロセッサは、取得又は受信された前記血管造影画像と、取得された１つ以上の光干渉断層撮影法（ＯＣＴ）又は血管内超音波検査（ＩＶＵＳ）の画像又はフレーム、或いは別のイメージングモダリティの取得された１つ以上の画像又はフレームとをコレジストレーションすることによって、前記コレジストレーションを実行するように更に機能する、請求項２に記載の装置。
【請求項6】
ロードされる前記訓練済みモデルは、セグメンテーションモデル、後処理を伴うセグメンテーションモデル、前処理を伴うモデル、後処理を伴うモデル、前処理を伴うセグメンテーションモデル、ディープラーニング又は機械学習のモデル、セマンティックセグメンテーション又は分類モデル、オブジェクト検出又は回帰モデル、前処理又は後処理を伴うオブジェクト検出又は回帰モデル、セマンティックセグメンテーションモデルとオブジェクト検出又は回帰モデルとの組合わせ、セグメンテーションモデル技術の繰り返しを用いたモデル、特徴ピラミッドを用いたモデル、オブジェクト検出又は回帰モデル技術の繰り返しを用いたモデル、深層畳込みニューラルネットワークモデル、画像間又はフレーム間の時間的関係を考慮に入れるように構成された長短期メモリを伴うリカレントニューラルネットワークモデル、画像間又はフレーム間の時間的関係を考慮に入れるように構成されたモデル、血管内でのプルバック中のマーカの移動又は位置を含む時間的関係を考慮に入れるように構成されたモデル、手順についての事前知識を用いるとともに前記事前知識を前記機械学習のアルゴリズム又は損失関数に組み込むように構成されたモデル、異なる画像解像度を考慮に入れるように構成された特徴ピラミッドを用いたモデル、及び／又は、残差学習技術を用いたモデル、のうちの１つ又は組合わせである、請求項２に記載の装置。
【請求項7】
前記１つ以上のプロセッサは、（ｉ）断層撮影画像と、光干渉断層撮影（ＯＣＴ）画像と、蛍光画像と、近赤外蛍光（ＮＩＲＡＦ）画像と、所定ビュー、カーペットビュー及び／又はインジケータビューでの近赤外蛍光（ＮＩＲＡＦ）と、３次元（３Ｄ）レンダリングと、血管の３Ｄレンダリングと、半管ビュー又は表示での血管の３Ｄレンダリングと、前記物体の３Ｄレンダリングと、管腔プロファイルと、管腔径表示と、長手方向ビューと、コンピュータ断層撮影法（ＣＴ）と、磁気共鳴画像法（ＭＲＩ）と、血管内超音波検査（ＩＶＵＳ）と、Ｘ線画像又はビューと、血管造影ビューと、のうちの１つ以上を含む１つ以上のイメージングモダリティの各々の画像とともに、前記血管造影データを前記ディスプレイ上に表示すること、及び／又は、
（ｉｉ）変更された前記マーカ位置に基づいて、前記１つ以上のイメージングモダリティの各々とともに、前記血管造影データの表示を変更又は更新すること、
のうちの１つ以上を実行するように更に機能する、請求項２に記載の装置。
【請求項8】
人工知能を用いてモデルを訓練するための方法であって、訓練済みモデルは、人工知能を用いて訓練された当該訓練済みモデルを用いる装置によって使用されるものであり、
前記方法は、
血管造影画像データを取得又は受信するステップと、
取得された前記血管造影画像データ内の少なくとも１つ以上のマーカ、１つ以上の放射線不透過性マーカ、又は１つ以上のマーカ位置についてグラウンドトゥルースを確立するステップと、
取得された前記血管造影画像データを、訓練用、検証用及びテスト用のセット又は群に分割するステップと、
モデルアーキテクチャと、学習率と、事前に訓練されたパラメータ値と、ランダム値に初期化されるパラメータ値とのうちの少なくとも１つ以上を含む１つ以上のハイパーパラメータ値を、モデル訓練のために選択するステップと、
前記訓練用のセット又は群のデータを用いてモデルを訓練し、前記検証用のセット又は群のデータを用いて前記訓練済みモデルを評価するステップと、
前記訓練済みモデルの性能が十分であるかどうかを決定するステップと、
前記訓練済みモデルの性能が十分でない場合は、１つ以上のハイパーパラメータ値の選択の手順、モデル訓練及び評価の手順、並びに決定の手順を繰り返し、又は、前記訓練済みモデルの性能が十分である場合は、前記訓練済みモデルを選択し、前記訓練済みモデルをメモリに保存するステップと、
を含み、
前記装置は、１つ以上のプロセッサを備え、
前記１つ以上のプロセッサは、
血管造影画像データを取得又は受信するステップと、
前記訓練済みモデルを受信するか、又は、前記訓練済みモデルを前記メモリからロードするステップであって、前記訓練済みモデルは、取得又は受信された前記血管造影画像データの血管造影フレーム上のマーカ位置を少なくとも検出するように、血管造影画像データの血管造影フレームを少なくとも含む訓練データを用いて人工知能を用いて訓練されたものである、受信又はロードするステップと、
取得又は受信された前記血管造影画像データに前記訓練済みモデルを適用するステップと、
前記訓練済みモデルが適用された後に、取得又は受信された前記血管造影画像データの１つ以上の血管造影フレームのうちの１つの血管造影フレームを選択するステップと、
前記訓練済みモデルを用いて、選択された前記血管造影フレーム上でマーカ位置を検出するステップと、
（ｉ）前記訓練済みモデルの前記訓練データが実際のマーカ位置のデータを更に含む場合は前記訓練済みモデルからの出力データを用いて、かつ／又は、（ｉｉ）前記装置のユーザからの入力を用いて、前記マーカ位置が正解であるかどうかを確認するステップであって、前記訓練済みモデルの前記出力データ又は前記ユーザからの前記入力は、前記マーカ位置が正解であるかどうかを示すものであり、又は、前記マーカ位置が正解でない場合に前記マーカ位置になされるべき修正を示すものである、確認するステップと、
前記マーカ位置が正解でなかった場合は、前記マーカ位置になされるべき前記修正を示す前記訓練モデルからの前記出力データを用いて、かつ／又は、前記マーカ位置になされるべき前記修正を示す前記装置の前記ユーザからの前記入力を用いて、検出された前記マーカ位置を変更し、変更されたマーカ位置が正解であるかどうかについて前記確認を繰り返し、又は、前記マーカ位置が正解である場合は、正解のマーカ位置を含むかどうかについて前記１つ以上の血管造影フレームのうちの全ての血管造影フレームが確認されたかどうかを確認するステップと、
正解のマーカ位置を含むかどうかについて前記血管造影フレームの全てが確認されていない場合は、前記１つ以上の血管造影フレームのうちの別の血管造影フレームを選択し、当該別の血管造影フレームについて、マーカ位置の検出と、前記マーカ位置が正解であるかどうかの確認とを繰り返すステップと、
を実行するように機能する、
方法。
【請求項9】
（ｉ）前記パラメータが、１つ以上のハイパーパラメータを含むこと、（ｉｉ）保存された前記訓練済みモデルが、血管造影画像データ内のマーカ又は放射線不透過性マーカを特定又は検出するために作成される識別子又は検出器として用いられること、
（ｉｉｉ）前記モデルが、セグメンテーションモデル、後処理を伴うセグメンテーションモデル、前処理を伴うモデル、後処理を伴うモデル、前処理を伴うセグメンテーションモデル、ディープラーニング又は機械学習のモデル、セマンティックセグメンテーション又は分類モデル、オブジェクト検出又は回帰モデル、前処理又は後処理を伴うオブジェクト検出又は回帰モデル、セマンティックセグメンテーションモデルとオブジェクト検出又は回帰モデルとの組合わせ、セグメンテーションモデル技術の繰り返しを用いたモデル、特徴ピラミッドを用いたモデル、オブジェクト検出又は回帰モデル技術の繰り返しを用いたモデル、深層畳込みニューラルネットワークモデル、画像間又はフレーム間の時間的関係を考慮に入れるように構成された長短期メモリを伴うリカレントニューラルネットワークモデル、画像間又はフレーム間の時間的関係を考慮に入れるように構成されたモデル、血管内でのプルバック中のマーカの移動又は位置を含む時間的関係を考慮に入れるように構成されたモデル、前記手順についての事前知識を用いるとともに前記事前知識を前記機械学習のアルゴリズム又は損失関数に組み込むように構成されたモデル、異なる画像解像度を考慮に入れるように構成された特徴ピラミッドを用いたモデル、及び／又は、残差学習技術を用いたモデル、のうちの１つ又は組合わせであること、
（ｉｖ）前記グラウンドトゥルースが、各血管造影フレーム内の標的マーカの長軸の２つの終点の位置と、光干渉断層撮影（ＯＣＴ）プルバック中にキャプチャされた各血管造影フレーム内の標的マーカの長軸の２つの終点の位置と、前記セグメンテーションモデルの正の領域として、特定の幅で２つの終点の位置を結ぶ線を含むマスクと、取得又は受信された前記血管造影画像データに含まれる前記マーカの全てと、２つのエッジ位置の中心軌跡と、前記オブジェクト検出又は回帰モデルでの２つのエッジ位置の中心軌跡と、取得又は受信された前記血管造影画像データの各フレーム内の、ユーザ又は前記装置の専門家によって図式的にアノテーションされた２つのマーカ位置と、のうちの１つ以上を含むこと、
（ｖ）前記１つ以上のプロセッサが、モデルを訓練すること、モデルを評価すること、前記訓練済みモデルの性能が十分であるかどうかを決定すること、及び／又は、前記マーカ又は放射線不透過性マーカを検出し、モデルを選択し、前記モデルの汎化誤差を推定すること、のうちの１つ以上を実行するために、１つ以上のニューラルネットワーク又は畳込みニューラルネットワークを用いるように更に機能すること、
（ｖｉ）前記方法が、前記テスト用のセット又は群のデータを用いて、前記訓練済みモデルの汎化誤差を推定するステップ、を更に含むこと、及び／又は、
（ｖｉｉ）前記方法が、前記テスト用のセット又は群のデータを用いて、複数の訓練済みモデルの汎化誤差を推定し、前記検証用のセット又は群での性能に基づいて１つのモデルを選択するステップ、を更に含むこと、
のうち１つ以上である、請求項８に記載の方法。
【請求項10】
人工知能を用いて訓練されたモデルを用いた血管造影画像データ内のマーカ又は放射線不透過性マーカの検出及び／又はコレジストレーションの実行のための方法であって、血管造影画像データを取得又は受信するステップと、
訓練済みモデルを受信するか、又は、訓練済みモデルをメモリからロードするステップであって、前記訓練済みモデルは、取得又は受信された前記血管造影画像データの血管造影フレーム上のマーカ位置を少なくとも検出するように、血管造影画像データの血管造影フレームを少なくとも含む訓練データを用いて人工知能を用いて訓練されたものである、受信又はロードするステップと、
取得又は受信された前記血管造影画像データに前記訓練済みモデルを適用するステップと、
前記訓練済みモデルが適用された後に、取得又は受信された前記血管造影画像データの１つ以上の血管造影フレームのうちの１つの血管造影フレームを選択するステップと、
前記訓練済みモデルを用いて、選択された前記血管造影フレーム上でマーカ位置を検出するステップと、
（ｉ）前記訓練済みモデルの前記訓練データが実際のマーカ位置のデータを更に含む場合は前記訓練済みモデルからの出力データを用いて、かつ／又は、（ｉｉ）ユーザからの入力を用いて、前記マーカ位置が正解であるかどうかを確認するステップであって、前記訓練済みモデルの前記出力データ又は前記ユーザからの前記入力は、前記マーカ位置が正解であるかどうかを示すものであり、又は、前記マーカ位置が正解でない場合に前記マーカ位置になされるべき修正を示すものである、確認するステップと、
前記マーカ位置が正解でなかった場合は、前記マーカ位置になされるべき前記修正を示す前記訓練モデルからの前記出力データを用いて、かつ／又は、前記マーカ位置になされるべき前記修正を示す前記ユーザからの前記入力を用いて、検出された前記マーカ位置を変更し、変更されたマーカ位置が正解であるかどうかについて前記確認を繰り返し、又は、前記マーカ位置が正解である場合は、正解のマーカ位置を含むかどうかについて前記１つ以上の血管造影フレームのうちの全ての血管造影フレームが確認されたかどうかを確認するステップと、
正解のマーカ位置を含むかどうかについて前記血管造影フレームの全てが確認されていない場合は、前記１つ以上の血管造影フレームのうちの別の血管造影フレームを選択し、当該別の血管造影フレームについて、マーカ位置の検出と、前記マーカ位置が正解であるかどうかの確認とを繰り返すステップと、
を含む方法。
【請求項11】
（ｉ）正解のマーカ位置を含むかどうかについて前記血管造影フレームの全てが確認された場合、検出された前記マーカ位置に基づいてコレジストレーションを実行するステップ、（ｉｉ）検出された前記マーカ位置をディスプレイ上に表示するステップ、
（ｉｉｉ）検出された前記マーカ位置が血管造影データに重ね合わされるように、検出された前記マーカ位置を前記ディスプレイ上に表示するステップ、
（ｉｖ）変更された前記マーカ位置を、前記ディスプレイ上に表示するステップ、
（ｖ）マーカ又は放射線不透過性マーカを有する血管内イメージングカテーテルが物体又はサンプル内にあるときに、１つ以上のプロセッサが前記血管内イメージングカテーテルを制御するステップ、及び／又は、
（ｖｉ）マーカ又は放射線不透過性マーカを有する血管内イメージングカテーテルのプルバック動作中に、前記血管造影画像データを取得又は受信するステップであって、前記プルバック動作は、前記血管内イメージングカテーテルを制御するように機能する１つ以上のプロセッサによって制御される、取得又は受信するステップ、
のうち１つ以上を更に含む、請求項１０に記載の方法。
【請求項12】
（ｉ）メモリと、前記メモリと通信している１つ以上のプロセッサと、
を備える装置であって、
前記１つ以上のプロセッサは、
血管造影画像データを取得又は受信し、
取得された全ての前記血管造影画像データ内の少なくとも１つ以上のマーカ、１つ以上の放射線不透過性マーカ、又は１つ以上のマーカ位置についてグラウンドトゥルースを確立し、
取得された前記血管造影画像データを、訓練用、検証用及びテスト用のセット又は群に分割し、
モデルアーキテクチャと、学習率と、事前に訓練されたパラメータ値と、ランダム値に初期化されるパラメータ値とのうちの少なくとも１つ以上を含む１つ以上のハイパーパラメータ値を、モデル訓練のために選択し、
前記訓練用のセット又は群のデータを用いてモデルを訓練し、前記検証用のセット又は群のデータを用いて前記訓練済みモデルを評価し、
前記訓練済みモデルの性能が十分であるかどうかを決定し、
前記訓練済みモデルの性能が十分でない場合は、１つ以上のハイパーパラメータ値の選択の手順、モデル訓練及び評価の手順、並びに決定の手順を繰り返し、又は、前記訓練済みモデルの性能が十分である場合は、前記訓練済みモデルを選択し、前記訓練済みモデルを前記メモリに保存する
ように機能する、装置、
（ｉｉ）１つ以上のプロセッサを備える装置であって、
前記１つ以上のプロセッサは、前記取得又は受信するステップと、前記受信又はロードするステップと、前記適用するステップと、前記選択するステップと、前記検出するステップと、前記確認するステップと、前記変更及び繰り返し又は確認するステップと、前記選択及び確認するステップと、を実行するように機能する、
装置、
（ｉｉｉ）血管造影画像データを取得又は受信するステップと、
取得された前記血管造影画像データ内の少なくとも１つ以上のマーカ、１つ以上の放射線不透過性マーカ、又は１つ以上のマーカ位置についてグラウンドトゥルースを確立するステップと、
取得された前記血管造影画像データを、訓練用、検証用及びテスト用のセット又は群に分割するステップと、
モデルアーキテクチャと、学習率と、事前に訓練されたパラメータ値と、ランダム値に初期化されるパラメータ値とのうちの少なくとも１つ以上を含む１つ以上のハイパーパラメータを、モデル訓練のために選択するステップと、
前記訓練用のセット又は群のデータを用いてモデルを訓練し、前記検証用のセット又は群のデータを用いて前記訓練済みモデルを評価するステップと、
前記訓練済みモデルの性能が十分であるかどうかを決定するステップと、
前記訓練済みモデルの性能が十分でない場合は、１つ以上のハイパーパラメータ値の選択の手順、前記モデルの訓練の手順、前記モデルの評価の手順、及び前記決定の手順を繰り返し、又は、前記訓練済みモデルの性能が十分である場合は、前記訓練済みモデルを選択し、前記訓練済みモデルをメモリに保存するステップと、
を含む追加の方法ステップ、
又は、
（ｉｖ）前記方法をコンピュータに実行させる少なくとも１つのプログラムを格納した非一時的なコンピュータ可読記憶媒体であって、
前記方法は、
血管造影画像データを取得又は受信するステップと、
取得された前記血管造影画像データ内の少なくとも１つ以上のマーカ、１つ以上の放射線不透過性マーカ、又は１つ以上のマーカ位置についてグラウンドトゥルースを確立するステップと、
取得された前記血管造影画像データを、訓練用、検証用及びテスト用のセット又は群に分割するステップと、
モデルアーキテクチャと、学習率と、事前に訓練されたパラメータ値と、ランダム値に初期化されるパラメータ値とのうちの少なくとも１つ以上を含む１つ以上のハイパーパラメータを、モデル訓練のために選択するステップと、
前記訓練用のセット又は群のデータを用いてモデルを訓練し、前記検証用のセット又は群のデータを用いて前記訓練済みモデルを評価するステップと、
前記訓練済みモデルの性能が十分であるかどうかを決定するステップと、
前記訓練済みモデルの性能が十分でない場合は、１つ以上のハイパーパラメータ値の選択の手順、前記モデルの訓練の手順、前記モデルの評価の手順、及び前記決定の手順を繰り返し、又は、前記訓練済みモデルの性能が十分である場合は、前記訓練済みモデルを選択し、前記訓練済みモデルをメモリに保存するステップと、
を更に含む、記憶媒体、
のうちの１つ以上を更に含むか使用する、請求項１０に記載の方法。
【請求項13】
血管造影画像データ内のマーカ又は放射線不透過性マーカの検出及び／又はコレジストレーションの実行のための方法をコンピュータに実行させる少なくとも１つのプログラムを格納した非一時的なコンピュータ可読記憶媒体であって、前記方法は、
血管造影画像データを取得又は受信するステップと、
訓練済みモデルを受信するか、又は、訓練済みモデルをメモリからロードするステップであって、前記訓練済みモデルは、取得又は受信された前記血管造影画像データの血管造影フレーム上のマーカ位置を少なくとも検出するように、血管造影画像データの血管造影フレームを少なくとも含む訓練データを用いて人工知能を用いて訓練されたものである、受信又はロードするステップと、
取得又は受信された前記血管造影画像データに前記訓練済みモデルを適用するステップと、
前記訓練済みモデルが適用された後に、取得又は受信された前記血管造影画像データの１つ以上の血管造影フレームのうちの１つの血管造影フレームを選択するステップと、
前記訓練済みモデルを用いて、選択された前記血管造影フレーム上でマーカ位置を検出するステップと、
（ｉ）前記訓練済みモデルの前記訓練データが実際のマーカ位置のデータを更に含む場合は前記訓練済みモデルからの出力データを用いて、かつ／又は、（ｉｉ）前記コンピュータのユーザからの入力を用いて、前記マーカ位置が正解であるかどうかを確認するステップであって、前記訓練済みモデルの前記出力データ又は前記ユーザからの前記入力は、前記マーカ位置が正解であるかどうかを示すものであり、又は、前記マーカ位置が正解でない場合に前記マーカ位置になされるべき修正を示すものである、確認するステップと、
前記マーカ位置が正解でなかった場合は、前記マーカ位置になされるべき前記修正を示す前記訓練モデルからの前記出力データを用いて、かつ／又は、前記マーカ位置になされるべき前記修正を示す前記コンピュータの前記ユーザからの前記入力を用いて、検出された前記マーカ位置を変更し、変更されたマーカ位置が正解であるかどうかについて前記確認を繰り返し、又は、前記マーカ位置が正解である場合は、正解のマーカ位置を含むかどうかについて前記１つ以上の血管造影フレームのうちの全ての血管造影フレームが確認されたかどうかを確認するステップと、
正解のマーカ位置を含むかどうかについて前記血管造影フレームの全てが確認されていない場合は、前記１つ以上の血管造影フレームのうちの別の血管造影フレームを選択し、当該別の血管造影フレームについて、マーカ位置の検出と、前記マーカ位置が正解であるかどうかの確認とを繰り返すステップと、
を含む、記憶媒体。
【請求項14】
前記方法は、（ｉ）正解のマーカ位置を含むかどうかについて前記血管造影フレームの全てが確認された場合、検出された前記マーカ位置に基づいてコレジストレーションを実行するステップ、
（ｉｉ）検出された前記マーカ位置をディスプレイ上に表示するステップ、
（ｉｉｉ）検出された前記マーカ位置が血管造影データに重ね合わされるように、検出された前記マーカ位置を前記ディスプレイ上に表示するステップ、
（ｉｖ）変更された前記マーカ位置を、前記ディスプレイ上に表示するステップ、
（ｖ）マーカ又は放射線不透過性マーカを有する血管内イメージングカテーテルが物体又はサンプル内にあるときに、１つ以上のプロセッサが前記血管内イメージングカテーテルを制御するステップ、及び／又は、
（ｖｉ）マーカ又は放射線不透過性マーカを有する血管内イメージングカテーテルのプルバック動作中に、前記血管造影画像データを取得又は受信するステップであって、前記プルバック動作は、前記血管内イメージングカテーテルを制御するように機能する１つ以上のプロセッサによって制御される、取得又は受信するステップ、
のうちの１つ以上を更に含む、請求項１３に記載の記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願への相互参照
本願は、２０１９年９月２０日に提出された米国特許出願第６２／９０３，６３０号に関連し、それに対する優先権を主張し、その開示全体は、参照により全体として本明細書に援用される。
本願は、２０１９年９月２０日に提出された米国特許出願第６２／９０３，６３０号に関連し、それに対する優先権を主張し、その開示全体は、参照により全体として本明細書に援用される。
【0002】
本開示は、概してコンピュータイメージング、コンピュータビジョン及び／又は医用イメージング分野に関し、詳細には、人工知能（“ＡＩ”）コ・レジストレーション（本明細書では「コレジストレーション」とも呼ばれる）及びマーカ検出のための、かつ／又は、１つ以上のイメージングモダリティ（血管造影、光干渉断層撮影法（ＯＣＴ）、マルチモダリティＯＣＴ（ＭＭ－ＯＣＴ）、近赤外蛍光（ＮＩＲＡＦ）、ＯＣＴ－ＮＩＲＡＦ等）を使用するための、デバイス／装置、システム、方法及び記憶媒体に関する。ＯＣＴ用途の例として、胃腸、心臓及び／又は眼での用途等の、生物学的物体のイメージング、評価及び診断と、１つ以上の光学機器（１つ以上の光学プローブ、１つ以上のカテーテル、１つ以上の内視鏡、１つ以上のカプセル、１つ以上の針（例えば生検針）等）による取得が挙げられる。本明細書では、１つ以上のイメージングモダリティを使用及び／又は制御する装置又はシステムを用いる人工知能用途において、サンプル又は物体を特性評価、検査及び／若しくは診断し、かつ／又は、サンプル又は物体の粘度を測定するための、１つ以上のデバイス、システム、方法及び記憶媒体を論じる。
【背景技術】
【0003】
光ファイバのカテーテル及び内視鏡は、内臓へのアクセスを得るために開発された。例えば心臓病学では、カテーテルを用いて血管の深さ分解画像をキャプチャし可視化するために、ＯＣＴ（光干渉断層撮影法）が開発された。カテーテル（シース、コイル及び光学プローブを含み得る）を、冠動脈へとナビゲートすることができる。
【0004】
光干渉断層撮影法（ＯＣＴ）は、組織や材料の高解像度の断面画像を取得する技術であり、リアルタイムの可視化を可能にする。ＯＣＴ技術の目的は、フーリエ変換やマイケルソン干渉計等の干渉光学系や干渉法を用いて、光の時間遅延を測定することである。光源からの光は、スプリッタ（例えばビームスプリッタ）によって分離され、参照アームとサンプル（又は測定）アームに送られる。参照ビームは、参照アームの参照ミラー（部分反射要素又は他の反射要素）から反射され、サンプルビームは、サンプルアームのサンプルから反射又は散乱される。両ビームは、スプリッタで結合（又は再結合）され、干渉縞を生成する。干渉計の出力は、分光計（例えばフーリエ変換赤外分光計）等の１つ以上のデバイスにおいて、フォトダイオードやマルチアレイカメラ等の１つ以上の検出器によって検出される。干渉縞は、サンプルアームの経路長が参照アームの経路長と光源のコヒーレンス長の範囲内で一致する場合に、生成される。出力ビームを評価することにより、入力放射線のスペクトルを周波数の関数として導出することができる。干渉縞の周波数は、サンプルアームと参照アームの間の距離に対応する。周波数が高いほど、経路長の差が大きい。ＯＣＴ光学プローブにはシングルモードファイバを使用することができ、蛍光及び／又は分光法にはダブルクラッドファイバを使用することができる。
【0005】
複数の情報を同時に取得するために、光学プローブを用いたＯＣＴ、蛍光及び／又は分光システム等のマルチモダリティシステムが開発されている。経皮的冠動脈インターベンション（ＰＣＩ）等の血管診断及びインターベンション手技中には、光干渉断層撮影法（ＯＣＴ）のユーザは、情報の過負荷が原因で、他のモダリティとの相関関係において断層撮影画像を理解することに苦労する場合があり、これにより、画像の解釈に混乱が生じてしまう。
【0006】
経皮的冠動脈インターベンション（ＰＣＩ）は、冠動脈血管造影や血管内イメージング等の革新的なイメージングモダリティによって、劇的に改善された。冠動脈血管造影では冠動脈の長手方向シルエットが提供され、血管内イメージングモダリティでは冠動脈の断面情報が提供される。血管内超音波検査（ＩＶＵＳ）や光干渉断層撮影法（ＯＣＴ）等の血管内イメージングモダリティでは、血管病変についてより精確な情報（例えば管腔サイズ、プラーク形態、埋込みデバイス）が提供されるので、医師が生体外（ex vivo）と生体内（in vivo）のイメージングモダリティを結び付ける（すなわち、コレジストレーションする）ことを可能にするシステムが開発された。現在利用可能な方法のひとつでは、ＩＶＵＳ／ＯＣＴプルバック中に同時に取得される血管造影データから、コレジストレーション用の血管中心線を生成する必要がある。別の方法では、ユーザ入力によってＩＶＵＳ／ＯＣＴプルバックの前に取得される血管造影データから、イメージングカテーテル経路を生成する必要がある。
【0007】
より具体的には、冠動脈血管造影イメージングと血管内イメージングは、経皮的冠動脈インターベンション（ＰＣＩ）にとって重要なイメージングモダリティである。前述のように、冠動脈血管造影では、冠動脈の長手方向シルエットが提供される。冠動脈の長手方向シルエットは、モニタに表示されて、インターベンション心臓専門医がカテーテル挿入を標的領域へ誘導する際の助けとなる。他のタイプのイメージングモダリティに比べて、カテーテルを病変へ誘導することが容易であるので、ＰＣＩ手技中に冠動脈血管造影を使用することが好ましい場合がある。
【0008】
ＰＣＩに使用される別のイメージングモダリティは、前述のように、冠動脈の断面情報を提供する血管内イメージングである。血管内イメージングとしては、血管内超音波検査（ＩＶＵＳ）と光干渉断層撮影法（ＯＣＴ）を挙げることができ、前述のように、冠動脈血管造影画像よりも精確な病変情報が得られる。しかしながら、カテーテルを標的領域（例えば血管病変）へ誘導して、例えば管腔サイズ、プラーク形態又は埋込みデバイスについての情報を取得する場合、ＰＣＩ手技においてＩＶＵＳやＯＣＴ等の血管内イメージングモダリティのみを当てにすることは困難である。
【0009】
医師が２つの異なるイメージングモダリティ（例えば冠動脈血管造影と血管内イメージングの両方を含む）を結び付けることを可能にするシステムには、コ・レジストレーションが伴う。コ・レジストレーション（本明細書では「コレジストレーション」とも呼ばれる）は、一連の画像の空間的整合を指す。例えば、コレジストレーションは、ＰＣＩを受ける患者の機能（血管内イメージング）画像と解剖学的（冠動脈血管造影）画像を整合させて、機能情報を解剖学的空間にマッピングすることを指す場合がある。血管造影イメージングを血管内イメージングとコレジストレーションすることに関連付けられる利点のひとつとして、血管造影画像フレームの冠動脈の長手方向シルエットに沿ったどの位置で血管内画像が取得されたのかを決定することが挙げられる。
【0010】
血管造影と血管内イメージングとのコレジストレーションには、２つステップがある：（１）血管造影と血管内イメージングの時間同期、及び（２）血管内画像の取得位置を特定するための、血管造影画像での放射線不透過性マーカ検出。しかしながら、従来の画像処理技術を用いる現在の方法では、ステップ（２）に存在する問題のせいで、成功率が制限される場合がある。例えば、血管造影画像では放射線不透過性マーカが最も暗いスポットとして見られる場合があるが、同じ血管造影画像に、複数の同様の暗いスポットが見つかる場合があり、これは、従来の計算画像処理技術において、血管造影画像内で同じように見える多数の候補点から正しい点（関心マーカ又は関心標的を表すもの）を確実に識別する際の課題となる可能性がある。
【0011】
したがって、従来の技術に比べて高い成功率で血管造影画像フレーム内の１つ以上のマーカを特定し、また、結果（すなわち特定されたマーカ位置）を用いて、より効率的にコレジストレーションを実行するために機械学習（特にディープラーニング）を適用する、少なくとも１つのイメージング又は光学の装置／デバイス、システム、方法及び記憶媒体を提供することが望ましいであろう。
【発明の概要】
【0012】
したがって、本開示の広範な目的は、複数のイメージングモダリティを使用及び／又は制御するためのイメージング（例えばＯＣＴ、ＮＩＲＡＦ等）の装置、システム、方法及び記憶媒体を提供することであり、当該装置、システム、方法及び記憶媒体は、より大きな又は最大の成功で血管造影画像フレーム内のマーカを特定（例えば検出、位置決め、位置特定等）するために、機械学習（特にディープラーニング）を適用し、また、その結果を用いて、より効率的に、又は最大効率でコレジストレーションを実行する。干渉計（例えばスペクトル領域ＯＣＴ（ＳＤ－ＯＣＴ）、波長掃引型ＯＣＴ（ＳＳ－ＯＣＴ）、マルチモーダルＯＣＴ（ＭＭ－ＯＣＴ）等）等の干渉光学系を用いたＯＣＴデバイス、システム、方法及び記憶媒体を提供することも、本開示の広範な目的である。
【0013】
本開示の１つ以上の実施形態は、血管内イメージングプルバックが生じたエリアを定めるユーザ入力を用いることなく、血管造影画像フレーム（例えば、ビデオからの１つ以上のフレーム、画像からの１つ以上のフレーム等）内で１つ以上のマーカを特定するために、機械学習（特にディープラーニング）を適用することができる。例えば、人工知能（例えば（限定ではない）ディープラーニング／機械学習、残差学習、コンピュータビジョンタスク（キーポイント若しくはオブジェクト検出、及び／又は画像セグメンテーション））を用いて、モデルの独自のアーキテクチャ構造を用いて、独自の訓練プロセスを用いて、入力データ作成技術を用いて、モデルに対する入力マッピングを用いて、出力データの後処理及び解釈を用いて、本開示の１つ以上の実施形態は、ユーザインタラクションを伴わずに（或いは少ないユーザインタラクションで）、血管造影データからのマーカ検出のより良好な成功率、或いは最大の成功率を達成することができ、また、マーカ検出結果に基づいてコレジストレーション結果を表示するための処理及び／又は予測時間を削減することができる。本開示では、モデルは、画像を入力として受け取り、指定された画像の予測を出力として返すソフトウェアとして、定義することができる。１つ以上の実施形態では、モデルは、機械学習及び／又は最適化アルゴリズム／プロセスを用いたモデルの訓練及び選択によって取得されたモデルアーキテクチャ（パラメータ値のセット）の特定のインスタンスであってよい。モデルは、概して以下の部分で構成され、或いは以下の部分から成る：ソースコード（例えばパラメータ化された畳込みカーネル及び活性化関数の層で構成される畳込みニューラルネットワーク）と、最初に乱数値に設定されてから、所与のデータ例（例えば画像とラベルのペア）を考慮して訓練の間に反復的に最適化される構成値（パラメータ、重み又は特徴）とによって定められるアーキテクチャ、目的関数（損失関数）、及び最適化アルゴリズム（オプティマイザ）。
【0014】
本開示の１つ以上の実施形態は、血管内イメージングカテーテルの放射線不透過性マーカを血管造影画像から検出するために、識別子又は検出器を作成することによって、効率的なマーカ検出及び／又は効率的なコレジストレーション結果を達成することができる。１つ以上の実施形態では、血管造影データは、血管造影画像内で可視化できる放射線不透過性マーカを有するカテーテルを用いて、血管内イメージングプルバック中に取得することができる。１つ以上の実施形態では、グラウンドトゥルースは、放射線不透過性マーカの位置を特定する。１つ以上の実施形態では、モデル（１つ以上の実施形態では、ソフトウェア、ソフトウェア／ハードウェアの組合わせ、或いは、将来の未観測データについて１つ以上の予測を行うためにデータについて訓練された１つ以上の機械学習又はディープラーニングアルゴリズム／手続き／プロセスを利用する手続きであってよい）は、実行されるアプリケーションや手続きに応じて、十分な精度でマーカ位置を予測するのに十分な解像度を有する。モデルの性能は、後により多くの訓練データを追加し、モデルを再訓練して、性能が向上又は最適化されたモデルの新しいインスタンスを作成することによって、更に改善することができる。例えば、追加の訓練データは、ユーザ入力に基づくデータを含んでよく、この場合、ユーザは、画像内の放射線不透過性マーカの位置を特定又は修正することができる。１つ以上の実施形態は、放射線不透過性マーカを検出するための識別子又は検出器を用いることができる。
【0015】
本開示の１つ以上の実施形態では、マーカ位置を検出し、かつ／又は人工知能を用いてコレジストレーションを実行するために、１つ以上の方法、医用イメージングデバイス、血管内超音波検査（ＩＶＵＳ）又は光干渉断層撮影法（“ＯＣＴ”）のデバイス、イメージングシステム、及び／又はコンピュータ可読記憶媒体を採用することができる。
【0016】
１つ以上の実施形態では、人工知能訓練装置は、メモリと、メモリと通信している１つ以上のプロセッサと、を含んでよい。１つ以上のプロセッサは、以下のように機能する：血管造影画像データを取得又は受信する；取得された全ての血管造影画像データについてグラウンドトゥルースを確立する；取得された血管造影画像データを、訓練用、検証用及びテスト用のセット又は群に分割する；モデルアーキテクチャ、学習率、及びパラメータ値の初期化等を含むハイパーパラメータ値の特定のセットを、モデル訓練のために選択又はサンプリングする；訓練用のセット又は群からのデータ例を用いて、反復的にモデルを訓練し、検証用のセット又は群からのデータ例と、事前定義されたメトリックとを用いて、複数のイテレーションにわたってモデルを評価する；１つ以上の事前定義された停止基準又は動的に決定される停止基準を用いて、訓練及び評価のイテレーションを停止する；かつ、訓練済みモデルをメモリに保存する；等。１つ以上の実施形態は、様々なハイパーパラメータの選択について訓練及び評価の手続きを繰り返し、最終的に、１つ以上の事前定義された評価メトリックによって定義される最適、最高及び／又は改善された性能を有する１つ以上のモデルを選択することができる。
【0017】
１つ以上の実施形態では、１つ以上のプロセッサは、グラウンドトゥルースのデータを、訓練用、検証用及びテスト用のセット又は群に分割するように更に機能することができる。１つ以上のプロセッサは、以下のうちの１つ以上を実行するように更に機能することができる：（ｉ）作成された識別子又は検出器に基づいて、血管造影画像データ内のマーカ又は放射線不透過性マーカを検出又は特定すること；（ｉｉ）機械学習又はディープラーニングの適用を用いて、マーカ検出成功率を計算又は改善すること；（ｉｉｉ）モデルと関連付けられたマーカ検出成功率に基づいて、訓練対象のモデルを決定すること（例えば、装置又はシステムの実施形態において、保存される複数のモデル（以前に既に訓練されている）が存在する場合、装置／システムの方法は、例えば以前の成功率に基づいて、所定の成功要因に基づいて、或いはどのモデルが別のモデルよりも最適であるかに基づいて、更なる訓練用のモデルを選択することができる）；（ｉｖ）トレーニング済みモデルに基づいて、コレジストレーション成功率を計算し、かつ／又は、検出されたマーカの位置が正確かどうかを決定すること；及び、（ｖ）マーカの予測位置と実際の位置との間の二乗平均平方誤差を用いて、マーカ検出成功率及び／又はコレジストレーション成功率を評価すること。１つ以上の実施形態では、１つ以上のプロセッサは、以下のうちの１つ以上を実行するように更に機能することができる：（ｉ）取得又は受信された血管造影画像データを、例えば訓練データに７０％、検証データに１５％、テストデータに１５％の特定の比率又は割合で、データセット又は群に分割すること；（ｉｉ）取得又は受信された血管造影画像データをランダムに分割すること；（ｉｉｉ）プルバック基準又はフレーム基準のいずれかに基づいて、取得又は受信された血管造影画像データをランダムに分割すること；（ｉｖ）特定又は所定の種類のデータの新しいセットに基づいて、又は当該新しいセットを用いて、取得又は受信された血管造影画像データを分割すること；（ｖ）特定又は所定のデータタイプの新しいセットであって、新しいプルバック基準のデータセットと、新しいフレーム基準のデータセットと、新しい臨床データと、新しい動物データと、新しい潜在的追加訓練データと、取得又は受信された血管造影画像データに用いられたカテーテルのマーカに類似するマーカを有する第１のタイプのカテーテルの新しいデータと、光干渉断層撮影（ＯＣＴ）カテーテルのマーカに類似するマーカを有する新しいデータと、のうちの１つ以上である新しいセットに基づいて、又は当該新しいセットを用いて、取得又は受信された血管造影画像データを分割すること。１つ以上のプロセッサは、以下のうちの１つ以上を実行するように更に機能することができる：（ｉ）データ品質管理を採用すること；（ｉｉ）訓練サンプル又は訓練データを手動で選択することをユーザに許可すること；（ｉｉｉ）検出対象のマーカ又は標的を特定するとともに、そのようなサンプルをモデル訓練のデータ点として使用することを、ユーザに許可すること；（ｉｖ）光干渉断層撮影（ＯＣＴ）プルバック中にキャプチャされた任意のアンギオ画像をテストに用いること。１つ以上の実施形態では、１つ以上のプロセッサは、以下のうちの１つ以上を実行するように更に機能することができる：（ｉ）画像前処理を実行すること；（ｉｉ）ピクセル値を正規化することによって画像前処理を実行すること；及び、（ｉｉｉ）訓練を開始する前の個々のアンギオフレームごとに、かつ／又は、訓練の各イテレーションでモデルに入力されるアンギオフレームのバッチごとに、ピクセル値を正規化することによって画像前処理を実行すること。１つ以上のプロセッサは、所定の基準に基づいて、ユーザ又はシステムによって訓練用のモデルのアーキテクチャ又は構成が選択され、使用されるデータ、入力及び出力の種類が決定された後、以下のうちの１つ以上を実行するように機能することができる：（ｉ）モデルがセグメンテーションモデル又は分類モデルであるとき、入力は個々のアンギオ画像フレームであり、出力は、対応するセグメント化、ラベリング又はマスクされた画像であること；（ｉｉ）モデルがセグメンテーションモデル又は分類モデルであるとき、入力は個々のアンギオ画像フレームであり、出力は、マーカ領域を画定する前景ピクセルが正の値をもち、背景ピクセルがゼロ値をもつような、対応するセグメント化、ラベリング又はマスクされた画像であること；（ｉｉｉ）モデルがオブジェクト検出モデル又は回帰モデルであるとき、入力は個々のアンギオ画像フレームであり、出力は、マーカ位置又は標的マーカを定める空間座標の対応するセットであること；及び、（ｉｖ）モデルがセグメンテーション（ピクセル分類）及び／又はオブジェクト検出（空間座標点回帰）の組合わせを実行するとき、入力は、個々のアンギオフレームの組合わせを含み、出力は、以下のうちの１つ以上の組合わせを含むこと：セグメント化又はマスクされた画像；マーカ領域を画定する前景ピクセルが正の値をもち、背景ピクセルがゼロ値をもつような、セグメント化又はマスクされた画像；及び、マーカ位置の座標又は標的マーカの座標。１つ以上の実施形態では、セグメンテーションモデルは、セグメント化又はマスクされた画像を取得した後に後処理を用いて、マーカ位置の座標点を決定することができる。
【0018】
１つ以上の実施形態は、以下のうちの１つ以上を含むか又は有してよい：（ｉ）パラメータが、１つ以上のハイパーパラメータを含むこと；（ｉｉ）保存された訓練済みモデルが、血管造影画像データ内のマーカ又は放射線不透過性マーカを特定又は検出するために作成される検出器として用いられること；（ｉｉｉ）モデルが、セグメンテーションモデル、後処理を伴うセグメンテーションモデル、前処理を伴うモデル、後処理を伴うモデル、前処理を伴うセグメンテーションモデル、ディープラーニング又は機械学習のモデル、セマンティックセグメンテーション又は分類モデル、オブジェクト検出又は回帰モデル、オブジェクト検出又は回帰モデル、セマンティックセグメンテーションモデルとオブジェクト検出又は回帰モデルの組合わせ、セグメンテーションモデル技術の繰り返しを用いたモデル、特徴ピラミッド（feature pyramid）を用いたモデル、及び、オブジェクト検出又は回帰モデル技術の繰り返しを用いたモデル、のうちの１つ又は組合わせであること；（ｉｖ）グラウンドトゥルースが、各血管造影フレーム内の標的マーカの長軸の２つの終点の位置；光干渉断層撮影（ＯＣＴ）プルバック中にキャプチャされた各血管造影フレーム内の標的マーカの長軸の２つの終点の位置；セグメンテーションモデルの正の領域として、特定の幅で２つの終点の位置を結ぶ線を含むマスク；取得又は受信された血管造影画像データに含まれるマーカの全て；２つのエッジ位置の中心軌跡（centroid）；回帰又はオブジェクト検出モデルでの２つのエッジ位置の中心軌跡；及び、取得又は受信された血管造影画像データの各フレーム内の、ユーザ又は装置の専門家によって図式的にアノテーションされた２つのマーカ位置；のうちの１つ以上を含むこと（ｖ）１つ以上のプロセッサが、マーカ又は放射線不透過性マーカを検出するために、１つ以上のニューラルネットワーク、畳込みニューラルネットワーク又はリカレントニューラルネットワークを用いるように更に機能すること；（ｖｉ）１つ以上のプロセッサが、テスト用のセット又は群のデータを用いて、トレーニング済みモデルの汎化誤差を推定するように更に機能すること；及び、（ｖｉｉ）１つ以上のプロセッサが、テスト用のセット又は群のデータを用いて、複数のトレーニング済みモデル（アンサンブル）の汎化誤差を推定し、検証用のセット又は群での性能に基づいて１つのモデルを選択するように更に機能すること。
【0019】
１つ以上の実施形態では、人工知能検出装置は、以下のように機能する１つ以上のプロセッサを含むことができる：血管造影画像データを取得又は受信する；訓練済みモデルを受信するか、又はメモリから訓練済みモデルをロードする；取得又は受信された血管造影画像データに訓練済みモデルを適用する；１つの血管造影フレームを選択する；訓練済みモデルを用いて、選択された血管造影フレーム上で、検出結果を定めるマーカ位置を検出する；マーカ位置が正確又は正解であるかどうかを確認する；マーカ位置が正確又は正解でなかった場合は、検出結果又は検出されたマーカ位置を変更し、マーカ位置が正確又は正解であるかどうかについての確認を繰り返し、又は、マーカ位置が正確又は正解である場合は、血管造影フレームの全てが正確性又は正解について確認されたかどうかを確認する；かつ、血管造影フレームの全てが正確性又は正解について確認されていない場合は、別の血管造影フレームを選択し、当該別の血管造影フレームについて、マーカ位置の検出と、マーカ位置が正確又は正解であるかどうかの確認とを繰り返す。
【0020】
検出装置の１つ以上の実施形態では、１つ以上のプロセッサは、以下のうちの１つ以上を実行するように更に機能することができる：（ｉ）血管造影フレームの全てが正確性又は正解について確認された場合、検出されたマーカ位置に基づいてコレジストレーションを実行すること；（ｉｉ）検出されたマーカ位置をディスプレイ上に表示すること；（ｉｉｉ）検出されたマーカ位置が血管造影データに重ね合わされるように、検出されたマーカ位置をディスプレイ上に表示すること；（ｉｖ）変更された検出結果及び／又は変更されたマーカ位置を、ディスプレイ上に表示すること；（ｖ）マーカ又は放射線不透過性マーカを有する血管内イメージングカテーテルを物体又はサンプルに挿入すること；及び、（ｖｉ）血管内イメージングカテーテルのプルバック動作中に、血管造影画像データを取得又は受信すること。
【0021】
１つ以上のプロセッサは、訓練済みモデルをロードすること、血管造影フレームのセットを選択すること、各フレームについてマーカ位置を検出すること、検出されたマーカ位置が所与の事前知識（例えば血管位置やプルバック方向）に関して妥当であるかどうかを決定すること、各フレームについて検出結果又は検出されたマーカ位置を変更すること、検出されたマーカ位置をディスプレイ上に表示すること、コレジストレーションを実行すること、血管内画像を挿入すること、及び、プルバック動作中に血管造影画像データを取得又は受信すること、の１つ以上を実行するために、１つ以上のニューラルネットワーク、畳込みニューラルネットワーク及び／又はリカレントニューラルネットワークを用いるように更に機能することができる。
【0022】
１つ以上の実施形態では、物体又はサンプルは、血管と、標的の標本又は物体と、患者とのうちの１つ以上を含んでよい。
【0023】
１つ以上のプロセッサは、取得又は受信された血管造影画像と、取得された１つ以上の光干渉断層撮影法（ＯＣＴ）又は血管内超音波検査（ＩＶＵＳ）の画像又はフレームとをコレジストレーションすることによって、コレジストレーションを実行するように更に構成されてよい。
【0024】
１つ以上の実施形態では、ロードされる訓練済みモデルは、以下のうちの１つ又は組合わせであってよい：セグメンテーション（分類）モデル、前処理を伴うセグメンテーションモデル、後処理を伴うセグメンテーションモデル、オブジェクト検出（回帰）モデル、前処理を伴うオブジェクト検出モデル、後処理を伴うオブジェクト検出モデル、セグメンテーション（分類）モデルとオブジェクト検出（回帰）モデルの組合わせ、深層畳込みニューラルネットワークモデル、画像間又はフレーム間の時間的関係を考慮に入れることのできる長短期メモリを伴うリカレントニューラルネットワークモデル、異なる画像解像度を考慮に入れることのできる特徴ピラミッドを用いたモデル、及び／又は、残差学習技術を用いたモデル。
【0025】
１つ以上の実施形態では、１つ以上のプロセッサは、以下のうちの１つ以上を実行するように更に機能することができる：（ｉ）断層撮影画像；光干渉断層撮影（ＯＣＴ）画像；蛍光画像；近赤外蛍光（ＮＩＲＡＦ）画像；所定ビュー、カーペットビュー及び／又はインジケータビューでの近赤外蛍光（ＮＩＲＡＦ）；３次元（３Ｄ）レンダリング；血管の３Ｄレンダリング；半管ビュー又は表示での血管の３Ｄレンダリング；物体の３Ｄレンダリング；管腔プロファイル；管腔径表示；長手方向ビュー；コンピュータ断層撮影法（ＣＴ）；磁気共鳴画像法（ＭＲＩ）；血管内超音波検査（ＩＶＵＳ）；Ｘ線画像又はビュー；及び血管造影ビューのうちの１つ以上を含む１つ以上のイメージングモダリティの各々の画像とともに、血管造影データをディスプレイ上に表示すること；及び、（ｉｉ）変更された検出結果及び／又は変更されたマーカ位置に基づいて、１つ以上のイメージングモダリティの各々とともに、血管造影データの表示を変更又は更新すること。
【0026】
人工知能を用いてモデルを訓練するための方法の１つ以上の実施形態は、以下を含んでよい：血管造影画像データを取得又は受信するステップ；取得された全ての血管造影画像データについてグラウンドトゥルースを確立するステップ；画像データアノテーションを収集するステップ；取得された血管造影画像データを、訓練用、検証用及びテスト用のセット又は群に分割するステップ；モデルアーキテクチャと、学習率と、パラメータ値の初期化とを含むハイパーパラメータを、モデル訓練のために選択するステップ；訓練用のセット又は群のデータを用いて、反復的にモデルを訓練し、検証用のセット又は群のデータを用いて、複数のイテレーションにわたってモデルを評価するステップ；１つ以上の事前定義された停止基準又は動的に決定される停止基準を用いて、訓練及び評価のイテレーションを停止するステップ；及び、訓練済みモデルをメモリに保存するステップ。１つ以上の実施形態は、様々なモデル構成（例えばハイパーパラメータ値）について選択、訓練及び評価の手続きを繰り返し、最終的に、１つ以上の事前定義された評価メトリックによって定義される最高の性能を有する１つ以上のモデルを選択することができる。
【0027】
訓練方法の１つ以上の実施形態は、以下の条件のうちの１つ以上を含むか又は有してよい：（ｉ）パラメータが、１つ以上のハイパーパラメータを含むこと；（ｉｉ）保存された訓練済みモデルが、血管造影画像データ内のマーカ又は放射線不透過性マーカを特定又は検出するために作成される検出システムとして用いられること；（ｉｉｉ）モデルが、セグメンテーション（分類）モデル、前処理を伴うセグメンテーションモデル、後処理を伴うセグメンテーションモデル、オブジェクト検出（回帰）モデル、前処理を伴うオブジェクト検出モデル、後処理を伴うオブジェクト検出モデル、セグメンテーション（分類）モデルとオブジェクト検出（回帰）モデルの組合わせ、深層畳込みニューラルネットワークモデル、画像間又はフレーム間の時間的関係を考慮に入れることのできる長短期メモリを伴うリカレントニューラルネットワークモデル、異なる画像解像度を考慮に入れることのできる特徴ピラミッドを用いたモデル、及び／又は、残差学習技術を用いたモデル、のうちの１つ又は組合わせであること；（ｉｖ）グラウンドトゥルースが、各血管造影フレーム内の標的マーカの長軸の２つの終点の位置；光干渉断層撮影（ＯＣＴ）プルバック中にキャプチャされた各血管造影フレーム内の標的マーカの長軸の２つの終点の位置；セグメンテーションモデルの正の領域として、特定の幅で２つの終点の位置を結ぶ線を含むマスク；取得又は受信された血管造影画像データに含まれるマーカの全て；２つのエッジ位置の中心軌跡；回帰又はオブジェクト検出モデルでの２つのエッジ位置の中心軌跡；及び、取得又は受信された血管造影画像データの各フレーム内の、ユーザ又は装置の専門家によって図式的にアノテーションされた２つのマーカ位置；のうちの１つ以上を含むこと；（ｖ）１つ以上のプロセッサが、モデルを訓練すること、汎化誤差を推定すること、トレーニング済みモデルの性能が十分であるかどうかを決定すること、及び／又は、マーカ又は放射線不透過性マーカを検出することのうちの１つ以上を実行するために、１つ以上のニューラルネットワーク又は畳込みニューラルネットワークを用いるように更に機能すること；（ｖｉ）方法が、テスト用のセット又は群のデータを用いて、訓練済みモデルの汎化誤差を推定するステップ、を更に含むこと；及び、（ｖｉｉ）方法が、テスト用のセット又は群のデータを用いて、複数の訓練済みモデルの汎化誤差を推定し、検証用のセット又は群での性能に基づいて１つのモデルを選択するステップ、を更に含むこと。
【0028】
人工知能を用いてモデルを訓練するための方法をコンピュータに実行させる少なくとも１つのプログラムを格納した非一時的なコンピュータ可読記憶媒体の１つ以上の実施形態は、本開示に記載の任意の方法と併用することができ、方法は、例えば以下を含む：血管造影画像データを取得又は受信するステップ；取得された全ての血管造影画像データについてグラウンドトゥルースを確立するステップ；取得された血管造影画像データを、訓練用、検証用及びテスト用のセット又は群に分割するステップ；モデルアーキテクチャと、学習率と、パラメータ値の初期化とを含むハイパーパラメータを、モデル訓練のために選択又はサンプリングするステップ；訓練用のセット又は群のデータを用いてモデルを訓練し、検証用のセット又は群のデータを用いてモデルを評価するステップ；訓練済みモデルの性能が十分であるかどうかを決定するステップ；及び、訓練済みモデルが十分でない場合は、選択／サンプリング、訓練、及び決定／評価を繰り返し、又は、訓練済みモデルが十分である場合は、訓練済みモデルをメモリに保存するステップ。
【0029】
血管造影画像データ内のマーカ又は放射線不透過性マーカの検出及び／又はコレジストレーションの実行のための方法の１つ以上の実施形態は、以下を含んでよい：血管造影画像データを取得又は受信するステップ；訓練済みモデルを受信するか、又はメモリから訓練済みモデルをロードするステップ；取得又は受信された血管造影画像データに訓練済みモデルを適用するステップ；１つの血管造影フレームを選択するステップ；訓練済みモデルを用いて、選択された血管造影フレーム上で、検出結果を定めるマーカ位置を検出するステップ；マーカ位置が正確又は正解であるかどうかを確認するステップ；マーカ位置が正確又は正解でなかった場合は、検出結果又は検出されたマーカ位置を変更し、マーカ位置が正確又は正解であるかどうかについての確認を繰り返し、又は、マーカ位置が正確又は正解である場合は、血管造影フレームの全てが正確性又は正解について確認されたかどうかを確認するステップ；及び、血管造影フレームの全てが正確性又は正解について確認されていない場合は、別の血管造影フレームを選択し、当該別の血管造影フレームについて、マーカ位置の検出と、マーカ位置が正確又は正解であるかどうかの確認とを繰り返すステップ。本方法は、以下のうち１つ以上を含んでよい：（ｉ）血管造影フレームの全てが正確性又は正解について確認された場合、検出されたマーカ位置に基づいてコレジストレーションを実行するステップ；（ｉｉ）検出されたマーカ位置をディスプレイ上に表示するステップ；（ｉｉｉ）検出されたマーカ位置が血管造影データに重ね合わされるように、検出されたマーカ位置をディスプレイ上に表示するステップ；（ｉｖ）変更された検出結果及び／又は変更されたマーカ位置を、ディスプレイ上に表示するステップ；（ｖ）マーカ又は放射線不透過性マーカを有する血管内イメージングカテーテルを物体又はサンプルに挿入するステップ；及び、（ｖｉ）血管内イメージングカテーテルのプルバック動作中に、血管造影画像データを取得又は受信するステップ。
【0030】
本明細書に記載の任意の方法（例えば訓練方法、検出方法、イメージング又は可視化の方法、人工知能の方法等）の１つ以上の実施形態は、本明細書に記載の装置、システム、他の方法、記憶媒体その他の構造の任意の特徴と併用することができる。
【0031】
人工知能を用いてマーカを検出し、かつ／又は人工知能を用いてコレジストレーションを実行するための方法をコンピュータに実行させる少なくとも１つのプログラムを格納した非一時的なコンピュータ可読記憶媒体の１つ以上の実施形態は、本開示に記載の任意の方法と併用することができ、方法は、例えば以下を含む：血管造影画像データを取得又は受信するステップ；訓練済みモデルを受信するか、又はメモリから訓練済みモデルをロードするステップ；取得又は受信された血管造影画像データに訓練済みモデルを適用するステップ；１つの血管造影フレームを選択するステップ；訓練済みモデルを用いて、選択された血管造影フレーム上で、検出結果を定めるマーカ位置を検出するステップ；マーカ位置が正確又は正解であるかどうかを確認するステップ；マーカ位置が正確又は正解でなかった場合は、検出結果又は検出されたマーカ位置を変更し、マーカ位置が正確又は正解であるかどうかについての確認を繰り返し、又は、マーカ位置が正確又は正解である場合は、血管造影フレームの全てが正確性又は正解について確認されたかどうかを確認するステップ；及び、血管造影フレームの全てが正確性又は正解について確認されていない場合は、別の血管造影フレームを選択し、当該別の血管造影フレームについて、マーカ位置の検出と、マーカ位置が正確又は正解であるかどうかの確認とを繰り返すステップ。
【0032】
血管造影画像データ内のマーカ又は放射線不透過性マーカの検出及び／又はコレジストレーションの実行のための方法の１つ以上の実施形態は、以下のうちの１つ以上を含んでよい：（ｉ）血管造影フレームの全てが正確性又は正解について確認された場合、検出されたマーカ位置に基づいてコレジストレーションを実行するステップ；（ｉｉ）検出されたマーカ位置をディスプレイ上に表示するステップ；（ｉｉｉ）検出されたマーカ位置が血管造影データに重ね合わされるように、検出されたマーカ位置をディスプレイ上に表示するステップ；（ｉｖ）変更された検出結果及び／又は変更されたマーカ位置を、ディスプレイ上に表示するステップ；（ｖ）マーカ又は放射線不透過性マーカを有する血管内イメージングカテーテルを物体又はサンプルに挿入するステップ；及び、（ｖｉ）血管内イメージングカテーテルのプルバック動作中に、血管造影画像データを取得又は受信するステップ。
【0033】
本明細書で論じられる人工知能特徴の１つ以上（本開示の１つ以上の実施形態において用いることができる）は、限定ではないが、本明細書に実質的に記載されているような、或いは添付の図面のいずれか１つに示されているような、以下のうちの１つ以上を用いる：ディープラーニング、コンピュータビジョンタスク、キーポイント検出、モデルの独自のアーキテクチャ、独自の訓練プロセス又はアルゴリズム、独自の最適化プロセス又はアルゴリズム、入力データ作成技術、モデルに対する入力マッピング、後処理、及び／又は、出力データの解釈。
【0034】
１つ以上の実施形態では、Viterbiアルゴリズム等のアルゴリズムを用いて、放射線不透過性マーカを検出及びトラッキングすることができる。
【0035】
１つ以上の実施形態は、畳込みニューラルネットワークその他のタイプのニューラルネットワークを用いて、血管造影画像内の狭窄の特性評価を自動化することができ、また、訓練（例えばオフライン訓練）を用いて、かつ、ディープラーニングを介してフレームを抽出及び処理するためのアプリケーション（例えばオンラインアプリケーション）を用いて、血管造影に対するフレーム検出を完全自動化することができる。
【0036】
本開示の１つ以上の実施形態は、放射線不透過性マーカ検出成功率をトラッキング及び／又は計算することができる。
【0037】
以下の段落では、特定の説明的な実施形態を記載する。他の実施形態は、代替、均等物及び変更を含む場合がある。加えて、説明的な実施形態はいくつかの新規の特徴を含む場合があり、特定の特徴は、本明細書に記載のデバイス、システム及び方法の一部の実施形態には必須ではない場合がある。
【0038】
本開示の他の態様によれば、本明細書では、ＯＣＴ及び／又は他のイメージングモダリティ技術を用いてマーカを検出し、人工知能（ディープラーニングや機械学習等）を用いてコレジストレーションを実行したり、コレジストレーションを実行するためにマーカ検出の結果を用いたりする、１つ以上の追加のデバイス、１つ以上のシステム、１つ以上の方法及び１つ以上の記憶媒体が論じられる。本開示の更なる特徴は、以下の説明から、かつ添付の図面を参照して、一部は理解可能であり、一部は明らかになるであろう。
【図面の簡単な説明】
【0039】
本開示の様々な態様を図示する目的で（同様の数字は同様の要素を示す）、図面には、採用され得る単純化された形態が示されている。しかし、当然のことながら、本開示は、図示されている精確な配置及び手段によって限定されず、又はそれに限定されない。当業者が本明細書の主題を作製及び使用することを支援するために、添付の図面及び図を参照する。
【0040】
【図4】図４は、本開示の１つ以上の態様に係る、マーカを検出し、かつ／又はコレジストレーションを実行するための１つ以上の実施形態とともに用いることのできるカテーテルの少なくとも１つの実施形態の図である。
【図6】図６Ａ～図６Ｂは、それぞれ、本開示の１つ以上の態様に係る、セグメンテーションモデルの少なくとも１つの実施形態の例示のグラウンドトゥルースと、セグメンテーションモデル方法の少なくとも１つの実施形態の入力から出力である。
【図12A】図１２Ａは、本開示の１つ以上の態様に係る、マーカを検出し、かつ／又はコレジストレーションを実行するために１つ以上のイメージングモダリティ及び人工知能を利用するＯＣＴ装置又はシステムの少なくとも１つの実施形態を示す。
【図12B】図１２Ｂは、本開示の１つ以上の態様に係る、マーカを検出し、かつ／又はコレジストレーションを実行するために１つ以上のイメージングモダリティ及び人工知能を利用するＯＣＴ装置又はシステムの少なくとも別の実施形態を示す。
【図12C】図１２Ｃは、本開示の１つ以上の態様に係る、マーカを検出し、かつ／又はコレジストレーションを実行するために１つ以上のイメージングモダリティ及び人工知能を利用するＯＣＴ及びＮＩＲＡＦ装置又はシステムの少なくとも更なる実施形態を示す。
【発明を実施するための形態】
【0041】
本明細書には、１つ以上のイメージング技術又はモダリティ（ＯＣＴ、蛍光、ＮＩＲＡＦ等）を用いて組織又は物体を特性評価するための、また、マーカの検出及び／又はコレジストレーションの実行のために人工知能を用いるための１つ以上のデバイス、システム、方法及び記憶媒体が開示される。少なくとも図１Ａ～図３１と、本明細書に含まれる他の図表には、本開示のいくつかの実施形態（本開示の装置、システム、方法及び／又はコンピュータ可読記憶媒体の１つ以上の実施形態によって実施され得る）が図式的かつ視覚的に記載される。
【0042】
次に、図の詳細に移ると、イメージングモダリティは、本明細書で論じられるような１つ以上の方法で表示することができる。本明細書で論じられる１つ以上の表示により、１つ以上の表示のユーザは、ＯＣＴやＮＩＲＡＦ等の複数のイメージング技術又はモダリティを使用、制御及び／又は強調することができ、また、ユーザは、複数のイメージング技術又はモダリティを同時に使用、制御及び／又は強調することができる。
【0043】
図１Ａに図式的に示されるように、マーカを検出し、かつ／又は本開示のコレジストレーションを実行するために、１つ以上のイメージングモダリティ及び人工知能（機械学習及び／又はディープラーニング、残差学習、マーカ検出の結果を用いてコレジストレーションを実行すること等）を可視化、強調及び／又は制御するための１つ以上の実施形態は、医療手技の計画及び実施（例えば前述のＰＣＩ）等、１つ以上の所定又は所望の手技に含めることができる。例えば、システム２は、画像スキャナ５（例えばＣＴスキャナ、Ｘ線マシン等）と通信して、医療手技（例えばＰＣＩ）の計画及び／又は実施に用いる情報（ベッドの配置等）を要求することができ、臨床医が患者のスキャンを介して情報を得るために画像スキャナ５を使用すると、画像スキャナ５は、要求された情報を画像とともにシステム２に送信することができる。一部の実施形態では、更なる計画及び可視化のために、同時に又は以前のセッションから取得された１つ以上の血管造影図３が提供される。システム２は更に、医療手技の計画及び／又は実施を容易にして支援するために、画像保管通信システム（ＰＡＣＳ）４等のワークステーションと通信して、患者の画像を送受信することができる。計画が作成されると、臨床医は、医療手技／イメージングデバイス１（例えばイメージングデバイス、ＯＣＴデバイス、ＩＶＵＳデバイス、ＰＣＩデバイス、アブレーションデバイス、３Ｄ構造構成又は再構成デバイス等）とともにシステム２を使用して、医療手技のチャート又は計画を調べて、イメージング及び／又は医療手技を行う標的の生物学的物体の形状及び／又はサイズを理解することができる。医療手技／イメージングデバイス１、システム２、ロケータデバイス３、ＰＡＣＳ４及びスキャンデバイス５の各々は、直接（通信ネットワークを介して）や間接（１又は５等の他のデバイスのうち１つ以上、又は追加のフラッシュ（flush）デバイス及び／又は造影剤送達デバイスを介して；ＰＡＣＳ４及びシステム２のうち１つ以上を介して；臨床医のインタラクションを介して、等）を含む、当業者に既知の任意の方法で通信することができる。
【0044】
医療手技では、特定の患者の治療方針を決定するために、生理学的査定の改善又は最適化が好ましい。少なくとも１つの例として、生理学的査定は、心血管疾患の患者の治療を決定するのに非常に有用である。カテーテル検査室では、例えば、生理学的査定は、例えば患者はＰＣＩ手技を受けるべきか、ＰＣＩ手技は成功したか等、意思決定ツールとして用いることができる。生理学的査定を用いることの概念は理にかなっているが、生理学的検査は、依然として、臨床現場での使用に向けて更なる適応と改善を待っている。この状況は、生理学的査定に別のデバイス及び薬剤の準備の追加が含まれる場合があるからかもしれず、かつ／又は、技術的な問題により医師間で測定結果が異なる場合があるからかもしれない。このようなアプローチでは、複雑さが増し、一貫性を欠いてしまう。したがって、本開示の１つ以上の実施形態は、測定手技時の技術的な問題、複雑さ及び不一致を除去又は最小化するために、イメージングデータから実行することのできるＣＦＤベースの生理学的査定を採用することができる。正確な生理学的査定を得るために、米国仮特許出願第６２／９０１，４７２号（２０１９年９月１７日出願、その開示は全体として参照により本明細書に援用される）に開示されているように、血管の正確な３Ｄ構造をイメージングデータから再構築することができる。
【0045】
本開示の少なくとも１つの実施形態では、１つのイメージングモダリティのみを用いる場合と比較してより正確な３Ｄ構造を提供するための方法を用いることができる。１つ以上の実施形態では、複数のイメージングモダリティの組合わせを用いることができ、マーカを検出することができ、人工知能を用いてコレジストレーションを処理／実行することができる。
【0046】
本開示の１つ以上の実施形態は、血管内イメージングプルバックが生じたエリアを定めるユーザ入力を用いることなく、血管造影画像フレーム内でマーカを検出するために、機械学習（特にディープラーニング）を適用することができる。人工知能（例えばディープラーニング）を用いて、本開示の１つ以上の実施形態は、ユーザインタラクションを伴わずに（或いは少ないユーザインタラクションで）、血管造影データからのマーカ検出のより良好な成功率、或いは最大の成功率を達成することができ、また、マーカ検出結果に基づいてコレジストレーション結果を表示するための処理及び／又は予測時間を削減することができる。
【0047】
本開示の１つ以上の実施形態は、血管内イメージングカテーテルの放射線不透過性マーカを血管造影画像から特定及び位置特定するための検出器を作成することによって、効率的なマーカ検出及び／又は効率的なコレジストレーション結果を達成することができる。１つ以上の実施形態では、血管造影データは、血管造影画像内で可視化できる放射線不透過性マーカを有するカテーテルを用いて、血管内イメージングプルバック中に取得することができる。１つ以上の実施形態では、グラウンドトゥルースは、放射線不透過性マーカの位置を特定する。１つ以上の実施形態では、モデルは、実行されるアプリケーションや手続きに応じて、十分な精度で所与の画像内のマーカ位置を予測するのに十分な解像度を有する。モデルの性能は、より多くの訓練データを追加することによって、更に改善することができる。例えば、追加の訓練データは、ユーザが各画像で放射線不透過性マーカをラベリング又は修正するような画像アノテーションを含んでよい。１つ以上の実施形態は、放射線不透過性マーカを特定及び位置特定するための検出器を用いることができる。
【0048】
１つ以上の実施形態では、Viterbiアルゴリズム等のアルゴリズムを用いて、放射線不透過性マーカを検出及びトラッキングすることができる。
【0049】
１つ以上の実施形態は、畳込みニューラルネットワークを用いて、血管造影画像内の狭窄の特性化を自動化することができ、また、訓練（例えばオフライン訓練）を用いて、かつ、ディープラーニングを介してフレームを抽出及び処理するためのアプリケーション（例えばオンラインアプリケーション）を用いて、血管造影に対するフレーム検出を完全自動化することができる。
【0050】
本開示の１つ以上の実施形態は、放射線不透過性マーカ検出成功率をトラッキング及び／又は計算することができる。
【0051】
少なくとも１つの更なる実施例では、イメージングの要件又は条件を追加することを伴わない３Ｄ再構成の方法を採用することができる。本開示の１つ以上の方法は、血管内イメージング（例えばＩＶＵＳ、ＯＣＴ等）及び血管造影の１つのビューを用いることができる。本開示の血管内イメージングはＯＣＴに限定されないが、以下の説明では、本明細書における１つ以上の特徴を説明するための血管内イメージングの代表として、ＯＣＴが用いられる。
【0052】
ここで図１Ｂを参照すると、血管内イメージングプルバック中に同時に取得された血管造影画像フレームを用いて、イメージングカテーテル上の放射線不透過性マーカの直接検出された位置か、又はイメージングカテーテル経路を表す回帰直線のいずれかに基づいて、イメージングカテーテル経路を生成するためのイメージングシステム２０の少なくとも１つの実施形態の概略図が示されている。図１Ｂの実施形態は、本明細書に記載の人工知能特徴の１つ以上とともに用いることができる。イメージングシステム２０は、血管造影システム３０と、血管内イメージングシステム４０と、画像プロセッサ５０と、ディスプレイ又はモニタ１２０９と、心電図検査（ＥＣＧ）デバイス６０とを含んでよい。血管造影システム３０は、血管造影システムコントローラ２４に接続されたＣアーム２２等のＸ線イメージングデバイスと、物体又は患者１０６の血管造影画像フレームを取得するための血管造影画像プロセッサ２６とを含む。
【0053】
イメージングシステム２０の血管内イメージングシステム４０は、コンソール３２と、カテーテル１２０と、血管内画像フレームを取得するためにカテーテル１２０とコンソール３２の間を接続する患者インタフェースユニット又はＰＩＵ１１０とを含んでよい。カテーテル１２０は、患者１０６の血管に挿入することができる。カテーテル１２０は、例えば冠動脈等の特定の血管の管腔に配置される光照射器及びデータ収集プローブとして機能することができる。カテーテル１２０は、プローブチップ、１つ以上の放射線不透過性マーカ、光ファイバ及びトルクワイヤを含んでよい。プローブチップは、１つ以上のデータ収集システムを含んでよい。カテーテル１２０は、冠動脈の画像を得るために、患者１０６の動脈に通すことができる。患者インタフェースユニット１１０は、血管内画像フレームの取得中にイメージング光学系のプルバックを可能にするために、内部にモータＭを含んでよい。イメージングプルバック手技により、血管の画像を取得することができる。イメージングプルバック経路はコレジストレーション経路を表すことができ、これは、管の関心領域又は標的領域であってよい。
【0054】
コンソール３２は、光源１０１及びコンピュータ１２００を含んでよい。コンピュータ１２００は、本明細書及び以下（例えば図１４、図１６等を参照）で論じられるような特徴を含んでよく、或いは、コンピュータ１２００’（例えば図１５、図１６等を参照）又は本明細書で論じられるその他のコンピュータ若しくはプロセッサであってよい。１つ以上の実施形態では、コンピュータ１２００は、血管内システムコントローラ３５及び血管内画像プロセッサ３６を有してよい。血管内システムコントローラ３５及び／又は血管内画像プロセッサ３６は、患者インタフェースユニット１１０内のモータＭを制御するように機能することができる。また、血管内画像プロセッサ３６は、画像処理のための様々なステップを実行し、表示される情報を制御することができる。
【0055】
イメージングシステム２０内では、様々なタイプの血管内イメージングシステムを用いることができる。血管内イメージングシステム４０は、イメージングシステム２０内で用いることのできる血管内イメージングシステムの一例にすぎない。例として、ＯＣＴシステム、マルチモダリティＯＣＴシステム又はＩＶＵＳシステム等を含む、様々なタイプの血管内イメージングシステムを用いることができる。
【0056】
また、イメージングシステム２０は、患者１０６の皮膚上に配置された電極を用いてある期間にわたって心臓の電気的活動を記録するために、心電図検査（ＥＣＧ）デバイス６０に接続してもよい。イメージングシステム２０はまた、血管造影データ、血管内イメージングデータ及びＥＣＧデバイス６０からのデータを受信して、様々な画像処理ステップを実行して、血管造影画像フレームをコレジストレーション経路とともに表示するためにディスプレイ１２０９に送信するために、画像プロセッサ４０を含んでもよい。図１Ｂでは、イメージングシステム２０に関連付けられた画像プロセッサ４０は、血管造影システム２０と血管内イメージングシステム３０の両方の外部にあるように見えるが、画像プロセッサ４０は、血管造影システム３０、血管内イメージングシステム４０、ディスプレイ１２０９又はスタンドアロンデバイスの中に含まれてもよい。或いは、血管造影画像プロセッサ２６、イメージングシステム２０の血管内画像プロセッサ３６、又は本明細書で論じられるその他のプロセッサ（例えばコンピュータ１２００、コンピュータ１２００’、コンピュータ又はプロセッサ２等）のうち１つ以上を用いて、様々な画像処理ステップが実行される場合、画像プロセッサ４０は必要ではない場合がある。
【0057】
図２は、本開示の１つ以上の態様に従って用いることのできる、トレーニング済みディープラーニングを用いて識別子又は検出器を作成する方法の少なくとも１つの実施形態を示す。
【0058】
図３は、本開示の１つ以上の態様に従って用いることのできる、識別子又は検出器を用いて放射線不透過性マーカを検出する方法の少なくとも１つの実施形態を示す。
【0059】
識別子又は検出器を作成する方法の実施形態と、識別子又は検出器を用いてマーカを検出することの実施形態は、独立して用いられてもよいし、組合わせで用いられてもよい。論じられる組合せ又は配置に限定されないが、例えば、図２及び／又は図３に示され、後述されるように、本開示の１つ以上の実施形態におけるワークフロー又はプロセスの両方に１つ以上のステップが関与してよい。
【0060】
本開示の１つ以上の実施形態は、例えば、候補点の中から点を選択するための方法／アルゴリズムを改善したり、他の画像処理技術を介して（例えば、人工知能の使用を介して、機械学習又はディープラーニングの適用を介して、コレジストレーションを実行するための人工知能結果の使用を介して等）キャプチャすることの難しい特徴を利用し得る検出方法／アルゴリズムを改善したりすることによって、マーカ検出成功率を改善又は最大化する。１つ以上の実施形態では、少なくとも１つのコンピュータ実装人工知能タスクは、１つ以上のイメージングモダリティによって取得された画像間の画像のコレジストレーションであってよく、この場合、一方の画像は、ＯＣＴプローブを用いたサンプル又は物体（冠動脈等）の血管内イメージング（例えば造影剤適用時のＯＣＴプローブのプルバック）中に取得された血管造影画像であり、他方の血管内イメージングはＩＶＵＳ等であり得る。１つ以上の実施形態では、少なくとも別のコンピュータ実装人工知能タスクは、特定の機械学習タスクすなわちキーポイント検出であってよく、この場合、キーポイントは、検出を容易にするために血管造影画像に“導入”された放射線不透過性マーカである。
【0061】
図２の詳細に戻ると、本開示の１つ以上の方法又はプロセスは、以下のステップの１つ以上を含んでよい（図２のステップＳ１０１から始まる）：（ｉｉ）血管造影画像データを取得するステップ（図２のステップＳ１０２参照）；（ｉｉ）取得された血管造影データ／画像内のマーカ位置についてグラウンドトゥルースを確立するステップ（図２のステップＳ１０３参照）；（ｉｉｉ）取得された血管造影データ／画像セット（画像及び／又は対応するグラウンドトゥルースの例）を、訓練用、検証用及びテスト用の群又はセットに分割するステップ（図２のステップＳ１０４参照）；（ｉｖ）モデルアーキテクチャ、学習率、及びパラメータ値の初期化等を含むハイパーパラメータを、モデル訓練用に選択するステップ（図２のステップＳ１０５参照）；（ｖ）訓練群又は訓練セットのデータを用いてモデルを訓練し、検証群又は検証セットのデータを用いてそれを評価するステップ（図２のステップＳ１０６参照）；（ｖｉ）訓練済みモデルの性能が良好又は十分であるかどうかを決定するステップ（図２のステップＳ１０７参照）；（ｖｉｉ）ステップＳ１０７の結果が“Ｎｏ”である場合は、ステップＳ１０５の前に戻ってステップＳ１０５～Ｓ１０６を繰り返し、又は、ステップＳ１０７の結果が“Ｙｅｓ”である場合は、ステップＳ１０８に進む；（ｖｉｉｉ）テスト群又はテストセットのデータを用いて、訓練済みモデルの汎化誤差を推定するステップ（図２のステップＳ１０８参照）；及び、（ｉｘ）訓練済みモデルをメモリに保存するステップ（図２のステップＳ１０９参照）（次に、図２のステップＳ１１０でプロセスを終了する）。図２に示されるステップは、任意の論理的順序で実行されてよく、また、１つ以上の実施形態では一部が省略されてよい。１つ以上の実施形態では、ステップＳ１０９は、訓練済みモデルをメモリ又はディスクに保存することを含むことができ、また、訓練済みモデルを自動で保存することができ、或いは、訓練済みモデルを保存するようにユーザに促すこともできる（１回以上）。１つ以上の実施形態では、検証セットでの性能に基づいてモデルを選択することができ、選択されたモデルを用いたテストで汎化誤差を推定することができる。１つ以上の実施形態では、装置、システム、方法又は記憶媒体は、保存される複数のモデル（以前に既に訓練されている）を有してよく、装置、システム、方法又は記憶媒体は、以前又は前の成功率に基づいて、更なる訓練用のモデルを選択することができる。１つ以上の実施形態では、任意の訓練済みモデルは、任意のアンギオ装置又はシステムでも同じ又は同様の成功率で機能する。異なるアンギオ装置又はシステムからのより多くのデータが存在する状況では、あるモデルが特定のアンギオ装置又はシステムに対してより良好に機能する一方で、別のモデルは、異なるアンギオ装置又はシステムに対してより良好に機能する場合がある。このシナリオでは、１つ以上の実施形態は、特定のアンギオ装置又はシステム向けにテスト用又は検証用のデータセットを作成することができ、テストセット及び／又は検証セットを用いて、特定のアンギオ装置又はシステムではどのモデルが最も良好に機能するのかを特定することができる。
【0062】
１つ以上の実施形態では、血管内画像と血管造影画像を同時に取得することができるが、米国特許出願第６２／７９８，８８５号（２０１９年１月３０日出願、その出願は参照により全体として本明細書に援用される）で論じられる実施形態等の１つ以上の他の実施形態では、そのような画像取得は、異なる時間に実行することができる（又は同時に取得されない）。実際、どちらのシナリオでもコレジストレーションを実行することができる。血管造影画像が血管内画像と同時に取得される１つ以上の実施形態では、放射線不透過性マーカの位置（血管内（例えばＯＣＴ）画像の取得位置である）を検出することができるので、そのような１つ以上の実施形態では、コレジストレーションの正解率を高めることができる。１つ以上の実施形態では、手技（例えばＰＣＩ手技）中に取得される画像を使用するときに、ＯＣＴ／ＩＶＵＳモダリティ及び血管造影モダリティが利用可能である。ＰＣＩ手技の前にＣＴ画像が取得される１つ以上の実施形態では、ＣＴと血管造影との間の、かつ／又はＣＴとＯＣＴ／ＩＶＵＳとの間のコレジストレーションを実行することができる。ＣＴ及びＯＣＴ／ＩＶＵＳの使用については、米国特許公開第２０１８／０２７１６１４号（該公報は、参照により全体として本明細書に援用される）で更に論じられている。本明細書で論じられる１つ以上のＰＣＩ手技では、冠動脈及び他の動脈（例えば１本以上の脚又は他の体の部位にある動脈）でのステント留置、バルーン血管形成術又は他の手技について論じるが、ＰＣＴ手技はこれに限定されない。例えば、冠動脈手技の使用に加えて、血管系の他の領域においてＯＣＴ／ＩＶＵＳを用いることができる。１つ以上の実施形態では、ステップＳ１０２で取得された血管造影画像は、患者又は症例の初期分析に用いることができ、かつ／又は、コレジストレーションに用いることができる。血管造影画像は、より正確なコレジストレーションを達成するためにＯＣＴプルバック中に取得されてもよいし、或いは、以下で更に論じるように、メモリ又はデータベースから受け取られてもよい。
【0063】
前述のステップＳ１０３では、グラウンドトゥルースを確立するステップは、本明細書に記載の人工知能の方法又はアルゴリズムのための１つ以上のアーキテクチャモデルについて、１つ以上の方法で実行されてよい。１つ以上の実施形態では、グラウンドトゥルースは、ＯＣＴプルバック中にキャプチャされた各血管造影フレーム内の標的マーカの長軸の２つの終点の位置であってよい。本明細書に記載のアーキテクチャモデルはセグメンテーションモデル、オブジェクトモデル（「回帰モデル」とも呼ばれる）、残差学習を伴う回帰モデル、及び、セグメンテーションモデルと回帰モデルの１つ以上の特徴を組み合わせたモデルに着目しているが、アーキテクチャモデルはこれらに限定されない。セグメンテーションモデルでは、グラウンドトゥルースは、特定の幅で当該２つの位置を結ぶ線を該当領域として含むマスク画像を包含し得る（例えば、後述する図６Ａを参照）。標的マーカを他のマーカと区別できない１つ以上の実施形態では、全てのマーカがグラウンドトゥルースとしてマークされ得る。訓練用により多くのデータが存在し、かつ／又は、フレームの時系列（例えばビデオシークエンス）が利用される１つ以上の実施形態では、マスクされている標的マーカのみを含むグラウンドトゥルースを用いてモデルを訓練するように、モデルを改善することができる。回帰モデル又はオブジェクトモデルの１つ以上の実施形態では、２つのエッジ位置中心軌跡を、各画像内の標的マーカのグラウンドトゥルース位置とみなすことができる。１つ以上の実施形態では、例えば、専門家が血管造影画像の各フレーム内の２つのマーカ位置に図式的にアノテーションすることによって、グラウンドトゥルースを確立することができる。
【0064】
ステップＳ１０４において、取得された血管造影データセット（画像の例及び／又は対応するグラウンドトゥルース）を訓練用、検証用及びテスト用のセット又は群に分割するステップは、本明細書に記載の人工知能の方法又はアルゴリズムについて、１つ以上の方法で発生することができる。本明細書では、データ分割のいくつかの例を論じるが、方法及びアルゴリズムはそれらに限定されない。少なくとも１つの実施形態例として、入力データは、訓練用（７０％）、検証用（１５％）及びテスト用（１５％）のデータセット又は群に分割することができる。データ分割は、ランダムに実行することができる（例えばプルバック基準、フレーム基準等）。１つ以上の実施形態では、訓練用、検証用及びテスト用のセット又は群が最大限に相関を失い、各セット又は群の例が異なる画像取得手続きからサンプリングされ得るように、データセットを分割することができる。例えば、最終アプリケーションが新しいプルバック例を処理するか又は処理しようとする場合がある１つ以上の実施形態では、検証用及びテスト用のセット又は群の全ての画像は、訓練用のセット又は群の一部ではないとともにモデル訓練に使用されなかったプルバックから、サンプリングすることができる。データ分割には、異なる種類のデータを用いることができる。モデル訓練について、臨床研究からのデータの利用可能性が限られていた状況では、訓練用のセット又は群に動物実験からのデータが含まれてよい。少なくとも１つの実施形態では、訓練用のセット又は群は、主として動物実験の一部として取得された例で構成されてよく、一方、検証用及びテスト用のセット又は群は、主として臨床研究中に得られた例で構成されてよく、或いはそれのみで構成されてよい。１つ以上の実施形態では、訓練用のセット又は群、検証用のセット又は群、及び／又はテスト用のセット又は群のうちの１つ以上として、動物実験及び／又は臨床研究からのデータの異なる組合わせを用いることができる。訓練に動物データを使用することは、珍しい臨床状況で得られるデータを追加することを可能とし得るので、１つ以上の実施形態では、臨床環境に適用可能であり得る。より多くの臨床データが利用可能になると、１つ以上の実施形態は、全てのデータサブセットに臨床データを用いることができる（例えば動物データを用いることなく）。１つ以上の実施形態は、潜在的な追加の訓練データを採用することができる。例えば、ステント又はバルーンカテーテルの送達中に取得されたアンギオ画像内の放射線不透過性マーカが、ＯＣＴカテーテルのマーカと同じように見える場合、１つ以上の実施形態は、ステント又はバルーンカテーテルのアンギオデータ／画像の例と、対応するグラウンドトゥルースとを、ユーザによってアノテーションされた放射線不透過性マーカ位置の形で訓練セットに含めて、これらの例を用いて、ＯＣＴカテーテルのマーカを検出するようにモデルを訓練することができる。同様に、１つ以上の実施形態では、追加の訓練データとして、ＯＣＴカテーテル上のマーカ又はＯＣＴカテーテルのマーカと同じように見える放射線不透過性マーカを備えたカテーテル／プローブの他のアンギオ画像を用いることができる。好ましくは、１つ以上の実施形態は、データ品質管理を採用する。例えば、訓練サンプルの選択は、１つ以上の実施形態では手動で実行されてよい。人間が目視で放射線不透過性マーカ（検出の標的）を特定できる場合、そのようなサンプルは、訓練に適したデータ点であり得る。テストでは、グラウンドトゥルースが人間の専門家のリーダ又は臨床医によって確立され得る限り、ＯＣＴプルバック中にキャプチャされた任意のアンギオ画像を用いることができる。１つ以上の実施形態は、画像の前処理を包含することができる。画像コントラストの範囲がフレーム／プルバック間で異なるので、画像ピクセル値の正規化その他の画像変換が、前処理ステップとして実行されてよい。正規化は、訓練開始前の個々のアンギオフレームごとに実行されてもよいし、或いは、各訓練イテレーションでモデルに渡されるアンギオフレームのバッチごとに実行されてもよい。
【0065】
ステップＳ１０５において、モデルアーキテクチャと、学習率と、パラメータ値の初期化とを含むハイパーパラメータをモデル訓練のために選択するステップは、所定又は所望の目的及び／又は用途に応じて変化してよい。例えば、モデルアーキテクチャの選択は、検証用及び／又はテスト用のデータセットでの最終アプリケーションの設定におけるコレジストレーションの成功率（マーカ検出成功率の影響を受ける場合がある）によって決まり得る。そのような検討事項は、処理／予測及びユーザインタラクションのための時間（例えば、所定の期間、所望の期間、利用可能な期間、目標期間等）とバランスを取ることができる。１つ以上の実施形態では、コレジストレーション及び／又はマーカ検出の成功率は、予測と実際の位置との間の二乗平均平方誤差等の所定のメトリックを用いて評価される。１つ以上の実施形態では、モデルアーキテクチャは、入力及び出力に応じて選択されてよい。例えば、セグメンテーション又はセマンティックセグメンテーションモデル（分類モデルとも呼ばれる）では、入力は個々のアンギオフレームであってよく、出力は、例えばマーカ領域を画定する前景ピクセルが正の値をもち、背景ピクセルがゼロ値をもつような、セグメント化／マスクされた画像であってよい。セグメンテーション（分類）モデルは、セグメント化／マスクされた画像を取得した後に後処理を適用して、マーカ位置の座標点を決定することができ、これは、マーカ検出の成功率に影響を与える場合があり、最終的にコレジストレーションの成功率に影響を与える場合がある。別の例として、オブジェクト検出（回帰）モデルでは、入力は個々のアンギオフレームであってよく、出力は、マーカ位置の座標（例えば標的マーカのみ）であってよい。更なる例として、複合アーキテクチャモデルでは、前述の入力と出力の組合わせを用いることができる。
【0066】
このプロセス又はそのステップに限定されないが、検出器を用いて放射線不透過性マーカを検出（或いは特定及び位置特定）するステップは、例えば図３に示されるように実行することができる。例えば、本開示の１つ以上の方法又はプロセスは、以下のステップの１つ以上を含んでよい（図３のステップＳ２０１から始まる）：（ｉ）放射線不透過性マーカを有する血管内イメージングカテーテルを（例えば血管、標的の標本又は物体に、患者に等）挿入するステップ（図３のステップＳ２０２参照）；（ｉｉ）血管内プルバック中に血管造影データを取得するステップ（図３のステップＳ２０３参照）；（ｉｉｉ）メモリ（例えば本明細書に記載のメモリの１つ以上であってよい）から訓練済みモデルをロードするステップ（図３のステップＳ２０４参照）；（ｉｖ）取得された血管造影データに訓練済みモデルを適用するステップ（図３のステップＳ２０５参照）；（ｖ）１つの血管造影フレームを選択するステップ（図３のステップＳ２０６参照）；（ｖｉ）訓練済みモデルを用いて、選択された血管造影フレーム上でマーカ位置を検出するステップ（図３のステップＳ２０７参照）；（ｖｉｉ）検出されたマーカ位置を表示するステップ（例えば、検出されたマーカ位置を血管造影データに重ね合わせる）（図３のステップＳ２０８参照）；（ｖｉｉｉ）マーカ位置が正確又は正解であるかどうかを確認する（図３のステップＳ２０９参照）；（ｉｘ）ステップＳ２０９の結果が“Ｎｏ”である場合は、検出結果を変更し、変更された結果を表示し（図３のステップＳ２１０参照）、ステップＳ２０９に戻って、（例えば変更された結果において）マーカ位置が正しいかどうかを決定し、又は、ステップＳ２０９の結果が“Ｙｅｓ”である場合は、全てのフレームが確認されたかどうかを確認するステップ（図３のステップＳ２１１参照）；及び、（ｘ）ステップＳ２１１の結果が“Ｎｏ”である場合は、ステップＳ２０６の前に戻り、ステップＳ２０６～Ｓ２１１を繰り返し（例えばフレームのセットの追加フレームごとに、未確認である追加フレームごとに、まだ確認されていない追加フレームごとに等）、又は、ステップＳ２１１の結果が“Ｙｅｓ”である場合は、プロセスを終了するステップ（図３のステップＳ２１２参照）。図３に示されるステップは、任意の論理的順序で実行されてよく、また、１つ以上の実施形態では一部が省略されてよい。
【0067】
図４は、カテーテル１２０の少なくとも１つの実施形態を示し、カテーテル１２０は、画像を取得するために；より大きな又は最大の成功で血管造影画像フレーム内のマーカを特定するために機械学習（特にディープラーニング）を適用する複数のイメージングモダリティを使用及び／又は制御するために；かつ、その結果を用いて、より効率的に、又は最大効率でコレジストレーションを実行するために、本開示の１つ以上の実施形態において用いることができる。図４は、シース１２１、コイル１２２、プロテクタ１２３及び光学プローブ１２４を含むカテーテル１２０の実施形態を示す。図１２Ａ～図１２Ｃ（以下で更に論じられる）に概略的に示されるように、カテーテル１２０は、プルバックでコイル１２２をスピンさせるために、患者インタフェースユニット（ＰＩＵ）１１０に接続することができる（例えば、ＰＩＵ１１０の少なくとも１つの実施形態は、プルバックでコイル１２２をスピンさせるように機能する）。コイル１２２は、その近位端から遠位端へ（例えば、ＰＩＵ１１０の回転モータを介して、又はそれによって）トルクを送達する。１つ以上の実施形態では、物体（例えば生体器官、評価されているサンプル又は物質等（管、心臓、冠動脈等の中空器官等））の全方向ビューを見るために光学プローブ１２４の遠位端もスピンするように、コイル１２２は光学プローブ１２４とともに／光学プローブ１２４に固定される。例えば、光ファイバのカテーテル及び内視鏡は、アクセスするのが困難な内臓器官（血管内画像や消化管、その他の狭域等）へのアクセスを提供するために、ＯＣＴ干渉計のサンプルアーム（後述の図１２Ａ～図１２Ｃのうちの１つ以上に示されるサンプルアーム１０３等）内に存在してよい。カテーテル１２０又は内視鏡の内部の光学プローブ１２４を通る光のビームが関心表面にわたって回転すると、１つ以上の物体の断面画像が得られる。イメージングデータ又は３次元データを取得するために、光学プローブ１２４は、回転スピン中に長手方向に同時に並進されて、らせん状のスキャンパターンをもたらす。この並進は、最も一般的には、プローブ１２４の先端を近位端に向かって引き戻すことによって行われるので、プルバックと呼ばれる。
【0068】
カテーテル１２０（前述のように（そして図４に示されるように）、１つ以上の実施形態においてシース１２１、コイル１２２、プロテクタ１２３及び光学プローブ１２４を有する）は、ＰＩＵ１１０に接続することができる。１つ以上の実施形態では、光学プローブ１２４は、光ファイバコネクタ、光ファイバ及び遠位レンズを有してよい。光ファイバコネクタは、ＰＩＵ１１０と係合するように用いることができる。光ファイバは、遠位レンズに光を送達するように機能することができる。遠位レンズは、光ビームを成形し、光を物体（例えば本明細書で論じられる物体１０６（例えば管））に照射し、効率的にサンプル（例えば本明細書で論じられる物体１０６（例えば管））から光を収集するように機能することができる。
【0069】
前述のように、１つ以上の実施形態では、コイル１２２は、その近位端から遠位端へ（例えばＰＩＵ１１０の回転モータを介して、又はそれによって）トルクを送達する。光ビームが外側に偏向されるように、遠位端にミラーがあってもよい。１つ以上の実施形態では、物体（例えば生体器官、評価されているサンプル又は物質等（管、心臓、冠動脈等の中空器官等））の全方向ビューを見るために光学プローブ１２４の遠位端もスピンするように、コイル１２２は光学プローブ１２４とともに／光学プローブ１２４に固定される。１つ以上の実施形態では、光学プローブ１２４は、近位端にファイバコネクタ、遠位端にダブルクラッドファイバ及びレンズを含んでよい。ファイバコネクタは、ＰＩＵ１１０と接続されるように機能する。ダブルクラッドファイバは、コアを通してＯＣＴ光を伝送及び収集し、１つ以上の実施形態では、クラッドを通して、物体（例えば本明細書で論じられる物体１０６（例えば管）、物体及び／又は患者（例えば患者内の血管）等）からのラマン及び／又は蛍光を収集するように機能することができる。レンズは、物体（例えば本明細書で論じられる物体１０６（例えば管））への／からの光を集束及び収集するために用いることができる。１つ以上の実施形態では、コアのサイズがクラッドのサイズよりもはるかに小さいので、クラッドを通る散乱光は、コアを通る散乱光よりも比較的高い。
【0070】
前述のように、モデル（セグメンテーションモデル（分類モデル）、オブジェクト又はキーポイント検出モデル（回帰モデル）、又はそれらの組合わせ）の選択は、検証用及び／又はテスト用のデータセットでの最終アプリケーションの設定におけるコレジストレーションの成功率（マーカ検出成功率の影響を受ける場合がある）によって決まり得る。そのような検討事項は、処理／予測及びユーザインタラクションのための時間（例えば、所定の期間、所望の期間、利用可能な期間、目標期間等）とバランスを取ることができる。モデルを選択する際には、マーカ検出成功率及び／又はコレジストレーション成功率等の多くの検討要素があり、また、成功率は、方法の条件によって方法ごとに異なる場合があるので、異なるマーカ検出成功率の例を図５に示す。マーカ検出成功率は様々な方法で計算することができるが、マーカ検出成功率の一例は、放射線不透過性マーカの予測の位置と真の位置が同じであるとみなされるフレームの数（例えば予測されたマーカ位置と真のマーカ位置の間の距離が、特定の許容差内にあるか、或いは予め定められた距離閾値（ユーザによって定められるか、或いはシステムで予め定められる）を下回る場合（例えば距離閾値は１．０ｍｍに設定することができる）等）を、ＯＣＴプルバックに取得、受信又はキャプチャされたフレームの総数で割った値を計算することである。ユーザが１つのフレーム上でプルバック領域を指定する第１の方法に従って、ユーザがいくつか又は複数のフレーム上でマーカ位置を指摘する第２の方法に従って、また、ユーザが複数のフレーム上でプルバック領域を指定する第３の方法に従って、成功率のバリエーションを強調するために、図５のデータの３つのカテゴリについて、いくつかの成功率を示す。更に、コレジストレーション成功率（ユーザインタビューに基づく）は、８０％以上のケースで成功とすることができる。実験では、本開示の１つ以上の特徴を用いると、全ての臨床血管造影画像の少なくとも８０～９０％において、候補点（予測されたセグメント）が真のマーカ位置と交わることが明らかとなった。本明細書で論じられるような機械学習又はディープラーニングを用いることにより、マーカ検出成功率とコレジストレーション成功率を改善又は最大化することができる。マーカ検出の成功率（その結果としてコレジストレーションの成功率）は、全てのフレームにわたってマーカ位置の予測がどれだけ良好であるかによって決まる場合がある。そのようなものとして、マーカ位置の推定を改善することにより、マーカ検出の成功率を改善することができ、同様に、コレジストレーションの成功率を改善することができる。
【0071】
セグメンテーションモデル（分類モデル又はセマンティックセグメンテーションモデルとも呼ばれる）アーキテクチャでは、画像の１つ以上の特定の領域が、１つ以上の実施形態では１つ以上のクラスに属すると予測される。画像セグメンテーションのタスク又は問題を定式化又はフレーム化するために、多くの異なるセグメンテーションモデルのアーキテクチャ又は方法が存在する。少なくとも１つの例として、セグメンテーションには、画像内の所与の領域又はエリアを２つのクラス（前景と背景）の一方に分類することが含まれる場合がある。非限定的、非網羅的な実施形態例として、２つのクラスは、標的（例えばピクセル、画像のエリア、画像内の標的オブジェクト等）が放射線不透過性マーカを表す（第１のクラス、前景等）のか、或いは、マーカを表していない（第２のクラス、背景等）のかを示すことができる。１つ以上の出力例では、各ピクセルを、マーカを表すものか又はマーカを表さないもののいずれかに分類することができる。セマンティックセグメンテーションモデルの１つ以上の実施形態は、Simon Jegou他に対する“The One Hundred Layers Tiramisu：Fully Convolutional DenseNets for Semantic Segmentation”（Montreal Institute for Learning Algorithms、２０１７年１０月３１日発行（https://arxiv.org/pdf/1611.09326.pdf）、参照により全体として本明細書に援用される）で論じられるOne-Hundred Layers Tiramisu法を用いて実行することができる。畳込みニューラルネットワーク（ＣＮＮ）は、人工知能特徴、１つ以上のマーカを検出すること、マーカ検出結果を用いてコレジストレーションを実行すること、画像分類、セマンティック画像セグメンテーション等の本発明の１つ以上の特徴のために用いることができる。例えば、他のアーキテクチャが採用されてもよいが、１つ以上の実施形態は、Ｕ－ｎｅｔ、ＲｅｓＮｅｔ及びＤｅｎｓｅＮｅｔのアーキテクチャコンポーネントを組み合せてセグメンテーションを実行することができる。Ｕ－ｎｅｔは、画像セグメンテーションのための人気のある畳込みニューラルネットワークアーキテクチャであり、ＲｅｓＮｅｔは、そのスキップ接続によって深層畳込みニューラルネットワークモデルの訓練を改善し、ＤｅｎｓｅＮｅｔは、コンパクトな内部表現と機能の冗長性の低減により、信頼性が高く優れた特徴抽出器を備えている。１つ以上の実施形態では、ネットワークは、訓練データセットをスライスすることによって訓練することができ、データをダウンサンプリングしなくてよい（言い換えると、画像解像度を保存又は維持することができる）。前述のように、図６Ａは、セグメンテーションモデルの例示のグラウンドトゥルースを示し、これは、セマンティックセグメンテーションモデルの１つ以上の実施形態では出力であり得る。図６Ｂの詳細に着目すると、少なくとも１つの実施形態は、示されるような入力６００を利用して、セグメンテーションモデル法の少なくとも１つの実施形態の出力６０５（例えば図６Ａや図６Ｂに示されるような）を得ることができる。例えば、前述したOne-Hundred Layers Tiramisu法を適用することにより、訓練データセットをスライスすることによって１つ以上の特徴（convolution ６０１、concatenation ６０３、transition up ６０５、transition down ６０４、dense block ６０２等）を採用することができる。これらの実施形態例のみに限定されないが、或いはこれらの実施形態例のみによって限定されないが、１つ以上の実施形態では、スライスサイズは、１００×１００、２２４×２２４、５１２×５１２のうちの１つ以上であってよく、実施された実験の１つ以上では、２２４×２２４のスライスサイズが最良の性能を発揮した。（バッチ内の画像の）バッチサイズは、２、４、８、１６のうちの１つ以上であってよく、実施された１つ以上の実験では、典型的には、バッチサイズが大きいほど性能が良い（例えば正解率が高い）。１つ以上の実施形態では、１６個の画像／バッチを用いることができる。このようなハイパーパラメータの全ての最適化は、利用可能なデータセットのサイズと、利用可能なコンピュータ／計算資源に依存する。よって、より多くのデータが利用可能になると、様々なハイパーパラメータ値を選択することができる。更に、１つ以上の実施形態では、ステップ／エポックは１００であってよく、エポックは１０００よりも大きくてよい（＞１０００）。１つ以上の実施形態では、評価用語はcategorical_crossentropyであってよい。１つ以上の実施形態では、畳込みオートエンコーダ（ＣＡＥ）を用いることができる。
【0072】
マーカ位置の検出に加えて、セグメンテーションモデルは、血管を表す画像内で関心領域を画定するために用いることができる。マーカが血管内にあることが分かっているので（血管内ＯＣＴイメージングプローブ）、血管の画定を用いて、マーカ検出の正解率及び精度を改善することができる。セグメンテーションモデルでは、血管領域とマーカ領域を同時に予測することができ、少なくとも３つのクラス：１）血管、２）マーカ及び３）非血管、非マーカを予測する。或いは、セグメンテーションモデルを用いて、少なくとも２つのクラス：１）血管及び２）非血管を予測することができる。異なる血管枝を区別するために、追加のクラスが用いられてもよい。血管を画定するセグメンテーションモデルの予測（ラベリング又はマスクされた画像）を用いて、オブジェクト／キーポイント検出モデルの訓練又は評価を改善することができ、当該モデルは、それぞれオブジェクト検出モデルの訓練又は評価に用いられる損失関数又は評価関数にセグメンテーション結果を組み込むことによって、マーカ位置を予測する。この場合、セグメンテーションとオブジェクト検出モデルは、一緒に訓練することもできるし、別々に訓練することもできる。更に、セグメンテーションは、フレームのサブセットに対してのみ実行することができ、オブジェクト検出モデルの訓練及び評価中にのみ実行することができるが、必ずしもモデル推論時ではない。
【0073】
図７は、本開示の１つ以上の態様に係る、最終座標を特定するために用いることのできる、セグメンテーションモデル実施形態を適用した後の後処理の少なくとも１つの実施形態を示す。例えば、後処理のアルゴリズム又は方法は、以下のうちの１つ以上を含んでよい（図７が最も分かりやすい）：ユーザ入力を得ること；ユーザ入力に基づいて関心領域（ＲＯＩ）を定めること；ユーザ入力に基づいてマーカ位置を推定すること；ＲＯＩ内で閾値を決定、確立又は設定すること；閾値処理された各コンポーネントについて中心軌跡座標を得ること；及び、中心軌跡座標から、ユーザ入力に基づくマーカ位置の推定に最も近い中心軌跡座標を選択すること。
【0074】
図８は、本開示の１つ以上の態様に係る、マーカ検出成功率を測定することのいくつかの例（後処理を伴うセグメンテーションモデルの少なくとも１つの実施形態例を含む）を示す図である。図８の左側に示されるように、後処理とともにセグメンテーションモデルが用いられることにより、１つ以上の実施形態における他の画像処理方法と比較して、成功率を大幅に改善することができる。例えば、図８の後処理を伴うセグメンテーションモデルでの成功率は、動物データのみによるセグメンテーションモデル訓練を用いて取得された（２０プルバック、～６０フレーム／プルバック）。使用したバッチサイズは１６であり、使用した訓練画像サイズは２２４ピクセル×２２４ピクセルであり、使用したステップ／イテレーションは２００であり、使用したイテレーションは５０００であった。１つ以上の実施形態では、イテレーションは、利用可能なメモリサイズ資源又は処理設定（例えば完了した処理の望ましいタイムライン、成功率閾値等）に基づいて限定されてよい。例えば、使用したイテレーションは５０００に設定したが、後処理によって得られた成功率は、４，９２３回目のイテレーションで終了させた訓練を用いた。図８に示される３つの方法の全てのテストデータは、全て臨床データであった（４５プルバック、～３０フレーム／プルバック）。
【0075】
１つ以上の実施形態では、後処理を伴うセグメンテーションモデルは、Simon Jegou他に対する“The One Hundred Layers Tiramisu：Fully Convolutional DenseNets for Semantic Segmentation”（Montreal Institute for Learning Algorithms、２０１７年１０月３１日発行（https://arxiv.org/pdf/1611.09326.pdf）、参照により全体として本明細書に援用される）からの１つ以上の特徴と併用することができる。
【0076】
オブジェクト検出モデル（前述のように、回帰モデル又はキーポイント検出モデルとも呼ばれる）のアーキテクチャについて、１つ以上の実施形態は、アンギオ画像を入力として用いることができ、空間座標の形でマーカ位置を予測することができる。オブジェクト検出モデルはマーカ位置を直接予測し、また、１つ以上の実施形態では後処理を回避できるので、このアプローチ／アーキテクチャには、セマンティックセグメンテーションに優る利点がある。オブジェクト検出モデルアーキテクチャは、畳込み層、最大プーリング層、全結合dense層、及び／又はマルチスケール画像若しくは特徴ピラミッドを使用又は組合わせすることによって、作成又は構築することができる。様々な組合わせを用いて、最良の性能テスト結果を決定することができる。性能テスト結果を他のモデルアーキテクチャのテスト結果と比較して、所与のアプリケーションにどのアーキテクチャを使用するかを決定することができる。
【0077】
本明細書に記載のアーキテクチャモデルの１つ以上の実施形態は、ニューラルネットワーク、畳込みニューラルネットワーク及びランダムフォレストのうちの１つ以上と併用することができる。
【0078】
以下の２つの例示のアーキテクチャを用いて実験を実施したが、当該例は限定的なものではなく、他のアーキテクチャが採用されてもよい（他の方法もテストされている）。使用した第１の例示のアーキテクチャは、Tsung-Yi Lin他に対する“Focal Loss for Dense Object Detection”（Facebook AI Research（ＦＡＩＲ）、２０１８年２月（https://arxiv.org/pdf/1708.02002.pdf）、参照により全体として本明細書に援用される）で論じられている。使用した第２の例示のアーキテクチャは、Kaiming He他に対する“Mask R-CNN”（Facebook AI Research（ＦＡＩＲ）、２０１８年１月２４日（https://arxiv.org/pdf/1703.06870.pdf）、参照により全体として本明細書に援用される）で論じられている。Tsung-Yi Lin他に対する“Focal Loss for Dense Object Detection”文献、又はKaiming He他に対する“Mask R-CNN”文献のいずれかからの１つ以上の特徴を、本明細書に記載の他のアーキテクチャモデル（例えばセマンティックセグメンテーション、セマンティックセグメンテーションとオブジェクト検出／回帰の組合わせ、残差学習を伴う回帰等）と併用することができる。
【0079】
ここで図９Ａの詳細に着目すると、本開示の１つ以上の態様に従って、回帰を用いるオブジェクト検出モデルアーキテクチャの少なくとも１つの実施形態例が示されている。少なくとも図９Ａの実施形態では、回帰モデルは、１つ以上の畳込み層９００と、１つ以上の最大プーリング層９０１と、１つ以上の全結合dense層９０２との組合わせを用いる。更に、各層について示されているカーネルサイズ、幅／フィルタの数（出力サイズ）及びストライドサイズに限定されない（例えば、図９Ａの左の畳込み層では、カーネルサイズは“３×３”であり、幅／フィルタの数（出力サイズ）は“６４”であり、ストライドサイズは“２”である）。実施した実験には、約４～２０の畳込み層の深さ（又は総数）が含まれた。１つ以上の実施形態では、オブジェクト検出モデルは１０以下の畳込み層で用いることができる。少なくとも１つの実施形態では、この例に限定されないが、好ましくは１０未満の畳込み層が用いられる。最適な層数は、利用可能なデータセットのサイズによっても異なる。よって、より多くのデータが利用可能である場合、１つ以上の実施形態では、より多くの層数が最適である場合がある。実施した実験には、約４～１６のバッチサイズが含まれた。１つ以上の実施形態では、１２のバッチサイズを用いることができる（この例に限定されないが、関与する処理、イメージング、アプリケーション等に応じて、１つ以上の実施形態では、好ましくは１２のバッチサイズを用いることができる）。ストライドは、フィルタが入力又は入力ボリュームを中心にどのように畳込みするのかを制御する。例えば、フィルタは、一度にユニットをシフトすることによって、入力ボリュームを中心に畳み込むことができる。ストライドサイズは、フィルタがシフトする量を定義する。例えば、ストライドサイズが“２”である場合、フィルタは、一度に２つのユニットをシフトすることによって、入力ボリュームを中心に畳み込むことができる。実施した実験には、１６、３２、６４及び１２８のうちの１つの幅（各画像のフィルタの数）が含まれた。１つ以上の実施形態では、６４の幅を用いることができる（この例に限定されないが、関与する処理、イメージング、アプリケーション等に応じて、１つ以上の実施形態では、好ましくは６４の幅を用いることができる）。実施した実験には、１０－１～１０－８の範囲の学習率が含まれた。１つ以上の実施形態では、１０－５の学習率を用いることができる（この例に限定されないが、関与する処理、イメージング、アプリケーション等に応じて、１つ以上の実施形態では、好ましくは１０-5の学習率を用いることができる）。実施した実験には、１０-1～１０-3の範囲のドロップアウト値が含まれた。１つ以上の実施形態では、約１０-2のドロップアウト値を用いることができる（この例に限定されないが、関与する処理、イメージング、アプリケーション等に応じて、１つ以上の実施形態では、好ましくは１０-2のドロップアウト値用いることができる）。１つ以上の実施形態では、Stochastic Gradient Descent（ＳＧＤ）やAdaptive Moment Estimation（Ａｄａｍ）等のオプティマイザを用いることができる。二乗平均平方誤差（ＲＭＳＥ）等の１つ以上の評価用語を用いることができる（例えば後述する図１０～図１１を参照）。ステップ／エポックは１０であってよく、１つ以上の実施形態では、エポックの数は＞５００であってよい。
【0080】
１つ以上の実施形態は、Kaiming He他による“Deep Residual Learning for Image Recognition”（マイクロソフトリサーチ、２０１５年１２月１０日（https://arxiv.org/pdf/1512.03385.pdf）、参照により全体として本明細書に援用される）で論じられるような、残差接続を伴う畳込みニューラルネットワークアーキテクチャを用いることができる。
【0081】
１つ以上の実施形態では、異なるニューラルネットワークアーキテクチャが用いられてよく、例えば、図９Ａに示されるアーキテクチャとは全く異なるものであってよい。例えば、ニューラルネットワークアーキテクチャの１つ以上の実施形態例は、Tsung-Yi Lin他による“Feature Pyramid Networks for Object Detection”（Facebook AI Research（ＦＡＩＲ）、２０１７年４月１９日（https://arxiv.org/abs/1612.03144））に記載されるような特徴ピラミッドを用いることができる。繰り返しになるが、機械学習アルゴリズム又はモデルアーキテクチャは、本明細書に記載の構造や詳細に限定されない。
【0082】
ここで図９Ｂの詳細に着目すると、本開示の１つ以上の態様に従って、残差学習を伴う回帰を用いるオブジェクト検出モデルアーキテクチャの少なくとも１つの実施形態が示されている。残差学習とは、以前の層の前の層で作成された１つ以上の特徴から学習し、モデル訓練の誤差の逆伝播を容易にするために、スキップ接続を導入する方法である。この構成に限定されないが、現在の設定では、図９Ｂに示されるように、畳込み層のブロック間のスキップ接続が導入される。少なくとも図９Ｂの実施形態例に示されるように、深さ（畳込み層の総数）は３４であり（より小さい／より大きい深さを用いることができるが、１つ以上の実施形態では、３４の深さが好ましい場合がある）、バッチサイズは１２であり、幅（各画像のフィルタの数）は６４であり（１つ以上の実施形態では、より小さい幅を用いることができ、１つ以上の実施形態では、より小さい幅が好ましい場合がある）、学習率は１０-4である。前述のように、１つ以上の実施形態では、畳込みオートエンコーダ（ＣＡＥ）を用いることができる。
【0083】
１つ以上の実施形態は、長短期メモリを伴うリカレント畳込みニューラルネットワークオブジェクト検出モデルを用いることができ（例えば、Hochreiter他による“Long Short-Term Memory”（Neural Computation、第９巻、第８号、１９９７年１１月（https://dl.acm.org/doi/10.1162/neco.1997.9.8.1735)；Alex Sherstinskyによる“Fundamentals of Recurrent Neural Network（RNN）and Long Short-Term Memory（LSTM）Network”（Elsevier Journal“Physica D：Nonlinear Phenomena”、第４０４巻、２０２０年３月（https://arxiv.org/abs/1808.03314））；Sutskeyer他による“Sequence to Sequence Learning with Neural Networks”（２０１４年１２月（https://papers.nips.cc/paper/5346-sequence-to-sequence-learning-with-neural-networks.pdf））等に記載されるような“長短期メモリ”を参照）、これにより、マーカ位置を予測するための空間的情報及び時間的情報を考慮することが可能となる。放射線不透過性マーカは、プルバック中に特定の方向に動くので、その情報を利用することにより、マーカ検出の成功率を改善することができる。この場合、モデル入力は複数のフレームのシーケンスであり、モデル出力は、所与の画像の各々におけるマーカ位置の空間座標のシーケンスである。
【0084】
１つ以上の実施形態は、転移学習によって作成されたニューラルネットワークモデルを用いることができる。転移学習は、（ランダムに初期化されるのではなく）事前に訓練されたパラメータを伴うモデルを使用する方法であり、当該パラメータは、基礎となるデータ分布が異なる可能性のある異なるデータセットについて、同じ又は異なる目的（例えば、異なる画像認識又はコンピュータビジョンの問題を解決すること）に最適化されている。モデルアーキテクチャは、例えばニューラルネットワークの１つ以上の層を追加、削除又は置換することによって、新しい目的又は問題を解決するように適合又は使用することができ、次に、変更される可能性のあるモデルが新しいデータセットで更に訓練（微調整）される。エッジ検出器等の低レベルの機能が１つの目的又は問題ドメインから別のドメインに転移可能であるという仮定の下で、この学習アプローチは、特に利用可能なデータセットのサイズが小さい場合に、モデルの性能を改善するのに有用であり得る。この特定の用途では、残差学習を伴う事前訓練済みモデルを用いることにより、成功率が約３０％向上する。
【0085】
オブジェクト検出モデルの１つ以上の実施形態では、実際の位置と予測された位置の間の二乗平均平方誤差（ＲＭＳＥ）を、モデル評価での評価メトリックとして用いることができる。１つ以上の実施形態では、閾値基準を適用し、各プルバックにおいてＲＭＳＥ値が所定又は設定の閾値よりも小さいフレーム例の数を計算することによって、成功率を算出することができる（例えば図１０Ａ、図１０Ｂ及び図１０Ｃの詳細を参照）。成功率は、更に、異なる閾値（例えば、ステップサイズが０．１ｍｍである０．１ｍｍ～１０ｍｍの範囲）で算出することができる。ＲＭＳＥ又は導出された成功率は、個別に、或いは組み合せて、モデル評価に用いることができる。実施した実験において、今回成功率が使用された少なくとも１つの理由は、様々な閾値でどの程度の改善が達成されるのかを確認し、その情報を臨床設定でリンクすることである。例えば、閾値が０．１ｍｍ大きくなると成功率が１０％向上し、アンギオ画像での０．１ｍｍの差が医師の手技計画に影響する可能性は極めて低いので、より大きな閾値の使用を選択することができる。
【0086】
オブジェクト検出モデルの１つ以上の実施形態では、グラウンドトゥルースと予測の間の二乗平均平方誤差とプルバック経路の差の両方を査定することによって、評価を実行することができる。あるフレームから次のフレームへのマーカの動きをベクトルとして考慮すると、プルバック経路の差は、（グラウンドトゥルースと予測での）ベクトルの大きさ（すなわち長さ）の差とベクトルの角度差の観点から評価することができる。二乗平均平方誤差は、プルバック全体のフレームごとの平均性能を理解するのに役立ち、プルバック経路の差は、プルバックごとの性能、すなわち、モデルがマーカの動きを正確に予測できるかどうかを理解することを可能にする。
【0087】
オブジェクト検出モデルの１つ以上の実施形態では、特定の期間にわたる検出／予測されたマーカ位置の動きを査定することによって、評価を実行することができる。マーカは特定の方向（ユーザによって、かつ／又は、血管の解剖学的構造の所与の事前知識（血管の遠位から近位へ）によって定めることができる）に動くので、検出／予測されたマーカ位置が適切な方向に動かない場合、モデルに罰則を与えることができる。例えば、フレームごとの予測が実行される場合、現在訓練に用いられているフレームの前の特定数のフレームでの検出／予測位置を比較することによって、検出／予測されたマーカ位置の動きを査定することができる。フレームのシークエンスを入力として用いるモデルでは、該シークエンスの最初と最後のフレームで検出／予測されたマーカ位置を比較することによって、動きを評価することができる。
【0088】
データセットは訓練用、検証用及びテスト用のセット又は群に分割されるので、図１０Ａ～図１０Ｃに示されるような１つ以上の実施形態では、各サブセットについて成功率を評価した。「訓練時間が長い」ことは、訓練のイテレーションが多いこと、例えば５００イテレーション（１０００）、３５００イテレーション（１００１）、６５００イテレーション（１００２）を示す。データがフレーム基準で分割される場合、全ての３つのデータセットは同様の成功率結果を示す。しかしながら、データがプルバック基準で分割される場合、また、システムが相関性の低いデータに遭遇した（或いは、相関性の低いデータを扱ったり処理したりする）場合、検証データセットとテストデータセットでのそれぞれの成功率は、訓練データセットでの成功率と比べて有意に低い（図１０Ａ～図１０Ｃ参照）。成功率の違いは、システムが現在のデータに過剰適合していることを示し、これは、未観測データに汎化できるモデルを訓練するために、より多くのデータが役立つことを示す。
【0089】
図１１は、本開示の１つ以上の態様に係る、オブジェクト検出モデルの１つ以上の実施形態での二乗平均平方誤差の計算とともに、テストデータ及び検証データのいくつかの例を含む。ここでは、モデル性能を評価するために、二乗平均平方誤差が用いられる。二乗平均平方誤差が小さいほど、良好なモデル構造を示す。完全な訓練データセットの学習イテレーション（すなわちエポック）の増加は、検証セットでの性能の改善に役立つ場合があるが、テストセットでの性能の改善には有用でない場合があり、これは、モデルが検証セットに過剰適合し始める兆候であり得る。図１１の２つのモデル間の差は、モデルアーキテクチャの違いによる場合があり、かつ／又は、他のハイパーパラメータ設定による場合がある。
【0090】
ここでは、セグメンテーションモデルを用いる場合とオブジェクト検出モデルを用いる場合の違いのいくつかの非限定的な例を論じる。前述のように、オブジェクト検出モデルは、マーカ位置を正確に予測するのに十分な解像度をもたない場合がある。とはいえ、１つ以上の実施形態では、十分に最適化されたオブジェクト検出モデルにより、より良好な又は最大化された性能を達成することができる。一方、セグメンテーションモデルは、オブジェクト検出モデルの少なくとも１つの実施形態よりも良好な解像度を提供し得るが、前述のように、セグメンテーションモデルの少なくとも１つの実施形態は、予測マーカ位置の座標を得るために後処理を用いる場合がある（これにより、１つ以上の実施形態では、マーカ検出成功率が低くなる場合がある）。
【0091】
本明細書で更に論じられるように、セグメンテーションモデルとオブジェクト検出モデルの間の上記の違いを改善又は対処するために使用できる複数の選択肢が存在する。いくつかの非限定的、非網羅的な例として：（ｉ）組合わせモデルを採用することができ、これには、例えば、セマンティックセグメンテーションモデルを実行してから、セグメンテーションモデルからの確率が高いエリアにオブジェクト検出モデルを適用することが含まれる（このような組合わせアプローチの１つ以上の特徴は、本開示の１つ以上の実施形態、Kaiming He他に対する“Mask R-CNN”（Facebook AI Research（ＦＡＩＲ）、２０１８年１月２４日（https://arxiv.org/pdf/1703.06870.pdf）、参照により全体として本明細書に援用される）で論じられるようなもの等の１つ以上の特徴において用いることができる）；及び／又は、（ｉｉ）より大きな正規化範囲でオブジェクト検出モデルを実行し、オブジェクト検出モデルを適用してから、最初のオブジェクト検出モデルからの確率が高いエリアを用いて再びオブジェクト検出モデルを適用すること。
【0092】
本明細書に記載の１つ以上のアーキテクチャモデルに改善を施した後、具体的な利点としては、例えば以下のうちの１つ以上が挙げられる：より正解率の高い予測結果につながるより高い解像度；より低い計算メモリ及び／又は処理を利用することができる（使用される資源が少ない、より速い処理が達成される等）；及び、ユーザインタラクションが必要ない（１つ以上の実施形態はユーザインタラクションを伴う場合があるが）。
【0093】
図３の方法では、使用するモデルを選択する際と、マーカ位置を予測するために識別子又は検出器を用いる際に、そのような検討事項が含まれる。例えば、メモリから訓練済みモデルをロードすることに関する図３のステップＳ２０４では、どのモデルをロードするか決定する際に、上記のうちの１つ以上が含まれる。複数のモデルを訓練し、どのモデルが他のモデルよりも効率的又は最適に機能するかに関する情報を収集するために、実験が行われ、現在も行われている。最終実装の１つ以上の実施形態について、訓練済みモデルは、検証データセットに対してより良好な又は最良の性能を有するモデルから選択することができ、テストセットは、汎化誤差を推定するために用いることができる。しかしながら、複数の訓練済みモデルを選び、そのようなモデル間の性能を比較して、１つ以上の実施形態の所与の適用について“潜在的に”より良好な又は最良のモデルを選択することが可能である。この選択は、ユーザによってなされてもよいし、特定の評価メトリックを用いて自動的になされてもよい。評価メトリックは、入力画像品質、及び／又は、モデルの予測中に使用されるその他の誤差メトリックに基づいて駆動することができる。更なる例として、モデルの選択は、入力画像品質に基づいて行うことができる。入力画像品質とモデルの特定の組合わせは、別の組合わせよりも性能が高い可能性がある。
【0094】
別の例として、結果又は変更された結果を表示することに関する図３のステップＳ２１０は、例えば米国特許出願公開第２０１８／０２７１６１４号（その開示は全体として参照により本明細書に援用される）；米国特許出願公開第２０１９／００２９６２４号（その開示は全体として参照により本明細書に援用される）；米国特許出願公開第２０１９／００２９６２３号（その開示は全体として参照により本明細書に援用される）；及び、米国仮特許出願第６２／７９８，８８５号（２０１９年１月３０日出願、その開示は全体として参照により本明細書に援用される）で論じられるような１つ以上の特徴を用いて、行うことができる。
【0095】
更に、１つ以上の実施形態では、他のイメージングデータ及び／又はユーザフィードバックを用いて、訓練データを得ることができる。例えば、バルーンカテーテル及び／又はステントカテーテルの送達又は他の血管内イメージング（例えばＩＶＵＳプルバック）の間に取得されたアンギオ画像も、訓練データとして使用できる可能性があり、より良好に汎化するモデルの学習に役立つ場合がある。追加又は代替として、ユーザフィードバックの例として、モデル予測をユーザに提示するグラフィカルユーザインタフェース（ＧＵＩ）によってデータをキャプチャすることができ、そのキャプチャされたデータにより、ユーザは、予測されたマーカ位置を評価し、マーカ位置を修正する（必要／有用である場合）ことが可能となり得る。検証及び修正されたサンプルは、１つ以上の実施形態では、モデルを更新（かつ更に改善）するための追加の訓練データとして用いることができる。
【0096】
上記に鑑みて、また、後述する他の人工知能の詳細／特徴に鑑みて、本開示の１つ以上の実施形態は、１つ以上の血管造影画像におけるマーカ（例えばＸ線不透過性マーカ、放射線不透過性マーカ等）の自動検出に、機械学習の適用を組込み又は使用することができる（例えば、１つ以上の実施形態では、ユーザインタラクションをほとんど又は全く伴わないことが、利点／成果であり得る）。１つ以上の実施形態は、解像度の高いオブジェクト／キーポイント検出モデルを採用することができ、その結果、サブピクセル空間解像度（例えば患者座標系におけるミリメートル単位）でオブジェクト／キーポイント座標を予測できるという利点／成果を得ることができる。１つ以上の実施形態は、コンピュータビジョンタスクを単純化するために、血管造影画像へのマーカ（例えばＸ線不透過性マーカ、放射線不透過性マーカ等）の導入（例えば意図的な導入）を採用することができ、その結果、機械学習を用いてマーカ（オブジェクト／キーポイント）検出を容易にするという利点／成果を得ることができる。１つ以上の実施形態は、モデル訓練（転移学習）のために同様のマーカ（マーカ間でサイズ及び／又は材料が異なる場合がある）が導入される、追加の広く利用可能な画像を使用する機能を組み込むことができる。
【0097】
可視化、ＰＣＩ手技の計画及び生理学的査定を組み合わせて、事前に完全なＰＣＩ計画を行い、手技の後に完全な査定を行うことができる。３Ｄ構造が構成又は再構成され、ユーザが使用予定のインターベンションデバイス（例えばステント）を指定すると、コンピュータシミュレーションにおいて仮想ＰＣＩが実行される（例えば本明細書で論じられるコンピュータ（コンピュータ２、プロセッサコンピュータ１２００、プロセッサ又はコンピュータ１２００’、本明細書で論じられるその他のプロセッサ等）のうち１つ以上によって）。次に、仮想ＰＣＩの結果に基づいて、別の生理学的査定を実行することができる。このアプローチにより、ユーザは、手技前又は手技中に各患者に最適なデバイス（例えばインターベンションデバイス、インプラント、ステント等）を見つけることができる。
【0098】
ＧＵＩのいくつかの例が本明細書において議論され、本開示の図の１つ以上に示されているが、本開示の１つ以上の実施形態では、米国特許第１６／４０１，３９０号（２０１９年５月２日出願）並びに米国特許公開第２０１９／００２９６２４号及びＷＯ２０１９／０２３３７５（その出願及び公報は、その全体が参照により本明細書に援用される）に開示されたＧＵＩ機能、イメージング機能及び／又はイメージングモダリティ機能等、他のＧＵＩ機能、イメージングモダリティ機能又は他のイメージング機能を用いることができる。
【0099】
本開示の１つ以上の実施形態では、米国特許公開第２０１９／０１０２９０６号及び第２０１９／００９９０８０号（その公報は、その全体が参照により本明細書に援用される）で論じられる拡張／拡張不良及び圧着／不完全圧着の方法又はアルゴリズム等、ステント拡張／拡張不良又は圧着／不完全圧着を計算するための１つ以上の方法又はアルゴリズムを用いることができる。
【0100】
本開示の１つ以上の実施形態では、米国特許公開第２０１９／００２９６２３号及び米国特許公開第２０１８／０２７１６１４号並びにＷＯ２０１９／０２３３８２（その公報は、その全体が参照により本明細書に援用される）で論じられる方法又はアルゴリズム等、血管造影画像を用いて心臓の動きを計算又は評価し、かつ／又は解剖学的イメージングを表示するための１つ以上の方法又はアルゴリズムを用いることができる。
【0101】
本開示の１つ以上の実施形態では、米国特許出願第６２／７９８，８８５号（２０１９年１月３０日出願）及び米国特許公開第２０１９／００２９６２４号（その出願及び公報は、その全体が参照により本明細書に援用される）で論じられる方法又はアルゴリズム等、コレジストレーション及び／又はイメージングの実行のための１つ以上の方法又はアルゴリズムを用いることができる。
【0102】
本明細書で論じられるそのような情報及び他の特徴は、コレジストレーションや他のモダリティ等の他の用途に適用することができる。実際、本開示並びに前述の出願及び特許公開の特徴の有用な用途は、記載されているモダリティ、画像又は医療手技に限定されない。更に、関与するモダリティ、画像又は医療手技に応じて、１つ以上のコントロールバーを輪郭形成し、湾曲させ、又はユーザによって希望又は設定されるその他の構成をもたせることができる。例えば、本明細書で論じられるタッチスクリーンを用いる実施形態では、ユーザがタッチスクリーン上でポインタ、指、スタイラス、別のツール等を動かすことに基づいて（或いは、タッチスクリーンが用いられるかどうかに関係なく、マウス又は他の入力ツール若しくはデバイスを移動することによって）、ユーザは、コントロールバーのサイズと形状を定義又は作成することができる。
【0103】
本開示の１つ以上の実施形態は、複数のビュー（例えばＯＣＴ画像、リングビュー、トモビュー（tomo view）、解剖ビュー等）を撮ることを含むことができ、１つ以上の実施形態は、ＮＩＲＡＦをハイライト又は強調することができる。１つ以上の実施形態では、２つのハンドルが、１つ以上の実施形態におけるＮＩＲＡＦデータの色の極値（color extremes）の境界を示すことのできるエンドポイントとして機能することができる。標準的な断層撮影ビューに加えて、ユーザは、複数の長手方向ビューを表示することを選択することができる。血管造影システムに接続されているとき、グラフィカルユーザインタフェース（ＧＵＩ）は血管造影画像を表示することもできる。
【0104】
本開示の１つ以上の態様によれば、前述の特徴は、特定のＧＵＩを用いて表示又は制御されることに限定されない。一般に、前述のイメージングモダリティは、ＧＵＩの前述の実施形態の１つ以上の特徴の有無にかかわらず、様々な方法で使用することができる。例えば、ＧＵＩは、ＯＣＴ画像を、ＧＵＩとともに（又はＧＵＩの１つ以上の他のコンポーネントとともに；１つ以上の実施形態では、表示は、ユーザに対して一連又は所望の情報を表示するように単純化されてよい）提示されない場合であっても、前述のように画像ビューを変更するためのツール又はマーカとともに示すことができる。
【0105】
例えばタッチスクリーン、ＧＵＩ（又はＧＵＩの１つ以上のコンポーネント；１つ以上の実施形態では、表示は、ユーザに対して一連又は所望の情報を表示するように単純化されてよい）、プロセッサ（例えばプロセッサ若しくはコンピュータ２，１２００，１２００’、又は本明細書で論じられるその他のプロセッサ）を用いて、関心領域とマーカの位置、角度、平面等を選択する手順は、１つ以上の実施形態では、選択又は変更を行うためのエリアでの指による１回の押下及びドラッグを含むことができる。新しい向きとビューの更新は、指又はポインタの解放時に計算することができる。
【0106】
タッチスクリーンを用いる１つ以上の実施形態の場合、２つの同時タッチポイントを用いて選択又は変更を行うことができ、解放時の計算に基づいてビューを更新することができる。
【0107】
ユーザの注意を集中させ、フォーカスを維持し、ユーザが全ての関連情報を一瞬で確認できるようにするように、１つ以上の機能を、血管造影画像ビューやＯＣＴ画像ビュー等のイメージングモダリティのうち１つによって制御することができる。
【0108】
１つ以上の実施形態では、１つのイメージングモダリティが表示されてもよいし、複数のイメージングモダリティが表示されてもよい。
【0109】
１つ以上の実施形態では、１つ以上の手順を用いて、ビューの選択領域又は関心領域を選択することができる。例えば、選択したエリアに単回のタッチが行われた後（例えば、タッチスクリーンを用いて、マウス又は他の入力デバイスを用いて選択を行うことにより、等）、選択された選択領域又は関心領域に対して、半円（又は指定されたエリアに用いられる他の幾何学的形状）が自動的に適合してよい。２つの単回タッチポイントは、選択領域又は関心領域を接続／描画するように機能することができる。トモビュー又は断層撮影ビュー（例えばＯＣＴビュー４０３又は６０３）上での単回タッチは、トモビューの周囲をスイープするように機能することができ、選択領域又は関心領域を形成するように接続するように機能することができる。
【0110】
図１２Ａは、ＯＣＴシステム１００（本明細書では「システム１００」と呼ばれる）を示し、これは、血管造影、光干渉断層撮影法（ＯＣＴ）、マルチモダリティＯＣＴ（ＭＭ－ＯＣＴ）、近赤外蛍光（ＮＩＲＡＦ）、ＯＣＴ－ＮＩＲＡＦ等の１つ以上のイメージングモダリティに用いることができ、かつ／又は、本開示の１つ以上の態様に係る人工知能プロセス（例えば機械学習又はディープラーニング、残差学習、人工知能（“ＡＩ”）コレジストレーション、マーカ検出等）等の本明細書に記載の１つ以上の追加の特徴を採用するために用いることができる。システム１００は、光源１０１、参照アーム１０２、サンプルアーム１０３、被偏向又は偏向部１０８、参照ミラー（「参照反射」、「参照反射器」、「部分反射ミラー」及び「部分反射器」とも呼ばれる）１０５、及び１つ以上の検出器１０７（コンピュータ１２００に接続することができる）を備える。１つ以上の実施形態では、システム１００は、患者インタフェースデバイス又はユニット（「ＰＩＵ」）１１０及びカテーテル１２０を含んでよく（例えば図１Ａ～図１Ｂ、図４及び／又は図１２Ａ～図１２Ｃに示されるようなＰＩＵ及びカテーテルの実施例を参照）、システム１００は、物体１０６、患者（例えば患者の血管）１０６等と相互作用してよい（例えばカテーテル１２０及び／又はＰＩＵ１１０を介して）。１つ以上の実施形態では、システム１００は干渉計を含み、又は、干渉計は、少なくとも光源１０１、参照アーム１０２、サンプルアーム１０３、偏向部１０８及び参照ミラー１０５等、システム１００の１つ以上のコンポーネントによって画成される。
【0111】
本開示の１つ以上の更なる態様によれば、ベンチトップシステムは、血管造影、光干渉断層撮影法（ＯＣＴ）、マルチモダリティＯＣＴ（ＭＭ－ＯＣＴ）、近赤外蛍光（ＮＩＲＡＦ）、ＯＣＴ－ＮＩＲＡＦ等の１つ以上のイメージングモダリティに利用することができ、かつ／又は、本開示の１つ以上の態様に係る人工知能プロセス（例えば機械学習又はディープラーニング、残差学習、人工知能（“ＡＩ”）コレジストレーション、マーカ検出等）等の本明細書に記載の１つ以上の追加の特徴を採用するために利用することができる。図１２Ｂは、血管造影、光干渉断層撮影法（ＯＣＴ）、マルチモダリティＯＣＴ（ＭＭ－ＯＣＴ）、近赤外蛍光（ＮＩＲＡＦ）、ＯＣＴ－ＮＩＲＡＦ等の１つ以上のイメージングモダリティを利用できるシステム、及び／又は、眼科用途等のベンチトップについて、本開示の１つ以上の態様に係る人工知能プロセス（例えば機械学習又はディープラーニング、残差学習、人工知能（“ＡＩ”）コレジストレーション、マーカ検出等）等の本明細書に記載の１つ以上の追加の特徴を採用するためのシステムの例を示す。光源１０１からの光は、偏向部１０８により、参照アーム１０２とサンプルアーム１０３へ送達及び分割される。参照アーム１０２では、参照ビームが長さ調整部９０４を通過し、参照ミラー（図１２Ａに示される参照ミラー又は参照反射１０５等、又はそれに類似するもの）から反射され、サンプルアーム１０３では、サンプルビームが、物体や患者（例えば患者の血管）等１０６から反射又は散乱される（例えばＰＩＵ１１０及びカテーテル１２０を介して）。一実施形態では、両ビームは偏向部１０８で結合し、干渉縞を生成する。１つ以上の実施形態では、ビームはコンバイナ９０３に進み、コンバイナ９０３は、サーキュレータ９０１及び偏向部１０８を介して両ビームを結合し、結合されたビームは１つ以上の検出器（１つ以上の検出器１０７等）に送られる。干渉計の出力は、１つ以上の検出器１０７等の１つ以上の検出器によって連続的に取得される。電気アナログ信号はデジタル信号に変換されて、コンピュータ（コンピュータ１２００（図１２Ａ～図１２Ｃ参照；以下で更に論じられる図１４にも示されている）、コンピュータ１２００’（例えば以下で更に論じられる図１５を参照）、コンピュータ２（図１Ａ参照）、プロセッサ２６、３６、５０（図１Ｂ参照）、本明細書で論じられるその他のコンピュータ又はプロセッサ等）によって解析される。追加又は代替として、本明細書で論じられるコンピュータ、ＣＰＵ、プロセッサ等のうち１つ以上を用いて、イメージングモダリティのうち１つ以上を処理、制御、更新、強調及び／又は変更し、かつ／又は、関連する技術、機能又は方法を処理することができ、又は、前述のように電気信号を処理することができる。
【0112】
電気アナログ信号はデジタル信号に変換されて、コンピュータ（コンピュータ１２００（図１Ｂ及び図１２Ａ～図１２Ｃを参照；以下で更に論じられる図１４にも示されている）、コンピュータ１２００’（例えば以下で更に論じられる図１５を参照）、コンピュータ２（図１Ａを参照）、本明細書で論じられるその他のコンピュータ又はプロセッサ等）によって解析することができる。追加又は代替として、本明細書で論じられるコンピュータ、ＣＰＵ、プロセッサ等のうち１つ以上を用いて、１つ以上のイメージングモダリティを処理、制御、更新、強調及び／又は変更し、かつ／又は、関連する技術、機能又は方法を処理することができ、又は、前述のように電気信号を処理することができる。１つ以上の実施形態では（例えば図１２Ｂを参照）、サンプルアーム１０３は、サンプルビームが本明細書で論じられる物体や患者（例えば患者の血管）等１０６から反射又は散乱されるように、ＰＩＵ１１０及びカテーテル１２０を含む。１つ以上の実施形態では、ＰＩＵ１１０は、カテーテル１２０（又はその１つ以上のコンポーネント）のプルバック動作を制御し、かつ／又は、カテーテル１２０（又はその１つ以上のコンポーネント）の回転又はスピンを制御するために、１つ以上のモータを含んでよい（例えば図１ＢのモータＭを参照）。例えば、図１２Ｂで最もよく分かるように、ＰＩＵ１１０は、プルバックモータ（ＰＭ）及びスピンモータ（ＳＭ）を含んでよく、かつ／又は、プルバックモータＰＭ及び／又はスピンモータＳＭを用いてプルバック機能及び／又は回転機能を実行するように機能する運動制御ユニット１１２を含んでよい。本明細書で論じられるように、ＰＩＵ１１０は、回転接合部（例えば図１２Ｂ及び図１２Ｃに示されるような回転接合部ＲＪ）を含んでよい。回転接合部ＲＪは、カテーテル１２０が物体や患者（例えば患者の血管）等１０６の１つ以上のビュー又は画像を取得することができるように、スピンモータＳＭに接続することができる。コンピュータ１２００（又はコンピュータ１２００’、コンピュータ２、本明細書で論じられるその他のコンピュータ又はプロセッサ等）を用いて、プルバックモータＰＭ、スピンモータＳＭ及び／又は運動制御ユニット１１２のうち１つ以上を制御することができる。ＯＣＴシステムは、コンピュータ（例えばコンピュータ１２００、コンピュータ１２００’、コンピュータ２、本明細書で論じられるその他のコンピュータ又はプロセッサ等）、ＰＩＵ１１０、カテーテル１２０、モニタ（ディスプレイ１２０９等）等のうち１つ以上を含んでよい。ＯＣＴシステムの１つ以上の実施形態は、アンギオシステム、外部ディスプレイ、１つ以上の病院ネットワーク、外部記憶媒体、電源、ベッドサイドコントローラ（例えばＢｌｕｅｔｏｏｔｈ（登録商標）技術や、無線通信で既知の他の方法を用いてＯＣＴシステムに接続されてよい）等の、１つ以上の外部システムと相互作用することができる。
【0113】
偏向又は被偏向部１０８を含む１つ以上の実施形態（図１２Ａ～図１２Ｃで最もよく分かる）では、被偏向部１０８は、光源１０１からの光を参照アーム１０２及び／又はサンプルアーム１０３に偏向し、次いで、参照アーム１０２及び／又はサンプルアーム１０３から受け取った光を少なくとも１つの検出器１０７（例えば分光計、分光計の１つ以上のコンポーネント、別のタイプの検出器等）に向けて送るように機能することができる。１つ以上の実施形態では、被偏向部（例えばシステム１００，１００’，１００”、本明細書で論じられるその他のシステム等の被偏向部１０８）は、本明細書に記載されるように機能する１つ以上の干渉計又は光学干渉系（サーキュレータ、ビームスプリッタ、アイソレータ、カプラ（例えば融着ファイバカプラ）、穴を有する部分切断ミラー、タップを有する部分切断ミラー等）を含んでよく、又は備えてよい。１つ以上の実施形態では、干渉計又は光学干渉系は、システム１００（又は本明細書で論じられるその他のシステム）の１つ以上のコンポーネント（例えば光源１０１、被偏向部１０８、回転接合部ＲＪ、ＰＩＵ１１０、カテーテル１２０等のうち１つ以上）を含んでよい。少なくとも図１～図１２Ｂの前述の構成の１つ以上の特徴は、本明細書で論じられるシステム１００，１００’，１００”等のシステムのうち１つ以上に組み込むことができる。
【0114】
本開示の１つ以上の更なる態様によれば、本明細書に開示される複数イメージングモダリティ及び関連する方法のうち１つ以上とともに、１つ以上の他のシステムを利用することができる。図１２Ｃは、血管造影、光干渉断層撮影法（ＯＣＴ）、マルチモダリティＯＣＴ（ＭＭ－ＯＣＴ）、近赤外蛍光（ＮＩＲＡＦ）、ＯＣＴ－ＮＩＲＡＦ等の１つ以上の複数イメージングモダリティを利用でき、かつ／又は、本開示の１つ以上の態様に係る眼科用途等のための人工知能プロセス（例えば機械学習又はディープラーニング、残差学習、人工知能（“ＡＩ”）コレジストレーション、マーカ検出等）及び／又は関連の技術若しくは方法を採用するための、システム１００”の例を示す。図１２Ｃは、本開示の１つ以上の実施形態による、ＯＣＴ‐蛍光イメージングシステム１００”の例示的な概略図を示す。ＯＣＴ光源１０１（例えば１．３μｍの）は、偏向器又は被偏向部（例えばスプリッタ）１０８により、参照アーム１０２とサンプルアーム１０３へ送達及び分割され、それぞれ参照ビームとサンプルビームを生成する。ＯＣＴ光源１０１からの参照ビームは参照ミラー１０５によって反射され、サンプルビームは、サーキュレータ９０１、回転接合部９０（「ＲＪ」）及びカテーテル１２０を介して、物体（例えば検査対象の物体、物体、患者等）１０６から反射又は散乱される。１つ以上の実施形態では、サーキュレータ９０１と参照ミラー又は参照反射１０５との間のファイバをコイル状にして、参照アーム１０２の長さを調整することができる（図１２Ｃで最もよく分かる）。サンプルアーム１０３内の光ファイバは、ダブルクラッドファイバ（「ＤＣＦ」）から成ってもよい。蛍光用の励起光は、ＲＪ９０及びカテーテル１２０に向けられ、物体（例えば検査対象の物体、物体、患者等）１０６を照明することができる。ＯＣＴ光源１０１からの光は、ＤＣＦのコアを通して送達することができ、一方、物体（例えば検査対象の物体、物体、患者等）１０６から発せられる蛍光光は、ＤＣＦのクラッドを通して収集することができる。プルバックイメージングでは、物体（例えば検査対象の物体、物体、患者等）１０６のヘリカルスキャンを達成するために、ＲＪ９０は、リニアステージとともに移動させることができる。１つ以上の実施形態では、ＲＪ９０は、本明細書で論じられるようなＲＪの任意の１つ以上の特徴を含んでよい。励起光及び残りの蛍光とＯＣＴ光を分離するために、ダイクロイックフィルタＤＦ１、ＤＦ２を用いることができる。例えば（この例に限定されないが）、１つ以上の実施形態では、ＤＦ１は、カットオフ波長が約１０００ｎｍのロングパスダイクロイックフィルタであってよく、ＯＣＴ光（ＤＦ１のカットオフ波長よりも長い場合がある）はＤＦ１を通過することができる一方、蛍光励起及び発光（カットオフよりも短い波長である）はＤＦ１で反射する。１つ以上の実施形態では、例えば（この例に限定されないが）、ＤＦ２は、ショートパスダイクロイックフィルタであってもよい。励起光（ＤＦ２のカットオフ波長よりも波長が短い）がＤＦ２を通過することができ、蛍光放出光がＤＦ２で反射するように、励起波長は蛍光放出光よりも短くてよい。一実施形態では、両ビームは偏向部１０８で結合し、干渉縞を生成する。１つ以上の実施形態では、ビームはカプラ又はコンバイナ９０３へ進み、カプラ又はコンバイナ９０３は、サーキュレータ９０１及び偏向部１０８を介して両ビームを結合し、結合されたビームは１つ以上の検出器（１つ以上の検出器１０７等；例えば図１２Ｃにおいてカプラ又はコンバイナ９０３に接続されている第１の検出器１０７を参照）に送られる。
【0115】
１つ以上の実施形態では、カテーテル１２０内の光ファイバは、カテーテル１２０の内部で回転するように動作し、ＯＣＴ光及び励起光は、カテーテル１２０の先端の側角から放射され得る。物体又は患者１０６と相互作用した後、ＯＣＴ光は、カプラ又はコンバイナ９０３を含み得るＯＣＴ干渉計に戻され（例えばサンプルアーム１０３のサーキュレータ９０１を介して）、参照ビームと結合されて（例えばカプラ又はコンバイナ９０３を介して）、干渉縞を生成することができる。干渉計の出力は、第１の検出器１０７によって検出され（第１の検出器１０７は、フォトダイオード又はマルチアレイカメラであってよい）、次いで、第１のデータ取得ユニット又はボード（「ＤＡＱ１」）を介して、コンピュータに（例えばコンピュータ２、図１２Ｃに示されるコンピュータ１２００、コンピュータ１２００’、又は本明細書で論じられるその他のコンピュータに）記録することができる。
【0116】
同時に、又は異なる時間に、第２のデータ取得ユニット又はボード（「ＤＡＱ２」）を通して、第２の検出器１０７（例えば光電子増倍管）を介して蛍光強度を記録することができる。次に、ＯＣＴ信号及び蛍光信号は、コンピュータ（例えばコンピュータ２、図１２Ｃに示されるコンピュータ１２００、コンピュータ１２００’、又は本明細書で論じられるその他のコンピュータ）によって処理されて、ＯＣＴ‐蛍光データセット１４０（ヘリカルスキャンデータの複数のフレームを含むか、又はそれから成る）を生成することができる。フレームの各セットは、回転角度とプルバック位置に対応する、コレジストレーションされたＯＣＴと蛍光のデータの複数のデータ要素を含むか、又はそれから成る。
【0117】
検出された蛍光信号又は自己蛍光信号は、米国特許出願第６２／８６１，８８８号（２０１９年６月１４日出願、その開示はその全体が参照により本明細書に援用される）で論じられ、かつ／又は米国特許出願第１６／３６８，５１０号（２０１９年３月２８日出願、その開示はその全体が参照により本明細書に援用される）で論じられているように処理することができ、又は更に処理することができる。
【0118】
そのような配置、構成、デバイス又はシステムに限定されないが、本明細書で論じられるデバイス、装置、システム、方法、記憶媒体、ＧＵＩ等の１つ以上の実施形態は、前述のような装置又はシステム、例えばシステム１００、システム１００’、システム１００”、図１Ａ～図１Ｂ及び図１２Ａ～図１６のデバイス、装置又はシステム、本明細書で論じられるその他のデバイス、装置又はシステム等とともに用いることができる。１つ以上の実施形態では、１人のユーザが、本明細書で論じられる方法を実行することができる。１つ以上の実施形態では、１人以上のユーザが、本明細書で論じられる方法を実行することができる。１つ以上の実施形態では、本明細書で論じられるコンピュータ、ＣＰＵ、プロセッサ等のうち１つ以上を用いて、イメージングモダリティのうち１つ以上を処理、制御、更新、強調及び／又は変更し、かつ／又は、関連する技術、機能又は方法を処理することができ、又は、前述のように電気信号を処理することができる。
【0119】
光源１０１は、複数の光源を含んでもよいし、単一の光源であってもよい。光源１０１は、広帯域光源であってよく、レーザ、有機発光ダイオード（ＯＬＥＤ）、発光ダイオード（ＬＥＤ）、ハロゲンランプ、白熱灯、レーザによって励起される超連続光源、及び／又は蛍光灯のうち１つ以上を含んでよい。光源１０１は、分散された後にイメージング、イメージングモダリティの制御、表示、変更、強調の方法の実行、３Ｄ構造の構成若しくは再構成、及び／又は本明細書で論じられるその他の方法に用いられる光を提供する任意の光源であってよい。光源１０１は、装置及び／若しくはシステム１００，１００’，１００”、図１Ａ～図１Ｂ及び図１２Ａ～図１６のデバイス、装置若しくはシステム、又は本明細書で論じられるその他の実施形態の他のコンポーネントに、ファイバ結合されてもよいし、又は自由空間結合されてもよい。前述のように、光源１０１は、波長掃引型（ＳＳ）光源であってよい。
【0120】
追加又は代替として、１つ以上の検出器１０７は、線形アレイ、電荷結合素子（ＣＣＤ）、複数のフォトダイオード、又は光を電気信号に変換する他の何らかの方法であってよい。検出器１０７は、アナログ・デジタル変換器（ＡＤＣ）を含んでよい。１つ以上の検出器は、本明細書で論じられるような、図１Ａ～図１Ｂ及び図１２Ａ～図１６のうち１つ以上に示された構造を有する検出器であってよい。
【0121】
本開示の１つ以上の態様によれば、イメージングを実行するための１つ以上の方法が本明細書に提供される。図１３は、イメージングを実行するための方法の少なくとも１つの実施形態のフローチャートを示す。本方法は、以下のうち１つ以上を含んでよい：（ｉ）光を第１の光と第２の参照光に分離又は分割すること（図１３のステップＳ４０００を参照）；（ｉｉ）第１の光がサンプルアームに沿って進み、物体を照射した後に、第１の光の反射光又は散乱光を受け取ること（図１３のステップＳ４００１を参照）；（ｉｉｉ）第２の参照光が参照アームに沿って進み、参照反射で反射した後に、第２の参照光を受け取ること（図１３のステップＳ４００２を参照）；及び、（ｉｖ）第１の光の反射光又は散乱光と反射された第２の参照光とを互いに干渉させることにより（例えば、結合又は再結合してから干渉することにより、干渉することにより、等）、１つ以上の干渉縞を生成する干渉光を生成すること（図１３のステップＳ４００３を参照）。１つ以上の方法は、低周波モニタを用いて高周波コンテンツを更新又は制御し、画質を改善することを、更に含むことができる。例えば、１つ以上の実施形態は、画質の改善を達成するために、複数イメージングモダリティ、それに関連する方法又は技術等を用いることができる。１つ以上の実施形態では、イメージングプローブは、接続部材又はインタフェースモジュールにより、１つ以上のシステム（例えばシステム１００、システム１００’、システム１００”、図１Ａ～図１Ｂ及び図１２Ａ～図１６のデバイス、装置又はシステム、本明細書で論じられるその他のシステム又は装置等）に接続することができる。例えば、接続部材又はインタフェースモジュールがイメージングプローブの回転接合部であるとき、回転接合部は、接触型回転接合部、レンズレス回転接合部、レンズベース回転接合部、又は当業者に既知の他の回転接合部のうち少なくとも１つであってよい。回転接合部は、１チャネル回転接合部又は２チャネル回転接合部であってよい。１つ以上の実施形態では、イメージングプローブの照明部は、イメージングプローブの検出部から分離することができる。例えば、１つ以上の用途では、プローブは、照明ファイバ（例えばシングルモードファイバ、ＧＲＩＮレンズ、スペーサ、スペーサの研磨面の回折格子等）を含む照明アセンブリを指す場合がある。１つ以上の実施形態では、スコープは、例えば、駆動ケーブル、シース及びシース周りの検出ファイバ（例えばマルチモードファイバ（ＭＭＦ））によって囲まれ保護され得る照明部を指すことがある。回折格子カバレッジは、１つ以上の用途について検出ファイバ（例えばＭＭＦ）では任意である。照明部は、回転継手に接続されてもよく、ビデオレートで連続的に回転してもよい。１つ以上の実施形態では、検出部は、検出ファイバ、検出器（例えば１つ以上の検出器１０７、分光計等）、コンピュータ１２００、コンピュータ１２００’、コンピュータ２、本明細書で論じられるその他のコンピュータ又はプロセッサ等のうち１つ以上を含んでよい。検出ファイバは照明ファイバを囲んでよく、検出ファイバは、回折格子、スペーサ、レンズ、プローブ又はカテーテルの端等によって覆われても覆われなくてもよい。
【0122】
１つ以上の検出器１０７は、デジタル信号又はアナログ信号をプロセッサ又はコンピュータ（画像プロセッサ、プロセッサ又はコンピュータ１２００，１２００’（例えば図１２Ａ～図１２Ｃ及び図１４～図１５を参照）、コンピュータ２（例えば図１Ａを参照）、本明細書で論じられるその他のプロセッサ又はコンピュータ、それらの組合わせ等）に送信することができる。画像プロセッサは、専用の画像プロセッサであってもよいし、画像を処理するように構成された汎用プロセッサであってもよい。少なくとも１つの実施形態では、コンピュータ１２００，１２００’，２又は本明細書で論じられるその他のプロセッサ若しくはコンピュータを、画像プロセッサの代わりに、又は画像プロセッサに加えて用いることができる。代替実施形態では、画像プロセッサは、ＡＤＣを含み、１つ以上の検出器１０７からアナログ信号を受信してよい。画像プロセッサは、ＣＰＵ、ＤＳＰ、ＦＰＧＡ、ＡＳＩＣ又は何らかの他の処理回路のうちの１つ以上を含んでよい。画像プロセッサは、画像、データ及び命令を格納するためのメモリを含んでよい。画像プロセッサは、１つ以上の検出器１０７によって提供される情報に基づいて、１つ以上の画像を生成してよい。本明細書で論じられるコンピュータ又はプロセッサ（図１～図１２Ｃのデバイス、装置又はシステムのプロセッサ、コンピュータ１２００、コンピュータ１２００’、コンピュータ２、画像プロセッサ等）は、本明細書で更に後述される１つ以上のコンポーネントを含んでもよい（例えば図１４～図１５を参照）。
【0123】
少なくとも１つの実施形態では、コンソール又はコンピュータ１２００，１２００’、コンピュータ２、本明細書で論じられるその他のコンピュータ又はプロセッサ等は、運動制御ユニット（ＭＣＵ）１１２又はモータＭを介してＲＪの動きを制御し、１つ以上の検出器１０７の検出器から強度データを取得し、スキャンされた画像を表示する（例えば図１２Ａ～図１２Ｃ及び図１４のいずれかのコンソール又はコンピュータ１２００及び／又は以下で更に論じられる図１５のコンソール１２００’、図１Ａのコンピュータ２、本明細書で論じられるその他のコンピュータ又はプロセッサ等に示されるディスプレイ、スクリーン又はモニタ１２０９等のモニタ又はスクリーンに）ように機能する。１つ以上の実施形態では、ＭＣＵ１１２又はモータＭは、ＲＪのモータ及び／又はＲＪの速度を変更するように機能する。モータは、速度を制御し位置精度を高めるためのステッピングモータ又はＤＣサーボモータであってよい（例えば、モータを使用しない場合と比較して、自動化又は制御された速度及び／又は位置変更デバイスを使用しない場合と比較して、手動制御と比較して、等）。
【0124】
本明細書で論じられるシステムのうちいずれかの１つ以上のコンポーネントの出力は、例えばフォトダイオード、光電子増倍管（ＰＭＴ）、ラインスキャンカメラ又はマルチアレイカメラ等の少なくとも１つの検出器１０７によって取得することができる。システム１００，１００’，１００”及び／又はその検出器１０７の出力から、かつ／又は図１～図１２Ｃのデバイス、装置又はシステムから得られる電気アナログ信号は、デジタル信号に変換されて、コンピュータ１２００，１２００’等のコンピュータによって解析される。１つ以上の実施形態では、光源１０１は、放射線源、又は広帯域の波長で放射される広帯域光源であってよい。１つ以上の実施形態では、ソフトウェア及び電子機器を含むフーリエ解析器を用いて、電気アナログ信号を光スペクトルに変換することができる。
【0125】
本明細書に別段の記載がない限り、同様の数字は同様の要素を示す。例えば、システム１００、システム１００’、システム１００”又は本明細書で論じられるその他のデバイス、装置若しくはシステム等のシステム間で変形又は差異が存在するが、それらの１つ以上の特徴は、その光源１０１又は他のコンポーネント（例えばコンソール１２００、コンソール１２００’等）等、互いに同じ又は同様であってよい。当業者には当然のことながら、光源１０１、モータ若しくはＭＣＵ１１２、ＲＪ、少なくとも１つの検出器１０７、及び／又はシステム１００の１つ以上の他の要素は、１つ以上の他のシステム（図１～図１２Ｃのデバイス、装置若しくはシステム、システム１００’、システム１００”、又は本明細書で論じられるその他のシステム等）の同様の番号の要素と同じ又は類似の方式で機能してよい。当業者には当然のことながら、図１～図１２Ｃのデバイス、装置若しくはシステム、システム１００’、システム１００”、本明細書で論じられるその他のデバイス、装置若しくはシステム等、及び／又は、そのようなシステムのうち１つの１つ以上の同様の番号の要素の代替実施形態は、本明細書で論じられるように他の変形を含むが、本明細書で論じられる他のシステム（又はそのコンポーネント）のうちいずれかの同様の番号の要素と同じ又は類似の方式で機能してよい。実際、図１２Ａのシステム１００と図１～１１及び図１２Ｂ～図１２Ｃのいずれかに示される１つ以上の実施形態との間にはいくつかの差異があるが、例えば、本明細書で論じられるように、類似点がある。同様に、１つ以上のシステム（例えばシステム１００、システム１００’、システム１００”、図１～図１６のいずれかのデバイス、装置若しくはシステム、又は本明細書で論じられるその他のシステム等）においてコンソール又はコンピュータ１２００を用いることができるが、１つ以上の他のコンソール又はコンピュータ（コンソール又はコンピュータ１２００’、本明細書で論じられるその他のコンピュータ又はプロセッサ等）を追加又は代替として用いることができる。
【0126】
強度、粘度、解像度等を計算すること（１つ以上の画像の解像度を上げることを含む）、１つ以上のメージングモダリティを用いること、３Ｄ構造を構成又は再構成すること、及び／又はそのための関連方法には、本明細書で論じられるように、アナログだけでなくデジタルでも、多くの方法がある。少なくとも１つの実施形態では、コンソール又はコンピュータ１２００，１２００’等のコンピュータは、本明細書に記載のイメージング（例えばＯＣＴ、シングルモードＯＣＴ、マルチモーダルＯＣＴ、複数イメージングモダリティ等）のデバイス、システム、方法及び／又は記憶媒体を制御及びモニタリングするための専用であってよい。
【0127】
イメージングに用いられる電気信号は、ケーブル又はワイヤ（ケーブル又はワイヤ１１３（図１４を参照）等）を介して、１つ以上のプロセッサ（コンピュータ又はプロセッサ２（例えば図１Ａを参照）、コンピュータ１２００（例えば図１２Ａ～図１２Ｂ、図１４及び図１６を参照）、以下で更に論じられるコンピュータ１２００’（例えば図１５及び図１６を参照）等）に送信することができる。追加又は代替として、前述のように、電気信号は、その他のコンピュータ若しくはプロセッサ又はそれらのコンポーネントによって、前述したように１つ以上の実施形態において処理することができる。図１Ａに示されるようなコンピュータ又はプロセッサ２は、本明細書で論じられるその他のコンピュータ又はプロセッサ（例えばコンピュータ又はプロセッサ１２００，１２００’等）の代わりに用いることができ、かつ／又は、コンピュータ又はプロセッサ１２００，１２００’は、本明細書で論じられるその他のコンピュータ又はプロセッサ（例えばコンピュータ又はプロセッサ２）の代わりに用いることができる。言い換えれば、本明細書で論じられるコンピュータ又はプロセッサは、交換可能であり、ＧＵＩ又は複数ＧＵＩの使用、制御及び変更を含む、本明細書で論じられる複数イメージングモダリティの特徴及び方法のいずれかを実行するように機能することができる。
【0128】
図１４には、コンピュータシステム１２００の様々なコンポーネントが提供される。コンピュータシステム１２００は、中央処理装置（「ＣＰＵ」）１２０１、ＲＯＭ１２０２、ＲＡＭ１２０３、通信インタフェース１２０５、ハードディスク（及び／又は他の記憶装置）１２０４、スクリーン（又はモニタインタフェース）１２０９、キーボード（又は入力インタフェース；キーボードに加えてマウス又は他の入力デバイスを含んでもよい）１２１０、及び前述のコンポーネントのうち１つ以上の間のＢＵＳ（又は「バス」）又は他の接続線（例えば、接続線１２１３）を含んでよい（例えばコンソール、プローブ、イメージング装置又はシステム、本明細書で論じられるいずれかのモータ、光源等に接続されることを含む）。加えて、コンピュータシステム１２００は、前述のコンポーネントのうち１つ以上を備えてよい。例えば、コンピュータシステム１２００は、ＣＰＵ１２０１、ＲＡＭ１２０３、入出力（Ｉ／Ｏ）インタフェース（通信インタフェース１２０５等）及びバスを含んでよく（コンピュータシステム１２００のコンポーネント間の通信システムとして１つ以上の配線１２１３を含んでよい；１つ以上の実施形態では、コンピュータシステム１２００と少なくともそのＣＰＵ１２０１は、本明細書で論じられる１つ以上のイメージングモダリティ及び関連方法を用いる装置又はシステム等のデバイス又はシステムの１つ以上の前述のコンポーネントと通信してよい）、１つ以上の他のコンピュータシステム１２００は、他の前述のコンポーネントの１つ以上の組合せを含んでよい（例えば、コンピュータ１２００の１つ以上の配線１２１３は、配線１１３を介して他のコンポーネントに接続してよい）。ＣＰＵ１２０１は、記憶媒体に格納されたコンピュータ実行可能命令を読み取って実行するように構成される。コンピュータ実行可能命令は、本明細書に記載の方法及び／又は計算の実行のための命令を含んでよい。システム１２００は、ＣＰＵ１２０１に加えて１つ以上の追加のプロセッサを含んでよく、ＣＰＵ１２０１を含むそのようなプロセッサは、組織又は物体の特性評価、診断、評価、イメージング及び／又は構成若しくは再構成のために用いることができる。システム１２００は、ネットワーク接続を介して（例えばネットワーク１２０６を介して）接続された１つ以上のプロセッサを更に含んでよい。ＣＰＵ１２０１と、システム１２００によって用いられている追加のプロセッサは、同じテレコムネットワーク内に配置されてもよいし、異なるテレコムネットワークに配置されてもよい（例えば、本明細書で論じられる特徴、機能、技術、方法等は、リモートで制御することができる）。
【0129】
Ｉ／Ｏインタフェース又は通信インタフェース１２０５は、入出力デバイス（光源、分光計、マイク、通信ケーブル及びネットワーク（有線又は無線）、キーボード１２１０、マウス（例えば図１５に示されるマウス１２１１を参照）、タッチスクリーン又はスクリーン１２０９、ライトペン等を含んでよい）に通信インタフェースを提供する。コンピュータ１２００の通信インタフェースは、配線１１３を介して、本明細書で論じられる他のコンポーネントに接続することができる（図１４に図式的に示されるように）。モニタインタフェース又はスクリーン１２０９は、それに対する通信インタフェースを提供する。
【0130】
本開示の任意の方法及び／又はデータ（組織又は物体の特性評価、診断、検査、イメージング（画像解像度の向上、１つ以上のイメージングモダリティを用いたイメージングの実行、１つ以上のイメージングモダリティ及び関連方法（及び／又はオプション若しくは機能等）の表示又は変更、並びに／又は構成若しくは再構成等を含む）を実行するための方法等）は、例えば、本明細書で論じられるように、コンピュータ可読記憶媒体に格納することができる。本明細書に開示される方法のステップをプロセッサ（前述のコンピュータシステム１２００のプロセッサ又はＣＰＵ１２０１等）に実行させるために、一般に使用されるコンピュータ可読及び／又は書込み可能な記憶媒体を用いることができる（例えば、ハードディスク（例えばハードディスク１２０４、磁気ディスク等）、フラッシュメモリ、ＣＤ、光ディスク（例えばコンパクトディスク（「ＣＤ」）、デジタル多用途ディスク（「ＤＶＤ」）、Ｂｌｕ－ｒａｙ（商標）ディスク等）、光磁気ディスク、ランダムアクセスメモリ（「ＲＡＭ」）（ＲＡＭ１２０３等）、ＤＲＡＭ、リードオンリーメモリ（「ＲＯＭ」）、分散コンピュータシステムのストレージ、メモリカード又は類似のもの（例えば不揮発性メモリカード、ソリッドステートドライブ（ＳＳＤ）（図１５のＳＳＤ１２０７を参照）、ＳＲＡＭ等の他の半導体メモリ）、それらの任意の組合せ、サーバ／データベース等のうち１つ以上）。コンピュータ可読記憶媒体は、非一時的なコンピュータ可読媒体であってよく、かつ／又は、コンピュータ可読媒体は、１つ以上の実施形態において一時的であり信号を伝搬していることを唯一の例外として、全てのコンピュータ可読媒体を含んでよい。コンピュータ可読記憶媒体は、ランダムアクセスメモリ（ＲＡＭ）、レジスタメモリ、プロセッサキャッシュ等、所定の期間、限定された期間又は短期間に、かつ／又は電源の存在下でのみ、情報を格納するメディアを含んでよい。本開示の実施形態は、記憶媒体（より完全には「非一時的コンピュータ可読記憶媒体」と呼ぶこともできる）に記録されたコンピュータ実行可能命令（例えば１つ以上のプログラム）を読み出し実行して、前述の実施形態のうち１つ以上の機能を実行し、かつ／又は、前述の実施形態のうち１つ以上の機能を実行するための１つ以上の回路（例えば特定用途向け集積回路（ＡＳＩＣ））を含むシステム又は装置のコンピュータによって実現することもできるし、また、システム又は装置のコンピュータが、記憶媒体からコンピュータ実行可能命令を読み出し実行して、前述の実施形態のうち１つ以上の機能を実行すること、及び／又は１つ以上の回路を制御して、前述の実施形態のうち１つ以上の機能を実行することによって実行される方法によって実現することもできる。
【0131】
本開示の少なくとも１つの態様によれば、前述の方法、システム、及びプロセッサ（前述のコンピュータ１２００のプロセッサ等）に関連付けられたコンピュータ可読記憶媒体は、図に例示されるような適切なハードウェアを利用して達成することができる。本開示の１つ以上の態様の機能は、図１４に示されているような適切なハードウェアを利用して達成することができる。そのようなハードウェアは、標準のデジタル回路、ソフトウェア及び／又はファームウェアプログラムを実行するように動作可能な既知のプロセッサのいずれか、１つ以上のプログラム可能なデジタルデバイス又はシステム（プログラマブルリードオンリーメモリ（ＰＲＯＭ）、プログラマブルアレイロジックデバイス（ＰＡＬ）等）のような、既知の技術を利用して実装することができる。ＣＰＵ１２０１（図１４に示される）、プロセッサ若しくはコンピュータ２（図１Ａに示される）及び／又はコンピュータ若しくはプロセッサ１２００’（図１５に示される）は、１つ以上のマイクロプロセッサ、ナノプロセッサ、１つ以上のグラフィックスプロセシングユニット（「ＧＰＵ」、ビジュアルプロセシングユニット（「ＶＰＵ」）ともよればれる）、１つ以上のフィールドプログラマブルゲートアレイ（「ＰＰＧ」）、又は他のタイプの処理コンポーネント（例えば特定用途向け集積回路（ＡＳＩＣ））を含んでもよく、かつ／又はそれから成ってもよい。更に、本開示の様々な態様は、適切な記憶媒体（例えばコンピュータ可読記憶媒体、ハードドライブ等）又は輸送性及び／又は配布のための媒体（フロッピーディスク、メモリチップ等）に格納することのできるソフトウェア及び／又はプログラムによって実装することができる。コンピュータは、コンピュータ実行可能命令を読み出して実行するための別個のコンピュータ又は別個のプロセッサのネットワークを含んでよい。コンピュータ実行可能命令は、例えばネットワークク又は記憶媒体から、コンピュータに提供することができる。コンピュータ又はプロセッサ（例えば２、１２００、１２００’等）は、前述のＣＰＵ構造を含んでよく、又は、それらとの通信のためにそのようなＣＰＵ構造に接続することができる。
【0132】
前述のように、図１５には、コンピュータ又はコンソール１２００’の代替実施形態のハードウェア構造が示されている。コンピュータ１２００’は、中央処理装置（ＣＰＵ）１２０１、グラフィックスプロセシングユニット（ＧＰＵ）１２１５、ランダムアクセスメモリ（ＲＡＭ）１２０３、ネットワークインタフェースデバイス１２１２、操作インタフェース１２１４（ユニバーサルシリアルバス（ＵＳＢ）等）及びメモリ（ハードディスクドライブ又はソリッドステートドライブ（ＳＳＤ）１２０７等）を含む。コンピュータ又はコンソール１２００’は、ディスプレイ１２０９を含んでよい。コンピュータ１２００’は、操作インタフェース１２１４又はネットワークインタフェース１２１２を介して（例えば、図１４に示されるものと同様のケーブル又はファイバ１１３等のケーブル又はファイバを介して）、本明細書で論じられるデバイス又はシステムのモータ、コンソール又はその他のコンポーネントと接続してよい。コンピュータ１２００’等のコンピュータは、１つ以上の実施形態では、モータ又は運動制御ユニット（ＭＣＵ）を含んでよい。操作インタフェース１２１４は、マウスデバイス１２１１、キーボード１２１０又はタッチパネルデバイス等の操作ユニットと接続される。コンピュータ１２００’は、各コンポーネントの２つ以上を含んでよい。
【0133】
少なくとも１つのコンピュータプログラムはＳＳＤ１２０７に格納されており、ＣＰＵ１２０１は、少なくとも１つのプログラムをＲＡＭ１２０３にロードし、少なくとも１つのプログラムの命令を実行して、基本的な入力、出力、計算、メモリ書込み及びメモリ読込みのプロセスだけでなく、本明細書に記載の１つ以上のプロセスを実行する。
【0134】
コンピュータ２、コンピュータ１２００，１２００’等（又はＰＣＵ等の他のコンポーネント）等のコンピュータは、イメージングを実行し、取得した強度データから画像を再構成するために、ＭＣＵ、干渉計、分光計、検出器等と通信することができる。モニタ又はディスプレイ１２０９は、再構成された画像を表示し、また、イメージング条件又はイメージング対象の物体に関する他の情報を表示することができる。モニタ１２０９は、本明細書で論じられる任意のシステムをユーザが操作するためのグラフィカルユーザインタフェースも提供する。操作信号は、操作ユニット（例えばマウスデバイス１２１１、キーボード１２１０、タッチパネルデバイス等）からコンピュータ１２００’の操作インタフェース１２１４に入力され、操作信号に対応して、コンピュータ１２００’は、本明細書で論じられる任意のシステムに、イメージング条件を設定又は変更し（例えば画像の解像度を改善する）、イメージングを開始又は終了するように命令する。光源若しくはレーザ源並びに分光計及び／又は検出器は、ステータス情報及び制御信号を送受信するために、コンピュータ１２００，１２００’と通信するインタフェースを有してよい。
【0135】
図１６に示されるように、１つ以上のプロセッサ又はコンピュータ１２００、１２００’（或いは本明細書に記載のその他のプロセッサ）は、１つ以上のプロセッサ又はコンピュータ１２００、１２００’（或いは本明細書に記載のその他のプロセッサ）が他のデバイス（例えばデータベース１６０３、メモリ１６０２（本明細書に記載の他のタイプのメモリ、或いは当業者に知られているメモリと併用又は置換されてよい）、入力デバイス１６００、出力デバイス１６０１等）と通信するシステムの一部であってよい。１つ以上の実施形態では、１つ以上のモデルが以前に訓練されており、メモリ１６０２やデータベース１６０３等の１つ以上の場所に格納されている場合がある。１つ以上の実施形態では、本明細書に記載の１つ以上のモデル及び／又はデータ（例えば訓練データ、テストデータ、検証データ、イメージングデータ等）は、入力デバイス１６００等のデバイスを介して入力又はロードされてよい。１つ以上の実施形態では、ユーザは、入力デバイス１６００（別個のコンピュータ又はプロセッサ、キーボード１２１０等のキーボード、マウス１２１１等のマウス、マイクロフォン、スクリーン又はディスプレイ１２０９（例えばタッチスクリーン又はディスプレイ）、又は当業者に知られているその他の入力デバイスであってよい）を採用することができる。１つ以上のシステム実施形態では、入力デバイス１６００が用いられない場合がある（例えば、本明細書の１つ以上の人工知能特徴によって、ユーザインタラクションが除外される）。１つ以上のシステム実施形態では、出力デバイス１６０１は、マーカ検出、コレジストレーション及び／又は本明細書に記載のその他のプロセスを実行するために、本明細書に記載の１つ以上の出力を受け取ることができる。１つ以上のシステム実施形態では、データベース１６０３及び／又はメモリ１６０２は、そこに格納された情報（例えば訓練済みモデル、検出されたマーカ情報、画像データ、テストデータ、検証データ、訓練データ、コレジストレーション結果、セグメンテーションモデル情報、オブジェクト検出／回帰モデル情報、組合わせモデル情報等）を出力したことがある場合がある。とはいえ、１つ以上の実施形態は、前述のようないくつかのタイプのデータストア、メモリ、記憶媒体等を含んでよく、そのような記憶媒体、メモリ、データストア等は、ローカルに格納されてもよいし、リモートで格納されてもよい。
【0136】
更に、別段の指定がない限り、対応するセットの「サブセット」という用語は、必ずしも適切なサブセットを表すとは限らず、対応するセットと均等である場合がある。
【0137】
本開示の１つ以上の実施形態には、ニューラルネットワークモデルアーキテクチャ及び最適化アプローチに関する様々な詳細が含まれるが、１つ以上の実施形態では、その他のモデルアーキテクチャ、機械学習アルゴリズム、或いは最適化アプローチが採用されてよい。１つ以上の実施形態は、ハイパーパラメータの組合わせを利用することができる。データはドメイン又はアプリケーションに固有である場合があるので、１つ以上の実施形態は、データキャプチャ、選択、アノテーション、並びにモデル評価（例えば損失及び検証のメトリックの計算）を採用することができる。１つ以上の実施形態では、モデルアーキテクチャは、様々なコンピュータビジョンの問題に対処するために、変更及び最適化することができる（後述する）。
【0138】
本開示の１つ以上の実施形態は、Ｘ線画像の時系列においてＸ線透過性ＯＣＴマーカを自動的に検出（当該マーカの空間的位置を予測）して、Ｘ線画像を対応するＯＣＴ画像とコレジストレーションすることができる（２つの異なる座標系の参照点の少なくとも１つの例）。１つ以上の実施形態は、深層（リカレント）畳込みニューラルネットワークを用いることができ、これは、マーカ検出及び画像コレジストレーションを大幅に改善することができる。１つ以上の実施形態は、１つ以上の用途の他のドメイン領域での１つ以上のコンピュータビジョンの問題を解決するために、セグメンテーション及び／又はオブジェクト／キーポイント検出のアーキテクチャを採用することができる。１つ以上の実施形態は、１つ以上のコンピュータビジョン又は他の問題（例えばＸ線画像の時系列でのＸ線透過性ＯＣＴマーカ検出）を解決するために、いくつかの新規の材料又は方法を採用する。
【0139】
１つ以上の実施形態は、データキャプチャ及び選択を採用する。１つ以上の実施形態では、該データは、そのようなアプリケーションを独自のものにし、このアプリケーションを他のアプリケーションと区別するものである。例えば、画像は、１つ以上の画像（例えばＸ線画像）におけるマーカのコンピュータ検出を容易にするために、１つ以上の手技で特に使用される（例えば、ＯＣＴカプセルに追加される、ＯＣＴマーカと同様のマーカを備えたカテーテル／プローブに用いられる、カテーテル／プローブがＯＣＴとは異なるイメージングモダリティを用いる場合であっても、同様の又は同じマーカを備えたカテーテル／プローブに用いられる、等）Ｘ線不透過性マーカを含んでよい。１つ以上の実施形態は、ソフトウェアのデバイス又は特徴（モデル）を、ハードウェア（例えばＯＣＴプローブ、ＯＣＴプローブ／カテーテルのマーカと同じか又は同様のマーカを使用しながらＯＣＴとは異なるイメージングモダリティを用いるプローブ／カテーテル等）に結合する。１つ以上の実施形態は、患者データに加えて動物データを利用することができる。ディープラーニングの訓練では、大量のデータが使用される場合があり、これは臨床研究から得ることは困難である場合がある。動物での前臨床研究からの画像データを訓練セットに含めることにより、モデル性能を改善することができる。モデルの訓練及び評価は、データに大きく依存する場合がある（例えば、フレームが選択され（例えばプルバックのみ）、訓練／検証／テストのセットに分割され、バッチにグループ化される方法、並びに、フレーム、セット及び／又はバッチがモデルに提示される順序、本明細書に記載のその他のデータ等）。１つ以上の実施形態では、そのようなパラメータは、モデルのハイパーパラメータの一部（例えばバッチサイズ、畳込み層の数、本明細書に記載のその他のハイパーパラメータ等）よりも重要又は有意である場合がある。１つ以上の実施形態は、デバイス／装置、システム、及び／又は方法を市場に導入した後にユーザアノテーションのコレクションを使用することができ、また、市販後調査、（例えば臨床使用での）収集された新たなデータを用いたモデルの再訓練、及び／又は、継続適応アルゴリズム／方法を使用することができる。
【0140】
１つ以上の実施形態は、データアノテーションを採用する。例えば、１つ以上の実施形態は、プルバック中に取得されたフレームの、マーカを表すピクセルと、手技／方法の異なる相（例えば血管内造影剤による異なる造影剤レベル）での血管を表すピクセルをラベリングすることができる。
【0141】
１つ以上の実施形態は、事前知識の組込みを採用する。例えば、１つ以上の実施形態では、血管内でマーカ位置が分かっている場合がある。そのようなものとして、血管とマーカの同時の位置特定を用いて、マーカ検出を改善することができる。１つ以上の実施形態では、マーカはプルバック中に血管内で動く場合があり、そのような事前知識を、機械学習のアルゴリズム又は損失関数に組み込むことができる。
【0142】
１つ以上の実施形態は、損失（コスト）及び評価の関数／メトリックを採用する。例えば、１つ以上の実施形態では、モデル訓練及び評価に時間情報を用いることができる。１つ以上の実施形態は、フレームごとに予測とグラウンドトゥルースの間の距離を評価するとともに、時系列の複数のフレームにわたって予測の軌道を考慮することができる。
【0143】
以下、本開示の１つ以上の実施形態に使用できる追加の特徴を論じる。
【0144】
実験＃１
【0145】
機械学習の全体プロセスの少なくとも１つの実施形態を以下に示す。
ｉ：入力と出力の両方を含むデータセットを作成する；
ｉｉ．データセットを訓練セットとテストセットに分割する；
ｉｉｉ．モデルアーキテクチャ及び他のハイパーパラメータを選択する；
ｉｖ．訓練セットを用いてモデルを訓練する；
ｖ．テストセットを用いて訓練済みモデルを評価する；及び、
ｖｉ．新しいデータセットを用いてｉｖ及びｖを繰り返す。
ｉ：入力と出力の両方を含むデータセットを作成する；
ｉｉ．データセットを訓練セットとテストセットに分割する；
ｉｉｉ．モデルアーキテクチャ及び他のハイパーパラメータを選択する；
ｉｖ．訓練セットを用いてモデルを訓練する；
ｖ．テストセットを用いて訓練済みモデルを評価する；及び、
ｖｉ．新しいデータセットを用いてｉｖ及びｖを繰り返す。
【0146】
テスト結果に基づいて、１つ以上の実施形態では、ステップｉ及びｉｉｉを再訪することができる。
【0147】
ステップｉ：入力と出力の両方を含むデータセットを作成する
【0148】
アンギオ画像でのマーカ検出又は放射線不透過性マーカ検出に機械学習を適用するために、１つ以上の実施形態では、前述のように、入力を元のアンギオデータとし、出力を、マーカによってセグメント化された画像とすることができる。実施した実験では、最初に、標的とした放射線不透過性マーカ（すなわち遠位光学系に配置又は設置されたマーカ）のみに着目して、セグメンテーションを実行した（図１７を参照：図１７の左側に例示の入力画像を示し、図１７の右側に対応する出力画像を示す）。
【0149】
ただし、機械／デバイス、システム、方法、記憶媒体等の１つ以上の実施形態は、あるマーカを他のマーカ（例えばカテーテル先端上のマーカ、及び／又は、駆動ケーブル上の追加のマーカ）と区別できない場合があるので、フレーム内の全てのマーカがセグメント化された画像を、実験での出力として使用した（図１８を参照：図１８の左側に例示の入力画像を示し、セグメンテーションの更新後の対応する出力画像を図１８の右側に示す）。
【0150】
ステップｉｉ：データセットを訓練セットとテストセットに分割する
【0151】
このステップをより簡単にするために、１プルバックのみのフレームを最初にセグメント化し、少なくとも１つの実験での訓練セットとして使用した。別のプルバックからのフレームを、実験のテストセットとして使用した。１つ以上の実施形態では、データセットはこのように分割され得るが、１つ以上の実施形態はこの構成に限定されない。
【0152】
ステップｉｉｉ：ネットワークアーキテクチャ及び／又はアーキテクチャモデルを選択する
【0153】
最初に、ネットワークアーキテクチャとして、Ｕ－ｎｅｔアーキテクチャ（２Ｄ画像での画像セグメンテーションに用いることができる）を選択した。１つ以上の実施形態は、Olaf Ronnenberger他に対する“U-Net：Convolutional Networks for Biomedical Image Segmentation”（Computer Science Department and BIOSS Centre for Biological Signalling Studies，In：Navab N．，Hornegger J．，Wells W．，Frangi A．（編集）Medical Image Computing and Computer-Assisted Intervention（ＭＩＣＣＡＩ）２０１５，Lecture Notes in Computer Science，ｖｏｌ ９３５１，Ｓｐｒｉｎｇｅｒ，Ｃｈａｍ，２０１５年５月１８日発行（https://arxiv.org/pdf/1505.04597.pdf）、参照により全体として本明細書に援用される）で論じられるような、Ｕ－ｎｅｔアーキテクチャを組込み又は利用することができる。しかしながら、１つ以上の実験では、入力と出力の画像サイズは、１０２４ピクセル×１０２４ピクセルから５１２ピクセル×５１２ピクセルに縮小され、訓練済みネットワークは、テストデータのいずれのマーカもセグメント化しなかった。ただし、そのような実験はそのような方式で行ったが、本開示の１つ以上の実施形態はこの構成に限定されない。
【0154】
次に、前述のように、別のアーキテクチャすなわちSimon Jegou他に対する“The One Hundred Layers Tiramisu：Fully Convolutional DenseNets for Semantic Segmentation”（Montreal Institute for Learning Algorithms，IEEE Conference on Computer Vision and Pattern Recognition Workshops（ＣＶＰＲＷ）、ハワイ州ホノルル、ｐｐ．１１７５－１１８３、２０１７年１０月３１日（https://arxiv.org/pdf/1611.09326.pdf；ｄｏｉ：１０．１１０９／ＣＶＰＲＷ．２０１７．１５６）、参照により全体として本明細書に援用される）で論じられるような“one hundred layers tiramisu”を選択した。１つ以上の実施形態におけるこのアーキテクチャの利点のひとつは、より小さな領域（２２４ピクセル×２２４ピクセル）について訓練することができ、テスト時にはより大きなサイズに適用することができることである。
【0155】
ステップｉｖ：訓練セットを用いてネットワークを訓練する＆ステップｖ：テストセットを用いて訓練済みネットワークを評価する
【0156】
まず、訓練セット（その例を図１７に示す）を用いてtiramisuネットワークを訓練した。訓練済みネットワークはマーカを検出したが、実験では、標的マーカよりも高い確率でカテーテル先端のマーカを検出した（図１９、２列目：図１９は、それぞれの予測結果とともに元のアンギオ画像フレームを示す）。前述のように、機械、デバイス、システム、記憶媒体、方法等が画像内の異なるマーカを区別できない場合があるので、訓練セット（その例を図１８に示す）を用いてネットワークを再訓練した。訓練済みネットワークは、背景ノイズの検出が少なく、より良好にマーカを検出したが、依然として、標的マーカよりも高い確率でカテーテル先端のマーカを検出した（図１９、３列目）。
【0157】
ネットワークを改善するために、訓練セットにバリエーションを追加した。使用した変形として、訓練セットに対して上下反転、左右反転及び画像コントラスト調節を行った。これに加えて、イテレーションの数を増加させた。改善が見られた：再訓練済みネットワークは、カテーテル先端のマーカでの確率と同様の確率で標的マーカを検出した（図１９、４列目）。ネットワークは他のマーカ（駆動ケーブル上の追加のマーカ）を検出したが、ネットワークは、ガイドワイヤ及び／又は高密度造影剤位置も比較的高い確率で検出した。したがって、１つ以上の実施形態では、このような画像を更に訓練セットに含めることが有用であろう。
【0158】
実験＃２
【0159】
機械学習の全体プロセスの少なくとも１つの実施形態を以下に示す。
ｉ：入力と出力の両方を含むデータセットを作成する；
ｉｉ．データセットを訓練セットとテストセットに分割する；
ｉｉｉ．モデルアーキテクチャ及び他のハイパーパラメータを選択する；
ｉｖ．訓練セットを用いてモデルを訓練する；
ｖ．テストセットを用いて訓練済みモデルを評価する；及び、
ｖｉ．新しいデータセットを用いてｉｖ及びｖを繰り返す。
ｉ：入力と出力の両方を含むデータセットを作成する；
ｉｉ．データセットを訓練セットとテストセットに分割する；
ｉｉｉ．モデルアーキテクチャ及び他のハイパーパラメータを選択する；
ｉｖ．訓練セットを用いてモデルを訓練する；
ｖ．テストセットを用いて訓練済みモデルを評価する；及び、
ｖｉ．新しいデータセットを用いてｉｖ及びｖを繰り返す。
【0160】
テスト結果に基づいて、１つ以上の実施形態では、ステップｉ及びｉｉｉを再訪することができる。
【0161】
実施した追加の実験に関する所見及び詳細を後述する。
【0162】
ステップｉ：入力と出力の両方を含むデータセットを作成する
【0163】
アンギオ画像での放射線不透過性マーカ検出に機械学習を適用するために、前述のように、入力を元のアンギオデータとし、出力を、マーカによってセグメント化された画像とすることができる。フレーム内の全てのマーカがセグメント化された画像を、出力として用いた（図２０：入力画像の少なくとも１つの実施形態例を図２０の左側に示し、対応する出力画像を図２０の右側に示す）。
【0164】
ステップｉｉ：データセットを訓練セットとテストセットに分割する
【0165】
まず、訓練データとして、３プルバック（異なるＣアーム設定、異なる血管）でのフレームを用いた。次に、全２０プルバックでのフレームを訓練データとして用いた。
【0166】
ステップｉｉｉ：ネットワークアーキテクチャ及び／又はアーキテクチャモデルを選択する
【0167】
Simon Jegou他に対する“The One Hundred Layers Tiramisu：Fully Convolutional DenseNets for Semantic Segmentation”（Montreal Institute for Learning Algorithms，IEEE Conference on Computer Vision and Pattern Recognition Workshops（ＣＶＰＲＷ）、ハワイ州ホノルル、ｐｐ．１１７５－１１８３、２０１７年１０月３１日（https://arxiv.org/pdf/1611.09326.pdf；ｄｏｉ：１０．１１０９／ＣＶＰＲＷ．２０１７．１５６）、参照により全体として本明細書に援用される）で論じられるようなアーキテクチャ“one hundred layers tiramisu”を選択した。１つ以上の実施形態におけるこのアーキテクチャの利点のひとつは、より小さな領域（２２４ピクセル×２２４ピクセル）について訓練することができ、テスト時にはより大きなサイズに適用することができることである。
【0168】
ステップｉｖ：訓練セットを用いてネットワークを訓練する＆ステップｖ：テストセットを用いて訓練済みネットワーク又は訓練済みモデルを評価する
【0169】
＜３プルバックのデータ＞
【0170】
訓練には、異なるパラメータを用いた：
・バッチサイズ：１６又は４
・訓練画像サイズ：２２４ピクセル×２２４ピクセル（例えばSimon Jegou他に対する“The One Hundred Layers Tiramisu：Fully Convolutional DenseNets for Semantic Segmentation”を参照）、１２８ピクセル×１２８ピクセル、４４８ピクセル×４４８ピクセル
・ステップ／エポック（イテレーション）：１００
・エポック（イテレーション）：１０００
・バッチサイズ：１６又は４
・訓練画像サイズ：２２４ピクセル×２２４ピクセル（例えばSimon Jegou他に対する“The One Hundred Layers Tiramisu：Fully Convolutional DenseNets for Semantic Segmentation”を参照）、１２８ピクセル×１２８ピクセル、４４８ピクセル×４４８ピクセル
・ステップ／エポック（イテレーション）：１００
・エポック（イテレーション）：１０００
【0171】
図２１は、様々な訓練モデルによる予測結果の例を示す。バッチサイズを小さくすると、モデルの予測正解率が低下したように見えた。より小さいバッチサイズでの予測を改善するために、より長くモデルを訓練することができる（例えばステップ／エポックの数とエポックの数を増やす）。一方、訓練画像サイズを変更すると、予測結果のノイズは減少したが、元の訓練画像サイズよりも標的マーカ（遠位光学系でのマーカ）を逃す場合が多かった。したがって、更なる訓練のために、バッチサイズと訓練画像サイズを１６と２２４ピクセル×２２４ピクセルに設定した。
【0172】
＜２０プルバックのデータ＞
【0173】
２０プルバックのデータを用いてモデルの訓練を開始したとき、その推定時間は＞２週間であった。したがって、入力データを３～４プルバックのデータに分割し、異なる入力データを用いて６ラウンドにわたって同モデルを繰り返し訓練することによって、訓練を実行した。以下の表１は、訓練のどのラウンドにどのプルバックデータを使用したのかを示す。実施した実験では、訓練の各ラウンドに約１２～１５時間を要した。
表１．各訓練に割り当てられたプルバックの情報
表１．各訓練に割り当てられたプルバックの情報
【表1】
【0174】
図２２は、４つの異なるモデルによる予測結果の少なくとも１つの実施形態例を示す。図２２の最上列は、３プルバックのデータと２０プルバックのデータによって訓練されたモデルによる例示の予測結果を示す。ここに示されるように、２０プルバックのデータを用いたモデルによる予測結果は、マーカ予測の正解率が低かった。これは、過剰適合が原因である可能性がある。表１にまとめたように、２０プルバックのうち、１１プルバックについて同じＣアーム設定を用いて、右冠動脈（ＲＣＡ）で１２プルバックを実施した。左回旋枝（ＬＣＸ）での８プルバックのうち、その半分は同じＣアーム設定で取得し、残りの半分は別のＣアーム設定で取得した。これの影響を理解するために、ラウンド１及びラウンド２の後のモデルを用いて予測を行った。例示の予測結果を、図２２の下の列に示す。図２２のこれらの画像は、非常に類似した画像を含む大量のデータによってモデルを過剰適合させる可能性を示唆している。
【0175】
実験＃３
【0176】
機械学習の全体プロセスの少なくとも１つの実施形態を以下に示す。
ｉ：入力と出力の両方を含むデータセットを作成する；
ｉｉ．データセットを訓練セットとテストセットに分割する；
ｉｉｉ．モデルアーキテクチャ及び他のハイパーパラメータを選択する；
ｉｖ．訓練セットを用いてモデルを訓練する；
ｖ．テストセットを用いて訓練済みモデルを評価する；及び、
ｖｉ．新しいデータセットを用いてｉｖ及びｖを繰り返す。
ｉ：入力と出力の両方を含むデータセットを作成する；
ｉｉ．データセットを訓練セットとテストセットに分割する；
ｉｉｉ．モデルアーキテクチャ及び他のハイパーパラメータを選択する；
ｉｖ．訓練セットを用いてモデルを訓練する；
ｖ．テストセットを用いて訓練済みモデルを評価する；及び、
ｖｉ．新しいデータセットを用いてｉｖ及びｖを繰り返す。
【0177】
テスト結果に基づいて、１つ以上の実施形態では、ステップｉ及びｉｉｉを再訪することができる。
【0178】
実施した追加の実験に関する所見及び詳細を後述する。
【0179】
［セグメンテーションモデル］例
【0180】
ステップｉ：入力と出力の両方を含むデータセットを作成する
【0181】
セグメンテーションモデルでは、入力は元のアンギオデータであり、出力は、マーカによってセグメント化された画像である。フレーム内の全てのマーカがセグメント化された画像を、出力として用いた（図２３：入力画像の少なくとも１つの実施形態例を図２３の左側に示し、対応する出力画像を図２３の右側に示す）。
【0182】
ステップｉｉ：データセットを訓練セットとテストセットに分割する
【0183】
訓練データとして、動物実験＃１からの全２０プルバックでのフレームを用いた。
【0184】
ステップｉｉｉ：ネットワークアーキテクチャ及び／又はアーキテクチャモデルを選択する
【0185】
Simon Jegou他に対する“The One Hundred Layers Tiramisu：Fully Convolutional DenseNets for Semantic Segmentation”（Montreal Institute for Learning Algorithms，IEEE Conference on Computer Vision and Pattern Recognition Workshops（ＣＶＰＲＷ）、ハワイ州ホノルル、ｐｐ．１１７５－１１８３、２０１７年１０月３１日（https://arxiv.org/pdf/1611.09326.pdf；ｄｏｉ：１０．１１０９／ＣＶＰＲＷ．２０１７．１５６）、参照により全体として本明細書に援用される）で論じられるようなアーキテクチャ“one hundred layers tiramisu”を選択した。１つ以上の実施形態におけるこのアーキテクチャの利点のひとつは、より小さな領域（２２４ピクセル×２２４ピクセル）について訓練することができ、テスト時にはより大きなサイズに適用することができることである。
【0186】
ステップｉｖ：訓練セットを用いてネットワークを訓練する＆ステップｖ：テストセットを用いて訓練済みネットワーク又は訓練済みモデルを評価する
【0187】
＜動物実験＃１からの２０プルバックのデータ＞
【0188】
訓練には、異なるパラメータを用いた：
・バッチサイズ：１６
・訓練画像サイズ：２２４ピクセル×２２４ピクセル（例えばSimon Jegou他に対する“The One Hundred Layers Tiramisu：Fully Convolutional DenseNets for Semantic Segmentation”を参照）
・ステップ／イテレーション：２００
・イテレーション：５０００（イテレーションは、利用可能なメモリサイズ資源又は処理設定（例えば完了した処理の望ましいタイムライン、成功率閾値等）に基づいて限定されてよい。例えば、使用したイテレーションは５０００に設定したが、得られた成功率は、４，９２３回目のイテレーションで終了させた訓練を用いた。）
・バッチサイズ：１６
・訓練画像サイズ：２２４ピクセル×２２４ピクセル（例えばSimon Jegou他に対する“The One Hundred Layers Tiramisu：Fully Convolutional DenseNets for Semantic Segmentation”を参照）
・ステップ／イテレーション：２００
・イテレーション：５０００（イテレーションは、利用可能なメモリサイズ資源又は処理設定（例えば完了した処理の望ましいタイムライン、成功率閾値等）に基づいて限定されてよい。例えば、使用したイテレーションは５０００に設定したが、得られた成功率は、４，９２３回目のイテレーションで終了させた訓練を用いた。）
【0189】
予測結果の例を図２４の（ａ）～（ｆ）に示す。図２４の（ａ）～（ｆ）に示されるように、訓練時間を長くすると、ノイズの少ないより良好な予測を得ることができる。同様の結果は、動物実験＃２からのアンギオデータを用いたテスト時に観察された。図２４の（ａ）及び（ｄ）は、元の画像を示す（より良好にマーカを示すように、画像コントラストが調節されている）。図２４の（ｂ）及び（ｅ）は、１０００イテレーションで訓練されたモデルによる予測結果（すなわち確率マップ）を示す。図２４の（ｃ）及び（ｆ）は、４５００イテレーション超で訓練されたモデルによる予測結果（すなわち確率マップ）を示す。図２４の少なくとも１つの円“Ｏ”は、カテーテル先端の静止マーカを表す（このＯは、図２４の（ｄ）～（ｆ）では右下の円であり、図２４の（ａ）～（ｃ）では左の円である）。図２４の少なくとも１つの円“Ｏ”は、遠位光学系の標的マーカを表す（このＯは、図２４の（ｄ）～（ｆ）では左上の円であり、図の（ａ）～（ｃ）では右の円である）。
【0190】
［回帰モデル］例
【0191】
ステップｉ：入力と出力の両方を含むデータセットを作成する
【0192】
１つ以上の回帰モデル実施形態では、入力を元のアンギオデータ（１０２４ピクセル×１０２４ピクセル）とし、出力を、２つのマーカ（標的マーカと静止マーカ）の中心軌跡座標とすることができる（図２５：例示の入力画像を図２５の左側に示し、対応する出力画像を図２５の右側に示す）。
【0193】
ステップｉｉ：データセットを訓練セットと、検証セットと、テストセットとに分割する
【0194】
１つ以上の実施形態では、利用可能なデータの数が限られるので、訓練セットか検証セットのいずれかとして全てのデータを用いることができる。異なるパラメータをもつ各モデルの効率性を評価するために、モデルを訓練する前に、検証セットからの訓練セットの分離を行い、訓練される全てのモデルに使用した。
【0195】
ステップｉｉｉ：ネットワークアーキテクチャを選択する
【0196】
アーキテクチャは、残差ネットワーク（ＲｅｓＮｅｔ）アーキテクチャ（例えばSimon Jegou他に対する“The One Hundred Layers Tiramisu：Fully Convolutional DenseNets for Semantic Segmentation”（参照により全体として本明細書に援用される)を参照）に基づいて、本発明者によって最初に作成された。モデル自体に、ステップｉｖでテストされるハイパーパラメータ（すなわちモデルアーキテクチャのパラメータ）が含まれた。作成した回帰モデルのアーキテクチャを図２６に示す（図９Ａ及び図９Ａの前述の議論も参照）。
【0197】
ステップｉｖ：訓練セットを用いてネットワークを訓練する＆ステップｖ：テストセットを用いて訓練済みネットワーク又はモデルを評価する
【0198】
＜訓練用の３１プルバックのデータ、検証用の７プルバック；動物実験＃１及び／又は＃２から＞
【0199】
ハイパーパラメータ：
・深さ（すなわち層の数）
・幅（すなわちフィルタの数）：１つ以上の実施形態では固定
・バッチサイズ（すなわち訓練画像の数／ステップ）：１つ以上の実施形態では、＞４であってよい。
・学習率（すなわち、ニューラルネットワークの重み（回帰モデルの係数）が損失勾配に関して調節される速度を制御するハイパーパラメータ）
・ドロップアウト（すなわち各層で落とされるニューロン（フィルタ）の割合）
・オプティマイザ：例えばAdamオプティマイザ又はStochastic gradient descent（ＳＧＤ）オプティマイザ
・深さ（すなわち層の数）
・幅（すなわちフィルタの数）：１つ以上の実施形態では固定
・バッチサイズ（すなわち訓練画像の数／ステップ）：１つ以上の実施形態では、＞４であってよい。
・学習率（すなわち、ニューラルネットワークの重み（回帰モデルの係数）が損失勾配に関して調節される速度を制御するハイパーパラメータ）
・ドロップアウト（すなわち各層で落とされるニューロン（フィルタ）の割合）
・オプティマイザ：例えばAdamオプティマイザ又はStochastic gradient descent（ＳＧＤ）オプティマイザ
【0200】
他の固定ハイパーパラメータ（定数）：
・入力サイズ：１０２４ピクセル×１０２４ピクセル（元の画像サイズ）
・エポック：５００
・異なるハイパーパラメータ構成で訓練されるモデルの数：１０
・入力サイズ：１０２４ピクセル×１０２４ピクセル（元の画像サイズ）
・エポック：５００
・異なるハイパーパラメータ構成で訓練されるモデルの数：１０
【0201】
図２７は、少なくとも１つのハイパーパラメータ検索の結果を示す。モデルａ０４は、訓練損失と検証損失の両方で減少を示す。ハイパーパラメータ（以下に示す表２）を比較することにより、モデルａ０４とモデルａ０５（どちらも他よりも訓練損失と検証損失が少ない）は、ドロップアウトに同様の値を用い、同じオプティマイザ（ＳＧＤオプティマイザ）を用いた。したがって、この回帰モデルは、ドロップアウト特徴を備えたＳＧＤオプティマイザを使用すべきであると結論付けることができる。図２７の左側の訓練損失グラフでは、ａ１０の線は、ａ０３の線よりもわずかに上にある。また、図２７の右側のグラフでは、ａ０７～ａ０９は互いに重なっている。次のステップとして、オプティマイザが固定された、幅の異なる別のハイパーパラメータ検索を実行することができる。このシナリオのモデルアーキテクチャを図２８に示す。
表２ 各モデルに用いられるハイパーパラメータの一覧
表２ 各モデルに用いられるハイパーパラメータの一覧
【表2】
【0202】
１つ以上の実施形態は、Kaiming He他に対する“Deep Residual Learning for Image Recognition”（マイクロソフトリサーチ、２０１５年１２月１０日（https://arxiv.org/pdf/1512.03385.pdf）、参照により全体として本明細書に援用される）で論じられるような回帰モデルの１つ以上の特徴を用いることができる。
【0203】
実験＃４
【0204】
コレジストレーション
【0205】
利用可能なデータセット
以下の表３Ａ及び表３Ｂは、この実験で用いられたデータセットを示す：
以下の表３Ａ及び表３Ｂは、この実験で用いられたデータセットを示す：
【表3】
【0206】
１．ユーザ指定のプルバック領域を用いた画像処理ベースのアルゴリズム
【0207】
臨床データを対象に、ユーザが１つのフレーム上でプルバック領域を指定する画像処理ベースのアルゴリズムをテストした。マーカ検出成功率を、動物実験データの成功率と比較した。臨床データでのマーカ検出成功率は、動物実験データでの成功率ほど高くなかった（図５の方法１参照）。該所見から、候補点の少なくとも１つが、各プルバックでのフレームの７０～８０％において、実際の位置の十分近くに配置されていることが明らかとなった。したがって、候補点から最良の点を選択するには、当該画像処理ベースのアルゴリズムを改善する必要がある。
【0208】
前述のように、様々なマーカ検出成功率の例を図５に示す。マーカ検出成功率は様々な方法で計算することができるが、マーカ検出成功率の一例は、放射線不透過性マーカの検出位置と実際の位置が同じであるフレームの数を、ＯＣＴプルバック中に取得、受信又は撮像されたフレームの総数で割った値を計算することである。ユーザが１つのフレーム上でプルバック領域を指定する第１の方法に従って、ユーザがいくつか又は複数のフレーム上でマーカ位置を指摘する第２の方法に従って、また、ユーザが複数のフレーム上でプルバック領域を指定する第３の方法に従って、成功率のバリエーションを強調するために、図５のデータの３つのカテゴリについて、いくつかの成功率を示す。更に、コレジストレーション成功率（ユーザインタビューに基づく）は、８０％以上のケースで成功とすることができる。実験から、本開示の１つ以上の特徴を用いると、全ての臨床血管造影画像の少なくとも８０～９０％において、候補点（予測されたセグメント）が実際のマーカ位置を含む。実際、本明細書で論じられるような機械学習又はディープラーニングを用いることにより、マーカ検出成功率とコレジストレーション成功率を改善又は最大化することができる。マーカ検出の成功率（コレジストレーションの成功率につながる）は、マーカ位置の推定がどれだけ良好であるかによって決まる場合がある。そのようなものとして、マーカ位置の推定を改善することにより、マーカ検出の成功率を改善することができ、同様に、コレジストレーションの成功率を改善することができる。
【0209】
機械学習の適用
機械学習の全体プロセスの少なくとも１つの実施形態を以下に示す。
ｉ．画像と対応するグラウンドトゥルースラベルとの両方を含むデータセットを作成する；
ｉｉ．データセットを訓練セットとテストセットに分割する；
ｉｉｉ．モデルアーキテクチャ及び他のハイパーパラメータを選択する；
ｉｖ．訓練セットを用いてモデルを訓練する；
ｖ．検証セットを用いて訓練済みモデルを評価する；及び、
ｖｉ．新しいデータセットを用いてｉｖ及びｖを繰り返す。
機械学習の全体プロセスの少なくとも１つの実施形態を以下に示す。
ｉ．画像と対応するグラウンドトゥルースラベルとの両方を含むデータセットを作成する；
ｉｉ．データセットを訓練セットとテストセットに分割する；
ｉｉｉ．モデルアーキテクチャ及び他のハイパーパラメータを選択する；
ｉｖ．訓練セットを用いてモデルを訓練する；
ｖ．検証セットを用いて訓練済みモデルを評価する；及び、
ｖｉ．新しいデータセットを用いてｉｖ及びｖを繰り返す。
【0210】
テスト結果に基づいて、１つ以上の実施形態では、ステップｉ及びｉｉｉを再訪することができる。
【0211】
実施した追加の実験に関する所見及び詳細を後述する。
【0212】
［２Ａ．セグメンテーションモデル］
【0213】
このモデルからの出力は、１つ以上の実施形態では、マーカとして分類され得るかどうかの各ピクセルの“確率”であるので、マーカ位置の最終座標をより良好に画定、決定又は位置特定するために、訓練済みセグメンテーションモデルを介した予測の後処理を展開することができる。
【0214】
以前訓練されたセグメンテーションモデル（全ての動物実験データを用いて訓練を実行した）を用いて臨床データを対象に確率を予測した後、図７に示される前述の後処理アルゴリズムを、予測された確率結果に適用した。この後処理アルゴリズムでは、ユーザは、画像処理ベースのアルゴリズムについての前述の方法１（ユーザが１つのフレーム上でプルバック領域を指定し、臨床データを対象にテストされた）と同様の方法で、血管のどこでＯＣＴプルバックが実行されたかを定めるように求められる。
【0215】
セマンティックセグメンテーションモデルの１つ以上の実施形態は、Simon Jegou他に対する“The One Hundred Layers Tiramisu：Fully Convolutional DenseNets for Semantic Segmentation”（Montreal Institute for Learning Algorithms、２０１７年１０月３１日発行(https://arxiv.org/pdf/1611.09326.pdf)、参照により全体として本明細書に援用される）で論じられるOne-Hundred Layers Tiramisu法を用いて実行することができる。
【0216】
画像処理ベースのアルゴリズムについての前述の方法１（ユーザが１つのフレーム上でプルバック領域を指定し、臨床データを対象にテストされた）と同様の方法で、後処理の後にマーカ検出成功率を査定した。図８（機械学習ベースのアルゴリズム（セグメンテーションモデル）と機械学習を用いない他の画像処理ベースのアルゴリズムとの間で、臨床データでのマーカ検出成功率を比較する）に示されるように、マーカ検出成功率は、全プルバックの平均で、或いは全プルバックで、約１６％高くなった。各プルバックについて、方法１と比較した場合は４５プルバック中４０プルバック（８８．９％）で、また、方法３と比較した場合は４５プルバック中３９プルバック（８６．７％）で、マーカ検出成功率が高くなった（図８参照）。
【0217】
後処理アルゴリズムを精緻化或いは更に精緻化することができ、セグメンテーションモデルは臨床データを含むように訓練することができるので、この結果は、本開示の１つ以上の特徴に係る機械学習／ディープラーニングを用いて、マーカ検出成功率の決定的な改善を達成できることを示している。
【0218】
［２Ｂ．回帰モデル］
【0219】
ステップｉ：入力と出力の両方を含むデータセットを作成する
【0220】
回帰モデルでは、入力を血管造影画像フレーム全体とし、出力を、放射線不透過性マーカ（必要に応じて標的マーカと静止マーカ）の中心軌跡座標とすることができる（図２９：入力画像の例を図２９の左側に示し、対応する出力画像を図２９の右側に示す）。
【0221】
ステップｉｉ：データセットを訓練セットと、検証セットと、テストセットとに分割する
【0222】
１つ以上の実施形態では、利用可能なデータの数が限られるので、訓練セットか検証セットのいずれかとして全てのデータを用いることができる（この実験では、動物実験データを用いたので、テストデータセットは分けなかった）。異なるパラメータをもつ各モデルの効率性を評価するために、モデルを訓練する前に、検証セットからの訓練セットの分離を行い、また、訓練される全てのモデルに同様の分離を使用した。
【0223】
ステップｉｉｉ：ネットワークアーキテクチャを選択する
【0224】
アーキテクチャは、残差ネットワーク（ＲｅｓＮｅｔ）アーキテクチャ(例えばSimon Jegou他に対する“The One Hundred Layers Tiramisu：Fully Convolutional DenseNets for Semantic Segmentation”（参照により全体として本明細書に援用される)を参照）に基づいて、本発明者によって最初に作成された。モデル自体に、ステップｉｖでテストされるハイパーパラメータ（すなわちモデルアーキテクチャのパラメータ）が含まれた。作成した回帰モデルのアーキテクチャを図３０に示す（図９Ａ及び図９Ａの前述の議論も参照）。
【0225】
ステップｉｖ：訓練セットを用いてネットワーク及び／又はモデルを訓練する
【0226】
データ分割
・訓練：動物実験の３０プルバック、臨床データの３７プルバック
・検証：動物実験の８プルバックと臨床データの８プルバックから４００フレーム
・訓練：動物実験の３０プルバック、臨床データの３７プルバック
・検証：動物実験の８プルバックと臨床データの８プルバックから４００フレーム
【0227】
ハイパーパラメータ：
・深さ（すなわち層の数）
・幅（すなわちフィルタの数）
・バッチサイズ（すなわち訓練画像の数／ステップ）：１つ以上の実施形態では、＞４であってよい
・学習率（すなわち、ニューラルネットワークの重み（回帰モデルの係数）が損失勾配に関して調節される速度を制御するハイパーパラメータ）
・ドロップアウト（すなわち各層で落とされるニューロン（フィルタ）の割合）
・オプティマイザ：例えばAdamオプティマイザ又はStochastic gradient descent（ＳＧＤ）オプティマイザ
・深さ（すなわち層の数）
・幅（すなわちフィルタの数）
・バッチサイズ（すなわち訓練画像の数／ステップ）：１つ以上の実施形態では、＞４であってよい
・学習率（すなわち、ニューラルネットワークの重み（回帰モデルの係数）が損失勾配に関して調節される速度を制御するハイパーパラメータ）
・ドロップアウト（すなわち各層で落とされるニューロン（フィルタ）の割合）
・オプティマイザ：例えばAdamオプティマイザ又はStochastic gradient descent（ＳＧＤ）オプティマイザ
【0228】
他の固定ハイパーパラメータ（定数）：
・入力サイズ：１０２４ピクセル×１０２４ピクセル、又は５１２ピクセル×５１２ピクセル
・エポック：５００（追加の訓練では、イテレーションを３０００に設定した）
・異なるハイパーパラメータ構成で訓練されるモデルの数：１０
・入力サイズ：１０２４ピクセル×１０２４ピクセル、又は５１２ピクセル×５１２ピクセル
・エポック：５００（追加の訓練では、イテレーションを３０００に設定した）
・異なるハイパーパラメータ構成で訓練されるモデルの数：１０
【0229】
動物実験データ（１０２４ピクセル×１０２４ピクセル）と臨床データ（５１２ピクセル×５１２ピクセル）では画像サイズが異なるので、入力画像をアップサンプリング（臨床データの場合）又はダウンサンプリング（動物データの場合）して、全ての入力画像のサイズを一致させて、臨床データを訓練及び検証の一部として含めることができる。
【0230】
ステップｖ：テストセットを用いて訓練済みネットワーク又はモデルを評価する
【0231】
（１）アップサンプリング及びダウンサンプリングの影響
【0232】
表３、図３１及び図３２に示されるように、実施した実験では、アップサンプリングとダウンサンプリングの間で有意な差は見られなかった。ダウンサンプリングは最大プーリング（機械学習モデルアーキテクチャで使用されることが多い画像処理方法のひとつ；図３０の灰色の層９０１）に似ているので、ダウンサンプリングを用いて更なる訓練を実行することができ、例えば、入力画像サイズを５１２ピクセル×５１２ピクセルとすることができる。図３１は、実施した実験におけるイテレーションにわたる訓練及び検証の結果を示す（図３１のrun_h054の結果３１００参照、run_h054_addの結果３１０１参照、run_h_ds054の結果３１０２参照、run_h_ds054_addの結果３１０３参照）。図３２は、予測とグラウンドトゥルースの間の異なる距離閾値を用いた総マーカ検出成功率を示す（h054，動物データ３２００；h054_add，動物データ３２０１；h_ds054，動物データ３２０２；h_ds054_add，動物データ３２０３；h054，臨床データ３２０４；h054_add，臨床データ３２０５；h_ds054，臨床データ３２０６；及び、h_ds054_add，臨床データ３２０７を参照）。
表４：ho54、ho54_add（アップサンプリング）、h_dso54、h_dso54_add（ダウンサンプリング）の訓練結果
表４：ho54、ho54_add（アップサンプリング）、h_dso54、h_dso54_add（ダウンサンプリング）の訓練結果
【表4】
【0233】
他のパラメータ：
【0234】
［次のステップ］前述のように、次のステップは以下を含み得るが、これに限定されない：
・セグメンテーションモデルの場合：臨床データを用いてモデルを訓練する
・回帰モデルの場合：データセットを訓練、検証、テストに分割し、モデルがどの程度未観測データに汎化することができるのかを査定する。
・セグメンテーションモデルの場合：臨床データを用いてモデルを訓練する
・回帰モデルの場合：データセットを訓練、検証、テストに分割し、モデルがどの程度未観測データに汎化することができるのかを査定する。
【0235】
本明細書に記載の１つ以上の特徴は、畳込みオートエンコーダ、ガウシアンフィルタ、ハラリック特徴、及び／又は、サンプル又は物体の厚さ若しくは形状を用いて、決定することができる。
【0236】
本開示の１つ以上の実施形態は、機械学習を用いて、マーカ位置を決定し、コレジストレーションを実行し、かつ／又は、本明細書に記載のその他の特徴を実行することができる。機械学習は、プロセッサに人工知能を介して学習する能力を与えるコンピュータサイエンスの分野である。機械学習は、プロセッサ又はコンピュータが例から学習し、新しい未観測データ点を予測できるようにする１つ以上のアルゴリズムを含むことができる。１つ以上の実施形態では、そのような１つ以上のアルゴリズムは、ソフトウェア又は１つ以上のプログラムとして少なくとも１つのメモリ又は記憶媒体に格納されてよく、ソフトウェア又は１つ以上のプログラムは、プロセッサ又はコンピュータが本開示に記載のプロセスの動作を実行することを可能にする。
【0237】
同様に、本開示並びに／又はそのデバイス、システム及び記憶媒体及び／若しくは方法の１つ以上のコンポーネントは、光干渉断層撮影プローブと併せて用いることもできる。そのようなプローブは、米国特許第６，７６３，２６１号、第７，３６６，３７６号、第７，８４３，５７２号、第７，８７２，７５９号、第８，２８９，５２２号、第８，６７６，０１３号、第８，９２８，８８９号、第９，０８７，３６８号、第９，５５７，１５４号；並びに米国特許公開第２０１４／０２７６０１１号及び第２０１７／０１３５５８４号；並びにＴｅａｒｎｅｙらに対するＷＯ２０１６／０１５０５２に開示されるＯＣＴイメージングシステムと、フォトルミネセンスイメージングを促進する構成及び方法（Tearneyらに対する米国特許第７，８８９，３４８号に開示されているもの等）と、米国特許第９，３３２，９４２号、米国特許公開第２０１０／００９２３８９号、第２０１１／０２９２４００号、第２０１２／０１０１３７４号及び第２０１６／０２２８０９７号及びＷＯ２０１６／１４４８７８に開示されたマルチモダリティイメージングを対象とする開示（特許及び特許公報の各々は、その全体が参照により本明細書に援用される）等を含む。
【0238】
本明細書の開示は特定の実施形態を参照して説明されてきたが、当然のことながら、これらの実施形態は、本開示の原理及び用途の例示にすぎず（それに限定されない）、本発明は開示の実施形態に限定されない。したがって、当然のことながら、例示の実施形態には多くの変更を加えることができ、本開示の主旨及び範囲から逸脱することなく他の構成を考案することができる。以下の特許請求の範囲は、そのような変更並びに均等の構造及び機能を全て包含するように、最も広い解釈が与えられるべきである。
【図1A】
【図1B】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9A】
【図9B】
【図10A】
【図10B】
【図10C】
【図11】
【図12A】
【図12B】
【図12C】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
