▶ オーディーアイ メディカル アクティーゼルスカブの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-03-08
(54)【発明の名称】毛細血管の分析
(51)【国際特許分類】
G06V 10/82 20220101AFI20240301BHJP
G06T 7/00 20170101ALI20240301BHJP
【ＦＩ】
G06V10/82
G06T7/00 350C
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023554024
(86)(22)【出願日】2022-03-07
(85)【翻訳文提出日】2023-09-15
(86)【国際出願番号】 EP2022055767
(87)【国際公開番号】W WO2022184943
(87)【国際公開日】2022-09-09
(31)【優先権主張番号】2103133.1
(32)【優先日】2021-03-05
(33)【優先権主張国・地域又は機関】GB
(81)【指定国・地域】
(71)【出願人】
【識別番号】523336918
【氏名又は名称】オーディーアイ メディカル アクティーゼルスカブ
(74)【代理人】
【識別番号】110000556
【氏名又は名称】弁理士法人有古特許事務所
(72)【発明者】
【氏名】ヘルミー， マゲド
(72)【発明者】
【氏名】ディッキー， アナスタシヤ
(72)【発明者】
【氏名】モゼー， スヴェイン－エリック
(72)【発明者】
【氏名】ブリニ， ホーコン
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096AA02
5L096AA06
5L096BA06
5L096BA13
5L096EA05
5L096EA15
5L096EA16
5L096EA39
5L096EA43
5L096FA35
5L096FA52
5L096FA59
5L096FA64
5L096FA66
5L096FA67
5L096FA69
5L096GA34
5L096GA40
5L096GA51
5L096GA55
5L096HA11
5L096MA01
5L096MA07
(57)【要約】
本発明は被験体から取得した複数の画像における毛細血管を分析するための自動化された方法に関する。方法は、a)複数の画像を取得する工程と、b)画像の各々について、1つ以上の関心領域を含む複数の毛細血管候補マップを生成する工程であって、各毛細血管候補マップが、画像を異なる基準と比較することによって生成される工程と、c)毛細血管候補マップを組み合わせて、結合された毛細血管候補マップを生成する工程と、d)第１のニューラルネットワークを使用して、結合された毛細血管候補マップ中の1つ以上の検出された毛細血管の各位置を決定する工程と、e)第２のニューラルネットワークを使用して、検出された毛細血管のオプティカルフローを決定する工程と、f)検出された毛細血管及び/又は決定された流れを用いて、１つ以上の毛細血管パラメータを検出する工程を含む。
【選択図】図７
【選択図】図７
【特許請求の範囲】
【請求項1】
被験者から取得された複数の画像における毛細血管を分析するための自動化された方法であって、a) 複数の画像を取得する工程と、
b) 画像の各々について複数の毛細血管候補マップを生成する工程であって、各毛細血管候補マップは、前記画像の各々について１つまたは複数の関心領域を含み、各画像について、各毛細血管候補マップは、前記画像を異なる基準と比較することによって生成される工程と、
c) 上記毛細血管候補マップを組み合わせて、組み合わせた毛細血管候補マップを生成する工程と、
d) 第１のニューラルネットワークを使用して、前記組み合わされた毛細血管候補マップにおける１つまたは複数の検出された毛細血管の夫々の位置を決定する工程と、
e) 第２のニューラルネットワークを用いて、前記検出された毛細血管のオプティカルフローを決定する工程と、
f) 検出された毛細血管及び/又は前記決定されたオプティカルフローを用いて、１つ又は複数の毛細血管パラメータを抽出する工程を含む方法。
【請求項2】
前記被験者は、ヒト哺乳類である、請求項１に記載の方法。
【請求項3】
複数の画像がビデオを形成する請求項１又は２に記載の方法。
【請求項4】
複数の画像は、顕微鏡画像を含む、請求項１乃至３の何れかに記載の方法。
【請求項5】
画像を取得する工程は、顕微鏡プローブを用いて、画像を生成する工程を含む、請求項４に記載の方法。
【請求項6】
a) １つ以上の前記画像のカラーバランスを修正する工程、b) １つ以上の前記画像のホワイトバランスを修正する工程、
c) １つ以上の前記画像の光レベルを修正する工程、
d) １つ以上の前記画像のガンマレベルを修正する工程、
e) １つ以上の前記画像の赤-緑-青(RGB)曲線を修正する工程、
f) １つ以上の前記画像に鮮明化フィルタを適用する工程、及び/又は、
g) １つ以上の前記画像にノイズ低減処理を適用する工程の１つ以上の実施をさらに含む、請求項１乃至５の何れかに記載の方法。
【請求項7】
動き補償処理を実行する工程をさらに含む、請求項１乃至６の何れかに記載の方法。
【請求項8】
前記複数の毛細血管候補マップを生成する工程は、複数のパイプラインに各画像を入力する工程を含む、請求項１乃至７の何れかに記載の方法。
【請求項9】
第１のパイプラインは、第１の毛細血管候補マップを生成するように構成され、前記第１のパイプラインは、各画像から画像ヒストグラムを生成し、最適な画素閾値を決定するように構成され、前記第１のパイプラインは、さらに、前記画素の値が決定された最適な画素閾値未満である場合、前記画像内の各画素を第１のラベルで分類し、前記画素の値が決定された最適な画素閾値以上である場合、第２のラベルで分類するように構成される、請求項８に記載の方法。
【請求項10】
第２のパイプラインは、第２の毛細血管候補マップを生成するように構成され、前記第２のパイプラインは各画像内の各画素の画素値を切り捨て閾値と比較するように構成され、前記第２のパイプラインは更に、各画素の値を、当該切り捨て閾値よりも大きい画素値を有する各画素の値を切り捨て閾値に設定するように構成される、請求項８又は９に記載の方法。
【請求項11】
第３のパイプラインは、第３の毛細血管候補マップを生成するように構成され、前記第３のパイプラインは、画像の強度を再スケールし、適応手段に従って閾値を前述の再スケールされた画像に適用するように構成される、請求項８乃至１０の何れかに記載の方法。
【請求項12】
第４のパイプラインは、第４の毛細血管候補マップを生成するように構成され、この第４のパイプラインは、カットオフ及びゲインを使用して画像シグモイドを調整し、２値閾値化処理を適用するように構成されている、請求項８乃至１０の何れかに記載の方法。
【請求項13】
第５のパイプラインが、第５の毛細血管候補マップを生成するように構成され、この第５のパイプラインが、画像の強度を再スケールし、２値閾値化を適用するように構成される、請求項８乃至１２の何れかに記載の方法。
【請求項14】
第６のパイプラインは、第６の毛細血管候補マップを生成するように構成され、前記第６のパイプラインは、後続の画像間の動きを検出し、及び前記動きに関連する画像の領域を関心領域としてラベル付けするように構成されている、請求項８乃至１３の何れかに記載の方法。
【請求項15】
前記複数の毛細血管候補マップは、重複する関心領域を置き換えるために非最大抑制処理を用いて処理される、請求項１乃至１４の何れかに記載の方法。
【請求項16】
さらに、複数の画像中の複数の毛細血管を手動でラベル付けすることによって検証されたトレーニングデータセットを生成する工程と、トレーニング段階中に前記検証されたトレーニングデータセットを前記第１のニューラルネットワークに供給する工程を含む、請求項１乃至１５の何れかに記載の方法。
【請求項17】
前記第１のニューラルネットワークが畳み込みニューラルネットワークを含む、請求項１乃至１６の何れかに記載の方法。
【請求項18】
検出された毛細血管のオプティカルフローを決定する工程は、前記第２のニューラルネットワークを使用する前に、検出された毛細血管にGunnar Farnebackアルゴリズムを適用する工程を含む、請求項１乃至１７の何れかに記載の方法。
【請求項19】
各検出された毛細血管の夫々の速度ベクトル値が、速度ベクトル値閾値と比較される、請求項１乃至１８の何れかに記載の方法。
【請求項20】
速度ベクトル値閾値を上回る速度ベクトル値を有する毛細血管のみが、前記第２のニューラルネットワークに渡される、請求項１９に記載の方法。
【請求項21】
前記第２のニューラルネットワークが、ディープニューラルネットワークを含む、請求項１乃至２０の何れかに記載の方法。
【請求項22】
さらに、複数の画像のうちの１つ以上の画像について品質分析を行い、該画像が品質閾値を満たすか否かを決定する工程を含む、請求項１乃至２１の何れかに記載の方法。
【請求項23】
検出された各毛細血管の面積は、当該検出された毛細血管に関連する画素によって占有される面積に基づいて計算される、請求項１乃至２２の何れかに記載の方法。
【請求項24】
毛細血管パラメータは、以下の、a) 機能的毛細血管密度(１ミリ平方メートル当りの毛細血管数)
b) 平均毛細血管距離-毛細血管の近隣対の平均距離
c) 毛細血管の流速(CFV)-通常のスケールまたは速度(例:ミリメートル/秒)で定量化
d) 各毛細血管のサイズ
e) 赤血球の酸素化のレベルに関係する各毛細血管の色密度、及び/又は、
f) 血液面積または血液量-総面積または総体積に関連して毛細血管が占める面積または推定体積の1つ以上を含む、請求項１乃至２３の何れかに記載の方法。
【請求項25】
被験者から取得された画像における毛細血管の自動分析を実行するように構成された装置であって、該装置は、画像を取得するように構成された画像取得モジュールと、
処理モジュールを備え、該処理モジュールは、
前記画像について複数の毛細血管候補マップを生成し、各毛細血管候補マップは、前記画像の各々について1つ以上の関心領域を含み、ここで、夫々の毛細血管候補マップは、前記画像を異なる基準と比較することによって、処理モジュールによって生成され、
前記毛細血管候補マップを組み合わせて、組み合わされた毛細血管候補マップを生成し、
第１のニューラルネットワークを使用して、前記組み合わされた毛細血管候補マップにおける１つまたは複数の検出された毛細血管の夫々の位置を決定し、
第２のニューラルネットワークを用いて、検出された毛細血管のオプティカルフローを決定し、
前記検出された毛細血管を用いて、１つ又は複数の毛細血管パラメータを抽出するように構成されている、装置。
【請求項26】
請求項１乃至２４の何れかに記載の方法を実行するように処理モジュールが構成される、請求項２５に記載の装置。
【請求項27】
プロセッサによって実行されると、プロセッサに請求項１乃至２４の何れかに記載の方法を実行させる、指示を含む非一時的なコンピュータ可読媒体。
【請求項28】
被験体から取得した画像中の毛細血管を分析するための自動化された方法であって、a) 画像を取得する工程と、
b) 画像について複数の毛細血管候補マップを生成する工程であって、各毛細血管候補マップは、１つまたは複数の関心領域を含み、各毛細血管候補マップは、前記画像を異なる基準と比較することによって生成される工程と、
c) 前記毛細血管候補マップを組み合わせて、組み合わされた毛細血管候補マップを生成する工程と、
d) ニューラルネットワークを使用して、前記組み合わされた毛細血管候補マップにおける１つまたは複数の検出された毛細血管の夫々の位置を決定する工程と、
e) 検出された毛細血管を用いて、１つ又は複数の毛細血管パラメータを抽出する工程を含む、方法。
【請求項29】
被験者から取得した画像中の毛細血管の自動分析を行うように構成された装置であって、画像を取得するように構成された画像取得モジュールと、
処理モジュールを備え、該処理モジュールは、
前記画像について複数の毛細血管候補マップを生成し、各毛細血管候補マップは、前記画像の各々について１つ以上の関心領域を含み、ここで、夫々の毛細血管候補マップは、前記画像を異なる基準と比較することによって、処理モジュールによって生成され、
前記毛細血管候補マップを組み合わせて、組み合わされた毛細血管候補マップを生成し、
ニューラルネットワークを用いて、前記組み合わされた毛細血管候補マップ中の1つ以上の検出された毛細血管の夫々の位置を決定し、
前記検出された毛細血管を用いて、１つ又は複数の毛細血管パラメータを抽出するように構成されている、装置。
【請求項30】
プロセッサによって実行されると、プロセッサに請求項２８の方法を実行させる、指示を含む非一時的なコンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、被験者の毛細血管の分析のための自動化された技術に関し、特にヒトの患者に関連するが、ヒト患者に限定されるわけではない。
【背景技術】
【0002】
毛細血管は、直径２０マイクロメートル未満の体内の最小の血管である[1]。間質液と多くの栄養素の交換は、ここでは細胞代謝の維持に必要な水、酸素、その他の必須栄養素を含む多くの栄養素と間質液との交換が行われる[2]、[3]。毛細血管のネットワークが体の微小循環を構成している[4]。微小循環を評価した研究によれば、幾つかの疾患において、毛細血管の密度及び/又は流動速度が変化していることが明らかになっている[5]～[17]。さらに、微小循環の変化が疾患進行の早期に起こり、そのため微小循環のモニタリングが様々な臨床状態の早期発見に利用できると主張する研究もある[12,17]。
【0003】
毛細血管の密度を決定することによって、栄養素の交換に利用できる表面積を理解することができる[18]。ある研究では、南アジア人は白人と比較して心血管疾患による死亡率が高く、毛細血管の密度を早期マーカーとして用いることができると結論づけている[6]。第２の研究は、毛細血管の密度の測定が、繊維性疾患を理解するうえで重要な要素となりうることを示している[19]。慢性腎臓病に関する研究では、時間の経過とともに毛細血管密度が減少することが、タイムリーな介入を促す早期発見として利用できることが判明した[20]。検出された毛細血管内の赤血球の速度を定量化することで、体液の恒常性と毛細血管を通過する体液の流れを理解することができる[18]。
ある研究では、毛細血管内における赤血球の速度の変化が、周囲の細胞に供給される物資の量と、微小血管の壁を通って周囲の組織に交換される時間に影響すると結論付けている[21]。また別の研究によると、脳毛細血管の血流量の増加は、神経細胞の酸素濃度の低下を調整しようとする身体の反応による可能性が示されている[22]。
ある研究では、毛細血管内における赤血球の速度の変化が、周囲の細胞に供給される物資の量と、微小血管の壁を通って周囲の組織に交換される時間に影響すると結論付けている[21]。また別の研究によると、脳毛細血管の血流量の増加は、神経細胞の酸素濃度の低下を調整しようとする身体の反応による可能性が示されている[22]。
【0004】
微小血管の解析の論文に共通するテーマは、臨床医や研究者が手動(または半自動)で毛細血管を選択し、血流の速度を決定する必要がある、時間と労力のかかる作業である。
このような作業は目に負担がかかり、さまざまなデータセット間でのエラーや観察者のばらつきの影響を受けやすくなる。
このような作業は目に負担がかかり、さまざまなデータセット間でのエラーや観察者のばらつきの影響を受けやすくなる。
【0005】
訓練を受けた研究者が２０秒長の微小血管ビデオを分析するのに平均して２０分を要する[23]。分析時間が長く、トレーニングが必要であることが、微小血管の顕微鏡検査をルーチンの臨床診療に組み込むのを妨げる理由の一部である[24]。
さらに、手動分析は、微小血管ビデオ内で分析できるパラメータの数を制限する。
流速と毛細血管の密度は評価されるが、毛細血管内流れの不均一性、ヘマトクリット、毛細血管の形態はルーチンには記録されない[24]。
さらに、手動分析は、微小血管ビデオ内で分析できるパラメータの数を制限する。
流速と毛細血管の密度は評価されるが、毛細血管内流れの不均一性、ヘマトクリット、毛細血管の形態はルーチンには記録されない[24]。
【0006】
本出願人は、上述のパラメータの全てが特定の患者グループにおいて変更されることを観察した。
【発明の概要】
【発明が解決しようとする課題】
【0007】
微小血管の顕微鏡の国際的な専門家によって組織された一連の３つの会議では、微小血管の顕微鏡を臨床に取り入れるためには、微小循環の自動評価が必要であるとの結論に達した[24]。本発明の目的は、微小血管ビデオにおける微小循環の自動評価のための方法を提供することである。
【0008】
コンピュータビジョンにおける物体検出は、画像内で物体の事例が占める領域を見つけることが目的である場合、最も困難な問題の１つである[25]。
ディープラーニングは、２０１２年の登場以来、物体検出競合(VOC 2007～2012、ILSVRC 2013～2017)の平均精度を大幅に向上させた強力なツールの１つである[26]、[27]。ディープラーニング前は、顕著性検出(ＳＤ)法が物体検出における最先端であった[28]～[30]。
ディープラーニングは、２０１２年の登場以来、物体検出競合(VOC 2007～2012、ILSVRC 2013～2017)の平均精度を大幅に向上させた強力なツールの１つである[26]、[27]。ディープラーニング前は、顕著性検出(ＳＤ)法が物体検出における最先端であった[28]～[30]。
【0009】
本発明の全体的な目的は、専門家の手作業の負担を軽減し、専門家が方法と仮説の構築に集中できるようにすることである。
目標は、臨床医が微小血管ビデオで毛細血管を簡単に定量化し、赤血球速度を分類できる自動化ツールを提供することである。
目標は、臨床医が微小血管ビデオで毛細血管を簡単に定量化し、赤血球速度を分類できる自動化ツールを提供することである。
【課題を解決するための手段】
【0010】
発明の開示
第１の態様から見て、本発明の実施形態は、被験者から取得された複数の画像における毛細血管を分析するための自動化された方法を提供し、その方法は、
a) 複数の画像を取得する工程と、
b) 画像の各々について複数の毛細血管候補マップを生成する工程であって、各毛細血管候補マップは、前記画像の各々について１つまたは複数の関心領域を含み、各画像について、各毛細血管候補マップは、前記画像を異なる基準と比較することによって生成される工程と、
c) 上記毛細血管候補マップを組み合わせて、組み合わせた毛細血管候補マップを生成する工程と、
d) 第１のニューラルネットワークを使用して、前記組み合わされた毛細血管候補マップにおける１つまたは複数の検出された毛細血管の夫々の位置を決定する工程と、
e) 第２のニューラルネットワークを用いて、前記検出された毛細血管のオプティカルフローを決定する工程と、
f) 検出された毛細血管及び/又は前記決定されたオプティカルフローを用いて、１つ又は複数の毛細血管パラメータを抽出する工程を含む。
第１の態様から見て、本発明の実施形態は、被験者から取得された複数の画像における毛細血管を分析するための自動化された方法を提供し、その方法は、
a) 複数の画像を取得する工程と、
b) 画像の各々について複数の毛細血管候補マップを生成する工程であって、各毛細血管候補マップは、前記画像の各々について１つまたは複数の関心領域を含み、各画像について、各毛細血管候補マップは、前記画像を異なる基準と比較することによって生成される工程と、
c) 上記毛細血管候補マップを組み合わせて、組み合わせた毛細血管候補マップを生成する工程と、
d) 第１のニューラルネットワークを使用して、前記組み合わされた毛細血管候補マップにおける１つまたは複数の検出された毛細血管の夫々の位置を決定する工程と、
e) 第２のニューラルネットワークを用いて、前記検出された毛細血管のオプティカルフローを決定する工程と、
f) 検出された毛細血管及び/又は前記決定されたオプティカルフローを用いて、１つ又は複数の毛細血管パラメータを抽出する工程を含む。
【0011】
本発明のこの第１の態様は、被験者から取得された複数の画像における毛細血管の自動分析を実行するように構成された装置にまで及び、該装置は、
複数の画像を取得するように構成された画像取得モジュールと、
処理モジュールを備え、該処理モジュールは、
前記画像の各々について複数の毛細血管候補マップを生成し、各毛細血管候補マップは、前記画像の各々について1つ以上の関心領域を含み、ここで、各画像について、夫々の毛細血管候補マップは、前記画像を異なる基準と比較することによって、処理モジュールによって生成され、
前記毛細血管候補マップを組み合わせて、組み合わされた毛細血管候補マップを生成し、
第１のニューラルネットワークを用いて、前記組み合わされた毛細血管候補マップ中の１つ以上の検出された毛細血管の夫々の位置を決定し、
第２のニューラルネットワークを用いて、前記検出された毛細血管のオプティカルフローを決定し、
前記検出された毛細血管及び/又は前記決定されたオプティカルフローを用いて、１つ又は複数の毛細血管パラメータを抽出するように構成されている。
複数の画像を取得するように構成された画像取得モジュールと、
処理モジュールを備え、該処理モジュールは、
前記画像の各々について複数の毛細血管候補マップを生成し、各毛細血管候補マップは、前記画像の各々について1つ以上の関心領域を含み、ここで、各画像について、夫々の毛細血管候補マップは、前記画像を異なる基準と比較することによって、処理モジュールによって生成され、
前記毛細血管候補マップを組み合わせて、組み合わされた毛細血管候補マップを生成し、
第１のニューラルネットワークを用いて、前記組み合わされた毛細血管候補マップ中の１つ以上の検出された毛細血管の夫々の位置を決定し、
第２のニューラルネットワークを用いて、前記検出された毛細血管のオプティカルフローを決定し、
前記検出された毛細血管及び/又は前記決定されたオプティカルフローを用いて、１つ又は複数の毛細血管パラメータを抽出するように構成されている。
【0012】
また、本発明の第１の態様はまた、プロセッサによって実行されると、プロセッサに、被験者から取得された複数の画像中の毛細血管を分析するための自動化方法を実行させる命令を含む非一時的なコンピュータ可読媒体にも及び、該方法は、
a) 複数の画像を取得する工程と、
b) 画像の各々について複数の毛細血管候補マップを生成する工程であって、各毛細血管候補マップは、前記画像の各々について１つまたは複数の関心領域を含み、各画像について、各毛細血管候補マップは、前記画像を異なる基準と比較することによって生成される工程と、
c) 前記毛細血管候補マップを組み合わせて、組み合わせた毛細血管候補マップを生成する工程と、
d) 第１のニューラルネットワークを使用して、前記組み合わされた毛細血管候補マップにおける１つまたは複数の検出された毛細血管の夫々の位置を決定する工程と、
e) 第２のニューラルネットワークを用いて、前記検出された毛細血管のオプティカルフローを決定する工程と、
f) 検出された毛細血管及び/又は前記決定されたオプティカルフローを用いて、１つ又は複数の毛細血管パラメータを抽出する工程を含む。
a) 複数の画像を取得する工程と、
b) 画像の各々について複数の毛細血管候補マップを生成する工程であって、各毛細血管候補マップは、前記画像の各々について１つまたは複数の関心領域を含み、各画像について、各毛細血管候補マップは、前記画像を異なる基準と比較することによって生成される工程と、
c) 前記毛細血管候補マップを組み合わせて、組み合わせた毛細血管候補マップを生成する工程と、
d) 第１のニューラルネットワークを使用して、前記組み合わされた毛細血管候補マップにおける１つまたは複数の検出された毛細血管の夫々の位置を決定する工程と、
e) 第２のニューラルネットワークを用いて、前記検出された毛細血管のオプティカルフローを決定する工程と、
f) 検出された毛細血管及び/又は前記決定されたオプティカルフローを用いて、１つ又は複数の毛細血管パラメータを抽出する工程を含む。
【0013】
本発明の第１の態様は更に、プロセッサによって実行されると、プロセッサに、被験者から取得された複数の画像中の毛細血管を分析するための自動化方法を実行させる命令を含むコンピュータ・ソフトウェア製品に及び、該方法は、
a) 複数の画像を取得する工程と、
b) 画像の各々について複数の毛細血管候補マップを生成する工程であって、各毛細血管候補マップは、前記画像の各々について１つまたは複数の関心領域を含み、各画像について、各毛細血管候補マップは、前記画像を異なる基準と比較することによって生成される工程と、
c) 上記毛細血管候補マップを組み合わせて、組み合わせた毛細血管候補マップを生成する工程と、
d) 第１のニューラルネットワークを使用して、前記組み合わされた毛細血管候補マップにおける１つまたは複数の検出された毛細血管のそれぞれの位置を決定する工程と、
e) 第２のニューラルネットワークを用いて、前記検出された毛細血管のオプティカルフローを決定する工程と、
f) 検出された毛細血管及び/又は前記決定されたオプティカルフローを用いて、１つ又は複数の毛細血管パラメータを抽出する工程を含む。
a) 複数の画像を取得する工程と、
b) 画像の各々について複数の毛細血管候補マップを生成する工程であって、各毛細血管候補マップは、前記画像の各々について１つまたは複数の関心領域を含み、各画像について、各毛細血管候補マップは、前記画像を異なる基準と比較することによって生成される工程と、
c) 上記毛細血管候補マップを組み合わせて、組み合わせた毛細血管候補マップを生成する工程と、
d) 第１のニューラルネットワークを使用して、前記組み合わされた毛細血管候補マップにおける１つまたは複数の検出された毛細血管のそれぞれの位置を決定する工程と、
e) 第２のニューラルネットワークを用いて、前記検出された毛細血管のオプティカルフローを決定する工程と、
f) 検出された毛細血管及び/又は前記決定されたオプティカルフローを用いて、１つ又は複数の毛細血管パラメータを抽出する工程を含む。
【0014】
従って、本発明の実施形態は、画像（例えば、微小血管ビデオ）内で毛細血管が検出され、赤血球の速度が分類され得る、毛細血管の分析のための改良されたアプローチを提供することが理解されるであろう。
以下にさらに詳細に概説するように、本発明の実施形態は、ディープラーニング方法と、ルールに基づくアルゴリズム及び２フレーム動き推定技術とを組み合わせている。ここに概説したアプローチは、高い精度と性能を提供しながら、毛細血管の分析を完全に自動化し得る。この方法は、幾つかの実施形態においては、被験者における循環障害を識別又は監視する方法であり得る。
以下にさらに詳細に概説するように、本発明の実施形態は、ディープラーニング方法と、ルールに基づくアルゴリズム及び２フレーム動き推定技術とを組み合わせている。ここに概説したアプローチは、高い精度と性能を提供しながら、毛細血管の分析を完全に自動化し得る。この方法は、幾つかの実施形態においては、被験者における循環障害を識別又は監視する方法であり得る。
【0015】
本明細書において使用される「被験者」という用語は、任意のヒトまたは非ヒト動物の被験者を含み、これには、任意のヒトまたは非ヒト動物、鳥類、魚類、爬虫類、両生類などが含まれる。しかしながら、好ましい実施形態では、被験者は、ヒト動物、例えば、ヒトの患者である。
【0016】
幾つかの実施形態では、この方法は非侵襲的方法である。他の実施形態では、この方法は侵襲的方法である。
【0017】
複数の画像は、独立した画像として取得され得るが(例えば、静止画像)、幾つかの実施形態では、複数の画像がビデオを形成する。このような一組の実施形態において、本方法は、複数のビデオを取得する工程を含み、ここで、分析は、当該複数のビデオに関して行われる。例えば、約５本のビデオが使用され得る。ビデオは、任意の適切な長さであってもよいが、幾つかの特定の実施形態においては、各ビデオは、約２０秒の長さであってもよい。
【0018】
好ましい一組の実施形態において、画像は、顕微鏡画像(または、必要に応じてビデオ)である。顕微鏡プローブが使用される幾つかの実施形態では、顕微鏡はコンピュータ支援ビデオ顕微鏡(ＣＡＶＭ)であってもよい。顕微鏡画像は、事前に存在していてもよい(例えば、顕微鏡またはＣＡＶＭを用いて生成されてもよい)が、幾つかの実施形態においては、画像を取得する工程は、前記画像を生成するために顕微鏡プローブを使用する工程を含む。
【0019】
幾つかのそのような実施形態では、本方法は、被験者の体表面上に顕微鏡プローブを配置する工程を含むことができる。例えば、体表面は、皮膚、眼、舌、爪、または、必要に応じて、身体の他の内面または外面であってもよい。しかし、幾つかの実施形態では、体表面は、被験者の皮膚である。
【0020】
取得された画像は、次の毛細血管の分析工程に容易に使用可能である。しかしながら、本出願人は、幾つかの実施形態において、例えば、毛細血管候補マップを生成する前に、画像上で１つ以上の画像強化処理を実行することが有利であり得ることを理解している。カラーのダイナミックレンジ最適化を実行し、及び/又は当該技術分野で知られている適切な画像処理技術を実行することにより、画像品質が改良され又は最適化されて、毛細血管の分析処理の性能を高めることができる。幾つかの実施形態では、方法はさらに、
a) １つ以上の前記画像のカラーバランスを修正する工程、
b) １つ以上の前記画像のホワイトバランスを修正する工程、
c) １つ以上の前記画像の光レベルを修正する工程、
d) １つ以上の前記画像のガンマレベルを修正する工程、
e) １つ以上の前記画像の赤-緑-青(RGB)曲線を修正する工程、
f) 1つ以上の前記画像に鮮明化フィルタを適用する工程、及び/又は
g) １つ以上の前記画像にノイズ低減処理を適用する工程の１つ以上を実行することを含む。
a) １つ以上の前記画像のカラーバランスを修正する工程、
b) １つ以上の前記画像のホワイトバランスを修正する工程、
c) １つ以上の前記画像の光レベルを修正する工程、
d) １つ以上の前記画像のガンマレベルを修正する工程、
e) １つ以上の前記画像の赤-緑-青(RGB)曲線を修正する工程、
f) 1つ以上の前記画像に鮮明化フィルタを適用する工程、及び/又は
g) １つ以上の前記画像にノイズ低減処理を適用する工程の１つ以上を実行することを含む。
【0021】
上述の画像強化工程は、画像、例えば、顕微鏡画像が、色及び波長の大きなダイナミックレンジを有する場合には、特に有利であろう。上記に列挙された画像強化技法は、データを補償して自動処理アルゴリズムの視覚化を改善するために、適切な組み合わせで適用されてもよい。
【0022】
出願人は、画像の取得中に発生した動きから、画像が幾つかの望ましくないアーティファクトにさらされる可能性があることを理解している。例えば、顕微鏡プローブが使用される場合(例えば、ハンドヘルド顕微鏡プローブ)、取得された画像は、使用中のプローブの動きによって、何らかの動きの影響を受けることがある。幾つかの実施形態では、この方法は、例えば、毛細血管候補マップを生成する前に操作補償処理を実行する工程をさらに含む。動作補償処理は、平行移動、回転、及び/又は深さ変化を除去することを含むことができ、これは、例えば、顕微鏡に適用される様々な圧力のために生じることがある。
【0023】
上述のように、画像ごとに異なるプロセスに従って複数のマップが生成され、これらのマップはその後に結合される。これらのマップを生成する工程は、幾つかの実施形態では、各画像を複数のパイプラインに入力することを含むことができる。
毛細血管候補マップを結合して、結合された毛細血管候補マップを生成する工程は、統計的方法を用いて実行することができる。例えば、毛細血管候補マップ(またはそれらの元のパイプライン)の夫々は、マップ全体またはマップに含まれる各RoIの何れかについて、夫々の尤度スコアを有する場合がある。
最尤関数は、所与の画像の各毛細血管候補マップを入力として実行され、各潜在的ROIの尤度が組み合わされ、ある閾値と比較され、異なるパイプラインの全ての寄与のバランスをとって、任意の所与の領域が確実に毛細血管を含む可能性のある領域であるかどうかを決定する。
異なるパイプラインには異なる重みを適用することができ、これらの重みは固定されている場合もあれば、動的に決定される場合もある。
毛細血管候補マップを結合して、結合された毛細血管候補マップを生成する工程は、統計的方法を用いて実行することができる。例えば、毛細血管候補マップ(またはそれらの元のパイプライン)の夫々は、マップ全体またはマップに含まれる各RoIの何れかについて、夫々の尤度スコアを有する場合がある。
最尤関数は、所与の画像の各毛細血管候補マップを入力として実行され、各潜在的ROIの尤度が組み合わされ、ある閾値と比較され、異なるパイプラインの全ての寄与のバランスをとって、任意の所与の領域が確実に毛細血管を含む可能性のある領域であるかどうかを決定する。
異なるパイプラインには異なる重みを適用することができ、これらの重みは固定されている場合もあれば、動的に決定される場合もある。
【0024】
幾つかの実施形態では、第１のパイプラインは、第１の毛細血管候補マップを生成するように構成され、第１のパイプラインは、各画像から画像ヒストグラムを生成し、最適な画素閾値を決定するように構成され、前記第１のパイプラインは、さらに、前記画素の値が決定された最適な画素閾値未満である場合、前記画像内の各画素を第１のラベルで分類し、前記画素の値が決定された最適な画素閾値以上である場合、第２のラベルで分類するように構成される。
【0025】
次に、第１のパイプラインは、ラベル付けされた画素に基づいてRoIのそれぞれのセットを生成することができる。最適な画素閾値の決定は、それ自体が当該技術分野で知られているＯｔｓｕのアルゴリズムを用いて行われてもよい。第１のラベル及び第２のラベルは夫々０及び２５５の画素値であってもよいが、他の画素値を使用してもよいことが理解されよう。
従って、一部の実施形態では、第１のパイプラインは、２値閾値化を実行し、それは所与の画像における各画素の値が導出された数（即ち、最適な画素閾値）より小さいかどうかをチェックして、そうであれば各画素の値を０に設定し、そうでない場合は２５５に設定する。
従って、一部の実施形態では、第１のパイプラインは、２値閾値化を実行し、それは所与の画像における各画素の値が導出された数（即ち、最適な画素閾値）より小さいかどうかをチェックして、そうであれば各画素の値を０に設定し、そうでない場合は２５５に設定する。
【0026】
さらに、または代替的に、幾つかの実施形態では、第２のパイプラインは、第２の毛細血管候補マップを生成するように構成され、第２のパイプラインは各画像内の各画素の画素値を切り捨て閾値と比較するように構成され、第２のパイプラインは更に、各画素の値を、当該切り捨て閾値よりも大きい画素値を有する各画素の値を切り捨て閾値に設定するように構成される。
このような実施形態によれば、最大許容値(即ち、切り捨て閾値)を超える値を有する画素は、その最大値で「切り落とし」または「切り落とし」されることが理解されるであろう。次に、第２のパイプラインは、ラベル付けされた画素に基づいてRoIの夫々のセットを生成する。
このような実施形態によれば、最大許容値(即ち、切り捨て閾値)を超える値を有する画素は、その最大値で「切り落とし」または「切り落とし」されることが理解されるであろう。次に、第２のパイプラインは、ラベル付けされた画素に基づいてRoIの夫々のセットを生成する。
【0027】
さらに、または代替的に、幾つかの実施形態において、第３のパイプラインは、第３の毛細血管候補マップを生成するように構成され、第３のパイプラインは、画像の強度を再スケールし、適応手段に従って閾値を前述の再スケールされた画像に適用するように構成される。
この第３のパイプラインは、第３のパイプラインの閾値に基づいて、２値閾値化処理を実行し、閾値未満の値を有する画素が第１のラベル(例えば、０)にラベル付けされ、閾値以上の値を有する画素が第２のラベル(例えば、２５５)にラベル付けされる。第３のパイプラインは、次に、ラベル付けされた画素に基づいてRoIの各セットを生成する。
この第３のパイプラインは、第３のパイプラインの閾値に基づいて、２値閾値化処理を実行し、閾値未満の値を有する画素が第１のラベル(例えば、０)にラベル付けされ、閾値以上の値を有する画素が第２のラベル(例えば、２５５)にラベル付けされる。第３のパイプラインは、次に、ラベル付けされた画素に基づいてRoIの各セットを生成する。
【0028】
さらに、または代替的に、幾つかの実施形態において、第４のパイプラインは、第４の毛細血管候補マップを生成するように構成され、この第４のパイプラインは、カットオフ及びゲインを使用して画像シグモイドを調整し、２値閾値化処理を適用するように構成されている。上述のように、２値閾値化処理は、画素が第４のパイプラインの夫々の閾値を下回るか否かに従って、各画素にラベル付けを行ってもよい。第４のパイプラインは、次に、ラベル付けされた画素に基づいてRoIの夫々のセットを生成することができる。
【0029】
さらに、または代替的に、一部の実施形態では、第５のパイプラインが、第５の毛細血管候補マップを生成するように構成され、この第５のパイプラインが、画像の強度を再スケールし、２値閾値化を適用するように構成される。２値閾値化は、画素の値が閾値(即ち、特定の数値)を下回っているかどうかを単にチェックし、もしそうであれば、第１のラベルでその画素にラベル付けをする(例えば０)。そうでない場合は、第２のラベルでラベル付けをする(例えば２５５)。第５のパイプラインは、次に、ラベル付けされた画素に基づいてRoIの夫々のセットを生成することができる。この第５のパイプラインに使用される２値閾値は、一部の実施形態では、所定の閾値であってもよい。適切な閾値は、実験的に決定することができる。
【0030】
さらに、または代替的に、幾つかの実施形態において、第４のパイプラインは、第４の毛細血管候補マップを生成するように構成され、この第４のパイプラインは、カットオフ及びゲインを使用して画像シグモイドを調整し、２値閾値化処理を適用するように構成されている。上述のように、２値閾値化処理は、画素が第４のパイプラインの夫々の閾値を下回るか否かに従って、各画素にラベル付けを行ってもよい。第４のパイプラインは、次に、ラベル付けされた画素に基づいてRoIの夫々のセットを生成することができる。
【0031】
さらに、または代替的に、一部の実施形態では、第５のパイプラインが、第５の毛細血管候補マップを生成するように構成され、この第５のパイプラインが、画像の強度を再スケールし、２値閾値化を適用するように構成される。２値閾値化は、画素の値が閾値(即ち、特定の数値)を下回っているかどうかを単にチェックし、もしそうであれば、第１のラベルでその画素にラベル付けをする(例えば０)。そうでない場合は、第２のラベルでラベル付けをする(例えば２５５)。第５のパイプラインは、次に、ラベル付けされた画素に基づいてRoIの夫々のセットを生成することができる。この第５のパイプラインに使用される２値閾値は、一部の実施形態では、所定の閾値であってもよい。適切な閾値は、実験的に決定することができる。
【0032】
さらに、または代替的に、幾つかの実施形態では、第６のパイプラインは、第６の毛細血管候補マップを生成するように構成され、前述の第６のパイプラインは、後続の画像(すなわち、隣接するフレーム)間の移動を検出し、及び前述の移動に関連する画像の領域を関心領域としてラベル付けするように構成されている。
【0033】
参照の容易さのために「第１の」から「第６の」までの用語が使用され、本発明の実施形態は、上記の６つのパイプラインの任意の適切な組み合わせ及び順列を、それらの任意の適切なサブセット又はスーパーセットにおいて利用することが想定されることが理解されるであろう。しかしながら、好ましい一組の実施形態においては、上述のパイプラインの６つすべてが提供され、夫々の出力が結合される。
【0034】
これらのパイプラインの各々は、各パイプラインごとに一般的に異なるRoIの各セットを提案する。その後、RoIを元の画像に再び投影することができる。これらのRoIのセットは、幾つかの実施形態では、非最大抑制処理を用いて処理されて、重複するRoIを置き換えてもよい。
【0035】
複数の異なるパイプラインを使用することは、異なるパイプラインが、一般的に異なる照明及び異なる皮膚タイプで異なる性能を示すので、特に有利である。各画像(またはビデオ)上の各パイプラインの出力を組み合わせることによって、全ての毛細血管を検出する確率を改善し、理想的には最大化することができる。
【0036】
本出願人は、１つ以上のパイプラインが１つ以上の偽陽性RoI（すなわち、実際には毛細血管を含まない毛細血管としてラベル付けされた領域）を生成する可能性があることを理解した。
本発明の実施形態によって使用される第１のニューラルネットワークは、これらのパイプラインからのRoIを結合して、RoIが毛細血管を含むかどうかを分類するように機能する。
本発明の実施形態によって使用される第１のニューラルネットワークは、これらのパイプラインからのRoIを結合して、RoIが毛細血管を含むかどうかを分類するように機能する。
【0037】
第１及び第２のニューラルネットワークは、典型的には異なるニューラルネットワークである。各ニューラルネットワークは、適切なトレーニングデータを用いて訓練される。
第１のニューラルネットワークは、検証されたトレーニングデータを使用して訓練される。したがって、幾つかの実施形態において、この方法は、複数の画像内の複数の毛細血管を手動でラベル付けすることによって検証済みトレーニングデータセットを生成し、訓練段階中に前記検証済みトレーニングデータセットを第１のニューラルネットワークに供給する工程を含む。
従って、第１のニューラルネットワークは、手作業でラベル付けされた画像(これは、訓練された調査によってラベル付けされてもよい)から学習して、ニューラルネットワークがこれまで見たことのない新しい画像における毛細血管の位置を決定することができる。
第１のニューラルネットワークは、検証されたトレーニングデータを使用して訓練される。したがって、幾つかの実施形態において、この方法は、複数の画像内の複数の毛細血管を手動でラベル付けすることによって検証済みトレーニングデータセットを生成し、訓練段階中に前記検証済みトレーニングデータセットを第１のニューラルネットワークに供給する工程を含む。
従って、第１のニューラルネットワークは、手作業でラベル付けされた画像(これは、訓練された調査によってラベル付けされてもよい)から学習して、ニューラルネットワークがこれまで見たことのない新しい画像における毛細血管の位置を決定することができる。
【0038】
従って、第１のニューラルネットワークは、一般的に、事前にラベル付けされた毛細血管を含む従来のデータセットを用いて訓練されてもよい。
第１のニューラルネットワークを、事前にラベル付けられた画像及び/又はビデオを用いて訓練することにより(例えば、そうするように訓練された人間によって)、第１のニューラルネットワークは、パターンを学習して、新しいデータセット(すなわち、被験者から取得された新たな画像を用いて生成された結合された毛細血管マップ)から、どこに毛細血管が存在するかを、より適切に決定することができる。
第１のニューラルネットワークを、事前にラベル付けられた画像及び/又はビデオを用いて訓練することにより(例えば、そうするように訓練された人間によって)、第１のニューラルネットワークは、パターンを学習して、新しいデータセット(すなわち、被験者から取得された新たな画像を用いて生成された結合された毛細血管マップ)から、どこに毛細血管が存在するかを、より適切に決定することができる。
【0039】
第１のニューラルネットワークは、幾つかの実施形態では、畳み込みニューラルネットワーク(ＣＮＮ)を含むことができる。本出願人は、ＣＮＮ及びディープニューラルネットワークが、一組の画像にわたる毛細血管の特徴を見出すのに特に適しており、非毛細血管から毛細血管を区別する能力における著しい改善を提供することを理解する。一旦RoIが得られると、ＣＮＮは、所与のRoIに毛細血管が存在するか否かを決定するために、速度及び精度の両面で高い性能を提供する。
【0040】
本出願人は、複数の画像（例えば、ビデオ）が安定している場合、または記録動作（例えば、手の動きによる）がない場合、単一のフレーム（すなわち、単一の画像）のみを使用して毛細血管を検出できる可能性があることを理解した。
幾つかの特に有利な構成では、単一の画像内で存在する全ての毛細血管が検出されることがある。幾つかの実施形態では、これは、画像の前面から画像の背景を分離するガウスモデルを適用することによって達成される。結果として得られる単一のフレームは、異なるサイズの画像の異なる部分の小片である多数のRoI(例えば、約３００RoI)を含むことがある。第１のニューラルネットワーク(上述のように、ＣＮＮを含むこともある)は、これらのRoIsの各々が毛細血管を有するか否かを分類することができる。
これにより、ビデオ全体に亘る平均値を取得する必要がなくなり（当該技術分野で知られている幾つかの従来技術のアプローチで必要とされる）、各フレームを独自のフレーム固有の値で独立して処理できるという利点がある。これはまた、リアルタイムの毛細血管検出により近づく、何故なら平均値を得るために、ビデオ全体が記録されるのを待つ必要がなく、むしろ、単一の独立したフレームから毛細血管を検出し始めることができるからである。
幾つかの特に有利な構成では、単一の画像内で存在する全ての毛細血管が検出されることがある。幾つかの実施形態では、これは、画像の前面から画像の背景を分離するガウスモデルを適用することによって達成される。結果として得られる単一のフレームは、異なるサイズの画像の異なる部分の小片である多数のRoI(例えば、約３００RoI)を含むことがある。第１のニューラルネットワーク(上述のように、ＣＮＮを含むこともある)は、これらのRoIsの各々が毛細血管を有するか否かを分類することができる。
これにより、ビデオ全体に亘る平均値を取得する必要がなくなり（当該技術分野で知られている幾つかの従来技術のアプローチで必要とされる）、各フレームを独自のフレーム固有の値で独立して処理できるという利点がある。これはまた、リアルタイムの毛細血管検出により近づく、何故なら平均値を得るために、ビデオ全体が記録されるのを待つ必要がなく、むしろ、単一の独立したフレームから毛細血管を検出し始めることができるからである。
【0041】
一旦、結合した毛細血管候補マップにおいて毛細血管が検出されると、検出された毛細血管は、毛細血管のオプティカルフロー(物体の動きをベクトルで表したもの)の決定のために、速度検出ステージに送られる。オプティカルフローの決定は、幾つかの実施形態では、第２のニューラルネットワークの使用前に、検出された毛細血管にGunnar Farnebackアルゴリズム(ＧＦＡ)を適用することを含む。ＧＦＡは、各フレーム間(すなわち複数画像の後続のもの間)の二次多項式と多項式展開変換を計算することにより近似が行われる２フレーム動き推定アルゴリズムである。画素強度が２つのフレーム間で一定であると仮定して、決定された多項式展開係数を用いて画素の変位場を導いた。画素の位置の差が、その毛細血管の速度ベクトル値になる。
【0042】
検出された各毛細血管の速度ベクトル値は、幾つかの実施形態においては、速度ベクトル閾値と比較され得、ここで、検出された毛細血管の速度は、当該比較の結果を用いて分類される。
所与の毛細血管の速度ベクトル値が閾値を下回っている場合、毛細血管に動きがないと判断される。逆に、所与の毛細血管の速度ベクトル値が閾値を超えている場合、毛細血管が一定または断続的な動きをしていると判断される。
所与の毛細血管の速度ベクトル値が閾値を下回っている場合、毛細血管に動きがないと判断される。逆に、所与の毛細血管の速度ベクトル値が閾値を超えている場合、毛細血管が一定または断続的な動きをしていると判断される。
【0043】
幾つかの実施形態では、速度ベクトル値閾値を上回る速度ベクトル値を有する毛細血管のみが、第２のニューラルネットワークに渡される。言い換えれば、運動しないと分類された毛細血管は、少なくとも幾つかの実施形態においては、第２のニューラルネットワークを用いて評価されない。本出願人は、「動きのない」毛細血管を分類するために第２のニューラルネットワークを使用することは、余分であり、時間及び計算資源のオーバーヘッドが加わることを理解した。したがって、ＧＦＡアルゴリズムは、第２のニューラルネットワークに対する事前のフィルタとして機能し、毛細血管がほぼリアルタイムで第２のニューラルネットワークに渡す価値があるかどうかを判断することができる。逆に、速度ベクトル値が閾値を上回る場合には、第２のニューラルネットワークが用いられて、毛細血管を一定または断続的な流量を有するものとして分類する。次に、その毛細血管のフレーム間の流れ及び毛細血管内の流れの方向が決定され得る。
【0044】
フレームをＧＦＡに渡す前に、安定化アルゴリズムがフレームに適用され得る。この安定化アルゴリズムは、例えば顕微鏡プローブの移動及び/又は被験者の移動による、画像の取得中の不注意な移動に起因して生じる画素位置のあらゆる分散を相殺するために使用され得る。
【0045】
第２のニューラルネットワークは、幾つかの実施形態において、ディープニューラルネットワーク(ＤＮＮ)を含むことができる。ＤＮＮは、その入力層と出力層との間に複数の層を有するニューラルネットワークであり、ここで、連続する中間層は、生の入力(すなわち、画像)から連続的に高いレベルの特徴を抽出する。
【0046】
速度ベクトルしきい値は適切な値に設定され得る。しかしながら、幾つかの実施形態では、速度ベクトルの閾値は、約1.0と1.5の間、任意で約1.1と1.4の間である。幾つかのそのような実施形態では、速度ベクトル閾値はほぼ1.2に等しく、幾つかのそのような実施形態では、1.2に等しくてもよい。
【0047】
従って、特定の一組の実施形態において、もし速度ベクトル値が1.2未満であれば、毛細血管は、動きがないものとして分類され、もし、速度ベクトルが1.2より大きいならば、その速度を、一定の流れまたは断続的な流れを有するものとして分類し、フレーム間の流れ及び毛細血管内の流れの方向を決定するために、ディープラーニングアルゴリズムに渡される。
【0048】
訓練された研究者から速度分類を学習するために、ＤＮＮと共にＧＦＡを使用することは、大きな利益を提供する。特に、この速度検出法は、現在当該技術分野で使用されている、空間-時間ダイアフラム及び手動の目解析アプローチの代替方法として考えることができる。有利には、ＧＦＡ及びＤＮＮを使用することによって、速度を推定するための中心線が必要なく、したがって、速度を検出するために必要な工程が低減される。また、ＧＦＡは、幾つかの実施形態において、毛細血管内流れの不均一性を推定するために使用され得る。これにより、我々の方法は、赤血球の追跡においてより正確になる、何故ならフレームの間に正確に配置される中心線に個々には依存しないからである。
【0049】
一組の実施形態において、この方法は、複数の画像のうちの１つ以上の画像について品質分析を行い、当該画像が品質閾値を満たすか否かを決定することを含む。品質閾値は、画像を分析して、画像品質が更なる処理のために十分であるかどうかを決定することによって、決定され得る。
この分析は、画像が焦点から外れているかどうか(すなわち、品質閾値が画像の鮮明度閾値を含む)、暗すぎているかどうか(すなわち、品質閾値が画像の輝度閾値を含む)、または補正するには大きすぎる動きを含むかどうか(すなわち、品質閾値が画像の動き閾値を含む)を検出することを含む。
この分析は、画像が焦点から外れているかどうか(すなわち、品質閾値が画像の鮮明度閾値を含む)、暗すぎているかどうか(すなわち、品質閾値が画像の輝度閾値を含む)、または補正するには大きすぎる動きを含むかどうか(すなわち、品質閾値が画像の動き閾値を含む)を検出することを含む。
【0050】
幾つかの実施形態では、検出された各毛細血管の面積は、当該検出された毛細血管に関連する画素によって占められる面積に基づいて計算される。言い換えれば、毛細血管の境界内の画素の総量は、その特定の毛細血管の領域を構成する。
次に、毛細血管の灌流の不均一性を計算して、赤血球が毛細血管をどれだけ流れるかを監視することができる。このようにして、私たちは、毛細血管とその領域を検出できるだけでなく、毛細血管を通る血液の流れが時間の経過とともにどのくらいあるかを検出することにも進めている。これにより、臨床医に平均毛細血管ヘマトクリットとその経時変化の情報を提供することができる。
次に、毛細血管の灌流の不均一性を計算して、赤血球が毛細血管をどれだけ流れるかを監視することができる。このようにして、私たちは、毛細血管とその領域を検出できるだけでなく、毛細血管を通る血液の流れが時間の経過とともにどのくらいあるかを検出することにも進めている。これにより、臨床医に平均毛細血管ヘマトクリットとその経時変化の情報を提供することができる。
【0051】
幾つかの実施形態では、パラメータは、以下のグループの１つ以上を含む。
a) 機能的毛細血管密度(１ミリ平方メートル当りの毛細血管数)
b) 平均毛細血管距離-毛細血管の近隣対の平均距離
c) 毛細血管の流速(CFV)-通常のスケールまたは速度(例:ミリメートル/秒)で定量化
d) 各毛細血管のサイズ
e) 赤血球の酸素化のレベルに関係する各毛細血管の色密度、及び/又は、
f) 血液面積または血液量-総面積または総体積に関連して毛細血管が占める面積または推定体積。
a) 機能的毛細血管密度(１ミリ平方メートル当りの毛細血管数)
b) 平均毛細血管距離-毛細血管の近隣対の平均距離
c) 毛細血管の流速(CFV)-通常のスケールまたは速度(例:ミリメートル/秒)で定量化
d) 各毛細血管のサイズ
e) 赤血球の酸素化のレベルに関係する各毛細血管の色密度、及び/又は、
f) 血液面積または血液量-総面積または総体積に関連して毛細血管が占める面積または推定体積。
【0052】
そのようなパラメータは、その後、被験者の微小循環を評価するために使用することができる。
画像から抽出されたパラメータは、人間の読者によって解釈されることもあれば、機械学習アルゴリズムによって解釈されることもあり、該機械学習アルゴリズムは様々な異なる疾患に対する臨床試験や患者の転帰などに基づいて、結果を解釈するように訓練されている。幾つかの実施形態では、抽出されたパラメータを含む報告書が生成され、出力として提供される。
画像から抽出されたパラメータは、人間の読者によって解釈されることもあれば、機械学習アルゴリズムによって解釈されることもあり、該機械学習アルゴリズムは様々な異なる疾患に対する臨床試験や患者の転帰などに基づいて、結果を解釈するように訓練されている。幾つかの実施形態では、抽出されたパラメータを含む報告書が生成され、出力として提供される。
【0053】
本出願人は、本明細書に記載の構成が、ニューラルネットワークを用いて、単一の画像のみを用いて有利に毛細血管を検出することができることを理解している。したがって、第２の態様から見て、本発明の実施形態は、被験者から取得された画像における毛細血管を分析するための自動化された方法を提供し、この方法は、
a) 画像を取得する工程と、
b) 前記画像について複数の毛細血管候補マップを生成する工程であって、各毛細血管候補マップは、１つまたは複数の関心領域を含み、各毛細血管候補マップは、前記画像を異なる基準と比較することによって生成される工程と、
c) 前記毛細血管候補マップを組み合わせて、組み合わせた毛細血管候補マップを生成する工程と、
d) ニューラルネットワークを使用して、前記組み合わされた毛細血管候補マップにおける１つまたは複数の検出された毛細血管の夫々の位置を決定する工程と、
e) 検出された毛細血管を用いて、１つ又は複数の毛細血管パラメータを抽出する工程を含む。
a) 画像を取得する工程と、
b) 前記画像について複数の毛細血管候補マップを生成する工程であって、各毛細血管候補マップは、１つまたは複数の関心領域を含み、各毛細血管候補マップは、前記画像を異なる基準と比較することによって生成される工程と、
c) 前記毛細血管候補マップを組み合わせて、組み合わせた毛細血管候補マップを生成する工程と、
d) ニューラルネットワークを使用して、前記組み合わされた毛細血管候補マップにおける１つまたは複数の検出された毛細血管の夫々の位置を決定する工程と、
e) 検出された毛細血管を用いて、１つ又は複数の毛細血管パラメータを抽出する工程を含む。
【0054】
本発明のこの第２の態様は、被験者から取得された画像における毛細血管の自動分析を実行するように構成された装置にまで及び、該装置は、
画像を取得するように構成された画像取得モジュールと、
処理モジュールを備え、該処理モジュールは、
前記画像について複数の毛細血管候補マップを生成し、各毛細血管候補マップは、前記画像の各々について１つ以上の関心領域を含み、ここで、夫々の毛細血管候補マップは、前記画像を異なる基準と比較することによって、処理モジュールによって生成され、
前記毛細血管候補マップを組み合わせて、組み合わされた毛細血管候補マップを生成し、
ニューラルネットワークを用いて、前記組み合わされた毛細血管候補マップ中の１つ以上の検出された毛細血管の夫々の位置を決定し、
前記検出された毛細血管を用いて、１つ又は複数の毛細血管パラメータを抽出するように構成されている。
画像を取得するように構成された画像取得モジュールと、
処理モジュールを備え、該処理モジュールは、
前記画像について複数の毛細血管候補マップを生成し、各毛細血管候補マップは、前記画像の各々について１つ以上の関心領域を含み、ここで、夫々の毛細血管候補マップは、前記画像を異なる基準と比較することによって、処理モジュールによって生成され、
前記毛細血管候補マップを組み合わせて、組み合わされた毛細血管候補マップを生成し、
ニューラルネットワークを用いて、前記組み合わされた毛細血管候補マップ中の１つ以上の検出された毛細血管の夫々の位置を決定し、
前記検出された毛細血管を用いて、１つ又は複数の毛細血管パラメータを抽出するように構成されている。
【0055】
本発明の第２の態様はまた、プロセッサによって実行されると、プロセッサに、被験者から取得された画像内の毛細血管を分析するための自動化された方法を実行させる、指示を含む非一時的なコンピュータ読取可能媒体に拡張され、この方法は、
a) 画像を取得する工程と、
b) 画像について複数の毛細血管候補マップを生成する工程であって、各毛細血管候補マップは、１つまたは複数の関心領域を含み、各毛細血管候補マップは、前記画像を異なる基準と比較することによって生成される工程と、
c) 前記毛細血管候補マップを組み合わせて、組み合わされた毛細血管候補マップを生成する工程と、
d) ニューラルネットワークを使用して、前記組み合わされた毛細血管候補マップにおける１つまたは複数の検出された毛細血管の夫々の位置を決定する工程と、
e) 検出された毛細血管を用いて、１つ又は複数の毛細血管パラメータを抽出する工程を含む。
a) 画像を取得する工程と、
b) 画像について複数の毛細血管候補マップを生成する工程であって、各毛細血管候補マップは、１つまたは複数の関心領域を含み、各毛細血管候補マップは、前記画像を異なる基準と比較することによって生成される工程と、
c) 前記毛細血管候補マップを組み合わせて、組み合わされた毛細血管候補マップを生成する工程と、
d) ニューラルネットワークを使用して、前記組み合わされた毛細血管候補マップにおける１つまたは複数の検出された毛細血管の夫々の位置を決定する工程と、
e) 検出された毛細血管を用いて、１つ又は複数の毛細血管パラメータを抽出する工程を含む。
【0056】
本発明の第１の態様は、さらに、プロセッサによって実行されると、被験者から取得された画像内の毛細血管を分析するための自動化された方法をプロセッサに実行させる、指示を含むコンピュータ・ソフトウェア製品に拡張され、この方法は、
a) 画像を取得する工程と、
b) 画像について複数の毛細血管候補マップを生成する工程であって、各毛細血管候補マップは、画像について１つまたは複数の関心領域を含み、各毛細血管候補マップは、前記画像を異なる基準と比較することによって生成される工程と、
c) 上記毛細血管候補マップを組み合わせて、組み合わされた毛細血管候補マップを生成する工程と、
d) ニューラルネットワークを使用して、前記組み合わされた毛細血管候補マップにおける１つまたは複数の検出された毛細血管の夫々の位置を決定する工程と、
e) 検出された毛細血管を用いて、１つ又は複数の毛細血管パラメータを抽出する工程を含む。
a) 画像を取得する工程と、
b) 画像について複数の毛細血管候補マップを生成する工程であって、各毛細血管候補マップは、画像について１つまたは複数の関心領域を含み、各毛細血管候補マップは、前記画像を異なる基準と比較することによって生成される工程と、
c) 上記毛細血管候補マップを組み合わせて、組み合わされた毛細血管候補マップを生成する工程と、
d) ニューラルネットワークを使用して、前記組み合わされた毛細血管候補マップにおける１つまたは複数の検出された毛細血管の夫々の位置を決定する工程と、
e) 検出された毛細血管を用いて、１つ又は複数の毛細血管パラメータを抽出する工程を含む。
【0057】
本発明の第１の態様の実施形態に関して上述した任意の特徴は、本発明の第２の態様にも同様に適用されることが理解されるであろう。特に明示的に言及されていない限り、本明細書に記載された発明のいずれかの態様の任意の及び全ての特徴は、本明細書に記載された任意の他の実施態様と組み合わせることができる。
【図面の簡単な説明】
【0058】
以下、本発明の特定の実施形態が、添付の図面を参照しつつ、例としてのみ説明される。
【図1】本発明の一実施形態に従い、毛細血管の分析を実行するように構成されたシステムのブロック図である。
【図2】皮膚の汚れや顕微鏡のアーティファクトを動画から抽出した画像である。
【図3A】赤血球が充填された毛細血管の画像である。
【図3B】血漿ギャップまたは白血球で部分的に充填された毛細血管の画像である。
【図3C】時間に亘って、毛細血管が赤血球でどれだけ満たされているか(毛細血管ヘマトクリット)を示すグラフである。
【図4】流れのない毛細血管と流れのある毛細血管の何れかに分類された毛細血管の速度ベクトルを示すグラフである。
【図5A】異なる毛細血管の毛細血管内流れを示すグラフである。
【図5B】異なる毛細血管の毛細血管内流れを示すグラフである。
【図6A】微小血管ビデオが記録された皮膚領域の概略を示す図である。
【図6B】捕捉されたビデオからの画像である。
【図6C】本発明の一実施形態に係るシステムを用いて検出された毛細血管を示す画像である。
【図7】本発明の実施形態を実施するために使用される６つのパイプラインのアーキテクチャのブロック図である。
【図8】本発明の毛細血管の検出方法で使用するのに適したディープニューラルネットワークのブロック図である。
【図10A】最大抑制及び畳み込みニューラルネットワークに基づく分類工程の出力を示す画像である。
【図10B】最大抑制及び畳み込みニューラルネットワークに基づく分類工程の出力を示す画像である。
【図11A】毛細血管の検出及びその占有領域を示す画像である。
【図11B】毛細血管の検出及びその占有領域を示す画像である。
【図11C】毛細血管の検出及びその占有領域を示す画像である。
【図12】毛細血管の速度を決定するためのアルゴリズムを示すフローチャートである。
【図13】毛細血管の速度を決定するためのアルゴリズムを示す別のフローチャートである。
【図14A】毛細血管の流れを示すビデオを示す画像である。
【図14B】ビデオフレームを横切る速度ベクトルを示すグラフである。
【図14C】本発明のシステムによって自動的に導出される毛細血管の流れ方向を示す画像である。
【発明を実施するための形態】
【0059】
詳細な説明
本発明の例示的な実施形態が本明細書に記載され、「毛細血管ネット」と呼ぶ。毛細血管の検出については、トレーニング時間、検出時間、及び方法の精度を、マスクＲ-ＣＮＮ[31]及び訓練された研究者によって実行された毛細血管注釈を使用した最先端の物体検出アルゴリズムと比較した。
我々のアプローチは、最先端のものよりも正確であり、訓練された研究者の注釈よりもより効率的であることを示した。速度検出については、毛細血管ネットで検出された速度分類に対して、研究者が実施した最先端の手作業による赤血球流動速度分類の結果を評価した。
本発明の例示的な実施形態が本明細書に記載され、「毛細血管ネット」と呼ぶ。毛細血管の検出については、トレーニング時間、検出時間、及び方法の精度を、マスクＲ-ＣＮＮ[31]及び訓練された研究者によって実行された毛細血管注釈を使用した最先端の物体検出アルゴリズムと比較した。
我々のアプローチは、最先端のものよりも正確であり、訓練された研究者の注釈よりもより効率的であることを示した。速度検出については、毛細血管ネットで検出された速度分類に対して、研究者が実施した最先端の手作業による赤血球流動速度分類の結果を評価した。
【0060】
マスクＲ-ＣＮＮアルゴリズムは、一流の物体検出アルゴリズムの１つである[1]。
ResNeXt101-FPNを備えたマスクＲ-ＣＮＮは、Cocoデータセット(１５０万の物体例を含む８０の物体カテゴリ)[32]で物体セグメンテーションに関して最先端の結果を達成した。
マスクＲ-ＣＮＮアーキテクチャは、各関心領域(ROI)のセグメンテーションマスクを画素単位で予測する分岐を追加することで、FasterＲ-ＣＮＮ[33]を拡張したものである。
マスクＲ-ＣＮＮによって導入された物体セグメンテーションの手法は、画素の空間的な対応関係を保持する「RoI align」である。これはRoIプーリングの量子化を双線型補間に置き換えたものである。
ResNeXt101-FPNを備えたマスクＲ-ＣＮＮは、Cocoデータセット(１５０万の物体例を含む８０の物体カテゴリ)[32]で物体セグメンテーションに関して最先端の結果を達成した。
マスクＲ-ＣＮＮアーキテクチャは、各関心領域(ROI)のセグメンテーションマスクを画素単位で予測する分岐を追加することで、FasterＲ-ＣＮＮ[33]を拡張したものである。
マスクＲ-ＣＮＮによって導入された物体セグメンテーションの手法は、画素の空間的な対応関係を保持する「RoI align」である。これはRoIプーリングの量子化を双線型補間に置き換えたものである。
【0061】
マスクＲ-ＣＮＮと毛細血管ネットの間の毛細血管検出の精度は、平均平均精度(ｍＡＰ)とラベル付けされたデータとのユニオン上の交差(Intersection over Union)(IoU)に基づいて計算された。これらは、監視学習アルゴリズム[26]、[31]において、物体検出器の性能を評価するために用いられる一般的な評価尺度である。
【0062】
毛細血管ネットの入出力を図１に示す。特に、毛細血管ネットシステム2は、被験者の毛細血管のビデオからなる入力4を受信するように構成されている。「ビデオ」という用語は、時間の経過に伴う一連の画像を意味すると理解されるべきである。一般に、システム2には、一連の静止画像(例えば、一定期間にわたって撮影された写真)及び/又は複数のビデオが供給され得る。
【0063】
毛細血管ネットシステム2は、これらの画像上で処理を実行し、以下にさらに詳しく説明するように、幾つかの出力6を生成する。特に、毛細血管ネットシステム2は、各毛細血管の周りの境界ボックス8、境界ボックス内の毛細血管の領域10、ビデオ内の毛細血管の密度12、毛細血管ヘマトクリットの定量化14、フレーム間の毛細血管内の流れの測定16、毛細血管内の流れの方向18、及び速度の分類20を生成する。毛細血管ネットシステム2はまた、形態検出21を実行することができる。
【0064】
毛細血管検出における毛細血管ネットの精度はマスクＲ-ＣＮＮの精度を２５%上回った(夫々９２.５%と６７.５%)。毛細血管ネットのトレーニングに使用された合計時間は約１時間であり、表１に示すように、マスクＲ-ＣＮＮアプローチに必要な時間(約１２０時間)よりも大幅に短縮された。アルゴリズムは、i7‐8850Hプロセッサ上で32GB Ramを用いてAsus GPU 2080Ti 11GBで試験された。
【0065】
マスクＲ-ＣＮＮのトレーニング時間が遅いのは、細かく調整する必要のあるパラメータが数多くあるからである。マスクＲ-ＣＮＮには63,621,918のトレーニング可能なパラメータがあり、毛細血管ネットには6,786,978のパラメータがある。
毛細血管ネットは、より浅い畳み込みニューラルネットワーク(ＣＮＮ)が使用されているため、マスクＲ-ＣＮＮのサイズの約１０.６７%である。さらに、より少ないパラメータを有することにより、毛細血管をより速く、より効率的に検出することができ、わずか４フレーム/秒以上で、ほぼリアルタイムの毛細血管検出に近づくことができる。
毛細血管ネットは、より浅い畳み込みニューラルネットワーク(ＣＮＮ)が使用されているため、マスクＲ-ＣＮＮのサイズの約１０.６７%である。さらに、より少ないパラメータを有することにより、毛細血管をより速く、より効率的に検出することができ、わずか４フレーム/秒以上で、ほぼリアルタイムの毛細血管検出に近づくことができる。
【0066】
マスクＲ-ＣＮＮの正確さが劣ったのは、スキンプロフィールの性質やレンズの特性から生じる要因による。これにより、図２の写真に見られるように、皮膚のさまざまな部分にさまざまな照明が当てられ、画像に対する毛細血管のサイズによるぼやけ、記録中に検出されるカメラの揺れ、及び髪、汚れ、その他の皮膚上の作為物による遮蔽が発生する。
図２の写真は、肌の汚れや顕微鏡のアーティファクト(人為的な作業によって意図せず生じるノイズ)を有するビデオから抽出した画像で、ビデオの一部がぼやけて焦点が外れている部分がある。純粋にルールに基づくアルゴリズムを用いて毛細血管を検出することは、幾つかの先行技術の構成によれば、サイズの類似性のために、汚れの検出にもつながる。
図２の写真は、肌の汚れや顕微鏡のアーティファクト(人為的な作業によって意図せず生じるノイズ)を有するビデオから抽出した画像で、ビデオの一部がぼやけて焦点が外れている部分がある。純粋にルールに基づくアルゴリズムを用いて毛細血管を検出することは、幾つかの先行技術の構成によれば、サイズの類似性のために、汚れの検出にもつながる。
【0067】
これらの問題により、マスクＲ-ＣＮＮやその他の畳み込みニューラルネットワーク（ＣＮＮ）ベースのROI検出器が、訓練された研究者による手動ラベル付けと同等の精度で一般化することが困難になっている。
【0068】
毛細血管ネットアーキテクチャは、純粋なＣＮＮの代わりにRoIを検出する幾つかの方法を適用することにより、皮膚のプロフィールによって提起される課題に取り組むことを目的としている。これらのRoI検出方法は、マスクＲ-ＣＮＮRoI検出工程と比較して計算コストが低く、上の表１に示すように毛細血管ネットの高速化を実現している。顕著性検出方法と畳み込みニューラル・ネットワークを組み合わせることにより、本発明のアプローチは、毛細血管と汚れとを区別する能力を提供する。
【0069】
Dobble et. al [34]は、毛細血管を検出するアルゴリズムを使用する前に、フレーム平均法を使用して、毛細血管内の血漿及び白血球のギャップを除去している。フレーム平均法を使用すると、多くのギャップがある毛細血管、または十分な血流がない毛細血管は無視されるため、全体の密度計算が低くなる可能性がある。
さらに、Dobble et. al [34]は、フレーム平均法にノイズを加えることを考慮しているため、焦点から外れた毛細血管を除去している。ハンドヘルド顕微鏡を用いた我々の実験から、一般的な顕微鏡プローブの丸みを帯びたレンズの性質上、映像の両端に40％のピンぼけが生じる可能性がある。
全体的に焦点を絞ったビデオを作ることは特に難しく、ある部分はいつも焦点が合わないことがある。したがって、このことは、毛細血管密度の値をさらに大幅に減少させるであろう。著者らは、実際の捕捉データについてCNNを訓練することにより、焦点外の毛細血管に対してＣＮＮを頑丈にすることにより、上述の欠点を補う。
さらに、Dobble et. al [34]は、フレーム平均法にノイズを加えることを考慮しているため、焦点から外れた毛細血管を除去している。ハンドヘルド顕微鏡を用いた我々の実験から、一般的な顕微鏡プローブの丸みを帯びたレンズの性質上、映像の両端に40％のピンぼけが生じる可能性がある。
全体的に焦点を絞ったビデオを作ることは特に難しく、ある部分はいつも焦点が合わないことがある。したがって、このことは、毛細血管密度の値をさらに大幅に減少させるであろう。著者らは、実際の捕捉データについてCNNを訓練することにより、焦点外の毛細血管に対してＣＮＮを頑丈にすることにより、上述の欠点を補う。
【0070】
Hilty et. al [23] はDobble et. al [34]と同様のフローを有しており、わずかな調整を行っている。Hilty et. al[23]は、まず全てのフレームにわたって平均画像を生成し、次いで、得られた画像を２つのパイプラインに通すことによって毛細血管を検出し、まず、２０－３０μｍ(直径)の血管を毛細血管として、次に、最大４００μｍ(直径)の血管を細静脈として分類する。次に毛細血管は、適応ヒストグラムで安定化・均等化された画像に対して、修正された曲率ベースの領域検出アルゴリズム[35]に渡される。
その結果、２０－３０μｍの幅の構造にわたる中心線を含む血管マップが得られた。曲率ベースの領域検出アルゴリズム[35]の著者らが述べているように、このタイプの検出は非知的で、髪の毛やシミのような同じような大きさのアーティファクトを検出してしまう可能性がある。
その結果、２０－３０μｍの幅の構造にわたる中心線を含む血管マップが得られた。曲率ベースの領域検出アルゴリズム[35]の著者らが述べているように、このタイプの検出は非知的で、髪の毛やシミのような同じような大きさのアーティファクトを検出してしまう可能性がある。
【0071】
さらに、上述したべた皮膚の課題のプロファイルにより、ビデオ全体の画像の平均値が常に最良の表現値であるとは限らない、何故ならビデオの異なる部分で照明が異なっていたり、毛細血管が最適な焦点から外れている可能性があるためである。さらに、わずかな動きを持つビデオは、中心線がフレームごとではなく、全てのフレームにわたって計算されるため、完全に無視しなければならない。
【0072】
毛細血管ネットは、これらすべての課題に取り組むために、異なるアプローチを取っている。画像の平均をとる代わりに、毛細血管ネットは２つの独立した方法を適用する。第１の方法は、フレームを個別に分析し、５つの工程を含み、第２の方法は、ビデオ全体を分析し、連続するフレームを見る。これは、ビデオが安定しているか、または手の動きによる記録動作がない場合、１つのフレームのみに存在する全ての毛細血管を検出できることを意味する。
これは、ガウスモデルを適用して、背景を前面から分離することによって達成される。結果として得られる単一フレームは、異なるサイズの画像の異なる部分の断片である３００までのRoIを含み、この領域が毛細血管を有するか否かをＣＮＮが分類する。このようにして、ビデオの全体に亘って平均値をとる必要がなくなり、各フレームを独自の値で一意的に扱うことができる。また、全体の動画が記録されて平均値が得られるのを待つ必要はなく、むしろ１つの独立したフレームから毛細血管を検出し始めることができるため、リアルタイムの検出により近づく。
これは、ガウスモデルを適用して、背景を前面から分離することによって達成される。結果として得られる単一フレームは、異なるサイズの画像の異なる部分の断片である３００までのRoIを含み、この領域が毛細血管を有するか否かをＣＮＮが分類する。このようにして、ビデオの全体に亘って平均値をとる必要がなくなり、各フレームを独自の値で一意的に扱うことができる。また、全体の動画が記録されて平均値が得られるのを待つ必要はなく、むしろ１つの独立したフレームから毛細血管を検出し始めることができるため、リアルタイムの検出により近づく。
【0073】
Dobble et. al [34]と同様に、Bezemer et. al [38]は、２Ｄ交差相関を用いて、血漿及び白血球によって引き起こされる血流ギャップを埋めることによって方法を改善している。毛細血管ネットは、よく訓練されたＣＮＮを用いて、血漿と白血球の間隙があっても毛細血管を検出できるようにすることで、この問題に取り組む。
【0074】
Tam et. al [36]は、ユーザが画像上の点を選択することを必要とする半自動法により、毛細血管を検出する。次に、アルゴリズムは毛細血管が存在するかどうかを決定する。逆に、本発明の方法は、領域が毛細血管を有するか否かを自動的に検出することによって、ユーザ入力の必要性を排除する。
【0075】
Geyman et. al [37]は、まずソフトウェアを使って主要な血管をクリックし、次にハードコード化された計算を適用して関心領域の画素数に基づいて毛細血管の総数を検出するという手作業のアプローチをより多く取り入れている。これはきわめて手作業のアプローチであり、異なるデータセットに亘る観察者のばらつきの影響を非常に受けやすい。毛細血管ネットは、ＣＮＮを添付してRoIsを分類することにより、観察者の変動要因を減少させる。このＣＮＮは、訓練された研究者によってラベル付けされた検証済みの毛細血管データセットで教育されている。
【0076】
Demir et. al [39]は、中央値フィルタと調整可能な閾値を有するＣＬＡＨＥを用いて、連続した５フレームの加重平均における毛細血管を検出している。しかし、これらの方法は、ビデオ上の照明と皮膚の厚さに応じて、調整される必要がある。
このため、ユーザが異なるビデオについて適切な値の組み合わせを見つけなければならない、又は同じビデオでも照明が異なる場合に、適切な値の組み合わせを見つけなければならないという手作業が発生する。毛細血管ネットは、幾つかの異なる独立した方法(この場合は６つ)と、教育されたデータに基づいてRoIに毛細血管があるかどうかを判断できるＣＮＮに画像を通すことで、この問題に取り組む。
このため、ユーザが異なるビデオについて適切な値の組み合わせを見つけなければならない、又は同じビデオでも照明が異なる場合に、適切な値の組み合わせを見つけなければならないという手作業が発生する。毛細血管ネットは、幾つかの異なる独立した方法(この場合は６つ)と、教育されたデータに基づいてRoIに毛細血管があるかどうかを判断できるＣＮＮに画像を通すことで、この問題に取り組む。
【0077】
毛細血管ヘマトクリットを検出することにより、各毛細血管が周囲の組織に酸素を供給する可能性に関する情報を臨床医に提供することができる。我々の知る限り、これまでの研究では、毛細血管の密度と流速のみが評価されていた。しかし、毛細血管が正常な流れを有し、正規分布しているが、低濃度の赤血球(すなわち、低ヘマトクリット)を示している場合、微小循環の酸素送達能力が損なわれる可能性がある。毛細血管ネットは、何時間にわたって、どれだけの毛細血管が赤血球(ヘマトクリット)で充填されているかを検出することができる。
【0078】
図３Ａ-図３Ｃは、毛細血管ネットの出力を示しており、毛細血管でヘマトクリットが時間の経過とともにどのように変化するかを示している。図３Ａは、赤血球が充填された毛細血管22の写真である。図３Ｂは、血漿ギャップまたは白血球で部分的に充填された毛細血管24の写真である。図３Ｃは、経時的に、どれだけの毛細血管が赤血球(すなわち、毛細血管ヘマトクリット)で充填されているかを示すグラフである。
【0079】
赤血球流れの定量化は、毛細血管の検出よりも難しい課題である。幾つかの論文は、赤血球の流量を、様々なスケールでの赤血球の手動定量化に基づいており、これは個人内変動の影響を受ける[40]～[43]。手動による定量化では、個々の血管は研究者によって推定された平均流速を表すスコアを受け取る。
流速のスケールは出版物によって異なり、流れを０～２(不在、断続的、または連続的な流れ)のスケールで分類する研究者もいる[1]。また、流れを０～３のスケール(不在、断続的、緩慢な、または通常の流れ)で分類する研究者もいる[1]。その他の研究者は０から５のスケール(流れがない、遅い、連続的に非常に低い、連続的に低い、連続的に高い、または活発な流れ)で分類する[44]。
流速のスケールは出版物によって異なり、流れを０～２(不在、断続的、または連続的な流れ)のスケールで分類する研究者もいる[1]。また、流れを０～３のスケール(不在、断続的、緩慢な、または通常の流れ)で分類する研究者もいる[1]。その他の研究者は０から５のスケール(流れがない、遅い、連続的に非常に低い、連続的に低い、連続的に高い、または活発な流れ)で分類する[44]。
【0080】
最近の論文では、空間-時間ダイアフラムを使用して赤血球の流れを定量化している[23]、[38]、[45]。空間-時間図(ＳＴＤ)は、分析を実行する個人から独立しているため、手動による目視の分析よりも根本的な改善である[34]、[42]。しかし、それ自体には欠点があり、わずかな動きに非常に敏感である、何故なら正確な空間-時間図を得るために、すべてのフレームの間の毛細血管の中心に位置する中心線を厳密に数えるからである。
従って、カメラのぶれや流量の変動によって毛細血管の位置や幅がフレーム間で変化する場合、ユーザは正確な図を描くために中心線を再調整しなければならない。これにより、流速の分類に余分な作業が追加される可能性があり、これは誤りやユーザの偏向を招きやすい。さらに、正確な中心線を構築するために、初期段階における毛細血管の正確な幅と長さを識別することに依存する。従って、焦点から外れた毛細血管は無視しなければならない、何故ならＳＴＤをプロットする中心線を適合させることは正確ではないからである。
従って、カメラのぶれや流量の変動によって毛細血管の位置や幅がフレーム間で変化する場合、ユーザは正確な図を描くために中心線を再調整しなければならない。これにより、流速の分類に余分な作業が追加される可能性があり、これは誤りやユーザの偏向を招きやすい。さらに、正確な中心線を構築するために、初期段階における毛細血管の正確な幅と長さを識別することに依存する。従って、焦点から外れた毛細血管は無視しなければならない、何故ならＳＴＤをプロットする中心線を適合させることは正確ではないからである。
【0081】
毛細血管ネットは、ディープニューラルネットワークを備えたガンナー・ファーネバック・アルゴリズムを使用して、訓練された研究者から速度分類を学習することにより、この限界を克服した。このように、我々の速度検出法は、ＲＢＣ速度分類のためのゴールドスタンダードと考えられている空間‐時間ダイアフラム及び手動眼分析の代替方法として考えることができる[23]。速度を推定するための中心線は必要ないので、速度を検出するために必要な工程を減らすことができる。
【0082】
さらに、Gunnar Farnebackアルゴリズムを用いて、毛細血管内流れの不均一性を推定した。これにより、我々の方法は赤血球の追跡をより正確にする、何故ならフレームの間に正確に配置された中心線に単独では依存しないからである。
我々は、毛細血管ビデオ上で手動でラベル付けされた赤血球流速に対して我々の速度検出分類を基準とした(benchmarked)。我々の方法は、表２に示すように、訓練を受けた研究者と比較して、毛細血管の速度を分類する際に平均８８％の精度を持っていた。
我々は、毛細血管ビデオ上で手動でラベル付けされた赤血球流速に対して我々の速度検出分類を基準とした(benchmarked)。我々の方法は、表２に示すように、訓練を受けた研究者と比較して、毛細血管の速度を分類する際に平均８８％の精度を持っていた。
【0083】
動きのない毛細血管についてGunnar Farnebackアルゴリズムによって計算された平均速度ベクトルは<約1.03であり、断続的な流れまたは一定の流れを持つ毛細血管は、図４に見られるように>約1.21であった。
【0084】
これらの速度ベクトル値を考慮に入れることにより、平均流速が1.2以下の境界ボックスは動きなしとし、残りはディープニューラルネットワークに渡して、毛細血管の流れが一定か断続的かを分類させた。一部の毛細血管は２Ｄ（皮膚に亘る）ではなく３Ｄ（皮膚から出て皮膚に入る）で流れているため、精度は１００％に近づけなかった。このような流れを持つ毛細血管は最も誤って分類された。
【0085】
図４のグラフに見られるように、毛細血管が検出された後、それをGunnar Farnebackアルゴリズムに渡し、境界ボックスの速度ベクトルを導き出す。図４のグラフは、流れなし（速度ベクトル＜1.2）または流れあり（速度ベクトル＞1.2）に分類された毛細血管の速度ベクトルを示している。
【0086】
以前の研究では、毛細血管内の流速を平均値として計算した。本出願人は、健康な被験者の流速は比較的均一であるが、ある種の患者群では流速がビデオの持続時間（例えば20秒）を通して大きく変化することを理解している。各毛細血管について１つの平均値を得ることで、臨床医はこの差を検出することができない。
従って、毛細血管内流速の不均一性を測定することは、微小循環障害を検出する追加的なマーカーとして使用できる可能性がある。微小循環異常のマーカーとしての毛細血管内流速不均一性と毛細血管ヘマトクリットの可能性を解明するためには、臨床研究を行う必要があるだろう。
従って、毛細血管内流速の不均一性を測定することは、微小循環障害を検出する追加的なマーカーとして使用できる可能性がある。微小循環異常のマーカーとしての毛細血管内流速不均一性と毛細血管ヘマトクリットの可能性を解明するためには、臨床研究を行う必要があるだろう。
【0087】
【0088】
表３では、Hilty [23]及びInce [24]によって提案される微小血管パラメータを、毛細血管ネットがどのように計算し、導出することができるかを示している。更に、我々は、毛細血管ヘマトクリットと毛細血管内流速の不均一性という、これまで微小血管ビデオで監視されていなかった２つの新しいパラメータを導入した。
毛細血管ネットは、ディープニューラルネットワークと顕著性物体検出(salient object detection)及び２フレームの動き推定技術を組み合わせて毛細血管を検出し、赤血球の速度を分類する独自のアーキテクチャである。我々のアーキテクチャは、微小循環のほぼリアルタイムのベッドサイド分析のための統一された方法への道を開く。
毛細血管ネットは、ディープニューラルネットワークと顕著性物体検出(salient object detection)及び２フレームの動き推定技術を組み合わせて毛細血管を検出し、赤血球の速度を分類する独自のアーキテクチャである。我々のアーキテクチャは、微小循環のほぼリアルタイムのベッドサイド分析のための統一された方法への道を開く。
【0089】
ビデオは、手持ちのデジタル顕微鏡(Digital Capillaroscope, Inspectis, Sweden)によって、１９２０x１０８０の解像度で２０秒間、３０fpsでビデオの形でヒトの被験者から取得された。ビデオは、図６Ａに示されているように、手28の背部領域26における皮膚の乳頭における栄養毛細血管を視覚化した。顕微鏡プローブ29を皮膚に当てる前に、背部領域26を透明なオイル層27でコーティングした。
もちろん、画像は、手の他の場所から、または体の他の部分(例えば、眼、舌、爪など)から撮影することができることが理解されるであろうが、この特定の例では、手が使用される。
もちろん、画像は、手の他の場所から、または体の他の部分(例えば、眼、舌、爪など)から撮影することができることが理解されるであろうが、この特定の例では、手が使用される。
【0090】
各被験者について、関心領域内の近隣地域から合計４本～６本のビデオが収集された。２５名のボランティアからデータが得られた。被験者の平均年齢は３０歳、標準偏差は５歳であった。全ての参加者から署名された同意が得られた。本研究は、ノルウェーの医学・健康研究倫理地域委員会の承認を受けた。
【0091】
【0092】
毛細血管検出のためのアルゴリズムの正確さを計算するために、訓練された研究者が、得られた微小血管のビデオを社内のソフトウェアを使って分析し、毛細血管を矩形の境界ボックスで手動でマーキングした。各ビデオの異なるフレームに見られる毛細血管がマーキングされた。
次に、ラベル付けられた境界ボックスを、平均精度(mAP)及びユニオン上の交差(IoU)を用いてアルゴリズム出力と比較した。このアルゴリズムは、独立した研究者によってラベル付けされた境界ボックス内の毛細血管を抽出することによってトレ―ニングされた（栄養毛細血管の約２４００枚の画像、毛細血管、毛髪、シミ及びその他のアーティファクトのない皮膚の約２６００枚の画像）。
次に、ラベル付けられた境界ボックスを、平均精度(mAP)及びユニオン上の交差(IoU)を用いてアルゴリズム出力と比較した。このアルゴリズムは、独立した研究者によってラベル付けされた境界ボックス内の毛細血管を抽出することによってトレ―ニングされた（栄養毛細血管の約２４００枚の画像、毛細血管、毛髪、シミ及びその他のアーティファクトのない皮膚の約２６００枚の画像）。
【0093】
このアルゴリズムは、ラベル付けされたデータの約７０％でトレーニング・検証され、次にラベル付けされたデータの約３０％でテストされた。速度検出のためのアルゴリズムの精度を計算するために、我々はアルゴリズムの出力と、訓練された研究者が１から３までのスケールでラベル付けした値（動きがない、または遅い、断続的な流れ、一定の流れ）を相関させた。速度検出のディープニューラルネットワークを各々３０fpsフレームレートの５００ビデオでトレーニングし、５０のビデオで検証した。
【0094】
上に概説したように、毛細血管ネット-検出された毛細血管の出力の1つが図６Ｃに示されている。我々のアーキテクチャの最初の部分では、毛細血管の数を検出し、所与の領域内の密度を計算する。この部分は、以下に概要を示すように、２つの段階で構成されている。
【0095】
第１段階は、図７に示されるように、提案された関心領域(RoI)、すなわち候補毛細血管を生成する。RoIsは、画像30を６つの異なるパイプラインに渡し、それらのパイプラインの出力をRoIsの周りに境界ボックスを持つ１つの画像に結合することによって検出される。これらのパイプラインの目標は、毛細血管が存在する可能性のある場所で可能な限り多くのRoIを検出することである。
【0096】
第２段階は、図８のブロック図に示すように、これらのRoIを毛細血管ネットの畳み込みニューラルネットワーク部分に渡すことであり、以下にさらに詳しく説明する。
【0097】
モデルのアーキテクチャは、最大プーリング層で分離された３つの畳み込みニューラルネットワークで構成されている。これらのニューロンの出力は、データのオーバーフィッティングを低減するために、５０%のドロップアウト率を持つ４つのニューラルネットワークに渡される。ＣＮＮはAdam [47]を用いて最適化され、約５０エポックでトレーニングされた。
【0098】
第１のパイプライン32はＯＴＳＵ閾値を適用する。ＯＴＳＵ閾値は画像ヒストグラムから最適な閾値を決定する。
次に、２値閾値は、画像内の画素の値が導き出された数値より小さいかどうかをチェックし、それを０に設定し、そうでなければ２５５に設定する。この第１のパイプライン32の典型的な出力画像は、図９Ａに見ることができる。
次に、２値閾値は、画像内の画素の値が導き出された数値より小さいかどうかをチェックし、それを０に設定し、そうでなければ２５５に設定する。この第１のパイプライン32の典型的な出力画像は、図９Ａに見ることができる。
【0099】
第２のパイプライン34は、切り捨て閾値を適用し、最大閾値が値より高い場合、閾値で切り捨てられる。この第２のパイプライン34の典型的な出力画像は、図９Ｂで見ることができる。
【0100】
第３のパイプライン36は、事前に画像の強度を再スケーリングし、適応平均に従って閾値を適用する。この第３のパイプライン36の典型的な出力画像は、図９Ｃに見ることができる。
【0101】
第４のパイプライン38は、特定のカットオフとゲインで画像シグモイドを調整し、２値閾値処理を適用する。この第４のパイプライン38の典型的な出力画像は、図９Ｄに見ることができる。
【0102】
第５のパイプライン40は、画像の強度を再スケールし、次いで、第１のパイプラインのような２値閾値を適用する。２値閾値は、単に画素の値が或る数値より小さいかどうかをチェックし、それをゼロに設定し、それ以外の場合は、２５５に設定する。この第５のパイプライン40の典型的な出力画像は、図９Ｅで見ることができる。
【0103】
第６のパイプライン42は、隣接するフレーム間の動きを検出し、それらをRoIとして強調する。この第６のパイプライン42の典型的な出力画像は、図９Ｆに見ることができる。
【0104】
パイプライン32、34、36、38、40、42からのこれらの出力の各々は、それぞれの毛細血管候補マップを提供する、すなわち、特定のパイプラインが毛細血管を含み得ることを示したRoIを含む各々の画像を提供する。
これら全てのパイプラインの値は、試行錯誤の方法で調整・算出される。
これら全てのパイプラインの値は、試行錯誤の方法で調整・算出される。
【0105】
一般的に、上で概説したように、これらのパイプライン32、34、36、38、40、42の各々は、異なるRoIセットを生成し、それから、元の画像上に再び投影される。これらの一連のROI(即ち、毛細血管候補マップの各々)は、次に、重複するRoIを置き換えるために、非最大抑制機能部44に渡される。全体的な方法(即ち、これらのパイプライン32、34、36、38、40、42とＣＮＮとの組み合わせ)を図７に示し、各パイプラインの毛細血管候補マップ出力を上記の図９Ａ-図９Ｆに示す。
この例示的なビデオでは、適応閾値出力パイプラインは、シグモイドに基づく調整検出よりも多くのRoIを検出するが、他のビデオ(例えば、他の患者に対応する)では、異なる照明及び異なる皮膚タイプの使用などにより、異なる性能が期待されることが理解されるであろう。
この例示的なビデオでは、適応閾値出力パイプラインは、シグモイドに基づく調整検出よりも多くのRoIを検出するが、他のビデオ(例えば、他の患者に対応する)では、異なる照明及び異なる皮膚タイプの使用などにより、異なる性能が期待されることが理解されるであろう。
【0106】
従って、各パイプライン32、34、36、38、40、42の出力は、全ての毛細血管を検出する確率を最大化するために各ビデオに対して結合され、それによって結合された毛細血管候補マップを生成する。
図１０Ａは、全てのパイプライン32、34、36、38、40、42の結合出力を示す。パイプライン32、34、36、38、40、42は、一般的に多くの偽陽性ROIを作り出す可能性がある。
従って、我々は結合された毛細血管マップ（ひいてはそのマップのROI）を、ＣＮＮ４６（「第１のニューラルネットワーク」）に渡し、該ＣＮＮ４６は各ROIを毛細血管を含むか含まないかのどちらかに分類する働きをする。ＣＮＮ４６の出力を図１０Ｂに示す。
図１０Ａは、全てのパイプライン32、34、36、38、40、42の結合出力を示す。パイプライン32、34、36、38、40、42は、一般的に多くの偽陽性ROIを作り出す可能性がある。
従って、我々は結合された毛細血管マップ（ひいてはそのマップのROI）を、ＣＮＮ４６（「第１のニューラルネットワーク」）に渡し、該ＣＮＮ４６は各ROIを毛細血管を含むか含まないかのどちらかに分類する働きをする。ＣＮＮ４６の出力を図１０Ｂに示す。
【0107】
図１１Ａ－図１１Ｃは、毛細血管50の面積がどのようにして決定され得るかを図示している。次いで、毛細血管50の面積は、毛細血管に関連する画素によって占められる面積に基づいて計算される。
図１１Ｂに示されるように、毛細血管ネットシステムは、毛細血管50の境界52を自動的に検出することができる。その境界52内の画素54(すなわち、図１１Ｃに示される白い画素54)は、毛細血管50の領域を構成する。次いで、毛細血管50の灌流の不均一性が計算されて、毛細血管50を赤血球がどれだけ流れるかを監視することができる。
図１１Ｂに示されるように、毛細血管ネットシステムは、毛細血管50の境界52を自動的に検出することができる。その境界52内の画素54(すなわち、図１１Ｃに示される白い画素54)は、毛細血管50の領域を構成する。次いで、毛細血管50の灌流の不均一性が計算されて、毛細血管50を赤血球がどれだけ流れるかを監視することができる。
【0108】
図３Ａは赤血球で充填された毛細血管を示し、図３Ｂは数秒後の白血球と血漿ギャップが存在する同じ毛細血管を示している。図３Ｃは毛細血管ネットを用いて導出された、毛細血管の経時的な赤血球分布を示している。
このように、毛細血管ネットは、毛細血管とその領域を検出できるだけでなく、時間経過とともに毛細血管を流れる血液量を検出することもできる。これにより、臨床医に平均した毛細血管ヘマトクリットとその経時変化の情報を提供することができる。
このように、毛細血管ネットは、毛細血管とその領域を検出できるだけでなく、時間経過とともに毛細血管を流れる血液量を検出することもできる。これにより、臨床医に平均した毛細血管ヘマトクリットとその経時変化の情報を提供することができる。
【0109】
検出された毛細血管50は、毛細血管ネットの速度検出ステージに渡され、ここで速度検出方法は図１２に示されている。速度検出ステージは、２つの主要部分である、Gunnar Farnebackアルゴリズム(ＧＦＡ)[46]とディープニューラルネットワーク部分(「第２のニューラルネットワーク」)で構成される。
ＧＦＡは２フレームの動き推定アルゴリズムであり、近似は各フレーム間の二次多項式と多項式展開変換を計算することにより行われる。この多項式展開係数を用いて、画素強度が２つのフレームの間で一定であると仮定して、画素の変位場を導いた。フレームに安定化アルゴリズム52を適用し、それをＧＦＡ５４に渡すことにより、速度ベクトルとなる画素の位置の差を得る。
ＧＦＡは２フレームの動き推定アルゴリズムであり、近似は各フレーム間の二次多項式と多項式展開変換を計算することにより行われる。この多項式展開係数を用いて、画素強度が２つのフレームの間で一定であると仮定して、画素の変位場を導いた。フレームに安定化アルゴリズム52を適用し、それをＧＦＡ５４に渡すことにより、速度ベクトルとなる画素の位置の差を得る。
【0110】
動きがないか、または断続的な流れがないかについてのチェック56がなされる。速度ベクトル値が1.2を下回る場合、毛細血管は動きがないものとして分類され、流れの方向とフレーム間の毛細血管内の流れは57で示される。速度ベクトルが1.2より大きい場合、それはディープランニングアルゴリズム58に渡され、その速度を断続的な流れの一定の流れを有するものとして分類する。次に、ＧＦＡ６０を用いて、フレーム間の流れの方向と毛細血管内の流れを決定する。
【0111】
従って、ディープニューラルネットワーク58は、移動しない毛細血管を分類するためには使用されない。なぜなら、そうすることは、不必要であり、時間と計算リソースのオーバーヘッドが追加される可能性があるからである。ＧＦＡ５４は、ディープニューラルネットワーク58に対する事前のフィルタとして機能し、毛細血管がほぼリアルタイムでディープニューラルネットワーク58に通す価値があるか否かを判断することができる。データがトレーニングされたディープニューラルネットワークを図１３に示す。
この特定の例では、速度検出のためのディープニューラルネットワークには、ゲート反復ユニット(ＧＲＵ)と対になった畳み込み３d (Conv3D)ネットワークが含まれるが、代わりに長短期メモリ(ＬＳＴＭ)ネットワークと対にすることもできた。
この特定の例では、速度検出のためのディープニューラルネットワークには、ゲート反復ユニット(ＧＲＵ)と対になった畳み込み３d (Conv3D)ネットワークが含まれるが、代わりに長短期メモリ(ＬＳＴＭ)ネットワークと対にすることもできた。
【0112】
図１４Ａでは、一般に公開されている毛細血管ビデオ[49]を用いて、速度検出アルゴリズムを実証している。同じビデオの異なる部分から得られた異なる値を示すために、ビデオの３つの異なる領域から測定が行われ、その結果が図１４Ｂのグラフに示されている。最も高い速度ベクトル値は、最初のライン64で強調表示されている毛細血管の中心で見出され、平均速度ベクトル値は３４.９であった。
最も低い速度ベクトルは、毛細血管の側部で見出され、さらにライン66で強調され、平均速度ベクトル値は0.7である。第３のライン68は、毛細血管の隣にランダムに配置された背景に対応し、平均速度ベクトル値が0.1である。毛細血管ネットアーキテクチャによって自動的に導かれる流れ方向(即ち、ベクトル)は、図１４Ｃに見ることができる。
最も低い速度ベクトルは、毛細血管の側部で見出され、さらにライン66で強調され、平均速度ベクトル値は0.7である。第３のライン68は、毛細血管の隣にランダムに配置された背景に対応し、平均速度ベクトル値が0.1である。毛細血管ネットアーキテクチャによって自動的に導かれる流れ方向(即ち、ベクトル)は、図１４Ｃに見ることができる。
【0113】
従って、本発明の実施形態は、微小血管ビデオにおける毛細血管を検出し、ルールに基づくアルゴリズム及び２フレーム動き推定技術をディープラーニング方法に組み合わせることによって赤血球の速度を分類することができる、完全に自動化されたシステムを提供することが理解されるであろう。その後、このシステムは、毛細血管が占有する面積を定量化し、毛細血管の密度を計算し、流速の毛細血管内不均一性を導出し、毛細血管ヘマトクリットを定量化することができる。
【0114】
先行技術の物体検出アルゴリズムＭａｓｋ Ｒ-ＣＮＮに対して開示された方法のトレーニング時間、検出時間、及び正確さを比較することにより、本明細書に開示された方法は、検出時間の半分で、精度が＋２５％向上することができることがわかる。
【0115】
さらに、本発明の実施形態の出力を、訓練された研究者によって実施された手動の毛細血管検出及び速度定量化の結果と比較することにより、毛細血管ネットは、ビデオにおいて毛細血管を検出するのに０.２秒かかる一方、訓練された研究者がビデオにおいて毛細血管を取得するのには、最大２分かかることがあることがわかる。毛細血管を４fpsで９２%の精度で検出することができるアルゴリズムにより、リアルタイムの毛細血管検出及び領域の定量化に向けての著しい進歩が、本明細書に記載のアプローチによって提供される。
【0116】
毛細血管を検出するために、毛細血管ネットはビデオを２段階の処理に渡す。第１の段階は関心領域(RoI)を検出することを目的とし、第２の段階はこれらのRoIを畳み込みニューラルネットワークに通し、毛細血管を含むかどうかを分類する。
毛細血管が検出された場合、その毛細血管が占有する領域は、ルールに基づくアルゴリズムを適用することによって導出される。毛細血管の密度は、この工程を画像全体にわたって反復することによって計算される。
経時的な赤血球の含有量(毛細血管ヘマトクリット)を計算するには、RoI内の毛細血管が占める面積をビデオ全体に亘って計算する。速度を分類するために、我々は、検出された毛細血管を、研究者の分類についてトレーニングされたディープニューラルネットワークに渡す。さらに、我々はFarnebackアルゴリズムを用いて、ビデオ上の連続フレームにわたる毛細血管内不均一性を計算し、流れの方向を決定した。
毛細血管が検出された場合、その毛細血管が占有する領域は、ルールに基づくアルゴリズムを適用することによって導出される。毛細血管の密度は、この工程を画像全体にわたって反復することによって計算される。
経時的な赤血球の含有量(毛細血管ヘマトクリット)を計算するには、RoI内の毛細血管が占める面積をビデオ全体に亘って計算する。速度を分類するために、我々は、検出された毛細血管を、研究者の分類についてトレーニングされたディープニューラルネットワークに渡す。さらに、我々はFarnebackアルゴリズムを用いて、ビデオ上の連続フレームにわたる毛細血管内不均一性を計算し、流れの方向を決定した。
【0117】
さらに、本発明は、それ自体当該技術分野で知られている従来技術のアプローチで現在可能であるものを超えて、監視できる微小血管パラメータの数を増やすことができる。
第１に、速度分類を検出するために訓練されたアルゴリズムを使用することにより、速度分類を標準化した。第２に、流速の不均一性は単一毛の細細血管で計算できる。第３に、各毛細血管ヘマトクリットを推定することができ、周辺組織に酸素を送る各毛細血管の可能性に関する新しい情報を提供する。
第１に、速度分類を検出するために訓練されたアルゴリズムを使用することにより、速度分類を標準化した。第２に、流速の不均一性は単一毛の細細血管で計算できる。第３に、各毛細血管ヘマトクリットを推定することができ、周辺組織に酸素を送る各毛細血管の可能性に関する新しい情報を提供する。
【0118】
このように、ディープラーニング技術は顕著性物体検出(salient object detection)と２フレーム動き推定技術と組み合わされて、新規性のある方法を提示し、自動的に以下の工程を実行する。
1) ディープラーニング技術を用いて毛細血管を検出する。
2) 毛細血管によって占有された領域を定量化し、顕著性物体検出技術を用いて毛細血管の密度を計算する。
3) 顕著性物体検出技術を用いて毛細血管ヘマトクリットを定量化する。
4) ２フレーム動き推定技術を用いて、毛細血管内流れの不均一性と方向性を追跡する。
5) ディープラーニング技術を用いて速度を分類する。
1) ディープラーニング技術を用いて毛細血管を検出する。
2) 毛細血管によって占有された領域を定量化し、顕著性物体検出技術を用いて毛細血管の密度を計算する。
3) 顕著性物体検出技術を用いて毛細血管ヘマトクリットを定量化する。
4) ２フレーム動き推定技術を用いて、毛細血管内流れの不均一性と方向性を追跡する。
5) ディープラーニング技術を用いて速度を分類する。
【0119】
当業者は、本明細書に記載された特定の実施形態は単に例示的なものであり、本発明の範囲内の多くの変形例が想定されていることを理解するであろう。
【0120】
添付：表
表１:Mask R-CNNに対する毛細血管ネット毛細血管検出のベンチマークと、訓練を受けた研究者が実施した手作業による分析。平均して、研究者が毛細血管検出のトレーニングを受けるのに５営業日かかると推定される。
表２:我々は、間欠流検出で達成された最高の精度で、速度を３つのカテゴリに分類する毛細血管ネットの正確性を示した。
表３：Hilty et al [23]及びInce et al [24]による微小循環分析のために提案された適用可能なパラメータを、毛細血管ネットがどのように計算し、導出することができるかについて述べる。さらに、毛細血管ネットによって一意に識別され、計算できる二つの新しいパラメータ:流速と毛細血管ヘマトクリットの毛細血管内不均一性を紹介した。
【表1】
表１:Mask R-CNNに対する毛細血管ネット毛細血管検出のベンチマークと、訓練を受けた研究者が実施した手作業による分析。平均して、研究者が毛細血管検出のトレーニングを受けるのに５営業日かかると推定される。
【表2】
表２:我々は、間欠流検出で達成された最高の精度で、速度を３つのカテゴリに分類する毛細血管ネットの正確性を示した。
【表3】
表３：Hilty et al [23]及びInce et al [24]による微小循環分析のために提案された適用可能なパラメータを、毛細血管ネットがどのように計算し、導出することができるかについて述べる。さらに、毛細血管ネットによって一意に識別され、計算できる二つの新しいパラメータ:流速と毛細血管ヘマトクリットの毛細血管内不均一性を紹介した。
【0121】
参考文献
[1] D. De Backer et al., “How to evaluate the microcirculation: report of a round table conference,” Crit. Care, vol. 11, no.5, p. R101, 2007, doi: 10.1186/cc6118.
[2] “What is the definition of capillaries?”
https://www.webmd.com/heart-disease/heart-failure/qa/what-is-the-definition-of-capillaries (accessed Aug. 11, 2020).
[3] Libretexts,“18.2F:Capillaries,”Jul.21,2018. https://med.libretexts.org/Bookshelves/Anatomy_and_Physiology/Book%3A_Anatomy_and_Physiology_(Boundless)/18%3A_Cardiovascular_System%3A_Blood_Vessels/18.2%3A_Arteries/18.2F%3A_Capillaries (accessed Aug. 11, 2020).
[4] G.Guven,M.P. Hilty, and C. Ince, “Microcirculation: Physiology, Pathophysiology, and Clinical Application,” Blood Purif., vol. 49, no. 1-2, pp. 143-150, 2020, doi: 10.1159/000503775.
[5] M. J.S. Parker and N. W. McGill, “The Established and Evolving Role of Nailfold Capillaroscopy in Connective-Tissue Disease,” in Connective Tissue Disease - Current State of the Art [Working Title], IntechOpen, 2019.
[6] V. Nama, J. Onwude, I. T. Manyonda, and T.F.Antonios, “Is capillary rarefaction an independent risk marker for cardiovascular disease in South Asians?,” J. Hum. Hypertens., vol.25, no.7, pp.65-466, Jul. 2011, doi: 10.1038/jhh.2011.1.
[7] A.J.H.M. Houben, R. J. H. Martens, and C. D. A. Stehouwer, “Assessing Microvascular Function in Humans from a Chronic Disease Perspective,” J. Am. Soc. Nephrol., vol.28, no.12, pp.3461-3472, Dec.2017, doi: 10.1681/ASN.2017020157.
[8] J. C. de Graaff, D. T. Ubbink, J. A. van der Spruit, S. M. Lagarde, and M. J. H. M. Jacobs, “Influence of peripheral arterial disease on capillary pressure in the foot,” J. Vasc. Surg., vol. 38, no. 5, pp. 1067-1074, Nov. 2003, doi: 10.1016/s0741-5214(03)00603-7.
[9] B. Fagrell and M. Intaglietta, “Microcirculation: its significance in clinical and molecular medicine,” J. Intern. Med., vol. 241, no. 5, pp. 349-362, May 1997, doi: 10.1046/j.1365-2796.1997.125148000.x.
[10] P. M. Houtman, C. G. Kallenberg, A. A. Wouda, and T. H. The, “Decreased nailfold capillary density in Raynaud’s phenomenon: a reflection of immunologically mediated local and systemic vascular disease?,” Ann. Rheum. Dis., vol. 44, no. 9, pp. 603-609, Sep. 1985, doi: 10.1136/ard.44.9.603.
[11] H. Schmeling et al., “Nailfold capillary density is importantly associated over time with muscle and skin disease activity in juvenile dermatomyositis,” Rheumatology, vol.50, no.5, pp. 885-893, May 2011, doi: 10.1093/rheumatology/keq407.
[12] B. D. Duscha et al., “Capillary density of skeletal muscle: a contributing mechanism for exercise intolerance in class II-III chronic heart failure independent of other peripheral alterations,” J. Am. Coll. Cardiol., vol. 33, no. 7, pp. 1956-1963, Jun. 1999, doi: 10.1016/s0735-1097(99)00101-1.
[13] J. L. Robbins et al., “Relationship between leg muscle capillary density and peak hyperemic blood flow with endurance capacity in peripheral artery disease,” J.Appl.Physiol.,vol.111,no.1,pp.81-86,Jul.2011,doi: 10.1152/japplphysiol.00141.2011.
[14] M. Moeini et al., “Compromised microvascular oxygen delivery increases brain tissue vulnerability with age,” Sci. Rep., vol. 8, no. 1, p. 8219, May 2018, doi: 10.1038/s41598-018-26543-w.
[15] A. Lopez et al., “Effects of early hemodynamic resuscitation on left ventricular performance and microcirculatory function during endotoxic shock,” Intensive Care Med Exp, vol.3, no.1, p.49, Dec. 2015, doi: 10.1186/s40635-015-0049-y.
[16] D. De Backer, J. Creteur, J.-C. Preiser, M.-J. Dubois, and J.-L. Vincent, “Microvascular blood flow is altered in patients with sepsis,” Am. J. Respir. Crit. Care Med., vol.166, no.1, pp.98-104, Jul.2002, doi: 10.1164/rccm.200109-016oc.
[17] T. Wester, Z. A. Awan, T. S. Kvernebo, G. Salerud, and K. Kvernebo, “Skin microvascular morphology and hemodynamics during treatment with veno-arterial extra-corporeal membrane oxygenation,” Clin. Hemorheol. Microcirc., vol. 56, no. 2, pp. 119-131, 2014, doi: 10.3233/CH-131670.
[18] A. C. Shore, “Capillaroscopy and the measurement of capillary pressure,” Br. J.Clin. Pharmacol., vol.50, no.6, pp.501-513, Dec.2000, doi: 10.1046/j.1365-2125.2000.00278.x.
[19] M. S. Goligorsky, “Microvascular rarefaction: the decline and fall of blood vessels,” Organogenesis, vol.6,no.1, pp.1-10, Jan.2010, doi: 10.4161/org.6.1.10427.
[20] A. Edwards-Richards et al., “Capillary rarefaction: an early marker of microvascular disease in young hemodialysis patients,” Clin. Kidney J., vol. 7, no. 6, pp. 569-574, Dec.2014, doi: 10.1093/ckj/sfu106.
[21] C. C. Michel, “Starling: the formulation of his hypothesis of microvascular fluid exchange and its significance after 100 years,” Exp. Physiol., vol. 82, no. 1, pp. 1-30, Jan. 1997, doi: 10.1113/expphysiol.1997.sp004000.
[22] H. S. Wei et al., “Erythrocytes Are Oxygen-Sensing Regulators of the Cerebral Microcirculation,” Neuron, vol.91, no.4, pp.851-862, Aug.2016, doi: 10.1016/j.neuron.2016.07.016.
[23] M. P. Hilty, P. Guerci, Y. Ince, F. Toraman, and C. Ince, “MicroTools enables automated quantification of capillary density and red blood cell velocity in handheld vital microscopy,” Commun Biol, vol. 2, p. 217, Jun. 2019, doi: 10.1038/s42003-019-0473-8.
[24] C. Ince et al., “Second consensus on the assessment of sublingual microcirculation in critically ill patients: results from a task force of the European Society of Intensive Care Medicine,” Intensive Care Med., vol. 44, no. 3, pp. 281-299, Mar. 2018, doi: 10.1007/s00134-018-5070-7.
[25] Z.-Q. Zhao, P. Zheng, S.-T. Xu, and X. Wu, “Object Detection With Deep Learning: A Review,” IEEE Trans Neural Netw Learn Syst, vol.30, no.11, pp. 3212-3232, Nov. 2019, doi: 10.1109/TNNLS.2018.2876865.
[26] A. Krizhevsky, I. Sutskever, and G. E. Hinton, “ImageNet Classification with Deep Convolutional Neural Networks,” in Advances in Neural Information Processing Systems 25, F. Pereira, C. J. C. Burges, L. Bottou, and K. Q. Weinberger, Eds. Curran Associates, Inc., 2012, pp.1097-1105.
[27] O. Russakovsky et al., “ImageNet Large Scale Visual Recognition Challenge,” Int. J. Comput. Vis., vol. 115, no. 3, pp. 211-252, Dec. 2015, doi: 10.1007/s11263-015-0816-y.
[28] W. Wang, Q. Lai, H. Fu, J. Shen, H. Ling, and R. Yang, “Salient Object Detection in the Deep Learning Era: An In-Depth Survey,” arXiv [cs.CV], Apr. 19, 2019.
[29] A. Borji, M.-M. Cheng, H. Jiang, and J. Li, “Salient Object Detection: A Benchmark,” IEEE Trans. Image Process., vol. 24, no. 12, pp. 5706-5722, Dec. 2015, doi: 10.1109/TIP.2015.2487833.
[30] A. Borji, M.-M. Cheng, Q. Hou, H. Jiang, and J. Li, “Salient Object Detection: A Survey,” arXiv [cs.CV], Nov. 18, 2014.
[31] K. He, G. Gkioxari, P. Dollar, and R. Girshick, “Mask r-cnn,” in Proceedings of the IEEE international conference on computer vision, 2017, pp. 2961-2969,[Online].Available: http://openaccess.thecvf.com/content_iccv_2017/html/He_Mask_R-CNN_ICCV_2017_paper.html.
[32] T.-Y. Lin et al., “Microsoft COCO: Common Objects in Context,” in Computer Vision - ECCV 2014, 2014, pp.740-755, doi: 10.1007/978-3-319-10602-1_48.
[33] S. Ren, K. He, R. Girshick, and J. Sun, “Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks,” in Advances in Neural Information Processing Systems 28, C. Cortes, N. D. Lawrence, D. D. Lee, M. Sugiyama, and R. Garnett, Eds. Curran Associates, Inc., 2015, pp. 91-99.
[34] J. G. G. Dobbe, G. J. Streekstra, B. Atasever, R. van Zijderveld, and C. Ince, “Measurement of functional microcirculatory geometry and velocity distributions using automated image analysis,” Med. Biol. Eng. Comput., vol. 46, no. 7, pp. 659-670, Jul. 2008, doi: 10.1007/s11517-008-0349-4.
[35] H. Deng, W. Zhang, E. Mortensen, T. Dietterich, and L. Shapiro, “Principal Curvature-Based Region Detector for Object Recognition,” in 2007 IEEE Conference on Computer Vision and Pattern Recognition, Jun.2007, pp.1-8, doi: 10.1109/CVPR.2007.382972.
[36] J. Tam, J. A. Martin, and A. Roorda, “Noninvasive visualization and analysis of parafoveal capillaries in humans,” Invest. Ophthalmol. Vis. Sci., vol. 51, no. 3, pp. 1691-1698, Mar. 2010, doi: 10.1167/iovs.09-4483.
[37] L. S. Geyman et al., “Peripapillary perfused capillary density in primary open-angle glaucoma across disease stage: an optical coherence tomography angiography study,” Br. J. Ophthalmol., vol.101, no.9, pp. 1261-1268, Sep. 2017, doi: 10.1136/bjophthalmol-2016-309642.
[38] R. Bezemer et al., “Rapid automatic assessment of microvascular density in sidestream dark field images,” Med. Biol. Eng. Comput., vol. 49, no. 11, pp. 1269-1278, Nov. 2011, doi: 10.1007/s11517-011-0824-1.
[39] S. U. Demir, R. Hakimzadeh, R. H. Hargraves, K. R. Ward, E. V. Myer, and K. Najarian, “An automated method for analysis of microcirculation videos for accurate assessment of tissue perfusion,” BMC Med. Imaging, vol.12, p.37, Dec. 2012, doi: 10.1186/1471-2342-12-37.
[40] E. C. Boerma, K. R. Mathura, P. H. J. van der Voort, P. E. Spronk, and C. Ince, “Quantifying bedside-derived imaging of microcirculatory abnormalities in septic patients: a prospective validation study,” Crit. Care, vol. 9, no. 6, pp. R601-6, Sep. 2005, doi: 10.1186/cc3809.
[41] R. C. Arnold et al., “Point-of-care assessment of microvascular blood flow in critically ill patients,” Intensive Care Med., vol.35, no.10, pp. 1761-1766, Oct. 2009, doi: 10.1007/s00134-009-1517-1.
[42] V. S. K. Edul, C. Enrico, B. Laviolle, A. R. Vazquez, C. Ince, and A. Dubin, “Quantitative assessment of the microcirculation in healthy volunteers and in patients with septic shock,” Crit. Care Med., vol.40, no. 5, pp. 1443-1448, May 2012, doi: 10.1097/CCM.0b013e31823dae59.
[43] A. Dubin et al., “Increasing arterial blood pressure with norepinephrine does not improve microcirculatory blood flow: a prospective study,” Crit. Care, vol. 13, no. 3, p. R92, Jun. 2009, doi: 10.1186/cc7922.
[44] S. Fredly, D. Fugelseth, C. S. Nygaard, E. G. Salerud, T. Stiris, and K. Kvernebo, “Noninvasive assessments of oxygen delivery from the microcirculation to skin in hypothermia-treated asphyxiated newborn infants,” Pediatr. Res., vol. 79, no. 6, pp. 902-906, Jun. 2016, doi: 10.1038/pr.2016.16.
[45] M. P. Hilty et al., “Assessment of endothelial cell function and physiological microcirculatory reserve by video microscopy using a topical acetylcholine and nitroglycerin challenge,” Intensive Care Medicine Experimental, vol. 5, no.1, p.26, May 2017, doi: 10.1186/s40635-017-0139-0.
[46] G. Farneback, “Two-Frame Motion Estimation Based on Polynomial Expansion,” in Image Analysis, 2003, pp. 363-370, doi: 10.1007/3-540-45103-X_50.
[47] D. P. Kingma and J. Ba, “Adam: A Method for Stochastic Optimization,” arXiv [cs.LG], Dec.22, 2014.
[48] F. Pedregosa et al., “Scikit-learn: Machine Learning in Python,” J. Mach. Learn. Res., vol. 12, no. 85, pp. 2825-2830, 2011, Accessed: Sep.21, 2020. [Online]. Available: https://www.jmlr.org/papers/v12/pedregosa11a.html.
[49] M. V. Volkov et al., “Video capillaroscopy clarifies mechanism of the photoplethysmographic waveform appearance,” Sci. Rep., vol.7, no.1, p. 13298, Oct. 2017, doi: 10.1038/s41598-017-13552-4.
[1] D. De Backer et al., “How to evaluate the microcirculation: report of a round table conference,” Crit. Care, vol. 11, no.5, p. R101, 2007, doi: 10.1186/cc6118.
[2] “What is the definition of capillaries?”
https://www.webmd.com/heart-disease/heart-failure/qa/what-is-the-definition-of-capillaries (accessed Aug. 11, 2020).
[3] Libretexts,“18.2F:Capillaries,”Jul.21,2018. https://med.libretexts.org/Bookshelves/Anatomy_and_Physiology/Book%3A_Anatomy_and_Physiology_(Boundless)/18%3A_Cardiovascular_System%3A_Blood_Vessels/18.2%3A_Arteries/18.2F%3A_Capillaries (accessed Aug. 11, 2020).
[4] G.Guven,M.P. Hilty, and C. Ince, “Microcirculation: Physiology, Pathophysiology, and Clinical Application,” Blood Purif., vol. 49, no. 1-2, pp. 143-150, 2020, doi: 10.1159/000503775.
[5] M. J.S. Parker and N. W. McGill, “The Established and Evolving Role of Nailfold Capillaroscopy in Connective-Tissue Disease,” in Connective Tissue Disease - Current State of the Art [Working Title], IntechOpen, 2019.
[6] V. Nama, J. Onwude, I. T. Manyonda, and T.F.Antonios, “Is capillary rarefaction an independent risk marker for cardiovascular disease in South Asians?,” J. Hum. Hypertens., vol.25, no.7, pp.65-466, Jul. 2011, doi: 10.1038/jhh.2011.1.
[7] A.J.H.M. Houben, R. J. H. Martens, and C. D. A. Stehouwer, “Assessing Microvascular Function in Humans from a Chronic Disease Perspective,” J. Am. Soc. Nephrol., vol.28, no.12, pp.3461-3472, Dec.2017, doi: 10.1681/ASN.2017020157.
[8] J. C. de Graaff, D. T. Ubbink, J. A. van der Spruit, S. M. Lagarde, and M. J. H. M. Jacobs, “Influence of peripheral arterial disease on capillary pressure in the foot,” J. Vasc. Surg., vol. 38, no. 5, pp. 1067-1074, Nov. 2003, doi: 10.1016/s0741-5214(03)00603-7.
[9] B. Fagrell and M. Intaglietta, “Microcirculation: its significance in clinical and molecular medicine,” J. Intern. Med., vol. 241, no. 5, pp. 349-362, May 1997, doi: 10.1046/j.1365-2796.1997.125148000.x.
[10] P. M. Houtman, C. G. Kallenberg, A. A. Wouda, and T. H. The, “Decreased nailfold capillary density in Raynaud’s phenomenon: a reflection of immunologically mediated local and systemic vascular disease?,” Ann. Rheum. Dis., vol. 44, no. 9, pp. 603-609, Sep. 1985, doi: 10.1136/ard.44.9.603.
[11] H. Schmeling et al., “Nailfold capillary density is importantly associated over time with muscle and skin disease activity in juvenile dermatomyositis,” Rheumatology, vol.50, no.5, pp. 885-893, May 2011, doi: 10.1093/rheumatology/keq407.
[12] B. D. Duscha et al., “Capillary density of skeletal muscle: a contributing mechanism for exercise intolerance in class II-III chronic heart failure independent of other peripheral alterations,” J. Am. Coll. Cardiol., vol. 33, no. 7, pp. 1956-1963, Jun. 1999, doi: 10.1016/s0735-1097(99)00101-1.
[13] J. L. Robbins et al., “Relationship between leg muscle capillary density and peak hyperemic blood flow with endurance capacity in peripheral artery disease,” J.Appl.Physiol.,vol.111,no.1,pp.81-86,Jul.2011,doi: 10.1152/japplphysiol.00141.2011.
[14] M. Moeini et al., “Compromised microvascular oxygen delivery increases brain tissue vulnerability with age,” Sci. Rep., vol. 8, no. 1, p. 8219, May 2018, doi: 10.1038/s41598-018-26543-w.
[15] A. Lopez et al., “Effects of early hemodynamic resuscitation on left ventricular performance and microcirculatory function during endotoxic shock,” Intensive Care Med Exp, vol.3, no.1, p.49, Dec. 2015, doi: 10.1186/s40635-015-0049-y.
[16] D. De Backer, J. Creteur, J.-C. Preiser, M.-J. Dubois, and J.-L. Vincent, “Microvascular blood flow is altered in patients with sepsis,” Am. J. Respir. Crit. Care Med., vol.166, no.1, pp.98-104, Jul.2002, doi: 10.1164/rccm.200109-016oc.
[17] T. Wester, Z. A. Awan, T. S. Kvernebo, G. Salerud, and K. Kvernebo, “Skin microvascular morphology and hemodynamics during treatment with veno-arterial extra-corporeal membrane oxygenation,” Clin. Hemorheol. Microcirc., vol. 56, no. 2, pp. 119-131, 2014, doi: 10.3233/CH-131670.
[18] A. C. Shore, “Capillaroscopy and the measurement of capillary pressure,” Br. J.Clin. Pharmacol., vol.50, no.6, pp.501-513, Dec.2000, doi: 10.1046/j.1365-2125.2000.00278.x.
[19] M. S. Goligorsky, “Microvascular rarefaction: the decline and fall of blood vessels,” Organogenesis, vol.6,no.1, pp.1-10, Jan.2010, doi: 10.4161/org.6.1.10427.
[20] A. Edwards-Richards et al., “Capillary rarefaction: an early marker of microvascular disease in young hemodialysis patients,” Clin. Kidney J., vol. 7, no. 6, pp. 569-574, Dec.2014, doi: 10.1093/ckj/sfu106.
[21] C. C. Michel, “Starling: the formulation of his hypothesis of microvascular fluid exchange and its significance after 100 years,” Exp. Physiol., vol. 82, no. 1, pp. 1-30, Jan. 1997, doi: 10.1113/expphysiol.1997.sp004000.
[22] H. S. Wei et al., “Erythrocytes Are Oxygen-Sensing Regulators of the Cerebral Microcirculation,” Neuron, vol.91, no.4, pp.851-862, Aug.2016, doi: 10.1016/j.neuron.2016.07.016.
[23] M. P. Hilty, P. Guerci, Y. Ince, F. Toraman, and C. Ince, “MicroTools enables automated quantification of capillary density and red blood cell velocity in handheld vital microscopy,” Commun Biol, vol. 2, p. 217, Jun. 2019, doi: 10.1038/s42003-019-0473-8.
[24] C. Ince et al., “Second consensus on the assessment of sublingual microcirculation in critically ill patients: results from a task force of the European Society of Intensive Care Medicine,” Intensive Care Med., vol. 44, no. 3, pp. 281-299, Mar. 2018, doi: 10.1007/s00134-018-5070-7.
[25] Z.-Q. Zhao, P. Zheng, S.-T. Xu, and X. Wu, “Object Detection With Deep Learning: A Review,” IEEE Trans Neural Netw Learn Syst, vol.30, no.11, pp. 3212-3232, Nov. 2019, doi: 10.1109/TNNLS.2018.2876865.
[26] A. Krizhevsky, I. Sutskever, and G. E. Hinton, “ImageNet Classification with Deep Convolutional Neural Networks,” in Advances in Neural Information Processing Systems 25, F. Pereira, C. J. C. Burges, L. Bottou, and K. Q. Weinberger, Eds. Curran Associates, Inc., 2012, pp.1097-1105.
[27] O. Russakovsky et al., “ImageNet Large Scale Visual Recognition Challenge,” Int. J. Comput. Vis., vol. 115, no. 3, pp. 211-252, Dec. 2015, doi: 10.1007/s11263-015-0816-y.
[28] W. Wang, Q. Lai, H. Fu, J. Shen, H. Ling, and R. Yang, “Salient Object Detection in the Deep Learning Era: An In-Depth Survey,” arXiv [cs.CV], Apr. 19, 2019.
[29] A. Borji, M.-M. Cheng, H. Jiang, and J. Li, “Salient Object Detection: A Benchmark,” IEEE Trans. Image Process., vol. 24, no. 12, pp. 5706-5722, Dec. 2015, doi: 10.1109/TIP.2015.2487833.
[30] A. Borji, M.-M. Cheng, Q. Hou, H. Jiang, and J. Li, “Salient Object Detection: A Survey,” arXiv [cs.CV], Nov. 18, 2014.
[31] K. He, G. Gkioxari, P. Dollar, and R. Girshick, “Mask r-cnn,” in Proceedings of the IEEE international conference on computer vision, 2017, pp. 2961-2969,[Online].Available: http://openaccess.thecvf.com/content_iccv_2017/html/He_Mask_R-CNN_ICCV_2017_paper.html.
[32] T.-Y. Lin et al., “Microsoft COCO: Common Objects in Context,” in Computer Vision - ECCV 2014, 2014, pp.740-755, doi: 10.1007/978-3-319-10602-1_48.
[33] S. Ren, K. He, R. Girshick, and J. Sun, “Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks,” in Advances in Neural Information Processing Systems 28, C. Cortes, N. D. Lawrence, D. D. Lee, M. Sugiyama, and R. Garnett, Eds. Curran Associates, Inc., 2015, pp. 91-99.
[34] J. G. G. Dobbe, G. J. Streekstra, B. Atasever, R. van Zijderveld, and C. Ince, “Measurement of functional microcirculatory geometry and velocity distributions using automated image analysis,” Med. Biol. Eng. Comput., vol. 46, no. 7, pp. 659-670, Jul. 2008, doi: 10.1007/s11517-008-0349-4.
[35] H. Deng, W. Zhang, E. Mortensen, T. Dietterich, and L. Shapiro, “Principal Curvature-Based Region Detector for Object Recognition,” in 2007 IEEE Conference on Computer Vision and Pattern Recognition, Jun.2007, pp.1-8, doi: 10.1109/CVPR.2007.382972.
[36] J. Tam, J. A. Martin, and A. Roorda, “Noninvasive visualization and analysis of parafoveal capillaries in humans,” Invest. Ophthalmol. Vis. Sci., vol. 51, no. 3, pp. 1691-1698, Mar. 2010, doi: 10.1167/iovs.09-4483.
[37] L. S. Geyman et al., “Peripapillary perfused capillary density in primary open-angle glaucoma across disease stage: an optical coherence tomography angiography study,” Br. J. Ophthalmol., vol.101, no.9, pp. 1261-1268, Sep. 2017, doi: 10.1136/bjophthalmol-2016-309642.
[38] R. Bezemer et al., “Rapid automatic assessment of microvascular density in sidestream dark field images,” Med. Biol. Eng. Comput., vol. 49, no. 11, pp. 1269-1278, Nov. 2011, doi: 10.1007/s11517-011-0824-1.
[39] S. U. Demir, R. Hakimzadeh, R. H. Hargraves, K. R. Ward, E. V. Myer, and K. Najarian, “An automated method for analysis of microcirculation videos for accurate assessment of tissue perfusion,” BMC Med. Imaging, vol.12, p.37, Dec. 2012, doi: 10.1186/1471-2342-12-37.
[40] E. C. Boerma, K. R. Mathura, P. H. J. van der Voort, P. E. Spronk, and C. Ince, “Quantifying bedside-derived imaging of microcirculatory abnormalities in septic patients: a prospective validation study,” Crit. Care, vol. 9, no. 6, pp. R601-6, Sep. 2005, doi: 10.1186/cc3809.
[41] R. C. Arnold et al., “Point-of-care assessment of microvascular blood flow in critically ill patients,” Intensive Care Med., vol.35, no.10, pp. 1761-1766, Oct. 2009, doi: 10.1007/s00134-009-1517-1.
[42] V. S. K. Edul, C. Enrico, B. Laviolle, A. R. Vazquez, C. Ince, and A. Dubin, “Quantitative assessment of the microcirculation in healthy volunteers and in patients with septic shock,” Crit. Care Med., vol.40, no. 5, pp. 1443-1448, May 2012, doi: 10.1097/CCM.0b013e31823dae59.
[43] A. Dubin et al., “Increasing arterial blood pressure with norepinephrine does not improve microcirculatory blood flow: a prospective study,” Crit. Care, vol. 13, no. 3, p. R92, Jun. 2009, doi: 10.1186/cc7922.
[44] S. Fredly, D. Fugelseth, C. S. Nygaard, E. G. Salerud, T. Stiris, and K. Kvernebo, “Noninvasive assessments of oxygen delivery from the microcirculation to skin in hypothermia-treated asphyxiated newborn infants,” Pediatr. Res., vol. 79, no. 6, pp. 902-906, Jun. 2016, doi: 10.1038/pr.2016.16.
[45] M. P. Hilty et al., “Assessment of endothelial cell function and physiological microcirculatory reserve by video microscopy using a topical acetylcholine and nitroglycerin challenge,” Intensive Care Medicine Experimental, vol. 5, no.1, p.26, May 2017, doi: 10.1186/s40635-017-0139-0.
[46] G. Farneback, “Two-Frame Motion Estimation Based on Polynomial Expansion,” in Image Analysis, 2003, pp. 363-370, doi: 10.1007/3-540-45103-X_50.
[47] D. P. Kingma and J. Ba, “Adam: A Method for Stochastic Optimization,” arXiv [cs.LG], Dec.22, 2014.
[48] F. Pedregosa et al., “Scikit-learn: Machine Learning in Python,” J. Mach. Learn. Res., vol. 12, no. 85, pp. 2825-2830, 2011, Accessed: Sep.21, 2020. [Online]. Available: https://www.jmlr.org/papers/v12/pedregosa11a.html.
[49] M. V. Volkov et al., “Video capillaroscopy clarifies mechanism of the photoplethysmographic waveform appearance,” Sci. Rep., vol.7, no.1, p. 13298, Oct. 2017, doi: 10.1038/s41598-017-13552-4.
【図1】
【図2】
【図3A】
【図3B】
【図3C】
【図4】
【図5A】
【図5B】
【図6A】
【図6B】
【図6C】
【図7】
【図8】
【図9A】
【図9B】
【図9C】
【図9D】
【図9E】
【図9F】
【図10A】
【図10B】
【図11A】
【図11B】
【図11C】
【図12】
【図13】
【図14A】
【図14B】
【図14C】
【国際調査報告】