特表 2024-544602 画像解釈のためのシステム、装置、および方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-12-03

(54)【発明の名称】画像解釈のためのシステム、装置、および方法

(51)【国際特許分類】

   G01N 21/64 20060101AFI20241126BHJP

【ＦＩ】

G01N21/64 Z

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2024531066

(86)(22)【出願日】2022-11-23

(85)【翻訳文提出日】2024-07-09

(86)【国際出願番号】 CA2022051720

(87)【国際公開番号】W WO2023092223

(87)【国際公開日】2023-06-01

(31)【優先権主張番号】63/282,894

(32)【優先日】2021-11-24

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＢＬＵＥＴＯＯＴＨ

(71)【出願人】

【識別番号】518396426

【氏名又は名称】モレキュライト・インコーポレイテッド

【氏名又は名称原語表記】ＭＯＬＥＣＵＬＩＧＨＴ， ＩＮＣ．

(74)【代理人】

【識別番号】110001195

【氏名又は名称】弁理士法人深見特許事務所

(72)【発明者】

【氏名】カーマン，ジェフリー・アール

(72)【発明者】

【氏名】ハーソン，デズモンド

【テーマコード（参考）】

2G043

【Ｆターム（参考）】

2G043AA03

2G043BA17

2G043CA05

2G043EA01

2G043FA01

2G043KA02

2G043LA03

2G043NA01

(57)【要約】

システム、装置、および方法は、蛍光画像のホワイトバランスの正確さを保証するために蛍光画像に対して動作し、それは、蛍光画像をHSV色空間に変換することと、第１の変換画像の彩度パラメータを第１の彩度閾値条件と比較することと、第１の変換画像の値パラメータを第１の値閾値条件と比較することであって、第１の値および彩度閾値条件は、第１の色と第１の細菌蛍光シグネチャとの間の相関に基づく、比較することと、彩度パラメータが第１の彩度閾値条件を満たし、第１の値パラメータが値閾値条件を満たす蛍光画像の領域を識別することと、を含む、蛍光画像の色分析を実行することと、サイズ閾値よりも小さい識別された領域を破棄することと、蛍光画像上の残りの識別された領域の輪郭を描くことによって、オーバーレイ画像を生成することと、を含む。

【特許請求の範囲】

【請求項1】

携帯型ハンドヘルド装置であって、
蛍光画像を受信するように構成された撮像装置と、
メモリと、
プロセッサであって、
前記蛍光画像をHSV色空間に変換し、第１の変換画像を生成することと、
前記第１の変換画像の色相パラメータの第１の範囲について、前記第１の変換画像の彩度パラメータを第１の彩度閾値条件と比較することであって、前記第１の彩度閾値条件は、前記色相パラメータの前記第１の範囲に対応する第１の色と第１の細菌蛍光シグネチャとの間の相関に基づく、比較することと、
前記色相パラメータの前記第１の範囲について、前記第１の変換画像の値パラメータを第１の値閾値条件と比較することであって、前記第１の値閾値条件が、前記第１の色と前記第１の細菌蛍光シグネチャとの間の前記相関に基づく、比較することと、
前記色相パラメータの前記第１の範囲について、前記彩度パラメータが前記第１の彩度閾値条件を満たし、前記値パラメータが前記第１の値閾値条件を満たす前記蛍光画像の領域を識別することと、
を含む、前記蛍光画像の色分析を実行することと、
サイズ閾値より小さい前記識別された領域を破棄することと、
前記蛍光画像上の残りの識別された領域の輪郭を描いて、オーバーレイ画像を生成することと、
を実行するように構成されたプロセッサと、
を備える、装置。

【請求項2】

前記色分析は、
前記第１の変換画像の前記色相パラメータの第２の範囲について、前記第１の変換画像の前記彩度パラメータを第２の彩度閾値条件と比較することであって、前記第２の彩度閾値条件は、前記色相パラメータの前記第２の範囲に対応する第２の色と第２の細菌蛍光シグネチャとの間の相関に基づく、比較することと、
前記色相パラメータの前記第２の範囲について、前記第１の変換画像の前記値パラメータを第２の値閾値条件と比較することであって、前記第２の値閾値条件は、前記第２の色と前記第２の細菌蛍光シグネチャとの間の相関に基づく、比較することと、
前記色相パラメータの前記第２の範囲について、前記彩度パラメータが前記第２の彩度閾値条件を満たし、前記値パラメータが前記第２の値閾値条件を満たす、前記蛍光画像の領域を識別することと、
をさらに含む、請求項１に記載の装置。

【請求項3】

前記第１の色はシアンであり、前記第２の色は赤色であるか主要な色相として赤色を有する色である、請求項２に記載の装置。

【請求項4】

前記プロセッサは、
前記蛍光画像をグレースケールに変換し、それによって第２の変換画像を生成することと、
画素ごとに、前記第２の変換画像の強度パラメータを強度閾値と比較することと、
前記強度パラメータが前記強度閾値を超える画素の所定の画素距離内の領域を一時的に識別することと、
前記蛍光画像をL＊a＊b＊色空間に変換して第３の変換画像を生成することと、
前記第３の変換画像の各チャネル内で、前記一時的に識別された領域のそれぞれの勾配を決定することと、
前記第３の変換画像の各チャネルの前記それぞれの勾配が勾配閾値を超える前記一時的に識別された領域のうちの１つを恒久的に識別することと、
を含む、前記蛍光画像のテクスチャ分析を実行するように構成されている、請求項１～３のいずれか１項に記載の装置。

【請求項5】

前記第１の細菌蛍光シグネチャは１０^４cfu／g以上の細菌濃度に対応する、請求項１～４のいずれか１項に記載の装置。

【請求項6】

前記第１の細菌蛍光シグネチャは、緑膿菌、大腸菌、プロテウス・ミラビリス、プロテウス・ブルガリス、エンテロバクター・クロアカ、セラチア・マルセッセンス、アシネトバクター・バウマニ、肺炎桿菌、クレブシエラ・オキシトカ、モルガネラ・モルガニー、ステノトロフォモナス・マルトフィリア、シトロバクター・コセリ、シトロバクター・フロインディ、エロモナス・ハイドロフィリア、アルカリゲネス・フェエカリス、シュードモナス・プチダ、黄色ブドウ球菌、表皮ブドウ球菌、スタフィロコッカス・ルグドゥネンシス、スタフィロコッカス・カピティス、コリネバクテリウム・ストリアタム、バチルス・セレウス、リステリア・モノサイトゲネス、バクテロイデス・フラジリス、ウェルシュ菌、ペプトストレプトコッカス・アナエロビウス、プロピオニバクテリウム・アクネス、および／またはベイロネラ・パルブラのうちの少なくとも１つに対応する、請求項１～５のいずれか１項に記載の装置。

【請求項7】

標的に励起光を照射するように構成された励起光源をさらに備える、請求項１～６のいずれか１項に記載の装置。

【請求項8】

前記励起光は、４００nm～４５０nmの波長を含む、請求項７に記載の装置。

【請求項9】

前記撮像装置は、５００nm～５５０nmの波長を検出するように構成された第１の画像センサを含む、請求項１～８のいずれか１項に記載の装置。

【請求項10】

前記撮像装置は、６００nm～６６０nmの波長を検出するように構成された第２の画像センサを含む、請求項１～９のいずれか１項に記載の装置。

【請求項11】

前記蛍光画像および／または前記オーバーレイ画像を出力するように構成された表示装置をさらに備える、請求項１～１０のいずれか１項に記載の装置。

【請求項12】

前記表示装置は、リアルタイムまたはほぼリアルタイムで前記オーバーレイ画像を出力するように構成されている、請求項１１に記載の装置。

【請求項13】

前記プロセッサは、前記蛍光画像のホワイトバランスの正確さを保証するように構成されている、請求項１～１２のいずれか１項に記載の装置。

【請求項14】

前記ホワイトバランスの正確さを保証することは、前記蛍光画像に含まれるメタデータに基づいて以前のホワイトバランス補正が適用されたかどうかを判定することを含む、請求項１３に記載の装置。

【請求項15】

補正取り消し動作を実行することを含む、請求項１３または１４に記載の装置。

【請求項16】

表示装置と、
標的領域に励起光を照射するように構成された励起光源と、前記励起光に対する前記標的領域の応答に応じた蛍光画像をキャプチャするように構成された画像センサと、を備える撮像装置と、
ハウジングと、
前記ハウジング内に配置された処理回路であって、プロセッサを含み、前記プロセッサは、
前記蛍光画像をHSV色空間に変換し、それによって第１の変換画像を生成することと、
前記第１の変換画像の色相パラメータの第１の範囲について、前記第１の変換画像の彩度パラメータを第１の彩度閾値条件と比較することであって、前記第１の彩度閾値条件は、前記色相パラメータの前記第１の範囲に対応する第１の色と第１の細菌蛍光シグネチャとの間の相関に基づく、比較することと、
前記色相パラメータの前記第１の範囲について、前記第１の変換画像の値パラメータを第１の値閾値条件と比較することであって、前記第１の値閾値条件は、前記第１の色と前記第１の細菌蛍光シグネチャとの間の前記相関に基づく、比較することと、
前記色相パラメータの前記第１の範囲について、前記彩度パラメータが前記第１の彩度閾値条件を満たし、前記値パラメータが前記第１の値閾値条件を満たす前記蛍光画像の領域を識別することと、
を含む、前記蛍光画像の色分析を実行することと、
サイズ閾値より小さい前記識別された領域を破棄することと、
前記蛍光画像上の残りの識別された領域の輪郭を描くことによって、オーバーレイ画像を生成することと、
を実行するように構成されている、処理回路と、
を備える、システム。

【請求項17】

蛍光画像解釈方法であって、
蛍光画像を受信することと、
前記蛍光画像をHSV色空間に変換し、それによって第１の変換画像を生成することと、
前記第１の変換画像の色相パラメータの第１の範囲について、前記第１の変換画像の彩度パラメータを第１の彩度閾値条件と比較することであって、前記第１の彩度閾値条件は、前記色相パラメータの前記第１の範囲に対応する第１の色と第１の細菌蛍光シグネチャとの間の相関に基づく、比較することと、
前記色相パラメータの前記第１の範囲について、前記第１の変換画像の値パラメータを第１の値閾値条件と比較することであって、前記第１の値閾値条件は、前記第１の色と前記第１の細菌蛍光シグネチャとの間の前記相関に基づく、比較することと、
前記色相パラメータの前記第１の範囲について、前記彩度パラメータが前記第１の彩度閾値条件を満たし、前記値パラメータが前記第１の値閾値条件を満たす前記蛍光画像の領域を識別することと、
を含む、前記蛍光画像の色分析を実行することと、
サイズ閾値より小さい前記識別された領域を破棄することと、
前記蛍光画像上の残りの識別された領域の輪郭を描くことによって、オーバーレイ画像を生成することと、
を含む、方法。

【請求項18】

携帯型ハンドヘルド装置であって、
蛍光画像を受信するように構成された撮像装置と、
メモリと、
前記蛍光画像をグレースケールに変換することにより、第１の変換画像を生成することと、
画素ごとに、前記第１の変換画像の強度パラメータを強度閾値と比較することと、
前記強度パラメータが前記強度閾値を超える画素の所定の画素距離内の領域を一時的に識別することと、
前記蛍光画像を所定の色空間に変換することにより、第２の変換画像を生成することと、
前記第２の変換画像の各チャネル内で、前記一時的に識別された領域のそれぞれの勾配を決定することと、
前記第２の変換画像の各チャネルの前記それぞれの勾配が勾配閾値を超える前記一時的に識別された領域のうちの１つを恒久的に識別することと、
を含む、前記蛍光画像のテクスチャ分析を実行するように構成されたプロセッサと、
を備える、装置。

【請求項19】

前記所定の色空間は、HSV色空間、CIEXYZ色空間、CIELUV色空間、RGB色空間、YCbCr色空間、YUV色空間、LCh色空間、L＊a＊b＊色空間、CMY色空間、CMYK色空間、またはカスタム色空間である、請求項１８に記載の装置。

【請求項20】

前記所定の色空間は、L＊a＊b＊色空間である、請求項１８に記載の装置。

【請求項21】

ハンドヘルド撮像装置上で、入力画像を受信することと、
前記入力画像に対して色分析および／またはテクスチャ分析を実行して、前記入力画像内の臨床的に関心のある領域を識別することと、
オーバーレイを生成することであって、前記オーバーレイは、前記入力画像上に配置されたときに、関心のある１つまたは複数の臨床的特徴の標示を提供する１つまたは複数の色、強調表示、矢印、または他の強調表示方法を含む、生成することと、
前記入力画像および前記オーバーレイを含む出力画像をリアルタイムで表示することであって、前記入力画像上の関心のある臨床的特徴が前記オーバーレイによって前記撮像装置のユーザに対して強調表示される、表示することと、
を含む、臨床画像を解釈する方法。

【請求項22】

入力画像を受信することは、創傷部の蛍光画像を受信することを含む、請求項２１に記載の方法。

【請求項23】

前記入力画像の臨床的に関心のある領域を識別するために、前記入力画像に対して色分析および／またはテクスチャ分析を実行することは、前記入力画像に存在する臨床的特徴に対応する色の位置を識別するために色分析を実行することを含む、請求項２１または２２に記載の方法。

【請求項24】

前記入力画像内に存在する臨床的特徴に対応する色の位置を識別するために色分析を実行することは、前記臨床的特徴に対応する前記色が閾値量を超える前記入力画像内の領域を識別することを含む、請求項２３に記載の方法。

【請求項25】

前記閾値量は、１０^４cfu／g以上の細菌濃度に対応する、請求項２４に記載の方法。

【請求項26】

前記閾値量は、特定の細菌種の存在、位置、または存在量のうちの１つまたは複数に対応する、請求項２４に記載の方法。

【請求項27】

前記入力画像の臨床的に関心のある領域を識別するために、前記入力画像に対して色分析および／またはテクスチャ分析を実行することは、前記入力画像の臨床的に関心のない位置を識別するためにテクスチャ分析を実行することを含む、請求項２１または２２に記載の方法。

【請求項28】

前記入力画像および前記オーバーレイを含む出力画像をリアルタイムで表示することは、前記ハンドヘルド撮像装置のタッチスクリーンディスプレイ上に前記出力画像を表示することを含む、請求項２１～２７のいずれか１項に記載の方法。

【請求項29】

前記ハンドヘルド撮像装置の前記ディスプレイ上に前記入力画像を表示することと前記出力画像を表示することとの間で切り替えることをさらに含む、請求項２８に記載の方法。

【請求項30】

携帯型ハンドヘルド装置であって、
入力画像を受信するように構成された撮像装置と、
メモリと、
プロセッサであって、
前記入力画像を、第１のパラメータに対応する第１のチャネル、第２のパラメータに対応する第２のチャネル、および第３のパラメータに対応する第３のチャネルを含む所定の色空間に変換し、それによって変換画像を生成することと、
前記変換画像の前記第１のパラメータの第１の範囲について、前記第１の変換画像の前記第２のパラメータを閾値条件と比較することであって、前記第１の閾値条件は、前記第１のパラメータの前記第１の範囲と細菌シグネチャとの間の相関に基づく、比較することと、
前記第１のパラメータの前記第１の範囲について、前記変換画像の前記第３のパラメータを第２の閾値条件と比較することであって、前記第２の閾値条件は、前記第１のパラメータの前記第１の範囲と前記細菌シグネチャとの間の相関に基づく、比較することと、
前記第１のパラメータの前記第１の範囲について、前記第２のパラメータが前記第１の閾値条件を満たし、前記第３のパラメータが前記第２の閾値条件を満たす前記入力画像の領域を識別することと、
を含む、前記入力画像の色分析を実行することと、
サイズ閾値より小さい前記識別された領域を破棄することと、
前記入力画像の残りの識別された領域の輪郭を描くことによって、オーバーレイ画像を生成することと、
を実行するように構成されたプロセッサと、
を備える、装置。

【請求項31】

前記所定の色空間は、HSV色空間、CIEXYZ色空間、CIELUV色空間、RGB色空間、YCbCr色空間、YUV色空間、LCh色空間、L＊a＊b＊色空間、CMY色空間、CMYK色空間、またはカスタム色空間である、請求項３０に記載の装置。

【請求項32】

前記所定の色空間は、HSV色空間である、請求項３０に記載の装置。

【請求項33】

前記プロセッサは、前記輪郭が描かれた領域を所定の色で塗りつぶすようにさらに構成されている、請求項３０に記載の装置。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本出願は、２０２１年１１月２４日に米国特許商標庁に出願された米国仮出願第６３／２８２，８９４号の優先権を主張し、その内容全体が参照により本明細書に組み込まれる。

【0002】

技術分野
画像解釈のためのシステム、装置、および方法が開示される。画像は、蛍光画像を含む様々な種類の画像であってもよい。特に、システム、装置、および方法は、画像内の標的に関連する関心のある特性を識別または識別を支援するために、撮像システムによって取得された画像を利用、解釈、および／または修正することができる。様々な用途では、例えば、標的は創傷部であり得、本明細書のシステム、装置、および方法は、創傷部に存在する細菌を識別、定量、および／または区別するために使用され得る。

【背景技術】

【0003】

背景
創傷ケアは、主要な臨床的課題である。治癒性創傷および慢性非治癒性創傷は、炎症、壊死、滲出液の産生、出血、増殖、結合組織のリモデリング、および一般的な主要な懸念である細菌の存在、増殖および感染を含む多くの生物学的組織変化に関連する。創傷感染の一部は臨床的に明らかではなく、特に高齢者集団における創傷ケアに関連する個人的、感情的、および経済的負担の増大の一因となっている。例えば、緑膿菌および黄色ブドウ球菌は、病院環境で一般的であり、細菌感染の一般的な原因である細菌の属である。現在、創傷部評価の臨床的なゴールドスタンダードには、感染の典型的な徴候および症状に対する白色光照射下での創傷部の直接的な目視検査が含まれる。これは、多くの場合、検査室試験のためにスワブ培養物または組織生検試料と組み合わされる。

【0004】

特定の医療専門分野（例えば、心臓病学、腫瘍学、神経学、整形外科学など）は、診断および評価を支援するために特定の撮像モダリティ（例えば、X線、超音波、磁気共鳴画像法（MRI：magnetic resonance imaging）、コンピュータ断層撮影（CT：computed tomography）スキャンなど）に依存している。そのような専門分野の臨床医は、画像を解釈する高度で確立された方法を使用することができる。対照的に、創傷ケア専門分野では、ケアの標準は、歴史的にそのような撮像モダリティに依存せず、画像を解釈するそのような高度なまたは確立された方法は存在しない。一部の臨床医は、創傷部の画像を標準的な写真形式でキャプチャするためにカメラを使用し得るが、これらの形式は、創傷部内のいかなる細菌情報も識別または提示しない。

【0005】

定性的および主観的な視覚評価は、創傷部位の全体像を提供するにすぎず、組織および細胞レベルで生じている根本的な生物学的、生化学的、および分子的変化に関する情報を提供しない。さらに、細菌は肉眼では見えず、その結果、創傷部サンプリングが最適以下になり、創傷部における細菌増殖の変化を適切に追跡することができなくなる。これは、治癒および最適な抗菌処置の適時の選択を妨げる可能性がある。さらに、細菌存在の特定のマーカーを非細菌源によって引き起こされる類似のマーカーと区別することは困難であり得る。例えば、蛍光画像は、特定の細菌株から予想される蛍光と色が類似しているように見える非細菌源（例えば、入れ墨、指の爪、足の爪、宝飾品、背景環境など）からの反射を含むことができる。これらの状況は、創傷部が細菌を含まない場合に創傷部が細菌を含むと誤認すること（おそらく医学的に不必要な処置をもたらす）および／または創傷部が実際に感染している場合に創傷部が細菌を含まないと誤認すること（おそらく重度の感染拡大、生活の質の低下、指の喪失などをもたらす）をもたらし得る。

【0006】

したがって、特定の臨床的に重要な閾値を超える細菌レベルを潜在的に有する領域の存在および位置を確実に示すことができ、したがってより良好な処置を可能にし、特に慢性創傷部に関連する細菌負荷の上昇に起因する罹患率および死亡率の両方を低減することができる医用画像（創傷部または皮膚の蛍光画像など）の分析、解釈および／または修正のためのシステム、装置および方法が必要とされている。

【発明の概要】

【課題を解決するための手段】

【0007】

概要
これらおよび他の状況を考慮して、本開示は、画像内の関心領域の識別を支援するために画像のポイントオブケア解釈を提供する方法、システム、および装置を提供する。一例では、本開示の方法、システム、および装置は、創傷部などの組織の蛍光画像のポイントオブケア解釈を支援し、この支援は、画像上の細菌の領域を強調表示してユーザ／臨床医の注意を喚起することによって画像内の細菌の領域を識別する。

【0008】

本開示の一態様では、携帯型ハンドヘルド装置が提供され、携帯型ハンドヘルド装置は、蛍光画像を受信するように構成された撮像装置と、メモリと、プロセッサであって、蛍光画像をHSV色空間に変換し、それによって第１の変換画像を生成することと、第１の変換画像の色相パラメータの第１の範囲について、第１の変換画像の彩度パラメータを第１の彩度閾値条件と比較することであって、第１の彩度閾値条件は、色相パラメータの第１の範囲に対応する第１の色と第１の細菌蛍光シグネチャとの間の相関に基づく、比較することと、色相パラメータの第１の範囲について、第１の変換画像の値パラメータを第１の値閾値条件と比較することであって、第１の値閾値条件は、第１の色と第１の細菌蛍光シグネチャとの間の相関に基づく、比較することと、色相パラメータの第１の範囲について、彩度パラメータが第１の彩度閾値条件を満たし、第１の値パラメータが値閾値パラメータを満たす蛍光画像の領域を識別することと、を含む、蛍光画像の色分析を実行することと、サイズ閾値より小さい識別された領域を破棄することと、蛍光画像上の残りの識別された領域の輪郭を描くことによって、オーバーレイ画像を生成することと、を実行するように構成されたプロセッサと、を備える。

【0009】

本開示の別の態様では、システムが提供され、システムは、表示装置と、撮像装置であって、標的領域に励起光を照射するように構成された励起光源と、励起光に対する対象領域の応答に応じた蛍光画像をキャプチャするように構成された画像センサと、を備える撮像装置と、ハウジングと、ハウジング内に配置された処理回路であって、プロセッサを含み、プロセッサは、蛍光画像をHSV色空間に変換し、それによって第１の変換画像を生成することと、第１の変換画像の色相パラメータの第１の範囲について、第１の変換画像の彩度パラメータを第１の彩度閾値条件と比較することであって、第１の彩度閾値条件は、色相パラメータの第１の範囲に対応する第１の色と第１の細菌蛍光シグネチャとの間の相関に基づく、比較することと、色相パラメータの第１の範囲について、第１の変換画像の値パラメータを第１の値閾値条件と比較することであって、第１の値閾値条件は、第１の色と第１の細菌蛍光シグネチャとの間の相関に基づく、比較することと、色相パラメータの第１の範囲について、彩度パラメータが第１の彩度閾値条件を満たし、第１の値パラメータが値閾値パラメータを満たす蛍光画像の領域を識別することと、を含む、蛍光画像の色分析を実行することと、サイズ閾値より小さい識別された領域を破棄することと、蛍光画像上の残りの識別された領域の輪郭を描くことによって、オーバーレイ画像を生成することと、を実行するように構成されている、処理回路と、を備える。

【0010】

本開示のさらに別の態様では、蛍光画像解釈方法が提供され、方法は、蛍光画像を受信することと、蛍光画像をHSV色空間に変換し、それによって第１の変換画像を生成することと、第１の変換画像の色相パラメータの第１の範囲について、第１の変換画像の彩度パラメータを第１の彩度閾値条件と比較することであって、第１の彩度閾値条件は、色相パラメータの第１の範囲に対応する第１の色と第１の細菌蛍光シグネチャとの間の相関に基づく、比較することと、色相パラメータの第１の範囲について、第１の変換画像の値パラメータを第１の値閾値条件と比較することであって、第１の値閾値条件は、第１の色と第１の細菌蛍光シグネチャとの間の相関に基づく、比較することと、色相パラメータの第１の範囲について、彩度パラメータが第１の彩度閾値条件を満たし、第１の値パラメータが値閾値パラメータを満たす蛍光画像の領域を識別することと、を含む、蛍光画像の色分析を実行することと、サイズ閾値より小さい識別された領域を破棄することと、蛍光画像上の残りの識別された領域の輪郭を描くことによって、オーバーレイ画像を生成することと、を含む。

【0011】

本開示のさらに別の態様では、携帯型ハンドヘルド装置が提供され、携帯型ハンドヘルド装置は、蛍光画像を受信するように構成された撮像装置と、メモリと、蛍光画像をグレースケールに変換することにより、第１の変換画像を生成することと、画素ごとに、第１の変換画像の強度パラメータを強度閾値と比較することと、強度パラメータが強度閾値を超える画素の所定の画素距離内の領域を一時的に識別することと、蛍光画像を所定の色空間に変換することにより第２の変換画像を生成することと、第２の変換画像の各チャネル内で、一時的に識別された領域のそれぞれの勾配を決定することと、第２の変換画像の各チャネルのそれぞれの勾配が勾配閾値を超える一時的に識別された領域のうちの１つを恒久的に識別することと、を含む、蛍光画像のテクスチャ分析を実行するように構成されたプロセッサと、を備える。

【0012】

本開示のさらに別の態様では、臨床画像を解釈する場合の方法が提供され、方法は、ハンドヘルド撮像装置上で、入力画像を受信することと、入力画像に対して色分析および／またはテクスチャ分析を実行して、入力画像内の臨床的に関心のある領域を識別することと、オーバーレイを生成することであって、オーバーレイは、入力画像上に配置されたときに、関心のある１つまたは複数の臨床的特徴の標示を提供する１つまたは複数の色、強調表示、矢印、または他の強調表示方法を含む、生成することと、入力画像およびオーバーレイを含む出力画像をリアルタイムで表示することであって、入力画像上の関心のある臨床的特徴がオーバーレイによって撮像装置のユーザに対して強調表示される、表示することと、を含む。

【0013】

本開示のさらに別の態様では、携帯型ハンドヘルド装置が提供され、携帯型ハンドヘルド装置は、入力画像を受信するように構成された撮像装置と、メモリと、プロセッサであって、入力画像を、第１のパラメータに対応する第１のチャネル、第２のパラメータに対応する第２のチャネル、および第３のパラメータに対応する第３のチャネルを含む所定の色空間に変換し、それによって変換画像を生成することと、変換画像の第１のパラメータの第１の範囲について、第１の変換画像の第２のパラメータを閾値条件と比較することであって、第１の閾値条件は、第１のパラメータの第１の範囲と細菌シグネチャとの相関に基づく、比較することと、第１のパラメータの第１の範囲について、変換画像の第３のパラメータを第２の閾値条件と比較することであって、第２の閾値条件は、第１のパラメータの第１の範囲と細菌シグネチャとの相関に基づく、比較することと、第１のパラメータの第１の範囲について、第２のパラメータが第１の閾値条件を満たし、第３のパラメータが第２の閾値条件を満たす入力画像の領域を識別することと、を含む、入力画像の色分析を実行することと、サイズ閾値よりも小さい識別された領域を破棄することと、入力画像の残りの識別された領域の輪郭を描くことによって、オーバーレイ画像を生成することと、を実行するように構成されたプロセッサと、を備える。

【0014】

このように、本開示の態様は、少なくとも蛍光撮像の技術分野、ならびに画像処理、医療機器、バイオフォトニクス、創傷部処置などの関連技術分野における改善を提供する。本開示のさらなる態様は、以下の説明に部分的に記載され、その説明から部分的に明らかになるか、または本開示の実施によって習得され得る。本開示の態様およびそれから生じる利点は、添付の特許請求の範囲およびそれらの均等物において特に指摘される要素および組み合わせによって実現および達成され得る。

【0015】

前述の一般的な説明および以下の詳細な説明の両方は、例示的かつ説明的なものにすぎず、本開示および特許請求の範囲を限定するものではないことを理解されたい。

【0016】

図面の簡単な説明
本開示のこれらおよび他の態様は、添付の図面に関して説明される。

【図面の簡単な説明】

【0017】

【図1A】本開示の様々な態様による例示的な装置を示す。

【図1B】本開示の様々な態様による例示的な装置を示す。

【図2】本開示の様々な態様による別の例示的な装置を示す。

【図3】本開示の様々な態様による装置の例示的な概略図を示す。

【図4A】本開示の様々な態様による例示的なプロセスフローを示す。

【図4B】本開示の様々な態様による例示的なプロセスフローを示す。

【図5A】本開示の様々な態様による例示的な画像を示す。

【図5B】本開示の様々な態様による例示的な画像を示す。

【図6A】本開示の様々な態様による例示的な画像を示す。

【図6B】本開示の様々な態様による例示的な画像を示す。

【発明を実施するための形態】

【0018】

詳細な説明
ここで、様々な例示的な実施形態を詳細に参照し、その例を添付の図面に示す。様々な例示的な実施形態は、本開示を限定することを意図するものではない。逆に、本開示は、例示的な実施形態の代替形態、修正形態、および均等物を網羅することを意図している。なお、図面および説明において、同様の要素には同様の符号を付している。本明細書で個々に説明された特徴は、任意の技術的に適切な方法で相互に組み合わせることができ、本開示の追加の実施形態を開示することができることに留意されたい。

【0019】

本開示は、写真を検討する臨床医のためのガイダンスを提供するための自動画像解釈を提供する装置、システム、およびコンピュータ実施方法を提供する。例えば、細菌蛍光の領域が識別され、例えば感染が疑われる領域の輪郭を描くことによって画像上に示されるように、蛍光画像がキャプチャされ分析されるときである。いくつかの態様では、これは、細菌を示すことが示された画像内の色の濃淡（例えば、赤色、黄色、およびシアン色）を検出することによって達成される。画像解釈要素および動作は、１つまたは複数の細菌蛍光シグナルについて（例えば、赤色細菌蛍光シグナルおよびシアン細菌蛍光シグナルの両方について）画像を分析する。

【0020】

本開示は、主に創傷部成分の識別および蛍光画像にキャプチャされた特徴に関して記載しているが、本明細書に開示される装置、システムおよび方法は、状態および／または細菌などの微生物の存在、位置および／または存在量に相関し得る識別可能な色またはテクスチャプロファイルを有する任意の標的表面または対象物の特徴を識別するために使用することもできる。例えば、本開示は、蛍光、白色光、または他の画像でキャプチャされた癌組織（例えば、最良の癌手術のための腫瘍摘出術）などの切除組織の特徴を識別するために使用され得る。切除組織で使用する場合、装置および方法を使用して、例えば、組織成分、腫瘍サイズ、腫瘍エッジ、腫瘍境界、および蛍光画像に示される組織血管新生などの特徴を識別することができる。さらに、本開示は、主に蛍光の特定の波長および対応するまたは関連する細菌種などに関して記載しているが、本開示はそのように限定されない。実際の実装形態では、本明細書の装置、システム、および方法は、細菌種についての所与の波長または波長範囲の固有の蛍光発光シグネチャに基づいて、任意の細菌種について再較正することができ、同様に、固有の蛍光シグネチャが知られている他の組織成分（正常または異常）と共に使用することができる。本開示は、ウイルス、真菌、酵母、および／または他の微生物を含むがこれらに限定されない非細菌シグネチャに関してさらに実施され得る。本明細書に開示される装置、システム、および方法は、蛍光画像と共に使用することに限定されず、代わりに、例えば白色光画像などの他のタイプの画像を分析するために使用されてもよい。上記の再較正または追加の実装は、特定の実装に応じて特定の閾値を選択することによって、本明細書に記載の方法、システム、および装置の残りの部分をほとんどまたは全く変更することなく達成することができる。

【0021】

本明細書に記載の例示的な創傷部監視装置は、特定の励起光源およびそれに取り付けられた光学バンドパスフィルタを有するハンドヘルド／携帯型光学デジタル撮像装置を含む。これらの装置には、国際特許出願公開第２００９／１４０７５７号明細書、国際特許出願公開第２０１９／１４８２６８号明細書、国際特許出願公開第２０２０／０１４８７２５号明細書、および／または国際特許出願公開第２０２０／０１４８７２６号明細書に記載されているものが含まれるが、これらに限定されず、その全内容は各々その全体が参照により本明細書に組み込まれる。本明細書にさらに記載される撮像装置およびシステムを使用して、励起光への曝露に起因する創傷部中の成分の蛍光を撮像および分析することができる。例えば、緑膿菌によって引き起こされる、または緑膿菌を含む細菌の存在を有する創傷部では、緑膿菌は、励起光に供されると、特定のスペクトルシグネチャ、すなわち既知のピークを有する波長の１つまたは複数のバンドで蛍光を発する。励起光は、４０５nmのピークなどの既知の波長または既知のピークを有する波長範囲の任意の光を含み得る。このデータをキャプチャおよび分析することにより、一般に細菌の存在の識別、ならびに特定の種類の細菌の存在、位置、および／または存在量の識別も可能になる。細菌の存在ならびに創傷部のさらなる特徴を識別、タイプ分類および定量化するために、装置およびシステムが訓練される。

【0022】

創傷部監視装置の１つの例は、２つ以上のカメラ（すなわち、カメラセンサ）を有する撮像装置と、下記により詳細に記載されるように、アルゴリズムまたは他の動作を行うためにカメラセンサからキャプチャされた画像を分析するために撮像装置に結合されたプロセッサとを含む、携帯型ハンドヘルド撮像システムである。撮像装置は、例えば、第１の１次カメラセンサおよび第２の２次カメラセンサを含む。第１の１次カメラセンサおよび第２の２次カメラセンサは、標準的な白色光（WL：white light）画像、蛍光（FL：fluorescent）画像、近赤外（NIR：near infrared）画像、または赤外（IR：infrared）画像を捕捉するように構成され得る。センサは、撮像装置に関連する複数のフィルタ（例えば、フィルタホイール、同調フィルタなど）から選択可能な専用フィルタと共に使用することによってそのように構成することができる。したがって、本明細書に開示される方法は、WL、FL、NIRまたはIR画像においてキャプチャされた特徴を測定するために使用され得る。いくつかの実装形態では、（１次および２次カメラセンサによってそれぞれ撮影された）１次および２次画像の視差値の決定を可能にするために、第１のカメラセンサは、第２のカメラセンサから所定の固定分離距離だけ分離される。

【0023】

図１Ａ～図１Ｂは、本開示による例示的な創傷部監視装置１００を示し、図１Ａは創傷部監視装置１００の前方斜視図であり、図１Ｂは創傷部監視装置１００の後方斜視図である。装置１００は、例えば、MolecuLight（登録商標）によって開発されたMolecuLight DX（登録商標）装置とすることができる。装置１００は非接触であり、白色光および／または蛍光撮像のために撮像コントラスト剤は必要とされない。図示のように、創傷部監視装置１００は、表示装置１１０と、撮像装置１２０と、ハウジング１３０とを含む。

【0024】

撮像装置１２０は、例えば、第１の画像センサ１２１、第２の画像センサ１２２、および第３の画像センサ１２３などの少なくとも１つの画像センサを有する。第１の画像センサ１２１、第２の画像センサ１２２、および第３の画像センサ１２３の各々は、WL、FL、IR、および熱撮像のうちの１つまたは複数に使用され得る画像センサとして個別に実装されてもよい。一例では、第１の画像センサ１２１および第３の画像センサ１２３は、立体視白色光撮像用に共に構成され、第２の画像センサ１２２は、蛍光撮像用に構成される。別の例では、第１の画像センサ１２１および第３の画像センサ１２３は、立体蛍光撮像用に共に構成され、第２の画像センサ１２２は、白色光撮像用に構成される。さらに別の例では、第１の画像センサ１２１は白色光撮像用に構成され、第２の画像センサ１２２は第１の波長または波長範囲の蛍光撮像用に構成され、第３の画像センサ１２３は第２の波長または波長範囲の蛍光撮像用に構成される。第１の画像センサ１２１、第２の画像センサ１２２、および第３の画像センサ１２３の物理的な配置（すなわち、順序付け）も、図１Ｂに示すものと異なっていてもよい。例示を容易にするために、創傷部監視装置１００は３つの画像センサを示しているが、本開示は、蛍光信号を受信することができる少なくとも１つの画像センサが存在する限り、任意の数の画像センサを含む撮像装置１２０を含む。図２の説明において、第１の画像センサ１２１、第２の画像センサ１２２、および第３の画像センサ１２３は、光学バッテリ１２４内に配置されている。光学バッテリ１２４は、発光ダイオード（LED：light-emitting diode）として実装された励起光源１２５などの、１つまたは複数の励起光源をさらに含んでもよい。光学バッテリ１２４は、少なくとも１つの白色光トーチ、測距器、温度センサなどをさらに含んでもよい。

【0025】

ハウジング１３０は、電源ボタン、１つまたは複数の入力ボタンなどの物理的ユーザインターフェースを含むことができる。ハウジング１３０はまた、有線充電ポート、誘導充電ポート、ユニバーサルシリアルバス（USB：universal serial bus）ポート、および／または他の周辺ポートなどの様々な入力および出力ポートを含むことができる。図１Ｂに示すように、ハウジング１３０は、撮像装置１２０が取り付けられる光学マウント１３１を含む。光学マウント１３１は、恒久的な物理的マウントを提供することができ、または撮像装置１２０がモジュール式（すなわち、内視鏡用ヘッドなどの他の撮像装置に置き換えてもよい）である実装形態では取り外し可能なマウントを提供することができる。ハウジング１３０は、一体構造であってもよく、または互いに取り付けられた複数のハウジング構成要素を含んでもよい。図１Ａ～図１Ｂには特に示されていないが、ハウジング１３０は、プロセッサ（例えば、中央処理装置（CPU：central processing unit））、メモリ、プログラムストレージなどの様々な構成要素が配置される内部空間を含んでもよい。

【0026】

図２は、本開示による別の例示的な創傷部監視装置２００の４つの図（正面、右側面、背面、および左側面の立面図）を示す。装置２００は、例えば、MolecuLight（登録商標）によって開発されたMolecuLight i：X（登録商標）装置とすることができる。装置２００は、臨床医が、ポイントオブケアを含むがこれに限定されないリアルタイムで、皮膚および創傷部における細菌の存在および分布を迅速、安全かつ容易に視覚化することを可能にする。装置２００は非接触であり、白色光および／または蛍光撮像のために撮像コントラスト剤は必要とされない。装置２００は、高解像度カラーLCDディスプレイと、一体化された光学部品およびマイクロ電子部品ならびに内部バッテリ電源を備えたタッチセンシティブスクリーン２０８とで構成されるハンドヘルド携帯型医療装置として示されている。装置２００は、装置をオンおよびオフにするための電源ボタン２０１と、表示画面２０８をオンおよびオフにするための表示画面電源ボタン２０２と、装置全体の性能を示すシステムステータスLED２０３と、装置のバッテリ充電を示すバッテリステータスLED２０４と、標的とされているかまたは撮像されている創傷部からの最適な距離を示すレンジファインダLEDシステム２０５と、蛍光モード撮像のための最適な照明環境を示すための周囲光ステータスLED２０６と、装置２００が長時間の使用後に熱くなる可能性があるときに熱を放散するためのヒートシンク２０７と、装置２００の画像およびビデオキャプチャ機能へのアクセスを提供するためのホームボタン２０９と、充電およびデータ転送のためのポート２１０とをさらに含む。ポート２１０は、USBまたはMolecuLight i：X（登録商標）接続ケーブルなどの任意の汎用または専用ケーブルと共に使用することができる。

【0027】

装置２００は、標準撮像モードと蛍光撮像モードとの間の切り替えを可能にするロッカースイッチ２１１をさらに含む。例えば、装置２００は、標準撮像モードおよび蛍光撮像モードの両方を使用して、リアルタイム画像（例えば、JPGフォーマットでは）およびビデオ（例えば、MOVフォーマットで）をキャプチャする。標準撮像モードは、一般に、標準的な写真撮影、すなわち、標準的な白色光で照明された標的のRGB画像およびビデオをキャプチャするために使用される。蛍光撮像モードは、既知のピーク波長を有する光で照明され、光によって励起されている特定の標的から蛍光を生成するように意図された標的のRGB画像およびビデオをキャプチャするために使用される。したがって、装置２００は、蛍光撮像モードにあるときに標的を照らすための特定の波長または波長範囲を有するLED２１２と、画像およびビデオのキャプチャを可能にするカメラレンズ２１３と、創傷部または周囲の皮膚からの最適な距離を検出するためのレンジファインダセンサ２１４と、蛍光撮像モードのための最適な照明条件を検出するための周囲光センサ２１５とをさらに含む。さらに、装置２００は、ユーザが装置をしっかりと把持することを可能にするための保持輪郭２１７と、標準または独自の電源アダプタを使用して装置の充電を可能にする充電ポート２１８とを含む。

【0028】

図３は、本開示による創傷部監視装置３００の例示的な概略図を示し、これは、図１～図２に示す装置１００または２００と同一または類似であってもよく、または異なる装置であってもよい。図３に示すように、創傷部監視装置３００は、蛍光画像センサ３１０と、励起光源３２０と、コントローラ３３０と、表示装置３４０と、メモリ３５０と、ユーザインターフェース（UI：user interface）３６０と、電源３７０と、通信処理回路３８０と、入力／出力（I／O：input／output）処理回路３９０とを含む。

【0029】

蛍光画像センサ３１０は、入射電磁放射線（例えば、光）を受信し、放射線を、画像センサの視野の画像を生成するために使用され得る信号電荷に変換する光電変換装置として実装され得るか、またはそれを含み得る。そのような画像センサは、例えば、相補型金属酸化膜半導体（CMOS：complementary metal-oxide semiconductor）アーキテクチャ、電荷結合素子（CCD：charge-coupled device）アーキテクチャなどを有することができる。光電変換装置は、各々がフォトダイオードなどの受光素子を含む複数の個々の画素回路のアレイを含むことができる。画像センサは、駆動回路、タイミング回路、メモリ回路、制御回路、出力回路、電源回路、バスなどの追加の処理回路を含むことができる。

【0030】

蛍光画像センサ３１０は、特定の波長の光を遮断し、他の波長の光を蛍光画像センサ３１０に通過させるためのフィルタまたは複数のフィルタを含むことができる。複数のフィルタが存在する実装形態では、フィルタは、個々のフィルタを個別に選択し、蛍光画像センサ３１０（例えば、フィルタホイール）の前に移動させて、光の波長に基づいて特定の光信号を選択的に検出することを可能にする装置に配置することができる。蛍光画像センサ３１０は、例えば少なくともISO８００感度を有するが、より好ましくはISO３２００感度を有するデジタルカメラの一部であってもよく、１つまたは複数の発光フィルタ、または他の同等に効果的な（例えば、小型化）機械化スペクトルフィルタリング機構（例えば、音響光学チューナブルフィルタまたは液晶チューナブルフィルタ）と組み合わされてもよい。各光学フィルタは、異なる離散スペクトル帯域幅を有してもよく、バンドパスフィルタ、マルチバンドフィルタ、ショートパスフィルタ、またはロングパスフィルタであってもよい。一例では、蛍光画像センサ３１０は、６００～６６０nmの通過帯域を有する第１のフィルタと、４７０～５２０nmまたは５００～５５０nmの通過帯域を有する第２のフィルタとを含む。蛍光画像センサ３１０は、標的領域（例えば、撮像されている領域）を指すように位置合わせされ、かつ標的領域または表面から発する光学信号を検出することができるレンズを含むことができる。

【0031】

励起光源３２０は、光信号（例えば、蛍光）を誘発するために標的対象物（例えば、創傷部または他の関心領域）を照明するために、励起光または照明、例えば、４００～４５０nmの波長ピークを有する単色光もしくは白色光、または単一もしくは複数の波長の任意の他の組み合わせ（例えば、紫外／可視／近赤外／赤外範囲の波長）を生成する１つまたは複数の発光素子であり得るか、それらを含み得る。例えば、励起光源３２０は、約４０５nm（例えば、±５nm）の光を放出する青色または紫色LEDアレイであってもよく、LEDアレイ出力からの光の側方スペクトル帯域を除去／最小化して、それ自体の光学フィルタを有する撮像検出器への光漏れを引き起こさないように、約４０５nmを中心とする追加のバンドパスフィルタと結合されてもよい。励起光源３２０は、さらにまたは代替的に、様々な形状に配置されたレーザダイオードおよび／またはフィルタリングされた光を含んでもよい。装置３００は、熱を放散し、励起光源３２０を冷却するための方法または装置（例えば、ヒートシンクまたは冷却ファン）を含むことができる。装置３００は、撮像されている対象物を照明するために使用される励起光源３２０から任意の望ましくない波長の光を除去するためのシステムまたは装置（例えば、光バンドパスフィルタ）を含むことができる。

【0032】

コントローラ３３０は、１つまたは複数のコンピュータプロセッサ（処理ユニット）、マイクロプロセッサ、デジタル信号プロセッサ、コントローラおよびマイクロコントローラなどの電子プロセッサであってもよい。論理は、例示的な実施形態では、ランダムアクセスメモリ（RAM：random access memory）、読み出し専用メモリ（ROM：read-only memories）、消去可能／電気的に消去可能なプログラマブル読み出し専用メモリ（EPROMS／EEPROMS：erasable/electrically erasable programmable read-only memories）、フラッシュメモリなどとすることができるメモリ３５０などのコンピュータ可読媒体に記憶された信号から形成することができる。論理はまた、デジタルおよび／またはアナログハードウェア回路、例えば、論理AND、OR、XOR、NAND、NOR、および他の論理演算を含むハードウェア回路を含むことができる。論理は、ソフトウェアとハードウェアとの組み合わせから形成され得る。ネットワーク上では、論理は、サーバまたはサーバの複合体上でプログラムされてもよい。特定の論理ユニットは、ネットワーク上の単一の論理位置に限定されない。さらに、モジュールは、特定の順序で実行される必要はない。各モジュールは、実行される必要があるときに別のモジュールを呼び出すことができる。

【0033】

表示装置３４０は、液晶ディスプレイ（LCD：liquid crystal display）、量子ドットディスプレイ、有機発光ディスプレイ（OLED：organic light emitting display）、薄膜トランジスタ（TFT：thin-film transistor）ディスプレイなどを含むが、これらに限定されない任意のタイプのディスプレイであってもよい。表示装置３４０は、蛍光画像センサ３１０の視野のリアルタイム表示を提供し、メモリ３５０に格納されたまたはリモートに格納された画像を表示し、グラフィックオーバーレイを提供するなどのように構成することができる。表示装置３４０は、臨床医からの入力を可能にするためのタッチパネルをユーザインターフェースとして含むことができる。表示装置３４０は、１つまたは複数のグラフィカルユーザインターフェース（GUI：graphical user interface）を提示するように構成されてもよい。

【0034】

UI３６０は、物理的なボタン、ダイヤル、スイッチなどを含む、ユーザが装置３００と対話するための物理的および仮想的な機構、表示装置３４０に表示されるインタラクティブアイコン、および／または１つまたは複数のGUIを含むことができる。電源３７０は、AC／DC電源、小型電池バンク、または充電式電池パックであってもよい。追加的または代替的に、装置３００は、外部電源に接続するように適合されてもよい。通信処理回路３８０は、装置３００と外部装置との間の通信を可能にするための有線通信処理回路および／または無線通信処理回路を含むことができる。通信処理回路３８０は、同軸ケーブル、USBケーブル、イーサネット（登録商標）ケーブルなどの有線通信媒体を使用して、および／またはWi－Fi、Bluetooth、近距離無線通信（NFC：Near Field Communication）、４Gセルラ通信、５G無線通信などの無線通信プロトコルを使用して通信するように構成されてもよい。

【0035】

I／O処理回路３９０は、ヘッドマウントディスプレイ用のインターフェース、外部プリンター用のインターフェース、タブレットコンピュータ、ラップトップコンピュータ、デスクトップコンピュータまたは他のコンピュータ装置のためのインターフェース、追加メモリの使用を可能にする装置のためのインターフェース、マイクロフォン用のインターフェースのうちの１つまたは複数であってもよいし、またはそれらを含んでもよい。装置３００は、すべての構成要素を１つのエンティティ内に収容するハウジングを有することができる。ハウジングは、その中に任意のデジタル撮像装置を固定する手段を備えることができる。ハウジングは、ハンドヘルド、小型、および／または携帯可能に設計されてもよい。ハウジングは、１つまたは複数のエンクロージャまたは別個のハウジングであってもよい。

【0036】

装置３００は、蛍光画像の画像解釈を提供するものを含む様々なアルゴリズムを実行するためのアプリケーションプログラム（例えば、メモリ３５０に格納され、実行のためにコントローラ３３０によってロードされる）で構成することができる。例えば、プロセッサは、例えば、蛍光画像に存在する色の色相、彩度、および値を分析し、分析に基づいて、細菌の存在の１つまたは複数の領域に対応する画像の領域を識別することによって蛍光画像を「解釈」するように構成されてもよく、細菌の存在および／または存在量は、特定の定量的閾値、またはスペクトルシグネチャに基づいてもよい特定の種類の細菌を超える。分析は、例えば、画像のHSVパラメータを閾値パラメータと比較することを含むことができ、閾値は、疑わしいあるいは疑わしくない、または閾値量の細菌を含む画素を除去するように設定される。次いで、プロセッサは、元の画像上に配置されたオーバーレイを作成して、元の画像のこれらの領域を強調表示し、臨床医がこれらの領域を（例えば、特定のレベルの細菌および／または特定の種類の細菌を含有するものとして）疑わしいと考えるか、または創面切除もしくはスワブ採取などの物理的フォローアップを考慮すべきであることを示すことができる。

【0037】

色分析のみでは蛍光画像内の特定の関心領域を識別するのに十分でない場合、以下に説明するように、画像のテクスチャ分析も実行することができる。この分析は、色分析と並行してまたは連続して実行されてもよい。例えば、テクスチャ分析は、関心のある細菌シグネチャがシアンまたはチーク（ピンク）などの非原色を含む画像の領域を識別するのに役立ち得る。この分析は、色分析と組み合わせて、プロセッサが蛍光画像内の特定の細菌蛍光シグネチャを示す特定の領域を識別することを可能にする。

【0038】

このようにして、本開示の装置および方法は、創傷部の蛍光画像を解釈する際に臨床医を支援する。

【0039】

例示的な一実施形態によれば、プロセッサ３３０は、蛍光画像の色分析を実行するように構成され得、この色分析は、蛍光画像をHSV色空間に変換して第１の変換画像を生成することと、第１の変換画像の彩度パラメータを第１の彩度閾値条件と比較することであって、第１の彩度閾値条件は、第１の色と第１の細菌蛍光シグネチャとの間の相関に基づく、比較することと、第１の変換画像の値パラメータを第１の値閾値条件と比較することであって、第１の値閾値条件は、第１の色と第１の細菌蛍光シグネチャとの間の相関に基づく、比較することと、彩度パラメータが第１の彩度閾値条件を満たし、第１の値パラメータが閾値条件を満たす蛍光画像の領域を（例えば、対応するデータにフラグを立てることによって）識別することと、サイズ閾値よりも小さい識別された領域を（例えば、フラグが立てられた領域に対応するデータにフラグを解除することによって）破棄することと、蛍光画像上の残りの識別された領域の輪郭を描くことによって、オーバーレイ画像を生成することと、を含む。色分析は、個々の色と様々な細菌蛍光シグネチャとの間の相関に基づいて、各々が独自の彩度閾値条件および／または値閾値条件を有する複数の色について繰り返されてもよい。本開示の他の例では、HSL、CIEXYZ、CIELUV、L＊a＊b＊、RGB、YCbCr、YUV、LCh、CMY、CMYK、およびカスタム色空間を含むが、これらに限定されないHSV以外の色空間を色分析に使用することができる。HSV以外の色空間を用いる場合、閾値条件（例えば、色相閾値、彩度閾値、および／または値閾値）を他の色空間に直接変換してもよい。なお、色分析で使用される色空間が、入力画像がキャプチャされた色空間と同一である（例えば、両方ともRGB）場合には、変換動作を省略してもよい。

【0040】

プロセッサ３３０は、蛍光画像のテクスチャ分析を実行するように構成されてもよく、テクスチャ分析は、蛍光画像をグレースケールに変換して第２の変換画像を生成することと、画素ごとに、第２の変換画像の強度パラメータを強度閾値と比較することと、強度パラメータが強度閾値を超える画素の所定の画素距離内の領域を一時的に識別することと、蛍光画像をL＊a＊b＊色空間に変換することによって第３の変換画像を生成することと、第３の変換画像の各チャネル内で、一時的に識別された領域のそれぞれの勾配を決定することと、第３の変換画像の各チャネルのそれぞれの勾配が勾配閾値を超える一時的に識別された領域のうちの１つを恒久的に識別することと、を含む。本開示の他の例では、HSV、CIEXYZ、CIELUV、RGB、YCbCr、YUV、LCh、CMY、CMYK、およびカスタム色空間を含むが、これらに限定されないL＊a＊b＊以外の色空間をテクスチャ分析に使用することができる。L＊a＊b＊以外の色空間が使用される場合、閾値（例えば、強度閾値および／または勾配閾値）は、他の色空間の特性に基づいて新たに選択および／または生成されてもよい。HSV以外の色空間を用いる場合、閾値条件（例えば、色相閾値、彩度閾値、および／または値閾値）を他の色空間に直接変換してもよい。なお、テクスチャ分析で使用される色空間が、入力画像がキャプチャされた色空間と同一である（例えば、両方ともRGB）場合には、変換動作を省略してもよい。テクスチャ分析で使用される色空間が色分析で使用される色空間と同じである場合、（色分析およびテクスチャ分析が行われる順序および／または分析が連続または並列で行われるかどうかに応じて）変換動作の１つを省略することができる、および／または２つの変換動作を組み合わせることができる。

【0041】

テクスチャ分析を使用して、細菌由来の見かけの蛍光源と非細菌由来の見かけの蛍光源（例えば、骨、腱、刺青インクなど）とを区別することができる。分析は、例えば、１０^４コロニー形成単位／グラム（cfu／g）以上の細菌濃度に対応する個々の細菌シグネチャを識別するために使用され得、以下のいずれか１つの存在を示し得る。

【0042】

【表1】

【0043】

上記のリストは、非限定的かつ例示的なものにすぎず、本開示の装置および方法が適用され得るすべての種を包含するものではない。例えば、１０^４cfu／g以上の濃度で存在する細菌を識別することに加えて、本開示の画像分析は、１つまたは複数の閾値を選択するための基礎を形成し得る画像内の特定の色、強度、またはテクスチャ特徴について何らかの知覚可能な違いがある限り、臨床医が診断に有用または関連すると考えることができる他の特性を識別するために使用され得る。

【0044】

図４Ａは、本開示による動作の一例を示す。図４Ａの動作は、色およびテクスチャ閾値分析を含み、単色に対して実行されてもよい。動作は、４１０Aにおいて、入力画像を受信することを含む。入力画像は、メモリから取り出された、または画像センサによってキャプチャされた静止画像、メモリから取り出された、および／または画像センサによってキャプチャされたビデオ画像、および／または画像センサからのリアルタイムのビデオストリームであってもよい。入力画像は、励起光に曝露された標的領域（例えば、創傷部）の応答をキャプチャした蛍光画像キャプチャであってもよい。図４Ａは、標的色に対して並行して実行される２つの閾値処理動作、すなわち、蛍光色閾値処理を実行する動作４２０Aと、蛍光テクスチャ閾値を実行する動作４３０Aとを示す。動作４２０Aおよび４３０Aは、並列に実行されることに限定されず、任意の順序で連続して実行されてもよい。いくつかの実装形態については（例えば、特定の色については）、動作４２０Aのみまたは動作４３０Aのみが実行されてもよい。図４Ａの色および／またはテクスチャ閾値分析は、連続または並列の複数の色に対して実行することができる。例えば、動作４２０Aは、第１の色に対してのみ実行されてもよく、その後、動作４２０Aおよび４２０Aの両方は、第２の色に対して実行されてもよく、以下同様である。

【0045】

動作４２０Aは、入力画像（これは、例えば、赤－緑－青（RGB：red-green-blue）色空間でキャプチャすることができる）をHSV色空間に変換し、それによって変換画像を生成する動作４２１Aを含む。HSV色空間は、色相（H：hue）、彩度（S：saturation）、および値（V：value）の３つのチャネルを含む。Hパラメータは０°～３６０°の度数で表され、SおよびVパラメータは０％～１００％のパーセンテージで表される。RGB色空間からHSV色空間に変換するには、例えば、画素単位で入力画像に変換アルゴリズムを適用すればよい。この変換アルゴリズムは、R、G、およびB画素値の各々を１に正規化すること、正規化されたR、G、またはBパラメータが最大であるかどうかに依存する式を使用して色相を計算すること、最大の正規化されたR、G、およびBパラメータと最小との差に基づいて、および最大の正規化されたR、G、およびBパラメータの値に基づいて、彩度を計算することと、最大の正規化されたR、G、およびBパラメータに基づいて値を計算することと、を含んでもよい。

【0046】

動作４２０Aは、変換画像のH、S、およびVチャネルの各々を閾値条件と比較する動作４２２Aを含む。チャネルごとに閾値条件を満たす画素を候補画素として識別してもよい。以下の例では、「真の」カラー画素ではない可能性がある画素は、閾値処理によって排除される。これは、例えば、特定の濃度を有する細菌に対応する画素を識別するために、または特定の細菌種に対応する画素に限定するために行われ得る。閾値処理動作は、連続する各チャネルのすべての画素に対して（すなわち、Hについてのすべての画素、Sについてのすべての画素、Vについてのすべての画素）、または連続する各画素のすべてのチャネルに対して（すなわち、左上画素のH、S、およびV、続いて右隣接画素のH、S、およびV、以下同様）行われ得る。動作４２２Aの一例では、色相閾値条件は、標的色の２０°以内のHパラメータを有する画素が「色候補」画素と見なされることであってもよく、彩度閾値条件は、７５％より大きいSパラメータを有する画素が「色候補」画素と見なされることであってもよく、値閾値条件は、７５％より大きいVパラメータを有する画素が「色候補」画素と見なされることであってもよい。動作４２２Aはまた、各チャネルが対応する閾値条件を満たす変換画像（または元の蛍光画像）の領域を（例えば、データフラグを付加または更新することによって）識別することを含むことができる。したがって、３つのチャネルの各々において色候補である画素は、「標的色」画素と考えることができる。

【0047】

動作４３０Aは、入力画像をグレースケールに変換し、それによって変換画像を生成する動作４３１Aを含む。RGB色空間からグレースケールに変換するには、例えば、画素単位で入力画像に変換アルゴリズムを適用すればよい。この変換アルゴリズムは、R、G、およびB成分の単純平均、R、G、およびB成分の加重平均などを決定することを含むことができる。したがって、変換されたグレースケール画像は、色に関係なく入力画像の光度または強度を表すことができる。動作４３１Aの後、４３２Aにおいて、変換されたグレースケール画像は、画素ごとに強度閾値と比較され得る。強度閾値よりも大きい強度に対応する画素は、（例えば、動作４３０Aが終了するまで識別される）「テクスチャ候補」画素として一時的に識別され得る。いくつかの実装形態では、所定数の一時的に識別された画素内のすべての画素も同様に一時的に識別され、それによって「テクスチャ候補」画素領域を生成することができる。

【0048】

動作４３３Aにおいて、入力画像は、L＊a＊b＊（CIELABとも呼ばれる）色空間に変換され、それによって別の変換画像を生成する。L＊a＊b＊色空間は、知覚的明度（L＊）、相対的な緑－赤（a＊）、および相対的な青－黄（b＊）の３つのチャネルを含む。L＊パラメータは、０から１００までの数で表され、a＊およびb＊は、それぞれより多くの緑色またはより多くの青色を示す負の数、およびそれぞれより多くの赤色またはより多くの黄色を示す正の数で境界付けられない。いくつかの実装形態では、a＊およびb＊は、例えば実用的または計算上の理由で境界付けられてもよい。パラメータは、CIE標準光源D５０またはD６５などの標準光源（すなわち、基準白色値）に対する定義を必要とする場合がある。動作４３３Aは、RGBからXYZ（CIEXYZとも呼ばれる）色空間に変換する中間動作を含んでもよい。

【0049】

次に、４３４Aにおいて、変換されたL＊a＊b＊画像が分析されて、画像全体の各チャネルにわたる勾配の大きさを決定する。勾配は、画素ごとの各チャネル値の変化を指し、画素にわたる光度の増減率および色変化率に対応し得る。したがって、勾配は、入力画像の鋭いエッジまたは変化に関する情報を提供することができる。動作４３５Aにおいて、一時的に識別された画素領域内の勾配の大きさが、各チャネルにわたる平均および標準偏差（SD：standard deviation）の両方についての閾値と比較される。３つのチャネルすべてについて閾値条件が満たされる（例えば、平均および標準偏差がそれぞれの閾値を超える）領域（または一時的に識別された領域の部分）は、「標的テクスチャ」画素領域と見なすことができる。標的テクスチャ画素領域については、一時的な識別は恒久的な識別（例えば、動作４４０Aまたは動作４６０Aが完了するまで識別される）に変換され得る。標的テクスチャ画素領域と見なされない一時的に識別された領域については、その領域を破棄するように一時的な識別を消去することができる。標的色画素および標的テクスチャ画素の両方である画素は、標的画素、または特定の細菌種を示す画素と考えることができる。

【0050】

動作４２０Aおよび４３０Aの後（または、１つの閾値処理のみが実行される実装形態では、動作４２０Aまたは動作４３０Aの後）、動作４４０Aにおいて、小さい領域を除去する動作を実行することができる。動作４４０aは、各識別された領域のサイズをサイズ閾値（２次元領域および／または隣接する画素の数に関してであり得る）と比較することと、サイズ閾値よりも小さいサイズを有する変換画像の識別された領域を破棄することとを含むことができる。そのような小さい領域は、細菌感染を示すための最小許容領域を下回る。

【0051】

動作４５０Aにおいて、細菌の領域の輪郭を描くために、動作４２０Aおよび／または４３０Aの結果に基づいて輪郭が描かれる（例えば、別個の画像として、または入力画像自体に）。それにより、「オーバーレイ画像」は、入力画像自体に変更が加えられないように、入力画像自体から分離して示され、格納され、などされる要素としてオーバーレイ自体を指すことができる。動作４５０Aは、入力画像の全体に対して、または入力画像の一部のみに対して実行されてもよい。例えば、輪郭は、画像の中心とエッジとの間の閾値を検出するときに色の不一致を軽減するために、入力画像の中央領域（例えば、所定の矩形または他の形状の領域内）にのみ描かれてもよい。動作４５０Aは、入力画像上に中央領域の境界を描くことを含むことができる。いくつかの実装形態では、動作４５０Aで描かれる輪郭は、標的細菌種に対応する色または任意の他の色などの色で描かれてもよい。いくつかの実装形態では、動作４５０Aで描かれる輪郭には、ラベル（例えば、色で標識されている、および／または細菌種の名称で標識されている）が付加されてもよい。他の実装形態では、輪郭は色で塗りつぶされてもよく、または矢印もしくは他のポインタまたは指示アイコンで関連領域を強調する他の形態（例えば、部分的に透明なカラーオーバーレイ、クロスハッチングなど）に置き換えられてもよい。いくつかの実装形態では、細菌の領域は、入力画像以外の画像（例えば、入力蛍光画像に対応する白色光画像）に輪郭を重ねることによって識別することができる。動作４６０Aにおいて、オーバーレイ画像が出力される（例えば、オペレータに表示され、メモリに格納され、別の装置に送信されるなど）。画像キャプチャと比較して、オーバーレイ画像出力は、リアルタイム（例えば、画像をキャプチャするのと同じ装置上にライブビューまたはプレビューとして表示される）またはほぼリアルタイム（例えば、０．５秒以内）で実行することができる。

【0052】

本開示による動作の別の例を図４Ｂに示す。動作は、４１０Bにおいて、入力画像を受信することを含む。入力画像は、メモリから取り出された、または画像センサによってキャプチャされた静止画像、メモリから取り出された、および／または画像センサによってキャプチャされたビデオ画像、および／または画像センサからのリアルタイムのビデオストリームであってもよい。入力画像は、励起光に曝露された標的領域（例えば、創傷部）の応答をキャプチャした蛍光画像であってもよい。動作は、４２０Bにおいて、入力画像のホワイトバランスの正確さを検証するか、そうでなければ保証することを含む。動作４２０Bは、ホワイトバランス補正（例えば、画像センサによる自己補正）が入力画像に適用されたかどうかを判定することを含むことができる。判定は、入力画像に含まれるメタデータおよび／または画像キャプチャ装置自体に関連する情報に基づくことができる。ホワイトバランス補正が適用されている場合、動作４２０は、画像ごとの変動を緩和するために補正を取り消すことを含むことができる。ホワイトバランス補正が適用されていない場合、動作４２０Bはさらなる動作を含まなくてもよい。このようにして、動作４２０Bは、画像キャプチャ時に記録された温度および色味値に基づいて、各入力画像を同じ色温度および色味に設定する。

【0053】

ホワイトバランスの正確さが検証された後、赤色蛍光色閾値処理を実行する動作４３０B、シアン蛍光テクスチャ閾値処理を実行する動作４４０B、およびシアン蛍光色閾値処理を実行する動作４５０Bの１～３つ（またはそれ以上）の閾値処理動作が実行される。動作４３０B、４４０B、および４５０Bは、任意の順序で実行されてもよく、特定の下位動作（例えば、以下でより詳細に説明する動作４３１Bおよび４５１Bならびに／または動作４６１Bおよび４６２B）が組み合わされてもよい。さらに、いくつかの実装形態では、赤色動作（すなわち、動作４３０B）のみが実行されてもよく、他の実装形態では、シアン動作（すなわち、動作４４０Bおよび４５０B）のみが実行されてもよい。図４Ｂは、並列に実行される動作４４０Bおよび４５０Bを示しているが、実際には、動作４４０Bおよび４５０Bは、どの順序でも連続して実行され得る。追加的または代替的に、これらの同じプロセスは、赤色およびシアンに加えて他の色に対して実行されてもよい。赤色蛍光、他の蛍光、および／または白色光に対してテクスチャ閾値処理を実行することも可能である。

【0054】

動作４３０Bは、入力画像（これは、例えば、RGB色空間でキャプチャすることができる）をHSV色空間に変換し、それによって変換画像を生成する動作４３１Bを含む。HSV色空間は、色相（H）、彩度（S）、および値（V）の３つのチャネルを含む。Hパラメータは０°～３６０°の度数で表され、SおよびVパラメータは０％～１００％のパーセンテージで表される。RGB色空間からHSV色空間に変換するには、例えば、画素単位で入力画像に変換アルゴリズムを適用すればよい。この変換アルゴリズムは、R、G、およびB画素値の各々を１に正規化すること、正規化されたR、G、またはBパラメータが最大であるかどうかに依存する式を使用して色相を計算すること、最大の正規化されたR、G、およびBパラメータと最小との差に基づいて、および最大の正規化されたR、G、およびBパラメータの値に基づいて、彩度を計算することと、最大の正規化されたR、G、およびBパラメータに基づいて値を計算することと、を含んでもよい。例えば、純粋なシアン色を有する画素は、（０、２５５、２５５）の（R、G、B）トリプレットから（１８０°、１００％、１００％）の（H、S、V）トリプレットに変換され、純粋な赤色を有する画素は、（２５５、０、０）の（R、G、B）トリプレットから（０°、１００％、１００％）の（H、S、V）トリプレットに変換される。

【0055】

動作４３０Bは、変換画像のH、S、およびVチャネルの各々を閾値条件と比較する動作４３２Bを含む。チャネルごとに閾値条件を満たす画素を候補画素として識別してもよい。以下の例では、「真」の赤色画素ではない可能性がある画素は、閾値処理によって排除される。これは、例えば、特定の濃度を有する細菌に対応する画素を識別するために、または特定の細菌種に対応する画素に限定するために行われ得る。閾値処理動作は、連続する各チャネルのすべての画素に対して（すなわち、Hについてのすべての画素、Sについてのすべての画素、Vについてのすべての画素）、または連続する各画素のすべてのチャネルに対して（すなわち、左上画素のH、S、およびV、続いて右隣接画素のH、S、およびV、以下同様）行われ得る。動作４３２Bの一例では、色相閾値条件は、２０°未満または３４０°より大きいHパラメータを有する画素が「赤色候補」画素と見なされることであってもよく、彩度閾値条件は、７５％より大きいSパラメータを有する画素が「赤色候補」画素と見なされることであってもよく、値閾値条件は、７５％より大きいVパラメータを有する画素が「赤色候補」画素と見なされることであってもよい。動作４３２Bはまた、各チャネルが対応する閾値条件を満たす変換画像（または元の蛍光画像）の領域を（例えば、データフラグを付加または更新することによって）識別することを含むことができる。したがって、３つのチャネルの各々において赤色候補である画素は、「赤色」画素または支配的な色相として赤色を有する色を有する画素と考えることができる。

【0056】

動作４３０Bの後、４６１Bにおいて、小さい領域を除去する動作が実行され得る。動作４６１Bは、各識別された領域のサイズをサイズ閾値（２次元領域および／または隣接する画素の数に関してであり得る）と比較することと、サイズ閾値よりも小さいサイズを有する変換画像の識別された領域を破棄することとを含むことができる。そのような小さい領域は、細菌感染を示すための最小許容領域を下回る。

【0057】

動作４４０Bは、入力画像をグレースケールに変換し、それによって変換画像を生成する動作４４１Bを含む。RGB色空間からグレースケールに変換するには、例えば、画素単位で入力画像に変換アルゴリズムを適用すればよい。この変換アルゴリズムは、R、G、およびB成分の単純平均、R、G、およびB成分の加重平均などを決定することを含むことができる。したがって、変換されたグレースケール画像は、色に関係なく入力画像の光度または強度を表すことができる。動作４４１Bの後、４４２Bにおいて、変換されたグレースケール画像は、画素ごとに強度閾値と比較されてもよく、したがって、動作４４１Bおよび４４２Bは、入力画像の最も明るい部分または最も輝く部分を決定することに対応することができる。強度閾値よりも大きい強度に対応する画素は、（例えば、動作４４０Bが終了するまで識別される）「シアン候補」画素として一時的に識別され得る。いくつかの実装形態では、所定数の一時的に識別された画素内のすべての画素も同様に一時的に識別され、それによって「シアン候補」画素領域を生成することができる。

【0058】

動作４４３Bにおいて、入力画像は、L＊a＊b＊色空間に変換され、それによって別の変換画像を生成する。L＊a＊b＊色空間は、知覚的明度（L＊）、相対的な緑－赤（a＊）、および相対的な青－黄（b＊）の３つのチャネルを含む。L＊パラメータは、０から１００までの数で表され、a＊およびb＊は、それぞれより多くの緑色またはより多くの青色を示す負の数、およびそれぞれより多くの赤色またはより多くの黄色を示す正の数で境界付けられない。いくつかの実装形態では、a＊およびb＊は、例えば実用的または計算上の理由で境界付けられてもよい。パラメータは、CIE標準光源D５０またはD６５などの標準光源（すなわち、基準白色値）に対する定義を必要とする場合がある。動作４４３Bは、RGBからXYZ色空間に変換する中間動作を含んでもよい。例えば、純粋なシアン色を有する画素は、（０、２５５、２５５）の（R、G、B）トリプレットから（９１．１２、－４８．０８、－１４．１４）の（L＊、a＊、b＊）トリプレットに直接変換されるか、または（５３．８１、７８．７４、１０６．９７）の（X、Y、Z）トリプレットに中間変換される。

【0059】

次に、４４４Bにおいて、変換されたL＊a＊b＊画像が分析されて、画像全体の各チャネルにわたる勾配の大きさを決定する。勾配は、画素ごとの各チャネル値の変化を指し、画素にわたる光度の増減率および色変化率に対応し得る。したがって、勾配は、入力画像の鋭いエッジまたは変化に関する情報を提供することができる。動作４４５Bにおいて、一時的に識別された画素領域内の勾配の大きさが、各チャネルにわたる平均およびSDの両方についての閾値と比較される。３つのチャネルすべてについて閾値条件が満たされる（例えば、平均および標準偏差がそれぞれの閾値を超える）領域（または一時的に識別された領域の部分）は、「シアンテクスチャ」画素領域と見なすことができる。シアンテクスチャ画素領域の場合、一時的な識別は恒久的な識別（例えば、動作４６２Bまたは動作４８０Bが完了するまで識別される）に変換され得る。シアンテクスチャ画素領域と見なされない一時的に識別された領域については、その領域を破棄するように一時的な識別を消去することができる。

【0060】

動作４５０Bは、入力画像をHSV色空間に変換する動作４５１Bを含む。動作４３０Bおよび４５０Bの両方が実行される実装形態では、動作４３１Bおよび４５１Bは、不要な繰り返しを回避するために組み合わされてもよい。動作４５０は、変換画像のH、S、およびVチャネルの各々を閾値条件と比較する動作４５２Bを含む。チャネルごとに閾値条件を満たす画素を候補画素として識別してもよい。以下の例では、「真の」シアン画素ではない可能性がある画素は、閾値処理によって排除される。これは、例えば、特定の濃度を有する細菌に対応する画素を識別するために、または特定の細菌種に対応する画素に限定するために行われ得る。閾値処理動作は、連続する各チャネルのすべての画素に対して（すなわち、Hについてのすべての画素、Sについてのすべての画素、Vについてのすべての画素）、または連続する各画素のすべてのチャネルに対して（すなわち、左上画素のH、S、およびV、続いて右隣接画素のH、S、およびV、以下同様）行われ得る。動作４３２Bの一例では、色相閾値条件は、１６０°～２００°のHパラメータを有する画素が「シアン候補」画素と見なされることであってもよく、彩度閾値条件は、７５％より大きいSパラメータを有する画素が「シアン候補」画素と見なされることであってもよく、値閾値条件は、７５％より大きいVパラメータを有する画素が「シアン候補」画素と見なされることであってもよい。動作４５２Bはまた、各チャネルが対応する閾値条件を満たす変換画像（または元の蛍光画像）の領域を識別することを含むことができる。したがって、３つのチャネルの各々においてシアン候補である画素は、「シアン色」画素と考えることができる。いくつかの実装形態では、動作４５２Bは、動作４４５Bで恒久的に識別された領域に対してのみ実行されてもよく、逆に、動作４４０Bおよび４５０Bの順序が逆であるいくつかの実装形態では）、動作４４５Bは、動作４５２Bで識別された領域に対してのみ実行されてもよい。他の実装形態では、動作４４５Bおよび４５２Bの両方を別々に実行し、それらの結果を一緒に追加または組み合わせることができる。したがって、シアン色画素およびシアンテクスチャ画素の両方である画素は、「シアン」画素と見なされてもよく、または特定の細菌種を示す画素と見なされてもよい。

【0061】

動作４４０Bおよび４５０Bの後、４６２Bにおいて、小さい領域を除去する別の動作が実行され得る。動作４６２Bは、各識別された領域のサイズをサイズ閾値（２次元領域および／または隣接する画素の数に関してであり得る）と比較することと、サイズ閾値よりも小さいサイズを有する変換画像の識別された領域を破棄することとを含むことができる。そのような小さい領域は、細菌感染を示すための最小許容領域を下回る。動作４３０B、４４０B、および４５０Bが実行される実装形態では、動作４６１Bおよび４６２Bは、不要な繰り返しを回避するために組み合わされてもよい。

【0062】

動作４７０Bにおいて、動作４３０Bおよび４６１Bの結果に基づいて、入力画像上に赤色輪郭が描かれる。動作４８０Bにおいて、動作４４０B、４５０B、および４６２Bの結果に基づいて、入力画像上にシアンの輪郭が描かれる。これにより、オーバーレイ画像を生成することができる。動作４３０Bが実行されるが動作４４０Bまたは４５０Bが実行されない実装形態では、動作４８０Bは省略またはスキップされ得る。同様に、動作４４０Bおよび４５０Bが実行されるが動作４３０Bは実行されない実装形態では、動作４７０Bは省略またはスキップされ得る。動作４７０Bおよび／または４８０Bは、入力画像の全体に対して、または入力画像の一部のみに対して実行されてもよい。例えば、輪郭は、画像の中心とエッジとの間の閾値を検出するときに色の不一致を軽減するために、入力画像の中央領域（例えば、所定の矩形または他の形状の領域内）にのみ描かれてもよい。動作４７０Bおよび／または４８０Bは、入力画像上に中央領域の境界を描くことを含むことができる。いくつかの実装形態では、動作４７０Bで描かれた輪郭および動作４８０Bで描かれた輪郭は、異なる色を使用して描かれてもよい。例えば、動作４７０Bで描かれた輪郭は赤色で描かれてもよく、動作４８０Bで描かれた輪郭はシアンで描かれてもよい。他の実装形態（例えば、カラーブラインドモード）では、動作４７０Bおよび４８０Bで描かれた輪郭は、同じ色で描かれ、ラベル（例えば、「赤色」および「シアン」と標識されている、および／または細菌種の名称で標識されている）が付加されてもよい。他の実装形態では、輪郭は色で塗りつぶされてもよく、または矢印もしくは他のポインタまたは指示アイコンで関連領域を強調する他の形態（例えば、部分的に透明なカラーオーバーレイ、クロスハッチングなど）に置き換えられてもよい。動作４９０Bにおいて、オーバーレイ画像が出力される（例えば、オペレータに表示され、メモリに格納され、別の装置に送信されるなど）。画像キャプチャと比較して、オーバーレイ画像出力は、実質的にリアルタイム（例えば、画像をキャプチャするのと同じ装置上にライブビューまたはプレビューとして表示される）またはほぼリアルタイム（例えば、０．５秒以内）で実行することができる。

【0063】

図４Ｂの上記の動作は、特定の色空間（例えば、画像キャプチャ用のRGB、色分析変換用のHSV、およびテクスチャ分析変換用のL＊a＊b＊）における例示的な動作を含むが、これらの色空間は単なる例示であり、限定するものではない。図３に関して上述したように、動作のいずれも、HSV、HSL、CIEXYZ、CIELUV、L＊a＊b＊、RGB、YCbCr、YUV、LCh、CMY、CMYK、およびカスタム色空間を含むがこれらに限定されない任意の所望の色空間で行うことができる。したがって、図４Ｂに示す特定の変換動作（例えば、動作４３１B、４４１B、４４３B、および４５１Bのうちの０、１つ、または複数）は、互いに組み合わされてもよく、または画像が標的色空間に既に存在する場合、完全に省略されてもよい。

【0064】

図５Ａ～図５Ｂは、図４Ｂの動作に入力される、または図４Ｂの動作から生じる例示的な画像を示す。図５Ａは、赤色の領域を含む入力蛍光画像５１０を示す。図５Ｂは、中央領域５２１の境界と、例えば図４Ｂの動作によって決定された赤色の領域を強調する輪郭５２２とを含む対応するオーバーレイ画像５２０を示す。図５Ｂは、図４Ｂの赤色動作のみの結果（例えば、動作４３０Bを含む経路）であってもよく、またはシアン領域を有しない入力画像に対して赤色およびシアン動作の両方が実行された結果であってもよい。図６Ａは、シアンの領域を含む入力蛍光画像６１０を示す。図６Ｂは、中央領域６２１の境界と、例えば図４Ｂの動作によって決定されたシアンの領域を強調する輪郭６２２とを含む対応するオーバーレイ画像６２０を示す。図６Ｂは、図４Ｂのシアン動作のみの結果（例えば、動作４４０Bおよび４５０Bを含む経路）であってもよく、赤色領域を有しない入力画像に対して赤色およびシアン動作の両方が実行された結果であってもよい。明示的に示されていない他の例では、オーバーレイ画像は、シアン領域に対応する輪郭と同時に赤色領域に対応する輪郭を含むことができる。

【0065】

したがって、上記のシステム、装置、および方法は、蛍光画像の潜在的な関心領域（例えば、細菌感染）を正確に、確実に、および／または容易に識別するための情報を提供することができ、それによって処置を改善し、誤差を低減する。

【0066】

本明細書に記載の例示的なシステム、装置、および方法は、コンピュータ可読記録媒体上に具現化されたコンピュータ可読コードまたは一時的媒体を介して送信された通信信号を実行する処理システムの制御下で実行されてもよい。コンピュータ可読記録媒体は、処理システムによって読み取り可能なデータを記憶することができる任意のデータ記憶装置であってもよく、揮発性および不揮発性媒体の両方、リムーバブルおよび非リムーバブル媒体、ならびにデータベース、コンピュータ、および様々な他のネットワーク装置によって読み取り可能な媒体を含んでもよい。

【0067】

コンピュータ可読記録媒体の例は、読み取り専用メモリ（ROM）、ランダムアクセスメモリ（RAM）、消去可能電気的プログラマブルROM（EEPROM）、フラッシュメモリまたは他のメモリ技術、ホログラフィック媒体または他の光ディスク記憶装置、磁気テープおよび磁気ディスクを含む磁気記憶装置、ならびに固体記憶装置を含むが、これらに限定されない。コンピュータ可読記録媒体はまた、コンピュータ可読コードが分散して格納され実行されるように、ネットワーク結合コンピュータシステム上に分散されてもよい。一時的な媒体を介して送信される通信信号は、例えば、有線または無線の伝送路を介して送信される変調信号を含むことができる。

【0068】

本明細書に記載のシステム、方法、および装置の例示的な例を以下に提供する。本明細書に記載のシステム、方法、および／または装置の実施形態は、以下に記載された条項のうちの任意の１つまたは複数、および任意の組み合わせを含むことができる。

【0069】

条項１．蛍光画像を受信するように構成された撮像装置と、メモリと、プロセッサであって、蛍光画像をHSV色空間に変換し、第１の変換画像を生成することと、第１の変換画像の色相パラメータの第１の範囲について、第１の変換画像の彩度パラメータを第１の彩度閾値条件と比較することであって、第１の彩度閾値条件は、色相パラメータの第１の範囲に対応する第１の色と第１の細菌蛍光シグネチャとの間の相関に基づく、比較することと、色相パラメータの第１の範囲について、第１の変換画像の値パラメータを第１の値閾値条件と比較することであって、第１の値閾値条件は、第１の色と第１の細菌蛍光シグネチャとの間の相関に基づく、比較することと、色相パラメータの第１の範囲について、彩度パラメータが第１の彩度閾値条件を満たし、値パラメータが第１の値閾値パラメータを満たす蛍光画像の領域を識別することと、を含む、蛍光画像の色分析を実行することと、サイズ閾値より小さい識別された領域を破棄することと、蛍光画像上の残りの識別された領域の輪郭を描いて、オーバーレイ画像を生成することと、を実行するように構成されたプロセッサと、を備える、携帯型ハンドヘルド装置。

【0070】

条項２．色分析は、第１の変換画像の色相パラメータの第２の範囲について、第１の変換画像の彩度パラメータを第２の彩度閾値条件と比較することであって、第２の彩度閾値条件は、色相パラメータの第２の範囲に対応する第２の色と第２の細菌蛍光シグネチャとの間の相関に基づく、比較することと、色相パラメータの第２の範囲について、第１の変換画像の値パラメータを第２の値閾値条件と比較することであって、第２の値閾値条件は、第２の色と第２の細菌蛍光シグネチャとの間の相関に基づく、比較することと、色相パラメータの第２の範囲について、彩度パラメータが第２の彩度閾値条件を満たし、値パラメータが第２の値閾値条件を満たす、蛍光画像の領域を識別することと、をさらに含む、条項１に記載の装置。

【0071】

条項３．第１の色はシアンであり、第２の色は赤色であるか、または主要な色相として赤色を有する色である、条項３に記載の装置。

【0072】

条項４．プロセッサは、蛍光画像のテクスチャ分析であって、蛍光画像をグレースケールに変換し、それによって第２の変換画像を生成することと、画素ごとに、第２の変換画像の強度パラメータを強度閾値と比較することと、強度パラメータが強度閾値を超える画素の所定の画素距離内の領域を一時的に識別することと、蛍光画像をL＊a＊b＊色空間に変換することによって第３の変換画像を生成することと、第３の変換画像の各チャネル内で、一時的に識別された領域のそれぞれの勾配を決定することと、第３の変換画像の各チャネルのそれぞれの勾配が勾配閾値を超える一時的に識別された領域のうちの１つを恒久的に識別することと、を含む、蛍光画像のテクスチャ分析を実行するように構成されている、条項１～３のいずれか１項に記載の装置。

【0073】

条項５．第１の細菌蛍光シグネチャは１０^４cfu／g以上の細菌濃度に対応する、条項１～４のいずれか１項に記載の装置。

【0074】

条項６．第１の細菌蛍光シグネチャは、緑膿菌、大腸菌、プロテウス・ミラビリス、プロテウス・ブルガリス、エンテロバクター・クロアカ、セラチア・マルセッセンス、アシネトバクター・バウマニ、肺炎桿菌、クレブシエラ・オキシトカ、モルガネラ・モルガニー、ステノトロフォモナス・マルトフィリア、シトロバクター・コセリ、シトロバクター・フロインディ、エロモナス・ハイドロフィリア、アルカリゲネス・フェエカリス、シュードモナス・プチダ、黄色ブドウ球菌、表皮ブドウ球菌、スタフィロコッカス・ルグドゥネンシス、スタフィロコッカス・カピティス、コリネバクテリウム・ストリアタム、バチルス・セレウス、リステリア・モノサイトゲネス、バクテロイデス・フラジリス、ウェルシュ菌、ペプトストレプトコッカス・アナエロビウス、プロピオニバクテリウム・アクネス、および／またはベイロネラ・パルブラのうちの少なくとも１つに対応する、条項１～５のいずれか１項に記載の装置。

【0075】

条項７．標的に励起光を照射するように構成された励起光源をさらに備える、条項１～６のいずれか１項に記載の装置。

【0076】

条項８．励起光は４００nm～４５０nmの波長を含む、条項７に記載の装置。
条項９．撮像装置は、５００nm～５５０nmの波長を検出するように構成された第１の画像センサを含む、条項１～８のいずれか１項に記載の装置。

【0077】

条項１０．撮像装置は、６００nm～６６０nmの波長を検出するように構成された第２の画像センサを含む、条項１～９のいずれか１項に記載の装置。

【0078】

条項１１．蛍光画像および／またはオーバーレイ画像を出力するように構成された表示装置をさらに備える、条項１～１０のいずれか１項に記載の装置。

【0079】

条項１２．表示装置は、リアルタイムまたはほぼリアルタイムでオーバーレイ画像を出力するように構成されている、条項１１に記載の装置。

【0080】

条項１３．プロセッサは、蛍光画像のホワイトバランスの正確さを保証するように構成されている、条項１～１２のいずれか１項に記載の装置。

【0081】

条項１４．ホワイトバランスの正確さを保証することが、蛍光画像に含まれるメタデータに基づいて以前のホワイトバランス補正が適用されたかどうかを判定することを含む、条項１３に記載の装置。

【0082】

条項１５．補正取り消し動作を実行することを含む、条項１３または１４に記載の装置。

【0083】

条項１６．表示装置と、標的領域に励起光を照射するように構成された励起光源と、励起光に対する対象領域の応答に応じた蛍光画像をキャプチャするように構成された画像センサと、を備える撮像装置と、ハウジングと、ハウジング内に配置された処理回路であって、プロセッサを含み、プロセッサは、蛍光画像をHSV色空間に変換し、それによって第１の変換画像を生成することと、第１の変換画像の色相パラメータの第１の範囲について、第１の変換画像の彩度パラメータを第１の彩度閾値条件と比較することであって、第１の彩度閾値条件は、色相パラメータの第１の範囲に対応する第１の色と第１の細菌蛍光シグネチャとの間の相関に基づく、比較することと、色相パラメータの第１の範囲について、第１の変換画像の値パラメータを第１の値閾値条件と比較することであって、第１の値閾値条件は、第１の色と第１の細菌蛍光シグネチャとの間の相関に基づく、比較することと、色相パラメータの第１の範囲について、彩度パラメータが第１の彩度閾値条件を満たし、値パラメータが第１の値閾値パラメータを満たす蛍光画像の領域を識別することと、を含む、蛍光画像の色分析を実行することと、サイズ閾値より小さい識別された領域を破棄することと、蛍光画像上の残りの識別された領域の輪郭を描くことによって、オーバーレイ画像を生成することと、を実行するように構成されている、処理回路と、を備える、システム。

【0084】

条項１７．蛍光画像を受信することと、蛍光画像をHSV色空間に変換し、それによって第１の変換画像を生成することと、第１の変換画像の色相パラメータの第１の範囲について、第１の変換画像の彩度パラメータを第１の彩度閾値条件と比較することであって、第１の彩度閾値条件は、色相パラメータの第１の範囲に対応する第１の色と第１の細菌蛍光シグネチャとの間の相関に基づく、比較することと、色相パラメータの第１の範囲について、第１の変換画像の値パラメータを第１の値閾値条件と比較することであって、第１の値閾値条件は、第１の色と第１の細菌蛍光シグネチャとの間の相関に基づく、比較することと、色相パラメータの第１の範囲について、彩度パラメータが第１の彩度閾値条件を満たし、値パラメータが第１の値閾値パラメータを満たす蛍光画像の領域を識別することと、を含む、蛍光画像の色分析を実行することと、サイズ閾値より小さい識別された領域を破棄することと、蛍光画像上の残りの識別された領域の輪郭を描くことによって、オーバーレイ画像を生成することと、を含む、蛍光画像解釈方法。

【0085】

条項１８．蛍光画像を受信するように構成された撮像装置と、メモリと、蛍光画像をグレースケールに変換することにより、第１の変換画像を生成することと、画素ごとに、第１の変換画像の強度パラメータを強度閾値と比較することと、強度パラメータが強度閾値を超える画素の所定の画素距離内の領域を一時的に識別することと、蛍光画像を所定の色空間に変換することにより第２の変換画像を生成することと、第２の変換画像の各チャネル内で、一時的に識別された領域のそれぞれの勾配を決定することと、第２の変換画像の各チャネルのそれぞれの勾配が勾配閾値を超える一時的に識別された領域のうちの１つを恒久的に識別することと、を含む、蛍光画像のテクスチャ分析を実行するように構成されたプロセッサと、を備える、携帯型ハンドヘルド装置。

【0086】

条項１９．所定の色空間は、HSV色空間、CIEXYZ色空間、CIELUV色空間、RGB色空間、YCbCr色空間、YUV色空間、LCh色空間、L＊a＊b＊色空間、CMY色空間、CMYK色空間、またはカスタム色空間である、条項１８に記載の装置。

【0087】

条項２０．所定の色空間はL＊a＊b＊色空間である、条項１８に記載の装置。
条項２１．ハンドヘルド撮像装置上で、入力画像を受信することと、入力画像に対して色分析および／またはテクスチャ分析を実行して、入力画像内の臨床的に関心のある領域を識別することと、オーバーレイを生成することであって、オーバーレイは、入力画像上に配置されたときに、関心のある１つまたは複数の臨床的特徴の標示を提供する１つまたは複数の色、強調表示、矢印、または他の強調表示方法を含む、生成することと、入力画像およびオーバーレイを含む出力画像をリアルタイムで表示することであって、入力画像上の関心のある臨床的特徴がオーバーレイによって撮像装置のユーザに対して強調表示される、表示することと、を含む、臨床画像を解釈する方法。

【0088】

条項２２．入力画像を受信することは、創傷部の蛍光画像を受信することを含む、項２１に記載の方法。

【0089】

条項２３．入力画像の臨床的に関心のある領域を識別するために、入力画像に対して色分析および／またはテクスチャ分析を実行することは、入力画像に存在する臨床的特徴に対応する色の位置を識別するために色分析を実行することを含む、条項２１または２２に記載の方法。

【0090】

条項２４．入力画像内に存在する臨床的特徴に対応する色の位置を識別するために色分析を実行することは、臨床的特徴に対応する色が閾値量を超える入力画像内の領域を識別することを含む、条項２３に記載の方法。

【0091】

条項２５．閾値量は、１０^４cfu／g以上の細菌濃度に対応する、条項２４に記載の方法。

【0092】

条項２６．閾値量は、特定の細菌種の存在、位置、または存在量のうちの１つまたは複数に対応する、条項２４に記載の方法。

【0093】

条項２７．入力画像の臨床的に関心のある領域を識別するために、入力画像に対して色分析および／またはテクスチャ分析を実行することは、入力画像の臨床的に関心のない位置を識別するためにテクスチャ分析を実行することを含む、条項２１または２２に記載の方法。

【0094】

条項２８．入力画像およびオーバーレイを含む出力画像をリアルタイムで表示することは、ハンドヘルド撮像装置のタッチスクリーンディスプレイ上に出力画像を表示することを含む、条項２１～２７のいずれか１項に記載の方法。

【0095】

条項２９．ハンドヘルド撮像装置のディスプレイ上に入力画像を表示することと出力画像を表示することとの間で切り替えることをさらに含む、条項２８に記載の方法。

【0096】

条項３０．入力画像を受信するように構成された撮像装置と、メモリと、プロセッサであって、入力画像を、第１のパラメータに対応する第１のチャネル、第２のパラメータに対応する第２のチャネル、および第３のパラメータに対応する第３のチャネルを含む所定の色空間に変換し、それによって変換画像を生成することと、変換画像の第１のパラメータの第１の範囲について、第１の変換画像の第２のパラメータを閾値条件と比較することであって、第１の閾値条件は、第１のパラメータの第１の範囲と細菌シグネチャとの相関に基づく、比較することと、第１のパラメータの第１の範囲について、変換画像の第３のパラメータを第２の閾値条件と比較することであって、第２の閾値条件は、第１のパラメータの第１の範囲と細菌シグネチャとの相関に基づく、比較することと、第１のパラメータの第１の範囲について、第２のパラメータが第１の閾値条件を満たし、第３のパラメータが第２の閾値条件を満たす入力画像の領域を識別することと、を含む、入力画像の色分析を実行することと、サイズ閾値よりも小さい識別された領域を破棄することと、入力画像の残りの識別された領域の輪郭を描くことによって、オーバーレイ画像を生成することと、を実行するように構成されたプロセッサと、を備える、携帯型ハンドヘルド装置。

【0097】

条項３１．所定の色空間は、HSV色空間、CIEXYZ色空間、CIELUV色空間、RGB色空間、YCbCr色空間、YUV色空間、LCh色空間、L＊a＊b＊色空間、CMY色空間、CMYK色空間、またはカスタム色空間である、条項３０に記載の装置。

【0098】

条項３２．所定の色空間はHSV色空間である、条項３０に記載の装置。
条項３３．プロセッサは、輪郭が描かれた領域を所定の色で塗りつぶすようにさらに構成されている、条項３０に記載の装置。

【0099】

上記の説明および関連する図は、本発明の最良の形態を教示しており、限定ではなく例示を意図している。提供される例以外の多くの実施形態および適用は、上記の説明を読めば当業者には明らかであろう。範囲は、上記の説明を参照するのではなく、添付の特許請求の範囲を参照して、そのような特許請求の範囲が権利を与えられる均等物の全範囲と共に決定されるべきである。本明細書で論じられる技術において将来の開発が行われ、開示されたシステムおよび方法が将来の実施形態に組み込まれることが予期および意図される。要するに、適用は修正および変更が可能であることを理解されたい。

【0100】

特許請求の範囲で使用されるすべての用語は、本明細書で反対の明示的な指示が行われない限り、本明細書に記載の技術に精通した者によって理解されるように、それらの最も広い合理的な構成およびそれらの通常の意味を与えられることが意図される。特に、「a」、「the」、「said」などの単数冠詞の使用は、特許請求の範囲がそれとは反対の明示的な限定を記載していない限り、示された要素の１つまたは複数を記載すると読まれるべきである。

【0101】

要約は、読者が技術的開示の性質を迅速に確認することを可能にするために提供される。それは、特許請求の範囲または意味を解釈または限定するために使用されないという理解のもとに提出される。さらに、前述の詳細な説明では、本開示を簡素化する目的で、様々な実施形態において様々な特徴が一緒にグループ化されていることが分かる。この開示方法は、特許請求される実施形態が各請求項に明示的に記載されているよりも多くの特徴を必要とするという意図を反映すると解釈されるべきではない。むしろ、以下の特許請求の範囲が反映するように、本発明の主題は、単一の開示された実施形態のすべての特徴よりも少ない特徴にある。したがって、以下の特許請求の範囲は詳細な説明に組み込まれ、各請求項は別個に特許請求される主題として独立している。

【図1A】

【図1B】

【図2】

【図3】

【図4A】

【図4B】

【図5A】

【図5B】

【図6A】

【図6B】

【国際調査報告】