▶ アディウヴォ・ダイアグノスティックス・プライベート・リミテッドの特許一覧
&c=P_P1&t=2028614010)
&c=P_P1&t=2028614010)
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-02-21
(54)【発明の名称】問題のある細胞実体の蛍光ベースの検出
(51)【国際特許分類】
A61B 10/00 20060101AFI20240214BHJP
G01N 21/64 20060101ALI20240214BHJP
【ＦＩ】
A61B10/00 E
G01N21/64 F
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023572253
(86)(22)【出願日】2022-02-08
(85)【翻訳文提出日】2023-10-05
(86)【国際出願番号】 IN2022050107
(87)【国際公開番号】W WO2022172290
(87)【国際公開日】2022-08-18
(31)【優先権主張番号】202141005558
(32)【優先日】2021-02-09
(33)【優先権主張国・地域又は機関】IN
(81)【指定国・地域】
(71)【出願人】
【識別番号】523302175
【氏名又は名称】アディウヴォ・ダイアグノスティックス・プライベート・リミテッド
(74)【代理人】
【識別番号】100108453
【弁理士】
【氏名又は名称】村山 靖彦
(74)【代理人】
【識別番号】100110364
【弁理士】
【氏名又は名称】実広 信哉
(74)【代理人】
【識別番号】100133400
【弁理士】
【氏名又は名称】阿部 達彦
(72)【発明者】
【氏名】バラ・ペサラ
(72)【発明者】
【氏名】ギータンジャリ・ラーダークリシュナン
(72)【発明者】
【氏名】ビッキー・クマール・シャ
(72)【発明者】
【氏名】ジョン・キング
【テーマコード（参考）】
2G043
【Ｆターム（参考）】
2G043AA03
2G043AA04
2G043BA16
2G043CA04
2G043DA02
2G043EA01
2G043FA01
2G043KA01
2G043KA02
2G043KA03
2G043KA09
2G043LA03
2G043NA01
2G043NA05
(57)【要約】
目標中の問題のある細胞実体の存在を検出するための技法が開示される。一例では、分析モデルを使用して、蛍光ベース画像が分析される。分析モデルは、目標中の問題のある細胞実体の存在を検出するために、複数の参照蛍光ベース画像を使用して訓練される。分析に基づいて、目標中に存在する問題のある細胞実体が検出される。検出を実施するために、問題のある細胞実体から出る蛍光ベース画像中の蛍光と、問題のある細胞実体以外の領域から出る蛍光ベース画像中の蛍光との間で区別するように、分析モデルが訓練される。
【特許請求の範囲】
【請求項1】
目標を検査するためのデバイスであって、前記目標を照射するための光を放出するための第1の光源であって、前記照射される光が、照射されると前記目標中のマーカに蛍光を行わせる波長帯にある、第1の光源と、
前記第1の光源による前記目標の前記照射に応答して前記目標によって放出される光を直接受け取り、放出される前記光に基づいて形成される蛍光ベース画像を捕捉するための画像センサであって、前記蛍光ベース画像が前記目標から出る蛍光を含む、画像センサと、
分析モデルを使用して前記蛍光ベース画像を分析し、前記分析モデルが、目標中の問題のある細胞実体の存在を検出するために、複数の参照蛍光ベース画像を使用して訓練され、
前記分析に基づいて、前記目標中の問題のある細胞実体の存在を検出し、前記検出を実施するために、前記問題のある細胞実体から出る前記蛍光ベース画像中の蛍光と、前記問題のある細胞実体以外の領域から出る蛍光ベース画像中の蛍光との間で区別するように前記分析モデルが訓練される
ためのプロセッサと
を備える、デバイス。
【請求項2】
前記デバイスは、可搬式であり、手持ち式であるように設計される、請求項1に記載のデバイス。
【請求項3】
前記デバイスは、スマートフォンである、請求項2に記載のデバイス。
【請求項4】
前記目標が傷領域であり、前記問題のある細胞実体が病原体であり、前記分析モデルを使用して、前記プロセッサが、前記蛍光ベース画像に基づいて前記傷領域の場所を識別し、
前記傷領域中の前記病原体の存在を検出し、
前記傷領域中に存在する前記病原体を分類する、請求項1から3のいずれか一項に記載のデバイス。
【請求項5】
前記分析モデルが機械学習(ML)モデルを含み、前記MLモデルを使用して、前記プロセッサが、前記蛍光ベース画像の画素のスペクトル強度を表す特徴を受け取り、
前記特徴に基づいて前記傷領域の前記場所を識別し、
前記特徴に基づいて、前記傷領域中の病原体を、グラム陽性病原体とグラム陰性病原体として分類する、請求項4に記載のデバイス。
【請求項6】
前記分析モデルが人工ニューラルネットワーク(ANN)モデルを含み、前記ANNモデルを使用して、前記プロセッサが、前記蛍光ベース画像を受け取り、
前記傷領域中の前記病原体の、科、属、種、および菌株のうちの少なくとも1つを判定する、請求項4に記載のデバイス。
【請求項7】
前記目標が組織サンプルであり、前記プロセッサが、前記組織サンプル中の癌組織および壊死組織のうちの少なくとも1つの存在を検出する、請求項1から3のいずれか一項に記載のデバイス。
【請求項8】
前記目標を白色光で照射する第2の光源を備え、前記画像センサが、前記第2の光源による前記目標の前記照射に応答して前記目標によって放出される光を直接受け取り、
前記受け取った光に基づいて白色光画像を捕捉し、
前記プロセッサが、前記白色光画像の分析に基づいて、前記目標中の異常の存在を検出する、請求項1から3のいずれか一項に記載のデバイス。
【請求項9】
前記目標が傷領域であり、前記プロセッサが、前記傷領域の感染の程度、前記問題のある細胞実体の空間分布、および傷の治療率のうちの少なくとも1つを判定する、請求項1から3のいずれか一項に記載のデバイス。
【請求項10】
前記問題のある細胞実体の熱撮影のための熱センサを備える、請求項1から3のいずれか一項に記載のデバイス。
【請求項11】
前記目標が傷領域であり、前記デバイスが、前記目標中の傷の深さを判定するための3次元(3D)深度センサを備える、請求項1から3のいずれか一項に記載のデバイス。
【請求項12】
前記目標中の前記問題のある細胞実体の存在の前記検出の結果を表示するためのディスプレイユニットを備える、請求項1から3のいずれか一項に記載のデバイス。
【請求項13】
前記目標が組織であり、前記第1の光源が前記目標を照射するために可視光および近赤外波長範囲のうちの1つで光を放出し、前記分析モデルを使用して、前記プロセッサが、前記第1の光源による前記目標の前記照射に応じて、前記目標によって放出される画像を分析し、
前記分析に基づいて、組織中の複数の領域で酸素化を検出する、請求項1から3のいずれか一項に記載のデバイス。
【請求項14】
目標を検査するためのシステムであって、前記目標の蛍光ベース画像を受け取り、デバイスが前記システムに結合され、前記デバイスが、
前記目標を照射するための光を放出するための第1の光源であって、前記照射される光が、照射されると前記目標中のマーカに蛍光を行わせる波長帯にある、第1の光源と、
前記第1の光源による前記目標の前記照射に応答して前記目標によって放出される光を直接受け取り、放出される前記光に基づいて形成される前記蛍光ベース画像を捕捉するための画像センサであって、前記蛍光ベース画像が前記目標から出る蛍光を含む、画像センサとを備え、
分析モデルを使用して前記蛍光ベース画像を分析し、前記分析モデルが、目標の問題のある細胞実体の存在を検出するために、複数の参照蛍光ベース画像を使用して訓練され、
前記分析に基づいて、前記目標中の問題のある細胞実体の存在を検出し、前記検出を実施するために、前記問題のある細胞実体から出る前記蛍光ベース画像中の前記蛍光と、前記問題のある細胞実体以外の領域から出る前記蛍光ベース画像中の前記蛍光との間で区別するように前記分析モデルが訓練され、
前記デバイスに前記分析の結果を送信し、前記問題のある細胞実体が前記目標中に存在するかどうかを前記結果が示す、プロセッサを備える、システム。
【請求項15】
前記デバイスを備える、請求項14に記載のシステム。
【請求項16】
前記目標が傷領域であり、前記蛍光ベース画像を送信する以前に、前記デバイスが、セグメント化モデルに基づいて、前記蛍光ベース画像中の前記傷領域の場所を識別し、前記セグメント化モデルが、傷領域を位置特定するために複数の参照蛍光ベース画像を使用して訓練され、前記分析モデルが前記位置特定された傷領域中の病原体を分類する、請求項14に記載のシステム。
【請求項17】
前記デバイスが前記目標を白色光で照射する第2の光源を備え、前記画像センサが、前記第2の光源による前記目標の前記照射に応答して前記目標によって放出される光を直接受け取り、
前記受け取った光に基づいて白色光画像を捕捉し、
前記プロセッサが、前記白色光画像の分析に基づいて、前記目標中の異常の存在を検出する、請求項14から16のいずれか一項に記載のシステム。
【請求項18】
前記目標が組織であり、前記第1の光源が前記目標を照射するために可視光および近赤外波長範囲のうちの1つで光を放出し、前記分析モデルを使用して、前記プロセッサが、前記第1の光源による前記目標の前記照射に応じて、前記目標によって放出される画像を分析し、
前記分析に基づいて、組織中の複数の領域で酸素化を検出する、請求項14に記載のシステム。
【請求項19】
前記デバイスが前記問題のある細胞実体の熱撮影のための熱センサを備える、請求項14から16のいずれか一項に記載のシステム。
【請求項20】
目標の蛍光ベース画像を分析するための分析モデルを訓練するためのデバイスであって、プロセッサと、
前記プロセッサに結合されるメモリであって、
目標の複数の参照蛍光ベース画像を受け取り、前記目標のうちの少なくともいくつかが問題のある細胞実体を有し、
各参照蛍光ベース画像に対応する異常な結果を受け取り、前記参照蛍光ベース画像中に表示される前記目標が問題のある細胞実体を有するかどうかを前記異常な結果が示し、
前記複数の参照蛍光ベース画像およびそれらに対応する異常な結果に基づいて前記分析モデルを訓練し、前記訓練により、前記分析モデルが第1の蛍光ベース画像中に捕捉される目標中の問題のある細胞実体の存在を検出することを可能にする、
前記プロセッサによって実行可能な命令を含む、メモリと
を備える、デバイス。
【請求項21】
参照蛍光ベース画像を受け取ることに応答して、前記命令が、前記参照蛍光ベース画像に対応する空間マップおよびスペクトルマップを生成し、
前記空間マップおよび前記スペクトルマップを使用して前記分析モデルを訓練することが実行可能である、請求項20に記載のデバイス。
【請求項22】
目標を検査するための方法であって、デバイスの光源を使用して前記目標を照射するステップであって、前記目標上に前記光源によって放出される光が、照射されると前記目標中のマーカに蛍光を行わせる波長帯にあり、前記デバイスが、
前記光源、
前記光源による前記目標の前記照射に応答して前記目標によって放出される光を直接受け取り、放出される前記光に基づいて形成される蛍光ベース画像を捕捉するための画像センサであって、前記蛍光ベース画像が前記目標から出る蛍光を含む、画像センサ、および
プロセッサを備える、ステップと、
前記プロセッサによって、分析モデルを使用して前記蛍光ベース画像を分析するステップであって、前記分析モデルが、目標中の問題のある細胞実体の存在を検出するために、複数の参照蛍光ベース画像を使用して訓練される、ステップと、
前記分析に基づいて、前記プロセッサによって、前記目標中の問題のある細胞実体の存在を検出するステップであって、前記検出を実施するために、前記問題のある細胞実体から出る前記蛍光ベース画像中の前記蛍光と、前記問題のある細胞実体以外の領域から出る前記蛍光ベース画像中の蛍光との間で区別するように前記分析モデルが訓練される、ステップと
を含む、方法。
【請求項23】
前記目標が、食用製品、研究機器、衛生デバイス、衛生機器、生化学分析チップ、および微小流体チップのうちの1つであり、前記問題のある細胞実体が病原体であり、前記方法が、前記プロセッサによって、前記分析モデルを使用して、前記蛍光ベース画像中の前記目標の場所を識別するステップと、
前記プロセッサによって、前記分析モデルを使用して、前記目標中の前記病原体の存在を検出するステップと、
前記プロセッサによって、前記分析モデルを使用して、前記目標中に存在する前記病原体を分類するステップと
を含む、請求項22に記載の方法。
【請求項24】
目標の蛍光ベース画像を分析するための分析モデルを訓練するための方法であって、各目標が細胞実体を有し、前記方法が、目標の複数の参照蛍光ベース画像を受け取るステップであって、前記目標のうちの少なくともいくつかが問題のある細胞実体を有する、ステップと、
各参照蛍光ベース画像に対応する異常な結果を受け取るステップであって、前記参照蛍光ベース画像中に表示される前記目標が問題のある細胞実体を有するかどうかを前記異常な結果が示す、ステップと、
前記複数の参照蛍光ベース画像およびそれらに対応する異常な結果に基づいて前記分析モデルを訓練するステップであって、前記訓練により、前記分析モデルが第1の蛍光ベース画像中に捕捉される目標中の問題のある細胞実体の存在を検出することを可能にする、ステップと
を含む、方法。
【発明の詳細な説明】
【技術分野】
【0001】
本主題は、一般的に、目標中の病原体などといった問題のある細胞実体の検出に関し、詳細には、問題のある細胞実体によって放出される蛍光に基づいた問題のある細胞実体の検出に関する。
【背景技術】
【0002】
細胞実体は、単細胞生物、多細胞生物、組織などといった、1つまたは複数の生体細胞でできている実体であってよい。問題のある細胞実体は、植物、動物、または人間の健康に対して害をもたらす可能性があるものであってよい。問題のある細胞実体の例は、人間に疾患をもたらす病原体、および傷の治癒を遅らせる病原体である。問題のある細胞実体は、植物、動物、または人間の病気を示すものであってよい。たとえば、癌組織は、腫瘍の存在を示す問題のある細胞実体であってよい。人体または食用製品などといった、目標上の問題のある細胞実体の存在は、たとえば、疾患の発生を防止する、人を疾患でなくすなどのため、検出されるべきである。
【発明の概要】
【課題を解決するための手段】
【0003】
本主題の特徴、態様、および利点は、以下の説明および添付図面に関してよりよく理解されることになる。異なる図中の同じ参照番号の使用は、同様または同一の特徴および構成要素を示す。
【図面の簡単な説明】
【0004】
【図1】本主題の実装形態に従った、目標を検査するためのデバイスを図示する図である。
【図2(a)】本主題の実装形態に従った、分析モデルの人工ニューラルネットワーク(ANN)モデルを訓練するために使用できる参照画像セットを図示する図である。
【図2(b)】本主題の実装形態に従った、分析モデルの人工ニューラルネットワーク(ANN)モデルを訓練するために使用できる参照画像セットを図示する図である。
【図2(c)】本主題の実装形態に従った、分析モデルの人工ニューラルネットワーク(ANN)モデルを訓練するために使用できる参照画像セットを図示する図である。
【図2(d)】本主題の実装形態に従った、分析モデルの人工ニューラルネットワーク(ANN)モデルを訓練するために使用できる参照画像セットを図示する図である。
【図2(e)】本主題の実装形態に従った、分析モデルの人工ニューラルネットワーク(ANN)モデルを訓練するために使用できる参照画像セットを図示する図である。
【図2(f)】本主題の実装形態に従った、分析モデルの人工ニューラルネットワーク(ANN)モデルを訓練するために使用できる参照画像セットを図示する図である。
【図2(g)】本主題の実装形態に従った、分析モデルの人工ニューラルネットワーク(ANN)モデルを訓練するために使用できる参照画像セットを図示する図である。
【図2(h)】本主題の実装形態に従った、分析モデルの人工ニューラルネットワーク(ANN)モデルを訓練するために使用できる参照画像セットを図示する図である。
【図2(i)】本主題の実装形態に従った、分析モデルの人工ニューラルネットワーク(ANN)モデルを訓練するために使用できる参照画像セットを図示する図である。
【図3】本主題の実装形態に従った、参照蛍光ベース画像の空間マップおよびスペクトルマップに基づいた機械学習(ML)モデルの訓練を図示する図である。
【図4(a)】本主題の実装形態に従った、ANNモデルによって検出されたときの、傷の中の病原体の分類結果を図示する図である。
【図4(b)】本主題の実装形態に従った、ANNモデルによって検出されたときの、傷の中の病原体の分類結果を図示する図である。
【図5(a)】本主題の実装形態に従った、ANNモデルによって検出されたときの、傷の中の病原体のグラムタイプの分類結果を図示する図である。
【図5(b)】本主題の実装形態に従った、ANNモデルによって検出されたときの、傷の中の病原体のグラムタイプの分類結果を図示する図である。
【図5(c)】本主題の実装形態に従った、ANNモデルによって検出されたときの、傷の中の病原体のグラムタイプの分類結果を図示する図である。
【図5(d)】本主題の実装形態に従った、ANNモデルによって検出されたときの、傷の中の病原体のグラムタイプの分類結果を図示する図である。
【図6(a)】本主題の実装形態に従った、生物膜情報の結果を図示する図である。
【図6(b)】本主題の実装形態に従った、病原体成長状況データの結果を図示する図である。
【図6(c)】本主題の実装形態に従った、傷の寸法および病原体負荷の結果を図示する図である。
【図6(d)】本主題の実装形態に従った、組織酸素化の結果を図示する図である。
【図7(a)】本主題の実装形態に従った、傷のある人間の脚の白色光画像および対応する3D深度画像である。
【図7(b)】本主題の実装形態に従った、傷の3D画像に重ね合わせた人間の脚の蛍光画像である。
【図8(a)】本主題の実装形態に従った、3D画像に図示された部分が傷であるか、または皮膚であるかを検出するための方法を図示する図である。
【図8(b)】本主題の実装形態に従った、3D画像に図示された部分が傷であるか、または皮膚であるかの検出を図示する図である。
【図9】本主題の実装形態に従った、スチール表面上の病原体の存在の検出を図示する図である。
【図10】本主題の実装形態に従った、マスク上の病原体の存在の検出を図示する図である。
【図11】本主題の実装形態に従った、ヘッドキャップ上の病原体の存在の検出を図示する図である。
【図12】本主題の実装形態に従った、外科用ナイフ上の病原体の存在の検出を図示する図である。
【図13】本主題の実装形態に従った、傷の熱撮影の結果を図示する図である。
【図14】本主題の実装形態に従った、処理デバイスに接続されたデバイスを図示する図である。
【図15】本主題の実装形態に従った、目標を検査するための方法を図示する図である。
【発明を実施するための形態】
【0005】
目標上の問題のある細胞実体の存在は、正確に検出されるべきである。目標は、たとえば、人体中の傷領域、食用製品、人体から抽出した組織サンプル、または殺菌されるべき表面であってよい。典型的には、病原体などといった、問題のある細胞実体の検出は、培養法を使用して実施される。この方法では、サンプルは、スワブ/深部組織生体検査法を使用して、病原体感染を有すると予想される部位から取られる。その後、サンプルが好適な培養媒体の管理下に置かれ、そこで、部位中にあると予想される病原体が、時間とともに成長する。存在する場合、次いで部位中の病原体は、生化学的方法を使用して、分離および識別される。癌組織などといった問題のある細胞実体では、組織生体検査法が行われる。さらに、組織生体検査法は、組織が癌組織であるかを識別するため、ヘマトキシリンエオジン染色法、ムチカルミン染色法、パパニコラウ染色などといった、染色方法を用いた顕微鏡検査で検査される。いくつかの例では、検査は、染色方法なしで実施される場合がある。理解されるように、上述の方法は、煩雑であり、専用の微生物学設備を必要とし、感染を正確に識別して病原体または癌組織を分類するのに1～2日かかる。
【0006】
いくつかの場合に、問題のある細胞実体の検出および分類は、問題のある細胞実体中の固有のバイオマーカから生じる自己蛍光に基づいて実施される。固有のバイオマーカは、たとえば、ニコチンアミドアデニンジヌクレオチド(NADH)、フラビン、ポルフィリン、ピオベルジン、チロシン、およびトリプトファンであってよい。バイオマーカから生じる自己蛍光は、それらに固有であってよく、問題のある細胞実体の検出および分類に有用であってよい。
【0007】
自己蛍光は検出および分類に使用できるが、固有のバイオマーカから生じる自己蛍光は弱く、容易に検出することができない。さらに、自己蛍光に加えて、目標から出る光は背景光および励起光を含む場合があり、これらが放出される自己蛍光と干渉する場合がある。したがって、放出される自己蛍光を使用して検出および分類を可能にするため、目標によって放出される非蛍光光を抑制する光学フィルタが使用されるべきである。光学フィルタは、放出フィルタと呼ぶこともできる。放出フィルタの使用によって、自己蛍光に基づいた検出が高価になる。
【0008】
さらに、自己蛍光ベースの検出を採用するデバイス中で、複数の放出フィルタが使用されるべきである。というのは、異なる波長の自己蛍光を、検出および分類のために捕捉するべきであるからである。異なる放出フィルタの使用する画像の捕捉によって、検出および分類のための時間が増加する。さらに、異なる放出フィルタを使用して画像を捕捉するために、フィルタホイールなどといった追加の構成要素が使用され、このことによって、デバイスの費用がさらに増加する。
【0009】
本主題は、問題のある細胞実体の蛍光ベースの検出に関する。本主題を使用して、問題のある細胞実体の検出のためのデバイスを、簡単で費用効果的に作ることができる。デバイスは、フィルタホイールがなくてよい。さらに機械学習技法およびディープラーニング技法を使用して、問題のある細胞実体の迅速で正確な検出を実現することができる。
【0010】
本主題に従ったデバイスは、目標を照射するための光を放出するための光源を含むことができる。目標は、病原体または癌組織などといった、問題のある細胞実体を有すると疑われてよい。一例では、目標が1つまたは複数の細胞からできていてよく、たとえば、身体部分の傷または組織サンプルであってよい。他の例では、目標は、食用製品、研究機器、または衛生機器などといった、病原体が存在しないべきである物品であってよい。放出される光は、照射されると目標中のマーカに蛍光を行わせる波長帯にあってよい。特に、放出される光は、照射されると目標中のマーカに蛍光を行わせる単一波長のものであってよい。マーカは、問題のある細胞実体の部分であってよい。問題のある細胞実体の部分であるマーカによって放出される蛍光を自己蛍光と呼ぶことができる。一例では、合成マーカなどといった外因性マーカを目標上に噴霧して、目標中の問題のある細胞実体の検出を行わせることができる。外因性マーカは、デオキシリボ核酸(DNA)、リボ核酸(RNA)、タンパク質、生化学マーカなどといった、細胞実体と結合することができ、このことによって、目標を蛍光させることができる。加えられた合成マーカによって放出される蛍光は、外因性蛍光と呼ぶこともできる。
【0011】
デバイスは、光源による目標の照射に応答して目標によって放出される光を直接受け取り、放出される光に基づいて形成される画像を捕捉するための画像センサを含む。目標が蛍光を行うマーカを含む場合、捕捉された画像は、蛍光を含み、蛍光ベース画像と呼ぶことができる。したがって、蛍光ベース画像は、目標から出る蛍光を含むことができる。ここで、光は、画像センサによって直接受け取られると言われている。というのは、画像の捕捉以前に光が放出フィルタによってフィルタ処理されないためである。
【0012】
デバイスは、蛍光ベース画像を分析するため、プロセッサをさらに含む。分析は、目標中の問題のある細胞実体の存在を検出するために、複数の参照蛍光ベース画像を使用して訓練される分析モデルを使用して行うことができる。一例では、分析モデルは、人工ニューラルネットワーク(ANN)モデルを含むことができる。別の例では、分析モデルは、サポートベクターマシン(SVM)モデル、ロジスティック回帰モデル、ランダムフォレストモデルなど、またはそれらの組合せなどといった、ANNモデル以外の機械学習(ML)モデルを含むことができる。さらなる例では、分析モデルは、ANNモデルとMLモデルの両方を含むことができる。
【0013】
分析モデルによる分析は、蛍光の波長などといった、蛍光ベース画像中の蛍光を分析することを含むことができる。分析モデルは、問題のある細胞実体から出る蛍光ベース画像中の蛍光と、問題のある細胞実体以外の領域から出る蛍光ベース画像中の蛍光との間で区別するように訓練することができる。たとえば、分析モデルは、病原体を有する傷領域から出る蛍光と、傷領域中の骨または傷領域に隣接する皮膚から出る蛍光との間で区別することができる。したがって、分析モデルは、問題のある細胞実体を有すると予想される領域からの蛍光であって、背景蛍光でないものを分析することができる。分析に基づいて、問題のある細胞実体が目標中に存在することを検出することができる。
【0014】
目標中の問題のある細胞実体の存在を検出することに加えて、分析モデルは、問題のある細胞実体を分類することもできる。たとえば、問題のある細胞実体が病原体である場合、分析モデルは、問題のある細胞実体のグラムタイプまたは種を識別することができる。
【0015】
本主題は、目標中の問題のある細胞実体の存在を検出するために、いくつかの参照蛍光ベース画像にわたって訓練される分析モデルを利用する。加えて、一例では、分析モデルは、傷領域、骨領域などといった、領域を最初に区別するために使用できるいくつかの参照白色光画像にわたって訓練することができる。その後、分析モデルは、目標中の問題のある細胞実体の存在を検出するために、いくつかの参照蛍光ベース画像にわたって訓練し、それによって、検出の精度を向上させることができる。分析モデルは、蛍光ベース画像中の背景光および励起光を無視することができ、蛍光ベース画像中の弱い蛍光情報を拾い上げることができる。したがって、本主題は、背景光および励起光をフィルタ処理するための放出フィルタの使用をなくすことができる。そのため、本開示のデバイスの部分としてのフィルタホイールの使用を回避することができる。したがって、本主題のデバイスは、簡単で費用効果的である。
【0016】
こうして、本主題は、「光学的計算生体検査」技法を使用した、病原体の迅速で、フィルタのない、非侵襲的、自動的、およびインサイチュ(in-situ)での検出および分類を実現する。光学的計算生体検査技法は、問題のある細胞実体を検出および分類するための非侵襲的生体検査のために、機械学習モデル、人工ニューラルネットワーク(ANN)モデル、ディープラーニングモデルなどといった計算モデルと一緒にマルチスペクトル撮影が使用される技法である。
【0017】
本主題は、糖尿病の足部潰瘍、手術部位感染、やけど、皮膚、ならびに食道、胃、および結腸など体の内部における問題のある細胞実体の存在を検出するために使用することができる。本主題のデバイスは、皮膚科学、美容術、形成外科、感染管理、光力学治療監視、および抗菌感受性試験の分野で使用することができる。
【0018】
本主題の上および他の特徴、態様、および利点は、以下の説明、添付される請求項、および添付図面に関してよりよく説明されることになる。説明および図面は、単に、本明細書に記載される例と一緒に本主題の原理を説明していることに留意するべきであり、本主題の限定と解釈するべきではない。したがって、本明細書に明示的に記載または示されないが、本開示の原理を具体化する様々な配置構成を考案できると理解される。さらに、本明細書でそれらの原理、態様、および例に言及するすべての記載は、それらの等価物を包含することが意図される。さらに、簡単のために、制限なしで、同様の特徴および構成要素を参照するため、同じ数字が図面を通して使用される。
【0019】
下の説明では、本主題は、主に、傷上の病原体の検出および分類を参照して説明されている。しかし、本主題のデバイスは、膿、血液、尿、唾液、汗、精液、粘液、血漿などといった、他のサンプル中の病原体を検出するため使用できることを理解されたい。さらに、デバイスは、病原体のコロニー形成および壊死組織を理解するために、蛍光中の時間依存性の変化を検出するために使用することができる。
【0020】
デバイスは、手ならびに病原体があるべきでない病院および他の場所における表面上の、病原体の存在を検出するために使用することもできる。デバイスは、食品、果物、および野菜などといった、食用製品中の病原体汚染を検出するために使用することができる。
【0021】
図1は、本主題の実装形態に従った、目標102を検査するためのデバイス100を図示する。目標102は、病原体、癌組織、または壊死組織などといった、問題のある細胞実体を有すると疑われるものであってよい。目標102は、1つまたは複数の細胞でできていてよい。たとえば、目標102は、足または手など人体の部位上の傷であってよい。傷は、その中に病原体を有すると疑われる可能性があり、病原体は、傷の治癒の遅延を引き起こす可能性があり、または、傷の感染を引き起こす可能性がある。別の例では、目標102は、その中に腫瘍または壊死を有すると疑われる組織サンプルであってよい。別の例では、目標102は、人が消費するためそれを供給する前に、病原体の存在を試験しなければならない可能性がある食用製品であってよい。他の例では、目標102は、研究機器、マスク、頭部マスク、外科用ナイフ、衛生デバイス、衛生機器、周囲空気、生化学分析チップ、および微小流体チップであってよい。下の例では、問題のある細胞実体が病原体を参照して説明され、目標102は、人体の部位上の傷を参照して説明される。
【0022】
デバイス100は、第1の光源104を含み、矢印106によって示されるような光で目標102を照射する。光は、具体的には、照射されると、目標102中の1つまたは複数のマーカに蛍光を行わせることができる好適な波長の、好適な波長帯にあってよい。一実装形態では、励起フィルタ(図1に図示せず)をデバイス100中に設けることができ、これは、第1の光源104によって放出される光から特定の周波数または特定の周波数帯をフィルタ処理することができる。励起フィルタは放出フィルタとは異なり、目標の照射に応答して目標によって放出される周波数帯をフィルタ除去するために、従来のデバイスに使用されることに留意されたい。一例では、光は、紫外線(UV)光、可視光、または近赤外線(NIR)光であってよい。一例では、目標102からの蛍光を生じさせるために使用される光の波長は、280nm、310nm、330nm、365nm、395nm、405nm、415nm、430nm、480nm、および520nmを含む場合がある。加えて一例では、これらの波長と異なるいくつかの他の波長を使用することもできる。たとえば、図6(d)に関して記載されるような、組織酸素化を理解するためデバイス100を使用することができるシナリオでは、波長は、430nm、680nm、740nm、および940nmを含む場合がある。マーカは、目標102中に存在する問題のある細胞実体の部分であってよい。
【0023】
その照射に応答して目標102によって放出される光は、矢印110によって示されるように、画像センサ108によって集められる。画像センサ108は、デバイス100のカメラ(図1に図示せず)の部分であってよく、電荷結合デバイス(CCD)センサ(または)デジタルカメラ、相補型金属酸化物半導体(CMOS)センサ(または)デジタルカメラ、単一光子アバランシェダイオード(SPAD)/アバランシェ光検出器(APD)アレイ、光電子増倍管(PMT)アレイ、近赤外線(NIR)センサ、赤緑青(RGB)センサ、3次元(3D)カメラ、またはそれらの組合せなどといった、デジタル画像センサであってよい。画像センサ108は、目標102から受け取った光から形成される画像を捕捉する。目標が蛍光を行うマーカを含む場合、捕捉される画像が蛍光を含む。したがって、画像を、蛍光ベース画像と呼ぶことができる。
【0024】
デバイス100は、プロセッサ112を含むことができる。プロセッサ112は、マイクロプロセッサ、マイクロコンピュータ、マイクロコントローラ、デジタル信号プロセッサ、中央処理装置、ステートマシン、論理回路、および/または、動作命令に基づいて信号を操作できる任意のデバイスとして実装することができる。能力の中でもとりわけ、プロセッサ112は、デバイス100のメモリ(図1に図示せず)中に含まれるコンピュータ可読命令をフェッチし実行することができる。プロセッサ112は、画像センサ108が目標102によって放出される光を捕捉するべきときに、画像センサ108を活性化させることができる。このために、プロセッサ112は、光を放出するために第1の光源104を活性化させるときに、画像センサ108を活性化させることができる。
【0025】
さらに、一例では、蛍光ベース画像をデバイス100のプロセッサ112によって分析することができる。蛍光ベース画像を分析するため、プロセッサ112は、分析モデル114を利用することができる。分析モデル114は、目標中の問題のある細胞実体の存在を検出するために、目標の複数の蛍光ベース画像にわたって訓練することができる。それを使用して分析モデル114が訓練される蛍光ベース画像を、参照蛍光ベース画像と呼ぶことができる。分析モデル114は、複数の白色光画像を含むこともできる。分析モデル114は、たとえば、人工ニューラルネットワーク(ANN)モデルを含むことができ、これは、人間の神経系が動作する方法の簡略化モデルであってよく、複数の層に配置されるいくつかの相互接続されたノードを含むことができる。ANNは、たとえば、畳込みニューラルネットワーク(CNN)、敵対的生成ネットワーク(GAN)、オートエンコーダデコーダネットワークなどの、ディープラーニングモデルであってよい。別の例では、分析モデル114は、ANNモデル以外の機械学習(ML)モデルを含むことができる。以降では、ANNモデル以外のMLモデルを、MLモデルと呼ぶことができる。たとえば、MLモデルは、サポートベクターマシン(SVM)モデルまたはランダムフォレストモデルまたはそれらの組合せであってよい。さらなる例では、分析モデル114は、ANNモデルとMLモデルの両方を含むことができる。他の例では、分析モデル114は、1つもしくは複数のANNモデルおよび/または1つもしくは複数のMLモデルを含むことができる。
【0026】
分析モデル114は、蛍光ベース画像を分析することができる。たとえば、分析モデル114は、蛍光ベース画像中の蛍光光の波長を分析することができる。蛍光ベース画像中の蛍光は、目標102中のマーカのために引き起こされるために、蛍光は、マーカが目標102中に存在するのを示すことができる。さらに、目標102中のマーカが病原体の部分であってよいために、蛍光ベース画像の分析は、目標102中の病原体の存在を検出するために使用することができる。分析は、病原体のグラムタイプ、病原体の種、病原体の科、病原体の属、または病原体の菌株レベルなどといった、病原体のタイプを判定するために使用することもできる。
【0027】
デバイス100は、第2の光源116を含むこともできる。第2の光源116は、目標102中のマーカに蛍光を引き起こさないことができるような波長の光(矢印118によって示される)を放出することができる。たとえば、第2の光源116は、白色光を放出できる白色光源であってよい。第2の光源116によって放出される光は、矢印120によって示されるように、目標102が反射することができる。反射した光を画像センサ108が捕捉して、目標102の第2の画像を形成することができる。第2の光源116が白色光源である場合、第2の画像を白色光画像と呼ぶことができる。
【0028】
一例では、デバイス100は、複数の偏光板(図1に図示せず)を含むことができる。偏光板は、特定の偏光の光波を通過させる一方で、他の偏光の光波をブロックする光学要素であってよい。偏光板は、不確定または混在した偏光の光のビームを、良好に規定された偏光のビームへと調節することができる。一例では、偏向板を第1の光源104と一体化することができ、別の偏向板を第2の光源116と一体化することができ、さらに別の偏向板を画像センサ108と一体化することができる。偏光板の使用は、傷などといった目標102の鏡面反射を減らす一方で、白色光画像を捕捉するのに役立つことができる。さらに、蛍光ベース画像を捕捉する間に、偏光板は、蛍光の選択的な検出を可能にすること、および、光源104からの放出光と、目標102によって放出される蛍光との干渉を低減させることができる。たとえば、光源104と一体化した偏光板と画像センサ108と一体化した別の光の偏光板などといった、2つの偏光板を、交差偏光板の幾何学的形態に配置して、光源104からの放出光と、目標102によって放出される蛍光との干渉を最小化することができる。
【0029】
いくつかの実装形態では、デバイス100は、異なる波長の光を放出できる追加光源(図1に図示せず)を含むことができる。プロセッサ112は、様々な光源の動作のシーケンスならびに各光源の照射期間を制御することができる。デバイス100中の光源は、発光ダイオード(LED)、レーザなどであってよい。さらに、デバイス100中の光源は、200nmと2500nmの間の波長を有する光を放出することができる。デバイス100は、異なる波長の光を放出する光源を含む場合がある。というのは、目標中のマーカに蛍光を行わせることができる波長はマーカ毎に変わる場合があるためである。こうして、異なる波長の光を放出する光源を設けることによって、幅広いマーカに蛍光を行わせることができることが確実になり、それによって、いくつかのタイプの病原体の検出が可能になる。
【0030】
さらに、デバイス100は、画像センサ108に加えて、デジタル画像センサであってよい追加画像センサ(図1に図示せず)を含むことができる。たとえば、画像センサ108を蛍光ベース画像を捕捉するために使用することができ、他の画像センサを白色光画像を捕捉するために使用することができる。さらなる画像センサ(図1に図示せず)を目標の3次元(3D)画像を捕捉するために使用することができる。
【0031】
分析モデル114は、第2の画像中の目標102を識別するために訓練することができる。たとえば、第2の画像が傷のある人の足の画像である場合、分析モデル114は、第2の画像中の傷領域を識別することができる。画像中の傷領域の識別は、傷のセグメント化とも呼ばれる。
【0032】
一例では、分析モデル114は、最初に第2の画像中で、骨、組織、腱などといった、目標のタイプを認識することによって背景蛍光を補正し、かなりの背景蛍光のある目標上でさえ、細胞の異常の存在を評価することができる。
【0033】
一実装形態では、分析モデル114は、第2の画像を蛍光ベース画像と比較することによって、蛍光ベース画像中の目標102を識別することができる。蛍光ベース画像中の目標102を識別する際に、分析モデル114は、病原体の存在を検出するため目標102から出る蛍光を分析することができ、蛍光ベース画像中の目標以外の領域から出る蛍光を無視することができる。たとえば、分析モデル114は、傷から出る蛍光を分析することができ、蛍光ベース画像中の骨、腱、および皮膚などといった、隣接領域から出る蛍光を無視することができる。さらに、一実装形態では、分析モデル114は、蛍光ベース画像中の目標102以外の領域からの蛍光を分析することができ、分析に基づいて、他の領域中の異常の存在を検出することができる。たとえば、分析モデル114は、蛍光ベース画像中の骨から出る蛍光を分析することができ、分析に基づいて骨に異常があるか判定することができる。たとえば、蛍光が骨によって典型的に放出されるものより高い場合、骨に異常があると判定することができる。
【0034】
デバイス100は、目標中の問題のある細胞実体の存在の検出および問題のある細胞実体のタイプの分析結果を表示するためのディスプレイ122を含むことができる。ディスプレイ122は、ユーザからの入力を、1つもしくは複数の指またはスタイラスを介して受け取るタッチセンシティブディスプレイであってよい。たとえば、デバイス100は、目標102中に病原体が存在することを表示することができ、ディスプレイ122上に病原体のタイプを表示することができる。一実装形態では、分析の結果は、画像センサ108によって捕捉されたような目標102の画像上にオーバーレイすることができる。たとえば、病原体を有する目標102の領域を、蛍光ベース画像上で強調表示することができる。
【0035】
一実装形態では、デバイス100は、可搬式で手持ち式のデバイスとして実装することができる。デバイス100は、プロセッサ112を含むことができるコンピューティングデバイスを含むことができる。コンピューティングデバイスは、たとえば、スマートフォンまたはシステムオンチップ(SoC)またはシステムオンモジュール(SoM)であってよい。コンピューティングデバイスがスマートフォンである場合、画像センサ108がコンピューティングデバイスの部分であってよい。デバイス100は、病原体および組織の、非侵襲的、自動的、およびインサイチュ(in-situ)での検出および分類を実現する。本明細書で使用する、「インサイチュ(in-situ)」という言葉は、サンプルの何らかの事前処理なしの、発生源のサンプル中の病原体の検出のことをいうと理解されよう。たとえば、サンプルは、体の部位上の傷であってよい。一例では、デバイス100は、電源(図1に図示せず)によって電力供給されてよい。
【0036】
図2(a)～図2(i)は、本主題の実装形態に従った、分析モデル114のANNモデルを訓練するために使用できる参照画像セットを図示する。ここで、目標102は、人間の足の傷を参照して説明される。上で説明したように、ANNモデルは、蛍光ベース画像中の目標102によって放出される蛍光に基づいて蛍光ベース画像中の病原体の存在を検出するために使用することができる。検出を容易にするため、ANNモデルは、複数の参照白色光画像および複数の対応する参照蛍光ベース画像を使用して訓練することができる。白色光画像に対応する蛍光ベース画像とは、白色光画像によって捕捉されたのと同じ領域の蛍光ベース画像のことをいう。したがって、各画像セットは、参照白色光画像と対応する参照蛍光ベース画像を含む。たとえば、画像202と画像204は、それぞれ、参照白色光画像と対応する参照蛍光ベース画像である。
【0037】
参照白色光画像は、その画像中の傷の表示および/またはその画像中の骨もしくは皮膚などといった別の領域の表示でタグ付けすることができる。たとえば、白色光画像202の領域206は、それが傷領域を表すと示されるようにタグ付けされる。したがって、複数の参照白色光画像にわたって訓練することによって、ANNモデルが、所与の画像上の傷、骨、皮膚などを識別することが可能になる。
【0038】
さらに、白色光画像に対応する複数の参照蛍光ベース画像にわたって訓練することによって、ANNモデルが、蛍光ベース画像上の骨、皮膚、肉芽組織などといった、様々な領域を識別することを可能にすること、したがって、傷領域中の病原体のタイプ、またはグラム陽性、またはグラム陰性を判定することがやはりできる。たとえば、複数の蛍光ベース画像にわたって訓練すること、および、病原体のタイプまたはグラム陽性もしくはグラム陰性病原体に対応する参照ラベルを使用することによって、任意の新規の目標画像を分類することができる。目標画像は、訓練の正確さを理解および評価するための訓練で使用される画像、または完全に新規の目標画像であってよい。次いで、画像208などといった、第3の画像、すなわち、ANNモデルの出力が生成される。画像208では、病原体を有すると検出される傷の部分が強調表示される。いくつかの例では、傷中の異なるタイプの病原体は、異なる陰影で強調表示される。たとえば、図2(d)および図2(e)に描かれる画像208では、傷中の2つの異なる病原体が異なる陰影で強調表示される。一例では、傷中の異なるタイプの病原体は、異なる色を使用して強調表示することができる。
【0039】
一実装形態では、特定の病原体を有する第3の画像208の領域は、その病原体の表示でタグ付けすることができる。たとえば、第1の病原体を有する画像208の領域は第1の病原体の表示でタグ付けされ、第2の病原体を有する画像208の領域は第2の病原体の表示でタグ付けされる。こうして、複数の画像のセットにわたって訓練することによって、ANNモデルは、所与の蛍光ベース画像中に存在する病原体を識別することが可能になる。
【0040】
上で述べたように、分析モデル114は、傷中の病原体の検出および分類のためにMLモデルを含むことができる。MLモデルの訓練のために、各参照蛍光ベース画像のスペクトルマップおよび空間マップを作成して、MLモデルへの特徴として供給することができる。各空間マップは、傷および傷の隣接領域の、テクスチャ、多孔性、光沢などの情報を提供することができる。さらに、スペクトルマップは、参照蛍光ベース画像中の各画素または領域中のスペクトル強度の情報を提供することができる。
【0041】
図3は、本主題の実装形態に従った、参照蛍光ベース画像の空間マップおよびスペクトルマップに基づいたMLモデルの訓練を図示する。ブロック302において、参照蛍光ベース画像および参照白色光画像は、目標のタイプ(すなわち、皮膚または傷)、傷領域のタイプ(すなわち、脱落組織、骨など)、感染した病原体種、グラムタイプなどといった、様々な参照ラベルでタグ付けされる。一例では、テクスチャ、傷および隣接領域の多孔性、蛍光の色相などの様々なスペクトルの特徴、またはそれらの組合せなどといった、様々な空間的特徴が抽出される。一例では、タグ付けは、白色光画像だけで実施することができる。
【0042】
ブロック304において、タグ付けされた画像が事前処理される。たとえば、画像は、グレースケールに変換され、サイズ変更され、拡張される。画像の拡張は、画像を回転すること、画像を反転することなどを含むことができる。ブロック306において、空間的特徴、スペクトル的特徴、またはそれらの組合せなどといった、様々な特徴が画像から抽出される。いくつかの例では、勾配方向ヒストグラム(HOG, histogram of oriented gradient)特徴、エントロピー特徴、局所的2値パターン(LBP, Local Binary Patterns)、スケール不変特徴変換(SIFT, Scale Invariant Feature Transforms)などといった、空間的特徴を画像から抽出することができる。同様に、いくつかの例では、スペクトル的特徴は、RGB波長で白色光画像から、様々な励起波長で蛍光画像から抽出することができる。白色光画像および蛍光画像では、スペクトル的特徴は、各画素/領域において、赤緑青(RGB)、色相飽和値(HSV)、または任意の他の色マッピング値を使用して抽出される。ブロック308において、抽出された空間的特徴およびスペクトル的特徴ならびにタグは、データベースに記憶することができる。抽出された特徴は、次いで、下に記載されるように、病原体の検出および空間マッピングのために、MLモデルへと渡される。たとえば、緑膿菌などといった、いくつかの病原体では、空間的特徴および励起波長を使用して、病原体を検出することができる。大腸菌(E-coli)、クレブシエラ菌、ブドウ球菌などといった、いくつかの病原体では、検出は、空間的特徴とスペクトル的特徴の両方の組合せを抽出することによって行うことができる。
【0043】
目標にした予め規定された目標の訓練精度が達成されるまで、いくつかの参照蛍光ベース画像およびいくつかの白色光画像について、ステップ302～308を繰り返すことができる。ブロック310において、データベース中の情報は、SVMモデルであってよいMLモデルを訓練するため使用することができる。訓練によって、画像の抽出された空間的特徴、スペクトル的特徴、またはそれらの組合せに基づいて、SVMは、所与の画像中の傷を識別することが可能になる。すなわち、SVMは、傷のセグメント化を実施することができる。一例では、ブロック310に続けて、方法300は、傷のセグメント化の結果を滑らかにし、それによって、傷のセグメント化の精度を改善するために使用することができる、連結成分のラベリング、隠れマルコフモデルなどといった、後処理ステップを含むことができる。
【0044】
SVMモデルの訓練の際に、SVMモデルは、画像中の傷を正確に識別することができるかを検証するため試験することができる。したがって、ブロック312において、試験画像中の対象の領域が選択され、ブロック314において、試験画像が事前処理され、ブロック316において、試験画像の空間的特徴が抽出される。ブロック318において、抽出した特徴をSVMモデルに供給して、傷のセグメント化ならびに問題のある細胞実体の検出および分類が実施される。その後、SVMモデルが実施した傷のセグメント化、問題のある細胞実体の検出および分類の結果を受け取ることができる。
【0045】
一実装形態では、傷のセグメント化に使用されるMLモデルは、病原体検出および分類に使用されるものと異なってよい。したがって、傷のセグメント化の出力は、第1のMLモデルによって第2のMLモデルに提供することができる。第2のMLモデルは、次いで、第1のMLモデルによって識別された傷領域からの蛍光を分析し、次いで、傷領域中の病原体を検出および分類することができる。代わりに、一例では、第2のMLモデルは、病原体の検出および分類のために、スペクトル的特徴と組み合わせて、傷、骨、組織領域などについての第1のMLモデルからの空間的特徴、情報を使用することもできる。
【0046】
一実装形態では、分析モデル114は、各々が異なる機能を実施する、ANNモデルとMLモデルの両方を含むことができる。たとえば、MLモデルは、傷のセグメント化を実施するために訓練することができる一方で、ANNモデルは、病原体を検出および分類するために訓練することができる。別の例では、ANNモデルは、蛍光ベース画像からスペクトル画像を生成することができ、MLモデルは、図3に描かれるように、生成したスペクトル画像に基づいて病原体を検出および分類することができる。一例では、ANNモデルは、蛍光ベース画像に加えて、白色光画像およびMLモデルから追加でスペクトル画像を生成することもできる。
【0047】
一実装形態では、MLモデルは、傷中の病原体を、グラム陽性(GP)およびグラム陰性(GN)病原体へと分類することができる。さらに、ANNモデルは、傷中の病原体の種を識別することができる。
【0048】
図4(a)～図4(b)は、本主題の実装形態に従った、ANNモデルによって検出された傷中の病原体の分類結果を図示する。図示されるように、傷の特定の領域中の病原体の表示が、蛍光ベース画像中のその領域上にオーバーレイされる。加えて、病原体確率を、蛍光ベース画像上にオーバーレイすることもできる。
【0049】
図5(a)～図5(d)は、本主題の実装形態に従った、ANNモデルによって検出された傷中の病原体のグラムタイプの分類結果を図示する。図示されるように、傷の特定の領域中の病原体のグラムタイプの表示が、蛍光ベース画像中のその領域上にオーバーレイされる。加えて、病原体グラムタイプ確率を、蛍光ベース画像上にオーバーレイすることもできる。
【0050】
いくつかの実装形態では、表示される結果は、図6(a)～図6(c)に描かれるように、傷中の病原体空間分布、病原体成長状況データ、共同コロニー形成データ、生物膜情報、バイオマーカ情報、病原体定量化データ、表面もしくは傷の場合の感染の空間マッピング、以降の処理プロトコル、またはそれらの組合せを含むこともできる。病原体成長状況データは、2つの連続する報告データから得ることができる。たとえば、病原体成長状況データは、傷の第1の往診、第2の往診などといった、連続する往診から得られた画像から得ることができる。病原体定量化データは、傷の蛍光ベース画像で捕捉された強度に基づいて実施することができる。共同コロニー形成データは、傷のANNモデルの結果から、傷の各領域で各病原体の確率から得ることができる。たとえば、2つの病原体の確率が結果中で同様である場合、病原体は、共同コロニー形成されていると判定される。すなわち、各病原体の確率の差異がしきい値以内である、すなわち、病原体の確率の差異が10%未満である場合、それらの病原体は共同コロニー形成されると判定される。スクリーン上に表示される結果は、たとえばユーザが操作し、共有し、およびクラウドサーバ上で将来の使用のために記憶することもできる。
【0051】
図6(a)～図6(d)は、本主題の実装形態に従った、生物膜情報、病原体成長状況データ、傷の寸法および病原体負荷、ならびに組織酸素化の結果を図示する図である。図6(a)に図示されるように、画像602は、病原体緑膿菌の生物膜を有する、切断された脚上の傷の白色光画像である。画像604は、395nmの波長の光で照射したときの蛍光ベース画像である。画像606は、病原体が存在する生物膜領域608を検出するためのMLモデルの実装後に得られる、空間的にオーバーレイしたカラー画像である。加えて、病原体のグラムタイプがやはり識別される。
【0052】
図6(b)に図示されるように、病原体成長状況データは、2つ(または)それ以上の連続する報告データから得られる。たとえば、画像610、612、614は、傷の第1の往診、第2の往診、および第3の往診などといった、連続する往診から得られた患者の足指上の傷の白色光画像である。画像616、618、620は、病原体成長状況データを検出するため、それぞれ画像610、612、614に対応するMLモデルによって生成された画像である。画像610～614から、後の往診期間の傷の感染レベルの変化および異なるタイプの病原体の空間分布の変化を明瞭に理解することができる。
【0053】
図6(c)に図示されるように、画像622は、病原体を有する傷の白色光画像である。画像624は、395nmの波長の光で照射したときに捕捉された傷の蛍光ベース画像である。画像626は、MLモデルの実装後に得られた、空間的にオーバーレイしたカラー画像である。傷のMLモデル、長さ、幅、面積から、病原体のグラムタイプを得て、画像628に描かれるように、表示することができる。傷は、グラム陽性(メチシリン耐性黄色ブドウ球菌(MRSA)およびグラム陰性バクテリア(E-Coli))の両方に感染する可能性がある。得られた画像622～628は、傷の1日目に得られた画像に対応する。
【0054】
さらに、傷の変化を追跡するため、622、624、626、および628と同様の画像は、画像630、632、634、636によって描かれるように、傷の7日目に得ることができる。画像626と634および画像628と636を比較することによって、傷の治療および病原体負荷変化を追跡することができる。
【0055】
さらに、デバイス100は、傷の治療を理解するため使用可能な出力を提供することができる。傷の治療を判定するため、デバイス100は、ある期間の時間にわたって取られた傷の画像を比較することができる。たとえば、デバイス100は、たとえば1日目の第1の往診から得られた白色光画像および対応する蛍光ベース画像に基づいて、傷領域中に存在する問題のある細胞実体を検出および分類することができる。同様に、デバイス100は、たとえば2日目の第2の往診から得られた白色光画像および対応する蛍光ベース画像に基づいて、傷領域中に存在する問題のある細胞実体を検出および分類することができる。さらに、デバイス100は、第1の往診および第2の往診からの画像を比較することができ、傷が癒えたかどうかを判定することができる。さらに、デバイス100は、画像に基づいて、疾患の予後を判定することもできる。たとえば、第1の往診から得られた画像および第2の往診から得られた画像に基づいて、デバイス100は、将来の時間期間、すなわち、3日目、4日目などの傷の状態を判定するために、MLモデル、ディープラーニングモデル(たとえば、再帰型ニューラルネットワーク(RNN)モデル、長短期記憶(LSTM))などといった、人工知能モデルを使用することができ、それによって、感染/疾患が治るのにかかる時間を判定することができる。
【0056】
さらに、デバイス100は、組織酸素化を理解するのに使用可能な出力を提供することができる。組織酸素化では、目標102は、NIRまたは可視波長を使用して励起することができ、その結果として目標102から得られた画像は、目標102中の様々な領域における酸素化を理解するために処理することができる。たとえば、プロセッサ112は、分析モデル114を使用することができ、第1の光源104による目標102の照射に応じて、目標によって放出される画像を分析することができる。さらに、プロセッサ112は、分析に基づいて、組織中の複数の領域において組織酸素化を検出することができる。組織酸素化は、全ヘモグロビン含有量、酸素ヘモグロビン量、デオキシヘモグロビン量、酸素飽和度、多量の血液(blood profusion)などまたはそれらの組合せを含むことができる。
【0057】
一例では、図6(d)に描かれるように、画像640は、傷を有する第1の患者の白色光画像を表し、画像642は、傷を有する第2の患者の白色光画像を表す。さらに、画像644および646は、それぞれ、第1の患者および第2の患者の傷の各画素における酸素飽和度レベルの結果を表すことができる。理解されるように、分析モデル114は、画像644および646を得るために使用することができる。
【0058】
デバイス100は、傷の固さを理解するために使用できる出力を提供することもできる。傷の固さは、目標102の白色光画像を分析することによって得ることができる。
【0059】
一実装形態では、デバイス100は、手または足などといった、人体の部位上のカルスを検出するために使用することができる。このために、分析モデル114は、体の部位のいくつかがカルスを有し、いくつかは有さない、人体の部位のいくつかの参照白色光画像で訓練することができる。
【0060】
一実装形態では、デバイス100は、目標102の画像を捕捉することができる3次元(3D)深度センサを含むことができ、画像中に捕捉された様々な実体の深度情報を提供することもできる。深度情報は、目標中の傷の深度を判定するために使用することができる。3D深度センサは、構造化光照射、飛行時間検知技法、立体視技法などを使用することによって、様々な実体の深度を判定することができる。
【0061】
図7(a)は、本主題の実装形態に従った、傷のある人間の脚の白色光画像702および対応する3D深度画像704を図示する。図示されるように、3D深度画像704は、画像704中に捕捉された様々な実体の深度の情報を提供する。たとえば、同様の深度の実体が同様の色で表示される一方で、異なる深度の実体は異なる色で表示される。
【0062】
図7(b)は、本主題の実装形態に従った、傷の3D画像に重ね合わせた人間の脚の蛍光画像706を図示する。画像606は、異なる深さにおける蛍光分布の正確な可視化を可能にすることができる。
【0063】
図8(a)は、本主題の実装形態に従った、3D画像に図示された部分が傷であるか、または皮膚であるかを検出するための方法800を図示する。方法ブロックが記載される順番を限定と解釈することは含まれず、記載される方法ブロックのいくつかは、方法800または代わりの方法を実施するために、任意の順番で組み合わせることができる。加えて、個々のブロックのいくつかは、本明細書に記載される主題の範囲から逸脱することなく、方法800から取り除くことができる。
【0064】
ブロック802において、赤緑青-深度(RGB-D)画像を画像センサから得ることができる。画像は、図示される部分が傷であるかまたは皮膚であるかを判定するべき部分の画像であってよい。たとえば、RGB-D画像を得るために、3D深度カメラを使用することができる。その後、ブロック804において、RGB-D画像上で、点群レジストレーションを実施することができる。点群レジストレーションは、2つの点群、すなわち、RGB-D画像に対応する2セットのデータ点を整合させる、拡大縮小、回転、および並進などといった、空間的変換を見いだすプロセスである。
【0065】
ブロック806において、3D空間中の点を判定するために、点群レジストレーションに基づいて、三角投影を実施することができる。さらに、ブロック808において、三角投影に基づいて、3D深度投影を実施することができる。その後、ブロック810において、領域が皮膚であるかまたは傷であるかを判定するために、領域の3D深度のしきい値が傷の3D深度のしきい値より大きいかを判定することができる。たとえば、領域の3D深度のしきい値が傷の3D深度のしきい値より大きい場合、領域を傷と判定することができる。同様に、領域の3D深度のしきい値が傷の3D深度のしきい値より小さい場合、領域を皮膚と判定することができる。3D深度は、ブロック808中で実施される3D深度投影から得ることができる。一例では、様々な機械学習技法およびディープラーニング技法を使用して、傷領域を、脱落組織、骨、腱、肉芽組織などの様々なタイプに分類およびセグメント化することができる。傷および皮膚領域の判定は、図8(b)に描かれる。
【0066】
図8(b)は、本主題の実装形態に従った、3D画像に図示された部分が傷であるか、または皮膚であるかの検出を図示する。領域820は、3D深度のしきい値が傷のしきい値より大きいと判定される部分である。したがって、領域820は傷であることが検出される。領域822は、3D深度のしきい値が傷のしきい値より小さいと判定される部分である。したがって、領域822は皮膚であることが判定される。
【0067】
デバイス100は、下に説明されるように、スチール表面上に存在する病原体を検出および分類するために使用することができる。
【0068】
図9は、本主題の実装形態に従った、スチール表面上の病原体の存在の検出を図示する。画像902は、病原体を有するスチール表面の白色光画像である。画像904は、395nmの波長の光で照射したときに捕捉されたスチール表面の蛍光ベース画像である。画像906は、MLモデルの実装後に得られた、空間的にオーバーレイしたカラー画像である。領域908は、病原体の存在する領域として識別される。加えて、病原体のグラムタイプがやはり識別される。
【0069】
図10は、本主題の実装形態に従った、マスク上の病原体の存在の検出を図示する。画像1002は、病原体を有するN95マスクなどのマスクの白色光画像である。画像1004は、395nmの波長の光で照射したときに捕捉されたN95マスクの蛍光ベース画像である。画像1006は、MLモデルの実装後に得られた、空間的にオーバーレイしたカラー画像である。領域1008は、病原体の存在する領域として識別される。加えて、病原体のグラムタイプがやはり識別される。
【0070】
図11および図12は、本主題の実装形態に従った、ヘッドキャップおよび外科用ナイフ上の病原体の存在の検出を図示する。画像1102、1202は、それぞれ、病原体を有するヘッドキャップおよび外科用ナイフの白色光画像である。画像1104、1204は、395nmの波長の光で照射したときにそれぞれ捕捉されたヘッドキャップおよび外科用ナイフの蛍光ベース画像である。画像1106、1206は、MLモデルの実装後に得られた、空間的にオーバーレイしたカラー画像である。領域1108、1208は、それぞれ、ヘッドキャップおよび外科用ナイフ中の、病原体の存在する領域として識別される。加えて、病原体のグラムタイプがやはり識別される。
【0071】
一実装形態では、デバイス100は、下に記載されるように、傷の熱撮像のため、および傷の熱分布を判定するための熱センサを含むことができる。
【0072】
図13は、本主題の実装形態に従った、傷の熱撮像の結果を図示する。画像1302は、傷を有する足の白色光画像である。画像1304は、熱センサから得られた傷の熱撮像である。画像1304中の各色または各陰影は、特定の温度を表す。画像1304から、特定の領域における血流を検出することができる。たとえば、画像1304から、特定の領域で温度がより高いことが検出される場合、その領域の血流がより多く、特定の領域で温度がより低い場合、その領域の血流がより少ない。さらに、一例では、傷のバイオバーデン(すなわち、傷上の病原体の数)をよりよく理解するために、熱撮像は、白色光画像、蛍光ベース画像などといった、他の画像と組み合わせて使用することができる。上の説明では、病原体の検出および分類に含まれる全部のステップがデバイス100中で実施されると説明されるが、いくつかの例では、いくつかのステップは、処理デバイスとも呼ばれる異なるデバイスで実施する場合がある。
【0073】
図14は、本主題の実装形態に従った、処理デバイス1400に接続されたデバイス100を図示する。処理デバイス1400は、クラウド上などの離れた場所に設けられるサーバなどのコンピューティングデバイスであってよい。処理デバイス1400は、コンピュータ、サーバ、クラウドデバイスまたはそれらの任意の組合せを含むことができる。デバイス100は、通信ネットワーク1401にわたって処理デバイス1400に接続することができる。本実装形態によれば、蛍光ベース画像および白色光画像の処理に基づいて病原体の存在を検出するために使用される分析モデル1414を、処理デバイス1400上に実装することができる。分析モデル1414は、分析モデル114に対応してよい。処理デバイス1400は、分析モデル1414を実装するプロセッサ1402を含むことができる。したがって、デバイス100は、目標の蛍光ベース画像および白色光画像を捕捉することができ、それらを処理デバイス1400に送信することができる。病原体を検出および分類する際に、処理デバイス1400は、分析の結果をデバイス100に送信することができ、次いでデバイス100は、結果をディスプレイ122上に表示することができる(図14に図示せず)。
【0074】
一実装形態では、デバイス100は、送信される白色光画像上で傷のセグメント化を実施することができ、次いで処理デバイス900が、傷上で病原体の検出および分類を実施することができる。傷のセグメント化を実施するために、デバイス100は、セグメント化モデル1404を実装することができる。セグメント化モデル1404は、傷のセグメント化を実施するため訓練されるANNモデルまたはMLモデルであってよい。
【0075】
図15は、本主題の実装形態に従った、目標を検査するための方法を図示する。方法ブロックが記載される順番を限定と解釈することは含まれず、記載される方法ブロックのいくつかは、方法1500または代わりの方法を実施するために、任意の順番で組み合わせることができる。加えて、個々のブロックのいくつかは、本明細書に記載される主題の範囲から逸脱することなく、方法1500から取り除くことができる。目標は、目標102に対応してよい。
【0076】
ブロック1502において、目標は、デバイスの光源を使用して照射することができる。目標上に光源によって放出される光は、照射されると目標中のマーカに蛍光を行わせる波長帯であってよい。デバイスは、光源、画像センサ、およびプロセッサを備える。画像センサは、光源による目標の照射に応答して目標によって放出される光を直接受け取ることができる。画像センサは、放出される光に基づいて形成される蛍光ベース画像を捕捉することができる。蛍光ベース画像は、目標から出る蛍光を含むことができる。デバイスは、デバイス100に対応してよい。光源は、第1の光源104に対応してよい。画像センサは、画像センサ108に対応してよく、プロセッサは、プロセッサ112に対応してよい。
【0077】
ブロック1504において、蛍光ベース画像は、分析モデルを使用してプロセッサによって分析することができる。分析モデルは、目標中の問題のある細胞実体の存在を検出するために、複数の参照蛍光ベース画像を使用して訓練することができる。一例では、参照蛍光ベース画像に加えて、分析モデルは、複数の参照白色光画像を使用して訓練することができる。分析モデルは、分析モデル114に対応してよい。
【0078】
ブロック1506において、目標中の問題のある細胞実体の存在は、分析に基づいてプロセッサが検出することができる。検出を実施するために、問題のある細胞実体から出る蛍光ベース画像中の蛍光と、問題のある細胞実体以外の領域から出る蛍光ベース画像中の蛍光との間で区別するように分析モデルを訓練することができる。
【0079】
一例では、ターゲットは、食用製品、研究機器、衛生デバイス、衛生機器、生化学分析チップ、または微小流体チップであってよい。問題のある細胞実体が病原体であってよい。さらに、方法1500は、プロセッサが分析モデルを使用して蛍光ベース画像中の目標の場所を識別するステップを含むことができる。目標中の病原体の存在は、プロセッサが分析モデルを使用して検出することができる。目標中に存在する病原体は、プロセッサが分析モデルを使用して分類することができる。
【0080】
本主題は、目標中の問題のある細胞実体の存在を検出するために、いくつかの参照蛍光ベース画像にわたって訓練される分析モデルを利用する。加えて、一例では、分析モデルは、傷領域、骨領域などといった、領域を最初に区別するために使用できるいくつかの参照白色光画像にわたって訓練することができる。その後、分析モデルは、目標中の問題のある細胞実体の存在を検出するために、いくつかの参照蛍光ベース画像にわたって訓練し、それによって、検出の精度を向上させることができる。一例では、分析モデルは、精度を改善するための連合学習などといった技法を使用する訓練用に、1つまたは複数のコンピュータまたはサーバまたはクラウドシステムまたはそれらの組合せ上に展開することもできる。分析モデルは、蛍光ベース画像中の背景光と励起光を無視することができ、蛍光ベース画像中の弱い蛍光情報を拾い上げることができる。したがって、本主題は、背景光および励起光をフィルタ処理するための放出フィルタの使用をなくす。したがって、本主題のデバイスは、簡単で費用効果的である。
【0081】
こうして、本主題は、「光学的計算生体検査」技法を使用した、病原体の迅速で、フィルタのない、非侵襲的、自動的、およびインサイチュ(in-situ)での検出および分類を実現する。
【0082】
本主題は、糖尿病の足部潰瘍、手術部位感染、やけど、皮膚、ならびに食道、胃、および結腸など体の内部における問題のある細胞実体の存在を検出するために使用することができる。本主題のデバイスは、皮膚科学、美容術、形成外科、感染管理、光力学治療監視、および抗菌感受性試験の分野で使用することができる。
【0083】
本主題は、外因性蛍光マーカからの蛍光を使用して問題のある細胞実体を検出するために使用することができる。たとえば、外因性マーカは、デオキシリボ核酸(DNA)、リボ核酸(RNA)、タンパク質、生化学マーカなどといった、細胞実体と結合することができ、このことによって、目標を蛍光させることができる。
【0084】
本主題は、具体的な実施形態を参照して記載されているが、この記載は、限定的な意味で解釈されることを意味していない。開示される実施形態の様々な変形形態ならびに本主題の代替実施形態は、本主題の記載を参照すれば、当業者には明らかとなるであろう。
【符号の説明】
【0085】
100 デバイス
102 目標
104 第1の光源
106 矢印
108 画像センサ
110 矢印
112 プロセッサ
114 分析モデル
116 第2の光源
118 矢印
120 矢印
122 ディスプレイ
202 白色光画像
206 領域
204 画像
208 第3の画像
602 画像
604 画像
606 画像
608 生物膜領域
610 画像
612 画像
614 画像
616 画像
618 画像
620 画像
622 画像
624 画像
626 画像
628 画像
630 画像
632 画像
634 画像
636 画像
640 画像
642 画像
644 画像
646 画像
702 白色光画像
704 3D深度画像
706 蛍光画像
800 方法
820 領域
822 領域
900 処理デバイス
902 画像
904 画像
906 画像
908 領域
1002 画像
1004 画像
1006 画像
1008 領域
1102 画像
1104 画像
1106 画像
1108 領域
1202 画像
1204 画像
1206 画像
1208 画像
1302 画像
1304 画像
1400 処理デバイス
1401 通信ネットワーク
1402 プロセッサ
1404 セグメント化モデル
1414 分析モデル
1500 方法
102 目標
104 第1の光源
106 矢印
108 画像センサ
110 矢印
112 プロセッサ
114 分析モデル
116 第2の光源
118 矢印
120 矢印
122 ディスプレイ
202 白色光画像
206 領域
204 画像
208 第3の画像
602 画像
604 画像
606 画像
608 生物膜領域
610 画像
612 画像
614 画像
616 画像
618 画像
620 画像
622 画像
624 画像
626 画像
628 画像
630 画像
632 画像
634 画像
636 画像
640 画像
642 画像
644 画像
646 画像
702 白色光画像
704 3D深度画像
706 蛍光画像
800 方法
820 領域
822 領域
900 処理デバイス
902 画像
904 画像
906 画像
908 領域
1002 画像
1004 画像
1006 画像
1008 領域
1102 画像
1104 画像
1106 画像
1108 領域
1202 画像
1204 画像
1206 画像
1208 画像
1302 画像
1304 画像
1400 処理デバイス
1401 通信ネットワーク
1402 プロセッサ
1404 セグメント化モデル
1414 分析モデル
1500 方法
【図1】
【図2(a)】
【図2(b)】
【図2(c)】
【図2(d)】
【図2(e)】
【図2(f)】
【図2(g)】
【図2(h)】
【図2(i)】
【図3】
【図4(a)】
【図4(b)】
【図5(a)】
【図5(b)】
【図5(c)】
【図5(d)】
【図6(a)】
【図6(b)】
【図6(c)】
【図6(d)】
【図7(a)】
【図7(b)】
【図8(a)】
【図8(b)】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【国際調査報告】