特許 7430171 身体部位のサーマル画像データを取得するシステムおよび方法とサーマルイメージャ

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-02-01

(45)【発行日】2024-02-09

(54)【発明の名称】身体部位のサーマル画像データを取得するシステムおよび方法とサーマルイメージャ

(51)【国際特許分類】

   A61B 5/01 20060101AFI20240202BHJP

   G06T 7/12 20170101ALI20240202BHJP

   G06T 7/00 20170101ALI20240202BHJP

【ＦＩ】

A61B5/01 350

G06T7/12

G06T7/00 350C

G06T7/00 660Z

【請求項の数】 13

(21)【出願番号】P 2021502888

(86)(22)【出願日】2019-07-16

(65)【公表番号】

(43)【公表日】2021-11-11

(86)【国際出願番号】 GB2019051984

(87)【国際公開番号】W WO2020016569

(87)【国際公開日】2020-01-23

【審査請求日】2022-07-11

(31)【優先権主張番号】1811620.2

(32)【優先日】2018-07-16

(33)【優先権主張国・地域又は機関】GB

(73)【特許権者】

【識別番号】509251143

【氏名又は名称】エヌピーエル マネージメント リミテッド

(74)【代理人】

【識別番号】110002321

【氏名又は名称】弁理士法人永井国際特許事務所

(72)【発明者】

【氏名】ウィタム，アーロン

(72)【発明者】

【氏名】シンプソン，ロブ

【審査官】増渕 俊仁

(56)【参考文献】

【文献】特表２０１７－５１２５６８（ＪＰ，Ａ）

【文献】特開２０１７－１５３９６３（ＪＰ，Ａ）

【文献】特開２０１４－１５０９５７（ＪＰ，Ａ）

【文献】Chanjuan Liu, et al.，Automatic detection of diabetic foof complications with infrared thermography by asymmetric analysis，Journal of Biomedical Optics，20(2)，米国，2015年02月，pp. 026003-1-10，https://doi.org/10.1117/1.JBO.20.2.026003

【文献】B. G. Sudha, et al.，Thermal Image Acquisition and Segmentation of Human Foot，2017 4th International Conference on Signal Processing and Integrated Networks(SPIN)，IEEE，2017年，pp. 80-85，https://doi.org/10.1109/SPIN.2017.8049920

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ５／００－５／０１

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

身体部位のサーマル画像データを取得するためのコンピュータで実施される方法であって、該方法は、ディスプレイと、サーマルカメラを有するサーマルイメージャと含む携帯用デバイスで実行され、
身体部位の画像データを受け取るステップであって、前記画像データがサーマル画像データを含み、前記サーマル画像データが前記身体部位のサーマル画像データ、およびバックグランドサーマル画像データを含むステップと、
分類器を前記画像データに適用して前記身体部位の輪郭を検出するステップであって、前記分類器が、前記サーマル画像データ以外の画像データを用いて前記検出を行うように構成されているステップと、
前記輪郭からマスクを生成するステップと、
前記マスクを前記サーマル画像データに適用して前記バックグラウンドサーマル画像データを除去し、前記身体部位のサーマル画像データを取得するステップとを含み、
前記画像データが、前記サーマル画像データと同じシーンから取り込まれた視覚画像データを含み、前記分類器が前記視覚画像データから前記身体部位の輪郭を検出し、前記画像データは、前記サーマル画像データと同じシーンから取り込まれた視覚立体画像データを含み、
前記方法はさらに、前記サーマルカメラから取り込まれる前記シーンのライブシーン表示を前記ディスプレイに表示するステップを含み、前記身体部分が画像に入るように使用者が前記携帯用デバイスを配置する、ように案内する、
コンピュータで実施される方法。

【請求項2】

分類器を適用する前記ステップが、身体部位の画像データにより学習された人工ニューラルネットワークを前記受け取った画像データに適用して前記身体部位の輪郭を検出するステップを含む、請求項１に記載の方法。

【請求項3】

前記視覚立体画像データから、前記身体部位の位置を前記分類器によって決定するステップと、前記決定された位置に応じて、前記取得された前記身体部位のサーマル画像の位置を修正してデフォルトの位置と一致させるステップとをさらに含む、請求項１に記載の方法。

【請求項4】

サーマルカメラ、ディスプレイ、およびプロセッサを含む携帯用サーマルイメージャであって、
前記プロセッサが、
身体部位の画像データを受け取るように構成されたコンピュータプログラムコードであって、前記画像データが前記サーマルカメラからのサーマル画像データを含み、前記サーマル画像データが前記身体部位のサーマル画像データ、およびバックグランドサーマル画像データを含む、コンピュータプログラムコードと、
分類器を前記画像データに適用して前記身体部位の輪郭を検出するように構成されたコンピュータプログラムコードであって、前記分類器が前記サーマル画像データ以外の画像データを用いて前記検出を行うように構成されている、コンピュータプログラムコードと、
前記輪郭からマスクを生成するように構成されたコンピュータプログラムコードと、
前記マスクを前記サーマル画像データに適用して前記バックグラウンドサーマル画像データを除去し、前記身体部位のサーマル画像データを取得するためのコンピュータプログラムコードと
を含む、前記分類器を実行するためのコンピュータプログラムコードを実行するように構成されており、前記サーマル画像データと同じシーンの視覚画像データを取り込むように構成された視覚イメージャをさらに備え、前記コンピュータプログラムコードが、前記視覚画像データから前記身体部位の輪郭を検出する前記分類器を適用するように構成されており、前記視覚イメージャが立体視覚イメージャを含み、前記ディスプレイが、前記サーマルカメラから取り込まれる前記シーンのライブシーン表示を表示するように構成されている、
携帯用サーマルイメージャ。

【請求項5】

分類器を適用するように構成された前記コンピュータプログラムコードが、身体部位の画像データにより学習された人工ニューラルネットワークを前記受け取った画像データに適用して前記身体部位の輪郭を検出するように構成されたコンピュータプログラムコードを含む、請求項４に記載の携帯用サーマルイメージャ。

【請求項6】

前記プロセッサがさらに、コンピュータプログラムコードを実行して、前記立体視覚イメージャからの視覚立体画像データから、前記身体部位の位置を前記分類器によって決定し、前記決定された位置に応じて、前記取得された前記身体部位のサーマル画像の位置を修正してデフォルトの位置と一致させるように構成される、請求項４に記載の携帯用サーマルイメージャ。

【請求項7】

視覚的位置合わせツールをさらに含み、前記身体部位の位置合わせを案内する、請求項４に記載の携帯用サーマルイメージャ。

【請求項8】

前記視覚的位置合わせツールが、前記ディスプレイ上のオンスクリーンオーバレイを含み、前記身体部位の位置合わせを案内する、請求項７に記載の携帯用サーマルイメージャ。

【請求項9】

前記視覚的位置合わせツールが、前記身体部位若しくはその近傍に配置される携帯用デバイスからの視覚的位置合わせ案内を投射するように構成された発光体を含む、請求項７に記載の携帯用サーマルイメージャ。

【請求項10】

身体部位のサーマル画像データを取得するためのコンピュータで実施される方法であって、
身体部位の画像データを受け取るステップであって、前記画像データがサーマル画像データを含み、前記サーマル画像データが前記身体部位のサーマル画像データ、およびバックグランドサーマル画像データを含むステップと、
分類器を前記画像データに適用して前記身体部位の輪郭を検出するステップであって、前記分類器が、前記サーマル画像データ以外の画像データを用いて前記検出を行うように構成されているステップと、
前記輪郭からマスクを生成するステップと、
前記マスクを前記サーマル画像データに適用して前記バックグラウンドサーマル画像データを除去し、前記身体部位のサーマル画像データを取得するステップとを含み、
前記画像データが、前記サーマル画像データと同じシーンから取り込まれた視覚画像データを含み、前記分類器が前記視覚画像データから前記身体部位の輪郭を検出し、前記画像データは、前記サーマル画像データと同じシーンから取り込まれた視覚立体画像データを含み、
前記方法はさらに、前記身体部位の３Ｄモデルを生成するステップと、前記サーマル画像データを前記３Ｄモデルに投射するステップとを含む、
コンピュータで実施される方法。

【請求項11】

分類器を適用する前記ステップが、身体部位の画像データにより学習された人工ニューラルネットワークを前記受け取った画像データに適用して前記身体部位の輪郭を検出するステップを含む、請求項１０に記載の方法。

【請求項12】

前記視覚立体画像データから、前記身体部位の位置を前記分類器によって決定するステップと、前記決定された位置に応じて、前記視覚立体画像データから、前記取得された前記身体部位のサーマル画像の位置を修正してデフォルトの位置と一致させるステップとをさらに含む、請求項１０に記載の方法。

【請求項13】

サーマルカメラ、前記サーマルカメラが撮像するのと同じシーンで視覚画像データを取り込むように構成され、立体視覚イメージャを含む視覚イメージャ、およびプロセッサを含む携帯用サーマルイメージャであって、
前記プロセッサが、
身体部位の画像データを受け取るように構成されたコンピュータプログラムコードであって、前記画像データが前記サーマルカメラからのサーマル画像データを含み、前記サーマル画像データが前記身体部位のサーマル画像データ、およびバックグランドサーマル画像データを含む、コンピュータプログラムコードと、
分類器を前記画像データに適用して前記身体部位の輪郭を検出するように構成されたコンピュータプログラムコードであって、前記分類器が前記サーマル画像データ以外の画像データを用いて前記検出を行うように構成されている、コンピュータプログラムコードと、
前記輪郭からマスクを生成するように構成されたコンピュータプログラムコードと、
前記マスクを前記サーマル画像データに適用して前記バックグラウンドサーマル画像データを除去し、前記身体部位のサーマル画像データを取得するためのコンピュータプログラムコードであって、前記視覚画像データから前記身体部位の輪郭を検出する前記分類器を適用するように構成されているコンピュータプログラムコードと
を含む、前記分類器を実行するためのコンピュータプログラムコードを実行するように構成されており、
前記プロセッサはさらに、前記身体部位の３Ｄモデルを生成し、前記サーマル画像データを前記３Ｄモデルに投射するように構成されている、
携帯用サーマルイメージャ。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、身体部位のサーマル画像データを取得するシステムおよび方法と、糖尿病性足潰瘍を特定する用途に特に適用できるサーマルイメージャとに関する。

【背景技術】

【0002】

糖尿病がある人は足に重篤な潰瘍を起こしやすく、その足が感染し、最終的に切断が必要になることがある。早期の検知は、患者の予後を改善するために決定的に重要であり、医師が、皮膚崩壊が起きる前に介入して足を保護し、感染の場合には抗生物質を迅速に投与することを可能にする。

【0003】

糖尿病患者の最大で５０％までが足の神経障害を患うと推定されており、この神経障害により広範な皮膚損傷が検知されないことになって、潰瘍（糖尿病性足潰瘍（ＤＦＵ））、感染および切断につながり得る。この一連の事象は、早期の予防処置が取られるならば大部分が回避され、切断が８０％低減すると推定されている。ＤＦＵおよび切断の後の死亡率は高く、切断された人の最大で７０％までが５年以内に死亡し、糖尿病性足潰瘍を発症した人の約５０％が５年以内に死亡している。患者への悪影響に加えて、ＤＦＵおよび起こり得る合併症に要するイングランドおよびウェールズの国民健康保険の費用は、１年につき１０億ポンドを超えると推定されている。

【0004】

医学的研究によって、皮膚崩壊が起きる前の最大で１０日間に、持続的な>２℃の皮膚温度の上昇があることが明らかになった。通常では、足に何らかの感染または異常の徴候が目に見えるようになる前に皮膚温度が上昇する。この温度上昇は、必ずしも感染と関連がなく、摩擦による組織破壊および後に続くその部分への血流の増加によって生じることもある。

【0005】

必要な精度の測定を実現し経時的に足の温度を監視できることが特に難題である。

【0006】

ほとんどの医師が定期的に、糖尿病患者の足を目視で調べ、接触感知機能を検査し、また患者を触診して、初期病変（前潰瘍）を示し得る局所的な温度変化を検出する。これらの手動法は不正確なことで有名であり、潰瘍の心配がある場合には、サーマルマッピング（足が温度測定用の測定デバイスまたはプラットフォームに接触する）、またはサーマルイメージング診断技法によって補完される。しかし、市販のサーマルマッピングデバイスならびにサーマルイメージングのデバイスおよび技法にもまた、様々な欠点がある。

【0007】

第１に、大きな診療所または検査所の外で使用するためにサイズ、コストおよび使いやすさが適している、知られているデバイスがない。理想的には、このようなデバイスは、足治療医および介護施設などによる使用のために、高度の熟練操作員を必要とせずに利用可能でなければならない。

【0008】

第２に、高度の熟練操作員であっても、既存のデバイスでは臨床的に適した不確定度の温度（すなわち、±０．３℃（ｋ＝２）よりも良い）を得ることができない。たとえば、いくつかの現在のＤＦＵサーマルマッピングデバイスでは、患者の足がデバイスと実際に接触する必要がある。このような場合（接触による測定）では、デバイスの温度および熱物理特性により対象物（足）の温度が乱れ、したがって測定値の精度に影響が及ぶ。

【0009】

他の領域の潜在的な変化および誤差が最少化または除去された場合でさえも、絶対温度測定に使用される市販のサーマルイメージャの精度がかなり変動することが確認されている。１つの研究では（Ｗｈｉｔｔａｍ他の「Ｐｅｒｆｏｒｍａｎｃｅ ｔｅｓｔｓ ｏｆ ｔｈｅｒｍａｌ ｉｍａｇｉｎｇ ｓｙｓｔｅｍｓ ｔｏ ａｓｓｅｓｓ ｔｈｅｉｒ ｓｕｉｔａｂｉｌｉｔｙ ｆｏｒ ｑｕａｎｔｉｔａｔｉｖｅ ｔｅｍｐｅｒａｔｕｒｅ Ｍｅａｓｕｒｅｍｅｎｔｓ」、１２ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｑｕａｎｔｉｔａｔｉｖｅ Ｉｎｆｒａｒｅｄ Ｔｈｅｒｍｏｇｒａｐｈｙ、フランス、Ｂｏｒｄｅａｕｘ、２０１４年７月７～１１日、ｈｔｔｐｓ：／／ｗｗｗ．ｎｄｔ．ｎｅｔ／ｓｅａｒｃｈ／ｄｏｃｓ．ｐｈｐ３？ｓｈｏｗＦｏｒｍ＝ｏｆｆ＆ｉｄ＝１７７６８）、試験された６台のサーマルイメージングデバイスのうちの５台が、測定対象から１ｍの距離で、製造者自身が提示した許容誤差から外れる温度測定値の誤差を示したことが明らかにされた。製造者の提示許容誤差が一般に±２℃であり、またサーマルイメージングデバイスがこの許容誤差を繰り返して、かつ一律に達成できなかったことを考えると、デバイスは、臨床的に適した温度（不確定度<±０．３℃）を提示する能力がなく、また、持続的な>２℃の皮膚温度の上昇を早期に警告することをデバイスに頼ることができるかどうかは非常に疑わしい。

【0010】

信頼できる経時的な足温度比較には、足の正確な空間位置合わせが画像を取得するたびに必要になる。これは難題になり得る。その理由は、操作員（およびその能力および使用される手法）が異なることがあり、また足の位置およびサイズが患者間および測定間で変化し、それによって温度測定精度が歪曲することがあるからである。

【先行技術文献】

【非特許文献】

【0011】

【文献】Ｗｈｉｔｔａｍ他、「Ｐｅｒｆｏｒｍａｎｃｅ ｔｅｓｔｓ ｏｆ ｔｈｅｒｍａｌ ｉｍａｇｉｎｇ ｓｙｓｔｅｍｓ ｔｏ ａｓｓｅｓｓ ｔｈｅｉｒ ｓｕｉｔａｂｉｌｉｔｙ ｆｏｒ ｑｕａｎｔｉｔａｔｉｖｅ ｔｅｍｐｅｒａｔｕｒｅ Ｍｅａｓｕｒｅｍｅｎｔｓ」、１２ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｑｕａｎｔｉｔａｔｉｖｅ Ｉｎｆｒａｒｅｄ Ｔｈｅｒｍｏｇｒａｐｈｙ、フランス、Ｂｏｒｄｅａｕｘ、２０１４年７月７～１１日、ｈｔｔｐｓ：／／ｗｗｗ．ｎｄｔ．ｎｅｔ／ｓｅａｒｃｈ／ｄｏｃｓ．ｐｈｐ３？ｓｈｏｗＦｏｒｍ＝ｏｆｆ＆ｉｄ＝１７７６８

【発明の概要】

【発明が解決しようとする課題】

【0012】

したがって、デバイスおよび手法には改善の余地がかなりあると思われる。神経障害に伴う温度上昇が適時に正確に特定できるならば、そのことが、（たとえば）予防的除荷によって潰瘍を大幅に低減することにまっすぐ向かうはずであると予想される。

【課題を解決するための手段】

【0013】

本発明の一態様によれば、身体部位のサーマル画像データを取得するためのコンピュータで実施される方法が提供され、この方法は、
身体部位の画像データを受け取るステップであって、画像データがサーマル画像データを含み、サーマル画像データが身体部位のサーマル画像データ、およびバックグランドサーマル画像データを含むステップと、
分類器を画像データに適用して身体部位の輪郭を検出するステップであって、分類器が、サーマル画像データ以外の画像データを用いて検出を行うように構成されているステップと、
前記輪郭からマスクを生成するステップと、
マスクをサーマル画像データに適用してバックグラウンド画像データを除去し、身体部位のサーマル画像データを取得するステップとを含む。

【0014】

本発明の諸実施形態は、身体部位のサーマル画像の抽出を案内するために追加のデータが使用される方法およびシステムに関する。この追加のデータは、同じシーンの別の画像データ（視覚画像または立体視覚画像など）とすることができる。追加のデータはさらに（または別法として）、ニューラルネットワーク、遺伝的アルゴリズムなどの機械学習または人工知能システムを学習するために使用された学習データを含むこともできる。たとえば、足の画像（視覚サーマル画像、他の画像タイプまたはどれかの組み合わせ）の学習バンクが、分類器を学習して提示画像データから輪郭を決定するために使用されていることがあり、次に、その輪郭が、マスクを生成し身体部位のサーマル画像データを抽出するために使用されることがある。好ましい実施形態では、システムは、起こり得るまたは予想される足潰瘍を取り込まれたサーマル画像から特定する携帯用のサーマルイメージングシステムに使用される。

【0015】

サーマルイメージャでは、最前面撮像対象は、周囲環境（バックグラウンド）よりもかなり高温であるという一般的な想定があり、それにより、バックグラウンド除去を適用することができる。しかし、この想定はいつも当てはまるとは限らない。バックグラウンド温度は、最前面身体部位と大幅に異なることを保証することができず、時刻、季節または環境によって変化し得る（たとえば、本発明の実施形態が用いられ得る病院および介護施設では、体の動きに制限がある人または寝たきりの人にとって快適になるように、バックグラウンド温度が比較的高いことが珍しくない）。加えて、ＤＦＵは、足の親指および母指球の周辺が一般的である。このような部分が低温である場合（たとえば、循環の問題により）、足のその部分をバックグラウンドから適正に区別できないリスクがある。本発明の諸実施形態では、追加の画像データを利用して身体部位の縁部をより明確に区別することによって、このリスクに対処しようとする。

【0016】

諸手法は、たとえばニューラルネットワークと並行して、または一緒にして機能させることができ、このニューラルネットワークは、それが輪郭とみなすものをサーマル画像データから生成し、この輪郭は、シーンの立体画像から機械視覚システムにより生成された輪郭と対比されるということを理解されたい。あるいは、ニューラルネットワークは立体画像に対して機能させることもでき、この場合、得られた輪郭はサーマル画像に適用される。

【0017】

画像データは、サーマル画像データと同じシーンから取り込まれた視覚画像データを含むことができ、分類器は、視覚画像データから身体部位の輪郭を検出するように構成される。

【0018】

画像データは、サーマル画像データと同じシーンから取り込まれた視覚立体画像データを含むことができる。

【0019】

分類器は、身体部位の輪郭を検出するように身体部位の画像データにより学習された、人工ニューラルネットワークまたは他の人工知能システムを備えることができる。

【0020】

分類器は、身体部位の空間方位を決定するように構成することができ、方法はさらに、決定された空間方位に応じて、取得された身体部位のサーマル画像の空間方位を修正してデフォルト空間方位と一致させるステップをさらに含む。

【0021】

現在の焦点の多くは、足神経障害の発症を検出し先進の予防方策を起動するためのサーマルイメージングについてのものであるが、本出願に示された手法はまた、人間および／または動物の対象の眼、四肢および他の身体部位など、他の身体部位にも適用可能である。

【0022】

本出願の発明者らは、知られているサーマルイメージング診断デバイスおよびシステムの短所の多くに対処する、非接触サーマルイメージングデバイス、システムおよび方法を考え出した。

【0023】

次に、本発明の諸実施形態を、単なる例として添付の図面を参照して説明する。

【図面の簡単な説明】

【0024】

【図1】本発明の一実施形態によるサーマルイメージャの概略図である。

【図2】本発明の一実施形態によるサーマル画像処理システムの概略図である。

【図3】図２のシステムの態様をより詳細に示す概略図である。

【図4】図２のシステムの態様をより詳細に示す概略図である。

【図5】図２のシステムの代替態様をより詳細に示す概略図である。

【発明を実施するための形態】

【0025】

図１は、本発明の一実施形態によるサーマルイメージャの概略図である。

【0026】

サーマルイメージャ１０は、好ましくは携帯用のフォームファクタのものであり、サーマルカメラ２０、電池電源３０、プロセッサ４０、データリポジトリ５０、およびタッチスクリーンディスプレイ６０を含む。

【0027】

サーマルイメージャはまた、サーマル画像処理システム１００を含み、このシステムは、サーマルカメラ２０によって取り込まれた生サーマル画像データから１つの身体部位のサーマル画像データを取得するようにプロセッサ４０によって実行される。サーマル画像処理システムのさらなる詳細については、以下に図２～４を参照して示す。

【0028】

操作の際、使用者は、撮像されるべき身体部位がサーマルカメラの視野に入るようにサーマルイメージャを配置する。サーマルカメラの出力は、この配置を助けるために画面上で表示することができる。

【0029】

好ましくは、サーマルイメージャは使用者にライブシーン表示を行い、またイメージャは、関心対象（足）が画像に入るように使用者によって方向付けられる。距離ポインタ／オンスクリーンオーバレイ（視覚カメラシステムに類似）などの位置合わせツールが好ましくは使用される。使用者が方向付けに満足したときにボタンが押し下げられ（または画面が軽くたたかれ）、画像が取り込まれる。

【0030】

任意選択で、位置合わせ案内をデバイスからＬＥＤなどを使用して投射することができる。このような装置では、使用者は、位置合わせ案内を身体部位の目標領域の特定の特徴部に向け、あるいは、身体部位／サーマルイメージャを、身体部位が投射された位置合わせ案内の内側に入るように配置する。

【0031】

次に、身体部位のサーマル画像がサーマル画像処理システム１００によって生成され、データリポジトリ５０に書き込まれる。この画像は、画面に表示され、データリポジトリ５０内の、その身体部位の以前のサーマル画像と比較され、反対側の足の画像と比較され、かつ／または、警告を起動するために、および／または炎症を示す温度を呈する潜在的な懸念領域を強調するために使用され得る。

【0032】

炎症が１つの身体部位の別々の部分／側に起こり得る場合、サーマルイメージャ１０は、コンピュータプログラム命令の形の取り込みプロトコルを含むことができ、このプロトコルは、プロセッサ４０によって実行され、使用者を、所定の測定プロトコルに従って身体部位の所定の視像を取り込むように案内する（たとえば、ディスプレイ６０の画面プロンプトによって）。足の場合、これらの視像には（順不同で）、左足（足裏－足底）、右足（足裏－足底）、左足（上部－背部）、右足（上部－背部）、左足（外側－外側（lateral））、右足（外側－外側）、左足（内側－内側（medial））、右足（内側－内側）が含まれ得る。

【0033】

好ましくは、サーマルイメージャは、８～１４μｍで動作するマイクロボロメータアレイである。マイクロボロメータアレイは、凝視焦点面アレイであることが好ましく、その画素要素は、赤外線放射／温度に感応するマイクロボロメータである。１つの実施形態では、画素は、サイズがそれぞれ１７～２５μｍである。赤外線放射は、絶対０度を超えるあらゆる物体から放出される。赤外線放射は温度との強い（Ｔ⁴）関係があるので、物体の温度は、その放出赤外線放射を測定することにより決定することができる。サーマル画像は、アレイの各画素で受けた赤外線放射を測定することによって取り込まれる。このデータは、記憶効率のために符号化／圧縮することができ（ランレングス符号化など）、画素ベースの視覚画像と同様に画像処理を用いて処理することができる。

【0034】

タッチスクリーンディスプレイは、ディスプレイとキーボードなどの別のユーザインターフェースと置き換えることができ、あるいはスマートフォンなどとのブルートゥース（登録商標）接続など、何か他の構成と置き換えることができることを理解されたい（この場合、スマートフォンは、サーマルイメージングシステム１０を制御し画像を見るための遠隔ユーザインターフェースとして機能する）。

【0035】

サーマルイメージャ１０はまた、取得されたサーマル画像または他のデータを有線または無線伝達するためのＩ／Ｏシステムも含み得る。電池電源３０は、再充電可能および／または交換可能とすることができる。

【0036】

図２は、本発明の一実施形態による、ある身体部位のサーマル画像データを取得するためのサーマル画像処理システムの概略図である。

【0037】

サーマル画像処理システム１００は、サーマル画像データ１１０を受け取るように構成される。サーマル画像データは、身体部位のサーマル画像データ１１１とバックグラウンドサーマル画像データ１１２の両方を含む。

【0038】

身体部位のサーマル画像データ１１１を抽出するために、サーマル画像処理システム１００は、分類器１２０を適用して身体部位の輪郭を検出する。分類器は、サーマル画像データ１１０ではなく画像データ１３０を用いて検出を行い、その例については図３および図４を参照して以下で説明する。

【0039】

輪郭が検出されると、この輪郭はサーマル画像処理システムによって使用されて、マスク１１３が生成される。次に、サーマル画像処理システムは、マスク１１３をサーマル画像データ１１０に適用してバックグラウンドサーマル画像データ１１２を除去し、身体部位のサーマル画像データ１１１を取得する。

【0040】

図３は、図２のシステムの態様をより詳細に示す概略図である。

【0041】

１つの実施形態では、サーマルイメージャはまた、撮像シーンの視覚スペクトルを取り込んで視覚画像データ１３０ａ（これは、サーマルイメージデータ１１０に別々に記憶することも一括して記憶することもできる）を生成するように構成されている、視覚イメージングセンサ７０も含み得る。視覚イメージングセンサ７０は、たとえば、そのシーンのＲＧＢ画像を取り込むことができる。

【0042】

図４は、図２のシステムの態様をより詳細に示す概略図である。

【0043】

好ましい一実施形態では、サーマルイメージャは、立体視覚イメージングセンサ８０を含む（１つの実施形態では、このセンサは、立体画像処理を行うことができるように所定の向きおよびセンサ間の距離を有する、一対の視覚イメージングセンサである）。

【0044】

立体視覚イメージングセンサ８０は、撮像撮像シーンの視覚スペクトルの立体画像を取り込んで視覚画像データ１３０ｂ（前と同様に、これは、サーマルイメージデータ１１０に別々に記憶することも一括して記憶することもできる）を生成するように構成される。視覚イメージングセンサ８０は、たとえば、そのシーンの一対のＲＧＢ画像を取り込むことができる。この実施形態では、分類器１２０は、立体視覚画像データ１３０ｂを用いて視覚画像データから身体部位の輪郭を検出する。

【0045】

分類器は任意選択で、画像データ１３０から身体部位の空間方位を決定するように構成することができる。たとえば、分類器は、立体視覚画像データを用いて身体部位の空間方位を決定することができ、次に、サーマル画像処理システムは、決定された空間方位に応じて、取得された身体部位のサーマル画像データの空間方位を修正してデフォルト空間方位と一致させることができる。

【0046】

１つの実施形態では、サーマル画像データ処理システム１００は、立体視覚画像データ１３０ｂを用いて身体部位の３Ｄモデル（好ましくは３Ｄトポグラフィメッシュ）を生成することができ、このモデルにはサーマルイメージングデータが合わされる。３Ｄモデルは、照度差ステレオ、動きによる構成、または他の手法を用いて生成することができる。

【0047】

界面圧力データ、サーマル画像データからの最大、最小、平均、範囲、ヒストグラムなどのサーマル測定値など、別のデータが３Ｄモデルに重ね合わされてもよい。

【0048】

図５は、図２のシステムの代替態様をより詳細に示す概略図である。

【0049】

この実施形態では、分類器１２０は人工ニューラルネットワークを含み、このネットワークは、身体部位の画像データを含むサーマル画像データ以外に画像データ１３０により学習されており、身体部位の輪郭を検出するように構成される。この実施形態では、サーマル画像データ以外の画像データは、特定の人の身体部位のものであることもないこともあり、サーマル画像データ、視覚画像データ、または他の画像データ（もしくは組み合わせ）を含み得る。

【0050】

ニューラルネットワークは、たとえば、畳み込みニューラルネットワークとすることができる。人工ニューラルネットワークは、自己組織化、フィードフォワードとすることができる。

【0051】

上で論じた本発明のいくつかの実施形態は、コンピュータプロセッサを有するコンピュータシステムで実行することを可能にするための制御論理を有する、ファームウェアおよび／またはコンピュータ使用可能媒体に存在するコード（たとえば、ソフトウェアアルゴリズムまたはプログラム）として組み込まれてよいことを理解されたい。このようなコンピュータシステムは通常、コードを実行することにより出力を与えるように構成されたメモリ記憶装置を含み、このコードはその実行に応じてプロセッサを設定する。コードはファームウェアまたはソフトウェアとして構成することができ、個別コードモジュール、関数呼出し、手続き呼出し、またはオブジェクト指向プログラミング環境のオブジェクトなどのモジュールの組として編成することができる。モジュールを使用して実施される場合、コードは、単一のモジュール、または互いに協働して動作する複数のモジュールを含むことができる。

【0052】

本発明の任意選択の実施形態は、本明細書で参照または表示された部分、要素および特徴を個別に、または一括して、部分、要素または特徴の２つ以上のいずれかまたはすべての組み合わせの形で含むと理解することができ、本発明に関連する技術分野で知られている等価物を有する特定の完全体が本明細書に記載されており、このように知られている等価物は、あたかも個別に示されているように本明細書に組み込まれていると考えられる。

【0053】

図示された本発明の実施形態について説明したが、様々な変更、置き換え、および改変が、添付の特許請求の範囲およびその等価物に記載することによって定義された本発明から逸脱することなく、当業者によって行われ得ることを理解されたい。

【図1】

【図2】

【図3】

【図4】

【図5】