IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 日本アビオニクス株式会社の特許一覧 ▶ 学校法人兵庫医科大学の特許一覧

<>
  • 特許-疾患者判別装置及び疾患者判別システム 図1
  • 特許-疾患者判別装置及び疾患者判別システム 図2
  • 特許-疾患者判別装置及び疾患者判別システム 図3
  • 特許-疾患者判別装置及び疾患者判別システム 図4
  • 特許-疾患者判別装置及び疾患者判別システム 図5
  • 特許-疾患者判別装置及び疾患者判別システム 図6
  • 特許-疾患者判別装置及び疾患者判別システム 図7
  • 特許-疾患者判別装置及び疾患者判別システム 図8
  • 特許-疾患者判別装置及び疾患者判別システム 図9
  • 特許-疾患者判別装置及び疾患者判別システム 図10
  • 特許-疾患者判別装置及び疾患者判別システム 図11
  • 特許-疾患者判別装置及び疾患者判別システム 図12
  • 特許-疾患者判別装置及び疾患者判別システム 図13
  • 特許-疾患者判別装置及び疾患者判別システム 図14
  • 特許-疾患者判別装置及び疾患者判別システム 図15
  • 特許-疾患者判別装置及び疾患者判別システム 図16
  • 特許-疾患者判別装置及び疾患者判別システム 図17
  • 特許-疾患者判別装置及び疾患者判別システム 図18
  • 特許-疾患者判別装置及び疾患者判別システム 図19
  • 特許-疾患者判別装置及び疾患者判別システム 図20
  • 特許-疾患者判別装置及び疾患者判別システム 図21
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-09-06
(45)【発行日】2023-09-14
(54)【発明の名称】疾患者判別装置及び疾患者判別システム
(51)【国際特許分類】
   A61B 5/01 20060101AFI20230907BHJP
   G16H 10/60 20180101ALI20230907BHJP
【FI】
A61B5/01 100
G16H10/60
【請求項の数】 11
(21)【出願番号】P 2021551281
(86)(22)【出願日】2020-09-29
(86)【国際出願番号】 JP2020036787
(87)【国際公開番号】W WO2021065853
(87)【国際公開日】2021-04-08
【審査請求日】2022-03-07
(31)【優先権主張番号】P 2019183691
(32)【優先日】2019-10-04
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000227836
【氏名又は名称】日本アビオニクス株式会社
(73)【特許権者】
【識別番号】506208908
【氏名又は名称】学校法人兵庫医科大学
(74)【代理人】
【識別番号】110000925
【氏名又は名称】弁理士法人信友国際特許事務所
(72)【発明者】
【氏名】木村 彰一
(72)【発明者】
【氏名】松本 昂大
(72)【発明者】
【氏名】宇田 康
(72)【発明者】
【氏名】丹治 栄二郎
(72)【発明者】
【氏名】小柴 賢洋
(72)【発明者】
【氏名】芝田 宏美
(72)【発明者】
【氏名】堀江 修
【審査官】北島 拓馬
(56)【参考文献】
【文献】特開平05-180699(JP,A)
【文献】米国特許出願公開第2019/0216333(US,A1)
【文献】特開2012-034839(JP,A)
【文献】米国特許出願公開第2019/0192010(US,A1)
【文献】特開2014-135993(JP,A)
【文献】中国特許出願公開第110099601(CN,A)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 5/06 - 5/22
G06Q 50/22
G16H 10/00 -80/00
(57)【特許請求の範囲】
【請求項1】
被測定者の体表温を測定する体表温測定装置から入力する温度データに基づいて、前記被測定者の露出部分における特定部位を判定する特定部位判定部と、
前記温度データに基づいて、前記被測定者の露出部分における温度から、複数の前記特定部位から収集した前記温度データの一群で表される温度パターンを算出する温度パターン算出部と、
算出された前記温度パターンに、予め学習した学習済モデルを適用して、前記被測定者が疾患者又は健常者のいずれであるかを判別する被測定者判別部と、を備える
疾患者判別装置。
【請求項2】
前記特定部位の少なくとも1つは、前記被測定者の目頭、鼻尖、鼻の横、頬、顎、耳、手、頭髪部を除く頭、こめかみ及び首のうちいずれかである
請求項に記載の疾患者判別装置。
【請求項3】
前記温度データは、前記体表温測定装置が前記被測定者の顔を撮影した熱画像を含み、
前記特定部位判定部は、前記熱画像に対して、顔を構成する顔パーツの位置合わせを行って前記熱画像から前記特定部位を判定し、
前記温度パターン算出部は、判定された前記特定部位から前記温度データを抽出し、複数の前記特定部位の前記温度パターンを求める
請求項に記載の疾患者判別装置。
【請求項4】
前記温度データは、前記体表温測定装置が前記被測定者の顔を撮影した熱画像を含み、
前記温度パターン算出部は、顔を構成する顔パーツの位置合わせを行って前記熱画像の画素毎に抽出した前記温度データを前記温度パターンとして算出する
請求項に記載の疾患者判別装置。
【請求項5】
前記温度データは、前記体表温測定装置が前記被測定者の顔及び首を撮影した熱画像を含み、
前記特定部位判定部は、前記熱画像に基づき、顔を構成する顔パーツの位置合わせを行い、かつ、前記被測定者の顔が、前記体表温測定装置が撮影する方向に合わせた正面にあることを判定して前記熱画像から前記特定部位を判定し、
前記温度パターン算出部は、判定された前記特定部位から前記温度データを抽出し、複数の前記特定部位の前記温度パターンを求める
請求項に記載の疾患者判別装置。
【請求項6】
前記温度データは、前記体表温測定装置が前記被測定者の顔及び首を撮影した熱画像を含み、
前記温度パターン算出部は、前記熱画像に基づき、顔を構成する顔パーツの位置合わせを行い、かつ、前記被測定者の顔が、前記体表温測定装置が撮影する方向に合わせた正面にあることを判定して前記熱画像の画素毎に抽出した前記温度データを前記温度パターンとして算出する
請求項に記載の疾患者判別装置。
【請求項7】
さらに、前記学習済モデルを記憶する記憶部を備え、
前記被測定者判別部は、前記記憶部から読出した前記学習済モデルに基づいて、前記被測定者を判別する
請求項に記載の疾患者判別装置。
【請求項8】
さらに、表示部を備え、
前記被測定者判別部は、前記被測定者判別部による判別結果、又は前記被測定者が前記疾患者である可能性を前記表示部に表示する
請求項に記載の疾患者判別装置。
【請求項9】
さらに、前記被測定者が健常者又は疾患者のいずれであるかのユーザー判別結果が入力される入力部と、
前記ユーザー判別結果と、前記被測定者判別部で用いられた前記温度パターンとに基づいて、機械学習モデルにより学習した前記学習済モデルを生成する温度パターン学習部とを備える
請求項に記載の疾患者判別装置。
【請求項10】
疾患者判別装置と、学習サーバとを備える疾患者判別システムであって、
前記疾患者判別装置は、
被測定者の体表温を測定する体表温測定装置から入力する温度データに基づいて、前記被測定者の露出部分における特定部位を判定する特定部位判定部と、
前記温度データに基づいて、前記被測定者の露出部分における温度から、複数の前記特定部位から収集した前記温度データの一群で表される温度パターンを算出する温度パターン算出部と、
算出された前記温度パターンに、予め学習された学習済モデルを適用して、前記被測定者が疾患者又は健常者のいずれであるかを判別する被測定者判別部と、を有し、
前記学習サーバは、
機械学習モデルにより前記温度パターンを学習して前記学習済モデルを生成する温度パターン学習部を有する
疾患者判別システム。
【請求項11】
前記疾患者判別装置は、前記被測定者が健常者又は疾患者のいずれであるかのユーザー判別結果が入力される入力部を有し、
前記温度パターン学習部は、前記ユーザー判別結果と、前記被測定者判別部で用いられた前記温度パターンとに基づいて、前記学習済モデルを生成する
請求項1に記載の疾患者判別システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、疾患者判別装置及び疾患者判別システムに関する。
【背景技術】
【0002】
従来、多くの施設において、被測定者の体表温測定が定期的に行われている。被測定者としては、例えば、病院施設における入院患者や通院患者、空港施設における搭乗者、ビル等における入館者、教育施設における児童等が想定される。近年では、非接触で被測定者の体表温を測定するため、サーモグラフィ装置が用いられることが多くなっている。サーモグラフィ装置は、被測定者の皮膚から発せられる赤外線光の強度に応じて、例えば、高い温度は赤色、低い温度は青色のように色分けした熱画像により、被測定者の体表温を表示することが可能である。
【0003】
被測定者がウイルスに感染し、発症すると被測定者の体表温が上昇する。このため、施設に入場する前に被測定者の熱画像をサーモグラフィ装置で撮影し、健常者と疾患者を判別することがあった。サーモグラフィ装置に表示される熱画像を用いた疾患者と健常者との判別には、予め定めた温度閾値が用いられてきた。例えば、温度閾値より高い温度の部位が顔表面に現れた人を疾患者として判別し、顔表面に温度閾値より高い温度の部位が現れていない人を健常者として判別していた。
【0004】
疾患者と健常者とを判別するために様々な方法が試みられてきた。例えば特許文献1には、被検体の眼又は前額領域を目標領域として赤外線画像データを取得し、被検体の中核体温情報を導く技術が開示されている。
【0005】
また、本出願の発明者により非特許文献1に開示された方法が知られている。この非特許文献1には、健常ボランティア、インフルエンザA型及びB型患者、インフルエンザ以外の発熱患者を対象として、顔面のサーモグラフィ測定を行って、健常群と発熱患者群の顔面サーモグラフィを比較すると共に、発熱患者の顔面の体表温の相関性を求める技術が記載されている。
【先行技術文献】
【特許文献】
【0006】
【文献】特表2007-516018号公報
【非特許文献】
【0007】
【文献】芝田宏美(Hiromi Shibata)、他7名「サーモグラフィを手法とした感染制御のための発熱判定基準の構築 インフルエンザ患者の顔面サーモグラフィの検討(Assessment of fever for infection control using thermography -facial thermography in patients with influenza-)」Biomedical Thermology,2015.01,34巻2号,p.54-58
【発明の概要】
【発明が解決しようとする課題】
【0008】
ところで、特許文献1に開示された技術を用いても、体温の高い健常者を疾患者と判別したり、体温が低い疾患者を健常者と判別したりする等の誤判別が発生することがあった。また、実際にはウイルスに感染していても、発症していないことから体温が上昇していない被測定者を健常者と誤判別することもあった。また、建物の外気に曝されると顔の表面が冷えるため、発熱した疾患者であっても、健常者であると誤判別することもあった。また、疾患者と健常者との判別に用いられる閾値は、判別を行う環境に合わせて適正な値に調整する必要があり、閾値を調整しない場合には誤判別する確率が高くなる。適正な閾値に調整するためには調整者に経験が必要であるが、環境が変化すると閾値の再調整を要するため、運用上の問題になっていた。
【0009】
また、非特許文献1では、発熱患者を確実に検出できるほど、体表温と体温に強い相関がなかったとの結果だったが、発明者は、発熱患者に特徴的な顔面温度のパターン分布を判定基準に追加することが可能であれば、正診率が向上すると考えていた。しかし、論文の執筆時には、一般的に発熱患者は顔全体が発熱していると考えられており、顔面温度の分布パターンについて知見を得られていなかった。また、発熱患者に特徴的な顔面温度の分布パターンについてどのように求めればよいのかは不明であったため、正診率を向上することが可能な判定基準の作成が望まれていた。
【0010】
本発明はこのような状況に鑑みて成されたものであり、疾患者と健常者とを判別することを目的とする。
【課題を解決するための手段】
【0011】
上述した目的のうち少なくとも一つを実現するために、本発明の一側面を反映した疾患者判別装置は、被測定者の体表温を測定する体表温測定装置から入力する温度データに基づいて、被測定者の露出部分における特定部位を判定する特定部位判定部と、温度データに基づいて、被測定者の露出部分における温度から、複数の前記特定部位から収集した前記温度データの一群で表される温度パターンを算出する温度パターン算出部と、算出された温度パターンに、予め学習した学習済モデルを適用して、被測定者が疾患者又は健常者のいずれであるかを判別する被測定者判別部と、を備える。
また、本発明の一側面を反映した疾患者判別システムは、上記の疾患者判別装置に加えて、機械学習モデルにより温度パターンを学習して学習済モデルを生成する温度パターン学習部を有する学習サーバを備える。
【発明の効果】
【0012】
本発明によれば、疾患者又は健常者の特定部位毎の温度パターンに学習済モデルを適用することで、疾患者と健常者を容易に正しく判別することができる。
上記した以外の課題、構成及び効果は、以下の実施の形態の説明により明らかにされる。
【図面の簡単な説明】
【0013】
図1】本発明の第1の実施の形態に係る疾患者判別システムの内部構成例をブロック図である。
図2】本発明の第1の実施の形態に係る制御部の内部構成例を示すブロック図である。
図3】本発明の第1の実施の形態に係る疾患者判別装置の内部構成例を示すブロック図である。
図4】本発明の第1の実施の形態に係る計算機のハードウェア構成例を示すブロック図である。
図5】本発明の第1の実施の形態に係る特定部位の位置を表した図である。
図6】本発明の第1の実施の形態に係る特定部位を含む顔全体の温度パターンを正規化する様子を示す図である。図6Aは、体表温測定装置が撮影して得た複数人の健常者と複数人の疾患者の体表温を、それぞれ部位毎に平均化した値を示すグラフである。図6Bは、正規化した健常者と疾患者の体表温を示すグラフである。
図7】本発明の第1の実施の形態に係る健常者と疾患者の正規化した顔の熱画像の表示例を示す図である。図7Aは、健常者の顔の熱画像の例を示し、図7Bは、疾患者の顔の熱画像の例を示す。
図8】本発明の第1の実施の形態に係る目頭を通る水平線の顔の熱画像における温度パターンの例を示す図である。図8Aは、被測定者の顔の熱画像の目頭を通る水平線と、健常者及び疾患者の特定部位における温度正規化値の違いを示す一覧表である。図8Bは、水平線に沿って測定された被測定者の顔の熱画像における温度パターンを示す。
図9】本発明の第1の実施の形態に係る鼻尖を通る水平線の顔の熱画像における温度パターンの例を示す図である。図9Aは、被測定者の顔の熱画像の鼻尖を通る水平線と、健常者及び疾患者の特定部位における温度正規化値の違いを示す一覧表である。図9Bは、水平線に沿って測定された被測定者の顔の熱画像における温度パターンを示す。
図10】温度閾値を用いて健常者と疾患者とを判別する従来の手法を用いた場合の判別結果を示す一覧表である。
図11】従来の手法における健常者を疾患者であると誤判別する健常者誤判別率と、疾患者を健常者であると誤判別する疾患者誤判別率と、温度閾値との関係を示す図である。
図12】温度が0.5℃低く測定された場合の健常者誤判別率と、疾患者誤判別率と、温度閾値との関係を示す図である。
図13】温度が0.5℃高く測定された場合の健常者誤判別率と、疾患者誤判別率と、温度閾値との関係を示す図である。
図14】本発明の第1の実施形態に係る温度パターンを用いた健常者と疾患者の判別結果を示す一覧表である。
図15】本発明の第2の実施の形態に係る被測定者の首部分を含む体表温の測定結果の例を示す図である。
図16】本発明の第2の実施の形態に係る被測定者の頭、こめかみ及び首の温度パターンを示すグラフである。
図17】本発明の第2の実施の形態に係る温度パターンを用いた健常者と疾患者の判別結果を示す一覧表である。
図18】本発明の第3の実施の形態に係る疾患者判別装置の内部構成例をブロック図である。
図19】本発明の第4の実施の形態に係る疾患者判別システムの内部構成例をブロック図である。
図20】本発明の第4の実施の形態に係る疾患者判別装置の内部構成例を示すブロック図である。
図21】本発明の第5の実施の形態に係る疾患者判別装置の内部構成例を示すブロック図である。
【発明を実施するための形態】
【0014】
以下、本発明を実施するための形態について、添付図面を参照して説明する。本明細書及び図面において、実質的に同一の機能又は構成を有する構成要素については、同一の符号を付することにより重複する説明を省略する。
【0015】
図1は、疾患者判別システム100の内部構成例を示すブロック図である。
疾患者判別システム100は、体表温測定装置1と疾患者判別装置2とを備える。体表温測定装置1と疾患者判別装置2とは有線又は無線により接続されている。疾患者判別装置2は、体表温測定装置1が測定した被測定者の体表温を表す熱画像を取込んで、被測定者が疾患者又は健常者のいずれであるかを判別する。疾患者判別装置2の詳細な構成例は、後述する図3にて説明する。
【0016】
体表温測定装置1は、レンズ10、検出素子11、A/D変換部12、制御部13、表示部14及び操作部15を備える。この体表温測定装置1は、レンズ10が向けられた被測定者の体表温を測定することが可能である。
【0017】
レンズ10は、被測定者から発せられた赤外線光を集光して検出素子11に結像させる。
検出素子11は、一つ又は複数のセンサ11aを有しており、検出素子11に入力する垂直同期信号に同期してフレーム周期毎に時分割で検出信号を出力する。検出素子11が単位時間あたりに出力可能な検出信号のフレーム数は、例えば、60fps(frames per second)である。
【0018】
体表温測定装置1をカメラとして用いた時には、検出素子11が有するセンサ11aは画素単位で設けられるセンサである。そして、センサ11aは、検出素子11に結像した赤外線光の強度を検出して検出信号を出力する。センサ11aとしては、例えば、測定対象物の絶対温度に応じて抵抗値が変化するマイクロボロメータが用いられる。検出素子11には、多数のマイクロボロメータが、例えば、横320個×縦240個のように2次元に配列されている。マイクロボロメータは、赤外線光を検出すると、赤外線光の強度に応じたアナログの検出信号を出力する。ただし、検出素子11には、一つのセンサ11aだけが用いられてもよい。
【0019】
A/D変換部12は、検出素子11の画素単位のセンサ11aから出力される検出信号をデジタルデータに変換し、制御部13にデジタルデータを出力する。
【0020】
制御部13は、A/D変換部12から入力する検出信号のデジタルデータに対して、後述する図2に示すゲイン補正及びオフセット補正を行い、測定対象物の絶対温度を演算する。そして、制御部13は、演算した測定対象物の絶対温度に基づいて画像処理を行って得た画像データを表示部14に出力する。ここで、制御部13は、操作部15の操作に従って、熱画像の画像データを生成し、表示部14に画像データを出力する。また、制御部13は、検出素子11のセンサ11aに垂直同期信号を出力する。
【0021】
また、制御部13は、疾患者判別装置2に温度データを出力する。この温度データには、被測定者の顔における特定部位を含む被測定者の顔全体を撮影した熱画像、又は特定部位毎に測定された特定部位の温度が含まれる。特定部位の少なくとも1つは、後述する図5に示すように、例えば、被測定者の目頭、鼻尖、鼻の横、頬、顎、耳、手、頭髪部を除く頭、こめかみ及び首のうちいずれかである。後述する図3に示す特定部位判定部21が顔の熱画像から抽出すべき特定部位の位置は予め決定されているものとする。
【0022】
表示部14には、制御部13により生成された画像データに基づいて、測定対象物の絶対温度の分布状況を示す熱画像が表示される。
【0023】
操作部15は、制御部13に対して測定対象物の絶対温度を出力させる指示を入力するために用いられる。制御部13は、操作部15からの指示により、表示する画像データを熱画像として表示部14に出力する。
【0024】
なお、体表温測定装置1にPC(Personal Computer)端末等を接続することにより、体表温測定装置1の構成から表示部14を除く構成としてもよい。この場合、制御部13は、検出素子11からフレーム毎に入力する検出信号に基づいて演算した測定対象物の絶対温度をPC端末に出力する。これにより、体表温測定装置1に接続されたPC端末等にて測定対象物の絶対温度を表示することができる。
【0025】
図2は、制御部13の内部構成例を示すブロック図である。
制御部13は、ゲイン補正部13a、オフセット補正部13b、演算部13c及び熱画像生成部13dを備える。
【0026】
検出素子11の各センサ11aから出力される検出信号は、測定対象物の絶対温度が高くなるほど、大きい値となるような1次式に近似して表される。ただし、検出素子11の各センサ11aに対応するマイクロボロメータの特性がばらついており、1次式自体が標準の1次式から乖離している。このため、例えば、体表温測定装置1の工場出荷時において、各センサ11aに対応するマイクロボロメータの特性を揃えるためのゲイン補正及びオフセット補正に用いる補正値を不図示のメモリに保存している。そして、制御部13は、メモリから読み出した補正値に基づいてデジタルデータを補正する。
【0027】
制御部13のゲイン補正部13aは、A/D変換部12から入力したデジタルデータに変換された検出信号のゲイン補正を行う。ゲイン補正部13aによりゲイン、すなわち1次式の傾きが補正される。
オフセット補正部13bは、ゲイン補正部13aによりゲインが補正されたデジタルデータのオフセット補正を行う。オフセット補正部13bによりオフセット、すなわち1次式の切片が補正される。
【0028】
演算部13cは、ゲイン補正部13a及びオフセット補正部13bにより補正された検出信号を変換したデジタルデータに基づいて、測定対象物の絶対温度を画素毎に演算する。
熱画像生成部13dは、演算部13cによりセンサ11a毎に演算された測定対象物の絶対温度に基づいて、熱画像を表示するための画像データを生成する。熱画像生成部13dが生成した画像データは表示部14に出力され、表示部14にて測定対象物の熱画像として表示される。
【0029】
図3は、疾患者判別装置2の内部構成例を示すブロック図である。
上述したように疾患者判別装置2は、体表温測定装置1から取込んだ情報に基づいて、被測定者が疾患者又は健常者のいずれであるか判別する。疾患者判別装置2は、特定部位判定部21、温度パターン算出部22、記憶部23、被測定者判別部24、表示部25、入力部26及び温度パターン学習部27を備える。
【0030】
特定部位判定部21は、体表温測定装置1から入力する温度データに基づいて、被測定者の露出部分における特定部位を判定する。温度データは、体表温測定装置1が被測定者の顔を撮影した熱画像を含む。なお、被測定者の顔は、レンズ10の正面に向くとは限らない。このため、特定部位判定部21は、顔の熱画像に基づいて、顔を構成する顔パーツの位置合わせを行う機能を有する。そして、特定部位判定部21は、位置合わせを行う機能を用いて、熱画像に対して、顔を構成する顔パーツの位置合わせを行って熱画像から特定部位を判定する。上述したように本実施の形態では、被測定者の特定部位の少なくとも1つは、例えば、目頭、鼻尖、鼻の横、頬、顎、耳、手、頭髪部を除く頭、こめかみ及び首のうちいずれかである。特定部位判定部21は、位置合わせを行った後の熱画像を温度パターン算出部22に出力するように構成される。ただし、特定部位判定部21は、位置合わせ前の熱画像とその画像中の特定部位の座標群の組み合わせ等を温度パターン算出部22に出力するように構成されてもよい。
【0031】
温度パターン算出部22は、被測定者の体表温を測定する体表温測定装置1から入力する温度データに基づいて、被測定者の露出部分における温度から温度パターンを算出する。温度パターンは、被測定者の複数の特定部位から収集した温度データの一群で表される。例えば、温度パターンは、後述する図8図9に示すように、被測定者の顔を水平に横切る領域に含まれる特定部位毎の温度正規化値をグラフで表したものであるが、他の形態で表したものであってもよい。また、温度パターンは、温度正規化値だけでなく、正規化される前の温度から算出されてもよい。
【0032】
一箇所の特定部位には複数の画素が含まれる。このため、温度パターン算出部22は、特定部位として判定された領域内に含まれる複数の画素の平均値を特定部位の温度として算出する。つまり、温度パターン算出部22は、特定部位判定部21により判定された特定部位から温度データを抽出し、複数の特定部位の温度パターンを求めることができる。なお、後述する図8図9に示すように、温度パターン算出部22は、特定部位ごとの温度正規化値を算出して温度パターンを求めている。温度パターン算出部22が算出した温度正規化値は、複数の特定部位に対応付けて、被測定者判別部24及び温度パターン学習部27に出力される。
なお、温度パターン算出部22は、特定部位として判定された領域内に含まれる複数の画素の値のうち、最高値を特定部位の温度として算出し、算出した温度を特定部位に対応付けて、被測定者判別部24及び温度パターン学習部27に特定部位の温度パターンを出力してもよい。
【0033】
記憶部23には、被測定者の温度パターンが学習された学習済モデルが記憶される。学習済モデルは、被測定者の温度パターンに基づいて、被測定者判別部24が被測定者を、疾患者又は健常者のいずれかに判別するために用いられる。疾患者判別装置2が学習機能を持つ場合、学習済モデルは、後述する温度パターン学習部27によって学習されたものとなる。ただし、疾患者判別装置2が学習機能を持たない場合、学習済モデルは、予め記憶部23に用意されたものとなる。
【0034】
被測定者判別部24は、算出された温度パターンに、記憶部23から読出した予め学習した学習済モデルを適用して、被測定者が疾患者又は健常者のいずれであるかを判別する。被測定者判別部24の判別結果は、表示部25に出力される。
【0035】
表示部25は、被測定者が疾患者である可能性を含む判別結果を表示する。例えば、被測定者が疾患者又は健常者のいずれであるかを示すテキストメッセージが判別結果として表示部25に表示される。なお、表示部25の代わりにアラームを報知する報知部を備えてもよい。アラームの報知は、例えば、報知部がランプを点灯したり、施設の管理者にメールを送信したりすることで行われる。
【0036】
次に、学習済モデルを生成する処理を担う、入力部26と温度パターン学習部27の動作例について説明する。なお、学習済モデルを生成する処理は、常に行われるものではない。
入力部26は、疾患者判別装置2を使用するユーザーが入力した、被測定者が健常者又は疾患者のいずれであるかのユーザー判別結果を受け付ける。例えば、実際に被測定者が健常者であれば入力部26を通じて「健常者」と入力する。一方、実際に被測定者が疾患者であれば入力部26を通じて「疾患者」と入力する。
【0037】
ユーザーは、入力部26を通じてユーザー判別結果を入力し、学習済モデルを修正する。入力されたユーザー判別結果は、上述した「健常者」又は「疾患者」のいずれかである。なお、ユーザーが、入力部26を通じてユーザー判別結果を入力する際に、常に表示部25の出力を確認して、被測定者判別部24の判別結果が正しいか否かを判断しなくてもよい。温度パターン学習部27は、温度パターン算出部22から与えられる温度パターンと、その温度パターンを健常者と判別すべきか疾患者と判別すべきかのいわば正解が与えられることで、学習済モデルを修正していく。
【0038】
温度パターン学習部27は、入力部26から入力されたユーザー判別結果と、被測定者判別部24で用いられた、温度パターン算出部22の出力である温度パターンとに基づいて、機械学習モデルにより学習した学習済モデルを生成する。学習済モデルは、温度パターン学習部27の学習結果を蓄積したデータである。
【0039】
温度パターン学習部27は、機械学習によって学習済モデルを更新し、更新した学習済モデルを記憶部23に保存する。学習済モデルの更新は正解又は不正解のどちらであっても行われる。つまり、被測定者判別部24の出力と実際の状況とが一致した場合でも、不一致の場合であっても学習済モデルは修正され、更新される。温度パターン学習部27が学習を重ねることで学習済モデルは徐々に適切な学習済モデルへと修正され、更新されていく。その後、被測定者判別部24が、温度パターン算出部22により算出された温度パターンに対して、更新された学習済モデルを適用することで、被測定者が疾患者又は健常者のいずれであるかを判別することとなる。
【0040】
次に、疾患者判別システム100の各装置を構成する計算機30のハードウェア構成を説明する。
図4は、計算機30のハードウェア構成例を示すブロック図である。計算機30は、例えば、体表温測定装置1、疾患者判別装置2を構成するハードウェアとして用いられる。
【0041】
計算機30は、いわゆるコンピュータとして用いられるハードウェアである。計算機30は、バス34にそれぞれ接続されたCPU(Central Processing Unit)31、ROM(Read Only Memory)32、RAM(Random Access Memory)33を備える。さらに、計算機30は、表示装置35、入力装置36、不揮発性ストレージ37、ネットワークインターフェイス38を備える。
【0042】
CPU31は、本実施の形態に係る各機能を実現するソフトウェアのプログラムコードをROM32から読み出してRAM33にロードし、実行する。RAM33には、CPU31の演算処理の途中で発生した変数やパラメーター等が一時的に書き込まれ、これらの変数やパラメーター等がCPU31によって適宜読み出される。体表温測定装置1では、主に制御部13の機能がCPU31によって実現される。疾患者判別装置2では、特定部位判定部21、温度パターン算出部22、被測定者判別部24及び温度パターン学習部27の機能がCPU31によって実現される。
【0043】
表示装置35は、例えば、液晶ディスプレイモニタであり、計算機30で行われる処理の結果、熱画像等をユーザーに表示する。例えば、体表温測定装置1の表示部14、疾患者判別装置2の表示部25に表示装置35が用いられる。
【0044】
入力装置36には、例えば、操作キー、操作ボタン等が用いられ、ユーザーが所定の操作入力、指示を行うことが可能である。例えば、体表温測定装置1の操作部15、疾患者判別装置2の入力部26に入力装置36が用いられる。
【0045】
不揮発性ストレージ37としては、例えば、HDD(Hard Disk Drive)、SSD(Solid State Drive)、フレキシブルディスク、光ディスク、光磁気ディスク、CD-ROM、CD-R、磁気テープ、不揮発性のメモリ等が用いられる。この不揮発性ストレージ37には、OS(Operating System)、各種のパラメーターの他に、計算機30を機能させるためのプログラムが記録されている。ROM32、不揮発性ストレージ37は、CPU31が動作するために必要なプログラムやデータ等を永続的に記録しており、計算機30によって実行されるプログラムを格納したコンピュータ読取可能な非一過性の記録媒体の一例として用いられる。例えば、疾患者判別装置2の記憶部23に不揮発性ストレージ37が用いられる。
【0046】
ネットワークインターフェイス38には、例えば、NIC(Network Interface Card)等が用いられ、NICの端子に接続されたLAN(Local Area Network)、専用線等を介して各種のデータを装置間で送受信することが可能である。例えば、体表温測定装置1及び疾患者判別装置2を互いに通信可能に接続する不図示の通信部にネットワークインターフェイス38が用いられる。
【0047】
図5は、特定部位の位置を表した説明図である。
図5には、被測定者の顔の熱画像40と、特定部位の位置が示される。特定部位として、例えば、目頭40a、鼻尖40b、鼻の横40c及び頬40dが示される。被測定者の顔の熱画像40は、温度が高い部分を白に近くし、低い部分を黒に近くした白黒画像で表示することも可能である。
【0048】
図6は、特定部位を含む顔全体の温度パターンを正規化する様子を説明するための図である。
図6Aには、体表温測定装置1が撮影して得た複数人の健常者と複数人の疾患者の体表温を、それぞれ部位毎に平均化したグラフが示される。このグラフの横軸は、健常者と疾患者のある特定部位を横切る線に沿った部位の位置[mm]を表し、縦軸は健常者と疾患者の体表温[℃]を表す。また、健常者の体表温は実線で表し、疾患者の体表温を二点鎖線で表す。図6の上側に示すグラフは、本実施の形態に係る温度パターンを説明するため、健常者と疾患者の温度値がはっきり異なる例として用いたものである。
【0049】
一般に疾患者の体表温は、健常者の体表温より上がりやすい。例えば、健常者であれば、顔表面の温度が36.0℃~37.0℃の範囲内であるが、疾患者であれば、顔表面の温度が37.0℃~38.0℃の範囲内である。このため、疾患者の顔全体の温度が高くなって、顔の熱画像の全体が白くなると、疾患者と健常者の顔の熱画像を比較しづらい。そこで、疾患者と健常者の顔の熱画像から特徴的な温度パターンを求められるようにグラフを正規化して表現する。
【0050】
図6Bには、正規化した健常者と疾患者の体表温が示される。このグラフは、図6の上側に示した健常者と疾患者の体表温を0~1.0の範囲内で正規化したものである。健常者と疾患者の体表温を正規化することにより、健常者と疾患者に特徴的な温度パターンが判明する。
【0051】
図7は、健常者と疾患者の正規化した顔の熱画像の表示例を示す図である。
図7Aには、健常者の顔の熱画像P1が表示され、図7Bには、疾患者の顔の熱画像P2が表示されている。なお、健常者の顔の熱画像P1は、体表温測定装置1が撮影して得た健常者の顔の熱画像を正規化した画像である。同様に、疾患者の顔の熱画像P2も、体表温測定装置1が撮影して得た疾患者の顔の熱画像を正規化した画像である。正規化された顔の熱画像P1,P2では、温度が高い部位が白く表示され、温度が低い部位が黒く表示される。
【0052】
体表温測定装置1が測定可能な温度範囲を低温から高温まで同じ範囲で正規化することで、顔の熱画像P1,P2に特徴的な温度パターンが求められる。このため、顔の熱画像を正規化して得られた温度パターンに基づいて、被測定者が健常者又は疾患者のいずれであるかを判別できるようになる。
【0053】
次に、温度パターンの例について、図8図9を参照して説明する。本実施の形態では、被測定者の顔の熱画像40を水平に横切る領域における温度パターンについて説明する。
図8は、目頭40aを通る水平線41の顔の熱画像40における温度パターンの例を示す説明図である。
【0054】
図8Aには、被測定者の顔の熱画像40の目頭40aを通る水平線41と、健常者及び疾患者の特定部位における温度正規化値の違いを示す一覧表が示される。水平線41は、温度パターン算出部22が顔の熱画像40の温度パターンを算出するときに顔の熱画像40をスキャンした位置を表す。
【0055】
図8Bには、水平線41に沿って測定された被測定者の顔の熱画像40における温度パターン50が示される。温度パターン50の横軸は顔の熱画像40における各部位の位置[mm]を表し、縦軸は温度を正規化した値(温度正規化値)を表す。そして、健常者の温度パターンを実線のチャートL1で表し、疾患者の温度パターンを二点鎖線のチャートL2で表す。
【0056】
温度パターン50により、目頭40aを表す範囲51,52では、疾患者の目頭40aの温度正規化値が、健常者の目頭40aの温度正規化値より高いことが示される。そこで、図8Aに示す一覧表には、目頭40aの温度正規化値が、健常者は低く、疾患者は高いことが示されている。
【0057】
図9は、鼻尖40bを通る水平線41の顔の熱画像40における温度パターンの例を示す図である。
【0058】
図9Aには、被測定者の顔の熱画像40の鼻尖40bを通る水平線41と、健常者及び疾患者の特定部位における温度正規化値の違いを示す一覧表が示される。
【0059】
図9Bには、水平線41に沿って測定された被測定者の顔の熱画像40における温度パターン60が示される。温度パターン60の横軸は顔の熱画像40における各部位の位置[mm]を表し、縦軸は温度を正規化した値を表す。そして、健常者の温度パターンを実線のチャートL11で表し、疾患者の温度パターンを二点鎖線のチャートL12で表す。
【0060】
温度パターン60により、鼻尖40bを表す範囲63では、健常者の鼻尖40bの温度正規化値が、疾患者の鼻尖40bの温度正規化値より高いことが示される。また、鼻の横40cを表す範囲62,64では、疾患者の鼻の横40cの温度正規化値が、健常者の鼻の横40cの温度正規化値より高いことが示される。また、頬40dを表す範囲61,65では、健常者の頬40dの温度正規化値が、疾患者の頬40dの温度正規化値より高いことが示される。
【0061】
そこで、図9Aに示す一覧表には、健常者は鼻尖40bの温度正規化値が高く、疾患者は鼻尖40bの温度正規化値が低いことが示される。同様に、健常者は鼻の横40cの温度正規化値が低く、疾患者は鼻の横40cの温度正規化値が高いこと、また、健常者は頬40dの温度正規化値が高く、疾患者は頬40dの温度正規化値が低いことが示されている。
【0062】
図10は、温度閾値を用いて健常者と疾患者とを判別する従来の手法を用いた場合の判別結果の例を示す一覧表である。図10では、事前にユーザーが入力したユーザー判別結果を「被測定者(入力)」と表現する。そして、従来の手法によって出力される被測定者の判別結果を「判別結果(出力)」と表現する。「被測定者(入力)」と「判別結果(出力)」の項目には、それぞれ「健常者」と「疾患者」の項目が設けられる。
【0063】
ここでは、37.0℃を温度閾値として用い、被測定者を健常者又は疾患者のいずれかに判別する例を説明する。従来の手法では、温度閾値が設定されたことにより、健常者の98.5%は健常者として正しく判別されるが、健常者の1.5%は疾患者として誤って判別されていた。また、従来の手法では、疾患者の89.7%は疾患者として正しく判別されるが、疾患者の10.3%は健常者として誤って判別されていた。
【0064】
一方、体表温測定装置として用いることが可能な一般的な赤外線カメラには個体差が存在し、±0.5℃程度、温度値が実際より低く、あるいは、高く測定されることがありうる。また、外気温などの環境条件によっても、温度値が実際より低く、あるいは、高く測定されうる。したがって、ある場所、ある時点で適切に設定した閾値が、別の場所、別の時点では適切な閾値ではない可能性があった。
【0065】
図11は、健常者を疾患者として誤って判別する健常者誤判別率と、疾患者を健常者として誤って判別する疾患者誤判別率とが、設定した温度閾値によって変動する様子を示した図である。
従来の手法では、温度閾値を下げると、疾患者を健常者として誤判別する疾患者誤判別率は下がるが、健常者を疾患者として誤判別する健常者誤判別率が上がっていた。一方、温度閾値を上げると、健常者誤判別率は下がるが、疾患者誤判別率が上がっていた。
【0066】
図12は、温度が0.5℃低く測定された場合の誤判別率を示した図である。
従来の手法では、温度閾値を37.0℃から変えずに運用した場合に、疾患者誤判別率は17.2%まで上昇していた。
【0067】
図13は、温度が0.5℃高く測定された場合の誤判別率を示した図である。
従来の手法では、温度閾値を37.0℃から変えずに運用した場合に、健常者誤判別率は13.6%まで上昇していた。
このように従来の手法では、健常者と疾患者を適切に判別を行うために温度閾値を適切に設定する過程が必要であり、温度閾値を適切に設定するには経験が必要であると言われていた。
【0068】
また、従来は、被測定者が疾患者であることを正確に判別できなかったので、被測定者が実際は疾患者であるにも関わらず、健常者と判別する率が高ければ、健常者と判別された疾患者が施設内に入ることがあった。
【0069】
そして、従来の赤外線カメラを用いた疾患者判別システムでは、顔の熱画像内の最高温度値が温度閾値を超えたらアラームを発生させていた。しかし、体表温は個体差が大きく、固定した温度閾値を用いると、健常者であっても疾患者として誤判定し、アラームの頻発で運用現場が混乱することがあった。これを回避するため、温度閾値を上げすぎると、疾患者をスクリーニングできず通過させてしまうという問題があった。さらに、体表温は外気温の影響を受けやすく、外気温に応じてユーザーが適切な温度閾値に変更しなければならず、手間がかかっていた。
【0070】
図14は、本発明の第1の実施形態に係る温度パターンを用いた健常者と疾患者の判別結果を示す一覧表である。図14においても、事前にユーザーが入力したユーザー判別結果を「被測定者(入力)」と表現する。そして、第1の実施形態に係る手法によって出力される被測定者の判別結果を「判別結果(出力)」と表現する。
【0071】
第1の実施形態に係る手法を用いると、従来行われていた温度閾値の設定は不要となる。そして、同じ実験データに対して、疾患者誤判別率は10.3%と同等であるが、健常者誤判別率は0%となる。このため、第1の実施形態に係る手法を用いることで、従来の手法で適切な温度閾値を用いて健常者と疾患者を判別する場合と比べて優位な結果が得られた。
【0072】
このため、本実施の形態に係る手法により、健常者と疾患者を判別する精度が従来の手法よりも向上した。このため、疾患者判別装置2は、被測定者が疾患者であることを確実に判別し、施設内への立ち入りを制限することが可能となる。
【0073】
以上説明した第1の実施の形態に係る疾患者判別システム100では、疾患者と健常者の顔の温度パターンが異なることに着目し、機械学習モデルに学習させた学習済モデルを用いて疾患者と健常者を判別できるようにした。ここで、疾患者と健常者の顔の温度パターンは、例えば、目頭、鼻尖、鼻の横、頬等で異なる。このため、疾患者判別装置2は、体表温測定装置1が測定した目頭、鼻尖、鼻の横、頬等の各部位の温度パターンを算出し、予め学習された学習済モデルを適用して疾患者と健常者を容易に正しく判別することが可能となる。このため、判別結果を使用して被測定者の施設への入退を管理することが可能となる。
【0074】
従来のような温度閾値により疾患者と健常者を判別する方法に比べて、本実施の形態では、算出された温度パターンに学習済モデルを適用することで、被測定者の体表温の個体差や、被測定者が滞在していた場所の外気温にかかわらず、疾患者判別装置2が疾患者と健常者を判別でき、疾患者の誤判別が減少する。また、被測定者の性別や年齢によって適切な温度閾値を設定することが難しかったのに対し、本実施の形態では、疾患者と健常者の温度パターンの違いを利用するため、温度閾値等の微妙な設定が不要となって運用が容易となる。
【0075】
また、温度パターンを機械学習モデルで学習し、蓄積した学習結果を学習済モデルとすることで、様々な疾患による疾患者と健常者を判別することが可能となる。また、被測定者が、子供か大人かの違い、性別の違い、国籍の違いなどによって異なる学習済モデルを生成することも可能である。さらに、気温などの運用場所の条件によって異なる学習モデルを生成することも可能である。このため、疾患者判別装置2が疾患者と健常者を判別する精度も向上する。
【0076】
また、発症前、すなわち被測定者の体表温が上昇する前でも温度パターンで示される温度変化は、発症後と同じ傾向を示しやすい。このため、疾患者判別装置2は、温度パターンに学習済モデルを適用することで、発症前の被測定者であっても、疾患者として判別することができる。このように疾患者判別装置2は、被測定者が疾患者であることを高い確率で判定することが可能となる。そして、疾患者判別装置2は、発症前の被測定者が疾患者である可能性を表示部25に表示し、ユーザーに注意喚起することもできる。
【0077】
また、被測定者の顔の複数箇所が、特定部位として決定され、疾患者と健常者の特定部位における温度の相対的な変化が温度パターンとして用いられる。また、被測定者の特定の部位の温度パターンが分かればよいため、頭髪、マスクや眼鏡等の被覆部により顔の一部が被覆され、被覆部により隠れた部位の温度を取得できなくても、疾患者判別装置2は、隠れていない他の特定の部位により温度パターンを算出し、疾患者と健常者を判別することが可能となる。
【0078】
また、疾患者と健常者の顔の温度パターンは、温度パターン学習部27により更新される。このため、目頭、鼻尖、鼻の横、頬以外の部位が特定部位として選ばれ、選ばれた特定部位に関する温度パターンにより学習済モデルが更新される。そこで、疾患者判別装置2は、更新された学習済モデルを用いて、インフルエンザウイルス以外の様々な感染症や体調不良等による疾患者を判別することも可能となる。
【0079】
なお、温度パターンは、被測定者の顔を水平に横切る領域に含まれる特定部位毎の温度正規化値に限らない。例えば、被測定者の顔を垂直又は斜めに横切る領域に含まれる特定部位毎の温度正規化値の温度パターンでもよい。また、被測定者の顔を真っ直ぐに横切る領域に含まれない特定部位の組合せから温度パターンを求めてもよい。例えば、図8に示した目頭40aと、図9に示した頬40dの組合せから温度パターンを求め、これらの特定部位の温度パターンを適用して被測定者の判別を行ってもよい。
【0080】
また、特定部位間の温度パターンに特徴があることを説明するために、図6図9を用いて健常者と疾患者の体表温を正規化した例を示した。しかし、疾患者判別装置2における実際の疾患者判別過程、学習過程において、正規化の処理を不要としてよい。
【0081】
また、疾患者判別装置2は、従来のように体表温が温度閾値以上である被測定者を疾患者と判別する処理を併用してもよい。
また、温度パターン学習部27は、特定部位毎の体表温の関係性を学習するだけでなく、被測定者の体表温そのものを学習してもよい。このため、温度パターン学習部27は、被測定者の体表温の絶対値を学習することができる。そして、被測定者判別部24は、体表温の絶対値についても、被測定者が健常者又は疾患者のいずれであるかを判別するための判定基準として用いることができる。
【0082】
[第2の実施の形態]
ところで、上述した第1の実施の形態に係る疾患者判別装置2は、被測定者の顔が全て露出していることを前提とし、主に被測定者の顔に着目して、顔の温度分布を学習し、学習モデルを生成するものであった。しかし、被測定者は、メガネをかけたり、眼帯を付けたり、感染症対策のためマスクを付けたりすることがある。このため、メガネ、マスク、眼帯等の被覆部により、被測定者の特定部位の一部が覆われる面積が大きいと、顔の温度分布を正しく求めることができないことがある。この場合、疾患者判別装置2は、被測定者が健常者又は疾患者のいずれであるかを判別することが困難になることが予想される。
【0083】
そこで、第2の実施の形態に係る疾患者判別装置は、被測定者の顔表面だけでなく、首部分の体表温を含めて、被測定者が健常者又は疾患者のいずれであるかを判別する。以下、本発明の第2の実施の形態に係る疾患者判別装置について、図15図17を参照して説明する。
【0084】
第2の実施の形態に係る体表温測定装置1の構成は、第1の実施の形態に係る体表温測定装置1の構成と同じである。
第2の実施の形態に係る制御部13(図1を参照)は、疾患者判別装置2に温度データを出力する。この温度データには、被測定者の顔における特定部位を含む被測定者の顔全体及び首を撮影した熱画像、又は特定部位毎に測定された特定部位の温度が含まれる。ここで、第2の実施の形態に係る特定部位としては、マスクやメガネ等の被覆部の影響が少ない部位も含まれる。例えば、首などの動脈が通る位置や心臓に近い位置の部位が特定部位として選ばれる。そこで、第2の実施の形態に係る特定部位の少なくとも1つは、被測定者の目頭、鼻尖、鼻の横、頬、顎、耳、手、頭髪部を除く頭、こめかみ及び首のうち、少なくとも首を含むいずれかである。このため、第2の実施の形態では、首の温度を表す温度データが、温度データの一群に含まれる。
【0085】
また、特定部位判定部21は、体表温測定装置1から入力する温度データに基づいて、被測定者の露出部分における特定部位を判定する。温度データは、体表温測定装置1が被測定者の顔及び首を撮影した熱画像を含む。ここで、第2の実施の形態に係る特定部位判定部21は、被測定者の首を特定部位として判定する必要がある。ただし、被測定者が襟のある服を着用していると、首前面の一部しか見えないことが予想される。この場合、襟のない部分(顔正面の下側)に測定領域を作成し、この測定領域内における最大値を、首の温度として取得する。
【0086】
そこで、特定部位判定部21は、被測定者の顔が正面を向いた場合にのみ、顔及び首を検出することが可能なアルゴリズムを使用して、顔正面を判定する。この際、特定部位判定部21は、熱画像に基づき、顔正面を構成する顔パーツ(例えば、顔の輪郭、顎)の位置合わせを行う。さらに、特定部位判定部21は、被測定者の顔が、体表温測定装置1が撮影する方向に合わせた正面にあることを判定して熱画像から特定部位を判定する。この際、特定部位判定部21は、顔の下に作成した測定領域内の温度値を首の温度として捉える。
【0087】
図15は、被測定者の首部分を含む体表温の測定結果の例を示す図である。図15には、被測定者の熱画像P3が表示される。この被測定者は、顔の一部がマスク等の被覆部に覆われていない状態で体表温が測定されたものとする。被測定者の顔及び首の体表温が同程度であることが、熱画像P3から示される。
【0088】
第2の実施の形態に係る疾患者判別装置2が、健常者と疾患者を判別するために着目する箇所は、被測定者の鎖骨の高さから前額部までの頭頸部とする。次に、特定部位判定部21は、被測定者の顔が正面を向いていることを検出すると、被測定者の鎖骨から顎の間に測定領域45を設定する。そして、特定部位判定部21は、測定領域45内の温度を、首の温度として取得する。また、特定部位判定部21は、被覆部で被覆されていない被測定者の顔から、露出している特定部位を判定する。
【0089】
図16は、被測定者の頭、こめかみ及び首の温度パターンを示すグラフである。このグラフでは、横軸に被測定者の特定部位(頭、こめかみ及び首)を示し、縦軸に特定部位ごとの正規化値を示す。既に図6のグラフを参照して説明したように、特定部位ごとの体表温は、0~1.0の範囲内で正規化される。
【0090】
図16のグラフより、被測定者の頭(例えば、前額部)では、健常者の正規化値が、疾患者の正規化値より低いことが示される。
また、被測定者のこめかみでは、健常者の正規化値と、疾患者の正規化値とがほぼ等しいことが示される。
また、被測定者の首では、健常者の正規化値が、疾患者の正規化値より高いことが示される。
【0091】
このように、被測定者の鎖骨の高さから前額部までの頭頸部において、健常者の正規化値で表される温度パターンと、疾患者の正規化値で表される温度パターンとは明確に異なる。また、被測定者の首の箇所では、特に正規化値が異なるので、頭とこめかみの正規化値だけで健常者又は疾患者を判別する場合に比べて、判別精度が向上することが予想される。
【0092】
そこで、図3に示したように、温度パターン算出部22は、体表温測定装置1から入力する温度データに基づいて、特定部位判定部21により判定された首を含む特定部位から温度データを抽出し、図16のグラフで表される複数の特定部位の温度パターンを求める。この温度パターンは、被測定者判別部24と、温度パターン学習部27に出力される。
被測定者判別部24は、算出された温度パターンに、記憶部23から読出した予め学習した学習済モデルを適用して、被測定者が疾患者又は健常者のいずれであるかを判別する。被測定者判別部24の判別結果は、表示部25に出力される。
【0093】
温度パターン学習部27は、入力部26から入力されたユーザー判別結果と、被測定者判別部24で用いられた、温度パターン算出部22の出力である温度パターンとに基づいて、機械学習モデルにより学習した学習済モデルを生成する。そして、温度パターン学習部27は、記憶部23に記憶させた学習済みモデルを更新する。
【0094】
図17は、本発明の第2の実施形態に係る温度パターンを用いた健常者と疾患者の判別結果を示す一覧表である。図17においても、事前にユーザーが入力したユーザー判別結果を「被測定者(入力)」と表現する。そして、第2の実施形態に係る手法によって出力される被測定者の判別結果を「判別結果(出力)」と表現する。
【0095】
第2の実施形態に係る手法を用いても、従来行われていた温度閾値の設定は不要となる。そして、図10に示した従来の温度閾値を用いる手法に対して、疾患者誤判別率は10.3%から6.9%に下がるが、健常者誤判別率は1.5%から1.9%のようにほぼ同じ値である。しかし、疾患者判別率は、89.7%から93.1%に上がる。このため、第2の実施形態に係る手法を用いることで、従来の温度閾値を用いて健常者と疾患者を判別する手法と比べて優位な結果を得られる。すなわち、第2の実施の形態に係る手法により、健常者と疾患者を判別する精度が従来の手法よりも向上した。この結果、疾患者判別装置2は、被測定者が疾患者であることを確実に判別し、施設内への立ち入りを制限することが可能となる。
【0096】
以上説明した第2の実施の形態に係る体表温測定装置1では、顔だけでなく、少なくとも首を含む特定部位の温度正規化値の分布を学習データに使用することで、マスクやメガネ等の被覆部の影響を小さくできる機械学習モデルを作成する。そして、この体表温測定装置1は、事前に学習した機械学習モデルを活用することで、被覆部の形状により、被測定者の顔が隠れる特定部位が被測定者ごとに異なるケースであっても、被測定者を高精度に健常者又は疾患者のいずれかに判別することが可能となる。
【0097】
また、首以外にも特定部位を求めてもよい。例えば、特定部位として、被測定者の手の指が想定される。被測定者の身体のうち、露出している部位であれば、特定部位の候補として採用されうる。
【0098】
また、第1の実施の形態に係る体表温測定装置1においても、被測定者の顔画像を水平に横切る領域に含まれる特定部位毎の温度正規化値の温度パターンに限らず、温度パターンを算出してよい。第1の実施の形態に係る体表温測定装置1は、例えば、第2の実施の形態に係る手法と同様に、様々な部位の温度正規化値又は温度の組み合わせから判明した温度パターンを用いて、被測定者を高精度に健常者又は疾患者のいずれかに判別してもよい。
【0099】
[第3の実施の形態]
次に、本発明の第3の実施の形態に係る疾患者判別装置について、図18を参照して説明する。
【0100】
図18は、疾患者判別装置2Aの内部構成例を示すブロック図である。
疾患者判別装置2Aは、図1に示した体表温測定装置1の各機能部と、図3に示した疾患者判別装置2の各機能部を組み合わせて一体化したものである。ここで、レンズ10、検出素子11及びセンサ11a、A/D変換部12、制御部13をまとめて体表温測定部16と呼ぶ。そして、体表温測定部16の制御部13は、温度データを特定部位判定部21に出力する。特定部位判定部21、温度パターン算出部22及び被測定者判別部24の処理は、第1の実施の形態に示した処理と同様である。
【0101】
なお、疾患者判別装置2Aは、表示部14Aと操作部15Aを備える。
表示部14Aは、第1の実施の形態に係る表示部14と同様に、制御部13から出力された画像データに基づいて熱画像を表示する。また、表示部14Aは、第1の実施の形態に係る表示部25と同様に、被測定者の判別結果、又は被測定者が疾患者である可能性を表示することもできる。
【0102】
操作部15Aは、第1の実施の形態に係る操作部15と同様に、制御部13に対して測定対象物の絶対温度を出力させる指示を入力する。また、操作部15Aは、第1の実施の形態に係る入力部26と同様に、疾患者判別装置2Aを使用するユーザーが表示部14Aに表示された内容を確認して入力する、被測定者が健常者又は疾患者のいずれであるかの判別結果を受け付け、温度パターン学習部27に判別結果を出力することもできる。
【0103】
以上説明した第3の実施の形態に係る疾患者判別装置2Aでは、1台の装置で熱画像の処理と、被測定者の判別とを行うことができる。このため、疾患者判別装置2Aを軽量化、小型化し、持ち運び容易となる。
【0104】
[第4の実施の形態]
次に、本発明の第4の実施の形態に係る疾患者判別システムについて、図19図20を参照して説明する。
【0105】
熱画像を表示可能な表示部14を備える体表温測定装置1は、非常に高価である。しかし、温度パターンを用いて疾患者と健常者を判別する技術は、様々な環境で用いられる可能性があり、体表温測定装置1を安価、かつ持ち運び容易とすることが求められる。そこで、本実施の形態に係る疾患者判別システムでは、表示部を備えない非接触の体表温測定装置を用いても疾患者と健常者を判別することを可能な構成とした。
【0106】
図19は、疾患者判別システム100Aの内部構成例を示すブロック図である。
疾患者判別システム100Aは、体表温測定装置1A、疾患者判別装置2B及び学習サーバ7を備える。
【0107】
体表温測定装置1Aは、図1に示した体表温測定装置1からレンズ10、表示部14を除いた構成とする。そして、検出素子11は、一つのセンサ11aを有する。例えば、体表温測定装置1Aの外形を、ペン型に構成することで、ユーザーは、体表温測定装置1Aを被測定者の特定部位に近づけて、特定部位の温度を測定することが可能である。ユーザー、体表温測定装置1A、疾患者判別装置2B及び学習サーバ7は、予め定められた特定部位の測定順を把握しているものとする。ユーザーが体表温測定装置1Aを使用して予め定められた測定順で体表温測定装置が被測定者の特定部位から測定した温度を含む温度データが、測定順に疾患者判別装置2Bに出力される。なお、温度データは、体表温測定装置1Aが特定部位を測定する度に出力されてもよいし、一人の被測定者に対して全ての特定部位を測定した後にまとめて出力されてもよい。
【0108】
なお、体表温測定装置1Aに、測定した特定部位の温度を表示する液晶表示装置等を表示部として設けてもよい。そして、液晶表示装置には、測定する特定部位の名称等を、測定順に表示してもよい。例えば、ユーザーは、体表温測定装置1Aを用いて特定部位の温度を測定する度に操作部15を押す等の操作により、特定部位の温度測定が終了したことを入力する。そして、操作部15が押されると、次に測定すべき特定部位の名称等を液晶表示装置に表示してもよい。
【0109】
疾患者判別装置2Bは、体表温測定装置1Aから特定部位の温度データを取得可能である。また、疾患者判別装置2Bは、ネットワークNを通じて学習サーバ7との間でデータを送受信することが可能である。疾患者判別装置2Bから学習サーバ7には、体表温測定装置1Aが取得した特定部位の温度データ、ユーザーが疾患者判別装置2Bから入力したユーザー判別結果が送信される。また、疾患者判別装置2Bは、学習サーバ7から学習済みモデルのデータを受信する。
【0110】
学習サーバ7は、通信部71、温度パターン学習部72及び記憶部73を備える。この学習サーバ7は、疾患者判別装置2Bから受信した被測定者の特定部位の温度データと、ユーザー判別結果を入力として学習した学習済モデルを疾患者判別装置2Bに出力することが可能である。
【0111】
通信部71は、ネットワークNを介して疾患者判別装置2Bに接続可能である。そして、通信部71は、疾患者判別装置2Bから被測定者の特定部位の温度データと、ユーザー判別結果を受信する。また、通信部71は、記憶部73から読出した学習済モデルを疾患者判別装置2Bに送信する。
【0112】
温度パターン学習部72は、通信部71が疾患者判別装置2Bから受信した特定部位の温度データ、及びユーザーにより入力されたユーザー判別結果に基づいて、温度パターンを学習して得た学習結果から学習済モデルを生成し、更新する。温度パターン学習部72で行われる学習処理は、第1の実施の形態に係る疾患者判別装置2の温度パターン学習部27で行われた学習処理と同様である。そして、温度パターン学習部72は、学習済モデルを記憶部73に保存する。
【0113】
記憶部73には、温度パターン学習部72が学習した学習済モデルが記憶される。上述したように、通信部71が記憶部73から読出した学習済モデルは、ネットワークNを介して疾患者判別装置2Bに送信される。
【0114】
図20は、疾患者判別装置2Bの内部構成例を示すブロック図である。
疾患者判別装置2Bは、図3に示した疾患者判別装置2から特定部位判定部21と温度パターン学習部27を除いた構成としている。そして、疾患者判別装置2Bは、学習サーバ7と通信可能な通信部28を備える。
【0115】
温度パターン算出部22は、ユーザーが体表温測定装置1Aを操作して、規定の測定順で測定した特定部位の温度の温度正規化値を温度パターンとして算出する。温度パターン算出部22が算出した温度パターンは、被測定者毎に整形されたものとなる。
通信部28は、温度パターン算出部22が算出した温度パターンと、ユーザーが入力部26を通じて入力したユーザー判別結果を学習サーバ7に送信する。また、通信部28は、学習サーバ7から学習済モデルを受信し、記憶部23に保存する。
【0116】
記憶部23には、通信部28が学習サーバ7から受信した学習済モデルが記憶される。学習済モデルは、被測定者判別部24によって記憶部23から適宜読出され、被測定者の判別に用いられる。
【0117】
以上説明した第4の実施の形態に係る疾患者判別システム100Aでは、被測定者の特定部位毎に温度を測定可能な体表温測定装置1Aを備える。ユーザーは、1台の体表温測定装置1Aを、被測定者の複数の特定部位に規定の測定順で近づけて、各特定部位の温度を順に得る。また、学習サーバ7が温度パターンの機械学習を行って得た、適正な学習済モデルを疾患者判別装置2Bに与える。このため、疾患者判別装置2Bは、学習サーバ7から受け取った学習済モデルを温度パターンに適用して疾患者と健常者を判別することができる。本実施の形態では、CPU31(図4を参照)に多大な負荷がかかる温度パターンの学習を学習サーバ7が行うことで、疾患者判別装置2Bのスペックを下げることができる。また、体表温測定装置1Aは、表示部14を備えないので、体表温測定装置1Aを小型化することができる。
【0118】
このように疾患者判別装置2Bは、熱画像を入力としなくても、体表温測定装置1Aから特定部位毎に測定された体表温のデータを入力とすることで、疾患者と健常者を判別することが可能となる。
【0119】
また、学習サーバ7は、複数の体表温測定装置1Aから温度パターン及びユーザー判別結果を取得することで、異なる地域で測定された被測定者の体表温に合わせた温度パターンを学習することができる。このため、温度パターンの精度が高まり、この温度パターンを用いて判別される疾患者と健常者の判別結果の精度も高まる。
【0120】
[第5の実施の形態]
次に、本発明の第5の実施の形態に係る疾患者判別システムで用いられる疾患者判別装置について、図21を参照して説明する。本実施の形態に係る疾患者判別装置は、熱画像を出力する体表温測定装置から入力する熱画像の画素毎の温度を温度パターンとして求めて、被測定者の判別を行う。
【0121】
図21は、疾患者判別装置2Cの内部構成例を示すブロック図である。
疾患者判別装置2Cは、図3に示した疾患者判別装置2から特定部位判定部21を除いた構成としている。また、疾患者判別装置2Cは、体表温測定装置1に接続されて、第5の実施の形態に係る疾患者判別システムを構成する。
【0122】
温度パターン算出部22Aに体表温測定装置1から入力される温度データは、体表温測定装置が被測定者を撮影した熱画像全体を含む。温度パターン算出部22Aは、第1の実施の形態に係る特定部位判定部21と同様に、顔の熱画像に基づいて、顔を構成する顔パーツの位置合わせを行う機能を有する。このため、温度パターン算出部22Aは、熱画像全体の温度データに基づいて、顔を構成する顔パーツの位置合わせを行って熱画像の画素毎に抽出した温度データを温度パターンとして算出する。温度パターン算出部22Aが算出した温度パターンは、被測定者判別部24及び温度パターン学習部27に出力される。
記憶部23、被測定者判別部24、表示部25、入力部26及び温度パターン学習部27の動作は、図3に示した疾患者判別装置2における各部の動作と同様であるため、詳細な説明を省略する。
【0123】
以上説明した第5の実施の形態に係る疾患者判別システムでは、疾患者判別装置2Cに入力される熱画像の画素毎に算出された温度パターンに基づいて被測定者が、健常者又は疾患者のいずれであるかが判別される。このため、熱画像から被測定者の特定部位を判定する処理が不要となり、熱画像を取得して、被測定者を判別するまでの処理を少なくすることができる。
【0124】
また、第5の実施の形態に係る疾患者判別装置2Cにおいて、温度パターン算出部22Aは、被測定者の顔及び首が撮影された熱画像全体の温度データに基づいて、顔を構成する顔パーツの位置合わせを行う。さらに、温度パターン算出部22Aは、被測定者の顔が、体表温測定装置1が撮影する方向に合わせた正面にあることを判定することで、熱画像の画素毎に抽出した温度データを温度パターンとして算出してもよい。温度パターン算出部22Aが算出した温度パターンは、被測定者判別部24及び温度パターン学習部27に出力される。疾患者判別装置2Cにおける記憶部23、被測定者判別部24、表示部25、入力部26及び温度パターン学習部27の動作は、図3に示した疾患者判別装置2における各部の動作と同様である。
【0125】
[変形例]
なお、体表温測定装置としては、複数台の非接触温度計(放射温度計)を用いてもよい。そして、複数台の非接触温度計により、被測定者の複数の特定部位を同時に測定することで、被測定者毎に特定部位の温度を得て、温度正規化値を求めてもよい。
【0126】
また、第3~第5の実施の形態に係る体表温測定装置においても、第2の実施の形態に係る体表温測定装置で測定対象とした、被測定者の首の温度を特定部位に含めてもよい。この際、温度パターン学習部27は、被測定者の首と、首以外の特定部位との温度パターンに基づいて、機械学習を行い、学習済みモデルを更新することができる。また、被測定者判別部24は、この学習済みモデルを、被測定者の首と、首以外の特定部位の温度パターンに適用することで、被測定者が健常者又は疾患者のいずれであるかを判別することができる。
【0127】
また、本発明は上述した各実施の形態に限られるものではなく、請求の範囲に記載した本発明の要旨を逸脱しない限りその他種々の応用例、変形例を取り得ることは勿論である。
例えば、上述した実施の形態は本発明を分かりやすく説明するために装置及びシステムの構成を詳細かつ具体的に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されない。また、ここで説明した実施の形態の構成の一部を他の実施の形態の構成に置き換えることは可能であり、さらにはある実施の形態の構成に他の実施の形態の構成を加えることも可能である。また、各実施の形態の構成の一部について、他の構成の追加、削除、置換をすることも可能である。
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
【符号の説明】
【0128】
1…体表温測定装置、2…疾患者判別装置、13…制御部、14…表示部、15…操作部、21…特定部位判定部、22…温度パターン算出部、23…記憶部、24…被測定者判別部、25…表示部、26…入力部、27…温度パターン学習部、40…顔の熱画像、50,60…温度パターン、100…疾患者判別システム
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21