(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022134289
(43)【公開日】2022-09-15
(54)【発明の名称】疾患者判別装置及び疾患者判別システム
(51)【国際特許分類】
A61B 5/01 20060101AFI20220908BHJP
【FI】
A61B5/01 350
【審査請求】未請求
【請求項の数】15
【出願形態】OL
(21)【出願番号】P 2021033333
(22)【出願日】2021-03-03
(71)【出願人】
【識別番号】000227836
【氏名又は名称】日本アビオニクス株式会社
(71)【出願人】
【識別番号】506208908
【氏名又は名称】学校法人兵庫医科大学
(74)【代理人】
【識別番号】110000925
【氏名又は名称】特許業務法人信友国際特許事務所
(72)【発明者】
【氏名】松本 昂大
(72)【発明者】
【氏名】丹治 栄二郎
(72)【発明者】
【氏名】木村 彰一
(72)【発明者】
【氏名】宇田 康
(72)【発明者】
【氏名】小柴 賢洋
(72)【発明者】
【氏名】芝田 宏美
(72)【発明者】
【氏名】堀江 修
【テーマコード(参考)】
4C117
【Fターム(参考)】
4C117XB01
4C117XB02
4C117XD01
4C117XD04
4C117XD06
4C117XD10
4C117XD16
4C117XE23
4C117XE48
4C117XE54
4C117XF22
4C117XG01
4C117XG34
4C117XH16
4C117XJ03
4C117XJ11
4C117XJ38
4C117XJ48
4C117XK05
4C117XK33
4C117XL01
4C117XP12
(57)【要約】
【課題】着用物の有無により露出部位が異なる被測定者を疾患者又は健常者のいずれであるか正しく判別できる疾患者判別装置を提供する。
【解決手段】疾患者判別装置2は、被測定者の体表温を測定する体表温測定装置1から入力する温度データ、及び被測定者の着用物の有無が判定された着用物判定結果に基づいて、被測定者の露出部分における温度パターンを算出する温度パターン算出部22と、着用物判定結果に基づいて複数の学習済モデルから選択した一の学習済モデルを温度パターンに適用して、被測定者が疾患者又は健常者のいずれであるかを判別する被測定者判別部24と、を備える。
【選択図】
図3
【特許請求の範囲】
【請求項1】
被測定者の体表温を測定する体表温測定部から入力する温度データ、及び前記被測定者の着用物の有無が判定された着用物判定結果に基づいて、前記被測定者の露出部分における温度の温度パターンを算出する温度パターン算出部と、
前記着用物判定結果に基づいて複数の学習済モデルから選択した一の学習済モデルを前記温度パターンに適用して、前記被測定者が疾患者又は健常者のいずれであるかを判別する被測定者判別部と、を備える
疾患者判別装置。
【請求項2】
前記温度パターンは、前記着用物判定結果が着用物有りである場合に、前記着用物が着用された部位以外の前記被測定者の露出部分から収集した前記温度データの一群で表され、前記着用物判定結果が着用物無しである場合に、前記被測定者の露出部分から収集した前記温度データの一群で表され、
前記被測定者判別部は、前記着用物判定結果が着用物有りの場合と、着用物無しの場合とで異なる前記学習済モデルを選択する
請求項1に記載の疾患者判別装置。
【請求項3】
さらに、前記着用物判定結果及び前記温度データに基づいて、前記被測定者の露出部分における特定部位を判定する特定部位判定部を備え、
前記温度パターン算出部は、複数の前記特定部位から収集した前記温度データの一群で表される前記温度パターンを算出する
請求項2に記載の疾患者判別装置。
【請求項4】
前記温度データは、前記体表温測定部が前記被測定者の露出部位を撮影した熱画像を含み、
前記特定部位判定部は、前記着用物判定結果を用いて、前記熱画像に対して、顔を構成する顔パーツの位置合わせを行って前記熱画像から前記特定部位を判定し、
前記温度パターン算出部は、判定された前記特定部位から前記温度データを抽出し、複数の特定部位の前記温度パターンを求める
請求項3に記載の疾患者判別装置。
【請求項5】
前記温度データは、前記体表温測定部が前記被測定者の露出部位を撮影した熱画像を含み、
前記温度パターン算出部は、前記着用物判定結果を用いて、顔を構成する顔パーツの位置合わせを行って前記熱画像の画素毎に抽出した前記温度データを前記温度パターンとして算出する
請求項2に記載の疾患者判別装置。
【請求項6】
前記温度データは、予め定められた測定順で前記体表温測定部が前記被測定者の特定部位から測定した温度を含み、
前記温度パターン算出部は、前記着用物判定結果に基づき、前記測定順で測定された前記特定部位の前記温度を前記温度パターンとして算出する
請求項2に記載の疾患者判別装置。
【請求項7】
さらに、前記学習済モデルを記憶する記憶部を備え、
前記被測定者判別部は、前記着用物判定結果に基づいて前記記憶部から読出した前記学習済モデルを用いて、前記被測定者を判別する
請求項1~6のいずれか一項に記載の疾患者判別装置。
【請求項8】
さらに、表示部を備え、
前記被測定者判別部は、前記被測定者判別部による判別結果、又は前記被測定者が前記疾患者である可能性を前記表示部に表示する
請求項7に記載の疾患者判別装置。
【請求項9】
さらに、前記被測定者が健常者又は疾患者のいずれであるかのユーザー判別結果が入力される入力部と、
前記ユーザー判別結果と、前記着用物判定結果と、前記被測定者判別部で用いられた前記温度パターンとに基づいて、機械学習モデルにより学習した複数の前記学習済モデルを生成する温度パターン学習部とを備える
請求項7に記載の疾患者判別装置。
【請求項10】
前記着用物は、マスク及びメガネのうち、少なくとも一つであり、
前記着用物判定結果は、前記被測定者が、前記着用物として、マスク、メガネ、襟、マフラー及び手袋のうち、少なくとも一つを着用しているか否かを判定した結果である
請求項1~9のいずれか一項に記載の疾患者判別装置。
【請求項11】
前記特定部位は、前記被測定者の目頭、鼻尖、鼻の横、頬、額、こめかみ、首、手のうち、少なくとも1つ以上の部位を含む
請求項1~10のいずれか一項に記載の疾患者判別装置。
【請求項12】
前記体表温測定部は、前記熱画像に基づいて前記着用物の有無を判定した前記着用物判定結果を出力する着用物判定部を有する
請求項1~11のいずれか一項に記載の疾患者判別装置。
【請求項13】
前記体表温測定部は、可視画像に基づいて前記着用物の有無を判定した前記着用物判定結果を出力する着用物判定部を有する
請求項1~11のいずれか一項に記載の疾患者判別装置。
【請求項14】
疾患者判別装置と、学習サーバとを備える疾患者判別システムであって、
前記疾患者判別装置は、
被測定者の体表温を測定する体表温測定部から入力する温度データ、及び前記被測定者の着用物の有無が判定された着用物判定結果に基づいて、前記被測定者の露出部分における温度の温度パターンを算出する温度パターン算出部と、
前記着用物判定結果に基づいて複数の学習済モデルから選択した一の学習済モデルを前記温度パターンに適用して、前記被測定者が疾患者又は健常者のいずれであるかを判別する被測定者判別部と、を有し、
前記学習サーバは、
機械学習モデルにより、前記着用物判定結果に応じた前記温度パターンを学習して、前記着用物判定結果に応じた複数の前記学習済モデルを生成する温度パターン学習部を有する
疾患者判別システム。
【請求項15】
前記疾患者判別装置は、前記被測定者が健常者又は疾患者のいずれであるかのユーザー判別結果が入力される入力部を有し、
前記温度パターン学習部は、前記ユーザー判別結果と、前記着用物判定結果と、前記被測定者判別部で用いられた前記温度パターンとに基づいて、前記学習済モデルを生成する
請求項14に記載の疾患者判別システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、疾患者判別装置及び疾患者判別システムに関する。
【背景技術】
【0002】
従来、多くの施設において、被測定者の体表温測定が定期的に行われている。被測定者としては、例えば、病院施設における入院患者や通院患者、空港施設における搭乗者、ビル等における入館者、教育施設における児童等が想定される。近年では、非接触で被測定者の体表温を測定するため、サーモグラフィ装置が用いられることが多くなっている。サーモグラフィ装置は、被測定者の皮膚から発せられる赤外線光の強度に応じて、例えば、高い温度は赤色、低い温度は青色のように色分けした熱画像により、被測定者の体表温を表示することが可能である。
【0003】
被測定者がウイルスに感染し、発症すると被測定者の体表温が上昇する。このため、施設に入場する前に被測定者の熱画像をサーモグラフィ装置で撮影し、健常者と疾患者を判別することがあった。サーモグラフィ装置に表示される熱画像を用いた疾患者と健常者との判別には、予め定めた温度閾値が用いられてきた。例えば、温度閾値より高い温度の部位が顔表面に現れた人を疾患者として判別し、顔表面に温度閾値より高い温度の部位が現れていない人を健常者として判別していた。
【0004】
また、疾患者と健常者とを判別するために様々な方法が試みられてきた。例えば特許文献1には、複数の対象者の温度から、対象者の状態の判定に用いる判定基準を設定し、この判定基準に基づいて、温度特定手段によって特定された対象者の温度から当該対象者の状態を判定する技術が開示されている。
【先行技術文献】
【特許文献】
【0005】
【発明の概要】
【発明が解決しようとする課題】
【0006】
ところで、近年の感染症対策として、季節を問わず、顔にマスクをつけることが一般的となってきた。また、普段はメガネをかけない人であっても、花粉症の時期には、花粉が目に入り込まないようにするため、メガネの縁にフードを設けた花粉対策メガネを装着することが増えてきた。しかし、顔の一部が覆われた状態では、サーモグラフィ装置が測定可能な顔の露出部分が減ってしまう。このため、サーモグラフィ装置の検出結果を用いて、健常者又は疾患者を判定する従来の判別装置は、被測定者が発熱している疾患者であるにもかかわらず健常者であると誤判別することがあった。
【0007】
また、特許文献1に開示された技術において疾患者と健常者との判定に用いられる判定基準は、環境に合わせて適正な値に調整する必要があり、判定基準を調整しない場合には被測定者を誤判定する確率が高くなる。適正な判定基準に調整するためには調整者に経験が必要であるが、環境が変化すると判定基準の再調整を要するため、運用上の問題になっていた。また、特許文献1に開示された技術を用いても、例えば、被測定者の顔の一部がマスク等で覆われると、疾患者の体表温を正しく測定できないので、実際には疾患者である被測定者を健常者と誤判定することがあった。
【0008】
本発明はこのような状況に鑑みて成されたものであり、被測定者の露出部位の一部が着用物で覆われていても、被測定者を疾患者又は健常者のいずれかに正しく判別することを目的とする。
【課題を解決するための手段】
【0009】
上述した目的を実現するために、本発明の一側面を反映した疾患者判別装置は、被測定者の体表温を測定する体表温測定部から入力する温度データ、及び被測定者の着用物の有無が判定された着用物判定結果に基づいて、被測定者の露出部分における温度の温度パターンを算出する温度パターン算出部と、着用物判定結果に基づいて複数の学習済モデルから選択した一の学習済モデルを温度パターンに適用して、被測定者が疾患者又は健常者のいずれであるかを判別する被測定者判別部と、を備える。
また、本発明の他の一側面を反映した疾患者判別システムは、上記の疾患者判別装置に加えて、機械学習モデルにより、着用物判定結果に応じた温度パターンを学習して、着用物判定結果に応じた複数の学習済モデルを生成する温度パターン学習部を有する学習サーバを備える。
【発明の効果】
【0010】
本発明によれば、着用物判定結果に応じて選択した学習済モデルを被測定者の温度パターンに適用することで、被測定者を疾患者又は健常者のいずれかに正しく判別することができる。
上記した以外の課題、構成及び効果は、以下の実施の形態の説明により明らかにされる。
【図面の簡単な説明】
【0011】
【
図1】本発明の第1の実施の形態に係る疾患者判別システムの内部構成例をブロック図である。
【
図2】本発明の第1の実施の形態に係る制御部の内部構成例を示すブロック図である。
【
図3】本発明の第1の実施の形態に係る疾患者判別装置の内部構成例を示すブロック図である。
【
図4】本発明の第1の実施の形態に係る計算機のハードウェア構成例を示すブロック図である。
【
図5】本発明の第1の実施の形態に係る機械学習モデルを適用して被測定者を健常者と疾患者に判別した判別結果の例を示す一覧表である。
【
図6】本発明の第2の実施の形態に係る疾患者判別装置の内部構成例をブロック図である。
【
図7】本発明の第3の実施の形態に係る疾患者判別システムの内部構成例をブロック図である。
【
図8】本発明の第3の実施の形態に係る疾患者判別装置の内部構成例を示すブロック図である。
【
図9】本発明の第4の実施の形態に係る疾患者判別装置の内部構成例を示すブロック図である。
【
図10】本発明の第5の実施の形態に係る疾患者判別システムの内部構成例を示すブロック図である。
【
図11】本発明の第5の実施の形態に係る制御部の内部構成例を示すブロック図である。
【発明を実施するための形態】
【0012】
以下、本発明を実施するための形態について、添付図面を参照して説明する。本明細書及び図面において、実質的に同一の機能又は構成を有する構成要素については、同一の符号を付することにより重複する説明を省略する。
【0013】
図1は、疾患者判別システム100の内部構成例を示すブロック図である。
疾患者判別システム100は、体表温測定装置1と疾患者判別装置2とを備える。体表温測定装置1と疾患者判別装置2とは有線又は無線により接続されている。疾患者判別装置2は、体表温測定装置1が測定した被測定者の体表温を表す熱画像を取込んで、被測定者が疾患者又は健常者のいずれであるかを判別する。疾患者判別装置2の詳細な構成例は、後述する
図3にて説明する。
【0014】
体表温測定装置1(体表温測定部の一例)は、レンズ10、検出素子11、A/D変換部12、制御部13、表示部14及び操作部15を備える。この体表温測定装置1は、レンズ10が向けられた被測定者の体表温を測定することが可能である。
【0015】
レンズ10は、被測定者から発せられた赤外線光を集光して検出素子11に結像させる。
検出素子11は、一つ又は複数のセンサ11aを有しており、検出素子11に入力する垂直同期信号に同期してフレーム周期毎に時分割で検出信号を出力する。検出素子11が単位時間あたりに出力可能な検出信号のフレーム数は、例えば、60fps(frames per second)である。
【0016】
体表温測定装置1をカメラとして用いた時には、検出素子11が有するセンサ11aは画素単位で設けられるセンサである。そして、センサ11aは、検出素子11に結像した赤外線光の強度を検出して検出信号を出力する。センサ11aとしては、例えば、測定対象物の絶対温度に応じて抵抗値が変化するマイクロボロメータが用いられる。検出素子11には、多数のマイクロボロメータが、例えば、横320個×縦240個のように2次元に配列されている。マイクロボロメータは、赤外線光を検出すると、赤外線光の強度に応じたアナログの検出信号を出力する。ただし、検出素子11には、一つのセンサ11aだけが用いられてもよい。
【0017】
A/D変換部12は、検出素子11の画素単位のセンサ11aから出力される検出信号をデジタルデータに変換し、制御部13にデジタルデータを出力する。
【0018】
制御部13は、A/D変換部12から入力する検出信号のデジタルデータに対して、後述する
図2に示すゲイン補正及びオフセット補正を行い、測定対象物の絶対温度を演算する。そして、制御部13は、演算した測定対象物の絶対温度に基づいて画像処理を行って得た画像データを表示部14に出力する。ここで、制御部13が出力する画像データは、操作部15の操作に従って生成される熱画像の画像データである。また、制御部13は、検出素子11のセンサ11aに垂直同期信号を出力する。
【0019】
また、制御部13は、疾患者判別装置2に温度データを出力する。この温度データには、被測定者の顔における特定部位を含む被測定者の顔全体を撮影した熱画像、又は特定部位毎に測定された特定部位の温度が含まれる。特定部位は、例えば、被測定者の目頭、鼻尖、鼻の横、頬、額、こめかみ、首、手のうち、少なくとも1つ以上の部位である。被測定者の顔が着用物で覆われていない場合、前述した特定部位から任意の部位を選ぶことができる。なお、被測定者の特定部位は、例えば、衣服(上着、シャツ、ズボン、靴下、帽子等)や履物(靴、サンダル等)で覆われていない部位であり、かつ、着用物で覆われていない部位である。本実施の形態では、被測定者の着用物として、例えば、マスク、メガネ、襟、マフラー及び手袋のうち、少なくとも一つが含まれる。後述する
図3に示す特定部位判定部21が顔の熱画像から抽出すべき特定部位の位置は予め決定されているものとする。ただし、被測定者の顔が着用物で覆われている場合、前述した特定部位のうち、目頭、鼻尖、鼻の横、頬のようにマスクやメガネで覆われる可能性が高い部位が特定部位から除かれることがある。また、襟やマフラー等の着用物で覆われる可能性が高い首や、手袋で覆われる可能性が高い手についても前述した特定部位から除かれることがある。
【0020】
表示部14には、制御部13により生成された画像データに基づいて、測定対象物の絶対温度の分布状況を示す熱画像が表示される。
【0021】
操作部15は、制御部13に対して測定対象物の絶対温度を出力させる指示を入力するために用いられる。制御部13は、操作部15からの指示により、表示する画像データを熱画像として表示部14に出力する。
【0022】
なお、体表温測定装置1にPC(Personal Computer)端末等を接続することにより、体表温測定装置1の構成から表示部14を除く構成としてもよい。この場合、制御部13は、検出素子11からフレーム毎に入力する検出信号に基づいて演算した測定対象物の絶対温度をPC端末に出力する。これにより、体表温測定装置1に接続されたPC端末等にて測定対象物の絶対温度を表示することができる。
【0023】
図2は、制御部13の内部構成例を示すブロック図である。
制御部13は、ゲイン補正部13a、オフセット補正部13b、演算部13c、熱画像生成部13d及び着用物判定部13eを備える。
【0024】
検出素子11の各センサ11aから出力される検出信号は、測定対象物の絶対温度が高くなるほど、大きい値となるような1次式に近似して表される。ただし、検出素子11の各センサ11aに対応するマイクロボロメータの特性がばらついており、1次式自体が標準の1次式から乖離している。このため、例えば、体表温測定装置1の工場出荷時において、各センサ11aに対応するマイクロボロメータの特性を揃えるためのゲイン補正及びオフセット補正に用いる補正値を不図示のメモリに保存している。そして、制御部13は、メモリから読み出した補正値に基づいてデジタルデータを補正する。
【0025】
制御部13のゲイン補正部13aは、A/D変換部12から入力したデジタルデータに変換された検出信号のゲイン補正を行う。ゲイン補正部13aによりゲイン、すなわち1次式の傾きが補正される。
オフセット補正部13bは、ゲイン補正部13aによりゲインが補正されたデジタルデータのオフセット補正を行う。オフセット補正部13bによりオフセット、すなわち1次式の切片が補正される。
【0026】
演算部13cは、ゲイン補正部13a及びオフセット補正部13bにより補正された検出信号を変換したデジタルデータに基づいて、測定対象物の絶対温度を画素毎に演算する。
熱画像生成部13dは、演算部13cによりセンサ11a毎に演算された測定対象物の絶対温度に基づいて、熱画像を表示するための画像データを生成する。熱画像生成部13dが生成した画像データは着用物判定部13e及び表示部14に出力される。表示部14では、熱画像生成部13dから入力された画像データが測定対象物の熱画像として表示される。
【0027】
着用物判定部13eは、熱画像生成部13dから入力する画像データ(熱画像)に基づいて、被測定者の着用物の有無を判定した着用物判定結果を出力する。例えば、被測定者の顔で急な温度変化がある部分には、被測定者が着用物を着用していると判定する。上述したように被測定者の着用物として、例えば、マスク、メガネ、襟、マフラー及び手袋のうち、少なくとも一つが含まれる。そして、着用物判定部13eは、被測定者がマスク、メガネ、襟、マフラー及び手袋のいずれも着用していないと判定した場合、着用物無しの判定結果を得る。一方、着用物判定部13eは、被測定者がマスク、メガネ、襟、マフラー及び手袋のうち、少なくとも一つを着用していると判定した場合、着用物有りの判定結果を得る。着用物無し又は有りの判定結果は、着用物判定結果として疾患者判別装置2に出力される。このように着用物判定結果は、被測定者が、着用物として、例えば、マスク、メガネ、襟、マフラー及び手袋のうち、少なくとも一つを着用しているか否かを判定した結果である。以降の図中では、着用物判定結果の入出力を破線で表す場合がある。以下の説明では、着用物をマスク及びメガネとして記載する。
【0028】
図3は、疾患者判別装置2の内部構成例を示すブロック図である。
上述したように疾患者判別装置2は、体表温測定装置1から取込んだ情報に基づいて、被測定者が疾患者又は健常者のいずれであるかを判別する。疾患者判別装置2は、特定部位判定部21、温度パターン算出部22、記憶部23、被測定者判別部24、表示部25、入力部26及び温度パターン学習部27を備える。体表温測定装置1の着用物判定部13eから入力した着用物判定結果は、特定部位判定部21、温度パターン算出部22、記憶部23及び温度パターン学習部27で用いられる。
【0029】
特定部位判定部21は、体表温測定装置1から入力する着用物判定結果及び温度データに基づいて、被測定者の露出部分における特定部位を判定する。温度データは、体表温測定装置1が被測定者の露出部位を撮影した熱画像を含む。本実施の形態では、着用物判定結果が着用物無しの判定結果である場合、被測定者の特定部位として、例えば、被測定者の目頭、鼻尖、鼻の横、頬、額、こめかみ、首、手のうち、少なくとも1つ以上の部位がある。また、着用物判定結果が着用物有りの判定結果である場合、着用物で覆われていない露出部位として、例えば、こめかみ、額、首、手等の部位がある。これらの露出部位が、被測定者の特定部位として用いられる。
【0030】
なお、被測定者の顔は、レンズ10の正面に向くとは限らない。このため、特定部位判定部21は、顔の熱画像に基づいて、顔を構成する顔パーツの位置合わせを行う機能を有する。そして、特定部位判定部21は、着用物判定結果を用いて、熱画像に対して、顔を構成する顔パーツの位置合わせを行って熱画像から特定部位を判定する。ここで、特定部位判定部21が熱画像を位置合わせするための手掛かりとする顔の部位を選択するため、体表温測定装置1から入力される着用物判定結果が用いられる。
【0031】
特定部位判定部21は、位置合わせを行った後の熱画像を温度パターン算出部22に出力するように構成される。ただし、特定部位判定部21は、位置合わせ前の熱画像とその画像中の特定部位の座標群の組み合わせ等を温度パターン算出部22に出力するように構成されてもよい。
【0032】
なお、特定部位判定部21は、位置合わせ済みの熱画像を温度パターン算出部22に出力するだけでなく、熱画像内で判定した特定部位の位置を表す座標群を温度パターン算出部22に出力する場合にも着用物判定結果を必要とする。例えば、着用物無しの判定結果であれば、特定部位判定部21は、主に被測定者の顔から選択した部位の座標群を温度パターン算出部22に出力する。一方、着用物有りの判定結果であれば、特定部位判定部21は、着用物で覆われた部分を除いた部位の座標群を温度パターン算出部22に出力する。
【0033】
温度パターン算出部22は、被測定者の体表温を測定する体表温測定装置1から入力する温度データ、及び被測定者の着用物の有無が判定された着用物判定結果に基づいて、被測定者の露出部分における温度の温度パターンを算出する。この際、温度パターン算出部22は、特定部位判定部21から入力された座標群に基づいて、特定部位判定部21から入力される位置合わせ済みの熱画像から温度データ群を抽出して、被測定者の露出部分における温度に基づく特定部位の温度パターンを算出する。温度パターンは、被測定者の複数の特定部位から収集した温度データの一群で表される。また、温度パターンは、着用物判定結果が着用物有りである場合に、着用物が着用された部位以外の被測定者の露出部分から収集した温度データの一群を表す。また、温度パターンは、着用物判定結果が着用物無しである場合に、被測定者の露出部分から収集した温度データの一群で表される。
【0034】
一箇所の特定部位には複数の画素が含まれる。このため、温度パターン算出部22は、特定部位として判定された領域内に含まれる複数の画素の平均値を特定部位の温度として算出する。つまり、温度パターン算出部22は、特定部位判定部21により判定された特定部位から温度データを抽出し、複数の特定部位の温度パターンを求めることができる。この際、温度パターン算出部22は、入力される位置合わせ済みの熱画像から抽出すべき位置を特定するために、体表温測定装置1から入力される着用物判定結果を用いる。
【0035】
温度パターン算出部22が算出し、着用物判定結果によって決定される温度パターンは、複数の特定部位に対応付けて、被測定者判別部24及び温度パターン学習部27に出力される。なお、温度パターン算出部22は、特定部位として判定された領域内に含まれる複数の画素の値のうち、最高値を特定部位の温度として算出し、算出した温度を特定部位に対応付けて、被測定者判別部24及び温度パターン学習部27に特定部位の温度パターンを出力してもよい。
【0036】
記憶部23には、被測定者の着用物の有無に応じて温度パターンが学習された複数の学習済モデル及び着用物判定結果が記憶される。学習済モデルは、被測定者の温度パターンに基づいて、被測定者判別部24が被測定者を、疾患者又は健常者のいずれかに判別するために用いられる。本実施の形態では、記憶部23には、体表温測定装置1が測定する被測定者の着用物判定結果が記憶される。なお、記憶部23に記憶される学習済モデルは、被測定者の着用物判定結果によって異なる。例えば、着用物判定結果が着用物無しの場合に適用される第1学習済モデルと、着用物有りの場合に適用される第2学習済モデルの少なくとも2種類の学習済モデルが記憶部23に記憶される。
【0037】
疾患者判別装置2が学習機能を持つ場合、学習済モデルは、後述する温度パターン学習部27によって学習されたものとなる。ただし、疾患者判別装置2が学習機能を持たない場合、学習済モデルは、予め記憶部23に用意されたものとなる。
【0038】
被測定者判別部24は、記憶部23から読み出した被測定者の着用物判定結果に基づいて複数の学習済モデルから選択した一の学習済モデルを温度パターンに適用して、被測定者が疾患者又は健常者のいずれであるかを判別する。この際、被測定者判別部24は、記憶部23から読出した着用物判定結果に基づき、記憶部23から読出した学習済モデルを用いて、被測定者を判別する。
【0039】
このため、被測定者判別部24は、着用物判定結果が着用物有りの場合と、着用物無しの場合とで異なる学習済モデルを選択する。例えば、被測定者判別部24は、着用物判定結果に応じて、温度パターン算出部22が算出した温度パターンに適用可能な第1学習済モデル又は第2学習済モデルのいずれかを記憶部23から選択して読み出す。着用物判定結果が着用物無しの場合には、被測定者判別部24が第1学習済モデルを記憶部23から読み出して、温度パターンに第1学習済モデルを適用する。一方、着用物判定結果が着用物有りの場合には、被測定者判別部24が第2学習済モデルを記憶部23から読み出して、温度パターンに第2学習済モデルを適用する。
【0040】
そして、被測定者判別部24は、温度パターン算出部22により算出された温度パターンに、記憶部23から選択して読出した第1又は第2学習済モデルを適用して、被測定者が疾患者又は健常者のいずれであるかを判別する。被測定者判別部24の判別結果は、表示部25に出力される。
【0041】
表示部25は、被測定者判別部24による被測定者の判別結果、例えば被測定者が疾患者である可能性を含む判別結果を表示する。一例を挙げると、被測定者が疾患者又は健常者のいずれであるかを示すテキストメッセージが判別結果として表示部25に表示される。なお、表示部25の代わりにアラームを報知する報知部を備えてもよい。アラームの報知は、例えば、報知部がランプを点灯したり、施設の管理者にメールを送信したりすることで行われる。
【0042】
次に、学習済モデルを生成する処理を担う、入力部26と温度パターン学習部27の動作例について説明する。なお、学習済モデルを生成する処理は、常に行われるものではない。
入力部26は、被測定者が健常者又は疾患者のいずれであるかのユーザー判別結果を受け付ける。この判別結果は、ユーザー自身が疾患者判別装置2を使用して入力するものである。例えば、実際に被測定者が健常者であれば入力部26を通じて「健常者」と入力する。一方、実際に被測定者が疾患者であれば入力部26を通じて「疾患者」と入力する。
【0043】
ユーザーは、入力部26を通じてユーザー判別結果を入力し、学習済モデルを修正する。入力されたユーザー判別結果は、上述した「健常者」又は「疾患者」のいずれかである。なお、ユーザーが、入力部26を通じてユーザー判別結果を入力する際には、常に表示部25の出力を確認して、被測定者判別部24の判別結果が正しいか否かを判断しなくてもよい。
【0044】
また、温度パターン学習部27には、体表温測定装置1の制御部13から着用物判定結果が入力される。そして、温度パターン学習部27は、温度パターン算出部22から与えられる温度パターンと、その温度パターンを健常者と判別すべきか疾患者と判別すべきかのいわば正解を表す入力部26から入力されたユーザー判別結果、及び被測定者の着用物判定結果が与えられることで、第1又は第2学習済モデルを修正していく。
【0045】
このため、温度パターン学習部27には、複数の学習モデルが準備されており、体表温測定装置1から入力する着用物判別結果によって、学習させるべき学習モデルを選択する。すなわち、温度パターン学習部27は、入力部26から入力されたユーザー判別結果と、体表温測定装置1から入力される着用物判定結果と、温度パターン算出部22から入力される温度パターンとに基づいて、機械学習モデルにより学習した第1又は第2学習済モデルを学習する。なお、ここで用いられる温度パターンは、被測定者判別部24で用いられた温度パターンである。
【0046】
第1又は第2学習済モデルは、温度パターン学習部27の学習結果を蓄積したデータである。このように温度パターン学習部27は、着用物判定結果に応じて、少なくとも2種類の学習済モデルを生成する。ただし、3種類以上の学習済モデルが生成されてもよい。以下の説明で、第1及び第2学習済モデルを区別しない場合は、「学習済モデル」と総称する。
【0047】
温度パターン学習部27は、上述した機械学習によって学習済モデルを更新し、更新した学習済モデルを記憶部23に保存する。学習済モデルの更新は正解又は不正解のどちらであっても行われる。つまり、被測定者判別部24の出力と実際の状況とが一致した場合でも、不一致の場合であっても学習済モデルは修正され、更新される。温度パターン学習部27が学習を重ねることで記憶部23に保存された学習済モデルは徐々に適切な学習済モデルへと修正され、更新されていく。その後、被測定者判別部24が、温度パターン算出部22により算出された温度パターンに対して、更新された学習済モデルを適用することで、被測定者が疾患者又は健常者のいずれであるかを判別することとなる。
【0048】
次に、疾患者判別システム100の各装置を構成する計算機30のハードウェア構成を説明する。
図4は、計算機30のハードウェア構成例を示すブロック図である。計算機30は、例えば、体表温測定装置1、疾患者判別装置2を構成するハードウェアとして用いられる。
【0049】
計算機30は、いわゆるコンピュータとして用いられるハードウェアである。計算機30は、バス34にそれぞれ接続されたCPU(Central Processing Unit)31、ROM(Read Only Memory)32、RAM(Random Access Memory)33を備える。さらに、計算機30は、表示装置35、入力装置36、不揮発性ストレージ37、ネットワークインターフェイス38を備える。
【0050】
CPU31は、本実施の形態に係る各機能を実現するソフトウェアのプログラムコードをROM32から読み出してRAM33にロードし、実行する。RAM33には、CPU31の演算処理の途中で発生した変数やパラメーター等が一時的に書き込まれ、これらの変数やパラメーター等がCPU31によって適宜読み出される。体表温測定装置1では、主に制御部13の機能がCPU31によって実現される。疾患者判別装置2では、特定部位判定部21、温度パターン算出部22、被測定者判別部24及び温度パターン学習部27の機能がCPU31によって実現される。
【0051】
表示装置35は、例えば、液晶ディスプレイモニタであり、計算機30で行われる処理の結果、熱画像等をユーザーに表示する。例えば、体表温測定装置1の表示部14、疾患者判別装置2の表示部25に表示装置35が用いられる。
【0052】
入力装置36には、例えば、操作キー、操作ボタン等が用いられ、ユーザーが所定の操作入力、指示を行うことが可能である。例えば、体表温測定装置1の操作部15、疾患者判別装置2の入力部26に入力装置36が用いられる。
【0053】
不揮発性ストレージ37としては、例えば、HDD(Hard Disk Drive)、SSD(Solid State Drive)、フレキシブルディスク、光ディスク、光磁気ディスク、CD-ROM、CD-R、磁気テープ、不揮発性のメモリ等が用いられる。この不揮発性ストレージ37には、OS(Operating System)、各種のパラメーターの他に、計算機30を機能させるためのプログラムが記録されている。ROM32、不揮発性ストレージ37は、CPU31が動作するために必要なプログラムやデータ等を永続的に記録しており、計算機30によって実行されるプログラムを格納したコンピュータ読取可能な非一過性の記録媒体の一例として用いられる。例えば、疾患者判別装置2の記憶部23に不揮発性ストレージ37が用いられる。
【0054】
ネットワークインターフェイス38には、例えば、NIC(Network Interface Card)等が用いられ、NICの端子に接続されたLAN(Local Area Network)、専用線等を介して各種のデータを装置間で送受信することが可能である。例えば、体表温測定装置1及び疾患者判別装置2を互いに通信可能に接続する不図示の通信部にネットワークインターフェイス38が用いられる。
【0055】
図5は、機械学習モデルを適用して被測定者を健常者と疾患者に判別した判別結果の例を示す一覧表である。
図5では、事前にユーザーが入力したユーザー判別結果を「教師ラベル(入力)」と表現する。そして、被測定者判別部24が温度パターンに学習済モデルを適用して表示部25に出力される被測定者の判別結果を「判別結果(出力)」と表現する。「教師ラベル(入力)」と「判別結果(出力)」の項目には、それぞれ「健常者」と「疾患者」の項目が設けられる。
【0056】
従来の赤外線カメラを用いた疾患者判別システムでは、顔の熱画像内の最高温度値が温度閾値を超えたらアラームを発生させていた。しかし、体表温は個体差が大きく、固定した温度閾値を用いると、健常者であっても疾患者として誤判定し、アラームの頻発で運用現場が混乱することがあった。これを回避するため、温度閾値を上げすぎると、疾患者をスクリーニングできず通過させてしまうという問題があった。さらに、体表温は外気温の影響を受けやすく、外気温に応じてユーザーが適切な温度閾値に変更しなければならず、手間がかかっていた。
【0057】
ここで、第1の実施形態に係る手法を用いると、従来行われていた温度閾値の設定は不要となる。例えば、
図5の表(1)は、顔全体から収集した温度パターンで学習した第1学習済モデルで、メガネ及びマスクを着用していない被測定者を判別した結果の例を示す一覧表である。表(1)に示すように、健常者の98.5%は健常者として正しく判別されるが、健常者の1.5%は疾患者として誤って判別されていた。また、疾患者の96.6%は疾患者として正しく判別されるが、疾患者の3.4%は健常者として誤って判別されていた。被測定者が着用物を着用しておらず、被測定者の顔全体が露出している場合には、概ね良好な判別結果を得られていた。
【0058】
図5の表(2)は、顔全体から収集した温度パターンで学習した第1学習済モデルで、メガネ及びマスクを着用した被測定者を判別した結果の例を示す一覧表である。上述したように、第1学習済モデルは、顔全体から収集した温度パターンを使用して機械学習したことで得られる。このため、健常者の100.0%は健常者として正しく判別され、疾患者として誤って判別されることはなかった。しかし、疾患者の100.0%についても健常者と誤って判別されており、正しく疾患者と判別されていなかった。この理由として、例えば、被測定者がマスクを着用した部位は、顔の温度を正しく示さないことが挙げられる。また、メガネは体表温の赤外線が透過しづらかったり、外気に影響されて温度変化しやすかったりするので、被測定者がメガネを着用した部位の温度が被測定者の体温から乖離しやすいことも挙げられる。
【0059】
このように疾患者の誤判定率が上昇すると、被測定者が疾患者であっても、正しく疾患者と判別できなくなる。この理由は、第1学習済モデルは、顔全体から収集した温度パターンを使用して健常者又は疾患者を判別するものであるにも関わらず、被測定者の顔の一部が覆われたことにより、正しい温度パターンを得られなくなったためである。
【0060】
このため、顔全体から収集した温度パターンを使用して機械学習した第1学習済モデルを用いるだけでは、特に被測定者がマスク及びメガネを着用した場合に、疾患者であることを正確に判別できなかった。このため、被測定者が実際は疾患者であるにも関わらず、疾患者判別装置2が、この被測定者を健常者と判別する率が高ければ、健常者と判別された疾患者が施設内に入ることがあった。
【0061】
図5の表(3)は、マスク及びメガネの領域以外から収集した温度パターンで学習した第2学習済モデルで、メガネ及びマスクを着用した被測定者を判別した結果の例を示す一覧表である。
図5の表(2)に示したのと同じ実験データを用いた場合、健常者誤判別率は1.0%となる。一方で、疾患者判別率は、93.1%となり、疾患者誤判別率は、6.9%となる。すなわち健常者判別率、疾患者判別率は、いずれも90%以上の良好な値を得ることができる。このように、着用物有りの被測定者に対して、適切な第2学習済モデルを適用することで、着用物無しの場合に適用される第1学習済モデルを適用した場合と比べて、疾患者誤判別率が低減することが判明した。このため、着用物無しの判別結果であれば第1学習済モデルを適用し、着用物有りの判別結果であれば第2学習済モデルを適用することで、着用物の有無に関わらず同じ第1学習済モデルを適用して健常者と疾患者を判別する場合と比べて優位な結果が得られた。
【0062】
このように、本実施の形態に係る手法により、着用物の有無にかかわらず健常者と疾患者を概ね判別することが可能となった。このため、疾患者判別装置2は、被測定者が疾患者であることを確実に判別し、施設内への立ち入りを制限することが可能となる。
【0063】
なお、
図5の表(3)では、マスク及びメガネの両方を着用した被測定者の判別結果の例を示した。ただし、マスクだけを着用した被測定者、メガネだけを着用した被測定者であっても、
図5の表(3)と同様の結果が得られる。
【0064】
以上説明した第1の実施の形態に係る疾患者判別システム100では、疾患者と健常者の顔の温度パターンが異なることに着目し、機械学習モデルに学習させた学習済モデルを用いて疾患者と健常者を判別できるようにした。そして、被測定者がマスク及びメガネの着用有無に合わせて、学習済モデルを選択して適用する。このため、顔に着用物が無い被測定者、顔に着用物を付けた被測定者のいずれであっても、疾患者と健常者を正確に判別することが可能となる。
【0065】
ここで、疾患者と健常者の顔の温度パターンは異なる。温度パターンは、複数の特定部位から収集した一群の温度データで表される。このため、疾患者判別装置2は、体表温測定装置1が測定した各特定部位の温度データから温度パターンを算出し、予め学習された学習済モデルを適用して疾患者と健常者を容易に正しく判別することが可能となる。また、メガネフレームで目頭が隠れていたり、マスクで鼻尖、鼻の横、頬等が隠れていたりしても、メガネ及びマスクで覆われていない露出部位に基づいて、温度パターンが算出される。このため、第2学習済モデルを適用することで疾患者と健常者を容易に正しく判別されるようになる。
【0066】
なお、被測定者が着用物有りの判定結果である時に、第2学習済モデルが適用される温度パターンの対象は、顔に限らず、人体の露出部位であればよい。例えば、首、頭頂部、手等が温度パターンの対象となってもよい。
【0067】
従来のような温度閾値により疾患者と健常者を判別する方法に比べて、本実施の形態に係る疾患者判別装置2では、算出された温度パターンに学習済モデルを適用することで、被測定者の体表温の個体差や、被測定者が滞在していた場所の外気温にかかわらず、疾患者判別装置2が疾患者と健常者を判別でき、疾患者の誤判別が減少する。また、被測定者の性別や年齢によって適切な温度閾値を設定することが難しかったのに対し、本実施の形態では、疾患者と健常者の温度パターンの違いを利用するため、温度閾値等の微妙な設定が不要となって運用が容易となる。
【0068】
また、温度パターンを機械学習モデルで学習し、蓄積した学習結果を学習済モデルとすることで、様々な疾患による疾患者と健常者を判別することが可能となる。また、被測定者が、子供か大人かの違い、性別の違い、国籍の違いなどによって異なる学習済モデルを生成することも可能である。さらに、気温などの運用場所の条件によって異なる学習モデルを生成することも可能である。このため、疾患者判別装置2が疾患者と健常者を判別する精度も向上する。
【0069】
また、発症前、すなわち被測定者の体表温が上昇する前でも温度パターンで示される温度変化は、発症後と同じ傾向を示しやすい。このため、疾患者判別装置2は、温度パターンに学習済モデルを適用することで、発症前の被測定者であっても、疾患者として判別することができる。このように疾患者判別装置2は、被測定者が疾患者であることを高い確率で判定することが可能となる。そして、疾患者判別装置2は、発症前の被測定者が疾患者である可能性を表示部25に表示し、ユーザーに注意喚起することもできる。
【0070】
また、測定者の露出部位の複数箇所が、特定部位として決定され、疾患者と健常者の特定部位における温度の相対的な変化が温度パターンとして用いられる。また、疾患者と健常者の顔の温度パターンは、温度パターン学習部27により更新される。このため、選ばれた特定部位に関する温度パターンにより学習済モデルが更新される。そこで、疾患者判別装置2は、更新された学習済モデルを用いて、様々な感染症や体調不良等による疾患者を判別することも可能となる。
【0071】
また、疾患者判別装置2は、従来のように体表温が温度閾値以上である被測定者を疾患者と判別する処理を併用してもよい。
また、温度パターン学習部27は、特定部位毎の体表温の関係性を学習するだけでなく、被測定者の体表温そのものを学習してもよい。このため、温度パターン学習部27は、被測定者の体表温の絶対値を学習することができる。そして、被測定者判別部24は、体表温の絶対値についても、被測定者が健常者又は疾患者のいずれであるかを判別するための判定基準として用いることができる。
【0072】
[第2の実施の形態]
次に、本発明の第2の実施の形態に係る疾患者判別装置について、
図6を参照して説明する。
【0073】
図6は、疾患者判別装置2Aの内部構成例を示すブロック図である。
疾患者判別装置2Aは、
図1に示した体表温測定装置1の各機能部と、
図3に示した疾患者判別装置2の各機能部を組み合わせて一体化したものである。ここで、レンズ10、検出素子11及びセンサ11a、A/D変換部12、制御部13をまとめて体表温測定部16と呼ぶ。そして、体表温測定部16の制御部13は、温度データを特定部位判定部21に出力する。また、制御部13は、被測定者の着用物判定結果を、特定部位判定部21、温度パターン算出部22、記憶部23、被測定者判別部24及び温度パターン学習部27に出力する。特定部位判定部21、温度パターン算出部22及び被測定者判別部24の処理は、第1の実施の形態に示した処理と同様である。
【0074】
なお、疾患者判別装置2Aは、表示部14Aと操作部15Aを備える。
表示部14Aは、第1の実施の形態に係る表示部14と同様に、制御部13から出力された画像データに基づいて熱画像を表示する。また、表示部14Aは、第1の実施の形態に係る表示部25と同様に、被測定者の判別結果、又は被測定者が疾患者である可能性を表示することもできる。
【0075】
操作部15Aは、第1の実施の形態に係る操作部15と同様に、制御部13に対して測定対象物の絶対温度を出力させる指示を入力する。また、操作部15Aは、第1の実施の形態に係る入力部26と同様に、被測定者が健常者又は疾患者のいずれであるかの判別結果を受け付け、温度パターン学習部27に判別結果を出力することもできる。なお、この判定結果は、疾患者判別装置2Aを使用するユーザーが表示部14Aに表示された内容を確認して入力するものである。
【0076】
以上説明した第2の実施の形態に係る疾患者判別装置2Aでは、1台の装置で熱画像の処理と、被測定者の着用物の有無の判定と、被測定者の判別とを行うことができる。このため、疾患者判別装置2Aを軽量化、小型化し、持ち運び容易となる。
【0077】
[第3の実施の形態]
次に、本発明の第3の実施の形態に係る疾患者判別システムについて、
図7と
図8を参照して説明する。
【0078】
熱画像を表示可能な表示部14を備える体表温測定装置1は、非常に高価である。しかし、温度パターンを用いて疾患者と健常者を判別する技術は、様々な環境で用いられる可能性があり、体表温測定装置1を安価、かつ持ち運び容易とすることが求められる。そこで、本実施の形態に係る疾患者判別システムでは、表示部を備えない非接触の体表温測定装置を用いても疾患者と健常者を判別することを可能な構成とした。
【0079】
図7は、疾患者判別システム100Aの内部構成例を示すブロック図である。
疾患者判別システム100Aは、体表温測定装置1A、疾患者判別装置2B及び学習サーバ7を備える。
【0080】
体表温測定装置1Aは、
図1に示した体表温測定装置1からレンズ10、表示部14を除いた構成とする。そして、検出素子11は、一つのセンサ11aを有する。例えば、体表温測定装置1Aの外形を、ペン型に構成することで、ユーザーは、体表温測定装置1Aを被測定者の特定部位に近づけて、特定部位の温度を測定することが可能である。ユーザー、体表温測定装置1A、疾患者判別装置2B及び学習サーバ7は、予め定められた特定部位の測定順を把握しているものとする。
【0081】
そして、操作部15から制御部13にユーザー判別結果が入力される。上述したように、ユーザー判別結果は、被測定者が実際に健常者又は疾患者のいずれであるかをユーザーが判別した結果である。
【0082】
さらに、操作部15としては、体表温測定装置1Aに設けられた入力ボタンであってもよい。例えば、ユーザーは、被測定者を見ながら、着用物の有無を確認し、着用物の有無に合わせた入力ボタンを押す。操作部15から制御部13には、押された入力ボタンに応じた着用物判定結果が出力される。
【0083】
制御部13は、ユーザーが体表温測定装置1Aを使用して予め定められた測定順で体表温測定装置1Aが被測定者の特定部位から測定した温度を含む温度データを、測定順に疾患者判別装置2Bに出力する。この時、制御部13は、操作部15から入力された着用物判定結果も疾患者判別装置2Bに出力する。なお、温度データは、体表温測定装置1Aが特定部位を測定する度に出力されてもよいし、一人の被測定者に対して全ての特定部位を測定した後にまとめて出力されるようにしてもよい。
【0084】
なお、体表温測定装置1Aに、測定した特定部位の温度を表示する液晶表示装置等を表示部として設けてもよい。そして、液晶表示装置は、測定する特定部位の名称等を測定順に表示してもよい。例えば、ユーザーは、体表温測定装置1Aを用いて特定部位の温度を測定する度に操作部15を押す等の操作により、特定部位の温度測定が終了したことを入力する。そして、操作部15が押されると、次に測定すべき特定部位の名称等が液晶表示装置に表示されるようにしてもよい。同様に、液晶表示装置は、着用物有無の判定結果を入力するための情報を表示してもよい。ユーザーは、例えば、操作部15を操作して、着用物の有無を選択して入力すると、操作部15から制御部13に着用物判定結果が出力される。
【0085】
疾患者判別装置2Bは、体表温測定装置1Aから特定部位の温度データを取得可能である。また、疾患者判別装置2Bは、ネットワークNを通じて学習サーバ7との間でデータを送受信することが可能である。疾患者判別装置2Bから学習サーバ7には、体表温測定装置1Aが取得した特定部位の温度データ、ユーザーが疾患者判別装置2Bから入力したユーザー判別結果及び着用物判定結果が送信される。また、疾患者判別装置2Bは、学習サーバ7から学習済モデルのデータを受信する。
【0086】
学習サーバ7は、通信部71、温度パターン学習部72及び記憶部73を備える。この学習サーバ7は、疾患者判別装置2Bから受信した被測定者の特定部位の温度データ及び着用物判定結果と、ユーザー判別結果を入力として学習した学習済モデルを疾患者判別装置2Bに出力することが可能である。
【0087】
通信部71は、ネットワークNを介して疾患者判別装置2Bに接続可能である。そして、通信部71は、疾患者判別装置2Bから被測定者の特定部位の温度データと、ユーザー判別結果及び着用物判定結果を受信する。また、通信部71は、記憶部73から読出した学習済モデルを疾患者判別装置2Bに送信する。
【0088】
温度パターン学習部72は、通信部71が疾患者判別装置2Bから受信した特定部位の温度データ、及びユーザーにより入力されたユーザー判別結果及び着用物判定結果に基づいて、温度パターンを学習して得た学習結果から学習済モデルを生成し、更新する。温度パターン学習部72で行われる学習処理は、第1の実施の形態に係る疾患者判別装置2の温度パターン学習部27で行われた学習処理と同様である。そして、温度パターン学習部72は、更新した学習済モデルを記憶部73に保存する。
【0089】
記憶部73には、温度パターン学習部72が学習した学習済モデルが記憶される。上述したように、通信部71が記憶部73から読出した学習済モデルは、ネットワークNを介して疾患者判別装置2Bに送信される。
【0090】
図8は、疾患者判別装置2Bの内部構成例を示すブロック図である。
疾患者判別装置2Bは、
図3に示した疾患者判別装置2から特定部位判定部21と温度パターン学習部27を除いた構成としている。そして、疾患者判別装置2Bは、学習サーバ7と通信可能な通信部28を備える。
【0091】
温度パターン算出部22は、着用物判定結果に基づき、ユーザーが体表温測定装置1Aを操作して、規定の測定順で測定した特定部位の温度を温度パターンとして算出する。温度パターン算出部22が算出した温度パターンは、被測定者毎に整形されたものとなる。
通信部28は、温度パターン算出部22が算出した温度パターンと、ユーザーが入力部26を通じて入力したユーザー判別結果及び着用物判定結果を学習サーバ7に送信する。また、通信部28は、学習サーバ7から学習済モデルを受信し、記憶部23に保存する。
【0092】
記憶部23には、通信部28が学習サーバ7から受信した学習済モデル及び着用物判定結果が記憶される。学習済モデル及び着用物判定結果は、被測定者判別部24によって記憶部23から適宜読出され、被測定者の判別に用いられる。
【0093】
以上説明した第3の実施の形態に係る疾患者判別システム100Aでは、被測定者の特定部位毎に温度を測定可能な体表温測定装置1Aを備える。ユーザーは、1台の体表温測定装置1Aを、被測定者の複数の特定部位に規定の測定順で近づけて、各特定部位の温度を順に得る。また、ユーザーは、体表温測定装置1Aに、被測定者の着用物の有無を入力する。体表温測定装置1は、温度データ及び着用物判定結果を疾患者判別装置2Bに出力する。
【0094】
また、学習サーバ7は、温度パターンの機械学習を行って得た適正な学習済モデルを疾患者判別装置2Bに与える。このため、疾患者判別装置2Bは、学習サーバ7から受け取った学習済モデルを着用物判定結果に従って選択して温度パターンに適用することで、被測定者を疾患者と健常者に判別することができる。本実施の形態では、CPU31(
図4を参照)に多大な負荷がかかる温度パターンの学習を学習サーバ7が行うことで、疾患者判別装置2Bのスペックを下げることができる。また、体表温測定装置1Aは、表示部14を備えないので、体表温測定装置1Aを小型化することができる。
【0095】
このように疾患者判別装置2Bは、熱画像を入力としなくても、体表温測定装置1Aから特定部位毎に測定された体表温のデータ、及び着用物判定結果を入力とすることで、疾患者と健常者を判別することが可能となる。
【0096】
また、学習サーバ7は、複数の体表温測定装置1Aから温度パターン、着用物判定結果及びユーザー判別結果を取得することで、異なる地域で測定された被測定者の体表温に合わせた温度パターンを学習することができる。このため、温度パターンの精度が高まり、この温度パターンを用いて判別される疾患者と健常者の判別結果の精度も高まる。
【0097】
[第4の実施の形態]
次に、本発明の第4の実施の形態に係る疾患者判別システムで用いられる疾患者判別装置について、
図9を参照して説明する。本実施の形態に係る疾患者判別装置は、熱画像を出力する体表温測定装置から入力する熱画像の画素毎の温度を温度パターンとして求めて、さらに着用物判定結果に基づいて選択した学習済モデルを温度パターンに適用することで、被測定者の判別を行う。
【0098】
図9は、疾患者判別装置2Cの内部構成例を示すブロック図である。
疾患者判別装置2Cは、
図3に示した疾患者判別装置2から特定部位判定部21を除いた構成としている。また、疾患者判別装置2Cは、体表温測定装置1に接続されて、第4の実施の形態に係る疾患者判別システムを構成する。
【0099】
温度パターン算出部22Aに体表温測定装置1から入力される温度データは、体表温測定装置が被測定者を撮影した熱画像全体を含む。また、温度パターン算出部22Aには、体表温測定装置1から着用物判定結果が入力される。温度パターン算出部22Aは、第1の実施の形態に係る特定部位判定部21と同様に、顔の熱画像に基づいて、顔を構成する顔パーツの位置合わせを行う機能を有する。顔パーツの位置合わせには、着用物判定結果が用いられる。
【0100】
そして、温度パターン算出部22Aは、熱画像全体の温度データに基づき、着用物判定結果を用いて、顔を構成する顔パーツの位置合わせを行って熱画像の画素毎に抽出した温度データを温度パターンとして算出する。温度パターン算出部22Aが算出した温度パターンは、被測定者判別部24及び温度パターン学習部27に出力される。
【0101】
記憶部23、被測定者判別部24、表示部25、入力部26及び温度パターン学習部27の動作は、
図3に示した疾患者判別装置2における各部の動作と同様であるため、詳細な説明を省略する。
【0102】
以上説明した第4の実施の形態に係る疾患者判別システムでは、疾患者判別装置2Cに入力される熱画像の画素毎に算出された温度パターン、及び着用物判定結果に基づいて被測定者が、健常者又は疾患者のいずれであるかが判別される。このため、熱画像から被測定者の特定部位を判定する処理が不要となり、熱画像を取得して、被測定者を判別するまでの処理を少なくすることができる。
【0103】
[第5の実施の形態]
次に、本発明の第5の実施の形態に係る疾患者判別システムで用いられる疾患者判別装置について、
図10と
図11を参照して説明する。上述した第1の実施の形態に係る疾患者判別システム100では、被測定者の熱画像だけを用いて着用物の有無を判定し、温度パターンを算出したが、被測定者の鼻と目頭のように近接した部位では、温度差が少なく、正しく特定部位を判定できないことがある。また、熱画像では着用物のエッジが不明確になることがあり、着用物の有無を正しく判定できないこともある。そこで、本実施の形態に係る体表温測定装置は、可視画像を用いて被測定者の着用物の有無を判定する。
【0104】
図10は、疾患者判別システム100Bの内部構成例を示すブロック図である。
疾患者判別システム100Bは、体表温測定装置1Bと疾患者判別装置2とを備える。
【0105】
体表温測定装置1Bは、
図1に示した体表温測定装置1と同様に赤外画像を検出可能なレンズ10、検出素子11、A/D変換部12、表示部14及び操作部15を備える他、制御部13A、可視画像を検出可能なレンズ40、検出素子41、A/D変換部42を備える。
【0106】
レンズ40は、被測定者から発せられた可視光を集光して検出素子41に結像させる。
検出素子41は、複数のセンサ41aを有しており、検出素子41に入力する垂直同期信号に同期してフレーム周期毎に時分割で検出信号を出力する。検出素子41が単位時間あたりに出力可能な検出信号のフレーム数は、例えば、60fpsである。
【0107】
検出素子41が有するセンサ41aは画素単位で設けられる。そして、センサ41aは、検出素子41に結像した可視光の強度を検出して検出信号を出力する。センサ41aとしては、例えば、CCDイメージャ又はCMOSセンサが用いられる。センサ41aは、検出した可視光の強度に応じたアナログの検出信号を出力する。
【0108】
A/D変換部42は、検出素子41の画素単位のセンサ41aから出力される検出信号をデジタルデータに変換し、制御部13Aにデジタルデータを出力する。
【0109】
制御部13Aは、A/D変換部42から入力する検出信号のデジタルデータから可視画像を構成する。そして、制御部13Aは、可視画像にエッジ強調等の画像処理を施して、被測定者の顔や体の輪郭を得る。ここで被測定者がメガネ又はマスクを着用している場合には、制御部13Aが着用物の輪郭を求め、着用物の有無を判定することが可能である。
【0110】
表示部14には、制御部13Aにより生成された画像データに基づいて、測定対象物の絶対温度の分布状況を示す熱画像と、可視画像とが重畳され、又は並べて表示される。
【0111】
図11は、制御部13Aの内部構成例を示すブロック図である。
制御部13Aは、ゲイン補正部13a、オフセット補正部13b、演算部13c、熱画像生成部13d、画像処理部13f及び着用物判定部13gを備える。
【0112】
画像処理部13fは、A/D変換部42から入力した可視画像のデジタルデータに対して所定の画像処理を行う。この画像処理として、例えば、AGC(Automatic Gain Control)、エッジ強調等がある。そして、画像処理部13fは、画像処理後の可視画像データを表示部14及び着用物判定部13gに出力する。このため、表示部14では、画像処理後の可視画像を表示することが可能である。
【0113】
着用物判定部13gは、A/D変換部42から入力する可視画像データ(可視画像)に基づいて、被測定者の着用物の有無を判定した着用物判定結果を出力する。本実施の形態では、被測定者の着用物として、例えば、マスク及びメガネのうち、少なくとも一つが含まれる。そして、着用物判定部13gは、被測定者がマスク及びメガネのいずれも着用していないと判定した場合、着用物無しの判定結果を得る。一方、着用物判定部13gは、被測定者がマスク及びメガネのうち、少なくとも一つを着用していると判定した場合、着用物有りの判定結果を得る。着用物無し又は着用物有りの判定結果は、着用物判定結果として疾患者判別装置2に出力される。そして、疾患者判別装置2には、制御部13Aから熱画像及び着用物判定結果が出力される。なお、制御部13Aは、表示部14に着用物判定結果を出力することで、表示部14に着用物判定結果を表示してもよい。
【0114】
以上説明した第5の実施の形態に係る疾患者判別システム100Bでは、体表温測定装置1Bが可視画像を用いて、自動的に被測定者の着用物の有無が判定される。このため、着用物判定結果の精度を高めることができる。そして、疾患者判別装置2は、可視画像を用いて判定された着用物判定結果に基づき、熱画像から算出された温度パターンに適切な学習済モデルを適用することが可能である。
【0115】
また、体表温測定装置1Bは、熱画像と共に可視画像を表示部14に表示することで、被測定者の着用物判定結果を、表示部14を見たユーザーが確認することができる。このため、着用物判定結果に不具合が起きた場合等に、ユーザーが速やかに対応することができる。
【0116】
なお、可視画像を取り込んで、着用物判定結果を得るための構成は、第2の実施の形態に係る疾患者判別装置2A、第3の実施の形態に係る疾患者判別システム100A、第4の実施の形態に係る疾患者判別装置2Cに取り入れてもよい。各実施の形態においても、可視画像を用いて判定された着用物判定結果に基づき、熱画像から算出された温度パターンに適切な学習済モデルを適用することが可能である。
【0117】
[変形例]
なお、体表温測定装置としては、複数台の非接触温度計(放射温度計)を用いてもよい。そして、複数台の非接触温度計により、被測定者の複数の特定部位を同時に測定することで、被測定者毎に特定部位の温度を得るようにしてもよい。
【0118】
また、本発明は上述した各実施の形態に限られるものではなく、特許請求の範囲に記載した本発明の要旨を逸脱しない限りその他種々の応用例、変形例を取り得ることは勿論である。
例えば、上述した実施の形態は本発明を分かりやすく説明するために装置及びシステムの構成を詳細かつ具体的に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されない。また、ここで説明した実施の形態の構成の一部を他の実施の形態の構成に置き換えることは可能であり、さらにはある実施の形態の構成に他の実施の形態の構成を加えることも可能である。また、各実施の形態の構成の一部について、他の構成の追加、削除、置換をすることも可能である。
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
【符号の説明】
【0119】
1…体表温測定装置、2…疾患者判別装置、13…制御部、13e…着用物判定部、14…表示部、15…操作部、21…特定部位判定部、22…温度パターン算出部、23…記憶部、24…被測定者判別部、25…表示部、26…入力部、27…温度パターン学習部、100…疾患者判別システム