(58)【調査した分野】(Int.Cl.,DB名)
前記画像生成部は、前記対象の点の温度が基準範囲外の場合には、前記対象の点に指定温度を表す画素値を前記指定画素値として設定するとともに、前記対象の点の温度が基準範囲内の場合には、前記対象の点に前記対象の点の温度に応じた画素値を設定する
請求項1に記載の画像生成装置。
前記限界値特定部は、前記複数の温度データそれぞれについて特定された前記最高値のうち、多くの温度データで前記最高値として特定された温度を前記上限値として特定するとともに、前記複数の温度データそれぞれについて特定された前記最低値のうち、多くの温度データで前記最低値として特定された温度を前記下限値として特定する
請求項1又は2に記載の画像生成装置。
前記画素値設定部は、前記対象の点の温度が前記上限値よりも高い場合には、前記対象の点に最高温度を表す前記指定画素値を設定し、前記対象の点の温度が前記下限値よりも低い場合には、前記対象の点に最低温度を表す前記指定画素値を設定し、前記対象の点の温度が基準範囲内の場合には、前記対象の点に前記対象の点の温度に応じて、前記最高温度と前記最低温度との間の温度を表す画素値を設定する
請求項3に記載の画像生成装置。
【発明の概要】
【発明が解決しようとする課題】
【0005】
検出対象が衣服といった空気を含むものを纏っている場合がある。この場合には、検出対象の境界付近で温度が連続的に変化する。そのため、赤外線センサといった温度センサによって得られた温度分布画像では、検出対象の輪郭がぼやけてしまう。検出対象の輪郭がぼやけてしまうと、物体検出モデルによる検出精度が低くなる恐れがある。
本開示は、温度センサによって得られた温度データから、物体検出モデル等による検出処理に適した画像を生成可能にすることを目的とする。
【課題を解決するための手段】
【0006】
本開示に係る画像生成装置は、
温度センサによって取得された温度データであって、検出領域における各点の温度を表す温度データを取得するデータ取得部と、
前記データ取得部によって取得された前記温度データの各点を対象として、対象の点の温度が基準範囲外の場合には、前記対象の点に指定画素値を設定するとともに、前記対象の点の温度が基準範囲内の場合には、前記対象の点に前記指定画素値とは異なる画素値を設定することにより、物体検出用の熱画像を生成する画像生成部と
を備える。
【0007】
前記画像生成部は、前記対象の点の温度が基準範囲外の場合には、前記対象の点に指定温度を表す画素値を前記指定画素値として設定するとともに、前記対象の点の温度が基準範囲内の場合には、前記対象の点に前記対象の点の温度に応じた画素値を設定する。
【0008】
前記データ取得部は、複数の温度データを取得し、
前記画像生成部は、
前記複数の温度データそれぞれを対象として、対象の温度データにおける画素の温度うち最も高い温度を最高値として特定するとともに、対象の温度データにおける画素の温度うち最も低い温度を最低値として特定する温度特定部と、
前記温度特定部によって前記複数の温度データそれぞれについて特定された前記最高値から上限値を特定するとともに、前記温度特定部によって前記複数の温度データそれぞれについて特定された前記最低値から下限値を特定する限界値特定部と、
前記限界値特定部によって特定された前記下限値以上前記上限値以下の温度を前記基準範囲として、前記熱画像を生成する画素値設定部と
を備える。
【0009】
前記限界値特定部は、前記複数の温度データそれぞれについて特定された前記最高値のうち、多くの温度データで前記最高値として特定された温度を前記上限値として特定するとともに、前記複数の温度データそれぞれについて特定された前記最低値のうち、多くの温度データで前記最低値として特定された温度を前記下限値として特定する。
【0010】
前記画素値設定部は、前記対象の点の温度が前記上限値よりも高い場合には、前記対象の点に最高温度を表す前記指定画素値を設定し、前記対象の点の温度が前記下限値よりも低い場合には、前記対象の点に最低温度を表す前記指定画素値を設定し、前記対象の点の温度が基準範囲内の場合には、前記対象の点に前記対象の点の温度に応じて、前記最高温度と前記最低温度との間の温度を表す画素値を設定する。
【0011】
前記画像生成装置は、さらに、
前記画像生成部によって生成された前記熱画像を入力として対象の物体の検出処理を実行する物体検出部
を備える。
【0012】
本開示に係る画像生成方法は、
データ取得部が、温度センサによって取得された温度データであって、検出領域における各点の温度を表す温度データを取得し、
画像生成部が、前記温度データの各点を対象として、対象の点の温度が基準範囲外の場合には、前記対象の点に指定画素値を設定するとともに、前記対象の点の温度が基準範囲内の場合には、前記対象の点に前記指定画素値とは異なる画素値を設定することにより、物体検出用の熱画像を生成する。
【0013】
本開示に係る画像生成プログラムは、
温度センサによって取得された温度データであって、検出領域における各点の温度を表す温度データを取得するデータ取得処理と、
前記データ取得処理によって取得された前記温度データの各点を対象として、対象の点の温度が基準範囲外の場合には、前記対象の点に指定画素値を設定するとともに、前記対象の点の温度が基準範囲内の場合には、前記対象の点に前記指定画素値とは異なる画素値を設定することにより、物体検出用の熱画像を生成する画像生成処理と
を行う画像生成装置としてコンピュータを機能させる。
【発明の効果】
【0014】
本開示では、温度データの各点を対象として、対象の点の温度が基準範囲外の場合には、対象の点に指定画素値を設定する。これにより、検出対象の輪郭をはっきりさせることが可能になる。その結果、物体検出モデルによる検出処理に適した画像を生成可能である。
【発明を実施するための形態】
【0016】
実施の形態1.
***構成の説明***
図1を参照して、実施の形態1に係る画像生成装置10の構成を説明する。
画像生成装置10は、プロセッサ11と、メモリ12と、ストレージ13と、通信インタフェース14とのハードウェアを備える。プロセッサ11は、信号線を介して他のハードウェアと接続され、これら他のハードウェアを制御する。
【0017】
プロセッサ11は、プロセッシングを行うIC(Integrated Circuit)である。プロセッサ11は、具体例としては、CPU(Central Processing Unit)、DSP(Digital Signal Processor)、GPU(Graphics Processing Unit)である。
【0018】
メモリ12は、データを一時的に記憶する記憶装置である。メモリ12は、具体例としては、SRAM(Static Random Access Memory)、DRAM(Dynamic Random Access Memory)である。
【0019】
ストレージ13は、データを保管する記憶装置である。ストレージ13は、具体例としては、HDD(Hard Disk Drive)である。また、ストレージ13は、SD(登録商標,Secure Digital)メモリカード、CF(CompactFlash,登録商標)、NANDフラッシュ、フレキシブルディスク、光ディスク、コンパクトディスク、ブルーレイ(登録商標)ディスク、DVD(Digital Versatile Disk)といった可搬記録媒体であってもよい。
【0020】
通信インタフェース14は、外部の装置と通信するためのインタフェースである。通信インタフェース14は、具体例としては、Ethernet(登録商標)、USB(Universal Serial Bus)、HDMI(登録商標,High−Definition Multimedia Interface)のポートである。
画像生成装置10は、通信インタフェース14を介して温度センサ31と接続されている。温度センサ31は、検出領域における各点の温度を検出するセンサである。温度センサ31は、具体例としては、赤外線センサである。
【0021】
画像生成装置10は、機能構成要素として、データ取得部21と、画像生成部22と、物体検出部23とを備える。画像生成部22は、温度特定部24と、限界値特定部25と、画素値設定部26とを備える。画像生成装置10の各機能構成要素の機能はソフトウェアにより実現される。
ストレージ13には、画像生成装置10の各機能構成要素の機能を実現するプログラムが格納されている。このプログラムは、プロセッサ11によりメモリ12に読み込まれ、プロセッサ11によって実行される。これにより、画像生成装置10の各機能構成要素の機能が実現される。
【0022】
図1では、プロセッサ11は、1つだけ示されていた。しかし、プロセッサ11は、複数であってもよく、複数のプロセッサ11が、各機能を実現するプログラムを連携して実行してもよい。
【0023】
***動作の説明***
図2から
図7を参照して、実施の形態1に係る画像生成装置10の動作を説明する。
実施の形態1に係る画像生成装置10の動作手順は、実施の形態1に係る画像生成方法に相当する。また、実施の形態1に係る画像生成装置10の動作を実現するプログラムは、実施の形態1に係る画像生成プログラムに相当する。
【0024】
実施の形態1に係る画像生成装置10の動作は、事前準備処理と、画像生成処理とに分けられる。
【0025】
図2を参照して、実施の形態1に係る事前準備処理を説明する。
(ステップS11:第1温度データ取得処理)
データ取得部21は、温度センサ31によって取得された温度データであって、検出対象の物体が存在する範囲における各点の温度を表す温度データを取得する。
具体的には、温度センサ31は、一定時間毎に物体が存在する範囲における各点の温度を検出して、各点の温度を表す温度データを出力する。実施の形態1では、温度センサ31は、
図3に示すように、物体が存在する範囲について、等間隔に設定された横方向にx個及び縦方向にy個の各点の温度を検出して、各点の温度を表す温度データを出力する。温度データは、例えば、csv(Comma−Separated Values)形式等のデータである。データ取得部21は、温度センサ31によって出力された基準数の温度データを取得する。基準数は、2以上の値であり、例えば100といった値である。
データ取得部21は、温度センサ31によって連続して出力された基準数の温度データを取得してもよい。つまり、0.25秒毎に1つの温度データが出力される場合には、データ取得部21は、25秒間に出力された100個の温度データを取得してもよい。しかし、データ取得部21は、温度センサ31によってランダムなタイミングに出力された基準数の温度データを取得することが望ましい。つまり、データ取得部21は、温度センサ31によって出力された多数の温度データからランダムに100個の温度データを取得することが望ましい。
【0026】
(ステップS12:温度特定処理)
温度特定部24は、ステップS11で取得された基準個の温度データそれぞれを対象として、対象の温度データにおける画素の温度のうち最も高い温度を最高値として特定する。また、温度特定部24は、ステップS11で取得された基準個の温度データそれぞれを対象として、対象の温度データにおける画素の温度のうち最も低い温度を最低値として特定する。
つまり、
図4に示すように、各温度データについて、最高値及び最低値が特定される。
【0027】
(ステップS13:上限値特定処理)
限界値特定部25は、ステップS12で基準個の温度データそれぞれについて特定された最高値から上限値を特定する。
具体的には、限界値特定部25は、基準個の温度データそれぞれについて特定された最高値のうち、最も多くの温度データで最高値として特定された温度を上限値として特定する。実施の形態1では、限界値特定部25は、
図5に示すように、特定された最高値をヒストグラム化する。そして、限界値特定部25は、度数が最大となる温度を上限値として特定する。実施の形態1では、限界値特定部25は、度数が最大となるビンの中央値を上限値として特定する。なお中央値によらず、平均値または最頻値を上限値として特定してもよい。
【0028】
(ステップS14:下限値特定処理)
限界値特定部25は、ステップS12で基準個の温度データそれぞれについて特定された最低値から下限値を特定する。
具体的には、限界値特定部25は、基準個の温度データそれぞれについて特定された最低値のうち、最も多くの温度データで最低値として特定された温度を下限値として特定する。実施の形態1では、限界値特定部25は、
図6に示すように、特定された最低値をヒストグラム化する。そして、限界値特定部25は、度数が最大となる温度を下限値として特定する。実施の形態1では、限界値特定部25は、度数が最大となるビンの中央値を下限値として特定する。なお中央値によらず、平均値または最頻値を下限値として特定してもよい。
【0029】
図7を参照して、実施の形態1に係る画像生成処理を説明する。
(ステップS21:第2温度データ取得処理)
データ取得部21は、温度センサ31によって取得された、検出領域の温度データを取得する。
ここでは、データ取得部21は、温度センサ31によって取得された1つの温度データを取得する。例えば、データ取得部21は、温度センサ31によって直近に出力された温度データを取得する。
【0030】
(ステップS22:画素値設定処理)
画素値設定部26は、ステップS21で取得された温度データの各点を対象として、対象の点の温度が基準範囲外の場合には、対象の点に指定画素値を設定するとともに、対象の点の温度が基準範囲内の場合には、対象の点に指定画素値とは異なる画素値を設定することにより、物体検出用の熱画像を生成する。
具体的には、画素値設定部26は、事前準備処理で特定された下限値以上上限値以下の温度を基準範囲とする。そして、画素値設定部26は、対象の点の温度が基準範囲外の場合には、対象の点に指定温度を表す画素値を指定画素値として設定するとともに、対象の点の温度が基準範囲内の場合には、対象の点に対象の点の温度に応じた画素値を設定する。
実施の形態1では、画素値設定部26は、以下のように画素値を設定する。画素値設定部26は、対象の点の温度が上限値よりも高い場合には、対象の点に最高温度を表す指定画素値を設定する。画素値設定部26は、対象の点の温度が下限値よりも低い場合には、対象の点に最低温度を表す指定画素値を設定する。画素値設定部26は、対象の点の温度が基準範囲内の場合には、対象の点に対象の点の温度に応じて、最高温度と最低温度との間の温度を表す画素値を設定する。
【0031】
具体例としては、画素値が0から255までの範囲の値を取り、画素値が大きいほど、つまり白色に近づくほど高い温度を表すとする。この場合には、画素値設定部26は、対象の点の温度が上限値よりも高い場合には、対象の点に画素値として白色となる255を設定する。画素値設定部26は、対象の点の温度が下限値よりも低い場合には、対象の点に画素値として黒色となる0を設定する。つまり上限値よりも高い温度の対象の点は、全て最高温度であると設定し、最高温度を表す指定画素値である255を設定する。また下限値よりも低い温度の対象の点は、全て最低温度であると設定し、最低温度を表す指定画素値である0を設定する。
画素値設定部26は、対象の点の温度が基準範囲内の場合には、対象の点に対象の点の温度に応じて、1から254までの値を画素値として設定する。例えば、画素値設定部26は、上限値をMAX、下限値をMIN、対象点の温度xとした場合における対象点の画素値yを、式1によって計算する。
(式1)y=(x−MIN)/(MAX−MIN)×255
これにより、温度データの各点に画素値が設定された熱画像が生成される。
【0032】
なお、画素値設定部26は、対象の点の温度が基準範囲内の場合には、式1により画素値を計算せず、温度データにおける温度の分布を考慮して画素値を計算するようにしてもよい。例えば、画素値設定部26は、温度データにおける各点に設定される画素値が、1から254までの値にできるだけ一様に分布するように画素値を計算してもよい。
【0033】
(ステップS23:物体検出処理)
物体検出部23は、ステップS22で生成された熱画像を、ニューラルネットワークを用いた物体検出モデル等に入力として与え、熱画像から検出対象の物体を検出する。
【0034】
***実施の形態1の効果***
以上のように、実施の形態1に係る画像生成装置10は、温度データの各点を対象として、対象の点の温度が基準範囲外の場合には、対象の点に指定画素値を設定する。これにより、検出対象の輪郭をはっきりさせることが可能になる。その結果、物体検出モデルによる検出処理に適した画像を生成可能である。
【0035】
特に、実施の形態1に係る画像生成装置10は、基準個の温度データそれぞれについて特定された最高値のうち、最も多くの温度データで最高値として特定された温度を上限値とし、基準個の温度データそれぞれについて特定された最低値のうち、最も多くの温度データで最低値として特定された温度を下限値とする。そして、画像生成装置10は、下限値以上上限値以下の間の温度を基準範囲とする。これにより、検出対象がとる温度の適切な範囲が基準範囲として設定される。その結果、検出対象の輪郭をはっきりさせることが可能になる。
実施の形態1では指定画素値は、基準範囲より高い温度を設定するための値と、低い温度を設定するための値の、2つの値を有していて、前者を255、後者を0として、説明した。そして1〜254の範囲で基準範囲内の画素値を設定することにより、よりグレースケールの濃淡がはっきりした熱画像が生成できることが期待できる。しかしながら、この2つの指定画素値の値は、255と0ではなく近似の値を設定可能であり、その場合、基準範囲内の画素値は、指定画素値を含まない範囲の画素値で設定することになる。
また最も多くの温度データで最高値として特定された温度を上限値とし、最も多くの温度データで最低値として特定された温度を下限値とすることにより、特定の温度データでたまたま存在した特異な物体の温度の影響を除外することができる。上限値への影響を与える特異な物体としては、火、下限値への影響を与える特異な物体としては、氷の塊などが考えられる。
【0036】
***他の構成***
<変形例1>
実施の形態1に係る画像生成装置10の利用例を説明する。
利用例としては、患者と高齢者といった対象者のベッド周辺の見守りに画像生成装置10を利用することが考えられる。この場合には、温度センサ31によってベッド周辺の温度データが取得される。そして、画像生成装置10は、温度データから得られた熱画像に基づき、人がベッドにいるか否か、ベッドにいる場合には、寝ているか、起き上がっているかといったことを検出する。
従来は、ベッドにセンサを設置しておき、対象者が動いた場合に通知がされる仕組みが利用されていた。しかし、この仕組みでは、対象者が寝返りをうっただけで通知がされてしまい、看護師等に余計な手間がかかっていた。これに対して、画像生成装置10を利用することにより、適切な検出が可能になり、不要な通知を減らすことが可能になる。
【0037】
また、他の利用例としては、トイレといった場所に長時間いる人の検出に画像生成装置10を利用することが考えられる。例えば、病院のトレイで患者が倒れてしまった場合に検出される。この場合には、温度センサ31によってトイレ周辺の温度データが取得される。そして、画像生成装置10は、温度データから得られた熱画像に基づき、トイレに人がいるか否か、いる場合には、立っているか、倒れているかといったことを検出する。
病院のトレイ等には看護師を呼ぶためのボタンが設けられている場合がある。しかし、急病等によってボタンを押すことができない場合もある。このような場合であっても、画像生成装置10を利用することにより、人が倒れていること等を検出して、看護師を呼ぶことが可能である。
【0038】
<変形例2>
実施の形態1に係る画像生成装置10が用いる温度センサ31は、高解像度のセンサではなく、少し解像度が低い中程度の解像度のセンサであることが望ましい場合がある。中程度の解像度とは、例えば、32×80ピクセル程度である。
温度センサ31が高解像度である場合には、温度データから生成された熱画像を入力として与えることにより、単に検出対象を検出するだけでなく、検出された検出対象の個体を特定することが可能になる場合がある。個体を特定するとは、例えば、検出対象が人である場合には、検出された人が誰であるかまで特定することである。この場合には、熱画像は、人が誰であるかを特定可能な程度に詳細に顔が描かれている可能性がある。変形例1で説明したように、対象者のベッド周辺の見守りに画像生成装置10を利用する場合に、ベッドに寝ている対象者の顔が詳細に描かれた熱画像が生成されると、対象者に不快感を与える可能性がある。したがって、画像生成装置10の用途によっては、温度センサ31は中程度の解像度のセンサであることが望ましい。
なお、温度センサ31が低解像度である場合には、温度データから生成された熱画像を入力として与えても、物体検出モデルで検出対象を検出することが困難である。したがって、温度センサ31はある程度の解像度が必要である。
【0039】
<変形例3>
実施の形態1では、特定された最高値をヒストグラム化し、度数が最大となるビンから上限値を特定した。また特定された最低値をヒストグラム化し、度数が最大となるビンから下限値を特定した。
変形例としては、以下のような方法で上限値及び下限値を特定してもよい。ステップS11で取得した複数の温度データの平均値または中央値を基準として、その値から一定値を加算した値を上限値、一定値を減算した値を下限値としてもよい。あるいは、ステップS11で取得した複数の温度データの最高値の平均を上限値とし、最低値の平均を下限値としてもよい。
【0040】
<変形例4>
実施の形態1では、各機能構成要素がソフトウェアで実現された。しかし、変形例3として、各機能構成要素はハードウェアで実現されてもよい。この変形例3について、実施の形態1と異なる点を説明する。
【0041】
図8を参照して、変形例3に係る画像生成装置10の構成を説明する。
各機能構成要素がハードウェアで実現される場合には、画像生成装置10は、プロセッサ11とメモリ12とストレージ13とに代えて、電子回路15を備える。電子回路15は、各機能構成要素と、メモリ12と、ストレージ13との機能とを実現する専用の回路である。
【0042】
電子回路15としては、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ロジックIC、GA(Gate Array)、ASIC(Application Specific Integrated Circuit)、FPGA(Field−Programmable Gate Array)が想定される。
各機能構成要素を1つの電子回路15で実現してもよいし、各機能構成要素を複数の電子回路15に分散させて実現してもよい。
【0043】
<変形例4>
変形例4として、一部の各機能構成要素がハードウェアで実現され、他の各機能構成要素がソフトウェアで実現されてもよい。
【0044】
プロセッサ11とメモリ12とストレージ13と電子回路15とを処理回路という。つまり、各機能構成要素の機能は、処理回路により実現される。