(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-12-02
(45)【発行日】2022-12-12
(54)【発明の名称】焦点調整支援装置および焦点調整支援方法
(51)【国際特許分類】
G02B 7/36 20210101AFI20221205BHJP
G02B 7/28 20210101ALI20221205BHJP
G01J 5/48 20220101ALI20221205BHJP
G03B 13/36 20210101ALI20221205BHJP
H04N 5/232 20060101ALI20221205BHJP
G01N 25/72 20060101ALN20221205BHJP
【FI】
G02B7/36
G02B7/28 H
G01J5/48 E
G03B13/36
H04N5/232 120
G01N25/72 E
(21)【出願番号】P 2018165529
(22)【出願日】2018-09-04
【審査請求日】2021-07-28
(73)【特許権者】
【識別番号】000006666
【氏名又は名称】アズビル株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】田中 雅人
(72)【発明者】
【氏名】新藤 善二郎
【審査官】越河 勉
(56)【参考文献】
【文献】特開2001-194579(JP,A)
【文献】特開昭63-261121(JP,A)
【文献】実開昭59-090833(JP,U)
【文献】特開2016-102953(JP,A)
【文献】特開2013-197669(JP,A)
【文献】特開昭56-107219(JP,A)
【文献】特開2014-206583(JP,A)
【文献】米国特許出願公開第2006/0249679(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G02B 7/28-7/40
G01J 5/48
G03B 13/36
H04N 5/232
G01N 25/72
(57)【特許請求の範囲】
【請求項1】
撮影対象の熱分布を示す熱画像を取得する取得部と、
前記取得部により取得された熱画像から、温度変化が所定の条件を満たす領域を探索する探索部と、
焦点距離を調整しながら撮影された複数の熱画像の、前記探索部により探索された領域内の熱分布に基づいて、焦点距離が所定の条件を満たすか否かを判定する判定部と
を備え
、
前記探索部は、前記熱画像のうち、最低温度と最高温度との差が所定の閾値を超える領域を探索する
焦点調整支援装置。
【請求項2】
撮影対象の熱分布を示す熱画像を取得する取得部と、
前記取得部により取得された熱画像から、温度変化が所定の条件を満たす領域を探索する探索部と、
焦点距離を調整しながら撮影された複数の熱画像の、前記探索部により探索された領域内の熱分布に基づいて、焦点距離が所定の条件を満たすか否かを判定する判定部と
を備え、
前記探索部は、前記熱画像のうち、温度の分散が所定の閾値を超える領域を探索する
焦点調整支援装置。
【請求項3】
撮影対象の熱分布を示す熱画像を取得する取得部と、
前記取得部により取得された熱画像から、温度変化が所定の条件を満たす領域を探索する探索部と、
焦点距離を調整しながら撮影された複数の熱画像の、前記探索部により探索された領域内の熱分布に基づいて、焦点距離が所定の条件を満たすか否かを判定する判定部と
を備え、
前記判定部は、
前記探索部により探索された領域内において隣接する画素間の温度差に基づいて、焦点距離が所定の条件を満たすか否かを判定するとともに、前記温度差の標準偏差が所定の閾値を超える場合は、前記焦点距離が所定の条件を満たすと判定する
焦点調整支援装置。
【請求項4】
撮影対象の熱分布を示す熱画像を取得する取得部と、
前記取得部により取得された熱画像から、温度変化が所定の条件を満たす領域を探索する探索部と、
焦点距離を調整しながら撮影された複数の熱画像の、前記探索部により探索された領域内の熱分布に基づいて、焦点距離が所定の条件を満たすか否かを判定する判定部と
を備え
前記判定部は、
前記探索部により探索された領域内において隣接する画素間の温度差に基づいて、焦点距離が所定の条件を満たすか否かを判定するとともに、前記温度差の総和が所定の閾値を超える場合は、前記焦点距離が所定の条件を満たすと判定し、前記温度差の標準偏差が所定の閾値を超える場合は、前記焦点距離が所定の条件を満たすと判定する
焦点調整支援装置。
【請求項5】
情報処理装置が撮影対象の熱分布を示す熱画像を取得する第1ステップと、
前記情報処理装置が前記第1ステップにより取得された熱画像から、温度変化が所定の条件を満たす領域を探索する第2ステップと、
前記情報処理装置が、焦点距離を調整しながら撮影された複数の熱画像の、前記第2ステップにより探索された領域内の熱分布に基づいて、焦点距離が所定の条件を満たすか否かを判定する第3ステップと
を含
み、
前記第2ステップは、前記情報処理装置が、前記熱画像のうち、最低温度と最高温度との差が所定の閾値を超える領域を探索する
焦点調整支援方法。
【請求項6】
情報処理装置が撮影対象の熱分布を示す熱画像を取得する第1ステップと、
前記情報処理装置が前記第1ステップにより取得された熱画像から、温度変化が所定の条件を満たす領域を探索する第2ステップと、
前記情報処理装置が、焦点距離を調整しながら撮影された複数の熱画像の、前記第2ステップにより探索された領域内の熱分布に基づいて、焦点距離が所定の条件を満たすか否かを判定する第3ステップと
を含み、
前記第2ステップは、前記情報処理装置が、前記熱画像のうち、温度の分散が所定の閾値を超える領域を探索する
焦点調整支援方法。
【請求項7】
情報処理装置が撮影対象の熱分布を示す熱画像を取得する第1ステップと、
前記情報処理装置が前記第1ステップにより取得された熱画像から、温度変化が所定の条件を満たす領域を探索する第2ステップと、
前記情報処理装置が、焦点距離を調整しながら撮影された複数の熱画像の、前記第2ステップにより探索された領域内の熱分布に基づいて、焦点距離が所定の条件を満たすか否かを判定する第3ステップと
を含み、
前記第3ステップは、前記情報処理装置が、前記第2ステップにより探索された領域内において隣接する画素間の温度差に基づいて、焦点距離が所定の条件を満たすか否かを判定するとともに、前記温度差の標準偏差が所定の閾値を超える場合は、前記焦点距離が所定の条件を満たすと判定する
焦点調整支援方法。
【請求項8】
情報処理装置が撮影対象の熱分布を示す熱画像を取得する第1ステップと、
前記情報処理装置が前記第1ステップにより取得された熱画像から、温度変化が所定の条件を満たす領域を探索する第2ステップと、
前記情報処理装置が、焦点距離を調整しながら撮影された複数の熱画像の、前記第2ステップにより探索された領域内の熱分布に基づいて、焦点距離が所定の条件を満たすか否かを判定する第3ステップと
を含み、
前記第3ステップは、前記第2ステップにより探索された領域内において隣接する画素間の温度差に基づいて、焦点距離が所定の条件を満たすか否かを判定するとともに、前記温度差の総和が所定の閾値を超える場合は、前記焦点距離が所定の条件を満たすと判定し、前記温度差の標準偏差が所定の閾値を超える場合は、前記焦点距離が所定の条件を満たすと判定する
焦点調整支援方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、熱画像撮影装置の焦点距離の調整を支援する焦点調整支援装置および焦点調整支援方法に関する。
【背景技術】
【0002】
従来、撮影対象の熱分布を示す熱画像を撮影するサーモグラフィ装置を用いて、各種工程や製品の検査を行う技術が知られている。このような技術の一例として、サーモグラフィ装置を用いて、ホットメルトによる接着状態の検査を行う技術が知られている。例えば、サーモグラフィ装置を用いて撮影された熱画像に基づいて、ホットメルトの量、位置、飛び散り若しくは伸びを判定し、判定結果に基づいて、ホットメルトの接着状態を判定するものが知られている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開2015-034778号公報
【文献】特開平05-273047号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
このようなサーモグラフィ装置を用いた検査においては、検査対象を明瞭に撮影するため、サーモグラフィ装置の焦点調整が重要な工程となる。しかしながら、サーモグラフィ装置の焦点をオペレータが人手で調整する場合、焦点を調整する際に着目する領域がオペレータにより異なるため、調整結果が変動する結果、検査にバラつきが生じるという問題がある。
【0005】
一方、自動的に焦点を調整するためのハードウェアを備えたサーモグラフィ装置が知られている。しかしながら、焦点を調整するためのハードウェアを備えた場合は、サーモグラフィ装置のコストが増大してしまう。
【0006】
本願はこのような課題を解決するためのものであり、サーモグラフィ装置における焦点調整を支援することを目的としている。
【課題を解決するための手段】
【0007】
本願に係る焦点調整支援装置は、撮影対象の熱分布を示す熱画像を取得する取得部と、取得部により取得された熱画像から、温度変化が所定の条件を満たす領域を探索する探索部と、焦点距離を調整しながら撮影された複数の熱画像の、探索部により探索された領域内の熱分布に基づいて、焦点距離が所定の条件を満たすか否かを判定する判定部とを備える。
【0008】
上記焦点調整支援装置においては、判定部による判定結果を示す情報を出力する出力部をさらに備えていてもよい。
【0009】
上記焦点調整支援装置において、探索部は、熱画像のうち、最低温度と最高温度との差が所定の閾値を超える領域を探索してもよい。
【0010】
上記焦点調整支援装置において、探索部は、熱画像のうち、温度差の分散が所定の閾値を超える領域を探索してもよい。
【0011】
上記焦点調整支援装置において、判定部は、探索部により探索された領域内において隣接する画素間の温度差に基づいて、焦点距離が所定の条件を満たすか否かを判定してもよい。
【0012】
上記焦点調整支援装置において、判定部は、温度差の総和が所定の閾値を超える場合は、焦点距離が所定の条件を満たすと判定してもよい。
【0013】
上記焦点調整支援装置において、温度差の標準偏差が所定の閾値を超える場合は、焦点距離が所定の条件を満たすと判定してもよい。
【0014】
上記焦点調整支援装置においては、他の焦点調整支援装置から、その焦点調整支援装置が熱画像から探索した領域であって、温度変化が所定の条件を満たす領域を示す領域情報を受信する受信部をさらに備え、判定部は、他の焦点調整支援装置から領域情報を受付けた場合は、焦点距離を変化させながら撮影された複数の熱画像のうち、他の焦点調整支援装置から受信した領域情報が示す領域内の熱分布に基づいて、焦点距離が所定の条件を満たすか否かを判定する。
【0015】
上記焦点調整支援装置において、受信部は、他の焦点調整支援装置により探索された領域内の熱分布を示す領域情報を受信し、判定部は、焦点距離を変化させながら撮影された熱画像から熱分布が前記領域情報が示す熱分布と類似する領域を抽出し、抽出した領域内の熱分布に基づいて、焦点距離が所定の条件を満たすか否かを判定してもよい。
【発明の効果】
【0016】
上述した焦点調整支援装置によれば、熱画像から温度変化が所定の条件を満たす領域を探索することで、焦点調整の際に着目すべき領域を自動的に選択し、自動的に選択した領域内の熱分布に基づいて、焦点距離が適切であるか否かを判定する。この結果、焦点調整支援装置は、サーモグラフィ装置における焦点調整を支援することができる。また、焦点調整支援装置は、焦点を調整する際に着目する領域を揃えた状態で、焦点距離が適切であるか否かを判定するので、検査基準におけるバラつきを軽減することができる。また、焦点調整支援装置は、サーモグラフィ装置により撮影された熱画像から、焦点距離が適切であるか否かを判定できるので、焦点調整のためのハードウェアを不要とすることができる。
【図面の簡単な説明】
【0017】
【
図2】
図2は、第1の実施形態における焦点調整支援装置の概要を示す図である。
【
図3】
図3は、第1の実施形態に係る焦点調整支援装置が有する機能構成の一例を示す図である。
【
図4】
図4は、特定領域における温度分布の一例を示す図である。
【
図5】
図5は、焦点距離が異なる熱画像の一例を示す図である。
【
図6】
図6は、隣接する画素間の信号差の違いを説明するための図である。
【
図7】
図7は、第1の実施形態に係る焦点調整支援処理の一例を示すフローチャートである。
【
図8】
図8は、第2の実施形態における焦点調整支援装置の概要を示す図である。
【
図9】
図9は、第2の実施形態に係る焦点調整支援装置が有する機能構成の一例を示す図である。
【
図10】
図10は、第2の実施形態に係る焦点調整支援処理の一例を示すフローチャートである。
【発明を実施するための形態】
【0018】
次に、実施の形態について図面を参照して説明する。なお、以下の説明において、各実施の形態において共通する構成要素には同一の参照符号を付し、繰り返しの説明を省略する。
【0019】
[原理1]
追加のハードウェアを用いずにサーモグラフィ装置の焦点調整を支援するため、サーモグラフィ装置が得る熱画像の処理を行うソフトウェアの拡張機能により課題を解決することを想定する。サーモグラフィ装置の焦点距離が適切であった場合、撮影対象から発せられた赤外線の像スポットがぼやけることなくサーモグラフィ装置の赤外線検出器上に結像するので、熱画像において隣接する画素間の温度差が明確となる。このため、単純には、サーモグラフィ装置が得る熱画像の画素ごとに赤外線量や温度を示す信号値を取得し、隣接する画素間における信号値の変化量(すなわち、信号値の差の傾き)が最大化するように、焦点調整を行えばよい。
【0020】
一方で、サーモグラフィ装置により得られた熱画像の全体において、信号値の変化量が同時に最大化することが期待できないため、熱画像のうちいずれかの領域における信号値の変化量が最大化するように焦点調整を行うこととなる。しかしながら、オペレータにより焦点調整を行う際に注目する領域が異なる場合、焦点距離のバラつきが生じてしまう。
【0021】
例えば、
図1は、熱画像の一例を示す図である。
図1では、サーモグラフィ装置により得られた熱画像HP1を示す。なお、熱画像HP1には、所定の撮影対象の熱分布を示すため、画素ごとに温度や信号値に応じた色彩が付与されているが、
図1に示す例では、画素ごとに付与された色彩をグレースケールに変換した例について示した。
【0022】
領域OA1と領域OA2とを比較すると、各領域内において異なる温度が測定されているが、領域OA2では、領域OA1と比較してより多くの異なる温度が測定されている。すなわち、領域OA2は、領域OA1と比較して、領域全体における温度の変化量が大きいので、隣接する画素間の信号値の変化がより明瞭に表れることとなる。この結果、領域OA2における信号値の変化量が最大化するように焦点調整を行った場合は、領域OA1における信号値の変化量が最大化するように焦点調整を行った場合よりも、より適切に焦点調整を行うことができると考えられる。
【0023】
このような点に着眼し、焦点調整の際に着目すべき領域については、信号値の変化量が大きい領域、すなわち、温度変化が大きい領域を自動的に選択し、その特定領域を対象に、例えば信号値変化の傾きが最大になるように自動調整するようにすれば、ソフトウェアにより課題を解決できることに想到した。
【0024】
[第1の実施形態]
以下、第1の実施形態の概要について、
図2を用いて説明する。
図2は、第1の実施形態における焦点調整支援装置の概要を示す図である。
図2に示す例では、焦点調整支援装置10は、オペレータOPからの各種操作を受付ける情報処理装置であり、例えば、PC(Personal Computer)等により実現される。また、焦点調整支援装置10は、サーモグラフィ装置100と接続されており、オペレータOPからの操作に従って、サーモグラフィ装置100の制御を実現する。
【0025】
例えば、サーモグラフィ装置100は、複数のサーモパイルから構成されたサーモパイルアレイセンサを用いて、検査ラインIL1を流れる検査対象ITから発せられた赤外線を検出し、検出結果に基づいて、検査対象ITの表面における温度分布を測定する。なお、サーモグラフィ装置100は、マイクロボロメータや焦電センサ等、各種の熱型赤外線センサを用いるものであってもよく、各種の量子型赤外線センサを用いるものであってもよい。そして、サーモグラフィ装置100は、測定した温度分布を示す熱画像を生成する。例えば、サーモグラフィ装置100は、画素ごとに測定された赤外線量や温度を示す信号値を対応付けたデータを熱画像として生成する。そして、サーモグラフィ装置100は、生成した熱画像を焦点調整支援装置10へと提供する(ステップS1)。
【0026】
一方、焦点調整支援装置10は、サーモグラフィ装置100から熱画像を受付けると、受付けた熱画像から焦点調整を行う際に有用な領域を特定領域として探索する(ステップS2)。例えば、焦点調整支援装置10は、熱画像を走査するように、予め規定された大きさと形状を有する領域を抽出する。そして、焦点調整支援装置10は、抽出した領域のうち、領域全体における温度の変化量が大きい領域を特定領域として自動的に抽出する。
【0027】
続いて、焦点調整支援装置10は、サーモグラフィ装置100の焦点距離を調整する焦点調整操作を受付けると(ステップS3)、焦点調整操作に応じてサーモグラフィ装置100の焦点距離を調整しながら、サーモグラフィ装置100により得られた熱画像を随時取得する(ステップS4)。すなわち、焦点調整支援装置10は、焦点距離を調整しながら撮影された複数の熱画像を取得する。そして、焦点調整支援装置10は、各熱画像の特定領域における熱分布に基づいて、焦点距離が所定の条件を満たすか否かを判定する(ステップS5)。例えば、焦点調整支援装置10は、特定領域内において隣接する画素間の信号値の差を算出し、算出した差が所定の閾値を超えた場合には、焦点距離が適切であると判定する。
【0028】
そして、焦点調整支援装置10は、焦点距離が適切であると判定した場合は、オペレータOPに対し、焦点距離が適切である旨を通知する(ステップS6)。例えば、焦点調整支援装置10は、焦点距離が適切である旨の表示を画面上に表示してもよく、焦点距離が適切であるか否かを示すランプを点灯させてもよい。
【0029】
[第1の実施形態における機能構成の一例]
続いて、
図3を用いて、焦点調整支援装置10が有する機能構成の一例について説明する。
図3は、第1の実施形態に係る焦点調整支援装置が有する機能構成の一例を示す図である。
図3に示すように、焦点調整支援装置10は、通信部20、焦点制御部30、表示部40、記憶部50および制御部60を有する。
【0030】
通信部20は、撮影対象の熱分布を示す熱画像を得るサーモグラフィ装置100との間の通信を制御する。例えば、通信部20は、NIC(Network Interface Card)やUSB(Universal Serial Bus)ポート等により実現され、サーモグラフィ装置100との間の通信を制御する。
【0031】
焦点制御部30は、サーモグラフィ装置100の焦点距離を制御する。例えば、焦点制御部30は、焦点調整操作を受付けると、焦点距離を変更する信号をサーモグラフィ装置100へと出力することで、サーモグラフィ装置100の焦点距離を制御する。
【0032】
表示部40は、各種の情報を表示する表示装置であり、例えば、各種の液晶ディスプレイやLED(Light Emitting Diode)等により実現される。例えば、表示部40は、サーモグラフィ装置100により得られた熱画像を表示してもよく、焦点距離が適切であるか否かの判定結果を表示してもよい。
【0033】
記憶部50は、各種の情報を記憶する記憶装置であり、例えば、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。例えば、記憶部50には、熱画像のうち特定領域となる領域を示す領域情報51が登録される。なお、初期状態においては、特定領域として予め規定された大きさと形状を示す情報が領域情報51として登録される。
【0034】
制御部60は、CPU(Central Processing Unit)、MPU(Micro Processing Unit)等のプロセッサによって、焦点調整支援装置10内部の記憶装置に記憶されている各種プログラムがRAM等を作業領域として実行されることにより実現される。また、制御部60は、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路により実現されてもよい。
【0035】
図3に示すように、制御部60は、取得部61、領域探索部62、信号値変化探索部63、判定部64、および出力部65を有する。
【0036】
取得部61は、サーモグラフィ装置100から、熱画像を取得する。例えば、取得部61は、所定の時間間隔で、サーモグラフィ装置100により得られた熱画像を取得する。
【0037】
領域探索部62は、焦点調整のための着目すべき特定領域を探索する。例えば、領域探索部62は、取得部61により初期画像として取得された熱画像から、全体の温度変化が所定の条件を満たす領域を特定領域として探索する。より具体的な例を挙げると、領域探索部62は、領域情報51が示す大きさと形状とを有する領域で熱画像全体を走査し、全体として温度の変化量が最大となる領域を探索する。
【0038】
例えば、
図4は、特定領域における温度分布の一例を示す図である。
図4に示す例では、熱画像から探索された第1の領域および第2の領域について、温度ごとに、各温度を示す信号値が付与された画素数を示すヒストグラムの一例を示す。
【0039】
図4中(A)に示す例では、第1の領域において、温度T1~T5に対応する信号値が付与された画素が含まれている。また、第1の領域においては、最低温度である温度T1に対応する信号値が付与された画素の数が最も多く、最高温度である温度T5に対応する信号値が付与された画素の数が最も少ない。また、
図4中(B)に示す例では、第2の領域において、温度T1~T9に対応する信号値が付与された画素が含まれている。また、第2の領域においては、最低温度である温度T1に対応する信号値が付与された画素と、最高温度である温度T9に対応する信号値が付与された画素とが同程度存在している。また、第2の領域においては、温度T1もしくは温度T9に対応する信号値が付与された画素と比較して、各温度T2~T8に対応する信号値が付された画素の数が少なくなっている。
【0040】
第1の領域内および第2領域内における温度のヒストグラムが
図4に示すようなヒストグラムとなる場合、第1の領域内においては、第2の領域と比較して、出現する最高温度と最低温度との差が少なく、全体として同じ様な温度が含まれていると推定される。すなわち、第1の領域内においては、温度の分散が比較的少ないと推定される。換言すると、第2の領域内においては、第1の領域と比較して、最高温度と最低温度との差が大きく、全体として様々な温度が含まれていると推定される。すなわち、第2の領域内においては、温度の分散が比較的大きいと推定される。
【0041】
ここで、焦点調整において着目すべき領域は、焦点調整を行う際に、隣接する画素間の温度変化の傾きが大きくなりやすい領域であると言える。このような領域においては、最高温度と最低温度との差が大きく、様々な温度が含まれていると考えられる。そこで、領域探索部62は、熱画像のうち、最低温度と最高温度との差が所定の閾値を超える領域を特定領域として探索する。また、例えば、領域探索部62は、熱画像のうち、温度の分散が所定の閾値を超える領域を特定領域として探索する。例えば、領域探索部62は、最高温度と最低温度との差が大きく、かつ、領域内により多くの温度が含まれている領域(すなわち、温度の分散が大きい領域)を特定領域とする。そして、領域探索部62は、熱画像のうち特定領域の位置を示す領域情報51を記憶部50に登録する。
【0042】
なお、領域探索部62は、焦点調整において着目すべき領域を特定領域とするのであれば、任意の条件を採用してよい。例えば、領域探索部62は、温度スペクトルの分布が最大となる領域を特定領域としてもよく、最高温度と最低温度との差に応じたスコアと、温度スペクトルの分散に応じたスコアとの和が最も大きくなる領域を特定領域としてもよい。また、領域探索部62は、温度の標準偏差が全体として最も大きくなる領域を特定領域としてもよい。
【0043】
図3に戻り、説明を続ける。信号値変化探索部63は、焦点距離を調整しながら撮影された複数の熱画像について、特定領域内における信号値の変化量を探索する。例えば、取得部61は、オペレータOPによるサーモグラフィ装置の焦点調整操作に伴いながら熱画像を随時取得する。そして、信号値変化探索部63は、取得部61により取得された複数の熱画像の特定領域を対象に、信号値変化の傾きを探索する。すなわち、信号値変化探索部63は、取得した熱画像のうち領域情報51が示す位置の領域を特定領域として抽出し、抽出した特定領域内において隣接する画素間の信号値の差を算出する。
【0044】
判定部64は、焦点距離を調整しながら撮影された複数の熱画像の特定領域内における熱分布に基づいて、焦点距離が所定の条件を満たすか否かを判定する。例えば、判定部64は、信号値変化探索部63によって算出された信号値の差が所定の条件を満たすか否かを判定する。そして、判定部64は、信号値の差が所定の条件を満たす場合は、取得された熱画像を得る際に採用された焦点距離が適切な焦点距離である旨を判定する。
【0045】
例えば、
図5は、焦点距離が異なる熱画像の一例を示す図である。
図5に示す例では、熱画像HP1と、熱画像HP1よりも焦点距離がより適切な熱画像HP2との一例を示した。また、
図5中(A)には、熱画像HP1から探索された特定領域である領域OA2の拡大画像を示した。また、
図5中(B)には、熱画像HP2のうち領域OA2と同じ位置の領域、すなわち、特定領域である領域OA3の拡大画像を示した。
【0046】
図5に示すように、領域OA2の拡大画像と領域OA3の拡大画像とを比較すると、領域OA3の方が、各画素間の温度変化が明瞭となっている。このため、領域OA2よりも領域OA3の方が、隣接する画素間の温度差(すなわち、信号差)の分散が大きくなると考えられる。
【0047】
例えば、
図6は、隣接する画素間の信号差の違いを説明するための図である。なお、
図6においては、焦点距離が適切である場合と適切ではない場合とにおいて、熱画像の各画素における信号値の一例と、隣接する画素間の信号値の変化量と、信号値の差のヒストグラムとの一例を示した。より具体的には、
図6に示す例では、特定領域に含まれる一部の領域として、縦方向に5つ、横方向に5つの計25の画素について、サーモグラフィ装置100により取得された信号値の一例と、横方向に隣接する画素間の信号値の差と、信号値の差のヒストグラムとを示した。なお、
図6に示す例では、サーモグラフィ装置100により取得された信号値は、例えば、撮影対象のうち各画素と対応する位置の温度を10段階で示すものとする。
【0048】
例えば、焦点距離が適切である場合において、サーモグラフィ装置100が、
図6中(A)に示すように、「10」、「10」、「8」、「3」、「1」といった信号値を各画素に付与したものとする。このような場合、左右に隣接する画素間の信号値の差は、「0」、「2」、「5」、「2」となる。
【0049】
一方、焦点距離が適切ではない場合、撮影対象の各位置から発せられた赤外線の像スポットがぼやけた状態で赤外線検出器上に結像してしまう。このため、例えば、サーモグラフィ装置100は、隣接する画素間で値が平均化された信号値を各画素に付与することとなる。例えば、サーモグラフィ装置100は、
図6中(B)に示すように、「10」、「9」、「7」、「4」、「2」といった信号値を各画素に付与する。この結果、焦点距離が適切ではない場合、左右に隣接する画素間の信号値の差は、「1」、「2」、「3」、「2」というように、焦点距離が適切な場合と比較して、変化量が小さくなってしまう。
【0050】
この結果、
図6の各ヒストグラムに示すように、焦点距離が適切である場合は、焦点距離が適切ではない場合と比較して、特定領域内において隣接する画素間の信号差が分散すると推定される。そこで、判定部64は、隣接する画素間の温度差が所定の条件を満たすか否かに基づいて、焦点距離が所定の条件を満たすか否かを判定する。
【0051】
例えば、判定部64は、隣接する画素間の温度差の総和が所定の閾値を超える場合は、焦点距離が所定の条件を満たすと判定する。また、例えば、判定部64は、温度差の標準偏差が所定の閾値を超える場合は、焦点距離が所定の条件を満たすと判定する。この結果、判定部64は、焦点距離が適切であるか否かを適切に判定することができる。
【0052】
出力部65は、判定結果を示す情報を出力する。例えば、出力部65は、判定部64によって焦点距離が所定の条件を満たすと判定された場合は、焦点距離が所定の条件を満たす旨を表示部40に表示させる。
【0053】
[第1の実施形態における動作の一例]
次に、
図7を参照して、第1の実施形態に係る焦点調整支援装置10の動作タイミングの一例について説明する。
図7は、第1の実施形態に係る焦点調整支援処理の一例を示すフローチャートである。
【0054】
例えば、取得部61は、サーモグラフィ装置100から初期分布像として、熱画像を取得する(ステップS101)。このような場合、領域探索部62は、熱画像内で所定サイズの領域を走査させ、領域内全体における温度変化が条件を満たす領域を探索する(ステップS102)。そして、領域探索部62は、探索した領域の位置を示す領域情報51を記憶する(ステップS103)。
【0055】
続いて、焦点制御部30は、焦点調整操作を受付けたか否かを判定し(ステップS104)、受付けた場合は(ステップS104:Yes)、焦点調整操作に従って、サーモグラフィ装置100の焦点距離を調整する(ステップS105)。このような場合、通信部20は、新たに熱画像を取得する(ステップS106)。そして、信号値変化探索部63は、新たに取得した熱画像のうち、領域情報51が示す領域内における信号値の差を探索する(ステップS107)。すなわち、信号値変化探索部63は、隣接する画素間の信号値の差を算出する。
【0056】
そして、判定部64は、信号値の差が所定の条件を満たすか否かを判定する(ステップS108)。例えば、判定部64は、隣接する画素間の信号値の差の分散が所定の閾値を超えるか否かを判定する。そして、信号値の差が所定の条件を満たすと判定された場合は(ステップS108:Yes)、出力部65は、焦点距離が適切である旨をオペレータに通知する(ステップS109)。
【0057】
なお、焦点調整支援装置10は、ステップS109の処理後、焦点調整が完了したか否かを判定し(ステップS110)、完了したと判定した場合は(ステップS110:Yes)、焦点距離を固定した状態で検査を開始し(ステップS111)、処理を終了する。一方、焦点制御部30は、焦点調整操作を受付けていない場合(ステップS104:No)、信号値の差が所定の条件を満たさない場合(ステップS108:No)、若しくは、焦点調整が完了していない場合は(ステップS110:No)、再度、焦点調整操作を受付けたか否かを判定する(ステップS104)。
【0058】
[第1の実施形態における効果]
このように、焦点調整支援装置10は、撮影対象の熱分布を示す熱画像から、温度変化が所定の条件を満たす領域を探索する。そして、焦点調整支援装置10は、焦点距離を調整しながら撮影された複数の熱画像の、探索された領域内の熱分布に基づいて、焦点距離が所定の条件を満たすか否かを判定する。このような処理の結果、焦点調整支援装置10は、焦点を調整する際に注目すべき特定領域を自動的に探索し、探索した特定領域内における熱分布に基づいて焦点距離が適切であるか否かを判定するので、オペレータの熟練度に寄らず、焦点調整操作の支援を実現することができる。
【0059】
[原理2]
上述した第1の実施形態では、単一の焦点調整支援装置10が、特定領域を探索し、特定領域内における温度分布に基づいて、焦点距離が適切か否かを判定した。ここで、複数のオペレータOPが複数のサーモグラフィ装置100を個々に用いる場合、着目すべき特定領域を共通化することで、検査のバラつきを抑えることに想到した。
【0060】
[第2の実施形態]
以下、第2の実施形態の概要について、
図8を用いて説明する。
図8は、第2の実施形態における焦点調整支援装置の概要を示す図である。
図8に示す例では、焦点調整支援装置10a、10bは、
図2に示した焦点調整支援装置10と同様に、オペレータOPからの各種操作を受付ける情報処理装置であり、例えば、PC等により実現される。
【0061】
ここで、焦点調整支援装置10aは、検査ラインIL1を流れる検査対象から発せられた赤外線から熱画像を得るサーモグラフィ装置100aと接続されている。また、焦点調整支援装置10bは、検査ラインIL2を流れる検査対象から発せられた赤外線から熱画像を得るサーモグラフィ装置100bと接続されている。なお、サーモグラフィ装置100a、100bは、第1の実施形態に係るサーモグラフィ装置100と同様の機能を有するものとして、以下の説明を省略する。
【0062】
例えば、焦点調整支援装置10aは、サーモグラフィ装置100aから熱画像を受付けると、第1の実施形態と同様に、受付けた熱画像から焦点調整を行う際に有用な領域を特定領域として探索する(ステップS11)。そして、焦点調整支援装置10aは、特定した特定領域における熱分布に基づいて、焦点距離が適切であるか否かを判定するとともに、特定した特定領域の位置等を示す領域情報をサーモグラフィ装置100bへと送信する(ステップS12)。
【0063】
一方、焦点調整支援装置10bは、自装置において特定領域の探索は行わず、焦点調整支援装置10aから受付けた領域情報が示す領域を特定領域とし、サーモグラフィ装置100bの焦点距離を調整しながら得られた複数の熱画像について、特定領域内における熱分布に基づいて、サーモグラフィ装置100bの焦点距離が適切であるか否かを判定する(ステップS13)。
【0064】
すなわち、焦点調整支援装置10aは、マスターとして、サーモグラフィ装置100aから取得した熱画像より特定した特定領域の領域情報をスレーブである焦点調整支援装置10bへと送信する。そして、スレーブである焦点調整支援装置10bは、サーモグラフィ装置100bにより得られた熱画像のうち、焦点調整支援装置10aから受付けた領域情報が示す領域を特定領域とし、特定領域内における熱分布に基づいて、サーモグラフィ装置100bの焦点距離が適切であるか否かを判定する。
【0065】
[第2の実施形態における機能構成の一例]
続いて、
図9を用いて、焦点調整支援装置10a、10bが有する機能構成の一例について説明する。
図9は、第2の実施形態に係る焦点調整支援装置が有する機能構成の一例を示す図である。
【0066】
図9に示すように、焦点調整支援装置10aは、通信部20a、焦点制御部30a、表示部40a、記憶部50a、制御部60aおよび送信部70を有する。なお、通信部20a、焦点制御部30a、表示部40a、および記憶部50aについては、
図2に示した通信部20、焦点制御部30、表示部40、および記憶部50と同様の機能を発揮するものとして、説明を省略する。
【0067】
制御部60aは、
図2に示す制御部60と同様の機能を発揮する。例えば、制御部60aは、取得部61a、領域探索部62a、信号値変化探索部63a、判定部64a、および出力部65aを有する。なお、取得部61a、領域探索部62a、信号値変化探索部63a、判定部64a、および出力部65aは、
図2に示す取得部61、領域探索部62、信号値変化探索部63、判定部64、および出力部65と同様の機能を発揮する。
【0068】
送信部70は、領域探索部62aによって探索された特定領域を示す領域情報51aを、スレーブである焦点調整支援装置10bへと送信する。例えば、送信部70は、領域探索部62aによって領域情報51aが記憶部50aに格納された場合は、領域情報51aを焦点調整支援装置10bへと送信する。
【0069】
一方、焦点調整支援装置10bは、通信部20b、焦点制御部30b、表示部40b、記憶部50b、制御部60bおよび受信部80を有する。なお、通信部20b、焦点制御部30b、表示部40b、および記憶部50bについては、
図2に示した通信部20、焦点制御部30、表示部40、および記憶部50と同様の機能を発揮するものとして、説明を省略する。
【0070】
受信部80は、他の焦点調整支援装置10aから、焦点調整支援装置10aが熱画像から探索した領域であって、温度変化が所定の条件を満たす領域を示す領域情報を受信する。例えば、受信部80は、焦点調整支援装置10aから領域情報51aを受信した場合は、受信した領域情報51aを領域情報51bとして記憶部50bに格納する。
【0071】
制御部60bは、
図2に示す制御部60と同様の機能を発揮する。例えば、制御部60bは、取得部61b、信号値変化探索部63b、判定部64b、および出力部65bを有する。なお、取得部61b、信号値変化探索部63b、判定部64b、および出力部65bは、
図2に示した信号値変化探索部63、判定部64、および出力部65と同様の機能を発揮するものとする。
【0072】
例えば、信号値変化探索部63bは、信号値変化探索部63と同様に、焦点距離を調整しながら得られた複数の熱画像について、領域情報51bが示す領域内において隣接する画素間の信号値の差を探索する。すなわち、信号値変化探索部63bは、サーモグラフィ装置100bから得られた熱画像のうち、焦点調整支援装置10bではなく、焦点調整支援装置10aがサーモグラフィ装置100aから取得した熱画像より探索した特定領域と同様の領域を抽出し、抽出した領域内において隣接する画素間の信号値の差を探索する。
【0073】
そして、判定部64bは、信号値変化探索部63bによる探索結果に基づいて、サーモグラフィ装置100bの焦点距離が適切であるか否かを判定する。その後、出力部65bは、判定部64bによる判定結果を出力する。
【0074】
[第2の実施形態における動作の一例]
次に、
図10を参照して、第2の実施形態に係る焦点調整支援装置10a、10bの動作タイミングの一例について説明する。
図10は、第2の実施形態に係る焦点調整支援処理の一例を示すフローチャートである。なお、以下の説明では、焦点調整支援装置10a、10bを、焦点調整支援装置10と総称する。
【0075】
例えば、焦点調整支援装置10は、自装置がマスタであるか否かを判定する(ステップS201)。そして、焦点調整支援装置10は、自装置がマスタである場合は(ステップS201:Yes)、熱画像から検索された領域、すなわち、特定領域をスレーブとなる他の焦点調整支援装置10へと通知する(ステップS202)。そして、焦点調整支援装置10は、探索された領域内における信号値の差に基づいて、焦点距離の調整を支援し(ステップS203)、処理を終了する。
【0076】
一方、焦点調整支援装置10は、自装置がスレーブであると判定した場合は(ステップS201:No)、マスタにより探索された領域の通知を受付ける(ステップS204)。そして、焦点調整支援装置10は、通知された領域内における信号値の差に基づいて、焦点距離の調整を支援し(ステップS205)、処理を終了する。
【0077】
[第2の実施形態における効果]
上述したように、マスタとなる焦点調整支援装置10aは、撮影対象の熱分布を示す熱画像から、温度変化が所定の条件を満たす領域を探索する。そして、焦点調整支援装置10aは、スレーブとなる焦点調整支援装置10bに対し、特定領域を示す領域情報を送信する。一方、焦点調整支援装置10bは、焦点調整支援装置10aから通知された領域情報が示す特定領域における熱分布に基づき、焦点距離が所定の条件を満たすか否かを判定する。このような処理の結果、焦点調整支援装置10a、10bは、焦点調整において着目すべき特定領域を共通化することができるので、検査のバラつきを抑えることができる。
【0078】
[実施形態の拡張]
上記では、焦点調整支援装置10が実行する焦点調整支援処理の一例について記載した。しかしながら、実施形態は、これに限定されるものではない。以下、焦点調整支援装置10が実行する処理のバリエーションについて説明する。
【0079】
(1:特定領域における温度変化の条件について)
上述した実施形態では、焦点調整支援装置10は、領域内の各画素の温度(信号値)の分散が最も大きい領域や、最高温度と最低温度との差が最も大きい領域を特定領域として探索した。しかしながら、実施形態は、これに限定されるものではない。例えば、焦点調整支援装置10は、領域内の各画素の温度の標準偏差が最も大きい領域を特定領域として探索してもよい。
【0080】
また、焦点調整支援装置10は、領域内に含まれる各画素の温度の数を計数し、計数した数が最も多い領域を特定領域としてもよい。また、焦点調整支援装置10は、最高温度と最低温度との差、温度の分散、標準偏差、温度の数等の要素に基づくスコアを算出し、算出したスコアが最も大きい領域を特定領域としてもよい。この際、焦点調整支援装置10は、各要素に対して所定の重みづけを適用してもよい。
【0081】
すなわち、焦点調整支援装置10は、焦点調整において有用であると推定される領域(すなわち、様々な温度が含まれる領域)を特定領域として自動的に探索するのであれば、任意の条件に基づいて、特定領域の探索を行ってよい。
【0082】
(2:焦点距離が適切であるか否かの条件について)
上述した実施形態では、焦点調整支援装置10は、焦点距離を調整しながら得られた複数の熱画像(すなわち、焦点距離が異なる複数の熱画像)について、特定領域内において隣接する画素間の信号値の差が所定の条件を満たすか否かに基づき、焦点距離が適切であるか否かを判定した。ここで、焦点調整支援装置10は、任意の条件に基づいて、焦点距離が適切であるか否かを判定してよい。例えば、焦点調整支援装置10は、信号値の差の総和、分散、若しくは標準偏差が、所定の閾値を超えた場合に、利用者に対して焦点距離が適切となった旨を出力してもよい。
【0083】
また、例えば、焦点調整支援装置10は、焦点距離を調整しながら得られた複数の熱画像のそれぞれについて、特定領域内において隣接する信号値の差を算出し、信号値の差の総和、分散、若しくは標準偏差が最大となる熱画像を特定する。そして、焦点調整支援装置10は、特定した熱画像が取得された際の焦点距離を示す情報を出力してもよい。すなわち、焦点調整支援装置10は、焦点距離が異なる複数の熱画像をあらかじめ全て取得し、取得した各熱画像のうち、焦点距離が最も適切な熱画像を特定してもよい。
【0084】
また、例えば、焦点調整支援装置10は、熱画像を取得する度に、焦点距離が前回取得された熱画像よりも適切であるか否かを判定し、焦点距離が前回取得された熱画像よりも適切ではなくなった場合は、取得された熱画像において焦点が最適化された旨を利用者に対して出力してもよい。より具体的な例を挙げると、焦点調整支援装置10は、熱画像が得られる度に、特定領域内において隣接する信号値の差を算出する。続いて、焦点調整支援装置10は、算出した信号値の差の総和、分散、若しくは標準偏差と、前回得られた熱画像から算出した信号値の差の総和、分散、若しくは標準偏差とを比較する。
【0085】
そして、焦点調整支援装置10は、信号値の差の総和、分散、若しくは標準偏差が、前回得られた熱画像よりも新たに得られた熱画像の方が大きい場合には、利用者に通知を行わず、さらに新たな熱画像を取得する。また、焦点調整支援装置10は、信号値の差の総和、分散、若しくは標準偏差が、前回得られた熱画像よりも新たに得られた熱画像の方が小さくなった場合には、取得された熱画像において焦点が最適化された旨を利用者に対して出力してもよい。
【0086】
また、焦点調整支援装置10は、隣接する画素の信号値の差以外にも、特定領域内における熱分布に基づいて、焦点距離が適切であるか否かを判定するのであれば、任意の手法による判定を採用してよい。例えば、焦点調整支援装置10は、画像解析の技術等を用いて、特定領域内において色彩の境界線が明確であるか否かを判定し、明確であると判定された場合は、焦点距離が適切であると判定してもよい。このような処理を実行した場合であっても、焦点調整支援装置10は、ソフトウェアのみにより、熱画像から焦点距離が適切であるか否かを判定することができる。
【0087】
(3:出力について)
上述した例では、焦点調整支援装置10は、焦点距離が適切である旨の通知を利用者に対して提供した。しかしながら、実施形態は、これに限定されるものではない。例えば、焦点調整支援装置10は、焦点距離が適切ではないと判定された場合は、焦点距離が適切ではない旨の通知を利用者に対して提供してもよい。また、焦点調整支援装置10は、焦点距離が適切であると判定された場合は、焦点距離を固定してもよい。例えば、焦点調整支援装置10は、前回取得された熱画像の焦点距離が適切であると判定した場合は、サーモグラフィ装置100の焦点距離を適切であると判定した焦点距離に変更し、その後、焦点距離を固定してもよい。
【0088】
また、焦点調整支援装置10は、判定結果に基づいて、サーモグラフィ装置100の焦点距離を自動で調整してもよい。例えば、焦点調整支援装置10は、焦点距離が適切であると判定されるまで、サーモグラフィ装置100の焦点距離を自動的に変更し、焦点距離が適切であると判定された場合は、焦点距離を固定してもよい。
【0089】
(4:領域情報について)
また、上述した第2の実施形態においては、マスタとなる焦点調整支援装置10aが、熱画像のうち特定領域となる領域の位置、大きさ、形状を示す領域情報51aを送信した。しかしながら、実施形態は、これに限定されるものではない。
【0090】
例えば、複数のサーモグラフィ装置100a、100bが同種の対象を撮影していたとしても、熱画像において対象が撮影される位置は微妙に変化する。このような変化を吸収するため、例えば、特定領域の大きさをある程度広く設定するという手法が考えれるが、特定領域をより適切に共有するため、マスタが特定した特定領域における熱分布の情報をスレーブに通知してもよい。
【0091】
例えば、焦点調整支援装置10aは、特定領域における熱分布の情報を領域情報51aとして送信する。このような場合、焦点調整支援装置10bは、サーモグラフィ装置100bから取得した熱画像のうち、領域情報51aが示す熱分布と類似する領域を特定領域として探索してもよい。また、焦点調整支援装置10aは、特定領域の位置と熱分布とを示す領域情報51aを送信してもよい。このような場合、焦点調整支援装置10bは、領域情報51aが示す位置の近傍から、熱分布が領域情報51aが示す熱分布と類似する領域を探索すればよい。
【0092】
(5:その他)
なお、マスタとなる焦点調整支援装置10は、任意の数のスレーブとなる焦点調整支援装置10に対して、領域情報を送信してもよい。すなわち、焦点調整支援装置10は、任意の数の装置間で特定領域の共有を行ってもよい。
【0093】
また、焦点調整支援装置10は、サーモグラフィ装置100と同一の装置であってもよい。また、上述した各種の処理は、焦点調整支援装置10が自動的に実行してもよく、いずれか一部の処理が人手により実現されてもよい。
【0094】
以上、実施形態の一例を説明したが、これらは例示であり、本実施形態は上記した説明に限定されるものではない。発明の開示の欄に記載の態様を始めとして、実施形態の構成や詳細は、当業者の知識に基づいて種々の変形、改良を施した他の形態で実施することができる。また、各実施形態については、矛盾しない範囲で任意に組み合わせて実施することができる。
【符号の説明】
【0095】
10、10a、10b 焦点調整支援装置
20、20a、20b 通信部
30、30a、30b 焦点制御部
40、40a、40b 表示部
50、50a、50b 記憶部
51、51a、51b 領域情報
60、60a、60b 制御部
61、61a、61b 取得部
62、62a 領域探索部
63、63a、63b 信号値変化探索部
64、64a、64b 判定部
65、65a、65b 出力部
70 送信部
80 受信部
100、100a、100b サーモグラフィ装置