(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024141498
(43)【公開日】2024-10-10
(54)【発明の名称】レンズ温度異常の自己診断機能付き熱画像装置
(51)【国際特許分類】
G01J 5/48 20220101AFI20241003BHJP
G01J 5/0806 20220101ALI20241003BHJP
G01J 5/90 20220101ALI20241003BHJP
H04N 23/52 20230101ALI20241003BHJP
H04N 17/00 20060101ALI20241003BHJP
【FI】
G01J5/48 C
G01J5/0806
G01J5/90
H04N23/52
H04N17/00 200
【審査請求】未請求
【請求項の数】13
【出願形態】OL
(21)【出願番号】P 2023053191
(22)【出願日】2023-03-29
(71)【出願人】
【識別番号】000133526
【氏名又は名称】株式会社チノー
(74)【代理人】
【識別番号】100109553
【弁理士】
【氏名又は名称】工藤 一郎
(72)【発明者】
【氏名】寺田 大亮
【テーマコード(参考)】
2G066
5C122
【Fターム(参考)】
2G066BA09
2G066BA22
2G066BC12
2G066BC15
2G066CA01
2G066CA02
2G066CA04
2G066CA20
5C122DA16
5C122EA03
5C122FB03
5C122FJ11
5C122FK19
5C122FK35
5C122HB01
(57)【要約】
【課題】受光した赤外線の放射輝度に基づいて温度換算する熱画像装置を用いて監視する電子部品の高温環境下信頼性試験では、熱画像装置のレンズの前にフィルタ等を設置すると放射輝度が下がり温度が不正確となる。そのため恒温槽内に設置した熱画像装置のレンズは電子部品からの赤外線を受けたり、高温雰囲気によって温度上昇したりして、ピントがずれてしまい、正常に監視できなくなる問題があった。
【課題を解決するための手段】許容できないほどのピントずれとなるレンズの温度異常を、取得した映像のデフォーカス状態を判定することによって検出するレンズ温度異常の自己診断機能付き熱画像装置を提供する。
【選択図】
図1
【特許請求の範囲】
【請求項1】
レンズを介して固定距離にある被写体の映像を取得する映像取得部(A)と、
レンズの温度異常がないときに取得した前記固定距離にある映像に関する情報である平常映像情報を保持する平常映像情報保持部(B)と、
取得中の前記固定距離にある被写体の映像に関する情報である現在映像情報を保持する現在映像情報保持部(C)と、
保持されている平常映像情報と現在映像情報とを比較してレンズの温度異常があると判定するためのルールである判定ルールを保持する判定ルール保持部(D)と、
保持されている平常映像情報と現在映像情報と判定ルールとに基づいてレンズが温度異常であるか判定する温度異常判定部(E)と、
を有するレンズ温度異常の自己診断機能付き熱画像装置。
【請求項2】
固定距離にある被写体はデフォーカス状態判定用パターン(F)である、請求項1のレンズ温度異常の自己診断機能付き熱画像装置。
【請求項3】
デフォーカス状態判定用パターン(F)は、放射率が高い領域と、放射率が低い領域が隣接し、交互に繰り返し配置されたパターンである請求項2のレンズ温度異常の自己診断機能付き熱画像装置。
【請求項4】
放射率が高い領域と、放射率が低い領域は、繰り返し方向の各幅は、映像取得部(A)の撮像素子の1画素の瞬時視野の7倍から20倍であるデフォーカス状態判定用パターン(F)を有する請求項2に記載のレンズ温度異常の自己診断機能付き熱画像装置。
【請求項5】
放射率が高い領域と、放射率が低い領域の組の繰り返し配置は、7組以上の繰り返しからなるデフォーカス状態判定用パターン(F)である請求項2に記載のレンズ温度異常の自己診断機能付き熱画像装置。
【請求項6】
放射率が高い領域の放射率は、0.9以上であるデフォーカス状態判定用パターン(F)を有する請求項2に記載のレンズ温度異常の自己診断機能付き熱画像装置。
【請求項7】
放射率が低い領域の放射率は、0.35以下であるデフォーカス状態判定用パターン(F)を有する請求項2に記載のレンズ温度異常の自己診断機能付き熱画像装置。
【請求項8】
請求項1から請求項7のいずれか一に記載のレンズ温度異常の自己診断機能付き熱画像装置を備えた加熱装置。
【請求項9】
前記デフォーカス状態判定用パターン(F)は、加熱対象物(G)とほぼ加熱状態が同等の位置に配置されている請求項8に記載の加熱装置。
【請求項10】
前記レンズ温度異常の自己診断機能付き熱画像装置は、レンズが温度異常であると判定された場合に温度異常を示す旨のアラームを出力するアラーム出力部(H)を有する請求項8に記載の加熱装置。
【請求項11】
レンズを介して固定距離にあるデフォーカス状態判定用パターン(F)の映像を取得する映像取得部(A)と、
レンズの温度異常を判定するための閾値情報を保持する閾値情報保持部(J)と、
取得中の前記固定距離にあるデフォーカス状態判定用パターン(F)の映像に関する情報である現在映像情報を保持する現在映像情報保持部(C)と、
保持されている閾値情報と現在映像情報とを比較してレンズの温度異常があると判定するためのルールである判定ルールを保持する判定ルール保持部(D)と、
保持されている閾値情報と現在映像情報と判定ルールとに基づいてレンズが温度異常であるか判定する温度異常判定部(E)と、
を有するレンズ温度異常の自己診断機能付き熱画像装置。
【請求項12】
レンズを介して固定距離にある被写体の映像を取得する映像取得ステップ(a)と、
レンズの温度異常がないときに取得した前記固定距離にある映像に関する情報である平常映像情報を保持する平常映像情報保持ステップ(b)と、
取得中の前記固定距離にある被写体の映像に関する情報である現在映像情報を保持する現在映像情報保持ステップ(c)と、
保持されている平常映像情報と現在映像情報とを比較して温度異常があると判定するためのルールである判定ルールを保持する判定ルール保持ステップ(d)と、
保持されている平常映像情報と現在映像情報と判定ルールとに基づいて温度異常であるか判定する温度異常判定ステップ(e)と、
を有する計算機であるレンズ温度異常の自己診断機能付き熱画像装置の動作方法。
【請求項13】
レンズを介して固定距離にある被写体の映像を取得する映像取得ステップ(a)と、
レンズの温度異常がないときに取得した前記固定距離にある映像に関する情報である平常映像情報を保持する平常映像情報保持ステップ(b)と、
取得中の前記固定距離にある被写体の映像に関する情報である現在映像情報を保持する現在映像情報保持ステップ(c)と、
保持されている平常映像情報と現在映像情報とを比較して温度異常があると判定するためのルールである判定ルールを保持する判定ルール保持ステップ(d)と、
保持されている平常映像情報と現在映像情報と判定ルールとに基づいて温度異常であるか判定する温度異常判定ステップ(e)と、
を計算機であるレンズ温度異常の自己診断機能付き熱画像装置に読み取り動作可能なプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、レンズの温度異常がないときの被写体の平常映像情報と、取得した現在映像情報を比較し、レンズの温度異常を自己診断する機能を有する熱画像装置に関する発明である。
【背景技術】
【0002】
加熱作業の対象である材料の加熱状態や電子部品の高温環境下での信頼性試験での状態などの把握のために、温度分布を熱画像として取得するサーモグラフィ装置(以下、熱画像装置)で監視することが行われる。材料や電子部品から放射される赤外線を熱画像装置の赤外線撮像素子へ導き、受光した赤外線の放射輝度から温度換算した結果を、白黒諧調または色調(高温を赤、低温を青など)へ変換し二次元の熱画像を得る。赤外線を赤外線撮像素子へ導く際に、レンズを用いて、より広い視野の画像を得ることができる。
【0003】
特許文献1には、測長用の走査型電子顕微鏡において、荷電粒子線の照射によって得られる画像の輝度ヒストグラムの標準偏差を算出し、当該標準偏差に関する値を、当該画像に含まれるパターンのエッジ量に関する値で除算し、当該除算に基づいて得られる値を用いて、前記画像の焦点調整状態を判定する焦点評価方法、及び荷電粒子線装置が開示されている。また上記方法以外に、前記画像に、ガウシアンフィルタ、及びラプラシアンフィルタ[a1]による画像処理を行った後に、前記画像の輝度ヒストグラムの標準偏差を算出することを特徴とする荷電粒子ビームの焦点評価方法も開示されている。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
撮像素子または撮像素子からの信号を熱画像へ変換する電子回路などは高温に弱いために冷却される。一方レンズは、加熱作業の対象材料である被写体側に対向しており、直接冷却することはできない。受光した赤外線の放射強度(輝度)に応じて温度に換算する仕組み上、赤外線を透過する材料で形成したフィルタや窓を設け遮熱を図っても、前記透過材料を通過する際に赤外線が減衰し、測定結果に影響を及ぼす可能性がある。電子部品の高温環境下での信頼性試験など150℃から200℃といった環境では前記窓などを通すと放射強度低下が測定結果に影響を及ぼす可能性があり、レンズの前に窓などを設けられないために、レンズは信頼性試験環境雰囲気や被写体からの輻射熱により加熱される。加熱されたレンズは熱膨張したり、レンズ自身の温度によって屈折率が変化したりするために、レンズが温度異常となると取得する熱画像は許容範囲を超えてピントがずれた状態となってしまうという問題があった。またレンズ自身の温度変化によって透過率も変化するために放射輝度値が変化し換算して得られる温度指示値も変化してしまう問題があった。
【0006】
特許文献1には、測長用の走査型電子顕微鏡の焦点調整状態を判定する方法については開示されているが、合焦点程度が悪い場合の原因特定方法については開示されていない。レンズを有し熱画像を取得する熱画像装置に対してはレンズの温度異常を検出できないという問題があった。
【0007】
そこで本発明は、部品等の追加なく、レンズに温度異常がないときの平常映像情報またはレンズの温度異常を判定するための閾値情報と、現在の被写体の映像に関する現在映像情報と、判定ルールに基づいて、レンズが温度異常か判定する自己診断機能付き熱画像装置を提供する。
【課題を解決するための手段】
【0008】
以上のようなレンズ温度異常の自己診断機能付き熱画像装置に関する課題を解決するために、本願では、第一の発明として、
レンズを介して固定距離にある被写体の映像を取得する映像取得部(A)と、
レンズの温度異常がないときに取得した前記固定距離にある映像に関する情報である平常映像情報を保持する平常映像情報保持部(B)と、
取得中の前記固定距離にある被写体の映像に関する情報である現在映像情報を保持する現在映像情報保持部(C)と、
保持されている平常映像情報と現在映像情報とを比較してレンズの温度異常があると判定するためのルールである判定ルールを保持する判定ルール保持部(D)と、
保持されている平常映像情報と現在映像情報と判定ルールとに基づいてレンズが温度異常であるか判定する温度異常判定部(E)と、
を有するレンズ温度異常の自己診断機能付き熱画像装置を提供する。
【0009】
第二の発明として、第一の発明を基礎として、
固定距離にある被写体はデフォーカス状態判定用パターン(F)である、請求項1のレンズ温度異常の自己診断機能付き熱画像装置を提供する。
【0010】
第三の発明として、第二の発明を基礎として、
デフォーカス状態判定用パターン(F)は、放射率が高い領域と、放射率が低い領域が隣接し、交互に繰り返し配置されたパターンである[渡邊 亨2]レンズ温度異常の自己診断機能付き熱画像装置を提供する。
【0011】
第四の発明として、第二又は第三の発明のいずれか一を基礎として、
放射率が高い領域と、放射率が低い領域は、繰り返し方向の各幅は、映像取得部(A)の撮像素子の1画素の瞬時視野の7倍から20倍であるデフォーカス状態判定用パターン(F)を有するレンズ温度異常の自己診断機能付き熱画像装置を提供する。
【0012】
第五の発明として、第二から第四の発明のいずれか一を基礎として、
放射率が高い領域と、放射率が低い領域の組の繰り返し配置は、7組以上の繰り返しからなるデフォーカス状態判定用パターン(F)であるレンズ温度異常の自己診断機能付き熱画像装置を提供する。
【0013】
第六の発明として、第二から第五の発明のいずれか一を基礎として、
放射率が高い領域の放射率は、0.9以上であるデフォーカス状態判定用パターン(F)を有するレンズ温度異常の自己診断機能付き熱画像装置を提供する。
【0014】
第七の発明として、第二から第六の発明のいずれか一を基礎として、
放射率が低い領域の放射率は、0.35以下であるデフォーカス状態判定用パターン(F)を有するレンズ温度異常の自己診断機能付き熱画像装置を提供する。
【0015】
第八の発明として、第一から第七の発明のいずれか一を基礎とした、
レンズ温度異常の自己診断機能付き熱画像装置を備えた加熱装置を提供する。
【0016】
第九の発明として、第八の発明を基礎とした、
前記デフォーカス状態判定用パターン(F)は、加熱対象物(G)とほぼ加熱状態が同等の位置に配置されている加熱装置を提供する
【0017】
第十の発明として、第八又は第九の発明のいずれか一を基礎とした、
前記自己診断機能付き熱画像装置は、レンズが温度異常であると判定された場合に温度異常を示す旨のアラームを出力するアラーム出力部(H)を有する加熱装置を提供する。
【0018】
第十一の発明として、
レンズを介して固定距離にあるデフォーカス状態判定用パターン(F)の映像を取得する映像取得部(A)と、
レンズの温度異常を判定するための閾値情報を保持する閾値情報保持部(J)と、
取得中の前記固定距離にあるデフォーカス状態判定用パターン(F)の映像に関する情報である現在映像情報を保持する現在映像情報保持部(C)と、
保持されている閾値情報と現在映像情報とを比較してレンズの温度異常があると判定するためのルールである判定ルールを保持する判定ルール保持部(D)と、
保持されている閾値情報と現在映像情報と判定ルールとに基づいてレンズが温度異常であるか判定する温度異常判定部(E)と、
を有するレンズ温度異常の自己診断機能付き熱画像装置を提供する。
【0019】
さらに、第一の発明から第十一の発明の計算機である自己診断機能付き熱画像装置の動作方法と、読み込み可能な動作プログラムも提供する。また、動作プログラムは記録媒体に記録されたものであってもよい。
【発明の効果】
【0020】
以上の構成を有する本発明の自己診断機能付き熱画像装置は、レンズに温度異常がないときの平常映像情報と、現在の被写体の映像に関する現在映像情報と、判定ルールに基づいて、レンズが温度異常か判定する自己診断機能付き熱画像装置を提供する。
【図面の簡単な説明】
【0021】
【
図3】実施形態1にかかる発明のハードウェア構成概略図
【
図4】実施形態1にかかる発明のピントずれ(レンズ温度異常)判定説明図
【
図5b】実施形態2にかかる発明のデフォーカス状態判定用パターン(F)例1
【
図5c】実施形態2にかかる発明のデフォーカス状態判定用パターン(F)例2
【
図5d】本発明におけるデフォーカス状態判定用パターン(F)の配置例1
【
図5e】本発明におけるデフォーカス状態判定用パターン(F)の配置例2
【
図5f】本発明におけるデフォーカス状態判定用パターン(F)の配置例3
【
図6】実施形態2にかかる発明のデフォーカス状態判定説明図
【
図7】実施形態3にかかる発明のデフォーカス状態判定用パターン(F)例1
【
図8】実施形態3にかかる発明のデフォーカス状態判定用パターン(F)例2
【
図9】実施形態4にかかる発明のデフォーカス状態判定用パターン(F)説明図
【
図10】実施形態5にかかる発明のデフォーカス状態判定用パターン(F)例
【
図11】実施形態6にかかる発明のデフォーカス状態判定用パターン(F)例
【
図12】実施形態7にかかる発明のデフォーカス状態判定用パターン(F)例
【
図15】実施形態10にかかる発明の機能ブロック図
【
図16】実施形態10にかかる発明のフローチャート
【
図17】実施形態10にかかる発明のハードウェア構成概略図
【
図18】実施形態11にかかる発明の機能ブロック図
【
図19】実施形態11にかかる発明のフローチャート
【
図20】実施形態11にかかる発明のハードウェア構成概略図
【発明を実施するための形態】
【0022】
<全実施形態の説明の前提>
<本発明を構成し得るハードウェアについて>
本件発明は、原則的に電子計算機を利用する発明であるが、少なくとも一部はソフトウェアによって実現され、ハードウェアによっても実現され、ソフトウェアとハードウェアの協働によっても実現される。この場合に、ソフトウェアはハードウェア資源を利用して各種演算を行い求められるデータや情報を通じて諸機能を実現する。ソフトウェアによる情報処理が、ハードウェア資源を用いて具体的に実現されていると言える。
【0023】
本件発明の各構成要件の全部又は一部を実現するハードウェアでは、計算機の基本的構成であるCPU、メモリ、バス、入出力装置、各種周辺機器、ユーザーインターフェイスなどによって構成される。各種周辺機器には、記憶装置、インターネット等インターフェイス、インターネット等機器、LAN機器、Wifi(登録商標)機器、ディスプレイ、ディスプレイインターフェイス、キーボード、マウス、スピーカ、マイク、カメラ、熱画像素子、ビデオ、テレビ、CD装置、DVD装置、ブルーレイ装置、USBメモリ、USBメモリインターフェイス、着脱可能タイプのハードディスク、一般的なハードディスク、プロジェクタ装置、SSD、電話、ファックス、コピー機、印刷装置、ムービー編集装置、各種センサ装置などが含まれうる。
【0024】
また、本システムは、必ずしも一つの筐体によって構成されている必要はなく、複数の筐体を通信で結合して構成されるものであってもよい。また、通信は、LANであってもWAN、Wifi(登録商標)、ブルートゥース(登録商標)、赤外線通信、超音波通信、近距離無線通信(NFC)、携帯電話網であってもよく、さらに、一部が国境を跨いで設置されていてもよい。
【0025】
<全実施形態における本願発明の自然法則の利用性の充足>
【0026】
本発明は、計算機とソフトウェアとの協働で機能するものである。本発明では、加熱対象物またはデフォーカス状態判定用パターン(F)から放射された赤外線を光学系経由で赤外線撮像素子へ導き電気信号へ変換し、得られた電気信号を電子回路で処理し、温度を諧調または色調の変化として表現した二次元の熱画像を得る処理を行う。赤外線撮像素子からの電気信号から熱画像を得て、保持されたレンズの温度異常がないときの平常映像情報と、現在映像情報と、判定ルールに基づいて、温度異常であるか判定する本発明の熱画像装置は後記するように計算機であり、上記のように加熱対象物またはデフォーカス状態判定用パターン(F)から放射された赤外線を受光した赤外線撮像素子からの電気信号に基づいて演算処理を行うため、本願発明は自然法則を利用した発明である。
【0027】
<ハードウェア構成>
【0028】
図21に本装置の全体構成例1の概略を示す。
図21は電子部品の高温環境下での信頼性試験に本発明の熱画像装置を使用した場合の例である。
図21には、恒温槽(2120)と、その恒温槽(2120)内に配置されている加熱対象物(G)(2107)である高温環境下での信頼性試験サンプルである電解コンデンサやICを搭載した基板や、加熱対象物(G)(2107)の背後(レンズに対し遠い側)にあってレンズの被写界深度内に近接したデフォーカス状態判定パターン(F)(2106)と、レンズ(2108)や映像取得部(A)(2101)や平常映像情報保持部(B)(2102)や現在映像情報保持部(C)(2103)や判定ルール保持部(D)(2104)や温度異常判定部(E)(2105)などからなる熱画像装置(2100)と、本発明の熱画像装置(2100)が接続されるインターネット回線(2150)(LAN回線でもよい)と、サーバ装置(2151)と、作業者が本発明の熱画像装置を遠隔操作するためのPC(2152)が示されている。恒温槽(2120)内には熱画像装置(2100)が加熱対象物(G)(2107)及びデフォーカス状態判定用パターン(F)(2106)の映像を得るためにレンズが正対するように本発明の熱画像装置が設置されている。本発明の熱画像装置の筐体内は内部に配した水冷配管を通る冷却水で冷却されるが、レンズ(2108)は恒温槽(2129)内の高温雰囲気にさらされるとともに被写体である加熱対象物(G)(2107)とデフォーカス状態判定用パターン(F)(2106)から赤外線が注がれている。赤外線を受光した映像取得部(A)(2101)は被写体(加熱対象物(G)又は/及びデフォーカス状態判定用パターン(F))の映像を取得し、映像をインターネット回線(2150)経由で、サーバ装置(2151)やPC(2152)へ出力する。また平常映像情報と現在映像情報と判定ルールとに基づいてレンズが温度異常であるかを判定した結果をも、インターネット回線(2150)経由で、サーバ装置(2151)やPC(2152)へ出力する。
【0029】
図21に示したような恒温槽内に加熱対象物と本発明の熱画像装置をともに配置する構成ではなく、
図23に示す全体構成例2のように加熱加工槽(2320)と、その加熱加工槽(2320)内に配置されているヒーター(2321)や加熱対象物(G)(2307)やデフォーカス状態判定パターン(F)(2306)と、レンズ(2310)や映像取得部(A)(2301)(
図23中の点線で囲んだ部分)や平常映像情報保持部(B)(2302)や現在映像情報保持部(C)(2303)や判定ルール保持部(D)(2304)や温度異常判定部(E)(2305)などからなる熱画像装置(2300)と、本発明の熱画像装置(2300)が接続されるインターネット回線(2350)(LAN回線でもよい)と、サーバ装置(2351)と、作業者が本発明の熱画像装置を遠隔操作するためのPC(2352)とから構成される態様であってもよい。加熱加工槽(2320)は熱画像装置(2300)が加熱対象物(G)(2307)またはデフォーカス状態判定用パターン(F)(2306)の映像を得るための窓が開けられており、前記窓を通して熱画像装置(2300)のレンズ(2308)へ赤外線が注がれている。赤外線を受光した映像取得部(A)(2301)は被写体(加熱対象物又は/及びデフォーカス状態判定用パターン)の映像を取得し、映像をインターネット回線(2350)経由で、サーバ装置(2351)やPC(2352)へ出力する。また平常映像情報と現在映像情報と判定ルールとに基づいて温度異常であるか判定した結果をも、インターネット回線(2350)経由で、サーバ装置(2351)やPC(2352)へ出力する。なお
図23では他図とは異なり映像取得部(A)や熱画像装置は冷却機構を設けていない。本発明は、冷却機構を設けない熱画像装置に対しても本発明を適用することができる。
【0030】
図22は本発明の各実施形態のレンズ温度異常の自己診断機能付き熱画像装置における計算機部分のハードウェア構成の一例を示す図である。PCに準じた構成とした場合を例として、本実施形態におけるレンズ温度異常の自己診断機能付き熱画像装置のハードウェア構成について、
図22を用いて説明する。なお、本システムにサーバを用いる場合には、サーバもPCに準じた構成としてもよく、以降のハードウェア構成の説明と同様であるため、説明を省略する。
【0031】
この図にあるように、計算機は、マザーボード上に構成されるチップセット、CPU、不揮発性メモリ、メインメモリ、各種バス、BIOS(またはUEFI)、USBやLANなどの各種周辺機器や通信回線接続用インターフェイス、リアルタイムクロック等や、グラフィックカードなどの拡張カードからなる。これらはオペレーティングシステムやデバイスドライバ(USBなどの各種インターフェイス、カメラ、赤外線撮像素子、マイク、スピーカ又はヘッドホン、ディスプレイなどの各種機器組込み用)、各種プログラムなどと協働して動作する。USB端子(またはPS/2ポート)経由で接続されるキーボードやマウスなどの入力信号も用いて、本発明を構成する各種プログラムや各種データはこれらのハードウェア資源を効率的に利用して各種の処理を実行するように構成されている。LAN端子などを通じてインターネット回線へ接続される。インターネット回線への接続にWiFi(登録商標)を使用して接続したり、携帯電話回線網を介して接続したりしてもよい。本発明のレンズ温度異常の自己診断機能付き熱画像装置の赤外線の撮像素子または赤外線の撮像素子が出力する信号を演算処理する演算ボードは、USBやその他のデータ通信経路で接続され、赤外線撮像素子からの出力信号またはその演算処理ボードからの出力を前記計算機部分で処理する。
【0032】
以下ハードウェアとしてコンピュータを構成する主な部品について、例として説明する。なおこれらの例に本発明は限定されない。
≪チップセット≫
【0033】
「チップセット」は、計算機のマザーボードに実装され、CPUの外部バスと、マザーボードに搭載された不揮発性メモリや周辺機器を接続する標準バスとの連絡機能、つまりブリッジ機能を集積した大規模集積回路(LSI)のセットである。古くは、CPUと接続しメインメモリやグラフィックス処理用のチップ(GPU)を搭載したグラフィックスカードとの間のように高速性を求められる処理を行うノースブリッジと、ノースブリッジと接続し比較的低速なインターフェイスとの間の処理をするサウスブリッジの2チップ構成であった。近年は、CPUにノースブリッジ機能が統合され、以前のサウスブリッジのみとなったが、引き続きチップセットとも呼ばれる。本明細書ではCPUにノースブリッジの機能が内蔵されたサウスブリッジのみの1チップ構成で説明する。なお前記のようにノースブリッジとサウスブリッジの2チップ構成の場合でも、サウスブリッジの機能をもCPUに統合したチップセットなしの場合でも、本発明の効果は変わらない。
【0034】
(サウスブリッジ)
チップセットが1構成チップ時のサウスブリッジは、PCI Expressインターフェイス(スロット)、SATA(Serial ATA)またはeSATAインターフェイス、USBインターフェイス、LAN(Ethernet)インターフェイス、リアルタイムクロックなどとのI/O機能やサウンド機能を担う。1チップ構成時のチップセットは、ディスプレイや、USB/LAN端子などの外部接続や、HDDやSSDとの接続用のSATAなどや、PCI Expressなどのインターフェイスを制御する処理を行うチップであり、CPUとはポイント・ツー・ポイントのハードウェアインターフェイス(例えばDMI:Direct Media Interface)で接続される。チップによっては、不揮発性メモリ(HDDなど)のRAID(Redundant Arrays of Inexpensive Disks:複数のHDDなどをひとつのドライブのように認識・表示させる技術)をサポートする。
また近年使われることが少なくなった、高速な動作が必要でない、あるいは不可能であるようなPS/2ポート、フロッピーディスクドライブ、RS-232Cなどのシリアルポート、プリンタ向けのIEEE1284などのパラレルポート、ISAバスなどをサポートする場合には、サウスブリッジにLow Pin Countバスで接続するスーパーI/Oチップと呼ばれる別のLSIが使われる。
【0035】
≪バス≫
バスにはパラレルバスとシリアルバスとがある。パラレルバスは、ビット数分の信号線を用意して、クロックに同期させて伝送する。クロック信号の専用線をデータ線と平行して設け、受信側でのデータ復調の同期を行う。シリアルバスは、1ビットずつデータを転送する。
マザーボード上の周辺機器や各種制御部と、CPU(MPU)と、を繋ぐためにバスが用いられる。CPU内部でCPUコアとキャッシュメモリなどを接続する内部バスに対し、CPUとCPU外のメモリ等を接続するためのバスは外部バスと呼ばれる。CPUに内蔵されたメモリコントローラとメインメモリとの間をつなぐ外部バスは、例えばDDR4-SDRAM(Double-Data-Rate4 Synchronous Dynamic Random Access Memory)を使用するDDR4規格対応の場合は64bit幅のパラレルバスである。DDR4規格の一例としてDDR4-3200メモリ規格対応であれば、メモリ最大動作周波数3200MHz×バス幅64(bit)÷8(bit→Byte変換)=25.6(GB/s)の帯域幅となる。CPUとサウスブリッジ間の接続には上記のようにDMI(Direct Media Interface)などのポイント・ツー・ポイント接続が使われる。
PCI ExpressやSATA等の外部接続用の拡張バスはチップセットによって連結される。パラレルバスとしては、GPIB、IDE/(パラレル)ATA、SCSI、PCIなどがある。
シリアルバスは、1ビットずつデータを転送する。高速化に限界があるため、PCIの改良版PCI Expressでは、ポイント・ツー・ポイント配線とシリアル転送方式を採用している。USBや、SATAもデータ転送はシリアルである。
【0036】
≪CPU≫
【0037】
CPUはメインメモリ上にあるプログラムと呼ばれる命令列を順に読み込んで解釈・実行することで信号からなる情報を同じくメインメモリ上に出力する。CPUは計算機内での演算を行なう中心として機能する。なお、CPUは演算の中心となるCPUコア部分と、その周辺部分とから構成され、CPU内部にレジスタ、キャッシュメモリ(1次、2次、3次)や、キャッシュメモリとCPUコアとを接続する内部バス、メモリコントローラ、タイマー、サウスブリッジとの接続バスとのインターフェイスなどが含まれる。CPUにグラフィック機能(GPU)を統合している場合は、グラフィックスインターフェイスやCPUコアと接続する内部バスなども含まれる。GPUを内蔵したCPUで外付けグラフィックスボードを使用する場合は、CPUに内蔵されたグラフィックインターフェイス(PCI Expressなど)に接続される。
なお、CPUコアは一つのCPU(チップ)に複数備えられていてもよい。実施形態での説明は2コアタイプのものであるが、これに限定されない。またCPUチップを複数備える構成であってもよい。CPU内にプログラムを内蔵することもできる。
【0038】
≪不揮発性メモリ≫
【0039】
(HDD)
【0040】
ハードディスクドライブの基本構造は、磁気ディスク、磁気ヘッド、および磁気ヘッドを搭載するアームから構成される。外部インターフェイスは、SATA(過去ではATA)やSAS(Serial Attached SCSI、過去ではSCSI)などを採用することができる。HDDのインターフェイスは大きくは前記のATA系とSCSI系に二分される。ATA系は物理的に接続された相手に一方的にデータを送る方式であり、マザーボード上のBIOS(またはUEFI)に依存するために、CPUの処理時間を常に要求する。SCSI系は接続された相手の状態を確認しながら正確にデータを送る方式であり、HDD内に制御用システムを備えるため、CPUの負荷を抑えられる。ATA系は廉価で大容量であるが、SCSI系はサーバ向けのシステムから発展し、高速性や拡張性の高さで優れ、SCSIコマンドをマルチスレッドで処理できるため、高負荷環境下でも高い信頼度をもつ。
HDDは容量単価に優れるが、上記のように可動部を含むためアクセスに時間を要することや機械的故障の懸念があることから、高い信頼性を要求されるサーバ装置向けなどでRAIDを使い、複数台のHDDに同時に分散して読み書きしたり、複数のHDDに同じファイルを書き込んだりといった構成をとることができる。
【0041】
(フラッシュメモリ)
現在、NAND型フラッシュメモリとNOR型フラッシュメモリの2種が一般に使われている。読み出し書き出し速度は一長一短あるが、NAND型の方が高集積化には有利であり、データストレージ用途に使われる。ハードディスクドライブと比較し、可動部がないため小型で、稼動時の振動や音が発生しない。但し容量単価はハードディスクドライブを置き換えるようなところまで下がってはいない。ハードディスクドライブよりも高価だが、装置が小型化でき、衝撃などにも強くなるという利点がある。スマートフォンや携帯情報端末では、搭載されるデータストレージ目的の記憶容量は通常64GB~256GB程度であるため、小型軽量化目的もあってフラッシュメモリが使われる。PCなどではOSやアプリケーションソフトを記憶するアクセス頻度の高いドライブにはフラッシュメモリからなるソリッドステートドライブ(SSD)が使用されるようになりつつある。
【0042】
≪メインメモリ≫
【0043】
CPUが直接アクセスしてメインメモリ上の各種プログラムを実行する。メインメモリは揮発性のメモリでDRAMが用いられる。メインメモリ上のプログラムはプログラムの起動命令を受けて不揮発性メモリからメインメモリ上に展開される。その後もプログラム内で各種実行命令や、実行手順に従ってCPUがプログラムを実行する。
【0044】
≪オペレーティングシステム(OS)≫
【0045】
オペレーティングシステムは計算機上の資源をアプリケーションに利用させるための管理をしたり、各種デバイスドライバを管理したり、ハードウェアである計算機自身を管理するために用いられる。小型の計算機ではオペレーティングシステムとしてファームウェアを用いることもある。
【0046】
≪UEFI≫
【0047】
以前使用されていたBIOSを発展させた後継として同様の役割[渡邊 亨3][a4]をするUEFI(Unified Extensible Firmware Interface)が近年使われている。UEFIもBIOSと同様フラッシュROMに格納された状態でマザーボード上に搭載される。UEFIを収めたフラッシュROMチップは、計算機のハードウェアを立ち上げてオペレーティングシステムを稼働させるための手順をCPUに実行させるもので、最も典型的には計算機の起動命令を受けるとCPUが最初に読取りに行くハードウェアである。ここには、ディスク(不揮発性メモリ)に格納されているオペレーティングシステムのアドレスが記載されており、CPUに展開されたUEFIによってオペレーティングシステムが順次メインメモリに展開されて稼働状態となる。なお、UEFIは、バスに接続されている各種デバイスの有無をチェックするチェック機能をも有している。チェックの結果はメインメモリ上に保存され、適宜オペレーティングシステムによって利用可能な状態となる。なお、外部装置などをチェックするようにUEFIを構成してもよい。
【0048】
<熱画像装置>
赤外線を受光し被写体の温度を諧調または色調で表現した二次元の熱画像を得る熱画像装置の主な部品である赤外線レンズと赤外線撮像素子について以下悦明する。
【0049】
<熱画像装置:赤外線レンズ>
赤外線レンズには、赤外線検出器の検出する波長領域の赤外線を透過する材料を用いる。ガラスは可視光を主として、近赤外線までは透過するが波長2μm以上の中波長赤外線領域では透過率が落ちる。赤外線レンズ材料としてはジンクサルファイト(ZnS)や、カルコゲナイド(酸素,イオウ,セレン,テルル,ポロニウム 5元素の化合物から成る非晶質体)、ジンクセレン(ZnSe)などが使用される。一般的に測定に使用される赤外線の波長は、8μmから13μmくらいの範囲の波長となるため、ゲルマニウムやZnS、シリコンが使われる。レンズ材料の価格と性能によって適宜選択することができる。
【0050】
<熱画像装置:赤外線検出素子>
赤外線検出素子として、近赤外領域などは可視光を受光することが主目的であるCCD素子を用いたビデオカメラやデジタルカメラでも赤外線カットフィルターを外すことで検出できる。放射温度などを図る目的で物体から放射される中波長赤外線や遠赤外線を検出するための熱画像検出器としては、熱型検出器(非冷却型)と量子型検出器(冷却型)の2種類がある。熱型検出器では、入ってきた赤外線によるセンサの温度変化を、電気抵抗の変化や熱起電力や、焦電効果などの物理現象の変化として検出したものを電気信号に変えて出力し測定している。熱結合はお互いに温度を合わせようとする現象だが、センサ1つ1つはとても小さいため、自身の温度はほぼ影響しない。もう1種類の量子型検出素子は、入ってきた赤外線をそのまま量子に変えるセンサである。赤外線の光量子を格子数に比例した電気信号に変えて測定する。熱型よりも応答が速く、高感度という特長があるが、測定回路自身が発する熱などの熱雑音の影響を受けやすく、温度の誤差が出てしまうため、基本的に液体窒素などで充分低い温度まで冷却しなければならない。
【0051】
熱型検出器としては、ボロメータ、パイロメータ、熱電対、熱電対を直列に接続したサーモパイル素子などがある。MEMS技術を使用してボロメータを2次元的に配置したマイクロボロメータは、微細加工技術により、シリコン基板上にスタットと呼ばれる柱を立て、酸化バナジウムやアモルファスシリコンによる感熱素子の薄膜を空中に成型し、二次元格子状に形成して作られる。
【0052】
<熱画像装置:画像処理>
赤外線撮像素子としてボロメータを使用した場合を例に説明する。赤外線がボロメータの感熱素子の酸化バナジウムやアモルファスシリコンによる薄膜にあたると上下に温度変化する。温度変化により抵抗値が変わり、電流を流しその抵抗値を測定することにより、赤外線のエネルギー量が計測できる。赤外線のエネルギー量と温度の相関関係から、マイクロボロメータからの信号を、赤外線エネルギー量として算出し、見かけの温度分布として輝度諧調やコントラスト又はカラーパターンに当てはめた温度画像とする。
【0053】
図に示すように、本発明は基本的に汎用計算機プログラム、各種デバイスで構成することが可能である。計算機の動作は基本的に不揮発性メモリに記録されているプログラムをメインメモリにロードして、メインメモリとCPUと各種デバイスとで処理を実行していく形態をとる。デバイスとの通信はバス線と繋がったインターフェイスを介して行われる。インターフェイスには、ディスプレイインターフェイス、USB、LAN端子、PCI Expressインターフェイス、通信バッファ等が考えられる。
【0054】
以下に記載するレンズ温度異常の自己診断機能付き熱画像装置を構成する各機能ブロックは、いずれもハードウェア、ソフトウェア、又はハードウェア及びソフトウェアのいずれによっても実現され得る。具体的には、コンピュータを利用するものであれば、CPUやメインメモリ、GPU、画像メモリ、グラフィックボード、バス、あるいは二次記憶装置(ハードディスクやフラッシュメモリなどの不揮発性メモリ、CDやDVDなどの記憶媒体とそれらの媒体の読取ドライブなど)、情報入力に利用される操作ボタン等の入力デバイス、マウス、タッチパネル、専らタッチパネルをタッチする目的で利用する電子ペン、ジョイスティック又はジョイスティック類似のポインタ位置入力装置その他の外部周辺装置などのハードウェア構成部、またその外部周辺装置用のインターフェイス、LAN端子などの通信用インターフェイス、GPS受信インターフェイス、GPS用演算装置、ジャイロセンサ、加速度センサ、回転検出センサ、これらセンサの信号の処理装置、カメラ、赤外線撮像素子、画像ファイル処理回路、スピーカ、マイク、音声ファイル処理回路、通信用インターフェイス、バーコードリーダー、電子カードリーダー、POS端末、顔認証装置、暗号化装置、指紋認証装置、掌紋認証装置、網膜認証装置などの生体認証装置や、それらハードウェアを制御するためのドライバプログラムやその他アプリケーションプログラムなどが挙げられる。特にスマートフォン、タブレット端末、携帯電話、スマートウォッチ、パーソナルコンピュータ、データセンターのサーバ装置、有線・無線ネットワーク及びインターフェイスなどを利用する。
【0055】
メインメモリ上に展開したプログラムに従ったCPUの演算処理によって、入力デバイスやその他インターフェイスなどから入力されメモリやハードウェア上に保持されているデータなどが加工、蓄積されたり、前記各ハードウェアやソフトウェアを制御するための命令が生成されたりする。ここで、上記プログラムは、モジュール化された複数のプログラムとして実現されてもよいし、二以上のプログラムを組み合わせて一のプログラムとして実現されても良い。
【0056】
また、本発明は、その一部をソフトウェアとして構成することも可能である。さらに、そのようなソフトウェアが記録された記憶媒体も当然に本発明の技術的な範囲に含まれる(本実施形態に限らず、本明細書の全体を通じて同様である。)。
【0057】
<本願発明において使う用語について>
【0058】
「識別情報」とは、何らかを識別するために用いられる記号、文字、符号などである。ただし、識別情報そのものが識別される情報そのものである場合があってもよい。例えば、例えば、文字列記録Aを識別する情報である識別情報が、文字列記録A自身である場合があってよい。従って識別情報は単なる記号、文字、符号である場合とその記号、文字、符号などで識別される名称や座標などである場合が同時に成立してもよい。
【0059】
「関連付け」とは、二以上の情報が直接的に関連付けられている場合の他、二以上の情報が他の一以上の情報を介して間接的に関連付けられている場合も含む意味で本願明細書においては用いられる。間接的な関連付けは、必ずしも一の装置(筐体が一の筐体である装置)内での関連付けに限定されず、複数の装置にわたって関連付けられている場合も含まれる。
【0060】
「基づいて」とは、対象そのものに拠る場合と、対象に何らかの処理をした後のものに拠る場合の両方を含む。例えば、「平常映像情報と現在映像情報と判定ルールとに基づいて判定」とは、「平常映像情報と現在映像情報と判定ルールと」そのものを使用して判定してもよいし、「平常映像情報」又は/及び「現在映像情報」を処理した情報と「判定ルール」とを用いて判定してもよい。
【0061】
以下、本発明の実施の形態を図示例と共に説明する。
【0062】
<実施形態1 概要>主に請求項1、12、13
実施形態1の本発明のレンズ温度異常の自己診断機能付き熱画像装置は、加熱炉などの中で加熱処理されたり、恒温槽内で高温保持されたりする対象である加熱対象物(G)の加熱状態の情報を、レンズを介して熱画像として取得するための装置である。映像取得部(A)で取得し保持した平常映像情報(レンズが熱によって変形したり屈折率が変化したりしていない状態のときの映像)と、取得中の現在映像情報と、判定ルールに基づいてレンズの温度が温度異常となってレンズの変形が生じたり屈折率が変化したりしている状態であるか判定するように構成される。レンズが温度異常の場合には加熱対象物(G)の加熱状態の情報が正しく取得できていないと考えられるために何らかの対応(例:作業の中止や、作業内容の変更や、作業終了後の加熱対象物現品の調査検品や、異常発生した部分の記録など)をとる必要がある。
【0063】
<実施形態1 機能的構成>
図1に、恒温槽内で高温環境下信頼性試験される電子部品の熱画像を得るために本発明の熱画像装置を使用する例として、実施形態1のレンズ温度異常の自己診断機能付き熱画像装置の機能ブロック図を示す。実施形態1のレンズ温度異常の自己診断機能付き熱画像装置(0100)は、映像取得部(A)(0101)と、平常映像情報保持部(B)(0102)と、現在映像情報保持部(C)(0103)と、判定ルール保持部(D)(0104)と、温度異常判定部(E)(0105)と、を有する。
【0064】
なお、上記概略構造は本発明を実施するための一例であって、本発明が克服すべき課題及びその効果と矛盾しない範囲において適宜その構造を省略したり、新たな構造を付加したりしてよい。本明細書では主に、電子部品の高温環境下信頼性試験のために、加熱対象物である電子部品とともに恒温槽内に本発明の熱画像装置も配置する例を用いて実施形態の説明を行うが、材料の焼入れや、焼なましや、焼戻しやアニールや、樹脂押出しや、不織布や抄紙加熱ロール乾燥後の監視など熱画像を取得する様々な例に本発明は適用できる。以下の本明細書では、前記のように恒温槽内に加熱対象物と本発明の熱画像装置をともに配置する例を用いて説明するが、熱画像装置の少なくとも映像取得部(A)を恒温槽内に配置する構成(映像取得部(A)以外は恒温槽外に分けて配置)としてもよい。または、恒温槽を使わずにヒーター上の加熱対象物を所定距離離れた熱画像装置で測定するような構成でもよい(
図23参照)。ヒーターなどによって常時加熱される加熱対象物ではなく、高温状態の対象物の冷却過程の測定にも使用できる。また本明細書中の図では熱画像装置は冷却水で水冷されるように図示されているが、映像取得部(A)など熱画像装置の一部のみ冷却する構成や、または冷却機構を設けない構成の熱画像装置に対しても本発明を適用することができる。以下の実施形態1以降の説明でも同様である。
【0065】
<実施形態1 構成の説明>
<実施形態1 映像取得部(A)(0101)>
「映像取得部(A)」(0101)は、レンズを介して固定距離にある被写体の映像を取得するように構成される。
【0066】
「被写体」は、レンズの温度異常を判定するために利用されるピントずれの判定(デフォーカス状態判定)のために、映像を取得する対象物である。被写体は、加熱作業が行われる対象である後記加熱対象物(G)であってもよいし、レンズの温度異常を判定するための専用物(後記するデフォーカス状態判定用パターン(F))であってもよいし、その両方の映像を同時に一視野で取得してもよい。レンズの温度異常を判定するための専用物の場合には、レンズ側に向いた平面内で放射率の高い領域と放射率の低い領域の2種による模様を描いたものや、レンズ側に向いた面に凹凸で輪郭が明確な模様を形成したものなどでもよい。専用物を用いる場合、加熱対象物は映像取得部(A)の被写界深度の範囲内の距離にあればよい。前記専用物を用いずに加熱対象物(G)の画像からのピントずれ検出が難しい場合には、加熱作業の対象である加熱対象物以外に映像取得部(A)の視野に入りうる、加熱作業時のヒーターや治具や装置の映像中で輪郭が明確な部分なども、ピントのずれを検出しレンズの温度異常を判定するための被写体の一例として使用できる。
【0067】
本発明のレンズ温度異常の自己診断機能付き熱画像装置は、何らかの加熱作業または高温保持中の物体の熱画像を映像として取得する。そのため加熱作業(高温保持)中は本発明の熱画像装置と被写体は固定距離にあるように構成される。加熱作業(高温保持)の仕様が変わると距離が変更となる場合があるため、本発明の熱画像装置の映像取得部(A)は一の固定距離に限定された固定焦点型ではないことが望ましい(ただし固定焦点型であることを妨げない)。
【0068】
本発明の熱画像装置が利用される加熱作業は、所定数の加熱対象物(G)を一度にまとめて処理するバッチ処理が主対象となるが、熱画像である映像の取得に要する時間(写真での露出時間)が十分短ければ連続処理へ適用してもよい。連続式の場合は、加熱対象物(G)が映像取得部(A)に対して一定の固定距離(映像取得部(A)の被写界深度の範囲内)となるように移動しなければならない。
【0069】
図1及び以降の類似の図で、映像取得部(A)筐体の外側にあって、映像取得部(A)全体を囲っている点線は、レンズを含めた映像取得部(A)である部分を示す。
【0070】
図1では、後記する平常映像情報保持部(B)、現在映像情報保持部(C)、判定ルール保持部(D)、温度異常判定部(E)、後記実施形態で説明するアラーム出力部(H)などは、映像取得部(A)と同じ筐体内に配置されているが、外の離れた(熱の影響を受けにくいほどの距離離れることが好ましい)場所に設置するように構成してもよい。
【0071】
「映像取得部(A)(0101)」は、固定距離にある被写体の映像を取得する。映像取得部(A)の一例としては、少なくとも一枚のレンズと、被写体位置に応じてピント調整するためのピント調整機構と、2次元映像を撮影できる撮像素子と、撮像素子から出力される映像信号を受けて2次元の映像として生成する演算ボードと、演算ボードが生成した映像を出力する映像出力手段とから、構成される。レンズからなる光学系には、必要に応じて絞りやシャッター、レンズ保護用の遮蔽板(遮熱板を兼ねてもよい)を備えてもよい。撮像素子は前記説明のように2次元配列させたサーモパイル素子や、CCD等2次元的に撮像できる素子を用いることが望ましい。一次元状に配列した撮像素子または単一の撮像素子を走査させて2次元の映像を取得してもよい。また演算ボードには、後記する平常映像情報保持部(B)、現在映像情報保持部(C)、判定ルール保持部(D)、温度異常判定部(E)も構成されたり、メモリやCPU等の部品を共有したりしてもよい。一部の構成を通信でつながれた別サーバ装置やPC上などに構成してもよい。ピント調整機構は、加熱作業開始前に被写体(加熱作業の対象物である加熱対象物(G)又は/及びピントずれ判定用デフォーカス状態判定用パターン(F))に対してピントを調整した後は、その設定を動かさずに加熱作業を行う。
【0072】
加熱作業は、常温(または室温)よりも被写体の温度を上げる作業を主として意味するが、温度を下げる作業に対しても本発明の熱画像装置は適用できる。
【0073】
<実施形態1 平常映像情報保持部(B)(0102)>
「平常映像情報保持部(B)」(0102)は、レンズの温度異常がないときに取得した前記固定距離にある映像に関する情報である平常映像情報を保持するように構成される。レンズの温度異常がないときに、レンズを介して映像取得部(A)が取得した固定距離にある被写体の映像に関する情報を、平常映像情報として平常映像情報保持部(B)が保持する。
【0074】
「平常映像情報」は、レンズの温度異常を被写体の映像情報の変化から判定する際の基準となる映像情報である。例えば加熱作業中の被写体の映像を取得する場合には、加熱前または加熱開始直後に取得した映像の情報を平常映像情報とすることができる。「平常映像情報」は取得した被写体の映像その物でもよいし、取得した映像を処理した結果の映像情報でもよい。平常映像情報は、映像ではなく映像を処理した後に得られた何らかの数値情報であってもよい。平常映像情報は、時系列的に保持されることが好ましく、取得時間を示す情報である取得時間情報と関連付けて保持されることがより好ましい。
【0075】
「平常映像情報」はレンズの温度異常がないときの映像情報であり、加熱作業(昇温または高温保持)前または開始直後に取得する映像情報であるため、完全にピントが合っておらず多少ピントがずれた状態で取得した映像情報であっても、平常映像情報として使用することができる。平常映像情報と比較して、よりピントがずれた状態となることを検出できればよいためである。
【0076】
<実施形態1 現在映像情報保持部(C)(0103)>
「現在映像情報保持部(C)」(0103)は、取得中の前記固定距離にある被写体の映像に関する情報である現在映像情報を保持するように構成される。レンズを介して映像取得部(A)が取得中の固定距離にある被写体の映像に関する情報を、現在映像情報として現在映像情報保持部(C)が保持する。
【0077】
「現在映像情報」は、レンズの温度異常を被写体の映像情報の変化から判定する際に、基準となる平常映像情報を比較する対象となる映像情報である。例えば加熱作業中の被写体の映像を取得する場合には、加熱作業中に、連続もしくは定期的(例:1秒毎、10秒毎、30秒毎、1分毎など)または適宜取得する映像の情報を現在映像情報として、現在映像情報を取得した時点でレンズが温度異常か否かを判定するために利用できる。「現在映像情報」は取得した被写体の映像その物でもよいし、取得した映像を処理した結果の映像情報でもよい。現在映像情報は、映像ではなく映像を処理した後に得られた何らかの数値情報であってもよい。現在映像情報は、時系列的に保持されることが好ましく、取得時間を示す情報である取得時間情報と関連付けて保持されることがより好ましい。
【0078】
<実施形態1 判定ルール保持部(D)(0104)>
「判定ルール保持部(D)」(0104)は、保持されている平常映像情報と現在映像情報とを比較してレンズの温度異常があると判定するためのルールである判定ルールを保持するように構成される。
【0079】
「判定ルール」は、保持されている平常映像情報と現在映像情報とを比較してレンズの温度異常があると判定するためのルールである。レンズの温度が上昇(または下降)するとレンズの構成材料(例えば石英ガラスなど)がその熱膨張率に従って変形したり屈折率の温度依存性に従って屈折率が変化したりして、レンズが温度異常ではないときに調整したピントが徐々にずれていく。平常映像情報はレンズの温度異常がない時の映像情報であり、現在映像情報は加熱作業中の被写体の映像であってレンズが温度異常である可能性がある映像情報である。そのために現在映像情報が平常映像情報と比べピントのずれた状態であるか判定することによって、現在映像情報が取得された時点においてレンズが温度異常であるか判定することができる。
【0080】
判定ルールとしては、例えば平常映像情報と現在映像情報が、映像取得部(A)が取得したままの映像として保持されていて、比較するために前記両映像情報を処理する必要がある場合には、比較するために必要な処理方法が含まれていてもよい。両映像情報が保持される前にすでに処理済みで、保持された両映像情報を即比較できる場合(例えば何らかの数値情報にまで処理されている場合)には比較方法と判定基準から判定ルールは構成される。
【0081】
<実施形態1 温度異常判定部(E)(0105)>
「温度異常判定部(E)」(0105)は、保持されている平常映像情報と現在映像情報と判定ルールとに基づいてレンズが温度異常であるか判定するように構成される。
【0082】
ピントずれを検出してレンズが温度異常であるかを判定するのは、加熱対象物(G)の加熱作業(高温環境下信頼性試験)が正常におこなわれているかを監視している本発明の熱画像装置自身が、正常に稼働しているか否かを把握するためである。本発明の熱画像装置が正常に稼働していなければ、加熱対象物(G)の温度が適正値になっていなかったり、加熱対象物(G)の加熱にむらがあったり、異常が発生した電子部品を検出できなかったりといった不適切な加熱作業が行われた可能性があり、加熱対象物(G)が不良となる可能性や、発生した不良を見逃す可能性があるためである。そのため、レンズの温度異常と判定された場合には、エラー通知を発して作業者や管理者へ、作業条件の変更や代替装置の使用や、加熱作業中の現品の評価検査などの対応を促したり、加熱作業を制御する制御装置へエラー通知し加熱作業を終了させたりといったことを行うように構成するとよい。
【0083】
レンズの温度異常をピントずれとして検出するには、既知の方法が使用できる。既知の例としては、被写体の映像内のエッジを抽出して用いる方法である。
【0084】
<実施形態1 ピントずれ判定方法>
映像情報にソーベルフィルタを用いるピントずれ判定方法を、
図4を用いて説明する。
図4は一例として、円形の突起を一面に配列した板である加熱対象物(G)の生映像(熱画像)と、前記映像を既知のソーベルフィルタ処理した映像、前記フィルタ処理した映像の各画素の輝度諧調のヒストグラム、前記ヒストグラムの輝度諧調分布(0~255諧調)の標準偏差を、ピントずれ状態3段階(なし、ピントずれ小、ピントずれ大)ごとに示した表である。なお標準偏差の代わりに分散を使用することもできる(以下の実施形態でも同様に使用できる)。分散を使用した場合は標準偏差よりも値の変化が大きくなりピントずれを検出しやすい。
【0085】
<実施形態1 ピントずれ判定方法:映像情報の処理法>
(1)被写体である加熱対象物(本例では、表面に円形突起を多数配列した板)から放射される赤外線を、映像取得部(A)の撮像素子が受光し、その放射輝度に応じて諧調処理した白黒の映像情報を取得する。(
図4 生映像列)
(2)取得した映像情報にソーベルフィルタによる処理を行う(エッジが強調される)。
ソーベルフィルタ処理前の映像情報において諧調が大きく変化する境目(エッジ)が、ソーベルフィルタ処理によって強調される。(
図4 ソーベルフィルタ処理列)
(3)ソーベルフィルタ処理後の映像情報の各画素の輝度諧調のヒストグラムをとる。(
図4 ヒストグラム列)
(4)輝度諧調のヒストグラムの標準偏差を取得する。(
図4 標準偏差列)
(5)標準偏差が所定の閾値よりも小さくなった時に、ピントずれが許容できないと判定し、レンズの温度異常であると判定する。判定後、後記実施形態のようにレンズの温度異常を示す旨のアラームを、アラーム出力部から出力するように構成するとよい。レンズの温度異常となった場合、ピントがずれてしまい加熱作業時の正しい映像を得られなくなり温度分布等も不明瞭になる可能性がある。また、レンズ以外の熱画像装置(例:演算ボード)なども熱の影響を受ける可能性があるため、レンズの温度異常の検出は重要である。あらかじめ、使用する熱画像装置において、レンズの温度異常と判定する基準となる標準偏差の閾値(前記所定の閾値)を求めておくとよい。例えば
図4の場合、標準偏差10を閾値とし、10以下となったら温度異常と判定するといった具合である。あらかじめ求めた閾値によって温度異常であると判定するルールを、判定ルール保持部(D)に保持する。ピントずれからレンズ温度異常を判定するための被写体が常に同じであって、同じ加熱作業を行うのであれば標準偏差の数値を閾値としてもよいが、被写体が加熱作業のバッチごとに変わったり、加熱作業仕様(例えば保持する温度)が変わったりする場合は、ピントずれなし時の標準偏差に対する所定割合以下となったら温度異常と判断するルールとすることが好ましい。ピントずれなし時の標準偏差に対する所定の割合は、30%以下であり、50%以下が好ましく、より好ましくは60%以下であり、最も好ましくは70%以下である。
【0086】
図4の生映像に示すように、加熱された加熱対象物は円形突起の温度が他の部分よりも高く、熱画像として他領域よりも白っぽく見えている。ソーベルフィルタ処理を行うと映像内のエッジが強調され、円形突起の内部、および他領域は黒く、円形突起の縁及び板の縁が強調されて白く見える。ソーベルフィルタ処理後の映像の各画素の輝度諧調のヒストグラムが
図4のヒストグラム列に示される。各ヒストグラムの横軸は0から255諧調の輝度の諧調表示を示し、縦軸は各諧調の画素数(頻度)を示す。ピントずれ「なし」、小、大によってヒストグラムのピーク最大値が異なるが、ヒストグラムの広がり具合を比較するために、
図4ではグラフの縦軸を各グラフの最大値で規格化して表示している。また輝度諧調の最大諧調は、ピントずれ「なし」では255(白)、ピントずれ小で136諧調(中間調)、ピントずれ大で64諧調(暗い中間調)であり、ピントのずれに応じて、輝度諧調の分布が暗い諧調へ寄ってきており狭い範囲の分布となる。なお0から255諧調といった256諧調(8bit)処理には限定されない。0から65535諧調までの65536諧調(16bit)処理などのように、8bitよりは16bit以上へ諧調数を増やした方がより細かく制御ができるため好ましい。
【0087】
ピントがずれると生映像での輪郭がぼけてしまい、ソーベルフィルタ処理してもエッジ部は、ピントずれなしの時のように白にならず、灰色(中間諧調)までにとどまる。ピントがずれた状態ではソーベルフィルタ処理後映像の輝度諧調が、白黒諧調の広い範囲にまで至らず、黒から灰色の狭い範囲の諧調分布となってしまう。そのためピントがずれると、ピントが合った状態の時よりも標準偏差が小さくなる。
【0088】
なお、上記映像情報の処理に使用したソーベルフィルタの代わりに、ソーベルフィルタと同様にエッジ検出に一般に使われる手法(例:ラプラシアンフィルタ)を使用してもよい。また上記の方法の代わりに、映像取得部(A)でレンズの温度異常がないときに取得した映像と、現在取得中の被写体の映像のそれぞれの輝度レベルを高速フーリエ変換した周波数スペクトルを生成し、レンズの温度異常がないときに取得した映像の方に特徴的なスペクトラムの発生している周波数領域のスペクトル強度と、現在取得中の映像の方の前記周波数領域に対応する周波数領域のスペクトル強度と比較して判定することもできる。
【0089】
「平常映像情報」と「現在映像情報」は、取得した映像そのものでもよいし、上記映像情報の処理法の説明のように、例えばそれぞれの映像をソーベルフィルタ処理後に画素の輝度諧調をヒストグラム化し、それぞれの標準偏差を「平常映像情報」および「現在映像情報」としてもよい。またはスペクトル強度であってもよいし、他の処理法を採用する場合は対応する数値をそれぞれの映像情報として保持してもよい。その場合は各処理法に対応した判定ルールが判定ルール保持部(D)に保持される。
【0090】
<実施形態1 レンズ温度異常の自己診断機能付き熱画像装置(0100)>
「レンズ温度異常の自己診断機能付き熱画像装置」(0100)は、映像取得部(A)(0101)と、平常映像情報保持部(B)(0102)と、現在映像情報保持部(C)(0103)と、判定ルール保持部(D)(0104)と、温度異常判定部(E)(0105)とから構成される。本発明の熱画像装置は、恒温槽内に配置され加熱作業中の物体と加熱作業中は固定距離で映像を取得するため、加熱された物体からの輻射熱を受ける。電子部品は熱に弱いために筐体で覆い、筐体を冷却することでその内部に収めた部材の保護を図る。
図1では例として、レンズ(0110)は露出するが、その他の構成を筐体で覆い、その内側に冷却水を循環させる水冷配管を配して、冷却している。
【0091】
<実施形態1 レンズ温度異常の自己診断機能付き熱画像装置:例を用いた本装置の説明>
再度、本装置の説明を以下にまとめて行う。
<実施形態1 レンズ温度異常の自己診断機能付き熱画像装置:本システムの構成例>
本発明のレンズ温度異常の自己診断機能付き熱画像装置のシステムの一例を、
図1を用いて説明する。
図1の例は電子部品(電解コンデンサやICなど)の高温環境下信頼性試験のため、恒温槽内で加熱作業として高温保持しながら、加熱対象物(G)である各電子部品の温度状態を本発明の熱画像装置を利用して監視する場合の例である。加熱対象物(G)(0107)であ電子部品(電解コンデンサやICなど)を載せた基板が恒温槽内に設置されている。加熱対象物(G)(0107)にレンズ(0110)が対向するように、一定距離離れた位置に映像取得部(A)(0101)が設置されている。加熱対象物(G)である電子部品のレンズ側面は映像取得部(A)の被写界深度範囲内にあるものとする。高温保持中は、前記一定距離は固定される。作業開始前に、加熱対象物に対してピント調整機構を使用してピントの調整を行う。作業開始前にピントを調整したら、作業中はその設定を動かさず変更しない。なお、以下のピントずれ検知方法例には限定されない。
【0092】
<実施形態1 レンズ温度異常の自己診断機能付き熱画像装置:本システムの動作>
(1)平常映像情報取得:加熱開始直前の加熱対象物(G)が常温の時に、レンズから一定距離離れた加熱対象物(G)の映像を取得し、前記ピントずれ判定方法記載のように、加熱対象物である電子部品の映像をソーベルフィルタ処理し、映像の各画素の輝度諧調の分布をヒストグラム化し、そのヒストグラムの標準偏差を算出し、平常映像情報として、映像取得時間情報と関連付けて、平常映像情報保持部(B)(0102)に保持する。
【0093】
(2)加熱作業(高温保持)中(映像取得):高温保持を開始する。定期的(例:1秒毎、10秒毎、30秒毎、1分毎など)に、開始前とレンズとの距離が変わらない加熱対象物(G)の映像を取得し、前記ピントずれ判定方法記載のように、映像をソーベルフィルタ処理し、映像の各画素の輝度諧調の分布をヒストグラム化し、そのヒストグラムの標準偏差を算出し、現在映像情報として、映像取得時間情報と関連付けて、現在映像情報保持部(C)(0103)に保持する。
【0094】
(3)加熱作業(高温保持)中(ピントずれ判定:レンズ温度異常の判定):判定ルール保持部(D)(0104)に保持されている判定ルール(例:平常映像のソーベルフィルタ処理後映像の輝度諧調のヒストグラムの標準偏差に対し、現在映像の同様の標準偏差が30%以下となったらピントずれ(レンズ温度異常)と判定する)と、保持されている平常映像情報(標準偏差)と、保持されている最新の現在映像情報(標準偏差)とに基づいてピントがずれたか(レンズ温度異常か)を、温度異常判定部(E)(0105)にて判定する。前記ルールで30%よりも大きかったらレンズ温度異常とは判定されないため、高温保持を続行する。
【0095】
(4)加熱作業(高温保持)中(ピントずれ(レンズ温度異常)と判定された場合):昇温時や高温保持期間中にレンズ温度異常と判定された場合には、本発明の熱画像装置はレンズ温度異常となった旨のエラーメッセージを、自身のディスプレイパネルに表示したり、自身に備えられたエラー表示灯により異常状態を通知したり、LAN回線などの通信回線を介してサーバ装置や装置監視の管理モニタへエラーメッセージを送信することができる。さらに高温保持中の電子部品の温度状態を正常に監視できなくなったことにより、電子部品が不良(温度管理異常による試験状態不適や電子部品の温度異常不良)となる可能性があるため、高温保持を中止するように、高温環境下信頼性試験用恒温槽を制御する制御装置へ中止要請の信号を出力するように構成してもよい。
【0096】
あらかじめ、被写体の映像(熱画像)を処理(例:ソーベルフィルタ処理後の映像の輝度諧調のヒストグラムの標準偏差を得る)して得られた数値情報(例:前記諧調分布の標準偏差)と、被写体の温度(別温度計で測定した温度でもよい)とを関連付けた情報である補正情報を保持しておく。前記補正情報を取得した被写体と同様の加熱対象物を加熱作業する際に、現在映像情報に基づいて取得した数値情報(例:前記同様の処理後の諧調分布の標準偏差)を保持しておき、加熱作業終了後に標準偏差から温度を求め、終了した加熱作業時の温度を補正してもよい。又加熱作業時に得られた温度と、その時の数値情報(例:標準偏差)とあらかじめ取得保持していた標準偏差と温度との関係に基づいて得られる温度が相違する場合には、後者の温度に校正するように構成してもよい。
【0097】
<実施形態1 処理の流れ>
図2は、実施形態1の計算機であるレンズ温度異常の自己診断機能付き熱画像装置の動作方法のフローチャートである。この図で示すように実施形態1のレンズ温度異常の自己診断機能付き熱画像装置では、判定ルール保持ステップ(d)(S0201)と、加熱対象物セットステップ(S0202)と、映像取得ステップ(a)(S0203)と、平常映像情報保持ステップ(b)(S0204)と、加熱開始ステップ(S0205)と、映像取得ステップ(a)(S0206)と、現在映像情報保持ステップ(c)(S0207)と、加熱対象物温度取得ステップ(S0208)と、加熱対象物温度保持ステップ(S0209)と、温度異常判定ステップ(e)(S0210)と、異常対応ステップ(S0211)と、加熱終了ステップ(S0212)と、を有する。
【0098】
ここで計算機であるレンズ温度異常の自己診断機能付き熱画像装置の動作方法は、
判定ルール保持ステップ(d)(S0201)は、保持されている平常映像情報と現在映像情報とを比較して温度異常があると判定するためのルールである判定ルールを保持する処理を行い、
加熱対象物セットステップ(S0202)は、加熱作業を行う所定の位置に加熱対象物をセットする処理を行い、
映像取得ステップ(a)(S0203)は、レンズを介して固定距離にある被写体の映像を取得する処理を行い、
平常映像情報保持ステップ(b)(S0204)は、レンズの温度異常がないときに取得した前記固定距離にある映像に関する情報である平常映像情報を保持する処理を行い、
加熱開始ステップ(S0205)は、加熱対象物の加熱を開始する処理を行い、
映像取得ステップ(a)(S0206)は、レンズを介して固定距離にある被写体の映像を取得する処理を行い、
現在映像情報保持ステップ(c)(S0207)は、取得中の前記固定距離にある被写体の映像に関する情報である現在映像情報を保持する処理を行い、
加熱対象物温度取得ステップ(S0208)は、加熱対象物の温度を取得する処理を行い、
加熱対象物温度保持ステップ(S0209)は、取得した加熱対象物の温度を保持する処理を行い、
温度異常判定ステップ(e)(S0210)は、保持されている平常映像情報と現在映像情報と判定ルールとに基づいて温度異常であるか判定する処理を行い、
温度異常判定ステップ(e)(S0210)で異常(温度異常)を判定された場合、異常対応ステップ(S0211)は、異常に対応する処理(加熱中止(加熱終了)など)を行い、
温度異常判定ステップ(e)(S0210)で正常と判定された場合、加熱作業を続行するかの判断を行って、続行の場合は映像取得ステップ(S0206)の前に処理を戻し、
加熱作業を終了する場合は、
加熱終了ステップ(S0212)は、加熱対象物の加熱作業を終了する処理を行う。
別の加熱対象物を加熱するような別バッチ作業などを行う場合は加熱終了ステップ後に判定ルール保持ステップ(S0201)前に処理を戻す。なお判定ルールに変更がない場合は、加熱対象物セットステップ(S0202)の前に処理を戻してもよい。加熱対象物温度取得ステップ(S0208)において加熱対象物の温度は、加熱作業中に取得する映像(熱画像)から取得してもよいし、現在映像情報から取得してもよい。
このような一連の処理を計算機であるレンズ温度異常の自己診断機能付き熱画像装置に実行させる動作方法である。この処理は加熱対象物に対する加熱作業がバッチ式でも連続式であっても適用できる。
【0099】
<実施形態1 ハードウェアの説明>
【0100】
<実施形態1 ハードウェア構成>
本実施形態1におけるレンズ温度異常の自己診断機能付き熱画像装置の計算機部分のハードウェア構成について、
図3を用いて説明する。
【0101】
図3は、本実施形態1におけるレンズ温度異常の自己診断機能付き熱画像装置の計算機部分のハードウェア構成を示す図である。この図にあるように、本実施形態におけるレンズ温度異常の自己診断機能付き熱画像装置の計算機部分は、各種演算処理を行う「CPU(中央演算装置)」と、「チップセット」と、「メインメモリ」と、各種プログラムやデータ(情報)を保持する「不揮発性メモリ」や、「I/Oコントローラ」、「USB、SATA、LAN端子、etc」、「BIOS(UEFI)」、「PCI Expressスロット」、「リアルタイムクロック」と拡張基板として「グラフィックカード」を備えている。そして、それらが「システムバス」などのデータ通信経路によって相互に接続され、情報の送受信や処理を行う。赤外線の撮像素子または赤外線の撮像素子が出力する信号を演算処理する演算ボードと、USBやその他のデータ通信経路で接続され、赤外線の撮像素子からの出力信号またはその演算処理ボードからの出力を前記計算機部分で処理する。
【0102】
不揮発性メモリに蓄積されている各種プログラム、データ(情報)は、本システムの起動によって、メインメモリに展開され、実行命令を受け付けることでCPUによって順次プログラムがデータを利用した演算をするように構成されている。
【0103】
本システムの起動により、「メインメモリ」には、「不揮発性メモリ」に蓄積されている各種プログラム、データ(情報)が読み出されて展開され格納されると同時に、そのプログラムの作業領域でもあるワーク領域を提供する。実行命令を受け付けることで「CPU」によって順次プログラムがデータを利用した演算をおこなう。なお、この「メインメモリ」や「不揮発性メモリ」にはそれぞれ複数のアドレスが割り当てられており、「CPU」で実行されるプログラムは、そのアドレスを特定しアクセスすることで相互にデータのやりとりを行い、処理を行うことが可能になっている。
本実施形態において「メインメモリ」に格納されているプログラムは、映像取得プログラム(a)と、平常映像情報保持プログラム(b)、現在映像情報保持プログラム(c)、判定ルール保持プログラム(d)、温度異常判定プログラム(e)と、加熱対象物温度取得プログラムと、加熱対象物温度保持プログラムである。また、「メインメモリ」と「不揮発性メモリ」には、映像と、平常映像情報と、現在映像情報と、判定ルールと、温度などが格納されている。
【0104】
「CPU」は、「メインメモリ」に格納されている判定ルール保持プログラム(d)を実行して、保持されている平常映像情報と現在映像情報とを比較して温度異常があると判定するためのルールである判定ルールを保持する。加熱対象物を所定位置にセットする。そして、「メインメモリ」に格納された映像取得プログラム(a)を実行して、レンズを介して固定距離にある被写体の映像を取得する。「メインメモリ」に格納されている平常映像情報保持プログラム(b)を実行して、レンズの温度異常がないときに取得した前記固定距離にある映像に関する情報である平常映像情報を保持する。加熱対象物の加熱を開始する。「メインメモリ」に格納された映像取得プログラム(a)を実行して、レンズを介して固定距離にある被写体の映像を取得する。「メインメモリ」に格納されている現在映像情報保持プログラム(c)を実行して、取得中の前記固定距離にある被写体の映像に関する情報である現在映像情報を保持する。「メインメモリ」に格納された加熱対象物温度取得プログラムを実行して加熱対象物の温度を取得し、「メインメモリ」に格納された加熱対象物温度保持プログラムを実行して加熱対象物の温度を保持する。そして「メインメモリ」に格納されている温度異常判定プログラム(e)を実行して、保持されている平常映像情報と現在映像情報と判定ルールとに基づいて温度異常であるか判定する。異常(温度異常)と判定された場合は異常対応を行う。正常と判定された場合、加熱作業終了であれば加熱を終了する。なお取得した平常映像情報や現在映像情報や、前記判定の結果をグラフィックカード経由でディスプレイに表示したり、「USB、SATA、LAN端子、etc」からLAN回線やインターネット回線を介してサーバ装置またはPCへ出力したりする。
【0105】
<実施形態1の効果>
本実施形態1のレンズ温度異常の自己診断機能付き熱画像装置は、部品等の追加なく、レンズに温度異常がないときの平常映像情報と、現在の被写体の映像に関する現在映像情報と、判定ルールに基づいて、レンズが温度異常か判定する自己診断機能付き熱画像装置を提供する。
【0106】
<実施形態2 概要>主に請求項2
実施形態1を基礎とする実施形態2の本発明のレンズ温度異常の自己診断機能付き熱画像装置の被写体は、デフォーカス状態判定用パターン(F)であるように構成される。
【0107】
<実施形態2 機能的構成>
実施形態1を基礎とする実施形態2のレンズ温度異常の自己診断機能付き熱画像装置を
図5aに示す。前記装置の被写体として、レンズ温度異常を判定する事を目的にピントずれを検出するための、デフォーカス状態判定用パターン(F)(0506)を設置する。
図5aでは加熱対象物(G)(0507)の背面側にデフォーカス状態判定用パターン(F)(0506)を配置した例を示しているが、デフォーカス状態判定用パターン(F)は
図5d、
図5e、
図5fに示すように加熱対象物(G)に対し背面、横、前のいずれに配置してもよい。加熱対象物(F)とデフォーカス状態判定用パターン(F)はともに映像取得部(A)の被写界深度の範囲内にあって、同一視野内に収まるように配置される。
【0108】
<実施形態2 構成の説明>
<実施形態2 デフォーカス状態判定用パターン(F)(0506)>
「デフォーカス状態判定用パターン(F)」(0506)は、固定距離にある被写体である。加熱対象物(G)に対する加熱作業中の熱画像である映像を取得する場合、デフォーカス状態判定用パターン(F)(0506)は被写体として、レンズ(0510)との距離が一定に保たれる(固定距離とされる)。加熱作業中に距離が変わるとピントがずれてしまい、レンズの温度異常によるピントずれと区別できないためである。加熱前または加熱開始直後の時点でピントを調整したデフォーカス状態判定用パターン(F)(0506)に対し、加熱作業が進行していきレンズの温度が上昇して、レンズの熱膨張による変形や温度上昇による屈折率の変化などが起こると、ピントがずれる。ピントのずれが許容できない程度になったとき、レンズが温度異常と判定される。ピントずれが大きいと、加熱対象物(G)自体の温度異常や、その局所的な温度の偏り(むら)が判別にくくなる。電子部品の高温環境下信頼性試験の場合、加熱作業(高温保持)時に電子部品に温度異常がなく全数良品の状態が本当に継続しているのか不明となる。高温環境下試験中の加熱対象物である電子部品の監視が正常に行えなければ、電子部品のいずれかが不良となった可能性もあるため、レンズの温度異常を検出することは重要である。
【0109】
図5aに示すように、デフォーカス状態判定用パターン(F)(0506)は、映像取得部(A)(0501)に対し加熱対象物(G)(0507)の背面であって、映像取得部(A)の被写界深度の範囲内に設置される。望ましくは、
図5aに示すように、映像取得部(A)の同一視野内に、加熱対象物(G)(0507)とデフォーカス状態判定用パターン(F)が入るように配置する。
図5eに示すように加熱対象物近傍に並べて配置してもよいし、
図5fに示すように被写界深度の範囲内に入るように配慮したうえで加熱対象物表面に載せてもよい。
【0110】
加熱対象物(G)が表面に凹凸等がない平坦な場合には、前記実施形態1での説明のようにデフォーカス状態を加熱対象物(G)自身の映像からは検出しにくい。そのためレンズの温度異常がないときにピントを調整した、ピントのずれを検出しやすいデフォーカス状態判定用パターン(F)を用いる。デフォーカス状態の検出方法としては既知の方法が使用できる。既知の例としては、実施形態1で説明したようにデフォーカス状態判定用パターン(F)の映像内のエッジを抽出して用いる方法である。そのためデフォーカス状態判定用パターン(F)としては、
図4の例のようにパターン内に輪郭が多い形状が好ましく、輪郭を挟んだ両側の領域の放射率に大きな差異があることが好ましい。
【0111】
「デフォーカス状態判定用パターン(F)」は、例えば観察面が平面状で放射率の高い領域と低い領域が隣接しているようなパターンであったり(
図5b、市松模様参照)、
図4や
図5cのように観察面に凹凸を付けたパターンであったりしてもよい。
【0112】
「デフォーカス状態判定用パターン(F)」を用いてピントずれからレンズの温度異常を判定しようとするときに、映像取得部(A)の視野内に加熱対象物と「デフォーカス状態判定用パターン(F)」が同一視野に入る場合には、映像取得部(A)が取得した映像から「デフォーカス状態判定用パターン(F)」が映っている部分のみを切り出して使用してもよい。映像を切り出した場合には、切り出した部分に以下説明する映像の処理を行い、ピントずれを判定する。
【0113】
<実施形態2 デフォーカス状態判定用パターンを用いた判定方法>
映像情報にソーベルフィルタを用いるデフォーカス状態判定方法を、
図6を用いて説明する。[渡邊 亨5]
図6はデフォーカス状態判定用パターン(F)の一例として、放射率の低い領域と放射率の高い領域を交互に縦縞状に配置したものを使用し、ピントがずれていく状態を示している。生映像(熱画像)列に示す縦縞模様の黒の領域が放射率の低い領域、白の領域が放射率の高い領域である。
図6は生画像列にデフォーカス状態判定用パターン(F)の映像(熱画像)を示し、前記映像を既知のソーベルフィルタ処理した映像をソーベルフィルタ処理列に示す。前記ソーベルフィルタ処理した映像の各画素の輝度諧調のヒストグラム(
図4と同様に横軸の左側の方が黒:0諧調、右側の方が白:255諧調)をその右のヒストグラム列に示し、前記ヒストグラムの輝度諧調分布の標準偏差をさらに右の標準偏差列に示す。ヒストグラムの縦横の軸範囲は3種とも同一としている。映像情報の処理に関しては前記実施形態1のところで説明したため省略する。
【0114】
<実施形態2 デフォーカス状態判定用パターンを用いた判定方法:ピントずれなし>
図4の円形の突起を複数配置した板の場合と異なり、放射率の高い領域又は低い領域内は放射率がほぼ均一であり、その領域間の境界部で放射率がステップ状に変化している。そのためピントがあった状態での生映像(最上段の「なし」(加熱開始前))では、白黒領域の境界部がくっきり分かれており、ソーベルフィルタ処理した時も境界部に明確な細い白線が見えている。その結果、ソーベルフィルタ処理後の画素の輝度諧調のヒストグラムでは、暗い諧調の方に分布は偏っているが、明るい諧調域にまで大きく裾を引いている。そのため標準偏差は3つの中では最も大きく26.81となる。
【0115】
<実施形態2 デフォーカス状態判定用パターンを用いた判定方法:ピントずれ小>
レンズ温度が上昇するとピントがずれ始める。生映像列中段の「ピントずれ小」に示す例では、白黒の境界が少しボケだしてきている。ソーベルフィルタ処理を行うと境界部を示す白線が、中間調の線となり幅も少し広がっている。ソーベルフィルタ処理後映像の輝度諧調のヒストグラムを見ても、明るい諧調域への裾の広がりが狭くなってきている。そのため標準偏差はピントずれ「なし」の時よりも小さく17.16となる。
【0116】
<実施形態2 デフォーカス状態判定用パターンを用いた判定方法:ピントずれ大>
レンズの温度が「ピントずれ小」の時よりもさらに上昇すると、ピントが一層ずれてくるため、生映像列下段の「ピントずれ大」に示すように、白黒領域の境界がぼけている。ソーベルフィルタ処理を行うと境界部を示す白線が、「ピントずれ小」よりもさらに暗い諧調の線となり、かつその幅が広がって、ピントずれなしの倍以上の太さとなっている。ソーベルフィルタ処理後映像の輝度諧調のヒストグラムを見ると、暗い諧調域のピーク右側の中間調諧調への裾の広がりが「ピントずれ小」よりもさらに狭くなってきている。そのため標準偏差はピントずれ「小」の時よりも小さく14.28となる。
【0117】
デフォーカス状態判定用パターン(F)を使用することで、ピントずれを判定しやすくなり、レンズの温度異常の判定がしやすくなる。
【0118】
あらかじめ、デフォーカス状態判定用パターン(F)の映像(熱画像)をソーベルフィルタ処理した後の映像の輝度諧調のヒストグラムの標準偏差と、被写体の温度(別温度計で測定した温度でもよい)と標準偏差を関連付けた情報である補正情報を保持しておく。あらかじめ補正情報を取得した時と同様に加熱対象物を加熱作業する際に、現在映像情報に基づいて取得した標準偏差を保持しておき、加熱作業終了後に標準偏差から温度を求め、終了した加熱作業時の温度を補正してもよい。又加熱作業時に得られた温度と、その時の標準偏差とあらかじめ取得保持していた補正情報に基づいて得られる温度が相違する場合には、後者の温度に校正するように構成してもよい。
【0119】
本実施形態2において、被写体をデフォーカス状態判定用パターン(F)とすることで、加熱対象物自身の映像からデフォーカス状態が検出しにくい場合でも、デフォーカス状態の判定(すなわちレンズの温度異常の判定)を容易に行うことができる。
【0120】
<実施形態3 概要>主に請求項3
実施形態3の本発明のレンズ温度異常の自己診断機能付き熱画像装置のデフォーカス状態判定用パターン(F)は、放射率が高い領域と、放射率が低い領域が隣接し、交互に繰り返し配置されたパターンであるように構成される。
【0121】
<実施形態3 機能的構成>
図7、
図8に、実施形態2を基礎とする実施形態3のレンズ温度異常の自己診断機能付き熱画像装置のデフォーカス状態判定用パターン(F)の例を示す。
【0122】
<実施形態3 構成の説明>
<実施形態3 デフォーカス状態判定用パターン(F)(0706)、(0806)>
「デフォーカス状態判定用パターン(F)」は、放射率が高い領域と、放射率が低い領域が隣接し、交互に繰り返し配置されたパターンであるように構成される。放射率が高い領域又は低い領域を作成する際の材料は、加熱作業中の加工温度と映像取得部(A)の撮像素子で検出できる赤外線の波長域の仕様(例:中心波長10μmなど)により、適宜定まる。
【0123】
赤外線の放射率の高い領域と、放射率の低い領域が交互に配置されたパターンとすることで、その両者の境界部のエッジがより強調され、レンズの温度異常によってピントがずれた場合に前記エッジのボケを容易に検出しやすくなる。
【0124】
図7にデフォーカス状態判定用パターン(F)(0706)の一例を示す。
図7は白と黒の縦縞模様で示している。白が放射率の高い領域であり、黒が放射率の低い領域を示す。パターンは縦縞ではなく横縞模様でもよいし斜めでもよい。デフォーカス状態判定のためには境界がはっきりとしたパターンが好ましい。そのため、縞模様ではなく市松模様や水玉模様であってもよい
【0125】
図8にはデフォーカス状態判定用パターン(F)(0806)の別例を示す。
図8は円を48の扇型に分割し、交互に放射率の高い領域と放射率の低い領域を配置した例である。円ではなく扇型を、さらに細い扇型に分割してもよい。また扇形をさらに市松模様のように分割したパターンであってもよい。
【0126】
本実施形態3において、デフォーカス状態判定用パターン(F)を放射率が高い領域と、放射率が低い領域が隣接し、交互に繰り返し配置されたパターンであるように構成することにより、放射率が高い領域と放射率が低い領域間の境界部が際立ち、デフォーカス状態の判定(レンズ温度の異常の判定)を一層容易に行うことができる。
【0127】
<実施形態4 概要>主に請求項4
実施形態4の本発明のレンズ温度異常の自己診断機能付き熱画像装置のデフォーカス状態判定用パターン(F)の放射率が高い領域と、放射率が低い領域は、繰り返し方向の各幅は、映像取得部(A)の撮像素子の1画素の瞬時視野の7倍から20倍であるように構成される。
【0128】
<実施形態4 機能的構成>
図9に、実施形態2または3のいずれか一を基礎とする実施形態4のレンズ温度異常の自己診断機能付き熱画像装置のデフォーカス状態判定用パターン(F)の概略構造図を示す。
図9ではデフォーカス状態判定用パターン(F)として縦縞の例を示すが、縦縞に限定しない。
【0129】
<実施形態4 構成の説明>
<実施形態4 デフォーカス状態判定用パターン(F)(0906)>
「デフォーカス状態判定用パターン(F)」(0906)は、放射率が高い領域と、放射率が低い領域は、繰り返し方向の各幅は、映像取得部(A)の撮像素子の1画素の瞬時視野の7倍から20倍であるように構成される。
【0130】
「瞬時視野」とは、空間分解能とも呼ばれ、撮像素子が2次元または1次元に複数配置されている場合に撮像素子の1画素が見ているサイズを表す。瞬時視野は1画素が見ている角度で表し、その単位はmrad(ミリラジアン)となる。なお弧度法では1π(rad)=180度である。この瞬時視野の数値に測定距離(m)を掛けると、近似的にその距離での1素子の測定サイズ(mm)となる。
【0131】
図9は、方眼状にひかれた実線で区切られる一マスが撮像素子の一画素相当の瞬時視野を示す。点線はデフォーカス状態判定用パターン(F)(0906)の放射率の高い領域と低い領域の輪郭を示し、放射率が低い領域部分は
図9での説明のため灰色としている。左側が各領域の繰り返し方向の幅が瞬時視野相当の場合、右側は瞬時視野の9倍相当の場合である。放射率が高い領域と低い領域との間の境界がかかった撮像素子の画素では、両領域の面積比に応じた輝度に平均化される。例えるならば放射率が高い領域の輝度を10、低い領域を0とすると、領域の境界がちょうど真ん中にかかった瞬時視野の部分は輝度が5となる。
図9左側の例では、領域の幅が瞬時視野1つ分相当のため、すべて輝度5など中間輝度となり輝度10や0の領域はなくなってしまい、取得できる映像は輝度5などの中間輝度のべた画面となってしまう。領域の幅が瞬時視野の3倍程度の場合では中央に2画素分の輝度10または0の画素があり、その両側に輝度5の画素がある(例:、、0、0、5、10、10、5、0、、)といった映像となり、境界部分の占める割合が多く、領域の境界のボケがもともと大きく、ピントのずれを境界部のボケ具合で検出することが困難となる。
【0132】
そのため放射率が高い領域または低い領域の繰り返し方向の幅は撮像素子の1画素の瞬時視野の7倍以上が好ましく、より好ましくは8倍以上であり、最も好ましくは10倍以上である。ピントが合った状態で、前記幅内での本来の輝度を示す画素数と、境界部の中間調輝度の画素(片側1画素ずつ)の比率が、7倍で20%未満、8倍で13%未満、10倍で11%程度となるためである。また赤外線撮像素子は特殊であり画素数の大きなものは高価であって、画素数が多いほど取得された映像処理の負荷も大きくなることから、コストと処理能力の制約がある場合は、前記領域の繰り返し方向の幅は撮像素子の1画素の瞬時視野の30倍以下が好ましく、より好ましくは20倍以下であり、最も好ましいのは10乃至11倍程度である。
【0133】
本実施形態4において、デフォーカス状態判定用パターン(F)の放射率が高い領域と低い領域の繰り返し方向の幅を撮像素子の1画素の瞬時視野に対して規定することにより、領域の繰り返しのエッジをうまく検出でき、温度異常の判定を良好に行うことができる。
【0134】
<実施形態5 概要>主に請求項5
実施形態5の本発明のレンズ温度異常の自己診断機能付き熱画像装置のデフォーカス状態判定用パターン(F)は、放射率が高い領域と、放射率が低い領域の組の繰り返し配置が、7組以上の繰り返しからなるように構成される。
【0135】
<実施形態5 機能的構成>
実施形態2から4のいずれか一を基礎とする実施形態5のレンズ温度異常の自己診断機能付き熱画像装置のデフォーカス状態判定用パターン(F)の概略断面構造図を
図10に示す。
図10ではデフォーカス状態判定用パターン(F)として縦縞の例を示すが、縦縞に限定しない。
【0136】
<実施形態5 構成の説明>
<実施形態5 デフォーカス状態判定用パターン(F)(1006)>
「デフォーカス状態判定用パターン(F)」(1006)は放射率が高い領域と、放射率が低い領域の組の繰り返し配置は、7組以上の繰り返しからなるように構成される。
【0137】
図10に示すように、デフォーカス状態判定用パターン(F)(1006)は放射率が高い領域と、放射率が低い領域の組の繰り返し配置は、7組以上の繰り返しからなるように構成される。これは、デフォーカス状態判定用パターン(F)(1006)の映像を取得して、その映像をエッジ強調した後で諧調をヒストグラム化する際のピークの山の高さを確保するためである。繰り返し数が少ないと、ソーベルフィルタ処理などによって強調して得られる映像内のエッジ数が少なくなる。エッジ数が少なくなるとエッジに相当する画素数が少なくなるためヒストグラムがつぶれたようになり、ピントがぼけてヒストグラムの標準偏差が小さくなる現象を把握しづらくなる。そのため、7組以上の繰り返しが好ましく、より好ましいのは10組以上用の繰り返しである。組数の上限は、撮像素子の画素数と各領域の幅の関係で決まる。撮像素子の1画素の瞬時視野の7倍以上(最も好ましくは10倍以上)の前記幅を持つように領域の幅を決め、繰り返し数が7組以上最も好ましくは10倍以上)となるようにデフォーカス状態判定用パターン(F)(1006)を構成する。
【0138】
本実施形態5において、放射率が高い領域と、放射率が低い領域の組の繰り返し配置数下限を定めることにより、エッジ強調後映像の輝度諧調ヒストグラムにおいてピーク高さを高め、デフォーカス状態の判定を容易に行うことができる。
【0139】
<実施形態6 概要>主に請求項6
実施形態6の本発明のレンズ温度異常の自己診断機能付き熱画像装置のデフォーカス状態判定用パターン(F)の放射率が高い領域の放射率は、0.9以上であるように構成される。
【0140】
<実施形態6 機能的構成>
図11に実施形態2から5のいずれか一を基礎とする実施形態6のレンズ温度異常の自己診断機能付き熱画像装置のデフォーカス状態判定用パターン(F)の概略構造図を示す。
図11ではデフォーカス状態判定用パターン(F)として縦縞の例を示すが、縦縞に限定しない。
【0141】
<実施形態6 構成の説明>
<実施形態6 デフォーカス状態判定用パターン(F)(1106)>
「デフォーカス状態判定用パターン(F)」(1106)は、放射率が高い領域の放射率が0.9以上であるように構成される。
【0142】
図11に一例を示すデフォーカス状態判定用パターン(F)(1106)の放射率が高い領域の放射率が0.9以上である。0.9以上と高い放射率の材料を放射率が高い領域に用いる、または放射率が低い材料の表面の放射率が高い領域とする場所に塗布することで形成する。放射率が高い領域の放射率は0.9以上が好ましく、0.95以上がより好ましい。
【0143】
放射率が0.9以上の材料としては、木炭や媒煙(すゝ)(50~1000℃)などの炭素、酸化したニクロム(50~500℃)などがある。または、一般市販されている放射率が黒体に近い黒体塗料(例:放射率0.95)などを使用することもできる。熱画像を取得する際の温度範囲に応じて、前記温度範囲での放射率が高い物質を適宜選択して形成できる。
【0144】
本実施形態6で、デフォーカス状態判定用パターン(F)の放射率が高い領域の放射率を0.9以上とすることにより、デフォーカス状態の検出が容易となり、レンズの温度異常の判定が容易となる。
【0145】
<実施形態7 概要>主に請求項7
実施形態7の本発明のレンズ温度異常の自己診断機能付き熱画像装置のデフォーカス状態判定用パターン(F)の放射率が低い領域の放射率は、0.35以下であるように構成される。
【0146】
<実施形態7 機能的構成>
図12に実施形態2から6のいずれか一を基礎とする実施形態7のレンズ温度異常の自己診断機能付き熱画像装置のデフォーカス状態判定用パターン(F)の概略構造図を示す。
図12ではデフォーカス状態判定用パターン(F)として縦縞の例を示すが、縦縞に限定しない。
【0147】
<実施形態7 構成の説明>
<実施形態7 デフォーカス状態判定用パターン(F)(1206)>
「デフォーカス状態判定用パターン(F)」(1206)は、放射率が高い領域の放射率が低い領域の放射率は、0.35以下であるように構成される。
【0148】
図12に一例を示すデフォーカス状態判定用パターン(F)(1206)の放射率が低い領域の放射率は、0.35以下である。0.35以下と低い放射率の材料を放射率が低い領域に用いる、または放射率が低い材料を選択し、その表面の放射率が高い領域とする場所に放射率が高い材料を塗布することで形成してもよい。または逆に放射率が高い材料の表面に、放射率が低い材料を塗布することで形成してもよい、塗布ではなく板状とした部材を貼り付けたり、交互に放射率の高い材料からなる部材と、放射率の低い材料からなる部材を貼り合わせたりして形成してもよい。放射率が低い領域の放射率は、0.35以下がこのましく、0.3以下がより好ましい。
【0149】
放射率が0.35以下の材料としては、アルミニウムや金や白金やタングステンなどがある。熱画像を取得する際の温度範囲に応じて、前記温度範囲での放射率が低い物質を適宜選択して形成できる。
【0150】
特に前記実施形態6の放射率を0.9以上とした放射率の高い領域と、本実施形態7の放射率を0.35以下とした放射率の低い領域を繰り返して配置することにより、取得した熱画像のエッジ強調した映像のエッジが際立ち、一層デフォーカス状態の判定が容易となる。
【0151】
本実施形態7で、デフォーカス状態判定用パターン(F)の放射率が低い領域の放射率を0.35以下とすることにより、デフォーカス状態の検出が容易となり、レンズの温度異常の判定が容易となる。
【0152】
<実施形態8 概要>主に請求項8
本実施形態の加熱装置は、実施形態1から7のいずれか一の本発明のレンズ温度異常の自己診断機能付き熱画像装置を備えるように構成される。
【0153】
<実施形態8 機能的構成>
図13に、実施形態1から7のいずれか一のレンズ温度異常の自己診断機能付き熱画像装置を備えた加熱装置の例として、電子部品の高温環境下信頼性試験を恒温槽を用いて行う際の概略構造図を示す。
図13ではデフォーカス状態判定用パターン(F)を使用し、縞模様の例を示すが、この例には限定しない。
【0154】
<実施形態8 構成の説明>
<実施形態8 加熱装置(1330)>
「加熱装置」(1330)は、レンズ温度異常の自己診断機能付き熱画像装置を備えるように構成される。
【0155】
「加熱装置」は、例えば
図13に示す電子部品の高温環境下信頼性試験に使う加熱装置(1330)は、加熱対象物(G)(1307)である電子部品に対し高温環境下での信頼性試験をその内部で行う恒温槽(1320)と、信頼性試験中の電子部品の温度状態に異常がないか(異常発熱など)を確認するために本発明のレンズ温度異常の自己診断機能付き熱画像装置(1300)とからなる。他にも、鋼材の焼入れや焼なましや焼戻しなどのアニール処理や、樹脂の押出状況の監視や、不織布の抄紙後加熱状態の監視など、様々な熱画像の取得に用いることができる。
図13は、加工対象物(G)(1307)の背面に本発明の熱画像装置の映像取得部(A)の被写界深度の範囲内に入るようにデフォーカス状態判定用パターン(F)(1306)を配置し、同一視野内におさめるようにしている(
図5eや
図5fのような配置でもよい)。加熱対象物(G)(1307)の表側面が本発明の熱画像装置に正対している。恒温槽(1320)内に本発明の熱画像装置も設置され、電子部品からの放射光が恒温槽内雰囲気である高温の大気以外の何者も介さずに映像取得部(A)(1301)のレンズ(1310)へ届くことができる。加熱対象物(G)(1307)表面からレンズ(1310)までの光路の途中に介在する物質があると、加熱対象物(G)(1307)表面から放射された赤外線が吸収され放射輝度が減衰することにより、温度の計測に誤差が生じたり正常に取得できなかったりするため、加熱対象物(G)及びデフォーカス状態判定用パターン(F)とレンズとの間に入るものが少ないほど好ましい。
【0156】
本発明のレンズ温度異常の自己診断機能付き熱画像装置のレンズ以外の部分は冷却用の水を通す水冷配管を配置した筐体で覆い冷却がなされるが、レンズの前後には光路を遮らないように冷却部材を配置することはできない。また上記理由のためレンズ前にフィルタなどの配置も難しい。そのため加熱対象物(G)(1307)およびデフォーカス状態判定用パターン(F)(1306)から放射される赤外線がレンズ(1310)を透過する際に、若干レンズに吸収されることや、恒温槽中の高温雰囲気によってレンズの温度が上昇する。レンズの温度が上昇するとレンズが熱膨張したり、温度上昇に伴って屈折率が変化したりするために、加熱作業の開始前または開始直後にピントを設定した状態からピントがずれていく。
【0157】
ピントがずれたことを検出するために、加熱開始前または直後の、レンズの温度異常がない時にピントを調整し(ピントが合った状態が望ましいが、多少ずれた状態でもよい)取得した、デフォーカス状態判定用パターン(F)の映像である平常映像情報を保持し、加熱作業の監視中に常時または定期的(例1分ごと)にデフォーカス状態判定用パターン(F)の現在映像情報を取得して時系列的に保持する。保持されている平常映像情報と、保持された現在映像情報とをそれぞれソーベルフィルタ処理し、処理後の映像の輝度諧調ヒストグラムの標準偏差を取得して比較し、標準偏差が所定の値以下(または、平常映像情報を処理して得た標準偏差の所定割合以下など)の時にレンズの温度異常と判断する。平常映像情報の処理は最初に1回行い、結果である処理後の情報(例:標準偏差のような数値情報など)を保持しておき、現在映像情報の処理後の情報と比較するように構成してもよい。
【0158】
レンズの温度異常があるとデフォーカス状態判定用パターン(F)とほぼ同じ距離にある加熱対象物(例:電子部品、鋼板など)に対してもピントがずれた状態となり、加熱状態の映像を正常に取得できていないこととなる。例えば加熱作業中の加熱対象物に温度むらが生じたり、所定の温度になっていなかったりして加熱作業が正常に行われていなかった可能性があるということである。またレンズ以外の熱画像装置の部品も加熱されて異常状態となる恐れがあるため、レンズの温度が異常状態である通知を出力したり、加熱作業を中止する処理をしたりすることが好ましい。
【0159】
本実施形態の加熱装置を使用することにより、加熱対象物を監視する熱画像装置に異常発生(レンズの温度異常など)した場合にすぐに気付くことができ、正常に監視ができなかったことによる加熱むらなどを起こさずに、加工することができるようになる。
【0160】
<実施形態9 概要>主に請求項9
実施形態9の加熱装置は、実施形態8のレンズ温度異常の自己診断機能付き熱画像装置のデフォーカス状態判定用パターン(F)が、加熱対象物(G)とほぼ加熱状態が同等の位置に配置されているように構成される。
【0161】
<実施形態9 機能的構成>
図14に実施形態8を基礎とする実施形態9の加熱装置のデフォーカス状態判定用パターン(F)と加熱対象物(F)の概略構造図を示す。
図14ではデフォーカス状態判定用パターン(F)として縦縞の例を示すが、縦縞に限定しない。
【0162】
<実施形態9 構成の説明>
<実施形態9 加熱対象物(G)(1407)>
「加熱対象物(G)」(1407)は、本発明のレンズ温度異常の自己診断機能付き熱画像装置によって加熱状態を監視されるものである。
【0163】
図14に示す例では加熱対象物(G)(1407)は、例えば金属材料の焼入れや、焼もどしや、焼なましや、焼ならしなどを行う対象物である。温度測定用に熱電対などを貼り付けるとその部位のみ熱が熱電対に伝わり温度が下がったり、熱電対が付けられた部位しか温度が分からなかったりするため、点ではなく面で加熱状態が均一に行われているか把握する本発明のような熱画像装置を用いることが好ましい。
【0164】
<実施形態9 デフォーカス状態判定用パターン(F)(1406)>
「デフォーカス状態判定用パターン(F)」(1406)は、加熱対象物(G)をほぼ加熱状態が同等の位置に配置されている。
【0165】
図14に、加熱対象物(G)(1407)と、レンズ(1409)と映像取得部(A)(図示しない)の撮像素子と、デフォーカス状態判定用パターン(F)(1406)との位置関係の例を示す。加熱対象物(G)(1407)とデフォーカス状態判定用パターン(F)(1406)は共にレンズ(1409)に対して背面側に位置するヒーター(1421)によってほぼ同じ加熱状態となるように、かつレンズに対して加熱対象物(G)(1407)とデフォーカス状態判定用パターン(F)(1406)が等距離となるように配置されている。
【0166】
または、前記実施形態での
図13に示す例のように電子部品の高温環境下信頼性試験でも、電子部品が搭載された基板とその背面に位置するデフォーカス状態判定用パターン(F)とは、恒温槽内にともに設置されており、両者は加熱状態が同等の位置に配されている。
【0167】
デフォーカス状態判定用パターン(F)(1406)を用いる目的はレンズの温度異常を判定するためであり、レンズ(1409)の温度異常を判定する目的は加熱対象物(G)(1407)の加熱状態を正常に監視できるようにするためである。
図14の例に示すようにデフォーカス状態判定用パターン(F)(1406)及び加熱対象物(G)(1407)は、映像取得部(A)の被写界深度の範囲内であって、加熱中は映像取得部(A)との距離が変わらない(固定距離)。前記両者が映像取得部(A)の同じ視野内に入っていることが好ましい。もし加熱対象物(G)(1407)が加熱されているのにデフォーカス状態判定用パターン(F)(1406)が加熱されていない場合、加熱対象物(G)(1407)の温度が上昇し、赤外線の放射輝度が増加し熱画像である映像上、輝度が明るくなる。加熱されていないデフォーカス状態判定用パターン(F)(1406)は赤外線の放射輝度が少なく映像上では加熱対象物(G)より暗い。同一視野内に大きな明るい領域(加熱対象物(G))とそれより小さく暗いデフォーカス状態判定用パターン(F)が入ると、デフォーカス状態判定用パターン(G)内の境界の判別がしづらくピントずれの検出がしづらくなる。そのため、加熱対象物(G)とデフォーカス状態判定用パターン(F)はほぼ加熱状態が同等でなくてはならず、加熱状態がほぼ同等となるような位置に、前記両者を配置する。
【0168】
本実施形態9のように加熱対象物(G)とデフォーカス状態判定用パターン(F)をほぼ加熱状態がほぼ同等の位置に配することにより、加熱対象物(G)の加熱によるレンズの温度異常を、デフォーカス状態判定用パターン(F)の映像情報から判定できる。
【0169】
<実施形態10 概要>主に請求項10
実施形態8または9のいずれか一を基礎とする本実施形態10の加熱装置は、実施形態1から9のいずれか一のレンズ温度異常の自己診断機能付き熱画像装置がアラーム出力部(H)を備えるように構成される。
【0170】
<実施形態10 機能的構成>
図15に、実施形態8を基礎とする本実施形態10の加熱装置の機能ブロック図を示す。
図15に示す例では本実施形態10の加熱装置は、実施形態1のレンズ温度異常の自己診断機能付き熱画像装置にアラーム出力部(H)を備えるように構成されている。
図15に示す加熱装置(1530)は、電子部品の高温環境下信頼性試験用の恒温槽に、加熱対象物(G)(1507)である電子部品を搭載した基板と、その背面にデフォーカス状態判定用パターン(F)(1506)と、本発明の熱画像装置(1500)を配置している。熱画像装置(1500)はインターネット回線(1550)を介してサーバ装置(1551)やPC(1552)と接続している。なお実施形態2から7のいずれか一のレンズ温度異常の自己診断機能付き熱画像装置を基礎としても同様の効果が得られる。実施形態9の加熱装置を基礎としても同様の効果が得られる。
【0171】
<実施形態10 構成の説明>
<実施形態10 アラーム出力部(H)(1508)>
「アラーム出力部(H)」(1508)は、レンズが温度異常であると判定された場合に温度異常を示す旨のアラームを出力するようにレンズ温度異常の自己診断機能付き熱画像装置内に有するように、加熱装置(1530)は構成される。
【0172】
アラームは、加熱装置(1530)を使用して加熱作業を行う作業者に対して、加熱装置制御盤などのディスプレイにアラームメッセージとして表示されたり、音声メッセージとして出力したり、エラー表示灯を点灯させたりするような出力を行うことができる。加熱装置またはその制御装置がLAN回線や、
図15に示すようにインターネット回線(1550)に接続されている場合には、前記回線を経してサーバ装置(1551)や、離れた場所にいる管理者等のPC(1552)へアラームを出力することもできる。サーバ装置(1551)へ出力する場合には、アラーム発生日時を示す時間情報と、加熱装置を識別する加熱装置識別情報とを少なくとも関連付けて、加熱(高温保持)中の加熱対象物(G)(1507)(例:電子部品)を識別する加熱対象物識別情報もさらに関連付けてサーバ装置(1551)へ送信し、受信したサーバ装置(1551)は履歴情報として保持することが好ましい。サーバ装置(1551)はアラームを受信したら、加熱装置(1530)に関係する(アラーム発生時に直接作業に携わっていた人員以外の)人員へもアラームがあった旨の通知を送信する様にも構成できる。前記通知は携帯電話のショートメッセージや、携帯電話への自動発信+自動音声通知や、スマートフォンへのプッシュ通知や、携帯電話(スマートフォン含む)やPC(1552)へのメール送信などによって行う。
【0173】
レンズ温度異常の自己診断機能付き熱画像装置(1500)のアラーム出力部(H)(1508)がアラームを出力した場合に、レンズ温度異常の自己診断機能付き熱画像装置(1500)はレンズ(1510)と被写体(加熱対象物(G)又は/及びデフォーカス状態判定用パターン(F))との間に遮熱板を挿入したり、映像取得部(A)の筐体に備えた冷却装置(例:水冷)の冷却能力を少なくとも一時的にあげたり(例:冷却水供給量を増やすなど)することによって、レンズ(1510)へ損傷を与えないように留意しながら、多少なりともレンズ(1510)の冷却を図るようにすることができる。
【0174】
または、レンズ温度異常の自己診断機能付き熱画像装置(1500)のアラーム出力部(H)(1508)が出力したアラームを、加熱装置(1530)の制御装置が受信した場合に、加熱装置(1530)の制御装置は加熱作業を停止するための処理を行うように構成することもできる。レンズ温度異常の検出は、加熱対象物(G)(1507)の監視が正常に行われていないことを意味するため、現在加熱(高温保持)されている加熱対象物(G)(電子部品)の温度情報が不明確となるがゆえに信頼性試験が失敗となった可能性や、加熱作業で加工していた材料が正常に加工されずに不良となった可能性がある。
【0175】
<実施形態10 処理の流れ>
図16は、実施形態8を基礎とする実施形態10の加熱装置における計算機であるレンズ温度異常の自己診断機能付き熱画像装置の動作方法のフローチャートである。この図で示すように実施形態10のレンズ温度異常の自己診断機能付き熱画像装置では、判定ルール保持ステップ(d)(S1601)と、加熱対象物セットステップ(S1602)と、映像取得ステップ(a)(S1603)と、平常映像情報保持ステップ(b)(S1604)と、加熱開始ステップ(S1605)と、映像取得ステップ(a)(S1606)と、現在映像情報保持ステップ(c)(S1607)と、加熱対象物温度取得ステップ(S1608)と、加熱対象物温度保持ステップ(S1609)と、温度異常判定ステップ(e)(S1610)と、アラーム出力ステップ(h)(S1611)と、加熱終了ステップ(S1612)と、を有する。なお実施形態2から7のいずれか一のレンズ温度異常の自己診断機能付き熱画像装置を基礎としても同様の効果が得られる。実施形態9の加熱装置を基礎としても同様の効果が得られる。
【0176】
ここで計算機であるレンズ温度異常の自己診断機能付き熱画像装置の動作方法は、
判定ルール保持ステップ(d)(S1601)は、保持されている平常映像情報と現在映像情報とを比較して温度異常があると判定するためのルールである判定ルールを保持する処理を行い、
加熱対象物セットステップ(S1602)は、加熱作業を行う所定の位置に加熱対象物をセットする処理を行い、
映像取得ステップ(a)(S1603)は、レンズを介して固定距離にある被写体の映像を取得する処理を行い、
平常映像情報保持ステップ(b)(S1604)は、レンズの温度異常がないときに取得した前記固定距離にある映像に関する情報である平常映像情報を保持する処理を行い、
加熱開始ステップ(S1605)は、加熱対象物の加熱を開始する処理を行い、
映像取得ステップ(a)(S1606)は、レンズを介して固定距離にある被写体の映像を取得する処理を行い、
現在映像情報保持ステップ(c)(S1607)は、取得中の前記固定距離にある被写体の映像に関する情報である現在映像情報を保持する処理を行い、
加熱対象物温度取得ステップ(S1608)は、加熱対象物の温度を取得する処理を行い、
加熱対象物温度保持ステップ(S1609)は、取得した加熱対象物の温度を保持する処理を行い、
温度異常判定ステップ(e)(S1610)は、保持されている平常映像情報と現在映像情報と判定ルールとに基づいて温度異常であるか判定する処理を行い、
温度異常判定ステップ(e)(S1610)で異常(温度異常)を判定された場合、アラーム出力ステップ(h)(S1611)は、レンズが温度異常であると判定された場合に温度異常を示す旨のアラームを出力する処理を行い、
温度異常判定ステップ(e)(S1610)で正常と判定された場合、加熱作業を続行するかの判断を行って、続行の場合は映像取得ステップ(S1606)の前に処理を戻し、
加熱作業を終了する場合は、
加熱終了ステップ(S1612)は、加熱対象物の加熱作業を終了する処理を行う。
別の加熱対象物を加熱するような別バッチ作業などを行う場合は加熱終了ステップ後に判定ルール保持ステップ(S1601)前に処理を戻す。なお判定ルールに変更がない場合は、加熱対象物セットステップ(S1602)の前に処理を戻してもよい。加熱対象物温度取得ステップ(S1608)において加熱対象物の温度は、加熱作業中に取得する映像(熱画像)から取得してもよいし、現在映像情報から取得してもよい。
このような一連の処理を計算機であるレンズ温度異常の自己診断機能付き熱画像装置に実行させる動作方法である。この処理は加熱対象物に対する加熱作業がバッチ式でも連続式であっても適用できる。
【0177】
<実施形態10 ハードウェアの説明>
【0178】
<実施形態10 ハードウェア構成>
実施形態8を基礎とする本実施形態10の加熱装置におけるレンズ温度異常の自己診断機能付き熱画像装置の計算機部分のハードウェア構成について、
図17を用いて説明する。なお実施形態2から7のいずれか一の計算機であるレンズ温度異常の自己診断機能付き熱画像装置を基礎としても同様の効果が得られる。また実施形態9の加熱装置における計算機であるレンズ温度異常の自己診断機能付き熱画像装置を基礎としても同様の効果が得られる。
【0179】
図17は、本実施形態10の加熱装置におけるレンズ温度異常の自己診断機能付き熱画像装置の計算機部分のハードウェア構成を示す図である。この図にあるように、本実施形態におけるレンズ温度異常の自己診断機能付き熱画像装置の計算機部分は、各種演算処理を行う「CPU(中央演算装置)」と、「チップセット」と、「メインメモリ」と、各種プログラムやデータ(情報)を保持する「不揮発性メモリ」や、「I/Oコントローラ」、「USB、SATA、LAN端子、etc」、「BIOS(UEFI)」、「PCI Expressスロット」、「リアルタイムクロック」と拡張基板として「グラフィックカード」を備えている。そして、それらが「システムバス」などのデータ通信経路によって相互に接続され、情報の送受信や処理を行う。赤外線の撮像素子または赤外線の撮像素子が出力する信号を演算処理する演算ボードは、USBやその他のデータ通信経路で接続され、赤外線の撮像素子からの出力信号またはその演算処理ボードからの出力を前記計算機部分で処理する。
【0180】
不揮発性メモリに蓄積されている各種プログラム、データ(情報)は、本システムの起動によって、メインメモリに展開され、実行命令を受け付けることでCPUによって順次プログラムがデータを利用した演算をするように構成されている。
【0181】
本システムの起動により、「メインメモリ」には、「不揮発性メモリ」に蓄積されている各種プログラム、データ(情報)が読み出されて展開され格納されると同時に、そのプログラムの作業領域でもあるワーク領域を提供する。実行命令を受け付けることで「CPU」によって順次プログラムがデータを利用した演算をおこなう。なお、この「メインメモリ」や「不揮発性メモリ」にはそれぞれ複数のアドレスが割り当てられており、「CPU」で実行されるプログラムは、そのアドレスを特定しアクセスすることで相互にデータのやりとりを行い、処理を行うことが可能になっている。
本実施形態において「メインメモリ」に格納されているプログラムは、映像取得プログラム(a)と、平常映像情報保持プログラム(b)、現在映像情報保持プログラム(c)、判定ルール保持プログラム(d)、温度異常判定プログラム(e)と、アラーム出力プログラム(h)と、加熱対象物温度取得プログラムと、加熱対象物温度保持プログラムである。また、「メインメモリ」と「不揮発性メモリ」には、映像と、平常映像情報と、現在映像情報と、判定ルール、アラーム、温度などが格納されている。
【0182】
「CPU」は、「メインメモリ」に格納されている判定ルール保持プログラム(d)を実行して、保持されている平常映像情報と現在映像情報とを比較して温度異常があると判定するためのルールである判定ルールを保持する。加熱対象物を所定位置にセットする。そして、「メインメモリ」に格納された映像取得プログラム(a)を実行して、レンズを介して固定距離にある被写体の映像を取得する。「メインメモリ」に格納されている平常映像情報保持プログラム(b)を実行して、レンズの温度異常がないときに取得した前記固定距離にある映像に関する情報である平常映像情報を保持する。加熱対象物の加熱を開始する。「メインメモリ」に格納された映像取得プログラム(a)を実行して、レンズを介して固定距離にある被写体の映像を取得する。「メインメモリ」に格納されている現在映像情報保持プログラム(c)を実行して、取得中の前記固定距離にある被写体の映像に関する情報である現在映像情報を保持する。「メインメモリ」に格納された加熱対象物温度取得プログラムを実行して加熱対象物の温度を取得し、「メインメモリ」に格納された加熱対象物温度保持プログラムを実行して加熱対象物の温度を保持する。そして「メインメモリ」に格納されている温度異常判定プログラム(e)を実行して、保持されている平常映像情報と現在映像情報と判定ルールとに基づいて温度異常であるか判定する。温度異常であるとの判定である場合は、「メインメモリ」に格納されているアラーム出力プログラムを実行してアラームを出力する。アラームの出力は例えば、取得した判定した平常映像情報や現在映像情報や前記判定の結果(温度異常である旨)をグラフィックカード経由でディスプレイに表示したり、「USB、SATA、LAN端子、etc」からLAN回線やインターネット回線を介してサーバ装置またはPCへ温度異常である旨を出力したりする。正常と判定された場合、加熱作業終了であれば加熱を終了する。
【0183】
本実施形態のアラーム出力部(H)を備えることにより、レンズの温度異常が検出された場合にいち早く気づくことができる。レンズの温度異常が検出されれば、加熱対象物の監視が正常に行われずに不良となった可能性があり、アラーム出力されることでいち早く対処することができる。
【0184】
<実施形態11 概要>主に請求項11
実施形態11の本発明のレンズ温度異常の自己診断機能付き熱画像装置は、加熱炉などの中で加熱処理されたり、恒温槽内で高温保持されたりする処理対象である加熱対象物の加熱状態の情報を、レンズを介して熱画像として取得するための装置である。あらかじめ取得して保持したレンズの温度異常を判定するための閾値情報と、映像取得部(A)で取得中の現在映像情報と、判定ルールに基づいて、レンズの温度が温度異常となってレンズの変形が生じたり屈折率が変化したりしている状態であるか判定するように構成される。温度異常の場合には加熱対象物の加熱状態の情報が正しく取得できていないと考えられるために何らかの対応(例:作業の中止や、作業内容の変更や、作業終了後の加熱対象物現品の調査検品など)をとる必要がある。
【0185】
<実施形態11 機能的構成>
図18に実施形態11のレンズ温度異常の自己診断機能付き熱画像装置の機能ブロック図を示す。
図18は、電子部品の高温環境下信頼性試験の例である。実施形態11のレンズ温度異常の自己診断機能付き熱画像装置(1800)は、映像取得部(A)(1801)と、現在映像情報保持部(C)(1803)と、判定ルール保持部(D)(1804)と、温度異常判定部(E)(1805)と、閾値情報保持部(J)と、を有する。
【0186】
<実施形態11 構成の説明>
構成の説明において上記実施形態の説明と同様の場合は、説明を省略する場合がある。本実施形態11において機能に相違ある場合は、相違点を中心に説明する。
<実施形態11 映像取得部(A)(1801)>
「映像取得部(A)」(1801)は、レンズを介して固定距離にあるデフォーカス状態判定用パターン(F)の映像を取得するように構成される。
【0187】
本実施形態の「被写体」は、レンズの温度異常を判定するために利用されるピントずれの判定(デフォーカス状態判定)のために、映像を取得するデフォーカス状態判定用パターン(F)である。ただし、映像取得部(A)で取得される映像の視野内にデフォーカス状態判定用パターン(F)が含まれていればよく、加熱作業の対象である加熱対象物(G)が同一視野内に含まれることを妨げない。
【0188】
<実施形態11 閾値保持部(J)(1809)>
「閾値保持部(J)」(1809)は、レンズの温度異常を判定するための閾値情報を保持するように構成される。
【0189】
「閾値情報」は、例えば、前記実施形態で映像の処理方法の例として説明した、生映像(熱画像)をソーベルフィルタ処理した後の映像の画素ごと輝度諧調分布ヒストグラムの標準偏差に対する閾値である。デフォーカス状態判定用パターン(F)の映像を加熱前(または加熱開始直後)に取得し、上記の処理を行って求めた標準偏差に基づいて閾値を決定する。加熱前に取得した標準偏差の30%、または50%または70%といった値のうちの一の値を閾値として保持する。または、加熱前に取得した標準偏差を閾値情報として保持し、判定ルールとして、閾値情報の所定比率の値以下は温度異常と判定するといったルールとしてもよい。
【0190】
なおソーベルフィルタ処理やラプラシアンフィルタ処理を用いず別の処理を行う場合には、対応した閾値情報を保持することができる。映像処理の方法に応じて後記温度異常判定部(E)にて判定に用いる判定ルールを適宜選択し使用するように構成することもできる。例えば映像取得部(A)でレンズ温度異常がないときに取得した映像の輝度レベルを高速フーリエ変換した周波数スペクトルを生成し、特徴的なスペクトラムの発生している周波数領域のスペクトル強度に基づいた閾値情報を保持しておき、現在取得中の被写体の映像の輝度レベルを高速フーリエ変換した周波数スペクトルを生成し、前記特徴的な周波数領域に対応する周波数領域のスペクトル強度と、前記閾値情報を比較して判定することもできる。
【0191】
<実施形態11 現在映像情報保持部(C)(1803)>
「現在映像情報保持部(C)」(1803)は、取得中の前記固定距離にあるデフォーカス状態判定用パターン(F)の映像に関する情報である現在映像情報を保持するように構成される。レンズを介して映像取得部(A)(1801)が取得中の固定距離にあるデフォーカス状態判定用パターン(F)の映像に関する情報を、現在映像情報として現在映像情報保持部(C)(1803)が保持する。デフォーカス状態判定用パターン(F)の映像は、加熱作業の対象である加熱対象物(G)の映像が含まれる映像から切り出されてもよい。
図18の例では、電子部品が搭載された基板の周囲にはみ出した「ロ」の字状に、映像取得部(A)(1801)から見えているデフォーカス状態判定用パターン(F)(1806)の一部を切り出してもよい。
【0192】
「現在映像情報」は、レンズの温度異常をデフォーカス状態判定用パターン(F)の映像情報の変化から判定する際に、基準となる閾値情報と比較する対象となる映像情報である。例えば加熱作業(高温保持)中にデフォーカス状態判定用パターン(F)の映像を取得する場合には、加熱作業(高温保持)中に、連続もしくは定期的(例:1秒毎、10秒毎、30秒毎、1分毎など)または適宜取得する映像の情報を現在映像情報として、現在映像情報を取得した時点でレンズが温度異常か否かを判定するために利用できる。「現在映像情報」は取得したデフォーカス状態判定用パターン(F)の映像その物でもよいし、取得した映像を処理した結果の映像情報でもよい。現在映像情報は、映像ではなく映像を処理した後に得られた何らかの数値情報であってもよい。現在映像情報は、時系列的に保持されることが好ましく、取得時間を示す情報である取得時間情報と関連付けて保持されることがより好ましい。
【0193】
<実施形態11 判定ルール保持部(D)(1804)>
「判定ルール保持部(D)」(1804)は、保持されている閾値情報と現在映像情報とを比較してレンズの温度異常があると判定するためのルールである判定ルールを保持するように構成される。
【0194】
「判定ルール」は、保持されている閾値情報と現在映像情報とを比較してレンズの温度異常があると判定するためのルールである。閾値情報はレンズの温度異常がない状態でピントを調整した(ピントがあった状態が望ましいが、若干ずれた状態でもよい)時のデフォーカス状態判定用パターン(F)(1806)の映像情報に基づいた情報であり、現在映像情報は加熱作業中の被写体の映像であってレンズが温度異常である可能性がある映像情報である。そのために現在映像情報がピントを調整した状態からずれた状態であるか判定することによって、現在映像情報が取得された時点においてレンズが温度異常であるか判定することができる。
【0195】
ルールとしては、例えば現在映像情報が、映像取得部(A)(1801)が取得したままの映像として保持されていて、比較するために前記現在映像情報を処理する必要がある場合には、比較するために必要な処理方法が含まれていてもよい。現在映像情報が保持される前にすでに処理済みで、保持された現在映像情報を閾値情報と即比較できる場合(例えば何らかの数値情報にまで処理されている場合)には比較方法と判定基準(閾値情報)から判定ルールは構成される。
【0196】
<実施形態11 温度異常判定部(E)(1805)>
「温度異常判定部(E)」(1805)は、保持されている閾値情報と現在映像情報と判定ルールとに基づいてレンズが温度異常であるか判定するように構成される。
【0197】
ピントを調整した状態からのずれを検出してレンズが温度異常であるかを判定するのは、加熱対象物(G)の加熱作業が正常におこなわれているか監視する本発明の熱画像装置自身が正常に稼働しているか否かを把握するためである。本発明の熱画像装置が正常に稼働していなければ、加熱対象物(G)(例:電子部品)の温度が異常値になっていたり、加熱対象物(G)の加熱にむらがあったりといった不適切な加熱作業(高温保持)が行われた可能性があり、高温環境下信頼性試験の結果が不明確なものとなる可能性や、例えば加熱作業が鋼板の焼なましの場合には加熱対象物(G)である鋼板が不良となる可能性があるためである。そのため、レンズの温度異常と判定された場合には、エラー通知を発して作業者や管理者へ、作業条件の変更や代替装置の使用や、加熱作業中の現品の評価検査などの対応を促したり、加熱作業を制御する制御装置へエラー通知し加熱作業を終了させたりといったことを行うように構成するとよい。
【0198】
<実施形態11 レンズ温度異常の自己診断機能付き熱画像装置(1800)>
「レンズ温度異常の自己診断機能付き熱画像装置」(1800)は、映像取得部(A)(1801)と、閾値情報保持部(J)(1809)と、現在映像情報保持部(C)(1803)と、判定ルール保持部(D)(1804)と、温度異常判定部(E)(1805)とから構成される。
【0199】
<実施形態11 レンズ温度異常の自己診断機能付き熱画像装置:例を用いた本装置の説明>
再度、本装置の説明を以下にまとめて行う。
<実施形態11 レンズ温度異常の自己診断機能付き熱画像装置:本システムの構成例>
本発明のレンズ温度異常の自己診断機能付き熱画像装置のシステムの一例を、
図18を用いて説明する。
図18の例は電子部品の高温環境下信頼性試験を、恒温槽内に、加熱対象物(G)である電子部品を搭載した基板と、その背面に配置したデフォーカス状態判定用パターン(F)と、本発明の熱画像装置とを設置し、電子部品の温度を監視する場合の例である。加熱対象物(G)(1807)と前記デフォーカス状態判定用パターン(F)(1806)にレンズ(1810)が対向するように、一定距離離れた位置に映像取得部(A)(1801)が設置されている。加熱対象物(G)(1807)と前記デフォーカス状態判定用パターン(F)(1806)は、映像取得部(A)(1801)の被写界深度の範囲内にある。加熱作業(高温保持)を行うために加熱作業(高温保持)中は、前記一定距離は固定される。加熱作業(昇温および高温保持)開始前または開始直後に、加熱対象物(G)(またはデフォーカス状態判定用パターン(F))に対してピント調整機構を使用してピントの調整を行う。作業開始前にピントを調整したら、作業中はその設定を動かさず変更しない。なお、以下の動作およびピントずれ判定方法の例には限定されない。
【0200】
<実施形態11 レンズ温度異常の自己診断機能付き熱画像装置:本システムの動作>
(1)閾値情報保持:加熱開始直前の加熱対象物(G)が常温の時に、レンズから一定距離離れたデフォーカス状態判定用パターン(F)のピント調整後の映像を取得し、上記他の実施形態の説明のように映像をソーベルフィルタ処理し、映像の各画素の輝度諧調の分布をヒストグラム化し、そのヒストグラムの標準偏差を算出する。算出した標準偏差に所定比率(例えば50%)を乗じて取得された値を閾値情報として、閾値情報保持部(J)(1809)に保持する。
【0201】
(2)加熱作業(高温保持)中(映像取得):加熱作業(恒温槽の昇温および高温保持)を開始する。定期的(例:1秒毎、10秒毎、30秒毎、1分毎など)に、開始前とレンズとの距離が変わらないデフォーカス状態判定用パターン(F)の映像(加熱対象物(G)の映像を含む映像から切り出してもよい)を取得し、前記ピントずれ判定方法記載のように、映像をソーベルフィルタ処理し、映像の各画素の輝度諧調の分布をヒストグラム化し、そのヒストグラムの標準偏差を算出し、算出した標準偏差を現在映像情報として、映像取得時間情報と関連付けて、現在映像情報保持部(C)(1803)に保持する。
【0202】
(3)加熱作業(高温保持)中(ピントずれ判定:レンズ温度異常の判定):判定ルール保持部(D)(1804)に保持されている判定ルール(例:保持された閾値情報以下となったらピントずれ(レンズ温度異常)と判定する)と、保持されている閾値情報と、保持されている最新の現在映像情報(標準偏差)とに基づいて、閾値情報取得時と比べてピントがずれたか(レンズ温度異常か)を、温度異常判定部(E)(1805)にて判定する。前記ルールで閾値情報よりも大きかったらレンズ温度異常とは判定されないため、加熱作業(高温保持)を続行する。
【0203】
(4)加熱作業(高温保持)中(ピントずれ(レンズ温度異常)と判定された場合):加熱作業(高温保持)中にレンズ温度異常と判定された場合には、本発明の熱画像装置はレンズ温度異常となった旨のエラーメッセージを、自身のディスプレイパネルに表示したり、自身に備えられたエラー表示灯により異常状態を通知したり、LAN回線やインターネット回線などの通信回線を介してサーバ装置や装置監視の管理モニタへエラーメッセージを送信することができる。さらに加熱作業(高温保持)中の電子部品の温度状態を正常に監視できなくなったことにより高温環境下信頼性試験での電子部品の温度異常による不良発生を検出できなくなった可能性がある、また加熱作業が金属板の加熱処理の場合には金属板の加熱状態を正常に監視できなくなったことにより、金属板が不良(温度管理異常や温度分布異常による不良)となる可能性があるため、加熱作業(高温保持)を中止するように、恒温槽または加熱作業を制御する制御装置へ中止要請の信号を出力するように構成してもよい。
【0204】
あらかじめ温度条件を変えた時の、デフォーカス状態判定用パターン(F)(1806)の映像(熱画像)を処理(例:ソーベルフィルタ処理後の映像の輝度諧調のヒストグラムの標準偏差を得る)して得られた数値情報(例:前記諧調分布の標準偏差)と、被写体の温度(別温度計で測定した温度でもよい)とを関連付けた情報である補正情報を保持しておくとよい。加熱作業(高温保持)中に時系列的に保持した現在映像情報に基づいて取得した数値情報(例:前記同様の処理後の諧調分布の標準偏差)から、加熱作業(高温保持)終了後に温度を求め、終了した加熱作業(高温保持)時の温度を補正することができる。又加熱作業(高温保持)時に得られた温度と、その時現在映像情報に基づく数値情報(例:標準偏差)とあらかじめ取得保持していた標準偏差と温度との関係に基づいて得られる温度が相違する場合には、後者の温度に校正するように構成することもできる。
【0205】
<実施形態11 処理の流れ>
図19は、実施形態11の計算機であるレンズ温度異常の自己診断機能付き熱画像装置の動作方法のフローチャートである。この図で示すように実施形態11のレンズ温度異常の自己診断機能付き熱画像装置では、判定ルール保持ステップ(d)(S1901)と、加熱対象物セットステップ(S1902)と、閾値保持ステップ(j)(S1903)と、加熱開始ステップ(S1904)と、映像取得ステップ(a)(S1905)と、現在映像情報保持ステップ(c)(S1906)と、加熱対象物温度取得ステップ(S1907)と、加熱対象物温度保持ステップ(S1908)と、温度異常判定ステップ(e)(S1909)と、異常対応ステップ(S1910)と、加熱終了ステップ(S1911)と、を有する。
【0206】
ここで計算機であるレンズ温度異常の自己診断機能付き熱画像装置の動作方法は、
判定ルール保持ステップ(d)(S1901)は、保持されている閾値情報と現在映像情報とを比較してレンズの温度異常があると判定するためのルールである判定ルールを保持する処理を行い、
加熱対象物セットステップ(S1902)は、加熱作業を行う所定の位置に加熱対象物をセットする処理を行い、
閾値情報保持ステップ(j)(S1903)は、レンズの温度異常を判定するための閾値情報を保持する処理を行い、
加熱開始ステップ(S1904)は、加熱対象物の加熱を開始する処理を行い、
映像取得ステップ(a)(S1905)は、レンズを介して固定距離にあるデフォーカス状態判定用パターン(F)の映像を取得する処理を行い、
現在映像情報保持ステップ(c)(S1906)は、取得中の前記固定距離にあるデフォーカス状態判定用パターン(F)の映像に関する情報である現在映像情報を保持する処理を行い、
加熱対象物温度取得ステップ(S1907)は、加熱対象物の温度を取得する処理を行い、
加熱対象物温度保持ステップ(S1908)は、取得した加熱対象物の温度を保持する処理を行い、
温度異常判定ステップ(e)(S1909)は、保持されている閾値情報と現在映像情報と判定ルールとに基づいてレンズが温度異常であるか判定する処理を行い、
温度異常判定ステップ(e)(S1909)で異常(温度異常)を判定された場合、異常対応ステップ(S1910)は、異常に対応する処理(加熱中止(加熱終了)など)を行い、
温度異常判定ステップ(e)(S1909)で正常と判定された場合、加熱作業を続行するかの判断を行って、続行の場合は映像取得ステップ(S1905)の前に処理を戻し、
加熱作業を終了する場合は、
加熱終了ステップ(S1911)は、加熱作業を終了する処理を行う。
別の加熱対象物を加熱するような別バッチ作業などを行う場合は加熱終了ステップ後に判定ルール保持ステップ(S1901)前に処理を戻す。なお判定ルールに変更がない場合は、加熱対象物セットステップ(S1902)の前に処理を戻してもよい。加熱対象物温度取得ステップ(S1907)において加熱対象物の温度は、加熱作業中に取得する映像(熱画像)から取得してもよいし、現在映像情報から取得してもよい。
このような一連の処理を計算機であるレンズ温度異常の自己診断機能付き熱画像装置に実行させる動作方法である。
【0207】
<実施形態11 ハードウェアの説明>
【0208】
<実施形態11 ハードウェア構成>
本実施形態11におけるレンズ温度異常の自己診断機能付き熱画像装置の計算機部分のハードウェア構成について、
図20を用いて説明する。
【0209】
図20は、本実施形態11におけるレンズ温度異常の自己診断機能付き熱画像装置の計算機部分のハードウェア構成を示す図である。この図にあるように、本実施形態におけるレンズ温度異常の自己診断機能付き熱画像装置の計算機部分は、各種演算処理を行う「CPU(中央演算装置)」と、「チップセット」と、「メインメモリ」と、各種プログラムやデータ(情報)を保持する「不揮発性メモリ」や、「I/Oコントローラ」、「USB、SATA、LAN端子、etc」、「BIOS(UEFI)」、「PCI Expressスロット」、「リアルタイムクロック」と拡張基板として「グラフィックカード」を備えている。そして、それらが「システムバス」などのデータ通信経路によって相互に接続され、情報の送受信や処理を行う。赤外線の撮像素子または赤外線の撮像素子が出力する信号を演算処理する演算ボードと、USBやその他のデータ通信経路で接続され、赤外線の撮像素子からの出力信号またはその演算処理ボードからの出力を前記計算機部分で処理する。
【0210】
不揮発性メモリに蓄積されている各種プログラム、データ(情報)は、本システムの起動によって、メインメモリに展開され、実行命令を受け付けることでCPUによって順次プログラムがデータを利用した演算をするように構成されている。
【0211】
本システムの起動により、「メインメモリ」には、「不揮発性メモリ」に蓄積されている各種プログラム、データ(情報)が読み出されて展開され格納されると同時に、そのプログラムの作業領域でもあるワーク領域を提供する。実行命令を受け付けることで「CPU」によって順次プログラムがデータを利用した演算をおこなう。なお、この「メインメモリ」や「不揮発性メモリ」にはそれぞれ複数のアドレスが割り当てられており、「CPU」で実行されるプログラムは、そのアドレスを特定しアクセスすることで相互にデータのやりとりを行い、処理を行うことが可能になっている。
本実施形態において「メインメモリ」に格納されているプログラムは、映像取得プログラム(a)と、閾値情報保持プログラム(j)、現在映像情報保持プログラム(c)、判定ルール保持プログラム(d)、温度異常判定プログラム(e)と、加熱対象物温度取得プログラムと、加熱対象物温度保持プログラムである。また、「メインメモリ」と「不揮発性メモリ」には、映像と、平常映像情報と、現在映像情報と、判定ルールと、温度と、閾値情報などが格納されている。
【0212】
「CPU」は、「メインメモリ」に格納されている判定ルール保持プログラム(d)を実行して、保保持されている閾値情報と現在映像情報とを比較してレンズの温度異常があると判定するためのルールである判定ルールを保持する。加熱対象物を所定位置にセットする。「メインメモリ」に格納されている閾値情報保持プログラム(j)を実行して、レンズの温度異常を判定するための閾値情報を保持する。加熱対象物の加熱を開始する。「メインメモリ」に格納された映像取得プログラム(a)を実行して、レンズを介して固定距離にあるデフォーカス状態判定用パターン(F)の映像を取得する。「メインメモリ」に格納されている現在映像情報保持プログラム(c)を実行して、取得中の前記固定距離にあるデフォーカス状態判定用パターン(F)の映像に関する情報である現在映像情報を保持する。「メインメモリ」に格納された加熱対象物温度取得プログラムを実行して加熱対象物の温度を取得し、「メインメモリ」に格納された加熱対象物温度保持プログラムを実行して加熱対象物の温度を保持する。そして「メインメモリ」に格納されている温度異常判定プログラム(e)を実行して、保持されている閾値情報と現在映像情報と判定ルールとに基づいてレンズが温度異常であるか判定する。異常(温度異常)と判定された場合は異常対応を行う。正常と判定された場合、加熱作業終了であれば加熱を終了する。なお取得した平常映像情報や現在映像情報や、前記判定の結果をグラフィックカード経由でディスプレイに表示したり、「USB、SATA、LAN端子、etc」からLAN回線やインターネット回線を介してサーバ装置またはPCへ出力したりする。
【0213】
<実施形態11の効果>
本実施形態11のレンズ温度異常の自己診断機能付き熱画像装置は、あらかじめ加熱前または開始直後の状態での、レンズの温度異常を判定するための閾値情報を取得し保持しておくことにより、閾値情報と、現在映像情報と、判定ルールに基づいて、レンズが温度異常か判定することができ、加熱作業中の処理工程を減らすことができる。
【0214】
<5.効果>
以上の構成を有するレンズ温度異常の自己診断機能付き熱画像装置によって、レンズに温度異常がないときの平常映像情報と、現在の被写体の映像に関する現在映像情報と、判定ルールに基づいて、レンズが温度異常か判定する自己診断機能付き熱画像装置を提供することができる。
【符号の説明】
【0215】
レンズ温度異常の自己診断機能付き熱画像装置・・・0100
映像取得部(A)・・・0101
平常映像情報保持部(B)・・・0102
現在映像情報保持部(C)・・・0103
判定ルール保持部(D)・・・0104
温度異常判定部(E)・・・0105