知財求人 - 知財ポータルサイト「IP Force」
特開2022-185601画像処理装置、画像処理プログラム、および、画像処理方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022185601
(43)【公開日】2022-12-15
(54)【発明の名称】画像処理装置、画像処理プログラム、および、画像処理方法
(51)【国際特許分類】
G01J 5/48 20220101AFI20221208BHJP
【ＦＩ】
G01J5/48 E
【審査請求】未請求
【請求項の数】4
【出願形態】ＯＬ
(21)【出願番号】P 2021093322
(22)【出願日】2021-06-03
(71)【出願人】
【識別番号】000006013
【氏名又は名称】三菱電機株式会社
(74)【代理人】
【識別番号】110003166
【氏名又は名称】弁理士法人山王内外特許事務所
(72)【発明者】
【氏名】佐藤 真梨子
(72)【発明者】
【氏名】神尾 裕美
【テーマコード（参考）】
2G066
【Ｆターム（参考）】
2G066BB05
2G066BC11
2G066BC12
2G066BC15
2G066CA02
2G066CA16
(57)【要約】 （修正有）
【課題】熱赤外域の画像に対し、気象データの実測値を取得することなく、大気の影響を考慮して処理できる、画像処理装置を提供する。
【解決手段】熱赤外域の第１データの画像における放射輝度を放射温度に変換する放射温度変換部と、第１データの画像における放射温度が閾値より低い低温領域を検出する低温検出部と、低温領域の放射輝度と大気熱放射輝度との関係から大気熱放射輝度を推定する大気熱放射輝度推定部と、観測条件から得られる地表面温度を取得し、第１データの全体領域の放射温度と地表面温度と大気温度との関係から大気温度を推定する大気温度推定部と、大気熱放射輝度と大気温度と大気透過率との関係から大気透過率を推定する大気透過率推定部と、全体領域の放射輝度に対し、大気熱放射輝度、大気温度、および大気透過率を用いて大気補正を行う第１大気補正部と、補正後の放射輝度を放射温度に変換して出力する補正後データ出力部と、を備えた。
【選択図】図１
【解決手段】熱赤外域の第１データの画像における放射輝度を放射温度に変換する放射温度変換部と、第１データの画像における放射温度が閾値より低い低温領域を検出する低温検出部と、低温領域の放射輝度と大気熱放射輝度との関係から大気熱放射輝度を推定する大気熱放射輝度推定部と、観測条件から得られる地表面温度を取得し、第１データの全体領域の放射温度と地表面温度と大気温度との関係から大気温度を推定する大気温度推定部と、大気熱放射輝度と大気温度と大気透過率との関係から大気透過率を推定する大気透過率推定部と、全体領域の放射輝度に対し、大気熱放射輝度、大気温度、および大気透過率を用いて大気補正を行う第１大気補正部と、補正後の放射輝度を放射温度に変換して出力する補正後データ出力部と、を備えた。
【選択図】図１
【特許請求の範囲】
【請求項1】
熱赤外域の波長を用いて撮影された画像を含む第１データを受け付けると、当該第１データの画像における放射輝度を放射温度に変換する放射温度変換部と、
当該第１データの画像における放射温度が閾値より低い低温領域を検出する低温検出部と、
前記低温検出部が検出した領域における放射輝度を用いて、低温領域の放射輝度と大気熱放射輝度との関係を示すデータを参照し、大気熱放射輝度を推定する大気熱放射輝度推定部と、
前記第１データの画像に示される全体領域の放射温度、および、観測条件から得られる地表面温度を取得し、全体領域の放射温度と地表面温度と大気温度との関係を示すデータを参照し、大気温度を推定する大気温度推定部と、
前記大気熱放射輝度推定部により推定された大気熱放射輝度と前記大気温度推定部により推定された大気温度とを用いて、大気熱放射輝度と大気温度と大気透過率との関係を示すデータを参照し、大気透過率を推定する大気透過率推定部と、
画像における全体領域の放射輝度に対し、前記大気熱放射輝度推定部が推定した大気熱放射輝度、前記大気温度推定部が推定した大気温度、および、前記大気透過率推定部が推定した大気透過率を用いて大気補正を行う第１大気補正部と、
前記第１大気補正部による補正後の放射輝度を放射温度に変換して出力する補正後データ出力部と、
を備えた画像処理装置。
当該第１データの画像における放射温度が閾値より低い低温領域を検出する低温検出部と、
前記低温検出部が検出した領域における放射輝度を用いて、低温領域の放射輝度と大気熱放射輝度との関係を示すデータを参照し、大気熱放射輝度を推定する大気熱放射輝度推定部と、
前記第１データの画像に示される全体領域の放射温度、および、観測条件から得られる地表面温度を取得し、全体領域の放射温度と地表面温度と大気温度との関係を示すデータを参照し、大気温度を推定する大気温度推定部と、
前記大気熱放射輝度推定部により推定された大気熱放射輝度と前記大気温度推定部により推定された大気温度とを用いて、大気熱放射輝度と大気温度と大気透過率との関係を示すデータを参照し、大気透過率を推定する大気透過率推定部と、
画像における全体領域の放射輝度に対し、前記大気熱放射輝度推定部が推定した大気熱放射輝度、前記大気温度推定部が推定した大気温度、および、前記大気透過率推定部が推定した大気透過率を用いて大気補正を行う第１大気補正部と、
前記第１大気補正部による補正後の放射輝度を放射温度に変換して出力する補正後データ出力部と、
を備えた画像処理装置。
【請求項2】
前記補正後データ出力部は、変換した放射温度に加え、当該放射温度を求めるために用いた大気特性を示す大気特性情報を出力するものであり、
さらに、
前記第１データの画像が撮影された位置において中赤外域の波長を用いて撮影された画像を含む第２データを受け付けると、前記補正後データ出力部が出力した大気特性情報を用いて、熱赤外域の波長を用いて撮影された場合の大気特性と中赤外域の波長を用いて撮影された場合の大気熱放射輝度および大気透過率との関係を示すデータを参照し、当該第２データの画像に係る大気熱放射輝度および大気透過率を推定するＭＷＩＲ大気情報推定部と、
当該第２データの画像における放射輝度に対し、前記ＭＷＩＲ大気情報推定部が推定した大気熱放射輝度および大気透過率を用いて大気補正を行う第２大気補正部と、
太陽の位置を示す太陽位置情報を取得する太陽位置取得部と、
前記補正後データ出力部が出力した大気特性情報および前記太陽位置取得部が取得した太陽位置情報を用いて、大気特性と太陽位置情報と地表照度との関係を示すデータを参照し、地表照度を算出する地表照度算出部と、
前記第１データの画像を撮影した位置において可視域および近赤外域の波長を用いて撮影された画像を含む第３データを受け付けると、スペクトル特性と放射温度と被写体の種類との関係を示すデータを参照し、当該第３データの画像のスペクトル特性および前記補正後データ出力部が出力した放射温度を用いて、被写体の種類を推定する被写体推定部と、
被写体の種類と反射率と放射率との関係を示すデータを参照し、前記被写体推定部で推定された被写体の種類に応じた反射率または放射率を抽出する反射率・放射率推定部と、
前記第２大気補正部による補正後の放射輝度、前記地表照度算出部が算出した地表照度、および、前記反射率・放射率推定部が抽出した反射率または放射率、を用いて被写体の温度を算出する温度算出部と、
前記温度算出部が算出した温度を出力する推定温度出力部と、
を備え、
前記反射率・放射率推定部は、
熱赤外域の波長を用いた場合の反射率または放射率を抽出するとともに、中赤外域の波長を用いた場合の反射率または放射率を抽出し、
前記温度算出部は、
熱赤外域の波長の反射率または放射率を用いて被写体の第１温度を算出し、中赤外域の波長の反射率または放射率を用いて被写体の第２温度を算出し、第１温度と第２温度が一致するように、前記反射率・放射率推定部が抽出する反射率または放射率を変更させる、
ことを特徴とする請求項１に記載の画像処理装置。
さらに、
前記第１データの画像が撮影された位置において中赤外域の波長を用いて撮影された画像を含む第２データを受け付けると、前記補正後データ出力部が出力した大気特性情報を用いて、熱赤外域の波長を用いて撮影された場合の大気特性と中赤外域の波長を用いて撮影された場合の大気熱放射輝度および大気透過率との関係を示すデータを参照し、当該第２データの画像に係る大気熱放射輝度および大気透過率を推定するＭＷＩＲ大気情報推定部と、
当該第２データの画像における放射輝度に対し、前記ＭＷＩＲ大気情報推定部が推定した大気熱放射輝度および大気透過率を用いて大気補正を行う第２大気補正部と、
太陽の位置を示す太陽位置情報を取得する太陽位置取得部と、
前記補正後データ出力部が出力した大気特性情報および前記太陽位置取得部が取得した太陽位置情報を用いて、大気特性と太陽位置情報と地表照度との関係を示すデータを参照し、地表照度を算出する地表照度算出部と、
前記第１データの画像を撮影した位置において可視域および近赤外域の波長を用いて撮影された画像を含む第３データを受け付けると、スペクトル特性と放射温度と被写体の種類との関係を示すデータを参照し、当該第３データの画像のスペクトル特性および前記補正後データ出力部が出力した放射温度を用いて、被写体の種類を推定する被写体推定部と、
被写体の種類と反射率と放射率との関係を示すデータを参照し、前記被写体推定部で推定された被写体の種類に応じた反射率または放射率を抽出する反射率・放射率推定部と、
前記第２大気補正部による補正後の放射輝度、前記地表照度算出部が算出した地表照度、および、前記反射率・放射率推定部が抽出した反射率または放射率、を用いて被写体の温度を算出する温度算出部と、
前記温度算出部が算出した温度を出力する推定温度出力部と、
を備え、
前記反射率・放射率推定部は、
熱赤外域の波長を用いた場合の反射率または放射率を抽出するとともに、中赤外域の波長を用いた場合の反射率または放射率を抽出し、
前記温度算出部は、
熱赤外域の波長の反射率または放射率を用いて被写体の第１温度を算出し、中赤外域の波長の反射率または放射率を用いて被写体の第２温度を算出し、第１温度と第２温度が一致するように、前記反射率・放射率推定部が抽出する反射率または放射率を変更させる、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項3】
コンピュータを、
熱赤外域の波長を用いて撮影された画像を含む第１データを受け付けると、当該第１データの画像における放射輝度を放射温度に変換する放射温度変換部と、
当該第１データの画像における放射温度が閾値より低い低温領域を検出する低温検出部と、
前記低温検出部が検出した領域における放射輝度を用いて、低温領域の放射輝度と大気熱放射輝度との関係を示すデータを参照し、大気熱放射輝度を推定する大気熱放射輝度推定部と、
前記第１データの画像に示される全体領域の放射温度、および、観測条件から得られる地表面温度を取得し、全体領域の放射温度と地表面温度と大気温度との関係を示すデータを参照し、大気温度を推定する大気温度推定部と、
前記大気熱放射輝度推定部により推定された大気熱放射輝度と前記大気温度推定部により推定された大気温度とを用いて、大気熱放射輝度と大気温度と大気透過率との関係を示すデータを参照し、大気透過率を推定する大気透過率推定部と、
前記画像における全体領域の放射輝度に対し、前記大気熱放射輝度推定部が推定した大気熱放射輝度、前記大気温度推定部が推定した大気温度、および、前記大気透過率推定部が推定した大気透過率を用いて大気補正を行う第１大気補正部と、
前記第１大気補正部による補正後の放射輝度を放射温度に変換して出力する補正後データ出力部と、
して動作させる画像処理プログラム。
熱赤外域の波長を用いて撮影された画像を含む第１データを受け付けると、当該第１データの画像における放射輝度を放射温度に変換する放射温度変換部と、
当該第１データの画像における放射温度が閾値より低い低温領域を検出する低温検出部と、
前記低温検出部が検出した領域における放射輝度を用いて、低温領域の放射輝度と大気熱放射輝度との関係を示すデータを参照し、大気熱放射輝度を推定する大気熱放射輝度推定部と、
前記第１データの画像に示される全体領域の放射温度、および、観測条件から得られる地表面温度を取得し、全体領域の放射温度と地表面温度と大気温度との関係を示すデータを参照し、大気温度を推定する大気温度推定部と、
前記大気熱放射輝度推定部により推定された大気熱放射輝度と前記大気温度推定部により推定された大気温度とを用いて、大気熱放射輝度と大気温度と大気透過率との関係を示すデータを参照し、大気透過率を推定する大気透過率推定部と、
前記画像における全体領域の放射輝度に対し、前記大気熱放射輝度推定部が推定した大気熱放射輝度、前記大気温度推定部が推定した大気温度、および、前記大気透過率推定部が推定した大気透過率を用いて大気補正を行う第１大気補正部と、
前記第１大気補正部による補正後の放射輝度を放射温度に変換して出力する補正後データ出力部と、
して動作させる画像処理プログラム。
【請求項4】
熱赤外域の波長を用いて撮影された画像を含む第１データを受け付けると、当該第１データの画像における放射輝度を放射温度に変換する放射温度変換ステップと、
当該第１データの画像における放射温度が閾値より低い低温領域を検出する低温検出ステップと、
前記低温検出ステップにより検出した領域における放射輝度を用いて、低温領域の放射輝度と大気熱放射輝度との関係を示すデータを参照し、大気熱放射輝度を推定する大気熱放射輝度推定ステップと、
前記第１データの画像に示される全体領域の放射温度、および、観測条件から得られる地表面温度を取得し、全体領域の放射温度と地表面温度と大気温度との関係を示すデータを参照し、大気温度を推定する大気温度推定ステップと、
前記大気熱放射輝度推定ステップにより推定された大気熱放射輝度と前記大気温度推定ステップにより推定された大気温度とを用いて、大気熱放射輝度と大気温度と大気透過率との関係を示すデータを参照し、大気透過率を推定する大気透過率推定ステップと、
画像における全体領域の放射輝度に対し、前記大気熱放射輝度推定ステップにより推定した大気熱放射輝度、前記大気温度推定ステップにより推定した大気温度、および、前記大気透過率推定ステップにより推定した大気透過率を用いて大気補正を行う第１大気補正ステップと、
前記第１大気補正ステップによる補正後の放射輝度を放射温度に変換して出力する補正後データ出力ステップと、
を備えた画像処理方法。
当該第１データの画像における放射温度が閾値より低い低温領域を検出する低温検出ステップと、
前記低温検出ステップにより検出した領域における放射輝度を用いて、低温領域の放射輝度と大気熱放射輝度との関係を示すデータを参照し、大気熱放射輝度を推定する大気熱放射輝度推定ステップと、
前記第１データの画像に示される全体領域の放射温度、および、観測条件から得られる地表面温度を取得し、全体領域の放射温度と地表面温度と大気温度との関係を示すデータを参照し、大気温度を推定する大気温度推定ステップと、
前記大気熱放射輝度推定ステップにより推定された大気熱放射輝度と前記大気温度推定ステップにより推定された大気温度とを用いて、大気熱放射輝度と大気温度と大気透過率との関係を示すデータを参照し、大気透過率を推定する大気透過率推定ステップと、
画像における全体領域の放射輝度に対し、前記大気熱放射輝度推定ステップにより推定した大気熱放射輝度、前記大気温度推定ステップにより推定した大気温度、および、前記大気透過率推定ステップにより推定した大気透過率を用いて大気補正を行う第１大気補正ステップと、
前記第１大気補正ステップによる補正後の放射輝度を放射温度に変換して出力する補正後データ出力ステップと、
を備えた画像処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、被写体を識別するために熱赤外域の波長を用いて撮影された画像を、処理する画像処理装置に関する。
【背景技術】
【0002】
画像処理装置の中には、熱赤外域の波長を用いて大気を介して地表などの被写体が撮影された画像を、処理するものがある。
この画像には大気の影響が含まれるため、被写体を識別する際には、大気の影響を考慮する必要がある。
この画像には大気の影響が含まれるため、被写体を識別する際には、大気の影響を考慮する必要がある。
【0003】
例えば、特許文献１には、実際に観測した気象データを用いて大気の影響を考慮することが開示されている。
具体的には、放射伝達計算を行う放射伝達プログラムに対し、観測時の観測対象領域の状態を反映する地上気象データと高層気象データとを入力し、放射伝達プログラムの放射伝達計算結果から、観測対象領域の地表面輝度温度を導出するための放射伝達方程式に使用される大気パラメータを得ることで、大気の影響を考慮している。
具体的には、放射伝達計算を行う放射伝達プログラムに対し、観測時の観測対象領域の状態を反映する地上気象データと高層気象データとを入力し、放射伝達プログラムの放射伝達計算結果から、観測対象領域の地表面輝度温度を導出するための放射伝達方程式に使用される大気パラメータを得ることで、大気の影響を考慮している。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２００７－００３３０８号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかし、特許文献１に開示される技術は、熱赤外域の波長を用いて撮影された画像に対し、大気の影響を考慮する場合、観測時の観測対象領域の状態を反映する気象データの実測値が必要である、という課題があった。あらゆる観測時のあらゆる観測対象領域について、その状態を反映する気象データの実測値を全て得るようにすることは難しい傾向がある。
【0006】
本開示は、上記課題を解決するもので、熱赤外域の波長を用いて撮影された画像に対し、観測時の観測対象領域の状態を反映する気象データの実測値を取得することなく、大気の影響を考慮して処理できる、画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【0007】
本開示の画像処理装置は、熱赤外域の波長を用いて撮影された画像を含む第１データを受け付けると、当該第１データの画像における放射輝度を放射温度に変換する放射温度変換部と、当該第１データの画像における放射温度が閾値より低い低温領域を検出する低温検出部と、低温検出部が検出した領域における放射輝度を用いて、低温領域の放射輝度と大気熱放射輝度との関係を示すデータを参照し、大気熱放射輝度を推定する大気熱放射輝度推定部と、第１データの画像に示される全体領域の放射温度、および、観測条件から得られる地表面温度を取得し、全体領域の放射温度と地表面温度と大気温度との関係を示すデータを参照し、大気温度を推定する大気温度推定部と、大気熱放射輝度推定部により推定された大気熱放射輝度と大気温度推定部により推定された大気温度とを用いて、大気熱放射輝度と大気温度と大気透過率との関係を示すデータを参照し、大気透過率を推定する大気透過率推定部と、画像における全体領域の放射輝度に対し、大気熱放射輝度推定部が推定した大気熱放射輝度、大気温度推定部が推定した大気温度、および、大気透過率推定部が推定した大気透過率を用いて大気補正を行う第１大気補正部と、第１大気補正部による補正後の放射輝度を放射温度に変換して出力する補正後データ出力部と、を備えた。
【発明の効果】
【0008】
本開示によれば、熱赤外域の波長を用いて撮影された画像に対し、観測時の観測対象領域の状態を反映する気象データの実測値を取得することなく、大気の影響を考慮して処理を行う、画像処理装置を提供できる、という効果を奏する。
【図面の簡単な説明】
【0009】
【図1】実施の形態１に係る画像処理装置の構成を示す図である。
【図2】画像処理装置における大気補正を説明する図である。
【図3】大気熱放射と大気熱放射の地表反射光との関係を説明する図である。
【図4】大気熱放射と大気透過率との関係を説明する図である。
【図5】放射温度と放射輝度との関係を説明する図である。
【図6】実施の形態１に係る画像処理装置の処理を示すフローチャートである。
【図7】実施の形態２に係る画像処理装置の構成を示す図である。
【図8】実施の形態２に係る画像処理装置の処理を示すフローチャートである。
【図13】画像処理装置のハードウェア構成の一例を示す図である。
【図14】画像処理装置のハードウェア構成の別の一例を示す図である。
【発明を実施するための形態】
【0010】
以下、本開示をより詳細に説明するために、本開示を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
図１は、実施の形態１に係る画像処理装置１０の構成を示す図である。
図１においては、画像処理装置１０に加え、外部構成としてのＬＷＩＲセンサ２０、データベース３１、データベース３２、データベース３３を示している。
実施の形態１．
図１は、実施の形態１に係る画像処理装置１０の構成を示す図である。
図１においては、画像処理装置１０に加え、外部構成としてのＬＷＩＲセンサ２０、データベース３１、データベース３２、データベース３３を示している。
【0011】
画像処理装置１０は、ＬＷＩＲセンサ２０により撮影された画像を用いて得られたデータにより、当該画像に対し、大気補正を行い、大気補正後の画像を用いて画像に撮影された対象物の放射温度を出力するものである。画像処理装置の詳細は、後述する。
【0012】
ＬＷＩＲセンサ２０は、熱赤外域の波長（ＬＷＩＲ：Ｌｏｎｇ ｗａｖｅｌｅｎｇｔｈ ｉｎｆｒａｒｅｄ）を用いたセンサである。
ＬＷＩＲセンサ２０は、例えば、人工衛星、航空機などの飛翔体に搭載され、大気を介して地表などの対象物を撮影する。
ＬＷＩＲセンサ２０は、ＬＷＩＲデータを出力する。
ＬＷＩＲデータは、熱赤外域の波長を用いて撮影された画像を含み、画像データに加え、例えば撮影日時、撮影位置、撮影した領域を識別できる情報などが付されているデータである。
ＬＷＩＲデータは、説明において「第１データ」とも記載する。
ＬＷＩＲセンサ２０は、例えば、人工衛星、航空機などの飛翔体に搭載され、大気を介して地表などの対象物を撮影する。
ＬＷＩＲセンサ２０は、ＬＷＩＲデータを出力する。
ＬＷＩＲデータは、熱赤外域の波長を用いて撮影された画像を含み、画像データに加え、例えば撮影日時、撮影位置、撮影した領域を識別できる情報などが付されているデータである。
ＬＷＩＲデータは、説明において「第１データ」とも記載する。
【0013】
データベース３１、データベース３２、および、データベース３３は、それぞれ、画像処理装置１０の処理に用いられるデータを格納するデータベースであり、それぞれのデータベースの詳細は、画像処理装置１０の説明において後述する。
データベース３１、データベース３２、および、データベース３３は、図１には示していない記憶装置に記憶される。
データベース３１、データベース３２、および、データベース３３は、１台の記憶装置に記憶されていてもよく、または、複数台の記憶装置に分けて記憶されていてもよい。
データベース３１、データベース３２、および、データベース３３は、図１には示していない記憶装置に記憶される。
データベース３１、データベース３２、および、データベース３３は、１台の記憶装置に記憶されていてもよく、または、複数台の記憶装置に分けて記憶されていてもよい。
【0014】
本開示に係る画像処理装置のおける大気補正の概念を説明する。
図２は、画像処理装置における大気補正を説明する図である。
ＬＷＩＲセンサ２０により地球の表面（地表２００）を上空から撮影すると、地表２００の熱放射（地表熱放射２２０）が大気２１０の透過率で減衰され、かつ、大気２１０からの熱放射（大気熱放射２２１）と大気２１０から地表２００への熱放射の反射光（大気熱放射の地表反射光２２２）とが加わってＬＷＩＲセンサ２０に入射する。そのため、地表熱放射２２０を検出する際に、ＬＷＩＲセンサ２０により得られる画像に対し、上記を考慮する。
ここで、熱赤外域の波長を用いて撮影された画像には、例えば市街地などを撮影した際に非常に低温の被写体が含まれることがある。この被写体は、例えば金属といった放射率が非常に小さい被写体である。
この被写体からの熱放射は、非常に小さいため、全大気放射（＝地表とＬＷＩＲセンサ２０と間の大気熱放射＋当該大気熱放射が地表により反射した反射光）とみなすことができる。
本開示は、この点に着目し、例えば、以下の式（１）および式（２）に示すように、全大気放射を考慮して地表本来の熱放射（放射温度）を得るようにしたものである。
↓
Ｌｓｅｎｓｏｒ：センサに入射する放射輝度
Ｌｔｇｔ：地表からの熱放射輝度
Ｌｒｅｆｌｔ：大気熱放射の地表反射輝度
Ｌａｔｍ：大気熱放射輝度
τ：大気透過率
Ｔ：温度
図２は、画像処理装置における大気補正を説明する図である。
ＬＷＩＲセンサ２０により地球の表面（地表２００）を上空から撮影すると、地表２００の熱放射（地表熱放射２２０）が大気２１０の透過率で減衰され、かつ、大気２１０からの熱放射（大気熱放射２２１）と大気２１０から地表２００への熱放射の反射光（大気熱放射の地表反射光２２２）とが加わってＬＷＩＲセンサ２０に入射する。そのため、地表熱放射２２０を検出する際に、ＬＷＩＲセンサ２０により得られる画像に対し、上記を考慮する。
ここで、熱赤外域の波長を用いて撮影された画像には、例えば市街地などを撮影した際に非常に低温の被写体が含まれることがある。この被写体は、例えば金属といった放射率が非常に小さい被写体である。
この被写体からの熱放射は、非常に小さいため、全大気放射（＝地表とＬＷＩＲセンサ２０と間の大気熱放射＋当該大気熱放射が地表により反射した反射光）とみなすことができる。
本開示は、この点に着目し、例えば、以下の式（１）および式（２）に示すように、全大気放射を考慮して地表本来の熱放射（放射温度）を得るようにしたものである。
Ｌｓｅｎｓｏｒ：センサに入射する放射輝度
Ｌｔｇｔ：地表からの熱放射輝度
Ｌｒｅｆｌｔ：大気熱放射の地表反射輝度
Ｌａｔｍ：大気熱放射輝度
τ：大気透過率
Ｔ：温度
【0015】
画像処理装置１０の構成を説明する。
図１に示す画像処理装置１０は、ＬＷＩＲデータ取得部１１、放射温度変換部１２、低温検出部１３、大気熱放射輝度推定部１４、大気温度推定部１５、大気透過率推定部１６、大気補正部１７（説明においては「第１大気補正部」とも記載する。）、および、補正後データ出力部１８、を備えている。
図１に示す画像処理装置１０は、ＬＷＩＲデータ取得部１１、放射温度変換部１２、低温検出部１３、大気熱放射輝度推定部１４、大気温度推定部１５、大気透過率推定部１６、大気補正部１７（説明においては「第１大気補正部」とも記載する。）、および、補正後データ出力部１８、を備えている。
【0016】
ＬＷＩＲデータ取得部１１は、熱赤外域の波長を用いて撮影された画像を含むＬＷＩＲデータ（第１データ）を取得する。ＬＷＩＲデータ取得部１１は、例えば、ＬＷＩＲセンサ２０から直接または間接的にＬＷＩＲデータを取得する。
【0017】
放射温度変換部１２は、熱赤外域の波長を用いて撮影された画像を含むＬＷＩＲデータを受け付けると、当該第１データの画像における放射輝度を放射温度に変換する。
放射輝度と放射温度とは、例えば、図５に示すように１対１で対応するものであり、対応関係を示す情報に基づいて変換される。
放射輝度と放射温度とは、例えば、図５に示すように１対１で対応するものであり、対応関係を示す情報に基づいて変換される。
【0018】
低温検出部１３は、ＬＷＩＲデータの画像における放射温度が閾値より低い低温領域を検出する。具体的には、低温検出部１３は、放射温度と予め定められた閾値とを比較して、閾値より小さい放射温度を示す領域を低温領域として検出する。
【0019】
大気熱放射輝度推定部１４は、低温検出部１３が検出した領域における放射輝度を用いて、低温領域の放射輝度と大気熱放射輝度との関係を示すデータ（データベース３１）を参照し、大気熱放射輝度を推定する。
図３は、大気熱放射と大気熱放射の地表反射光との関係を説明する図である。
データベース３１は、例えば、一般的な大気条件において、大気透過率（水蒸気量）と大気温度を変化させた時の、大気透過率（水蒸気量）と大気温度との組み合わせごとの大気熱放射－大気熱放射の地表面反射光の特性（図３）を、データベース化したものである。
図３は、大気熱放射と大気熱放射の地表反射光との関係を説明する図である。
データベース３１は、例えば、一般的な大気条件において、大気透過率（水蒸気量）と大気温度を変化させた時の、大気透過率（水蒸気量）と大気温度との組み合わせごとの大気熱放射－大気熱放射の地表面反射光の特性（図３）を、データベース化したものである。
【0020】
大気温度推定部１５は、ＬＷＩＲデータの画像に示される全体領域の放射温度、および、観測条件から得られる地表面温度を取得し、全体領域の放射温度と地表面温度と大気温度との関係を示すデータを含むデータベース３２を参照し、大気温度を推定する。
観測条件は、例えば、撮影位置（撮影領域）、日時（太陽位置）、観測シーン（対象物の種類）である。
撮影位置は、撮影領域を示す情報であってもよい。また、日時は、太陽位置を示す情報であってもよい。観測条件は、ＬＷＩＲデータに付された情報を用いてもよい。
具体的には、大気温度推定部１５は、画像全体の平均温度に対し、観測条件（時刻、観測シーン（対象物の種類））に応じてオフセットを考慮し、例えば以下の式（３）を用いて地表面温度を算出する。
Ｔｇｒｎｄ：地表温度
大気温度推定部１５は、地表温度を推定後、大気温度はＭＯＤＴＲＡＮなどで求められる大気温度計測データを参照し、大気層毎の温度特性を推定する。
観測条件は、例えば、撮影位置（撮影領域）、日時（太陽位置）、観測シーン（対象物の種類）である。
撮影位置は、撮影領域を示す情報であってもよい。また、日時は、太陽位置を示す情報であってもよい。観測条件は、ＬＷＩＲデータに付された情報を用いてもよい。
具体的には、大気温度推定部１５は、画像全体の平均温度に対し、観測条件（時刻、観測シーン（対象物の種類））に応じてオフセットを考慮し、例えば以下の式（３）を用いて地表面温度を算出する。
Ｔｇｒｎｄ：地表温度
大気温度推定部１５は、地表温度を推定後、大気温度はＭＯＤＴＲＡＮなどで求められる大気温度計測データを参照し、大気層毎の温度特性を推定する。
【0021】
大気透過率推定部１６は、大気熱放射輝度推定部１４により推定された大気熱放射輝度と大気温度推定部１５により推定された大気温度とを用いて、大気熱放射輝度と大気温度と大気透過率との関係を示すデータを含むデータベース３３を参照し、大気透過率を推定する。
図４は、大気熱放射と大気透過率との関係を説明する図である。
データベース３３は、予め、大気温度Ｔａｔｍごとに、図４に示すような大気熱放射と大気透過率との関係を求めておきデータベース化したものである。
図４は、大気熱放射と大気透過率との関係を説明する図である。
データベース３３は、予め、大気温度Ｔａｔｍごとに、図４に示すような大気熱放射と大気透過率との関係を求めておきデータベース化したものである。
【0022】
大気補正部１７は、画像における全体領域の放射輝度に対し、大気熱放射輝度推定部１４が推定した大気熱放射輝度、大気温度推定部１５が推定した大気温度、および、大気透過率推定部１６が推定した大気透過率を用いて大気補正を行う。
図５は、放射温度と放射輝度との関係を説明する図である。
図５に示すように、放射温度Ｔと放射輝度Ｌとは１対１の関係で示される。この場合の放射温度とは放射率を１としたときの等価黒体温度を示す。
例えば、地表本来の熱放射（放射温度）は、以下の式（４）で表すことができる。
Ｌｂｂ：黒体放射輝度
ε：放射率
図５は、放射温度と放射輝度との関係を説明する図である。
図５に示すように、放射温度Ｔと放射輝度Ｌとは１対１の関係で示される。この場合の放射温度とは放射率を１としたときの等価黒体温度を示す。
例えば、地表本来の熱放射（放射温度）は、以下の式（４）で表すことができる。
Ｌｂｂ：黒体放射輝度
ε：放射率
【0023】
補正後データ出力部１８は、第１大気補正部１７による補正後の放射輝度を放射温度に変換して出力する。
【0024】
画像処理装置１０の処理を説明する。
図６は、実施の形態１に係る画像処理装置１０の処理を示すフローチャートである。
画像処理装置１０は、例えば、図示しない制御部からの指令信号を受けると処理を開始する（開始）。
図６は、実施の形態１に係る画像処理装置１０の処理を示すフローチャートである。
画像処理装置１０は、例えば、図示しない制御部からの指令信号を受けると処理を開始する（開始）。
【0025】
ＬＷＩＲデータ取得部１１は、ＬＷＩＲデータを取得する（ステップＳＴ１１０）。
ＬＷＩＲデータ取得部１１は、ＬＷＩＲデータを放射温度変換部１２へ出力する。
ＬＷＩＲデータ取得部１１は、ＬＷＩＲデータを放射温度変換部１２へ出力する。
【0026】
放射温度変換部１２は、画像内の放射輝度をそれぞれ放射温度に変換する（ステップＳＴ１２０）。
放射温度変換部１２は、画像内の放射温度を低温検出部１３へ出力する。
放射温度変換部１２は、画像内の放射温度を低温検出部１３へ出力する。
【0027】
低温検出部１３は、放射温度を用いて、画像における低温領域を検出する（ステップＳＴ１３０）。
低温検出部１３は、画像における低温領域を示す情報を大気熱放射輝度推定部１４へ出力する。
低温検出部１３は、画像における低温領域を示す情報を大気熱放射輝度推定部１４へ出力する。
【0028】
大気熱放射輝度推定部１４は、低温領域の放射輝度を用いて、大気熱放射輝度を推定する（ステップＳＴ１４０）。
具体的には、大気熱放射輝度推定部１４は、低温検出部１３が検出した領域における放射輝度を用いて、低温領域の放射輝度と大気熱放射輝度との関係を示すデータ（データベース３１）を参照し、大気熱放射輝度を推定する。
大気熱放射輝度推定部１４は、大気熱放射輝度を大気温度推定部１５および大気透過率推定部１６へ出力する。
具体的には、大気熱放射輝度推定部１４は、低温検出部１３が検出した領域における放射輝度を用いて、低温領域の放射輝度と大気熱放射輝度との関係を示すデータ（データベース３１）を参照し、大気熱放射輝度を推定する。
大気熱放射輝度推定部１４は、大気熱放射輝度を大気温度推定部１５および大気透過率推定部１６へ出力する。
【0029】
大気温度推定部１５は、全体領域の放射温度を用いて、大気温度を推定する（ステップＳＴ１５０）。
具体的には、大気温度推定部１５は、ＬＷＩＲデータの画像に示される全体領域の放射温度、および、観測条件から得られる地表面温度を取得し、全体領域の放射温度と地表面温度と大気温度との関係を示すデータを含むデータベース３２を参照し、大気温度を推定する。
具体的には、大気温度推定部１５は、ＬＷＩＲデータの画像に示される全体領域の放射温度、および、観測条件から得られる地表面温度を取得し、全体領域の放射温度と地表面温度と大気温度との関係を示すデータを含むデータベース３２を参照し、大気温度を推定する。
【0030】
大気透過率推定部１６は、大気熱放射輝度および大気温度を用いて、大気透過率を推定する（ステップＳＴ１６０）。具体的には、大気透過率推定部１６は、大気熱放射輝度と大気温度と大気透過率との関係を示すデータを含むデータベース３３を参照し、大気透過率を推定する。
【0031】
大気補正部１７は、推定された大気熱放射輝度、大気温度、および、大気透過率を用いて、画像に対して大気補正を行う（ステップＳＴ１７０）。
具体的には、大気補正部１７は、画像における全体領域の放射輝度に対し、大気熱放射輝度推定部１４が推定した大気熱放射輝度、大気温度推定部１５が推定した大気温度、および、大気透過率推定部１６が推定した大気透過率を用いて大気補正を行う。
具体的には、大気補正部１７は、画像における全体領域の放射輝度に対し、大気熱放射輝度推定部１４が推定した大気熱放射輝度、大気温度推定部１５が推定した大気温度、および、大気透過率推定部１６が推定した大気透過率を用いて大気補正を行う。
【0032】
補正後データ出力部１８は、大気補正後の画像における放射輝度を放射温度に変換して出力する（ステップＳＴ１８０）。
ステップＳＴ１８０の処理が終わると処理を終了する（終了）。
ステップＳＴ１８０の処理が終わると処理を終了する（終了）。
【0033】
上記画像処理装置は、熱赤外域の波長を用いて撮影された画像に対し、観測時の観測対象領域の状態を反映する気象データの実測値を取得することなく、大気の影響を考慮して処理を行うことができる。
上記画像処理装置は、センサが搭載された衛星のリソースを使いすぎることがない。また、上記画像処理装置は、計算機負荷を大きくすることなく大気の影響を考慮して処理を行うことができる。そして、上記画像処理装置は、計算の効率と精度を両立することができる。
上記画像処理装置は、センサが搭載された衛星のリソースを使いすぎることがない。また、上記画像処理装置は、計算機負荷を大きくすることなく大気の影響を考慮して処理を行うことができる。そして、上記画像処理装置は、計算の効率と精度を両立することができる。
【0034】
上述した通り、本開示の画像処理装置は、熱赤外域の波長を用いて撮影された画像を含む第１データを受け付けると、当該第１データの画像における放射輝度を放射温度に変換する放射温度変換部と、当該第１データの画像における放射温度が閾値より低い低温領域を検出する低温検出部と、低温検出部が検出した領域における放射輝度を用いて、低温領域の放射輝度と大気熱放射輝度との関係を示すデータを参照し、大気熱放射輝度を推定する大気熱放射輝度推定部と、第１データの画像に示される全体領域の放射温度、および、観測条件から得られる地表面温度を取得し、全体領域の放射温度と地表面温度と大気温度との関係を示すデータを参照し、大気温度を推定する大気温度推定部と、大気熱放射輝度推定部により推定された大気熱放射輝度と大気温度推定部により推定された大気温度とを用いて、大気熱放射輝度と大気温度と大気透過率との関係を示すデータを参照し、大気透過率を推定する大気透過率推定部と、画像における全体領域の放射輝度に対し、大気熱放射輝度推定部が推定した大気熱放射輝度、大気温度推定部が推定した大気温度、および、大気透過率推定部が推定した大気透過率を用いて大気補正を行う第１大気補正部と、第１大気補正部による補正後の放射輝度を放射温度に変換して出力する補正後データ出力部と、を備えるように、構成した。
これにより、熱赤外域の波長を用いて撮影された画像に対し、観測時の観測対象領域の状態を反映する気象データの実測値を取得することなく、大気の影響を考慮して処理を行う、画像処理装置を提供できる、という効果を奏する。
これにより、熱赤外域の波長を用いて撮影された画像に対し、観測時の観測対象領域の状態を反映する気象データの実測値を取得することなく、大気の影響を考慮して処理を行う、画像処理装置を提供できる、という効果を奏する。
【0035】
上述した通り、本開示に係る画像処理プログラムは、コンピュータを、熱赤外域の波長を用いて撮影された画像を含む第１データを受け付けると、当該第１データの画像における放射輝度を放射温度に変換する放射温度変換部と、当該第１データの画像における放射温度が閾値より低い低温領域を検出する低温検出部と、低温検出部が検出した領域における放射輝度を用いて、低温領域の放射輝度と大気熱放射輝度との関係を示すデータを参照し、大気熱放射輝度を推定する大気熱放射輝度推定部と、第１データの画像に示される全体領域の放射温度、および、観測条件から得られる地表面温度を取得し、全体領域の放射温度と地表面温度と大気温度との関係を示すデータを参照し、大気温度を推定する大気温度推定部と、大気熱放射輝度推定部により推定された大気熱放射輝度と大気温度推定部により推定された大気温度とを用いて、大気熱放射輝度と大気温度と大気透過率との関係を示すデータを参照し、大気透過率を推定する大気透過率推定部と、画像における全体領域の放射輝度に対し、大気熱放射輝度推定部が推定した大気熱放射輝度、大気温度推定部が推定した大気温度、および、大気透過率推定部が推定した大気透過率を用いて大気補正を行う第１大気補正部と、第１大気補正部による補正後の放射輝度を放射温度に変換して出力する補正後データ出力部と、して動作させるように構成した。
これにより、熱赤外域の波長を用いて撮影された画像に対し、観測時の観測対象領域の状態を反映する気象データの実測値を取得することなく、大気の影響を考慮して処理を行う、画像処理装置を実現する画像処理プログラムを提供できる、という効果を奏する。
これにより、熱赤外域の波長を用いて撮影された画像に対し、観測時の観測対象領域の状態を反映する気象データの実測値を取得することなく、大気の影響を考慮して処理を行う、画像処理装置を実現する画像処理プログラムを提供できる、という効果を奏する。
【0036】
上述した通り、本開示に係る画像処理方法は、熱赤外域の波長を用いて撮影された画像を含む第１データを受け付けると、当該第１データの画像における放射輝度を放射温度に変換する放射温度変換ステップと、当該第１データの画像における放射温度が閾値より低い低温領域を検出する低温検出ステップと、低温検出ステップにより検出した領域における放射輝度を用いて、低温領域の放射輝度と大気熱放射輝度との関係を示すデータを参照し、大気熱放射輝度を推定する大気熱放射輝度推定ステップと、第１データの画像に示される全体領域の放射温度、および、観測条件から得られる地表面温度を取得し、全体領域の放射温度と地表面温度と大気温度との関係を示すデータを参照し、大気温度を推定する大気温度推定ステップと、大気熱放射輝度推定ステップにより推定された大気熱放射輝度と大気温度推定ステップにより推定された大気温度とを用いて、大気熱放射輝度と大気温度と大気透過率との関係を示すデータを参照し、大気透過率を推定する大気透過率推定ステップと、画像における全体領域の放射輝度に対し、大気熱放射輝度推定ステップにより推定した大気熱放射輝度、大気温度推定ステップにより推定した大気温度、および、大気透過率推定ステップにより推定した大気透過率を用いて大気補正を行う第１大気補正ステップと、第１大気補正ステップによる補正後の放射輝度を放射温度に変換して出力する補正後データ出力ステップと、を備えるように構成した。
これにより、熱赤外域の波長を用いて撮影された画像に対し、観測時の観測対象領域の状態を反映する気象データの実測値を取得することなく、大気の影響を考慮して処理を行う、画像処理装置を実現する画像処理方法を提供できる、という効果を奏する。
これにより、熱赤外域の波長を用いて撮影された画像に対し、観測時の観測対象領域の状態を反映する気象データの実測値を取得することなく、大気の影響を考慮して処理を行う、画像処理装置を実現する画像処理方法を提供できる、という効果を奏する。
【0037】
実施の形態２．
実施の形態１は、熱赤外域の波長を用いて撮影された画像を用いて大気補正を行い、大気補正後のデータを用いて放射温度を算出する形態を説明した。
実施の形態２は、熱赤外域の波長を用いて撮影された画像に加えて、中波赤外域の波長を用いて撮影された画像、および、可視域および近赤外域の波長を用いて撮影された画像を用いて放射温度を算出する形態を説明する。実施の形態２に係る画像処理装置１００においては、熱赤外域の波長を用いて撮影された画像により解析された大気特性データを用いることで、中波赤外域の波長を用いて撮影された画像における大気熱放射輝度、大気透過率を算出する。
実施の形態１は、熱赤外域の波長を用いて撮影された画像を用いて大気補正を行い、大気補正後のデータを用いて放射温度を算出する形態を説明した。
実施の形態２は、熱赤外域の波長を用いて撮影された画像に加えて、中波赤外域の波長を用いて撮影された画像、および、可視域および近赤外域の波長を用いて撮影された画像を用いて放射温度を算出する形態を説明する。実施の形態２に係る画像処理装置１００においては、熱赤外域の波長を用いて撮影された画像により解析された大気特性データを用いることで、中波赤外域の波長を用いて撮影された画像における大気熱放射輝度、大気透過率を算出する。
【0038】
実施の形態２に係る画像処理装置１００の構成を説明する。
図７は、実施の形態２に係る画像処理装置１００の構成を示す図である。
図７においては、画像処理装置１００に加え、外部構成としてのＬＷＩＲセンサ２１、ＭＷＩＲセンサ２２、ＶＮＩＲセンサ２３、データベース３１、データベース３２、データベース３３、データベース３４、データベース３５、データベース３６、および、データベース３７、を示している。
図７は、実施の形態２に係る画像処理装置１００の構成を示す図である。
図７においては、画像処理装置１００に加え、外部構成としてのＬＷＩＲセンサ２１、ＭＷＩＲセンサ２２、ＶＮＩＲセンサ２３、データベース３１、データベース３２、データベース３３、データベース３４、データベース３５、データベース３６、および、データベース３７、を示している。
【0039】
ＬＷＩＲセンサ２１は、図１のＬＷＩＲセンサ２０と同様であるため、その説明を省略する。
ＭＷＩＲセンサ２２は、中波赤外域の波長（ＭＷＩＲ：Ｍｉｄ ｗａｖｅｌｅｎｇｔｈ ｉｎｆｒａｒｅｄ）を用いたセンサである。
ＭＷＩＲセンサ２２は、例えば、人工衛星、航空機などの飛翔体に搭載され、大気を介して地表などの対象物を撮影する。
ＭＷＩＲセンサ２２は、ＭＷＩＲデータを出力する。
ＭＷＩＲデータは、第１データの画像を撮影した位置において中波赤外域の波長を用いて撮影された画像を含み、画像データに加え、例えば撮影日時、撮影位置、撮影した領域を識別できる情報などが付されているデータである。
ＭＷＩＲデータは、説明において「第２データ」とも記載する。
ＭＷＩＲセンサ２２は、中波赤外域の波長（ＭＷＩＲ：Ｍｉｄ ｗａｖｅｌｅｎｇｔｈ ｉｎｆｒａｒｅｄ）を用いたセンサである。
ＭＷＩＲセンサ２２は、例えば、人工衛星、航空機などの飛翔体に搭載され、大気を介して地表などの対象物を撮影する。
ＭＷＩＲセンサ２２は、ＭＷＩＲデータを出力する。
ＭＷＩＲデータは、第１データの画像を撮影した位置において中波赤外域の波長を用いて撮影された画像を含み、画像データに加え、例えば撮影日時、撮影位置、撮影した領域を識別できる情報などが付されているデータである。
ＭＷＩＲデータは、説明において「第２データ」とも記載する。
【0040】
ＶＮＩＲセンサ２３は、可視域および近赤外域（以下「可視近赤外域」とも記載する。）の波長（ＶＮＩＲ：Ｖｉｓｉｂｌｅ ａｎｄ Ｎｅａｒ Ｉｎｆｒａｒｅｄ）を用いたセンサである。
ＶＮＩＲセンサ２３は、例えば、人工衛星、航空機などの飛翔体に搭載され、大気を介して地表などの対象物を撮影する。
ＶＮＩＲセンサ２３は、ＶＮＩＲデータを出力する。
ＶＮＩＲデータは、第１データの画像を撮影した位置において可視近赤外域の波長を用いて撮影された画像を含み、画像データに加え、例えば撮影日時、撮影位置、撮影した領域を識別できる情報などが付されているデータである。
ＶＮＩＲデータは、説明において「第３データ」とも記載する。
ＶＮＩＲセンサ２３は、例えば、人工衛星、航空機などの飛翔体に搭載され、大気を介して地表などの対象物を撮影する。
ＶＮＩＲセンサ２３は、ＶＮＩＲデータを出力する。
ＶＮＩＲデータは、第１データの画像を撮影した位置において可視近赤外域の波長を用いて撮影された画像を含み、画像データに加え、例えば撮影日時、撮影位置、撮影した領域を識別できる情報などが付されているデータである。
ＶＮＩＲデータは、説明において「第３データ」とも記載する。
【0041】
ＬＷＩＲセンサ２１、ＭＷＩＲセンサ２２、ＶＮＩＲセンサ２３はそれぞれ、例えば、同じ飛翔体に搭載され、同じ領域を撮影するものでもよく、これにより、それぞれのデータが対応する領域において撮影された画像を含むかを判定する処理の一部を省略できる。
【0042】
データベース３１、データベース３２、データベース３３、データベース３４（説明においては、「第４データベース」とも記載する。）、データベース３５（説明においては、「第５データベース」とも記載する。）、データベース３６（説明においては、「第６データベース」とも記載する。）、および、データベース３７（説明においては、「第７データベース」とも記載する。）はそれぞれ、画像処理装置の処理に用いられるデータを格納するデータベースであり、それぞれのデータベースの詳細は、画像処理装置の説明において後述する。
データベース３１、データベース３２、データベース３３、データベース３４、データベース３５、データベース３６、および、データベース３７は、図１には示していない記憶装置に記憶される。
データベース３１、データベース３２、データベース３３、データベース３４、データベース３５、データベース３６、および、データベース３７は、１台の記憶装置に記憶されていてもよく、または、それぞれが複数台の記憶装置に分けて記憶されていてもよい。
データベース３１、データベース３２、データベース３３、データベース３４、データベース３５、データベース３６、および、データベース３７は、図１には示していない記憶装置に記憶される。
データベース３１、データベース３２、データベース３３、データベース３４、データベース３５、データベース３６、および、データベース３７は、１台の記憶装置に記憶されていてもよく、または、それぞれが複数台の記憶装置に分けて記憶されていてもよい。
【0043】
画像処理装置１００は、ＬＷＩＲデータ取得部１１、放射温度変換部１２、低温検出部１３、大気熱放射輝度推定部１４、大気温度推定部１５、大気透過率推定部１６、大気補正部１７（第１大気補正部）、補正後データ出力部１８、ＶＮＩＲデータ取得部１２１、被写体推定部１２２、太陽位置取得部１３１、地表照度算出部１３２、ＭＷＩＲデータ取得部１４１、ＭＷＩＲ大気情報推定部１４２、第２大気補正部１４３、反射率・放射率推定部１５１、温度算出部１５２、および、推定温度出力部１５３、を備えている。
【0044】
図７に示したＬＷＩＲデータ取得部１１、放射温度変換部１２、低温検出部１３、大気熱放射輝度推定部１４、大気温度推定部１５、大気透過率推定部１６、および、第１大気補正部１１７、はそれぞれ、図１におけるＬＷＩＲデータ取得部１１、放射温度変換部１２、低温検出部１３、大気熱放射輝度推定部１４、大気温度推定部１５、大気透過率推定部１６、および、大気補正部１７（第１大気補正部）、と同様であるため、その説明を省略する。
【0045】
補正後データ出力部１８は、第１大気補正部１７による補正後の放射輝度を放射温度に変換し、変換した放射温度に加え、当該放射温度を求めるために用いた大気特性を示す大気特性情報を出力するものである。
補正後データ出力部１８が出力する大気特性情報は、例えば大気熱放射輝度、大気温度、大気透過率を含む情報である。大気透過率は、大気水蒸気量を示す情報であってもよい。大気透過率と大気水蒸気量とは、一方を用いて相互に算出可能である。
補正後データ出力部１８が出力する大気特性情報は、例えば大気熱放射輝度、大気温度、大気透過率を含む情報である。大気透過率は、大気水蒸気量を示す情報であってもよい。大気透過率と大気水蒸気量とは、一方を用いて相互に算出可能である。
【0046】
ＶＮＩＲデータ取得部１２１は、ＬＷＩＲデータ（第１データ）の画像を撮影した位置において可視域および近赤外域の波長を用いて撮影された画像、を含むＶＮＩＲデータ（第３データ）を取得する。
【0047】
被写体推定部１２２は、ＬＷＩＲデータ（第１データ）の画像を撮影した位置において可視域および近赤外域の波長を用いて撮影された画像を含むＶＮＩＲデータ（第３データ）を受け付けると、スペクトル特性と放射温度と被写体の種類との関係を示すデータを含むデータベース３４（第４データベース）を参照し、ＶＮＩＲデータの画像のスペクトル特性および補正後データ出力部１８が出力した放射温度を用いて、被写体の種類を推定する。
被写体推定部１２２は、被写体が可視域～近赤外域の分光特性により分類可能であることを利用している。被写体推定部１２２においては、例えば、植生を抽出可能なＮＤＶＩ（Ｎｏｒｍａｌｉｚｅｄ Ｄｉｆｆｅｒｅｎｃｅ Ｖｅｇｅｔａｔｉｏｎ Ｉｎｄｅｘ：正規化植生指標)や、水を抽出可能なＮＤＷＩ（Ｎｏｒｍａｌｉｚｅｄ Ｄｉｆｆｅｒｅｎｃｅ Ｗａｔｅｒ Ｉｎｄｅｘ：正規化水指標）など、可視のスペクトル特性を用いて被写体の推定を行う。また、被写体推定部１２２においては、金属と人工物（コンクリートなど）との識別を、ＬＷＩＲの放射温度の差異を用いて推定する。
被写体推定部１２２は、被写体が可視域～近赤外域の分光特性により分類可能であることを利用している。被写体推定部１２２においては、例えば、植生を抽出可能なＮＤＶＩ（Ｎｏｒｍａｌｉｚｅｄ Ｄｉｆｆｅｒｅｎｃｅ Ｖｅｇｅｔａｔｉｏｎ Ｉｎｄｅｘ：正規化植生指標)や、水を抽出可能なＮＤＷＩ（Ｎｏｒｍａｌｉｚｅｄ Ｄｉｆｆｅｒｅｎｃｅ Ｗａｔｅｒ Ｉｎｄｅｘ：正規化水指標）など、可視のスペクトル特性を用いて被写体の推定を行う。また、被写体推定部１２２においては、金属と人工物（コンクリートなど）との識別を、ＬＷＩＲの放射温度の差異を用いて推定する。
【0048】
太陽位置取得部１３１は、太陽の位置を示す太陽位置情報を取得する。
具体的には、太陽位置取得部１３１は、画像に付された撮影日時、撮影位置、撮影した領域を識別できる情報から算出する。
また、太陽位置取得部１３１は、太陽位置を測定する機器から太陽位置情報を取得するものであってもよい。
具体的には、太陽位置取得部１３１は、画像に付された撮影日時、撮影位置、撮影した領域を識別できる情報から算出する。
また、太陽位置取得部１３１は、太陽位置を測定する機器から太陽位置情報を取得するものであってもよい。
【0049】
地表照度算出部１３２は、補正後データ出力部１８が出力した大気特性情報および太陽位置取得部１３１が取得した太陽位置情報を用いて、大気特性と、太陽位置情報と、地表照度との関係を示すデータを含むデータベース３５（第５データベース）を参照し、地表照度を算出する。
データベース３５は、大気特性または太陽高度と地表照度の特性を、ＭＯＤＴＲＡＮなどの大気伝搬特性計算ソフトなどで計算した結果をデータベースとして保有するものである。
または、太陽直達成分のみを計算する場合は、Ｔｏｐ ｏｆ Ａｔｍｏｓｐｈｅｒｅの太陽照度に対して大気透過率をかけるようにすれば良い。ただし、大気から地表への散乱・熱放射を見込む場合はデータベース化する。
データベース３５は、大気特性または太陽高度と地表照度の特性を、ＭＯＤＴＲＡＮなどの大気伝搬特性計算ソフトなどで計算した結果をデータベースとして保有するものである。
または、太陽直達成分のみを計算する場合は、Ｔｏｐ ｏｆ Ａｔｍｏｓｐｈｅｒｅの太陽照度に対して大気透過率をかけるようにすれば良い。ただし、大気から地表への散乱・熱放射を見込む場合はデータベース化する。
【0050】
ＭＷＩＲデータ取得部１４１は、ＬＷＩＲデータ（第１データ）の画像を撮影した位置において中赤外域の波長を用いて撮影された画像、を含むＭＷＩＲデータ（第２データ）を取得する。
【0051】
ＭＷＩＲ大気情報推定部１４２は、熱赤外域の波長を用いて撮影された画像から得られた大気特性（大気温度、水蒸気量）のパラメータを用いて、ＭＷＩＲ帯の大気熱放射、大気透過率を推定する。
ＭＷＩＲ大気情報推定部１４２は、ＬＷＩＲデータ（第１データ）の画像が撮影された位置において中赤外域の波長を用いて撮影された画像を含むＭＷＩＲデータ（第２データ）を受け付けると、補正後データ出力部１８が出力した大気特性情報を用いて、熱赤外域の波長を用いて撮影された場合の大気特性と、中赤外域の波長を用いて撮影された場合の大気熱放射輝度および大気透過率との関係を示すデータが含まれるデータベース３６（第６データベース）を参照し、ＭＷＩＲデータの画像に係る大気熱放射輝度および大気透過率を推定する。
データベース３６は、大気特性と大気熱放射・大気透過率の特性を、例えばＭＯＤＴＲＡＮなどの大気伝搬特性計算ソフトなどで計算した結果をデータベースとして保有するものである。
ＭＷＩＲ大気情報推定部１４２は、ＬＷＩＲデータ（第１データ）の画像が撮影された位置において中赤外域の波長を用いて撮影された画像を含むＭＷＩＲデータ（第２データ）を受け付けると、補正後データ出力部１８が出力した大気特性情報を用いて、熱赤外域の波長を用いて撮影された場合の大気特性と、中赤外域の波長を用いて撮影された場合の大気熱放射輝度および大気透過率との関係を示すデータが含まれるデータベース３６（第６データベース）を参照し、ＭＷＩＲデータの画像に係る大気熱放射輝度および大気透過率を推定する。
データベース３６は、大気特性と大気熱放射・大気透過率の特性を、例えばＭＯＤＴＲＡＮなどの大気伝搬特性計算ソフトなどで計算した結果をデータベースとして保有するものである。
【0052】
第２大気補正部１４３は、ＭＷＩＲデータの画像における全体領域の放射輝度に対し、ＭＷＩＲ大気情報推定部１４２が推定した大気熱放射輝度および大気透過率を用いて大気補正を行う。
【0053】
反射率・放射率推定部１５１は、被写体の種類と反射率と放射率との関係を示すデータを含むデータベース３７（第７データベース）を参照し、被写体推定部１２２で推定された被写体の種類に応じた反射率または放射率を抽出する。
データベース３７には、熱赤外域の波長を用いた場合における、被写体の種類と反射率と放射率との関係を示すデータ、および、中赤外域の波長を用いた場合における、被写体の種類と反射率と放射率との関係を示すデータが格納されている。
反射率・放射率推定部１５１は、熱赤外域の波長を用いた場合の反射率または放射率を抽出するとともに、中赤外域の波長を用いた場合の反射率または放射率を抽出する。
データベース３７には、熱赤外域の波長を用いた場合における、被写体の種類と反射率と放射率との関係を示すデータ、および、中赤外域の波長を用いた場合における、被写体の種類と反射率と放射率との関係を示すデータが格納されている。
反射率・放射率推定部１５１は、熱赤外域の波長を用いた場合の反射率または放射率を抽出するとともに、中赤外域の波長を用いた場合の反射率または放射率を抽出する。
【0054】
温度算出部１５２は、第２大気補正部１４３による補正後の放射輝度と、地表照度算出部１３２が算出した地表照度と、反射率・放射率推定部１５１が抽出した反射率または放射率と、を用いて被写体の温度を算出する。
具体的には、温度算出部１５２は、熱赤外域の波長の反射率または放射率を用いて被写体の第１温度を算出し、中赤外域の波長の反射率または放射率を用いて被写体の第２温度を算出し、第１の温度と第２の温度が一致するように、反射率・放射率推定部１５１が抽出する反射率または放射率を変更させる。
温度算出部１５２は、地表からの熱放射と太陽反射光（太陽光が大気に反射した光および地表に反射した光）の和である大気補正後の放射輝度から、放射率、反射率、地表照度と大気補正後の放射輝度を用いて、太陽反射光の影響を除くことで、被写体の温度Ｔを算出する。 温度算出部１５２は、例えば、以下の式（５）を用いて算出することができる。
Ｌｓｅｎｓｏｒ´：大気補正後の放射輝度
Ｅ：地表の照度
ρ=１－εであるため、各センサについて変数は１つである。
また、温度算出部１５２は、これにより得られた熱赤外域の波長を用いて撮影された画像から得られた温度と中赤外域の波長を用いて撮影された画像から得られた温度とを比較し、これが一致するよう反射率または放射率のチューニングを行う。
具体的には、温度算出部１５２は、熱赤外域の波長の反射率または放射率を用いて被写体の第１温度を算出し、中赤外域の波長の反射率または放射率を用いて被写体の第２温度を算出し、第１の温度と第２の温度が一致するように、反射率・放射率推定部１５１が抽出する反射率または放射率を変更させる。
温度算出部１５２は、地表からの熱放射と太陽反射光（太陽光が大気に反射した光および地表に反射した光）の和である大気補正後の放射輝度から、放射率、反射率、地表照度と大気補正後の放射輝度を用いて、太陽反射光の影響を除くことで、被写体の温度Ｔを算出する。 温度算出部１５２は、例えば、以下の式（５）を用いて算出することができる。
Ｌｓｅｎｓｏｒ´：大気補正後の放射輝度
Ｅ：地表の照度
ρ=１－εであるため、各センサについて変数は１つである。
また、温度算出部１５２は、これにより得られた熱赤外域の波長を用いて撮影された画像から得られた温度と中赤外域の波長を用いて撮影された画像から得られた温度とを比較し、これが一致するよう反射率または放射率のチューニングを行う。
【0055】
推定温度出力部１５３は、温度算出部１５２が算出した温度を出力する
【0056】
実施の形態２に係る画像処理装置１００の処理を説明する。
実施の形態２に係る画像処理装置１００の処理は、図６に示すフローチャートのステップＳＴ１７０以降が異なる。
そこで、以下の説明においては、ステップＳＴ１７０までの処理の詳細な説明を省略し、ステップＳＴ１７０以降の処理を説明する。
実施の形態２に係る画像処理装置１００の処理は、図６に示すフローチャートのステップＳＴ１７０以降が異なる。
そこで、以下の説明においては、ステップＳＴ１７０までの処理の詳細な説明を省略し、ステップＳＴ１７０以降の処理を説明する。
【0057】
【0058】
ステップＳＴ１９０において、補正後データ出力部１８は、変換した放射温度に加え、放射温度における大気特性情報を出力する。
具体的には、補正後データ出力部１８は、第１大気補正部１１７による補正後の放射輝度を放射温度に変換し、変換した放射温度に加え、当該放射温度を求めるためにステップＳＴ１９０を実行するまでに用いられた大気特性を示す大気特性情報を出力する。
具体的には、補正後データ出力部１８は、第１大気補正部１１７による補正後の放射輝度を放射温度に変換し、変換した放射温度に加え、当該放射温度を求めるためにステップＳＴ１９０を実行するまでに用いられた大気特性を示す大気特性情報を出力する。
【0059】
画像処理装置１００においては、ステップＳＴ１９０の処理を実行すると、被写体推定処理（ステップＳＴ２００）、地表照度算出処理（ステップＳＴ３００）、ＭＷＩＲデータ大気補正処理（ステップＳＴ４００）に進み、被写体推定処理、地表照度算出処理、および、ＭＷＩＲデータ大気補正処理が終わると、温度算出処理（ステップＳＴ５００）に進み、温度算出処理が終わると、処理を終了する。
被写体推定処理、地表照度算出処理、ＭＷＩＲデータ大気補正処理、および、温度算出処理を以下に説明する。
被写体推定処理、地表照度算出処理、ＭＷＩＲデータ大気補正処理、および、温度算出処理を以下に説明する。
【0060】
被写体推定処理を説明する。
図９は、図８における被写体推定処理を示すフローチャートである。
被写体推定処理（ステップＳＴ２００）において、ＶＮＩＲデータ取得部１２１は、第１データの画像を撮影した位置において可視域および近赤外域の波長を用いて撮影された画像、を含むＶＮＩＲデータ（第３データ）を取得する（ステップＳＴ２１０）。
ＶＮＩＲデータ取得部１２１は、ＶＮＩＲデータを被写体推定部１２２へ出力する。
図９は、図８における被写体推定処理を示すフローチャートである。
被写体推定処理（ステップＳＴ２００）において、ＶＮＩＲデータ取得部１２１は、第１データの画像を撮影した位置において可視域および近赤外域の波長を用いて撮影された画像、を含むＶＮＩＲデータ（第３データ）を取得する（ステップＳＴ２１０）。
ＶＮＩＲデータ取得部１２１は、ＶＮＩＲデータを被写体推定部１２２へ出力する。
【0061】
被写体推定部１２２は、ＶＮＩＲデータを受け取ると、被写体の種類を推定する（ステップＳＴ２２０）。
被写体推定部１２２は、被写体の種類を推定すると、被写体の種類を示す情報を反射率・放射率推定部１５１へ出力する。
被写体推定部１２２は、被写体の種類を推定すると、被写体の種類を示す情報を反射率・放射率推定部１５１へ出力する。
【0062】
地表照度算出処理を説明する。
図１０は、図８における地表照度算出処理を示すフローチャートである。
地表照度算出処理において、太陽位置取得部１３１は、太陽の位置を示す太陽位置情報を取得する（ステップＳＴ３１０）。太陽位置取得部１３１は、太陽位置情報を地表照度算出部１３２へ出力する。
図１０は、図８における地表照度算出処理を示すフローチャートである。
地表照度算出処理において、太陽位置取得部１３１は、太陽の位置を示す太陽位置情報を取得する（ステップＳＴ３１０）。太陽位置取得部１３１は、太陽位置情報を地表照度算出部１３２へ出力する。
【0063】
地表照度算出部１３２は、地表照度を算出する（ステップＳＴ３２０）。
具体的には、地表照度算出部１３２は、補正後データ出力部１８が出力した大気特性情報および太陽位置取得部１３１が取得した太陽位置情報を用いて、大気特性と、太陽位置情報と、地表照度との関係を示すデータを含むデータベース（第５データベース）を参照し、地表照度を算出する。地表照度算出部１３２は、地表照度を出力する。
具体的には、地表照度算出部１３２は、補正後データ出力部１８が出力した大気特性情報および太陽位置取得部１３１が取得した太陽位置情報を用いて、大気特性と、太陽位置情報と、地表照度との関係を示すデータを含むデータベース（第５データベース）を参照し、地表照度を算出する。地表照度算出部１３２は、地表照度を出力する。
【0064】
ＭＷＩＲデータ大気補正処理を説明する。
図１１は、図８におけるＭＷＩＲデータ大気補正処理を示すフローチャートである。
ＭＷＩＲデータ大気補正処理において、ＭＷＩＲデータ取得部１４１は、ＭＷＩＲデータを取得する（ステップＳＴ４１０）。
ＭＷＩＲデータ取得部１４１は、ＬＷＩＲデータ（第１データ）の画像を撮影した位置において中赤外域の波長を用いて撮影された画像、を含むＭＷＩＲデータ（第２データ）を取得する。
ＭＷＩＲデータ取得部１４１は、ＭＷＩＲデータをＭＷＩＲ大気情報推定部１４２へ出力する。
図１１は、図８におけるＭＷＩＲデータ大気補正処理を示すフローチャートである。
ＭＷＩＲデータ大気補正処理において、ＭＷＩＲデータ取得部１４１は、ＭＷＩＲデータを取得する（ステップＳＴ４１０）。
ＭＷＩＲデータ取得部１４１は、ＬＷＩＲデータ（第１データ）の画像を撮影した位置において中赤外域の波長を用いて撮影された画像、を含むＭＷＩＲデータ（第２データ）を取得する。
ＭＷＩＲデータ取得部１４１は、ＭＷＩＲデータをＭＷＩＲ大気情報推定部１４２へ出力する。
【0065】
ＭＷＩＲ大気情報推定部１４２は、大気熱放射輝度および大気透過率を推定する（ステップＳＴ４２０）。
具体的には、ＭＷＩＲ大気情報推定部１４２は、ＬＷＩＲデータ（第１データ）の画像が撮影された位置において中赤外域の波長を用いて撮影された画像を含むＭＷＩＲデータ（第２データ）を受け付けると、補正後データ出力部１８が出力した大気特性情報を用いて、熱赤外域の波長を用いて撮影された場合の大気特性と、中赤外域の波長を用いて撮影された場合の大気熱放射輝度および大気透過率との関係を示すデータが含まれるデータベース（第６データベース）を参照し、第２データの画像に係る大気熱放射輝度および大気透過率を推定する。
具体的には、ＭＷＩＲ大気情報推定部１４２は、ＬＷＩＲデータ（第１データ）の画像が撮影された位置において中赤外域の波長を用いて撮影された画像を含むＭＷＩＲデータ（第２データ）を受け付けると、補正後データ出力部１８が出力した大気特性情報を用いて、熱赤外域の波長を用いて撮影された場合の大気特性と、中赤外域の波長を用いて撮影された場合の大気熱放射輝度および大気透過率との関係を示すデータが含まれるデータベース（第６データベース）を参照し、第２データの画像に係る大気熱放射輝度および大気透過率を推定する。
【0066】
第２大気補正部１４３は、大気補正を行う（ステップＳＴ４３０）。
具体的には、第２大気補正部１４３は、第２データの画像における全体領域の放射輝度に対し、ＭＷＩＲ大気情報推定部１４２が推定した大気熱放射輝度および大気透過率を用いて大気補正を行う。
具体的には、第２大気補正部１４３は、第２データの画像における全体領域の放射輝度に対し、ＭＷＩＲ大気情報推定部１４２が推定した大気熱放射輝度および大気透過率を用いて大気補正を行う。
【0067】
温度算出処理を説明する。
図１２は、図８における温度算出処理を示すフローチャートである。
温度算出処理において、反射率・放射率推定部１５１は、反射率または放射率を抽出する（ステップＳＴ５１０）。
具体的には、反射率・放射率推定部１５１は、被写体の種類と反射率と放射率との関係を示すデータを含むデータベース（第７データベース）を参照し、被写体推定部１２２で推定された被写体の種類に応じた反射率または放射率を抽出する。
反射率・放射率推定部１５１は、熱赤外域の波長を用いた場合の反射率または放射率を抽出するとともに、中赤外域の波長を用いた場合の反射率または放射率を抽出する。
反射率・放射率推定部１５１は、熱赤外域の波長を用いた場合の反射率または放射率と、中赤外域の波長を用いた場合の反射率または放射率とを、温度算出部１５２へ出力する。
図１２は、図８における温度算出処理を示すフローチャートである。
温度算出処理において、反射率・放射率推定部１５１は、反射率または放射率を抽出する（ステップＳＴ５１０）。
具体的には、反射率・放射率推定部１５１は、被写体の種類と反射率と放射率との関係を示すデータを含むデータベース（第７データベース）を参照し、被写体推定部１２２で推定された被写体の種類に応じた反射率または放射率を抽出する。
反射率・放射率推定部１５１は、熱赤外域の波長を用いた場合の反射率または放射率を抽出するとともに、中赤外域の波長を用いた場合の反射率または放射率を抽出する。
反射率・放射率推定部１５１は、熱赤外域の波長を用いた場合の反射率または放射率と、中赤外域の波長を用いた場合の反射率または放射率とを、温度算出部１５２へ出力する。
【0068】
温度算出部１５２は、反射率・放射率推定部１５１から反射率または放射率を受け取ると、被写体の温度を算出する（ステップＳＴ５２０）。
具体的には、温度算出部１５２は、第２大気補正部１４３による補正後の放射輝度と、地表照度算出部１３２が算出した地表照度と、反射率・放射率推定部１５１が抽出した反射率または放射率と、を用いて被写体の温度を算出する。
このとき、温度算出部１５２は、熱赤外域の波長の反射率または放射率を用いて被写体の第１温度を算出し、中赤外域の波長の反射率または放射率を用いて被写体の第２温度を算出し、第１の温度と第２の温度が一致するように、反射率・放射率推定部１５１が抽出する反射率または放射率を変更させる。
なお、第１の温度と第２の温度が一致しない場合、温度算出部１５２は、一致しない旨の情報を出力する様にしてもよい。
具体的には、温度算出部１５２は、第２大気補正部１４３による補正後の放射輝度と、地表照度算出部１３２が算出した地表照度と、反射率・放射率推定部１５１が抽出した反射率または放射率と、を用いて被写体の温度を算出する。
このとき、温度算出部１５２は、熱赤外域の波長の反射率または放射率を用いて被写体の第１温度を算出し、中赤外域の波長の反射率または放射率を用いて被写体の第２温度を算出し、第１の温度と第２の温度が一致するように、反射率・放射率推定部１５１が抽出する反射率または放射率を変更させる。
なお、第１の温度と第２の温度が一致しない場合、温度算出部１５２は、一致しない旨の情報を出力する様にしてもよい。
【0069】
推定温度出力部１５３は、温度算出部１５２が算出した温度を出力する（ステップＳＴ５３０）。
【0070】
上記画像処理装置は、熱赤外域、中波赤外域、可視域および近赤外域の波長を用いて、被写体を推定して、反射率、放射率を推定するようにしたので、より高い精度で被写体の温度を算出できる。
また、上記画像処理装置は、熱赤外域の放射温度と中波赤外域の温度とを評価してチューニングしながら温度を算出するので、より高い精度で被写体の温度を算出できる。
また、上記画像処理装置は、熱赤外域の放射温度と中波赤外域の温度とを評価してチューニングしながら温度を算出するので、より高い精度で被写体の温度を算出できる。
【0071】
上述した通り、本開示に係る画像処理装置は、補正後データ出力部は、変換した放射温度に加え、当該放射温度を求めるために用いた大気特性を示す大気特性情報を出力するものであり、さらに、第１データの画像が撮影された位置において中赤外域の波長を用いて撮影された画像を含む第２データを受け付けると、補正後データ出力部が出力した大気特性情報を用いて、熱赤外域の波長を用いて撮影された場合の大気特性と中赤外域の波長を用いて撮影された場合の大気熱放射輝度および大気透過率との関係を示すデータを参照し、当該第２データの画像に係る大気熱放射輝度および大気透過率を推定するＭＷＩＲ大気情報推定部と、当該第２データの画像における放射輝度に対し、ＭＷＩＲ大気情報推定部が推定した大気熱放射輝度および大気透過率を用いて大気補正を行う第２大気補正部と、太陽の位置を示す太陽位置情報を取得する太陽位置取得部と、補正後データ出力部が出力した大気特性情報および太陽位置取得部が取得した太陽位置情報を用いて、大気特性と太陽位置情報と地表照度との関係を示すデータを参照し、地表照度を算出する地表照度算出部と、第１データの画像を撮影した位置において可視域および近赤外域の波長を用いて撮影された画像を含む第３データを受け付けると、スペクトル特性と放射温度と被写体の種類との関係を示すデータを参照し、当該第３データの画像のスペクトル特性および補正後データ出力部が出力した放射温度を用いて、被写体の種類を推定する被写体推定部と、被写体の種類と反射率と放射率との関係を示すデータを参照し、被写体推定部で推定された被写体の種類に応じた反射率または放射率を抽出する反射率・放射率推定部と、第２大気補正部による補正後の放射輝度、地表照度算出部が算出した地表照度、および、反射率・放射率推定部が抽出した反射率または放射率、を用いて被写体の温度を算出する温度算出部と、温度算出部が算出した温度を出力する推定温度出力部と、を備え、反射率・放射率推定部は、熱赤外域の波長を用いた場合の反射率または放射率を抽出するとともに、中赤外域の波長を用いた場合の反射率または放射率を抽出し、温度算出部は、熱赤外域の波長の反射率または放射率を用いて被写体の第１温度を算出し、中赤外域の波長の反射率または放射率を用いて被写体の第２温度を算出し、第１温度と第２温度が一致するように、反射率・放射率推定部が抽出する反射率または放射率を変更させる、ように構成した。
これにより、より高い精度で被写体の温度を算出できる、画像処理装置を提供できる、という効果を奏する。
これにより、より高い精度で被写体の温度を算出できる、画像処理装置を提供できる、という効果を奏する。
【0072】
ここで本開示に係る画像処理装置１０，１００それぞれを実現するためのハードウェア構成について説明する。
図１３は、画像処理装置１０，１００のハードウェア構成の一例を示す図である。
図１４は、画像処理装置１０，１００のハードウェア構成の別の一例を示す図である。
図１３は、画像処理装置１０，１００のハードウェア構成の一例を示す図である。
図１４は、画像処理装置１０，１００のハードウェア構成の別の一例を示す図である。
【0073】
図１３に示す通り、画像処理装置１０，１００における、ＬＷＩＲデータ取得部１１，１１１、放射温度変換部１２，１１２、低温検出部１３，１１３、大気熱放射輝度推定部１４，１１４、大気温度推定部１５，１１５、大気透過率推定部１６，１１６、大気補正部（第１大気補正部）１７，１１７、補正後データ出力部１８，１１８、ＶＮＩＲデータ取得部１２１、被写体推定部１２２、太陽位置取得部１３１、地表照度算出部１３２、ＭＷＩＲデータ取得部１４１、ＭＷＩＲ大気情報推定部１４２、第２大気補正部１４３、反射率・放射率推定部１５１、温度算出部１５２、または、推定温度出力部１５３、の機能が専用の処理回路１００１により実現されるものであってもよい。処理回路１００１は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、ＳｏＣ（Ｓｙｓｔｅｍ－ｏｎ－ａ－Ｃｈｉｐ）またはシステムＬＳＩ（Ｌａｒｇｅ－Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等を用いたものである。図１３に示すハードウェア構成の場合、本開示に係るデータベースは、記憶装置１００２によって実現される。記憶装置１００２は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、またはフラッシュメモリ等の不揮発性もしくは揮発性の半導体メモリであってもよいし、ハードディスクまたはフレキシブルディスク等の磁気ディスクであってもよいし、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）またはＤＶＤ（Ｄｉｇｉｔａｌ ＶｅｒｓａｔｉｌｅＤｉｓｃ）等の光ディスクであってもよいし、光磁気ディスクであってもよい。図１３に示すハードウェア構成の場合、画像処理装置１０，１００に関するデータの入出力は、入出力インタフェース１００３によって実現される。
【0074】
また、図１４に示す通り、画像処理装置は、プロセッサ１００４およびメモリ１００５により構成されるものであってもよい。プロセッサ１００４およびメモリ１００５は、例えば、コンピュータに搭載されているものである。
メモリ１００５には、当該コンピュータをＬＷＩＲデータ取得部１１，１１１、放射温度変換部１２，１１２、低温検出部１３，１１３、大気熱放射輝度推定部１４，１１４、大気温度推定部１５，１１５、大気透過率推定部１６，１１６、大気補正部（第１大気補正部）１７，１１７、補正後データ出力部１８，１１８、ＶＮＩＲデータ取得部１２１、被写体推定部１２２、太陽位置取得部１３１、地表照度算出部１３２、ＭＷＩＲデータ取得部１４１、ＭＷＩＲ大気情報推定部１４２、第２大気補正部１４３、反射率・放射率推定部１５１、温度算出部１５２、または、推定温度出力部１５３、として機能させるためのプログラムが記憶されている。メモリ１００５に記憶されたプログラムをプロセッサ１００４が読み出して実行することにより、ＬＷＩＲデータ取得部１１，１１１、放射温度変換部１２，１１２、低温検出部１３，１１３、大気熱放射輝度推定部１４，１１４、大気温度推定部１５，１１５、大気透過率推定部１６，１１６、大気補正部（第１大気補正部）１７，１１７、補正後データ出力部１８，１１８、ＶＮＩＲデータ取得部１２１、被写体推定部１２２、太陽位置取得部１３１、地表照度算出部１３２、ＭＷＩＲデータ取得部１４１、ＭＷＩＲ大気情報推定部１４２、第２大気補正部１４３、反射率・放射率推定部１５１、温度算出部１５２、または、推定温度出力部１５３、の機能が実現される。図１４に示すハードウェア構成の場合、本開示に係るデータベースは、記憶装置１００２によって実現される。
メモリ１００５には、当該コンピュータをＬＷＩＲデータ取得部１１，１１１、放射温度変換部１２，１１２、低温検出部１３，１１３、大気熱放射輝度推定部１４，１１４、大気温度推定部１５，１１５、大気透過率推定部１６，１１６、大気補正部（第１大気補正部）１７，１１７、補正後データ出力部１８，１１８、ＶＮＩＲデータ取得部１２１、被写体推定部１２２、太陽位置取得部１３１、地表照度算出部１３２、ＭＷＩＲデータ取得部１４１、ＭＷＩＲ大気情報推定部１４２、第２大気補正部１４３、反射率・放射率推定部１５１、温度算出部１５２、または、推定温度出力部１５３、として機能させるためのプログラムが記憶されている。メモリ１００５に記憶されたプログラムをプロセッサ１００４が読み出して実行することにより、ＬＷＩＲデータ取得部１１，１１１、放射温度変換部１２，１１２、低温検出部１３，１１３、大気熱放射輝度推定部１４，１１４、大気温度推定部１５，１１５、大気透過率推定部１６，１１６、大気補正部（第１大気補正部）１７，１１７、補正後データ出力部１８，１１８、ＶＮＩＲデータ取得部１２１、被写体推定部１２２、太陽位置取得部１３１、地表照度算出部１３２、ＭＷＩＲデータ取得部１４１、ＭＷＩＲ大気情報推定部１４２、第２大気補正部１４３、反射率・放射率推定部１５１、温度算出部１５２、または、推定温度出力部１５３、の機能が実現される。図１４に示すハードウェア構成の場合、本開示に係るデータベースは、記憶装置１００２によって実現される。
【0075】
プロセッサ１００４は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、マイクロプロセッサ、マイクロコントローラまたはＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）などを用いたものである。
【0076】
メモリ１００５は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、またはフラッシュメモリ等の不揮発性もしくは揮発性の半導体メモリであってもよいし、ハードディスクまたはフレキシブルディスク等の磁気ディスクであってもよいし、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）またはＤＶＤ（Ｄｉｇｉｔａｌ ＶｅｒｓａｔｉｌｅＤｉｓｃ）等の光ディスクであってもよいし、光磁気ディスクであってもよい。
【0077】
【0078】
また、ＬＷＩＲデータ取得部１１，１１１、放射温度変換部１２，１１２、低温検出部１３，１１３、大気熱放射輝度推定部１４，１１４、大気温度推定部１５，１１５、大気透過率推定部１６，１１６、大気補正部（第１大気補正部）１７，１１７、補正後データ出力部１８，１１８、ＶＮＩＲデータ取得部１２１、被写体推定部１２２、太陽位置取得部１３１、地表照度算出部１３２、ＭＷＩＲデータ取得部１４１、ＭＷＩＲ大気情報推定部１４２、第２大気補正部１４３、反射率・放射率推定部１５１、温度算出部１５２、または、推定温度出力部１５３、のうちの一部の機能がプロセッサ１００４およびメモリ１００５により実現され、かつ、残りの機能が処理回路１００１により実現されるものであっても良い。
【0079】
なお、ＬＷＩＲデータ取得部１１，１１１、放射温度変換部１２，１１２、低温検出部１３，１１３、大気熱放射輝度推定部１４，１１４、大気温度推定部１５，１１５、大気透過率推定部１６，１１６、大気補正部（第１大気補正部）１７，１１７、補正後データ出力部１８，１１８、ＶＮＩＲデータ取得部１２１、被写体推定部１２２、太陽位置取得部１３１、地表照度算出部１３２、ＭＷＩＲデータ取得部１４１、ＭＷＩＲ大気情報推定部１４２、第２大気補正部１４３、反射率・放射率推定部１５１、温度算出部１５２、または、推定温度出力部１５３、の機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。このように、画像処理装置における処理回路は、ハードウェア、ソフトウェア、ファームウェア、またはこれらの組み合わせによって、上述の機能を実現することができる。
【0080】
なお、本開示は、その開示の範囲内において、各実施の形態の自由な組み合わせ、各実施の形態の任意の構成要素の変形、または各実施の形態の任意の構成要素の省略が可能である。
【符号の説明】
【0081】
１０ 画像処理装置、１１，１１１ ＬＷＩＲデータ取得部、１２，１１２ 放射温度変換部、１３，１１３ 低温検出部、１４，１１４ 大気熱放射輝度推定部、１５，１１５ 大気温度推定部、１６，１１６ 大気透過率推定部、１７，１１７ 大気補正部（第１大気補正部）、１８，１１８ 補正後データ出力部、２０，２１ ＬＷＩＲセンサ、２２ ＭＷＩＲセンサ、２３ ＶＮＩＲセンサ、３１ データベース（第１データベース）、３２ データベース（第２データベース）、３３ データベース（第３データベース）、３４ データベース（第４データベース）、３５ データベース（第５データベース）、３６ データベース（第６データベース）、３７ データベース（第７データベース）、１２１ ＶＮＩＲデータ取得部、１２２ 被写体推定部、１３１ 太陽位置取得部、１３２ 地表照度算出部、１４１ ＭＷＩＲデータ取得部、１４２ ＭＷＩＲ大気情報推定部、１４３ 第２大気補正部、１５１ 反射率・放射率推定部、１５２ 温度算出部、１５３ 推定温度出力部、２００ 地表、２１０ 大気、２２０ 地表熱放射、２２１ 大気熱放射、２２２ 大気熱放射の地表反射、１００１ 処理回路、１００２ 記憶装置、１００３ 入出力インタフェース、１００４ プロセッサ、１００５ メモリ。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】