特許 7053434 画像処理装置および画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-04-04

(45)【発行日】2022-04-12

(54)【発明の名称】画像処理装置および画像処理方法

(51)【国際特許分類】

   G06T 3/00 20060101AFI20220405BHJP

【ＦＩ】

G06T3/00 750

【請求項の数】 5

(21)【出願番号】P 2018216607

(22)【出願日】2018-11-19

(65)【公開番号】P2020086651

(43)【公開日】2020-06-04

【審査請求日】2020-07-13

【審判番号】

【審判請求日】2021-05-07

【早期審査対象出願】

(73)【特許権者】

【識別番号】000213909

【氏名又は名称】朝日航洋株式会社

(74)【代理人】

【識別番号】110001195

【氏名又は名称】特許業務法人深見特許事務所

(72)【発明者】

【氏名】鈴木 英夫

【合議体】

【審判長】清水 正一

【審判官】木方 庸輔

【審判官】渡辺 努

(56)【参考文献】

【文献】特開２０１７－２１７６４９（ＪＰ，Ａ）

【文献】特開平１１－３５１９６３（ＪＰ，Ａ）

【文献】特開２０１０－２３０４７５（ＪＰ，Ａ）

【文献】特開２００７－２４３７７８（ＪＰ，Ａ）

【文献】野波 健蔵、外３２名，「ドローン産業応用のすべて」，日本，株式会社オーム社，２０１８年２月１６日，第１版，第１０６－１２３頁

【文献】星 仰，水越 雄一，「接続標定法による航空画像のデジタルモザイク」，第５２回（平成８年前期）全国大会講演論文集（２），日本，社団法人情報処理学会，１９９６年３月６日，第２２３－２２４頁

(58)【調査した分野】(Int.Cl.，ＤＢ名)

G06T 1/00 - 1/40,

G06T 3/00 - 5/50,

G06T 9/00 - 9/40,

H04N 5/222 - 5/257,

H04N 5/30 - 5/378

(57)【特許請求の範囲】

【請求項1】

被測定対象物に対して移動しながら複数の熱赤外画像を連続的に取得する撮像部と、
前記撮像部で取得された各前記複数の熱赤外画像に対してオルソ変換処理するオルソ変換部と、
前記オルソ変換部によりオルソ変換処理された複数のオルソ画像を合成したオルソモザイク画像を生成する合成処理部とを備え、
前記撮像部は、非冷却式の撮像素子を含み、
所定周期毎に前記撮像素子の感度を均一にする感度歪み補正処理を実行し、
前記合成処理部は、前記感度歪み補正処理により生じる連続する複数のオルソ画像の重複領域の輝度値のばらつきを補正する補正部を含む、画像処理装置。

【請求項2】

前記補正部は、前記複数のオルソ画像の重複領域それぞれの全体の平均値を算出し、前記重複領域の画像の輝度値を算出された平均値に補正する、請求項１記載の画像処理装置。

【請求項3】

前記撮像部は、移動体に設けられ、垂直直下に撮影した熱赤外画像を取得する、請求項１記載の画像処理装置。

【請求項4】

生成された前記オルソモザイク画像を出力する出力部をさらに備える、請求項１記載の画像処理装置。

【請求項5】

被測定対象物に対して移動しながら複数の熱赤外画像を連続的に取得するステップと、
取得された各前記複数の熱赤外画像に対してオルソ変換処理するステップと、
オルソ変換処理された複数のオルソ画像を合成したオルソモザイク画像を生成するステップとを備え、
前記複数の熱赤外画像を連続的に取得するステップは、所定周期毎に非冷却式の撮像素子の感度を均一にする感度歪み補正処理を実行するステップを含み、
前記オルソモザイク画像を生成するステップは、前記感度歪み補正処理により生じる連続する複数のオルソ画像の重複領域の輝度値のばらつきを補正するステップを含む、画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、画像処理装置に関し、熱赤外画像の合成処理に関する。

【背景技術】

【0002】

デジタルビデオの普及とパーソナルコンピュータの高性能化に伴って、かつては不可能であったデジタル画像データの大量保存や大量処理が可能になってきた。

【0003】

これに伴い、デジタル画像データを処理する新しい方法が行われるようになってきた。その一つとして、移動しながら撮影したビデオ画像や、同じ領域を場所や角度を変えて撮影した複数枚の静止画をつなぎ合わせて一つの合成画像を生成する技術がある。これをモザイキングと呼ぶこともある。

【0004】

この点で、通常の一般的な画像を取得する画像処理装置においてこのモザイキング処理を行う方式が開示されている（特許文献１および２参照）。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２００４－１３９２１９号公報

【文献】特開２００５－２７７５８２号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

一方で、熱放射を捉える熱赤外画像を取得する熱赤外線カメラは、受け取る放射エネルギーの感度の歪みが通常のカメラに比して生じやすい。

【0007】

したがって、一定時間毎にセンサーキャリブレーション（ＦＦＣ（Flat Field Correction））により面内の撮像素子（センサー）の感度を均一にする補正処理が行われる。

【0008】

しかしながら、面内は均一であっても連続的に撮影した画像間の輝度値はセンサ－キャリブレーションによりそれぞれ異なる。

【0009】

当該状態でモザイキング処理をした場合には、明暗ギャップが生じる可能性がある。明暗ギャップにより合成画像の品質が低下する可能性がある。

【0010】

本開示は、上記の問題点を解決するためになされたものであり、明暗ギャップを抑制した合成画像を生成することが可能な画像処理装置および画像処理方法を提供することを目的とする。

【課題を解決するための手段】

【0011】

ある局面に従う画像処理装置は、被測定対象物に対して移動しながら複数の熱赤外画像を連続的に取得する撮像部と、撮像部で取得された各複数の熱赤外画像に対してオルソ変換処理するオルソ変換部と、オルソ変換部によりオルソ変換処理された複数のオルソ画像を合成したオルソモザイク画像を生成する合成処理部とを備える。合成処理部は、連続する複数のオルソ画像の重複領域の輝度値を補正する補正部を含む。

【0012】

好ましくは、補正部は、複数のオルソ画像の重複領域の平均値に輝度値を補正する。
好ましくは、撮像部は、移動体に設けられ、垂直直下に撮影した熱赤外画像を取得する。

【0013】

好ましくは、撮像部は、非冷却式の撮像素子を含む。
好ましくは、撮像部は、所定周期毎に撮像素子の感度歪み補正処理を実行する。

【0014】

ある局面に従う画像処理方法は、被測定対象物に対して移動しながら複数の熱赤外画像を連続的に取得するステップと、取得された各複数の熱赤外画像に対してオルソ変換処理するステップと、オルソ変換処理された複数のオルソ画像を合成したオルソモザイク画像を生成するステップとを備える。オルソモザイク画像を生成するステップは、連続する複数のオルソ画像の重複領域の輝度値を補正するステップを含む。

【発明の効果】

【0015】

本開示の画像処理装置および画像処理方法は、明暗ギャップを抑制した合成画像を生成することが可能である。

【図面の簡単な説明】

【0016】

【図1】実施形態に従う画像処理システム１００について説明する図である。

【図2】実施形態に基づく情報処理装置３０のハードウェア構成について説明する図である。

【図3】実施形態に基づく情報処理装置３０の機能ブロックを説明する図である。

【図4】実施形態に基づく複数の熱赤外画像の具体例を説明する図である。

【図5】実施形態に基づく複数の熱赤外画像のうちの連続する２枚の熱赤外画像について説明する図である。

【図6】比較例として従来の複数の熱赤外画像に基づくオルソモザイク画像の具体例を説明する図である。

【図7】実施形態に基づく補正部３６における補正処理について説明する図である。

【図8】実施形態に基づく複数の熱赤外画像に対して補正処理を実行した場合の具体例を説明する図である。

【図9】実施形態に基づく補正処理前後の熱赤外画像の輝度値の平均値の変化を説明する図である。

【図10】実施形態に基づく補正処理後の複数の熱赤外画像に基づくオルソモザイク画像の具体例を説明する図である。

【発明を実施するための形態】

【0017】

実施形態について図面を参照しながら詳細に説明する。なお、図中同一または相当部分には同一符号を付し、その説明は繰り返さない。

【0018】

図１は、実施形態に従う画像処理システム１００について説明する図である。
図１を参照して、画像処理システム１００は、移動体５に設けられた熱赤外線カメラ１０と、ネットワーク２０と、情報処理装置３０とを含む。

【0019】

ネットワーク２０は、熱赤外線カメラ１０および情報処理装置３０と有線あるいは無線接続される。熱赤外線カメラ１０で取得した情報は、ネットワーク２０を介して情報処理装置３０に送信される。

【0020】

情報処理装置３０は、熱赤外線カメラ１０で取得した情報に基づいて画像処理を実行する。

【0021】

本例においては、熱赤外線カメラ１０は、移動体５の移動に伴って複数地点（被測定対象物）に対して連続的に複数の熱赤外画像を撮影する。一例として、移動体５は、ドローン等の飛行体とする。なお、ドローンに限られず航空機に取り付けるようにしても良いし、車両等の移動体に取り付けるようにしても良い。

【0022】

情報処理装置３０は、熱赤外線カメラ１０で連続的に撮影された複数の熱赤外画像に対して画像処理を実行する。

【0023】

具体的には、情報処理装置３０は、複数の熱赤外画像に基づいてオルソモザイク画像を生成する。

【0024】

図２は、実施形態に基づく情報処理装置３０のハードウェア構成について説明する図である。

【0025】

図２を参照して、情報処理装置３０は、通信Ｉ／Ｆ４０と、メモリ４４と、ＣＰＵ４２とを含む。各装置は、内部バスで接続されており、互いにデータの授受が可能に設けられている。

【0026】

通信Ｉ／Ｆ４０は、ネットワーク２０と有線あるいは無線接続されて、熱赤外線カメラ１０からの情報を取得する。

【0027】

メモリ４４は、情報処理装置３０における種々の機能を実行するためのプログラムを格納する。

【0028】

ＣＰＵ４２は、メモリ４４に格納されているプログラムに基づいて各部と協働して種々の機能を実現する。本例においては、ＣＰＵ４２は、メモリ４４に格納されているプログラムに基づいて取得した複数の熱赤外画像に基づいてオルソモザイク画像を生成する。

【0029】

図３は、実施形態に基づく情報処理装置３０の機能ブロックを説明する図である。
図３を参照して、情報処理装置３０は、メモリ４４に格納されているプログラムに基づいて複数の機能ブロックを実現する。具体的には、情報処理装置３０は、データ取得部３２と、オルソ画像変換部３４と、合成処理部３８と、出力部３９とを含む。

【0030】

データ取得部３２は、熱赤外線カメラ１０からの情報を取得する。熱赤外線カメラ１０からの情報として熱赤外画像データと、撮影情報とを含む。撮影情報は、熱赤外線カメラ１０の撮影方位と、撮影地点との情報を含む。本例においては、熱赤外線カメラ１０は、移動体５から垂直直下の方向を撮影方位として撮影する。熱赤外線カメラ１０は、ＧＮＳＳ（Global Navigation Satellite System）を搭載しており、ＧＮＳＳから位置情報を取得して撮影地点の情報として出力する。なお、ＧＮＳＳは、熱赤外線カメラ１０に搭載されていなくてもよく、例えば移動体５にＧＮＳＳが搭載されていてもよく、当該ＧＮＳＳから位置情報を取得するようにしても良い。

【0031】

オルソ画像変換部３４は、熱赤外線カメラ１０からの情報に基づいて複数の熱赤外画像をそれぞれオルソ画像に変換する。具体的には、オルソ画像変換部３４は、２枚の連続する熱赤外画像データを抽出し、互いに重複する熱赤外画像（ステレオ画像）の撮影情報に基づいて３次元計測を実行する。オルソ画像変換部３４は、３次元計測により奥行き情報を算出し、それぞれの熱赤外画像に対して倒れ込みを補正した正射投影画像（オルソ画像）に変換する。

【0032】

合成処理部３８は、オルソ画像変換部３４により変換された複数のオルソ画像に対して合成処理（モザイキング処理）を実行してオルソモザイク画像を生成する。

【0033】

合成処理部３８は、補正部３６を含み、補正部３６は、連続する複数のオルソ画像の輝度値を補正する。

【0034】

出力部３９は、生成したオルソモザイク画像を出力する。具体的には、出力部３９は、表示部等に出力する。あるいは、出力部３９は、外部の表示装置に出力するようにしてもよい。

【0035】

図４は、実施形態に基づく複数の熱赤外画像の具体例を説明する図である。
図４には、熱赤外線カメラ１０により連続して撮影された複数の熱赤外画像が示されている。一例として所定速度で飛行しているドローンから２秒間隔で撮影した場合が示されている。また、連続する熱赤外画像は、９０％以上がオーバーラップ（重複）している。なお、撮影間隔を調整することによりオーバラップ（重複）の割合を調整することも可能である。

【0036】

図５は、実施形態に基づく複数の熱赤外画像のうちの連続する２枚の熱赤外画像について説明する図である。

【0037】

図５に示されるように、上下で連続する２枚の熱赤外画像が示されている。２枚の熱赤外画像のうちの点線領域がオーバラップ（重複）している領域である。

【0038】

左右の熱赤外画像の点線領域は、同一地点を撮影しているにも関わらず輝度値が異なる。

【0039】

具体的には、左側の重複領域は輝度値が低く、右側の重複領域は、輝度値が高い場合が示されている。

【0040】

熱赤外線カメラ１０は、受け取る放射エネルギーの感度の歪みが通常のカメラに比して生じやすく、一定時間毎にセンサーキャリブレーション（ＦＦＣ（Flat Field Correction））により面を均一にする補正処理を行っている。一方で、面内のセンサー感度を均一にする補正処理を実行した場合であっても連続的に撮影した画像間の輝度値はセンサ－キャリブレーションによりそれぞれ異なる。

【0041】

したがって、本例の如く、同一地点であるにも関わらず上下で連続する２枚の熱赤外画像の輝度値はそれぞれ異なる状態となる。

【0042】

図６は、比較例として従来の複数の熱赤外画像に基づくオルソモザイク画像の具体例を説明する図である。

【0043】

図６に示されるように、複数の熱赤外画像のモザイキング処理において上下および左右に明暗ギャップが生じるため精度の粗いオルソモザイク画像になる可能性がある。輝度値にばらつきが生じるため品質が低い合成画像になる可能性がある。

【0044】

図７は、実施形態に基づく補正部３６における補正処理について説明する図である。
図７に示されるように、補正部３６は、２枚の熱赤外画像の重複領域に対して輝度値の平均値を算出し、当該輝度値に合わせる補正を実行する。具体的には、補正部３６は、２枚の熱赤外画像の重複領域それぞれの全体の輝度値の平均値を算出する。そして、補正部３６は、２枚の熱赤外画像の輝度値の中央値（平均値）を算出する。補正部３６は、２枚の熱赤外画像の重複領域に対して、算出された中央値（平均値）となるように輝度値を補正する。

【0045】

なお、補正部３６における輝度値の補正はこれに限られず例えば代表点を抽出してその平均値に合わせるように補正しても良い。あるいは、重複領域の輝度値の最大最小および分散が等しくなるように輝度値を補正してもよい。あるいは、重複領域の画素の位置をイメージマッチングにより正確に位置合わせして、各画素の差分が最小になるように輝度値を調整するようにしてもよい。

【0046】

図８は、実施形態に基づく複数の熱赤外画像に対して補正処理を実行した場合の具体例を説明する図である。

【0047】

図８に示されるように、図４と比較して連続する複数の熱赤外画像に対して輝度値の変化が少なくなっている場合が示されている。

【0048】

図９は、実施形態に基づく補正処理前後の熱赤外画像の輝度値の平均値の変化を説明する図である。

【0049】

図９に示されるように、縦軸は画像輝度値、横軸は写真番号が示されている。補正処理前の画像は、感度の歪みによる影響により撮影開始から撮影終了までの写真の輝度値の平均値の変動は大きいが、補正処理後の画像は、撮影開始から撮影終了までの写真の輝度値の平均値の極度の変動が抑制される。

【0050】

図１０は、実施形態に基づく補正処理後の複数の熱赤外画像に基づくオルソモザイク画像の具体例を説明する図である。

【0051】

図１０に示されるように、実施形態に基づく複数の熱赤外画像のモザイキング処理により上下および左右の明暗ギャップが抑制されて、精度の高いオルソモザイク画像が生成される。輝度値のばらつきが小さいため品質の高い合成画像が生成される。

【0052】

なお、本例においては、熱赤外線カメラ１０と、情報処理装置３０とがそれぞれ独立に別々の場所に設けられた画像処理システムとして説明したが、特にこれに限られず赤外線カメラと情報処理装置とが１つの装置（画像処理装置）に収容することも可能である。

【0053】

また、本例においては、非冷却式センサーを搭載した熱赤外線カメラを用いているためサイズまたコスト的にも有利な構成を採用することが可能である。

【0054】

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本開示の範囲は、上記した説明ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

【符号の説明】

【0055】

５ 移動体、１０ 熱赤外線カメラ、２０ ネットワーク、３０ 情報処理装置、３２ データ取得部、３４ オルソ画像変換部、３６ 補正部、３８ 合成処理部、３９ 出力部、４４ メモリ、１００ 画像処理システム。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】