特許 6941501 画像処理装置及び画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6941501

(24)【登録日】2021年9月8日

(45)【発行日】2021年9月29日

(54)【発明の名称】画像処理装置及び画像処理方法

(51)【国際特許分類】

   H04N 7/18 20060101AFI20210916BHJP

   H04N 5/225 20060101ALI20210916BHJP

   H04N 5/232 20060101ALI20210916BHJP

   F22B 37/38 20060101ALI20210916BHJP

【ＦＩ】

   H04N7/18 D

   H04N7/18 K

   H04N5/225 430

   H04N5/232 290

   F22B37/38 E

【請求項の数】9

【全頁数】14

(21)【出願番号】特願2017-158081(P2017-158081)

(22)【出願日】2017年8月18日

(65)【公開番号】特開2019-36889(P2019-36889A)

(43)【公開日】2019年3月7日

【審査請求日】2020年1月28日

【前置審査】

(73)【特許権者】

【識別番号】000006208

【氏名又は名称】三菱重工業株式会社

(74)【代理人】

【識別番号】110000785

【氏名又は名称】誠真ＩＰ特許業務法人

(72)【発明者】

【氏名】▲高▼野 暁巳

【審査官】 鈴木 隆夫

(56)【参考文献】

【文献】 特開平１０−２０６２３９（ＪＰ，Ａ）

【文献】 特開２０１４−０３０１５１（ＪＰ，Ａ）

【文献】 特開平１１−０９８４１３（ＪＰ，Ａ）

【文献】 特開２０００−０７４７４１（ＪＰ，Ａ）

【文献】 特開平０２−０４０４１４（ＪＰ，Ａ）

【文献】 特開２０１２−０５４９０４（ＪＰ，Ａ）

【文献】 国際公開第２０１２／０３２９１６（ＷＯ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ７／１８

Ｈ０４Ｎ ５／２２５

Ｈ０４Ｎ ５／２３２

Ｆ２２Ｂ ３７／３８

(57)【特許請求の範囲】

【請求項1】

高粉塵環境下にある監視対象物を所定の積算時間で撮像可能な撮像装置と、
前記撮像装置によって撮像された複数の画像データを蓄積する蓄積部と、
前記蓄積部に蓄積された前記複数の画像データに対して積算処理を実施することにより、時間的に変動する輝度成分のコントラストを低減した積算画像を作成する積算処理部と、
前記積算画像に含まれる輝度分布を前記撮像装置の転送周期毎に平均化して得られるオフセット画像を前記積算画像から減算することによりオフセット処理を実施するオフセット処理部と、
前記オフセット処理が実施された前記積算画像に基づいて、前記監視対象物のコントラストを表示可能とした出力画像を作成する出力画像作成部と、
を備え、
前記オフセット処理部は、前記積算画像の三次元輝度マップに基づいて第１方向における平均輝度について前記第１方向に交差する第２方向に沿った分布を示す特性曲線を算出し、前記特性曲線の線形近似直線の傾きがゼロになるように、前記オフセット処理の補正値を決定することにより、前記オフセット画像を作成する、画像処理装置。

【請求項2】

前記撮像装置は、複数の画素を有する撮像素子を有し、前記撮像素子上に結像する前記監視対象物からの光を光電変換し、前記複数の画素の電荷を周期的に転送することにより前記画像データを出力する、請求項１に記載の画像処理装置。

【請求項3】

前記オフセット処理は前記積算画像のうち選択された一部の領域について実施される、請求項１又は２に記載の画像処理装置。

【請求項4】

前記撮像装置は、前記複数の画素から転送される電荷をそれぞれ増幅する複数の増幅回路を有する、請求項２に記載の画像処理装置。

【請求項5】

前記高粉塵環境は微粉炭を燃料とする燃焼炉である、請求項１から４のいずれか一項に記載の画像処理装置。

【請求項6】

前記所定の積算時間は４０ミリ秒以下であり、請求項１から５のいずれか一項に記載の画像処理装置。

【請求項7】

高粉塵環境下にある監視対象物を所定の積算時間で撮像する撮像工程と、
前記撮像工程で撮像された複数の画像データを蓄積する蓄積工程と、
前記蓄積工程で蓄積された前記複数の画像データに対して積算処理を実施することにより、時間的に変動する輝度成分のコントラストを低減した積算画像を作成する積算処理工程と、
前記積算画像に含まれる輝度分布を撮像装置の転送周期毎に平均化して得られるオフセット画像を前記積算画像から減算することによりオフセット処理を実施するオフセット処理工程と、
前記オフセット処理が実施された前記積算画像に基づいて、前記監視対象物のコントラストを表示可能とした出力画像を作成する出力画像作成工程と、
を備え、
前記オフセット処理は、前記積算画像の三次元輝度マップに基づいて第１方向における平均輝度について前記第１方向に交差する第２方向に沿った分布を示す特性曲線を算出し、前記特性曲線の線形近似直線の傾きがゼロになるように、前記オフセット処理の補正値を決定する、画像処理方法。

【請求項8】

前記撮像工程では、複数の画素を有する撮像素子を有し、前記撮像素子上に結像する前記監視対象物からの光を光電変換し、前記複数の画素の電荷を周期的に転送することにより前記画像データを出力する撮像装置を用いる、請求項７に記載の画像処理方法。

【請求項9】

前記所定の積算時間は４０ミリ秒以下であり、請求項７又は８に記載の画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、高粉塵環境下にある監視対象物を撮像して得られる画像を処理するための画像処理装置及び画像処理方法に関する。

【背景技術】

【0002】

ボイラ設備の燃焼炉では微粉炭のような燃料が用いられるため、微粉炭に含まれる燃焼灰等の微粒子が燃焼炉の壁面に付着する。このようなボイラ設備では、定期的に燃焼炉内を監視することで、異常な付着物が発見された場合には、設備を停止して付着物の除去作業等の処置が必要となる。

【0003】

燃焼炉内における付着物の監視は、例えば、撮像装置を用いて監視対象となる壁面を撮像することによって行われる。稼働中の燃焼炉の内部では、微粉炭等の微粒子が浮遊する高粉塵環境下にあり、また強力な火炎も存在することから、このような環境下において監視対象の画像を鮮明に取得することが重要である。特許文献１は、ボイラ設備の燃焼炉に関する技術ではないが、大気中に飛散する浮遊粒子からなる霧がある状況下で、撮像画像から霧を除去するための霧除去装置が開示されている。この特許文献１では、照明光成分から算出される霧濃度を用いて照明光成分及び反射光成分を算出することにより、霧の影響を除去する画像処理が行われている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】国際公開第２０１５／１８９８７４号

【発明の概要】

【発明が解決しようとする課題】

【0005】

稼働中の燃焼炉内は、上記特許文献１のような霧が発生している大気中とは異なり、強力な火炎が存在する。そのため、監視用の撮像装置として、可視光帯域のカメラの使用が困難であり、火炎の発光波長を避けた波長帯域（約４μｍ）で撮像する赤外線カメラが用いられる。赤外線の波長帯域の光源は、主に物体の熱輻射となるため、赤外線カメラが取得する撮像光には、ｉ）燃焼炉中を浮遊する粉塵からのランダムな発光、ｉｉ）燃焼炉の壁面からの平均的な反射光、及び、ｉｉｉ）監視対象物の発光が含まれる。そのため、監視対象物の視認性を高めるためには、ｉｉｉ）の要素を的確に捉えることが重要であり、逆に言えば、ｉ）及びｉｉ）の影響を排除する必要がある。

【0006】

また上記特許文献１は撮像対象に対して照射光を照射して撮像する場合の画像処理であるため、上述のように熱輻射によって監視対象自体から撮像光（赤外光）を発する対象については、そのまま適用することができない。

【0007】

本発明の少なくとも一実施形態は上述の事情に鑑みなされたものであり、高粉塵環境下における監視対象の視認性を向上可能な画像処理装置及び画像処理方法を提供することを目的とする。

【課題を解決するための手段】

【0008】

（１）本発明の少なくとも一実施形態に係る画像処理装置は上記課題を解決するために、高粉塵環境下にある監視対象物を所定の積算時間で撮像可能な撮像装置と、前記撮像装置によって撮像された複数の画像データを蓄積する蓄積部と、前記蓄積部に蓄積された前記複数の画像データに対して積算処理を実施することにより、時間的に変動する輝度成分のコントラストを低減した積算画像を作成する積算処理部と、前記積算画像に基づいて、前記監視対象物のコントラストを表示可能とした出力画像を作成する出力画像作成部と、を備える。

【0009】

上記（１）の構成によれば、撮像装置によって短いシャッタ時間（積算時間）で撮像された複数の画像データに対して積算処理を実施することにより、積算画像が形成される。このような積算画像では、燃焼炉内を浮遊する粉塵等の影響によって時間的に変動するコントラスト成分が平均化される。その際、燃焼炉内において監視対象物からカメラに到達する光は対象物自身の熱放射によるものと、他の構造物や高温の浮遊粒子の熱放射および発光が対象物表面から反射されたものとなった。さらには浮遊粒子による散乱および浮遊粒子の放射および発光が重畳され極めて輝度差が小さくなる。そのため、一般的にカメラのシャッタ速度や積算時間による方法で平均化した場合にはカメラが検出可能な輝度差が得られない場合が生じる。特にデジタル値で映像信号が出力される場合には量子化され監視対象物のコントラストを得ることができなくなる。一方、短いシャッタ時間で撮像された画像においても量子化などによりコントラスト信号は得られないが、浮遊粉塵等による影響が統計的には場所によらず均一であるとした場合には、映像信号が量子化される際に、対象物の輝度が高い部分では確率的に高い値となり、逆に対象物の輝度が低い部分では確率的に低い値となる。その結果、短いシャッタ時間で撮像された画像を用いた積算画像では、浮遊粉塵などによる平均輝度を中心とする輝度に対して、監視対象物の輝度変化が輝度の量子化に際しての期待値の差として強調され、粉塵の背景にある監視対象物の視認性を向上することができる。

【0010】

（２）幾つかの実施形態では上記（１）の構成において、前記撮像装置は、複数の画素を有する撮像素子を有し、前記撮像素子上に結像する前記監視対象物からの光を光電変換し、前記複数の画素の電荷を周期的に転送することにより前記画像データを出力し、前記画像処理装置は、前記積算画像に含まれる輝度分布を前記撮像装置の転送周期毎に平均化して得られるオフセット画像を前記積算画像から減算することによりオフセット処理を実施するオフセット処理部を更に備える。

【0011】

撮像素子上の結像光を光電変換し、画素毎の電荷を並列に転送する撮像装置を用いた場合、撮像画像には当該並列数に起因する周期的オフセットが含まれる。上記（２）の構成によれば、輝度分布を撮像装置の並列周期毎に平均化して得られるオフセット画像を積算画像から減算するオフセット処理を実施することにより、積算画像に含まれる周期的オフセットを排除することができる。その結果、粉塵の背景にある監視対象物の視認性を、より向上することができる。

【0012】

（３）幾つかの実施形態では上記（２）の構成において、前記オフセット処理は前記積算画像のうち選択された一部の領域について実施される。

【0013】

上記（３）の構成によれば、オフセット処理は積算画像のうち選択された一部の領域に対して限定的に実施される。これにより、積算画像全体に対してオフセット処理を実施する場合に比べて演算処理負荷が少なく済むため、当該処理を実施するための演算装置のコストダウンに貢献するとともに、画像処理速度を向上させることができる。

【0014】

（４）幾つかの実施形態では上記（２）又は（３）の構成において、前記撮像装置は、前記複数の画素から転送される電荷をそれぞれ増幅する複数の増幅回路を有する。

【0015】

複数の画素から転送される電荷をそれぞれ増幅する複数の増幅回路を有する撮像装置では、これら増幅回路の特性差（個体差）に起因するオフセット画像が積算画像に含まれる。一般に画素毎のオフセットは基準撮影体などを用いて初期もしくは使用前の調整により設定されるが、その値は最小輝度単位に量子化され、最小輝度単位以下の補正誤差が残っている。このとき輝度が変動する対象物を撮影すると、その対象物の輝度値と上記補正誤差の和が最小輝度単位で量子化されるが、多数の画像を積算すると上記補正誤差が再送輝度単位よりも大きくなり、画像の視認性を低下させる。上記（４）の構成によれば、このような撮像装置が用いられた場合であっても、上述のようにオフセット処理を実施することでオフセット画像を排除し、粉塵の背景にある監視対象物の視認性を向上することができる。

【0016】

（５）幾つかの実施形態では上記（１）から（４）のいずれか一構成において、前記高粉塵環境は微粉炭を燃料とする燃焼炉である。

【0017】

上記（５）の構成によれば、微粉炭を燃料とする燃焼炉の監視用の撮像装置に適用することにより、微粉炭のような微粒子が浮遊し、強力な火炎が存在する環境下においても、監視対象物を精度よく認識できる。

【0018】

（６）幾つかの実施形態では上記（１）から（５）のいずれか一構成において、前記所定の積算時間は４０ミリ秒以下である。

【0019】

上記（６）の構成では、望ましくは所定の積算時間は１ミリ秒以下である。

【0020】

（７）本発明の少なくとも一実施形態に係る画像処理方法は上記課題を解決するために、高粉塵環境下にある監視対象物を所定の積算時間で撮像する撮像工程と、前記撮像工程で撮像された複数の画像データを蓄積する蓄積工程と、前記蓄積工程で蓄積された前記複数の画像データに対して積算処理を実施することにより、時間的に変動する輝度成分のコントラストを低減した積算画像を作成する積算処理工程と、前記積算画像に基づいて、前記監視対象物のコントラストを表示可能とした出力画像を作成する出力画像作成工程と、を備える。

【0021】

上記（７）の方法によれば、撮像された複数の画像データに対して積算処理を実施することにより、積算画像が形成される。このような積算画像では、単一画像内では分離されているコントラストを有する燃焼炉内を浮遊する粉塵等の影響によって時間的に変動するコントラスト成分が平均化される。その結果、積算画像は、平均輝度を中心とする輝度変化が強調され、粉塵の背景にある監視対象物の視認性を向上することができる。このときシャッタ時間が長く、単一画像内で時間積算された場合には、画素毎の輝度の量子化の影響により粉塵の背景にある監視対象物の視認性を向上することはできなかった。

【0022】

（８）幾つかの実施形態では上記（７）の方法において、前記撮像工程では、複数の画素を有する撮像素子を有し、前記撮像素子上に結像する前記監視対象物からの光を光電変換し、前記複数の画素の電荷を周期的に転送することにより前記画像データを出力する撮像装置を用い、前記画像処理方法は、前記積算画像に含まれる輝度分布を前記撮像装置の転送周期毎に平均化して得られるオフセット画像を前記積算画像から減算することによりオフセット処理を実施するオフセット処理工程を更に備える。

【0023】

上記（８）の方法によれば、積算画像に対してオフセット処理を実施することにより、積算画像に含まれるオフセットを排除することができる。その結果、粉塵の背景にある監視対象物の視認性を、より向上することができる。

【0024】

（９）幾つかの実施形態では上記（７）又は（８）の方法において、前記所定の積算時間は４０ミリ秒以下である。

【0025】

上記（９）の方法では、望ましくは所定の積算時間は１ミリ秒以下である。

【発明の効果】

【0026】

本発明の少なくとも一実施形態によれば、高粉塵環境下における監視対象の視認性を向上可能な画像処理装置及び画像処理方法を提供できる。

【図面の簡単な説明】

【0027】

【図1】ボイラ設備を概略的に示す構成図である。

【図2】図１の燃焼炉からの発光に含まれる波長分布を示す測定例である。

【図3】図１の撮像装置の構成を示す概略図である。

【図4】図３の各画素から電荷が転送される様子を説明するための模式図である。

【図5】本発明の少なくとも一実施形態に係る画像処理装置の内部構成を示す構成図である。

【図6】図５の画像処理装置によって実施される画像処理方法を工程毎に示すフローチャートである。

【図7】図５の各工程における画像例である。

【図8】図６のステップＳ１２で実施されるオフセット処理のサブルーチンを示すフローチャートである。

【図9】図８の説明図である。

【図10】積算画像で選択された監視対象領域の一例である。

【発明を実施するための形態】

【0028】

以下、添付図面を参照して本発明の幾つかの実施形態について説明する。ただし、実施形態として記載されている又は図面に示されている構成部品の寸法、材質、形状、その相対的配置等は、本発明の範囲をこれに限定する趣旨ではなく、単なる説明例にすぎない。
例えば、「ある方向に」、「ある方向に沿って」、「平行」、「直交」、「中心」、「同心」或いは「同軸」等の相対的或いは絶対的な配置を表す表現は、厳密にそのような配置を表すのみならず、公差、若しくは、同じ機能が得られる程度の角度や距離をもって相対的に変位している状態も表すものとする。
例えば、「同一」、「等しい」及び「均質」等の物事が等しい状態であることを表す表現は、厳密に等しい状態を表すのみならず、公差、若しくは、同じ機能が得られる程度の差が存在している状態も表すものとする。
例えば、四角形状や円筒形状等の形状を表す表現は、幾何学的に厳密な意味での四角形状や円筒形状等の形状を表すのみならず、同じ効果が得られる範囲で、凹凸部や面取り部等を含む形状も表すものとする。
一方、一の構成要素を「備える」、「具える」、「具備する」、「含む」、又は、「有する」という表現は、他の構成要素の存在を除外する排他的な表現ではない。

【0029】

まず本発明の少なくとも一実施形態に係る画像処理装置１００の監視対象物となるボイラ設備１について説明する。図１は、ボイラ設備１を概略的に示す構成図である。
ボイラ設備１は、燃焼炉（火炉）２と、燃焼炉２に設けられた燃焼装置４とを備える。燃焼装置４は、固体粉末燃料及び酸素含有ガスを燃焼炉２に供給可能であり、固体粉末燃料が燃焼炉２の内部で燃焼することによって高温ガス（燃焼ガス）が生成される。高温ガスは、図示しない節炭器、過熱器及び再熱器等の熱交換器を介して、熱媒体としての水を加熱し、これにより得られた蒸気を利用して、例えば図示しないタービン発電機を作動させることができる。

【0030】

固体粉末燃料は、固体状の原料を粉砕して生成される微粉状の燃料であり、例えば石炭、オイルコークス、固体状バイオマスなどの単体或いは混合物である。本実施形態では固体粉末燃料は微粉炭であり、ボイラ設備１に併設されたミル６が石炭を粉砕することによって、微粉炭が得られる。

【0031】

燃焼装置４は、燃焼炉２に取り付け可能な少なくとも１つのバーナ８と、バーナ８を囲むように燃焼炉２に取り付け可能な風箱１０とを備える。微粉炭は、送風機１２から送られてきた搬送用ガスによって運ばれ、バーナ８の燃料供給ノズル（不図示）に供給される。一方、風箱１０には、送風機１３から酸素含有ガスが送られる。搬送用ガス及び酸素含有ガスは例えば空気である。
尚、搬送用ガスの一部及び酸素含有ガスは、加熱器１４によって適当な温度まで加熱可能である。加熱器１４はボイラ設備１に組み込まれていてもよい。

【0032】

このようなボイラ設備１では、燃焼炉２の壁面を監視するための監視窓１６が設けられている。監視窓１６は、監視対象となる壁面に対向する側に透明窓である。燃焼炉２の外部には撮像装置２０が設置されており、監視窓１６を介して燃焼炉２の壁面を撮像することにより監視可能に構成されている。このような撮像装置２０は高温の燃焼炉２の外部に設置されているため、過酷な環境にさらされることなく、燃焼炉２の内部を監視できる。

【0033】

また稼働中の燃焼炉２では、微粉炭が燃焼することにより強力な火炎が存在する。撮像装置２０では、このような火炎の発光による影響を排除するために、火炎の発光波長を避けた波長領域における撮像を行う。ここで図２は、図１の燃焼炉２からの発光に含まれる波長分布を示す測定例である。図２に示されるように、火炎の発光波長は約４μｍの赤外波長帯域で小さくなっており、撮像装置２０は当該波長帯域において撮像を行う。

【0034】

図３は図１の撮像装置２０の構成を示す概略図である。撮像装置２０は、複数の画素２２を有する撮像素子２４を有する。具体的には、撮像素子２４は例えばＣＭＯＳイメージセンサであり、複数の画素２２を有するマトリクス型の撮像素子である。複数の画素２２では、監視対象物から撮像素子２４上に結像した光が光電変換される。各画素２２で変換された電荷は、垂直走査回路２６及び水平転送走査回路２８によって順次転送される。転送された電荷は、アンプ回路３０で増幅された後、画像データとして外部に出力される。

【0035】

各画素２２からの電荷の転送は、垂直走査回路２６及び水平転送走査回路２８によって周期的に行われる。図４は図３の各画素２２から電荷が転送される様子を説明するための模式図である。ここで、図４（ａ）に示されるように、撮像素子２４として（ｍ×ｎ）個の画素２２を含むマトリクス型を想定する。シャッタ開放時間もしくは素子の電化蓄積時間は４０ミリ秒以下の短時間とし、本例では３０マイクロ秒とした。

【0036】

垂直走査回路２６は特定の１つの行を選択すると、水平転送走査回路２８は当該選択された行において隣接するＮ個の画素２２から同時に電荷を転送し、当該行における転送が完了するまで繰り返す。すなわち図４（ｂ）に示されるように、ｍ１行目が選択された場合、１回目の転送では、当該ｍ１行目のうち１〜Ｎ列目の画素２２_１、２２_２、・・・２２_Ｎから同時に電荷が転送され、続いて（Ｎ＋１）〜２Ｎ番目の画素２２_Ｎ＋１、２２_Ｎ＋２、・・・２２_２Ｎから同時に電荷が転送される。これは、ｍ１行目における最終列（ｎ列目）の画素２２からの電荷の転送が完了するまで繰り返される。

【0037】

このようにｍ１行目における電荷の転送が完了すると、垂直走査回路２６は隣り合う行を選択し、水平転送走査回路２８は当該選択された行において、前述と同様に、隣接するＮ個の画素から同時に電荷の転送を繰り返し行う。つまり図４（ｃ）に示されるように、転送が完了したｍ行２２_１、２２_２、・・・２２_Ｎ２２から電荷の転送が同時に行われ、続いて（Ｎ＋１）〜２Ｎ番目の画素２２_Ｎ＋１、２２_Ｎ＋２、・・・２２_２Ｎから電荷の転送が行われる。これは、（ｍ１＋１）行目における最終列（ｎ列目）の画素２２からの電荷の転送が完了するまで繰り返される。
このようにして撮像素子２４に含まれる（ｍ×ｎ）個の画素全体にわたって周期的な転送が順次行われる。

【0038】

このような撮像装置２０を用いて燃焼炉２の内部を撮影すると、燃焼炉２内を浮遊する粉塵濃度に応じて、観察対象の視認性が変化する。また燃焼炉２の内部では粉塵濃度が時間とともに揺らいでいるため（粉塵濃度の分布が変化するため）、撮像装置２０の視認性は時間とともに変動する。すなわち、ある瞬間では粉塵濃度が低下して視認性が向上するが、他の瞬間では粉塵濃度が増加して視認性が低下することがある。そのため、画像の積算時間としては２５ミリ秒以下、更に適切には１ミリ秒以下とすることが適当であった。

【0039】

このように撮像装置２０の撮像画像は、燃焼炉２の粉塵濃度に応じて変動するため、単一の撮像画像では、監視対象を良好に認識することが困難である。そこで撮像装置２０で取得された画像データは、以下に説明する画像処理装置１００に送られることにより、所定の画像処理が実施される。

【0040】

図５は本発明の少なくとも一実施形態に係る画像処理装置１００の構成図であり、図６は図５の画像処理装置１００によって実施される画像処理方法を工程毎に示すフローチャートであり、図７は図５の各工程における画像例である。

【0041】

画像処理装置１００は、例えばコンピュータのような電子演算装置から構成されており、後述する画像処理を実施するためのプログラムがインストールされる。このような画像処理装置１００は、各種データを蓄積する蓄積部１０２と、蓄積部１０２に蓄積された複数の画像データに対して積算処理を実施する積算処理部１０４と、オフセット処理を実施するオフセット処理部１０６と、画像調整処理を実施して出力画像を作成する出力画像作成部１０８と、を備える。
尚、本実施形態では蓄積部１０２は、ハードディスクやメモリ等の記憶装置からなり、蓄積するデータの種類に応じて複数用意されている。具体的には、撮像装置２０によって撮像された複数の画像データを蓄積するための第１の蓄積部１０２ａと、積算処理部１０４で作成される積算画像を蓄積するための第２の蓄積部１０２ｂと、オフセット処理が実施された画像データを蓄積するための第３の蓄積部１０２ｃと、出力画像が蓄積される第４の蓄積部１０２ｄと、が用意されている。

【0042】

まず画像処理装置１００は、撮像装置２０で時系列的に連続で撮像を行うことにより、監視対象（燃焼炉２の壁面）の複数の画像データを取得する（ステップＳ１０）。撮像装置２０による撮像は、図２を参照して上述したように、赤外線波長帯域において行われる。

【0043】

図７（ａ）は第１の蓄積部１０２ａに蓄積される画像データの一例である。このように撮像装置２０から取得される画像データでは、粉塵の影響によって監視対象である燃焼炉２の壁面の様子が不鮮明であり、監視用として不十分である。
尚、このような画像データに対して微小領域（例えば９×９ピクセルの領域）毎にコントラストを平均化する適応的ヒストグラム平均化処理を実施してもよい。これにより、画像内の明るさ分布が大きい場合に視認性を向上できる。

【0044】

撮像装置２０は、図２及び図３を参照して上述したように、撮像素子２４から周期的な転送を行うことにより画像データを出力する。撮像装置２０から出力された複数の画像データは、第１の蓄積部１０２ａに読み出し可能に蓄積される。

【0045】

蓄積部１０２に蓄積された複数の画像データは、積算処理部１０４によって読み出され、積算処理が実施される（ステップＳ１１）。積算処理は、第１の蓄積部１０２ａから読み出した複数の画像データについて、対応する画素２２同士の輝度値を加算することによって行われる。このような積算処理では、時間的に不変に存在する監視対象物（燃焼炉２の壁面）についてはコントラストが強調される一方で、時間的に揺らぐ変動成分は平均値を中心にキャンセル（平均化）され、コントラストが低減される。そのため、積算処理に作成される積算画像では、燃焼炉２の内部にて変動する粉塵濃度による影響が排除され、監視対象物の視認性が向上する。このように積算処理部１０４で作成された積算画像は、第２の蓄積部１０２ｂに読み出し可能に蓄積される。

【0046】

図７（ｂ）は積算処理部１０４によって形成された積算画像の一例である。積算画像では、図７（ａ）の単一の画像では粉塵の影響によって認識不能であった燃焼炉２の壁面の凹凸が浮き上がるように表示され、視認性が向上している。このような積算画像では、複数の画像データのなかで短時間であれ壁面が見えていれば、その他の変動成分の影響が排除された際に壁面（壁面ニントラストや長時間で変動するクリンカ）が強調して表示されるため効果的である。

【0047】

図７（ｂ）の例では、監視対象である燃焼炉２の壁面の視認性が向上しているが、この画像には縦方向に沿った複数のラインからなる縞模様が含まれている。これは、撮像装置２０に含まれる撮像素子２４において１階調以下に補正されている画素２２毎のオフセットの微小な差異が、画像データを積算することで強調されて現れたものである。本発明者の鋭意研究によれば、このような縞模様は特に、画像信号を増幅するアンプ回路３０に含まれる複数の増幅器の特性差（個体差）に起因しており、これは続くオフセット処理により良好に抑制可能であることが判明した。

【0048】

第２の蓄積部１０２ｂに蓄積された積算画像は、オフセット処理部１０６によって読み出され、オフセット処理が実施される（ステップＳ１２）。オフセット処理は、積算画像に含まれる画素を撮像装置２０の撮像素子２４の転送周期毎に平均化することで得られるオフセット画像に基づいて行われる。

【0049】

ここで図８を参照して図６のステップＳ１２におけるオフセット処理について詳しく説明する。図８は図６のステップＳ１２で実施されるオフセット処理のサブルーチンを示すフローチャートであり、図９は図８の説明図である。

【0050】

まずオフセット処理部１０６は、第２の蓄積部１０２ｂに蓄積された積算画像を取得する（ステップＳ２０）。図９（ａ）の左図には、オフセット処理部１０６が取得した積算画像の一例がＸＹ平面上で示されている。ここで、Ｘ軸は図２の水平走査方向に平行であり、Ｙ軸は図２の垂直走査方向に平行に設定されている。

【0051】

続いて、図９（ａ）の右図に示されるように、オフセット処理部１０６で取得した積算画像の一部領域を選択し（ステップＳ２１）、当該領域における各画素の輝度値を特定することにより、図９（ｂ）に示される三次元輝度マップを作成する（ステップＳ２２）。ここで三次元輝度マップは、選択された一部領域（ＸＹ平面）における各画素２２の輝度値をＺ軸とする三次元なマップである。
尚、ステップＳ２１における一部領域は、少なくとも撮像装置２０において同時に転送可能な電荷数Ｎより大きな領域として選択されるとよい。本実施形態では、以下、（ｍ×ｎ）個の画素２２がマトリクス状に配列された領域が選択されたとして説明する。

【0052】

そして、オフセット処理部１０６は、図９（ｂ）の三次元輝度マップにおいて、Ｙ軸に沿って並ぶ画素２２について輝度値の平均値を求めることにより（Ｙ軸に沿って集計し）、図９（ｃ）に示される特性曲線を算出する（ステップＳ２３）。例えば合計（ｍ×ｎ）個の画素２２がマトリクス状に配列している場合、各列に配列されたｍ個の画素２２について輝度値の平均値を求め、当該平均値を縦軸、Ｘ軸の座標を横軸とするように特性曲線を算出する。

【0053】

図９（ｃ）に示されるように、特性曲線の横軸は、水平方向に沿った画素数に対応している。上述したように、撮像装置２０では各行において同時にＮ個ずつ電荷を転送するため、ここでは特性曲線をＮ個の隣り合う画素からなる複数のセグメントＳ１、Ｓ２、・・・・に分割する（ステップＳ２４）。そして、分割された複数のセグメントＳ１、Ｓ２、・・・・を重ね合わせることにより、図９（ｄ）に示される積算特性曲線を算出する（ステップＳ２５）。このような積算特性曲線には、撮像装置２０の各チャンネルの特性が反映されている。

【0054】

続いてステップＳ２５で算出した積算特性曲線について、線形近似直線を求める（ステップＳ２６）。積算近似直線はＺ＝ａＸ＋ｂを積算特性曲線にフィッティングすることによって定数ａ、ｂを特定することにより求められる。続いて、ステップＳ２６で求められた線形近似直線の傾きａがゼロ（すなわち、図９（ｅ）に示されるように線形近似直線がＸ軸に平行）になるように、オフセット補正の補正値を決定する（ステップＳ２７）。続いて、ステップＳ２７で決定された補正値を、ステップＳ２０の積算画像の全体に対応する範囲に展開させることにより周期的平均化画像を作成する（ステップＳ２８）。図９（ｆ）は、ステップＳ２８で作成された周期的平均化画像の一例である。

【0055】

そしてステップＳ２８で作成された周期的平均化画像を、ステップＳ２０の積算画像から減算処理することにより、オフセット処理を実施する（ステップＳ２９）。これにより、図７（ｂ）で表示されていた縞模様のノイズが適切に除去され、監視対象である燃焼炉２の壁面が、より鮮明に表示される。

【0056】

尚、ステップＳ２７では、線形近似直線が一定輝度に近づくように補正値を決定すればよい。理想的には、線形近似直線が一定輝度になるように補正することが好ましいが、本実施形態では、演算負担とのバランスを考慮して、線形近似直線の傾きがゼロになるようなオフセット補正が行われている。

【0057】

このようにオフセット処理がなされた積算画像は、第３の蓄積部１０２ｃに読み出し可能に蓄積される。そして出力画像作成部１０８は、第３の蓄積部１０２ｃに蓄積された積算画像を読み出し、ディスプレイ等の表示装置（不図示）における表示形式に適合するように適宜調整処理を実施することにより出力画像を作成する（ステップＳ１３）。調整処理が実施された出力画像は、第４の蓄積部１０２ｄに蓄積されるとともに、適宜表示装置１１０に表示される（ステップＳ１４）。

【0058】

尚、ステップＳ１２におけるオフセット処理は、積算画像のうち選択された一部の領域について実施されてもよい。例えば図１０に示されるように、積算画像のうち監視対象領域４０を選択し、当該監視対象領域４０に限定的にオフセット処理が実施してもよい。この場合、積算画像全体に対してオフセット処理を実施する場合に比べて演算処理負荷が少なく済むため、当該処理を実施するための演算装置のコストダウンに貢献するとともに、画像処理速度を向上させることができる。

【0059】

以上説明したように本実施形態によれば、撮像装置２０によって撮像された複数の画像データに対して積算処理を実施することにより、積算画像が形成される。このような積算画像では、燃焼炉内を浮遊する粉塵等の影響によって時間的に変動するコントラスト成分が平均化される。その結果、積算画像は、平均輝度を中心とする輝度変化が強調され、粉塵の背景にある監視対象物の視認性を向上することができる。
また更に、積算画像に対してオフセット処理を実施することにより、撮像装置２０の特性に起因するオフセットを排除し、粉塵の背景にある監視対象物の視認性を、より向上することができる。
このようにして、高粉塵環境下における監視対象の視認性を向上可能な画像処理装置及び画像処理方法を提供することができる。

【産業上の利用可能性】

【0060】

本発明は、高粉塵環境下にある監視対象物を撮像して得られる画像を処理するための画像処理装置及び画像処理方法に利用可能である。

【符号の説明】

【0061】

１ ボイラ設備
２ 燃焼炉
４ 燃焼装置
６ ミル
８ バーナ
１０ 風箱
１２ 送風機
１４ 加熱器
１６ 監視窓
２０ 撮像装置
２２ 画素
２４ 撮像素子
２６ 垂直走査回路
２８ 水平転送走査回路
３０ アンプ回路
４０ 監視対象領域
１００ 画像処理装置
１０２ 蓄積部
１０２ａ 第１の蓄積部
１０２ｂ 第２の蓄積部
１０２ｃ 第３の蓄積部
１０２ｄ 第４の蓄積部
１０４ 積算処理部
１０６ オフセット処理部
１０８ 出力画像作成部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】