特許 7617395 画像処理装置、画像処理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-01-09

(45)【発行日】2025-01-20

(54)【発明の名称】画像処理装置、画像処理方法及びプログラム

(51)【国際特許分類】

   F27D 21/00 20060101AFI20250110BHJP

   G01N 21/88 20060101ALI20250110BHJP

   G06T 5/70 20240101ALI20250110BHJP

   G06T 7/38 20170101ALI20250110BHJP

   C10B 29/06 20060101ALI20250110BHJP

【ＦＩ】

F27D21/00 Q

G01N21/88 J

G06T5/70

G06T7/38

C10B29/06

【請求項の数】 9

(21)【出願番号】P 2021024820

(22)【出願日】2021-02-19

(65)【公開番号】P2022126952

(43)【公開日】2022-08-31

【審査請求日】2023-10-19

(73)【特許権者】

【識別番号】000006655

【氏名又は名称】日本製鉄株式会社

(74)【代理人】

【識別番号】110002044

【氏名又は名称】弁理士法人ブライタス

(72)【発明者】

【氏名】小杉 聡史

【審査官】柏原 郁昭

(56)【参考文献】

【文献】特開２０２０－２００５２８（ＪＰ，Ａ）

【文献】特表２０１８－５２３２２２（ＪＰ，Ａ）

【文献】特開２０１６－０５０２０９（ＪＰ，Ａ）

【文献】特開昭６０－２４４８２１（ＪＰ，Ａ）

【文献】特開平０３－１０５１９５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｆ２７Ｄ ２１／００

Ｇ０１Ｎ ２１／８８

Ｇ０６Ｔ ５／７０

Ｇ０６Ｔ ７／３８

Ｃ１０Ｂ ２９／０６

(57)【特許請求の範囲】

【請求項1】

炉内部を撮像した画像を画像処理する画像処理装置であって、
前記炉内部を移動する撮像装置が炉壁を順次撮像した複数の画像から、同一画素位置の画素値の代表値からなる時間代表値画像を生成する時間代表値画像生成部と、
前記時間代表値画像の各画素値と、前記時間代表値画像において前記撮像装置による画像撮像時の外乱が生じていない確率が最も高い画素位置の画素値とに基づいて、前記撮像装置による画像撮像時の外乱による画素値の変化を補正するためのフィルタ配列を生成するフィルタ生成部と、
前記フィルタ配列を用いて、前記撮像装置により撮像される画像を補正する補正処理部と、
を有する、画像処理装置。

【請求項2】

前記フィルタ生成部は、前記時間代表値画像の各画素値それぞれについて、前記撮像装置による画像撮像時の外乱が生じていない確率が最も高い画素位置の画素値を画素値で除した値を配列したフィルタ配列を生成する、請求項１に記載の画像処理装置。

【請求項3】

前記フィルタ生成部は、前記時間代表値画像の各画素値それぞれについて、前記撮像装置による画像撮像時の外乱が生じていない確率が最も高い画素位置の画素値から画素値を減じた値を配列したフィルタ配列を生成する、請求項１に記載の画像処理装置。

【請求項4】

前記画像を分類する複数のクラスそれぞれについて、前記フィルタ配列を補正するフィルタ補正係数を予め設定するフィルタ補正係数設定部を有し、
前記補正処理部は、
前記撮像装置により撮像される画像が属するクラスを特定し、
前記特定されたクラスに対応するフィルタ補正係数に基づき前記フィルタ配列を補正した補正フィルタ配列を用いて、前記画像を補正する、請求項１～３のいずれか１項に記載の画像処理装置。

【請求項5】

炉内部を観察するための炉壁観察画像を生成する画像処理装置であって、
前記炉内部を移動する撮像装置が炉壁を順次撮像した複数の斜視画像の各々の少なくとも一部の領域を正視画像にそれぞれ変換して得られた複数の炉壁正視画像から、同一画素位置の画素値の代表値からなる炉壁正視時間代表値画像を生成する時間代表値画像生成部と、
前記炉壁正視時間代表値画像の各画素値と、前記炉壁正視時間代表値画像において前記撮像装置による画像撮像時の外乱が生じていない確率が最も高い画素位置の画素値とに基づいて、前記撮像装置による画像撮像時の外乱による画素値の変化を補正するためのフィルタ配列を生成するフィルタ生成部と、
前記フィルタ配列を用いて前記炉壁正視画像を補正し、補正炉壁正視画像を生成する補正処理部と、
を有する、画像処理装置。

【請求項6】

前記補正処理部により補正された複数の前記補正炉壁正視画像に対し、互いに重複する部分を含む２つの前記補正炉壁正視画像である第１の補正炉壁正視画像と第２の補正炉壁正視画像とを連結するためのフレーム間移動量を、テンプレートマッチング処理によりそれぞれ算出するフレーム間移動量算出部と、
前記フレーム間移動量に基づき前記第１の補正炉壁正視画像と前記第２の補正炉壁正視画像とを連結して前記炉壁観察画像を生成する炉壁観察画像生成部と、
を有する、請求項５に記載の画像処理装置。

【請求項7】

前記炉壁正視画像を分類する複数のクラスそれぞれについて、前記フィルタ配列を補正するフィルタ補正係数を予め設定するフィルタ補正係数設定部を有し、
前記補正処理部は、
前記炉壁正視画像が属するクラスを特定し、
前記特定されたクラスに対応するフィルタ補正係数に基づき前記フィルタ配列を補正した補正フィルタ配列を用いて、前記炉壁正視画像を補正して、前記補正炉壁正視画像を生成する、請求項５または６に記載の画像処理装置。

【請求項8】

炉内部を撮像した画像を画像処理する画像処理方法であって、
前記炉内部を移動する撮像装置が炉壁を順次撮像した複数の画像から、同一画素位置の画素値の代表値からなる時間代表値画像を生成し、
前記時間代表値画像の各画素値と、前記時間代表値画像において前記撮像装置による画像撮像時の外乱が生じていない確率が最も高い画素位置の画素値とに基づいて、前記撮像装置による画像撮像時の外乱による画素値の変化を補正するためのフィルタ配列を生成し、
前記フィルタ配列を用いて、前記撮像装置により撮像される画像を補正する、
ことを含む、画像処理方法。

【請求項9】

炉内部を撮像した画像を画像処理するためのプログラムであって、
コンピュータを、
前記炉内部を移動する撮像装置が炉壁を順次撮像した複数の画像から、同一画素位置の画素値の代表値からなる時間代表値画像を生成する時間代表値画像生成部と、
前記時間代表値画像の各画素値と、前記時間代表値画像において前記撮像装置による画像撮像時の外乱が生じていない確率が最も高い画素位置の画素値とに基づいて、前記撮像装置による画像撮像時の外乱による画素値の変化を補正するためのフィルタ配列を生成するフィルタ生成部と、
前記フィルタ配列を用いて、前記撮像装置により撮像される画像を補正する補正処理部として機能させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、コークス炉の炉内部を撮像した画像を画像処理する画像処理装置、画像処理方法及びプログラムに関する。

【背景技術】

【0002】

コークス炉の炭化室をはじめとする高温の炉室においては、炉壁が耐火物で構成されており、耐火物の劣化状況を的確に把握することはコークス炉などの炉操業管理上重要である。特に、コークス炉の炭化室は、過酷な条件下で通常３０年以上の長期間にわたって連続操業される。炭化室を構成する耐火煉瓦は、熱的、化学的及び機械的要因によって徐々に劣化する。このため、炉壁の損傷や付着カーボン不良に起因するコークスの押し詰まりが生じ、発生した押し詰まりによってさらなる炉壁の損傷、生産スケジュール遅延、復旧作業のための作業負荷増大を招く。したがって、炭化室内の、特に炉壁を構成する耐火煉瓦の劣化状況を常時把握しておくことは、コークス炉操業管理上極めて重要である。

【0003】

コークス炉の炭化室の炉壁を観察するための方法として、例えば特許文献１には、コークス炉炭化室の窯口よりカメラを内部に挿入し、内壁の撮像をもとに炉壁状況を観察するに際し、カメラの視野を斜めとし、炉壁を斜視像として順次撮影して、カメラで少なくとも炉長方向のほぼ全域を撮影し、斜視像の撮像位置情報（炉長方向位置）と、斜視像を正面像に変換した画像情報をもとに、炭化室内の炉壁状況を観察する、コークス炉炭化室の内壁観察方法が開示されている。

【0004】

また、特許文献２には、炭化室の両壁面を、これらの法線方向に対して傾斜した方向から各別のカメラにより撮像し、これらの壁面の斜視画像として与えられる画像データを参照して、両壁面に発生している損傷の種類を認識する技術が開示されている。さらに、特許文献３には、レーザ距離計が計測したコークス炉炭化室の内壁面までの距離に応じた出力電圧を信号変換器によって音声帯域信号に周波数変調し、ビデオカメラが撮影した内壁面の画像とともに記録することにより、内壁面の画像と撮像位置の窯幅とを対応付ける技術が開示されている。

【0005】

このように、熱対策したカメラを炉内に挿入し、炉壁を撮影した映像を用いて炭化室の炉壁を観察することで、炉内中心部においても炉壁を観察することができ、作業員にとっても確認作業を安全に行うことができる。

【先行技術文献】

【特許文献】

【0006】

【文献】特開平３－１０５１９５号公報

【文献】特開２００１－３０５８号公報

【文献】特開２００１－１１４６５号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

コークスの押出しは十数分に１回という高い頻度で行われ、カメラ等は高温の炭化室内に挿入される。コークスの押出し毎に炭化室を観察する場合、炭化室内で発煙し、カメラが煙にさらされることがある。このため、押出機を炭化室内に挿入する度にカメラは徐々に汚れ、カメラの観察窓に付着した汚れにより撮像画像の鮮明さが失われる。カメラの観察窓の清掃は、通常、炉の点検時など限られた場合にのみ行われることから、カメラの観察窓に汚れが付着したままコークスの押出し毎の撮影が続けられており、撮像画像が不鮮明になることがある。

【0008】

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、撮像画像に映り込む撮像装置の観察窓の汚れによって生じる不鮮明さを軽減し、より鮮明な炉内画像を得ることが可能な、画像処理装置、画像処理方法及びプログラムを提供することにある。

【課題を解決するための手段】

【0009】

上記課題を解決するために、本発明のある観点によれば、炉内部を撮像した画像を画像処理する画像処理装置であって、炉内部を移動する撮像装置が炉壁を順次撮像した複数の画像から、同一画素位置の画素値の代表値からなる時間代表値画像を生成する時間代表値画像生成部と、時間代表値画像の各画素値と、時間代表値画像において撮像装置による画像撮像時の外乱が生じていない確率が最も高い画素位置の画素値とに基づいて、撮像装置による画像撮像時の外乱による画素値の変化を補正するためのフィルタ配列を生成するフィルタ生成部と、フィルタ配列を用いて、撮像装置により撮像される画像を補正する補正処理部と、を有する、画像処理装置が提供される。

【0010】

フィルタ生成部は、時間代表値画像の各画素値それぞれについて、撮像装置による画像撮像時の外乱が生じていない確率が最も高い画素位置の画素値を画素値で除した値を配列したフィルタ配列を生成してもよい。

【0011】

あるいは、フィルタ生成部は、時間代表値画像の各画素値それぞれについて、撮像装置による画像撮像時の外乱が生じていない確率が最も高い画素位置の画素値から画素値を減じた値を配列したフィルタ配列を生成してもよい。

【0012】

また、画像を分類する複数のクラスそれぞれについて、フィルタ配列を補正するフィルタ補正係数を予め設定するフィルタ補正係数設定部を有し、補正処理部は、撮像装置により撮像される画像が属するクラスを特定し、特定されたクラスに対応するフィルタ補正係数に基づきフィルタ配列を補正した補正フィルタ配列を用いて、画像を補正してもよい。

【0013】

また、上記課題を解決するために、本発明の別の観点によれば、炉内部を観察するための炉壁観察画像を生成する画像処理装置であって、炉内部を移動する撮像装置が炉壁を順次撮像した複数の斜視画像の各々の少なくとも一部の領域を正視画像にそれぞれ変換して得られた複数の炉壁正視画像から、同一画素位置の画素値の代表値からなる炉壁正視時間代表値画像を生成する時間代表値画像生成部と、炉壁正視時間代表値画像の各画素値と、炉壁正視時間代表値画像において撮像装置による画像撮像時の外乱が生じていない確率が最も高い画素位置の画素値とに基づいて、撮像装置による画像撮像時の外乱による画素値の変化を補正するためのフィルタ配列を生成するフィルタ生成部と、フィルタ配列を用いて炉壁正視画像を補正し、補正炉壁正視画像を生成する補正処理部と、を有する、画像処理装置が提供される。

【0014】

画像処理装置は、補正処理部により補正された複数の補正炉壁正視画像に対し、互いに重複する部分を含む２つの補正炉壁正視画像である第１の補正炉壁正視画像と第２の補正炉壁正視画像とを連結するためのフレーム間移動量を、テンプレートマッチング処理によりそれぞれ算出するフレーム間移動量算出部と、フレーム間移動量に基づき第１の補正炉壁正視画像と第２の補正炉壁正視画像とを連結して炉壁観察画像を生成する炉壁観察画像生成部と、を有してもよい。

【0015】

また、画像処理装置は、炉壁正視画像を分類する複数のクラスそれぞれについて、フィルタ配列を補正するフィルタ補正係数を予め設定するフィルタ補正係数設定部を有し、補正処理部は、炉壁正視画像が属するクラスを特定し、特定されたクラスに対応するフィルタ補正係数に基づきフィルタ配列を補正した補正フィルタ配列を用いて、炉壁正視を補正して、補正炉壁正視画像を生成してもよい。

【0016】

さらに、上記課題を解決するために、本発明の別の観点によれば、炉内部を撮像した画像を画像処理する画像処理方法であって、炉内部を移動する撮像装置が炉壁を順次撮像した複数の画像から、同一画素位置の画素値の代表値からなる時間代表値画像を生成し、時間代表値画像の各画素値と、時間代表値画像において撮像装置による画像撮像時の外乱が生じていない確率が最も高い画素位置の画素値とに基づいて、撮像装置による画像撮像時の外乱による画素値の変化を補正するためのフィルタ配列を生成し、フィルタ配列を用いて、撮像装置により撮像される画像を補正する、ことを含む、画像処理方法が提供される。

【0017】

また、上記課題を解決するために、本発明の別の観点によれば、炉内部を撮像した画像を画像処理するためのプログラムであって、コンピュータを、炉内部を移動する撮像装置が炉壁を順次撮像した複数の画像から、同一画素位置の画素値の代表値からなる時間代表値画像を生成する時間代表値画像生成部と、時間代表値画像の各画素値と、時間代表値画像において撮像装置による画像撮像時の外乱が生じていない確率が最も高い画素位置の画素値とに基づいて、撮像装置による画像撮像時の外乱による画素値の変化を補正するためのフィルタ配列を生成するフィルタ生成部と、フィルタ配列を用いて、撮像装置により撮像される画像を補正する補正処理部として機能させるプログラムが提供される。

【発明の効果】

【0018】

以上説明したように本発明によれば、撮像装置による画像撮像時の外乱による画素値の変化を補正するためのフィルタ配列を用いて撮像画像を補正するため、撮像画像に映り込む撮像装置の観察窓の汚れによって生じる不鮮明さを軽減し、より鮮明な炉内画像を得ることができる。

【図面の簡単な説明】

【0019】

【図1】本発明の第１の実施形態に係る炉壁観察装置の一構成例を示す模式図である。

【図2】同実施形態に係る画像処理装置の一構成例を示す機能ブロック図である。

【図3】同実施形態に係る画像処理方法の全体の流れを示すフローチャートである。

【図4】時間平均画像生成処理の一例を示すフローチャートである。

【図5】フィルタ生成処理の一例である、乗算フィルタの生成処理を示すフローチャートである。

【図6】フィルタ生成処理の一例である、加算フィルタの生成処理を示すフローチャートである。

【図7】本発明の第２の実施形態に係る画像処理装置の一構成例を示す機能ブロック図である。

【図8】同実施形態に係る画像処理方法の全体の流れを示すフローチャートである。

【図9】左右領域算出処理の一例を示すフローチャートである。

【図10】時間平均画像の一例を示す模式図である。

【図11】時間平均画像におけるテンプレートマッチング処理を説明する説明図である。

【図12】フィルタ生成処理の一例を示すフローチャートである。

【図13】フレーム間移動量算出処理の一例を示すフローチャートである。

【図14】炉壁斜視画像を透視変換して炉壁正視画像とする処理を説明する説明図である。

【図15】現フレームにおける探索領域とテンプレート画像Ａ２との関係を示す説明図である。

【図16】フレーム間移動量推定処理の一例を示すフローチャートである。

【図17】炉壁観察画像生成処理の一例を示すフローチャートである。

【図18】炉壁観察画像生成処理を説明する説明図である。

【図19】フィルタ配列を補正するためのフィルタ補正係数を決定するためのフィルタ補正係数決定処理の一例を示すフローチャートである。

【図20】図３に示した第１の実施形態に係る画像処理方法において、フィルタ配列の補正を行う場合の画像処理方法を示すフローチャートである。

【図21】フィルタ補正係数選択処理の一例を示すフローチャートである。

【図22】時間平均画像の一例を示す画像である。

【図23】図２２に示す時間平均画像から生成されたフィルタ配列により、当該時間平均画像を補正する前の画像と補正後の画像とを示す画像である。

【図24】図２２に示す時間平均画像から生成されたフィルタ配列により、新たに取得された炉内部の画像を補正する前の画像と補正後の画像とを示す画像である。

【図25】本発明の各実施形態に係る画像処理装置として機能する情報処理装置のハードウェア構成の一例を示すブロック図である。

【発明を実施するための形態】

【0020】

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

【0021】

［１．第１の実施形態］
［１－１．コークス炉の炭化室の観察］
まず、図１に基づいて、コークス炉の炭化室の炉壁画像を取得する炉壁観察装置の一構成例を説明する。図１は、本実施形態に係る炉壁観察装置の一構成例を示す模式図である。

【0022】

コークス炉１は、コークスを生成するための窯炉である。コークス炉１の炉体の上部には炭化室と燃焼室とが交互に配列され、下部には蓄熱室が設けられる。コークスは、蓄熱室でそれぞれ予熱された燃焼ガスと燃焼用空気とを燃焼室で燃焼させ、発生した熱によって炭化室に装入された石炭を乾留することによって生成される。

【0023】

図１は、コークス炉１の炭化室１０の内部を炭化室幅方向（Ｘ方向）から見た状態を示している。炭化室１０は炭化室幅方向に対向する２つの炉壁１１により構成されており、図１には紙面奥側にある１つの炉壁１１のみが示されている。炭化室１０に装入された石炭を乾留して生成されたコークスは、押出ラムビーム２０の一端に設けられている押出ラム２１が押出方向（Ｙ方向）に移動されることにより炭化室１０のコークス排出側へ押し出され、炭化室１０から排出される。

【0024】

図１の押出ラムビーム２０には、炭化室１０の幅中央に、高さ方向（Ｚ方向）に並列された２つの撮像装置３１、３３が設けられている。撮像装置３１、３３は、炭化室１０の炉壁１１の炉壁画像を取得する炉壁観察装置として機能する。撮像装置３１、３３は、炭化室１０内の高温環境にも耐え得るように、冷却機構または耐熱機構を備えている。図１に示す撮像装置３１、３３は、コークス排出側と反対側の押出機側を撮像方向として、押出ラムビーム２０が押出機側からコークス排出側に移動される際に、または、コークス排出側から押出機側に移動される際に、順次炉壁１１の画像を撮像する。これにより、コークスの押出毎に炭化室１０内を観察することができる。撮像装置３１、３３により取得された画像は、後述する画像処理装置へ出力される。

【0025】

なお、図１では２つの撮像装置３１、３３が設置されているが、本発明はかかる例に限定されず、撮像装置は１つでもよく、３つ以上でもよい。また、撮像装置３１、３３は、押出ラムビーム２０以外の、炭化室１０内を押出方向に沿って移動可能な移動機構に設けてもよい。

【0026】

［１－２．画像処理装置］
図１に示した撮像装置３１、３３により取得された画像は、本実施形態に係る画像処理装置５０へ出力される。本実施形態に係る画像処理装置５０は、コークス炉１の炭化室１０内部の炉壁１１を撮像した画像を画像処理し、画像に映り込む撮像装置３１、３３の観察窓の汚れを軽減してより鮮明な炉内画像を提供するための装置である。

【0027】

図２に、本実施形態に係る画像処理装置５０の一構成例を示す。本実施形態に係る画像処理装置５０は、図２に示すように、時間代表値画像生成部５１と、フィルタ生成部５３と、補正処理部５５とを有する。

【0028】

時間代表値画像生成部５１は、炉内部を移動する撮像装置３１、３３により順次撮像された炉壁１１の複数の画像から、同一画素位置の画素値の代表値からなる時間代表値画像を生成する。撮像装置３１、３３により撮像された炉壁の画像は、例えば記憶部（図示せず。）に記録されている。時間代表値画像生成部５１は、１回のコークスの押出しにおいて取得された複数の画像を用いて、時間代表値画像を生成する。時間代表値画像は、複数の画像における同一画素位置の画素値の代表値によって、撮像装置３１、３３により撮像される画像の輝度分布を表す画像である。画素値の代表値とは、画素値の中心的傾向を示す値であり、例えば、平均値、中央値、最頻値等である。時間代表値画像生成部５１は、生成した時間代表値画像を、フィルタ生成部５３へ出力する。

【0029】

フィルタ生成部５３は、時間代表値画像の各画素値と、時間代表値画像において撮像装置３１、３３による画像撮像時の外乱が生じていない確率が最も高い健全な画素位置の画素値とに基づいて、撮像装置３１、３３による画像撮像時の外乱による画素値の変化を補正するためのフィルタ配列を生成する。フィルタ配列は、撮像装置３１、３３の観察窓の汚れ等の外乱の影響により、不鮮明となった撮像装置３１、３３の撮像画像を復元するために用いられる。

【0030】

炉内部は全体的に高温であるため、撮像装置３１、３３の観察窓に汚れがなければ、時間代表値画像は、いずれの画素位置の画素値もほぼ同一の値となる。しかし、撮像装置３１、３３の観察窓に部分的に汚れがあれば、時間代表値画像の汚れ位置の画素値は、健全な（すなわち、撮像装置３１、３３の観察窓に汚れのない）位置の画素値より小さくなる。したがって、時間代表値画像内の画素値の最大値（以下、「最大輝度値」ともいう。）は、時間代表値画像の汚れ位置に汚れがなかった場合の画素値にほぼ等しい。また、仮に全く汚れのない位置が時間代表値画像内になかったとしても、時間代表値画像内の最大輝度値は、健全であった場合の輝度値に最も近いと考えられる。つまり、時間代表値画像内の最大輝度値は、撮像装置３１、３３による画像撮像時の外乱が生じていない確率が最も高い健全な画素位置の画素値といえる。そこで、フィルタ生成部５３は、撮像装置３１、３３の観察窓の汚れ等の外乱による光量変化に対する画素値の変化を補正するためのフィルタ配列を、時間代表値画像の各画素値と最大輝度値とに基づき生成する。フィルタ生成処理の詳細については後述する。フィルタ生成部５３は、生成したフィルタ配列を、補正処理部５５へ出力する。

【0031】

補正処理部５５は、フィルタ配列を用いて、撮像装置３１、３３により撮像される炉内部の画像を補正する。撮像装置３１、３３により取得された炉内部の画像をフィルタ配列によって補正することにより、撮像装置３１、３３の観察窓の汚れ等の外乱により減少した画素値が復元される。これにより、撮像装置３１、３３により取得された炉内部の画像がより鮮明な画像となる。

【0032】

［１－３．画像処理方法］
次に、図３～図６に基づいて、本実施形態に係る画像処理装置５０による画像処理方法について、詳細に説明する。図３は、本実施形態に係る画像処理方法の全体の流れを示すフローチャートである。フローチャート中の各処理の詳細については、図４～図６を用いて説明する。以下では、時間代表値画像において撮像装置３１、３３による画像撮像時の外乱が生じていない確率が最も高い健全な画素位置の画素値として、時間代表値画像の最大輝度値を用いる場合を説明する。また、以下では、１つの撮像装置（例えば撮像装置３１）により取得された複数の画像から、画像を補正するフィルタ配列を生成し、フィルタ配列を用いて当該撮像装置によって撮像される画像を補正する場合について説明する。複数の撮像装置により炭化室内の画像を取得可能な場合には、以下に説明する画像処理方法を、撮像装置毎に実施すればよい。

【0033】

（Ｓ１：時間代表値画像生成処理）
まず、時間代表値画像生成部５１は、炉内部を移動する撮像装置（例えば撮像装置３１）により順次撮像された炉壁１１の複数の画像から、同一画素位置の画素ごとに画素値の代表値を算出し、算出した各代表値を画素値として持つ各画素から構成される時間代表値画像を生成する（Ｓ１）。撮像装置により撮像された炉壁の画像は、例えば記憶部（図示せず。）に記録されている。時間代表値画像生成部５１は、１回のコークスの押出しにおいて取得された複数の画像を用いて、例えば平均値、中央値、最頻値等の画素値の中心的傾向を示す値によって表される時間代表値画像を生成する。

【0034】

図４は、時間代表値画像生成処理の一例である時間平均画像生成処理の例を示すフローチャートである。時間平均画像生成処理は、代表値として平均値を用いた時間代表値画像である時間平均画像を生成する処理である。図４に示すように、時間代表値画像生成部５１は、まず、時間平均画像の画素値を格納する２次元配列である時間平均画像用配列の各要素及びフレームの数をカウントするカウンタを初期値に設定する（Ｓ１１）。なお、フレームは、１回のコークスの押出しにおいて順次取得される各画像を意味する。時間平均画像用配列の各要素は、フレームを構成する各画素に一対一で対応しており、初期値として、例えば「０」の値が格納される。ステップＳ１１の後、時間代表値画像生成部５１は、記憶部等に記録されている、撮像装置により撮像された炉壁の画像（フレーム）の読み込み（取得）を開始する（Ｓ１２）。ステップＳ１２では、フレームは、時系列順に（例えば、押出機側からコークス排出側に向かって順に）読み込まれる。

【0035】

時間代表値画像生成部５１は、ステップＳ１２にてフレームの読み込みを実行し、フレームの読み込みに成功したか否かを判定する（Ｓ１３）。フレーム読み込みが成功した場合には（Ｓ１３：ＹＥＳ）、当該フレームの各画素値を、各画素に対応する時間平均画像用配列の要素へ加算する（Ｓ１４）。すなわち、新たにフレームが読み込まれる度に、その読み込まれたフレームを構成する各画素の画素値が、それぞれ対応する時間平均画像用配列の各要素に加算される。そして、時間代表値画像生成部５１は、カウンタの値に１を加算して（Ｓ１５）、ステップＳ１２の処理に戻り、次のフレームを読み込む。ステップＳ１２～Ｓ１５の処理は、すべてのフレームの読み込みが完了するまで繰り返し実行される。

【0036】

一方、ステップＳ１３にてフレームを読み込めなかった場合には（Ｓ１３：ＮＯ）、最終フレームまで読み込みが完了したことから、その時点において時間平均画像用配列の各要素に格納されている画素値（すなわち各フレームの同一画素位置の画素値を合計した値）をそれぞれカウンタの値で除算し、時間平均画像を生成する（Ｓ１６）。カウンタの値は、読み込まれたフレームの数に相当する。こうして、押出機側からコークス排出側への１回の移動において取得された画像の平均画像である時間平均画像が生成される。時間代表値画像生成部５１は、生成した時間代表値画像を、フィルタ生成部５３へ出力する。

【0037】

（Ｓ３：フィルタ生成処理）
次いで、フィルタ生成部５３は、時間代表値画像の各画素値と最大輝度値とに基づいて、フィルタ配列を生成する（Ｓ３）。フィルタ配列は、撮像装置の観察窓の汚れ等の外乱の影響により、不鮮明となった撮像装置の撮像画像を復元するために用いられる。フィルタ配列は、撮像装置の観察窓の汚れ等の外乱による光量変化に対する画素値の変化を補正するものである。具体的なフィルタ配列としては、例えば、時間代表値画像の最大輝度値を時間代表値画像の画素値で除した値からなる乗算フィルタ、時間代表値画像の最大輝度値から時間代表値画像の画素値を減じた値からなる加算フィルタ等が用いられる。以下、フィルタ配列生成処理の具体例について、図５、図６に基づき説明する。

【0038】

（ａ）乗算フィルタの生成処理
まず、図５に基づいて、本実施形態に係るフィルタ生成処理の一例である、乗算フィルタの生成処理について説明する。図５は、乗算フィルタの生成処理を示すフローチャートである。図５に示す処理では、時間代表値画像として、時間平均画像を用いている。

【0039】

まず、フィルタ生成部５３は、画素値を変換する画素値変換領域を定めるマスク用配列を生成する（Ｓ３１ａ）。画素値変換領域は、画像中においてフィルタ配列による補正を行う領域である。撮像装置により撮像された炉内部の画像には、炉壁部分以外の領域も含まれていることもあり、炉壁部分以外の領域は不要な場合もある。そこで、画像中の必要な領域を画素値変換領域として設定してもよい。画素値変換領域は、例えばユーザから指定された領域としてもよく、予め設定された画像中の領域としてもよい。設定された画素値変換領域に基づき、マスク用配列が生成される。

【0040】

次いで、フィルタ生成部５３は、時間平均画像の画素値変換領域において、最大輝度値を求める（Ｓ３２ａ）。最大輝度値を有する画素は、その位置では確実に観察窓に汚れが付着していない（健全である）画素、あるいは、健全であった場合の画素値に最も近い画素と考えられる。そこで、フィルタ生成部５３は、図３のステップＳ１にて生成された時間代表値画像の画素値変換領域内において、最大輝度値を有する画素を特定し、最大輝度値を取得する。そして、フィルタ生成部５３は、時間平均画像全体の各画素の画素値を最大輝度値で除算し、一時配列に格納する（Ｓ３３ａ）。ここで、一時配列は、時間平均画像を構成する各画素に一対一で対応する要素を持つ。

【0041】

その後、フィルタ生成部５３は、時間平均画像を構成する画素のうちマスク用配列により定まる画素値変換領域以外の領域の画素に対応する一時配列の要素の値を「１」に置換した後（Ｓ３４ａ）、一次配列の各要素の値の逆数を求めて乗算フィルタを生成する（Ｓ３５ａ）。ステップＳ３４ａの処理は、ステップＳ３５ａで逆数を求める際に、演算が不可能となることを防止するために行われる。ステップＳ３５ａにて生成された乗算フィルタは、下記式（１）で表される。

【0042】

【数1】

【0043】

なお、撮像画像がカラー（例えばＲＧＢ画像）である場合には、画素値の加減乗除等の演算は、色（例えば「Ｒ」、「Ｇ」、「Ｂ」）ごとに別個に行われる。

【0044】

撮像装置の観察窓に汚れ等の外乱がなければ、炉内部は全体的に高温であるため、時間代表値画像のすべての画素位置の画素値は最大輝度値にほぼ等しいはずである。ここで、汚れ付着による光量変化に対する画素値の変化に比例関係があると仮定すると、汚れ位置の画素値は、健全な位置の画素値（ここでは最大輝度値と仮定する。）に比べて下記式（２）だけ減少していることになる。

【0045】

【数2】

【0046】

乗算フィルタは、上記式（２）の画素値減分割合の逆数によって表されたものである。したがって、撮像装置の観察窓に汚れ等の外乱がある場合は、その位置の画素値を上記式（１）により表される乗算フィルタにより補正（乗算）すれば、その外乱により減少した画素値が復元される。一方で、撮像装置の観察窓に汚れ等の外乱がない場合、その位置の画素値は補正する必要がないが、その位置の画素値は最大輝度値にほぼ等しい。このため、上記式（１）により表される乗算フィルタの値はほぼ１となり、この乗算フィルタによって補正（乗算）しても補正したことにならない。

【0047】

（ｂ）加算フィルタの生成処理
次に、図６に基づいて、本実施形態に係るフィルタ生成処理の一例である、加算フィルタの生成処理について説明する。なお、上記の乗算フィルタの代わりに加算フィルタを用いる場合に、加算フィルタの生成処理は実行される。図６は、加算フィルタの生成処理を示すフローチャートである。図６に示す処理においても、時間代表値画像として、時間平均画像を用いている。

【0048】

まず、フィルタ生成部５３は、画素値を変換する画素値変換領域を定めるマスク用配列を生成する（Ｓ３１ｂ）。ステップＳ３１ｂの処理は、図５のステップＳ３１ａと同様に行えばよい。

【0049】

次いで、フィルタ生成部５３は、時間平均画像の画素値変換領域において、最大輝度値を求める（Ｓ３２ｂ）。ステップＳ３２ｂの処理は、図５のステップＳ３２ａと同様に行えばよい。

【0050】

そして、フィルタ生成部５３は、最大輝度値から時間平均画像の各画素値を減算した値をフィルタ配列に格納した後（Ｓ３３ｂ）、時間平均画像を構成する画素のうちマスク用配列により定まる画素値変換領域以外の領域の画素に対応するフィルタ配列の要素の値を「０」に置換する（Ｓ３４ｂ）。こうして、加算フィルタが生成される。ステップＳ３４ｂにて生成された加算フィルタは、下記式（３）で表される。

【0051】

【数3】

【0052】

撮像装置の観察窓に汚れ等の外乱がなければ、炉内部は全体的に高温であるため、時間代表値画像のすべての画素位置の画素値は最大輝度値にほぼ等しいはずである。ここで、汚れ付着による光量変化に対する画素値の変化に加法性があると仮定すると、汚れ位置の画素値は、健全な位置の画素値（ここでは最大輝度値と仮定する。）に比べて下記式（４）だけ減少していることになる。

【0053】

【数4】

【0054】

加算フィルタは、上記式（４）の画素値減分を復元させるものとして用いられる。撮像装置の観察窓に汚れ等の外乱がある場合は、その位置の画素値を上記式（３）により表される加算フィルタにより補正（加算）すれば、その外乱により減少した画素値が復元される。一方で、撮像装置の観察窓に汚れ等の外乱がない場合、その位置の画素値は補正する必要がないが、その位置の画素値は最大輝度値にほぼ等しい。このため、上記式（３）により表される加算フィルタの値はほぼ０となり、この加算フィルタによって補正（加算）しても補正したことにならない。

【0055】

フィルタ生成部５３は、図５または図６に示した処理によってフィルタ配列を生成し、生成したフィルタ配列を補正処理部５５へ出力する。

【0056】

（Ｓ５：補正処理）
図３の説明に戻り、ステップＳ３にてフィルタ配列が生成されると、補正処理部５５により、フィルタ配列を用いて炉内部の画像が補正される。

【0057】

例えば、フィルタ配列として上記式（１）により表される乗算フィルタを用いた場合には、補正後の画像の各画素の値は、下記式（５－１）で表される。また、フィルタ配列として上記式（３）により表される加算フィルタを用いた場合には、補正後の画像の各画素の値は、下記式（５－２）で表される。

【0058】

【数5】

【0059】

このように、撮像装置により取得された炉内部の画像をフィルタ配列によって補正することにより、撮像装置の観察窓の汚れ等の外乱により減少した画素値が復元される。これにより、撮像画像により取得された炉内部の画像をより鮮明にすることができる。

【0060】

以上、第１の実施形態に係る画像処理装置５０と、これを用いた画像処理方法とについて説明した。本実施形態によれば、炉内部を移動する撮像装置が炉壁を順次撮像した複数の画像から、同一画素位置の画素値の代表値からなる時間代表値画像を生成し、時間代表値画像の各画素値と、時間代表値画像において撮像装置３１、３３による画像撮像時の外乱が生じていない確率が最も高い健全な画素位置の画素値（例えば、最大輝度値）とに基づいて、撮像装置による画像撮像時の外乱による画素値の変化を補正するためのフィルタ配列を生成し、フィルタ配列を用いて撮像装置により撮像される画像を補正する。これにより、撮像装置の観察窓の汚れ等の外乱により減少した画素値が復元され、撮像画像により取得された炉内部の画像をより鮮明にすることができる。

【0061】

［２．第２の実施形態］
次に、本発明の第２の実施形態に係るコークス炉の炉内部を撮像した画像を画像処理する画像処理装置１００、及び、これを用いた画像処理方法について説明する。

【0062】

［２－１．画像処理装置］
本実施形態に係る画像処理装置１００は、コークス炉１の炭化室１０内部の炉壁１１の斜視画像を透視変換して得られた複数の炉壁正視画像を、上記第１の実施形態にて説明したフィルタ配列によって補正した後、連結して、炉壁観察画像を生成する装置である。

【0063】

撮像装置３１、３３にて取得された画像は、撮像装置３１、３３を炉壁１１に正対させて設置する等して撮影方向を炉壁１１の正面に向けることで得られる正視画像ではなく、撮影方向を押出方向として撮像装置３１、３３を設置すること等によって斜視の状態で炉壁１１を撮像して得られる斜視画像である。また、撮像装置３１、３３を炭化室１０の押出方向に移動させながら取得された各斜視画像においては、各斜視画像の撮像時の撮像装置３１、３３の位置から離れた部分ほど不明瞭になるため、各斜視画像に写っている炉壁１１全体を明瞭に確認することは難しい。しかし、各斜視画像を撮像したときの押出方向の位置近傍での炉壁１１は、各斜視画像から明瞭に確認することができる。

【0064】

そこで、本実施形態に係る画像処理装置１００は、撮像装置３１、３３により撮像された斜視画像から炉壁を明瞭に確認できる部分を抽出するとともに、抽出した部分画像（炉壁斜視画像）を透視変換して炉壁正視画像を生成する。そして、画像処理装置１００は、生成した炉壁正視画像に基づいて複数の炉壁正視画像を連結するためのフレーム間移動量を求め、求めたフレーム間移動量を用いて複数の炉壁正視画像を連結して、炉壁１１全体を表す炉壁観察画像を生成する。

【0065】

このように、本実施形態に係る画像処理装置１００では、押出方向における撮像装置３１、３３の位置情報を用いずに、フレーム間移動量を取得された炉壁斜視画像に基づき算出し、算出したフレーム間移動量を用いて炉壁正視画像を連結して炉壁観察画像を生成する。これにより、撮像装置３１、３３の移動時の振動等による撮像装置３１、３３の視野の微妙なずれの影響を受けることなく、より正確で滑らかに炉壁１１全体を表す画像を得ることができる。また、炉壁観察画像を構成する炉壁正視画像がフィルタ配列によって補正されることから、より鮮明な炉壁観察画像を生成することができる。

【0066】

図７に、本実施形態に係る画像処理装置１００の一構成例を示す。本実施形態に係る画像処理装置１００は、図７に示すように、画像取得部１１０と、前処理部１２０と、フレーム間移動量算出部１３０と、フレーム間移動量推定部１４０と、炉壁観察画像生成部１５０と、フィルタ生成部１６０とを有する。

【0067】

画像取得部１１０は、撮像装置３１、３３により撮像された炉壁斜視画像Ｉｐを、記憶装置３００の撮像画像記憶部３１０から取得する。撮像画像記憶部３１０は、撮像装置３１、３３により撮像された炉壁斜視画像Ｉｐを記憶する記憶部であり、例えばサーバ等により構成された記憶装置３００に設けられる。なお、記憶装置３００は画像処理装置１００が備えていてもよい。

【0068】

撮像装置３１、３３は、押出機側からコークス排出側への１回の移動において、炉壁１１を連続的に撮像する。これにより、撮像装置３１、３３は、炉壁１１を斜視状態で撮像した複数の炉壁斜視画像Ｉｐ（フレーム）からなる、例えば炉壁１１全体等の炉壁１１の撮像対象部分を撮像した動画を得る。各炉壁斜視画像Ｉｐには炉壁１１の一部が写っており、炉壁斜視画像Ｉｐに写っている炉壁１１の一部は、他の炉壁斜視画像Ｉｐに写っている炉壁１１の一部と重複する部分を含んでいる。なお、少なくとも撮像順に連続する２つの炉壁斜視画像Ｉｐが重複する部分を有していればよく、１または複数のフレームを挟んだ不連続の２つの炉壁斜視画像Ｉｐが重複する部分を有していてもよい。

【0069】

撮像装置３１、３３により撮像された複数の炉壁斜視画像Ｉｐは、撮像画像記憶部３１０に順次記録される。具体的には、撮像装置３１、３３と記憶装置３００とが無線または有線により通信可能に接続されることで、撮像装置３１、３３から記憶装置３００に送信される。画像取得部１１０は、撮像画像記憶部３１０から取得した炉壁斜視画像Ｉｐを、前処理部１２０、フレーム間移動量算出部１３０及び炉壁観察画像生成部１５０へ出力する。

【0070】

前処理部１２０は、撮像装置３１、３３を押出機側からコークス排出側へ移動させる間に当該撮像装置３１、３３により撮像された複数の炉壁斜視画像Ｉｐから、それぞれ炉壁正視画像Ｉｓを生成するために必要な前処理を行う。前処理部１２０は、画像取得部１１０から炉壁斜視画像Ｉｐを受け取ると、炉壁斜視画像Ｉｐそれぞれにおいて、撮像された炭化室１０の２つの炉壁１１を表す部分を適切に切り出すための処理を行う。具体的には、前処理部１２０は、炉壁斜視画像Ｉｐから、炭化室１０の左右２つの炉壁１１を表す領域（以下、炉壁の「右領域」、「左領域」、あるいはまとめて「左右領域」ともいう。）を特定するための対称軸Ｃ（図７の対称軸Ｃ）を求める。前処理部１２０により対称軸Ｃを求める処理の詳細は後述する。前処理部１２０は、求めた対称軸Ｃを設定するための情報を、フレーム間移動量算出部１３０及び炉壁観察画像生成部１５０へ出力する。

【0071】

フレーム間移動量算出部１３０は、前処理部１２０による前処理結果を用いて複数の炉壁正視画像Ｉｓを取得する。そして、フレーム間移動量算出部１３０は、得られた複数の炉壁正視画像Ｉｓに対し、重複する部分を含む２つの炉壁正視画像Ｉｓである第１の炉壁正視画像Ｉｓ_１と第２の炉壁正視画像Ｉｓ_２とについて、テンプレートマッチング処理により、第１の炉壁正視画像Ｉｓ_１と第２の炉壁正視画像Ｉｓ_２とのフレーム間移動量Ｌをそれぞれ算出する。フレーム間移動量Ｌは、第１の炉壁正視画像Ｉｓ_１と第２の炉壁正視画像Ｉｓ_２とのずれ量を表す。フレーム間移動量Ｌは、後述する炉壁観察画像生成処理により第１の炉壁正視画像Ｉｓ_１及び第２の炉壁正視画像Ｉｓ_２からそれぞれ切り出された部分を連結する位置を決定するために用いられる。フレーム間移動量算出部１３０は、算出したフレーム間移動量Ｌを、フレーム間移動量推定部１４０及び炉壁観察画像生成部１５０へ出力する。

【0072】

フレーム間移動量推定部１４０は、フレーム間移動量算出部１３０にて算出されたフレーム間移動量Ｌを補正するためのフレーム間移動量推定値Ｅを算出する。フレーム間移動量Ｌは、撮影画像に写り込んだ煙等のノイズの影響により、正しく算出できない場合もある。フレーム間移動量推定部１４０は、フレーム間移動量算出部１３０にて算出されたフレーム間移動量Ｌが閾値の範囲外である場合に尤もらしい値に補正するための補正値として、フレーム間移動量推定値Ｅを算出する。フレーム間移動量推定部１４０は、算出したフレーム間移動量推定値Ｅを、炉壁観察画像生成部１５０へ出力する。

【0073】

炉壁観察画像生成部１５０は、炉壁正視画像Ｉｓを連結して炉壁観察画像Ｉを生成する。炉壁観察画像生成部１５０は、フレーム間移動量算出部１３０にて算出されたフレーム間移動量Ｌが予め設定された閾値の範囲内である場合には、フレーム間移動量に基づき第１の炉壁正視画像Ｉｓ_１と第２の炉壁正視画像Ｉｓ_２とを連結する。一方、炉壁観察画像生成部１５０は、フレーム間移動量算出部１３０にて算出されたフレーム間移動量Ｌが閾値の範囲外である場合には、フレーム間移動量推定部１４０により算出されたフレーム間移動量推定値Ｅに基づき第１の炉壁正視画像Ｉｓ_１と第２の炉壁正視画像Ｉｓ_２とを連結する。

【0074】

炉壁観察画像生成部１５０は、すべての炉壁正視画像Ｉｓについて、第１の炉壁正視画像Ｉｓ_１と第２の炉壁正視画像Ｉｓ_２との間のフレーム間移動量Ｌを適切に設定し、これらを連結することで、炉壁観察画像Ｉを生成する。炉壁観察画像生成部１５０は、生成した炉壁観察画像Ｉを、画像処理装置１００と通信可能に接続された表示装置５００へ出力してもよい。あるいは、炉壁観察画像生成部１５０は、生成した炉壁観察画像Ｉを、記憶装置３００の炉壁観察画像記憶部３２０に記録してもよい。

【0075】

フィルタ生成部１６０は、フレーム間移動量算出部１３０及び炉壁観察画像生成部１５０において、炉壁正視画像を補正するために用いるフィルタ配列を生成する。フィルタ配列は、時間代表値画像の各画素値と、時間代表値画像において撮像装置３１、３３による画像撮像時の外乱が生じていない確率が最も高い健全な画素位置の画素値とに基づいて、撮像装置３１、３３による画像撮像時の外乱による画素値の変化を補正するためのものである。フィルタ生成部１６０によるフィルタ生成処理についての詳細は後述する。

【0076】

以上、本実施形態に係る画像処理装置１００について説明した。なお、本実施形態に係る画像処理装置１００では、炉壁斜視画像Ｉｐから炉壁正視画像Ｉｓへの変換は、フレーム間移動量算出部１３０及びフレーム間移動量推定部１４０でそれぞれ行われているが、本発明は係る例に限定されない。例えば、フレーム間移動量算出部１３０で生成された炉壁正視画像Ｉｓをフレーム間移動量推定部１４０に渡すなど、特定の１つの機能部で生成された炉壁正視画像Ｉｓを他の機能部に渡すように構成してもよい。

【0077】

［２－２．画像処理方法］
以下、図８～図１８に基づいて、本実施形態に係る画像処理装置１００による画像処理方法について、詳細に説明する。図８は、本実施形態に係る画像処理方法の全体の流れを示すフローチャートである。フローチャート中の各処理の詳細については、図９～図１８を用いて説明する。なお、以下では、押出機側からコークス排出側への１回の移動において、１つの撮像装置（例えば撮像装置３１）により取得された複数の炉壁斜視画像Ｉｐから１つの炉壁観察画像Ｉを得る場合について説明する。複数の撮像装置により炭化室内の画像を取得可能な場合には、以下に説明する画像処理方法を、撮像装置毎に実施すればよい。

【0078】

（Ｓ１０：炉壁斜視画像取得処理）
本実施形態に係る画像処理方法は、図８に示すように、まず、画像取得部１１０は、記憶装置３００の撮像画像記憶部３１０に記録された複数の炉壁斜視画像Ｉｐを取得する（Ｓ０）。例えば押出機側からコークス排出側への１回の移動において、撮像装置（例えば撮像装置３１）は複数の炉壁斜視画像Ｉｐを取得する。炉壁斜視画像Ｉｐは、動画を構成するフレームともいえる。画像取得部１１０は、１回の押出ラムビーム２０の移動時に撮像装置（例えば撮像装置３１）が炉壁１１を連続的に撮像して得られた複数の炉壁斜視画像Ｉｐ（フレーム）を、撮像画像記憶部３１０から取得する。画像取得部１１０は、取得した複数の炉壁斜視画像Ｉｐを、前処理部１２０へ出力する。

【0079】

（前処理）
次いで、前処理部１２０は、時間平均画像生成処理（Ｓ１０）及び左右領域算出処理（Ｓ２０）を前処理として実施する。

【0080】

撮像装置３１、３３が押出方向に正確に正対していれば、炉壁１１は炉壁斜視画像Ｉｐの縦の中心軸に炭化室窯口の中心があるように撮影されるため、炉壁斜視画像Ｉｐにおける炉壁１１の右領域及び左領域を予め設定することができる。しかし、撮像装置３１、３３を正確に押出方向に正対させることはハードウェア的に難しい。そこで、本実施形態では、前処理部１２０によって時間平均画像生成処理及び左右領域算出処理を実施することで、炉壁斜視画像Ｉｐの縦の中心軸と炭化室窯口の中心とが多少ずれていてもソフトウェア的にそのずれを吸収する。

【0081】

（Ｓ１０：時間平均画像生成処理）
時間平均画像生成処理では、左右領域算出処理にて用いる時間平均画像が生成される。左右領域算出処理にて左右領域を同定するために、ある特定の炉壁斜視画像Ｉｐを用いずに時間平均画像を用いるのは、時間平均画像の炭化室窯口付近の部分画像の左右対称性が、ある特定の炉壁斜視画像Ｉｐのそれよりも高いからである。ある特定の炉壁斜視画像Ｉｐの炭化室窯口付近の部分画像には、火の粉などの炉壁以外の映り込みや、左右対称でない目地などの映り込みがある。このため、ある特定の炉壁斜視画像Ｉｐの炭化室窯口付近の部分画像は、後述する左右領域算出処理における左右反転画像（テンプレート画像Ａ１）を用いたマッチングによる対称軸推定に用いるには適さない場合がある。そこで、本実施形態では、時間平均画像を生成して、後述の左右領域算出処理を実施する。ステップＳ１０の時間平均画像生成処理は、例えば図４に示した処理を前処理部１２０が実施すればよい。

【0082】

（Ｓ２０：左右領域算出処理）
次いで、前処理部１２０は、左右領域算出処理を実施する。左右領域算出処理では、各炉壁斜視画像Ｉｐ（フレーム）から、炭化室１０の左右２つの炉壁１１を表す領域（以下、炉壁の「右領域」、「左領域」、あるいはまとめて「左右領域」ともいう。）を特定する。左右領域算出処理の一例を図９に示す。

【0083】

前処理部１２０は、まず、ステップＳ１０の時間平均画像生成処理にて得られた時間平均画像から、テンプレート画像Ａ１となる部分領域Ａ０を設定し、切り取る（Ｓ２０１）。時間平均画像Ｉａには、例えば図１０に示すように、撮像された炭化室１０内の左右２つの炉壁１１Ｒ、１１Ｌが表れている。また、炭化室の炉底１３、及び、炭化室１０の押出機側にある炭化室窯口１５も表れることもある。このような時間平均画像Ｉａに対し、図１１上側に示すように時間平均画像Ｉａの部分領域Ａ０を左右反転して、テンプレート画像Ａ１とする。テンプレート画像Ａ１となる時間平均画像Ｉａの部分領域Ａ０は、時間平均画像Ｉａよりも小さいサイズの、ユーザが任意に設定可能な炉壁の一部分を含む領域である。

【0084】

テンプレート画像Ａ１は、炭化室窯口１５の像が含まれるように設定される。例えば、図１１上側に示すように、テンプレート画像Ａ１の幅は、時間平均画像Ｉａの幅Ｗから、時間平均画像Ｉａの左端及び右端からそれぞれ長さｘ１だけ幅Ｗを小さくした幅に設定される。長さｘ１は、時間平均画像Ｉａの幅Ｗと炭化室窯口１５の中央付近位置との対応関係から予め求めることができる。なお、テンプレート画像Ａ１の高さは、左右領域算出処理にほとんど影響しないことから適宜設定すればよい。

【0085】

次いで、前処理部１２０は、ステップＳ２０１にて時間平均画像Ｉａから切り取られた部分領域Ａ０を左右反転させて、図１１右側に示すようなテンプレート画像Ａ１とする（Ｓ２０３）。

【0086】

そして、前処理部１２０は、テンプレート画像Ａ１が合致する画像領域を特定するテンプレートマッチング処理を行う（Ｓ２０５）。

【0087】

テンプレートマッチング処理は、探索対象画像中において、テンプレート画像と最も類似度の高い画像領域を求める画像処理方法である。具体的には、探索対象画像のサイズがＮ［ピクセル］×Ｍ［ピクセル］、テンプレート画像のサイズがｎ［ピクセル］×ｍ［ピクセル］（０＜ｎ≦Ｎ，０＜ｍ≦Ｍ）であるとき、テンプレートマッチング処理により、（Ｎ－ｎ＋１）×（Ｍ－ｍ＋１）の２次元配列がテンプレートマッチング結果Ｒとして得られる。テンプレートマッチング結果Ｒの（ｉ，ｊ）要素（０≦ｉ＜Ｎ－ｎ＋１，０≦ｊ＜Ｍ－ｍ＋１）には、探索対象画像の画像領域（画像サイズ：ｎ×ｍ、左上頂点の画素位置（ｉ，ｊ））とテンプレート画像との類似度を表す数値が格納される。テンプレートマッチング結果Ｒの各要素において最も類似度の高い数値が格納されている要素が（ｉｇ，ｊｈ）要素（０≦ｉｇ＜Ｎ－ｎ＋１，０≦ｊｈ＜Ｍ－ｍ＋１）であれば、探索対象画像において左上頂点の画素位置が（ｉｇ，ｊｈ）であって画像サイズがｎ×ｍである画像領域が、テンプレート画像との類似度が最も高い画像領域として得られる。

【0088】

前処理部１２０は、テンプレートマッチング処理によって得られた、時間平均画像Ｉａにおいてテンプレート画像Ａ１との類似度が最も高い画像領域の位置から、時間平均画像Ｉａを幅方向に分割したときに左右領域が対称となる対称軸Ｃを決定する（Ｓ２０７）。例えば図１１下側に示すように、対称軸Ｃの位置ｘは、ｘ＝（ｓ＋Ｗ－ｘ１）／２で表される。

【0089】

なお、長さｓは、時間平均画像Ｉａ内においてテンプレート画像Ａ１が合致する画像領域の位置が特定されたときの、時間平均画像Ｉａの幅方向の一端（例えば左端）からテンプレート画像Ａ１が合致する画像領域の一端までの長さである。

【0090】

ステップＳ２０７にて決定された対称軸Ｃは、炉壁斜視画像Ｉｐ（フレーム）を左右領域に分割する際に用いられる。このように対称軸Ｃを求めることで、炉壁斜視画像Ｉｐ（フレーム）をより正確に左領域と右領域とに区分することができる。また、時間平均画像Ｉａから切り取られた部分領域Ａ０を左右反転させてテンプレート画像Ａ１とし、テンプレートマッチング処理を実施することで、簡便なアルゴリズムで対称軸Ｃを推定することができる。

【0091】

（Ｓ２５：フィルタ生成処理）
図８の説明に戻り、時間平均画像生成処理（Ｓ１０）及び左右領域算出処理（Ｓ２０）を終えると、フィルタ生成部１６０は、フィルタ生成処理を実施する（Ｓ２５）。図１２は、フィルタ生成処理の一例である乗算フィルタ生成処理を示すフローチャートである。

【0092】

図１２に示すように、まず、フィルタ生成部１６０は、ステップＳ１０にて生成された時間平均画像を左領域と右領域とに分割する（Ｓ２５１）。そして、フィルタ生成部１６０は、左領域と右領域とをそれぞれを透視変換し、各領域の正視画像を得る（Ｓ２５２）。

【0093】

次いで、フィルタ生成部１６０は、左領域及び右領域の正視画像それぞれにおいて、画素値変換領域を定めるマスク用配列を生成する（Ｓ２５３）。画素値変換領域は、右領域と左領域との正視画像中それぞれにおいてフィルタ配列による補正を行う領域である。画素値変換領域は、例えばユーザから指定された領域としてもよく、予め設定された正視画像中の領域としてもよい。設定された画素値変換領域に基づき、マスク用配列が生成される。

【0094】

そして、フィルタ生成部１６０は、左領域及び右領域の正視画像それぞれの画素値変換領域において、撮像装置３１、３３による画像撮像時の外乱が生じていない確率が最も高い健全な画素位置の画素値として最大輝度値を求める（Ｓ２５４）。最大輝度値を有する画素は、その位置では確実に観察窓に汚れが付着していない（健全である）画素、あるいは、健全であった場合の画素値に最も近い画素と考えられる。そこで、フィルタ生成部１６０は、ステップＳ２５３にて生成された時間平均画像の画素値変換領域内において、最大輝度値を有する画素を特定し、最大輝度値を取得する。そして、フィルタ生成部１６０は、左領域及び右領域の正視画像それぞれの各画素の画素値を最大輝度値で除算し、一時配列に格納する（Ｓ２５５）。ここで、一時配列は、時間平均画像を構成する各画素に一対一で対応する要素を持つ。

【0095】

その後、フィルタ生成部１６０は、時間平均画像を構成する画素のうちマスク用配列により定まる画素値変換領域以外の領域の画素に対応する一時配列の要素の値を「１」に置換した後（Ｓ２５６）、一次配列の各要素の値の逆数を求めて乗算フィルタを生成する（Ｓ２５７）。ステップＳ２５６の処理は、ステップＳ２５７で逆数を求める際に、演算が不可能となることを防止するために行われる。ステップＳ２５７にて生成された乗算フィルタは、上記式（１）のように表される。

【0096】

なお、図１２に示すフィルタ生成処理では、フィルタ配列として、時間代表値画像の最大輝度値を時間代表値画像の画素値で除した値からなる乗算フィルタを生成する処理について説明したが、本発明は係る例に限定されない。フィルタ配列として、例えば、第１の実施形態において説明した、時間代表値画像の最大輝度値から時間代表値画像の画素値を減じた値からなる加算フィルタを生成してもよい。

【0097】

また、図１２に示すフィルタ生成処理では、時間平均画像の左領域及び右領域を透視変換した正視画像からフィルタ配列を生成したが、本発明は係る例に限定されない。例えば、図１２のステップＳ２５１にて生成された透視変換前の時間平均画像の左領域及び右領域（すなわち、斜視画像）に基づき、フィルタ配列を生成してもよい。

【0098】

（Ｓ３０：フレーム間移動量算出処理）
図８の説明に戻り、フィルタ生成処理（Ｓ２５）を終えると、フレーム間移動量算出部１３０は、フレーム間移動量算出処理を実施する（Ｓ３０）。図１３は、フレーム間移動量算出処理の一例を示すフローチャートである。

【0099】

図１３に示すように、フレーム間移動量算出部１３０は、まず、算出されるフレーム間移動量Ｌを格納するための２次元配列である移動量格納配列を初期値に設定する（Ｓ３０１）。初期値として、例えば「０」の値が格納される。移動量格納配列は、炉壁斜視画像Ｉｐを分割した左領域用と右領域用とが用意される。

【0100】

上述したように、フレーム間移動量Ｌは、第１の炉壁正視画像Ｉｓ_１と第２の炉壁正視画像Ｉｓ_２とのずれ量である。すなわち、フレーム間移動量Ｌは、同一の画像サイズを有する第１の炉壁正視画像Ｉｓ_１と第２の炉壁正視画像Ｉｓ_２とが重ね合わせられた状態から、これらの炉壁正視画像Ｉｓに重複して写っている炉壁の部分がぴったり重なるように第２の炉壁正視画像Ｉｓ_２を移動させる量である。フレーム間移動量Ｌは、２つの炉壁正視画像Ｉｓのずれを表す量であることから、画素数で表すことができる。炉壁正視画像Ｉｓの左右方向は、炭化室の押出方向に一致するため、フレーム間移動量Ｌは、第２の炉壁正視画像Ｉｓ_２を第１の炉壁正視画像Ｉｓ_１から相対的に左右にずらす画素数により表される。移動量格納配列には、少なくとも左右方向の移動量が格納されればよいが、上下方向の移動量も格納してもよい。左右方向の移動量及び上下方向の移動量を格納する場合には、移動量格納配列のサイズは、総フレーム数×２となる。

【0101】

フレーム間移動量算出部１３０は、炉壁斜視画像Ｉｐ（フレーム）の読み込みを開始する（Ｓ３０３）。フレームは、時系列順に（例えば、押出機側からコークス排出側に向かって順に）読み込まれる。

【0102】

フレーム間移動量算出部１３０は、ステップＳ３０３にてフレームの読み込みを実行し、フレームの読み込みに成功したか否かを判定する（Ｓ３０５）。ステップＳ３０５にてフレームを読み込めなかった場合には、最終フレームまで読み込みが完了したことから、図１３に示す処理を終了する。ステップＳ３０５にてフレーム読み込みが成功すると、フレーム間移動量算出部１３０は、左右領域算出処理にて決定された対称軸Ｃを用いて、当該フレームを左領域と右領域とに分割する（Ｓ３０７）。

【0103】

次いで、フレーム間移動量算出部１３０は、フレームの左領域と右領域それぞれを透視変換し、各領域の正視画像を得る（Ｓ３０９）。撮像装置により撮像して得られたフレームは、図１４左側に示すように炉壁１１Ｌ、１１Ｒを斜視した状態で得た炉壁斜視画像Ｉｐである。本実施形態に係る画像処理方法では、炉壁１１Ｌ、１１Ｒの状態をより詳細に確認できるように、炉壁１１Ｌ、１１Ｒを正視した状態での炉壁観察画像Ｉを得る。そこで、ステップＳ３０９では、炉壁斜視画像Ｉｐを透視変換して炉壁正視画像Ｉｓとする。例えば、図１４左側のフレーム（炉壁斜視画像）Ｉｐにおいて炉壁１１Ｒを含む矩形状の右領域ＩｐＲは、図１４右側に示すような透視変換後の炉壁正視画像Ｉｓにおいては、台形状の領域ＩｓＲとなる。フレーム（炉壁斜視画像）Ｉｐにおける右領域ＩｐＲの４つの頂点ＡＢＣＤは、炉壁正視画像Ｉｓにおける右領域ＩｓＲの４つの頂点ａｂｃｄに対応する。

【0104】

そして、フレーム間移動量算出部１３０は、ステップＳ３０９にて得られた左領域及び右領域の炉壁正視画像Ｉｓを鮮明な画像とするために、図８のステップＳ２５にて生成されたフィルタ配列により、炉壁正視画像Ｉｓを補正する（Ｓ３１０）。炉壁正視画像Ｉｓの補正は、第１の実施形態にて示した上記式（５－１）のように行えばよい。

【0105】

次いで、フレーム間移動量算出部１３０は、ステップＳ３１０にて補正された左領域及び右領域の炉壁正視画像Ｉｓから、テンプレートマッチング処理を行うための探索領域を設定する（Ｓ３１１）。探索領域は、ユーザにより、例えば図１５に示すように、炉壁正視画像Ｉｓにおいて、炉壁が明瞭に確認できる部分に適宜設定される。探索領域のサイズは、テンプレートマッチング処理の精度を高めるためにはなるべく大きく設定するのがよい。一方で、炉壁正視画像Ｉｓ全体を探索領域とするとテンプレートマッチング処理に時間がかかり、テンプレートマッチング処理によって得られるテンプレートマッチング結果Ｒのサイズも大きくなる。したがって、探索領域は、なるべくサイズを大きくしつつ、炉壁正視画像Ｉｓにおいて炉壁が明瞭に確認できる部分に設定するのがよい。

【0106】

さらに、フレーム間移動量算出部１３０は、設定した探索領域に前処理を施す（Ｓ３１３）。前処理としては、例えば、探索領域内の画像に対して平滑化処理を実施してもよい。また、前処理として、例えば、探索領域内の画像から緑画素成分を抽出した画像を生成してもよい。炉壁正視画像Ｉｓに表れている炉壁は全体的に赤く、のっぺりとしてぼやけている。このような画像でテンプレートマッチング処理を行った場合、許容される程度の精度でテンプレートマッチング結果Ｒを得ることはできるが、特徴部分をより明確にした画像を用いれば、より高い精度でテンプレートマッチング結果Ｒを得ることができる。炉壁の画像において、炉壁の目地等の特徴部分は緑画素成分に現れている。そこで、前処理として、探索領域内の画像から緑画素成分を抽出した画像を用意することで、より精度よくテンプレートマッチング処理を実施することができる。

【0107】

その後、フレーム間移動量算出部１３０は、ステップＳ３０３にて読み込まれたｉ番目のフレーム（ｉは正の整数。以下、「現フレーム」ともいう。）が最初のフレームであるか否かを判定する（Ｓ３１５）。現フレームが最初のフレームである場合には、現フレームとマッチングさせるフレームが存在しない。このため、フレーム間移動量算出部１３０は、炉壁正視画像Ｉｓの前処理を施した探索領域からテンプレート画像Ａ２を切り出し（Ｓ３２１）、ステップＳ３０３からの処理を実施する。

【0108】

ステップＳ３２１にて切り出されるテンプレート画像Ａ２は、現フレームとしてステップＳ３１９までの処理を終え、次のステップＳ３０３からの処理では前フレームとなるフレームに基づく画像である。具体的には、テンプレート画像Ａ２は、前フレームとなるフレームを透視変換した炉壁正視画像Ｉｓ内の前処理済み探索領域から切り出される。テンプレート画像Ａ２は、上述の左右領域算出処理にて設定されたテンプレート画像Ａ１とは別途設定される。テンプレート画像Ａ２は、すべてのフレームの炉壁正視画像Ｉｓにおいて予め規定された位置に設定され、例えば探索領域の中央に設定される。

【0109】

一方、ステップＳ３０３にて読み込んだ現フレームが最初のフレームではない場合には、フレーム間移動量算出部１３０は、現フレームの左右領域の炉壁正視画像Ｉｓに対して前処理を施した探索領域それぞれにおいて、現フレームの１つ前に読み込こまれたｉ－１番目のフレーム（前フレーム）に基づくテンプレート画像Ａ２とのテンプレートマッチング処理を行い、フレーム間移動量Ｌを算出する（Ｓ３１７）。テンプレートマッチング処理は、ステップＳ３１１にて炉壁正視画像Ｉｓに設定された探索領域に対して前処理（Ｓ３１３）を施した画像内を、ステップＳ３２１にて切り出された前フレームのテンプレート画像Ａ２を平行移動させて行われる。すなわち、ステップＳ３１７では、前フレームの炉壁正視画像Ｉｓ（第１の炉壁正視画像Ｉｓ_１）のテンプレート画像Ａ２が、次に読み込まれた現フレームの炉壁正視画像Ｉｓ（第２の炉壁正視画像Ｉｓ_２）に設定された探索領域内において合致する領域を特定する。

【0110】

テンプレートマッチング処理では、前フレームのテンプレート画像Ａ２と、現フレームの探索領域から切り出したテンプレート画像Ａ２と同一サイズの画像との類似度が算出される。画像の類似度は、例えば画素値の差の二乗和（Sum of Squared Difference；ＳＳＤ）あるいは画素値の差の絶対値の和（Sum of Absolute Difference；ＳＡＤ）等で表すことができる。これらの値が最小である探索領域の画像が、前フレームのテンプレート画像Ａ２と最も類似することになる。

【0111】

テンプレートマッチング処理により得られたテンプレートマッチング結果Ｒは、上述したように、探索対象画像とテンプレート画像との類似度を表す数値が格納された２次元配列データである。

【0112】

前フレームのテンプレート画像Ａ２の中央が現フレームの探索領域の中央と一致するように設定される場合、仮に、現フレームの炉壁正視画像Ｉｓが前フレームの炉壁正視画像Ｉｓと同一の画像であれば（すなわち、第１の炉壁正視画像Ｉｓ_１と第２の炉壁正視画像Ｉｓ_２とにずれがなければ）、テンプレートマッチング結果Ｒにおいて、最も類似度の高い部分は、テンプレートマッチング結果Ｒの中央に表れる。一方、同一の炉壁部分が現フレームの炉壁正視画像Ｉｓ及び前フレームの炉壁正視画像Ｉｓの中で異なる位置に映り込んでいれば、テンプレートマッチング結果Ｒにおいて類似度の高い部分は、テンプレートマッチング結果Ｒの中央からずれた位置に表れる。

【0113】

したがって、テンプレートマッチング結果Ｒの中央位置から、最も類似度の高い配列要素位置までの相対位置を求めることで、現フレームの炉壁正視画像Ｉｓが前フレームの炉壁正視画像Ｉｓから移動したフレーム間移動量Ｌを求めることができる。これにより、例えば図１５に示すように、前フレームにおけるテンプレート画像Ａ２に対応する部分が、現フレームにおいてフレーム間移動量Ｌだけ移動したことを把握できる。

【0114】

フレーム間移動量算出部１３０は、得られたテンプレートマッチング結果Ｒに基づき算出されたフレーム間移動量Ｌを、ステップＳ３０１にて用意した移動量格納配列に格納する（Ｓ３１９）。そして、次のテンプレートマッチング処理のために、現フレームの炉壁正視画像Ｉｓ内の前処理済み探索領域からテンプレート画像Ａ２を切り出し（Ｓ３２１）、ステップＳ３０３からの処理を実施する。ステップＳ３０３～Ｓ３２１の処理は、読み込むフレームがなくなるまで繰り返し実施される。図１３に示す処理を終えると、例えば押出機側からコークス排出側への１回の移動において取得された複数のフレームにおいて、２つのフレーム間の移動量（フレーム間移動量Ｌ）が得られる。

【0115】

（Ｓ４０：フレーム間移動量推定処理）
図８の説明に戻り、フレーム間移動量算出処理（Ｓ３０）を終えると、フレーム間移動量推定部１４０は、フレーム間移動量推定処理を実施する（Ｓ４０）。図１６は、フレーム間移動量推定処理の一例を示すフローチャートである。

【0116】

フレーム間移動量推定部１４０は、まず、算出されるフレーム間移動量推定値Ｅを格納するための推定移動量格納配列を初期値に設定する（Ｓ４０１）。初期値として、例えば「０」の値が格納される。推定移動量格納配列は、総フレーム分のフレーム間移動量推定値Ｅを格納可能なサイズに設定され、左領域用と右領域用とが用意される。

【0117】

また、フレーム間移動量推定部１４０は、フレーム間移動量Ｌから平均及び標準偏差を算出する（Ｓ４０３）。このとき、フレーム間移動量推定部１４０は、すべてのフレーム間移動量Ｌのうち、予め設定された基準範囲内のフレーム間移動量Ｌのみを用いて平均及び標準偏差を算出してもよい。想定される値から外れているフレーム間移動量Ｌを用いずに平均及び標準偏差を算出することで、ノイズ等の影響を除くことができる。

【0118】

なお、図１６では、後続の処理にて利用される平均及び標準偏差を算出しているが、本発明は係る例に限定されない。ステップＳ４０３では、フレーム間移動量推定部１４０は、算出されたフレーム間移動量Ｌが想定される値から外れている場合に、フレーム間移動量Ｌの代わりにフレーム間移動量Ｌの尤もらしい値（すなわち、フレーム間移動量推定値Ｅ）を設定するために必要な値を算出する。したがって、フレーム間移動量推定部１４０は、フレーム間移動量Ｌの平均及び標準偏差以外の値を算出してもよく、必ずしもフレーム間移動量Ｌの平均または標準偏差を算出しなくともよい。

【0119】

そして、フレーム間移動量推定部１４０は、フレーム間移動量Ｌが想定される値から外れているか否かを判定するための閾値を設定する（Ｓ４０５）。閾値は、操業上の経験に基づき設定されればよい。例えば、フレーム間移動量推定部１４０は、フレーム間移動量Ｌの正規分布における２σの値（すなわち、平均±２×標準偏差）を閾値としてもよい。

【0120】

次いで、フレーム間移動量推定部１４０は、移動量格納配列に格納されたフレーム間移動量Ｌの読み込み数をカウントするためのインデックスｉを１に設定し（Ｓ４０７）、フレーム間移動量Ｌを時系列順に（例えば、押出機側からコークス排出側に向かって順に）読み込む。フレーム間移動量推定部１４０は、インデックスｉが総フレーム以上であれば、すべてのフレーム間移動量Ｌについて後述のステップＳ４０９～Ｓ４１７の処理を終えたため、図１６に示す処理を終了する。

【0121】

一方、インデックスｉが総フレーム未満の場合、フレーム間移動量推定部１４０は、移動量格納配列のｉ番目に格納されたフレーム間移動量Ｌを読み込み、ｉ番目のフレーム間移動量ＬがステップＳ４０５にて設定された閾値の範囲内であるか否かを判定する（Ｓ４１１）。ステップＳ４１１にてｉ番目のフレーム間移動量Ｌが閾値の範囲内であると判定された場合には、フレーム間移動量算出部１３０により算出されたフレーム間移動量Ｌは適切であると考えられる。したがって、フレーム間移動量推定部１４０は、推定移動量格納配列のｉ番目に当該フレーム間移動量Ｌを格納する（Ｓ４１３）。

【0122】

一方、ステップＳ４１１にてｉ番目のフレーム間移動量Ｌが閾値の範囲外であると判定された場合には、フレーム間移動量算出部１３０により算出されたフレーム間移動量Ｌは想定から外れた不適切な値と考えられる。したがって、フレーム間移動量推定部１４０は、推定移動量格納配列のｉ番目にフレーム間移動量Ｌとして尤もらしい値を格納する（Ｓ４１５）。尤もらしい値としては、例えば、フレーム間移動量Ｌの平均値や中央値等の、フレーム間移動量Ｌから統計的に求められる統計値等がある。

【0123】

ステップＳ４１３またはＳ４１５の処理を終えると、フレーム間移動量推定部１４０は、インデックスｉに１を加算して（Ｓ４１７）、ステップＳ４０９からの処理を繰り返し実施する。

【0124】

（Ｓ５０：炉壁観察画像生成処理）
図８の説明に戻り、フレーム間移動量推定処理（Ｓ４０）を終えると、炉壁観察画像生成部１５０は、炉壁観察画像生成処理を実施する（Ｓ５０）。図１７は、炉壁観察画像生成処理の一例を示すフローチャートである。

【0125】

炉壁観察画像生成部１５０は、まず、生成される炉壁観察画像Ｉを構成する各フレームの画像（連結用画像Ｆ）の画素値を格納する２次元配列である炉壁観察画像用配列の各要素、及び、前フレームの連結用画像Ｆからの現フレームの連結用画像Ｆの移動量を表す平行移動量変数に、初期値を設定する（Ｓ５０１）。それぞれ初期値として、例えば「０」の値が格納される。炉壁観察画像用配列の各要素及び平行移動量変数は、左領域用と右領域用とが用意される。

【0126】

次いで、炉壁観察画像生成部１５０は、フレームの読み込み数をカウントするためのインデックスｉを０に設定し（Ｓ５０３）、インデックスｉが総フレーム未満であるか否かを判定する（Ｓ５０５）。インデックスｉが総フレーム以上であれば、すべてのフレームについて後述のステップＳ５０７～Ｓ５１９の処理を終え、炉壁観察画像Ｉが生成されたため、図１７に示す処理を終了する。

【0127】

一方、インデックスｉが総フレーム未満の場合、炉壁観察画像生成部１５０は、フレームを読み込み（Ｓ５０７）、平行移動量変数に、対応する推定移動量格納配列の値を加算する（Ｓ５０９）。そして、炉壁観察画像生成部１５０は、フレーム間移動量算出処理で行ったように、対称軸Ｃを用いて当該フレームを左領域と右領域とに分割し（Ｓ５１１）、フレームの左領域と右領域それぞれを透視変換し、各領域の正視画像を得る（Ｓ５１３）。さらに、炉壁観察画像生成部１５０は、図８のステップＳ２５にて生成されたフィルタ配列により、画像を鮮明化するため、フレームの左領域と右領域それぞれの正視画像を補正する（Ｓ５１４）。正視画像の補正は、第１の実施形態にて示した上記式（５－１）のように行えばよい。

【0128】

炉壁観察画像生成部１５０は、補正された炉壁正視画像Ｉｓから、炉壁観察画像Ｉを構成する連結用画像Ｆを切り出す（Ｓ５１５）。例えば、図１８左側に示すように、炉壁正視画像Ｉｓから連結用画像Ｆが切り出される。連結用画像Ｆの領域は、炉壁正視画像Ｉｓにおいて炉壁を明瞭に確認できる領域に予め設定されている。炉壁正視画像Ｉｓから連結用画像Ｆを切り出す位置及びサイズは各フレームにおいて同一とする。

【0129】

その後、炉壁観察画像生成部１５０は、切り出した連結用画像Ｆを、平行移動量変数の値だけ、炉壁観察画像Ｉに表れる炉壁の炉長方向に沿って移動させ、炉壁観察画像用配列の該当部分に格納する（Ｓ５１７）。例えば、図１８右側に示すように、連結用画像Ｆは、炉壁観察画像Ｉに表れる炉壁の炉長方向の対応する位置で、前フレームの連結用画像Ｆと連結される。

【0130】

ステップＳ５１７の処理を終えると、炉壁観察画像生成部１５０は、インデックスｉに１を加算し（Ｓ５１９）、ステップＳ５０５からの処理を繰り返す。こうして連結用画像Ｆが連結されていき、１つの炉壁観察画像Ｉが生成される。

【0131】

以上、第２の実施形態に係る画像処理装置１００と、これを用いた画像処理方法とについて説明した。本実施形態によれば、炉内部を移動する撮像装置が炉壁を順次撮像した複数の斜視画像の各々の少なくとも一部の領域を正視画像にそれぞれ変換して得られた複数の炉壁正視画像から、同一画素位置の画素値の代表値からなる炉壁正視時間代表値画像を生成し、炉壁正視時間代表値画像の各画素値と、撮像装置３１、３３による画像撮像時の外乱が生じていない確率が最も高い健全な画素位置の画素値（例えば、最大輝度値）とに基づいて、撮像装置による画像撮像時の外乱による画素値の変化を補正するためのフィルタ配列を生成し、フィルタ配列を用いて炉壁正視画像を補正し、補正炉壁正視画像を生成する。これにより、炉壁を撮像する撮像装置の位置情報を用いずに、鮮明で滑らかな炉壁全体を表す炉壁観察画像を得ることができる。

【0132】

［３．変形例（フィルタ配列の補正）］
通常の操業状態のもとでの撮像装置により炉内部を撮影した場合であれば、撮像された画像の全体輝度は、コークスの押出し毎にほとんど変化しない。しかし、例えば、耐火物劣化により生じた燃焼ガス流入口の破損によるガス流量低下等のような不具合によって炭化室内温度が通常より低くなり、炉壁の熱放射による光量が減少する。このような状況では、撮像装置の露出調整範囲外となって、撮像された画像全体が暗くなる場合がある。このとき、撮像装置の観察窓に付着した汚れと光量との比例関係あるいは加法性が成立しなくなることも考え得る。例えば、フィルタ配列によって画像を補正した結果、汚れ部分が過剰に補正されてしまい、汚れ部分が寧ろ白っぽくなる場合もある。

【0133】

そこで、このような条件下であっても、フィルタ配列を適切に設定するため、例えば、撮影条件を時間代表値画像の最大輝度値と輝度値の分散値とにより予めクラスタリングし、クラスに応じてフィルタ配列を補正してもよい。

【0134】

図１９に、フィルタ配列を補正するためのフィルタ補正係数を決定するためのフィルタ補正係数決定処理の一例を示す。かかる処理は、上記各実施形態において、画像処理装置５０、１００に、画像を分類する複数のクラスそれぞれについて、フィルタ配列を補正するフィルタ補正係数を予め設定するフィルタ補正係数設定部を追加することにより実施し得る。

【0135】

フィルタ補正係数決定処理では、図１９に示すように、まず、フィルタ補正係数設定部は、コークスの押出し毎に取得された複数の時間代表値画像をクラスタリングする（Ｓ４０ａ）。時間代表値画像は、過去の処理において既に生成されたものを蓄積しておいたものを使用してもよい。フィルタ補正係数設定部は、例えば、時間代表値画像の最大輝度値と輝度値の分散値とに基づき、時間代表値画像をクラスタリングしてもよい。なお、時間代表値画像の分散値は、画素値変換領域内の画素値から求められる。分散値は、汚れによる輝度変化の幅を代表する値であり、最大輝度値とは別の観点で全体輝度（汚れ具合の分布）を計る指標となる。全体輝度が低い場合であっても汚れによる光量低下の幅が狭い場合には、比例や加法性が近似的に成立すると考えられるので、最大輝度値と分散値の双方の値に応じてクラスタリングするとよい。

【0136】

ステップＳ４０ａにて時間代表値画像がクラスタリングされると、フィルタ補正係数設定部は、各クラスそれぞれについて、フィルタ配列を補正するためのフィルタ補正係数を決定する（Ｓ４０ｂ）。フィルタ補正係数は、例えば、クラス毎に設定されたフィルタ補正係数により補正されたフィルタ配列を用いて画像を補正したときの画像の鮮明さを指標として、決定してもよい。具体的には、フィルタ補正係数を一旦仮に決めて、フィルタ配列を補正して画像に適用して、ユーザによって画像の良し悪しを判断し、良好な画像が得られるフィルタ補正係数を探索することにより設定してもよい。フィルタ補正係数は、例えば０．５～１．５までの間で０．１刻みで変化させた値としてもよい。

【0137】

図１９に示したフィルタ補正係数決定処理で決定されたクラスとフィルタ補正係数との関係は、例えば画像処理装置５０、１００に設けられる記憶部（図示せず。）に保持しておいてもよい。

【0138】

図２０は、図３に示した第１の実施形態に係る画像処理方法において、フィルタ配列の補正を行う場合の処理を示すフローチャートである。なお、図２０の説明において、図３と同様に行われる処理については、詳細な説明を省略する。

【0139】

（Ｓ１：時間代表値画像生成処理）
まず、時間代表値画像生成部５１は、炉内部を移動する撮像装置（例えば撮像装置３１）により順次撮像された炉壁１１の複数の画像から、同一画素位置の画素値の代表値からなる時間代表値画像を生成する（Ｓ１）。時間代表値画像生成処理は、図３のステップＳ１と同様に行えばよい。時間代表値画像生成部５１は、生成した時間代表値画像を、フィルタ生成部５３へ出力する。

【0140】

（Ｓ３：フィルタ生成処理）
次いで、フィルタ生成部５３は、時間代表値画像の各画素値と、時間代表値画像において撮像装置３１、３３による画像撮像時の外乱が生じていない確率が最も高い健全な画素位置の画素値とに基づいて、フィルタ配列を生成する（Ｓ３）。時間代表値画像において撮像装置３１、３３による画像撮像時の外乱が生じていない確率が最も高い健全な画素位置の画素値として、例えば、時間代表値画像の最大輝度値を用いることができる。フィルタ生成処理は、図３のステップＳ３と同様に行えばよい。フィルタ生成部５３は、図５または図６に示した処理によってフィルタ配列を生成し、生成したフィルタ配列を補正処理部５５へ出力する。

【0141】

（Ｓ４：フィルタ補正係数選択処理）
ステップＳ３にてフィルタ配列が生成されると、補正処理部５５は、まず、画像を補正するためのフィルタ補正係数を選択する（Ｓ４）。フィルタ補正係数選択処理は、例えば図２１に示すように行ってもよい。図２１は、フィルタ補正係数選択処理の一例を示すフローチャートである。

【0142】

まず、補正処理部５５は、撮像装置により撮像された画像の時間代表値画像の最大輝度値と輝度値の分散値とを算出する（Ｓ４１）。次いで、補正処理部５５は、ステップＳ４１にて算出した最大輝度値と輝度値の分散値とに基づき、当該時間代表値画像が属するクラスを求める（Ｓ４２）。そして、補正処理部５５は、例えば図１９に示した処理にて予め取得されている画像のクラスとフィルタ補正係数との関係に基づき、ステップＳ４２にて求めたクラスに対応するフィルタ補正係数を選択する（Ｓ４３）。このようにして、時間代表値画像に適用するフィルタ配列を補正するフィルタ補正係数を選択することができる。

【0143】

（Ｓ５：補正処理）
図２０の説明に戻り、ステップＳ４にてフィルタ補正係数を選択すると、補正処理部５５は、選択されたクラスに対応するフィルタ補正係数に基づきフィルタ配列を補正した補正フィルタ配列を用いて、炉内部の画像を補正する（Ｓ５）。

【0144】

例えば、フィルタ配列として上記式（１）により表される乗算フィルタを用いた場合には、補正後の画像の各画素の値は、下記式（６－１）で表される。下記式（６－１）は、ｆ［ｉ，ｊ］が１である画素位置は、フィルタ配列によって輝度を補正しなくてよい位置（画素値変換領域外の位置または最大輝度値の位置）にあたるので、フィルタ補正係数によってｐ［ｉ，ｊ］が変化しないようにしている。なお、Ｃ_{ｃｏｒｒｅｃｔｉｏｎ}は、フィルタ補正係数である。また、フィルタ配列として上記式（３）により表される加算フィルタを用いた場合には、補正後の画像の各画素の値は、下記式（６－２）で表される。

【0145】

【数6】

【0146】

このように、撮像装置により取得された炉内部の画像を補正するフィルタ配列を、画像に適したフィルタ補正係数により補正し、補正されたフィルタ配列を用いて画像を補正することにより、より適切に撮像画像により取得された炉内部の画像をより鮮明にすることができる。

【0147】

なお、上記説明では、第１の実施形態に係る画像処理方法においてフィルタ配列を補正する場合について説明したが、第２の実施形態に係る画像処理方法に対しても同様にフィルタ配列をフィルタ補正係数により補正してもよい。

【0148】

［４．適用例］
図２２～図２４に基づき、第１の実施形態に係る画像処理方法による炉内部の画像の補正の効果を説明する。

【0149】

まず、図２２は、時間代表値画像生成部５１により、撮像装置により順次撮像された炉壁１１の複数の画像から時間代表値画像として生成された、時間平均画像の一例である。図２２において左右の白い部分が炉壁であり、中央奥の黒い部分はコークス炉炭化室の窯口である。

【0150】

図２３は、図２２に示す時間平均画像から生成されたフィルタ配列により、当該時間平均画像を補正する前の画像と補正後の画像とを示す。図２３に示すように、フィルタ配列による補正前の時間平均画像は、撮像装置の観察窓の汚れの影響で、特に上下の炉壁境界部分が暗くなっている。フィルタ配列を用いて時間平均画像を補正すると、時間平均画像の炉壁を表す白い部分は均一な明るさとなる。

【0151】

図２４に、図２２に示す時間平均画像から生成されたフィルタ配列により、新たに取得された炉内部の画像を補正する前の画像と補正後の画像とを示す。図２４に示すように、フィルタ配列による補正前の画像は、撮像装置の観察窓の汚れの影響で、上下の炉壁境界部分Ｐｂが暗くなっている。一方、フィルタ配列を用いて画像を補正すると、画像の炉壁を表す白い部分は全体的に明るく鮮明となり、上下の炉壁境界部分Ｐｂの炉壁の状態も明確に把握することができる。

【0152】

第２の実施形態に係る画像処理方法においても、同様の効果が得られる。このように、本発明の各実施形態に係る画像処理方法を用いることで、炉内部の画像を鮮明化することができる。

【0153】

［５．ハードウェア構成］
図２５に基づいて、本実施形態に係る画像処理装置５０、１００のハードウェア構成について説明する。図２５は、本実施形態に係る画像処理装置５０、１００として機能する情報処理装置９００のハードウェア構成の一例を示すブロック図である。

【0154】

情報処理装置９００は、プロセッサ（図２５ではＣＰＵ９０１）と、ＲＯＭ９０３と、ＲＡＭ９０５とを含む。また、情報処理装置９００は、バス９０７と、入力Ｉ／Ｆ９０９と、出力Ｉ／Ｆ９１１と、ストレージ装置９１３と、ドライブ９１５と、接続ポート９１７と、通信装置９１９とを含む。

【0155】

ＣＰＵ９０１は、演算処理装置および制御装置として機能する。ＣＰＵ９０１は、ＲＯＭ９０３、ＲＡＭ９０５、ストレージ装置９１３、またはリムーバブル記録媒体９２５に記録された各種プログラムに従って、情報処理装置９００内の動作全般またはその一部を制御する。ＲＯＭ９０３は、ＣＰＵ９０１が使用するプログラムあるいは演算パラメータ等を記憶する。ＲＡＭ９０５は、ＣＰＵ９０１が使用するプログラム、あるいは、プログラムの実行において適宜変化するパラメータ等を一次記憶する。これらはＣＰＵバス等の内部バスにより構成されるバス９０７により相互に接続されている。

【0156】

バス９０７は、ブリッジを介して、ＰＣＩ（Peripheral Component Interconnect/Interface）バスなどの外部バスに接続されている。

【0157】

入力Ｉ／Ｆ９０９は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ及びレバー等の、ユーザが操作する操作手段である入力装置９２１からの入力を受け付けるインタフェースである。入力Ｉ／Ｆ９０９は、例えば、ユーザが入力装置９２１を用いて入力した情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路等として構成されている。入力装置９２１は、例えば、赤外線あるいはその他の電波を利用したリモートコントロール装置、あるいは、情報処理装置９００の操作に対応したＰＤＡ等の外部機器９２７であってもよい。情報処理装置９００のユーザは、入力装置９２１を操作し、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりすることができる。

【0158】

出力Ｉ／Ｆ９１１は、入力された情報を、ユーザに対して視覚的または聴覚的に通知可能な出力装置９２３へ出力するインタフェースである。出力装置９２３は、例えば、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置およびランプ等の表示装置であってもよい。あるいは、出力装置９２３は、スピーカ及びヘッドホン等の音声出力装置や、プリンター、移動通信端末、ファクシミリ等であってもよい。出力Ｉ／Ｆ９１１は、出力装置９２３に対して、例えば、情報処理装置９００により実行された各種処理にて得られた処理結果を出力するよう指示する。具体的には、出力Ｉ／Ｆ９１１は、表示装置に対して情報処理装置９００による処理結果を、テキストまたはイメージで表示するよう指示する。また、出力Ｉ／Ｆ９１１は、音声出力装置に対し、再生指示を受けた音声データ等のオーディオ信号をアナログ信号に変換して出力するよう指示する。

【0159】

ストレージ装置９１３は、情報処理装置９００の記憶部の１つであり、データ格納用の装置である。ストレージ装置９１３は、例えば、ＨＤＤ（Hard Disk Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイスまたは光磁気記憶デバイス等により構成される。ストレージ装置９１３は、ＣＰＵ９０１が実行するプログラム、プログラムの実行により生成された各種データ、及び、外部から取得した各種データ等を格納する。

【0160】

ドライブ９１５は、記録媒体用リーダライタであり、情報処理装置９００に内蔵あるいは外付けされる。ドライブ９１５は、装着されているリムーバブル記録媒体９２５に記録されている情報を読み出し、ＲＡＭ９０５に出力する。また、ドライブ９１５は、装着されているリムーバブル記録媒体９２５に情報を書き込むことも可能である。リムーバブル記録媒体９２５は、例えば、磁気ディスク、光ディスク、光磁気ディスクまたは半導体メモリ等である。具体的には、リムーバブル記録媒体９２５は、ＣＤメディア、ＤＶＤメディア、Ｂｌｕ－ｒａｙ（登録商標）メディア、コンパクトフラッシュ（登録商標）（CompactFlash：ＣＦ）、フラッシュメモリ、ＳＤメモリカード（Secure Digital memory card）等であってもよい。また、リムーバブル記録媒体９２５は、例えば、非接触型ＩＣチップを搭載したＩＣカード（Integrated Circuit card）または電子機器等であってもよい。

【0161】

接続ポート９１７は、機器を情報処理装置９００に直接接続するためのポートである。接続ポート９１７は、例えば、ＵＳＢ（Universal Serial Bus）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Small Computer System Interface）ポート、ＲＳ－２３２Ｃポート等である。情報処理装置９００は、接続ポート９１７に接続された外部機器９２７から、直接各種データを取得したり外部機器９２７に各種データを提供したりすることができる。

【0162】

通信装置９１９は、例えば、通信網９２９に接続するための通信デバイス等で構成された通信インタフェースである。通信装置９１９は、例えば、有線または無線ＬＡＮ（Local Area Network）、Ｂｌｕｅｔｏｏｔｈ（登録商標）またはＷＵＳＢ（Wireless USB）用の通信カード等である。また、通信装置９１９は、光通信用のルータ、ＡＤＳＬ（Asymmetric Digital Subscriber Line）用のルータ、または、各種通信用のモデム等であってもよい。通信装置９１９は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。また、通信装置９１９に接続される通信網９２９は、有線または無線によって接続されたネットワーク等により構成されている。例えば、通信網９２９は、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信または衛星通信等である。

【0163】

以上、情報処理装置９００のハードウェア構成の一例を示した。上述の各構成要素は、汎用的な部材を用いて構成されてもよく、各構成要素の機能に特化したハードウェアにより構成されてもよい。情報処理装置９００のハードウェア構成は、本実施形態を実施する時々の技術レベルに応じて適宜変更可能である。

【0164】

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

【0165】

例えば、上記第１の実施形態及び第２の実施形態では、撮像装置の観察窓に汚れが付着するとその位置の輝度値が下がることから、画素値変換領域内で最大輝度値を有する画素の位置を、汚れが確実にない画素位置として特定している（図５のステップＳ３２ａ、図１２のＳ２５４）。しかし、本発明は係る例に限定されず、最大輝度値以外の統計値を用いて、汚れが確実にない画素位置、すなわち撮像装置による画像撮像時の外乱が生じていない確率が最も高い画素位置を特定してもよい。例えば、平均が高ければ分散も大きくなる傾向があることに着目して、動画（撮像装置が順次撮像して得られる複数の画像）の中で同一の画素位置の時間方向の分散値（輝度値時間分散）を用いて、汚れが確実にない画素位置を特定してもよい。この場合、輝度値時間分散が最大となる画素位置が、汚れが確実にない画素位置となる。上記式（１）～式（４）において、時間平均画像の最大輝度値の代わりに、当該画素位置の輝度値時間分散が最大となる画素位置の画素値を用いることで、フィルタ配列を生成することができる。

【符号の説明】

【0166】

１ コークス炉
１０ 炭化室
１１、１１Ｌ、１１Ｒ 炉壁
１３ 炉底
１５ 炭化室窯口
２０ 押出ラムビーム
２１ 押出ラム
３１、３３ 撮像装置
５０、１００ 画像処理装置
５１ 時間代表値画像生成部
５３、１６０ フィルタ生成部
５５ 補正処理部
１１０ 画像取得部
１２０ 前処理部
１３０ フレーム間移動量算出部
１４０ フレーム間移動量推定部
１５０ 炉壁観察画像生成部
３００ 記憶装置
３１０ 撮像画像記憶部
３２０ 炉壁観察画像記憶部
５００ 表示装置
９００ 情報処理装置
９０７ バス
９１３ ストレージ装置
９１５ ドライブ
９１７ 接続ポート
９１９ 通信装置
９２１ 入力装置
９２３ 出力装置
９２５ リムーバブル記録媒体
９２７ 外部機器
９２９ 通信網
Ａ０ 部分領域
Ａ１、Ａ２ テンプレート画像
Ｃ 対称軸
Ｅ フレーム間移動量推定値
Ｉａ 時間平均画像
Ｉｐ 炉壁斜視画像（フレーム）
ＩｐＲ 炉壁斜視画像の右領域
Ｉｓ 炉壁正視画像
Ｉｓ_１ 第１の炉壁正視画像
Ｉｓ_２ 第２の炉壁正視画像
ＩｓＲ 炉壁正視画像の右領域
Ｉ 炉壁観察画像
Ｆ 連結用画像
Ｌ フレーム間移動量
Ｒ テンプレートマッチング結果
Ｗ 時間平均画像の幅

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】