(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022185632
(43)【公開日】2022-12-15
(54)【発明の名称】画像処理装置、画像処理方法及びプログラム
(51)【国際特許分類】
C10B 41/02 20060101AFI20221208BHJP
F27D 21/00 20060101ALI20221208BHJP
【ＦＩ】
C10B41/02
F27D21/00 A
【審査請求】未請求
【請求項の数】12
【出願形態】ＯＬ
(21)【出願番号】P 2021093369
(22)【出願日】2021-06-03
(71)【出願人】
【識別番号】000006655
【氏名又は名称】日本製鉄株式会社
(74)【代理人】
【識別番号】110002044
【氏名又は名称】弁理士法人ブライタス
(72)【発明者】
【氏名】小杉 聡史
【テーマコード（参考）】
4K056
【Ｆターム（参考）】
4K056FA19
(57)【要約】
【課題】撮像画像に写り込んでいる火の粉によって生じる不鮮明さを軽減し、より鮮明な炉内画像を得る。
【解決手段】炉内部を観察するための炉壁観察画像を生成する画像処理装置であって、炉内部を移動する撮像装置が炉壁を順次撮像した複数の斜視画像の各々の少なくとも一部の領域を正視画像にそれぞれ変換して得られた複数の炉壁正視画像に対し、互いに重複する部分を含む２つの炉壁正視画像である第１の炉壁正視画像と第２の炉壁正視画像とのずれ量を、フレーム間移動量として算出するフレーム間移動量算出部と、フレーム間移動量に基づいて、炉壁観察画像の横方向の各位置における、炉壁正視画像から切り出される連結用画像の重複数を算出する重複数算出部と、連結用画像の重複数に基づいて、連結用画像の重複部分における画素値の代表値を算出し、代表値を用いて炉壁観察画像を生成する炉壁観察画像生成部と、を有する。
【選択図】図２
【解決手段】炉内部を観察するための炉壁観察画像を生成する画像処理装置であって、炉内部を移動する撮像装置が炉壁を順次撮像した複数の斜視画像の各々の少なくとも一部の領域を正視画像にそれぞれ変換して得られた複数の炉壁正視画像に対し、互いに重複する部分を含む２つの炉壁正視画像である第１の炉壁正視画像と第２の炉壁正視画像とのずれ量を、フレーム間移動量として算出するフレーム間移動量算出部と、フレーム間移動量に基づいて、炉壁観察画像の横方向の各位置における、炉壁正視画像から切り出される連結用画像の重複数を算出する重複数算出部と、連結用画像の重複数に基づいて、連結用画像の重複部分における画素値の代表値を算出し、代表値を用いて炉壁観察画像を生成する炉壁観察画像生成部と、を有する。
【選択図】図２
【特許請求の範囲】
【請求項1】
炉内部を観察するための炉壁観察画像を生成する画像処理装置であって、
前記炉内部を移動する撮像装置が炉壁を順次撮像した複数の斜視画像の各々の少なくとも一部の領域を正視画像にそれぞれ変換して得られた複数の炉壁正視画像に対し、互いに重複する部分を含む２つの前記炉壁正視画像である第１の炉壁正視画像と第２の炉壁正視画像とのずれ量を、フレーム間移動量として算出するフレーム間移動量算出部と、
前記フレーム間移動量に基づいて、炉壁観察画像の横方向の各位置における、前記炉壁正視画像から切り出される連結用画像の重複数を算出する重複数算出部と、
前記連結用画像の重複数に基づいて、前記連結用画像の重複部分における画素値の代表値を算出し、前記代表値を用いて前記炉壁観察画像を生成する炉壁観察画像生成部と、
を有する、画像処理装置。
前記炉内部を移動する撮像装置が炉壁を順次撮像した複数の斜視画像の各々の少なくとも一部の領域を正視画像にそれぞれ変換して得られた複数の炉壁正視画像に対し、互いに重複する部分を含む２つの前記炉壁正視画像である第１の炉壁正視画像と第２の炉壁正視画像とのずれ量を、フレーム間移動量として算出するフレーム間移動量算出部と、
前記フレーム間移動量に基づいて、炉壁観察画像の横方向の各位置における、前記炉壁正視画像から切り出される連結用画像の重複数を算出する重複数算出部と、
前記連結用画像の重複数に基づいて、前記連結用画像の重複部分における画素値の代表値を算出し、前記代表値を用いて前記炉壁観察画像を生成する炉壁観察画像生成部と、
を有する、画像処理装置。
【請求項2】
前記炉壁観察画像生成部は、前記連結用画像の重複部分における画素値の代表値として、中央値を算出する、請求項１に記載の画像処理装置。
【請求項3】
前記炉壁観察画像生成部は、前記連結用画像の重複部分における画素値の代表値として、平均値を算出する、請求項１に記載の画像処理装置。
【請求項4】
前記炉壁観察画像生成部は、前記連結用画像の重複数に応じて、前記画素値の代表値として算出する値を決定する、請求項１に記載の画像処理装置。
【請求項5】
前記フレーム間移動量算出部は、テンプレートマッチング処理により前記フレーム間移動量を算出する、請求項１～４のいずれか１項に記載の画像処理装置。
【請求項6】
前記フレーム間移動量を補正するためのフレーム間移動量推定値を算出するフレーム間移動量推定部をさらに備え、
前記フレーム間移動量算出部は、算出した前記フレーム間移動量が予め設定された閾値の範囲外であるとき、前記フレーム間移動量推定部により算出された前記フレーム間移動量推定値を、前記フレーム間移動量とする、請求項５に記載の画像処理装置。
前記フレーム間移動量算出部は、算出した前記フレーム間移動量が予め設定された閾値の範囲外であるとき、前記フレーム間移動量推定部により算出された前記フレーム間移動量推定値を、前記フレーム間移動量とする、請求項５に記載の画像処理装置。
【請求項7】
前記フレーム間移動量算出部は、前記炉壁正視画像に対応する前記斜視画像が撮像されたときの押出ラムの押出位置に基づいて、前記フレーム間移動量を算出する、請求項１～４のいずれか１項に記載の画像処理装置。
【請求項8】
前記フレーム間移動量算出部は、前記炉壁正視画像に対応する前記斜視画像が撮像されたときの撮影時間に基づいて、前記フレーム間移動量を算出する、請求項１～４のいずれか１項に記載の画像処理装置。
【請求項9】
前記フレーム間移動量算出部は、前記炉壁正視画像に対応する前記斜視画像が撮像されたときの押出ラムの押出速度に基づいて、前記フレーム間移動量を算出する、請求項１～４のいずれか１項に記載の画像処理装置。
【請求項10】
前記フレーム間移動量算出部は、１回のコークス押出しにおける押出ラムの押出速度パターンに基づいて、前記フレーム間移動量を算出する、請求項１～４のいずれか１項に記載の画像処理装置。
【請求項11】
炉内部を観察するための炉壁観察画像を生成する画像処理方法であって、
前記炉内部を移動する撮像装置が炉壁を順次撮像した複数の斜視画像の各々の少なくとも一部の領域を正視画像にそれぞれ変換して得られた複数の炉壁正視画像に対し、互いに重複する部分を含む２つの前記炉壁正視画像である第１の炉壁正視画像と第２の炉壁正視画像とのずれ量を、フレーム間移動量として算出するフレーム間移動量算出ステップと、
前記フレーム間移動量に基づいて、炉壁観察画像の横方向の各位置における、前記炉壁正視画像から切り出される連結用画像の重複数を算出する重複数算出ステップと、
前記連結用画像の重複数に基づいて、前記連結用画像の重複部分における画素値の代表値を算出し、前記代表値を用いて前記炉壁観察画像を生成する炉壁観察画像生成ステップと、
を含む、画像処理方法。
前記炉内部を移動する撮像装置が炉壁を順次撮像した複数の斜視画像の各々の少なくとも一部の領域を正視画像にそれぞれ変換して得られた複数の炉壁正視画像に対し、互いに重複する部分を含む２つの前記炉壁正視画像である第１の炉壁正視画像と第２の炉壁正視画像とのずれ量を、フレーム間移動量として算出するフレーム間移動量算出ステップと、
前記フレーム間移動量に基づいて、炉壁観察画像の横方向の各位置における、前記炉壁正視画像から切り出される連結用画像の重複数を算出する重複数算出ステップと、
前記連結用画像の重複数に基づいて、前記連結用画像の重複部分における画素値の代表値を算出し、前記代表値を用いて前記炉壁観察画像を生成する炉壁観察画像生成ステップと、
を含む、画像処理方法。
【請求項12】
炉内部を撮像した画像を画像処理するためのプログラムであって、
コンピュータを、
前記炉内部を移動する撮像装置が炉壁を順次撮像した複数の斜視画像の各々の少なくとも一部の領域を正視画像にそれぞれ変換して得られた複数の炉壁正視画像に対し、互いに重複する部分を含む２つの前記炉壁正視画像である第１の炉壁正視画像と第２の炉壁正視画像とのずれ量を、フレーム間移動量として算出するフレーム間移動量算出部と、
前記フレーム間移動量に基づいて、炉壁観察画像の横方向の各位置における、前記炉壁正視画像から切り出される連結用画像の重複数を算出する重複数算出部と、
前記連結用画像の重複数に基づいて、前記連結用画像の重複部分における画素値の代表値を算出し、前記代表値を用いて前記炉壁観察画像を生成する炉壁観察画像生成部と、
として機能させるプログラム。
コンピュータを、
前記炉内部を移動する撮像装置が炉壁を順次撮像した複数の斜視画像の各々の少なくとも一部の領域を正視画像にそれぞれ変換して得られた複数の炉壁正視画像に対し、互いに重複する部分を含む２つの前記炉壁正視画像である第１の炉壁正視画像と第２の炉壁正視画像とのずれ量を、フレーム間移動量として算出するフレーム間移動量算出部と、
前記フレーム間移動量に基づいて、炉壁観察画像の横方向の各位置における、前記炉壁正視画像から切り出される連結用画像の重複数を算出する重複数算出部と、
前記連結用画像の重複数に基づいて、前記連結用画像の重複部分における画素値の代表値を算出し、前記代表値を用いて前記炉壁観察画像を生成する炉壁観察画像生成部と、
として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【0002】
コークス炉の炭化室をはじめとする高温の炉室においては、炉壁が耐火物で構成されており、耐火物の劣化状況を的確に把握することはコークス炉などの炉操業管理上重要である。特に、コークス炉の炭化室は、過酷な条件下で通常３０年以上の長期間にわたって連続操業される。炭化室を構成する耐火煉瓦は、熱的、化学的及び機械的要因によって徐々に劣化する。このため、炉壁の損傷や付着カーボン不良に起因するコークスの押し詰まりが生じ、発生した押し詰まりによってさらなる炉壁の損傷、生産スケジュール遅延、復旧作業のための作業負荷増大を招く。したがって、炭化室内の、特に炉壁を構成する耐火煉瓦の劣化状況を常時把握しておくことは、コークス炉操業管理上極めて重要である。
【0003】
コークス炉の炭化室の炉壁を観察するための方法として、例えば特許文献１には、コークス炉炭化室の窯口よりカメラを内部に挿入し、内壁の撮像をもとに炉壁状況を観察するに際し、カメラの視野を斜めとし、炉壁を斜視像として順次撮影して、カメラで少なくとも炉長方向のほぼ全域を撮影し、斜視像の撮像位置情報（炉長方向位置）と、斜視像を正面像に変換した画像情報をもとに、炭化室内の炉壁状況を観察する、コークス炉炭化室の内壁観察方法が開示されている。
【0004】
また、特許文献２には、炭化室の両壁面を、これらの法線方向に対して傾斜した方向から各別のカメラにより撮像し、これらの壁面の斜視画像として与えられる画像データを参照して、両壁面に発生している損傷の種類を認識する技術が開示されている。さらに、特許文献３には、レーザ距離計が計測したコークス炉炭化室の内壁面までの距離に応じた出力電圧を信号変換器によって音声帯域信号に周波数変調し、ビデオカメラが撮影した内壁面の画像とともに記録することにより、内壁面の画像と撮像位置の窯幅とを対応付ける技術が開示されている。
【0005】
このように、熱対策したカメラを炉内に挿入し、炉壁を撮影した映像を用いて炭化室の炉壁を観察することで、炉内中心部においても炉壁を観察することができ、作業員にとっても確認作業を安全に行うことができる。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開平３－１０５１９５号公報
【特許文献2】特開２００１－３０５８号公報
【特許文献3】特開２００１－１１４６５号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
コークスの押出しは十数分に１回という高い頻度で行われ、カメラ等は高温の炭化室内に挿入される。コークスの押出し毎に炭化室を観察する場合、炭化室内では、撮影中に火の粉が舞い、撮像画像に火の粉が写り込むことが多々ある。このため、斜視像である撮像画像を画像処理して炉壁を正面視した炉壁観察画像を生成したときに、カメラの視野に入り込んだ火の粉が炉壁観察画像に写り込み、炉壁観察画像の鮮明さが失われることがある。より鮮明な炉壁観察画像を得るためには、画像に写り込む火の粉の影響を軽減する必要がある。
【0008】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、撮像画像に写り込んでいる火の粉によって生じる不鮮明さを軽減し、より鮮明な炉内画像を得ることが可能な、画像処理装置、画像処理方法及びプログラムを提供することにある。
【課題を解決するための手段】
【0009】
上記課題を解決するために、本発明のある観点によれば、炉内部を観察するための炉壁観察画像を生成する画像処理装置であって、炉内部を移動する撮像装置が炉壁を順次撮像した複数の斜視画像の各々の少なくとも一部の領域を正視画像にそれぞれ変換して得られた複数の炉壁正視画像に対し、互いに重複する部分を含む２つの炉壁正視画像である第１の炉壁正視画像と第２の炉壁正視画像とのずれ量を、フレーム間移動量として算出するフレーム間移動量算出部と、フレーム間移動量に基づいて、炉壁観察画像の横方向の各位置における、炉壁正視画像から切り出される連結用画像の重複数を算出する重複数算出部と、連結用画像の重複数に基づいて、連結用画像の重複部分における画素値の代表値を算出し、代表値を用いて炉壁観察画像を生成する炉壁観察画像生成部と、を有する、画像処理装置が提供される。
【0010】
炉壁観察画像生成部は、連結用画像の重複部分における画素値の代表値として、中央値を算出してもよい。
【0011】
また、炉壁観察画像生成部は、連結用画像の重複部分における画素値の代表値として、平均値を算出してもよい。
【0012】
炉壁観察画像生成部は、連結用画像の重複数に応じて、画素値の代表値として算出する値を決定してもよい。
【0013】
フレーム間移動量算出部は、テンプレートマッチング処理によりフレーム間移動量を算出してもよい。
【0014】
ここで、画像処理装置は、フレーム間移動量を補正するためのフレーム間移動量推定値を算出するフレーム間移動量推定部をさらに備えてもよい。このとき、フレーム間移動量算出部は、算出したフレーム間移動量が予め設定された閾値の範囲外であるとき、フレーム間移動量推定部により算出されたフレーム間移動量推定値を、フレーム間移動量としてもよい。
【0015】
フレーム間移動量算出部は、炉壁正視画像に対応する斜視画像が撮像されたときの押出ラムの押出位置に基づいて、フレーム間移動量を算出してもよい。
【0016】
また、フレーム間移動量算出部は、炉壁正視画像に対応する斜視画像が撮像されたときの撮影時間に基づいて、フレーム間移動量を算出してもよい。
【0017】
フレーム間移動量算出部は、炉壁正視画像に対応する斜視画像が撮像されたときの押出ラムの押出速度に基づいて、フレーム間移動量を算出してもよい。
【0018】
フレーム間移動量算出部は、１回のコークス押出しにおける押出ラムの押出速度パターンに基づいて、フレーム間移動量を算出してもよい。
【0019】
また、上記課題を解決するために、本発明の別の観点によれば、炉内部を観察するための炉壁観察画像を生成する画像処理方法であって、炉内部を移動する撮像装置が炉壁を順次撮像した複数の斜視画像の各々の少なくとも一部の領域を正視画像にそれぞれ変換して得られた複数の炉壁正視画像に対し、互いに重複する部分を含む２つの炉壁正視画像である第１の炉壁正視画像と第２の炉壁正視画像とのずれ量を、フレーム間移動量として算出するフレーム間移動量算出ステップと、フレーム間移動量に基づいて、炉壁観察画像の横方向の各位置における、炉壁正視画像から切り出される連結用画像の重複数を算出する重複数算出ステップと、連結用画像の重複数に基づいて、連結用画像の重複部分における画素値の代表値を算出し、代表値を用いて炉壁観察画像を生成する炉壁観察画像生成ステップと、を含む、画像処理方法が提供される。
【0020】
さらに、上記課題を解決するために、本発明の別の観点によれば、炉内部を撮像した画像を画像処理するためのプログラムであって、コンピュータを、炉内部を移動する撮像装置が炉壁を順次撮像した複数の斜視画像の各々の少なくとも一部の領域を正視画像にそれぞれ変換して得られた複数の炉壁正視画像に対し、互いに重複する部分を含む２つの炉壁正視画像である第１の炉壁正視画像と第２の炉壁正視画像とのずれ量を、フレーム間移動量として算出するフレーム間移動量算出部と、フレーム間移動量に基づいて、炉壁観察画像の横方向の各位置における、炉壁正視画像から切り出される連結用画像の重複数を算出する重複数算出部と、連結用画像の重複数に基づいて、連結用画像の重複部分における画素値の代表値を算出し、代表値を用いて炉壁観察画像を生成する炉壁観察画像生成部として機能させるプログラムが提供される。
【発明の効果】
【0021】
以上説明したように本発明によれば、炉壁正視画像の重複部分における画素値の代表値を算出し、代表値を用いて炉壁観察画像を生成することで、撮像画像に写り込んでいる火の粉によって生じる不鮮明さを軽減し、より鮮明な炉内画像を得ることができる。
【図面の簡単な説明】
【0022】
【図1】本発明の一実施形態に係る炉壁観察装置の一構成例を示す模式図である。
【図2】同実施形態に係る画像処理方法の概要を説明する説明図である。
【図3】同実施形態に係る画像処理装置の一構成例を示す機能ブロック図である。
【図4】フレーム間移動量Ｌを示す図である。
【図5】同実施形態に係る画像処理方法の全体の流れを示すフローチャートである。
【図6】時間平均画像生成処理の一例を示すフローチャートである。
【図7】左右領域算出処理の一例を示すフローチャートである。
【図8】時間平均画像の一例を示す模式図である。
【図9】時間平均画像におけるテンプレートマッチング処理を説明する説明図である。
【図10】テンプレートマッチング処理を用いたフレーム間移動量算出処理の一例を示すフローチャートである。
【図11】炉壁斜視画像を透視変換して炉壁正視画像とする処理を説明する説明図である。
【図12】現フレームにおける探索領域とテンプレート画像との関係を示す説明図である。
【図14】フレーム間移動量推定処理の一例を示すフローチャートである。
【図15】押出ラムの押出位置を用いたフレーム間移動量算出処理の一例を示すフローチャートである。
【図16】撮影時間を用いたフレーム間移動量算出処理の一例を示すフローチャートである。
【図17】押出ラムの押出速度を用いたフレーム間移動量算出処理の一例を示すフローチャートである。
【図18】押出ラムの押出速度パターンを用いたフレーム間移動量算出処理の一例を示すフローチャートである。
【図19】押出速度パターンの一例を示す説明図である。
【図20】フレーム重複数算出処理の一例を示すフローチャートである。
【図21】フレーム重複数算出処理を説明するための説明図である。
【図22】炉壁観察画像生成処理の全体の流れを示すフローチャートである。
【図23】炉壁観察画像生成用の記憶領域を確保するための処理を示すフローチャートである。
【図24】代表値算出用画像の概要を示す説明図である。
【図25】代表値算出用画像生成処理の一例を示すフローチャートである。
【図26】代表値を算出するための画像データの再配置を説明する説明図である。
【図27】炉壁観察画像を構成する連結用画像を示す説明図である。
【図28】炉壁観察画像用配列への格納処理の一例を示すフローチャートである。
【図29】炉壁観察画像用配列への格納処理を説明する説明図である。
【図30】炉壁観察画像の一例を示す画像である。
【図31】同実施形態に係る画像処理装置として機能する情報処理装置のハードウェア構成の一例を示すブロック図である。
【発明を実施するための形態】
【0023】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【0024】
［１．コークス炉の炭化室の観察］
まず、図１に基づいて、コークス炉の炭化室の炉壁画像を取得する炉壁観察装置の一構成例を説明する。図１は、本発明の一実施形態に係る炉壁観察装置の一構成例を示す模式図である。
まず、図１に基づいて、コークス炉の炭化室の炉壁画像を取得する炉壁観察装置の一構成例を説明する。図１は、本発明の一実施形態に係る炉壁観察装置の一構成例を示す模式図である。
【0025】
コークス炉１は、コークスを生成するための窯炉である。コークス炉１の炉体の上部には炭化室と燃焼室とが交互に配列され、下部には蓄熱室が設けられる。コークスは、蓄熱室でそれぞれ予熱された燃焼ガスと燃焼用空気とを燃焼室で燃焼させ、発生した熱によって炭化室に装入された石炭を乾留することによって生成される。
【0026】
図１は、コークス炉１の炭化室１０の内部を炭化室幅方向（Ｘ方向）から見た状態を示している。炭化室１０は炭化室幅方向に対向する２つの炉壁１１により構成されており、図１には紙面奥側にある１つの炉壁１１のみが示されている。炭化室１０に装入された石炭を乾留して生成されたコークスは、押出ラムビーム２０の一端に設けられている押出ラム２１が押出方向（Ｙ方向）に移動されることにより炭化室１０のコークス排出側へ押し出され、炭化室１０から排出される。
【0027】
図１の押出ラムビーム２０には、炭化室１０の幅中央に、高さ方向（Ｚ方向）に並列された２つの撮像装置３１、３３が設けられている。撮像装置３１、３３は、炭化室１０の炉壁１１の炉壁画像を取得する炉壁観察装置として機能する。撮像装置３１、３３は、炭化室１０内の高温環境にも耐え得るように、冷却機構または耐熱機構を備えている。図１に示す撮像装置３１、３３は、コークス排出側と反対側の押出機側を撮像方向として、押出ラムビーム２０が押出機側からコークス排出側に移動される際に、または、コークス排出側から押出機側に移動される際に、順次炉壁１１の画像を撮像する。これにより、コークスの押出毎に炭化室１０内を観察することができる。撮像装置３１、３３により取得された画像は、後述する画像処理装置へ出力される。
【0028】
なお、図１では２つの撮像装置３１、３３が設置されているが、本発明はかかる例に限定されず、撮像装置は１つでもよく、３つ以上でもよい。また、撮像装置３１、３３は、押出ラムビーム２０以外の、炭化室１０内を押出方向に沿って移動可能な移動機構に設けてもよい。
【0029】
［２．画像処理装置］
図１に示した撮像装置３１、３３により取得された画像は、本実施形態に係る画像処理装置１００へ出力される。本実施形態に係る画像処理装置１００は、コークス炉１の炭化室１０内部の炉壁１１の斜視画像を透視変換して得られた複数の炉壁正視画像を連結して、炉壁観察画像を生成する装置である。
図１に示した撮像装置３１、３３により取得された画像は、本実施形態に係る画像処理装置１００へ出力される。本実施形態に係る画像処理装置１００は、コークス炉１の炭化室１０内部の炉壁１１の斜視画像を透視変換して得られた複数の炉壁正視画像を連結して、炉壁観察画像を生成する装置である。
【0030】
撮像装置３１、３３にて取得された画像は、撮像装置３１、３３を炉壁１１に正対させて設置する等して撮影方向を炉壁１１の正面に向けることで得られる正視画像ではなく、撮影方向を押出方向として撮像装置３１、３３を設置すること等によって斜視の状態で炉壁１１を撮像して得られる斜視画像である。また、撮像装置３１、３３を炭化室１０の押出方向に移動させながら取得された各斜視画像においては、各斜視画像の撮像時の撮像装置３１、３３の位置から離れた部分ほど不明瞭になるため、各斜視画像に写っている炉壁１１全体を明瞭に確認することは難しい。しかし、各斜視画像を撮像したときの押出方向の位置近傍での炉壁１１は、各斜視画像から明瞭に確認することができる。
【0031】
そこで、本実施形態に係る画像処理装置１００は、撮像装置３１、３３により撮像された斜視画像から炉壁を明瞭に確認できる部分を抽出するとともに、抽出した部分画像（炉壁斜視画像）を透視変換して炉壁正視画像を生成する。そして、複数の炉壁正視画像から切り出された連結用画像を連結して、炉壁１１全体を表す炉壁観察画像を生成する。
【0032】
ここで、撮像装置３１、３３により撮像された斜視画像には、火の粉が写り込んでいる場合がある。火の粉が写り込んだ撮像画像を画像処理して炉壁観察画像を生成すると、炉壁観察画像にも火の粉が写り込み、炉壁観察画像の鮮明さが失われてしまう。そこで、本実施形態に係る画像処理装置１００では、複数の炉壁正視画像において同一位置を撮像している部分（重複部分）の画素値の代表値を用いて、炉壁観察画像を生成する。
【0033】
図２は、本実施形態に係る炉壁観察画像Ｉの生成処理の概要を示す。なお、以降の説明において、炉壁観察画像Ｉ等の画像については、炭化室１０の炉壁１１の押出方向（Ｙ方向）に対応する方向を「横方向」、炭化室１０の炉壁１１の高さ方向（Ｚ方向）に対応する方向を「縦方向」とする。炉壁観察画像Ｉは、複数の連結用画像Ｆを連結することにより構成されている。１回のコークスの押出しでは、複数の撮像画像が撮像される。連結用画像Ｆは、撮像画像を画像処理して得られた炉壁正視画像を、所定のサイズに切り出して生成される。１回のコークスの押出しにおいて、撮像画像は連続して撮像されることから、一部の連結用画像Ｆには、炉壁１１の同一位置を撮像した部分が含まれ得る。
【0034】
例えば、図２において連結用画像Ｆ１～Ｆ７には、炉壁１１の同一位置を撮像した部分（重複部分）Ｐｏが含まれている。例えば、連結用画像Ｆ１～Ｆ７の重複部分Ｐｏのうち、連結用画像Ｆ７の重複部分Ｐｏに火の粉が写り込んでいた場合、連結用画像Ｆ７の重複部分Ｐｏの画素値は、他の連結用画像Ｆ１～Ｆ６の重複部分の画素値と大きく異なる。その結果、撮影順に連結用画像を連結する場合に、生成される炉壁観察画像Ｉの画素値となる連結用画像Ｆ７の重複部分Ｐｏの画素値が炉壁観察画像Ｉ上ではノイズとなって、炉壁観察画像Ｉが不鮮明となる場合がある。そこで、本実施形態に係る画像処理装置１００は、重複部分Ｐｏを持つ連結用画像Ｆ１～Ｆ７のうち最後の連結用画像Ｆ７の画素値を用いる代わりに、連結用画像Ｆ１～Ｆ７の重複部分Ｐｏの画素値の代表値を用いて、炉壁観察画像Ｉを生成する。これにより、画像に写り込む火の粉の影響が軽減され、より鮮明な炉壁観察画像を得ることができる。
【0035】
図３に、本実施形態に係る画像処理装置１００の一構成例を示す。本実施形態に係る画像処理装置１００は、図３に示すように、画像取得部１１０と、前処理部１２０と、フレーム間移動量算出部１３０と、フレーム間移動量推定部１４０と、炉壁観察画像生成部１５０と、重複数算出部１６０とを有する。
【0036】
画像取得部１１０は、撮像装置３１、３３により撮像された炉壁斜視画像Ｉｐを、記憶装置３００の撮像画像記憶部３１０から取得する。撮像画像記憶部３１０は、撮像装置３１、３３により撮像された炉壁斜視画像Ｉｐを記憶する記憶部であり、例えばサーバ等により構成された記憶装置３００に設けられる。なお、記憶装置３００は画像処理装置１００が備えていてもよい。
【0037】
撮像装置３１、３３は、押出機側からコークス排出側への１回の移動において、炉壁１１を連続的に撮像する。これにより、撮像装置３１、３３は、炉壁１１を斜視状態で撮像した複数の炉壁斜視画像Ｉｐ（フレーム）からなる、例えば炉壁１１全体等の炉壁１１の撮像対象部分を撮像した動画を得る。各炉壁斜視画像Ｉｐには炉壁１１の一部が写っており、炉壁斜視画像Ｉｐに写っている炉壁１１の一部は、他の炉壁斜視画像Ｉｐに写っている炉壁１１の一部と重複する部分を含んでいる。なお、少なくとも撮像順に連続する２つの炉壁斜視画像Ｉｐが重複する部分を有していればよく、１または複数のフレームを挟んだ不連続の２つの炉壁斜視画像Ｉｐが重複する部分を有していてもよい。
【0038】
撮像装置３１、３３により撮像された複数の炉壁斜視画像Ｉｐは、撮像画像記憶部３１０に順次記録される。具体的には、撮像装置３１、３３と記憶装置３００とが無線または有線により通信可能に接続されることで、撮像装置３１、３３から記憶装置３００に送信される。画像取得部１１０は、撮像画像記憶部３１０から取得した炉壁斜視画像Ｉｐを、前処理部１２０、フレーム間移動量算出部１３０及び炉壁観察画像生成部１５０へ出力する。
【0039】
前処理部１２０は、撮像装置３１、３３を押出機側からコークス排出側へ移動させる間に当該撮像装置３１、３３により撮像された複数の炉壁斜視画像Ｉｐから、それぞれ炉壁正視画像Ｉｓを生成するために必要な前処理を行う。前処理部１２０は、画像取得部１１０から炉壁斜視画像Ｉｐを受け取ると、炉壁斜視画像Ｉｐそれぞれにおいて、撮像された炭化室１０の２つの炉壁１１を表す部分を適切に切り出すための処理を行う。具体的には、前処理部１２０は、炉壁斜視画像Ｉｐから、炭化室１０の左右２つの炉壁１１を表す領域（以下、炉壁の「右領域」、「左領域」、あるいはまとめて「左右領域」ともいう。）を特定するための対称軸Ｃ（図９の対称軸Ｃ）を求める。前処理部１２０により対称軸Ｃを求める処理の詳細は後述する。前処理部１２０は、求めた対称軸Ｃを設定するための情報を、フレーム間移動量算出部１３０及び炉壁観察画像生成部１５０へ出力する。
【0040】
フレーム間移動量算出部１３０は、前処理部１２０による前処理結果を用いて複数の炉壁正視画像Ｉｓを生成する。そして、フレーム間移動量算出部１３０は、生成した複数の炉壁正視画像Ｉｓに対し、重複する部分を含む２つの炉壁正視画像Ｉｓである第１の炉壁正視画像Ｉｓ１と第２の炉壁正視画像Ｉｓ２とについて、第１の炉壁正視画像Ｉｓ１と第２の炉壁正視画像Ｉｓ２とのずれ量を、フレーム間移動量Ｌとして算出する。図４は、フレーム間移動量Ｌを示す図である。
【0041】
フレーム間移動量算出部１３０は、例えば、テンプレートマッチング処理によりフレーム間移動量Ｌを算出してもよい。また、フレーム間移動量算出部１３０は、例えば、炉壁正視画像Ｉｓに対応する炉壁斜視画像Ｉｐが撮像されたときの押出ラム２１の押出位置または撮影時間に基づいて、フレーム間移動量Ｌを算出してもよい。さらに、フレーム間移動量算出部１３０は、例えば、炉壁正視画像Ｉｓに対応する炉壁斜視画像Ｉｐが撮像されたときの押出ラム２１の押出速度、もしくは、１回のコークス押出しにおける押出ラム２１の押出速度パターンに基づいて、フレーム間移動量Ｌを算出してもよい。フレーム間移動量算出部１３０によるフレーム間移動量Ｌの算出方法については、後述する。
【0042】
フレーム間移動量算出部１３０は、算出したフレーム間移動量Ｌを、炉壁観察画像生成部１５０及び重複数算出部１６０へ出力する。また、フレーム間移動量算出部１３０は、テンプレートマッチング処理によりフレーム間移動量Ｌを補正する場合には、フレーム間移動量Ｌの代わりに、フレーム間移動量推定部１４０において算出された補正後のフレーム間移動量（後述のフレーム間移動量推定値）Ｌ’を出力する。
【0043】
フレーム間移動量推定部１４０は、フレーム間移動量算出部１３０にて算出されたフレーム間移動量Ｌを補正するためのフレーム間移動量推定値Ｌ’を算出する。フレーム間移動量Ｌは、撮影画像に写り込んだ煙等のノイズの影響により、正しく算出できない場合もある。フレーム間移動量推定部１４０は、フレーム間移動量算出部１３０にて算出されたフレーム間移動量Ｌが閾値の範囲外である場合に尤もらしい値に補正するための補正値として、フレーム間移動量推定値を算出する。フレーム間移動量推定部１４０は、算出したフレーム間移動量推定値Ｌ’を、フレーム間移動量算出部１３０へ出力する。なお、画像処理装置１００は、テンプレートマッチング処理によりフレーム間移動量Ｌを補正する場合にのみ、フレーム間移動量推定部１４０を設けていればよい。
【0044】
炉壁観察画像生成部１５０は、画像取得部１１０から出力された炉壁斜視画像Ｉｐを用いて炉壁正視画像Ｉｓを生成し、生成した複数の炉壁正視画像Ｉｓからそれぞれ連結用画像Ｆを切り出して、連結することにより炉壁観察画像Ｉを生成する。炉壁観察画像生成部１５０は、後述する重複数算出部１６０により算出された連結用画像Ｆの重複数に基づいて、連結用画像Ｆの重複部分における画素値の代表値を算出し、代表値を用いて炉壁観察画像Ｉを生成する。これにより、重複部分を有する複数の連結用画像Ｆから炉壁観察画像Ｉを生成する際に、火の粉が写り込んでいる一部の領域の影響を軽減することができ、より鮮明な炉壁観察画像Ｉを得ることができる。炉壁観察画像生成部１５０による炉壁観察画像生成処理の詳細は後述する。炉壁観察画像生成部１５０は、生成した炉壁観察画像Ｉを、画像処理装置１００と通信可能に接続された表示装置５００へ出力してもよい。あるいは、炉壁観察画像生成部１５０は、生成した炉壁観察画像Ｉを、記憶装置３００の炉壁観察画像記憶部３２０に記録してもよい。
【0045】
重複数算出部１６０は、フレーム間移動量算出部１３０またはフレーム間移動量推定部１４０により算出されたフレーム間移動量Ｌまたは補正後のフレーム間移動量Ｌ’に基づいて、炉壁観察画像Ｉの横方向（すなわち、炭化室の押出方向（Ｙ方向））の各位置における連結用画像Ｆの重複数を算出する。連結用画像Ｆの重複数は、炉壁観察画像生成部１５０により炉壁観察画像Ｉを生成する際に用いられる。重複数算出部１６０による重複数算出処理の詳細は後述する。重複数算出部１６０は、算出した炉壁正視画像Ｉｓの重複数を、炉壁観察画像生成部１５０へ出力する。
【0046】
以上、本実施形態に係る画像処理装置１００について説明した。なお、本実施形態に係る画像処理装置１００では、炉壁斜視画像Ｉｐから炉壁正視画像Ｉｓへの変換は、フレーム間移動量算出部１３０及び炉壁観察画像生成部１５０でそれぞれ行われているが、本発明は係る例に限定されない。例えば、フレーム間移動量算出部１３０で生成された炉壁正視画像Ｉｓを炉壁観察画像生成部１５０に渡すなど、特定の１つの機能部で生成された炉壁正視画像Ｉｓを他の機能部に渡すように構成してもよい。
【0047】
［３．画像処理方法］
以下、図５～図３０に基づいて、本実施形態に係る画像処理装置１００による画像処理方法について、詳細に説明する。図５は、本実施形態に係る画像処理方法の全体の流れを示しており、図６～図３０を用いて各処理の詳細を説明する。なお、以下では、押出機側からコークス排出側への１回の移動において、１つの撮像装置（例えば撮像装置３１）により取得された複数の炉壁斜視画像Ｉｐから１つの炉壁観察画像Ｉを得る場合について説明する。複数の撮像装置により炭化室内の画像を取得可能な場合には、以下に説明する画像処理方法を、撮像装置毎に実施すればよい。
以下、図５～図３０に基づいて、本実施形態に係る画像処理装置１００による画像処理方法について、詳細に説明する。図５は、本実施形態に係る画像処理方法の全体の流れを示しており、図６～図３０を用いて各処理の詳細を説明する。なお、以下では、押出機側からコークス排出側への１回の移動において、１つの撮像装置（例えば撮像装置３１）により取得された複数の炉壁斜視画像Ｉｐから１つの炉壁観察画像Ｉを得る場合について説明する。複数の撮像装置により炭化室内の画像を取得可能な場合には、以下に説明する画像処理方法を、撮像装置毎に実施すればよい。
【0048】
［３－１．炉壁斜視画像取得処理］
本実施形態に係る画像処理方法では、図５に示すように、まず、画像取得部１１０は、記憶装置３００の撮像画像記憶部３１０に記録された複数の炉壁斜視画像Ｉｐを取得する（Ｓ０）。例えば押出機側からコークス排出側への１回の移動において、撮像装置（例えば撮像装置３１）は複数の炉壁斜視画像Ｉｐを取得する。炉壁斜視画像Ｉｐは、動画を構成するフレームともいえる。画像取得部１１０は、１回の押出ラムビーム２０の移動時に撮像装置（例えば撮像装置３１）が炉壁１１を連続的に撮像して得られた複数の炉壁斜視画像Ｉｐ（フレーム）を、撮像画像記憶部３１０から取得する。画像取得部１１０は、取得した複数の炉壁斜視画像Ｉｐを、前処理部１２０、フレーム間移動量算出部１３０、及び炉壁観察画像生成部１５０へ出力する。
本実施形態に係る画像処理方法では、図５に示すように、まず、画像取得部１１０は、記憶装置３００の撮像画像記憶部３１０に記録された複数の炉壁斜視画像Ｉｐを取得する（Ｓ０）。例えば押出機側からコークス排出側への１回の移動において、撮像装置（例えば撮像装置３１）は複数の炉壁斜視画像Ｉｐを取得する。炉壁斜視画像Ｉｐは、動画を構成するフレームともいえる。画像取得部１１０は、１回の押出ラムビーム２０の移動時に撮像装置（例えば撮像装置３１）が炉壁１１を連続的に撮像して得られた複数の炉壁斜視画像Ｉｐ（フレーム）を、撮像画像記憶部３１０から取得する。画像取得部１１０は、取得した複数の炉壁斜視画像Ｉｐを、前処理部１２０、フレーム間移動量算出部１３０、及び炉壁観察画像生成部１５０へ出力する。
【0049】
［３－２．前処理（時間平均画像生成処理、左右領域算出処理）］
次いで、前処理部１２０は、時間平均画像生成処理（Ｓ１０）及び左右領域算出処理（Ｓ２０）を前処理として実施する。
次いで、前処理部１２０は、時間平均画像生成処理（Ｓ１０）及び左右領域算出処理（Ｓ２０）を前処理として実施する。
【0050】
撮像装置３１、３３が押出方向に正確に正対していれば、炉壁１１は炉壁斜視画像Ｉｐの縦の中心軸に炭化室窯口の中心があるように撮影されるため、炉壁斜視画像Ｉｐにおける炉壁１１の右領域及び左領域を予め設定することができる。しかし、撮像装置３１、３３を正確に押出方向に正対させることはハードウェア的に難しい。そこで、本実施形態では、前処理部１２０によって時間平均画像生成処理及び左右領域算出処理を実施することで、炉壁斜視画像Ｉｐの縦の中心軸と炭化室窯口の中心とが多少ずれていてもソフトウェア的にそのずれを吸収する。
【0051】
（時間平均画像生成処理）
時間平均画像生成処理では、左右領域算出処理にて用いる時間平均画像が生成される。左右領域算出処理にて左右領域を同定するために、ある特定の炉壁斜視画像Ｉｐを用いずに時間平均画像を用いるのは、時間平均画像の炭化室窯口付近の部分画像の左右対称性が、ある特定の炉壁斜視画像Ｉｐのそれよりも高いからである。ある特定の炉壁斜視画像Ｉｐの炭化室窯口付近の部分画像には、火の粉などの炉壁以外の映り込みや、左右対称でない目地などの映り込みがある。このため、ある特定の炉壁斜視画像Ｉｐの炭化室窯口付近の部分画像は、後述する左右領域算出処理における左右反転画像（テンプレート画像Ａ１）を用いたマッチングによる対称軸推定に用いるには適さない場合がある。そこで、本実施形態では、時間平均画像を生成して、後述の左右領域算出処理を実施する。
時間平均画像生成処理では、左右領域算出処理にて用いる時間平均画像が生成される。左右領域算出処理にて左右領域を同定するために、ある特定の炉壁斜視画像Ｉｐを用いずに時間平均画像を用いるのは、時間平均画像の炭化室窯口付近の部分画像の左右対称性が、ある特定の炉壁斜視画像Ｉｐのそれよりも高いからである。ある特定の炉壁斜視画像Ｉｐの炭化室窯口付近の部分画像には、火の粉などの炉壁以外の映り込みや、左右対称でない目地などの映り込みがある。このため、ある特定の炉壁斜視画像Ｉｐの炭化室窯口付近の部分画像は、後述する左右領域算出処理における左右反転画像（テンプレート画像Ａ１）を用いたマッチングによる対称軸推定に用いるには適さない場合がある。そこで、本実施形態では、時間平均画像を生成して、後述の左右領域算出処理を実施する。
【0052】
時間平均画像生成処理の一例を図６に示す。図６に示すように、前処理部１２０は、まず、時間平均画像の画素値を格納する２次元配列である時間平均画像用配列の各要素及びフレームの数をカウントするカウンタをゼロに設定する（Ｓ１０１）。時間平均画像用配列の各要素には、読み込まれた複数のフレームについて、各フレームを構成する複数の画素の各位置における画素値の和が格納される。そして、前処理部１２０は、画像取得部１１０により取得された炉壁斜視画像Ｉｐの読み込み（取得）を開始する（Ｓ１０３）。ステップＳ１０３では、フレームは、時系列順に（例えば、押出機側からコークス排出側に向かって順に）読み込まれる。
【0053】
前処理部１２０は、ステップＳ１０３にてフレームの読み込みを実行し、フレームの読み込みに成功したか否かを判定する（Ｓ１０５）。フレーム読み込みが成功した場合には（Ｓ１０５：ＹＥＳ）、当該フレームの各画素値を、各画素に対応する時間平均画像用配列の要素へ加算する（Ｓ１０７）。そして、前処理部１２０は、カウンタの値に１を加算して（Ｓ１０９）、ステップＳ１０３の処理に戻り、次のフレームを読み込む。ステップＳ１０３～Ｓ１０９の処理は、すべてのフレームの読み込みが完了するまで繰り返し実行される。
【0054】
一方、ステップＳ１０５にてフレームを読み込めなかった場合には（Ｓ１０５：ＮＯ）、最終フレームまで読み込みが完了したことから、時間平均画像用配列の各要素に格納された画素値の和をカウンタの値で除算し、時間平均画像を生成する（Ｓ１１１）。カウンタの値は、読み込まれたフレームの数に相当する。こうして、押出機側からコークス排出側への１回の移動において取得された複数の炉壁斜視画像Ｉｐの平均画像である時間平均画像が取得される。
【0055】
（左右領域算出処理）
次いで、前処理部１２０は、左右領域算出処理を実施する。左右領域算出処理では、各炉壁斜視画像Ｉｐ（フレーム）から、炭化室１０の左右２つの炉壁１１を表す領域（以下、炉壁の「右領域」、「左領域」、あるいはまとめて「左右領域」ともいう。）を特定する。左右領域算出処理の一例を図７に示す。
次いで、前処理部１２０は、左右領域算出処理を実施する。左右領域算出処理では、各炉壁斜視画像Ｉｐ（フレーム）から、炭化室１０の左右２つの炉壁１１を表す領域（以下、炉壁の「右領域」、「左領域」、あるいはまとめて「左右領域」ともいう。）を特定する。左右領域算出処理の一例を図７に示す。
【0056】
前処理部１２０は、まず、図６の時間平均画像生成処理にて得られた時間平均画像から、テンプレート画像Ａ１となる部分領域Ａ０を設定し、切り取る（Ｓ２０１）。時間平均画像Ｉａには、例えば図８に示すように、撮像された炭化室１０内の左右２つの炉壁１１Ｒ、１１Ｌが表れている。また、炭化室の炉底１３、及び、炭化室１０の押出機側にある炭化室窯口１５も表れることもある。時間平均画像Ｉａの部分領域Ａ０は、時間平均画像Ｉａよりも小さいサイズの、ユーザが任意に設定可能な炉壁の一部分を含む領域である。
【0057】
次いで、前処理部１２０は、ステップＳ２０１にて時間平均画像Ｉａから切り取られた部分領域Ａ０を左右反転させて、図９右側に示すようなテンプレート画像Ａ１とする（Ｓ２０３）。テンプレート画像Ａ１は、例えば、図９上側に示すように、時間平均画像Ｉａの横幅Ｗから、時間平均画像Ｉａの左端及び右端からそれぞれ長さｘ１だけ横幅Ｗを小さくした幅に設定される。長さｘ１は、時間平均画像Ｉａの横幅Ｗと炭化室窯口１５の中央付近位置との対応関係から予め求めることができる。なお、テンプレート画像Ａ１の縦幅は、左右領域算出処理にほとんど影響しないことから適宜設定すればよい。
【0058】
そして、前処理部１２０は、テンプレート画像Ａ１が合致する画像領域を特定するテンプレートマッチング処理を行う（Ｓ２０５）。
【0059】
テンプレートマッチング処理は、探索対象画像中において、テンプレート画像と最も類似度の高い画像領域を求める画像処理方法である。具体的には、探索対象画像のサイズがＮ［ピクセル］×Ｍ［ピクセル］、テンプレート画像のサイズがｎ［ピクセル］×ｍ［ピクセル］（０＜ｎ≦Ｎ，０＜ｍ≦Ｍ）であるとき、テンプレートマッチング処理により、（Ｎ－ｎ＋１）×（Ｍ－ｍ＋１）の２次元配列がテンプレートマッチング結果として得られる。テンプレートマッチング結果の（ｉ，ｊ）要素（０≦ｉ＜Ｎ－ｎ＋１，０≦ｊ＜Ｍ－ｍ＋１）には、探索対象画像の画像領域（画像サイズ：ｎ×ｍ、左上頂点の画素位置（ｉ，ｊ））とテンプレート画像との類似度を表す数値が格納される。テンプレートマッチング結果の各要素において最も類似度の高い数値が格納されている要素が（ｉｇ，ｊｈ）要素（０≦ｉｇ＜Ｎ－ｎ＋１，０≦ｊｈ＜Ｍ－ｍ＋１）であれば、探索対象画像において左上頂点の画素位置が（ｉｇ，ｊｈ）であって画像サイズがｎ×ｍである画像領域が、テンプレート画像との類似度が最も高い画像領域として得られる。
【0060】
前処理部１２０は、テンプレートマッチング処理によって得られた、時間平均画像Ｉａにおいてテンプレート画像Ａ１との類似度が最も高い画像領域の位置から、時間平均画像Ｉａを横方向（すなわち、炭化室の幅方向（Ｘ方向））に分割したときに左右領域が対称となる対称軸Ｃを決定する（Ｓ２０７）。例えば図９下側に示すように、対称軸Ｃの位置は、下記式（１）で表される。
【0061】
ｘ＝（ｓ＋Ｗ－ｘ１）／２ ・・・（１）
【0062】
なお、長さｓは、時間平均画像Ｉａ内においてテンプレート画像Ａ１が合致する画像領域の位置が特定されたときの、時間平均画像Ｉａの横方向の一端（例えば左端）からテンプレート画像Ａ１が合致する画像領域の一端までの長さである。上記式（１）は、ｘ＝ｓ＋（Ｗ－ｘ－ｘ１）の関係より得ることができる。
【0063】
ステップＳ２０７にて決定された対称軸Ｃは、炉壁斜視画像Ｉｐ（フレーム）を左右領域に分割する際に用いられる。このように対称軸Ｃを求めることで、炉壁斜視画像Ｉｐ（フレーム）をより正確に左領域と右領域とに区分することができる。また、時間平均画像Ｉａから切り取られた部分領域Ａ０を左右反転させてテンプレート画像Ａ１とし、テンプレートマッチング処理を実施することで、簡便なアルゴリズムで対称軸Ｃを推定することができる。前処理部１２０は、推定した対称軸Ｃの位置ｘを、フレーム間移動量算出部１３０及び炉壁観察画像生成部１５０に出力する。
【0064】
［３－３．フレーム間移動量算出処理］
図５の説明に戻り、時間平均画像生成処理（Ｓ１０）及び左右領域算出処理（Ｓ２０）を終えると、フレーム間移動量算出部１３０は、フレーム間移動量算出処理を実施し、フレーム間移動量Ｌを算出する（Ｓ３０）。フレーム間移動量算出処理は、様々な手法により行うことができる。以下、フレーム間移動量算出処理の例として、（１）テンプレートマッチング処理を用いた手法、（２）押出ラムの押出位置に基づく手法、（３）撮影時間に基づく手法、（４）押出ラムの押出速度に基づく手法、（５）押出ラムの押出速度パターンに基づく手法について説明する。
図５の説明に戻り、時間平均画像生成処理（Ｓ１０）及び左右領域算出処理（Ｓ２０）を終えると、フレーム間移動量算出部１３０は、フレーム間移動量算出処理を実施し、フレーム間移動量Ｌを算出する（Ｓ３０）。フレーム間移動量算出処理は、様々な手法により行うことができる。以下、フレーム間移動量算出処理の例として、（１）テンプレートマッチング処理を用いた手法、（２）押出ラムの押出位置に基づく手法、（３）撮影時間に基づく手法、（４）押出ラムの押出速度に基づく手法、（５）押出ラムの押出速度パターンに基づく手法について説明する。
【0065】
（１）テンプレートマッチング処理を用いた手法
まず、図１０～図１４に基づいて、テンプレートマッチング処理を用いたフレーム間移動量算出処理を説明する。図１０は、テンプレートマッチング処理を用いたフレーム間移動量算出処理の一例を示すフローチャートである。図１１は、炉壁斜視画像を透視変換して炉壁正視画像とする処理を説明する説明図である。図１２は、現フレームにおける探索領域とテンプレート画像Ａ２との関係を示す説明図である。図１３は、図１２のテンプレート画像Ａ２の位置を、前フレームと現フレームそれぞれに分けて示した図である。図１４は、フレーム間移動量推定処理の一例を示すフローチャートである。
まず、図１０～図１４に基づいて、テンプレートマッチング処理を用いたフレーム間移動量算出処理を説明する。図１０は、テンプレートマッチング処理を用いたフレーム間移動量算出処理の一例を示すフローチャートである。図１１は、炉壁斜視画像を透視変換して炉壁正視画像とする処理を説明する説明図である。図１２は、現フレームにおける探索領域とテンプレート画像Ａ２との関係を示す説明図である。図１３は、図１２のテンプレート画像Ａ２の位置を、前フレームと現フレームそれぞれに分けて示した図である。図１４は、フレーム間移動量推定処理の一例を示すフローチャートである。
【0066】
本手法では、図１０に示すテンプレートマッチング処理を用いたフレーム間移動量算出処理によりフレーム間移動量Ｌを求めた後、求めたフレーム間移動量Ｌを図１４に示すフレーム間移動量推定処理によって尤もらしい値に補正することで、後続の処理で用いるフレーム間移動量Ｌ’を求める。以下、テンプレートマッチング処理を用いたフレーム間移動量算出処理及びフレーム間移動量推定処理について説明する。
【0067】
（１－１）テンプレートマッチング処理を用いたフレーム間移動量算出処理
まず、図１０に示すテンプレートマッチング処理を用いたフレーム間移動量算出処理によりフレーム間移動量Ｌを求める。図１０に示すように、フレーム間移動量算出部１３０は、まず、算出されるフレーム間移動量Ｌを格納するための２次元配列である移動量格納配列に初期値を設定する（Ｓ３０１ａ）。初期値として、例えば「０」の値が格納される。移動量格納配列は、炉壁斜視画像Ｉｐを分割した左領域用と右領域用とが用意される。
まず、図１０に示すテンプレートマッチング処理を用いたフレーム間移動量算出処理によりフレーム間移動量Ｌを求める。図１０に示すように、フレーム間移動量算出部１３０は、まず、算出されるフレーム間移動量Ｌを格納するための２次元配列である移動量格納配列に初期値を設定する（Ｓ３０１ａ）。初期値として、例えば「０」の値が格納される。移動量格納配列は、炉壁斜視画像Ｉｐを分割した左領域用と右領域用とが用意される。
【0068】
上述したように、フレーム間移動量Ｌは、第１の炉壁正視画像Ｉｓ１と第２の炉壁正視画像Ｉｓ２とのずれ量である。すなわち、フレーム間移動量Ｌは、図４に示したように、同一の画像サイズを有する第１の炉壁正視画像Ｉｓ１と第２の炉壁正視画像Ｉｓ２とが重ね合わせられた状態から、これらの炉壁正視画像Ｉｓ１、Ｉｓ２に重複して写っている炉壁の部分がぴったり重なるまで第２の炉壁正視画像Ｉｓ２を移動させる量である。フレーム間移動量Ｌは、２つの炉壁正視画像Ｉｓ１、Ｉｓ２のずれを表す量であることから、画素数で表すことができる。炉壁正視画像Ｉｓの左右（横）方向は、炭化室の押出方向に一致するため、フレーム間移動量Ｌは、第２の炉壁正視画像Ｉｓ２を第１の炉壁正視画像Ｉｓ１から相対的に左右にずらす画素数により表される。移動量格納配列には、少なくとも左右（横）方向の移動量が格納されればよいが、上下（縦）方向の移動量も格納してもよい。左右方向の移動量及び上下方向の移動量を格納する場合には、移動量格納配列のサイズは、総フレーム数×２となる。
【0069】
初期値を設定後、フレーム間移動量算出部１３０は、炉壁斜視画像Ｉｐ（フレーム）の読み込みを開始する（Ｓ３０３ａ）。フレームは、時系列順に（例えば、押出機側からコークス排出側に向かって順に）読み込まれる。
【0070】
フレーム間移動量算出部１３０は、ステップＳ３０３ａにてフレームの読み込みを実行し、フレームの読み込みに成功したか否かを判定する（Ｓ３０５ａ）。ステップＳ３０５ａにてフレームを読み込めなかった場合には（Ｓ３０５ａ：ＮＯ）、最終フレームまで読み込みが完了したことから、図１０に示す処理を終了する。ステップＳ３０５ａにてフレーム読み込みが成功すると（Ｓ３０５ａ：ＹＥＳ）、フレーム間移動量算出部１３０は、左右領域算出処理にて決定された対称軸Ｃを用いて、当該フレームを左領域と右領域とに分割する（Ｓ３０７ａ）。
【0071】
次いで、フレーム間移動量算出部１３０は、フレームの左領域と右領域それぞれを透視変換し、各領域の炉壁正視画像Ｉｓを得る（Ｓ３０９ａ）。撮像装置により撮像して得られたフレームは、図１１左側に示すように炉壁１１Ｌ、１１Ｒを斜視した状態で得た炉壁斜視画像Ｉｐである。本実施形態に係る画像処理方法では、炉壁１１Ｌ、１１Ｒの状態をより詳細に確認できるように、炉壁１１Ｌ、１１Ｒを正視した状態での炉壁観察画像Ｉを得る。そこで、ステップＳ３０９ａでは、炉壁斜視画像Ｉｐを透視変換して炉壁正視画像Ｉｓとする。例えば、図１１左側のフレーム（炉壁斜視画像）Ｉｐにおいて炉壁１１Ｒを含む矩形状の右領域ＩｐＲは、図１１右側に示すような透視変換後の炉壁正視画像Ｉｓにおいては、台形状の右領域ＩｓＲとなる。フレーム（炉壁斜視画像）Ｉｐにおける右領域ＩｐＲの４つの頂点ＡＢＣＤは、炉壁正視画像Ｉｓにおける右領域ＩｓＲの４つの頂点ａｂｃｄに対応する。
【0072】
そして、フレーム間移動量算出部１３０は、左領域及び右領域の炉壁正視画像Ｉｓから、テンプレートマッチング処理を行うための探索領域を設定する（Ｓ３１１ａ）。探索領域は、ユーザにより、例えば図１２に示すように、炉壁正視画像Ｉｓにおいて、炉壁が明瞭に確認できる部分に適宜設定される。探索領域のサイズは、テンプレートマッチング処理の精度を高めるためにはなるべく大きく設定するのがよい。一方で、炉壁正視画像Ｉｓ全体を探索領域とするとテンプレートマッチング処理に時間がかかり、テンプレートマッチング処理によって得られるテンプレートマッチング結果のサイズも大きくなる。したがって、探索領域は、なるべくサイズを大きくしつつ、炉壁正視画像Ｉｓにおいて炉壁が明瞭に確認できる部分に設定するのがよい。
【0073】
さらに、フレーム間移動量算出部１３０は、設定した探索領域に前処理を施す（Ｓ３１３ａ）。前処理としては、例えば、探索領域内の画像に対して平滑化処理を実施してもよい。また、前処理として、例えば、探索領域内の画像から緑画素成分を抽出した画像を生成してもよい。炉壁正視画像Ｉｓに表れている炉壁は全体的に赤く、のっぺりとしてぼやけている。このような画像でテンプレートマッチング処理を行った場合、許容される程度の精度でテンプレートマッチング結果を得ることはできるが、特徴部分をより明確にした画像を用いれば、より高い精度でテンプレートマッチング結果を得ることができる。炉壁の画像において、炉壁の目地等の特徴部分は緑画素成分に現れている。そこで、前処理として、探索領域内の画像から緑画素成分を抽出した画像を用意することで、より精度よくテンプレートマッチング処理を実施することができる。
【0074】
その後、フレーム間移動量算出部１３０は、ステップＳ３０３ａにて読み込まれたｉ番目のフレーム（ｉは正の整数。以下、「現フレーム」ともいう。）が最初のフレームであるか否かを判定する（Ｓ３１５ａ）。現フレームが最初のフレームである場合には（Ｓ３１５ａ：ＹＥＳ）、現フレームとマッチングさせるフレームが存在しない。このため、フレーム間移動量算出部１３０は、炉壁正視画像Ｉｓの前処理を施した探索領域からテンプレート画像Ａ２を切り出し（Ｓ３２１ａ）、ステップＳ３０３ａからの処理を実施する。
【0075】
なお、テンプレート画像Ａ２としては、現フレームである炉壁正視画像Ｉｓに設定された探索領域ＳＴの中心Ｔの位置を中心点とした、探索領域ＳＴよりも小さいサイズの矩形領域が切り出される。また、テンプレート画像Ａ２は、上述の左右領域算出処理にて設定されたテンプレート画像Ａ１とは別に設定される。
【0076】
一方、ステップＳ３０３ａにて読み込んだ現フレームが最初のフレームではない場合には（Ｓ３１５ａ：ＮＯ）、フレーム間移動量算出部１３０は、現フレームの左右領域それぞれの炉壁正視画像Ｉｓ２に対して前処理を施した探索領域ＳＴにおいて、現フレームの１つ前に読み込こまれたｉ－１番目のフレーム（前フレーム）の炉壁正視画像Ｉｓ１に基づくテンプレート画像Ａ２（上記のＳ３２１ａにて切り出されたテンプレート画像Ａ２）とのテンプレートマッチング処理を行い、フレーム間移動量Ｌを算出する（Ｓ３１７ａ）。
【0077】
ここで、図１３に基づいて、テンプレートマッチング処理を説明する。図１３は、図１２の炉壁正視画像を、前フレームと現フレームそれぞれに分けて示した図である。なお、図１３において、炉壁正視画像Ｉｓ１は前フレームの炉壁正視画像であり、炉壁正視画像Ｉｓ２は現フレームの炉壁正視画像であるとする。
【0078】
図１３の右上図に示すように、テンプレートマッチング処理は、ステップＳ３１１ａにて現フレームの炉壁正視画像Ｉｓ２に設定された探索領域ＳＴに対して前処理（Ｓ３１３ａ）を施した画像内を、ステップＳ３２１ａにて切り出された前フレームの炉壁正視画像Ｉｓ１のテンプレート画像Ａ２（図１３の右下図のテンプレート画像Ａ２）を平行移動させて行われる。すなわち、ステップＳ３１７ａでは、前フレームの炉壁正視画像Ｉｓ（第１の炉壁正視画像Ｉｓ１）のテンプレート画像Ａ２が、次に読み込まれた現フレームの炉壁正視画像Ｉｓ（第２の炉壁正視画像Ｉｓ２）に設定された探索領域ＳＴ内において合致する領域Ａ３を特定する。
【0079】
テンプレートマッチング処理では、前フレームの炉壁正視画像Ｉｓ１のテンプレート画像Ａ２と、現フレームの炉壁正視画像Ｉｓ２の探索領域ＳＴにおいて前フレームの炉壁正視画像Ｉｓ１のテンプレート画像Ａ２を平行移動させて切り出した、テンプレート画像Ａ２と同一サイズの画像（領域Ａ３）との類似度が算出される。画像の類似度は、例えば画素値の差の二乗和（Sum of Squared Difference；ＳＳＤ）あるいは画素値の差の絶対値の和（Sum of Absolute Difference；ＳＡＤ）等で表すことができる。これらの値が最小である探索領域の画像が、前フレームのテンプレート画像Ａ２と最も類似することになる。
【0080】
テンプレートマッチング処理により得られたテンプレートマッチング結果は、上述したように、探索対象画像とテンプレート画像との類似度を表す数値が格納された２次元配列データである。
【0081】
前フレームの炉壁正視画像Ｉｓ１のテンプレート画像Ａ２の中央が現フレームの炉壁正視画像Ｉｓ２の探索領域の中央と一致するように設定される場合、仮に、現フレームの炉壁正視画像Ｉｓ２が前フレームの炉壁正視画像Ｉｓ１と同一の画像であれば（すなわち、第１の炉壁正視画像Ｉｓ１と第２の炉壁正視画像Ｉｓ２とにずれがなければ）、テンプレートマッチング結果において、最も類似度の高い部分は、テンプレートマッチング結果の中央に表れる。一方、同一の炉壁部分が現フレームの炉壁正視画像Ｉｓ２及び前フレームの炉壁正視画像Ｉｓ１の中で異なる位置に映り込んでいれば、テンプレートマッチング結果において類似度の高い部分は、図１３の右上図に示すように、テンプレートマッチング結果の中央からずれた位置に表れる。
【0082】
そこで、ステップＳ３１７ａでは、フレーム間移動量算出部１３０は、テンプレートマッチング結果の中央位置（図１３の右下図の位置Ｔ）から、最も類似度の高い配列要素位置（図１３の右上図の位置Ｔ’）までの相対位置、すなわち、第１の炉壁正視画像Ｉｓ１と第２の炉壁正視画像Ｉｓ２との重複部分（テンプレート画像Ａ２、領域Ａ３）の横方向のずれ量を求める。ここで求めた相対位置（位置Ｔと位置Ｔ’との横方向の距離）は、現フレームの炉壁正視画像Ｉｓ２が前フレームの炉壁正視画像Ｉｓ１から移動したフレーム間移動量Ｌに相当する。
【0083】
フレーム間移動量算出部１３０は、得られたテンプレートマッチング結果に基づき算出されたフレーム間移動量Ｌを、ステップＳ３０１ａにて用意した移動量格納配列に格納する（Ｓ３１９ａ）。そして、次のテンプレートマッチング処理のために、現フレームの炉壁正視画像Ｉｓ２内の前処理済み探索領域からテンプレート画像Ａ２を切り出し（Ｓ３２１ａ）、ステップＳ３０３ａからの処理を実施する。なお、ここで切り出されるテンプレート画像Ａ２は、現フレームである炉壁正視画像Ｉｓ２に設定された探索領域ＳＴの中心Ｔの位置を中心点とした、探索領域ＳＴよりも小さいサイズの矩形領域が新たに切り出される。ステップＳ３０３ａ～Ｓ３２１ａの処理は、読み込むフレームがなくなるまで繰り返し実施される。図１０に示す処理を終えると、例えば押出機側からコークス排出側への１回の移動において取得された複数のフレームにおいて、２つのフレーム間の移動量（フレーム間移動量Ｌ）が得られる。
【0084】
（１－２）フレーム間移動量推定処理
次に、フレーム間移動量推定部１４０は、図１０に示すテンプレートマッチング処理を用いたフレーム間移動量算出処理により求めたフレーム間移動量Ｌを、図１４に示すフレーム間移動量推定処理によって尤もらしい値に補正する。
次に、フレーム間移動量推定部１４０は、図１０に示すテンプレートマッチング処理を用いたフレーム間移動量算出処理により求めたフレーム間移動量Ｌを、図１４に示すフレーム間移動量推定処理によって尤もらしい値に補正する。
【0085】
フレーム間移動量推定部１４０は、まず、算出されるフレーム間移動量推定値を格納するための決定移動量格納配列に初期値を設定する（Ｓ３３１ａ）。初期値として、例えば「０」の値が格納される。決定移動量格納配列は、ステップＳ１０５にて読み込まれた総フレーム分のフレーム間移動量推定値を格納可能なサイズに設定され、左領域用と右領域用とが用意される。図１４に示す処理を実行することによって決定移動量格納配列に格納されるフレーム間移動量推定値は、後続の処理で用いる補正後のフレーム間移動量Ｌ’となる。
【0086】
また、フレーム間移動量推定部１４０は、複数のフレーム間移動量Ｌから平均及び標準偏差を算出する（Ｓ３３３ａ）。このとき、フレーム間移動量推定部１４０は、すべてのフレーム間移動量Ｌのうち、予め設定された基準範囲内のフレーム間移動量Ｌのみを用いて平均及び標準偏差を算出してもよい。想定される値から外れているフレーム間移動量Ｌを用いずに平均及び標準偏差を算出することで、ノイズ等の影響を除くことができる。
【0087】
なお、図１４では、後続の処理にて利用される平均及び標準偏差を算出しているが、本発明は係る例に限定されない。ステップＳ３３３ａでは、フレーム間移動量推定部１４０は、算出されたフレーム間移動量Ｌが想定される値から外れている場合に、フレーム間移動量Ｌの代わりにフレーム間移動量Ｌの尤もらしい値（すなわち、フレーム間移動量推定値）Ｌ’を設定するために必要な値を算出する。したがって、フレーム間移動量推定部１４０は、フレーム間移動量Ｌの平均及び標準偏差以外の値を算出してもよく、必ずしもフレーム間移動量Ｌの平均または標準偏差を算出しなくともよい。
【0088】
そして、フレーム間移動量推定部１４０は、フレーム間移動量Ｌが想定される値から外れているか否かを判定するための閾値を設定する（Ｓ３３５ａ）。閾値は、操業上の経験に基づき設定されればよい。例えば、フレーム間移動量推定部１４０は、フレーム間移動量Ｌの正規分布における２σの値（すなわち、平均±２×標準偏差）を閾値としてもよい。
【0089】
次いで、フレーム間移動量推定部１４０は、移動量格納配列に格納されたフレーム間移動量Ｌの読み込み数をカウントするためのインデックスｉを１に設定し（Ｓ３３７ａ）、フレーム間移動量Ｌを時系列順に（例えば、押出機側からコークス排出側に向かって順に）読み込む。フレーム間移動量推定部１４０は、インデックスｉが総フレーム以上であれば（Ｓ３３９ａ：ＮＯ）、すべてのフレーム間移動量Ｌについて後述のステップＳ３３９ａ～Ｓ３４７ａの処理を終えたため、図１４に示す処理を終了する。
【0090】
一方、インデックスｉが総フレーム未満の場合（Ｓ３３９ａ：ＹＥＳ）、フレーム間移動量推定部１４０は、移動量格納配列のｉ番目に格納されたフレーム間移動量Ｌを読み込み、ｉ番目のフレーム間移動量ＬがステップＳ３３５ａにて設定された閾値の範囲内であるか否かを判定する（Ｓ３４１ａ）。ステップＳ３４１ａにてｉ番目のフレーム間移動量Ｌが閾値の範囲内であると判定された場合には（Ｓ３４１ａ：ＹＥＳ）、フレーム間移動量算出部１３０により算出されたフレーム間移動量Ｌは適切であると考えられる。したがって、フレーム間移動量推定部１４０は、決定移動量格納配列のｉ番目に当該フレーム間移動量Ｌを格納する（Ｓ３４３ａ）。
【0091】
一方、ステップＳ３４１ａにてｉ番目のフレーム間移動量Ｌが閾値の範囲外であると判定された場合には（Ｓ３４１ａ：ＮＯ）、フレーム間移動量算出部１３０により算出されたフレーム間移動量Ｌは想定から外れた不適切な値と考えられる。したがって、フレーム間移動量推定部１４０は、決定移動量格納配列のｉ番目にフレーム間移動量Ｌとして尤もらしい値を格納する（Ｓ３４５ａ）。尤もらしい値としては、例えば、フレーム間移動量Ｌの平均値や中央値等の、フレーム間移動量Ｌから統計的に求められる統計値等がある。
【0092】
ステップＳ３４３ａまたはＳ３４５ａの処理を終えると、フレーム間移動量推定部１４０は、インデックスｉに１を加算して（Ｓ３４７ａ）、ステップＳ３３９ａからの処理を繰り返し実施する。
【0093】
以上、テンプレートマッチング処理を用いてフレーム間移動量を求める手法を説明した。図１４に示す処理を実行することによって決定移動量格納配列に格納された値が、後続の処理で用いるフレーム間移動量（すなわちフレーム間移動量推定値）として用いられる。
【0094】
（２）押出ラムの押出位置に基づく手法
次に、図１５に基づいて、押出ラムの押出位置を用いたフレーム間移動量算出処理を説明する。図１５は、押出ラムの押出位置を用いたフレーム間移動量算出処理の一例を示すフローチャートである。かかる手法では、フレーム間移動量算出部１３０は、炉壁正視画像Ｉｓに対応する炉壁斜視画像Ｉｐが撮像されたときの押出ラム２１の押出位置に基づいて、フレーム間移動量Ｌを算出する。
次に、図１５に基づいて、押出ラムの押出位置を用いたフレーム間移動量算出処理を説明する。図１５は、押出ラムの押出位置を用いたフレーム間移動量算出処理の一例を示すフローチャートである。かかる手法では、フレーム間移動量算出部１３０は、炉壁正視画像Ｉｓに対応する炉壁斜視画像Ｉｐが撮像されたときの押出ラム２１の押出位置に基づいて、フレーム間移動量Ｌを算出する。
【0095】
押出ラム２１の押出位置は、例えば、押出ラムビーム２０を駆動するモータの回転数に基づき算出することができる。例えば、モータの回転数は、モータにロータリーエンコーダを設けることにより検出できる。押出ラム２１の押出位置は、モータの回転数の累積値と１回転あたりの押出ラムビーム２０の移動量とを積算することにより求めることができる。炉壁斜視画像Ｉｐを撮像したときのモータの回転数の累積値を、炉壁斜視画像Ｉｐと関連付けて撮像画像記憶部３１０に記録することで、炉壁斜視画像Ｉｐを撮像したときの押出ラム２１の押出位置を特定することができる。
【0096】
フレーム間移動量算出部１３０は、まず、算出されるフレーム間移動量を格納するための決定移動量格納配列に初期値を設定し、直前に読み込まれたフレームが撮像されたときの押出位置を表す位置変数に初期値を設定する（Ｓ３０１ｂ）。決定移動量格納配列には、初期値として、例えば「０」の値が格納される。決定移動量格納配列は、ステップＳ１０５にて読み込まれた総フレーム分のフレーム間移動量を格納可能なサイズに設定され、左領域用と右領域用とが用意される。位置変数についても、初期値として、例えば「０」の値が格納される。
【0097】
次いで、フレーム間移動量算出部１３０は、フレームの読み込み数をカウントするためのインデックスｉを１に設定し（Ｓ３０３ｂ）、フレームを時系列順に（例えば、押出機側からコークス排出側に向かって順に）読み込む。そして、フレーム間移動量算出部１３０は、インデックスｉが総フレーム数より小さいか否かを判定する（Ｓ３０５ｂ）。フレーム間移動量算出部１３０は、インデックスｉが総フレーム以上であれば（Ｓ３０５ｂ：ＹＥＳ）、すべてのフレームについて後述のステップＳ３０７ｂ～Ｓ３１１ｂの処理を終えたため、図１５に示す処理を終了する。
【0098】
一方、インデックスｉが総フレーム未満の場合（Ｓ３０５ｂ：ＮＯ）、フレーム間移動量算出部１３０は、押出ラム２１の押出位置に基づいて、ｉ番目のフレーム間移動量Ｌを求める（Ｓ３０７ｂ）。ｉ番目のフレーム間移動量Ｌは、例えば、下記式（２）を用いて求めることができる。
【0099】
ｉ番目のフレーム間移動量Ｌ
＝（ｉ番目のフレーム撮影時の押出位置－位置変数）×ピクセル変換定数・・・（２）
＝（ｉ番目のフレーム撮影時の押出位置－位置変数）×ピクセル変換定数・・・（２）
【0100】
フレーム間移動量算出部１３０は、ｉ番目のフレーム撮影時の押出位置から、現在位置変数に格納されている値を減ずることにより、ｉ－１番目のフレームとｉ番目のフレームとの距離を算出する。そして、フレーム間移動量算出部１３０は、ｉ－１番目のフレームとｉ番目のフレームとの距離にピクセル変換定数を乗ずることにより、ピクセルで表されたｉ番目のフレーム間移動量Ｌを得る。単位を位置からピクセルに変換するピクセル変換定数は、予め設定される、コークス炉に固有の値である。例えば、過去の操業にて取得された炉壁斜視画像を用いて、ピクセル変換定数を変化させて炉壁観察画像を繰り返し作成し、良好な炉壁観察画像が得られたときのピクセル変換定数を採用するようにしてもよい。
【0101】
フレーム間移動量算出部１３０は、上記式（２）を用いてｉ番目のフレーム間移動量Ｌを算出すると、決定移動量格納配列のｉ番目に当該フレーム間移動量Ｌを格納する。
【0102】
その後、フレーム間移動量算出部１３０は、位置変数にｉ番目のフレーム撮影時の押出位置を代入し（Ｓ３０９ｂ）、インデックスｉに１を加算して（Ｓ３１１ｂ）、ステップＳ３０５ｂからの処理を繰り返し実施する。以上、押出ラムの押出位置を用いてフレーム間移動量を求める手法を説明した。
【0103】
（３）撮影時間に基づく手法
次に、図１６に基づいて、撮影時間を用いたフレーム間移動量算出処理を説明する。図１６は、撮影時間を用いたフレーム間移動量算出処理の一例を示すフローチャートである。かかる手法では、フレーム間移動量算出部１３０は、炉壁正視画像Ｉｓに対応する炉壁斜視画像Ｉｐが撮像されたときの撮影時間に基づいて、フレーム間移動量Ｌを算出する。
次に、図１６に基づいて、撮影時間を用いたフレーム間移動量算出処理を説明する。図１６は、撮影時間を用いたフレーム間移動量算出処理の一例を示すフローチャートである。かかる手法では、フレーム間移動量算出部１３０は、炉壁正視画像Ｉｓに対応する炉壁斜視画像Ｉｐが撮像されたときの撮影時間に基づいて、フレーム間移動量Ｌを算出する。
【0104】
ここでは、押出速度は等速であると仮定する。押出位置の計測は不要である。この場合、炉壁斜視画像Ｉｐが撮像されたときの撮影時間は、例えば、押出開始から押出終了までの時間を、フレーム番号（すなわち、インデックスｉ）を総フレーム数で除算した値をかけることにより求めることができる。押出開始から押出終了までの時間は、例えば、押出機側からコークス排出側への１回の移動において、撮像装置３１、３３が炉壁１１を連続的に撮像した動画の時間から得られる。なお、炉壁斜視画像Ｉｐが撮像されたときの撮影時間が、炉壁斜視画像Ｉｐと関連付けて撮像画像記憶部３１０に記録されている場合には、撮像画像記憶部３１０に記録されている撮像時間を用いてもよい。
【0105】
フレーム間移動量算出部１３０は、まず、算出されるフレーム間移動量を格納するための決定移動量格納配列に初期値を設定する（Ｓ３０１ｃ）。決定移動量格納配列には、初期値として、例えば「０」の値が格納される。決定移動量格納配列は、ステップＳ１０５にて読み込まれた総フレーム分のフレーム間移動量を格納可能なサイズに設定され、左領域用と右領域用とが用意される。
【0106】
次いで、フレーム間移動量算出部１３０は、フレームの読み込み数をカウントするためのインデックスｉを１に設定し（Ｓ３０３ｃ）、フレームを時系列順に（例えば、押出機側からコークス排出側に向かって順に）読み込む。そして、フレーム間移動量算出部１３０は、インデックスｉが総フレーム数より小さいか否かを判定する（Ｓ３０５ｃ）。フレーム間移動量算出部１３０は、インデックスｉが総フレーム以上であれば（Ｓ３０５ｃ：ＹＥＳ）、すべてのフレームについて後述のステップＳ３０７ｃ、Ｓ３０９ｃの処理を終えたため、図１６に示す処理を終了する。
【0107】
一方、インデックスｉが総フレーム未満の場合（Ｓ３０５ｃ：ＮＯ）、フレーム間移動量算出部１３０は、撮影時間に基づいて、ｉ番目のフレーム間移動量Ｌを求める（Ｓ３０７ｃ）。ｉ番目のフレーム間移動量Ｌは、例えば、下記式（３）を用いて求めることができる。
【0108】
ｉ番目のフレーム間移動量Ｌ
＝ｉ番目のフレームの撮影時間×ピクセル変換定数
＝（１／総フレーム数）×押出開始から押出終了までの時間×ピクセル変換定数
・・・（３）
＝ｉ番目のフレームの撮影時間×ピクセル変換定数
＝（１／総フレーム数）×押出開始から押出終了までの時間×ピクセル変換定数
・・・（３）
【0109】
フレーム間移動量算出部１３０は、式（３）の第一式に示すように、ｉ番目のフレームの撮影時間に、撮影時間をピクセルに変換するピクセル変換定数を乗ずることにより、ｉ番目のフレーム間移動量Ｌを得る。撮影時間をピクセルに変換するピクセル変換定数は、予め設定される、コークス炉に固有の値である。例えば、過去の操業にて取得された炉壁斜視画像を用いて、ピクセル変換定数を変化させて炉壁観察画像を繰り返し作成し、良好な炉壁観察画像が得られたときのピクセル変換定数を採用するようにしてもよい。なお、式（３）の第二式に示すように、フレーム間移動量算出部１３０は、押出開始から押出終了までの時間に、撮影時間をピクセルに変換するピクセル変換定数を乗じで、総フレーム数で除すことにより、ｉ番目のフレーム間移動量Ｌを求めてもよい。
【0110】
フレーム間移動量算出部１３０は、上記式（３）を用いてｉ番目のフレーム間移動量Ｌを算出すると、決定移動量格納配列のｉ番目に当該フレーム間移動量Ｌを格納する。
【0111】
その後、フレーム間移動量算出部１３０は、インデックスｉに１を加算して（Ｓ３０９ｃ）、ステップＳ３０５ｃからの処理を繰り返し実施する。以上、撮影時間を用いてフレーム間移動量を求める手法を説明した。
【0112】
（４）押出ラムの押出速度に基づく手法
次に、図１７に基づいて、押出ラムの押出速度を用いたフレーム間移動量算出処理を説明する。図１７は、押出ラムの押出速度を用いたフレーム間移動量算出処理の一例を示すフローチャートである。かかる手法では、フレーム間移動量算出部１３０は、炉壁正視画像Ｉｓに対応する炉壁斜視画像Ｉｐが撮像されたときの押出ラム２１の押出速度に基づいて、フレーム間移動量Ｌを算出する。
次に、図１７に基づいて、押出ラムの押出速度を用いたフレーム間移動量算出処理を説明する。図１７は、押出ラムの押出速度を用いたフレーム間移動量算出処理の一例を示すフローチャートである。かかる手法では、フレーム間移動量算出部１３０は、炉壁正視画像Ｉｓに対応する炉壁斜視画像Ｉｐが撮像されたときの押出ラム２１の押出速度に基づいて、フレーム間移動量Ｌを算出する。
【0113】
押出ラム２１の押出速度は、例えば、押出ラムビーム２０に速度計を取り付けることにより測定することができる。押出位置の計測は不要である。速度計により取得された押出速度は、例えば撮像された炉壁斜視画像Ｉｐと関連付けて撮像画像記憶部３１０に記録され、図１７に示すフレーム間移動量算出処理を実施する際に参照される。
【0114】
フレーム間移動量算出部１３０は、まず、算出されるフレーム間移動量を格納するための決定移動量格納配列に初期値を設定する（Ｓ３０１ｄ）。決定移動量格納配列には、初期値として、例えば「０」の値が格納される。決定移動量格納配列は、ステップＳ１０５にて読み込まれた総フレーム分のフレーム間移動量を格納可能なサイズに設定され、左領域用と右領域用とが用意される。
【0115】
次いで、フレーム間移動量算出部１３０は、フレームの読み込み数をカウントするためのインデックスｉを１に設定し（Ｓ３０３ｄ）、フレームを時系列順に（例えば、押出機側からコークス排出側に向かって順に）読み込む。そして、フレーム間移動量算出部１３０は、インデックスｉが総フレーム数より小さいか否かを判定する（Ｓ３０５ｄ）。フレーム間移動量算出部１３０は、インデックスｉが総フレーム以上であれば（Ｓ３０５ｄ：ＹＥＳ）、すべてのフレームについて後述のステップＳ３０７ｄ、Ｓ３０９ｄの処理を終えたため、図１７に示す処理を終了する。
【0116】
一方、インデックスｉが総フレーム未満の場合（Ｓ３０５ｄ：ＮＯ）、フレーム間移動量算出部１３０は、押出ラム２１の押出速度に基づいて、ｉ番目のフレーム間移動量Ｌを求める（Ｓ３０７ｄ）。ｉ番目のフレーム間移動量Ｌは、例えば、下記式（４）を用いて求めることができる。
【0117】
ｉ番目のフレーム間移動量Ｌ
＝ｉ番目のフレーム撮影時の押出速度×ピクセル変換定数 ・・・（４）
＝ｉ番目のフレーム撮影時の押出速度×ピクセル変換定数 ・・・（４）
【0118】
フレーム間移動量算出部１３０は、ｉ番目のフレーム撮影時の押出速度に、押出速度をピクセルに変換するピクセル変換定数を乗ずることにより、ｉ番目のフレーム間移動量Ｌを得る。押出速度をピクセルに変換するピクセル変換定数は、予め設定される、コークス炉に固有の値である。例えば、過去の操業にて取得された炉壁斜視画像を用いて、ピクセル変換定数を変化させて炉壁観察画像を繰り返し作成し、良好な炉壁観察画像が得られたときのピクセル変換定数を採用するようにしてもよい。
【0119】
フレーム間移動量算出部１３０は、上記式（４）を用いてｉ番目のフレーム間移動量Ｌを算出すると、決定移動量格納配列のｉ番目に当該フレーム間移動量Ｌを格納する。
【0120】
その後、フレーム間移動量算出部１３０は、インデックスｉに１を加算して（Ｓ３０９ｄ）、ステップＳ３０５ｄからの処理を繰り返し実施する。以上、押出速度を用いてフレーム間移動量を求める手法を説明した。
【0121】
（５）押出ラムの押出速度パターンに基づく手法
次に、図１８及び図１９に基づいて、押出ラムの押出速度パターンを用いたフレーム間移動量算出処理を説明する。図１８は、押出ラムの押出速度パターンを用いたフレーム間移動量算出処理の一例を示すフローチャートである。図１９は、押出速度パターンの一例を示す説明図である。かかる手法では、フレーム間移動量算出部１３０は、１回のコークス押出しにおける押出ラム２１の押出速度パターンに基づいて、フレーム間移動量Ｌを算出する。
次に、図１８及び図１９に基づいて、押出ラムの押出速度パターンを用いたフレーム間移動量算出処理を説明する。図１８は、押出ラムの押出速度パターンを用いたフレーム間移動量算出処理の一例を示すフローチャートである。図１９は、押出速度パターンの一例を示す説明図である。かかる手法では、フレーム間移動量算出部１３０は、１回のコークス押出しにおける押出ラム２１の押出速度パターンに基づいて、フレーム間移動量Ｌを算出する。
【0122】
押出ラム２１の押出速度パターンは、例えば図１９に示すように、押出開始から押出終了までの各押出位置における押出速度を示している。図１９の例では、押出速度は、押出開始からしばらく増加した後、ほぼ一定となり、その後急激に低下している。このような押出位置における押出速度の変化は、押出ラム２１の移動距離の変化として考えることができる。すなわち、押出速度が小さい場合には押出ラム２１の移動距離も小さくなり、押出速度が大きい場合には押出ラム２１の移動距離も大きくなる。そこで、フレーム番号（すなわち、インデックスｉ）を総フレーム数で除算した値を押出位置パラメータλとして、押出速度パターンにおいて押出位置パラメータλに対応する押出速度からフレーム間移動量を算出する。
【0123】
なお、押出速度パターンは、コークス炉に固有のものであり、例えば、当該押出し時に押出速度を測定して設定してもよく、過去の操業実績に基づき試行錯誤して設定してもよい。押出位置の計測は不要である。
【0124】
フレーム間移動量算出部１３０は、まず、算出されるフレーム間移動量を格納するための決定移動量格納配列に初期値を設定する（Ｓ３０１ｅ）。決定移動量格納配列には、初期値として、例えば「０」の値が格納される。決定移動量格納配列は、ステップＳ１０５にて読み込まれた総フレーム分のフレーム間移動量を格納可能なサイズに設定され、左領域用と右領域用とが用意される。
【0125】
次いで、フレーム間移動量算出部１３０は、フレームの読み込み数をカウントするためのインデックスｉを１に設定し（Ｓ３０３ｅ）、フレームを時系列順に（例えば、押出機側からコークス排出側に向かって順に）読み込む。そして、フレーム間移動量算出部１３０は、インデックスｉが総フレーム数より小さいか否かを判定する（Ｓ３０５ｅ）。フレーム間移動量算出部１３０は、インデックスｉが総フレーム以上であれば（Ｓ３０５ｅ：ＹＥＳ）、すべてのフレームについて後述のステップＳ３０７ｅ～Ｓ３１１ｅの処理を終えたため、図１８に示す処理を終了する。
【0126】
一方、インデックスｉが総フレーム未満の場合（Ｓ３０５ｅ：ＮＯ）、フレーム間移動量算出部１３０は、フレーム番号（すなわち、インデックスｉ）を総フレーム数で除算した値を押出位置パラメータλを算出する（Ｓ３０７ｅ）。そして、フレーム間移動量算出部１３０は、押出速度パターンに基づいて、ｉ番目のフレーム間移動量Ｌを求める（Ｓ３０９ｅ）。ｉ番目のフレーム間移動量Ｌは、例えば、下記式（５）を用いて求めることができる。
【0127】
ｉ番目のフレーム間移動量Ｌ
＝押出位置パラメータλにおける押出速度×ピクセル変換定数 ・・・（５）
＝押出位置パラメータλにおける押出速度×ピクセル変換定数 ・・・（５）
【0128】
フレーム間移動量算出部１３０は、フレーム番号（すなわち、インデックスｉ）を総フレーム数で除算した値を押出位置パラメータλとした際のλにおける押出速度に、押出速度をピクセルに変換するピクセル変換定数を乗ずることにより、ｉ番目のフレーム間移動量Ｌを得る。押出速度をピクセルに変換するピクセル変換定数は、設定されている押出速度パターンに基づき設定される。フレーム間移動量算出部１３０は、上記式（５）を用いてｉ番目のフレーム間移動量Ｌを算出すると、決定移動量格納配列のｉ番目に当該フレーム間移動量Ｌを格納する。
【0129】
その後、フレーム間移動量算出部１３０は、インデックスｉに１を加算して（Ｓ３１１ｅ）、ステップＳ３０５ｅからの処理を繰り返し実施する。以上、押出速度パターンを用いてフレーム間移動量を求める手法を説明した。
【0130】
このように、フレーム間移動量算出部１３０は、上述したような手法を用いてフレーム間移動量算出処理を実施し、フレーム間移動量Ｌまたは補正後のフレーム間移動量Ｌ’を算出する。
【0131】
［３－４．フレーム重複数算出処理］
図５の説明に戻り、フレーム間移動量算出処理（Ｓ３０）を終えると、重複数算出部１６０は、フレームの重複数を算出する（Ｓ４０）。図２０及び図２１に基づいて、フレーム重複数算出処理を説明する。図２０は、本実施形態に係るフレーム重複数算出処理の一例を示すフローチャートである。図２１は、フレーム重複数算出処理を説明するための説明図である。フレーム重複数算出処理は、図２に示したように、炉壁１１の同一位置を撮像した部分（重複部分）Ｐｏを含む連結用画像Ｆがいくつあるかをカウントする処理である。
図５の説明に戻り、フレーム間移動量算出処理（Ｓ３０）を終えると、重複数算出部１６０は、フレームの重複数を算出する（Ｓ４０）。図２０及び図２１に基づいて、フレーム重複数算出処理を説明する。図２０は、本実施形態に係るフレーム重複数算出処理の一例を示すフローチャートである。図２１は、フレーム重複数算出処理を説明するための説明図である。フレーム重複数算出処理は、図２に示したように、炉壁１１の同一位置を撮像した部分（重複部分）Ｐｏを含む連結用画像Ｆがいくつあるかをカウントする処理である。
【0132】
重複数算出部１６０は、まず、決定移動量格納配列に格納された値（すなわち、連続するすべての炉壁正視画像Ｉｓ間でのフレーム間移動量Ｌまたは補正後のフレーム間移動量Ｌ’）と、事前に定められた連結用画像の横サイズ（固定値）とに基づいて、炉壁観察画像Ｉ全体の横サイズを求める（Ｓ４０１）。具体的には、決定移動量格納配列に格納された値の総和に１フレーム分の連結用画像の横サイズを加えた値が炉壁観察画像Ｉの横サイズになる。
【0133】
また、重複数算出部１６０は、算出される連結用画像の重複数を格納するための重複数格納配列と、平行移動量変数ｊとに初期値を設定する（Ｓ４０３）。重複数格納配列は、ステップＳ４０１にて求めた炉壁観察画像Ｉの横サイズと同一サイズに設定され、左領域用と右領域用とが用意される。重複数格納配列には、初期値として、例えば「０」の値が格納される。平行移動量変数ｊは、炉壁観察画像Ｉにおける各フレームの連結用画像の開始位置を示す値（ピクセル値）である。平行移動量変数ｊも、左領域用と右領域用とが用意される。
【0134】
次いで、重複数算出部１６０は、フレームの読み込み数をカウントするためのインデックスｉを０に設定し（Ｓ４０５）、フレームを時系列順に（例えば、押出機側からコークス排出側に向かって順に）読み込む。そして、重複数算出部１６０は、インデックスｉが総フレーム数より小さいか否かを判定する（Ｓ４０７）。重複数算出部１６０は、インデックスｉが総フレーム以上であれば（Ｓ４０７：ＹＥＳ）、すべてのフレームについて後述のステップＳ４０９～Ｓ４１９の処理を終えたため、図２０に示す処理を終了する。
【0135】
一方、インデックスｉが総フレーム未満の場合（Ｓ４０７：ＮＯ）、重複数算出部１６０は、平行移動量変数ｊに、決定移動量格納配列のｉ番目に格納された値を加算する（Ｓ４０９）。そして、重複数算出部１６０は、連結用画像の横方向位置を表すインデックスｋを０に設定し（Ｓ４１１）、インデックスｋが連結用画像の横サイズ（ピクセル値）より小さいか否かを判定する（Ｓ４１３）。
【0136】
インデックスｋが連結用画像の横サイズより小さい場合には（Ｓ４１３：ＹＥＳ）、重複数算出部１６０は、平行移動量変数ｊとインデックスｋとを加算して重複数格納配列における位置ｊ１を求め（Ｓ４１５）、重複数格納配列のｊ１番目に１を加算する（Ｓ４１７）。そして、インデックスｋに１を加算してステップＳ４１３からの処理を繰り返し実施する。
【0137】
一方、ステップＳ４１３にて、インデックスｊが連結用画像の横サイズ以上と判定されると（Ｓ４１３：ＮＯ）、重複数算出部１６０は、当該フレーム（連結用画像）についてはステップＳ４１５、Ｓ４１７の処理を終えたため、インデックスｉに１を加算して（Ｓ４１９）、ステップＳ４０７からの処理を繰り返し実施する。
【0138】
これらの処理を繰り返すことにより、重複数算出部１６０は、重複数格納配列に、炉壁観察画像Ｉの横方向におけるフレーム（連結用画像）の重複数を格納する。
【0139】
重複数算出処理を、図２１に示す簡単な例を用いて説明する。図２１に示す例において、連結用画像の横サイズは６ピクセルである。重複数算出部１６０は、まず、０番目のフレームの連結用画像について、横方向の画素位置が対応する重複数格納配列の位置に「１」を加算する（図２０のステップＳ４１１～Ｓ４１７）。具体的には、０番目のフレームの連結用画像における重複数算出開始時においては、平行移動量変数ｊ＝０、インデックスｋ＝０であることから、重複数格納配列への格納を開始する位置ｊ１は０番目となる。そして、重複数算出部１６０は、インデックスｋが５となるまで１つずつ増加させながら、重複数格納配列の０番目～５番目までに格納された値に「１」を加算して格納する。
【0140】
０番目のフレームの連結用画像についての処理を終えると、重複数算出部１６０は、次のフレームの連結用画像の処理に移る（図２０のステップＳ４１９からステップＳ４０７～Ｓ４１７の処理を実行する）。１番目のフレームの連結用画像における重複数算出開始時においては、平行移動量変数ｊ＝０＋決定移動量格納配列の１番目に格納された値（すなわち、１番目のフレームのフレーム間移動量）、インデックスｋ＝０となる。図２１の例では、決定移動量格納配列の１番目に「２」が格納されていたため、１番目のフレームの連結用画像について、重複数格納配列への格納を開始する位置ｊ１は２番目となる。そして、重複数算出部１６０は、インデックスｋが５となるまで１つずつ増加させながら、重複数格納配列の２番目～７番目までに格納された値に「１」を加算して格納する。
【0141】
１番目のフレームの連結用画像についての処理を終えると、重複数算出部１６０は、２番目のフレームの連結用画像、３番目のフレームの連結用画像、・・・と同様に重複数を算出していく。こうして、重複数算出部１６０は、重複数格納配列に、炉壁観察画像の横方向におけるフレーム（連結用画像）の重複数を格納する。
【0142】
［３－５．炉壁観察画像生成処理］
図５の説明に戻り、重複数算出処理（Ｓ４０）を終えると、炉壁観察画像生成部１５０は、炉壁観察画像生成処理を実施する（Ｓ５０）。以下、図２２～図３０に基づいて、炉壁観察画像生成処理を説明する。図２２は、炉壁観察画像生成処理の全体の流れを示すフローチャートである。図２３は、炉壁観察画像生成用の記憶領域を確保するための処理を示すフローチャートである。図２４は、代表値算出用画像の概要を示す説明図である。図２５は、代表値算出用画像生成処理の一例を示すフローチャートである。図２６は、代表値を算出するための画像データの再配置を説明する説明図である。図２７は、炉壁観察画像を構成する連結用画像を示す説明図である。図２８は、炉壁観察画像用配列への格納処理の一例を示すフローチャートである。図２９は、炉壁観察画像用配列への格納処理を説明する説明図である。図３０は、炉壁観察画像の一例を示す画像である。
図５の説明に戻り、重複数算出処理（Ｓ４０）を終えると、炉壁観察画像生成部１５０は、炉壁観察画像生成処理を実施する（Ｓ５０）。以下、図２２～図３０に基づいて、炉壁観察画像生成処理を説明する。図２２は、炉壁観察画像生成処理の全体の流れを示すフローチャートである。図２３は、炉壁観察画像生成用の記憶領域を確保するための処理を示すフローチャートである。図２４は、代表値算出用画像の概要を示す説明図である。図２５は、代表値算出用画像生成処理の一例を示すフローチャートである。図２６は、代表値を算出するための画像データの再配置を説明する説明図である。図２７は、炉壁観察画像を構成する連結用画像を示す説明図である。図２８は、炉壁観察画像用配列への格納処理の一例を示すフローチャートである。図２９は、炉壁観察画像用配列への格納処理を説明する説明図である。図３０は、炉壁観察画像の一例を示す画像である。
【0143】
炉壁観察画像生成処理では、図２に基づき説明したように、炉壁１１の同一位置を撮像した部分（重複部分）Ｐｏを含む連結用画像Ｆから、重複部分Ｐｏの画素値の代表値を算出し、炉壁観察画像Ｉを生成する。これにより、一部の連結用画像Ｆに火の粉が写り込んでいた場合にもその影響を軽減することができ、より鮮明な炉壁観察画像を得ることができる。
【0144】
本実施形態に係る炉壁観察画像生成処理では、炉壁観察画像生成部１５０は、図２２に示すように、炉壁観察画像生成用の記憶領域を確保するための処理（Ｓ５１）、代表値算出用画像生成処理（Ｓ５３）、及び、炉壁観察画像用配列への格納処理（Ｓ５５）を実施する。以下、各処理について詳細に説明する。
【0145】
（１）炉壁観察画像生成用の記憶領域を確保するための処理
まず、炉壁観察画像生成部１５０は、図２３に示す、炉壁観察画像生成用の記憶領域を確保するための処理を実行する。
まず、炉壁観察画像生成部１５０は、図２３に示す、炉壁観察画像生成用の記憶領域を確保するための処理を実行する。
【0146】
炉壁観察画像生成部１５０は、炉壁観察画像用格納配列、代表値算出用配列、重複カウント用配列、及び、平行移動量変数ｊに対して、初期値を設定する（Ｓ５１０）。炉壁観察画像用格納配列は、最終的に生成される炉壁観察画像に関するデータを格納する配列であり、左領域用と右領域用とが用意される。代表値算出用配列及び重複カウント用配列は、後述する代表値算出用画像生成処理にて用いられる配列である。代表値算出用配列及び重複カウント用配列は、炉壁観察画像の横サイズと同一サイズに設定され、左領域用と右領域用とが用意される。炉壁観察画像用格納配列、代表値算出用配列、及び、重複カウント用配列には、初期値として、例えば「０」の値が格納される。平行移動量変数ｊは、炉壁観察画像における各フレームの連結用画像の開始位置を示す値（ピクセル値）である。平行移動量変数ｊも、左領域用と右領域用とが用意される。
【0147】
次いで、炉壁観察画像生成部１５０は、平行移動量変数ｊが代表値算出用配列のサイズよりも小さいか否かを判定する（Ｓ５１１）。平行移動量変数ｊが代表値算出用配列のサイズよりも小さいとき（Ｓ５１１：ＹＥＳ）、炉壁観察画像生成部１５０は、ｊ番目の代表値算出用画像を確保して、代表値算出用配列のｊ番目に格納する（Ｓ５１２）。ｊ番目の代表値算出用画像は、縦方向のサイズが炉壁観察画像の縦サイズと同一であり、横方向のサイズが重複数格納配列のｊ番目に格納された値（ピクセル値）である大きさを有する。
【0148】
例えば、図２４に示すように、代表値算出用配列の０番目には、縦方向のサイズが炉壁観察画像の縦サイズと同一であり、横方向のサイズが重複数格納配列の０番目に格納された値（すなわち、「１」）である大きさを有する画像が格納される。また、例えば、代表値算出用配列の２番目には、縦方向のサイズが炉壁観察画像の縦サイズと同一であり、横方向のサイズが重複数格納配列の２番目に格納された値（すなわち、「２」）である大きさを有する画像が格納される。すなわち、代表値算出用配列の同一位置には、炉壁の押出方向において同一位置を撮像した画像が１または複数格納される。なお、代表値算出用配列には、実際の画像を格納する代わりに、確保した代表値算出用画像を特定するための情報を格納してもよい。そして、炉壁観察画像生成部１５０は、平行移動量変数ｊに１を加算して（Ｓ５１３）、ステップＳ５１１からの処理を繰り返す。
【0149】
炉壁観察画像生成部１５０は、平行移動量変数ｊが代表値算出用配列のサイズよりも小さい間は、ステップＳ５１１、Ｓ５１３の処理を繰り返し実施する。そして、ステップＳ５１１にて平行移動量変数ｊが代表値算出用配列のサイズ以上となった判定したとき（Ｓ５１１：ＮＯ）、炉壁観察画像生成部１５０は、図２３に示す処理を終了する。
【0150】
【0151】
炉壁観察画像生成部１５０は、まず、フレームの読み込み数をカウントするためのインデックスｉに０を設定し、平行移動量変数ｊに０を設定し（Ｓ５３０）、インデックスｉが総フレーム未満であるか否かを判定する（Ｓ５３１）。インデックスｉが総フレーム以上であれば（Ｓ５３１：ＮＯ）、すべてのフレームについて後述のステップＳ５３２～Ｓ５４４の処理を終えたため、図２５に示す処理を終了する。
【0152】
一方、インデックスｉが総フレーム未満の場合（Ｓ５３１：ＹＥＳ）、炉壁観察画像生成部１５０は、フレーム間移動量算出部１３０から出力された炉壁正視画像Ｉｓ（フレーム）を読み込み（Ｓ５３２）、平行移動量変数ｊに、決定移動量格納配列のｉ番目の値を加算する（Ｓ５３３）。そして、炉壁観察画像生成部１５０は、図１０に示したフレーム間移動量算出処理で行ったように、対称軸Ｃを用いて当該フレームを左領域と右領域とに分割し（Ｓ５３４）、フレームの左領域と右領域それぞれを透視変換して、各領域の正視画像を得る（Ｓ５３４）。その後、炉壁観察画像生成部１５０は、得られた炉壁正視画像Ｉｓから、炉壁観察画像Ｉを構成する連結用画像Ｆを切り出す（Ｓ５３５）。例えば、図２６左側に示すように、炉壁正視画像Ｉｓから事前に定められた横サイズ分（固定値）の連結用画像Ｆが切り出される。連結用画像Ｆの領域は、炉壁正視画像Ｉｓにおいて炉壁を明瞭に確認できる領域に予め設定されている。炉壁正視画像Ｉｓから連結用画像Ｆを切り出す位置及びサイズは各フレームにおいて同一とする。
【0153】
その後、炉壁観察画像生成部１５０は、連結用画像Ｆの横方向位置を表すインデックスｋを０に設定し（Ｓ５３７）、インデックスｋが連結用画像の横サイズ（ピクセル値）より小さいか否かを判定する（Ｓ５３８）。
【0154】
インデックスｋが連結用画像の横サイズより小さい場合には（Ｓ５３８：ＹＥＳ）、炉壁観察画像生成部１５０は、平行移動量変数ｊとインデックスｋとを加算して重複数格納配列における位置ｊ１を求める（Ｓ５３９）。そして、炉壁観察画像生成部１５０は、重複数格納配列におけるｊ１番目に格納された値をｊ２とし（Ｓ５４０）、連結用画像Ｆの横方向位置ｋの画像データを、図２３に示した炉壁観察画像生成用の記憶領域を確保するための処理によって確保された、代表値算出用配列のｊ１番目の、代表値算出用画像の横方向位置ｊ２に格納する（Ｓ５４１）。その後、炉壁観察画像生成部１５０は、重複数格納配列におけるｊ１番目に１を加算し（Ｓ５４２）、インデックスｋに１を加算した後（Ｓ５４３）、ステップＳ５３８からの処理を繰り返し実施する。
【0155】
一方、ステップＳ５３８にてインデックスｋが連結用画像の横サイズ以上と判定すると（Ｓ５３８：ＮＯ）、炉壁観察画像生成部１５０は、インデックスｉに１を加算してステップＳ５３１からの処理を繰り返し実施する。
【0156】
これらの処理を繰り返すことにより、炉壁観察画像生成部１５０は、代表値算出用配列に、各フレームの連結用画像から切り出した代表値算出用画像を格納する。すなわち、代表値算出用配列には、各連結用画像において重複する部分からなる代表値算出用画像が格納される。例えば、図２６に示す例では、各連結用画像は、それぞれ、横サイズが６ピクセルであり、横方向にピクセル単位で６つの画像データに分割される。炉壁観察画像生成部１５０は、図２３に示した処理によって確保された代表値算出用配列の０番目～５番目に、０番目のフレームの連結用画像の画像データをそれぞれ格納する。また、炉壁観察画像生成部１５０は、代表値算出用配列の２番目～７番目に、１番目のフレームの連結用画像の画像データをそれぞれ格納する。同様に、炉壁観察画像生成部１５０は、２番目のフレームの連結用画像、３番目のフレームの連結用画像、・・・と、画像データを代表値算出用配列の所定の位置に格納する。こうして、代表値算出用配列に代表値算出用画像が格納される。
【0157】
【0158】
炉壁観察画像生成部１５０は、まず、炉壁観察画像の横方向位置ｊに０を設定し（Ｓ５５０）、炉壁観察画像の横方向位置ｊが代表値算出用配列のサイズより小さいか否かを判定する（Ｓ５５１）。炉壁観察画像の横方向位置ｊが代表値算出用配列のサイズ以上であれば（Ｓ５５１：ＮＯ）、後述のステップＳ５５２～Ｓ５５４の処理を終え、炉壁観察画像Ｉが生成されたため、図２８に示す処理を終了する。
【0159】
炉壁観察画像の横方向位置ｊが代表値算出用配列のサイズよりも小さいとき（Ｓ５５１：ＹＥＳ）、代表値算出用画像の縦方向位置を表すインデックスｋを０に設定し（Ｓ５５２）、インデックスｋが代表値算出用画像の縦サイズ（ピクセル値）より小さいか否かを判定する（Ｓ５５３）。炉壁観察画像生成部１５０は、インデックスｋが代表値算出用画像の縦サイズ以上であれば（Ｓ５５３：ＮＯ）、炉壁観察画像の横方向位置ｊに１を加算した後（Ｓ５５４）、ステップＳ５５１からの処理を繰り返し実施する。
【0160】
一方、インデックスｋが代表値算出用画像の縦サイズより小さい場合には（Ｓ５５３：ＹＥＳ）、炉壁観察画像生成部１５０は、代表値算出用配列のｊ番目に格納された代表値算出用画像について、縦方向位置ｋ番目の画素値についての代表値を算出し、炉壁観察画像配列の縦方向位置ｋ、横方向位置ｊに、算出した代表値を格納する（Ｓ５５５）。例えば、図２９に示すように、代表値算出用配列のｊ番目に、重複する３つの画像データからなる代表値算出用画像が格納されているとする。このとき、炉壁観察画像生成部１５０は、代表値算出用画像のすべての縦方向位置において、炉壁の同一部分を表す３つの画素値の代表値を求め、当該代表値を炉壁観察画像の縦方向位置ｋ、横方向位置ｊにおける画素値とする。炉壁観察画像生成部１５０は、ステップＳ５５５にて縦方向位置ｋ番目の画素値の代表値を算出すると、インデックスｋに１を加算した後（Ｓ５５６）、ステップＳ５５３の処理に戻る。
【0161】
代表値は、例えば、炉壁の同一部分を表す複数の画素値の中央値であってもよく、平均値であってもよい。また、炉壁観察画像生成部１５０は、連結用画像の重複数に応じて、画素値の代表値として算出する値を決定してもよい。
【0162】
例えば、重複数が少ない部分では、代表値として、例えば平均値を用いてもよい。例えば、押出開始直後は、重複数は少ないが、火の粉が生じる可能性も低いため、代表値として平均値を用いても火の粉の影響はないとみなすことができる。火の粉が生じる可能性がある位置においては、例えば、複数の画素値のうち、明るく高い画素値を示すものを除外して、平均値を算出してもよい。これにより、火の粉が写り込むことによって画像が不鮮明となることを抑制できる。
【0163】
一方、押出位置中央付近では、フレームの重複数は１０前後であり、火の粉が発生していた場合には、このうち１、２フレームくらいである。これより、代表値として中央値を用いれば、重複する画像データの一部に火の粉が写り込んでいたとしても、火の粉が写り込むことによって画像が不鮮明となることを抑制できる。
【0164】
このように、連結用画像の重複数に応じて、画素値の代表値として算出する値を決定することで、より適切な画素値を得ることができ、鮮明な炉壁観察画像を生成することができる。
【0165】
炉壁観察画像生成部１５０は、ｊ番目の代表値算出用画像についてステップＳ５５１～Ｓ５５４の処理を繰り返し実施して、炉壁観察画像の横方向位置ｊにおける画像データを生成する。そして、すべての代表値算出用画像から炉壁観察画像の横方向位置ｊにおける画像データを生成し、ステップＳ５５１において炉壁観察画像の横方向位置ｊが代表値算出用配列のサイズ以上となったとき、炉壁観察画像Ｉが生成される。
【0166】
一例として、図３０に、本実施形態に係る画像処理方法を適用する前に生成された炉壁観察画像（ａ．処理前炉壁観察画像）と、本実施形態に係る画像処理方法を適用して生成された処理前の炉壁観察画像（ｂ．処理後炉壁観察画像）とを示す。図３０に示すように、処理前炉壁観察画像の破線で囲まれた部分に表れていた火の粉の影響が、処理後炉壁観察画像では軽減されている。このように、本実施形態に係る画像処理方法を用いることにより、より鮮明な炉壁観察画像を生成することができる。
【0167】
［４．ハードウェア構成］
図３１に基づいて、本実施形態に係る画像処理装置１００のハードウェア構成について説明する。図３１は、本実施形態に係る画像処理装置１００として機能する情報処理装置９００のハードウェア構成の一例を示すブロック図である。
図３１に基づいて、本実施形態に係る画像処理装置１００のハードウェア構成について説明する。図３１は、本実施形態に係る画像処理装置１００として機能する情報処理装置９００のハードウェア構成の一例を示すブロック図である。
【0168】
情報処理装置９００は、プロセッサ（図３１ではＣＰＵ９０１）と、ＲＯＭ９０３と、ＲＡＭ９０５とを含む。また、情報処理装置９００は、バス９０７と、入力Ｉ／Ｆ９０９と、出力Ｉ／Ｆ９１１と、ストレージ装置９１３と、ドライブ９１５と、接続ポート９１７と、通信装置９１９とを含む。
【0169】
ＣＰＵ９０１は、演算処理装置および制御装置として機能する。ＣＰＵ９０１は、ＲＯＭ９０３、ＲＡＭ９０５、ストレージ装置９１３、またはリムーバブル記録媒体９２５に記録された各種プログラムに従って、情報処理装置９００内の動作全般またはその一部を制御する。ＲＯＭ９０３は、ＣＰＵ９０１が使用するプログラムあるいは演算パラメータ等を記憶する。ＲＡＭ９０５は、ＣＰＵ９０１が使用するプログラム、あるいは、プログラムの実行において適宜変化するパラメータ等を一次記憶する。これらはＣＰＵバス等の内部バスにより構成されるバス９０７により相互に接続されている。
【0170】
バス９０７は、ブリッジを介して、ＰＣＩ（Peripheral Component Interconnect/Interface）バスなどの外部バスに接続されている。
【0171】
入力Ｉ／Ｆ９０９は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ及びレバー等の、ユーザが操作する操作手段である入力装置９２１からの入力を受け付けるインタフェースである。入力Ｉ／Ｆ９０９は、例えば、ユーザが入力装置９２１を用いて入力した情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路等として構成されている。入力装置９２１は、例えば、赤外線あるいはその他の電波を利用したリモートコントロール装置、あるいは、情報処理装置９００の操作に対応したＰＤＡ等の外部機器９２７であってもよい。情報処理装置９００のユーザは、入力装置９２１を操作し、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりすることができる。
【0172】
出力Ｉ／Ｆ９１１は、入力された情報を、ユーザに対して視覚的または聴覚的に通知可能な出力装置９２３へ出力するインタフェースである。出力装置９２３は、例えば、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置およびランプ等の表示装置であってもよい。あるいは、出力装置９２３は、スピーカ及びヘッドホン等の音声出力装置や、プリンター、移動通信端末、ファクシミリ等であってもよい。出力Ｉ／Ｆ９１１は、出力装置９２３に対して、例えば、情報処理装置９００により実行された各種処理にて得られた処理結果を出力するよう指示する。具体的には、出力Ｉ／Ｆ９１１は、表示装置に対して情報処理装置９００による処理結果を、テキストまたはイメージで表示するよう指示する。また、出力Ｉ／Ｆ９１１は、音声出力装置に対し、再生指示を受けた音声データ等のオーディオ信号をアナログ信号に変換して出力するよう指示する。
【0173】
ストレージ装置９１３は、情報処理装置９００の記憶部の１つであり、データ格納用の装置である。ストレージ装置９１３は、例えば、ＨＤＤ（Hard Disk Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイスまたは光磁気記憶デバイス等により構成される。ストレージ装置９１３は、ＣＰＵ９０１が実行するプログラム、プログラムの実行により生成された各種データ、及び、外部から取得した各種データ等を格納する。
【0174】
ドライブ９１５は、記録媒体用リーダライタであり、情報処理装置９００に内蔵あるいは外付けされる。ドライブ９１５は、装着されているリムーバブル記録媒体９２５に記録されている情報を読み出し、ＲＡＭ９０５に出力する。また、ドライブ９１５は、装着されているリムーバブル記録媒体９２５に情報を書き込むことも可能である。リムーバブル記録媒体９２５は、例えば、磁気ディスク、光ディスク、光磁気ディスクまたは半導体メモリ等である。具体的には、リムーバブル記録媒体９２５は、ＣＤメディア、ＤＶＤメディア、Ｂｌｕ－ｒａｙ（登録商標）メディア、コンパクトフラッシュ（登録商標）（CompactFlash：ＣＦ）、フラッシュメモリ、ＳＤメモリカード（Secure Digital memory card）等であってもよい。また、リムーバブル記録媒体９２５は、例えば、非接触型ＩＣチップを搭載したＩＣカード（Integrated Circuit card）または電子機器等であってもよい。
【0175】
接続ポート９１７は、機器を情報処理装置９００に直接接続するためのポートである。接続ポート９１７は、例えば、ＵＳＢ（Universal Serial Bus）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Small Computer System Interface）ポート、ＲＳ－２３２Ｃポート等である。情報処理装置９００は、接続ポート９１７に接続された外部機器９２７から、直接各種データを取得したり外部機器９２７に各種データを提供したりすることができる。
【0176】
通信装置９１９は、例えば、通信網９２９に接続するための通信デバイス等で構成された通信インタフェースである。通信装置９１９は、例えば、有線または無線ＬＡＮ（Local Area Network）、Ｂｌｕｅｔｏｏｔｈ（登録商標）またはＷＵＳＢ（Wireless USB）用の通信カード等である。また、通信装置９１９は、光通信用のルータ、ＡＤＳＬ（Asymmetric Digital Subscriber Line）用のルータ、または、各種通信用のモデム等であってもよい。通信装置９１９は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。また、通信装置９１９に接続される通信網９２９は、有線または無線によって接続されたネットワーク等により構成されている。例えば、通信網９２９は、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信または衛星通信等である。
【0177】
以上、情報処理装置９００のハードウェア構成の一例を示した。上述の各構成要素は、汎用的な部材を用いて構成されてもよく、各構成要素の機能に特化したハードウェアにより構成されてもよい。情報処理装置９００のハードウェア構成は、本実施形態を実施する時々の技術レベルに応じて適宜変更可能である。
【0178】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【0179】
１ コークス炉
１０ 炭化室
１１、１１Ｌ、１１Ｒ 炉壁
１３ 炉底
１５ 炭化室窯口
２０ 押出ラムビーム
２１ 押出ラム
３１、３３ 撮像装置
１００ 画像処理装置
１１０ 画像取得部
１２０ 前処理部
１３０ フレーム間移動量算出部
１４０ フレーム間移動量推定部
１５０ 炉壁観察画像生成部
１６０ 重複数算出部
３００ 記憶装置
３１０ 撮像画像記憶部
３２０ 炉壁観察画像記憶部
５００ 表示装置
９００ 情報処理装置
９０７ バス
９１３ ストレージ装置
９１５ ドライブ
９１７ 接続ポート
９１９ 通信装置
９２１ 入力装置
９２３ 出力装置
９２５ リムーバブル記録媒体
９２７ 外部機器
９２９ 通信網
Ａ０ 部分領域
Ａ１、Ａ２ テンプレート画像
Ｃ 対称軸
Ｉａ 時間平均画像
Ｉｐ 炉壁斜視画像（フレーム）
ＩｐＲ 炉壁斜視画像の右領域
Ｉｓ 炉壁正視画像
Ｉｓ１ 第１の炉壁正視画像
Ｉｓ２ 第２の炉壁正視画像
ＩｓＲ 炉壁正視画像の右領域
Ｉ 炉壁観察画像
Ｆ 連結用画像
Ｌ フレーム間移動量
Ｒ テンプレートマッチング結果
ＳＴ 探索領域
Ｗ 時間平均画像の横幅
１０ 炭化室
１１、１１Ｌ、１１Ｒ 炉壁
１３ 炉底
１５ 炭化室窯口
２０ 押出ラムビーム
２１ 押出ラム
３１、３３ 撮像装置
１００ 画像処理装置
１１０ 画像取得部
１２０ 前処理部
１３０ フレーム間移動量算出部
１４０ フレーム間移動量推定部
１５０ 炉壁観察画像生成部
１６０ 重複数算出部
３００ 記憶装置
３１０ 撮像画像記憶部
３２０ 炉壁観察画像記憶部
５００ 表示装置
９００ 情報処理装置
９０７ バス
９１３ ストレージ装置
９１５ ドライブ
９１７ 接続ポート
９１９ 通信装置
９２１ 入力装置
９２３ 出力装置
９２５ リムーバブル記録媒体
９２７ 外部機器
９２９ 通信網
Ａ０ 部分領域
Ａ１、Ａ２ テンプレート画像
Ｃ 対称軸
Ｉａ 時間平均画像
Ｉｐ 炉壁斜視画像（フレーム）
ＩｐＲ 炉壁斜視画像の右領域
Ｉｓ 炉壁正視画像
Ｉｓ１ 第１の炉壁正視画像
Ｉｓ２ 第２の炉壁正視画像
ＩｓＲ 炉壁正視画像の右領域
Ｉ 炉壁観察画像
Ｆ 連結用画像
Ｌ フレーム間移動量
Ｒ テンプレートマッチング結果
ＳＴ 探索領域
Ｗ 時間平均画像の横幅
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】