特許 7154537 画像特徴抽出方法、および、画像特徴抽出装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-10-07

(45)【発行日】2022-10-18

(54)【発明の名称】画像特徴抽出方法、および、画像特徴抽出装置

(51)【国際特許分類】

   F23N 5/00 20060101AFI20221011BHJP

   F23G 5/50 20060101ALI20221011BHJP

   G06T 7/00 20170101ALI20221011BHJP

【ＦＩ】

F23N5/00 H

F23G5/50 L

G06T7/00 ZAB

G06T7/00 300F

【請求項の数】 11

(21)【出願番号】P 2018168459

(22)【出願日】2018-09-10

(65)【公開番号】P2020042468

(43)【公開日】2020-03-19

【審査請求日】2021-04-08

【前置審査】

(73)【特許権者】

【識別番号】000006208

【氏名又は名称】三菱重工業株式会社

(73)【特許権者】

【識別番号】301021533

【氏名又は名称】国立研究開発法人産業技術総合研究所

(74)【代理人】

【識別番号】110000785

【氏名又は名称】ＳＳＩＰ弁理士法人

(72)【発明者】

【氏名】野里 博和

(72)【発明者】

【氏名】岩下 信治

(72)【発明者】

【氏名】坂無 英徳

(72)【発明者】

【氏名】村川 正宏

(72)【発明者】

【氏名】松本 崇寛

(72)【発明者】

【氏名】嶺 聡彦

【審査官】佐田 宏史

(56)【参考文献】

【文献】特開平０８－１３８０５８（ＪＰ，Ａ）

【文献】特開２０１７－１８７２２８（ＪＰ，Ａ）

【文献】特開２００５－０９２３４６（ＪＰ，Ａ）

【文献】国際公開第２０１３／１０００６９（ＷＯ，Ａ１）

【文献】特開２００４－１９２５５５（ＪＰ，Ａ）

【文献】特開２０００－２７４６７５（ＪＰ，Ａ）

【文献】特開平０７－１２６６６３（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１５／０２９８２９２（ＵＳ，Ａ１）

【文献】柳 漢呉、外２名，“画像処理法を用いた火花点火機関における火災伝播の解析”，可視化情報学会誌，日本，（社）可視化情報学会，1992年01月15日，Vol.12, No.44，pp.36-44

【文献】Qi Wang et al.，"Local entropy based pre-processing for flame images of alumina rotary kiln"，2014 9th IEEE Conference on Industrial Electronics and Applications，米国，IEEE，2014年06月09日，pp.1476-1480

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｆ２３Ｎ ５／００

Ｆ２３Ｇ ５／５０

Ｇ０６Ｔ １／００，７／００－７／９０

Ｇ０６Ｖ １０／００－１０／９８

(57)【特許請求の範囲】

【請求項1】

プロセッサによって実行される画像特徴抽出方法であって、
流動場を撮像することにより得られた処理対象となる複数の対象画像の各々毎に、前記対象画像が有する輝度分布に基づいて、前記輝度分布における輝度値の高低の差を増幅することによるコントラストの強調を通して、少なくとも１つの前処理後画像を得る前処理ステップと、
前記少なくとも１つの前処理後画像から、前記流動場の時間的・空間的な変化の画像特徴を数値化した少なくとも１つの特徴量を算出する特徴量算出ステップと、を備え、
前記画像特徴は複数種類の前記画像特徴を含み、
互いに異なる前記対象画像を含む、前記複数の対象画像の複数のセットを準備し、前記複数のセットに対して、それぞれ、前記前処理ステップおよび前記特徴量算出ステップを行うことによって得られる前記画像特徴の種類毎の前記特徴量の集合に対して、前記集合毎に平均化処理を実行する平均化処理ステップを備え、
前記前処理ステップは、
前記複数の対象画像の各々の前記輝度分布に基づいて、前記複数の対象画像の各々に応じた前記輝度値の閾値を設定する閾値設定ステップと、
前記複数の対象画像の各々毎に、前記複数の対象画像の各々に応じた前記輝度値の閾値を用いて、前記コントラストの強調を実行するコントラスト強調ステップと、を有し、
前記コントラスト強調ステップは、
前記複数の対象画像の各々毎に、前記輝度分布を構成する複数の輝度値のうちの前記閾値よりも小さい輝度値を有する輝度値を、前記閾値よりも小さい所定値に変更し、且つ、前記複数の輝度値のうちの前記閾値以上の輝度値を有する輝度値を変更しないことを特徴とする画像特徴抽出方法。

【請求項2】

前記対象画像は、前記流動場を撮像した画像である撮像画像の一部の領域を構成する画像であることを特徴とする請求項１に記載の画像特徴抽出方法。

【請求項3】

前記撮像画像の一部の領域は前記撮像画像の中心に位置する領域を含むことを特徴とする請求項２に記載の画像特徴抽出方法。

【請求項4】

前記輝度分布は、グレースケールの前記対象画像の前記輝度値の分布であることを特徴とする請求項１～３のいずれか１項に記載の画像特徴抽出方法。

【請求項5】

前記前処理ステップは、
前記コントラスト強調ステップの後に、前記コントラストの強調が実行された２つの前記対象画像の差分画像を生成する差分画像生成ステップを、さらに有し、
前記差分画像生成ステップで生成される前記差分画像を前記前処理後画像として得ることを特徴とする請求項１に記載の画像特徴抽出方法。

【請求項6】

前記特徴量算出ステップは、
立体高次局所自己相関特徴法による処理を行うことによって、前記少なくとも１つの前処理後画像から前記少なくとも１つの特徴量を算出することを特徴とする請求項１～５のいずれか１項に記載の画像特徴抽出方法。

【請求項7】

前記特徴量算出ステップにより得られる複数の前記特徴量の中から前記少なくとも１つの特徴量を選択する特徴量選択ステップを、さらに備えることを特徴とする請求項１～６のいずれか１項に記載の画像特徴抽出方法。

【請求項8】

前記平均化処理は、前記集合毎の移動平均を算出する処理、または前記集合毎の区間平均を算出する処理であることを特徴とする請求項１に記載の画像特徴抽出方法。

【請求項9】

前記特徴量は、前記複数の対象画像で示される流動状態の状態量の推定に用いるためのものであり、
前記平均化処理された複数の前記特徴量の中から前記状態量の推定に対する寄与度が高い特徴量を選択する平均化特徴量選択ステップを、さらに備えることを特徴とする請求項１または８に記載の画像特徴抽出方法。

【請求項10】

前記複数の対象画像は、焼却炉の炉内の同一の範囲を燃料の燃焼時に時間をずらして撮像した撮像画像の少なくとも一部を構成することを特徴とする請求項１～９のいずれか１項に記載の画像特徴抽出方法。

【請求項11】

画像特徴抽出のための画像特徴抽出装置であって、
流動場を撮像することにより得られた処理対象となる複数の対象画像の各々毎に、前記対象画像が有する輝度分布に基づいて、前記輝度分布における輝度値の高低の差を増幅することによるコントラストの強調を通して、少なくとも１つの前処理後画像を得る前処理部と、
前記少なくとも１つの前処理後画像から、前記流動場の時間的・空間的な変化の画像特徴を数値化した少なくとも１つの特徴量を算出する特徴量算出部と、を備え、
前記画像特徴は複数種類の前記画像特徴を含み、
互いに異なる前記対象画像を含む、前記複数の対象画像の複数のセットを準備し、前記複数のセットに対して、それぞれ、前記前処理部および前記特徴量算出部によって得られる前記画像特徴の種類毎の前記特徴量の集合に対して、前記集合毎に平均化処理を実行する平均化処理部を備え、
前記前処理部は、
前記複数の対象画像の各々の前記輝度分布に基づいて、前記複数の対象画像の各々に応じた前記輝度値の閾値を設定する閾値設定部と、
前記複数の対象画像の各々毎に、前記複数の対象画像の各々に応じた前記輝度値の閾値を用いて、前記コントラストの強調を実行するコントラスト強調部と、を有し、
前記コントラスト強調部は、
前記複数の対象画像の各々毎に、前記輝度分布を構成する複数の輝度値のうちの前記閾値よりも小さい輝度値を有する輝度値を、前記閾値よりも小さい所定値に変更し、且つ、前記複数の輝度値のうちの前記閾値以上の輝度値を有する輝度値を変更しないことを特徴とする画像特徴抽出装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、燃焼空間などの流動場を撮像した画像から画像特徴を抽出する技術に関する。

【背景技術】

【0002】

例えば、コンベンショナルボイラを初めとした火力プラントの運転においては、運転員が炉内カメラや目視で観察した結果を元に炉内の燃焼状態を判断することがあるが、その判断基準が運転員によって異なる。このため、ＮＯｘや灰中未燃分が上昇した場合など燃焼状態が悪化した時には、熟練の指導員を現地に派遣して燃焼状態を診断する必要が生じる場合もあり、派遣費用や対応の遅れによる効率低下などが課題となる。また、燃焼状態は、例えば灰中未燃分、ＮＯｘ濃度、ＣＯ濃度などの状態量から判断することが可能であるが、例えば灰中未燃分の値は、炉出口でサンプリングした灰を分析計で加熱し、その際の重量変化を測定する必要がある（ＪＩＳ Ｍ ８８１５）など、測定結果が得られるまでに時間を要する。このため、状態量の計測結果に基づいて行った燃焼状態の判定結果をリアルタイムに運転制御に用いることは困難である。また、レーザＣＴ計測を利用して得られる燃焼ガス温度・濃度の分布から燃焼状態を診断することも可能であるが、レーザ機器が高価であることがネックとなる。

【0003】

例えば、特許文献１には、灰中未燃分などの状態量の計測に時間が要するために生じる、燃焼状態の診断の時間遅れを低減することが可能な燃焼判定方法が開示されている。具体的には、燃焼室出口におけるＯ_２濃度、燃焼室炉内圧力、または燃焼室出口温度などを計測値する。また、燃焼状態を撮像したカラー画像を画像処理して赤成分、緑成分および青成分の３成分画像に分けて表色系の変換を行い、表色系変換後の画像から特徴パラメータ（画像特徴）を抽出する。そして、抽出された特徴パラメータおよびプロセス状態量をニューラルネットワークの入力として用いて求められる典型的な燃焼状態との適合度に基づいて、例えば燃焼悪化、燃焼適正、燃焼活発というような判定を行う。

【0004】

その他、特許文献１とは異なる手法ではあるが、特許文献２～３には燃焼画像を用いた燃焼状態の検出方法が開示され、特許文献４にはモデルを用いたＮＯｘや灰中未燃分の評価方法が開示されている。
また、特許文献５には、動画像の特徴量の抽出手法としては立体高次局所自己相関特徴法が開示されている。立体高次局所自己相関特徴とは、画像を時系列に並べたボクセルデータ（３次元データ）に対して、その中の各点において局所的な自己相関特徴を計算し、この局所特徴をボクセルデータ全体にわたって積分することにより得られる統計的特徴である（特許文献５参照）。

【先行技術文献】

【特許文献】

【0005】

【文献】特開平８－４９８４５号公報

【文献】特開２０１３－２１０１０８号公報

【文献】特開平４－３１５９２９号公報

【文献】特開平４－２１４１２０号公報

【文献】特許第４３６８７６７号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

燃料の燃焼時を撮像した画像（以下、燃焼画像）に対してどの部分からどのような特徴（画像特徴）を抽出するかを人が予め決める手法では、燃焼画像に表れている複雑な燃焼現象の特徴を全て記述することは困難であるなど、熟練者の暗黙知を形式化（明示化）することは困難である。この点、本発明者らは、燃焼画像に含まれる幾何学的な特徴を抽出し、抽出された特徴と燃焼状態との相関を機械学習により導出することで、これまで形式化できなかった熟練者の燃焼診断手法を再現することが可能と考えた。

【0007】

燃焼画像では、例えば相対的に暗く映っている領域（暗部領域）は燃焼状態の良くない部分に該当するので、火炎の未燃領域の挙動を判断するのに役立つ。このような知見の下、本発明者らは、燃焼画像において燃焼状態を特徴付ける領域（部分）を画像処理により際立たせれば（強調させれば）、画像処理後の燃焼画像から燃焼状態の特徴をより確度良く抽出できるようになるので、燃焼画像の特徴（燃焼画像に表れる燃焼状態のパターン）と燃焼状態との相関をより良く導出できるようになり、燃焼画像から燃焼状態をより精度良く評価することが可能であることを見出した。また、上述したような画像から特徴を抽出する前に特徴を際立たせる手法は、燃焼画像に限らず、流体が流れる流動場（流れ場）を撮影した画像に含まれる幾何学的な特徴と、その流動状態との相関を導出するような場合にも適用可能である。

【0008】

上述の事情に鑑みて、本発明の少なくとも一実施形態は、画像に表れる幾何学的な特徴を確度良く抽出するための画像特徴抽出のための画像特徴抽出方法を提供することを目的とする。

【課題を解決するための手段】

【0009】

（１）本発明の少なくとも一実施形態に係る画像特徴抽出方法は、
流動場を撮像することにより得られた処理対象となる複数の対象画像の各々毎に、前記対象画像が有する輝度分布に基づいて、前記輝度分布における輝度値の高低の差を増幅することによるコントラストの強調を通して、少なくとも１つの前処理後画像を得る前処理ステップと、
前記少なくとも１つの前処理後画像から、前記流動場の時間的・空間的な変化の画像特徴を数値化した少なくとも１つの特徴量を算出する特徴量算出ステップと、を備える。

【0010】

上記（１）の構成によれば、複数の対象画像毎に、その輝度分布を構成する複数の輝度値間の高低の差を増幅することを通して前処理後画像を得ると共に、前処理後画像から特徴量を算出する。例えば、一般に、画像は複数の画素により構成されるが、対象画像を例えば画素毎などの複数の領域に区分けした際の各領域の輝度値の分布（輝度分布）に基づいて例えば閾値を設定し、設定した閾値に基づいてコントラストを強調した後に、特徴量を算出するなどする。このように、対象画像毎にコントラストの強調を行うことにより、対象画像に表れる流動場（流動状態）の特徴をより強調させる（際立たせる）ことができるので、前処理後画像から特徴量を算出することにより、流動状態の特徴をより確度良く抽出することができる。

【0011】

したがって、例えば流動場の一種である燃焼空間（燃焼状態）を撮像した画像（燃焼画像）の画像特徴に基づいて、燃焼状態に応じて変化する例えば灰中未燃分、ＮＯｘ濃度、ＣＯ濃度などの状態量を推定する場合など、燃焼画像の画像特徴に基づいて燃焼状態を評価する場合に、前処理後画像から画像特徴を算出するようにすれば、燃焼画像と燃焼状態とのより適切な相関を得ることができ、状態量の推定精度の向上など、燃焼状態の評価精度を向上させることができる。

【0012】

（２）幾つかの実施形態では、上記（１）の構成において、
前記対象画像は、前記流動場を撮像した画像である撮像画像の一部の領域を構成する画像である。
上記（２）の構成によれば、各対象画像は、撮像された画像（撮像画像）の一部の領域を構成（形成）する画像である。これによって、撮像した画像に流動状態と関係のない部分（流動状態の撮像を妨げる遮蔽物など）が含まれている場合に、その部分による前処理結果への影響の防止や、撮影した画像において流動状態がより顕著に表れる部分を対象画像とすることができ、コントラストの強調をより適切に行うことができる。

【0013】

（３）幾つかの実施形態では、上記（２）の構成において、
前記撮像画像の一部の領域は前記撮像画像の中心に位置する領域を含む。
上記（３）の構成によれば、各対象画像は、撮像された画像（撮像画像）の中心に位置する領域を含む部分領域の画像である。これによって、撮像画像において流動状態が適切に写る領域が対象画像に含まれるように、機械的に処理することができる。よって、このような対象画像に対してコントラストの強調を行うことにより、対象画像の画像特徴を適切に際立だせることができる。

【0014】

（４）幾つかの実施形態では、上記（１）～（３）の構成において、
前記輝度分布は、グレースケールの前記対象画像の前記輝度値の分布である。
上記（４）の構成によれば、グレースケール（白黒）の対象画像を対象に前処理を行う。一般に、カラー画像の場合には輝度のデータはＲＧＢの３種類の各々について存在するが、撮像画像がカラー画像の場合にはグレースケール化される。対象画像がグレースケールであることにより輝度情報を１種類にするなど、画素毎の輝度情報の数を少なくすることができ、対象画像に対する前処理を容易化することができる。

【0015】

（５）幾つかの実施形態では、上記（１）～（４）の構成において、
前記前処理ステップは、
前記複数の対象画像の各々の前記輝度分布に基づいて、前記複数の対象画像の各々に応じた前記輝度値の閾値を設定する閾値設定ステップと、
前記複数の対象画像の各々毎に、前記複数の対象画像の各々に応じた前記輝度値の閾値を用いて、前記コントラストの強調を実行するコントラスト強調ステップと、を有する。
上記（５）の構成によれば、対象画像毎に、その輝度分布に基づいて輝度値の閾値を設定すると共に、この閾値を用いてコントラストの強調を行う。これによって、対象画像における暗部領域をより際立たせることができ、前処理後画像において、画像処理前の対象画像で示される流動状態の特徴をより強調させることができる。

【0016】

（６）幾つかの実施形態では、上記（５）の構成において、
前記コントラスト強調ステップは、
前記複数の対象画像の各々毎に、前記輝度分布を構成する複数の輝度値のうちの前記閾値よりも小さい値を有する輝度値を、前記閾値よりも小さい所定値に変更する。
上記（６）の構成によれば、各対象画像を構成する例えば画素毎など各領域の輝度値のうち、対象画像に応じて設定した閾値より小さい値を有する輝度値を最小値（例えば０）などの所定値に変更する。これによって、対象画像における暗部領域を最大限に強調させる（際立たせる）ことができる。

【0017】

（７）幾つかの実施形態では、上記（６）の構成において、
前記前処理ステップは、
前記コントラスト強調ステップの後に、前記コントラストの強調が実行された２つの前記対象画像の差分画像を生成する差分画像生成ステップを、さらに有し、
前記差分画像生成ステップで生成される前記差分画像を前記前処理後画像として得る。
上記（７）の構成によれば、差分画像を前処理後画像とすることにより、差分画像から画像特徴を算出することができる。

【0018】

（８）幾つかの実施形態では、上記（１）～（７）の構成において、
前記特徴量算出ステップは、
立体高次局所自己相関特徴法による処理を行うことによって、前記少なくとも１つの前処理後画像から前記少なくとも１つの特徴量を算出する。
上記（８）の構成によれば、立体高次局所自己相関特徴法により、少なくとも１つの前処理後画像から、複数の対象画像に表れる流動状態の特徴量を適切に算出することができる。

【0019】

（９）幾つかの実施形態では、上記（１）～（８）の構成において、
前記特徴量算出ステップは複数の前記特徴量を算出するようになっており、
前記特徴量算出ステップにより得られる前記複数の特徴量の中から前記少なくとも１つの特徴量を選択する特徴量選択ステップを、さらに備える。
上記（９）の構成によれば、例えば立体高次局所自己相関特徴法などの複数の対象画像から複数の特徴量が得られる手法により複数の特徴量を算出した場合、例えば算出した複数の特徴量のうちの一部など、特に流動状態の変化が反映される所望の１以上の特徴量などを所定の基準に基づくなどして選択する。これによって、複数の対象画像に表れる流動状態の特徴が的確に反映されているような特徴量などを抽出することができる。

【0020】

（１０）幾つかの実施形態では、上記（１）～（９）の構成において、
互いに異なる前記対象画像を含む、前記複数の対象画像の複数のセットを準備し、前記複数のセットに対して、それぞれ、前記前処理ステップおよび前記特徴量算出ステップを行うことによって得られる前記画像特徴毎の前記特徴量の集合に対して、前記集合毎に平均化処理を実行する平均化処理ステップを、さらに備える。
上記（１０）の構成によれば、時間をずらして得られる画像特徴毎の特徴量の集合に対して、集合毎に平均化処理を実行する。特徴量Ｆの変化が激しい場合にはノイズとなりやすく、平均化処理を行うことにより、ノイズを抑え、画像特徴毎に特徴Ｆの値の変化を適切に得ることができる。

【0021】

（１１）幾つかの実施形態では、上記（１０）の構成において、
前記平均化処理は、前記集合毎の移動平均を算出する処理、または前記集合毎の区間平均を算出する処理である。
上記（１１）の構成によれば、平均化処理として移動平均または区間平均を行うことにより、画像特徴毎に、特徴量の値の変化を適切に得ることができる。

【0022】

（１２）幾つかの実施形態では、上記（１０）～（１１）の構成において、
前記特徴量は、前記複数の対象画像で示される流動状態の状態量の推定に用いるためのものであり、
前記平均化処理された複数の前記特徴量の中から前記状態量の推定に対する寄与度が高い特徴量を選択する平均化特徴量選択ステップを、さらに備える。
上記（１２）の構成によれば、例えば主成分分析などにより、状態量の推定への寄与度（状態量の計測値への寄与度）が高い１以上の特徴量を選択する。例えば、このようにして得られた１以上の特徴量と、その特徴量の抽出元の複数の対象画像に表れる流動状態の状態量（測定値など）との関係を学習すれば、複数の対象画像に表れる流動状態の状態量との関連が特に深い画像特徴と状態量Ｓとの関係が得られる。よって、その関係に基づいて所望の対象画像における状態量を、選択された画像特徴から確度良く推定することが可能となる。

【0023】

（１３）幾つかの実施形態では、上記（１）～（１２）の構成において、
前記複数の対象画像は、焼却炉の炉内の同一の範囲を燃料の燃焼時に時間をずらして撮像した撮像画像の少なくとも一部を構成する。
上記（１３）の構成によれば、複数の対象画像に表れる燃焼状態の特徴を抽出することができる。

【0024】

（１４）本発明の少なくとも一実施形態に係る画像特徴抽出装置は、
画像特徴抽出のための画像特徴抽出装置であって、
流動場を撮像することにより得られた処理対象となる複数の対象画像の各々毎に、前記対象画像が有する輝度分布に基づいて、前記輝度分布における輝度値の高低の差を増幅することによるコントラストの強調を通して、少なくとも１つの前処理後画像を得る前処理部と、
前記少なくとも１つの前処理後画像から、前記流動場の時間的・空間的な変化の画像特徴を数値化した少なくとも１つの特徴量を算出する特徴量算出部と、を備える。

【0025】

上記（１４）の構成によれば、上記（１）と同様の効果を奏する。

【発明の効果】

【0026】

本発明の少なくとも一実施形態によれば、画像に表れる幾何学的な特徴を確度良く抽出するための画像特徴抽出のための画像特徴抽出方法が提供される。

【図面の簡単な説明】

【0027】

【図1】本発明の一実施形態に係る画像特徴抽出方法を示す図である。

【図2】本発明の一実施形態に係る画像特徴抽出方法を示す図であり、特徴量選択ステップを備える。

【図3】本発明の一実施形態に係る画像特徴抽出方法を示す図であり、解析ステップ（Ｓ４）を備える。

【図4】本発明の一実施形態に係る撮像画像と前処理後画像およびこれらの輝度分布の遷移を示す図であり、（ａ）が撮像画像、（ｂ）が前処理後画像である。

【図5】本発明の一実施形態に係る状態量推定方法を示す図である。

【図6】本発明の一実施形態に係る状態量推定装置の機能を示すブロック図である。

【図7】本発明の一実施形態に係る画像特徴抽出装置が設置された燃焼炉の構成を概略的に示す図である。

【図8】本発明の一実施形態に係る画像特徴抽出装置の機能を示すブロック図であり、図２に対応する処理を実行する。

【図9】本発明の一実施形態に係る画像特徴抽出装置の機能を示すブロック図であり、図３に対応する処理を実行する。

【発明を実施するための形態】

【0028】

以下、添付図面を参照して本発明の幾つかの実施形態について説明する。ただし、実施形態として記載されている又は図面に示されている構成部品の寸法、材質、形状、その相対的配置等は、本発明の範囲をこれに限定する趣旨ではなく、単なる説明例にすぎない。
例えば、「ある方向に」、「ある方向に沿って」、「平行」、「直交」、「中心」、「同心」或いは「同軸」等の相対的或いは絶対的な配置を表す表現は、厳密にそのような配置を表すのみならず、公差、若しくは、同じ機能が得られる程度の角度や距離をもって相対的に変位している状態も表すものとする。
例えば、「同一」、「等しい」及び「均質」等の物事が等しい状態であることを表す表現は、厳密に等しい状態を表すのみならず、公差、若しくは、同じ機能が得られる程度の差が存在している状態も表すものとする。
例えば、四角形状や円筒形状等の形状を表す表現は、幾何学的に厳密な意味での四角形状や円筒形状等の形状を表すのみならず、同じ効果が得られる範囲で、凹凸部や面取り部等を含む形状も表すものとする。
一方、一の構成要素を「備える」、「具える」、「具備する」、「含む」、又は、「有する」という表現は、他の構成要素の存在を除外する排他的な表現ではない。

【0029】

図１は、本発明の一実施形態に係る画像特徴抽出方法を示す図である。図２は、本発明の一実施形態に係る画像特徴抽出方法を示す図であり、特徴量選択ステップを備える。図３は、本発明の一実施形態に係る画像特徴抽出方法を示す図であり、解析ステップ（Ｓ４）を備える。また、図４は、本発明の一実施形態に係る撮像画像Ｐａと前処理後画像Ｇおよびこれらの輝度分布の遷移を示す図であり、（ａ）が撮像画像Ｐａ、（ｂ）が前処理後画像Ｇである。

【0030】

画像特徴抽出方法は、流体が流れる場所である流動場（流れ場）を撮像することにより得られる画像の特徴（以下、画像特徴）を抽出するための方法である。具体的には、流動場は、燃料を燃焼させるごみ焼却炉（後述する図７参照）やボイラ、ガス火炉などの燃焼炉の炉内にある燃焼室（燃焼空間８）や、エンジン（例えばディーゼルエンジン）やガスタービン燃焼器などの燃焼器が備える燃焼室である。これらに共通した課題として、燃焼室における燃焼状態の変化による火炎の挙動の違いは微小であるため識別が困難、火炎の様相から燃焼状態の良否を判断するのには知識と経験が必要などの課題が挙げられる。また、燃焼器の燃焼空間８は燃焼炉の燃焼空間８と比べてクリーンなので、燃焼炉に特有の課題としては、煤や粉塵などで火炎の撮影が困難であることが挙げられる。その他、流動場は、例えばエンジンに設置される過給機内など、空気が流れる場所などであっても良い。

【0031】

また、画像特徴は、流動場を撮像した画像（以下、適宜、撮像画像Ｐａ）に表れる流体の流動状態の特徴である。撮像画像Ｐａは、カラー画像または白黒画像のいずれであっても良いし、静止画像あるいは動画像を構成するフレーム（画像）であっても良い。例えば、上記の画像が、焼却炉の炉内（燃焼空間８）を燃料の燃焼時に撮像した画像（燃焼画像）である場合には、画像特徴は、画像に表れる（示される）燃焼状態の特徴などに対応する。

【0032】

そして、図１～図３に示すように、画像特徴抽出方法は、前処理ステップ（Ｓ２）と、特徴量算出ステップ（Ｓ３）と、を備える。
以下、本発明の画像特徴抽出方法について、上記の画像が燃焼画像である場合を例に説明する。

【0033】

前処理ステップ（Ｓ２）は、燃焼空間８などの流動場を撮像することにより得られた処理対象となる複数（少なくとも２つ）の画像（以下、対象画像Ｐ）の各々毎に、対象画像Ｐが有する輝度分布Ｈに基づいて、この輝度分布Ｈにおける輝度値の高低の差を増幅することによるコントラストの強調（明暗の差の強調）を通して、少なくとも１つの強調後の画像（以下、前処理後画像Ｇ）を得るステップである。つまり、前処理ステップ（Ｓ２）では、複数の画像の各々に表れている複雑な燃焼現象の特徴を際立たせる（強調させる）ための画像処理を実行する。

【0034】

詳述すると、複数の対象画像Ｐは、焼却炉の炉内の同一の範囲を燃料の燃焼時に時間をずらして撮像した画像となる。また、一般に、画像は、複数の画素（ピクセル）が格子状に配列されて構成される。そして、詳細は後述するが、幾つかの実施形態では、図１～図３に示すように、前処理ステップ（Ｓ２）では、複数の対象画像Ｐの各々毎に、対象画像Ｐを複数の領域（以下、単位領域Ｒ）に区分し、各対象画像Ｐについて、対象画像Ｐを構成する複数の単位領域Ｒの各々の輝度値の輝度分布Ｈを算出しても良い。この輝度分布Ｈは、輝度値とその度数との関係を示すヒストグラムであっても良い。その後、この輝度分布Ｈに基づいて対象画像Ｐ毎に閾値Ｌを設定（決定）し、設定した閾値Ｌに基づいて各対象画像Ｐのコントラストの強調を行っても良い。他の幾つかの実施形態では、コントラストの強調は、各単位領域Ｒの輝度値をｎ倍にするなど、他の周知の方法によるものであっても良い。

【0035】

上記の単位領域Ｒは、例えば、画像を構成（形成）する最小単位である１つの画素で構成しても良いし、複数の画素で構成しても良い。各単位領域Ｒを複数の画素で構成する場合には、複数の単位領域Ｒの各々に含まれる画素の数は、同じであっても良いし、少なくとも１つの単位領域Ｒにおいてその他の単位領域Ｒと異なっていても良い。また、この場合の単位領域Ｒの輝度値は、同一の単位領域Ｒに属する複数の画素の輝度値の平均値など、複数の輝度値を統計的に処理することによって得られる統計値であっても良いし、任意に選択した１つの輝度値であっても良い。

【0036】

そして、この前処理ステップ（Ｓ２）による対象画像Ｐ毎のコントラストの強調により、図４に示すように、対象画像Ｐ（図４（ａ））における相対的に暗い部分（以下、暗部領域Ｒｌ）は、前処理後画像Ｇ（図４（ｂ））において相対的な暗さが増し、対象画像Ｐにおける相対的に明るい部分（以下、高輝度領域Ｒｈ）は、前処理後画像Ｇにおいて相対的な明るさが増す。このため、推定モデルＭ（後述）を用いるなどして、複数の対象画像Ｐに表れる燃焼状態の特徴（画像特徴）の特徴量Ｆから、例えば灰中未燃分、ＮＯｘ濃度、ＣＯ濃度などの状態量Ｓを推定する場合に、その特徴量Ｆの抽出が、対象画像Ｐから行うよりも、前処理後画像Ｇから行った方がより確度良く行うことが可能となる。

【0037】

特徴量算出ステップ（Ｓ３）は、上記の前処理ステップ（Ｓ２）を行うことにより得られる少なくとも１つの前処理後画像Ｇから、流動場の時間的・空間的な変化の画像特徴を数値化した少なくとも１つの特徴量Ｆを算出するステップである。画像特徴は、複数の対象画像Ｐから得られる燃焼状態（流動状態）の時間変化を輝度情報に基づいて捉える（定量化）ことが可能な指標である。また、特徴量Ｆは、画像特徴を数値化したものである。輝度情報は火炎そのものを検出することなく対象画像Ｐから得られる情報であり、例えば炉内の上部に撮像装置６を設置（後述する図７参照）する場合など、火炎が排ガスＥで撮像されないような場合であっても特徴量Ｆを得ることができる。よって、炉内を撮像するための撮像装置６（炉内カメラ）の設置を容易化することも可能となる。

【0038】

具体的には、画像特徴は、対象画像Ｐに表れたり対象画像Ｐに基づいて得られたりする輝度情報から得られる、輝度値、形、大きさ、色、濃淡、温度（温度分布）、波長（波長分布）などの情報の少なくとも一つの情報の経時的な変化を示す特徴であっても良いし、これらの情報の平均、ピークなどの統計値の経時的な変化であっても良い。あるいは、画像特徴は、所定値以上あるいは所定値以下の輝度を有する部分の面積、形、大きさのいずれかであっても良い。なお、輝度情報から得られる温度や温度分布などは、輝度値を変換することにより得られる。

【0039】

そして、画像特徴の特徴量Ｆからその変化の大きさ（程度）に対応した評価が可能となる。この特徴量Ｆは、例えば立体高次局所自己相関特徴法による処理を行うことによって得られる立体高次局所自己相関特徴量（ＣＨＬＡＣ特徴量）や、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、ＡＥ（ＡｕｔｏＥｎｃｏｄｅｒ）などにより得られる画像特徴の量であっても良い。ＣＨＬＡＣ特徴量は、対象画像Ｐの全体に表れる時空間変動をコンパクトに表現できるという利点を有する。ＣＮＮは、畳み込み処理やプーリング処理、またＡＥでは、エンコード処理にて特徴を得ることで、対象画像Ｐの全体の画像特徴を効果的に縮小し取得することができる利点を有する。

【0040】

つまり、複数の対象画像Ｐは、流動場における同一の範囲を時間をずらして（互いに時間間隔を空けて）撮像した複数の画像であり、複数の対象画像Ｐから、流動場の２次元空間や３次元空間といった空間的な変化が分かる。よって、特徴量算出ステップ（Ｓ３）は、複数の対象画像Ｐに基づいて、このような流動場の時間的・空間的な変化の特徴を判別し、その特徴を数値化することにより特徴量Ｆを得る。

【0041】

図１～図３に示す実施形態では、ステップＳ１において、複数の対象画像Ｐを記憶装置などから読み込むなどして取得し（対象画像取得ステップ）、ステップＳ２において、取得した複数の対象画像Ｐに対して、それぞれ、上述したコントラストの強調を実行する。そして、ステップＳ３において、ステップＳ２の実行により得られた前処理後画像Ｇに基づいて、特徴量Ｆを算出するようになっている。

【0042】

上記の構成によれば、複数の対象画像Ｐ毎に、その輝度分布Ｈを構成する複数の輝度値間の高低の差を増幅すること通して前処理後画像Ｇを得ると共に、前処理後画像Ｇから特徴量Ｆを算出する。このように、対象画像Ｐ毎にコントラストの強調を行うことにより、対象画像Ｐに表れる流動場（流動状態）の特徴をより強調させる（際立たせる）ことができるので、前処理後画像Ｇから特徴量Ｆを算出することにより、流動状態の特徴をより確度良く抽出することができる。

【0043】

したがって、例えば燃焼状態を撮像した画像（燃焼画像）の画像特徴に基づいて、燃焼状態に応じて変化する例えば灰中未燃分、ＮＯｘ濃度、ＣＯ濃度などの状態量Ｓを推定する場合など、燃焼画像の画像特徴に基づいて燃焼状態を評価する場合に、前処理後画像Ｇから画像特徴を算出するようにすれば、燃焼画像と燃焼状態とのより適切な相関を得ることができ、状態量Ｓの推定精度の向上など、燃焼状態の評価精度を向上させることができる。

【0044】

次に、上述した対象画像Ｐについて、より詳細に説明する。
幾つかの実施形態では、上述した複数の対象画像Ｐは、それぞれ、流動場を撮像することにより得られた複数の撮像画像Ｐａの各々の少なくとも一部の領域を構成（形成）する画像であっても良い。つまり、撮像画像Ｐａは、流動場を撮像した画像そのものであり、対象画像Ｐは、撮像画像Ｐａの一部の領域を構成する画像であっても良い。この場合、上述した画像特徴抽出方法は、対象画像取得ステップ（図１のＳ１）では、複数の撮像画像Ｐａの各々の少なくとも一部の領域を構成する複数の対象画像Ｐを取得する。つまり、対象画像Ｐは、撮像画像Ｐａそのものであっても良いし、撮像画像Ｐａの一部の領域を切り出すなどした画像であっても良い。特徴抽出にあたっては、必ずしも撮像画像Ｐａの全体を対象とする必要はなく、推定しようとする状態量Ｓに応じるなど、目的に応じて、対象画像Ｐとすべき撮像画像Ｐａの領域を選択可能である。

【0045】

例えば、撮像条件によっては、撮像したい燃焼空間８が、窓枠などの燃焼空間８を隠すような物体や文字などの遮蔽物の向こう側にある場合があり、このような場合には撮像画像Ｐａの一部を遮蔽物が占めることになる。そして、遮蔽物が一緒に撮像されることによって燃焼状態が撮像画像Ｐａに撮像されない燃焼空間８の部分からは、燃焼状態の特徴が得られないばかりか、逆に、画像特徴の抽出に際してノイズ（妨げ）となる可能性がある。よって、撮像画像Ｐａにおける遮蔽物が写っていない領域を切り出して、対象画像Ｐとしても良い。さらに、対象画像Ｐは、撮像画像Ｐａから遮蔽物などを取り除いたような撮像画像Ｐａの一部の画像（中間画像）から、さらに一部の領域を切り出した画像であっても良い。推定したい状態量Ｓに応じて、対象画像Ｐに含めるべき領域が変わる場合において、中間画像を保持しておくことにより、中間画像からその一部を適宜切り出すなどして、対象画像Ｐを得ることが可能となる。

【0046】

つまり、対象画像Ｐが、撮像画像Ｐａの一部の領域を構成する画像である場合には、対象画像取得ステップ（Ｓ１）は、撮像画像Ｐａあるいは中間画像を取得するステップと、取得した画像の一部の領域を切り出す（取得する）ステップにより構成されていても良いし、その後、切り出すステップによって得られる画像から一部の領域をさらに切り出すステップをさらに有していても良い。なお、対象画像取得ステップ（Ｓ１）では、流動場を撮像することを通して、対象画像Ｐを取得しても良いし、予め記憶装置などに記憶され読み込むことを通して、対象画像Ｐを取得しても良い。

【0047】

また、上述した撮像画像Ｐａの一部の領域は、幾つかの実施形態では、撮像画像Ｐａの中心に位置する領域（中心領域）を含んでいても良い。この中心領域は、画像の中心から所定の半径を有する円や楕円、その円や楕円に接するような四角形やその他の形状の内側であっても良く、画像の中心を含む。この画像の中心は、画像の重心の位置であっても良い。燃焼空間８では、遮蔽物は撮像画像Ｐａの端にあるのが通常であり、撮像画像Ｐａにおいて流動状態が適切に写る領域が対象画像に含まれるように、機械的に処理することが可能となる。

【0048】

上記の構成によれば、各対象画像Ｐは、撮像された画像（撮像画像Ｐａ）の少なくとも一部の領域を構成（形成）する画像である。これによって、撮像した画像に流動状態と関係のない部分（流動状態の撮像を妨げる遮蔽物など）が含まれている場合に、その部分による前処理結果への影響の防止や、撮影した画像において流動状態がより顕著に表れる部分を対象画像Ｐとすることができ、コントラストの強調をより適切に行うことができる。

【0049】

また、幾つかの実施形態では、上述した対象画像Ｐは、グレースケール（白黒画像）であっても良い。この場合には、上述した輝度分布は、グレースケールの対象画像Ｐの輝度値の分布である。上述したように、対象画像Ｐは、カラー画像である場合や、白黒画像である場合がある。よって、撮像画像Ｐａや、上述した中間画像などがカラー画像である場合（グレースケールの画像ではない場合）にはグレースケールに変換（グレースケール化）する。具体的には、ＲＧＢの情報を用いて輝度保存変換によりグレースケールに変換しても良い。ＲＧＢの各レイヤを分離して、いずれかのレイヤをグレースケールに変換しても良い。または、ＲＧＢの情報から変換可能なＲＧＢ以外の色空間（ＨＳＶなど）の情報を用いて、グレースケール化を行っても良い。

【0050】

図１～図３に示す実施形態では、上述した前処理ステップ（Ｓ２）の前に対象画像Ｐのグレースケール化を実行しているが（図１のＳ１ａ）、前処理ステップ（Ｓ２）における輝度分布Ｈの算出を行う前までに、対象画像Ｐに対してグレースケール化を行っていれば良い。あるいは、対象画像取得ステップ（Ｓ１）は、グレースケール化された対象画像Ｐを取得しても良い。この場合には、対象画像取得ステップ（Ｓ１）の前にグレースケール化するステップを行っても良いし、対象画像取得ステップ（Ｓ１）は、白黒画像で撮像画像Ｐａを得る（撮像）する場合や、カラー画像で撮像された撮像画像Ｐａがグレースケール化されて保存されている場合など、グレースケールの画像を取得しても良い。

【0051】

上記の構成によれば、グレースケール（白黒）の対象画像Ｐを対象に前処理を行う。一般に、カラー画像の場合には輝度のデータはＲＧＢの３種類の各々について存在するが、撮像画像Ｐａがカラー画像の場合にはグレースケール化される。対象画像Ｐがグレースケールであることにより輝度情報を１種類にするなど、画素毎の輝度情報の数を少なくすることができ、対象画像Ｐに対する前処理を容易化することができる。

【0052】

次に、上述した画像特徴抽出方法が備える前処理ステップ（Ｓ２）について、詳細に説明する。
幾つかの実施形態では、前処理ステップ（図１のＳ２）は、輝度分布取得ステップ（Ｓ２１）と、閾値設定ステップ（Ｓ２２）と、コントラスト強調ステップ（Ｓ２３）と、を有する。

【0053】

輝度分布取得ステップ（Ｓ２１）は、複数の対象画像Ｐの各々の輝度分布Ｈを取得（算出）するステップである。上述したように画像データは、画像を構成する複数の画素毎の輝度情報を有しており、対象画像Ｐ（データ）が有する上記の画素毎の輝度情報に基づいて、上述した単位領域Ｒ毎の輝度をそれぞれ取得し、取得された複数の輝度値の分布（輝度分布Ｈ）を得る。

【0054】

閾値設定ステップ（Ｓ２２）は、複数の対象画像Ｐの各々の輝度分布Ｈに基づいて、複数の対象画像Ｐの各々に応じた輝度値の閾値Ｌ（以下、適宜、閾値Ｌ）を設定するステップである。幾つかの実施形態では、図１～図３に示すように、大津の閾値判別法（大津の二値化法）により、各対象画像Ｐの閾値Ｌをそれぞれ決定するようにしている。そして、各対象画像Ｐを構成する複数の単位領域Ｒを、その対象画像Ｐの閾値Ｌに基づいて、閾値Ｌよりも大きな輝度値を有するクラスである高輝度領域Ｒｈと、閾値Ｌ以下の輝度値を有するクラスである暗部領域Ｒｌとの２つにクラス分けする。なお、大津の閾値判別法では、輝度のヒストグラム（本実施形態では、ヒストグラム）を任意の輝度値を境に２つのクラスに分けた際のクラス内分散およびクラス間分散により定義される分離度が最大となる場合の輝度値を閾値Ｌとする。

【0055】

ただし、本実施形態に本発明は限定されない。各対象画像Ｐの一部を構成する複数の単位領域Ｒを高輝度領域Ｒｈと暗部領域Ｒｌとの２つに分けられれば、他の手法により閾値Ｌの決定を行っても良い。例えば、他の幾つかの実施形態では、閾値Ｌは、上述したように得られる、対象画像Ｐを構成する複数の単位領域Ｒの各々の輝度値の平均値や、最頻値、中央値などの統計値であっても良い。

【0056】

コントラスト強調ステップ（Ｓ２３）は、複数の対象画像Ｐの各々毎に、複数の対象画像Ｐの各々に応じた輝度値の閾値Ｌを用いて、上述したコントラストの強調を実行するステップである。具体的には、幾つかの実施形態では、このコントラスト強調ステップ（Ｓ２３）は、複数の対象画像Ｐの各々毎に、輝度分布Ｈを構成する複数の輝度値のうちの上記の閾値Ｌよりも小さい値を有する輝度値を、閾値Ｌよりも小さい所定値に変更することにより、対象画像Ｐ（図４（ａ）参照）を前処理した前処理後画像Ｇを生成しても良い。上記の所定値は輝度値の最小値であっても良い。あるいは、コントラスト強調ステップは、複数の対象画像Ｐの各々毎に、輝度分布Ｈを構成する複数の輝度値のうちの上記の閾値Ｌより大きい輝度値を有する輝度値を閾値Ｌよりも大きい所定値に変更することにより、対象画像Ｐ（図４（ａ）参照）を前処理した前処理後画像Ｇを生成しても良い。上記の所定値は輝度値の最大値であっても良い。または、このコントラスト強調ステップは、複数の対象画像Ｐの各々毎に、輝度分布Ｈを構成する複数の輝度値のうちの上記の閾値Ｌより大きい輝度値を有する輝度値を閾値Ｌよりも大きい所定値に変更し、かつ、上記の閾値Ｌより小さい輝度値を有する輝度値を閾値Ｌよりも小さい所定値に変更することにより、対象画像Ｐ（図４（ａ）参照）を前処理した前処理後画像Ｇを生成しても良い。

【0057】

このように、上記の複数の単位領域Ｒを高輝度領域Ｒｈと暗部領域Ｒｌと分けた際に、暗部領域Ｒｌに属する各単位領域Ｒの輝度値を閾値Ｌよりも小さい値に変更し、かつ、高輝度領域Ｒｈの輝度値を変更しないこと、あるいは、高輝度領域Ｒｈに属する各単位領域Ｒの輝度値を閾値Ｌよりも大きい値に変更し、かつ、暗部領域Ｒｌの輝度値を変更しないこと、または、暗部領域Ｒｌに属する各単位領域Ｒの輝度値を閾値Ｌよりも小さい値に変更し、かつ、高輝度領域Ｒｈに属する各単位領域Ｒの輝度値を閾値Ｌよりも大きい値に変更することにより、高輝度領域Ｒｈと暗部領域Ｒｌとの各々に属する輝度値の差をより大きくすることができる。その結果、対象画像Ｐの暗部領域Ｒｌあるいは高輝度領域Ｒｈが、前処理後画像Ｇにおいてより際立ったものとなる。

【0058】

図１～図３に示す実施形態では、対象画像Ｐを構成する複数の単位領域Ｒの各々の輝度のうち、暗部領域Ｒｌに属する各単位領域Ｒの輝度値を閾値Ｌよりも小さい所定値に変更するようになっている。この際、幾つかの実施形態では、図４に示すように、輝度値の最小値は０であり、暗部領域Ｒｌに属する各単位領域Ｒの輝度値を０にするようになっている。これによって、対象画像Ｐにおける暗部領域Ｒｌを最大限に強調させる（際立たせる）ことができる。

【0059】

図４について説明すると、図４（ａ）のヒストグラムは、対象画像Ｐを複数の単位領域Ｒに区分した際の各単位領域Ｒの輝度値の分布（ヒストグラム）であり、上記の閾値設定ステップ（Ｓ２２）によって設定された閾値Ｌを境に、ヒストグラムは、高輝度領域Ｒｈと暗部領域Ｒｌとに分けられる。そして、この図４（ａ）の暗部領域Ｒｌに属する各単位領域Ｒの輝度値を０にしたものが図４（ｂ）に示される前処理後画像Ｇであり、この前処理後画像Ｇに対応するヒストグラムを見ると、暗部領域Ｒｌに属する各単位領域Ｒの輝度値が０になっていることが分かる。

【0060】

ただし、本実施形態に本発明は限定されない。他の幾つかの実施形態ではコントラスト強調ステップ（Ｓ２３）は、各単位領域Ｒから任意の値だけ減算しても良い。また、コントラスト強調ステップ（Ｓ２３）において、対象画像Ｐを構成する複数の単位領域Ｒの輝値のうち、高輝度領域Ｒｈに属する各単位領域Ｒの輝度値を閾値Ｌよりも大きい所定値に変更するように構成されている場合には、上記の閾値Ｌよりも大きい所定値は輝度値の最大値であっても良いし、あるいは、各単位領域Ｒの輝度値から任意の値だけ加算しても良い。

【0061】

上記の構成によれば、対象画像Ｐ毎に、その輝度分布Ｈに基づいて輝度値の閾値Ｌを設定すると共に、この閾値Ｌを用いてコントラストの強調を行う。これによって、対象画像Ｐにおける暗部領域Ｒｌをより際立たせることができ、前処理後画像Ｇにおいて、画像処理前の対象画像Ｐで示される流動状態の特徴をより強調させることができる。

【0062】

また、幾つかの実施形態では、図１に示すように（図２～図３では省略）、前処理ステップ（Ｓ２）は、上述したコントラスト強調ステップ（Ｓ２３）の後に、上述したコントラストの強調が実行された２つの対象画像Ｐの差分画像を生成する差分画像生成ステップ（Ｓ２４）を、さらに有していても良い。この場合、前処理ステップ（Ｓ２）では、この差分画像生成ステップ（Ｓ２４）で生成される差分画像を前処理後画像Ｇとして得る。このように、差分画像を前処理後画像Ｇとすることにより、差分画像から画像特徴を算出することができる。

【0063】

次に、上述した画像特徴抽出方法が備える特徴量算出ステップ（Ｓ３）について、詳細に説明する。
幾つかの実施形態では、上述した特徴量算出ステップ（Ｓ３）は、立体高次局所自己相関特徴法（ＣＨＬＡＣ）による処理を行うことによって、前処理ステップ（Ｓ２）を実行することにより得られた少なくとも１つ前処理後画像Ｇから少なくとも１つの特徴量Ｆを算出する。一般に、立体高次局所自己相関特徴法では複数の特徴量Ｆが得られるが、その全ての特徴量Ｆを算出しても良いし、そのうちの一部の特徴量Ｆのみに限って算出しても良い。実際に状態量Ｓの推定などに用いる特徴量Ｆのみ算出するようにすれば、計算量を少なくすることができ、特徴量Ｆの算出に要する時間を短縮することが可能となる。これによって、立体高次局所自己相関特徴法により、少なくとも１つの前処理後画像Ｇから、複数の対象画像Ｐに表れる流動状態の特徴量を適切に抽出することができる。

【0064】

続いて、上述した特徴量算出ステップ（Ｓ３）の後に行うことが可能な画像特徴抽出方法の他のステップについて説明する。
幾つかの実施形態では、図２に示すように、上述した特徴量算出ステップ（Ｓ３）は、例えば立体高次局所自己相関特徴法（ＣＨＬＡＣ）による処理を行うなど、複数の特徴量Ｆを算出するようになっており、画像特徴抽出方法は、図２に示すように、上述した特徴量算出ステップ（Ｓ３）により得られる複数の特徴量Ｆの中から少なくとも１つの特徴量Ｆ（画像特徴）を選択する特徴量選択ステップ（Ｓ４０）を、さらに備える。つまり、例えばＣＨＬＡＣなどにより得られる複数の特徴量Ｆのうち、例えば状態量Ｓを推定するのに適切な１以上の特徴量Ｆを選択する。この特徴量選択ステップ（Ｓ４０）における選択は経験上の知見に基づいて行っても良いし、例えば、これより前に行われた後述する解析ステップ（Ｓ４）を行うことで選択した特徴量Ｆを、本ステップにおいても選択するようにしても良い。

【0065】

上記の構成によれば、例えば立体高次局所自己相関特徴法などの複数の対象画像から複数の特徴量Ｆが得られる手法により複数の特徴量を算出した場合、例えば算出した複数の特徴量Ｆの一部など、特に流動状態の変化が反映される所望の１以上の特徴量Ｆなどを所定の基準に基づくなどして選択する。これによって、複数の対象画像Ｐに表れる流動状態の画像特徴が的確に反映されているような特徴量Ｆなどを抽出することができる。

【0066】

また、幾つかの実施形態では、図３に示すように、画像特徴抽出方法は、特徴量算出ステップ（Ｓ３）の後に、目的に応じて適切な特徴量Ｆ（画像特徴）を選択するための解析ステップ（Ｓ４）を、さらに備えていても良い。より具体的には、幾つかの実施形態では、図３に示すように、画像特徴抽出方法（解析ステップ）は、互いに異なる対象画像Ｐを含む、上述した複数の対象画像Ｐの複数のセットを準備し、この複数のセットに対して、それぞれ、前処理ステップ（Ｓ２）および特徴量算出ステップ（Ｓ３）を行うことによって得られる画像特徴毎の特徴量Ｆの集合に対して、その集合毎に平均化処理を実行する平均化処理ステップ（Ｓ４１）を、さらに備えても良い。上記の複数のセットの準備は、上述した対象画像取得ステップ（Ｓ１）の前に全て完了しても良いし、あるいは、１つのセットが準備できる度に前処理ステップ（Ｓ２）および特徴量算出ステップ（Ｓ３）を行うなど、対象画像取得ステップ（Ｓ１）の前に全て完了しなくても良い。

【0067】

例えば動画などを撮像すると、撮像動画を構成する複数の連続的な静止画像（撮像画像Ｐａ）が得られる。このような連続的に得られる画像に対して、例えば所定のルール（連続、数コマ置きなど）に従って任意の数の対象画像Ｐが得られる度に、それらの得られた複数の画像からなるセットを複数の対象画像Ｐとして画像特徴を算出していくなどすると、画像特徴の種類毎に複数の特徴量Ｆが得られる。ここでいう画像特徴の種類は、例えばＣＨＬＡＣなどの特徴抽出のための処理を一度行うことにより得られる複数の特徴量Ｆにそれぞれ対応する画像特徴である。そして、画像特徴の種類や、画像特徴の算出頻度などの算出条件によっては、特徴量Ｆの変動の大きさからノイズとみなせる成分が生じる場合がある。よって、画像特徴の種類毎の集合毎に平均化処理を行うことによって、ノイズ成分を抑制する。

【0068】

この平均化処理は、画像特徴毎の特徴量Ｆの集合の移動平均を算出する処理であっても良いし、あるいは、その集合の区間平均を算出する処理であっても良い。移動平均は、時間と共に移動する移動窓により、移動窓の範囲にある所定期間分の複数の特徴量Ｆの平均値を算出する。移動窓の範囲には、現在時刻から所定期間分だけ過去の範囲が含まれることにより、最新の特徴量Ｆが含まれるようにしても良い。他方、区間平均は、時間軸に沿って期間に重複がないように複数の区間を設定し、各区間に含まれる複数の特徴量Ｆの平均を区間毎に算出する。これによって、画像特徴毎に、特徴量Ｆの値の変化を適切に得ることが可能となり、最新の撮像画像Ｐａを撮像することにより取得しつつ、画像特徴を抽出するといったリアルタイムの処理が可能となる。よって、燃焼状態（流動状態）のリアルタイムの監視なども可能となる。

【0069】

上記の構成によれば、時間をずらして得られる画像特徴毎の特徴量Ｆの集合に対して、集合毎に平均化処理を実行する。特徴量Ｆの変化が激しい場合にはノイズとなりやすく、平均化処理を行うことにより、ノイズを抑え、画像特徴毎に特徴量Ｆの値の変化を適切に得ることができる。

【0070】

また、幾つかの実施形態では、上述した特徴量Ｆは、複数の対象画像Ｐで示される燃焼状態（流動状態）の状態量Ｓの推定に用いるためのものであり、画像特徴抽出方法（解析ステップ）は、平均化処理ステップ（Ｓ４１）により平均化処理された複数の特徴量Ｆの中から状態量Ｓの推定に対する寄与度が高い特徴量を選択する平均化特徴量選択ステップ（Ｓ４２）を、さらに備えていても良い。後述するように、本画像特徴抽出方法により抽出した複数の画像特徴の各々に対応する複数の特徴量Ｆと、状態量Ｓの計測値とを対応付けた複数のデータを学習データとして機械学習する場合には、複数の特徴量Ｆによる状態量Ｓの計測値への寄与度が異なるのが通常であり、主成分分析等を通して、その寄与度が高い１以上の特徴量Ｆを選択する。

【0071】

上記の構成によれば、例えば主成分分析などにより、状態量の推定への寄与度（状態量の計測値への寄与度）が高い１以上の特徴量Ｆを選択する。例えば、このようにして得られた１以上の特徴量Ｆと、その特徴量Ｆの抽出元の複数の対象画像に表れる流動状態の状態量（測定値など）との関係を学習すれば、複数の対象画像Ｐに表れる流動状態の状態量Ｓとの関連が特に深い画像特徴と状態量Ｓとの関係が得られる。よって、その関係に基づいて所望の対象画像Ｐにおける状態量Ｓを、選択された画像特徴から確度良く推定することが可能となる。

【0072】

なお、上述した画像特徴抽出方法によって抽出された１以上の特徴量Ｆは、上述した状態量Ｓを推定するのに用いるなどされる（図５参照）。具体的には状態量Ｓを推定しようとする複数の対象画像Ｐから抽出される１以上の特徴量Ｆから、その複数の対象画像Ｐに表れている燃焼状態での所望の状態量Ｓを推定するための推定モデルＭを用いて、任意の複数の対象画像Ｐから対応する状態量Ｓを推定する。推定モデルＭは、予め作成されているものを取得して、用いれば良い。

【0073】

図５は、本発明の一実施形態に係る状態量推定方法を示す図である。図５に示す実施形態では、ステップＳ５１において、上述した画像特徴抽出方法により、複数の対象画像Ｐから抽出された特徴量Ｆを取得する。本ステップでは、画像特徴抽出方法による抽出を行うことで特徴量Ｆを取得しても良いし、既に抽出された特徴量Ｆを単に取得しても良い。次に、ステップＳ５２において推定モデルＭを取得する。推定モデルＭを作成することにより取得しても良いし、予め作成された記憶されている推定モデルＭを取得しても良い。そして、ステップＳ５３において、ステップＳ５２において取得した推定モデルＭを用いて、ステップＳ５１において取得した特徴量Ｆから状態量Ｓを推定（算出）するようになっている。換言すれば、特徴量Ｆを入力情報として推定モデルＭに従って演算し、その結果として状態量Ｓを得る。なお、ステップＳ５１とステップＳ５２の順番は逆であっても良い。

【0074】

上記の状態量推定方法は、図６に示すように、専用の装置（状態量推定装置５）を用いて実行しても良い。図６は、本発明の一実施形態に係る状態量推定装置５の機能を示すブロック図である。図６に示すように、状態量推定装置５は、上述した各ステップをそれぞれ実行する機能部（特徴量取得部５１、推定モデル取得部５２、状態量推定部５３）を有している。図６に示す実施形態では、後述する画像特徴抽出装置１に接続されることにより、画像特徴抽出装置１（後述）によって抽出された特徴量Ｆが入力されるように構成されている。また、状態量推定装置５（状態量推定部５３）は、ディスプレイなどの表示装置５５に接続されることにより、状態量Ｓの推定結果を表示装置５５に出力するように構成されている。なお、記憶装置５ｍは、状態量推定装置５が備える記憶装置であっても良いし、不図示の通信ネットワークを介して接続される他の装置などの記憶装置であっても良い。また、状態量推定装置５および画像特徴抽出装置１（後述）は、同一のＯＳ（Ｏｐｅｒａｔｉｎｇ ｓｙｓｔｅｍ）などの同一のプラットフォームで動作する１つの装置で構成されていても良い。

【0075】

また、上記の推定モデルＭは、過去に撮像された複数の画像（燃焼画像）である、推定モデルＭの作成に用いる複数の参照画像（過去画像）から上述した画像特徴抽出方法により抽出された１以上の特徴量Ｆと、この複数の参照画像で示される燃料の燃焼状態に応じた状態量Ｓである参照状態量とを対応付けた学習データを機械学習することにより作成すると良い。参照状態量は、複数の過去画像の撮像タイミングと同期をとってサンプリングした試料から灰中未燃分を計測したり、ＮＯｘ濃度やＣＯ濃度などをセンサで計測したりすることにより得られる。また、機械学習は、ニューラルネットワーク、一般化線形モデルなどの周知な機械学習の手法（アルゴリズム）のいずれかが用いられる。

【0076】

このように、上述した画像特徴抽出方法により複数の参照画像（過去画像）から抽出される特徴量Ｆ、および参照画像の撮像時の状態量Ｓの計測値を用いて作成された推定モデルＭと、推定しようとする複数の対象画像Ｐから上述した画像特徴抽出方法により抽出される１以上の特徴量Ｆとを用いて、状態量Ｓを推定することにより、精度良く状態量Ｓを推定することができる。

【0077】

次に、上述した画像特徴抽出方法を実行する画像特徴抽出装置１について、対象画像Ｐが燃焼画像である場合を例に、図７～図９を用いて説明する。図７は、本発明の一実施形態に係る画像特徴抽出装置１が設置された燃焼炉７の構成を概略的に示す図である。図８は、本発明の一実施形態に係る画像特徴抽出装置１の機能を示すブロック図であり、図２に対応する処理を実行する。また、図９は、本発明の一実施形態に係る画像特徴抽出装置１の機能を示すブロック図であり、図３に対応する処理を実行する。

【0078】

図７に示す実施形態の燃焼炉７は、都市ゴミ又は産業廃棄物等を燃料Ｆｇとするストーカ式のごみ焼却炉であり、画像特徴抽出装置１はごみ焼却炉の燃焼空間８の撮像画像Ｐａを対象に画像抽出を行う。以下、ごみを燃焼する燃焼空間８（燃焼室）を備えるごみ焼却炉を燃焼炉７の例に本実施形態を説明するが、上述したように本実施形態に本発明は限定されず、ボイラ、ＩＧＣＣにおける石炭をガス化するガス化炉などの燃料Ｆｇを燃焼させる燃焼室を備える燃焼炉７であっても良い。ごみ焼却炉や、ボイラ、ガス火炉などは後述する上部７ｃおよび側壁部７ｓを有する点で共通しており、燃焼炉７がボイラやガス火炉の場合には、以下に記載された燃焼炉７をボイラやガス化炉に適宜読み替えるものとする。

【0079】

図７に示すごみ焼却炉について説明すると、燃焼炉７において、燃料Ｆｇは燃料供給口７１から燃料押込装置７２により炉内に押し込まれた後、燃焼空間８にある火格子７３（ストーカ）上で乾燥、燃焼、おき燃焼され灰（燃焼灰）となり、灰は灰排出口７４より炉外に排出される。また、燃焼炉７は、その炉内において、火格子７３上において燃料Ｆｇが火炎を上げて盛んに燃える主燃焼空間８１ａ及びおき燃焼するおき燃焼空間８１ｂからなる一次燃焼空間８１と、火格子７３の上方における未燃分の燃料を燃焼させる二次燃焼空間８２とで構成される燃焼空間８を有する。燃料Ｆｇの燃焼用気体Ａは気体供給管７７を通って炉内に供給されるが、ブロワーなどの気体供給装置７６から第１気体流量調節弁７７ａを介して火格子７３の下部から一次燃焼空間８１に供給されるか、又は気体供給装置７６から第２気体流量調節弁７７ｂを介して燃焼炉７の側部から二次燃焼空間８２に供給される。燃焼用気体Ａの代表例は空気であるが可燃性気体であれば良いし、例えば一次燃焼空間８１より排出されるＥＧＲガス（燃焼排ガス）と所定の混合比で混合することにより燃焼用気体Ａを生成しても良い。一方、燃料Ｆｇが燃焼して生成される排ガスＥは、排ガス通路９１を通って排ガス処理装置９２を経て煙突９３から排出される。

【0080】

また、図７に示すように、燃焼炉７には、炉内を撮像するための撮像装置６が設置される。撮像装置６は、例えば動画像または静止画像の少なくとも一方が撮像可能な炉内カメラである。より具体的には、撮像装置６は、例えば、デジタルカメラ、ビデオカメラ、特定の波長を検知可能な赤外線カメラなどのカメラであっても良い。図７に示す実施形態では、撮像装置６は、一次燃焼空間８１の上方（図７では直上部）に位置する燃焼炉７の上部７ｃに設置されており、燃焼状態を真上から撮像するように構成されている。ただし、本実施形態に本発明は限定されず、他の幾つかの実施形態では、撮像装置６は燃焼炉７の側壁部７ｓなど、燃焼炉７の上部７ｃ以外の位置に設置されても良い。例えば、側壁部７ｓにおける二次燃焼空間８２を形成する部分や、そのさらに上の部分（上部７ｃにより近い部分）に撮像装置６を設置すると共に、一次燃焼空間８１が位置する下方を撮像するように斜め下に向けて設置されても良い。

【0081】

こうして撮像装置６によって撮像された燃料Ｆｇの燃焼時の炉内の対象画像Ｐ（燃焼画像）は、撮像装置６に接続される記憶装置に記憶（蓄積）される。図７に示す実施形態では、画像特徴抽出装置１の記憶装置１ｍに記憶されるように構成されているが、他の幾つかの実施形態では、例えば、画像特徴抽出装置１とは別体の記憶装置に記憶されても良い。

【0082】

そして、図８～図９に示すように、画像特徴抽出装置１は、前処理部２と、特徴量算出部３と、を備える。上記の機能部について、それぞれ説明する。
なお、画像特徴抽出装置１（後述する状態量推定装置５も同様）は、コンピュータで構成されており、図示しないＣＰＵ（プロセッサ）や、ＲＯＭやＲＡＭといったメモリや外部記憶装置などとなる記憶装置１ｍを備えている。そして、メモリ（主記憶装置）にロードされたプログラム（燃焼画像処理プログラム）の命令に従ってＣＰＵが動作（データの演算など）することで、画像特徴抽出装置１が備える上記の各機能部を実現する。換言すれば、上記のプログラムは、コンピュータに後述する各機能部を実現させるためのソフトウェアであり、コンピュータによる読み込みが可能な記憶媒体に記憶されても良い。

【0083】

前処理部２は、上述した複数の対象画像Ｐの各々毎に、対象画像Ｐが有する輝度分布Ｈに基づいて、この輝度分布Ｈにおける輝度値の高低の差を増幅することによるコントラストの強調（明暗の差の強調）を通して、少なくとも１つの前処理後画像Ｇ（前述）を得る機能部である。前処理部２が実行する処理内容は、既に説明した前処理ステップ（Ｓ２）で行う内容と同様であるため、詳細は省略するが、前処理部２は、既に説明した各ステップである、輝度分布取得ステップ（Ｓ２１）、閾値設定ステップ（Ｓ２２）、およびコントラスト強調ステップ（Ｓ２３）の各々で行う内容と同様の内容を実行する機能部である輝度分布取得部２１、閾値設定部２２、コントラスト強調部２３を有していても良い。なお、前処理部２は、図８に示すように（図９では省略しているが同様に）、これらの機能部（２１～２３）に加えて、既に説明した差分画像生成ステップ（Ｓ２４）で行う内容と同様の内容を実行する機能部である差分画像生成部２４を、さらに備えていても良い。

【0084】

特徴量算出部３は、少なくとも１つの前処理後画像Ｇから、流動場の時間的・空間的な変化の画像特徴を数値化した少なくとも１つの特徴量Ｆを算出する機能部である。特徴量算出部３が実行する処理内容は、既に説明した特徴量算出ステップ（Ｓ３）で行う内容と同様であるため、詳細は省略する。

【0085】

図８～図９に示す実施形態では、画像特徴抽出装置１は、既に説明した対象画像取得ステップ（Ｓ１）が実行する内容と同様の内容を実行する機能部である対象画像取得部１２をさらに備えており、対象画像取得部１２によって取得された複数の対象画像Ｐが前処理部２に入力されるように構成されている。また、前処理部２は、特徴量算出部３に接続されており、前処理部２によって得られた前処理後画像Ｇが特徴量算出部３に入力されるように構成されている。

【0086】

なお、幾つかの実施形態では、図８～図９に示すように、画像特徴抽出装置１は、入力された画像をグレースケール化するグレースケール化部１４を、さらに備えていても良い。図８～図９に示す実施形態では、対象画像取得部１２と前処理部２とは、グレースケール化部１４を介して接続されており、対象画像取得部１２によって取得された複数の対象画像Ｐがグレースケール化部１４によってグレースケール化された後、前処理部２に入力されるように構成されている。よって、対象画像取得部１２がカラー画像の複数の対象画像Ｐを取得した場合には、前処理部２には、グレースケール化部１４による処理によってグレースケール化された複数の対象画像Ｐ（白黒画像）が入力されるようになる。他の幾つかの実施形態では、グレースケール化部１４が撮像画像Ｐａを取得してグレースケール化し、グレースケール化した撮像画像Ｐａが対象画像取得部１２に入力されるように構成しても良い。つまり、グレースケール化部１４、対象画像取得部１２、前処理部２が一列に並ぶように接続される。

【0087】

また、幾つかの実施形態では、図８に示すように、画像特徴抽出装置１は、既に説明した特徴量選択ステップ（Ｓ４０）で行う内容と同様の内容を実行する機能部である特徴量選択部４０を有していても良い。

【0088】

また、幾つかの実施形態では、図９に示すように、画像特徴抽出装置１は、既に説明した解析ステップ（Ｓ４）が実行する内容と同様の内容を実行する機能部である解析部４をさらに備えていても良い。なお、解析部４は、既に説明した平均化処理ステップ（Ｓ４１）で行う内容と同様の内容を実行する機能部である平均化処理部４１を有していても良い。あるいは、解析部４は、この平均化処理部４１に加えて、既に説明した平均化特徴量選択ステップ（Ｓ４２）で行う内容と同様の内容を実行する機能部である平均化特徴量選択部４２を、さらに有していても良い。

【0089】

本発明は上述した実施形態に限定されることはなく、上述した実施形態に変形を加えた形態や、これらの形態を適宜組み合わせた形態も含む。

【符号の説明】

【0090】

１ 画像特徴抽出装置
１ｍ 記憶装置
１２ 対象画像取得部
１４ グレースケール化部
２ 前処理部
２１ 輝度分布取得部
２２ 閾値設定部
２３ コントラスト強調部
２４ 差分画像生成部
３ 特徴量算出部
４０ 特徴量選択部
４ 解析部
４１ 平均化処理部
４２ 平均化特徴量選択部
５ 状態量推定装置
５ｍ 記憶装置
５１ 特徴量取得部
５２ 推定モデル取得部
５３ 状態量推定部
５５ 表示装置
６ 撮像装置
７ 燃焼炉
７ｃ 上部
７ｓ 側壁部
７１ 燃料供給口
７２ 燃料押込装置
７３ 火格子
７４ 灰排出口
７６ 気体供給装置
７７ 気体供給管
７７ａ 第１気体流量調節弁
７７ｂ 第２気体流量調節弁
８ 燃焼空間
８１ 一次燃焼空間
８１ａ 主燃焼空間
８１ｂ おき燃焼空間
８２ 二次燃焼空間
９１ 排ガス通路
９２ 排ガス処理装置
９３ 煙突
Ｈ 輝度分布
Ｌ 閾値
Ｇ 前処理後画像
Ｆ 特徴量
Ｐ 対象画像
Ｒ 単位領域
Ｒｈ 高輝度領域
Ｒｌ 暗部領域
Ｍ 推定モデル
Ｓ 状態量
Ａ 燃焼用気体
Ｅ 排ガス
Ｆｇ 燃料

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】