知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-12-22
(45)【発行日】2024-01-05
(54)【発明の名称】コークス炉撮影装置、コークス炉検査装置、および画像処理装置
(51)【国際特許分類】
C10B 29/06 20060101AFI20231225BHJP
H04N 7/18 20060101ALI20231225BHJP
F27D 21/00 20060101ALI20231225BHJP
F27D 21/02 20060101ALI20231225BHJP
F27D 1/00 20060101ALI20231225BHJP
G06T 7/00 20170101ALI20231225BHJP
【ＦＩ】
C10B29/06
H04N7/18 B
F27D21/00 Q
F27D21/02
F27D1/00 V
G06T7/00 610
【請求項の数】
9
(21)【出願番号】P 2020094835
(22)【出願日】2020-05-29
(65)【公開番号】P2021187957
(43)【公開日】2021-12-13
【審査請求日】2023-03-15
(73)【特許権者】
【識別番号】502369746
【氏名又は名称】住友重機械プロセス機器株式会社
(74)【代理人】
【識別番号】100105924
【弁理士】
【氏名又は名称】森下 賢樹
(74)【代理人】
【識別番号】100116274
【弁理士】
【氏名又は名称】富所 輝観夫
(72)【発明者】
【氏名】福井 基文
(72)【発明者】
【氏名】ワン シン
(72)【発明者】
【氏名】高橋 誠
(72)【発明者】
【氏名】諏訪 義和
【審査官】上坊寺 宏枝
(56)【参考文献】
【文献】特開２０１１－１２６９８９（ＪＰ，Ａ）
【文献】特開２００９－０５７４９１（ＪＰ，Ａ）
【文献】特開平０３－１０５１９５（ＪＰ，Ａ）
【文献】特開平１１－２５６１６６（ＪＰ，Ａ）
【文献】特開２０１２－１１１８９６（ＪＰ，Ａ）
【文献】特開２０２０－００３４３０（ＪＰ，Ａ）
【文献】特開平０７－２９８２４８（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｃ１０Ｂ ２９／０６
Ｈ０４Ｎ ７／１８
Ｆ２７Ｄ １／００、２１／００、２１／０２
Ｇ０６Ｔ ７／００
(57)【特許請求の範囲】
【請求項1】
コークス炉内を移動しながら炉壁面を斜視像として撮影するカメラと、前記カメラから逐次出力される一連の炉内画像にもとづいて前記炉壁面の少なくとも一部分を含む炉壁面画像を生成する画像処理部と、を備え、
前記画像処理部は、前記一連の炉内画像および生成された炉壁面画像のうち異なるタイミングで撮影された少なくとも二画像それぞれから前記炉壁面上の同じ注目部位を切り出し、切り出された部分画像にもとづいて前記注目部位の検査画像を生成し、
前記画像処理部は、入力される炉内画像またはその部分画像が前記炉壁面の損傷検査に有効であるか否かを推定する機械学習された識別器を備え、
前記画像処理部は、前記切り出された部分画像を前記識別器に逐次入力し、前記識別器からの出力にもとづいて前記炉壁面の損傷検査に有効な部分画像を選択し、選択された有効な部分画像から前記注目部位の検査画像を生成することを特徴とするコークス炉撮影装置。
【請求項2】
コークス炉内を移動しながら炉壁面を斜視像として撮影するカメラと、
前記カメラから逐次出力される一連の炉内画像にもとづいて前記炉壁面の少なくとも一部分を含む炉壁面画像を生成する画像処理部と、を備え、
前記画像処理部は、前記一連の炉内画像および生成された炉壁面画像のうち異なるタイミングで撮影された少なくとも二画像それぞれから前記炉壁面上の同じ注目部位を切り出し、切り出された部分画像にもとづいて前記注目部位の検査画像を生成し、
前記画像処理部は、入力される炉内画像群またはその部分画像群から前記炉壁面の損傷検査に有効である有効画像を合成する機械学習された画像生成器を備え、
前記画像処理部は、前記切り出された部分画像を前記画像生成器に入力し、前記有効画像を合成し、前記有効画像から前記注目部位の検査画像を生成することを特徴とするコークス炉撮影装置。
【請求項3】
前記カメラは、前記コークス炉内を反復的に往復移動する押出装置に搭載され、前記少なくとも二画像は、前記押出装置の往復移動での復路において撮影された炉内画像または当該炉内画像にもとづいて生成された炉壁面画像を含むことを特徴とする請求項１または２に記載のコークス炉撮影装置。
【請求項4】
前記少なくとも二画像は、前記コークス炉内での前記カメラの一回の往復移動での往路と復路において同じ炉内位置で撮影された炉内画像のペア、
前記コークス炉内での前記カメラの一回の往復移動での往路または復路のいずれかにおいて異なる時点に撮影された複数の炉内画像、および、
前記コークス炉内での前記カメラの複数回の往復移動にわたって同じ炉内位置で撮影された複数の炉内画像、のうち少なくとも１つを含むことを特徴とする請求項１から３のいずれかに記載のコークス炉撮影装置。
【請求項5】
前記画像処理部は、前記炉壁面画像として、前記炉壁面の少なくとも一部分の正面視画像を生成し、前記少なくとも二画像は、前記正面視画像を含むことを特徴とする請求項１から４のいずれかに記載のコークス炉撮影装置。
【請求項6】
前記少なくとも二画像は、前記コークス炉内での前記カメラの一回または複数回の往復移動における前記一連の炉内画像にもとづいて生成された異なる２枚の正面視画像を含むことを特徴とする請求項５に記載のコークス炉撮影装置。
【請求項7】
請求項１から６のいずれかに記載のコークス炉撮影装置と、前記検査画像を入力として、画像認識により前記炉壁面の損傷に関する情報を出力する演算処理装置と、を備えることを特徴とするコークス炉検査装置。
【請求項8】
カメラをコークス炉内で移動させながら炉壁面を斜視像として前記カメラで逐次撮影された一連の炉内画像を受け、前記一連の炉内画像にもとづいて前記炉壁面の少なくとも一部分を含む炉壁面画像を生成する画像処理部を備え、前記画像処理部は、前記一連の炉内画像および生成された炉壁面画像のうち異なるタイミングで撮影された少なくとも二画像それぞれから前記炉壁面上の同じ注目部位を切り出し、切り出された部分画像にもとづいて前記注目部位の検査画像を生成し、
前記画像処理部は、入力される炉内画像またはその部分画像が前記炉壁面の損傷検査に有効であるか否かを推定する機械学習された識別器を備え、
前記画像処理部は、前記切り出された部分画像を前記識別器に逐次入力し、前記識別器からの出力にもとづいて前記炉壁面の損傷検査に有効な部分画像を選択し、選択された有効な部分画像から前記注目部位の検査画像を生成することを特徴とする画像処理装置。
【請求項9】
カメラをコークス炉内で移動させながら炉壁面を斜視像として前記カメラで逐次撮影された一連の炉内画像を受け、前記一連の炉内画像にもとづいて前記炉壁面の少なくとも一部分を含む炉壁面画像を生成する画像処理部を備え、
前記画像処理部は、前記一連の炉内画像および生成された炉壁面画像のうち異なるタイミングで撮影された少なくとも二画像それぞれから前記炉壁面上の同じ注目部位を切り出し、切り出された部分画像にもとづいて前記注目部位の検査画像を生成し、
前記画像処理部は、入力される炉内画像群またはその部分画像群から前記炉壁面の損傷検査に有効である有効画像を合成する機械学習された画像生成器を備え、
前記画像処理部は、前記切り出された部分画像を前記画像生成器に入力し、前記有効画像を合成し、前記有効画像から前記注目部位の検査画像を生成することを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、コークス炉撮影装置、コークス炉検査装置、画像処理装置および産業設備の撮影装置に関する。
【背景技術】
【0002】
従来、コークス炉の炭化室の炉壁損傷検査をするために、検査員がコークス炉内を直接目視することに代えて、熱対策を施したカメラを炉内に挿入して炉壁を撮影し、その画像を検査員に観察させることが提案されている。コークス炉への入口は狭く、炉内は奥行き方向にかなり細長いため、一度の撮影ではふつう、炉壁のごく一部しかカメラに写らない。そこで、カメラを奥行き方向に移動させながら逐次撮影し、それらの画像をつなぎ合わせることによって、炉壁全体画像が取得される。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１１－１２６９８８号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
本発明者らは、上記のコークス炉壁観察方法について検討したところ、以下の課題を認識するに至った。コークス炉内の環境は撮影に過酷であり、たとえば、コークス炉の運転中にはコークスから飛散した多量の粉塵が炉内で舞うことがある。視界が悪くなるので、炉壁を鮮明に撮影するには支障が生じうる。また、炉内はたとえば１０００℃以上の高温に加熱される。高温による炉壁の発光の色や強さは温度に応じて変わるので、炉壁の見え方は、コークス炉の運転中に起こりうる炉内温度の変動や炉壁上の温度分布による炉壁各部の温度の差違によって影響されうる。これは、高解像度のカメラを使うことによって緩和されうるが、その場合、撮影システムは、高価で大掛かりなものとなりがちである。こうした事情により、実際のところ、損傷検査をするうえで炉壁の良好な画像を撮影することは、必ずしも容易でない。
【0005】
なお、コークス炉内の撮影だけでなく、他の産業設備の被検査面の撮影においても、撮影中に撮影条件や被検査面の状態が変化する場合には、検査のためにより良好な画像を得られるようにすることが望まれる。
【0006】
本発明のある態様の例示的な目的のひとつは、コークス炉またはその他の産業設備における損傷検査に適する被検査面の画像を生成することにある。
【課題を解決するための手段】
【0007】
本発明のある態様によると、コークス炉撮影装置は、コークス炉内を移動しながら炉壁面を斜視像として撮影するカメラと、カメラから逐次出力される一連の炉内画像にもとづいて炉壁面の少なくとも一部分を含む炉壁面画像を生成する画像処理部と、を備える。画像処理部は、一連の炉内画像および生成された炉壁面画像のうち少なくとも二画像それぞれから炉壁面上の同じ注目部位を切り出し、切り出された部分画像にもとづいて注目部位の検査画像を生成する。
【0008】
本発明のある態様によると、コークス炉検査装置は、上述の態様に係るコークス炉撮影装置と、検査画像を入力として、画像認識により炉壁面の損傷に関する情報を出力する演算処理装置と、を備える。
【0009】
本発明のある態様によると、画像処理装置は、カメラをコークス炉内で移動させながら炉壁面を斜視像としてカメラで逐次撮影された一連の炉内画像を受け、一連の炉内画像にもとづいて炉壁面の少なくとも一部分を含む炉壁面画像を生成する画像処理部を備える。画像処理部は、一連の炉内画像および生成された炉壁面画像のうち少なくとも二画像それぞれから炉壁面上の同じ注目部位を切り出し、切り出された部分画像にもとづいて注目部位の検査画像を生成する。
【0010】
本発明のある態様によると、産業設備の撮影装置は、産業設備の内部または周囲を移動しながら産業設備の被検査面を斜視像として撮影するカメラと、カメラから逐次出力される一連のカメラ画像にもとづいて被検査面の少なくとも一部分を含む被検査面画像を生成する画像処理部と、を備える。画像処理部は、一連のカメラ画像および生成された被検査面画像のうち少なくとも二画像それぞれから被検査面上の同じ注目部位を切り出し、切り出された部分画像にもとづいて注目部位の検査画像を生成する。
【0011】
なお、以上の構成要素の任意の組み合わせや本発明の構成要素や表現を、方法、装置、システムなどの間で相互に置換したものもまた、本発明の態様として有効である。
【発明の効果】
【0012】
本発明によれば、コークス炉またはその他の産業設備における損傷検査に適する被検査面の画像を生成することができる。
【図面の簡単な説明】
【0013】
【図1】実施の形態に係る炉内観察装置を模式的に示す側面図である。
【図3】実施の形態に係るコークス炉撮影装置のブロック図である。
【図5】炉壁面の正面視画像の例を示す図である。
【図6】実施の形態に係るコークス炉撮影装置のブロック図である。
【発明を実施するための形態】
【0014】
以下、図面を参照しながら、本発明を実施するための形態について詳細に説明する。説明および図面において同一または同等の構成要素、部材、処理には同一の符号を付し、重複する説明は適宜省略する。図示される各部の縮尺や形状は、説明を容易にするために便宜的に設定されており、特に言及がない限り限定的に解釈されるものではない。実施の形態は例示であり、本発明の範囲を何ら限定するものではない。実施の形態に記述されるすべての特徴やその組み合わせは、必ずしも発明の本質的なものであるとは限らない。
【0015】
図１は、実施の形態に係る炉内観察装置を模式的に示す側面図である。図１に示される炉内観察装置は、コークス炉の炭化室（以下、単にコークス炉ともいう）の内部を観察するために使用される。また、図２は、図１に示される観察装置から見たときのコークス炉の内部を模式的に示す図である。
【0016】
コークス炉１０は、一対のレンガ造りの炉壁１１が互いに対向して設けられた狭窄な炉である。炉壁１１は、コークス炉１０の一方側の炉入口１２から反対側の炉出口１３へと、奥行き方向にたとえば十数メートルに及ぶ。炉壁１１の間隔は、たとえば数十センチメートルである。コークス炉１０の底１５から天井１４への高さは、たとえば数メートルである。
【0017】
コークス炉１０内を反復的に往復移動する押出装置２０が設けられている。往路において、押出装置２０は、コークス炉１０内に炉入口１２から挿入され、コークス炉１０内で製造されたコークスＣを炉出口１３へと押し出す。復路において、押出装置２０は、コークス炉１０内を炉出口１３から炉入口１２へと戻る。押出装置２０は、押板２１とビーム２２を備え、ビーム２２が押板２１を図示しない駆動装置に接続し、この駆動装置の動作により押板２１がコークス炉１０の炉入口１２から炉出口１３まで移動自在となっている。押板２１がコークス炉１０の断面と同形状をしているため、押板２１の移動によりコークスＣを押し出すことができる。
【0018】
カメラ３０は、押出装置２０とともにコークス炉１０内を奥行き方向に移動しながら連続的に炉壁１１を撮影する。カメラ３０は、スチルカメラであってもよいし、ビデオカメラであってもよい。カメラ３０は、押板２１の背面または押板２１の後方に設置された支持台に取り付けられている。カメラ３０は、押板２１やコークスＣに視界を阻まれないように、押出装置２０によるコークスＣの押出方向と逆方向（図１の右方向）を向くように取り付けられている。カメラ３０は、奥行き方向を正面として設置されており、左右両側の炉壁１１を撮影することができる。炉壁１１は斜視像として撮影される。コークス炉１０内の高温環境（たとえば１０００℃以上）からカメラ３０を保護するために、カメラ３０には、たとえば耐熱ハウジングまたは冷却ボックスに収納するといった熱対策が施されている。
【0019】
図３は、実施の形態に係るコークス炉撮影装置１００のブロック図である。コークス炉撮影装置１００は、カメラ３０に加えて、画像処理部１１０を備える。また、演算処理装置２１０は、コークス炉撮影装置１００とともにコークス炉検査装置２００を構成する。画像処理部１１０、演算処理装置２１０は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）、マイコンなどのプロセッサ（ハードウェア）と、プロセッサ（ハードウェア）が実行するソフトウェアプログラムの組み合わせで実装することができる。
【0020】
カメラ３０は、逐次撮影された一連の炉内画像を画像処理部１１０に出力するように構成される。たとえば、カメラ３０は、コークス炉内を移動しながら撮影するとき通信ケーブルで画像処理部１１０と接続され、炉内画像を画像処理部１１０に撮影中にリアルタイムに出力してもよい。あるいは、カメラ３０は、内蔵されるメモリに炉内画像を蓄積し、撮影後にコークス炉外で炉内画像を画像処理部１１０に出力してもよい。この場合、撮影中にカメラ３０に通信ケーブルは接続されなくてもよい。
【0021】
コークス炉撮影装置１００は、カメラ３０が一連の炉内画像それぞれを撮影した位置を示すカメラ位置情報を生成するように構成される。たとえば、カメラ３０の撮影中にコークス炉内での奥行き方向のカメラ位置を測定するカメラ位置センサが設けられてもよい。カメラ位置センサとして、たとえば、コークス炉内での奥行き方向の押出装置の位置を測定するために押出装置に設置されているエンコーダが利用されてもよい。カメラ位置情報はカメラ位置センサから画像処理部１１０に入力され、個々の炉内画像とその撮影位置が画像処理部１１０によって対応付けられてもよい。
【0022】
画像処理部１１０がアクセス可能な画像データベースとして機能する画像データ記憶装置が画像処理部１１０の内部または外部に設けられてもよく、カメラ３０から逐次出力される一連の炉内画像は、画像データベースに蓄積されてもよい。画像データベースに蓄積された炉内画像は、画像処理部１１０によって、たとえばリアルタイムに、または所望のタイミングで（オフラインで）、処理されてもよい。画像データベースには、カメラ３０で撮影した炉内画像のほかに、画像処理部１１０から出力される炉壁面の正面視画像またはその他の画像も蓄積されてもよい。
【0023】
画像処理部１１０は、カメラ３０から逐次出力される一連の炉内画像にもとづいて炉壁面の少なくとも一部分を含む炉壁面画像を生成する。画像処理部１１０は、炉壁面画像として、炉壁面の少なくとも一部分の正面視画像を生成してもよい。炉壁面の正面視画像は、斜視像である炉内画像を視点変換処理により正面視の画像に変換し、得られた正面視の画像をつなぎ合わせることによって生成される。炉壁面の正面視画像を生成するこうした処理は、既存の手法を適宜用いることができ、ここでは詳述しない。
【0024】
なお、炉壁面画像は、正面視画像には限られない。炉壁面画像は斜視像であってもよく、画像処理部１１０は、カメラ３０から逐次出力される一連の炉内画像から一枚または複数枚の炉内画像を選択し出力してもよい。選択された炉内画像は上述の炉壁面画像とみなされうる。
【0025】
図４（ａ）および図４（ｂ）は、炉内画像の例を示す。図５は、炉壁面の正面視画像の例を示す。図４（ａ）に示される炉内画像３２ａは、図１に示される押出装置２０の往復移動での往路において撮影され、図４（ｂ）に示される炉内画像３２ｂは、同じ往復移動での復路において炉内画像３２ａと同じ炉内位置で撮影されている。図５に示される正面視画像３４は、炉内画像３２ａ、３２ｂを含む一連の炉内画像にもとづいて生成されている。
【0026】
画像処理部１１０は、一連の炉内画像のうち少なくとも二画像それぞれから炉壁面上の同じ注目部位３６を切り出す。注目部位３６は、ユーザーの選択にもとづいてもよい。たとえば、ユーザーは、一連の炉内画像のうち一の炉内画像（たとえば炉内画像３２ａ、３２ｂのうち一方の炉内画像）について、関心のある部位を注目部位３６として選択する。そうした注目部位３６の選択は、コークス炉撮影装置１００に設けられたユーザーインターフェイスを通じて、画像処理部１１０に入力されてもよい。画像処理部１１０は、他の１つ又は複数の炉内画像（たとえば炉内画像３２ａ、３２ｂのうち他方の炉内画像）について、同じ注目部位３６をカメラ位置情報にもとづいて特定してもよい。こうして、画像処理部１１０は、一連の炉内画像のうち少なくとも二画像（たとえば炉内画像３２ａ、３２ｂ）のそれぞれから、同じ注目部位３６を含む部分画像を切り出す（図３（ａ）、図３（ｂ）において矩形で示される）。なお、注目部位３６の選択と部分画像の切り出しは、斜視像である炉内画像で行うことには限定されず、炉内画像にもとづいて生成された炉壁面の正面視画像で行われてもよい。
【0027】
画像処理部１１０は、切り出された部分画像にもとづいて注目部位３６の検査画像を生成する。部分画像が炉内画像から切り出された場合、注目部位３６の検査画像は、炉内画像と同様に、斜視像でありうる。画像処理部１１０は、斜視像である検査画像を正面視画像に変換してもよい。また、部分画像が正面視画像から切り出された場合、注目部位３６の検査画像は、正面視画像となる。
【0028】
画像処理部１１０によって生成された注目部位３６の検査画像は、たとえばディスプレイに表示する等、目視検査用の画像としてユーザーに提示されてもよい。あるいは、画像処理部１１０によって生成された注目部位３６の検査画像は、図３に示されるように、演算処理装置２１０に入力されてもよい。
【0029】
演算処理装置２１０は、検査画像（たとえば正面視画像３４）を入力として、画像認識により炉壁面の損傷に関する情報を出力する。たとえば、演算処理装置２１０は、入力される検査画像に基づいて、炉壁面のたとえば亀裂、欠け、穴、カーボン付着などあらかじめ選択された損傷領域の種類を特定することができるように、深層学習などの機械学習により構成される。あるいは、適用可能であれば、演算処理装置２１０はそれぞれ、炉壁面の様々な部位および様々な損傷についてあらかじめ準備された多数のサンプル画像データと入力される検査画像とのパターンマッチングに基づいてもよい。
【0030】
したがって、コークス炉検査装置２００は、入力される検査画像にもとづいて、炉壁面の損傷領域を、例えば領域分割、物体検出など、画像認識により検出し、損傷領域の位置をユーザーに提示する。コークス炉検査装置２００は、損傷領域の位置だけでなく、たとえば亀裂、欠け、穴、カーボン付着など損傷領域の種類を画像認識により検出し、損傷領域の種類をユーザーに提示してもよい。コークス炉検査装置２００は、損傷領域とともに、または損傷領域に代えて、炉壁面の健全領域（すなわち損傷のない領域）をユーザーに提示してもよい。
【0031】
実施の形態に係るコークス炉撮影装置１００によれば、画像処理部１１０は、カメラ３０から逐次出力される一連の炉内画像のうち少なくとも二画像それぞれから炉壁面上の同じ注目部位３６を切り出し、その注目部位３６を含む複数の部分画像を取得する。画像処理部１１０は、切り出された複数の部分画像にもとづいて注目部位３６の検査画像を生成する。このようにすれば、同じ注目部位３６を異なるタイミングで撮影した複数の部分画像を用意することができる。たとえ複数の部分画像のうちいずれかが粉塵や炉内温度の影響により観察しにくい画像であったとしても、他のいずれかの部分画像は、そうした影響の少ない画像でありうる。同じ注目部位３６の複数の部分画像を用いることにより、一枚だけの画像にもとづく場合に比べて、炉壁面の観察に適する検査画像が得られる可能性が高まるものと期待される。これにより、より正確な損傷検査を行うことができる。
【0032】
一連の炉内画像のうち少なくとも二画像は、押出装置の往復移動での復路において撮影された炉内画像または当該炉内画像にもとづいて生成された正面視画像を含んでもよい。往路においては押出装置がコークスを押し出すので、コークス炉内に粉塵が多く発生しがちである。それに対して、復路ではコークス炉内からコークスが既に排出されているので、粉塵は往路に比べて少なくなり、カメラ３０は、より鮮明な炉内画像を撮影しうる。したがって、復路で撮影された炉内画像にもとづくことにより、炉壁面の観察に適する部分画像（注目部位３６）を選択することができる。
【0033】
同じ注目部位３６の複数の部分画像を切り出す少なくとも二画像は、ほかにも考えられる。たとえば、少なくとも二画像は、コークス炉内でのカメラの一回の往復移動での往路と復路において同じ炉内位置で撮影された炉内画像のペアを含んでもよい。少なくとも二画像は、コークス炉内でのカメラの一回の往復移動での往路または復路のいずれかにおいて異なる時点に撮影された複数の炉内画像を含んでもよい。少なくとも二画像は、コークス炉内でのカメラの複数回の往復移動にわたって同じ炉内位置で撮影された複数の炉内画像を含んでもよい。少なくとも二画像は、生成された正面視画像を含んでもよい。少なくとも二画像は、コークス炉内でのカメラの一回または複数回の往復移動における一連の炉内画像にもとづいて生成された異なる２枚の正面視画像（たとえば、往路と復路それぞれから得られる正面視画像）を含んでもよい。このようにしても、炉壁面の観察に適する検査画像が得られる可能性が高まるものと期待される。
【0034】
また、同じ注目部位３６の複数の部分画像を切り出す少なくとも二画像は、機械学習の観点からは、異なる性質の画像を混在させないことが好ましい。そこで、少なくとも二画像は、いずれも炉内画像であってもよい。あるいは、少なくとも二画像は、いずれも正面視画像であってもよい。
【0035】
図６は、実施の形態に係るコークス炉撮影装置１００のブロック図である。図６を参照して、コークス炉撮影装置１００の具体的な構成の例を説明する。コークス炉撮影装置１００は、入力画像撮影部１１１、画像部分領域取得部１１２、画像部分領域選択部１１３、画像鮮明化処理部１１４、画像認識処理部１１５、出力画像表示部１１６を備える。
【0036】
入力画像撮影部１１１は、画像の取得手段であり、図３のカメラ３０に対応する。入力画像撮影部１１１は、カメラと、カメラを移動させる手段、カメラの位置あるいは移動距離を取得する手段、カメラの姿勢を制御する手段などを含みうる。入力画像撮影部１１１が撮影した画像は、位置情報とともに、画像部分領域取得部１１２に入力される。
【0037】
画像部分領域取得部１１２、画像部分領域選択部１１３は、図３に示される画像処理部１１０に対応づけることができる。画像鮮明化処理部１１４、画像認識処理部１１５は、図３に示される演算処理装置２１０に対応づけることができる。
【0038】
画像部分領域取得部１１２は、入力画像撮影部１１１から入力される画像群から、炉壁面上の同じ注目部位を含む複数の部分画像を抽出する。入力される画像群は、カメラから逐次出力される一連の炉内画像、およびこの一連の炉内画像にもとづいて生成された炉壁面画像、たとえば正面視画像を含みうる。
【0039】
画像部分領域選択部１１３は、画像部分領域取得部１１２によって抽出された複数の部分画像から炉壁面の損傷検査に有効な部分画像を選択し、選択された有効な部分画像から注目部位の検査画像を生成する。あるいは、画像部分領域選択部１１３は、画像部分領域取得部１１２によって抽出された複数の部分画像から炉壁面の損傷検査に有効である有効画像を合成し、有効画像から注目部位の検査画像を生成する。
【0040】
図７（ａ）および図７（ｂ）は、画像部分領域選択部１１３の例示的な構成を示す。図７（ａ）に示されるように、画像部分領域選択部１１３は、入力される炉内画像またはその部分画像が炉壁面の損傷検査に有効であるか否かを推定する機械学習された識別器１１７を備える。画像部分領域選択部１１３は、切り出された部分画像４０を識別器１１７に逐次入力し、識別器１１７からの出力４２にもとづいて炉壁面の損傷検査に有効な部分画像を選択し、選択された有効な部分画像から注目部位の検査画像を生成する。
【0041】
識別器１１７の出力４２は、入力される部分画像４０が損傷検査に有効であるか否かを二値的に示してもよい（たとえば、出力４２は、部分画像４０が損傷検査に有効である場合、値１をとり、有効でない場合、値０をとってもよい）。あるいは、識別器１１７の出力４２は、入力される部分画像４０が損傷検査に有効である確率を示してもよい。画像部分領域選択部１１３は、複数の部分画像４０それぞれについて出力４２を取得し、損傷検査に有効である確率が最大となる部分画像４０を損傷検査に有効な部分画像として選択してもよい。あるいは、出力４２があるしきい値を超える部分画像４０を損傷検査に有効な部分画像として選択してもよい。
【0042】
識別器１１７は、畳み込みニューラルネットワーク（ＣＮＮ）で構成されてもよい。識別器１１７の学習には、教師データとして入力画像群と各入力画像についての人手による有効／無効の評価結果のペアが使用されてもよい。なお、識別器１１７は、たとえばサポートベクターマシンなど非深層学習の方式で構築されてもよい。
【0043】
図７（ｂ）に示されるように、画像部分領域選択部１１３は、入力される炉内画像群またはその部分画像群から炉壁面の損傷検査に有効である有効画像を合成する機械学習された画像生成器１１８を備える。画像部分領域選択部１１３は、切り出された部分画像４０を画像生成器１１８に入力し、有効画像４４を合成し、有効画像４４から注目部位の検査画像を生成する。
【0044】
画像生成器１１８は、畳み込みニューラルネットワーク（ＣＮＮ）で構成されてもよい。画像生成器１１８は、既定の枚数の画像群から１枚の画像を合成するように構成されてもよい。画像生成器１１８の学習には、教師データとして既定の枚数の入力画像群とそれら入力画像のうち人手により有効と評価される正解画像のペアが使用されてもよい。
【0045】
再び図６を参照すると、画像鮮明化処理部１１４は、画像部分領域選択部１１３から入力される画像に、例えば、超解像処理、デノイジング(denoising)処理、デブルアリング(deblurring)処理のうち少なくとも１つを含む画像鮮明化処理を施す。超解像処理は、画像を劣化させることなく（または画像の劣化を抑えつつ）決められたサイズに拡大する。デノイジング処理は、カメラノイズやsalt-and-pepperノイズなど、入力画像に含まれるノイズを除去または低減する。デブルアリング処理は、焦点ぼけや移動物体のぼけなどを補正する。
【0046】
こうした画像鮮明化処理は、種々の手法で実装されうる。たとえば超解像処理については、単純な補間法、事例ベースの手法、または、機械学習により得られる超解像モデルを採用できる。こうした超解像モデルは、たとえば、「R. Timofte, V.D. Smet, and L.V.Gool. A+: Adjusted Anchored Neighborhood Regression for Fast Super-Resolution. ACCV, 2014.」、「C. Dong, C.C. Loy, K. He, and X. Tang. Image Super-Resolution Using Deep Convolutional Networks. TPAMI, 2016.」に開示される。また、デノイジング／デブルアリング処理については、たとえばガウシアンフィルタによる平滑化処理、機械学習による方法などが考えられ、これらは、「K. Dabov, A. Foi, V. Katkovnik, and K. Egiazarian. Image Denoising by Sparse 3-D Transform-Domain Collaborative Filtering. TIP, 2007.」、「M. Hradis, J. Kotera, P. Zemcik, and F. Sroubek, Convolutional Neural Networks for Direct Text Deblurring. BMVC, 2015.」に例示される。
【0047】
なお、画像鮮明化処理部１１４は、オプションであり、省略されてもよい。画像部分領域選択部１１３からの出力画像は、画像認識処理部１１５に入力されてもよい。
【0048】
画像認識処理部１１５は、画像鮮明化処理部１１４（または画像部分領域選択部１１３）から入力される画像に、例えば領域分割、物体検出などの画像認識にもとづく損傷検出を行い、その結果を出力する。画像認識処理部１１５は、畳み込みニューラルネットワーク（ＣＮＮ）で構成されてもよく、損傷検出処理は、たとえば、「J. Shotton, J. Winn, C. Rother, and A. Criminisi, TextonBoost: Joint Appearance, Shape and Context Modeling for Multi-Class Object Recognition and Segmentation. ECCV, 2006.」、「J. Long, E. Shelhamer, and T. Darrell, Fully Convolutional Networks for Semantic Segmentation. CVPR, 2015.」に開示される手法が採用されてもよい。
【0049】
出力画像表示部１１６は、画像認識処理部１１５によって得られた損傷検査結果を出力する。出力画像表示部１１６は、ディスプレイを備え、検査結果をユーザに視覚的に提示してもよい。出力画像表示部１１６は、検査結果を示すデータを、記憶媒体に保存してもよい。
【0050】
図８（ａ）、図８（ｂ）は、ディスプレイ１２２に表示されるユーザインターフェイス画面の例を示す。図８（ａ）に示されるように、参照画像（たとえば、上述の炉内画像、炉壁面画像、正面視画像、検査画像のいずれでもよい）３００と、損傷領域２０４を示す検査結果画像３０２が並べて表示されてもよい。図８（ｂ）に示されるように、損傷領域２０４と参照画像が重ね合わされた検査結果画像３０２が表示されてもよい。損傷領域２０４などユーザーが選択した領域を拡大表示するための拡大枠３０４が検査画像３０２とともにディスプレイ１２２に表示されてもよい。そのほかに、ユーザーが画面上で発見した対象領域（損傷領域）を選択する機能や、対象領域の位置、サイズ、種類などの対象領域情報を表示する機能が備わっていてもよい。
【0051】
以上、本発明を実施例にもとづいて説明した。本発明は上記実施形態に限定されず、種々の設計変更が可能であり、様々な変形例が可能であること、またそうした変形例も本発明の範囲にあることは、当業者に理解されるところである。ある実施の形態に関連して説明した種々の特徴は、他の実施の形態にも適用可能である。組合せによって生じる新たな実施の形態は、組み合わされる実施の形態それぞれの効果をあわせもつ。
【0052】
上述の実施の形態では、撮影装置および検査装置がコークス炉に適用される場合を例として説明しているが、本発明はこれに限定されず、産業機械やプラント、社会インフラなど様々な産業設備に適用されてもよい。ある実施の形態においては、産業設備の撮影装置は、産業設備の内部または周囲を移動しながら産業設備の被検査面を斜視像として撮影するカメラと、カメラから逐次出力される一連のカメラ画像にもとづいて被検査面の少なくとも一部分の被検査面画像を生成する画像処理部と、を備えてもよい。被検査面は、産業設備の内壁面または外壁面であってもよい。産業設備の外壁面を撮影するために、カメラは、たとえばドローンなどの飛行体に搭載されてもよい。画像処理部は、一連のカメラ画像および生成された被検査面画像のうち少なくとも二画像それぞれから被検査面上の同じ注目部位を切り出し、切り出された部分画像にもとづいて注目部位の検査画像を生成してもよい。また、産業設備の検査装置は、上述の撮影装置と、検査画像を入力として、画像認識により被検査面の損傷に関する情報を出力する演算処理装置と、を備えてもよい。
【0053】
実施の形態にもとづき、具体的な語句を用いて本発明を説明したが、実施の形態は、本発明の原理、応用の一側面を示しているにすぎず、実施の形態には、請求の範囲に規定された本発明の思想を逸脱しない範囲において、多くの変形例や配置の変更が認められる。
【符号の説明】
【0054】
３０ カメラ、 ３２ａ，３２ｂ 炉内画像、 ３４ 正面視画像、 ３６ 注目部位、 ４０ 部分画像、 ４２ 出力、 ４４ 有効画像、 １００ コークス炉撮影装置、 １１０ 画像処理部、 １１７ 識別器、 １１８ 画像生成器、 ２００ コークス炉検査装置、 ２１０ 演算処理装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】