特許 7548827 画像検査装置、検査画像表示装置、画像検査方法、画像検査プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-02

(45)【発行日】2024-09-10

(54)【発明の名称】画像検査装置、検査画像表示装置、画像検査方法、画像検査プログラム

(51)【国際特許分類】

   G01N 21/88 20060101AFI20240903BHJP

【ＦＩ】

G01N21/88 J

【請求項の数】 11

(21)【出願番号】P 2021005551

(22)【出願日】2021-01-18

(65)【公開番号】P2022110266

(43)【公開日】2022-07-29

【審査請求日】2023-12-13

(73)【特許権者】

【識別番号】000002107

【氏名又は名称】住友重機械工業株式会社

(74)【代理人】

【識別番号】100105924

【弁理士】

【氏名又は名称】森下 賢樹

(74)【代理人】

【識別番号】100116274

【弁理士】

【氏名又は名称】富所 輝観夫

(72)【発明者】

【氏名】福井 基文

【審査官】吉田 将志

(56)【参考文献】

【文献】特開２０１３－２５００５９（ＪＰ，Ａ）

【文献】特開２０１５－２０１８１９（ＪＰ，Ａ）

【文献】特開２０１２－１９１６４１（ＪＰ，Ａ）

【文献】特開２００９－１５３００３（ＪＰ，Ａ）

【文献】特開２０１６－０２１７２５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｎ ２１／８４ － Ｇ０１Ｎ ２１／９５８

Ｇ０６Ｔ ７／００ － Ｇ０６Ｔ ７／９０

(57)【特許請求の範囲】

【請求項1】

検査対象物を撮影した検査画像に生じうる画質異常の類型を登録する画質異常類型登録部と、
撮影された前記検査画像に基づき、前記登録された画質異常の類型のうち当該検査画像に生じている画質異常の類型を推定する画質異常類型推定部と、
撮影された前記検査画像に対して、前記推定された画質異常の類型に応じた画質補正処理を施した補正検査画像を生成する画質補正部と
を備える画像検査装置。

【請求項2】

前記画質異常類型登録部が登録する前記類型の画質異常は、前記検査画像を撮影する撮影装置の撮影状態に起因する画質異常と、前記撮影装置の置かれる環境に起因する画質異常を含む
請求項１に記載の画像検査装置。

【請求項3】

前記画質異常類型推定部は、前記登録された各類型の画質異常について、それぞれが撮影された前記検査画像に生じている可能性を表す推定値を出力し、
前記画質補正部は、撮影された前記検査画像に対して、前記推定された各類型の画質異常を個別に補正する個別補正処理を施した個別補正画像を生成し、それらを当該各類型についての前記推定値によって重み付けした合成画像を前記補正検査画像として生成する
請求項１または２に記載の画像検査装置。

【請求項4】

前記補正検査画像に基づいて、当該補正検査画像に映る前記検査対象物の異常を検出する異常検出部を備える
請求項１から３のいずれかに記載の画像検査装置。

【請求項5】

前記補正検査画像に基づき、前記検出された異常を強調表示する検査結果画像を生成する検査結果画像生成部を備える
請求項４に記載の画像検査装置。

【請求項6】

検査対象物を撮影した検査画像に生じうる画質異常の類型を登録する画質異常類型登録部と、
前記登録された各類型の画質異常の重みを表示する重み表示部と、
撮影された前記検査画像に対して、前記登録された各類型の画質異常を個別に補正する個別補正処理を施した個別補正画像を生成し、それらを当該各類型についての前記重みによって重み付けした合成画像を補正検査画像として表示する補正検査画像表示部と
を備える検査画像表示装置。

【請求項7】

前記各類型の画質異常の重みを変更する重み変更部を備える
請求項６に記載の検査画像表示装置。

【請求項8】

補正前の前記検査画像を表示する検査画像表示部を備える
請求項６または７に記載の検査画像表示装置。

【請求項9】

前記補正検査画像に映る前記検査対象物の異常を強調表示する検査結果画像を表示する検査結果画像表示部を備える
請求項６から８のいずれかに記載の検査画像表示装置。

【請求項10】

検査対象物を撮影した検査画像に生じうる画質異常の類型を登録する画質異常類型登録ステップと、
撮影された前記検査画像に基づき、前記登録された画質異常の類型のうち当該検査画像に生じている画質異常の類型を推定する画質異常類型推定ステップと、
撮影された前記検査画像に対して、前記推定された画質異常の類型に応じた画質補正処理を施した補正検査画像を生成する画質補正ステップと
を備える画像検査方法。

【請求項11】

検査対象物を撮影した検査画像に生じうる画質異常の類型を登録する画質異常類型登録ステップと、
撮影された前記検査画像に基づき、前記登録された画質異常の類型のうち当該検査画像に生じている画質異常の類型を推定する画質異常類型推定ステップと、
撮影された前記検査画像に対して、前記推定された画質異常の類型に応じた画質補正処理を施した補正検査画像を生成する画質補正ステップと
をコンピュータに実行させる画像検査プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は検査対象物を撮影した検査画像の画質改善技術に関する。

【背景技術】

【0002】

検査対象物を検査する際、検査対象物を撮影した検査画像を利用する技術が知られている。例えば、特許文献１は、土木構造物を検査対象物として、その検査画像に基づいて損傷を検査する技術を開示する。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１６－２１７２５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ボイラー、コークス炉、建設機械、その他のプラント、橋梁、ダム、建物等の大型構造物を検査対象物とする場合、検査画像を撮影するカメラは被検査面に沿って移動可能なロボット、ドローン、その他の移動体に取り付けられる。あるいは、人がカメラを持って移動しながら検査対象物を撮影する。このような場合、移動するカメラで撮影された検査画像の画質が安定しないという課題がある。また、大型構造物は変化の多い過酷な環境に置かれることも多く、環境に起因する外乱が検査画像の画質を悪化させるという課題もある。このように、検査画像の画質は様々な要因で悪化しうる。

【0005】

本発明はこうした状況に鑑みてなされたものであり、その目的は、効果的に検査画像の画質を改善できる画像検査装置および検査画像表示装置を提供することにある。

【課題を解決するための手段】

【0006】

上記課題を解決するために、本発明のある態様の画像検査装置は、検査対象物を撮影した検査画像に生じうる画質異常の類型を登録する画質異常類型登録部と、撮影された検査画像に基づき、登録された画質異常の類型のうち当該検査画像に生じている画質異常の類型を推定する画質異常類型推定部と、撮影された検査画像に対して、推定された画質異常の類型に応じた画質補正処理を施した補正検査画像を生成する画質補正部とを備える。

【0007】

この態様によれば、撮影された検査画像に生じている画質異常の類型の推定結果に応じた画質補正処理によって、画質の改善された補正検査画像を生成できる。

【0008】

本発明の別の態様は、検査画像表示装置である。この装置は、検査対象物を撮影した検査画像に生じうる画質異常の類型を登録する画質異常類型登録部と、登録された各類型の画質異常の重みを表示する重み表示部と、撮影された検査画像に対して、登録された各類型の画質異常を個別に補正する個別補正処理を施した個別補正画像を生成し、それらを当該各類型についての重みによって重み付けした合成画像を補正検査画像として表示する補正検査画像表示部とを備える。

【0009】

この態様によれば、検査画像に生じうる各類型の画質異常を個別に補正した個別補正画像を、重み表示部に表示される重みによって重み付けした合成画像が補正検査画像となる。したがって、検査画像に複数の種類の画質異常が同時に生じている場合も、効果的に画質を改善できる。

【0010】

本発明のさらに別の態様は、画像検査方法である。この方法は、検査対象物を撮影した検査画像に生じうる画質異常の類型を登録する画質異常類型登録ステップと、撮影された検査画像に基づき、登録された画質異常の類型のうち当該検査画像に生じている画質異常の類型を推定する画質異常類型推定ステップと、撮影された検査画像に対して、推定された画質異常の類型に応じた画質補正処理を施した補正検査画像を生成する画質補正ステップとを備える。

【0011】

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

【発明の効果】

【0012】

本発明によれば、効果的に検査画像の画質を改善できる。

【図面の簡単な説明】

【0013】

【図1】コークス炉の炉内観察装置を模式的に示す側面図である。

【図2】コークス炉の内部を模式的に示す図である。

【図3】実施形態に係る画像検査装置の機能ブロック図である。

【図4】表示制御部による表示画面への表示例を示す図である。

【発明を実施するための形態】

【0014】

以下、図面を参照しながら、本発明を実施するための形態について詳細に説明する。説明および図面において同一または同等の構成要素、部材、処理には同一の符号を付し、重複する説明は適宜省略する。図示される各部の縮尺や形状は、説明を容易にするために便宜的に設定されており、特に言及がない限り限定的に解釈されるものではない。実施形態は例示であり、本発明の範囲を何ら限定するものではない。実施形態に記述されるすべての特徴やその組み合わせは、必ずしも発明の本質的なものであるとは限らない。

【0015】

本発明の画像検査装置および検査画像表示装置は、任意の検査対象物の検査に利用できる。したがって検査対象物が特に限定されるものではないが、本実施形態ではコークス炉の炉壁を検査対象物とする例を最初に説明する。検査対象物の他の例については後述する。

【0016】

図１は、本実施形態の画像検査装置および検査画像表示装置が用いられる炉内観察装置を模式的に示す側面図である。この炉内観察装置は、コークス炉の炭化室（以下、単にコークス炉ともいう）の内部を観察するために使用される。図２は、コークス炉の内部を模式的に示す図である。

【0017】

コークス炉１０は、一対のレンガ造りの炉壁１１が互いに対向して設けられた狭窄な炉である。各炉壁１１は、コークス炉１０の一方側の炉入口１２から他方側の炉出口１３に延び、その全長は例えば十数メートルに及ぶ。対向する炉壁１１の間隔は、例えば数十センチメートルである。コークス炉１０の底１５から天井１４への高さは、例えば数メートルである。

【0018】

図１に示される押出装置２０は、コークス炉１０内を反復的に往復移動する。往路において、押出装置２０は、コークス炉１０内に炉入口１２から挿入され、コークス炉１０内の乾留によって生成されたコークスＣを炉出口１３へと押し出す。復路において、押出装置２０は、コークス炉１０内を炉出口１３から炉入口１２へ戻る。押出装置２０は、押板２１とビーム２２を備え、ビーム２２が押板２１を図示しない駆動装置に接続する。この駆動装置により、押板２１がコークス炉１０の炉入口１２と炉出口１３の間を移動自在となっている。押板２１がコークス炉１０の断面と同形状をしているため、押板２１の移動によりコークスＣを押し出せる。

【0019】

検査画像を撮影する撮影装置としてのカメラ３０は、カメラ３０を移動させる移動体としての押出装置２０に取り付けられ、コークス炉１０内を炉入口１２と炉出口１３の間で押出装置２０と共に移動しながら連続的に炉壁１１を撮影する。カメラ３０は、静止画を連続的に撮影するスチルカメラでもよいし、動画を撮影するビデオカメラでもよい。カメラ３０は、押板２１の背面または押板２１の後方に設置された支持台に取り付けられる。

【0020】

カメラ３０は、左右の炉壁１１それぞれに向けて取り付けられる２つのカメラを含み、左右両側の炉壁１１の正面視画像を撮影できる。左右の炉壁１１全体を撮影するために、２つのカメラは、上下方向に角度をいくらか変化させながら撮影してもよい。なお、カメラ３０は、押板２１やコークスＣに視界を阻まれないように、押出装置２０によるコークスＣの押出方向と逆方向（図１の右方向）を向くように取り付けられてもよい。その場合、カメラ３０は、炉入口１２に正対して設置されており、左右両側の炉壁１１を斜視画像として撮影できる。

【0021】

コークス炉１０内の高温環境（たとえば１０００℃以上）からカメラ３０を保護するために、例えば耐熱ハウジングまたは冷却ボックスに収納する熱対策が施されている。

【0022】

以上の構成の炉内観察装置において、カメラ３０が撮影する検査画像には、以下のような様々な画質異常が生じうる。

【0023】

カメラ３０の撮影状態に起因する画質異常
・ピントまたは焦点のずれ（いわゆるボケ）：移動するカメラ３０と被検査面の距離の変動に起因する
・複数静止画間または動画内の検査対象物の姿勢の変動：移動するカメラ３０の姿勢の変動に起因する
・視点の異常（非正面視画像）：被検査面に対するカメラ３０の配置（上記の斜視画像の例）や、移動するカメラ３０の姿勢の変動に起因する

【0024】

カメラ３０の置かれる環境に起因する画質異常
・ノイズ：コークス炉１０内を飛散するカーボンチップの映り込みや、高温等によるカメラ３０の動作不良に起因する
・かすみやくもり：コークス炉１０内の火、煙、蒸気等の映り込みに起因する
・光の異常（乱反射、逆光等）：赤熱環境にあるコークス炉１０内の光の変動に起因する

【0025】

図３は、実施形態に係る画像検査装置１００の機能ブロック図である。画像検査装置１００は、検査画像取得部１１０と、画質異常類型推定部１２０と、画質異常推定設定部１３０と、画質補正部１４０と、異常検出部１５０と、異常検出設定部１６０と、検査結果画像生成部１７０と、表示制御部１８０を備える。

【0026】

カメラ３０および画像メモリ３１は、検査対象物の被検査面としての炉壁１１を撮影した検査画像を画像検査装置１００に入力する画像入力部を構成する。表示画面４０は、画像検査装置１００の処理内容を表示する。操作部５０は、表示画面４０と一体のタッチパネルや表示画面４０と別体のキーボードやマウス等の入力デバイスで構成され、ユーザの操作に基づき画像検査装置１００に対する各種の制御情報を生成する。操作部５０による操作の一部または全部をコンピュータが自律的に行うようにプログラミングしてもよい。

【0027】

画像メモリ３１は、カメラ３０が連続的に撮影した炉壁１１の検査画像群を保存する。画像メモリ３１は、カメラ３０の内蔵メモリでもよいし、メモリーカード等の汎用のリムーバブルメディアでもよい。また、有線または無線でカメラ３０と通信可能なコークス炉１０外のストレージでもよい。画像検査装置１００は、画像メモリ３１に保存された検査画像群に対して、後述する各処理を実行する。ここで、カメラ３０と画像検査装置１００が有線または無線で通信可能で、画像検査装置１００がカメラ３０の撮影した検査画像をリアルタイムで取得して処理できる場合は、必ずしも全ての検査画像を画像メモリ３１に保存する必要はなく、画像メモリ３１は不要または小容量とできる。

【0028】

検査画像取得部１１０は、カメラ３０または画像メモリ３１から、検査対象物を撮影した検査画像を取得する。

【0029】

画質異常類型推定部１２０は、検査画像取得部１１０で取得された検査画像に基づき、当該検査画像に生じている画質異常の類型を推定する。画質異常推定設定部１３０は、画質異常類型登録部１３１と訓練データ提供部１３２を備え、操作部５０の操作の下、画質異常類型推定部１２０が検査画像に基づいて画質異常の類型を推定できるように設定する。画質異常類型登録部１３１は、検査画像に生じうる画質異常の類型を登録する。コークス炉１０の炉壁１１を検査対象物とする場合に生じうる画質異常の類型の例については上述した。以下では、これらの類型のうち「ボケ」「斜め（斜視画像）」「ノイズ」「かすみ」の四つの類型の画質異常が検査画像に生じうるものとして、画質異常類型登録部１３１によって登録されているものとする。

【0030】

画質異常類型推定部１２０は、画質異常類型登録部１３１によって登録された「ボケ」「斜め」「ノイズ」「かすみ」について、それぞれが検査画像取得部１１０で取得された検査画像に生じている可能性を表す推定値を出力する。以下、それぞれの推定値をＷ１、Ｗ２、Ｗ３、Ｗ４で表す。また、検査画像に上記のいずれの画質異常も生じていない「正常」の類型となっている可能性を表す推定値をＷ５で表す。これらの推定値Ｗ１～Ｗ５を成分とする推定ベクトルをＶで表す。すなわち、Ｖ＝^ｔ（Ｗ１，Ｗ２，Ｗ３，Ｗ４，Ｗ５）である。また、推定値Ｗ１～Ｗ５は、その合計が１．０になるように正規化されているものとする。したがって、Ｗ１＋Ｗ２＋Ｗ３＋Ｗ４＋Ｗ５＝１．０であり、Ｗ１～Ｗ５の各値はそれぞれの類型が検査画像に生じている可能性または確率を表す。例えば、Ｖ＝^ｔ（０．５，０．２，０．１，０．０，０．２）の場合、「ボケ」が生じている可能性は５０％（Ｗ１＝０．５）、「斜め」が生じている可能性は２０％（Ｗ２＝０．２）、「ノイズ」が生じている可能性は１０％（Ｗ３＝０．１）、「かすみ」が生じている可能性は０％（Ｗ４＝０．０）、「正常」が生じている可能性は２０％（Ｗ５＝０．２）である。なお、検査画像取得部１１０で取得された検査画像を任意の複数の部分画像に分割して、画質異常類型推定部１２０が部分画像毎に画質異常の類型を推定してもよい。このとき、各部分画像について、「ボケ」「斜め」「ノイズ」「かすみ」「正常」が生じている可能性を表す推定ベクトルＶが生成される。

【0031】

画質異常類型推定部１２０は、検査画像取得部１１０で取得された検査画像に基づいて推定ベクトルＶを生成するための機械学習を行う。機械学習の手法は任意であるが、例えば、畳み込み層や全結合層を備える畳み込みニューラルネットワークを用いた深層学習を利用できる。画質異常推定設定部１３０における訓練データ提供部１３２は、画質異常類型推定部１２０の機械学習のための訓練データを提供する。訓練データは、画質異常類型登録部１３１によって登録された画質異常の全類型と、それぞれの画質異常が様々な箇所に様々な態様で実際に生じている多数の検査画像例を網羅する。画質異常類型推定部１２０は、画像検査装置１００の初期セットアップやメンテナンスの際、これらの包括的な訓練データを機械学習することで、検査画像取得部１１０で取得された検査画像に基づいて推定ベクトルＶを生成できる。

【0032】

画質補正部１４０は、検査画像取得部１１０で取得された検査画像に対して、画質異常類型推定部１２０で推定された画質異常の類型に応じた画質補正処理を施した補正検査画像を生成する。具体的には、画質補正部１４０は、検査画像取得部１１０で取得された検査画像に対して、画質異常類型推定部１２０で推定された各類型の画質異常を個別に補正する個別補正処理を施した個別補正画像を生成し、それらを当該各類型についての推定値Ｗ１～Ｗ５によって重み付けした合成画像を補正検査画像として生成する。画質補正部１４０は、これらの一連の処理を実行するために、個別補正画像生成部１４１と、重み付け部１４２と、画像合成部１４３を備える。

【0033】

個別補正画像生成部１４１は、検査画像取得部１１０で取得された検査画像に対して、画質異常類型推定部１２０で推定された「ボケ」「斜め」「ノイズ」「かすみ」の各類型の画質異常を個別に補正する個別補正処理を施した個別補正画像を生成する。個別補正処理は、公知の画像補正技術を利用して実行される。「ボケ」は、deblurringと呼ばれるボケ除去処理技術により補正できる。「斜め」の斜視画像は、カメラ３０の位置情報や姿勢情報を利用した視点変換技術により正面視画像に補正できる。「ノイズ」は、ノイズの特性に応じたノイズ除去技術により補正できる。「かすみ」は、dehazingと呼ばれるかすみ／くもり除去処理技術により補正できる。なお、本実施形態の例では登録されない他の類型の画質異常は次のように補正できる。「複数静止画間または動画内の検査対象物の姿勢の変動」については、複数静止画または動画を構成する各画像の位置や角度を調整することで、検査対象物を画面内の一定箇所に一定姿勢で表示することができる。「光の異常」については、乱反射や逆光など異常の態様に応じた公知の画像補正技術を利用して補正できる。

【0034】

画質異常類型推定部１２０が「ボケ」「斜め」「ノイズ」「かすみ」「正常」について生成する推定値をそれぞれＷ１～Ｗ５としたが、これと同様に、個別補正画像生成部１４１が「ボケ」「斜め」「ノイズ」「かすみ」「正常」について生成する個別補正画像をそれぞれＩ１～Ｉ５とする。ここで、「正常」については特段の個別補正処理は不要なので、画像Ｉ５は検査画像取得部１１０で取得された検査画像そのものである。なお、Ｉ１～Ｉ５との表記は、必ずしも画像全体（全画素）のみを表すものではなく、文脈が許す限り、画像の一部を構成する一または複数の画素を表す場合もある。例えば、上述のように検査画像が任意の複数の部分画像に分割され、推定ベクトルＶ＝^ｔ（Ｗ１，Ｗ２，Ｗ３，Ｗ４，Ｗ５）が部分画像毎に生成される場合、Ｉ１～Ｉ５も各部分画像についての個別補正画像を表す。

【0035】

重み付け部１４２は、個別補正画像生成部１４１で生成された個別補正画像Ｉ１～Ｉ５を、画質異常類型推定部１２０で生成された推定値Ｗ１～Ｗ５によって重み付けする。すなわち、「ボケ」については積Ｗ１×Ｉ１が、「斜め」については積Ｗ２×Ｉ２が、「ノイズ」については積Ｗ３×Ｉ３が、「かすみ」については積Ｗ４×Ｉ４が、「正常」については積Ｗ５×Ｉ５が演算される。

【0036】

画像合成部１４３は、重み付け部１４２で推定値Ｗ１～Ｗ５によって重み付けされた個別補正画像Ｉ１～Ｉ５を合成して、補正検査画像を生成する。具体的には、画像合成部１４３は、重み付け部１４２で演算された五つの積を加算することで補正検査画像を合成する。すなわち、補正検査画像をＩとすると、Ｉ＝Ｗ１×Ｉ１＋Ｗ２×Ｉ２＋Ｗ３×Ｉ３＋Ｗ４×Ｉ４＋Ｗ５×Ｉ５、である。ここで、個別補正画像Ｉ１～Ｉ５を、それぞれの類型の画質異常が生じている確率Ｗ１～Ｗ５で重み付けすることによって、複数の画質異常が同時に生じている場合も、バランス良く効果的に画質を改善できる。

【0037】

なお、画像合成部１４３は、重み付け部１４２が演算した五つの積のうち一部を選択して補正検査画像Ｉを生成してもよい。このとき、選択された積に係る推定値の和が１．０になるように再正規化がなされるものとする。例えば、画像合成部１４３は、推定値が最大の一つの積を選択してもよい。上記の例では「ボケ」の推定値Ｗ１が最大であるため、これが選択される。したがって補正検査画像ＩはＷ１′×Ｉ１となる。Ｗ１′は再正規化後の推定値であるが、この場合はＷ１′＝１．０となる。また、画像合成部１４３は、推定値が大きい方から例えば三つの積を選択してもよい。上記の例では「ボケ」「斜め」「正常」の三つの推定値Ｗ１、Ｗ２、Ｗ５が大きい。したがって補正検査画像ＩはＷ１′×Ｉ１＋Ｗ２′×Ｉ２＋Ｗ５′×Ｉ５となる。Ｗ１′、Ｗ２′、Ｗ５′は再正規化後の推定値であり、Ｗ１′＋Ｗ２′＋Ｗ３′＝１．０である。具体的には、Ｗ１′＝０．５／０．９、Ｗ２′＝０．２／０．９、Ｗ３′＝０．２／０．９、である。ここで、０．９は、再正規化前の推定値Ｗ１、Ｗ２、Ｗ５の和である。

【0038】

異常検出部１５０は、画質補正部１４０で生成された補正検査画像Ｉに基づいて、当該補正検査画像Ｉに映る検査対象物の異常を検出する。異常検出設定部１６０は、異常類型登録部１６１と訓練データ提供部１６２を備え、操作部５０の操作の下、異常検出部１５０が補正検査画像Ｉに映る検査対象物の異常を検出できるように設定する。異常類型登録部１６１は、検査対象物に生じうる異常の類型を登録する。コークス炉１０の炉壁１１を検査対象物とする場合に生じうる異常の類型としては、急熱や急冷による歪みで炉壁１１が破壊するスポーリング、コークスの原料の石炭に由来するカーボンの炉壁１１への付着、炉壁１１を構成するレンガの目地の劣化が例示される。

【0039】

異常検出部１５０は、画質補正部１４０で生成された補正検査画像Ｉに基づいて、異常類型登録部１６１で登録された類型の検査対象物の異常を検出するための機械学習を行う。機械学習の手法は任意であるが、例えば、畳み込み層や全結合層を備える畳み込みニューラルネットワークを用いた深層学習を利用できる。異常検出設定部１６０における訓練データ提供部１６２は、異常検出部１５０の機械学習のための訓練データを提供する。訓練データは、異常類型登録部１６１によって登録された検査対象物の異常の全類型と、それぞれの異常が検査対象物の様々な箇所に様々な態様で実際に生じている多数の検査画像例を網羅する。異常検出部１５０は、画像検査装置１００の初期セットアップやメンテナンスの際、これらの包括的な訓練データを機械学習することで、画質補正部１４０で生成された補正検査画像Ｉに基づいて、異常類型登録部１６１で登録された類型の検査対象物の異常を検出できる。画質補正部１４０によって画質が改善された補正検査画像Ｉを用いることによって、異常検出部１５０は高精度に検査対象物の異常を検出できる。

【0040】

検査結果画像生成部１７０は、補正検査画像Ｉに基づき、異常検出部１５０で検出された検査対象物の異常を強調表示する検査結果画像を生成する。強調表示の態様は任意であるが、例えば、補正検査画像Ｉ中で、検出された異常部分の輝度を上げる、色を変える、線で囲む、注記やノートを表示する、等が考えられる。

【0041】

表示制御部１８０は、本発明の検査画像表示装置の主要部を構成し、画像検査装置１００の処理内容を表示画面４０に表示させる。後述するように、ユーザは、操作部５０によって、表示制御部１８０が表示画面４０に表示させる内容を操作できる。

【0042】

図４は、表示制御部１８０による表示画面４０への表示例を示す。表示画面４０の左側には、上から順に検査画像表示部４１、補正検査画像表示部４２、検査結果画像表示部４３が設けられる。検査画像表示部４１は、画質補正部１４０による画質補正前の検査画像、すなわち、検査画像取得部１１０で取得された検査画像をそのまま表示する。補正検査画像表示部４２は、画質補正部１４０が検査画像に画質補正処理を施して生成した補正検査画像を表示する。検査結果画像表示部４３は、補正検査画像に映る検査対象物の異常を強調表示する検査結果画像を表示する。

【0043】

図示の例では、検査画像表示部４１に表示される検査画像は、画質異常類型登録部１３１で登録された画質異常の類型「ボケ」「斜め」「ノイズ」「かすみ」のうち、「ボケ」の影響が強く表れた不鮮明な画像になっている。補正検査画像表示部４２に表示される補正検査画像は、画質異常類型推定部１２０および画質補正部１４０によって「ボケ」その他の画質異常が補正された鮮明な画像になっている。検査結果画像表示部４３に表示される検査結果画像は、補正検査画像をベースとしつつ、異常検出部１５０で検出された各種の異常４３１、４３２、４３３を強調表示した画像になっている。

【0044】

これらの三種類の画像は、画像検査装置１００が自律的に取得または生成したものであるが、表示画面４０上に並べて表示されることで、ユーザによる目視検査を効果的に支援でき、検査精度を向上できる。例えば、ユーザが検査画像表示部４１に表示される補正前の検査画像と補正検査画像表示部４２に表示される補正検査画像を目視で比較した結果、補正検査画像で画質が十分に改善されていないと判断した場合は、後述するように、操作部５０の操作によって画質異常類型推定部１２０、画質異常推定設定部１３０、画質補正部１４０で実行される画質改善処理を変更できる。同様に、ユーザが補正検査画像表示部４２に表示される補正検査画像と検査結果画像表示部４３に表示される検査結果画像を目視で比較した結果、検査結果画像で異常４３１、４３２、４３３が正しく強調表示されていないと判断した場合は、後述するように、操作部５０の操作によって異常検出部１５０、異常検出設定部１６０、検査結果画像生成部１７０で実行される異常の強調表示処理を変更できる。

【0045】

表示画面４０の中央上部には、重み表示部４４が設けられる。重み表示部４４は、画質異常類型登録部１３１で登録された画質異常の類型「ボケ」「斜め」「ノイズ」「かすみ」および「正常」の重みを表示する。これらの重みは、例えば、画質異常類型推定部１２０が出力する推定値Ｗ１～Ｗ５であり、補正検査画像表示部４２に表示される補正検査画像を画質補正部１４０が生成する際の重み付け部１４２における重み付け演算に用いられる。

【0046】

重み表示部４４に表示される重みは、画質異常類型推定部１２０が出力する推定値Ｗ１～Ｗ５に限らず、任意の数値でよい（但し、コンピュータの支援によってＷ１～Ｗ５の和が１．０になるように自動的に正規化されるものとする）。例えば、画像検査装置１００で予め設定されたデフォルト値でもよいし、ユーザが操作部５０を介して入力する任意の値でもよい。また、重み表示部４４に表示されている各重みは、ユーザが操作部５０を介して変更できる（重み変更部）。したがって、ユーザが補正検査画像表示部４２に表示される補正検査画像で画質が十分に改善されていないと判断した場合は、重み表示部４４に表示されている各重みを自ら適宜変更して、変更後の補正検査画像を補正検査画像表示部４２でリアルタイムに確認しながら画質を改善することもできる。

【0047】

重み表示部４４に表示されている「ボケ」「斜め」「ノイズ」「かすみ」「正常」の各類型を表すテキストや重みの領域をユーザが操作部５０を介して選択することで、各類型の個別補正画像Ｉ１～Ｉ５を表示する別画面に遷移できるようにしてもよい。このとき、各類型を表すテキストや重みの領域は、個別補正画像を表示する個別補正画像表示部を構成する。個別補正画像Ｉ１～Ｉ５の表示画面では、全ての個別補正画像Ｉ１～Ｉ５を並べて表示するのが好ましい。ユーザは、各個別補正画像Ｉ１～Ｉ５を目視で比較検討することで、各個別補正処理の効果を確認しながら重み表示部４４で設定すべき重みを効果的に検討できる。

【0048】

重み表示部４４の下に設けられる属性情報表示部４５には、検査画像の各種の属性情報が表示される。例えば、図示の例のように、検査画像に映る検査対象物の名称（第４炉壁）、撮影箇所の位置座標（Ｘ，Ｙ，Ｚ）、検査画像のファイル名（img.jpg）が表示される。

【0049】

属性情報表示部４５の下には、画質改善モデル選択部４６と、異常検出モデル選択部４７が設けられる。

【0050】

画質改善モデル選択部４６は、ユーザの操作部５０の操作に基づいて、画質改善処理のモデルを選択する。画質改善処理のモデルは、画質異常類型推定部１２０、画質異常推定設定部１３０、画質補正部１４０の処理の組合せで構成される。各部の処理のパラメータやアルゴリズムを変えることで、複数の異なる画質改善モデルが画像検査装置１００に予め登録されている。

【0051】

画質異常類型推定部１２０の処理については、推定ベクトルＶを生成する対象（検査画像全体または部分画像毎）、推定ベクトルＶを生成するアルゴリズム等を変えることができる。画質異常推定設定部１３０の処理については、画質異常類型登録部１３１が登録して表示部４４に表示される画質異常の類型等を変えることができる。画質補正部１４０の処理については、個別補正画像生成部１４１が個別補正画像を生成するアルゴリズム、重み付け部１４２が重み付け演算に使用する推定値Ｗ１～Ｗ５の選択基準、画像合成部１４３が画像合成するアルゴリズム等を変えることができる。また、画質改善モデル選択部４６で選択可能な画質改善モデルは、重み表示部４４を上書き可能な重みの定型的な組合せ^ｔ（Ｗ１，Ｗ２，Ｗ３，Ｗ４，Ｗ５）を指定するものでもよい。

【0052】

画質改善モデル選択部４６で画質改善モデルが切り替えられた結果は、更新ボタン４８の押下によって、補正検査画像表示部４２に表示される補正検査画像に即時に反映される。それに伴い、検査結果画像表示部４３に表示される検査結果画像も更新される。また、画質改善モデルの変更によって重みに変更が生じた場合は、重み表示部４４の重みも同時に変更される。このように、画質改善モデル選択部４６は、各類型の画質異常の重みを変更する重み変更部を構成する。

【0053】

異常検出モデル選択部４７は、ユーザの操作部５０の操作に基づいて、異常検出処理のモデルを選択する。異常検出処理のモデルは、異常検出部１５０、異常検出設定部１６０、検査結果画像生成部１７０の処理の組合せで構成される。各部の処理のパラメータやアルゴリズムを変えることで、複数の異なる異常検出モデルが画像検査装置１００に予め登録されている。

【0054】

異常検出部１５０の処理については、各類型の異常検出のアルゴリズム等を変えることができる。異常検出設定部１６０の処理については、異常類型登録部１６１が登録する検査対象物の異常の類型等を変えることができる。検査結果画像生成部１７０の処理については、検出された異常の強調表示の態様等を変えることができる。異常検出モデル選択部４７で異常検出モデルが切り替えられた結果は、更新ボタン４８の押下によって、検査結果画像表示部４３に表示される検査結果画像に即時に反映される。

【0055】

画質改善モデル選択部４６または異常検出モデル選択部４７をユーザが操作部５０を介して押下することで、選択候補の複数のモデルと、それらのモデルを適用した際に得られる補正検査画像または検査結果画像を並べて表示する選択画面に遷移できるようにしてもよい。このとき、画質改善モデル選択部４６または異常検出モデル選択部４７は、画質改善モデルまたは異常検出モデルの選択画面を表示するモデル選択画面表示部を構成する。このようなモデル選択画面において、ユーザは各モデルの効果を確認しながら選択すべきモデルを効果的に検討できる。

【0056】

保存ボタン４９１を押下すると、表示画面４０に表示される処理内容が画像検査装置１００のメモリに保存される。左右一対の検査画像選択ボタン４９２を押下すると、検査画像表示部４１に表示される検査画像が切り替わり、それに応じて表示画面４０のその他の部分も更新される。

【0057】

以上、本発明を実施形態に基づいて説明した。実施形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

【0058】

実施形態では、画像検査装置１００の検査対象物としてコークス炉１０を例に説明したが、検査対象物はこれに限定されない。例えば、検査対象物は、ボイラー、建設機械など各種の産業機械（コークス炉を含む）、橋梁などの社会インフラ、環境プラントや水処理施設など各種の産業構造物、またはその他の産業設備でもよく、被検査面は、こうした産業設備の内部または外部の被検査面でもよい。また、これらの被検査面の画像群を撮影するカメラは、被検査面に沿って移動可能な任意の構成の移動体に取り付けることができる。例えば、カメラはいわゆるドローンなどの飛行体に取り付けてもよい。

【0059】

コークス炉１０以外の検査対象物において、カメラ３０が撮影する検査画像には、次のような画質異常が生じうる。まず、カメラ３０の撮影状態に起因する画質異常、例えば、ピントまたは焦点のずれ（ボケ）、複数静止画間または動画内の検査対象物の姿勢の変動、視点の異常（非正面視画像）は、コークス炉１０に関する実施形態と同様の理由によって生じる。次に、カメラ３０の置かれる環境に起因する画質異常は、検査対象物の置かれる環境に応じて様々である。例えば、検査対象物が屋外に設置されている場合、雨や雪などの天気の影響で検査画像にノイズが生じる。同様に、強風時の砂埃、電磁波等もノイズの原因となる。夜間などの暗い状況で撮影する場合は、カメラのイメージセンサの暗電流によって白点ノイズも発生する。また、霧、靄、光化学スモッグ等は検査画像のかすみやくもりの原因となる。屋外の日照状況の変化は、検査画像に乱反射や逆光等の光の異常を引き起こす。

【0060】

なお、実施形態で説明した各装置の機能構成はハードウェア資源またはソフトウェア資源により、あるいはハードウェア資源とソフトウェア資源の協働により実現できる。ハードウェア資源としてプロセッサ、ＲＯＭ、ＲＡＭ、その他のＬＳＩを利用できる。ソフトウェア資源としてオペレーティングシステム、アプリケーション等のプログラムを利用できる。

【符号の説明】

【0061】

１０ コークス炉、１１ 炉壁、２０ 押出装置、３０ カメラ、４０ 表示画面、４１ 検査画像表示部、４２ 補正検査画像表示部、４３ 検査結果画像表示部、４４ 重み表示部、４６ 画質改善モデル選択部、５０ 操作部、１００ 画像検査装置、１１０ 検査画像取得部、１２０ 画質異常類型推定部、１３０ 画質異常推定設定部、１３１ 画質異常類型登録部、１４０ 画質補正部、１４１ 個別補正画像生成部、１４２ 重み付け部、１４３ 画像合成部、１５０ 異常検出部、１６０ 異常検出設定部、１７０ 検査結果画像生成部、１８０ 表示制御部。

【図1】

【図2】

【図3】

【図4】