特許 5745438 検査方法および検査装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5745438

(24)【登録日】2015年5月15日

(45)【発行日】2015年7月8日

(54)【発明の名称】検査方法および検査装置

(51)【国際特許分類】

   H04N 5/225 20060101AFI20150618BHJP

   H04N 5/232 20060101ALI20150618BHJP

   G01N 21/88 20060101ALI20150618BHJP

   G01B 11/30 20060101ALI20150618BHJP

   G06T 1/00 20060101ALI20150618BHJP

   G21C 17/003 20060101ALI20150618BHJP

   G21C 17/08 20060101ALI20150618BHJP

【ＦＩ】

   H04N5/225 C

   H04N5/232 Z

   G01N21/88 J

   G01B11/30 A

   G06T1/00 300

   G21C17/00 E

   G21C17/08

【請求項の数】14

【全頁数】37

(21)【出願番号】特願2012-30507(P2012-30507)

(22)【出願日】2012年2月15日

(65)【公開番号】特開2013-168779(P2013-168779A)

(43)【公開日】2013年8月29日

【審査請求日】2014年4月11日

(73)【特許権者】

【識別番号】507250427

【氏名又は名称】日立ＧＥニュークリア・エナジー株式会社

(74)【代理人】

【識別番号】100080001

【弁理士】

【氏名又は名称】筒井 大和

(72)【発明者】

【氏名】細谷 直樹

(72)【発明者】

【氏名】中平 健治

(72)【発明者】

【氏名】宮本 敦

(72)【発明者】

【氏名】渡邊 貴史

【審査官】 ▲徳▼田 賢二

(56)【参考文献】

【文献】 特開２０１２−１９０１４８（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１２／０２３０５４１（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２２５

Ｇ０１Ｂ １１／３０

Ｇ０１Ｎ ２１／８８

Ｇ０６Ｔ １／００

Ｇ２１Ｃ １７／００３

Ｇ２１Ｃ １７／０８

Ｈ０４Ｎ ５／２３２

(57)【特許請求の範囲】

【請求項1】

検査対象物を撮像するカメラ、前記カメラで撮像された前記検査対象物の動画を取得し前記動画の処理を行う画像処理装置、前記画像処理装置で処理された動画を表示する表示装置、および前記画像処理装置で処理された動画を記憶する記憶装置を備えた検査装置における検査方法であって、
前記画像処理装置により、前記カメラで撮像された検査対象物の動画を取得し、取得した動画を、複数の画像フレームに分割し、前記各画像フレームを複数の分割領域に分割して分割動画を作成し、前記分割動画毎に画質改善処理の強度に関わる指標値を算出し、前記分割動画毎に指標値の値に応じた前記画質改善処理の強度を設定して画質改善処理を施して高画質動画を作成し、作成した前記高画質動画を前記表示装置に表示させ、前記高画質動画を前記記憶装置に記憶させ、
前記指標値は、前記分割動画内の構造物または欠陥の存在度合い、前記分割動画のノイズ度合い、または前記分割動画のぼけ度合いであることを特徴とする検査方法。

【請求項2】

検査対象物を撮像するカメラ、前記カメラで撮像された前記検査対象物の動画を取得し前記動画の処理を行う画像処理装置、前記画像処理装置で処理された動画を表示する表示装置、および前記画像処理装置で処理された動画を記憶する記憶装置を備えた検査装置における検査方法であって、
前記画像処理装置により、前記カメラで撮像された検査対象物の動画を取得し、取得した動画を、複数の画像フレームに分割し、前記各画像フレームを複数の分割領域に分割して分割動画を作成し、前記分割動画毎に画質改善処理の強度に関わる指標値を算出し、前記分割動画毎に指標値の値に応じた前記画質改善処理の強度を設定して画質改善処理を施して高画質動画を作成し、作成した前記高画質動画を前記表示装置に表示させ、前記高画質動画を前記記憶装置に記憶させ、
前記画像処理装置による前記高画質動画の作成の際、前記画質改善処理を施すための前記分割動画への分割を、前記指標値の算出における前記分割動画への分割とは異なる領域で処理することを特徴とする検査方法。

【請求項3】

請求項１または２に記載の検査方法において、
前記画像処理装置による前記画像フレーム毎の前記分割領域への分割は、格子状の分割であることを特徴とする検査方法。

【請求項4】

請求項１〜３のいずれか１項に記載の検査方法において、
前記画質改善処理の強度は、前記画質改善処理として処理する画像復元処理で用いるぼけ関数の大きさ、または前記画像復元処理の反復回数であることを特徴とする検査方法。

【請求項5】

請求項１〜４のいずれか１項に記載の検査方法において、
前記画像処理装置により、前記カメラで撮像された前記検査対象物の動画のノイズ度合いを前記表示装置に表示させ、前記記憶装置に記憶させることを特徴とする検査方法。

【請求項6】

請求項１〜５のいずれか１項に記載の検査方法において、
前記画像処理装置により、前記カメラで撮像された前記検査対象物の動画のぼけ度合いから算出した前記カメラの放射能損傷度を前記表示装置に表示させ、前記記憶装置に記憶させることを特徴とする検査方法。

【請求項7】

請求項１〜６のいずれか１項に記載の検査方法において、
前記画像処理装置により、前記カメラで撮像した動画を、前記画質改善処理を施した動画と共に、前記表示装置に表示させ、前記カメラで撮像した動画を前記記憶装置に記憶させることを特徴とする検査方法。

【請求項8】

検査対象物を撮像するカメラと、
前記カメラで撮像された前記検査対象物の動画を取得し前記動画の処理を行う画像処理装置と、
前記画像処理装置で処理された動画を表示する表示装置と、
前記画像処理装置で処理された動画を記憶する記憶装置とを備え、
前記画像処理装置は、前記カメラで撮像された前記検査対象物の動画を取得し、取得した動画を、複数の画像フレームに分割し、前記各画像フレームを複数の分割領域に分割して分割動画を作成し、前記分割動画毎に画質改善処理の強度に関わる指標値を算出し、前記分割動画毎に指標値の値に応じた前記画質改善処理の強度を設定して前記画質改善処理を施して高画質動画を作成し、作成した前記高画質動画を前記表示装置に表示させ、前記高画質動画を前記記憶装置に記憶させ、
前記指標値は、前記分割動画内の構造物または欠陥の存在度合い、前記分割動画のノイズ度合い、または前記分割動画のぼけ度合いであることを特徴とする検査装置。

【請求項9】

検査対象物を撮像するカメラと、
前記カメラで撮像された前記検査対象物の動画を取得し前記動画の処理を行う画像処理装置と、
前記画像処理装置で処理された動画を表示する表示装置と、
前記画像処理装置で処理された動画を記憶する記憶装置とを備え、
前記画像処理装置は、前記カメラで撮像された前記検査対象物の動画を取得し、取得した動画を、複数の画像フレームに分割し、前記各画像フレームを複数の分割領域に分割して分割動画を作成し、前記分割動画毎に画質改善処理の強度に関わる指標値を算出し、前記分割動画毎に指標値の値に応じた前記画質改善処理の強度を設定して前記画質改善処理を施して高画質動画を作成し、作成した前記高画質動画を前記表示装置に表示させ、前記高画質動画を前記記憶装置に記憶させ、
前記画像処理装置による前記高画質動画の作成の際、前記画質改善処理を施すための前記分割動画への分割を、前記指標値の算出における前記分割動画への分割とは異なる領域で処理することを特徴とする検査装置。

【請求項10】

請求項８または９に記載の検査装置において、
前記画像処理装置による前記画像フレーム毎の前記分割領域への分割は、格子状の分割であることを特徴とする検査装置。

【請求項11】

請求項８〜１０のいずれか１項に記載の検査装置において、
前記画質改善処理の強度は、前記画質改善処理として処理する画像復元処理で用いるぼけ関数の大きさ、または前記画像復元処理の反復回数であることを特徴とする検査装置。

【請求項12】

請求項８〜１１のいずれか１項に記載の検査装置において、
前記画像処理装置は、前記カメラで撮像された前記検査対象物の動画のノイズ度合いを前記表示装置に表示させ、前記記憶装置に記憶させることを特徴とする検査装置。

【請求項13】

請求項８〜１２のいずれか１項に記載の検査装置において、
前記画像処理装置は、前記カメラで撮像された前記検査対象物の動画のぼけ度合いから算出した前記カメラの放射能損傷度を前記表示装置に表示させ、前記記憶装置に記憶させることを特徴とする検査装置。

【請求項14】

請求項８〜１３のいずれか１項に記載の検査装置において、
前記画像処理装置は、前記カメラで撮像した動画を、前記画質改善処理を施した動画と共に、前記表示装置に表示させ、前記カメラで撮像した動画を前記記憶装置に記憶させることを特徴とする検査装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、カメラにより映像を取得して検査を行う検査方法および検査装置に関し、特に、検査を行う上で欠陥を判別できるように、カメラにより取得した映像の構造物や欠陥部分に対応した分解能向上等の高画質化の技術に関するものである。

【背景技術】

【0002】

原子力発電プラント等では、高い安全性が求められており、定期的に十分な検査を実施しなければならない。検査対象物としては、例えば、原子炉圧力容器や、容器内にあるシュラウド、炉心支持板、燃料集合体等の構造物について検査が行われる。また、原子炉の外に保管された燃料集合体の検査など、原子炉以外の検査もある。

【0003】

検査方法の１つとして、カメラを用いて検査対象物の表面を撮像して得た動画を目視で検査する方法がある。この目視検査では、カメラを対象物に近づけて撮影する。カメラからはカラーまたはグレースケールの動画を取得する。取得した動画をディスプレイに表示して、検査員が目視で検査する。

【0004】

また、取得した動画を後で確認できるように記録している。また、撮影箇所を移動できるように、カメラに駆動装置が付いていて遠隔操作できる機能が付けられているか、離れた場所から検査員が手動でカメラを操作できる機構を備えている。

【0005】

検査は、ガンマ線などの放射線が多い環境で行われる場合がある。この場合には、放射線ノイズが画像に重畳する。また、放射線のため、カメラ内の電子回路が損傷し、その機能を徐々に喪失する。

【0006】

従って検査動画は視認性が悪く、検査対象物の検査において高い信頼性が得られにくいという課題がある。

【0007】

この課題については、カメラを工夫する方法と、取得した動画への処理を工夫する方法で対処している。前者は、例えばカメラに放射線遮蔽体を備えて、放射線がカメラにあたらないようにする方法である。後者は、例えば取得動画に対してノイズ除去処理等の画質改善処理を施す方法である。

【0008】

一方、近年では、見にくい欠陥も見つけられるように、検査動画の分解能を高くしてより小さい欠陥が検出できるようにすることが求められつつある。

【0009】

これについての対処法として考えられるものは、画像処理によって分解能を高くする方法がある。その一例として、取得した動画へ超解像処理を施す方法がある。

【0010】

例えば、特開２００８−２７８１４３号公報（特許文献１）に記載の技術がある。この公報には、「検査画像の解像度よりも高解像度の高解像度画像を検査画像から作成する」と記載されており、この構成により検査画像に超解像処理を施し、分解能の向上を図っている。

【先行技術文献】

【特許文献】

【0011】

【特許文献1】特開２００８−２７８１４３号公報

【発明の概要】

【発明が解決しようとする課題】

【0012】

特許文献１に記載されている方法は、対象画像に超解像処理を一様に施している。しかしながら、原子力発電プラント等の検査動画の画質は、動画中の画像フレーム毎や各画像フレーム上の位置によって異なる可能性があり、一様な画像処理を施した結果、検査動画全体を最適な画質にすることは困難である。

【0013】

例えば、原子力発電プラント等の検査はカメラを移動させながら検査対象物を撮像する。このため動画中の画像フレーム毎にカメラと検査対象物との距離が変わる。また、検査対象物は奥行きを持った構造であるため、各画像フレーム上の位置によってもカメラと検査対象物との距離が変わる。

【0014】

これによって、画像フレーム毎にまたは各画像フレーム上の位置毎に画像のぼけ度合いも変わることになる。この動画に一様な画像処理を施した場合、画像フレーム毎または各画像フレーム上の位置毎にみると画質が不十分な場合がある。

【0015】

そこで、本発明は、カメラにより取得した映像の構造物や欠陥部分に対応した分解能向上等の高画質化を行うことができる検査方法および検査装置を提供することを目的とする。

【0016】

本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述および添付図面から明らかになるであろう。

【課題を解決するための手段】

【0017】

本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、次の通りである。

【0018】

すなわち、代表的なものの概要は、画像処理装置は、カメラで撮像された検査対象物の動画を取得し、取得した動画を、複数の画像フレームに分割し、各画像フレームを複数の分割領域に分割して分割動画を作成し、分割動画毎に画質改善処理の強度に関わる指標値を算出し、分割動画毎に指標値の値に応じた画質改善処理の強度を設定して画質改善処理を施して高画質動画を作成し、作成した高画質動画を表示装置に表示させ、高画質動画を記憶装置に記憶させるものである。

【0019】

また、カメラは、表示装置に表示させる画面表示画素または記憶装置に記憶させる記憶画素数よりも多くの画素数を持ち、画像処理装置は、カメラで撮像された検査対象物の動画を取得し、取得した動画を、複数の画像フレームに分割し、各画像フレームを複数の分割領域に分割して分割動画を作成し、縮小処理で使用する縮小率を用いて縮小後に信号成分が保存されるように、画質改善処理を設定し、分割動画毎に設定された画質改善処理を施して高画質動画を作成し、高画質動画から分割動画毎に設定された縮小処理を施して高画質縮小動画を作成し、作成した高画質縮小動画を表示装置に表示させ、高画質動画を記憶装置に記憶させるものである。

【発明の効果】

【0020】

本願において開示される発明のうち、代表的なものによって得られる効果を簡単に説明すれば以下の通りである。

【0021】

すなわち、代表的なものによって得られる効果は、カメラにより取得した映像の構造物や欠陥部分に対応した分解能向上等の高画質化を行うことができ、視認性の良い動画を表示し、その動画を保存することができる。

【図面の簡単な説明】

【0022】

【図1】本発明の実施の形態１に係る検査装置の構成を示す構成図である。

【図2】本発明の実施の形態１に係る検査装置の画像処理装置の構成を示す構成図である。

【図3】本発明の実施の形態１に係る検査装置による目視検査のシーケンスを示す図である。

【図4】本発明の実施の形態１に係る検査装置の指標値算出と画質改善処理の強度の設定を説明するための説明図である。

【図5】本発明の実施の形態２に係る検査装置の分割動画作成の分割領域への分割を説明するための説明図である。

【図6】（ａ）、（ｂ）は本発明の実施の形態３に係る検査装置の指標値算出と画質改善処理の強度の設定を説明するための説明図である。

【図7】本発明の実施の形態４に係る検査装置の分割動画への分割方法を説明するための説明図である。

【図8】本発明の実施の形態５に係る検査装置の指標値算出と画質改善処理の強度の設定を説明するための説明図である。

【図9】（ａ）、（ｂ）は本発明の実施の形態６に係る検査装置のＧＵＩによる画面表示例を説明するための説明図である。

【図10】本発明の実施の形態７に係る検査装置の放射能損傷度の推定を説明するための説明図である。

【図11】（ａ）、（ｂ）は本発明の実施の形態７に係る検査装置のＧＵＩによる画面表示例を説明するための説明図である。

【図12】本発明の実施の形態８に係る検査装置の指標値算出と画質改善処理の強度の設定を説明するための説明図である。

【図13】（ａ）、（ｂ）は本発明の実施の形態８に係る検査装置のＧＵＩによる画面表示例を説明するための説明図である。

【図14】本発明の実施の形態９に係る検査装置の分割動画作成の分割領域への分割を説明するための説明図である。

【図15】本発明の実施の形態１０に係る検査装置の検査対象物の撮像例を説明するための説明図である。

【図16】（ａ）〜（ｃ）は本発明の実施の形態１１に係る検査装置のＧＵＩによる画面表示例を説明するための説明図である。

【図17】本発明の実施の形態１２に係る検査装置のトリミングの一例を説明するための説明図である。

【図18】本発明の実施の形態１２に係る検査装置のトリミングの一例を説明するための説明図である。

【図19】（ａ）、（ｂ）は本発明の実施の形態１２に係る検査装置のトリミングの一例を説明するための説明図である。

【発明を実施するための形態】

【0023】

以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、実施の形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。

【0024】

（実施の形態１）
＜検査装置の構成＞
図１により、本発明の実施の形態１に係る検査装置の構成について説明する。図１は本発明の実施の形態１に係る検査装置の構成を示す構成図である。

【0025】

図１において、検査装置は、例えば、カメラ２０１、画像処理装置２０２、記憶装置２０３、表示装置であるＧＵＩ２０４から構成される。検査対象物２０５が放射線の影響が大きい原子炉である場合、カメラ２０１のみを検査対象物２０５の近くに置いて検査を行い、カメラ２０１以外の画像処理装置２０２、記憶装置２０３、ＧＵＩ２０４は放射線量が多い環境の外に出す。

【0026】

また、カメラ２０１は、照明２０６や駆動部（図示せず）を備えていても良い。照明２０６は検査対象物２０５を照らす。カメラ２０１で検査対象物２０５を撮像して動画を取得する。カメラ２０１は、カラー動画またはグレースケール動画を撮像することができる。カメラ２０１の種類として、撮像管、ＣＣＤ、ＣＭＯＳなどを用いることができる。

【0027】

カメラ２０１からの動画は、ケーブル２０７を通して画像処理装置２０２に伝送する。カメラ２０１と画像処理装置２０２との通信は、無線で行っても良い。

【0028】

＜画像処理装置の構成＞
次に、図２により、本発明の実施の形態１に係る検査装置の画像処理装置の構成について説明する。図２は本発明の実施の形態１に係る検査装置の画像処理装置の構成を示す構成図である。

【0029】

図２において、画像処理装置２０２は、カメラ２０１で撮像した動画を入力する画像入力部２０２１、入力した動画を一旦記憶しておく画像メモリ２０２２、画像メモリ２０２２に記憶された動画を用いて分割動画を設定する分割動画設定部２０２３、分割動画設定部２０２３で設定された分割動画毎に指標値を算出する指標値算出部２０２６、指標値算出部２０２６で算出された指標値に基づいて画質改善用分割動画を設定する画質改善分割動画設定部２０２７、画質改善分割動画設定部２０２７で設定された画質改善用分割動画毎に画質改善強度を設定する画質改善設定部２０２８、画質改善分割動画設定部２０２７で設定された画質改善用分割動画毎に画像縮小の設定を行う画像縮小設定部２０２９、画質改善設定部２０２８で設定された画質改善強度と画像縮小設定部２０２９で設定された画像縮小の設定を用いて、画質改善分割動画設定部２０２７で設定された画質改善用分割動画の画質改善と画像縮小を行う画質改善画像縮小部２０２４、画質改善と画像縮小をされた動画を出力する画像出力部２０２５を備えている。

【0030】

ここで、分割しない場合や縮小しない場合などでは、画質改善分割動画設定部２０２７や画像縮小設定部２０２９が無い構成も考えられる。また、画質改善画像縮小部２０２４で画質改善のみ行う場合も考えられる。

【0031】

画像処理装置２０２は画質改善と画像縮小をした画像や入力画像を画像出力部２０２５から出力してＧＵＩ２０４に表示し、記憶装置２０３に記録して保存する。

【0032】

＜目視検査のシーケンス＞
次に、図３により、本発明の実施の形態１に係る検査装置による目視検査のシーケンスについて説明する。図３は本発明の実施の形態１に係る検査装置による目視検査のシーケンスを示す図である。

【0033】

検査手順１０１は、カメラ撮像ステップＳ１０２、分割動画作成ステップＳ１０３、指標値算出ステップＳ１０４、画質改善用分割動画作成ステップＳ１０７、画質改善設定ステップＳ１０８、画像縮小設定ステップＳ１０９、画質改善画像縮小ステップＳ１０５、画面表示ステップＳ１０６から構成される。

【0034】

ここで、画質改善用分割動画作成ステップＳ１０７、画像縮小設定ステップＳ１０９は無いシーケンスも考えられる。カメラの映像は動画であるため、上記のステップは原則としてフレーム毎に繰り返し実行される。

【0035】

カメラ撮像ステップＳ１０２では、カメラ２０１により検査対象物２０５を撮像した動画１０６を取得する。分割動画作成ステップＳ１０３では、取得した動画１０６について分割動画１１２を作成する。

【0036】

指標値算出ステップＳ１０４では、分割動画毎に画質改善処理の強度に関わる指標値１１３を算出する。画質改善用分割動画作成ステップＳ１０７では、指標値に基づいて分割動画１１４を作成する。図３に示す例では、例えば、構造物１１５や欠陥１１６が映っているＢ領域１１７、背景であるＣ領域１１８をそれぞれ分割動画としている。

【0037】

また、取得動画１０６の一部をトリミングしたＡ領域１１９を分割動画とする場合もある。画質改善設定ステップＳ１０８では、分割動画毎に画質改善強度を設定する。画像縮小設定ステップＳ１０９では、分割動画毎に画像縮小の設定を行う。画質改善画像縮小ステップＳ１０５では、分割動画に対し、画質改善強度を用いた画質改善処理と、画像縮小設定を用いた画像縮小とを施して高画質動画１１１を作成する。

【0038】

また、画質改善のみ施して高画質動画１１１を作成する場合も考えられる。図３に示す例では、例えば、Ｂ領域の分割動画であるＢ動画１２０に画質改善処理を施し高分解能高画質動画１２１を作成し、高分解能高画質動画１２１を縮小して、Ｃ領域の分割動画に縮小を施した縮小Ｃ動画１２２と合わせて縮小高分解能高画質動画１２３を作成する。

【0039】

または、Ａ領域１１９の分割動画であるトリミングＡ動画１２４に画質改善処理を施したズーム高画質動画１２５を作成する場合もある。上記画質改善画像縮小ステップＳ１０５は代表的なものであり他の組み合わせを用いても良い。

【0040】

画面表示ステップＳ１０６では、高画質動画１１１を目視検査用にＧＵＩ２０４に表示する。または高画質動画１１１を記憶装置２０３に記憶する。

【0041】

＜画像処理＞
次に、本発明の実施の形態１に係る検査装置による画像処理について説明する。

【0042】

本実施の形態では、放射線の影響がある環境で検査対象物をカメラで撮像して検査対象物の動画を取得し、取得動画を複数の画像フレームに分割し、前記各画像フレームを複数の分割領域に分割して分割動画を作成し、その分割動画毎に画質改善処理の強度に関わる指標値を算出し、分割動画毎に指標値を用いて画質改善処理の強度を設定して画質改善処理を施して高画質動画を作成し、高画質動画を画面に表示する、または高画質動画を記憶装置に記憶している。

【0043】

従来技術のように取得動画に一様な画質改善処理を施した場合、画像フレーム毎または各画像フレームを複数に分割した分割領域毎にみると画質が不十分となる課題がある。取得動画の中で、画質改善処理の効果が出る箇所では画質改善処理を強く施し、画質改善処理の副作用が出る箇所では画質改善処理を弱く施すべきである。

【0044】

そこで、本実施の形態では、取得動画を複数の画像フレームに分割し、画像フレームを更に複数の分割領域に分割して分割動画を作成し、分割動画毎に異なる画質改善処理を施している。

【0045】

これにより、取得動画の中で、画質改善処理の効果が出る分割動画のみ動画を高画質化し、全体の視認性向上を図ることが可能となる。

【0046】

また、従来技術では、分割動画毎に画質改善処理を施す際に、画質改善処理の強度を適切に設定することができないという課題がある。画質改善処理の強度を設定するための目安を設ける必要がある。

【0047】

そこで、本実施の形態では、画質改善処理の強度を設定する目安として、分割動画毎に画質改善処理の強度に関わる指標値を算出している。これにより、分割動画毎に画質改善処理を施す際に、画質改善処理の強度を適切に設定する目安を得ることが可能となる。

【0048】

また、従来技術では、分割領域の境界では画質改善処理の強度が不連続に変わるため、分割領域の境界で画像が不自然に変化するという課題がある。分割領域の境界で画像が不自然に変化することを防ぐ必要がある。

【0049】

そこで、本実施の形態では、強度が連続的に変化するように調整して設定している。これにより、分割領域の境界で画像が不自然に変化することを抑制できる。

【0050】

具体的には、本実施の形態では、画質改善処理に画像復元処理を用いる。

【0051】

画像復元処理は一般的に知られた手法であり、例えば、元画像にぼけ関数が畳みこまれて劣化画像が生成されるというモデルで劣化過程を定義し、劣化画像にぼけ関数を逆畳み込みすることで元画像に復元する手法である。ぼけ関数は一般に２次元のガウス関数で表現されることが多い。

【0052】

本実施の形態の検査対象物に画像復元処理を単純に適用すると、構造物または欠陥をシャープにするが、一方でノイズを強調してしまうという課題がある。構造物も欠陥も無い場合は復元するべき対象が無くノイズを強調するだけなので、画像復元処理を弱く施すべきである。

【0053】

そこで、本実施の形態では、構造物または欠陥がある場合は画像復元を強く施してシャープにし、ノイズのみがある場合は画像復元を弱くしノイズの強調を抑制し、全体の視認性向上を図ることが可能となる。

【0054】

＜指標値算出と画質改善処理の強度の設定＞
次に、図４により、本発明の実施の形態１に係る検査装置の指標値算出と画質改善処理の強度の設定について説明する。図４は本発明の実施の形態１に係る検査装置の指標値算出と画質改善処理の強度の設定を説明するための説明図である。

【0055】

図４に示す例では、例えば、取得動画１０６のある画像フレーム３０１には構造物３０２が写っており、構造物３０２上には欠陥３０３が筋上に存在している。

【0056】

動画の分割方法としては、例えば、取得動画を複数の画像フレームに分割しかつ各画像フレームを複数の分割領域に分割することとし、分割動画３０４が作成される。分割領域への分割は任意の形状が可能であるが、図３では短冊状の分割領域に分割した例を示している。分割領域の境界３１０は図では縦横の点線で示している。点線で囲まれた一区画が分割動画１個である。

【0057】

指標値算出は実際には分割動画の全ての画素値を用いて行うが、以下では説明を簡単にするため、画像フレーム３０１のＡＡ’断面のみを使って説明する。画像フレーム３０１のＡＡ’断面の画素値は例えば画素値グラフ３０５に示すようになる。画素値グラフ３０５の横軸の１メモリは分割動画１個分に対応している。ＡＡ’断面状の画素数はＡＡ’断面状の分割動画数に比べて非常に多いものとし、横軸の１メモリには複数の画素が含まれているものとする。

【0058】

例えば、指標値を構造物または欠陥の存在度合いとし、その指標値は例えば、分割動画に平滑化処理をかけ、それを元の分割動画から差し引き、引いた結果の平均として算出する。

【0059】

ＡＡ’断面の分割動画毎に算出すると、算出結果は例えば指標値グラフ３０６に示すようになる。指標値グラフ３０６の横軸の１メモリは分割動画１個分に対応している。分割動画１個につき指標値１個を算出するため、指標値グラフ３０６の横軸の１メモリにつき指標値１個がプロットされている。

【0060】

画質改善処理は、例えば画像復元処理とし、例えば、ぼけ関数を逆畳み込みする処理とする。画質改善処理の強度はぼけ関数の大きさとする。ぼけ関数が大きいほど画像復元は強くなる。画像復元処理は構造物または欠陥をシャープにする性質があるため、構造物または欠陥の存在度合いが大きいほどぼけ関数を大きく設定して画像復元処理を施す。指標値と画像復元の強度との関係は指標値−強度グラフ３１１で示したようになる。

【0061】

算出された指標値を基に設定する画像復元処理の強度は例えば、画像復元処理強度グラフ３０７のようになる。画像復元処理強度グラフ３０７の横軸の１メモリは分割動画１個分に対応している。分割動画１個につき画像復元処理強度１個を設定するため、画像復元処理強度グラフ３０７の横軸の１メモリにつき強度１個がプロットされている。

【0062】

また、例えば分割領域の境界近傍では、境界の両側の画像復元処理の強度を補間し、両方の強度の中間的な強度で設定することで、分割領域の境界で画像復元処理の強度を連続的に変化させる。

【0063】

例えば分割領域の境界３０８を挟んで、第３分割領域の強度３１２と第４分割領域の強度３１３とは大きく異なり不連続となっている。そこで更に境界の両側の画像復元処理の強度を補間し、滑らかに変化させることで、分割領域の境界で画像復元処理の強度を連続的に変化させる。補間した画像復元処理の強度は例えば、画像復元処理強度グラフ３０９のようになる。

【0064】

画像復元処理強度グラフ３０９の横軸の１メモリは分割動画１個分に対応している。分割動画と分割動画との間の強度は滑らかな変化となっている。これにより、分割領域の境界で画像が不自然に変化することを抑制できる。

【0065】

このような方法で、構造物または欠陥の存在度合いを用いて画質改善処理を適切に施すことが可能となる。

【0066】

（実施の形態２）
実施の形態２は、実施の形態１において、画像フレーム毎の分割領域への分割が、格子状の分割としたものであり、検査装置の構成や画像処理装置での画像処理などは実施の形態１と同様である。

【0067】

＜分割動画作成の分割領域への分割＞
図５により、本発明の実施の形態２に係る検査装置の分割動画作成の分割領域への分割について説明する。図５は本発明の実施の形態２に係る検査装置の分割動画作成の分割領域への分割を説明するための説明図である。

【0068】

図５に示すように、本実施の形態では、分割領域への分割において、画像フレーム３０１を複数の格子状分割領域に分割して分割動画４０１を作成する。分割領域の境界４０２は図では縦横の点線で示している。点線で囲まれた一区画が分割動画１個である。

【0069】

実施の形態１では、分割領域毎に指標値を算出し、その指標値に基づき分割領域毎に異なる画質改善処理を施しているが、そもそも適切な画質改善結果を得るにはどのような領域分割の単位で指標値を算出するのが望ましいかを指標値算出前に知ることは困難である。

【0070】

そこで、指標値算出の単位を単純な格子形状として与え、指標値を算出した後、その指標値に応じて画質改善処理用の分割領域を決定することが有効と考えられる。このような処理のため、実施の形態２では、指標値算出用の単位を格子状に与えている。これにより、指標値を算出する上で必要な分割領域への分割を行うことが可能となる。

【0071】

（実施の形態３）
実施の形態３は、実施の形態１、２において、指標値を、分割動画内の構造物または欠陥の存在度合い、分割動画のノイズ度合い、または分割動画のぼけ度合いとしたものであり、検査装置の構成や画像処理装置での画像処理などは実施の形態１と同様である。

【0072】

分割動画毎に画質改善処理を施すためには、分割動画毎に画質改善処理の強度に関わる指標値を算出することが必要である。そのためには画質改善処理の強度に関わる指標値を決定しなければならない。基本的に画質の低下が発生している箇所に対しては画質改善処理を施す必要がある。

【0073】

画質低下の主要因はノイズまたはぼけである。一方、ユーザが見たいものが存在しない箇所に対しては画質改善処理を施す必要がない場合がある。ユーザが見たいものは構造物または欠陥である。

【0074】

そこで本実施の形態では、ノイズ度合い、ぼけ度合い、構造物または欠陥の存在度合いを指標値としている。これにより、分割動画毎に画質改善処理の強度に関わる指標値に応じて、画質改善処理の強度を設定することが可能となる。

【0075】

例えば、画質改善処理として画像復元処理を考えると、画像復元処理は構造物または欠陥をシャープにするが、一方でノイズを強調してしまう性質がある。そこで、例えば構造物や欠陥がある場合のみ画像復元処理を施すべきである。また、例えば、ノイズが強い場合は画像復元処理を抑えるべきである。また、例えば、動画のぼけが強い場合は画像復元処理を強くすべきである。

【0076】

そこで、本実施の形態では、指標値を構造物または欠陥の存在度合いとし、例えば、分割動画に平滑化処理をかけ、それを元の分割動画から差し引き、引いた結果の平均として算出する。

【0077】

＜指標値算出と画質改善処理の強度の設定＞
次に、図６により、本発明の実施の形態３に係る検査装置の指標値算出と画質改善処理の強度の設定について説明する。図６は本発明の実施の形態３に係る検査装置の指標値算出と画質改善処理の強度の設定を説明するための説明図であり、図６（ａ）と図６（ｂ）は別の動画フレームを示している。

【0078】

図６（ａ）において、図４に示す例と同様に取得動画１０６のある画像フレーム３０１には構造物３０２が写っており、構造物３０２上には欠陥３０３が筋上に存在している。画像フレーム３０１には放射線によるノイズが重畳されているものとする。分割領域への分割は、実施の形態２と同様に格子状に分割した例を示している。

【0079】

また、実施の形態１と同様に、画像フレーム３０１のＡＡ’断面のみを使って説明する。画像フレーム３０１のＡＡ’断面の画素値は例えば画素値グラフ３０５に示すようになる。

【0080】

例えば、指標値をノイズ度合いとし、例えば分割動画に平滑化処理をかけ、それを元の分割動画から差し引き、引いた結果の標準偏差として算出する。ＡＡ’断面の分割動画毎に算出すると、算出結果は例えば指標値グラフ５０１に示すようになる。

【0081】

なお、ノイズ度合いのノイズの判断方法としては、例えば、周波数の高周波成分により判断する。

【0082】

実施の形態１と同様に、画質改善処理を画像復元処理とし、画像復元処理の強度はぼけ関数の大きさとすると、ノイズが強い場合は画像復元処理を抑えるように設定する。指標値と画像復元の強度との関係は指標値−強度グラフ５０９で示したようになる。算出された指標値を基に設定する画像復元処理の強度は例えば、画像復元処理強度グラフ５０２のようになる。

【0083】

実施の形態１と同様に、境界の両側の画像復元処理の強度を補間し、画質改善処理の強度は例えば、画質改善処理強度グラフ５０３のようになる。

【0084】

また、図６（ｂ）に示す取得動画１０６の別の画像フレーム５０４にも構造物３０２が写っており、構造物３０２上には欠陥３０３が筋上に存在している。画像フレーム５０４にも放射線によるノイズが重畳されているものとする。画像フレームが異なるということは撮像タイミングが異なるということである。撮像タイミングが異なると重畳するノイズの大きさも異なる可能性がある。

【0085】

実施の形態１と同様に、画像フレーム５０４のＡＡ’断面のみを使って説明する。画像フレーム５０４のＡＡ’断面の画素値は例えば画素値グラフ５０５に示すようになる。前述の例と同様に指標値をノイズ度合いとし、ＡＡ’断面の分割動画毎に算出する。算出結果は例えば指標値グラフ５０６に示すようになる。

【0086】

算出された指標値を基に設定する画像復元処理の強度は、例えば、画像復元処理強度グラフ５０７のようになる。実施の形態１と同様に、境界の両側の画像復元処理の強度を補間し、画質改善処理の強度は、例えば、画質改善処理強度グラフ５０８のようになる。

【0087】

画像フレーム３０１と画像フレーム５０４とは異なったノイズが重畳されているため、指標値算出の結果は異なり、画質改善処理の強度も異なったものとなる。このように画像フレームが異なる分割動画についても画像復元処理の強度を変えて設定することが可能である。

【0088】

指標値が、ぼけ度合いである場合についても、同様に分割動画毎に指標値算出と画像復元処理の強度の設定を行うことが可能である。ぼけ度合いは、例えば、分割動画に一般的に知られるケプストラム解析をかけて得られるＰＳＦ（ｐｏｉｎｔ ｓｐｒｅａｄ ｆｕｎｃｔｉｏｎ：点拡がり関数）とする。

【0089】

前述のように、カメラを移動させながら検査対象物を撮像するため、動画中の画像フレーム毎にカメラと検査対象物との距離が変わる。また、検査対象物は奥行きを持った構造であるため、各画像フレーム上の位置によってもカメラと検査対象物との距離が変わる。これによって、画像フレーム毎にまたは各画像フレーム上の位置毎に画像のぼけ度合いも変わるが、分割動画毎にぼけ度合いの変化に応じて画像復元処理の強度の設定を行うことが可能である。

【0090】

このような方法で、構造物や欠陥の多少に応じて、またはノイズの大小に応じて、または動画のぼけの大小に応じて、画質改善処理の強度を設定することが可能となる。

【0091】

（実施の形態４）
実施の形態４は、実施の形態１、２において、高画質動画の作成における分割動画への分割方法を、指標値の算出における分割動画への分割方法と異なるようにしたものであり、検査装置の構成や画像処理装置での画像処理などは実施の形態１と同様である。

【0092】

画質改善処理は、構造物や欠陥の多少に応じて、またはノイズの大小に応じて、または動画のぼけの大小に応じて施すべきである。そのため高画質動画の作成に適した分割領域に分割することが課題となる。

【0093】

指標値の算出において用いた分割動画への分割は指標値算出前に行った分割方法であるため、指標値の大小とは無関係な分割方法である。一方、高画質動画の作成における分割動画への分割は指標値に基づいて行うべきである。

【0094】

そこで本実施の形態では、高画質動画の作成における分割動画への分割方法を、指標値の算出における分割動画への分割方法と異なるようにしている。これにより、高画質動画の作成に適した分割領域に分割することが可能となる。

【0095】

＜分割動画への分割方法＞
図７により、本発明の実施の形態４に係る検査装置の分割動画への分割方法について説明する。図７は本発明の実施の形態４に係る検査装置の分割動画への分割方法を説明するための説明図である。

【0096】

図７において、指標値の算出においては、例えば画像フレーム３０１の分割領域への分割は格子状に分割して分割動画４０１を作成する。分割動画には構造物３０２が存在する分割動画６０１と背景に相当する分割動画６０２とがある。

【0097】

指標値を、例えば、構造物や欠陥の存在度合いとし、分割動画毎に算出すると、例えば、指標値分布グラフ６０３に示すようになる。指標値分布グラフ６０３のｘ、ｙ軸の１メモリは分割動画１個分に対応している。構造物や欠陥は多様な形状であるため、指標値の算出において用いた分割領域にきれいに収まるとは限らない。

【0098】

そこで、この構造物または欠陥の存在度合いを用いて、存在度合いが似ている複数の分割動画をまとめてまとめ分割動画とする。例えば、指標値分布グラフ６０３上では構造物が存在する分割動画の指標値６０４は大きく、背景に相当する分割動画の指標値６０５は小さい。

【0099】

そこで、前記高画質動画の作成における分割動画の作成６０６においては、指標値の大きい分割動画をまとめてまとめ分割動画６０７とする。図ではまとめ分割動画６０７は白線で囲まれた領域で示しており、構造物や欠陥が存在する分割動画からなっている。また、指標値の小さい分割動画をまとめて別のまとめ分割動画６０８とする。図７では白線の外側の領域で示しており、背景に相当する分割動画からなっている。これによって、指標値が似ている分割動画をまとめて同じ画質改善処理を施すことができる。

【0100】

または、例えば、構造物や欠陥は多様な形状であるため、分割領域の一部にのみ存在する場合がある。そこで、分割領域内で、例えば、色情報を基に周囲と色が異なる箇所を構造物または欠陥が存在する箇所として求めて分割動画とする。

【0101】

例えば、画像フレーム３０１において欠陥３０３が存在する分割動画６０９がある。これを拡大した動画６１０を示す。欠陥３０３は分割動画の一部にのみ存在する。欠陥が存在する箇所は、この分割動画の中でもユーザが特に見たい箇所である。そこで、例えば、欠陥３０３は周囲よりも黒いという色情報を用いて、この分割動画の中から欠陥が存在する箇所を更に分割して別の分割動画６１１とする。

【0102】

これにより、指標値の算出において用いた分割動画の複数をまとめて構造物や欠陥を包含する分割動画にすることが可能となる。また、指標値の算出において用いた分割動画を更に分割して、構造物や欠陥が存在する箇所だけを分割動画にすることが可能となる。

【0103】

（実施の形態５）
実施の形態５は、実施の形態１、２において、画像復元の強度を、画像復元処理で用いるぼけ関数の大きさ、または画像復元処理の反復回数としたものであり、検査装置の構成や画像処理装置での画像処理などは実施の形態１と同様である。

【0104】

画質改善処理として画像復元処理を行う場合、指標値を用いて画質改善処理の強度を適切に設定することが課題となる。画像復元の強度を左右する主な要素は画像復元処理で用いるぼけ関数の大きさ、または画像復元処理の反復回数である。

【0105】

そこで本実施の形態では、画像復元処理で用いるぼけ関数の大きさ、または画像復元処理の反復回数を画像復元の強度としている。これにより、指標値の変化に応じて画質改善処理の強度を適切に設定することが可能となる。

【0106】

＜指標値算出と画質改善処理の強度の設定＞
次に、図８により、本発明の実施の形態５に係る検査装置の指標値算出と画質改善処理の強度の設定について説明する。図８は本発明の実施の形態５に係る検査装置の指標値算出と画質改善処理の強度の設定を説明するための説明図である。

【0107】

本実施の形態では、画像復元処理の強度の設定を、例えば、画質改善処理の強度をぼけ関数の大きさとしている。構造物や欠陥の存在度が大きい場合はぼけ関数を大きくして画像復元を強くする。

【0108】

図８において、取得動画１０６のある画像フレーム３０１には構造物３０２が写っており、構造物３０２上には欠陥３０３が筋上に存在している。画像フレーム３０１には放射線によるノイズが重畳されているものとする。分割領域への分割は格子状に分割した例を示している。実施の形態１と同様に、画像フレーム３０１のＡＡ’断面のみを使って説明する。

【0109】

指標値を構造物または欠陥の存在度合いとし、指標値算出結果は指標値グラフ３０６に示すようになる。例えば、画質改善処理の強度を画像復元の反復回数とする。構造物や欠陥の存在度が大きい場合は反復回数を多くして画像復元を強くする。指標値と画像復元の強度との関係は指標値−強度グラフ７０３で示したようになる。

【0110】

画像復元処理の反復回数は整数で設定するため、強度はステップ上に変化する。算出された指標値を基に設定する画像復元処理の強度は例えば、画像復元処理強度グラフ７０１のようになる。実施の形態１と同様に、境界の両側の画像復元処理の強度を補間し、画像復元処理の強度は例えば、画像復元処理強度グラフ７０２のようになる。これにより、指標値の変化に応じて画像復元処理の強度を適切に設定することが可能となる。

【0111】

（実施の形態６）
実施の形態６は、実施の形態３において、ノイズ度合いを画面に表示する、または記憶装置に記憶するようにしたものであり、検査装置の構成や画像処理装置での画像処理などは実施の形態１と同様である。

【0112】

取得動画に対して画質改善処理を施すため、表示、記憶する動画のノイズは元の取得動画とは異なるものとなり、元のノイズを把握する必要がある。

【0113】

本実施の形態では、元のノイズを把握できるようにするために、指標値として算出しているノイズ度合いをＧＵＩ２０４による画面に表示または記憶装置２０３に記憶している。

【0114】

＜画面表示例＞
図９により、本発明の実施の形態６に係る検査装置のＧＵＩによる画面表示例について説明する。図９は本発明の実施の形態６に係る検査装置のＧＵＩによる画面表示例を説明するための説明図であり、図９（ａ）は画面表示例、図９（ｂ）はノイズ度合いを表示するダイアログの拡大図を示している。

【0115】

図９（ａ）に示すように、ＧＵＩ２０４上には高画質動画８０１を表示する。また、例えば、ＧＵＩ２０４上にダイアログ８０２を表示する。ダイアログ８０２には、図９（ｂ）に示すように各画像フレームのノイズ度合いの値８０３を表示する。ダイアログ８０２には、ノイズ度合いのゲージ８０４を表示しても良い。

【0116】

更に、ダイアログ８０２にはＧＵＩ２０４上に表示した高画質動画８０１にラベルを付けて保存するためのボタン８０５を表示する。ＧＵＩ２０４上に高画質動画が表示されている状態でボタン８０５をクリックすることにより、ＧＵＩ２０４上に表示されている動画にラベルとしてノイズ度合いが付けられて記憶装置２０３に記憶される。

【0117】

これにより、ユーザが検査箇所のノイズ度合いを検査時または検査後に把握することが可能となる。

【0118】

（実施の形態７）
実施の形態７は、実施の形態６において、ぼけ度合いから算出したカメラの放射能損傷度を画面に表示する、または記憶装置に記憶するようにしたものであり、検査装置の構成や画像処理装置での画像処理などは実施の形態１と同様である。

【0119】

放射線が多い環境ではカメラ内の電子回路が損傷し、その機能を徐々に喪失する。しかしながらカメラの損傷度合いや寿命はわからないが、カメラの損傷は、取得動画のぼけ度合いが徐々に強くなる現象となって現れる。

【0120】

本実施の形態では、指標値としてぼけ度合いを算出する。そこで、そのぼけ度合いからカメラの放射能損傷度を推定し、推定した放射能損傷度をＧＵＩ２０４による画面に表示、または記憶装置２０３に記憶している。

【0121】

これにより、ユーザがカメラの放射能損傷度を検査時または検査後に把握し、カメラの寿命や交換時期の判断の一助とすることが可能となる。

【0122】

＜放射能損傷度の推定＞
次に、図１０により、本発明の実施の形態７に係る検査装置の放射能損傷度の推定について説明する。図１０は本発明の実施の形態７に係る検査装置の放射能損傷度の推定を説明するための説明図である。

【0123】

本実施の形態では、実施の形態１と同様に、取得動画を分割する。指標値をぼけ度合いとし、分割動画毎に指標値を算出する。放射能損傷度が大きいほどぼけ度合いが大きくなるので、指標値とカメラの放射能損傷度との関係は、図１０の指標値−損傷度グラフ９０１のようになる。

【0124】

指標値−損傷度グラフ９０１から算出した指標値からカメラの放射能損傷度を推定する。例えば、指標値がぼけｄ９０２なら損傷度Ｄ９０３となる。推定した損傷度はＧＵＩ２０４による画面に表示、または記憶装置２０３に記憶する。

【0125】

＜画面表示例＞
図１１により、本発明の実施の形態７に係る検査装置のＧＵＩによる画面表示例について説明する。図１１は本発明の実施の形態７に係る検査装置のＧＵＩによる画面表示例を説明するための説明図であり、図１１（ａ）は画面表示例、図１１（ｂ）は放射線損傷度を表示するダイアログの拡大図を示している。

【0126】

図１１（ａ）に示すように、実施の形態６と同様にＧＵＩ２０４上には高画質動画８０１、ダイアログ８０２を表示する。また、ＧＵＩ２０４上にダイアログ１００２を表示する。ダイアログ１００２には、図１１（ｂ）に示すように放射能損傷度の値１００３を表示する。ダイアログ１００２には、放射能損傷度のゲージ１００４を表示しても良い。

【0127】

更に、ダイアログ１００２にはＧＵＩ２０４上に表示した高画質動画８０１にラベルを付けて保存するためのボタン１００５を表示する。ＧＵＩ２０４上に高画質動画が表示されている状態でボタン１００５をクリックすることにより、ＧＵＩ２０４上に表示されている動画にラベルとして放射能損傷度が付けられて記憶装置２０３に記憶される。

【0128】

これにより、ユーザがカメラの放射能損傷度を検査時または検査後に把握し、カメラの寿命や交換時期の判断の一助とすることが可能となる。

【0129】

なお、指標値−損傷度グラフ９０１は、予め損傷度がわかっているカメラでぼけ度合いを算出して作成すれば良い。

【0130】

（実施の形態８）
実施の形態８は、放射線の影響がある環境で検査対象物を、画面表示画素数または記憶画素数より多くの画素数を持つカメラで撮像して検査対象物の動画を取得し、取得動画を複数の画像フレームに分割、または各画像フレームを複数の分割領域に分割して分割動画を作成する分割を行い、縮小処理で使用する縮小率を用いて縮小後に信号成分が保存されるように、画質改善処理を設定あるいは縮小処理を設定し、分割動画毎に設定された画質改善処理を施して高画質動画を作成し、高画質動画から分割動画毎に設定された縮小処理を施して高画質縮小動画を作成し、高画質縮小動画を画面に表示するとともに、高画質縮小動画を記憶装置に記憶するようにしたものであり、カメラ以外の検査装置の構成や画像処理装置での画像処理などは実施の形態１と同様である。

【0131】

発電プラント等の検査においては、検査に使用した動画を保存することとなっている。ここで使用される動画フォーマットは従来の検査で用いているカメラで取得した画像がちょうど収まる画素数となっている。この画素数では分解能が不足している場合がある。

【0132】

そこで、本実施の形態では、画面表示画素数または記憶画素数より多くの画素数を持つカメラで撮像し検査対象物の動画を取得する。一方、取得動画そのままでは保存する動画フォーマットに収まらないため縮小が必要である。単純に縮小すると画素数の減少によって分解能が減少してしまうため、画素数の多いカメラで撮像する利点が生かせず、従来の検査で用いているカメラで撮像する場合と変わらなくなる。

【0133】

そこで、縮小後に必要な信号成分が保存されるように、取得動画を複数の分割動画に分割し、分割動画毎に縮小率に応じて画質改善処理と縮小処理を施している。

【0134】

これにより分解能を向上した高画質動画を得ることが可能となる。

【0135】

ここで、保存する動画フォーマットは日本や米国等で使用される動画フォーマットとヨーロッパ等で使用される動画フォーマットは別であることと、将来的により画素数の多い規格が使用される可能性がありそれらに対応することが必要である。現在、日本や米国で使用されるＮＴＳＣ規格、またはヨーロッパ等で使用されるＰＡＬ規格、または、将来使用される可能性があるＨＤＴＶ規格に対応するものとする。

【0136】

例えば、従来のテレビモニタやＤＶＤの動画フォーマットの規格がＮＴＳＣであった場合、それらへの表示や保存を行う可能性があるため、ＮＴＳＣ規格より多くの画素数を持つカメラで取得した動画をＮＴＳＣ規格へ縮小する必要が生じるので、これに対応する。

【0137】

また、分割領域の境界では画質改善処理の強度が不連続に変わるため、分割領域の境界で画像が不自然に変化するため、分割領域の境界で画像が不自然に変化することを防ぐ必要がある。

【0138】

そこで、本実施の形態では、強度が連続的に変化するように調整して設定している。

【0139】

これにより、分割領域の境界で画像が不自然に変化することを抑制することが可能となる。

【0140】

＜指標値算出と画質改善処理の強度の設定＞
次に、図１２により、本発明の実施の形態８に係る検査装置の指標値算出と画質改善処理の強度の設定について説明する。図１２は本発明の実施の形態８に係る検査装置の指標値算出と画質改善処理の強度の設定を説明するための説明図である。

【0141】

図１２において、取得動画１０６のある画像フレーム３０１には構造物３０２が写っており、構造物３０２上には欠陥３０３が筋上に存在している。分割領域への分割は実施の形態２と同様に格子状に分割した例を示している。また、実施の形態１と同様に、画像フレーム３０１のＡＡ’断面のみを使って説明する。

【0142】

画像フレーム３０１のＡＡ’断面の画素値は、例えば、画素値グラフ３０５に示すようになる。

【0143】

例えば、分割動画毎に構造物または欠陥の存在度合いを算出し、存在度合いが大きい分割動画の画質改善処理の強度を強くする。指標値算出結果は例えば指標値グラフ３０６に示すようになる。

【0144】

画質改善処理は、例えば、画像復元処理とし、ぼけ関数を逆畳み込みする処理とする。画質改善処理の強度はぼけ関数の大きさとする。このとき縮小処理で使用する縮小率を用いて画質改善処理の強度を設定する。

【0145】

指標値と画像復元の強度との関係は指標値−強度グラフ１１０１で示したようになる。構造物または欠陥の存在度合いが大きい分割動画では画質改善処理の強度を強くする。例えば、縮小率１／２である場合は画質改善処理の強度を２倍の強さに設定する。指標値−強度グラフ１１０１では細線で示した強さに設定する。画像復元処理の強度は例えば、画像復元処理強度グラフ１１０２のようになる。

【0146】

指標値が大きい分割動画１１０３では点線で示した強度から実線で示した強度に設定する。更に、境界の両側の画像復元処理の強度を補間し、画像復元処理強度グラフ１１０４のようになる。

【0147】

ここで縮小率はカメラの画素数と画面表示画素数または記憶画素数から決まるものであり、予め、ユーザ入力または計算で与えられているものとする。図１３に検査を行うための画面表示の例を示す。図１３は本発明の実施の形態８に係る検査装置のＧＵＩによる画面表示例を説明するための説明図であり、図１３（ａ）は画面表示例、図１３（ｂ）は縮小率を表示するダイアログの拡大図を示している。

【0148】

実施の形態７と同様に、ＧＵＩ２０４上には高画質動画８０１、ダイアログ８０２、ダイアログ１００２を表示する。また、ＧＵＩ２０４上にダイアログ１２０２を表示する。

【0149】

ダイアログ１２０２には、図１３（ｂ）に示すようにカメラ画素数の入力・表示欄１２０３、画面表示画素数の入力・表示欄１２０４、記憶画素数の入力・表示欄１２０５、縮小率の入力・表示欄１２０６を設けている。

【0150】

各入力欄にユーザがカメラ画素数、画面表示画素数、記憶画素数、縮小率を入力する。ここで縮小率は、画面表示画素数、記憶画素数の小さい方をカメラ画素数で割った値を自動算出して縮小率の入力・表示欄１２０６に表示しても良い。

【0151】

次に、分割動画である分割領域毎に設定された画質改善処理の強度を用いて画質改善処理である信号強調処理を施し高画質化動画を作成する。次に、高画質化動画に前記縮小率で縮小処理を施し高画質縮小動画を作成する。

【0152】

または、例えば、分割領域毎に、上記同様に構造物または欠陥の存在度合いを算出し、存在度合いが大きい分割動画の画質改善処理の強度を強くする。画質改善処理は画像復元処理とし、画質改善処理の強度は画質復元処理の強度とする。

【0153】

また、縮小率を用いて縮小処理の設定を行う。例えば、縮小率１／２である場合は２画素以内に構造物または欠陥の存在度合いが大きい画素がある場合はその画素を選択することにより縮小を行うように設定する。次に、分割領域毎に設定された画質改善処理の強度を用いて信号強調処理を施し高画質化動画を作成する。次に、高画質化動画に設定した縮小処理を施し高画質縮小動画を作成する。

【0154】

これにより構造物または欠陥の存在度合いに応じて強度、かつ縮小率にも応じた強度で信号強調を行うまたは縮小処理を行うことで構造物または欠陥が保存された高画質縮小動画を得ることが可能となる。

【0155】

または、画質改善処理を、例えば、ノイズ抑制処理とし、過去複数画像フレームと加算する処理とする。画質改善処理の強度はフレーム加算数とする。分割動画毎に、例えば、ノイズ度合いを算出する。ノイズ度合いが大きい分割動画はフレーム加算数を多くする。このとき縮小処理で使用する縮小率も用いてフレーム加算数を設定する。

【0156】

縮小率が小さいと縮小によるノイズ抑制が期待できるのでフレーム加算数を調整する。例えば縮小率１／２である場合はフレーム加算数を１／２に調整する。次に分割動画毎に設定されたフレーム加算数を用いてノイズ抑制処理を施し高画質化動画を作成する。

【0157】

（実施の形態９）
実施の形態９は、実施の形態８において、画像フレーム毎の分割領域への分割を、格子状の分割としたものであり、検査装置の構成や画像処理装置での画像処理などは実施の形態８と同様である。

【0158】

＜分割動画作成の分割領域への分割＞
図１４により、本発明の実施の形態９に係る検査装置の分割動画作成の分割領域への分割について説明する。図１４は本発明の実施の形態９に係る検査装置の分割動画作成の分割領域への分割を説明するための説明図である。

【0159】

本実施の形態では、図１４に示すように、分割領域への分割において、画像フレーム３０１を複数の格子状分割領域に分割して分割動画１３０１を作成する。分割領域の境界１３０２は図では縦横の点線で示している。点線で囲まれた一区画が分割動画１個である。

【0160】

このように、指標値算出の単位を単純な格子形状として与え、指標値を算出した後、その指標値に応じて画質改善処理用の分割領域を決定するために、指標値算出用の単位を格子状に与えている。これにより、指標値を算出する上で必要な分割領域への分割を行うことが可能となる。

【0161】

（実施の形態１０）
実施の形態１０は、実施の形態８、９において、カメラを従来使用しているカメラより画素数の多い高分解能カメラとしたものであり、検査装置の構成や画像処理装置での画像処理などは実施の形態８、９と同様である。

【0162】

検出対象としている欠陥は１ｍｉｌ幅以上の大きさであり、従来使用している３０万画素のカメラで撮像すると、カメラと対象物との距離によっては取得動画上でサブピクセルの大きさとなるため、そのままでは視認性が悪いので、カメラを接近させる必要がある。検査の信頼性を向上させるためには、取得動画上で検出対象としている欠陥が１ピクセル程度以上の大きさになっていることが望ましい。

【0163】

そこで、本実施の形態では、従来使用している３０万画素のカメラより画素数の多い高分解能な（例えば１００万画素以上の）カメラを使用している。

【0164】

これにより、従来の約２倍の分解能を備えることとなり、カメラを接近させることなく１ｍｉｌ幅以上の欠陥は取得動画上で１ピクセル程度以上の大きさになるため、欠陥を容易に検出することが可能となる。

【0165】

＜検査対象物の撮像例＞
図１５により、本発明の実施の形態１０に係る検査装置の検査対象物の撮像例について説明する。図１５は本発明の実施の形態１０に係る検査装置の検査対象物の撮像例を説明するための説明図である。

【0166】

図１５に示すように、例えば、画像フレーム３０１において欠陥３０３が存在する箇所がある。３０万画素のカメラで対象物に接近せずに撮像した場合、欠陥３０３が存在する箇所を拡大したものは図１５の１３０３で示す画像となる。点線で囲まれた各正方領域が１画素である。欠陥３０３は縦筋状であり１画素未満の幅となる。

【0167】

また、１２０万画素のカメラで撮像した場合、欠陥３０３が存在する箇所を拡大したものは図１５の１３０４で示す画像となる。点線で囲まれた各正方領域が１画素である。この場合は、欠陥３０３は約１画素の幅となる。

【0168】

これにより、欠陥を安定して検出することが可能となる。

【0169】

（実施の形態１１）
実施の形態１１は、実施の形態１〜１０において、カメラで撮像した動画を画像処理した高画質化動画と同時にＧＵＩ２０４に表示したり、記憶装置２０３に記憶するようにしたものであり、検査装置の構成や画像処理装置での画像処理などは実施の形態１と同様である。

【0170】

高画質化動画だけを表示、保存した場合、ユーザは元の動画のノイズ、コントラスト、ぼけの度合いを把握できないため、元の動画のノイズ、コントラスト、ぼけの度合いを把握するには元の動画を表示してユーザに提示することが有効である。

【0171】

そこで、本実施の形態では、元の動画の状態を把握できるようにするため、カメラで撮像した動画を高画質化動画と同時に表示や記憶するようにしている。

【0172】

＜画面表示例＞
図１６により、本発明の実施の形態１１に係る検査装置のＧＵＩによる画面表示例について説明する。図１６は本発明の実施の形態１１に係る検査装置のＧＵＩによる画面表示例を説明するための説明図であり、図１６（ａ）、（ｂ）は画面表示例、図１６（ｃ）は表示を切り替えるためのダイアログの拡大図を示している。

【0173】

図１６（ａ）に示すように、実施の形態８と同様に、ＧＵＩ２０４上には高画質動画８０１、ダイアログ８０２、ダイアログ１００２、ダイアログ１２０２を表示する。また、ＧＵＩ２０４上にダイアログ１４０２を表示する。

【0174】

ダイアログ１４０２には、図１６（ｃ）に示すように撮像画像、処理結果、２画面を切り替えるための表示画像の切り替えボタン１４０３を設けている。

【0175】

切り替えボタン１４０３を撮像画像にするとＧＵＩ２０４上の高画質動画８０１は撮像画像に切り替わり、切り替えボタン１４０３を処理結果にすると高画質動画８０１は処理結果画像に切り替わり、切り替えボタン１４０３を２画面にすると、図１６（ｂ）に示すようにＧＵＩ２０４上に撮像画像１４０４と処理結果画像１４０５とが同時に表示される。

【0176】

これにより、元の動画と高画質化動画を見比べることができ、元の動画のノイズ、コントラスト、ぼけの度合いを用意に把握することが可能となる。

【0177】

（実施の形態１２）
実施の形態１２は、実施の形態８において、取得動画を、画面表示画素数または記憶画素数に収まる画素数にトリミングするようにしたものであり、検査装置の構成や画像処理装置での画像処理などは実施の形態１と同様である。

【0178】

記憶画素数より多くの画素数を持つカメラで撮像し検査対象物の動画を取得し、取得動画を縮小しない場合は、画面表示画素数または記憶画素数に収まらない場合があり、この場合は、画面表示画素数または記憶画素数に収まるように、縮小処理以外で取得動画を小さくすることが必要である。

【0179】

そこで、本実施の形態では、取得動画を画面表示画素数または記憶画素数に収まる画素数にトリミングして小さくしている。

【0180】

これにより、画面表示画素数または記憶画素数に収まるような高画質動画を得ることが可能となる。

【0181】

また、上記トリミングの際、取得動画中のどこの箇所を選択してトリミングするかが重要であり、トリミングする際にはユーザが見たいものを選択するべきである。例えば、ユーザが見たいものは構造物または欠陥である。

【0182】

そこで、本実施の形態では、分割領域毎に指標値を算出し、指標値に基づいてトリミングをしている。例えば、分割領域毎に指標値として構造物または欠陥の存在度合いを算出する。算出した指標値に基づいて、例えば、構造物または欠陥の存在度合いが最も大きい分割領域を中心に、画面表示画素数または記憶画素数に収まるような画素数でトリミング領域を選択してトリミングする。

【0183】

＜トリミングの一例＞
図１７〜１９により、本発明の実施の形態１２に係る検査装置のトリミングの一例について説明する。図１７〜１９は本発明の実施の形態１２に係る検査装置のトリミングの一例を説明するための説明図であり、図１７は欠陥の存在度合いが最も大きい分割領域を中心にトリミングする例、図１８は画像の中心近傍をトリミング箇所に設定する例、図１９はＧＵＩ上でトリミング箇所をユーザが指定する例を示している。

【0184】

図１７においては、取得動画のある画像フレーム３０１には欠陥３０３が筋上に存在している。実施の形態１などで説明したように、欠陥がある箇所で構造物または欠陥の存在度合いが最も大きいので、これを中心にトリミング箇所１５０１を選択する。

【0185】

また、図１８においては、ユーザは見たい箇所を画面の中心に捉えるだろうことを前提に、画面の中心をトリミング箇所１６０１の中心として設定する例である。

【0186】

また、図１９においては、図１９（ａ）のようにＧＵＩ２０４上でユーザがマウスカーソル１７０１等で任意箇所１７０２をトリミング箇所として指定する。また、図１９（ｂ）のようにＧＵＩ２０４上でユーザがマウスカーソル１７０３等でコーナを指定して任意矩形領域１７０４を注目領域として指定しても良い。

【0187】

これにより、トリミングする際の指針が得られ有効なトリミング領域を選択することが可能となる。

【0188】

以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は前記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。

【産業上の利用可能性】

【0189】

本発明は、カメラにより映像を取得して検査を行う検査方法および検査装置に関し、カメラにより取得した映像の分解能向上等の高画質化が必要な装置やシステムなどに広く適用可能である。

【符号の説明】

【0190】

１１１…高画質動画、１１２…分割動画、１１３…画質改善処理の強度に関わる指標値、１１４…分割動画、１１５…構造物、１１６…欠陥、１１７…Ｂ領域、１１８…Ｃ領域、１１９…Ａ領域、１２０…Ｂ動画、１２１…高分解能高画質動画、１２２…縮小Ｃ動画、１２３…縮小高分解能高画質動画、１２４…トリミングＡ動画、１２５…ズーム高画質動画、２０１…カメラ、２０２…画像処理装置、２０３…記憶装置、２０４…ＧＵＩ、２０５…検査対象物、２０６…照明、２０７…ケーブル、２０２１…画像入力部、２０２２…画像メモリ、２０２３…分割動画設定部、２０２４…画質改善画像縮小部、２０２５…画像出力部、２０２６…指標値算出部、２０２７…画質改善分割動画設定部、２０２８…画質改善設定部、２０２９…画像縮小設定部、３０１…画像フレーム、３０２…構造物、３０３…欠陥、３０４…分割動画、３０５…画素値グラフ、３０６…指標値グラフ、３０７…画像復元処理強度グラフ、３０８…分割領域の境界、３０９…画像復元処理強度グラフ、３１０…分割領域の境界、３１１…指標値−強度グラフ、４０１…分割動画、４０２…分割領域の境界、５０１…指標値グラフ、５０２…画像復元処理強度グラフ、５０３…画質改善処理強度グラフ、５０４…別の画像フレーム、５０５…画素値グラフ、５０６…指標値グラフ、５０７…画像復元処理強度グラフ、５０８…画質改善処理強度グラフ、５０９…指標値−強度グラフ、６０１…分割動画、６０２…分割動画、６０３…指標値分布グラフ、６０４…分割動画の指標値、６０５…分割動画の指標値、６０６…分割動画の作成、６０７…まとめ分割動画、６０８…まとめ分割動画、６０９…分割動画、６１０…拡大した動画、６１１…分割動画、７０１…画像復元処理強度グラフ、７０２…画像復元処理強度グラフ、８０１…高画質動画、８０２…ダイアログ、８０３…ノイズ度合いの値、８０４…ノイズ度合いのゲージ、８０５…ボタン、９０１…指標値−損傷度グラフ、１００２…ダイアログ、１００３…放射能損傷度の値、１００４…放射能損傷度のゲージ、１００５…ボタン、１１０１…指標値−強度グラフ、１１０２…画像復元処理強度グラフ、１１０３…分割動画、１１０４…画像復元処理強度グラフ、１２０２…ダイアログ、１２０３…カメラ画素数の入力・表示欄、１２０４…画面表示画素数の入力・表示欄、１２０５…記憶画素数の入力・表示欄、１２０６…縮小率の入力・表示欄、１３０１…分割動画、１３０２…分割領域の境界、１４０２…ダイアログ、１４０３…切り替えボタン、１４０４…撮像画像、１４０５…処理結果画像、１５０１…トリミング箇所、１６０１…トリミング箇所、１７０１…マウスカーソル、１７０２…トリミング箇所、１７０３…マウスカーソル、１７０４…任意矩形領域。

【図2】

【図10】

【図1】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】