(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022181231
(43)【公開日】2022-12-08
(54)【発明の名称】検査支援方法及び検査支援システム
(51)【国際特許分類】
G01N 23/18 20180101AFI20221201BHJP
G01N 23/04 20180101ALI20221201BHJP
G06N 20/00 20190101ALI20221201BHJP
【FI】
G01N23/18
G01N23/04
G06N20/00
【審査請求】未請求
【請求項の数】11
【出願形態】OL
(21)【出願番号】P 2021088047
(22)【出願日】2021-05-26
(71)【出願人】
【識別番号】000006208
【氏名又は名称】三菱重工業株式会社
(74)【代理人】
【識別番号】100149548
【弁理士】
【氏名又は名称】松沼 泰史
(74)【代理人】
【識別番号】100162868
【弁理士】
【氏名又は名称】伊藤 英輔
(74)【代理人】
【識別番号】100161702
【弁理士】
【氏名又は名称】橋本 宏之
(74)【代理人】
【識別番号】100189348
【弁理士】
【氏名又は名称】古都 智
(74)【代理人】
【識別番号】100196689
【弁理士】
【氏名又は名称】鎌田 康一郎
(72)【発明者】
【氏名】五島 康二
(72)【発明者】
【氏名】松本 知浩
(72)【発明者】
【氏名】青山 慶子
【テーマコード(参考)】
2G001
【Fターム(参考)】
2G001AA01
2G001BA11
2G001CA01
2G001FA06
2G001FA29
2G001HA07
2G001KA03
2G001LA20
(57)【要約】
【課題】放射線透過試験の画像検査の精度を向上する検査支援方法を提供する。
【解決手段】検査支援方法は、放射線透過試験の画像検査を支援する検査支援方法であって、同一の検査対象領域を含む画像を複数取得するステップと、複数の前記画像を用いて、前記画像に含まれる前記検査対象領域の欠陥候補を検出するステップと、検出された前記欠陥候補について、複数の前記画像を通じた総合的な評価を行うステップと、を有する。
【選択図】
図1
【特許請求の範囲】
【請求項1】
放射線透過試験の画像検査を支援する検査支援方法であって、
同一の検査対象領域を含む画像を複数取得するステップと、
複数の前記画像を用いて、前記画像に含まれる前記検査対象領域の欠陥候補を検出するステップと、
検出された前記欠陥候補について、複数の前記画像を通じた総合的な評価を行うステップと、
を有する検査支援方法。
【請求項2】
前記画像に写った目印を基準として複数の前記画像の位置合わせを行うステップ、
をさらに有する請求項1に記載の検査支援方法。
【請求項3】
前記欠陥候補を検出するステップでは、複数の前記画像のそれぞれについて前記欠陥候補を検出するとともに検出した前記欠陥候補ごとにその確からしさを示すスコアを算出し、
前記評価を行うステップでは、前記欠陥候補が検出された画像の数と前記スコアとに基づいて、前記総合的な評価を行う、
請求項1または請求項2に記載の検査支援方法。
【請求項4】
前記欠陥候補を検出するステップでは、複数の前記画像から作成された統合画像に基づいて前記欠陥候補を検出するとともに検出した前記欠陥候補の確からしさを示すスコアを算出し、
前記評価を行うステップでは、前記統合画像に基づいて検出された前記欠陥候補と前記スコアとに基づいて、前記総合的な評価を行う、
請求項1または請求項2に記載の検査支援方法。
【請求項5】
前記画像と検出された前記欠陥候補および前記スコアを表示するステップ、
をさらに有する請求項3または請求項4に記載の検査支援方法。
【請求項6】
前記欠陥候補を検出するステップでは、複数の前記画像の画質を所定の基準に揃えてから前記欠陥候補を検出する処理を行う、
請求項1から請求項5の何れか1項に記載の検査支援方法。
【請求項7】
前記画像の画質を検査員の視認性を考慮した所定の画質に変換する変換画像を作成するステップ、をさらに有し、
前記欠陥候補を検出するステップでは、撮影された前記画像から前記欠陥候補を検出するとともに前記変換画像から前記欠陥候補を検出し、
前記評価を行うステップでは、前記画像および前記変換画像から検出された前記欠陥候補に基づいて、前記総合的な評価を行う、
請求項1から請求項6の何れか1項に記載の検査支援方法。
【請求項8】
前記画質は、前記画像の輝度とコントラストである、
請求項6または請求項7に記載の検査支援方法。
【請求項9】
複数の前記画像は、前記検査対象領域を複数回撮影して得られた画像と、複数のフィルムを重ねて前記検査対象領域を撮影して得られた画像と、のうちの少なくとも一方を含む、
請求項1から請求項8の何れか1項に記載の検査支援方法。
【請求項10】
前記欠陥候補を検出するステップでは、画像の特徴量と欠陥との関係を機械学習して作成された検出モデルを用いて、前記欠陥候補の検出を行う、
請求項1から請求項9の何れか1項に記載の検査支援方法。
【請求項11】
放射線透過試験の画像検査を支援する検査支援装置であって、
同一の検査対象領域を含む画像を複数取得する画像取得部と、
複数の前記画像を用いて、前記画像に含まれる前記検査対象領域の欠陥候補を検出する制御部と、
を備え、
前記制御部は、検出した前記欠陥候補について、複数の前記画像を通じた総合的な評価を行う、検査支援システム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、検査支援方法及び検査支援システムに関する。
【背景技術】
【0002】
X線等の放射線を、溶接部を含む構造物に照射して画像を撮影し、当該画像から溶接部の欠陥候補を検出する放射線透過試験が知られている。特許文献1には、放射線透過試験装置で撮影した画像を、識別すべき欠陥の特徴を予め学習させた学習済みモデルによって解析して、欠陥候補を識別する技術について開示されている。特許文献2には、原子力プラントの配管検査において撮影された放射線透過画像を鮮鋭化処理して画質を向上させ、欠陥候補を精度よく検出する技術が開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特許第2968442号公報
【特許文献2】特許第5743933号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1、2に開示されているように、放射線透過試験装置で撮影した画像から自動的に欠陥候補を検出する技術が提供されている。検査員は、自動検出された欠陥候補の1つ1つについて、画像を確認して、目視により最終的な判断を行っている。しかし、自動検出された欠陥候補には、過剰検出された欠陥候補が含まれており、検査員による確認作業が負担になっている。
【0005】
本開示は、上記課題を解決することができる検査支援方法及び検査支援システムを提供する。
【課題を解決するための手段】
【0006】
本開示の検査支援方法は、放射線透過試験の画像検査を支援する検査支援方法であって、同一の検査対象領域を含む画像を複数取得するステップと、複数の前記画像を用いて、前記画像に含まれる前記検査対象領域の欠陥候補を検出するステップと、検出された前記欠陥候補について、複数の前記画像を通じた総合的な評価を行うステップと、を有する。
【0007】
本開示の検査支援システムは、放射線透過試験の画像検査を支援する検査支援システムであって、同一の検査対象領域を含む画像を複数取得する画像取得部と、複数の前記画像を用いて、前記画像に含まれる前記検査対象領域の欠陥候補を検出する制御部と、を備え、前記制御部は、検出した前記欠陥候補について、複数の前記画像を通じた総合的な評価を行う。
【発明の効果】
【0008】
上述の検査支援方法及び検査支援システムによれば、放射線透過試験における欠陥候補の検出精度を向上することができる。
【図面の簡単な説明】
【0009】
【
図1】実施形態に係る検査支援システムの一例を示すブロック図である。
【
図2】実施形態に係る検査支援処理の一例を示すフローチャートである。
【
図3】実施形態に係る統合自動分析処理の一例を示す第1のフローチャートである。
【
図4】実施形態に係る統合自動分析処理の一例を示す第2のフローチャートである。
【
図5】実施形態に係る学習処理の一例を示すフローチャートである。
【
図6】実施形態に係る自動分析処理の一例を示すフローチャートである。
【
図7】実施形態に係る自動分析処理の変形例を示すフローチャートである。
【
図8】実施形態に係る検査支援装置のハードウェア構成の一例を示す図である。
【発明を実施するための形態】
【0010】
以下、本開示の検査支援方法について、
図1~
図8を参照して説明する。
<実施形態>
(システム構成)
図1は、実施形態に係る検査支援システムの一例を示すブロック図である。
検査支援システム1は、放射線透過試験装置2と、デジタイザ3と、表示装置4と、検査支援装置10とを備える。放射線透過試験装置2は、被検査体Mに放射線を照射し、透過した放射線をフィルムで検出して、被検査体Mを撮影したアナログ画像(フィルム)を出力する。放射線透過試験装置2は、被検査体Mに複数枚のフィルムを装着し、1回の照射で複数の画像が撮影できるものであってもよい。また、放射線透過試験装置2は、被検査体Mを撮影したデジタル画像を出力するものであってもよい。被検査体Mは、例えば、溶接部を含む板金、配管などの構造物である。放射線透過試験装置2は、溶接部を含むようにして被検査体Mを撮影する。デジタイザ3は、放射線透過試験装置2が撮影したアナログ画像(フィルム)をデジタル画像に変換する。以下、放射線透過試験装置2がアナログ画像(フィルム)を出力し、デジタイザ3によってデジタル画像に変換する場合を例として説明を行うが、放射線透過試験装置2がデジタル画像を出力する場合、デジタイザ3は必要なく、検査支援システム1はデジタイザ3を備えない構成とすることができる。検査支援装置10は、1つの被検査体Mを撮影した複数枚のデジタル画像をデジタイザ3又は放射線透過試験装置2から取得して、被検査体Mの欠陥候補を検出する。欠陥候補とは、溶接部に生じている空孔や割れなどの溶接欠陥の可能性が高いと考えられるものである。1つの被検査体Mの欠陥候補を検出するために、被検査体Mを撮影した複数枚のデジタル画像を用いることで、画像に生じるノイズ等の影響や過剰検出を抑制し、欠陥候補の検出精度を向上する。被検査体Mを撮影した複数枚のデジタル画像は、同一の撮影条件(照射線量、被検査体Mとの位置関係など)で所定の時間内に撮影されたものであることが好ましく、例えば、複数枚のデジタル画像は、複数のフィルム(フィルムは同じ種類でも異なる種類でもよい。)を重ねて同時に撮影された画像、もしくは放射線透過試験装置2に被検査体Mをセットした状態で連続撮影して得られた画像である。検査支援装置10は、検出した欠陥候補を表示装置4や紙、電子ファイル等へ出力する。表示装置4は、液晶ディスプレイ等を用いて構成される。表示装置4は、被検査体Mの画像や検査支援装置10によって検出された欠陥候補を表示する。紙や電子ファイルへ出力された被検査体Mの画像等は検査記録として保管される。
【0011】
検査支援装置10は、画像取得部11と、制御部12と、学習部13と、入力受付部14と、出力部15と、記憶部16とを備える。
画像取得部11は、被検査体Mを撮影した複数枚のデジタル画像を取得する。
制御部12は、被検査体Mから欠陥候補を検出する処理を制御する。制御部12は、位置調整部121と、画像処理部122と、統合分析部123と、を備える。
位置調整部121は、複数のデジタル画像について、画像内の検査範囲を示すマーカ情報や画像内の特定の位置における周囲との輝度差などを特徴として、複数のデジタル画像間の位置合わせを行う。
【0012】
画像処理部122は、画像取得部11が取得したデジタル画像について、ノイズ除去、輝度値の変更、フィルタ処理、複数の画像の統合などの各種画像処理を行う。例えば、画像処理部122は、複数のデジタル画像を統合して1つの統合画像を作成する。例えば、画像処理部122は、デジタル画像を検査員が目視によって確認しやすいような画質(輝度、コントラスト、解像度、画素数、諧調、ダイナミックレンジなど)を有する画像に変換する。また、画像処理部122は、画像内の輝度ムラを除去して均質化したり、複数のデジタル画像の画質を基準となる画質に揃えたりといった処理を行う。
【0013】
統合分析部123は、複数のデジタル画像を用いて、画像から溶接欠陥の候補を検出する処理を行う。欠陥候補の検出は、溶接欠陥が写った画像を学習させて構築した学習済みモデル(検出モデル161)を用いて実行する。例えば、統合分析部123は、画像取得部11が取得したデジタル画像から所定の特徴量を算出して、その特徴量を検出モデル161に入力する。検出モデル161は、その特徴量が示す欠陥の種類とその確信度(confidence value)を出力する。統合分析部123は、検出モデル161が出力した確信度を欠陥候補の確からしさを表すスコアとして扱い、1つの被検査体Mを撮影して得られた複数のデジタル画像について、総合的なスコアを算出する。例えば、統合分析部123は、複数のデジタル画像それぞれについて算出されたスコアを合計して総合的なスコアを算出する。また、例えば、統合分析部123は、複数のデジタル画像を1枚のデジタル画像に統合した統合画像について算出されたスコアを総合的なスコアとして設定する。総合的なスコアは、複数のデジタル画像を通じて算出されたスコアである。例えば、10枚のデジタル画像のうちの1枚だけから検出された欠陥候補の総合スコアは、10枚のデジタル画像の全てから検出された欠陥候補の総合スコアよりも小さな値となる。以下、1枚の画像から検出モデル161を用いて欠陥候補を検出する処理を自動分析、N枚の画像を用いて検出モデル161に基づいて欠陥候補を検出し、総合的なスコアを算出する処理を統合自動分析と記載する。
【0014】
学習部13は、溶接欠陥が写った画像を学習して、デジタル画像からその画像に含まれる溶接欠陥の種類および確信度、溶接欠陥が写る位置などの情報を出力する検出モデル161を作成する。例えば、学習部13は、欠陥a1、欠陥a2、・・・が写った画像A、欠陥b1、欠陥b2、・・・が写った画像Bなどの学習用のデジタル画像を多数読み込んで、欠陥が写った部分の画像の特徴量と、欠陥a1,a2・・・などの欠陥の種類との関係を学習し、検出モデル161を作成する。
【0015】
入力受付部14は、ユーザの指示操作や情報の入力を受け付ける。例えば、ユーザは、統合自動分析の実行を指示する操作を検査支援装置10へ入力する。入力受付部14は、入力された操作を受け付け、制御部12へ出力する。
【0016】
出力部15は、統合分析部123が検出した欠陥候補や総合的なスコアを表示装置4、電子ファイル、紙等へ出力する。
記憶部16は、画像取得部11が取得したデジタル画像や検出モデル161などの様々な情報を記憶する。
【0017】
検査支援装置10は、通信可能な複数のコンピュータによって構成されていてもよい。また、記憶部16は、検査支援装置10とは別体のストレージ装置に構成されていてもよい。また、検査支援システム1は、記憶部16を含む1台のストレージ装置と、ストレージ装置とネットワークを介して通信可能に接続された複数の検査支援装置10およびそれぞれの検査支援装置10ごとに設けられた放射線透過試験装置2とデジタイザ3を含んで構成されていてもよい。
【0018】
(動作)
次に
図2~
図7を参照して検査支援装置10の動作について説明する。
1.全体的な処理の流れ
図2に検査支援装置10を用いた放射線透過試験の支援処理の全体的な流れを示す。
最初に放射線透過試験装置2を用いて、N枚の被検査体Mの画像をフィルム撮影する(ステップS1)。被検査体Mの同じ場所を撮像する方法としては、フィルムを変えて繰り返して撮影する方法の他、複数のフィルムを重ねて一度に撮影する方法がある。放射線透過試験装置2は、フィルム撮影されたN枚のアナログ画像(フィルム)を出力する。次にデジタイザ3を用いて、N枚のアナログ画像(フィルム)をデジタル画像へ変換する(ステップS2)。次に検査員は、N枚のデジタル画像を検査支援装置10へ入力する。検査支援装置10では、画像取得部11が、N枚のデジタル画像を取得して記憶部16へ記録する(ステップS3)。次に検査員は、統合自動分析の実行を指示する。入力受付部14が統合自動分析の実行指示を受け付け、制御部12へ出力する。すると、まず、位置調整部121が、N枚のデジタル画像の位置合わせを行う(ステップS4)。例えば、位置調整部121は、N枚のデジタル画像のそれぞれに写る所定のマーカ情報に基づいて、当該マーカ情報が写った画素群が重なるようにして、N枚のデジタル画像の位置を合わせる。あるいは、位置調整部121は、N枚のデジタル画像のそれぞれから、周辺画素とは異なる特徴的且つ局所的な輝度値や特徴量を有する画素群を抽出し、抽出した画素群が重なるようにして、N枚のデジタル画像の位置をマッチングする。N枚の画像を同一の撮影条件で撮影した場合、理論上は、デジタル画像のほぼ同じ位置に欠陥が写り込むはずである。実際には、画像に写る欠陥候補の位置や大きさは正確に一致するわけではなく、若干の位置ずれが生じる場合がある。また、放射線の特性上、全体的な輝度レベルが多少異なり、輝度ムラやデジタル画像には含まれるノイズが過剰検出の原因となり得る。ステップS4では、画像上の確実な目印を基準として位置合わせを行い、後述処理による検出精度の向上を図る。なお、ステップS4の位置合わせは必須ではない。もともとN枚のデジタル画像の位置が合っている場合には、ステップS4の処理を省略することができる。
【0019】
次に統合分析部123が統合自動分析を行う(ステップS5)。統合自動分析では、同じ領域を撮像した複数枚のデジタル画像を用いて自動分析を行うことで、フィルムに起因するノイズやデジタイズに起因するノイズの影響を低減し、自動分析の精度向上を図る。統合自動分析には、次の2通りの構成がある。
【0020】
(1)デジタル画像を1枚ずつ処理する:N枚のデジタル画像それぞれに対して自動分析を実行してから、その結果を統合する。統合方法としては、例えば、(a)全てのデジタル画像で同じ位置に欠陥候補が検出された場合に、その位置に検出モデル161が検出した欠陥があるとみなす方法、(b)ある位置で検出された欠陥候補について、N枚のデジタル画像それぞれで算出されたスコアを合計した値が所定の閾値以上となると、その位置に検出モデル161が検出した欠陥があるとみなす方法、(c)N枚のうちの所定枚数以上で同じとみなせる位置に所定値以上のスコアで欠陥候補が検出されると、その位置に検出モデル161が検出した欠陥があるとみなす方法などがある。この処理については、後に
図3を用いてより詳細に説明する。
【0021】
(2)N枚のデジタル画像をマージして処理する:まずN枚のデジタル画像を1つに統合した統合画像を作成し、統合画像に対して自動分析を行う。デジタル画像を統合する方法としては、複数画像の各画素の輝度値の平均を統合画像の対応する画素の輝度値とする方法がある。この処理については、後に
図4を用いてより詳細に説明する。
【0022】
次に出力部15は、統合自動分析の結果を表示装置4へ出力する(ステップS6)。例えば、出力部15は、N枚のデジタル画像または1枚の統合画像を表示して、統合自動分析で検出された欠陥候補の位置や総合的なスコアをそれらの画像に重畳して、又は、画像とは別に、例えば一覧形式で表示する。出力部15は、例えば、欠陥の種類や、総合的なスコアの大きさに応じて色別に表示してもよい。検査員は、表示された統合自動分析の結果を参照して、放射線透過試験の最終的な評価を行う(ステップS7)。最終的な評価とは、統合自動分析によって検出された欠陥候補が、真に欠陥であるか、あるいは過剰検出であるかを判断することである。検査員は、統合自動分析で使用した画像を目視で確認するとともに、総合的なスコアを参考にして最終的な評価を行う。このとき、検査員は、自分が確認しやすいように表示装置4に表示される画像(デジタル画像、統合画像など)にフィルタを掛けられるようにしてもよい。例えば、検査員が、画像に適用するフィルタの種類を指定すると、画像処理部122が表示された画像に対して、指定されたフィルタ処理を行う。そして出力部15は、フィルタ処理後の画像を表示装置4へ出力する。検査員は、様々なフィルタを試行することにより、例えば、注目個所が、画像のノイズなのか本当の欠陥が写っているのかを判断することができる。これにより、検査員は、より正確かつ効率的に最終的な評価を行うことができる。
【0023】
2.統合自動分析(1枚ずつ処理)
次に
図3を用いて、ステップS5の統合自動分析において、N枚のデジタル画像を1枚ずつ自動分析する場合の処理について説明する。
制御部12は、記憶部16からN枚のデジタル画像のうちの1枚目を読み出して、変数jに1を設定する(ステップS11)。制御部12は、統合分析部123に自動分析を指示する。統合分析部123は、1枚目のデジタル画像について、検出モデル161を用いて自動分析を行う(ステップS12)。例えば、統合分析部123は、1枚目のデジタル画像について、所定の特徴量を計算し、その計算結果を検出モデル161に入力する。統合分析部123は、検出モデル161が出力した欠陥候補の検出位置の位置情報(例えば、デジタル画像の所定位置を原点としたときの座標情報)と、欠陥の種類(小さな空洞、接合不良、異材混入など)と、スコア(確信度)とを取得し、1枚目のデジタル画像と対応付けて記憶部16に記録する。次に制御部12は、変数jがN以下かどうかを判定する(ステップS13)。変数jがN以下の場合(ステップS13;Yes)、制御部12は、変数jに1を加算して(ステップS14)、ステップS12以降の処理を繰り返し、実行する。なお、2枚目以降のデジタル画像の自動分析によって、1枚目で検出された欠陥候補と同じ欠陥候補が検出される場合、
図2のステップS4で位置合わせを行ったので、1枚目と同様の位置情報で検出される。
【0024】
変数jがNを上回る場合(ステップS13;No)、統合分析部123は、N枚のデジタル画像に対する自動分析の結果を統合する(ステップS15)。(a)例えば、統合分析部123は、N枚のデジタル画像の同じとみなせる位置(欠陥候補が検出されたN個の位置の座標情報が完全に一致する場合だけではなく、座標情報が所定の範囲内に含まれる場合を含む)に欠陥候補が検出された場合に、当該位置に溶接欠陥があると判定し、N枚のスコアの合計や平均値を当該欠陥候補の総合的なスコアとして設定する。(b)例えば、統合分析部123は、N枚のデジタル画像のそれぞれで、同じとみなせる位置で検出された欠陥候補について、その欠陥候補のスコアを合計し、合計値が所定の閾値以上となると、当該位置に溶接欠陥があると判定し、スコアの合計や平均値を当該欠陥候補の総合的なスコアとして設定する。(c)例えば、統合分析部123は、N枚のうちの所定枚数以上で同じとみなせる位置に所定値以上のスコアで欠陥候補が検出されると、当該位置に溶接欠陥があると判定し、スコアの合計や平均値を当該欠陥候補の総合的なスコアとして設定する。統合分析部123は、欠陥候補の位置情報、欠陥の種類、総合的なスコアを出力部15へ出力する。
図3で説明した方法によれば、複数のデジタル画像から検出された欠陥だけを欠陥候補として出力するので、画像のノイズによる過剰検出や検出モデル161による過剰検出を抑制し、欠陥候補の検出精度を向上することができる。
【0025】
3.統合自動分析(N枚をマージして処理)
次に
図4を用いて、ステップS5の統合自動分析において、N枚のデジタル画像を1枚の統合画像へ統合した後に自動分析する処理について説明する。
制御部12は、記憶部16からN枚のデジタル画像を読み出す(ステップS21)。制御部12は、画像処理部122に統合画像の作成を指示する。画像処理部122は、N枚のデジタル画像を統合して統合画像を作成する(ステップS22)。例えば、画像処理部122は、ステップS4の位置合わせ処理の結果、対応することとなったN枚のデジタル画像の各画素の輝度値の平均を算出し、その平均値を対応する画素の輝度値として有する統合画像を作成する。そのほかにも、複数画像の各画素の輝度値を合計した値を統合画像の対応する画素の輝度値に設定して統合画像を作成する方法や、複数画像の各画素の輝度値のうちの最大値や最小値、中央値などを統合画像の対応する画素の輝度値に設定して統合画像を作成する方法などが考えられる。画像処理部122は、統合画像を記憶部16に記録する。次に統合分析部123は、統合画像について、検出モデル161を用いて自動分析を行う(ステップS23)。例えば、統合分析部123は、統合画像について計算した所定の特徴量を検出モデル161に入力し、欠陥候補の位置情報と、欠陥の種類と、スコアとを取得し、統合画像と対応付けて記憶部16に記録する。N枚をマージして処理する場合には、統合画像に基づいて算出されたスコアが総合的なスコアとなる。統合分析部123は、総合的なスコアが所定値以上となるものだけを欠陥候補として選択してもよい。統合分析部123は、欠陥候補の位置情報、欠陥の種類、総合的なスコアを出力部15へ出力する。
図4で説明した方法によれば、複数のデジタル画像を平均した1枚のデジタル画像(統合画像)を作成し、作成した統合画像に基づいて欠陥候補の検出を行う。これにより、画像間の画質のばらつきを平滑化し、ノイズ等による過剰検出や検出モデル161による過剰検出を抑制し、欠陥候補の検出精度を向上することができる。
【0026】
次に
図5~
図7を用いて、
図3のステップS12、
図4のステップS23の自動分析について説明する。
4.検出モデルの作成
まず、
図5を用いて、ステップS12,S23の自動分析に用いる検出モデル161の作成について説明する。まず、画像取得部11が、学習用のデジタル画像を複数取得する(ステップS31)。学習用のデジタル画像には、溶接欠陥が写り込んでおり、その欠陥の種類や溶接欠陥が写った位置は事前の分析により特定されている。次に学習部13が、学習用のデジタル画像を機械学習する(ステップS32)。例えば、学習部13は、所定の計算方法によってデジタル画像から所定の特徴量を抽出する。学習部13は、溶接欠陥が写った領域について抽出された特徴量と事前の分析によって特定された溶接欠陥との関係、溶接欠陥が写っていない健全な領域について抽出された特徴量と“溶接欠陥なし”の関係を機械学習により学習し、デジタル画像から抽出した特徴量を入力すると、溶接欠陥の有無や、溶接欠陥が検出できる場合にはその欠陥の種類と確信度、画像内の位置情報を出力する検出モデル161を作成する。学習部13は、作成した検出モデル161を記憶部16に記録する。
【0027】
なお、検出モデル161は、自動分析する画像の性質に合わせて作成してもよい。例えば、
図3で説明した処理用に、多数の学習用の画像それぞれを学習データとして検出モデル161を作成してもよいし、多数の学習用の画像から同じ検査対象領域を撮影したN枚の画像を選択して学習用の統合画像を複数作成し、複数の統合画像を学習データとして検出モデル161を作成してもよい。また、次に
図6を用いて説明する検査員の視認性を考慮した変換画像と同じ要領で多数の学習用の画像のそれぞれについて変換画像を作成し、これらの変換画像を学習データとして、検出モデル161を作成してもよい。また、後に
図7を用いて説明するように、多数の学習用の画像のそれぞれについて画質調整を行って、画像間の輝度のばらつきや1枚の画像内の輝度ムラなどを平滑化する画質調整を行い、画質調整後の学習用の画像を学習データとして検出モデル161を作成してもよい。
【0028】
5.自動分析処理
次に、
図6を用いて、ステップS12、S23の自動分析についてさらに詳しく説明する。すでに説明したように、自動分析は、検査対象のデジタル画像から検出モデル161を用いて欠陥候補を検出する処理である。ここでは、自動分析を行う際に、原画像を検査員による視認性を考慮した変換画像に変換し、原画像に加え、変換画像に対して自動分析を実行する処理について説明する。原画像とは、画像取得部11が取得したデジタル画像、又は画像処理部122が作成した統合画像である。
【0029】
まず、統合分析部123が、原画像に対して自動分析を行う(ステップS41)。この処理は、
図3のステップS12又は
図4のステップS23にて説明した処理と同様である。次に制御部12が、変換画像を用いて自動分析するかどうかを判定する(ステップS42)。例えば、検査員が、原画像による欠陥検出だけでなく、変換画像による欠陥検出を望む場合、予め変換画像を用いて自動分析する設定を検査支援装置10へ入力する。この設定入力は、入力受付部14により取得され、記憶部16に変換画像を用いた自動分析を行う旨の設定情報が設定される。制御部12は、この設定情報に基づいて、ステップS42の判定を行う。設定情報が登録されていない場合、制御部12は、変換画像を用いて自動分析を行わないと判定し(ステップS42;No)、
図6の処理を終了する。
【0030】
設定情報が登録されている場合、制御部12は、変換画像を用いて自動分析を行うと判定し(ステップS42;Yes)、ステップS43、S44の処理を実行する。ステップS43では、制御部12は、画像処理部122に変換画像の作成を指示する。画像処理部122は、検査員の視認性を考慮して画像変換を行った変換画像を新たに作成する(ステップS43)。一般に放射線透過試験装置2によって撮影された画像や当該画像から変換されたデジタル画像の輝度分布は、そのままでは、輝度のダイナミックレンジが広すぎて人の目で確認するには不適であることが多い。このような場合、検査員は、原画像の輝度やコントラストを調整して分析を行う。放射線透過試験における原画像の分析(例えば、目視により欠陥候補を確認すること)は官能検査の一面もあることから、原画像だけでなく検査員にとって視認性の良い変換画像を組み合わせて自動分析を行う。これにより、自動分析精度の向上を図ることができる。
【0031】
例えば、出力部15が、原画像を表示装置4に出力し、検査員は、輝度やコントラストを調整する指示情報を検査支援装置10へ入力する。画像処理部122は、入力受付部14を介して、指示情報を取得し、指示情報に従って、原画像の輝度やコントラストを変更し、変更後の変換画像を、出力部15を介して表示装置4へ出力する。検査員は、原画像が検査に適した変換画像となるまで、輝度等の調整を繰り返す。所望の変換画像が得られると、検査員は、画像の調整完了を検査支援装置10へ入力する。画像処理部122は、現在、表示装置4に出力している画像を検査員の視認性を考慮した変換画像として記憶部16に記録する。残りのデジタル画像が存在する場合、例えばN枚の撮影条件が同じであれば、残りのN-1枚のデジタル画像についても1枚目のデジタル画像と同様の処理を行って変換画像を作成してもよいし、撮影条件が異なるような場合、残りのN-1枚についても、1枚ずつ検査員が確認しながら変換画像を作成してもよい。
【0032】
または、目視による検査に適した画質に変換した変換画像を代表画像として予め記憶部16に登録しておき、画像処理部122は、変換対象の画像の輝度やコントラストをこの代表画像に合わせることで変換画像を作成してもよい。例えば、画像処理部122は、代表画像の画素ごとの輝度の分布を示す輝度ヒストグラム分布情報を作成する。画像処理部122は、変換画像における画素ごとの輝度分布が輝度ヒストグラム分布情報に合うように全画素の輝度の自動調整を行って変換画像を作成してもよい。なお、統合画像を作成する場合、N枚のデジタル画像それぞれについて変換画像を作成してから、それらを統合して統合画像を作成してもよいし、統合画像を作成してから、その統合画像を変換画像へ変換してもよい。また、変換画像は、原画像よりも情報量が少ない画像であってもよい。
【0033】
変換画像が得られると、統合分析部123が、変換画像に対して自動分析を行う(ステップS44)。統合分析部123は、ステップS41と同じ検出モデル161を使用してもよいが、変換画像に変換した学習用の画像を学習データとして作成した検出モデル161を用いて、変換画像に対する自動分析を行うことが好ましい。
【0034】
図3のステップS12で変換画像を用いた自動分析を行う場合、統合分析部123は、
図3のステップS15にて、N枚の原画像とN枚の変換画像に対する自動分析の結果を用いて自動分析結果の統合を行ってもよいし、N枚の原画像に対する自動分析の結果を統合し、それとは別にN枚の変換画像に対する自動分析の結果を統合してもよい。また、
図4のステップS23で変換画像を用いた自動分析を行う場合、統合画像について実行した自動分析の結果と変換画像について実行した自動分析の結果を、
図3のステップS15と同様にして統合してもよいし、統合画像と変換画像に対する自動分析の結果を統合すること無く別々に扱ってもよい。
【0035】
6.自動分析処理の変形例
図7に自動分析処理(
図6)の変形例を示す。
図7の処理では、自動分析に先立って画質を調整し、一定の条件に合わせる処理を行う。放射線透過試験の撮像に際しては、被検査体Mの個体差、照射口と被検査体Mおよびフィルムとの位置関係の差異(フィルムの重ね合わせ位置による近い、遠いなど)、照射エネルギや照射時間の微妙な差異によって、得られる画像の画質に変化が生じる。これを事前に代表画像(この代表画像は、検査員の視認性を考慮して作成した画像ではなく、例えば、N枚のデジタル画像のうちの1枚であってもよいし、他の基準となるデジタル画像であってもよい。)の画質に合わせることで、自動分析の精度の向上を図ることが可能になる。この画質調整は、特に1枚ずつ処理する構成の場合(
図3)に有効であるが、統合画像を作成して自動分析を行う場合(
図4)にも有効である。
図7に示す処理例では、自動分析の前に画質調整を行うこととしているが、統合画像を作成する場合には、統合画像の作成前(
図4のステップS22の前)に画質の調整を行ってもよい。また、画質の調整を行う場合、画質調整後の学習用の画像を学習データとして作成された検出モデル161を用いるか(
図3の場合)、画質調整後の学習用の画像から複数の統合画像を作成し、これを学習データとして作成された検出モデル161を用いて(
図4の場合)、自動分析を行うことが好ましい。
【0036】
画質調整を行う場合、画像処理部122が、デジタル画像に対して画質調整を行う(ステップS40)。例えば、画像処理部122は、
図6のステップS43の処理と同様にして、代表画像の輝度ヒストグラム分布に原画像の輝度分布を合わせることによって輝度およびコントラストの調整を行う。また、例えば、複数の画像間で輝度のオフセットが異なる場合、例えば、原画像1の各画素の画素値にはオフセット量X1を加算し、原画像2の各画素の画素値にはオフセット量X2を加算する等して、画像間の輝度分布を揃えるようにしてもよい。また、放射線透過試験装置2で撮影を行うと、画像の中心(照射口付近)は明るく、周囲に行くほど暗くなる低周波成分の輝度ムラが発生しやすい。そこで、例えば、画像処理部122は、原画像を周波数分解して、原画像に低周波成分が含まれることを検出すると、低周波数成分をカットするフィルタを掛けることにより、この輝度ムラを抑制する処理を行う。これらの処理により、自動分析対象の原画像を同等の条件に統一して自動分析を行うことができる。
【0037】
ステップS41以降の処理については
図6と同様である。統合分析部123は、画質調整後の原画像に対して自動分析を行う(ステップS41)。変換画像を用いて自動分析する場合(ステップS42;Yes)、画像処理部122は、画質調整後の原画像について変換画像を作成する(ステップS43)。すでにN枚の原画像は画質調整により、画質が揃っているので、最初の1枚に対して変換画像を作成する処理と同様の処理により、残りの原画像についても変換画像を作成することができる。次に統合分析部123は、変換画像に対して自動分析を行う(ステップS44)。
【0038】
以上説明したように本実施形態によれば、検査員が目視による評価を行う前に、複数の画像に基づいて欠陥候補を検出することができる。複数の画像に基づいて欠陥候補を検出することで、各画像固有の特徴(輝度ムラ、ノイズ)等の影響を低減して、欠陥候補を検出することができる。また、1枚の画像から検出される欠陥候補には、過剰検知が含まれており、検査員の確認作業が負担になっているが、複数枚の画像を用いることで、例えば、少数の画像のみから検出された欠陥候補は過剰検出によるものであり、過半数の画像で検出された欠陥候補は確かに欠陥が生じている可能性が高いといった判断ができるので、検査員の作業負担を軽減することができる。あるいは、少数の画像のみから検出された欠陥候補は検出結果に含めず、過半数の画像で検出された欠陥候補のみを検査員へ提示することで、検査員の確認作業の負担を軽減することができる。また、表示装置4に、分析対象の原画像、変換画像、画質調整済み画像および統合自動分析の結果を表示することで、検査員は、各欠陥候補が持つ特徴(確信度、位置など)を把握できるようになり、自動分析結果に対して最終的な評価を行う際に、円滑かつ簡便に作業できるようになる。これにより、検査員の作業性を向上することができる。
【0039】
なお、実施形態では、溶接の欠陥候補を検出する例を用いて説明を行ったが、本実施形態の適用先は、放射線透過試験における溶接の欠陥候補の検出に限定されず、放射線透過試験装置の撮影画像に基づく、構造物の他の事項の検出に適用することができる。
【0040】
図8は、実施形態に係る検査支援装置のハードウェア構成の一例を示す図である。
コンピュータ900は、CPU901、主記憶装置902、補助記憶装置903、入出力インタフェース904、通信インタフェース905を備える。上述の検査支援装置10は、コンピュータ900に実装される。そして、上述した各機能は、プログラムの形式で補助記憶装置903に記憶されている。CPU901は、プログラムを補助記憶装置903から読み出して主記憶装置902に展開し、当該プログラムに従って上記処理を実行する。また、CPU901は、プログラムに従って、記憶領域を主記憶装置902に確保する。また、CPU901は、プログラムに従って、処理中のデータを記憶する記憶領域を補助記憶装置903に確保する。
【0041】
なお、検査支援装置10の全部または一部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各機能部による処理を行ってもよい。ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、CD、DVD、USB等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。また、このプログラムが通信回線によってコンピュータ900に配信される場合、配信を受けたコンピュータ900が当該プログラムを主記憶装置902に展開し、上記処理を実行しても良い。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
【0042】
以上のとおり、本開示に係るいくつかの実施形態を説明したが、これら全ての実施形態は、例として提示したものであり、発明の範囲を限定することを意図していない。これらの実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で種々の省略、置き換え、変更を行うことができる。これらの実施形態及びその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【0043】
<付記>
各実施形態に記載の検査支援方法及び検査支援システムは、例えば以下のように把握される。
【0044】
(1)第1の態様に係る検査支援方法は、放射線透過試験の画像検査を支援する検査支援方法であって、同一の検査対象領域を含む画像を複数取得するステップ(S3)と、複数の前記画像を用いて、前記画像に含まれる前記検査対象領域の欠陥候補を検出する(デジタル画像、統合画像、変換画像などに対する自動分析)ステップ(S5、S12、S23)と、検出された前記欠陥候補について、複数の前記画像を通じた総合的な評価(総合的なスコアの算出)を行うステップ(S5、S15、S23)と、を有する。
複数の画像を用いて欠陥候補の検出を行い、その結果を総合的に評価することで、放射線透過試験の画像検査の自動分析の精度を向上することができる。
【0045】
(2)第2の態様に係る検査支援方法は、(1)の検査支援方法であって、前記画像に写った目印を基準として複数の前記画像の位置合わせを行うステップ(S4)、をさらに有する。
複数の画像の撮影条件が異なる場合でも位置合わせを行うことで、後続の処理で、異なる位置に存在する欠陥候補を混同する等を防止し、検出精度を確保することができる。
【0046】
(3)第3の態様に係る検査支援方法は、(1)~(2)の検査支援方法であって、前記欠陥候補を検出するステップでは、複数の前記画像のそれぞれについて前記欠陥候補を検出するとともに検出した前記欠陥候補ごとにその確からしさを示すスコアを算出し(S12)、前記評価を行うステップでは、前記欠陥候補が検出された画像の数と前記スコアとに基づいて、前記総合的な評価を行う(S15)。
画像に含まれるノイズを低減し、過剰検出を防止することができる。
【0047】
(4)第4の態様に係る検査支援方法は、(1)~(2)の検査支援方法であって、前記欠陥候補を検出するステップでは、複数の前記画像から作成された統合画像(前記画像の各画素の画素値に基づいて算出された値を対応する画素の輝度値とするようにして作成された統合画像)に基づいて前記欠陥候補を検出するとともに検出した前記欠陥候補の確からしさを示すスコアを算出し(S23)、前記評価を行うステップでは、前記統合画像に基づいて検出された前記欠陥候補と前記スコアとに基づいて、前記総合的な評価を行う(S23)。
画像に含まれるノイズを低減し、過剰検出を防止することができる。
【0048】
(5)第5の態様に係る検査支援方法は、(3)~(4)の検査支援方法であって、前記画像と検出された前記欠陥候補および前記スコアを表示するステップ、をさらに有する。
複数の画像ごと(統合画像の場合は統合画像について)に評価結果を表示することで、検査員は、欠陥候補の位置とその確からしさを参考にしながら、目視による最終評価を行うことができ、作業の生産性を向上することができる。
【0049】
(6)第6の態様に係る検査支援方法は、(1)~(5)の検査支援方法であって、前記欠陥候補を検出するステップでは、複数の前記画像の画質を所定の基準に揃えてから前記欠陥候補を検出する処理を行う(S30)。
画像の画質を一定の条件に揃えることで、複数の画像に対して、平等・公平な評価を行うことができる。
【0050】
(7)第7の態様に係る検査支援方法は、(1)~(6)の検査支援方法であって、前記画像の画質を検査員の視認性を考慮した所定の画質に変換する変換画像を作成するステップ(S33)、をさらに有し、前記欠陥候補を検出するステップでは、撮影された前記画像から前記欠陥候補を検出するとともに、前記変換画像から前記欠陥候補を検出し、前記評価を行うステップでは、前記画像および前記変換画像から検出された前記欠陥候補に基づいて、前記総合的な評価を行う。
デジタル画像(RAWデータ)は画面のダイナミックレンジより大きいダイナミックレンジを有することを前提とした場合、RAWデータで自動欠陥検出を行ったうえで、人が欠陥を見やすくなるように画質(輝度、コントラスト)調整した後の画像(例えば、8ビットの画像データ)へ変換し、その変換後の画像で欠陥候補の自動検出を行うことで、複数の画像に対してそれぞれ、RAWデータならびに変換画像における検知結果を得ることができる。これにより、検査員による視認性を向上し、最終的に検出精度の向上を期待することができる。
【0051】
(8)第8の態様に係る検査支援方法は、(6)~(7)の検査支援方法であって、前記画質は、前記画像の輝度とコントラストである。
画像の輝度とコントラストを調整することができる。
【0052】
(9)第9の態様に係る検査支援方法は、(1)~(8)の検査支援方法であって、複数の前記画像は、前記検査対象領域を複数回撮影して得られた画像と、複数のフィルムを重ねて前記検査対象領域を撮影して得られた画像と、のうちの少なくとも一方を含む。
複数のフィルムを重ねたり、連続して撮影したりすることにより、検出精度の向上に資する画像(例えば、撮影条件が近しい画像)を複数得ることができる。
【0053】
(10)第10の態様に係る検査支援方法は、(1)~(9)の検査支援方法であって、前記欠陥候補を検出するステップでは、画像の特徴量と欠陥との関係を機械学習して作成された検出モデル161を用いて、前記欠陥候補の検出を行う。
検出モデルを作成することにより、自動的に欠陥候補を検出することができる。
【0054】
(11)第11の態様に係る検査支援システムは、放射線透過試験の画像検査を支援する検査支援システム1であって、同一の検査対象領域を含む画像を複数取得する画像取得部11と、複数の前記画像を用いて、前記画像に含まれる前記検査対象領域の欠陥候補を検出する制御部12と、を備え、前記制御部12は、検出した前記欠陥候補について、複数の前記画像を通じた総合的な評価を行う。
【符号の説明】
【0055】
1・・・検査支援システム
2・・・放射線透過試験装置
3・・・デジタイザ
4・・・表示装置
10・・・検査支援装置
11・・・画像取得部
12・・・制御部
121・・・位置調整部
122・・・画像処理部
123・・・統合分析部
13・・・学習部
14・・・入力受付部
15・・・出力部
16・・・記憶部
161・・・検出モデル
900・・・コンピュータ
901・・・CPU
902・・・主記憶装置
903・・・補助記憶装置
904・・・入出力インタフェース
905・・・通信インタフェース