(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024029975
(43)【公開日】2024-03-07
(54)【発明の名称】X線撮影システム、および、学習済みモデル生成方法
(51)【国際特許分類】
G01N 23/04 20180101AFI20240229BHJP
【FI】
G01N23/04
【審査請求】未請求
【請求項の数】11
【出願形態】OL
(21)【出願番号】P 2022132482
(22)【出願日】2022-08-23
(71)【出願人】
【識別番号】000001993
【氏名又は名称】株式会社島津製作所
(74)【代理人】
【識別番号】100104433
【弁理士】
【氏名又は名称】宮園 博一
(74)【代理人】
【識別番号】100202728
【弁理士】
【氏名又は名称】三森 智裕
(72)【発明者】
【氏名】津島 啓晃
(72)【発明者】
【氏名】澤田 隆二
【テーマコード(参考)】
2G001
【Fターム(参考)】
2G001AA01
2G001BA11
2G001CA01
2G001DA09
2G001FA29
2G001GA01
2G001HA07
2G001HA13
2G001LA11
2G001MA04
(57)【要約】
【課題】検査対象物の領域、および、検査対象物に含まれる異常部分の領域の少なくとも一方を識別するための学習済みモデルを生成する場合に、教師データの作成作業における作業負担を軽減することが可能なX線撮影システム、および、学習済みモデル生成方法を提供することである。
【解決手段】このX線撮影システム100は、規則性を有する状態で配置された複数のはんだボールを含む教師用X線画像60から、中心画像と端画像とを取得する。そして、X線撮影システム100は、中心画像および端画像の各々におけるはんだボールの領域を識別するための識別情報を取得する。そして、X線撮影システム100は、中心画像および端画像に基づく入力教師データと、識別情報に基づく出力教師データとを用いて、学習済みモデルを生成する機械学習を行う。
【選択図】
図8
【特許請求の範囲】
【請求項1】
規則性を有する状態で配置された検査対象物に対してX線を照射するX線照射部と、
前記X線照射部から照射されたX線を検出するX線検出部と、
前記X線検出部により検出されたX線に基づいてX線画像を生成する画像生成部と、
前記画像生成部により生成された前記X線画像の解析を行うための学習済みモデルを生成するモデル生成部と、を備え、
前記モデル生成部は、
規則性を有する状態で配置された前記検査対象物を含む教師用X線画像から、第1部分が切り出された第1画像と、前記第1部分とは異なる第2部分が切り出された第2画像とを取得する切出画像取得部と、
前記第1画像および前記第2画像の各々における前記検査対象物の領域、および、前記検査対象物に含まれる異常部分の領域の少なくとも一方を識別するための識別情報を取得する識別情報取得部と、
前記第1画像および前記第2画像に基づく入力教師データと、前記識別情報に基づく出力教師データとを用いて、前記学習済みモデルを生成する機械学習を行う学習部と、を含む、X線撮影システム。
【請求項2】
前記切出画像取得部は、前記教師用X線画像から、前記検査対象物が含まれる対象領域の中心部分を含む前記第1部分が切り出された前記第1画像と、前記対象領域の端部分を含む前記第2部分が切り出された前記第2画像とを取得する、請求項1に記載のX線撮影システム。
【請求項3】
前記X線照射部は、規則性を有するように基板に格子状に並べて配置された複数のはんだ材を含む前記検査対象物に対してX線を照射し、
前記識別情報取得部は、前記第1画像および前記第2画像の各々における前記複数のはんだ材の領域および前記複数のはんだ材に含まれる前記異常部分の領域の少なくとも一方が識別された識別画像を前記識別情報として取得する、請求項1または2に記載のX線撮影システム。
【請求項4】
操作者による入力操作を受け付ける操作部をさらに備え、
前記操作部は、前記教師用X線画像において前記検査対象物が含まれる対象領域を設定する領域設定操作を受け付け、
前記切出画像取得部は、前記操作部により受け付けられた領域設定操作によって設定された前記教師用X線画像における前記対象領域に基づいて、前記教師用X線画像のうちから前記第1部分の範囲と前記第2部分の範囲とを自動的に設定する、請求項1または2に記載のX線撮影システム。
【請求項5】
前記教師用X線画像を表示する表示部と、
操作者による入力操作を受け付ける操作部とをさらに備え、
前記表示部は、前記教師用X線画像から切り出される前記第1部分の範囲を示す表示と、前記第2部分の範囲を示す表示とを視認可能に表示し、
前記切出画像取得部は、前記操作部により受け付けられた入力操作に基づいて、前記教師用X線画像から切り出される前記第1部分の範囲と、前記第2部分の範囲とを設定する、請求項1または2に記載のX線撮影システム。
【請求項6】
前記切出画像取得部は、前記操作部により受け付けられた入力操作に基づいて、所定のしきい値以上の大きさを有するように前記第1部分の範囲と前記第2部分の範囲とを設定する、請求項5に記載のX線撮影システム。
【請求項7】
前記モデル生成部は、前記切出画像取得部により取得された前記第1画像と前記第2画像とに基づいて、前記入力教師データを生成する教師データ生成部をさらに含み、
前記教師データ生成部は、複製された複数の前記第1画像同士を並べて配置することと、複製された複数の前記第2画像同士を並べて配置することとの少なくとも一方によって、前記入力教師データを共通の大きさにするように構成されている、請求項1または2に記載のX線撮影システム。
【請求項8】
前記教師データ生成部は、前記第1画像同士を反転させながら並べて配置することと、前記第2画像同士を反転させながら並べて配置することとの少なくとも一方によって、前記入力教師データを共通の大きさにするように構成されている、請求項7に記載のX線撮影システム。
【請求項9】
前記切出画像取得部は、前記教師用X線画像から前記検査対象物が含まれない背景部分が切り出された背景画像を取得し、
前記学習部は、前記第1画像および前記第2画像と前記背景画像とに基づく前記入力教師データを用いて前記学習済みモデルを生成するための機械学習を行う、請求項1または2に記載のX線撮影システム。
【請求項10】
操作者による入力操作を受け付ける操作部をさらに備え、
前記操作部は、複数の前記教師用X線画像のうちの一の前記教師用X線画像における前記第1部分の範囲と前記第2部分の範囲とを設定する範囲設定操作を受け付け、
前記切出画像取得部は、前記複数の教師用X線画像の各々から、前記一の教師用X線画像に対する範囲設定操作に基づいて設定された共通の範囲の前記第1部分が切り出された複数の前記第1画像と、前記一の教師用X線画像に対する範囲設定操作に基づいて設定された共通の範囲の前記第2部分が切り出された複数の前記第2画像とを取得する、請求項1または2に記載のX線撮影システム。
【請求項11】
規則性を有する状態で配置された検査対象物に対してX線を照射することによって生成されたX線画像に対応する教師用X線画像から、第1部分が切り出された第1画像と、前記第1部分とは異なる第2部分が切り出された第2画像とを取得するステップと、
前記第1画像および前記第2画像の各々における前記検査対象物の領域、および、前記検査対象物に含まれる異常部分の領域の少なくとも一方を識別するための識別情報を取得するステップと、
前記第1画像および前記第2画像に基づく入力教師データと、前記識別情報に基づく出力教師データとを用いて、前記X線画像の解析を行うための学習済みモデルを生成する機械学習を行うステップと、を含む、学習済みモデル生成方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、X線撮影システム、および、学習済みモデル生成方法に関し、特に、学習済みモデルを生成するX線撮影システム、および、学習済みモデル生成方法に関する。
【背景技術】
【0002】
従来、学習済みモデルを生成する装置が知られている(たとえば、特許文献1参照)。
【0003】
上記特許文献1には、解析対象画像における解析対象物の領域または位置を推定する推定処理を行う装置(画像解析装置)が開示されている。上記特許文献1では、この推定処理において、機械学習を用いた画像解析が用いられる。上記特許文献1に記載の画像解析装置は、解析対象画像と解析対象画像に対応するラベル画像とを用いて機械学習を行うことによって、学習済みモデルを作成する。そして、作成された学習済みモデルを用いて解析処理が実行される。上記特許文献1に記載の画像解析装置は、元となる解析対象画像の全体に二値化処理の加工を行うことによって、画像中の解析対象物の境界部分を数値化するとともに、数値化された加工済みの画像を合成することによってラベル画像を取得する。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
ここで、上記特許文献1には記載されていないが、機械学習に用いられる教師データ(ラベル画像)を作成するために作業者(操作者)が元となる画像(解析対象画像)に対して手動で領域を選択する作業を行って加工を行う場合がある。その場合に、上記特許文献1に記載の画像解析装置のように、教師データを作成するために元となる複数の画像の全体に対して手動で加工を行う場合には、教師データの作成作業が操作者にとって負担となる。そのため、解析対象物(検査対象物)の領域、および、検査対象物に含まれる異常部分の領域の少なくとも一方を識別するための学習済みモデルを生成する場合に、教師データの作成作業における操作者の作業負担を軽減することが望まれている。
【0006】
この発明は、上記のような課題を解決するためになされたものであり、この発明の1つの目的は、検査対象物の領域、および、検査対象物に含まれる異常部分の領域の少なくとも一方を識別するための学習済みモデルを生成する場合に、教師データの作成作業における操作者の作業負担を軽減することが可能なX線撮影システム、および、学習済みモデル生成方法を提供することである。
【課題を解決するための手段】
【0007】
上記目的を達成するために、この発明の第1の局面におけるX線撮影システムは、規則性を有する状態で配置された検査対象物に対してX線を照射するX線照射部と、X線照射部から照射されたX線を検出するX線検出部と、X線検出部により検出されたX線に基づいてX線画像を生成する画像生成部と、画像生成部により生成されたX線画像の解析を行うための学習済みモデルを生成するモデル生成部と、を備え、モデル生成部は、規則性を有する状態で配置された検査対象物を含む教師用X線画像から、第1部分が切り出された第1画像と、第1部分とは異なる第2部分が切り出された第2画像とを取得する切出画像取得部と、第1画像および第2画像の各々における検査対象物の領域、および、検査対象物に含まれる異常部分の領域の少なくとも一方を識別するための識別情報を取得する識別情報取得部と、第1画像および第2画像に基づく入力教師データと、識別情報に基づく出力教師データとを用いて、学習済みモデルを生成する機械学習を行う学習部と、を含む。
【0008】
この発明の第2の局面における学習済みモデル生成方法は、規則性を有する状態で配置された検査対象物に対してX線を照射することによって生成されたX線画像に対応する教師用X線画像から、第1部分が切り出された第1画像と、第1部分とは異なる第2部分が切り出された第2画像とを取得するステップと、第1画像および第2画像の各々における検査対象物の領域、および、検査対象物に含まれる異常部分の領域の少なくとも一方を識別するための識別情報を取得するステップと、第1画像および第2画像に基づく入力教師データと、識別情報に基づく出力教師データとを用いて、X線画像の解析を行うための学習済みモデルを生成する機械学習を行うステップと、を含む。
【発明の効果】
【0009】
上記第1の局面におけるX線撮影システム、および、上記第2の局面における学習済みモデル生成方法では、規則性を有する状態で配置された検査対象物を含む教師用X線画像から、第1部分が切り出された第1画像と、第1部分とは異なる第2部分が切り出された第2画像とを取得する。そして、第1画像および第2画像の各々における検査対象物の領域、および、検査対象物に含まれる異常部分の領域の少なくとも一方を識別するための識別情報を取得する。これにより、教師用X線画像の第1部分が切り出された第1画像と第2部分が切り出された第2画像との各々における領域を識別するための識別情報を取得することによって、教師用X線画像の全体に対応する識別情報を取得する場合に比べて、識別情報を取得するための操作者の作業負担を軽減することができる。その結果、機械学習を行うための出力教師データを取得するための作業負担を軽減することができるので、検査対象物の領域、および、検査対象物に含まれる異常部分の領域の少なくとも一方を識別するための学習済みモデルを生成する場合に、教師データの作成作業における操作者の作業負担を軽減することができる。また、X線撮影において点光源からX線が照射される場合には、生成されるX線画像において、X線の照射中心における像と、照射中心から離間した周縁部分における像とは、互いに異なる角度方向から入射したX線の像となる。これに対して、本発明では、規則性を有する状態で配置された検査対象物を含む教師用X線画像から、第1部分が切り出された第1画像と、第1部分とは異なる第2部分が切り出された第2画像とを取得する。これにより、教師用X線画像における検査対象物が規則性を有する状態で配置されているので、第1画像および第2画像における検査対象物の像を、共通の配置関係を有する構造に対する投影像とすることができる。そのため、第1画像および第2画像を取得することによって、教師用X線画像のうちから、共通の配置関係を有する構造に対して互いに異なる角度方向から入射したX線の像を含む第1部分と第2部分とを切り出すことができる。そのため、教師用X線画像の全体ではなく一部を切り出した画像を用いる場合にも、教師用X線画像の全体の投影像を反映するように教師データを取得することができるため、機械学習により生成される学習済みモデルによる識別結果の精度が低下することを抑制することができる。その結果、教師用X線画像から切り出された第1画像と第2画像とを用いることによって、識別結果の精度が低下することを抑制しながら、学習済みモデルを生成するための教師データの作成作業における操作者の作業負担を軽減することができる。
【図面の簡単な説明】
【0010】
【
図1】本発明の一実施形態によるX線撮影システムの全体構成を示したブロック図である。
【
図2】はんだボールを含む被検体の構成を示した模式図である。
【
図4】制御部の機能的な構成を説明するためのブロック図である。
【
図5】学習済みモデルを用いた推論を説明するための図である。
【
図6】学習済みモデルを用いた推論により出力される識別結果画像の一例を示した図である。
【
図7】教師用X線画像における対象領域の設定を説明するための図である。
【
図8】教師用X線画像における中心画像および端画像を取得するための範囲設定を説明するための図である。
【
図9】教師用X線画像における背景部分の範囲設定を説明するための図である。
【
図10】中心画像、端画像、および、背景画像の各々に対応する識別画像の取得を説明するための図である。
【
図11】中心画像、端画像、および、背景画像に基づく入力教師データの生成を説明するための図である。
【
図12】識別画像に基づく出力教師データの生成を説明するための図である。
【
図13】学習済みモデルを用いたX線画像解析方法を説明するための図(フローチャート)である。
【
図14】学習済みモデル生成方法を説明するための図(フローチャート)である。
【発明を実施するための形態】
【0011】
以下、本発明を具体化した実施形態を図面に基づいて説明する。
【0012】
(X線撮影システムの全体構成)
図1~
図12を参照して、本発明の一実施形態によるX線撮影システム100について説明する。
【0013】
図1に示すように、本実施形態によるX線撮影システム100は、被検体101を通過したX線を検出することによって、被検体101の内部を画像化するシステムである。X線撮影システム100は、たとえば、非破壊検査用途において物体としての被検体101の内部の画像化に用いられる。
【0014】
図2に示すように、被検体101は、基板102を含む電子機器である。基板102には、電子部品103が両面実装されている。電子部品103は、複数のはんだボール104(バンプ)によって基板102に対して電気的に接続されている。複数のはんだボール104は、規則性を有する状態で配置されている。具体的には、複数のはんだボール104は、規則性を有するように基板102に格子状に並べて配置されている。すなわち、電子部品103は、BGA(Ball Grid Array)によって基板102に接続されている。そして、基板102の表面と裏面との各々に複数のはんだボール104が並んで配置されている。たとえば、被検体101では、基板102の表面と裏面との各々において、縦3列および横13列の39個のはんだボール104が格子状に並んで配置されている。基板102の表面の複数のはんだボール104の各々と裏面の複数のはんだボール104の各々とは、基板102の表面に垂直な方向から見て互いに重なり合うように配置されている。電子部品103は、たとえば、IC(integrated circuit:集積回路)などの電子回路を含む。X線撮影システム100では、複数のはんだボール104のボイド(空孔)およびブリッジなどの異常に対する非破壊検査が行われる。また、基板102には、電子部品103の他に、表面実装された抵抗器またはコンデンサなどの電子部品105が実装されている。なお、複数のはんだボール104は、特許請求の範囲における「検査対象物」および「複数のはんだ材」の一例である。
【0015】
図1に示すように、X線撮影システム100は、透視装置10と、解析装置20とを備える。透視装置10は、被検体101に対してX線撮影を行うことにより、X線画像30(
図3参照)を生成する。解析装置20は、生成されたX線画像30に対して解析処理を行う。透視装置10および解析装置20の各々は、通信モジュールを有しており、ネットワークなどを介して互いに情報の送受信を行う。
【0016】
透視装置10は、X線照射部11、X線検出部12、および、画像生成部13を備えている。X線照射部11は、複数のはんだボール104を含む被検体101に対してX線を照射する。X線照射部11は、図示しない電源装置から電力が供給されることによりX線を照射するX線管を含む。X線検出部12は、X線照射部11から照射されたX線を検出する。X線検出部12は、検出したX線に応じた電気信号を出力する。X線検出部12は、たとえば、X線の検出器であるFPD(Flat Panel Detector)を含む。X線照射部11およびX線検出部12は、透視装置10の図示しない筐体の内部に配置されている。
【0017】
図3に示すように、画像生成部13は、X線検出部12により検出されたX線に基づいてX線画像30を生成する。画像生成部13は、CPU(Central Processing Unit)などのプロセッサと、情報を記憶する記憶装置とを含むコンピュータである。画像生成部13は、透視装置10の各部の動作を制御する。画像生成部13は、たとえば、図示しない電源装置を制御することによってX線照射部11によるX線の照射を制御する。そして、画像生成部13は、生成されたX線画像30を解析装置20に対して出力する。
【0018】
X線画像30には、規則性を有するように格子状に配置された複数のはんだボール104が含まれている。X線画像30では、被検体101において、基板102の両面に複数のはんだボール104が設けられているため、はんだボール104が重なり合う部分が含まれている。なお、X線照射部11は、点光源であるため、X線画像30の照射中心とX線画像30の端部分とでは、はんだボール104の重なり合いの度合いが互いに異なる。
【0019】
図1に示すように、解析装置20は、制御部21および記憶部22を有している。解析装置20は、たとえば、透視装置10と通信可能に接続されたパーソナルコンピュータである。制御部21は、CPU、ROM(Read Only Memory)およびRAM(Random Access Memory)などを含む。また、制御部21は、GPU(Graphics Processing Unit)や画像処理用に構成されたFPGA(Field-Programmable Gate Array)などのプロセッサを含んでいてもよい。なお、制御部21は、特許請求の範囲における「モデル生成部」の一例である。
【0020】
記憶部22は、制御部21が実行する各種プログラム、および、パラメータを記憶するように構成されている。記憶部22は、たとえば、HDD(Hard Disk Drive)、または、SSD(Solid State Drive)などの不揮発性のメモリを含む。
【0021】
また、解析装置20には、表示部23および操作部24が接続されている。表示部23は、たとえば、液晶モニタを含む。表示部23は、制御部21による制御により画像および文字情報を表示する。操作部24は、操作者による入力操作を受け付ける。操作部24は、たとえば、キーボード、および、マウスなどのポインティングデバイスを含む。操作部24は、受け付けられた入力操作に基づく操作信号を制御部21に対して出力する。
【0022】
また、
図4に示すように、制御部21は、解析処理部41、表示処理部42、切出画像取得部43、識別情報取得部44、教師データ生成部45、および、学習部46を含む。制御部21は、記憶部22に記憶されている各種のプログラム(ソフトウェア)を実行することにより、解析処理部41、表示処理部42、切出画像取得部43、識別情報取得部44、教師データ生成部45、および、学習部46として機能する。すなわち、
図4では、解析処理部41、表示処理部42、切出画像取得部43、識別情報取得部44、教師データ生成部45、および、学習部46は、ソフトウェア的な機能ブロックとして図示されている。なお、これに限られずに、解析処理部41、表示処理部42、切出画像取得部43、識別情報取得部44、教師データ生成部45、および、学習部46の一部または全部が、専用のハードウェア的な回路により構成されていてもよい。
【0023】
(解析装置によるX線画像の解析)
図5に示すように、解析処理部41は、学習済みモデル50を用いることによってX線画像30の解析を行う。具体的には、解析装置20は、はんだボール104の領域を識別するための学習済みモデル50を用いることによって、学習済みモデル50による識別結果(推論結果)として、X線画像30から識別結果画像31を取得する。学習済みモデル50は、解析装置20の制御部21により生成されて記憶部22に記憶されている。学習済みモデル50の生成の詳細は後述する。
【0024】
図6に示すように、識別結果画像31は、X線画像30のうちの基板102の両面のはんだボール104の各々が互いに重なり合っている部分と、重なり合わずに1つのはんだボール104のみが含まれる部分と、はんだボール104が含まれていない部分との3種類の領域に識別されたラベル画像である。識別結果画像31では、はんだボール104の各々が互いに重なり合っている部分が灰色、重なり合わずに1つのはんだボール104のみが含まれる部分が白色、そして、はんだボール104が含まれていない部分が黒色に塗り分けられている。なお、
図6では、灰色をハッチングによって表している。
【0025】
そして、解析処理部41は、識別結果画像31において識別されている領域に基づいて、X線画像30に含まれるはんだボール104の異常の有無を判定する。解析処理部41は、たとえば、識別結果画像31に基づいて、X線画像30における複数のはんだボール104の各々の領域を検出することによって、複数のはんだボール104の各々の面積および形状を検出する。そして、解析処理部41は、検出された複数のはんだボール104の各々の面積および形状に基づいて、複数のはんだボール104の各々において、ボイド(空孔)、濡れ不良、ブリッジ、および、スパッタなどの異常の有無を判定する。
【0026】
表示処理部42は、表示部23における画像および文字情報の表示を制御する。表示処理部42は、たとえば、X線画像30、および、後述する教師用X線画像60(
図7参照)を表示部23に表示させる。また、表示処理部42は、解析処理部41による解析結果として、X線画像30のうちの異常が生じていると判定された部分を識別可能に表示部23に表示させてもよい。
【0027】
〈学習済みモデルの生成〉
図5に示すように、本実施形態では、制御部21は、画像生成部13により生成されたX線画像30の解析を行うための学習済みモデル50を生成する。学習済みモデル50は、入力教師データ30tと出力教師データ31tとをデータセットとした機械学習によって生成される。入力教師データ30tは、教師用X線画像60(
図7参照)に基づいて生成される。教師用X線画像60は、解析が行われるX線画像30と同様に、透視装置10により生成される。
【0028】
たとえば、X線撮影システム100では、複数のはんだボール104を含む構成が共通している複数の被検体101の検査が行われる。そこで、X線撮影システム100では、複数の被検体101のうちのいくつかの被検体101に対してX線を照射することにより生成された複数のX線画像30が、複数の教師用X線画像60として取得される。そして、取得された複数の教師用X線画像60に基づいて、学習済みモデル50が生成される。学習済みモデル50を用いたはんだボール104の異常の有無の判定は、複数の被検体101のうちの残りの被検体101に対してX線を照射することにより生成されたX線画像30に対して行われる。すなわち、解析が行われるX線画像30と、学習済みモデル50を生成するための教師用X線画像60とは、互いに共通の構造を有する被検体101(はんだボール104)を含む画像である。
【0029】
図7に示すように、切出画像取得部43は、学習済みモデル50を生成するために取得された教師用X線画像60のうちから複数のはんだボール104が含まれる対象領域60aを設定する。具体的には、操作部24が、教師用X線画像60から対象領域60aを設定する領域設定操作を受け付ける。操作者(作業者)は、表示処理部42により表示部23に表示された教師用X線画像60の全体を視認しながら、操作部24に対して対象領域60aを設定するための領域設定操作を行う。切出画像取得部43は、操作部24により受け付けられた領域設定操作によって設定された教師用X線画像60における対象領域60aを取得する。この時に、設定される対象領域60aの範囲を示す表示として、対象領域60aの範囲を囲むように、教師用X線画像60に重畳された点線の枠が表示部23に表示される。
【0030】
そして、
図8に示すように、切出画像取得部43は、操作部24に対する入力操作に基づいて、規則性を有する状態で配置された複数のはんだボール104を含む教師用X線画像60から、対象領域60aの中心部分を含む部分60bが切り出された中心画像61b(
図10参照)と、対象領域60aの部分60bとは異なる端部分を含む部分60cおよび部分60dが切り出された2つの端画像61cおよび端画像61d(
図10参照)とを取得する。なお、部分60bは、特許請求の範囲における「第1部分」の一例である。また、部分60cおよび部分60dは、特許請求の範囲における「第2部分」の一例である。また、中心画像61bは、特許請求の範囲における「第1画像」の一例である。また、端画像61cおよび端画像61dは、特許請求の範囲における「第2画像」の一例である。
【0031】
詳細には、切出画像取得部43は、操作部24により受け付けられた領域設定操作によって設定された教師用X線画像60における対象領域60aに基づいて、教師用X線画像60のうちから中心画像61bの切り出し範囲である部分60bの範囲と、端画像61cおよび端画像61dの切り出し範囲である部分60cの範囲および部分60dの範囲を自動的に設定する。たとえば、切出画像取得部43は、設定された対象領域60aにおける中心位置から、縦の大きさが対象領域60aの120%であって、横の大きさが、対象領域60aの30%である領域を、部分60bの範囲として設定する。また、切出画像取得部43は、縦の大きさが対象領域60aの120%であって、横の大きさが、対象領域60aの左の端から対象領域60aの10%分である領域を部分60cの範囲として設定する。また、切出画像取得部43は、縦の大きさが対象領域60aの120%であって、横の大きさが、対象領域60aの右の端から対象領域60aの10%分である領域を部分60dの範囲として設定する。切出画像取得部43は、部分60cおよび部分60dの大きさを互いに等しい大きさとする。たとえば、部分60b、部分60c、および、部分60dの各々の範囲の大きさ(対象領域60aに対する割合)は、予め設定されている。
【0032】
そして、表示処理部42の制御により、表示部23は、教師用X線画像60から切り出される部分60bの範囲を示す表示と、部分60cおよび部分60dの範囲を示す表示とを視認可能に表示する。たとえば、部分60b、部分60c、および、部分60dの各々の範囲を示す表示として、対象領域60aと同様に、教師用X線画像60に重畳された点線の枠が表示部23に表示される。また、切出画像取得部43は、操作部24により受け付けられた部分60bの範囲と、部分60cおよび部分60dの範囲との各々を変更させる入力操作に基づいて、教師用X線画像60から切り出される部分60bの範囲と、部分60cおよび部分60dの範囲とを設定する。すなわち、切出画像取得部43は、予め設定された部分60bの範囲と、部分60cおよび部分60dの範囲を変更可能に構成されている。たとえば、操作部24は、部分60b、部分60c、および、部分60dの各々の範囲を示す表示が教師用X線画像60と共に表示部23に表示されている状態において、部分60b、部分60c、および、部分60dの各々の範囲を設定(変更)する範囲設定操作を受け付ける。範囲の設定が変更された場合には、表示処理部42により変更された範囲が視認可能に表示部23に表示される。
【0033】
ここで、切出画像取得部43は、操作部24により受け付けられた部分60bの範囲と、部分60cおよび部分60dの範囲との各々を変更する入力操作(範囲設定操作)に基づいて、所定のしきい値以上の大きさを有するように部分60bの範囲と、部分60cおよび部分60dの範囲とを設定する。所定のしきい値は、予め記憶部22に記憶されている。たとえば、中心画像61bの範囲である部分60bの範囲において、横の大きさが対象領域60aの20%以上となるように所定のしきい値が設定されている。また、端画像61cおよび端画像61dの範囲である部分60cおよび部分60dの範囲において、横の大きさが対象領域60aの10%以上となるように所定のしきい値が設定されている。また、部分60b、部分60c、および部分60dの範囲の各々において、縦の大きさが対象領域60aの120%以上となるように所定のしきい値が設定されている。すなわち、切出画像取得部43は、切り出される中心画像61bと、端画像61cおよび端画像61dとが、所定の大きさよりも小さくならないように構成されている。
【0034】
たとえば、部分60b、部分60c、および、部分60dの範囲の各々において、横の大きさの所定のしきい値は、部分60b、部分60c、および、部分60dにおけるはんだボール104の少なくとも1つ分の大きさよりも大きい。すなわち、部分60b、部分60c、および部分60dの横の大きさは、規則性を有する状態で配置された複数のはんだボール104における規則性の周期のうち、少なくとも1周期分よりは大きくなるように設定されている。
【0035】
また、
図9に示すように、切出画像取得部43は、部分60b、部分60c、および、部分60dの範囲の設定が行われた後に、操作部24により受け付けられた入力操作に基づいて、教師用X線画像60からはんだボール104が含まれない背景部分60eが切り出された背景画像61e(
図10参照)の範囲を設定する。たとえば、操作部24は、表示処理部42により教師用X線画像60の全体が表示されている状態で、背景部分60eの範囲を設定する範囲選択操作を受け付ける。この時、表示された教師用X線画像60において、すでに設定されている部分60b、部分60c、および、部分60dの各々の範囲が識別可能に表示されている。たとえば、部分60b、部分60c、および、部分60dの各々の範囲は、灰色で塗りつぶされている。そして、設定された背景部分60eの範囲を示す表示として、背景部分60eの範囲を囲むように、教師用X線画像60に重畳された点線の枠が表示部23に表示される。背景部分60eには、はんだボール104が含まれず、たとえば、基板102、および、電子部品105などが含まれる。
【0036】
切出画像取得部43は、教師用X線画像60から、上記の範囲設定操作に基づいて、設定された範囲の部分60bが切り出された中心画像61bと、設定された範囲の部分60cおよび部分60dが切り出された端画像61cおよび端画像61dと、設定された範囲の背景部分60eが切り出された背景画像61eとを取得する。
【0037】
なお、本実施形態では、複数の教師用X線画像60の各々から中心画像61b、端画像61c、端画像61d、および、背景画像61eを取得する場合に、複数の教師用X線画像60の各々における共通の範囲の中心画像61b、端画像61c、端画像61d、および、背景画像61eを取得する。具体的には、操作部24は、複数の教師用X線画像60のうちの一の教師用X線画像60における部分60bの範囲と、部分60cおよび部分60dの範囲と、背景部分60eの範囲とを設定する範囲設定操作を受け付ける。そして、切出画像取得部43は、複数の教師用X線画像60の各々から、一の教師用X線画像60に対する範囲設定操作に基づいて設定された共通の範囲の部分60bが切り出された複数の中心画像61bと、一の教師用X線画像60に対する範囲設定操作に基づいて設定された共通の範囲の部分60cおよび部分60dが切り出された複数の端画像61cおよび端画像61dと、一の教師用X線画像60に対する範囲設定操作に基づいて設定された共通の範囲の背景部分60eが切り出された複数の背景画像61eとを取得する。
【0038】
図10に示すように、識別情報取得部44は、操作部24に対する入力操作に基づいて、中心画像61b、端画像61c、端画像61d、および、背景画像61eの各々におけるはんだボール104の領域を識別するための識別情報を取得する。具体的には、識別情報取得部44は、操作部24に対する入力操作に基づいて、中心画像61bと、端画像61cおよび端画像61dと、背景画像61eとの各々におけるはんだボール104の領域が識別された識別画像62bと、識別画像62cおよび識別画像62dと、識別画像62eとを識別情報として取得する。
【0039】
詳細には、表示処理部42は、切出画像取得部43により取得された中心画像61b、端画像61c、端画像61d、および、背景画像61eの各々を表示部23に表示させる。そして、操作者(作業者)は、表示された中心画像61b、端画像61c、端画像61d、および、背景画像61eの各々を視認しながら、中心画像61b、端画像61c、端画像61d、および、背景画像61eの各々に含まれるはんだボール104に対応する部分を色分け(ラベル付け)する。たとえば、操作者によって、中心画像61b、端画像61c、端画像61d、および、背景画像61eの各々において、基板102の両面のはんだボール104の各々が互いに重なり合っている部分を灰色、重なり合わずに1つのはんだボール104のみが含まれる部分を白色、そして、はんだボール104が含まれていない部分を黒色に塗り分けられる操作が行われることによって、識別情報取得部44は、識別画像62b~62eを取得する。なお、背景画像61eには、はんだボール104が含まれていないため、自動的に全体が黒色の識別画像62eが取得されるようにしてもよい。
【0040】
図11に示すように、教師データ生成部45は、切出画像取得部43により取得された中心画像61bと、端画像61cおよび端画像61dと、背景画像61eとに基づいて、複数の入力教師データ30tを生成する。具体的には、教師データ生成部45は、複製された複数の中心画像61b同士を反転させながら並べて配置することと、複製された複数の端画像61c同士および端画像61d同士を反転させながら並べて配置することとの少なくとも一方によって、複数の入力教師データ30tを共通の大きさにするように構成されている。なお、教師データ生成部45は、背景画像61eに基づいて入力教師データ30tを生成する場合にも、複製された複数の背景画像61e同士を反転させながら並べて配置することによって、共通の大きさの入力教師データ30tを生成する。
【0041】
たとえば、教師データ生成部45は、切出画像取得部43により取得された中心画像61bと、端画像61cおよび端画像61dと、背景画像61eとのうちから、縦の大きさが最も大きい画像の縦の大きさを入力教師データ30tの縦の大きさとして取得する。そして、教師データ生成部45は、切出画像取得部43により取得された中心画像61bと、端画像61cおよび端画像61dと、背景画像61eとのうちから、横の大きさが最も大きい画像の横の大きさを入力教師データ30tの横の大きさとして取得する。
【0042】
そして、教師データ生成部45は、取得された入力教師データ30tの縦と横との大きさとなるように、中心画像61bと、端画像61cおよび端画像61dと、背景画像61eとの各々を複製するとともに反転させながら並べて配置する。
図11の例では、中心画像61bと、端画像61cおよび端画像61dと、背景画像61eとにおいて、中心画像61bの縦の大きさと横の大きさとが最も大きい。したがって、入力教師データ30tの大きさは中心画像61bの大きさとなる。そして、教師データ生成部45は、端画像61c、端画像61d、および、背景画像61eの各々の大きさを中心画像61bの大きさと共通に(等しく)する。この時に、教師データ生成部45は、端画像61c、端画像61d、および、背景画像61eの各々の大きさの横の大きさを大きくする場合には、端画像61c、端画像61d、および、背景画像61eの各々の左右に、それぞれ、複製されて左右反転された端画像61c、端画像61d、および、背景画像61eの各々を並べて配置する。たとえば、左右の大きさの差が整数倍ではない場合には、画像の左右の両側に途中で途切れた状態の複製された画像が並べられる。また、複数回に渡って複製された画像を並べて配置する場合には、隣り合う画像同士が反転した状態となるように画像が配置される。すなわち、反転していない端画像61c、端画像61d、および、背景画像61eの各々同士と、反転された端画像61c、端画像61d、および、背景画像61eの各々同士とが、交互に並べて配置される。なお、教師データ生成部45は、縦方向(上下方向)の大きさを大きくする場合にも同様に、画像を複製するとともに反転させながら並べて配置する。
【0043】
また、
図12に示すように、教師データ生成部45は、識別画像62b、識別画像62c、識別画像62d、および、識別画像62eに基づいて、複数の出力教師データ31tを生成する。教師データ生成部45は、入力教師データ30tの取得と同様の処理を、識別画像62b~62eに対して実行する。すなわち、教師データ生成部45は、識別画像62b~62eの各々に対応する中心画像61b、端画像61c、端画像61d、および、背景画像61eと同様に、複製された複数の識別画像62b~62eの各々同士を反転させながら並べて配置することによって、共通の大きさの複数の出力教師データ31tを生成する。なお、背景画像61eに対応する識別画像62eは、全体が黒く塗りつぶされた画像であるため、上記のように反転させて並べる処理を行わずに、出力教師データ31tの大きさを取得することによって、全体が黒く塗りつぶされた出力教師データ31tを取得するようにしてもよい。このようにして、教師データ生成部45は、共通の大きさを有する画像である複数の入力教師データ30tおよび複数の出力教師データ31tを生成する。
【0044】
図5に示すように、学習部46は、中心画像61bと、端画像61cおよび端画像61dと、背景画像61eとに基づく入力教師データ30tと、中心画像61bと、端画像61cおよび端画像61dと、背景画像61eとの各々に対応する識別画像62bと、識別画像62cと、識別画像62dと、識別画像62eとに基づく出力教師データ31tとを用いて、学習済みモデル50を生成する機械学習を行う。すなわち、学習部46は、教師データ生成部45により生成された複数の入力教師データ30tおよび複数の出力教師データ31tをデータセットとして学習済みモデル50を生成する機械学習を行う。学習済みモデル50は、深層学習を用いた機械学習によって生成される。学習部46は、たとえば、全層畳み込みネットワーク(Fully Convolution Network:FCN)の1種類であるU-Netをベースとした機械学習によって学習済みモデル50を生成する。学習済みモデル50は、入力である中心画像61bと、端画像61cおよび端画像61dと、背景画像61eとの各々における各画素に対して、はんだボール104の各々が互いに重なり合っている部分を灰色、重なり合わずに1つのはんだボール104のみが含まれる部分を白色、そして、はんだボール104が含まれていない部分を黒色に塗り分ける画像変換(画像再構成)を実行するように学習させることによって生成される。
【0045】
(本実施形態によるX線画像解析方法)
次に、
図13を参照して、本実施形態によるX線画像解析方法について説明する。なお、ステップ201~ステップ204における制御処理は、制御部21によりプログラムが実行されることにより行われる。
【0046】
まず、ステップ201において、学習済みモデル50を生成するための複数の教師用X線画像60が取得される。次に、ステップ202において、複数の教師用X線画像60に基づいて、学習済みモデル50が生成される。生成された学習済みモデル50は、記憶部22に記憶される。次に、ステップ203において、解析の対象となる複数のX線画像30が取得される。解析の対象となる複数のX線画像30は、検査の対象となる複数の被検体101の各々に対してX線撮影が行われることにより生成される。次に、ステップ204において、取得された複数のX線画像30に対して、ステップ202において生成された学習済みモデル50を用いた解析が実行される。学習済みモデル50を用いた解析では、解析の対象である複数のX線画像30から、複数の識別結果画像31が取得される。そして、取得された複数の識別結果画像31に基づいて、被検体101に含まれる複数のはんだボール104の異常の有無の判定が行われる。なお、ステップ201における複数の教師用X線画像60の取得と、ステップ203における複数のX線画像30の取得とは、いずれのステップを先に行うようにしてもよい。また、取得された複数のX線画像30のうちから複数の教師用X線画像60を取得するようにしてもよい。
【0047】
(学習済みモデル生成方法)
次に、
図14を参照して、本実施形態による学習済みモデル生成方法について説明する。なお、ステップ301~ステップ309における制御処理は、
図13のステップ202における学習済みモデル50の生成の制御処理を示している。また、ステップ301~ステップ309における制御処理は、制御部21によりプログラムが実行されることにより行われる。
【0048】
まず、ステップ301において、取得された複数の教師用X線画像60のうちの一の教師用X線画像60において対象領域60aが設定される。対象領域60aは、操作部24に対する入力操作である領域設定操作によって設定される。
【0049】
次に、ステップ302において、設定された対象領域60aに基づいて、一の教師用X線画像60のうちから切り出される部分60b、部分60c、および、部分60dの各々の範囲が自動的に設定される。
【0050】
次に、ステップ303において、部分60b、部分60c、および、部分60dの各々の範囲を変更(設定)する入力操作である範囲設定操作が受け付けられたか否かが判断される。範囲設定操作が受け付けられたと判断された場合には、ステップ304に進む。範囲設定操作が受け付けられないと判断された場合には、ステップ305に進む。
【0051】
ステップ304では、範囲設定操作に基づいて、部分60b、部分60c、および、部分60dの各々の範囲が新たに設定される。このとき、部分60b、部分60c、および、部分60dの各々の範囲は、所定のしきい値以上の大きさとなるように設定される。すなわち、所定のしきい値よりも小さい範囲を設定する操作は受け付けられない。そして、ステップ305に進む。
【0052】
ステップ305では、操作部24に対する入力操作に基づいて、背景部分60eが設定される。なお、ステップ305における背景部分60eの設定は省略してもよい。
【0053】
次に、ステップ306において、中心画像61bと、端画像61cおよび端画像61dと、背景画像61eとが取得される。具体的には、規則性を有する状態で配置された複数のはんだボール104に対してX線を照射することによって生成されたX線画像30に対応する教師用X線画像60から、部分60bが切り出された中心画像61bと、部分60bとは異なる部分60cおよび部分60dが切り出された端画像61cおよび端画像61dと、背景部分60eが切り出された背景画像61eとが取得される。また、ステップ302またはステップ304において設定された部分60b、部分60c、および、部分60dの各々の範囲と、ステップ305において、設定された背景部分60eに基づいて、複数の教師用X線画像60の各々から、一括して共通の範囲の中心画像61bと、端画像61cおよび端画像61dと、背景画像61eとが取得される。
【0054】
次に、ステップ307において、操作部24に対する入力操作に基づいて、中心画像61bと、端画像61cと、端画像61dと、背景画像61eとの各々におけるはんだボール104の領域を識別するための識別情報が取得される。具体的には、操作部24に対する入力操作に基づいて、中心画像61bと、端画像61cと、端画像61dと、背景画像61eとの各々に対応する識別画像62bと、識別画像62cと、識別画像62dと、識別画像62eとが取得される。
【0055】
次に、ステップ308において、入力教師データ30tおよび出力教師データ31tが生成される。具体的には、ステップ306において取得された中心画像61bと、端画像61cと、端画像61dと、背景画像61eとに基づいて、中心画像61bと、端画像61cと、端画像61dと、背景画像61eとの各々同士を複製して反転しながら並べて配置することによって、共通の大きさの画像である複数の入力教師データ30tが生成される。また、ステップ307において取得された識別画像62bと、識別画像62cと、識別画像62dと、識別画像62eとに基づいて、識別画像62b~62eの各々同士を複製して反転しながら並べて配置することによって、共通の大きさの画像である複数の出力教師データ31tが生成される。
【0056】
次に、ステップ309において、学習済みモデル50を生成する機械学習が行われる。具体的には、ステップ308において中心画像61bと、端画像61cと、端画像61dと、背景画像61eとに基づいて生成された複数の入力教師データ30tと、ステップ308において識別画像62b~62eに基づいて生成された複数の出力教師データ31tとを用いることによって、X線画像30の解析を行うための学習済みモデル50を生成する深層学習による機械学習が実行される。
【0057】
(本実施形態の効果)
本実施形態では、以下のような効果を得ることができる。
【0058】
本実施形態では、上記のように、X線撮影システム100は、規則性を有する状態で配置されたはんだボール104(検査対象物)を含む教師用X線画像60から、部分60b(第1部分)が切り出された中心画像61b(第1画像)と、部分60bとは異なる部分60cおよび部分60d(第2部分)が切り出された端画像61cおよび端画像61d(第2画像)とを取得する。そして、中心画像61bと端画像61cおよび端画像61dとの各々におけるはんだボール104の領域を識別するための識別画像62b~62d(識別情報)を取得する。これにより、教師用X線画像60の部分60bが切り出された中心画像61bと部分60cおよび部分60dが切り出された端画像61cおよび端画像61dとの各々における領域を識別するための識別画像62b~62dを取得することによって、教師用X線画像60の全体に対応する識別画像62b~62dを取得する場合に比べて、識別画像62b~62dを取得するための操作者の作業負担を軽減することができる。その結果、機械学習を行うための出力教師データ31tを取得するための作業負担を軽減することができるので、はんだボール104の領域を識別するための学習済みモデル50を生成するための教師データの作成作業における操作者の作業負担を軽減することができる。また、X線撮影において点光源からX線が照射される場合には、生成されるX線画像30において、X線の照射中心における像と、照射中心から離間した周縁部分における像とは、互いに異なる角度方向から入射したX線の像となる。これに対して、本実施形態では、規則性を有する状態で配置されたはんだボール104を含む教師用X線画像60から、部分60bが切り出された中心画像61bと、部分60bとは異なる部分60cおよび部分60dが切り出された端画像61cおよび端画像61dとを取得する。これにより、教師用X線画像60におけるはんだボール104が規則性を有する状態で配置されているので、中心画像61bと端画像61cおよび端画像61dとにおけるはんだボール104の像を、共通の配置関係を有する構造に対する投影像とすることができる。そのため、中心画像61bと端画像61cおよび端画像61dとを取得することによって、教師用X線画像60のうちから、共通の配置関係を有する構造に対して互いに異なる角度方向から入射したX線の像を含む部分60bと部分60cおよび60dとを切り出すことができる。そのため、教師用X線画像60の全体ではなく一部を切り出した画像を用いる場合にも、教師用X線画像60の全体の投影像を反映するように教師データを取得することができるため、機械学習により生成される学習済みモデル50による識別結果の精度が低下することを抑制することができる。その結果、教師用X線画像60から切り出された中心画像61bと端画像61cおよび端画像61dとを用いることによって、識別結果の精度が低下することを抑制しながら、学習済みモデル50を生成するための教師データの作成作業における操作者の作業負担を軽減することができる。
【0059】
また、上記実施形態では、以下のように構成したことによって、更なる効果が得られる。
【0060】
すなわち、本実施形態では、上記のように、切出画像取得部43(制御部21)は、教師用X線画像60から、はんだボール104(検査対象物)が含まれる対象領域60aの中心部分を含む部分60b(第1部分)が切り出された中心画像61b(第1画像)と、対象領域60aの端部分を含む部分60cおよび部分60d(第2部分)が切り出された端画像61cおよび端画像61d(第2画像)とを取得する。ここで、X線撮影を行うことによってはんだボール104の非破壊検査を行う場合には、一般的に、はんだボール104の配置されている領域の中心の位置を照射中心としてX線の照射が行われる。その場合には、対象領域60aの中心部分と端部分との各々における像の差異が大きくなると考えられる。この点を考慮して、本実施形態では、教師用X線画像60から、対象領域60aの中心部分を含む部分60bが切り出された中心画像61bと、対象領域60aの端部分を含む部分60cおよび部分60dが切り出された端画像61cおよび端画像61dとを取得する。このように構成すれば、中心画像61bを取得することによって、X線の照射中心においてはんだボール104に対して投影される像を取得することができるとともに、端画像61cおよび端画像61dを取得することによって、教師用X線画像60において最も傾いた照射方向においてはんだボール104に投影されるX線の像を取得することができる。そのため、中心画像61bと、端画像61cおよび端画像61dとを用いることによって、教師用X線画像60の全体の投影像をより反映するように教師データを取得することができる。その結果、機械学習により生成される学習済みモデル50による識別結果の精度が低下することをより抑制することができる。
【0061】
また、本実施形態では、上記のように、X線照射部11は、規則性を有するように基板102に格子状に並べて配置された複数のはんだボール104(はんだ材、検査対象物)に対してX線を照射し、識別情報取得部44(制御部21)は、中心画像61b(第1画像)および端画像61cおよび端画像61d(第2画像)の各々におけるはんだボール104の領域が識別された識別画像62b~62dを識別情報として取得する。このように構成すれば、機械学習によって、規則性を有するように基板102に格子状に並べて配置されたはんだボール104の解析を行うための学習済みモデル50を生成する場合にも、学習済みモデル50の生成のための作業負担を軽減することができる。
【0062】
また、本実施形態では、上記のように、操作者による入力操作を受け付ける操作部24を備え、操作部24は、教師用X線画像60においてはんだボール104(検査対象物)が含まれる対象領域60aを設定する領域設定操作を受け付け、切出画像取得部43(制御部21)は、操作部24により受け付けられた領域設定操作によって設定された教師用X線画像60における対象領域60aに基づいて、教師用X線画像60のうちから部分60b(第1部分)の範囲と部分60cおよび部分60d(第2部分)の範囲とを自動的に設定する。このように構成すれば、教師用X線画像60において規則性を有する状態で配置されたはんだボール104を含むように対象領域60aを設定する領域設定操作を行うことによって、教師データにおいてはんだボール104の規則性を反映するように部分60bの範囲と部分60cおよび部分60dの範囲とを自動的に設定することができる。そのため、はんだボール104の規則性を考慮して部分60bの範囲と部分60cおよび部分60dの範囲とを設定するための作業負担を抑制することができる。その結果、学習済みモデル50を生成するための教師データの作成作業における操作者の作業負担をより軽減することができる。
【0063】
また、本実施形態では、上記のように、X線撮影システム100は、教師用X線画像60を表示する表示部23と、操作者による入力操作を受け付ける操作部24とを備え、表示部23は、教師用X線画像60から切り出される部分60b(第1部分)の範囲を示す表示と、部分60cおよび部分60d(第2部分)の範囲を示す表示とを視認可能に表示し、切出画像取得部43(制御部21)は、操作部24により受け付けられた入力操作に基づいて、教師用X線画像60から切り出される部分60bの範囲と、部分60cおよび部分60dの範囲とを設定する。このように構成すれば、操作者(作業者)は、表示部23に表示された部分60bの範囲を示す表示と、部分60cおよび部分60dの範囲を示す表示とを視覚的に認識しながら、部分60bの範囲と部分60cおよび部分60dの範囲とを設定することができる。そのため、操作者は、表示部23を視認することによって、はんだボール104(検査対象物)における規則性に応じて部分60bの範囲と部分60cおよび部分60dの範囲とを容易に設定することができる。その結果、教師用X線画像60からはんだボール104の規則性に応じて適切な部分が切り出された中心画像61bと端画像61cおよび端画像61dとに基づいて教師データを取得することができるので、一部を切り出した画像に基づく教師データを用いる場合にも、機械学習により生成される学習済みモデル50による識別結果の精度が低下することをより一層抑制することができる。
【0064】
また、本実施形態では、上記のように、切出画像取得部43(制御部21)は、操作部24により受け付けられた入力操作に基づいて、所定のしきい値以上の大きさを有するように部分60b(第1部分)の範囲と部分60cおよび部分60d(第2部分)の範囲とを設定する。このように構成すれば、切り出された部分60bの範囲と部分60cおよび部分60dの範囲とが小さくなりすぎることを抑制することができる。そのため、切り出された中心画像61bと、端画像61cおよび端画像61dとに基づく教師データを用いて学習する場合に、生成された学習済みモデル50による識別結果の精度が低下することを抑制することができる。その結果、入力操作に基づいて部分60bの範囲と部分60cおよび部分60dの範囲とを設定する場合に、機械学習により生成される学習済みモデル50による識別結果の精度が低下することを効果的に抑制することができる。
【0065】
また、本実施形態では、上記のように、制御部21(モデル生成部)は、切出画像取得部43により取得された中心画像61b(第1画像)と端画像61cおよび端画像61d(第2画像)とに基づいて、入力教師データ30tを生成する教師データ生成部45を含み、教師データ生成部45は、複製された複数の中心画像61b同士を並べて配置することと、複製された複数の端画像61cおよび端画像61dの各々同士を並べて配置することとの少なくとも一方によって、入力教師データ30tを共通の大きさにするように構成されている。このように構成すれば、互いに異なる部分が切り出された中心画像61bと端画像61cおよび端画像61dとに基づいて入力教師データ30tを生成する場合にも、入力教師データ30tの大きさを共通の大きさとすることができるので、生成される学習済みモデル50による識別結果の精度が低下することを抑制することができる。
【0066】
また、本実施形態では、上記のように、教師データ生成部45(制御部21)は、中心画像61b(第1画像)同士を反転させながら並べて配置することと、端画像61cおよび端画像61d(第2画像)同士を反転させながら並べて配置することとの少なくとも一方によって、入力教師データ30tを共通の大きさにするように構成されている。このように構成すれば、中心画像61b同士を反転させながら並べて配置することと、端画像61cおよび端画像61dの各々同士を反転させながら並べて配置することとの少なくとも一方によって、中心画像61b同士と、端画像61cおよび端画像61d同士との少なくとも一方を並べて配置する場合に、並べられた画像同士の境界を滑らかにすることができる。そのため、並べられた画像が不鮮明となることを抑制することができるので、入力教師データ30tを共通の大きさにする場合に、生成された学習済みモデル50による識別結果の精度が低下することをより抑制することができる。
【0067】
また、本実施形態では、上記のように、切出画像取得部43(制御部21)は、教師用X線画像60からはんだボール104(検査対象物)が含まれない背景部分60eが切り出された背景画像61eを取得し、学習部46(制御部21)は、中心画像61b(第1画像)および端画像61c、端画像61d(第2画像)と背景画像61eとに基づく入力教師データ30tを用いて学習済みモデル50を生成するための機械学習を行う。このように構成すれば、はんだボール104を含む対象領域60aの部分60bと部分60cおよび部分60dとに加えて、背景部分60eが切り出された背景画像61eを用いて機械学習を行うことができる。そのため、背景画像61eを用いずにはんだボール104が含まれる中心画像61bと端画像61cおよび端画像61dとだけを用いて機械学習を行う場合に比べて、背景画像61eを用いて機械学習を行うことによって、生成された学習済みモデル50による識別結果の精度を向上させることができる。
【0068】
また、本実施形態では、上記のように、操作者による入力操作を受け付ける操作部24を備え、操作部24は、複数の教師用X線画像60のうちの一の教師用X線画像60における部分60b(第1部分)の範囲と部分60cおよび部分60d(第2部分)の範囲とを設定する範囲設定操作を受け付け、切出画像取得部43(制御部21)は、複数の教師用X線画像60の各々から、一の教師用X線画像60に対する範囲設定操作に基づいて設定された共通の範囲の部分60bが切り出された複数の中心画像61b(第1画像)と、一の教師用X線画像60に対する範囲設定操作に基づいて設定された共通の範囲の部分60cおよび部分60d(第2部分)が切り出された複数の端画像61cおよび端画像61d(第2画像)とを取得する。このように構成すれば、複数の教師用X線画像60の各々から共通の範囲の部分60bと、共通の範囲の部分60cおよび部分60dとを切り出すことができるので、はんだボール104(検査対象物)の配置が共通している複数の教師用X線画像60を用いて機械学習を行う場合に、複数の中心画像61bと複数の端画像61cおよび端画像61dとを一括して切り出すことができる。そのため、複数の教師用X線画像60を用いて教師データを生成する場合に、教師データの作成作業における作業負担を軽減することができる。
【0069】
(本実施形態による学習済みモデル生成方法の効果)
本実施形態の学習済みモデル生成方法では、以下のような効果を得ることができる。
【0070】
本実施形態の学習済みモデル生成方法では、上記のように、規則性を有する状態で配置されたはんだボール104(検査対象物)を含む教師用X線画像60から、部分60b(第1部分)が切り出された中心画像61b(第1画像)と、部分60bとは異なる部分60cおよび部分60d(第2部分)が切り出された端画像61cおよび端画像61d(第2画像)とを取得する。そして、中心画像61bと端画像61cおよび端画像61dとの各々におけるはんだボール104の領域を識別するための識別画像62b~62d(識別情報)を取得する。これにより、教師用X線画像60の部分60bが切り出された中心画像61bと部分60cおよび部分60dが切り出された端画像61cおよび端画像61dとの各々における領域を識別するための識別画像62b~62dを取得することによって、教師用X線画像60の全体に対応する識別画像62b~62dを取得する場合に比べて、識別画像62b~62dを取得するための操作者の作業負担を軽減することができる。その結果、機械学習を行うための出力教師データ31tを取得するための作業負担を軽減することができるので、はんだボール104の領域を識別するための学習済みモデル50を生成するための教師データの作成作業における操作者の作業負担を軽減することが可能な学習済みモデル生成方法を提供することができる。また、X線撮影において点光源からX線が照射される場合には、生成されるX線画像30において、X線の照射中心における像と、照射中心から離間した周縁部分における像とは、互いに異なる角度方向から入射したX線の像となる。これに対して、本実施形態では、規則性を有する状態で配置されたはんだボール104を含む教師用X線画像60から、部分60bが切り出された中心画像61bと、部分60bとは異なる部分60cおよび部分60dが切り出された端画像61cおよび端画像61dとを取得する。これにより、教師用X線画像60におけるはんだボール104が規則性を有する状態で配置されているので、中心画像61bと端画像61cおよび端画像61dとにおけるはんだボール104の像を、共通の配置関係を有する構造に対する投影像とすることができる。そのため、中心画像61bと端画像61cおよび端画像61dとを取得することによって、教師用X線画像60のうちから、共通の配置関係を有する構造に対して互いに異なる角度方向から入射したX線の像を含む部分60bと部分60cおよび60dとを切り出すことができる。そのため、教師用X線画像60の全体ではなく一部を切り出した画像を用いる場合にも、教師用X線画像60の全体の投影像を反映するように教師データを取得することができるため、機械学習により生成される学習済みモデル50による識別結果の精度が低下することを抑制することができる。その結果、教師用X線画像60から切り出された中心画像61bと端画像61cおよび端画像61dとを用いることによって、識別結果の精度が低下することを抑制しながら、学習済みモデル50を生成するための教師データの作成作業における操作者の作業負担を軽減することが可能な学習済みモデル生成方法を提供することができる。
【0071】
[変形例]
なお、今回開示された実施形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した実施形態の説明ではなく特許請求の範囲によって示され、さらに特許請求の範囲と均等の意味および範囲内でのすべての変更(変形例)が含まれる。
【0072】
たとえば、上記実施形態では、対象領域60aの中心部分を含む部分60b(第1部分)が切り出された中心画像61b(第1画像)と、対象領域60aの端部分を含む部分60cおよび部分60d(第2部分)が切り出された端画像61cおよび端画像61d(第2画像)とに基づいて入力教師データ30tが生成される例を示したが、本発明はこれに限られない。本発明では、対象領域のうちの中心以外の部分から第1画像を取得するとともに、対象領域の端以外の部分から第2画像を取得することによって、入力教師データが生成されるようにしてもよい。
【0073】
また、上記実施形態では、領域設定操作により対象領域60aが設定されたことに基づいて、部分60b(第1部分)の範囲と部分60cおよび部分60d(第2部分)の範囲とが自動的に設定される例を示したが、本発明はこれに限られない。本発明では、第1部分の範囲と第2部分の範囲との各々が、入力操作に基づいて個別に直接的に設定されるようにしてもよい。
【0074】
また、上記実施形態では、入力操作に基づいて、部分60b(第1部分)の範囲と、部分60cおよび部分60d(第2部分)の範囲とが変更(設定)される例を示したが、本発明はこれに限られない。本発明では、第1部分の範囲と第2部分の範囲とのいずれか、または、両方を、変更させないようにしてもよい。すなわち、対象領域60aが設定された場合に、自動的に第1部分および第2部分の各々の範囲が設定されるとともに、第1画像および第2画像の切り出しが行われるようにしてもよい。
【0075】
また、上記実施形態では、入力教師データ30tを共通の大きさにするために、複製された画像を反転させながら並べる例を示したが、本発明はこれに限られない。本発明では、入力教師データを生成するために、画像を反転させずにそのまま並べるようにしてもよい。
【0076】
また、上記実施形態では、入力教師データ30tを生成するために背景部分60eを切り出した背景画像61eを取得する例を示したが、本発明はこれに限られない。本発明では、背景画像を用いずに入力教師データを生成してもよい。
【0077】
また、上記実施形態では、一の教師用X線画像60において設定された範囲に基づいて、複数の教師用X線画像60から共通の範囲の中心画像61b(第1画像)と端画像61cおよび端画像61d(第2画像)を取得する例を示したが、本発明はこれに限られない。本発明では、複数の教師用X線画像の各々において、互いに異なる範囲の第1画像と、互いに異なる範囲の第2画像とを取得するようにしてもよい。
【0078】
また、上記実施形態では、中心画像61b(第1画像)および端画像61cおよび端画像61d(第2画像)の各々におけるはんだボール104(検査対象物、はんだ材)の領域を識別するように学習された学習済みモデル50を生成する例を示したが、本発明はこれに限られない。本発明では、はんだボール(検査対象物、はんだ材)に含まれる異常部分の領域を識別する学習済みモデルを生成するようにしてもよい。たとえば、識別情報取得部を、異常部分として、はんだボールに含まれたボイド(空孔)の領域が識別された識別画像を識別情報として取得するように構成してもよい。また、BGA(Ball Grid Array)のはんだボールではなく、端子が格子状に配置されたLGA(Land Grid Array)の複数の端子の接続部分における複数のはんだ材の領域、または、複数のはんだ材に含まれる異常部分の領域を識別する学習済みモデルを生成するようにしてもよい。また、はんだ材ではなく、複数の端子の領域、または、複数の端子に含まれる異常部分の領域を識別する学習済みモデルを生成するようにしてもよい。
【0079】
また、上記実施形態では、切出画像取得部43を、互いに大きさの等しい2つの部分60cおよび部分60d(第2部分)を取得する例を示したが、本発明はこれに限られない。本発明では、切出画像取得部を、1つの第2部分を取得するようにしてもよい。また、2つの第2部分を取得する場合に、2つの第2部分の大きさを互いに異ならせるようにしてもよい。
【0080】
また、上記実施形態では、X線画像30(教師用X線画像60)の生成を行う画像生成部13が、学習済みモデル50の生成を行う制御部21(モデル生成部)とは別個に設けられている例を示したが、本発明はこれに限られない。本発明では、X線画像の生成と学習済みモデルの生成とを共通の制御装置によって行うようにしてもよい。また、学習済みモデルを用いた解析を、学習済みモデルの生成を行うモデル生成部とは別個に設けられた制御装置によって行うようにしてもよい。
【0081】
[態様]
上記した例示的な実施形態は、以下の態様の具体例であることが当業者により理解される。
【0082】
(項目1)
規則性を有する状態で配置された検査対象物に対してX線を照射するX線照射部と、
前記X線照射部から照射されたX線を検出するX線検出部と、
前記X線検出部により検出されたX線に基づいてX線画像を生成する画像生成部と、
前記画像生成部により生成された前記X線画像の解析を行うための学習済みモデルを生成するモデル生成部と、を備え、
前記モデル生成部は、
規則性を有する状態で配置された前記検査対象物を含む教師用X線画像から、第1部分が切り出された第1画像と、前記第1部分とは異なる第2部分が切り出された第2画像とを取得する切出画像取得部と、
前記第1画像および前記第2画像の各々における前記検査対象物の領域、および、前記検査対象物に含まれる異常部分の領域の少なくとも一方を識別するための識別情報を取得する識別情報取得部と、
前記第1画像および前記第2画像に基づく入力教師データと、前記識別情報に基づく出力教師データとを用いて、前記学習済みモデルを生成する機械学習を行う学習部と、を含む、X線撮影システム。
【0083】
(項目2)
前記切出画像取得部は、前記教師用X線画像から、前記検査対象物が含まれる対象領域の中心部分を含む前記第1部分が切り出された前記第1画像と、前記対象領域の端部分を含む前記第2部分が切り出された前記第2画像とを取得する、項目1に記載のX線撮影システム。
【0084】
(項目3)
前記X線照射部は、規則性を有するように基板に格子状に並べて配置された複数のはんだ材を含む前記検査対象物に対してX線を照射し、
前記識別情報取得部は、前記第1画像および前記第2画像の各々における前記複数のはんだ材の領域および前記複数のはんだ材に含まれる前記異常部分の領域の少なくとも一方が識別された識別画像を前記識別情報として取得する、項目1または2に記載のX線撮影システム。
【0085】
(項目4)
操作者による入力操作を受け付ける操作部をさらに備え、
前記操作部は、前記教師用X線画像において前記検査対象物が含まれる対象領域を設定する領域設定操作を受け付け、
前記切出画像取得部は、前記操作部により受け付けられた領域設定操作によって設定された前記教師用X線画像における前記対象領域に基づいて、前記教師用X線画像のうちから前記第1部分の範囲と前記第2部分の範囲とを自動的に設定する、項目1~3のいずれか1項に記載のX線撮影システム。
【0086】
(項目5)
前記教師用X線画像を表示する表示部と、
操作者による入力操作を受け付ける操作部とをさらに備え、
前記表示部は、前記教師用X線画像から切り出される前記第1部分の範囲を示す表示と、前記第2部分の範囲を示す表示とを視認可能に表示し、
前記切出画像取得部は、前記操作部により受け付けられた入力操作に基づいて、前記教師用X線画像から切り出される前記第1部分の範囲と、前記第2部分の範囲とを設定する、項目1~4のいずれか1項に記載のX線撮影システム。
【0087】
(項目6)
前記切出画像取得部は、前記操作部により受け付けられた入力操作に基づいて、所定のしきい値以上の大きさを有するように前記第1部分の範囲と前記第2部分の範囲とを設定する、項目5に記載のX線撮影システム。
【0088】
(項目7)
前記モデル生成部は、前記切出画像取得部により取得された前記第1画像と前記第2画像とに基づいて、前記入力教師データを生成する教師データ生成部をさらに含み、
前記教師データ生成部は、複製された複数の前記第1画像同士を並べて配置することと、複製された複数の前記第2画像同士を並べて配置することとの少なくとも一方によって、前記入力教師データを共通の大きさにするように構成されている、項目1~6のいずれか1項に記載のX線撮影システム。
【0089】
(項目8)
前記教師データ生成部は、前記第1画像同士を反転させながら並べて配置することと、前記第2画像同士を反転させながら並べて配置することとの少なくとも一方によって、前記入力教師データを共通の大きさにするように構成されている、項目7に記載のX線撮影システム。
【0090】
(項目9)
前記切出画像取得部は、前記教師用X線画像から前記検査対象物が含まれない背景部分が切り出された背景画像を取得し、
前記学習部は、前記第1画像および前記第2画像と前記背景画像とに基づく前記入力教師データを用いて前記学習済みモデルを生成するための機械学習を行う、項目1~8のいずれか1項に記載のX線撮影システム。
【0091】
(項目10)
操作者による入力操作を受け付ける操作部をさらに備え、
前記操作部は、複数の前記教師用X線画像のうちの一の前記教師用X線画像における前記第1部分の範囲と前記第2部分の範囲とを設定する範囲設定操作を受け付け、
前記切出画像取得部は、前記複数の教師用X線画像の各々から、前記一の教師用X線画像に対する範囲設定操作に基づいて設定された共通の範囲の前記第1部分が切り出された複数の前記第1画像と、前記一の教師用X線画像に対する範囲設定操作に基づいて設定された共通の範囲の前記第2部分が切り出された複数の前記第2画像とを取得する、項目1~9のいずれか1項に記載のX線撮影システム。
【0092】
(項目11)
規則性を有する状態で配置された検査対象物に対してX線を照射することによって生成されたX線画像に対応する教師用X線画像から、第1部分が切り出された第1画像と、前記第1部分とは異なる第2部分が切り出された第2画像とを取得するステップと、
前記第1画像および前記第2画像の各々における前記検査対象物の領域、および、前記検査対象物に含まれる異常部分の領域の少なくとも一方を識別するための識別情報を取得するステップと、
前記第1画像および前記第2画像に基づく入力教師データと、前記識別情報に基づく出力教師データとを用いて、前記X線画像の解析を行うための学習済みモデルを生成する機械学習を行うステップと、を含む、学習済みモデル生成方法。
【符号の説明】
【0093】
11 X線照射部
12 X線検出部
13 画像生成部
21 制御部(モデル生成部)
23 表示部
24 操作部
30 X線画像
30t 入力教師データ
31t 出力教師データ
43 切出画像取得部
44 識別情報取得部
45 教師データ生成部
46 学習部
50 学習済みモデル
60 教師用X線画像
60a 対象領域
60b 部分(第1部分)
60c、60d 部分(第2部分)
60e 背景部分
61b 中心画像(第1画像)
61c、61d 端画像(第2画像)
61e 背景画像
62b、62c、62d、62e 識別画像
100 X線撮影システム
102 基板
104 はんだボール(検査対象物、はんだ材)