IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社島津製作所の特許一覧

特開2024-21724X線撮影システム、および、X線画像解析方法
<>
  • 特開-X線撮影システム、および、X線画像解析方法 図1
  • 特開-X線撮影システム、および、X線画像解析方法 図2
  • 特開-X線撮影システム、および、X線画像解析方法 図3
  • 特開-X線撮影システム、および、X線画像解析方法 図4
  • 特開-X線撮影システム、および、X線画像解析方法 図5
  • 特開-X線撮影システム、および、X線画像解析方法 図6
  • 特開-X線撮影システム、および、X線画像解析方法 図7
  • 特開-X線撮影システム、および、X線画像解析方法 図8
  • 特開-X線撮影システム、および、X線画像解析方法 図9
  • 特開-X線撮影システム、および、X線画像解析方法 図10
  • 特開-X線撮影システム、および、X線画像解析方法 図11
  • 特開-X線撮影システム、および、X線画像解析方法 図12
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024021724
(43)【公開日】2024-02-16
(54)【発明の名称】X線撮影システム、および、X線画像解析方法
(51)【国際特許分類】
   G01B 15/04 20060101AFI20240208BHJP
   G01N 23/04 20180101ALI20240208BHJP
【FI】
G01B15/04 H
G01N23/04
【審査請求】未請求
【請求項の数】11
【出願形態】OL
(21)【出願番号】P 2022124765
(22)【出願日】2022-08-04
(71)【出願人】
【識別番号】000001993
【氏名又は名称】株式会社島津製作所
(74)【代理人】
【識別番号】100104433
【弁理士】
【氏名又は名称】宮園 博一
(74)【代理人】
【識別番号】100202728
【弁理士】
【氏名又は名称】三森 智裕
(72)【発明者】
【氏名】澤田 隆二
(72)【発明者】
【氏名】吉山 仁望
(72)【発明者】
【氏名】津島 啓晃
【テーマコード(参考)】
2F067
2G001
【Fターム(参考)】
2F067AA04
2F067AA52
2F067AA53
2F067BB01
2F067BB04
2F067CC14
2F067DD01
2F067DD05
2F067EE03
2F067HH04
2F067JJ03
2F067KK06
2F067LL02
2F067LL15
2F067NN06
2F067NN08
2G001AA01
2G001BA11
2G001CA01
2G001DA09
2G001FA29
(57)【要約】
【課題】対象部分を含む検査対象物に対してX線を照射することによって検査対象物の検査を行う場合に、対象部分の三次元的な奥行き方向の位置に係わらず検査を容易に行うことが可能なX線撮影システム、および、X線画像解析方法を提供することである。
【解決手段】このX線撮影システム100は、照射角度が互いに異なるX線画像であるX線画像30aおよびX線画像30bを生成する画像生成部15を備える。そして、X線撮影システム100は、X線画像30aおよびX線画像30bの各々における検査対象物101に含まれるはんだボール104およびはんだボール106の位置と、X線画像30aを生成するためのX線の照射角度とX線画像30bを生成するためのX線の照射角度との角度差とに基づいて、三角測量によってはんだボール104およびはんだボール106の三次元的な位置を算出する制御部21を備える。
【選択図】図1
【特許請求の範囲】
【請求項1】
対象部分を含む検査対象物に対してX線を照射するX線照射部と、
前記X線照射部から照射されたX線を検出するX線検出部と、
前記検査対象物に照射されるX線の照射角度を変更する角度変更部と、
前記角度変更部により前記照射角度を変更しながら前記X線照射部により照射されて前記X線検出部により検出されたX線に基づいて、前記照射角度が互いに異なるX線画像である第1画像および第2画像を生成する画像生成部と、
前記画像生成部により生成された前記第1画像および前記第2画像の各々における前記検査対象物に含まれる前記対象部分の位置と、前記第1画像を生成するためのX線の前記照射角度と前記第2画像を生成するためのX線の前記照射角度との角度差とに基づいて、三角測量によって前記対象部分の三次元的な位置を算出する画像解析部と、を備える、X線撮影システム。
【請求項2】
前記角度変更部は、前記X線照射部に対する前記検査対象物の配置角度、前記検査対象物の配置位置、前記検査対象物に対する前記X線照射部の配置角度、および、前記X線照射部の配置位置の少なくとも1つを変更することによって、前記照射角度を変更し、
前記画像解析部は、前記第1画像および前記第2画像に対して再構成処理を行わずに、三角測量によって前記対象部分の三次元的な位置を算出する、請求項1に記載のX線撮影システム。
【請求項3】
前記対象部分は、互いに異なる第1対象部分および第2対象部分を含み、
前記画像解析部は、前記画像生成部により生成された前記第1画像および前記第2画像の各々における前記第1対象部分および前記第2対象部分の各々の位置と、前記第1画像を生成するためのX線の前記照射角度と前記第2画像を生成するためのX線の前記照射角度との角度差とに基づいて、三角測量によって前記第1対象部分の三次元的な位置と、前記第2対象部分の三次元的な位置とを算出する、請求項1または2に記載のX線撮影システム。
【請求項4】
前記第1対象部分は、基板の表面に格子状に並べて配置された複数の第1はんだボールを含み、
前記第2対象部分は、基板の裏面に格子状に並べて配置された複数の第2はんだボールを含み、
前記画像解析部は、前記第1画像および前記第2画像の各々における前記複数の第1はんだボールおよび前記複数の第2はんだボールの各々の位置と、前記第1画像の前記照射角度と前記第2画像の前記照射角度との角度差とに基づいて、三角測量によって前記複数の第1はんだボールおよび前記複数の第2はんだボールの各々の三次元的な位置を算出する、請求項3に記載のX線撮影システム。
【請求項5】
前記画像解析部は、前記第1画像および前記第2画像の各々における前記対象部分の領域を検出するとともに、検出された前記対象部分の領域の重心位置を前記第1画像および前記第2画像の各々における前記対象部分の位置として取得する、請求項1または2に記載のX線撮影システム。
【請求項6】
前記画像解析部は、機械学習によって生成された学習済みモデルを用いることによって、前記第1画像および前記第2画像の各々における前記対象部分の領域を検出するとともに、検出された前記対象部分の領域に基づいて、前記第1画像および前記第2画像の各々における前記対象部分の位置を取得する、請求項1または2に記載のX線撮影システム。
【請求項7】
前記対象部分は、互いに異なる第1対象部分および第2対象部分を含み、
前記第1対象部分および前記第2対象部分は、前記第1画像および前記第2画像の少なくとも一方において、前記X線照射部から前記X線検出部に向かう方向である照射方向から見て互いに重なり合う部分を有し、
前記画像解析部は、機械学習によって生成された前記学習済みモデルを用いることによって、前記第1対象部分の領域と前記第2対象部分の領域とを分離した状態で検出するとともに、検出された前記第1対象部分の領域と前記第2対象部分の領域とに基づいて、前記第1画像および前記第2画像の各々における前記第1対象部分および前記第2対象部分の各々の位置を取得することによって、前記第1対象部分の三次元的な位置と、前記第2対象部分の三次元的な位置とを算出する、請求項6に記載のX線撮影システム。
【請求項8】
前記画像解析部は、前記第1対象部分と前記第2対象部分とが前記照射方向から見て互いに重なり合う重畳部分と、重なり合わない非重畳部分とを別個に識別するように学習された前記学習済みモデルを用いることによって、別個に識別された前記重畳部分と前記非重畳部分とに基づいて、前記第1画像および前記第2画像の各々における前記第1対象部分の領域と前記第2対象部分の領域とを分離した状態で検出する、請求項7に記載のX線撮影システム。
【請求項9】
前記画像解析部は、前記第1対象部分と前記第2対象部分とが前記照射方向から見て互いに重なり合う重畳部分と、重なり合わない非重畳部分とを区別せずに、前記重畳部分と前記非重畳部分との両方を含む対象領域を識別するように学習された前記学習済みモデルを用いることによって、前記第1画像および前記第2画像の各々における前記対象領域を識別するとともに、識別された前記対象領域において、所定の識別しきい値よりも輝度値の小さい領域を前記重畳部分として検出することによって、前記第1画像および前記第2画像の各々における前記第1対象部分の領域と前記第2対象部分の領域とを分離した状態で検出する、請求項7に記載のX線撮影システム。
【請求項10】
互いに異なる対象部分である第1対象部分および第2対象部分を含む検査対象物に対してX線を照射するX線照射部と、
前記X線照射部から照射されたX線を検出するX線検出部と、
前記X線照射部により照射されて前記X線検出部により検出されたX線に基づいて、X線画像を生成する画像生成部と、
前記画像生成部により生成された前記X線画像における前記第1対象部分と前記第2対象部分とが前記X線照射部から前記X線検出部に向かう方向である照射方向から見て互いに重なり合う重畳部分と、重なり合わない非重畳部分とを別個に識別するように学習された学習済みモデルを用いることによって、別個に識別された前記重畳部分と前記非重畳部分とに基づいて、前記X線画像における前記第1対象部分の領域と前記第2対象部分の領域とを分離した状態で検出する画像解析部と、を備える、X線撮影システム。
【請求項11】
対象部分を含む検査対象物に対する照射角度を変更しながら照射されて検出されたX線に基づいて生成された、前記照射角度が互いに異なるX線画像である第1画像および第2画像を取得するステップと、
前記第1画像および前記第2画像の各々における前記検査対象物に含まれる前記対象部分の位置と、前記第1画像を生成するためのX線の前記照射角度と前記第2画像を生成するためのX線の前記照射角度との角度差とに基づいて、三角測量によって前記対象部分の三次元的な位置を算出するステップと、を備える、X線画像解析方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、X線撮影システム、および、X線画像解析方法に関し、特に、検査対象物に対してX線を照射するX線撮影システム、および、X線画像解析方法に関する。
【背景技術】
【0002】
従来、検査対象物に対してX線を照射する装置が知られている(たとえば、特許文献1参照)。
【0003】
上記特許文献1には、検査対象物である半導体素子が実装された電子基板に向けてX線ビームを放射する装置(透視検査装置)が開示されている。この透視検査装置は、放射されたX線ビームを検出することによって半導体素子の透過画像を取得する。そして、上記特許文献1に記載の透視検査装置は、半導体素子の透過画像に基づいて、半導体素子のはんだに含まれる気泡の有無を測定することによって、はんだ付けの不良を判定する。また、上記特許文献1に記載の透視検査装置は、互いに異なる角度によって入射したX線ビームを検出して取得された2つの画像を合成することによって、半導体素子に重なっている異物によるノイズ画像を除去する。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2011-196983号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、上記特許文献1に記載の透視検査装置のように、X線を照射することによって検査対象物の検査を行う場合には、検査のために生成される画像が照射されたX線による二次元の投影像であるため、検査対象物に含まれる対象部分の三次元的な奥行き方向の位置を検出することは困難である。たとえば、基板の表面と裏面との各々に形状の共通した電子部品が実装されている場合には、異常と判定された部分が基板の表面と裏面とのいずれに配置されているのかを区別することが困難となる。そのため、検査対象物に含まれる対象部分の三次元的な位置を検出することが困難であることに起因して、検査が困難になることが考えられる。また、上記特許文献1に記載の透視検査装置のように、2つの画像を合成することによって、検査対象物に重なっている異物によるノイズ画像を除去する場合には、検査対象物に含まれる対象部分が除去されることが考えられる。たとえば、基板の表面と裏面との各々に検査の対象となる対象部分である電子部品が重なり合うように実装されている場合には、基板の表面と裏面とのいずれかの対象部分がノイズ画像として除去される。そのため、除去された対象部分の検査を行うことができなくなると考えられる。したがって、対象部分を含む検査対象物に対してX線を照射することによって検査対象物の検査を行う場合に、対象部分の三次元的な奥行き方向の位置に係わらず検査を容易に行うことが望まれている。
【0006】
この発明は、上記のような課題を解決するためになされたものであり、この発明の1つの目的は、対象部分を含む検査対象物に対してX線を照射することによって検査対象物の検査を行う場合に、対象部分の三次元的な奥行き方向の位置に係わらず検査を容易に行うことが可能なX線撮影システム、および、X線画像解析方法を提供することである。
【課題を解決するための手段】
【0007】
上記目的を達成するために、この発明の第1の局面におけるX線撮影システムは、対象部分を含む検査対象物に対してX線を照射するX線照射部と、X線照射部から照射されたX線を検出するX線検出部と、検査対象物に照射されるX線の照射角度を変更する角度変更部と、角度変更部により照射角度を変更しながらX線照射部により照射されてX線検出部により検出されたX線に基づいて、照射角度が互いに異なるX線画像である第1画像および第2画像を生成する画像生成部と、画像生成部により生成された第1画像および第2画像の各々における検査対象物に含まれる対象部分の位置と、第1画像を生成するためのX線の照射角度と第2画像を生成するためのX線の照射角度との角度差とに基づいて、三角測量によって対象部分の三次元的な位置を算出する画像解析部と、を備える。
【0008】
この発明の第2の局面におけるX線撮影システムは、互いに異なる対象部分である第1対象部分および第2対象部分を含む検査対象物に対してX線を照射するX線照射部と、X線照射部から照射されたX線を検出するX線検出部と、X線照射部により照射されてX線検出部により検出されたX線に基づいて、X線画像を生成する画像生成部と、画像生成部により生成されたX線画像における第1対象部分と第2対象部分とがX線照射部からX線検出部に向かう方向である照射方向から見て互いに重なり合う重畳部分と、重なり合わない非重畳部分とを別個に識別するように学習された学習済みモデルを用いることによって、別個に識別された重畳部分と非重畳部分とに基づいて、X線画像における第1対象部分の領域と第2対象部分の領域とを分離した状態で検出する画像解析部と、を備える。
【0009】
この発明の第3の局面におけるX線画像解析方法は、対象部分を含む検査対象物に対する照射角度を変更しながら照射されて検出されたX線に基づいて生成された、照射角度が互いに異なるX線画像である第1画像および第2画像を取得するステップと、第1画像および第2画像の各々における検査対象物に含まれる対象部分の位置と、第1画像を生成するためのX線の照射角度と第2画像を生成するためのX線の照射角度との角度差とに基づいて、三角測量によって対象部分の三次元的な位置を算出するステップと、を備える。
【発明の効果】
【0010】
上記第1の局面におけるX線撮影システム、および、上記第3の局面におけるX線画像解析方法では、第1画像および第2画像の各々における検査対象物に含まれる対象部分の位置と、第1画像を生成するためのX線の照射角度と第2画像を生成するためのX線の照射角度との角度差とに基づいて、三角測量によって対象部分の三次元的な位置を算出する。これにより、第1画像における対象部分の位置と、第2画像における対象部分の位置と、第1画像と第2画像とのX線の照射角度の角度差とに基づいて、三角測量によって算出された対象部分の三次元的な位置を取得することができる。そのため、対象部分の三次元的な位置を識別しながら、検査対象物の検査を行うことができる。その結果、対象部分を含む検査対象物に対してX線を照射することによって検査対象物の検査を行う場合に、対象部分の三次元的な奥行き方向の位置に係わらず検査を容易に行うことができる。
【0011】
また、上記第2の局面におけるX線撮影システムは、画像生成部により生成されたX線画像における第1対象部分と第2対象部分とがX線照射部からX線検出部に向かう方向である照射方向から見て互いに重なり合う重畳部分と、重なり合わない非重畳部分とを別個に識別するように学習された学習済みモデルを用いることによって、別個に識別された重畳部分と非重畳部分とに基づいて、X線画像における第1対象部分の領域と第2対象部分の領域とを分離した状態で検出する。これにより、第1対象部分の領域と第2対象部分の領域とに互いに重なり合う部分がある場合にも、学習済みモデルを用いることによって、第1対象部分の領域と第2対象部分の領域とを分離した状態で精度よく検出することができる。そのため、第1対象部分の領域と第2対象部分の領域とを分離した状態で検査対象物の検査を行うことができる。その結果、対象部分を含む検査対象物に対してX線を照射することによって検査対象物の検査を行う場合に、対象部分の三次元的な奥行き方向の位置に係わらず検査を容易に行うことができる。
【図面の簡単な説明】
【0012】
図1】本発明の第1実施形態によるX線撮影システムの全体構成を示したブロック図である。
図2】はんだボールを含む検査対象物の構成を示した模式図である。
図3】X線画像30aの一例を示した図である。
図4】X線画像30aとは照射角度の異なるX線画像30bの一例を示した図である。
図5】制御部の機能的な構成を説明するためのブロック図である。
図6】学習済みモデルを用いた識別結果画像の取得を説明するための図である。
図7】表面のはんだボールの領域と裏面のはんだボールの領域との分離を説明するための図である。
図8】三角測量によるはんだボールの三次元的な位置の算出を説明するための図である。
図9】三角測量により算出された三次元的な位置の算出結果を示した図である。
図10】第1実施形態によるX線画像解析方法を説明するための図(フローチャート)である。
図11】本発明の第2実施形態によるX線撮影システムの全体構成を示したブロック図である。
図12】第2実施形態による学習済みモデルを用いた識別結果画像の取得を説明するための図である。
【発明を実施するための形態】
【0013】
以下、本発明を具体化した実施形態を図面に基づいて説明する。
【0014】
[第1実施形態]
(X線撮影システムの全体構成)
図1図9を参照して、本発明の第1実施形態によるX線撮影システム100について説明する。
【0015】
図1に示すように、第1実施形態によるX線撮影システム100は、検査対象物101を通過したX線を検出することによって、検査対象物101の内部を画像化するシステムである。X線撮影システム100は、たとえば、非破壊検査用途において物体としての検査対象物101の内部の画像化に用いられる。
【0016】
図2に示すように、検査対象物101は、基板102を含む電子機器である。基板102は、Z1方向側(X線検出部12側)の表面102aと、Z2方向側(X線照射部11側)の裏面102bとを有している。基板102の表面102aには、電子部品103が実装されている。基板102の裏面102bには、電子部品105が実装されている。電子部品103は、複数のはんだボール104(バンプ)によって基板102のZ1方向側の面である表面102aに対して電気的に接続されている。複数のはんだボール104は、規則性を有する状態で基板102の表面102aに格子状に並べて配置されている。また、電子部品105は、複数のはんだボール106(バンプ)によって基板102のZ2方向側の面である裏面102bに対して電気的に接続されている。複数のはんだボール106は、複数のはんだボール104と同様に、規則性を有する状態で基板102の裏面102bに格子状に並べて配置されている。すなわち、電子部品103および電子部品105は、BGA(Ball Grid Array)によって基板102に接続されている。なお、はんだボール104は、特許請求の範囲における「対象部分」、「第1対象部分」および「第1はんだボール」の一例である。また、はんだボール106は、特許請求の範囲における「対象部分」、「第2対象部分」および「第2はんだボール」の一例である。
【0017】
たとえば、検査対象物101では、基板102の表面102aにおいて、縦3列および横13列の39個のはんだボール104が格子状に並んで配置されており、裏面102bにおいて、同様に、縦3列および横13列の39個のはんだボール106が格子状に並んで配置されている。基板102の表面102aの複数のはんだボール104の各々と裏面102bの複数のはんだボール106の各々とは、基板102の表面102aに垂直な方向(Z方向)から見て互いに重なり合うように配置されている。電子部品103および電子部品105は、たとえば、IC(integrated circuit:集積回路)などの電子回路を含む。X線撮影システム100では、複数のはんだボール104および複数のはんだボール106のボイド(空孔)およびブリッジなどの異常に対する非破壊検査が行われる。また、基板102には、電子部品103の他に、表面実装された図示しない抵抗器またはコンデンサなどが実装されている。
【0018】
図1に示すように、X線撮影システム100は、透視装置10と、解析装置20とを備える。透視装置10は、検査対象物101に対してX線撮影を行うことにより、X線画像30a(図3参照)およびX線画像30b(図4参照)を生成する。解析装置20は、生成されたX線画像30aおよびX線画像30bに対して解析処理を行う。透視装置10および解析装置20の各々は、通信モジュールを有しており、ネットワークなどを介して互いに情報の送受信を行う。なお、X線画像30aは、特許請求の範囲における「第1画像」および「X線画像」の一例である。また、X線画像30bは、特許請求の範囲における「第2画像」および「X線画像」の一例である。
【0019】
透視装置10は、X線照射部11、X線検出部12、ステージ13、駆動部14、および、画像生成部15を備えている。X線照射部11は、複数のはんだボール104および複数のはんだボール106を含む検査対象物101に対してX線を照射する。X線照射部11は、図示しない電源装置から電力が供給されることによりX線を照射するX線源であるX線管を含む。X線検出部12は、X線照射部11から照射されたX線を検出する。X線検出部12は、検出したX線に応じた電気信号を出力する。X線検出部12は、たとえば、X線の検出器であるFPD(Flat Panel Detector)を含む。X線照射部11およびX線検出部12は、透視装置10の図示しない筐体の内部に配置されている。なお、駆動部14は、特許請求の範囲における「角度変更部」の一例である。
【0020】
ステージ13には、検査対象物101が載置される。また、ステージ13は、駆動部14の駆動によりY方向を回転軸線として回転可能に構成されている。駆動部14は、検査対象物101が載置された状態のステージ13を、Y方向を回転軸線として回転させることによって、検査対象物101の配置角度を変更する。すなわち、駆動部14は、X線照射部11に対する検査対象物101の配置角度を変更することによって、検査対象物101に照射されるX線の照射角度を変更する。照射角度は、たとえば、検査対象物101が載置されるステージ13の載置面に対して垂直な方向を基準としたX線の照射方向の角度として表される。駆動部14は、画像生成部15からの信号に基づいて動作する。駆動部14は、たとえば、サーボモータを含む。なお、「X線の照射方向」は、X線照射部11からX線検出部12に向かう方向を意味する。より詳細には、点光源であるX線照射部11のX線源から、X線検出部12の検出面の中心位置に向かう三次元的な奥行き方向を、X線の照射方向として記載している。
【0021】
図3および図4に示すように、画像生成部15は、X線検出部12により検出されたX線に基づいてX線画像30aおよびX線画像30bを生成する。X線画像30aおよびX線画像30bは、駆動部14により照射角度を変更しながらX線照射部11により照射されてX線検出部12により検出されたX線に基づいて生成された、X線の照射角度が互いに異なるX線画像である。たとえば、X線画像30aは、X線照射部11からX線検出部12に向かう方向である照射方向(Z方向)が、基板102の主表面(表面102a)に垂直な方向と略等しい状態において取得された画像である。また、X線画像30bは、検査対象物101の配置角度がZ方向からY方向軸回りに15度回転した状態で取得された画像である。
【0022】
X線画像30aおよびX線画像30bには、規則性を有するように格子状に配置された複数のはんだボール104および複数のはんだボール106が含まれている。X線画像30aおよびX線画像30bでは、検査対象物101において基板102に複数のはんだボール104および複数のはんだボール106が互いに重なるように配置されているため、はんだボール104とはんだボール106とが互いに重なり合う部分が含まれている。また、X線画像30aおよびX線画像30bでは、照射角度が互いに異なるため、はんだボール104およびはんだボール106の位置関係が異なる。
【0023】
画像生成部15は、たとえば、CPU(Central Processing Unit)などのプロセッサと、情報を記憶する記憶装置とを含むコンピュータである。画像生成部15は、透視装置10の各部の動作を制御する。画像生成部15は、たとえば、図示しない電源装置を制御することによってX線照射部11によるX線の照射を制御する。また、画像生成部15は、駆動部14の動作を制御する。そして、画像生成部15は、生成されたX線画像30aおよびX線画像30bを解析装置20に対して出力する。
【0024】
図1に示すように、解析装置20は、制御部21および記憶部22を有している。解析装置20は、たとえば、透視装置10と通信可能に接続されたパーソナルコンピュータである。制御部21は、CPU、ROM(Read Only Memory)およびRAM(Random Access Memory)などを含む。また、制御部21は、GPU(Graphics Processing Unit)や画像処理用に構成されたFPGA(Field-Programmable Gate Array)などのプロセッサを含んでいてもよい。なお、制御部21は、特許請求の範囲における「画像解析部」の一例である。
【0025】
記憶部22は、制御部21が実行する各種プログラム、および、パラメータを記憶するように構成されている。記憶部22は、たとえば、HDD(Hard Disk Drive)、または、SSD(Solid State Drive)などの不揮発性のメモリを含む。また、記憶部22は、X線画像30aおよびX線画像30bの解析に用いられる学習済みモデル50(図6参照)を記憶している。
【0026】
また、解析装置20には、表示部23および操作部24が接続されている。表示部23は、たとえば、液晶モニタを含む。表示部23は、制御部21による制御により画像および文字情報を表示する。操作部24は、操作者による入力操作を受け付ける。操作部24は、たとえば、キーボード、および、マウスなどのポインティングデバイスを含む。操作部24は、受け付けられた入力操作に基づく操作信号を制御部21に対して出力する。
【0027】
(解析装置によるX線画像の解析)
解析装置20は、画像生成部15により生成されたX線画像30aおよびX線画像30bに基づいて、はんだボール104およびはんだボール106の異常の有無を判定する。具体的には、解析装置20は、照射角度が互いに異なる2つのX線画像30aおよびX線画像30bのうちから、はんだボール104およびはんだボール106の領域を検出する。また、解析装置20は、三角測量によって、はんだボール104およびはんだボール106の照射方向(Z方向)における位置(基板102に対して垂直な方向における位置)を含む三次元的な位置を算出する。すなわち、解析装置20は、三角測量によって、X線画像30aおよびX線画像30bにおけるはんだボール104およびはんだボール106の三次元的な奥行き方向における位置を含む三次元的な位置(座標)を算出する。そして、解析装置20は、検出されたはんだボール104およびはんだボール106の領域に基づいて、はんだボール104およびはんだボール106における異常の有無を判定するとともに、異常と判定された部分の三次元的な位置に基づいて、異常と判定された部分が基板102の表面102aに配置されているか裏面102bに配置されているか(はんだボール104であるかはんだボール106であるか)を判断する。
【0028】
具体的には、図5に示すように、制御部21は、領域検出部41、座標取得部42、角度差取得部43、位置算出部44、および、判定部45を含む。制御部21は、記憶部22に記憶されている各種のプログラム(ソフトウェア)を実行することにより、領域検出部41、座標取得部42、角度差取得部43、位置算出部44、および、判定部45として機能する。すなわち、図5では、領域検出部41、座標取得部42、角度差取得部43、位置算出部44、および、判定部45は、ソフトウェア的な機能ブロックとして図示されている。なお、これに限られずに、領域検出部41、座標取得部42、角度差取得部43、位置算出部44、および、判定部45の一部または全部が、専用のハードウェア的な回路により構成されていてもよい。
【0029】
図6に示すように、領域検出部41は、学習済みモデル50を用いることによって、X線画像30aおよびX線画像30bから識別結果画像31aおよび識別結果画像31bを取得する。
【0030】
図7に示すように、識別結果画像31aは、X線画像30aのうちの基板102の両面のはんだボール104とはんだボール106とが照射方向(Z方向)から見て互いに重なり合う重畳部分61と、重なり合わずに1つのはんだボール104またははんだボール106のみが含まれる非重畳部分62と、はんだボール104およびはんだボール106が両方とも含まれていない背景部分63との3種類の領域に識別されたラベル画像である。識別結果画像31aでは、重畳部分61が灰色、非重畳部分62が白色、そして、背景部分63が黒色に塗り分けられている。なお、図6および図7では、灰色をハッチングによって表している。また、識別結果画像31bにおける色分けも識別結果画像31aと同様である。
【0031】
学習済みモデル50は、重畳部分61と、非重畳部分62と、背景部分63とを別個に識別するように、機械学習により学習されて生成される。学習済みモデル50は、X線画像30aおよびX線画像30bを模した入力教師データ30tと入力教師データ30tにおける重畳部分61と非重畳部分62と背景部分63とに対応する領域の各々が色分けされた出力教師データ31tとをデータセットとして、深層学習を用いた機械学習によって生成される。たとえば、学習済みモデル50の生成では、全層畳み込みネットワーク(Fully Convolution Network:FCN)の1種類であるU-Netをベースとした機械学習が行われる。学習済みモデル50は、入力された画像の各画素に対して、重畳部分61を灰色、非重畳部分62を白色、そして、背景部分63を黒色に塗り分ける画像変換(画像再構成)を実行するように学習させることによって生成される。領域検出部41は、学習済みモデル50による識別結果(推論結果)として、重畳部分61と、非重畳部分62と、背景部分63とが別個に識別された識別結果画像31aおよび識別結果画像31bを取得する。
【0032】
そして、図7に示すように、領域検出部41は、X線画像30aおよびX線画像30bの各々におけるはんだボール104およびはんだボール106の領域を検出する。領域検出部41は、機械学習によって生成された学習済みモデル50を用いることによって、X線画像30aおよびX線画像30bの各々における複数のはんだボール104および複数のはんだボール106の各々の領域を検出する。具体的には、領域検出部41は、識別結果画像31aおよび識別結果画像31bにおいて別個に識別された重畳部分61と非重畳部分62とに基づいて、X線画像30aおよびX線画像30bの各々における複数のはんだボール104の領域と複数のはんだボール106の領域とを分離した状態で検出する。なお、図7では、一のはんだボール104と一のはんだボール106とを含む識別結果画像31aの例を示しているが、複数のはんだボール104の各々と、複数のはんだボール106の各々とに対して、個別に同様の処理が実行される。
【0033】
詳細には、領域検出部41は、非重畳部分62の各々を、はんだボール104またははんだボール106の領域である検出領域として取得する。そして、領域検出部41は、検出領域に隣接する重畳部分61を、検出領域に加えることによって、はんだボール104の領域とはんだボール106の領域とを分離した状態で検出する。すなわち、領域検出部41は、はんだボール104の領域とはんだボール106の領域とが分離された状態である領域64および領域65を取得する。なお、領域64および領域65は、はんだボール104の領域とはんだボール106の領域とを分離した状態ではあるものの、領域64および領域65のうちのいずれがはんだボール104の領域であって、いずれがはんだボール106の領域であるかは、この時点では不明である。
【0034】
そこで、検出された領域64および領域65のいずれがはんだボール104の領域であっていずれがはんだボール106の領域であるかを検出するために、三角測量による演算処理が実行される。
【0035】
〈三角測量による演算〉
座標取得部42は、検出された複数のはんだボール104の領域と複数のはんだボール106の領域とのいずれか一方と他方とである領域64および領域65に基づいて、X線画像30aおよびX線画像30bの各々における複数のはんだボール104の各々と複数のはんだボール106の各々との位置を取得する。具体的には、座標取得部42は、検出された複数のはんだボール104の領域と複数のはんだボール106の領域とである領域64および領域65の重心位置を、X線画像30aおよびX線画像30bの各々におけるはんだボール104およびはんだボール106の各々の位置として取得する。たとえば、座標取得部42は、X線画像30aおよびX線画像30bの各々から検出された領域64および領域65の各々に対して領域の輪郭を抽出する処理を実行する。そして、座標取得部42は、抽出された輪郭線に基づいて、輪郭線に囲まれる領域の重心位置を取得する。そして、座標取得部42は、取得された重心位置のX線画像30aおよびX線画像30bの各々における座標を取得する。なお、ここで言う「重心位置」とは、抽出された輪郭線に囲まれた領域の数学的な幾何中心の位置を意味する。すなわち、重心位置は、抽出された輪郭線に囲まれた領域に含まれるすべての点の位置座標の平均の位置である。
【0036】
角度差取得部43は、X線画像30aを生成するためのX線の照射角度とX線画像30bを生成するためのX線の照射角度との角度差を取得する。透視装置10は、X線画像30aとX線画像30bとの各々を生成する際の照射角度を取得する。そして、透視装置10は、X線画像30aとX線画像30bとの各々と取得された照射角度とを関連付けた状態で、解析装置20に対して出力する。角度差取得部43は、X線画像30aとX線画像30bとの各々に関連付けられた照射角度に基づいて、X線画像30aの照射角度とX線画像30bの照射角度との角度差を取得する。
【0037】
そして、図8に示すように、第1実施形態では、位置算出部44は、画像生成部15により生成されたX線画像30aおよびX線画像30bの各々における検査対象物101に含まれる複数のはんだボール104および複数のはんだボール106の各々の位置と、X線画像30aを生成するためのX線の照射角度とX線画像30bを生成するためのX線の照射角度との角度差とに基づいて、三角測量によって複数のはんだボール104の各々の三次元的な位置と複数のはんだボール104の各々の三次元的な位置とを算出する。すなわち、位置算出部44は、CT(Computed Tomography:コンピュータ断層撮影)のようにX線画像30aおよびX線画像30bに対して三次元モデルを生成する再構成処理を行わずに、三角測量によってはんだボール104および106の照射方向(Z方向)における位置を含む三次元的な位置を算出する。
【0038】
具体的には、位置算出部44は、たとえば、X線画像30aにおける領域64の重心位置を点P´(x´,y´,z´)、X線画像30bにおける領域64の重心位置を点Pθ´(xθ´,yθ´,zθ´)とする。なお、X線画像30bは、X線画像30aから照射角度がθだけ回転しているものとする。この時に、X線画像30aを生成するためにX線が照射された時点における領域64に対応するはんだボール104またははんだボール106の三次元的な位置を点P(x,y,z)として、照射角度がθ変更された後のX線画像30bを生成するためにX線が照射された時点における領域64に対応するはんだボール104またははんだボール106の三次元的な位置を点Pθ(xθ,yθ,zθ)、として、回転中心の座標をC(t,0,t)とすると、点Pの座標は、三角測量による演算に基づいて、次の式(1)および式(2)によって表される。
【数1】
なお、X線照射部11からX線検出部12までの距離をSDDとする。SDDの値および回転中心の座標は、画像生成部15から取得されて予め記憶されている。位置算出部44は、領域65についても、同様に照射方向における位置(基板102に対して垂直な方向における位置)を含んだ三次元的な位置を算出する。なお、式(1)および式(2)は、一例であって、回転中心の座標が異なる場合などでは上記とは異なる式となる。このように、位置算出部44(制御部21)は、はんだボール104およびはんだボール106照射方向における位置(基板102に対して垂直な方向における位置)を算出する。
【0039】
図9に示すように、領域64の各々と、領域65の各々とに基づいて位置を算出した結果をプロットすると、Z方向における位置を示す数値が大きい(X線検出部12に近い)領域として判定される点と、Z方向における位置を示す数値が小さい(X線検出部12から遠い)領域として判定される点とに分離させることができる。このようにして、領域64および領域65のいずれが、Z1方向側に配置された複数のはんだボール104とZ2方向側複数のはんだボール106とのいずれに対応するかを検出することができる。
【0040】
なお、X線画像30aおよびX線画像30bの各々には、複数のはんだボール104および複数のはんだボール106が含まれている。たとえば、X線画像30aを取得するためのX線撮影からX線画像30bを取得するためのX線撮影まで、少しずつ照射角度を変更させながら複数回のX線撮影を行うことによって、X線画像30aにおける複数のはんだボール104および複数のはんだボール106の各々と、X線画像30bにおける複数のはんだボール104および複数のはんだボール106の各々との対応関係が取得される。
【0041】
判定部45は、識別結果画像31aおよび識別結果画像31bにおいて識別されている領域に基づいて、X線画像30aおよびX線画像30bに含まれるはんだボール104およびはんだボール106の異常の有無を判定する。判定部45は、たとえば、識別結果画像31aにおける領域64および領域65のうちから、位置算出部44によって算出された三次元的な位置のうちから取得された照射方向における位置に基づいてはんだボール104の領域として検出された方を取得する。そして、判定部45は、X線画像30aにおける複数のはんだボール104の各々の領域を検出することによって、複数のはんだボール104の各々の面積および形状を検出する。そして、判定部45は、検出された複数のはんだボール104の各々の面積および形状に基づいて、複数のはんだボール104の各々において、ボイド(空孔)、濡れ不良、ブリッジ、および、スパッタなどの異常の有無を判定する。判定部45は、X線画像30aのうちの異常が生じていると判定された部分を識別可能に表示部23に表示させてもよい。判定部45は、はんだボール106に対しても同様に異常の有無を判定する。
【0042】
なお、判定部45は、検出されたはんだボール104または106の領域の面積が、所定の範囲に含まれるか否かに基づいて、異常の有無を判定するようにしてもよい。その場合に、算出された照射方向の位置(距離)に基づいて、正常とされる所定の範囲の大きさを補正するようにしてもよい。
【0043】
(第1実施形態によるX線画像解析方法)
次に、図10を参照して、第1実施形態によるX線画像解析方法について説明する。なお、ステップ301~ステップ307における制御処理は、制御部21によりプログラムが実行されることにより行われる。
【0044】
まず、ステップ301において、照射角度が互いに異なるX線画像であるX線画像30aおよびX線画像30bが取得される。X線画像30aおよびX線画像30bは、複数のはんだボール104および複数のはんだボール106を含む検査対象物101の配置角度を変更することによって、検査対象物101に対するX線の照射角度を変更しながら照射されたX線に基づいて生成される。
【0045】
次に、ステップ302において、X線画像30aおよびX線画像30bから、学習済みモデル50を用いて識別結果画像31aおよび識別結果画像31bが取得されることによって、別個に識別された重畳部分61および非重畳部分62が検出(推定)される。
【0046】
次に、ステップ303において、検出された重畳部分61および非重畳部分62に基づいて、X線画像30aおよびX線画像30bの各々における複数のはんだボール104の領域と複数のはんだボール106の領域とが分離した状態の領域64と領域65とが取得される。
【0047】
次に、ステップ304において、画像生成部15により生成されたX線画像30aおよびX線画像30bの各々における検査対象物101に含まれる複数のはんだボール104および複数のはんだボール106の各々の位置が取得される。すなわち、ステップ303において検出された複数のはんだボール104の領域と複数のはんだボール106の領域とである領域64および領域65に基づいて、X線画像30aおよびX線画像30bの各々における複数のはんだボール104の各々と複数のはんだボール106の各々との位置が取得される。具体的には、検出された領域64および領域65の各々の重心位置が取得される。
【0048】
次に、ステップ305において、X線画像30aを生成するためのX線の照射角度とX線画像30bを生成するためのX線の照射角度との角度差が取得される。
【0049】
次に、ステップ306において、ステップ304において取得された複数のはんだボール104および複数のはんだボール106の各々の位置と、ステップ305において取得された角度差とに基づいて、三角測量によって複数のはんだボール104の各々の照射方向(基板102に垂直な方向:Z方向)である三次元的な奥行き方向における位置を含む三次元的な位置と複数のはんだボール104の各々の照射方向(基板102に垂直な方向:Z方向)である三次元的な奥行き方向における位置を含む三次元的な位置とが算出される。
【0050】
次に、ステップ307において、算出された三次元的な位置に基づいて、複数のはんだボール104の領域と複数のはんだボール106の領域とが検出されて、複数のはんだボール104の各々と複数のはんだボール106の各々とに対して、異常の有無の判定が行われる。
【0051】
(第1実施形態の効果)
第1実施形態では、以下のような効果を得ることができる。
【0052】
第1実施形態では、上記のように、X線撮影システム100は、X線画像30a(第1画像)およびX線画像30b(第2画像)の各々における検査対象物101に含まれるはんだボール104およびはんだボール106(対象部分)の位置と、X線画像30aを生成するためのX線の照射角度とX線画像30bを生成するためのX線の照射角度との角度差とに基づいて、三角測量によってはんだボール104およびはんだボール106の三次元的な位置を算出する。これにより、X線画像30aにおけるはんだボール104およびはんだボール106の位置と、X線画像30bにおけるはんだボール104およびはんだボール106の位置と、X線画像30aとX線画像30bとのX線の照射角度の角度差とに基づいて、三角測量によって算出されたはんだボール104およびはんだボール106の三次元的な位置を取得することができる。そのため、はんだボール104およびはんだボール106の三次元的な位置を識別しながら、検査対象物101の検査を行うことができる。その結果、はんだボール104およびはんだボール106を含む検査対象物101に対してX線を照射することによって検査対象物101の検査を行う場合に、はんだボール104およびはんだボール106の三次元的な奥行き方向の位置に係わらず検査を容易に行うことができる。
【0053】
また、上記第1実施形態では、以下のように構成したことによって、更なる効果が得られる。
【0054】
すなわち、第1実施形態では、上記のように、駆動部14(角度変更部)は、X線照射部11に対する検査対象物101の配置角度、検査対象物101の配置位置、検査対象物101に対するX線照射部11の配置角度、および、X線照射部11の配置位置の少なくとも1つであるX線照射部11に対する検査対象物101の配置角度を変更することによって、照射角度を変更し、制御部21(画像解析部)は、X線画像30a(第1画像)およびX線画像30b(第2画像)に対して再構成処理を行わずに、三角測量によってはんだボール104およびはんだボール106(対象部分)の三次元的な位置を算出する。ここで、画像の再構成処理を行うことによって、三次元モデルを生成して三次元的な位置関係を算出する場合には、三角測量によって位置関係を算出する場合に比べて演算処理に要する時間が増大する。これに対して、第1実施形態では、制御部21を、X線画像30aおよびX線画像30bに対して再構成処理を行わずに、三角測量によってはんだボール104およびはんだボール106(対象部分)の三次元的な位置を算出するように構成するため、はんだボール104およびはんだボール106の三次元的な位置を取得するために要する時間が増大することを抑制することができるとともに、制御部21(画像解析部)の処理負担を軽減することができる。
【0055】
また、第1実施形態では、上記のように、検査対象物101は、互いに異なるはんだボール104(第1対象部分)およびはんだボール106(第2対象部分)を含み、制御部21(画像解析部)は、画像生成部15により生成されたX線画像30aおよびX線画像30bの各々におけるはんだボール104およびはんだボール106の各々の位置と、X線画像30aを生成するためのX線の照射角度とX線画像30bを生成するためのX線の照射角度との角度差とに基づいて、三角測量によってはんだボール104の三次元的な位置と、はんだボール106の三次元的な位置とを算出する。このように構成すれば、制御部21における三角測量を用いた演算処理によってはんだボール104の三次元的な位置と、はんだボール106の三次元的な位置とを取得することができる。そのため、X線画像30aおよびX線画像30bにおいて、三次元的な位置に基づいてはんだボール104およびはんだボール106を互いに識別することができる。また、はんだボール104およびはんだボール106が互いに重なり合っている場合にも、はんだボール104の三次元的な位置と、はんだボール106の三次元的な位置とを取得することができるので、はんだボール104とはんだボール106とを互いに識別しながら、はんだボール104およびはんだボール106の検査を行うことができる。
【0056】
また、第1実施形態では、上記のように、基板102の表面102aに格子状に並べて配置された複数のはんだボール104(第1はんだボール)を含み、基板102の裏面102bに格子状に並べて配置された複数のはんだボール106(第2はんだボール)を含み、制御部21(画像解析部)は、X線画像30a(第1画像)およびX線画像30b(第2画像)の各々における複数のはんだボール104および複数のはんだボール106の各々の位置と、X線画像30aの照射角度とX線画像30bの照射角度との角度差とに基づいて、三角測量によって複数のはんだボール104および複数のはんだボール106の各々の三次元的な位置を算出する。このように構成すれば、基板102の表面102aと裏面102bとのそれぞれに配置されているはんだボール104およびはんだボール106の三次元的な位置を取得することができるので、取得された三次元的な位置に基づいて、X線画像30aおよびX線画像30bにおけるはんだボール104(はんだボール106)の各々が、基板102の表面102aおよび裏面102bのいずれに配置されているかを検出することができる。そのため、X線画像30aおよびX線画像30bに対する解析を行うことによりはんだボール104およびはんだボール106の異常の有無を判定する場合に、異常と判定されたはんだボール104またははんだボール106が、基板102の表面102aと裏面102bとのいずれの面に配置されているかを容易に識別することができる。
【0057】
また、第1実施形態では、上記のように、制御部21(画像解析部)は、X線画像30a(第1画像)およびX線画像30b(第2画像)の各々におけるはんだボール104およびはんだボール106(対象部分)の領域を検出するとともに、検出されたはんだボール104およびはんだボール106の領域の重心位置をX線画像30aおよびX線画像30bの各々におけるはんだボール104およびはんだボール106の位置として取得する。このように構成すれば、X線画像30aおよびX線画像30bの各々におけるはんだボール104およびはんだボール106の大きさまたは形状などが異なる場合にも、はんだボール104およびはんだボール106の領域に含まれる画素の全体に対して演算処理を行うことなく、取得された重心位置に対して演算処理を行うことによって、はんだボール104およびはんだボール106の三次元的な位置(座標)を取得することができる。そのため、はんだボール104およびはんだボール106の領域の重心位置を取得することにより、三角測量によってはんだボール104およびはんだボール106の各々の三次元的な位置を算出するための演算処理の処理負担を軽減することができる。
【0058】
また、第1実施形態では、上記のように、制御部21(画像解析部)は、機械学習によって生成された学習済みモデル50を用いることによって、X線画像30a(第1画像)およびX線画像30b(第2画像)の各々におけるはんだボール104およびはんだボール106(対象部分)の領域を検出するとともに、検出されたはんだボール104およびはんだボール106の領域に基づいて、X線画像30aおよびX線画像30bの各々におけるはんだボール104およびはんだボール106の位置を取得する。ここで、機械学習によって生成された学習済みモデル50を用いることによって領域を検出する場合には、しきい値を用いた二値化によって領域を検出する場合よりも、領域を精度よく検出することができる。そのため、学習済みモデル50を用いることによって、検出された領域に基づいてはんだボール104およびはんだボール106の位置を精度よく取得することができる。その結果、三角測量によるはんだボール104およびはんだボール106の三次元的な位置を精度よく取得することができる。
【0059】
また、第1実施形態では、上記のように、互いに異なるはんだボール104(第1対象部分)およびはんだボール106(第2対象部分)を含み、はんだボール104およびはんだボール106は、X線画像30a(第1画像)およびX線画像30b(第2画像)の少なくとも一方において、X線照射部11からX線検出部12に向かう方向である照射方向(Z方向)から見て互いに重なり合う部分を有し、制御部21(画像解析部)は、機械学習によって生成された学習済みモデル50を用いることによって、はんだボール104の領域とはんだボール106の領域とを分離した状態で検出するとともに、検出されたはんだボール104の領域とはんだボール106の領域とに基づいて、X線画像30aおよびX線画像30bの各々におけるはんだボール104およびはんだボール106の各々の位置を取得することによって、はんだボール104の三次元的な位置と、はんだボール106の三次元的な位置とを算出する。このように構成すれば、はんだボール104の領域とはんだボール106の領域とに互いに重なり合う部分がある場合にも、学習済みモデル50を用いることによって、はんだボール104の領域とはんだボール106の領域とを分離した状態で精度よく検出することができる。そのため、はんだボール104の領域とはんだボール106の領域とを分離した状態で検査対象物101の検査を行うことができる。その結果、はんだボール104およびはんだボール106を含む検査対象物101に対してX線を照射することによって検査対象物101の検査を行う場合に、はんだボール104およびはんだボール106の三次元的な奥行き方向の位置に係わらず検査を容易に行うことができる。
【0060】
また、第1実施形態では、上記のように、制御部21(画像解析部)は、はんだボール104(第1対象部分)とはんだボール106(第2対象部分)とが照射方向から見て互いに重なり合う重畳部分61と、重なり合わない非重畳部分62とを別個に識別するように学習された学習済みモデル50を用いることによって、別個に識別された重畳部分61と非重畳部分62とに基づいて、X線画像30a(第1画像)およびX線画像30b(第2画像)の各々におけるはんだボール104の領域とはんだボール106の領域とを分離した状態で検出する。このように構成すれば、学習済みモデル50によって重畳部分61と非重畳部分62とを別個に識別することができるので、学習済みモデル50による識別結果に基づいて、重畳部分61と非重畳部分62とを組み合わせることによって、はんだボール104の領域とはんだボール106の領域とを、精度よく、かつ、容易に検出することができる。その結果、はんだボール104の領域とはんだボール106の領域とに重なり合う部分がある場合にも、三角測量によるはんだボール104およびはんだボール106の三次元的な位置を精度よく、かつ、容易に算出することができる。
【0061】
(第1実施形態によるX線画像解析方法の効果)
第1実施形態のX線画像解析方法では、以下のような効果を得ることができる。
【0062】
第1実施形態のX線画像解析方法では、上記のように、X線画像30a(第1画像)およびX線画像30b(第2画像)の各々における検査対象物101に含まれるはんだボール104およびはんだボール106(対象部分)の位置と、X線画像30aを生成するためのX線の照射角度とX線画像30bを生成するためのX線の照射角度との角度差とに基づいて、三角測量によってはんだボール104およびはんだボール106の三次元的な位置を算出する。これにより、X線画像30aにおけるはんだボール104およびはんだボール106の位置と、X線画像30bにおけるはんだボール104およびはんだボール106の位置と、X線画像30aとX線画像30bとのX線の照射角度の角度差とに基づいて、三角測量によって算出されたはんだボール104およびはんだボール106の三次元的な位置を取得することができる。そのため、はんだボール104およびはんだボール106の三次元的な位置を識別しながら、検査対象物101の検査を行うことができる。その結果、はんだボール104およびはんだボール106を含む検査対象物101に対してX線を照射することによって検査対象物101の検査を行う場合に、はんだボール104およびはんだボール106の三次元的な奥行き方向の位置に係わらず検査を容易に行うことが可能なX線画像解析方法を提供することができる。
【0063】
[第2実施形態]
図11および図12を参照して、第2実施形態について説明する。この第2実施形態では、重畳部分61と非重畳部分62とを別個に識別するように学習された学習済みモデル50を用いるように構成した第1実施形態と異なり、重畳部分と非重畳部分とを区別せずに、重畳部分と非重畳部分との両方を含む対象領域261を識別するように学習された学習済みモデル250を用いるように構成されている。なお、図中において、上記第1実施形態と同様の構成の部分には、同一の符号を付している。
【0064】
(第2実施形態によるX線撮影システムの構成)
図11に示すように、第2実施形態によるX線撮影システム200は、透視装置10と解析装置220を備えている。X線撮影システム200では、第1実施形態のX線撮影システム100と同様に検査対象物101におけるはんだボール104およびはんだボール106の異常の有無が判定される。透視装置10の構成は、第1実施形態と同様である。解析装置220は、制御部221および記憶部222を備えている。制御部221および記憶部222のハードウェア的な構成は、それぞれ、第1実施形態の制御部21および記憶部22と同様である。
【0065】
制御部221は、領域検出部241を含む。制御部221は、記憶部222に記憶されている各種のプログラム(ソフトウェア)を実行することにより、領域検出部241として機能する。すなわち、図11では、領域検出部241は、ソフトウェア的な機能ブロックとして図示されている。なお、これに限られずに、領域検出部241は、専用のハードウェア的な回路により構成されていてもよい。制御部221のその他の構成は第1実施形態と同様である。記憶部222は、学習済みモデル250を記憶している。
【0066】
図12に示すように、領域検出部241は、第1実施形態の領域検出部41と同様に、学習済みモデル250を用いることによって、透視装置10により生成されたX線画像30aおよびX線画像30bから、識別結果画像231aおよび識別結果画像231bを取得する。第1実施形態と異なり、識別結果画像231aおよび識別結果画像231bは、X線画像30aのうちのはんだボール104とはんだボール106とが照射方向(Z方向)から見て互いに重なり合う重畳部分と、重なり合わずに1つのはんだボール104またははんだボール106のみが含まれる非重畳部分との両方が白色に塗り分けられ、はんだボール104およびはんだボール106が両方とも含まれていない背景部分63が黒色に塗り分けられたラベル画像である。
【0067】
すなわち、学習済みモデル250は、第1実施形態の学習済みモデル50とは異なり、重畳部分と非重畳部分とを区別せずに、重畳部分と非重畳部分との両方を含む対象領域261を識別するように、機械学習により学習されて生成される。学習済みモデル250は、深層学習を用いた機械学習によって、入力された画像の各画素に対して、対象領域261を白色、そして、背景部分63を黒色に塗り分ける画像変換(画像再構成)を実行するように学習させることによって生成される。領域検出部241は、学習済みモデル250による識別結果として、対象領域261と背景部分63とが別個に識別された識別結果画像231aおよび識別結果画像231bを取得することによって、X線画像30aおよびX線画像30bの各々における対象領域261を識別する。
【0068】
そして、領域検出部241は、識別された対象領域261において、所定の識別しきい値よりも輝度値の小さい領域を重畳部分として検出する。具体的には、領域検出部241はX線画像30aおよびX線画像30bの各々から、対象領域261に含まれる部分のみを抽出する。そして、領域検出部241は、抽出された部分に対して所定の識別しきい値に基づく二値化処理を行うことによって、X線画像30aおよびX線画像30bの各々における対象領域261に含まれる部分のうちから、比較的輝度値が小さい(暗い)部分と、比較的輝度値が大きい(明るい)部分とを識別する。
【0069】
そして、領域検出部241は、所定の識別しきい値よりも輝度値の小さい領域(比較的暗い部分)を重畳部分として検出する。そして、領域検出部241は、所定の識別しきい値よりも輝度値の大きい領域(比較的明るい部分)を非重畳部分として検出する。このようにして、領域検出部241は、対象領域261のうちから重畳部分と非重畳部分とを識別することによって、第1実施形態の領域検出部41と同様の制御処理によってX線画像30aおよびX線画像30bの各々における複数のはんだボール104の領域と複数のはんだボール106の領域とを分離した状態で検出する。すなわち、X線画像30aおよびX線画像30bの各々における複数のはんだボール104の領域と複数のはんだボール106の領域とを分離した状態では、第1実施形態の領域64および領域65と同様に、いずれがはんだボール104の領域であっていずれがはんだボール106の領域であるかは不明である。
【0070】
制御部221は、第1実施形態と同様に三角測量による演算処理を実行することによって、検出された複数のはんだボール104の領域と複数のはんだボール106の領域とに基づいて、はんだボール104の三次元的な位置(照射方向における位置)と、はんだボール106の三次元的な位置(照射方向における位置)とを算出する。そして、制御部221は、第1実施形態と同様に、はんだボール104およびはんだボール106の異常の有無を判定する。
【0071】
なお、第2実施形態によるX線撮影システム200のその他の構成は、上記第1実施形態と同様である。
【0072】
(第2実施形態の効果)
第2実施形態では、以下のような効果を得ることができる。
【0073】
第2実施形態では、上記のように、制御部221(画像解析部)は、はんだボール104(第1対象部分)とはんだボール106(第2対象部分)とが照射方向から見て互いに重なり合う重畳部分と、重なり合わない非重畳部分とを区別せずに、重畳部分と非重畳部分との両方を含む対象領域261を識別するように学習された学習済みモデル250を用いることによって、X線画像30a(第1画像)およびX線画像30b(第2画像)の各々における対象領域261を識別するとともに、識別された対象領域261において、所定の識別しきい値よりも輝度値の小さい領域を重畳部分として検出することによって、X線画像30aおよびX線画像30bの各々におけるはんだボール104の領域とはんだボール106の領域とを分離した状態で検出する。このように構成すれば、重畳部分と非重畳部分とを区別せずに、重畳部分と非重畳部分との両方を含む対象領域261を識別するように学習された学習済みモデル250を用いるため、学習済みモデル250を生成するための教師データを生成する場合に、重畳部分と非重畳部分とを識別するように教師データを生成する場合に比べて、教師データを容易に生成することができる。そのため、学習済みモデル250を生成する作業の負担を軽減することができる。
【0074】
なお、第2実施形態のその他の効果は、上記第1実施形態と同様である。
【0075】
[変形例]
なお、今回開示された実施形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した実施形態の説明ではなく特許請求の範囲によって示され、さらに特許請求の範囲と均等の意味および範囲内でのすべての変更(変形例)が含まれる。
【0076】
たとえば、上記第1および第2実施形態では、互いに重なり合う部分を有するはんだボール104およびはんだボール106の各々の三次元的な位置を算出する例を示したが、本発明はこれに限られない。本発明では、X線の照射方向から見て重なり合う部分を有していない対象部分の三次元的な位置を算出するようにしてもよい。また、はんだボールではなく、検査対象物に含まれるボイド(空孔)などを対象部分として、三次元的な位置を算出するようにしてもよい。その場合、検査対象物は、基板を含む電子機器に限らず、金属または樹脂などにより形成された成形品であってもよい。
【0077】
また、上記第1および第2実施形態では、検出されたはんだボール104およびはんだボール106(対象部分)の領域の重心位置をはんだボール104およびはんだボール106の位置として取得する例を示したが、本発明はこれに限られない。本発明では、重心位置以外の位置をはんだボール104およびはんだボール106の位置として取得するようにしてもよい。
【0078】
また、上記第1および第2実施形態では、機械学習によって生成された学習済みモデル50(250)を用いることによって、X線画像30a(第1画像)およびX線画像30b(第2画像)の各々におけるはんだボール104およびはんだボール106(対象部分)の領域を検出する例を示したが、本発明はこれに限られない。本発明では、学習済みモデルを用いず、第1画像および第2画像に対して2値化処理などの画像処理を実行することによって、対象部分の領域を検出するようにしてもよい。
【0079】
また、上記第1および第2実施形態では、駆動部14(角度変更部)を、X線照射部11に対する検査対象物101の配置角度を変更することによって、検査対象物101に照射されるX線の照射角度を変更するように構成する例を示したが、本発明はこれに限られない。本発明では、角度変更部を、検査対象物に対するX線照射部の配置角度(X線照射部からX線検出部に照射されるX線の照射方向)を変更することによって、検査対象物に照射されるX線の照射角度を変更するようにしてもよい。たとえば、検査対象物の配置角度を変更せず、X線照射部およびX線検出部を回転させることによって照射角度を変更するようにしてもよい。また、検査対象物の配置位置、または、X線照射部の配置位置を変更することによって、照射角度を変更するようにしてもよい。
【0080】
また、上記第1および第2実施形態では、X線画像30a(第1画像)およびX線画像30b(第2画像)の生成を行う画像生成部15が、三角測量によってX線画像30aおよびX線画像30bに含まれるはんだボール104およびはんだボール106(対象部分)の三次元的な位置の解析処理を行う制御部21(画像解析部)とは別個に設けられている例を示したが、本発明はこれに限られない。本発明では、第1画像および第2画像の生成と、三角測量による対象部分の三次元的な位置の解析処理とを共通の制御装置によって行うようにしてもよい。
【0081】
また、上記第1および第2実施形態では、照射角度の互いに異なるX線画像30a(第1画像)とX線画像30b(第2画像)に基づいて、三角測量によって、X線画像30aおよびX線画像30bに含まれるはんだボール104(第1対象部分)およびはんだボール106(第2対象部分)の三次元的な位置を算出するとともに、算出された三次元的な位置を用いてはんだボール104およびはんだボール106の異常の有無の判定が行われる例を示したが、本発明はこれに限られない。本発明では、第1対象部分および第2対象部分の各々の三次元的な位置を算出せずに、学習済みモデルを用いることによって、1つのX線画像における第1対象部分の領域と第2対象部分の領域とを分離した状態で検出するとともに、分離した状態で検出された第1対象部分の領域と第2対象部分の領域とに基づいて、第1対象部分および第2対象部分の各々における異常の有無を判定するようにしてもよい。
【0082】
[態様]
上記した例示的な実施形態は、以下の態様の具体例であることが当業者により理解される。
【0083】
(項目1)
対象部分を含む検査対象物に対してX線を照射するX線照射部と、
前記X線照射部から照射されたX線を検出するX線検出部と、
前記検査対象物に照射されるX線の照射角度を変更する角度変更部と、
前記角度変更部により前記照射角度を変更しながら前記X線照射部により照射されて前記X線検出部により検出されたX線に基づいて、前記照射角度が互いに異なるX線画像である第1画像および第2画像を生成する画像生成部と、
前記画像生成部により生成された前記第1画像および前記第2画像の各々における前記検査対象物に含まれる前記対象部分の位置と、前記第1画像を生成するためのX線の前記照射角度と前記第2画像を生成するためのX線の前記照射角度との角度差とに基づいて、三角測量によって前記対象部分の三次元的な位置を算出する画像解析部と、を備える、X線撮影システム。
【0084】
(項目2)
前記角度変更部は、前記X線照射部に対する前記検査対象物の配置角度、前記検査対象物の配置位置、前記検査対象物に対する前記X線照射部の配置角度、および、前記X線照射部の配置位置の少なくとも1つを変更することによって、前記照射角度を変更し、
前記画像解析部は、前記第1画像および前記第2画像に対して再構成処理を行わずに、三角測量によって前記対象部分の三次元的な位置を算出する、項目1に記載のX線撮影システム。
【0085】
(項目3)
前記対象部分は、互いに異なる第1対象部分および第2対象部分を含み、
前記画像解析部は、前記画像生成部により生成された前記第1画像および前記第2画像の各々における前記第1対象部分および前記第2対象部分の各々の位置と、前記第1画像を生成するためのX線の前記照射角度と前記第2画像を生成するためのX線の前記照射角度との角度差とに基づいて、三角測量によって前記第1対象部分の三次元的な位置と、前記第2対象部分の三次元的な位置とを算出する、項目1または2に記載のX線撮影システム。
【0086】
(項目4)
前記第1対象部分は、基板の表面に格子状に並べて配置された複数の第1はんだボールを含み、
前記第2対象部分は、基板の裏面に格子状に並べて配置された複数の第2はんだボールを含み、
前記画像解析部は、前記第1画像および前記第2画像の各々における前記複数の第1はんだボールおよび前記複数の第2はんだボールの各々の位置と、前記第1画像の前記照射角度と前記第2画像の前記照射角度との角度差とに基づいて、三角測量によって前記複数の第1はんだボールおよび前記複数の第2はんだボールの各々の三次元的な位置を算出する、項目3に記載のX線撮影システム。
【0087】
(項目5)
前記画像解析部は、前記第1画像および前記第2画像の各々における前記対象部分の領域を検出するとともに、検出された前記対象部分の領域の重心位置を前記第1画像および前記第2画像の各々における前記対象部分の位置として取得する、項目1~4のいずれか1項に記載のX線撮影システム。
【0088】
(項目6)
前記画像解析部は、機械学習によって生成された学習済みモデルを用いることによって、前記第1画像および前記第2画像の各々における前記対象部分の領域を検出するとともに、検出された前記対象部分の領域に基づいて、前記第1画像および前記第2画像の各々における前記対象部分の位置を取得する、項目1~5のいずれか1項に記載のX線撮影システム。
【0089】
(項目7)
前記対象部分は、互いに異なる第1対象部分および第2対象部分を含み、
前記第1対象部分および前記第2対象部分は、前記第1画像および前記第2画像の少なくとも一方において、前記X線照射部から前記X線検出部に向かう方向である照射方向から見て互いに重なり合う部分を有し、
前記画像解析部は、機械学習によって生成された前記学習済みモデルを用いることによって、前記第1対象部分の領域と前記第2対象部分の領域とを分離した状態で検出するとともに、検出された前記第1対象部分の領域と前記第2対象部分の領域とに基づいて、前記第1画像および前記第2画像の各々における前記第1対象部分および前記第2対象部分の各々の位置を取得することによって、前記第1対象部分の三次元的な位置と、前記第2対象部分の三次元的な位置とを算出する、項目6に記載のX線撮影システム。
【0090】
(項目8)
前記画像解析部は、前記第1対象部分と前記第2対象部分とが前記照射方向から見て互いに重なり合う重畳部分と、重なり合わない非重畳部分とを別個に識別するように学習された前記学習済みモデルを用いることによって、別個に識別された前記重畳部分と前記非重畳部分とに基づいて、前記第1画像および前記第2画像の各々における前記第1対象部分の領域と前記第2対象部分の領域とを分離した状態で検出する、項目7に記載のX線撮影システム。
【0091】
(項目9)
前記画像解析部は、前記第1対象部分と前記第2対象部分とが前記照射方向から見て互いに重なり合う重畳部分と、重なり合わない非重畳部分とを区別せずに、前記重畳部分と前記非重畳部分との両方を含む対象領域を識別するように学習された前記学習済みモデルを用いることによって、前記第1画像および前記第2画像の各々における前記対象領域を識別するとともに、識別された前記対象領域において、所定の識別しきい値よりも輝度値の小さい領域を前記重畳部分として検出することによって、前記第1画像および前記第2画像の各々における前記第1対象部分の領域と前記第2対象部分の領域とを分離した状態で検出する、項目7に記載のX線撮影システム。
【0092】
(項目10)
互いに異なる対象部分である第1対象部分および第2対象部分を含む検査対象物に対してX線を照射するX線照射部と、
前記X線照射部から照射されたX線を検出するX線検出部と、
前記X線照射部により照射されて前記X線検出部により検出されたX線に基づいて、X線画像を生成する画像生成部と、
前記画像生成部により生成された前記X線画像における前記第1対象部分と前記第2対象部分とが前記X線照射部から前記X線検出部に向かう方向である照射方向から見て互いに重なり合う重畳部分と、重なり合わない非重畳部分とを別個に識別するように学習された学習済みモデルを用いることによって、別個に識別された前記重畳部分と前記非重畳部分とに基づいて、前記X線画像における前記第1対象部分の領域と前記第2対象部分の領域とを分離した状態で検出する画像解析部と、を備える、X線撮影システム。
【0093】
(項目11)
対象部分を含む検査対象物に対する照射角度を変更しながら照射されて検出されたX線に基づいて生成された、前記照射角度が互いに異なるX線画像である第1画像および第2画像を取得するステップと、
前記第1画像および前記第2画像の各々における前記検査対象物に含まれる前記対象部分の位置と、前記第1画像を生成するためのX線の前記照射角度と前記第2画像を生成するためのX線の前記照射角度との角度差とに基づいて、三角測量によって前記対象部分の三次元的な位置を算出するステップと、を備える、X線画像解析方法。
【符号の説明】
【0094】
11 X線照射部
12 X線検出部
14 駆動部(角度変更部)
15 画像生成部
21、221 制御部(画像解析部)
30a X線画像(第1画像、X線画像)
30b X線画像(第2画像、X線画像)
50、250 学習済みモデル
61 重畳部分
62 非重畳部分
100、200 X線撮影システム
101 検査対象物
102 基板
102a 表面
102b 裏面
104 はんだボール(対象部分、第1対象部分、第1はんだボール)
106 はんだボール(対象部分、第2対象部分、第2はんだボール)
261 対象領域
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12