特許 7643878 斜め三次元Ｘ線ＣＴ画像のアーチファクトの低減方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-03-03

(45)【発行日】2025-03-11

(54)【発明の名称】斜め三次元Ｘ線ＣＴ画像のアーチファクトの低減方法

(51)【国際特許分類】

   G01N 23/046 20180101AFI20250304BHJP

   G06T 1/00 20060101ALI20250304BHJP

【ＦＩ】

G01N23/046

G06T1/00 290B

【請求項の数】 4

(21)【出願番号】P 2021010340

(22)【出願日】2021-01-26

(65)【公開番号】P2022114166

(43)【公開日】2022-08-05

【審査請求日】2023-05-15

(73)【特許権者】

【識別番号】000004260

【氏名又は名称】株式会社デンソー

(73)【特許権者】

【識別番号】000003609

【氏名又は名称】株式会社豊田中央研究所

(74)【代理人】

【識別番号】110000567

【氏名又は名称】弁理士法人サトー

(72)【発明者】

【氏名】藤▲高▼ 直也

(72)【発明者】

【氏名】笹田 星児

(72)【発明者】

【氏名】北岸 浩一

(72)【発明者】

【氏名】上山 道明

(72)【発明者】

【氏名】木村 英彦

【審査官】田中 洋介

(56)【参考文献】

【文献】特開２００３－２６００４９（ＪＰ，Ａ）

【文献】特開２０１９－０２８０７３（ＪＰ，Ａ）

【文献】欧州特許出願公開第０３５６１７７８（ＥＰ，Ａ１）

【文献】特開２０２０－０８７２１１（ＪＰ，Ａ）

【文献】特開２０２０－１２８９０１（ＪＰ，Ａ）

【文献】特開２０１９－０２８０７２（ＪＰ，Ａ）

【文献】特開２００４－１３２９３１（ＪＰ，Ａ）

【文献】特開２０１９－１６５９７０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｎ ２３／００－２３／２２７６

Ａ６１Ｂ ６／００－６／５８

ＪＳＴＰｌｕｓ（ＪＤｒｅａｍＩＩＩ）

ＪＳＴＣｈｉｎａ（ＪＤｒｅａｍＩＩＩ）

(57)【特許請求の範囲】

【請求項1】

測定対象物（２）の回転軸方向に対してＸ線源（１）と検出器（４）とを結ぶ光軸角度を斜め方向とし、前記検出器により取得した投影画像を再構成して斜め三次元Ｘ線ＣＴ画像を生成し、その生成した斜め三次元Ｘ線ＣＴ画像を観察して前記測定対象物を評価する際に、アーチファクトを除去するための畳み込みニューラルネットワークの重みを学習する学習フェーズと、大きな構造に対応するための全体補正ニューラルネットワーク学習フェーズと、実際の画像に適用する適用フェーズとを順に行い、前記全体補正ニューラルネットワーク学習フェーズにおいて前記斜め三次元Ｘ線ＣＴ画像の圧縮と分割とを繰り返すことにより、前記斜め三次元Ｘ線ＣＴ画像に対して畳み込みニューラルネットワークを適用し、前記畳み込みニューラルネットワークを適用した複数の前記斜め三次元Ｘ線ＣＴ画像を組み合わせて処理することで、全体感と細部とを両立した処理を行い、斜め三次元Ｘ線ＣＴ画像に出現したアーチファクトを低減させる斜め三次元Ｘ線ＣＴ画像のアーチファクトの低減方法。

【請求項2】

前記畳み込みニューラルネットワークの重み学習において、コンピュータで生成した三次元構造を投影シミュレーションしたデータを学習データとして使用する請求項１に記載した斜め三次元Ｘ線ＣＴ画像のアーチファクトの低減方法。

【請求項3】

前記畳み込みニューラルネットワークの重み学習において、実物を斜め三次元Ｘ線ＣＴ又は三次元Ｘ線ＣＴにより測定したデータを学習データとして使用する請求項１に記載した斜め三次元Ｘ線ＣＴ画像のアーチファクトの低減方法。

【請求項4】

前記斜め三次元Ｘ線ＣＴ画像の圧縮と分割とを繰り返す際に、オフセットさせて分割した斜め三次元Ｘ線ＣＴ画像を重み付けして結合させる請求項１から３の何れか一項に記載した斜め三次元Ｘ線ＣＴ画像のアーチファクトの低減方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、斜め三次元Ｘ線ＣＴ画像のアーチファクトの低減方法に関する。

【背景技術】

【0002】

例えば車両に搭載される車載ディスプレイや電子制御装置等においては、小型化、軽量化、高機能化等を実現すべく高密度実装が求められており、電子基板を多層化して配線パターンを立体化する技術が採用されている。電子基板等の平板形状の測定対象物の内部を可視化する手法として、測定対象物を斜め三次元Ｘ線ＣＴ（Computed Tomography）により測定し、斜め三次元Ｘ線ＣＴ画像（以下、単にＸ線ＣＴ画像と称する）を生成する方法が供されている（例えば特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００３－３４１７５７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

測定対象物を斜め三次元Ｘ線ＣＴにより測定する方法によれば、測定対象物を非破壊としながら高倍率での三次元的な観察が可能となり、はんだ内のクラックやボイド等の観察が可能となる。しかしながら、Ｘ線ＣＴ画像を通常の観察断面方向とは異なる別方向から見ると、Ｘ線の照射方向にストリーク状のアーチファクトが出現する場合がある。通常とは異なる観察断面にアーチファクトが出現すると、その通常とは異なる観察断面で三次元的な観察を行うことが困難であったり、通常の観察断面にも奥行き方向の構造情報がノイズとして出現して通常の観察断面でも三次元的な観察を行うことが困難であったりする問題がある。

【0005】

本発明は、上記した事情に鑑みてなされたものであり、その目的は、測定対象物を斜め三次元Ｘ線ＣＴにより測定し、斜め三次元Ｘ線ＣＴ画像を観察して測定対象物を評価する際に、三次元的な観察を適切に行うことができる斜め三次元Ｘ線ＣＴ画像のアーチファクトの低減方法を提供することにある。

【課題を解決するための手段】

【0006】

請求項１に記載した発明によれば、測定対象物の回転軸方向に対してＸ線源と検出器とを結ぶ光軸角度を斜め方向とし、検出器により取得した投影画像を再構成して斜め三次元Ｘ線ＣＴ画像を生成し、その生成した斜め三次元Ｘ線ＣＴ画像を観察して測定対象物を評価する際に、アーチファクトを除去するための畳み込みニューラルネットワークの重みを学習する学習フェーズと、大きな構造に対応するための全体補正ニューラルネットワーク学習フェーズと、実際の画像に適用する適用フェーズとを順に行い、全体補正ニューラルネットワーク学習フェーズにおいて斜め三次元Ｘ線ＣＴ画像の圧縮と分割とを繰り返すことにより、斜め三次元Ｘ線ＣＴ画像に対して畳み込みニューラルネットワークを適用し、畳み込みニューラルネットワークを適用した複数の斜め三次元Ｘ線ＣＴ画像を組み合わせて処理することで、全体感と細部とを両立した処理を行い、斜め三次元Ｘ線ＣＴ画像に出現したアーチファクトを低減させるようにした。アーチファクトを低減させた状態で斜め三次元Ｘ線ＣＴ画像を観察することができ、三次元的な観察を適切に行うことができる。

【図面の簡単な説明】

【0007】

【図1】測定対象物を斜め三次元Ｘ線ＣＴにより測定する態様を示す図

【図2】測定対象物に対する各軸を示す図

【図3】ＸＹ断面のＸ線ＣＴ画像を示す図

【図4】ＸＺ断面のＸ線ＣＴ画像を示す図

【図5】ＣＮＮを適用した画像処理を説明する図

【図6】コンピュータで生成した三次元構造を投影シミュレーションする学習による汎用化を説明する図

【図7】基本フローチャートの学習フェーズを示す図

【図8】基本フローチャートの適用フェーズを示す図

【図9】応用フローチャートの学習フェーズを示す図

【図10】応用フローチャートの全体補正ＮＮ学習フェーズを示す図

【図11】応用フローチャートの全体補正ＮＮ学習フェーズの流れを示す図

【図12】応用フローチャートの適用フェーズを示す図

【図13】応用フローチャートの適用フェーズを示す図

【図14】応用フローチャートの適用フェーズの流れを示す図

【図15】元のＸ線ＣＴ画像を示す図

【図16】基本フローチャートによる処理後のＸ線ＣＴ画像を示す図

【図17】応用フローチャートによる処理後のＸ線ＣＴ画像を示す図

【図18】元のＸ線ＣＴ画像を示す図

【図19】基本フローチャートによる処理後のＸ線ＣＴ画像を示す図

【図20】応用フローチャートによる処理後のＸ線ＣＴ画像を示す図

【発明を実施するための形態】

【0008】

以下、本発明の一実施形態について図面を参照して説明する。本実施形態では、測定対象物は例えば電子基板等の平板形状の物体である。図１に示すように、測定対象物を斜め三次元Ｘ線ＣＴにより測定する方法では、Ｘ線源１に対向するように測定対象物２を設置台３上に配置し、観察部位を中心として測定対象物２を水平方向に回転させる。このとき、測定対象物２の回転軸Ａ方向に対してＸ線源１と検出器４とを結ぶ光軸角度を斜め方向とし、検出器４により取得した投影画像を再構成してＸ線ＣＴ画像を生成する。

【0009】

この場合、投影画像を再構成して生成したＸ線ＣＴ画像を通常の観察断面方向とは異なる別方向から見ると、Ｘ線の照射方向にストリーク状のアーチファクトが出現する場合がある。即ち、図２に示すはんだボールのＸ線ＣＴ画像では、測定対象物２の回転軸方向をＺ軸方向とした場合に、図３に示すように、ＸＹ断面のＸ線ＣＴ画像にはアーチファクトが出現しないが、図４に示すように、ＸＺ断面のＸ線ＣＴ画像にはアーチファクトが出現する場合がある。アーチファクトが出現すると、視認性が低下し、三次元的な観察を適切に行えなくなる虞がある。本実施形態は、このような課題に対し、Ｘ線ＣＴ画像に対して畳み込みニューラルネットワーク（ＣＮＮ：Convolutional neural network）を適用し、Ｘ線ＣＴ画像に出現したアーチファクトを低減させ、視認性の低下を回避する。

【0010】

最初に、ＣＮＮを適用する手順について説明する。ＣＮＮを適用する手順では、（１）ＣＮＮを適用した画像処理、（２）コンピュータで生成した三次元構造を投影シミュレーションする学習による汎用化、（３）ＣＮＮの多段化による大画像への適用を順次行う。以下、（１）～（３）の手順について説明する。

【0011】

（１）ＣＮＮを適用した画像処理
ＣＮＮを適用した画像処理について図５を参照して説明する。学習過程では、ノイズ有の学習用データに対してＣＮＮを適用して出力画像を生成し、その生成した出力画像とノイズ無の学習用データとの誤差を算出し、その算出した誤差をＣＮＮにフィードバックし、ＣＮＮを学習させる。ノイズ除去過程では、誤差が収束したときのＣＮＮの重みを使用し、その収束したときのＣＮＮの重みをノイズ除去前画像に適用してノイズ除去後画像を生成する。

【0012】

（２）コンピュータで生成した三次元構造を投影シミュレーションする学習による汎用化
コンピュータで生成した三次元構造を投影シミュレーションする学習による汎用化について図６を参照して説明する。コンピュータにより正解画像を生成し、その生成した正解画像を投影シミュレーションして投影画像を生成し、その生成した投影画像を再構成してＸ線ＣＴ画像を生成する。この画像を使って学習したときのＣＮＮを、汎用オートエンコーダとして利用する。正解画像は、多様な特徴を含む画像であり、例えば楕円体、六面体、立方体、平面、直線、粒子等を含む。

【0013】

（３）ＣＮＮの多段化による大画像への適用
ＣＮＮの多段化による大画像への適用については後述する。

【0014】

畳み込みニューラルネットワークを適用してアーチファクトを低減する方法として、（ア）基本フローチャート、（イ）応用フローチャートがある。以下、各フローチャートについて説明する。
（ア）基本フローチャート
基本フローチャートについて図７から図８を参照して説明する。基本フローチャートは、学習フェーズと、適用フェーズとから構成される。
学習フェーズは、アーチファクトを除去するためのＣＮＮの重みを学習するフェーズである。ＣＮＮの重み学習において、コンピュータで生成した三次元構造を投影シミュレーションしたデータを学習データとして使用しても良いし、実物を斜め三次元Ｘ線ＣＴ又は三次元Ｘ線ＣＴにより測定したデータを学習データとして使用しても良い。学習フェーズでは、図７に示すように、学習の正解となる正解画像を生成する（Ｓ１、Ｓ２）。次いで、その生成した正解画像を、実際の測定を模擬した投影シミュレーションにかけて投影画像を取得する（Ｓ３）。次いで、その取得した投影画像を、実測定と同様に再構成してＸ線ＣＴ画像を生成し（Ｓ４）、その生成したＸ線ＣＴ画像をアーチファクト付き画像として入力する（Ｓ５）。次いで、最初に生成した正解画像を正解データとしてＣＮＮを学習させ（Ｓ６）、収束したときのネットワークの重みを学習済みネットワークとして保存する（Ｓ７）。

【0015】

適用フェーズは、実際に測定したＸ線ＣＴ画像に出現したアーチファクトを除去するフェーズである。適用フェーズでは、図８に示すように、測定対象物を斜め三次元Ｘ線ＣＴにより測定し、投影画像を再構成してＸ線ＣＴ画像をアーチファクト付き画像として生成する（Ｓ１１～Ｓ１４）。次いで、ネットワークの重みで想定している入力サイズとアーチファクト付き画像のサイズとを比較し（Ｓ１５）、ネットワークの重みで想定している入力サイズが、アーチファクト付き画像のサイズよりも小さいと判定すると（Ｓ１５：ＹＥＳ）、アーチファクト付き画像を、ネットワークの重みで想定している入力サイズで分割する（Ｓ１６）。その後、アーチファクト付き画像をＣＮＮに入力してアーチファクトを除去する（Ｓ１７）。一方、ネットワークの重みで想定している入力サイズが、アーチファクト付き画像のサイズよりも小さくないと判定すると（Ｓ１５：ＮＯ）、そのままアーチファクト付き画像をＣＮＮに入力してアーチファクトを除去する（Ｓ１７）。
次いで、ネットワークの重みで想定している入力サイズとアーチファクト付き画像のサイズとを比較し（Ｓ１８）、ネットワークの重みで想定している入力サイズが、アーチファクト付き画像のサイズよりも小さいと判定すると（Ｓ１８：ＹＥＳ）、その分割したアーチファクト付き画像を再結合し（Ｓ１９）、アーチファクト除去画像を生成する（Ｓ２０）。一方、ネットワークの重みで想定している入力サイズが、アーチファクト付き画像のサイズよりも小さくないと判定すると（Ｓ１５：ＮＯ）、そのままアーチファクト除去画像を生成する（Ｓ２０）。

【0016】

（イ）応用フローチャート
応用フローチャートについて図９から図１４を参照して説明する。上記した基本フローチャートでは、分割によりマクロ的な情報が失われてしまい、大きな構造由来のアーチファクトには対応不能である。アーチファクトは画像を圧縮しても構造が維持されるので、コンピュータで処理可能なサイズまで圧縮することで大きな構造へ対応可能とする。圧縮したままでは細かな構造情報が消えてしまうので、次のステップでは１回目の圧縮よりも緩く圧縮する。即ち、元の画像のある軸方向のサイズが例えば２５６ピクセルであれば、最初のステップでは６４ピクセルまで圧縮してＣＮＮを適用し、次のステップでは１２８ピクセルまで圧縮して分割してＣＮＮを適用する。それらの画像を組み合わせて処理することで、全体感と細部とを両立した処理が可能となる。この処理を多段階で適用することで、任意のサイズの画像にも対応可能となる。

【0017】

応用フローチャートは、学習フェーズと、全体補正ＮＮ学習フェーズと、適用フェーズとから構成される。学習フェーズは、図９に示すように、上記した基本フローチャートで説明した学習フェーズと同じである。即ち、Ｓ２１～Ｓ２７は、上記した基本フローチャートのＳ１～Ｓ７と同じである。

【0018】

全体補正ＮＮ学習フェーズは、大きな構造に対応するための全体補正のフェーズである。
全体補正ＮＮ学習フェーズでは、図１０に示すように、１つ目のＮＮの入力想定画像のサイズよりも大きなサイズの画像を生成する。例えば１つ目のＮＮの想定サイズが６４×６４×６４ピクセルのサイズであれば、各軸を４倍とする２５６×２５６×２５６ピクセルのサイズの画像を生成し（Ｓ３１）、その生成した画像を正解画像とし（Ｓ３２）、その正解画像を、実際の測定を模擬した投影シミュレーションにかけて投影画像を取得する（Ｓ３３）。次いで、その取得した投影画像を、実測定と同様に再構成してＸ線ＣＴ画像を生成し（Ｓ３４）、その生成したＸ線ＣＴ画像をアーチファクト付き画像として生成する（Ｓ３５）。

【0019】

次いで、その生成したアーチファクト付き画像を６４×６４×６４ピクセルのサイズの画像群に分割し（Ｓ３６）、アーチファクト付き画像をＣＮＮに入力してアーチファクトを除去する（Ｓ３７）。又、最初に生成した２５６×２５６×２５６ピクセルのサイズの画像を同様に分割して正解画像とする（Ｓ３８）。更に、その分割した画像を、３２×３２×３２ピクセルのサイズに圧縮し（Ｓ３９）、Ｓ３７及びＳ３９を入力データとすると共に、Ｓ３８を正解データとしてＣＮＮを学習させ（Ｓ４０）、全体感補正のニューラルネットワークを取得する（Ｓ４１）。図１１に全体補正ＮＮ学習フェーズの流れを概略的に示している。

【0020】

適用フェーズは、実際の画像に適用するフェーズである。適用フェーズでは、図１２及び図１３に示すように、最初の測定により取得したアーチファクト付き画像のサイズを調整する。例えばアーチファクト除去ＮＮの入力が６４×６４×６４ピクセルのサイズを想定していれば、各軸全てのサイズが６４×２＾Ｎ（＾は、べき乗を示す）となるようにサイズを調整し（Ｓ５１～Ｓ５５）、サイズを調整した画像を取得する（Ｓ５６）。例えば５００×５００×２００ピクセルのサイズの画像を処理したい場合は、５１２×５１２×５１２ピクセルのサイズとなるように不足する部分を画素値「０」で埋める。次いで、サイズを調整した画像を６４×６４×６４ピクセルのサイズに圧縮し（Ｓ５７）、アーチファクト除去ＮＮを適用する（Ｓ５８）。

【0021】

次いで、ステップＳ５５においてサイズを調整した画像を１２８×１２８×１２８ピクセルのサイズに圧縮し（Ｓ５９）、その圧縮した画像を６４×６４×６４ピクセルのサイズに８分割し（Ｓ６０）、その８分割した画像群にアーチファクト除去ＮＮを適用する（Ｓ６１）。次いで、Ｓ５８においてアーチファクト除去ＮＮを適用した画像を３２×３２×３２ピクセルのサイズに８分割し（Ｓ６２）、それらを全体感補正ＮＮに入力する（Ｓ６３）。次いで、全体感補正ＮＮにより取得した結果を結合し（Ｓ６４）、１２８×１２８×１２８ピクセルのサイズの全体感及び細部の両方を復元した画像を生成する。この操作を画像のサイズが５１２×５１２×５１２ピクセルになるまで繰り返す。

【0022】

即ち、ステップＳ５５においてサイズを調整した画像を２５６×２５６×２５６ピクセルのサイズに圧縮し（Ｓ６５）、その圧縮した画像を６４×６４×６４ピクセルのサイズに６４分割し（Ｓ６６）、その６４分割した画像群にアーチファクト除去ＮＮを適用する（Ｓ６７）。次いで、Ｓ６４において結合した画像を３２×３２×３２ピクセルのサイズに６４分割し（Ｓ６８）、それらを全体感補正ＮＮに入力する（Ｓ６９）。次いで、全体感補正ＮＮにより取得した結果を結合し（Ｓ７０）、２５６×２５６×２５６ピクセルのサイズの全体感及び細部の両方を復元した画像を生成する。

【0023】

次いで、ステップＳ５５においてサイズを調整した画像を６４×６４×６４ピクセルのサイズに５１２分割し（Ｓ７１）、その５１２分割した画像群にアーチファクト除去ＮＮを適用する（Ｓ７２）。次いで、Ｓ７０において結合した画像を３２×３２×３２ピクセルのサイズに５１２分割し（Ｓ７３）、それらを全体感補正ＮＮに入力する（Ｓ７４）。次いで、全体感補正ＮＮにより取得した結果を結合し（Ｓ７５）、５１２×５１２×５１２ピクセルのサイズの全体感及び細部の両方を復元した画像を生成する。

【0024】

次いで、最初に「０」で埋めた部分を除去してサイズ調整し（Ｓ７６）、元の５００×５００×２００ピクセルのサイズのアーチファクトを除去した画像を取得する（Ｓ７７）。本実施形態では４段階の場合を例示したが、元の画像のサイズが更に大きければ、５段階以上の段数にしても良いし、元の画像のサイズが小さければ、３段階以下の段数にしても良い。図１４に適用フェーズの流れを概略的に示している。

【0025】

図１５は、測定対象物をＢＧＡ（Ball Grid Array）とした場合の元のＸ線ＣＴ画像を示し、図１６は、基本フローチャートによる処理後のＸ線ＣＴ画像を示し、図１７は、応用フローチャートによる処理後のＸ線ＣＴ画像を示している。図１６及び図１７では、図１５において出現していたアーチファクトが低減されており、アーチファクトが出現していた箇所が鮮明になっている。図１８は、測定対象物をＱＦＮ（Quad Flat Non-leaded package）とした場合の元のＸ線ＣＴ画像を示し、図１９は、基本フローチャートによる処理後のＸ線ＣＴ画像を示し、図２０は、応用フローチャートによる処理後のＸ線ＣＴ画像を示している。図１９及び図２０では、図１８において出現していたアーチファクトが低減されており、アーチファクトが出現していた箇所が鮮明になっている。このように上記した基本フローチャートによる処理を行うことで、アーチファクトを低減させることができ、更に応用フローチャートによる処理を行うことで、分割による格子ノイズを低減させることができ、アーチファクトが出現していた箇所を鮮明にすることができる。

【0026】

以上に説明したように本実施形態によれば、次に示す作用効果を得ることができる。
Ｘ線ＣＴ画像を観察して測定対象物２を評価する際に、Ｘ線ＣＴ画像に対してＣＮＮを適用し、Ｘ線ＣＴ画像に出現したアーチファクトを低減させるようにした。アーチファクトを低減させた状態でＸ線ＣＴ画像を観察することができ、三次元的な観察を適切に行うことができる。

【0027】

又、ＣＮＮの重み学習において、コンピュータで生成した三次元構造を投影シミュレーションして取得したデータを学習データとして使用するようにした。任意の三次元構造を使用することで、汎用性を高めることができる。

【0028】

Ｘ線ＣＴ画像の圧縮と分割とを繰り返し、Ｘ線ＣＴ画像に対してＣＮＮを適用するようにした。圧縮と分割とを繰り返すことで、大きなサイズの画像にも対応することができる。又、Ｘ線ＣＴ画像の圧縮と分割とを繰り返す際に、オフセットさせて分割したＸ線ＣＴ画像を重み付けして結合させるようにした。分割と結合とによる画像の不連続性を補正することができる。

【0029】

本開示は、実施例に準拠して記述されたが、当該実施例や構造に限定されるものではないと理解される。本開示は、様々な変形例や均等範囲内の変形をも包含する。加えて、様々な組み合わせや形態、更には、それらに一要素のみ、それ以上、或いはそれ以下を含む他の組み合わせや形態をも、本開示の範疇や思想範囲に入るものである。

【符号の説明】

【0030】

図面中、１はＸ線源、２は測定対象物、４は検出器である。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】