特許 7149516 検査支援プログラム、検査支援方法および検査支援装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-09-29

(45)【発行日】2022-10-07

(54)【発明の名称】検査支援プログラム、検査支援方法および検査支援装置

(51)【国際特許分類】

   A61B 8/14 20060101AFI20220930BHJP

   G01N 29/265 20060101ALI20220930BHJP

   G01N 29/30 20060101ALI20220930BHJP

   G01N 29/06 20060101ALI20220930BHJP

【ＦＩ】

A61B8/14

G01N29/265

G01N29/30

G01N29/06

【請求項の数】 10

(21)【出願番号】P 2018157844

(22)【出願日】2018-08-24

(65)【公開番号】P2020028680

(43)【公開日】2020-02-27

【審査請求日】2021-06-02

(73)【特許権者】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(73)【特許権者】

【識別番号】503359821

【氏名又は名称】国立研究開発法人理化学研究所

(73)【特許権者】

【識別番号】592019213

【氏名又は名称】学校法人昭和大学

(73)【特許権者】

【識別番号】510097747

【氏名又は名称】国立研究開発法人国立がん研究センター

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】小松 正明

(72)【発明者】

【氏名】吉田 裕之

(72)【発明者】

【氏名】酒井 彬

(72)【発明者】

【氏名】関沢 明彦

(72)【発明者】

【氏名】松岡 隆

(72)【発明者】

【氏名】浜本 隆二

【審査官】蔵田 真彦

(56)【参考文献】

【文献】特開２０１７－０２３３４７（ＪＰ，Ａ）

【文献】特開２０１８－０７９０００（ＪＰ，Ａ）

【文献】特開２０１４－００４１４９（ＪＰ，Ａ）

【文献】国際公開第２０１７／１５８９９８（ＷＯ，Ａ１）

【文献】特開２０１５－１１２４５０（ＪＰ，Ａ）

【文献】特開２００８－２６４１６７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ８／００－８／１５

Ｇ０１Ｎ ２９／００－２９／５２

(57)【特許請求の範囲】

【請求項1】

本来存在するべき正常な内部構造が判明している 検査対象について走査により取得された複数の超音波検査画像それぞれについて、物体検知技術を用いて前記検査対象の内部の部位の検知を行い、
前記部位の検知結果と、判明している前記内部構造との比較に基づき、前記内部構造が判明している前記検査対象の内部に含まれる複数の部位それぞれの検知結果を前記走査と対応付けた部位検知マップを表示する、
処理をコンピュータに実行させる検査支援プログラム。

【請求項2】

前記表示する処理は、前記検知結果が未検知の部位、および、前記検知結果の確信度が所定値より低い部位のうち、いずれか１つ以上の部位が前記走査において所定区間以上連続する場合に、前記部位検知マップにおける前記部位に対応する部分を強調して表示する、
請求項１に記載の検査支援プログラム。

【請求項3】

前記表示する処理は、前記複数の部位の全ての部位が未検知である検知結果について、前記部位検知マップの前記検知結果に対応する部分を強調して表示する、
請求項１または２に記載の検査支援プログラム。

【請求項4】

前記表示する処理は、前記検知結果について、未検知、および、前記検知結果の確信度に応じて異なる態様で表示する、
請求項１～３のいずれか１つに記載の検査支援プログラム。

【請求項5】

前記表示する処理は、前記部位検知マップにおいて、前記検知結果が指定されると、指定された前記検知結果に対応する前記超音波検査画像を表示する、
請求項１～４のいずれか１つに記載の検査支援プログラム。

【請求項6】

前記表示する処理は、前記複数の部位の全ての部位が未検知である検知結果が連続する場合に、前記走査が不良である旨を表示する、
請求項１に記載の検査支援プログラム。

【請求項7】

前記走査は、順方向の走査である、
請求項１～６のいずれか１つに記載の検査支援プログラム。

【請求項8】

前記走査は、スライド走査、回転走査、扇状走査または振り子走査、あるいは、これらの組み合わせである、
請求項１～７のいずれか１つに記載の検査支援プログラム。

【請求項9】

本来存在するべき正常な内部構造が判明している 検査対象について走査により取得された複数の超音波検査画像それぞれについて、物体検知技術を用いて前記検査対象の内部の部位の検知を行い、
前記部位の検知結果と、判明している前記内部構造との比較に基づき、前記内部構造が判明している前記検査対象の内部に含まれる複数の部位それぞれの検知結果を前記走査と対応付けた部位検知マップを表示する、
処理をコンピュータが実行する検査支援方法。

【請求項10】

本来存在するべき正常な内部構造が判明している 検査対象について走査により取得された複数の超音波検査画像それぞれについて、物体検知技術を用いて前記検査対象の内部の部位の検知を行う検知部と、
前記部位の検知結果と、判明している前記内部構造との比較に基づき、前記内部構造が判明している前記検査対象の内部に含まれる複数の部位それぞれの検知結果を前記走査と対応付けた部位検知マップを表示する表示制御部と、
を有する検査支援装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、検査支援プログラム、検査支援方法および検査支援装置に関する。

【背景技術】

【0002】

対象を破壊することなく内部構造の異常の有無を検査する超音波検査が知られている。超音波検査では、例えば、検査対象に対して二次元走査断面を撮像し、当該走査断面の画像を確認することで検査を行う。走査断面の画像は、撮像に用いるプローブが、例えば人によって走査されるため、撮像環境の変化の影響を強く受ける。このため、走査断面の画像、つまり超音波検査画像の確認は、目視によって行われることが多い。また、診断に有用な情報を提供する技術としては、ＣＴ（Computed Tomography）やＭＲＩ（Magnetic Resonance Imaging）等でのスキャン結果から３次元モデルを生成し、任意の切断面の情報を提示する技術が知られている。

【0003】

さらに、画像にどの様な物体が映っているかを検知する物体検知技術が知られている。物体検知技術は、例えば、機械学習によって画像内の物体を検知する手法として、ＤＰＭ（Deformable Parts Model）やＹＯＬＯ（You Only Look Once）が提案されている。

【先行技術文献】

【非特許文献】

【0004】

【文献】M.A.Sadeghi and D.Forsyth，“30Hz Object Detection with DPM V5”，In Computer Vision-ECCV 2014，pages 65-79，Springer，2014

【文献】Joseph Redmon，Santosh Divvala，Ross Girshick，Ali Farhadi，“You Only Look Once: Unified, Real-Time Object Detection”，arXiv:1506.02640v5 [cs.CV]，9 May 2016

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、超音波検査では、複数の画像から複数の部位をそれぞれ確認することが求められるため、部位の状況を確認する画像を選択するための操作の負担が大きくなる。つまり、超音波検査において異常の有無を判断するための負担が大きくなる。

【0006】

一つの側面では、異常の有無が容易に判断可能な部位検知マップを提供できる検査支援プログラム、検査支援方法および検査支援装置を提供することにある。

【課題を解決するための手段】

【0007】

一つの態様では、検査支援プログラムは、検査対象について走査により取得された複数の超音波検査画像それぞれについて、物体検知技術を用いた部位の検知を行う処理をコンピュータに実行させる。検査支援プログラムは、前記検知結果に基づき、前記検査対象に含まれる複数の部位それぞれの検知結果を前記走査と対応付けた部位検知マップを表示する処理をコンピュータに実行させる。

【発明の効果】

【0008】

異常の有無が容易に判断可能な部位検知マップを提供できる。

【図面の簡単な説明】

【0009】

【図1】図１は、実施例１の検査支援装置の構成の一例を示すブロック図である。

【図2】図２は、物体検知技術に基づく部位検知マップの一例を示す図である。

【図3】図３は、プローブの走査方法の一例を示す図である。

【図4】図４は、プローブの走査方法の他の一例を示す図である。

【図5】図５は、プローブの走査方法の他の一例を示す図である。

【図6】図６は、プローブの走査方法の他の一例を示す図である。

【図7】図７は、超音波検査画像の取得の一例を示す図である。

【図8】図８は、正常パターンの部位検知マップの一例を示す図である。

【図9】図９は、異常パターンの部位検知マップの一例を示す図である。

【図10】図１０は、異常パターンの部位検知マップの他の一例を示す図である。

【図11】図１１は、判定不能パターンの部位検知マップの一例を示す図である。

【図12】図１２は、判定不能パターンの部位検知マップの他の一例を示す図である。

【図13】図１３は、部位検知マップの一例を示す図である。

【図14】図１４は、超音波検査画像の一例を示す図である。

【図15】図１５は、部位の検知結果の一例を示す図である。

【図16】図１６は、部位検知マップの他の一例を示す図である。

【図17】図１７は、超音波検査画像の他の一例を示す図である。

【図18】図１８は、部位の検知結果の他の一例を示す図である。

【図19】図１９は、実施例１の検査支援処理の一例を示すフローチャートである。

【図20】図２０は、実施例２の検査対象および検査方法の一例を示す図である。

【図21】図２１は、映っているべきコンポーネントの一例を示す図である。

【図22】図２２は、実施例２の部位検知マップの一例を示す図である。

【図23】図２３は、検査支援プログラムを実行するコンピュータの一例を示す図である。

【発明を実施するための形態】

【0010】

以下、図面に基づいて、本願の開示する検査支援プログラム、検査支援方法および検査支援装置の実施例を詳細に説明する。なお、本実施例により、開示技術が限定されるものではない。また、以下の実施例は、矛盾しない範囲で適宜組みあわせてもよい。

【実施例1】

【0011】

図１は、実施例１の検査支援装置の構成の一例を示すブロック図である。図１に示す検査支援装置１００は、検査対象について走査により取得された複数の超音波検査画像それぞれについて、物体検知技術を用いた部位の検知を行う。検査支援装置１００は、検知結果に基づき、検査対象に含まれる複数の部位それぞれの検知結果を走査と対応付けた部位検知マップを表示する。これにより、検査支援装置１００は、異常の有無が容易に判断可能な部位検知マップを提供できる。

【0012】

まず、本実施例に係る超音波検査における物体検知について説明する。超音波検査を行う場面では、検査対象の物体は、内部構造が一定であることが多い。このため、超音波検査では、プローブ位置等の情報から本来存在するべき構造を、検査における知見や設計図等を用いて推定することが可能である。そこで、本実施例では、正常な場合の内部構造が判明している検査対象に対し、機械学習を用いた物体検知技術にて検知した内部構造と、本来存在するべき正常構造とを比較することで、各部位の検知結果を表す部位検知マップを生成する。なお、機械学習を用いた物体検知技術は、現状では人の水準（平均精度ｍＡＰ＝８０程度）には及ばないものの、処理結果を統計的に処理することで十分に信頼のおける結果を計算できる。また、本実施例では、検査対象として胎児の心臓を一例として説明するが、他の臓器等にも適用可能である。

【0013】

図２は、物体検知技術に基づく部位検知マップの一例を示す図である。図２に示すように、検査支援装置１００は、検査対象について走査により取得された複数の超音波検査画像１１に対して、機械学習を用いた物体検知技術を適用して部位の検知を行い、検知結果１２を取得する。なお、走査方向は、例えば、順方向の走査とすることができるが、逆方向の走査であってもよい。検査支援装置１００は、検知結果１２に基づき、検査対象に含まれる複数の「部位Ａ」～「部位Ｆ」の検知結果を走査の「断面１」～「断面９」と対応付けた部位検知マップ１３を生成して表示する。ここで、検知結果は、部位の確信度となる。部位検知マップ１３では、十分な確信度で検知した部位を「○」で表し、不十分な確信度で検知した部位を「△」で表し、未検知を「×」で表している。

【0014】

次に、検査支援装置１００の構成について説明する。図１に示すように、検査支援装置１００は、プローブ１１０と、表示部１１１と、操作部１１２と、記憶部１２０と、制御部１３０とを有する。なお、検査支援装置１００は、図１に示す機能部以外にも既知のコンピュータが有する各種の機能部、例えば各種の入力デバイスや音声出力デバイス等の機能部を有することとしてもかまわない。

【0015】

プローブ１１０は、検査対象に対して超音波を照射するとともに、検査対象内部で反射した超音波を受信する探触子の一例である。プローブ１１０は、例えば、リニア型、コンベックス型、セクタ型といった各種のプローブを用いることができる。また、プローブ１１０は、例えば、２ＭＨｚ～２０ＭＨｚ程度の周波数の超音波を用いることができる。プローブ１１０は、受信データを制御部１３０に出力する。

【0016】

ここで、図３から図６を用いてプローブの走査方法について説明する。図３は、プローブの走査方法の一例を示す図である。図３は、スライド走査の場合を表す。スライド走査は、プローブ１１０を縦または横方向に持ち、母体２０に対して角度を変えずに直交する方向に滑らせて平行移動させる走査法である。

【0017】

図４は、プローブの走査方法の他の一例を示す図である。図４は、回転走査の場合を表す。回転走査は、プローブ１１０の中心を軸にして、母体２０に対して描出位置をずらさないように回転させる走査法である。

【0018】

図５は、プローブの走査方法の他の一例を示す図である。図５は、扇状走査の場合を表す。扇状走査は、母体２０に対してプローブ１１０の位置はそのままで、手首を使って扇状にプローブ１１０を振る走査法である。

【0019】

図６は、プローブの走査方法の他の一例を示す図である。図６は、振り子走査の場合を表す。振り子走査は、コンベックス型のプローブ１１０を用いて、コンベックスの半円形の曲面を利用して、母体２０に対してプローブ１１０を左右に振る走査法である。

【0020】

図１に説明に戻って、表示部１１１は、各種情報を表示するための表示デバイスである。表示部１１１は、例えば、表示デバイスとして液晶ディスプレイ等によって実現される。表示部１１１は、制御部１３０から入力された表示画面等の各種画面を表示する。

【0021】

操作部１１２は、検査支援装置１００のユーザから各種操作を受け付ける入力デバイスである。操作部１１２は、例えば、入力デバイスとして、キーボードやマウス等によって実現される。操作部１１２は、ユーザによって入力された操作を操作情報として制御部１３０に出力する。なお、操作部１１２は、入力デバイスとして、タッチパネル等によって実現されるようにしてもよく、表示部１１１の表示デバイスと、操作部１１２の入力デバイスとは、一体化されるようにしてもよい。

【0022】

記憶部１２０は、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、ハードディスクや光ディスク等の記憶装置によって実現される。記憶部１２０は、画像記憶部１２１と、物体データ記憶部１２２と、学習モデル記憶部１２３と、部位検知データ記憶部１２４とを有する。また、記憶部１２０は、制御部１３０での処理に用いる情報を記憶する。

【0023】

画像記憶部１２１は、プローブ１１０から入力された受信データに基づいて生成された複数の超音波検査画像を記憶する。ここで、複数の超音波検査画像とは、例えば、複数のフレームを持つ動画像とすることができる。なお、以下の説明では、複数の超音波検査画像を動画像と表し、動画像の１フレームの画像を検査画像または超音波検査画像と表す場合がある。

【0024】

物体データ記憶部１２２は、検査対象の物体の構造を表す物体データを記憶する。物体データは、例えば、プローブ１１０の現在位置や、前後のフレームの関係等を用いて推定されたルールベースのデータを用いることができる。また、物体データは、人手での入力や設計図に基づいた三次元モデル等に基づくデータを用いてもよい。すなわち、物体データは、何らかの手法を用いて取得した、時刻ｔにおける検査画像ｍ＿ｔに映っているべき部位の集合Ｒ＿ｔと表すことができる。従って、以下の説明では、時刻ｔにおける検査画像ｍ＿ｔに映っているべき部位の集合Ｒ＿ｔを、物体データＲ＿ｔとも表現する。また、物体データＲ＿ｔが存在する検査画像ｍ＿ｔに対応する時刻ｔの区間を時刻集合Ｔ＿Ｒで表し、時刻集合Ｔ＿Ｒに対応する検査画像ｍ＿ｔの集合を全検査画像Ｍで表す。すなわち、物体データ記憶部１２２は、物体データＲ＿ｔとともに、時刻集合Ｔ＿Ｒを記憶する。なお、時刻集合Ｔ＿Ｒに対応する物体データＲ＿ｔは、物体データＲと表す。

【0025】

学習モデル記憶部１２３は、検査対象の物体について、物体の構造Ｈに関する複数の要素ｈを学習させた学習モデルを記憶する。学習モデルは、ＹＯＬＯ、ＳＳＤ（Single Shot MultiBox Detector）、Ｆａｓｔｅｒ－ＲＮＮ（Recurrent Neural Network）等の物体検知アルゴリズムによって、予め物体の構造Ｈの各要素ｈを学習したものである。学習モデルは、例えば、ニューラルネットワークの各種パラメータ（重み係数）等を記憶する。

【0026】

部位検知データ記憶部１２４は、検査画像ｍ＿ｔごとに、学習モデルを用いて物体の構造Ｈの各要素ｈを検知したデータである部位検知データを記憶する。部位検知データは、時刻ｔにおける検査画像ｍ＿ｔに映っている部位（要素ｈ）の集合Ｄ＿ｔと表すことができる。従って、以下の説明では、時刻ｔにおける検査画像ｍ＿ｔに映っている部位の集合Ｄ＿ｔを、部位検知データＤ＿ｔとも表現する。また、部位検知データＤ＿ｔは、時刻ｔにおける検査画像ｍ＿ｔに映っている部位（要素ｈ）の確信度Ｐ＿ｈ（ｍ＿ｔ）の集合に着目すると、確信度マップＤ（ｈ，ｔ）と表現することもできる。つまり、確信度マップＤ（ｈ，ｔ）は、時刻ｔにおける検査画像ｍ＿ｔに映っている部位（要素ｈ）の確信度Ｐ＿ｈ（ｍ＿ｔ）の集合である。すなわち、確信度マップＤ（ｈ，ｔ）は、部位検知マップの一例である。なお、時刻集合Ｔ＿Ｒに対応する部位検知データＤ＿ｔは、部位検知データＤと表す。

【0027】

制御部１３０は、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、内部の記憶装置に記憶されているプログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部１３０は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現されるようにしてもよい。制御部１３０は、取得部１３１と、判定部１３２と、検知部１３３と、表示制御部１３４とを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部１３０の内部構成は、図１に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。

【0028】

取得部１３１は、動画像の取得の開始が指示されると、プローブ１１０から受信データの取得を開始する。取得部１３１は、取得した受信データに基づいて、動画像の生成を開始する。すなわち、取得部１３１は、動画像の取得を開始する。なお、受信データに基づく検査画像は、超音波を照射してから反射波が返ってくるまでの時間から距離を算出することで得られ、例えば、Ｂモード、Ｍモード、カラードップラー等の各種の検査画像を用いることができる。また、取得部１３１は、取得した動画像について、例えば胎児が動く等により走査方向が戻る部分がある場合には、動画像の各フレームを比較することで戻り部分のフレームを除去する。取得部１３１は、取得した動画像を画像記憶部１２１に記憶するとともに、判定部１３２に出力する。

【0029】

ここで、図７を用いて動画像の取得、つまり複数の超音波検査画像の取得について説明する。図７は、超音波検査画像の取得の一例を示す図である。図７の例では、母体２０内の胎児２１について、母体２０の腹部をプローブ１１０で走査することで検査画像（超音波検査画像）を取得する。プローブ１１０は、例えば、医師によって胎児２１の胃付近から心臓上部にかけて連続的に走査される。この場合の検査画像としては、心臓の前後の検査画像例と、心臓の検査画像例として、検査画像２２～２４が取得される。検査画像２２には、肋骨２５、脊椎２６、下行大動脈２７、胃胞２８および臍静脈２９が映っている。

【0030】

検査画像２３には、肋骨２５、脊椎２６、下行大動脈２７および心臓３０が映っている。また、検査画像２３には、心臓３０の内部構造の各部位である、右心室３１、右心房３２、左心室３３、左心房３４、心室中隔３５および心交差３６が映っている。ここで、心臓３０は、物体の構造Ｈ、つまり心臓構造の集合に相当する。また、右心室３１、右心房３２、左心室３３、左心房３４、心室中隔３５および心交差３６は、各要素ｈに相当する。検査画像２４には、肋骨２５、脊椎２６、下行大動脈２７、肺動脈３７、上行大動脈３８および上大静脈３９が映っている。本実施例では、走査が開始され検査画像に心臓が映っている区間（時刻集合Ｔ＿Ｒ）について、物体データＲと部位検知データＤとを比較することで各部位についての確信度を求めて表示する。なお、図７における検査画像２２～２４は、説明のために各部位を判りやすく描いているが、実際の検査画像では、このように明確に各部位が表示されるものではない。

【0031】

図１の説明に戻って、判定部１３２は、動画像の前後のフレームの関係を用いて、検査画像ｍ＿ｔに検査対象の物体の構造Ｈ（心臓）が映っているか否かを判定する。判定部１３２は、取得部１３１から動画像が入力されると、入力された動画像から１フレームの検査画像ｍ＿ｔを抽出する。判定部１３２は、心臓が大きく拍動していることを利用し、下記の式（１）を用いて、拍動に対応するスコア（rule_score）を算出する。つまり、判定部１３２は、動画像のフレーム間の差分に基づいて、拍動に対応するスコアを算出する。

【0032】

【数1】

【0033】

式（１）において、ｘは画面の縦軸を示し、ｙは画面の横軸を示す。また、ｍ＿ｔ（ｘ，ｙ）は、時刻ｔにおける検査画像（フレーム）の座標（ｘ，ｙ）の画素を示し、式（１）全体は、時刻ｔより時間ａだけ遡った時刻の検査画像と、時刻ｔの検査画像の差異の総和を、スコアとして求めることを意味している。このスコアが高いほど、時間ａの間で検査画像が大きく変化している、つまり拍動していると判断できる。ｔ’はｔ－ａ、つまりｔから所定の差分ａを引いた値である。差分ａは、例えば「１～２０」程度であり、４０ｆｐｓの動画では時間単位は１／４０秒であるから、「１／４０秒～１／２秒」程度となる。

【0034】

判定部１３２は、算出したスコアが予め設定した閾値ｋ＿ｒを超えたか否かを判定することで、検査画像ｍ＿ｔに検査対象の物体の構造Ｈ（心臓）が映っているか否かを判定する。閾値ｋ＿ｒは、任意の値でよいが、例えば「３．０」といった値を採用することができる。判定部１３２は、検査画像ｍ＿ｔに検査対象の物体の構造Ｈ（心臓）が映っていると判定した場合には、時刻ｔにおける検査画像ｍ＿ｔに映っているべき部位の集合Ｒ＿ｔを下記の式（２）と算出する。一方、判定部１３２は、検査画像ｍ＿ｔに検査対象の物体の構造Ｈ（心臓）が映っていないと判定した場合には、物体データＲ＿ｔを下記の式（３）（Ｒ＿ｔ＝空集合）と算出する。なお、式（２）では、６つの要素ｈに基づいて、物体の構造Ｈが映っている物体データＲ＿ｔを算出したが、任意の数の要素ｈに基づいて、物体データＲ＿ｔを算出してもよい。

【0035】

Ｒ＿ｔ＝｛右心室，右心房，左心室，左心房，心室中隔，心交差｝ ・・・（２）

【0036】

【数2】

【0037】

また、判定部１３２は、物体データＲ＿ｔを式（２）と算出した場合には、時刻ｔを時刻集合Ｔ＿Ｒに追加する。判定部１３２は、算出した物体データＲ＿ｔと、時刻集合Ｔ＿Ｒとを物体データ記憶部１２２に記憶する。また、判定部１３２は、抽出した検査画像ｍ＿ｔを検知部１３３に出力する。

【0038】

さらに、判定部１３２は、検知部１３３から終了判定指示が入力されると、動画像が終了したか否かを判定する。つまり、判定部１３２は、抽出した検査画像ｍ＿ｔが動画像の最後のフレームであったか否かを判定する。判定部１３２は、動画像が終了していないと判定した場合には、時刻ｔを１つ進めて、動画像から次の検査画像ｍ＿ｔを抽出し、物体の構造Ｈ（心臓）が映っているか否かの判定を繰り返す。一方、判定部１３２は、動画像が終了したと判定した場合には、生成指示を表示制御部１３４に出力する。

【0039】

検知部１３３は、判定部１３２から検査画像ｍ＿ｔが入力されると、学習モデル記憶部１２３を参照し、入力された検査画像ｍ＿ｔに対して、学習モデルを用いて物体の構造Ｈ（心臓）の各要素ｈ（部位）の検知を行う。すなわち、検知部１３３は、検査画像ｍ＿ｔに映っている部位（要素ｈ）の集合Ｄ＿ｔである部位検知データＤ＿ｔを、下記の式（４）を用いて算出する。

【0040】

Ｄ＿ｔ＝｛ｈ｜Ｐ＿ｈ（ｍ＿ｔ）が閾値ｋ＿ｄ以上｝ ・・・（４）

【0041】

式（４）において、Ｐ＿ｈは、学習モデルを用いて要素ｈを検知する際に算出される、要素ｈの位置の確信度（probability）を示す。閾値ｋ＿ｄは、要素ｈの位置の確信度に対して、当該要素ｈの検知を判定するための閾値である。すなわち、検知部１３３は、式（４）を用いて、検査画像ｍ＿ｔから、各要素ｈ（部位）の検知結果を部位検知データＤ＿ｔとして算出する。なお、閾値ｋ＿ｄは、任意の値でよいが、例えば「３．０」といった値を採用することができる。また、閾値ｋ＿ｄは、その値を調整することにより、「完全な要素の欠落」～「正常データからの逸脱」の範囲内で、検出の鋭敏性を設定することができる。

【0042】

また、式（４）は、確信度Ｐ＿ｈに着目すると、下記の式（５）を用いて確信度マップＤ（ｈ，ｔ）として表すこともできる。

【0043】

【数3】

【0044】

なお、式（５）における確信度Ｐ＿ｈおよび閾値ｋ＿ｄは、式（４）と同様である。検知部１３３は、算出した部位検知データＤ＿ｔを部位検知データ記憶部１２４に記憶するとともに、終了判定指示を判定部１３２に出力する。

【0045】

言い換えると、検知部１３３は、判定部１３２が選択した複数の超音波検査画像それぞれについて、物体検知技術を用いた部位の検知を行う。

【0046】

表示制御部１３４は、判定部１３２から生成指示が入力されると、物体データ記憶部１２２を参照し、時刻集合Ｔ＿Ｒを取得する。また、表示制御部１３４は、部位検知データ記憶部１２４を参照し、時刻集合Ｔ＿Ｒに対応する部位検知データＤを取得する。表示制御部１３４は、時刻集合Ｔ＿Ｒおよび部位検知データＤに基づいて、全検査画像Ｍに対応する部位検知マップを生成する。このとき、表示制御部１３４は、時刻集合Ｔ＿Ｒにない時刻ｔのフレームは、検査対象の部位がないはずであるので、未検知であるとすることができる。また、表示制御部１３４は、部位検知マップを生成する際に、物体データ記憶部１２２の物体データＲを参照してもよい。

【0047】

すなわち、表示制御部１３４は、時刻集合Ｔ＿Ｒおよび部位検知データＤに基づいて、式（５）を用いて、検査画像ｍ＿ｔごとの各部位（要素ｈ）の検知結果を走査方向（時刻ｔ方向）に並べた部位検知マップである確信度マップＤ（ｈ，ｔ）を生成する。表示制御部１３４は、生成した部位検知マップを表示部１１１に出力して表示させる。

【0048】

表示制御部１３４は、部位検知マップを生成する際に、検知結果である部位検知データＤ＿ｔのある部位に対応するデータが、未検知、または、確信度が所定値より低い値である状態が所定の時刻ｔ以上連続する場合に、当該部位に対応する部分を強調して表示する。つまり、表示制御部１３４は、ある部位がある程度の範囲の検査画像に渡って検出されない場合、当該部位に対応する部位検知マップの箇所を強調表示することで、異常である可能性が高いことを提示できる。

【0049】

また、表示制御部１３４は、複数の部位の全ての部位が未検知である検知結果となる検査画像がある場合、当該検査画像に対応する部位検知マップの箇所を強調表示することで、当該検査画像の画質に問題があることを提示できる。さらに、表示制御部１３４は、未検知や、検知した場合の確信度に応じて、例えば、確信度が高いほど、ユーザが気付きやすい色を表示することで、確信度に応じた表示を行うことができる。また、表示制御部１３４は、部位検知マップにおいて、検知結果が指定されると、指定された検知結果に対応する検査画像を表示する。さらに、表示制御部１３４は、複数の部位の全ての部位が未検知である検知結果が走査方向（時刻ｔ方向）に連続する場合に、走査が不良である旨を表示する。

【0050】

言い換えると、表示制御部１３４は、検知結果に基づき、検査対象に含まれる複数の部位それぞれの検知結果を走査と対応付けた部位検知マップを表示する。また、表示制御部１３４は、検知結果が未検知の部位、および、検知結果の確信度が所定値より低い部位のうち、いずれか１つ以上の部位が走査において所定区間以上連続する場合に、部位検知マップにおける部位に対応する部分を強調して表示する。ここで、所定区間は、例えば、時刻ｔ＝６以上に対応する走査方向の区間とすることができる。また、表示制御部１３４は、複数の部位の全ての部位が未検知である検知結果について、部位検知マップの検知結果に対応する部分を強調して表示する。また、表示制御部１３４は、検知結果について、未検知、および、検知結果の確信度に応じて異なる態様で表示する。また、表示制御部１３４は、部位検知マップにおいて、検知結果が指定されると、指定された検知結果に対応する超音波検査画像を表示する。また、表示制御部１３４は、複数の部位の全ての部位が未検知である検知結果が連続する場合に、走査が不良である旨を表示する。

【0051】

ここで、図８から図１２を用いて、様々なパターンの部位検知マップについて説明する。図８は、正常パターンの部位検知マップの一例を示す図である。図８に示す部位検知マップ４０は、正常パターンである部位検知マップの一例である。図８に示す部位検知マップ４０は、確信度マップＤ（ｈ，ｔ）の値について、要素ｈである部位を縦軸、時刻ｔに対応する断面（検査画像）を横軸にしたものである。部位検知マップ４０は、「部位Ａ」～「部位Ｆ」がある程度の断面（検査画像）に跨って十分な確信度で検知されていることを表す。なお、各断面における各部位の確信度は、図２に示す部位検知マップ１３と同様に、十分な確信度で検知した部位を「○」で表し、不十分な確信度で検知した部位を「△」で表し、未検知を「×」で表している。また、「断面６」では、全ての部位が検知されていないが、前後の断面では部位が検知されているため、検査対象の異常ではなく、「断面６」の検査画像の画質の問題である可能性が高い。このため、検査支援装置１００は、例えば枠４１を表示して「断面６」の列を強調表示することで、検査の補助を行うことができる。

【0052】

図９は、異常パターンの部位検知マップの一例を示す図である。図９に示す部位検知マップ４２は、異常パターンである部位検知マップの一例である。図９に示す部位検知マップ４２は、確信度マップＤ（ｈ，ｔ）の値について、要素ｈである部位を縦軸、時刻ｔに対応する断面（検査画像）を横軸にしたものである。部位検知マップ４２では、「部位Ａ」と「部位Ｃ」～「部位Ｆ」とは、ある程度の断面（検査画像）に跨って十分な確信度で検知されているが、「部位Ｂ」がある程度の断面（検査画像）に跨って検知されていない状態を表す。従って、部位検知マップ４２では、「部位Ｂ」に関連した異常がある可能性が高い。このため、検査支援装置１００は、例えば枠４３を表示して「部位Ｂ」の行を強調表示することで、検査の補助を行うことができる。また、検査支援装置１００は、検査において着目する部位の行を強調表示するようにしてもよい。なお、部位検知マップ４２では、部位検知マップ４０と同様に「断面６」について、枠４１を表示して「断面６」の列を強調表示することで、検査の補助を行うことができる。

【0053】

図１０は、異常パターンの部位検知マップの他の一例を示す図である。図１０に示す部位検知マップ４４は、部位検知マップ４２とは異なるパターンの異常パターンである部位検知マップの一例である。図１０に示す部位検知マップ４４は、確信度マップＤ（ｈ，ｔ）の値について、要素ｈである部位を縦軸、時刻ｔに対応する断面（検査画像）を横軸にしたものである。部位検知マップ４４では、「部位Ａ」と「部位Ｃ」～「部位Ｆ」とは、ある程度の断面（検査画像）に跨って十分な確信度で検知されているが、「部位Ｂ」がある程度の断面（検査画像）に跨って確信度が低い状態で検知されていること表す。つまり、部位検知マップ４４では、「部位Ｂ」の形やテクスチャ等が正常の場合と異なるので、「部位Ｂ」に関連した異常がある可能性が高い。このため、検査支援装置１００は、例えば枠４５を表示して「部位Ｂ」の行を強調表示することで、検査の補助を行うことができる。なお、部位検知マップ４４では、部位検知マップ４０と同様に「断面６」について、枠４１を表示して「断面６」の列を強調表示することで、検査の補助を行うことができる。

【0054】

図１１は、判定不能パターンの部位検知マップの一例を示す図である。図１１に示す部位検知マップ４６は、判定不能パターンである部位検知マップの一例である。図１１に示す部位検知マップ４６は、確信度マップＤ（ｈ，ｔ）の値について、要素ｈである部位を縦軸、時刻ｔに対応する断面（検査画像）を横軸にしたものである。部位検知マップ４６では、「断面３」、「断面４」において各部位が検知されているものの、他の断面においては検知されていない。検査支援装置１００は、このように、部位が検知されている断面の数が著しく少ない場合、判定不能であるとして、例えば、プローブ１１０の走査が不良である旨を表示部１１１に表示する。

【0055】

図１２は、判定不能パターンの部位検知マップの他の一例を示す図である。図１２に示す部位検知マップ４７は、部位検知マップ４６とは異なる判定不能パターンである部位検知マップの一例である。図１２に示す部位検知マップ４７は、確信度マップＤ（ｈ，ｔ）の値について、要素ｈである部位を縦軸、時刻ｔに対応する断面（検査画像）を横軸にしたものである。部位検知マップ４７では、「断面５」、「断面６」において各部位が検知されていない断面が連続している。検査支援装置１００は、このように、大多数の部位が検知されない断面が持続的に続いている場合、判定不能であるとして、例えば、プローブ１１０の走査が不良である旨を表示部１１１に表示する。

【0056】

続いて、図１３から図１８を用いて、胎児の心臓を検査対象とした場合の部位検知マップ、超音波検査画像、超音波検査画像における部位の検知結果の例について説明する。図１３は、部位検知マップの一例を示す図である。図１３に示す部位検知マップ４８は、確信度マップＤ（ｈ，ｔ）の値について、要素ｈを縦軸、時刻ｔを横軸にしたものである。部位検知マップ４８では、図８から図１２の「○」、「△」、「×」といった印に変えて、グレースケールで確信度マップＤ（ｈ，ｔ）の値を表している。部位検知マップ４８では、例えば、未検知、検知（確信度２０％未満）、検知（確信度２０％以上）の３段階で表している。なお、部位検知マップ４８は、未検知をグレーとし、検知（確信度２０％未満）と検知（確信度２０％以上）とを異なる色、例えば、白色と青色とで表すようにしてもよい。ここで、枠４９で示す断面の２３５番から２８５番までを抜粋して超音波検査画像および部位の検知結果について説明する。

【0057】

図１４は、超音波検査画像の一例を示す図である。図１４では、図１３で抜粋した断面のうち、２３５番、２４５番、２５５番、２６５番、２７５番および２８５番の超音波検査画像を表す。これらの超音波検査画像では、２４５番、２５５番の断面に渡って、影がかかっていることがわかる。

【0058】

図１５は、部位の検知結果の一例を示す図である。図１５では、図１４の超音波検査画像のうち、２３５番、２５５番および２７５番についての部位の検知結果を示す。２３５番では、脊椎２６、下行大動脈２７、右心室３１、右心房３２、左心室３３、左心房３４、心室中隔３５および心交差３６が検知されている。２５５番では、脊椎２６、下行大動脈２７、右心室３１、右心房３２および心室中隔３５が検知されている。つまり、２５５番では、影の影響により、左心室３３、左心房３４および心交差３６が検知されていない。２７５番では、脊椎２６、下行大動脈２７、右心室３１、右心房３２、左心室３３、左心房３４、心室中隔３５および心交差３６が検知されている。

【0059】

従って、部位検知マップ４８の抜粋部分である２３５番から２８５番までの断面では、２５５番における未検知の部位が、２５５番の前後の断面で検知されているので、各部位は正常であることがわかる。つまり、２４５番、２５５番の断面の影は、プローブ１１０の走査の影響によるものであることがわかる。なお、検査支援装置１００は、プローブ１１０の走査中に表示部１１１に表示するモニタ用の超音波検査画像に対して、図１５に示すような部位の検知結果の枠をリアルタイムに表示するようにしてもよい。また、検査支援装置１００は、図１５に示すような部位の検知結果の枠に、例えば部位の名称等のラベルを表示するようにしてもよい。

【0060】

図１６は、部位検知マップの他の一例を示す図である。図１６に示す部位検知マップ５０は、図１３の部位検知マップ４８と同様に、確信度マップＤ（ｈ，ｔ）の値について、要素ｈを縦軸、時刻ｔを横軸にしたものである。部位検知マップ５０は、代表的な先天性心疾患であるファロー四徴症の検知結果を表したものである。部位検知マップ５０では、ファロー四徴症の症状を反映し、心交差３６の欠損（心室中隔３５の穴）と、肺動脈３７の欠損を読み取ることができる。心交差３６の欠損に対応する断面は、例えば１３１番が挙げられる。また、肺動脈３７の欠損に対応する断面は、例えば２１２番が挙げられる。

【0061】

図１７は、超音波検査画像の他の一例を示す図である。図１７では、図１６の１３１番および２１２番に対応する超音波検査画像を表す。１３１番では、心交差３６が欠損していることがわかる。また、２１２番では、肺動脈３７が狭窄により細くなっていることがわかる。なお、異常部位と各疾患との関係は、例えば、異常部位が心交差３６である場合、完全型・不完全型房室中隔欠損症およびファロー四徴症（ＴＯＦ）に対応する。例えば、異常部位が心交差３６および心室中隔３５である場合、左室型単心室症に対応する。例えば、異常部位が左心房３４である場合、純型肺動脈閉塞症およびＥｂｓｔａｉｎ奇形に対応する。例えば、異常部位が肺動脈３７である場合、僧帽弁閉鎖症に対応する。例えば、異常部位が下行大動脈２７および脊椎２６である場合、完全大血管転位症、総動脈幹症およびファロー四徴症（ＴＯＦ）に対応する。

【0062】

図１８は、部位の検知結果の他の一例を示す図である。図１８では、図１７の１３１番および２１２番についての部位の検知結果を示す。１３１番では、下行大動脈２７、右心室３１、右心房３２、左心室３３、左心房３４、心室中隔３５および上行大動脈３８が検知されている。これに対し、１３１番では、心交差３６は欠損しているため検知されていない。２１２番では、下行大動脈２７および上行大動脈３８が検知されている。これに対し、２１２番では、肺動脈３７は狭窄により細くなっているため検知されていない。つまり、部位検知マップ５０から、心交差３６と肺動脈３７の欠損とが読み取れることに対し、対応する超音波検査画像においても欠損が認められることがわかる。

【0063】

次に、実施例１の検査支援装置１００の動作について説明する。図１９は、実施例１の検査支援処理の一例を示すフローチャートである。

【0064】

取得部１３１は、動画像の取得の開始が指示されると、プローブ１１０から取得した受信データに基づいて、動画像の取得を開始する（ステップＳ１）。取得部１３１は、取得した動画像を画像記憶部１２１に記憶するとともに、判定部１３２に出力する。

【0065】

判定部１３２は、取得部１３１から動画像が入力されると、入力された動画像から１フレームの検査画像ｍ＿ｔを抽出する（ステップＳ２）。判定部１３２は、抽出した検査画像ｍ＿ｔから物体データＲ＿ｔを算出する（ステップＳ３）。判定部１３２は、検査画像ｍ＿ｔに検査対象の物体の構造Ｈ（心臓）が映っていると判定した場合には、時刻ｔを時刻集合Ｔ＿Ｒに追加する（ステップＳ４）。判定部１３２は、算出した物体データＲ＿ｔと、時刻集合Ｔ＿Ｒとを物体データ記憶部１２２に記憶する。また、判定部１３２は、抽出した検査画像ｍ＿ｔを検知部１３３に出力する。

【0066】

検知部１３３は、判定部１３２から検査画像ｍ＿ｔが入力されると、学習モデル記憶部１２３を参照し、入力された検査画像ｍ＿ｔに対して、学習モデルを用いて物体の構造Ｈ（心臓）の各要素ｈ（部位）の検知を行う。つまり、検知部１３３は、検査画像ｍ＿ｔから部位検知データＤ＿ｔを算出する（ステップＳ５）。検知部１３３は、算出した部位検知データＤ＿ｔを部位検知データ記憶部１２４に記憶するとともに、終了判定指示を判定部１３２に出力する。

【0067】

判定部１３２は、検知部１３３から終了判定指示が入力されると、動画像が終了したか否かを判定する（ステップＳ６）。判定部１３２は、動画像が終了していないと判定した場合には（ステップＳ６：否定）、時刻ｔを１つ進めて、つまり動画像を１フレーム進めて、ステップＳ２に戻る。一方、判定部１３２は、動画像が終了したと判定した場合には（ステップＳ６：肯定）、生成指示を表示制御部１３４に出力する。

【0068】

表示制御部１３４は、判定部１３２から生成指示が入力されると、物体データ記憶部１２２を参照し、時刻集合Ｔ＿Ｒを取得する。また、表示制御部１３４は、部位検知データ記憶部１２４を参照し、時刻集合Ｔ＿Ｒに対応する部位検知データＤを取得する。表示制御部１３４は、時刻集合Ｔ＿Ｒおよび部位検知データＤに基づいて、部位検知マップを生成する（ステップＳ７）。表示制御部１３４は、生成した部位検知マップを表示部１１１に出力して表示させる（ステップＳ８）。これにより、検査支援装置１００は、異常の有無が容易に判断可能な部位検知マップを提供できる。また、検査支援装置１００は、走査の精度が十分でなかったり、検査対象が時間的に大きく変化するものであっても、部位の検知結果（物体認識結果）を経時的に表示することにより、診断に有用な情報とすることができる。また、検査支援装置１００は、部位検知マップを用いて検査対象の動画像全体における各部位の検知具合を一覧することができるため、確認に要する時間を削減することができる。また、検査支援装置１００は、ユーザ（検者）の技能によらずに部位を特定できるため、ユーザによる検査結果のばらつきを抑えることができる。

【0069】

本実施例を従来の超音波検査と比較すると、従来の超音波検査では、ある特定の部位が正常に二次元走査断面の画像に写り込んでいるかどうかで検査が行われることがある。この検査の二次元走査断面の画像は、ノイズ、影、検査対象の動き等で画質が安定しないため、直接部位を検出することは困難である。これに対し、本実施例の検査支援装置１００では、複数の超音波検査画像それぞれについて、物体検知技術を用いた部位の検知を行い、検査対象に含まれる複数の部位それぞれの検知結果を走査と対応付けた部位検知マップを表示する。これにより、検者は、部位検知マップを参照することで、容易に検査を行うことができる。

【0070】

ここで、本実施例による検査支援装置１００を用いた超音波検査を従来の超音波検査と比較する。例えば、従来の超音波検査では、複数の部位を超音波による二次元走査断面の画像から確認することにより検査が行われることがある。超音波検査による二次元走査断面の画像は、ノイズ、腕などによる影、心臓の拍動などの検査対象の動き等の複数の要因により、画像の映り込む内容や画質が安定しない。すなわち、検者は、二次元走査断面による複数の画像のうち、複数の部位を確認することができる一または複数の画像から、複数の部位をそれぞれ確認する必要がある。このため、従来の超音波検査では、複数の部位をそれぞれ確認するために適切な画像を特定し、特定した画像から部位の状況を確認する熟練の作業が必要であり、適切な検査結果を得るためには検者の技能に頼る必要があった。

【0071】

これに対し、本実施例の検査支援装置１００では、複数の超音波検査画像それぞれについて、物体検知技術を用いた部位の検知を行い、検査対象に含まれる複数の部位それぞれの検知結果を走査と対応付けた部位検知マップを表示する。これを利用した超音波検査により、検者は、部位検知マップを参照することで、複数の部位を確認することができる画像の特定が不要となる。このため、熟練の検者でなくても安定した品質の検査を行うことができる。また、事後的に検査データを第三者が確認する場合、検査データが超音波検査の二次元操作断面の動画であっても、部位検知マップを参照することで、動画像の再生および確認を行うことなく、検査の確認を行うことができる。

【0072】

このように、検査支援装置１００は、検査対象について走査により取得された複数の超音波検査画像それぞれについて、物体検知技術を用いた部位の検知を行う。また、検査支援装置１００は、検知結果に基づき、検査対象に含まれる複数の部位それぞれの検知結果を走査と対応付けた部位検知マップを表示する。その結果、検査支援装置１００は、異常の有無が容易に判断可能な部位検知マップを提供できる。

【0073】

また、検査支援装置１００は、検知結果が未検知の部位、および、検知結果の確信度が所定値より低い部位のうち、いずれか１つ以上の部位が走査において所定区間以上連続する場合に、部位検知マップにおける部位に対応する部分を強調して表示する。その結果、検査支援装置１００は、異常の可能性が高い部位を教示できる。

【0074】

また、検査支援装置１００は、複数の部位の全ての部位が未検知である検知結果について、部位検知マップの検知結果に対応する部分を強調して表示する。その結果、検査支援装置１００は、走査の不良の可能性が高い検知結果（検査画像）を教示できる。

【0075】

また、検査支援装置１００は、検知結果について、未検知、および、検知結果の確信度に応じて異なる態様で表示する。その結果、検査支援装置１００は、一覧性の高い部位検知マップを提供できる。

【0076】

また、検査支援装置１００は、部位検知マップにおいて、検知結果が指定されると、指定された検知結果に対応する超音波検査画像を表示する。その結果、検査支援装置１００は、部位検知マップにおいて異常の可能性が高い検知結果に対応する超音波検査画像を表示できる。

【0077】

また、検査支援装置１００は、複数の部位の全ての部位が未検知である検知結果が連続する場合に、走査が不良である旨を表示する。その結果、検査支援装置１００は、再走査を促すことができる。

【0078】

また、検査支援装置１００では、走査は、順方向の走査である。その結果、検査支援装置１００は、順方向の走査に応じた部位検知マップを表示することができる。

【0079】

また、検査支援装置１００では、走査は、スライド走査、回転走査、扇状走査または振り子走査、あるいは、これらの組み合わせである。その結果、検査支援装置１００は、走査方法に応じた部位検知マップを表示することができる。

【0080】

ここで、従来のＣＴやＭＲＩ等でのスキャン結果に基づく任意の切断面の情報を提示する技術と、本実施例の部位検知マップを生成・表示する技術とを対比して説明する。

【0081】

ＣＴやＭＲＩ等でのスキャン結果から切断面の情報を提示する場合、３次元モデルを生成するのに十分な精度の測定データが必要である。さらに、これらの技術では、測定データが時間的に大きく変化しないことが求められる。一方、超音波検査からは、そのような十分な精度の測定データを得ることは困難であり、従来技術により切断面の情報を提示するための３次元モデルを構成することが困難である。

【0082】

一方、本実施例の検査支援装置１００では、複数の超音波検査画像それぞれについて、物体検知技術を用いた部位の検知を行い、検査対象に含まれる複数の部位それぞれの検知結果を走査と対応付けた部位検知マップを表示することができる。

【実施例2】

【0083】

上記実施例１では、検査対象として胎児の心臓を一例として説明したが、超音波検査が可能な物体であれば適用でき、例えば半導体パッケージを検査対象としてもよく、この場合の実施の形態につき、実施例２として説明する。なお、実施例２では、実施例１の検査支援装置１００と検査対象が異なるのみであるので、検査対象に関する説明を行い、重複する構成および動作の説明については省略する。

【0084】

近年の半導体パッケージでは、三次元実装技術の発展等によって、ＳｉＰ（System in Package）と呼ばれる多くのチップ類（コンポーネント）が同じパッケージに実装されることが増加している。この様な半導体パッケージは、内部構造が複雑化しているため、従来の超音波検査による探傷に留まらず、内部構造の実装の状況も確認することが求められている。

【0085】

図２０は、実施例２の検査対象および検査方法の一例を示す図である。図２０に示すパッケージ６０は、半導体パッケージの一例である。パッケージ６０は、基板６１の上に複数のチップ６２が実装され、パッケージ樹脂６３で封止されている。実施例２では、パッケージ６０を水槽６４に沈め、水槽６４の水面に対して平行にプローブ６５を動かすことで、検査画像を取得する。なお、プローブ６５は、検査支援装置１００のプローブ１１０に対応する。

【0086】

実施例２では、検査支援装置１００は、パッケージ６０の設計図に基づいて、物体データＲ＿ｔを算出する。つまり、実施例２では、検査支援装置１００は、パッケージ６０の設計図に基づいて、断面である検査画像ｍ＿ｔに映っているべきコンポーネントの種類と、時刻ｔとを求めて物体データＲ＿ｔを算出する。また、検査支援装置１００は、コンポーネントが映っているべき区間ごとに、時刻集合Ｔ＿Ｒを求める。なお、物体データＲ＿ｔの算出は、実施例１と同様であるので、その説明を省略する。

【0087】

図２１は、映っているべきコンポーネントの一例を示す図である。図２１に示すように、パッケージ６０の平面図６６には、映っているべきコンポーネントとして、複数のチップ６２ａ，６２ｂ，６２ｃがあるものとする。実施例２では、断面６７をプローブ走査方向に移動させた場合に、チップ６２ａ，６２ｂ，６２ｃについて、部位検知マップ、つまり確信度マップＤ（ｈ，ｔ）を生成する。実施例２では、チップ６２ａが断面６７に現れる箇所から、断面６７からチップ６２ｂが消える箇所までの区間に対応する時刻ｔを時刻集合Ｔ＿Ｒとする。

【0088】

検査支援装置１００は、検査画像ｍ＿ｔから部位検知データＤ＿ｔを算出する。検査支援装置１００は、時刻集合Ｔ＿Ｒ、および、時刻集合Ｔ＿Ｒに対応する部位検知データＤに基づいて、部位検知マップ、つまり確信度マップＤ（ｈ，ｔ）を生成する。表示制御部１３４は、生成した部位検知マップを表示部１１１に出力して表示させる。なお、部位検知データＤ＿ｔの算出は、実施例１と同様であるので、その説明を省略する。

【0089】

図２２は、実施例２の部位検知マップの一例を示す図である。図２２に示す部位検知マップ６８は、パッケージ６０の平面図６６に対応する部位検知マップの一例である。図２２に示す部位検知マップ６８は、確信度マップＤ（ｈ，ｔ）の値について、要素ｈであるチップを縦軸、時刻ｔに対応する断面（検査画像）を横軸にしたものである。図２２に示すように、部位検知マップ６８では、チップ６２ａ，６２ｂ，６２ｃのそれぞれについて、各断面の確信度が表示される。このとき、例えば、パッケージ樹脂６３内に気泡があった場合、その断面の検査画像だけでは気泡の下になったチップ６２は見ることができないが、各断面の確信度を見ることで、当該チップ６２があることがわかる。また、部位検知マップ６８では、チップ６２ａ，６２ｂ，６２ｃのそれぞれの位置の関係性を含めて実装状態が一目で判別できる。このように、実施例２の検査支援装置１００は、検査対象が半導体パッケージであっても、超音波検査画像の結果に基づき、部位検知マップ提供することができる。

【0090】

なお、上記各実施例では、図１３，１６，２０，２１において、走査方向を示したが、図示した走査方向に限定されない。例えば、動画像の各フレームを比較することで走査方向を特定し、重複するフレームを除去した所定範囲の検査画像の集合から、物体データＲ＿ｔと部位検知データＤ＿ｔとを算出し、所定範囲の部位検知マップを生成するようにしてもよい。

【0091】

また、上記各実施例では、物体検知アルゴリズムとして、ＹＯＬＯ、ＳＳＤ、Ｆａｓｔｅｒ－ＲＮＮを一例として挙げたが、これに限定されない。例えば、ＤＰＭ、Ｆａｓｔ－ＲＮＮなど様々なニューラルネットワークを用いた物体検知アルゴリズムを用いることができる。また、学習の手法も、誤差逆伝播以外にも公知の様々な手法を採用することができる。また、ニューラルネットワークは、例えば入力層、中間層（隠れ層）、出力層から構成される多段構成であり、各層は複数のノードがエッジで結ばれる構造を有する。各層は、「活性化関数」と呼ばれる関数を持ち、エッジは「重み」を持ち、各ノードの値は、前の層のノードの値、接続エッジの重みの値、層が持つ活性化関数から計算される。なお、計算方法については、公知の様々な手法を採用できる。また、機械学習としては、ニューラルネットワーク以外にも、ＳＶＭ（support vector machine）等の各種手法を用いてもよい。

【0092】

また、図示した各部の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各部の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、判定部１３２と検知部１３３とを統合してもよい。また、図示した各処理は、上記の順番に限定されるものでなく、処理内容を矛盾させない範囲において、同時に実施してもよく、順序を入れ替えて実施してもよい。

【0093】

さらに、各装置で行われる各種処理機能は、ＣＰＵ（またはＭＰＵ、ＭＣＵ（Micro Controller Unit）等のマイクロ・コンピュータ）上で、その全部または任意の一部を実行するようにしてもよい。また、各種処理機能は、ＣＰＵ（またはＭＰＵ、ＭＣＵ等のマイクロ・コンピュータ）で解析実行されるプログラム上、またはワイヤードロジックによるハードウェア上で、その全部または任意の一部を実行するようにしてもよいことは言うまでもない。

【0094】

ところで、上記の各実施例で説明した各種の処理は、予め用意されたプログラムをコンピュータで実行することで実現できる。そこで、以下では、上記の各実施例と同様の機能を有するプログラムを実行するコンピュータの一例を説明する。図２３は、検査支援プログラムを実行するコンピュータの一例を示す図である。

【0095】

図２３に示すように、コンピュータ２００は、各種演算処理を実行するＣＰＵ２０１と、データ入力を受け付ける入力装置２０２と、モニタ２０３とを有する。また、コンピュータ２００は、記憶媒体からプログラム等を読み取る媒体読取装置２０４と、各種装置と接続するためのインタフェース装置２０５と、他の情報処理装置等と有線または無線により接続するための通信装置２０６とを有する。また、コンピュータ２００は、各種情報を一時記憶するＲＡＭ２０７と、ハードディスク装置２０８とを有する。また、各装置２０１～２０８は、バス２０９に接続される。

【0096】

ハードディスク装置２０８には、図１に示した取得部１３１、判定部１３２、検知部１３３および表示制御部１３４の各処理部と同様の機能を有する検査支援プログラムが記憶される。また、ハードディスク装置２０８には、画像記憶部１２１、物体データ記憶部１２２、学習モデル記憶部１２３、部位検知データ記憶部１２４、および、検査支援プログラムを実現するための各種データが記憶される。入力装置２０２は、例えば、コンピュータ２００のユーザから操作情報等の各種情報の入力を受け付ける。モニタ２０３は、例えば、コンピュータ２００のユーザに対して表示画面等の各種画面を表示する。インタフェース装置２０５は、例えばプローブ等が接続される。通信装置２０６は、例えば、図示しないネットワークと接続され、他の情報処理装置と各種情報をやりとりする。

【0097】

ＣＰＵ２０１は、ハードディスク装置２０８に記憶された各プログラムを読み出して、ＲＡＭ２０７に展開して実行することで、各種の処理を行う。また、これらのプログラムは、コンピュータ２００を図１に示した取得部１３１、判定部１３２、検知部１３３および表示制御部１３４として機能させることができる。

【0098】

なお、上記の検査支援プログラムは、必ずしもハードディスク装置２０８に記憶されている必要はない。例えば、コンピュータ２００が読み取り可能な記憶媒体に記憶されたプログラムを、コンピュータ２００が読み出して実行するようにしてもよい。コンピュータ２００が読み取り可能な記憶媒体は、例えば、ＣＤ－ＲＯＭやＤＶＤ（Digital Versatile Disc）、ＵＳＢ（Universal Serial Bus）メモリ等の可搬型記録媒体、フラッシュメモリ等の半導体メモリ、ハードディスクドライブ等が対応する。また、公衆回線、インターネット、ＬＡＮ等に接続された装置にこの検査支援プログラムを記憶させておき、コンピュータ２００がこれらから検査支援プログラムを読み出して実行するようにしてもよい。

【符号の説明】

【0099】

１００ 検査支援装置
１１０ プローブ
１１１ 表示部
１１２ 操作部
１２０ 記憶部
１２１ 画像記憶部
１２２ 物体データ記憶部
１２３ 学習モデル記憶部
１２４ 部位検知データ記憶部
１３０ 制御部
１３１ 取得部
１３２ 判定部
１３３ 検知部
１３４ 表示制御部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】