(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-11-08
(45)【発行日】2023-11-16
(54)【発明の名称】医用画像処理装置及び医用画像処理方法
(51)【国際特許分類】
A61B 8/08 20060101AFI20231109BHJP
A61B 6/00 20060101ALI20231109BHJP
A61B 6/03 20060101ALI20231109BHJP
A61B 5/055 20060101ALI20231109BHJP
G01T 1/161 20060101ALI20231109BHJP
G06T 7/00 20170101ALI20231109BHJP
【FI】
A61B8/08
A61B6/00 350D
A61B6/03 360J
A61B5/055 380
G01T1/161 A
G06T7/00 612
(21)【出願番号】P 2020013424
(22)【出願日】2020-01-30
【審査請求日】2023-01-05
(73)【特許権者】
【識別番号】320011683
【氏名又は名称】富士フイルムヘルスケア株式会社
(74)【代理人】
【識別番号】110000350
【氏名又は名称】ポレール弁理士法人
(72)【発明者】
【氏名】野口 喜実
(72)【発明者】
【氏名】西浦 朋史
【審査官】下村 一石
(56)【参考文献】
【文献】国際公開第2012/169177(WO,A1)
【文献】特開2019-159391(JP,A)
【文献】特開2013-114596(JP,A)
【文献】特開平10-091757(JP,A)
【文献】特表2012-512672(JP,A)
【文献】特開2015-154918(JP,A)
【文献】米国特許出願公開第2013/0257910(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 8/00-8/15
A61B 6/00-6/14
A61B 5/055
G01T 1/161
G06T 7/00
(57)【特許請求の範囲】
【請求項1】
医用画像を処理する医用画像処理装置であって、
前記医用画像から病変候補または対象組織が含まれる領域である候補領域を検出するとともに
、複数の事前定義領域を用いて前記候補領域の識別スコアを算出する検出部と、
操作者によって指定された領域である指定領域を取得する指定領域取得部と、
前
記複数の事前定義領域と前記指定領域とに基づいて前記指定領域の識別スコアを算出する再検出部を備え
、
前記再検出部は、前記事前定義領域のそれぞれと前記指定領域との類似度を算出する類似度算出部と、前記事前定義領域のそれぞれの識別スコアと前記類似度とに基づいて前記指定領域の識別スコアを算出する識別スコア算出部を有することを特徴とする医用画像処理装置。
【請求項2】
請求項
1に記載の医用画像処理装置であって、
前記識別スコア算出部は、前記事前定義領域のそれぞれの識別スコアをsi 、前記類似度のそれぞれをwi、とするときに、前記指定領域の識別スコアをΣ(wi・si)/Σ(wi)として算出することを特徴とする医用画像処理装置。
【請求項3】
請求項
2に記載の医用画像処理装置であって、
前記識別スコア算出部は、前記類似度wiが所定の値以上の事前定義領域の識別スコアsiのみを用いることを特徴とする医用画像処理装置。
【請求項4】
請求項1に記載の医用画像処理装置であって、
前記指定領域は、前記候補領域を変形して生成されることを特徴とする医用画像処理装置。
【請求項5】
請求項1に記載の医用画像処理装置であって、
前記指定領域の形状は、矩形、楕円形、円形、多角形、自由曲線による閉領域のいずれかであることを特徴とする医用画像処理装置。
【請求項6】
請求項1に記載の医用画像処理装置であって、
前記
候補領域と前記事前定義領域と前記指定領域の識別スコアは、異常度、悪性度、組織区分の尤度、病変カテゴリの尤度の少なくとも一つを含む指標であることを特徴とする医用画像処理装置。
【請求項7】
医用画像を処理する医用画像処理装置が実行する医用画像処理方法であって、
前記医用画像から病変候補または対象組織が含まれる領域である候補領域を検出するとともに
、複数の事前定義領域を用いて前記候補領域の識別スコアを算出する検出ステップと、
操作者によって指定された領域である指定領域を取得する指定領域取得ステップと、
前
記複数の事前定義領域と前記指定領域とに基づいて前記指定領域の識別スコアを算出する再検出ステップを備え
、
前記再検出ステップには、前記事前定義領域のそれぞれと前記指定領域との類似度を算出する類似度算出ステップと、前記事前定義領域のそれぞれの識別スコアと前記類似度とに基づいて前記指定領域の識別スコアを算出する識別スコア算出ステップが含まれることを特徴とする医用画像処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は医用画像撮像装置で取得される医用画像から病変候補を検出する医用画像処理装置及び医用画像処理方法に関し、特に操作者によって修正された領域に基づいて病変候補を再抽出する技術に係る。
【背景技術】
【0002】
超音波診断装置に代表される医用画像撮像装置では大量の医用画像が取得されるようになり、医用画像の撮像や診断に係る検査技師や読影医といった医療従事者の負担が増大している。医療従事者の負担を軽減するため、コンピュータによって医用画像から病変候補を検出して提示することで画像診断を支援するいわゆるCAD(Computer-Aided Detection/Diagnosis)の開発が進んでいる。
【0003】
特許文献1には、CADによる誤検出を低減するため、超音波画像から検出された病変候補の解剖学的な位置に基づいて偽陽性か否かを判定することが開示されている。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら特許文献1では、CADによって検出された病変候補が含まれる領域を操作者が修正したり新たな領域を追加したりする場合に対する配慮がなされていない。CADによって検出された領域に過不足がある場合、検出された領域の再撮像や再読影が必要になり、医療従事者である操作者に負担が生じる。
【0006】
そこで本発明は、医用画像の再撮像や再読影といった負担を軽減可能な医用画像処理装置及び医用画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【0007】
上記目的を達成するために本発明は、医用画像を処理する医用画像処理装置であって、前記医用画像から病変候補または対象組織が含まれる領域である候補領域を検出するとともに前記候補領域の識別スコアを算出する検出部と、操作者によって指定された領域である指定領域を取得する指定領域取得部と、前記候補領域を検出する過程で用いられる領域である複数の事前定義領域と前記指定領域とに基づいて前記指定領域の識別スコアを算出する再検出部を備えることを特徴とする。
【0008】
また本発明は、医用画像を処理する医用画像処理装置が実行する医用画像処理方法であって、前記医用画像から病変候補または対象組織が含まれる領域である候補領域を検出するとともに前記候補領域の識別スコアを算出する検出ステップと、操作者によって指定された領域である指定領域を取得する指定領域取得ステップと、前記候補領域を検出する過程で用いられる領域である複数の事前定義領域と前記指定領域とに基づいて前記指定領域の識別スコアを算出する再検出ステップを備えることを特徴とする。
【発明の効果】
【0009】
本発明によれば、医用画像の再撮像や再読影といった負担を軽減可能な医用画像処理装置及び医用画像処理方法を提供することができる。
【図面の簡単な説明】
【0010】
【
図1】実施例1の医用画像処理装置のハードウェア構成例を示す図である。
【
図2】医用画像撮像装置の一例である超音波診断装置の構成例を示す図である。
【
図5】推定部での処理について補足説明する図である。
【
図7】実施例1の処理の流れの一例を示す図である。
【
図10】指定領域の形状の例について説明する図である。
【
図11】指定領域の識別スコアを算出する処理の流れの一例を示す図である。
【
図12】識別スコア算出部での処理について補足説明する図である。
【発明を実施するための形態】
【0011】
以下、添付図面に従って本発明に係る医用画像処理装置および医用画像処理方法の好ましい実施例について説明する。なお、以下の説明及び添付図面において、同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【実施例1】
【0012】
図1を用いて本実施例の医用画像処理装置100のハードウェア構成例について説明する。医用画像処理装置100は、いわゆるコンピュータである。具体的には、CPU(Central Processing Unit)101、メモリ102、記憶部103、ネットワークアダプタ104がバス105によって信号送受可能に接続されて構成される。また医用画像処理装置100には、入力部106と表示部107が信号送受可能に接続される。さらに医用画像処理装置100は、ネットワークアダプタ104及びネットワーク108を介して医用画像撮像装置109や医用画像データベース110と信号送受可能に接続される。ここで、「信号送受可能に」とは、電気的または光学的に、有線と無線を問わず、相互にあるいは一方から他方へ信号を受け渡しできる状態である。
【0013】
CPU101は、記憶部103に記憶されるシステムプログラム等を読み出し、各構成要素の動作を制御する装置である。CPU101は、記憶部103に格納されるプログラムやプログラム実行に必要なデータをメモリ102にロードして実行する。記憶部103は、CPU101が実行するプログラムやプログラム実行に必要なデータを格納する装置であり、具体的にはHDD(Hard Disk Drive)やSSD(Solid State Drive)等の記録装置や、ICカード、SDカード、DVD等の記録媒体に読み書きする装置である。プログラム実行に必要なデータを含む各種データはLAN(Local Area Network)等のネットワーク108からも送受信される。メモリ102には、CPU101が実行するプログラムや演算処理の途中経過等が記憶される。
【0014】
表示部107は、プログラム実行の結果等が表示される装置であり、具体的には液晶ディスプレイ等である。入力部106は、操作者が医用画像処理装置100に対して操作指示を行う操作デバイスであり、具体的にはキーボードやマウス等である。マウスはトラックパッドやトラックボールなどの他のポインティングデバイスであっても良い。また表示部107がタッチパネルである場合には、タッチパネルが入力部106としても機能する。ネットワークアダプタ104は、医用画像処理装置100をLAN、電話回線、インターネット等のネットワーク108に接続するためのものである。
【0015】
医用画像撮像装置109は、病変部位等の形態を画像化した断層画像等の医用画像を取得する装置であり、具体的には、超音波診断装置や、X線透視撮影装置、X線CT(Computed Tomography)装置、MRI(Magnetic Resonance Imaging)装置、PET(Positron Emission Tomography)装置等である。複数の断層画像が積み上げられることにより、三次元医用画像が作成されても良い。医用画像データベース110は、医用画像撮像装置109によって取得された医用画像を保管するデータベースシステムである。
【0016】
図2を用いて、医用画像撮像装置109の一例である超音波診断装置200について説明する。超音波診断装置200は、探触子201、送信部202、受信部203、超音波送受信制御部204、整相加算部205、画像処理部206を有する。
【0017】
探触子201は、送信部202から送信される信号に基づいて超音波を被検体210に照射し、被検体210の中で反射した超音波、いわゆる反射エコーを検出し、反射エコーに応じた信号を受信部203へ送信する。送信部202と受信部203は超音波送受信制御部204によって制御され、探触子201との間で信号を送受信する。整相加算部205は受信部203に送信された反射エコーに応じた信号を整相加算するとともにアナログデジタル変換をして、RF(Radio Frequency)信号フレームデータを時系列に生成し、画像処理部206へ送信する。画像処理部206は、時系列に生成されたRF信号フレームデータを二次元空間にマッピングすることにより超音波断層画像を生成する。生成された超音波断層画像は医用画像として診断に用いられる。
【0018】
図3を用いて本実施例の要部の機能ブロック図について説明する。なおこれらの機能は、ASIC(Application Specific Integrated Circuit)やFPGA(Field-Programmable Gate Array)等を用いた専用のハードウェアで構成されても良いし、CPU101上で動作するソフトウェアで構成されても良い。以降の説明では各機能がソフトウェアで構成された場合について説明する。本実施例は、検出部301と指定領域取得部303と再検出部304を備える。以下、各部について説明する。
【0019】
検出部301は、医用画像300から病変候補または対象組織が含まれる領域である候補領域を検出するとともに候補領域の識別スコアを算出する。すなわち検出部301はいわゆるCADとして機能する。医用画像300は医用画像撮像装置109によって取得されたり、医用画像データベース110から読み出されたりして取得される。候補領域に含まれる病変候補や対象組織は、操作者によって入力部106を介して指定されても良い。識別スコアは、異常度、悪性度、組織区分の尤度、病変カテゴリの尤度などの少なくとも一つを含む指標である。異常度とは正常組織との乖離度または病変である確率を示し、病変において1、正常組織において0となる指標である。悪性度とは病変の進行度を示し、悪性の病変において1、良性の病変もしくは正常組織において0となる指標である。組織区分の尤度とは、対象組織が所定の組織である確率を示し、例えば乳房検査では、乳腺、脂肪、大胸筋、肋骨などの各解剖学的組織である確率を示す。病変カテゴリの尤度とは、病変候補が所定の病変カテゴリに含まれる確率を示し、任意のガイドラインなどにより定められた病変カテゴリや、病変の疾患名などに含まれる確率を示す。
【0020】
図4を用いて、検出部301の構成例について説明する。検出部301は、候補領域と識別スコアを同時に推定可能な物体検出ニューラルネットワークであれば良く、例えばSSD(Single Shot multi-box Detector)やYOLO(You Only Look Once)等を用いる構成としても良い。
図4に示す検出部301は、特徴抽出部401、推定部402、領域統合部403を有する。なお検出部301は既知の病変や組織が含まれる多数の医用画像を事前に学習する。
【0021】
特徴抽出部401は、畳み込み処理や活性化処理、プーリング処理、正規化処理等を実行することにより、医用画像300から複数の特徴量マップを算出し、推定部402に送信する。
【0022】
推定部402は、特徴抽出部401から送信される特徴量マップに対して畳み込み処理を実行することにより、病変候補または対象組織が含まれる候補領域と当該候補領域の識別スコアを推定する。
【0023】
図5を用いて、推定部402での処理について補足説明する。推定部402は、特徴抽出部401で算出された特徴量マップ500の注目画素501に対して、複数の事前定義領域502a~502cを設定する。事前定義領域502a~502cのそれぞれは縦横比を含む大きさや中心位置が異なっても良い。また事前定義領域502の数や形状は
図5に示される三つや矩形に限定されない。なお事前定義領域502は、複数の注目画素501のそれぞれに対して同様に設定される。
【0024】
さらに推定部402は、特徴量マップ500に畳み込み処理を実行することにより、複数の事前定義領域502のそれぞれに対して識別スコアを推定する。推定された結果は、例えば推定結果503のような形式で出力され、領域統合部403へ送信される。推定結果503は、n個の事前定義領域502のそれぞれに対して識別スコアが推定された結果である。推定結果503には、各事前定義領域502の中心位置が注目画素501から縦と横に平行移動した量と各事前定義領域502の縦と横の大きさも含まれる。例えば推定結果503の中の第一領域は、注目画素501から横に0.2、縦に0.4、平行移動した中心位置と、幅0.2、高さ0.8の大きさを有し、0.8の識別スコアが推定されている。
【0025】
領域統合部403は、推定部402から送信される推定結果503に基づいて、候補領域と識別スコア404を出力する。具体的には、まず推定結果503に含まれる識別スコアが所定の閾値以上である事前定義領域502が抽出される。次に同じ病変候補に対して複数の事前定義領域502が抽出されるのを抑制するため、NMS(Non-Maximum Suppression)等が用いられる。すなわち識別スコアが最大である事前定義領域と、他の事前定義領域との重なりの程度を示す類似度が算出され、他の事前定義領域の中で類似度が所定の閾値以上であるものが削除される。類似度には、例えばIoU(Intersection-over-Union)が用いられる。そして類似度に基づき削除されなかった事前定義領域は候補領域として、識別スコアとともに出力される。
【0026】
図3の説明に戻る。指定領域取得部303は、操作者によって指定された領域である指定領域302を取得する。操作者は入力部106を用いて医用画像300の上で指定領域302を指定する。
【0027】
再検出部304は、複数の事前定義領域502と指定領域302とに基づいて、指定領域の識別スコア305を算出する。
【0028】
図6を用いて、再検出部304の構成例について説明する。
図6に示す再検出部304は、類似度算出部601、識別スコア算出部602を有する。類似度算出部601は、複数の事前定義領域502のそれぞれと指定領域302との類似度を算出する。類似度には、例えばIoUやDICE係数、Jaccard係数、Simpson係数、領域の中心距離、領域の面積、縦横比などの少なくとも一つが用いられる。
【0029】
識別スコア算出部602は複数の事前定義領域502の各識別スコアと各類似度とに基づいて、指定領域302の識別スコアを算出する。指定領域302の識別スコアscoreの算出には例えば次式が用いられる。
【0030】
score=Σ(wi・si)/Σ(wi) … (1)
ここで、siは複数の事前定義領域502のそれぞれの識別スコア、wiは複数の事前定義領域502のそれぞれと指定領域302との各類似度である。
【0031】
図7を用いて、本実施例の処理の流れの一例について説明する。
【0032】
(S701)
検出部301は医用画像300から候補領域を検出するとともに候補領域の識別スコアを算出し、表示部107に表示する。
【0033】
図8を用いて、本実施例の表示画面の一例について説明する。
図8の表示画面801には、医用画像300とともに、病変候補を含む候補領域802が表示される。また候補領域802の識別スコアが識別結果803に表示されるとともに、編集ボタン804と削除ボタン805が表示される。さらに検査位置アイコン806が表示されても良い。
【0034】
編集ボタン804は、指定領域を生成するために候補領域802を編集するモードに切り替えるときに用いられる。削除ボタン805は、候補領域802を削除するときに用いられる。検査位置アイコン806は、表示画面801に表示される医用画像300の検査位置を示すアイコンである。
図8には左乳房を模擬するアイコンが示されており、アイコン上の縦長矩形が探触子の位置、すなわち検査位置を示す。
図8では左乳房の左上が検査位置であることが示される。
【0035】
(S702)
指定領域取得部303は、操作者によって指定される指定領域を取得する。
【0036】
図9を用いて、指定領域の編集について説明する。
図8の表示画面801において編集ボタン804が選択されると、編集ボタン804が変色するとともに、候補領域802の枠上に複数の制御点901が表示される。編集ボタン804の変色は候補領域802を編集するモードに切り替わったことを示す。複数の制御点901はマウスポインタ902の操作により移動する点であり、候補領域802の編集による指定領域の生成に用いられる。制御点901の移動後に編集ボタン804が再選択されると、編集ボタン804の色が戻るともに、指定領域が決定され、指定領域取得部303によって指定領域の位置や大きさが取得される。
【0037】
なお指定領域の形状は
図9に示される矩形に限定されない。
図10を用いて、指定領域302の形状の例について説明する。指定領域302の形状には、矩形の指定領域302a以外にも、楕円形または円形の指定領域302b、多角形の指定領域302c、自由曲線による閉領域の指定領域302d等が用いられても良い。操作者は、操作者自身が医用画像300上で視認できる病変候補の形状に応じて、指定領域302の形状を変更しても良い。
【0038】
(S703)
再検出部304は、検出部301が候補領域802を検出する過程で用いた複数の事前定義領域とS702で取得された指定領域に基づいて、指定領域の識別スコアを算出する。
【0039】
図11を用いて、本ステップの処理の流れの一例について説明する。
【0040】
(S1101)
類似度算出部601は、複数の事前定義領域のそれぞれと指定領域との類似度を算出する。類似度には、例えばIoUが用いられ、両領域が一致すれば類似度は1になり、重なりがなければ類似度は0になる。
【0041】
(S1102)
識別スコア算出部602は、複数の事前定義領域502の各識別スコアと各類似度とに基づいて、指定領域302の識別スコアを算出する。指定領域302の識別スコアの算出には、平均や重み付き平均、ロジスティック回帰、SVM、ニューラルネットワーク等の少なくとも一つが用いられ、例えば式(1)が用いられても良い。なお式(1)を用いるにあたり、識別スコアの算出に用いられる事前定義領域502を指定領域302との類似度がより大きいものに限定しても良い。例えば、予め定められた閾値より大きい類似度を有する事前定義領域502に限定したり、類似度の大きさが所定の順位までの事前定義領域502に限定したりしても良い。事前定義領域502の数を限定することにより演算量を低減できる。
【0042】
図12を用いて、識別スコア算出部602での処理について補足説明する。
図12には、医用画像300上で操作者によって視認された病変候補1200と、操作者によって指定された指定領域302と、指定領域302との類似度が閾値0.7以上の事前定義領域502x~zが示される。また
図5の推定結果503を類似度により並べ替えた推定結果1201も示される。指定領域302の識別スコアを算出するにあたり、閾値0.7以上の事前定義領域502x~zに限定するとき、式(1)は次式のように書き換えられる。
【0043】
score=(wx・sx+wy・sy+wz・sz)/(wx+wy+wz) … (2)
ここでsx、sy、szは事前定義領域502x~zのそれぞれの識別スコア、wx、wy、wzは事前定義領域502x~zのそれぞれと指定領域302との各類似度である。
【0044】
指定領域302の識別スコアの算出結果は、表示部107に表示される。例えば、
図9の表示画面801の識別結果803に指定領域302の識別スコアが表示されても良い。なお、識別スコアが悪性度又は病変カテゴリの尤度である場合には、良性か悪性か又はいずれの病変カテゴリであるかを閾値処理によって選別した結果が表示されても良い。
【0045】
以上説明した処理の流れにより、CADとして機能する検出部によって検出された領域に過不足がある場合であっても、操作者によって指定された指定領域の識別スコアが算出される。その結果、医用画像の再撮像や再読影の回数を低減できるので、医療従事者である操作者の負担を軽減可能となる。
【0046】
以上、本発明の実施例について説明した。本発明は実施例に限定されるものではなく、さまざまな変形例が含まれる。例えば、上記した実施例は本発明をわかりやすく説明するために詳細に説明したのであり、説明したすべての構成を備えるものに限定されるものではない。
【符号の説明】
【0047】
100:医用画像処理装置、101:CPU、102:メモリ、103:記憶部、104:ネットワークアダプタ、105:バス、106:入力部、107:表示部、108:ネットワーク、109:医用画像撮像装置、110:医用画像データベース、200:超音波診断装置、201:探触子、202:送信部、203:受信部、204:超音波送受信制御部、205:整相加算部、206:画像処理部、210:被検体、300:医用画像、301:検出部、302、302a~d:指定領域、303:指定領域取得部、304:再検出部、305:指定領域の識別スコア、401:特徴抽出部、402:推定部、403:領域統合部、404:候補領域と識別スコア、500:特徴量マップ、501:注目画素、502、502a~c、502x~z:事前定義領域、503:推定結果、600:事前定義領域と識別スコア、601:類似度算出部、602:識別スコア算出部、801:表示画面、802:候補領域、803:識別結果、804:編集ボタン、805:削除ボタン、806:検査位置アイコン、901:制御点、902:マウスポインタ、1200:病変候補、1201:並べ替えた推定結果