(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-09-05
(45)【発行日】2022-09-13
(54)【発明の名称】医用画像処理装置、医用画像処理方法、プログラム及び医用画像処理システム
(51)【国際特許分類】
A61B 6/00 20060101AFI20220906BHJP
A61B 5/055 20060101ALI20220906BHJP
G06T 7/00 20170101ALI20220906BHJP
【FI】
A61B6/00 350D
A61B5/055 380
G06T7/00 612
(21)【出願番号】P 2018111788
(22)【出願日】2018-06-12
【審査請求日】2021-02-08
(31)【優先権主張番号】P 2018015941
(32)【優先日】2018-01-31
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000006747
【氏名又は名称】株式会社リコー
(74)【代理人】
【識別番号】100107766
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【氏名又は名称】伊東 忠彦
(72)【発明者】
【氏名】▲高▼田 真弘
(72)【発明者】
【氏名】木下 彰
(72)【発明者】
【氏名】二矢川 和也
【審査官】櫃本 研太郎
(56)【参考文献】
【文献】特開2014-121598(JP,A)
【文献】特開2016-168166(JP,A)
【文献】米国特許出願公開第2015/0173701(US,A1)
【文献】特開2011-131040(JP,A)
【文献】特開2016-067610(JP,A)
【文献】特開2011-224388(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 6/00-6/14
A61B 5/055
G06T 1/00-7/90
PubMed
(57)【特許請求の範囲】
【請求項1】
X線画像中の椎体及び椎間板を検出する検出手段と、
前記検出手段により検出された椎体及び椎間板のなかで所定の条件を満たすものにラベル付を行うラベリング手段と、
前記検出手段により検出された椎体及び椎間板のなかに前記条件を満たすものが含まれていない場合に、当該椎体又は椎間板を補間する補間手段と、
を有し、
前記ラベリング手段は、前記補間手段により補間された椎体及び椎間板にもラベル付を行うことを特徴とする医用画像処理装置。
【請求項2】
前記検出手段は、前記
X線画像中の仙骨又は第2頸椎の椎体を検出し、
前記ラベリング手段は、前記仙骨又は前記第2頸椎の椎体を
最初の基準点として前記条件を満たすか否かの判定を行うことを特徴とする請求項1に記載の医用画像処理装置。
【請求項3】
前記ラベリング手段は、前記条件を満たすとされたラベリング点を、次の基準点として更新することを特徴とする請求項2に記載の医用画像処理装置。
【請求項4】
前記補間手段は、前記検出手段により検出された椎体及び椎間板のうちの少なくとも一つの位置を用いて、補間しようとする椎体又は椎間板の位置を補間点として算出する補間点算出手段を有することを特徴とする請求項1
乃至3のいずれか1項に記載の医用画像処理装置。
【請求項5】
前記補間点算出手段は、前記検出手段により検出された二つの部位の間の位置関係を用いて、前記補間しようとする椎体又は椎間板の位置を補間することを特徴とする請求項
4に記載の医用画像処理装置。
【請求項6】
前記ラベル付の結果を表示する表示装置を有することを特徴とする請求項1乃至
5のいずれか1項に記載の医用画像処理装置。
【請求項7】
X線画像中の椎体及び椎間板を検出する検出ステップと、
前記検出ステップにおいて検出した椎体及び椎間板のなかで所定の条件を満たすものにラベル付を行う第1のラベリングステップと、
前記検出ステップにおいて検出した椎体及び椎間板のなかに前記条件を満たすものが含まれていない場合に、当該椎体又は椎間板を補間する補間ステップと、
前記補間ステップにおいて補間した椎体及び椎間板にラベル付を行う第2のラベリングステップと、
を有することを特徴とする医用画像処理方法。
【請求項8】
前記検出ステップにおいて、前記
X線画像中の仙骨又は第2頸椎の椎体を検出し、
前記第1のラベリングステップにおいて、前記仙骨又は前記第2頸椎の椎体を
最初の基準点として前記条件を満たすか否かの判定を行うことを特徴とする請求項
7に記載の医用画像処理方法。
【請求項9】
コンピュータに、
X線画像中の椎体及び椎間板を検出する検出手順と、
前記検出手順において検出した椎体及び椎間板のなかで所定の条件を満たすものにラベル付を行う第1のラベリング手順と、
前記検出手順において検出した椎体及び椎間板のなかに前記条件を満たすものが含まれていない場合に、当該椎体又は椎間板を補間する補間手順と、
前記補間手順において補間した椎体及び椎間板にラベル付を行う第2のラベリング手順と、
を実行させるためのプログラム。
【請求項10】
前記検出手順において、前記
X線画像中の仙骨又は第2頸椎の椎体を検出し、
前記第1のラベリング手順において、前記仙骨又は前記第2頸椎の椎体を
最初の基準点として前記条件を満たすか否かの判定を行うことを特徴とする請求項
9に記載のプログラム。
【請求項11】
X線画像を撮像する医用画像撮像装置と、
前記
X線画像の処理を行う請求項1乃至
6のいずれか1項に記載の医用画像処理装置と、
を有することを特徴とする医用画像処理システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、医用画像処理装置、医用画像処理方法、プログラム及び医用画像処理システムに関する。
【背景技術】
【0002】
従来、X線CT装置、MRI装置(磁気共鳴装置)等の医療用画像診断装置から得られた医用画像から、異常箇所の特定や位置合わせを行うために、椎体、椎間板、仙骨等の部位を検出し、部位ごとにラベル付が行われることがある。
【0003】
例えば、椎体及び椎間板の位置を推定しながらMRI画像にラベル付を行う方法が提案されている。
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、処理の対象とする医用画像には、椎体が不明瞭なものもあり、そのような医用画像中の椎体を検出することができないことがある。特に、医用画像がX線画像(レントゲン写真)である場合に椎体が不明瞭になりやすい。また、X線画像には椎間板はディスク状に写らないため、医用画像がX線画像の場合、椎間板を検出することができない。更に、椎間板が圧縮されて通常よりも薄くなっているような場合、MRI画像等であっても椎間板が不明瞭になることがある。上記のMRI画像にラベル付を行う従来の方法は、各部位を検出できる程度に鮮明な画像を処理の対象としており、椎体や椎間板の像が不明瞭な場合にまで椎体及び椎間板の位置を推定することはできない。
【0005】
このように、従来の技術では、医用画像に含まれる部位を検出できず、適切にラベル付を行うことができないことがある。
【0006】
本発明は、不鮮明な部位が含まれる場合であっても医用画像に適切にラベル付を行うことができる医用画像処理装置、医用画像処理方法、プログラム、医用画像処理システムを提供することを目的とする。
【課題を解決するための手段】
【0007】
医用画像処理装置の一態様は、X線画像中の椎体及び椎間板を検出する検出手段と、前記検出手段により検出された椎体及び椎間板のなかで所定の条件を満たすものにラベル付を行うラベリング手段と、前記検出手段により検出された椎体及び椎間板のなかに前記条件を満たすものが含まれていない場合に、当該椎体又は椎間板を補間する補間手段と、を有し、前記ラベリング手段は、前記補間手段により補間された椎体及び椎間板にもラベル付を行うことを特徴とする。
【発明の効果】
【0008】
開示の技術によれば、不鮮明な部位が含まれる場合であっても医用画像に適切にラベル付を行うことができる。
【図面の簡単な説明】
【0009】
【
図1】本発明の実施形態に係る医用画像処理システムを示す図である。
【
図2】医用画像処理装置の構成を示す機能ブロック図である。
【
図3】ラベリング部及び補間部の詳細を示す機能ブロック図である。
【
図4】医用画像処理装置の動作を示すフローチャートである。
【
図5】ラベリング部及び補間部による処理を示すフローチャートである。
【
図6】次点特定部及び補間点算出部による処理を示すフローチャートである。
【
図7A】仙骨を含む医用画像の処理方法を示す図(その1)である。
【
図7B】仙骨を含む医用画像の処理方法を示す図(その2)である。
【
図7C】仙骨を含む医用画像の処理方法を示す図(その3)である。
【
図7D】仙骨を含む医用画像の処理方法を示す図(その4)である。
【
図7E】仙骨を含む医用画像の処理方法を示す図(その5)である。
【
図7F】仙骨を含む医用画像の処理方法を示す図(その6)である。
【
図7G】仙骨を含む医用画像の処理方法を示す図(その7)である。
【
図7H】仙骨を含む医用画像の処理方法を示す図(その8)である。
【
図7I】仙骨を含む医用画像の処理方法を示す図(その9)である。
【
図7J】仙骨を含む医用画像の処理方法を示す図(その10)である。
【
図7K】仙骨を含む医用画像の処理方法を示す図(その11)である。
【
図7L】仙骨を含む医用画像の処理方法を示す図(その12)である。
【
図7M】仙骨を含む医用画像の処理方法を示す図(その13)である。
【
図8A】角度条件の判定方法の一例を示す図(その1)である。
【
図8B】角度条件の判定方法の一例を示す図(その2)である。
【
図8C】角度条件の判定方法の一例を示す図(その3)である。
【
図8D】角度条件の判定方法の一例を示す図(その4)である。
【
図8E】角度条件の判定方法の一例を示す図(その5)である。
【
図9】腰椎のラベリング処理を示すフローチャートである。
【
図10A】ラベリング結果の表示の例(その1)を示す図である。
【
図10B】ラベリング結果の表示の例(その2)を示す図である。
【
図10C】ラベリング結果の表示の例(その3)を示す図である。
【
図10D】ラベリング結果の表示の例(その4)を示す図である。
【
図10E】ラベリング結果の表示の例(その5)を示す図である。
【
図10F】ラベリング結果の表示の例(その6)を示す図である。
【
図11A】第2頸椎椎体を含む医用画像の処理方法を示す図(その1)である。
【
図11B】第2頸椎椎体を含む医用画像の処理方法を示す図(その2)である。
【
図11C】第2頸椎椎体を含む医用画像の処理方法を示す図(その3)である。
【
図11D】第2頸椎椎体を含む医用画像の処理方法を示す図(その4)である。
【
図11E】第2頸椎椎体を含む医用画像の処理方法を示す図(その5)である。
【
図11F】第2頸椎椎体を含む医用画像の処理方法を示す図(その6)である。
【
図11G】第2頸椎椎体を含む医用画像の処理方法を示す図(その7)である。
【
図11H】第2頸椎椎体を含む医用画像の処理方法を示す図(その8)である。
【
図11I】第2頸椎椎体を含む医用画像の処理方法を示す図(その9)である。
【
図11J】第2頸椎椎体を含む医用画像の処理方法を示す図(その10)である。
【
図12】頸椎のラベリング処理を示すフローチャートである。
【
図13A】検出部の学習及び検出の処理を示すフローチャート(その1)である。
【
図13B】検出部の学習及び検出の処理を示すフローチャート(その2)である。
【
図13C】検出部の学習及び検出の処理を示すフローチャート(その3)である。
【
図13D】検出部の学習及び検出の処理を示すフローチャート(その4)である。
【
図13E】検出部の学習及び検出の処理を示すフローチャート(その5)である。
【
図13F】検出部の学習及び検出の処理を示すフローチャート(その6)である。
【発明を実施するための形態】
【0010】
以下、本発明の実施形態について詳細に説明するが、本発明は、以下の実施形態に何ら限定されるものではなく、本発明の目的の範囲内において、適宜変更を加えて実施することができる。
【0011】
図1は、本発明の実施形態に係る医用画像処理システムを示す図である。医用画像処理システム300は、医用画像処理装置100及び医用画像撮像装置200を含む。
【0012】
医用画像撮像装置200は、被験者のX線画像(レントゲン写真)を撮像し、例えばフラット・パネル・ディテクター(Flat Panel Detector:FPD)を含む。医用画像撮像装置200が磁気共鳴画像法(Magnetic Resonance Imaging:MRI)でMRI画像を撮像してもよい。医用画像処理装置100は、医用画像撮像装置200により撮像された医用画像等の医用画像のデータを処理する。
【0013】
医用画像処理装置100は、CPU(Central Processing Unit)101、ROM(Read Only Memory)102、RAM(Random Access Memory)103を備える。CPU101、ROM102、RAM103は、いわゆるコンピュータを構成する。医用画像処理装置100は、補助記憶部104、表示装置105、入力装置106、外部インタフェース(I/F)107を備える。医用画像処理装置100の各部は、バス108を介して相互に接続されている。
【0014】
CPU101は、補助記憶部104に格納された各種プログラム(例えば、医用画像処理プログラム)を実行する。
【0015】
ROM102は不揮発性の主記憶デバイスである。ROM102は、補助記憶部104に格納された各種プログラムを、CPU101が実行するために必要な各種プログラム、データ等を格納する。具体的には、ROM102は、BIOS(Basic Input/Output System)やEFI(Extensible Firmware Interface)等のブートプログラムなどを格納する。
【0016】
RAM103は、DRAM(Dynamic Random Access Memory)やSRAM(Static Random Access Memory)等の揮発性の主記憶デバイスである。RAM103は、補助記憶部104に格納された各種プログラムがCPU101によって実行される際に展開される作業領域として機能する。
【0017】
補助記憶部104は、CPU701により実行される各種プログラム及び各種プログラムがCPU101によって実行されることで生成される各種データを格納する補助記憶デバイスである。
【0018】
表示装置105は、ラベル付を行った医用画像等を表示する。入力装置106は、マウス若しくはキーボード又はこれらの両方を備え、医師等が医用画像処理装置100に各種指示(データの選択指示、重ね合わせ表示指示等)を入力するために用いられる。外部I/F107は、例えば医用画像撮像装置200と通信を行うための通信デバイスを備え、医用画像撮像装置200により撮像された医用画像が入力される。外部I/F107が外部記録媒体用のスロットを含んでもよく、医用画像を、ICカード、フレキシブルディスク、CD、DVD、SDメモリカード、USBメモリ等の外部記録媒体から取得してもよい。
【0019】
次に、医用画像処理装置100の機能構成について説明する。上記のように、CPU101は、ROM102や補助記憶部104等に格納されたプログラムやデータをRAM103上に展開し、処理を実行することで、医用画像処理装置100の各機能を実現する。
図2は、医用画像処理装置100の構成を示す機能ブロック図である。医用画像処理装置100は、
図2に示すように、取得部151、検出部152、ラベリング部153、補間部154及び表示制御部155を含む。
【0020】
取得部151は、外部I/F107を介して外部から医用画像のデータを取得する。
【0021】
検出部152は、予め行われた学習の結果に基づいて、取得部151が取得した医用画像中の椎体(第2頸椎椎体を含む)、椎間板、仙骨等の所定の部位を検出し、検出した各部位について検出点を特定する。学習の方法は特に限定されない。検出部152は、例えば、医用画像の全体又は選択した領域に対してsliding windowを用いてパッチを作成し、パッチごとにどの部位なのかを識別する。また、パッチの作成にあたって、object検出を行い、抽出された各領域に対して識別を行ってもよい。検出結果は、椎体、椎間板、仙骨及び第2頸椎椎体の群のうちの少なくとも2つとそれ以外の領域を用いて分類を行ってもよい。
【0022】
ラベリング部153は、検出部152により検出された仙骨、椎体(第2頸椎椎体を含む)及び椎間板のなかで所定の条件を満たすものにラベル付を行う。例えば、椎体、椎間板及び仙骨が検出されている場合、仙骨の検出点を最初の基準点として、仙骨、椎間板、椎体、椎間板、椎体・・・の順番でラベル付を行う。
【0023】
補間部154は、ラベリング部153により、検出部152により検出された椎体(第2頸椎椎体を含む)及び椎間板のなかに上記の所定の条件を満たすものが含まれていないと判定された場合に、当該椎体又は椎間板を補間する。補間部154は、例えば、医用画像中に、検出部152により検出できなかった椎体又は椎間板がある場合に、例えば、この部位について、検出できた椎体、椎間板、仙骨及び第2頸椎椎体の群のうちの少なくとも2つを用いて補間を行う。ラベリング部153は、補間部154により補間された椎体及び椎間板にもラベル付を行う。ラベリング部153の処理が補間部154の処理と並行して行われてもよい。
【0024】
表示制御部155は、ラベリング部153によるラベリングが行われたデータを表示装置105に表示させる。表示制御部155を介した表示に限らず、データをファイルとして出力してもよい。
【0025】
次に、ラベリング部153及び補間部154の詳細について説明する。
図3は、ラベリング部153及び補間部154の詳細を示す機能ブロック図である。
図3に示すように、ラベリング部153は近似曲線作成部161、基準点特定部162及び次点特定部163を含み、補間部154は補間点算出部171を含む。
【0026】
近似曲線作成部161は、検出部152により検出された部位の検出点を繋ぐ複数の線分の近似曲線を作成する。
【0027】
基準点特定部162は、ラベリングを行う際に基準となる点を特定し、処理の進行に応じて基準点を更新する。例えば、仙骨が含まれている場合は仙骨を最初の基準点とし、処理の進行に応じて基準点を更新する。例えば、第2頸椎椎体が含まれている場合は第2頸椎椎体を最初の基準点とし、処理の進行に応じて基準点を更新する。
【0028】
次点特定部163は、基準点特定部162により特定された基準点に基づき、当該基準点に対して設定されている所定の条件を満たす椎体又は椎間板が検出されているか判定し、この判定結果に応じて次の基準点とする点(次点)を特定する。
【0029】
補間点算出部171は、次点特定部163により上記の所定の条件を満たす椎体又は椎間板が検出されていないと判定された場合に、上記の所定の条件を参照しながら補間しようとする椎体又は椎間板の補間点を算出する。補間点を算出する方法の詳細については後述する。
【0030】
次に、医用画像処理装置100の動作について説明する。
図4は、医用画像処理装置100の動作を示すフローチャートである。この動作は、CPU101が補助記憶部104に格納されたプログラムを実行することで実現される。
【0031】
まず、取得部151が、外部I/F107を介して医用画像のデータを取得する(ステップS101)。次いで、検出部152が、取得部151が取得した医用画像のデータのなかから、椎体、椎間板、仙骨等の所定の部位を検出し、検出した各部位について検出点を特定する(ステップS102)。その後、ラベリング部153が、取得部151が取得した医用画像のデータに含まれる所定の部位についてラベル付を行う(ステップS103)。ラベリング部153による処理の詳細については後述するが、ラベリング部153は必要に応じて補間部154に椎体又は椎間板を補間させてラベル付を行う。ラベリング部153によるラベリングの後、表示制御部155が、ラベル付を行った医用画像を表示装置105に表示させる。表示装置105における表示の例については後述する。
【0032】
次に、ラベリング部153及び補間部154による処理の詳細について説明する。
図5は、ラベリング部153及び補間部154による処理を示すフローチャートである。この処理は、CPU101が補助記憶部104に格納されたプログラムを実行することで実現される。
【0033】
まず、近似曲線作成部161が、検出部152により特定された検出点を繋ぐ複数の線分の近似曲線を作成する(ステップS111)。次いで、基準点特定部162が、検出部152により特定された検出点のうちから最初の基準点を特定する。例えば、仙骨が含まれている場合は仙骨の検出点を最初の基準点とし、第2頸椎椎体が含まれている場合は第2頸椎椎体を最初の基準点とする(ステップS112)。その後、次点特定部163が、必要に応じて補間点算出部171と協働して、基準点特定部162により特定された基準点に基づき、次の基準点とする点を特定する(ステップS113)。次点特定部163及び補間点算出部171による処理の詳細については後述する。次点特定部163による特定の後、基準点特定部162が、所定の部位のすべての特定が完了しているか判定し(ステップS114)、完了していなければ、基準点をステップS113で特定したラベリング点に更新し(ステップS115)、ステップS113の処理が行われる。なお、近似曲線は、例えば、最初の基準点とする検出点上を通るか、この検出点が弧の外側に位置するように作成することが好ましい。後に、基準点を通る接線を作成することがあるからである。
【0034】
次に、次点特定部163及び補間点算出部171による処理の詳細について説明する。
図6は、次点特定部163及び補間点算出部171による処理を示すフローチャートである。この処理は、CPU101が補助記憶部104に格納されたプログラムを実行することで実現される。
【0035】
まず、次点特定部163が、検出部152により特定された検出点のうちから、次点の候補を特定する(ステップS121)。例えば、現在の基準点が仙骨、第2頸椎椎体又は他の椎体であれば、椎間板の検出点を次点の候補として特定する。また、現在の基準点が椎間板であれば、椎体の検出点を次点の候補として検出する。次いで、次点特定部163が、次点の候補のなかに、現在の基準点に関して予め定められている距離条件を満たす検出点があるか判定する(ステップS122)。距離条件を満たす検出点があれば、次点特定部163は、現在の基準点に関する角度条件を算出し(ステップS123)、距離条件を満たす検出点がこの角度条件を満たすか判定する(ステップS124)。この検出点が角度条件を満たしていれば、次点特定部163は、この検出点を、現在の基準点に隣接する部位のラベリング点として特定する(ステップS125)。また、ステップS122にて距離条件を満たす検出点がない場合、及び、ステップS124にて角度条件が満たされない場合は、補間点算出部171が補間点を算出し(ステップS126)、次点特定部163がこの補間点を現在の基準点に隣接する部位のラベリング点として特定する(ステップS127)。次点特定部163は、このようにして特定したラベリング点を、次の基準点(次点)とする。
【0036】
なお、この例では、距離条件及び角度条件の両方に基づく処理を行っているが、距離条件又は角度条件の一方のみに基づく処理を行ってもよい。
【0037】
ここで、医用画像処理装置100の動作の具体例について説明する。
図7A~
図7Mは、仙骨を含む医用画像の処理方法を示す図である。
【0038】
この例では、
図7Aに示すように、第1腰椎L1、第2腰椎L2、第3腰椎L3、第4腰椎L4、第5腰椎L5及び仙骨S1が写った医用画像201が用いられるとする。第1腰椎L1と第2腰椎L2との間に椎間板DL1があり、第2腰椎L2と第3腰椎L3との間に椎間板DL2があり、第3腰椎L3と第4腰椎L4との間に椎間板DL3があり、第4腰椎L4と第5腰椎L5との間に椎間板DL4があり、第5腰椎L5と仙骨S1との間に椎間板DL5がある。この医用画像201のデータは取得部151により取得される。
【0039】
検出部152は医用画像201中の、第1腰椎L1、第2腰椎L2、第3腰椎L3、第4腰椎L4、第5腰椎L5、仙骨S1、椎間板DL1、椎間板DL2、椎間板DL3、椎間板DL4及び椎間板DL5の検出を試み、検出できた部位について検出点を特定する。
この例では、
図7Bに示すように、仙骨S1の検出点211が特定され、椎間板の一部について検出点212が特定され、腰椎の一部について検出点213が特定されたものの、椎間板の一部及び腰椎の一部については検出できなかったとする。
【0040】
ラベリング部153の近似曲線作成部161は、
図7Cに示すように、検出部152により特定された検出点211、212及び213を結ぶ線分群の近似曲線214を作成する。
【0041】
ラベリング部153の基準点特定部162は、
図7Dに示すように、検出部152により特定された検出点211、212及び213のうちから最初の基準点を特定する。この例では、仙骨S1の検出点211を最初の基準点として特定する。
【0042】
ラベリング部153の次点特定部163は、現在の基準点が仙骨S1であるため、
図7Eに示すように、複数の椎間板の検出点212を次点の候補として特定する。
【0043】
そして、次点特定部163は、複数の椎間板の検出点212のなかに、仙骨S1に関して予め定められている距離条件を満たす検出点があるか判定する。例えば、
図7Fに示すように、ある特定の方向、例えば足から頭に向かう方向(+X方向)において、検出点211からの距離が、仙骨S1について予め定められている補間距離A1以下の検出点があるか判定する。ここでは、椎間板DL5の検出点212が距離条件を満たしているとする。
【0044】
次いで、次点特定部163は、検出点211に関する角度条件を算出し、椎間板DL5の検出点212がこの角度条件を満たすか判定する。例えば、
図7Gに示すように、近似曲線214を用いて2本の直線231及び232を算出し、これらがなす角の角度と検出点212の位置との関係が所定の条件を満たすか判定する。
【0045】
ここで、角度条件の判定方法について説明する。
図8A~
図8Eは、角度条件の判定方法の一例を示す図である。
【0046】
この例では、
図8Aに示すように、境界301を挟んで二つの部位が存在し、その一方に基準点302があり、他方に次点の候補の検出点があるとする。また、近似曲線305が得られ、基準点302には補間距離303が設定されているとする。
【0047】
次点の候補の検出点が、基準点302からの距離が補間距離303以下の検出点312又は313である場合、
図8Bに示すように、次点特定部163は、基準点302を通る近似曲線305の接線331を算出する。次点特定部163は、更に、基準点302から補間距離303だけ離れた曲線335と近似曲線305との交点を通る近似曲線305の接線332を算出し、接線332に平行で基準点302を通る直線333を算出する。そして、次点特定部163は、算術的に角度の大きさを用いて、検出点312又は313が接線331と直線333との間に位置するか判定する。例えば、xをx座標、yをy座標、p
nを近似曲線のパラメータとしたときに、近似曲線が式(1)で表されるとすると、基準点302を通る接線は次のように表される。すなわち、基準点302のx座標をx
s、y座標をy
sとすると、式(2)が成り立つため、基準点302を通る接線は、式(3)~(5)で表される。
【0048】
【0049】
次点の候補の検出点が、接線331と直線333との間に位置する検出点312である場合、
図8Cに示すように、次点特定部163は、検出点312をそのままラベリング点として特定する。一方、次点の候補の検出点が、接線331と直線333との間から外れた検出点313である場合、
図8Dに示すように、補間点算出部171が、接線331と曲線335との交点を補間点323として特定し、次点特定部163が補間点323をラベリング点として特定する。例えば、基準点302のy座標をy
sとし、x座標をx
sとし、基準点302から距離Dだけ離れている曲線335を円と仮定すると、式(6)が成り立つ。従って、基準点302を通る接線の式(3)との連立方程式を解くと、式(7)及び式(8)で表される補間点323のy座標y
d及びx座標x
dの候補を算出できる。
【0050】
【0051】
そして、y座標yd及びx座標xdの組み合わせのうちで、y座標が最も小さい組み合わせを補間点323として求めることができる。
【0052】
次点の候補の検出点が、基準点302からの距離が補間距離303超の検出点311である場合、
図8Eに示すように、次点特定部163は、基準点302を通る近似曲線305の接線331を算出する。そして、補間点算出部171が、接線331と曲線335との交点を補間点321として特定し、次点特定部163が補間点321をラベリング点として特定する。
【0053】
なお、補間距離については基準点の検出枠の情報を用いてもよい。検出枠が持つ情報には、例えば、椎体、椎間板及び仙骨の大きさの情報が含まれる。例えば、基準点として腰椎の検出枠を用いる場合であれば、腰椎の大きさを知ることができるため、腰椎と椎間板との境界を求めることができる。椎間板は腰椎の1/2~1/3倍ほどの大きさであるため、腰椎の検出枠の1/2~1/3倍の大きさが椎間板の大きさ、つまり補間距離として推定することができる。そのため、腰椎の検出枠が分かれば、腰椎と椎間板との境界が分かり、補間距離についても推定することができるので、次点である椎間板の位置を推定することができる。また、検出枠の情報を用いて直線333を算出してもよい。また、補間距離として基準点を中心とした距離を利用しても良い。
【0054】
このようにして、角度条件の判定を行うことができる。
図7Gに示す例では、椎間板DL5の検出点212が角度条件を満たしているとする。この場合、次点特定部163は、
図7Hに示すように、椎間板DL5の検出点212をそのまま椎間板DL5のラベリング点し、これを次の基準点とする。
【0055】
次いで、次点特定部163は、椎間板DL5の検出点212を基準点として、同様の処理を行う。そして、この例では、
図7Iに示すように、第5腰椎L5の検出点213がそのまま第5腰椎L5のラベリング点とされたとする。
【0056】
次いで、次点特定部163は、第5腰椎L5の検出点213を基準点として、同様の処理を行う。そして、この例では、
図7Jに示すように、第4腰椎L4と第5腰椎L5との間の椎間板DL4が検出されていないこととする。この場合、+X方向の距離が、第5腰椎L5の基準点に設定された補間距離A3以下の検出点が存在しない。従って、
図7Kに示すように、補間点算出部171が椎間板DL4の補間点222を算出する。そして、
図7Lに示すように、次点特定部163が椎間板DL4の補間点222を椎間板DL4のラベリング点し、これを次の基準点とする。
【0057】
このような処理を繰り返すことにより、
図7Mに示すように、すべての部位についてラベリングが行われる。なお、
図7Mに示す例では、第1腰椎L1及び第3腰椎L3が検出されておらず、これらに補間点223が設定され、椎間板DL4が検出されておらず、これに補間点222が設定され、椎間板DL2が検出されていたものの、その検出点が角度条件を満たしておらず、補間点222が設定されたものとする。
【0058】
このような腰椎のラベリング処理(ステップS103)は
図9のフローチャートのように表すことができる。すなわち、近似曲線の作成(ステップS111)の後、仙骨の検出点を最初の基準点として特定する(ステップS201)。次いで、基準点の次点(椎間板の検出点)に関する距離条件及び/又は角度条件が満たされているか判定し(ステップS202)、いずれかの条件が満たされていなければ補間点を算出する(ステップS203)。そして、現在の基準点の次点(椎間板の検出点)又は補間点をラベリング点として特定し、この特定された椎間板のラベリング点で基準点を更新する(ステップS204)。
その後、現在の基準点の次点(椎体の検出点)に関する距離条件及び/又は角度条件が満たされているか判定し(ステップS205)、いずれかの条件が満たされていなければ補間点を算出する(ステップS206)。そして、現在の基準点の次点(椎体の検出点)又は補間点をラベリング点として特定する(ステップS207)。次いで、第1腰椎L1のラベリング点が特定されているか判定し(ステップS208)、特定されていなければ、直近に特定された椎体のラベリング点で基準点を更新し(ステップS209)、ステップS202に戻る。
【0059】
次に、ラベリング結果の表示の例について説明する。
図10A~
図10Fは、ラベリング結果の表示の例を示す図である。
【0060】
図10Aに示す例では、表示装置105の画面400に、仙骨のラベリング点、腰椎椎体のラベリング点及び椎間板のラベリング点が互いに異なる色で表示されている。
【0061】
図10Bに示す例では、表示装置105の画面400に、仙骨のラベリング点、腰椎椎体のラベリング点及び椎間板のラベリング点が互いに異なる形状で表示されている。
【0062】
図10Cに示す例では、表示装置105の画面400に、仙骨のラベリング点、腰椎椎体のラベリング点及び椎間板のラベリング点が互いに異なるサイズで表示されている。
【0063】
図10Dに示す例では、表示装置105の画面400に、仙骨のラベリング点、腰椎椎体のラベリング点及び椎間板のラベリング点が互いに異なる色で表示されると共に、補間点は明滅表示されている。
【0064】
図10Eに示す例では、表示装置105の画面400に、仙骨のラベリング点、腰椎椎体のラベリング点及び椎間板のラベリング点が互いに異なる色で表示されると共に、更に、補間点が他の色、例えば黒色で表示されている。
【0065】
図10Fに示す例では、表示装置105の画面400に、仙骨のラベリング点、腰椎椎体のラベリング点及び椎間板のラベリング点が互いに異なる形状で表示されると共に、更に、各ラベリング点に信頼度に応じた色が付されている。
【0066】
このように、ラベリング結果の表示形態は限定されず、マークの色、形状、大きさ、明滅等に変化を持たせて表示することができる。表示の制御は、表示制御部155により行われる。
【0067】
次に、医用画像処理装置100の動作の他の具体例について説明する。
図11A~
図11Jは、第2頸椎椎体を含む医用画像の処理方法を示す図である。
【0068】
この例では、
図11Aに示すように、第2頸椎C2、第3頸椎C3、第4頸椎C4、第5頸椎C5、第6頸椎C6及び第7頸椎C7が写った医用画像501が用いられるとする。第2頸椎C2と第3頸椎C3との間に椎間板DC2があり、第3頸椎C3と第4頸椎C4との間に椎間板DC3があり、第4頸椎C4と第5頸椎C5との間に椎間板DC4があり、第5頸椎C5と第6頸椎C6との間に椎間板DC5があり、第6頸椎C6と第7頸椎C7との間に椎間板DC6があり、第7頸椎C7の下に椎間板DC7がある。この医用画像501のデータは取得部151により取得される。
【0069】
検出部152は医用画像501中の、第2頸椎C2、第3頸椎C3、第4頸椎C4、第5頸椎C5、第6頸椎C6、第7頸椎C7、椎間板DC2、椎間板DC3、椎間板DC4、椎間板DC5、椎間板DC6及び椎間板DC7の検出を試み、検出できた部位について検出点を特定する。この例では、
図11Bに示すように、第2頸椎C2の検出点511が特定され、椎間板の一部について検出点512が特定され、頸椎の一部について検出点513が特定されたものの、椎間板の一部及び頸椎の一部については検出できなかったとする。
【0070】
ラベリング部153の近似曲線作成部161は、
図11Cに示すように、検出部152により特定された検出点511、512及び513を結ぶ線分群の近似曲線514を作成する。
【0071】
ラベリング部153の基準点特定部162は、
図11Dに示すように、検出部152により特定された検出点511、512及び513のうちから最初の基準点を特定する。この例では、第2頸椎C2の検出点511を最初の基準点として特定する。
【0072】
ラベリング部153の次点特定部163は、現在の基準点が第2頸椎C2であるため、
図11Eに示すように、複数の椎間板の検出点512を次点の候補として特定する。
【0073】
そして、次点特定部163は、複数の椎間板の検出点512のなかに、第2頸椎C2に関して予め定められている距離条件を満たす検出点があるか判定する。例えば、
図11Fに示すように、ある特定の方向(-X方向)において、検出点511からの距離が、第2頸椎C2について予め定められている補間距離B1以下の検出点があるか判定する。ここでは、椎間板DC2が検出されていないとする。この場合、-X方向の距離が補間距離B1以下の検出点が存在しない。従って、
図11Gに示すように、補間点算出部171が椎間板DC2の補間点522を算出する。そして、
図11Hに示すように、次点特定部163が椎間板DC2の補間点522を椎間板DC2のラベリング点とし、これを次の基準点とする。
【0074】
次いで、次点特定部163は、椎間板DC2の補間点522を基準点として、同様の処理を行う。そして、この例では、
図11Iに示すように、第3頸椎C3の検出点513がそのまま第3頸椎C3のラベリング点とされたとする。
【0075】
このような処理を繰り返すことにより、
図11Jに示すように、すべての部位についてラベリングが行われる。なお、
図11Jに示す例では、第5頸椎C5が検出されておらず、これに補間点523が設定され、椎間板DC2及び椎間板DC6が検出されておらず、これらに補間点522が設定されたものとする。
【0076】
このような頸椎のラベリング処理(ステップS103)は
図12のフローチャートのように表すことができる。すなわち、近似曲線の作成(ステップS111)の後、第2頸椎の検出点を最初の基準点として特定する(ステップS301)。次いで、基準点の次点(椎間板の検出点)に関する距離条件及び/又は角度条件が満たされているか判定し(ステップS202)、いずれかの条件が満たされていなければ補間点を算出する(ステップS203)。そして、現在の基準点の次点(椎間板の検出点)又は補間点をラベリング点として特定し、この特定された椎間板のラベリング点で基準点を更新する(ステップS204)。その後、現在の基準点の次点(椎体の検出点)に関する距離条件及び/又は角度条件が満たされているか判定し(ステップS205)、いずれかの条件が満たされていなければ補間点を算出する(ステップS206)。そして、現在の基準点の次点(椎体の検出点)又は補間点をラベリング点として特定する(ステップS207)。次いで、第7頸椎C7のラベリング点が特定されているか判定し(ステップS308)、特定されていなければ、直近に特定された椎体のラベリング点で基準点を更新し(ステップ209)、ステップS202に戻る。第7頸椎C7のラベリング点が特定されている場合に、更に、椎間板DC7のラベリングを行ってもよい。
【0077】
ここで、検出部152に各部位を検出させるための学習方法の例について説明する。
図13A~
図13Fは、検出部152の学習及び検出の処理を示すフローチャートである。
【0078】
まず、医用画像から、検出を行いたい部位を切り取り、学習画像を作成する(ステップS11、S21、S31、S41、S51又はS61)。学習画像としては、例えば、椎体、椎間板、仙骨及び第2頸椎椎体のうちのいずれか2以上、並びにその他の部位が含まれるように切り取ったものを利用する。
図13Aに示す例では、学習画像に椎体、椎間板、仙骨及びその他の部位が含まれる。
図13Bに示す例では、学習画像に椎体、仙骨及びその他の部位が含まれる。
図13Cに示す例では、学習画像に椎間板、仙骨及びその他の部位が含まれる。
図13Dに示す例では、学習画像に椎体、椎間板、第2頸椎椎体及びその他の部位が含まれる。
図13Eに示す例では、学習画像に椎体、第2頸椎椎体及びその他の部位が含まれる。
図13Fに示す例では、学習画像に椎間板、第2頸椎椎体及びその他の部位が含まれる。
【0079】
また、作成した学習画像に対して前処理を行った画像を学習画像としてもよい。例えば、Data Augmentationといって、学習画像の枚数を増やすために、画像を回転・反転させたり、画像の解像度や大きさを変えたり、ボケ量を変えたり、ノイズ量を変えた画像を学習画像とするなどである。回転とのaugmentationについては、(時計回り方向:反時計回り方向:回転角度の刻み)とすると,椎体の画像に対して(30度:60度:5度),椎間板の画像に対して(40度:60度:10度),仙骨の画像に対して(30度:60度:10度),3つの部位以外の領域の画像に対して(5度:5度:1度)でaugmentationを実施するなどがある。また、大きさのaugmentationについては、切り取る矩形領域の縦幅=切り取った矩形領域の縦幅×(1,1.1,1.2),切り取る矩形領域の横幅=切り取った矩形領域の横幅×(1,1.1,1.2,1.3)のaugmentationを実施するなどがある。また、学習画像に画像処理を行う場合はコントラスト平坦化やエッジ強調処理を適用するなどがある。
【0080】
次いで、機械学習を行う(ステップS12、S22、S32、S42、S52又はS62)。機械学習では、作成された学習画像に含まれる、椎体、椎間板、仙骨及び第2頸椎椎体のうちのいずれか2以上、並びにその他の部位に対してそれぞれラベルを割り当て、検出器を作成する。この検出器を検出部152として用いることができる。また、各部位毎に学習させる学習画像の枚数を変えても良い。例えば、学習時のバッチ内の割合では椎体:椎間板:仙骨:椎体・椎間板・仙骨以外=0.30:0.30:0.10:0.30とする方法などがある。
【0081】
そして、医用画像から各部位の検出を行う際には(ステップS13、S23、S33、S43、S53又はS63)、取得部151により取得された医用画像に対して検出器を適用し、出力された各部位又は領域に対応したラベルを検出結果とする。このように各部位に対応するラベルを検出結果とすることで、一度の処理で複数の部位を検出するできるため、より高速に処理を行うことが可能になる。また、部位ごとに検出器を作成し、例えば、これらを椎体検出器、椎間板検出器、仙骨検出器、第2頸椎椎体検出器として、部位ごとに学習及び検出を行ってもよい。こうすることで、検出器一つ一つを独立したモジュールとして扱うことができるため、対象とする画像にふさわしい検出器のみを選択することが可能となり、より柔軟に処理することができる。また、検出器に入力する画像は画像を走査して切り出していくラスタスキャンを用いても良い。ラスタスキャンする検出窓の枠の大きさは椎体、椎間板、仙骨の大きさに合わせるもしくは基準にして大きさを変えた検出窓の大きさに設定する方法などがある。
【0082】
検出部152の学習に、CNN(Convolutional Neural Network)、SVM(Support Vector Machine)、Adaboost又はrandom forestを用いてもよく、Active Shape Model、General Hough Transfer又はTemplate Matchingを用いてもよい。これらの内容は、例えば、「Vertebra identification using template matching modelmp and K-means clustering」、「Fully Automatic Vertebra Detection in X-Ray Images Based on Multi-Class SVM」及び「Fast scale-invariant lateral lumbar vertebrae detection and segmentation in X-ray images」に記載されている。また、検出した椎体、椎間板、仙骨又は第2頸椎椎体に対してRANSAC(Random sample consensus)を用いた誤検出除去又は孤立点除去を行ってもよい。更に、検出した複数の椎体、椎間板、仙骨又は第2頸椎椎体に対してクラスタリングを行い、検出点のグルーピングを行ってもよい。また、グルーピング後のクラスタを検出点として扱ってもよい。
図14は、腰椎の学習内容を示す図であり、
図15は、頸椎の学習内容を示す図である。
図14(a)に示すように、複数の学習画像ごとに腰椎周辺の検出点が検出されている場合に、クラスタリングを行ってもよく、
図14(b)のように、グルーピング後のクラスタを腰椎周辺の各検出点として扱ってもよい。また、
図15(a)に示すように、複数の学習画像ごとに頸椎周辺の検出点が検出されている場合に、クラスタリングを行ってもよく、
図15(b)のように、グルーピング後のクラスタを頸椎周辺の各検出点として扱ってもよい。また、RANSACを用いた誤検出除去の方法としては、脊椎の曲がりを考慮して3次の近似曲線を推定し、近似曲線を中心として距離を算出し、椎体の幅の半分の距離よりも大きい検出点を誤検出として削除などがある。
【0083】
本実施形態によれば、医用画像の種類にかかわらず、医用画像に不明瞭な椎体や椎間板が含まれる場合であっても、椎体及び椎間板のラベル付を適切に行うことができる。更に、椎間板の補間を行う際には、椎間板の検出点だけでなく、医用画像中の椎体の検出点も用いられる。従って、椎間板の検出点のみを用いて補間を行う場合と比較して、椎間板及び椎体を含めた検出点間の間隔が約半分と密になるため、補間点の推定誤差を低減することができる。更に、椎間板ヘルニアのように椎間板の位置が通常の位置からずれている場合であっても、椎体の検出点から高精度で椎間板を補間することができる。
【0084】
なお、医用画像に仙骨及び第2頸椎の椎体が含まれていない場合であっても、医用画像中の少なくとも一つの椎体又は椎間板が脊椎のどの部分であるかが既知であれば、その検出点を最初の基準点としてラベル付を行うことができる。従って、例えば、仙骨及び第2頸椎の椎体の両方が含まれていない胸椎の医用画像にラベル付を行うことも可能である。
また、頸椎の医用画像に頸椎の全ての椎体及び椎間板が含まれている必要はなく、例えば、肩付近の第6頸椎C6及び第7頸椎C7の椎体が含まれていなくてもよい。同様に、腰椎の医用画像に腰椎の全ての椎体及び椎間板が含まれている必要はなく、例えば、肋骨付近の第1腰椎L1及び第2腰椎L2の椎体が含まれていなくてもよい。医用画像はX線画像である必要はなく、MRI画像であってもよい。
【0085】
補間部154による補間の方法は特に限定されない。例えば、外挿による補間を行ってもよく、内挿による補間を行ってもよい。補間点算出部171が、検出部152により検出された二つの部位の間の位置関係、例えば椎体と椎間板との間の位置関係、仙骨と椎体若しくは椎間板との間の位置関係、又は第2頸椎の椎体と他の椎体又は椎間板との位置関係を用いて、補間しようとする椎体又は椎間板の位置を補間してもよい。ここでいう位置関係には相互間の距離若しくは任意の直線又は面を基準とした角度の関係が含まれる。
【符号の説明】
【0086】
100 医用画像処理装置
151 取得部
152 検出部
153 ラベリング部
154 補間部
155 表示制御部
161 近似曲線作成部
162 基準点特定部
163 次点特定部
171 補間点算出部
200 医用画像撮像装置
【先行技術文献】
【特許文献】
【0087】
【文献】特開2016-168166号公報
【文献】特許第6218569号公報