(58)【調査した分野】(Int.Cl.,DB名)
前記辞書情報は、ユーザを示す第1情報と、前記3次元の核医学画像から画像特徴を用いて検出される前記基準軸を示す第1基準軸の修正量を特定する第2情報とが対応付けられた情報であり、
前記修正量は、前記第1基準軸と、ユーザが手動で入力した前記基準軸を示す第2基準軸との差分に応じた値を示す、
請求項1に記載の画像処理装置。
前記辞書情報は、ユーザを示す第1情報に対して、前記第1情報が示すユーザが学習用の画像に対して手動で入力した前記基準軸を示す第3基準軸を基準にして当該学習用の画像から切り出した第1画像と、当該学習用の画像のうち前記第3基準軸以外の領域から切り出した第2画像との画像特徴空間における境界を識別する識別器を特定する第2情報が対応付けられた情報であり、
前記決定部は、
前記辞書情報に含まれる前記第2情報により特定される前記識別器を用いて、前記3次元の核医学画像から前記基準軸を検出する第2検出部を含み、
前記第2検出部により検出された前記基準軸を、前記第1断面画像を生成するのに用いられる前記基準軸として決定する、
請求項1に記載の画像処理装置。
前記更新部は、前記修正情報の入力を行ったユーザと、当該修正情報により修正が指示された前記基準軸の決定に用いられた前記辞書情報に反映された特性を有するユーザとが一致しない場合は、前記辞書情報を更新しない、
請求項9に記載の画像処理装置。
【発明を実施するための形態】
【0010】
以下、添付図面を参照しながら、本発明に係る画像処理装置、および、核医学診断装置の実施形態を詳細に説明する。以下では、本発明を、核医学診断装置の一例であるPET(Positron Emission computed Tomography)装置に適用した場合について説明する。ただし、これに限定されるものではなく、本発明は、例えばSPECT(Single Photon Emission Computed Tomography)装置、SPECT装置とX線CT装置とが一体化されたSPECT−CT装置、PET装置とX線CT装置とが一体化されたPET−CT装置、又はこれらの装置群等に対して適用可能である。
【0011】
(第1実施形態)
図1は、本実施形態に係る核医学診断装置1の構成例を示す図である。
図1に示すように、核医学診断装置1は、核医学画像生成装置10と、画像保管装置20と、画像表示装置30とを備える。
図1に例示する各装置は、バス2を介して、互いに通信可能な状態となっている。各装置は、有線を介して相互に接続されてもよいし、無線を介して相互に接続されてもよい。例えば各装置は、病院内に設置されたLAN(Local Area Network)などのネットワークを介して、相互に通信可能な形態であってもよい。さらに、例えば各装置が一体となって核医学診断装置1が構成されてもよい。
【0012】
核医学画像生成装置10は、被検体に投与された核種が放出する放射線を検出する検出部11と、放射線に応じて3次元の核医学画像を生成する生成部12とを含む。より具体的には以下のとおりである。まず、陽電子放出核種で標識された薬剤が被検体に投与される。すると、被検体内の生体組織に選択的に取り込まれた陽電子放出核種が陽電子を放出し、放出された陽電子は、電子と結合して消滅する。このとき、陽電子は、一対のガンマ線をほぼ反対方向に放出する。一方、核医学画像生成装置10は、
図2に示すように被検体Pの周囲にリング状に配置された検出器13を用いてガンマ線を検出する。検出器13は、例えばフォトンカウンティング(Photon Counting)方式の検出器であってもよい。
図2において、z方向は被検体Pの体軸方向を示し、14は寝台を示し、15は被検体Pが載せられる天板を示す。この例では、リング状に配置された検出器11の組(リング状検出器と称する)は、被検体の体軸方向に沿って複数配置されている。ここでは、上記検出部11は、この複数のリング状検出器によって構成されている。
【0013】
生成部12は、各リング状検出器による検出結果から同時計数情報(Coincidence List)を生成し、生成した同時計数情報を用いて逆投影処理による再構成を行い、2次元のスライス画像(断面画像)を生成する。そして、生成部12は、以上のように生成した断面画像を並べることで、3次元の核医学画像を生成する。つまり、生成部12は、検出部11によって検出された放射線に応じて3次元の核医学画像を生成していると考えることができる。
【0014】
図1に戻って説明を続ける。画像保管装置20は、医用画像を保管するデータベースである。具体的には、画像保管装置20は、核医学画像生成装置10により生成された3次元の核医学画像を格納し、これを保管する。例えば画像保管装置20は、被検体と、画像診断の対象部位(例えば心臓や脳など)との組み合わせごとに、核医学画像生成装置10により生成された3次元の核医学画像を対応付けて(紐付けて)格納する形態であってもよい。
【0015】
画像表示装置30は、核医学画像生成装置10により生成された3次元の核医学画像に含まれるオブジェクト(画像診断の対象部位、または観察対象の部位)の基準軸を決定する処理を行い、基準軸と特定の関係を満たす断面を示す第1断面画像を表示する。
【0016】
ここで、PET装置やSPECT装置などの核医学診断装置を利用した画像診断の対象が、例えば心臓のように動きが大きい臓器である場合、動きボケなどにより心臓の構造が鮮明な画像を得ることは困難である。そのため、ユーザ(医師)に呈示される画像が同じであっても、どの部分が左心室の長軸(上記基準軸の一例)を指すのかという解釈がユーザによって異なるので、従来のように画像特徴から自動で長軸検出を行うと、画像診断を行っているユーザの解釈と異なる長軸が検出されてしまうおそれがある。これにより、その後の解析に支障をきたす可能性がある。
【0017】
そこで、本実施形態における核医学診断装置1は、ユーザの特性を反映させた辞書情報を用いて、心臓を含む3次元の核医学画像における左心室の長軸を決定する処理を行う。以下、詳細な内容について説明する。なお、以下の説明では、画像診断の対象部位が心臓である場合を例に挙げて説明する(つまり、3次元の核医学画像には被検体の心臓が含まれていることを前提とする)が、これに限られるものではない。
【0018】
図3は、画像表示装置30の構成例を示す図である。
図3に示すように、画像表示装置30は、入力部40と、画像処理部50と、表示部60とを有する。
【0019】
入力部40は、ユーザが各種指示や各種設定の入力に用いるデバイスである。入力部40は、例えばマウスやキーボードなどで構成され得る。画像処理部50は、ユーザの特性を反映させた辞書情報を用いて左心室の長軸を決定する処理を行い、決定した長軸と特定の関係を満たす断面を示す第1断面画像を表示部60に表示する制御を行う。表示部60は、各種の画像を表示するディスプレイ装置であり、例えば液晶パネル型のディスプレイ装置などで構成され得る。
【0020】
以下、画像処理部50の具体的な内容を説明する。この例では、画像処理部50は、請求項の「画像処理装置」に対応している。
図3に示すように、画像処理部50は、受付部51と、取得部52と、辞書情報記憶部53と、選択部54と、決定部55と、画像生成部56と、表示制御部57とを有する。
【0021】
受付部51は、ユーザによる入力部40の操作に応じた各種の情報を受け付ける。例えば受付部51は、後述の辞書情報を指定する情報を受け付けることもできるし、画像診断に用いる3次元の核医学画像を指定する情報を受け付けることもできる。
【0022】
取得部52は、画像保管装置20にアクセスして、3次元の核医学画像を取得する。取得部52は、ユーザからの要求に応じて、3次元の核医学画像を取得することもできる。例えば入力部40を介して、画像診断の対象部位(この例では「心臓」)と、被検体とを指定する情報を受付部51で受け付けた場合、取得部52は、指定された部位と被検体との組み合わせに対応する3次元の核医学画像を、画像保管装置20から取得することもできる。なお、例えば画像保管装置20が設けられずに、核医学画像生成装置10内に、生成した3次元の核医学画像を格納するメモリが設けられていてもよい。この場合は、取得部52は、核医学画像生成装置10にアクセスして、3次元の核医学画像を取得する。
【0023】
辞書情報記憶部53は、複数種類の辞書情報を記憶する。以下、辞書情報の詳細な内容について説明する。ここでは、辞書情報は、3次元の核医学画像に含まれるオブジェクトの基準軸を決定するための情報を保持しており、かつ、複数のユーザのうちの何れかのユーザの特性が反映されている。より具体的には、辞書情報は、ユーザを示す第1情報と、3次元の核医学画像から画像特徴を用いて検出される基準軸を示す第1基準軸の修正量を特定する第2情報とが対応付けられた情報を指す。本実施形態における辞書情報は、第1情報と、オブジェクトを示す部位情報と、第2情報とが対応付けられた情報であるが、これに限らず、例えば辞書情報は、上記部位情報を含まない形態であってもよい(例えば核医学診断装置1を利用した画像診断の対象部位が1種類のみの場合など)。
【0024】
上記第2情報により特定される修正量は、第1基準軸と、ユーザが手動で入力した基準軸を示す第2基準軸との差分に応じた値を示す。つまり、第2情報により特定される修正量は、ユーザの特性が反映された値を示す。本実施形態では、第2情報により特定される修正量は、上記差分を複数の3次元の核医学画像ごとに算出して平均した値である。この例では、画像処理部50(核医学診断装置1)は、画像診断の対象部位ごとに、複数種類のサンプルの3次元の核医学画像を予め用意しておき、これらを利用して、複数のユーザの各々と、画像診断の対象部位との組み合わせごとに上記修正量を算出し、算出した修正量を第2情報として設定することで、複数種類の辞書情報を予め設定(作成)する機能を有している。
【0025】
以下、ユーザの心臓の辞書情報を設定する場合を例に挙げて説明する。オブジェクトが心臓の場合は、上記基準軸は左心室の長軸であり、心臓の辞書情報とは、ユーザを示す第1情報と、オブジェクトとして「心臓」を示す部位情報と、画像特徴を用いて検出される左心室の長軸(以下の説明では、「第1長軸」と称する場合がある)の修正量を示す第2情報とが対応付けられた情報を指す。画像処理部50は、それぞれが心臓を含む複数種類のサンプルの3次元の核医学画像ごとに、画像特徴を用いて自動検出された第1長軸が射影された断面画像(以下の説明では、「サンプル断面画像」と称する場合がある)を用意しておき、ユーザに呈示する。そして、当該ユーザは、呈示された複数種類のサンプル断面画像の各々に対して、自分の解釈に従った長軸を手動で入力していく。なお、画像特徴を用いて左心室の長軸を検出する方法としては、公知の様々な技術を利用することができる。
【0026】
そして、
図4に示すように、画像処理部50は、サンプル断面画像ごとに、第1長軸と、サンプル断面画像に対してユーザが手動で入力した左心室の長軸を示す第2長軸(つまり、ユーザの解釈に準ずる長軸)との差分を算出する。そして、算出した差分の平均値を、当該ユーザを示す第1情報と、オブジェクトとして「心臓」を示す第2情報との組み合わせに対応する修正量を示す第2情報として設定する。サンプル断面画像数をNとし、第i番目のサンプル断面画像について、画像特徴を用いて自動的に検出された第1長軸と、ユーザが手動で入力した第2長軸との差分をdiとすると、修正量Cは、以下の式1で表すことができる。
【数1】
【0027】
本実施形態では、上記差分は、第1長軸と第2長軸との角度差を表す。
図4の例では、左右方向(水平方向)に延在する軸を基準に算出される第1長軸の角度と、当該軸を基準に算出される第2長軸の角度との角度差(
図4の例では10.6度)が上記差分に該当する。ここで、核医学の心筋検査において最も利用されるのは短軸像であり、短軸像は長軸に直交する断面なので、長軸の位置が変わっても向きが同じであれば得られる断面(長軸に直交する断面)は同じである。このため、長軸の位置よりも角度が重要となる。角度を算出する際に基準となる軸は、毎回の角度算出において同じであればよく、どのように設定してもよい。また、例えば第1長軸を修正(後述)する際に基準となる位置を予め設定しておくこともできる。例えば画像特徴を用いて自動的に検出された長軸の中心位置を基準位置としてもよいし、別の方法で検出した心臓の中心位置を基準位置としてもよい。
【0028】
なお、心筋検査において利用される他の断面像として長軸に平行な長軸像がある。長軸像は、長軸に平行な断面なので、長軸の位置に応じて得られる断面が変化する。この場合は、角度だけでなく位置の補正も必要になる。このため、例えば上記差分は、角度差と位置ずれ量を表すものであってもよい。ここで、被検体の心臓の位置は、当該被検体の3次元の核医学画像ごとに異なるので、位置の基準については画像ごとに設定することが望ましい。例えば画像特徴を用いて自動的に検出された長軸の中心位置を基準としてもよいし、別の方法で検出した心臓の中心位置を基準としてもよい。例えば人物検出のように識別器を使って心臓の中心位置を検出することもできる。ただし、検出された心臓の中心位置が検出された長軸上に存在しない場合は、心臓の中心位置を長軸上に射影する、または、心臓の中心位置が長軸上に存在するように長軸をずらす必要がある。位置ずれ量も、角度と同様に、上記式1のように計算して第2情報に含めることもできる。
【0029】
以上の方法により、
図5に示すように、画像処理部50は、複数のユーザ(
図5の例では、ユーザ_001およびユーザ_002)ごとに、上記修正量を算出する。なお、各ユーザに呈示されるサンプル断面画像k(k=1,2,・・・,N)は同じ画像である。そして、ユーザを示す第1情報と、オブジェクトとして「心臓」を示す部位情報との組み合わせごとに、算出した修正量を示す第2情報を対応付けて、各ユーザの心臓の辞書情報を設定する。以上のようにして、画像処理部50は、各ユーザの心臓の辞書情報を設定することができる。なお、例えば「脳」などの他の部位の辞書情報についても、同様の方法で設定することができる。
【0030】
図6は、本実施形態における辞書情報の一例を示す図である。例えばユーザAの心臓の辞書情報は、「A」というユーザを示す第1情報と、オブジェクトとして「心臓」を示す部位情報と、上記第1長軸の修正量として「+6度」を示す第2情報とが対応付けられた情報を指す。
【0031】
図3に戻って説明を続ける。選択部54は、ユーザの入力に応じて、辞書情報記憶部53に記憶された複数種類の辞書情報のうちの何れかを選択する。より具体的には、入力部40を介して辞書情報を指定する情報を受付部51で受け付けた場合、選択部54は、辞書情報記憶部53に記憶された複数種類の辞書情報の中から、指定された辞書情報を選択する。この例では、ユーザを示す第1情報(例えばユーザごとに割り当てられた固有の情報を示すID等)と、オブジェクトを示す部位情報との組み合わせが、辞書情報を指定する情報に該当し、第1情報および部位情報の入力を受付部51で受け付けた場合、選択部54は、辞書情報記憶部53に記憶された複数種類の辞書情報の中から、入力された第1情報と部位情報との組み合わせを含む辞書情報を選択する。
【0032】
例えば画像診断を行う「A」というユーザは、入力部40を操作して、当該ユーザの特性が反映された辞書情報を指定する情報として、当該ユーザを示す第1情報と、オブジェクトとして「心臓」を示す部位情報とを入力することができる。そして、「A」というユーザを示す第1情報、および、オブジェクトとして「心臓」を示す部位情報の入力を受付部51で受け付けた場合、選択部54は、「A」というユーザを示す第1情報と、オブジェクトとして「心臓」を示す部位情報との組み合わせを含む辞書情報(
図6の例では第1行目の辞書情報)を選択するという具合である。
【0033】
決定部55は、選択部54により選択された辞書情報を用いて、基準軸を決定する。
図3に示すように、決定部55は、第1検出部65と、第1修正部70とを含む。
【0034】
第1検出部65は、取得部52により取得された3次元の核医学画像から、画像特徴を用いて基準軸(第1基準軸)を検出する。この例では、第1検出部65は、取得部52により取得された心臓を含む3次元の核医学画像から、画像特徴を用いて左心室の長軸(第1長軸)を検出する。
【0035】
第1修正部70は、選択部54により選択された辞書情報に含まれる第2情報により特定される修正量に応じて、第1基準軸を修正する。この例では、第1修正部70は、選択部54により選択された辞書情報に含まれる第2情報が示す修正量に応じて、第1検出部65により検出された第1長軸を修正する。いま、例えば選択部54により、
図6の第1行目の辞書情報が選択されていた場合を想定する。
図6に示すように、第1行目の辞書情報に含まれる第2情報は、第1長軸の修正量として「+6度」を示しているので、第1修正部70は、第1検出部65により検出された第1長軸を、「+6度」だけ修正する。この角度の正負の方向は任意に定義可能であり、例えば修正時の基準位置(例えば第1長軸の中心位置など)が予め定められている場合は、当該基準位置を中心に反時計回りに回転する方向を正、時計回りに回転する方向を負であると定義することもできる。この場合、第1長軸を「+6度」だけ修正するとは、予め定められた基準位置を中心にして第1長軸を反時計回りに6度だけ回転させることを表す。以上のように、決定部55は、第1修正部70による修正で得られた長軸を、左心室の長軸として決定する。なお、第2情報には、基準位置を特定可能な情報が含まれていてもよい。
【0036】
従来のように、心臓を含む3次元の核医学画像から、画像特徴を用いて長軸を自動的に検出する場合、得られる長軸は一意である。これに対して、本実施形態では、ユーザごとに当該ユーザの特性が反映された辞書情報が予め用意されており、ユーザからの入力に応じて選択された辞書情報が異なれば、辞書情報を用いて決定される長軸も異なる。例えば
図7および
図8に示すように、画像診断に用いる画像は同じであっても、ユーザAの辞書情報を用いて決定される長軸と、ユーザBの辞書情報を用いて決定される長軸とは異なる。本実施形態においては、ユーザは、当該ユーザの特性が反映された辞書情報(当該ユーザ用の辞書情報)を指定することにより、自分の解釈に準じた長軸を自動的に決定させることができる。
【0037】
図3に戻って説明を続ける。画像生成部56は、決定部55により決定された基準軸に応じて、表示部60に表示すべき画像を生成する。より具体的には、画像生成部56は、基準軸と特定の関係を満たす断面を示す第1断面画像を少なくとも生成する。本実施形態では、画像生成部56は、左心室の長軸に直交する断面を示す短軸像を、第1断面画像として生成する。また、画像生成部56は、心臓(左心室)が映り込んだアキシャル断面像に対して、決定部55により決定された長軸を示す情報(例えばアキシャル断面像に対して射影された長軸を示す直線等)を合成した画像(以下の説明では、「第1合成画像」と称する場合がある)を生成する。また、画像生成部56は、アキシャル断面像に直交し、かつ、決定部55により決定された長軸を通る断面を示す垂直長軸像に対して、決定部55により決定された長軸を示す情報(例えば垂直長軸像上の長軸を示す直線等)を合成した画像(以下の説明では、「第2合成画像」と称する場合がある)を生成する。
【0038】
表示制御部57は、画像生成部56により生成された画像(少なくとも第1断面画像を含む)を表示部60に表示する制御を行う。この例では、
図9に示すように、表示制御部57は、画像生成部56により生成された短軸像を表示部60に表示する制御を行う。また、
図9に示すように、表示制御部57は、上記第1合成画像と、心臓(左心室)がそれぞれに映り込んだサジタル断面像およびコロナル断面像と、上記第2合成画像とを表示部60に表示する制御を行う。
【0039】
次に、本実施形態の画像表示装置30の動作例を説明する。
図10は、画像表示装置30の動作例を示すフローチャートである。
【0040】
図10に示すように、まず取得部52は、核医学画像生成装置10により生成された3次元の核医学画像(この例では心臓を含む3次元の核医学画像)を取得する(ステップS1)。次に、心臓の辞書情報を指定する情報として、何れかのユーザを示す第1情報と、オブジェクトとして「心臓」を示す部位情報とを受付部51で受け付けた場合、選択部54は、辞書情報記憶部53に記憶された複数種類の辞書情報の中から、入力された第1情報と部位情報との組み合わせを含む辞書情報を選択する(ステップS2)。
【0041】
次に、決定部55は、ステップS2で選択された辞書情報を用いて、ステップS1で取得された3次元の核医学画像における長軸を決定する(ステップS3)。この長軸の決定方法の具体的な内容は前述したとおりである。次に、画像生成部56は、ステップS3で決定された長軸に応じて、表示部60に表示すべき画像を生成する(ステップS4)。前述したように、画像生成部56は、ステップS3で決定された長軸に直交する断面を示す短軸像を少なくとも生成する。次に、表示制御部57は、ステップS4で生成された画像(少なくとも短軸像を含む)を表示部60に表示する制御を行う(ステップS5)。
【0042】
以上に説明したように、本実施形態では、それぞれが、3次元の核医学画像に含まれるオブジェクト(この例では心臓)の基準軸(この例では左心室の長軸)を決定するのに用いられ、かつ、複数のユーザのうちの何れかのユーザの特性が反映された複数種類の辞書情報が予め用意されている。そして、本実施形態の核医学診断装置1(画像処理部50)は、ユーザからの入力に応じて選択した辞書情報を用いて、左心室の長軸を決定する処理を行う。すなわち、選択した辞書情報に対応するユーザの解釈に準じて左心室の長軸を決定するので、その後の当該ユーザによる解析が円滑に行われるという有利な効果を達成できる。
【0043】
(第1実施形態の変形例1)
例えば辞書情報は、第1情報と、第2情報と、疾患の種別を示す第3情報とが対応付けられた情報であってもよい。
図11は、本変形例において、辞書情報記憶部53に記憶される複数種類の辞書情報の一例を示す図である。
図11の例では、辞書情報は、第1情報と、部位情報と、第3情報と、第2情報とが対応付けられた情報を指す。
【0044】
本変形例では、第2情報により特定される修正量は、当該第2情報に対応付けられた第3情報が示す種別に属する複数の3次元の核医学画像の各々に対応する上記差分の平均値である。例えば、画像診断の対象となる部位と疾患の種別との組み合わせごとに、複数種類のサンプルの3次元の核医学画像を予め用意しておき、これらを利用して、ユーザと部位と疾患の種別との組み合わせごとに上記修正量を算出し、算出した修正量を第2情報として当該組み合わせに対応付けることで、
図11に示すような複数種類の辞書情報を予め設定(作成)することもできる。
【0045】
ここでは、部位を示す部位情報と疾患の種別を示す第3情報との組み合わせを「カテゴリ」と称する場合がある。例えば部位として「心臓」を示す部位情報と、疾患の種別として「肥大型」を示す第3情報との組み合わせを示すカテゴリpと、「A」というユーザを示す第1情報との組み合わせに対応する修正量(第2情報)は以下のように算出されてもよい。カテゴリpに属する複数種類のサンプルの3次元の核医学画像の数をNp、カテゴリpに属するNp個のサンプルの3次元の核医学画像のうち第i番目のサンプルの3次元の核医学画像から画像特徴を用いて自動検出された長軸(第1長軸)と、ユーザAが手動で入力した長軸(第2長軸)との差分をd
ipとすると、ユーザAとカテゴリpとの組み合わせに対応する修正量Cp(「A」というユーザを示す第1情報と、オブジェクトとして「心臓」を示す部位情報と、疾患の種別として「肥大型」を示す第3情報との組み合わせに対応する第2情報)は、以下の式2で表すことができる。
【数2】
【0046】
以上の方法により、複数のユーザのうちの何れかと、画像診断の対象部位と、疾患の種別との組み合わせごとに上記修正量を算出し、算出した修正量を第2情報として当該組み合わせに対応付けることで、複数種類の辞書情報を設定することができる。
【0047】
なお、辞書情報の選択に用いられる第3情報は、ユーザが入力してもよいし、画像処理部50が、取得部52により取得された3次元の核医学画像の画像特徴から推定してもよい。第1情報および部位情報については、上述の第1実施形態と同様に、ユーザが入力部40を操作して入力する。辞書情報を選択するための第1情報と部位情報と第3情報との組み合わせが決まると、選択部54は、辞書情報記憶部53に記憶された複数種類の辞書情報の中から、当該組み合わせを含む辞書情報を選択するという具合である。
【0048】
(第1実施形態の変形例2)
例えば辞書情報に含まれる第2情報は、画像特徴を表す特徴ベクトルと修正量との関係を表すとともに上記差分(画像特徴を用いて自動的に検出された第1長軸と、ユーザが手動で入力した第2長軸との差分)が反映された(つまり、ユーザの特性が反映された)回帰式を特定する情報であってもよい。この場合、決定部55は、選択部54により選択された辞書情報に含まれる第2情報により特定される回帰式を用いて、取得部52により取得された3次元の核医学画像から抽出される特徴ベクトルに対応する修正量を特定することもできる。
【0049】
例えば上記関係情報は、以下の式3に示すような回帰式で表すことができる。
【数3】
【0050】
上記式3において、Xは、取得部52により取得された3次元の核医学画像から抽出される特徴ベクトルを表し、C(X)は修正量を表す。また、φは、Xを非線形な特徴空間へ射影するための関数の集合であり、Wはφ(X)の係数を表す行列である。Xを非線形な特徴空間へ射影することにより、C(X)とXとの関係を表す非線形な回帰式を得ることができる。Wは、例えば以下の式4で表される誤差関数の最小化を解くことで得るとよい。
【数4】
【0051】
上記式4において、diは、第1実施形態と同様に、画像特徴を用いて自動的に検出された第1長軸と、ユーザが手動で入力した第2長軸との差分を表し、λは正則化パラメータを指す。正則化パラメータとは、モデル(回帰モデル)に対するオーバーフィッティングを防ぐための項にかかる定数である。なお、λが大きいほど、モデルにフィットし難いが結果の発散を防ぐことができる一方、λが小さいほど、モデルにフィットし易いが結果の発散が生じ易いといったトレードオフがあり、問題(回帰モデル)に応じて最適な値も異なる。上記式4からも理解されるように、Wは、上記差分diに応じて変化し、ユーザの特性が反映された値となる。
【0052】
本変形例では、辞書情報に含まれる第2情報は、修正量そのものを示すものではなく、上記回帰式を特定する情報となる。そのため、例えば
図12に示すように、辞書情報に含まれる第2情報は、上記回帰式が格納されたファイルを示す情報であってもよい。また、これに限らず、例えば第2情報は、上記回帰式そのものを示す情報であってもよい。
【0053】
(第1実施形態の変形例3)
例えば辞書情報に含まれる第2情報は、ユーザが学習用の画像に対して手動で入力した基準軸(第3基準軸)を基準にして当該学習用の画像から切り出した第1画像と、当該学習用の画像のうち上記第3基準軸以外の領域から切り出した第2画像との画像特徴空間における境界を識別する識別器を特定する情報であってもよい。
【0054】
図13は、本変形例に係る画像表示装置300の構成例を示す図である。ここでは、本変形例に係る画像処理部を500と表記する。
図13の例では、画像処理部500は、第2検出部80を含む決定部550を有している。第2検出部80は、選択部54により選択された辞書情報に含まれる第2情報により特定される識別器を用いて、取得部52により取得された3次元の核医学画像から基準軸を検出する。そして、決定部550は、第2検出部80により検出された基準軸を、第1断面画像を生成するのに用いられる基準軸として決定する。
【0055】
以下、識別器の学習について説明する。ここでは、3次元の核医学画像から左心室の長軸を検出するのに用いられる識別器の学習を例に挙げて説明する。ここでは、学習用の画像として、心臓を含む3次元の核医学画像を用いる場合を例に挙げて説明するが、これに限らず、例えば心臓が映り込んだ2次元の断面画像を、学習用の画像として用いることもできる。
【0056】
まず、画像処理部500は、予め用意した複数種類の学習用の画像ごとに、当該学習用の画像に対してユーザが手動で入力した長軸を示す第3長軸(第3基準軸の一例)を対応付けた情報(以下の説明では、「学習データセット」と称する場合がある)を生成する。この学習データセットは、複数のユーザごとに生成される(ただし、各ユーザに呈示する複数種類の学習用の画像は同じである)。一例として、
図14は、あるユーザCの学習データセットを模式的に示す図であり、
図15は、他のユーザDの学習データセットを模式的に示す図である。
【0057】
次に、画像処理部500は、生成した学習データセットから、長軸を基準に切り出した画像(第1画像)を正解サンプル、長軸以外の領域(場所)から切り出した画像(第2画像)を不正解サンプルとしてサンプルを収集する。そして、収集した正解サンプルおよび不正解サンプルを画像特徴空間上に配置して、正解サンプルと不正解サンプルとを分離可能な境界を決定する。この画像特徴空間上の境界が、識別器の本体となる。境界を決定する方法としては、例えば「線形識別器」、「最近傍法」、「決定木」などの様々なアルゴリズムを利用可能である。
【0058】
図16は、ユーザCの学習データセットから収集されたサンプルに基づいて決定された境界200Cを模式的に示す図であり、
図17は、ユーザDの学習データセットから収集されたサンプルに基づいて決定された境界200Dを模式的に示す図である。この例では、学習用の画像においてユーザCが解釈する長軸と、ユーザDが解釈する長軸との間には差異があるため、
図16および
図17に示すように、ユーザCの学習データセットから決定された境界200Cと、ユーザDの学習データセットから決定された境界200Dとは互いに異なる。
【0059】
本変形例では、辞書情報に含まれる第2情報は、上記識別器を特定する情報となる。例えば
図12の例と同様に、辞書情報に含まれる第2情報は、以上の学習により得られた識別器を示す情報が格納されたファイルを示す情報であってもよい。また、これに限らず、例えば第2情報は、以上の学習により得られた識別器を示す情報そのものであってもよい。
【0060】
第1実施形態と同様に、選択部54は、辞書情報記憶部53に記憶された複数種類の辞書情報の中から、入力された第1情報と部位情報との組み合わせを含む辞書情報を選択する。そして、第2検出部80は、選択部54により選択された辞書情報を用いて、長軸を検出する。より具体的には以下のとおりである。
【0061】
第2検出部80は、取得部52により新たに取得された3次元の核医学画像における長軸は分からないので、
図18に示すように、色々な長軸を仮定(ランダムに長軸を仮定してもよい)して画像を切り出し、サンプルを収集する。そして、
図19に示すように、第2検出部80は、収集したサンプルを画像特徴空間上に配置し、選択部54により選択された辞書情報に含まれる第2情報により特定される識別器が示す境界と比較する。この例では、境界の内側に配置されるサンプルは、長軸を基準にして切り出された画像に近いことになるので、第2検出部80は、境界の内側に配置されるサンプルを切り出す際に仮定した長軸を、取得部52により新たに取得された3次元の核医学画像における長軸として検出する。そして、決定部550は、第2検出部80により検出された長軸を、第1断面画像の生成に用いられる長軸として決定する。
【0062】
(第1実施形態の変形例4)
上述の第1実施形態では、各ユーザは、当該ユーザ用の辞書情報を利用して画像診断を行うことを前提としているが、例えば他のユーザの辞書情報を利用して画像診断を行いたいような場合には、他のユーザを示す第1情報と、部位情報とを入力することで、他のユーザ用の辞書情報を用いた画像診断を行うこともできる。
【0063】
また、上述の第1実施形態では、ユーザを示す第1情報と、画像診断の対象部位を示す部位情報との組み合わせが、辞書情報を指定する情報に相当しているが、これに限らず、辞書情報を指定する情報の種類は任意であり、例えば複数種類の辞書情報ごとに、当該辞書情報を識別する辞書IDを割り当てておき、ユーザは、入力部40を操作して、使用したい辞書情報の辞書IDを入力する形態であってもよい。
【0064】
(第2実施形態)
次に、第2実施形態について説明する。第2実施形態では、辞書情報を用いて決定した基準軸の修正を指示する修正情報を受け付けた場合は、当該修正情報に従って基準軸を修正し、その修正結果を反映させて辞書情報を更新する点で上述の第1実施形態と相違する。以下、第1実施形態と同様に、画像診断の対象部位が心臓である場合を例に挙げて、具体的な内容を説明する。なお、上述の第1実施形態と共通する部分については適宜に説明を省略する。
【0065】
図20は、第2実施形態に係る画像表示装置3000の構成例を示す図である。ここでは、第2実施形態に係る画像処理部を5000と表記する。
図20の例では、画像処理部5000に含まれる決定部5500は、辞書情報を用いて決定した長軸の修正を指示する修正情報を受け付けた場合は、当該辞書情報を用いて決定した長軸を、修正情報に従って修正する第2修正部90をさらに有する点で上述の第1実施形態と相違する。
【0066】
第1実施形態と同様に、ユーザが、入力部40を操作して、辞書情報(典型的には自分用の辞書情報)を指定する情報を入力すると、画像処理部5000は、ユーザからの入力に応じて辞書情報を選択し、選択した辞書情報を用いて長軸を決定する処理を行う。そして、画像処理部5000は、決定した長軸に直交する断面を示す短軸像と、上述の第1合成画像と、上述の第2合成画像とを表示部60に表示する制御を行う。
【0067】
ここで、ユーザは、表示部60により呈示された長軸が自分の解釈と異なっていると判断した場合は、入力部40を操作して、長軸の修正を指示することができる。例えばユーザは、入力部40を操作して、上述の第1合成画像、または、上述の第2合成画像に対して、長軸の修正を指示する修正情報を入力することができる。例えばユーザは、入力部40を操作して、自身が解釈する長軸を、フリーハンドで入力することで修正情報を入力することもできるし、辞書情報を用いて決定された長軸(自動的に呈示された長軸)の制御点を移動させる入力を行うことで修正情報を入力することもできる。
【0068】
以上のようにして入力された修正情報を受付部51で受け付けた場合、第2修正部90は、辞書情報を用いて決定された長軸(第1修正部70による修正で得られた長軸)を、修正情報に従って修正する。そして、決定部5500は、第2修正部90による修正で得られた長軸を、短軸像を生成するのに用いられる長軸として決定する。この決定に応じて、画像生成部56は、表示部60に表示すべき画像(この例では短軸像、第1合成画像および第2合成画像)を生成し直し、表示制御部57は、画像生成部56により生成し直された画像を表示部60に表示する制御を行う。
【0069】
また、
図20に示すように、本実施形態に係る画像処理部5000は、更新部100をさらに備える点で上述の第1実施形態と相違する。更新部100は、第2修正部90による修正結果を反映させて辞書情報を更新する。例えば上述の第1実施形態と同様に、辞書情報に含まれる第2情報が、上記式1で表される修正量を示す場合、取得部52により取得された3次元の核医学画像のうち決定部5500により決定された長軸が射影される断面画像を第i+1番目のサンプル断面画像とし、画像特徴を用いて自動的に検出された長軸と、ユーザが修正した長軸(第2修正部90による修正で得られた長軸)とのずれ量di+1を上記式1に追加して、辞書情報を更新することもできる。上述した第1実施形態の変形例1および2についても同様に考えることができる。
【0070】
また、上述した第1実施形態の変形例3においては、取得部52により取得された3次元の核医学画像を新たな学習用の画像とし、その学習用の画像に対して、ユーザが修正した長軸を対応付けた学習データセットを新たに生成する。そして、更新部100は、上記学習をやり直し、画像特徴空間上に配置された正解サンプルと不正解サンプルとを分離可能な境界(識別器)を決定し直すことで、辞書情報(識別器を特定する第2情報)を更新するという具合である。
【0071】
また、本実施形態における更新部100は、第2修正部90による修正量が閾値未満の場合は辞書情報を更新し、修正量が閾値以上の場合は辞書情報を更新しない。修正量が大き過ぎる場合は、長軸の自動検出に失敗している可能性が高いので、そのような情報を反映させて辞書情報を更新すると、辞書情報の性能(信頼性)も低下することが懸念される。このため、本実施形態では、第2修正部90による修正量が閾値以上の場合は、辞書情報の更新を行わないことにしている。
【0072】
次に、本実施形態の画像表示装置3000の動作例を説明する。
図21は、画像表示装置3000の動作例を示すフローチャートである。
図21において、ステップS101〜ステップS105の処理内容は、
図10に示すステップS1〜ステップS5の処理内容と同様であるので、詳細な説明は省略する。
【0073】
図21に示すステップ105の後、受付部51が上記修正情報を受け付けた場合(ステップS106:YES)、第2修正部90は、ステップS103で決定した長軸を、修正情報に従って修正する(ステップS107)。そして、決定部5500は、ステップS107の修正で得られた長軸を、短軸像を生成するのに用いられる長軸として決定する。この決定を受けて、画像生成部56は、表示部60に表示すべき画像(この例では短軸像、第1合成画像および第2合成画像)を生成し直す(ステップS108)。次に、表示制御部57は、ステップS108で生成された画像を表示部60に表示する制御を行う(ステップS109)。
【0074】
次に、更新部100は、ステップS107での修正量が閾値未満であるか否かを判断する(ステップS110)。修正量が閾値未満である場合(ステップS110:YES)、更新部100は、ステップS107での修正結果を反映させて、ステップS102で選択された辞書情報を更新する(ステップS111)。一方、修正量が閾値以上の場合(ステップS110:NO)、更新部100は、ステップS102で選択された辞書情報の更新を行わずに、そのまま処理が終了する。
【0075】
以上に説明したように、本実施形態では、ユーザから、辞書情報を用いて決定した長軸の修正を指示する修正情報を受け付けた場合は、当該修正情報に従って長軸を修正し、その修正結果を反映させて当該辞書情報を更新するので、よりユーザ(長軸の修正を指示したユーザ)の特性に合わせた辞書情報を構築することが可能になる。
【0076】
(第2実施形態の変形例1)
例えば更新部100は、修正情報の入力を行ったユーザと、当該修正情報により修正が指示された長軸の決定に用いられた辞書情報に反映された特性を有するユーザとが一致しない場合は、辞書情報を更新しない形態であってもよい。
【0077】
例えば各ユーザは、画像表示装置3000の使用を開始する際に、当該ユーザを示す第1情報(例えば各ユーザに割り当てられたユーザID等)を入力し、入力した第1情報が、画像表示装置3000(あるいは外部サーバ等)に予め登録された第1情報と一致する場合に(画像表示装置3000の使用権限を有するユーザであると認証された場合に)、画像表示装置3000を使用することができる形態を想定する。この場合、画像表示装置3000の使用を許可されたユーザは、入力部40を操作して、辞書情報を指定する情報や修正情報を入力することができる。例えば更新部100は、修正情報の入力を行ったユーザを示す第1情報(当該ユーザが画像表示装置3000の使用を開始する際に入力した第1情報)と、修正が指示された長軸の決定に用いられた辞書情報に含まれる第1情報とが一致しない場合は、当該辞書情報の更新を行わないこともできる。これにより、辞書情報に特性が反映されたユーザ以外の他のユーザの解釈が、当該辞書情報に反映されてしまうことを防止できる。
【0078】
(第2実施形態の変形例2)
例えば
図22に示すように、ユーザが選択した辞書情報を用いて決定された長軸とともに、全ての辞書情報の平均特性を表す平均辞書情報を用いて決定された長軸を、ユーザに対して呈示(表示)する形態であってもよい。ユーザは、自身が選択した辞書情報を用いて決定された長軸と、平均辞書情報を用いて決定された長軸とを比較して、自身が選択した長軸の修正を指示することもできる。
【0079】
図22の例では、決定部5500は、選択部54により選択された辞書情報(ユーザが選択した辞書情報)を用いて長軸を決定するとともに、平均辞書情報を用いて長軸を決定する。そして、画像生成部56は、決定部5500による決定に応じて、表示部60に表示すべき画像を生成する。例えば画像生成部56は、心臓が映り込んだアキシャル断面像に対して、選択部54により選択された辞書情報を用いて決定された長軸を示す情報と、平均辞書情報を用いて決定された長軸とを合成した画像を生成することもできる。また、例えば画像生成部56は、心臓が映り込んだ垂直断面像に対して、選択部54により選択された辞書情報を用いて決定された長軸を示す情報と、平均辞書情報を用いて決定された長軸とを合成した画像を生成することもできる。
【0080】
以上、本発明の実施形態を説明したが、この実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【0081】
上述の各実施形態および各変形例の画像処理部(50,500,5000)のハードウェア構成は、CPU(Central Processing Unit)、ROM、RAM、および、通信I/F装置などを含んだ通常のコンピュータのハードウェア構成を利用している。上述の画像処理部(50,500,5000)が有する複数の機能のうち辞書情報記憶部53を除いた各部の機能は、CPUがROMに格納されたプログラムをRAM上で展開して実行することにより実現される。また、これに限らず、上述の画像処理部(50,500,5000)が有する複数の機能のうち辞書情報記憶部53を除いた各部の機能の少なくとも一部を専用のハードウェア回路(例えば半導体集積回路等)で実現することもできる。なお、辞書情報記憶部53は、ROMやRAM等により実現されてもよいし、画像処理部(50,500,5000)の外部に設けられてもよい。
【0082】
また、上述の各実施形態および各変形例の画像処理部(50,500,5000)で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するようにしてもよい。また、上述の各実施形態および各変形例の画像処理部(50,500,5000)で実行されるプログラムを、インターネット等のネットワーク経由で提供または配布するようにしてもよい。また、上述の各実施形態および各変形例の画像処理部(50,500,5000)で実行されるプログラムを、ROM等の不揮発性の記録媒体に予め組み込んで提供するようにしてもよい。
【0083】
さらに、上述の各実施形態および各変形例は、任意に組み合わせることも可能である。