特開 2023-168807 医用画像処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023168807

(43)【公開日】2023-11-29

(54)【発明の名称】医用画像処理装置

(51)【国際特許分類】

   A61B 6/03 20060101AFI20231121BHJP

   A61B 5/055 20060101ALI20231121BHJP

【ＦＩ】

A61B6/03 360J

A61B5/055 380

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2022080137

(22)【出願日】2022-05-16

(71)【出願人】

【識別番号】594164542

【氏名又は名称】キヤノンメディカルシステムズ株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】石井 秀明

【テーマコード（参考）】

4C093

4C096

【Ｆターム（参考）】

4C093AA22

4C093DA10

4C093FF16

4C093FF18

4C093FG13

4C096AC06

4C096AD14

4C096DC19

4C096DC21

4C096DD13

(57)【要約】

【課題】解剖学的ランドマークの検出精度を向上させること。
【解決手段】実施形態に係る医用画像処理装置は、抽出部と、特定部と、補正部とを備える。抽出部は、医用画像から当該医用画像に含まれる解剖学的組織の特徴点を表す解剖学的ランドマークを抽出する。特定部は、解剖学的組織に基づきグループ化された複数の解剖学的ランドマークと、当該解剖学的ランドマーク間の物理的な関係性を規定する関係情報とを関連付けたランドマークグループから、抽出部で抽出された解剖学的ランドマークが属するランドマークグループを特定する。補正部は、特定部で特定されたランドマークグループの関係情報に基づいて、抽出部で抽出された解剖学的ランドマークの位置を補正する。
【選択図】図１

【特許請求の範囲】

【請求項1】

医用画像から当該医用画像に含まれる解剖学的組織の特徴点を表す解剖学的ランドマークを抽出する抽出部と、
前記解剖学的組織に基づきグループ化された複数の前記解剖学的ランドマークと、当該解剖学的ランドマーク間の物理的な関係性を規定する関係情報とを関連付けたランドマークグループから、前記抽出部で抽出された前記解剖学的ランドマークが属するランドマークグループを特定する特定部と、
前記特定部で特定された前記ランドマークグループの前記関係情報に基づいて、前記抽出部で抽出された前記解剖学的ランドマークの位置を補正する補正部と、
を備える医用画像処理装置。

【請求項2】

前記関係情報には、前記ランドマークグループに属する各解剖学的ランドマークの連続性を規定する連続性情報が含まれる、
請求項１に記載の医用画像処理装置。

【請求項3】

前記関係情報には、前記ランドマークグループに属する各解剖学的ランドマークの前記医用画像上における画素値の関係を規定する画素値適正情報が含まれる、
請求項２に記載の医用画像処理装置。

【請求項4】

前記補正部による補正前の各解剖学的ランドマークの位置と、前記補正部による補正後の各ランドマークの位置とを表示部に表示させる表示制御部を更に備える、
請求項１に記載の医用画像処理装置。

【請求項5】

前記補正部は、ユーザから、補正された各解剖学的ランドマークの位置の修正入力を受付けた場合、当該修正入力に従い、再度各解剖学的ランドマークの位置を補正する、
請求項４に記載の医用画像処理装置。

【請求項6】

前記抽出部は、機械学習又は深層学習により、前記医用画像のデータの入力に対して、複数の前記解剖学的ランドマークを出力するよう機能付けられた学習済モデルに前記医用画像のデータを入力することにより、前記解剖学的ランドマークを抽出し、
前記医用画像と、前記補正部により補正された各解剖学的ランドマークの位置とで構成される再学習用データを生成する再学習部と、
前記再学習用データを出力する出力部と、を更に備える、
請求項１乃至５の何れか１項に記載の医用画像処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本明細書及び図面に開示の実施形態は、医用画像処理装置に関する。

【背景技術】

【0002】

従来、機械学習（深層学習を含む）を用いて、医用画像診断装置で撮影された医用画像から解剖学的ランドマーク（Anatomical landmark）を抽出する技術が知られている。解剖学的ランドマークは、例えば、「腎臓の下端」、「第１～１２肋骨の先端」など、解剖学的組織に含まれる局所的な特徴点である。

【0003】

しかしながら、従来技術では、各特徴点の連続性等の関係性を考慮せず、個々の特徴点を独立して抽出している。このため、関連する複数の特徴点のうちの一部が誤検出されてしまった場合でも、当該特徴点の位置が補正されることはない。したがって、本来連続するはずの複数の特徴点がバラバラの位置に検出されてしまう可能性がある。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１７－０２３６９５号公報

【非特許文献】

【0005】

【非特許文献1】クリストファー M. ビショップ（Christopher M. Bishop）著、「パターン認識と機械学習（Pattern recognition and machine learning）」、（米国）、第１版、スプリンガー（Springer）、2006年、P.225-290

【発明の概要】

【発明が解決しようとする課題】

【0006】

本明細書及び図面に開示の実施形態が解決しようとする課題の一つは、解剖学的ランドマークの検出精度を向上させることである。ただし、本明細書及び図面に開示の実施形態により解決しようとする課題は上記課題に限られない。後述する実施形態に示す各構成による各効果に対応する課題を他の課題として位置づけることもできる。

【課題を解決するための手段】

【0007】

実施形態に係る医用画像処理装置は、抽出部と、特定部と、補正部とを備える。抽出部は、医用画像から当該医用画像に含まれる解剖学的組織の特徴点を表す解剖学的ランドマークを抽出する。特定部は、解剖学的組織に基づきグループ化された複数の解剖学的ランドマークと、当該解剖学的ランドマーク間の物理的な関係性を規定する関係情報とを関連付けたランドマークグループから、抽出部で抽出された解剖学的ランドマークが属するランドマークグループを特定する。補正部は、特定部で特定されたランドマークグループの関係情報に基づいて、抽出部で抽出された解剖学的ランドマークの位置を補正する。

【図面の簡単な説明】

【0008】

【図1】図１は、実施形態に係る医用情報処理システムの全体構成の一例を示す図である。

【図2】図２は、実施形態に係る機械学習によるランドマーク抽出モデルの生成方法の一例を示す説明図である。

【図3】図３は、実施形態に係る学習済モデルを用いた解剖学的ランドマークの抽出方法の一例を説明する図である。

【図4】図４は、実施形態に係る被検体の脊椎が撮影されたＣＴ画像データの一例である。

【図5】図５は、実施形態に係る解剖学的ランドマークの位置の抽出処理の一例を説明する図である。

【図6】図６は、実施形態に係る解剖学的ランドマークの位置の補正処理の一例を説明する図である。

【図7】図７は、実施形態に係る医用画像処理装置が実行する処理の一例を示すフローチャートである。

【発明を実施するための形態】

【0009】

以下、図面を参照しながら、医用画像処理装置の実施形態について詳細に説明する。

【0010】

図１は、第１の実施形態に係る医用情報処理システムＳの構成の一例を示すブロック図である。図１に示すように、医用情報処理システムＳは、医用画像処理装置１００と、医用画像診断装置２００と、医用画像保管装置５００とを備える。医用画像処理装置１００は、院内ＬＡＮ（Local Area Network）等のネットワーク３００を介して医用画像保管装置５００と通信可能に接続している。

【0011】

医用画像保管装置５００は、医用画像診断装置２００で撮影された医用画像を保管する。また、医用画像保管装置５００は、被検体の識別情報（例えば、患者ＩＤ等）と対応付けて医用画像のデータを保管している。

【0012】

医用画像保管装置５００は、例えば、ＰＡＣＳ（Picture Archiving and Communication System）のサーバ装置であり、ＤＩＣＯＭ（Digital Imaging and Communications in Medicine）に準拠した形式で、医用画像データを保管する。医用画像は、例えばＣＴ（Computed Tomography）画像データ、磁気共鳴画像データ、超音波診断画像データ等であるが、これらに限定されるものではない。

【0013】

医用画像保管装置５００は、例えば、ＤＢ（Database）サーバ等のコンピュータ機器によって実現され、ＲＡＭ（Random Access Memory）、フラッシュメモリ等の半導体メモリ素子や、ハードディスク、光ディスク等の記憶回路に医用画像のデータを記憶させる。

【0014】

医用画像診断装置２００は、例えば、被検体の医用画像を撮影する装置である。医用画像診断装置２００は、例えば、ＭＲＩ（Magnetic Resonance Imaging）装置、Ｘ線ＣＴ（Computed Tomography）装置、Ｘ線診断装置、超音波診断装置、ＰＥＴ（Positron Emission Tomography）装置、ＳＰＥＣＴ（Single Photon Emission Computed Tomography）装置等である。

【0015】

しかしながら、医用画像診断装置２００は、これらに限定されるものではない。医用画像診断装置２００は、モダリティともいう。なお、図１では１台の医用画像診断装置２００を図示しているが、複数の医用画像診断装置２００が設けられても良い。

【0016】

医用画像は、被検体が医用画像診断装置２００によって撮影された画像である。医用画像は、例えば、磁気共鳴画像、Ｘ線ＣＴ画像、超音波画像等である。しかしながら、医用画像は、これらに限定されるものではない。

【0017】

医用画像処理装置１００は、例えば、サーバ装置またはＰＣ（Personal Computer）等の情報処理装置である。医用画像処理装置１００は、ＮＷ（network）インタフェース１１０と、記憶回路１２０と、入力インタフェース１３０と、ディスプレイ１４０と、処理回路１５０とを備える。

【0018】

ＮＷインタフェース１１０は、処理回路１５０に接続されており、医用画像処理装置１００と医用画像診断装置２００及び医用画像保管装置５００との間で行われる各種データの伝送及び通信を制御する。ＮＷインタフェース１１０は、ネットワークカードやネットワークアダプタ、ＮＩＣ（Network Interface Controller）等によって実現される。

【0019】

記憶回路１２０は、処理回路１５０で使用される各種の情報を予め記憶する。また、記憶回路１２０は、各種のプログラムを記憶する。なお、記憶回路１２０は、例えば、ＨＤＤ（Hard disk Drive）やＳＳＤ（Solid State Drive）、集積回路記憶装置等の記憶装置である。

【0020】

また、記憶回路１２０は、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、フラッシュメモリ等の可搬性記憶媒体や、ＲＡＭ（Random Access Memory）等の半導体メモリ素子等との間で種々の情報を読み書きする駆動装置であってもよい。

【0021】

入力インタフェース１３０は、ユーザによる操作を受け付けるトラックボール、スイッチボタン、マウス、キーボード、操作面へ触れることで入力操作を行うタッチパッド、表示画面とタッチパッドとが一体化されたタッチスクリーン、光学センサを用いた非接触入力回路、及び音声入力回路等によって実現される。

【0022】

入力インタフェース１３０は、処理回路１５０に接続されており、ユーザから受け取った入力操作を電気信号へ変換し処理回路１５０へと出力する。なお、本明細書において入力インタフェースはマウス、キーボードなどの物理的な操作部品を備えるものだけに限られない。例えば、装置とは別体に設けられた外部の入力機器から入力操作に対応する電気信号を受け取り、この電気信号を処理回路１５０へ出力する電気信号の処理回路も入力インタフェースの例に含まれる。

【0023】

ディスプレイ１４０は、処理回路１５０による制御の下、各種の情報を表示する。例えば、ディスプレイ１４０は、処理回路１５０によって生成された医用画像を含む読影ビューアや、ユーザからの各種操作を受け付けるためのＧＵＩ（Graphical User Interface）等を出力する。ディスプレイ１４０は、表示部の一例である。

【0024】

ディスプレイ１４０は、具体的には、液晶ディスプレイやＣＲＴ（Cathode Ray Tube）ディスプレイ等である。なお、入力インタフェース１３０とディスプレイ１４０とは統合しても良い。例えば、入力インタフェース１３０とディスプレイ１４０とは、タッチパネルによって実現されても良い。

【0025】

処理回路１５０は、記憶回路１２０からプログラムを読み出し、実行することで各プログラムに対応する機能を実現するプロセッサである。本実施形態の処理回路１５０は、取得機能１５１と、抽出機能１５２と、特定機能１５３と、第１算出機能１５４と、第２算出機能１５５と、補正機能１５６と、表示制御機能１５７と、受付機能１５８と、再学習機能１５９とを備える。

【0026】

抽出機能１５２は、抽出部の一例である。特定機能１５３は、特定部の一例である。第１算出機能１５４、第２算出機能１５５、及び補正機能１５６は、補正部の一例である。表示制御機能１５７は、表示制御部の一例である。再学習機能１５９は、再学習部及び出力部の一例である。

【0027】

ここで、例えば、処理回路１５０の構成要素である取得機能１５１、抽出機能１５２、特定機能１５３、第１算出機能１５４、第２算出機能１５５、補正機能１５６、表示制御機能１５７、受付機能１５８、及び再学習機能１５９の各処理機能は、コンピュータによって実行可能なプログラムの形態で記憶回路１２０に記憶されている。処理回路１５０は、プロセッサである。例えば、処理回路１５０は、プログラムを記憶回路１２０から読み出し、実行することで各プログラムに対応する機能を実現する。換言すると、各プログラムを読み出した状態の処理回路１５０は、図１の処理回路１５０内に示された各機能を有することとなる。

【0028】

なお、図１においては単一のプロセッサにて取得機能１５１、抽出機能１５２、特定機能１５３、第１算出機能１５４、第２算出機能１５５、補正機能１５６、表示制御機能１５７、受付機能１５８、及び再学習機能１５９で行われる処理機能が実現されるものとして説明したが、複数の独立したプロセッサを組み合わせて処理回路１５０を構成し、各プロセッサがプログラムを実行することにより機能を実現するものとしても構わない。

【0029】

また、図１においては単一の記憶回路１２０が各処理機能に対応するプログラムを記憶するものとして説明したが、複数の記憶回路を分散して配置して、処理回路１５０は個別の記憶回路から対応するプログラムを読み出す構成としても構わない。

【0030】

上記説明では、「プロセッサ」が各機能に対応するプログラムを記憶回路から読み出して実行する例を説明したが、実施形態はこれに限定されない。「プロセッサ」という文言は、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、特定用途向け集積回路（Application Specific Integrated Circuit：ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Simple Programmable Logic Device：ＳＰＬＤ）、複合プログラマブル論理デバイス（Complex Programmable Logic Device ：ＣＰＬＤ）、及びフィールドプログラマブルゲートアレイ（Field Programmable Gate Array：ＦＰＧＡ））等の回路を意味する。

【0031】

プロセッサが例えばＣＰＵである場合、プロセッサは記憶回路に保存されたプログラムを読み出して実行することで機能を実現する。一方、プロセッサがＡＳＩＣである場合、記憶回路１２０にプログラムを保存する代わりに、当該機能がプロセッサの回路内に論理回路として直接組み込まれる。

【0032】

なお、本実施形態の各プロセッサは、プロセッサ毎に単一の回路として構成される場合に限らず、複数の独立した回路を組み合わせて１つのプロセッサとして構成し、その機能を実現するようにしてもよい。さらに、図１における複数の構成要素を１つのプロセッサへ統合してその機能を実現するようにしてもよい。

【0033】

取得機能１５１は、ネットワーク３００及びＮＷインタフェース１１０を介して、医用画像保管装置５００から、被検体を撮影した医用画像を取得する。なお、取得機能１５１は、医用画像診断装置２００から医用画像を取得しても良い。

【0034】

例えば、取得機能１５１は、医用画像保管装置５００から、診断の対象となる被検体の患者ＩＤに対応する医用画像を取得する。

【0035】

抽出機能１５２は、取得機能１５１により取得された医用画像データＩＧから、解剖学的組織に含まれる局所的な特徴点を表す解剖学的ランドマーク（Anatomical landmark）を抽出する。例えば、抽出機能１５２は、解剖学的情報に基づいて、解剖学的ランドマークを抽出する。

【0036】

解剖学的情報とは、例えば、骨、及び臓器等の解剖学的組織に関する特徴点の位置に関する情報である。解剖学的情報は、解剖学的ランドマーク情報ともいう。解剖学的ランドマークは、例えば、「腎臓の下端」、「第１～１２肋骨の先端」など、解剖学的組織に含まれる局所的な特徴点である。

【0037】

解剖学的ランドマークの抽出手法は、公知の画像処理の技術を採用可能である。例えば、抽出機能１５２は、ランドマーク抽出モデル（解剖学的情報の一例）に医用画像を入力し、出力結果に基づいて、解剖学的ランドマークを抽出する。

【0038】

ランドマーク抽出モデルは、例えば、医用画像の入力に対して、解剖学的ランドマークの座標情報及び当該解剖学的ランドマークの識別情報（以下、ラベルともいう）を出力する学習済モデルである。例えば、ランドマーク抽出モデルは、外部の学習装置によって生成される。なお、医用画像処理装置１００がランドマーク抽出モデルの生成を行ってもよい。

【0039】

また、本実施形態では、ランドマーク抽出モデルは、外部のワークステーション等が備える記憶装置に記憶されるものとするが、記憶回路１２０にランドマーク抽出モデルが記憶されていてもよい。

【0040】

ここで、ランドマーク抽出モデルの生成方法について説明する。例えば、学習装置は、機械学習（深層学習を含む）を行うことにより、ランドマークモデルを生成する。図２は、機械学習によるランドマーク抽出モデルの生成方法の一例を示す説明図である。

【0041】

例えば、学習装置は、図２に示すように、入力側教師データである「医用画像データ」と、出力側教師データである「医用画像中の各解剖学的ランドマークの座標情報及びラベル」とを学習用データセットとして機械学習エンジンに入力し、機械学習を行うことで、医用画像データの入力に応じて、当該医用画像中の各解剖学的ランドマークの座標情報及びラベルを出力するように機能付けられたランドマーク抽出モデル（学習済みモデル）を生成する。

【0042】

ここで、機械学習エンジンとしては、例えば、公知である非特許文献「クリストファー M. ビショップ（Christopher M. Bishop）著、「パターン認識と機械学習（Pattern recognition and machine learning）」、（米国）、第１版、スプリンガー（Springer）、2006年、P.225-290」に記載のニューラルネットワーク（Neural Network）等を適用することができる。

【0043】

なお、機械学習エンジンについては、上記したニューラルネットワークの他、例えば、ディープラーニングや、ロジスティック（Logistic）回帰分析、非線形判別分析、サポートベクターマシン（Support Vector Machine：ＳＶＭ）、ランダムフォレスト（Random Forest）、ナイーブベイズ（Naive Bayes）等の各種のアルゴリズムを用いるものでもよい。

【0044】

ここで、図３は、学習済モデルを用いた解剖学的ランドマークの抽出方法の一例を説明する図である。例えば、抽出機能１５２は、図３に示すように、取得機能１５１により取得された医用画像データを、ランドマーク抽出モデル（学習済モデル）に入力する。そして、抽出機能１５２は、ランドマーク抽出モデルから出力される、入力された医用画像データに存在する解剖学的ランドマークの座標情報及びラベルに基づいて、解剖学的ランドマークの抽出を行う。

【0045】

以下、第１胸椎Ｔ１乃至第９胸椎Ｔ９が撮影されたＣＴ画像データを医用画像データとして、ランドマーク抽出モデルに入力する場合を例に抽出機能１５２の処理について説明する。図４は、被検体の脊椎が撮影されたＣＴ画像データの一例である。抽出機能１５２は、ＣＴ画像データＩＧを、ＮＷインタフェース１１０を介して、外部のワークステーションの記憶装置に記憶されたランドマーク抽出モデルに入力する。

【0046】

ランドマーク抽出モデルは、ＣＴ画像データＩＧの入力に対して、ＣＴ画像データＩＧ上に存在する複数の解剖学的ランドマークである、第１胸椎乃至第９胸椎に対応する特徴点Ｔ１乃至特徴点Ｔ９の座標情報と、第１胸椎乃至第９胸椎を表すＴ１乃至Ｔ９とを対応付けて出力する。

【0047】

例えば、ランドマーク抽出モデルは、「Ｔ１（ｘ１，ｙ１，ｚ１），Ｔ２（ｘ２，ｙ２，ｚ２）・・・Ｔ９（ｘ９，ｙ９，ｚ９）」のように（図５参照）、特徴点（解剖学的ランドマーク）を識別するラベルと、当該特徴点の座標を表すテキストデータを出力する。なお、座標情報及びラベルは、ＤＩＣＯＭの付帯情報として記録可能な形式のデータとして出力されてもよい。

【0048】

抽出機能１５２は、ＮＷインタフェース１１０を介して、ランドマーク抽出モデルから出力された、各解剖学的ランドマークの座標情報及びラベルを取得する。抽出機能１５２は、取得した座標情報に基づいて、医用画像データＩＧ上の座標情報に対応する位置に解剖学的ランドマークをプロットし、当該解剖学的ランドマークに対応付けられたラベルを付すことにより、解剖学的ランドマークを抽出する。

【0049】

図５は、解剖学的ランドマークの抽出結果の一例を示す図である。図５に示すように、抽出機能１５２は、医用画像データＩＧ上に特徴点Ｔ１乃至Ｔ９を、夫々を識別するラベルを付した状態で抽出する。

【0050】

ところで、上述した解剖学的ランドマークの抽出法では、各解剖学的ランドマーク間の連続性等の関係性を表すデータは抽出結果の導出に用いられることがない。このため、個々の解剖学的ランドマークは、独立して抽出されることになる。したがって、例えば、相互に関連し合う解剖学的ランドマークのうちの一部のみが誤検出されてしまう可能性がある。

【0051】

例えば、図５では、解剖学的ランドマークとして抽出された特徴点Ｔ１乃至特徴点Ｔ９のうち、第４胸椎に対応する特徴点Ｔ４が、医用画像データＩＧ上における第４胸椎の位置ではない位置に抽出されている。このように、従来の解剖学的ランドマークの抽出処理では、連続性のある一群の解剖学的ランドマークであっても一部のみが誤検出されてしまうことがある。

【0052】

そこで、本実施形態に係る医用画像処理装置１００は、予め決められた関係性を有する複数の解剖学的ランドマークを表すランドマークグループを設定し、ランドマークグループにおける各解剖学的ランドマーク同士の関係性に基づいて、医用画像データ上の解剖学的ランドマークの位置を補正する。以下、医用画像データ上の解剖学的ランドマークの位置を補正する処理に係る構成について説明する。

【0053】

特定機能１５３は、解剖学的組織に基づきグループ化された複数の解剖学的ランドマークと、当該解剖学的ランドマーク間の物理的な関係性を規定する関係情報とを関連付けたランドマークグループから、抽出機能１５２で抽出された解剖学的ランドマークが属するランドマークグループを特定する。

【0054】

ここで、解剖学的ランドマークをグループ化するためのグループ設定情報について説明する。グループ設定情報は、例えば、複数の解剖学的ランドマークのラベルと、後述する連続性情報や画素値適正情報等の関係情報と、ランドマークグループ名とを対応付けたデータテーブルである。具体的には、グループ設定情報は、「解剖学的ランドマーク：Ｔ１、Ｔ２・・・Ｔ９」と、「関係情報：Ｔ１、Ｔ２・・・Ｔ９に対応する連続性情報」と、「関係情報：Ｔ１、Ｔ２・・・Ｔ９に対応する画素値性情報」と、「ランドマークグループ：胸椎」とが対応付けられた情報である。

【0055】

特定機能１５３は、グループ設定情報を参照し、抽出機能１５２による抽出処理で解剖学的ランドマークに付されたラベルに対応するグループ名のランドマークグループを、当該解剖学的ランドマークの属するランドマークグループとして特定する。

【0056】

図５の例で特徴点Ｔ１のランドマークグループを特定する場合、特定機能１５３は、グループ設定情報を参照し、「Ｔ１」に対応する「ランドマークグループ：胸椎」をランドマークグループとして特定する。

【0057】

第１算出機能１５４は、同一のランドマークグループに属する各解剖学的ランドマークの連続性を規定する連続性情報に基づいて、抽出機能１５２により抽出された各解剖学的ランドマークの連続性適正指標を算出する。連続性適正指標は、解剖学的ランドマーク同士の連続性に関する適正の度合いを示す指標である。

【0058】

ここで、連続性情報は、例えば、グループ化された解剖学的ランドマーク、標準回帰曲線、隣接する解剖学的ランドマーク間の標準傾き値、及び連続性適正指標の閾値を対応付けた情報である。連続性情報は、例えば、グループ設定情報に含まれる情報として記憶回路１２０に記憶される。

【0059】

標準回帰曲線は、例えば、複数の被検体について、同一のランドマークグループに属する複数の解剖学的ランドマークの回帰分析を行い、得られた複数の回帰曲線を平均化した回帰曲線である。また、標準回帰曲線には、当該標準回帰曲線上における各解剖学的ランドマークの位置の情報が含まれる。標準回帰曲線は、ランドマークグループ毎に設定される。

【0060】

標準傾き値は、例えば、標準回帰曲線上において隣接する解剖学的ランドマーク間を結ぶ直線の傾きを表す値である。標準傾き値は、隣接する解剖学的ランドマーク間を結ぶ直線毎に設定される。

【0061】

連続性適正指標の閾値は、抽出機能１５２により抽出された複数の解剖学的ランドマークについて、連続性が適正であるか否かを判定するための閾値である。連続性適正指標の閾値は、隣接する解剖学的ランドマーク間を結ぶ直線毎に設定される。

【0062】

図５の例で特徴点Ｔ１乃至Ｔ９の連続性適正指標を算出する場合、第１算出機能１５４は、記憶回路１２０に記憶されたグループ設定情報の連続性情報を参照し、「ランドマークグループ：胸椎」に設定された標準回帰曲線、及び隣接する解剖学的ランドマーク間毎に設定された標準傾き値を特定する。

【0063】

次いで、第１算出機能１５４は、医用画像データＩＧ上に抽出された、隣接する解剖学的ランドマーク間の傾き値と、標準回帰曲線上の対応する解剖学的ランドマーク間の標準傾き値との比を連続性適正指標として算出する。

【0064】

図５の例では、第１算出機能１５４は、特徴点Ｔ１と特徴点Ｔ２を結ぶ直線の傾き値、特徴点Ｔ２と特徴点Ｔ３を結ぶ直線の傾き値・・・特徴点Ｔ８と特徴点Ｔ９を結ぶ直線の傾き値の８つの傾き値を算出する。そして、第１算出機能１５４は、算出した８つの傾き値と、夫々に対応する標準傾き値との比を連続性適正指標として算出する。

【0065】

ここで、算出された傾き値と標準傾き値との比が１に近いほど、抽出された隣接する解剖学的ランドマーク同士の相対的位置関係が、標準回帰曲線において隣接する解剖学的ランドマーク同士の相対的位置関係と近くなる。そのため、算出された傾き値と標準傾き値との比が１に近いほど、解剖学的ランドマーク同士の連続性に関する適正の度合いが高くなるといえる。

【0066】

第２算出機能１５５は、同一のランドマークグループに属する各解剖学的ランドマークの医用画像上における画素値の関係性を規定する画素値適正情報に基づいて、抽出機能１５２により抽出された各解剖学的ランドマークの画素値適正指標を算出する。画素値適正指標は、解剖学的ランドマーク同士の相対的な画素値の関係に関する適正の度合いを示す指標である。

【0067】

ここで、画素値適正情報は、例えば、グループ化された解剖学的ランドマークのうち、隣接する解剖学的ランドマーク間の標準相対画素値、及び画素値適正指標の閾値を対応付けた情報である。画素値適正情報は、例えば、グループ設定情報に含まれる情報として記憶回路１２０に記憶される。

【0068】

標準相対画素値は、例えば、複数の被検体について、同一のランドマークグループに属する、隣接し合う解剖学的ランドマーク間の、夫々の解剖学的ランドマークに対応する複数の画素（例えば、解剖学的ランドマークの中心座標から半径ｎピクセル内の画素）の画素値の平均値の比を表す相対画素値を算出し、得られた複数の相対画素値を平均化したものである。

【0069】

画素値適正指標の閾値は、抽出機能１５２により抽出された複数の解剖学的ランドマークについて、画素値の関係性が適正であるか否かを判定するための閾値である。画素値適正指標の閾値は、隣接し合う２つの解剖学的ランドマーク毎に設定される。

【0070】

図５の例で特徴点Ｔ１乃至Ｔ９の画素値適正指標を算出する場合、第２算出機能１５５は、記憶回路１２０に記憶されたグループ設定情報の画素値適正情報を参照し、「ランドマークグループ：胸椎」における、隣接し合う解剖学的ランドマーク間毎に設定された標準相対画素値を特定する。

【0071】

次いで、第２算出機能１５５は、医用画像データＩＧ上に抽出された、隣接する解剖学的ランドマーク間の相対画素値と、当該隣接する解剖学的ランドマークに対応する標準相対画素値との比を画素値適正指標として算出する。

【0072】

図５の例では、第２算出機能１５５は、特徴点Ｔ１と特徴点Ｔ２との相対画素値、特徴点Ｔ２と特徴点Ｔ３との相対画素値・・・特徴点Ｔ８と特徴点Ｔ９との相対画素値の８つの相対画素値を算出する。そして、第２算出機能１５５は、算出した８つの相対画素値と、夫々に対応する標準相対画素値との比を画素値適正指標として算出する。

【0073】

補正機能１５６は、特定機能１５３で特定されたランドマークグループの関係情報に基づいて、抽出機能１５２で抽出された解剖学的ランドマークの位置を補正する。例えば、補正機能１５６は、連続性情報と、第１算出機能１５４により算出された連続性適正指標とに基づいて、抽出された解剖学的ランドマークの位置を補正する。

【0074】

具体的には、補正機能１５６は、記憶回路１２０に記憶されたグループ設定情報の連続性情報を参照し、第１算出機能１５４により算出された複数の連続性適正指標のうち、１以上の連続性指標が、連続性情報に登録された閾値を超えるか否かを確認する。補正機能１５６は、１以上の連続性指標が閾値を超える場合、第１算出機能１５４により算出される傾き値が、連続性情報に登録された標準傾き値に近付くように、解剖学的ランドマークの位置を補正する。

【0075】

なお、本実施形態では、第１算出機能１５４により算出された連続性適正指標の何れも閾値を超えなかった場合、補正機能１５６は、医用画像データＩＧ上における解剖学的ランドマークの位置の補正処理を実行しない。

【0076】

ここで、図６は、解剖学的ランドマークの位置の補正処理の一例を説明する図である。図６は、図５で抽出された特徴点Ｔ１乃至Ｔ９の位置の補正処理の一例である。前提として、図５では、特徴点Ｔ３と特徴点Ｔ４とを結ぶ直線の連続性適正指標、及び、特徴点Ｔ４と特徴点Ｔ５とを結ぶ直線の連続性適正指標が、連続性情報に登録された閾値を超えているものとする。

【0077】

このため、補正機能１５６は、特徴点Ｔ３と特徴点Ｔ４とを結ぶ直線の連続性適正指標、及び、特徴点Ｔ４と特徴点Ｔ５とを結ぶ直線の連続性適正指標の両方が最も小さくなるように、特徴点Ｔ４の位置を補正する。

【0078】

また、例えば、補正機能１５６は、第２算出機能１５５により算出された画素値適正指標に基づいて、連続性適正指標を基に補正された解剖学的ランドマークの位置を補正する。

【0079】

具体的には、補正機能１５６は、記憶回路１２０に記憶されたグループ設定情報の画素値適正情報を参照し、第２算出機能１５５により算出された複数の画素値適正指標のうち、１以上の画素値適正指標が、画素値適正情報に登録された閾値を超えるか否かを確認する。

【0080】

補正機能１５６は、１以上の画素値適正指標が閾値を超える場合、所定の範囲内（例えば、抽出された各解剖学的ランドマークの中心座標から半径ｎピクセル以内等）において、隣接し合う解剖学的ランドマークの相対画素値が、画素値適正情報に登録された標準相対画素値に最も近付くように、各解剖学的ランドマークの位置を補正する。

【0081】

なお、本実施形態では、連続性適正指標に基づいて１段階目の補正を行い、画素値適正指標に基づいて、２段階目の補正を行っているが、画素値適正指標に基づく２段階目の補正は行わなくてもよい。

【0082】

表示制御機能１５７は、各種情報をディスプレイ１４０に表示させる制御を行う。例えば、表示制御機能１５７は、図６に示したような、補正前の各解剖学的ランドマークの位置と、補正後の各ランドマークの位置とをディスプレイ１４０に表示させる制御を行う。これにより、ユーザはどのような補正が行われたのかを理解しやすくなる。

【0083】

受付機能１５８は、ユーザから各種指示を受付ける。例えば、受付機能１５８は、医用画像上におけるランドマーク位置の修正指示を受付ける。当該修正指示は、補正結果を確認したユーザが適切な補正が行われていないと判断した場合に入力される。この場合、補正機能１５６は、ユーザの修正指示の入力に従い、再度解剖学的ランドマークの位置の補正を行う。

【0084】

再学習機能１５９は、ランドマーク抽出モデルの再学習用データを生成する。また、再学習機能１５９は、生成した再学習用データセットを学習装置に出力する。具体的には、再学習機能１５９は、取得機能１５１により取得された医用画像データＩＧを入力側教師データとし、補正機能１５６により補正された解剖学的ランドマークの座標情報及びラベルを出力側教師データとして再学習用データセットを生成する。

【0085】

そして、再学習機能１５９は、ＮＷインタフェース１１０を介して、生成した再学習用データセットを外部の学習装置に出力する。学習装置は、再学習用データセットを用いてランドマーク抽出モデルの再学習を行う。これにより、解剖学的ランドマークの抽出精度を高めることができる。

【0086】

次に、以上のように構成された医用画像処理装置１００で実行される処理について説明する。図７は、医用画像処理装置１００が実行する処理の一例を示すフローチャートである。

【0087】

まず、取得機能１５１は、診断対象となる被検体の医用画像データＩＧを取得する（Ｓ１）。具体的には、取得機能１５１は、医用画像保管装置５００から、診断対象となる被検体の患者ＩＤに対応する医用画像データＩＧを取得する。

【0088】

次いで、抽出機能１５２は、取得された医用画像データＩＧから複数の解剖学的ランドマークを抽出する（ステップＳ２）。具体的には、抽出機能１５２は、ランドマーク抽出モデルに医用画像データＩＧを入力する。そして、抽出機能１５２は、ランドマーク抽出モデルから出力される解剖学的ランドマークを表す座標情報及びラベルに基づいて、複数の解剖学的ランドマークを抽出する。

【0089】

次いで、特定機能１５３は、抽出された解剖学ランドマークが属するランドマークグループを特定する（ステップＳ３）。具体的には、特定機能１５３は、グループ設定情報を参照し、抽出された解剖学的ランドマークのラベルに対応するランドマークグループを、抽出された解剖学ランドマークが属するランドマークグループとして特定する。

【0090】

次いで、第１算出機能１５４は、連続性適正指標を算出する（ステップＳ４）。具体的には、第１算出機能１５４は、抽出された複数の解剖学的ランドマークのうち、特定の解剖学的ランドマークと、当該解剖学的ランドマークに隣接する解剖学的ランドマークとを結ぶ直線の傾き値を算出する。

【0091】

次いで、第１算出機能１５４は、グループ設定情報の連続性情報を参照し、抽出された解剖学的ランドマークが属するランドマークグループの標準回帰曲線及び標準傾き値を特定する。そして、第１算出機能１５４は、算出した傾き値と標準傾き値の比を連続性適正指標として算出する。

【0092】

次いで、補正機能１５６は、第１算出機能１５４により算出された連続性適正指標が閾値を超えるか否か確認する（ステップＳ５）。具体的には、補正機能１５６は、グループ設定情報の連続性情報を参照し、第１算出機能１５４により算出された複数の連続性適正指標が、抽出された解剖学的ランドマークが属するランドマークグループにおける、隣接する解剖学的ランドマーク間毎に設定された、連続性指標の閾値を超えるか否かを確認する。

【0093】

連続性適正指標が閾値を超えない場合（ステップＳ５：Ｎｏ）、本処理を終了する。一方、連続性適正指標が閾値を超える場合（ステップＳ５：Ｙｅｓ）、補正機能１５６は、抽出された解剖学的ランドマークの医用画像データＩＧ上における位置を補正する（ステップＳ６）。

【0094】

具体的には、補正機能１５６は、記憶回路１２０に記憶された連続性情報と、算出された連続性適正指標とに基づいて、抽出された各解剖学的ランドマークの位置を補正する１段階目の補正処理を実行する。

【0095】

次いで、第２算出機能１５５は、画素値適正指標を算出する（ステップＳ７）。具体的には、第２算出機能１５５は、抽出された複数の解剖学的ランドマークのうち、隣接し合う解剖学的ランドマーク間の相対画素値を算出する。

【0096】

次いで、補正機能１５６は、第２算出機能１５５により算出された画素値適正指標が閾値を超えるか否か確認する（ステップＳ８）。具体的には、補正機能１５６は、グループ設定情報の画素値適正情報を参照し、第２算出機能１５５により算出された複数の画素値適正指標が、抽出された解剖学的ランドマークが属するランドマークグループにおける、隣接する解剖学的ランドマーク間毎に設定された、画素値適正指標の閾値を超えるか否かを確認する。

【0097】

画素値適正指標が閾値を超えない場合（ステップＳ８：Ｎｏ）、本処理を終了する。一方、画素値適正指標が閾値を超える場合（ステップＳ８：Ｙｅｓ）、補正機能１５６は、１段階目の補正処理が実行された解剖学的ランドマークの医用画像データＩＧ上における位置を補正する（ステップＳ９）。

【0098】

次いで、第２算出機能１５５は、グループ設定情報の画素値適正情報を参照し、抽出された解剖学的ランドマークが属するランドマークグループの標準相対画素値を特定する。そして、第２算出機能１５５は、算出した相対画素値と標準相対画素値との比を画素値適正指標として算出する。

【0099】

具体的には、補正機能１５６は、記憶回路１２０に記憶された画素値適正情報と、算出された画素値適正指標とに基づいて、連続性情報を基に補正された各解剖学的ランドマークの位置を補正する２段階目の補正処理を実行する。

【0100】

次いで、表示制御機能１５７は、補正後の解剖学的ランドマークの位置を表した医用画像データＩＧを表示させる制御を行う（ステップＳ１０）。具体的には、表示制御機能１５７は、補正前の解剖学的ランドマークの位置と、補正後の解剖学的ランドマークの位置とを区別できる態様で医用画像データＩＧ上に表示させる制御を行う。

【0101】

次いで、受付機能１５８は、所定時間内にユーザから、解剖学的ランドマークの位置の修正指示の入力を受付けたか否かを確認する（ステップＳ１１）。所定時間内に修正指示の入力を受付けなかった場合（ステップＳ１１：Ｎｏ）、再学習機能１５９は、補正機能１５６が実行した補正処理の内容に従って、再学習データを生成する（ステップＳ１４）。

【0102】

具体的には、再学習機能１５９は、取得機能１５１により取得された医用画像データＩＧを入力側教師データとし、補正機能１５６が実行した補正処理により補正された解剖学的ランドマークの座標情報及びラベルを出力側教師データとして再学習用データセットを生成する。次いで、再学習機能１５９は、生成した再学習データセットを外部の学習装置に出力し、本処理を終了する。

【0103】

一方、所定時間内に修正指示の入力を受付けた場合（ステップＳ１１：Ｙｅｓ）、補正機能１５６は、ユーザからの修正指示の入力内容に従って、解剖学的ランドマーク位置の再補正を行う（ステップＳ１２）。次いで、再学習機能１５９は、ユーザによる修正指示の入力内容に従って、再学習データを生成する（ステップＳ１３）。

【0104】

具体的には、再学習機能１５９は、取得機能１５１により取得された医用画像データＩＧを入力側教師データとし、受付機能１５８が受付けた修正指示の入力に従って補正された解剖学的ランドマークの座標情報及びラベルを出力側教師データとして再学習用データセットを生成する。次いで、再学習機能１５９は、生成した再学習データセットを外部の学習装置に出力し、本処理を終了する。

【0105】

上述したように、本実施形態に係る医用画像処理装置１００は、医用画像データＩＧから複数の解剖学的ランドマークを抽出し、夫々の解剖的ランドマークが属するランドマークグループを特定する。また、本実施形態に係る医用画像処理装置１００は、特定したランドマークグループに属する解剖学的ランドマーク間の位置的な関係性に基づいて、抽出された解剖学的ランドマークの医用画像データＩＧ上における位置を補正する。

【0106】

これにより、複数の解剖学的ランドマークのうちの一部が誤検出されてしまったような場合でも、医用画像処理装置１００は、解剖学的ランドマーク同士の位置的な関係性に従って、解剖学的ランドマークの位置が補正することができるため、解剖学的ランドマークの抽出精度が向上する。また、医用画像データＩＧ上における解剖学的ランドマークの位置は、同一のランドマークグループに属する解剖学的ランドマーク周辺の画像の関係性に従って補正されるため、医用画像処理装置１００は、当該ランドマークグループに属する解剖学的ランドマークの特徴が反映された補正を行うことができる。つまり、本実施形態に係る医用画像処理装置１００によれば、解剖学的ランドマークの検出精度を向上させることができる。

【0107】

また、本実施形態に係る医用画像処理装置１００は、同一のランドマークグループに属する各解剖学的ランドマークの連続性を規定する連続性情報に従って、解剖学的ランドマークの位置を補正する。これにより、医用画像処理装置１００は、同一のランドマークグループに属する複数の解剖学的ランドマークを結んだ曲線の繋がりを考慮した補正を行うことができる。

【0108】

また、本実施形態に係る医用画像処理装置１００は、同一のランドマークグループに属する各解剖学的ランドマークの画素値の関係性を規定する画素値適正情報に従って、解剖学的ランドマークの位置を補正する。これにより、医用画像処理装置１００は、同一のランドマークグループに属する複数の解剖学的ランドマークの画素値の関係性を考慮した補正を行うことができる。

【0109】

また、本実施形態に係る医用画像処理装置１００は、補正処理を実行する前の各解剖学的ランドマークの位置と、補正処理を実行した後の各ランドマークの位置とをディスプレイ１４０に表示させる。これにより、ユーザは、医用画像処理装置１００によって、どのような補正が行われたのかを理解しやすくなる。

【0110】

また、本実施形態に係る医用画像処理装置１００は、ユーザから、補正された各解剖学的ランドマークの位置の修正入力を受付けた場合、当該修正入力に従い、再度各解剖学的ランドマークの位置を補正する処理を行う。これにより、医用画像処理装置１００は、補正処理を実行しても解剖学的ランドマークが誤った位置に抽出されている場合でも、ユーザの指示に従って、医用画像データＩＧ上の解剖学的ランドマークの位置を補正することができる。

【0111】

また、本実施形態に係る医用画像処理装置１００は、医用画像データＩＧと、補正された各解剖学的ランドマークの位置とで構成される再学習用データを生成し、出力する。これにより、医用画像処理装置１００は、外部の学習装置等で抽出処理に用いるランドマーク抽出モデルを再学習させることができる。再学習により、解剖学的ランドマークの位置が誤検出された医用画像データＩＧと類似する医用画像データＩＧが入力された場合に、解剖学的ランドマークの位置が誤検出される可能性が低減される。したがって、本実施形態に係る医用画像処理装置１００は、ランドマーク抽出モデルを用いた解剖学的ランドマークの抽出精度を向上させることができる。

【0112】

なお、上述した実施形態は、各装置が有する構成又は機能の一部を変更することで、適宜に変形して実施することも可能である。そこで、以下では、上述した実施形態に係る変形例を他の実施形態として説明する。なお、以下では、上述した実施形態と異なる点を主に説明することとし、既に説明した内容と共通する点については詳細な説明を省略する。また、以下で説明する変形例は、個別に実施されてもよいし、適宜組み合わせて実施されてもよい。

【0113】

（変形例）
上述の実施形態においては、医用画像処理装置１００が解剖学的ランドマークの抽出処理を実行する形態について説明した。しかしながら、解剖学的ランドマークの抽出処理を実行する装置は、医用画像処理装置１００に限定されない。例えば、医用画像診断装置２００が解剖学的ランドマークの抽出処理を実行してもよい。

【0114】

医用画像診断装置２００がＸ線ＣＴ装置である場合、例えば、Ｘ線ＣＴ装置が備えるコンソール装置の処理回路が解剖学的ランドマークの抽出処理を実行する。この場合、処理回路は、Ｘ線ＣＴ装置で撮影・再構成したＣＴ画像データを、外部のワークステーション等に記憶された、ランドマーク抽出モデルに入力する。そして、処理回路は、ランドマーク抽出モデルから出力された、各解剖学的ランドマークの座標情報及びラベルを取得する。

【0115】

また、処理回路は、取得した各解剖学的ランドマークの座標情報及びラベルをＣＴ画像データのＤＩＣＯＭの付帯情報として記録する処理を行う。処理回路は、解剖学的ランドマークの座標情報及びラベルがＤＩＣＯＭの付帯情報として記録されたＣＴ画像データを医用画像保管装置５００に送信する。

【0116】

なお、処理回路は、医用画像データＩＧ上における解剖学的ランドマークの位置の補正処理を実行してもよい。この場合、処理回路は、補正処理後の各解剖学的ランドマークの座標情報及びラベルをＣＴ画像データのＤＩＣＯＭの付帯情報として記録する。

【0117】

また、処理回路は、取得した各解剖学的ランドマークの座標情報及びラベルの情報を表すテキストデータを生成してもよい。この場合、処理回路は、ＣＴ画像データとともに医用画像保管装置５００に送信する。

【0118】

本変形例では、医用画像処理装置１００の取得機能１５１は、解剖学的ランドマークの座標情報及びラベルがＤＩＣＯＭの付帯情報として記録されたＣＴ画像データ（医用画像データ）を取得することができる。

【0119】

このため、本変形例に係る医用画像処理装置１００は、ランドマーク抽出モデルを記憶する外部のワークステーション等と通信を行うことなく、医用画像データＩＧ上の座標情報に対応する位置に解剖学的ランドマークをプロットし、当該解剖学的ランドマークに対応付けられたラベルを付すことができる。つまり、本変形例によれば、医用画像処理装置１００の処理負担を軽減し、効率的かつ高精度に解剖学的ランドマークを抽出することができる。

【0120】

以上説明した少なくとも１つの実施形態によれば、解剖学的ランドマークの検出精度を向上させることができる。

【0121】

いくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、実施形態同士の組み合わせを行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

【符号の説明】

【0122】

１００ 医用画像処理装置
１１０ ＮＷインタフェース
１２０ 記憶回路
１３０ 入力インタフェース
１４０ ディスプレイ
１５０ 処理回路
１５１ 取得機能
１５２ 抽出機能
１５３ 特定機能
１５４ 第１算出機能
１５５ 第２算出機能
１５６ 補正機能
１５７ 表示制御機能
１５８ 受付機能
１５９ 再学習機能
２００ 医用画像診断装置
５００ 医用画像保管装置
Ｓ 医用情報処理システム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】