IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 富士フイルム株式会社の特許一覧

<>
  • 特開-画像処理装置、方法およびプログラム 図1
  • 特開-画像処理装置、方法およびプログラム 図2
  • 特開-画像処理装置、方法およびプログラム 図3
  • 特開-画像処理装置、方法およびプログラム 図4
  • 特開-画像処理装置、方法およびプログラム 図5
  • 特開-画像処理装置、方法およびプログラム 図6
  • 特開-画像処理装置、方法およびプログラム 図7
  • 特開-画像処理装置、方法およびプログラム 図8
  • 特開-画像処理装置、方法およびプログラム 図9
  • 特開-画像処理装置、方法およびプログラム 図10
  • 特開-画像処理装置、方法およびプログラム 図11
  • 特開-画像処理装置、方法およびプログラム 図12
  • 特開-画像処理装置、方法およびプログラム 図13
  • 特開-画像処理装置、方法およびプログラム 図14
  • 特開-画像処理装置、方法およびプログラム 図15
  • 特開-画像処理装置、方法およびプログラム 図16
  • 特開-画像処理装置、方法およびプログラム 図17
  • 特開-画像処理装置、方法およびプログラム 図18
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024085473
(43)【公開日】2024-06-27
(54)【発明の名称】画像処理装置、方法およびプログラム
(51)【国際特許分類】
   A61B 6/03 20060101AFI20240620BHJP
   G06T 7/00 20170101ALI20240620BHJP
   G06T 7/162 20170101ALI20240620BHJP
【FI】
A61B6/03 360J
A61B6/03 360T
G06T7/00 612
G06T7/00 350B
G06T7/162
【審査請求】未請求
【請求項の数】13
【出願形態】OL
(21)【出願番号】P 2022199948
(22)【出願日】2022-12-15
(71)【出願人】
【識別番号】306037311
【氏名又は名称】富士フイルム株式会社
(74)【代理人】
【識別番号】110001519
【氏名又は名称】弁理士法人太陽国際特許事務所
(72)【発明者】
【氏名】流石 朗子
(72)【発明者】
【氏名】北村 嘉郎
【テーマコード(参考)】
4C093
5L096
【Fターム(参考)】
4C093AA22
4C093AA26
4C093CA23
4C093DA02
4C093FD03
4C093FD11
4C093FF16
4C093FF42
5L096AA03
5L096AA06
5L096BA06
5L096BA13
5L096CA18
5L096DA01
5L096FA06
5L096FA67
5L096FA74
5L096GA30
5L096GA55
5L096HA11
(57)【要約】
【課題】画像処理装置、方法およびプログラムにおいて、例えば動脈および静脈のような、医用画像に含まれる複数の管状構造を精度よく分離できるようにする。
【解決手段】プロセッサは、複数の管状構造を含む医用画像に基づいて、複数の管状構造の走行方向を表す走行ベクトルを、複数の管状構造の各画素において導出し、走行ベクトルを用いて複数の管状構造を分離する。
【選択図】図3
【特許請求の範囲】
【請求項1】
少なくとも1つのプロセッサを備え、
前記プロセッサは、
複数の管状構造を含む医用画像に基づいて、前記複数の管状構造の走行方向を表す走行ベクトルを、前記複数の管状構造の各画素において導出し、
前記走行ベクトルを用いて前記複数の管状構造を分離する画像処理装置。
【請求項2】
前記プロセッサは、前記医用画像から前記複数の管状構造の各画素における前記走行ベクトルを導出する学習済みモデルを用いて、前記走行ベクトルを導出する請求項1に記載の画像処理装置。
【請求項3】
前記プロセッサは、前記走行ベクトルに沿うように前記複数の管状構造を分離する請求項1または2に記載の画像処理装置。
【請求項4】
前記プロセッサは、第1の画素から第2の画素へ向かう方向ベクトルと、前記第1の画素および前記第2の画素の少なくとも一方における前記走行ベクトルとのなす角度に基づいて、前記第1の画素および前記第2の画素に同一のラベルが付与される可能性を判断して、前記複数の管状構造を分離する請求項3に記載の画像処理装置。
【請求項5】
前記プロセッサは、前記走行ベクトルが同一方向となるかまたは連続して変化し、かつ互いに隣接するN(>3)個の画素を含む画素群を選択し、前記画素群に含まれる画素のラベルを変数とするN次のエネルギーを最小化することにより、グラフカット処理を用いて前記複数の管状構造を分離するに際し、
前記変数が0または1で表され、
前記画素群に含まれる画素に対応する変数のすべてが0である場合または前記画素群に含まれる画素に対応する変数のすべてが1である場合は、前記N次のエネルギーが、前記変数のすべてが0ではないとともに前記変数のすべてが1ではない場合よりも小さくなるように設定する請求項4に記載の画像処理装置。
【請求項6】
前記プロセッサは、前記同一のラベルが付与される可能性に基づく重み付け経路が最短となるN(>3)個の画素を含む画素群を選択し、前記画素群に含まれる画素のラベルを変数とするN次のエネルギーを最小化することにより、グラフカット処理を用いて前記複数の管状構造を分離するに際し、
前記変数が0または1で表され、
前記画素群に含まれる画素に対応する変数のすべてが0である場合または前記画素群に含まれる画素に対応する変数のすべてが1である場合は、前記N次のエネルギーが、前記変数のすべてが0ではないとともに前記変数のすべてが1ではない場合よりも小さくなるように設定する請求項4に記載の画像処理装置。
【請求項7】
前記プロセッサは、前記複数の管状構造の中心に沿った複数の中心画素における走行ベクトルを導出し、
前記複数の中心画素間を結ぶエッジと前記走行ベクトルとがなす角度を最小化するように前記複数の管状構造のそれぞれを表すクラスの起始部からの最短経路木を導出し、
前記複数の中心画素について、経路がより近く、かつ前記同一のラベルが付与される可能性がより高い起始部と同一のクラスとなるように前記最短経路木を切断することにより、前記複数の管状構造を分離する請求項4に記載の画像処理装置。
【請求項8】
前記プロセッサは、前記走行ベクトルに沿う画素以外の画素は、互いに異なる管状構造に分離する請求項1または2に記載の画像処理装置。
【請求項9】
前記プロセッサは、前記走行ベクトルが交差する画素間以外の画素間に前記複数の管状構造の境界を導出するように前記複数の管状構造を分離する請求項8に記載の画像処理装置。
【請求項10】
前記プロセッサは、前記医用画像および前記走行ベクトルに基づいて、前記走行ベクトルが連続する方向の損失を最小化するように機械学習がなされた学習済みモデルを用いて前記複数の管状構造を分離する請求項9に記載の画像処理装置。
【請求項11】
前記複数の管状構造は、動脈、静脈、門脈、尿管および神経のうちの少なくとも2つを含む請求項1または2に記載の画像処理装置。
【請求項12】
複数の管状構造を含む医用画像に基づいて、前記複数の管状構造の走行方向を表す走行ベクトルを、前記複数の管状構造の各画素において導出し、
前記走行ベクトルを用いて前記複数の管状構造を分離する画像処理方法。
【請求項13】
複数の管状構造を含む医用画像に基づいて、前記複数の管状構造の走行方向を表す走行ベクトルを、前記複数の管状構造の各画素において導出する手順と、
前記走行ベクトルを用いて前記複数の管状構造を分離する手順とをコンピュータに実行させる画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、画像処理装置、方法およびプログラムに関する。
【背景技術】
【0002】
グラフカットの手法を用いて画像を複数の領域に分離することが行われている。例えば特許文献1には、N(>3)個の画素が画像上で所定の図形を表すようにN個の画素を選択し、N個の画素の画素値を変数とするN次のエネルギーを最小化する高階グラフカットの手法を用いて、医用画像に含まれる動脈と静脈とを分離する手法が提案されている。特許文献1に記載された手法においては、血管を分離する場合、ある程度の長さの直線的に並ぶ画素を含む画素群がすべて同じクラスとなるようにするために、所定の図形として直線を用いて画像における動脈と静脈とを分離している。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2014-071716号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1に記載された手法においては、動脈と静脈とを分離するための所定の図形として直線を用いている。しかしながら、血管は直線的に走行するのみではなく、例えば骨盤内においては湾曲して走行する部分が多い。このため、特許文献1に記載された手法では、動脈と静脈とを精度よく分離することができない。
【0005】
本開示は上記事情に鑑みなされたものであり、例えば動脈および静脈のような、医用画像に含まれる複数の管状構造を精度よく分離できるようにすることを目的とする。
【課題を解決するための手段】
【0006】
本開示による画像処理装置は、少なくとも1つのプロセッサを備え、
プロセッサは、複数の管状構造を含む医用画像に基づいて、複数の管状構造の走行方向を表す走行ベクトルを、複数の管状構造の各画素において導出し、
走行ベクトルを用いて複数の管状構造を分離する。
【0007】
「各画素」は、管状構造のすべての画素であってもよく、画素を間引いた画素であってもよい。画素は等間隔で間引いてもよく、管状構造内において間引く間隔を変更してもよい。例えば管状構造の中心ほど管状構造の中心から離れた値と比較して間引く間隔を小さくしてもよい。
【0008】
「走行ベクトル」とは、管状構造が存在する方向を表すベクトルである。本開示において、同一方向を向くベクトルは同一方向の走行ベクトルとして扱う。また、180度反対の方向を向く2つのベクトル、すなわち基準方向に対する角度のコサインを算出した場合に同一の値となる2つのベクトルは、双方のベクトルともに管状構造が存在する方向を向く。このため、本開示においては、このような180度反対の方向を向く走行ベクトルについても同一方向の走行ベクトルとして扱うものとする。
【0009】
なお、本開示による画像処理装置においては、プロセッサは、医用画像から複数の管状構造の各画素における走行ベクトルを導出する学習済みモデルを用いて、走行ベクトルを導出するものであってもよい。
【0010】
また、本開示による画像処理装置においては、プロセッサは、走行ベクトルに沿うように複数の管状構造を分離するものであってもよい。
【0011】
また、本開示による画像処理装置においては、プロセッサは、第1の画素から第2の画素へ向かう方向ベクトルと、第1の画素および第2の画素の少なくとも一方における走行ベクトルとのなす角度に基づいて、第1の画素および第2の画素に同一のラベルが付与される可能性を判断して、複数の管状構造を分離するものであってもよい。
【0012】
また、本開示による画像処理装置においては、プロセッサは、走行ベクトルが同一方向となるかまたは連続して変化し、かつ互いに隣接するN(>3)個の画素を含む画素群を選択し、画素群に含まれる画素のラベルを変数とするN次のエネルギーを最小化することにより、グラフカット処理を用いて複数の管状構造を分離するに際し、
変数が0または1で表され、
画素群に含まれる画素に対応する変数のすべてが0である場合または画素群に含まれる画素に対応する変数のすべてが1である場合は、N次のエネルギーが、変数のすべてが0ではないとともに変数のすべてが1ではない場合よりも小さくなるように設定するものであってもよい。
【0013】
また、本開示による画像処理装置においては、プロセッサは、同一のラベルが付与される可能性に基づく重み付け経路が最短となるN(>3)個の画素を含む画素群を選択し、画素群に含まれる画素のラベルを変数とするN次のエネルギーを最小化することにより、グラフカット処理を用いて複数の管状構造を分離するに際し、
変数が0または1で表され、
画素群に含まれる画素に対応する変数のすべてが0である場合または画素群に含まれる画素に対応する変数のすべてが1である場合は、N次のエネルギーが、変数のすべてが0ではないとともに変数のすべてが1ではない場合よりも小さくなるように設定するものであってもよい。
【0014】
また、本開示による画像処理装置においては、プロセッサは、複数の管状構造の中心に沿った複数の中心画素における走行ベクトルを導出し、
複数の中心画素間を結ぶエッジと走行ベクトルとがなす角度を最小化するように複数の管状構造のそれぞれを表すクラスの起始部からの最短経路木を導出し、
複数の中心画素について、経路がより近く、かつ同一のラベルが付与される可能性がより高い起始部と同一のクラスとなるように最短経路木を切断することにより、複数の管状構造を分離するものであってもよい。
【0015】
また、本開示による画像処理装置においては、プロセッサは、走行ベクトルに沿う画素以外の画素は、互いに異なる管状構造に分離するものであってもよい。
【0016】
また、本開示による画像処理装置においては、プロセッサは、走行ベクトルが交差する画素間以外の画素間に複数の管状構造の境界を導出するように複数の管状構造を分離するものであってもよい。
【0017】
また、本開示による画像処理装置においては、プロセッサは、医用画像および走行ベクトルに基づいて、走行ベクトルが連続する方向の損失を最小化するように機械学習がなされた学習済みモデルを用いて複数の管状構造を分離するものであってもよい。
【0018】
また、本開示による画像処理装置においては、複数の管状構造は、動脈、静脈、門脈、尿管および神経のうちの少なくとも2つを含むものであってもよい。
【0019】
本開示による画像処理方法は、複数の管状構造を含む医用画像に基づいて、複数の管状構造の走行方向を表す走行ベクトルを、複数の管状構造の各画素において導出し、
走行ベクトルを用いて複数の管状構造を分離する。
【0020】
本開示による画像処理プログラムは、複数の管状構造を含む医用画像に基づいて、複数の管状構造の走行方向を表す走行ベクトルを、複数の管状構造の各画素において導出する手順と、
走行ベクトルを用いて複数の管状構造を分離する手順とをコンピュータに実行させる。
【発明の効果】
【0021】
本開示によれば、医用画像に含まれる複数の管状構造を精度よく分離できる
【図面の簡単な説明】
【0022】
図1】本開示の第1の実施形態による画像処理装置を適用した診断支援システムの概略構成を示す図
図2】第1の実施形態による画像処理装置のハードウェア構成を示す図
図3】第1の実施形態による画像処理装置の機能構成図
図4】走行ベクトルを示す図
図5】走行ベクトルを導出する学習済みモデルの構築に使用される教師データを示す図
図6】隣接する2つの画素に同一のラベルが付与される可能性を説明するための図
図7】画素群の選択を説明するための図
図8】グラフカットを説明するための図
図9】血管領域内のグラフを示す図
図10】血管領域内のグラフの分離を説明するための図
図11】分離結果の表示画面を示す図
図12】第1の実施形態において行われる処理を示すフローチャート
図13】第2の実施形態における画素群の選択を説明するための図
図14】第2の実施形態における画素群の選択を説明するための図
図15】第3の実施形態における動脈および静脈の分離を説明するための図
図16】第4の実施形態において分離部が使用する学習済みモデルが行う処理を示す概略図
図17】第4の実施形態における学習済みモデルの機械学習に使用される教師データを示す図
図18】第4の実施形態における第2損失の導出を説明するための図
【発明を実施するための形態】
【0023】
以下、図面を参照して本開示の実施形態について説明する。まず、第1の実施形態による画像処理装置を適用した医療情報システムの構成について説明する。図1は、医療情報システムの概略構成を示す図である。図1に示す医療情報システムは、第1の実施形態による画像処理装置を内包するコンピュータ1、撮影装置2、および画像保管サーバ3が、ネットワーク4を経由して通信可能な状態で接続されている。
【0024】
コンピュータ1は、本実施形態による画像処理装置を内包するものであり、本実施形態の画像処理プログラムがインストールされている。コンピュータ1は、診断を行う医師が直接操作するワークステーションあるいはパーソナルコンピュータでもよいし、それらとネットワークを介して接続されたサーバコンピュータでもよい。画像処理プログラムは、ネットワークに接続されたサーバコンピュータの記憶装置、あるいはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じて医師が使用するコンピュータ1にダウンロードされ、インストールされる。または、DVD(Digital Versatile Disc)あるいはCD-ROM(Compact Disc Read Only Memory)等の記録媒体に記録されて配布され、その記録媒体からコンピュータ1にインストールされる。
【0025】
撮影装置2は、被検体の診断対象となる部位を撮影することにより、その部位を表す3次元画像を生成する装置であり、具体的には、CT装置、MRI装置、およびPET(Positron Emission Tomography)装置等である。この撮影装置2により生成された、複数の断層画像からなる3次元画像は画像保管サーバ3に送信され、保存される。なお、本実施形態においては、撮影装置2はCT装置であり、被検体のCT画像を3次元画像として生成する。
【0026】
画像保管サーバ3は、各種データを保存して管理するコンピュータであり、大容量外部記憶装置およびデータベース管理用ソフトウェアを備えている。画像保管サーバ3は、有線あるいは無線のネットワーク4を介して他の装置と通信を行い、画像データ等を送受信する。具体的には撮影装置2で生成されたCT画像の画像データを含む各種データをネットワーク経由で取得し、大容量外部記憶装置等の記録媒体に保存して管理する。なお、画像データの格納形式およびネットワーク4経由での各装置間の通信は、DICOM(Digital Imaging and Communication in Medicine)等のプロトコルに基づいている。
【0027】
次いで、第1の実施形態による画像処理装置について説明する。図2は、第1の実施形態による画像処理装置のハードウェア構成を示す図である。図2に示すように、画像処理装置20は、CPU(Central Processing Unit)11、不揮発性のストレージ13、および一時記憶領域としてのメモリ16を含む。また、画像処理装置20は、液晶ディスプレイ等のディスプレイ14、キーボードとマウス等の入力デバイス15、およびネットワーク4に接続されるネットワークI/F(InterFace)17を含む。CPU11、ストレージ13、ディスプレイ14、入力デバイス15、メモリ16およびネットワークI/F17は、バス18に接続される。なお、CPU11は、本開示におけるプロセッサの一例である。
【0028】
ストレージ13は、HDD(Hard Disk Drive)、SSD(Solid State Drive)、およびフラッシュメモリ等によって実現される。記憶媒体としてのストレージ13には、画像処理プログラム12が記憶される。CPU11は、ストレージ13から画像処理プログラム12を読み出してメモリ16に展開し、展開した画像処理プログラム12を実行する。
【0029】
次いで、第1の実施形態による画像処理装置の機能的な構成を説明する。図3は、第1の実施形態による画像処理装置の機能的な構成を示す図である。図3に示すように画像処理装置20は、画像取得部21、導出部22、分離部23および表示制御部24を備える。そして、CPU11が画像処理プログラム12を実行することにより、CPU11は、画像取得部21、導出部22、分離部23および表示制御部24として機能する。
【0030】
画像取得部21は、操作者による入力デバイス15からの指示により、画像保管サーバ3から処理の対象となる医用画像G0を取得する。本実施形態においては、医用画像G0は動脈および静脈を含む複数の断層画像からなる3次元のCT画像であるが、これに限定されるものではない。MRI画像あるいは2次元の放射線画像を医用画像G0として用いてもよい。
【0031】
導出部22は、医用画像G0に含まれる管状構造の走行方向を表す走行ベクトルを管状構造の各画素において導出する。本実施形態においては、管状構造は動脈および静脈である。このため、導出部22は、医用画像G0に含まれる血管内の各画素における走行ベクトルを導出する。
【0032】
ここで、走行ベクトルとは、血管が存在する方向を表すものであり、本実施形態において、同一方向を向くベクトルは同一方向の走行ベクトルとして扱う。また、180度反対の方向を向く2つのベクトル、すなわち基準方向に対する角度のコサインを算出した場合に同一の値となる2つのベクトルは、双方のベクトルともに管状構造が存在する方向を向く。このため、本実施形態においては180度反対の方向を向く走行ベクトルについても同一方向の走行ベクトルとして扱うものとする。また、本実施形態においては、走行ベクトルは大きさが1の単位ベクトルであるものとする。なお、本実施形態においては、180度反対の方向を向く走行ベクトルは同一方向の走行ベクトルとして扱う。このため、走行ベクトルと血流の方向とは必ずしも一致しない。例えば、動脈と静脈とが並行している場合、血流の向きは動脈と静脈とで逆となるが、本実施形態においては、走行ベクトルは同一方向となる。
【0033】
図4は走行ベクトルを示す図である。なお、図4においては、血管領域28内の画素を黒点で示している。また、図4においては画素は間引かれているが実際には血管領域28内の全画素において走行ベクトルが導出されている。
【0034】
本実施形態において、導出部22は、医用画像G0から血管の各画素における走行ベクトルを導出する学習済みモデル22Aを用いて、走行ベクトルを導出する。この際、導出部22は、医用画像G0の全画素について走行ベクトルを導出する。そして、医用画像G0から血管領域を抽出し、血管領域における走行ベクトルを特定する。
【0035】
なお、血管領域を抽出するに際し、導出部22は、例えばHessianフィルタ等、既知の手法を用いて動脈と静脈を区別することなく、医用画像G0から血管領域を抽出する。ボリュームデータから血管領域を抽出する方法としては、「A. F. Frangi et al. Multiscale vessel enhancement filtering, Proceedings of MICCAI, 130-137, 1998.」に示される方法をはじめ、種々の方法が提案されている。
【0036】
学習済みモデル22Aは、例えば畳み込みニューラルネットワーク(CNN;Convolutional neural network)であり、教師データを用いてCNNを機械学習することにより構築される。図5は走行ベクトルを導出する学習済みモデルの構築に使用される教師データを示す図である。図5に示すように教師データ30は、血管を含む学習用医用画像31と、学習用医用画像31に含まれる血管領域内の各画素位置における走行ベクトルを表す正解データ32~34とからなる。本実施形態において学習済みモデル22Aに入力される画像は3次元のCT画像であるため、学習用医用画像31は、3次元のCT画像である。また、正解データ32~34は、学習用医用画像31における各画素(ボクセル)のx方向、y方向およびz方向の走行ベクトルを表す。
【0037】
なお、正解データ32~34は、例えば、「Prediction of 3D Cardiovascular hemodynamics before and after coronary artery bypass surgery via deep learning、Gaoyang Liら、COMMUNICATIONS BIOLOGY、22 January 2021」に記載されたように、ディープラーニングにより血管内の流体解析を行う手法を用いて、学習用医用画像31から導出すればよい。また、動脈および静脈のそれぞれについて中心線を通るグラフ構造を作成し、ノードの接続情報から方向ベクトルを算出し、これを正解のベクトルとして近傍ボクセルにも割り当ることにより、正解データ32~34を導出するようにしてもよい。
【0038】
また、導出部22は、先に医用画像G0から血管領域を抽出し、抽出した血管領域においてのみ走行ベクトルを導出するものであってもよい。この場合、学習済みモデル22Aの学習には、学習用医用画像31、学習用医用画像31における血管領域のマスク、および血管領域における正解データが教師データとして使用される。そして、学習済みモデル22Aには医用画像G0および医用画像G0から抽出された血管領域のマスクが入力されて、血管領域における走行ベクトルが出力されることとなる。
【0039】
また、導出部22は、医用画像G0の全画素あるいは血管領域内の全画素について走行ベクトルを導出するものであってもよいが、数画素毎に間引いて走行ベクトルを導出するものであってもよい。また、画素を間引く間隔は等間隔であってもよいが、とくに先に血管領域を抽出する場合には、血管領域の中心に近いほど間引く間隔を小さくし、中心から離れるほど間引く間隔を大きくするようにしてもよい。
【0040】
分離部23は、導出部22が導出した走行ベクトルを用いて動脈および静脈を分離する。第1の実施形態においては、走行ベクトルに沿うように動脈および静脈を分離する。具体的には、隣接する2つの画素に同一のラベルが付与される可能性を判断して複数の管状構造を分離する。
【0041】
図6は隣接する2つの画素に同一のラベルが付与される可能性を説明するための図である。図6に示すように画素Paおよび画素Pbの組み合わせ、画素Pcおよび画素Pdの組み合わせ、並びに画素Peおよび画素Pfの組み合わせを考える。まず、各画素の組み合わせにおいて、画素Paから画素Pbに向かう方向ベクトルVab、画素Pcから画素Pdに向かう方向ベクトルVcdおよび画素Peから画素Pfに向かう方向ベクトルVefを設定する。また、画素Pa~Pfにおいてはそれぞれ走行ベクトルVa~Vfが導出されている。ここで、方向ベクトルVabと走行ベクトルVa,Vbとの角度αa,αb、方向ベクトルVcdと走行ベクトルVc,Vdとの角度αc,αd、方向ベクトルVefと走行ベクトルVe,Vfとの角度αe,αfを考えた場合、方向ベクトルと2つの走行ベクトルのうちの少なくとも一方の走行ベクトル、とくに2つの走行ベクトルのそれぞれとの角度が小さいほど、2つの画素は同一のラベルが付与される可能性が高いものとなる。
【0042】
例えば画素Pa,Pbの組み合わせ、画素Pc,Pdの組み合わせ、および画素Pe,Pfの組み合わせを見た場合、同一のラベルが付与される可能性が最も高いの画素の組み合わせは画素Pc,Pdの組み合わせとなる。
【0043】
第1の実施形態においては、分離部23は、2つの画素の組み合わせについて同一のラベルが付与される可能性を判断して、各画素を動脈および静脈に分離するものである。例えば、グラフカット処理を用いて各画素を動脈および静脈に分離することを考えた場合、2つの画素を結ぶ方向ベクトルと2つの画素の少なくとも一方における走行ベクトルとの角度が小さいほど、2つの画素を結ぶエッジのエネルギーを小さくすることにより、2つの画素の間でエッジが切断されないようにする。以下、その具体的な手法について説明する。
【0044】
第1の実施形態においては、分離部23は、走行ベクトルが同一方向となるかまたは連続して変化し、かつ走行ベクトルの方向において隣接するN(>3)個の画素を含む画素群を選択し、画素群に含まれる画素のラベルを変数とするN次のエネルギーを最小化することにより、グラフカット処理を用いて動脈と静脈とを分離する。
【0045】
走行ベクトルが連続するとは、画素を走行ベクトルの方向に沿って滑らかに連結できるように、隣接する画素における走行ベクトルの変化が小さいこと、すなわち上述したように隣接する画素に同一のラベルが付与される可能性が高いことを意味する。走行ベクトルの変化が小さいか否かの判定は、2つの画素についての走行ベクトルと2つの画素を結ぶ方向ベクトルとの角度が予め定められたしきい値未満であり、かつ2つの走行ベクトルの方向の変化が予め定められた角度(例えば45度)未満であるか否かを判定することにより行えばよい。
【0046】
まず、画素群の選択について説明する。図7は画素群の選択を説明するための図である。なお、図7においては、血管領域内の画素を黒点で示している。また、図7においては画素は間引かれているが実際には血管領域内の全画素において走行ベクトルが導出されている。本実施形態において、分離部23は、走行ベクトルが同一方向となるかまたは連続して変化し、かつ走行ベクトルの方向において隣接する4個の画素を含む画素群を設定する。図7においては4つの画素を破線で囲むことにより、画素群を示している。
【0047】
分離部23は、設定された画素群に含まれる画素のラベルを変数とするN次のエネルギーを最小化して動脈と静脈とを分離する。第1の実施形態においては、例えば特開2014-071716号公報に記載された高階グラフカットの手法を用いて動脈と静脈とを分離する。
【0048】
まず、グラフカットの手法について説明する。図8はグラフカットの手法を説明するための図である。まず、各画素を頂点とし、画像の各画素に対応する変数{x1,x2,・・・,xn}、x∈{1,0}と分離すべき2つのラベルを表す2つの頂点s、tを定義する。
【0049】
画像の各画素に対応する変数を{x1,x2,・・・,xn}、x∈{1,0}と定義したとき、グラフカットの手法においては、図8に示すように各画素に対応する頂点xi(または、頂点xj)および2つの頂点sと頂点tとを持ち、頂点xiおよび頂点xjのそれぞれについて、頂点sから頂点xiへ向かうエッジと、頂点xiから頂点tへ向かうエッジと、隣接する画素に対応する頂点xi、xj間のエッジとで構成される。そして、頂点sから頂点xiへ向かうエッジおよび頂点xiから頂点tへ向かうエッジに対して、1次のエネルギーを定義し、隣接する画素に対応する頂点を結ぶエッジに対しては、2次のエネルギーを定義する。なお、エネルギーは各画素に対応する変数に基づいて定義される。グラフカットはこのようなエネルギーを定義し、エネルギーが最小となるように、図8に示す頂点をSのクラスとTのクラスとに分離する手法である。なお、図8においては、左から4番目および6番目の頂点がTのクラス(変数が1)に分離され、左から、1~3番目および5番目の頂点がSのクラス(変数が0)に分離されていることを示している。さらに、本実施形態で用いた高階グラフカットにおいては、上述したように走行ベクトルに基づいて選択されたN個(N>3) の画素群に対してN次のエネルギーを定義して、エネルギーが最小になるようにクラスを分離する。
【0050】
1次のエネルギーは、画素に割り当てられるラベルのみに依存する値であり、各画素にどのラベルを割り当てたかによって決まる直接的な影響が現れる。2次のエネルギーは、隣接する画素に与えられるラベルがどのような関係にあるべきかという事前知識を反映するようにエネルギーを定義したものである。N次のエネルギーは、画素群に含まれるN個の画素に対応する変数のすべてが0である場合または画素群に含まれる画素に対応する変数のすべてが1である場合は、変数のすべてが0ではないとともに変数のすべてが1ではない場合よりも小さくなるようにエネルギーを定義したものである。
【0051】
分離部23は、N次のエネルギーを最小化し、さらに1次のエネルギー、2次のエネルギーおよびN次のエネルギーの和が最小となるラベルと最小切断が対応するように各エッジのエネルギーを定める。このようにエネルギーを設定してグラフカット処理を行うと、すべての位置においてN個の画素が走行ベクトルに沿って伸びる血管が同じクラスとなるように動脈内の画素と静脈内の画素とを分離することができる。例えば、図9に示す医用画像G0に含まれる血管領域内のグラフ40を、図10に示すように、実線で示す動脈のグラフ41と破線で示す静脈のグラフ42とに分離することができる。
【0052】
表示制御部24は、分離部23が分離した動脈および静脈を識別可能にディスプレイ14に表示する。図11は分離結果の表示画面を示す図である。医用画像G0は3次元画像であるため、ボリュームレンダリング等の予め定められた手法により3次元に投影された画像がディスプレイ14に表示される。この際、表示制御部24は、動脈と静脈とを異なる色となるように表示する。なお、図11に示す表示画面45においては、色が異なることを異なるハッチングを付与することにより示している。
【0053】
次いで、第1の実施形態において行われる処理について説明する。図12は第1の実施形態において行われる処理を示すフローチャートである。まず、画像取得部21が画像保管サーバ3から医用画像G0を取得し(ステップST1)、導出部22が、医用画像G0に基づいて、動脈および静脈の走行方向を表す走行ベクトルを動脈および静脈の各画素位置において導出する(ステップST2)。そして、分離部23が、走行ベクトルを用いて動脈および静脈を分離し(ステップST3)、表示制御部24が分離結果を表示し(ステップST4)、処理を終了する。
【0054】
このように、第1の実施形態においては、動脈および静脈といった複数の管状構造の走行方向を表す走行ベクトルを用いて複数の管状構造を分離するようにした。このため、管状構造が湾曲していても、その走行方向に沿って複数の管状構造を分離することができる。したがって、医用画像G0に含まれる複数の管状構造を精度よく分離できる。
【0055】
次いで、本開示の第2の実施形態について説明する。なお、第2の実施形態に係る画像処理装置の機能的な構成は、第1の実施形態に係る画像処理装置の機能的な構成と同一であるため、ここでは機能的な構成についての詳細な説明は省略する。第2の実施形態に係る画像処理装置は、分離部23が、同一のラベルが付与される可能性に基づく重み付け経路が最短となるN(>3)個の画素を含む画素群を選択するようにした点が第1の実施形態と異なる。具体的には、同一のラベルが付与される可能性に基づく重みをそれぞれの画素を結ぶ経路の長さに乗算した上で加算した重み付け経路和が最小となるN(>3)個の画素を含む画素群を選択するようにしたものである。
【0056】
図13および図14は第2の実施形態における画素群の選択を説明するための図である。まず、画素群を選択するに際し、まず分離部23は、血管領域内の各画素について隣接する画素と同一のラベルが付与される可能性を予め導出する。隣接する画素とは例えば9近傍あるいは27近傍の画素とするがこれに限定されるものではない。また、第2の実施形態においては、可能性としては、画素間を結ぶ方向ベクトルと各画素における走行ベクトルとの角度が0度に近いかまたは180度に近いほど、角度が90度に近い場合よりも小さくなる値を用いればよい。
【0057】
ここで、図13に示す画素P1を起点とした場合、分離部23は、画素P1を中心とする予め定められた範囲において、隣接する画素との同一のラベルが付与される可能性を判断する。そして、可能性が最も高くかつ画素P1と結ばれる経路が最短となる画素を特定する。具体的には、可能性と画素P1からの経路の長さとを乗算した重み付け経路和が最も小さくなる画素を特定する。図13に示す走行ベクトルにおいては、画素P1に対して画素P2が特定されたものとする。次に、分離部23は、画素P2を中心とする予め範囲において、隣接する画素との同一のラベルが付与される可能性を判断する。そして、可能性が最も高くかつ画素P2と結ばれる経路が最短となる画素を上記と同様に特定する。図13に示す走行ベクトルにおいては、画素P2に対して画素P3が特定されたものとする。
【0058】
以下、分離部23は同様の処理を繰り返して、画素P1との経路が最短となるN個(例えば4個とする)の画素を含む画素群を選択する。図13に示す画素P1を起点とした場合、選択した画素群は図14に示すように画素P1~P4を含む画素群47となる。一方、図13に示す画素P11を起点とした場合、選択した画素群は、図14に示すように画素P11~P14を含む画素群48となる。
【0059】
画素群を選択した以降のグラフカットの処理は、上記第1の実施形態と同様に行うようにすればよい。これにより、第2の実施形態においても、第1の実施形態と同様に、管状構造が湾曲していても、その走行方向に沿って複数の管状構造を分離することができる。したがって、医用画像G0に含まれる複数の管状構造を精度よく分離できる。
【0060】
次いで、本開示の第3の実施形態について説明する。なお、第3の実施形態に係る画像処理装置の機能的な構成は、第1の実施形態に係る画像処理装置の機能的な構成と同一であるため、ここでは機能的な構成についての詳細な説明は省略する。第3の実施形態に係る画像処理装置は、導出部22が、医用画像G0から抽出した血管領域の中心に沿った複数の画素(中心画素とする)において走行ベクトルを導出し、分離部23が、複数の中心画素を結ぶエッジと走行ベクトルとがなす角度を最小化するように動脈および静脈のそれぞれを表すクラスの起始部から最短経路木を導出し、複数の中心画素について、経路がより近く、かつ同一のラベルが付与される可能性がより高い起始部と同一のクラスとなるように動脈および静脈を分離するようにした点が第1の実施形態と異なる。
【0061】
図15は第3の実施形態における動脈および静脈の分離を説明するための図である。まず、導出部22は、医用画像G0から抽出された血管領域において、図15(a)に示すように、血管領域の中心線に沿って間隔を空けつつ複数の中心画素を設定し、そのそれぞれにおいて走行ベクトルを導出する。
【0062】
第3の実施形態において。分離部23は、図15(b)に示すように、画素P21を動脈の起始部、画素P31を静脈の起始部に設定し、画素P21および画素P31からの最短経路木を導出する。この場合、1つの中心画素に対して距離が近い中心画素が複数存在する場合、最短経路木においては1つの中心画素に対して複数のエッジが設定される。
【0063】
そして、分離部23は、複数の中心画素について、経路がより近く、かつ同一のラベルが付与される可能性がより高い起始部と同一のクラスとなるように、最短経路木を切断することにより、動脈および静脈を導出する。この場合、複数のエッジが設定された中心画素について、その中心画素に付与されるラベルと同一のラベルが付与される可能性が最も高い中心画素とを結ぶエッジのエネルギーを小さくし、それ以外のエッジのエネルギーを大きく設定する。これにより、図15(c)に示すように、実線で示すような走行ベクトルに沿う方向のエッジは切断されず、破線で示すような走行ベクトルと交わるような方向のエッジは切断される。したがって、図15(d)に示すように、最短経路木を実線で示す動脈のグラフ51と破線で示す静脈のグラフ52とに分離することができる。そして、分離部23は、グラフ51,52のそれぞれを領域拡張することにより、図15(e)に示すように、医用画像G0における動脈領域53および静脈領域54を抽出する。
【0064】
次いで、本開示の第4の実施形態について説明する。なお、第4の実施形態に係る画像処理装置の機能的な構成は、第1の実施形態に係る画像処理装置の機能的な構成と同一であるため、ここでは機能的な構成についての詳細な説明は省略する。第4の実施形態に係る画像処理装置は、分離部23が、走行ベクトルに沿う画素以外の画素は、互いに異なる管状構造に分離するようにした点が第1の実施形態と異なる。すなわち、第4の実施形態は、走行ベクトルに沿わない画素は同一の管状構造に分離しないようにしたものである。
【0065】
このために、第4の実施形態による画像処理装置は、学習済みモデルを用いて、走行ベクトルが交差する画素間以外の画素間、すなわち走行ベクトルが交差しない画素間に動脈および静脈の境界を導出するように、医用画像G0の各ボクセルを動脈と静脈とに分離する。
【0066】
図16は第4の実施形態において分離部が使用する学習済みモデルが行う処理を示す概略図である。図16に示すように、学習済みモデル23Aは、医用画像G0が入力されると、医用画像G0の各画素が動脈および静脈であることの確率を出力して動脈および動脈の分離結果55を出力するように、ニューラルネットワークを機械学習することにより構築されている。なお、学習済みモデル23Aは、医用画像G0における血管領域が入力されると、各画素が動脈および静脈であることの確率を出力するものであってもよい。
【0067】
図17は第4の実施形態における学習済みモデルの機械学習に使用される教師データを示す図である。図17に示すように、教師データ60は、学習用医用画像61、学習用医用画像61に含まれる動脈および静脈が抽出された正解データ62、および学習用医用画像61に含まれる血管領域における走行ベクトル63を含む。
【0068】
学習に際しては、ニューラルネットワークに学習用医用画像61が入力される。ニューラルネットワークは、学習用医用画像61の各画素が動脈であることの確率および静脈であることの確率を出力する。なお、予め学習用医用画像61から血管領域を抽出し、血管領域内の各画素が動脈であることの確率および静脈であることの確率を出力するようにしてもよい。そして、出力された確率と正解データ62との差分が第1損失L1として導出される。
【0069】
さらに、学習用医用画像61の血管領域内における各画素について、走行ベクトルに沿う方向に隣接する2つ画素における確率の相違の総和が第2損失L2として導出される。図18は第2損失の導出を説明するための図である。図18において、は、走行ベクトルVsに沿う方向に隣接する画素内の数値は、動脈であることの確率pi、pi+1を表している。すなわち、図18における左側の画素ペア71を構成する2つの画素において、動脈であることの確率pi、pi+1はそれぞれ0.8,0.9であり、図18における右側の画素ペア72を構成する2つの画素において、動脈であることの確率pi、pi+1はそれぞれ0.8,0.2である。画素ペア間の損失は|pi-pi+1|により導出される。したがって、第2損失L2は、Σ|pi-pi+1|として導出される。
【0070】
そして、第1損失L1および第2損失L2の和が最小となるように、多数の教師データを用いてニューラルネットワークが機械学習されて学習済みモデル23Aが構築される。すなわち、第1損失L1および第2損失L2の和を小さくするように、誤差逆伝播法等によりニューラルネットワークを構成する各層間の結合の重み等のパラメータが調整される。なお、第1損失L1および第2損失L2の和が予め定められたしきい値以下となるように、機械学習が行われる。また、予め定められた回数の機械学習を行うようにしてもよい。
【0071】
ここで、第2損失L2を用いることにより、図18に示す画素ペア71のように走行ベクトルVsの方向に隣接する2つの画素における確率pi、pi+1の相違が小さい場合にはそれを維持するようにニューラルネットワークが学習される。一方、画素ペア62のように走行ベクトルVsの方向に隣接する2つの画素における確率pi、pi+1の相違が大きい場合、相違を小さくするようにニューラルネットワークが学習される。
【0072】
これにより、医用画像G0が入力されると、走行ベクトルが交差する画素間以外の画素間に動脈および静脈の境界を導出するように、すなわち、動脈および静脈の境界が走行ベクトルと交わらないように、医用画像G0の各画素が動脈であることの確率および静脈であることの確率が学習済みモデル23Aから出力される。これにより、医用画像G0において、走行ベクトルに沿って動脈および静脈を分離することができる。
【0073】
なお、上記各実施形態においては、医用画像G0に含まれる複数の管状構造として動脈および静脈を用いているが、これに限定されるものではない。動脈および静脈の他、門脈、尿管、および神経等の複数の管状構造物を分離する際にも本開示の技術を適用できる。なお、神経は内部を流体が流れるものではないが、脳あるいは脊髄を起点として人体の末端に向けて走行している。このため、神経に対しても走行ベクトルを導出して、走行ベクトルに基づいて他の管状構造物と神経とを分離することが可能である。
【0074】
また、上記各実施形態において、例えば、画像処理装置20の画像取得部21、導出部22、分離部23および表示制御部24といった各種の処理を実行する処理部(Processing Unit)のハードウェア的な構造としては、次に示す各種のプロセッサ(Processor)を用いることができる。上記各種のプロセッサには、上述したように、ソフトウェア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPUに加えて、FPGA(Field Programmable Gate Array)等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device :PLD)、ASIC(Application Specific Integrated Circuit)等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
【0075】
1つの処理部は、これらの各種のプロセッサのうちの1つで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合わせ(例えば、複数のFPGAの組み合わせまたはCPUとFPGAとの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。
【0076】
複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアントおよびサーバ等のコンピュータに代表されるように、1つ以上のCPUとソフトウェアとの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)等に代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの1つ以上を用いて構成される。
【0077】
さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路(Circuitry)を用いることができる。
【0078】
以下、本開示の付記項を記載する。
(付記項1)
少なくとも1つのプロセッサを備え、
前記プロセッサは、
複数の管状構造を含む医用画像に基づいて、前記複数の管状構造の走行方向を表す走行ベクトルを、前記複数の管状構造の各画素において導出し、
前記走行ベクトルを用いて前記複数の管状構造を分離する画像処理装置。
(付記項2)
前記プロセッサは、前記医用画像から前記複数の管状構造の各画素における前記走行ベクトルを導出する学習済みモデルを用いて、前記走行ベクトルを導出する付記項1に記載の画像処理装置。
(付記項3)
前記プロセッサは、前記走行ベクトルに沿うように前記複数の管状構造を分離する付記項1または2に記載の画像処理装置。
(付記項4)
前記プロセッサは、第1の画素から第2の画素へ向かう方向ベクトルと、前記第1の画素および前記第2の画素の少なくとも一方における前記走行ベクトルとのなす角度に基づいて、前記第1の画素および前記第2の画素に同一のラベルが付与される可能性を判断して、前記複数の管状構造を分離する付記項3に記載の画像処理装置。
(付記項5)
前記プロセッサは、前記走行ベクトルが同一方向となるかまたは連続して変化し、かつ互いに隣接するN(>3)個の画素を含む画素群を選択し、前記画素群に含まれる画素のラベルを変数とするN次のエネルギーを最小化することにより、グラフカット処理を用いて前記複数の管状構造を分離するに際し、
前記変数が0または1で表され、
前記画素群に含まれる画素に対応する変数のすべてが0である場合または前記画素群に含まれる画素に対応する変数のすべてが1である場合は、前記N次のエネルギーが、前記変数のすべてが0ではないとともに前記変数のすべてが1ではない場合よりも小さくなるように設定する付記項4に記載の画像処理装置。
(付記項6)
前記プロセッサは、前記同一のラベルが付与される可能性に基づいて、それぞれの画素を結ぶ経路が最短となり、かつ前記同一のラベルが付与される可能性が最も高くなるN(>3)個の画素を含む画素群を選択し、前記画素群に含まれる画素のラベルを変数とするN次のエネルギーを最小化することにより、グラフカット処理を用いて前記複数の管状構造を分離するに際し、
前記変数が0または1で表され、
前記画素群に含まれる画素に対応する変数のすべてが0である場合または前記画素群に含まれる画素に対応する変数のすべてが1である場合は、前記N次のエネルギーが、前記変数のすべてが0ではないとともに前記変数のすべてが1ではない場合よりも小さくなるように設定する付記項4に記載の画像処理装置。
(付記項7)
前記プロセッサは、前記複数の管状構造の中心に沿った複数の中心画素における走行ベクトルを導出し、
前記複数の中心画素間を結ぶエッジと前記走行ベクトルとがなす角度を最小化するように前記複数の管状構造のそれぞれを表すクラスの起始部からの最短経路木を導出し、
前記複数の中心画素について、経路がより近く、かつ前記同一のラベルが付与される可能性がより高い起始部と同一のクラスとなるように前記最短経路木を切断することにより、前記複数の管状構造を分離する付記項4に記載の画像処理装置。
(付記項8)
前記プロセッサは、前記走行ベクトルに沿う画素以外の画素は、互いに異なる管状構造に分離する付記項1または2に記載の画像処理装置。
(付記項9)
前記プロセッサは、前記走行ベクトルが交差する画素間以外の画素間に前記複数の管状構造の境界を導出するように前記複数の管状構造を分離する付記項8に記載の画像処理装置。
(付記項10)
前記プロセッサは、前記医用画像および前記走行ベクトルに基づいて、前記走行ベクトルが連続する方向の損失を最小化するように機械学習がなされた学習済みモデルを用いて前記複数の管状構造を分離する付記項9に記載の画像処理装置。
(付記項11)
前記複数の管状構造は、動脈、静脈、門脈、尿管および神経のうちの少なくとも2つを含む付記項1から10のいずれか1項に記載の画像処理装置。
(付記項12)
複数の管状構造を含む医用画像に基づいて、前記複数の管状構造の走行方向を表す走行ベクトルを、前記複数の管状構造の各画素において導出し、
前記走行ベクトルを用いて前記複数の管状構造を分離する画像処理方法。
(付記項13)
複数の管状構造を含む医用画像に基づいて、前記複数の管状構造の走行方向を表す走行ベクトルを、前記複数の管状構造の各画素において導出する手順と、
前記走行ベクトルを用いて前記複数の管状構造を分離する手順とをコンピュータに実行させる画像処理プログラム。
【符号の説明】
【0079】
1 コンピュータ
2 撮影装置
3 画像保管サーバ
4 ネットワーク
11 CPU
12 画像処理プログラム
13 ストレージ
14 ディスプレイ
15 入力デバイス
16 メモリ
17 ネットワークI/F
18 バス
20 画像処理装置
21 画像取得部
22 導出部
22A 学習済みモデル
23 分離部
23A 学習済みモデル
24 表示制御部
25 導出分離部
28 血管領域
30,60 教師データ
31,61 学習用医用画像
32~34,62 正解データ
40 グラフ
41,51 動脈のグラフ
42,52 静脈のグラフ
45 表示画面
47,48 画素群
53 動脈領域
54 静脈領域
55 分離結果
63 走行ベクトル
71,72 画素ペア
G0 医用画像
Pa~Pf,P1~P4、P11~P14.P21,P31 画素
Va~Vf、Vs 走行ベクトル
Vab,Vcd,Vef 方向ベクトル
αa~αf 角度
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18