【解決手段】臓器体積計算部は、患者の肺を撮影した画像を基に、肺の体積である第1の体積を計算する。陰影領域体積計算部は、画像を基に、肺における陰影が分布する領域の体積である第2の体積を計算する。正規化部は、第1の体積を基に第2の体積を正規化する。表示制御部は、正規化した第2の体積に関する情報を表示装置に表示させる。
前記第1の体積を計算する処理は、前記肺の複数のスライス画像を線形補完して得られる複数の画像における前記肺が写った領域の面積を積分することにより前記第1の体積を計算し、
前記第2の体積を計算する処理は、前記複数の画像における陰影が分布する領域の面積を積分することにより前記第2の体積を計算する
ことを特徴とする請求項1又は2に記載の肺陰影計測プログラム。
前記正規化する処理は、ユーザによって指定された疾患又は陰影ごとにあらかじめ対応付けられた関数を用いて前記第2の体積を正規化することを特徴とする請求項1から3のいずれか1項に記載の肺陰影計測プログラム。
前記表示させる処理は、ユーザの操作に応じて、正規化した前記第2の体積又は正規化する前の前記第2の体積のいずれかに関する情報を表示させることを特徴とする請求項1から4のいずれか1項に記載の肺陰影計測プログラム。
前記表示させる処理は、正規化した前記第2の体積を記載した表、及び正規化した前記第2の体積を表すグラフを表示させることを特徴とする請求項1から5のいずれか1項に記載の肺陰影計測プログラム。
【発明を実施するための形態】
【0009】
以下に、本発明に係る肺陰影計測プログラム、肺陰影計測方法及び肺陰影計測システムの実施例を図面に基づいて詳細に説明する。なお、この実施例により本発明が限定されるものではない。また、各実施例は、矛盾のない範囲内で適宜組み合わせることができる。
【0010】
肺陰影計測システムは、DBに蓄積された患者の画像(CT画像等)を表示することで、医師の診察を支援するシステムである。例えば、肺陰影計測システム1は、診察中の患者の画像と、当該取得した画像に対応付けられた疾患に関する情報を医師に提示することができる。これにより、医師は、提示された画像及び疾患に関する情報を参考にして診察を行うことができる。肺陰影計測システムのユーザは、例えば医師である。
【0011】
図1を用いて、実施例に係る肺陰影計測システムの構成を説明する。
図1は、肺陰影計測システムの構成を説明するための図である。
図1に示すように、肺陰影計測システム1は、肺陰影計測装置10及び表示装置20を有する。また、肺陰影計測装置10は、インタフェース部11、記憶部12及び制御部13を有する。
【0012】
インタフェース部11は、データの入出力、及び他の装置とのデータ通信を行うためのインタフェースである。また、例えば、インタフェース部11は、表示装置20に対し画像データを出力する。このとき、表示装置20は、インタフェース部11を介して受け取った画像データを基に画像を表示する。表示装置20は、例えばディスプレイ及びタッチパネルである。
【0013】
記憶部12は、制御部13が実行するプログラム及びプログラムの実行に必要なデータを記憶する記憶装置の一例である。記憶部12は、患者DB121、症例DB122、画像DB123及び正規化関数情報124を記憶する。
【0014】
患者DB121には、患者ごとの情報が格納される。
図2は、患者DBのデータ構造の例を示す図である。
図2に示すように、患者DB121には、患者ごとの患者ID、氏名、性別、生年月日が格納される。
図2の例では、患者IDが「0000000074」である患者の氏名が「患者 太朗」であり、性別が男であり、生年月日が「1950/1/1」であることが示されている。
【0015】
症例DB122には、検査結果が格納される。
図3は、症例DBのデータ構造の例を示す図である。
図3に示すように、症例DB122には、患者の検査日ごとの画像のパスと当該画像において検出された陰影の種類が格納される。
図3の例では、患者IDが「0000000074」である患者が「2019/11/15」の検査で撮影した画像の、パッチ001の陰影種類が肺気腫であり、パッチ002の陰影種類がGGOであることが示されている。
【0016】
ここで、パッチはCT画像を分割して得られる複数の領域である。例えば、パッチは、CT画像を分割して得られる16×16pixelの画像である。また、パッチごとの特徴と、あらかじめ定められた所定の陰影ごとの特徴との類似度を基に、陰影種類が得られる。例えば、肺陰影計測システム1は、パッチから抽出した特徴量と、各陰影種類の特徴量との類似度を計算する機械学習モデルを利用して、各パッチに対応する陰影種類を検出することができる。
【0017】
画像DB123には、検査において得られた画像が格納される。また、画像DB123に画像を取得するためのパスは、症例DB122に格納されている。
【0018】
正規化関数情報124は、後に説明する計算部133による正規化処理で使用される関数の情報である。また、正規化関数は、疾患の種類ごとに異なるものであってもよい。その場合、正規化関数情報124は、疾患の種類と対応付けられた関数の情報である。例えば、正規化関数情報124は、関数で使用される所定の係数及び定数であってもよい。
【0019】
制御部13は、例えば、CPU(Central Processing Unit)、MPU(Micro Processing Unit)、GPU(Graphics Processing Unit)等によって、内部の記憶装置に記憶されているプログラムがRAMを作業領域として実行されることにより実現される。また、制御部13は、例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路により実現されるようにしてもよい。制御部13は、表示制御部131、抽出部132及び計算部133を有する。
【0020】
表示制御部131は、制御部13の各処理部による処理の結果を基に生成される画像を表示装置20に表示させる。例えば、表示制御部131は、インタフェース部11を介して画像データを表示装置20に出力する。
【0021】
抽出部132は、画像から特徴量を抽出する。抽出部132は、画像全体の特徴量を抽出してもよいし、パッチごとの特徴量を抽出してもよい。
【0022】
計算部133は、ユーザに提示するための数値を計算する。計算部133は、画像から臓器及び陰影が分布している領域の体積の推定値を計算する。また、計算部133は、計算した体積を正規化することができる。ここで、計算部133が各体積を計算するための画像を、医用画像と呼ぶ場合がある。
【0023】
ここで、正規化の必要性について説明する。例えば、臓器の1つである肺は、患者が吸い込む息の量によって大きさが変化する。そのため、同じ患者であっても、撮影のタイミングによっては、画像に写る肺の大きさが異なる場合がある。さらに、びまん性肺疾患は、悪化すると息を十分に吸い込むことができなくなる場合がある。このため、疾患の進行度合いが画像に写る臓器の大きさに影響を与える場合がある。
【0024】
このため、撮影日時が異なる複数の画像について、陰影が分布する領域の体積を比較し評価する場合、肺の体積が各撮影日時で揃っていることが望ましい。そこで、計算部133は、陰影が分布する領域の体積を正規化し、肺の体積の変化の影響を小さくする。
【0025】
図4は、計算部の構成例を示す図である。
図4に示すように、計算部133は、臓器検出部133a、臓器体積計算部133b、陰影検出部133c、陰影領域体積計算部133d及び正規化部133eを有する。
【0026】
臓器検出部133a、画像から所定の臓器を検出する。例えば、臓器検出部133aは、あらかじめ定められた肺の特徴量と類似する画像中の領域を肺として検出する。
【0027】
臓器体積計算部133bは、患者の肺を撮影した画像を基に、肺の体積である第1の体積を計算する。なお、臓器体積計算部133bによる体積の計算対象の画像が患者の肺を撮影したものであることは、臓器検出部133aの検出結果により既知であるものとする。臓器体積計算部133bは、第1の体積計算部の一例である。
【0028】
ここで、
図4に示すように、医用画像は、CTスキャン等により得られる、肺の複数のスライス画像である場合がある。この場合、例えば、臓器体積計算部133bは、肺の複数のスライス画像を線形補完して得られる複数の画像における肺が写った領域の面積を積分することにより第1の体積を計算する。線形補完によれば、2つのスライス画像の間にあるスライス画像を仮想的に生成することができる。
【0029】
陰影検出部133cは、画像から陰影が分布している領域を検出する。例えば、陰影検出部133cは、あらかじめ定められた陰影の特徴量と類似する画像中の領域を検出する。例えば、陰影検出部133cは、各パッチがどの陰影に最も類似するかを検出する。
【0030】
ここで、画像に現れる陰影は、所定の特徴を持つ影ということができる。また、例えば、肺の画像における陰影は、特定の病変及び疾病だけでなく、老化による変化、出血、喫煙による変化等に起因して現れる場合がある。ここでは、陰影のうちの一部が異常陰影であり、さらに異常陰影のうち一部が病変と判断されるものとする。例えば、陰影検出部133cは単にパッチごとの陰影の種類を検出し、検出結果に基づく病変及び疾患の種類の特定はユーザによって行われてもよい。
【0031】
陰影領域体積計算部133dは、画像を基に、肺における陰影が分布する領域の体積である第2の体積を計算する。例えば、臓器体積計算部133bは、肺の複数のスライス画像を線形補完して得られる複数の画像における肺が写った領域の面積を積分することにより第1の体積を計算する。例えば、陰影領域体積計算部133dは、肺の複数のスライス画像を線形補完して得られる複数の画像における陰影が分布する領域の面積を積分することにより第2の体積を計算する。陰影領域体積計算部133dは、第2の体積計算部の一例である。
【0032】
正規化部133eは、第1の体積を基に第2の体積を正規化する。例えば、正規化部133eは、ユーザによって指定された疾患又は病変ごとにあらかじめ対応付けられた関数を用いて第2の体積を正規化することができる。一例として、基準となる肺の体積をV
A、第1の体積をV
1、正規化していない第2の体積をV
2、疾患ごとの定められた係数をαとすると、正規化部133eは、正規化した第2の体積V
2´を、(1)式のように求めることができる。
V
2´=(V
1/V
A)^α×V
2 …(1)
【0033】
例えば、陰影の領域の体積が肺の体積に正比例するような疾患の場合は、αは1.0である。一方、陰影の領域の体積が肺の体積に対して大きく変化しない疾患の場合は、αは1.0よりも0に近くなる。例えば、びまん性肺疾患の病変は肺全体に広範囲にわたって分布するため、肺の体積に対して大きく変化することが知られている。このため、びまん性肺疾患の場合、αは1.0に近くなることが多い。
【0034】
さらに、陰影の種類によっても、領域の体積の変化量は異なると考えられる。このため、正規化部133eは検出された陰影の種類に従って、パッチごとに異なる正規化関数を使って体積を正規化してもよい。
【0035】
正規化部133eは、第1の画像と異なる日時に肺を撮影した第2の画像を基に、第2の体積を正規化することができる。例えば、撮影日時の異なる複数の画像がある場合、正規化部133eは、指定された1つの画像から計算される肺の体積を基準に正規化を行う。
【0036】
表示制御部131は、正規化した第2の体積に関する情報を表示装置20に表示させる。また、表示制御部131は、ユーザの操作に応じて、正規化した第2の体積又は正規化する前の第2の体積のいずれかに関する情報を表示させることができる。また、表示制御部131は、正規化した第2の体積を記載した表、及び正規化した第2の体積を表すグラフを表示させることができる。
【0037】
ここで、特に対象の臓器が肺である場合、第1の体積は容積に置き換えられてもよい。肺の容積は、肺の内部の空間であり、肺の体積の変化に応じて変化すると考えられる。このため、正規化部133eは、肺の体積を基に第2の体積を正規化してもよいし、肺の容積を基に第2の体積を正規化してもよい。また、臓器体積計算部133bは、肺の容積を直接計算してもよいし、肺の体積を基に肺の容積の推定値を計算してもよい。
【0038】
表示制御部131は、陰影量経過比較画面を表示装置20に表示させる。
図5は、正規化していない体積を表示する画面の例を示す図である。
図5に示すように、正規化していない体積を表示する陰影量経過比較画面20aは、患者情報表示欄201、体積表211、体積グラフ212、チェックボックスリスト221、ラジオボタン222、ラジオボタン223、陰影ヒストグラム231、画像表示領域241を有する。
【0039】
患者情報表示欄201には、患者に関する情報が表示される。患者情報表示欄201には、例えば患者DB121から取得された情報が表示される。チェックボックスリスト221は、表示する肺の部位を選択するためのチェックボックス群である。陰影ヒストグラム231は、肺の位置ごとの陰影の出現頻度を表示するヒストグラムである。
【0040】
画像表示領域241は、各撮影日時の肺の画像を表示する。また、画像表示領域241では、パッチが正方形によって表される。また、パッチを表す正方形の枠線の色は、検出された陰影の種類ごとに異なっていてもよい。
【0041】
陰影量経過比較画面20aにおいて、体積表211には、陰影ごとの正規化していない第2の体積が表示される。体積グラフ212は、正規化していない第2の体積を表す棒グラフである。体積グラフ212では、陰影の種類ごとに色分けがされている。
【0042】
ラジオボタン222及びラジオボタン223は、正規化していない体積、すなわち絶対値を表示するか、正規化した体積を表示するかを選択するためのラジオボタンである。陰影量経過比較画面20aでは、ラジオボタン222が選択されているため、正規化していない体積に関する情報が表示される。
【0043】
図6は、正規化した体積を表示する画面の例を示す図である。陰影量経過比較画面20bの患者情報表示欄201、陰影ヒストグラム231、画像表示領域241には、陰影量経過比較画面20aと同様の情報が表示される。一方、陰影量経過比較画面20bでは、ラジオボタン223が選択されているため、体積表211及び体積グラフ212には、正規化された体積に関する情報が表示される。
【0044】
図5の例では、陰影の種類が「肺気腫」である領域の正規化していない体積が、2019/11/15には1175.9cm
3、2019/10/15には2232.4cm
3、2019/9/15には2736.0cm
3であったことが示されている。一方、
図6の例では、陰影の種類が「肺気腫」である領域の正規化した体積が、2019/11/15には1175.9cm
3、2019/10/15には1409.5cm
3、2019/9/15には1574.4cm
3であったことが示されている。ここでは、2019/11/15の体積が正規化の基準になっている。
【0045】
この例では、各陰影に対応する2019/10/15の体積は、正規化により約0.63倍になっている。また、各陰影に対応する2019/9/15の体積は、正規化により約0.57倍になっている。
【0046】
図7は、肺陰影計測装置の処理の流れを示すフローチャートである。
図7に示すように、まず、表示制御部131は、患者に対応する画像を表示装置20に表示させる(ステップS11)。ここで、体積の計算方法として、絶対値又は正規化のいずれかが指定されているものとする。例えば、体積の計算方法は、
図5及び
図6を用いて説明したように、画面上のラジオボタンによって指定される。
【0047】
体積の計算方法として絶対値が指定されている場合(ステップS12、絶対値)、計算部133は体積の絶対値を計算する(ステップS13)。この場合、計算部133は、正規化部133eの処理を実行することなく、陰影領域体積計算部133dの計算結果を出力すればよい。一方、体積の計算方法として正規化が指定されている場合(ステップS12、正規化)、計算部133は、正規化した体積を計算する(ステップS14)。そして、表示制御部131は、計算された体積を表示させる(ステップS15)。
【0048】
図8は、体積の計算処理の流れを示すフローチャートである。
図8の処理は、
図7のステップS15及びステップS16に対応する。
図8に示すように、まず、臓器検出部133aは、スライス画像から臓器を検出する(ステップS101)。次に、臓器体積計算部133bは、臓器の体積を計算する(ステップS102)。
【0049】
また、陰影検出部133cは、スライス画像から陰影を検出する(ステップS103)。そして、陰影領域体積計算部133dは、陰影の分布領域の体積を計算する(ステップS104)。
【0050】
ここで、体積の計算方法が絶対値であれば(ステップS105、絶対値)、処理を終了する。一方、体積の計算方法が正規化であれば(ステップS105、正規化)、正規化部133eは、臓器種別と陰影種別から決定した正規化関数を用いて、陰影の分布領域の体積を正規化する(ステップS106)。
【0051】
これまで説明してきたように、臓器体積計算部133bは、患者の肺を撮影した画像を基に、肺の体積である第1の体積を計算する。陰影領域体積計算部133dは、画像を基に、肺における陰影が分布する領域の体積である第2の体積を計算する。正規化部133eは、第1の体積を基に第2の体積を正規化する。表示制御部131は、正規化した第2の体積に関する情報を表示装置20に表示させる。例えば、病気の回復、悪化を含む様々な要因により、肺の体積は変化することが考えられる。これに対し、肺陰影計測装置10は、臓器全体の体積の変化に合わせて、陰影の領域の体積を正規化することができる。その結果、本実施例によれば、正規化した体積を提示することができるので、肺疾患の診断精度の低下を抑止することができる。
【0052】
臓器体積計算部133bは、肺を撮影した第1の画像を基に、第1の体積を計算する。
陰影領域体積計算部133dは、第1の画像を基に、第2の体積を計算する。正規化部133eは、第1の画像と異なる日時に肺を撮影した第2の画像を基に、第2の体積を正規化する。撮影のタイミングにより、肺の体積は異なることが考えられる。本実施例によれば、そのような体積の違いを考慮した正規化を行うことができる。
【0053】
臓器体積計算部133bは、肺の複数のスライス画像を線形補完して得られる複数の画像における肺が写った面積を積分することにより第1の体積を計算する。陰影領域体積計算部133dは、複数の画像における陰影が分布する領域の面積を積分することにより第2の体積を計算する。CTによる撮影では、スライス画像が得られる。本実施例では、複数のスライス画像を利用することにより、より正確に体積の推定値を計算することができる。
【0054】
正規化部133eは、ユーザによって指定された疾患又は病変ごとにあらかじめ対応付けられた関数を用いて第2の体積を正規化する。疾患ごとに、肺全体の体積の変化量に対する陰影領域の体積の変化量は異なることが考えられる。本実施例では、そのような疾患ごとの違いを考慮することにより、より正確に正規化を行うことができる。
【0055】
表示制御部131は、ユーザの操作に応じて、正規化した第2の体積又は正規化する前の第2の体積のいずれかに関する情報を表示させることを特徴とする。このように、本実施例では、ユーザの希望に応じて表示する体積を切り替えることができる。
【0056】
表示制御部131は、正規化した第2の体積を記載した表、及び正規化した第2の体積を表すグラフを表示させる。このように、本実施例では、ユーザが直感的に理解しやすい態様で正規化した体積を表示することができる。
【0057】
上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。また、実施例で説明した具体例、分布、数値等は、あくまで一例であり、任意に変更することができる。
【0058】
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散や統合の具体的形態は図示のものに限られない。つまり、その全部又は一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。さらに、各装置にて行われる各処理機能は、その全部又は任意の一部が、CPU及び当該CPUにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
【0059】
図9は、ハードウェア構成例を説明する図である。
図11に示すように、肺陰影計測装置10は、通信インタフェース10a、HDD(Hard Disk Drive)10b、メモリ10c、プロセッサ10dを有する。また、
図13に示した各部は、バス等で相互に接続される。
【0060】
通信インタフェース10aは、ネットワークインタフェースカード等であり、他のサーバとの通信を行う。HDD10bは、
図3に示した機能を動作させるプログラムやDBを記憶する。
【0061】
プロセッサ10dは、
図2に示した各処理部と同様の処理を実行するプログラムをHDD10b等から読み出してメモリ10cに展開することで、
図1等で説明した各機能を実行するプロセスを動作させるハードウェア回路である。すなわち、このプロセスは、肺陰影計測装置10が有する各処理部と同様の機能を実行する。具体的には、プロセッサ10dは、表示制御部131、抽出部132及び計算部133と同様の機能を有するプログラムをHDD10b等から読み出す。そして、プロセッサ10dは、表示制御部131、抽出部132及び計算部133等と同様の処理を実行するプロセスを実行する。
【0062】
このように肺陰影計測装置10は、プログラムを読み出して実行することで学習類方法を実行する情報処理装置として動作する。また、肺陰影計測装置10は、媒体読取装置によって記録媒体から上記プログラムを読み出し、読み出された上記プログラムを実行することで上記した実施例と同様の機能を実現することもできる。なお、この他の実施例でいうプログラムは、肺陰影計測装置10によって実行されることに限定されるものではない。例えば、他のコンピュータ又はサーバがプログラムを実行する場合や、これらが協働してプログラムを実行するような場合にも、本発明を同様に適用することができる。
【0063】
このプログラムは、インターネット等のネットワークを介して配布することができる。また、このプログラムは、ハードディスク、フレキシブルディスク(FD)、CD−ROM、MO(Magneto−Optical disk)、DVD(Digital Versatile Disc)等のコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することができる。