(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-08-15
(45)【発行日】2022-08-23
(54)【発明の名称】医用レポート作成装置、医用レポート作成方法および医用レポート作成プログラム
(51)【国際特許分類】
A61B 5/00 20060101AFI20220816BHJP
G16H 10/00 20180101ALI20220816BHJP
G16H 80/00 20180101ALI20220816BHJP
【FI】
A61B5/00 D
G16H10/00
G16H80/00
(21)【出願番号】P 2018157061
(22)【出願日】2018-08-24
【審査請求日】2021-02-16
(73)【特許権者】
【識別番号】320011683
【氏名又は名称】富士フイルムヘルスケア株式会社
(74)【代理人】
【識別番号】110000350
【氏名又は名称】ポレール弁理士法人
(72)【発明者】
【氏名】金井 将之
【審査官】▲高▼原 悠佑
(56)【参考文献】
【文献】特開2006-034548(JP,A)
【文献】特開2009-022368(JP,A)
【文献】特開平02-172447(JP,A)
【文献】特開2012-231901(JP,A)
【文献】特開2009-082227(JP,A)
【文献】特開2010-162340(JP,A)
【文献】米国特許第05883933(US,A)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 5/00
A61B 6/00
(57)【特許請求の範囲】
【請求項1】
診断上の特徴を表すキー画像を添付して医用レポートを作成する医用レポート作成装置であって、
前記キー画像を取得するキー画像取得部と、
前記キー画像と平行な断層画像である平行画像を取得する平行画像取得部と、
前記キー画像に対して傾斜する角度である投影角度により前記キー画像と前記平行画像とを投影して補足画像を作成する補足画像作成部と、
前記キー画像とともに前記補足画像を添付して前記医用レポートを作成するレポート作成部を備え、
前記補足画像作成部は、前記キー画像よりも上側にある平行画像を半透明で表示することを特徴とする医用レポート作成装置。
【請求項2】
診断上の特徴を表すキー画像を添付して医用レポートを作成する医用レポート作成装置が実行する医用レポート作成方法であって、
前記キー画像を取得するキー画像取得ステップと、
前記キー画像と平行な断層画像である平行画像を取得する平行画像取得ステップと、
前記キー画像に対して傾斜する角度である投影角度により前記キー画像と前記平行画像とを投影して補足画像を作成する補足画像作成ステップと、
前記キー画像とともに前記補足画像を添付して前記医用レポートを作成するレポート作成ステップを備え
、
前記補足画像作成ステップでは、前記キー画像よりも上側にある平行画像が半透明で表示されることを特徴とする医用レポート作成方法。
【請求項3】
コンピュータに、診断上の特徴を表すキー画像を添付させて医用レポートを作成させる医用レポート作成プログラムであって、
前記キー画像を取得するキー画像取得ステップと、
前記キー画像と平行な断層画像である平行画像を取得する平行画像取得ステップと、
前記キー画像に対して傾斜する角度である投影角度により前記キー画像と前記平行画像とを投影して補足画像を作成する補足画像作成ステップと、
前記キー画像とともに前記補足画像を添付して前記医用レポートを作成するレポート作成ステップを備え
、
前記補足画像作成ステップでは、前記キー画像よりも上側にある平行画像が半透明で表示されることを特徴とする医用レポート作成プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、患者の画像診断に関する医用レポートを作成する医用レポート作成装置、医用レポート作成方法および医用レポート作成プログラムに関するものである。
【背景技術】
【0002】
医療分野における画像診断では、読影医が医用画像を読影して医用レポートを作成し、読影を依頼した臨床医が医用レポートを確認して診断している。医用レポートには、診断上重要と判断された関心領域を含むキー画像が添付されるとともに、関心領域の位置情報が記載されるものの、患部の位置や大きさを臨床医が正確に把握して診断するには情報が不足する場合がある。
【0003】
特許文献1には、三次元医用画像データを用いて指定されたキー画像とキー画像上の指定位置とに基づいて、指定位置を含みキー画像とは異なる断面を示す断層画像を補助画像として決定し、キー画像と補助画像を含む医用レポートを作成することが開示されている。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献1では、キー画像や補助画像に患部の断面形状が示されるに過ぎず、患部の詳細な三次元形状を把握しにくい場合がある。
【0006】
そこで、本発明は、添付されるキー画像中の患部の三次元形状が把握しやすい医用レポートを作成可能な医用レポート作成装置、医用レポート作成方法および医用レポート作成プログラムを提供することを目的とする。
【課題を解決するための手段】
【0007】
上記目的を達成するために本発明は、診断上の特徴を表すキー画像を添付して医用レポートを作成する医用レポート作成装置であって、前記キー画像を取得するキー画像取得部と、前記キー画像と平行な断層画像である平行画像を取得する平行画像取得部と、前記キー画像に対して傾斜する角度である投影角度により前記キー画像と前記平行画像とを投影して補足画像を作成する補足画像作成部と、前記キー画像とともに前記補足画像を添付して前記医用レポートを作成するレポート作成部を備えることを特徴とする。
【0008】
また本発明は、診断上の特徴を表すキー画像を添付して医用レポートを作成する医用レポート作成方法であって、前記キー画像を取得するキー画像取得ステップと、前記キー画像と平行な断層画像である平行画像を取得する平行画像取得ステップと、前記キー画像に対して傾斜する角度である投影角度により前記キー画像と前記平行画像とを投影して補足画像を作成する補足画像作成ステップと、前記キー画像とともに前記補足画像を添付して前記医用レポートを作成するレポート作成ステップを備えることを特徴とする。
【0009】
また本発明は、コンピュータに、診断上の特徴を表すキー画像を添付させて医用レポートを作成させる医用レポート作成プログラムであって、前記キー画像を取得するキー画像取得ステップと、前記キー画像と平行な断層画像である平行画像を取得する平行画像取得ステップと、前記キー画像に対して傾斜する角度である投影角度により前記キー画像と前記平行画像とを投影して補足画像を作成する補足画像作成ステップと、前記キー画像とともに前記補足画像を添付して前記医用レポートを作成するレポート作成ステップを備えることを特徴とする。
【発明の効果】
【0010】
本発明によれば、添付されるキー画像中の患部の三次元形状が把握しやすい医用レポートを作成可能な医用レポート作成装置、医用レポート作成方法および医用レポート作成プログラムを提供することができる。
【図面の簡単な説明】
【0011】
【
図3】実施例1の処理の流れの一例を示す図である。
【
図5】実施例1の平行画像の取得処理の流れの一例を示す図である。
【
図6】キー画像と平行画像との投影について補足説明する図である。
【
図7】投影角度と補足画像との関係を示す図である。
【
図8】方位角度と補足画像との関係を示す図である。
【
図12】実施例2の平行画像の取得処理の流れの一例を示す図である。
【発明を実施するための形態】
【0012】
以下、添付図面に従って本発明に係る医用画像処理装置及び医用画像処理方法の好ましい実施例について説明する。なお、以下の説明及び添付図面において、同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略することにする。
【実施例1】
【0013】
図1は医用レポート作成装置1のハードウェア構成を示す図である。医用レポート作成装置1は、CPU(Central Processing Unit)2、主メモリ3、記憶装置4、表示メモリ5、表示装置6、コントローラ7、入力装置8、ネットワークアダプタ10がシステムバス11によって信号送受可能に接続されて構成される。医用レポート作成装置1は、ネットワーク12を介して医用画像撮影装置13や医用画像データベース14と信号送受可能に接続される。ここで、「信号送受可能に」とは、電気的、光学的に有線、無線を問わずに、相互にあるいは一方から他方へ信号送受可能な状態を示す。
【0014】
CPU2は、各構成要素の動作を制御する装置である。CPU2は、記憶装置4に格納されるプログラムやプログラム実行に必要なデータを主メモリ3にロードして実行する。記憶装置4は、CPU2が実行するプログラムやプログラム実行に必要なデータを格納する装置であり、具体的にはハードディスクやSSD(Solid State Drive)等である。各種データはLAN(Local Area Network)等のネットワーク12を介して送受信される。主メモリ3は、CPU2が実行するプログラムや演算処理の途中経過を記憶するものである。
【0015】
表示メモリ5は、液晶ディスプレイ等の表示装置6に表示するための表示データを一時格納するものである。入力装置8は、操作者が医用レポート作成装置1に対して操作指示を行う操作デバイスであり、具体的にはキーボードやマウス等である。マウスはトラックパッドやトラックボールなどの他のポインティングデバイスであっても良い。コントローラ7は、キーボードやマウスの状態を検出して、検出した情報等をCPU2へ出力するものである。また表示装置6がタッチパネルである場合には、タッチパネルが入力装置8としても機能する。ネットワークアダプタ10は、医用レポート作成装置1をLAN、電話回線、インターネット等のネットワーク12に接続するためのものである。
【0016】
医用画像撮影装置13は、被検体の断層画像等の医用画像を取得する装置であり、例えばX線CT装置やMRI装置、レントゲン装置、超音波診断装置、超音波CT装置、PET(Positron Emission Tomography)装置、光CT装置である。複数の断層画像が積み上げられることにより三次元医用画像が作成される。医用画像データベース14は、医用画像撮影装置13によって取得された医用画像を記憶するデータベースシステムである。ビューア端末15は医用レポート作成装置1で作成された医用レポートの閲覧に用いられ、医用レポート作成装置1と同様のハードウェア構成を有する。
【0017】
図2を用いて本実施例の要部について説明する。なおこれらの要部は、専用のハードウェアで構成されても良いし、CPU2上で動作するソフトウェアで構成されても良い。以降の説明では本実施例の要部がソフトウェアで構成された場合について説明する。本実施例は、キー画像取得部22と平行画像取得部23と補足画像作成部24と医用レポート作成部25を備える。以下、各部について説明する。
【0018】
キー画像取得部22は、診断上の特徴を表す断層画像であるキー画像を三次元医用画像21から取得する。キー画像は、読影医によって作成される医用レポートに添付され、医用画像の読影により診断上重要と判断された関心領域、例えば肺野中の結節等の患部を含む。キー画像は、読影医による読影またはCAD(Computer-Aided Diagnosis)システムによって三次元医用画像21の中から抽出される。
【0019】
平行画像取得部23は、キー画像と平行な断層画像である平行画像を三次元医用画像21から取得する。キー画像と平行画像との画像間隔や平行画像の枚数は、操作者によって入力装置8を介して指定されたり、後述するパラメータに基づいて算出されたりする。
【0020】
補足画像作成部24は、キー画像と平行画像とを所定の投影角度で投影することにより補足画像を作成する。投影角度はキー画像に対して傾斜する角度であって、キー画像と平行画像との画像間隔に基づいて算出されたり、操作者によって入力装置8を介して指定されたりする。補足画像は患部等の関心領域に係る情報を補足するための画像であるので、患部に平行画像が重ならないように投影されることが好ましい。
【0021】
また補足画像作成部24は、キー画像に含まれる患部等の関心領域を他の領域と異なる形態で表示しても良く、例えばボリュームレンダリングやサーフェースレンダリングにより擬似三次元像にしたり、着色したりする。
【0022】
医用レポート作成部25は、読影医の所見に、キー画像とともに補足画像が添付された医用レポート26を作成する。作成された医用レポート26は記憶装置4に保管され、必要に応じてビューア端末15を通じて臨床医等に閲覧される。
【0023】
図3を用いて、以上の各部を備える医用レポート作成装置1が実行する処理の流れの一例を説明する。以下、各ステップについて説明する。
【0024】
(S301)
キー画像取得部22がキー画像を取得する。キー画像は三次元医用画像21から読影医やCADシステムによって抽出され、三次元医用画像21は記憶装置4から読み出されたり、医用画像撮影装置13や医用画像データベース14から送信されたりする。
【0025】
読影医が三次元医用画像21からキー画像を抽出する際には、例えば
図4に示すような画面が用いられても良い。
図4(a)の画面は画像表示部41とキー画像指定ボタン42、レポート作成ボタン43、補足画像パラメータ設定ボタン44を有する。画像表示部41には、三次元医用画像21の中の断層画像が読影用に順次表示される。操作者である読影医は、診断上の特徴を表す断層画像が画像表示部41に表示されると、キー画像指定ボタン42を押下してキー画像として指定する。操作者はさらにレポート作成ボタン43を押下して、読影医としての所見を入力する。なお、レポート作成ボタン43の押下に前後して、操作者が補足画像パラメータ設定ボタン44を押下すると、例えば
図4(b)に示すようなポップアップ画面が開き、補足画像の作成に用いられるパラメータが入力されても良い。
【0026】
図4(b)のポップアップ画面には画像間隔設定ボックス45と画像透過度設定ボックス46が含まれる。画像間隔設定ボックス45では、キー画像と平行画像との距離である画像間隔が設定される。画像透過度設定ボックス46では、平行画像を半透明表示する際に用いられる画像透過度が設定される。
【0027】
(S302)
平行画像取得部23がキー画像と平行な断層像である平行画像を三次元医用画像21から取得する。平行画像を取得する処理の流れの一例を
図5に示す。以下、
図5の各ステップについて、
図6を参照しながら説明する。
図6はキー画像と平行画像との投影について補足説明する図である。
【0028】
(S501)
平行画像取得部23がキー画像62と平行画像63との画像間隔Dを取得する。画像間隔Dには、
図4(b)のポップアップ画面で設定された値や、記憶装置4に予め保管された値が読み出されて使用される。またキー画像62に含まれる患部64の、キー画像62の法線方向における大きさhを画像間隔Dとしても良い。また、読影対象となる領域と、平行画像63の枚数とが操作者によって指定された場合には、キー画像62の法線方向における当該領域の大きさを、平行画像63の枚数から1を減じた値で除算することにより、画像間隔Dを算出しても良い。
【0029】
(S502)
平行画像取得部23が、S501で取得された画像間隔Dに基づいて平行画像63を取得する。
図6は、四枚の平行画像63が取得された例であり、キー画像62の上側に平行画像63-1と平行画像63-2、下側に平行画像63-3と平行画像63-4が配置される。
【0030】
(S503)
平行画像取得部23がキー画像62上の患部情報を取得する。取得される患部情報には、患部64の位置と大きさが含まれる。患部64の位置は、キー画像62上の座標として取得される。患部64の大きさは、キー画像62上の面積として取得されても良いし、キー画像62上の面積とともにキー画像62の法線方向における長さhを含む体積として取得されても良い。
【0031】
(S504)
平行画像取得部23がキー画像62に対する投影角度θを算出する。投影角度θは、キー画像62と平行画像63とを投影面65に投影して補足画像を作成するときに用いられる。補足画像では患部64に平行画像63が重ならないように投影されることが好ましいので、例えば(式1)によって投影角度θが算出される。
【0032】
θ=tan-1(D/FOV_y) … (式1)
ここでDは画像間隔、FOV_yはキー画像62や平行画像63のy方向の大きさである。
【0033】
図7を用いて投影角度θと補足画像との関係について説明する。
図7(a)はθ=0の場合であり、キー画像62や平行画像63を真横から見ており、両者が重なることはないものの、両者の間に空間が表示されるだけであり、補足画像には三次元医用画像21の画素情報が反映されない。
図7(b)は(式1)で算出される投影角度θの場合であり、キー画像62と平行画像63とは重ならず、また両者の間に隙間が生じることのない補足画像となる。なおFOV_xはキー画像62や平行画像63のx方向の大きさであり、x方向はy方向と直交する。
【0034】
図8を用いて方位角度γと補足画像との関係について説明する。なお方位角度γとは、キー画像62や平行画像63が並ぶ方向であるスライス方向を回転軸として、キー画像62等を回転させるときの回転角度である。方位角度γによりキー画像62等を回転させた場合、(式1)のFOV_yを(式2)によりFOV’に置き換えて(式1)に代入して得られる(式3)によって投影角度θを算出しても良い。
【0035】
FOV’=FOV_y/cosγ … (式2)
θ=tan
-1(D/FOV’) … (式3)
ここで、
図8(a)はγ=0の場合であり、
図7(b)と同じ補足画像が示される。
図8(b)はγ=γ’の場合であり、(式3)を用いて算出される投影角度θでの補足画像が示される。なお、γ’≠0である。
図8(b)では、キー画像62と平行画像63とは重ならず、また両者の間に隙間が生じることのない補足画像となる。
【0036】
(式1)や(式3)の投影角度θによる補足画像では、キー画像62と平行画像63とは重ならないので、キー画像62上の患部64に平行画像63が重ならないように投影される。なお、患部64を擬似三次元像で表示する場合は、患部64がキー画像62から突出するので、画像間隔とともに患部64の位置と大きさに基づいて投影角度θを算出するのが好ましい。
【0037】
図6を用いて、視点61から投影面65への投影線66について説明する。なお
図6では、全ての投影線66が投影面65と直交する平行投影について説明する。平行画像63-2の端部を通る投影線66-1はキー画像62と交差し、患部64とは交差しないので、補足画像では平行画像63-2がキー画像62に重なるものの、患部64とは重ならない。なお、患部64の先端を通る投影線66-2はキー画像62とは交差し、キー画像62の端部を通る投影線66-3は平行画像63-3と交差するので、患部64はキー画像62の一部を隠し、キー画像62は平行画像63-3と重なる。
【0038】
ところで、
図6の状態に対し、患部64のキー画像62上での位置が視点61から離れたり、患部64のキー画像62の法線方向の大きさhが大きくなったりすると、投影線66-1は患部64とは交差するので、平行画像63-2が患部64に重なるようになる。また投影角度θが大き過ぎる場合も平行画像63-2が患部64に重なる。従って、画像間隔とともに患部64の位置と大きさに基づいて、キー画像62に隣接する視点61側の平行画像63-2の端部を通過する投影線66-1が患部64と交差しないように投影角度θを算出することが好ましい。
図3の説明に戻る。
【0039】
(S303)
補足画像作成部24がキー画像62と平行画像63とを投影角度θで投影面65に投影し、補足画像を作成する。
図9に補足画像の一例を示す。
図9の補足画像は、補足画像領域VOI内のキー画像62と、キー画像62と平行な平行画像63-1~63-4とを所定の方位角度で回転させ、各断層画像が重ならず、かつ断層画像間に隙間が生じないように作成され、患部64を擬似三次元像で表示した例である。このような補足画像により、キー画像62中の患部64の三次元形状や補足画像領域VOI内の位置が把握しやすくなる。
【0040】
(S304)
医用レポート作成部25が医用レポートを作成する。作成される医用レポートには、S303で作成された補足画像とキー画像62とが添付されるとともに、読影医の所見が含まれる。
図10に医用レポートの一例を示す。
図10の医用レポートでは、キー画像と読影医の所見が中段に表示され、キー画像を補足する補足画像が下段に表示される。作成された医用レポートは記憶装置4に保管され、必要に応じてビューア端末15から読み出される。
【0041】
以上説明した処理の流れにより、添付されるキー画像62中の患部64の位置とともに、患部64の三次元形状が把握しやすい医用レポートが作成できる。なお、補足画像には、キー画像62とともに平行画像63が表示されるので、患部64の周囲の状況を三次元的に把握することも容易になる。
【0042】
なお、本実施例で作成される補足画像は、
図7乃至
図10に示されるようなキー画像62と平行画像63とが重ならない画像に限定されない。画像間隔が狭すぎる場合や平行画像の枚数が多すぎる場合、各断層画像が重ならないようにするためには投影角度θを小さくする必要がある。しかし投影角度θが小さすぎる補足画像では、キー画像62や平行画像63の画素情報が把握しづらくなる。そこで、各断層画像に重なりを持たせ、小さすぎる投影角度θとならないようにしても良い。
【0043】
図11に、キー画像62と平行画像63とが重なりを有する補足画像の例を示す。断層画像間に重なりを有する場合、重なりの下側になる断層画像の画素情報が把握しづらくなる。そこで
図11の補足画像では、重なりの上側になる断層画像を半透明表示とし、重なりの下側になる断層画像の画素情報を把握できるようにしている。半透明表示の際の画像透過度には、
図4(b)のポップアップ画面で設定された値や、記憶装置4に予め保管された値が読み出されて使用される。
【0044】
なお、全ての断層画像を半透明表示にすると、いずれの断層画像の画素情報であるのかが把握しづらい場合もあるので、
図11のように、キー画像62よりも上側にある平行画像63-1、63-2だけを半透明表示にしても良い。また患部64については、他の断層画像、特にキー画像62に隣接する視点61側の平行画像63-2と重ならないようにし、三次元的な形状や位置が把握しやすくすることが好ましい。
【実施例2】
【0045】
実施例1では、キー画像と平行画像との画像間隔に基づいて算出される投影角度により補足画像を作成することについて説明した。補足画像を作成する処理の流れは実施例1に限定されない。本実施例では、投影角度に基づいて算出される画像間隔により平行画像を取得してから補足画像を作成することについて説明する。なお、本実施例の全体構成と全体的な処理の流れは実施例1の
図1乃至3と同じであるので、説明を省略する。
【0046】
図12を用いて本実施例について説明する。なお
図12に示す処理の流れは、
図3のS302において実行される。
【0047】
(S1201)
平行画像取得部23が、キー画像62に対する投影角度θを取得する。投影角度θには、入力装置8を介して操作者が設定した値や、記憶装置4に予め保管された値が読み出されて使用される。またキー画像62に含まれる患部64の、キー画像62の法線方向における大きさhと、キー画像62上の患部64の位置とに基づいて、投影角度θが算出されても良い。
【0048】
(S1202)
平行画像取得部23がキー画像62上の患部情報を取得する。取得される患部情報には、患部64の位置と大きさが含まれる。患部64の位置は、キー画像62上の座標として取得される。患部64の大きさは、キー画像62上の面積として取得されても良いし、キー画像62上の面積とともにキー画像62の法線方向における長さhを含む体積として取得されても良い。
【0049】
(S1203)
平行画像取得部23が、投影角度θに基づいて画像間隔Dを算出する。補足画像ではキー画像62に平行画像63が重ならないように投影されることが好ましいので、例えば(式4)によって画像間隔Dが算出される。
【0050】
D=FOV・tanθ … (式4)
ここでFOVはキー画像62や平行画像63の大きさであり、FOV_xやFOV_yである。なお、方位角度γによってキー画像62等を回転させる場合は、FOVに(式2)のFOV’を用いても良い。
【0051】
(S1204)
平行画像取得部23が、S1203で算出された画像間隔Dに基づいて平行画像63を三次元医用画像21から取得する。本ステップで取得される平行画像63とキー画像62とは、S1201で取得される投影角度θで、S303において投影されて補足画像が作成される。
【0052】
以上説明した処理の流れにより、実施例1と同様に、添付されるキー画像62中の患部64の位置とともに、患部64の三次元形状が把握しやすい医用レポートが作成できる。なお、本実施例によれば、操作者が投影角度θを設定することも可能であるので、操作者が患部64を見せたい方向により補足画像を作成することができ、医用レポートを閲覧する臨床医等に読影医の所見を伝えやすくなる。
【0053】
以上、本発明の複数の実施例について説明した。本発明は上記実施例に限定されるものではなく、発明の要旨を逸脱しない範囲で構成要素を変形しても良い。また、上記実施例に開示されている複数の構成要素を適宜組み合わせても良い。さらに、上記実施例に示される全構成要素からいくつかの構成要素を削除しても良い。
【符号の説明】
【0054】
1:医用レポート作成装置、2:CPU、3:主メモリ、4:記憶装置、5:表示メモリ、6:表示装置、7:コントローラ、8:入力装置、10:ネットワークアダプタ、11:システムバス、12:ネットワーク、13:医用画像撮影装置、14:医用画像データベース、15:ビューア端末、21:三次元医用画像、22:キー画像取得部、23:平行画像取得部、24:補足画像作成部、25:医用レポート作成部、26:医用レポート、41:画像表示部、42:キー画像指定ボタン、43:レポート作成ボタン、44:補足画像パラメータ設定ボタン、45:画像間隔設定ボックス、46:画像透過度設定ボックス、61:視点、62:キー画像、63:平行画像、64:患部、65:投影面、66:投影線