(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024111254
(43)【公開日】2024-08-16
(54)【発明の名称】表示制御装置、表示制御方法、及び表示制御プログラム
(51)【国際特許分類】
A61B 6/46 20240101AFI20240808BHJP
【FI】
A61B6/46 536Z
【審査請求】有
【請求項の数】15
【出願形態】OL
(21)【出願番号】P 2024100685
(22)【出願日】2024-06-21
(62)【分割の表示】P 2022505744の分割
【原出願日】2020-09-28
(31)【優先権主張番号】P 2020040359
(32)【優先日】2020-03-09
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】306037311
【氏名又は名称】富士フイルム株式会社
(74)【代理人】
【識別番号】110001519
【氏名又は名称】弁理士法人太陽国際特許事務所
(72)【発明者】
【氏名】石垣 純一
(72)【発明者】
【氏名】今道 栄一
(57)【要約】
【課題】指定オブジェクト上で指定された断層位置に対応する断層画像に対して、固有の付与情報が付与されているか否かをユーザが把握しやすい表示制御装置、表示制御方法、及び表示制御プログラムを得る。
【解決手段】表示制御装置は、複数の断層画像それぞれに対応する断層位置を指定するための指定オブジェクトと、指定されている断層位置に対応する断層画像と、を表示し、ユーザ付与情報及びコンピュータ付与情報を含む付与情報が付与されている断層画像については、付与情報を表すマークを、断層画像の断層位置に対応する指定オブジェクトの深さ方向の位置に表示し、同じ断層位置の断層画像にユーザ付与情報及びコンピュータ付与情報が付与されている場合、ユーザ付与情報を表すマークとコンピュータ付与情報を表すマークとを重ならない位置に表示する。
【選択図】
図6
【特許請求の範囲】
【請求項1】
少なくとも一つのプロセッサを備え、
前記プロセッサは、
被検体を撮影して得られた医用の複数の断層画像それぞれに対応する断層位置を指定するための指定オブジェクトと、指定されている断層位置に対応する断層画像と、を表示する制御を行い、
ユーザによって付与されたユーザ付与情報及びコンピュータによって付与されたコンピュータ付与情報の少なくとも一方を含む付与情報が付与されている断層画像については、前記付与情報を表すマークを、付与されている断層画像の断層位置に対応する指定オブジェクトの深さ方向の位置に表示する制御を行い、
同じ断層位置の断層画像に前記ユーザ付与情報及び前記コンピュータ付与情報が付与されている場合、前記ユーザ付与情報を表すマークと前記コンピュータ付与情報を表すマークとを重ならない位置に表示する制御を行う
表示制御装置。
【請求項2】
前記プロセッサは、指定されている断層位置に対応する断層画像に前記付与情報が付与されている場合、前記付与情報を表すマークを他のマークとは異なるように表示する制御を行う
請求項1に記載の表示制御装置。
【請求項3】
前記指定オブジェクトは、スライダバーを含む
請求項1又は請求項2に記載の表示制御装置。
【請求項4】
前記指定オブジェクトは、シェーマを含む
請求項1又は請求項2に記載の表示制御装置。
【請求項5】
前記プロセッサは、前記スライダバーの一端から指定されている断層位置までと、他端から前記指定されている断層位置までとの色を異ならせて前記スライダバーを表示する制御を行う
請求項3に記載の表示制御装置。
【請求項6】
前記付与情報は、前記コンピュータ付与情報を含み、
前記プロセッサは、未表示の断層画像に付与されたコンピュータ付与情報を表すマークと、表示済みの断層画像に付与されたコンピュータ付与情報を表すマークとを識別可能に表示する制御を行う
請求項1から請求項5の何れか1項に記載の表示制御装置。
【請求項7】
前記付与情報は、前記コンピュータ付与情報を含み、
前記プロセッサは、前記コンピュータ付与情報が正しいか否かを表す入力を受け付け、
前記コンピュータ付与情報が正しくないことを表す入力を受け付けた場合、前記コンピュータ付与情報を表すマークの色を、現在の表示色から背景色に近い色に変更する制御を行う
請求項1から請求項6の何れか1項に記載の表示制御装置。
【請求項8】
前記付与情報は、前記コンピュータ付与情報を含み、
前記プロセッサは、前記コンピュータ付与情報の表示及び非表示を切り替える入力を受け付け、
受け付けた入力に応じて、前記コンピュータ付与情報を表すマークの表示及び非表示を切り替える制御を行う
請求項1から請求項7の何れか1項に記載の表示制御装置。
【請求項9】
前記プロセッサは、前記コンピュータ付与情報が付与されている断層画像については、断層画像上に前記コンピュータ付与情報を表示する制御を行い、
受け付けた入力に応じて、前記コンピュータ付与情報を表すマークと前記断層画像上の前記コンピュータ付与情報との双方の表示及び非表示を切り替える制御を行う
請求項8に記載の表示制御装置。
【請求項10】
前記付与情報は、前記コンピュータ付与情報として前記断層画像における関心領域の輪郭を含み、
前記プロセッサは、指定されている断層位置に対応する断層画像に前記関心領域の輪郭が付与されている場合、前記断層画像上に前記関心領域の輪郭を表示する制御を行い、
更に、表示対象の前記関心領域と同じ関心領域が検出された他の断層画像の何れかに付与されている前記関心領域の輪郭を表示する制御を行う
請求項1から請求項9の何れか1項に記載の表示制御装置。
【請求項11】
前記プロセッサは、前記他の断層画像に付与されている前記関心領域の輪郭のうち、最大の輪郭を表示する制御を行う
請求項10に記載の表示制御装置。
【請求項12】
前記コンピュータ付与情報は、
前記コンピュータが、
前記複数の断層画像の中から、同じ対象が写っている断層画像群を抽出し、
抽出した断層画像群の中から代表となる断層画像を選択し、
選択した断層画像に対して付与する情報を含む
請求項1から請求項11の何れか1項に記載の表示制御装置。
【請求項13】
前記ユーザ付与情報は、前記複数の断層画像のうち、同じ対象が写っている断層画像群の代表となる断層画像に対してユーザによって付与された情報を含む
請求項1から請求項12の何れか1項に記載の表示制御装置。
【請求項14】
被検体を撮影して得られた医用の複数の断層画像それぞれに対応する断層位置を指定するための指定オブジェクトと、指定されている断層位置に対応する断層画像と、を表示する制御を行い、
ユーザによって付与されたユーザ付与情報及びコンピュータによって付与されたコンピュータ付与情報の少なくとも一方を含む付与情報が付与されている断層画像については、前記付与情報を表すマークを、付与されている断層画像の断層位置に対応する指定オブジェクトの深さ方向の位置に表示する制御を行い、
同じ断層位置の断層画像に前記ユーザ付与情報及び前記コンピュータ付与情報が付与されている場合、前記ユーザ付与情報を表すマークと前記コンピュータ付与情報を表すマークとを重ならない位置に表示する制御を行う
処理を表示制御装置が備えるプロセッサが実行する表示制御方法。
【請求項15】
被検体を撮影して得られた医用の複数の断層画像それぞれに対応する断層位置を指定するための指定オブジェクトと、指定されている断層位置に対応する断層画像と、を表示する制御を行い、
ユーザによって付与されたユーザ付与情報及びコンピュータによって付与されたコンピュータ付与情報の少なくとも一方を含む付与情報が付与されている断層画像については、前記付与情報を表すマークを、付与されている断層画像の断層位置に対応する指定オブジェクトの深さ方向の位置に表示する制御を行い、
同じ断層位置の断層画像に前記ユーザ付与情報及び前記コンピュータ付与情報が付与されている場合、前記ユーザ付与情報を表すマークと前記コンピュータ付与情報を表すマークとを重ならない位置に表示する制御を行う
処理を表示制御装置が備えるプロセッサに実行させるための表示制御プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、表示制御装置、表示制御方法、及び表示制御プログラムに関する。
【背景技術】
【0002】
近年、CT(Computed Tomography)装置及びMRI(Magnetic Resonance Imaging)装置等の撮影装置により撮影された医用の3次元画像を用いての画像診断が行われている。このような3次元画像には、異なる複数の断層位置での断層画像が含まれる。医師による3次元画像を用いた画像診断では、複数の断層画像を切り替えて表示することが行われる。
【0003】
複数の断層画像を切り替えて表示する技術として、複数の断層画像それぞれに対応する断層位置を指定するためのスライダバーを表示する技術が提案されている(特許文献1参照)。この技術では、スライダバー上にスライダを表示し、ユーザはスライダを動かすことによって断層位置を指定し、指定された断層位置に対応する断層画像が表示される。また、この技術では、例えば、異常陰影候補等のコンピュータによって実行された画像診断の結果(以下、「コンピュータ診断結果」という)が含まれる断層画像に対応する断層位置に、コンピュータ診断結果が含まれることを表すマークがスライダバーの横に表示される。
【0004】
また、スライダバーによって指定された断層位置に対応する断層画像に含まれる臓器の名称を示すラベルを表示する技術が提案されている(特許文献2参照)。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2004-173910号公報
【特許文献2】特許第6419441号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
特許文献1に記載の技術では、スライダバーの横に単にマークを表示するだけでは、指定されている断層位置の断層画像にコンピュータ診断結果等の付与情報が付与されているか否かをユーザが把握しにくい場合があった。特に断層数が多数の場合、ユーザがスライダによって指定した断層位置の断層画像に付与情報が付与されているか、又は隣接する断層画像に付与情報が付与されているかが把握しにくい。というのも、断層数が多く、かつ、近接した断層位置の複数の断層画像のそれぞれに付与情報が付与されている場合、スライダバーの横において、各付与情報に対応する複数のマーク同士が密集する結果、複数のマークが重なり合ってしまうためである。ここで、特許文献1に記載のコンピュータ診断結果等の付与情報は、各断層画像に付与された付与情報と付与情報に対応するマークとが1対1で結び付けられているという意味で、各断層画像に固有な付与情報である。このように、特許文献1に記載の技術では、スライダバー上で指定された断層位置に対応する断層画像に対して、固有の付与情報が付与されているか否かをユーザが把握しにくい場合があった。
【0007】
また、特許文献2に記載の技術は、指定された断層位置に対応する断層画像に含まれる臓器の名称のラベルを表示する技術にすぎない。そのため、特許文献2に記載の技術でも、特許文献1と同様に、スライダバー上で指定された断層位置に対応する断層画像に対して、固有の付与情報が付与されているか否かをユーザが把握しにくい場合があった。
【0008】
なお、特許文献2に記載の断層画像に付与される付与情報は、臓器に対応して付与される付与情報であり、各断層画像に付与された付与情報とラベルとが1対1で結び付けられている、各断層画像に固有な付与情報ではない。例えば、スライダバー上において断層位置の指定を変更しても、変更前と変更後の断層位置のそれぞれの断層画像において同じ臓器が写っている限り、各断層画像に付与される付与情報は同じであるため、同じ臓器名のラベルが表示されることになる。これは、1つのラベルが、同じ臓器を含んだ複数の断層画像に付与されている複数の付与情報と結び付けられていることを意味する。そのため、上述のとおり、特許文献2に記載の技術でも、特許文献1と同様に、スライダバー上で指定された断層位置に対応する断層画像に対して、固有の付与情報が付与されているか否かをユーザが把握しにくい場合があった。
【0009】
本開示は、以上の事情を鑑みてなされたものであり、指定オブジェクトで指定された断層位置に対応する断層画像に対して、固有の付与情報が付与されているか否かをユーザが把握しやすい表示制御装置、表示制御方法、及び表示制御プログラムを提供することを目的とする。
【課題を解決するための手段】
【0010】
本開示の表示制御装置は、少なくとも一つのプロセッサを備え、プロセッサは、被検体を撮影して得られた医用の複数の断層画像それぞれに対応する断層位置を指定するための指定オブジェクトと、指定されている断層位置に対応する断層画像と、を表示する制御を行い、ユーザによって付与されたユーザ付与情報及びコンピュータによって付与されたコンピュータ付与情報の少なくとも一方を含む付与情報が付与されている断層画像については、付与情報を表すマークを、付与されている断層画像の断層位置に対応する指定オブジェクトの深さ方向の位置に表示する制御を行い、同じ断層位置の断層画像にユーザ付与情報及びコンピュータ付与情報が付与されている場合、ユーザ付与情報を表すマークとコンピュータ付与情報を表すマークとを重ならない位置に表示する制御を行う。深さ方向とは、複数の断層画像の深さ方向を意味する。
【0011】
なお、本開示の表示制御装置は、プロセッサが、指定されている断層位置に対応する断層画像に付与情報が付与されている場合、付与情報を表すマークを他のマークとは異なるように表示する制御を行ってもよい。
【0012】
また、本開示の表示制御装置は、指定オブジェクトが、スライダバーを含んでいてもよい。
【0013】
また、本開示の表示制御装置は、指定オブジェクトが、シェーマを含んでいてもよい。
【0014】
また、本開示の表示制御装置は、プロセッサが、スライダバーの一端から指定されている断層位置までと、他端から指定されている断層位置までとの色を異ならせてスライダバーを表示する制御を行ってもよい。
【0015】
また、本開示の表示制御装置は、付与情報が、コンピュータ付与情報を含み、プロセッサが、未表示の断層画像に付与されたコンピュータ付与情報を表すマークと、表示済みの断層画像に付与されたコンピュータ付与情報を表すマークとを識別可能に表示する制御を行ってもよい。
【0016】
また、本開示の表示制御装置は、付与情報が、コンピュータ付与情報を含み、プロセッサが、コンピュータ付与情報が正しいか否かを表す入力を受け付け、コンピュータ付与情報が正しくないことを表す入力を受け付けた場合、コンピュータ付与情報を表すマークの色を、現在の表示色から背景色に近い色に変更する制御を行ってもよい。
【0017】
また、本開示の表示制御装置は、付与情報が、コンピュータ付与情報を含み、プロセッサが、コンピュータ付与情報の表示及び非表示を切り替える入力を受け付け、受け付けた入力に応じて、コンピュータ付与情報を表すマークの表示及び非表示を切り替える制御を行ってもよい。
【0018】
また、本開示の表示制御装置は、プロセッサが、コンピュータ付与情報が付与されている断層画像については、断層画像上にコンピュータ付与情報を表示する制御を行い、受け付けた入力に応じて、コンピュータ付与情報を表すマークと断層画像上のコンピュータ付与情報との双方の表示及び非表示を切り替える制御を行ってもよい。
【0019】
また、本開示の表示制御装置は、付与情報が、コンピュータ付与情報として断層画像における関心領域の輪郭を含み、プロセッサが、指定されている断層位置に対応する断層画像に関心領域の輪郭が付与されている場合、断層画像上に関心領域の輪郭を表示する制御を行い、更に、表示対象の関心領域と同じ関心領域が検出された他の断層画像の何れかに付与されている関心領域の輪郭を表示する制御を行ってもよい。
【0020】
また、本開示の表示制御装置は、プロセッサが、他の断層画像に付与されている関心領域の輪郭のうち、最大の輪郭を表示する制御を行ってもよい。
【0021】
また、本開示の表示制御装置は、コンピュータ付与情報は、コンピュータが、複数の断層画像の中から、同じ対象が写っている断層画像群を抽出し、抽出した断層画像群の中から代表となる断層画像を選択し、選択した断層画像に対して付与する情報を含んでいてもよい。
【0022】
また、本開示の表示制御装置は、ユーザ付与情報が、複数の断層画像のうち、同じ対象が写っている断層画像群の代表となる断層画像に対してユーザによって付与された情報を含んでいてもよい。
【0023】
また、本開示の表示制御方法は、被検体を撮影して得られた医用の複数の断層画像それぞれに対応する断層位置を指定するための指定オブジェクトと、指定されている断層位置に対応する断層画像と、を表示する制御を行い、ユーザによって付与されたユーザ付与情報及びコンピュータによって付与されたコンピュータ付与情報の少なくとも一方を含む付与情報が付与されている断層画像については、付与情報を表すマークを、付与されている断層画像の断層位置に対応する指定オブジェクトの深さ方向の位置に表示する制御を行い、同じ断層位置の断層画像にユーザ付与情報及びコンピュータ付与情報が付与されている場合、ユーザ付与情報を表すマークとコンピュータ付与情報を表すマークとを重ならない位置に表示する制御を行う処理を表示制御装置が備えるプロセッサが実行する。
【0024】
また、本開示の表示制御プログラムは、被検体を撮影して得られた医用の複数の断層画像それぞれに対応する断層位置を指定するための指定オブジェクトと、指定されている断層位置に対応する断層画像と、を表示する制御を行い、ユーザによって付与されたユーザ付与情報及びコンピュータによって付与されたコンピュータ付与情報の少なくとも一方を含む付与情報が付与されている断層画像については、付与情報を表すマークを、付与されている断層画像の断層位置に対応する指定オブジェクトの深さ方向の位置に表示する制御を行い、同じ断層位置の断層画像にユーザ付与情報及びコンピュータ付与情報が付与されている場合、ユーザ付与情報を表すマークとコンピュータ付与情報を表すマークとを重ならない位置に表示する制御を行う処理を表示制御装置が備えるプロセッサに実行させる。
【発明の効果】
【0025】
本開示によれば、指定オブジェクトで指定された断層位置に対応する断層画像に対して、固有の付与情報が付与されているか否かをユーザが把握しやすくすることができる。
【図面の簡単な説明】
【0026】
【
図1】診断支援システムの構成の一例を示すブロック図である。
【
図2】表示制御装置のハードウェア構成の一例を示すブロック図である。
【
図3】表示制御装置の機能的な構成の一例を示すブロック図である。
【
図4】スライダバー及び断層画像の表示画面の一例を示す図である。
【
図6】付与情報を表すマークが強調された状態の一例を示す図である。
【
図7】表示済み及び未表示それぞれのコンピュータ付与情報を表すマークの一例を示す図である。
【
図8】断層画像上に表示されたコンピュータ付与情報及びユーザ付与情報のひとつであるアノテーションの一例を示す図である。
【
図9】正しくないと判断されたコンピュータ付与情報を表すマークの一例を示す図である。
【
図10】コンピュータ付与情報を表すマークの表示及び非表示の切り替えを説明するための図である。
【
図11】断層画像上のコンピュータ付与情報の表示及び非表示の切り替えを説明するための図である。
【
図12】表示制御処理の一例を示すフローチャートである。
【
図13】断層位置が指定された場合の処理ルーチンの一例を示すフローチャートである。
【
図14】コンピュータ付与情報に対するユーザの判断が行われた場合の処理ルーチンの一例を示すフローチャートである。
【
図15】コンピュータ付与情報の表示及び非表示を切り替える処理ルーチンの一例を示すフローチャートである。
【
図16】変形例に係るスライダバーの一例を示す図である。
【
図17】変形例に係るコンピュータ付与情報の表示状態の一例を示す図である。
【
図18】変形例に係るコンピュータ付与情報の付与処理を説明するための図である。
【
図19】変形例に係るシェーマ及び断層画像の表示画面の一例を示す図である。
【発明を実施するための形態】
【0027】
以下、図面を参照して、本開示の技術を実施するための形態例を詳細に説明する。
【0028】
まず、
図1を参照して、本実施形態に係る診断支援システム10の構成を説明する。
図1に示すように、診断支援システム10は、表示制御装置12、撮影装置14、及び画像保管装置16を含む。表示制御装置12、撮影装置14、及び画像保管装置16は、それぞれネットワークNに接続され、ネットワークNを介して互いに通信が可能とされる。
【0029】
撮影装置14は、被検体の診断対象となる部位を撮影することにより、その部位を表す3次元の医用画像を生成する装置である。撮影装置14により撮影された3次元の医用画像は、複数の断層画像を含んで構成される。本実施形態では、撮影装置14として、CT装置を適用した例を説明するが、これに限定されない。例えば、撮影装置14として、MRI装置又はPET(Positron Emission Tomography)装置等のCT装置以外の3次元の医用画像を生成する装置を適用してもよい。また、本実施形態では、3次元の医用画像を構成する断層画像として、アキシャル断面の断層画像を適用した例を説明するが、これに限定されない。3次元の医用画像を構成する断層画像として、サジタル断面及びコロナル断面等のアキシャル断面以外の断面の断層画像を適用してもよい。
【0030】
画像保管装置16は、医用画像の保存及び管理をするコンピュータであり、医用画像が記憶される記憶装置等を備える。画像保管装置16は、ネットワークNを介して、表示制御装置12及び撮影装置14との間で、撮影装置14により生成された医用画像を送受信する。なお、医用画像の格納形式及びネットワークN経由での各装置間の通信は、DICOM(Digital Imaging and Communication in Medicine)等の予め定められたプロトコルに基づいている。
【0031】
次に、
図2を参照して、本実施形態に係る表示制御装置12のハードウェア構成を説明する。表示制御装置12の例としては、パーソナルコンピュータ又はサーバコンピュータ等が挙げられる。表示制御装置12は、クラウドサーバであってもよい。
【0032】
図2に示すように、表示制御装置12は、CPU(Central Processing Unit)20、一時記憶領域としてのメモリ21、及び不揮発性の記憶部22を含む。また、表示制御装置12は、液晶ディスプレイ等のディスプレイ23、キーボードとマウス等の入力部24、及びネットワークNに接続されるネットワークI/F(InterFace)25を含む。CPU20、メモリ21、記憶部22、ディスプレイ23、入力部24、及びネットワークI/F25は、バス26に接続される。
【0033】
記憶部22は、HDD(Hard Disk Drive)、SSD(Solid State Drive)、又はフラッシュメモリ等によって実現される。記憶媒体としての記憶部22には、表示制御プログラム30が記憶される。CPU20は、記憶部22から表示制御プログラム30を読み出してからメモリ21に展開し、展開した表示制御プログラム30を実行する。
【0034】
次に、
図3を参照して、本実施形態に係る表示制御装置12の機能的な構成について説明する。
図3に示すように、表示制御装置12は、受付部40及び表示制御部42を含む。CPU20が表示制御プログラム30を実行することで、受付部40及び表示制御部42として機能する。
【0035】
受付部40は、ユーザによって入力部24を介して入力された各種指示を受け付ける。このユーザによる各種指示の詳細は後述する。
【0036】
表示制御部42は、
図4に示すように、被検体を撮影して得られた医用の複数の断層画像それぞれに対応する断層位置を指定するためのスライダバーSBと、指定されている断層位置に対応する断層画像と、をディスプレイ23に表示する制御を行う。この被検体を撮影して得られた医用の複数の断層画像とは、画像保管装置16に保存されている3次元の医用画像のうち、表示対象として指定された3次元の医用画像を構成する断層画像群である。
図4に示すように、ディスプレイ23に表示される画面は、スライダバーSBを表示する表示領域A1、及び断層画像を表示する表示領域A2を含んで構成される。
【0037】
本実施形態では、断層画像毎に、ユーザによって付与されたユーザ付与情報及びコンピュータによって付与されたコンピュータ付与情報が付与されるべく設定されている。以下では、ユーザ付与情報及びコンピュータ付与情報を区別することなく総称する場合は「付与情報」という。また、本実施形態において付与情報とは、各断層画像に付与された付与情報と付与情報に対応する後述するマークとが1対1で結び付けられている、断層画像毎に固有な付与情報をいう。ユーザ付与情報の例としては、ユーザが後から見たい断層画像の目印として付与したブックマーク、及び断層画像に含まれる関心領域(ROI:Region of Interest)に関する情報等のアノテーションが挙げられる。また、コンピュータ付与情報の例としては、CAD(Computer-Aided Diagnosis)によって検出された関心領域に関する情報、又はAI(Artificial Intelligence)画像診断によって検出された関心領域に関する情報が挙げられる。ここでいう関心領域とは、腫瘤等の病変の領域等のユーザが注目する領域を意味する。また、関心領域に関する情報の例としては、関心領域の輪郭、位置、及び面積等が挙げられる。また、コンピュータ付与情報を付与するコンピュータは、1台でもよいし複数台でもよい。また、コンピュータ付与情報を付与するコンピュータは、表示制御装置12でもよいし、撮影装置14が備える制御装置でもよいし、画像保管装置16でもよい。また、診断支援システム10の外部の画像処理装置などのコンピュータでもよい。
【0038】
図5には、
図4に示した表示領域A1及び表示領域A2のうち、表示領域A1のみが示されている。表示制御部42は、指定されている断層位置に対応するスライダバーSBの長手方向に沿った位置に、スライダSDを表示する制御を行う。
図5における矩形に囲まれた「H」は被検体の頭側を表し、矩形に囲まれた「F」は足側を表す。すなわち、スライダバーSB上のスライダSDの位置は、3次元の医用画像を構成する断層画像それぞれの断層位置のうち、「H」に近づくほど頭側の断層位置を表し、「F」に近づくほど足側の断層位置を表している。
図5では、3次元の医用画像を構成する断層画像それぞれの断層位置のうち、最も頭側の断層位置が指定された例を示している。スライダバーSB及びスライダSDが複数の断層画像それぞれに対応する断層位置を指定するための指定オブジェクトの一例である。
【0039】
また、表示制御部42は、付与情報が付与されている断層画像については、付与情報を表すマークであって、1つのマークによって1枚の断層画像が特定可能なマークを、付与されている断層画像の断層位置に対応するスライダバーSBの位置に表示する制御を行う。
【0040】
具体的には、表示制御部42は、ブックマークが付与されている断層画像については、ブックマークを表すマークBMを、付与されている断層画像の断層位置に対応するスライダバーSBの位置に表示する制御を行う。また、表示制御部42は、アノテーションが付与されている断層画像については、アノテーションを表すマークANを、付与されている断層画像の断層位置に対応するスライダバーSBの位置に表示する制御を行う。また、表示制御部42は、コンピュータ付与情報が付与されている断層画像については、コンピュータ付与情報を表すマークCDを、付与されている断層画像の断層位置に対応するスライダバーSBの位置に表示する制御を行う。
【0041】
表示制御部42は、各マークを、断層位置に対応するスライダバーSBの位置に、スライダバーSBの長手方向に直交する方向(すなわち、スライダSDの長手方向)に沿ってずらして表示する制御を行う。これにより、同じ断層位置に複数のマークがあっても、各マークが重ならない。
【0042】
また、表示制御部42は、ユーザによるコンピュータ付与情報の表示及び非表示を切り替える入力を受け付けるためのボタンBTを表示する制御を行う。
【0043】
ユーザは、入力部24を介して表示したい断層画像の断層位置を指定する。例えば、ユーザは、スライダバーSB上の表示したい断層画像の断層位置にスライダSDをドラッグすることによって断層位置を指定する。また、例えば、ユーザは、マウスのホイールをスクロールすることによってスライダバーSB上の表示したい断層画像の断層位置を指定する。
【0044】
また、表示制御部42は、指定されている断層位置に対応する断層画像に付与情報が付与されている場合、付与情報を表すマークを強調表示する制御を行う。例えば、
図6に示すように、表示制御部42は、指定されている断層位置に対応するマークの輪郭を、指定されていない断層位置に対応するマークよりも太く表示することによって強調表示する制御を行う。
図6では、指定されている断層位置に対応する断層画像にブックマーク、アノテーション、及びコンピュータ付与情報が付与されている例を示している。
【0045】
なお、例えば、表示制御部42は、指定されている断層位置に対応するマークの輪郭の色を、指定されていない断層位置に対応するマークの輪郭の色と異ならせることによって強調表示する制御を行ってもよい。また、例えば、表示制御部42は、指定されている断層位置に対応するマークのみを点滅表示させることによって強調表示する制御を行ってもよい。こうした強調表示の形態は例示であって、これら以外の形態でもよい。
【0046】
また、
図7に示すように、表示制御部42は、未表示の断層画像に付与されたコンピュータ付与情報を表すマークCD(
図7の左側において「未表示」と示す)と、表示済みの断層画像に付与されたコンピュータ付与情報を表すマークCD(
図7の右側において「表示済」と示す)とを識別可能に表示する制御を行う。具体的には、例えば、背景色を黒色とした場合、表示制御部42は、未表示の断層画像に付与されたコンピュータ付与情報を表すマークCDを比較的明るい色(例えば、オレンジ色)で塗り潰して表示する。一方、その断層画像に対応する断層位置が指定され、断層画像が表示されて表示済みとなった場合、表示済みの断層画像に付与されたマークCDの色を、背景色に近い色(例えば、明るめの灰色)に変更して表示する。これにより、ユーザは、コンピュータ付与情報を確認したか否か、すなわち、コンピュータにより検出された関心領域を確認したか否かを一目で把握することができる。
【0047】
また、
図8に示すように、表示制御部42は、コンピュータ付与情報が付与されている断層画像については、断層画像上にコンピュータ付与情報を表示する制御を行う。具体的には、例えば、表示制御部42は、コンピュータ付与情報が表す関心領域を、他の領域とは異なる色(例えば、オレンジ色)で塗りつぶした状態で表示する制御を行う。また、コンピュータ付与情報は、初期状態においては輪郭線が無い状態で表示される。
【0048】
また、
図8に示すように、表示制御部42は、アノテーションが付与されている断層画像については、断層画像上にアノテーションを表示する制御を行う。具体的には、例えば、表示制御部42は、アノテーションが表す関心領域の輪郭を、コンピュータ付与情報が表す関心領域とは異なる色(例えば、白色)で表示する制御を行う。従って、ユーザは、断層画像に表示された関心領域が、ユーザ操作によって検出されたものであるか、又はコンピュータによって検出されたものであるかを把握することができる。なお、
図8では、分かり易くするために、アノテーションが表す関心領域の輪郭であって、白色の実線の輪郭を破線で表している。
【0049】
また、
図8に示すように、表示制御部42は、断層画像上にコンピュータ付与情報を表示する場合、コンピュータ付与情報が正しい場合にユーザが指定するボタン(
図8の例では「agree」ボタン)、及びコンピュータ付与情報が正しくない場合にユーザが指定するボタン(
図8の例では「disagree」ボタン)を表示する制御を行う。ここで、コンピュータ付与情報が正しい又は正しくない場合とは、より正確にはユーザが正しい又は正しくないと判断した場合を意味する。ユーザは、コンピュータ付与情報が表す関心領域の輪郭が正しい場合は、入力部24を介して「agree」ボタンを指定する。一方、ユーザは、コンピュータ付与情報が表す関心領域の輪郭が正しくない場合は、入力部24を介して「disagree」ボタンを指定する。
【0050】
受付部40が、コンピュータ付与情報が正しくないことを表す入力を受け付けた場合、すなわち、「disagree」ボタンが指定された場合、表示制御部42は以下の制御を行う。この場合、表示制御部42は、
図9に示すように、コンピュータ付与情報を表すマークCDの色を、現在の表示色から背景色に近い色に変更する制御を行う。具体的には、表示制御部42は、マークCDの色を、表示済みであることを表す灰色から、背景色である黒色に近い濃い灰色に変更する制御を行う。これにより、コンピュータが付与した情報ではあるが、ユーザにとって不要な情報を目立たなくすることができる。
【0051】
受付部40が、コンピュータ付与情報が正しいことを表す入力を受け付けた場合、すなわち、「agree」ボタンが指定された場合、表示制御部42は以下の制御を行う。この場合、表示制御部42は、正しいと指定されたコンピュータ付与情報が付与されている断層画像に対して、アノテーションを追加する制御を行う。従って、正しいと指定されたコンピュータ付与情報が表す関心領域の輪郭が、アノテーションとして、例えば、白色で表示される。この場合、コンピュータ付与情報は付与されたままなので、ユーザは、コンピュータが検出せず、自身で指定した関心領域であるか、又はコンピュータが検出し、自身が正しいと判断した関心領域であるかを把握することができる。
【0052】
コンピュータによる検出では、多数の関心領域を検出する場合もある。そこで、ユーザは、画像診断にあたり、コンピュータ付与情報を非表示としたい場合もある。ユーザは、コンピュータ付与情報の表示及び非表示を切り替えたい場合、ボタンBTを入力部24を介して指定する。
【0053】
受付部40が、コンピュータ付与情報の表示及び非表示を切り替える入力を受け付けた場合、表示制御部42は、
図10に示すように、受け付けた入力に応じて、コンピュータ付与情報を表すマークCDの表示及び非表示を切り替える制御を行う。更に、本実施形態では、表示制御部42は、
図11に示すように、マークCDに加えて、断層画像上のコンピュータ付与情報の表示及び非表示を切り替える制御も行う。
【0054】
次に、
図12を参照して、本実施形態に係る表示制御装置12の作用を説明する。CPU20が表示制御プログラム30を実行することによって、
図12に示す表示制御処理が実行される。表示制御処理は、例えば、ユーザによって入力部24を介して実行指示及び表示対象の3次元医用画像を構成する断層画像群を特定可能な識別情報が入力された場合に実行される。
【0055】
図12のステップS10で、表示制御部42は、入力された識別情報に従って特定される断層画像群を画像保管装置16から取得し、取得した断層画像群に基づいて初期画面をディスプレイ23に表示する制御を行う。具体的には、表示制御部42は、前述したように、取得した断層画像群それぞれに対応する断層位置を指定するためのスライダバーSBと、指定されている断層位置に対応する断層画像と、をディスプレイ23に表示する制御を行う。また、表示制御部42は、前述したように、指定されている断層位置に対応するスライダバーSBの長手方向に沿った位置に、スライダSDを表示する制御を行う。なお、初期画面では、指定されている断層位置として、最も頭側の断層位置を適用した例を説明するが、これに限定されない。初期画面では、指定されている断層位置として、最も足側の断層位置を適用してもよいし、中央の断層位置を適用してもよい。
【0056】
また、表示制御部42は、前述したように、断層画像群のそれぞれについて、付与情報が付与されている断層画像については、付与情報を表すマークを、付与されている断層画像の断層位置に対応するスライダバーSBの位置に表示する制御を行う。また、表示制御部42は、ユーザによるコンピュータ付与情報の表示及び非表示を切り替える入力を受け付けるためのボタンBTを表示する制御を行う。ステップS10の処理により、一例として
図4に示す画面がディスプレイ23に表示される。なお、表示制御部42は、2回目以降にステップS10が実行される場合は、直近の表示状態を引き継いだ状態とする。
【0057】
ステップS12で、受付部40は、ユーザによって入力部24を介して入力された指示を受け付けるまで待機する。ユーザによって入力部24を介して指示が入力されると、ステップS12の判定が肯定判定となり、処理はステップS14に移行する。ステップS14で、受付部40は、ステップS12で受け付けた指示が、表示終了の指示であるか否かを判定する。この判定が否定判定となった場合は、処理はステップS16に移行する。ステップS16で、表示制御部42は、ステップS12で受け付けられた指示に応じて表示を切り替える制御を行う。ステップS16の処理が終了すると、処理はステップS12に戻る。一方、ステップS14の判定が否定判定となった場合、表示制御処理が終了する。この表示制御処理が終了する時点での表示領域A1及び表示領域A2に表示されている各表示オブジェクトの表示状態は、例えば、断層画像群に対応付けられて画像保管装置16に保存され、2回目以降にステップS10が実行される場合に表示状態が引き継がれる。
【0058】
ステップS12で受け付けられた指示が、スライダSDのドラッグ操作又はマウスホイールのスクロール操作等による断層位置を指定する指示の場合、ステップS16において
図13に示す処理ルーチンが実行される。
【0059】
図13のステップS20で、表示制御部42は、ユーザ操作により指定された断層位置に対応するスライダバーSBの位置に、スライダSDを移動させる制御を行う。ステップS22で、表示制御部42は、表示領域A2の断層画像を、指定された断層位置の断層画像に切り替える制御を行う。
【0060】
ステップS24で、表示制御部42は、指定された断層位置の断層画像に付与情報が付与されているか否かを判定する。この判定が肯定判定となった場合は、処理はステップS26に移行する。ステップS26で、表示制御部42は、指定された断層位置の断層画像にブックマークが付与されているか否かを判定する。この判定が肯定判定となった場合、処理はステップS28に移行する。
【0061】
ステップS28で、表示制御部42は、指定された断層位置の断層画像に付与されているブックマークを表すマークBMを強調表示する制御を行う。ステップS26の判定が否定判定となった場合、ステップS28の処理は実行されずに処理はステップS30に移行する。
【0062】
ステップS30で、表示制御部42は、指定された断層位置の断層画像にアノテーションが付与されているか否かを判定する。この判定が肯定判定となった場合、処理はステップS32に移行する。ステップS32で、表示制御部42は、指定された断層位置の断層画像に付与されているアノテーションを表すマークANを強調表示する制御を行う。ステップS34で、表示制御部42は、前述したように、断層画像上にアノテーションを表示する制御を行う。ステップS30の判定が否定判定となった場合、ステップS32からステップS34までの処理は実行されずに処理はステップS36に移行する。
【0063】
ステップS36で、表示制御部42は、指定された断層位置の断層画像にコンピュータ付与情報が付与されているか否かを判定する。この判定が肯定判定となった場合、処理はステップS38に移行する。ステップS38で、表示制御部42は、指定された断層位置の断層画像に付与されているコンピュータ付与情報を表すマークCDを強調表示する制御を行う。ステップS40で、表示制御部42は、前述したように、指定された断層位置の断層画像に付与されているコンピュータ付与情報を表すマークCDの色を、表示済みであることを表す色に変更する。なお、このマークCDの色が、既に表示済みであることを表す色又はコンピュータ付与情報が正しくないことを表す色の場合、表示制御部42は、マークCDの色は変更しない。ステップS42で、表示制御部42は、前述したように、断層画像上にコンピュータ付与情報を表示する制御を行う。
【0064】
ステップS42の処理が終了すると、
図13に示す処理ルーチンが終了する。また、ステップS36の判定が否定判定となった場合、ステップS38からステップS42までの処理は実行されずに
図13に示す処理ルーチンが終了する。また、ステップS24の判定が否定判定となった場合、ステップS26からステップS42までの処理は実行されずに
図13に示す処理ルーチンが終了する。
【0065】
ステップS12で受け付けられた指示が、「agree」ボタン又は「disagree」ボタンの指定によるコンピュータ付与情報が正しいか又は正しくないかを表す指示の場合、ステップS16において
図14に示す処理ルーチンが実行される。
【0066】
図14のステップS50で、受付部40は、受け付けた指示が、コンピュータ付与情報が正しいことを表す入力であるか否か、すなわち、「agree」ボタンが指定されたか否かを判定する。この判定が肯定判定となった場合、処理はステップS52に移行する。受付部40が受け付けた指示が、コンピュータ付与情報が正しくないことを表す入力である場合、すなわち、「disagree」ボタンが指定された場合は、ステップS50の判定が否定判定となり、処理はステップS54に移行する。
【0067】
ステップS52で、表示制御部42は、前述したように、正しいと指定されたコンピュータ付与情報が付与されている断層画像に対して、アノテーションを追加する制御を行う。ステップS52の処理が終了すると、
図14に示す処理ルーチンが終了する。ステップS54で、表示制御部42は、前述したように、コンピュータ付与情報を表すマークCDの色を、現在の表示色から背景色に近い色に変更する制御を行う。ステップS54の処理が終了すると、
図14に示す処理ルーチンが終了する。
【0068】
ステップS12で受け付けられた指示が、ボタンBTの指定によるコンピュータ付与情報の表示及び非表示を切り替える指示の場合、ステップS16において
図15に示す処理ルーチンが実行される。
【0069】
図15のステップS60で、受付部40は、受け付けた指示が、コンピュータ付与情報を表示する指示であるか否かを判定する。この判定が肯定判定となった場合、処理はステップS62に移行する。受付部40が受け付けた指示が、コンピュータ付与情報を非表示とする指示である場合は、ステップS60の判定が否定判定となり、処理はステップS64に移行する。
【0070】
ステップS62で、表示制御部42は、前述したように、コンピュータ付与情報を表すマークCDを非表示とし、かつ断層画像上のコンピュータ付与情報を非表示とする制御を行う。ステップS62の処理が終了すると、
図15に示す処理ルーチンが終了する。ステップS64で、表示制御部42は、前述したように、コンピュータ付与情報を表すマークCDを表示し、かつ断層画像上のコンピュータ付与情報を表示する制御を行う。ステップS64の処理が終了すると、
図15に示す処理ルーチンが終了する。
【0071】
以上説明したように、本実施形態によれば、断層画像毎に固有の付与情報が付与可能とされ、1つのマークによって1枚の断層画像が特定可能であり、指定されている断層位置に対応する断層画像に付与情報が付与されている場合、付与情報を表すマークを強調表示している。従って、スライダバーSB上で指定された断層位置に対応する断層画像に対して、固有の付与情報が付与されているか否かをユーザが把握しやすい。
【0072】
なお、上記実施形態において、
図16に示すように、表示制御部42は、スライダSDを表示せずに、スライダバーSBの一端から指定されている断層位置までと、他端から指定されている断層位置までとの色を異ならせてスライダバーSBを表示する制御を行ってもよい。この場合、断層位置を指定するための専用のオブジェクトであるスライダSDを表示しなくてもよくなる。但し、この場合に、上記実施形態と同様にスライダSDも表示してもよい。
【0073】
また、上記実施形態において、
図17に示すように、表示制御部42は、コンピュータ付与情報が付与されている断層画像については、その断層画像に付与されているコンピュータ付与情報が表す関心領域の輪郭O1に加え、関心領域の輪郭O2を更に表示する制御を行ってもよい。この場合、例えば、表示制御部42は、輪郭O2として、同じ関心領域が検出された他の断層画像の何れかに付与されているコンピュータ付与情報が表す関心領域の輪郭を表示する制御を行う。具体的には、表示制御部42は、輪郭O2として、同じ関心領域が検出された他の断層画像の何れかに付与されているコンピュータ付与情報が表す関心領域の輪郭のうち、最大の輪郭を表示する制御を行う。ここでいう最大の輪郭の例としては、面積が最大の輪郭又は輪郭の長さが最長の輪郭等が挙げられる。
【0074】
また、上記実施形態では、コンピュータが関心領域を検出した全ての断層画像に、コンピュータ付与情報を付与する場合について説明したが、これに限定されない。
図18に示すように、コンピュータが、3次元医用画像を構成する複数の断層画像の中から、同じ対象(例えば、関心領域)が写っている断層画像群を抽出し、抽出した断層画像群の中から代表となる断層画像を選択し、選択した断層画像に対してのみ、コンピュータ付与情報を付与してもよい。この場合、例えば、コンピュータは、連続する断層画像において、検出した関心領域の重心位置の差の絶対値が予め定められた第1閾値以下で、かつ面積の差の絶対値が予め定められた第2閾値以下の関心領域を、同じ関心領域と特定する。この場合の第1閾値及び第2閾値としては、連続する断層画像において同じ関心領域のそれぞれの差の上限値として予め設定された値を適用することができる。また、この場合、例えば、コンピュータは、抽出した断層画像群の中から、面積が最大であるか、又は輪郭の長さが最長の関心領域が検出された断層画像を、代表となる断層画像として抽出する。この場合におけるコンピュータは、表示制御装置12でもよいし、撮影装置14が備える制御装置でもよいし、画像保管装置16でもよいし、診断支援システム10の外部のコンピュータでもよい。
【0075】
また、この場合におけるコンピュータが付与情報を付与する断層画像として選択した処理を、同じようにユーザが入力部24を介して行ってもよい。この場合におけるユーザ付与情報は、複数の断層画像のうち、同じ対象が写っている断層画像群の代表となる断層画像に対してユーザによって付与された情報となる。
【0076】
また、上記実施形態では、複数の断層画像それぞれに対応する断層位置を指定するための指定オブジェクトとして、スライダバーSB及びスライダSDを適用した場合について説明したが、これに限定されない。例えば、
図19に示すように、複数の断層画像それぞれに対応する断層位置を指定するための指定オブジェクトとして、シェーマSM及びスライダSDを適用する形態としてもよい。ここでいうシェーマSMとは、人体の一部を模式的に示した模式図を意味する。
図19では、複数の断層画像として、マンモグラフィ装置を用いたトモシンセシス撮影によって得られた医用の複数の断層画像を適用した例を示している。
図19の上段は、右側の乳房に対してMLO(Medio-Lateral Oblique)撮影を行うことによって得られた断層画像を示し、下段は右側の乳房に対してCC(Cranio-Caudal)撮影を行うことによって得られた断層画像を示している。また、
図19では、断層画像の深さ方向、すなわち、スライダSDの移動方向を破線の両矢印で示している。この形態例でも、例えば、ユーザは、シェーマSM上の表示したい断層画像の断層位置にスライダSDをドラッグすることによって断層位置を指定する。また、この場合、指定されている断層位置に対応する断層画像に付与情報が付与されている場合、付与情報を表すマークが強調表示される。また、この形態例において、マークAN及びマークCDを、乳房を正面視したときの2次元的な配置が分かるように、シェーマSM内に表示してもよい。
【0077】
また、
図4及び
図5に示したスライダSD及びスライダバーSBと、
図19に示したシェーマSM及びスライダSDの双方を表示領域A1に表示する形態としてもよい。また、この形態例において、これらの何れか一方に対して行った操作を他方に連動して反映させてもよい。
【0078】
また、上記実施形態において、例えば、受付部40及び表示制御部42といった各種の処理を実行する処理部(processing unit)のハードウェア的な構造としては、次に示す各種のプロセッサ(processor)を用いることができる。上記各種のプロセッサには、前述したように、ソフトウェア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPUに加えて、FPGA(Field Programmable Gate Array)等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、ASIC(Application Specific Integrated Circuit)等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
【0079】
1つの処理部は、これらの各種のプロセッサのうちの1つで構成されてもよいし、同種又は異種の2つ以上のプロセッサの組み合わせ(例えば、複数のFPGAの組み合わせや、CPUとFPGAとの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。
【0080】
複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアント及びサーバ等のコンピュータに代表されるように、1つ以上のCPUとソフトウェアの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)等に代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの1つ以上を用いて構成される。
【0081】
更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路(circuitry)を用いることができる。
【0082】
また、上記実施形態では、表示制御プログラム30が記憶部22に予め記憶(インストール)されている態様を説明したが、これに限定されない。表示制御プログラム30は、CD-ROM(Compact Disc Read Only Memory)、DVD-ROM(Digital Versatile Disc Read Only Memory)、及びUSB(Universal Serial Bus)メモリ等の記録媒体に記録された形態で提供されてもよい。また、表示制御プログラム30は、ネットワークを介して外部装置からダウンロードされる形態としてもよい。
【0083】
2020年3月9日に出願された日本国特許出願2020-040359号の開示は、その全体が参照により本明細書に取り込まれる。また、本明細書に記載された全ての文献、特許出願、及び技術規格は、個々の文献、特許出願、及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。