特開 2024-38203 画像処理装置、画像表示システム、画像処理装置の作動方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024038203

(43)【公開日】2024-03-19

(54)【発明の名称】画像処理装置、画像表示システム、画像処理装置の作動方法及びプログラム

(51)【国際特許分類】

   A61B 6/03 20060101AFI20240312BHJP

   A61B 6/46 20240101ALI20240312BHJP

   A61B 5/055 20060101ALI20240312BHJP

【ＦＩ】

A61B6/03 560D

A61B6/46 536Z

A61B5/055 380

A61B6/03 560J

【審査請求】有

【請求項の数】16

【出願形態】ＯＬ

(21)【出願番号】P 2023222411

(22)【出願日】2023-12-28

(62)【分割の表示】P 2022505169の分割

【原出願日】2021-02-26

(31)【優先権主張番号】P 2020036936

(32)【優先日】2020-03-04

(33)【優先権主張国・地域又は機関】JP

(71)【出願人】

【識別番号】306037311

【氏名又は名称】富士フイルム株式会社

(74)【代理人】

【識別番号】100083116

【弁理士】

【氏名又は名称】松浦 憲三

(74)【代理人】

【識別番号】100140992

【弁理士】

【氏名又は名称】松浦 憲政

(74)【代理人】

【識別番号】100170069

【弁理士】

【氏名又は名称】大原 一樹

(74)【代理人】

【識別番号】100128635

【弁理士】

【氏名又は名称】松村 潔

(74)【代理人】

【識別番号】100153822

【弁理士】

【氏名又は名称】増田 重之

(72)【発明者】

【氏名】山田 健太

(57)【要約】

【課題】医用画像よりも低い次元数を有する任意の低次元画像を観察する画面において、関心領域が存在する低次元面画像の情報及び関心領域の情報を把握し得る、画像処理装置、画像表示システム、画像処理装置の作動方法及びプログラムを提供する。
【解決手段】二以上の低次元画像（１０２）を含む医用画像を取得し、医用画像から自動検出された関心領域（１０８）の情報を表す関心領域情報を低次元画像ごとに取得し、空間軸又は時間軸を表す軸情報（１０４）を生成し、関心領域の存在を示す存在情報及び関心領域の内容を示す内容情報を含む付加情報であり、軸情報に対応付けされる付加情報（１０６）を生成し、低次元画像、軸情報及び付加情報をディスプレイに表示させる。
【選択図】図１

【特許請求の範囲】

【請求項1】

一以上のプロセッサを備えた画像処理装置であって、
前記プロセッサは、
被検体を撮影して得られた医用画像であり、前記医用画像よりも低い次元数を有する二以上の低次元画像を含む医用画像を取得し、
前記医用画像から自動検出された関心領域の情報を表す関心領域情報を前記低次元画像ごとに取得し、
前記低次元画像における空間軸又は時間軸を表す軸情報を生成し、
前記関心領域の存在を示す存在情報及び前記関心領域の内容を示す内容情報を含む付加情報であり、前記軸情報に対応付けされる付加情報を生成し、
前記低次元画像、前記軸情報及び前記付加情報をディスプレイに表示させる表示画像信号を出力する画像処理装置。

【請求項2】

前記プロセッサは、
前記軸情報として、前記空間軸を表すスライダーバー又は前記時間軸を表すスライダーバーを生成する請求項１に記載の画像処理装置。

【請求項3】

前記プロセッサは、
前記関心領域が存在する前記医用画像の前記空間軸における位置又は前記関心領域が存在する前記医用画像の前記時間軸における位置を表す前記存在情報を生成する請求項１又は２に記載の画像処理装置。

【請求項4】

前記プロセッサは、
前記存在情報は記号が適用され、かつ、前記内容情報は前記記号の形態を用いて程度が表される前記付加情報を生成する請求項１から３のいずれか一項に記載の画像処理装置。

【請求項5】

前記プロセッサは、
前記記号の大きさ、数及び色の少なくともいずれかを用いて程度が表される前記内容情報を含む前記付加情報を生成する請求項４に記載の画像処理装置。

【請求項6】

前記プロセッサは、
複数の前記記号が一つの包括記号として表される前記存在情報を生成する請求項４又は５に記載の画像処理装置。

【請求項7】

前記プロセッサは、
前記包括記号が選択される操作がされた際に、前記包括記号に対応する前記複数の前記記号を拡大表示させる前記存在情報を生成する請求項６に記載の画像処理装置。

【請求項8】

前記プロセッサは、
前記関心領域として病変が検出された際の前記関心領域情報を取得した場合に、前記内容情報として、前記病変に対応する病気の重篤度、前記病変の診断の優先度及び前記自動検出の確信度の少なくともいずれかを含む前記付加情報を生成する請求項１から７のいずれか一項に記載の画像処理装置。

【請求項9】

一以上のプロセッサを備えた画像処理装置と、
前記画像処理装置から送信される表示画像信号を受信し、前記表示画像信号が表す画像を表示するディスプレイと、
を備えた画像表示システムであって、
前記プロセッサは、
被検体を撮影して得られた医用画像であり、前記医用画像よりも低い次元数を有する二以上の低次元画像を含む医用画像を取得し、
前記医用画像から自動検出された関心領域の情報を表す関心領域情報を前記低次元画像ごとに取得し、
前記低次元画像における空間軸又は時間軸を表す軸情報を生成し、
前記関心領域の存在を示す存在情報及び前記関心領域の内容を示す内容情報を含む付加情報であり、前記軸情報に対応付けされる付加情報を生成し、
前記低次元画像、前記軸情報及び前記付加情報をディスプレイに表示させる表示画像信号を出力する画像表示システム。

【請求項10】

コンピュータが適用される医用画像処理装置の作動方法であって、
前記医用画像処理装置が、
被検体を撮影して得られた医用画像であり、前記医用画像よりも低い次元数を有する二以上の低次元画像を含む医用画像を取得し、
前記医用画像から自動検出された関心領域の情報を表す関心領域情報を前記低次元画像ごとに取得し、
前記低次元画像における空間軸又は時間軸を表す軸情報を生成し、
前記関心領域の存在を示す存在情報及び前記関心領域の内容を示す内容情報を含む付加情報であり、前記軸情報に対応付けされる付加情報を生成し、
前記低次元画像、前記軸情報及び前記付加情報をディスプレイに表示させる表示画像信号を出力する画像処理装置の作動方法。

【請求項11】

コンピュータに、
被検体を撮影して得られた医用画像であり、前記医用画像よりも低い次元数を有する二以上の低次元画像を含む医用画像を取得する医用画像取得機能、
前記医用画像から自動検出された関心領域の情報を表す関心領域情報を前記低次元画像ごとに取得する関心領域情報取得機能、
前記低次元画像における空間軸又は時間軸を表す軸情報を生成する軸情報生成機能、
前記関心領域の存在を示す存在情報及び前記関心領域の内容を示す内容情報を含む付加情報であり、前記軸情報に対応付けされる付加情報を生成する付加情報生成機能、及び
前記低次元画像、前記軸情報及び前記付加情報をディスプレイに表示させる表示画像信号を出力する表示画像信号出力機能を実現させるプログラム。

【請求項12】

非一時的かつコンピュータ読取可能な記録媒体であって、請求項１１に記載のプログラムが記録された記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は画像処理装置、画像表示システム、画像処理装置の作動方法及びプログラムに関する。

【背景技術】

【0002】

近年の医用画像診断において、脳動脈瘤、肺結節及び乳ガン等の疾患を検出する画像診断支援機能が数多く検討されている。例えば、脳動脈瘤及び肺結節等は、ＣＴ（computed tomography）及びＭＲＩ（Magnetic Resonance Imaging）等において生成される三次元医用画像を用いて検出され得る。

【0003】

三次元医用画像を用いる医用画像診断では、確認する画像数が多くなり、読影等における作業負荷が増加する傾向にある。そこで、三次元医用画像を用いる医用画像診断では、画像診断支援機能に起因する読影等の作業負荷の軽減が期待される。なお、画像診断支援機能は、コンピュータ支援診断の英語表記Computer-Aided Diagnosisの省略語のＣＡＤを用いて表される場合がある。

【0004】

特許文献１は、複数のスライス画像から構成される医用画像から解剖学的位置を検出し、解剖学的位置に基づく読影ガイドを生成し、読影ガイドを表示させる医用画像表示装置が記載されている。

【0005】

同文献には、任意のスライス画像の横に全スライス枚数の対応するバーが表示され、バーの横に読影対象の領域を表すマークが表示され、更に、医用画像の現在位置を示すスライダーが表示される態様が図示される医用画像の表示態様が記載されている。

【0006】

特許文献２は、医用画像が表示される画面の一部に関心領域の診断情報を表示させる医用画像表示装置が記載されている。同文献には、重要度の順に並べられる診断情報が記載されている。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】特開２０１５－１７１４５６号公報

【特許文献2】国際公開第２０１２／０４９７４１号

【発明の概要】

【発明が解決しようとする課題】

【0008】

しかしながら、ＣＡＤを用いて検出される病変が、表示される画像のどの位置に存在するかを一目で視認することは難しい。更に、検出されたものが病変であるか否か、病変である場合にフォロー及び治療等をすべきか否かを全て確認する場合は、作業負荷が増加する可能性がある。

【0009】

特許文献１に記載の装置は、解剖学的位置に対応する局所構造を読影する際に、読影の順序及び表示されているスライス画像と読影対象の位置との相対位置関係の把握が可能であるが、医用画像の関心領域の位置及び関心領域の情報を把握することは困難である。

【0010】

特許文献２に記載の装置は、診断情報が優先度の順に並べ替えられており、三次元画像における各スライス画像の位置が入れ替えられてしまう。そうすると、三次元画像のどの位置のスライス画像に診断情報が対応するのかを、スライス画像の表示画面から把握することが困難となる。

【0011】

本発明はこのような事情に鑑みてなされたもので、医用画像よりも低い次元数を有する任意の低次元画像を観察する画面において、関心領域が存在する低次元面画像の情報及び関心領域の情報を把握し得る、画像処理装置、画像表示システム、画像処理装置の作動方法及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0012】

上記目的を達成するために、次の発明態様を提供する。

【0013】

本開示に係る画像処理装置は、一以上のプロセッサを備えた画像処理装置であって、プロセッサは、被検体を撮影して得られた医用画像であり、医用画像よりも低い次元数を有する二以上の低次元画像を含む医用画像を取得し、医用画像から自動検出された関心領域の情報を表す関心領域情報を低次元画像ごとに取得し、低次元画像における空間軸又は時間軸を表す軸情報を生成し、関心領域の存在を示す存在情報及び関心領域の内容を示す内容情報を含む付加情報であり、軸情報に対応付けされる付加情報を生成し、低次元画像、軸情報及び付加情報をディスプレイに表示させる表示画像信号を出力する画像処理装置である。

【0014】

本開示に係る画像処理装置によれば、複数の低次元画像を含む医用画像において、関心領域が含まれる低次元画像の位置を把握でき、かつ、低次元画像ごとの関心領域の内容を把握し得る。

【0015】

低次元画像の例として、三次元画像から生成される二次元画像が挙げられる。二次元画像の例として、二次元断面画像が挙げられる。低次元画像の他の例として、三次元画像が時間軸に沿って並ぶ四次元画像から生成される三次元画像が挙げられる。

【0016】

二以上の低次元画像を含む医用画像の取得には、二以上の二次元画像を含む三次元画像を取得し、取得した三次元画像から複数の二次元画像を生成する態様を含み得る。関心領域情報の取得は関心領域情報の生成の概念を含み得る。

【0017】

他の態様に係る画像処理装置において、プロセッサは、軸情報として、空間軸を表すスライダーバー又は時間軸を表すスライダーバーを生成する。

【0018】

かかる態様によれば、スライダーバーを用いて低次元画像の表示画面において、空間軸又は時間軸を表示し得る。

【0019】

他の態様に係る画像処理装置において、プロセッサは、関心領域が存在する医用画像の空間軸における位置又は関心領域が存在する時間軸における位置を表す存在情報を生成する。

【0020】

かかる態様によれば、空間軸又は時間軸に付与された存在情報から、関心領域が存在する低次元画像を把握し得る。

【0021】

他の態様に係る画像処理装置において、プロセッサは、存在情報は記号が適用され、かつ、内容情報は記号の形態を用いて程度が表される付加情報を生成する。

【0022】

かかる態様によれば、記号に基づき、関心領域が存在する低次元画像及び関心領域の程度を把握し得る。

【0023】

他の態様に係る画像処理装置において、プロセッサは、記号の大きさ、数及び色の少なくともいずれかを用いて程度が表される内容情報を含む付加情報を生成する。

【0024】

かかる態様によれば、記号の大きさ、数及び色の少なくともいずれかに基づき、関心領域の程度を把握し得る。

【0025】

他の態様に係る画像処理装置において、プロセッサは、複数の記号が一つの包括記号として表される存在情報を生成する。

【0026】

かかる態様によれば、複数の記号が重なり合う場合でも、複数の記号の存在を把握し得る。

【0027】

他の態様に係る画像処理装置において、プロセッサは、包括記号が選択される操作がされた際に、包括記号に対応する複数の記号を拡大表示させる存在情報を生成する。

【0028】

かかる態様によれば、包括記号を用いて表される複数の記号を個別に把握し得る。

【0029】

他の態様に係る画像処理装置において、プロセッサは、関心領域として病変が検出された際の関心領域情報を取得した場合に、内容情報として、病変に対応する病気の重篤度、病変の診断の優先度及び自動検出の確信度の少なくともいずれかを含む付加情報を生成する。

【0030】

かかる態様によれば、関心領域が病変の場合に、病変に対応する病気の重篤度、病変の診断の優先度及び自動検出の確信度の少なくともいずれかを把握し得る。

【0031】

本開示に係る画像表示システムは、一以上のプロセッサを備えた画像処理装置と、画像処理装置から送信される表示画像信号を受信し、表示画像信号が表す画像を表示するディスプレイと、を備えた画像表示システムであって、プロセッサは、被検体を撮影して得られた医用画像であり、医用画像よりも低い次元数を有する二以上の低次元画像を含む医用画像を取得し、医用画像から自動検出された関心領域の情報を表す関心領域情報を低次元画像ごとに取得し、低次元画像における空間軸又は時間軸を表す軸情報を生成し、関心領域の存在を示す存在情報及び関心領域の内容を示す内容情報を含む付加情報であり、軸情報に対応付けされる付加情報を生成し、低次元画像、軸情報及び付加情報をディスプレイに表示させる表示画像信号を出力する画像表示装置である。

【0032】

本開示に係る画像処理方法は、被検体を撮影して得られた医用画像であり、医用画像よりも低い次元数を有する二以上の低次元画像を含む医用画像を取得し、医用画像から自動検出された関心領域の情報を表す関心領域情報を低次元画像ごとに取得し、低次元画像における空間軸又は時間軸を表す軸情報を生成し、関心領域の存在を示す存在情報及び関心領域の内容を示す内容情報を含む付加情報であり、軸情報に対応付けされる付加情報を生成し、低次元画像、軸情報及び付加情報をディスプレイに表示させる表示画像信号を出力する画像処理方法である。

【0033】

本開示に係るプログラムは、コンピュータに、被検体を撮影して得られた医用画像であり、医用画像よりも低い次元数を有する二以上の低次元画像を含む医用画像を取得する医用画像取得機能、医用画像から自動検出された関心領域の情報を表す関心領域情報を低次元画像ごとに取得する関心領域情報取得機能、低次元画像における空間軸又は時間軸を表す軸情報を生成する軸情報生成機能、関心領域の存在を示す存在情報及び関心領域の内容を示す内容情報を含む付加情報であり、軸情報に対応付けされる付加情報を生成する付加情報生成機能、及び低次元画像、軸情報及び付加情報をディスプレイに表示させる表示画像信号を出力する表示画像信号出力機能を実現させるプログラムである。

【発明の効果】

【0034】

本発明によれば、複数の低次元画像を含む医用画像において、関心領域が含まれる低次元画像の位置を把握でき、かつ、低次元画像ごとの関心領域の内容を把握し得る。

【図面の簡単な説明】

【0035】

【図1】図１は医用画像表示画面の模式図である。

【図2】図２はスライダーバー及びアノテーションの拡大図である。

【図3】図３はアノテーションと断面位置との対応関係を示す説明図である。

【図4】図４は実施形態に係る医用画像表示システムの機能ブロック図である。

【図5】図５は実施形態に係る医用画像処理方法の手順を示すフローチャートである。

【図6】図６は第一課題の説明図である。

【図7】図７は第一変形例に係るアノテーションの模式図である。

【図8】図８は第一変形例に係るアノテーションの説明図である。

【図9】図９は第二課題の説明図である。

【図10】図１０は第二変形例に係るアノテーションの模式図である。

【図11】図１１は第二変形例に係るアノテーションの他の態様を示すアノテーションの模式図である。

【図12】図１２は第二変形例に係るアノテーションの更に他の態様を示すアノテーションの模式図である。

【図13】図１３は第三変形例に係るアノテーションの模式図である。

【図14】図１４は第四変形例に係るアノテーションの模式図である。

【図15】図１５は第五変形例に係るアノテーションの説明図である。

【発明を実施するための形態】

【0036】

以下、添付図面に従って本発明の好ましい実施の形態について詳説する。本明細書では、同一の構成要素には同一の参照符号を付して、重複する説明は適宜省略する。

【0037】

［医用画像表示システムの構成例］
〔医用画像表示画面の概要〕
図１は医用画像表示画面の模式図である。同図に示す医用画像表示画面１００は、肺のスライス画像１０２が表示される。医用画像表示画面１００は、スライス画像１０２に対応する二次元断面を三次元直交座標系におけるＸＹ平面とする場合のＺ方向を示すスライダーバー１０４が表示される。

【0038】

スライダーバー１０４は、全てのスライス画像１０２が含まれる範囲を示すバー及び医用画像表示画面１００に表示されるスライス画像１０２の全範囲における位置を示すスライダーが含まれる。なお、実施形態に記載のスライダーバー１０４は軸情報の一例である。

【0039】

また、医用画像表示画面１００は、アノテーション１０６が表示される。アノテーション１０６は、ＣＡＤを用いて自動検出された関心領域１０８が存在するスライス画像１０２の三次元画像における位置を表す。図１には二つの関心領域１０８を含むスライス画像１０２を図示する。

【0040】

アノテーション１０６は、複数の矢印記号１１０が含まれる。複数の矢印記号１１０のそれぞれの位置は、関心領域１０８が存在するスライス画像１０２のスライダーバー１０４における位置を表す。医師等のユーザが任意の複数の矢印記号１１０をクリックした際に、医用画像表示画面１００にはユーザがクリックした矢印記号１１０に対応するスライス画像１０２が表示される。

【0041】

図２はスライダーバー及びアノテーションの拡大図である。同図に示すアノテーション１０６は、図１に示す関心領域１０８のサイズに応じて矢印記号１１０のデザインが変更される。図２に示す例では、関心領域１０８のサイズが相対的に大きいほど、複数の矢印記号１１０の長さが相対的に長くされる。

【0042】

すなわち、アノテーション１０６を構成する矢印記号１１０は、関心領域１０８の程度に応じた形態を有する。関心領域１０８が病変の場合、関心領域１０８の程度として、病変に対応する病気の重篤度、診断の優先度及びＣＡＤの検出確信度等を適用し得る。

【0043】

例えば、病変に対応する病気の重篤度が相対的に高い場合に、複数の矢印記号１１０の長さを相対的に長くし得る。病変に対応する病気の重篤度が相対的に高い場合に、複数の矢印記号１１０の面積を相対的に大きくしてもよい。

【0044】

アノテーション１０６を構成する矢印記号１１０は、診断の優先度及びＣＡＤの検出確信度等に応じたサイズとし得る。なお、矢印記号１１０のサイズは、矢印記号１１０の長さ及び矢印記号１１０の面積の包括概念である。

【0045】

矢印記号１１０のデザイン変更は、色彩及びグラデーションを適用し得る。例えば、関心領域１０８のサイズが大、中及び小の三段階の場合、矢印記号１１０の色彩を赤、緑及び青としてもよい。複数の矢印記号１１０のデザイン変更は、ユーザが視覚的に区別し得るものであればよい。

【0046】

図３はアノテーションと断面位置との対応関係を示す説明図である。図３にはアキシャル像であるスライス画像１０２に対応するコロナル像１１２を示す。図３には、コロナル像１１２における矢印記号１１０Ａに対応する断面位置１１４を表す。すなわち、ユーザが図３の左図に示す矢印記号１１０Ａをクリックした際に、医用画像表示画面１００には、右図に示す断面位置１１４のスライス画像１０２が表示される。

【0047】

本実施形態には、医用画像として空間軸に沿う複数のスライス画像１０２から構成される三次元画像を例示したが、医用画像は時間軸に沿う複数のスライス画像１０２から構成される三次元画像であってもよい。

【0048】

また、医用画像は時間軸に沿う複数の三次元画像から構成される四次元画像であってもよい。なお、実施形態に示すスライス画像１０２は、医用画像よりも低い次元数を有する低次元画像の一例である。

【0049】

本実施形態には、ＸＹ平面のスライス画像におけるＺ方向に対応するスライダーバー１０４を例示したが、スライダーバーは空間軸の表示に限定されない。例えば、時間軸を表すスライダーバーを適用してもよい。

【0050】

本実施形態には、矢印記号１１０が適用されるアノテーション１０６を例示したが、アノテーション１０６はバルーン等の記号を用いてもよい。

【0051】

なお、実施形態に記載のアノテーション１０６は軸情報に対応付けされる付加情報の一例に相当する。矢印記号１１０は関心領域の存在を表す存在情報の一例である。実施形態に記載の矢印記号１１０の数は内容情報の一例である。

【0052】

〔医用画像表示システムの全体構成〕
図４は実施形態に係る医用画像表示システムの機能ブロック図である。医用画像表示システム１０は、医用画像処理装置１２、医用画像保管装置１８及び医用画像ビューア装置２０を備える。

【0053】

医用画像処理装置１２は、病院及び検査ラボ等において、ユーザが使用する端末装置である。医用画像処理装置１２はコンピュータを適用し得る。医用画像処理装置１２は、プロセッサ１４及びメモリ１６を備える。

【0054】

メモリ１６は、プロセッサ１４に実行させる命令を含むプログラムが記憶されるプログラムメモリが含まれる。メモリ１６は、各種のデータが記憶されるデータメモリを含み得る。

【0055】

医用画像処理装置１２は、プロセッサ１４がメモリ１６から読み出したプログラムを実行し、医用画像取得機能、自動検出機能、関心領域情報生成機能、アノテーション生成機能、表示画像生成機能及び表示画像信号送信機能を含む各種機能を実現する。

【0056】

画像という用語は、画像を表す画像信号及び画像データの意味として用いられることがある。また、生成という用語は作成及び生産等と読み替えが可能である。更に、表示画像信号送信機能は表示画像出力機能と読み替えてもよい。なお、実施形態に記載のプロセッサ１４は、一以上のプロセッサの一例である。

【0057】

医用画像保管装置１８は、ＤＩＣＯＭ規格で規定された付帯情報が付加された医用画像が保管される。医用画像は、被検体を撮影するＣＴ撮影装置２８及びＭＲＩ撮影装置３０等のモダリティを用いて取得されるローデータでもよいし、ローデータから生成されるボリュームデータでもよい。医用画像保管装置１８は、大容量ストレージ装置を適用し得る。なお、ＤＩＣＯＭは、Digital Imaging and Communication in Medicineの省略語である。

【0058】

医用画像ビューア装置２０は、ユーザが医用画像を観察する際に使用される。観察の際の医用画像は、図１に示すスライス画像１０２を適用し得る。医用画像ビューア装置２０は、ディスプレイ２２及び入力装置２４を備える。

【0059】

ディスプレイ２２は、医用画像処理装置１２から取得した表示画像信号が表す画像を表示する。ディスプレイ２２は、医用画像処理装置１２の指令に基づき、医用画像保管装置１８に保管される医用画像を表示し得る。

【0060】

入力装置２４は、ユーザの操作に応じた入力信号を医用画像処理装置１２へ送信する。入力装置２４は、キーボード、マウス及びジョイスティック等の操作部材を適用し得る。タッチパネル方式のディスプレイ２２を適用して、ディスプレイ２２と入力装置２４とを一体構成としてもよい。

【0061】

医用画像表示システム１０は、ネットワーク２６を経由して、ＣＴ撮影装置２８等のモダリティと通信可能に接続される。ネットワーク２６は、ＬＡＮ（Local Area Network）を適用し得る。ネットワーク２６は病院等における構内ＬＡＮを適用し得る。ネットワーク２６は、病院等の外部のネットワークが含まれていてもよい。

【0062】

モダリティは、ＰＥＴ装置、超音波診断装置及びＣＲ装置等を含み得る。なお、ＰＥＴはPositron Emission Tomographyの省略語である。ＣＲはComputed Radiographyの省略語である。

【0063】

〔医用画像処理方法の手順〕
図５は実施形態に係る医用画像処理方法の手順を示すフローチャートである。医用画像取得工程Ｓ１０ではプロセッサ１４は医用画像保管装置１８等から処理対象の医用画像を取得する。

【0064】

医用画像の取得は、プロセッサ１４において処理可能な形式のデータを取得してもよいし、任意の形式のデータを取得し、プロセッサ１４において処理可能な形式のデータへ変換する態様を適用してもよい。例えば、図１に示すスライス画像１０２を処理対象とする場合、プロセッサ１４はスライス画像１０２を取得してもよいし、三次元画像を取得し、三次元画像からスライス画像１０２を生成してもよい。医用画像取得工程Ｓ１０の後に自動検出工程Ｓ１２へ進む。

【0065】

自動検出工程Ｓ１２では、プロセッサ１４は取得したスライス画像１０２ごとに関心領域１０８の自動検出を実施する。関心領域１０８の自動検出は公知の手法を適用し得る。例えば、プロセッサ１４は画像中から規則性を持つ領域を抽出するセグメンテーションを適用して、スライス画像１０２ごとの関心領域１０８の自動検出を実施し得る。自動検出工程Ｓ１２の後に関心領域情報生成工程Ｓ１４へ進む。

【0066】

医用画像取得工程Ｓ１０において、関心領域１０８の自動検出が実施された医用画像を取得してもよい。かかる態様では、自動検出工程Ｓ１２に代わり、プロセッサ１４は関心領域１０８の自動検出として、取得した医用画像からスライス画像１０２ごとの関心領域１０８を読み出す処理を実施する。

【0067】

関心領域情報生成工程Ｓ１４では、プロセッサ１４はスライス画像１０２ごとの関心領域情報を生成する。関心領域情報は、関心領域１０８のサイズ、病変における病気の重篤度及び診断の優先度を適用し得る。なお、実施形態に記載のスライス画像１０２ごとの関心領域情報の生成は関心領域情報の低次元画像ごとの取得の一例である。

【0068】

関心領域１０８のサイズの例として、関心領域１０８の長径、面積及び関心領域１０８を囲むバウンディングボックスのサイズ等が挙げられる。関心領域１０８の長径は、関心領域１０８を楕円近似した場合の長軸の長さを適用し得る。関心領域１０８の長径は、関心領域１０８の重心を通る関心領域１０８の外形における任意の二点間の距離の最大値を適用し得る。

【0069】

病気の重篤度は、過去との比較における病変のサイズの変化及び過去との比較における病変の状態変化等から把握し得る。病変の重篤度を数値化した重篤度評価値に基づき、病気の重篤度を規定してもよい。

【0070】

診断の優先度は、過去比較中の病変であるか否かという観点から規定し得る。診断の優先度は、病変ごとに予め規定される優先度を適用してもよい。関心領域情報は、自動検出の確信度を適用してもよい。関心領域情報生成工程Ｓ１４の後にアノテーション生成工程Ｓ１６へ進む。

【0071】

アノテーション生成工程Ｓ１６では、プロセッサ１４はスライス画像１０２ごと、関心領域１０８ごとにアノテーションを生成する。プロセッサ１４は複数の観点についてアノテーションを生成してもよい。例えば、プロセッサ１４は、関心領域１０８のサイズを観点とするアノテーション及び病気の重篤度を観点とするアノテーションを生成し得る。プロセッサ１４は、複数の観点についての総合評価をあらわすアノテーションを生成してもよい。アノテーション生成工程Ｓ１６の後に表示画像生成工程Ｓ１８へ進む。

【0072】

表示画像生成工程Ｓ１８では、図１に示す医用画像表示画面１００に表示させる表示画像を生成する。図１に示す医用画像表示画面１００は、表示画像として、スライス画像１０２、スライダーバー１０４及びアノテーション１０６が含まれる。

【0073】

すなわち、プロセッサ１４は複数のスライス画像１０２におけるスライス厚及びスライス間隔等の情報に基づき、任意のスライス画像１０２に重畳表示させるスライダーバー１０４を生成する。また、プロセッサ１４はスライス画像１０２のそれぞれにおける関心領域情報に基づき、任意のスライス画像１０２に重畳表示させるアノテーション１０６を生成する。表示画像生成工程Ｓ１８の後に表示画像信号送信工程Ｓ２０へ進む。

【0074】

表示画像信号送信工程Ｓ２０では、プロセッサ１４は表示画像に対応する表示画像信号を医用画像ビューア装置２０へ送信する。表示画像信号送信工程Ｓ２０の後にプロセッサ１４は画像処理方法の手順を終了させる。

【0075】

医用画像ビューア装置２０は受信した表示画像信号に基づき、ディスプレイ２２を用いて表示画像を表示させる。医用画像ビューア装置２０は、入力装置２４を用いてユーザが入力したユーザの指令を表すユーザ指令信号を受信した場合に、ユーザ指令信号に応じてディスプレイ２２に表示させる表示画像を切り替える。例えば、図１に示す任意の矢印記号１１０がクリックされた場合、クリックされた矢印記号１１０に対応するスライス画像１０２を医用画像表示画面１００へ表示させる。

【0076】

［実施形態に係る画像処理装置、画像表示システム及び画像処理方法の作用効果］
実施形態に係る画像処理装置、画像表示システム及び画像処理方法は、以下の作用効果を得ることが可能である。

【0077】

〔１〕
医用画像表示画面１００は、三次元直交座標系におけるＸＹ平面のスライス画像１０２に対して、Ｚ軸方向に対応するスライダーバー１０４が重畳表示される。また、医用画像表示画面１００は、スライス画像１０２に対して、スライス画像１０２に含まれる関心領域１０８の程度に応じたアノテーション１０６が重畳表示される。これにより、ユーザは、観察対象の医用画像における関心領域の有無及び関心領域の程度を認識し得る。

【0078】

〔２〕
アノテーション１０６は、スライダーバー１０４において対応するスライス画像１０２の位置に表示される。これにより、二以上のスライス画像１０２を含む医用画像の観察において、ユーザは関心領域１０８を有するスライス画像１０２を認識し得る。

【0079】

〔３〕
アノテーション１０６は、関心領域１０８の内容を表す表示態様が適用される。これにより、ユーザはアノテーション１０６の表示態様に基づき、関心領域１０８の内容を把握し得る。

【0080】

〔４〕
アノテーション１０６の表示態様は、サイズ、色彩及びグラデーション等が適用される。これにより、ユーザはアノテーション１０６の表示態様に基づき、関心領域１０８の内容を把握し得る。

【0081】

［アノテーションの変形例］
次に、図２等に示すアノテーション１０６の変形例について説明する。

【0082】

〔アノテーションの第一課題〕
図６は第一課題の説明図である。検出される関心領域１０８が多数の場合及び前後のスライス画像１０２のそれぞれに関心領域１０８が存在する場合等は、複数の矢印記号１１０Ｂが密集して配置され得る。例えば、図６に示すアノテーション１０６は、四つの矢印記号１１０Ｂが重なり合って配置される。

【0083】

このようなアノテーション１０６の表示態様では、ユーザは密集する矢印記号１１０Ｂのそれぞれの把握が困難であり、矢印記号１１０Ｂをクリックする際の操作が困難であるという課題が存在する。第一変形例に係るアノテーションは、かかる課題を解決し、ユーザの利便性を確保し得る。

【0084】

〔第一変形例に係るアノテーション〕
図７は第一変形例に係るアノテーションの模式図である。同図に示すアノテーション２０６は、複数の矢印記号１１０Ｂが統合された統合型矢印記号２１０が含まれる。統合型矢印記号２１０は、矢印記号１１０の統合数を表す数値４が重畳表示される。また、統合型矢印記号２１０は、統合された矢印記号１１０の配置領域に対応するサイズを有する。

【0085】

図８は第一変形例に係るアノテーションの説明図である。図８は図７に示す統合型矢印記号２１０をユーザがクリックして選択した後のアノテーション２０６の表示態様を示す。図８に示すアノテーション２０６は、統合型矢印記号２１０に含まれる四つの矢印記号１１０Ｂが拡大表示される。

【0086】

図８に示す四つの矢印記号１１０Ｂの拡大表示は、四つの矢印記号１１０Ｂのそれぞれが非重畳配置される。これにより、ユーザは四つの矢印記号１１０Ｂを個別に把握することができ、四つの矢印記号１１０Ｂをクリックする際の操作が容易となる。なお、実施形態に示す統合型矢印記号２１０は包括記号の一例である。

【0087】

〔アノテーションの第二課題〕
図９は第二課題の説明図である。図２等に示すアノテーション１０６は、関心領域１０８のサイズに応じてサイズを可変させ得る。更に、アノテーション１０６は関心領域１０８のサイズを表し得る。例えば、図９に示すアノテーション２２６は、矢印記号１１０ごとに関心領域１０８のサイズ情報２３０が含まれる。

【0088】

しかし、図９に示すサイズ情報２３０は、文字情報を適用して関心領域１０８のサイズが直接的に表されており、関心領域１０８のサイズを一見して把握することができるが、医用画像表示画面１００が煩雑になる。また、サイズ情報２３０を小さく表示させた場合に、サイズ情報２３０の視認性が低下する。

【0089】

〔第二変形例に係るアノテーション〕
図１０は第二変形例に係るアノテーションの模式図である。同図に示すアノテーション２４６は、矢印記号１１０に対して関心領域１０８のサイズが間接的に表されるサイズ表示記号２５０が付加される。

【0090】

サイズ表示記号２５０は、一つ以上の四角形記号２５２が含まれる。図１０に示すサイズ表示記号２５０は一つの四角形記号２５２が５ミリメートルを表す。すなわち、サイズ表示記号２５０Ａは１５ミリメートル以上２０ミリメートル未満を表す。

【0091】

また、サイズ表示記号２５０Ｂは１０ミリメートル以上１５ミリメートル未満を表す。サイズ表示記号２５０Ｃは５ミリメートル以上１０ミリメートル未満を表す。サイズ表示記号２５０Ｄは２０ミリメートル以上２５ミリメートル未満を表す。なお、関心領域１０８のサイズが５ミリメートル未満の場合は、四角形記号２５２が非付与とされる。

【0092】

図１１は第二変形例に係るアノテーションの他の態様を示すアノテーションの模式図である。図１１に示すアノテーション２４６Ａは、図１０に示すアノテーション２４６と比較して、四角形記号２５２の間の間隔が広げられ、四角形記号２５２の間の間隔と四角形記号２５２の幅とが同一である。

【0093】

図１２は第二変形例に係るアノテーションの更に他の態様を示すアノテーションの模式図である。図１２に示すアノテーション２４６Ｂは、四角形記号２５２の幅が矢印記号１１０の幅と同一である。

【0094】

第二変形例に係るアノテーション２４６等によれば、矢印記号１１０に対して関心領域１０８のサイズを表すサイズ表示記号２５０が付加される。これにより、ユーザはサイズ表示記号２５０に基づき関心領域１０８のサイズを把握し得る。また、医用画像表示画面１００が整理され、サイズ表示記号２５０の視認性が向上し得る。

【0095】

〔アノテーション他のバリエーション〕
次に、アノテーション１０６の他のバリエーションを例示する。図１３は第三変形例に係るアノテーションの模式図である。同図に示すアノテーション３０６は、サイズ表示記号３２０を構成する単位記号３２２は、矢印記号３１０と同じ形態が適用される。

【0096】

図１４は第四変形例に係るアノテーションの模式図である。同図に示すアノテーション３３０は、矢印記号３３２の面積を用いて、関心領域１０８の程度を示す。例えば、矢印記号３３２Ａは５ミリメートル以上１０ミリメートル未満を表す。矢印記号３３２Ｂは１０ミリメートル以上１５ミリメートル未満を表す。矢印記号３３２Ｃは２０ミリメートル以上２５ミリメートル未満を表す。矢印記号３３２Ｄは１５ミリメートル以上２０ミリメートル未満を表す。

【0097】

図１５は第五変形例に係るアノテーションの説明図である。同図に示すアノテーション３５０は、矢印記号３６０に付加されるサイズ表示記号３６２を構成する単位記号３６４の長さが単位記号３６４の数に応じて変えられる。

【0098】

図１５に示す例では、単位記号３６４の数が増えると、付加される単位記号３６４の長さが相対的に長くなる。複数の単位記号３６４が付加される場合、矢印記号３６０の側から順に単位記号３６４の長さが相対的に短くなる。

【0099】

［各処理部及び制御部のハードウェア構成］
上記実施形態で説明した医用画像表示システム１０及び医用画像処理装置１２の処理を実行する処理部のハードウェア的な構造は、各種のプロセッサである。各種のプロセッサには、ＣＰＵ（Central Processing Unit）、ＰＬＤ（Programmable Logic Device）及びＡＳＩＣ（Application Specific Integrated Circuit）等が含まれる。

【0100】

ＣＰＵは、プログラムを実行して各種の処理部として機能する汎用的なプロセッサである。ＰＬＤは、製造後に回路構成を変更可能なプロセッサである。ＰＬＤの例として、ＦＰＧＡ（Field Programmable Gate Array）が挙げられる。ＡＳＩＣは、特定の処理を実行させるために専用に設計された回路構成を有する専用電気回路である。

【0101】

一つの処理部は、これら各種のプロセッサのうちの一つで構成されていてもよいし、同種又は異種の２つ以上のプロセッサで構成されてもよい。例えば、一つの処理部は、複数のＦＰＧＡ等を用いて構成されてもよい。一つの処理部は、一つ以上のＦＰＧＡ及び一つ以上のＣＰＵを組み合わせて構成されてもよい。

【0102】

また、一つのプロセッサを用いて複数の処理部を構成してもよい。一つのプロセッサを用いて複数の処理部を構成する例として、一つ以上のＣＰＵとソフトウェアとを組み合わせて一つのプロセッサを構成し、一つプロセッサが複数の処理部として機能する形態がある。かかる形態は、クライアント端末装置及びサーバ装置等のコンピュータに代表される。

【0103】

他の構成例として、複数の処理部を含むシステム全体の機能を一つのＩＣチップを用いて実現するプロセッサを使用する形態が挙げられる。かかる形態は、システムオンチップ（System On Chip）などに代表される。なお、ＩＣはIntegrated Circuitの省略語である。また、システムオンチップは、System On Chipの省略語を用いてＳｏＣと記載される場合がある。

【0104】

このように、各種の処理部は、ハードウェア的な構造として、上記した各種のプロセッサを一つ以上用いて構成される。更に、各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。

【0105】

［プログラムへの適用例］
本明細書に記載した医用画像表示システム１０及び医用画像処理装置１２の各種機能及び画像処理方法の各工程を、コンピュータに実現させるプログラムを構成し得る。例えば、図４に示す医用画像取得機能、自動検出機能、関心領域情報生成機能、アノテーション生成機能、表示画像生成機能及び表示画像信号送信機能に対応する処理をコンピュータに実現させるプログラムを構成し得る。

【0106】

表示画像生成機能は、図１等に示すスライダーバー１０４を生成するスライダーバー生成機能が含まれる。なお、実施形態に記載のスライダーバー生成機能は軸情報生成機能の一例である。実施形態に記載の関心領域情報生成機能は関心領域情報取得機能の一例である。実施形態に記載のアノテーション生成機能は付加情報生成機能の一例である。実施形態に記載の表示画像信号送信機能は表示画像信号出力機能の一例に相当する。

【0107】

以上説明した本発明の実施形態は、本発明の趣旨を逸脱しない範囲で、適宜構成要件を変更、追加、削除することが可能である。本発明は以上説明した実施形態に限定されるものではなく、本発明の技術的思想内で当該分野の通常の知識を有する者により、多くの変形が可能である。また、実施形態、変形例及び応用例は適宜組み合わせて実施してもよい。

【符号の説明】

【0108】

１０ 医用画像表示システム
１２ 医用画像処理装置
１４ プロセッサ
１６ メモリ
１８ 医用画像保管装置
２０ 医用画像ビューア装置
２２ ディスプレイ
２４ 入力装置
２６ ネットワーク
２８ ＣＴ撮影装置
３０ ＭＲＩ撮影装置
１００ 医用画像表示画面
１０２ スライス画像
１０４ スライダーバー
１０６ アノテーション
１０８ 関心領域
１１０ 矢印記号
１１０Ａ 矢印記号
１１０Ｂ 矢印記号
１１２ コロナル像
１１４ 断面位置
２０６ アノテーション
２１０ 統合型矢印記号
２２６ アノテーション
２３０ サイズ情報
２４６ アノテーション
２４６Ａ アノテーション
２４６Ｂ アノテーション
２５０ サイズ表示記号
２５０Ａ サイズ表示記号
２５０Ｂ サイズ表示記号
２５０Ｃ サイズ表示記号
２５０Ｄ サイズ表示記号
２５２ 四角形記号
３０６ アノテーション
３１０ 矢印記号
３２０ サイズ表示記号
３２２ 単位記号
３３０ アノテーション
３３２ 矢印記号
３３２Ａ 矢印記号
３３２Ｂ 矢印記号
３３２Ｃ 矢印記号
３３２Ｄ 矢印記号
３５０ アノテーション
３６０ 矢印記号
３６２ サイズ表示記号
３６４ 単位記号
Ｓ１０からＳ２０ 画像処理方法の各工程

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【手続補正書】

【提出日】2024-01-25

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

一以上のプロセッサを備えた画像処理装置であって、
前記プロセッサは、
関心領域が対応付けされた複数の二次元画像を含む医用画像を取得し、
前記二次元画像における空間軸又は時間軸を表す軸情報を生成し、
前記二次元画像、前記軸情報及び前記二次元画像ごとの前記関心領域のサイズを示す付加情報であり、前記軸情報に対応付けされる付加情報をディスプレイに表示させる表示画像信号を出力する、
画像処理装置。

【請求項2】

前記プロセッサは、
前記関心領域のサイズに応じて、前記付加情報を表す記号の大きさ、数及び色の少なくともいずれかを設定する、
請求項１に記載の画像処理装置。

【請求項3】

前記プロセッサは、
前記軸情報として、第１方向に延在する記号を生成し、
前記関心領域のサイズに応じて、前記付加情報を表す記号における前記第１方向と交差する第２方向の大きさを設定する、
請求項１又は２に記載の画像処理装置。

【請求項4】

前記プロセッサは、
前記軸情報として、第１方向に延在する記号を生成し、
前記関心領域のサイズに応じて、前記付加情報を表す記号の面積を設定する、
請求項１又は２に記載の画像処理装置。

【請求項5】

前記プロセッサは、
前記関心領域のサイズを表すサイズ表示記号が含まれる前記付加情報を生成し、
前記関心領域のサイズに応じて、前記サイズ表示記号を構成する単位記号の数を設定する、
請求項１から４のいずれか一項に記載の画像処理装置。

【請求項6】

前記プロセッサは、
同一の長さを有する複数の前記単位記号を生成する、
請求項５に記載の画像処理装置。

【請求項7】

前記プロセッサは、
前記単位記号の数に応じて、前記単位記号の長さを設定する、
請求項５に記載の画像処理装置。

【請求項8】

前記プロセッサは、
前記単位記号の数が増えると、前記単位記号の長さを相対的に短く設定する、
請求項５に記載の画像処理装置。

【請求項9】

前記プロセッサは、
前記軸情報として、第１方向に延在する記号を生成し、
複数の前記単位記号は、前記第１方向と交差する第２方向に沿って配置され、
前記軸情報から離れるに従い、前記単位記号の長さを相対的に短く設定する、
請求項６から８のいずれか一項に記載の画像処理装置。

【請求項10】

前記プロセッサは、
複数の前記付加情報が一つの包括記号として表された前記付加情報を生成し、
前記包括記号が選択された場合に、前記包括記号として表された前記複数の付加情報を表す記号を表示させる前記表示画像信号を出力させる、
請求項１に記載の画像処理装置。

【請求項11】

前記プロセッサは、
前記包括記号に対して前記付加情報の包括数を表す数値を重畳表示させる前記表示画像信号を出力させる、
請求項１０に記載の画像処理装置。

【請求項12】

前記プロセッサは、
前記包括記号が選択された場合に、前記包括記号として表された前記複数の付加情報を表す記号を拡大させて表示させる前記表示画像信号を出力させる、
請求項１０に記載の画像処理装置。

【請求項13】

前記プロセッサは、
前記関心領域として病変が検出された際の前記関心領域の情報を表す関心領域情報を取得した場合に、前記病変に対応する病気の重篤度、前記病変の診断の優先度及び前記関心領域の検出の確信度の少なくともいずれかを含む前記付加情報を生成する、
請求項１から１２のいずれか一項に記載の画像処理装置。

【請求項14】

一以上のプロセッサを備えた画像処理装置と、
前記画像処理装置から送信される表示画像信号を受信し、前記表示画像信号が表す画像を表示するディスプレイと、
を備えた画像表示システムであって、
前記プロセッサは、
関心領域が対応付けされた複数の二次元画像を含む医用画像を取得し、
前記二次元画像における空間軸又は時間軸を表す軸情報を生成し、
前記二次元画像、前記軸情報及び前記二次元画像ごとの前記関心領域のサイズを示す付加情報であり、前記軸情報に対応付けされる付加情報をディスプレイに表示させる表示画像信号を出力する画像表示システム。

【請求項15】

コンピュータが適用される医用画像処理装置の作動方法であって、
前記医用画像処理装置が、
関心領域が対応付けされた複数の二次元画像を含む医用画像を取得し、
前記二次元画像における空間軸又は時間軸を表す軸情報を生成し、
前記二次元画像、前記軸情報及び前記二次元画像ごとの前記関心領域のサイズを示す付加情報であり、前記軸情報に対応付けされる付加情報をディスプレイに表示させる表示画像信号を出力する画像処理装置の作動方法。

【請求項16】

コンピュータに、
関心領域が対応付けされた複数の二次元画像を含む医用画像を取得する医用画像取得機能、
前記二次元画像における空間軸又は時間軸を表す軸情報を生成する軸情報生成機能、及び
前記二次元画像、前記軸情報及び前記二次元画像ごとの前記関心領域のサイズを示す付加情報であり、前記軸情報に対応付けされる付加情報をディスプレイに表示させる表示画像信号を出力する表示画像信号出力機能を実現させるプログラム。