特許 6274479 画像処理装置、医用画像診断装置及び画像処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6274479

(24)【登録日】2018年1月19日

(45)【発行日】2018年2月7日

(54)【発明の名称】画像処理装置、医用画像診断装置及び画像処理プログラム

(51)【国際特許分類】

   A61B 6/03 20060101AFI20180129BHJP

   A61B 6/00 20060101ALI20180129BHJP

【ＦＩ】

   A61B6/03 360G

   A61B6/00 360Z

【請求項の数】10

【全頁数】21

(21)【出願番号】特願2012-282872(P2012-282872)

(22)【出願日】2012年12月26日

(65)【公開番号】特開2014-124315(P2014-124315A)

(43)【公開日】2014年7月7日

【審査請求日】2015年10月29日

(73)【特許権者】

【識別番号】594164542

【氏名又は名称】キヤノンメディカルシステムズ株式会社

(74)【代理人】

【識別番号】110001771

【氏名又は名称】特許業務法人虎ノ門知的財産事務所

(72)【発明者】

【氏名】落合 理絵

(72)【発明者】

【氏名】岩井 春樹

(72)【発明者】

【氏名】阿部 真吾

【審査官】 湯本 照基

(56)【参考文献】

【文献】 特開２００７−３１９３２７（ＪＰ，Ａ）

【文献】 特開２００４−２６１３００（ＪＰ，Ａ）

【文献】 特開２００６−２７１５２８（ＪＰ，Ａ）

【文献】 特開２０１０−２８４４０５（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ａ６１Ｂ ６／０３

Ａ６１Ｂ ６／００

(57)【特許請求の範囲】

【請求項1】

表示部の表示面における観察者の視点位置に対応する画素の情報を取得する取得手段と、
前記表示面にて表示された医用画像において前記取得手段によって取得された画素に表示された領域を前記観察者によって観察された領域として示す観察履歴情報を生成する生成手段と、
前記医用画像を表示する際に、前記取得手段によって取得された画素に前記生成手段によって生成された観察履歴情報を反映させた情報を前記表示部に表示するように制御する表示制御手段と、
前記表示面にて表示された医用画像に対する前記観察者からの所定の操作を受付ける受付け手段と、
を備え、
前記生成手段は、前記医用画像において前記画素に表示された領域ごとに、前記観察者による観察の程度を示す重み付けを付与した観察履歴情報を生成し、前記受付け手段によって受付けられる前記医用画像に対する前記所定の操作に応じて前記重み付けを変化させることを特徴とする画像処理装置。

【請求項2】

表示部の表示面における観察者の視点位置に対応する画素の情報を取得する取得手段と、
前記表示面にて表示された医用画像において前記取得手段によって取得された画素に表示された領域を前記観察者によって観察された領域として示す観察履歴情報を生成する生成手段と、
前記医用画像を表示する際に、前記取得手段によって取得された画素に前記生成手段によって生成された観察履歴情報を反映させた情報を前記表示部に表示するように制御する表示制御手段と、
を備え、
前記生成手段は、前記医用画像において前記画素に表示された領域ごとに、前記観察者による観察の程度を示す重み付けを付与した観察履歴情報を生成し、前記医用画像の種類に応じて、当該医用画像における領域に応じて前記重み付けを変化させることを特徴とする画像処理装置。

【請求項3】

前記生成手段は、前記表示面にて表示された医用画像が３次元画像である場合には、前記医用画像において前記画素に表示された領域に対応するボクセルごとに、前記観察履歴情報を生成することを特徴とする請求項１又は２に記載の画像処理装置。

【請求項4】

表示部の表示面における観察者の視点位置に対応する画素の情報を取得する取得手段と、
前記表示面にて表示された仮想内視鏡画像において前記取得手段によって取得された画素に表示された領域に対応するボクセルごとに、当該領域を前記観察者によって観察された領域として示す観察履歴情報を生成する生成手段と、
前記仮想内視鏡画像を表示する際に、前記取得手段によって取得された画素に前記生成手段によってボクセルごとに生成された観察履歴情報を反映させた情報を前記表示部に表示するように制御する表示制御手段と、
を備え、
前記生成手段は、前記仮想内視鏡画像において前記画素に表示された領域に対応するボクセルごとに、前記観察者による観察の程度を示す重み付けを付与した観察履歴情報を生成し、前記仮想内視鏡画像によって描出された領域が凹凸領域であるか否かに応じて前記重み付けを変化させることを特徴とする画像処理装置。

【請求項5】

表示部の表示面における観察者の視点位置に対応する画素の情報を取得する取得手段と、
前記表示面にて表示された仮想内視鏡画像において前記取得手段によって取得された画素に表示された領域に対応するボクセルごとに、当該領域を前記観察者によって観察された領域として示す観察履歴情報を生成する生成手段と、
前記仮想内視鏡画像を表示する際に、前記取得手段によって取得された画素に前記生成手段によってボクセルごとに生成された観察履歴情報を反映させた情報を前記表示部に表示するように制御する表示制御手段と、
を備え、
前記生成手段は、前記仮想内視鏡画像において前記画素に表示された領域に対応するボクセルごとに、前記観察者による観察の程度を示す重み付けを付与した観察履歴情報を生成し、前記仮想内視鏡画像における視点からの距離に応じて前記重み付けを変化させることを特徴とする画像処理装置。

【請求項6】

表示部の表示面における観察者の視点位置に対応する画素の情報を取得する取得手段と、
前記表示面にて表示された展開画像において前記取得手段によって取得された画素に表示された領域に対応するボクセルごとに、当該領域を前記観察者によって観察された領域として示す観察履歴情報を生成する生成手段と、
前記展開画像を表示する際に、前記取得手段によって取得された画素に前記生成手段によってボクセルごとに生成された観察履歴情報を反映させた情報を前記表示部に表示するように制御する表示制御手段と、
を備え、
前記生成手段は、前記展開画像において前記画素に表示された領域に対応するボクセルごとに、前記観察者による観察の程度を示す重み付けを付与した観察履歴情報を生成し、前記展開画像における展開軸からの距離に応じて前記重み付けを変化させることを特徴とする画像処理装置。

【請求項7】

表示部の表示面における観察者の視点位置に対応する画素の情報を取得する取得手段と、
前記表示面にて表示された医用画像において前記取得手段によって取得された画素に表示された領域を前記観察者によって観察された領域として示す観察履歴情報を生成する生成手段と、
前記医用画像を表示する際に、前記取得手段によって取得された画素に前記生成手段によって生成された観察履歴情報を反映させた情報を前記表示部に表示するように制御する表示制御手段と、
前記表示面にて表示された医用画像に対する前記観察者からの所定の操作を受付ける受付け手段と、
を備え、
前記生成手段は、前記医用画像において前記画素に表示された領域ごとに、前記観察者による観察の程度を示す重み付けを付与した観察履歴情報を生成し、前記受付け手段によって受付けられる前記医用画像に対する前記所定の操作に応じて前記重み付けを変化させることを特徴とする医用画像診断装置。

【請求項8】

表示部の表示面における観察者の視点位置に対応する画素の情報を取得する取得手段と、
前記表示面にて表示された医用画像において前記取得手段によって取得された画素に表示された領域を前記観察者によって観察された領域として示す観察履歴情報を生成する生成手段と、
前記医用画像を表示する際に、前記取得手段によって取得された画素に前記生成手段によって生成された観察履歴情報を反映させた情報を前記表示部に表示するように制御する表示制御手段と、
を備え、
前記生成手段は、前記医用画像において前記画素に表示された領域ごとに、前記観察者による観察の程度を示す重み付けを付与した観察履歴情報を生成し、前記医用画像の種類に応じて、当該医用画像における領域に応じて前記重み付けを変化させることを特徴とする医用画像診断装置。

【請求項9】

表示部の表示面における観察者の視点位置に対応する画素の情報を取得する取得手順と、
前記表示面にて表示された医用画像において前記取得手順によって取得された画素に表示された領域を前記観察者によって観察された領域として示す観察履歴情報を生成する生成手順と、
前記医用画像を表示する際に、前記取得手順によって取得された画素に前記生成手順によって生成された観察履歴情報を反映させた情報を前記表示部に表示するように制御する表示制御手順と、
前記表示面にて表示された医用画像に対する前記観察者からの所定の操作を受付ける受付け手順と、
をコンピュータに実行させ、
前記生成手順は、前記医用画像において前記画素に表示された領域ごとに、前記観察者による観察の程度を示す重み付けを付与した観察履歴情報を生成し、前記受付け手順によって受付けられる前記医用画像に対する前記所定の操作に応じて前記重み付けを変化させることを特徴とする画像処理プログラム。

【請求項10】

表示部の表示面における観察者の視点位置に対応する画素の情報を取得する取得手順と、
前記表示面にて表示された医用画像において前記取得手順によって取得された画素に表示された領域を前記観察者によって観察された領域として示す観察履歴情報を生成する生成手順と、
前記医用画像を表示する際に、前記取得手順によって取得された画素に前記生成手順によって生成された観察履歴情報を反映させた情報を前記表示部に表示するように制御する表示制御手順と、
をコンピュータに実行させ、
前記生成手順は、前記医用画像において前記画素に表示された領域ごとに、前記観察者による観察の程度を示す重み付けを付与した観察履歴情報を生成し、前記医用画像の種類に応じて、当該医用画像における領域に応じて前記重み付けを変化させることを特徴とする画像処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、画像処理装置、医用画像診断装置及び画像処理プログラムに関する。

【背景技術】

【0002】

従来、医用画像の読影に際しては、読影医が、ビューワーで表示された大量の画像データを観察する。そのため、観察していない領域が生じる観察漏れや、観察されたが病変などが気付かれない見落としなどが発生する場合がある。そこで、このような観察漏れや、見落としなどを低減させるために、ビューワーを表示する装置には種々の機能が備えられている。

【0003】

例えば、一度ビューワーで表示した領域を記憶し、表示していない領域をユーザに通知する機能を備えた装置が知られている。しかしながら、上述した従来技術においては、表示した領域が実際に観察された領域とは限らないため、観察漏れや、見落としを低減させる効果に一定の限界があった。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１２−０１６４８８号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

本発明が解決しようとする課題は、画像観察時の観察漏れや見落としを効果的に低減することを可能にする画像処理装置、医用画像診断装置及び画像処理プログラムを提供することである。

【課題を解決するための手段】

【0006】

一実施形態の画像処理装置は、取得手段と、生成手段と、表示制御手段と、受付け手段とを備える。取得手段は、表示部の表示面における観察者の視点位置に対応する画素の情報を取得する。生成手段は、前記表示面にて表示された医用画像において前記取得手段によって取得された画素に表示された領域を前記観察者によって観察された領域として示す観察履歴情報を生成する。表示制御手段は、前記医用画像を表示する際に、前記取得手段によって取得された画素に前記生成手段によって生成された観察履歴情報を反映させた情報を表示するように制御する。受付け手段は、前記表示面にて表示された医用画像に対する前記観察者からの所定の操作を受付ける。前記生成手段は、前記医用画像において前記画素に表示された領域ごとに、前記観察者による観察の程度を示す重み付けを付与した観察履歴情報を生成し、前記受付け手段によって受付けられる前記医用画像に対する前記所定の操作に応じて前記重み付けを変化させる。

【図面の簡単な説明】

【0007】

【図1】図１は、第１の実施形態に係る画像処理システムの構成の一例を示す図である。

【図2】図２は、第１の実施形態に係る画像処理装置の構成の一例を示す図である。

【図3A】図３Ａは、第１の実施形態に係る観察履歴記憶部によって記憶される観察履歴情報の一例を示す図である。

【図3B】図３Ｂは、第１の実施形態に係る観察履歴記憶部によって記憶される観察履歴情報の一例を示す図である。

【図4】図４は、第１の実施形態に係る表示部にて表示される医用画像の一例を示す図である。

【図5】図５は、第１の実施形態に係る視点情報取得部による処理の一例を説明するための図である。

【図6】図６は、第１の実施形態に係る合成データ生成部によって生成される合成データの一例を示す図である。

【図7】図７は、第１の実施形態に係る画像処理装置による観察履歴情報の生成処理の手順を示すフローチャートである。

【図8】図８は、第１の実施形態に係る画像処理装置による合成データの表示処理の手順を示すフローチャートである。

【図9】図９は、第２の実施形態に係る画像処理装置によって表示されるマンモグラフィ画像の一例を示す図である。

【図10】図１０は、第２の実施形態に係る観察履歴生成部によって生成される観察履歴情報の一例を示す図である。

【図11】図１１は、第３の実施形態に係る観察履歴生成部によって生成される観察履歴情報の一例を示す図である。

【図12】図１２は、第３の実施形態に係る重み決定部によって決定される奥行き方向の重み付けの変化の一例を示す図である。

【図13】図１３は、第３の実施形態に係る重み決定部によって決定される展開画像の重み付けの変化の一例を示す図である。

【図14】図１４は、第３の実施形態に係る観察履歴生成部によって生成される観察履歴情報の一例を示す図である。

【図15】図１５は、第３の実施形態に係る合成データ生成部によって生成される合成データの一例を示す図である。

【発明を実施するための形態】

【0008】

（第１の実施形態）
以下、本願に係る画像処理装置の詳細について説明する。なお、第１の実施形態では、本願に係る画像処理装置を含む画像処理システムを一例に挙げて説明する。図１は、第１の実施形態に係る画像処理システム１の構成の一例を示す図である。

【0009】

図１に示すように、第１の実施形態に係る画像処理システム１は、画像処理装置１００と、医用画像診断装置２００と、画像保管装置３００とを有する。図１に例示する各装置は、例えば、病院内に設置された院内ＬＡＮ（Local Area Network）により、直接的、又は間接的に相互に通信可能な状態となっている。例えば、画像処理システム１にＰＡＣＳ（Picture Archiving and Communication System）が導入されている場合、各装置は、ＤＩＣＯＭ（Digital Imaging and Communications in Medicine）規格に則って、医用画像等を相互に送受信する。

【0010】

かかる画像処理システム１は、医用画像診断装置２００により収集された医用画像データから生成される医用画像を病院内に勤務する医師や検査技師に提供する。具体的には、第１の実施形態においては、画像処理装置１００が、医用画像診断装置２００によって収集された医用画像データから生成された医用画像を表示し、医師や検査技師は表示された医用画像の読影を行う。

【0011】

医用画像診断装置２００は、例えば、Ｘ線診断装置、乳房Ｘ線撮影装置（マンモグラフィ（mammography）装置）、Ｘ線ＣＴ（Computed Tomography）装置、ＭＲＩ（Magnetic Resonance Imaging）装置、超音波診断装置、ＳＰＥＣＴ（Single Photon Emission Computed Tomography）装置、ＰＥＴ（Positron Emission computed Tomography）装置、ＳＰＥＣＴ装置とＸ線ＣＴ装置とが一体化されたＳＰＥＣＴ−ＣＴ装置、ＰＥＴ装置とＸ線ＣＴ装置とが一体化されたＰＥＴ−ＣＴ装置、又はこれらの装置群等である。そして、医用画像診断装置２００は、それぞれの技師の操作に応じて、例えば、投影データや、ＭＲ信号、ボリュームデータなどの医用画像データを収集する。また、医用画像診断装置２００は、収集した医用画像データから生成されたボリュームレンダリング画像などの３次元の医用画像や、透視画像及びＭＰＲ画像などの２次元の医用画像などを生成する。

【0012】

そして、医用画像診断装置２００は、収集した医用画像データ、或いは、医用画像データから生成した医用画像を画像保管装置３００に送信する。なお、医用画像診断装置２００は、医用画像データ或いは医用画像を画像保管装置３００に送信する際に、付帯情報として、例えば、患者を識別する患者ＩＤ、検査を識別する検査ＩＤ、医用画像診断装置２００を識別する装置ＩＤ、医用画像診断装置２００による１回の撮影を識別するシリーズＩＤ等を送信する。

【0013】

画像保管装置３００は、医用画像を保管するデータベースである。具体的には、画像保管装置３００は、医用画像診断装置２００から送信された医用画像データや、医用画像データから生成された医用画像、各医用画像データ或いは医用画像の付帯情報などを記憶部に格納し、これを保管する。

【0014】

画像処理装置１００は、医用画像診断装置２００、或いは、画像保管装置３００から医用画像データ或いは医用画像を取得する。そして、画像処理装置１００は、取得した医用画像データから医用画像を生成して表示したり、取得した医用画像を表示したりすることで読影医などの観察者に医用画像を提供する。ここで、画像処理装置１００は、医用画像を観察した観察者ごとに観察履歴を生成し、生成した観察履歴に基づいて合成データを生成して表示することで、画像観察時の観察漏れや見落としを効果的に低減することを可能にする。以下、画像処理装置１００の詳細について説明する。

【0015】

図２は、第１の実施形態に係る画像処理装置１００の構成の一例を示す図である。図２に示すように、画像処理装置１００は、入力部１１０と、表示部１２０と、通信部１３０と、記憶部１４０と、制御部１５０と、視点認識装置１６０を有する。例えば、画像処理装置１００は、ワークステーションや、任意のパーソナルコンピュータなどであり、医用画像診断装置２００や、画像保管装置３００などとネットワークを介して接続される。

【0016】

入力部１１０は、マウス、キーボード、トラックボール等であり、画像処理装置１００に対する各種操作の入力を操作者（例えば、読影医など）から受け付ける。具体的には、入力部１１０は、表示部１２０に表示させる医用画像の選択操作や、表示部１２０にて表示された医用画像の拡大操作、縮小操作、コントラストの調整操作などの各種操作を受付ける。

【0017】

表示部１２０は、モニタとしての液晶パネル等であり、医用画像などの各種情報を表示する。具体的には、表示部１２０は、操作者から各種操作を受け付けるためのＧＵＩ（Graphical User Interface）や、後述する制御部１５０による処理結果となる表示情報を表示する。通信部１３０は、ＮＩＣ（Network Interface Card）等であり、他の装置との間で通信を行う。

【0018】

視点認識装置１６０は、表示部１２０に表示される画像を観察する読影医などの観察者の視点を認識する。具体的には、視点認識装置１６０は、観察者の視点が表示部１２０にて表示されている画像のどこに位置するかを認識する。例えば、視点認識装置１６０は、観察者を撮影するためのカメラなどである。

【0019】

記憶部１４０は、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、又は、ハードディスク、光ディスク等の記憶装置などであり、後述する制御部１５０によって取得された医用画像データや、医用画像、付帯情報などを記憶する。また、記憶部１４０は、後述する制御部１５０による処理結果を記憶する。

【0020】

例えば、記憶部１４０は、図２に示すように、画像データ記憶部１４１と、座標情報記憶部１４２と、観察履歴記憶部１４３と、合成データ記憶部１４４とを備える。画像データ記憶部１４１は、後述する制御部１５０によって医用画像診断装置２００又は画像保管装置３００から取得された医用画像データや医用画像、或いは、後述する制御部１５０が取得した医用画像データから生成した医用画像などを記憶する。

【0021】

座標情報記憶部１４２は、視点認識装置１６０によって取得された観察者の視点の情報を座標情報に変換するための座標情報を記憶する。例えば、座標情報記憶部１４２は、視点認識装置１６０によって取得された観察者の視点の位置を世界座標系の位置座標で表すための座標情報を記憶する。また、例えば、座標情報記憶部１４２は、表示部１２０の表示面の平面と視線との交点を、表示面上に張られた任意の２次元座標系における点座標として表すための座標情報を記憶する。

【0022】

観察履歴記憶部１４３は、表示部１２０の表示面にて表示された医用画像において視点認識装置１６０によって取得された画素に表示された領域を観察者によって観察された領域として示す観察履歴情報を記憶する。具体的には、観察履歴記憶部１４３は、後述する制御部１５０が視点認識装置１６０によって取得された観察者の視点の情報を用いて生成した観察履歴情報を記憶する。

【0023】

図３Ａは、第１の実施形態に係る観察履歴記憶部１４３によって記憶される観察履歴情報の一例を示す図である。ここで、図３Ｂは、図３Ａに示す観察履歴情報の一部を詳細に示した図である。例えば、観察履歴記憶部１４３は、図３Ａに示すように、観察者ＩＤごとに画像ＩＤが対応付けられ、画像ＩＤごとに座標と履歴情報が対応付けられた観察履歴情報を記憶する。そして、例えば、観察履歴記憶部１４３は、図３Ａに示すように、履歴情報のパラメータとして、回数、時間、操作及び領域などを記憶する。

【0024】

ここで、図３Ａに示す「観察者ＩＤ」とは、画像処理装置１００によって医用画像を観察する観察者（例えば、読影医など）を一意に特定するための識別子であり、観察者それぞれに付与される。また、図３Ａに示す「画像ＩＤ」とは、画像処理装置１００によって表示される医用画像を一意に特定するための識別子であり、後述する制御部１５０によって取得された医用画像或いは生成された医用画像に対してシーケンシャルに付与される。また、図３Ａにおける「座標」とは、各医用画像における位置を示す座標を示す。また、図３Ａにおける履歴情報とは、観察者による観察の履歴を示す情報である。

【0025】

一例を挙げると、観察履歴記憶部１４３は、図３Ａに示すように、「観察者ＩＤ：Ａ」に「画像ＩＤ：１、座標：（ｘ₁,ｙ₁）〜（ｘ_n,ｙ_n）」が対応付けられ、各座標に「履歴情報」のパラメータ「回数」、「時間」、「操作」、「領域」などが対応付けられた観察履歴情報を記憶する。すなわち、上記した情報は、「観察者ＩＤ」が「Ａ」である観察者が、「画像ＩＤ」が「１」の画像を観察した際に、当該画像を構成する座標「（ｘ₁,ｙ₁）〜（ｘ_n,ｙ_n）」のそれぞれについて、観察した「回数」や「時間」、「操作」した内容、及び、その座標がどのような「領域」に属しているかなどを示す。

【0026】

観察履歴記憶部１４３は、「観察者ＩＤ：Ａ」に対して、「画像ＩＤが「２」の画像や、その他のＩＤの画像についても、上記した例と同様の情報を対応付けて記憶する。そして、観察履歴記憶部１４３は、「観察者ＩＤ」が「Ｂ」の観察者を含む、その他すべての観察者について、上記した観察履歴情報を記憶する。

【0027】

さらに、観察履歴記憶部１４３は、履歴情報の各パラメータについて、細かくデータを記憶することができる。図３Ｂは、第１の実施形態に係る観察履歴記憶部１４３によって記憶される観察履歴情報の一例を示す図である。ここで、図３Ｂは、図３Ａに示す観察履歴情報の履歴情報について詳細に示した図である。例えば、観察履歴記憶部１４３は、図３Ｂに示すように、座標「（ｘ₁,ｙ₁）」に対応付けた履歴情報のパラメータの「回数」及び「時間」を観察された日にちごとと、「Ｔｏｔａｌ」とで記憶する。

【0028】

一例を挙げると、観察履歴記憶部１４３は、図３Ｂに示すように、座標「（ｘ₁,ｙ₁）」に「回数、２０１２０４０２：３」、「時間、２０１２０４０２：２０」、操作「拡大：１、縮小：０」を対応付けた観察履歴情報を対応づけて記憶する。すなわち、上記した情報は、座標「（ｘ₁,ｙ₁）」を「２０１２年４月２日」に「３回」観察し、そのときの時間が「２０秒」であること、そして、そのときに座標「（ｘ₁,ｙ₁）」の拡大操作が「１回」実行されたことを示す。そして、観察履歴記憶部１４３は、観察された日付ごとに、観察された回数、時間、操作内容を対応付けた観察履歴情報を記憶する。さらに、観察履歴記憶部１４３は、例えば、回数及び時間について、日付ごとの値を合算した「Ｔｏｔａｌ」の値を記憶する。

【0029】

なお、図３Ａ及び図３Ｂに示す観察履歴情報は、あくまでも一例であり、実施形態はこれに限定されるものではない。また、これら観察履歴は後述する制御部１５０によって生成され、観察履歴記憶部１４３に格納される。

【0030】

図２に戻って、合成データ記憶部１４４は、後述する制御部１５０の処理によって生成された合成データを記憶する。具体的には、合成データ記憶部１４４は、観察履歴記憶部１４３によって記憶された観察履歴情報に基づいて、観察者が観察した領域を明示した医用画像を記憶する。なお、合成データの詳細については、後に詳述する。

【0031】

制御部１５０は、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等の電子回路、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路であり、画像処理装置１００の全体制御を行なう。

【0032】

制御部１５０は、図２に示すように、例えば、取得部１５１と、視野設定部１５２と、観察履歴生成部１５３と、重み決定部１５４と、合成データ生成部１５５と、表示制御部１５６とを有し、画像観察時の観察漏れや見落としを効果的に低減することを可能にする合成データを生成して表示する。すなわち、制御部１５０は、上述した各部の処理により、観察者ごとに、医用画像の所定の領域ごとの観察履歴情報を生成して、生成した観察履歴情報を医用画像上に反映させた合成データを生成して表示する。

【0033】

取得部１５１は、図２に示すように、画像データ取得部１５１ａと、視点情報取得部１５１ｂとを有し、各種情報を取得する。画像データ取得部１５１ａは、通信部１３０を介して、医用画像診断装置２００又は画像保管装置３００からデータを取得する。具体的には、画像データ取得部１５１ａは、入力部１１０を介して操作者から受付けた指示に応じて、医用画像診断装置２００又は画像保管装置３００から医用画像データや、医用画像、付帯情報を取得して、記憶部１４０に格納する。

【0034】

例えば、画像データ取得部１５１ａは、マンモグラフィ装置によって撮影されたマンモグラフィ画像や、Ｘ線ＣＴ装置によって撮像されたＣＴ画像などの医用画像を取得する。また、画像データ取得部１５１ａは、各医用画像診断装置２００が医用画像を生成するために用いた投影データなどの医用画像データを取得する。そして、画像データ取得部１５１ａは、取得した医用画像及び医用画像データを画像データ記憶部１４１に格納する。

【0035】

視点情報取得部１５１ｂは、表示部１２０の表示面における観察者の視点位置に対応する画素の情報を取得する。具体的には、視点情報取得部１５１ｂは、後述する表示制御部１５６の制御のもと表示部１２０にて表示された医用画像に対する観察者の視点位置の情報を、表示部１２０の表示面の各画素に対応する座標として取得する。

【0036】

より具体的には、視点情報取得部１５１ｂは、視点認識装置１６０により取得された情報から、観察者の視線（視線方向）を検出する。このとき、視点情報取得部１５１ｂは、観察者の目の位置を検出する処理も実行する。そして、視点情報取得部１５１ｂは、検出した観察者の視線方向と目の位置とを用いて観察者の視点を検出する。例えば、視点情報取得部１５１ｂは、表示部１２０の表示面に表示された医用画像のうち、観察者が注視する点である視点（注視点）を検出する。なお、視点情報取得部１５１ｂによる視線検出方法、および、視点検出方法としては、例えば強膜（白目）と角膜（黒目）の光の反射率の差を利用して眼球運動を測定するリンバストラッキング法（強膜反射法）等、従来から用いられているあらゆる方法を適用することができる。

【0037】

以下、カメラを用いる場合を一例に挙げて説明する。本実施形態に係る画像処理装置１００は、例えば、図４に示すような画像を表示部１２０にて表示し、それらに対する観察履歴情報を生成する。図４は、第１の実施形態に係る表示部１２０にて表示される医用画像の一例を示す図である。ここで、図４においては、左上にＸ線ＣＴ装置によって収集されたボリュームデータに含まれる管腔内を描出した仮想内視鏡画像（以下、フライスルー画像と記す）を示し、左下にマスク画像を示し、右側にフライスルー画像における視線方向に対する直交３断面のＭＰＲ（Multi-Planar Reconstruction）画像を示す。

【0038】

なお、フライスルー画像は、ボリュームデータに含まれる管腔内に視点及び視線方向を設定して透視投影画像（ＰＶＲ画像：Perspective Volume Rendering 画像）を生成し、管腔に沿って視点位置を移動させながらＰＶＲ画像を更新させた動画像である。また、マスク画像とは、注目したい領域以外を隠した画像、言い換えると、注目したい領域のみが示された画像である。

【0039】

例えば、表示部１２０は、表示制御部１５６の制御のもと、図４に示すように、２次元画像や、３次元画像、静止画像及び動画像などの種々の医用画像を表示する。観察者（例えば、読影医）は、表示部１２０にて表示された医用画像を観察（読影）する。第１の実施形態に係る画像処理装置１００は、視点認識装置１６０としてのカメラにより観察者の視点位置の情報を取得する。

【0040】

図５は、第１の実施形態に係る視点情報取得部１５１ｂによる処理の一例を説明するための図である。ここで、図５に示すｘ軸及びｙ軸は、表示部１２０の表示面上に張られた直交座標系を構成する座標軸である。そして、これらの座標は、視点認識装置１６０としてのカメラ及び視点情報取得部１５１ｂによって検出可能な視線の領域に配置される。これらの座標の情報は、予め座標情報記憶部１４２に記憶される。

【0041】

例えば、視点情報取得部１５１ｂは、視点認識装置１６０としてのカメラによって撮像された観察者の映像から観察者の視線を検出し、検出した視線と表示部１２０の表示面との交点１０を視線情報として算出する。具体的には、視点情報取得部１５１ｂは、座標情報記憶部１４２に記憶された表示部１２０の表示面に張られた座標の情報を参照して、ｘ軸、ｙ軸で張られた座標系上での交点１０の座標を算出する。

【0042】

そして、視点情報取得部１５１ｂは、表示部１２０における画素において、算出した座標に対応する画素の情報を取得し、取得した画素にて表示されている医用画像の情報を取得する。具体的には、視点情報取得部１５１ｂは、取得した画素にて表示されている医用画像の画像ＩＤと、当該医用画像において取得した画素にて表示されている位置（領域）の情報を取得する。例えば、視点情報取得部１５１ｂは、取得した画素に対応する医用画像における位置として、当該位置の医用画像における座標を取得する。そして、視点情報取得部１５１ｂは、取得した座標の情報を観察履歴生成部１５３に出力する。

【0043】

図２に戻って、視野設定部１５２は、観察者の視野領域を設定する。具体的には、視野設定部１５２は、観察者が一点を注視した時に見える範囲を設定する。ここで、視野設定部１５２によって設定される視野領域は、視覚の感度が所定の閾値を越える領域であり、例えば、中心視野である。

【0044】

一例を挙げると、視野設定部１５２は、表示制御部１５６に対して視野領域を設定するためのテスト画面を表示させる。そして、視野設定部１５２は、視点認識装置１６０によって取得される観察者の情報に基づいて、視線からのずれで示された視野領域を設定する。例えば、視野設定部１５２は、視線から２度ずれた角度内の領域を視野領域として設定する。なお、視野設定部１５２によって用いられる視野の設定方法としては、従来から用いられているあらゆる方法を適用することができる。

【0045】

観察履歴生成部１５３は、表示面にて表示された医用画像において前記取得手段によって取得された画素に表示された領域を前記観察者によって観察された領域として示す観察履歴情報を生成する。具体的には、観察履歴生成部１５３は、視点情報取得部１５１ｂによって取得された座標の情報と、視野設定部１５２によって設定された視野領域とから、観察者に視野領域内に含まれる医用画像における座標を算出する。言い換えると、観察履歴生成部１５３は、観察者によって観察されたであろう医用画像の領域を座標単位で算出する。

【0046】

例えば、観察履歴生成部１５３は、座標が視野領域内に含まれた回数や、視野領域内に含まれていた時間、当該座標が受付けた操作、当該座標が含まれる医用画像内での領域などを示す情報を観察履歴情報として生成して、観察履歴記憶部１４３に格納する。一例を挙げると、観察履歴生成部１５３は、図３Ｂに示すような観察履歴情報を生成して、観察履歴記憶部１４３に格納する。なお、履歴情報の操作については、観察履歴生成部１５３は、入力部１１０が受付けた操作内容を、入力部１１０から通知されることにより取得する。

【0047】

ここで、観察履歴生成部１５３は、医用画像において画素に表示された領域ごとに、観察者による観察の程度を示す重み付けを付与した観察履歴情報を生成する。具体的には、観察履歴生成部１５３は、後述する重み決定部１５４によって決定された重み付けを反映させた観察履歴情報に更新する。

【0048】

重み決定部１５４は、観察者によって観察された医用画像における観察履歴の重み付けを決定する。具体的には、重み決定部１５４は、医用画像の座標ごとに観察者によって観察された程度を示す重み付けを決定する。例えば、重み決定部１５４は、医用画像の座標ごとに、操作の拡大、縮小に基づいて履歴情報に付加する重み付けを決定する。一例を挙げると、重み決定部１５４は、入力部１１０が拡大操作を受付けた領域に含まれる座標について、観察の程度を上げるように重み付けを決定する。

【0049】

すなわち、重み決定部１５４は、観察履歴情報の履歴情報に含まれる、例えば、回数などの値を実測値よりも高くする重み付けを決定する。逆に、入力部１１０が縮小操作を受付けた領域に含まれる座標について、重み決定部１５４は、例えば、回数などの値を実測値よりも低くする重み付けを決定する。なお、重み決定部１５４によって決定される重み付けは、観察者によって任意に決定することができ、いずれの履歴情報に対しても付与させることが可能である。

【0050】

重み決定部１５４によって重み付けが決定された場合には、観察履歴生成部１５３は、決定された重み付けを反映させた観察履歴情報に更新する。例えば、観察履歴生成部１５３は、重み決定部１５４によって、図３Ｂに示す履歴情報の回数の値を実測値よりも高くする重み付けが決定されると、例えば、「２０１２０４０２：３」を「２０１２０４０２：４」に、「２０１２０４０４：２」を「２０１２０４０４：３」に更新し、さらに、「Ｔｏｔａｌ：５」を「Ｔｏｔａｌ：７」に更新する。同様に、観察履歴生成部１５３は、重み決定部１５４によって決定された重み付けに基づいて、履歴情報を更新する。

【0051】

合成データ生成部１５５は、視点情報取得部１５１ｂによって取得された画素に観察履歴生成部１５３によって生成された観察履歴情報を反映させた情報を表示させるための合成データを生成する。具体的には、合成データ生成部１５５は、観察履歴記憶部１４３にて記憶された観察履歴情報を参照して、医用画像の各座標に履歴情報を反映させた合成データを生成する。

【0052】

図６は、第１の実施形態に係る合成データ生成部１５５によって生成される合成データの一例を示す図である。図６においては、図４に示す医用画像の観察履歴に基づいて、合成データを生成する場合について示す。例えば、合成データ生成部１５５は、図６に示すように、マスク画像上に観察履歴情報を反映した観察履歴２１及び２２を表示する。かかる場合には、合成データ生成部１５５は、医用画像と同一の座標平面上の各座標に観察履歴情報の履歴情報の値に応じた表示情報を配置して生成した画像を、マスク画像とは異なるレイヤにて重畳表示させる。

【0053】

ここで、合成データ生成部１５５は、観察履歴情報の履歴情報を単独、或いは複数を組み合わせて用いることができる。例えば、合成データ生成部１５５は、履歴情報の回数又は時間のどちらかの値を用いて合成データを生成することもできる。或いは、合成データ生成部１５５は、回数と時間とを組み合わせた（例えば、回数×時間）値を用いて合成データを生成することもできる。

【0054】

そして、合成データ生成部１５５は、履歴情報の値に応じて色合いや、濃淡、透過度などを変化させた表示情報を生成することができる。また、合成データ生成部１５５は、複数の履歴情報（例えば、回数及び時間）をそれぞれ異なる表示形態で同一の医用画像上に表示させることも可能である。

【0055】

上述したように、合成データ生成部１５５は、複数の履歴情報を単独、或いは複数を組み合わせて用いることができる。これに合わせて、重み決定部１５４も単独の履歴情報だけでなく、複数の履歴情報を組み合わせた値に対して重み付けを行うことも可能である。

【0056】

図２に戻って、表示制御部１５６は、医用画像を表示する際に、視点情報取得部１５１ｂによって取得された画素に観察履歴生成部１５３によって生成された観察履歴情報を反映させた情報を表示部１２０に表示するように制御する。具体的には、表示制御部１５６は、合成データ生成部１５５によって生成された合成データを表示部１２０にて表示するように制御する。

【0057】

例えば、表示制御部１５６は、図６に示すように、観察履歴２１及び２２が重畳された合成データと、重畳前の医用画像（マスク画像）を並列で表示するように制御する。なお、表示制御部１５６は、合成データを単独で表示させることも可能である。このように、第１の実施形態に係る画像処理装置１００は、読影をおこなった医用画像を再度表示する際に、医用画像において観察者が実際に視線を送った領域に観察履歴を示した合成データを表示することで、画像観察時の観察漏れや見落としを効果的に低減することを可能にする。

【0058】

次に、第１の実施形態に係る画像処理装置１００の処理の手順について、図７及び図８を用いて説明する。図７は、第１の実施形態に係る画像処理装置１００による観察履歴情報の生成処理の手順を示すフローチャートである。なお、図１５においては、医用画像診断装置２００において、画像データが収集された後の処理について示す。

【0059】

図７に示すように、第１の実施形態に係る画像表示装置１００においては、画像データ取得部１５１ａが、医用画像データや、医用画像、付帯情報などのデータを取得（ステップＳ１０１）する。そして、視野設定部１５２が、テスト画像に基づいて観察者の視野領域を設定する（ステップＳ１０２）。そして、表示制御部１５６が、医用画像を表示して（ステップＳ１０３）、視点情報取得部１５１ｂが画面上の視点を認識したか、又は、入力部１１０が医用画像に対して操作が実行されたか否かを判定する（ステップＳ１０４）。

【0060】

ここで、画面上の視点を認識した、又は、医用画像に対して操作が実行された場合には（ステップＳ１０４肯定）、観察履歴生成部１５３は、認識された視点又は、操作された領域に対応する座標の観察履歴情報を作成する（ステップＳ１０５）。そして、観察の終了指示を受け付けると（ステップＳ１０６肯定）、重み決定部１５４が、重み付けを決定して、観察履歴生成部１５３が、観察履歴情報を更新する（ステップＳ１０７）。

【0061】

なお、画面上の視点を認識していない、及び、医用画像に対して操作が実行されていない場合（ステップＳ１０４否定）と、終了指示を受け付けていない場合（ステップＳ１０６否定）は、いずれかの処理の受付け待機状態となる。

【0062】

図８は、第１の実施形態に係る画像処理装置１００による合成データの表示処理の手順を示すフローチャートである。なお、図８においては、観察履歴情報が生成された後の処理について示す。図８に示すように、第１の実施形態に係る画像処理装置１００においては、合成データの表示指示を受付けた場合に（ステップＳ２０１肯定）、合成データ生成部１５５が、指示を受付けた医用画像の観察履歴情報を取得する（ステップＳ２０２）。

【0063】

そして、合成データ生成部１５５は、取得した観察履歴情報に基づいて、合成データを生成する（ステップＳ２０３）。その後、表示制御部１５６は、合成データ生成部１５５によって生成された合成データを表示部１２０にて表示するように制御する（ステップＳ２０４）。なお、合成データの表示指示を受付けるまで待機状態である（ステップＳ２０１否定）。

【0064】

上述したように、第１の実施形態によれば、視点情報取得部１５１ｂが、表示部１２０の表示面における観察者の視点位置に対応する画素の情報を取得する。そして、観察履歴生成部１５３は、表示面にて表示された医用画像において視点情報取得部１５１ｂによって取得された画素に表示された領域を観察者によって観察された領域として示す観察履歴情報を生成する。表示制御部１５６は、医用画像を表示する際に、視点情報取得部１５１ｂによって取得された画素に観察履歴生成部１５３によって生成された観察履歴情報を反映させた情報を表示部１２０に表示するように制御する。従って、第１の実施形態に係る画像処理装置１００は、医用画像において観察者が実際に視線を送った領域に観察履歴を示した合成データを表示することができ、画像観察時の観察漏れや見落としを効果的に低減することを可能にする。

【0065】

また、第１の実施形態によれば、観察履歴生成部１５３は、医用画像において画素に表示された領域ごとに、観察者による観察の程度を示す重み付けを付与した観察履歴情報を生成する。従って、第１の実施形態に係る画像処理装置１００は、観察者がどの程度観察したかを考慮した観察履歴を示すことができ、画像観察時の観察漏れや見落としをより効果的に低減することを可能にする。

【0066】

また、第１の実施形態によれば、入力部１１０は、表示面にて表示された医用画像に対する観察者からの所定の操作を受付ける。観察履歴生成部１５３は、入力部１１０によって受付けられる医用画像に対する所定の操作に応じて重み付けを変化させ、変化させた重み付けを付与した観察履歴情報を生成する。従って、第１の実施形態に係る画像処理装置１００は、医用画像に対する観察者の操作を考慮した観察履歴を示すことができ、画像観察時の観察漏れや見落としをさらに効果的に低減することを可能にする。

【0067】

（第２の実施形態）
上述した第１の実施形態においては、医用画像の種類に関係なく、共通して実行される重み付けについて説明した。第２の実施形態では、医用画像の種類に応じて重み付けを変える場合について説明する。なお、第２の実施形態に係る画像処理装置１００は、第１の実施形態に係る画像処理装置１００と比較して、観察履歴生成部１５３及び重み決定部１５４の処理内容が異なる。以下、これらを中心に説明する。また、以下では、医用画像の種類として、マンモグラフィ画像を用いる場合を例に挙げて説明する。

【0068】

第２の実施形態に係る観察履歴生成部１５３は、マンモグラフィ画像が対象となる場合には、履歴情報に操作内容として階調補正と、領域に対称領域を加えた観察履歴情報を生成する。図９は、第２の実施形態に係る画像処理装置１００によって表示されるマンモグラフィ画像の一例を示す図である。

【0069】

例えば、表示制御部１５６は、図９に示すように、表示部１２０の表示領域を２つに分割し、左側に右の乳房の撮影画像を表示し、右側に左の乳房の撮影画像を表示する。この時、表示制御部１５６は、同じポジショニング（ＣＣ（頭尾方向撮影）またはＭＬＯ（内外斜位方向撮影）等）で撮影された左右の乳房の撮影画像を並べて表示する。読影医は、図９に示すように表示された左右の乳房を見比べながら異なっている部分を見つけるように読影を行う。例えば、読影医は、図９に示す領域Ｒ３１とＲ３２とを見比べて病変部位を見つける。

【0070】

また、マンモグラフィ画像においては、乳腺と脂肪とが同様に表示されるため、それらを区別するために、階調補正（コントラスト補正）をリアルタイムで実行するように推奨されている。そこで、第２の実施形態に係る観察履歴生成部１５３は、図１０に示すように、観察履歴情報における履歴情報の操作に階調補正を加え、さらに、履歴情報の領域に対称領域を加えた観察履歴情報を生成する。なお、図１０は、第２の実施形態に係る観察履歴生成部１５３によって生成される観察履歴情報の一例を示す図である。

【0071】

そして、第２の実施形態に係る重み決定部１５４は、階調補正や、対称領域の値に基づいて、重み付けを決定する。例えば、重み決定部１５４は、階調補正を行っている場合、或いは、左右の対称領域を観察している場合に、履歴情報の値を上昇させるように重み付けを決定する。逆に、階調補正を行っていない場合、或いは、左右の対称領域を観察していない場合に、重み決定部１５４は、履歴情報の値を下げさせるように重み付けを決定する。

【0072】

上述したように、第２の実施形態によれば、観察履歴生成部１５３は、医用画像の種類に応じて、当該医用画像における領域に応じて重み付けを変化させ、変化させた重み付けを付与した観察履歴情報を生成する。従って、第２の実施形態に係る画像処理装置１００は、医用画像の特性に応じた重み付けを実行することができ、その特性に応じて観察履歴を変化させることを可能にする。

【0073】

（第３の実施形態）
上述した第１及び第２の実施形態においては、２次元画像を用いる場合について説明した。第３の実施形態では、３次元画像を用いる場合について説明する。なお、第３の実施形態に係る画像処理装置１００は、第１の実施形態に係る画像処理装置１００と比較して、視点情報取得部１５１ｂ、観察履歴生成部１５３及び重み決定部１５４の処理内容が異なる。以下、これらを中心に説明する。また、以下では、３次元画像として、フライスルー画像を用いる場合を例に挙げて説明する。

【0074】

第３の実施形態に係る視点情報取得部１５１ｂは、３次元画像が対象となる場合には、視点認識装置１６０によって取得された視点位置に対応する表示部１２０の表示面の座標にて表示されているボリュームデータの座標を取得する。すなわち、視点情報取得部１５１ｂは、視点位置に対応する表示部１２０の表示面の座標にて表示されている医用画像データにおけるボクセルを取得する。

【0075】

第３の実施形態に係る観察履歴生成部１５３は、ボクセルごとに観察履歴情報を生成する。図１１は、第３の実施形態に係る観察履歴生成部１５３によって生成される観察履歴情報の一例を示す図である。ここで、図１１は、図３Ａに示す観察履歴情報が３次元画像の場合の観察履歴情報の詳細について示した図である。

【0076】

例えば、観察履歴生成部１５３は、図１１に示すように、医用画像データのボクセルの座標「（ｘ₁,ｙ₁,ｚ₁）」に対応付けた履歴情報のパラメータの「回数」及び「時間」を観察された日にちごとと、「Ｔｏｔａｌ」とで記憶させる観察履歴情報を生成する。なお、図１１に示す観察履歴情報は、あくまでも一例であり、実施形態はこれに限定されるものではない。

【0077】

第３の実施形態に係る重み決定部１５４は、医用画像がフライスルー画像であった場合に、凹凸領域や、視点からの距離（奥行き位置）によって重み付けを変化させる。例えば、フライスルー画像を読影する場合には、読影医は、凹凸領域については慎重に観察する傾向にあるが、平坦部分は簡単な観察で終わってしまう場合がある。そこで、重み決定部１５４は、医用画像がフライスルー画像であった場合には、平坦部分のボクセルに対しては、履歴情報の値を下げさせるように重み付けを決定する。逆に、凹凸領域のボクセルに対しては、重み決定部１５４は、履歴情報の値を上昇させるように重み付けを決定する。

【0078】

また、重み決定部１５４は、医用画像がフライスルー画像であった場合に、視点からの距離に応じて、重み付けを変化させる。すなわち、フライスルー画像では、視点からの距離が遠い領域は、管腔内が精度高く描出されていない場合もあるため、視点からの距離に応じて重み付けを変化させる。図１２は、第３の実施形態に係る重み決定部１５４によって決定される奥行き方向の重み付けの変化の一例を示す図である。

【0079】

例えば、重み決定部１５４は、図１２の（Ａ）に示す領域Ｒ４１とＲ４２とで重み付けを変化させる。すなわち、重み決定部１５４は、管腔内を視点移動させながら進んでいくフライスルー画像において、視点からの位置が近い領域Ｒ４１については、履歴情報の値を上昇させるように重み付けを決定する。一方、視点からの位置が遠い領域Ｒ４２については、重み決定部１５４は、履歴情報の値を下げさせるように重み付けを決定する。

【0080】

ここで、重み決定部１５４は、視点からの距離に対する重み付けの変化を線形或いは非線形で変化させることができる。例えば、重み決定部１５４は、図１２の（Ｂ）に示すように、重み付けと視点からの距離Ｄとの関係を線形４３で変化させてもよく、或いは、重み付けと視点からの距離Ｄとの関係を非線形４４で変化させてもよい。これにより、視点からの距離で重み付けを変化させる場合に、重み付けを柔軟に変化させることができる。

【0081】

また、重み決定部１５４は、医用画像が展開画像（例えば、ＶＧＰ：Virtual Gross Pathology）であった場合に、展開軸からの距離に応じて、重み付けを変化させる。すなわち、展開画像では、展開軸からの距離が遠い領域は、歪みが発生している場合もあるため、展開軸からの距離に応じて重み付けを変化させる。図１３は、第３の実施形態に係る重み決定部１５４によって決定される展開画像の重み付けの変化の一例を示す図である。

【0082】

図１３においては、図１３の（Ａ）に展開前の大腸を示し、図１３の（Ｂ）にＶＧＰを示す。なお、ＶＧＰとは、腸管の仮想中心線より円筒投影法を用いて展開している大腸を切り開いた画像である。図１３の（Ａ）に示すように、大腸５０を切断線５１で展開した場合には、図１３の（Ｂ）に示すように、展開軸５２を中心にして腸管が展開することとなる。

【0083】

ここで、重み決定部１５４は、図１３の（Ｂ）に示すように、展開軸５２からの距離が遠くなるほど重み付けを小さくなるように重み付けを決定する。すなわち、重み決定部１５４は、展開軸５２から離れるにしたがって、履歴情報の値を下げさせるように重み付けを決定する。なお、この場合においても、重み付けは、線形或いは非線形で変化させることができる。

【0084】

上述したように、医用画像がフライスルー画像やＶＧＰである場合には、重み決定部１５４は、領域において重み付けを変化させる。従って、それら医用画像の場合には、観察履歴生成部１５３は、履歴情報の領域にそれらの情報をさらに加えた観察履歴情報を生成する。図１４は、第３の実施形態に係る観察履歴生成部１５３によって生成される観察履歴情報の一例を示す図である。ここで、図１４は、図３Ａに示す観察履歴情報がフライスルー画像やＶＰＧの場合の観察履歴情報の詳細について示した図である。

【0085】

例えば、観察履歴生成部１５３は、図１４に示すように、医用画像データのボクセルの座標「（ｘ₁,ｙ₁,ｚ₁）」に対応付けた履歴情報の領域に「凹凸領域」、「視点からの距離」及び「展開軸からの距離」を加えた観察履歴情報を生成する。なお、図１４に示す観察履歴情報は、あくまでも一例であり、実施形態はこれに限定されるものではない。

【0086】

図１１及び１４に示すような観察履歴情報に基づいて、第３の実施形態に係る合成データ生成部１５５は、合成データを生成する。具体的には、合成データ生成部１５５は、観察履歴情報を参照して、医用画像が生成されたボリュームデータと同様の座標を有する仮想空間内に表示情報を配置して、３次元画像を生成する。ここで、合成データ生成部１５５は、２次元画像の場合と同様に、表示情報を種々の色合いや、濃淡、透過度などを変化させることができる。

【0087】

第３の実施形態に係る表示制御部１５６は、医用画像と合成データとを異なるレイヤでそれぞれ表示させて、医用画像と合成データとを重畳させる。例えば、表示制御部１５６は、図１５に示すように、フライスルー画像上に観察履歴２３を重畳させた画像を表示部１２０にて表示させる。図１５は、第３の実施形態に係る合成データ生成部１５５によって生成される合成データの一例を示す図である。

【0088】

上述したように、第３の実施形態によれば、観察履歴生成部１５３は、表示面にて表示された医用画像が３次元画像である場合には、医用画像において画素に表示された領域に対応するボクセルごとに、観察履歴情報を生成する。従って、第３の実施形態に係る画像処理装置１００は、３次元画像においても精度の高い観察履歴を表示させることができ、画像観察時の観察漏れや見落としを効果的に低減することを可能にする。

【0089】

（第４の実施形態）
これまで第１、第２及び第３の実施形態について説明したが、上述した第１、第２及び第３の実施形態以外にも、種々の異なる形態にて実施されてよいものである。

【0090】

上述した第１〜３の実施形態では、観察者によって観察された領域について、拡大縮小操作が実行された領域や、特徴的な領域などに対して、所定の重み付けを行う場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、観察者によって観察された点や領域から距離に応じて、重み付けを変化させる場合であってもよい。かかる場合には、例えば、重み決定部１５４は、観察者によって注視された点又は領域からの距離が長くなるに伴って、重みを小さくするような重み付けを実行する。なお、距離に応じた重みは、観察者によって任意に設定される。

【0091】

上述した第１〜３の実施形態では、１つの医用画像に１人の観察履歴を表示させる場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、任意の人数の観察履歴を表示することが可能である。例えば、２人以上の観察履歴を表示させることが可能である。

【0092】

また、第１〜３の実施形態では、視点認識装置１６０としてカメラを用いる場合に説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、メガネ方式により観察者の視線情報を取得する場合であってもよい。

【0093】

また、第１〜３の実施形態では、医用画像診断装置２００によって生成された医用画像を用いる場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、画像処理装置１００が医用画像データから医用画像を生成して、表示する場合であってもよい。かかる場合には、制御部１５０が２次元画像及び３次元画像の画像生成にかかる各種処理を実行する。

【0094】

また、第１〜３の実施形態では、観察者ごとに視野領域を設定する場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、同一観察者に対して観察中に、定期的に視野領域の設定を行うようにしてもよい。

【0095】

また、上述した実施形態では、画像処理装置１００が、観察履歴情報を生成して、合成データを表示する場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、医用画像診断装置２００が観察履歴情報を生成して、合成データを表示する場合であってもよい。すなわち、例えば、上述した画像処理装置１００が医用画像診断装置２００に組み込まれる場合であってもよい。言い換えると、医用画像診断装置２００の制御部１５０が、上述した画像データ取得部１５１ａ、視点情報取得部１５１ｂ、視野設定部１５２、観察履歴生成部１５３、重み決定部１５４、合成データ生成部１５５及び表示制御部１５６を備え、上述した処理を実行するようにしてもよい。

【0096】

以上述べた少なくともひとつの実施形態の画像処理装置によれば、画像観察時の観察漏れや見落としを効果的に低減することを可能にする。

【0097】

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

【符号の説明】

【0098】

１００ 画像処理装置
１１０ 入力部
１２０ 表示部
１５０ 制御部
１５１ａ 画像データ取得部
１５１ｂ 視点情報取得部
１５２ 視野設定部
１５３ 観察履歴生成部
１５４ 重み決定部
１５５ 合成データ生成部
１５６ 表示制御部
２００ 医用画像診断装置

【図1】

【図2】

【図3A】

【図3B】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】