(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-10-06
(45)【発行日】2022-10-17
(54)【発明の名称】医用画像閲覧装置、医用画像処理装置、及び、医用画像診断装置
(51)【国際特許分類】
A61B 5/00 20060101AFI20221007BHJP
A61B 5/055 20060101ALI20221007BHJP
A61B 5/1171 20160101ALI20221007BHJP
A61B 6/03 20060101ALI20221007BHJP
A61B 8/14 20060101ALI20221007BHJP
G06T 7/00 20170101ALI20221007BHJP
【FI】
A61B5/00 D
A61B5/055 380
A61B5/1171
A61B6/03 360M
A61B8/14
G06T7/00 660A
(21)【出願番号】P 2018195988
(22)【出願日】2018-10-17
【審査請求日】2021-08-12
(73)【特許権者】
【識別番号】594164542
【氏名又は名称】キヤノンメディカルシステムズ株式会社
(74)【代理人】
【識別番号】110001380
【氏名又は名称】弁理士法人東京国際特許事務所
(72)【発明者】
【氏名】西岡 昂彦
【審査官】鷲崎 亮
(56)【参考文献】
【文献】米国特許出願公開第2017/0112439(US,A1)
【文献】特開2007-243256(JP,A)
【文献】欧州特許出願公開第03188058(EP,A1)
【文献】米国特許出願公開第2018/0046758(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 5/00-5/01
A61B 5/117-5/1178
A61B 6/03
A61B 8/14
A61B 5/055
G06T 7/00
(57)【特許請求の範囲】
【請求項1】
ディスプレイと、
被検体が撮像された医療用の画像データから、前記ディスプレイに表示するための表示画像を、ユーザ指示に応じて生成する生成部と、
前記表示画像の表示状態が前記ユーザ指示に応じて変更される毎に、前記表示画像から前記被検体の個人を特定できるか否かを判定する判定部と、
前記表示画像から個人が特定できると判定された場合に、前記表示画像から個人が特定できないようにする匿名化処理を、前記表示画像の表示状態が変更される毎にリアルタイムで行い、前記匿名化処理後の前記表示画像を前記ディスプレイに表示させる処理部と、
を備え
、
前記判定部は、
前記表示画像から個人を特定するために必要な解剖学的部位を検出し、
前記解剖学的部位毎に、個人の特定のし易さを表わす部位別判定指標値を算出し、
前記部位別判定指標値を用いて前記表示画像から個人が特定できるか否かを判定する、
医用画像閲覧装置。
【請求項2】
前記判定部は、
前記解剖学的部位毎に割り当てられた基礎値を重み付けして前記部位別判定指標値を算出し、
前記部位別判定指標値を加算して得られる総合判定指標値に対する閾値判定によって、前記表示画像から個人が特定できるか否かを判定する、
請求項
1に記載の医用画像閲覧装置。
【請求項3】
前記判定部は、
前記表示画像における前記解剖学的部位の露出の度合いを用いて前記基礎値に重み付けして、前記部位別判定指標値を算出する、
請求項
2に記載の医用画像閲覧装置。
【請求項4】
前記解剖学的部位の露出の度合いは、前記解剖学的部位のそれぞれの全体が見えているときの前記解剖学的部位の面積に対する、前記表示画像の前記表示状態において見えている前記解剖学的部位の面積の比である、
請求項
3に記載の医用画像閲覧装置。
【請求項5】
前記解剖学的部位の露出の度合いは、前記解剖学的部位のそれぞれの全体が見えているときの面積に対する、前記表示画像の前記表示状態において見えている前記解剖学的部位の面積の比と、前記解剖学的部位に割り付けられている透明度との積である、
請求項
3に記載の医用画像閲覧装置。
【請求項6】
前記判定部は、
前記解剖学的部位の形状が標準的な形状とどの程度異なっているかを示す個性の強さを重みとして、前記部位別判定指標値に更に重み付けし、前記総合判定指標値を算出する、
請求項
3に記載の医用画像閲覧装置。
【請求項7】
前記処理部は、
個人の特定のし易さを表わす前記部位別判定指標値の大きさに基づいて、前記表示画像及び前記画像データの少なくとも一方の、解剖学的部位に対応する領域を加工して、前記匿名化処理を行う、
請求項
1に記載の医用画像閲覧装置。
【請求項8】
前記匿名化処理は、前記解剖学的部位の上皮領域に対する、マスキング処理、透明化処理、平滑化処理、変形処理、脱毛処理、及び、増毛処理の少なくとも1つの処理を含む、
請求項
7に記載の医用画像閲覧装置。
【請求項9】
前記判定部は、人工知能技術を含む顔認識技術によって、前記表示画像から前記被検体の個人を特定できるか否かを判定する、
請求項1に記載の医用画像閲覧装置。
【請求項10】
前記画像データは、X線CT(Computed Tomography)装置、MRI(Magnetic Resonance Imaging)装置、又は、超音波診断装置によって取得された2次元、又は、3次元の画像データである、
請求項1乃至
9のいずれか1項に記載の医用画像閲覧装置。
【請求項11】
被検体が撮像された医療用の画像データから、ディスプレイに表示するための表示画像を、ユーザ指示に応じて生成する生成部と、
前記表示画像の表示状態が前記ユーザ指示に応じて変更される毎に、前記表示画像から前記被検体の個人を特定できるか否かを判定する判定部と、
前記表示画像から個人が特定できると判定された場合に、前記表示画像及び前記画像データの少なくとも一方を加工して、前記表示画像から個人が特定できないようにする匿名化処理を、前記表示画像の表示状態が変更される毎にリアルタイムで行う、処理部と、
を備え
、
前記判定部は、
前記表示画像から個人を特定するために必要な解剖学的部位を検出し、
前記解剖学的部位毎に、個人の特定のし易さを表わす部位別判定指標値を算出し、
前記部位別判定指標値を用いて前記表示画像から個人が特定できるか否かを判定する、医用画像処理装置。
【請求項12】
被検体を撮像する撮像部と、
ディスプレイと、
被検体が撮像された医療用の画像データから、前記ディスプレイに表示するための表示画像を、ユーザ指示に応じて生成する生成部と、
前記表示画像の表示状態が前記ユーザ指示に応じて変更される毎に、前記表示画像から前記被検体の個人を特定できるか否かを判定する判定部と、
前記表示画像から個人が特定できると判定された場合に、前記表示画像及び前記画像データの少なくとも一方を加工して、前記表示画像から個人が特定できないようにする匿名化処理を、前記表示画像の表示状態が変更される毎にリアルタイムで行い、前記匿名化処理後の前記表示画像を前記ディスプレイに表示させる、処理部と、
を備え
、
前記判定部は、
前記表示画像から個人を特定するために必要な解剖学的部位を検出し、
前記解剖学的部位毎に、個人の特定のし易さを表わす部位別判定指標値を算出し、
前記部位別判定指標値を用いて前記表示画像から個人が特定できるか否かを判定する、医用画像診断装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、医用画像閲覧装置、医用画像処理装置、及び、医用画像診断装置に関する。
【背景技術】
【0002】
X線CT(Computed Tomography)装置、MRI(Magnetic Resonance Imaging)装置、或いは超音波診断装置等のモダリティで被検体を撮像して生成された画像データは、例えば、PACS(Picture Archiving and Communication Systems)と呼ばれる医用画像管理システムに送られ、PACS内の画像サーバに保存される。
【0003】
PACS内の画像サーバに保存された画像データは、医用画像閲覧装置(所謂、画像ビューワ)を介して、撮像を依頼した担当医や、読影医など病院関係者によって読み出される。医用画像閲覧装置では、読み出された画像データに対して、ユーザ(担当医や読影医など)の指示に基づく画像処理が行われる。ここでの画像処理とは、例えば、3次元の画像データを所望の方向に回転させてボリュームレンダリング画像を生成したり、MIP(Maximum Intensity Projection)画像を生成したりする処理や、3次元の画像データを所望のスライス断面で切り出す処理(所謂、MPR法:Multi Planer Reconstruction)等を含む。これらの画像処理によって生成された画像は、医用画像閲覧装置が具備するディスプレイに表示され、担当医による診断や、読影医による読影に供され、患者の診断や治療に用いられることになる。
【0004】
一方、各種モダリティで取得された画像データは、患者の診断や治療に用いられる他、病院内での研究、大学の医学部や病院等を含む各種医療研究機関での研究に用いられたり、医学関連の学会発表に用いられたりすることも多い。また、医学部の学生の教材として用いられることもある。
【0005】
このように、モダリティで撮像された被検体(例えば、患者)の画像データは、潜在的には、多数の観察者に提供される可能性を有している。
【0006】
他方、今日のX線CT装置やMRI装置等のモダリティの高精細化技術の進歩は著しいものがある。この結果、例えば、X線CT装置で取得した頭部の3次元画像から、撮像対象の個人を容易に特定することが可能となってきている。このため、患者の氏名や住所といった個人情報、即ち、テキスト情報としての個人情報を秘匿化する技術だけでは不十分であり、医用画像自体からも、個人を特定できなくする技術が求められてきている。
【0007】
例えば、3次元画像データから被検体の体表面を検出し、画像データのうち、体表面から所定の厚みの部分の画素値をマスク処理やモザイク処理等で加工することにより、即ち、3次元画像データ自体を予め加工することにより、ボリュームレンダリング等の3次元画像処理によって3次元画像を生成した場合でも、生成した3次元画像から個人を判別することを困難とする技術が提案されている。
【0008】
しかしながら、医用画像データの本来の目的は、被検体を診断し、治療を支援することである。したがって、個人の判別を困難化するために顔の表面から所定の厚み部分の画素値をマスク処理やモザイク処理等で加工してしまうと、眼、鼻、耳、口、といった顔の部分や頭部の診断や治療に大きな支障をきたすことなる。
【先行技術文献】
【特許文献】
【0009】
【発明の概要】
【発明が解決しようとする課題】
【0010】
本発明が解決しようとする課題は、診断や治療といった医用画像の本来の目的を損ねることなく、医用画像から個人を判別し特定されることを防止することである。
【課題を解決するための手段】
【0011】
実施形態に係る医用画像閲覧装置は、ディスプレイと、生成部と、判定部と、処理部とを備える。生成部は、被検体が撮像された医療用の画像データから、前記ディスプレイに表示するための表示画像を、ユーザ指示に応じて生成する。判定部は、前記表示画像の表示状態が前記ユーザ指示に応じて変更される毎に、前記表示画像から前記被検体の個人を特定できるか否かを判定する。処理部は、前記表示画像から個人が特定できると判定された場合に、前記表示画像から個人が特定できないようにする匿名化処理を、前記表示画像の表示状態が変更される毎にリアルタイムで行い、前記匿名化処理後の前記表示画像を前記ディスプレイに表示させる。
【図面の簡単な説明】
【0012】
【
図1】第1の実施形態に係る医用画像閲覧装置を含む医用画像処理システムの構成例を示す図。
【
図2】第1の実施形態に係る医用画像閲覧装置の構成例を示すブロック図。
【
図3】第1の実施形態の医用画像閲覧装置の動作例を示すフローチャート。
【
図4】画像データを取得し、表示画像を生成するまでの処理の概念を説明する図。
【
図5】判定処理の概念を説明するための判定テーブルを例示する図。
【
図6】判定処理及び匿名化処理の第1の具体例を説明する図。
【
図7】判定処理及び匿名化処理の第2の具体例を説明する図。
【
図8】判定処理及び匿名化処理の第3の具体例を説明する図。
【
図9】判定処理及び匿名化処理の第4の具体例を説明する図。
【
図10】判定処理及び匿名化処理の第5の具体例を説明する図。
【
図11】判定処理及び匿名化処理の第6の具体例を説明する図。
【
図12】第2の実施形態の医用画像閲覧装置の動作例を示すフローチャート。
【
図13】第3の実施形態の医用画像閲覧装置の動作例を示すフローチャート。
【
図14】他の実施形態に係る医用画像処理装置の構成例を示すブロック図。
【
図15】他の実施形態に係る医用画像診断装置の構成例を示すブロック図。
【発明を実施するための形態】
【0013】
実施形態に係る医用画像閲覧装置、医用画像処理装置、及び、医用画像診断装置について、添付図面を参照して説明する。
図1は、実施形態に係る医用画像閲覧装置100、医用画像診断装置510、及び、医用画像処理装置530を含む、医用画像処理システムの一構成例を示す図である。医用画像処理システムは、例えば、病院内において、医用画像を取得し、画像処理し、保存し、閲覧等をする、医用画像に関する一連の処理システムである。
【0014】
医用画像診断装置510は、患者等の被検体を撮像し、撮像によって収集したデータに対して再構成等の処理を施して医用画像を生成する装置である。医用画像診断装置510は、モダリティ510とも呼ばれ、X線CT装置511、MRI装置512、超音波診断装置513などを含む。
【0015】
画像サーバ520は、医用画像診断装置510で取得し、生成した医用画像や画像データを保存する装置である。医用画像処理装置530は、画像サーバ520から読み出した医用画像や画像データに対して、或いは、医用画像診断装置510から取得した医用画像や画像データに対して画像処理を行い、処理後の医用画像を画像サーバ520に保存する装置である。
【0016】
医用画像閲覧装置100は、画像サーバ520から読み出した医用画像や画像データに対して、或いは、医用画像診断装置510から取得した医用画像や画像データに対して画像処理を行って、医用画像閲覧装置100が具備するディスプレイ装置に表示するための表示画像を生成し、ディスプレイ装置に表示させる装置である。
【0017】
医用画像診断装置510、画像サーバ500、医用画像処理装置530、及び、医用画像閲覧装置100は、各種のデータや医用画像を授受できるように、例えば病院内のネットワーク500を介して互いに接続されている。
【0018】
実施形態に係る医用画像閲覧装置100、医用画像処理装置530、及び、医用画像診断装置510のうち、以下では、先ず、医用画像閲覧装置100を取り上げて、その構成及び動作について説明する。その後、医用画像処理装置530及び医用画像診断装置510について簡単に説明する。
【0019】
(第1の実施形態の構成)
図2は、第1の実施形態に係る医用画像閲覧装置100の構成例を示すブロック図である。医用画像閲覧装置100は、例えば、通信インターフェース回路10、記録媒体インターフェース回路11、処理回路20、記憶回路30、入力デバイス40、及び、ディスプレイ50を備えて構成される。医用画像閲覧装置100は、例えば、所謂ワークステーション、或いは、高性能パーソナルコンピュータとして構成される。
【0020】
通信インターフェース回路10は、有線又は無線のローカルネットワークや広域ネットワーク、インターネット、或いは、専用又は汎用の通信回線を介してデータを入出力するインターフェース回路である。また、記録媒体インターフェース回路11は、光ディスク、USBメモリ、SDメモリカード等の記憶媒体を介してデータを入出力するインターフェース回路である。
【0021】
第1の実施形態の医用画像閲覧装置100では、通信インターフェース回路10或いは記録媒体インターフェース回路11を介して、被検体が撮像された医療用の画像データを入力する。
【0022】
記憶回路30は、ROM(Read Only Memory)やRAM(Random Access Memory)の他、HDD(Hard Disk Drive)や光ディスク装置等の外部記憶装置を含む記憶媒体である。記憶回路30は、後述する各種機能の実現に必要となるデータを記憶する他、処理回路20が具備するプロセッサが実行する各種のプログラムを記憶する。
【0023】
入力デバイス40は、例えば、マウス、キーボード、トラックボール、タッチパネル等であり、各種の情報やデータを操作者が入力するための種々のデバイスを含む。
【0024】
ディスプレイ50は、液晶ディスプレイパネル、プラズマディスプレイパネル、有機ELパネル等の表示デバイスである。
【0025】
処理回路20は、例えば、CPUや、専用又は汎用のプロセッサを備える回路である。プロセッサは、記憶回路30に記憶した各種のプログラムを実行することによって、後述する各種の機能を実現する。処理回路20は、FPGA(field programmable gate array)やASIC(application specific integrated circuit)等のハードウェアで構成してもよい。これらのハードウェアによっても後述する各種の機能を実現することができる。また、処理回路20は、プロセッサとプログラムによるソフトウェア処理と、ハードウェア処理とを組み合わせて、各種の機能を実現することもできる。
【0026】
また、複数の独立したプロセッサを組み合わせて処理回路20を構成し、各プロセッサが各機能を実現してもよい。また、プロセッサが複数設けられる場合、プログラムを記憶する記憶媒体は、プロセッサごとに個別に設けられてもよいし、1つの記憶媒体が全てのプロセッサの機能に対応するプログラムを一括して記憶してもよい。
【0027】
(第1の実施形態の動作)
第1の実施形態の処理回路20は、
図2に示す各機能、即ち、画像データ取得機能21、画像処理機能22、判定機能23、及び、匿名化処理機能24を実現する。これらの各機能は、例えば、処理回路20が具備するプロセッサが、記憶回路30に記憶される所定のプログラムを実行することによって実現される。
【0028】
画像データ取得機能21は、通信インターフェース回路10或いは記録媒体インターフェース回路11を介して入力した画像データを処理回路20に取り込む機能である。画像データ取得機能21によって取得する画像データは、例えば、被検体の頭部を含む部位が撮像された医療用の画像データである。画像データの種類は、例えば、X線CT装置511、MRI装置512、或いは超音波診断装置513で撮像した3次元画像データであるが、これらに限定するものではなく、2次元のX線画像データでもよい。
【0029】
画像処理機能22は、入力した画像データから、ディスプレイ50に表示するための表示画像を、ユーザ指示に応じて生成する。例えば、表示画像としてMPR画像を生成する場合には、ユーザ指示に基づく切断断面の位置や向きに応じて3次元画像データからMPR画像を生成することになる。
【0030】
また、表示画像としてボリュームレンダリング画像を生成する場合には、ユーザ指示に基づく投影方向に応じて3次元画像データに対してボリュームレンダリング処理を施して、ボリュームレンダリング画像を生成することになる。この場合、ユーザによる回転指示に応じて投影方向が変更され、投影方向の変更にほぼリアルタイムで追従して、ボリュームレンダリング画像が逐次更新される。また、ユーザによる拡大や縮小或いは移動の指示に応じて、ボリュームレンダリング画像に対する拡大、縮小、移動処理がほぼリアルタイムで行われることになる。
【0031】
判定機能23は、表示画像から被検体の個人を特定できるか否かを判定する。そして、表示画像の表示状態がユーザ指示に応じて変更される毎に、表示画像から被検体の個人を特定できるか否かを判定する。判定機能23のより具体的な処理については後述する。
【0032】
匿名化処理機能24は、判定機能23によって表示画像から個人が特定できると判定された場合に、表示画像から個人が特定できないようにする匿名化処理を行う。表示画像から被検体の個人を特定できるか否かの判定は、表示画像の表示状態が変更される毎にリアルタイムで行われるため、これに応じて、匿名化処理も、表示画像の表示状態が変更される毎にリアルタイムで行われる。また、匿名化処理機能24は、匿名化処理後の表示画像をディスプレイ50に表示させる。
【0033】
図3は、第1の実施形態の医用画像閲覧装置100の動作例を示すフローチャートである。また、
図4乃至
図11は、第1の実施形態の医用画像閲覧装置100の動作概念を説明する図である。以下、
図3のフローに沿って、
図4乃至
図11を参照しつつ、医用画像閲覧装置100の動作をより具体的に説明していく。
【0034】
まず、
図3のステップST100で、画像データ取得機能21が、通信インターフェース回路10或いは記録媒体インターフェース回路11を介して入力した画像データを取得する。次に、ステップST101で、ユーザ指示に関する情報を取得する。さらに、ステップST102で、ユーザ指示に基づいた表示画像が生成される。
【0035】
図4は、画像データを取得し表示画像を生成するまでの処理(上記のステップST100からステップST102までの処理)の処理概念を説明する図である。ステップST100では、例えば、
図4の左側に示すような画像データを取得する。画像データの種類は特に限定するものでないが、以下では、例えば、X線CT装置511で被検体を撮像した3次元画像データを、ステップST100で取得する画像データの例として説明する。
図4に示す例では、頭部を含む男性の上半身の3次元画像データを取得している。
【0036】
ステップST101及びステップST102では、画像処理機能22が、ユーザ指示に応じて表示画像を生成する。例えば、
図4の左側に示す男性の上半身の3次元画像データの頭部を拡大し、更に、顔が正面を向くように回転させるユーザ指示を行う。ユーザ指示は、例えば、医師等のユーザによるマウスやタッチパネルの操作によって行われる。このようなユーザ指示により、
図4の右上段に示す、男性が正面を向いた状態の頭部のボリュームレンダリング画像を表示画像として生成することができる。
【0037】
また、例えば、
図4の左側に示す男性の上半身の3次元画像データの頭部を拡大し、顔が左を向くように回転させるユーザ指示を行うことにより、
図4の右中段に示す、男性が左真横を向いた状態の頭部のボリュームレンダリング画像を表示画像として生成することができる。
【0038】
また、例えば、
図4の左側に示す男性の上半身の3次元画像データの、首から下の上半身を切り出すユーザ指示を行うことにより、
図4の右下段に示す、首から下の上半身のボリュームレンダリング画像を表示画像として生成することができる。
【0039】
ステップST101及びステップST102では、ユーザがディスプレイ50に表示された表示画像を見ながら、マウスやタッチパネル等の操作を介して、3次元画像データに対して拡大、縮小、回転、移動、切り取り等のユーザ指示を行い、このユーザ指示に応じて、リアルタイムでボリュームレンダリング画像等の表示画像が生成されることになる。
【0040】
図3に戻り、ステップST103において、表示画像の最初の表示状態だけでなく、表示画像の表示状態がユーザ指示に応じて変更される毎に、表示画像から個人を特定できるか否かを判定する。
【0041】
例えば、表示画像から個人を特定するために必要な解剖学的部位を検出し、検出した解剖学的部位毎に、個人の特定のし易さを表わす部位別判定指標値を算出し、算出した部位別判定指標値を用いて表示画像から個人が特定できるか否かを判定する。
【0042】
より具体的には、上記の部位別判定指標値を、解剖学的部位毎に割り当てられた基礎値に重み付けして算出する。更に、重みづけによって算出された解剖学的部位ごとの部位別判定指標値を加算して総合判定指標値を求める。そして、この総合判定指標値に対して閾値判定を行って、表示画像から個人が特定できるか否かを判定する。
【0043】
図5は、ステップST103で行われる判定処理の概念を説明するための判定テーブルである。なお、この判定テーブルの一部を記憶回路30に保存しておき、ステップST103の判定処理に用いてもよい。
【0044】
判定テーブルの第1行は、表示画像から個人を特定するために必要な解剖学的部位として、「目」、「口」、「鼻」、及び「耳」を例示している。これら4つの解剖学的部位は、表示画像から個人を特定するために必要な、典型的な部位であると考えられる。
【0045】
判定テーブルの第2行は、各解剖学的部位に対して割り付けた基礎値が示している。ここで、基礎値とは、該当する解剖学的部位が表示画像の中に見えているか否かを示す指標値である。
図5に示す判定テーブルの例では、「目」、「口」、「鼻」、及び「耳」に対して、一律に「25」ポイントを割りつけている。
【0046】
基礎値は、表示画像の中における解剖学的部位が「どの程度見えているか」を示すものではなく、該当する解剖学的部位が表示画像中に少しでも見えていれば、フルのポイント、例えば「25」ポイントを割り付け、該当する解剖学的部位が表示画像中に全く見えていない場合に「0」ポイントを割り付けるものとしている。
【0047】
言い換えると、基礎値は、解剖学的部位が表示画像中に見えているか否かを示す指標値である。したがって、例えば、
図4の右側に示す表示画像のうち、男性が正面を向いている上段の例では、「目」、「口」、「鼻」、及び「耳」の全てが見えているため、4つの解剖学的部位の全てに対して、一律に「25」ポイントが割り付けられることになる。また、
図4の右側に示す表示画像のうち、男性が横を向いている中段の例においても、「目」、「口」、「鼻」、及び「耳」の夫々の解剖学的部位の少なくとも一部が見えているため、4つの解剖学的部位の全てに対して、一律に「25」ポイントが割り付けられることになる。
【0048】
これに対して、
図4の右側に示す表示画像のうち、下段の例では、頭部そのものが見えておらず、当然、この表示画像には、「目」、「口」、「鼻」、及び「耳」のいずれの解剖学的部位も見えない。したがって、
図4の右側の下段の表示画像に対しては、「目」、「口」、「鼻」、及び「耳」の4つの解剖学的部位の全てに対して、一律に「0」ポイントが割り付けられることになる。
【0049】
表示画像において、「目」、「口」、「鼻」、及び「耳」などの解剖学的部位が見えているか否かの判定は、例えば、テンプレートマッチングや機械学習等の公知の手法を利用することができる。テンプレートマッチングでは、解剖学的部位の夫々の形状に対応するテンプレートと、表示画像とをテンプレートマッチングすることによって、各解剖学的部位が表示画像の中に存在するか否かを判定することができる。また、機械学習では、予め、「目」、「口」、「鼻」、及び「耳」などを含む教師画像で学習させた学習済みモデルに対して表示画像を適用することにより、各解剖学的部位が表示画像の中に存在するか否かを判定することができる。
【0050】
判定テーブルの第3行と第4行は、表示画像における解剖学的部位の露出の度合いを示す重みとして、面積比重みW1及び透明度重みW2を示している。露出の度合いを示す重みWは、面積比重みW1と透明度重みW2の積となる。
【0051】
面積比重みW1は、解剖学的部位のそれぞれの全体が見えているときの当該解剖学的部位の面積に対する、表示画像の表示状態において見えている解剖学的部位の面積の比である。例えば、ある拡大率の表示画像において正面を向いた両目の面積がAであるとするとき、同じ拡大率の表示画像において、正面を向いた片目のみが見えている場合には、表示画像の表示状態での目の面積はA/2である。したがって、この場合には、面積比重みW1は、0.5となる。
【0052】
また、透明度重みW2は、表示画像において、「目」、「口」、「鼻」、及び「耳」などの解剖学的部位に対して設定されている透明度の値に対応する重みである。即ち、該当する解剖学的部位が完全に透明で、その下の組織が完全に透けて見えている場合は、透明度重みW2は0.0となる。逆に、該当する解剖学的部位が完全に不透明で、その下の組織が全く見えていない場合は、透明度重みW2は1.0となる。
【0053】
面積比重みW1と透明度重みW2は、表示画像と、その表示状態に基づいて、処理回路20の判定機能23によって決定される。
【0054】
判定テーブルの第5行は、個性重みW3を示している。個性重みW3は、該当する解剖学的部位の形状が標準的な形状とどの程度異なっているかを示す個性の強さを表す重みである。個性重みW3は、例えば、ユーザによって設定される。
【0055】
判定テーブルの第6行は、部位別判定指標値を示している。部位別判定指標値は、解剖学的部位の夫々の基礎値に、面積比重みW1、透明度重みW2、及び、個性重みW3によって重み付けした値、即ち、基礎値に各重みを乗じた値である。
【0056】
判定テーブルの第7行は、解剖学的部位の夫々の部位別判定指標値を加算して得られる総合判定指標値を示している。
【0057】
このようにして算出された総合判定指標値に対して、所定の閾値を用いた閾値判定を行うことにより、そのときの表示状態における表示画像に対して匿名化処理を行うか否かを判定する。即ち、ステップST103による上記の判定により、総合判定指標値が閾値を超えている場合は、その表示状態における表示画像から個人を特定できると判定され、ステップST104に進んで、その表示状態の表示画像に対して匿名化処理を実施する。その後、ステップST105において、匿名化処理された表示画像をディスプレイ50に表示する。ステップST104及びステップST105の処理は、
図2の匿名化処理機能24が行う。
【0058】
一方、ステップST103による判定により、総合判定指標値が閾値を超えていない場合は、その表示状態における表示画像からは個人を特定できないと判定され、匿名化処理を行うことなく、ステップST105において、その表示状態における表示画像をディスプレイ50に表示する。
【0059】
その後、ステップST106でユーザ指示情報を継続的に取得し続け、ステップST107で、表示状態が変更されたか否かを判定する。表示状態が変更されたと判定された場合には、ステップST102に戻り、ユーザ指示に基づいて変更された表示画像を生成する。例えば、マウスやタッチパネルによって、3次元画像データに対して拡大や回転処理等の表示画像を変更するためのユーザ指示を行った場合には、そのユーザ指示に基づいて、ステップST102において新たな表示画像が生成される。そして、この新たな表示画像に対して、個人を特定できるか否かの判定が行われ、個人を特定できると判定された場合には、そのときの表示画像に対して匿名化処理が行われる。
【0060】
つまり、判定機能23は、表示画像の表示状態がユーザ指示に応じて変更される毎に、表示画像から前記被検体の個人を特定できるか否かを判定する。そして、匿名化処理機能24は、表示画像から個人が特定できると判定された場合に、その表示画像から個人が特定できないようにする匿名化処理を、表示画像の表示状態が変更される毎にリアルタイムで行い、匿名化処理後の表示画像をディスプレイ50に表示させる。
【0061】
ここで、匿名化処理は、表示画像又は3次元画像データの解剖学的部位の上皮領域に対して、マスキング処理、透明化処理、平滑化処理、変形処理、脱毛処理、及び、増毛処理の少なくとも1つの処理を行って、被検体の個人の特定を困難化する処理である。なお、3次元画像データに対してこれらの匿名化処理を行う場合は、表示画像を生成するために3次元画像データを一時的に加工してレンダリング処理を行うだけであり、元の3次元画像データを恒久的に加工するわけではない。
【0062】
また、上記の匿名化処理を行う解剖学的部位を、部位別判定指標値の大きさに基づいて選択してもよい。例えば、「耳」や「鼻」の部位別判定指標値が、「目」や「口」の部位別判定指標値より小さい場合、「目」や「口」に対しては匿名化処理を行い、「耳」や「鼻」に対しては匿名化処理を行わない、といった処理も考えられる。
【0063】
以下、
図6乃至
図11を用いて、上述した動作の具体例について説明する。
図6は第1の具体例を示す図である。
図6の左上に示すように、第1の具体例の表示画像は、正面を向いた被検体の頭部が拡大されたボリュームレンダリング画像である。
【0064】
図6の下部中央に、第1の具体例の表示画像に対応する判定テーブルを例示している。第1の具体例の表示画像では、「目」、「口」、「鼻」、及び「耳」の全てが見えているため、これらに対応する全ての基礎値に対して、「25」ポイントが割り付けられている。また、被検体が正面を向いているため、すべての部位が隠れることなく、また、傾きによる面積の減少もないことから、「目」、「口」、「鼻」、及び「耳」のすべての面積比重みW1に対して、「1.0」の重みが割り付けられている。
【0065】
また、この表示画像の「目」、「口」、「鼻」、及び「耳」に対しては透明処理が施されておらず、完全な不透明となっているため、「目」、「口」、「鼻」、及び「耳」のすべての透明度重みW2に対しても、「1.0」の重みが割り付けられている。
【0066】
一方、この被検体は、目と口に個性が強く現れており、これらに対して鼻と耳に関しては比較的一般的な形状であり個性がそれほど強く現れていないと考えられる。このため、「目」と「口」に対しては、個性重みW3として「1.0」が割り付けられ、「鼻」と「耳」に対しては「0.4」が割り付けられている。
【0067】
この結果、部位別判定指標値は、「目」、「口」、「鼻」、及び「耳」に対して、夫々、「25」、「25」、「10」、及び「10」と算出される。さらに、これらの部位別判定指標値を加算して、総合判定指標値が「70」として算出される。
【0068】
この総合判定指標値は、予め定めている閾値「30.0」よりも大きいため、匿名化処理を実施する、と判定される。
【0069】
図6右上部の表示画像は、匿名化処理後の表示画像を例示している。
図6右上部の表示画像では、目、鼻、及び口を白抜きするマスキング処理を施すことにより、匿名化処理を行っている。
【0070】
図7は第2の具体例を示す図である。
図7の中央上部に示すように、第2の具体例の表示画像は、第1の具体例の表示画像の頭部を、左向きに45度回転させたボリュームレンダリング画像である。
【0071】
図7の下部中央には、第2の具体例の表示画像に対応する判定テーブルを例示している。第2の具体例の表示画像においても、「目」、「口」、「鼻」、及び「耳」の夫々の少なくとも一部は見えているため、これらの各部位に対応する全ての基礎値に対して、「25」ポイントが割り付けられている。
【0072】
一方、面積比重みW1に関しては、被検体が45度だけ左側を向いているため左耳が隠れている。したがって、「耳」に対する面積比重みW1を「0.5」に設定している。また、「目」、「口」、「鼻」が見えている面積は、被検体が45度だけ左側を向いているため、正面を向いた時の面積に比べて減少している。そこで、「目」、「口」、「鼻」に対する面積比重みW1を、夫々「0.7」に設定している。なお、透明度重みW2と個性重みW3は、第1の具体例を同じ値を割り付けている。
【0073】
この結果、部位別判定指標値は、「目」、「口」、「鼻」、及び「耳」に対して、夫々、「17.5」、「17.5」、「7.0」、及び「5.0」と算出される。そして、これらの部位別判定指標値を加算して、総合判定指標値が「47.0」として算出される。
【0074】
この総合判定指標値は、閾値「30.0」よりも大きいため、匿名化処理を実施する、と判定される。
【0075】
図7右上部の表示画像は、匿名化処理後の表示画像を例示している。
図7右上部の表示画像では、第1の具体例を同様に、目、鼻、及び口を白抜きするマスキング処理を施すことにより、匿名化処理を行っている。
【0076】
図8は第3の具体例を示す図である。
図8の中央上部に示すように、第3の具体例の表示画像は、第1の具体例の表示画像の頭部を、左向きに90度回転させたボリュームレンダリング画像である。
【0077】
図8の下部中央には、第3の具体例の表示画像に対応する判定テーブルを例示している。第3の具体例の表示画像においても、「目」、「口」、「鼻」、及び「耳」の夫々の少なくとも一部は見えているため、これらの各部位に対応する全ての基礎値に対して、「25」ポイントが割り付けられている。
【0078】
一方、面積比重みW1に関しては、被検体が90度だけ左側を向いているため左目と左耳が隠れている。また、「目」、「口」、「鼻」が見えている面積は、被検体が90度だけ左側を向いているため、正面を向いた時の面積に比べて減少している。そこで、「目」、「口」、「鼻」、「耳」に対する面積比重みW1を、夫々、「0.4、」、「0.4、」、「0.6」、及び「0.5、」設定している。なお、透明度重みW2と個性重みW3は、第1の具体例を同じ値を割り付けている。
【0079】
この結果、部位別判定指標値は、「目」、「口」、「鼻」、及び「耳」に対して、夫々、「10.0」、「10.0」、「6.0」、及び「5.0」と算出される。そして、これらの部位別判定指標値を加算して、総合判定指標値が「31.0」として算出される。
【0080】
この総合判定指標値は、閾値「30.0」よりも大きいため、匿名化処理を実施する、と判定される。
【0081】
図8右上部の表示画像は、匿名化処理後の表示画像を例示している。
図8右上部の表示画像では、第1、第2の具体例を同様に、目、鼻、及び口を白抜きするマスキング処理を施すことにより、匿名化処理を行っている。
【0082】
図9は第4の具体例を示す図である。
図9の中央上部に示すように、第4の具体例の表示画像は、第1の具体例の表示画像の頭部を、左向きに135度回転させたボリュームレンダリング画像である。
【0083】
図9の下部中央には、第4の具体例の表示画像に対応する判定テーブルを例示している。第4の具体例の表示画像では、「目」、「口」、「鼻」は全く見えておらず、右耳の一部が見えているだけである。そこで、「目」、「口」、「鼻」及び「耳」の夫々の基礎値に対して、「0」、「0」、「0」及び「25」ポイントが割り付けられている。
【0084】
この結果、「目」、「口」、「鼻」の部位別判定指標値は、重みの値に関わらず、いずれも「0.0」となる。一方、「耳」に関しては、基礎値の「25ポイント」に、面積比重みW1の「0.5」、透明度重みW2の「1.0」及び個性重みW3の「0.4」が夫々乗ぜられて、部位別判定指標値は「5.0」となる。これらの部位別判定指標値を加算して、総合判定指標値が「5.0」として算出される。この総合判定指標値は、閾値「30.0」よりも小さいため、匿名化処理を実施しない、と判定される。
【0085】
図9右上部の表示画像は、
図9の中央上部の表示画像と同じ画像であり、匿名化処理が行われていないこの画像が、ディスプレイ50に表示される。
【0086】
図10は第5の具体例を示す図である。
図10の中央上部に示すように、第5の具体例の表示画像は、第1の具体例の表示画像の頭部を、左向きに180度回転させた、即ち、後ろ向きの頭部のボリュームレンダリング画像である。
【0087】
第5の具体例の表示画像は、第4の具体例の表示画像と同様に、「目」、「口」、「鼻」は全く見えておらず、左右の耳の一部が見えているだけである。そこで、「目」、「口」、「鼻」及び「耳」の夫々の基礎値に対して、「0」、「0」、「0」及び「25」ポイントが割り付けられている。
【0088】
この結果、「目」、「口」、「鼻」の部位別判定指標値は、重みの値に関わらず、いずれも「0.0」となる。一方、「耳」に関しては、基礎値の「25ポイント」に、面積比重みW1の「1.0」、透明度重みW2の「1.0」及び個性重みW3の「0.4」が夫々乗ぜられて、部位別判定指標値は「10.0」となる。これらの部位別判定指標値を加算して、総合判定指標値が「10.0」として算出される。この総合判定指標値は、閾値「30.0」よりも小さいため、匿名化処理を実施しない、と判定される。
【0089】
図10右上部の表示画像は、
図10の中央上部の表示画像と同じ画像であり、匿名化処理が行われていないこの画像が、ディスプレイ50に表示される。
【0090】
図11は第6の具体例を示す図である。
図11の中央上部に示すように、第6の具体例の表示画像は、第1の具体例の表示画像の頭部のうち、左目の部分だけが表示されるように拡大させたボリュームレンダリング画像である。
【0091】
第6の具体例の表示画像では、第4の具体例の表示画像と同様に、「口」、「鼻」及び「耳」は全く見えておらず、左目のみが見えているだけである。そこで、「口」、「鼻」及び「耳」の基礎値には「0」ポイントが割り付けられ、「目」の基礎値のみに「25」ポイントが割り付けられている。
【0092】
この結果、「「口」、「鼻」及び「耳」の部位別判定指標値は、重みの値に関わらず、いずれも「0.0」となる。一方、「目」に関しては、基礎値の「25ポイント」に、面積比重みW1の「0.5」、透明度重みW2の「1.0」及び個性重みW3の「1.0」が夫々乗ぜられて、部位別判定指標値は「12.5」となる。これらの部位別判定指標値を加算して、総合判定指標値が「12.5」として算出される。この総合判定指標値は、閾値「30.0」よりも小さいため、匿名化処理を実施しない、と判定される。
【0093】
図11右上部の表示画像は、
図11の中央上部の表示画像と同じ画像であり、匿名化処理が行われていないこの画像が、ディスプレイ50に表示される。
【0094】
以上説明してきた第1の実施形態の医用画像閲覧装置100によれば、表示画像から被検体の個人を特定できるか否かを判定し、個人を特定できると判定された場合に表示画像に対して匿名化処理を施すものとしている。そして、回転/移動、拡大/縮小等のユーザの指示に応じて表示画像の表示状態が変更される毎に、個人を特定できるか否かをリアルタイムで判定し、その判定結果に応じて、匿名化処理をリアルタイムで行うものとしている。
【0095】
このような処理により、第1の実施形態の医用画像閲覧装置100を用いて、例えば、ある被検体の画像データを学会発表や医学部の教材等に使用するためにディスプレイ50を介して表示させる場合でも、表示画像から個人を特定することを防止することができる。また、匿名化処理は、元々の画像データを恒久的に加工するのではなく、画像データから生成した表示画像を加工する、或いは、画像データを加工する場合でも、表示画像を生成し、ディスプレイ50に表示している期間にだけ画像データを加工するものである。したがって、目、鼻、口、耳等の頭部の診断や治療に大きな支障をきたすことはない。例えば、顔全体を表示する第1の具体例(
図6参照)の表示画像では、目、鼻、口等がマスキングされるものの、その後、ユーザ操作によって表示画像の表示状態を変更することによって、例えば目の診断や治療のために左目のみを拡大した第6の具体例(
図11参照)の表示画像の表示状態に変更することにより、匿名化処理を簡単に解除することができる。
【0096】
(第2の実施形態)
図12は、第2の実施形態の医用画像閲覧装置100の動作例を示すフローチャートである。第1の実施形態との相違点は、表示画像から個人を特定できるか否かの判定において、第1の実施形態で用いた判定テーブルを利用する方法に換えて、ステップST200の処理を付加し、人工知能(AI)技術を含む顔認識技術によって、表示画像から被検体の個人を特定できるか否かを判定する点である。
【0097】
例えば、上述した表示画像に対して、人工知能を用いた顔認識を行わせ、人工知能が判定した個人を特定する際の確実性を示す信頼度等の指標値を取得し、この指標値に対する閾値判定によって、匿名化処理を実施するか否かを判定してもよい。
【0098】
第2の実施形態の医用画像閲覧装置100においても、第1の実施形態と同様の効果を得ることができる。なお、第2の実施形態の構成例は、第1の実施形態の構成例(
図2に示すブロック図)と同じである。
【0099】
(第3の実施形態)
図13は、第3の実施形態の医用画像閲覧装置100の動作例を示すフローチャートである。第3の実施形態との相違点は、表示画像から個人を特定できるか否かを判定するステップST103の処理の前に、匿名化処理が必要か否かを判定するステップST300を付加している点である。
【0100】
例えば、ある被検体の診断のためにその担当医のオーダで撮像した画像をその担当医が閲覧しようとする場合には、その担当医はその被検体個人の顔を知っているため、そもそも匿名化処理は不要である。このような場合には、その画像の撮像をオーダした担当医の識別情報と、閲覧しているユーザ(即ち、同じ担当医)の識別情報とから、匿名化処理が不要であると判定することができる。
【0101】
また、被検体を撮像した病院内で画像データを使用するときには匿名化処理は不要とし、学会発表等、病院外で画像データを使用するときには匿名化処理を必要とするケースもあり得る。このような場合、画像データの規格情報に基づいて、匿名化処理が必要か否かを判定することもできる。例えば、画像データの規格情報が、DICOM規格である場合には病院内での使用が想定されるため、匿名化処理は不要であると判定する。その一方で、画像データの規格情報がJPEG等の汎用的な規格である場合には、匿名化処理が必要であると判定することもできる。
【0102】
第3の実施形態の医用画像閲覧装置100によれば、第1、第2の実施形態の効果に加えて、匿名化処理の要、不要を、簡便に判定することができる。
【0103】
(他の実施形態)
図14は、上述した医用画像閲覧装置100から、マウスやキーボード等の入力デバイス40と、ディスプレイ50とを取り除いた構成の医用画像処理装置530の構成例を示す図である。医用画像処理装置530は、いわば、ワークステーション本体部分の構成に該当する装置である。
図14に示した構成から判るように、医用画像処理装置530の構成は前述した医用画像閲覧装置100と実質的に同じであり、説明を省略する。医用画像処理装置530によっても、前述した医用画像閲覧装置100の各実施形態と同様の効果が得られる。
【0104】
図15は、前述した医用画像閲覧装置100の構成を、X線CT装置511、MRI装置512、超音波診断装置513などの医用画像診断装置510(即ち、モダリティ510)に組み込んだ構成例を示す図である。一般に、医用画像診断装置510は、ガントリやプローブを有する撮像部(即ち、スキャナ)600と、制御部とを有している。制御部は、撮像部600で撮像したデータを処理して画像を生成する処理回路20や、生成した画像を表示するディスプレイ50等を有している。
図15に示した構成から判るように、医用画像診断装置510の構成は前述した医用画像閲覧装置100と実質的に同じであり、説明を省略する。医用画像診断装置510によっても、前述した医用画像閲覧装置100の各実施形態と同様の効果が得られる。
【0105】
なお、上述した各実施形態では、被検体の個人を特定できるか否かの判定の対象を、主に「顔(或いは頭部)」とし、さらに、判定に用いる要素として、「目」、「口」、「鼻」「耳」等の個々の解剖学的部位を用いる例を説明してきた。
【0106】
しかしながら、各実施形態における判定の対象や、判定に用いる要素は、これらに限定されるものではなく、被検体の、より広い範囲を判定の対象にすることもできるし、或いは、逆に、より狭い範囲を判定の対象にすることもできる。
【0107】
例えば、被検体の個人を特定できるか否かの判定の対象を、「上半身全体」とし、判定に用いる要素として、上半身の内部の1つ又は2つ以上の解剖学的部位、例えば、肋骨走行の形態や頭部形状等を用いてもよい。
【0108】
また例えば、被検体の個人を特定できるか否かの判定の対象を、「顔の中の特定の部位」、例えば「鼻」とし、判定に用いる要素として、鼻の中の解剖学的部位、例えば、鼻腔や鼻骨等を用いてもよい。
【0109】
以上説明した少なくとも1つの実施形態によれば、診断や治療といった医用画像の本来の目的を損ねることなく、医用画像から個人を判別し特定されることを防止することができる。
【0110】
なお、各実施形態の記載における画像データ取得機能及び画像処理機能は、特許請求の範囲の記載における生成部の一例である。また、各実施形態の記載における判定機能及び匿名化処理機能は、特許請求の範囲の記載における判定部及び処理部の一例である。
【0111】
なお、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【0112】
20 処理回路
21 画像データ取得機能
22 画像処理機能
23 判定機能
24 匿名化処理機能
30 記憶回路
40 入力デバイス
50 ディスプレイ
100 医用画像閲覧装置
510 医用画像診断装置
520 画像サーバ
530 医用画像処理装置