(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-07-26
(45)【発行日】2024-08-05
(54)【発明の名称】放射線撮影システム、放射線撮影方法、画像処理装置およびプログラム
(51)【国際特許分類】
A61B 6/04 20060101AFI20240729BHJP
A61B 6/08 20060101ALI20240729BHJP
G06T 1/00 20060101ALI20240729BHJP
A61B 6/00 20240101ALI20240729BHJP
【FI】
A61B6/04 535
A61B6/08 500
G06T1/00 340B
A61B6/00 560
(21)【出願番号】P 2019208330
(22)【出願日】2019-11-18
【審査請求日】2022-10-17
(73)【特許権者】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】100126240
【氏名又は名称】阿部 琢磨
(74)【代理人】
【識別番号】100223941
【氏名又は名称】高橋 佳子
(74)【代理人】
【識別番号】100159695
【氏名又は名称】中辻 七朗
(74)【代理人】
【識別番号】100172476
【氏名又は名称】冨田 一史
(74)【代理人】
【識別番号】100126974
【氏名又は名称】大朋 靖尚
(72)【発明者】
【氏名】清水 康友
(72)【発明者】
【氏名】池田 勇一
【審査官】松岡 智也
(56)【参考文献】
【文献】特開2014-117368(JP,A)
【文献】特開2015-198824(JP,A)
【文献】国際公開第2013/085048(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 6/00-6/58
(57)【特許請求の範囲】
【請求項1】
放射線を用いて被検体を撮影するための放射線撮影システムであって、
第1の時間に取得された前記被検体の第1の光学画像に基づいて、前記第1の光学画像に関連する前記被検体の骨格を示す情報と関節角度を示す情報の少なくとも一方の情報と、前記第1の光学画像と、を含む第1の処理画像を生成する第1の生成手段と、
前記第1の光学画像よりも過去に撮影された光学画像のうち、前記第1の光学画像の撮影条件に基づいて得られた第2の光学画像が存在するか否かを判定する判定手段と、
前記第2の光学画像が存在すると判定された場合に、前記第2の光学画像に関連する前記被検体の骨格を示す情報と関節角度を示す情報
の少なくとも一方の情報と
、前記第2の光学画像と
、を含む第2の処理画像を生成する第2の生成手段と、
前記第1の処理画像および前記第2の処理画像を重畳した状態で表示部に表示させる表示制御手段と、
を備える放射線撮影システム。
【請求項2】
前記第1の生成手段は、
前記第1の光学画像に関連する前記被検体の骨格を示す情報
と関節角度を示す情報の少なくとも一方の情報を前記第1の光学画像に重畳することにより第1の処理画像を生成し、
前記第2の生成手段は、
前記第2の光学画像に関連する前記被検体の骨格を示す情報
と関節角度を示す情報の少なくとも一方の情報を前記第2の光学画像に重畳することにより第2の処理画像を生成する請求項1に記載の放射線撮影システム。
【請求項3】
前記第1の生成手段は、前記第1の光学画像において、
前記第1の光学画像に関連する前記被検体の骨格の位置
と関節角度のうち少なくとも一方の情報が視認可能なように前記第1の光学画像を構成する画素の画素値を変更することにより前記第1の処理画像を生成し、
前記第2の生成手段は、前記第2の光学画像において、
前記第2の光学画像に関連する前記被検体の骨格の位置
と関節角度のうち少なくとも一方の情報が視認可能なように前記第2の光学画像を構成する画素の画素値を変更することにより前記第2の処理画像を生成する請求項1に記載の放射線撮影システム。
【請求項4】
前記第1の光学画像および前記第1の光学画像に関連する
前記被検体の骨格を示す情報
と関節角度を示す情報、または、前記第1の処理画像のうち少なくとも一方を記憶部に記憶する記憶手段をさらに備える請求項1乃至3のいずれか1項に記載の放射線撮影システム。
【請求項5】
前記記憶手段は、前記第1の光学画像と、前記第1の光学画像に関連する
前記被検体の骨格を示す情報
と関節角度を示す情報
と、前記第1の処理画像
と、を記憶部に記憶する請求項4に記載の放射線撮影システム。
【請求項6】
前記第1の光学画像から
前記第1の光学画像に関連する前記被検体
の骨格
と関節角度
とを推定する推定手段をさらに備え、
前記第1の生成手段は、前記推定手段により推定された前記
第1の光学画像に関連する前記被検体の骨格
と関節角度とに基づいて生成された
、前記第1の光学画像に関連する前記被検体
の骨格を示す情報と関節角度を示す情報
の少なくとも一方の情報に基づいて前記第1の処理画像を生成する請求項1乃至5のいずれか1項に記載の放射線撮影システム。
【請求項7】
前記推定手段は、人体を撮像した複数の光学画像を入力データとし、該複数の光学画像の前記人体における骨格を示す情報と関節角度を示す情報とを正解データとして学習した学習モデルを用いて、前記第1の光学画像から
前記第1の光学画像に関連する前記被検体
の骨格
と関節角度とを推定する請求項
6に記載の放射線撮影システム。
【請求項8】
前記撮影条件は、患者ID、検査ID、検査部位あるいは撮影方向の情報を含む請求項
1乃至7のいずれか1項に記載の放射線撮影システム。
【請求項9】
前記第1の処理画像と前記第2の処理画像の生成に関する設定の選択をユーザから受け付ける受付手段をさらに備え、
前記表示制御手段は、前記受付手段により選択された設定に基づいた情報を前記表示部に表示させる請求項1乃至
8のいずれか1項に記載の放射線撮影
システム。
【請求項10】
前記第1の生成手段は、前記受付手段により受け付けられた設定に基づいて、前記第1の処理画像を生成し、
前記第2の生成手段は、前記受付手段により受け付けられた設定に基づいて、前記第2の処理画像を生成する請求項
9に記載の放射線撮影システム。
【請求項11】
前記受付手段は、前記第1の光学画像、前記骨格を示す情報、あるいは、前記関節角度を示す情報のうち、少なくとも1つの情報について、前記表示部に表示するか否かの設定を受け付ける請求項
9または
10に記載の放射線撮影システム。
【請求項12】
前記表示制御手段は、前記表示部に表示された前記第1の光学画像、前記第1の処理画像及び前記第2の処理画像を左右に反転表示が可能である請求項1乃至
11のいずれか1項に記載の放射線撮影システム。
【請求項13】
第1の時間に取得された被検体の第1の光学画像に基づいて、前記第1の光学画像に
関連する前記被検体の骨格を示す情報と関節角度を示す情報の少なくとも一方の情報と前記第1の光学画像とを含む第1の処理画像を生成する第1の生成手段と、
前記第1の光学画像よりも過去に撮影された光学画像のうち、前記第1の光学画像の撮影条件に基づいて得られた第2の光学画像が存在するか否かを判定する判定手段と、
前記第2の光学画像が存在すると判定された場合に、前記第2の光学画像に
関連する前記被検体の骨格を示す情報と関節角度を示す情報の少なくとも一方の情報と
、前記第2の光学画像と
、を含む第2の処理画像を生成する第2の生成手段と、
前記第1の処理画像および前記第2の処理画像を重畳した状態で表示部に表示させる表示制御手段と、
を備える画像処理装置。
【請求項14】
放射線を用いて被検体を撮影するための放射線撮影方法であって、
第1の時間に取得された前記被検体の第1の光学画像に基づいて、前記第1の光学画像に関連する前記被検体の骨格を示す情報と関節角度を示す情報の少なくとも一方の情報と前記第1の光学画像とを含む第1の処理画像を生成する第1の生成工程と、
前記第1の光学画像よりも過去に撮影された光学画像のうち、前記第1の光学画像の撮影条件に基づいて得られた第2の光学画像が存在するか否かを判定する判定工程と、
前記第2の光学画像が存在すると判定された場合に、前記第2の光学画像に関連する前記被検体
の骨格を示す情報
と関節角度を示す情報
の少なくとも一方の情報と
、前記第2の光学画像と
、を含む第2の処理画像を生成する第2の生成工程と、
前記第1の処理画像および前記第2の処理画像を重畳した状態で表示部に表示させる表示制御工程と、
を含む放射線撮影方法。
【請求項15】
請求項
14に記載の放射線撮影方法をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、放射線撮影システム、放射線撮影方法、画像処理装置およびプログラムに関する。
【背景技術】
【0002】
従来、医療分野における放射線撮影システムを用いた撮影において、経過観察の再診等で過去と同一の姿勢で撮影部位の撮影を行う場合がある。このような場合、医師等のユーザが過去に撮影された画像から同一姿勢を判断しなければならず、患者の姿勢の位置決めに時間がかかってしまうという問題があった。
【0003】
近年、上記の問題に対し、次のような構成を有するものが存在する。
【0004】
特許文献1では、放射線発生装置に光学式カメラを取り付け、放射線発生装置が放射線を発生した際に光学式カメラにより撮影される光学画像を放射線画像および患者の撮影条件と共に記憶する。そして、光学画像からガイド画像を生成し、以降の同一患者の撮影時に撮影システムの表示装置に表示された光学動画像上にガイド画像を重畳表示する技術が開示されている。
【先行技術文献】
【特許文献】
【0005】
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、過去に検査を行った光学画像をガイドとして重畳表示するだけでは、関節を撮影する場合など、患者の骨格や関節角度を把握しながら位置決めを行うことが望ましい場合に、必ずしも位置決めの再現性を向上させられない可能性があった。
【0007】
本発明は上記課題に鑑みてなされたものであり、放射線撮影システムを用いた撮影において、患者の姿勢の位置決めの再現性を向上させることを目的とする。
【課題を解決するための手段】
【0008】
本開示に係る放射線撮影システムの一つは、
放射線を用いて被検体を撮影するための放射線撮影システムであって、
第1の時間に取得された前記被検体の第1の光学画像に基づいて、前記第1の光学画像に関連する前記被検体の骨格を示す情報と関節角度を示す情報の少なくとも一方の情報と、前記第1の光学画像と、を含む第1の処理画像を生成する第1の生成手段と、
前記第1の光学画像よりも過去に撮影された光学画像のうち、前記第1の光学画像の撮影条件に基づいて得られた第2の光学画像が存在するか否かを判定する判定手段と、
前記第2の光学画像が存在すると判定された場合に、前記第2の光学画像に関連する前記被検体の前記骨格を示す情報と関節角度を示す情報の少なくとも一方の情報と、前記第2の光学画像と、を含む第2の処理画像を生成する第2の生成手段と、
前記第1の処理画像および前記第2の処理画像を重畳した状態で表示部に表示させる表示制御手段と、を備える。
【発明の効果】
【0009】
本発明によれば、放射線撮影システムを用いた撮影において、患者の姿勢の位置決めの再現性を向上させられる。
【図面の簡単な説明】
【0010】
【
図1】実施形態1に係る医用画像システムのシステム構成の一例を示す図
【
図2】実施形態1に係る放射線撮影制御装置の構成の一例を示す図
【
図3】実施形態1に係る放射線撮影制御装置の構成の一例を示す図
【
図4】実施形態1に係る放射線撮影制御装置の処理工程の一例を示すフローチャート
【
図5】実施形態1に係る放射線撮影制御装置の患者撮影時の表示部の表示構成の一例を示す図
【
図6】実施形態1に係る放射線撮影制御装置の患者情報の一例を示す構成図
【
図7】実施形態1に係る放射線撮影制御装置の過去に同一姿勢で検査を実施した患者を撮影する時の表示部の表示構成の一例を示す図
【
図8】実施形態2に係る放射線撮影制御装置のガイド画像の設定画面構成の一例を示す図
【
図9】実施形態2に係る放射線撮影制御装置の過去に同一姿勢で検査を実施した患者を撮影する時の表示部の表示構成の一例を示す図
【
図10】実施形態3に係る放射線撮影制御装置の構成の一例を示す図
【
図11】実施形態3に係る放射線撮影制御装置の処理工程の一例を示すフローチャート
【
図12】実施形態3に係る放射線撮影制御装置の患者撮影時の表示部の表示構成の一例を示す図
【発明を実施するための形態】
【0011】
以下、添付図面に従って本発明に係る放射線撮影システムの好ましい実施形態について詳説する。ただし、この実施形態に記載されている構成要素はあくまで例示であり、本発明に係る放射線撮影システムの技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。また、本発明に係る下記実施形態に限定されるものではなく、本発明の趣旨に基づき種々の変形(各実施例の有機的な組合せを含む)が可能であり、それらを本発明の範囲から除外するものではない。即ち、後述する各実施例およびその変形例を組み合わせた構成も全て本発明の実施形態に含まれるものである。
【0012】
[実施形態1]
本実施形態に係る放射線撮影システムは、患者を撮影した光学画像を表示装置に表示し、その光学画像を見ながら放射線撮影時の位置決めが可能な放射線撮影システムであって、検査時の位置決め精度の向上を目的としたものである。
【0013】
より具体的には、検査対象となる患者を撮影した光学画像(現在画像)に骨格を示す情報や関節角度を示す情報を重畳して表示しつつ、その画像に対して、過去に同一姿勢で撮影した過去画像に関連する骨格を示す情報や関節角度を示す情報が重畳されている。そして、検査者は、過去画像に関連する重畳表示された骨格を示す情報や関節角度を示す情報と、現在画像に重畳表示された骨格を示す情報や関節角度を示す情報とに基づいて位置決めを行うことができる。
【0014】
本実施形態においては、骨格を示す情報と関節角度を示す情報の2つの情報を光学画像に重畳する形態を例として説明するが、必ずしも2つの情報を重畳する必要はなく、骨格を示す情報と関節角度を示す情報のうち少なくとも一方の情報が光学画像に重畳されていればよい。なお、いずれか一方の情報のみを光学画像に重畳する場合には、現在画像に対して重畳する情報と、過去画像に対して重畳する情報は一致していることが望ましい。しかしながら、現在画像に重畳する情報と過去画像に重畳する情報とは完全一致している必要はなく、部分的に一致していればよい。
【0015】
また、本実施形態では放射線撮影システムを例に説明を行うが、撮影を行うモダリティは、MRI装置、3次元超音波撮影装置、光音響トモグラフィ装置などであってもよい。すなわち、過去と現在とで同じ条件で撮影することが求められる装置であれば本発明が適用可能である。さらに、検査対象となる患者を撮影することにより得られる光学画像は、必ずしも1つの画像取得装置により取得された画像である必要はなく、異なる画像取得装置により得られた画像であってもよい。
【0016】
以下では、本実施形態のシステム構成について、
図1から
図3を用いて説明する。
【0017】
図1は、本実施形態の放射線撮影システム全体の構成例である。本システムは、ネットワーク140を介して、放射線撮影制御装置100と放射線撮影装置110、放射線発生装置120、画像取得装置130から構成される。なお、ネットワーク140は、有線ネットワークでも無線ネットワークでもよい。
【0018】
放射線撮影制御装置100は、放射線撮影装置110と通信し、放射線撮影を制御する、コンピュータなどの情報処理装置で構成される装置である。また、放射線撮影制御装置100は、放射線発生装置120と通信し、放射線発生装置120から放射線を照射した際の情報を取得する。さらに、放射線撮影制御装置100は、画像取得装置130と通信し、画像取得装置130の制御、および、画像取得装置130が撮影した画像を取得する。
【0019】
放射線撮影装置110は、FPD(Flat Panel Detector)などを含む装置であって、入射した放射線に基づく放射線画像を生成する。放射線撮影制御装置100からの指示により撮影可能状態へと遷移する。そして、放射線発生装置120と同期を取りながらユーザが設定した所定の撮影条件で放射線撮影を実施し、放射線発生装置120から照射された放射線に基づき画像を生成する装置である。すなわち、放射線撮影装置110は、被検体に対して照射された放射線に基づいて放射線画像を取得する取得手段の一例に相当する。
【0020】
なお、放射線撮影装置110の台数は一台に限定されるものではなく、複数台の放射線撮影装置を用いる構成でも良い。
【0021】
放射線発生装置120は、曝射スイッチ121による放射線照射指示を検知し、操作パネルなどのユーザ操作を受け付けるユーザ入力装置(不図示)により設定された照射情報を元に、管球122より放射線を発生させる装置である。
【0022】
画像取得装置130は、放射線撮影制御装置100からの指示により撮影を行い、画像を取得する装置である。本実施形態では、画像取得装置130に光学カメラを用い、光学画像を取得するものとする。すなわち、画像取得装置130は、被検体を光学的に撮影することにより光学画像を取得する。なお、撮影された画像情報を取得可能であれば、画像取得装置130の構成に制限はない。また、本実施形態では、画像取得装置130は管球122に取り付けられ、管球122の放射線発生方向の撮影を行うものとする。
【0023】
図2は、本実施形態の放射線撮影システムの放射線撮影制御装置100のハードウェア構成例である。
【0024】
放射線撮影制御装置100は、ネットワーク140に接続するネットワーク装置201、キーボードなどユーザ操作を受け付けるユーザ入力装置202を有する。
【0025】
また、放射線撮影制御装置100は、液晶ディスプレイなど操作画面、放射線画像を表示するUI表示装置203、放射線撮影制御装置全体を制御するCPU204を有する。
【0026】
さらに、放射線撮影制御装置100は、CPU204のワークスペースを提供するRAM205、各種制御プログラム、および放射線撮影装置110から受信した放射線画像、並びに画像取得装置130から受信した画像情報などを記憶する記憶装置206を有する。
【0027】
ここで、放射線撮影制御装置100を構成する各装置は、メインバス207で接続されており、相互にデータの送受信が可能である。
【0028】
なお、ユーザ入力装置202とUI表示装置203を別々の装置として記載しているが、これらの装置が一体となった操作部としてもよい。
【0029】
図3は、本実施形態の放射線撮影システムの放射線撮影制御装置100の機能構成例である。
【0030】
図3に示す各機能部は、放射線撮影制御装置100上のCPU204が、記憶装置206に記憶される制御プログラムをRAM205上に読み出して実行することで実現される。
【0031】
放射線撮影制御装置100は、通信部301、システム制御部302、画像処理部303、表示制御部304、記憶部305、骨格生成部306、ガイド画像生成部307、判定部308を有する。
【0032】
通信部301は、ネットワーク装置201を制御して通信を行うソフトウェアである。
【0033】
システム制御部302は、通信部301を介して、画像取得装置130の制御、および放射線発生装置120の照射情報や放射線撮影装置110の撮影情報の取得、並びに各々の状態管理を行う。また、システム制御部302は、通信部301を介して、放射線撮影装置110から放射線画像を、画像取得装置130から光学画像を、各々取得する。
【0034】
さらに、システム制御部302は、放射線撮影制御装置100の基本的な機能を実現するプログラムであり、各部の動作制御を行う。
【0035】
画像処理部303は、システム制御部302を介して取得した放射線画像を処理し、放射線撮影制御装置100で使用する画像を生成する。
【0036】
表示制御部304は、画像処理部303により生成された画像を、UI表示装置203を介して表示する。また、表示制御部304は、ガイド画像生成部307が生成したガイド画像を、UI表示装置203を介して表示する。また、表示制御部304は、過去に同一姿勢で撮影された画像から生成された過去ガイド画像を、UI表示装置203を介して表示する。さらに、表示制御部304は、ユーザ入力装置202からの操作に基づきシステム制御部302で指示される画像への処理反映や、UI表示装置203の画面表示の切り替え処理などを行う。
【0037】
記憶部305は、画像処理部303が生成した放射線画像や、放射線画像に関連する患者の撮影条件(患者ID、検査ID、検査部位、撮影方向など)、および放射線発生装置120の照射情報(管電圧や管電流など)を保存する。また、記憶部305は、放射線画像に関連する、ガイド画像生成部307が生成したガイド画像をあわせて保存する。
【0038】
骨格生成部306は、画像取得装置130から得られた光学画像を用いて、光学画像内の患者の骨格、および関節角度を推定し、骨格を示す情報と関節角度を示す情報を生成する。具体的には、骨格生成部306は、人体を撮像した光学画像を入力データとし、撮像された人体の骨格および関節角度をラベルとして機械学習を行うことにより得られる学習済みモデルを用いて、現在画像における患者の骨格および関節角度を推定する。そして、推定された骨格および関節角度から骨格を示す情報と関節角度を示す情報を生成する。
【0039】
ここで、学習済みモデルとは、サポートベクターマシンやニューラルネットワークを利用した深層学習(ディープラーニング)等の機械学習アルゴリズムに従った機械学習モデルであって、予め適切な学習データを用いて学習を行った機械学習モデルを示す。なお、学習済みモデルは、それ以上の学習を行わないものではなく、追加の学習を行うこともできる。学習データは、一つ以上の、入力データと出力データ(正解データ)とのペア群で構成される。本実施形態に係る学習済みモデルは、ニューラルネットワークを用いた教師あり学習を行うことにより構築されたモデルであり、入力データ(人体を撮像した光学画像)とラベル(人体の骨格、関節角度)の組を学習データとして学習している。すなわち、骨格生成部306は、人体を撮像した複数の光学画像と、該複数の光学画像の人体における骨格を示す情報と関節の角度を示す情報を組として学習した学習済みモデルを用いて、第1の光学画像から被検体の骨格と関節角度を推定する推定手段の一例に相当する。なお、学習に用いられる機械学習アルゴリズムや、学習データセットは上記に限定されず、例えば、骨格を推定するモデルと関節角度を推定するモデルは別でもよい。また、本実施形態では、骨格生成部306は、骨格を示す情報と関節角度を示す情報を生成するが、少なくとも一方を生成する構成であればよい。さらに、上記では、骨格生成部306は、関節角度を示す情報を生成するが、学習済みモデルに対して関節角度だけでなく関節位置をラベルとして学習してもよく、その場合、関節位置を示す情報も同様にして生成できる。
【0040】
なお、骨格生成部306が、画像取得装置130から得られた光学画像を用いて、光学画像内の患者の骨格を示す情報と関節角度を示す情報を生成できれば構成に制限はない。例えば、画像取得装置130から光学画像と距離の情報を持った位置情報を取得し患者の各関節の座標を取得し、予め保存した人体データに適用することで光学画像内の患者の骨格を示す情報と関節角度を示す情報を生成しても良い。
【0041】
ガイド画像生成部307は、骨格生成部306が生成した骨格を示す情報と関節角度を示す情報と、画像取得装置130から得られた光学画像を用いて、光学画像上に骨格を示す情報と関節角度を示す情報を重畳表示したガイド画像を生成する。すなわち、第1の時点で取得された前記被検体の第1の光学画像に基づいて、前記第1の光学画像に関連する前記被検体の骨格を示す情報と関節角度を示す情報の少なくとも一方の情報を含む第1の処理画像を生成する。その後、ガイド画像生成部307は、表示制御部304に対して、ガイド画像の画面表示を指示する。
【0042】
また、ガイド画像生成部307は、後述の判定部308が過去に同一姿勢を撮影した患者と判断した場合、記憶部305が記憶する当該患者の過去のガイド画像の情報を取得し、過去ガイド画像を生成する。すなわち、前記第1の時点と異なる第2の時点で取得された前記被検体の第2の光学画像に基づいて、前記第2の光学画像に関連する前記被検体の前記骨格を示す情報と前記関節角度を示す情報のうち少なくとも一方の情報を含む第2の処理画像を生成する。過去のガイド画像の情報とは、例えば、過去画像と、該過去画像に関連する患者の骨格を示す情報と関節角度を示す情報を含む。また、過去ガイド画像は、例えば、過去画像に対して、該過去画像に関連する骨格を示す情報と関節角度を示す情報を重畳した画像を示す。その後、ガイド画像生成部307は、表示制御部304に対して、過去ガイド画像を重畳したガイド画像の画面表示を指示する。
【0043】
判定部308は、放射線撮影制御装置100にユーザにより予め入力された撮影する患者の撮影条件を元に、記憶部305の過去の患者の撮影条件と一致する情報が存在するかを判定する。本実施形態では、判定部308は、患者の撮影条件として少なくとも患者ID、検査ID、検査部位、撮影方向の情報を用いるものとするが、過去の患者の撮影条件と一致すると判断可能な情報であれば構成に制限はない。なお、本実施形態では、判定部308は、複数の過去の患者の撮影条件が一致した場合、最新の情報を一致した情報として用いるものとする。なお、一致した情報として用いる情報は上記に限定されず、最新の情報でなくてもよい。
【0044】
本実施形態における、放射線撮影制御装置100の患者撮影時の表示処理の方法について
図4を用いて説明する。また、光学画像およびガイド画像の表示に関する構成の一例について
図5から
図7を用いて説明する。
【0045】
図4は、放射線撮影制御装置100の患者撮影時の表示処理工程の一例を示したフローチャート図である。
【0046】
ステップS401において、システム制御部302が、ユーザ操作に基づき、放射線撮影制御装置100を撮影制御を行う検査開始の状態とする。具体的には、システム制御部302が、ユーザ操作により検査指示された患者の撮影条件に基づき、放射線撮影装置110へ撮影のための準備を行う指示を、通信部301を介して送信する。放射線撮影装置110は、自身の撮影準備が完了となると放射線撮影制御装置100へ折り返し準備完了通知を送信する。準備完了通知を受けた後、システム制御部302は、放射線撮影制御装置100を撮影可能状態とし、後述するステップS411を受け付けるようになる。また、システム制御部302は、画像取得装置130へ撮影開始を行う指示を、通信部301を介して送信する。画像取得装置130は、撮影開始指示を受けた後、放射線撮影制御装置100へ折り返し、自身が取得した光学画像を逐次送信する。
【0047】
S402からS410の間では、システム制御部302による逐次並列処理が実行される。すなわち、ステップS403、ステップS404からS406、ステップS407からS409、およびそれ以外の制御処理並びにユーザ制御の受付である。ステップ間の処理は、ステップS411が実行されるか、ユーザ操作による検査の中止(不図示)が行われるまで、システム制御部302により実行される。
【0048】
なお、S402からS410の間の処理は、必ずしも並列処理されなくてもよく、患者を撮影している光学画像、該光学画像から生成されたガイド画像及び該患者を過去に撮影した光学画像から生成された過去ガイド画像を表示装置に表示できればよい。
【0049】
例えば、ステップS403の処理を実行した後に、ステップS404からステップS406の処理を実行し、それに続いてステップS407からステップS409の処理が行われてもよい。
【0050】
ステップS403において、システム制御部302が、通信部301を介して画像取得装置130から取得した光学画像を、表示制御部304を介してUI表示装置203に表示する。
【0051】
ステップS404において、骨格生成部306が、システム制御部302を介して取得した光学画像に基づいて、光学画像内の患者の骨格を示す情報と関節角度を示す情報を生成する。
【0052】
ステップS405において、ガイド画像生成部307が、骨格生成部306が生成した骨格を示す情報と関節角度を示す情報に基づいてガイド画像を生成する。
【0053】
ステップS406において、表示制御部304は、
図5に示すようなガイド画像を光学画像に重畳した第1の重畳画像502をUI表示装置203に表示する。すなわち、表示制御部304は、被検体を光学的に撮影することにより得られる第1の光学画像に関連する被検体の骨格を示す情報と関節角度を示す情報の少なくとも一方を第1の光学画像に重畳することにより生成された第1の処理画像を表示部に表示する。
【0054】
ここで、ステップS403からS406でUI表示装置203に表示される光学画像およびガイド画像の表示に関する構成を
図5で説明する。
【0055】
ステップS403からステップS406は、検査を受けている患者をリアルタイムに撮影して得られる光学画像に対して骨格を示す情報と関節角度を示す情報を重畳し、UI表示装置203に表示する工程である。
【0056】
光学画像500は、ステップS403にてUI表示装置203に表示される画像取得装置130から取得した光学画像である。なお、実際の光学画像には患者の背後に放射線撮影装置110が存在しているなど、画像取得装置130の撮影範囲内の物体が映り込むが、説明のため、光学画像500には患者の身体情報のみ表現した図を用いる。また、以降の光学画像および光学画像に関連する画像に関しても、特記されない限り同様に患者の身体情報のみ表現した図を用いる。
【0057】
ガイド画像501は、骨格生成部306が生成する患者の骨格を示す情報と関節角度を示す情報に基づいて、ガイド画像生成部307が生成する画像である。ガイド画像生成部307は、ガイド画像501を光学画像500へ重畳表示する指示を表示制御部304に行い、第1の重畳画像502としてガイド画像501が重畳表示された光学画像500が表示される。なお、本実施形態では、骨格生成部306が生成する患者の関節角度を、人体の関節位置間の成す角度位置に表示している。しかしながら、人体の関節位置の場所が特定される関節角度の表現方法であれば、表示方法に制限はなく、例えば、関節角度の位置情報を表す文字列を併記してもよい。
【0058】
【0059】
ステップS407からステップS409は、患者の過去に同一の撮影条件で撮影して得られた光学画像に対して患者の骨格を示す情報と関節角度を示す情報を重畳し、UI表示装置203に表示する工程である。
【0060】
ステップS407において、判定部308が、検査指示された患者の撮影条件と一致する過去の撮影条件が存在するか否かを、記憶部305を検索することで判定する。
【0061】
ステップS407で過去に同一の撮影条件を行った患者であると判定された場合、ステップS408において、ガイド画像生成部307が、記憶部305の撮影条件から光学画像と、該光学画像と関連する骨格を示す情報と関節角度を示す情報を取得し第2の重畳画像701を生成する。
【0062】
ステップS409において、表示制御部304が、
図7に示すように第2の重畳画像701を光学画像およびガイド画像に重畳し、UI表示装置203に表示する。すなわち、表示制御部304は、第1の光学画像よりも過去に撮影された第2の光学画像と関連付けて記憶された被検体の骨格を示す情報と関節角度を示す情報のうち少なくとも一方を第2の光学画像に重畳することにより生成された第2の処理画像を表示部に表示する。
【0063】
なお、ステップS407において過去に同一の撮影条件を行った患者と判断されなかった場合、放射線撮影制御装置100は、過去ガイド画像の生成を行わず、すなわちステップステップS408からステップS409の処理を実行しない。
【0064】
ここで、ステップS407からステップS409でUI表示装置203に表示される過去ガイド画像に関する記憶部305に記憶された患者情報の構成の一例を、
図6を用いて説明する。また、過去ガイド画像の表示に関する構成の一例を、
図7を用いて説明する。
【0065】
図6は、記憶部305に記憶された患者情報の構成の一例を示す図である。記憶部305は、過去の患者の撮影条件テーブル600を有しており、撮影条件部601、ガイド画像情報部602で構成される。
【0066】
撮影条件部601は、画像処理部303が生成した放射線画像や、放射線画像に関連する患者の撮影条件、および放射線発生装置120の照射情報などを記憶する。本実施形態では、判定部308は、患者の撮影条件として少なくとも患者ID、検査ID、検査部位、撮影方向などの情報を用いるものとするが、過去の患者の撮影条件の一致判定に使用可能な情報であれば構成に制限はない。また、本実施形態では、判定部308は、複数の過去の患者の撮影条件が一致した場合、最新の情報を一致した情報として用いるものとする。なお、一致した情報として用いる情報は上記に限定されず、最新の情報でなくてもよい。
【0067】
ガイド画像情報部602は、撮影条件部601の、画像処理部303の放射線画像生成時に記憶される、画像取得装置130から取得した光学画像および骨格生成部306が生成した骨格を示す情報と関節角度を示す情報を記憶する。なお、本実施形態では、光学画像と、該光学画像と関連する骨格を示す情報と関節角度を示す情報を各々関連付けて記憶しているが、ガイド画像生成部307が生成するガイド画像を合わせて記憶してもよいし、ガイド画像のみを記憶する構成としてもよい。また、本実施形態では、骨格を示す情報と関節角度を示す情報を画像情報として記憶しているが、骨格を示す情報の関節座標情報のみを記憶し、ガイド画像生成部307が関節座標情報から骨格を示す情報と関節角度を示す情報を生成する構成としてもよい。すなわち、骨格を示す情報と関節角度を示す情報は、例えば、
図6に示すように必ずしも画像情報として記憶/表示される必要はなく、単に文字や数値パラメータとして記憶/表示されてもよい。
【0068】
なお、本実施形態では、ガイド画像生成部307が、記憶部305内の過去の患者の撮影条件テーブル600を参照しているが、ステップS407の判定が行えれば構成に制限はない。すなわち、ネットワーク140を介して、過去の患者の撮影条件テーブル600を有する情報処理装置(不図示)上の情報を用いた判定を行ってもよい。
【0069】
図7は、過去ガイド画像の表示に関する構成の一例を示す図である。
【0070】
第1の重畳画像700は、前述の第1の重畳画像502と同様にして生成される画像である。
【0071】
第2の重畳画像701は、ステップS408において、ガイド画像生成部307が、記憶部305から所定の撮影条件と一致する光学画像と、該光学画像と関連する骨格を示す情報と関節角度を示す情報を取得し、それらに基づいて生成する画像である。また、ガイド画像生成部307は、第2の重畳画像701を第1の重畳画像700へ重畳表示する指示を表示制御部304に行う。そして、表示指示を受けた表示制御部304が、第3の重畳画像702として第2の重畳画像701が重畳表示された第1の重畳画像700を表示する。
【0072】
【0073】
ステップS411において、ユーザが放射線発生装置120の曝射スイッチ121を押下し、撮影を開始する。撮影が開始されると、放射線発生装置120が管球122から放射線を発生させ、患者を通過した放射線が放射線撮影装置110により検知され、放射線撮影装置が放射線画像を生成する。その後、放射線撮影装置110は、放射線撮影制御装置100へ放射線画像を送信する。また、処理と並行して、放射線発生装置120が、放射線撮影の照射情報を、放射線撮影制御装置100へ送信する。
【0074】
ステップS412において、システム制御部302が、放射線画像や、放射線画像に関連する患者の撮影条件、および放射線発生装置120の照射情報などを、記憶部305へ記憶する。また、システム制御部302は、上記の処理と並行して、撮影時の光学画像と、該光学画像と関連する骨格を示す情報と関節角度を示す情報を記憶部305へ記憶する。
【0075】
以上により、本実施形態に係る放射線撮影システムの処理が行われる。
【0076】
上記によれば、表示制御部304は、検査開始時に画像取得装置130から取得した光学画像と、骨格生成部306が生成した骨格を示す情報と関節角度を示す情報に基づいて生成されたガイド画像を重畳してUI表示装置203に表示する。また、表示制御部304は、過去に同一の撮影条件で撮影を行った患者を判定し、過去の検査の光学画像と、該光学画像と関連する骨格を示す情報と関節角度を示す情報に基づいて生成された過去ガイド画像を重畳してUI表示装置203に表示する。
【0077】
これにより、検査対象となる患者が撮影されている様子を表示した光学画像だけでなく、過去に撮影された光学画像から生成された過去画像についても骨格を示す情報と関節角度を示す情報を重畳した状態で表示装置に表示することが出来る。そのため、検査者は、過去画像に重畳表示された骨格を示す情報と関節角度を示す情報と、現在画像に重畳表示された骨格を示す情報と関節角度を示す情報とに基づいて定量的に位置決めを行うことができる。
(変形例1)
上述の実施形態1では、表示制御部304が、現在画像に関連する骨格を示す情報や関節角度を示す情報を重畳した現在画像と、過去画像と関連付けて記憶された骨格を示す情報や関節角度を示す情報を重畳した過去画像を重畳して表示することにより位置決め精度を向上させた。
【0078】
それに対し、本変形例では、表示制御部304は、現在画像に関連する骨格を示す情報や関節角度を示す情報に基づいて画素値を変更した現在画像と、過去画像と関連付けて記憶された骨格を示す情報や関節の角度を示す情報に基づいて画素値を変更した過去画像を重畳して表示する。
【0079】
より具体的には、骨格生成部306が、実施形態1と同様にして推定された、現在画像における患者の骨格を示す情報および関節角度を示す情報を視認可能なように現在画像を構成する画素の画素値を変更することによりガイド画像を生成する。また、過去画像における患者の骨格を示す情報および関節角度を示す情報を視認可能なように過去画像を構成する画素の画素値を変更することにより過去ガイド画像を生成する。
【0080】
上記によれば、実施形態1と同様に、検査者は、過去画像に重畳表示された骨格を示す情報と関節角度を示す情報と、現在画像に重畳表示された骨格を示す情報と関節角度を示す情報とに基づいて定量的に位置決めを行うことができる。
(変形例2)
上述の実施形態1では、表示制御部304が、現在画像に関連する骨格を示す情報や関節角度を示す情報を重畳した現在画像と、過去画像と関連付けて記憶された骨格を示す情報や関節角度を示す情報を重畳した過去画像を重畳して表示することにより位置決め精度を向上させた。
【0081】
それに対し、本変形例では、表示制御部304が、現在画像に関連する骨格を示す情報や関節角度を示す情報と過去画像と関連付けて記憶された骨格を示す情報や関節の角度を示す情報のみを重畳して表示する。
【0082】
より具体的には、
図5に示すようなガイド画像501と、
図9に示すような過去ガイド画像901とを重畳して表示する。
【0083】
上記によれば、患者を撮影した光学画像を表示せずに、骨格を示す情報や関節の角度を示す情報のみに基づいて位置決めを行うことができるため、患者のプライバシーに配慮しつつ、且つ定量的に位置決めを行える。
【0084】
[実施形態2]
次に、本発明に係る放射線撮影システムの実施形態2を説明する。
【0085】
実施形態2の構成では、放射線撮影制御装置100による、ユーザ設定に基づくガイド画像、過去ガイド画像の表示内容の設定に基づく変更を行う処理を追加する。
【0086】
以下、
図8から
図9を用いて、実施形態1からの差分のみ説明する。
【0087】
図8は、本実施形態の放射線撮影制御装置100のガイド画像設定画面の構成の一例を示す図である。
【0088】
ガイド画像生成部307は、ガイド画像設定画面800を追加で有し、ガイド画像設定画面800は、システム制御部302からの表示指示(例えば、ユーザが放射線撮影制御装置100を操作し、システム設定画面(不図示)から当該画面を選択した場合など)によりUI表示装置203に表示される。
【0089】
ガイド画像設定画面800は、ガイド画像設定部801と過去ガイド画像設定部802を有する。
【0090】
ガイド画像設定部801は、光学画像と、該光学画像に関連する骨格を示す情報と関節角度を示す情報に基づいて生成されるガイド画像に関する設定を有する。ユーザが当該設定を無効に設定した場合、放射線撮影制御装置100は、ガイド画像の生成を行わない。具体的には、前述の
図4のステップS403からS406の処理を実行しない。ユーザが当該項目を有効にした場合、加えて光学画像と、該光学画像と関連する骨格を示す情報と関節角度を示す情報の表示の設定を行う。ユーザが項目のうち有効に設定した項目のみが、放射線撮影制御装置100の光学画像およびガイド画像として表示されることとなる。本実施形態の説明では、光学画像と、該光学画像と関連する骨格を示す情報と関節角度を示す情報の表示を有効にした状態として説明を続ける。
【0091】
過去ガイド画像設定部802は、過去に撮影された光学画像のうち、所定の撮影条件と一致する光学画像と、該光学画像と関連する骨格を示す情報と関節角度を示す情報に基づいて生成される過去ガイド画像に関する設定を有する。ユーザが当該設定を無効に設定した場合、放射線撮影制御装置100は、過去ガイド画像の生成を行わない。具体的には、前述の
図4のステップS407からS409の処理を実行しない。ユーザが当該項目を有効にした場合、加えて光学画像と、該光学画像と関連する骨格を示す情報と関節角度を示す情報の表示の設定を行う。ユーザが項目のうち有効に設定した項目のみが、放射線撮影制御装置100の過去ガイド画像として表示されることとなる。本実施形態の説明では、骨格を示す情報と関節角度を示す情報の表示を有効にした状態として説明を続ける。
【0092】
なお、関節角度を示す情報の表示のみを有効とした場合、関節角度の場所や位置を追加で表示してもよい。具体的には、例えば、関節角度と関節位置情報を合わせて表示してもよいし、関節角度の部位の場所を図形で囲んで強調表示してもよい。
【0093】
図9は、過去ガイド画像の表示に関する構成の一例を示す図である。なお、光学画像およびガイド画像の表示に関する構成も実施形態1と同様であるため、同様の構成については説明を割愛する。また、ここでの放射線撮影制御装置100のガイド画像設定は、
図8のガイド画像設定画面800の設定に基づくものとする。
【0094】
重畳画像900は、実施形態1のステップS403からS406でガイド画像生成部307が、ガイド画像設定画面800の設定に基づいて生成する画像である。
【0095】
過去ガイド画像901は、実施形態1のステップS408でガイド画像生成部307が、ガイド画像設定画面800の設定に基づき、記憶部305から骨格を示す情報と関節角度を示す情報を取得し、生成する画像である。ガイド画像生成部307は、過去ガイド画像901を重畳画像900へ重畳表示する指示を表示制御部304に行い、過去ガイド重畳画像902として過去ガイド画像901が重畳表示された重畳画像900が表示される。
【0096】
以上により、実施形態2では、放射線撮影制御装置100が、ユーザ設定に基づくガイド画像、過去ガイド画像の表示内容の設定に基づくガイド画像、過去ガイド画像の表示制御を行う。これにより、位置決めを再現するにあたって適切な情報をユーザによって選択的に表示できる。
【0097】
[実施形態3]
次に、本発明に係る放射線撮影システムの第3の実施形態を説明する。
【0098】
実施形態3の構成では、放射線撮影制御装置100による、3次元の患者の骨格情報、関節角度に基づいたガイド画像の生成処理を追加する。
【0099】
以下、
図10から
図12を用いて、実施形態1からの差分のみ説明する。
【0100】
図10は、本実施形態の放射線撮システムの放射線撮影制御装置100の構成例である。放射線撮影制御装置100は、3次元骨格生成部1000を追加で有する。
【0101】
3次元骨格生成部1000は、3次元の骨格を示す情報と3次元の関節角度を示す情報を生成する。なお、生成方法は実施形態1と同様の手法を用いることができる。
【0102】
例えば、3次元骨格生成部1000は、人体を撮像した光学画像を入力データとし、撮像された人体の3次元の骨格および関節角度をラベルとして機械学習を行うことにより得られる学習済みモデルを用いて、現在画像における人体の骨格および関節位置を推定する。
【0103】
なお、本実施形態において、入力データとして用いる3次元画像は、例えば、複数の光学カメラによって異なる角度から撮像された2次元画像を合成することにより生成されてもよい。あるいは、入力データとして用いる3次元画像は、1つの光学カメラを駆動し、角度を変えながら撮像した2次元画像から生成されてもよい。すなわち、本実施形態において、3次元画像を取得する方法は限定されず、被検体を撮像した3次元画像が取得できればよい。
【0104】
そして、推定された骨格および関節位置から3次元の骨格を示す情報と3次元の関節角度を示す情報を生成する。なお、本実施形態において生成される情報は、2次元の光学画像に基づいて生成されてもよいし、3次元の光学画像に基づいて生成されてもよい。
【0105】
なお、3次元骨格生成部1000は、3次元の骨格を示す情報と3次元の関節角度を示す情報が生成できれば、構成に制限はない。例えば、画像取得装置130から光学画像と距離の情報を持った位置情報を取得し患者の各関節の座標を取得し、あらかじめ保存した人体データに適用することで光学画像内の患者の3次元の骨格を示す情報と3次元の関節角度を示す情報を生成してもよい。
【0106】
図11は、本実施形態の放射線撮影制御装置100の患者撮影時の表示処理工程の一例を示すフローチャートである。
【0107】
ステップS1101では、3次元骨格生成部1000が、骨格生成部306が生成した骨格を示す情報と関節角度を示す情報を用いて、3次元の骨格を示す情報と3次元の関節角度を示す情報を生成する。そのため、後段のステップS406では、3次元骨格生成部1000が生成した3次元の骨格を示す情報と3次元の関節角度を示す情報に基づいてガイド画像を生成し、表示制御部304を介してUI表示装置203に光学画像に重畳表示する。
【0108】
ステップS403からS406、およびステップS1101においてUI表示装置203に表示される光学画像およびガイド画像の表示に関する構成を、
図12を用いて説明する。なお、過去ガイド画像の表示に関する構成も同様であるため説明を割愛する。すなわち、ステップS408において過去ガイド画像の生成には、過去画像に対応付いて記憶された3次元骨格生成部1000が生成した3次元の骨格を示す情報と3次元の関節角度を示す情報を用いる。
【0109】
3次元ガイド画像1201は、ステップS1101において3次元骨格生成部1000が生成する患者の3次元の骨格を示す情報と3次元の関節角度を示す情報に基づいて、ガイド画像生成部307が生成する画像である。ガイド画像生成部307は、3次元ガイド画像1201を光学画像500へ重畳表示する指示を表示制御部304に行い、ガイド画像重畳表示画像1202として3次元ガイド画像1201が重畳表示された光学画像500が表示される。
【0110】
なお、本実施形態では、3次元骨格生成部1000が生成する患者の3次元の関節角度を示す情報を、3次元極座標形式の文字列表示で表現している。すなわち、人体の関節位置において内側から外側へ向かう方向の骨格を示す情報に対し、z軸となす角度θ、x軸とxy平面に下ろした骨格を示す情報がなす角度φを各々表示している。しかしながら、3次元の関節角度を表現する方法であれば、上記に限定されない。
【0111】
以上により、実施形態3では、放射線撮影制御装置100は、3次元の骨格を示す情報と3次元の関節角度を示す情報に基づいてガイド画像の生成を行う。これにより、ユーザは3次元の骨格を示す情報と3次元の関節角度を示す情報を参照できるようになり、ユーザの姿勢の位置決めの再現性をより向上させることができる。
【0112】
[実施形態4]
次に、本発明に係る放射線撮影システムの実施形態4を説明する。
実施形態4では、放射線撮影制御装置100は、UI表示装置203に表示された画像を患者に見せることで、患者自身が姿勢の再現性を向上させることができる構成を有する。
【0113】
具体的には、表示制御部304は、UI表示装置203に表示する光学画像、重畳表示画像または過去重畳表示画像を左右に反転表示が可能な制御機能を追加で有する(不図示)。前述の
図4のステップS402からS410の処理の間、ユーザが制御機能を有効にし、UI表示装置203を患者に提示する。
【0114】
以上により、現在画像と、該現在画像に関連する患者の骨格を示す情報と関節角度を示す情報に基づいて生成されるガイド画像、および、過去画像と、該過去画像に関連する骨格を示す情報と関節角度を示す情報に基づいて生成される過去ガイド画像の重畳表示を患者自身が確認できる。これにより、ユーザの姿勢の位置決めの再現性を向上に加えて、患者自身が姿勢の再現性を向上させることが可能となる。
【符号の説明】
【0115】
100 放射線撮影制御装置
110 放射線撮影装置
120 放射線発生装置
130 画像取得装置
301 通信部
302 システム制御部
303 画像処理部
304 表示制御部
305 記憶部
306 骨格生成部
307 ガイド画像生成部
308 判定部