(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-09-21
(54)【発明の名称】目標物体のタイプ及び位置の決定
(51)【国際特許分類】
A61B 6/03 20060101AFI20230913BHJP
【FI】
A61B6/03 360T
A61B6/03 323Z
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023515152
(86)(22)【出願日】2021-09-01
(85)【翻訳文提出日】2023-03-06
(86)【国際出願番号】 EP2021074066
(87)【国際公開番号】W WO2022053355
(87)【国際公開日】2022-03-17
(32)【優先日】2020-12-15
(33)【優先権主張国・地域又は機関】EP
(31)【優先権主張番号】PCT/CN2020/114160
(32)【優先日】2020-09-09
(33)【優先権主張国・地域又は機関】CN
(81)【指定国・地域】
(71)【出願人】
【識別番号】590000248
【氏名又は名称】コーニンクレッカ フィリップス エヌ ヴェ
【氏名又は名称原語表記】Koninklijke Philips N.V.
【住所又は居所原語表記】High Tech Campus 52, 5656 AG Eindhoven,Netherlands
(74)【代理人】
【識別番号】110001690
【氏名又は名称】弁理士法人M&Sパートナーズ
(72)【発明者】
【氏名】シン シチャオ
【テーマコード(参考)】
4C093
【Fターム(参考)】
4C093AA22
4C093CA01
4C093ED01
4C093ED30
4C093FB11
4C093FD03
(57)【要約】
一実施形態において、方法100が記載されている。該方法はコンピュータ実施方法である。該方法は、放射線撮像装置カウチを含む領域の撮像データ、並びに被検者による該放射線撮像装置カウチの使用に関連する少なくとも1つのカウチ付属品の指定された数、タイプ及び位置の指示情報を受信するステップ102を有する。該方法は、更に、領域内の少なくとも1つの目標物体のタイプ及び位置を、上記撮像データを処理するためのインスタンス分割モデルを用いて決定するステップ104を有する。該少なくとも1つの目標物体のタイプを決定するステップは、該少なくとも1つの目標物体が上記指示情報により指定されたカウチ付属品のタイプであるか否かを判定するステップを含む。該方法は、更に、上記指示情報により指定されたカウチ付属品のタイプであると判定された少なくとも1つの目標物体の決定された位置を、該カウチ付属品の示された指定された位置と比較するステップ106を有する。該方法は、更に、少なくとも1つの目標物体の決定された位置が、カウチ付属品の示された指定された位置に対応しないとの判定に応答して、該カウチ付属品が誤って配置されていることを示すステップ108を有する。
【特許請求の範囲】
【請求項1】
放射線撮像装置カウチを含む領域の撮像データと、被験者による前記放射線撮像装置カウチの使用に関連する少なくとも1つのカウチ付属品の指定された数、タイプ及び位置の指示情報とを受信するステップと、
前記領域における少なくとも1つの目標物体のタイプ及び位置を、前記撮像データを処理するためのインスタンス分割モデルを用いて決定するステップであって、前記少なくとも1つの目標物体のタイプの決定が、該少なくとも1つの目標物体が前記指示情報により指定されたカウチ付属品のタイプであるか否かの判定を含む、ステップと、
前記指示情報により指定されたカウチ付属品のタイプであると判定された前記少なくとも1つの目標物体の前記決定された位置を、該カウチ付属品の示された指定された位置と比較するステップと、
前記少なくとも1つの目標物体の前記決定された位置が前記カウチ付属品の示された指定された位置に対応しないとの判定に応答して、該カウチ付属品が誤って配置されていることを示すステップと
を有する、コンピュータ実施方法。
【請求項2】
前記少なくとも1つのカウチ付属品の前記指定された位置は、該少なくとも1つのカウチ付属品が前記被験者を支持するために適切に配置されるべき該被験者の必要性に基づくものである、請求項1に記載のコンピュータ実施方法。
【請求項3】
前記決定するステップは前記領域内に複数の目標物体が存在することを決定するステップを含み、この決定に応答して、当該コンピュータ実施方法は前記複数の目標物体の各々に対応するカウチ付属品のタイプを決定するステップを含み、同一のタイプの複数の目標物体が存在するとの決定に応答して、当該コンピュータ実施方法が該同一のタイプの複数の目標物体から前記インスタンス分割モデルによる最高の予測確率を持つ1つの目標物体を選択するステップを更に有する、請求項1又は2に記載のコンピュータ実施方法。
【請求項4】
異なるタイプの隣接する目標物体の間の距離を決定するステップを更に有し、前記距離が閾値未満であると判定することに応答して、当該コンピュータ実施方法が、前記隣接する目標物体から前記インスタンス分割モデルによる異なるタイプのうちの最高の予測確率を持つの1つの目標物体を選択するステップを更に有する、請求項1から3の何れか一項に記載のコンピュータ実施方法。
【請求項5】
前記撮像データからの連続するフレームを比較して、前記目標物体の位置が前記領域において前記連続するフレームの間で変化したか、及び/又は前記目標物体の数及び/又はタイプが前記領域において前記連続するフレームの間で変化したかを判断するステップを更に有する、請求項1から4の何れか一項に記載のコンピュータ実施方法。
【請求項6】
前記目標物体が前記連続するフレームの両方に存在すると判定することに応答して、当該コンピュータ実施方法は、前記連続するフレームのうちの最新のフレームにおける目標物体の予測確率を予測閾値と比較するステップを有し、
前記予測確率が前記予測閾値を超えていると判定することに応答して、当該コンピュータ実施方法は、前記目標物体が前記最新のフレームに存在するとの指示情報を供給するステップを有するか、又は
前記予測確率が前記予測閾値を超えていないと判定することに応答して、当該コンピュータ実施方法が、前記連続するフレームにおける前記目標物体の間の距離を決定するステップを有し、
前記連続するフレームにおける前記目標物体の間の前記距離が距離閾値未満であると判定することに応答して、当該コンピュータ実施方法は、前記目標物体が前記最新のフレームに存在するとの指示情報を供給するステップを有するか、又は
前記連続するフレームにおける前記目標物体の間の前記距離が前記距離閾値未満ではないと判定することに応答して、当該コンピュータ実施方法は、前記目標物体が前記最新のフレームには存在しないとの指示情報を供給するステップを有する、
請求項5に記載のコンピュータ実施方法。
【請求項7】
前記目標物体が前記連続するフレームの前記最新のフレームには存在するが、前記連続するフレームの最も早いフレームには存在しないと判定することに応答して、当該コンピュータ実施方法は、前記最新のフレームにおける前記目標物体の予測確率を予測閾値と比較するステップを有し、
前記予測確率が前記予測閾値を超えていると判定することに応答して、当該コンピュータ実施方法は、前記目標物体が前記最新のフレームに存在するとの指示情報を供給するステップを有するか、又は
前記予測確率が前記予測閾値を超えていないと判定することに応答して、当該コンピュータ実施方法が、前記目標物体が前記最新のフレームには存在しないとの指示情報を供給するステップを有する、
請求項5に記載のコンピュータ実施方法。
【請求項8】
前記目標物体が前記連続するフレームの前記最も早いフレームには存在するが、前記連続するフレームの前記最も新しいフレームには存在しないと判定することに応答して、当該コンピュータ実施方法は、前記目標物体が前記最新のフレームにおいて境界に位置するかを判定するステップを有し、
前記目標物体の少なくとも一部が前記境界に位置すると判定することに応答して、当該コンピュータ実施方法は、前記目標物体が前記最新のフレームには存在しないとの指示情報を供給するステップを有するか、又は
前記目標物体が前記境界には位置していないと判定することに応答して、当該コンピュータ実施方法は、前記目標物体が前記最新のフレームに存在するとの指示情報を供給するステップを有する、
請求項5に記載のコンピュータ実施方法。
【請求項9】
前記領域内の各目標物体のタイプを決定するステップ、及び前記撮像データの連続するフレームにおける各目標物体を追跡するステップを有する、請求項1から8の何れか一項に記載のコンピュータ実施方法。
【請求項10】
ディスプレイに、前記放射線撮像装置カウチの表現に対して、各目標物体の検出されたタイプ及び/又は位置を表示させるステップを更に有する、請求項1から9の何れか一項に記載のコンピュータ実施方法。
【請求項11】
前記ディスプレイに、前記少なくとも1つの目標物体の前記決定された位置が前記カウチ付属品の前記示された指定された位置に対応しない場合に、該カウチ付属品が誤って配置されていることを表示させるステップを有する、請求項10に記載のコンピュータ実施方法。
【請求項12】
前記インスタンス分割モデルが、少なくとも1つの予め定められた注釈付け原則にしたがって注釈付けされた異なる放射線撮像装置カウチ環境の複数の画像を用いて準備されたデータセットを使用してトレーニングされたマスク領域ベースの畳み込みニューラルネットワークにより実施される、請求項1から11の何れか一項に記載のコンピュータ実施方法。
【請求項13】
少なくとも1つのプロセッサ上で実行された場合に、該少なくとも1つのプロセッサに請求項1から12の何れか一項に記載のコンピュータ実施方法を実施させる命令を含む、有形のマシン可読媒体。
【請求項14】
処理回路を備える装置であって、前記処理回路が、
放射線撮像装置カウチを含む領域の撮像データと、被験者による前記放射線撮像装置カウチの使用に関連する少なくとも1つのカウチ付属品の指定された数、タイプ及び位置の指示情報とを受信する受信モジュールと、
前記領域内の少なくとも1つの目標物体のタイプ及び位置を、前記撮像データを処理するためのインスタンス分割モデルを使用して決定する決定モジュールであって、前記少なくとも1つの目標物体のタイプの決定が、該少なくとも1つの目標物体が前記指示情報により指定されたタイプのカウチ付属品であるか否かの判定を含む、決定モジュールと、
前記指示情報により指定されたタイプのカウチ付属品であると判定された前記少なくとも1つの目標物体の前記決定された位置を、該カウチ付属品の前記示された指定された位置と比較する比較モジュールと、
前記少なくとも1つの目標物体の前記決定された位置が前記カウチ付属品の示された指定された位置に対応しないと判定することに応答して、該カウチ付属品が誤って配置されていることを示す指示モジュールと
を有する、装置。
【請求項15】
前記撮像データが前記領域の深さ情報を含む、請求項1から13の何れか一項に記載の方法又は請求項14に記載の装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、目標物体のタイプ及び位置を決定するための方法、マシン可読媒体及び装置に関する。
【背景技術】
【0002】
コンピュータ断層撮影(CT)スキャナ等の放射線撮像装置のための「寝台(カウチ)」と称される患者支持体に関連して、様々な付属品(アクセサリ)が使用され得る。これらの付属品は、ヘッドレスト(枕)、フットエクステンション、ニーサポート(膝支持具)、介入制御ボックス等を含み得る。異なる種類の放射線画像装置及び放射線撮像プロトコルは、対応する付属品を使用し得る。例えば、種々のタイプの脳スキャンは、臨床シナリオに適した異なるヘッドレストを使用する必要がある。同様に、膝支持具を設けることは、撮像中に腰椎が正しい角度になることを保証できる。一般的に、カウチ付属品の適切な使用は、患者の撮像を支援し得る。例えば、カウチ付属品の適切な使用は、良好な画質に貢献し得、及び/又は放射線(例えば、X線)線量の低減につながり得る。更に、カウチ付属品の適切な使用は、異なる放射線科医の操作の一貫性を改善し得る。
【発明の概要】
【発明が解決しようとする課題】
【0003】
本明細書に記載の態様又は実施形態は、患者の画像化の結果を改善することに関するものである。本明細書に記載の態様又は実施形態は、放射線撮像装置用のカウチと併せて使用される付属品の不適切な又は一貫性のない使用に関連する1以上の問題を防止できるものである。
【課題を解決するための手段】
【0004】
第1の態様においては、方法が記載される。該方法は、コンピュータ実施方法である。該方法は、放射線撮像装置カウチを含む領域の撮像データを受信するステップを有する。該方法は、被験者による放射線撮像装置カウチの使用に関連する少なくとも1つのカウチ付属品(アクセサリ)の指定された数、タイプ及び位置の指示情報(表示)を受信するステップを更に有する。該方法は、前記領域における少なくとも1つの目標物体のタイプ及び位置を、撮像データを処理するためのインスタンス分割(セグメンテーション)モデルを用いて決定するステップを更に有する。少なくとも1つの目標物体のタイプの決定は、該少なくとも1つの目標物体が前記指示情報により指定されたカウチ付属品のタイプであるか否かの判定を含む。該方法は、前記指示情報により指定されたカウチ付属品のタイプであると判定された少なくとも1つの目標物体の決定された位置を、該カウチ付属品の示された指定された位置と比較するステップを更に有する。少なくとも1つの目標物体の決定された位置がカウチ付属品の示された指定された位置に対応しないとの判定に応答して、該方法は、該カウチ付属品が誤って配置されていることを示すステップを更に有する。
【0005】
幾つかの実施形態において、少なくとも1つのカウチ付属品の指定された位置は、該少なくとも1つのカウチ付属品が被験者を支持するために適切に配置されるべき該被験者の必要性に基づくものである。
【0006】
幾つかの実施形態において、受信された撮像データは領域の深さ(奥行き)情報を含む。例えば、このような撮像データは距離(レンジ)センサにより供給することができ、その例は、ステレオ若しくは3Dカメラ又は無線周波数レーダーであり得る。
【0007】
幾つかの実施形態において、前記決定するステップは領域内に複数の目標物体が存在することを決定するステップを含み、この決定に応答して、当該方法は前記複数の目標物体の各々に対応するカウチ付属品のタイプを決定するステップを含む。同一のタイプの複数の目標物体が存在するとの決定に応答して、当該方法は、同一のタイプの複数の目標物体から、インスタンス分割モデルによる最高の予測確率を持つ1つの目標物体を選択するステップを更に有する。
【0008】
幾つかの実施形態において、当該方法は、異なるタイプの隣接する目標物体の間の距離を決定するステップを更に有する。該距離が閾値未満であると判定することに応答して、当該方法は、隣接する目標物体から、インスタンス分割モデルによる異なるタイプの最高の予測確率を持つの1つの目標物体を選択するステップを更に有する。
【0009】
幾つかの実施形態において、当該方法は、撮像データからの連続するフレームを比較して、目標物体の位置が領域において連続するフレームの間で変化したか、及び/又は目標物体の数及び/又はタイプが領域において連続するフレームの間で変化したかを判断するステップを更に有する。
【0010】
幾つかの実施形態においては、目標物体が連続するフレームの両方に存在すると判定することに応答して、当該方法は、連続するフレームのうちの最新のフレームにおける目標物体の予測確率を予測閾値と比較するステップを有する。予測確率が予測閾値を超えていると判定することに応答して、当該方法は、目標物体が最新のフレームに存在するとの指示情報を供給するステップを有するか、又は予測確率が予測閾値を超えていないと判定することに応答して、当該方法は連続するフレームにおける目標物体の間の距離を決定するステップを有する。連続するフレームにおける目標物体の間の距離が距離閾値未満であると判定することに応答して、当該方法は目標物体が最新のフレームに存在するとの指示情報を供給するステップを有するか、又は連続するフレームにおける目標物体の間の距離が距離閾値未満ではないと判定することに応答して、当該方法は、目標物体が最新のフレームには存在しないとの指示情報を供給するステップを有する。
【0011】
幾つかの実施形態においては、目標物体が連続するフレームの最新のフレームには存在するが、連続するフレームの最も早いフレームには存在しないと判定することに応答して、当該方法は、最新のフレームにおける目標物体の予測確率を予測閾値と比較するステップを有する。予測確率が予測閾値を超えていると判定することに応答して、当該方法は目標物体が最新のフレームに存在するとの指示情報を供給するステップを有するか、又は予測確率が予測閾値を超えていないと判定することに応答して、当該方法は目標物体が最新のフレームには存在しないとの指示情報を供給するステップを有する。
【0012】
幾つかの実施形態においては、目標物体が連続するフレームの最も早いフレームには存在するが、連続するフレームの最も新しいフレームには存在しないと判定することに応答して、当該方法は、目標物体が最新のフレームにおいて境界に位置するかを判定するステップを有する。目標物体の少なくとも一部が境界に位置すると判定することに応答して、当該方法は、目標物体が最新のフレームには存在しないとの指示情報を供給するステップを有するか、又は目標物体が境界には位置していないと判定することに応答して、当該方法は、目標物体が最新のフレームに存在するとの指示情報を供給するステップを有する。幾つかの実施形態において、当該方法は、領域内の各目標物体のタイプを決定するステップ、及び撮像データの連続するフレームにおける各目標物体を追跡するステップを有する。
【0013】
幾つかの実施形態において、当該方法は、ディスプレイに、放射線撮像装置カウチの表現(表示)に対して、各目標物体の検出されたタイプ及び/又は位置を表示させるステップを有する。
【0014】
幾つかの実施形態において、当該方法は、ディスプレイに、少なくとも1つの目標物体の決定された位置がカウチ付属品の示された指定された位置に対応しない場合に、該カウチ付属品が誤って配置されていることを表示させるステップを有する。
【0015】
幾つかの実施形態において、インスタンス分割モデルは、少なくとも1つの予め定められた注釈付け原則にしたがって注釈付けされた異なる放射線撮像装置カウチ環境の複数の画像を用いて準備されたデータセットを使用してトレーニングされたマスク領域ベースの畳み込みニューラルネットワーク(R-CNN)により実施される。
【0016】
幾つかの実施形態において、異なる放射線撮像装置カウチ環境(設定)は、複数の画像のうちの少なくとも1つにおけるカウチ付属品の位置、数及び/又はタイプの少なくとも1つの異なる組合せ;複数の画像のうちの少なくとも1つにおける少なくとも1つの異なる背景;複数の画像のうちの少なくとも1つにおける少なくとも1つの部分的に遮蔽されたカウチ付属品;及び複数の画像のうちの少なくとも1つにおける放射線撮像装置カウチを使用する被験者の存在;のうちの少なくとも1つを含む。
【0017】
幾つかの実施形態において、少なくとも1つの予め定められた注釈付け原則は、カウチ付属品の注釈付けの予め定められた最小限の精度;完全に遮蔽されたカウチ付属品には注釈を付けないこと;画像内で少なくとも指定されたレベルのシャドーイングを受けるカウチ付属品の一部には注釈を付けないこと;及び画像内の予め定められた露出レベル未満のカウチ付属品は無視すること;のうちの少なくとも1つを含む。
【0018】
第2の態様においては、有形のマシン可読媒体が記載される。該有形のマシン可読媒体は、少なくとも1つのプロセッサ上で実行された場合に、該少なくとも1つのプロセッサに第1態様の方法又は関連する実施形態を実施させる命令を含む。
【0019】
第3の態様においては、装置が記載される。該装置は処理回路を備える。該処理回路は、第1の態様の方法又は関連する実施形態を実施する。該処理回路は、放射線撮像装置カウチを含む領域の撮像データを受信するように構成された受信モジュールを有する。該受信モジュールは、更に、被験者による放射線撮像装置カウチの使用に関連する少なくとも1つのカウチ付属品の指定された数、タイプ及び位置の指示情報を受信するように構成される。当該処理回路は、領域内の少なくとも1つの目標物体のタイプ及び位置を、撮像データを処理するためのインスタンス分割モデルを使用して決定するように構成された決定モジュールを更に有し、少なくとも1つの目標物体のタイプの決定は、該少なくとも1つの目標物体が指示情報により指定されたタイプのカウチ付属品であるか否かの判定を含む。該処理回路は、指示情報により指定されたタイプのカウチ付属品であると判定された少なくとも1つの目標物体の決定された位置を、該カウチ付属品の示された指定された位置と比較するように構成された比較モジュールを更に有する。該処理回路は、少なくとも1つの目標物体の決定された位置がカウチ付属品の示された指定された位置に対応しないと判定することに応答して、該カウチ付属品が誤って配置されていることを示すように構成された指示モジュールを更に有する。
【0020】
本発明のこれら及び他の態様は、後述される実施形態から明らかになり、そのような実施形態を参照して解明されるであろう。
【図面の簡単な説明】
【0021】
【
図1】
図1は、一実施形態による患者撮像の結果を改善する方法を示す。
【
図2】
図2は、一実施形態による患者撮像の結果を改善するためのシステムの概略図である。
【
図3a】
図3aは、一実施形態による患者撮像の結果を改善する方法を示す。
【
図3b】
図3bは、一実施形態による患者撮像の結果を改善する方法を示す。
【
図4】
図4は、一実施形態による患者撮像の結果を改善するためのマシン可読媒体の概略図である。
【
図5】
図5は、一実施形態による患者撮像の結果を改善するための装置の概略図である。
【発明を実施するための形態】
【0022】
以下、本発明の例示的実施形態を、図面を参照して単なる例として説明する。
【0023】
図1は、放射線撮像装置を使用して患者の(放射線)撮像を実行する結果を改善するために使用できる方法100(例えば、コンピュータ実施方法)を示す。方法100は、ユーザのコンピューティング装置等のコンピュータ、又はサーバ若しくはクラウドベースのサービス(例えば、ユーザ装置に通信可能に結合された)により実施できる。方法100は、放射線撮像を実行する際に放射線撮像装置用カウチ(寝台)と組み合わせて使用される付属品が適切に使用されているか否かを判断するために、臨床医又は放射線科医等の操作者により使用され得る特定の情報を提供するために使用できる。
【0024】
方法100は、ブロック102において、放射線撮像装置カウチを含む領域(例えば、「関心領域」)の撮像データを受信するステップを有する。ブロック102において、方法100は、更に、被検者による放射線撮像装置カウチの使用に関連する少なくとも1つのカウチ付属品の指定された数、タイプ及び位置の指示情報を受信するステップを有する。受信される上記画像データは、患者、放射線科医若しくは他の臨床スタッフ等の操作者及び/又はカウチと組み合わせて使用されるべき付属品を含み得る、該カウチを含む領域の画像(例えば、カラー画像)を取得するように配置されたカメラ等の画像装置により取得できる。代替例として、受信される撮像データは距離センサによっても取得でき、その場合、該撮像データは領域の深さ(奥行)情報を含む。カメラ又は距離センサは、放射線撮像装置を含む部屋内に配置することができ、場合によって、操作者により放射線撮像手順中に患者を(視覚的に)監視するために使用できる。したがって、異なる放射線撮像装置カウチ環境(すなわち、異なるカウチ、放射線撮像装置及び/又は機器レイアウトを有する異なる部屋)は、環境内の異なる位置にカメラ又は距離センサを有する(例えば、天井に配置されたカメラを有する)ことがあり得、カウチ及び/又は患者のビューが環境ごとに異なるようにする。例えば、カメラは、カウチ及び/又は患者の側面視、上面視(天井に配置されたカメラの場合に取得され得る)又は透視に対応する画像を取得するように構成され得る。このことは、分析されるべき多数の異なる可能なビューが存在することを意味し、これは、異なる可能なビュー、及び/又は環境の異なる特徴及びレイアウトにより、複雑な作業になり得る。
【0025】
少なくとも1つのカウチ付属品の指定された数、タイプ及び位置の受信される指示情報は、手動で又は自動で入力され得る。例えば、操作者は、被験者(例えば、患者)にとり必要であると予想される少なくとも1つのカウチ付属品の数、タイプ及び位置の詳細を入力できる。このような詳細は、ユーザインターフェース、ユーザコンピュータ等で入力できる。それ以外で、該詳細は、自動的に決定され得る、例えば患者の詳細(例えば、身長、体重、病状)等の特定の情報に基づいてコンピュータにより生成され得る。受信される指示情報は、少なくとも1つのタイプのカウチ付属品を被験者に対してどこに(すなわち、被験者の下、上、又は周囲に)配置すべきかを、例えば当該被験者に個人化された態様で示すことができる。
【0026】
方法100は、更に、ブロック104に、領域内の(例えば、少なくとも1つの)目標物体のタイプ及び位置を、撮像データを処理するための実例(インスタンス)分割モデル(instance segmentation model)を使用して決定するステップを有する。ブロック104における目標物体のタイプを決定するステップは、該目標物体が前記指示情報により指定されたカウチ付属品のタイプであるか否かを判定するステップを含む。
【0027】
このように、目標物体のタイプとは、放射線撮像装置カウチに関連する付属品の予め定められたタイプを指し得る。このような予め定められたタイプの付属品の例は、ヘッドレスト(枕)、フットエクステンション、膝支持具、介入制御ボックス等を含む。上記インスタンス分割モデルは、異なる予め定められたタイプの付属品を区別すると共に、領域内の少なくとも1つの目標物体の位置を決定することができる。後に記載されるようにトレーニングされることにより、インスタンス分割モデルは、異なるタイプのカウチ付属品を区別し、認識することができる。
【0028】
方法100は、更に、ブロック106に、指示情報により指定されたカウチ付属品のタイプであると判定された少なくとも1つの目標物体の決定された位置を、該カウチ付属品の示された指定された位置と比較するステップを有する。
【0029】
少なくとも1つの目標物体の決定された位置がカウチ付属品の示された指定された位置に対応しないとの判定に応答して、方法100は、ブロック108に、該カウチ付属品が不正確に配置されていることを示すステップを有する。該指示は、例えば、スタッフに該カウチ付属品の数、タイプ及び/又は位置を修正させるための警告メッセージを含み得る。
【0030】
このように、幾つかのケースにおいて、方法100は、領域内の目標物体が、例えば、ヘッドレスト、フットエクステンション、膝支持具、介入制御ボックス等のうちの1つであるという決定を下すことを可能にできる。方法100は、更に、例えば領域内での、又はカウチ及び/又は患者に対する目標物体の位置も決定できる。少なくとも1つの目標物体が指定された位置にないと判定された場合、方法100は、該少なくとも1つの目標物体の位置が修正され得るように、操作者に警告する指示情報を提供することができる。方法100は、ライブカメラ映像であり得る撮像データを取得する間に、領域内の少なくとも1つの目標物体を追跡し、該目標物体のタイプ(すなわち、予め定められたタイプの付属品)を識別できる。
【0031】
方法100は、受信された画像データ(例えば、カメラ、距離センサ等により取得された)に基づいてカウチ付属品のインスタンス分割を実施する。前述したように、目標物体(又はカウチ付属品)のタイプ及び位置は、インスタンス分割モデルを実施することにより決定できる。幾つかのケースにおいて、インスタンス分割モデルは、目標物体の(3D)輪郭(例えば、形状に対応する周又は他の外側プロファイル)を決定するために使用できる。幾つかの実施形態において、新しい付属品がカメラ又は距離センサの視野内で検出されると、該付属品はカメラの視野を離れるまで追跡(及び、その「タイプ」を識別)することができる。追跡過程において付属品が部分的に又は完全に遮蔽されたとしても、インスタンス分割モデルは、該追跡機能により、特定の付属品タイプが特定の位置にあると依然として判断することができる。
【0032】
幾つかの実施形態において、少なくとも1つのカウチ付属品の指定される位置は、該少なくとも1つのカウチ付属品が被験者を支持するために適切に配置されることの該被験者の必要性に基づくものである。このように、指定される位置は、被験者に対して個性化され得る。
【0033】
幾つかの実施形態において、方法100は、患者がカウチ上横たわる前に該カウチ上に初期的に配置されたカウチ付属品のタイプ及び位置を決定することができる。幾つかの実施形態において、方法100は、患者が初期的にカウチに横たわり、次いでカウチ付属品が該患者の上、周囲又は下に配置された場合に、該付属品のタイプ及び位置を決定することができる。付属品が誤って用いられ又は忘れられた場合、方法100は、スタッフがカウチ付属品の数、タイプ及び/又は位置を修正することを可能にするための指示情報(例えば、警告メッセージ)の提供を容易にすることができる。
【0034】
このように、本明細書に記載された特定の方法の実施は、使用される付属品が指定された放射線撮像プロトコルに従っていることを操作者が確認する助けとなり得る。したがって、方法100は、間違ったカウチ付属品の使用による誤りの減少につながり得、このことは、作業負担を低減し、放射線撮像時間を短縮し、及び/又は放射線画像の品質を向上することになり得る。
【0035】
幾つかの実施形態において、前記インスタンス分割モデルは、マスク領域ベースの畳み込みニューラルネットワーク(R-CNN)により実施される。マスクR-CNNは、後に詳細に説明される少なくとも1つの事前定義された注釈付け原則に従って注釈付けされた異なる放射線撮像装置カウチ環境の複数の画像(例えば、カメラ画像)を使用して準備されたデータセットを使用してトレーニングされ得る。該インスタンス分割モデルは、画像内に環境の異なる可能なビュー及び/又は異なる特徴及びレイアウトが存在する場合でも、目標物体の認識及び追跡が可能であり得る。
【0036】
マスクR-CNNは、異なる物体タイプを識別(同定)できる、深層学習におけるインスタンス分割アルゴリズムの一例である。インスタンス分割モデルとの組み合わせで、本明細書に記載の特定の実施形態により、カウチ付属品を追跡するための物体追跡アルゴリズムが実施される。
【0037】
ここで、インスタンス分割モデルのトレーニングを、一実施形態に従って説明する。先に説明したように、異なる放射線撮像装置カウチ環境(すなわち、部屋)は、異なる設定を有する。当該インスタンス分割モデルがカウチ付属品のタイプを決定できる程度において、異なる操作者によりワールドワイドに使用され得る種々の可能性のある放射線撮像装置のカウチ設定を考慮に入れるためのデータセットが準備された。
【0038】
該データセットを準備するために、4つの異なるタイプのカウチ付属品が使用された。第1のタイプのカウチ付属品は、患者の頭部をカウチ上で支持するためのヘッドレストである(ヘッドレストには、3つの異なるサブタイプのヘッドレストが存在する)。第2のタイプのカウチ付属品は、患者の足を支持するためのフットエクステンション(1つのサブタイプ)である。第3のタイプのカウチ付属品は、患者の脚及び/又は膝を支持するための膝支持具(1つのサブタイプ)である。第4のタイプのカウチ付属品は、例えば放射線撮像手順中に患者に対して使用される介入機器を制御するための介入制御ボックス(1つのサブタイプ)である。これらのカウチ付属品の各々は固有の形状を有し、このことは、インスタンス分割モデルが、これらの異なるカウチ付属品を区別できることを意味する。
【0039】
幾つかの実施形態において、当該データセットを提供するために使用された異なる放射線撮像装置カウチ設定は、以下の(第1から第4の)カウチ構成のうちの少なくとも1つがカメラにより撮像されたカメラ撮像データ(すなわち、「複数の画像」)を含む。
【0040】
第1のカウチ構成の場合、当該データセット内の複数の画像のうちの少なくとも1つの画像は、カウチ付属品の位置、数及び/又はタイプの少なくとも1つの異なる組み合わせを有する。例えば、カウチ付属品は異なる場所に配置され、カメラにより撮影され得る。他の例においては、画像内に、全ての異なるタイプのカウチ付属品が存在するわけではない。他の例においては、全てのタイプのカウチ付属品が画像内に存在する。
【0041】
第2のカウチ構成の場合、少なくとも1つの異なる背景が、複数の画像のうちの少なくとも1つにおいて使用され得る。例えば、異なる物体(すなわち非目標物体)が視野内に存在し得、及び/又はカメラが異なる位置にあるために、異なる物体が視野内に見え得る。
【0042】
第3のカウチ構成の場合、少なくとも1つの部分的に遮蔽されたカウチ付属品が、複数の画像のうちの少なくとも1つに存在し得る。例えば、カウチ付属品は、該カウチ付属品が当該環境に導入されているか若しくは該環境から除去されている場合、操作者により扱われている場合、患者により少なくとも部分的に遮蔽される場合、及び/又は他のカウチ付属品等の機器により少なくとも部分的に遮蔽される場合に、少なくとも部分的に遮蔽され得る。
【0043】
第4のカウチ構成の場合、当該放射線撮像装置のカウチを使用する被験者(例えば、患者)が複数の画像のうちの少なくとも1つに存在し得る。例えば、被験者はカウチに座り又は横たわり得、少なくとも1つのカウチ付属品が該被験者の上、周囲又は下に配置され得る。
【0044】
少なくとも1つの事前定義された注釈付け原則を実施する(又は、少なくとも訓練者が該少なくとも1つの事前定義された注釈付け原則の実施を容易にすることを可能にする)注釈付けツールは、カメラ画像を表示すると共に、訓練者が、これらの画像の各々についてカウチ付属品のタイプを入力する(例えば、「注釈付けする」)ことを可能にするコンピュータユーザインターフェース(図示せず)により実施化できる。例えば、前記インスタンス分割アルゴリズムは、画像内の特定の物体を識別することができ、訓練者(トレーナ)は、カウチ付属品のタイプを予め定められたタイプのカウチ付属品から(例えば、複数の画像内に存在するカウチ付属品の以前に入力されたリストから)選択して、当該モデルをトレーニングすることができる。
【0045】
幾つかの実施形態において、上記少なくとも1つの予め定められた注釈付け原則は、下記の(第1から第4の)予め定められた注釈付け原則のうちの少なくとも1つを含む。
【0046】
第1の予め定められた注釈付け原則は、カウチ付属品注釈付けの予め定められた最小精度を指し得る。例えば、人間のトレーナを使用することにより、カウチ付属品の注釈付け(すなわち、カウチ付属品の「タイプ」の選択)は、非常に正確であると見なすことができる。言い換えれば、トレーナは可能な限り正確に注釈付けすると見なすことができる。
【0047】
第2の事前定義された注釈付け原則は、完全に遮蔽されたカウチ付属品には注釈付けをしないことを指し得る。例えば、遮蔽されたカウチ付属品は、インスタンス分割モデルのトレーニングにエラーを生じさせ得る。しかしながら、部分的に遮蔽されたカウチ 付属品には、依然として注釈付けされ得る。例えば、カウチ付属品の閉じられていない/露出されている部分(すなわち、遮蔽されていない部分)には注釈を付けることができる。
【0048】
第3の予め定められた注釈付け原則は、画像内におけるカウチ付属品の少なくとも指定されたレベルの影(シャドーイング)を受ける部分(又は全体)には注釈を付けないことを指し得る。例えば、影はインスタンス分割モデルのトレーニングにエラーを発生させ得る。幾つかの例において、同じカウチの付属品の場合、当該画像における影が濃いとは思われない(例えば、閾値を下回っている)部分において、該付属品は該部分に注釈が付けられ得る。しかしながら、画像の一部において影が濃すぎる(例えば、閾値を超える)場合、当該付属品は該一部では注釈付けされない。このように、付属品の一部が濃い影を受ける場合でも、トレーナにより付属品全体がマーク付けされていない (すなわち、注釈が付けられていない)ままとされる必要はない。
【0049】
第4の予め定められた注釈付け原則は、画像内の事前定義された露出レベル未満のカウチ付属品を無視することを指し得る。例えば、10%未満の露出レベル(例えば、当該環境における不十分な光により)は、インスタンス分割モデルをトレーニングするために使用される場合、許容できないエラーを発生すると見なされ得る。
【0050】
このように、前述した異なるカウチ構成を上記少なくとも1つの事前定義された注釈付け原則と組み合わせて使用することにより、インスタンス分割モデルが異なる可能な環境において十分に訓練されることを可能にするように、画像が十分に変化され得、このことは、該インスタンス分割モデルが撮像データ内のカウチ付属品のタイプを正確に判断することを可能にし、これにより、当該物体追跡手順を容易にすることができる。
【0051】
インスタンス分割モデルをトレーニングするために使用されたデータセットは、トレーニング用に1455の画像を、検証用に200の画像を含んだ。更に、現場で得られると予想される画像品質の可能性のあるエラー及び/又は変動(非最適な照明及びカメラ設定による)を考慮するために、インスタンス分割モデルのトレーニングを支援するために使用される画像に増強処理が適用された。言い換えると、放射線撮像手順を監視するためにエンドユーザにより使用される様々なカメラ、照明装置及び環境は、画質の点で幾らかの変動性につながり得ることが予想される。この潜在的な変動性を考慮に入れるために増強方法を使用することにより、インスタンス分割モデルは、画質が最適でない又は期待どおりでない場合でも、依然として画像内のカウチ付属品のタイプを決定できる可能性がある。
【0052】
データセットの作成に使用される増強方法の例は、以下の増強方法を含む。幾つかの実施形態において、これらの増強方法の選択を使用して、インスタンス分割モデルを訓練し、最小の予測精度(例えば、99%を超える)でカウチ付属品のタイプを識別するデータセットを生成することができる。
【0053】
該増強方法は、画像にアフィン変換を適用する方法;画像に要素ごとに(すなわち、ピクセルごとに)ガウス分布からサンプリングされたノイズを画像に追加する方法;画像内の全てのピクセルを特定の値で乗算し、これにより、画像を暗くし又は明るくする方法;JPEG圧縮することより画質を劣化させる方法;画像内の長方形領域(すなわち、これらの長方形領域内のピクセル値)をゼロに設定する方法;アルファ/不透明度値を使用して2つの画像ソースをアルファブレンドする方法;画像を、該画像内の近傍にわたって単純平均を計算する(例えば、ぼかしフィルターを適用する)ことによりぼかす方法;画像のコントラストを調整する方法;入力画像を水平方向に反転又は鏡映する方法;入力画像を垂直方向に反転又は鏡映する方法;雪のない風景を雪の風景に変換する方法;及び画像に雲を追加する方法;を含む。
【0054】
このレベルのトレーニング(すなわち、異なるカウチ構成及び/又は増強方法による異なる画像間の差異、及びデータセットに使用される画像の数)は、カウチ付属品タイプの信頼性が高く一貫した識別をもたらすと共に、適切なカウチ付属品の追跡を容易化することが分かった。
【0055】
図2は、本明細書に記載の特定の方法を実施するためのシステム200を示している。システム200を使用して取得された画像は、上述したモデルをトレーニング及び/又は検証するために使用できる。しかしながら、システム200は、エンドユーザ(例えば、操作者)により、放射線撮像装置202を使用する患者の撮像の結果を改善するために使用することができる。エンドユーザはモデルを(例えば、自身のカウチ付属品を使用して)トレーニングできるが、エンドユーザにより使用される実際のシステム200は、該モデルをトレーニング及び/又は検証するために使用されたシステム200とは異なり得る。例えば、放射線撮像装置202の製造者又は設置者はモデルを複数の異なる環境(例えば、異なるシステム200の設定を使用する)からの画像を使用することによりトレーニングできる一方、エンドユーザは
図2に示されるようなシステム200を使用できる。
【0056】
放射線撮像装置202は、複数(この場合は4つであるが、任意の数であり得る)のカウチ付属品206a~206dを支持するカウチ204を更に備える。これらのカウチ付属品206a~206dは、
図2では異なる形状を有し、前記インスタンス分割モデルを使用して認識できる。放射線撮像装置202の使用時において、患者(図示せず)はカウチ204上に横たわり、該患者に必要とされるカウチ付属品206a~206dが患者を支持するために適切に配置され得る。カウチ付属品206a~206dは患者の下に配置され得るので、カウチ付属品206a~206dは少なくとも部分的に遮蔽され得る。しかしながら、前述したようにトレーニングされたインスタンス分割モデルは、カウチ付属品206a~206dを十分な精度で識別及び追跡することが分かっている。
【0057】
この実施形態において、システム200は、撮像データを取得するためのカメラ208(すなわち、「撮像装置」)、コンピューティング装置210(例えば、処理装置及びオプションとしてのメモリを備える)、及び撮像データを表示するためのディスプレイ212を備える。この実施形態において、コンピューティング装置210はカメラ208から画像データを受信するように構成され、該カメラは
図2に示される領域214の画像をキャプチャするように構成される。
【0058】
他の例において、システム200は、撮像装置の一実施形態として距離センサを備えることができ、該距離センサは領域214の奥行き(深さ)情報を提供するように構成される。言い換えると、領域214は、放射線撮像装置202、カウチ214、カウチ付属品206a~206d、及び/又は該領域214内の何らかの他の物体若しくは被写体の(3D)画像(カメラ208によりキャプチャされた)であり得る。コンピューティング装置210はディスプレイ212に撮像データを表示させるために該ディスプレイ212に通信可能に結合され、当該撮像データは、関連する場合、全ての識別されたカウチ付属品206a~206dの位置を示す情報、及び/又は欠落している及び/又は誤って配置されているカウチ付属品206a~206dに関する警告メッセージ等の何らかの他の情報を含み得る。
【0059】
幾つかの実施形態において、コンピューティング装置210はユーザのコンピュータにより実施化され得る。幾つかの実施形態において、コンピューティング装置210はサーバ又はクラウドベースのコンピューティングサービスにより実施化され得る。コンピューティング装置210の処理装置は、本明細書に記載の特定の方法を実施することができる(例えば、方法100を実施し、カメラ208に画像データを取得させ、及び/又はディスプレイ212に何のカウチ付属品206a~206dが必要であるか及び/又は何れかのカウチ付属品206a~206dが欠落している若しくは間違った位置にあるかに関する情報を含む画像データを表示させる)。存在する場合、コンピューティング装置210のメモリ(又はコンピューティング装置210の一部を形成しない他のメモリ)は、インスタンス分割モデル自体、インスタンス分割モデルを実施するための何らかの命令、及び/又はカウチ付属品の追跡を実施するための命令を記憶できる。
【0060】
インスタンス分割モデルがトレーニングされている幾つかの実施形態において、コンピューティング装置210は、トレーニングデータセットを含むメモリ(例えば、コンピューティング装置210の、又はコンピューティング装置210により提供されない他のメモリ)にアクセスし、トレーニング手順を実行する(例えば、ユーザインターフェース(例えば、ディスプレイ212により提供される)を介して訓練者からの入力を受信する)。
【0061】
図3a及び
図3bは、放射線撮像装置を使用して患者の撮像を行う結果を改善するために使用できる方法300(例えば、コンピュータ実施方法)を示す。方法300は、ユーザのコンピューティング装置等のコンピュータ(例えば、コンピューティング装置210)、又はサーバ若しくはクラウドベースのサービス(例えば、ユーザ装置に通信可能に結合された)により実施され得る。方法300は、前記方法100を実施するための特定のブロックを含む。特定のブロックは、省略されてもよく、及び/又は
図3により示されるものとは異なる順序で実行されてもよい。例えば、方法300の一部は、インスタンス分割モデルをトレーニングする場合に実施され得るが、方法300の該部分は、エンドユーザにより実施されないものであり得、したがって、エンドユーザにより実施される場合には省略できる。適宜、前述した方法100及びシステム200を参照する。
【0062】
方法300は、ブロック302において初期化される。
【0063】
方法300のブロック304において、インスタンス分割モデルが構築される(すなわち、前述したようにトレーニング及び検証される)。
【0064】
方法300のブロック306において、第1のフレーム(すなわち、撮像データの第1の画像であり、該画像データは3D情報を含み得る)が取得される(例えば、カメラ208に第1のフレームを取得させることによるもので、該第1のフレームはコンピューティング装置210によりカメラ208から直接的に、又は画像データを記憶するためのメモリから受信される)。
【0065】
方法300のブロック308においては、インスタンス分割モデルを使用して、第1のフレームにおけるカウチ付属品206a~206dのタイプ及びこれらカウチ付属品206a~206dの位置を決定する。カウチ付属品の位置を決定するステップは、フレーム内の何処に該カウチ付属品が配置されているかを決定するステップ、及び/又は該カウチ付属品の輪郭(例えば、プロファイル又は周囲)のセグメントを決定するステップを含み得る。
【0066】
どのカウチ付属品206a~206d(特定の視野内には任意の数及びタイプのカウチ付属品が存在し得るので、以下では「目標物体」と称する)を追跡すべきかの選択、及び目標物体の追跡(トラッキング)を、ここで説明する。
【0067】
幾つかの実施形態において、方法300は、領域214内に複数の目標物体が存在するとの判定に応答して、方法300は、これら目標物体の各々に対応するカウチ付属品のタイプを決定するステップを含み、ブロック310において、同じタイプの複数の目標物体が存在するとの判定に応答して(すなわち、
図3aにおける「はい」)、方法300は、ブロック312において、該複数の同じタイプの目標物体から、インスタンス分割モデルによる最高の予測確率を有する1つの目標物体を選択するステップを更に有する。言い換えると、同じタイプの目標物体の数が1を超える場合、方法300は、最高の予測確率を持つ目標物体を選択し得る(そして、より低い予測確率を持つ如何なる残りの目標物体も破棄する)。このように、方法300は、一度に1つのタイプの目標物体(すなわち、同じタイプの1つの目標物体)を追跡することを可能にする。
【0068】
幾つかの実施形態において、インスタンス分割モデルは、検出された各目標物体に、当該目標物体が確かに予め定められたタイプの目標物体の1つであると該モデルがどの程度確信があるかに基づいて、予測確率を割り当てることができる。
【0069】
幾つかの実施形態において、方法300は、ブロック314において、異なるタイプの隣接する目標物体の間の距離を決定するステップを有する。コンピューティング装置210が隣接する目標物体間の一層正確な距離尺度を出力することを可能にする領域214の奥行き(深さ)画像データを有することが有益であり得る。ブロック316において該距離が閾値未満であると判定すること(すなわち、
図3aにおける「はい」)に応答して、方法300は、ブロック318において、隣接する目標物体からインスタンス分割モデルによる異なるタイプの最高の予測確率を有する1つの目標物体を選択するステップを更に有する。言い換えれば、隣接する目標物体間の距離が閾値未満である場合、方法300は、最高の予測確率を持つカウチ付属品のタイプを選択する(例えば、カウチ付属品の識別及び/又は追跡エラー率を低減するために)。方法300は次いでブロック320に進む。
【0070】
上記距離がブロック316において閾値以上である場合(すなわち、
図3aにおける「いいえ」)、方法300はブロック320に進む。
【0071】
幾つかの実施形態において、上記閾値は、例えば、50ピクセル又は他の数等のピクセル数(2つの隣接する目標物体のエッジ間の物理的距離に変換される)であり、カメラ208の解像度に依存し得る。全ての2D及び3D撮像データの例に当てはまるように、該閾値は、物理的に近接している目標物体を区別するためのインスタンス分割モデルの能力の精度に従って選択され得る。例えば、該閾値は、目標物体の予測確率に応じて動的に調整できる。
【0072】
方法300のブロック320において、第1のフレームにおいて識別され保持された目標物体は、特定の閾値を超える(例えば、99.9%又は他の適切な値以上の)予測確率を有するなら、保持される(例えば、目標物体追跡の目的で)。
【0073】
方法300のブロック322において、第1のフレームについて予測結果が得られる。すなわち、第1のフレームにおける目標物体の位置及び識別(すなわち、タイプ)の予測である。この情報を使用して、コンピューティング装置210がアクセスできるメモリを更新できる。例えば、該メモリは以前の予測結果(例えば、「last_r」とラベル付けされる)を保持することができ、ブロック322は、この以前の予測結果が第1のフレームに関して取得された予測結果で更新されるようにする。
【0074】
方法300のブロック324において、第2のフレーム(すなわち、撮像データの第2の画像)が取得される(例えば、カメラ又はレンジセンサ208に第2のフレームを取得させることによるもので、コンピューティング装置210に送信される)。ブロック324の機能は、ブロック306により提供される機能に対応する。第1のフレームの予測結果を取得するために(ブロック322で)使用されたブロック306から318と同じ機能が、第2のフレームの予測結果を取得するために使用される。言い換えると、ブロック306、308、310、312、314、316及び318の機能(第1のフレームに適用された)は、ブロック324、326、328、330、332、334及び336の機能(第2のフレームに適用される)に、各々、対応する。
【0075】
ブロック338において、以下に説明するように、第2のフレームの予測結果が取得される。このように、幾つかの実施形態において、方法300は、ブロック338において、撮像データからの連続するフレーム(すなわち、第1及び第2のフレーム)を比較して、目標物体の位置が当該領域において連続するフレーム間で変化したか、及び/又は目標物体の数及び/又はタイプが当該領域において連続するフレーム間で変化したかを判定するステップを有する。
【0076】
ブロック338は、
図3bに一層詳細に示され、以下に説明される。
【0077】
幾つかの実施形態において、ブロック340において目標物体が連続するフレームの両方に存在すると判定することに応答して、方法300は、ブロック342において、連続するフレームの最新のもの(すなわち、第2のフレーム)における目標物体の予測確率を、予測閾値(例えば、インスタンス分割モデルにより決定される99.9%)と比較するステップを有する。
【0078】
予測確率が予測閾値を上回ると判定すること(すなわち、「はい」)に応答して、方法300は、ブロック344において、目標物体が最新のフレームに存在するという指示情報を供給するステップを有する。幾つかの実施形態において、該指示情報を供給するステップは、第2のフレームの予測結果で使用するために(例えば、「this_r」とラベル付けされる)、検出された目標物体に関する情報を保存するステップを有する。
【0079】
しかしながら、予測確率が予測閾値を上回らない(すなわち、「いいえ」)と判定することに応答して、方法300は、ブロック346において、連続するフレームにおける目標物体間の距離(例えば、連続するフレーム間のピクセル単位での目標物体の中心間の距離、又は他の距離尺度)を決定するステップを有する。
【0080】
ブロック348において連続するフレームにおける目標物体間の距離が距離(又はピクセル)閾値未満である(すなわち、「はい」)と判定することに応答して、方法300は、ブロック350において、目標物体が最新のフレーム内に存在するとの指示情報を供給するステップを有する。幾つかの実施形態において、該指示情報を供給するステップは、第2のフレームの予測結果で使用するために、検出された目標物体に関する情報を保存するステップを含む(例えば、「this_r」とラベル付けされる)。
【0081】
連続するフレームにおける目標物体間の距離が距離閾値を下回っていない(すなわち、「いいえ」)と判定することに応答して、方法300は、ブロック352に、目標物体が最新のフレーム内には存在しないという指示情報を供給するステップを有する。例えば、該指示情報は、当該目標物体を破棄して、第2フレームの予測結果において使用されない又は無視されるようにし得る。
【0082】
幾つかの実施形態において、ブロック354において目標物体は連続するフレームのうちの最新のもの(すなわち第2のもの)には存在するが、該連続するフレームのうちの最も早いもの(すなわち第1のもの)には存在しないと判定することに応答して、方法300は、ブロック356において、最新のフレームにおける目標物体の予測確率を、予測閾値と比較するステップを有する(例えば、ブロック342と同様に)。
【0083】
予測確率が予測閾値を上回ると判断することに応答して、方法300は、ブロック358において、目標物体が最新のフレームに存在するという指示情報を供給するステップを有する(すなわち、ブロック344と同様に、「はい」)。
【0084】
予測確率が予測閾値を上回らない(すなわち、「いいえ」)と判定することに応答して、方法300は、ブロック360において、目標物体は最新のフレームには存在しないという指示情報を供給するステップを有する(例えば、ブロック352と同様)。
【0085】
幾つかの実施形態において、ブロック362において目標物体は連続するフレームのうちの最も早い(第1の)フレームには存在するが、該連続するフレームのうちの最新の(第2の)フレームには存在しないと判定することに応答して、方法300は、ブロック364において、目標物体が最新のフレームにおいて境界に位置するか(例えば、該物体が少なくとも部分的に境界を横切り得るか)を判定するステップを有する。例えば、目標物体は、当該領域を離れることにより(例えば、操作者により除去されることにより)少なくとも部分的に遮蔽され、又は患者の下に配置されることにより遮蔽され得る。
【0086】
目標物体の少なくとも一部が境界に位置する(すなわち、「はい」)と判定することに応答して、方法300は、ブロック366において、目標物体は最新のフレームには存在しないという指示情報を供給するステップを有する(例えば、ブロック352と同様)。
【0087】
目標物体が境界には位置しないと判定することに応答して、方法300は、ブロック368において、目標物体は最新のフレームに存在するという指示情報を供給するステップを有する(例えば、ブロック344と同様)。
【0088】
ブロック338を実施する結果として、ブロック370において、第2のフレームについて他の予測結果が得られる(すなわち、「this_r」)。このように、ブロック322及び370で得られる予測結果は、各々、第1及び第2の(連続する)フレーム間の目標物体のタイプの識別及び追跡に対応する。
【0089】
ブロック372において、方法300は、以下に説明するように使用され得る第2のフレームの予測結果を出力する。
【0090】
ブロック374において、方法300は、メモリを更新して、第2フレームの予測結果が第1フレームの予測結果に置き換わるようにする(すなわち、第1フレームの予測結果は、最早、有効でないからである)。
【0091】
ブロック376において、当該方法は、第2のフレームの予測結果を保持するメモリを空にする(すなわち、次のフレームがカメラ208により取得され得ることを予期して)。
【0092】
ブロック378において、方法300は、次のフレームが存在するか否か(すなわち、カメラ208が撮像データを取得し続けるか否か)を判定する。「はい」の場合、方法300はブロック324に戻り、方法300の後続のブロックを繰り返す。「いいえ」の場合、方法300はブロック380で終了する。
【0093】
このように、幾つかの実施形態において、方法300は、領域内の各目標物体のタイプを決定すると共に、撮像データの連続するフレームで各目標物体を追跡するステップを含む。
【0094】
幾つかの実施形態において、ブロック372において予測結果を出力することに応答して、方法300は、ブロック382において、ディスプレイ(例えば、ディスプレイ212)に、放射線撮像装置カウチ204の表現(例えば、表示された画像)に関連させて、各目標物体の検出されたタイプ及び/又は位置を表示させるステップを有する。
【0095】
方法300のブロック384において、当該領域における各目標物体のタイプ及び/又は位置は、該領域に関する予想される(期待される)物体構成と比較される。予想される物体構成は、被験者による放射線撮像装置カウチの使用に関連する少なくとも1つのカウチ付属品の指定された数、タイプ及び位置に対応し得る。幾つかの実施形態において、当該領域における少なくとも1つの目標物体が予想される物体構成に対応しない、及び/又は少なくとも1つの目標物体が該領域内で欠落していると判定することに応答して、方法300は、ブロック386において、ディスプレイに、少なくとも1つの目標物体の決定された位置がカウチ付属品の示された指定された位置に対応しない及び/又は少なくとも1つの目標物体が予想される物体構成に対応しないなら該カウチ付属品が誤って配置されていなと、及び/又は少なくとも1つの目標物体が当該領域において欠落していると表示させるステップを有する。
【0096】
幾つかの実施形態において、予想される物体構成は、当該カウチを使用する被験者(例えば、患者)に関連付けられた各目標物体の指定された数、タイプ及び/又は位置を含む。言い換えると、操作者は、コンピューティング装置210に当該患者の予想される物体構成を入力することができる。コンピューティング装置210(方法300を実施する)が、目標物体(例えば、カウチ付属品)が欠落している又は誤って配置されていることを検出した場合、ブロック386は、ディスプレイに、このことを例えば警告メッセージを介して適宜表示させる。
【0097】
図4は、少なくとも1つのプロセッサ404により実行されると、該少なくとも1つのプロセッサ404に、本明細書に記載の特定の方法、例えば方法100又は300を実施させる命令402を記憶した有形のマシン可読媒体400を概略的に示す。この実施形態において、命令402は、方法100のブロック102の機能を果たすための命令406を含む。命令402は、方法100のブロック104の機能を果たすための命令408を更に含む。命令402は、ブロック106の機能を果たすための命令410を更に含む。命令402は、方法100のブロック108の機能を果たすための命令412を更に含む。命令402は、方法300のブロックのいずれかの機能を果たすための他の命令を含み得る。
【0098】
図5は、方法100又は300等の、本明細書に記載の特定の方法を実施するために使用され得る装置500を示している。装置500は、
図2のシステム200のコンピューティング装置210等の、
図2のシステム200に関連して説明した特定のフィーチャに対応する機能を備えたモジュールを有し得る。この実施形態において、装置500は、方法100のブロック102の機能を果たすように構成された受信モジュール504を備える。装置500は、更に、方法100のブロック104の機能を果たすように構成された決定(判定)モジュール506を備える。装置500は、更に、方法100のブロック106の機能を果たすように構成された比較モジュール508を備える。装置500は、更に、方法100のブロック108の機能を果たすように構成された指示モジュール510を備える。受信モジュール504、決定モジュール506、比較モジュール508及び/又は指示モジュール510(又は任意の追加モジュール)は、方法300のブロックのいずれかの機能を果たすために使用することもできる。
【0099】
幾つかのケースにおいて、上述したモジュールのいずれか(例えば、受信モジュール504、決定モジュール506、比較モジュール508及び/又は指示モジュール510)は、当該モジュールの機能を果たすための少なくとも1つの専用のプロセッサ(例えば、特定用途向け集積回路(ASIC)及び/又はフィールドプログラマブルゲートアレイ(FPGA)等)を有し得る。例えば、該少なくとも1つの専用のプロセッサは、上述した機能を果たすようにプログラムされ、又は上述の機能を果たすために命令を記憶したメモリにアクセスして斯様な命令を実行するように構成され得る。
【0100】
本発明を、図面及び上記記載において詳細に図示及び説明しが、このような図示及び説明は解説的又は例示的であり、限定するものではないと見なされるべきである。すなわち、本発明は開示された実施形態に限定されるものではない。
【0101】
1つの実施形態に記載された1以上のフィーチャは、他の実施形態に記載されたフィーチャと組み合わせるか、又は置き換えることができる。例えば、
図1又は
図3a~
図3bの方法100、300は、システム200(
図2を参照した)、マシン可読媒体400及び/又は装置500に関連して説明されたフィーチャに基づいて修正でき、その逆でもある。
【0102】
本開示は、次の番号が付された段落により定義される主題を含む。
段落1.コンピュータ実施方法であって、
- 放射線撮像装置カウチを含む領域の撮像データを受信するステップと、
- 領域内の少なくとも1つの目標物体のタイプ及び位置を、撮像データを処理するためのインスタンス分割モデルを使用して決定するステップであって、少なくとも1つの目標物体のタイプを決定するステップが、該少なくとも1つの目標物体が放射線撮像装置カウチに関連する予め定められたタイプの付属品であるか否かを判定するステップを含む、ステップと
を有する、方法。
段落2.段落1の方法であって、前記決定するステップは領域内に複数の目標物体が存在することを決定するステップを含み、これに応答して、当該方法は前記複数から目標物体の各々の予め定められたタイプを決定するステップを含み、同一の予め定められたタイプの複数の目標物体が存在すると判断することに応答して、当該方法が、該同一の予め定められたタイプの複数の目標物体から、インスタンス分割モデルにより最高の予測確率を有する1つの目標物体を選択するステップを更に有する、方法。
段落3.段落1又は2の方法であって、異なるタイプの隣接する目標物体間の距離を決定するステップを更に有し、該距離が閾値未満であると判定することに応答して、当該方法が、隣接する目標物体から、インスタンス分割モデルにより異なるタイプの最高の予測確率を有する1つの目標物体を選択するステップを更に有する、方法。
段落4.先行する何れかの段落の方法であって、撮像データからの連続するフレームを比較して、目標物体の位置が当該領域において連続するフレームの間で変化したか、及び/又は目標物体の数及び/又はタイプが当該領域において連続するフレームの間で変化したかを判断するステップを更に有する、方法。
段落5.段落4の方法であって、目標物体が連続するフレームの両方に存在すると判定することに応答して、当該方法は、
- 連続するフレームのうちの最新のものにおける目標物体の予測確率を予測閾値と比較するステップを有し、及び
- 予測確率が予測閾値を上回っていると判断することに応答して、当該方法は目標物体が最新のフレームに存在するとの指示情報を供給するステップを有し、又は
- 予測確率が予測閾値を上回らないと判断することに応答して、当該方法は、連続するフレーム内の目標物体間の距離を決定するステップを有し、
- 連続するフレーム内の目標物体間の距離が距離閾値未満であると判断することに応答して、当該方法は、目標物体が最新のフレーム内に存在するとの指示情報を供給するステップを有し、又は
- 連続するフレーム内の目標物体間の距離が距離閾値を下回っていないと判断することに応答して、当該方法が、目標物体が最新のフレーム内には存在しないという指示情報を供給するステップを有する、
方法。
段落6.段落4の方法であって、目標物体が連続するフレームの最新のものには存在するが、連続するフレームの最も早いものには存在しないと判断することに応答して、当該方法は、
- 最新のフレームにおける目標物体の予測確率を予測閾値と比較するステップを有し、及び
- 予測確率が予測閾値を上回っていると判断することに応答して、当該方法は、目標物体が最新のフレームに存在するとの指示情報を供給するステップを有し、又は
- 予測確率が予測閾値を超えていないと判断することに応答して、当該方法は、目標物体が最新のフレームには存在しないとの指示情報を供給するステップを有する、
方法。
段落7.段落4の方法であって、目標物体が連続するフレームの最も早いものには存在するが、連続するフレームの最も新しいフレームには存在しないと判断することに応答して、
- 目標物体が最新のフレームにおける境界に位置するかを判定するステップを有し、及び
- 目標物体の少なくとも一部が境界に位置すると判定することに応答して、当該方法は、目標物体が最新のフレームには存在しないという指示情報を供給するステップを有し、又は
- 目標物体が境界には位置していないと判断することに応答して、当該方法が、目標物体が最新のフレームに存在するとの指示情報を供給するステップを有する、
方法。
段落8.先行するいずれかの段落の方法であって、領域内の各目標物体のタイプを決定するステップ、及び撮像データの連続するフレームにおける各目標物体を追跡するステップを有する、方法。
段落9.先行するいずれかの段落の方法であって、当該方法が、ディスプレイに、放射線撮像装置カウチの表現に対して、各目標物体の検出されたタイプ及び/又は位置を表示させるステップを更に有する、方法。
段落10.段落9の方法であって、領域内の各目標物体のタイプ及び/又は位置を、該領域の予想される物体構成と比較するステップを有し、領域内の少なくとも1つの目標物体が予想される物体構成に対応しない又は該領域において少なくとも1つの目標物体が欠落していると判定することに応答して、当該方法が、少なくとも1つの目標物体が期待される物体構成に対応しない、及び/又は少なくとも1つの目標物体が領域内で欠落していることをディスプレイに表示させるステップを有する、方法。
段落11.段落10の方法であって、期待される物体構成が、カウチを使用する被験者に関連付けられた各目標物体の指定された数、タイプ及び/又は位置を含む、方法。
段落12.先行する何れかの方法であって、インスタンス分割モデルが、少なくとも1つの予め定められた注釈付け原則により注釈付けされた異なる放射線撮像装置カウチ環境の複数の画像を用いて準備されたデータセットを使用してトレーニングされた、マスク領域ベースの畳み込みニューラルネットワーク(R-CNN)により実施化される、方法。
段落13.少なくとも1つのプロセッサ上で実行された場合に、該少なくとも1つのプロセッサに何れかの先行する段落の方法を実施させる命令を含む、有形のマシン可読媒体。
段落14.処理回路を含む装置であって、処理回路が、
- 放射線撮像装置カウチを含む領域の撮像データを受信するように構成された受信モジュールと、
- 領域内の少なくとも1つの目標物体のタイプ及び位置を、撮像データを処理するためのインスタンス分割モデルを使用して決定するように構成された決定モジュールであって、少なくとも1つの目標物体のタイプを決定する動作が、該少なくとも1つの目標物体が放射線撮像装置カウチに関連付けられた予め定められたタイプの付属品であるか否かを判定する動作を含むモジュールと、
を有する、装置。
段落15.段落1から13の方法又は段落14の装置であって、画像化データが領域の深さ(奥行き)情報を含む方法又は装置。
【0103】
本開示の実施形態は、方法、システムとして、又はマシン可読命令及び処理回路の組み合わせとして提供することができる。このようなマシン可読命令は、コンピュータ可読プログラムコードを有する非一時的なマシン(例えば、コンピュータ)可読記憶媒体(限定されるものではないが、ディスク記憶装置、CD-ROM、光学記憶装置等を含む)に含まれ得る。
【0104】
本開示は、本開示の実施形態による方法、装置及びシステムのフローチャート及びブロック図を参照して説明されている。上記フローチャートは特定の実行順序を示しているが、実行順序は図示されているものとは異なることができる。あるフローチャートに関連して説明されるブロックは、他のフローチャートのものと組み合わせることができる。フローチャート及び/又はブロック図における各ブロック、ならびにフローチャート及び/又はブロック図におけるブロックの組み合わせは、マシン可読命令により実現できると理解されたい。
【0105】
マシン可読命令は、例えば、汎用コンピュータ、専用コンピュータ、組み込みプロセッサ、又は他のプログラム可能なデータ処理装置のプロセッサにより実行されて、当該記載及び図で説明された機能を実現することができる。特に、プロセッサ又は処理回路、又はそのモジュールが、マシン可読命令を実行することができる。したがって、システム200及び/又は装置500(例えば、コンピューティング装置210、受信モジュール504及び/又は決定モジュール506)並びに本明細書で説明される他の装置の機能モジュールは、メモリに格納されたマシン可読命令を実行するプロセッサ、又は論理回路に埋め込まれた命令に従って動作するプロセッサにより実装され得る。「プロセッサ」という用語は、CPU、処理ユニット、ASIC、論理ユニット、又はプログラマブルゲートアレイ等を含むように広く解釈されるべきである。当該方法及び機能モジュールは全て、単一のプロセッサにより実行されるか、複数のプロセッサに分割され得る。
【0106】
このようなマシン可読命令は、コンピュータ又は他のプログラム可能なデータ処理装置を特定のモードで動作するように導くことができるコンピュータ可読記憶装置に格納することもできる。
【0107】
このようなマシン可読命令は、コンピュータ又は他のプログラム可能なデータ処理装置にロードすることもでき、その結果、コンピュータ又は他のプログラム可能なデータ処理装置は一連の動作を実行して、コンピュータで実施される処理を生成する。このよに、コンピュータ又は他のプログラマブル装置上で実行される命令は、フローチャート及び/又はブロック図におけるブロックで指定された機能を実現する。
【0108】
更に、本明細書の教示は、コンピュータプログラム製品の形で実装されてもよく、該コンピュータプログラム製品は、記憶媒体に格納され、本開示の実施形態に記載された方法をコンピュータ装置に実施させるための複数の命令を含む。
【0109】
一実施形態に関連して説明された要素又はステップは、他の実施形態に関連して説明された要素又はステップと組み合わされるか、又は置き換えられてもよい。開示された実施形態に対する他の変形は、図面、開示及び添付請求項の精査から、請求項に記載の発明を実施する当業者により理解され、実行されることができる。請求項において、「有する(含む)」という文言は他の要素又はステップを除外するものではなく、単数形は複数を除外するものではない。単一のプロセッサ又は他のユニットは、請求項に記載された幾つかの項目の機能を果たすことができる。特定の手段が相互に異なる従属請求項に記載されているという単なる事実は、これらの手段の組み合わせが有利に使用できないことを示すものではない。コンピュータプログラムは、他のハードウェアと共に、又はその一部として供給される光学記憶媒体又はソリッドステート媒体等の適切な媒体により格納又は配布されてもよいが、インターネット又はその他の有線若しくは無線通信システムを介して等の様に、他の形態で配布することもできる。請求項における如何なる参照記号も、当該範囲を限定するものと解釈されるべきではない。
【国際調査報告】