知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2025-08-26
(54)【発明の名称】医用画像処置中の安全状態の検出
(51)【国際特許分類】
A61B 5/055 20060101AFI20250819BHJP
【ＦＩ】
A61B5/055 370
A61B5/055 390
A61B5/055 380
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2025503070
(86)(22)【出願日】2023-07-26
(85)【翻訳文提出日】2025-01-21
(86)【国際出願番号】 EP2023070654
(87)【国際公開番号】W WO2024028176
(87)【国際公開日】2024-02-08
(31)【優先権主張番号】22188258.2
(32)【優先日】2022-08-02
(33)【優先権主張国・地域又は機関】EP
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＪＡＶＡ
２．ＢＬＵＥＴＯＯＴＨ
(71)【出願人】
【識別番号】590000248
【氏名又は名称】コーニンクレッカ フィリップス エヌ ヴェ
【氏名又は名称原語表記】Ｋｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ．
【住所又は居所原語表記】Ｈｉｇｈ Ｔｅｃｈ Ｃａｍｐｕｓ ５２， ５６５６ ＡＧ Ｅｉｎｄｈｏｖｅｎ，Ｎｅｔｈｅｒｌａｎｄｓ
(74)【代理人】
【識別番号】100122769
【弁理士】
【氏名又は名称】笛田 秀仙
(74)【代理人】
【識別番号】100163809
【弁理士】
【氏名又は名称】五十嵐 貴裕
(74)【代理人】
【識別番号】100145654
【弁理士】
【氏名又は名称】矢ヶ部 喜行
(72)【発明者】
【氏名】クルーガー サーシャ
(72)【発明者】
【氏名】コーケン ペーター
(72)【発明者】
【氏名】ゾマー カールステン
(72)【発明者】
【氏名】ノースター ヤープ
【テーマコード（参考）】
4C096
【Ｆターム（参考）】
4C096AB46
4C096AD14
4C096AD19
4C096CA63
4C096EA07
4C096FB02
4C096FB03
4C096FC09
4C096FC20
(57)【要約】
機械実行可能命令の実行は、計算システムにオーバービュー画像を受信させ、第1のニューラルネットワークにオーバービュー画像を入力することに応答して対象物ロケータを受信させ、対象物ロケータを使用して対象物サブ画像を構成させ、対象物特定ニューラルネットワークに複数の所定の対象物の各々の対象物サブ画像を入力することに応答して対象物位置データを受信させ、複数の所定の対象物の対象物位置データを使用して複数の探索画像を構成させ、複数の探索画像の各々をアイテム特定ニューラルネットワークに入力することに応答してアイテムの位置を記述するロケータデータを受信させ、ロケータデータと所定の基準に関する所定の対象物の各々の対象物位置データとを比較することによって安全状態を検出させる。
【特許請求の範囲】
【請求項1】
医用システムであって、機械実行可能命令、第1のニューラルネットワーク、対象物特定ニューラルネットワーク、及びアイテム特定ニューラルネットワークを記憶するメモリと、
計算システムであって、前記機械実行可能命令の実行が前記計算システムに、
オーバービュー画像を受信するステップであって、前記オーバービュー画像は元の解像度を有し、医用撮像システムの被検体支持体上に位置決めされた被検体を記述する、ステップと、
前記第1のニューラルネットワークに前記オーバービュー画像を入力することに応答して、前記オーバービュー画像内の複数の所定の対象物の位置及び方向を記述する対象物ロケータを受信するステップであって、前記第1のニューラルネットワークは、第1の解像度で前記オーバービュー画像を処理するように構成され、前記第1の解像度は前記元の解像度よりも低く、前記複数の所定の対象物は前記被検体及び前記被検体支持体を有する、ステップと、
前記対象物ロケータを使用して、前記複数の所定の対象物の各々に対して対象物サブ画像を構成するステップであって、各対象物サブ画像は第2の解像度を有し、前記第2の解像度は、前記元の解像度よりも低く、前記第1の解像度よりも高い、ステップと、
前記複数の所定の対象物の各々に対する前記対象物サブ画像を、前記複数の所定の対象物の各々に対して固有である前記対象物特定ニューラルネットワークに入力することに応答して、前記複数の所定の対象物の各々を記述する対象物位置データを受信するステップと、
前記複数の所定の対象物に対して前記対象物位置データを使用して複数の探索画像を構成するステップであって、前記複数の探索画像は前記第2の解像度よりも高い第3の解像度を有し、前記第3の解像度は前記元の解像度より低いか、又は等しい、ステップと、
前記複数の探索画像の各々を前記アイテム特定ニューラルネットワークに入力することに応答して、アイテムの位置を記述するロケータデータを受信するステップと、
所定の基準に対して、前記所定の対象物の各々の対象物位置データと前記ロケータデータとを比較することによって、安全状態を検出するステップと、
前記安全状態が検出された場合、警告信号を提供するステップと
を実行させる計算システムと
を有する、医用システム。
【請求項2】
前記警告信号が提供される場合、前記機械実行可能命令の実行は前記計算システムに、警告グラフィカルユーザインタフェースを表示させ、前記警告グラフィカルユーザインタフェースは、前記安全状態の原因の空間的な位置特定を提供するステップと、
前記所定の基準を使用して警告信号タイプ及び／又は警告コンテキストを表示するステップと、
前記所定の基準を使用して重症度ランキングを表示するステップと、
前記所定の基準を使用してクエリに応答して命令データベースから取り出されたオペレータ命令を表示するステップと、
音声又は可聴警報を提供するステップと、
プロジェクタを使用して、局所的な警告ライトを前記被検体に投影するステップであって、前記局所的な警告ライトは、前記安全状態をトリガしたアイテムを照明するように構成される、ステップと、
それらの組み合わせと
の何れか1つを実行するように構成される、請求項1に記載の医用システム。
【請求項3】
前記被検体のための前記対象物特定ニューラルネットワークは、解剖学的キーポイントロケータのセットを出力するように構成され、前記複数の探索画像の少なくとも一部は、前記解剖学的キーポイントロケータのセットに対する所定の幾何学的関係を使用して決定される、請求項1又は2に記載の医用システム。
【請求項4】
前記機械実行可能命令の実行は前記計算システムに、前記キーポイントロケータによって変更されたロケータフィルタを使用して前記ロケータデータをフィルタリングするステップと、
前記ロケータフィルタによってフィルタリングされたロケータデータを無視するステップと
を実行させる、請求項3に記載の医用システム。
【請求項5】
前記アイテムはナースコールスクイーズバルブであることと、前記アイテムはヘッドセット及び／又は耳栓であり、前記複数の探索画像は前記被検体の頭部領域を含み、前記ロケータデータは、前記被検体の耳の中心ロケータに対する前記アイテムの位置を記述することと、
前記アイテムは導電性ケーブルであり、前記複数の所定の対象物は磁気共鳴撮像コイル及び／又は有線装置を備え、前記複数の所定の対象物は、少なくとも1つの磁気共鳴送信ボディコイル要素をさらに備え、前記複数の探索画像は、前記磁気共鳴撮像コイル及び／又は前記有線装置に隣接する領域を備え、前記複数の探索画像は、前記少なくとも1つの送信ボディコイル要素に隣接する領域をさらに備え、前記複数の探索領域は、前記解剖学的キーポイントロケータのセットに対して所定の位置を有する更なる領域をさらに備えることと、
前記アイテムは手であり、前記警告信号は、前記手がピンチ位置又は現在のループ原因位置に位置される場合、危険な手位置警告信号を提供するように構成されることと
の何れか1つである、請求項1乃至４の何れか一項に記載の医用システム。
【請求項6】
前記複数の所定の対象物は主電動患者支持体を備え、前記アイテムはMRテーブルトロリーであり、前記複数の探索画像は、前記主電動患者支持体を自動的に移動させるとき、前記MRテーブルトロリーとの潜在的な衝突をチェックするために、前記MRの前記主電動患者支持体のリムを覆うように配置される、請求項１乃至５の何れか一項に記載の医用システム。
【請求項7】
前記アイテムは、クッションと、
ケーブルと、
呼吸管と、
解剖学的構造と、
静脈内供給物と、
MR条件付き装置であって、前記複数の探索画像の位置は、選択された磁気共鳴撮像プロトコルから導出される、MR条件付き装置と、
最大B0場強度内に保たれるように設計された磁場感知装置であって、前記探索画像はB0場強度が、所定の閾値を上回るか、又は磁気アイソラインまでである領域に位置される、磁場感知装置と、
第2の装置から最小距離を保つように設計された近接感知装置であって、前記第2の装置は、前記複数の所定の対象物の1つであり、前記複数の探索画像は、前記第2の装置の前記対象物位置データに対して所定の位置に配置される、近接感知装置と、
それらの組み合わせと
の何れか1つである、請求項１乃至６の何れか一項に記載の医用システム。
【請求項8】
前記複数の所定の対象物は一つ又はそれより多くの磁気共鳴撮像コイルを備え、前記ロケータデータは無線周波数ケーブル位置データを備え、前記機械実行可能命令の実行は前記計算システムに、
前記一つ又はそれより多くの磁気共鳴撮像コイルの対象物位置データ及び前記無線周波数位置データを、許容可能な無線周波数ルーティング経路のセットと比較するステップと、
前記一つ又はそれより多くの磁気共鳴撮像コイルの対象物位置データを、報告された磁気共鳴撮像コイル接続のセットと比較するステップと、
それらの組み合わせと
の何れか1つを実行させることによって、前記安全状態を決定させる、
請求項１乃至７の何れか一項に記載の医用システム。
【請求項9】
前記オーバービュー画像は、光学画像、カラー光学画像、及び三次元画像のうちの何れか1つである、請求項１乃至８の何れか一項に記載の医用システム。
【請求項10】
前記医用システムは前記被検体支持体を有する医用撮像システムをさらに備え、前記医用システムは、少なくとも前記被検体支持体を撮像することによって前記オーバービュー画像を取得するように構成された撮像装置をさらに備え、前記機械実行可能命令の実行は前記コンピュータシステムに、前記撮像装置を制御させて、前記オーバービュー画像を取得させる、請求項１乃至９の何れか一項に記載の医用システム。
【請求項11】
前記撮像装置は三次元カメラであり、前記機械実行可能命令の実行は更に前記計算システムに、衝突状態を検出するために、前記アイテムの空間的輪郭を所定のボリュームと比較するステップと、
前記3次元カメラからの輪郭データを使用して、非検査設定に関連するものとしてロケータデータをフィルタ除去し、無視するステップと、
被検体支持体動きとの信号動き相関を決定して、非検査設定に関連するものとしてロケータデータをフィルタ除去し、無視するステップと、
それらの組み合わせと
の何れか1つを実行させる、請求項10に記載の医用システム。
【請求項12】
前記複数の所定の対象物はオペレータを備え、前記機械実行可能命令の実行はさらに前記計算システムに、前記オペレータの対象物ロケータを使用して、前記オーバービュー画像内のオペレータゾーンを識別するステップと、
前記オペレータゾーン内のロケータデータ及び／又は対象物位置データを削除及び／又は無視するステップと
請求項１乃至１１の何れか一項に記載の医用システム。
【請求項13】
前記オーバービュー画像はフレームレートを有する画像ストリームとして受信され、前記第1のニューラルネットワークは、前記フレームレートより高いレート又は等しいレートで前記オーバービュー画像を処理するように構成され、前記機械実行可能命令の実行は前記計算システムに、前記フレームレートで前記対象物ロケータを取得するために前記オーバービュー画像を繰り返し入力させる、請求項１乃至１２の何れか一項に記載の医用システム。
【請求項14】
機械実行可能命令と、第1のニューラルネットワークと、対象物特定ニューラルネットワークと、アイテム特定ニューラルネットワークとを備え、機械実行可能命令の実行は計算システムに、オーバービュー画像を受信するステップであって、前記オーバービュー画像は元の解像度を有し、医用撮像システムの被検体支持体上に位置決めされた被検体を記述する、ステップと、
前記第1のニューラルネットワークに前記オーバービュー画像を入力することに応答して、前記オーバービュー画像内の複数の所定の対象物の位置及び方向を記述する対象物ロケータを受信するステップであって、前記第1のニューラルネットワークは、第1の解像度で前記オーバービュー画像を処理するように構成され、前記第1の解像度は前記元の解像度よりも低く、前記複数の所定の対象物は前記被検体及び前記被検体支持体を有する、ステップと、
前記対象物ロケータを使用して、前記複数の所定の対象物の各々に対して対象物サブ画像を構成するステップであって、各対象物サブ画像は第2の解像度を有し、前記第2の解像度は、前記元の解像度よりも低く、前記第1の解像度よりも高い、ステップと、
前記複数の所定の対象物の各々に対する前記対象物サブ画像を、前記複数の所定の対象物の各々に対して固有である前記対象物特定ニューラルネットワークに入力することに応答して、前記複数の所定の対象物の各々を記述する対象物位置データを受信するステップと、
前記複数の所定の対象物に対して前記対象物位置データを使用して複数の探索画像を構成するステップであって、前記複数の探索画像は前記第2の解像度よりも高い第3の解像度を有し、前記第3の解像度は前記元の解像度より低いか、又は等しい、ステップと、
前記複数の探索画像の各々を前記アイテム特定ニューラルネットワークに入力することに応答して、アイテムの位置を記述するロケータデータを受信するステップと、
所定の基準に対して、前記所定の対象物の各々の対象物位置データと前記ロケータデータとを比較することによって、安全状態を検出するステップと、
前記安全状態が検出された場合、警告信号を提供するステップと
を実行させる、医用システム。
【請求項15】
コンピュータ実装方法であって、前記方法は、オーバービュー画像を受信するステップであって、前記オーバービュー画像は元の解像度を有し、医用撮像システムの被検体支持体上に位置決めされた被検体を記述する、ステップと、
第1のニューラルネットワークに前記オーバービュー画像を入力することに応答して、前記オーバービュー画像内の複数の所定の対象物の位置及び方向を記述する対象物ロケータを受信するステップであって、前記第1のニューラルネットワークは、第1の解像度で前記オーバービュー画像を処理するように構成され、前記第1の解像度は前記元の解像度よりも低く、前記複数の所定の対象物は前記被検体及び前記被検体支持体を有する、ステップと、
前記対象物ロケータを使用して、前記複数の所定の対象物の各々に対して対象物サブ画像を構成するステップであって、各対象物サブ画像は第2の解像度を有し、前記第2の解像度は、前記元の解像度よりも低く、前記第1の解像度よりも高い、ステップと、
前記複数の所定の対象物の各々に対する前記対象物サブ画像を、前記複数の所定の対象物の各々に対して固有である対象物特定ニューラルネットワークに入力することに応答して、前記複数の所定の対象物の各々を記述する対象物位置データを受信するステップと、
前記複数の所定の対象物に対して前記対象物位置データを使用して複数の探索画像を構成するステップであって、前記複数の探索画像は前記第2の解像度よりも高い第3の解像度を有し、前記第3の解像度は前記元の解像度より低いか、又は等しい、ステップと、
前記複数の探索画像の各々をアイテム特定ニューラルネットワークに入力することに応答して、アイテムの位置を記述するロケータデータを受信するステップと、
所定の基準に対して、前記所定の対象物の各々の対象物位置データと前記ロケータデータとを比較することによって、安全状態を検出するステップと、
前記安全状態が検出された場合、警告信号を提供するステップと
を有する、方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は医用画像に関し、特に、医用画像処置中の安全性に関する。
【背景技術】
【0002】
磁気共鳴画像法(MRI)、コンピュータ断層撮影法、陽電子放出断層撮影法、及び単一光子放出断層撮影法などの様々な医用撮像技術は、対象の解剖学的構造の詳細な視覚化を可能にする。
【発明の概要】
【発明が解決しようとする課題】
【0003】
これらのような医用撮像モダリティでは、処置の前に被検体を適切に配置することが重要である。そうしないと、被写体が不適切に撮像される可能性がある。
【0004】
米国特許出願公開第20213／012659(A1)号は、被検体から医用画像データを取得するように構成された医用撮像システムと、医用画像データの取得中に被検体をサポートするように構成された被検体支持体と、被検体支持体上の被検体の光学画像データを取得するように構成された光学撮像システムとを備える医療機器を開示している。機械実行可能命令の実行は医療機器を制御するプロセッサに、光学撮像システムを制御して、光学撮像データを取得し、光学撮像データを使用して初期ベクトルを生成し、発生器ニューラルネットワークに初期ベクトルを入力することによって合成画像を生成し、合成画像と光学撮像データとの間の差を計算し、差が所定の閾値だけ異なる場合に警告信号を提供するようにさせる。ジェネレータニューラルネットワークは、初期ベクトルの入力に応答して、被検体支持体上の被検体の合成画像を生成するように訓練される。
【0005】
米国特許出願公開第2021／0080531 A1号は、MR較正画像を対応する解剖学的関心領域にマッピングすることを含む深い学習ニューラルネットワークを使用してローカライザスキャンのスキャン設定を決定することを開示している。
【0006】
米国特許出願公開第2022／0189622(A1)号は医療器具に関連する誤って配置された物体を識別するために、カメラシステム及びニューラルネットワークを使用するカメラシステムを開示している。
【課題を解決するための手段】
【0007】
本発明は、独立請求項における医用システム、コンピュータプログラム、及びコンピュータ実装方法を提供する。
【0008】
医用撮像システムのセットアップ及び安全性を監視するためのカメラシステムの使用は、いくつかの課題を有し得る。1つの課題は、システムがわずかな誤り率を有する場合でも、オペレータがそれを無効にする可能性が高いことである。臨床状況において有用であるために、そのようなシステムは、ほぼ完全な精度を有する必要がある。別の難点は、画像を監視するために使用されるニューラルネットワークを適切に訓練することが非常に労働集約的であり得ることである。
【0009】
実施形態は、医用撮像プロトコルの特定の臨床状況に容易に修正することができるだけでなく、高い精度を有するという利点を有することができる。実施形態は第1に、オーバービュー画像が受信される、例示的に以下に説明されるようなニューラルネットワークの階層を使用することによって、これを達成することができる。第1のニューラルネットワークは、まず、対象物ロケータを提供して、オーバービュー画像の低解像度バージョンにおける対象物の所定のリストを識別する。これらの対象物ロケータは次に、対象物特定ニューラルネットワークに供給されるオーバービュー画像から対象物サブ画像を構成するために使用される。対象物サブ画像は、中間解像度を有する。次いで、対象物ロケータはオーバービュー画像から複数の探索画像を構成するために、場合によっては追加の情報を伴う。次いで、特別のアイテム特定ニューラルネットワークを使用して、複数の探索画像内の特定のアイテム又は安全条件を探索する。ニューラルネットワークの階層の使用は、特定のタスクについて正確に訓練され得るニューラルネットワークを提供し得る。階層構造はまた、アイテム特定ニューラルネットワーク及び対象物特定ニューラルネットワークが、システムから容易に追加又は除去されることを可能にし得る。
【0010】
一態様では、本発明が機械実行可能命令を記憶するメモリを備える医用システムを提供する。メモリはさらに、第1のニューラルネットワークと、対象物特定ニューラルネットワークと、アイテム特定ニューラルネットワークとを記憶する。医用システムは、計算システムをさらに備える。機械実行可能命令の実行は計算システムに、オーバービュー画像を受信させる。オーバービュー画像は元の解像度を有し、医用撮像システムの被検体支持体上の被検体位置を記述する。機械実行可能命令の実行はさらに、計算システムに、第1のニューラルネットワークにオーバービュー画像を入力することに応答して、オーバービュー画像内の複数の所定の対象物の正及び方向を記述する対象物ロケータを受信させる。
【0011】
第1のニューラルネットワークは、第1の解像度でオーバービュー画像を処理するように構成される。第1の解像度は、元の解像度よりも低い。複数の所定の対象物は、被検体及び被検体支持体を含む。機械実行可能命令の実行はさらに、計算システムに、対象物ロケータを使用して、複数の所定の対象物の各々について対象物サブ画像を構成させる。各対象物サブ画像は、第2の解像度を有する。第2の解像度は、元の解像度よりも低く、第1の解像度よりも高い。機械実行可能命令の実行はさらに、計算システムに、複数の所定の対象物の各々についての対象物サブ画像を対象物特定ニューラルネットワークに入力することに応答して、複数の所定の対象物の各々を記述する対象物位置データを受信させる。
【0012】
対象物特定ニューラルネットワークは、複数の所定の対象物の各々に対して固有である。機械実行可能命令の実行はさらに、計算システムに、複数の所定の対象物の対象物位置データを使用して複数の探索画像を構成させる。複数の探索画像は、第2の解像度よりも高い第3の解像度を有する。第3の解像度は、元の解像度以下である。機械実行可能命令の実行はさらに、計算システムに、複数の探索画像の各々をアイテム特定ニューラルネットワークに入力することに応答して、アイテムの位置を記述するロケータデータを予約させる。機械実行可能命令の実行はさらに、ロケータデータと所定の対象物の各々の対象物位置データとを所定の基準に対して比較することによって、計算システムに安全状態を検出させる。機械実行可能命令の実行はさらに、安全状態が検出された場合、計算システムに警告信号を提供させる。
【0013】
安全状態は例えば、所定の基準が満たされたときに設定される、ソフトウェア又はラベル内のフラグであってもよい。1つの具体的な例では、複数の探索画像が被検体が自分の手を置くことが有利ではない領域又は領域を画定することができる。複数の探索画像は、手を見つけるように特に訓練されたアイテム特定ニューラルネットワークを使用して探索することができる。アイテム特定ニューラルネットワークの使用は、手を検出した場合、特定の探索画像がその中に位置する手を有することを示す安全状態を設定する。警告信号は、異なる実施例において異なる形態をとることができる。例えば、それは、グラフィカルユーザインタフェースに警告又は追加情報を表示させることができる。他の場合には、警告信号が医用システムの挙動を変更するために使用され得る。例えば、それは、オペレータによってコマンドが与えられるまで、医用システムに機能を一時停止させることができる。他の場合には、それは被検体支持体を動かすことなどの様々な機能を無効にすることができる。警告信号は、制御ループ又は制御システムに統合されてもよい。
【0014】
提供されるニューラルネットワークの階層が存在するので、実施形態は有益であり得る。例えば、先の例を使用すると、被検体にとって危険であり得る場所にいる手の識別は、単一のニューラルネットワークを用いて訓練することが困難であり得る。第1のニューラルネットワークはより低い解像度で動作し、一般に対象物を識別するか、又はそれらをラベル付けすることができる。これは、よく知られており、様々なニューラルネットワークによって非常によく実行されるタスクである。画像内の一般的なラベルによってニューラルネットワークを訓練することも可能である。次のレベルは、対象物特定ニューラルネットワークである。
【0015】
これは実際には1つのニューラルネットワークであってもよく、又は特定の対象物のために訓練されたニューラルネットワークを特に使用して各対象物を見るために協働するニューラルネットワークの組合せであってもよい。次に、これを使用して、方向又は対象物位置データに関する詳細情報を提供する。この対象物位置データを使用して、複数の探索画像の位置を定義することができる。場合によっては、複数の探索画像が1つの対象物からの対象物位置データに関して定義されてもよく、又は複数の対象物からのものであってもよい。例えば、一例では、2つの対象物からの対象物位置データを使用して、2つの対象物の間を進むワイヤをトレースするか、又はワイヤが互いの間にある量の距離を有することを確実にすることができる。被検体支持体の場合、特定の被検体支持体上の位置を使用して、複数の探索画像を定義することができる。
【0016】
ニューラルネットワークの階層のための様々な画像解像度は、様々な方法で提供することができる。例えば、平均化処理を実行して、様々な画像の解像度が低減される中間ステップがあってもよい。他の例では、ニューラルネットワークが入力において平均最大プーリング層を用いてこれ自体を行うことができる。すなわち、例えば、第1のニューラルネットワークのように、オーバービュー画像を元の解像度から第1の解像度に縮小する平均化最大プーリング層を有することができる。
【0017】
オーバービュー画像は、異なる実施例において異なる形態をとることができる。一例では、オーバービュー画像がカメラ又はビデオシステムからの従来の画像である。従来の画像は例えば、RGB又はグレースケール画像であり得る。この場合、第1の分解能、第2の分解能、及び第3の分解能の間を進むことは、ニューラルネットワークに入力される画像を構成するとき、オーバービュー画像の分解能の変換又は減少を伴う。上述のように、解像度のこの減少は画像が再構成されるときに行うことができ、又は、ニューラルネットワークのうちの1つへの入力において層をプーリングすることによって行うことができる。
【0018】
別の可能性は、オーバービュー画像が複数の画像モダリティ又は種類のセンサからの合成データを含むことである。例えば、カメラ又はビデオシステムは、RBG又はグレースケール画像と共に3次元画像を提供することができる。この場合、画像は、3つ以上のデータチャネルを有することになる。これは、3つのRGBチャネルと、深度データを有する追加のチャネルとを有する。この場合、ニューラルネットワークは、入力のために3つのためのデータの代わりに4つのチャネルを受け入れるように構成される。第1の解像度、第2の解像度、及び第3の解像度への解像度の低減は、オーバービュー画像のすべてのチャネルに適用されると理解される。
【0019】
上述のように、対象物特定ニューラルネットワークは、単一のニューラルネットワーク又はニューラルネットワークのチェーンであり得る。別の実施形態では、複数の探索画像が専用の特定のシステムリスク領域によって定義されてもよい。これらの専用の特定のシステムリスク領域は、特定の対象物の対象物位置データに対する相対座標に関して定義され得る。
【0020】
いくつかの特定の例では、警告信号が医用撮像システムの自動設定を停止するために使用され得る。例えば、それは、指が安全でない位置又はポーズにあるときに、被検体支持運動を停止させることがある。別の例は、衝突の可能性が高いときにテーブル又は被検体支持体を操作することである。例えば、衝突の可能性がある場合、テーブル又は被検体支持体は、誰かを傷つける可能性がより低い速度を有するように操作することができる。
【0021】
さらなる例では、警告信号が医用システムに、患者に近い制御による手動オーバーライドのみを可能にするように、その挙動を修正させることができる。例えば、被検体を医用撮像システムに挿入するために使用される制御装置があってもよい。警告信号は患者又は被検体に隣接する制御部のみが被検体を動かすことができるように、システムを強制又は修正することができる。これは、より遠くにいる操作者が被検体に傷害を引き起こす変化を低減するのであろう。
【0022】
ニューラルネットワークの階層を使用する利点は、特殊化されたニューラルネットワークが所与の容量に対してより特異的であり、敏感であることである。これは、システム全体の精度を高め、誤警報の発生を低減するという利点を有し得る。また、個々のターゲットに対して個々に訓練されるニューラルネットワークは多くの場合、相補別の利点であり、既存の対象物検出ネットワークの検出性能を変更することなく、追加の対象物及び物をシステムに追加することができる。第1のニューラルネットワークは現在使用されている全ての対象物を認識するように訓練されるが、この下では階層内の特定のニューラルネットワークがひとたび訓練されると、再訓練される必要はない。
【0023】
この医用システムで使用されるニューラルネットワークは第1のニューラルネットワークと、対象物特定ニューラルネットワークと、アイテム特定ニューラルネットワークとを含み、異なるアーキテクチャで実装することができる。使用され得るニューラルネットワークの例示的なアーキテクチャは一般に、ResNet、U―net、及び完全畳み込み層の要素を含み得る。そのような完全畳み込みニューラルネットワークは、多数の他の対象物の背景に対する個々の対象物の検出及び位置特定に特に適している、すなわち非常に良好な感度及び特異性を有することが示されているので、特に有益であり得る。
【0024】
第1のニューラルネットワークは、複数の所定の対象物でラベル付けされた第1の解像度を有する画像で訓練することができる(ラベルが輪郭、セグメント化マスク、キーポイント又はバウンディングボックスを含むことができる)。対象物特定ニューラルネットワークは、対象物特定ニューラルネットワークが割り当てられる特定の対象物の位置データでラベル付けされた第2の解像度を有する画像で訓練され得る。アイテム特定ニューラルネットワークは、特定のアイテムを用いて訓練された第3の解像度を有する画像を用いて訓練され得る。
【0025】
別の実施形態では、所定の基準の使用がセキュリティハザード及びリスクの階層を提供するために使用され得る。例えば、所定の基準は、イベントの重症度のランク付けを提供することができる。例えば、通常のセキュリティハザード及び高い重症度のセキュリティハザードのような複数のクラスのセキュリティハザードが存在し得る。医用システムの基本的な応答は、これらの2つのクラスに従ってその機能を変更することができる。
【0026】
いくつかの例では、警告信号が視覚ユーザインターフェース又は他の可聴システムをユーザに表示又は提示され得る。警告信号は例えば、機械の使用を制御又は制限するために使用されてもよく、例えば、危険な状況がある場合、医用システムが一時的に無効化又は無効化されてもよい。システムが識別する各発見又はセキュリティリスクは例えば、異なるタイプ又は異なるレベルの警告を割り当てられ得る。上述のように、警告信号は、医用システムのための制御信号であってもよい。
【0027】
別の実施形態では、機械実行可能命令の実行がさらに、警告信号が提供される場合、計算システムに警告グラフィカルユーザインタフェースを表示させる。警告グラフィカルユーザインタフェースは、安全状態の原因の空間的位置特定を提供すること、所定の基準を使用するための警告信号タイプ及び／又は警告コンテキストを表示すること、所定の基準を使用する重症度ランキングを表示すること、所定の基準を使用するクエリに応答して命令データベースからレビューされたオペレータ命令を表示すること、音声又は可聴警報を提供すること、プロジェクタを使用して被検体に局所警告ライトを投射すること、及びそれらの組合せのうちのいずれか1つを実行するように構成される。局所警告ライトが例えば、被検体の手が押しつぶされたり挟まれたりする危険性がある場合に、安全状態をトリガするアイテムを照明するように構成され得る場合、ライトは手に照らすことができ、これは、被検体及び／又は操作者のいずれかが被検体の手をより安全な場所に位置することを確実にする改善された手段を提供し得る。
【0028】
別の実施形態では、対象者のための対象物特定ニューラルネットワークが解剖学的キーポイントロケータのセットを出力するように構成される。複数の探索画像の少なくとも一部は、解剖学的キーポイントロケータのセットに対する所定の幾何学的関係又は位置を使用して決定される。例えば、被検体が導電性ループを引き起こす可能性がある場所に被検体が手を置くときにテストする場合、被検体が手を不利な位置に置くことができる様々な解剖学的位置は、キーポイントロケータの解剖学的セットに対して定義することができる。例えば、複数の探索画像の位置は、解剖学的キーポイントロケータのセットの座標に関して定義され得る。解剖学的キーポイントロケータのセットが対象物特定ニューラルネットワークから決定されると、複数の探索画像の位置を計算するためにこれらを使用することができる。
【0029】
本明細書で使用される解剖学的キーポイントは、対象内に位置する解剖学的ランドマーク又は位置を包含する。多くの場合、解剖学的キーポイントロケータは、関節位置と呼ばれる。しかしながら、解剖学的キーポイントは、関節の位置よりも広い。解剖学的キーポイントは、対象の様々な関節又は解剖学的部分の位置を組み込むことができる。カメラ画像は被写体を記述するものであり、被写体の外側又は表面の記述を提供する。例えば、カメラ画像は、光学画像、赤外線画像、又はカラー画像であってもよい。他の例では、カメラ画像が3次元表面画像である。
【0030】
別の実施形態では、機械実行可能命令の実行がさらに、計算システムに、キーポイントロケータによって修正されたロケータフィルタを使用してロケータデータをフィルタリングさせる。機械実行可能命令の実行はさらに、計算システムに、ロケータフィルタによってフィルタリングされたロケータフィルタデータを無視させる。この実施形態では、システムが特定のキーポイントロケータによって定義されるロケータデータを無視するようにプログラムすることができる。これは、例えば、被検体とは対照的に、オペレータからのデータを無視する際に非常に有用であり得る。例えば、被検体は被検体支持台又はテーブル上に置かれてもよく、操作者は医用システムを構成する作業を行ってもよい。オペレータに関連するデータは、無視されるか、又は別々に取り扱われてもよい。
【0031】
別の実施形態では、アイテムがナースコールスクイーズバルブである。これを識別するための専用ニューラルネットワークの使用はしばしば、ナースコールスクイーズバルブが被検体の手の中に位置し、そうでなければ、一般的なニューラルネットワークを使用して位置を特定することが困難であり得るため、有益であり得る。
【0032】
別の実施形態では、アイテムがヘッドセット及び／又はイヤプラグである。複数の探索画像は、被検体の頭部領域を含む。ロケータデータは、被検体の耳の中心ロケータに対するアイテムの位置を記述する。
【0033】
別の実施形態では、物品は導電性ケーブルである。複数の所定の対象物は、磁気共鳴撮像コイル及び／又は有線装置を含む。本明細書における有線装置は、制御又は通信ワイヤに接続されるデバイスである。複数の所定の対象物は、少なくとも1つの磁気共鳴送信ボディコイル要素をさらに備える。複数の探索画像は、磁気共鳴撮像コイル及び／又は有線装置に隣接する領域を含む。複数の探索画像は、少なくとも1つの送信ボディコイル要素に隣接する領域をさらに含む。複数の探索領域は、解剖学的キーポイントロケータのセットに対する所定の位置を有する更なる領域をさらに含む。この実施形態は、磁気共鳴撮像コイル又は有線装置へのケーブルを、被検体に高周波火傷を引き起こす可能性のある位置から離すことを可能にし得るので、有益であり得る。
【0034】
別の実施形態では、物品は手である。警告信号は、手がピンチ位置又は現在のループ原因位置に位置する場合、危険な手位置警告信号を提供するように構成される。本明細書で使用するとき、現在のループ原因位置は、導電性ループが被検体の身体及びアームによって形成されるように被検体が自分の手を置いた位置を包含する。磁気共鳴撮像の間、これは、高周波場によって誘導される電流又は局所的に増加したSAR露光を引き起こし、対象の加熱及び／又は火傷を引き起こし得る。
【0035】
複数の探索画像は、特定の危険又は高リスク位置を見るように選択され得る。それらは、身体のモデル及び／又は他の対象物の識別を使用して高解像度領域を識別することができる。探索定義領域又は複数の探索画像は、被検体支持体上に手を置くことが危険であるかどうか、又は腰領域などの解剖学的構造に関連して危険であるかどうかに関して定義され得る。
【0036】
別の実施形態では、アイテムが磁気共鳴撮像の特定のセット、又はMRIシステムに対する特定場所に対して許容される装置などの磁気共鳴条件付き装置である。磁気共鳴条件付き装置が許容される場所は、特定の磁気共鳴撮像プロトコルのための特定のクリアされた使用事例から導出され得る。これは、装置を特定の強度のB0場内に保ち、特定の磁気アイソラインまでカバーする画像を探索するために画像を探索することなどを含むことができる。他の事例ではこれは異なる装置間の特定の距離が維持されることを確実にすることを伴い得、探索画像はこれらの装置間又はデバイス間の問題領域をカバーし得る。
【0037】
別の実施形態では、複数の所定の対象物が1つ又は複数の磁気共鳴撮像コイルを備える。ロケータデータは、無線周波数ケーブル位置データを含む。機械実行可能命令の実行はさらに、計算システムに、1つ又は複数の磁気共鳴撮像コイルの対象物位置データと高周波位置データとを許容可能な高周波ルーティング経路のセットと比較すること、1つ又は複数の磁気共鳴撮像コイルの対象物位置データを報告された磁気共鳴撮像コイル接続のセットと比較すること、及びそれらの組合せのうちのいずれか1つを実行する安全状態を決定させる。報告された磁気共鳴撮像コイル接続は例えば、コイルが取り付けられているかどうかを検出することができる磁気共鳴撮像システムの無線周波数システムによって供給されてもよい。
【0038】
別の実施形態では、オーバービュー画像は光学画像である。
【0039】
別の実施形態では、オーバービュー画像はカラー光学画像である。
【0040】
別の実施形態では、オーバービュー画像は3次元画像である。例えば、いわゆる三次元カメラを用いて三次元画像を取得してもよい。
【0041】
別の実施形態では、医用システムが被検体支持体を有する医用撮像システムをさらに備える。医用システムは、少なくとも被検体支持体を撮像することによって全体画像を取得するように構成された撮像装置をさらに備える。機械実行可能命令の実行はさらに、計算システムに、撮像装置を制御させて、オーバービュー画像を取得させる。
【0042】
別の実施形態では、医用撮像システムが磁気共鳴撮像システムである。
【0043】
別の実施形態では、医用撮像システムがコンピュータ断層撮影システムである。
【0044】
別の実施形態では、医用撮像システムが磁気共鳴撮像とコンピュータ断層撮影とを組み合わせたシステムである。
【0045】
別の実施形態では、医用撮像システムが陽電子放出断層撮影システムである。
【0046】
別の実施形態では、医用撮像システムが磁気共鳴撮像システムとコンピュータ断層撮影システムとを組み合わせたものである。
【0047】
別の実施形態では、医用撮像システムが単一光子放出断層撮影システムである。
【0048】
別の実施形態では、医用撮像システムがデジタルX線システムである。
【0049】
別の実施形態では、医用撮像システムがデジタル蛍光透視システムである。
【0050】
別の実施形態では、医用撮像システムが磁気共鳴撮像誘導放射線治療システムである。
【0051】
別の実施形態では、医用撮像システムがコンピュータ断層撮影誘導放射線治療システムである。
【0052】
別の実施形態では、医用撮像システムが磁気共鳴撮像誘導高密度焦点式超音波システムである。
【0053】
別の実施形態では、医用撮像装置が3次元カメラである。
【0054】
別の実施形態では、機械実行可能命令の実行がさらに、計算システムに、衝突状態を検出するために、アイテムの空間輪郭を所定の体積と比較させる。
【0055】
別の実施形態では、機械実行可能命令の実行がさらに、計算システムに、3次元カメラからの輪郭データを使用させて、ロケータデータをフィルタ除去し、非検査設定に関連するものとして無視させる。例えば、3次元カメラを使用して、被検体支持体のゾーンの外側にある、すなわち被検体輸送機構(機器、オペレータ)によって影響を受けない被検体を決定又は識別することができる。
【0056】
別の実施形態では、機械実行可能命令の実行がさらに、計算システムに、被検体支持体動きとの信号動き相関を決定させて、ロケータデータをフィルタ除去し、非検査設定に関連するものとして無視させる。例えば、被検体支持体が動いているとき、動いている画像の部分は、3次元画像内で検出することができる。次いで、移動領域の外側の領域は、非検査設定に関連するものとして識別され得る。
【0057】
別の実施形態では、複数の所定の対象物がオペレータを含む。本明細書で使用されるオペレータは、医用システムを操作又は制御している人間を包含する。機械実行可能命令の実行はさらに、計算システムに、オペレータの対象物ロケータを使用して、オーバービュー画像内のオペレータゾーンを識別させる。機械実行可能命令の実行はさらに、演算システムに、オペレータゾーン内のロケータデータ及び／又は対象物位置データを分離させる。これは例えば、被検体の解剖学的構造が探索される場合に有用であり得るが、操作者の解剖学的構造を無視することが望ましい。例えば、被検体が指を挟む危険性があるかどうかを判定するときに、操作者の手の位置を無視したい。
【0058】
別の実施形態では、オーバービュー画像がフレームレートを有する画像ストリームとして受信される。第1のニューラルネットワークは、フレームレート以上のレートでオーバービュー画像を処理するように構成される。機械実行可能命令の実行はさらに、計算システムに、オーバービュー画像を繰り返し入力させて、フレームレートで対象物ロケータを取得させる。この実施形態では、第1のニューラルネットワークが画像がフレームレート以上のレートで処理されることができるのに十分に低い解像度で動作している。この意味は、本質的に第1のニューラルネットワークがリアルタイムベースで物体を識別することができるということである。
【0059】
別の態様では、本発明が機械実行可能命令と、第1のニューラルネットワークと、対象物特定ニューラルネットワークと、アイテム特定ニューラルネットワークとを備えるコンピュータプログラムを提供する。機械実行可能命令の実行は計算システムに、オーバービュー画像を受信させる。オーバービュー画像は元の解像度を有し、医用撮像システムの被検体支持体上の被検体位置を記述する。機械実行可能命令の実行はさらに、計算システムに、オーバービュー画像を第1のニューラルネットワークに入力することに応答して、オーバービュー画像内の複数の所定の対象物の位置及び方向を記述する対象物ロケータを受信させる。第1のニューラルネットワークは、第1の解像度でオーバービュー画像を処理するように構成される。第1の解像度は、元の解像度よりも低い。複数の所定の対象物は、被検体及び被検体支持体を含む。
【0060】
機械実行可能命令の実行はさらに、計算システムに、対象物ロケータを使用して、複数の所定の対象物の各々について対象物サブ画像を構成させる。各対象物サブ画像は、第2の解像度を有する。第2の解像度は、元の解像度よりも低く、第1の解像度よりも高い。機械実行可能命令の実行はさらに、複数の所定の対象物の各々についての対象物サブ画像を、複数の所定の対象物の各々について一意である対象物特定ニューラルネットワークに入力することに応答して、複数の所定の対象物の各々について記述的な対象物位置データを計算システムに受信させる。
【0061】
機械実行可能命令の実行はさらに、計算システムに、複数の所定の対象物の対象物位置データを使用して複数の探索画像を構成させる。複数の探索画像は、第2の解像度よりも高い第3の解像度を有する。第3の解像度は、元の解像度以下である。機械実行可能命令の実行はさらに、計算システムに、複数の探索画像の各々をアイテム特定ニューラルネットワークに入力することに応答して、アイテムの位置を記述するロケータデータを受信させる。機械実行可能命令の実行はさらに、ロケータデータと所定の対象物の各々の対象物位置データとを所定の基準に対して比較することによって、計算システムに安全状態を決定させる。機械実行可能命令の実行はさらに、安全状態が検出された場合、計算システムに警告信号を提供させる。
【0062】
別の態様では、本発明がコンピュータ実装方法を提供する。本方法は、オーバービュー画像を受信することを含む。オーバービュー画像は元の解像度を有し、医用撮像システムの被検体支持体上の被検体位置を記述する。本方法は、第1のニューラルネットワークにオーバービュー画像を入力することに応答して、オーバービュー画像内の複数の所定の対象物の位置及び方向を記述する対象物ロケータを受信することをさらに含む。第1のニューラルネットワークは、第1の解像度でオーバービュー画像を処理するように構成される。第1の解像度は、元の解像度よりも低い。複数の所定の対象物は、被検体及び被検体支持体を含む。
【0063】
本方法は、対象物ロケータを使用して、複数の所定の対象物の各々について対象物サブ画像を構成することをさらに含む。各対象物サブ画像は、第2の解像度を有する。第2の解像度は、元の解像度よりも低く、第1の解像度よりも高い。本方法は、複数の所定の対象物の各々についての対象物サブ画像を、複数の所定の対象物の各々について固有の対象物特定ニューラルネットワークに入力することに応答して、複数の所定の対象物の各々について記述的な対象物位置データを受信することをさらに含む。本方法は、複数の所定の対象物についての対象物位置データを使用して複数の探索画像を構成することをさらに含む。
【0064】
複数の探索画像は、第2の解像度よりも高い第3の解像度を有する。第3の解像度は、元の解像度以下である。本方法は、複数の探索画像の各々をアイテム特定ニューラルネットワークに入力することに応答して、アイテムの位置を記述するロケータデータを受信することをさらに含む。本方法は、ロケータデータと、所定の対象物の各々についての対象物位置データとを所定の基準に対して比較することによって、安全状態を検出することをさらに含む。本方法は、安全状態が検出された場合に警告信号を提供することをさらに含む。
【0065】
本発明の前述の実施形態のうちの1つ又は複数は組み合わされた実施形態が相互に排他的でない限り、組み合わされ得ることが理解される。
【0066】
当業者によって理解されるように、本発明の態様は、装置、方法、又はコンピュータプログラム製品として具現化され得る。したがって、本発明の態様は完全にハードウェアの実施形態、完全にソフトウェアの実施形態(ファームウェア、常駐ソフトウェア、マイクロコードなどを含む)、又は本明細書ではすべて一般に「回路」、「モジュール」、又は「システム」と呼ぶことができるソフトウェア態様とハードウェア態様とを組み合わせた実施形態の形態をとることができ、さらに、本発明の態様は、その上に具現化されたコンピュータ実行可能コードを有する1つ又は複数のコンピュータ可読媒体内に具現化されたコンピュータプログラム製品の形態をとることができる。
【0067】
1つ又は複数のコンピュータ可読媒体の任意の組合せが利用され得る。コンピュータ可読媒体は、コンピュータ可読信号媒体又はコンピュータ可読記憶媒体であり得る。本明細書で使用される「コンピュータ可読記憶媒体」は、コンピューティングデバイスのプロセッサ又は計算システムによって実行可能な命令を記憶することができる任意の有形記憶媒体を包含する。コンピュータ可読記憶媒体は、コンピュータ可読非一時的記憶媒体と呼ばれることがある。コンピュータ可読記憶媒体は、有形のコンピュータ可読媒体と呼ばれることもある。いくつかの実施形態では、コンピュータ可読記憶媒体はまた、コンピューティングデバイスの計算システムによってアクセスされることが可能であるデータを記憶することが可能であり得る。コンピュータ可読記憶媒体の例としてはフロッピーディスク(登録商標)ディスク、磁気ハードディスクドライブ、ソリッドステートハードディスク、フラッシュメモリ、USBサムドライブ、ランダムアクセスメモリ(RAM)、リードオンリーメモリ(ROM)、光ディスク、光磁気ディスク、及び計算システムのレジスタファイルが挙げられるが、これらに限定されない。光ディスクの例としては、コンパクトディスク(CD)及びデジタル多用途ディスク(DVD)、例えば、CD―ROM、CD―RW、CD―R、DVD―ROM、DVD―RW、又はDVD―Rディスクが挙げられる。コンピュータ可読記憶媒体という用語はまた、ネットワーク又は通信リンクを介してコンピュータ装置によってアクセスされることが可能な様々なタイプの記録媒体を指す。たとえば、データは、モデムを介して、インターネットを介して、又はローカルエリアネットワークを介して取り出され得る。コンピュータ可読媒体上に具現化されたコンピュータ実行可能コードはワイヤレス、ワイヤライン、光ファイバケーブル、RFなど、又は前述の任意の適切な組合せを含むが、これらに限定されない、任意の適切な媒体を使用して送信され得る。
【0068】
コンピュータ可読信号媒体は例えば、ベースバンドにおいて、又は搬送波の一部として、その中に具現化されたコンピュータ実行可能コードを有する伝搬データ信号を含み得る。そのような伝搬信号は電磁気、光学、又はそれらの任意の適切な組合せを含むが、それらに限定されない、様々な形態のいずれかをとり得る。コンピュータ可読信号媒体は、コンピュータ可読記憶媒体ではなく、命令実行システム、装置、又はデバイスによって、又はそれに関連して使用するためのプログラムを通信、伝播、又は移送することができる任意のコンピュータ可読媒体であり得る。
【0069】
「コンピュータメモリ」又は「メモリ」は、コンピュータ可読記憶媒体の一例である。コンピュータメモリは、計算システムに直接アクセス可能な任意のメモリである。「コンピュータ記憶装置」又は「ストレージ」は、コンピュータ可読記憶媒体のさらなる例である。コンピュータ記憶装置は、任意の不揮発性メモリコンピュータ可読記憶媒体である。いくつかの実施形態では、コンピュータ記憶装置がコンピュータメモリであってもよく、逆もまた同様である。
【0070】
本明細書で使用される「計算システム」は、プログラム、機械実行可能命令、又はコンピュータ実行可能コードを実行することができる電子コンポーネントを包含する。「計算システム」の例を含む計算システムへの言及は、場合によっては2つ以上の計算システム又は処理コアを含むものとして解釈されるべきである。計算システムは例えば、マルチコアプロセッサであってもよい。計算システムはまた、単一のコンピュータシステム内の、又は複数のコンピュータシステム間で分散された計算システムの集合を指し得る。計算システムという用語はまた、おそらく、各々がプロセッサ又は計算システムを備えるコンピューティングデバイスの集合又はネットワークを指すと解釈されるべきである。機械実行可能コード又は命令は、同じコンピューティングデバイス内にあってもよく、又は複数のコンピューティングデバイスにわたって分散されてもよい複数の計算システム又はプロセッサによって実行されてもよい。
【0071】
機械実行可能命令又はコンピュータ実行可能コードは、プロセッサ又は他の計算システムに本発明の態様を実行させる命令又はプログラムを備え得る。本発明の態様のための動作を実行するためのコンピュータ実行可能コードは、Java、Smalltalk、C＋＋などの対象物指向プログラミング言語、及び「C」プログラミング言語又は同様のプログラミング言語などの従来の手続き型プログラミング言語を含む、1つ又は複数のプログラミング言語の任意の組合せで書かれ、機械実行可能命令にコンパイルされ得る。いくつかの事例では、コンピュータ実行可能コードが高水準言語の形態又は事前コンパイルされた形態であり得、オンザフライで機械実行可能命令を生成するインタプリタと併せて使用され得る。他の事例では、機械実行可能命令又はコンピュータ実行可能コードがプログラマブル論理ゲートアレイのためのプログラムの形成であり得る。
【0072】
コンピュータ実行可能コードは、完全にユーザのコンピュータ上で、部分的にユーザのコンピュータ上で、スタンドアロンソフトウェアパッケージとして、部分的にユーザのコンピュータ上で、部分的にリモートコンピュータ上で、又は完全にリモートコンピュータもしくはサーバ上で実行することができる。後者のシナリオでは、リモートコンピュータがローカルエリアネットワーク(LAN)又はワイドエリアネットワーク(WAN)を含む任意のタイプのネットワークを介してユーザのコンピュータに接続されてもよく、又は接続は外部コンピュータに(たとえば、インターネットサービスプロバイダを使用してインターネットを介して)行われてもよい。
【0073】
本発明の態様は、本発明の実施形態による方法、装置(システム)、及びコンピュータプログラム製品のフローチャート図及び／又はブロック図を参照して説明される。フローチャート、図、及び／又はブロック図の各ブロック又はブロックの部分は、適用可能な場合、コンピュータ実行可能コードの形態のコンピュータプログラム命令によって実装され得ることを理解されたい。さらに、相互に排他的ではない場合、異なるフローチャート、図、及び／又はブロック図におけるブロックの組合せが組み合わされ得ることに留意されたい。これらのコンピュータプログラム命令は、汎用コンピュータ、専用コンピュータ、又は他のプログラマブルデータ処理装置の計算システムに提供されて、コンピュータ又は他のプログラマブルデータ処理装置の計算システムを介して実行される命令がフローチャート及び／又はブロックダイアグラムブロック又はブロックで指定された機能／動作を実施するための手段を作成するように、機械を生成することができる。
【0074】
これらの機械実行可能命令又はコンピュータプログラム命令はコンピュータ、他のプログラマブルデータ処理装置、又は他の装置に特定の方法で機能するように指示することができるコンピュータ可読媒体に記憶されてもよく、その結果、コンピュータ可読媒体に記憶された命令はフローチャート及び／又はブロック図のブロック又は複数のブロックにおいて指定された機能／動作を実施する命令を含む製品を生成する。
【0075】
機械実行可能命令又はコンピュータプログラム命令はまた、コンピュータ、他のプログラマブルデータ処理装置、又は他の装置上にロードされて、コンピュータ、他のプログラマブル装置、又は他の装置上で実行される一連の動作ステップをコンピュータ上で実行させて、コンピュータ又は他のプログラマブル装置上で実行される命令がフローチャート及び／又はブロック図又はブロック内で指定された関数／動作を実装するためのプロセスを提供するように、コンピュータ実装プロセスを生成することができる。
【0076】
本明細書で使用される「ユーザインターフェース」は、ユーザ又はオペレータがコンピュータ又はコンピュータシステムと対話することを可能にするインターフェースである。「ユーザインターフェース」は「ヒューマンインターフェースデバイス」と呼ばれることもあり、ユーザインターフェースはオペレータに情報又はデータを提供し、及び／又はオペレータから情報又はデータを受信することができる。ユーザインターフェースはオペレータからの入力がコンピュータによって受信されることを可能にすることができ、コンピュータからユーザに出力を提供することができる。言い換えれば、ユーザインターフェースはオペレータがコンピュータを制御又は操作することを可能にすることができ、インターフェースは、コンピュータがオペレータの制御又は操作の効果を示すことを可能にすることができる。ディスプレイ又はグラフィカルユーザインタフェース上のデータ又は情報の表示は、オペレータに情報を提供する一例である。キーボード、マウス、トラックボール、タッチパッド、ポインティングスティック、グラフィックスタブレット、ジョイスティック、ゲームパッド、ウェブカメラ、ヘッドセット、ペダル、ワイヤードグローブ、リモートコントロール、及び加速度計を介したデータの受信は、オペレータからの情報又はデータの受信を可能にするユーザインターフェース構成要素のすべての例である。
【0077】
本明細書で使用される「ハードウェアインターフェース」はコンピュータシステムの計算システムが外部コンピューティングデバイス及び／又は装置と対話し、及び／又はそれを制御することを可能にするインターフェースを包含する。ハードウェアインターフェースは、コンピュータシステムが制御信号又は命令を外部コンピューティングデバイス及び／又は装置に送信することを可能にし得る。ハードウェアインターフェースはまた、計算システムが外部コンピューティングデバイス及び／又は装置とデータを交換することを可能にし得る。ハードウェアインターフェースの例としてはユニバーサルシリアルバス、IEEE 1394ポート、パラレルポート、IEEE 1284ポート、シリアルポート、RS―232ポート、IEEE―488ポート、Bluetooth接続、無線ローカルエリアネットワーク接続、TCP／IP接続、イーサネット接続、制御電圧インターフェース、MIDIインターフェース、アナログ入力インターフェース、及びデジタル入力インターフェースが挙げられるが、これらに限定されない。
【0078】
本明細書で使用される「ディスプレイ」又は「ディスプレイデバイス」は、画像又はデータを表示するように適合された出力デバイス又はユーザインターフェースを包含する。ディスプレイは、視覚的データ、音声データ、及び／又は触覚データを出力することができる。
【0079】
ディスプレイの例としてはコンピュータモニタ、テレビスクリーン、タッチスクリーン、触覚電子ディスプレイ、点字スクリーン、陰極線管(液体)、記憶管、双安定ディスプレイ、電子ペーパー、ベクトルディスプレイ、フラットパネルディスプレイ、真空蛍光ディスプレイ(VF)、発光ダイオード(LED)ディスプレイ、エレクトロルミネセンスディスプレイ(ELD)、プラズマディスプレイパネル(PDP)、液晶ディスプレイ(LCD)、有機発光ダイオードディスプレイ(OLED)、プロジェクタ、及びヘッドマウントディスプレイが挙げられるが、これらに限定されない。
【0080】
医用撮像データは、本明細書では被検体を記述する医用撮像システムによって行われる記録された測定値として定義される。医用画像データは、医用画像に再構成されてもよい。医用画像は、本明細書では医用撮像データ内に含まれる解剖学的データの再構成された2次元又は3次元視覚化として定義される。この視覚化は、コンピュータを使用して実行することができる。
【0081】
K空間データは、本明細書では磁気共鳴撮像スキャン中に磁気共鳴装置のアンテナを使用して原子スピンによって放出される高周波信号の記録された測定値であると定義される。磁気共鳴データは、医用撮像データの一例である。
【0082】
磁気共鳴撮像(MRI)画像又はMR画像は、本明細書では磁気共鳴撮像データ内に含まれる解剖学的データの再構成された2次元又は3次元視覚化として定義される。この視覚化は、コンピュータを使用して実行することができる。
【0083】
以下において、本発明の好ましい実施形態が、単なる例として、図面を参照して説明される。
【図面の簡単な説明】
【0084】
【図1】医用システムの一例を示す。
【図3】医用システムのさらなる例を示す。
【図5】磁気共鳴撮像システムのための台車上に横たわる対象物を示す対象物サブ画像の一例を示す。
【図6】探索画像の一例を示す。
【図8】利用可能な検査空間に適合しない患者姿勢の正確な検出を示す。
【図9】患者検査セットアップの一部ではないスプリアスボリュームの検出を示す。
【発明を実施するための形態】
【0085】
これらの図における同様の番号を付された要素は、同等の要素であるか、又は同じ機能を実行する。前述の要素は、機能が等価である場合、必ずしも後の図で論じられるとは限らない。
【0086】
図1は、医用システム100の一例を示す。医用システム100は、コンピュータ102を備えるものとして示されている。コンピュータ102は、1つ又は複数の位置にある1つ又は複数のコンピュータを表すことができる。医用システム100は、計算システム104を備えるものとしてさらに示されている。計算システム104は同様に、1つ又は複数の位置にある1つ又は複数のコンピュータに配置された1つ又は複数の計算システム又はコンピューティングコアを表すことができる。計算システム104は、オプションのハードウェアインターフェース106及びオプションのユーザインターフェース108と通信するものとして示されている。ハードウェアインターフェース106は、計算システム104が医用撮像システムなどの他のコンポーネントを制御し、それと通信することを可能にし得る。ユーザインターフェース108は、オペレータ又はコントローラが医用システム100の機能を制御及び動作することを可能にし得る。計算システム104は、メモリ110と通信するものとしてさらに示されている。メモリ110は、計算システム104がアクセス可能であり得る異なるタイプのメモリを表し得る。いくつかの例では、メモリ110が非一時的記憶媒体である。
【0087】
メモリ110は、機械実行可能命令120を含むものとして示されている。機械実行可能命令120は、計算システム104が基本データ分析、数学的、画像処理、及び制御コマンドを実行することを可能にする。メモリ110は、第1のニューラルネットワーク122、対象物特定ニューラルネットワーク124、及びアイテム特定ニューラルネットワーク126を含むものとしてさらに示されている。メモリ110は、オーバービュー画像128を含むものとしてさらに示されている。オーバービュー画像128は、医用撮像システムの被検体支持体上の被検体位置を示す。オーバービュー画像128は、元の解像度を有する。
【0088】
第1のニューラルネットワーク122はオーバービュー画像128を受信し、それを第1の解像度で処理するように構成される。例えば、オーバービュー画像128は第1のニューラルネットワーク122に入力される前に第1の解像度に低減された解像度を有することができ、又はプーリング層は、第1のニューラルネットワーク122によって処理される前に解像度を自動的に低減するために使用されることができる。オーバービュー画像128を入力として受信することに応答して、第1のニューラルネットワーク122は、複数の対象物ロケータ130を出力する。対象物ロケータは例えば、オーバービュー画像内の複数の所定の対象物の識別子位置であってもよい。これは、例えば、様々な対象物のロケーションを識別するためのバウンディングボックス又は他のセグメンテーションの配置であり得る。
【0089】
メモリはさらに、対象物ロケータ130を使用してオーバービュー画像128から作成された対象物サブ画像132を含むものとして示されている。たとえば、対象物ロケータ130が境界ボックスである場合、対象物サブ画像132は、それらが境界ボックスと同一であるか、又は境界ボックスを包含するか、又は含むように構成され得る。対象物サブ画像132は、元の解像度よりも低く、第1の解像度よりも高い第2の解像度を有する。メモリ110は、対象物サブ画像132の受信に応答して対象物特定ニューラルネットワーク124から受信された対象物位置データ134を含むものとしてさらに示されている。対象物特定ニューラルネットワーク124は、特定の対象物を識別するようにプログラムされる。
【0090】
メモリ110は、対象物位置データ134を使用して構成された複数の探索画像136を含むものとしてさらに示されている。対象物位置データ134は例えば、特定の対象物の様々な部分又は部分の座標を含むことができる。これらを使用して、複数の探索画像136を識別し、定義することができる。メモリ110は、複数の探索画像136をアイテム特定ニューラルネットワーク126に入力することに応答して受信されたロケータデータ138を含むものとしてさらに示されている。アイテム特定ニューラルネットワーク126は、ハンドバルブ、ハンド、ワイヤ、又は他の装置などの非常に特有のアイテムを識別又は位置特定するように構成される。メモリは、ロケータデータ138を使用して複数の探索画像136のうちの1つにおいて識別された特定のアイテムの識別である安全状態140を含むものとしてさらに示される。安全インジケータ140は、所定の基準142と比較することができる。所定の基準142が満たされる場合、警告信号144が提供され得る。これは、オペレータに提供されてもよいし、医用システムの挙動を修正するために計算システムに提供されてもよい。
【0091】
図2は、図1の医用システム100を動作させる方法を示すフローチャートを示す。まず、ステップ200において、オーバービュー画像が受信される。これは、カメラ又は撮像装置を用いてそれを取得することを含み得る。次に、ステップ202において、オーバービュー画像128を第1のニューラルネットワーク122に入力することに応答して、対象物ロケータが受信される。次に、ステップ204において、対象物ロケータ130を使用して、複数の所定の対象物の各々について対象物サブ画像132が構成される。次に、ステップ206において、複数の所定の対象物の各々についての対象物サブ画像132の入力に応答して、対象物特定ニューラルネットワークから対象物位置データが受信される。次に、ステップ208において、対象物位置データ134を用いて複数の探索画像136が構成される。次に、ステップ210において、ロケータデータ138が、複数の探索画像136の入力に応答して、アイテム特定ニューラルネットワークから受信される。次に、ステップ212において、ロケータデータと所定の対象物のそれぞれの対象物位置データとを所定の基準142に対して比較することによって、安全状態140が検出される。最後に、ステップ214において、安全状態が検出された場合、警告信号144が提供される。
【0092】
図3は、医用システム300のさらなる例を示す。図3の例は、磁気共鳴撮像システム302及び撮像装置326をさらに備えることを除いて、図1に示される例と同様である。磁気共鳴撮像システム302は、計算システム104によって制御される。
【0093】
磁気共鳴撮像システム302は、磁石304を備える。磁石304は、それをタイプボア306を有する超伝導円筒形磁石である。異なるタイプの磁石の使用も可能であり、例えば、分割円筒形磁石といわゆる開放磁石の両方を使用することも可能である。分割円筒形磁石はクライオスタットが磁石の等平面へのアクセスを可能にするために2つのセクションに分割されていることを除いて、規格円筒形磁石に類似しており、そのような磁石は例えば、荷電粒子ビーム治療と併せて使用され得る。開放磁石は2つの磁石セクションを有し、一方が他方の上に、被検体を受け入れるのに十分な大きさの間の空間、すなわちヘルムホルツコイルの領域と同様の2つのセクション領域の配置を有する。開放磁石は、被検体の閉じ込めがより少ないため、人気がある。円筒形磁石のクライオスタットの内部には、超伝導コイルの集合体がある。
【0094】
円筒形磁石304のボア306内には、磁場が強く、磁気共鳴撮像を実行するのに十分に均一である撮像ゾーン308がある。視野は、撮像ゾーン308内にあってもよい。視野に対して典型的に取得されるk空間データ。関心領域は、視野と同一であってもよく、又は視野のサブボリュームであってもよい。被検体318は撮像ゾーン308内で被検体318の少なくとも一部分を動かすことができるように、被検体支持体320によって支持されているように示されている。
【0095】
磁石のボア306内には、磁石304の撮像ゾーン308内の磁気スピンを空間的に符号化するための予備的なk空間データの取得のために使用される一組の磁場傾斜コイル310もある。傾斜磁場コイル310は、傾斜磁場コイル電源312に接続される。磁場傾斜コイル310は、代表的であることが意図される。典型的には、磁場傾斜コイル310が3つの直交する空間方向に空間的に符号化するための3つの別個のコイルセットを含む。傾斜磁場電源は、傾斜磁場コイルに電流を供給する。磁場傾斜コイル310に供給される電流は、時間の関数として制御され、ランプ又はパルス化され得る。
【0096】
撮像ゾーン308に隣接して、撮像ゾーン308内の磁気スピンの方向を操作し、また撮像ゾーン308内のスピンからの無線送信を受信するための無線周波数コイル314がある。無線周波数アンテナは、複数のコイル要素を含むことができる。無線周波数アンテナは、チャネル又はアンテナと呼ばれることもある。高周波コイル314は、無線周波数トランシーバ316に接続される。無線周波数コイル314及び無線周波数トランシーバ316は、別個の送信コイル及び受信コイル、ならびに別個の送信器及び受信器によって置き換えられ得る。無線周波数コイル314及び無線周波数トランシーバ316が代表的であることが理解される。無線周波数コイル314はまた、専用送信アンテナ及び専用受信アンテナを表すことを意図している。同様に、トランシーバ316はまた、別個の送信器及び受信器を表し得る。無線周波数コイル314はまた、複数の受信／送信素子を有することができ、無線周波数トランシーバ316は、複数の受信／送信チャネルを有することができる。
【0097】
撮像装置326は被検体318及び被検体支持体320の上方に位置し、オーバービュー画像128を取得することができる。被検体支持体320は、テーブルトロリー322及び主電動被検体支持体324を含むものとして示されている。主電動被検体支持体324はテーブルトロリー322を受容し、次いで、それを被検体318と共に磁石304のボア内に挿入するように構成される。トランシーバ316、傾斜コントローラ312、主電動被検体支持体324、及び撮像装置326は、コンピュータシステム102のハードウェアインターフェース106に接続されているものとして示されている。
【0098】
メモリ110は、パルスシーケンスコマンドを含むものとしてさらに示されている。パルスシーケンスコマンドは、磁気共鳴撮像システム302が撮像ゾーン308から磁気共鳴データを取得することを可能にするコマンドに変換され得るコマンド又はデータである。例えば、被検体318が磁石304に挿入された場合、撮像ゾーン308からk空間データを取得することができる。メモリ110はさらに、パルスシーケンスコマンド330で磁気共鳴撮像システム302を制御することによって取得された測定k空間データ332を含むものとして示されている。メモリ110はさらに、測定されたk空間データ332から再構成された磁気共鳴データ334を含むものとして示されている。
【0099】
図3において、磁気共鳴撮像システム302は、医用撮像システムの一例として使用される。しかし、図3に示す磁気共鳴撮像システムの代わりに、異なる医用撮像システムを代用することができる。例えば、磁気共鳴撮像システムは、コンピュータ断層撮影システム、複合磁気共鳴撮像及びコンピュータ断層撮影システム、陽電子放出断層撮影システム、複合磁気共鳴撮像及びコンピュータ断層撮影システム、単一光子放出断層撮影システム、デジタルX線システム、デジタル蛍光透視システム、磁気共鳴撮像誘導放射線治療システム、コンピュータ断層撮影誘導放射線治療システム、及び磁気共鳴撮像誘導高密度焦点式超音波システムのいずれか1つに置き換えることができる。
【0100】
図4は、図3の医用システム300を使用する方法を示すフローチャートを示す。ステップ400において、撮像装置326は、オーバービュー画像128を取得するように制御される。この後、方法は、ステップ200、202、204、206、208、210、212、及び214に進む。これの後に、追加のステップを実行することもできる。例えば、主電動被検体支持体324は、磁気共鳴撮像システム302のボア306内に被検体を挿入するために使用されてもよい。この後、パルスシーケンスコマンドを使用して、磁気共鳴撮像システムを制御して、測定されたk空間データ332を取得することができる。最後に、測定されたk空間データは、磁気共鳴画像334に再構成され得る。
【0101】
検査のための放射線学(例えば、MR、CT、X線)システム(医用システム100、300)及び患者(被検体318)の準備は時間のかかる作業であり、操作者の訓練された技能を必要とする。天井に取り付けられたテーブルに面するカメラ(撮像装置326)を使用するAIベースの身体及び対象物キーポイント検出を使用して、オペレータにガイダンスを提供し、このタスクを自動化することができる。検査準備を安全に保護することは、自動化及び自律的又は遠隔スキャナ操作のための主要なイネーブラを表すので、この文脈において強い関心が寄せられている。特に、患者をボアの内外に移動させることは、現在、衝突や指の挟み込みなどの安全上のリスクを伴う。
【0102】
今日、患者(被検体318)の準備と、ボア内への患者の動きの両方が、患者支持体のいずれかの側に立った状態で行われる。検査セットアップは典型的には複雑であり、固定化、快適性、及びスキャンデバイスの複数の層からなる。したがって、オペレータの限定されたビュー及びスケジューリング時間圧力を考慮すると、多くの安全事象が報告されることは驚くべきことではない。
【0103】
例は、
RGB／深度カメラ(撮像装置326)は、患者テーブル及び隣接領域を含む患者検査準備領域の連続データストリーム(オーバービュー画像128)を提供する検査準備領域を概観すること、
カメラ画像内の身体部分及び対象物の検出のためのニューラルネットワーク(第1のニューラルネットワーク122、対象物特定ニューラルネットワーク124、及びアイテム特定ニューラルネットワーク126)の専用セット、
特定のシステムリスク領域の専用セット(複数の探索画像136で定義される)、
関連する患者に起因する信号からオペレータに起因する信号をフィルタリングするアルゴリズム、
危険な動作又は設定を検出するためのアルゴリズム、
イベントの重症度を少なくとも2つのクラス(例えば、正常及び高い重症度)に分類するアルゴリズム、及び
オペレータ及び自動システム反応(警告信号144)へのユーザインターフェースを介したフィードバックにより、安全事故を防止すること
の特徴のうちの1つ又は複数を備え得る。
RGB／深度カメラ(撮像装置326)は、患者テーブル及び隣接領域を含む患者検査準備領域の連続データストリーム(オーバービュー画像128)を提供する検査準備領域を概観すること、
カメラ画像内の身体部分及び対象物の検出のためのニューラルネットワーク(第1のニューラルネットワーク122、対象物特定ニューラルネットワーク124、及びアイテム特定ニューラルネットワーク126)の専用セット、
特定のシステムリスク領域の専用セット(複数の探索画像136で定義される)、
関連する患者に起因する信号からオペレータに起因する信号をフィルタリングするアルゴリズム、
危険な動作又は設定を検出するためのアルゴリズム、
イベントの重症度を少なくとも2つのクラス(例えば、正常及び高い重症度)に分類するアルゴリズム、及び
オペレータ及び自動システム反応(警告信号144)へのユーザインターフェースを介したフィードバックにより、安全事故を防止すること
の特徴のうちの1つ又は複数を備え得る。
【0104】
例では、カメラセンサ(撮像装置326)を使用して、安全リスクに関連する特定の人、物体、及び動作を検出し、それらを防止するための動作を提供するアルゴリズムと組み合わせて検査室を監視することができる。具体的には、小型で微妙な物体(ナースコール、ケーブル部品、コネクタ等)、身体部分、指関節)及び特定のシステムリスク領域(テーブルドック及びボア接合部、トロリードック等)のローカル調査のためのニューラルネットワークのカスケードの使用が提案される。
【0105】
一例では概要ネットワーク(第1のニューラルネットワーク122)が主要な患者キーポイント(すなわち、関節などの解剖学的ランドマーク)を検出し、それはその後、それぞれの身体特定領域のより厳密な調査のために、最大解像度(元の解像度と第3の解像度との間)で、後続のネットワーク(アイテム特定ニューラルネットワーク126)をローカルに(複数の探索画像136において)実行することを可能にする。
【0106】
上記において、第1のニューラルネットワーク122は、キーポイントを提供する。これに対する代替案は、第1のニューラルネットワーク122が所定の複数の対象物のための対象物ロケータ130(例えば、境界ボックス)を提供することである。これらの境界ボックスは次に、各対象物に対して詳細な処理を行う対象物サブ画像を作成するために使用される。例えば、対象物特定ニューラルネットワークは、キーポイントデータを対象物位置データとして出力する。
【0107】
例示的なケースでは、特定の安全リスクがテーブルがボアの内外に移動する間、テーブルのエッジの周りをつかむ指に関連する。具体的には、テーブル支持モータステージへの接合部のような位置が潜在的に危険な位置である。身体及び指の検出に続いて、リスク領域が可能な限り高い分解能で頻繁に監視される、2つの突起を有するアプローチの安全使用をさらに改善するために提案される。これは、閉塞の場合、又はスキャン後に患者がボアから移動しているときに検出を強化するので、検出能力を著しく改善することができる。別の例示的な場合では、検査セットアップがより大きなスケールでボア内に完全には嵌合しなくてもよい。領域を検出するために、取得中にシステムによって占有されていないか、又は使用されていない、利用可能なボア直径、又は一般に、検査体積及び範囲を比較する、肉眼的衝突検出アルゴリズムが実行される。ここでは、3Dセンシング機能を使用して、3Dにおける設定を測定する。このアルゴリズムの重要な能力は偽陽性を回避するために、患者信号(すなわち、患者に属する信号及び患者テーブル上の設定)から非患者信号をフィルタ除去することであり得る。
利用可能なスペースに合わない画像の領域と輪郭を決定するステップ、
信号輪郭位置を決定し、信号を患者の検査設定に関連するものとして分類するステップ、
例えば、テーブルの動きなどの関連するシステム動作に対する信号の動きの相関を決定し、相関値を使用して、信号を患者の検査設定と関連付けるかどうかを決定するステップ、及び
身体キーポイント情報を使用するステップ、すなわち、領域が患者の身体に適合しない場合、信号は無視されるか、又はより低く評価されるステップ
のアルゴリズムのセットが提案される。
利用可能なスペースに合わない画像の領域と輪郭を決定するステップ、
信号輪郭位置を決定し、信号を患者の検査設定に関連するものとして分類するステップ、
例えば、テーブルの動きなどの関連するシステム動作に対する信号の動きの相関を決定し、相関値を使用して、信号を患者の検査設定と関連付けるかどうかを決定するステップ、及び
身体キーポイント情報を使用するステップ、すなわち、領域が患者の身体に適合しない場合、信号は無視されるか、又はより低く評価されるステップ
のアルゴリズムのセットが提案される。
【0108】
前述の同じ概要ネットワークは、関連する対象物及びアクセサリもローカライズする。安全リスクは、機械的なものだけでなく、RF／熱タイプのものであってもよい。RF／熱安全事象の低減のために、RFコイルケーブルの位置及びルートを厳密に監視することが提案される。このようなケーブルはRF安全及び熱傷事故を防ぐために、メーカーの厳格な命令に従って配置する必要がある。しかしながら、正しいケーブル配線は単純な作業ではない場合があり、また、ケーブル変形は、自発的に生じ、オペレータから見えなくなる場合がある。また、遠隔スキャナ操作は、ボア内での患者の移動前及び移動中に全てのケーブルを監視することを必要とする。
【0109】
RF安全に接続された別の特徴は、カメラを用いた全てのRFコイル位置の一定の監視である。検出されたコイルとシステムレポートされたコイルの接続状態との対比は、検査設定において未接続のコイルを回避するための即時の手段を提供する。
【0110】
ナースコール600(患者が操作者からの注意を誘発するために使用することができる装置)などの同様の付属品も監視され(図1の中央)、ならびに患者の耳に対する聴覚保護及び通信ヘッドセット(504)の適切な位置も監視される。
【0111】
上記の検出されたイベントは潜在的に安全ではなく、この情報(安全状態)は高い信頼度で検出された場合、
イベントの空間的ローカライゼーション、
イベントのタイプとコンテキスト、
リスクの推定重症度、及び
解決案
を含む安全イベントを解決するための情報をオペレータに提供し、
安全領域外に指が突き当たっていることを検知した場合、挟み込み位置付近で自動テーブル移動を停止、
衝突／指の挟み込みイベントが発生する可能性が高い場合のテーブルのスローダウン、
患者に近い制御でのみ手動オーバーライドを許可(例：テーブル動作のためのサムスイッチを介して)、
患者に安全イベントの解決を特定するための情報を提供、
スピーカーシステムによる自動音声指示／警告、及び
検出された領域を患者の身体に重ねて表示し、現実世界におけるオペレータによる直観的なローカライゼーションを容易化
のような重大度の高いイベントのサブセットに対する自動システムの動作
を拒否する。
イベントの空間的ローカライゼーション、
イベントのタイプとコンテキスト、
リスクの推定重症度、及び
解決案
を含む安全イベントを解決するための情報をオペレータに提供し、
安全領域外に指が突き当たっていることを検知した場合、挟み込み位置付近で自動テーブル移動を停止、
衝突／指の挟み込みイベントが発生する可能性が高い場合のテーブルのスローダウン、
患者に近い制御でのみ手動オーバーライドを許可(例：テーブル動作のためのサムスイッチを介して)、
患者に安全イベントの解決を特定するための情報を提供、
スピーカーシステムによる自動音声指示／警告、及び
検出された領域を患者の身体に重ねて表示し、現実世界におけるオペレータによる直観的なローカライゼーションを容易化
のような重大度の高いイベントのサブセットに対する自動システムの動作
を拒否する。
【0112】
低い信頼性の検出又は検出不可能な身体部分又は対象物が存在する場合、カメラは、ワークフローに安全かつ適切に介入することができないことがある。そのような状況では、例えば、手がカメラによって検出されない場合(例えば、検出が失敗したため、又は単に全く見えないため)、異なるシステム挙動を使用することができ、それぞれの手をチェックし、安全な位置にあること、保護装置が適用されていることなどを確実にすることをオペレータに一般的に推奨することができる。これらの状況のいくつかは典型的な検査セットアップの複雑さ(例えば、コイル又はブランケットで覆われた手)のために定期的に発生する可能性があり、そのような状況でシステムをブロックすることはシステムを使用不可能にし、したがって注意深く回避されなければならない。したがって、高信頼度検出のみを使用して、安全入射角を低減することができ、その結果、不当なシステム遮断率が低い、ユーザが許容可能なレベルに低減される。
【0113】
図5は、磁気共鳴撮像システムのために対象物支持体320上に横たわる対象物318を示す対象物サブ画像132の一例を示す。多数の解剖学的キーポイントロケータ500が見える。被検体の手500は衝突及び指の挟み込みに関して安全な位置にあり、ヘッドセット504は、正しく配置されているように示されている。しかしながら、この画像では、ナースコールは患者の左手に正しく着座していない。被検体支持体及び患者を磁石内に移動させる前に、適切な患者通信が確立されるべきである。
【0114】
図6は、探索画像136の一例を示す。この例では、ナースコールが患者の手の届く範囲内にあることを検出及び位置特定するように訓練されたニューラルネットワーク又はアイテム特定ニューラルネットワーク126である。被検体の手502において、ロケータデータ138がナースコール600の位置を識別することが分かる。
【0115】
図7は、図5に示したものと同様の画像を示す。この例では、左手をつまむ危険性を指で示す警告として被検体の手の輪郭を描く警告信号700がある。テーブルモーターステージ、ボア、及びトロリードックの位置への接合部に手が近づくと、安定した動きは安全ではない。
【0116】
図8は、利用可能な検査空間に適合しない患者姿勢の正確な検出を示す。
【0117】
図9は、患者検査設定の一部ではないスプリアスボリュームの検出を示す。画像900は、オペレータ901からの信号が除去されていない。画像902は、オペレータ901からの信号が識別され除去されたオペレータゾーン904を示す。
【0118】
本発明は図面及び前述の説明において詳細に図示及び説明されているが、そのような図示及び説明は例示的又は例示的であり、限定的ではないと見なされるべきであり、本発明は開示された実施形態に限定されない。
【0119】
開示された実施形態に対する他の変形は図面、開示、及び添付の特許請求の範囲の研究から、特許請求された発明を実施する際に当業者によって理解され、達成され得る。請求項において、単語「有する(comprising)」は他の要素又はステップを除外せず、不定冠詞「a」又は「an」は複数を除外しない。単一のプロセッサ又は他のユニットは、特許請求の範囲に列挙されるいくつかのアイテムの機能を満たすことができる。特定の手段が相互に異なる従属請求項に記載されているという単なる事実は、これらの手段の組み合わせが有利に使用され得ないことを示すものではない。コンピュータプログラムは他のハードウェアとともに、又は他のハードウェアの一部として供給される光記憶媒体又はソリッドステート媒体などの適切な媒体上に記憶／配布され得るが、インターネット又は他の有線もしくはワイヤレス電気通信システムなどの他の形態で配布されてもよい。請求項におけるいかなる参照符号も、範囲を限定するものとして解釈されるべきではない。
【符号の説明】
【0120】
100 医用システム
102 コンピュータ
104 計算システム
106 ハードウェアインターフェース
108 ユーザインターフェース
110 メモリ
120 機械実行可能命令
122 第１のニューラルネットワーク
124 対象物特定ニューラルネットワーク
126 アイテム特定ニューラルネットワーク
128 オーバービュー画像
130 対象物ロケータ
132 対象物サブ画像
134 対象物位置データ
136 複数の探索画像
138 ロケーターデータ
140 安全状態
142 所定の基準
144 警告信号
200 オーバービュー画像を受信するステップであって、前記オーバービュー画像は元の解像度を有し、医用撮像システムの被検体支持体上に位置決めされた被検体を記述する、受信するステップ
202 オーバービュー画像を第1のニューラルネットワークに入力するステップに応答して、オーバービュー画像内の複数の所定の対象物の位置及び方向を記述する対象物ロケータを受信するステップ
204 対象物ロケータを使用して、複数の所定の対象物の各々について対象物サブ画像を構成するステップ
206 複数の所定の対象物の各々についての対象物サブ画像を、複数の所定の対象物の各々について固有の対象物特定ニューラルネットワークに入力するステップに応答して、複数の所定の対象物の各々について記述的な対象物位置データを受信するステップ
208 複数の所定の対象物に対する対象物位置データを用いて複数の探索画像を構成するステップ
210 複数の探索画像の各々をアイテム特定ニューラルネットワークに入力するステップに応答してアイテムの位置を記述するロケータデータを受信するステップ
212 ロケータデータと所定の対象物の各々の対象物位置データとを所定の基準に対して比較することによって安全状態を検出するステップ
214 安全状態が検出された場合に警告信号を提供するステップ
300 医用システム
302 磁気共鳴画像診断装置
304 磁石
306 磁石のボア
308 撮像ゾーン
310 磁場傾斜コイル
312 傾斜磁場コイル電源
314 高周波コイル
316 トランシーバ
318 被検体
320 被検体支持体
322 テーブルトロリー
324 主電動被検体支持装置
326 撮像装置
330 パルスシーケンスコマンド
332 測定k空間データ
334 磁気共鳴画像(MRI)
400 撮像装置を制御してオーバービュー画像を取得する
500 解剖学的キーポイントロケータ
502 手
504 ヘッドセット
600 ナースコール
700 警告信号
900 画像
901 オペレータ
902 画像
904 オペレータゾーン
102 コンピュータ
104 計算システム
106 ハードウェアインターフェース
108 ユーザインターフェース
110 メモリ
120 機械実行可能命令
122 第１のニューラルネットワーク
124 対象物特定ニューラルネットワーク
126 アイテム特定ニューラルネットワーク
128 オーバービュー画像
130 対象物ロケータ
132 対象物サブ画像
134 対象物位置データ
136 複数の探索画像
138 ロケーターデータ
140 安全状態
142 所定の基準
144 警告信号
200 オーバービュー画像を受信するステップであって、前記オーバービュー画像は元の解像度を有し、医用撮像システムの被検体支持体上に位置決めされた被検体を記述する、受信するステップ
202 オーバービュー画像を第1のニューラルネットワークに入力するステップに応答して、オーバービュー画像内の複数の所定の対象物の位置及び方向を記述する対象物ロケータを受信するステップ
204 対象物ロケータを使用して、複数の所定の対象物の各々について対象物サブ画像を構成するステップ
206 複数の所定の対象物の各々についての対象物サブ画像を、複数の所定の対象物の各々について固有の対象物特定ニューラルネットワークに入力するステップに応答して、複数の所定の対象物の各々について記述的な対象物位置データを受信するステップ
208 複数の所定の対象物に対する対象物位置データを用いて複数の探索画像を構成するステップ
210 複数の探索画像の各々をアイテム特定ニューラルネットワークに入力するステップに応答してアイテムの位置を記述するロケータデータを受信するステップ
212 ロケータデータと所定の対象物の各々の対象物位置データとを所定の基準に対して比較することによって安全状態を検出するステップ
214 安全状態が検出された場合に警告信号を提供するステップ
300 医用システム
302 磁気共鳴画像診断装置
304 磁石
306 磁石のボア
308 撮像ゾーン
310 磁場傾斜コイル
312 傾斜磁場コイル電源
314 高周波コイル
316 トランシーバ
318 被検体
320 被検体支持体
322 テーブルトロリー
324 主電動被検体支持装置
326 撮像装置
330 パルスシーケンスコマンド
332 測定k空間データ
334 磁気共鳴画像(MRI)
400 撮像装置を制御してオーバービュー画像を取得する
500 解剖学的キーポイントロケータ
502 手
504 ヘッドセット
600 ナースコール
700 警告信号
900 画像
901 オペレータ
902 画像
904 オペレータゾーン
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【国際調査報告】