特許 7102463 走査範囲を自動的に設定するための方法及びシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-07-08

(45)【発行日】2022-07-19

(54)【発明の名称】走査範囲を自動的に設定するための方法及びシステム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20220711BHJP

   G06T 7/11 20170101ALI20220711BHJP

   A61B 6/03 20060101ALI20220711BHJP

   A61B 5/055 20060101ALI20220711BHJP

【ＦＩ】

G06T7/00 350C

G06T7/11

G06T7/00 612

A61B6/03 333Z

A61B5/055 370

【請求項の数】 32

【外国語出願】

(21)【出願番号】P 2020103471

(22)【出願日】2020-06-16

(65)【公開番号】P2021006993

(43)【公開日】2021-01-21

【審査請求日】2020-11-06

(31)【優先権主張番号】201910524760.5

(32)【優先日】2019-06-18

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】319011672

【氏名又は名称】ジーイー・プレシジョン・ヘルスケア・エルエルシー

(74)【代理人】

【識別番号】100105588

【弁理士】

【氏名又は名称】小倉 博

(74)【代理人】

【識別番号】100151286

【弁理士】

【氏名又は名称】澤木 亮一

(72)【発明者】

【氏名】ヤンラン・シュー

(72)【発明者】

【氏名】ファンボ・メン

(72)【発明者】

【氏名】ユ・フアン

【審査官】新井 則和

(56)【参考文献】

【文献】特開２０１４－１０８１１１（ＪＰ，Ａ）

【文献】特開２００８－１６１２３４（ＪＰ，Ａ）

【文献】特開２０１５－２１９８６８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００－７／９０

Ａ６１Ｂ ６／０３

Ａ６１Ｂ ５／０５５

(57)【特許請求の範囲】

【請求項1】

走査範囲を自動的に設定するための方法（１００）であって、
ＲＧＢ画像予測モデル及び深度画像予測モデルが、それぞれ走査ベッドに配置された対象のＲＧＢ画像及び深度画像を受け取ることと、
前記ＲＧＢ画像予測モデル及び前記深度画像予測モデルが、それぞれ前記対象の所定のキーポイントに関する、前記ＲＧＢ画像に基づいたＲＧＢ予測結果及び前記深度画像に基づいた深度予測結果を生成することと、
前記ＲＧＢ予測結果及び前記深度予測結果から走査範囲を設定するための予測結果を選択することと、
選定された予測結果に基づき前記走査範囲を自動的に設定することと
を含む、方法（１００）。

【請求項2】

前記ＲＧＢ予測結果と前記深度予測結果が互いに独立したものである、請求項１に記載の方法（１００）。

【請求項3】

前記ＲＧＢ画像予測モデル及び前記深度画像予測モデルの各々が深層学習モデルである、請求項１に記載の方法（１００）。

【請求項4】

前記ＲＧＢ予測結果のＲＧＢ信頼度及び前記深度予測結果の深度信頼度をそれぞれ算出することを更に含み、前記走査範囲を設定するための予測結果を選択するステップが、前記ＲＧＢ信頼度と前記深度信頼度との比較に基づくステップである、請求項１に記載の方法（１００）。

【請求項5】

前記走査範囲を設定するための予測結果を選択するステップが、前記ＲＧＢ予測結果におけるＲＧＢの所定の重みと前記深度予測結果における深度の所定の重みとの比較に基づくステップである、請求項１～４のいずれか１項に記載の方法（１００）。

【請求項6】

前記ＲＧＢ信頼度が第１閾値未満であり、かつ、前記深度信頼度が第２閾値未満である場合は、ＲＧＢ画像及び深度画像をそれぞれ受け取るステップ、ＲＧＢ予測結果及び深度予測結果をそれぞれ生成するステップ、及びＲＧＢ信頼度及び深度信頼度をそれぞれ算出するステップを、前記ＲＧＢ信頼度及び前記深度信頼度のうちの少なくとも一方が対応する閾値以上となるまで、繰り返し実行する、請求項４に記載の方法（１００）。

【請求項7】

前記ＲＧＢ信頼度が前記第１閾値以上であるか、または前記深度信頼度が前記第２閾値以上である場合は、前記ＲＧＢ信頼度および前記深度信頼度のうちの閾値以上の信頼度に対応する予測結果を、前記走査範囲を設定するための予測結果として選択する、請求項６に記載の方法（１００）。

【請求項8】

前記ＲＧＢ信頼度が前記第１閾値以上であり、かつ、前記深度信頼度が前記第２閾値以上である場合は、前記ＲＧＢ予測結果におけるＲＧＢの所定の重みと前記深度予測結果における深度の所定の重みとを更に比較し、
前記ＲＧＢの所定の重みと前記深度の所定の重みとが等しくない場合は、所定の重みが大きい方の予測結果を、前記走査範囲を設定するための予測結果として選択し、
前記ＲＧＢの所定の重みと前記深度の所定の重みとが等しい場合は、前記ＲＧＢ信頼度と前記深度信頼度との前記比較の結果に基づき、前記走査範囲を設定するための予測結果を選択する、請求項６に記載の方法（１００）。

【請求項9】

前記第１閾値と前記第２閾値は同一である、請求項６に記載の方法（１００）。

【請求項10】

前記第１閾値と前記第２閾値は異なる、請求項６に記載の方法（１００）。

【請求項11】

前記ＲＧＢ画像予測モデルを使用して前記ＲＧＢ画像において前記キーポイントを識別することにより、前記ＲＧＢ予測結果を生成し、前記深度画像予測モデルを使用して前記深度画像において前記キーポイントを識別することにより、前記深度予測結果を生成する、請求項１に記載の方法（１００）。

【請求項12】

前記キーポイントは、頭部、胸部、腹部、骨盤、左膝関節、右膝関節、左足首関節及び右足首関節を含む、請求項１に記載の方法（１００）。

【請求項13】

選定された予測結果に基づき前記走査範囲を自動的に設定するステップが、
変換行列を利用して前記選定された予測結果の前記キーポイントの２Ｄ位置を３Ｄ空間にマッピングして、前記対象の走査マークを生成することを含む、請求項１に記載の方法（１００）。

【請求項14】

ディスプレイによって、オペレータに前記ＲＧＢ画像及び前記走査範囲を表示し、任意選択で、前記深度画像、前記ＲＧＢ予測結果、前記深度予測結果、前記ＲＧＢ信頼度、前記深度信頼度、及び／または前記選定された予測結果を表示する、請求項４に記載の方法（１００）。

【請求項15】

オペレータが走査タスクを新たに作成すると、前記方法をリアルタイムで実行することが開始され、前記オペレータが前記走査範囲を確認するまで、前記リアルタイムで実行することが前記対象の体位変化を検知するごとに前記方法を実行することを含む、請求項１～１４のいずれか１項に記載の方法（１００）。

【請求項16】

走査範囲を自動的に設定するためのシステム（６００）であって、
ＲＧＢ画像予測モデル及び深度画像予測モデルによりそれぞれ走査ベッドに配置された対象のＲＧＢ画像及び深度画像を受け取るための画像受信手段（６２０）と、
前記ＲＧＢ画像予測モデル及び前記深度画像予測モデルによりそれぞれ前記対象の所定のキーポイントに関する前記ＲＧＢ画像に基づいたＲＧＢ予測結果及び前記深度画像に基づいた深度予測結果を生成するための予測結果生成手段（６３０）と、
前記ＲＧＢ予測結果及び前記深度予測結果から走査範囲を設定するための予測結果を選択するための予測結果選択手段（６４０）と、
選定された予測結果に基づき前記走査範囲を自動的に設定するための走査範囲設定手段（６５０）と、を含む、システム（６００）。

【請求項17】

前記ＲＧＢ予測結果と前記深度予測結果が互いに独立したものである、請求項１６に記載のシステム（６００）。

【請求項18】

前記ＲＧＢ画像予測モデル及び前記深度画像予測モデルの各々は、深層学習モデルである、請求項１６に記載のシステム（６００）。

【請求項19】

前記ＲＧＢ予測結果のＲＧＢ信頼度及び前記深度予測結果の深度信頼度をそれぞれ算出するための信頼度算出手段（６６０）を更に含み、
前記予測結果選択手段（６４０）が、前記ＲＧＢ信頼度と前記深度信頼度とを比較するための信頼度比較手段（６７０）を更に含む、請求項１６に記載のシステム（６００）。

【請求項20】

前記予測結果選択手段（６４０）が、前記ＲＧＢ予測結果におけるＲＧＢの所定の重みと前記深度予測結果における深度の所定の重みとを比較するための重み比較手段（６８０）を更に含む、請求項１６～１９のいずれか１項に記載のシステム（６００）。

【請求項21】

前記予測結果選択手段（６４０）が、前記ＲＧＢ信頼度と第１閾値との比較及び前記深度信頼度と第２閾値との比較を実行するための信頼度閾値比較手段（６９０）を更に含み、前記予測結果選択手段（６４０）が、
前記ＲＧＢ信頼度が前記第１閾値未満であり、かつ、前記深度信頼度が前記第２閾値未満である場合は、前記ＲＧＢ信頼度及び前記深度信頼度のうちの少なくとも一方が対応する閾値以上となるまで、前記画像受信手段（６２０）にＲＧＢ画像及び深度画像をそれぞれ受信させること、前記予測結果生成手段（６３０）にＲＧＢ予測結果及び深度予測結果をそれぞれ生成させること、および前記信頼度算出手段（６６０）にＲＧＢ信頼度及び深度信頼度をそれぞれ算出させることが繰り返し実行されるようにする、請求項１９に記載のシステム（６００）。

【請求項22】

前記予測結果選択手段（６４０）が、前記ＲＧＢ信頼度が前記第１閾値以上であるか、または前記深度信頼度が前記第２閾値以上である場合は、前記ＲＧＢ信頼度および前記深度信頼度のうちの閾値以上の信頼度に対応する予測結果を、前記走査範囲を設定するための予測結果として選択する、請求項２１に記載のシステム（６００）。

【請求項23】

前記予測結果選択手段（６４０）が、前記ＲＧＢ信頼度が前記第１閾値以上であり、かつ、前記深度信頼度が前記第２閾値以上である場合は、前記ＲＧＢ予測結果におけるＲＧＢの所定の重みと前記深度予測結果における深度の所定の重みとを更に比較するための重み比較手段（６８０）を更に含み、前記予測結果選択手段（６４０）が、
前記ＲＧＢの所定の重みと前記深度の所定の重みとが等しくない場合は、所定の重みが大きい方の予測結果を、前記走査範囲を設定するための予測結果として選択し、
前記ＲＧＢの所定の重みと前記深度の所定の重みとが等しい場合は、前記信頼度比較手段（６７０）の前記比較の結果に基づき、前記走査範囲を設定するための予測結果を選択する、請求項２１に記載のシステム（６００）。

【請求項24】

前記第１閾値と前記第２閾値は同一である、請求項２１に記載のシステム（６００）。

【請求項25】

前記第１閾値と前記第２閾値は異なる、請求項２１に記載のシステム（６００）。

【請求項26】

前記予測結果生成手段（６３０）が、前記ＲＧＢ画像予測モデルを使用して前記ＲＧＢ画像において前記キーポイントを識別することにより、前記ＲＧＢ予測結果を生成し、前記深度画像予測モデルを使用して前記深度画像において前記キーポイントを識別することにより、前記深度予測結果を生成する、請求項１６に記載のシステム（６００）。

【請求項27】

前記キーポイントは、頭部、胸部、腹部、骨盤、左膝関節、右膝関節、左足首関節及び右足首関節を含む、請求項１６に記載のシステム（６００）。

【請求項28】

前記走査範囲設定手段（６５０）が、変換行列を利用して、前記選定された予測結果の前記キーポイントの２Ｄ位置を３Ｄ空間にマッピングし、前記対象の走査マークを生成する、請求項１６に記載のシステム（６００）。

【請求項29】

オペレータに前記ＲＧＢ画像及び前記走査範囲を表示し、任意選択で、前記深度画像、前記ＲＧＢ予測結果、前記深度予測結果、前記ＲＧＢ信頼度、前記深度信頼度、及び／または前記選定された予測結果を表示するためのディスプレイを更に含む、請求項１９に記載のシステム（６００）。

【請求項30】

オペレータが走査タスクを新たに作成すると、前記システムがリアルタイムで動作し、前記オペレータが前記走査範囲を確認するまで、前記リアルタイムでの動作が、前記対象の体位変化を検知するごとに前記システムを動作させることを含む、請求項１６～２９のいずれか１項に記載のシステム（６００）。

【請求項31】

命令を有するコンピュータ読み取り可能な媒体であって、前記命令がプロセッサにより実行されると、前記プロセッサが請求項１～１５のいずれか一項に記載の方法のステップを実行する、コンピュータ読み取り可能な媒体。

【請求項32】

請求項１６～３０のいずれか１項に記載のシステム（６００）を含む、医用イメージング装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明はコンピュータイメージング分野に関するものであり、特に医用イメージングにおいて走査範囲を自動的に設定するための方法及びシステムに関するものである。

【背景技術】

【0002】

従来の医用イメージングでは、例えば、コンピュータ断層走査（ＣＴ）装置の走査において、対象（例えば、患者）を走査ベッド上に配置させた後、オペレータが走査ベッドをガントリのボアへと動かすとともに、レーザアライメントを使用して走査マークを手動で設定して、走査範囲を確定し、走査を開始する。このような走査の準備作業フローは非常に複雑であり、かつ、時間を費やすものである。同時に、人が間違いをすることは避けられないため、従来のＣＴ走査の準備作業フローでは間違い及び誤差が現れることは避けられない。オペレータが間違いをしなかったとしても、別のオペレータは具体的な走査マークに対して異なる理解をする可能性があるため、走査準備作業フローにおいて間違い及び誤差が引き起こされる。そのため、自動化による走査準備作業フローを簡略化することは、医療機器分野における研究のホットスポットの１つとなっている。

【0003】

走査準備作業フローの自動化は、コンピュータ予測モデルにより実現可能である。通常は３Ｄカメラにより走査すべき対象のＲＧＢ画像及び深度画像（ｄｅｐｔｈ ｉｍａｇｅ）を収集し、その後、ＲＧＢ画像を基準にして、深度画像を利用して位置合わせを行い、予測モデルに唯一の予測結果を最終的に出力させる。しかし、走査すべき対象の体形、姿勢が異なること、複雑な臨床環境、並びに付属部品、機器、およびオペレータの考えられる干渉などが予測モデルの予測結果の信頼性に影響を及ぼし、それによって走査範囲設定のロバスト性に影響する。

【0004】

従って、本分野においては、走査準備作業フローを簡略化すると同時に、走査範囲設定の改善された信頼性及びロバスト性を提供するために、走査範囲を自動的に設定するための方法及びシステムを改良することが必要とされている。

【発明の概要】

【0005】

本発明に基づく１つの側面では、走査範囲を自動的に設定するための方法が提供されている。当該方法は、ＲＧＢ画像予測モデル及び深度画像予測がそれぞれ走査ベッドに配置された対象のＲＧＢ画像及び深度画像を受信することと、前記ＲＧＢ画像予測モデル及び前記深度画像予測モデルが、それぞれ前記対象の所定のキーポイントに関する、前記ＲＧＢ画像に基づいたＲＧＢ予測結果及び前記深度画像に基づいた深度予測結果を生成することと、前記ＲＧＢ予測結果及び前記深度予測結果から走査範囲を設定するための予測結果を選択することと、選定された予測結果に基づき前記走査範囲を自動的に設定することと、を含む。

【0006】

上記方法は、２つの予測モデル（つまり、ＲＧＢ画像予測モデル及び深度画像予測モデル）の予測結果を利用して走査範囲を自動的に設定し、走査準備作業フローを簡略化し、オペレータの作業負担を軽減することにより、走査の準備工程を、より短時間で更に容易に完成することができる。走査範囲の自動設定によって、人為的に引き起こされる間違い及び誤差が更に低減し、最終的な走査範囲が更に正確となり、別々の走査工程でも良好な同一性が保持される。上記方法は、更に、ＲＧＢ画像及び深度画像の両方において予測結果を生成し、それらの予測結果から、走査範囲を自動設定するための予測結果を選択する。つまり、本発明は、１つの予測結果のみに依拠しておらず、ＲＧＢ画像予測モデル及び深度画像予測モデルのうちの一方が予測結果を出力しさえすれば、走査範囲の自動設定を実行することができる。ＲＧＢ画像予測モデル及び深度画像予測モデルの両方が予測結果を出力する場合、上記方法は、この２つの予測結果のうちからより確実な予測結果を選択して走査範囲の自動設定に用いる。従って、本発明は、キーポイント予測における様々な課題（例えば、複雑な臨床環境、走査すべき対象の体形、姿勢が異なること、並びに付属部品、機器およびオペレータの考えられる干渉など）に直面した際に、信頼性及びロバスト性を改善することができる。

【0007】

実施形態において、前記ＲＧＢ予測結果及び前記深度予測結果は互いに独立したものとすることができる。

【0008】

実施形態において、前記ＲＧＢ画像予測モデル及び前記深度画像予測モデルの各々は、深層学習モデルとすることができる。

【0009】

実施形態において、前記方法は、前記ＲＧＢ予測結果のＲＧＢ信頼度及び前記深度予測結果の深度信頼度をそれぞれ算出することを更に含み、前記走査範囲を設定するための予測結果を選択するステップは、前記ＲＧＢ信頼度と前記深度信頼度との比較に基づくステップである。

【0010】

実施形態において、前記走査範囲を設定するための予測結果を選択するステップは、前記ＲＧＢ予測結果におけるＲＧＢの所定の重みと前記深度予測結果における深度の所定の重みとの比較に基づくステップとすることができる。

【0011】

実施形態において、前記走査範囲を設定するための予測結果を選択するステップは、前記ＲＧＢ信頼度が第１閾値未満であり、かつ、前記深度信頼度が第２閾値未満である場合は、ＲＧＢ画像及び深度画像をそれぞれ受信するステップ、ＲＧＢ予測結果及び深度予測結果をそれぞれ生成するステップ及びＲＧＢ信頼度及び深度信頼度をそれぞれ算出するステップを、前記ＲＧＢ信頼度及び前記深度信頼度のうちの少なくとも一方が対応する閾値以上となるまで、繰り返し実行することを更に含むことができる。

【0012】

実施形態において、前記走査範囲を設定するための予測結果を選択するステップは、前記ＲＧＢ信頼度が前記第１閾値以上であるか、または前記深度信頼度が前記第２閾値以上である場合は、前記ＲＧＢ信頼度および前記深度信頼度のうちの閾値以上の信頼度に対応する予測結果を、前記走査範囲を設定するための予測結果として選択することを更に含むことができる。

【0013】

実施形態において、前記走査範囲を設定するための予測結果を選択するステップは、前記ＲＧＢ信頼度が前記第１閾値以上であり、かつ、前記深度信頼度が前記第２閾値以上である場合は、前記ＲＧＢ予測結果におけるＲＧＢの所定の重みと前記深度予測結果における深度の所定の重みとを更に比較することができ、前記ＲＧＢの所定の重みと前記深度の所定の重みとが等しくない場合は、所定の重みが大きい方の予測結果を、前記走査範囲を設定するための予測結果として選択することができ、前記ＲＧＢの所定の重みと前記深度の所定の重みとが等しい場合は、前記ＲＧＢ信頼度と前記深度信頼度との前記比較の結果に基づき、前記走査範囲を設定するための予測結果を選択することができるステップを更に含むことができる。

【0014】

一実施形態において、前記第１閾値と前記第２閾値は同一とすることができる。別の実施形態において、前記第１閾値と前記第２閾値は異なっていてもよい。

【0015】

実施形態においては、前記ＲＧＢ画像予測モデルを使用して前記ＲＧＢ画像において前記キーポイントを識別することにより、前記ＲＧＢ予測結果を生成し、前記深度画像予測モデルを使用して前記深度画像において前記キーポイントを識別することにより、前記深度予測結果を生成する。

【0016】

実施形態において、前記キーポイントは、頭部、胸部、腹部、骨盤、左膝関節、右膝関節、左足首関節及び右足首関節を含むことができる。

【0017】

実施形態において、選定された予測結果に基づき前記走査範囲を自動的に設定するステップは、変換行列を利用して前記選定された予測結果の前記キーポイントの２Ｄ位置を３Ｄ空間にマッピングして、前記対象の走査マークを生成することを含むことができる。

【0018】

実施形態においては、ディスプレイによって、オペレータに前記ＲＧＢ画像及び前記走査範囲を表示することができ、任意選択で、前記深度画像、前記ＲＧＢ予測結果、前記深度予測結果、前記ＲＧＢ信頼度、前記深度信頼度、及び／または前記選定された予測結果を表示することができる。

【0019】

実施形態においては、オペレータが走査タスクを新たに作成すると、前記方法をリアルタイムで実行することが開始され、前記オペレータが前記走査範囲を確認するまで、前記リアルタイムで実行することが前記対象の体位変化を検知するごとに前記方法を実行することを含むことができる。

【0020】

従って、本発明では、最終的な走査範囲を確定する前に、走査すべき対象の体位の調整に適宜に応答して予測結果を再出力することにより、走査範囲を選択させて更に走査範囲を設定することができる。

【0021】

本発明に基づく別の側面では、走査範囲を自動的に設定するためのシステムが提供されている。当該システムは、ＲＧＢ画像予測モデル及び深度画像予測モデルによりそれぞれ走査ベッドに配置された対象のＲＧＢ画像及び深度画像を受信するための画像受信手段と、前記ＲＧＢ画像予測モデル及び前記深度画像予測モデルによりそれぞれ前記対象の所定のキーポイントに関する前記ＲＧＢ画像に基づいたＲＧＢ予測結果及び前記深度画像に基づいた深度予測結果を生成するための予測結果生成手段と、前記ＲＧＢ予測結果及び前記深度予測結果から走査範囲を設定するための予測結果を選択するための予測結果選択手段と、選定された予測結果に基づき前記走査範囲を自動的に設定するための走査範囲設定手段とを含むことができる。

【0022】

実施形態において、前記ＲＧＢ予測結果と前記深度予測結果は互いに独立したものとすることができる。

【0023】

実施形態において、前記ＲＧＢ画像予測モデル及び前記深度画像予測モデルの各々は、深層学習モデルとすることができる。

【0024】

実施形態において、前記システムは、前記ＲＧＢ予測結果のＲＧＢ信頼度及び前記深度予測結果の深度信頼度をそれぞれ算出するための信頼度算出手段を更に含むことができ、前記予測結果選択手段は、前記ＲＧＢ信頼度と前記深度信頼度とを比較するための信頼度比較手段を更に含むことができる。

【0025】

実施形態において、前記予測結果選択手段は、前記ＲＧＢ予測結果におけるＲＧＢの所定の重みと前記深度予測結果における深度の所定の重みとを比較するための重み比較手段を更に含むことができる。

【0026】

実施形態において、前記予測結果選択手段は、前記ＲＧＢ信頼度と第１閾値との比較及び前記深度信頼度と第２閾値との比較を実行するための信頼度閾値比較手段を更に含むことができ、前記予測結果選択手段は、前記ＲＧＢ信頼度が前記第１閾値未満であり、かつ、前記深度信頼度が前記第２閾値未満である場合は、前記ＲＧＢ信頼度及び前記深度信頼度のうちの少なくとも一方が対応する閾値以上となるまで、前記画像受信手段にそれぞれＲＧＢ画像及び深度画像をそれぞれ受信させること、前記予測結果生成手段にＲＧＢ予測結果及び深度予測結果をそれぞれ生成させること、および前記信頼度算出手段にＲＧＢ信頼度及び深度信頼度をそれぞれ算出させることが繰り返し実行されるようにすることができる。

【0027】

実施形態において、前記予測結果選択手段は、前記ＲＧＢ信頼度が前記第１閾値以上であるか、または前記深度信頼度が前記第２閾値以上である場合は、前記ＲＧＢ信頼度および前記深度信頼度のうちの閾値以上の信頼度に対応する予測結果を、前記走査範囲を設定するための予測結果として選択することができる。

【0028】

実施形態において、前記予測結果選択手段は、前記ＲＧＢ信頼度が前記第１閾値以上であり、かつ、前記深度信頼度が前記第２閾値以上である場合は、前記ＲＧＢ予測結果におけるＲＧＢの所定の重みと前記深度予測結果における深度の所定の重みとを更に比較するための重み比較手段を更に含むことができ、前記予測結果選択手段は、前記ＲＧＢの所定の重みと前記深度の所定の重みとが等しくない場合は、所定の重みが大きい方の予測結果を、前記走査範囲を設定するための予測結果として選択することができ、前記ＲＧＢの所定の重みと前記深度の所定の重みとが等しい場合は、前記信頼度比較手段の前記比較の結果に基づき、前記走査範囲を設定するための予測結果を選択することができる。

【0029】

一実施形態において、前記第１閾値と前記第２閾値は同一とすることができる。別の実施形態において、前記第１閾値と前記第２閾値は異なっていてもよい。

【0030】

実施形態において、前記予測結果生成手段は、前記ＲＧＢ画像予測モデルを使用して前記ＲＧＢ画像において前記キーポイントを識別することにより、前記ＲＧＢ予測結果を生成し、前記深度画像予測モデルを使用して前記深度画像において前記キーポイントを識別することにより、前記深度予測結果を生成する。

【0031】

実施形態において、前記キーポイントは、頭部、胸部、腹部、骨盤、左膝関節、右膝関節、左足首関節及び右足首関節を含むことができる。

【0032】

実施形態において、前記走査範囲設定手段は、変換行列を利用して、前記選定された予測結果の前記キーポイントの２Ｄ位置を３Ｄ空間にマッピングし、前記対象の走査マークを生成する。

【0033】

実施形態において、前記システムは、オペレータに前記ＲＧＢ画像及び前記走査範囲を表示し、任意選択で、前記深度画像、前記ＲＧＢ予測結果、前記深度予測結果、前記ＲＧＢ信頼度、前記深度信頼度、及び／または前記選定された予測結果を表示するためのディスプレイを更に含むことができる。

【0034】

実施形態において、オペレータが走査タスクを新たに作成すると、オペレータが前記走査範囲を確認するまで、前記システムはリアルタイムで動作を開始することができ、前記リアルタイムの動作は、前記対象の体位変化を検知するごとに前記システムを動作させることを含むことができる。

【0035】

本発明に基づく他の１つの側面では、命令を有するコンピュータ読み取り可能な媒体が提供されており、前記命令がプロセッサにより実行されると、前記プロセッサが上記方法のステップを実行する。

【0036】

本発明に基づく他の１つの側面では、上記のシステムを含む医用イメージング装置が提供されている。

【0037】

以下において添付図面を参照して実行される詳細な説明により、本発明の上記の及びその他の特徴及び側面を、より明確にすることができる。

【0038】

本発明を詳細に理解するため、実施形態を参照して、上に簡潔に記述された本発明が、より具体的に説明される。いくつかの実施形態が添付図面に示されている。理解しやすくするために、添付図面において、できるだけ同一の符号を使用することで各図が共有する同一要素を表示している。しかし、添付図面は本発明の典型的な実施形態を示しているに過ぎず、したがって、本発明の範囲を制限するものと見るべきではなく、本発明ではその他の等価な実施形態も認められるべきことに注意すべきである。

【図面の簡単な説明】

【0039】

【図1】本発明の実施形態に基づいて走査範囲を自動的に設定するための方法１００のフローチャートを示す図である。

【図2A】本発明の実施形態に基づく人間の身体上における例示的な８つのキーポイントを示す図である。

【図2B】本発明の実施形態に基づく人間の身体上における例示的な８つのキーポイントを示す図である。

【図2C】本発明の実施形態に基づく人間の身体上における例示的な８つのキーポイントを示す図である。

【図2D】本発明の実施形態に基づく人間の身体上における例示的な８つのキーポイントを示す図である。

【図3】本発明の実施形態に基づいて走査範囲を設定するための予測結果を選択する例示的な方法を示す図である。

【図4】本発明の実施形態に基づいて走査範囲を設定するための予測結果を選択する別の例示的な方法を示す図である。

【図5】本発明の実施形態に基づいて走査範囲を設定するための予測結果を選択する更に別の例示的な方法を示す図である。

【図6】本発明の実施形態に基づいいいて走査範囲を自動的に設定するための例示的なシステムのブロック図である。

【図7】本発明の実施形態において使用可能である例示的な深層学習モデルを示す図である。

【発明を実施するための形態】

【0040】

本発明の一実施形態における要素を、さらなる説明をすることなく、その他の実施形態に有利に適用することが可能であることは、予想することができる。

【0041】

以下、本発明の具体的な実施形態について説明するが、これらの実施形態を具体的に説明する過程において、簡潔で要点を押さえた説明をするために、本明細書で実際の実施形態の全ての特徴を詳細に説明することはできないことに留意すべきである。任意の実施形態の実際の実施過程において、任意のエンジニアリングプロジェクトまたは設計プロジェクトの過程のように、開発者の具体的な目標を実現するために、且つシステムに関連する制限又は商業に関連する制限を満たすために、常に様々な具体的な決定が行われており、実施形態の変更が発生するということは理解されるべきである。この他に、このような開発過程での努力は複雑であり且つ長時間に渡って行われる可能性があるが、本発明に開示された内容に関連する本分野の当業者は、本公開に開示された技術内容を基礎にして行われた一部の設計、製造又は生産等の変更は通常の技術的手段に過ぎず、本発明の内容が不十分であるものとして解釈してはならないことも理解することができる。

【0042】

別に定義する場合を除き、特許請求の範囲及び明細書で使用されている技術用語又は科学用語は、本発明の属する技術分野において一般的な技能を有する者によって理解される通常の意味を有するものである。本発明の特許出願の明細書及び特許請求の範囲で使用される「第１」、「第２」及び類似の語句は如何なる順序、数量又は重要性を表すものではなく、異なる構成部分を区別するために使用されるものにすぎない。「１つ」又は「１」および類似の語句は、数量を限定することを示すものではなく、少なくとも1つあることを示すものである。「含む」又は「有する」および類似する語句は、「含む」又は「有する」の前にある要素又は物品が、「含む」又は「有する」の後に列挙される要素又は物品およびそれと同等のものを含み、さらに他の要素又は物品も除外しないことを意味する。「接続する」又は「繋がる」および類似する語句は、物理的または機械的に接続することに限定されず、直接的または間接的に接続することに限定されるものでもない。

【0043】

本発明の実施形態では、走査すべき対象の走査範囲を自動的に設定することができる。走査すべき対象とは、例えば、人間の患者、動物、物品（例えば、部品など）、または体内に存在する各種の異物（例えば、歯科インプラント、ステント、造影剤）などとすることができる。また、ＣＴ装置を取り上げて本発明について記述しているが、本発明はその他の適当なタイプの医用イメージング装置、例えば、核磁気共鳴イメージング（ＭＲＩ）装置、Ｃアーム型イメージング装置、陽電子放出断層撮影（ＰＥＴ）装置、単一光子放射コンピュータ断層撮影（ＳＰＥＣＴ）装置などにも用いることができる点も理解すべきである。更に、本発明は医用イメージング装置以外のその他の好適なイメージング装置に適用することができる点も理解すべきである。

【0044】

図１には本発明の実施形態に基づいて走査範囲を自動的に設定するための方法１００のフローチャートが示されている。方法１００は２ブランチの方法であり、ＲＧＢブランチ及び深度ブランチが含まれている。本発明の好適な実施形態において、方法１００は深層学習に基づく方法とすることができる。一実施形態において、方法１００は以下のステップを含むことができる。

【0045】

ステップ１２２及び１２４：ＲＧＢ画像予測モデル及び深度画像予測モデルが、それぞれ走査ベッドに配置された対象のＲＧＢ画像及び深度画像を受け取る。

【0046】

ステップ１３２及び１３４：前記ＲＧＢ画像予測モデル及び前記深度画像予測モデルが、それぞれ前記対象の所定のキーポイントに関する、前記ＲＧＢ画像に基づいたＲＧＢ予測結果及び前記深度画像に基づいた深度予測結果を生成する。

【0047】

ステップ１４０：前記ＲＧＢ予測結果及び前記深度予測結果から走査範囲を設定するための予測結果を選択する。

【0048】

ステップ１５０：選定された予測結果に基づいて、前記走査範囲を自動的に設定する。

【0049】

方法１００において、ステップ１２２及び１３２はＲＧＢブランチに属し、ステップ１２４及び１３４は深度ブランチに属する。２つのブランチは互いに独立したものとすることができる。

【0050】

本発明の一実施形態においては、画像収集装置（例えば、３Ｄカメラ）を利用して走査すべき対象のＲＧＢ－Ｄ画像を収集することができ、ＲＧＢ－Ｄ画像には、ＲＧＢ画像及び深度画像が含まれる。ＲＧＢ画像の各画素の値は、当該画素のＲＧＢ情報（つまり、赤、緑、青）に対応しており、深度画像の各画素の値は、当該画素の深度情報（つまり、画素のカメラからの距離）に対応している。３Ｄカメラは、構造化光に基づいたカメラ、立体カメラまたはＴＯＦカメラとすることができ、本明細書においてはＲＧＢ－Ｄカメラと総称し、例えば、Ｉｎｔｅｌ ＲｅａｌＳｅｎｓｅシリーズのカメラである。一実施形態においては、ＲＧＢ－Ｄカメラを走査ベッドに取り付けることができる。その他の実施形態においては、ＲＧＢ－Ｄカメラを放射線管または画像システムの任意の他の好適な位置に取り付けることもできる。

【0051】

走査すべき対象を走査ベッドに配置した後、ＲＧＢ－Ｄカメラは当該対象のＲＧＢ画像及び深度画像の収集を開始することができる。この代わりに、画像収集を開始するトリガ条件を用いて設定することもできる。例えば、押しボタンを設置し、操作者がこの押しボタンを押したときに、走査すべき対象のＲＧＢ画像および深度画像の収集を開始する、または、例えば、操作者が走査タスクを新たに作成したときに、それに連動して画像収集を開始することができる。収集したＲＧＢ画像及び深度画像は、それぞれＲＧＢ画像予測モデル及び深度画像予測モデルに入力される。ＲＧＢ画像予測モデル及び深度画像予測モデルは、それぞれ独立して動作させてもよく、ＲＧＢ画像予測モデルは走査すべき対象のＲＧＢ画像の分析に用いられ、深度画像予測モデルは走査すべき対象の深度画像の分析に用いられる。ＲＧＢ画像予測モデル及び深度画像予測モデルは、機械学習に基づく何らかの好適なモデル、例えば、深層学習モデル（例えば、畳み込みモデル）、線形モデル、決定木モデル、ランダムフォレストモデル、クラスター化ベースのモデル、確率的グラフィカルモデル（例えば、ベイズ階層モデル）などとすることができる。

【0052】

１つの好適な実施形態において、ＲＧＢ画像予測モデル及び深度画像予測モデルは、トレーニング済みの２つの深層学習モデルとすることができる。図７には例示的な人工ニューラルネットワーク５０が概括的に描写されており、人工ニューラルネットワーク５０は本発明の実施形態において使用することができる深層学習モデルとしてトレーニングすることができる。図７に示されている通り、人工ニューラルネットワーク５０は多層モデルであり、例えば、入力データ５１を受け取る又は収集することができる入力層５２、複数の隠れ層（例えば５８Ａ、５８Ｂ及び５８Ｃなど）、及び出力層６０を含む。また、モデル５０は、更に、トレーニング過程において使用するトレーニング目標データ６４を含んでいてもよい。図７に示されている例において、各層は複数のニューロン５６からなる。ニューロン５６の数は異なる層の間において同一としてもよく、図７に示されている通り異なっていてもよい。各層中のニューロン５６は対応する出力を生成する。当該出力はモデル５０の次の層中のニューロン５６の入力として用いられる。実際には、追加バイアスを有する入力の加重和を計算して、活性化関数（例えば、Ｓ形活性化関数、正規化線形関数（ＲｅＬＵ）など）に基づきモデル５０の層中の各々に対応するニューロン５６を活性化することができる。トレーニング過程においては、モデル５０の出力層６０の出力（すなわち、モデル５０の予測結果）とトレーニング目標データ６４を相互に比較して、損失関数または誤差関数６２を計算し、損失関数６２は、逆に、モデル５０の更なるトレーニング（ＳＧＤまたはその他の方法を使用する）を行うために用いることができる。いくつかの実施形態において、損失関数６２は、平方二乗誤差（ＭＳＥ）とすることができ、並びに／又はその他の画像および／若しくはデータの特徴の差異を考慮したものとすることができる。または、損失関数６２は、特定のタスクに関連付けられたその他のメトリックにより定義してもよい。図７には明確な逐次層構造を有する簡単な完全接続の例示的なモデル５０が示されているが、単一層、複数層、又は全体のモデルとして、他の構造を選択することも可能である。例を挙げて述べると、モデル中の１つまたは複数の層を畳み込みニューラルネットワーク（ＣＮＮ）により表すことができる。類似の方法として、モデル中の一部分に、厳密な逐次層処理構造に従っていない構成の混合構造を使用することができる。例えば、一部の接続が１つまたは複数の層をスキップしてもよく（即ち、連続していない層のノードに直接接続する）、または、明確な逐次層構造に対応していないネットワーク構造を選択することができる。

【0053】

ここで図１に記述されている方法１００のＲＧＢブランチを参照する。先ず、ステップ１２２において、ＲＧＢ画像予測モデルは収集した走査すべき対象のＲＧＢ画像を受け取ることができる。ＲＧＢ画像予測モデルが対象のＲＧＢ画像を受け取った後、任意選択で画像を前処理することができる。前記前処理には、画像寸法の変更、画像の平滑化処理、画像の切り取り、画像のノイズ除去などが含まれるが、それらに限定されない。

【0054】

次いで、ステップ１３２において、ＲＧＢ画像予測モデルは、当該対象の所定のキーポイントに関するＲＧＢ画像に基づいたＲＧＢ予測結果を生成することができる。一実施形態においては、ＲＧＢ画像予測モデルを利用して当該対象のＲＧＢ画像上において所定のキーポイントを識別することによって、当該対象のキーポイントに関するＲＧＢ予測結果を生成する。キーポイントの定義は臨床での需要によって決定することができる。実施形態においては、キーポイントを重要な関節、顔のよく用いられる特徴点などとすることができる。生体について述べると、異なるキーポイントは異なる解剖構造プロトコルに対応している。実施形態において、キーポイントの具体的な位置は、特定部位に対して従来のレーザ光走査を実施する際にマーキングする位置に定めることができる。キーポイントの数は任意の好適な数としてもよく、具体的にはやはり臨床での需要によって決定される。図２Ａ～２Ｄに示されている人間の患者の例示的な実施形態において、キーポイントの数は８個であり、図２Ａ～２Ｄにおいて点Ｐ１～Ｐ８によって示されており、それぞれ頭部、胸部、腹部、骨盤、左膝関節、右膝関節、左足首関節及び右足首関節である。その他の実施形態においては、異なる数量のキーポイント、例えば１８個としてもよく、キーポイントをその他の部位に位置決めてもよい。

【0055】

ステップ１３２において検出、位置決めして走査すべき対象のキーポイントを識別する際には数多くの付加的な要素、例えば、走査環境の状況、走査すべき対象の姿勢などを考慮しなければならない。一実施形態において、考慮すべき要素には、頭が先にガントリ孔に進入するのかそれとも足が先にガントリ孔に進入するのか、対象が仰臥、伏臥、左側臥、それとも右側臥であるか、上覆い（例えば毛布、患者衣など）の有無、エクステンダ（例えば、頭部支持材）の使用の有無、などがある。図２Ａには頭部が先で、対象は仰臥であり、上覆いは無しで、頭部支持材を使用した場合の上記８個の例示的なキーポイントＰ１～Ｐ８が概念的に示されている。図２Ｂには頭部が先で、対象は仰臥であり、上覆いは有りで、頭部支持材を使用した場合の上記８個の例示的なキーポイントＰ１～Ｐ８が概念的に示されている。図２Ｃには頭部が先で、右側臥であり、上覆いは無しで、エクステンダを使用していない場合の上記８個の例示的なキーポイントＰ１～Ｐ８が概念的に示されている。図２Ｄには足が先で、仰臥であり、上覆いは無しで、エクステンダを使用していない場合の上記８個の例示的なキーポイントＰ１～Ｐ８が概念的に示されている。

【0056】

キーポイントの識別によるＲＧＢ予測結果の生成は、例えばヒートマップに基づいて行うことができる。生成されたＲＧＢ予測結果には、識別されたキーポイントの２Ｄ位置、走査すべき対象の姿勢を含むことができるが、それらに限定されない。

【0057】

方法１００の深度ブランチはＲＧＢブランチに類似している。図１に示されている通り、先ず、ステップ１２４において、深度画像予測モデルは収集した走査すべき対象の深度画像を受け取ることができる。深度画像予測モデルが対象の深度画像を受信した後、任意選択で画像を前処理してもよい。前記前処理には、画像寸法の変更、画像の平滑化処理、画像の切り取り、画像のノイズ除去などを含むことができるが、それらに限定されない。

【0058】

次いで、ステップ１３４において、深度画像予測モデルは、当該対象の所定のキーポイントに関する深度画像に基づく深度予測結果を生成することができる。一実施形態においては、深度画像予測モデルを利用して当該対象の深度画像上において所定のキーポイントを識別して、当該対象のキーポイントに関する深度予測結果を生成する。ここで注意すべきことは、深度ブランチにおいて識別されるキーポイントはＲＧＢブランチにおいて識別されるキーポイントと同一であることである。

【0059】

また、ステップ１３４において検出、位置決めして走査すべき対象のキーポイントを識別する際には、ＲＧＢブランチのステップ１３２と同様に数多くの付加的な要素、例えば、走査環境の状況、走査すべき対象の姿勢などを考慮しなければならない。

【0060】

キーポイントの識別による深度予測結果の生成は、例えばヒートマップに基づくことができる。生成された深度予測結果には、識別されたキーポイントの２Ｄ位置、走査すべき対象の姿勢を含むことができるが、それらに限定されることはない。

【0061】

そのため、同一対象の同一のキーポイントに対して、方法１００のＲＧＢブランチはＲＧＢ予測結果を出力し、深度ブランチは深度予測結果を出力する。ＲＧＢブランチと深度ブランチは互いに独立したものとすることができ、それに応じて、生成されるＲＧＢ予測結果と深度予測結果も互いに独立したものとすることができる。

【0062】

引き続き図１を参照すると、次に、ステップ１４０において、ＲＧＢ予測結果及び深度予測結果のうちから走査範囲を設定するための予測結果を選択する。

【0063】

このような選択は各種の好適な方式により実現することができる。実施形態においては、ＲＧＢ予測結果と深度予測結果との間において１つまたは複数の要素に関する比較を行うことにより、走査範囲を設定するための予測結果を選択することができる。前記要素は、例えば、信頼度、所定の重み、ヒートマップの最大ピーク値、ヒートマップのすべてのピーク値の加重平均、ヒートマップのピーク値分散度などである。このような比較により、２つのブランチが出力する予測結果のうち、より信頼できる予測結果を探し出すことができる。以下においては更に図３～５を参照して、例示的な比較過程について詳細に記述する。

【0064】

図３には、本発明の実施形態に基づいて、走査範囲を設定するための予測結果を選択する例示的な方法３００が示されている。方法３００では、ＲＧＢ予測結果及び深度予測結果の信頼度の比較結果に基づき、走査範囲を自動的に設定するための予測結果を選択する。ＲＧＢ予測結果の信頼度（以下、「ＲＧＢ信頼度」と称する）及び深度予測結果の信頼度（以下、「深度信頼度」と称する）をそれぞれ算出することができ、例えば、ＲＧＢ画像予測モデル及び深度画像予測モデルにより自動的にそれぞれ算出することができる。本発明の実現においては、異なる臨床環境状況、異なる照明条件などの要素が予測モデルの予測結果の正確性に影響を及ぼすので、算出されるＲＧＢ信頼度及び深度信頼度に影響を及ぼす可能性がある。

【0065】

本文章で使用する用語「信頼度」とは、予測モデルが生成する予測結果の各キーポイントが、予測結果によって示される座標位置に存在する確率を表している。本明細書においては、０～１．０により信頼度の値を示しているが、任意のその他の好適な方式を使用して信頼度の値（例えば、百分率）を示してもよい。

【0066】

図３に示されている通り、方法３００では、ステップ３１０においてＲＧＢ信頼度と深度信頼度とを比較することができる。一実施形態において、ＲＧＢ信頼度が深度信頼度未満である（ステップ３１０の比較結果が「いいえ」である）場合は、ブロック３２０に示されるように、深度予測結果を、走査範囲を設定するための予測結果として選択することができる。逆に、ＲＧＢ信頼度が深度信頼度以上である（ステップ３１０の比較結果が「はい」である）場合は、ブロック３３０に示されるように、ＲＧＢ予測結果を、走査範囲を設定するための予測結果として選択することができる。

【0067】

図４には、本発明の実施形態に基づいて、走査範囲を設定するための予測結果を選択する別の例示的な方法４００が示されている。方法４００では、更に、ＲＧＢ予測結果の所定の重み（以下、「ＲＧＢの所定の重み」と称する）と深度予測結果の所定の重み（以下、「深度の所定の重み」と称する）との比較を導入して、更に本発明の信頼性及びロバスト性を高めている。

【0068】

本明細書において、「所定の重み」は、臨床専門家が臨床実践及び臨床経験に基づいて異なる走査部位に対して予め設定するものである。通常、走査すべき部位の細目情報が比較的多い場合は（例えば、頭部の走査）、ＲＧＢ予測結果に、より大きい重みを付与する傾向がある。走査すべき部位の細目情報があまり重要でない場合は、逆に、その輪郭がより重要となるため（例えば、胸部走査、腹部走査）、深度予測結果に、より大きい重みを付与する傾向がある。その他の状況では、ＲＧＢ予測結果及び深度予測結果に同等の重みを付与することができる。

【0069】

図４に示されている例示においては、ステップ４１０においてＲＧＢの所定の重みと深度の所定の重みとを比較することができる。一実施形態において、ＲＧＢの所定の重みが深度の所定の重みと等しくない（ステップ４１０の比較結果が「いいえ」である）場合は、ブロック４３０に示すように、所定の重みが大きい方の予測結果を、走査範囲を設定するための予測結果として選択することができる。逆に、ＲＧＢの所定の重みが深度の所定の重みと等しい（ステップ４１０の比較結果が「はい」である）場合は、更に、ステップ４２０においてＲＧＢ信頼度と深度信頼度とを比較することができる。図３と同じように、ＲＧＢ信頼度が深度信頼度未満である（ステップ４２０の比較結果が「いいえ」である）場合は、ブロック４４０に示すように、深度予測結果を、走査範囲を設定するための予測結果として選択することができる。逆に、ＲＧＢ信頼度が深度信頼度以上である（ステップ４２０の比較結果が「はい」である）場合は、ブロック４５０に示すように、ＲＧＢ予測結果を、走査範囲を設定するための予測結果として選択することができる。

【0070】

本発明のその他の実施形態においては、先ず、ＲＧＢ信頼度と深度信頼度とを比較し、更にＲＧＢの所定の重みと深度の所定の重みとを比較することもできる。

【0071】

ここで図５を参照すると、図５には本発明の実施形態に基づいて走査範囲を設定するための予測結果を選択する更に別の例示的な方法５００が示されている。方法５００では、また更に、ＲＧＢ信頼度及び深度信頼度の閾値が導入され、本発明の信頼性及びロバスト性が更に高まっている。

【0072】

本発明の実施形態においては、臨床実践及び臨床経験に基づいて信頼度の閾値を予め設定することができる。予測結果の信頼度が設定された閾値未満である場合、当該予測結果は信頼性がないと考えることができ、予測結果の信頼度が設定された閾値以上である場合、当該予測結果は信頼性があると考えることができる。ここで注意すべきことは、異なる走査すべき対象及び／または異なる走査すべき部位に対して、信頼度の閾値を異なる設定にすることができる点である。例えば、人間の患者の頭部に対して実行される走査では、信頼度の閾値を０．８に設定することができ、つまり予測結果の信頼度が０．８以上であれば、信頼できると考えることができる。また例えば、人間の患者の胸部に対して実行される走査では、信頼度の閾値を０．６と設定することができ、つまり予測結果の信頼度が０．６以上であれば、信頼できる。

【0073】

図５に示されている好適な実施形態においては、ステップ５１０においてＲＧＢ信頼度が第１閾値未満であるか否か、及び深度信頼度が第２閾値未満であるか否かを確定することができる。一実施形態においては、第１閾値及び第２閾値を同一の値、例えば、０．５、０．８などに設定することができる。別の実施形態においては、第１閾値及び第２閾値を異なる値、例えば、第１閾値を０．８に設定し、第２閾値を０．５に設定することができる。

【0074】

図５に示されている通り、ＲＧＢ信頼度が第１閾値未満であり、かつ、深度信頼度が第２閾値未満である（つまり、ステップ５１０の確定結果が「はい」である）場合、ＲＧＢ予測結果及び深度予測結果は共に信頼性がない。この場合は、方法１００には選択することができる予測結果がないと認識することができるため、走査すべき対象の新たなＲＧＢ画像及び新たな深度画像を収集する必要があり、方法１００のＲＧＢブランチ及び深度ブランチが再度実行される。一実施形態においては、ディスプレイ上のユーザインターフェイス（ＵＩ）によってオペレータに２つのブランチの予測結果が共に信頼性がない旨の通知を送信することができる。実施形態において、オペレータは走査すべき対象に体位を調整するように指令するかまたはＵＩを介して動作パラメータを調整して、新たなＲＧＢ画像及び深度画像を収集して、新たなＲＧＢ予測結果及び深度予測結果を生成するとともに、新たなＲＧＢ信頼度及び深度信頼度を算出して比較及び選択に使用することができる。

【0075】

ステップ５１０の確定結果が「いいえ」である場合、つまりＲＧＢ信頼度及び深度信頼度のうちの少なくとも一方がその閾値以上である場合、言い換えると、ＲＧＢ予測結果及び深度予測結果のうちの少なくとも一方が信頼性を有する場合、更にステップ５２０においてＲＧＢ信頼度が第１閾値以上であるか否か、かつ、深度信頼度が第２閾値以上であるか否かを確定する、つまりＲＧＢ信頼度及び深度信頼度のうちの一方のみがその閾値以上であるか否かを確定することができる。

【0076】

ＲＧＢ信頼度が第１閾値以上であるかまたは深度信頼度が第２閾値以上である（ステップ５２０の確定結果が「いいえ」である）場合、つまりＲＧＢ信頼度及び深度信頼度のうちの一方のみがその閾値以上である場合は、ブロック５５０に示すように、閾値以上の信頼度に対応する予測結果を、走査範囲を設定するための予測結果として選択することができる。

【0077】

ＲＧＢ信頼度及び深度信頼度が共にその閾値以上である（ステップ５２０の確定結果が「はい」である）場合は、更にステップ５３０においてＲＧＢの所定の重みと深度の所定の重みとを比較することができる。図５に示されている例において、ＲＧＢの所定の重みが深度の所定の重みと等しくない（ステップ５３０の比較結果が「いいえ」である）場合は、ブロック５６０に示すように、所定の重みが大きい方の予測結果を、走査範囲を設定するための予測結果として選択することができる。逆に、ＲＧＢの所定の重みが深度の所定の重みと等しい（ステップ５３０の比較結果が「はい」である）場合は、更にステップ５４０においてＲＧＢ信頼度と深度信頼度とを比較することができる。図５に示されている通り、ＲＧＢ信頼度が深度信頼度未満である（ステップ５４０の比較結果が「いいえ」である）場合は、ブロック５７０に示すように、深度予測結果を、走査範囲を設定するための予測結果として選択することができる。逆に、ＲＧＢ信頼度が深度信頼度以上である（ステップ５４０の比較結果が「はい」である）場合は、ブロック５８０に示すように、ＲＧＢ予測結果を、走査範囲を設定するための予測結果として選択することができる。

【0078】

頭部の走査を例にすると、ＲＧＢ信頼度の第１閾値及び深度信頼度の第２閾値を共に０．８に設定することができる。ＲＧＢ信頼度及び深度信頼度が共に０．８以上である場合は、頭部に対する走査では、ＲＧＢ予測結果が深度予測結果よりも更に大きい所定の重みを有しているため、深度信頼度がＲＧＢ信頼度よりも更に高い場合でも、ＲＧＢ予測結果を選択しなければならない。しかし、深度信頼度のみが０．８以上である場合は、深度予測結果を選択しなければならない。また、ＲＧＢ信頼度及び深度信頼度が共に０．８未満である場合は、いずれの予測結果も選択しない。

【0079】

方法３００、４００及び５００は例示的なものに過ぎず、限定的なものではない。本発明は、任意のその他好適な要素を使用して２つのブランチの間における予測結果の選択を実現してもよい。

【0080】

ここで図１に戻ってそれを参照する。ステップ１５０において、ステップ１４０で選定した予測結果に基づき走査範囲を自動的に設定する。

【0081】

一実施形態においては、変換行列を利用することにより、選定された予測結果のキーポイントの２Ｄ位置を３Ｄ空間中にマッピングして走査すべき対象の走査マークを生成し、走査すべき対象の走査範囲の自動設定を実現することができる。具体的に述べると、予め確定された走査すべき部位に対して、変換行列を介して、ＲＧＢ－Ｄ画像の深度情報を利用して当該部位に対応するキーポイントの２Ｄ位置をカメラ座標系下における３Ｄ空間座標（つまり走査マーク）に変換することができる。実施形態において、座標変換に必要なパラメータ及び行列はカメラとその校正過程により取得することができる。また、当該予め確定された走査すべき部位に対しては、走査プロトコルライブラリを検索して走査プロトコルのマッチングを行い、次いで選定された走査プロトコルから予め設定された走査起点値及び走査終点値を読み取ることができる。取得した走査マーク及び走査起点値および走査終点値に基づいて、当該走査すべき部位のための走査範囲を算出することができる。例えば、走査マークを走査範囲の０点に規定し、読み取った走査起点値および走査終点値がそれぞれ－１０ｍｍ及び２０ｍｍである場合は、得られた走査範囲は、走査ベッドの移動方向において走査マークに対して前方に１０ｍｍ移動した箇所から走査マークに対して後方に２０ｍｍ移動した箇所までとすることができ（頭部が先にガントリのボアに進入する場合）、または走査ベッドの移動方向において走査マークを前方に２０ｍｍ移動した箇所から走査マークを後方に１０ｍｍ移動した箇所までとすることができる（足部が先にガントリのボアに進入する場合）。その他の例示においては、その他の体位を参考として走査範囲を算出することもできる。

【0082】

また、本発明の実施形態においては、ディスプレイによって、オペレータに、走査すべき対象のＲＧＢ画像と、自動的に設定された対応する走査範囲とを表示することができる。更なる実施形態においては、ＲＧＢ画像及び走査範囲の他に、ディスプレイは、走査すべき対象の深度画像、生成されたＲＧＢ予測結果、深度予測結果、算出されたＲＧＢ信頼度、深度信頼度、及び選定された予測結果のうちの１つまたは複数を表示することもできる。

【0083】

上記の順序に従って本発明の方法を記載したが、本発明の方法の実行は上記順序の制限を受けるものではない。逆に、本発明の方法における一部のステップを異なる順序で実行する若しくは同時に実行してもよいし、またはいくつかの実施形態においてある種のステップを実行しなくてもよい。また、本発明の方法におけるいずれかのステップをモジュール、ユニット、回路またはそれらのステップを実行するための任意のその他の好適な手段を用いて実行することもできる。

【0084】

本発明のＲＧＢブランチ及び深度ブランチによる２ブランチ方法は、複雑な臨床環境などの干渉要因に直面した際に良好なロバスト性を有している。例えば、異なる医療機関や異なる場所では臨床照明条件が異なることがあり、カメラが収集する画像の品質に直接影響することが有り得る。照明条件が良好である場合、ＲＧＢ画像の品質は相対的に高くなるが、深度画像の品質は相対的に低くなり、逆に、照明条件が悪い場合、深度画像の品質は比較的高くなるが、ＲＧＢ画像は比較的暗くなる。このような状況下において、ＲＧＢ画像または深度画像のみに依存する場合、予測モデルが有効な予測結果を出力できるか否かは、照明条件の極めて大きな影響を受けることになる。それに対して、本発明のＲＧＢブランチ及び深度ブランチは共に予測結果を生成するため、これらのブランチのうちの一方のブランチが予測結果を出力するのであれば走査範囲の自動設定を実行することができる。ＲＧＢブランチ及び深度ブランチが共に予測結果を出力している場合、本発明の方法は、この２つの予測結果のうちからより信頼性のある予測結果を選択して走査範囲の自動設定に用いることができる。従って、本発明の方法は、信頼性及びロバスト性が改善されている。また、複数の比較要素を設定することにより本発明の信頼性及びロバスト性が更に高めることができる。同時に、自動化によりオペレータの手動操作に頼ることなく走査範囲が設定されるため、本発明の方法は、走査範囲の設定プロセスを簡略化しているとともに、設定プロセス中に人為的に引き起こされるミス及び誤差を低減している。

【0085】

また、本発明の方法はオペレータの作業負担を顕著に軽減しており、ディスプレイに、方法が実行した結果を出力した後、オペレータは出力された結果をチェックするだけでよい。当該出力結果が表す走査すべき対象の体位、設定された走査範囲及び任意選択であるされた現在の予測プロセス及び結果が好適であれば、オペレータは当該結果を確認して走査を開始し、逆であれば、本発明の方法を再度実行する。

【0086】

本発明の方法は、オペレータが走査タスクを新たに作成すると、引き続いて実行を開始することができ、オペレータがディスプレイ上に出力された結果を確認するまで、走査すべき対象の体位変化を検知するごとに実行することができる。従って、本発明の方法は、リアルタイムで、走査すべき対象の体位の調整に対して直ぐに応答することができるため、全走査プロセスが更にスムーズとなり、対象の走査が快適に行われる。

【0087】

実際には、オペレータがディスプレイ上に出力された結果を確認した後、更に、カメラの座標系における３Ｄ空間座標を走査中心座標系における３Ｄ空間座標に変換することにより、キーポイントと走査中心（つまり、医用イメージング装置のガントリのボアの円の中心）との間の距離を算出することができる。人間の頭部走査を例とすると、走査すべき対象の眉間と走査中心との距離を算出することができる。一実施形態においては、走査すべき対象の頭が先にガントリのボアに進入し、キーポイントと走査中心との間の距離が１ｍであり、かつ、走査範囲が、走査ベッドの移動方向において走査マークに対して前方に０．１ｍ移動した箇所から走査マークに対して後方に０．２ｍ移動した箇所までである場合は、走査ベッドがガントリのボア内部に向けて０．９ｍ移動すると、走査すべき部位に対する走査の実行が開始し、走査ベッドがガントリのボア内部に向けて１．２ｍ移動すると、当該走査が終了する。

【0088】

以下においては、図６を参照して本発明の別の側面について説明する。図６には本発明の実施形態に基づく走査範囲を自動的に設定するための例示的なシステム６００のブロック図が示されている。例示的システム６００は、画像受信装置６２０、予測結果生成装置６３０、予測結果選択装置６４０及び走査範囲設定装置６５０を含むことができる。

【0089】

本発明の実施形態において、画像受信装置６２０及び予測結果生成装置６３０は、本発明におけるＲＧＢブランチ及び深度ブランチを実現するために用いることができる。画像受信装置６２０は、ＲＧＢ画像予測モデル及び深度画像予測モデルによって、走査すべき対象のＲＧＢ画像及び深度画像をそれぞれ受信することができる。予測結果生成装置６３０は、ＲＧＢ画像予測モデル及び深度画像予測モデルによって、走査すべき対象の所定のキーポイントに関するＲＧＢ予測結果及び深度予測結果をそれぞれ生成することができる。具体的に述べると、予測結果生成装置６３０は、ＲＧＢ画像予測モデルを使用して走査すべき対象のＲＧＢ画像において当該対象のキーポイントを識別してＲＧＢ予測結果を生成し、かつ、深度画像予測モデルを使用して当該対象の深度画像において同一のキーポイントを識別して深度予測結果を生成する。

【0090】

システム６００は、信頼度算出装置６６０を更に含むことができ、信頼度算出装置６６０は、ＲＧＢ予測結果のＲＧＢ信頼度及び深度予測結果の深度信頼度をそれぞれ算出するために用いることができる。

【0091】

予測結果選択装置６４０は、ＲＧＢ予測結果及び深度予測結果のうちから走査範囲を設定するための予測結果を選択するために用いることができる。一実施形態において、予測結果選択装置６４０は、信頼度比較装置６７０、重み比較装置６８０及び信頼度閾値比較装置６９０を更に含むことができる。信頼度比較装置６７０は、ＲＧＢ予測結果のＲＧＢ信頼度と深度予測結果の深度信頼度とを比較するために用いることができる。重み比較装置６８０は、ＲＧＢ予測結果におけるＲＧＢの所定の重みと深度予測結果における深度の所定の重みとを比較するために用いることができる。信頼度閾値比較装置６９０は、ＲＧＢ信頼度と第１閾値との比較及び深度信頼度と第２閾値との比較に用いることができる。

【0092】

走査範囲設定装置６５０は、選定された予測結果に基づき走査範囲を自動的に設定するために用いることができる。一実施形態において、走査範囲設定装置６５０は、変換行列を利用して選定された予測結果のキーポイントの２Ｄ位置を３Ｄ空間にマッピングして、走査すべき対象の走査マークを生成することにより、走査すべき対象の走査範囲の自動設定を実現することができる。

【0093】

また、システム６００は、オペレータに走査すべき対象のＲＧＢ画像及び自動的に設定された対応する走査範囲を表示するためのディスプレイ（図示せず）を更に含むことができる。任意選択として、ディスプレイは、走査すべき対象の深度画像、生成されたＲＧＢ予測結果、生成された深度予測結果、算出されたＲＧＢ信頼度、算出された深度信頼度、及び選定された予測結果のうちの１つまたは複数を更に表示することができる。

【0094】

システム６００は本発明の方法１００、３００、４００及び／または５００に対応しているため、本明細書において方法１００、３００、４００及び５００について説明した際に記載した数多くの細目をシステム６００に同様に適用するが、ここでは改めて詳述することはしない。

【0095】

本発明に基づく実施形態は、コンピュータ読み取り可能な媒体を更に提供する。この媒体は命令を有しており、前記命令は、プロセッサにより実行されると、プロセッサに本発明の方法のステップを実行させる。当該コンピュータ読み取り可能な媒体は、装置または設備によって製造または形成される物品の非一時的な有形物を含むことができるが、それに限定されることはない。有形物は、例えば、ハードディスク、その他のタイプのディスク（ソフトディスク、光ディスク、リードオンリー光ディスクメモリ（ＣＤ－ＲＯＭ）、読み書き可能な光ディスクメモリ（ＣＤ－ＲＷ）及び磁気光ディスクを含む）、半導体デバイス（例えばリードオンリーメモリ（ＲＯＭ）、例えばダイナミックランダムアクセスメモリ（ＤＲＡＭ）及びスタティックランダムアクセスメモリ（ＳＲＡＭ）のタイプのランダムアクセスメモリ（ＲＡＭ）、書き込み・消去可能なリードオンリーメモリ（ＥＰＲＯＭ）、フラッシュメモリ、電気的書き込み・消去可能なリードオンリーメモリ（ＥＥＰＲＯＭ））、相変化メモリ（ＰＣＭ）、磁気カード若しくは光カード、または電子命令の記憶に適した何らかの他の類型の媒体を含む。当該コンピュータ読み取り可能な媒体は、ＣＴ装置に取り付けることができ、ＣＴ装置を遠隔で操作制御する単独の制御装置またはコンピュータに取り付けることもできる。

【0096】

本発明に基づく実施形態では、医用イメージング装置が更に提供されており、当該医用イメージング装置は、図６を参照して説明されたシステムを含んでいる。

【0097】

本発明において説明された技術は、少なくとも部分的にハードウェア、ソフトウェア、ファームウェアまたはその任意の組み合わせにより実現することができる。例えば、１つまたは複数のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、または任意のその他等価な集積論理回路もしくはディスクリート論理回路、及びプログラミングツール（例えば、医師または患者用プログラミングツール、スティミュレータ、またはその他の装置）中に体現されたこのような部品の任意の組み合わせにおいて前記技術の各方面を実現することができる。用語「プロセッサ」、「処理回路」、「コントローラ」または「制御モジュール」は、通常、任意の上記論理回路（単独の論理回路またはその他の論理回路との組み合わせ）、または任意のその他の等価な回路（更に、単独の回路またはその他のデジタル回路もしくはアナログ回路との組み合わせ）を指すことができる。

【0098】

上記には、本発明のいくつかの例示的な実施形態について説明されている。しかし、ここで理解しなければならないことは、本発明の精神および範囲から逸脱することなく、上記の例示的な実施形態に対して各種の修正を施すこともできる点である。例えば、記載されている技術を異なる順序で実行する、並びに／又は記載されているシステム、アーキテクチャ、装置、または回路中のコンポーネントを異なる方式で組み合わせるおよび／若しくは記載されているシステム、アーキテクチャ、装置、または回路中のコンポーネントを個別のコンポーネントまたはその等価物で代替し若しくは記載されているシステム、アーキテクチャ、装置、または回路中のコンポーネントに個別のコンポーネントまたはその等価物を補充し、好適な結果を実現することができる場合も、それに応じて、それら修正後のその他の実施形態は特許請求の範囲の保護範囲内に入るものとする。

【0099】

【符号の説明】

【0100】

５０ 人工ニューラルネットワーク
５０ モデル
５１ 入力データ
５２ 入力層
５６ ニューロン
５８Ａ、５８Ｂ、５８Ｃ 隠れ層
６０ 出力層
６２ 損失または誤差関数
６４ トレーニング目標データ
１００ 走査範囲を自動的に設定するための方法
３００ 走査範囲を設定するための予測結果を選択する方法
４００ 走査範囲を設定するための予測結果を選択する方法
５００ 走査範囲を設定するための予測結果を選択する方法
６００ 走査範囲を自動的に設定するためのシステム
６２０ 画像受信装置
６３０ 予測結果生成装置
６４０ 予測結果選択装置
６５０ 走査範囲設定装置
６６０ 信頼度算出装置
６７０ 信頼度比較装置
６８０ 重み比較装置
６９０ 信頼度閾値比較装置

【図1】

【図2A】

【図2B】

【図2C】

【図2D】

【図3】

【図4】

【図5】

【図6】

【図7】