(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-12-25
(54)【発明の名称】血管狭窄の位置特定
(51)【国際特許分類】
A61B 6/00 20060101AFI20231218BHJP
【FI】
A61B6/00 350D
A61B6/00 350S
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023537051
(86)(22)【出願日】2021-12-15
(85)【翻訳文提出日】2023-06-16
(86)【国際出願番号】 EP2021085820
(87)【国際公開番号】W WO2022136043
(87)【国際公開日】2022-06-30
(32)【優先日】2020-12-22
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】590000248
【氏名又は名称】コーニンクレッカ フィリップス エヌ ヴェ
【氏名又は名称原語表記】Koninklijke Philips N.V.
【住所又は居所原語表記】High Tech Campus 52, 5656 AG Eindhoven,Netherlands
(74)【代理人】
【識別番号】100122769
【氏名又は名称】笛田 秀仙
(74)【代理人】
【識別番号】100163809
【氏名又は名称】五十嵐 貴裕
(74)【代理人】
【識別番号】100145654
【氏名又は名称】矢ヶ部 喜行
(72)【発明者】
【氏名】エルカンプ レイモン クイード
(72)【発明者】
【氏名】シンハ アユシ
(72)【発明者】
【氏名】サレヒ レイリ
(72)【発明者】
【氏名】パンセ アシシ サットヤヴラット
(72)【発明者】
【氏名】トポレック グジェゴジ アンジェイ
【テーマコード(参考)】
4C093
【Fターム(参考)】
4C093AA08
4C093AA24
4C093DA02
4C093EC16
4C093FD03
4C093FF17
4C093FF34
(57)【要約】
血管造影画像の時間的シーケンスにおいて血管狭窄を位置特定するコンピュータ実装方法は、差分画像の時間的シーケンスから、造影剤がサブ領域に入り、その後に造影剤がサブ領域を出る、血管系のサブ領域120i,jのサブセットの時間的シーケンスを識別するステップS130と、血管系の血管造影画像の時間的シーケンスから、血管狭窄140を含むものとして血管系のサブ領域120i,jを分類するように訓練されたニューラルネットワーク130に、サブセットの識別された時間的シーケンスを入力するステップS140とを含む。
【特許請求の範囲】
【請求項1】
血管造影画像の時間的シーケンスにおいて血管狭窄を位置特定するコンピュータ実施方法において、
血管系内の造影剤の流れを表す血管造影画像の時間的シーケンスを受信するステップと、
前記時間的シーケンス内の前記血管造影画像の少なくともいくつかについて、前記血管系の複数のサブ領域における現在の画像と前記シーケンス内の以前の画像との間の画像強度値の差を表す差分画像を計算するステップと、
前記差分画像から、前記サブ領域のサブセットの時間的シーケンスを識別するステップであって、前記サブセットにおいて前記造影剤が前記サブ領域に入り、その後に前記造影剤が前記サブ領域から出る、ステップと、
前記血管系の血管造影画像の時間的シーケンスから、血管狭窄を含むものとして前記血管系のサブ領域を分類するように訓練されたニューラルネットワークに、前記サブセットの前記識別された時間的シーケンスを入力するステップと、
前記ニューラルネットワークによって提供される前記分類に基づいて前記血管狭窄を含むサブ領域を識別するステップと、
を有する、コンピュータ実施方法。
【請求項2】
前記ニューラルネットワークは、
血管系の複数のサブ領域内の造影剤の流れを表す血管造影画像の複数の時間的シーケンスを含む血管造影画像訓練データを受信し、各時間的シーケンスは、血管狭窄を含むものとして又は血管狭窄を含まないものとして前記時間的シーケンスを識別するグランドトゥルース分類で分類され、
前記受信された血管造影画像訓練データを前記ニューラルネットワークに入力し、前記ニューラルネットワークによって生成された各入力された時間的シーケンスの分類と前記グランドトゥルース分類との差に基づいて前記ニューラルネットワークのパラメータを調整する、
ことによって、前記血管系の血管造影画像の時間的シーケンスから、血管狭窄を含むものとして前記血管系のサブ領域を分類するように訓練される、請求項1に記載のコンピュータ実施方法。
【請求項3】
前記現在の画像の生成と、各差分画像を計算するために使用される、前記シーケンス内の前記以前の画像の生成との間の時間期間は、各差分画像が前記現在の画像と前記シーケンス内の前記以前の画像との間の画像強度値の変化率を表すように、予め決定される、請求項1に記載のコンピュータ実施方法。
【請求項4】
前記以前の画像は、マスク画像によって提供され、同じマスク画像が、各差分画像を計算するために使用される、請求項1に記載のコンピュータ実施方法。
【請求項5】
前記前記血管狭窄を含むサブ領域を識別するステップは、前記血管狭窄を含む前記識別されたサブ領域内の造影剤の流れを表す血管造影画像の時間的シーケンスを表示するステップ、又は前記血管狭窄を含む前記識別されたサブ領域内の造影剤の流れを表す差分画像の時間的シーケンスを表示するステップを有する、請求項1に記載のコンピュータ実装システム。
【請求項6】
前記サブ領域のサブセットの時間的なシーケンスを識別するステップは、前記造影剤が前記サブ領域に入るのと前記造影剤が前記サブ領域から出るのとの間で生成される前記時間的シーケンスの部分を識別するステップを有し、前記サブセットの前記時間的シーケンスをニューラルネットワークに入力するステップは、前記サブセットの前記時間的シーケンスの前記識別された部分を前記ニューラルネットワークに入力するステップを有する、請求項1にコンピュータの方法。
【請求項7】
前記サブ領域のサブセットの時間的な系列を識別するステップは、前記サブ領域が最大量の造影剤を有する前記時間的シーケンスの更なる部分を識別するステップと、前記時間的シーケンスの前記識別された部分から前記時間的シーケンスの前記更なる部分を除外するステップを有する、請求項6にコンピュータの方法。
【請求項8】
前記造影剤が前記サブ領域に入る時間を表す前記血管系の各サブ領域についての第1の到達時間を計算するステップ、
を有し、
前記ニューラルネットワークは、前記血管系の前記時間的シーケンスから、及び前記第1の到達時間から、血管狭窄を含むものとして前記血管系のサブ領域を分類するように訓練され、
前記サブセットの前記識別された時間的シーケンスをニューラルネットワークに入力するステップは、前記サブ領域の前記第1の到達時間を前記ニューラルネットワークに入力するステップを更に有する、
請求項1に記載のコンピュータ実施方法。
【請求項9】
前記受信された時間的シーケンス内の前記血管造影画像を複数の所定のサブ領域に分割することによって、前記血管系の前記サブ領域を規定するステップを有する、請求項1に記載のコンピュータ実施方法。
【請求項10】
前記血管造影画像において前記血管系をセグメント化し、前記血管系と重複する複数のサブ領域を規定することによって、前記血管系の前記サブ領域を規定するステップを有する、請求項1に記載のコンピュータ実施方法。
【請求項11】
前記セグメント化された血管系内の複数の岐を識別するステップと、各岐について、前記岐の軸方向長さに沿った造影剤の量を決定するステップと、前記岐の前記軸方向長さに対してプロットされた前記造影剤の量を示す二次元グラフとして前記サブ領域を表すステップとを有する、請求項10に記載のコンピュータ実施方法。
【請求項12】
前記サブセットの前記識別された時間的シーケンスをニューラルネットワークに入力する前に、時間領域において、前記サブ領域の前記サブセットの前記識別された時間的シーケンスを積み重ねるステップを有する、請求項1に記載のコンピュータ実施方法。
【請求項13】
血管造影画像の時間的シーケンスにおいて血管狭窄を位置特定するようにニューラルネットワークを訓練するコンピュータ実施方法において、
血管系の複数のサブ領域内の造影剤の流れを表す血管造影画像の複数の時間的シーケンスを含む血管造影画像訓練データを受信するステップであって、各時間的シーケンスは、血管狭窄を含むものとしてグランドトゥルース分類で分類されるか、又は血管狭窄を含まないものとして分類される、ステップと、
前記受信された血管造影画像訓練データを前記ニューラルネットワークに入力するステップと、前記ニューラルネットワークによって生成された各入力された時間的シーケンスの分類と前記グランドトゥルース分類との差に基づいて前記ニューラルネットワークのパラメータを調整するステップと、
を有する、コンピュータ実施方法。
【請求項14】
1つ又は複数のプロセッサによって実行されると、前記1つ又は複数のプロセッサに、請求項1乃至13のいずれか一項に記載の方法を実行させる命令を有するコンピュータプログラム。
【請求項15】
血管造影画像の時間的シーケンスにおいて血管狭窄を位置特定するためのシステムにおいて、請求項1乃至13のいずれか一項に記載の方法を実行するように構成された1つ又は複数のプロセッサを有するシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、血管造影画像の時間的シーケンスにおいて血管狭窄を位置特定することに関する。コンピュータ実施方法、処理装置、システム、及びコンピュータプログラム製品が、開示される。
【背景技術】
【0002】
血栓及び狭窄症などの血管狭窄は、血管系内の血液の供給を制限する。治療なしでは、血管狭窄は、深刻な医学的結果をもたらす可能性がある。例えば、虚血性脳卒中は、脳内の血管系の閉塞によって引き起こされる。脳卒中は、急速に起こり、脳への損傷の量を最小化するために、即座の処置を必要とする。
【0003】
疑わしい血管狭窄をどのように治療するかを決定する重要なステップは、その位置を識別することである。これは、多くの場合、血管造影画像を使用して実行される。例えば、疑わしい脳卒中の場合、最初のコンピュータ断層撮影「CT」血管造影が、脳に対して実行されて、疑わしい血管狭窄の位置を識別しようとしてもよい。しかしながら、小さいサイズの血管狭窄は、CT血管造影図からのこの決定を妨げる。その後、CT潅流スキャンが、実行されてもよい。CT潅流スキャンは、十分な血流を受けていない脳の領域を示す。しかしながら、CT潅流スキャンは、典型的には、血管系の特定の枝ではなく、血管狭窄によって影響を受け得る脳のセクションを識別するだけである。この後に、造影剤が、血管系に注入され、透視法スキャンが、脳に対して実行されて、狭窄領域を識別しようとしてもよい。透視法スキャンは、血管系内の造影剤の流れを表す血管造影画像のビデオシーケンスを提供する。しかしながら、血管造影画像内で血管狭窄部を位置特定することは、時間がかかる。放射線科医は、血管系の個々の枝を見るために繰り返しズームインし、次いで、血管系のコースにたどりながら再びズームアウトすることによって、中断された流れを有する領域を識別しようと試みてもよい。小さな血管狭窄は、このプロセスでは容易に見落とされ、潜在的に重要な介入を遅らせる可能性がある。
【発明の概要】
【発明が解決しようとする課題】
【0004】
結果として、血管造影画像における血管狭窄の位置を決定することに対する改善が必要とされている。
【課題を解決するための手段】
【0005】
本開示の一態様によれば、血管造影画像の時間的シーケンスにおいて血管狭窄を位置特定するコンピュータ実施方法が、提供される。本方法は、
血管系内の造影剤の流れを表す血管造影画像の時間的シーケンスを受信するステップと、
時間的シーケンス内の血管造影画像の少なくともいくつかについて、血管系の複数のサブ領域におけるシーケンス内の現在の画像と以前の画像との間の画像強度値の差を表す差分画像を計算するステップと、
差分画像から、サブ領域のサブセットの時間的シーケンスを識別するステップであって、そのサブセットにおいて、造影剤がサブ領域に入り、この後にサブ領域から出る、ステップと、
血管系の血管造影画像の時間的シーケンスから、血管狭窄を含むものとして血管系のサブ領域を分類するように訓練されたニューラルネットワークに、サブセットの識別された時間的シーケンスを入力するステップと、
ニューラルネットワークによって提供される分類に基づいて、血管狭窄を含むサブ領域を識別するステップと、
を含む。
【0006】
本開示の別の態様によれば、血管造影画像の時間的シーケンスにおいて血管狭窄を位置特定するためにニューラルネットワークを訓練するコンピュータ実施方法が、提供される。本方法は、
血管系の複数のサブ領域内の造影剤の流れを表す血管造影画像の複数の時間的シーケンスを含む血管造影画像訓練データを受信するステップであって、各時間的シーケンスは、血管狭窄を含むものとしてのグランドトゥルース分類で分類されるか、又は血管狭窄を含まないものとして分類される、ステップと、
受信された血管造影画像訓練データをニューラルネットワークに入力するステップと、
ニューラルネットワークによって生成された各入力された時間的シーケンスの分類とグランドトゥルース分類との差に基づいて、ニューラルネットワークのパラメータを調整するステップと、
を含む。
【0007】
本開示の更なる態様、特徴、及び利点は、添付の図面を参照してなされる例の以下の説明から明らかになるであろう。
【図面の簡単な説明】
【0008】
【
図1】血管造影画像110の時間的シーケンスを示す。
【
図2】血管狭窄140を含む血管造影画像110の時間的シーケンスを示す。
【
図3】本開示のいくつかの態様による、血管造影画像の時間的シーケンスにおける血管狭窄を位置特定する方法を示すフローチャートである。
【
図4】本開示のいくつかの態様による、血管造影画像の時間的シーケンスにおける血管狭窄を位置特定する方法を示す概略図である。
【
図5】本開示のいくつかの態様による、サブ領域120
i,jに対する差分画像の時間的シーケンスを示し、差分画像は、シーケンス内の以前の画像としてマスク画像を使用して生成される。
【
図6】本開示のいくつかの態様による、サブ領域に入る造影剤とサブ領域から出る造影剤との間の時間間隔内のサブ領域120
i,jに対する差分画像の時間的シーケンスを示す。
【
図7】本開示のいくつかの態様による、血管狭窄140を含むサブ領域120の
i,jを示すディスプレイ200を示す概略図である。
【
図8】本開示のいくつかの態様による、血管造影画像の時間的シーケンスにおいて血管狭窄を位置特定するためにニューラルネットワークを訓練する方法を示すフローチャートである。
【
図9】本開示のいくつかの態様による、血管造影画像の時間的シーケンスにおいて血管狭窄を位置特定するためのシステム300を示す概略図である。
【発明を実施するための形態】
【0009】
本開示の例は、以下の説明及び図面を参照して提供される。この説明では、説明の目的のために、特定の例の多くの具体的な詳細が、説明される。本明細書における「例」、「実施態様」、又は同様の言葉への言及は、例に関連して説明される特徴、構造、又は特性が少なくともその1つの例に含まれることを意味する。また、1つの例に関連して説明された特徴は、別の例においても使用され得、すべての特徴が簡潔さのために各例において必ずしも繰り返されないことを理解されたい。例えば、コンピュータ実施方法に関連して説明される特徴は、対応する形で、処理装置において、システムにおいて、及びコンピュータプログラム製品において実装され得る。
【0010】
以下の説明では、血管造影画像の時間的シーケンスにおける血管狭窄を位置特定することを伴う、コンピュータ実施方法が、参照される。狭窄の形態の血管狭窄、すなわち、血管導管の本体又は開口に対する収縮又は狭窄が、参照される。狭窄は、様々な起源を有し得る。一例として、狭窄は、血管内の脂肪蓄積及びプラークの蓄積を引き起こすアテローム性動脈硬化症によって引き起こされ得、虚血性脳卒中を引き起こし得る。別の例として、狭窄は、血栓によって引き起こされ得、血栓は、血管内で発達し、血管を通る血液の流れを減少させる。しかしながら、本明細書に開示される方法は、これらの例に限定されず、他のタイプの血管狭窄を位置特定するためにも使用され得、これらは、様々な根底にある原因を有し得ることを理解されたい。脳内の血管狭窄の例も、参照される。しかしながら、本明細書に開示される方法は、また、心臓、脚などの身体の他の領域における血管狭窄を位置特定するために使用され得ることも理解されたい。したがって、本明細書に開示される方法は、一般に、血管狭窄を位置特定するために使用され得ることが理解されるべきである。
【0011】
本明細書で開示されるコンピュータ実施方法は、少なくとも1つのプロセッサによって実行されると、少なくとも1つのプロセッサに方法を実行させる、記憶されたコンピュータ可読命令を含む非一時的コンピュータ可読記憶媒体として提供され得ることに留意されたい。言い換えれば、コンピュータ実施方法は、コンピュータプログラム製品において実装され得る。コンピュータプログラム製品は、専用のハードウェア又は適切なソフトウェアと関連してソフトウェアを実行することができるハードウェアによって提供されることができる。プロセッサ又は「処理装置」によって提供されるとき、方法特徴の機能は、単一の専用プロセッサによって、単一の共用プロセッサによって、又はそのうちのいくつかが共有されることができる複数の個々のプロセッサによって提供されることができる。「プロセッサ」又は「コントローラ」という用語の明示的な使用は、ソフトウェアを実行することができるハードウェアを排他的に指すものとして解釈されるべきではなく、デジタル信号プロセッサ「DSP」ハードウェア、ソフトウェアを記憶するための読取専用メモリ「ROM」、ランダムアクセスメモリ「RAM」、不揮発性記憶装置などを暗黙的に含むことができるが、これらに限定されない。更に、本開示の例は、コンピュータ使用可能記憶媒体又はコンピュータ可読記憶媒体からアクセス可能なコンピュータプログラム製品の形態をとることができ、コンピュータプログラム製品は、コンピュータ又は任意の命令実行システムによって又はそれらと関連して使用するためのプログラムコードを提供する。本説明の目的のために、コンピュータ使用可能記憶媒体又はコンピュータ可読記憶媒体は、命令実行システム、機器、又は装置によって、又はそれに関連して使用するためのプログラムを有する、記憶する、通信する、伝播する、又は移送することができる任意の装置であることができる。媒体は、電子、磁気、光学、電磁、赤外、又は半導体システム又は装置又は伝搬媒体であることができる。コンピュータ可読媒体の例は、半導体又は固体メモリ、磁気テープ、リムーバブルコンピュータディスク、ランダムアクセスメモリ「RAM」、読取専用メモリ「ROM」、剛体磁気ディスク、及び光ディスクを含む。光ディスクの現在の例は、コンパクトディスク読取専用メモリ「CD-ROM」、光ディスク-読取/書込「CD-R/W」、ブルーレイTM、及びDVDを含む。
【0012】
図1は、血管造影画像110の時間的シーケンスを示す。
図1の画像は、虚血性脳卒中が疑われる場合に狭窄領域を識別しようと試みるために脳に対して実行される透視又はライブX線撮像手順によって生成される。
図1の血管造影画像は、放射線不透過性造影剤が血管系に注入された後に得られ、したがって、血管系内、特に脳内の造影剤の流れを表す。
【0013】
理解され得るように、
図1の血管造影画像内の血管狭窄を位置特定することは、時間がかかる可能性がある。放射線科医は、血管系の個々の枝を見るために繰り返しズームインし、次いで再びズームアウトすることによって、流れが中断された領域を識別しようと試みてもよい。最終的に、血管狭窄は、血管狭窄140を含む血管造影画像110の時間的シーケンスを示す、
図2に示されるように、分岐のうちの1つにおいて見つけられ得る。小さな血管狭窄は、このプロセスにおいて容易に見落とされ、潜在的に重要な介入を遅らせる可能性がある。
【0014】
本発明者らは、血管造影画像の時間的シーケンスにおいて血管狭窄を位置特定する改善された方法を決定した。それに加えて、
図3は、本開示のいくつかの態様による、血管造影画像の時間的シーケンスにおける血管狭窄を位置特定する方法を示すフローチャートである。
図3を参照すると、本方法は、
血管系内の造影剤の流れを表す血管造影画像110の時間的シーケンスを受信するステップS110と、
時間的シーケンスにおける血管造影画像の少なくともいくつかについて、血管系の複数のサブ領域120
i,jにおいて、シーケンス内の現在の画像とより早い画像との間の画像強度値の差を表す差分画像を計算するステップS120と、
差分画像から、サブ領域120
i,jのサブセットの時間的シーケンスを識別するステップS130であって、このサブセットにおいて造影剤がサブ領域に入り、造影剤がこの後にサブ領域から出る、ステップと、
血管系の血管造影画像の時間的シーケンスから、血管狭窄部140を含むものとして血管系のサブ領域120
i,jを分類するように訓練されたニューラルネットワーク130に、サブセットの識別された時間的シーケンスを入力するステップS140と、
ニューラルネットワーク130によって提供された分類に基づいて、血管狭窄部140を含むサブ領域を識別するステップS150と、
を含む。
【0015】
図3を参照すると、動作S110において受信される血管造影画像110の時間的シーケンスは、2次元、すなわち「投影」画像であるが、これらは3D画像であってもよいことも考えられる。したがって、血管造影画像110の時間的シーケンスは、X線又はコンピュータ断層撮影「CT」撮像システムによって生成され得る。血管造影画像110の時間的シーケンスは、
図2に示されるように、脳内の血管系上で、又は身体の別の部分上で実行される透視撮像手順の結果であり得る。動作S110において受信される血管造影画像110の時間的シーケンスは、X線又はCT撮像システムから、データベースから、コンピュータ可読記憶媒体から、クラウドから等を含む、様々なソースから受信されてもよい。データは、有線又は無線データ通信などの任意の形態のデータ通信を使用して受信され得、インターネット、イーサネットを介して、又はUSBメモリ装置、光ディスク又は磁気ディスクなどの可搬型コンピュータ可読記憶媒体を用いてデータを転送することによって受信され得る。
【0016】
続けて
図3を参照すると、動作S120において、シーケンス内の現在の画像とより早い画像との間の画像強度値の差を表す差分画像が、血管系の複数のサブ領域120
i,jにおいて、時間的シーケンス内の血管造影画像の少なくともいくつかについて計算される。動作S120は、
図4を参照して説明され、
図4は、本開示のいくつかの態様による、血管造影画像の時間的シーケンスにおいて血管狭窄を位置特定する方法を示す概略図である。
図4の上部に関して、血管造影画像110の時間的シーケンスは、血管系のサブ領域120
i,jにおいて、期間ΔTで生成される。
【0017】
動作S120において差分画像を計算するための様々な技法が、考えられる。一例では、各差分画像を計算するために使用される、現在の画像の生成とシーケンス内のより早い画像の生成との間の時間期間ΔTは、予め決定される。例えば、
図4に示されるように、時間期間ΔTが、連続する画像フレーム間の期間に等しい場合、サブ領域120の
2,2及び120
2,3に対して
図4の中央部に示される、各差分画像は、現在の画像とシーケンス内の以前の画像との間の画像輝度値の変化率を表す。説明として、造影剤は、画像フレームFr2においてサブ領域120
2,3に入ると見なされることができ、時間においてわずかに後に、画像フレームFr3において、造影剤は、サブ領域120
2,2に入る。これらの画像フレームは、差分画像であるので、領域内への流れは、従来の血管造影画像において予想されるように、造影剤の暗い領域を長くすることによってではなく、血管系のそれぞれの枝を通って徐々に移動する造影剤のパルスによって表される。時間期間は、時間的シーケンス内の連続する画像フレーム間の期間の任意の整数倍に等しくてもよく、したがって、同様に、各差分画像は、シーケンス内の現在の画像と以前の画像との間の画像強度値の変化率を表す。
【0018】
別の例では、以前の画像が、マスク画像によって提供され、同じマスク画像が、各差分画像を計算するために使用される。マスク画像は、血管系に対する造影剤の注入の前に生成される透視画像である。この例では、動作S120で計算された差分画像は、いわゆるデジタルサブトラクション血管造影「DSA」画像である。これらの両方の例において、例えば骨から生じる、現在の画像及びより早い画像に共通の画像特徴が、結果として生じる差分画像から除去される。
【0019】
別の例では、これらの技術の組み合わせが、使用される。この例では、血管造影画像110の時間的シーケンスは、DSA画像であり、差分画像は、現在のDSA画像の画像強度値から、シーケンス内の以前のDSA画像からの画像強度値を減算することによって、DSA画像から計算される。現在のDSA画像の生成と、各差分画像を計算するために使用される、以前のDSA画像の生成との間の時間期間ΔTは、再度、予め決定される。時間期間ΔTは、連続する画像フレーム間の期間の整数倍であってもよい。ここで、再び、各差分画像は、画像強度値の変化率を表し、この例では、変化率は、現在のDSA画像とシーケンス内の以前のDSA画像との間である。
【0020】
動作S120においてサブ領域120
i,jを規定するための様々な技法が、考えられる。一例では、血管系のサブ領域120
i,jは、受信された時間的シーケンス内の血管造影画像を複数の所定のサブ領域に分割することによって規定される。これは、
図4の上部に示されるように、所定の領域のグリッドを血管造影画像に適用することによって達成され得る。
図4に示される例以外の他のグリッドが、代替的に使用されてもよい。例えば、グリッドは、等しいサイズ、等しくないサイズ、規則的な形状、又は不規則な形状のサブ領域を有してもよい。グリッドは、連続的又は非連続的なサブ領域を有してもよい。グリッドは、
図4に示される例とは異なる数のサブ領域を有してもよい。
【0021】
別の例では、血管系のサブ領域120i,jが、血管造影画像内の血管系をセグメント化し、血管系と重複する複数のサブ領域を規定することによって規定される。血管造影画像をセグメント化する様々な技術は、Moccia, S. et al.による、Blood vessel segmentation algorithms - Review of methods, datasets and evaluation metrics, Computer Methods and Programs in Biomedicine, Volume 158, May 2018, Pages 71 - 91と題された文献から知られている。この例では、サブ領域は、形状が血管系と重なるように、長方形又は正方形などの所定の形状を血管系のセクションに適用することによって規定され得る。この例を続けると、セグメント化された血管系内の分岐が、識別され得、各分岐の軸方向長さに沿った位置における造影剤の量が、決定され得る。次いで、サブ領域は、分岐の軸方向長さに対してプロットされた造影剤の量を示す2次元グラフとして表され得る。この例では、血管系の形状が、本質的に直線に伸張され、各枝の軸方向長さに沿った造影剤の量は、例えば枝の中心線に沿った位置における造影剤の量を計算することによって決定される。
【0022】
図3に戻ると、動作S130において、サブ領域120
i,jのサブセットの時間的シーケンスが、差分画像から識別され、サブセットにおいて、造影剤はサブ領域に入り、造影剤はその後にサブ領域から出る。本発明者らは、血管狭窄を識別しようと試みるために放射線科医によって使用される血管造影画像の時間的シーケンスに有意な冗長性があることを決定した。本発明者らは、また、造影剤がサブ領域に入り、その後に造影剤がサブ領域から出るサブ領域が、血管狭窄の位置を識別するために使用されることができる価値ある情報を含むことを認識した。動作S130は、この情報をサブ領域のサブセットとして識別し、後の動作S140において、このサブセットは、血管狭窄を含むものとして血管系のサブ領域を識別するためにニューラルネットワークに入力される。そうすることで、動作S130は、ニューラルネットワークが血管造影画像110を分析し、血管狭窄の位置を決定するのにかかる時間及び/又は複雑さを低減し得る。
【0023】
動作S130は、
図3、
図4、
図5及び
図6を参照して更に説明される。
図5は、本開示のいくつかの態様による、サブ領域120
i,jに対する差分画像の時間的シーケンスを示し、差分画像は、シーケンス内の以前の画像としてマスク画像を使用して生成される。
図5に示されるサブ領域120
i,jは、
図4の中央部におけるサブ領域120
2,2及び120
2,3と同様のサブ領域を表し、これらは、所定の領域の例示的グリッドを血管系に適用することによって生成された。
図4に示された差分画像とは対照的に、
図5の差分画像は、シーケンス内の以前の画像としてマスク画像を使用して生成されたので、血管系の枝における造影剤の流れは、
図4のように、移動パルスではなく、長くなる暗い領域として示される。説明を容易にするために、
図5のサブ領域は、行及び列インデックスi及びjで識別される。図において、造影剤は、黒で示される。
図5に示すサブ領域120
i,jに対する例の時間的シーケンスFr1..Fr12において、造影剤は、実際にサブ領域に入り、その後にサブ領域から出る。 したがって、
図5に示されるサブ領域120
i,jの時間的シーケンスは、動作S130において識別され、動作S140においてニューラルネットワークに入力されるサブセットの一部を形成する。サブ領域に対する造影剤の進入及び退出、並びにサブ領域自体も、セグメント化された血管系の枝において検出された造影剤に閾値を適用することによって検出され得る。対照的に、造影剤がサブ領域に入らない血管系のサブ領域に対する時間的シーケンス(図示せず)は、動作S130で識別されたサブセットの一部を形成せず、したがって、動作S140でニューラルネットワークに入力されない。
【0024】
図4の中央部に戻ると、同様に、造影剤は、画像フレームFr2においてサブ領域120
2,3に入り、わずかに後に、画像フレームFr3において、造影剤は、サブ領域120
2,2に入ることが分かる。これらのサブ領域内の造影剤が、その後にそれぞれのサブ領域を出る場合、これらのサブ領域に対する時間的シーケンスも、動作S130において識別され、動作S140においてニューラルネットワークに入力されるサブセットの一部を形成する。
【0025】
血管狭窄を識別しようと試みるために放射線科医によって使用される血管造影画像の時間的シーケンスにおける更なる冗長性も、また、本発明者によって認識されており、いくつかの例では、更なる改良が、動作S130において識別されるサブ領域120のi,jのサブセットの時間的シーケンスに対して行われ得る。これらの改良は、ニューラルネットワークに入力されるデータの量を更に低減し、ニューラルネットワークが血管造影画像110を分析し、血管狭窄の位置を決定するのにかかる時間及び/又は複雑さを更に低減し得る。
【0026】
これらの改良の一例では、時間的シーケンスの部分が、識別される。この例では、サブ領域120i,jのサブセットの時間的シーケンスを識別するステップS130の動作は、
サブ領域に入る造影剤とサブ領域から出る造影剤との間で生成される時間的シーケンスの部分Fr2..Fr11を識別するステップであって、ニューラルネットワーク130に対するサブセットの時間的シーケンスを入力することは、ニューラルネットワーク130内へのサブセットの時間的シーケンスの識別された部分Fr2..Fr11を入力することを含む、ステップを有する。
【0027】
この例では、
図5を参照して、血管系の例示的サブ領域120
i,jに対する例示された時間的シーケンスは、差分画像フレームFr1..Fr12を含み、差分画像は、シーケンス内の以前の画像としてマスク画像を使用して生成される。 この例では、造影剤は、差分画像フレームFr2に対応する時間に例示的なサブ領域120
i,jに入り、差分画像フレームFr11に対応する時間にサブ領域120
i,jから出ることが分かる。この例では、Fr2からFr11までの時間期間内の部分が、動作S130で識別され、動作S140でニューラルネットワークに入力される。
【0028】
更なる改良が、動作S130において識別される時間的シーケンスの部分に対してなされてもよい。これは、本開示のいくつかの態様による、サブ領域に入る造影剤とサブ領域から出る造影剤との間の時間間隔内のサブ領域120
i,jに対する差分画像の時間的シーケンスを示す
図6と同様に、
図5に関して説明される。
【0029】
この例では、サブ領域のサブセットの時間的シーケンスを識別するステップS130の動作は、
サブ領域が、最大量の造影剤を有する時間的シーケンスの更なる部分Fr4..Fr9を識別するステップと、時間的シーケンスの識別された部分Fr2..Fr11から、時間的シーケンスの更なる部分Fr4..Fr9を除外するステップと、
を含んでもよい。
【0030】
図5及び
図6を参照すると、この例では、サブ領域120
i,jに対する時間的シーケンスの更なる部分は、具体的には、サブ領域120
i,jが最大量の造影剤を有する、差分画像フレームFr4、Fr5、Fr6、Fr7、Fr8、及びFr9に対応する時間において、識別される。この例では、動作S130において、差分画像フレームFr4、Fr5、Fr6、Fr7、Fr8、及びFr9は、動作S140においてニューラルネットワークに入力された時間的シーケンスの部分Fr2..Fr11から除外される。このため、
図6に示されるように、本例では、画像フレームFr2、Fr3、Fr10、Fr11が、
図5に示される画像フレームから選択され、ニューラルネットワークに入力される。ニューラルネットワークに入力される時間的シーケンスから、サブ領域が最大量の造影剤を有する時間的シーケンスの部分を除外することによって、ニューラルネットワークに入力されるデータの量が、更に低減される。更に、これらの除外された部分は、血管狭窄の位置を決定するニューラルネットワークの能力に有意には寄与しない。結果的に、これは、ニューラルネットワークの決定の精度を低下させることなく、ニューラルネットワークが血管造影画像110を分析するのにかかる時間及び/又は複雑さを更に低減し得る。
【0031】
S130でサブ領域120
i,jのサブセットの時間的シーケンスを識別した、
図3のフローチャートに示される方法に戻ると、動作S140において、これらは、血管系の血管造影画像の時間的シーケンスから、血管狭窄部140を含むものとして血管系のサブ領域120
i,jを分類するように訓練されたニューラルネットワーク130に入力される。動作S140は、
図4の下部に示されており、いくつかの例では、サブセットの識別された時間的シーケンスをニューラルネットワーク130に入力する前に、サブ領域のサブセットの識別された時間的シーケンスを、時間領域において、積み重ねる、すなわち配置することを含み得る。
【0032】
図4にも示されるように、動作S140の入力後、動作S150が、実行される。動作S150は、ニューラルネットワーク130によって提供される分類に基づいて、血管狭窄140を含むサブ領域であるS150を識別するステップS150を含む。
【0033】
動作S150において血管狭窄を含むサブ領域を識別する際に使用するための様々な技法が、考えられる。これらは、例えば、ディスプレイ上のサブ領域を識別することを含んでもよい。一例では、
図4の例の破線の円によって示されるように、位置が形状をオーバレイする手段によって識別される、サブ領域の画像が、提供されてもよい。別の例では、サブ領域の画像が、位置を識別するために色分けされてもよく、又は矢印などの別の識別子が、位置を識別するために使用されてもよい。別の例では、血管狭窄140を含むサブ領域を識別するステップS150が、
血管狭窄部140を含む識別されたサブ領域内の造影剤の流れを表す血管造影画像110の時間的シーケンスを表示すること、又は血管狭窄部140を含む識別されたサブ領域内の造影剤の流れを表す差分画像の時間的シーケンスを表示すること、
を含む。
【0034】
この例では、表示された時間的シーケンスが、識別されたサブ領域のみのためのディスプレイ上に提供されてもよく、それによって、ユーザがこのサブ領域、又はすべてのサブ領域に注目することを可能にする。いくつかの例では、表示された時間的シーケンスが、識別されたサブ領域について、並びにすべてのサブ領域について提供され得る。表示された時間的シーケンスは、互いに時間的に対応してもよく、すべてのサブ領域に対する時間的シーケンスは、大きな視野を提供し、識別されたサブ領域に対する時間的シーケンスは、小さな視野を提供する。これは、
図7に示され、
図7は、本開示のいくつかの態様による、血管狭窄部140を含むサブ領域120
i,jを示すディスプレイ200を示す概略図である。表示された時間的シーケンスは、造影剤がサブ領域に入るのと造影剤がサブ領域から出るのとの間の時間間隔に対して、又はこの時間間隔の一部に対して、例えば、サブ領域がサブ領域内に最大量の造影剤を有する画像フレームを省略し、したがって、サブ領域に入る造影剤を示す画像フレーム及びサブ領域から出る造影剤を示す画像フレームのみを表示することによって、任意選択で表示されてもよい。
【0035】
更に別の例では、ニューラルネットワーク130が、血管狭窄140を含む血管系のサブ領域120i,jの確率スコアを生成するように訓練される。ニューラルネットワーク130は、この目的のために、回帰型ニューラルネットワーク又は分類型ネットワークを含んでもよい。確率スコアは、動作S150で識別されてもよいy。例えば、血管造影画像、又は血管造影画像の時間的シーケンスが、表示され、サブ領域のうちの1つ又は複数の確率スコアを示してもよい。これは、例えば、サブ領域の周りの色分けされたフレームによって、又は血管系のサブ領域を色分けすることによって、示されてもよい。例えば、比較的高い確率値を有する領域は、赤色で強調表示され、比較的低い確率値を有する領域は、緑色で強調表示されてもよい。中間の確率値を有する領域は、オレンジ色で強調されてもよい。
【0036】
上記の方法において説明された機能を提供するための様々なタイプのニューラルネットワーク130の使用が、考えられる。畳み込みニューラルネットワーク「CNN」、例えば、長・短期記憶「LSTM」などのリカレントニューラルネットワーク「RNN」、時間畳み込みネットワーク「TCN」、変換器、多層パーセプトロン、例えば、ランダムフォレストなどの決定木、多変量回帰(例えば、ロジスティック回帰)、又はそれらの組み合わせを含む、様々なタイプの分類ニューラルネットワークが、使用され得る。
【0037】
一例では、ニューラルネットワーク130は、CNNを含み、動作S130において差分画像から識別されたサブ領域120のi,jのサブセットの時間的シーケンスは、各フレームを別々のチャンネルとして、時間次元において積み重ねられ、すなわち、配置され、この3Dデータ入力が、CNNに入力される。2Dフィルタを使用する代わりに、CNNは、3Dフィルタ、すなわち3D畳み込みカーネルを含むことができる。代替的に、これらのシーケンスは、CNNによって最初に処理されることができ、低次元表現、すなわち、特徴空間は、順次的にフレームが続く形でRNNに入力され、ここで、各フレームは、時間的シーケンスに沿って有向グラフを形成する。RNNでは、現在のフレームの出力が、1つ又は複数の以前のフレームに依存してもよい。ネットワークは、単方向又は双方向の長・短期記憶「LSTM」アーキテクチャを含んでもよい。画像内の流れの方向性は、画像内の流れの速度よりも重要でないことに留意されたい。各シーケンス内の画像フレームの異なる数を考慮するために、より短いシーケンスが、シーケンスの開始又は最後に空の画像でパディングされてもよい。代替的に、補間は、すべての時間的シーケンスにおけるフレームの数を等しくするために、新しい画像フレームを補間するために使用され得る。フレームレートは、ニューラルネットワークのパラメータとして含まれてもよい。
【0038】
別の例では、完全畳み込みニューラルネットワークが、ニューラルネットワーク130を提供するために使用されてもよい。特徴マップは、入力されたシーケンス長の差を補償するために使用されてもよい。このニューラルネットワークの精度を高めるために、訓練中に、入力されたシーケンスは、例えば、入力されたシーケンス長がより多くのばらつきを捕捉するように、シーケンス内のフレームをランダムにドロップ又は補間することによって、サイズ変更されてもよい。この例では、訓練中に、特徴マップは、手動注釈付き特徴セット、又はスケール不変特徴変換「SIFT」、スピードアップロバスト特徴「SURF」などの画像処理方法をグランドトゥルースとして使用して抽出された特徴セットを使用することによって、教師あり方式で学習されることができる。特徴マップは、固定サイズの特徴表現を学習するために、オートエンコーダなどのニューラルネットワークを使用して教師なしの方法で学習されることもできる。
【0039】
別の例では、ニューラルネットワーク130が、CNN及びRNNを含んでもよい。この例では、動作S130において差分画像から識別されたサブ領域120i,jのサブセットの時間的シーケンス内の各フレームは、CNNに入力され、フレームの低次元表現、例えば1D特徴ベクトルが、生成される。次いで、この特徴ベクトルは、入力の時間的側面を捕捉するために、LSTM又はゲート付き回帰型ユニット「GRU」などのRNNに入力される。
【0040】
上述のように、いくつかの例では、差分画像は、シーケンス内のより早い画像を使用して現在の画像について計算され、現在の画像の生成とシーケンス内のより早い画像の生成との間の時間期間ΔTは、各差分画像が現在の画像とシーケンス内のより早い画像との間の画像強度値の変化率を表すように、予め決定される。例えば、DSA画像データを表す差分画像をニューラルネットワークに入力することとは対照的に、現在の画像とシーケンス内の以前の画像との間の画像強度値の変化率を表す差分画像をニューラルネットワークに入力することの利点は、前者が造影剤の流れの動的な変化を表す画像フレームに対して相対的に高い強調を提供し、連続的な造影剤の流れ、又は全く流れなしを表す画像フレームに対して相対的に低い強調を提供することである。換言すれば、これは、
図5及び
図6において画像フレームFr2、Fr3、Fr10及びFr11に対して比較的高い強調を提供する。造影剤がある領域に入ると、時間微分は正になり、造影剤がある領域を離れると、時間微分は負になる。これは、関心のあるサブ領域を位置特定する効率を改善する。いくつかの例では、画像は、例えば、心臓及び呼吸原因の動き、患者の動き、及びノイズを低減するために、ローパスフィルタリングによって更に処理されてもよい。いくつかの例では、画像は、動きの影響を更に低減するために、動作S140においてサブ領域120
i,jの時間的シーケンスをニューラルネットワークに入力する前に、例えば、剛体、アフィン、又は変形可能な位置合わせを使用して、互いに位置合わせされることもできる。
【0041】
いくつかの例では、追加情報は、血管系の各サブ領域についての第1の到達時間の形でニューラルネットワーク130に入力される。第1の到達時間は、造影剤がサブ領域に入る時間を表す。これらの例では、血管造影画像の時間的シーケンスにおいて血管狭窄を位置特定する方法は、
造影剤がサブ領域に入る時間を表す血管系の各サブ領域についての第1の到達時間を計算するステップ、
を含み、
ニューラルネットワーク130は、血管系の時間的シーケンスから、及び第1の到達時間から、血管狭窄を含むものとして血管系のサブ領域を分類するように訓練され、
サブセットの識別された時間的シーケンスをニューラルネットワーク130に入力することは、サブ領域の第1の到達時間をニューラルネットワーク130に入力することを更に含む。
【0042】
第1の到達時間は、造影剤が各サブ領域に入る絶対時間として、又は血管系の所定の領域に入る造影剤と各サブ領域に入る造影剤との間のような別の基準に対する時間差として計算されてもよい。例えば、血管造影画像が脳を表す場合、第1の到達時間は、造影剤が動脈ツリーの基部に入るのと、造影剤が各サブ領域に入るのとの間の時間差として決定され得る。これらのイベントの時間は、例えば、血管系をセグメント化し、造影剤を検出するためにサブ領域に閾値を適用することによって決定されてもよい。第1の到達時間は、例えば、表示された時間的シーケンスにおける第1の到達時間を色分けすることによって、血管系の血管造影画像の表示された時間的シーケンスにおいて表されてもよい。
【0043】
いくつかの例では、追加情報が、他の撮像モダリティからの対応する画像データの形でニューラルネットワークに入力される。例えば、潅流CT画像データ、CT血管造影画像データ、又は他の撮像モダリティからの画像データが、血管系内の造影剤の流れを表す血管造影画像の受信された時間的シーケンス110に位置合わせされ、ニューラルネットワークに入力されてもよい。
【0044】
このようにニューラルネットワーク130に入力される追加情報は、血管狭窄140を含むものとして血管系のサブ領域120i,jを分類する際にニューラルネットワークを支援し得る。
【0045】
図8は、本開示のいくつかの態様による、血管造影画像の時間的シーケンスにおいて血管狭窄を位置特定するためにニューラルネットワークを訓練する方法を示すフローチャートである。本方法は、上述のニューラルネットワークを訓練するために使用され得る。
図8を参照すると、血管造影画像の時間的シーケンスにおいて血管狭窄を位置特定するようにニューラルネットワーク130を訓練するコンピュータ実施方法は、
血管系の複数のサブ領域内の造影剤の流れを表す血管造影画像の複数の時間的シーケンスを含む血管造影画像訓練データを受信するステップS210であって、各時間的シーケンスは、血管狭窄を含むものとしてグランドトゥルース分類で分類されるか、又は血管狭窄を含まないものとして分類される、ステップと、
受信された血管造影画像訓練データをニューラルネットワーク130に入力するステップS220と、ニューラルネットワーク130によって生成された各入力された時間的シーケンスの分類とグランドトゥルース分類との差に基づいて、ニューラルネットワーク130のパラメータを調整するステップと、
含む。
【0046】
血管造影画像訓練データは、例えば、透視又はDSA撮像データセットによって提供されてもよい。訓練データは、上述のように差分画像の形で提供されてもよい。訓練データは、1つ又は複数の臨床部位から生じ得る。訓練データは、1人以上の被験者から収集されてもよい。血管造影画像訓練データのサブ領域は、動作S220においてニューラルネットワークに入力されるサブ領域120i,jの時間的シーケンスを提供するのに上述された技術を使用して規定されてもよい。サブ領域に対するグランドトゥルース分類は、血管造影画像訓練データに、任意の狭窄の位置、又は代替的に任意の狭窄の不在の注釈を付ける専門家によって提供されてもよい。
【0047】
図8を参照して説明される訓練方法では、ニューラルネットワーク130のパラメータが、ニューラルネットワーク130によって生成された各入力された時間的シーケンスの分類とグランドトゥルース分類との差に基づいて自動的に調整される。この手順で調整されるパラメータは、ニューラルネットワークにおける活性化関数の重み及びバイアスを含む。パラメータは、訓練データを入力し、ニューラルネットワーク130によって生成された各入力された時間的シーケンスの分類とグランドトゥルース分類との間の差を表す損失関数の値を計算することによって調整される。訓練は、典型的には、ニューラルネットワークが対応する期待される出力データを正確に提供するときに終了される。損失関数の値又は誤差は、負の対数尤度損失、平均二乗誤差、又はフーバー損失、又はクロスエントロピーなどの関数を使用して計算され得る。訓練中、損失関数の値は、典型的には最小化され、訓練は、損失関数の値が停止基準を満たすときに終了される。時々、訓練は、損失関数の値が複数の基準のうちの1つ以上を満たすときに、終了される。
【0048】
勾配降下法、準ニュートン法等のような、損失最小化問題を解決するための様々な方法が、既知である。確率的勾配降下「SGD」、バッチ勾配降下、ミニバッチ勾配降下、ガウス・ニュートン法、レーベンバーグ・マルカート法、モーメンタム法、Adam、Nadam、Adagrad、Adadelta、RMSProp、及びAdamax「オプティマイザ」を含むが、これらに限定されない、これらの方法及びそれらの変形を実装するために、様々なアルゴリズムが開発されてきた。これらのアルゴリズムは、連鎖法を使用して、モデルパラメータに対する損失関数の導関数を計算する。このプロセスは、導関数が、最後の層又は出力層において開始して最初の層又は入力層に向かって移動して計算されるので、逆伝搬と称される。これらの導関数は、誤差関数を最小化するためにモデルパラメータがどのように調整されなければならないかをアルゴリズムに知らせる。すなわち、モデルパラメータに対する調整は、出力層から開始して、入力層が到達されるまでネットワーク内で後方に動作して行われる。最初の訓練反復において、初期重み及びバイアスは、しばしばランダム化される。次いで、ニューラルネットワークは、同様にランダムである出力データを予測する。次いで、逆伝搬は、重み及びバイアスを調整するために使用される。訓練プロセスは、各反復において重み及びバイアスに対する調整を行うことによって反復的に実行される。訓練は、誤差、又は予測される出力データと期待される出力データとの間の差が、訓練データ又はいくつかの検証データについて許容可能な範囲内にあるときに、終了される。その後に、ニューラルネットワークが、展開され得、訓練されたニューラルネットワークは、そのパラメータの訓練された値を使用して新しい入力データについて予測を行う。訓練プロセスが成功した場合、訓練されたニューラルネットワークは、新しい入力データから期待される出力データを正確に予測する。
【0049】
ニューラルネットワークを訓練することは、典型的には、大きな訓練データセットをニューラルネットワークに入力することと、訓練されたニューラルネットワークが正確な出力を提供するまで、ニューラルネットワークパラメータを反復的に調整することとを伴う。訓練は、多くの場合、グラフィックス処理装置「GPU」又はニューラル処理ユニット「NPU」又はテンソル処理ユニット「TPU」などの専用ニューラルプロセッサを使用して実行される。したがって、訓練は、典型的には、クラウドベース又はメインフレームベースのニューラルプロセッサがニューラルネットワークを訓練するために使用される集中型アプローチを採用する。訓練データセットを用いたその訓練に続いて、訓練されたニューラルネットワークは、新しい入力データ、「推定」と称されるプロセスを分析するための装置に展開され得る。推定中の処理要件は、訓練中に必要とされるものよりも著しく低く、ニューラルネットワークがラップトップコンピュータ、タブレット、携帯電話などの様々なシステムに展開されることを可能にする。推定は、例えば、サーバ上、又はクラウド内で、中央処理ユニット「CPU」、GPU、NPU、TPUによって実行され得る。
【0050】
図9は、本開示のいくつかの態様による、血管造影画像の時間的シーケンスにおいて血管狭窄を位置特定するためのシステム300を示す概略図である。システム300は、上述の方法の1つ又は複数の態様を実行するように構成された1つ又は複数のプロセッサ310を含む。システム300は、また、
図3に示されるように、上記の方法で使用するために、血管系内の造影剤の流れを表す血管造影画像110の時間的シーケンスを提供するように構成され得る、X線撮像システム320を含んでもよい。システム300は、また、ディスプレイ200、及び/又はキーボードなどのユーザインターフェース装置、及び/又は方法の実行を制御するためのマウスなどのポインティング装置、及び/又は患者ベッド330を含み得る。これらのアイテムは、
図9に示されるように、有線又は無線通信を介して互いに通信しうる。
【0051】
上記の例は、本開示を例示するものであり、限定するものではないと理解されるべきである。更なる例も、考えられる。例えば、コンピュータ実施方法に関連して説明された例は、対応する形で、コンピュータプログラム製品によって、又はコンピュータ可読記憶媒体によって、又は処理装置によって、又はシステムによっても提供され得る。任意の1つの例に関連して記載される特徴は、単独で、又は他の記載される特徴と組み合わせて使用されてもよく、また、別の例の1つ又は複数の特徴、又は他の例の組み合わせと組み合わせて使用され得ることを理解されたい。更に、上で説明されていない均等物及び修正物も、添付の特許請求の範囲で規定される本発明の範囲から逸脱することなく、使用され得る。請求項において、単語「有する」は、他の要素又は動作を排除するものではなく、不定冠詞「a」又は「an」は、複数性を排除するものではない。特定の特徴が相互に異なる従属請求項に記載されているという単なる事実は、これらの特徴の組み合わせを有利に使用されることができないことを示すものではない。請求項におけるいかなる参照符号も、それらの範囲を限定するものとして解釈されるべきではない。
【国際調査報告】