IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ コイオス メディカル,インコーポレイテッドの特許一覧

特許7183376検出精度を向上させるために関心領域の異なるビューからの複数の画像を用いるコンピュータ支援検出
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-11-25
(45)【発行日】2022-12-05
(54)【発明の名称】検出精度を向上させるために関心領域の異なるビューからの複数の画像を用いるコンピュータ支援検出
(51)【国際特許分類】
   A61B 8/14 20060101AFI20221128BHJP
   A61B 6/00 20060101ALI20221128BHJP
【FI】
A61B8/14
A61B6/00 350A
【請求項の数】 20
【外国語出願】
(21)【出願番号】P 2021191137
(22)【出願日】2021-11-25
(62)【分割の表示】P 2019509494の分割
【原出願日】2017-08-22
(65)【公開番号】P2022024139
(43)【公開日】2022-02-08
【審査請求日】2021-11-29
(31)【優先権主張番号】62/377,945
(32)【優先日】2016-08-22
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】15/338,707
(32)【優先日】2016-10-31
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】519046410
【氏名又は名称】コイオス メディカル,インコーポレイテッド
(74)【代理人】
【識別番号】100079108
【弁理士】
【氏名又は名称】稲葉 良幸
(74)【代理人】
【識別番号】100109346
【弁理士】
【氏名又は名称】大貫 敏史
(74)【代理人】
【識別番号】100117189
【弁理士】
【氏名又は名称】江口 昭彦
(74)【代理人】
【識別番号】100134120
【弁理士】
【氏名又は名称】内藤 和彦
(72)【発明者】
【氏名】マンモーネ,リチャード
(72)【発明者】
【氏名】ポディルチャック,クリスティーン アイ.
(72)【発明者】
【氏名】ジャイラージ,アジット
(72)【発明者】
【氏名】バリノフ,レブ
(72)【発明者】
【氏名】ハルバート,ウィリアム
【審査官】冨永 昌彦
(56)【参考文献】
【文献】特開2006-014967(JP,A)
【文献】特開2013-215524(JP,A)
【文献】国際公開第2016/088758(WO,A1)
【文献】米国特許出願公開第2017/0258451(US,A1)
【文献】特開2015-154918(JP,A)
【文献】米国特許出願公開第2015/0230773(US,A1)
【文献】米国特許出願公開第2011/0200227(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 8/00 - 8/15
A61B 6/00 - 6/14
G06T 7/00 - 7/90
(57)【特許請求の範囲】
【請求項1】
装置内のプロセッサによって実行される方法であって、
複数の画像フレームを受信することと、
前記複数の画像フレームからの第1の画像フレームにおいて、オブジェクトに関連付けられた関心領域(ROI)を識別することと、
記第1の画像フレーム及び前記複数の画像フレームからの少なくとも1つの追加の画像フレームを処理して、前記第1の画像フレームと前記少なくとも1つの追加の画像フレームとの間の少なくとも1つの相関関係を決定することと、
前記第1の画像フレームと前記少なくとも1つの追加の画像フレームとの間の前記少なくとも1つの相関関係に基づいて、前記ROIの持続性値を決定することと、
前記持続性値に基づいて、前記ROIがターゲットの偽陽性の識別を表すかどうかを判定することと、
を含む方法。
【請求項2】
前記複数の画像フレームが時間的に連続的な画像フレームのシーケンスを備えるように、前記複数の画像フレームは所定の時間的範囲内でキャプチャされる、請求項1に記載の方法。
【請求項3】
前記複数の画像フレームが互いに近接するように、前記複数の画像フレームは所定の空間的範囲内でキャプチャされる、請求項1に記載の方法。
【請求項4】
前記複数の画像フレームは、所定の時間間隔又は空間間隔のセットで取得された画像フレームのシーケンスを含み、前記方法は、
オプティカルフロー技法を使用して前記画像フレームのシーケンスにわたって前記オブジェクトを追跡することを更に含み、前記少なくとも1つの相関関係は、前記追跡することに基づく、請求項1に記載の方法。
【請求項5】
前記複数の画像フレームは組織に関連付けられており、前記方法は、
前記画像フレームのシーケンスにわたって前記オブジェクトを追跡することに基づいて、周囲の特徴に対する前記ROIの圧縮率を推測することと、
前記圧縮率に基づいて、前記組織に関連付けられた異常の表示を決定することと、を更に含み、前記ROIが前記ターゲットの偽陽性の識別を表すかどうかを判定することは、前記異常の表示に更に基づく、請求項4に記載の方法。
【請求項6】
前記第1の画像フレーム及び少なくとも1つの追加の画像フレームを処理することは、
前記第1の画像フレームに含まれる特徴を、前記複数の画像フレームのうちの前記少なくとも1つの追加の画像フレームの特徴と比較することと、
前記第1の画像フレーム内のピクセルのグループを識別することと、
前記第1の画像フレームの前記特徴と、前記少なくとも1つの追加の画像フレームの前記特徴とに基づいて前記ピクセルのグループの動きを決定することと、
前記ピクセルのグループの前記動きに関連付けられたベクトルを生成することと、を含み、
前記少なくとも1つの相関関係は、前記ピクセルのグループの前記動きに関連付けられた前記ベクトルに基づく、請求項1に記載の方法。
【請求項7】
前記第1の画像フレーム及び少なくとも1つの追加の画像フレームを処理することは、
前記第1の画像フレームの特徴を、前記複数の画像フレームのうちの前記少なくとも1つの追加の画像フレームの特徴と比較することと、
前記第1の画像フレームの前記特徴と、前記少なくとも1つの追加の画像フレームの前記特徴とに関連付けられた画像速度又は離散画像変位を算出することと、を含み、
前記少なくとも1つの相関関係は、前記画像速度又は離散画像変位に基づく、請求項1に記載の方法。
【請求項8】
前記第1の画像フレーム及び少なくとも1つの追加の画像フレームを処理することは、
前記第1の画像フレーム及び前記少なくとも1つの追加の画像フレームと異なる、前記複数の画像フレームからの画像フレームのセットであって、前記オブジェクトに関連付けられた追加の画像フレームのセットを識別することと、
前記複数の画像フレームから、前記オブジェクトに関連付けられた画像フレームの数を測定することであって、前記画像フレームの数は、前記第1の画像フレームと、前記少なくとも1つの追加の画像フレームと、前記オブジェクトに関連付けられた前記画像フレームのセットとを含み、前記持続性値は、前記画像フレームの数に基づく、測定することと、
前記持続性値が所定の閾値より低いことに基づいて、前記ROIが偽陽性の識別を表すと決定することと、を含む、請求項1に記載の方法。
【請求項9】
前記複数の画像フレームは、連続する画像フレームとしてキャプチャされ、前記第1の画像フレーム及び前記少なくとも1つの追加の画像フレームは、連続する画像フレームであり、前記第1の画像フレーム及び少なくとも1つの追加の画像フレームを処理することは、
前記複数の画像フレームに関連付けられた追跡運動ベクトルを決定するために、オプティカルフローを使用する関数を生成することであって、前記関数は、前記第1の画像フレームと前記少なくとも1つの追加の画像フレームとの間の前記追跡運動ベクトルを決定するための、前記複数の画像フレームの連続する画像フレーム間での振幅及びベクトルマッピングを含み、前記第1の画像フレームと前記少なくとも1つの追加の画像フレームとの間の前記少なくとも1つの相関関係は、前記第1の画像フレームと前記少なくとも1つの追加の画像フレームとの間の前記追跡運動ベクトルに基づく、請求項1に記載の方法。
【請求項10】
前記持続性値に基づいて、前記ROIが前記ターゲットの偽陽性の識別を表すと決定され、前記方法は、
前記ROIが前記ターゲットの偽陽性の識別を表すとの前記決定に関連付けられた信頼水準の測定を、前記持続性値に基づいて行うことを更に含む、請求項1に記載の方法。
【請求項11】
メモリと、
前記メモリに動作可能に結合されたプロセッサと、を備える装置であって、
前記プロセッサは、
組織エリアを描写する複数の画像フレームを受信することであって、前記複数の画像フレームは、(1)ある時間的範囲にわたって収集され、かつ時間的シーケンスにしたがって編成されているか、又は(2)ある空間的範囲内の異なる視点から収集され、かつ空間的シーケンスにしたがって構成されている、複数の画像フレームを受信することと、
前記複数の画像フレームからの第1の画像フレームにおいて、オブジェクトを含む関心領域(ROI)を識別することと、
前記複数の画像フレームから少なくとも1つの追加の画像フレームを識別することであって、前記少なくとも1つの追加の画像フレームは、前記時間的シーケンス又は前記空間的シーケンスにおいて前記第1の画像フレームを参照して識別された位置にある、少なくとも1つの追加の画像フレームを識別することと、
前記複数の画像フレームからの前記第1の画像フレーム及び前記少なくとも1つの追加の画像フレームを処理して、前記第1の画像フレームと前記少なくとも1つの追加の画像フレームとの間の少なくとも1つの相関関係を決定することと、
前記第1の画像フレームと前記少なくとも1つの追加の画像フレームとの間の前記少なくとも1つの相関関係に基づいて、前記複数の画像フレームから前記オブジェクトを含む画像フレームの数を識別することと、
前記オブジェクトの持続性値を算出することであって、前記持続性値は、前記オブジェクトを含むと識別された前記画像フレームの数に基づく、持続性値を算出することと、
前記持続性値に基づいて、前記ROIがターゲットの偽陽性の識別を表すかどうかを判定することと、を行うように構成されている、装置。
【請求項12】
前記メモリ及び前記プロセッサに動作可能に結合された画像生成デバイスを更に備え、前記画像生成デバイスは、シネループをキャプチャするように構成され、前記複数の画像フレームは、前記シネループの一部としてキャプチャされ、前記画像生成デバイスから受信される、請求項11に記載の装置。
【請求項13】
前記オブジェクトの前記持続性値を算出するように構成された前記プロセッサは、
前記オブジェクトに関連付けられた追跡情報を取得するように構成され、前記追跡情報は、前記第1の画像フレーム及び前記少なくとも1つの追加の画像フレームにおける前記オブジェクトの位置を示し、前記追跡情報は、前記第1の画像フレームと前記少なくとも1つの追加の画像フレームとの間における前記オブジェクトの動きを追跡するオプティカルフロー技法に基づいており、前記持続性値は、前記追跡情報に基づく、請求項11に記載の装置。
【請求項14】
前記プロセッサは、病変を含む可能性のある前記ROIを示す1つ以上の視覚的特徴を識別するようにトレーニングされたコンピュータ支援検出(CAD)システムを使用して前記ROIを識別するように構成される、請求項11に記載の装置。
【請求項15】
前記プロセッサは、前記第1の画像フレーム及び前記少なくとも1つの追加の画像フレームに含まれる特徴に関連付けられた追跡情報を取得するように構成され、前記追跡情報は、前記第1の画像フレームと前記少なくとも1つの追加の画像フレームとの間における前記特徴の動きの推定を示す追跡運動ベクトルを含み、前記持続性値は前記追跡情報に基づく、請求項11に記載の装置。
【請求項16】
前記第1の画像フレーム及び前記少なくとも1つの追加の画像フレームを処理するように構成された前記プロセッサは、
前記第1の画像フレームに含まれる識別された特徴を、前記少なくとも1つの追加の画像フレームに含まれる識別された特徴と比較し、
前記比較に基づいて、前記ROIの圧縮率を推測し、
前記圧縮率に基づいて、前記組織エリアに関連付けられた異常の表示を決定するように更に構成され、前記ROIが前記ターゲットの偽陽性の識別を表すかどうかを判定することは、前記異常の表示に基づく、請求項11に記載の装置。
【請求項17】
前記ROIが第1のROIであり、前記持続性値を算出するように構成された前記プロセッサは、
前記少なくとも1つの追加の画像フレームにおいて第2のROIを識別し、
前記第1のROIと前記第2のROIとの間の重複の度合いを決定するように更に構成され、前記オブジェクトの前記持続性値は、前記重複の度合いに基づく、請求項11に記載の装置。
【請求項18】
前記プロセッサは、
前記第1の画像フレーム及び前記少なくとも1つの追加の画像フレームに含まれる特徴に関連付けられた追跡情報を取得することであって、前記追跡情報は、前記第1の画像フレームと前記少なくとも1つの追加の画像フレームとの間における前記特徴の動きの推定を示す追跡運動ベクトルを含む、追跡情報を取得することと、
前記少なくとも1つの追加の画像フレームにおいて予測されるROIを決定することであって、前記予測されるROIは前記追跡情報に基づく、予測されるROIを決定することと、を行うように構成される、請求項11に記載の装置。
【請求項19】
前記持続性値は、前記ROIと前記予測されるROIとの比較に基づく、請求項18に記載の装置。
【請求項20】
前記持続性値は、前記ROIと前記予測されるROIとの間の重複の度合いに基づく、請求項18に記載の装置。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
[0001] 本願は、2016年8月22日出願の「Method and System of Computer-Aided Detection Using Multiple Images from Different Views of a Region of Interest to Improve Detection Accuracy」という名称の米国仮特許出願第62/377,945号への優先権を主張する、「Method and System of Computer-Aided Detection Using Multiple Images from Different Views of a Region of Interest to Improve Detection Accuracy」という名称の米国特許出願第15/338,707号の継続出願であり、各々の内容の全体が参照により本明細書に組み込まれる。
【0002】
[0002] 本願は、2016年8月22日出願の「Method and System of Computer-Aided Detection Using Multiple Images from Different Views of a Region of Interest to Improve Detection Accuracy」という名称の米国仮特許出願第62/377,945号への優先権も主張し、その全体が参照により本明細書に組み込まれている。
【0003】
[0003] 1.分野
[0004] 本発明の概念は、一般に、医用画像のコンピュータ支援検出及び疑わしい異常又は病変の検出の分野に関する。特に、本発明の概念は、異なる視点から収集した複数の画像を介して、及び、ある期間にわたって、検出される潜在的な病変の持続性(persistence)を決定するためにオプティカルフロー法及びブロックマッチング法を使用する、医用画像を処理するための方法及びシステムに関する。
【背景技術】
【0004】
[0005] 2.背景
[0006] コンピュータ支援診断(CAD)は、時にはCADe又はCADxと呼ばれ、脳の異常、乳がん、肺がん、結腸がん、前立腺がん、骨転移、冠動脈疾患、先天性心臓欠陥、及びアルツハイマー病の診断に使用される。従来のシステムは、単一画像内の病変を検出するために使用される。これらのシステムは、病変の境界形状(形態特徴)及び病変内のグレーレベルの均一性(テクスチャ特徴)を特徴付ける、特徴の抽出を必要とする。病変のサイズ、形状、配向、並びに、不明瞭又は拡散的な境界、及び背景ノイズにおける変動は、身体内に見られる他の超音波アーチファクトから真の病変を検出するのを困難にする。
【0005】
[0007] 超音波医用画像診断システムは、病変の検出をより困難にする可能性のある多数のアーチファクトに対処しなければならない。一般に、超音波アーチファクトは、誤検出を発生させ、時には、病変の正確な検出を隠してしまう可能性がある。超音波画像診断で遭遇する一般的なアーチファクトは、異方性、残響、音響陰影、音響増強、縁部陰影、ビーム幅アーチファクト、スライス厚アーチファクト、サイドローブアーチファクト、鏡像、二重像、機器生成アーチファクト、及び屈折アーチファクトを含む。
【0006】
[0008] 異方性とは、腱が超音波ビームに対して90度の場合は明るく、角度が変化すると暗く見える効果である。その理由は、特に平滑な境界にある場合、従来の鏡を用いる場合と全く同様に、反射と入射の角度が同じであるためである。残響とは、音響インピーダンスの不整合性が高い2つのインターフェース間で反復される反射に起因する、偽エコーの生成である。超音波画像上の音響陰影は、超音波を強力に吸収又は反射する構造後方の信号空隙によって特徴付けられる。音響増強は、後部増強と呼ばれるか又は伝達を介して増強されることもあり、音を並外れて良好に伝達する構造深部の増大エコーを言い表す。超音波ビーム幅アーチファクトは、拡幅された超音波ビームの向こう側に配置された反射物が、収束ゾーン後に、対象の構造と重複して表示される検出可能な偽エコーを作成する場合に発生する。スライス厚アーチファクトはビームの厚みに起因し、ビーム幅アーチファクトと同様である。サイドローブアーチファクトは、サイドローブが、中心ビームの外側にある強力なリフレクタから音を反射させる場合、及び、エコーがあたかも中心ビーム内から発せられているかのように表示される場合に、発生する。超音波検査法における鏡像アーチファクトは、1次ビームの経路内に高反射性表面が存在する場合に見られる。二重像アーチファクトは、リフレクタの第2の画像を生成するレンズとして作用する筋などの領域の屈折に起因する。間違った設定に起因する機器生成アーチファクトは、アーチファクトの発生につながる可能性がある。屈折アーチファクトは、媒体間の移動に起因する音方向の変化に起因する。
【発明の概要】
【発明が解決しようとする課題】
【0007】
[0009] 本発明の概念の様々な態様が想起及び開発されたのは、とりわけ、こうした観察を念頭に置いたものである。
【課題を解決するための手段】
【0008】
[0010] 有利なことに、持続特性を決定することで、いくつかのビューでは検出されるが、動きフィールド及び/又はブロック追跡情報とは一致しないアーチファクトからの、真の病変の識別、及び/又は、数個の時間フレーム内でのみ検出されるか、あるいは、動きフィールド又は追跡情報に従うことのないランダムな場所に見られる、瞬間的な異常からの、真の病変の識別を、容易にすることが発見された。したがって、本発明の概念の一実装は、複数の画像フレームにアクセスする動作と、複数の画像フレームのうちの第1の画像フレームから関心領域を識別する動作と、関心領域が第1の画像フレーム及び第2の画像フレームにわたって持続するかどうかを判定するために第1の画像フレームの特徴と第2の画像フレームの特徴とを比較することによって、関心領域が偽陽性であるかどうかを判定するために複数の画像フレームのうちの第1の画像フレーム及び第2の画像フレームを処理する動作とを、実施するために、プロセッサによって実行される、命令を記憶するためのメモリを備えるコンピューティングデバイスを利用すること、を含む、方法の形を取り得る。
【0009】
[0011] 前述の内容は、本発明の概念の別の態様において、コンピュータ支援検出システムを使用して病変又は異常を検出する方法を提供することによって、達成され得る。方法は、順次画像データ、ビデオクリップ、容積測定設定、及び/又はそれらのシーケンス、及び/又はそれらの組み合わせを収集するステップと、画像データに関連付けられた時間/順序情報を収集するステップと、画像データ及び時間/順序データに関連付けられた相違を検出し、偽陽性の病変又は異常の検出数を減少させるために、画像データ及び時間/順序データを処理するステップと、を含む。画像データは、2D画像データであってよい。方法は、システムの性能を向上させるために、少なくとも1つのオプティカルフロー技法を一時的に使用するステップを含み得る。
【0010】
[0012] 前述の内容は、本発明の概念の別の態様において、病変又は異常を含む可能性が高い関心領域(ROI)を識別するように構成された、コンピュータ支援検出システムを提供することによって、達成され得る。システムは、時間情報を使用して真の検出の感度又は数を保持しながら、偽陽性の数を減少させるように構成された、プロセッサを含み得る。時間情報は、オプティカルフロー技法を使用して決定され得る。システムは、追跡情報を使用して各画像フレームについて別々に、従来の静的CADe手法を使用して見つかったROI間の相関関係を決定するように構成された、相関エンジンを含み得る。プロセッサは、偽陽性又は低持続性及び真陽性又は高持続性を決定するために、追跡情報を使用して、ROIが現れるフレームの数として持続性を測定するように構成され得る。プロセッサは、予測されるROIの重複の度合いを追跡運動ベクトルによって与えられるものとして決定することによって、持続性を測定するように構成され得る。ROIは、静的CADe法を使用して検出され得る。重複の度合いが大きいほど、真の病変の可能性が高いか、又は偽陽性の可能性が低いことに対応する。
【0011】
[0013] 前述の内容は、本発明の概念の別の態様において、病変又は異常を検出するように構成されたシステムを提供することによって達成され得る。システムは、画像データ及び時間情報を受信するように構成されたプロセッサ、及び/又は、画像データ及び時間情報を記憶するように構成されたメモリを含み得る。プロセッサは、画像データ及び時間データに関連付けられた相違を検出するため、及び、偽陽性の病変又は異常の検出数を減少させるために、画像データ及び時間データを処理するように構成され得る。
【0012】
[0014] 前述の内容は、本発明の概念の別の態様において、病変又は異常を含む可能性が高い関心領域(ROI)を識別するために、コンピュータ支援検出の方法を提供することによって達成され得、方法は、真の検出の感度又は数を保持又は増大させながら、偽陽性の数を減少させるために、2つの隣り合う画像フレームに関連付けられた持続的な空間及び/又は時間情報を使用するステップを含む。
【0013】
[0015] 前述の内容は、本発明の概念の別の態様において、コンピュータ支援検出システムを使用して病変又は異常を検出する方法を提供することによって達成され得、方法は、画像データ、ビデオクリップ、及び/又はシーケンスを収集するステップと、画像データに関連付けられた時間情報を収集するステップと、画像データ及び時間データに関連付けられた相違を検出するため、及び、偽陽性の病変又は異常の検出数を減少させるために、画像データ及び時間データを処理するステップとを、含む。
【0014】
[0016] 前述の内容は、本発明の概念の別の態様において、病変又は異常を含む可能性が高い関心領域(ROI)を識別するように構成された、コンピュータ支援検出システムを提供することによって達成され得、システムは、時間情報を使用して真の検出の感度又は数を保持しながら、偽陽性の数を減少させるように構成された、プロセッサを備える。
【0015】
[0017] 前述の内容は、本発明の概念の別の態様において、病変又は異常を検出するように構成されたシステムを提供することによって達成され得、システムは、画像データ及び時間情報を受信するように構成されたプロセッサと、画像データ及び時間情報を記憶するように構成されたメモリとを備え、プロセッサは、画像データ及び時間データに関連付けられた相違を検出するため、及び、偽陽性の病変又は異常の検出数を減少させるために、画像データ及び時間データを処理するように構成される。
【0016】
[0018] 前述の内容は、本発明の概念の別の態様において、少なくとも1つの有形記憶媒体と通信する少なくとも1つの処理ユニットを備えるコンピューティングデバイスを利用することを含む、方法を提供することによって達成され得、有形記憶媒体は、所定の時間間隔に関連付けられた順次画像フレームにアクセスする動作と、順次画像フレームに関連付けられた関心領域を識別する動作と、順次画像フレーム間で追跡又はマッピング情報を生成するためにオプティカルフローを利用する動作と、関心領域が現れるか、あるいは、追跡又はマッピング情報を使用して順次画像フレームのうちの特定のフレーム間で相関可能な、順次画像フレームの数として、持続性値を生成する動作とを、実施するためのコンピュータ実行可能命令を含む。
【0017】
[0019] 前述の内容は、本発明の概念の別の態様において、所定の時間間隔にわたる画像フレームに関連付けられた関心領域の時間持続性値を決定するために、画像フレームと共にオプティカルフローを利用するように動作可能な、コンピュータ支援検出(CAD)デバイスを備える装置を提供することによって、達成され得る。
【0018】
[0020] 本発明の概念の前述及び他の態様を、限定するためではなく説明の目的で、添付の図面を参照しながらより詳細に説明する。
【図面の簡単な説明】
【0019】
図1A】[0021]本発明の概念の態様を実施するための例示的システムを示す図である。
図1B】[0022]本発明の概念の態様を実施するための例示的システムを示す図である。
図2A】[0023]相対的に識別がより困難であり、偽陽性に対する感度又は真陽性検出の数におけるトレードオフと共に、y軸上の真陽性の感度を画像当たりの偽陽性の数の関数としてx軸上に示す、病変の検出の自由応答受信者動作特性(FROC)曲線を示す図である。
図2B】[0024]相対的に識別がそれほど困難ではない、偽陽性に対する感度又は真陽性検出の数におけるトレードオフと共に、y軸上の真陽性の感度を画像当たりの偽陽性の数の関数としてx軸上に示す、病変の検出のFROC曲線を示す図である。
図3A】[0025]図3B及び図3Dに示されるように、検出された関心領域の時間持続性をチェックするために、本発明の概念の1つ以上のオプティカルフロー技法を使用して、図3A及び図3Cの画像内で検出された偽陽性をどのようにして除去することが可能であるかを示す図である。
図3B】[0025]図3B及び図3Dに示されるように、検出された関心領域の時間持続性をチェックするために、本発明の概念の1つ以上のオプティカルフロー技法を使用して、図3A及び図3Cの画像内で検出された偽陽性をどのようにして除去することが可能であるかを示す図である。
図3C】[0025]図3B及び図3Dに示されるように、検出された関心領域の時間持続性をチェックするために、本発明の概念の1つ以上のオプティカルフロー技法を使用して、図3A及び図3Cの画像内で検出された偽陽性をどのようにして除去することが可能であるかを示す図である。
図3D】[0025]図3B及び図3Dに示されるように、検出された関心領域の時間持続性をチェックするために、本発明の概念の1つ以上のオプティカルフロー技法を使用して、図3A及び図3Cの画像内で検出された偽陽性をどのようにして除去することが可能であるかを示す図である。
図4A】[0026]B(すなわち、内側四角形)によって手動でマーク及び表示されるグランドトゥルース、例えば真の病変境界と比較した、A(すなわち、外側四角形及びいかなる内側四角形もない四角形)によって示されるオプティカルフローを使用して、検出結果を示す図である。
図4B】[0026]B(すなわち、内側四角形)によって手動でマーク及び表示されるグランドトゥルース、例えば真の病変境界と比較した、A(すなわち、外側四角形及びいかなる内側四角形もない四角形)によって示されるオプティカルフローを使用して、検出結果を示す図である。
図4C】[0026]B(すなわち、内側四角形)によって手動でマーク及び表示されるグランドトゥルース、例えば真の病変境界と比較した、A(すなわち、外側四角形及びいかなる内側四角形もない四角形)によって示されるオプティカルフローを使用して、検出結果を示す図である。
図4D】[0026]B(すなわち、内側四角形)によって手動でマーク及び表示されるグランドトゥルース、例えば真の病変境界と比較した、A(すなわち、外側四角形、及びいかなる内側四角形もない四角形)によって示されるオプティカルフローを使用して、検出結果を示す図である。
図5A】[0027]B(すなわち、内側四角形)によって手動でマーク及び表示されるグランドトゥルースと比較した、A(すなわち、外側四角形、及びいかなる内側四角形もない四角形)によって示されるオプティカルフローを使用して、検出結果を示す図である。
図5B】[0027]B(すなわち、内側四角形)によって手動でマーク及び表示されるグランドトゥルースと比較した、A(すなわち、外側四角形、及びいかなる内側四角形もない四角形)によって示されるオプティカルフローを使用して、検出結果を示す図である。
図6A】[0028]B(すなわち、一番上に延在する四角形)によって手動でマークされるグランドトゥルースと比較した、Aによって示されるオプティカルフローを使用して、検出結果を示す図である。
図6B】[0028]B(すなわち、一番上に延在する四角形)によって手動でマークされるグランドトゥルースと比較した、Aによって示されるオプティカルフローを使用して、検出結果を示す図である。
図7A】[0029]B(すなわち、一番左に延在する四角形)によって手動でマークされるグランドトゥルースと比較した、Aによって示されるオプティカルフローを使用して、検出結果を示す図である。
図7B】[0029]B(すなわち、一番左に延在する四角形)によって手動でマークされるグランドトゥルースと比較した、Aによって示されるオプティカルフローを使用して、検出結果を示す図である。
図8A】[0030]B(すなわち、一番左及び一番右に延在する四角形)によって手動でマークされるグランドトゥルースと比較した、Aによって示されるオプティカルフローを使用して、検出結果を示す図である。
図8B】[0030]B(すなわち、一番左及び一番右に延在する四角形)によって手動でマークされるグランドトゥルースと比較した、Aによって示されるオプティカルフローを使用して、検出結果を示す図である。
図9】[0031]B(すなわち、一番上及び一番下に延在する四角形)によって手動でマークされるグランドトゥルースと比較した、Aによって示されるオプティカルフローを使用して、検出結果を示す図である。
図10】[0032]本発明の概念の態様についての例示的プロセスフローである。
図11】[0033]本発明の概念の態様についての別の例示的プロセスフローである。
【0020】
[0034] 図面は、本発明の概念を、本明細書において開示及び説明される特定の実施形態に限定するものではない。図面は必ずしも一定の縮尺ではなく、本発明の概念の或る実施形態の原理を明白に示すことに重点が置かれている。
【発明を実施するための形態】
【0021】
[0035] 下記の詳細な説明は、本発明の概念の様々な実施形態を示す添付の図面を参照する。図及び説明は、当業者が本発明の概念を実践できるようにするために、本発明の概念の態様及び実施形態を十分詳細に説明することが意図されている。本発明の概念の範囲を逸脱することなく、他の構成要素が利用可能であり、変更が可能である。したがって、下記の詳細な説明は限定的な意味で行われるものではない。本発明の概念の範囲は、添付の特許請求の範囲、並びにこうした特許請求の範囲に与えられた権利と等価の全範囲によってのみ定義される。
【0022】
[0036] I.用語
[0037] 本説明において、本発明の概念の特徴を説明するための用語が使用される。例えば、「一実施形態」、「或る実施形態」、「この実施形態」、又は「複数の実施形態」という用語への言及は、1つ以上の特徴が本発明の概念の少なくとも1つの態様に含まれることを指すことを意味する。本説明において、「一実施形態」、「或る実施形態」、「この実施形態」、又は「複数の実施形態」という用語への別々の言及は、必ずしも同じ実施形態を指すものではなく、そのように言明されていない限り、及び/又は、当業者であれば本説明から容易に明らかとなる場合を除き、相互に排他的でもない。例えば、一実施形態において説明される特徴、構造、プロセス、ステップ、動作などは、他の実施形態にも含まれ得るが、必ずしも含まれるものではない。したがって、本発明の概念は、本明細書で説明される実施形態の様々な組み合わせ及び/又は統合を含み得る。加えて、本明細書で説明される本発明の概念のすべての態様は、その実践に不可欠ではない。
【0023】
[0038] 「アルゴリズム」という用語は、本明細書で具体的に説明されるか、又は、本説明に照らして当業者に容易に明らかになる、本発明の概念のそれらの機能を含むが限定されない、1つ以上の機能を実行するように構成された、論理、ハードウェア、ファームウェア、ソフトウェア、及び/又はそれらの組み合わせを指す。こうした論理は、データ処理及び/又は記憶機能を有する回路を含み得る。こうした回路の例は、マイクロプロセッサ、1つ以上のプロセッサ、例えばプロセッサコア、プログラマブルゲートアレイ、マイクロコントローラ、特定用途向け集積回路、ワイヤレス受信器、送信器、及び/又は送受信器回路、半導体メモリ、あるいは組み合わせ論理を含むが、限定されない。
【0024】
[0039] 「論理」という用語は、実行可能アプリケーションの形の実行可能コード、アプリケーションプログラミングインターフェース(API)、サブルーチン、関数、プロシージャ、アプレット、サーブレット、ルーチン、ソースコード、オブジェクトコード、共有ライブラリ/動的負荷ライブラリ、あるいは、1つ以上の命令などの、1つ以上のソフトウェアモジュールの形の、コンピュータコード及び/又は命令を指す。これらのソフトウェアモジュールは、任意のタイプの好適な非一時的記憶媒体、又は一時的記憶媒体、例えば、電気、光、音、あるいは、搬送波、赤外線信号、又はデジタル信号などの他の形の伝搬信号に記憶され得る。非一時的記憶媒体の例は、プログラマブル回路、半導体メモリ、揮発性メモリ(例えば、任意のタイプのランダムアクセスメモリ「RAM」)などの非持続性ストレージ、不揮発性メモリ(例えば、読み取り専用メモリ「ROM」、電力支援RAM、フラッシュメモリ、相変化メモリなど)、ソリッドステートドライブ、ハードディスクドライブ、光ディスクドライブ、又はポータブルメモリデバイスなどの、持続性ストレージを含み得るが、限定又は制約されない。ファームウェアとして、実行可能コードは持続性ストレージに記憶される。
【0025】
[0040] 「ユーザ」という用語は、本発明の概念のシステム及び/又は方法のユーザを表すために、本明細書では一般に同意語として使用される。本明細書における目的の場合、ユーザは、臨床医、診断医、医師、技術者、学生、及び/又は管理者であってよい。
【0026】
[0041] 「識別される」、「処理される」、及び「選択される」という用語は、少なくとも1つのプロセッサを介して、1つ以上のプロセスにおいてシステムによって自動的に実施又は実行されるコンピュータ化されたプロセスを表すために、一般に、時制に関係なく、本明細書では同意語として使用される。
【0027】
[0042] 頭字語「CAD」は、コンピュータ支援診断を意味する。
【0028】
[0043] 「クライアント」という用語は、CAD病変アプリケーションに接続するソフトウェアの任意のプログラムを意味する。
【0029】
[0044] 「サーバ」という用語は、特に指定のない限り、典型的には1つ以上のクライアントについてリッスンしているCAD病変アプリケーションを指す。
【0030】
[0045] 「後処理」という用語は、入力された超音波画像に適用されるアルゴリズムを意味する。
【0031】
[0046] 頭字語「PACS」は、画像保管通信システムを意味する。
【0032】
[0047] 頭字語「GSPS」は、グレースケールソフトコピー提示状態を意味する。
【0033】
[0048] 頭字語「DICOM」は、医用におけるデジタル画像と通信を意味する。
【0034】
[0049] 頭字語「UI」は、ユーザインターフェースを意味する。
【0035】
[0050] 頭字語「PHI」は、民間医療情報を意味する。
【0036】
[0051] 「コンピュータ化された」という用語は、一般に、任意の対応する動作が、ソフトウェア及び/又はファームウェアと組み合わせてハードウェアによって実行されることを表す。
【0037】
[0052] 最後に、「又は」及び「及び/又は」という用語は、本明細書で使用される場合、包括的であるか、あるいは任意の1つ又は任意の組み合わせを意味するものと解釈されるべきである。したがって、「A、B、又はC」あるいは「A、B、及び/又はC」は「以下のうちのいずれか、A、B、C、A及びB、A及びC、B及びC、A、B、及びC」を意味する。この定義の例外は、要素、関数、ステップ、又は作用の組み合わせが、何らかの様式で本質的に相互排他的である場合にのみ生じることになる。
【0038】
[0053] 本発明の概念が多くの異なる形の実施形態の影響を受けやすいため、本発明の概念は、本発明の概念の原理の一例として見なされるものと意図され、本発明の概念を図示及び説明する特定の実施形態に限定することは意図されない。
【0039】
[0054] II.一般的なアーキテクチャ
[0055] 放射線科医などのトレーニングされた医療専門家は、一般に、医用画像内の疑惑領域又は関心領域を、手動で又はコンピュータソフトウェアを使用して、識別及び分類するように試みる。その後、放射線科医は、関連する格付けシステムに従って、各疑惑領域を手動で特徴付けることができる。例えば、がんの病変を含む可能性のある胸部内の疑わしい関心領域は、Breast Imaging Reporting and Data Systems(胸部画像化レポート及びデータシステム/BI-RADS)ガイドラインに従って特徴付けることができる。
【0040】
[0056] 超音波技術者は、検出エラーを生じさせる可能性のあるアーチファクト及びノイズに起因する病変検出の際の不確実性を減少させるために、関心領域(ROI)周辺でトランスデューサを動かして、様々な視点を取得するようにトレーニングされ得る。真の病変は異なる視点から識別され得るが、その一方で、ほとんどのアーチファクトは異なる視野角で大幅に変化することになる。本発明の概念の態様によれば、関心領域の様々な視点の観察は、人間のオペレータによる病変の最適な検出にとって重要な因子であり得る。従来のCADeシステムは、一般に、視野(FOV)内に病変が存在するかどうかを検出するために、1つの画像又は2つの直交画像のみを注視する。本発明の概念は、本明細書で説明するようなCADシステムによってリアルタイム又はオフラインで分析可能な、複数の様々な視野角にわたって持続するROIの一部を決定することを企図する。
【0041】
[0057] 本発明の概念の態様は、オプティカルフロー法及びブロックマッチング(又は追跡)法を使用して、又は、隣り合う画像間のROIのマッピング機能を順次生成することによって、医用画像を処理するためのシステム及び方法を含む。本発明の概念のマッピング機能は、変動する視点からの医用画像の連続する時間フレーム間で動き又は追跡情報を決定するための振幅及びベクトルマッピングを含み得る。
【0042】
[0058] オプティカルフロー又はオプティックフローは、画像に関連付けられた相対的な動きを考慮しながら、与えられた画像(又は画像セット)のオブジェクト、表面、縁部、又は他の視覚的特徴のパターンとして説明され得る。オプティカルフロー法を使用して、時間間隔に基づく2つの画像フレーム間の動きを計算することができる。画像のセットを順次使用して、動きを画像速度又は離散画像変位として推定することができる。本明細書で説明するオプティカルフロー法は、位相相関、ブロックベース法、差分法、離散最適化法などを含み得る。一実施形態において、ブロックベース法を利用して、二乗差の合計又は絶対差の合計を最小化するか、あるいは、シーケンス内の隣り合う画像に関連付けられた正規化相互相関を最大化することができる。追跡法も利用可能である。具体的には、角及びテクスチャエリアなどの視覚特徴を抽出し、それらを複数のフレームにわたって追跡することを含む、特徴追跡が利用可能である。特徴追跡の実施の一例として、2つの後続のフレームが与えられた場合、ポイント変換を推定することができる。
【0043】
[0059] マッピング又は追跡情報を使用して、静的な2次元(2D)CADe手法を使用して各時間フレーム内に見つかった関心領域(ROI)に基づいて、画像フレームが相関可能であるかどうかを判定することができる。画像又は複数画像のフレームを、容積測定胸部全体超音波データにおいて任意角を介した順次トラバースから導出されるシーケンスとしてシミュレートすることもできる。本発明の概念のシステム及び方法を使用すると、真の病変は、いくつかの視点を介して追跡可能なROIとして現れ得る。他方で、偽陽性は、相対的に数個の視点について持続するように、及び、ROIのオプティカルフロー及びブロックマッチング追跡情報と相関されない場所に現れるように、示され得る。
【0044】
[0060] したがって、本発明の概念は、関心領域の複数のビューから隣り合う画像、すなわち、複数の画像の各々が関心領域の異なるビューのものである関心領域の複数の画像を処理することによって、現行のCADeシステムの制限を克服する。本発明の概念のシステム及び方法は、本発明の概念の範囲を逸脱することなく、関心領域の同じビューの複数の画像を利用できることが予見される。複数の画像を使用して、病変のコンピュータ支援検出CADeにおけるアーチファクトの干渉効果を減少させることができる。
【0045】
[0061] 本発明の概念は、有利には、現行の単一、二重、又は容積測定視点画像CADeシステム全体にわたって性能を向上させるために、トランスデューサ角度を変えること、又は、容積測定胸部全体超音波データからのシーケンスをシミュレートすることから取得される、多数の視点に関連する情報を利用する。例えば、特定の関心領域についての一連の画像を処理して、シーケンス内の1つの画像から次の画像への、画像のパッチの変位ベクトルを見つけることができる。パッチは、画像のシーケンスにわたるパッチ内に、形態学的特徴及びテクスチャ特徴の同様のセットを有するものとして定義される。ROIについてCADeを使用する病変の検出可能性を増加又は減少させるために、結果として生じる変位ベクトル及びシーケンス全体にわたるパッチの平均グレースケール変化が使用される。
【0046】
[0062] 更に、静的CADeシステムから検出される病変の信頼水準を提供するために、画像間のROIの持続性を使用することができる。オペレータは、最高の信頼水準で、関心領域及びその周囲でのCADx診断のために画像を記録することができる。
【0047】
[0063] 図1Aは、1つ以上の段階を含む画像分析プロセスを実行するために利用可能な、例示的なCADシステム20を示す。図に示されるように、CADシステム20は、放射線ワークステーション22、DICOMウェブビューワアクセス24、PACSサーバ26、及びCADデバイス28を備え得る。放射線ワークステーション22は、少なくとも1つの高精細モニタ、調節可能な臨床医/オペレータデスク、電源、デスクトップコンピュータ又は他のこうしたコンピューティングデバイス、ケーブル周辺機器、電源、及びPACSバックライトなどのPACS特有の周辺機器、並びに、PACSモニタデバイスホルダ/フレームを備え得る。
【0048】
[0064] PACSサーバ26は、放射線画像などの医用画像のデジタル記憶、伝送、及び取り出しのためのシステムを備え得る。PACSサーバ26は、画像診断法と直接インターフェースするソフトウェア及びハードウェア構成要素を備え得る。画像は、表示及びレポートのために、PACSサーバ26から外部デバイスに転送され得る。CADデバイス28は、PACSサーバ26からの画像、又は放射線ワークステーション22から直接の画像に、アクセスし得る。
【0049】
[0065] CADウェブ及び処理サーバ又は他のCADコンピューティングデバイスを備え得る、CADデバイス28は、アプリケーションサーバ、ウェブサーバ、処理サーバ、ネットワークサーバ、メインフレーム、デスクトップコンピュータ、又は他のコンピューティングデバイスのうちの少なくとも1つを備え得る。CADデバイス28は、少なくとも1つのWindowsベース、タワー、又はラック型のファクタサーバを更に備え得る。CADデバイス28は、JavaScript、HTML、又はCSSで実装されるクライアント側ユーザインターフェースを提供するように動作可能であり得る。CADデバイス28は、例えば、Microsoft ASP/.NET、C#/PHPなどにおいて実装されるサーバ側インターフェースを備え得る。CADデバイス28は1つ以上のクラウドサービスを利用して、放射線ワークステーション22などの他のデバイスへとアクセス及びサービスを拡張することができる。
【0050】
[0066] CADデバイス28は、DICOMウェブビューワアクセス24、ウェブインターフェースを使用するネットワークを介して、又はアプリケーションプログラミングインターフェース(API)のうちの1つ以上を使用して、放射線ワークステーション22と通信し得る。DICOMウェブビューワアクセス24は、医用画像ビューワを備え得、ラップトップ、タブレット、スマートフォン、インターネットテレビジョン、又は他のコンピューティングデバイスなどの現代のブラウザを備える、任意のプラットフォーム上で実行可能である。これは、ローカル又はリモードのデータをDICOMフォーマット(磁気共鳴映像法(MRI)、コンピュータ断層撮影(CT)、エコー、マンモグラフィなどの医用画像データのための標準)でロードするように動作可能であり、或る画像領域についてのコントラスト、ズーム、ドラッグ、ドローイングなどの操作のための標準ツール、並びに、閾値及び鮮明化などの画像フィルタを、提供する。一実施形態において、放射線ワークステーション22は、放射線ワークステーション22のコンピューティングデバイスのウェブブラウザを介してDICOMウェブビューワアクセス24を実装することによって、CADデバイス28と通信し得る。本発明の概念の態様は、1つ以上の医用画像に既にアクセスしている可能性のあるCADデバイス28上に単独で実装され得ることを理解されたい。
【0051】
[0067] CADデバイス28は、C++で開発されたCADアプリケーション12を使用して本発明の概念の態様を実装し得るが、他のプログラミング言語も企図される。CADアプリケーション12は、Windows XP、Windows Vista、Windows 7、Windows 8、Windows 10、及びそれらの組み込まれた相対物などの、オペレーティングシステムの態様と互換性があり、それらを利用することができる。CAD病変アプリケーション12は、ハードウェアに依存せず、アプリケーションサーバ、ネットワークサーバ、メインフレーム、デスクトップコンピュータなどの、様々な異なるコンピューティングデバイス上で実装され得る。CADアプリケーション12は、臨床医などのユーザによるアクセスが可能な、外部インターフェースを利用し得る。
【0052】
[0068] CADアプリケーション12は、CADデバイス28などの、コンピューティングデバイスのオペレーティングシステム上にインストールされるか、又は他の方法で常駐し得る。CADアプリケーション12は、内部に常駐しているオペレーティングシステムの外部の任意のコア機能に依拠する必要のない、自己完結型アプリケーションを備え得る。CADアプリケーション12は、CAD病変アプリケーション12がDICOMデータを受信すること、並びにトランザクションの発信元へこうしたデータを戻すことを可能にする、DICOMインターフェースを含み得る。
【0053】
[0069] 図1Bは、本明細書で説明するような図1Aのシステム20と同様の1つ以上の段階を含む画像分析プロセスを実行することを含む、画像処理を実装するためのシステム100の別の実施形態である。図に示されるように、システム100は、画像生成デバイス102、画像のセット104又は画像フレーム、及び画像104を処理するためのコンピューティングデバイス106を備える。システム20及びシステム100は相互排他的ではないため、本明細書で説明するCAD処理の発明の概念は、システム20及び/又はシステム100からの特徴を含み得ることを理解されたい。
【0054】
[0070] 図1A及び図1Bは、図10のプロセスフロー1000を参照しながら説明し得る。ブロック1002において、複数の画像フレームがコンピューティングデバイスによってアクセスされ得る。図10のコンピューティングデバイスは、CADデバイス28又はコンピューティングデバイス106であってよい。コンピューティングデバイス106はCADデバイスに限定されず、デスクトップ、ラップトップ、あるいはサーバ又はモバイルデバイスであってよい。画像フレームは、トランスデューサ、3D超音波、連続X線ビームを使用する蛍光透視デバイスなどの、任意の数又はタイプの画像生成デバイスを含み得る、画像生成デバイス102を使用して生成され得る。画像フレーム又は画像は、画像生成デバイス102を使用して生成されるような図1Bの画像104として示される。画像104は、時間レンジにわたって撮影され得るか、又は空間関係及び位置に基づいて生成され得る。例えばオペレータは、或る時間期間の間、患者の或るエリアのわずかに上でトランスデューサを動かし、その時間期間の間に画像104の多くを生成し得るため、画像の各々は所定の時間間隔に関連付けられることになる。他の実施形態において、例えば3D超音波の場合、画像104などの複数の画像はほぼ同時に撮影され得る。この場合、画像は固有の空間識別子に関連付けられ、すなわち画像は、特定の時間間隔ではなく、患者の特定の位置又はセクションに関連付けられ得る。本明細書で説明するように、関心領域が経時的又は空間的に複数の画像フレームにわたって持続するものと決定された場合、ROIは偽陽性として除外され得る。
【0055】
[0071] ブロック1004に示されるように、関心領域はブロック1002の複数の画像フレームのうちの第1の画像フレームから識別される。言い換えれば、ブロック1004は、更なる評価を必要とする病変又は異常の可能性がある画像104から、関心領域(ROI)を自動的に検出することを含み得る、画像処理/分析の段階を含み得る。この段階はCADeと示され得、下付き文字eは関心領域内での推定上の病変又は異常の検出を示す。複数の画像フレームには、PACSサーバ26などのPACSサーバからアクセス可能であるか、又は、画像生成デバイス102によって生成され得る。
【0056】
[0072] ブロック1006に記載されるように、コンピューティングデバイス106などのコンピューティングデバイスは、画像104の第1の画像フレーム及び他の画像フレームを処理して、関心領域(ROI)が偽陽性であるか、又は更なる分析が必要であるかを判定するために使用され得る。より具体的に言えば、ブロック1004において、ROIが病変又は異常を含み得るものと識別された場合、CADxプロセス/段階が実行され得る。CADx段階において、含まれる病変ががん性又は良性である可能性を決定するために、ROIが分析される。下付き文字xは診断を示す。ブロック1008に示されるように、処理は、関心領域が複数のフレームにわたって又はそれらの間で、持続しているかどうかを判定するために、第1の画像フレームの特徴を他の画像フレームの特徴と比較することを含む。
【0057】
[0073] ブロック1006及びブロック1008に記載されるように、CADx段階を使用して画像フレームを処理することは、本明細書で説明するようなオプティカルフロー法、ブロックベース法、マッピング機能などの、様々な異なる可能なサブ方法を含み得る。例えば、CADデバイス28又はコンピューティングデバイス106の少なくとも1つのプロセッサを使用して、フレーム間のオブジェクトの追跡情報を決定するために、オプティカルフロー技法及びブロックマッチングを介して、時間/順次フレーム間のマッピングを計算することができる。独立したROIは、シーケンスの視点ごとに1つの画像を処理する静的なCADe技法を使用して識別され得る。その後、追跡情報を使用して、フレームにわたるROIが持続性ROIと相関するかどうかを判定することができる。真の病変又は異常は多くのフレームにわたって持続するはずであるが、その一方で、偽陽性はそうではない。真陽性率を低下させることを犠牲にして偽陽性の減少を制御するために、例えば、コンピューティングデバイス又はCADデバイス28のインターフェースを介して、フレームの数をユーザによって手動で又は自動的に適合させることができる。
【0058】
[0074] オプティカルフロー法を用いて取得される追跡情報を使用する、ROIの重複の度合いを使用して、フレーム間で病変が同じであるか、又は単なる2つの偽陽性であるかを、判定することも可能である。より多くの偽陽性を減少させるか、又は真の検出の数を増加させるために、重複の度合いを調節することができる。本明細書で説明する方法の実行は、静的CADe手法を使用して達成されたものと同じ真陽性率を維持しながら、偽陽性の数を減少させることがわかっている。
【0059】
[0075] 一実施形態において、ブロック1006及びブロック1008の態様を実装するために、関心領域に関連付けられたピクセル及びベクトルを分析することによって、画像フレームは第1の画像フレームと相関され得る。言い換えれば、画像フレームは第1の画像フレームと相関され得、画像フレームと第1の画像フレームとが同じ方向に移動する同様のピクセル及びベクトルを示す。
【0060】
[0076] CADシステム20又はシステム100を使用して画像から抽出される病変の形態、テクスチャ、及び他の特徴は、推定上の病変を検出するように分類器をトレーニングするための特徴として使用可能であることが企図される。更に、ビデオの個々のフレーム又は静止医用画像について推定上の病変を検出するために、静的方法が使用可能であることが企図される。本明細書における目的の場合、静的方法は、1つの独立した、2つの直交した画像視点、又は容積測定データセットからキャプチャ又は要約された画像のいくつかのサブセットについて処理可能な、CADe法である。CADe法は、形態及びテクスチャに限定されず、1つの画像内の疑わしいエリアについて探索する任意の方法を含む。例えば、Viola-Jones法のようなカスケードアダブースト法、畳み込みニューラルネットワーク(CNN)、Haralickを使用するサポートベクターマシン(SVM)、及び他の特徴は、静的CADe法に使用され得る技法である。CADシステム20又はシステム100及び本明細書で説明する方法を、リアルタイムの医用画像アプリケーション、例えば超音波画像システムで使用可能な動的な情報と共に使用することで、静的CADeシステムの性能を強化させることができる。オプティカルフロー又はオプティックフローは、視覚シーンにおけるオブジェクト、表面、及び縁部の明らかな動きのパターンである。順序付けされた画像のシーケンスにより、瞬間画像速度又は離散画像変位のいずれかとして動きを推定することができる。オプティカルフロー法は、勾配ベース又は特徴ベースの方法に分割され、動きが推定されるオブジェクトの確率又は決定性のモデルを使用することができる。オプティカルフローアルゴリズムは、位相層間、ブロックベース法、Lucas-Kanade法のような差分法、Horn-Schunck法、Buxton-Buxton法、Black-Jepson法、一般変分法、及び離散最適化法を含むが、限定されない。ブロックマッチング法は、ここでは、シーケンス内の画像間でピクセルのパッチにおけるグレースケール変化の追跡として説明され得る。
【0061】
[0077] 一実施形態において、本発明の概念のシステム及び方法は、有利には、静的ベースのCADe手法を使用して各フレームについてROIを別々に計算することができる。本発明の概念のシステム及び方法は、様々な視点から撮影したROIのビデオシーケンス内の連続するフレーム間での追跡情報を決定するために、オプティカルフロー法のうちの好ましい方法を使用することが可能であった。具体的に言えば、追跡情報は、静的CADe手法を使用して各フレーム内で独立に取得されるROIが、オプティカルフローベクトル場を使用して相互に相関可能であるかどうかを特定するために使用され得る。持続性は、ROIの重複の割合に基づいてROIが追跡され得るフレームの数として測定される。持続性因子は、持続性の低い推定上の病変をフィルタ除去するために使用される。オプティカルフロー法を使用していくつかのフレームを介して追跡されないいずれのROIも、偽陽性であるものと判定又は見なされ得る。フレームの持続性因子又は数は、病変が見逃される可能性が大きくなることを犠牲にして、偽陽性を更に減少させるように適合可能である。追跡される予測及び実際のROIの位置に基づくROIの重複の度合いを、偽陽性の数を減少させるか又は真陽性の数を増加させるように適合することも可能である。前述の内容は、本発明の概念の一態様において、病変又は異常を含む可能性が高い関心領域(ROI)を識別するために、コンピュータ支援検出の方法を提供することによって達成され得る。
【0062】
[0078] いくつかの実施形態において、本明細書で説明するようにCADシステムを利用する例示的な方法は、真の検出の感度又は数を保持しながら、偽陽性の数を減少させるために時間情報を使用するステップを含み得る。時間情報は、オプティカルフロー技法を使用して決定され得る。
【0063】
[0079] 例示的方法は、追跡情報を使用する各画像フレームについて別々に、従来の静的CADe手法を使用して見つけられたROI間の相関を決定するステップを更に含み得る。例示的方法は、偽陽性又は低持続性及び真陽性又は高持続性を決定するために、追跡情報を使用してROIが現れるフレームの数として、持続性を測定するステップを更に含み得る。例示的方法は、予測されるROIの重複の度合いを追跡運動ベクトルによって与えられるものとして決定することによって、持続性を測定するステップを更に含み得る。本発明の概念は、リアルタイムで、又はシネループなどの記録されたビデオ上で、実装可能である。本発明の概念によってキャプチャされる任意の画像及び/又はビデオは、シネループなどであるが限定されない、2次元画像及び/又はビデオであり得ることが予見される。例えば、超音波プロシージャにおいて使用されるシネループは、本発明の概念のプロセス及び/又は方法に組み込むことができる。更に、本発明の概念のシステム及び方法のうちの少なくとも1つ以上の部分及び好ましくはすべての部分は、医用におけるデジタル画像と通信(DICOM)フォーマット基準を利用し、これに準拠することが予見される。このようにして、本発明の概念のシステム及び方法は、DICOMファイルフォーマットの定義、ネットワーク通信プロトコルなどを利用する。
【0064】
[0080] フレーム間の対応及び関係を決定することに加えて、本明細書で説明するオプティカルフロー法は、せん断力及び圧縮力に対する組織の反応を特徴付けるために使用することができる。オペレータがトランスデューサに圧力を印加することによって、試験の間にそれらの力がトランスデューサを移動させるため、これらの力が付与され得る。セル密度における変化の結果として、ある種の病変は異なるレベルの剛性及び変形性を示す場合があることは周知の事実である。本明細書で説明するシステムは、空間又は時間フレームにわたって関心領域の位置及び形状を追跡する際に、その周囲に関してその領域の圧縮率も推測することができる。その後、この特徴を利用して、その領域が異常又は正常な組織に相当するか否かの判定を支援することができる。
【0065】
[0081] 本発明の概念の態様は、本明細書で説明する画像間のマッピング又は追跡情報を生成するために、1つ以上のオプティカルフローセンサを利用し得る。オプティカルフローセンサは、オプティカルフロー又は視覚的動きを測定し、測定値を出力するように動作可能な、視覚センサを備え得る。説明するようなオプティカルセンサの様々な実施形態は、オプティカルフローアプリケーションを実行するように動作可能なプロセッサと共に、プロセッサに結合された画像センサチップを含み得る。他の実施形態は、密度を増加させ空間を減少させるために共通ダイ又は同様の構成要素上に配設される画像センサ及びプロセッサを備える、集積回路としての視覚チップを含み得る。
【0066】
[0082] 別の実施形態において、検出精度を向上させるために、特徴特性を時間的に分析するプロセスが(単独で、又は上記と組み合わせて)実装され得る。持続特性を決定することで、数個の時間フレーム内でのみ検出され、動きフィールド又は追跡情報に従わないランダムな場所に現れる瞬間的な異常から、真の病変を識別することを容易にし得る。具体的に言えば、上記で説明したものと同様のオプティカルフロー法を利用して、マッピング機能を見つけることができる。マッピング又は追跡情報を使用して、追跡情報が、静的(2D)CADe手法を使用して各時間フレーム(又は、少なくとも複数の時間フレーム)内で見つかった関心領域(ROI)と相関可能であるかどうかを特定することができる。偽陽性は一般に非常にわずかなフレームの間のみ持続し、オプティカルフロー追跡情報と相関しないランダムな位置に現れるという理解の下で、真の病変は、多くのフレームにわたって追跡可能なROIとして識別され得る。言い換えれば、本新規な概念は、有利には、任意の静的CADeシステムの性能を向上させるために時間情報を利用する。本発明の概念のマッピング機能は、医用画像の連続する時間フレーム間の動き又は追跡情報を決定するために振幅及びベクトルマッピングを含み得る。
【0067】
[0083] 本発明の概念は、2つの段階を含み得る画像分析プロセスを実行するために、CADシステム20などのCADシステムを利用することを含み得る。プロセスの第1の段階は、更なる評価を必要とする病変又は異常であり得る関心領域(ROI)を自動的に検出することであり得る。この段階はCADeと示され得、下付き文字eは、関心領域内の推定上の病変又は異常の検出を示す。ROIが病変又は異常を含み得るものと識別された場合、プロセスの次の段階、すなわちCADxが自動的に実行され得る。CADx段階において、含まれる病変ががん性又は良性である可能性を決定するためにROIが分析される。下付き文字xは診断を示す。
【0068】
[0084] 説明したシステムを使用して、順次ビデオフレーム内で自動的に検出されるROIの時間持続性を検出するために医用画像のコンピュータ支援検出が実行され得る。ROIの時間持続性の検出を使用して、偽陽性の数を減少させながら、真の病変又は他の異常の検出の確率を高めることができる。一実施形態において、本発明の概念は、フレーム間のオブジェクトの追跡情報を決定するために、オプティカルフロー技法を介した時間フレーム間のマッピングを利用する。独立したROIは、いかなる時間情報もなしに、一度に1つのフレームを処理する静的CADe技法を使用して識別され得る。追跡されるグループとROIがフレームにわたって相関するかどうかを判定するために、追跡情報が使用される。真の病変又は異常は多くのフレームにわたって持続するはずであるのに対して、偽陽性はそうではない。真陽性率を低下させることを犠牲にして偽陽性の減少を制御するために、例えば、本発明の概念のインターフェース及び/又は所定の構成を介して、フレームの数をユーザによって手動で又は自動的に適合させることができる。オプティカルフロー法を用いて取得される追跡情報を使用する、ROIの重複の度合いを使用して、フレーム間で病変が同じであるか、又は単なる2つの偽陽性であるかを、判定することも可能である。より多くの偽陽性を減少させるか、又は真の検出の数を増加させるために、重複の度合いを調節することができる。本新規の動的方法の実行は、静的CADe手法を使用して達成されたものと同じ真陽性率を維持しながら、偽陽性の数を減少させることがわかっている。
【0069】
[0085] 分類のための病変の形態、テクスチャ、及び他の特徴は、そのうちのいくつかが一般に使用される特徴であり得、その立場でこの推定上の病変を検出するように分類器をトレーニングするための特徴として使用可能であることが予見される。更に、ビデオの個々のフレーム又は静止医用画像について推定上の病変を検出するために、静的方法が使用可能であることが予見される。本明細書における目的の場合、静的方法はCADe法を含み得る。CADe法は、形態及びテクスチャに限定されず、1つの画像内の疑わしいエリアについて探索する任意の方法を含む。例えば、Viola-Jones法のようなカスケードアダブースト法、畳み込みニューラルネットワーク(CNN)、Haralickを使用するサポートベクターマシン(SVM)、及び他の特徴は、静的CADe法に使用され得る技法である。本発明の概念のシステム及び方法を、リアルタイムの医用画像アプリケーション、例えば超音波画像システムで使用可能な動的な情報と共に使用することで、静的CADeシステムの性能を高めることができる。
【0070】
[0086] オプティカルフロー又はオプティックフローは、視覚シーンにおけるオブジェクト、表面、及び縁部の明らかな動きのパターンである。順序付けされた画像のシーケンスにより、瞬間画像速度又は離散画像変位のいずれかとして動きを推定することができる。オプティカルフロー法は、勾配ベース又は特徴ベースの方法に分割され、動きが推定されるオブジェクトの確率又は決定性のモデルを使用することができる。オプティカルフローアルゴリズムは、位相層間、ブロックベース法、Lucas-Kanade法のような差分法、Horn-Schunck法、Buxton-Buxton法、Black-Jepson法、一般変分法、及び離散最適化法を含むが、限定されない。
【0071】
[0087] 一実施形態において、本発明の概念のシステム及び方法は、有利には、検出されたROIにおいて真の病変を検出する可能性を向上させるために、ビデオ画像の順次フレーム間でマッチングプロセスを利用する。本発明の概念のシステム及び方法は、有利には、1つの画像内のROIのサブ領域を別の画像の同様のサブ領域とマッチングするために、オプティカルフロー法を利用する。
【0072】
[0088] 一実施形態において、本発明の概念のシステム及び方法は、有利には、静的ベースのCADe手法を使用して各フレームについてROIを別々に計算する。本発明の概念のシステム及び方法は、ビデオシーケンス内の連続するフレーム間での追跡情報を決定するために、オプティカルフロー法を更に利用し得る。追跡情報は、静的CADe手法を使用して各フレーム内で独立に取得されるROIが、オプティカルフローベクトル場を使用して相互に相関可能であるかどうかを特定するために使用される。持続性は、ROIの重複の割合に基づいてROIが追跡され得るフレームの数として測定される。持続性因子は、持続性の低い推定上の病変をフィルタ除去するために使用される。オプティカルフロー法を使用していくつかのフレームを介して追跡されないいずれのROIも、偽陽性であるものと判定される。フレームの持続性因子又は数は、病変が見逃される可能性が大きくなることを犠牲にして、偽陽性を更に減少させるように適合可能である。追跡される予測及び実際のROIの位置に基づくROIの重複の度合いを、偽陽性の数を減少させるか又は真陽性の数を増加させるように適合することも可能である。
【0073】
[0089] 前述の内容は、本発明の概念の一態様において、病変又は異常を含む可能性が高い関心領域(ROI)を識別するために、コンピュータ支援検出の方法を提供することによって達成され得る。方法は、真の検出の感度又は数を保持しながら、偽陽性の数を減少させるために時間情報を使用するステップを含み得る。時間情報は、オプティカルフロー技法を使用して決定され得る。
【0074】
[0090] 方法は、追跡情報を使用する各画像フレームについて別々に、従来の静的CADe手法を使用して見つけられたROI間の相関を決定するステップを含み得る。方法は、偽陽性又は低持続性及び真陽性又は高持続性を決定するために、追跡情報を使用してROIが現れるフレームの数として、持続性を測定するステップを含み得る。方法は、予測されるROIの重複の度合いを追跡運動ベクトルによって与えられるものとして決定することによって、持続性を測定するステップを更に含み得る。
【0075】
[0091] 本発明の概念によってキャプチャされる任意の画像及び/又はビデオは、シネループなどであるが限定されない、2次元画像及び/又はビデオであり得ることが予見される。例えば、超音波プロシージャにおいて使用されるシネループは、本発明の概念のプロセス及び/又は方法に組み込むことができる。更に、本発明の概念のシステム及び方法のうちの少なくとも1つ以上の部分及び好ましくはすべての部分は、医用におけるデジタル画像と通信(DICOM)フォーマット基準を利用し、これに準拠することが予見される。このようにして、本発明の概念のシステム及び方法は、DICOMファイルフォーマットの定義、ネットワーク通信プロトコルなどを利用する。
【0076】
[0092] ROIは静的CADe法を使用して検出され得る。重複の度合いが大きいほど、真の病変の可能性が高いか、又は偽陽性の可能性が低いことに対応する。
【0077】
[0093] 前述の内容は、本発明の概念の別の態様において、コンピュータ支援検出システムを使用して病変又は異常を検出する方法を提供することによって達成され得る。方法は、画像データ、ビデオクリップ、及び/又はそれらのシーケンス、及び/又はそれらの組み合わせを収集するステップと、画像データに関連付けられた時間情報を収集するステップと、及び/又は、画像データ及び時間データに関連付けられた相違を検出するため、及び、偽陽性の病変又は異常の検出数を減少させるために、画像データ及び時間データを処理するステップとを、含む。画像データは2D画像データであってよい。方法は、システムの性能を向上させるために、少なくとも1つのオプティカルフロー技法を一時的に使用するステップを含み得る。
【0078】
[0094] 前述の内容は、本発明の概念の別の態様において、病変又は異常を含む可能性が高い関心領域(ROI)を識別するように構成された、コンピュータ支援検出システムを提供することによって達成され得る。システムは、減少させるように構成された、プロセッサを含み得る。
【0079】
[0095] 本開示のシステムは、追跡情報を使用して各画像フレームについて別々に、従来の静的CADe手法を使用して見つかったROI間の相関関係を決定するように構成された、(例えば、CADデバイス28の)プロセッサによって実行される、相関エンジンを含み得る。プロセッサは、偽陽性又は低持続性及び真陽性又は高持続性を決定するために、追跡情報を使用して、ROIが現れるフレームの数として持続性を測定するように構成され得る。プロセッサは、予測されるROIの重複の度合いを追跡運動ベクトルによって与えられるものとして決定することによって、持続性を測定するように構成され得る。ROIは、静的CADe法を使用して検出され得る。重複の度合いが大きいほど、真の病変の可能性が高いか、又は偽陽性の可能性が低いことに対応する。
【0080】
[0096] 前述の内容は、本発明の概念の別の態様において、病変又は異常を検出するように構成されたシステムを提供することによって達成され得る。システムは、画像データ及び時間情報を受信するように構成されたプロセッサ、及び/又は、画像データ及び時間情報を記憶するように構成されたメモリを含み得る。プロセッサは、画像データ及び時間データに関連付けられた相違を検出するため、及び、偽陽性の病変又は異常の検出数を減少させるために、画像データ及び時間データを処理するように構成され得る。
【0081】
[0097] 要するに、コンピュータ支援検出(CAD又はCADe)システムを使用して、医用画像内の病変又は関心領域(ROI)を検出することができる。CADシステムは、ROIが画像内に病変を含む可能性を推定するために形態及びテクスチャ特徴を使用し得る。病変のサイズ、形状、配向、及び不明瞭な境界、並びに背景ノイズにおける大きな変動は、通常の背景構造又は組織特性から実際の病変を区別するのを困難にする。従来の検出法は、システムが偽陰性又は見逃される病変の受け入れ可能な数について設定されたときに、1つも存在しない場合、多くの偽陽性又は病変の検出を生成し得る。マンモグラフィCADでは、真に検出されるあらゆるがんについて何千もの偽陽性を有することは普通であるため、システムを放射線科医が使用するには非効率的である。説明する本発明の概念は、経時的な持続性を伴って検出されたROIを識別するためにオプティカルフロー法を使用することによって、この制限を克服する。潜在的な病変の持続特性は、偽陽性を減少させるのと同時に、真の病変の検出の可能性を向上させるのに役立つ。この新しい動的な方法は、自動ROI病変検出のための静的CADe法に勝る、改善された性能を提供する。
【0082】
[0098] 図11は、図10のプロセスフロー1000と同様の、本発明の概念の態様を実装するための別の例示的なプロセスフロー1100である。ブロック1102に示されるように、或る機能を実行するためにCADデバイスが実装され得る。具体的に言えば、ブロック1104において、CADデバイスは、患者の所定の時間間隔又は空間エリアに関連付けられた順次画像フレームにアクセスすることができる。ブロック1106において、1つ以上の順次画像フレーム内の関心領域が識別され得る。ブロック1108において、順次画像フレームを処理するため、及び、シーケンス内の1つ以上の画像フレーム間で関心領域が持続するかどうかを判定するために、オプティカルフロー又はマッピング機能が実装され得る。ブロック1110において、持続性値が生成され得る。ブロック1112に示されるように、持続性値は、順次画像フレームのフレーム間での関心領域の重複の度合いに基づくものである。
【0083】
[0099] ディスプレイデバイス108は、画像を処理するため、又は処理後に画像104を表示するために、コンピューティングデバイス106を用いて更に実装され得る。いくつかの実施形態において、ディスプレイデバイスはコンピューティングデバイス106に直接結合されるか、又はデバイスは同じデバイスの一部である。
【0084】
[0100] 本発明の概念の追加の態様、利点、及び効用は、一部は本説明及び図面に記載され、一部は本説明及び図面から明らかとなるか、又は、本発明の概念の実践によって習得され得る。本説明及び図面は例示的なものであることが意図され、限定的であるものとは意図されていない。本発明の概念の多くの特徴及びサブコンビネーションが作成可能であり、本説明及び図面を研究することで容易に明白となろう。これらの特徴及びサブコンビネーションは、他の特徴及びサブコンビネーションを考慮することなく用いられ得る。
図1A
図1B
図2A
図2B
図3A
図3B
図3C
図3D
図4A
図4B
図4C
図4D
図5A
図5B
図6A
図6B
図7A
図7B
図8A
図8B
図9
図10
図11