▶ コスモ アーティフィシャル インテリジェンス−エーアイ リミティドの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-07-19
(54)【発明の名称】物体検出のためのコンピュータ実行システム及び方法
(51)【国際特許分類】
A61B 1/045 20060101AFI20240711BHJP
G06T 7/00 20170101ALI20240711BHJP
A61B 1/00 20060101ALI20240711BHJP
【ＦＩ】
A61B1/045 618
G06T7/00 612
G06T7/00 350C
A61B1/045 614
A61B1/00 551
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2024501862
(86)(22)【出願日】2022-07-12
(85)【翻訳文提出日】2024-01-12
(86)【国際出願番号】 EP2022069364
(87)【国際公開番号】W WO2023285407
(87)【国際公開日】2023-01-19
(31)【優先権主張番号】21185179.5
(32)【優先日】2021-07-12
(33)【優先権主張国・地域又は機関】EP
(31)【優先権主張番号】63/220,585
(32)【優先日】2021-07-12
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】520492282
【氏名又は名称】コスモ アーティフィシャル インテリジェンス－エーアイ リミティド
(74)【代理人】
【識別番号】100099759
【弁理士】
【氏名又は名称】青木 篤
(74)【代理人】
【識別番号】100123582
【弁理士】
【氏名又は名称】三橋 真二
(74)【代理人】
【識別番号】100092624
【弁理士】
【氏名又は名称】鶴田 準一
(74)【代理人】
【識別番号】100114018
【弁理士】
【氏名又は名称】南山 知広
(74)【代理人】
【識別番号】100153729
【弁理士】
【氏名又は名称】森本 有一
(72)【発明者】
【氏名】アンドレーア ケルビーニ
(72)【発明者】
【氏名】ピエトロ サルバニーニ
(72)【発明者】
【氏名】カルロ ビッフィ
(72)【発明者】
【氏名】ナン ンゴ ディン
【テーマコード（参考）】
4C161
5L096
【Ｆターム（参考）】
4C161AA01
4C161AA04
4C161CC06
4C161DD03
4C161JJ17
4C161WW02
4C161WW13
4C161WW14
4C161WW15
4C161WW18
5L096AA02
5L096AA06
5L096BA06
5L096BA13
5L096CA02
5L096DA02
5L096FA02
5L096FA59
5L096FA69
5L096HA11
5L096KA04
(57)【要約】
医療処置中に医用画像装置からキャプチャされたリアルタイムビデオを受信するコンピュータ実行システムを提供する。リアルタイムビデオは、複数のフレームを含んでもよい。システムは、複数のフレームの関心物体を検出するとともに分類、サイズ及び／又は位置のような検出された関心物体の複数の特性を識別するように構成された一つ以上のニューラルネットワークを適用するように適合されてもよい。いくつかの実施形態では、システムは、複数の特性のうちの一つ以上に基づいて医療ガイドラインを識別するとともに医療ガイドラインの情報を医療処置中に表示装置にリアルタイムで表示するように適合される。
【特許請求の範囲】
【請求項1】
リアルタイムビデオを処理するためのコンピュータ実行システムであって、少なくとも一つのプロセッサを備え、前記少なくとも一つのプロセッサは、医療処置中に医用画像装置からキャプチャされたリアルタイムビデオを受信し、前記リアルタイムビデオは、複数のフレームを含み、
前記複数のフレームの関心物体を検出し、
前記関心物体の分類を決定するように構成されたトレーニングされた分類ネットワーク、
前記関心物体に関連する位置を決定するように構成されたトレーニングされた位置ネットワーク及び
前記関心物体に関連するサイズを決定するように構成されたトレーニングされたサイズネットワークを実現する一つ以上のニューラルネットワークを適用し、
前記分類、前記位置及び前記サイズのうちの二つ以上に基づいて医療ガイドラインを特定し、
特定された前記医療ガイドラインの情報を前記医療処置中に表示装置にリアルタイムで提示するように構成された、システム。
【請求項2】
前記医療処置は、内視鏡検査、胃内視鏡検査、結腸内視鏡検査又は腸内視鏡検査のうちの少なくとも一つを含む、請求項１に記載のシステム。
【請求項3】
前記関心物体は、ヒト組織の形成、あるタイプの細胞から別のタイプの細胞へのヒト組織の変化、人体組織が予想される場所からのヒト組織の欠如又は病変のうちの少なくとも一つを含む、請求項１又は２に記載のシステム。
【請求項4】
特定された前記医療ガイドラインの情報は、前記関心物体を残すか切除するかの指示を含む、請求項３に記載のシステム。
【請求項5】
特定された前記医療ガイドラインの情報は、切除の種類を含む、請求項４に記載のシステム。
【請求項6】
前記少なくとも一つのプロセッサは、特定された前記医療ガイドラインに関連する信頼値を生成するように更に構成された、請求項１～５のいずれか一項に記載のシステム。
【請求項7】
決定された前記分類は、組織学的分類、形態学的分類、構造的分類又は悪性腫瘍分類のうちの少なくとも一つに基づく、請求項１～６のいずれか一項に記載のシステム。
【請求項8】
前記関心物体に関連する決定された前記位置は、人体の位置である、請求項１～７のいずれか一項に記載のシステム。
【請求項9】
前記人体の位置は、直腸、Ｓ状結腸、下行結腸、横行結腸、上行結腸又は盲腸の位置のうちの一つである、請求項８に記載のシステム。
【請求項10】
前記関心物体に関連する決定された前記サイズは、数値又はサイズ分類である、請求項１～９のいずれか一項に記載のシステム。
【請求項11】
前記少なくとも一つのプロセッサは、前記複数のフレームのうちの少なくとも一つに関連するフレーム品質を決定し、
決定された前記フレーム品質に関連する信頼値を生成するように構成されたトレーニングされた品質ネットワークを実現する一つ以上のニューラルネットワークを適用するように更に構成された、請求項１～１０のいずれか一項に記載のシステム。
【請求項12】
前記少なくとも一つのプロセッサは、決定された前記フレーム品質又は前記信頼値のうちの少なくとも一つが既定の閾値を超えるとき、決定された前記分類、前記位置及び前記サイズに関連するデータをアグリゲートし、
アグリゲートされた前記データの少なくとも一部を前記表示装置に提示するように更に構成された、請求項１１に記載のシステム。
【請求項13】
前記少なくとも一つのプロセッサは、前記複数のフレームの複数の関心物体を検出し、
前記複数の関心物体に関連する複数の分類及び複数のサイズを決定し、決定された前記複数の分類及び前記複数のサイズのうちの一つの分類及び一つのサイズは、検出された前記複数の関心物体のうちの検出された一つの関心物体に関連し、
一つ以上の決定された分類及びサイズに関連する情報を前記表示装置に提示するように更に構成された、請求項１～１２のいずれか一項に記載のシステム。
【請求項14】
前記少なくとも一つのプロセッサは、前記関心物体を囲む領域を処理することによって前記複数のフレームの前記関心物体をエンコードするように構成されたエンコーダネットワークを実現する一つ以上のニューラルネットワークを適用するように更に構成された、請求項１～１３のいずれか一項に記載のシステム。
【請求項15】
前記少なくとも一つのプロセッサは、前記エンコーダネットワークによってエンコードされた前記関心物体の潜在表現を生成するように更に構成された、請求項１４に記載のシステム。
【請求項16】
前記少なくとも一つのプロセッサは、前記分類ネットワーク、前記位置ネットワーク、及び前記サイズネットワークを使用して前記関心物体の前記潜在表現を提供するように更に構成された、請求項１５に記載のシステム。
【請求項17】
前記少なくとも一つのプロセッサは、前記関心物体の時間情報を決定するために前記複数の画像の前記関心物体を追跡するように更に構成された、請求項１４又は１５に記載のシステム。
【請求項18】
リアルタイムビデオを処理するためのコンピュータ実行システムであって、少なくとも一つのプロセッサを備えるシステムを備え、前記少なくとも一つのプロセッサは、医療処置中に収集された複数のフレームを含むリアルタイムビデオを受信し、
前記複数のフレームの関心物体を検出し、
前記関心物体に関連する複数の特徴を決定し、
前記複数の特徴に関連する信頼値を決定するように構成されたトレーニングされた特性評価ネットワークを実現する一つ以上のニューラルネットワークを適用し、
前記複数の特徴及び前記信頼値のうちの一つ以上に基づいて医療ガイドラインを特定し、
特定された前記医療ガイドラインに関する情報を前記医療処置中に表示装置にリアルタイムで提示するように構成された、システム。
【請求項19】
前記医療処置は、内視鏡検査、胃内視鏡検査、結腸内視鏡検査又は腸内視鏡検査のうちの少なくとも一つを含む、請求項１８に記載のシステム。
【請求項20】
前記関心物体は、ヒト組織の形成、あるタイプの細胞から別のタイプの細胞へのヒト組織の変化、人体組織が予想される場所からのヒト組織の欠如又は病変のうちの少なくとも一つを含む、請求項１８又は１９に記載のシステム。
【請求項21】
前記医療ガイドラインの情報は、前記関心物体を残すか切除するかの指示を含む、請求項２０に記載のシステム。
【請求項22】
前記特定された医療ガイドラインの情報は、切除の種類を含む、請求項２１に記載のシステム。
【請求項23】
前記少なくとも一つのプロセッサは、特定された前記医療ガイドラインに関連する信頼値を生成するように更に構成された、請求項１８～２２のいずれか一項に記載のシステム。
【請求項24】
前記トレーニングされた特性評価ネットワークは、 前記関心物体に関連する分類を決定するとともに決定された前記分類に関連する分類信頼値を生成するように構成されたトレーニングされた分類ネットワークと、
前記関心物体に関連する位置を決定するとともに決定された前記位置に関連する位置信頼値を生成するように構成されたトレーニングされた位置ネットワークと、
前記関心物体に関連するサイズを決定するとともに決定された前記サイズに関連するサイズ信頼値を生成するように構成されたトレーニングされたサイズネットワークと、
を備える、請求項１８～２３のいずれか一項に記載のシステム。
【請求項25】
前記少なくとも一つのプロセッサは、前記分類、前記位置又は前記サイズのうちの少なくとも一つに関連する情報を前記表示装置に提示するように更に構成された、請求項２４に記載のシステム。
【請求項26】
前記少なくとも一つのプロセッサは、前記複数のフレームのうちの少なくとも一つに関連するフレーム品質を決定し、
決定された前記フレーム品質に関連する信頼値を生成するように構成されたトレーニングされた品質ネットワークを実現する一つ以上のニューラルネットワークを適用するように更に構成された、請求項１８～２５のいずれか一項に記載のシステム。
【請求項27】
前記少なくとも一つのプロセッサは、決定された前記フレーム品質又は前記信頼値のうちの少なくとも一つが既定の閾値より上であるとき、前記複数の特徴に関連するデータをアグリゲートし、
アグリゲートされた前記データの少なくとも一部を前記表示装置に提示するように更に構成された、請求項２６に記載のシステム。
【請求項28】
前記少なくとも一つのプロセッサは、前記複数のフレームの複数の関心物体を検出し、
前記複数の関心物体に関連する複数の特徴のセットを決定し、前記複数の特徴のセットのうちの一つの特徴のセットは、検出された前記複数の関心物体のうちの検出された一つの関心物体に関連する特性評価及びサイズ情報を含み、
前記複数の特徴のセットのうちの一つ以上の特徴のセットに関連する情報を前記表示装置に提示するように更に構成された、請求項１８～２７のいずれか一項に記載のシステム。
【請求項29】
リアルタイムビデオを処理するためのコンピュータ実行方法であって、医療処置中に医用画像装置からキャプチャされたリアルタイムビデオを受信することであって、前記リアルタイムビデオは、複数のフレームを含むことと、
前記複数のフレームの関心物体を検出することと、
前記関心物体の分類を決定するように構成されたトレーニングされた分類ネットワーク、
前記関心物体に関連する位置を決定するように構成されたトレーニングされた位置ネットワーク及び
前記関心物体に関連するサイズを決定するように構成されたトレーニングされたサイズネットワークを実現する一つ以上のニューラルネットワークを適用することと、
前記分類、前記位置及び前記サイズのうちの二つ以上に基づいて医療ガイドラインを特定することと、
特定された前記医療ガイドラインの情報を前記医療処置中に表示装置にリアルタイムで提示することと、
を備える方法。
【請求項30】
リアルタイムビデオを処理するためのコンピュータ実行システムであって、少なくとも一つのプロセッサを備え、前記少なくとも一つのプロセッサは、医用画像装置から受信した複数のフレームの関心物体を検出し、
前記関心物体の特性評価を行うことであって、前記特性評価は、前記関心物体に関連する複数の特徴を決定することを有し、前記複数の特徴は、前記関心物体の位置及びサイズを有し、
前記関心物体が前記複数のフレームの二つ以上に亘って存続する場合、前記関心物体の決定された前記位置及び前記サイズに関連する情報をアグリゲートし、
アグリゲートされた前記情報に基づいて、前記関心物体の決定された前記位置及び前記サイズを評価し、
決定された前記位置が第１の身体領域にあるとともに決定された前記サイズが第１の範囲内にあるとき、前記関心物体のアグリゲートされた情報を表示装置に提示し、
決定された前記位置が第２の身体領域にあるとともに決定された前記サイズが第２の範囲内にあるとき、前記関心物体の特性評価の状態を示す情報情報を前記表示装置に提示するように構成された、システム。
【請求項31】
前記少なくとも一つのプロセッサは、前記関心物体の決定された前記位置及び前記サイズに基づいて医療ガイドラインを特定し、
特定された前記医療ガイドラインに関連する情報を前記表示装置に提示するように更に構成された、請求項３０に記載のシステム。
【請求項32】
前記複数の特徴は、組織学的分類、形態学的分類、構造的分類又は悪性腫瘍分類のうちの少なくとも一つに基づく前記関心物体の分類を更に含む、請求項３０又は３１に記載のシステム。
【請求項33】
前記関心物体に関連する決定された前記位置は、直腸、Ｓ状結腸、下行結腸、横行結腸、上行結腸又は盲腸のうちの少なくとも一つの位置である、請求項３０～３２のいずれか一項に記載のシステム。
【請求項34】
前記関心物体に関連する決定された前記サイズは、数値又はサイズ分類である、請求項３０～３３のいずれか一項に記載のシステム。
【請求項35】
前記少なくとも一つのプロセッサは、前記複数のフレームの複数の関心物体を検出し、
前記複数の関心物体の特性評価を行い、前記特性評価は、前記複数の関心物体に関連する複数の特徴のセットを決定することを有し、前記複数の特徴のセットの一つの特徴のセットは、前記複数の関心物体の検出された関心物体に関連する特性評価及びサイズ情報を含み、
前記複数の特徴のセットのうちの一つ以上の特徴のセットに関連する情報を前記表示装置に提示するように更に構成された、請求項３０～３４のいずれか一項に記載のシステム。
【請求項36】
前記関心物体の前記特性評価のステータスは、前記関心物体が小さくないと識別することと、
前記関心物体のアグリゲート情報を生成することであって、前記アグリゲート情報は、前記複数のフレームの前記関心物体の前記位置及び前記サイズを含むことと、
を更に備える、請求項３０～３５のいずれか一項に記載のシステム。
【請求項37】
前記関心物体の前記特性評価のステータスは、前記関心物体が小さいと識別することと、
関心物体の特性評価のステータスを示す情報を生成し、前記特性評価のステータスは、前記関心物体の分類の非アグリゲート情報を含むことと、
を更に備える、請求項３０～３６のいずれか一項に記載のシステム。
【請求項38】
リアルタイムビデオを処理するためのコンピュータ実行方法であって、医用画像装置から受信した複数のフレームの関心物体を検出することと、
前記関心物体の特性評価を行うことであって、前記特性評価は、前記関心物体に関連する複数の特徴を決定することを有し、前記複数の特徴は、前記関心物体の位置及びサイズを有することと、
前記関心物体が前記複数のフレームの二つ以上に亘って存続する場合、前記関心物体の決定された前記位置及び前記サイズに関連する情報をアグリゲートすることと、
アグリゲートされた前記情報に基づいて、前記関心物体の決定された前記位置及び前記サイズを評価することと、
決定された前記位置が第１の身体領域にあるとともに決定された前記サイズが第１の範囲内にあるとき、前記関心物体のアグリゲートされた情報を表示装置に提示することと、
決定された前記位置が第２の身体領域にあるとともに決定された前記サイズが第２の範囲内にあるとき、前記関心物体の特性評価の状態を示す情報情報を前記表示装置に提示することと、
を備える方法。
【請求項39】
前記関心物体の決定された前記位置及び前記サイズに基づいて医療ガイドラインを特定することと、特定された前記医療ガイドラインに関連する情報を前記表示装置に提示することと、
を更に備える、請求項３８に記載の方法。
【請求項40】
前記複数の特徴は、組織学的分類、形態学的分類、構造的分類又は悪性腫瘍分類のうちの少なくとも一つに基づく前記関心物体の分類を更に含む、請求項３８又は３９に記載の方法。
【請求項41】
前記関心物体に関連する決定された前記位置は、直腸、Ｓ状結腸、下行結腸、横行結腸、上行結腸又は盲腸のうちの少なくとも一つの位置である、請求項３８～４０のいずれか一項に記載の方法。
【請求項42】
前記関心物体に関連する決定された前記サイズは、数値又はサイズ分類である、請求項３８～４１のいずれか一項に記載の方法。
【請求項43】
前記複数のフレームの複数の関心物体を検出することと、前記複数の関心物体の特性評価を行うことであって、前記特性評価は、前記複数の関心物体に関連する複数の特徴のセットを決定することを有し、前記複数の特徴のセットの一つの特徴のセットは、前記複数の関心物体の検出された関心物体に関連する特性評価及びサイズ情報を含むことと、
前記複数の特徴のセットのうちの一つ以上の特徴のセットに関連する情報を前記表示装置に提示することと、
を更に備える、請求項３８～４２のいずれか一項に記載の方法。
【請求項44】
前記関心物体の前記特性評価のステータスは、前記関心物体が小さくないと識別することと、
前記関心物体のアグリゲート情報を生成することであって、前記アグリゲート情報は、前記複数のフレームの前記関心物体の前記位置及び前記サイズを含むことと、
を更に備える、請求項３８～４３のいずれか一項に記載の方法。
【請求項45】
前記関心物体の前記特性評価のステータスは、前記関心物体が小さいと識別することと、
関心物体の特性評価のステータスを示す情報を生成し、前記特性評価のステータスは、前記関心物体の分類の非アグリゲート情報を含むことと、
を更に備える、請求項３８～４４のいずれか一項に記載の方法。
【請求項46】
少なくとも一つのプロセッサによって実行されるとき、リアルタイムビデオ処理を実行するための動作を前記少なくとも一つのプロセッサに実行させる命令を含む非一時的なコンピュータ可読媒体であって、前記動作は、医用画像装置から受信した複数のフレームの関心物体を検出することと、
前記関心物体の特性評価を行うことであって、前記特性評価は、前記関心物体に関連する複数の特徴を決定することを有し、前記複数の特徴は、前記関心物体の位置及びサイズを有することと、
前記関心物体が前記複数のフレームの二つ以上に亘って存続する場合、前記関心物体の決定された前記位置及び前記サイズに関連する情報をアグリゲートすることと、
アグリゲートされた前記情報に基づいて、前記関心物体の決定された前記位置及び前記サイズを評価することと、
決定された前記位置が第１の身体領域にあるとともに決定された前記サイズが第１の範囲内にあるとき、前記関心物体のアグリゲートされた情報を表示装置に提示することと、
決定された前記位置が第２の身体領域にあるとともに決定された前記サイズが第２の範囲内にあるとき、前記関心物体の特性評価の状態を示す情報情報を前記表示装置に提示することと、
を備える、コンピュータ可読媒体。
【請求項47】
前記動作は、前記関心物体の決定された前記位置及び前記サイズに基づいて医療ガイドラインを特定することと、
特定された前記医療ガイドラインに関連する情報を前記表示装置に提示することと、
を更に備える、請求項４６に記載のコンピュータ可読媒体。
【請求項48】
前記複数の特徴は、組織学的分類、形態学的分類、構造的分類又は悪性腫瘍分類のうちの少なくとも一つに基づく前記関心物体の分類を更に含む、請求項４６又は４７に記載のコンピュータ可読媒体。
【請求項49】
前記関心物体に関連する決定された前記位置は、直腸、Ｓ状結腸、下行結腸、横行結腸、上行結腸又は結腸のうちの少なくとも一つの位置である、請求項４６～４８のいずれか一項に記載のコンピュータ可読媒体。盲腸。
【請求項50】
前記関心物体に関連する決定された前記サイズは、数値又はサイズ分類である、請求項４６～４９のいずれか一項に記載のコンピュータ可読媒体。
【請求項51】
前記動作は、前記複数のフレームの複数の関心物体を検出することと、
前記複数の関心物体の特性評価を行うことであって、前記特性評価は、前記複数の関心物体に関連する複数の特徴のセットを決定することを有し、前記複数の特徴のセットの一つの特徴のセットは、前記複数の関心物体の検出された関心物体に関連する特性評価及びサイズ情報を含むことと、
前記複数の特徴のセットのうちの一つ以上の特徴のセットに関連する情報を前記表示装置に提示することと、
を更に備える、請求項４６～５０のいずれか一項に記載のコンピュータ可読媒体。
【請求項52】
前記関心物体の前記特性評価のステータスは、前記関心物体が小さくないと識別することと、
前記関心物体のアグリゲート情報を生成することであって、前記アグリゲート情報は、前記複数のフレームの前記関心物体の前記位置及び前記サイズを含むことと、
を更に備える、請求項４６～５１のいずれか一項に記載のコンピュータ可読媒体。
【請求項53】
前記関心物体の前記特性評価のステータスは、前記関心物体が小さいと識別することと、
関心物体の特性評価のステータスを示す情報を生成し、前記特性評価のステータスは、前記関心物体の分類の非アグリゲート情報を含むことと、
を更に備える、請求項４６～５２のいずれか一項に記載のコンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本願は、２０２１年７月１２日に出願された米国仮出願第６３／２２０，５８５号及び２０２１年７月１２日に出願された欧州優先出願第２１１８５１７９．５号に対する優先権を主張し、上記で参照した各出願の全体は、参照により本明細書に組み込まれる。
本願は、２０２１年７月１２日に出願された米国仮出願第６３／２２０，５８５号及び２０２１年７月１２日に出願された欧州優先出願第２１１８５１７９．５号に対する優先権を主張し、上記で参照した各出願の全体は、参照により本明細書に組み込まれる。
【0002】
本開示は、一般に、リアルタイムビデオを処理するための画像化システム及びコンピュータ実行システム及び方法の分野に関する。更に具体的には、限定するものではないが、本開示は、リアルタイムビデオのフレームを処理するとともに物体検出及び特性評価を実行するためのシステム、方法及びコンピュータ可読媒体に関する。本明細書に開示したシステム及び方法を、ポリープの分類、サイズ及び位置の決定を含むポリープの検出及び特性評価のための医用画像分析のような様々な用途に使用してもよい。本明細書に開示したシステム及び方法を、一つ以上の物体の特性に基づく医療ガイドラインの特定及び医療ガイドラインの情報の表示装置へのリアルタイムでの提示のようなリアルタイムの画像処理機能を提供するために実現してもよい。
【背景技術】
【0003】
最新の視覚及び画像分析システムは、シーンの関心物体の検出及び特性評価を行う機能を必要とする。関心物体は、人、場所、特徴又は物であってもよい。医用画像分析システムのような一部の用途では、適切な診断及び／又は治療を確実に行うために、物体の検出及び特性評価の精度が重要である。医療用途における例示的な関心物体は、人体組織の病変、ポリープ及び／又は他の異常を含む。
【発明の概要】
【発明が解決しようとする課題】
【0004】
様々な物体検出器及び分類器が開発されているが、その多くは欠点を抱えている。例えば、既存のシステムは、物体の種類の変化を検出する能力及び／又は偽陽性が生じる能力が欠けていることがある。一部は、応答時間の制限又はリアルタイムビデオ信号を効率的に処理できないことに悩まされることもある。さらに、既存のシステムは、物体特性評価機能を提供しないことがある又は限られた物体情報しか提供しないことがある。
【0005】
したがって、医用画像分析を含む改善された画像分析システムが必要である。また、リアルタイムビデオを効率的に処理するとともに画像分析及び物体特性評価情報を提供することができるシステムを含む改善された物体検出及び特性評価ソリューションも必要である。さらに、関心物体のデータをアグリゲートするとともに物体の位置、サイズ及び／又は分類に関連する情報を含む所定のコンテキストに応じて情報を提供できるコンピュータ実行システム及び方法が必要である。そのようなシステム及び方法は、内視鏡検査又は他の医療処置中を含むポリープの検出及び特性評価のような用途に有用である。
【課題を解決するための手段】
【0006】
いくつかの開示した実施形態によるリアルタイムビデオのフレームの処理並びに物体検出及び特性評価の実行することを含むリリアルタイムビデオを処理するためのシステム、方法及びコンピュータ可読媒体を提供する。本開示の実施形態は、医用画像装置からのリアルタイムビデオを使用した物体の検出及び特性評価のためのシステム及び方法にも関する。開示した実施形態は、物体を検出するとともに識別された物体の分類、位置及び／又はサイズのような特性評価を決定するためのトレーニングされたニューラルネットワークを有する。いくつかの実施形態では、トレーニングされたニューラルネットワークは、医療処置中に各物体の特性評価を更に効率的に決定するとともに任意選択で医療ガイドラインに関連する情報を提供するために並行して動作するように配置される。例として、複数のトレーニングされたニューラルネットワークを有する特性評価ネットワークを提供してもよく、トレーニングされたニューラルネットワークの各々は、分類、位置又はサイズのような識別された物体の特性評価を検出するように構成されている。識別された物体ごとに物体の特性評価を決定するために、特性評価ネットワークのトレーニングされたニューラルネットワークを適用するとともに同時に並行して動作してもよい。本明細書に更に開示するように、物体の検出及び特性評価は、ポリープの検出及び特性評価だけでなく、他の異常の検出及び特性評価を含んでもよい。これらの実施形態、特徴及び実現及び他の実施形態、特徴及び実現を本明細書で説明する。
【0007】
本開示によれば、一つ以上のコンピュータのシステムを、動作中に引き起こす又はシステムに動作を引き起こすソフトウェア、ファームウェア、ハードウェア又はその組合せをシステムにインストールすることによって、特定の動作を実行するように構成することができる。一つ以上のコンピュータプログラムを、（一つ以上のプロセッサのような）データ処理装置によって実行されるときに装置にそのような操作を実行させる命令を含むことによって動作を実行するように構成することができる。
【0008】
一つの一般的な態様は、リアルタイムビデオを処理するためのコンピュータ実行システムを含む。コンピュータ実行システムは、医療処置中に医用画像装置からキャプチャされたリアルタイムビデオを受信するように構成された少なくとも一つのプロセッサを有してもよく、リアルタイムビデオは複数のフレームを含む。少なくとも一つのプロセッサは、複数のフレームの関心物体を検出し、関心物体の分類を決定するように構成されたトレーニングされた分類ネットワーク、関心物体に関連する位置を決定するように構成されたトレーニングされた位置ネットワーク及び関心物体に関連するサイズを決定するように構成されたトレーニングされたサイズネットワークを実現する一つ以上のニューラルネットワークを適用するように構成されてもよい。さらに、少なくとも一つのプロセッサは、関心物体の分類、位置及びサイズのうちの一つ以上に基づいて医療ガイドラインを特定するように構成されてもよい。少なくとも一つのプロセッサは、特定された前記医療ガイドラインの情報を前記医療処置中に表示装置にリアルタイムで提示するように更に構成されてもよい。他の実施形態は、上述した動作又は特徴を実行するように構成された対応するコンピュータ方法、コンピュータ装置及び一つ以上のコンピュータ記憶装置に記録されたコンピュータプログラムを含む。
【0009】
実現は、以下の特徴の一つ以上を有してもよい。医療処置は、内視鏡検査、胃内視鏡検査、結腸内視鏡検査又は腸内視鏡検査のうちの少なくとも一つを含んでもよい。関心物体は、ヒト組織の形成、あるタイプの細胞から別のタイプの細胞へのヒト組織の変化、人体組織が予想される場所からのヒト組織の欠如又は病変のうちの少なくとも一つを含んでもよい。一例として、関心物体は、ポリープであってもよい。特定された医療ガイドラインの情報は、関心物体を残すか切除するかの指示を含んでもよい。特定された医療ガイドラインの情報は、切除の種類を含んでもよい。少なくとも一つのプロセッサは、特定された前記医療ガイドラインに関連する信頼値を生成するように更に構成されてもよい。決定された分類は、組織学的分類、形態学的分類、構造的分類又は悪性腫瘍分類のうちの少なくとも一つに基づいてもよい。関心物体に関連する決定された位置は、人体の位置であってもよい。人体の位置は、直腸、Ｓ状結腸、下行結腸、横行結腸、上行結腸又は盲腸の位置のうちの一つであってもよい。関心物体に関連する決定されたサイズは、数値又はサイズ分類であってもよい。
【0010】
少なくとも一つのプロセッサは、複数のフレームのうちの少なくとも一つに関連するフレーム品質を決定し、決定されたフレーム品質に関連する信頼値を生成するように構成されたトレーニングされた品質ネットワークを実現する一つ以上のニューラルネットワークを適用するように更に構成されてもよい。少なくとも一つのプロセッサは、決定されたフレーム品質又は信頼値のうちの少なくとも一つが既定の閾値を超えるとき、決定された分類、位置及びサイズに関連するデータをアグリゲートし、アグリゲートされたデータの少なくとも一部を表示装置に提示するように更に構成されてもよい。さらに、少なくとも一つのプロセッサは、複数のフレームの複数の関心物体を検出し、複数の関心物体に関連する複数の分類及び複数のサイズを決定し、決定された複数の分類及び複数のサイズのうちの一つの分類及び一つのサイズは、検出された複数の関心物体のうちの検出された一つの関心物体に関連するように更に構成されてもよい。少なくとも一つのプロセッサは、複数の分類及び複数のサイズのうちの一つ以上の分類及びサイズに関連する情報を前記表示装置に提示するように更に構成されてもよい。これらの上述した動作及び技術及び他の上述した動作及び技術の実現は、ハードウェア、方法又はプロセス又はコンピュータがアクセス可能な媒体のコンピュータソフトウェアを含んでもよい。
【0011】
別の一般的な態様は、リアルタイムビデオを処理するためのコンピュータ実行システムを含む。コンピュータ実行システムは、リアルタイムビデオを受信するように構成された少なくとも一つのプロセッサを有してもよく、リアルタイムビデオは、医療処置中に収集された複数のフレームを含む。少なくとも一つのプロセッサは、複数のフレームの関心物体を検出し、関心物体に関連する複数の特徴を決定し、複数の特徴に関連する信頼値を決定するように構成されたトレーニングされた特性評価ネットワークを実現する一つ以上のニューラルネットワークを適用するように構成されてもよい。少なくとも一つのプロセッサは、複数の特徴及び信頼値のうちの一つ以上に基づいて医療ガイドラインを特定し、特定された医療ガイドラインに関する情報を医療処置中に表示装置にリアルタイムで提示するように更に構成されてもよい。他の実施形態は、上述した動作又は特徴を実行するように構成された対応するコンピュータ方法、コンピュータ装置及び一つ以上のコンピュータ記憶装置に記録されたコンピュータプログラムを含む。
【0012】
上述したコンピュータ実行システムの実現は、以下の特徴の一つ以上を有してもよい。医療処置は、内視鏡検査、胃内視鏡検査、結腸内視鏡検査又は腸内視鏡検査のうちの少なくとも一つを含んでもよい。関心物体は、ヒト組織の形成、あるタイプの細胞から別のタイプの細胞へのヒト組織の変化、人体組織が予想される場所からのヒト組織の欠如又は病変のうちの少なくとも一つを含んでもよい。一例として、関心物体は、ポリープであってもよい。医療ガイドラインの情報は、関心物体を残すか切除するかの指示を含んでもよい。特定された医療ガイドラインの情報は、切除の種類を含んでもよい。少なくとも一つのプロセッサは、特定された前記医療ガイドラインに関連する信頼値を生成するように更に構成されてもよい。トレーニングされた特性評価ネットワークは、関心物体に関連する分類を決定するとともに決定された分類に関連する分類信頼値を生成するように構成されたトレーニングされた分類ネットワークと、関心物体に関連する位置を決定するとともに決定された位置に関連する位置信頼値を生成するように構成されたトレーニングされた位置ネットワークと、関心物体に関連するサイズを決定するとともに決定されたサイズに関連するサイズ信頼値を生成するように構成されたトレーニングされたサイズネットワークと、を有してもよい。少なくとも一つのプロセッサは、分類、位置又はサイズのうちの少なくとも一つに関連する情報を表示装置に提示するように更に構成されてもよい。
【0013】
少なくとも一つのプロセッサは、複数のフレームのうちの少なくとも一つに関連するフレーム品質を決定し、決定されたフレーム品質に関連する信頼値を生成するように構成されたトレーニングされた品質ネットワークを実現する一つ以上のニューラルネットワークを適用するように更に構成されてもよい。少なくとも一つのプロセッサは、決定されたフレーム品質又は信頼値のうちの少なくとも一つが既定の閾値より上であるとき、複数の特徴に関連するデータをアグリゲートし、アグリゲートされたデータの少なくとも一部を表示装置に提示するように更に構成されてもよい。少なくとも一つのプロセッサは、複数のフレームの複数の関心物体を検出し、複数の関心物体に関連する複数の特徴のセットを決定し、複数の特徴のセットのうちの一つの特徴のセットは、検出された複数の関心物体のうちの検出された一つの関心物体に関連する特性評価及びサイズ情報を含み、複数の特徴のセットのうちの一つ以上の特徴のセットに関連する情報を表示装置に提示するように更に構成されてもよい。これらの上述した動作及び技術及び他の上述した動作及び技術の実現は、ハードウェア、方法又はプロセス又はコンピュータがアクセス可能な媒体のコンピュータソフトウェアを含んでもよい。
【0014】
別の一般的な態様は、リアルタイムビデオを処理するためのコンピュータ実行システムを含む。コンピュータ実行システムは、少なくとも一つのプロセッサを有してもよく、少なくとも一つのプロセッサは、医用画像装置から受信した複数のフレームの関心物体を検出し、関心物体の特性評価を行うことであって、特性評価は、関心物体に関連する複数の特徴を決定することを有するように構成されてもよい。複数の特徴は、前記関心物体の位置及びサイズを有してもよい。少なくとも一つのプロセッサは、関心物体が複数のフレームの二つ以上に亘って存続する場合、関心物体の決定された位置及びサイズに関連する情報をアグリゲートするように更に構成されてもよい。少なくとも一つのプロセッサは、決定された位置が第１の身体領域にあるとともに決定されたサイズが第１の範囲内にあるとき、関心物体のアグリゲートされた情報を表示装置に提示し、決定された位置が第２の身体領域にあるとともに決定されたサイズが第２の範囲内にあるとき、関心物体の特性評価の状態を示す情報情報を表示装置に提示するように更に構成されてもよい。他の実施形態は、上述した動作又は特徴を実行するように構成された対応するコンピュータ方法、コンピュータ装置及び一つ以上のコンピュータ記憶装置に記録されたコンピュータプログラムを含む。
【0015】
実現は、以下の特徴の一つ以上を有してもよい。少なくとも一つのプロセッサは、関心物体の決定された位置及びサイズに基づいて医療ガイドラインを特定し、特定された医療ガイドラインに関連する情報を表示装置に提示するように更に構成されてもよい。複数の特徴は、組織学的分類、形態学的分類、構造的分類又は悪性腫瘍分類のうちの少なくとも一つに基づく関心物体の分類を更に含んでもよい。関心物体に関連する決定された位置は、直腸、Ｓ状結腸、下行結腸、横行結腸、上行結腸又は盲腸のうちの少なくとも一つの位置であってもよい。関心物体に関連する決定されたサイズは、数値又はサイズ分類であってもよい。
【0016】
少なくとも一つのプロセッサは、複数のフレームの複数の関心物体を検出し、複数の関心物体の特性評価を行い、特性評価は、複数の関心物体に関連する複数の特徴のセットを決定することを有し、複数の特徴のセットの一つの特徴のセットは、複数の関心物体の検出された関心物体に関連する特性評価及びサイズ情報を含み、複数の特徴のセットのうちの一つ以上の特徴のセットに関連する情報を表示装置に提示するように更に構成されてもよい。これらの上述した動作及び技術及び他の上述した動作及び技術の実現は、ハードウェア、方法又はプロセス又はコンピュータがアクセス可能な媒体のコンピュータソフトウェアを含んでもよい。
【0017】
別の一般的な態様は、リアルタイムビデオを処理するためのコンピュータ実行方法を含む。コンピュータ実行方法は、医療処置中に医用画像装置からキャプチャされたリアルタイムビデオを受信することであって、リアルタイムビデオは、複数のフレームを含むことを有してもよい。方法は、複数のフレームの関心物体を検出することと、関心物体の分類を決定するように構成されたトレーニングされた分類ネットワーク、関心物体に関連する位置を決定するように構成されたトレーニングされた位置ネットワーク及び関心物体に関連するサイズを決定するように構成されたトレーニングされたサイズネットワークを実現する一つ以上のニューラルネットワークを適用することとを更に有する。方法は、分類、位置及びサイズのうちの二つ以上に基づいて医療ガイドラインを特定することと、特定された医療ガイドラインの情報を医療処置中に表示装置にリアルタイムで提示することと、を更に有する。
【0018】
本開示によるシステム及び方法を、ソフトウェア、ファームウェア及びハードウェアの任意の適切な組合せを使用して実現してもよい。本開示の実現は、開示した動作に関連する機能を実行するために特に機械的に構築及び／又はプログラムされたプログラム又は命令を含んでもよい。さらに、本明細書に記載されるステップ及び／又は方法を実行するために少なくとも一つのプロセッサによって実行可能なプログラム命令を格納する非一時的なコンピュータ可読記憶媒体を使用してもよい。
【0019】
上述した一般的な説明及び以下の詳細な説明が例示及び説明であるとともに開示した実施形態を限定するものではないことが理解される。
【図面の簡単な説明】
【0020】
本明細書の一部を構成する以下の図面は、いくつかの実施形態を示し、説明とともに、開示した実施形態の原理及び特徴を説明するのに役立つ。
【0021】
【0022】
【0023】
【0024】
【0025】
【0026】
【0027】
【0028】
【0029】
【発明を実施するための形態】
【0030】
以下、添付図面を参照しながら例示的な実施形態について説明する。図は必ずしも一定の縮尺で描かれているわけではない。開示した原理の例及び特徴を本明細書に記載しているが、開示した実施形態の精神及び範囲から逸脱することなく修正、適応及び他の実現が可能である。また、「備える」、「有する」、「含有する」及び「含む」という単語並びに他の同様の形式は、これらの語句のいずれかに続くがそのような項目を網羅的に列挙することを意味するものでも列挙された項目のみに限定することを意味するものでもないという点で同等の意味を有するとともに制限がない。また、本明細書及び添付の特許請求の範囲で使用される場合、文脈上明らかに別段の指示がない限り、単数形“ａ”，“ａｎ”及び“ｔｈｅ”が複数の参照を含むことにも留意されたい。
【0031】
以下の説明では、説明のために様々な実施例を提供する。しかしながら、本開示は、これらの詳細の一つ以上がなくても実施できることが理解される。
【0032】
本開示全体を通じて、「開示した実施形態」への言及があり、これは、本明細書に記載される発明のアイデア、概念及び／又は具現化の例を指す。多くの関連の実施形態及び無関係の実施形態を、本開示を通じて説明する。いくつかの「開示した実施形態」が特徴又は特性を示すものとして説明されているという事実は、他の開示した実施形態がその特徴又は特性を必ずしも共有することを意味するものではない。
【0033】
本開示は、読者にいくつかの例示的な実施形態の基本的な理解を提供する便宜のために提供され、開示の範囲を完全に定義するものではない。本開示は、企図される全ての実施形態の広範な概要ではなく、全ての実施形態の重要な要素又は重要な要素を特定することも、一部又は全ての態様の範囲を描写することも意図していない。その目的は、後で提示する更に詳しい説明の前置きとして、一つ以上の実施形態のいくつかの特徴を簡略化した形式で提示することである。便宜上、本明細書では、「特定の実施形態」又は「例示的な実施形態」という用語を、本開示の単一の実施形態又は複数の実施形態を指すために使用することがある。
【0034】
本明細書に記載した実施形態は、少なくとも一つのプロセッサによって実行されるとき、方法又は一連の動作を少なくとも一つのプロセッサに実行させる命令を含む非一時的なコンピュータ可読媒体を指すことがある。非一時的なコンピュータ可読媒体は、メモリに格納された方法又は任意の他の命令を実行するために、プロセッサを備えた任意のコンピュータ装置によって読み取られ得る方法で任意のメモリにデータを格納できる任意の媒体であってもよい。非一時的なコンピュータ可読媒体は、ソフトウェア、ファームウェア、ハードウェア又はその任意の組合せとして実現してもよい。好適には、ソフトウェアを、部品、特定のデバイス及び／又はデバイスの組合せから構成されるプログラム記憶ユニット又はコンピュータ可読媒体に具現化されたアプリケーションプログラムとして実現する。アプリケーションプログラムを、任意の適切なアーキテクチャを含むマシンにアップロードして実行してもよい。好適には、マシンは、一つ以上の中央処理装置（ＣＰＵ）、メモリ及び入出力インターフェースのようなハードウェアを有するコンピュータプラットフォームで実現してもよい。コンピュータプラットフォームは、オペレーティングシステム及びマイクロ命令コードを含んでもよい。本開示で説明する様々なプロセス及び機能は、マイクロ命令コードの一部又はアプリケーションプログラムの一部又はその任意の組合せであってもよく、そのようなコンピュータ又はプロセッサを明示的に示すか否かに関係なくＣＰＵによって実行されてもよい。 さらに、追加のデータ記憶ユニット及び印刷ユニットのような他の様々な周辺ユニットをコンピュータプラットフォームに接続してもよい。さらに、非一時的なコンピュータ可読媒体は、一時的な伝播信号を除く任意のコンピュータ可読媒体であってもよい。
【0035】
メモリは、ランダムアクセスメモリ (ＲＡＭ)、読み取り専用メモリ (ＲＯＭ)、ハードディスク、光ディスク、磁気媒体、フラッシュ メモリ、他の永久メモリ、固定メモリ、揮発性メモリ又は不揮発性メモリを含む、電子データ又は命令を保存するための任意のメカニズムを含んでもよい。メモリは、データ構造、命令又は他の任意のデータを記憶できる、併置又は分散された一つ以上の別個の記憶装置を含んでもよい。メモリは、プロセッサが実行するための命令を含むメモリ部分を更に含んでもよい。メモリを、プロセッサの作業メモリデバイスとして使用してもよい又は一時記憶装置として使用してもよい。
【0036】
いくつかの実施形態は、少なくとも一つのプロセッサを含んでもよい。プロセッサは、入力に対して論理演算を実行する電気回路を備えた任意の物理デバイス又はデバイスのグループである。例えば、少なくとも一つのプロセッサは、特定用途向け集積回路（ＡＳＩＣ）、マイクロチップ、マイクロコントローラ、マイクロプロセッサ、中央処理装置（ＣＰＵ）の全部又は一部、グラフィックス処理装置(ＧＰＵ)、デジタルシグナルプロセッサ (ＤＳＰ)、フィールドプログラマブルゲートアレイ (ＦＰＧＡ)、サーバー、仮想サーバー又は命令の実行若しくは論理演算の実行に適した他の回路を含む一つ以上の集積回路（ＩＣ）を含んでもよい。少なくとも一つのプロセッサによって実行される命令は、例えば、コントローラに統合又は埋め込まれたメモリにプリロードされてもよい又は別個のメモリに格納されてもよい。
【0037】
いくつかの実施形態では、少なくとも一つのプロセッサは、複数のプロセッサを含んでもよい。各プロセッサは、同様の構成を有していてもよい、又は、プロセッサは、互いに電気的に接続又は切断された異なる構成であってもよい。例えば、プロセッサは、別個の回路であってもよい又は単一の回路に統合されていてもよい。複数のプロセッサを使用する場合、プロセッサを、独立して動作するように又は協調して動作するように構成してもよい。プロセッサを、電気的、磁気的、光学的、音響的、機械的又はそれらの相互作用を可能にする他の手段によって結合してもよい。
【0038】
本開示によれば、開示した実施形態は、ネットワークを含んでもよい。ネットワークは、データ交換に使用される任意の種類の物理的又は無線コンピュータネットワーキング構成を構成してもよい。例えば、ネットワークは、インターネット、プライベートデータネットワーク、パブリックネットワークを使用した仮想プライベートネットワーク、Ｗｉ－Ｆｉ（登録商標）ネットワーク、ＬＡＮ又はＷＡＮネットワーク及び／又はシステムの様々なコンポーネント間の情報交換を可能にする他の適切な接続であってもよい。いくつかの実施形態では、ネットワークは、イーサネット（登録商標）、同軸ケーブル、ツイストペアケーブル、光ファイバ又はデータを交換するための他の任意の適切な物理媒体のようなデータを交換するために使用される一つ以上の物理リンクを含んでもよい。ネットワークは、公衆交換電話網（ＰＳＴＮ）及び／又は無線セルラーネットワークを含んでもよい。ネットワークは、安全なネットワーク又は安全でないネットワークの場合がある。他の実施形態では、システムの一つ以上のコンポーネントは、専用の通信ネットワークを介して直接通信を行ってもよい。 直接通信は、例えば、ＢＬＵＥＴＯＯＴＨ（登録商標）、ＢＬＵＥＴＯＯＴＨ（登録商標）ＬＥ (ＢＬＥ（登録商標）)、Ｗｉ－Ｆｉ（登録商標）、近距離無線通信(ＮＦＣ)又は別々のエンティティ間でデータ及び／又は情報を交換するための媒体を提供する他の適切な通信方法を含む任意の適切な技術を使用してもよい。
【0039】
いくつかの実施形態では、機械学習ネットワーク又はアルゴリズムは、例えば、以下に説明する場合、トレーニング例を使用してトレーニングしてもよい。そのような機械学習アルゴリズムの非限定的な例は、分類アルゴリズム、データ回帰アルゴリズム、画像セグメンテーションアルゴリズム、（物体検出器、顔検出器、人物検出器、動き検出器、エッジ検出器のような）視覚検出アルゴリズム、(顔認識、人物認識、物体認識のような)視覚認識アルゴリズム、音声認識アルゴリズム、数学的埋め込みアルゴリズム、自然言語処理アルゴリズム、サポートベクターマシン、ランダムフォレスト、最近傍アルゴリズム、深層学習アルゴリズム、人工ニューラルネットワークアルゴリズム、畳み込みアルゴリズムニューラルネットワーク アルゴリズム、再帰的ニューラルネットワークアルゴリズム、線形機械学習モデル、非線形機械学習モデル、アンサンブルアルゴリズム等を含んでもよい。例えば、トレーニングされた機械学習ネットワーク又はアルゴリズムは、予測モデル、分類モデル、回帰モデル、クラスタリングモデル、セグメンテーションモデル、人工ニューラルネットワーク (ディープニューラルネットワーク、畳み込みニューラルネットワーク、再帰的ニューラルネットワークなど)、ランダムフォレスト、サポートベクターマシン等を含んでもよい。いくつかの例では、トレーニング例は、入力例と、入力例に対応する所望の出力とを含んでもよい。さらに、いくつかの例では、トレーニング例を使用するトレーニング機械学習アルゴリズムは、トレーニングされた機械学習アルゴリズムを生成してもよく、トレーニングされた機械学習アルゴリズムは、トレーニング例に含まれない入力に対する出力を推定するために使用されてもよい。トレーニングは、教師あり又は教師なし又はその組み合わせで行うことができる。いくつかの例では、機械学習アルゴリズムをトレーニングするエンジニア、科学者、プロセス及び機械は、検証例及び／又はテスト例を更に使用してもよい。例えば、検証例及び／又はテスト例は、入力例とその入力例に対応する所望の出力を含んでもよく、トレーニングされた機械学習アルゴリズム及び／又は中間的にトレーニングされた機械学習アルゴリズムを、検証例及び／又はテスト例の入力例の出力を推定するために使用してもよく、推定された出力を、対応する所望の出力と比較してもよく、トレーニングされた機械学習アルゴリズム及び／又は中間的にトレーニングされた機械学習アルゴリズムを、比較の結果に基づいて評価してもよい。いくつかの例では、機械学習アルゴリズムは、パラメータ及びハイパーパラメータを有してもよく、ハイパーパラメータは、人によって手動で設定され、又は、（ハイパーパラメータ検索アルゴリズムのような）機械学習アルゴリズムの外部のプロセスによって自動的に設定され、機械学習アルゴリズムは、トレーニング例に従って機械学習アルゴリズムによって設定される。いくつかの実装形態では、ハイパーパラメータは、トレーニング例及び検証例に従って設定され、パラメータは、トレーニング例及び選択されたハイパーパラメータに従って設定される。機械学習ネットワーク又はアルゴリズムを、出力に基づいて更に再トレーニングしてもよい。
【0040】
本明細書に開示した特定の実施形態は、一連のステップを含む操作又は方法を実行するためのコンピュータ実行システムを含んでもよい。コンピュータ実行システム及び方法は、リアルタイムビデオを処理するように構成された本明細書に記載の一つ以上のプロセッサを含んでもよい一つ以上のコンピュータ装置によって実現してもよい。コンピュータ装置は、一つ以上のコンピュータ又はデータを処理できる他の任意のデバイスであってもよい。このようなコンピュータ装置には、ＬＥＤディスプレイ、拡張現実(ＡＲ)、又は仮想現実(ＶＲ)ディスプレイのようなディスプレイを有してもよい。しかしながら、コンピュータ装置を、（例えば、データサーバとしての）バックエンドコンポーネントを含む又はミドルウェアコンポーネント（例えば、アプリケーションサーバ）を含む又はフロントエンドコンポーネント（例えば、ユーザがここで説明するシステム及び技術の実現とやり取りを行うことができるグラフィカルユーザインターフェイス又はＷｅｂブラウザーを備えたユーザデバイス）を含む又はそのようなバックエンド、ミドルウェア若しくはフロントエンドコンポーネントの任意の組合せを含むコンピューティングシステムにおいて実現してもよい。システム及び／又はコンピュータ装置のコンポーネントを、デジタルデータ通信の任意の形式又は媒体（例えば、通信ネットワーク）によって相互接続してもよい。通信ネットワークの例は、ローカルエリアネットワーク（「ＬＡＮ」）、ワイドエリアネットワーク（「ＷＡＮ」）及びインターネットを含む。コンピュータ装置は、クライアント及びサーバーを含むことができる。通常、クライアント及びサーバーは互いにリモートにあり、通常、通信ネットワークを通じてやり取りを行う。クライアントとサーバーの関係は、それぞれのコンピュータで実行されるとともに相互にクライアントとサーバーの関係を持つコンピュータプログラムによって発生する。
【0041】
図１は、本開示の実施形態によるリアルタイムビデオを処理するためのコンピュータ実行システム１００の一例を示す。図１に示すように、システム１００は、画像装置１４０と、オペレータ１２０と、を有し、オペレータ１２０は、オペレータ１２０から画像装置１４０に送信される制御信号を通じて画像装置１４０を操作及び制御する。一例として、ビデオフィードが医療ビデオを含む実施形態では、オペレータ１２０は、医師又は他の医療専門家であってもよい。画像装置１４０は、内視鏡画像装置、Ｘ線装置、コンピュータ断層撮影（ＣＴ）装置、磁気共鳴画像法（ＭＲＩ）装置又は人体若しくはその一部のビデオ又は一つ以上の画像を生成する他の医用画像装置のような医用画像装置を備えてもよい。オペレータ１２０は、とりわけ、画像装置１４０のキャプチャレート、及び／又は、例えば、患者又は個人の人体を通して又は人体に対して相対的な画像装置１４０の動き又はナビゲーションを制御することによって、画像装置１４０を制御してもよい。
【0042】
図１の例では、画像装置１４０は、キャプチャされたビデオを複数の画像フレームとしてコンピュータ装置１６０に送信してもよい。コンピュータ装置１６０は、本明細書に記載したように、ビデオを処理するための一つ以上のプロセッサを備えてもよい（例えば、図２を参照）。いくつかの実施形態では、一つ以上のプロセッサを、コンピュータ装置１６０の一部ではないがそれとネットワーク通信を行う別個のコンポーネント（図示せず）として実現してもよい。いくつかの実施形態では、コンピュータ装置１６０の一つ以上のプロセッサは、トレーニングされたニューラルネットワークのような一つ以上のネットワークを実現してもよい。ニューラルネットワークの例は、本明細書で更に説明するように、物体検出ネットワーク、分類検出ネットワーク、位置検出ネットワーク、サイズ検出ネットワーク又はフレーム品質検出ネットワークを含む。コンピュータ装置１６０は、画像装置１４０から複数の画像フレームを受信して処理してもよい。いくつかの実施形態では、一つ以上の拡張ビデオの作成を制御又は指示するために、制御信号又は情報信号をコンピュータ装置１６０とオペレータ１２０との間で交換してもよい。これらの制御信号又は情報信号を、画像装置１４０を介してデータとして送受信してもよい又はオペレータ１２０からコンピューティング装置１６０に直接送受信してもよい。制御信号及び情報信号の例は、本明細書で説明するような物体検出ネットワーク、分類検出ネットワーク、位置検出ネットワーク、サイズ検出ネットワーク又はフレーム品質検出ネットワークのようなコンピュータ装置１６０のコンポーネントを制御するための信号を含む。
【0043】
図１の例では、コンピュータ装置１６０は、画像装置１４０から受信したビデオを処理及び拡張し、その後、拡張ビデオを表示装置１８０に送信してもよい。いくつかの実施形態では、ビデオの拡張又は修正は、ビデオフレーム内で又はビデオフレームと共に一つ以上のオーバーレイ、英数字、形状、図、画像、アニメーション画像又は任意の他の適切なグラフィック表現を提供することを含んでもよい。ビデオ拡張は、分類、サイズ及び／又は位置情報のような関心物体に関連する情報を提供してもよい。追加的に又は代替的に、ビデオ拡張は、医療ガイドラインに関連する情報を提供してもよい。医療ガイドラインに関連する情報を、ビデオ内の関心物体とは別に及び／又はその近くに、分類、サイズ及び／又は位置のような関心物体に関連する他の情報と同時に表示してもよい。図１に示すように、コンピュータ装置１６０は、オリジナルの拡張されていないビデオを画像装置１４０から表示装置１８０に直接中継するように構成されてもよい。例えば、コンピュータ装置１６０は、生成されるオーバーレイ又は他の拡張がないときのように所定の条件下で直接中継を実行してもよい。いくつかの実施形態では、オペレータ１２０が制御信号の一部としてコマンドをコンピュータ装置１６０に送信して直接中継を行う場合、コンピュータ装置１６０は直接中継を実行してもよい。オペレータ１２０からのコマンドを、マウスクリック、カーソルホバー、マウスオーバー、ボタンの押下、キーボード入力、音声コマンド、仮想現実若しくは拡張現実で実行されるインタラクション又は他の入力のようなオペレータデバイス及び／又は入力デバイス（図示せず）に含まれるボタン及び／又はキーの操作によって生成してもよい。
【0044】
ビデオを拡張するために、コンピュータ装置１６０は、画像装置１４０からのビデオを処理するとともに表示装置１８０に送信するための修正されたビデオストリームを作成してもよい。修正されたビデオは、表示装置１８０を介してオペレータに表示される拡張情報を伴う元の画像フレームを含んでもよい。表示装置１８０は、ＬＣＤ、ＬＥＤ又はＯＬＥＤディスプレイ、拡張現実ディスプレイ又は仮想現実ディスプレイのようなビデオ又は変更されたビデオを表示するための任意の適切なディスプレイ又は同様のハードウェアを備えてもよい。
【0045】
図２は、本開示の実施形態によるリアルタイムビデオを処理するための例示的なコンピュータ装置２００のブロック図である。コンピュータ装置２００を、（例えば、コンピュータ装置１６０を有する）図１の例示的なシステムの実現と関連して使用してもよい。いくつかの実施形態ではコンピュータ装置がクラウドコンピューティングシステム、サーバー又はリアルタイムビデオを受信して処理するための任意の他の適切なコンポーネントのような複数のサブシステムを有してもよいことを理解すべきである。
【0046】
図２に示すように、コンピュータ装置２００は、一つ以上のプロセッサ２３０を有してもよく、プロセッサ２３０は、例えば、上述したように、特定用途向け集積回路（ＡＳＩＣ）を含む一つ以上の集積回路（ＩＣ）、マイクロチップ、マイクロコントローラ、マイクロプロセッサ、中央処理装置 (ＣＰＵ) の一部又は全て、グラフィックス処理装置 (ＧＰＵ)、デジタル信号プロセッサ (ＤＳＰ)、フィールドプログラマブルゲートアレイ (ＦＰＧＡ)、サーバー、仮想サーバー又は命令の実行若しくは論理演算の実行に適した他の回路を含んでもよい。いくつかの実施形態では、プロセッサ２３０は、一つ以上のプロセッサで実現された更に大きい処理ユニットを有してもよい又はその構成要素であってもよい。一つ以上のプロセッサ２３０を、汎用マイクロプロセッサ、マイクロコントローラ、デジタルシグナルプロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プログラマブルロジックデバイス（ＰＬＤ）、コントローラ、ステートマシン、ゲートロジック、個別のハードウェア構成要素、専用ハードウェア有限状態マシン又は情報の計算若しくは他の操作を実行できる他の適切なエンティティの組合せによって実現してもよい。
【0047】
図２に更に示すように、（一つ以上の）プロセッサ２３０を、バス又はネットワーク２５０を介してメモリ２４０に通信可能に接続してもよい。バス又はネットワーク２５０は、データ及び他の形式の情報の通信を行うように適合されてもよい。メモリ２４０は、（一つ以上の）プロセッサ２３０によって実行されるときに本明細書で更に詳しく説明する操作及び方法を実行する命令を含むメモリ部分２４５を含んでもよい。メモリ２４０を、場合に応じて、（一つ以上の）プロセッサ２３０の作業メモリ、一時記憶装置及び他のメモリ又は記憶装置の役割としても使用してもよい。例として、メモリ２４０は、ランダムアクセスメモリ（ＲＡＭ）のような揮発性メモリ又はフラッシュメモリのような不揮発性メモリ（ＮＶＭ）であってもよいが、それに限定されない。
【0048】
（一つ以上の）プロセッサ２３０を、バス又はネットワーク２５０を介して一つ以上のＩ／Ｏデバイス２１０に通信可能に接続してもよい。Ｉ／Ｏデバイス２１０は、任意のタイプの入力及び／又は出力デバイス又は周辺デバイスを含んでもよい。Ｉ／Ｏデバイス２１０は、ネットワーク２５０を介したプロセッサ２３０との接続をサポートするための一つ以上のネットワークインターフェースカード、ＡＰＩ、データポート及び／又は他のコンポーネントを含んでもよい。
【0049】
図２に更に示すように、コンピュータ装置２００の（一つ以上の）プロセッサ２３０及び他のコンポーネント（２１０，２４０）を、データベース又は記憶装置２２０に通信可能に接続してもよい。記憶装置２２０は、組織化されたフォーマット、構造又はファイルのセットでデータを電子的に記憶してもよい。記憶装置２２０は、データの記憶及び検索を容易にするデータベース管理システムを含んでもよい。図２では記憶装置２２０を単一のデバイスとして示すが、記憶装置２２０が併置又は分散された複数のデバイスを含んでもよいことを理解すべきである。いくつかの実施形態では、記憶装置２２０を、クラウドストレージのようなリモートネットワークにおいて実現してもよい。
【0050】
（一つ以上の）プロセッサ２３０及び／又はメモリ２４０は、ソフトウェア又は命令セットを格納するための機械可読媒体を含んでもよい。本明細書で使用される「ソフトウェア」は、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語等のいずれの種類の命令をも広範に指す。命令は、コード（例：ソースコード形式、バイナリコード形式、実行可能コード形式又は他の適切なコード形式）を含んでもよい。命令は、一つ以上のプロセッサ２３０によって実行されるとき、本明細書で更に詳しく説明する様々な動作及び機能をプロセッサに実行させることができる。
【0051】
コンピュータ装置２００の実現は、図２に示す例示的な実施形態に限定されない。構成要素（２１０，２２０，２３０，２４０）の数及び配置を変更及び再配置してもよい。さらに、図２に示さないが、コンピュータ装置２００は、インターネット、ローカルエリアネットワーク、ワイドエリアネットワーク、メトロエリアネットワーク及びコンピューティングアーキテクチャの要素間の通信を可能にすることができる他のネットワークを含む他の（一つ以上の）ネットワークと電子通信を行ってもよい。また、コンピュータ装置２００は、記憶装置２２０を含む任意のソースから及び（一つ以上の）ネットワーク又は他の（一つ以上の）データベースから本明細書に記載したデータ又は他の情報を検索してもよい。さらに、コンピュータ装置２００は、本明細書で説明するニューラルネットワークを実現するために使用される一つ以上の機械学習モデルを含んでもよく、機械学習モデルの重み又はパラメータ、トレーニング情報又はトレーニングフィードバック、医療ガイドライン及び／又はガイドラインルール、及び／又は、本明細書に記載した他のデータ及び情報を検索又は受信してもよい。
【0052】
本開示の実施形態によれば、リアルタイムビデオを処理するためのシステム、方法及びコンピュータ可読媒体を提供する。本明細書に記載したシステム及び方法を、少なくとも一つのプロセッサ又はＣＰＵ、ＦＰＧＡ、ＡＳＩＣ若しくはコンピュータ装置の任意の他の（一つ以上の）処理構造又は記憶媒体のような非一時的なコンピュータ可読媒体の助けを借りて実現してもよい。本明細書で使用する「リアルタイムビデオ」は、ビデオソース (例えば、画像装置)から知覚可能な遅延なしに少なくとも一つのプロセッサ、コンピュータ装置及び／又はシステムによって受信されるビデオを指してもよい。例えば、少なくとも一つのプロセッサは、開示した実施形態による医療処置中に医用画像装置からキャプチャされたリアルタイムビデオを受信するように構成されてもよい。医用画像装置は、上述したように、内視鏡装置、Ｘ線装置、ＣＴ装置又はＭＲＩ装置のような人体又はその一部のビデオ又は一つ以上の画像を生成できる任意の装置であってもよい。医療処置は、内視鏡検査、胃内視鏡検査、結腸内視鏡検査又は腸内視鏡検査のような患者の状態を決定、検出、測定又は診断するために実行される任意の行為である。医療処置が内視鏡処置である実施形態では、医療処置を、人体の位置における関心物体（例えば、病変又はポリープ）を識別するために使用してもよい。人体の位置は、直腸、Ｓ状結腸、下行結腸、横行結腸、上行結腸又は盲腸であってもよい。しかしながら、開示したシステム及び方法を他の状況及び用途でも使用できることを理解すべきである。
【0053】
リアルタイムビデオは、開示した実施形態によれば、複数のフレームを含んでもよい。本明細書で使用する「フレーム」は、リアルタイムビデオ内のシーン又は視野を表すピクセルの集合のような任意のデジタル表現を指してもよい。そのような実施形態では、ピクセルは、（例えば、ＲＧＢ、ＲＹＢ、ＣＭＹ、ＣＭＹＫ又はＹＵＶカラーモデルに基づく）色空間における値又は強度によって特性評価が行われる離散要素を表してもよい。 フレームを、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）形式、ＧＩＦ（Ｇｒａｐｈｉｃｓ Ｉｎｔｅｒｃｈａｎｇｅ Ｆｏｒｍａｔ）形式、ビットマップ形式、ＳＶＧ（Ｓｃａｌａｂｌｅ Ｖｅｃｔｏｒ Ｇｒａｐｈｉｃｓ）形式、ＥＰＳ（Ｅｎｃａｐｓｕｌａｔｅｄ ＰｏｓｔＳｃｒｉｐｔ）形式等の任意の適切な形式でエンコードしてもよい。「ビデオ」という用語は、連続した複数のフレームから構成される関心のあるシーン又は領域のデジタル表現を指す。ビデオを、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）フォーマット、フラッシュビデオフォーマット、ＡＶＩ（Ａｕｄｉｏ Ｖｉｄｅｏ Ｉｎｔｅｒｌｅａｖｅ）フォーマット又は他のフォーマットのような任意の適切なフォーマットでエンコードしてもよい。しかしながら、ビデオをエンコードする必要はなく、更に一般的には、ビデオは、複数のフレームを含んでもよい。フレームは、ランダムな順序を含む任意の順序にしてもよい。いくつかの実施形態では、ビデオ又は複数のフレームを、オーディオと対にしてもよい。
【0054】
複数のフレームは、関心物体の表現を含んでもよい。本明細書で使用される「関心物体」は、検出又は特性評価が望まれる複数のフレームの任意の視覚的アイテム又は特徴を指してもよい。例えば、関心物体は、人、場所、エンティティ、特徴、領域又は他の識別可能な視覚的な項目又は物であってもよい。複数のフレームが医用画像装置からキャプチャされた画像を含む実施形態では、例えば、関心物体は、ヒト組織の形成、あるタイプの細胞から別のタイプの細胞へのヒト組織の変化、人体組織が予想される場所からのヒト組織の欠如又は病変のうちの少なくとも一つを含んでもよい。画像装置によってキャプチャされたビデオの関心物体の例としては、ポリープ (胃腸粘膜から突き出た成長物)、腫瘍 (体の一部の腫れ)、打撲傷 (健康な細胞から変色した細胞への変化)、 陥没（ヒト組織の欠如）又は潰瘍若しくは膿瘍（損傷を受けた組織すなわち病変）を含んでもよい。関心物体の他の例は、この開示から明らかになる。
【0055】
いくつかの実施形態を、ポリープである関心物体を参照して本明細書で説明するが、開示したシステム及び方法は、ポリープに限定されるものではなく、非医療用途を含む他の状況及び用途で利用されてもよい。本明細書で使用される「ポリープ」は、胃腸粘膜の増殖又は病変を指してもよく、更に一般的には、本明細書では、検出及び特性評価が関心物体となり得る候補組織を指すために使用されてもよい。ポリープを、組織学的分類、形態学的分類、構造的分類又は悪性腫瘍分類のような分類に基づいて特性評価してもよい。例えば、ポリープを、ナローバンドイメージング国際結腸直腸内視鏡 (ＮＩＣＥ) 又はウィーン分類を使用して組織学的に分類してもよい。ＮＩＣＥ分類システムによれば、ポリープは次の三つのタイプのいずれかになる。(タイプ１) 無固鋸歯状ポリープ又は過形成性ポリープ。(タイプ２) 従来の腺腫。(タイプ３) 深部粘膜下浸潤を伴う癌。ウィーン分類によれば、ポリープは次の五つのタイプのいずれかになる。(カテゴリー１)新形成／異形成陰性。(カテゴリー２)新形成／異形成については無期限。(カテゴリー３)非侵襲性の低悪性度新生物 (低悪性度腺腫／異形成)。（カテゴリー４）高悪性度の腺腫／異形成、非浸潤性癌（上皮内癌）又は浸潤性癌の疑いなどの粘膜の高悪性度新生物。（カテゴリー５）浸潤性腫瘍、粘膜内癌、粘膜下癌等。
【0056】
ポリープを、パリ分類を使用して形態学的に分類してもよい。パリの分類システムによれば、ポリープは次の三つの一般的なタイプのいずれかになる。(タイプＩ)脚状、無柄及び広基底のような隆起型又はポリープ型。(タイプＩＩ)扁平隆起、完全扁平及び表層陥凹のような扁平型又は表層型。(タイプＩＩＩ)掘削及び潰瘍を含む掘削型。タイプIはポリープ状と呼ばれることが多く、タイプＩＩ及びタイプＩＩＩは非ポリープ状と呼ばれることが多い。ポリープを、その形状又は外観に基づいて構造的に分類してもよい。例えば、ポリープの表面が滑らかである又は丸い外観である場合、ポリープは、良性として分類され、ポリープの表面に異常な増殖が含まれている場合又は外観が不規則である場合、ポリープは、非良性又は悪性として分類される。ポリープを悪性度に基づいて分類してもよい。悪性腫瘍は、癌の浸潤性のような疾患の浸潤の程度に基づいてもよい。例えば、ポリープ内又はその周囲に癌の浸潤が少ない場合又は全くない場合、ポリープは、良性として分類されてもよく、ポリープ内又はその周囲に癌の浸潤があるとき、ポリープは、悪性又は癌性として分類されてもよい。他の分類は、この開示に基づいて明らかであり、他の分類を、特定の用途に従って選択してもよい。したがって、本開示は、関心物体の特定の分類又はタイプに限定されない。
【0057】
ポリープを、そのサイズに基づいて特性評価が行われてもよい。ポリープのサイズを、数値又はサイズ分類として表してもよい。ポリープのサイズを、例えば、ミリメートル（ｍｍ）のようなの任意の適切な計量値を使用して表してもよいが、他の任意の計量値（例えば、インチ）を使用してもよい。したがって、ポリープのサイズは、１ｍｍ、５ｍｍ、１０ｍｍ等を有してもよい。ポリープのサイズを、(１) ５ｍｍ以下のサイズを有するポリープについては「小さい」又は「小型」、(２) サイズが６ｍｍから９ｍｍの間のポリープについては「小さくない」又は「大型」及び(３) サイズが１０ｍｍ以上のポリープについては「非常に大きい」のように一つ以上の適切なサイズカテゴリーに基づく分類として表してもよい。理解されるように、他の値、カテゴリー又はラベルを使用してもよい。特定の用途及び関心物体に応じて、他のサイズ表現を使用してもよい。
【0058】
図３Ａ及び図３Ｂは、本開示の実施形態による拡張ビデオ表示の一部としてポリープ例のフレーム画像を示す図である。図示したように、（例えば、表示装置１８０に提示される）拡張表示は、識別された関心物体（すなわち、ポリープ）を囲む長方形の境界ボックスと、分類、位置及び／又はサイズのような物体の決定された特性の情報と、を含む。図３Ａ及び図３Ｂの例では、図示したポリープは、上述した説明に従って分類及びサイズに基づく特性評価が行われる。例えば、図３Ａに示すように、図示したポリープは、小さなサイズを有する（すなわち、５ｍｍ以下のサイズを有する）非腺腫（すなわち、腺腫性ではない）として分類される。一方、図３Ｂにおいて、図示したポリープは、小さくないサイズを有する（すなわち、６ｍｍから９ｍｍの間のサイズを有する）腺腫（つまり、前癌性）として分類される。本明細書で説明するように、他の特性評価、分類及びサイズカテゴリーを使用してもよい。以下で更に説明するように、医療ガイドラインに関連する情報を、表示された拡張ビデオの一部（例えば、図５Ａ～図５Ｅを参照）として提供してもよい。
【0059】
コンピュータ装置１６０（図１）の少なくとも一つのプロセッサは、複数のフレームの関心物体を検出するように構成されてもよい。関心物体を、例えば、ビデオの複数のフレームにおける関心物体の有無の決定に基づいて検出してもよい。物体検出を、例えば、一つ以上の機械学習検出ネットワーク若しくはアルゴリズム、従来の検出アルゴリズム又は両方の組合せを使用して実行してもよい。例えば、 複数のフレームを、上述したように関心物体を検出するようにトレーニングされた一つ以上のニューラルネットワーク（例えば、ディープニューラルネットワーク、畳み込みニューラルネットワーク、再帰的ニューラルネットワーク等）、ランダムフォレスト、サポートベクターマシン又は任意の他の適切なモデルに供給してもよい。機械学習検出アルゴリズム、モデル又は重みを、コンピュータ装置及び／又はシステムに保存してもよい、又は、検出前にネットワーク若しくはデータベースからフェッチしてもよい。いくつかの実施形態では、機械学習検出ネットワーク又はアルゴリズムを、真／偽陽性検出又は真／偽陰性検出のような一つ以上の出力に基づいて再トレーニングしてもよい。再トレーニングのためのフィードバックを、システム又はコンピュータ装置によって自動的に生成してもよい、又は、（例えば、マウス、キーボード、又は他の入力デバイスを介して）オペレータ若しくは別のユーザによって手動で入力してもよい。機械学習検出ネットワーク又はアルゴリズムの重み又は他のパラメータを、フィードバックに基づいて調整してもよい。さらに、従来の非機械学習検出アルゴリズムを、単独で又は機械学習検出ネットワーク又はアルゴリズムと組み合わせて使用してもよい。
【0060】
例えば、ポリープの存在を、開示した実施形態に従って一つ以上の機械学習検出ネットワーク若しくはアルゴリズム、従来の検出アルゴリズム又は両方の組合せを使用して検出してもよい。ポリープの検出は、フレームのポリープの決定された位置を含んでもよく、検出されたフレームに重ねて表示される任意の適切なグラフィック表現を使用して示されてもよい。例えば、図３Ａ及び図３Ｂでは、図示した各ポリープは、図示したポリープの検出を示す矩形の境界ボックスによって囲まれている。検出を、他のグラフィック表現（例えば、別の形状、色、パターン、画像、ビデオ及び／又は英数字）を使用して表してもよい、又は、検出を、ビデオ表示の一部としてまったく全く表さなくしてもよい。
【0061】
コンピュータ装置１６０の少なくとも一つのプロセッサは、開示した実施形態に従って複数のフレームから関心物体に関連する複数の特徴を決定するように構成されたトレーニングされた特性評価ネットワークを実現する一つ以上のニューラルネットワークを適用するように構成されてもよい。トレーニングされた特性評価ネットワークは、一つ以上のニューラルネットワーク（例えば、ディープニューラルネットワーク、畳み込みニューラルネットワーク、再帰的ニューラルネットワーク等）、ランダムフォレスト、サポートベクターマシン又は複数の関心物体の一つの関心物体の特徴を決定するためにトレーニングされた上述したような任意の他の適切なモデルを含む関心物体に関連する複数の特徴を決定するための一つ以上の適切な機械学習ネットワーク又はアルゴリズムを含んでもよい。特性評価ネットワークを、所望の特徴（例えば、分類、サイズ又は位置）に基づいてラベル付けされた複数のトレーニングフレーム又はその一部を使用してトレーニングしてもよい。例えば、関心物体を含む又は含まないトレーニングフレーム (又はフレームの一部) の第１のセットは、特徴を有するものとしてラベル付けされ、物体を含む又は含まないトレーニングフレーム (又はフレームの一部) の第２のセットは、特徴を有しないものとしてラベル付けされる。特性評価ネットワークの重み又は他のパラメータを、収束又は他の計量が達成されるまでラベルのない第３のセットのトレーニングフレーム (又はフレームの一部) に関する出力に基づいて調整してもよく、そのプロセスを、本明細書で更に説明するように追加のトレーニングフレーム（若しくはその一部）又はライブビデオ若しくはフレームデータを使用して繰り返してもよい。
【0062】
いくつかの実施形態では、コンピュータ装置１６０の特性評価ネットワークを、複数のトレーニングされたニューラルネットワークを使用して実現してもよく、トレーニングされたニューラルネットワークの各々は、リアルタイムビデオ又はフレームから識別された物体の特定の特性又は特徴を決定するように適合される。例えば、複数のトレーニングされたニューラルネットワークは、物体の分類を決定するための少なくとも一つのトレーニングされたニューラルネットワーク、物体のサイズを決定するための少なくとも一つのトレーニングされたニューラルネットワーク及び物体の位置を決定するための少なくとも一つのトレーニングされたニューラルネットワークを有してもよい。コンピュータ装置１６０の一部として、トレーニングされたニューラルネットワークの各々は、画像装置１４０からのリアルタイムビデオ又はフレームに基づいて物体の特性及び他の情報を更に効率的に決定するために、同時に又は互いに並行して動作するように構成されてもよい。例えば、物体の特性評価を更に効率的に決定するために、識別された物体ごとに、特性評価ネットワークのトレーニングされたニューラルネットワークが適用されるとともに同時に相互に並行して動作する。トレーニングされたニューラルネットワークの配置を最適化することにより、コンピュータ装置１６０は、画像装置１４０を使用して医療処置を実行している間に表示装置１８０の出力を見ている臨床医又はオペレータによって知覚される遅延又は待ち時間がほとんど又はまったくない状態で、検出された物体に関連する全ての決定された情報を含む拡張ビデオ表示を生成することも可能になる。いくつかの実施形態では、コンピュータ装置１６０のトレーニングされたニューラルネットワークを、本明細書で更に開示するように、信頼値又は医療ガイドラインのような他の情報を決定するために実現してもよい。
【0063】
いくつかの実施形態では、コンピュータ装置１６０のトレーニングされた特性評価ネットワークは、 複数の特徴に関連する信頼値を決定するように構成されてもよい。識別された特徴の信頼値は、識別された特徴に関連する確実性のレベルの指標を指してもよい。例えば、信頼値０．９又は９０％は、識別された特徴が関心物体に存在することの９０パーセントの確実性があることを示し、一方、信頼値０．４ 又は４０％は、識別された特徴が関心物体に存在することの４０パーセントの確実性があることを示す、等々。しかしながら、信頼値を表すために、アルファベット文字 (例えば、高い信頼値の場合は「Ａ」、低い信頼値の場合は「Ｆ」)、色 (例えば、高い信頼値の場合は緑、低い信頼値の場合は赤）、形状（例えば、高い信頼値の場合はチェック、低い信頼値はバツ）又は他の適切な表現のような他の値、メトリクス又は表現を使用してもよい。
【0064】
コンピュータ装置１６０の少なくとも一つのプロセッサは、信頼値を決定するために一つ以上のニューラルネットワークを適用するように構成されてもよい。いくつかの実施形態では、出力に関連する信頼値を、ワンホットエンコーディング式で暗黙的に定義してもよく、この場合、可能性のあるクラスごとにスコアがネットワークによって出力される。トレーニング中に、信頼値又はスコアの範囲及び分布を制御するために、ミックスアップ及びラベル平滑化のようなニューラルネットワークのキャリブレーション方法を使用してもよい。代替的には、他の実施形態では、専用の出力ノードを、信頼度推定を行うニューラルネットワークの各々に追加し、ニューラルネットワークを適切にトレーニングするためにアブステンション項を損失関数に含めてもよい。損失関数に追加項を追加することによって、ニューラルネットワークは、例えば、低品質の画像又は乱雑な画像により推定誤差が高いときに低い信頼値を予測することができる。更に別の実施形態では、ニューラルネットワークは、出力と信頼スコア又はラベルの両方を予測するようにトレーニングされる。
【0065】
いくつかの実施形態では、各ニューラルネットワークは、ネットワークによって出力される信頼度スコアの閾値と入力画像フレームの識別された物体の特性評価のような特定のタスクのパフォーマンスとの間の対応関係を検証ステップにおいて取得するためにトレーニングされる。検証段階では、ニューラルネットワークからの信頼スコアの閾値と物体の特定の特性又は特徴の各々との間の対応関係を取得するために、独立したラベル付きデータセットを使用してもよい。コンピュータ装置１６０は、識別された物体の特性評価を行う特定のタスクを実行するニューラルネットワークの期待されるパフォーマンスレベルを達成するための信頼スコア閾値を決定してもよい。 例えば、信頼スコア閾値が０．６に設定されるとき、トレーニングされたニューラルネットワークが特定のタスクを実行するときに９９％のパフォーマンス感度を達成することが判明する場合がある。次に、コンピュータ装置１６０は、決定された信頼スコア閾値を満たす画像フレームに基づいて特定のタスクの予想されるパフォーマンスレベルを有する画像フレームを選択するためにニューラルネットワークを実行してもよい。さらに、コンピュータ装置１６０は、画像装置１４０からのフレームを使用するときに医療ガイドラインを実現するために所望のパフォーマンスレベルを使用してもよい。正確さ、精度、再現率、感度、ｎｐｖ、特異度等のような一つ以上の計量を測定に使用してもよい。このアプローチにより、ニューラルネットワークによって出力される信頼度スコアの所定の閾値と識別された物体について決定された特性又は特徴の期待される正確さとの間の相関関係を取得することができる。
【0066】
いくつかの実施形態では、コンピュータ装置１６０の少なくとも一つのプロセッサは、一つ以上の特定の特徴を検出するようにトレーニングされた一つ以上の特定の機械学習ネットワーク又はアルゴリズムを適用するように構成されてもよい。例えば、少なくとも一つのプロセッサは、関心物体の分類を決定するように構成されたトレーニングされた分類ネットワークを実現する一つ以上のニューラルネットワークを適用するように構成されてもよい。いくつかの実施形態では、トレーニングされた分類ネットワークは、決定された分類に関連する分類信頼値を生成するように構成されてもよい。分類は、（例えば、組織学的分類、形態学的分類、構造的分類又は悪性腫瘍分類のうちの少なくとも一つに基づいて）上記のものと同一又は類似のものであってもよい。分類ネットワークを、一つ以上の分類に基づいてラベル付けされた複数のトレーニングフレーム又はその一部を使用してトレーニングしてもよい。例えば、関心物体を含む又は含まないトレーニングフレーム (又はフレームの一部) の第１のセットは、「腺腫」とラベル付けされてもよく、物体を含む又は含まないトレーニングフレーム (又はフレームの一部) の第２のセットは、「非腺腫」又は別の分類（例えば、「鋸歯状」）としてラベル付けされてもよい。 他のラベル付け規則を、２値 (例えば、「過形成」対「非過形成」) と複数のクラス (例えば、「腺腫」対「無固鋸歯状」対「過形成」) の両方で使用することができる。分類ネットワークの重み又は他のパラメータを、収束又は他の計量が達成されるまでトレーニングフレーム (又はフレームの一部) の第３のラベルのないセットに関する出力に基づいて調整してもよく、そのプロセスを追加のトレーニングフレーム (若しくはその一部)又は本明細書で説明するライブデータを使用して繰り返してもよい。
【0067】
また、コンピュータ装置１６０の少なくとも一つのプロセッサは、関心物体に関連する付けられた位置を決定するように構成されたトレーニングされた位置ネットワークを実現する一つ以上のニューラルネットワークを適用するように構成されてもよい。トレーニングされた位置ネットワークは、決定された位置に関連する位置信頼値を生成するように構成されてもよい。位置は、上記のもの（例えば、直腸、Ｓ状結腸、下行結腸、横行結腸、上行結腸又は盲腸のような人体の位置）と同一又は類似のものであってもよい。位置ネットワークを、一つ以上の位置（例えば、身体の位置）に基づいてラベル付けされた複数のトレーニングフレーム又はその一部を使用してトレーニングしてもよい。例えば、関心物体を含む又は含まないトレーニングフレーム（又はフレームの一部）の第１のセットは、「直腸シグマ」としてラベル付けされてもよく、関心物体を含む又は含まないトレーニングフレーム（又はフレームの一部）の第２のセットは、「直腸シグマではない」又は身体の別の場所（例えば、「上行結腸」）としてラベル付けされてもよい。位置ネットワークの重み又は他のパラメータを、収束又は他の計量が達成されるまでトレーニングフレーム (又はフレームの一部) の第３のラベルのないセットに関する出力に基づいて調整してもよく、そのプロセスを追加のトレーニングフレーム (若しくはその一部)又は本明細書で説明するライブデータを使用して繰り返してもよい。
【0068】
さらに、コンピュータ装置１６０の少なくとも一つのプロセッサは、関心物体に関連するサイズを決定するように構成されたトレーニングされたサイズネットワークを実現する一つ以上のニューラルネットワークを適用するように構成されてもよく、いくつかの実施形態では、トレーニングされた分類ネットワークは、決定されたサイズに関連するサイズ信頼値を生成するように構成されてもよい。サイズは、上記のもの（例えば、数値又はサイズ分類）と同一又は類似のものであってもよい。位置ネットワークを、サイズに基づいてラベル付けされた複数のトレーニングフレーム又はその一部を使用してトレーニングしてもよい。例えば、関心物体を含む又は含まないトレーニングフレーム (又はフレームの一部) の第１のセットは、「小さい」又は「小型」とラベル付けされてもよく、関心物体を含む又は含まないトレーニングフレーム (又はフレームの一部) の第２のセットは、「小さくない」、「小型でない」又は別のサイズ値（例えば、「大きい」又は「１０ｍｍ」）としてラベル付けされてもよい。位置ネットワークの重み又は他のパラメータを、収束又は他の計量が達成されるまでトレーニングフレーム (又はフレームの一部)の第３のラベルのないセットに関する出力に基づいて調整してもよく、そのプロセスを追加のトレーニングフレーム (若しくはその一部)又は本明細書で説明するライブデータを使用して繰り返してもよい。
【0069】
上記の説明によれば、トレーニングされた分類、位置及び／又はサイズのネットワークを、コンピュータ装置及び／又はシステムに格納してもよい、又は、特性評価の前にネットワーク又はデータベースからフェッチしてもよい。いくつかの実施形態では、機械学習検出ネットワーク又はアルゴリズムを、真／偽陽性検出又は真／偽陰性検出のような一つ以上の出力に基づいて再トレーニングしてもよい。再トレーニングのためのフィードバックを、システム又はコンピュータ装置によって自動的に生成してもよい、又は、（例えば、マウス、キーボード、又は他の入力デバイスを介して）オペレータ若しくは別のユーザによって手動で入力してもよい。機械学習検出ネットワーク又はアルゴリズムの重み又は他のパラメータを、フィードバックに基づいて調整してもよい。さらに、従来の非機械学習検出アルゴリズムを、単独で又は機械学習検出ネットワーク又はアルゴリズムと組み合わせて使用してもよい。
【0070】
コンピュータ装置１６０の少なくとも一つのプロセッサは、複数の特徴及び／又は信頼値のうちの一つ以上に基づいて医療ガイドラインを特定するように構成されてもよい。本明細書で使用される「医療ガイドライン」は、患者の状態の決定、診断又は治療を支援する目的で提供される任意の情報を指してもよい。例えば、関心物体が人間の組織のポリープ又は他の形成物である実施形態では、特定された医療ガイドラインは、関心物体を残すか切除するかの指示を含んでもよい。いくつかの実施形態では、医療ガイドラインが関心物体を切除するための指示を含むとき、医療ガイドラインは、特定の種類の切除の特定又は説明を含んでもよい。例えば、医療ガイドラインは、小さなポリープ又は前がん性増殖を切除するために内視鏡的粘膜切除術 (ＥＭＲ) を実行する又は大きなポリープ又はがん性の可能性のある増殖を切除するために内視鏡的粘膜下層剥離術 (ＥＳＤ) を実行する指示又は他の種類の指示を含んでもよい。しかしながら、関心物体の詳細な検査、他の医学的検査の実行、手術の実行、薬の処方又は他の治療の実行のような特定の用途又は状況に基づいて他の医療ガイドラインを特定してもよい。少なくとも一つのプロセッサは、上述したように、特定された医療ガイドラインに関する情報をキャプチャ中に（例えば、医療処置中に）表示装置にリアルタイムで提示するように構成されてもよい。特定された医療ガイドラインについて表示される情報は、一つ以上の英数字 (例えば、「残す」又は「切除」という単語)、又は切除の種類を更に具体的に示す略語又はテキスト (例えば、「ＥＭＲ」又は「ＥＤＳ」）、形状（例えば、チェックマーク又はバツ印）、色（例えば、緑又は赤）、画像（例えば、手又は医療器具の画像）、ビデオ（例えば、推奨手順のビデオ）又はその組合せのような任意の適切な表示であってもよい。別の例として、拡張ビデオ表示では、医療ガイドラインを、関心物体とは別に及び／又は関心物体の近くに表示してもよい（例えば、図５Ａ～５Ｅを参照）。さらに、医療ガイドライン情報を、分類、サイズ及び／又は位置のような関心物体に関連する他の情報と同時に表示してもよい。フレームにおいて識別される複数の関心物体が存在する場合、拡張ビデオ表示に提示される医療ガイドライン及び他の情報を、境界ボックス、分類情報及び／又は識別された物体の各々の医療ガイドラインの表示に固有の色を使用するように色調整してもよい。例えば、推奨される医療ガイドラインの分類の種類及び／又は緊急度に応じて、提示された情報への固有の色の使用（例えば、「非腺腫」及び／又は「放置」は緑色であるが「腺腫」及び／又は「切除」は赤色である）のように表示された情報を臨床医又はオペレータによって更に迅速に識別又は区別できるようにするために、同様の技術を使用してもよい。
【0071】
少なくとも一つのプロセッサは、特定された医療ガイドラインに関連する信頼値を生成するように構成されてもよい。特定された医療ガイドラインの信頼値は、特定された医療ガイドラインに関連する確実性のレベルの指標を指してもよい。例えば、信頼値０．９又は９０％は、特定された医療ガイドラインが正確であることの９０パーセントの確実性があることを示し、一方、信頼値０．４ 又は４０％は、特定された医療ガイドラインが正確であることの４０パーセントの確実性があることを示す、等々。しかしながら、信頼値を表すために、他の値、計量又は表現を使用してもよい。例えば、信頼値を、信頼値が既定の閾値より上である（例えば、６６％より上の信頼である）ときに「高信頼性」として分類してもよい、信頼値が既定の閾値より下である（例えば、３３％より下の信頼である）ときに「低信頼性」として分類してもよい、又は、二つの所定の閾値の間にある（例えば、信頼性が３３％～６６％の信頼である）ときに「未定」して分類してもよい。いくつかの実施形態では、少なくとも一つのプロセッサは、医療ガイドラインに関連する信頼スコアを提示してもよい。例えば、信頼スコアを、「残す－高信頼性」又は「切除－３０％の信頼度」のような医療ガイドラインに沿った英数字として表してもよいが、他の適切な表現（例えば、形状、色、画像、ビデオ又はその組合せ）を使用してもよい。
【0072】
いくつかの実施形態では、コンピュータ装置１６０の少なくとも一つのプロセッサは、医療ガイドラインに関連する信頼値を決定するために一つ以上のニューラルネットワークを適用するように構成されてもよい。例えば、ニューラルネットワークのトレーニングの一部として又はトレーニング後に、信頼値と医療ガイドラインとを関連付けるために検証段階を使用してもよい。この段階では、ニューラルネットワークからの信頼スコアのしきい値と正確さ、精度、再現率、感度、ｎｐｖ、特異性等のような複数の計量に従って測定された関心タスクのパフォーマンスとの対応関係を取得するために、独立したラベル付きデータセットを使用してもよい。このアプローチにより、ニューラルネットワークによって出力される信頼スコアの所定の閾値と実際のケースシナリオで予測されるパフォーマンスとの間の相関関係を取得することができる。
【0073】
特性評価ネットワークが関心物体の分類、身体の位置及び／又はサイズを決定する実施形態では、少なくとも一つのプロセッサは、分類、位置及びサイズのうちの一つ以上に基づいて医療ガイドラインを特定するように構成されてもよい。例えば、関心物体がポリープである実施形態では、医療ガイドラインは、ポリープが過形成性であるものとして分類されたときにはポリープを残すとともにポリープが異形成又は新生物であるものとして分類されたときにはポリープを切除するようなものであってもよい。同様に、医療ガイドラインは、ポリープのサイズが５ｍｍ以下である又は「小さい」と判断されたときにはポリープを残すとともに５ｍｍを超える若しくは「小さい」又は「大きい」と判断されたときにはポリープを切除するようなものであってもよい。同様に、医療ガイドラインは、ポリープが身体の位置に無害であると判断されたときにはポリープを残すとともに身体の有害な位置にあると判断されたときにはポリープを切除するというものであってもよい。いくつかの実施形態では、医療ガイドラインを、分類、位置及びサイズの組合せに基づいて決定してもよい。例えば、医療ガイドラインは、直腸シグマに位置する大きさが５ｍｍ以下の過形成性ポリープであると判定されたときにはポリープを残すものであってもよい。別の例として、医療ガイドラインは、直腸内に位置する「小さい」サイズを有する過形成性ポリープであると判断されたときにはポリープを残すものであってもよい。一方、医療ガイドラインは、ポリープが盲腸に位置する「小さい」サイズの腺腫であると判断されたときにはポリープを切除するものであってもよい。同様に、医療ガイドラインは、ポリープが上行結腸に位置する「小さくない」サイズの腺腫であると判断されたときにはポリープを切除するものであってもよい。いくつかの実施形態では、医療ガイドラインを決定するために、関連の特性評価に関連する信頼値を使用してもよい。例えば、医療ガイドラインは、ポリープが腫瘍性である、サイズが１０ｍｍ又は「大きい」及び／又は身体に有害な位置にあるという９０％の信頼値があるときにのみポリープを切除するとともにそれ以外の場合にはポリープを残すものであってもよい。信頼値を、「高い信頼性」又は「低い信頼性」として表してもよい。しかしながら、上述したように、他の信頼値及び特性評価を使用してもよい。ここに開示した医療ガイドラインの決定は、例示のためにのみ提供されており、網羅的であることを意図したものではなく、他の医療ガイドラインは当業者には明らかである。
【0074】
図４Ａは、本開示の実施形態によるリアルタイムビデオを処理する例示的なシステムを示す。図４Ａに示すように、リアルタイム処理システム４００は、画像装置４１０と、物体検出器４２０と、特性評価ネットワーク４３０と、表示装置４７０と、を備えてもよい。画像装置４１０は、図１に関連して上述した画像装置１４０と同一又は類似のもの（例えば、内視鏡装置、Ｘ線装置、ＣＴ装置、ＭＲＩ装置又は他の医用画像装置）であってもよく、表示装置４７０は、図１に関連して上述した表示装置１８０と同一又は類似のもの（例えば、ＬＣＤ、ＬＥＤ又はＯＬＥＤディスプレイ、拡張現実ディスプレイ、仮想現実ディスプレイ等）であってもよい。画像装置４１０は、リアルタイムビデオをキャプチャするように構成されてもよい。画像装置４１０は、上述したようにいくつかの実施形態では医療処置（例えば、内視鏡処置）中にキャプチャしてもよいリアルタイムビデオをキャプチャするように構成されてもよい。画像装置４１０は、キャプチャされたリアルタイムビデオを物体検出器４２０に供給するように構成されてもよい。
【0075】
物体検出器４２０は、図１の実施形態及びコンピュータ装置１６０に関連して上述したように、一つ以上の機械学習検出ネットワーク又はアルゴリズム、従来の検出アルゴリズム又は両方の組合せを備えてもよい。物体検出器４２０は、画像装置４１０によってキャプチャされたリアルタイムビデオのフレームにおいてポリープのような関心物体を検出するように構成されてもよい。物体検出器４２０は、リアルタイムビデオのフレームに二つ以上の関心物体が存在するときに複数の検出を出力するように構成されてもよい。物体検出器４２０は、任意の検出を特性評価ネットワーク４３０に出力するように構成されてもよい。
【0076】
特性評価ネットワーク４３０は、図１の実施形態及びコンピュータ装置１６０に関連して上述したように、物体検出器４２０によって検出された関心物体の各々について複数の特徴を決定するように構成された一つ以上のトレーニングされた機械学習アルゴリズム（例えば、一つ以上のニューラルネットワーク）を有してもよい。図４Ａに示すように、特性評価ネットワーク４３０は、検出された関心物体の分類を決定するように構成された分類ネットワーク４４０、検出された関心物体の身体位置を決定するように構成された位置ネットワーク４５０及び検出された関心物体のサイズを決定するように構成されたサイズネットワーク４６０のような特定の特徴を検出するように構成されたトレーニングされた機械学習ネットワーク又はアルゴリズムを有してもよい。しかしながら、特性評価ネットワーク４３０を図４Ａに示す機械学習ネットワークの全て、一部若しくはそれ以上を含むように又は図４Ａに示す機械学習ネットワークを全く含まないように変更してもよいことを理解すべきである。例えば、いくつかの実施形態では、特性評価ネットワーク４３０は、関心のある全ての特徴を決定するように構成された単一のネットワークであってもよい、又は、特性評価ネットワーク４３０は、特定の用途又は状況に応じて、分類、位置又はサイズ以外の特徴を決定するための機械学習ネットワークを含んでもよい。特性評価ネットワーク４３０は、本明細書に開示したように、信頼値及び／又は医療ガイドラインを決定するためのトレーニングされたニューラルネットワークを有してもよい。さらに、特性評価ネットワーク４３０は、臨床医又はオペレータに表示するための拡張ビデオストリームを生成するための（コンピュータ装置１６０と同様の）一つ以上のプロセッサを有してもよい。
【0077】
いくつかの実施形態では、特性評価ネットワーク４３０を、リアルタイムのビデオ又はフレームから識別された物体に関連する特性及び他の情報を更に効率的に決定するために互いに並行して動作するように配置された複数のトレーニングされたニューラルネットワーク（例えば、ネットワーク４４０，４５０及び４６０及び／又は信頼値及び医療ガイドラインを決定するためのネットワーク）によって実現してもよい。例えば、複数のトレーニングされたニューラルネットワークは、物体の分類を決定するための少なくとも一つのトレーニングされたニューラルネットワーク（すなわち、分類ネットワーク４４０）と、物体の位置を決定するための少なくとも一つのトレーニングされたニューラルネットワーク（すなわち、位置ネットワーク４５０）と、物体のサイズを決定するための少なくとも一つのトレーニングされたニューラルネットワーク（すなわち、サイズネットワーク４６０）と、信頼値及び／又は医療ガイドラインを決定するためのトレーニングされたニューラルネットワークと、有してもよい。互いに並行して同時に動作するようにトレーニングされたニューラルネットワーク（例えば、ネットワーク４４０，４５０及び４６０及び／又は信頼値及び医療ガイドラインを決定するためのネットワーク）の配置を最適化することにより、識別された物体の各々に関連する全ての情報を効率的に決定することが可能になり、特性評価ネットワーク４３０は、画像装置４１０を使用して医療処置を行う間に表示装置４７０の拡張ビデオ表示を見ている臨床医又はオペレータがほとんど又は全く遅延を知覚することなく、検出された物体に関連する決定された情報を含む拡張ビデオ表示を生成できるようにする。
【0078】
いくつかの実施形態では、分類ネットワーク４４０、位置ネットワーク４５０及びサイズネットワーク４６０を、識別された物体の各々の複数の出力値を同時に提供するように実現してもよい。例えば、分類ネットワーク４４０を、光学的特性評価予測（例えば、腺腫、過形成、ＳＳＬ等）並びに形態推定（例えば、固着性、有茎性等）及びピットパターン記述(タイプＩ、タイプＩＩ、タイプＩＩＩ等)を出力として提供するように構成することができる。これを、分類ネットワーク４４０のニューラルネットワークの最終層での分岐を通じて実現してもよく、ここで、各分岐は、特定の分類を推測する。追加的に又は代替的に、ネットワーク４４０～４６０の複数のインスタンスを、一つ以上の検出された物体に関する複数の特性又は特徴を決定するために同時に並行して動作するように作成してもよい。
【0079】
識別された物体ごとに、分類ネットワーク４４０、位置ネットワーク４５０及びサイズネットワーク４６０を、フレーム全体及び／又は関心物体の周囲の画像パッチを処理するために実現してもよい。ネットワーク４４０，４５０及び４６０の各々の出力は、所定のクラス又は特性又は推定値（回帰）についての一つ以上の予測となり、図１の実施形態及びコンピュータ装置１６０に関連して上記で開示したように、信頼スコアを有してもよい。さらに、ネットワーク４４０，４５０及び４６０の各々は、現在のフレームで推定されたデータ又は過去のフレームからのＮ個の項目のバッファを入力として受け取ることができる。オプションで、各ネットワークは、過去のフレームからの情報を保存する内部表現を構築することもできる (例えば、リカレントニューラルネットワーク (ＲＮＮ) 実装)。これらのニューラルネットワークのトレーニングは、グラウンドトゥルースラベルが付けられた注釈付きデータに基づいてもよい。いくつかの実施形態では、グラウンドトゥルース値は、ニューラルネットワークのトレーニング中に使用できる信頼値又は不確実性の値を有してもよい。
【0080】
図４Ａの例では、特性評価ネットワーク４３０は、決定された特徴及び／又は関連の信頼値に関連する情報を識別するとともに表示装置４７０に出力するように構成されてもよい。例えば、特性評価ネットワーク４３０は、表示装置４７０に表示するための（本明細書及び本明細書の他の図を参照して説明されるような）拡張ビデオストリームを生成してもよい。 いくつかの実施形態では、特性評価ネットワーク４３０は、上述したように、識別された関心物体の各々の決定された特徴及び／又はそれに関連する信頼値に基づいて医療ガイドラインを識別するとともに出力するように構成されてもよい。表示装置４７０は、その後、複数の特徴及び／又は医療ガイドラインに関連する情報をキャプチャ中（例えば、医療処置中）にリアルタイムで提示してもよい。例えば、特性評価ネットワーク４３０は、検出された関心物体の分類情報（例えば、「腺腫」若しくは「非腺腫」又は「過形成」若しくは「非過形成」）、位置情報（例えば、「直腸」又は「盲腸」）、サイズ情報（例えば、「小さい」若しくは「小さくない」又は「小型」若しくは「大型」）及び／又は医療ガイドライン（例えば、「残す」又は「切除」又は「生検」）を決定し、表示素位置４７０は、それを表示してもよい。複数の関心物体が複数のフレームに存在する状況では、特性評価ネットワーク４３０は、個々の関心物体の各々の特性評価及び／又は医療ガイドライン情報を（例えば、特徴ベクトル又は別の適切なデータモデルとして）生成及び出力するように構成されてもよく）、ディスプレイ４７０は、結果的に、個々の関心物体の各々の特性評価及び／又は医療ガイドライン情報を（例えば、関心物体の各々の上又はその近くに）表示してもよい。
【0081】
リアルタイム処理システム４００は、画像装置４１０からビデオのフレームを受信し、それを処理し、フレームで識別された関心物体についての関連情報を有する拡張ビデオ表示を、画像装置４１０のオペレータにリアルタイムで（すなわち、医師又はオペレータが医療処置を行うのと同時又は略同時に）提供してもよい。本明細書に開示したように、リアルタイム処理システム４００の特性評価ネットワーク４３０は、フレームを並行して（又は略同時に）処理するとともに効率的に出力を提供するようにトレーニングされたニューラルネットワーク（例えば、ネットワーク４４０，４５０及び４６０及び／又は信頼値及び医療ガイドラインを決定するためのネットワーク）を配置することによって最適化されてもよい。そのような構成により、決定された全ての情報を含む拡張ビデオ表示を、内視鏡検査又は他の医療処置を行う臨床医又はオペレータにほとんど又はまったく遅延なく提示してもよい。
【0082】
いくつかの実施形態では、物体検出器４２０及び／又は特性評価ネットワーク４３０は、画像装置４１０からのリアルタイムビデオの複数のフレームに対して機械学習検出ネットワークの複数のインスタンスを並行して実行してもよい。追加的に又は代替的に、トレーニングされたニューラルネットワークによる処理のためにフレームをバッファリングしてもよい。例えば、リアルタイム処理システム４００は、画像装置４１０からのフレームをバッファリングするとともにそれをニューラルネットワークへの入力として提供してもよい。各反復で、ネットワーク４４０～４６０は、システム４００によってバッファされたＮ個の画像フレームを入力として受け取ってもよい。いくつかの実施形態では、ネットワーク４４０～４６０は、過去Ｎ－１個の画像フレームと共に現在のフレームを処理し、現在のフレームに対するネットワークの各々の出力も過去Ｎ－１個のフレームに依存する。このバッファリング実装では、次の三つのオプションのいずれかを使用してリアルタイム処理を提供することができる。(ｉ) 最初のＮ－１フレームの出力はない又は (ｉｉ) 最初のＮ－１フレームの出力は現在のフレームにのみ依存する（すなわち、初期段階ではバッファリングがない）又は（ｉｉｉ）最初のＮ－１フレームの出力は最後のフレームと利用可能な以前の全てのフレームにのみ依存する。追加的に、ネットワーク４４０～４６０のうちの一つ以上が出力を提供しない他の間隔が存在する可能性がある。出力がない間隔の間、リアルタイム処理システム４００は、ディスプレイデバイス４７０を介して適切なメッセージ（例えば、「処理中」、「バッファリング」又は「分析中」のようなステータスメッセージ）を表示することによって、システムのステータスを伝達してもよい。
【0083】
いくつかの実施形態では、リアルタイム処理システム４００は、オペレータ入力及び／又は関連の処理パラメータ（例えば、画像装置４１０によって生成されるビデオのフレームレート及び／又はフレームバッファサイズ）に基づいて、並列に実行するトレーニングされたニューラルネットワークのインスタンスの数を決定してもよい。リアルタイム処理システム４００は、物体を含むために物体検出器４２０によって識別された所定のフレーム又は関心領域のみを処理してもよい。さらに、リアルタイム処理システム４００は、利用可能なシステムリソース及び／又は性能要件に基づいて、フレーム及びフレームの領域を選択的に処理してもよい。代替的に又は追加的に、他の実施形態では、リアルタイム処理システム４００は、特性評価を決定するために使用されるニューラルネットワークに基づいて、物体検出器４２０によって識別された入力物体のサイズを調整してもよい。リアルタイム処理システム４００は、識別され物体を含む画像フレームの解像度又は画像フレームのバッファサイズを調整することによって、識別された物体のサイズを調整してもよい。
【0084】
いくつかの実施形態では、リアルタイム処理システム４００は、フレームの数及び／又はフレームで検出された物体に基づいて処理を制御してもよい。例えば、リアルタイム処理システム４００は、画像装置４１０のフレームレートに追いつくようにフレームの処理を調整してもよい。いくつかの実施形態では、リアルタイム処理システム４００は、画像装置４１０のフレームレートを考慮してバッファのサイズ又は長さを調整してもよい。いくつかの実施形態では、リアルタイム処理システム４００は、複数のフレームを並行して処理することによってフレームレートに追いついてもよい。リアルタイム処理システム４００は、画像装置４１０のフレームレートに基づいて、並行して実行するニューラルネットワークインスタンスの数を決定してもよい。リアルタイム処理システム４００は、利用可能なシステムリソース（例えば、利用可能なハードウェア及びソフトウェアリソース）による（一つ以上の）処理時間遅延又は制限のような他のリアルタイム処理要件又は要因並びに物体及び検出された関心物体の特徴を検出する際の正確さの要件に基づいて、並行して実行するニューラルネットワーク４４０～４６０のインスタンスの数を決定してもよい。リアルタイム処理システム４００は、画像装置４１０からフレームのサブセットを選択するためにサンプリングレートを調整することによって、リアルタイム処理要件を達成してもよい。追加的に又は代替的に、リアルタイム処理システム４００は、リアルタイム処理要件を満たすために、受信したフレームで検出されたフレーム及び／又は存在し続ける物体をサンプリングしてもよい。
【0085】
いくつかの実施形態では、リアルタイム処理システム４００は、（信頼値及び／又は医療ガイドラインを含まないコマンド及び／又は処理に含める物体の特性評価の特徴を選択する（一つ以上の）コマンドのような）オペレータの入力又は設定に応じて、一つ以上のトレーニングされたニューラルネットワークの実行をスキップしてもよい。処理のためのフレームのスキップを、一つ以上のフレームに亘って識別された物体が欠落しているときに行ってもよい。追加的に又は代替的に、リアルタイム処理システム４００は、画像装置４１０の動作モード（例えば、クリーニング対ナビゲーション）及び／又は患者の身体又は医療処理中の器官における画像装置４１０の位置又はその相対的な位置に応じて、一つ以上のトレーニングされたニューラルネットワークの実行をスキップ又は一時停止してもよい。例えば、リアルタイム処理システム４００は、内視鏡装置が患者の結腸の外にあると判断するときにシステムの一つ以上のニューラルネットワークの動作を停止させてもよい。追加的に又は代替的に、リアルタイム処理システム４００は、物体に対するアクション又は物体検出器４２０のステータスに基づいて、ネットワーク４４０～４６０のうちの一つ以上の実行をスキップしてもよい。例えば、リアルタイム処理システム４００は、物体検出器４２０によって識別された物体の切除／手術中に又はオペレータは関心物体に対して他の作業 (例: 病巣への注入) を実行する間にニューラルネットワーク４４０～４６０の動作を停止させてもよい。一つ以上のネットワーク４４０～４６０の動作を停止させている間、リアルタイム処理システム４００は、物体検出器４２０及び／又は他のシステム構成要素（例えば、フレーム品質ネットワーク、物体トラッカー、アグリゲーター等。図６及び本明細書に開示される他の実施形態を参照）からの検出された物体及び／又は関心のある特徴に関する情報を受け取り続けてもよい。
【0086】
図４Ａに示さないが、（コンピュータ装置１６０のような）一つ以上のコンピュータ装置を、物体検出器４２０及び特性評価ネットワーク４３０を実現するために使用してもよい。そのような（一つ以上の）コンピュータ装置は、一つ以上のプロセッサを有してもよく、物体検出器４２０及び特性評価ネットワーク４３０によって決定された上述した情報を含む拡張情報を使用して画像装置からのビデオを変更するように構成されてもよい。したがって、拡張ビデオを、画像装置４１０のオペレータ及び他のユーザが見るためにディスプレイ４７０に供給してもよい。
【0087】
本明細書に開示したように、特性評価ネットワーク４３０のトレーニングされたニューラルネットワークは、医療処置中に識別された物体の特性評価（例えば、分類、位置及びサイズ）をより効率的に決定するために並行して動作するように構成されてもよい。図４Ｂ及び図４Ｃを参照すると、本開示の実施形態によるリアルタイム処理を最適化するための別の構成及び特徴を開示する。図４Ｂ及び図４Ｃは非限定的な例であるとともに本明細書に開示した他の構成要素及び特徴（例えば、特性評価ネットワーク４３０と組み合わせたフレーム品質ネットワーク（図６のネットワーク６２０を参照））を含むように変更してもよいことを理解すべきである。さらに、図４Ｂ及び図４Ｃの教示を、図６を参照して説明した実施形態の教示及び／又は本明細書に提供される他の図面のような本明細書の他の教示と適合してもよい及び／又はそれと組み合わせてもよい。
【0088】
図４Ｂは、本開示の実施形態によるリアルタイム処理のための別の例示的なシステムを示す。図４Ｂに示すように、リアルタイム処理システム４８０は、画像装置４１０と、物体検出器４２０と、表示装置４７０と、を有する。これらの構成要素を、図４Ａの実施形態について上述した対応する構成要素と同様に実現及び構成してもよい。さらに、特性評価ネットワーク４３０は、図４Ａを参照して上述した特徴と同様の特徴を有してもよいが、図４Ｂの実施形態では、特性評価ネットワーク４３０は、いくつかの追加の構成要素及び最適化された特徴を有する。例えば、図示したように、分類ネットワーク４４０、位置ネットワーク４０５及びサイズネットワーク４６０を含むトレーニングされたニューラルネットワークと組み合わせてエンコーダネットワーク４８５及び潜在表現４８６が設けられる。物体検出器４２０は、画像装置４１０から受信したフレームで識別された物体をエンコーダネットワーク４８５に送信してもよい。エンコーダネットワーク４８５は、識別された物体を含むフレーム全体及び／又は物体検出器４２０によって決定されたフレームの関心物体の各々の周囲のパッチ領域を処理してもよい。追加的に又は代替的に、いくつかの実施形態では、エンコーダネットワーク４８５は、検出された物体を取り囲む境界ボックス又は領域に関連する情報を処理するための入力として受け取ってもよく、それを、数字のリスト又はマスクとして表してもよい。エンコーダネットワーク４８５は、入力情報（例えば、検出された関心物体を表す一つ以上の画像フレーム又は周囲領域）をエンコードし、入力情報を表す特徴ベクトルを生成してもよい。エンコーダネットワーク４８５は、一つ以上のリカレントニューラルネットワーク及び／又は長・短期記憶ニューラルネットワークを有してもよい。エンコーダネットワーク４８５は、検出された関心物体に関連する入力情報を受け取るとともに（一つ以上の）検出された物体の特徴ベクトル表現を生成することによりその情報をエンコードしてもよい。エンコーダネットワーク４８５によるエンコード後、潜在表現４８６は、入力として特徴ベクトル表現を受け取るとともに潜在空間における埋め込み表現を出力として提供してもよい。潜在表現４８６は、データを高次元（すなわち、特徴ベクトル表現）から低次元（すなわち、潜在空間表現）に削減するとともにストレージの節約を提供し、物体データを処理する際の計算効率に有用である。例として、潜在空間表現は、Ｎ個のフロートの配列を含んでもよく、ここで、Ｎは、エンコーダネットワーク４８５によって処理されるフレーム又は物体の数を表す。
【0089】
エンコーダネットワーク４８５及び潜在表現４８６を、分類タスク、位置タスク及びサイズタスクに基づく教師なし再構成損失と教師あり損失の組合せを使用してトレーニングされる一つ以上のニューラルネットワークで実現してもよい。追加的に又は代替的に、エンコーダネットワーク４８５を、潜在空間の構造化された組織化を強化する三重項損失又は四重項損失のような対照的な損失ファミリーからの損失でトレーニングしてもよい。このようにして、潜在空間は、同一の物体に属する画像フレームに同様の表現を割り当てることができ、潜在表現間で更に堅牢な距離計量を定義することができる。上述したように、エンコーダネットワーク４８５は、潜在空間、例えば、潜在表現４８６に投影することによって、検出された物体の固有の構造を埋め込むことができる。エンコーダネットワーク４８５は、潜在表現４８６と共に、ネットワークのレイヤをエンコードすることによって潜在空間に投影するために、検出された物体の各々を含む（一つ以上の）画像フレーム又は（一つ以上の）周囲領域を処理してもよく、その結果、処理されたフレーム又はその周囲の領域において（一つ以上の）検出された物体よりも低い次元の潜在ベクトルが得られる。これは、上述したように、ストレージ要件の削減及び物体データに関する処理効率の向上を含むいくつかの利点を提供する。
【0090】
いくつかの実施形態では、追跡モジュール（図４Ｂには示さないが、図４Ｃのトラッカー４９７及びその更なる説明を参照）は、同一の物体に属する画像フレームを関連付ける際に改善された潜在表現を活用するとともにその恩恵を受けてもよい。最も効果的な潜在空間を学習するために、複数の損失を組み合わせ、追跡モジュールの（一つ以上の）ニューラルネットワークのトレーニング中にその相対的な大きさを調整してもよい。例えば、学習の最初の部分では、再構成及びコントラスト損失が大きくなるとともに過剰適合を防ぐための正則化項として機能してもよく、その後、それらのパフォーマンスを最大化するために、関心のあるタスクの特定の損失の重みをトレーニング中に後の段階で増加させてもよい。
【0091】
物体の各々について、潜在空間内の埋め込み表現（すなわち、潜在表現４８６の出力）を、特徴又は物体の特徴を決定するために、三つの特性評価ネットワーク（すなわち、分類ネットワーク４４０、位置ネットワーク４０５及びサイズネットワーク４６０）に並行して供給してもよい。有利なことに、この実現では、エンコード部分がエンコーダネットワーク４８５内で共有され実行されるので、トレーニングされたニューラルネットワーク４４０～４６０は小さくなる（すなわち、完全に接続された数層だけになる）。これにより、全体の計算コスト及び特性評価ネットワーク４３０の効率が低減される。その結果、リアルタイム処理システム４８０は、関心物体の処理及び特性評価を行うとともに表示装置４７０に出力を提供するのに必要な時間の短縮の恩恵を受ける。
【0092】
図４Ｃは、本開示の実施形態によるリアルタイム処理のためのシステムの別の例を示す。リアルタイム処理システム４９０を、リアルタイム処理システム４８０（図４Ｂ）について上述した構成要素及び特徴を使用して同様に構築してもよいが、時間情報を利用する一つ以上のニューラルネットワークで実現されるトラッカー４９７を更に有する。更に具体的には、図４Ｃの実施形態では、リアルタイム処理システム４９０のニューラルネットワーク４４０～４６０は、物体検出器４２０によって識別された同一の物体の連続フレームのバッファを入力として受け取るネットワークであってもよい。有利なことに、リアルタイム処理システム４９０は、物体検出器４２０により過去のフレームで検出された同一の物体の記憶を維持するリカレントニューラルネットワーク（ＲＮＮ）及び／又は長・短期記憶（ＬＳＴＭ）ニューラルネットワークを使用することによって時間情報を利用してもよい。リアルタイム処理システム４９０は、トラッカー４９７を使用して過去のフレームで以前に識別された物体を追跡し続けてもよい。いくつかの実施形態では、トラッカー４９７は、現在のフレームのセットの現時点で検出された物体を前のフレームで検出された物体と関連付けることによって追跡動作を行ってもよい。トラッカー４９７は、検出された物体の各々のボックス情報がその過去の履歴と関連付けられるように物体のエンコード情報の潜在表現４９６の計算後にこの物体の追跡動作を行ってもよい。トラッカー４９７は、現在のフレーム及び過去のフレームに亘る物体の履歴を追跡するために、物体の潜在表現４９６の類似性を活用してもよい。トラッカー４９７は、平均二乗誤差（ＭＳＥ）、平均絶対誤差（ＭＡＥ）等のような一つ以上の計量に基づいて、現在の画像フレームと過去の画像フレームと間の物体の潜在表現４９６の類似性を判定してもよい。トラッカー４９７によって実行された操作の結果、特性評価は ネットワーク４４０～４６０は、物体をフレームの過去の履歴と正確に関連付けてもよく、それにより、物体の特徴（すなわち、分類、位置及びサイズ）を更に正確に決定するとともに改善された信頼値を提供するために物体の各々の時間情報を活用してもよい。
【0093】
特性評価ネットワーク４３０は、以前に生成された画像フレームを含有する画像装置４１０又は記憶装置（例えば、記憶装置２２０又はメモリを備えたバッファ装置）から直接アクセスされるフレームの関心物体の特徴を決定するのを助けてもよい。特性評価ネットワーク４３０は、物体の様々な特徴を同時に決定するとともに特徴を決定するときに画像フレームの処理を最適化するための様々なネットワークを含めることを可能にする。
【0094】
特性ネットワーク４３０は、複数のネットワークから構成されてもよく、画像フレームの関心物体を識別するとともに最適化された方法でその特性を決定するためにネットワークの様々な構成を選択及び選択解除するように構成されてもよい。特性ネットワーク４３０は、特性を決定するために画像フレーム又は画像フレームのパッチを並列処理するように同一のネットワークの複数のコピーを有するように構成されてもよい。いくつかの実施形態では、特性ネットワーク４３０は、必要なネットワークを選択するとともにネットワーク全体で共通の動作を実行することにより画像フレームを前処理するネットワークの順序を構成することによって、フレーム処理を最適化する。例えば、特性評価ネットワーク４３０は、画像を前処理するためにエンコーダネットワーク４８５及び潜在表現４８６を利用してもよく、更に少ない計算リソースを使用しながら効率的に特性を決定するために更に小さいネットワークを有してもよい。
【0095】
図５Ａ～図５Ｅは、本開示の実施形態による特性評価及び医療ガイドライン情報を含有する拡張ビデオフレームの例を示す。図５Ａ～図５Ｅに示す拡張フレームを、上述したように、ビデオのキャプチャ中（例えば、健康診断中）にリアルタイムで表示してもよい。ポリープを図５Ａ～図５Ｅのフレーム例に示すが、開示した実施形態を他の任意の関心物体に使用してもよいことを理解すべきである。図５Ａ～図５Ｅに示すように、フレームは、ポリープの分類、サイズ及び／又は位置のような一つ以上の特徴に関連する特性評価情報を含んでもよい。例えば、図５Ａに示すように、ポリープを、非腺腫として分類してもよく、「非腺腫」のような対応する表現を表示してもよい、又は、図５Ｂ及び図５Ｃに示すように、ポリープを、腺腫として分類してもよく、「腺腫」のような対応する表現を表示してもよい。同様に、図５Ａ及び図５Ｃに示すように、ポリープを、小さいサイズを有するものと判定してもよく、「小さい」のような対応する表現を表示してもよい、又は、図５Ｂに示すように、ポリープを、小さくないサイズを有するものと判定してもよく、「小さくない」のような対応する表現を表示してもよい。同様に、図５Ａ～図５Ｄに示すように、ポリープの身体位置を決定してもよく、「直腸」（図５Ａ）、「上行」（図５Ｂ）、「盲腸」（図５Ｃ）、「盲腸」（図５Ｃ）及び「シグマ－直腸」（図５Ｄ）のような表現を表示してもよい。位置を決定できない場合、拡張フレームに位置情報を表示しなくてもよい。本開示によれば、一つ以上の画像、アイコン、ビデオ、形状又は数字のような他の表現を使用してもよい。
【0096】
さらに、上述したように、医療ガイドラインも表示してもよい。図５Ａに示すように、例えば、分類、サイズ及び／又は位置に基づく医療ガイドラインは、ポリープを除去しないことであってもよく、「残す」のような対応する表現を表示してもよい。しかしながら、図５Ｂ及び図５Ｃに示すように、医療ガイドは、ポリープを除去すること（又は他の手順又は治療を実行すること）であってもよく、「切除」のような対応する表現を表示してもよい。さらに、特性評価及び医療ガイドライン情報を、フレームの複数のポリープの各々に対して独立して表示（及び決定）してもよい。図５Ｃに示すように、例えば、別個の分類及びサイズ情報を、検出されたポリープの各々に隣接して表示してもよいが、これは、状況に応じて異なってもよい。追加的に、特性評価及び医療ガイドライン情報以外の他の情報を表示してもよい。例えば、図５Ｄ及び図５Ｅに示すように、特性評価ネットワーク及び／又はコンピュータ装置が現在フレームを「分析」しているか否か（図５Ｄ）、「予測がない」又は（図５Ｅのフレームの中央で検出された物体の空白フィールドとして示す）特性評価がまだないのように、特性評価ネットワーク及び／又はコンピュータ装置の状態を表示してもよい。表示される他の情報の例は、ポリープの部分的な特性評価を行う特性評価ネットワーク及び／又はコンピュータ装置、低すぎる信頼値、発生したエラー、システムの再起動、ユーザのアクション若しくは入力又はリアルタイムビデオの処理に関連する他の関連情報を含む。
【0097】
いくつかの実施形態では、追加のモジュール又はプロセスを、特性評価ネットワーク４３０の前、特性評価ネットワーク４３０の後又は特性評価ネットワーク４３０と同時に提供するとともに実行してもよい。例えば、いくつかの実施形態では、少なくとも一つのプロセッサは、複数のフレームのうちの少なくとも一つに関連するフレーム品質を決定するように構成されたトレーニングされた品質ネットワークを実現する一つ以上のニューラルネットワークを適用するように構成されてもよい。本明細書で使用される「フレーム品質」は、本明細書で説明される操作を実行するための一つ以上のフレームの視覚的な明瞭度を指してもよい。フレームの品質は、ぼやけ、鮮明さ、明るさ、照明、露出、コントラスト、動き、可視性又は一つ以上のフレームの他の特徴のような視覚的特性に基づいてもよい。トレーニングされたフレーム品質ネットワークは、フレーム品質に関連する数値及び／又は品質分類を生成するようにトレーニングされてもよい。例えば、トレーニングされたフレーム品質ネットワークは、フレーム品質に関連する数値（例えば、０．７）を出力するように構成されてもよい、又は、フレームに品質クラス（例えば、「十分な品質」又は「不十分な品質」）を割り当てるように構成されてもよい。
【0098】
トレーニングされたフレーム品質ネットワークは、一つ以上のニューラルネットワーク（例えば、ディープニューラルネットワーク、畳み込みニューラルネットワーク、再帰的ニューラルネットワーク等）、ランダムフォレスト、サポートベクターマシン又はフレーム品質を決定するためにトレーニングされた上述した他の任意の適切なモデルを含むリアルタイムビデオの一つ以上のフレームに関連する品質値を決定するための一つ以上の適切な機械学習ネットワーク又はアルゴリズムを含んでもよい。フレーム品質ネットワークを、一つ以上の品質値又は分類に基づいてラベル付けされた複数のトレーニングフレーム又はその一部を使用してトレーニングしてもよい。例えば、第１のトレーニングフレームセット（又はフレームの一部）に「十分な品質」とラベル付けしてもよく、第２のトレーニングフレームセット（又はフレームの一部）に「十分な品質ではない」とラベル付けしてもよい。フレーム品質ネットワークの重み及び他のパラメータは、収束又は他の計量が達成されるまで、第３のラベルのないトレーニングフレーム（又はフレームの一部）のセットに関する出力に基づいて調整することができ、プロセスを、追加のトレーニングフレーム（又はその一部）を使用して又は本明細書に記載したライブデータを使用して繰り返してもよい。トレーニングされたフレーム品質ネットワークを、コンピュータ装置及び／又はシステムに保存してもよい又はフレーム品質を決定する前にネットワーク又はデータベースからフェッチしてもよい。いくつかの実施形態では、トレーニングされたフレーム品質ネットワークを、正確なフレーム品質検出又は不正確なフレーム品質検出のようなその出力の一つ以上に基づいて再トレーニングしてもよい。再トレーニングのためのフィードバックを、システム又はコンピュータ装置によって自動的に生成してもよい又は（例えば、マウス、キーボード又は他の入力デバイスを介して）オペレータ若しくは別のユーザによって手動で入力してもよい。トレーニングされたフレーム品質ネットワークの重み又は他のパラメータを、フィードバックに基づいて調整してもよい。いくつかの実施形態では、従来の非機械学習フレーム品質検出ネットワーク又はアルゴリズムを、単独で又はトレーニングされたフレーム品質ネットワークと組み合わせて使用してもよい。
【0099】
いくつかの実施形態では、トレーニングされたフレーム品質ネットワークは、決定されたフレーム品質に関連する信頼値を生成するように構成されてもよい。決定されたフレーム品質に対する信頼値は、決定されたフレーム品質に関連する確実性のレベルの指標を指してもよい。例えば、信頼値０．９又は９０％は、決定されたフレームの品質が正しいということの９０パーセントの確実性があることを示し、一方、信頼値０．４又は４０％は、決定されたフレームの品質が正しいということの４０パーセントの確実性があることを示す、等々。ただし、他の値、計量又は表現を使用して信頼値を表してもよい。例えば、信頼値を、信頼値が所定の閾値より上である（例えば、６６％より上の信頼である）ときに「高信頼性」として分類してもよい、信頼値が所定の閾値より下である（例えば、３３％より下の信頼である）ときに「低信頼性」として分類してもよい、又は、二つの所定の閾値の間にある（例えば、信頼性が３３％～６６％の信頼である）ときに「未定」して分類してもよい。いくつかの実施形態では、少なくとも一つのプロセッサは、決定されたフレーム品質に関する情報を任意の適切なフォーマット（例えば、フレーム品質値及び／又は分類、サムズアップ若しくはサムダウン、チェックマーク若しくはバツ印又は色）で表示装置にリアルタイムで提示してもよい。
【0100】
コンピュータ装置又はシステムの少なくとも一つのプロセッサは、本開示の実施形態に従って、決定されたフレーム品質又は信頼値のうちの少なくとも一つが既定の閾値を超えるときに決定された特性評価（例えば、分類、位置及び／又はサイズ）に関連するデータをアグリゲートするように構成されてもよい。この文脈におけるアグリゲートは、複数のデータを結合、収集又は受信するための任意の操作を指してもよい。例えば、フレームの関心物体の分類、位置及びサイズが決定される実施形態では、少なくとも一つのプロセッサは、フレームからのフレーム品質が既定の閾値より上である（例えば、フレーム品質が０．４より大きい又は「十分な品質」として分類されている）と判定されたときにのみ特性評価ネットワークから分類、位置及びサイズの決定を収集するように構成されてもよい。いくつかの実施形態では、少なくとも一つのプロセッサは、アグリゲートされたデータの少なくとも一部を表示装置に提示するように構成されてもよい。アグリゲートされたデータを、（例えば、ＬＥＤディスプレイ、仮想現実ディスプレイ又は拡張現実ディスプレイを使用して）上述した方法と同一の方法又は類似の方法で表示してもよい。
【0101】
他の決定された特徴のような他の情報をアグリゲートしてもよく、特定の用途又は状況に応じてデータをアグリゲートするか否かを決定するために他の計量を使用してもよい。いくつかの実施形態では、例えば、少なくとも一つのプロセッサは、関心物体が複数のフレームのうちの二つ以上に亘って持続するときに関心物体の決定された特徴（例えば、位置及びサイズ）に関連付けられた情報をアグリゲートするように構成されてもよい。本明細書で使用される「持続性」又はその変形は、関心物体が一つ以上のフレームの位置に存在し続けることを指してもよい。持続性を、一つ以上のフレームの関心物体の存在を比較するための任意のプロセスを使用して決定してもよい。 例えば、二つ以上の画像フレームの関心物体の位置のＩｎｔｅｒｓｅｃｔｉｏｎ ｏｖｅｒ Ｕｎｉｏｎ (ｌｏＵ) 値を計算してもよく、関心物体がフレームの二つ以上に亘って持続するか否かを判定するためにｌｏＵ 値をしきい値と比較してもよい。ｌｏＵ値を、次の式を使用して推定してもよい。
【0102】
【数1】
【0103】
上記の式において、Ａｒｅａ ｏｆ Ｏｖｅｒｌａｐは、関心物体が二つ以上のフレームに存在する領域であり、Ａｒｅａ ｏｆ Ｕｎｉｏｎは、関心物体が二つ以上のフレームに存在する合計領域である。非限定的な例として、二つの連続するフレーム間の０．５を超える（例えば、０．８又は０．９のような約０．６又は０．７以上の）ｌｏＵ値を、関心物体が二つの連続するフレームに存続していると判定するために使用してもよい。対照的に、二つの連続するフレーム間の０．５未満（例えば、約０．４以下）のｌｏＵ値を、関心物体が存続しないと判定する使用してもよい。しかしながら、用途及び状況に応じて、永続性を決定する他の方法を使用してもよい。物体が複数のフレームを超えて存続すると判定されるとき、関心物体の決定された特徴（例えば、位置及びサイズ）に関連する情報を、上述した方法と同一又は同様の方法でアグリゲートしてもよい。少なくとも一つのプロセッサは、アグリゲートされたデータ又はその一部を表示装置に提示するように構成されてもよい。このようにして、キャプチャ中（例えば、医療処置中）に無用な又は気が散る情報を表示することを避けるために、二つ以上のフレームに十分に存在する関心物体についての情報のみを表示してもよい。
【0104】
いくつかの実施形態では、アグリゲートされた情報を、一つ以上の基準に基づいて表示してもよい。例えば、少なくとも一つのプロセッサは、決定された位置が第１の身体領域にあるとともに決定されたサイズが第１の範囲内にあるときに、関心物体のアグリゲート情報（例えば、位置及びサイズ）を表示装置に提示するように構成されてもよい。さらに、少なくとも一つのプロセッサは、決定された位置が第２の身体領域にあるとともに決定されたサイズが第２の範囲内にあるときに、関心物体の特性評価の状態を示す情報(すなわち、アグリゲートされていない情報)。を表示装置に提示するように構成されてもよい。非限定的な例として、関心物体がポリープであるとともにアグリゲートされた情報が位置及びサイズである実施形態では、ポリープが小さくてシグマ直腸以外の身体の位置にあると判定されたときに、分類情報（すなわち、非アグリゲート情報）を表示してもよい。逆に、ポリープが小さくない又はシグマ直腸に位置すると判定されたときに、位置及びサイズ（すなわち、アグリゲート情報）を表示してもよい。このようにして、キャプチャ中（例えば、医療処置中）に重要な情報のみを提供するための既定のアグリゲート条件及び／又は表示基準に基づいて関連情報のみをオペレータに表示してもよい。
【0105】
図６は、開示した実施形態によるリアルタイムビデオを処理するための別の例示的なシステム６００を示す。図６に示すように、リアルタイム処理システム６００は、物体検出器６１０と、フレーム品質ネットワーク６２０と、特性評価ネットワーク６３０と、トラッカー６４０と、アグリゲーター６５０と、表示装置６６０と、を備えてもよい。図６の構成要素（６１０，６２０，６３０，６４０，６５０）を、（一つ以上の）コンピュータ装置又は一つ以上のプロセッサを使用して実現してもよい。物体検出器６１０は、図４Ａに関連して上述した物体検出器４２０と同一又は類似のもの（例えば、アルゴリズムの機械学習検出ネットワーク又は従来の検出アルゴリズム）でよく、特性評価ネットワーク６３０は、図４Ａに関連して上述した特性評価ネットワーク４３０と同一又は類似のものであってもよく（特性評価ネットワーク６３０は、更に多いネットワーク又は更に少ないネットワークを備えてもよい。）、表示装置４７０は、図４Ａに示す表示装置１８０と同一又は類似のもの（例えば、ＬＣＤ、ＬＥＤ又はＯＬＥＤディスプレイ、拡張現実ディスプレイ、又は仮想現実ディスプレイ）であってもよい。図４Ａと図６とを比較すると、追加の動作を特性評価ネットワーク６３０の前、特性評価ネットワーク６３０の後又は特性評価ネットワーク６３０と同時に実行してもよいことが分かる。例えば、図６では、フレーム品質ネットワーク６２０、トラッカー６４０及びアグリゲーター６５０は、特性評価ネットワーク６３０の動作に関連していつでも動作を実行してもよい。図６では矢印を使用しているが、いくつかの実施形態における情報の一般的な流れを示すために図６及び他の図面において矢印を使用しているが、動作を異なる順序で又は一つ以上の他の動作と同時に行ってもよいとともに他のステップを追加又は完全にスキップしてもよいことを理解すべきである。
【0106】
図６に示すように、物体検出器６１０は、複数のフレームの一つ以上の関心物体を検出してもよく、その出力をフレーム品質ネットワーク６２０及び／又は特性評価ネットワーク６３０に送信してもよい。いくつかの実施形態では、フレーム品質ネットワーク６２０を二つの別個の構成要素として示すが、フレーム品質ネットワーク６２０は、特性評価ネットワーク６３０の一部であってもよい。フレーム品質ネットワーク６２０は、上述したように、検出された関心物体を含むフレームのフレーム品質及び／又はフレーム品質に関連する信頼値を決定するとともにその出力を特性評価ネットワーク６３０及び／又はトラッカー６４０に送信するように構成されてもよい。
【0107】
いくつかの実施形態では、フレーム品質ネットワーク６２０は、トレーニングで学習されたクラスのセットに基づいて、画像装置からのフレーム及び／又は物体検出器６１０によって検出された関心物体を含むフレームのパッチを分類してもよい。フレーム品質ネットワーク６２０は、例えば、ワンホットエンコーディング式を使用してトレーニング中に暗黙的に学習することによってその出力の信頼値を出力してもよい。代替的には、ネットワークをトレーニングするための損失関数に含まれる信頼推定及びアブステンション項を提供するために、専用の出力ノードをフレーム品質ネットワーク６２０に追加してもよい。フレーム品質ネットワーク６２０は、例えば、低品質の画像フレーム又は乱雑な画像フレームにより推定誤差が高いときに、低い信頼値を予測するためにアブステンション項を使用してもよい。いくつかの実施形態では、フレーム品質ネットワーク６２０は、フレーム品質ネットワーク６２０をトレーニングするために使用されるトレーニングデータに対してグランドトゥルース値の信頼値が利用可能な場合、その出力の信頼値を明示的に生成することを学習してもよい。いくつかの実施形態では、フレーム品質ネットワーク６２０は、信頼値の範囲及び分布を制御するために、トレーニング中にミックスアップ及びラベル平滑化のようなニューラルネットワークのキャリブレーション方法を使用してもよい。一つ以上のニューラルネットワークを、品質ネットワーク６２０を実現するために使用してもよく、可能な場合には、出力と信頼値又はラベルの不確実性の両方を予測するようにトレーニングしてもよい。
【0108】
特性評価ネットワーク６３０は、上述したように、検出された関心物体の一つ以上の特徴に関連する一つ以上の特徴及び／又は信頼値を識別してもよい。特性評価ネットワーク６３０がフレーム品質ネットワーク６２０からフレーム品質及び／又はフレーム品質に関連する信頼値を受け取る実施形態では、特性評価ネットワーク６３０は、関心物体の特徴を検出する（又は出力を提供する）ように構成されてもよく、この場合、フレーム品質及び／又はフレーム品質に関連する信頼値は、既定の閾値より上である (例えば、０．４より大きい又は「十分な品質」として分類される)。トラッカー６４０は、上述したように、検出された関心物体の持続性を判定するように構成されてもよい。いくつかの実施形態では、トラッカー６４０は、特性評価ネットワーク６３０から特徴検出を受け取ってもよく、検出された関心物体が複数のフレーム又は既定の数のフレームに亘って持続すると判定したときにのみ、特徴検出を出力として提供するように構成されてもよい。いくつかの実施形態では、トラッカー６４０は、フレーム品質及び／又はフレーム品質に関連する信頼値を受け取るように構成されてもよく、トラッカー６４０は、出力を提供するか否かを決定するためにその永続性決定を利用してもよい（例えば、トラッカー６４０は、検出された関心物体が複数のフレーム又は既定の数のフレームに亘って持続するとともにフレーム品質及び／又は信頼値が既定の閾値より上であるときのみ出力を提供してもよい。）。
【0109】
アグリゲーター６５０は、物体検出器６１０、フレーム品質ネットワーク６２０、特性評価ネットワーク６３０及び／又はトラッカー６４０を含む上述した構成要素のいずれかからの出力を受信してもよく、上述したように、ディスプレイ６６０に提示するための一つ以上の基準に基づいて、受信した情報のいずれかをアグリゲート又は結合してもよい。例えば、アグリゲーター６５０は、事前定義された基準に応じてどの特徴をアグリゲートするかを決定するために、特性評価ネットワーク６３０によって検出された特徴に関連する情報を受信してもよい。例えば、アグリゲーター６５０は、決定された位置が第１の身体領域内にあるとともに決定されたサイズが第１の範囲内にあるときに、関心物体のアグリゲートされた位置及びサイズ情報を表示装置６６０に出力してもよい。追加的に又は代替的に、アグリゲーター６５０は、決定された位置が第２の身体領域内にあるとともに決定されたサイズが第２の範囲内にあるときに、代わりに、関心物体の特性評価の状態を示す情報を表示装置６６０に出力してもよい。一例として、アグリゲーター６５０によって提供される関心物体の特性評価のステータスは、アグリゲートされた情報があるか否か又は非アグリゲート情報のみがあるか否かをオペレータ又はユーザに知らせるためのアグリゲートのステータスを含んでもよい。アグリゲーター６５０は、上述したように、表示装置６６０に提示するための情報を出力するために他の規則及び基準を使用してもよい。
【0110】
図７は、本開示の実施形態によるディスプレイに提示するための情報をアグリゲートするための例示的な方法７００のブロック図を示す。例示的な方法７００を、一つ以上のプロセッサを使用して実行してもよい。一実施形態では、方法７００を、図６のシステム６００のようなコンピュータ装置又はシステムを使用して実行してもよい。これが非限定的な例であることが理解される。
【0111】
図７に示すように、ステップ７１０において、上述したように、フレーム品質及びフレーム品質に関連する信頼値を決定するために、フレーム品質ネットワークを、関心物体を含むフレーム又は関心物体を含まないフレームに適用してもよい。ステップ７２０において、フレームが十分なフレーム品質を有するか否かを判定するために、フレーム品質及び信頼値を閾値と比較してもよい。フレームが十分なフレーム品質を有する場合、方法は、データのアグリゲートに進む。フレームが十分なフレーム品質を有しない場合、方法は、別のフレームを検査することができるようにするために、ステップ７１０に戻る。
【0112】
ステップ７３０、ステップ７４０及びステップ７５０では、上述したように、検出された関心物体の分類、位置及びサイズをそれぞれ決定するために、分類ネットワーク、位置ネットワーク及びサイズネットワークを適用してもよい。ステップ７６０において、フレームが十分なフレーム品質を有する場合、分類、位置及びサイズ情報の少なくとも一部又はセットをアグリゲートする。ステップ７７０において、上述したように、アグリゲートしたデータのどの部分を表示のために提示するか（例えば、決定された位置が第１の身体領域にあるとともに決定されたサイズが第１の範囲内にあるか否か又は決定された位置が第２の身体領域にあるとともに決定されたサイズが第２の範囲内にあるか否か）を決定するために、一つ以上の基準を適用してもよい。第１の基準セットが満たされる場合、ステップ７８０において、アグリゲートされた情報の第１の部分を表示してもよい。第２の基準セットが満たされる場合、ステップ７９０において、アグリゲートされた情報の第２の部分を表示してもよい。図７に示さないが、拡張表示の一部として情報を表示するか否かを決定するために、ステップ７７０で追加の基準又は基準の組合せを適用してもよい。
【0113】
図８は、本開示の実施形態によるリアルタイムビデオを処理するための例示的な方法８００のブロック図を示す。例示的な方法８００を、（一つ以上の）コンピュータ装置又は一つ以上のプロセッサを使用して実行してもよい。一実施形態では、方法８００を、図１のシステム１００又は図４Ａのシステム４００のようなコンピュータ装置又はシステムを使用して実行してもよい。これらが非限定的な例であることが理解される。
【0114】
図８は、ステップ８０１～８１３を含む。ステップ８０１において、少なくとも一つのプロセッサは、医療処置中に医用画像装置からキャプチャされたリアルタイムビデオを受信してもよく、リアルタイムビデオは、上述したように、複数のフレームを含む。ステップ８０３において、少なくとも一つのプロセッサは、上述したように、複数のフレームの関心物体を検出してもよい。ブロック８０５において、少なくとも一つのプロセッサは、上述したように、関心物体の分類を決定するように構成されたトレーニングされた分類ネットワークを実現する一つ以上のニューラルネットワークを適用してもよい。ブロック８０７において、少なくとも一つのプロセッサは、上述したように、関心物体に関連する位置を決定するように構成されたトレーニングされた位置ネットワークを実現する一つ以上のニューラルネットワークを適用してもよい。ブロック８０９において、少なくとも一つのプロセッサは、上述したように、関心物体に関連するサイズを決定するように構成されたトレーニングされたサイズネットワークを実現する一つ以上のニューラルネットワークを適用してもよい。ブロック８１１において、少なくとも一つのプロセッサは、上述したように、分類、位置及びサイズのうちの一つ以上に基づいて医療ガイドラインを特定してもよい。ブロック８１３において、少なくとも一つのプロセッサは、上述したように、特定された医療ガイドラインの情報を医療処置中に表示装置にリアルタイムで提示してもよい。
【0115】
上述した図面及び図面の構成要素は、本開示の様々な例示的な実施形態によるシステム、方法及びコンピュータハードウェア又はソフトウェア製品の可能な実現のアーキテクチャ、機能性及び動作を示す。例えば、フローチャート又は図面の各ブロックは、指定された論理機能を実現するための一つ以上の実行可能命令を含むモジュール、セグメント又はコードの一部を表してもよい。また、いくつかの代替的な実現において、ブロックに示した機能が図示した順序と異なる順序で実行してもよいことも理解すべきである。例として、連続して示す二つのブロックを、略同時に実行又は実現してもよく、また、関与する機能に応じて、二つのブロックを逆の順序で実行してもよい。また、一部のブロックを省略してもよい。また、指定された機能又は動作を実行する専用ハードウェアベースのシステムによって又は専用ハードウェアとコンピュータ命令との組合せによって図面の各ブロック及びブロックの組合せを実現できることも理解すべきである。コンピュータプログラム製品（例えば、ソフトウェア又はプログラム命令）を、記載した実施形態及び図示した例に基づいて実現してもよい。
【0116】
上述したシステム及び方法をステップの省略又は追加、ステップの順序及び使用される機能及び／又は構成要素の種類の変更を含む多くの方法で変更できることを理解すべきである。また、異なる特徴を異なる方法で組み合わせることができることも理解すべきである。特に、特定の実施形態又は実現において上述した全ての特徴が全ての実施形態又は実現において必要であるわけではない。上述した特徴及び実現の別の組合せも本明細書に開示した実施形態又は実装の範囲内であるとみなされる。
【0117】
本明細書では、特定の実施形態及び実装の特徴を説明及び図示してきたが、変更、置換、変形及び均等物は当業者には明らかである。したがって、添付の特許請求の範囲が開示した実施形態及び図示した実現の特徴の範囲内に入る全てのそのような変更及び変形を網羅することを意図することを理解すべきである。また、本明細書に記載の実施形態が限定ではなく例としてのみ提示されるとともに形式及び詳細において様々な変更が可能であることも理解すべきである。本明細書で説明したシステム及び／又は方法の任意の部分を、相互に排他的な組み合わせを除いて、任意の組合せで実現してもよい。例として、本明細書で説明した実現は、説明した様々な実施形態の機能、構成要素及び／又は特徴の様々な組合せ及び／又はサブ組合せを含むことができる。
【0118】
さらに、例示的な実施形態を本明細書に記載したが、本開示の範囲は、本明細書に開示した実施形態に基づく（例えば、様々な実施形態に亘る態様の）同等の要素、変更、省略、組合せ、適応又は変形を有するあらゆる実施形態を含む。さらに、特許請求の範囲の要素は、特許請求の範囲で使用される文言に基づいて広く解釈されるべきであり、本明細書又は本願の実施中に記載される例に限定されない。代わりに、これらの例は非限定的なものとして解釈されるべきである。さらに、開示した方法のステップを、ステップの順序の変更又はステップの挿入若しくは削除を含む任意の方法で変更することができる。
【0119】
別の例として、本開示によるシステム及び方法は、以下の実現及び態様を含む。
【0120】
リアルタイムビデオを処理するためのコンピュータ実行システムであって、少なくとも一つのプロセッサを備え、少なくとも一つのプロセッサは、医療処置中に医用画像装置からキャプチャされたリアルタイムビデオを受信し、リアルタイムビデオは、複数のフレームを含み、複数のフレームの関心物体を検出し、関心物体を囲む領域を処理するエンコーダネットワークを使用して埋め込み表現を生成するために、複数のフレームの関心物体をエンコードし、エンコードされた関心物体の潜在表現を生成し、関心物体の一つ以上の特性を決定するために、トレーニングされた特性評価ネットワークを実現する一つ以上のニューラルネットワークを潜在表現に適用し、検出された関心物体及び関心物体の一つ以上の特性の拡張情報を使用してリアルタイムビデオを変更し、変更されたビデオを医療処置中に表示装置に提示するように構成された、システム。
【0121】
上述のシステムにおいて、医療処置は、内視鏡検査、胃内視鏡検査、結腸内視鏡検査又は腸内視鏡検査のうちの少なくとも一つを含んでもよい。さらに、関心物体は、ヒト組織の形成、あるタイプの細胞から別のタイプの細胞へのヒト組織の変化、人体組織が予想される場所からのヒト組織の欠如又は病変のうちの少なくとも一つを含んでもよい。
【0122】
上述のシステムにおいて、少なくとも一つのプロセッサは、関心物体の一つ以上の特性に基づいて、医療ガイドラインを特定するように更に構成されてもよい。少なくとも一つのプロセッサは、特定された医療ガイドラインに関連する情報を、変更されたビデオの一部として表示装置に提示するように構成されてもよい。一例として、特定された医療ガイドラインに関連する情報は、関心物体を残すか切除するかの指示を含んでもよい。別の例として、特定された前記医療ガイドラインの情報は、切除の種類を含んでもよい。
【0123】
上述のシステムにおいて、少なくとも一つのプロセッサは、特定された医療ガイドラインに関連する信頼値を生成するように更に構成されてもよい。
【0124】
上述のシステムにおいて、関心物体の決定された一つ以上の特徴は、組織学的分類、形態学的分類、構造的分類又は悪性腫瘍分類のうちの少なくとも一つに基づく関心物体の分類を含んでもよい。別の例として、関心物体の決定された一つ以上の特徴は、関心物体に関連する位置を含んでもよい。いくつかの実施形態では、決定された位置は、人体の位置又は人間の器官に関連する位置である。決定された位置の例は、直腸、Ｓ状結腸、下行結腸、横行結腸、上行結腸又は盲腸を含んでもよい。更に別の例として、関心物体の決定された一つ以上の特徴は、関心物体のサイズであってもよい。決定された関心物体のサイズを、数値又はサイズ分類として表してもよい。
【0125】
上述のシステムにおいて、少なくとも一つのプロセッサは、トレーニングされた品質ネットワークを実現する一つ以上のニューラルネットワークを適用するように更に構成されてもよい。トレーニングされた品質ネットワークは、複数のフレームのうちの一つ以上に関連するフレーム品質を決定するとともに決定されたフレーム品質に関連する信頼値を生成するように構成されてもよい。
【0126】
上述のシステムにおいて、少なくとも一つのプロセッサは、決定されたフレーム品質又は信頼度のうちの少なくとも一つが既定の閾値より上であるときに、決定された一つ以上の特性に関連するデータをアグリゲートし、アグリゲートしたデータの少なくとも一部を表示装置に提示するように更に構成されてもよい。
【0127】
上述のシステムにおいて、少なくとも一つのプロセッサは、複数のフレームの複数の関心物体を検出し、検出された複数の関心物体に関連する複数の分類及びサイズを決定し、一つ以上の決定された分類及びサイズに関連する情報を表示装置に提示するように更に構成されてもよい。
【0128】
上述のシステムにおいて、少なくとも一つのプロセッサは、関心物体に関連する時間情報を決定するために複数のフレームの関心物体を追跡するように更に構成されてもよい。
【0129】
リアルタイムビデオを処理するためのコンピュータ実行方法であって、医療処置中に医用画像装置からキャプチャされたリアルタイムビデオを受信し、リアルタイムビデオは、複数のフレームを含むステップと、複数のフレームの関心物体を検出するステップと、関心物体を囲む領域を処理するエンコーダネットワークを使用して埋め込み表現を生成するために、複数のフレームの関心物体をエンコードするステップと、エンコードされた関心物体の潜在表現を生成するステップと、関心物体の一つ以上の特性を決定するために、トレーニングされた特性評価ネットワークを実現する一つ以上のニューラルネットワークを潜在表現に適用するステップと、検出された関心物体及び関心物体の一つ以上の特性の拡張情報を使用してリアルタイムビデオを変更するステップと、変更されたビデオを医療処置中に表示装置に提示するステップと、を備える方法。
【0130】
リアルタイムビデオを処理するためのコンピュータ実行システムであって、少なくとも一つのプロセッサを備え、少なくとも一つのプロセッサは、医療処置中に医用画像装置からキャプチャされたリアルタイムビデオを受信し、リアルタイムビデオは、複数のフレームを含み、複数のフレームの関心物体を検出し、関心物体を囲む領域を処理するエンコーダネットワークを使用して埋め込み表現を生成するために、複数のフレームの関心物体をエンコードし、エンコードされた関心物体の潜在表現を生成し、関心物体の時間情報を決定するために、潜在表現に基づいて、複数のフレームの関心物体を追跡し、関心物体の一つ以上の特性を決定するために、トレーニングされた特性評価ネットワークを実現する一つ以上のニューラルネットワークを適用し、一つ以上の特性は、潜在表現及び時間情報のうちの少なくとも一つに基づいて決定されるように構成された、システム。
【0131】
上述のシステムにおいて、少なくとも一つのプロセッサは、検出された関心物体及び関心物体の一つ以上の特性の拡張情報を使用してリアルタイムビデオを変更し、変更されたビデオを医療処置中に表示装置に提示するように更に構成されてもよい。医療処置は、内視鏡検査、胃内視鏡検査、結腸内視鏡検査又は腸内視鏡検査のうちの少なくとも一つを含んでもよい。さらに、関心物体は、ヒト組織の形成、あるタイプの細胞から別のタイプの細胞へのヒト組織の変化、人体組織が予想される場所からのヒト組織の欠如又は病変のうちの少なくとも一つを含んでもよい。
【0132】
上述のシステムにおいて、少なくとも一つのプロセッサは、関心物体の一つ以上の特性に基づいて、医療ガイドラインを特定するように更に構成されてもよい。少なくとも一つのプロセッサは、特定された医療ガイドラインに関連する情報を、変更されたビデオの一部として表示装置に提示するように構成されてもよい。一例として、特定された医療ガイドラインに関連する情報は、関心物体を残すか切除するかの指示を含んでもよい。別の例として、特定された前記医療ガイドラインの情報は、切除の種類を含んでもよい。
【0133】
上述のシステムにおいて、少なくとも一つのプロセッサは、特定された医療ガイドラインに関連する信頼値を生成するように更に構成されてもよい。
【0134】
上述のシステムにおいて、関心物体の決定された一つ以上の特徴は、組織学的分類、形態学的分類、構造的分類又は悪性腫瘍分類のうちの少なくとも一つに基づく関心物体の分類を含んでもよい。別の例として、関心物体の決定された一つ以上の特徴は、関心物体に関連する位置を含んでもよい。いくつかの実施形態では、決定された位置は、人体の位置又は人間の器官に関連する位置である。決定された位置の例は、直腸、Ｓ状結腸、下行結腸、横行結腸、上行結腸又は盲腸を含んでもよい。更に別の例として、関心物体の決定された一つ以上の特徴は、関心物体のサイズであってもよい。決定された関心物体のサイズを、数値又はサイズ分類として表してもよい。
【0135】
上述のシステムにおいて、少なくとも一つのプロセッサは、トレーニングされた品質ネットワークを実現する一つ以上のニューラルネットワークを適用するように更に構成されてもよい。トレーニングされた品質ネットワークは、複数のフレームのうちの一つ以上に関連するフレーム品質を決定するとともに決定されたフレーム品質に関連する信頼値を生成するように構成されてもよい。
【0136】
上述のシステムにおいて、少なくとも一つのプロセッサは、決定されたフレーム品質又は信頼度のうちの少なくとも一つが既定の閾値より上であるときに、決定された一つ以上の特性に関連するデータをアグリゲートし、アグリゲートしたデータの少なくとも一部を表示装置に提示するように更に構成されてもよい。
【0137】
上述のシステムにおいて、少なくとも一つのプロセッサは、複数のフレームの複数の関心物体を検出し、検出された複数の関心物体に関連する複数の分類及びサイズを決定し、一つ以上の決定された分類及びサイズに関連する情報を表示装置に提示するように更に構成されてもよい。
【0138】
上述のシステムにおいて、少なくとも一つのプロセッサは、関心物体に関連する時間情報を決定するために複数のフレームの関心物体を追跡するように更に構成されてもよい。関心物体を追跡するために、少なくとも一つのプロセッサは、複数のフレームの関心物体の潜在表現の類似性に基づいて、複数のフレームの関心物体を追跡するように構成されてもよい。追加的に又は代替的に、関心物体を追跡するために、少なくとも一つのプロセッサは、関心物体が持続するフレーム数を決定するように構成されてもよい。少なくとも一つのプロセッサは、フレームの各々のフレーム品質情報に基づいて関心物体を追跡するように構成されてもよい。
【0139】
リアルタイムビデオを処理するためのコンピュータ実行方法であって、医療処置中に医用画像装置からキャプチャされたリアルタイムビデオを受信し、リアルタイムビデオは、複数のフレームを含むことと、複数のフレームの関心物体を検出することと、関心物体を囲む領域を処理するエンコーダネットワークを使用して埋め込み表現を生成するために、複数のフレームの関心物体をエンコードすることと、エンコードされた関心物体の潜在表現を生成することと、関心物体の時間情報を決定するために、潜在表現に基づいて、複数のフレームの関心物体を追跡することと、関心物体の一つ以上の特性を決定するために、トレーニングされた特性評価ネットワークを実現する一つ以上のニューラルネットワークを適用することと、を備え、一つ以上の特性は、潜在表現及び時間情報のうちの少なくとも一つに基づいて決定される、方法。
【0140】
上述の方法において、方法は、検出された関心物体及び関心物体の一つ以上の特性の拡張情報を使用してリアルタイムビデオを変更することと、変更されたビデオを医療処置中に表示装置に提示することと、を更に有してもよい。医療処置は、内視鏡検査、胃内視鏡検査、結腸内視鏡検査又は腸内視鏡検査のうちの少なくとも一つを含んでもよい。さらに、関心物体は、ヒト組織の形成、あるタイプの細胞から別のタイプの細胞へのヒト組織の変化、人体組織が予想される場所からのヒト組織の欠如又は病変のうちの少なくとも一つを含んでもよい。
【0141】
したがって、本明細書及び実施例が例示としてのみ考慮されるととともに真の範囲及び精神は以下の特許請求の範囲及びその均等物の全範囲によって示されることが意図される。
【図1】
【図2】
【図3A】
【図3B】
【図4A】
【図4B】
【図4C】
【図5A】
【図5B】
【図5C】
【図5D】
【図5E】
【図6】
【図7】
【図8】
【国際調査報告】