▶ コスモ アーティフィシャル インテリジェンス−エーアイ リミティドの特許一覧
特表2024-537198内視鏡的処置の品質検査を分析するためのコンピュータ実装システム及び方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-10-10
(54)【発明の名称】内視鏡的処置の品質検査を分析するためのコンピュータ実装システム及び方法
(51)【国際特許分類】
G16H 50/20 20180101AFI20241003BHJP
A61B 1/045 20060101ALI20241003BHJP
G06T 7/00 20170101ALI20241003BHJP
【ＦＩ】
G16H50/20
A61B1/045 622
A61B1/045 614
A61B1/045 615
G06T7/00 612
【審査請求】未請求
【予備審査請求】有
(21)【出願番号】P 2024520966
(86)(22)【出願日】2022-10-07
(85)【翻訳文提出日】2024-04-19
(86)【国際出願番号】 IB2022059632
(87)【国際公開番号】W WO2023057986
(87)【国際公開日】2023-04-13
(31)【優先権主張番号】63/253,700
(32)【優先日】2021-10-08
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】520492282
【氏名又は名称】コスモ アーティフィシャル インテリジェンス－エーアイ リミティド
(74)【代理人】
【識別番号】100099759
【弁理士】
【氏名又は名称】青木 篤
(74)【代理人】
【識別番号】100123582
【弁理士】
【氏名又は名称】三橋 真二
(74)【代理人】
【識別番号】100092624
【弁理士】
【氏名又は名称】鶴田 準一
(74)【代理人】
【識別番号】100114018
【弁理士】
【氏名又は名称】南山 知広
(74)【代理人】
【識別番号】100153729
【弁理士】
【氏名又は名称】森本 有一
(72)【発明者】
【氏名】アンドレーア ケルビーニ
(72)【発明者】
【氏名】ピエトロ サルバニーニ
(72)【発明者】
【氏名】ナン ンゴ ディン
【テーマコード（参考）】
4C161
5L096
5L099
【Ｆターム（参考）】
4C161AA01
4C161AA04
4C161CC06
4C161HH51
4C161HH55
4C161WW02
4C161WW08
4C161WW10
4C161WW13
4C161WW14
5L096BA06
5L096BA13
5L096CA04
5L096DA01
5L096FA66
5L096FA69
5L096GA40
5L096HA11
5L099AA04
5L099AA26
(57)【要約】
リアルタイムの映像からの複数のフレームを分析して、操作者が患者の領域を検査するために画像デバイスと相互作用している間のフレームを特定するように構成された少なくとも１つのプロセッサを含む、コンピュータ実装システムが提供される。少なくとも１つのプロセッサは、特定されたフレームから、画像デバイスと相互作用する操作者によって検査された第１の領域のデータ表示を生成し、更に、画像デバイスと相互作用する操作者によって検査された１つ以上の更なる領域のデータ表示を生成するように更に構成される。また、少なくとも１つのプロセッサは、第１の領域のデータ表示を１つ以上の更なる領域のデータ表示と集約し、集約されたデータ表示を使用して、操作者によって検査された領域の検査品質レベルを決定し、操作者によって検査された領域の検査品質レベルを示すグラフィック表示を医療処置中のディスプレイデバイス上に表示するように構成される。
【選択図】図３
【選択図】図３
【特許請求の範囲】
【請求項1】
医療処置中に取り込まれた映像を処理するためのコンピュータ実装システムであって、患者に実施される医療処置中に、
患者の医療処置中に画像デバイスから取り込まれた、複数のフレームを含む映像を受信し、
前記映像から、操作者が分析用の前記患者の臓器の領域を検査するために前記画像デバイスと相互作用している間のフレームを特定し、
前記特定されたフレームから、前記画像デバイスと相互作用する前記操作者によって検査された第１の領域のデータ表示を生成し、
更に、前記特定されたフレームから、前記画像デバイスと相互作用する前記操作者によって検査された１つ以上の更なる領域のデータ表示を生成し、
前記第１の領域の前記データ表示を、前記１つ以上の更なる領域の前記データ表示と集約し、
前記集約されたデータ表示を使用して、前記操作者によって検査された前記領域の検査品質レベルを決定し、
前記操作者によって検査された前記領域の前記決定された検査品質レベルを示すグラフィック表示を、ディスプレイデバイス上に表示するように構成されている、少なくとも１つのプロセッサを含む、システム。
【請求項2】
前記少なくとも１つのプロセッサが、前記画像デバイスの軌道、前記画像デバイスの速度、又は前記操作者によって検査された前記領域とモデル面の領域との比率のうちの１つ以上に基づいて、前記検査品質レベルを決定するように更に構成されている、請求項１に記載のシステム。
【請求項3】
前記第１の領域及び前記１つ以上の更なる領域の前記データ表示が、二次元データ及び三次元データの少なくとも一方を含む、請求項１に記載のシステム。
【請求項4】
リアルタイムの前記映像の前記複数のフレームの中から、前記操作者が分析用の前記患者の領域を検査するために前記画像デバイスと相互作用している間のフレームを特定するために、コンテキスト評価を実行するように構成されたニューラルネットワークを更に含む、請求項１に記載のシステム。
【請求項5】
前記少なくとも１つのプロセッサが、前記医療処置中にリアルタイムで前記検査品質レベルを決定し、前記患者に前記医療処置が実施されるときに、前記決定された検査品質レベルを更新するように更に構成されている、請求項１に記載のシステム。
【請求項6】
前記決定された検査品質レベルが前記医療処置中に更新されたときに、前記少なくとも１つのプロセッサが前記グラフィック表示を変更するように更に構成されている、請求項５に記載のシステム。
【請求項7】
前記グラフィック表示に対する前記変更が、前記グラフィック表示の色、パターン、画像、映像、又は英数字のうちの少なくとも１つに対する変更を含む、請求項６に記載のシステム。
【請求項8】
前記少なくとも１つのプロセッサが、前記患者に前記医療処置が実施されている間に、前記操作者によって検査された領域の短期データ表示と、前記操作者によって検査された複数の領域の長期データ表示とを生成するように更に構成されている、請求項１に記載のシステム。
【請求項9】
前記少なくとも１つのプロセッサが、前記短期データ表示を使用して、短期検査品質レベルを決定し、
前記長期データ表示を使用して、長期検査品質レベルを決定するように更に構成されている、請求項８に記載のシステム。
【請求項10】
前記医療処置としては、内視鏡検査、食道胃十二指腸内視鏡検査、結腸内視鏡検査、Ｓ状結腸内視鏡検査、内視鏡的逆行性胆管膵管造影、又は小腸内視鏡検査が挙げられる、請求項１に記載のシステム。
【請求項11】
前記医療処置中の前記検査された領域が、前記患者の臓器の部分を含む、請求項１に記載のシステム。
【請求項12】
前記少なくとも１つのプロセッサが、前記特定されたフレームから、前記患者の前記検査された第１の領域の第１の三次元表示を生成し、
更に、前記特定されたフレームから、前記患者の検査された第２の領域の第２の三次元表示を生成し、
三次元空間における前記第１の三次元表示と前記第２の三次元表示との近接度を決定し、
前記決定された近接度が閾値内である場合に、前記第１の三次元表示の少なくとも一部を前記第２の三次元表示の少なくとも一部とマージし、
前記第１及び第２の三次元表示の前記マージされた部分を使用して、前記医療処置中に前記操作者によって検査されていない領域を特定するように更に構成されている、請求項１に記載のシステム。
【請求項13】
前記少なくとも１つのプロセッサが、前記操作者によって検査された前記領域と前記操作者によって検査されていない前記領域との比率を示すグラフィック表示を生成するように更に構成されている、請求項１２に記載のシステム。
【請求項14】
映像を処理するための方法であって、患者に実施される医療処置中に少なくとも１つのプロセッサによって実行される以下の操作：患者の医療処置中に画像デバイスから取り込まれた、複数のフレームを含む映像を受信すること、
前記映像から、操作者が分析用の前記患者の臓器の領域を検査するために前記画像デバイスと相互作用している間のフレームを特定すること、
前記特定されたフレームから、前記画像デバイスと相互作用する前記操作者によって検査された第１の領域のデータ表示を生成すること、
更に、前記特定されたフレームから、前記画像デバイスと相互作用する前記操作者によって検査された１つ以上の更なる領域のデータ表示を生成すること、
前記第１の領域の前記データ表示を、前記１つ以上の更なる領域の前記データ表示に集約すること、
前記集約されたデータ表示を使用して、前記操作者によって検査された前記領域の検査品質レベルを決定すること、及び
前記操作者によって検査された前記領域の前記決定された検査品質レベルを示すグラフィック表示を、ディスプレイデバイス上に表示することを含む、方法。
【請求項15】
前記画像デバイスの軌道、前記画像デバイスの速度、又は前記操作者によって検査された前記領域とモデル面の領域との比率のうちの１つ以上に基づいて、前記検査品質レベルを決定することを更に含む、請求項１４に記載の方法。
【請求項16】
前記第１の領域及び前記１つ以上の更なる領域の前記データ表示が、二次元データ及び三次元データの少なくとも一方を含む、請求項１４に記載の方法。
【請求項17】
リアルタイムの映像の前記複数のフレームの中から、前記操作者が分析用の前記患者の領域を検査するために前記画像デバイスと相互作用している間のフレームを特定するために、ニューラルネットワークを使用してコンテキスト評価を実行することを更に含む、請求項１４に記載の方法。
【請求項18】
前記医療処置中にリアルタイムで前記検査品質レベルを決定し、前記患者に前記医療処置が実施されるときに、前記決定された検査品質レベルを更新することを更に含む、請求項１４に記載の方法。
【請求項19】
前記決定された検査品質レベルが前記医療処置中に更新されたときに、前記グラフィック表示を変更することを更に含む、請求項１８に記載の方法。
【請求項20】
前記グラフィック表示を変更することが、前記グラフィック表示の色、パターン、画像、映像、又は英数字のうちの少なくとも１つを変更することを含む、請求項１９に記載の方法。
【請求項21】
前記患者に前記医療処置が実施されている間に、前記操作者によって検査された領域の短期データ表示と、前記操作者によって検査された複数の領域の長期データ表示とを生成することを更に含む、請求項１４に記載の方法。
【請求項22】
前記短期データ表示を使用して、短期検査品質レベルを決定すること、及び前記長期データ表示を使用して、長期検査品質レベルを決定することを更に含む、請求項２１に記載の方法。
【請求項23】
前記医療処置としては、内視鏡検査、食道胃十二指腸内視鏡検査、結腸内視鏡検査、Ｓ状結腸内視鏡検査、内視鏡的逆行性胆管膵管造影、又は小腸内視鏡検査が挙げられる、請求項１４に記載の方法。
【請求項24】
前記医療処置中の前記検査された領域が、前記患者の臓器の部分を含む、請求項１４に記載の方法。
【請求項25】
前記少なくとも１つのプロセッサによって実行される以下の操作：前記特定されたフレームから、前記患者の前記検査された第１の領域の第１の三次元表示を生成すること、
更に、前記特定されたフレームから、前記患者の検査された第２の領域の第２の三次元表示を生成すること、
三次元空間における前記第１の三次元表示と前記第２の三次元表示との近接度を決定すること、
前記決定された近接度が閾値内である場合に、前記第１の三次元表示の少なくとも一部を前記第２の三次元表示の少なくとも一部とマージすること、並びに
前記第１及び第２の三次元表示の前記マージされた部分を使用して、前記医療処置中に前記操作者によって検査されていない領域を特定することを更に含む、請求項１４に記載の方法。
【請求項26】
前記操作者によって検査された前記領域と前記操作者によって検査されていない前記領域との比率を示すグラフィック表示を生成することを更に含む、請求項２５に記載の方法。
【請求項27】
医療処置中に取り込まれた映像を処理するためのコンピュータ実装システムであって、患者の医療処置中に画像デバイスから取り込まれた、複数のフレームを含むリアルタイムの映像を受信し、
前記複数のフレームを分析し、操作者が分析用の前記患者の領域を検査するために前記画像デバイスと相互作用している間のフレームを特定し、
前記特定されたフレームから、前記画像デバイスと相互作用する前記操作者によって検査された各局所領域のデータ表示を生成し、
各局所領域の前記データ表示を使用して、前記操作者によって検査された部分の短期検査品質レベルを決定し、
前記操作者によって検査された各局所領域の前記短期検査品質レベルを示すグラフィック表示を、前記医療処置中のディスプレイデバイス上に表示するように構成されている、少なくとも１つのプロセッサを含む、システム。
【請求項28】
前記少なくとも１つのプロセッサが、各局所領域の前記データ表示を集約し、
前記集約されたデータ表示を使用して、前記操作者によって検査された前記部分の前記短期検査品質レベルを決定するように更に構成されている、請求項２７に記載のシステム。
【請求項29】
前記短期検査品質レベルが、前記画像デバイスの軌道、前記画像デバイスの速度、又は面露光のうちの少なくとも１つに基づく、請求項２７に記載のシステム。
【請求項30】
前記面露光が、前記操作者によって検査された前記領域とモデル面の領域との比率に基づく、請求項２９に記載のシステム。
【請求項31】
前記少なくとも１つのプロセッサが、前記操作者によって検査された複数の局所領域のデータ表示を、長期データ表示に集約するように更に構成されている、請求項２７に記載のシステム。
【請求項32】
前記少なくとも１つのプロセッサが、前記長期データ表示に基づいて長期検査品質レベルを決定するように更に構成され、前記長期検査品質レベルが、前記医療処置全体にわたって検査された領域の総量を示す、請求項３１に記載のシステム。
【請求項33】
前記複数の局所領域の前記データ表示は、二次元データ及び三次元データを含み、前記少なくとも１つのプロセッサが、各局所領域の少なくとも１つのモデルを点群を用いて構築するように更に構成されている、請求項３１に記載のシステム。
【請求項34】
前記複数のフレームの中から、前記操作者が分析用の前記患者の領域を検査するために前記画像デバイスと相互作用している間のフレームを特定するために、コンテキスト評価を実行するように構成されたニューラルネットワークを更に含む、請求項２７に記載のシステム。
【請求項35】
前記少なくとも１つのプロセッサが、特定されたフレーム毎に、奥行き、カメラ位置、又はエッジのうちの少なくとも１つを決定するように更に構成されている、請求項２７に記載のシステム。
【請求項36】
前記少なくとも１つのプロセッサが、前記医療処置中にリアルタイムで前記短期検査品質レベルを決定し、前記患者に前記医療処置が実施されるときに、前記決定された短期検査品質レベルを更新するように更に構成されている、請求項２７に記載のシステム。
【請求項37】
前記決定された短期検査品質レベルが前記医療処置中に更新されたときに、前記少なくとも１つのプロセッサが前記グラフィック表示を変更するように更に構成されている、請求項３６に記載のシステム。
【請求項38】
前記少なくとも１つのプロセッサが、前記グラフィック表示の色、パターン、画像、映像、又は英数字のうちの少なくとも１つを変更するように更に構成されている、請求項３７に記載のシステム。
【請求項39】
前記医療処置としては、内視鏡検査、食道胃十二指腸内視鏡検査、結腸内視鏡検査、Ｓ状結腸内視鏡検査、内視鏡的逆行性胆管膵管造影、又は小腸内視鏡検査のうちの少なくとも１つが挙げられる、請求項２７に記載のシステム。
【請求項40】
前記医療処置中の前記検査された領域が、前記患者の臓器の部分を含む、請求項２７に記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本出願は、２０２１年１０月８日に出願された米国特許出願第６３／２５３，７００号明細書に対する優先権を主張するものであり、その内容が全体として参照により本明細書に援用される。
本出願は、２０２１年１０月８日に出願された米国特許出願第６３／２５３，７００号明細書に対する優先権を主張するものであり、その内容が全体として参照により本明細書に援用される。
【0002】
本開示は、概して、画像システム、並びに画像システム又はデバイスからの映像を処理するためのコンピュータ実装システム及び方法の分野に関する。より具体的には、限定されるものではないが、本開示は、画像デバイスからの映像のフレームを処理し、検査品質分析などの分析を実行するためのシステム、方法、及びコンピュータ可読媒体に関する。本明細書に開示されるシステム及び方法は、患者を検査する医療処置中などの様々な用途で使用することができる。本明細書に開示されるシステム及び方法はまた、医用画像デバイスを利用した処置中にリアルタイムで検査品質レベル分析を決定して提供するなどの、リアルタイムの画像処理機能を提供するために実装することができる。
【背景技術】
【0003】
現代の医療処置では、患者の身体及び臓器を正確且つ精密に検査することが求められている。例えば、内視鏡検査中に悪性病変が検出される割合は、内視鏡の操作者が結腸の各領域を慎重且つ徹底的に検査する場合に増大させることができる。逆に言えば、操作者が患者の体のある領域を不注意で見逃したり、又は別様に検査が不充分である場合に、悪性病変を見落としてしまう可能性がある。熟練レベル、疲労レベル、及び特定の領域を検査したかどうかに関する想起などのいくつかの要因が、操作者の検査のレベルに影響する可能性がある。
【0004】
様々な医用画像システム及び検査システムがこれまでに開発されてきたが、その多くは１つ以上の短所又は欠点に悩まされている。例えば、現存の解決策では、特定領域の検査の質又はレベルに関して、操作者にいかなる分析又は視覚的フィードバックも提供することができない。加えて、現存のシステム及び方法では、患者の身体又は臓器を検査する間に操作者の技法を補正するのを補助することが可能となる、操作者の検査技法のリアルタイムな分析及びフィードバックを提供することができない。更に、現存のシステム及び方法では、特定領域の検査だけでなく、医療処置全体又はその一部に関しても、評価したり、又はフィードバックを提供したりすることができない。
【0005】
したがって、患者を検査する医療処置で使用されるものを含む、画像システム及び方法を改善することが必要とされている。とりわけ、例えば医療処置中の操作者の検査技法の質又はレベルに関する、コンピュータに実装された分析及びフィードバックを提供することが必要とされている。また、患者の身体又は臓器をナビゲートして検査するときに、リアルタイムでデータを分析し、検査品質レベルを決定するためのコンピュータ実装システム及び方法が必要とされている。本開示の実施形態は、このような改善をもたらし、現存の解決策の上述の欠点又は短所の１つ以上に対処することができるものである。
【発明の概要】
【0006】
本開示の実施形態は、内視鏡検査などの医療処置中に検査品質を分析するためのシステム、方法、及びコンピュータ可読媒体を含む。いくつかの開示された実施形態と一致して、例えば内視鏡的処置中に、映像のフレームを処理し、面露光、軌道、及び／又は速度分析を実行するためのシステム、方法、及びコンピュータ可読媒体が提供される。本開示の実施形態はまた、操作者が患者の身体又は臓器を検査するときに、画像デバイスとの操作者の相互作用を特定し、検査品質レベルをリアルタイムで決定するためのシステム及び方法に関する。本明細書で開示されるように、検査品質レベル分析は、露光、軌道、及び／又は速度などの要因の組み合わせに基づき得る。露光、軌道、及び／又は速度を含むこれらの要因の１つ以上を、患者の身体又は臓器を検査している間に、操作者に個々に又は合わせて表示することができる。これら及びその他の実施形態、特徴、及び実装形態が本明細書に記載される。
【0007】
本開示と一致して、１つ以上のコンピュータのシステムは、操作中にシステムに操作又は動作を実行させるシステムがインストールされたソフトウェア、ファームウェア、ハードウェア、又はそれらの組み合わせを備えることによって、それらの操作又は動作を実行するように構成することができる。１つ以上のコンピュータプログラムは、データ処理装置（１つ以上のプロセッサなど）によって実行されると装置に操作又は動作を実行させる命令を含むことによって、そのような操作又は動作を実行するように構成することができる。
【0008】
１つの概略的な態様は、内視鏡検査などの医療処置中に取り込まれた映像を処理するためのコンピュータ実装システムを含む。コンピュータ実装システムは、患者に実施される医療処置中に画像デバイスから取り込まれた、複数のフレームを含む映像を受信するように構成された、少なくとも１つのプロセッサを含んでよい。少なくとも１つのプロセッサは、複数のフレームを分析して、操作者が分析用の患者の領域を検査するために画像デバイスと相互作用している間のフレームを特定し、特定されたフレームから、画像デバイスと相互作用する操作者によって検査された第１の領域のデータ表示を生成し、更に、特定されたフレームから、画像デバイスと相互作用する操作者によって検査された１つ以上の更なる領域のデータ表示を生成し、第１の領域のデータ表示を１つ以上の更なる領域のデータ表示と集約するように更に構成されてもよい。更に、少なくとも１つのプロセッサは、集約されたデータ表示を使用して、操作者によって検査された領域の検査品質レベルを決定し、操作者によって検査された領域の決定された検査品質レベルを示すグラフィック表示を、ディスプレイデバイス上に表示するように構成されてもよい。他の実施形態は、対応するコンピュータ方法、装置、及び１つ以上のコンピュータストレージデバイスに記録されたコンピュータプログラムを含み、それぞれが上記の操作又は機能を実行するように構成される。
【0009】
実装形態は、以下の特徴のうちの１つ以上を含み得る。検査品質レベルは、画像デバイスの軌道、画像デバイスの速度、及び／又は操作者によって検査された領域とモデル面の領域との比率のうちの１つ以上に基づき得る。第１の領域及び１つ以上の更なる領域のデータ表示は、二次元データ及び三次元データの少なくとも一方を含み得る。システムは、複数のフレームの中から、操作者が分析用の患者の領域を検査するために画像デバイスと相互作用している間のフレームを特定するために、コンテキスト評価を実行するように構成されたニューラルネットワークを含み得る。
【0010】
少なくとも１つのプロセッサは、医療処置中にリアルタイムで検査品質レベルを決定し、患者に医療処置が実施されるときに、決定された検査品質レベルを更新するように更に構成されてもよい。少なくとも１つのプロセッサは、決定された検査品質レベルが医療処置中に更新されたときに、グラフィック表示を変更するように更に構成されてもよい。更に、少なくとも１つのプロセッサは、グラフィック表示の色、パターン、画像、映像、又は英数字のうちの少なくとも１つを変更するように構成されてもよい。少なくとも１つのプロセッサは、患者に医療処置が実施されている間に、操作者によって検査された領域の短期検査品質レベルと、操作者によって検査された複数の領域の長期検査品質レベルとを決定するように更に構成されてもよい。医療処置としては、内視鏡検査、食道胃十二指腸内視鏡検査、結腸内視鏡検査、Ｓ状結腸内視鏡検査、内視鏡的逆行性胆管膵管造影、又は小腸内視鏡検査のうちの少なくとも１つを挙げることができる。医療処置中の検査された領域には、患者の結腸の部分が含まれ得る。
【0011】
少なくとも１つのプロセッサは、特定されたフレームから、患者の検査された第１の領域の第１の三次元表示を生成し、更に、特定されたフレームから、患者の検査された第２の領域の第２の三次元表示を生成し、三次元空間における第２の三次元表示に対する第１の三次元表示の近接度を決定し、決定された近接度が閾値内にある場合、第１の三次元表示の少なくとも一部を第２の三次元表示の少なくとも一部にマージし、第１及び第２の三次元表示のマージされた部分を使用して、医療処置中に操作者によって検査されていない患者の領域を特定するように更に構成されてもよい。記載された技法の実装形態は、ハードウェア、方法若しくはプロセス、又はコンピュータアクセス可能媒体上のコンピュータソフトウェアを含むことができる。
【0012】
別の概略的な態様は、医療処置中に取り込まれた映像を処理するためのコンピュータ実装システムを含む。コンピュータ実装システムは、患者に医療処置が実施される間に画像デバイスから取り込まれた、複数のフレームを含む映像を受信するように構成された、少なくとも１つのプロセッサを含み得る。少なくとも１つのプロセッサは、複数のフレームを分析して、操作者が分析用の患者の領域を検査するために画像デバイスと相互作用している間のフレームを特定し、特定されたフレームから、画像デバイスと相互作用する操作者によって検査された各局所領域のデータ表示を生成するように更に構成されてもよい。更に、少なくとも１つのプロセッサは、各局所領域のデータ表示を使用して、操作者によって検査された部分の短期検査品質レベルを決定し、操作者によって検査された各局所領域の長期検査品質レベルを示すグラフィック表示を、医療処置中のディスプレイデバイス上に表示するように構成されてもよい。他の実施形態は、対応するコンピュータ方法、装置、及び１つ以上のコンピュータストレージデバイスに記録されたコンピュータプログラムを含み、それぞれが上記の操作又は機能を実行するように構成される。
【0013】
実装形態は、以下の特徴のうちの１つ以上を含み得る。各局所領域のデータ表示は、少なくとも１つのプロセッサによって集約されてもよく、短期検査品質レベルは、集約されたデータ表示を使用して、少なくとも１つのプロセッサによって決定されてもよい。加えて、又は代替的に、コンピュータ実装システムでは、短期検査品質レベルは、画像デバイスの軌道、画像デバイスの速度、又は面露光のうちの少なくとも１つに基づき得る。面露光は、操作者によって検査された領域とモデル面の領域との比率に基づき得る。少なくとも１つのプロセッサは、操作者によって検査された複数の局所領域のデータ表示を、長期データ表示に集約するように更に構成されてもよい。少なくとも１つのプロセッサは、長期データ表示に基づいて長期検査品質レベルを決定するように更に構成されてもよく、長期検査品質レベルは、医療処置全体にわたって検査された領域の総量を示す。複数の局所領域のデータ表示は、二次元データ及び三次元データを含んでよく、少なくとも１つのプロセッサは、各局所領域の少なくとも１つのモデルを点群を用いて構築するように更に構成されてもよい。システムは、複数のフレームの中から、操作者が分析用の患者の領域を検査するために画像デバイスと相互作用している間のフレームを特定するために、コンテキスト評価を実行するように構成されたニューラルネットワークを含み得る。
【0014】
少なくとも１つのプロセッサは、特定されたフレーム毎に、奥行き、カメラ位置、又はエッジのうちの少なくとも１つを決定するように更に構成されてもよい。少なくとも１つのプロセッサは、医療処置中にリアルタイムで短期検査品質レベルを決定し、患者に医療処置が実施されるときに、決定された短期検査品質レベルを更新するように更に構成されてもよい。少なくとも１つのプロセッサは、決定された短期検査品質レベルが医療処置中に更新されたときに、グラフィック表示を変更するように更に構成されてもよい。少なくとも１つのプロセッサは、グラフィック表示の色、パターン、画像、映像、又は英数字のうちの少なくとも１つを変更するように更に構成されてもよい。医療処置としては、内視鏡検査、食道胃十二指腸内視鏡検査、結腸内視鏡検査、Ｓ状結腸内視鏡検査、内視鏡的逆行性胆管膵管造影、又は小腸内視鏡検査のうちの少なくとも１つを挙げることができる。医療処置中の検査された領域には、患者の結腸の部分が含まれ得る。
【0015】
本開示と一致するシステム及び方法は、ソフトウェア、ファームウェア、及びハードウェアの任意の好適な組み合わせを使用して実装され得る。本開示の実装形態は、開示された操作又は動作に関連する機能を実行するために、機械により構築された及び／又は特別にプログラムされたプログラム又は命令を含み得る。また更に、少なくとも１つのプロセッサによって実行可能なプログラム命令を保存する非一過性のコンピュータ可読ストレージ媒体を使用して、本明細書に記載される工程及び／又は方法を実行してもよい。
【0016】
上記の概略的な説明及び以下の発明を実施するための形態は、単に例示的及び説明的なものであり、開示された実施形態を限定するものではないことが理解されよう。
【図面の簡単な説明】
【0017】
本明細書の一部を含む以下の図面は、本開示のいくつかの実施形態を例示するものであり、明細書と共に、開示された実施形態の原理及び特徴を説明する役割を果たす。図面は次の通りである。
【0018】
【0019】
【0020】
【0021】
【0022】
【0023】
【0024】
【0025】
【0026】
【0027】
【0028】
【0029】
【0030】
【発明を実施するための形態】
【0031】
好ましい実施形態を、添付図面を参照しながら下記に記載する。図は、必ずしも一定の比率の縮尺で描かれているわけではない。開示される原理の例及び特徴が本明細書に記載されているが、開示された実施形態の趣旨及び範囲から逸脱することなく、変更、適用、及び他の実装形態が実行可能である。また、「含む（ｃｏｍｐｒｉｓｉｎｇ）」、「有する（ｈａｖｉｎｇ）」、「含有する（ｃｏｎｔａｉｎｉｎｇ）」、及び「含む（ｉｎｃｌｕｄｉｎｇ）」という語句、並びに他の類似形態は、これらの語句のいずれか１つの後に続く項目が、そのような項目を網羅的に列挙することを意味するものでもなく、又は列挙された項目のみに限定することを意味するものでもないという点で、意味において等価であり、オープンエンドであることが意図される。本明細書で使用される場合、及び添付の特許請求の範囲において、単数形の「１つの（ａ）」、「１つの（ａｎ）」及び「その（ｔｈｅ）」は、文脈上別途明白に指示されない限り、複数の言及を含むことにも留意すべきである。
【0032】
以下の説明において、例示目的のために様々な実施例が提供される。しかしながら、本開示は、これらの詳細の１つ以上がなくても実施することができることが理解されよう。
【0033】
本開示全体を通して「開示された実施形態」という言及があるが、これは、本明細書に記載される発明的アイディア、概念、及び／又は顕在化の例を指す。多くの関連する実施形態及び関連しない実施形態が、本開示全体を通して記載される。一部の「開示された実施形態」が、ある特徴又は特性を示すと記載されるという事実は、他の開示された実施形態が、必ずしもその特徴又は特性を共有することを意味しない。
【0034】
本明細書に記載される実施形態は、少なくとも１つのプロセッサによって実行されると、少なくとも１つのプロセッサに方法又は一連の操作を実行させる命令を含む、非一過性のコンピュータ可読媒体を含む。非一過性のコンピュータ可読媒体は、メモリに保存された方法又は任意の他の命令を実行するためのプロセッサを備えた任意のコンピューティングデバイスにより読み取ることができるような方法で、任意のメモリにデータを保存することが可能な任意の媒体であってよい。非一過性のコンピュータ可読媒体は、ソフトウェア、ファームウェア、ハードウェア、又はそれらの任意の組み合わせとして実装されてもよい。ソフトウェアは、好ましくは、部品からなるプログラムストレージ装置若しくはコンピュータ可読媒体において有形に具現化されたアプリケーションプログラムとして、又は特定のデバイス及び／若しくはデバイスの組み合わせとして実装されてもよい。アプリケーションプログラムは、任意の好適なアーキテクチャを含む機械にアップロードされて実行されてもよい。好ましくは、機械は、１つ以上の中央演算処理装置（「ＣＰＵ」）、メモリ、及び入出力インターフェースなどのハードウェアを有するコンピュータプラットフォーム上で実装されてもよい。コンピュータプラットフォームはまた、オペレーティングシステム及びマイクロ命令コードを含み得る。本開示に記載される様々なプロセス及び機能は、マイクロ命令コードの一部若しくはアプリケーションプログラムの一部、又はそれらの任意の組み合わせであってよく、そのようなコンピュータ又はプロセッサが明示的に示されているか否かにかかわらず、ＣＰＵによって実行することができる。加えて、追加のデータストレージ装置及び印刷装置などの様々な他の周辺装置がコンピュータプラットフォームに接続されていてもよい。更に、非一過性のコンピュータ可読媒体は、一過性の伝搬信号を除く、あらゆるコンピュータ可読媒体であってよい。
【0035】
メモリは、ランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、ハードディスク、光ディスク、磁気媒体、フラッシュメモリ、他の永久メモリ、固定メモリ、揮発性メモリ又は不揮発性メモリを含む、電子データ又は命令を保存するためのあらゆる機構を含み得る。メモリは、データ構造、命令、又は任意の他のデータを保存することが可能な、配置又は分配された１つ以上の個々のストレージデバイスを含み得る。メモリは、プロセッサを実行するための命令を含むメモリ部分を更に含み得る。メモリはまた、プロセッサの作業メモリデバイスとして、又は一時ストレージとして使用してもよい。
【0036】
いくつかの実施形態は、少なくとも１つのプロセッサを含み得る。プロセッサは、入力に対して論理演算を実行する電気回路を有する任意の物理的デバイス又はデバイス群であってよい。例えば、少なくとも１つのプロセッサとしては、特定用途向け集積回路（ＡＳＩＣ）を含む１つ以上の集積回路（ＩＣ）、マイクロチップ、マイクロコントローラ、マイクロプロセッサ、中央演算処理装置（ＣＰＵ）の全て又は一部、画像処理装置（ＧＰＵ）、デジタル信号プロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、サーバ、仮想サーバ、又は命令を実行するか、若しくは論理演算を実行するのに好適な他の回路を挙げることができる。少なくとも１つのプロセッサにより実行される命令は、例えば、コントローラに集積化若しくは組み込まれたメモリに予めロードされていてもよく、又は個々のメモリに保存されていてもよい。
【0037】
いくつかの実施形態では、少なくとも１つのプロセッサは、２つ以上のプロセッサを含み得る。各プロセッサは類似した構造を有してもよく、又は、プロセッサが互いに電気的に接続若しくは切断される異なった構造であってもよい。例えば、プロセッサは個々の回路であってよく、又は単一の回路に集積化されていてもよい。２つ以上のプロセッサが使用される場合、プロセッサは独立して、又は協働して動作するように構成されてもよい。プロセッサは、電気的、磁気的、光学的、音響的、機械的、又はそれらが相互作用することを可能にする他の手段によって結合されていてもよい。
【0038】
本開示と一致する実施形態は、ネットワークを含み得る。ネットワークは、データを交換するために使用されるあらゆる種類の物理又は無線コンピュータネットワーク配列を構成することができる。例えば、ネットワークは、インターネット、プライベートデータネットワーク、公衆ネットワークを使用する仮想プライベートネットワーク、Ｗｉ－Ｆｉネットワーク、ローカルエリアネットワーク（「ＬＡＮ」）、ワイドエリアネットワーク（「ＷＡＮ」）、及び／又はシステムの様々なコンポーネント間の情報交換が可能となり得る他の好適な接続であってもよい。いくつかの実施形態では、ネットワークは、データを交換するのに使用される１つ以上の物理リンク、例えば、イーサネット、同軸ケーブル、より対線ケーブル、光ファイバー、又はデータを交換するのに好適な任意の他の物理媒体を含み得る。ネットワークはまた、プライベートネットワーク、公衆交換電話網（「ＰＳＴＮ」）、インターネット、及び／又は無線セルラーネットワークなどの１つ以上のネットワークを含み得る。ネットワークは、セキュリティで保護されたネットワークであっても、又はセキュリティで保護されていないネットワークであってもよい。他の実施形態では、システムの１つ以上のコンポーネントは、専用の通信ネットワークを通じて直接通信してもよい。直接通信は、例えば、ＢＬＵＥＴＯＯＴＨ（登録商標）、ＢＬＵＥＴＯＯＴＨ ＬＥ（ＢＬＥ）（登録商標）、Ｗｉ－Ｆｉ、近距離無線通信（ＮＦＣ）、又は個々のエンティティ間でデータ及び／若しくは情報を交換するための媒体を提供する他の好適な通信方法を含む、任意の好適な技術を使用することができる。
【0039】
いくつかの実施形態では、機械学習ネットワーク又はアルゴリズムは、例えば、下記に記載される場合に、訓練例を用いて訓練することができる。そのような機械学習アルゴリズムのいくつかの非限定的な例としては、分類アルゴリズム、データ回帰アルゴリズム、画像セグメンテーションアルゴリズム、視覚検出アルゴリズム（物体検出器、顔検出器、人物検出器、動作検出器、エッジ検出器など）、視覚認識アルゴリズム（顔認識、人物認識、物体認識など）、音声認識アルゴリズム、数学的埋め込みアルゴリズム、自然言語処理アルゴリズム、サポートベクターマシン、ランダムフォレスト、最近傍アルゴリズム、深層学習アルゴリズム、人工ニューラルネットワークアルゴリズム、畳み込みニューラルネットワークアルゴリズム、再帰型ニューラルネットワークアルゴリズム、線形機械学習モデル、非線形機械学習モデル、アンサンブルアルゴリズムなどを挙げることができる。例えば、訓練された機械学習ネットワーク又はアルゴリズムは、予測モデル、分類モデル、回帰モデル、クラスタリングモデル、セグメンテーションモデル、人工ニューラルネットワーク（ディープニューラルネットワーク、畳み込みニューラルネットワーク、再帰型ニューラルネットワークなど）、ランダムフォレスト、サポートベクターマシンなどのような推論モデルを含み得る。いくつかの例では、訓練例は、事例の入力を、事例の入力に対応する所望の出力と共に含み得る。更に、いくつかの例では、訓練例を使用して機械学習アルゴリズムを訓練することで、訓練された機械学習アルゴリズムを生成することができ、この訓練された機械学習アルゴリズムを使用して、訓練例に含まれない入力に対する出力を推定することができる。訓練は、教師ありであっても教師なしであってもよく、又はそれらの組み合わせであってもよい。いくつかの例では、機械学習アルゴリズムを訓練する技術者、科学者、プロセス及び機械は、更に検証例及び／又はテスト例を使用してもよい。例えば、検証例及び／又はテスト例は、事例の入力を、事例の入力に対応する所望の出力と共に含むことができ、訓練された機械学習アルゴリズム及び／又は中間的に訓練された機械学習アルゴリズムを使用して、検証例及び／又はテスト例の事例の入力に対する出力を推定することができ、この推定された出力を、対応する所望の出力と比較することができ、この比較の結果に基づいて、訓練された機械学習アルゴリズム及び／又は中間的に訓練された機械学習アルゴリズムを評価することができる。いくつかの例では、機械学習アルゴリズムは、パラメータとハイパーパラメータとを有してもよく、ハイパーパラメータは、人により手動で設定されるか、又は機械学習アルゴリズムの外部のプロセス（ハイパーパラメータ探索アルゴリズムなど）によって自動的に設定され、機械学習アルゴリズムのパラメータは、訓練例に従って機械学習アルゴリズムによって設定される。いくつかの実装形態では、ハイパーパラメータは、訓練例と検証例に従って設定され、パラメータは、訓練例と選択されたハイパーパラメータに従って設定される。機械学習ネットワーク又はアルゴリズムは、任意の出力に基づいて更に再訓練することができる。
【0040】
本明細書に開示される特定の実施形態は、一連の工程を含む操作又は方法を実行するためのコンピュータ実装システムを含み得る。コンピュータ実装システム及び方法は、リアルタイムの映像を処理するように構成された、本明細書に記載されるような１つ以上のプロセッサを含み得る、１つ以上のコンピューティングデバイスによって実装されてもよい。コンピューティングデバイスは、１つ以上のコンピュータ、又はデータを処理することができる任意の他のデバイスであってよい。このようなコンピューティングデバイスは、ＬＣＤディスプレイ、拡張現実（ＡＲ）ディスプレイ、又は仮想現実（ＶＲ）ディスプレイなどのディスプレイを含み得る。しかしながら、コンピューティングデバイスはまた、バックエンドコンポーネント（例えば、データサーバとして）を含むか、又はミドルウェアコンポーネント（例えば、アプリケーションサーバ）を含むか、又はフロントエンドコンポーネント（例えば、グラフィカルユーザーインターフェースを有するユーザーデバイス、若しくはユーザーが本明細書に記載されるシステム及び技術の実装形態と相互作用することができるウェブブラウザ）を含むか、又はそのようなバックエンドコンポーネント、ミドルウェアコンポーネント、若しくはフロントエンドコンポーネントの任意の組み合わせを含むコンピューティングシステムに実装されてもよい。システム及び／又はコンピューティングデバイスのコンポーネントは、デジタルデータ通信の任意の形態又は媒体（例えば、通信ネットワーク）によって相互接続することができる。通信ネットワークの例としては、ＬＡＮネットワーク、ＷＡＮネットワーク、及びインターネットが挙げられる。コンピューティングデバイスは、クライアント及びサーバを含み得る。クライアントとサーバは、概して互いに遠隔にあり、典型的には通信ネットワークを通じて相互作用する。対応するコンピュータ上で実行され、互いにクライアントとサーバの関係を有するコンピュータプログラムによって、クライアントとサーバの関係性が生じる。
【0041】
図１は、本開示の実施形態による、リアルタイムの映像を処理するための例示的なコンピュータ実装システム１００を示す。図１に示すように、システム１００は、画像デバイス１４０と、操作者１２０から画像デバイス１４０に送信される制御信号を通じて画像デバイス１４０を操作し制御する操作者１２０とを含む。例として、映像フィードが医用映像を含む実施形態では、操作者１２０は、患者に医療処置を実施する医師又は他の医療専門家であってよい。画像デバイス１４０は、内視鏡画像デバイス、Ｘ線機器、コンピュータ断層撮影（ＣＴ）機器、磁気共鳴映像（ＭＲＩ）機器などの医用画像デバイス、又は人体若しくはその一部の映像若しくは１つ以上の画像を生成する任意の他の医用画像デバイスを含み得る。操作者１２０は、とりわけ、例えば、患者若しくは個人の人体を通る、若しくは人体に関連する、画像デバイス１４０の取り込み速度及び／又は画像デバイス１４０の移動若しくはナビゲーションを制御することによって、患者に実施される医療処置中に画像デバイス１４０と相互作用し、制御することができる。いくつかの実施形態では、画像デバイス１４０は、人体の空洞を通して挿入される従来の内視鏡画像デバイスとは対照的に、嚥下可能なカプセルデバイス又は他の形態のカプセル内視鏡デバイスを含み得る。
【0042】
図１の例では、画像デバイス１４０は、患者に実施される医療処置中に、取り込まれた映像を複数の画像フレームとしてコンピューティングデバイス１６０に転送することができる。コンピューティングデバイス１６０は、本明細書に記載されるように、映像を処理する１つ以上のプロセッサを含み得る（例えば、図２を参照されたい）。いくつかの実施形態では、プロセッサの１つ以上は、コンピューティングデバイス１６０の一部ではないがコンピューティングデバイス１６０とネットワーク通信する個々のコンポーネント（図示せず）として実装されてもよい。いくつかの実施形態では、コンピューティングデバイス１６０の１つ以上のプロセッサが、１つ以上のネットワーク、例えば、訓練されたニューラルネットワークを実装してもよい。ニューラルネットワークの例としては、物体検出ネットワーク、分類検出ネットワーク、相互作用検出ネットワーク、及び／又は他のネットワークが挙げられる。コンピューティングデバイス１６０は、画像デバイス１４０から複数の画像フレームを受信して処理することができる。いくつかの実施形態では、１つ以上の拡張された映像を制御、指示、及び／又は作成する目的で、コンピューティングデバイス１６０と操作者１２０との間で制御信号又は情報信号を交換することができる。これらの制御信号又は情報信号は、画像デバイス１４０を通したデータとして、又は操作者１２０から直接的に、コンピューティングデバイス１６０に通信することができる。制御信号及び情報信号の例には、本明細書に記載される機械学習アルゴリズムなどのコンピューティングデバイス１６０のコンポーネントを制御するための信号が含まれる。
【0043】
図１の例では、コンピューティングデバイス１６０は、画像デバイス１４０から受信された映像を処理して拡張し、次いで拡張された映像をディスプレイデバイス１８０に転送することができる。いくつかの実施形態では、映像の拡張又は変更は、１つ以上のオーバーレイ、英数字、形状、図、画像、アニメーション画像、又は任意の他の好適なグラフィック表示を、映像フレーム内に、又は映像フレームと共に提供することを含み得る。図１に示すように、コンピューティングデバイス１６０はまた、元の拡張されていない映像を、画像デバイス１４０からディスプレイデバイス１８０に直接中継するように構成されてもよい。例えば、コンピューティングデバイス１６０は、生成されるオーバーレイ又は他の拡張若しくは変更が存在しない場合などの所定の条件下で、直接中継を行ってもよい。いくつかの実施形態では、操作者１２０がコンピューティングデバイス１６０に直接中継を行うように制御信号の一部としてコマンドを転送する場合に、コンピューティングデバイス１６０が直接中継を行うことができる。操作者１２０からのコマンドは、マウスクリック、カーソルホバー、マウスオーバー、ボタン押下、キーボード入力、音声コマンド、仮想現実若しくは拡張現実で実行される相互作用、又は任意の他の入力などの、操作者のデバイス及び／又は入力デバイス（図示せず）に含まれるボタン及び／又はキーの操作によって生成することができる。
【0044】
映像を拡張するために、コンピューティングデバイス１６０は、画像デバイス１４０からの映像を単独で、又は操作者１２０からの制御信号若しくは情報信号と共に処理し、変更された映像ストリームを作成して、ディスプレイデバイス１８０に送信することができる。変更された映像は、ディスプレイデバイス１８０を介して操作者に表示される、拡張情報を含んだ元の画像フレームを含み得る。拡張情報は、決定された検査品質レベル又は値の１つ以上のグラフィック表示を単独で、又は露光、速度、及び／若しくは軌道情報などの他の情報と組み合わせて含み得る。変更された映像ストリームにおいて、グラフィック表示は映像上にオーバーレイされ、メインカメラの視界又は視野から離れて（例えば、ディスプレイの上隅若しくは下隅、又はメインカメラの視界若しくは視野を妨げることのない別の位置）に配置することができる。いくつかの実施形態では、グラフィック表示は、（例えば、操作者によるＯＮ／ＯＦＦ若しくは他の制御信号に応答して）選択的に提示することができ、及び／又は個々のパネル若しくはディスプレイに表示することができる（すなわち、個別の映像出力であり、画像デバイス１４０からのリアルタイムの映像に対するオーバーレイとしてではない）。ディスプレイデバイス１８０は、ＬＣＤ、ＬＥＤ、若しくはＯＬＥＤディスプレイ、拡張現実ディスプレイ、又は仮想現実ディスプレイなどの、映像又は変更された映像を提示するのに好適な任意のディスプレイ又は類似のハードウェアを含み得る。
【0045】
図２は、本開示の実施形態と一致する、リアルタイムの映像を処理するための例示的なコンピューティングデバイス２００を示す。コンピューティングデバイス２００は、図１の例示的なシステムの実装形態（例えば、コンピューティングデバイス１６０を含む）と関連して使用することができる。いくつかの実施形態では、コンピューティングデバイスは、クラウドコンピューティングシステム、サーバ、及び／又はリアルタイムの映像を受信して処理するのに好適な任意の他のコンポーネントなどの複数のサブシステムを含み得ることを理解されたい。
【0046】
図２に示すように、コンピューティングデバイス２００は、１つ以上のプロセッサ２３０を含むことができ、プロセッサ２３０としては、例えば、上記で述べたように、特定用途向け集積回路（ＡＳＩＣ）を含む１つ以上の集積回路（ＩＣ）、マイクロチップ、マイクロコントローラ、マイクロプロセッサ、中央演算処理装置（ＣＰＵ）の全て又は一部、画像処理装置（ＧＰＵ）、デジタル信号プロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、サーバ、仮想サーバ、又は命令を実行するか、若しくは論理演算を実行するのに好適な他の回路を挙げることができる。いくつかの実施形態では、プロセッサ２３０は、１つ以上のプロセッサで実装されたより大型の処理装置を含み得るか、又はそのコンポーネントであってよい。１つ以上のプロセッサ２３０は、汎用マイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プログラマブル論理デバイス（ＰＬＤ）、コントローラ、状態機械、ゲーテッドロジック、ディスクリートハードウェアコンポーネント、専用ハードウェア有限状態機械、又は情報の計算若しくは他の操作を実行することができる任意の他の好適なエンティティの任意の組み合わせによって実装されてもよい。
【0047】
図２に更に示すように、プロセッサ２３０は、バス又はネットワーク２５０を介してメモリ２４０に通信可能に接続されていてもよい。バス又はネットワーク２５０は、データ及び他の形態の情報を通信するように構成されてもよい。メモリ２４０は、プロセッサ２３０によって実行されたときに、本明細書でより詳細に記載される操作及び方法を実行する命令を含むメモリ部分２４５を含み得る。メモリ２４０は、場合によってはプロセッサ２３０の作業メモリ、一時ストレージ、及び他のメモリ又はストレージの役割を果たすものとして使用することもできる。例として、メモリ２４０は、ランダムアクセスメモリ（ＲＡＭ）などであるがこれらに限定されない揮発性メモリ、又はフラッシュメモリなどであるがこれらに限定されない不揮発性メモリ（ＮＶＭ）であってよい。
【0048】
プロセッサ２３０はまた、バス又はネットワーク２５０を介して１つ以上のＩ／Ｏデバイス２１０に通信可能に接続されていてもよい。Ｉ／Ｏデバイス２１０は、あらゆる種類の入力デバイス及び／若しくは出力デバイス、又は周辺デバイスを含み得る。Ｉ／Ｏデバイス２１０は、ネットワーク２５０を介してプロセッサ２３０との接続性をサポートするための１つ以上のネットワークインターフェースカード、ＡＰＩ、データポート、及び／又は他のコンポーネントを含み得る。
【0049】
図２に更に示すように、コンピューティングデバイス２００のプロセッサ２３０及び他の構成要素（２１０、２４０）は、データベース又はストレージデバイス２２０に通信可能に接続されていてもよい。ストレージデバイス２２０は、組織的なフォーマット、構造、又は一連のファイル内にデータを電子的に保存することができる。ストレージデバイス２２０は、データの保存及び読み出しを容易にするためのデータベース管理システムを含み得る。図２では単一のデバイスとして図示されているが、ストレージデバイス２２０は、配置又は分散された複数のデバイスを含み得ることを理解されたい。いくつかの実施形態では、ストレージデバイス２２０は、クラウドストレージなどのリモートネットワーク上に実装されていてもよい。
【0050】
プロセッサ２３０及び／又はメモリ２４０はまた、ソフトウェア又は命令セットを保存するための機械可読媒体を含み得る。本明細書で使用される「ソフトウェア」は、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と称されるか、又は別な方法で称されるかにかかわらず、あらゆる種類の命令を広範に指す。命令は、コード（例えば、ソースコード形式、バイナリコード形式、実行可能なコード形式、又は任意の他の好適な形式のコード）を含み得る。命令は、１つ以上のプロセッサ２３０によって実行されると、本明細書で更に詳細に記載される様々な操作及び機能をプロセッサに実行させることができる。
【0051】
コンピューティングデバイス２００の実装形態は、図２に示す例示的な実施形態に限定されるものではない。構成要素（２１０、２２０、２３０、２４０）の数及び配置は、変更及び再配置することができる。更に、図２には示されないが、コンピューティングデバイス２００は、他のネットワーク、例えば、インターネット、ローカルエリアネットワーク、ワイドエリアネットワーク、メトロエリアネットワーク、及びコンピューティングアーキテクチャの要素間の通信を可能にし得る他のネットワークと電子的に通信することができる。また、コンピューティングデバイス２００は、ネットワーク又は他のデータベースと同様に、ストレージデバイス２２０を含む任意のソースから、本明細書に記載されるデータ又は他の情報を読み出すことができる。更に、コンピューティングデバイス２００は、本明細書に記載されるニューラルネットワークを実装するのに使用される１つ以上の機械学習モデルを含むことができ、機械学習モデルの重み若しくはパラメータ、訓練情報若しくは訓練フィードバック、並びに／又は本明細書に記載される任意の他のデータ及び情報を読み出すか又は受信することができる。
【0052】
図３は、本開示の実施形態と一致する、医療処置中に取り込まれた映像を処理するための例示的な方法３００を示す。例示的な方法３００は、少なくとも１つのプロセッサ（例えば、コンピューティングデバイス１６０の少なくとも１つのプロセッサ若しくはプロセッサ２３０）、又はＣＰＵ、ＦＰＧＡ、ＡＳＩＣなどの非一過性のコンピュータ可読媒体、又はコンピューティングデバイスの任意の他の処理構造若しくはストレージ媒体を利用して実装されてもよい。図３に示すように、工程３１０において、少なくとも１つのプロセッサは、患者に対する医療処置中に画像デバイスから取り込まれたリアルタイムの映像を受信することができる。本明細書で使用される「リアルタイムの映像」とは、映像のソース（例えば、画像デバイス）から、少なくとも１つのプロセッサ、コンピューティングデバイス、及び／又はシステムによって、遅延が知覚されることなく受信される映像を指すことができる。例えば、少なくとも１つのプロセッサは、患者に実施される医療処置中に医用画像デバイスから取り込まれたリアルタイムの映像を受信するように構成されてもよい。医用画像デバイスは、上記に記載されるように、内視鏡検査デバイス、Ｘ線機器、ＣＴ機器、又はＭＲＩ機器などの、人体又はその一部の映像又は１つ以上の画像を生成することが可能な、あらゆるデバイスを含み得る。医療処置とは、患者の状態を検査、決定、検出、測定、及び／又は診断するために実施される、あらゆる動作又は一連の操作のことであり得る。医療処置の例としては、内視鏡検査、食道胃十二指腸内視鏡検査、結腸内視鏡検査、Ｓ状結腸内視鏡検査、内視鏡的逆行性胆管膵管造影、又は小腸内視鏡検査が挙げられる。医療処置中、操作者は、分析用の患者の領域を検査するために画像デバイスと相互作用することができる。操作者が分析のために検査することのできる人体の部位としては、直腸、Ｓ状結腸、下行結腸、横行結腸、上行結腸、又は盲腸が挙げられる。いくつかの実施形態では、医療処置は、内視鏡的処置を含み得る。例えば、内視鏡的処置中、操作者は、患者の結腸の領域を検査するために画像デバイスと相互作用し、関心対象（例えば、病変又はポリープ）を特定することができる。しかしながら、開示されたシステム及び方法は、他の処置及び用途に使用することができることを理解されたい。
【0053】
医療処置中に画像デバイスから受信されたリアルタイムの映像は、開示された実施形態と一致して、複数のフレームを含み得る。本明細書で使用される「フレーム」とは、リアルタイムの映像の場面又は視野を表すピクセルの集合などの任意のデジタル表示を指すことができる。このような実施形態では、ピクセルは、色空間（例えば、ＲＧＢ、ＲＹＢ、ＣＭＹ、ＣＭＹＫ、又はＹＵＶカラーモデルに基づく）における値又は輝度によって特徴付けられる個別の要素を意味し得る。フレームは、任意の適切なフォーマット、例えば、ジョイント・フォトグラフィック・エクスパーツ・グループ（ＪＰＥＧ）フォーマット、グラフィックス・インターチェンジ・フォーマット（ＧＩＦ）、ビットマップフォーマット、スケーラブル・ベクター・グラフィックス（ＳＶＧ）フォーマット、エンキャプサレイティッド・ポストスクリプト（ＥＰＳ）フォーマット、又は任意の他のフォーマットで符号化することができる。「映像」という用語は、連続した複数のフレームから構成される場面又は関心領域のあらゆるデジタル表示を指すことができる。映像は、任意の適切なフォーマット、例えば、ムービング・ピクチャー・エクスパーツ・グループ（ＭＰＥＧ）フォーマット、フラッシュビデオフォーマット、オーディオ・ビデオ・インターリーブ（ＡＶＩ）フォーマット、又は任意の他のフォーマットに符号化することができる。しかしながら、映像は符号化される必要はなく、より概略的には複数のフレームを含むことができる。フレームはランダムな順番を含め、どのような順番であってもよい。いくつかの実施形態では、映像又は複数のフレームを、音声と関連付けても、又はそれと組み合わせてもよい。
【0054】
複数のフレームは、関心対象の表示を含み得る。本明細書で使用される「関心対象」は、検出又は特徴付けが所望され得る、複数のフレーム内のあらゆる視覚的項目又は視覚特徴を指すことができる。例えば、関心対象は、人物、場所、実体、特徴、領域、又は任意の他の識別可能な視覚的項目若しくは物であってよい。複数のフレームが医用画像デバイスから取り込まれた画像を含む実施形態では、例えば、関心対象は、ヒト組織上の又はヒト組織の形成、ヒト組織のある細胞型から別の細胞型への変化、ヒト組織が予想される位置からのヒト組織の欠損、又は病変のうちの少なくとも１つを含み得る。画像デバイスによって取り込まれた映像内の関心対象の例としては、ポリープ（胃腸粘膜から膨隆する増殖）、腫瘍（身体の一部の腫脹）、挫傷（健康な細胞から変色細胞への変化）、陥凹（ヒト組織の欠損）、又は潰瘍若しくは膿瘍（損傷を受けた組織、すなわち病変）を挙げることができる。関心対象の他の例は、本開示から明らかとなるであろう。
【0055】
図３を再度参照すると、工程３２０において、少なくとも１つのプロセッサは、患者に実施する医療処置中に画像デバイスから受信された映像（本明細書では、「リアルタイムの映像」とも言及される）から、フレームを特定することができる。医療処置中、操作者は、分析用の患者の臓器の領域を検査するために画像デバイスと相互作用することができる。操作者の画像デバイスとの相互作用の種類は、画像デバイスからの映像の複数のフレームを分析し、例えば、画像分類アルゴリズム又はニューラルネットワークを使用して、フレームを複数の動作のうちの１つ以上に分類することによって決定することができる。例として、医療処置中、操作者は、ある領域に水を噴霧したり、画像デバイスのカメラを腸若しくは他の臓器の周囲にナビゲートして１つ以上の領域を視診したり、ある領域にズームしたり、病変若しくは他の形成物若しくは対象物を視診したり、病変若しくは他の形成物若しくは対象物を除去したり、生検を行ったり、画像デバイスを挿入したり、画像デバイスを抜去したり、又は患者の分析若しくは治療を補助し得る他の動作を実行したりすることができる。各フレーム又はフレーム群は、操作者が実行した動作に基づいて分類することができる。非限定的な例として、フレーム内で水の流れ若しくは噴出が検出された場合に、フレーム若しくはフレーム群を「噴霧する」として分類することができ、フレーム内で手術器具が検出された場合に、フレームを「除去」として分類することができ、フレーム内で対象物の領域が大きいと判断され、それによって操作者が対象物を分析するためにズームしたことを示す場合に、フレームを「視診」として分類することができ、及び／又は、フレーム内の視野が患者の身体器官の軸に実質的に沿っていると判断され、それによって操作者が臓器に向かって（若しくはそれとは逆に）移動していることを示す場合に、フレームを「探索」として分類することができる。フレームの動作の１つ以上への分類は、操作者が分析用の患者の領域を検査するために画像デバイスと相互作用することを示し得る。例えば、「視診」又は「探索」として分類されたフレームは、関心対象を特定するために操作者が患者の臓器又は他の身体の部分をナビゲートしていることを、それらの動作によって示すことができるため、操作者が分析用の患者の領域を検査するために画像デバイスと相互作用しているフレームとして特定することができる。逆に言えば、「噴霧する」又は「除去」として分類されたフレームは、操作者が他の動作を実行し、関心対象を特定するために患者の臓器又は他の身体の部分をナビゲートしていないことを、それらの動作によって示すことができるため、操作者が分析用の患者の領域を検査するために画像デバイスと相互作用していないフレームとして特定することができる。分類は、数字によるカテゴリー（例えば、「１」は探索、「２」は視診、「０」は分類なしなど）、英数字によるカテゴリー（例えば、「探索」、「除去」、「Ｎ／Ａ」など）、又は任意の他の形式などの、あらゆる形式で表示され、決定することができる。１つ以上のフレームをカテゴリー化するか、及び／又は、操作者が分析用の患者の領域を検査するために画像デバイスと相互作用していると判断するために、任意の好適な分類又はコンテキストを使用してもよく、上記に記載される例は単なる例示であり、本開示と一致する実施形態を限定するものではないことを理解されたい。
【0056】
いくつかの実施形態では、ニューラルネットワークは、複数のフレームの中から、操作者が分析用の患者の臓器の領域を検査するために画像デバイスと相互作用している間のフレームを特定するために、コンテキスト評価を実行するように構成されてもよい。例えば、複数のフレームを、１つ以上のニューラルネットワーク（例えば、ディープニューラルネットワーク、畳み込みニューラルネットワーク、再帰型ニューラルネットワークなど）、ランダムフォレスト、サポートベクターマシン、又は複数のフレームを分類するように訓練された上記に記載されるような任意の他の好適なモデルに供給してもよい。１つ以上の動作の分類に基づいてラベリングされた複数の訓練フレーム又はその一部を使用して、ニューラルネットワークを訓練することができる。例えば、操作者がある動作（例えば、ある領域に水を噴霧する）を実行している第１の訓練フレームのセット（又はフレームの一部）を、その動作（例えば、「噴霧する」）としてラベリングすることができ、操作者がその動作を実行していない（例えば、「噴霧せず」）か、又は完全に別の動作を実行している（例えば、「探索する」）第２の訓練フレームのセット（又はフレームの一部）を、それに応じてラベリングすることができる。他のラベリング規約は、二項分類（例えば「視診する」に対して「視診せず」）及び多重分類（例えば「視診する」対「除去する」対「噴霧する」）の両方で使用することができる。ニューラルネットワークの重み又は他のパラメータを、収束又は他の距離が得られるまで第３のラベリングされていない訓練フレームのセット（又はフレームの一部）に関する出力に基づいて調整してもよく、本明細書に記載されるように、追加の訓練フレーム（若しくはその一部）又は生データを用いてプロセスを反復してもよい。
【0057】
機械学習アルゴリズム、モデル、又は重みは、コンピューティングデバイス及び／若しくはシステム内に保存されていてもよく、又は処理の前にネットワーク若しくはデータベースから呼び出してもよい。いくつかの実施形態では、機械学習ネットワーク又はアルゴリズムは、その出力の１つ以上、例えば、正解又は不正解の分類出力に基づいて再訓練してもよい。システム若しくはコンピューティングデバイスによって再訓練用のフィードバックを自動的に生成してもよく、又は操作者若しくは他のユーザーによって（例えば、マウス若しくはキーボード若しくは他の入力デバイスを介して）手動で入力してもよい。フィードバックに基づいて機械学習ネットワーク又はアルゴリズムの重み又は他のパラメータを調整してもよい。加えて、複数のフレームを分類するために、従来の非機械学習分類アルゴリズムを、単独で、又は機械学習分類ネットワーク若しくはアルゴリズムと組み合わせて使用してもよい。
【0058】
いくつかの実施形態では、特定された操作者の動作を規定する情報、及び／又は操作者が患者の領域を検査するために画像デバイスと相互作用するかどうかの決定を、任意の好適なグラフィック表示でディスプレイに表示することができる。このような情報は、特定された操作者の動作がいつ発生したのかを示すことができ、例えばディスプレイデバイス上にリアルタイムで表示することができる。また、情報を経時的に（例えば、医療処置の過程の間に）収集して更新し、各動作に対する累積量をディスプレイデバイス上に表示することもできる。例えば、操作者がある領域から別の領域に移動したフレームとして複数のフレームの３５パーセントが特定された場合は「探索３５％」、操作者がポリープ又は他の関心対象を除去したフレームとして複数のフレームの２０パーセントが特定された場合は「除去２０％」などのように、この決定に対応する（例えば、医療処置を開始してからの）フレームの百分率を示すラベル及び／又は数字と共に、円グラフを表示してもよい。他の種類のグラフィカルな提示及び表示、例えば、他の種類のチャート（例えば、棒グラフ）、英数字（例えば、ラベル及び／若しくは百分率のみ）、符号（例えば、噴霧を示す水滴のアイコン）、映像若しくはアニメーション画像（例えば、除去の映像）、並びに／又は任意の他の視覚的表示を使用してもよい。
【0059】
図３の工程３３０において、少なくとも１つのプロセッサは、特定されたフレームから、画像デバイスと相互作用する操作者によって検査された第１の領域のデータ表示を生成することができる。領域のデータ表示は、二次元情報（例えば、ｘ座標及びｙ座標で定義される座標系上の平面情報）として、三次元情報（例えば、ｘ座標、ｙ座標、及びｚ座標で定義される座標系上の点群情報）として、又は両方の組み合わせとして表現することができる。例えば、データ表示は、奥行き、姿勢、及びエッジなどのフレームの視野内及びその周辺の空間特性を計算することによって生成してもよいが、任意の他の視覚属性を使用してデータ表示を生成してもよい。
【0060】
例えば、奥行きは、２つのフレームの対応する映像点間の差異を計算することによって求めることができる。例えば、２つ以上のカメラを含む実施形態では、奥行きは、以下の式：
に従って算出することができ、式中、ｚは奥行きであり、ｆは焦点距離（すなわち、画像デバイスのレンズとそのキャプチャセンサとの間の距離）であり、ｂはベースライン距離（すなわち、第１のフレームのキャプチャ点と第２のフレームのキャプチャ点との間の距離）であり、ｘ１は第１のフレームの対応点であり、ｘ２は第２のフレームの対応点である。別の例として、単一のカメラ又は単眼カメラを含む実施形態では、１つ以上のニューラルネットワークを訓練して、単眼奥行き推定を実行してもよい。例えば、深層学習手法を使用して１つ以上のニューラルネットワークを訓練してもよく、それによって、計算された奥行き情報を有する画像フレームのセットを含むデータベース又はストレージデバイスを使用して、１つ以上のニューラルネットワークを訓練する。それらの出力に基づいてニューラルネットワークを再訓練してもよい。１つ以上のニューラルネットワークは、他の画像処理アルゴリズム、例えば、エッジ検出、ノイズ除去、モルフォロジー演算、平滑化アルゴリズム、及び任意の他の視覚ベースの処理と組み合わせることができる。１つ以上のニューラルネットワークを使用する奥行き推定を、連続して取り込まれた２つの隣接するフレーム、互いに連続することなく取り込まれた２つのフレーム（例えば、１つ以上のフレームがスキップされている可能性のある）、ある規則に従って選択された２つのフレーム（例えば、フレーム群の中から最高画質を有する２つのフレーム）に対して、ランダムに、又はこれらの組み合わせに対して実行することができる。しかしながら、本開示を精査することによって当業者に理解されるように、奥行きを計算又は推定する他のアルゴリズム及び方法を使用してもよい。
【数1】
【0061】
また、座標系に対する画像デバイスの位置及び／又は回転を求めるのに適切な任意のアルゴリズムを使用して、姿勢を計算することができる。いくつかの実施形態では、２つ以上の画像フレームからカメラの相対変位を推定するように訓練された１つ以上のニューラルネットワークを使用して姿勢を推定してもよく、これをカメラ姿勢の代わりとして使用してもよい。いくつかの実施形態では、このようなニューラルネットワークは、カメラの相対変位を求めるために、各フレームの奥行き情報を利用することができる。更に、複数のフレームにわたって求められた変位に均一なスケーリングを確保するために、損失関数又は別の最適化手法を使用してもよい。ニューラルネットワークを連続する画像フレームに適用してもよく（ただし、いくつかの実施形態では、一部のフレームをスキップしてもよい）、処置全体又は処置の一部の間にその結果を保存して、処置の任意の時点におけるカメラ姿勢を追跡することができるようにしてもよい。例えば、初期時間（例えば、０時間）に対する所与の時間におけるカメラの姿勢は、各フレームのペアで計算された相対変位を連結することによって得ることができる。連結は、例えば、最適化アルゴリズム、平滑化操作、又は任意の他の好適な精緻化プロセスを使用して、更に精緻化することができる。しかしながら、本開示を精査する当業者に理解されるように、姿勢を計算又は推定する他の方法を使用してもよい。
【0062】
フレームの面のエッジも特定することができる。エッジは、任意の好適なエッジ検出アルゴリズム（例えば、Ｃａｎｎｙ法、Ｓｏｂｅｌ法、差分法、畳み込み法、又は任意の他の方法）を使用して求めることができる。例えば、内視鏡検査中にフレームが取り込まれる実施形態では、患者の結腸におけるひだのエッジを検出し、フレームに示された面をセグメント化するようにしてもよい。続いて、この検出されたエッジ及び／又はエッジによって規定された領域を使用して、医療処置中に操作者によって検査された領域のデータ表示を生成することができる。更に、このエッジ及び／又はエッジによって規定された領域は、操作者へのフィードバックを表示する際に使用することができる。例えば、操作者のナビゲーションのグラフィック表示は、本明細書で更に記載されるように、エッジ及び／若しくは領域情報を使用して分割するか、又は別の方法でセグメント化してもよい。したがって、操作者によって検査された領域のデータ表示を生成するために用いられる視覚属性は、操作者へのフィードバックなどの他の目的のために使用してもよいことを理解されたい。更に、上記に列挙した視覚属性の種類は、単に例示目的のために提供され、網羅的であることを意図するものではない。
【0063】
上記の説明と一致して、奥行き、姿勢、及びエッジなどの空間特性を、１つ以上の機械学習ネットワークを使用して求めてもよい。例えば、回帰損失を最小化することによって、教師あり学習を介した視覚特徴による単一のフレームから奥行き、姿勢、及び／又はエッジを直接回帰するように１つ以上のニューラルネットワークを訓練してもよい。別の例として、教師あり（例えば、手動検証による）又は教師なし（例えば、空間トランスフォーマネットワークによる）のいずれかの方法で、２つ以上のフレームから差異／奥行き及び／又は姿勢を予測するように１つ以上のニューラルネットワークを訓練してもよい。機械学習ネットワークは、１つ以上の出力、例えば、正解又は不正解の奥行き、姿勢、又はエッジ計算に基づいて再訓練してもよい。システム若しくはコンピューティングデバイスによって再訓練用のフィードバックを自動的に生成してもよく、又は操作者若しくは他のユーザーによって（例えば、マウス若しくはキーボード若しくは他の入力デバイスを介して）手動で入力してもよい。機械学習ネットワークの重み又は他のパラメータは、フィードバックに基づいて調整してもよい。加えて、フレームの奥行き、姿勢、及び／又はエッジなどの空間特性を求めるために、従来の非機械学習アルゴリズムを、単独で、又は機械学習ネットワーク若しくはアルゴリズムと組み合わせて使用してもよい。
【0064】
更に、計算された空間特性は、計算後に更に精緻化してもよい。例えば、視覚オドメトリアルゴリズムを適用して、計算後の姿勢推定を精緻化してもよい。視覚オドメトリアルゴリズムは、複数のフレームにわたる経時的な画像デバイスの位置の変化を推定するために使用することができる。視覚オドメトリアルゴリズムは、前処理工程（例えば、歪み除去など）を含み得るが、いくつかの実施形態では、前処理が必要でなくてもよい。２つ以上のフレーム内の対応する視覚特徴間の相関を計算してもよい。続いて、この相関に基づいて（例えば、Ｌｕｃａｓ－Ｋａｎａｄｅ法、Ｈｏｒｎ－Ｓｃｈｕｎｃｋ法、Ｂｕｘｔｏｎ－Ｂｕｘｔｏｎ法、Ｂｌａｃｋ－Ｊｅｐｓｏｎ法、又は任意の他の方法を使用して）、モーションフロー又はパターンを推定してもよい。計算された特定の空間特性又は任意の他の情報に応じて、他の精緻化を適用してもよい。
【0065】
図３の例示的な方法を再度参照すると、工程３４０において、少なくとも１つのプロセッサは、特定されたフレームから、画像デバイスと相互作用する操作者によって検査された１つ以上の更なる領域のデータ表示を生成することができる。操作者によって検査された１つ以上の更なる領域のデータ表示は、上記で述べたように（例えば、奥行き、姿勢、及びエッジなどのフレームの視野内及びその周辺の空間特性を計算することによるが、他の視覚属性を使用してデータ表示を生成してもよい）、操作者によって検査された第１の領域と同一又は類似した方法で生成することができる。操作者によって検査された第１の領域と１つ以上の更なる領域とは、隣接している必要もなく、又は連続して検査される必要もないが、むしろ患者の身体の異なる領域を表示してもよく、医療処置中の異なる時間に検査されてもよい。
【0066】
工程３５０において、少なくとも１つのプロセッサは、第１の領域のデータ表示を、１つ以上の更なる領域のデータ表示と集約することができる。複数のデータ表示は、操作者によって検査された領域で互いに隣接する表示を結合することによって集約することができる。例えば、隣接する２つのデータ表示は、二次元データ、三次元データ、又はその両方を使用して、単一のデータ表示に集約することができる。検査された領域の三次元データを使用してデータ表示を集約するための例示的な方法を、図４を参照しながら下記に記載する。集約は、ｘ、ｙ、及びｚ座標系などのデータ表示を定義するために使用される座標系を使用して実行することができる。例えば、同一のｘ、ｙ、及びｚ座標を有する１つ以上の重複点を含む２つのデータ表示は、それらの重複点を基準として使用して集約することができる。いくつかの実施形態では、データ表示に欠落したか又は破損したデータが含まれ、それによってデータ表示に「穴」が生じている場合に、補間又は穴埋めアルゴリズムを実行し、そのような穴を除去することによって単一のシームレスなデータ表示を作成するようにしてもよい。更に、いくつかの実施形態では、距離閾値又は他の基準を適用して、集約を保証するために２つ以上のデータ表示が座標空間で互いに充分に近いかどうかを決定してもよい。データ表示は、単一のデータ表示に集約される必要はなく、むしろ複数の個々のデータ表示として計算され、保存されてもよいことが理解されよう。
【0067】
図３の工程３６０において、少なくとも１つのプロセッサは、集約されたデータ表示を使用して、操作者によって検査された領域の検査品質レベルを決定することができる。本明細書で使用される「検査品質レベル」は、画像デバイスによって取り込まれた領域の操作者による検査の品質を指すことができる。検査品質レベルは、集約されたデータ表示を使用して、例えば、操作者によって検査された領域とモデル面の領域との比率を計算することによって決定することができる。検査品質レベルは、画像デバイス、取り込まれたリアルタイムの映像若しくはフレームに関連する情報、又は画像デバイスの軌道、画像デバイスの速度などの他の情報と同様に、コンピューティングデバイスで利用可能な、若しくはコンピューティングデバイスによって生成された他の情報を使用して決定することもできる。なお更なる実施形態では、検査品質は、以下の要因又は情報の１つ以上に基づいて決定される：（ｉ）ある検査又は医療処置のタイミング又はそれに関連するもの、例えば、閾値時間以上（例えば６分）の人体臓器の位置又は領域（例えば盲腸の底部）からの抜去；（ｉｉ）例えば、結腸又は他の臓器の面の１つ以上の閾値、軌道、瞬間速度、速度統計値、及び集約されたデータ表示を露光された部分（例えば、腸粘膜）並びに角度及び／又は距離に関する情報と比較した、結腸内視鏡抜去時間（ＣＷＴ）統計量を用いたコンテキストアナライザ（例えば、その開示が本明細書に明示的に援用される「コンテキスト画像分析のためのシステム及び方法」と題された国際公開第２０２１／１５６１５９ Ａ１号パンフレットを参照されたい）によって算出される、内視鏡医又は操作者によって実行される動作に関連するＣＷＴ統計値。上記の要因又は情報は排他的なものではなく補完的なものであり、組み合わせて精査して検査品質レベルを決定してもよい。
【0068】
いくつかの実施形態では、検査品質レベルは、露光レベルから決定される、医療処置中の検査の品質レベルであってよい。例えば、面露光のレベル（すなわち、「露光レベル」）を決定するために、操作者によって検査された領域とモデル面の領域との比率を計算することができる。本明細書で使用される「モデル面」は、操作者によって検査される物又は対象物の表示、例えば、二次元又は三次元モデルを指すことができる。例えば、操作者が内視鏡による検査を実施する実施形態では、モデル面が患者の結腸のモデルであってもよい。この例に従うと、モデル面は、結腸の形状に配置された直径の異なる一連の円筒を含むことができる。このモデル面を使用して、操作者によって検査された領域とモデル面の領域との比率を計算し、露光レベルを示すことができる。例えば、１つ以上のフレームに取り込まれた面の二次元データ表示の領域を、モデル面の対応する二次元領域面の領域と比較してもよい。別の例として、１つ以上のフレームに取り込まれた面の三次元データ表示の面を、モデル面の対応する三次元面の面と比較してもよい。面露光のレベルを決定するために、このように比較に基づいて比率を計算してもよく、この比率は、任意の所望の形式（例えば、２５％の検査された面、４５％の検査された面など）で表現することができる。
【0069】
例として、少なくとも１つのプロセッサによって露光レベルを決定するために円筒投影を実行してもよく、この投影では、取り込まれた面の推定される三次元データ表示と結腸の三次元モデルとが二次元で投影される。結腸の三次元モデルは、１つ以上の方法、例えば、（ｉ）単眼映像に基づいて自己教師あり奥行き推定アルゴリズムを適用し、フレーム間の一貫性を強化することによって、（ｉｉ）結腸の三次元センサ（例えば、アクティブステレオ若しくはステレオカメラ）を用いて、又はエクスビボ測定により三次元データを収集することによって、及び（ｉｉｉ）結腸の形状、結腸の変形、結腸のテクスチャなどを含む三次元合成データセットを作成することによって生成することができ、合成結腸モデルは、例えば、グラフィックデザイナーによるスケッチとして、又は大規模なデータセットを提供するパラメータフィッティング及び／若しくは推定によるパラメトリックな方法で作成される。投影軸は、三次元結腸モデルと三次元再構成モデルから推定することができる。三次元再構成モデルは、反復最接近点（ＩＣＰ）アルゴリズムなどの従来のアルゴリズムを使用して、三次元結腸モデルに位置合わせすることができる。いくつかの実施形態では、二次元への投影は、患者の結腸の形状又はその推定に基づいて、順次行っても同時に行ってもよい。三次元結腸モデルと三次元再構成モデルの投影が利用可能になると、２つの投影領域を比較することができる。いくつかの実施形態では、円筒投影手法は、結腸モデルを必要としなくてもよい。このような場合、三次元再構成モデルに円筒投影を適用することができ、露光領域を円筒全体に対して比較することができる。
【0070】
いくつかの実施形態では、グラウンドトゥルースの三次元結腸再構成モデルを使用して、三次元表示から面検査の量を推定してもよい。このモデルは、医療処置中の検査品質レベルの分析で使用する前に、訓練、テスト、及び検証することができる。いくつかの実施形態では、グラウンドトゥルースの三次元結腸再構成モデルは、単眼視システムからの最新の奥行きに基づいて生成することができる。この技術を使用して生成された三次元モデルの精度は高くなり得るが、この技術は資源集約的となり得る。或いは、いくつかの実施形態では、奥行きセンサを使用し、奥行きデータからの再構成と標準的なカラーフレームデータからの再構成とを比較することによって、グラウンドトゥルースの三次元結腸再構成モデルを生成することができる。なお他の実施形態では、合成モデルに基づいてグラウンドトゥルースの三次元結腸再構成モデルを生成し、グラフィックレンダリングツールを使用して映像シーケンスを生成してもよい。映像シーケンスが生成されたら、この映像シーケンスに三次元再構成アルゴリズムを実行してもよく、この結果を作成された合成モデルと比較してもよい。
【0071】
いくつかの実施形態では、少なくとも１つの三次元結腸モデルを使用して、生成された三次元表示から露光面の量を推定してもよい。いくつかの実施形態では、１つ以上の三次元結腸モデルが提供されてもよく、これらのモデルの中から特定のモデルを選択し、三次元表示の完全性に基づいて三次元表示と比較してもよい。例として、マージされていない短期表示を含む単一の長期三次元表示が利用可能である場合、これを標準的な結腸モデルのデータベース内の結腸モデルと比較してもよい。長期表示が結腸の１つ以上の部分を部分的に占めている場合、長期表示を結腸の１つ以上の部分、例えば、セグメント、盲腸、又は上行結腸のデータベースと比較して、患者の結腸面の露光量を推定してもよい。いくつかの実施形態では、システムは、複数の短期表示、又は長期表示といくつかのマージされていない短期表示との組み合わせを生成することができる。このような場合、円筒投影手法を用いて、利用可能な部分的な短期及び長期表示に適切に適合することを判断してもよい。
【0072】
他の実施形態では、露光は、三次元再構成モデルを三次元結腸モデル面に直接投影することによって測定してもよい。このような場合、三次元再構成モデルのそれぞれの三次元頂点又は三次元面を、三次元結腸モデルに投影することができる。露光レベルは、投影点又は頂点と一致する三次元結腸モデルの領域と三次元モデル面の総領域との比率から決定することができる。
【0073】
患者に応じて、患者の腸の物理的寸法及び特徴の点から、差異が存在する可能性がある。しかしながら、腸は、患者間で共通した解剖学的構造及び一連の目印（弯曲部、弁、開口部など）を有する。これらの共通の特徴及び目印を使用して、腸の標準的なモデルを構築することができる。このようなモデルにより、患者の結腸内の粘膜領域を特定するのに充分なレベルの精度を提供することができる。更に、様々な患者のデータで訓練することによる本開示のシステム及び方法によって、あらゆる差異に対処することができる。或いは、又は加えて、最適な操作の一部として複数の結腸モデルの中から１つを選択するために、患者の結腸に関連する情報（例えば、形状、大きさ、及び他の特徴）を使用してもよく、又は基準となる結腸モデルに調整を加えるために、この情報を使用してもよい。
【0074】
本開示の実施形態はまた、異なる内視鏡カメラの間の差異に対処するように構成されてもよい。このことは、収集された画像データ及び決定された露光レベルに及ぼすあらゆる影響を最小限に抑えるために行うことができる。例えば、１つ以上のカメラ校正方法を適用することができる。いくつかの実施形態では、固有のカメラ校正を適用することで単眼奥行き推定手法が改善されるが、この校正は、例えば、設置時点及び／又は毎回の医療処置の前に、各画像デバイスにつき少なくとも１回実行することができる。より高度なアルゴリズムでは、未校正のカメラに対応することが可能であり、畳み込みニューラルネットワークの出力でカメラのパラメータの推定値を提供することができる。例えば、＜＜ｈｔｔｐｓ：／／ｏｐｅｎａｃｃｅｓｓ．ｔｈｅｃｖｆ．ｃｏｍ／ｃｏｎｔｅｎｔ＿ＩＣＣＶ＿２０１９／ｐａｐｅｒｓ／Ｇｏｒｄｏｎ＿Ｄｅｐｔｈ＿Ｆｒｏｍ＿Ｖｉｄｅｏｓ＿ｉｎ＿ｔｈｅ＿Ｗｉｌｄ＿Ｕｎｓｕｐｅｒｖｉｓｅｄ＿Ｍｏｎｏｃｕｌａｒ＿Ｄｅｐｔｈ＿Ｌｅａｒｎｉｎｇ＿ＩＣＶ＿２０１９＿ｐａｐｅｒ．ｐｄｆ＞＞を参照されたい。
【0075】
いくつかの実施形態では、検査品質レベルは、画像デバイスの軌道から決定される、医療処置中の検査の品質レベルであってよい。画像デバイスの軌道は、任意の好適な軌道推定アルゴリズムを使用して決定することができる。例えば、２つ以上のフレーム内の対応点を特定することができる。続いて、特定した対応点を、予め定義された座標系（例えば、ｘ座標、ｙ座標、及びｚ座標を有する座標系）の座標に変換することができる。次いで、２つ以上のフレームの回転及び並進をそれぞれ表す回転行列及び並進ベクトルを、並進座標を用いて計算することができる。続いて、フィッティングアルゴリズム、例えば、ランダムサンプルコンセンサス（ＲＡＮＳＡＣ）、最尤推定器サンプルコンセンサス（ＭＬＥＳＡＣ）、ＰＥＡＲＬ、Ｈｏｕｇｈ、最小二乗フィッティング、又は任意の他のフィッティングアルゴリズムを適用して、外れ点を無視することにより最良の回転行列及び並進ベクトルを見出すことができる。算出された回転行列及び並進ベクトルは、続いて、始点（例えば、第１のフレーム）に対する画像デバイスの軌道を計算するために、座標系に変換することができる。上記のプロセスを他の複数のリアルタイムの映像のフレームに対して繰り返し、リアルタイムの映像の一部の期間の画像デバイスの軌道を生成するようにしてもよい。しかしながら、他の軌道推定アルゴリズムを利用してもよいことが理解されよう。
【0076】
いくつかの実施形態では、検査品質レベルは、画像デバイスの速度から決定される、医療処置中の検査の品質レベルであってよい。画像デバイスの速度は、任意の好適な速度推定アルゴリズムを使用して決定することができる。例えば、上記に記載されるように画像デバイスの軌道を計算した後に、２つ以上の連続するフレーム（ただし、一部のフレームをスキップしてもよい）間の相対速度を計算してもよい。２つ以上のフレーム間の軌道の間に画像デバイスが移動した距離に基づいて速度を計算してもよい。更なる例として、加速度計又は追跡デバイスを使用して、医療処置中に操作者が画像デバイスと相互作用するときの画像デバイスの速度を決定してもよい。しかしながら、速度を推定するための他の工程又はアルゴリズムを利用してもよいことが理解されよう。
【0077】
いくつかの実施形態では、検査品質レベルは、特徴の組み合わせを使用して決定される、医療処置中の検査の品質レベルであってよい。コンピューティングデバイスは、例えば、画像デバイスの軌道、画像デバイスの速度、操作者によって検査された領域とモデル面の領域との比率、及び／又はコンピューティングデバイスに利用可能な、若しくはそれによって生成される任意の他の情報を使用して、検査品質レベルを決定してもよい。例えば、高い検査品質レベルは、良好な画像デバイスの軌道、適切な画像デバイスの速度、及び／又は高い露光レベル（例えば、モデル面に対する検査面の比率の高さ）の結果であり得る。逆に言えば、低い検査品質レベルは、不良な画像デバイスの軌道、不適切な画像デバイスの速度、及び／又は低い露光レベル（例えば、モデル面に対する検査面の比率の低さ）の結果であり得る。概して、軌道は、その平滑性、規則性、対称性、及び／又は軌道に関連する任意の他の属性の点から評価することができる。一例として、内視鏡の場合、良好な画像デバイスの軌道は、直線的な軌道とは反対に、らせん又はらせん状の軌道をたどらなければならない。軌道の他の特徴も確認することができる。例として、内視鏡カメラの軌道は、粘膜からの距離を最小化し、観察方向が粘膜面に対して直角となるように粘膜面に対する角度を最適化し、及び／又は、結腸のひだの背後の粘膜の観察を提供するものでなければならない。いくつかの実施形態では、検査品質レベルは、定性的な二進値であってもよい。定性的な二進値のいくつかの例としては、良好又は不良、低い又は高い、許容可能又は許容不能、及び不合格又は合格が挙げられる。いくつかの実施形態では、検査品質レベルは、連続的なスケール上のスコアなどの数値であってもよい（例えば、０～１、１～１０、又は１～１００などのスケール上のスコア）。
【0078】
いくつかの実施形態では、検査品質レベルは、露光された総領域の閾値に基づいて決定してもよい。一例として、検査品質レベルは、露光された臓器の総領域が５０％以上である場合に、高いか又は良好であると見なすことができる。しかしながら、露光された臓器の総領域が５０％以下である場合、検査品質レベルは低いか又は不良であると見なすことができる。他の閾値が使用されてもよく、検査品質レベルを表現する他の方法（例えば、合格又は不合格）が実行されてもよいことが理解されよう。
【0079】
いくつかの実施形態では、軌道は、連続するフレーム内のカメラ姿勢の推定値に基づいて決定される。本明細書で開示されるように、内視鏡カメラの場合、軌道は、結腸のひだの背後の領域の可視性を最大化し、観察方向及び粘膜面からの距離を最適化するものでなければならない。直線状の軌道よりも、らせん状の軌道（底部）が好ましい。いくつかの実施形態では、より正確な軌道の評価は、その軌道に沿って移動する間にカメラの集合視野を分析することによって達成される。
【0080】
いくつかの実施形態では、検査品質レベルは、単独で、又は他の要因若しくは情報と組み合わせて、画像デバイスの速度に基づいて決定してもよい。例えば、速度は、最低限の処置上のタイミングに関してガイドラインにより推奨される既定の速度制限内にある場合、並びに／又は、速度がスムーズ且つ一定である（例えば、速度に過度のピーク及び／若しくは落ち込みが存在しない）場合に、最適であると見なすことができる。加えて、又は或いは、画像デバイスの速度は、粘膜面を明瞭に観察することのできる場合に最適であると見なすことができる。いくつかの実施形態では、良好な画像デバイスの軌道と最適な画像デバイスの速度との組み合わせが望ましく、高い検査品質レベルの決定を生じさせることができる。更なる例として、画像デバイスが良好な軌道に沿って移動しているが、粘膜面が充分に又は明瞭に画像化されないような最適速度以上の速度で移動している場合、検査品質レベルを低いと決定することができる。いくつかの実施形態では、検査品質レベルは、単独で、又は他の要因若しくは情報と組み合わせて、面露光に基づいて決定してもよい。例えば、モデル面に対する検査された面の比率が所定の露光範囲内である場合に、露光が充分であると見なすことができ、この露光範囲は、局所的若しくは短期露光及び／又は全体的若しくは長期露光に基づき得る。本明細書で使用される「露光」とは、観察された結腸の面領域と結腸の総面領域との比率を指す。なお更なる実施形態では、軌道、速度、及び／又は露光などの１つ以上の分析された要因を使用して、検査品質レベルを決定してもよい。しかしながら、上記で説明されているように、他の分析された値又は計算を使用して検査品質レベルを決定してもよい。
【0081】
いくつかの実施形態では、少なくとも１つのプロセッサは、医療処置中にリアルタイムで検査品質レベルを決定し、患者に医療処置が実施されるときに、決定された検査品質レベルを更新するように更に構成されてもよい。例えば、所定の時間間隔を使用して、医療処置中に検査品質レベルを定期的に（例えば、毎ミリ秒、毎秒、毎分、時間毎など）、又は規定期間内であり得るランダムな間隔で更新してもよい。別の例として、検査品質レベルは、操作者によって検査された領域の量に基づいて更新されてもよく（例えば、検査品質レベルは、検査した数センチメートル若しくは数インチ毎に更新されてもよく）、画像デバイスが移動した距離に基づいて更新されてもよく（例えば、検査品質レベルは、移動した数センチメートル若しくは数インチ毎に更新されてもよく）、及び／又は他の好適な間隔若しくは基礎的な変数に基づいて更新されてもよい。更なる例として、操作者によって検査された領域のデータ表示を生成した後、データ表示を集約した後、又は少なくとも１つのプロセッサによって実行された任意の他の操作の後などに、検査品質レベルをコンピューティングデバイスの少なくとも１つのプロセッサによって実行される動作に基づいて更新してもよい。上記に提供される例は例示に過ぎず、網羅的であることを意図するものではない。
【0082】
図３の例示的な方法の工程３７０において、少なくとも１つのプロセッサは、操作者によって検査された領域の検査品質レベルを示すグラフィック表示を、医療処置中のディスプレイデバイス上に表示することができる。ディスプレイデバイス、例えば、図１と関連して上記に記載されるディスプレイデバイス１８０は、ＬＣＤディスプレイ、仮想現実ディスプレイ、拡張現実ディスプレイなどであってもよい。検査品質レベルは、あらゆる所望の形式、例えば、百分率値、分類ラベル、英数字、色、画像、映像、グラフ、又は任意の他の形式で表示することができる。例えば、検査品質レベルは、医療処置中に操作者によって検査された領域に対応する複数の領域として表示することができ、検査品質レベルに応じた異なる色として表示することができる（例えば、高い検査品質レベルの場合は緑色、及び低い検査品質レベルの場合は赤色）。更なる例として、医療処置中又は医療処置の一部の間に（例えば、面の最後のセクション、最後の数分、医療処置全体などの間に）、コンピューティングデバイスによって面の領域の２５パーセントのみが操作者によって検査されていると判断された場合に、「２５％露光」又は「低い露光」などの、検査品質レベルを示す百分率値又は露光分類を提示することができる。更なる例として、１つ以上のセクションを有する二次元又は三次元モデルを操作者に提示して、各セクションの検査品質レベルを示すことができる（例えば、高い検査品質レベルの場合は緑色のセクション、及び低い検査品質レベルの場合は赤色のセクション）。更なる別の例として、グラフィック表示は、操作者によって検査された領域とモデル面の領域及び／又は検査されていない領域との比率を示すことができ、この比率は、百分率、値、分類、又は任意の他の好適な形式として表現することができる。検査品質レベル又は値を表示するための更なる例示的なグラフィック表示を図１２Ａ及び図１２Ｂに示す。これらの例は、速度及び／又は軌道情報などの他の情報を含むように変更してもよい（例えば、図５Ａ及び５Ｂを参照されたい）。しかしながら、本開示から理解されるように、他のグラフィック表示を使用してもよい。
【0083】
いくつかの実施形態では、少なくとも１つのプロセッサは、決定された検査品質レベルが医療処置中に更新されたときに、グラフィック表示を変更するように更に構成されてもよい。非限定的な例として、少なくとも１つのプロセッサは、グラフィック表示の色、パターン、画像、映像、及び／又は英数字のうちの少なくとも１つを変更するように構成されてもよい。例えば、検査品質レベルが操作者によって検査された領域に対応する複数の領域として表示される実施形態では、検査品質レベルの変化に応じて領域の色を変化させてもよい（例えば、高いから低い検査品質レベルの変化を示すために緑色から赤色に変化させ、低いから高い検査品質レベルの変化を示すために赤色から緑色に変化させる）。更なる例として、検査品質レベルが百分率値又は露光分類として表示される実施形態では、検査品質レベルの変化に応じて百分率又は分類を変化させてもよい（例えば、２５パーセントから５０パーセントの検査品質レベルの向上を示すために、「２５％の検査品質レベル」から「５０％の検査品質レベル」に変化させ、低いから高い検査品質レベルの向上を示すために「低い検査品質レベル」から「高い検査品質レベル」に変化させる）。更に別の例として、検査品質レベルが１つ以上のセクションを有する二次元又は三次元モデルとして表示される実施形態では、検査品質レベルの変化に応じてモデルの視覚属性を変化させてもよい（例えば、高いから低い検査品質レベルに検査品質レベルが低下することを示すために、セクションを緑色から赤色に変化させてもよく、又は低いから高い検査品質レベルに検査品質レベルが向上したことを示すために、セクションを赤色から緑色に変化させてもよい）。しかしながら、本開示から理解されるように、露光の変化を示すために、グラフィック表示に他の変更を使用してもよい。
【0084】
図４は、本開示の実施形態と一致する、検査された領域の三次元表示を生成するための例示的な方法４００を示す。方法４００は、操作者が分析用の患者の臓器の領域を検査するために画像デバイスと相互作用している間のフレームとして特定されたフレームに対して実行することができる。例示的な方法４００は、１つ以上のプロセッサ、例えば、コンピューティングデバイス１６０の少なくとも１つのプロセッサ又はプロセッサ２３０に実装されてもよく、検査品質レベル又は値を決定するためのプロセスの一部として実行されてもよい（例えば、図３の例示的な方法を参照されたい）。方法４００は、非限定的な例であることが理解されよう。
【0085】
図４に示すように、工程４１０において、検査された第１の領域の第１の三次元表示を生成することができ、工程４２０において、検査された第２の領域の第２の三次元表示を生成することができるが、これらのどちらもが、ｘ座標、ｙ座標、及びｚ座標を有する座標系の点群の形態であってよい。更に、いくつかの実施形態では、生成された三次元表示（及び／又は二次元データ）を使用して、データ表示を生成することができる。上記で述べたように、データ表示の生成は、奥行き、姿勢、及びエッジなどのフレームの視野内及びその周辺の空間特性を計算することを含み得る。続いて、工程４３０において、座標系空間における第１の三次元表示と第２の三次元表示との近接度を決定することができる。近接度は、第１及び第２の三次元表示に沿った点の座標を比較し、その点のうちの２点間の最小距離を決定することによって計算することができる。第１の三次元表示と第２の三次元表示との間に重複が存在する場合、近接度はゼロであると決定することができる。重複が存在しない場合、閾値を適用して近接度が所定の閾値内に含まれるかどうかを判断することができるが、このことは、第１及び第２の三次元表示が座標系空間で互いに対して充分に近接していることを示している。近接度が閾値内に含まれる場合、工程４４０において、第１及び第２の三次元表示の少なくとも一部をマージして、単一の三次元表示を作成することができる。工程４５０において、操作者によって検査されなかった領域は、本明細書で更に記載されるように、マージされた部分を使用して、例えばこの部分と面モデルと比較することによって特定することができる。方法４００を完了した後に、本明細書で説明されるように、集約された三次元表示を使用して検査品質レベルを決定することができる。
【0086】
各三次元表示は、生成されたときのそれ自身の座標に基づき得る。いくつかの実施形態では、マージプロセスは、２つ以上の三次元表示をマージすることができる。例として、マージプロセスは、２つ以上の三次元表示を共通の参照フレームとするために、少なくとも１つのプロセッサによって実行されるマージアルゴリズムを含み得る。マージアルゴリズムは、各三次元表示に関連する事前情報を使用して、表示間の初期相対位置を推定することができる。例えば、マージアルゴリズムでは、三次元表示の最後のフレームと後続の表示の最初のフレームとの間の時間差を使用することができる。いくつかの実施形態では、マージプロセスは、反復最接近点（ＩＣＰ）及び測光アルゴリズムなどの幾何学的位置合わせアルゴリズムを実行することを更に含み得る。第１の三次元表示と第２の三次元表示との間に見出される任意の重複が存在する場合、位置合わせは成功したと言える。いずれの重複もない場合、位置合わせは成功したとは言えず、長期三次元表示が利用できないと見なされ得る。
【0087】
いくつかの実施形態では、方法は、操作者によって検査された臓器の部分の連続するフレームから構築された複数の三次元表示を集約することによって、検査された領域の短期表示を生成することを含み得る。複数の三次元表示の集約は、他の要因のうち、カメラの急激な移動、水に焦点を合わせたか又は粘膜に当たるカメラ、コンテキスト評価モデルからのトリガー、アルゴリズムの失敗を含むがこれらに限定されない要因によって中断され得る。複数の三次元表示からの第１の短期表示が中断された場合、本方法は、形成することができる複数の三次元表示から第２の短期表示を初期化することを含み得る。２つ以上の短期表示が形成された後、例えば、上記で述べたようなマージアルゴリズムを実行することによってマージプロセスを実行して少なくとも２つの短期表示をマージし、長期表示を形成することができる。いくつかの実施形態では、マージされていない短期表示が存在しないように、全ての短期表示をマージして、長期表示を形成してもよい。しかしながら、いくつかの実施形態では、マージプロセスにより、長期表示及びいくつかのマージされていない短期表示の形成が生じてもよい。患者の臓器、例えば患者の結腸の検査された面の三次元再構成モデルを形成するために、マージプロセスの出力を使用してもよい。
【0088】
更に、いくつかの実施形態では、検査品質レベルは、速度、デバイスの軌道、及び粘膜の露光の比率の推定値を含む要因の組み合わせに基づいて推定することができる。いくつかの実施形態では、粘膜の露光の比率は、例えば、短期表示と長期表示とに基づいた露光の加重平均からグローバルスコアとして推定することができる。いくつかの実施形態では、粘膜の露光の比率は、生成された長期三次元表示と患者の臓器の完全な三次元モデルとの比較に基づいて推定することができる。
【0089】
本明細書で開示されるように、操作者のナビゲーションの品質を示すか、及び／又は検査品質レベル若しくは値を反映若しくは決定するために、情報又は統計値を生成して提示することができる。例えば、速度及び／又は軌道情報が決定され、操作者のディスプレイデバイス（例えば、図１のディスプレイ１８０）に表示することができる。この情報は、別々に（例えば、個々のディスプレイ若しくは出力に）提示されてもよく、又は画像デバイスからのリアルタイムの映像でオーバーレイされた拡張情報として（例えば、ディスプレイ１８０に）提示されてもよい。いくつかの実施形態では、速度及び／又は軌道情報が、１つ以上のグラフィック表示の一部として提示されてもよい。グラフィック表示は組み合わされてもよく、及び／又は検査品質レベル若しくは値のグラフィック表示を含んでもよい。例として、図５Ａ及び図５Ｂは、（例えば、別々に、又は拡張情報として）生成され、操作者に表示することができる、速度及び軌道情報の例示的なグラフィック表示を示す。医療処置中の操作者のナビゲーションの品質に関するフィードバックを提供するために、図５Ａ及び図５Ｂの例示的な情報を医療処置中に決定し、表示することができる。更に、速度及び／又は軌道情報は、操作者の動作の結果として、医療処置中に（例えば、所定の時間間隔で）リアルタイムに更新して提示することができる。速度及び軌道情報を決定するための例示的な方法及びアルゴリズムは、上記に記載されている。また、更なる実施形態を下記に記載する（例えば、図６の例示的な方法を参照されたい）。
【0090】
図５Ａには、例えば、画像デバイスの速度のグラフィック表示５２０が図示されている。図５Ａでは、速度ダイアルとして示されているが、速度は、任意の他の好適な形式、例えば、測定された速度（例えば、「１ｍｍ／秒」）、速度分類（例えば、「速い」若しくは「遅い」）、画像（例えば、高速を示す停止サイン）、映像若しくは動画（例えば、高速若しくは低速を示す点滅光）、又は任意の他の好適な形式で表すことができる。更に、速度情報は、所定の時間間隔で、操作者の動作の結果として、又は任意の他の時間に、医療処置中にリアルタイムに更新して提示することができる。例えば、図５Ａの速度ダイアルは、画像デバイスの速度が増大又は低下するにつれて、それぞれ右又は左に移動することができる。図５Ｂでは、画像デバイスの軌道のグラフィック表示５４０が図示されている。図５Ｂでは、「良好」又は「不良」軌道の二項分類として示されているが、軌道は、任意の他の好適な形式、例えば、軌道線（例えば、患者の結腸の二次元若しくは三次元表示内の実線として）、スライドスケール若しくはダイアル（例えば、図５Ａの速度ダイアルと類似したスケール）、他の分類（例えば、「極めて良好」、「極めて不良」、若しくは「平均的」）、画像（例えば、不充分な軌道を示す停止サイン）、映像若しくは動画（例えば、良好若しくは不良な軌道を示す点滅光）、又は任意の他の好適な形式で表すことができる。更に、軌道表示は、所定の時間間隔で、又は操作者の動作の結果として、医療処置中にリアルタイムに更新することができる。例えば、操作者による軌道が医療処置中に許容できないレベルから許容できるレベルに変化した場合、図５Ｂにおける「良好」の文字を「不良」の文字に代えて強調表示することができる。
【0091】
図６は、本開示の実施形態と一致する、映像のフレームを処理するための例示的なシステムを示す。図６に示すように、システム６００は、画像デバイス６１０、コンテキスト評価器６２０、データ表示生成器６３０、検査品質評価器６４０、及びディスプレイデバイス６８０を含み得る。画像デバイス６１０は、図１に関連して上記に記載される画像デバイス１４０（例えば、内視鏡機器、Ｘ線機器、ＣＴ機器、ＭＲＩ機器、又は任意の他の医用画像デバイス）と同一又は類似したものであってよく、ディスプレイデバイス６８０は、同様に図１に関連して上記に記載されるディスプレイデバイス１８０（例えば、ＬＣＤ、ＬＥＤ、若しくはＯＬＥＤディスプレイ、拡張現実ディスプレイ、仮想現実ディスプレイ、又は任意の他の好適なディスプレイデバイス）と同一又は類似したものであってよい。画像デバイス６１０は、映像又はリアルタイムの映像を取り込むように構成されてもよく、いくつかの実施形態では、上記に記載されるように医療処置（例えば、内視鏡的処置）中に取り込むことができる。画像デバイス６１０は、取り込まれたリアルタイムの映像をコンテキスト評価器６２０に供給するように構成することができる。
【0092】
コンテキスト評価器６２０は、上記に記載されるように、１つ以上の機械学習ネットワーク若しくはアルゴリズム、従来のアルゴリズム、又はその両方の組み合わせを実装する、１つ以上のプロセッサを含み得る。コンテキスト評価器６２０は、取り込まれた映像の１つ以上のフレーム内の画像デバイス６１０との操作者の相互作用の種類を特定するように構成されてもよい。例えば、コンテキスト評価器６２０は、取り込まれた映像のフレーム又はフレーム群を、それらのフレーム内の操作者の動作、例えば、領域に水を噴霧すること、領域にズームインすること、病変を視診すること、病変を除去すること、生検を行うこと、画像デバイスの挿入を実行すること、画像デバイスの抜去を実行すること、又は上記の説明と一致する任意の他の動作に基づいて分類することができる。コンテキスト評価器６２０は、特定された相互作用に基づいて、操作者が分析用の患者の領域を検査するために画像デバイスと相互作用するかどうかを決定するように更に構成されてもよい。操作者が領域を露光しているフレームと特定されたフレームは、システム６００によって更に処理することができるが、そのように特定されなかったフレームは、システム６００によって廃棄又は無視することができる。例えば、「視診」又は「探索」として分類されたフレームは、操作者が分析用の患者の領域を検査するために画像デバイスと相互作用しているフレームとして特定することができるが、「噴霧する」又は「除去」として分類されたフレームは、そのように特定することができない。コンテキスト評価器６２０は、前者のフレームを、更なる処理のためにデータ表示生成器６３０に供給することができる。
【0093】
データ表示生成器６３０は、操作者が分析用の患者の領域を検査するために画像デバイスと相互作用しているフレームとしてコンテキスト評価器６２０によって特定されたフレームから、データ表示を生成するように構成された、１つ以上のプロセッサを含み得る。データ表示は、上記で述べたように、三次元データ、二次元データ、又はその両方に基づいて生成することができる。データ表示生成器６３０は、生成されたデータ表示の少なくとも一部を集約するように更に構成することができる。いくつかの実施形態では、上記に記載されるように、距離閾値又は他の基準を適用して、集約が保証されるかどうかを決定することができる。更に、いくつかの実施形態では、集約が保証されず、又は必要でない場合は、集約を実行しなくてもよい。続いて、データ表示生成器６３０は、集約された（又は集約されていない）データ表示を検査品質評価器６４０に供給することができる。
【0094】
検査品質評価器６４０は、操作者によって検査された領域の検査品質レベルを決定するように構成された、１つ以上のプロセッサを含み得る。この決定は、局所的若しくは短期で（例えば、１つ以上の特定のフレームにおいて検査された領域を分析することによって）、全体的若しくは長期で（例えば、医療処置全体若しくはその一部の間に検査された領域を分析することによって）、又はその両方で実行してもよい。上記に記載されるように、検査品質レベルは、ある領域の操作者の検査の品質に関連する情報、例えば、操作者によって検査された領域とモデル面の領域との比率から決定された露光レベル、画像デバイスの軌道、画像デバイスの速度、及び／又はシステム６００に利用可能な、若しくはそれによって生成される任意の他の情報に基づいて判断することができる。図６に示すように、例えば、検査品質評価器６４０は、画像デバイスの軌道を分析するための軌道評価器６５０、画像デバイスの速度を分析するための速度評価器６６０、及び操作者によって検査された領域をモデル面の領域と比較するための露光評価器６７０のような、操作者の検査品質の特定の特徴を分析するための１つ以上のコンピュータに実装された構成要素を含み得る。しかしながら、検査品質評価器６４０は、これらの構成要素のいずれか１つ以上を含むことができることを理解されたい。更に、検査品質評価器６４０は、特定の用途又は文脈に応じて、図６に示される構成要素以外の、操作者の検査品質の他の特定の特徴を分析するための他の構成要素を含み得る。
【0095】
図６には示されないが、システム６００は、検査品質評価器６４０によって計算された検査品質レベル若しくは値、軌道評価器６５０によって計算された軌道、速度評価器６６０によって計算された速度、露光評価器６７０によって計算された比率若しくは領域、及び／又は任意の他の所望の情報の１つ以上のグラフィック表示を含む拡張情報によって画像デバイス６１０からの映像を変更するように構成された１つ以上のプロセッサを含み得る、１つ以上のコンピューティングデバイス（コンピューティングデバイス１６０など）を含むことができる。拡張された映像は、医療処置中に（すなわち、医療処置とリアルタイムで）画像デバイス６１０の操作者及び他のユーザーが見られるように、ディスプレイデバイス６８０に供給することができる。
【0096】
いくつかの実施形態では、検査品質レベルは、１つ以上の短期検査品質レベルと、１つ以上の長期検査品質レベルとの組み合わせとして計算することができる。短期検査品質レベルは、操作者によって現在検査されている領域の検査品質レベルを表すことができる。長期検査品質レベルは、医療処置全体又はその一部の間に操作者によってこれまでに検査された領域の検査品質レベルを表すことができる。短期検査品質レベルは、検査品質レベルに関して上記に記載されるものと同一又は類似した方法で、例えば、画像デバイスの軌道、画像デバイスの速度、操作者によって検査された領域とモデル面の領域との比率、及び／又はコンピューティングデバイスに利用可能な、若しくはそれによって生成される任意の他の要因若しくは情報を計算することによって算出することができる。長期検査品質レベルは、２つ以上の短期検査品質レベルの組み合わせであってよく、この組み合わせは、２つ以上の短期検査品質レベルの合計、平均、平均値、中央値、最頻値、分布、又は任意の他の表示として計算することができる。
【0097】
図７は、本開示の実施形態と一致する、短期及び長期検査品質レベルを決定するための例示的な方法７００を示す。例示的な方法７００は、少なくとも１つのプロセッサ（例えば、図１のコンピューティングデバイス１６０の少なくとも１つのプロセッサ、又は図２のプロセッサ２３０）によって実装されてもよい。方法７００は、非限定的な例であることが理解されよう。図７に示すように、工程７０１において、新しいフレームを（例えば、図１の画像デバイス１４０によって）取り込むことができ、少なくとも１つのプロセッサによって受信することができる。工程７０３において、少なくとも１つのプロセッサは、フレーム内の操作者の画像デバイス（例えば、図１の画像デバイス１４０）との相互作用の種類を特定するために、コンテキスト評価を実行することができる。例えば、少なくとも１つのプロセッサは、取り込まれた映像のフレームを、操作者の動作、例えば、領域に水を噴霧すること、領域にズームインすること、病変を視診すること、病変を除去すること、生検を行うこと、画像デバイスの挿入を実行すること、画像デバイスの抜去を実行すること、又は上記の説明と一致する任意の他の動作に基づいて分類することができる。
【0098】
工程７０３において、少なくとも１つのプロセッサは、操作者がフレーム内の領域を検査するために画像デバイスと相互作用しているかどうかを判断することができ、この判断は、特定された動作に基づき得る。工程７０７において、少なくとも１つのプロセッサにより、操作者がフレーム内の領域を検査するために画像デバイスと相互作用していないと判断された場合、少なくとも１つのプロセッサの現在のフレーム及び／又はこれまでのフレームの分析に基づいて、統計値又は他のデータを生成することができる。例えば、工程７２５において、決定された統計値又はデータは、後に、グラフ、表、又は出力として提示されるか若しくは別の方法として提供される他のグラフィック表示として表示することができる。図７には示されないが、操作者がある領域から別の領域に移動したフレームとしてフレームの３５パーセントが特定された場合は「探索３５％」、操作者がポリープ又は他の関心対象を除去したフレームとしてフレームの２０パーセントが特定された場合は「除去２０％」などのように、この決定に対応するフレームの百分率を示すラベル及び／又は数字と共に、そのようなグラフ、表、又は他のグラフィック表示を操作者に表示してもよい。しかしながら、いくつかの実施形態では、統計値又はデータを出力しなくてもよい。いずれの場合も、フレームの処理は、工程７２５で終了することができる。しかしながら、少なくとも１つのプロセッサにより、操作者がフレーム内の領域を検査するために画像デバイスと相互作用していると判断された場合、工程７０９及び７１７でフレームの処理を継続してもよい。
【0099】
工程７０９において、少なくとも１つのプロセッサは、フレームの短期露光評価を実行することができる。短期露光評価は、フレーム内の面に対応する短期データ表示７１１を生成することを含んでもよく、上記で述べたように、三次元データ、二次元データ、又はその両方に基づき得る。短期露光評価はまた、フレーム内の面の操作者の検査の品質に対応する短期検査品質レベル７１３を決定することを含み得る。短期検査品質レベルは、短期データ表示を分析することによって、例えば、短期データ表示の領域とモデル面の領域の比率を計算することによって決定することができる。本開示から理解されるように、フレーム内の面の露光の短期レベルを決定する他の方法を使用してもよい。図７の例示的な方法に示すように、短期検査品質レベルは、短期軌道／速度７１５などの、フレームが取り込まれた時点の画像デバイスに関連する情報を計算することによって決定することができる。決定された短期検査品質レベル７１３及び短期軌道／速度７１５は、工程７２５で出力することができる。図７には示されないが、決定された短期検査品質レベル７１３及び短期軌道／速度７１５は、ディスプレイデバイスを使用して、又は任意の他の手段を通じて、操作者及び／又は他のユーザーに表示することができる。
【0100】
工程７１７において、少なくとも１つのプロセッサは、フレームの長期露光評価を実行することができる。長期露光評価は、他のこれまでに生成されたデータ表示と共に、短期データ表示７１１を長期データ表示７１９に集約することを含むことができ、上記で述べたように、三次元データ、二次元データ、又はその両方に基づき得る。長期露光評価はまた、医療処置全体又はその一部の間における面の操作者の検査の品質に対応する長期推定品質レベル７２１を決定することを含み得る。長期推定品質レベルは、長期データ表示を分析することによって、例えば、長期データ表示の領域とモデル面の領域の比率を計算することによって決定することができる。本開示から理解されるように、医療処置全体又はその一部の間に面の露光の長期レベルを決定する他の方法を使用してもよい。図７に更に示すように、長期検査品質レベルは、長期軌道／速度７２３などの、医療処置全体又はその一部の間の画像デバイスに関連する情報を計算することによって決定することができる。決定された長期検査品質レベル７２１及び長期軌道／速度７２３は、工程７２５で出力として提示されるか、又は別の方法で提供されてもよい。図７には示されないが、決定された長期検査品質レベル７２１及び長期軌道／速度７２３は、ディスプレイデバイスを使用して、又は任意の他の手段を通じて、操作者及び／又は他のユーザーに表示することができる。
【0101】
図８は、本開示の実施形態と一致する、短期及び長期データ表示を生成するための例示的な方法８００を示す。方法８００は、（例えば、図７の方法７００に関連して記載されているように）操作者が分析用の患者の臓器の領域を検査するために画像デバイスと相互作用しているフレームとして特定されたフレームに対して実行することができる。方法８００と同時に、又は方法８００の後に、本明細書に記載されるように、短期及び長期評価を実行して、短期及び長期検査品質レベルをそれぞれ決定することができる。例示的な方法８００は、１つ以上のプロセッサ（例えば、図１のコンピューティングデバイス１６０の少なくとも１つのプロセッサ、又は図２のプロセッサ２３０）によって実装されてもよい。図８は非限定的な例であり、例えば、本明細書で図示及び記載される工程を追加、削除、変更及び／又は並べ替えすることによって、方法８００に変更を加えてもよいことが理解されよう。
【0102】
図８に示すように、工程８１０において、少なくとも１つのプロセッサ（例えば、図１のコンピューティングデバイス１６０の少なくとも１つのプロセッサ、又は図２のプロセッサ２３０）によって、新しいフレームを受信することができる。工程８２０において、１つ以上のこれまでに取り込まれたフレームも、工程８３０で処理するために少なくとも１つのプロセッサによって任意選択により受信することもできる。これまでに取り込まれたフレームは、例えば、メモリ、データベース、又はバッファに保存され、読み出すことができる。しかしながら、いくつかの実施形態では、これまでに取り込まれたフレームを、新たに取り込まれたフレームと共に処理せずに、フレーム毎に処理を実行してもよい。工程８３０では、（例えば、二次元データ、三次元データ、又はその両方を使用した）短期データ表示は、新たに取り込まれたフレームに基づいて、任意選択により１つ以上のこれまでに取り込まれたフレームに基づいて生成することができる。上記で述べたように、データ表示は、奥行き、姿勢、及びエッジなどのフレームの視野内及びその周辺の空間特性を計算することによって生成することができる。例えば、短期データ表示は、連続する（又は非連続の）画像のセットとそれらの奥行き、連続する（又は非連続の）フレームの各ペア間の姿勢、及び短期データ表示に関連する領域の三次元点群又は面を含み得る。理解されるように、特定の用途及び文脈に応じて、追加の、より少ない、又は異なるデータを短期データ表示の一部とすることができる。
【0103】
工程８４０において、少なくとも１つのプロセッサは、長期データ表示に関連するデータを任意選択により読み出すことができる。長期データ表示に関連するデータは、メモリ、データベース、又は任意の他の情報源から読み出すことができる。しかしながら、取り込まれたフレームが、データ表示が生成された最初のフレームである場合のようないくつかの実施形態では、これまでに保存された長期データ表示に属するデータを読み出さなくてもよい。更に、いくつかの実施形態では、複数のデータ表示を長期データ表示に集約する必要はなく、むしろ単数のデータ表示として生成して保存してもよい。工程８５０において、生成された短期データ表示と読み出された長期データ表示とを集約して、新たな連続的な長期データ表示を形成することができる。上記で述べたように、この形成には、２つのデータ表示で重複する領域を検出すること、及び／又は、集約が保証されるかどうかを判断するために距離閾値若しくは他の基準を適用することを含み得る。更に、工程８４０と８５０の間の両矢印によって示されるように、方法８００の後続の繰り返しで使用するために、新たに生成された長期データ表示を（例えば、メモリ又はデータベースに）保存して、古い読み出された長期データ表示を置き換えることができる。例えば、上記の説明と一致して、長期データ表示は、画像の疎なセット及びそれらの奥行き、フレームのペア間の姿勢、並びに長期データ表示に関連する領域の三次元点群又は面を含むことができる。理解されるように、特定の用途及び文脈に応じて、追加の、より少ない、又は異なるデータを長期データ表示の一部とすることができる。
【0104】
工程８６０において、集約されたデータ表示に対して任意の後処理工程を実行することができる。例えば、集約されたデータ表示内のあらゆる欠落又は破損した情報に対処するために、補間又は穴埋めアルゴリズムを適用することができる。他の好適な後処理工程、例えば、歪み除去、ノイズ除去、形状の精緻化、及び／又は他の精緻化工程を、単独で又は組み合わせて適用することができる。更に、このような工程は、集約の後に発生するものとして図８に示されているが、精緻化工程はまた、集約の前後両方で実行してもよく、集約の前だけに実行してもよく、又は精緻化工程を全体的に実行しなくてもよい。加えて、後処理工程は、新たに生成された長期データ表示を保存する前に実行することができる。工程８７０において、少なくとも１つのプロセッサは、集約されたデータ表示（又は集約されていない単数のデータ表示）などの情報を出力することができる。本明細書で開示されるように、集約されたデータ表示は、検査品質レベル又は値を決定するための他のプロセスによって使用されてもよい。
【0105】
図９は、本開示の実施形態と一致する、長期検査品質レベル並びに／又は短期及び長期データ表示からの他の情報を決定するための例示的な方法９００を示す。方法９００は、短期及び長期データ表示の生成と同時に、又はその後に、（例えば、図８の方法８００に関連して上記に記載されるように）実行することができる。例示的な方法９００は、１つ以上のプロセッサ（例えば、図１のコンピューティングデバイス１６０の少なくとも１つのプロセッサ、又は図２のプロセッサ２３０）によって実装されてもよい。図９は非限定的な例であり、例えば、本明細書で図示及び記載される工程を追加、削除、変更及び／又は並べ替えすることによって、方法９００に変更を加えてもよいことが理解されよう。
【0106】
図９に示すように、工程９１０において、短期データ表示は、（例えば、奥行き、姿勢、及びエッジなどのフレームの視野内及びその周辺の空間特性を計算することによって）生成することができ、並びに／又は（例えば、メモリ、データベース、若しくは他の情報源から）読み出すことができる。工程９２０において、長期データ表示は、（例えば、奥行き、姿勢、及びエッジなどのフレームの視野内及びその周辺の空間特性を計算することによって）生成することができ、並びに／又は（例えば、メモリ、データベース、若しくは他の情報源から）読み出すことができる。方法９００の例示的な実施形態では、短期データ表示９１０及び長期データ表示９２０は、操作者によって検査された領域の二次元情報と三次元情報の両方を含むことができる。しかしながら、本明細書で開示されるように、データ表示は、二次元情報のみ、三次元情報のみ、又は空間情報及び／若しくは視覚情報の任意の組み合わせ若しくは種類を含んでもよい。
【0107】
工程９３０において、短期データ表示９１０及び長期データ表示９２０に属する二次元情報を分析して、新たな連続的な長期データ表示を生成することができる。任意の好適なアルゴリズムを使用して、例えば、短期データ表示９１０及び長期データ表示９２０に関連するこれまでに取り込まれたフレームを読み出すことによって、二次元データ分析を実行することができる。これまでに取り込まれたフレームにおける対応点及び／又は特徴を一致させて重複を特定してもよい。読み出されたフレームは、分析を容易にするために変換するか又は別の方法で変更してもよく、例えば短期及び長期データ表示における識別可能な特徴点に関するベストマッチを求めるために、相関関係又は他の距離関数を算出してもよい。
【0108】
工程９４０において、短期データ表示９１０及び長期データ表示９２０に属する三次元情報を分析して、新たな連続的な長期データ表示を生成することもできる。短期データ表示と長期データ表示とを位置合わせするために、任意の好適なアルゴリズムを使用して、三次元データ分析を実行してもよい。例えば、三次元分析は、反復最接近点（ＩＣＰ）アルゴリズム、ロバスト・ポイント・マッチング（ＲＭＰ）アルゴリズム、カーネル相関（ＫＣ）アルゴリズム、コヒーレント・ポイント・ドリフト（ＣＰＤ）アルゴリズム、ソーティング・ザ・コレスポンデンス・スペース（ＳＣＳ）アルゴリズム、ベイジアン・コヒーレント・ポイント・ドリフト（ＢＣＰＤ）アルゴリズム、及び／又はこれらの組み合わせを含むがこれらに限定されない、２つ以上の点群を位置合わせする空間変換を特定するための点群レジストレーションアルゴリズムを利用することによって実行することができる。別の例として、三次元分析は、運動からの構造復元（ＳｆＭ）アルゴリズム、飛行時間（ＴｏＦ）アルゴリズム、ステレオ三角測量、シートオブライト三角測量、構造化光、干渉法、符号化開口、及び／又はこれらの組み合わせを含むがこれらに限定されない、二次元画像フレームから三次元構造を推定するためのレンジイメージングアルゴリズムを利用することによって実行することができる。推定された三次元構造における対応点及び／又は特徴を一致させて重複を特定してもよい。推定された三次元構造は、分析を容易にするために変換するか又は別の方法で変更してもよく、ベストマッチを求めるために相関関係又は他の距離関数を算出してもよい。
【0109】
工程９５０では、ブロック９３０における二次元データの分析と、ブロック９４０における三次元データの分析から、新たな長期データ表示を得ることができる。例えば、まず、短期データ表示及び長期データ表示間の大まかな位置合わせを得るために、それぞれの三次元データ（例えば、三次元点群）を使用して、１つ以上の三次元位置合わせアルゴリズム（例えば、ＩＣＰ、ＲＭＰ、ＫＣ、ＣＰＤ、ＳＣＳ、及び／又はＢＣＰＤアルゴリズム）を利用することができる。次に、短期データ表示及び長期データ表示間の細かい位置合わせを実行するために、それぞれの三次元データ（例えば、画像フレーム）を使用して、１つ以上の二次元位置合わせアルゴリズム（例えば、キーポイントマッチングアルゴリズム及び／又は画像レジストレーションアルゴリズム）を利用することができる。本開示を読めば当業者によって理解されるように、三次元情報及び／又は二次元情報を利用する他の手法も使用することができる。例えば、代替的な手法としては、三次元データ及び／又は二次元データに基づいて位置合わせ誤差を反復的に最小化することを挙げることができる。したがって、二次元情報（例えば、画像読み出しによる）と三次元情報（例えば、点群レジストレーションによる）を組み合わせることによるいくつかの実施形態では、短期データを長期データにマージすることにより、新たな長期データ表示の精度を最大化することができる。更に、工程９６０において、新たな長期データ表示９５０を考慮に入れて操作者の検査の品質に関連する情報を算出することができる。図９に示すように、例えば、長期検査品質レベル、長期軌道、及び／又は長期速度の測定値を算出することができる。例えば、新しい長期データ表示９５０の総領域をモデル面と比較して、長期検査品質レベルを決定することができる。更に、短期データ表示９１０及び長期データ表示９２０の取り込みの間にカメラの軌道を計算し（これまでに計算されていない場合）、組み合わせて新しい長期データ表示９５０の長期軌道を得ることができる。同様に、短期データ表示９１０及び長期データ表示９２０の取り込みの間にカメラの速度を計算し（これまでに計算されていない場合）、新しい長期データ表示９５０の長期速度を得るために組み合わせることができる。工程９７０において、情報、例えば工程９６０で計算された新たな長期データ表示の操作者の検査の品質の推定に関連する長期検査品質レベル、軌道、速度、及び／又は任意の他の情報を出力することができる。
【0110】
結腸面の三次元表示を構築する場合、各三次元点は、以下の情報のうちの１つ以上と共に記録することができる：観察の最良方向及び平均方向、カメラからの最接近距離及び平均距離、露光時間、並びに露光速度。例えば、粘膜面の一部の部分は、離れた所からでしか観察されないということが起こり得る。このように、いくつかの実施形態では、露光を観察するためのバイナリマスクが生成される（下記に記載される図１０のような）だけでなく、各ピクセル又は領域毎に非常に高品質（例えば、面の近傍にあり、面に対して直角であり、低速である）からゼロ品質（例えば、内視鏡の視野内でない）の観察の品質と色が関連付けられているヒートマップも生成される。いくつかの実施形態では、ヒートマップは、三次元モデル、又は平坦な二次元投影（下記に記載される図１０のような）上で計算又は視覚化することができる。
【0111】
図１０は、開示された実施形態と一致する、例示的な長期データ表示１０００を示す。図１０に示すように、例示的な長期データ表示１０００は、処置中に検査された患者の臓器（この場合は結腸）の円筒投影として表示することができる。しかしながら、長期データ表示は、検査される特定の臓器又は領域に応じて、他の形状として表示されてもよい。更に、これを例示する目的のために画像として示されているが、長期データ表示は、１つ以上の画像、奥行きデータ、姿勢データ、及び／又は三次元点群若しくは面データなどの、二次元及び／又は三次元に関わらない様々な情報を含み得ることを理解されたい。図１０に更に示すように、長期データ表示１０００は、複数の解剖学的セグメント、例えば、直腸、Ｓ状結腸、下行結腸、横行結腸、上行結腸、又は盲腸を含む結腸の異なる部分に分割することができる。長期データ表示１０００は、検査中に操作者によって検査された領域を示すことができ、解剖学的構造を模したグレースケール領域として図１０に示されるか、又は操作者用のディスプレイデバイス（図示せず）上で着色された領域として実行される。それとは逆に、領域１０２０ａ、１０２０ｂ、１０２０ｃ、１０２０ｄ、及び１０２０ｅなどの暗い領域により、操作者の検査が不充分であったか、又はまったく検査しなかった領域を示すことができる。更に示されるように、暗い領域は、直腸セグメント１０１０ａとＳ状セグメント１０１０ｂにまたがる領域１０２０ａによって示されるように、複数の解剖学的セグメントにまたがっていてもよい。したがって、長期データ表示１０００は、医療処置全体又はその一部の間の操作者の検査品質レベル（又は速度、軌道、若しくは露光などの任意の他の属性）を追跡するために使用することができる。
【0112】
図１１は、本開示の実施形態と一致する、医療処置中に取り込まれた映像を処理するための例示的な方法１１００を示す。例示的な方法１１００は、少なくとも１つのプロセッサ（例えば、図１のコンピューティングデバイス１６０の少なくとも１つのプロセッサ、又は図２のプロセッサ２３０）を用いて実装されてもよい。図１１は非限定的な例であり、例えば、本明細書で図示及び記載される工程を追加、削除、変更及び／又は並べ替えすることによって、方法１１００に変更を加えてもよいことが理解されよう。
【0113】
図１１に示すように、工程１１００において、少なくとも１つのプロセッサは、患者に対する医療処置中に画像デバイスから取り込まれた、複数のフレームを含むリアルタイムの映像を受信することができる。工程１１２０において、少なくとも１つのプロセッサは、複数のフレームを分析して、操作者が分析用の患者の領域を検査するために画像デバイスと相互作用している間のフレームを特定することができる。本明細書で開示されるように、操作者の画像デバイスとの相互作用の種類は、任意の好適な画像分類アルゴリズム、訓練されたニューラルネットワーク、又は両方の組み合わせを使用してフレームを分析し、複数の動作のうちの１つ以上に分類することによって決定することができる。工程１１３０において、少なくとも１つのプロセッサは、特定されたフレームから、画像デバイスと相互作用する操作者によって検査された各局所領域のデータ表示を生成することができる。本明細書で使用される「局所領域」は、操作者によって分析されている現在の領域に相当し得る。データ表示は、奥行き、姿勢、及びエッジなどのフレームの視野内及びその周辺の空間特性を計算することによって生成することができる。本開示から理解されるように、他の視覚属性を使用してデータ表示を生成してもよい。工程１１４０において、少なくとも１つのプロセッサは、各局所領域のデータ表示を集約することができる。各局所領域のデータ表示は、本明細書に記載されるように、操作者によって検査された領域で互いに隣接する表示を結合することによって集約することができる。いくつかの実施形態では、２つ以上の局所領域のデータ表示を集約して、医療処置全体又はその一部の間に操作者によって分析された領域のデータ表示を作成し、長期データ表示を作成することができる。工程１１５０において、少なくとも１つのプロセッサは、各局所領域で集約されたデータ表示を使用して、操作者によって検査された部分の短期検査品質レベルを決定することができる。短期検査品質レベルは、例えば、操作者によって検査された局所領域とモデル面の領域との比率、画像デバイスの軌道、画像デバイスの速度、及び／又はコンピューティングデバイスに利用可能な、若しくはそれによって生成される任意の他の情報を計算することによって決定してもよい。工程１１６０において、少なくとも１つのプロセッサは、操作者によって検査された各局所領域の短期検査品質レベルを示すグラフィック表示を、医療処置中のディスプレイデバイス上に表示することができる。決定された検査品質レベルは、あらゆる所望の形式、例えば、百分率値、分類ラベル、英数字、色、画像、映像、グラフ、又は任意の他の形式で表示することができる。加えて、本明細書で開示されるように、決定された検査品質レベルと共に、他の情報又は統計値を提示してもよい。
【0114】
図１２Ａ及び図１２Ｂは、開示された実施形態と一致する、検査品質レベル並びに／又は操作者のナビゲーションの他の属性（例えば、速度、軌道、及び／若しくは露光）を示すための例示的なグラフィック表示を示す。図１２Ａ及び図１２Ｂのグラフィック表示又は同様の表示は、本明細書に記載されるように、各検査品質レベルの決定又は操作者のナビゲーションの任意の他の属性の決定の後に更新され、ディスプレイに表示することができる。このようなグラフィック表示は、別々に（例えば、個々のディスプレイ若しくは出力に）提示されてもよく、又は画像デバイスからのリアルタイムの映像でオーバーレイされた拡張情報として（例えば、ディスプレイ１８０に）提示されてもよい。いくつかの実施形態では、検査品質レベル、軌道、速度、露光、及び／又は検査の他の属性に関連する情報が、１つ以上のグラフィック表示の一部として提示されてもよい。例えば、検査品質レベルのグラフィック表示は組み合わされてもよく、並びに／又は他の決定された情報（例えば、速度及び／若しくは軌道情報）のグラフィック表示を含んでもよい。医療処置中の検査品質レベル、軌道、速度、露光、及び／又は検査の他の属性に関するフィードバックを提供するために、図１２Ａ及び図１２Ｂの例示的な情報を医療処置中に決定し、表示することができる。更に、検査品質レベル又は任意の他の属性に関連する情報は、操作者の動作の結果として、医療処置中に（例えば、所定の時間間隔で）リアルタイムに更新して提示することができる。
【0115】
図１２Ａでは、例えば、輪として配置されている一連のセクションを含む、検査品質レベル及び／又は操作者のナビゲーションの他の属性に関する例示的なグラフィック表示１２００Ａを示す。輪、例えば輪１２１０は、１つ以上のセクション１２１２、１２１４、１２１６、及び１２１８を含み得る。それぞれの輪は、１つ以上のフレームの視界に沿って異なる奥行きを表すことができる。例えば、最も内側の輪１２１０は、画像デバイスから最も遠く離れたフレーム内の領域を表すことができる一方で、最も外側の輪１２３０は、画像デバイスに最も近いフレーム内の領域を表すことができる。輪１２１０、１２２０、及び１２３０は同心円状の輪として図示されているが、必要に応じて非同心円状の輪などの他の配置を使用してもよい。更に、輪の各セクションは、検査品質レベル、軌道、速度、露光、及び／又は検査の他の属性を示す、異なる色を各セクション内に有してもよい。例えば、緑色はそのセクションに対応する面の検査品質レベル（又は任意の他の属性）が高いことを示すことができる一方で、赤色はそのセクションに対応する面の検査品質レベル（又は任意の他の属性）が低いことを示すことができる。医療処置中に検査品質レベルが反復的に決定されるにつれて、提示される色は、上記に言及されるように、患者の臓器に関する操作者の検査を反映するように更新及び変更することができる。いくつかの実施形態では、輪の各セクションは、色、パターン、形状、又は他の特徴を含むがこれらに限定されない、異なる視覚的特性によって表すことができる。
【0116】
図１２Ｂでは、検査品質レベル及び／又は操作者のナビゲーションの他の属性を反映するグラフィック表示の別の例が提供される。本例では、グラフィック表示は、図１２Ｂに示すように、検査される領域、例えば患者の結腸のモデル１２００Ｂに基づく。モデル１２００Ｂは、二次元、三次元、又はその両方の組み合わせであってもよい。図示されているように、モデル１２００Ｂは、１つ以上のセクションを含むものとして表すことができる。結腸のセクション１２４０、１２４２、又は１２４４などの各セクションは、医療処置中に操作者によって検査される１つ以上の面を表すことができる。各セクションは、検査品質レベル、軌道、速度、露光、及び／又は検査の他の属性を示す、異なる色を各セクション内に有してもよい。図１２Ａと同様に、例えば、緑色はそのセクションに対応する面の検査品質レベル（又は任意の他の属性）が高いことを示すことができる一方で、赤色はそのセクションに対応する面の検査品質レベル（又は任意の他の属性）が低いことを示すことができる。上記で言及されるように、色は、医療処置中に更新及び／又は変更することができる。検査品質レベルを示すために他のグラフィック表示を使用してもよく、図１２Ａ及び図１２Ｂの例は本開示の範囲を限定するものではないことを理解されよう。
【0117】
図１３Ａ、図１３Ｂ、及び図１３Ｃは、開示された実施形態と一致する、検査品質レベル及び／又は操作者のナビゲーションの他の属性（例えば、速度、軌道、若しくは露光）を示すための例示的なグラフィック表示を示す。図示されるように、図１３Ａ～図１３Ｃの例示的なグラフィック表示は、映像フレームに対するオーバーレイ又は情報の変更として提供される。医療処置中の検査品質レベル、軌道、速度、露光、及び／又は検査の他の属性に関するフィードバックを操作者に提供するために、これらのグラフィック表示を医療処置中に更新し、（例えば、ディスプレイ１８０に）表示することができる。更に、図１３Ａ～図１３Ｃの例示的な情報は、操作者の動作の結果として、医療処置中にリアルタイムに更新することができる。
【0118】
図１３Ａは、例えば、図１２Ａのグラフィック表示に類似した３つの輪として配置された一連のセクションを含む、検査品質レベル及び／又は操作者のナビゲーションの他の属性を示すための例示的なグラフィック表示１３１０を示す。図１２Ａと同様に、それぞれの輪は、図１３Ａに示す画像フレームの視野に沿って異なる奥行きを表すことができる。例えば、最も内側の輪は、画像フレーム内で画像デバイスから最も遠く離れたフレーム内の領域を表すことができる一方で、最も外側の輪は、画像デバイスに最も近いフレーム内の領域を表すことができる。更に、上記の説明と一致して、輪の各セクションは、検査品質レベル、軌道、速度、露光、及び／又は検査の他の属性を示す、異なる色を各セクション内に有してもよい。例えば、緑色はそのセクションに対応する面の検査品質レベル（又は任意の他の属性）が高いことを示すことができる一方で、赤色はそのセクションに対応する面の検査品質レベル（又は任意の他の属性）が低いことを示すことができる。医療処置中に検査品質レベルが反復的に決定されるにつれて、提示される色は、上記で述べたように、患者の臓器に関する操作者の検査を反映するように更新及び変更することができる。
【0119】
図１３Ｂでは、画像フレーム上にオーバーレイされた検査品質レベル及び／又は操作者のナビゲーションの他の属性を反映するグラフィック表示の別の例が提供される。本例では、このグラフィック表示は、医療処置中に操作者がとった軌道に基づくものであってもよいが、グラフィック表示は、操作者のナビゲーションの他の要因又は属性に基づくものであってもよい。図１３Ｂに示すように、グラフィック表示は、その位置で検査品質レベル、軌道、速度、露光、及び／又は他の属性を示すことができる、様々な色をした線であってよい。例えば、線セグメント１３２０は、検査の検査品質レベル（又は任意の他の属性）が高いことを示すために、緑色とすることができる。同様に、線セグメント１３３０は、ナビゲーションの検査品質レベル（又は任意の他の属性）が低いことを示すために、赤色とすることができる。更に、実線として示されているが、任意の他のグラフィック表示、例えば、ドット、矢印、断続的な線、アイコン、文字（例えば、「良好」若しくは「不良」）、又は任意の他の視覚的表示を使用してもよい。上記で言及されるように、色は、医療処置中に更新及び／又は変更することができる。
【0120】
図１３Ｃは、画像フレーム上にオーバーレイされた検査品質レベル及び／又は操作者のナビゲーションの他の属性を反映する、別の例示的なグラフィック表示を示す。本例では、操作者の検査が不充分であった可能性があるか、又は完全に見落としてしまった可能性のある患者の臓器の特定の領域に注目させるために、グラフィック表示を使用することができる。図１３Ｃに示すように、アイコン１３４０のような画像を使用して、注目する領域を指し示すことができる。いくつかの実施形態では、アイコン１３４０は、別のグラフィック表示（例えば、図１３Ａのグラフィック表示１３１０、若しくは図１３Ｂの１３２０／１３３０）と同時に提示してもよく、又はグラフィック表示を互いに交互に入れ替えてもよい（例えば、時間、注目する領域からの距離に基づいて、若しくはボタン押下などの操作者の動作の結果として、若しくは設定の変更によって）。図１３Ｃのアイコン１３４０は、目の中を通るスラッシュを伴った目として示されているが、この領域に注目させるために、語句（例えば、「見落とされた領域」）、形状（例えば、矢印）、他のアイコン、又は他のグラフィック表示若しくはアイコンなどの任意の他の視覚的表示を使用してもよいことを理解されよう。アイコン及び／又はその視覚属性（例えば、色若しくは大きさ）のいずれかは、上記に言及されるように、医療処置中に更新及び変更することができる。検査品質レベル及び／又は任意の他の属性を示すために他のグラフィック表示を使用してもよく、図１３Ａ～図１３Ｃの例は本開示の範囲を限定するものではないことを理解されよう。
【0121】
上記に記載される図中における図表及び構成要素は、本開示の様々な例示的な実施形態によるシステム、方法、及びコンピュータハードウェア又はソフトウェア製品の実行可能な実装形態のアーキテクチャ、機能、及び操作を例示するものである。例えば、フローチャート又は図表における各ブロックは、特定の論理機能を実装するための１つ以上の実行可能命令を含むモジュール、セグメント、又はコードの部分を示すことができる。いくつかの代替的な実装形態では、ブロックに示される機能は、図中で言及される順番に関係なく生じ得ることも理解すべきである。例として、連続して示される２つのブロック若しくは工程は、実質的に同時に実行若しくは実装されてもよく、又は２つのブロック若しくは工程は、場合により、関与する機能に応じて逆の順番で実行されてもよい。更に、いくつかのブロック又は工程は省略してもよい。図表の各ブロック又は工程、及びブロック又は工程の組み合わせは、特定の機能若しくは動作を実行する専用ハードウェアベースのシステムによって、又は専用ハードウェアとコンピュータ命令とを組み合わせることによって実装されてもよいことも理解すべきである。コンピュータプログラム製品（例えば、ソフトウェア又はプログラム命令）もまた、記載された実施形態及び例示された例に基づいて実装されてもよい。
【0122】
上記に記載されるシステム及び方法は、多くの方法で変更することができ、異なる特徴を異なる方法で組み合わせることができることを理解すべきである。特に、特定の実施形態又は実装形態において上記に示される全ての特徴が、全ての実施形態又は実装形態に必要であるとは限らない。上記の特徴及び実装形態の更なる組み合わせも、本明細書に開示された実施形態又は実装形態の範囲内にあると見なされる。
【0123】
特定の実施形態及び実装形態の特徴について本明細書で説明及び例示してきたが、変形、代用、変更、及び均等物が当業者には明らかであろう。したがって、添付の特許請求の範囲は、開示された実施形態及び例示された実装形態の特徴の範囲内に含まれる、全てのそのような変形及び変更を網羅することを意図するものであることが理解されよう。本明細書に記載される実施形態は、限定するものではなく単に例として示されており、形態及び詳細に様々な変更がなされてもよいことも理解すべきである。本明細書に記載されるシステム及び／又は方法のあらゆる部分は、相互排他的な組み合わせを除き、任意の組み合わせで実装することができる。例として、本明細書に記載される実装形態は、記載された異なる実施形態の機能、構成要素、及び／又は特徴の様々な組み合わせ及び／又は下位組み合わせを含むことができる。
【0124】
更に、例示的な実施形態を本明細書で説明してきたが、本開示の範囲には、本明細書で開示される実施形態に基づいて、同等の要素、変形、省略、組み合わせ（例えば、様々な実施形態にわたる態様の）、適合、又は変更を有するありとあらゆる実施形態が含まれる。更に、特許請求の範囲における要素は、特許請求の範囲に使用される文言に基づいて広く解釈されるべきであり、本明細書又は本出願の遂行中に記載された例に限定されるものではない。代わりに、これらの例は非排他的なものとして解釈すべきである。したがって、本明細書及び本明細書の例は例示的なものに過ぎないと見なすことが意図され、真の範囲及び趣旨は、以下の特許請求の範囲及びそれらの均等物の全範囲により示される。
【図1】
【図2】
【図3】
【図4】
【図5A】
【図5B】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12A】
【図12B】
【図13A】
【図13B】
【図13C】
【国際調査報告】