(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024160202
(43)【公開日】2024-11-13
(54)【発明の名称】清浄度を評価するための方法、装置、電子機器及び媒体
(51)【国際特許分類】
A61B 1/045 20060101AFI20241106BHJP
G06T 7/00 20170101ALI20241106BHJP
G06V 10/764 20220101ALI20241106BHJP
G06T 7/38 20170101ALI20241106BHJP
【ＦＩ】
A61B1/045 610
G06T7/00 616
G06V10/764
G06T7/38
【審査請求】未請求
【請求項の数】16
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2024056779
(22)【出願日】2024-03-29
(31)【優先権主張番号】202310343746.1
(32)【優先日】2023-03-31
(33)【優先権主張国・地域又は機関】CN
(71)【出願人】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100103894
【弁理士】
【氏名又は名称】家入 健
(72)【発明者】
【氏名】リー イェンリ
(72)【発明者】
【氏名】ジャン ニ
(57)【要約】 （修正有）
【課題】内視鏡映像を分析することによって検査対象の清浄度を評価するための技術的解決手段を提供する。
【解決手段】方法は、内視鏡映像のフレーム間位置合せに基づいて、内視鏡映像内の複数のフレームを選択することを含む。方法はさらに、複数のフレームにおける各フレームの汚染度を決定し、各フレームの汚染度に基づいて、内視鏡映像内の対象の清浄度を評価することを含む。本開示の実施形態によれば、汚染物質を含む可能性がある内視鏡映像から、検査対象の異なる部分に均等に分布するキーフレームを抽出し、映像内の対象の清浄度をより正確かつ全面的に評価することができ、内視鏡検査の精度と信頼性の向上に役立ち、操作者の作業負担を軽減することができる。
【選択図】図２
【解決手段】方法は、内視鏡映像のフレーム間位置合せに基づいて、内視鏡映像内の複数のフレームを選択することを含む。方法はさらに、複数のフレームにおける各フレームの汚染度を決定し、各フレームの汚染度に基づいて、内視鏡映像内の対象の清浄度を評価することを含む。本開示の実施形態によれば、汚染物質を含む可能性がある内視鏡映像から、検査対象の異なる部分に均等に分布するキーフレームを抽出し、映像内の対象の清浄度をより正確かつ全面的に評価することができ、内視鏡検査の精度と信頼性の向上に役立ち、操作者の作業負担を軽減することができる。
【選択図】図２
【特許請求の範囲】
【請求項1】
清浄度を評価するための方法であって、
内視鏡映像のフレーム間位置合せに基づいて、前記内視鏡映像内の複数のフレームを選択することと、
前記複数のフレームにおける各フレームの汚染度を決定することと、
前記各フレームの前記汚染度に基づいて、前記内視鏡映像内の対象の清浄度を評価することと、
を含む、
方法。
内視鏡映像のフレーム間位置合せに基づいて、前記内視鏡映像内の複数のフレームを選択することと、
前記複数のフレームにおける各フレームの汚染度を決定することと、
前記各フレームの前記汚染度に基づいて、前記内視鏡映像内の対象の清浄度を評価することと、
を含む、
方法。
【請求項2】
前記内視鏡映像内の複数のフレームを選択することは、
前記フレーム間位置合せに基づいて、前記内視鏡映像内の第１フレームと、前記第１フレーム後の後続フレームのセットとの間の空間オフセットを決定することと、
前記第１フレームと前記後続フレームのセットとの間の前記空間オフセットに基づいて、前記後続フレームのセットから第２フレームを選択することと、
を含む、
請求項１に記載の方法。
前記フレーム間位置合せに基づいて、前記内視鏡映像内の第１フレームと、前記第１フレーム後の後続フレームのセットとの間の空間オフセットを決定することと、
前記第１フレームと前記後続フレームのセットとの間の前記空間オフセットに基づいて、前記後続フレームのセットから第２フレームを選択することと、
を含む、
請求項１に記載の方法。
【請求項3】
前記内視鏡映像内の第１フレームと、前記第１フレームの後続フレームのセットとの間の空間オフセットを決定することは、
前記内視鏡映像の隣接フレーム間の空間オフセットを決定することと、
前記隣接フレーム間の前記空間オフセットの累加に基づいて、前記第１フレームと、前記後続フレームのセットにおける１つの後続フレームとの間の空間オフセットを決定することと、
を含む、
請求項２に記載の方法。
前記内視鏡映像の隣接フレーム間の空間オフセットを決定することと、
前記隣接フレーム間の前記空間オフセットの累加に基づいて、前記第１フレームと、前記後続フレームのセットにおける１つの後続フレームとの間の空間オフセットを決定することと、
を含む、
請求項２に記載の方法。
【請求項4】
前記内視鏡映像の隣接フレーム間の空間オフセットを決定することは、
前記内視鏡映像の２つの隣接フレームについて、前記フレーム間位置合せに基づいて、前記２つの隣接フレームのうちの前のフレームの複数の画素から、後のフレームの対応する画素までの複数のオフセット量を決定することと、
前記複数のオフセット量の平均値に基づいて、前記前のフレームと前記後のフレームとの間の前記空間オフセットを決定することと、
を含む、
請求項３に記載の方法。
前記内視鏡映像の２つの隣接フレームについて、前記フレーム間位置合せに基づいて、前記２つの隣接フレームのうちの前のフレームの複数の画素から、後のフレームの対応する画素までの複数のオフセット量を決定することと、
前記複数のオフセット量の平均値に基づいて、前記前のフレームと前記後のフレームとの間の前記空間オフセットを決定することと、
を含む、
請求項３に記載の方法。
【請求項5】
前記内視鏡映像内の各フレームの品質レベルを決定することと、
前記品質レベルが品質閾値を超える１つのフレームを前記第１フレームとして決定することと、
をさらに含む、
請求項２に記載の方法。
前記品質レベルが品質閾値を超える１つのフレームを前記第１フレームとして決定することと、
をさらに含む、
請求項２に記載の方法。
【請求項6】
前記後続フレームのセットから第２フレームを選択することは、
前記後続フレームのセットの中から、前記第１フレームとの前記空間オフセットが所定の範囲内にある少なくとも１つの候補フレームを決定することと、
前記少なくとも１つの候補フレームの中に、品質レベルが前記品質閾値よりも高い候補フレームが存在するかどうかを判定することと、
前記少なくとも１つの候補フレームの中に、品質レベルが前記品質閾値よりも高い候補フレームが存在すると判定したことに応じて、前記少なくとも１つの候補フレームの中で最も高い品質レベルを有する候補フレームを前記第２フレームとして選択することと、
を含む、
請求項５に記載の方法。
前記後続フレームのセットの中から、前記第１フレームとの前記空間オフセットが所定の範囲内にある少なくとも１つの候補フレームを決定することと、
前記少なくとも１つの候補フレームの中に、品質レベルが前記品質閾値よりも高い候補フレームが存在するかどうかを判定することと、
前記少なくとも１つの候補フレームの中に、品質レベルが前記品質閾値よりも高い候補フレームが存在すると判定したことに応じて、前記少なくとも１つの候補フレームの中で最も高い品質レベルを有する候補フレームを前記第２フレームとして選択することと、
を含む、
請求項５に記載の方法。
【請求項7】
前記後続フレームのセットから第２フレームを選択することは、
前記少なくとも１つの候補フレームの中に、品質レベルが前記品質閾値よりも高い後続フレームが存在しないと判定したことに応じて、前記第１フレームとの前記空間オフセットが前記所定の範囲よりも大きいフレームの中から、前記品質レベルが前記品質閾値を超えるフレームを前記第２フレームとして選択することを含む、
請求項６に記載の方法。
前記少なくとも１つの候補フレームの中に、品質レベルが前記品質閾値よりも高い後続フレームが存在しないと判定したことに応じて、前記第１フレームとの前記空間オフセットが前記所定の範囲よりも大きいフレームの中から、前記品質レベルが前記品質閾値を超えるフレームを前記第２フレームとして選択することを含む、
請求項６に記載の方法。
【請求項8】
前記フレーム間位置合せに基づいて、前記第２フレームと、前記第２フレーム後の別の後続フレームのセットとの間の空間オフセットを決定することと、
前記第２フレームと、前記別の後続フレームのセットとの間の前記空間オフセットに基づいて、前記別の後続フレームのセットから第３フレームを選択することと、
をさらに含む、
請求項２に記載の方法。
前記第２フレームと、前記別の後続フレームのセットとの間の前記空間オフセットに基づいて、前記別の後続フレームのセットから第３フレームを選択することと、
をさらに含む、
請求項２に記載の方法。
【請求項9】
前記複数のフレームにおける各フレームの汚染度を決定することは、
画像セグメンテーションに基づいて前記各フレーム内の目標領域の透明度を取得することと、
前記各フレーム内の目標領域の前記透明度に基づいて、前記各フレームの汚染度を決定することと、
を含む、
請求項１に記載の方法。
画像セグメンテーションに基づいて前記各フレーム内の目標領域の透明度を取得することと、
前記各フレーム内の目標領域の前記透明度に基づいて、前記各フレームの汚染度を決定することと、
を含む、
請求項１に記載の方法。
【請求項10】
前記内視鏡映像内の対象の前記清浄度を評価することは、
前記汚染度のための１つ又は複数の閾値に基づいて前記複数のフレームを分類することと、
前記複数のフレームの分類に基づいて前記対象の前記清浄度を決定することと、
を含む、
請求項１に記載の方法。
前記汚染度のための１つ又は複数の閾値に基づいて前記複数のフレームを分類することと、
前記複数のフレームの分類に基づいて前記対象の前記清浄度を決定することと、
を含む、
請求項１に記載の方法。
【請求項11】
前記清浄度は、前記複数のフレームについての前記分類の統計データを含む、
請求項１０に記載の方法。
請求項１０に記載の方法。
【請求項12】
前記分類は、腸管清浄度についてのＢｏｓｔｏｎスコアリングを含む、
請求項１０に記載の方法。
請求項１０に記載の方法。
【請求項13】
清浄度を評価するための装置であって、
内視鏡映像のフレーム間位置合せに基づいて、前記内視鏡映像内の複数のフレームを選択するように設定されたフレーム選択ユニットと、
前記複数のフレームにおける各フレームの汚染度を決定するように設定された汚染度決定ユニットと、
前記各フレームの前記汚染度に基づいて、前記内視鏡映像内の対象の清浄度を決定するように設定された清浄度評価ユニットと、
を備える、
装置。
内視鏡映像のフレーム間位置合せに基づいて、前記内視鏡映像内の複数のフレームを選択するように設定されたフレーム選択ユニットと、
前記複数のフレームにおける各フレームの汚染度を決定するように設定された汚染度決定ユニットと、
前記各フレームの前記汚染度に基づいて、前記内視鏡映像内の対象の清浄度を決定するように設定された清浄度評価ユニットと、
を備える、
装置。
【請求項14】
少なくとも１つのプロセッサユニットと、
前記少なくとも１つのプロセッサユニットに結合され、前記少なくとも１つのプロセッサユニットによって実行されるための命令を格納する少なくとも１つのメモリと、
を備える電子機器であって、
前記命令が前記少なくとも１つのプロセッサユニットによって実行された場合、請求項１～１２のいずれか１項に記載の方法を実行する、
電子機器。
前記少なくとも１つのプロセッサユニットに結合され、前記少なくとも１つのプロセッサユニットによって実行されるための命令を格納する少なくとも１つのメモリと、
を備える電子機器であって、
前記命令が前記少なくとも１つのプロセッサユニットによって実行された場合、請求項１～１２のいずれか１項に記載の方法を実行する、
電子機器。
【請求項15】
機械可読命令を含むコンピュータ可読記憶媒体であって、
前記機械可読命令は、装置により実行された場合に、前記装置に、請求項１～１２のいずれか１項に記載の方法を実行させる、
コンピュータ可読記憶媒体。
前記機械可読命令は、装置により実行された場合に、前記装置に、請求項１～１２のいずれか１項に記載の方法を実行させる、
コンピュータ可読記憶媒体。
【請求項16】
機械可読命令を含むコンピュータプログラム製品であって、
前記機械可読命令は、装置により実行された場合に、前記装置に、請求項１～１２のいずれか１項に記載の方法を実行させる、
コンピュータプログラム製品。
前記機械可読命令は、装置により実行された場合に、前記装置に、請求項１～１２のいずれか１項に記載の方法を実行させる、
コンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【0001】
本開示の実施形態は、画像処理技術の分野に関し、より具体的には、清浄度を評価するための方法、装置、電子機器、コンピュータ可読記憶媒体、及びコンピュータプログラム製品に関する。
【背景技術】
【0002】
内視鏡検査とは、体外から人体の自然な体腔を介して体内に送り込み、体内の病気を検査する光学機器による検査である。内視鏡は、湾曲部分、光源、レンズセットにより構成することができる。操作者は、使用時に内視鏡を検査対象の器官に導入し、内視鏡の動きを操作して器官の関連部分を直接覗き見て、画像や映像を記録する。
【0003】
実際の使用時には、検査対象の器官に様々な汚染物質が含まれ、検査の妨げとなる可能性がある。したがって、内視鏡検査において清浄度を全面的且つ正確に評価しスコアリングすることは、検査の効率的且つ正確な品質制御に寄与する。評価は通常、検査実施後に内視鏡操作者によって行われる。しかし、記憶のみに頼って清浄度を定量的又は定性的にスコアリングすることは、疲労を増大させ、また主観的で正確性に欠ける。内視鏡システムに正確な清浄度評価機構を導入し、内視鏡検査の質を向上させ、操作者の作業負担を軽減する必要がある。
【発明の概要】
【発明が解決しようとする課題】
【0004】
これに鑑みて、本開示の実施形態は、内視鏡映像を分析することによって検査対象の清浄度を評価するための技術的解決手段を提出する。
【課題を解決するための手段】
【0005】
本開示の第１の態様では、清浄度を評価するための方法が提供される。方法は、内視鏡映像のフレーム間位置合せに基づいて、内視鏡映像内の複数のフレームを選択することと、複数のフレームにおける各フレームの汚染度を決定することと、各フレームの汚染度に基づいて、内視鏡映像内の対象の清浄度を評価することと、を含む。
【0006】
本開示の第２の態様では、清浄度を評価するための装置が提供される。装置は、内視鏡映像のフレーム間位置合せに基づいて、内視鏡映像内の複数のフレームを選択するように設定されたフレーム選択ユニットと、複数のフレームにおける各フレームの汚染度を決定するように設定された汚染度決定ユニットと、各フレームの汚染度に基づいて、内視鏡映像内の対象の清浄度を決定するように設定された清浄度評価ユニットと、を備える。
【0007】
本開示の第３の態様では、電子機器が提供される。電子機器は、少なくとも１つのプロセッサユニットと、前記少なくとも１つのプロセッサユニットに結合され、前記少なくとも１つのプロセッサユニットによって実行されるための命令を格納する少なくとも１つのメモリと、を備える。前記命令は、前記少なくとも１つのプロセッサユニットによって実行された場合、電子機器に、本開示の第１の態様を実行させる。
【0008】
本開示の第４の態様では、コンピュータ可読記憶媒体が提供される。コンピュータ可読記憶媒体は機械可読命令を含み、前記機械可読命令は、装置により実行された場合に、前記装置に、本開示の第１の態様にかかる方法を実行させる。
【0009】
本開示の第５の態様では、コンピュータプログラム製品が提供される。コンピュータプログラム製品は機械可読命令を含み、前記機械可読命令は、装置により実行された場合に、前記装置に、本開示の第１の態様にかかる方法を実行させる。
【0010】
発明の概要部分は、概念に対する選択を簡略化して紹介するためのものである。これらについては、以下の実施形態においてさらに説明を行う。発明の概要部分の記述は、本開示の重要な特徴又は必要な特徴を標記することを意図したものではなく、本開示の範囲を限定することも意図していない。
【図面の簡単な説明】
【0011】
図面を参照しながら本開示の例示的な実施形態をさらに詳細に説明することで、本開示の上述及びその他の目的、特徴及び利点が、より明らかになるはずである。本開示の例示的な実施形態において通常、同一の図面符号は同一の要素を表す。
【図1A】本開示の複数の実施形態を実現可能な例示的な環境の模式図を示す。
【図1B】本開示の実施形態に適用可能な腸管清浄度のスコアリングの例を示す。
【図2】本開示の実施形態にかかる、清浄度を評価するための方法の概略フローチャートを示す。
【図3】本開示の実施形態にかかる清浄度評価システムの模式図を示す。
【図4A】本開示の実施形態にかかる低品質フレームの例示を示す。
【図4B】本開示の実施形態にかかる、映像にフレーム間位置合せを適用する模式図を示す。
【図5】本開示の実施形態にかかるフレーム間空間オフセットの模式図を示す。
【図6】本開示の実施形態にかかる、映像内のキーフレームを選択するプロセスの概略フローチャートを示す。
【図7】本開示の実施形態に従って得られた例示的な清浄度評価結果を示す。
【図8】本開示の実施形態にかかる、清浄度を評価するための装置の概略ブロック図を示す。
【図9】本開示の内容の実施形態を実施可能な例示的な装置の概略ブロック図を示す。
【発明を実施するための形態】
【0012】
以下、図面を参照しつつ、本開示の好ましい実施形態についてより詳細に説明する。図には本開示の好ましい実施形態が示されているが、理解すべき点として、本開示は様々な形式で実現することが可能であり、ここで論述する実施形態に限定されるべきではない。むしろ、これらの実施形態を提供するのは、本開示をより徹底した完全なものにし、本開示の範囲を当業者に完全に伝えられるようにするためである。
【0013】
本明細書で使用される用語「含む（備える）」及びその変形は、「…を含むが、これらに限定されない」という開放的な「含む」を表す。特に明記されていない限り、用語「又は」は、「及び／又は」を表す。用語「…に基づいて」は、「少なくとも部分的に基づく」ことを表す。用語「１つの例示的実施形態」及び「１つの実施形態」は、「少なくとも１つの例示的実施形態」を表す。用語「別の実施形態」は、「少なくとも１つの別の実施形態」を表す。用語「第１」、「第２」等は、異なるか又は同一の対象を示すことができる。以下の文中ではさらに、その他の明確な定義及び暗黙の定義が含まれる可能性がある。
【0014】
内視鏡検査で検査される器官（例えば腸管）には、汚染物質が含まれ、検査の妨げとなる可能性がある。汚染物質の種類、形態、量によって、検査に与える影響も同じではない。器官の清浄度の定性的又は定量的なスコアリングは、通常、検査後に操作者（例えば医師）の記憶に頼る必要がある。この方法はより主観的で且つ操作者の経験に依存するため、内視鏡検査の品質制御において精度低下の問題を引き起こす。内視鏡システムに正確な清浄度評価機構を導入し、内視鏡検査の質を向上させ、操作者の作業負担を軽減する必要がある。
【0015】
従来の解決手段では、ディープニューラルネットワークを利用して、固定の時間間隔（例えば３０秒）で収集された腸管画像を直接分析し、清浄度評価結果を出す。この方法の問題は、第一に、清浄度を全面的に評価できないことであり、一方では分析される画像の質を考慮しておらず、他方では異なる部分の画像を均等に取得していないことである。もう１つの問題は、評価方法においてディープニューラルネットワークに依存して画像全体の清浄度を分類していることであり、精細さが不十分で、画素レベルから清浄度を判断できないことである。これらの問題は、実際のパフォーマンス低下につながる。
【0016】
これに鑑み、本開示の実施形態では、内視鏡映像内の検査対象の清浄度をより正確かつ全面的に取得することができる、キーフレーム抽出に基づく清浄度評価方法を提供する。この方法では、内視鏡映像に対してフレーム間位置合せを行い、フレーム間位置合せの結果に基づいて、内視鏡映像内の複数のフレームをキーフレームとして選択する。その後、これらのキーフレームの清浄度を評価し、各キーフレームの清浄度に基づいて内視鏡映像内の対象の清浄度を評価する。説明すべき点として、本明細書では、腸鏡の映像に基づく腸管の清浄度評価を例として説明しているが、本開示の実施形態は、他のタイプの内視鏡映像（例えば、胃カメラ等）に適用して映像内の対応する対象の清浄度を評価してもよく、腸管に限定されないことを理解されたい。本開示はこの点について限定しない。以下では、図１～図９を参照して本開示の実施形態の実現の詳細について詳述する。
【0017】
図１は、本開示の複数の実施形態を実現可能な例示的な環境１００の模式図を示す。図に示すように、環境１００は内視鏡システムに関し、操作者によって操作可能な制御装置１０１を含む。操作者は、制御装置１０１を操作して、内視鏡レンズ１０２を制御して人体内を移動させ、画像と映像を収集することができる。収集した画像や映像は、コンピューティングデバイス１０５に送信して格納することができる。ディスプレイ１０３は、コンピューティングデバイス１０５に結合可能であり、レンズ１０２を介して収集された画像や映像をリアルタイムで表示することができる。図１は、腸鏡システムを例示的に示しているが、理解すべき点として、本開示の実施形態は、胃カメラ、耳鼻咽喉の内視鏡、口腔の内視鏡、歯科の内視鏡、神経内視鏡、尿道膀胱鏡、切除用内視鏡、腹腔鏡、関節鏡、副鼻腔鏡、喉頭鏡等を含むがこれらに限定されない他の内視鏡システムに適用してもよい。
【0018】
コンピューティングデバイス１０５は、汎用のコンピューティングデバイス又は内視鏡専用の装置であってもよく、画像処理や映像処理、特に医用画像処理に適用するように設定されている。コンピューティングデバイス１０５は、端末又はサーバー装置であってもよい。コンピューティングデバイス１０５がサーバである場合、独立したサーバであってもよいし、サーバからなるサーバネットワーク、又はサーバのクラスタであってもよい。これには、クラウドサーバを構築するためのコンピュータ、ネットワークホスト、単一のネットワークサーバ、複数のネットワークサーバのセット、又は複数のサーバが含まれるが、これらに限定されない。コンピューティングデバイス１０５には、デスクトップ端末又はモバイル端末、例えば、デスクトップコンピュータ、携帯電話、タブレットコンピュータ、ノートパソコン、医療補助機器等が含まれてもよいが、これらに限定されない。
【0019】
以上、図１Ａを参照しながら本開示の実施形態を実施可能な例示的な環境を説明した。理解すべき点として、図１Ａは概略的なものにすぎず、環境には、さらに多くのモジュール若しくはシステムが含まれてもよく、又はいくつかのモジュール若しくはシステムが省略されてもよく、又は示されたモジュール若しくはシステムが新たに組み合わされていてもよい。本開示の実施形態は、図１に示すものとは異なる環境で実施されてもよく、本開示はこれについて限定しない。
【0020】
人体内部で収集された映像には、糞便等の人体の汚染物質が含まれ、検査の妨げとなる可能性がある。汚染物質の形態と量は、異なる清浄度を反映しており、内視鏡検査に与える影響も同じではない。腸管清浄度を例にとると、汚染物質は主に固形便と液体便である。国際的に通常使用される基準はＢｏｓｔｏｎスコアリングである。図１Ｂは、本開示の実施形態に適用可能な腸管清浄度のスコアリングの例を示す。図１Ｂの腸管画像は、Ｂｏｓｔｏｎスコアリングの０点から３点に対応する。
【0021】
図１Ｂに示すように、０点は、排除できない固形便が腸管に存在して腸粘膜がはっきりと見えないことを表し、１点は、腸管粘膜の一部は明瞭であり、別の一部は便及び不透明な液体が残留しているために表示が不明瞭であることを表し、２点は、小量の小さい便の塊及び不透明な液体が残留し、粘膜の表示が明瞭であることを表し、３点は、全ての粘膜の表示が明瞭であり、腸管内に便及び不透明な液体が残留していないことを表す。
【0022】
内視鏡検査の準備を指導し検査効果を向上させることができるように、腸管のような検査対象の実際の汚染物質の状況に対して、内視鏡映像を分析して、検査対象の、異なる位置での汚染度を決定することができ、操作者による清浄度の決定を支援することができる。本開示の実施形態によれば、コンピューティングデバイス１０５は、内視鏡映像のフレーム間位置合せを行い、各フレーム間の空間オフセットを得ることができる。空間オフセットを利用することで、コンピューティングデバイス１０５は、検査対象における各フレーム間の空間距離を判断し、均等に分布する複数のフレームをキーフレームとして選択することができる。その後、コンピューティングデバイス１０５は、選択されたキーフレームについてフレームごとの分析を行い、各フレームの汚染度を決定し、さらに、全てのキーフレームの汚染度を統合して検査対象の清浄度を決定する。
【0023】
図２は、本開示の実施形態にかかる、清浄度を評価するための方法２００の概略フローチャートを示す。方法２００は、図１に示すコンピューティングデバイス１０５によって実現されてもよい。理解すべき点として、方法２００はさらに、示されていない追加の動作を備えてもよく、且つ／又は示された動作を省略してもよく、本開示の範囲はこの点において限定されない。以下、図１Ａを参照して方法２００を詳述する。
【0024】
ブロック２１０において、コンピューティングデバイス１０５は、内視鏡映像のフレーム間位置合せに基づいて内視鏡映像内の複数のフレームを選択する。いくつかの実施形態において、コンピューティングデバイス１０５は、検査対象の異なる部分に均等に分布する高品質のフレームを選択する。これらのフレームはキーフレームと称されてもよい。高品質のフレームを選択するために、コンピューティングデバイス１０５は、映像の各フレームに対して品質スコアリングを行い、低品質のフレームを除外し、キーフレームとして選択しなくてもよい。選択された均等に分布するキーフレームのために、コンピューティングデバイス１０５は映像のフレーム間位置合せを行い、フレーム間の距離情報を取得する。
【0025】
フレーム間位置合せに基づいて、コンピューティングデバイス１０５は、隣接する２つのフレームの互いに対応する画素間のオフセット量（例えば、対応する画素の横座標及び縦座標の間の差）を取得してもよい。オフセット量は２次元ベクトルの形（例えば｛ｄｘ，ｄｙ｝）で表してもよい。コンピューティングデバイス１０５は、一部又は全ての画素のオフセット量の平均値を、この２つのフレーム間の空間オフセットとして決定してもよい。さらに、コンピューティングデバイス１０５は、２つのフレーム間の距離として、空間オフセットの何らかの尺度（例えば、ユークリッド距離）を使用してもよい。コンピューティングデバイス１０５は、キーフレームを選択する際にこれらのフレーム間の距離を考慮して、隣り合うキーフレームの距離をある範囲内になるように制御し、隣り合うキーフレームが均等に分布するようにしてもよい。
【0026】
キーフレームとみなされた複数のフレームを取得した後、ブロック２２０において、コンピューティングデバイス１０５は、複数のフレームにおける各フレームの汚染度を決定する。人体の器官内の汚染物質はほとんどが固体と液体の混合物であり、一定の透明度を持つ傾向があることを考慮すると、透明度が高いほど、検査される部分がより鮮明である。したがって、コンピューティングデバイス１０５は、各フレームの関心領域の画素の透明度（ａｌｐｈａ）を取得してもよい。透明度の値は、例えば区間［０，１］であってもよく、０は不透明、１は完全な透明を表す。いくつかの実施形態において、コンピューティングデバイス１０５は、各フレームのソフトセグメンテーションを実行することによって画素の透明度を取得し、その後、透明度の累加又は他の方法に基づいて当該フレームの汚染度を決定してもよい。
【0027】
ブロック２３０において、コンピューティングデバイス１０５は、各フレームの汚染度に基づいて、内視鏡映像内の対象の清浄度を評価する。コンピューティングデバイス１０５は、各フレームの汚染度に基づいてフレームを分類する。分類の基準は、国際基準のボストン分類を参考にしたものでもよい。いくつかの実施形態では、閾値に基づく方法でフレームの分類を行ってもよい。例えば、経験に基づいて手動ラベリングと回帰ラベリングによって、汚染度閾値のセット（例えば、Ｈ１＜Ｈ２＜Ｈ３等）を設定し、それに応じて汚染度区間のセットを得てもよい。コンピューティングデバイス１０５は、単一フレームの汚染度が位置する区間に従って分類を行う。
【0028】
次に、コンピューティングデバイス１０５は、全てのキーフレームの分類結果に基づいて、全体的な清浄度の統計を行ってもよい。清浄度の統計は、ヒストグラム形式で示される各分類のフレーム数の総数、又は各分類のパーセンテージを含んでもよい。
【0029】
図２に示す清浄度評価方法によれば、コンピューティングデバイス１０５は、汚染物質を含む可能性がある内視鏡映像から、異なる部分に均等に分布するキーフレームを抽出し、映像内の対象の清浄度をより正確かつ全面的に評価することができる。したがって、方法２００は、内視鏡検査の精度と信頼性を向上させ、操作者の作業負担を軽減することができる。
【0030】
図３は、本開示の実施形態にかかる清浄度評価システム３００の模式図を示す。清浄度評価システム３００は、ソフトウェア又はハードウェアの形式でコンピューティングデバイス１０５において実現することができ、図２を参照して説明した方法２００の実施に適用することができる。理解すべき点として、図３に示す清浄度評価システム３００は例示的なものにすぎず、より多くの又はより少ないモジュール又はユニットを備えてもよい。
【0031】
図に示すように、清浄度評価システム３００は、品質スコアリングモジュール３０５、フレーム間位置合せモジュール３１０、キーフレーム抽出モジュール３１５、及び清浄度評価モジュール３２０を備える。図に示すように、映像のフレーム３０１、３０２、３０３等が清浄度評価システム３００に提供される。ここで、フレーム３０１、３０２、３０３は、時系列に沿った一連のフレームであり、すなわち、フレーム３０２はフレーム３０１の直後の後続フレームであり、フレーム３０３はフレーム３０２の直後の後続フレームであり、以下同様である。
【0032】
清浄度評価システム３００の品質スコアリングモジュール３０５及びフレーム間位置合せモジュール３１０は、前処理モジュールと総称されてもよい。品質スコアリングモジュール３０５とフレーム間位置合せモジュール３１０は、互いに独立して動作してもよく、したがって両者は、任意の順序で順に動作するか、又は並行して動作してもよい。
【0033】
品質スコアリングモジュール３０５は、キーフレームの有効性を確保するために、映像の各フレームの品質をスコアリングし、対応する品質レベルを得るためのものである。品質レベルは、例えば領域［０，１］のような、ある区間内の数値として表されてもよく、０は低品質を表し、１は高品質を表す。
【0034】
品質スコアリングモジュール３０５は、弱光、強い光、不鮮明、浸水、及び近接撮影等、清浄度評価に使用するには不適当な低品質フレームを除外するためのものである。図４Ａは、本開示の実施形態にかかる低品質フレームの例示を示す。これには、浸水画像、弱光画像、不鮮明画像、近接画像等が含まれる。品質スコアリングモジュール３０５は、特徴演算子の計算とテンプレートマッチングに基づいて品質のスコアリングを行ってもよい。この方法は計算効率が高く、リアルタイムの要求を満たすことができる。選択的に、品質スコアリングモジュール３０５はさらに、ディープラーニングに基づき手動ラベリングで補う学習方法で品質のスコアリングを行ってもよい。選択的に、品質スコアリングモジュール３０５はさらに、特徴抽出を分類器（例えば、サポートベクターマシン）を組み合わせた学習方法を利用して、品質のスコアリングを行ってもよい。
【0035】
フレーム間位置合せモジュール３１０は、映像の隣接フレームを位置合わせするためのものであり、２つのフレームの一部又は全ての画素の間のマッピング関係と、互いにマッピングされた画素間のオフセット量とを決定し、それによって、２つのフレーム間の空間オフセットを計算することができ、例えば、フレーム３０１とフレーム３０２との間の空間オフセットは、マッチングした画素間のオフセット量の平均値であってもよい。
【0036】
フレーム間位置合せモジュール３１０によって使用される位置合せ方法には、スパースオプティカルフロー場、例えば、エッジ点に焦点を合わせた後に局所的な勾配の変化を使用して画素のマッピング点を計算するＫＬＴ法が含まれてもよい。この場合、フレーム間空間オフセットは、スパースオプティカルフロー点又は密なマッチング点（Dense-Matching Point）のオフセット量の平均値であってもよい。選択的に、位置合せ方法には例えば、ディープラーニングネットワークを用いて画素の空間オフセットを自動的に取得するＦｌｏｗＮｅｔ等のディープラーニング法がさらに含まれてもよい。選択的に、位置合せ方法には、例えばＬＦ－Ｎｅｔのような領域マッチング方法がさらに含まれてもよい。本開示の実施形態は、位置合わせ方法について限定しない。
【0037】
図４Ｂは、本開示の実施形態にかかる、映像にフレーム間位置合せを適用するキャプチャを示す。フレーム間位置合せモジュール３１０は、図４Ｂの左側の一連の隣接フレームに対し位置合せを順次実行して、所定の画素の、次のフレームにおける対応する画素を得て、この２つの画素のオフセット量を決定する。図４Ｂに示すように、得られたオフセット量を利用して、所定の画素を（矢印で示すように）フレーム間の動きとして示すことができる。
【0038】
キーフレーム抽出モジュール３１５は、品質スコアリングモジュール３０５から得られた各フレームの品質レベルと、フレーム間位置合せモジュール３１０から得られた隣接フレーム間の空間オフセットとに基づいて、キーフレームを選択する。キーフレーム抽出モジュール３１５は、低品質のフレームを除外し、品質レベルが品質閾値未満のフレームを選択しなくてもよい。また、キーフレーム抽出モジュール３１５は、隣接フレーム間の空間オフセットに基づいて、任意の２つのフレーム間の空間オフセットを計算し、空間オフセットに基づいてフレーム間の距離を決定してもよい。この距離は、フレームが位置する部分の間の遠近の程度を反映することができるので、キーフレーム抽出モジュール３１５は、距離に基づいて、均等に分布するフレームをキーフレームとして選択してもよい。
【0039】
図５は、本開示の実施形態にかかるフレーム間空間オフセットの模式図を示す。図５は、第１フレーム５０１、第１フレームの後のフレーム５０２－１、５０２－２…、５０２－ｉ等を含む、時系列に並んだ一連のフレームを示す。フレーム間位置合せモジュール３１０を使用して、これらのフレームの任意の２つの隣接フレームの間の空間オフセット｛ｄｘ１，ｄｙ１｝、｛ｄｘ２，ｄｙ２｝…、｛ｄｘｉ，ｄｙｉ｝を算出する。ここで、｛ｄｘ１，ｄｙ１｝は、第１フレーム５０１と、隣接フレーム５０２－１との間の空間オフセットであり、｛ｄｘ２，ｄｙ２｝は、フレーム５０２－１とフレーム５０２－２との間の空間オフセットであり、以下同様である。これにより、キーフレーム抽出モジュール３１５は、第１フレーム５０１とフレーム５０２－ｉとの間の空間オフセットを、第１フレーム５０１からフレーム５０２－ｉまでの間の全ての空間オフセットの累加、即ち｛Σｉｄｘｉ，Σｉｄｙｉ｝として決定する。
【0040】
図６は、本開示の実施形態にかかる、映像内のキーフレームを選択するプロセス６００の概略フローチャートを示す。プロセス６００は、図２に示すブロック２１０の例示的な実現方法であってもよく、キーフレーム抽出モジュール３１５によって実現されてもよい。プロセス６００は、代表的で高品質な映像フレームを映像から選択するためのものであり、前後のキーフレームは一定の距離を保ち、異なる部分の清浄度を均等に反映することができる。
【0041】
ブロック６１０において、映像において品質レベルが品質閾値を超える１つのフレームを、第１フレームとして選択する。例えば、図５に示すフレーム５０１である。第１フレームは、映像から選択された最も早いキーフレーム、即ち初期キーフレームである。いくつかの実施形態において、第１品質レベルが品質閾値（例えば、０又は他の値）を超えるフレームを、初期キーフレームとして決定する。
【0042】
その後、プロセス６００はブロック６２０に進み、選択されたフレームを現在のフレームとして設定する。ブロック６２０を最初に実行する際、第１フレームを現在のフレームとして設定する。続いて、第１フレームの後続フレームの中で次のキーフレームを検索する。
【0043】
ブロック６３０において、現在のフレームとの空間オフセット、及び所定の範囲に基づいて、現在のフレームの後続フレームのうちの少なくとも１つのフレームを決定する。図５を参照して説明したように、現在のフレームと後続フレームとの空間オフセット｛ｆｘ，ｆｙ｝は、隣接フレームの空間オフセットを累加することによって得ることができ、すなわち｛Σｉｄｘｉ，Σｉｄｙｉ｝であり、ここでｉは、現在のフレームに対する後続フレームのフレーム番号である。いくつかの実施形態において、現在のフレームと後続フレームとの間の空間オフセットの何らかの尺度（例えば、ユークリッド距離）を、現在のフレームと後続フレームとの間の距離として定義してもよい。例えば、距離
である。さらに、空間オフセットのための閾値Ｔ１、Ｔ２を定義してもよく、Ｔ１＜Ｔ２であり、上記の所定の範囲を区間（Ｔ１，Ｔ２）として設定する。
【数1】
【0044】
いくつかの実施形態において、現在のフレームの次のキーフレームを選択するために、現在のフレームの後の後続フレームのセットの中から、現在のフレームとの空間距離が所定の範囲内にある少なくとも１つの候補フレームを検索又は決定してもよい。この場合、キーフレームを均等に分布させることができる。現在のフレームの後続フレームのセットは、現在のフレームの後の一定数の後続フレーム、又は一定時間内の後続フレームであってもよいため、全ての後続フレームを検索する必要はなく、計算量と時間が削減される。当該後続フレームのセットについて、その中で現在のフレームとの距離が区間（Ｔ１，Ｔ２）内にあるフレームを候補フレームとして決定してもよい。距離が所定の間隔内に収まるフレームは、現在のキーフレームとの間に一定の距離を保っているとみなされてもよく、それらは、異なる部分を反映している。
【0045】
ブロック６４０において、品質レベルが品質閾値を超える候補フレームが存在するかどうかを判定する。候補フレームの中に、品質レベルが品質閾値を超える候補フレームが存在する場合、例えばこのような候補フレームが複数存在する場合、プロセス６００はブロック６５０に進み、品質レベルが最も高いフレームを次のキーフレームとして選択する。
【0046】
候補フレームの中に、品質レベルが品質閾値を超える候補フレームが存在しない場合、プロセス６００はブロック６６０に進み、現在のフレームとの空間オフセットが所定の範囲より大きく、品質レベルが品質閾値を超える（例えば、０又は他の値より大きい）フレームを選択する。すなわち、現在のフレームとの距離が区間（Ｔ１，Ｔ２）内にあり、かつ、品質が基準に達したフレームが存在しない場合には、現在のフレームに対してさらに遠くの場所から、品質が基準に達したフレームを次のキーフレームとして選択する。
【0047】
ブロック６５０とブロック６６０のいずれかの後、プロセス６００はブロック６７０に進み、映像の終端に達したかどうかを判断する。映像の終端に達していない場合、プロセス６００はブロック６２０に戻り、ブロック６２０から６７０を繰り返し、反復してキーフレームの検索を続ける。例えば、第１フレーム後の次のキーフレーム、つまり第２フレームを選択した後、第２フレームを現在のフレームとして設定する。その後、フレーム間位置合せに基づいて、第２フレームと、第２フレーム後の別の後続フレームのセットとの間の空間オフセットを決定し、第２フレームと、別の後続フレームのセットとの間の空間オフセットに基づいて、別の後続フレームのセットから第３フレームを次のキーフレームとして選択する。当該プロセスは、映像内の全てのキーフレームを決定するまで繰り返してもよい。すなわち、ブロック６７０で映像の終端に達したと判定すると、ブロック６８０で、選択された全てのフレームを出力する。
【0048】
再び図３を参照すると、キーフレーム抽出モジュール３１５は、選択された複数のフレームを清浄度評価モジュール３２０に出力する。例えば、フレーム番号を清浄度評価モジュール３２０に提供するか、又は、選択されたフレームの画像データを清浄度評価モジュール３２０に直接提供する。清浄度評価モジュール３２０は、各フレームの汚染度を決定し、汚染度に基づいてフレームを分類するためのものである。例示として、内視鏡映像が腸鏡の場合、分類基準は、例えば、Ｂｏｓｔｏｎ分類であってもよい。
【0049】
汚染度を決定するために、清浄度評価モジュール３２０は、各キーフレームについて汚染物質のソフトセグメンテーションを行ってもよい。一般的な画像セグメンテーション（「ハードセグメンテーション」とも称される）に比べて、ソフトセグメンテーションでは、前景のセグメンテーション結果を取得するだけでなく、セグメンテーションされた画素の透明度も取得する。透明度（ａｌｐｈａ）は、例えば０と１の間の数値で示してもよく、０は不透明を表し、１は完全な透明を表す。汚染物質はほとんどが固体と液体の混合物であり、一定の透明度を持つ傾向があり、透明度が高いほど観察に有利であるため、ソフトセグメンテーションで得られた透明度を使用して、単一フレームの汚染度を評価することは有益である。透明度の取得方法には、例えば、先験的で制約された手がかりに基づくソフトセグメンテーションが含まれてもよいし、あるいは選択的に、ディープラーニングに基づくソフトセグメンテーションが含まれてもよい。
【0050】
次に、清浄度評価モジュール３２０は、各キーフレームについて、ソフトセグメンテーション領域マスク（ｍａｓｋ）と透明度アルファに基づいて、汚染度を計算する。例示的な計算式は以下のものであってもよい。
（１）
式中、ｉは画素、ｗｉｄｔｈとｈｅｉｇｈｔはフレームの長さと幅、ａｌｐｈａは画素の透明度、ｍａｓｋは画素の分割結果（０又は１）である。
【数2】
式中、ｉは画素、ｗｉｄｔｈとｈｅｉｇｈｔはフレームの長さと幅、ａｌｐｈａは画素の透明度、ｍａｓｋは画素の分割結果（０又は１）である。
【0051】
清浄度評価モジュール３２０は続いて、汚染度に基づいてキーフレームを分類（例えば、ボストン分類）し、フレームの清浄度を評価する。いくつかの実施形態において、汚染度に対して１つ又は複数の閾値を設定してもよく、当該１つ又は複数の閾値に基づいてキーフレームを分類する。例えば、閾値Ｈ１、Ｈ２、Ｈ３（Ｈ１＜Ｈ２＜Ｈ３）を設定し、以下の関係に従って分類してもよい。
・汚染度Ｗ＜＝Ｈ１の場合、カテゴリを３と定義し、評価スコアはＳ＝３である。
・汚染度Ｈ１＜Ｗ＜＝Ｈ２の場合、カテゴリを２と定義し、評価スコアはＳ＝２である。
・汚染度Ｈ２＜Ｗ＜＝Ｈ３の場合、カテゴリを１と定義し、評価スコアはＳ＝１である。
・汚染度Ｗ＞Ｈ３の場合、カテゴリを０と定義し、評価スコアはＳ＝０である。
・汚染度Ｗ＜＝Ｈ１の場合、カテゴリを３と定義し、評価スコアはＳ＝３である。
・汚染度Ｈ１＜Ｗ＜＝Ｈ２の場合、カテゴリを２と定義し、評価スコアはＳ＝２である。
・汚染度Ｈ２＜Ｗ＜＝Ｈ３の場合、カテゴリを１と定義し、評価スコアはＳ＝１である。
・汚染度Ｗ＞Ｈ３の場合、カテゴリを０と定義し、評価スコアはＳ＝０である。
【0052】
閾値Ｈ１、Ｈ２、Ｈ３は、経験に基づいて得てもよい。選択的に、閾値Ｈ１、Ｈ２、Ｈ３は、手動ラベリングや回帰ラベリングによって得てもよい。具体的には、学習段階において、画像フレームのセットを選択し、上述の方法に従って汚染度Ｗを取得し、手動でＢｏｓｔｏｎのＳのスコアリングを行い、その後学習段階において、線形回帰又はロジスティック回帰を用いてＷとＳの間のマッピングモデルを学習する。その後、テストと予測の段階において、学習済みモデルに基づいて、汚染度Ｗに基づいて分類とスコアリングを行い、フレームの清浄度を得る。
【0053】
これにより、清浄度評価モジュール３２０は、全てのキーフレームのフレームレベルの清浄度を取得し、さらに、清浄度評価モジュール３２０は、内視鏡映像全体について清浄度を出すことができる。いくつかの実施形態において、清浄度は、これらのキーフレームについての分類の統計結果を含んでもよい。例えば、清浄度評価モジュール３２０は、全てのキーフレームについて、ヒストグラムの統計方法によって全体的な清浄度を取得してもよい。全体的な清浄度は、フレーム数とパーセンテージの統計に基づく各分類の分布であってもよい。
【0054】
図７は、本開示の実施形態に従って得られた例示的な清浄度評価結果を示す。図７の清浄度評価結果は、Ｂｏｓｔｏｎのスコアリングに基づいて得られたものである。図中、Ｓ＝０は、排除できない固形便が存在するため腸粘膜がはっきりと見えないフレームを表し、Ｓ＝１は、粘膜の一部ははっきりと見えて、別の一部は便及び不透明な液体が残留しているために表示が不明瞭であるフレームを表し、Ｓ＝２は、小量の小さい便の塊及び不透明な液体が残留し、粘膜の表示が明瞭であるフレームを表し、Ｓ＝３は、全ての粘膜の表示が明瞭であり、腸内に便及び不透明な液体が残留していないフレームを表す。
【0055】
以上、図１～図７を参照し、本開示の実施形態にかかる、内視鏡映像内の検査対象の清浄度を評価するための方法を説明した。従来の解決手段と比較して、本開示の実施形態は、汚染物質を含む可能性がある内視鏡映像から、異なる部分に均等に分布するキーフレームを抽出し、対象の清浄度をより正確かつ全面的に評価することができ、その結果、内視鏡検査の精度と信頼性の向上に役立つとともに、操作者の作業負担を軽減することができる。
【0056】
図８は、本開示の実施形態にかかる、清浄度を評価するための装置８００の概略ブロック図を示す。装置８００は、コンピューティングデバイス１０５によって実現してもよく、ソフトウェア、ハードウェア、又はハードウェアとソフトウェアの組合せとして実現されてもよい。
【0057】
図に示すように、装置８００は、フレーム選択ユニット８１０、汚染度決定ユニット８２０、及び清浄度評価ユニット８３０を備える。フレーム選択ユニット８１０は、内視鏡映像のフレーム間位置合せに基づいて内視鏡映像内の複数のフレームを選択するように設定されている。汚染度決定ユニット８２０は、複数のフレームにおける各フレームの汚染度を決定するように設定されている。清浄度評価ユニット８３０は、各フレームの汚染度に基づいて、内視鏡映像内の対象の清浄度を評価するように設定されている。
【0058】
いくつかの実施形態において、フレーム選択ユニット８１０はさらに、フレーム間位置合せに基づいて、内視鏡映像内の第１フレームと、第１フレーム後の後続フレームのセットとの間の空間オフセットを決定し、第１フレームと後続フレームのセットとの間の空間オフセットに基づいて、後続フレームのセットから第２フレームを選択するように設定されてもよい。
【0059】
いくつかの実施形態において、フレーム選択ユニット８１０はさらに、内視鏡映像の隣接フレーム間の空間オフセットを決定することと、隣接フレーム間の空間オフセットの累加に基づいて、第１フレームと、後続フレームのセットにおける１つの後続フレームとの間の空間オフセットを決定することと、によって、内視鏡映像内の第１フレームと、第１フレームの後続フレームのセットとの間の空間オフセットを決定するように設定されてもよい。
【0060】
いくつかの実施形態において、フレーム選択ユニット８１０はさらに、内視鏡映像の２つの隣接フレームについて、フレーム間位置合せに基づいて、２つの隣接フレームのうちの前のフレームの複数の画素から、後のフレームの対応する画素までの複数のオフセット量を決定することと、複数のオフセット量の平均値に基づいて、前のフレームと後のフレームとの間の空間オフセットを決定することと、によって、内視鏡映像の隣接フレーム間の空間オフセットを決定するように設定されてもよい。
【0061】
装置８００は、品質スコアリングユニットをさらに備えてもよく、品質スコアリングユニットは、内視鏡映像内の各フレームの品質レベルを決定するように設定されており、また、フレーム選択ユニット８１０はさらに、品質レベルが品質閾値を超える１つのフレームを第１フレームとして決定するように設定されてもよい。
【0062】
いくつかの実施形態において、フレーム選択ユニット８１０はさらに、後続フレームのセットの中から、第１フレームとの空間オフセットが所定の範囲内にある少なくとも１つの候補フレームを決定することと、少なくとも１つの候補フレームの中に、品質レベルが品質閾値よりも高い候補フレームが存在するかどうかを判定することと、少なくとも１つの候補フレームの中に、品質レベルが品質閾値よりも高い候補フレームが存在すると判定したことに応じて、少なくとも１つの候補フレームの中で最も高い品質レベルを有する候補フレームを第２フレームとして選択することと、によって、後続フレームのセットから第２フレームを選択するように設定されてもよい。
【0063】
いくつかの実施形態において、フレーム選択ユニット８１０はさらに、少なくとも１つの候補フレームの中に、品質レベルが品質閾値よりも高い後続フレームが存在しないと判定したことに応じて、第１フレームとの空間オフセットが所定の範囲よりも大きいフレームの中から、品質レベルが品質閾値を超えるフレームを第２フレームとして選択することによって、後続フレームのセットから第２フレームを選択するように設定されてもよい。
【0064】
いくつかの実施形態において、フレーム選択ユニット８１０はさらに、フレーム間位置合せに基づいて、第２フレームと、第２フレーム後の別の後続フレームのセットとの間の空間オフセットを決定し、第２フレームと、別の後続フレームのセットとの間の空間オフセットに基づいて、別の後続フレームのセットから第３フレームを選択するように設定されてもよい。
【0065】
いくつかの実施形態において、汚染度決定ユニット８２０はさらに、画像セグメンテーションに基づいてフレーム内の目標領域の透明度を取得し、目標領域の透明度に基づいてフレームの汚染度を決定するようにさらに設定されてもよい。
【0066】
いくつかの実施形態において、清浄度評価ユニット８３０はさらに、汚染度のための１つ又は複数の閾値に基づいて複数のフレームを分類し、複数のフレームの分類に基づいて対象の清浄度を決定するように設定されてもよい。
【0067】
いくつかの実施形態において、清浄度は、複数のフレームについての分類の統計データを含んでもよい。いくつかの実施形態において、分類は、腸管清浄度についてのＢｏｓｔｏｎスコアリングを含んでもよい。
【0068】
図９は、本開示の内容の実施形態を実施可能な例示的な装置９００の概略ブロック図を示す。例えば、本開示の実施形態にかかるコンピューティングデバイス１０５は、装置９００によって実現されてもよい。図に示すように、装置９００は、中央プロセッサユニット（ＣＰＵ）９０１を備える。ＣＰＵ９０１は、リードオンリーメモリ（ＲＯＭ）９０２に格納されたコンピュータプログラム命令、又は記憶ユニット９０８からランダムアクセスメモリ（ＲＡＭ）９０３にロードされたコンピュータプログラムの命令に基づき、各種の適切な動作及び処理を実行してもよい。ＲＡＭ９０３にはさらに、装置９００の操作に必要な各種プログラム及びデータを格納してもよい。ＣＰＵ９０１、ＲＯＭ９０２及びＲＡＭ９０３はバス９０４を介して互いに接続されている。入力／出力（Ｉ／Ｏ）インターフェース９０５もバス９０４に接続されている。
【0069】
装置９００における複数の部材は、Ｉ／Ｏインターフェース９０５に接続されている。複数の部材には、キーボード、マウス等の入力ユニット９０６、様々な種類のディスプレイ、スピーカ等の出力ユニット９０７、磁気ディスク、光ディスク等の記憶ユニット９０８、及びネットワーク・インターフェース・カード、モデム、無線通信送受信機等の通信ユニット９０９が含まれる。通信ユニット９０９によって、装置９００は、インターネットのようなコンピュータネットワーク及び／又は各種電信ネットワークを介して、他の装置と情報／データを交換することができる。
【0070】
上述した個々の方法又はプロセスは、プロセッサユニット９０１によって実行されてもよい。例えば、いくつかの実施形態において、これらの方法又はプロセスは、コンピュータソフトウェアプログラムとして実現可能であり、記憶ユニット９０８のような機械可読媒体に有形記憶されている。いくつかの実施形態において、コンピュータプログラムの一部又は全部は、ＲＯＭ９０２及び／又は通信ユニット９０９を経由して装置９００にロード及び／又はインストールされてもよい。コンピュータプログラムがＲＡＭ９０３にロードされＣＰＵ９０１により実行された場合、上述した方法の１つ又は複数の動作を実行してもよい。
【0071】
本開示は、方法、装置、システム及び／又はコンピュータプログラム製品であり得る。コンピュータプログラム製品は、本開示の各態様を実行するためのコンピュータ可読プログラム命令が格納されたコンピュータ可読記憶媒体を備えてもよい。
【0072】
コンピュータ可読記憶媒体は、命令実行装置により使用される命令を保持し格納することができる有形の装置であってもよい。コンピュータ可読記憶媒体は例えば、電気記憶装置、磁気記憶装置、光記憶装置、電磁気記憶装置、半導体記憶装置又は上述の任意の適切な組合せであり得るが、これらに限られない。コンピュータ可読記憶媒体のより具体的な例には（全てではない）、ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、消去・書き込み可能なリードオンリーメモリ（ＥＰＲＯＭ又はフラッシュメモリ）、スタティックＲＡＭ（ＳＲＡＭ：Static Random Access Memory）、携帯型コンパクトディスクリードオンリーメモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、メモリースティック、フロッピーディスク、機械的エンコーダ装置、例えば命令が格納されているパンチカード又は溝内の突起構造、及び上述の任意の適切な組合せが含まれる。ここで使用されるコンピュータ可読記憶媒体は、例えば無線電波若しくは他の自由伝播する電磁波、導波管若しくは他の送信媒体を介して伝播する電磁波（例えば、光ファイバーケーブルを介する光パルス）、又は電線で送信される電気信号のような、瞬時の信号そのものであるとは解釈されない。
【0073】
ここで説明されるコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体から各計算／処理装置にダウンロードされてもよく、又は、ネットワーク、例えばインターネット、ローカルエリアネットワーク、ワイドエリアネットワーク及び／若しくは無線ネットワークを介して外部のコンピュータ若しくは外部記憶装置にダウンロードされてもよい。ネットワークは、銅線送信ケーブル、光ファイバー送信、無線送信、ルータ、ファイアウォール、スイッチ、ゲートウェイコンピュータ及び／又はエッジサーバを備えてもよい。各計算／処理装置におけるネットワークインターフェースカード又はネットワークインターフェースは、コンピュータ可読プログラム命令をネットワークから受信し、当該コンピュータ可読プログラム命令を転送し、各計算／処理装置のコンピュータ可読記憶媒体に格納されるようにする。
【0074】
本開示の操作を実行するためのコンピュータプログラム命令は、アセンブラ指示文、命令セットアーキテクチャ（ＩＳＡ：Instruction Set Architecture）命令、機械語命令、機械関連命令、マイクロコード、ファームウェア命令、状態設定データ、又は、１種類若しくは複数種類のプログラミング言語の任意の組合せで記述されたソースコード若しくは対象コードであり得る。前記プログラミング言語は、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋等のオブジェクト指向のプログラミング言語、及び、「Ｃ」言語又は類似のプログラミング語言のような一般的な手続き型プログラミング言語を含む。コンピュータ可読プログラム命令は、完全にユーザコンピュータ上で実行してもよいし、部分的にユーザコンピュータ上で実行してもよいし、１つの独立したソフトウェアパッケージとして実行してもよいし、ユーザコンピュータ上で部分的に実行するとともにリモートコンピュータ上で部分的に実行してもよいし、或いは、完全にリモートコンピュータ又はサーバ上で実行してもよい。リモートコンピュータにかかる状況において、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）又はワイドエリアネットワーク（ＷＡＮ）を含む任意の種類のネットワークを介して、ユーザコンピュータに接続してもよく、又は、外部のコンピュータに接続してもよい（例えばインターネットサービスプロバイダを利用しインターネットを介して接続する）。いくつかの実施形態では、コンピュータ可読プログラム命令のステータス情報を利用して、例えばプログラマブルロジック回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）又はプログラマブルロジックアレイ（ＰＬＡ）のような電子回路をパーソナライズする。当該電子回路は、コンピュータ可読プログラム命令を実行することで、本開示の各態様を実現してもよい。
【0075】
ここでは、本開示の実施形態にかかる方法、装置（システム）及びコンピュータプログラム製品のフローチャート及び／又はブロック図を参照して、本開示の各態様を説明した。理解すべき点として、フローチャート及び／又はブロック図の各ブロック並びにフローチャート及び／又はブロック図の各ブロックの組合せは、いずれも、コンピュータ可読プログラム命令により実現してもよい。
【0076】
これらのコンピュータ可読プログラム命令は、汎用コンピュータ、専用コンピュータ又は他のプログラミング可能なデータ処理装置のプロセッサユニットに提供されて、マシンを生成してもよく、これらの命令がコンピュータ又は他のプログラミング可能なデータ処理装置のプロセッサユニットにより実行された場合、フローチャート及び／又はブロック図の１つ又は複数のブロックで規定された機能／動作を実現する装置が生成される。これらのコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体に格納されてもよい。これらの命令によって、コンピュータ、プログラミング可能なデータ処理装置及び／又はその他の装置は特定の方法で動作する。したがって、命令が格納されているコンピュータ可読媒体は、フローチャート及び／又はブロック図の１つ又は複数のブロックで規定された機能／動作を実現する各態様の命令が含まれている製品を含む。
【0077】
コンピュータ可読プログラム命令を、コンピュータ、他のプログラミング可能なデータ処理装置又は他の装置にロードして、コンピュータ、他のプログラミング可能なデータ処理装置又は他の装置上で一連の操作ステップを実行させ、コンピュータが実現するプロセスを生成してもよい。こうすることで、コンピュータ、他のプログラミング可能なデータ処理装置又は他の装置で実行される命令に、フローチャート及び／又はブロック図の１つ又は複数のブロックで規定された機能／動作を実現させる。
【0078】
図中のフローチャート及びブロック図は、本開示の複数の実施形態にかかるシステム、方法、コンピュータプログラム製品の実現可能なアーキテクチャ、機能及び操作を表している。この点において、フローチャート又はブロック図の各ブロックは、１つのモジュール、プログラムセグメント又は命令の一部を示してもよく、前記モジュール、プログラムセグメント又は命令の一部は、規定されたロジック機能を実現するための１つ又は複数の実行可能な命令を含む。代替としてのいくつかの実装において、ブロック内に表記された機能は、図中の表記と異なる順序で発生してもよい。例えば、２つの連続するブロックは実際には基本的に並行して実行されてもよいし、場合によっては反対の順序で実行されてもよい。これは、関係する機能によって定められる。また、注意すべき点として、ブロック図及び／又はフローチャートの各ブロック、並びにブロック図及び／又はフローチャートのブロックの組合せは、規定された機能又は動作を実行する、ハードウェアに基づく専用システムで実現してもよいし、或いは、専用のハードウェアとコンピュータ命令との組合せにより実現してもよい。
【0079】
以上、本開示の各実施形態を説明したが、上述した説明は、例示的なもので、全て網羅したものではなく、開示された各実施形態に限定されない。説明した各実施形態の範囲及び精神から逸脱しない状況において、当業者が多数の修正及び変更を行うことができることは明らかである。ここで使用された用語は、各実施形態の原理、実際の応用又は市場での技術改良について最適な説明を行うこと、又は当業者に本明細書で開示された各実施形態を理解してもらうことを意図して、選択したものである。
【図1A】
【図1B】
【図2】
【図3】
【図4A】
【図4B】
【図5】
【図6】
【図7】
【図8】
【図9】
【外国語明細書】