特表 2023-544183 映像信号の画像における誤検出を低減するための方法、デバイス、およびコンピュータ可読記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-10-20

(54)【発明の名称】映像信号の画像における誤検出を低減するための方法、デバイス、およびコンピュータ可読記憶媒体

(51)【国際特許分類】

   A61B 1/045 20060101AFI20231013BHJP

【ＦＩ】

A61B1/045 615

A61B1/045 614

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023520396

(86)(22)【出願日】2021-11-11

(85)【翻訳文提出日】2023-04-03

(86)【国際出願番号】 IB2021060437

(87)【国際公開番号】W WO2022106964

(87)【国際公開日】2022-05-27

(31)【優先権主張番号】102020130411.0

(32)【優先日】2020-11-18

(33)【優先権主張国・地域又は機関】DE

(81)【指定国・地域】

(71)【出願人】

【識別番号】000113263

【氏名又は名称】ＨＯＹＡ株式会社

(74)【代理人】

【識別番号】110000165

【氏名又は名称】弁理士法人グローバル・アイピー東京

(72)【発明者】

【氏名】ザイプト，ハネス

【テーマコード（参考）】

4C161

【Ｆターム（参考）】

4C161CC06

4C161HH51

4C161SS21

4C161WW02

(57)【要約】

映像信号の一連の画像の現在の画像のセクションの情報コンテンツが計算され（Ｓ１０１）、映像信号は、映像信号の被写体の検出を計算して示すためのアルゴリズムに供給されなければならない。現在の画像のセクションの計算された情報コンテンツが閾値未満のとき（Ｓ１０３）、少なくとも現在の画像または現在の画像および一連の画像のさらなる画像のセクションに対する被写体の検出の計算および表示が抑制される（Ｓ１０５）。
【選択図】図１

【特許請求の範囲】

【請求項1】

映像信号の一連の画像の現在の画像のセクションの情報コンテンツを計算するステップ（Ｓ１０１、Ｓ３０３）であって、前記映像信号が、前記映像信号の被写体の検出を計算して示すためのアルゴリズムに供給されなければならない、ステップと、
前記現在の画像の前記セクションの前記計算した情報コンテンツが閾値以上であるかどうかを決定するステップ（Ｓ１０３、Ｓ３０５）と、
前記計算された情報コンテンツが前記閾値以上ではない決定されたとき、少なくとも前記現在の画像または前記現在の画像および前記一連の画像のさらなる画像の前記セクションに対する被写体の検出の前記計算および表示を抑制するステップ（Ｓ１０５、Ｓ３１１）と、を含む、
方法。

【請求項2】

前記現在の画像の前記セクションの特徴を計算し、前記現在の画像の前記セクションの前記計算された特徴によって類似度特徴を更新するステップ（Ｓ３０７、Ｓ３１３）であって、前記類似度特徴が前記現在の画像に隣接する、前記映像信号の前記一連の画像の隣接画像を介して計算された、ステップと、
前記計算された情報コンテンツが前記閾値以上であると決定されたときに、
前記更新された類似度特徴が少なくとも１つの既知の外乱特性と類似しているかどうかを決定するステップ（Ｓ３１７）と、
前記更新された類似度特徴が少なくとも１つの既知の外乱特性に類似していると決定されたときに、少なくとも前記現在の画像または前記現在の画像および前記一連の画像のさらなる画像の前記セクションに対する被写体の検出の前記計算および表示を抑制するステップ（Ｓ３１１）と、をさらに含む、
請求項１に記載の方法。

【請求項3】

前記計算された情報コンテンツが前記閾値以上であると決定され、前記更新された類似度特徴が既知の外乱特性と類似していないと決定されたときに、前記現在の画像または前記現在の画像および前記一連の画像の前記さらなる画像の前記セクションに対する被写体の検出の前記計算および表示を許可するステップ（Ｓ３１９）をさらに含む、
請求項２に記載の方法。

【請求項4】

前記類似度特徴は、前記現在の画像の前記セクションと前記隣接画像の前記セクションとの間の類似度メトリックに基づいて更新される、請求項２または３に記載の方法。

【請求項5】

前記隣接画像の数が、１から１，０００個の一連の画像からの選択を含み、および／または
前記さらなる画像の数が、１から１，０００個の一連の画像からの選択を含む、
請求項２から４のいずれか一項に記載の方法。

【請求項6】

前記現在の画像の前記セクションの前記計算した特徴を重み付けするステップをさらに含み、
前記類似度特徴は、前記現在の画像の前記セクションの前記重み付けされ計算された特徴によって更新される、
請求項２から５のいずれか一項に記載の方法。

【請求項7】

前記情報コンテンツが、拡張エントロピーメトリックに基づいて計算される、請求項１から６のいずれか一項に記載の方法。

【請求項8】

前記セクションが、前記現在の画像の前記詳細全体または必要に応じて細かく分解された前記現在の画像の部分領域を含む、請求項１から７のいずれか一項に記載の方法。

【請求項9】

前記映像信号は、内視鏡映像信号であり、および／または、
前記被写体は、診断に関連する構造であり、および／または、
前記アルゴリズムは、人工知能に基づくか、もしくは機械学習技術を使用する、および／または、
前記閾値は可変である、
請求項１から８のいずれか一項に記載の方法。

【請求項10】

前記一連の前記画像について前記方法が繰り返される、請求項１から９のいずれか一項に記載の方法。

【請求項11】

コンピュータに、前記プログラムが前記コンピュータ上で実行されているときに請求項１から１０のいずれか一項に記載の方法を実行させるプログラムを記憶するコンピュータ可読記憶媒体。

【請求項12】

映像信号の一連の画像の現在の画像のセクションの情報コンテンツを計算するための計算手段であって、前記映像信号が、前記映像信号の被写体の検出を計算して示すためのアルゴリズムに供給されなければならない、計算手段と、
前記現在の画像の前記セクションの前記計算した情報コンテンツが閾値以上であるかどうかを決定するための決定手段と、
前記決定手段が、前記計算された情報コンテンツが前記閾値以上ではない決定したときに、少なくとも前記現在の画像または前記現在の画像および前記一連の画像のさらなる画像の前記セクションに対する被写体の検出の前記計算および表示を抑制するように構成された、抑制手段と、を備える、
デバイス。

【請求項13】

前記計算手段は、前記現在の画像に隣接する、前記映像信号の前記一連の画像の隣接画像について類似度特徴を計算するように構成され、前記現在の画像の前記セクションの特徴を計算し、前記現在の画像の前記セクションの前記計算した特徴によって前記類似度特徴を更新するためのもので、
前記決定手段は、前記計算された情報コンテンツが前記閾値以上であると決定したとき、前記更新された類似度特徴が少なくとも１つの既知の外乱特性と類似するかどうかを決定するように構成され、
前記抑制手段は、前記決定手段が前記更新された類似度特徴が少なくとも１つの既知の外乱特性に類似していると決定したときに、少なくとも前記現在の画像または前記現在の画像および前記一連の画像のさらなる画像の前記セクションに対する被写体の検出の前記計算および表示を抑制するように構成される、
請求項１２に記載のデバイス。

【請求項14】

前記決定手段が、前記計算された情報コンテンツが前記閾値以上であり、前記更新された類似度特徴が既知の外乱特性と類似していないと決定したとき、前記現在の画像または前記現在の画像および前記さらなる画像の前記セクションに対する被写体の検出の前記計算および表示を許可するように構成された、許可手段をさらに備える、請求項１３に記載のデバイス。

【請求項15】

前記計算手段が、前記現在の画像の前記セクションの前記計算された特徴に重みを付け、前記現在の画像の前記セクションの前記重み付けされ計算された特徴によって前記類似度特徴を更新するように構成された、
請求項１３または１４に記載のデバイス。

【請求項16】

前記映像信号が内視鏡映像信号であり、前記被写体が病変および／またはポリープを含む診断上関連する構造である、請求項１２から１５のいずれか一項に記載のデバイス。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、映像信号の画像における誤検出を低減するための方法、デバイス、およびコンピュータ可読記憶媒体に関する。

【発明の概要】

【発明が解決しようとする課題】

【0002】

人工知能に基づく被写体検出アルゴリズムは、アーチファクト、ぼやけた画像など、訓練されていない非ドメイン被写体に特に敏感である。これに起因する誤検出は、一般的な認識を乱し、実際の情報を不明瞭にする可能性もある。

【0003】

本発明の目的は、映像信号の画像における被写体検出アルゴリズムによる誤検出を低減することである。

【課題を解決するための手段】

【0004】

本発明によれば、この目的は、添付の特許請求の範囲に明記されているように達成される。

【0005】

本発明の第１の実施形態によれば、情報コンテンツのない映像信号の画像において、潜在的に誤検出の計算および表示、例えばディスプレイが抑制される。本発明の第２の実施形態によれば、コンテンツ関連の接続なしに映像信号の複数の画像の連続において、潜在的に誤検出の計算および表示、例えばディスプレイがさらに抑制される。

【0006】

本発明によれば、そのような抑制は、被写体検出アルゴリズム、特に人工知能に基づく被写体検出アルゴリズムの検出の特異性を高める。さらに、被写体検出アルゴリズムは、特定の情報コンテンツを伴う映像信号の画像に対してのみ検出の計算および表示を実行する必要があるため、計算能力を節約することができる。

【0007】

以下で、添付図面を参照して、本発明の実施形態をより詳細に説明する。以下で示す。

【図面の簡単な説明】

【0008】

【図1】本発明の第１の実施形態による映像信号の画像における被写体の検出の計算および表示を抑制するための方法のフローチャートである。

【図2】本発明の実施形態による映像信号の画像に対して実行される計算を説明するための概略図である。

【図3】本発明の第２の実施形態による映像信号の画像における被写体の検出の計算および表示を抑制するための方法のフローチャートである。

【図4】本発明の実施形態を実施することができる回路デバイスの概略ブロック図である。

【発明を実施するための形態】

【0009】

以下で、第１の実施形態について図１を参照して説明する。

【0010】

図１は、本発明の第１の実施形態による映像信号の画像における被写体の検出の計算および表示を抑制するための方法のフローチャートを示す。
映像信号は、例えば、内視鏡デバイスを使用した内視鏡（例えば、胃および／または腸管）によって検出され、映像信号は内視鏡デバイスから出力される。被写体は、例えば、病変、ポリープなどの診断に関連する構造物である。本発明の適用例によれば、被写体の検出は、病変、ポリープなどの検出を含む。

【0011】

内視鏡デバイスは、硬性内視鏡、軟性内視鏡、およびカプセル型内視鏡を含む。
映像信号が図１に示された方法によって処理された後、処理された映像信号の画像における被写体の検出を計算して示すアルゴリズムに供給される。アルゴリズムは、例えば、人工知能に基づくか、または機械学習技術を使用する。

【0012】

図１の処理Ｓ１０１では、映像信号の一連の画像の現在の画像のセクションの情報コンテンツが計算される。情報コンテンツは、例えば、拡張されたエントロピーメトリックに基づいて計算される。次いで、処理Ｓ１０３に進む。

【0013】

画像または画像の詳細または画像セクションのエントロピーのレベルは、画像に存在する情報（例えば、８ビットグレースケール画像内の強度の分布）の確率分布に基づく。被写体に関して関連する情報コンテンツを決定するために、シャノンによって記述されたエントロピーレベルは、拡張されたエントロピーメトリックに空間情報（例えば、画像強度の一次または二次微分）またはテクスチャ情報（例えば、Ｈａｒａｌｉｃｋ特徴またはローカルバイナリパターン）などの追加のコンポーネントを含めることによって拡張される。

【0014】

処理Ｓ１０３では、現在の画像のセクションの計算した情報コンテンツを閾値と比較する。次いで、処理Ｓ１０５に進む。

【0015】

上述の閾値は、例えば、ドメイン固有に、または被写体に関して決定され、独立したテストデータを使用して検証される。したがって、閾値は可変閾値であることが好ましい。

【0016】

計算された情報コンテンツが閾値よりも低いと決定された場合、処理Ｓ１０５では、現在の画像のセクションに対する被写体の計算および表示が抑制される。一実施形態によれば、被写体の検出の計算および表示は、現在の画像のセクションだけでなく、現在の画像に続くさらなる画像の対応するセクションについても抑制される。これらのさらなる画像の数は、例えば、１から１０００個の画像の選択を含む。

【0017】

処理Ｓ１０１、Ｓ１０３、およびＳ１０５は、例えば、一連の全ての画像について繰り返される。一連の画像は、映像信号の一部または全体を含むことができる。

【0018】

例えば、現在の画像Ｎの処理Ｓ１０５の後、現在の画像Ｎ＋１の処理Ｓ１０１が開始される。また、Ｓ１０１の現在の画像Ｎ＋２、Ｓ１０３の現在の画像Ｎ＋１、およびＳ１０５の現在の画像Ｎと処理Ｓ１０１、Ｓ１０３、およびＳ１０５の並列処理も可能である。

【0019】

処理Ｓ１０５において、計算された情報コンテンツＩが閾値ｔ以上であると決定された場合、現在の画像Ｎのセクションまたはさらに、さらなる画像の被写体の検出の計算および表示は、例えば、特定の条件下で許容され得る。

【0020】

セクションは、例えば、現在の画像の詳細全体を含む。代替的に、セクションは、必要に応じて細かく分解された現在の画像の部分を含む。例えば、セクションは、現在の画像の２×２、３×３、．．．などのセグメントの部分を含む。

【0021】

図１に示す方法は、例えば、以下でより詳細に説明する、図４に示す回路デバイス４０によって実施される。

【0022】

ここで、本発明の実施形態による映像信号の画像に対して実行される計算を説明するための概略図を示す、図２を参照する。

【0023】

図１に示す方法では、映像信号の一連の画像の現在の画像Ｎに対して情報コンテンツＩが計算され、閾値と比較される。

【0024】

第２の実施形態によれば、現在の画像Ｎに対する情報コンテンツＩに加えて、現在の画像Ｎに対する特徴Ｃが計算される。さらに、映像信号の一連の画像のうち隣接する、例えば前の画像Ｎ－１、Ｎ－２、Ｎ－３、．．．を介して類似度特徴Ｓが計算される。「隣接画像」は、「前の画像」に限定されないことに留意されたい。例えば、映像信号の非リアルタイム処理の場合には、画像Ｎに続く画像も計算のために考慮することができる。

【0025】

図３は、本発明の第２の実施形態による映像信号の画像における被写体の検出の計算および表示を抑制するための方法のフローチャートを示す。

【0026】

処理Ｓ３０１では、映像信号の一連の画像の現在の画像Ｎを入力する。次いで、処理Ｓ３０３に進み、処理１０１と同様に、現在の画像Ｎのセクションの情報コンテンツＩが計算される。情報コンテンツＩは、例えば、上記のように拡張されたエントロピーメトリックに基づいて計算される。

【0027】

次の処理Ｓ３０５では、処理Ｓ１０３と同様に、現在の画像Ｎのセクションの計算した情報コンテンツＩが閾値ｔ以上であるかどうかを決定する。すなわち、情報コンテンツＩと閾値ｔとを比較する。上述したように、閾値ｔは、例えば、ドメイン固有に、または被写体に関して決定され、独立したテストデータを使用して検証される。好ましくは、閾値ｔは可変である。

【0028】

処理Ｓ３０５において、計算された情報コンテンツＩが閾値ｔ以上でないと決定された場合、処理Ｓ１０５と同様に、このことで最終的に、処理Ｓ３１１において、現在の画像Ｎまたは現在の画像Ｎおよび一連の画像における他の画像のセクションに対する被写体の検出の計算および表示が抑制されることになる。

【0029】

第２の実施形態では、情報コンテンツＩが閾値ｔ未満であるとき、処理Ｓ３０５の後に処理Ｓ３０７が続く。

【0030】

処理Ｓ３０７では、現在の画像Ｎのセクションの特徴Ｃが計算される。次の処理Ｓ３０９では、類似度特徴Ｓが、現在の画像Ｎのセクションの計算された特徴Ｃで更新される。類似度特徴Ｓは、現在の画像Ｎに隣接する、例えばそれに先行する、映像信号の一連の画像の隣接画像Ｎ－１、Ｎ－２、Ｎ－３、．．．を介して計算された。最後に、処理Ｓ３０９の後に処理Ｓ３１１が続く。

【0031】

処理Ｓ３０５において、計算した情報コンテンツＩが閾値ｔ以上であると決定された場合、処理Ｓ３０７に対応する処理Ｓ３１３に進み、現在の画像Ｎのセクションの特徴Ｃが計算される。次の処理Ｓ３１５は、処理Ｓ３０９に対応し、現在の画像Ｎのセクションの計算した特徴Ｃを用いて類似度特徴Ｓが更新される。

【0032】

処理Ｓ３０７またはＳ３１３およびＳ３０９またはＳ３１５は、処理Ｓ３０５の前に実行することもできることに留意されたい。第２の実施形態のこのような構成において、処理Ｓ３０３はまた、処理Ｓ３０７または処理Ｓ３１３の後に実行されてもよいし、処理Ｓ３０９または処理Ｓ３１５の後に実行されてもよい。

【0033】

処理Ｓ３１５に続く処理Ｓ３１７では、更新された類似度特徴Ｓが、少なくとも１つの既知の外乱特性と類似しているかどうかを決定する。

【0034】

処理Ｓ３１７において、更新された類似度特徴Ｓが少なくとも１つの既知の外乱特性と類似していると決定された場合、現在の画像Ｎのセクションに対する被写体の検出の計算および表示を抑制するための処理Ｓ３１１に進む。

【0035】

処理Ｓ３０５において、計算された情報コンテンツＩが閾値ｔ以上であると決定され、処理Ｓ３１７において、更新された類似度特徴Ｓが既知の外乱特性と類似していないと決定された場合、処理Ｓ３１９に進み、現在の画像Ｎのセクションに対する被写体の検出の計算および表示が許可される。

【0036】

図３に示す処理は、例えば、一連の全ての画像について繰り返される。一連の画像は、映像信号の一部または全部を含むことができる。

【0037】

例えば、現在の画像Ｎに対する処理Ｓ３１１またはＳ３１９の後に、映像信号の一連の画像のうちの現在の画像Ｎ＋１に対する処理Ｓ３０１が開始される。しかし、現在の画像Ｎ＋１を入力する前に、現在の画像Ｎに対する処理Ｓ３１１またはＳ３１９の終了を待つ必要はない。

【0038】

図３に示す処理は、並列に実行することもできる。

【0039】

処理Ｓ１０５およびＳ３１１における検出の計算および表示の抑制は、例えば、少なくとも画像Ｎが、被写体の検出を計算および表示し、例えば、前記アルゴリズムに入力される処理された映像信号からそれを除去するためのアルゴリズムに供給されないことを含む。代替的に、処理Ｓ１０５および処理Ｓ３１１において、アルゴリズムに供給される処理された映像信号の中で、少なくとも画像Ｎが編集対象外の画像としてマーキングされる。

【0040】

処理Ｓ３１９における検出の計算および表示を可能にすることは、例えば、画像Ｎが、被写体の検出を計算および表示するためのアルゴリズムに供給される処理された映像信号に残ることを含む。

【0041】

処理Ｓ３０７またはＳ３１３では、例えば、映像信号の画像の典型的な特徴を使用して、現在の画像Ｎの特徴Ｃを計算する。画像の典型的な特徴は、例えば、被写体のタイプに応じて見出される。そのような特徴は、拡張されたエントロピーメトリックと同様に、空間情報（例えば、画像強度の一次または二次微分）またはテクスチャ情報（例えば、Ｈａｒａｌｉｃｋ特徴またはローカルバイナリパターン）に基づく。一実施例によれば、特徴Ｃは間隔を伴うベクトルである。別の実施例によれば、特徴Ｃは一種の決定木である。

【0042】

処理Ｓ３０９またはＳ３１５では、例えば、現在の画像Ｎのセクションと隣接画像Ｎ－１、Ｎ－２、Ｎ－３、．．．のセクションとの間の類似度メトリックに基づいて、類似度特徴Ｓを更新する。類似度特徴Ｓは、隣接画像Ｎ－１、Ｎ－２、Ｎ－３、．．．の特徴Ｃから構成される。個々の特徴がどのようにリンク付けられるかは、特徴のタイプに依存する。

【0043】

類似度特徴が計算される基礎となる隣接画像Ｎ－１、Ｎ－２、Ｎ－３、．．．の数は、例えば、１個の画像から１００個の画像である。

【0044】

処理Ｓ３１７では、更新された類似度特徴Ｓが、少なくとも１つの既知の外乱特性と類似しているかどうかを決定する。

【0045】

外乱特性は、上述したような特性の表現である。外乱特性は、例えば、間隔を伴うベクトルまたは決定木であり、計算された特徴（例えば、Ｈａｒａｌｉｃｋ特徴）が間隔内にあるかどうかなどが各ノードで決定される。既知の所定の外乱特性には、例えば、水洗水および水洗アーチファクト、内視鏡デバイスのレンズが粘膜上に直接載置され、したがって目に見える全てのものが内視鏡デバイスのレンズの焦点範囲外にあるときに生じるぼけ画像、内視鏡検査中の急速な動きまたは内視鏡デバイスのレンズの汚れによって生じるぼけ画像が含まれる。

【0046】

実装形態に応じて、更新された類似度特徴Ｓが少なくとも１つの既知の外乱特性と類似しているかどうかを決定するために、間隔または決定木のベクトルが比較され、それらが十分に類似しているかどうかが決定される。例えば、両方の場合において、既知の外乱特性が類似度特徴Ｓに含まれるかどうか、またはその逆を決定するために間隔が使用される。

【0047】

例えば、既知の外乱特性は、上述したような特徴のベクトルなどの特定の表現であり、類似度特徴Ｓは間隔からなる。ベクトルの個々の値が類似度特徴Ｓのベクトルの間隔内にある場合、既知の外乱特性および類似度特徴Ｓは類似している。

【0048】

一方、類似度特徴Ｓが特定の表現であり、既知の外乱特性が間隔からなる場合、これは好ましい実装形態を構成し、特定の表現の値が間隔に含まれる場合、特性は類似している。すなわち、類似度特徴Ｓが既知の外乱特性の少なくとも１つに含まれている場合、類似度特徴はそれに類似している。

【0049】

第２の実施形態の構成によれば、現在の画像Ｎの計算されたセクションの特徴Ｃに重み付けを行い、現在の画像Ｎのセクションの重み付けされ計算された特徴で類似度特徴Ｓが更新されるので、類似度特徴に対する画像の影響を制御することができる。例えば、時間的に前の画像よりも現在の画像に大きな影響を与える重み付けが適用される。一実施例によれば、この関係は線形である。別の実施例によれば、この関係はさらなるパラメータに結合される。

【0050】

図３に示す方法は、例えば、図４に示す回路デバイス４０によって実施される。

【0051】

回路デバイス４０は、１つまたは複数のプロセッサ（例えば、ＣＰＵ）などの処理手段（例えば、処理回路）４１、１つまたは複数の読み出し専用メモリ（ＲＯＭ）、１つまたは複数のランダムアクセスメモリ（ＲＡＭ）などの記憶手段（例えば、記憶回路）４２、およびインターフェース（例えば、インターフェース回路）４３を備える。

【0052】

本発明の一実施例によれば、記憶手段４２は、処理手段４１によって実行されると、図１に示す方法または図３に示す方法を実施するプログラムを記憶する。

【0053】

別の実施例によれば、図１または図３に示す方法は、処理手段４１、記憶手段４２、およびインターフェース４３を使用する専用の回路構造によって実施される。例えば、処理手段４１および記憶手段は、本発明の一実施形態によるデバイスの計算手段、決定手段、抑制手段、または許可手段を実現する。

【0054】

回路デバイス４０は、インターフェース４３を介して、一方では、例えば内視鏡デバイスから映像信号を受信し、他方では、処理された映像信号を、処理された映像信号の被写体の検出を計算して示すためのアルゴリズムに出力する。

【0055】

本発明によれば、映像信号は、その画像コンテンツに基づいてフィルタリングされ、このように処理された映像信号は、処理された映像信号の被写体の検出を計算して示すためのアルゴリズムに供給される。画像コンテンツに基づくフィルタリングは、検出の特性および分布に基づくフィルタリングと比較して、アルゴリズムにおける検出の表示に追加の遅延が全く生じないという利点を有する。

【図1】

【図2】

【図3】

【図4】

【国際調査報告】