知財求人 - 知財ポータルサイト「IP Force」
特開2023-169890内視鏡画像処理方法、情報処理装置、及びコンピュータプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023169890
(43)【公開日】2023-11-30
(54)【発明の名称】内視鏡画像処理方法、情報処理装置、及びコンピュータプログラム
(51)【国際特許分類】
A61B 1/045 20060101AFI20231122BHJP
【ＦＩ】
A61B1/045 615
【審査請求】未請求
【請求項の数】15
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2023081638
(22)【出願日】2023-05-17
(31)【優先権主張番号】202210540809.8
(32)【優先日】2022-05-17
(33)【優先権主張国・地域又は機関】CN
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＳＭＡＬＬＴＡＬＫ
(71)【出願人】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100103894
【弁理士】
【氏名又は名称】家入 健
(72)【発明者】
【氏名】リー ヤンリー
(72)【発明者】
【氏名】ジャン ニー
【テーマコード（参考）】
4C161
【Ｆターム（参考）】
4C161CC06
4C161JJ11
4C161JJ17
4C161NN05
4C161SS18
4C161WW02
(57)【要約】 （修正有）
【課題】本開示の実施形態は、内視鏡画像処理の方法、情報処理装置、及びコンピュータ可読記憶媒体を提供する。
【解決手段】本開示の実施形態にかかる内視鏡画像処理方法は、内視鏡ビデオストリームにおける内視鏡画像を受信することを含む。当該方法は、内視鏡画像の画像特性の画像特性値が閾値条件を満たさないこと、及びはポイント特性の少なくとも一方が要件を満たさないことに応じて、プロンプト情報を提供することをさらに含む。
【選択図】図３
【解決手段】本開示の実施形態にかかる内視鏡画像処理方法は、内視鏡ビデオストリームにおける内視鏡画像を受信することを含む。当該方法は、内視鏡画像の画像特性の画像特性値が閾値条件を満たさないこと、及びはポイント特性の少なくとも一方が要件を満たさないことに応じて、プロンプト情報を提供することをさらに含む。
【選択図】図３
【特許請求の範囲】
【請求項1】
内視鏡ビデオストリームにおける内視鏡画像を受信することと、
前記内視鏡画像の画像特性の画像特性値が閾値条件を満たさないこと、及びポイント特性の少なくとも一方が要件を満たさないことに応じて、プロンプト情報を提供することと、
を含む、
内視鏡画像処理方法。
前記内視鏡画像の画像特性の画像特性値が閾値条件を満たさないこと、及びポイント特性の少なくとも一方が要件を満たさないことに応じて、プロンプト情報を提供することと、
を含む、
内視鏡画像処理方法。
【請求項2】
前記画像特性値は、前記内視鏡画像に対応するポイントの特徴領域と関連する、
請求項１に記載の内視鏡画像処理方法。
請求項１に記載の内視鏡画像処理方法。
【請求項3】
前記画像特性は、不鮮明さ、露出度、付着物の種類のうち少なくとも１つを含み、
各画像特性は、少なくとも１つのランクカテゴリを含む、
請求項１に記載の内視鏡画像処理方法。
各画像特性は、少なくとも１つのランクカテゴリを含む、
請求項１に記載の内視鏡画像処理方法。
【請求項4】
前記画像特性は付着物の種類を含み、
前記方法は、前記内視鏡画像の付着物の種類に対応する画像特性値が、前記内視鏡画像に付着物が存在することを示すことに応じて、前記内視鏡画像の画像特性の画像特性値が閾値条件を満たさないと決定することを含み、
プロンプト情報を提供することは、表示されている前記内視鏡画像又は前記内視鏡ビデオストリームのビデオフレームにおいて、マーキング方式によって、前記付着物が位置する領域をマーキングすることを含む、
請求項３に記載の内視鏡画像処理方法。
前記方法は、前記内視鏡画像の付着物の種類に対応する画像特性値が、前記内視鏡画像に付着物が存在することを示すことに応じて、前記内視鏡画像の画像特性の画像特性値が閾値条件を満たさないと決定することを含み、
プロンプト情報を提供することは、表示されている前記内視鏡画像又は前記内視鏡ビデオストリームのビデオフレームにおいて、マーキング方式によって、前記付着物が位置する領域をマーキングすることを含む、
請求項３に記載の内視鏡画像処理方法。
【請求項5】
前記画像特性値はベクトルによって表され、前記ベクトルの各要素は、対応する画像特性のランクカテゴリを表し、
前記方法は、
前記ベクトルの各要素を、閾値ベクトルにおける対応する要素と比較することと、
前記ベクトルの少なくとも１つの要素が、前記閾値ベクトルにおける対応する要素とマッチングすることに応じて、前記画像特性値が前記閾値条件を満たさないと決定することと、
をさらに含む、
請求項３に記載の内視鏡画像処理方法。
前記方法は、
前記ベクトルの各要素を、閾値ベクトルにおける対応する要素と比較することと、
前記ベクトルの少なくとも１つの要素が、前記閾値ベクトルにおける対応する要素とマッチングすることに応じて、前記画像特性値が前記閾値条件を満たさないと決定することと、
をさらに含む、
請求項３に記載の内視鏡画像処理方法。
【請求項6】
前記内視鏡画像のスーパーピクセル分割を行って、少なくとも１つのスーパーピクセルを取得することと、
前記少なくとも１つのスーパーピクセルに対して特徴抽出を行ってスーパーピクセル特徴を取得することであって、前記スーパーピクセル特徴が、色特徴、テクスチャ特徴、エッジ特徴、及び反射特徴のうち少なくとも１つを含むことと、
前記少なくとも１つのスーパーピクセルの前記スーパーピクセル特徴と、前記内視鏡画像に対応するポイントの特徴領域情報とに基づいて、前記内視鏡画像の前記画像特性値を決定することと、
をさらに含む、
請求項１に記載の内視鏡画像処理方法。
前記少なくとも１つのスーパーピクセルに対して特徴抽出を行ってスーパーピクセル特徴を取得することであって、前記スーパーピクセル特徴が、色特徴、テクスチャ特徴、エッジ特徴、及び反射特徴のうち少なくとも１つを含むことと、
前記少なくとも１つのスーパーピクセルの前記スーパーピクセル特徴と、前記内視鏡画像に対応するポイントの特徴領域情報とに基づいて、前記内視鏡画像の前記画像特性値を決定することと、
をさらに含む、
請求項１に記載の内視鏡画像処理方法。
【請求項7】
スーパーピクセル特徴ライブラリを取得することであって、前記スーパーピクセル特徴ライブラリには、サンプルスーパーピクセルのサンプルスーパーピクセル特徴と、前記サンプルスーパーピクセルに対応する画像特性値とが格納されていることと、
少なくとも１つのポイントの特徴領域情報を取得することであって、前記少なくとも１つのポイントの特徴領域情報が、前記内視鏡画像に対応する前記ポイントの特徴領域を表すことと、
をさらに含む、
請求項６に記載の内視鏡画像処理方法。
少なくとも１つのポイントの特徴領域情報を取得することであって、前記少なくとも１つのポイントの特徴領域情報が、前記内視鏡画像に対応する前記ポイントの特徴領域を表すことと、
をさらに含む、
請求項６に記載の内視鏡画像処理方法。
【請求項8】
前記少なくとも１つのスーパーピクセルの前記スーパーピクセル特徴と、前記内視鏡画像に対応するポイントの特徴領域情報とに基づいて、前記内視鏡画像の前記画像特性値を決定することは、
前記画像特性の各画像特性について、前記少なくとも１つのスーパーピクセルにおける第１スーパーピクセルの少なくとも１つの対応度を決定すること、を含み、
前記少なくとも１つの対応度は、前記各画像特性における少なくとも１つのランクカテゴリにそれぞれ対応し、前記第１スーパーピクセルと対応するランクカテゴリとの対応性を表す、
請求項７に記載の内視鏡画像処理方法。
前記画像特性の各画像特性について、前記少なくとも１つのスーパーピクセルにおける第１スーパーピクセルの少なくとも１つの対応度を決定すること、を含み、
前記少なくとも１つの対応度は、前記各画像特性における少なくとも１つのランクカテゴリにそれぞれ対応し、前記第１スーパーピクセルと対応するランクカテゴリとの対応性を表す、
請求項７に記載の内視鏡画像処理方法。
【請求項9】
前記少なくとも１つのスーパーピクセルにおける第１スーパーピクセルの少なくとも１つの対応度を決定することは、
前記第１スーパーピクセルのスーパーピクセル特徴と、前記スーパーピクセル特徴ライブラリにおいて前記各画像特性における前記少なくとも１つのランクカテゴリに対応するサンプルスーパーピクセルのスーパーピクセル特徴とをそれぞれ比較して、前記第１スーパーピクセルの前記少なくとも１つの対応度を決定することを含む、
請求項８に記載の内視鏡画像処理方法。
前記第１スーパーピクセルのスーパーピクセル特徴と、前記スーパーピクセル特徴ライブラリにおいて前記各画像特性における前記少なくとも１つのランクカテゴリに対応するサンプルスーパーピクセルのスーパーピクセル特徴とをそれぞれ比較して、前記第１スーパーピクセルの前記少なくとも１つの対応度を決定することを含む、
請求項８に記載の内視鏡画像処理方法。
【請求項10】
前記少なくとも１つのスーパーピクセルの前記スーパーピクセル特徴と、前記内視鏡画像に対応するポイントの特徴領域情報とに基づいて、前記内視鏡画像の前記画像特性値を決定することは、
前記内視鏡ビデオストリームにおける、前記内視鏡画像の前の内視鏡画像を取得することと、
前記第１スーパーピクセルと、前記前の内視鏡画像における前記第１スーパーピクセルのマッチングスーパーピクセルとに基づいて、前記第１スーパーピクセルと、前記マッチングスーパーピクセルとの時空間の類似度を決定することと、
をさらに含む、
請求項８に記載の内視鏡画像処理方法。
前記内視鏡ビデオストリームにおける、前記内視鏡画像の前の内視鏡画像を取得することと、
前記第１スーパーピクセルと、前記前の内視鏡画像における前記第１スーパーピクセルのマッチングスーパーピクセルとに基づいて、前記第１スーパーピクセルと、前記マッチングスーパーピクセルとの時空間の類似度を決定することと、
をさらに含む、
請求項８に記載の内視鏡画像処理方法。
【請求項11】
前記少なくとも１つのスーパーピクセルの前記スーパーピクセル特徴と、前記内視鏡画像に対応するポイントの特徴領域情報とに基づいて、前記内視鏡画像の前記画像特性値を決定することは、
前記各画像特性について、前記時空間の類似度に対し、それぞれ前記少なくとも１つの対応度とともに重み付け処理を行って、少なくとも１つのマッチング度を取得することをさらに含み、
前記少なくとも１つのマッチング度は、前記各画像特性における少なくとも１つのランクカテゴリにそれぞれ対応し、前記第１スーパーピクセルと前記対応するランクカテゴリとの一致性を表す、
請求項１０に記載の内視鏡画像処理方法。
前記各画像特性について、前記時空間の類似度に対し、それぞれ前記少なくとも１つの対応度とともに重み付け処理を行って、少なくとも１つのマッチング度を取得することをさらに含み、
前記少なくとも１つのマッチング度は、前記各画像特性における少なくとも１つのランクカテゴリにそれぞれ対応し、前記第１スーパーピクセルと前記対応するランクカテゴリとの一致性を表す、
請求項１０に記載の内視鏡画像処理方法。
【請求項12】
前記少なくとも１つのスーパーピクセルの前記スーパーピクセル特徴と、前記内視鏡画像に対応するポイントの特徴領域情報とに基づいて、前記内視鏡画像の前記画像特性値を決定することは、
前記各画像特性について、前記少なくとも１つのマッチング度と、前記内視鏡画像に対応する特徴領域情報とに基づいて、前記各画像特性についての前記内視鏡画像の画像特性サブ値を決定することと、
前記各画像特性に対応する画像特性サブ値の組合せを、前記画像特性値として決定することと、
をさらに含む、
請求項１１に記載の内視鏡画像処理方法。
前記各画像特性について、前記少なくとも１つのマッチング度と、前記内視鏡画像に対応する特徴領域情報とに基づいて、前記各画像特性についての前記内視鏡画像の画像特性サブ値を決定することと、
前記各画像特性に対応する画像特性サブ値の組合せを、前記画像特性値として決定することと、
をさらに含む、
請求項１１に記載の内視鏡画像処理方法。
【請求項13】
前記内視鏡画像に対応する特徴領域情報は、前記内視鏡画像に対応するポイントマスクマップを含み、
前記各画像特性について、前記少なくとも１つのマッチング度と、前記内視鏡画像に対応する特徴領域情報とに基づいて、前記各画像特性についての前記内視鏡画像の画像特性サブ値を決定することは、
前記各画像特性の前記少なくとも１つのランクカテゴリにおける各ランクカテゴリについて、
前記少なくとも１つのスーパーピクセルにおける各スーパーピクセルを前記各ランクカテゴリに対応させたマッチング度と、前記ポイントマスクマップを前記各スーパーピクセルに対応させたマスク平均値とについて重み付け処理を行って、前記少なくとも１つのスーパーピクセルの、前記各ランクカテゴリに対する重み付きマッチング度を取得する動作を行うことにより、
少なくとも１つの重み付きマッチング度を取得することと、
前記少なくとも１つの重み付きマッチング度の最大値を決定することと、
前記最大値に対応するランクカテゴリの値を、前記各画像特性についての前記内視鏡画像の前記画像特性サブ値として決定することと、
を含む、
請求項１２に記載の内視鏡画像処理方法。
前記各画像特性について、前記少なくとも１つのマッチング度と、前記内視鏡画像に対応する特徴領域情報とに基づいて、前記各画像特性についての前記内視鏡画像の画像特性サブ値を決定することは、
前記各画像特性の前記少なくとも１つのランクカテゴリにおける各ランクカテゴリについて、
前記少なくとも１つのスーパーピクセルにおける各スーパーピクセルを前記各ランクカテゴリに対応させたマッチング度と、前記ポイントマスクマップを前記各スーパーピクセルに対応させたマスク平均値とについて重み付け処理を行って、前記少なくとも１つのスーパーピクセルの、前記各ランクカテゴリに対する重み付きマッチング度を取得する動作を行うことにより、
少なくとも１つの重み付きマッチング度を取得することと、
前記少なくとも１つの重み付きマッチング度の最大値を決定することと、
前記最大値に対応するランクカテゴリの値を、前記各画像特性についての前記内視鏡画像の前記画像特性サブ値として決定することと、
を含む、
請求項１２に記載の内視鏡画像処理方法。
【請求項14】
請求項１～１３に記載の内視鏡画像処理方法を実行するように設定されたプロセッサを含む、
情報処理装置。
情報処理装置。
【請求項15】
装置において実行された場合に、前記装置に請求項１～１３に記載の内視鏡画像処理方法を実行させる、
コンピュータプログラム。
コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示の実施形態は画像処理分野に関し、より具体的には、内視鏡画像処理方法、情報処理装置、及び記憶媒体に関する。
【背景技術】
【0002】
医療技術の絶え間ない発展に伴い、内視鏡（例えば胃カメラ又は腸鏡等）は、医師が消化管の疾患を診断する際の補助手段として、ますます重要なものとなってきている。内視鏡検査のプロセスでは、医師が内視鏡を検査対象器官に挿入し、内視鏡のレンズが感知した情報が画像及び映像の少なくとも一方の形式で医師に表示される。
【0003】
内視鏡レンズが感知した画像には、例えば、画像の不鮮明さ、露出過度、露出不足、様々な付着物（黄色い粘液、水のような粘液、便等）といった種々の問題が存在する可能性がある。さらに、それぞれの医師の経験が異なり、内視鏡操作の熟練度も異なり、医師が内視鏡を操作して検査を行うプロセスで、内視鏡を操作する向きが不正確な可能性があり、例えば、全てのポイントが撮られていない、ポイントの位置が反転している、ポイントの位置がずれている等の状況が生じ得る。そのため、内視鏡検査のプロセスでは、如何に内視鏡画像の画像特性及びポイント特性の少なくとも一方をより正確に評価し、要件を満たさない内視鏡画像を医師等のユーザに示すかが早急に解決すべき課題となっている。
【発明の概要】
【発明が解決しようとする課題】
【0004】
本開示の実施形態は、内視鏡画像処理の方法、情報処理装置、及びコンピュータ可読記憶媒体を提供する。
【課題を解決するための手段】
【0005】
本開示の第１の態様では、内視鏡画像処理のための方法が提供される。当該方法は、内視鏡ビデオストリームにおける内視鏡画像を受信することを含む。当該方法は、内視鏡画像の画像特性の画像特性値が閾値条件を満たさないこと、及びポイント特性が要件を満たさないことの少なくとも一方に応じて、プロンプト情報を提供することをさらに含む。
【0006】
本開示の第２の態様では、内視鏡システムが提供される。当該内視鏡システムは、内視鏡ビデオストリームにおける内視鏡画像を取得するための内視鏡と、当該内視鏡画像を表示するためのディスプレイと、本開示の第１の態様に記載の内視鏡画像処理方法を実行するように設定された画像処理装置と、を含む。
【0007】
本開示の第３の態様では、情報処理装置が提供される。当該情報処理装置はプロセッサを含み、当該プロセッサは、本開示の第１の態様に記載の内視鏡画像処理方法を実行するように設定されている。
【0008】
本開示の第４の態様では、コンピュータ可読記憶媒体が提供される。当該コンピュータ可読記憶媒体には、マシン可読命令が格納されており、当該マシン可読命令は、装置により実行された場合に、当該装置に、本開示の第１の態様に記載の内視鏡画像処理方法を実行させる。
【0009】
発明の概要部分は、一連の概念を簡略化して紹介するためのものである。これらについては、以下の実施形態においてさらに説明を行う。発明の概要部分の記述は、本開示の重要又は必要な特徴を標記することを意図したものではなく、本開示の範囲を限定することも意図していない。本開示のその他の特徴は、以下の説明により容易に理解できるはずである。
【図面の簡単な説明】
【0010】
本発明の目的、利点、及びその他の特徴は、以下の開示内容及び請求項から、より明らかになるはずである。ここでは、あくまで例示を目的として、図面を参照して好ましい実施形態の非限定的な説明を行う。
【0011】
【図1A】画像特性が要件を満たさないいくつかの例示的な状況を模式的に示す。
【図1B】画像特性が要件を満たさないいくつかの例示的な状況を模式的に示す。
【図1C】画像特性が要件を満たさないいくつかの例示的な状況を模式的に示す。
【図1D】画像特性が要件を満たさないいくつかの例示的な状況を模式的に示す。
【図1E】画像特性が要件を満たさないいくつかの例示的な状況を模式的に示す。
【図1F】画像特性が要件を満たさないいくつかの例示的な状況を模式的に示す。
【図2】本開示の実施形態にかかる、内視鏡画像処理のための例示的なシステムのブロック図を示す。
【図3】本開示の実施形態にかかる、内視鏡画像処理のための例示的な方法３００のフローチャートを示す。
【図4】本開示の実施形態にかかる、内視鏡画像の画像特性値を決定するための例示的な方法４００のフローチャートを示す。
【図5A】本開示の実施形態にかかる内視鏡画像と、その対応するスーパーピクセル分割結果の図を示す。
【図5B】本開示の実施形態にかかる内視鏡画像と、その対応するスーパーピクセル分割結果の図を示す。
【図5C】本開示の実施形態にかかる内視鏡画像と、その対応するスーパーピクセル分割結果の図を示す。
【図5D】本開示の実施形態にかかる内視鏡画像と、その対応するスーパーピクセル分割結果の図を示す。
【図5E】本開示の実施形態にかかる内視鏡画像と、その対応するスーパーピクセル分割結果の図を示す。
【図5F】本開示の実施形態にかかる内視鏡画像と、その対応するスーパーピクセル分割結果の図を示す。
【図6】本開示の実施形態にかかる胃角部のポイントマスクマップの例示を模式的に示す。
【図7】本開示の実施形態にかかる、内視鏡画像の画像特性値を決定するための例示的な方法７００のフローチャートを示す。
【図8A】本開示の実施形態にかかる分割領域の模式図を模式的に示す。
【図8B】本開示の実施形態にかかる分割領域の模式図を模式的に示す。
【図9】本開示の実施形態を実施可能な例示的な装置９００の概略ブロック図を示す。 各図において、同一又は対応する符号は、同一又は対応する部分を示す。
【発明を実施するための形態】
【0012】
以下、図面を参照しつつ、本開示の実施形態についてより詳細に説明する。図には本開示のいくつかの実施形態が示されているが、理解すべき点として、本開示は様々な形式で実施することが可能であり、ここに記載された実施形態に限定されると解釈すべきではなく、これら実施形態はむしろ、本開示をより徹底的且つ完全に理解するために提供されるものである。また、本開示の図面及び実施形態は例示的なものにすぎず、本開示の保護範囲を限定するためのものではない点も、理解されなければならない。
【0013】
本開示の実施形態の説明において、「含む」及び類似の用語は開放的なもの、すなわち「…を含むが、これらに限定されない」と理解されるべきである。用語「…に基づいて」は、「少なくとも部分的に基づく」と理解されるべきである。用語「１つの実施形態」又は「当該実施形態」は、「少なくとも１つの実施形態」と理解されるべきである。用語「第１」、「第２」等は、異なるか又は同一の対象を示すことができる。以下の文中ではさらに、その他の明確な定義及び暗黙の定義が含まれる可能性がある。
【0014】
上述したように、内視鏡検査プロセスにおいて、内視鏡画像の画像特性を如何にしてより正確、迅速、確実に評価し、要件を満たさない内視鏡画像を医師等のユーザに示すかは、早急に解決すべき問題である。
【0015】
図１Ａ～図１Ｆは、内視鏡検査のプロセスにおいて、取得した内視鏡画像の画像特性が要件を満たさないいくつかの例示的な状況を模式的に示す。図１Ａ～図１Ｆはそれぞれ、画像の軽度な不鮮明さ、画像の重度の不鮮明さ、画像の露出過度、画像の露出不足、黄色い粘液の付着、水のような粘液の付着の状況である。このような画像特性を有する内視鏡画像は、通常、病変部位に対する医師の判断に影響を与える。また、内視鏡検査の最中に要件を満たす画像を取得するための一定の措置を講じるよう適時に医師に示すことができない場合、患者に再検査が必要になる可能性もあり、これは患者に不快感を与える。
【0016】
また、それぞれの医師の経験が異なり、内視鏡操作の熟練度も異なるため、医師が内視鏡を操作して検査を行うプロセスで、内視鏡を操作する向きが不正確な可能性があり、例えば、全てのポイントが撮られていない、ポイントの位置が反転している、ポイントの位置がずれている等の状況が生じ得る。このような状況で取得された内視鏡画像及び映像の少なくとも一方では、医師は病変部位に対し正確な判断を下すことができない。
【0017】
図２は、本開示の実施形態にかかる、内視鏡画像処理システム２００の例示的なブロック図を示す。図２に示すシステム２００は、本開示の実施形態を実施可能な１つの例示にすぎず、本開示の範囲を限定することを意図していない。本開示の実施形態は、他のシステム又はアーキテクチャにも同様に適用される。
【0018】
図２に示すように、内視鏡画像処理システム２００は、内視鏡２１０と、内視鏡画像処理装置２２０と、表示装置２３０とを含む。内視鏡２１０は、例えば、腸鏡（十二指腸鏡、大腸カメラ等）、胃カメラ等の様々な種類及び機種の内視鏡を含んでもよい。本開示は、内視鏡の仕様及び機種を限定しない。一実施形態において、内視鏡２１０は、検査される患者の内視鏡画像のビデオストリームを取得するために用いられてもよい。画像処理装置２２０は、内視鏡のビデオストリームを受信し、ビデオストリーム内の内視鏡画像を取得するために用いられてもよい。画像処理装置２２０はさらに、内視鏡画像を表示装置２３０に表示してもよい。画像処理装置２２０は、内視鏡画像の画像特性値が閾値条件を満たさない場合、及びポイント特性が要件を満たさない場合の少なくとも一方において、プロンプト情報を提供してもよい。いくつかの実施形態において、プロンプト情報は、可視化された形式で表示装置２３０に表示されるか、又は、例えば指示灯等によって示されてもよい。また、プロンプト情報は、音声によってユーザ（例えば、医師）に示されてもよい。本開示は、プロンプト情報の具体的な形態を限定しない。一実施形態において、画像装置２２０は、画像特性値が閾値条件を満たさない場合、及びはポイント特性が要件を満たさない場合の少なくとも一方において、医師等のユーザに適時に示すために、リアルタイム又はほぼリアルタイムでプロンプト情報を提供してもよい。
【0019】
本開示の実施形態にかかる画像処理装置２２０には、プロセッサとメモリとからなる任意の種類の処理装置が含まれてもよい。例えば、パーソナルコンピュータ、サーバコンピュータ、携帯機器又はラップトップ機器、モバイル機器、マルチプロセッサシステム、家電製品、ミニコンピュータ、メインフレーム、上記システム又は機器のいずれかを含む分散コンピューティング環境等が含まれるが、これらに限定されない。また、画像処理装置２２０は、内視鏡２１０及び表示装置２３０とローカルで接続されて、ローカルで内視鏡画像を処理するために用いられてもよい。さらに、画像処理装置２２０は、内視鏡２１０及び表示装置２３０とネットワークを介して接続されて、リモートで内視鏡画像を処理してもよい。本開示は、これについて限定しない。
【0020】
本開示の実施形態にかかる表示装置２３０には、ブラウン管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ（ＰＤＰ）、発光ダイオード（ＬＥＤ）及び有機ＥＬ（ＯＬＥＤ）のいずれか等、様々な種類の表示装置が含まれてもよい。本開示は、これについて限定しない。
【0021】
また、図２のシステムでは、内視鏡２１０、内視鏡画像処理装置２２０、及び表示装置２３０が、別々の構成要素として示されているが、当業者が理解すべき点として、内視鏡２１０、内視鏡画像処理装置２２０、及び表示装置２３０は、任意の形態で統合されて操作されてもよく、例えば、内視鏡画像処理装置２２０は、内視鏡２１０及び表示装置２３０の少なくとも一方と統合されて内視鏡画像を処理してもよく、本開示は、統合の具体的な形態及び統合される装置について限定しない。
【0022】
図３は、本開示の実施形態にかかる、内視鏡画像処理のための例示的な方法３００のフローチャートを示す。図３の方法３００は、図２に示すような内視鏡画像処理装置２２０によって実行されてもよい。理解すべき点として、方法３００はさらに、図示されていない付加的動作を含んでもよく、且つ／又は示されたいくつかの動作を省略してもよい。本開示の範囲は、この点において限定されない。
【0023】
ブロック３０２において、内視鏡画像処理装置２２０は、内視鏡ビデオストリームにおける内視鏡画像を受信する。
【0024】
内視鏡ビデオストリームは、内視鏡２１０によって取得されてもよく、内視鏡画像処理装置２２０は、内視鏡２１０から内視鏡ビデオストリームを受信し、ビデオストリーム内の内視鏡画像を取得し、内視鏡画像を表示装置２３０に表示してもよい。例えば、内視鏡検査のプロセスでは、医師が内視鏡で患者の器官の異なるポイントを探るのに伴い、内視鏡は異なるポイントの画像を感知してもよい。内視鏡画像処理装置２２０は、異なるポイントの画像をリアルタイムで受信し、受信した画像を表示装置２３０に表示してもよい。
【0025】
ブロック３０４において、内視鏡画像処理装置２２０は、内視鏡画像の画像特性の画像特性値が閾値条件を満たさないこと、及びポイント特性が要件を満たさないことの少なくとも一方に応じて、プロンプト情報を提供する。
【0026】
一実施形態において、内視鏡画像処理装置２２０は、内視鏡画像の画像特性の画像特性値を決定し、画像特性値を閾値条件と比較し、内視鏡画像の画像特性の画像特性値が閾値条件を満たさない場合及びポイント特性が要件を満たさない場合の少なくとも一方においては、内視鏡によって現在感知されている画像が要件を満たさないことを明示し、それに応じて内視鏡画像処理装置２２０は、表示情報を提供してもよい。例えば、内視鏡画像処理装置は、リアルタイム又はほぼリアルタイムで表示情報を提供してもよい。
【0027】
一実施形態において、画像特性は、不鮮明さ、露出度、付着物の種類のうち少なくとも１つを含んでもよく、各画像特性は、少なくとも１つのランクカテゴリを含んでもよい。例えば、不鮮明さは５ランクに分けてもよく、例えばベクトル形式で［０，１，２，３，４］と表してもよい。各要素は対応する不鮮明さのランクをそれぞれ表してもよく、例えば、ベクトルの「２」は不鮮明さのランクが２であることを表す。露出度は３ランクに分けてもよく、例えばベクトル形式で［０，１，２］と表してもよい。各要素は対応する露出度のランクをそれぞれ表してもよく、例えば、ベクトルの「１」は露出度のランクが１であることを表す。付着物の種類は４つの区分に分けてもよく、例えばベクトル形式で［０，１，２，３］と表してもよい。要素「０」は正常、要素「１」は黄色い粘液、要素「２」は便、要素「３」は水のような粘液を表す。付着物の種類については、例示的に数値として表しているが、理解すべき点として、他の形態の値（例えば、アルファベット値、符号値等）を用いて、対応する付着物の種類を表してもよい。
【0028】
したがって、一実施形態において、画像特性値は、ベクトルによって表されてもよい。画像特性値のベクトルの各要素は、対応する画像特性のランクカテゴリを表し、各要素値は、対応するランクカテゴリの値と等しい。例えば、画像特性値のベクトルが［２，１，３］の場合を例に説明する。当該ベクトルの各要素は順に、不鮮明さ、露出度、付着物の種類に対応し、したがって、上述した画像特性値のベクトルは、当該内視鏡画像の不鮮明さのランクが２、露出度ランクが１、付着物の種類が水のような粘液であることを表す。
【0029】
画像特性値が閾値条件を満たすか否かを決定するために、一実施形態において、内視鏡画像処理装置２２０は、画像特性値ベクトルＶ１の各要素を、閾値ベクトルＶｔｈにおける対応する要素と比較し、画像特性値ベクトルＶ１の少なくとも１つの要素が閾値ベクトルＶｔｈにおける対応する要素とマッチングすることに応じて、画像特性値が閾値条件を満たさないと決定してもよい。このステップでのマッチングは、画像特性に関係する。例えば、画像特性の不鮮明さについて、マッチングは、画像特性値ベクトルＶ１において不鮮明さに対応する要素の値（画像特性サブ値Ｚ１）が、不鮮明さランク閾値（Ｚｔｈ１）よりも大きいことを表す。すなわち不鮮明さが不鮮明さランク閾値よりも大きい画像は要件を満たさない。例えば、不鮮明さランク閾値Ｚｔｈ１が２に等しいと、不鮮明さが２より大きい画像は、不鮮明さが高すぎるため要件を満たさない。例えば、画像特性における露出度について、マッチングは、画像特性値ベクトルＶ１において露出度に対応する要素の値（画像特性サブ値Ｚ２）が、第１露出度ランク閾値（Ｚｔｈ２）よりも小さいか、又は第２露出度ランク閾値（Ｚｔｈ３）よりも大きいことを示す。すなわち露出度が低すぎる画像又は露出度が高すぎる画像は、いずれも要件を満たさない。また例えば、画像特性における付着物の種類について、マッチングは、画像特性値ベクトルＶ１において付着物の種類に対応する要素の値（画像特性サブ値Ｚ３）が、カテゴリ閾値に等しいことを表す。例えば、Ｚ３が「１」に等しい場合は黄色い粘液を表し、Ｚ３が「２」に等しい場合は便を表し、Ｚ３が「３」に等しい場合は水のような粘液を表す。
【0030】
一実施形態において、ポイント特性は、ポイントの方向性、ポイントのずれ、ポイントの完全性のうち少なくとも１つを含んでもよい。医師が内視鏡を操作して検査を行うプロセスでは、内視鏡を操作する向きが不正確な場合があるため、全てのポイントが撮られていない、ポイントの位置が反転している、ポイントの位置がずれている等の状況が生じる可能性がある。取得したポイント特性が要件を満たすか否かの決定をする際、内視鏡画像処理装置は、分類ベースのアルゴリズム（例えば、サポートベクターマシンＳＶＭ等の分類アルゴリズム、又は深層学習ベースの分類アルゴリズム）を利用して、判定を行ってもよい。一実施形態において、２段階の分類器を用いてポイント特性判定を実行してもよい。例えば、胃部が３０個のポイントを含む場合を例に説明する。第１段階の分類器は、胃部の３０個のポイントのそれぞれを表す３０個のカテゴリを有してもよい。第２段階の分類器のカテゴリは、各ポイントでの標準収集カテゴリ、ポイントずれ発生カテゴリ、ポイント位置反転カテゴリ、ポイント不完全カテゴリとして定義してもよい。したがって、該当するポイントでの２段階の分類器は４つのカテゴリを有する。ポイント特性を決定する場合、まず第１段階の分類器を利用して、ポイントの帰属、例えば、ポイントが胃角に属すると判定してもよく、その後、第２段階の分類器を呼び出して、ポイント特性を判定する。例えば、ポイントが標準収集カテゴリ、ポイントずれ発生カテゴリ、ポイント位置反転カテゴリ、又はポイント不完全カテゴリに属すると判定する。また、代替可能な実施形態では、ポイント特性分類器を用いてポイント特性判定を実行してもよい。例えば、各ポイントでの標準収集カテゴリ、ポイントずれ発生カテゴリ、ポイント位置反転カテゴリ、ポイント不完全カテゴリのようなカテゴリを定義してもよい。このように、当該特性分類器は４つのカテゴリを有してもよく、したがってポイント特性判定を直接行うことができる。理解すべき点として、上述の例は模式的なものにすぎず、本開示は、ポイント特性の判断方法を限定するものではなく、既知の技術及び将来開発される技術を用いてポイント特性の判断を行ってもよい。
【0031】
取得されたポイントが標準収集カテゴリに属すると判定結果が明示する場合、取得されたポイント特性が条件を満たすことを表す。取得されたポイント位置が標準収集カテゴリに属さないと判定結果が明示する場合、例えば、ポイントずれ発生カテゴリ、ポイント位置反転カテゴリ、又はポイント不完全カテゴリに属する場合、それぞれ、取得されたポイント位置のずれ、ポイント位置の反転、ポイントの不完全といった状況を明示する。したがって、ポイント特性が要件を満たさない場合に医師に示すことにより、医師は内視鏡の向きを調整して、完全で向きが正しく、ずれのないポイント画像を適時に取得することができるようになる。一実施形態において、内視鏡画像の画像特性の画像特性値が要件を満たさないこと、及びポイント特性が要件を満たさないことの少なくとも一方を決定したことに応じて、内視鏡画像処理装置２２０は、リアルタイム又はほぼリアルタイムでプロンプト情報を提供してもよい。例えば、内視鏡画像装置２２０は、現在受信した内視鏡画像が表示装置２３０に表示されると同時に、リアルタイム又はほぼリアルタイムで、プロンプト情報も表示装置２３０に表示してもよい。例えば、各画像特性の画像特性値及びはポイント特性情報（例えば、向き、位置、完全性等の情報）の少なくとも一方を表示すると同時に、閾値条件を満たさない画像特性及びポイント特性の少なくとも一方を示してもよい。例えば、閾値条件を満たさない画像特性を色（例えば、赤）で示す（例えば、露出過度により要件を満たさない場合は「露出過度」と赤字で表示する）。或いは点滅するマークで示してもよく、又は医師に示すことが可能な他の方法で示してもよい。また、例えばシステム内の指示灯によって示してもよい。例えば、システム内に画像特性やポイント特性ごとに対応する指示灯を設置し、１つ又は複数の画像特性又はポイント特性が要件を満たさないと内視鏡画像処理装置２２０が決定した場合、対応する指示灯を点灯するか、又は対応する指示灯を点滅させて医師に示してもよい。また、システム内に指示灯を１つだけ設置し、１つ又は複数の画像特性又はポイント特性が要件を満たさないと内視鏡画像処理装置２２０が決定した場合に、当該指示灯を点灯するか、又は当該指示灯を点滅させることで医師に示してもよい。また、音声方式を用いてもよく、１つ又は複数の画像特性又はポイント特性が要件を満たさないと内視鏡画像処理装置２２０が決定した場合、音声で医師に示してもよい。
【0032】
一実施形態において、画像特性が不鮮明さ、露出度、及び付着物の種類のうち１つ又は複数の画像特性を含むことに対応して、プロンプト情報は、第１プロンプト情報、第２プロンプト情報、及び第３プロンプト情報のうちの１つ又は複数のプロンプト情報を含んでもよい。そして、第１プロンプト情報、第２プロンプト情報、及び第３プロンプト情報はそれぞれ、不鮮明さ、露出度、及び付着物の種類を示す。また、プロンプト情報は、ポイント特性を示すために第４プロンプト情報をさらに含んでもよい。本開示の実施形態にかかるプロンプト情報は様々な形式を有してもよく、テキスト形式、符号形式、グラフィック形式等の形式、又は各種形式の組合せを含むが、これらに限定されない。プロンプト情報は、内視鏡画像の各画像特性の画像特性サブ値及びは追加情報（例えば、画像が要件を満たさない理由を明示する追加プロンプト情報、実行可能な措置等のプロンプト情報）の少なくとも一方を含んでもよい。
【0033】
一実施形態において、画像特性は付着物の種類を含んでもよい。これに対応して、内視鏡画像の付着物の種類に対応する画像特性値が、内視鏡画像に付着物が存在することを示すことに応じて、内視鏡画像の画像特性の画像特性値が閾値条件を満たさないと決定される。例えば、画像特性値のベクトルが［０，１，３］である場合を例にとると、付着物の種類に対応する画像値は３であり、付着物の種類のベクトルのうち「水のような粘液」を表す要素の値と等しく、内視鏡画像装置２２０は、内視鏡画像に付着物が存在し、付着物の種類が水のような粘液であると決定してもよい。このような場合、プロンプト情報は、表示された内視鏡画像においてマーキング方式によって、付着物が位置する領域をマーキングすることを含んでもよい。また、上述の例示を例にとると、内視鏡画像処理装置２２０が内視鏡画像に水のような粘液が存在すると決定した場合、内視鏡画像処理装置２２０はさらに、水のような粘液が位置する領域を例えば枠の形でマーキングすることで、医師に示してもよい。枠線のサイズや色は、見やすいようにユーザがカスタマイズしてもよい。本開示の実施形態は、枠の具体的な形式を限定しない。また、付着物が位置する領域を他の方法でマーキングしてもよく、本開示はこれについて限定しない。
【0034】
利点として、上述の方法により、内視鏡検査時に、現在取得された内視鏡画像が要件を満たすかどうかを医師が適時知ることができ、画像が要件を満たさない場合はプロンプト情報によって示されるので、要件をより満たす画像を取得するために適時措置を講じることができる。その結果、医師の判断がより正確になり、従来技術では実施の可能性がある患者の再検査がもたらす不快感をさらに軽減することができる。
【0035】
異なるポイントにおいて先験性や興味の領域が異なるので、本開示にかかる実施形態において、画像特性値は、内視鏡画像に対応するポイントの特徴領域と関連する。理解すべき点として、「ポイントの特徴領域」は、病理の検査時に医師が関心を持つ領域及びは興味を抱く領域の少なくとも一方を表すことができ、例えば病変の有無を判断可能な領域及び部分の少なくとも一方を表すことができ、また、異なるポイントに対応する興味領域は異なる。したがって、画像特性の画像特性値を決定する際に、ポイントの誘導を行うことで決定の精度を向上させてもよい。
【0036】
図４は、本開示の実施形態にかかる、内視鏡画像の画像特性値を決定するための例示的な方法４００のフローチャートを示す。図４の方法４００は、図２に示すような内視鏡画像処理装置２２０によって実行されてもよい。理解すべき点として、方法４００はさらに、図示されていない付加的動作を含んでもよく、且つ／又は示されたいくつかの動作を省略してもよい。本開示の範囲は、この点において限定されない。
【0037】
ブロック４０２において、内視鏡画像処理装置２２０は、内視鏡画像のスーパーピクセル分割を行って、少なくとも１つのスーパーピクセルを取得する。
【0038】
スーパーピクセル分割は一種の画像分割方法であり、その目的は、画像を、小さな粒状の計算単位である異なる領域に分割することである。一実施形態において、内視鏡画像処理装置２２０は、分割領域のサイズ差が大きくないこと、及び分割領域が画像の勾配が大きいエッジに吸着されること、という原則に従ってスーパーピクセル分割を行ってもよい。利点として、分割領域のサイズ差が大きくないようにすることで、比較的均一なスーパーピクセル分割結果を取得することができ、分割領域を画像の勾配が大きいエッジに吸着させることで、実際の勾配のエッジにより適合させることができるため、後続の領域分割ステップが容易になる。本技術分野で既知の、及び将来開発される様々なスーパーピクセル分割方法を用いて内視鏡画像のスーパーピクセル分割を行ってもよく、本開示はこれについて限定しない。図５Ａ－５Ｆは、例として、本開示の実施形態にかかる内視鏡画像と、その対応するスーパーピクセル分割結果の図を示す。図５Ａ、図５Ｃ、図５Ｅは、スーパーピクセル分割を行っていない内視鏡画像であり、図５Ｂ、図５Ｄ、図５Ｆは、それぞれ図５Ａ、図５Ｃ、図５Ｅのスーパーピクセル分割後のスーパーピクセル分割結果の模式図である。
【0039】
ブロック４０４において、内視鏡画像処理装置２２０は、少なくとも１つのスーパーピクセルに対して特徴抽出を行ってスーパーピクセルの特徴を取得する。スーパーピクセルの特徴は、色特徴、テクスチャ特徴、エッジ特徴、及び反射特徴のうち少なくとも１つを含む。
【0040】
一実施形態において、内視鏡画像処理装置２２０は、分割後の各スーパーピクセルに対して特徴抽出を行ってもよい。内視鏡画像において、通常、赤色成分のテクスチャ特徴は不鮮明さに関連し、反射特徴は露出度に関連し、エッジの皺の特徴は付着物に関連している。これに基づき、一実施形態において、スーパーピクセルの特徴は、色特徴、テクスチャ特徴、エッジ特徴、及び反射特徴のうち少なくとも１つを含んでもよい。
【0041】
色は、例えば白色、黄色又は黒色のような波長の異なる可視光として表現され、露出度及び異物認識の少なくとも一方の顕著な特徴である。本開示の実施形態によれば、スーパーピクセルをＲＧＢ空間からＬＡＢ空間に変換することで、スーパーピクセル内のＬＡＢ色のヒストグラムを取得してもよい。テクスチャは、勾配の空間周波数が異なるものとして表現され、不鮮明さ・異物認識の顕著な特徴である。本開示の実施形態では、Ｇａｂｏｒフィルタを用いてグレースケール画像のテクスチャ抽出を行って、スーパーピクセルのＧａｂｏｒテクスチャのヒストグラムを取得してもよい。エッジ特徴は、勾配変化の大きさとして表現され、エッジの変化が大きい特徴量は、不鮮明さ・異物認識の顕著な特徴である。本開示の実施形態では、エッジ検出演算子を用いて画像のエッジ属性を抽出することで、スーパーピクセル内のエッジのヒストグラムを取得してもよい。反射について、液体又は固体の吸光率・放出率が異なるため、反射属性を抽出して異なる材質を区別してもよく、これは露出の顕著な特徴である。本開示の実施形態では、固有画像分解（Intrinsic Image Decomposition）を用いて、画像から反射属性を抽出して、スーパーピクセル内の反射のヒストグラムを取得してもよい。
【0042】
以上、スーパーピクセルの特徴抽出の実施形態を説明したが、当業者が理解すべき点として、上記特徴の抽出は、本技術分野で既知の、又は将来開発される任意の上記特徴の抽出方法によって行ってもよく、本開示は具体的な特徴抽出方法を限定するものではなく、抽出結果は方法に応じてヒストグラム、特徴ベクトル等の様々な種類を有してもよい。本開示はこれについて限定しない。
【0043】
ブロック４０６において、内視鏡画像処理装置２２０は、少なくとも１つのスーパーピクセルのスーパーピクセル特徴と、内視鏡画像に対応するポイントの特徴領域情報とに基づいて、内視鏡画像の画像特性値を決定する。
【0044】
上述したように、異なるポイントにおいて先験性と興味領域が異なるので、画像特性値は、内視鏡画像に対応するポイントの特徴領域と関連する。したがって、画像特性の画像特性値を決定する際に、ポイントの誘導を行うことで決定の精度を向上させることができる。以下では、少なくとも１つのスーパーピクセルのスーパーピクセル特徴と、内視鏡画像に対応するポイントの特徴領域情報とに基づいて、内視鏡画像の画像特性値を決定する具体的な実施形態について、詳細に説明する。
【0045】
一実施形態において、上述した方法４００は、スーパーピクセル特徴ライブラリと、少なくとも１つのポイントの特徴領域情報を取得することを含む。ここで、スーパーピクセル特徴ライブラリには、サンプルスーパーピクセルのサンプルスーパーピクセル特徴と、サンプルスーパーピクセルに対応する画像特性値とが格納されている。また、一実施形態において、少なくとも１つのポイントの特徴領域情報は、内視鏡画像に対応するポイントの特徴領域を表す。
【0046】
一実施形態において、異なるポイントでの特徴領域情報（例えば、マスクマップ又はヒートマップ等の特徴領域情報）と、サンプル画像セットとを予め格納してもよく、さらに、異なる画像特性の画像特性値について手動で領域分割をおこなってもよい。異なる領域は、対応する画像特性の画像特性サブ値を表す。例えば、領域１は不鮮明さランクが３である領域を表し、領域２は不鮮明さランクが４である領域を表す、等である。スーパーピクセル特徴ライブラリでは、サンプル画像セットの各サンプル画像について、スーパーピクセル抽出とスーパーピクセル特徴抽出を経て、各スーパーピクセルの画像特性とそれに対応する画像特性値が取得される。各画像特性の各ランクカテゴリについて、対応するランクカテゴリでの全てのスーパーピクセル特徴を収集し、収集したスーパーピクセル特徴の特徴中心をクラスタリング法（例えば、Kmeans）によって取得することにより、各画像の各画像特性Ｔの各ランクカテゴリｃと特徴Ｆｉとの間の対応関係を確立する。例えば、露出度ランク１に対し、スーパーピクセル特徴の集合［Ｆ１，Ｆ２，Ｆ３・・・Ｆｊ］を収集し、付着物の種類２に対し、スーパーピクセル特徴の集合［Ｆ１，Ｆ５，Ｆ８・・・Ｆｋ］を収集してもよい、等である。ここで、特徴Ｆｉは、各画像特性での多次元の特徴（例えば、５次元）を含んでもよい。例えば、Ｆ１＝［［ａ１，ａ２，ａ３，ａ４，ａ５］、［ｂ１，ｂ２，ｂ３，ｂ４，ｂ５］、［ｃ１，ｃ２，ｃ３，ｃ４，ｃ５］、［ｄ１，ｄ２，ｄ３，ｄ４，ｄ５］］であり、ここで、ａｉは色特徴、ｂｉはテクスチャ特徴、ｃｉはエッジ特徴、ｄｉは反射特徴を表す（ｉは正の整数で、１≦ｉ≦５）。上記の例示はあくまで模式的なものであり、実際にはサンプル画像の異なる状況に応じて、異なる対応関係を取得してもよい。
【0047】
一実施形態において、ポイントの特徴領域情報（例えば、ポイントマスクマップ）は、予め取得されて格納されてもよい。ポイントの特徴領域情報は、当該ポイントの特徴領域（例えば、興味のある領域）を表す。一実施形態において、ポイントの特徴領域情報は、ポイントマスクマップを含んでもよい。ポイントマスクマップの構築について、内視鏡検査における各ポイントマップを取得し、興味のある領域を手動でマーキングしてポイントマスクマップを取得してもよい。あるいは、統計を積み重ねることで、異なるポイントについて、対応するポイントマップを収集し、興味のある領域を手動で選択し、選択した興味のある領域を積み重ねることで、ポイントマスクマップを取得する。図６は、本開示の実施形態にかかる胃角部のポイントマスクマップを模式的に示す。ポイントマスクマップを例に説明したが、理解すべき点として、ポイントの特徴領域情報は、ヒートマップ等他の種類の表示形式をさらに含んでもよい。
【0048】
以下では、図７の方法７００と結び付けて、図４の方法４０６に対応する内視鏡画像の画像特性値の決定方法について詳細に説明する。図７の方法７００は、図２に示すような内視鏡画像処理装置２２０によって実行されてもよい。理解すべき点として、方法７００はさらに、図示されていない付加的動作を含んでもよく、且つ／又は示されたいくつかの動作を省略してもよい。本開示の範囲は、この点において限定されない。
【0049】
ブロック７０２において、内視鏡画像処理装置２２０は、画像特性の各画像特性について、少なくとも１つのスーパーピクセルにおける第１スーパーピクセルの少なくとも１つの対応度を決定する。
【0050】
一実施形態において、少なくとも１つの対応度は、各画像特性における少なくとも１つのランクカテゴリにそれぞれ対応し、当該第１スーパーピクセルと対応するランクカテゴリとの対応性を表す。
【0051】
画像特性Ｔのランクカテゴリｃに対し対応度を決定する際、内視鏡画像処理装置２２０は、第１スーパーピクセルのスーパーピクセル特徴と、スーパーピクセル特徴ライブラリにおいて当該画像特性Ｔにおけるランクカテゴリｃに対応するサンプルスーパーピクセルのスーパーピクセル特徴とをそれぞれ比較して、第１スーパーピクセルと、画像特性Ｔにおけるランクカテゴリｃとの対応度を決定してもよい。
【0052】
スーパーピクセルの特徴を比較する際、内視鏡画像処理装置２２０は、コサイン距離、Ｌ２距離等の方法を用いてもよい。以下、コサイン距離を例として説明するが、理解すべき点として、これはあくまで模式的なものであり、当業者は既知の、又は将来開発される任意の特徴距離決定方法を用いて、スーパーピクセルの特徴を比較し、特徴距離を取得することができる。
【0053】
コサイン距離の原理は、コサイン類似度の方法に従って処理するもので、２つの特徴の間の角度が小さいほど、２つの特徴の類似度が高いことを明示するものとして理解することができる。コサイン距離に従い比較を行う式は、以下の式（１）のとおりである。
【0054】
【数1】
【0055】
ここで、Ｘｉは内視鏡画像におけるスーパーピクセルｉのスーパーピクセル特徴を表し、Ｙｉはスーパーピクセル特徴ライブラリにおいて画像特性Ｔにおけるランクカテゴリｃに対応するスーパーピクセル特徴を表す。ｎは、スーパーピクセル特徴ライブラリにおいて、画像特徴Ｔにおけるランクカテゴリｃに対応するサンプルスーパーピクセル特徴の特徴数を表す。
【0056】
内視鏡画像処理装置２２０は、スーパーピクセルｉのスーパーピクセル特徴と、スーパーピクセル特徴ライブラリの各画像特性における各ランクカテゴリの下に収集された各サンプルスーパーピクセル特徴とをそれぞれ比較して、スーパーピクセルｉのスーパーピクセル特徴と、各画像特性の各ランクカテゴリでの各サンプルスーパーピクセル特徴との距離Ｄｉ，ｋを取得してもよい。例えば、画像特性Ｔのランクカテゴリｃに対応するサンプルスーパーピクセルｋのサンプルスーパーピクセル特徴を例に説明する。スーパーピクセルｉの色特徴をサンプルスーパーピクセルｋの色特徴と比較して色距離Ｌｃを取得し、スーパーピクセルｉのテクスチャ特徴をサンプルスーパーピクセルｋのテクスチャ特徴と比較してテクスチャ距離Ｌｔを取得し、スーパーピクセルｉのエッジ特徴をサンプルスーパーピクセルｋのエッジ特徴と比較してエッジ距離Ｌｅを取得し、スーパーピクセルｉの反射特徴をサンプルスーパーピクセルｋの反射特徴と比較して反射距離Ｌｌを取得してもよい。各画像特性Ｔに対して、対応する重み値ｗｃ、ｗｔ、ｗｅ、ｗｌのセットを定義し、それぞれテクスチャ距離Ｌｔ、エッジ距離Ｌｅ、反射距離Ｌｌに対応させてもよい。したがって、式（１）によって、スーパーピクセルｉのスーパーピクセル特徴と、画像特性Ｔにおけるランクカテゴリｃに対応するサンプルスーパーピクセルｋのサンプルスーパーピクセル特徴とのそれぞれの距離を取得した後、得られた各距離に対し式（２）に従って重み付け操作を行い、スーパーピクセルｉと、対応するサンプルスーパーピクセルｋとの距離Ｄｉ，ｋを取得してもよい。
【0057】
【数2】
【0058】
一実施形態において、内視鏡画像処理装置２２０は、上述した方法に従って、スーパーピクセルｉと、画像特性Ｔにおけるランクカテゴリｃに対応する全てのスーパーピクセル特徴との距離を取得し、スーパーピクセルｉと、画像特性Ｔに対応する全てのスーパーピクセル特徴との距離を取得して、さらに、以下の式（３）に従って、スーパーピクセルｉと、画像特性Ｔにおけるランクカテゴリｃとの対応度Ｐｉ，ｃを決定する。
【0059】
【数3】
【0060】
ここで、Ｐｉ，ｃは、内視鏡画像におけるスーパーピクセルｉ（例えば、第１スーパーピクセル）と、画像特性Ｔにおけるランクカテゴリｃとの対応度を表し、すなわち、当該スーパーピクセルｉが画像特性Ｔのランクカテゴリｃに属する確率を表す。例えば、露出度の露出度ランク１に対し、得られたＰｉ，ｃが０．２であると決定した場合、スーパーピクセルｉが露出度ランク１に属する確率が０．２であることを表す。
【0061】
内視鏡画像処理装置２２０は、内視鏡画像におけるスーパーピクセルごとに上述の対応度（すなわち、ある画像特性のあるランクカテゴリに属する確率）の計算を行うことにより、各スーパーピクセルが各画像特性の各ランクカテゴリに属する確率を得てもよい。例えば、上述の計算により、あるスーパーピクセルｍの５ランクの不鮮明さのラベルの確率が［０．２，０．３，０．１，０．１，０．１］、３ランクの露出度のラベルの確率が［０．５，０．２，０．３］、４ランクの付着物の種類の確率が［０．８，０．１，０．０５，０．０５］であると決定してもよい。
【0062】
理解すべき点として、上述した画像特性Ｔは説明用にすぎず、画像特性Ｔは、内視鏡画像における任意の画像特性、例えば、不鮮明さ、露出度、及び付着物の種類等を表してもよい。ランクカテゴリｃも説明用であり、任意の画像特性における任意のランクカテゴリを表してもよく、例えば、不鮮明に対し、ランクカテゴリ０からランクカテゴリ４までの任意のランクカテゴリを表してもよく、露出度に対し、ランクカテゴリ０からランクカテゴリ２までの任意のランクカテゴリを表してもよく、付着物の種類に対し、付着物の種類０から付着物の種類３までの任意のランクカテゴリを表してもよい。
【0063】
図７に戻ると、ブロック７０４において、内視鏡画像処理装置２２０は、内視鏡ビデオストリームにおける内視鏡画像の前の内視鏡画像を取得し、第１スーパーピクセルと、前の内視鏡画像における第１スーパーピクセルのマッチングスーパーピクセルとに基づいて、第１スーパーピクセルと、マッチングスーパーピクセルとの時空間の類似度を決定する。
【0064】
例えば、内視鏡画像処理装置２２０は、現在の内視鏡画像においてスーパーピクセルｉのエッジピクセルを取得し、例えば、ＫＬＴスパースオプティカルフローアルゴリズムに基づいて、前の内視鏡画像におけるエッジピクセルのマッチングポイントを決定してもよい。内視鏡画像処理装置２２０は、前の内視鏡画像においてマッチングポイントが収まるスーパーピクセル（ここでは「マッチングスーパーピクセル」と定義）を決定し、式（４）に基づいてスーパーピクセルｉとマッチングスーパーピクセルとの時空間の類似度Ｐｉ，ｔを算出してもよい。
【0065】
【数4】
【0066】
ここで、Ｌは、前の内視鏡画像内でオプティカルフローポイントが収まるスーパーピクセルの集合を表し、Ｔｉ－１は、前の内視鏡画像内で、現在の内視鏡画像におけるスーパーピクセルｉが収まるスーパーピクセルの集合（すなわち、マッチングスーパーピクセル）を表し、ｍは、スーパーピクセルｋ内に収まるエッジポイントの数がｍであることを表し、ｍｋは、スーパーピクセルｋ内に収まるエッジポイントを表し、Ｐｋ，ｃは、当該スーパーピクセルｋと、前の内視鏡画像においてそれに対応するマッチングスーパーピクセルとの時空間の類似度を表す。Ｐｉ，ｔは、現在の内視鏡画像におけるスーパーピクセルｉと、対応するマッチングスーパーピクセルとの、時空間の次元での類似度を表す。
【0067】
利点として、スーパーピクセルの時空間での相関性と組み合わせることにより、画像の平滑化とノイズ除去を行うことができ、現在の画像の局所的なノイズが結果に与える影響を低減することができるため、結果がより正確になりノイズの影響が軽減される。
【0068】
図７に戻り、内視鏡画像におけるスーパーピクセルｉの複数の対応度Ｐｉ，ｃ（すなわち、スーパーピクセルｉが各画像特性の各ランクカテゴリに属する確率）、及び、スーパーピクセルｉと、対応するマッチングスーパーピクセルとの、時空間の次元での時空間の類似度Ｐｉ，ｔを取得した後、ブロック７０６において画像特性ごとに、時空間の類似度に対し、それぞれ少なくとも１つの対応度とともに重み付け処理を行って、少なくとも１つのマッチング度を取得する。ここで、少なくとも１つのマッチング度は、その画像特性における少なくとも１つのランクカテゴリにそれぞれ対応し、各マッチング度は、第１スーパーピクセルと、対応するそれぞれのランクカテゴリとの間の一致性を表す。
【0069】
一実施形態において、各画像特性の各ランクカテゴリについて、内視鏡画像処理装置２２０は、スーパーピクセルｉと、当該画像特性の当該ランクカテゴリとの対応度Ｐｉ，ｃ（すなわち、スーパーピクセルｉが当該画像特性の当該ランクカテゴリに属する確率）、及び時空間の類似度Ｐｉ，ｔについて重み付け処理を行い、例えば以下の式（５）によって、スーパーピクセルｉと、画像特性Ｔのランクカテゴリｃとのマッチング度Ｐｉ，ｓを得てもよい。
【0070】
【数5】
【0071】
ここで、Ｐｉ，ｔは、スーパーピクセルｉと、前の内視鏡画像におけるマッチングスーパーピクセルとの、時空間の類似度であり、Ｐｉ，ｃは、スーパーピクセルｉが画像特性Ｔのランクカテゴリｃに属する確率であり、ｗｔとｗｃはそれぞれ重みであり、ｗｔ＋ｗｃ＝１である。算出されたＰｉ，ｓは、スーパーピクセルｉと画像特性Ｔのランクカテゴリｃとのマッチング度であり、重み付け後の、スーパーピクセルｉが画像特性Ｔのランクカテゴリｃに属する確率を表す。
【0072】
図７に戻り、スーパーピクセル画像ｉと画像特性Ｔのランクカテゴリｃとのマッチング度Ｐｉ，ｔを取得した後、ブロック７０８において、画像特性ごとに、少なくとも１つのマッチング度と、内視鏡画像に対応するポイントの特徴領域情報とに基づいて、画像特性ごとの内視鏡画像の画像特性サブ値を決定し、各画像特性に対応する画像特性サブ値の組合せを、内視鏡画像の画像特性値として決定する。
【0073】
本明細書では、スーパーピクセルｉにおける画像特性ごとの値を画像特性サブ値と称してもよい。例えば、スーパーピクセルｉの画像特性値は［３，１，３］であり、不鮮明さに対するスーパーピクセルｉの画像特性サブ値は３であり、不鮮明さのランク３を表し、露出度に対する画像特性サブ値は１であり、露出度のランク１を表し、付着物の種類に対する画像特性サブ値は３であり、付着物の種類が水のような粘液であることを表す。
【0074】
内視鏡画像処理装置２２０は、画像特性ごとに、少なくとも１つのマッチング度と、内視鏡画像に対応するポイントの特徴領域情報とに基づいて、画像特性ごとの内視鏡画像の画像特性サブ値を決定してもよい。例えば、内視鏡画像処理装置２２０は、各画像特性における各ランクカテゴリについて、対応する重み付きマッチング度を取得し、取得した全ての重み付きマッチング度の最大値を決定し、最大値に対応するランクカテゴリの値を、当該画像特性についての内視鏡画像の画像特性サブ値として決定してもよい。
【0075】
一実施形態において、ポイントの特徴領域情報はポイントマスクマップを含む。それに応じて、各画像特性における各ランクカテゴリについて、対応する重み付きマッチング度を取得する際に、内視鏡画像処理装置２２０は、式（６）に示すように、式（５）による算出後に得られた、内視鏡画像内の全てのスーパーピクセルｉのマッチング度Ｐｉ，ｓと、対応するスーパーピクセルｉにポイントマスクマップを対応させたマスク平均値とについて重み付け処理を行い、対応する重み付きマッチング度Ｐｓを得てもよい。
【0076】
【数6】
【0077】
ここで、Ｐｉ，ｓは、式（５）で算出して得られたスーパーピクセルｉのマッチング度であり、Ｍｉは、対応するスーパーピクセルｉにポイントマスクマップを対応させたマスク平均値であり、Ｐｓは対応する重み付きマッチング度であり、画像特性Ｔのランクカテゴリｃに対する現在の内視鏡画像の確率を表す。
【0078】
内視鏡画像処理装置２２０は、各画像特性の各ランクカテゴリについて上述の計算を行うことで、画像特性Ｔにおける各ランクカテゴリに対する確率を取得してもよい。例えば、不鮮明さを例にとると、不鮮明さにおける５つのランクカテゴリに対する確率Ｐｓ１１、Ｐｓ１２、Ｐｓ１３、Ｐｓ１４、Ｐｓ１５を取得してもよい。同様に、内視鏡画像処理装置２２０は、露出度における３つのランクカテゴリに対する確率Ｐｓ２１，Ｐｓ２２，Ｐｓ２３をさらに取得してもよい。同様に、内視鏡画像処理装置２２０は、付着物の種類における４つのランクカテゴリに対する確率Ｐｓ３１、Ｐｓ３２、Ｐｓ３３及びＰｓ３４をさらに取得してもよい。
【0079】
内視鏡画像処理装置２２０は、画像特性ごとに、当該画像特性Ｔについて取得した対応する全ての重み付きマッチング度のうち最大値を決定し、最大値に対応するランクカテゴリの値を、当該画像特性に対する内視鏡画像の画像特性サブ値として決定する。
【0080】
不鮮明さを例にとると、不鮮明さにおける５つのランクカテゴリに対し得られた確率Ｐｓ１１、Ｐｓ１２、Ｐｓ１３、Ｐｓ１４、Ｐｓ１５が［０．２，０．３，０．１，０．１，０．１］であると仮定すると、最大値を０．３と決定し、この最大値に対応する不鮮明さのランクカテゴリの値１を、不鮮明さについての内視鏡画像の画像特性サブ値として決定する。さらに露出度を例にとると、露出度における３つのランクカテゴリに対し得られた確率Ｐｓ２１、Ｐｓ２２、Ｐｓ２３が［０．５，０．２，０．３］であると仮定すると、最大値を０．５と決定し、したがって、この最大値に対応する露出度のランクカテゴリの値０を、露出度についての内視鏡画像の画像特性サブ値として決定する。付着物の種類を例にとると、付着物の種類における４つのランクカテゴリに対し得られた確率Ｐｓ３１、Ｐｓ３２、Ｐｓ３３、Ｐｓ３４が［０．８，０．１，０．０５，０．０５］であると仮定すると、最大値を０．８と決定し、したがって、この最大値に対応する付着物の種類のランクカテゴリの値０を、付着物の種類についての内視鏡画像の画像特性サブ値として決定する。
【0081】
内視鏡画像の画像特性ごとの画像特性サブ値を決定した後、各画像特性に対応する画像特性サブ値の組合せを、内視鏡画像の画像特性値として決定してもよい。例えば、内視鏡画像装置２２０は、各画像特性サブ値をベクトルで組み合わせることで、内視鏡画像の画像特性値を得てもよい。上述の例示を例にとると、不鮮明さ、露出度、及び付着物の種類について内視鏡画像の画像特性サブ値を決定した後、これらの画像特性サブ値を組み合わせて、内視鏡画像の画像特性値［１，０，０］を得てもよい。
【0082】
決定された画像特性値は、医師の参考とするために、例えば表示装置２３０のような装置に表示されてもよい。また、内視鏡画像処理装置２２０はさらに、画像特性値と閾値を比較してもよい。例えば、画像特性ベクトルＶ１と、閾値ベクトルＶｔｈの対応する要素とを比較して、画像特性値が閾値条件を満たすか否かを決定してもよい。例えば、画像特性の不鮮明さについて、画像特性値ベクトルＶ１において不鮮明さに対応する要素の値（画像特性サブ値Ｚ１）が、不鮮明さランク閾値（Ｚｔｈ１）よりも大きい場合、当該画像は要件を満たさない。例えば、不鮮明さランク閾値Ｚｔｈ１が２に等しいと、不鮮明さが２より大きい画像は、不鮮明さが高すぎることを表し、要件を満たさない。例えば、画像特性における露出度について、露出度に対応する要素の値（画像特性サブ値Ｚ２）が、第１露出度ランク閾値（Ｚｔｈ２）よりも小さいか、又は第２露出度ランク閾値（Ｚｔｈ３）よりも大きい場合、露出度が低すぎるか又は露出度が高すぎることを表し、この場合も要件を満たさない。画像特性における付着物の種類について、画像特性値ベクトルＶ１において付着物の種類に対応する要素（画像特性サブ値Ｚ３）が、カテゴリ閾値に等しい場合、画像が要件を満たさないことを表す。例えば、Ｚ３が「１」に等しい場合は黄色い粘液を表し、Ｚ３が「２」に等しい場合は便を表し、Ｚ３が「３」に等しい場合は水のような粘液を表し、いずれも付着物が存在する状況を明示しているため、内視鏡画像は要件を満たさない。
【0083】
内視鏡画像の画像特性の画像特性値が要件を満たさないことに応じて、内視鏡画像処理装置２２０は、リアルタイム又はほぼリアルタイムでプロンプト情報を提供してもよい。例えば、内視鏡画像装置２２０は、現在受信した内視鏡画像が表示装置２３０に表示されると同時に、リアルタイム又はほぼリアルタイムで、プロンプト情報も表示装置２３０に表示してもよい。例えば、画像特性ごとの画像特性値を表示すると同時に、閾値条件を満たさない画像特性を示してもよい。例えば、閾値条件を満たさない画像特性を色（例えば、赤）で示す（例えば、露出過度により要件を満たさない場合は「露出過度」と赤字で表示する）。或いは点滅するマークで示すか、又は医師に示すことが可能な他の方法で示す。また、例えばシステム内の指示灯によって示してもよい。例えば、システム内に画像特性ごとに対応する指示灯を設置し、１つ又は複数の画像特性が要件を満たさないと内視鏡画像処理装置２２０が決定した場合、対応する指示灯を点灯するか、又は当該対応する指示灯を点滅させて医師に示してもよい。また、システム内に指示灯を１つだけ設置し、１つ又は複数の画像特性が要件を満たさないと内視鏡画像処理装置２２０が決定した場合に、当該指示灯を点灯するか又は当該指示灯を点滅させることで医師に示してもよい。また、音声方式を用いてもよく、１つ又は複数の画像特性が要件を満たさないと内視鏡画像処理装置２２０が決定した場合、音声で医師に示してもよい。
【0084】
一実施形態において、画像特性が不鮮明さ、露出度、及び付着物の種類のうち１つ又は複数の画像特性を含むことに対応して、プロンプト情報は、第１プロンプト情報、第２プロンプト情報、及び第３プロンプト情報のうちの１つ又は複数のプロンプト情報を含んでもよい。そして、第１プロンプト情報、第２プロンプト情報、及び第３プロンプト情報はそれぞれ、不鮮明さ、露出度、及び付着物の種類を示す。本開示の実施形態にかかるプロンプト情報は様々な形式を有してもよく、テキスト形式、符号形式、グラフィック形式等の形式、又は各種形式の組合せを含むが、これらに限定されない。プロンプト情報は、内視鏡画像の各画像特性の画像特性サブ値及びは追加情報（例えば、画像が要件を満たさない理由を明示する追加プロンプト情報、実行可能な措置等のプロンプト情報）の少なくとも一方を含んでもよい。
【0085】
一実施形態において、画像特性は付着物の種類を含んでもよい。これに対応して、内視鏡画像の付着物の種類に対応する画像特性値が、内視鏡画像に付着物が存在することを示すことに応じて、内視鏡画像の画像特性の画像特性値が閾値条件を満たさないと決定される。例えば、画像特性値のベクトルが［０，１，３］である場合を例にとると、付着物の種類に対応する画像値は３であり、付着物の種類のベクトルのうち「水のような粘液」を表す要素の値と等しく、内視鏡画像装置２２０は、内視鏡画像に付着物が存在し、付着物の種類が水のような粘液であると決定してもよい。このような場合、プロンプト情報は、表示された内視鏡画像においてマーキング方式によって、付着物が位置する領域をマーキングすることを含んでもよい。また、上述の例示を例にとると、内視鏡画像処理装置２２０が内視鏡画像に水のような粘液が存在すると決定した場合、内視鏡画像処理装置２２０はさらに、水のような粘液が位置する領域を例えば枠の形でマーキングすることで、医師に示してもよい。枠線のサイズや色は、見やすいようにユーザがカスタマイズしてもよい。本開示の実施形態は、枠の具体的な形式を限定しない。また、付着物が位置する領域を他の方法でマーキングしてもよく、本開示はこれについて限定しない。
【0086】
本開示の実施形態にかかる画像特性値の決定方法は、複数の手がかりで導くことにより、画像特性値の決定の精度、堅牢性及び包括性を向上させる。ここで、複数の手がかりは、上述のようなポイント関連情報（例えば、ポイントマスクマップ等のポイントの特徴領域情報）、時空間関連情報（例えば、内視鏡ビデオストリームにおける現在の内視鏡画像のスーパーピクセルと、前の内視鏡画像におけるマッチングスーパーピクセルとの時空間の類似度）、並びに、スーパーピクセルの色特徴、テクスチャ特徴、エッジ特徴、及び反射特徴を含む特徴情報を含んでもよい。したがって、従来技術よりも正確で堅牢かつ包括的な、内視鏡画像に対する品質評価結果を取得することができる。また、品質評価を行う際にデータ駆動のアプローチを用いるため、深層学習のアプローチと比較してマーキング量を減らすと同時に評価速度を上げることができる。また、リアルタイム又はほぼリアルタイムで示すことで、内視鏡検査時に、現在取得された内視鏡画像が要件を満たすかどうかを医師が適時知ることができ、画像が要件を満たさない場合はプロンプト情報によって示されるので、要件をより満たす画像を取得するために適時措置を講じることができる。これにより、医師の判断がより正確になるだけでなく、従来技術では実施の可能性がある患者の再検査がもたらす不快感をさらに軽減することができる。
【0087】
一実施形態において、内視鏡画像処理装置２２０は、画像特性Ｔについて内視鏡画像内の複数のスーパーピクセルの各スーパーピクセルｉの画像特性サブ値Ｚｉを取得した後、複数のスーパーピクセルの各スーパーピクセルｉの、画像特性Ｔについての画像特性サブ値Ｚｉに基づいて、内視鏡画像のピクセルをクラスタリングして、内視鏡画像の少なくとも１つの分割領域を得てもよい。分割領域の画像特性Ｔは、クラスタリングされたスーパーピクセルの画像特性サブ値によって表される。
【0088】
例えば、付着物の種類について、内視鏡画像処理装置２２０は、付着物の種類の画像特性サブ値が同じスーパーピクセルをクラスタリングすることで、分割後の領域を得てもよい。図８Ａ～８Ｂは、本開示の実施形態にかかる分割領域の模式図を示す。図８Ａに示す内視鏡画像では、付着物の種類について、画像特性値が１であるスーパーピクセルをクラスタリングして、分割後の第１領域Ａを得て、画像特性値が３であるスーパーピクセルをクラスタリングして、分割後の第２領域Ｂを得ている。ここで、分割後の第１領域Ａは、当該領域の付着物の種類が黄色い粘液であることを表しており、分割後の第２領域Ｂは、当該領域の付着物の種類が黄色い粘液であることを表している。分割後の領域を提供することで、領域ごとの分割画像を取得することができるため、異なる領域の画像特性をより直感的に反映させることができる。
【0089】
本開示の実施形態は、情報処理装置をさらに提供する。当該情報処理装置はプロセッサを含み、当該プロセッサは、本開示にかかる、図１～図８と結び付けて上述した内視鏡画像処理方法を実行するように設定されている。簡潔にするために、既に詳細に説明した内容について、ここでは詳述を繰り返さない。
【0090】
図９は、本開示の実施形態を実施可能な例示的な装置９００のブロック模式図を示す。例えば、図２に示すような内視鏡画像処理装置２２０は、装置９００によって実施されてもよい。図に示すように、装置９００は、中央プロセッサユニット（ＣＰＵ）９０１を含む。ＣＰＵ９０１は、リードオンリーメモリ（ＲＯＭ）９０２に格納されたコンピュータプログラムの命令、又は記憶ユニット９０８からランダムアクセスメモリ（ＲＡＭ）９０３にロードされたコンピュータプログラムの命令に基づき、各種の適切な動作及び処理を実行してもよい。ＲＡＭ９０３にはさらに、装置９００の動作に必要な各種プログラム及びデータを格納してもよい。ＣＰＵ９０１、ＲＯＭ９０２及びＲＡＭ９０３はバス９０４を介して互いに接続されている。入力／出力（Ｉ／Ｏ）インターフェース９０５もバス９０４に接続されている。
【0091】
装置９００における複数の部材は、Ｉ／Ｏインターフェース９０５に接続されている。複数の部材には、キーボード、マウス等の入力ユニット９０６、様々な種類のディスプレイ、スピーカ等の出力ユニット９０７、磁気ディスク、光ディスク等の記憶ユニット９０８、及びネットワークインターフェースカード、モデム、無線通信送受信機等の通信ユニット９０９が含まれる。通信ユニット９０９によって、装置９００は、インターネットのようなコンピュータネットワーク及び各種電信ネットワークの少なくとも一方を介して、他の装置と情報及びデータの少なくとも一方を交換することができる。
【0092】
プロセッサユニット９０１は、上述した各プロセス及び処理、例えば方法３００、４００及び７００の少なくとも１つを実行するように設定されてもよい。例えば、いくつかの実施形態において、方法３００、４００及びは７００の少なくとも１つは、コンピュータソフトウェアプログラムとして実装してもよく、記憶ユニット９０８のようなマシン可読媒体に有形記憶されている。いくつかの実施形態において、コンピュータプログラムの一部又は全部は、ＲＯＭ９０２及び通信ユニット９０９の少なくとも一方を経由して装置９００にロード及びインストールの少なくとも一方をされてもよい。コンピュータプログラムがＲＡＭ９０３にロードされＣＰＵ９０１により実行されると、上述した方法３００、４００及びは７００の少なくとも１つ又は複数のステップを実行することができる。
【0093】
本開示は、システム、方法、及びコンピュータプログラム製品の少なくとも１つであってもよい。コンピュータプログラム製品は、本開示の各態様を実行するためのコンピュータ可読プログラム命令が格納されたコンピュータ可読記憶媒体を含んでもよい。
【0094】
コンピュータ可読記憶媒体は、命令実行装置により使用される命令を保持し格納することができる有形装置であり得る。コンピュータ可読記憶媒体は例えば、電気記憶装置、磁気記憶装置、光記憶装置、電磁気記憶装置、半導体記憶装置又は上述の任意の適切な組合せであり得るが、これらに限られない。コンピュータ可読記憶媒体のより具体的な例として（全てではない）、ポータブル・コンピュータ・ディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、消去・書き込み可能なリードオンリーメモリ（ＥＰＲＯＭ又はフラッシュメモリ）、スタティックＲＡＭ（ＳＲＡＭ：Static Random Access Memory）、携帯型コンパクトディスクリードオンリーメモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、メモリースティック、フロッピーディスク、機械的エンコーダディスク、例えば命令が格納されているパンチカード又は溝内の突起構造、及び上述の任意の適切な組合せが含まれる。ここで使用されるコンピュータ可読記憶媒体は、例えば無線電波若しくは他の自由伝播する電磁波、導波若しくは他の送信媒体を介して伝播する電磁波（例えば、光ケーブルを介する光パルス）、又は電線で送信される電気信号のような、瞬時の信号そのものであるとは解釈されない。
【0095】
ここで説明されるコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体から各計算／処理装置にダウンロードされてもよく、又は、ネットワーク、例えばインターネット、ローカルエリアネットワーク、ワイドエリアネットワーク及び無線ネットワークの少なくとも１つを介して外部のコンピュータ若しくは外部記憶装置にダウンロードされてもよい。ネットワークは、銅線送信ケーブル、光ケーブル送信、無線送信、ルータ、ファイアウォール、スイッチ、ゲートウェイコンピュータ及びエッジサーバの少なくとも１つを含んでもよい。各計算／処理装置におけるネットワークインターフェースカード又はネットワークインターフェースは、コンピュータ可読プログラム命令をネットワークから受信し、当該コンピュータ可読プログラム命令を転送し、各計算／処理装置のコンピュータ可読記憶媒体に格納されるようにする。
【0096】
本開示の動作を実行するためのコンピュータプログラム命令は、アセンブラ指示文、命令セットアーキテクチャ（ＩＳＡ：Instruction Set Architecture）、機械語命令、機械関連命令、マイクロコード、ファームウェア命令、状態設定データ、又は、１種類若しくは複数種類のプログラミング言語の任意の組合せで記述されたソースコード若しくは対象コードであり得る。前記プログラミング言語は、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋等のオブジェクト指向のプログラミング言語、及び、「Ｃ」言語又は類似のプログラミング語言のような一般的なプロセス式プログラミング言語を含む。コンピュータ可読プログラム命令は、全てユーザコンピュータ上で実行してもよいし、部分的にユーザコンピュータ上で実行してもよいし、１つの独立したソフトウェアパッケージとして実行してもよいし、ユーザコンピュータ上で部分的に実行するとともにリモートコンピュータ上で部分的に実行してもよいし、或いは、全てリモートコンピュータ又はサーバ上で実行してもよい。リモートコンピュータにかかる状況において、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）又はワイドエリアネットワーク（ＷＡＮ）を含む任意の種類のネットワークを介して、ユーザコンピュータに接続してもよく、又は、外部のコンピュータに接続してもよい（例えばインターネットサービスプロバイダを利用しインターネットを介して接続する）。いくつかの実施形態では、コンピュータ可読プログラム命令のステータス情報を利用して、例えばプログラマブルロジック回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）又はプログラマブルロジックアレイ（ＰＬＡ）のような電子回路をパーソナライズすることができる。当該電子回路は、コンピュータ可読プログラム命令を実行することで、本開示の各態様を実現してもよい。
【0097】
ここでは、本開示の実施形態にかかる方法、装置（システム）及びコンピュータプログラム製品のフローチャート及びブロック図の少なくとも一方を参照して、本開示の各態様を説明した。理解すべき点として、フローチャート及びブロック図の少なくとも一方の各ブロック並びにフローチャート及びブロック図の少なくとも一方の各ブロックの組合せは、いずれも、コンピュータ可読プログラム命令により実現してもよい。
【0098】
これらのコンピュータ可読プログラム命令は、汎用コンピュータ、専用コンピュータ又は他のプログラミング可能なデータ処理装置のプロセッサユニットに提供されて、マシンを生成してもよく、これらの命令がコンピュータ又は他のプログラミング可能なデータ処理装置のプロセッサユニットにより実行された場合、フローチャート及びブロック図の少なくとも１つ又は複数のブロックで規定された機能／動作を実現する装置が生成される。これらのコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体に格納されてもよい。これらの命令によって、コンピュータ、プログラミング可能なデータ処理装置及びその他の装置の少なくとも１つは特定の方法で動作を行う。したがって、命令が格納されているコンピュータ可読媒体は、フローチャート及びはブロック図の少なくとも１つ又は複数のブロックで規定された機能／動作を実現する各態様の命令が含まれている製品を含む。
【0099】
コンピュータ可読プログラム命令を、コンピュータ、他のプログラミング可能なデータ処理装置又は他の装置にロードして、コンピュータ、他のプログラミング可能なデータ処理装置又は他の装置上で一連の動作ステップを実行し、コンピュータが実施するプロセスを生成してもよい。こうすることで、コンピュータ、他のプログラミング可能なデータ処理装置又は他の装置で実行される命令が、フローチャート及びブロック図の少なくとも１つ又は複数のブロックで規定された機能／動作を実現する。
【0100】
図中のフローチャート及びブロック図は、本開示の複数の実施形態にかかるシステム、方法、コンピュータプログラム製品の実現可能なアーキテクチャ、機能及び動作を表している。この点において、フローチャート又はブロック図の各ブロックは、１つのモジュール、プログラムセグメント又は命令の一部を示してもよく、前記モジュール、プログラムセグメント又は命令の一部は、規定されたロジック機能を実現するための１つ又は複数の実行可能な命令を含む。代替としてのいくつかの実装において、ブロック内に表記された機能は、図中の表記と異なる順序で発生してもよい。例えば、２つの連続するブロックは実際には基本的に並行して実行されてもよいし、場合によっては反対の順序で実行されてもよい。これは、関係する機能によって定められる。また、注意すべき点として、ブロック図及びフローチャートの少なくとも一方の各ブロック、並びにブロック図及びフローチャートの少なくとも１つのブロックの組合せは、規定された機能又は動作を実行する、ハードウェアに基づく専用システムで実現してもよいし、或いは、専用のハードウェアとコンピュータ命令との組合せにより実現してもよい。
【0101】
以上、本開示の各実施形態を説明したが、上述した説明は、例示的なもので、全て網羅したものではなく、開示された各実施形態に限定されない。説明した各実施形態の範囲及び精神から逸脱しない状況において、当業者が複数の修正及び変更を行うことができることは明らかである。ここで使用した用語は、各実施形態の原理、実際の応用や市場での技術改良について最適な説明を行うこと、又は当業者に本明細書で開示された各実施形態を理解させることを意図して、選択したものである。
【図1A】
【図1B】
【図1C】
【図1D】
【図1E】
【図1F】
【図2】
【図3】
【図4】
【図5A】
【図5B】
【図5C】
【図5D】
【図5E】
【図5F】
【図6】
【図7】
【図8A】
【図8B】
【図9】
【外国語明細書】