特開 2024-8815 画像処理装置、画像処理方法および記録媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024008815

(43)【公開日】2024-01-19

(54)【発明の名称】画像処理装置、画像処理方法および記録媒体

(51)【国際特許分類】

   A61B 1/045 20060101AFI20240112BHJP

   G02B 23/24 20060101ALI20240112BHJP

   G06T 7/00 20170101ALI20240112BHJP

【ＦＩ】

A61B1/045 610

G02B23/24

G06T7/00 612

【審査請求】未請求

【請求項の数】13

【出願形態】ＯＬ

(21)【出願番号】P 2023037213

(22)【出願日】2023-03-10

(31)【優先権主張番号】17/858,212

(32)【優先日】2022-07-06

(33)【優先権主張国・地域又は機関】US

(71)【出願人】

【識別番号】304050923

【氏名又は名称】オリンパスメディカルシステムズ株式会社

(74)【代理人】

【識別番号】100118913

【弁理士】

【氏名又は名称】上田 邦生

(74)【代理人】

【識別番号】100142789

【弁理士】

【氏名又は名称】柳 順一郎

(74)【代理人】

【識別番号】100201466

【弁理士】

【氏名又は名称】竹内 邦彦

(72)【発明者】

【氏名】宮下 尚之

(72)【発明者】

【氏名】羽根 潤

【テーマコード（参考）】

2H040

4C161

5L096

【Ｆターム（参考）】

2H040GA02

2H040GA11

4C161HH51

5L096AA09

5L096BA06

5L096BA13

5L096CA04

5L096CA05

5L096FA66

5L096FA67

5L096FA69

5L096HA02

5L096JA11

5L096KA04

(57)【要約】      （修正有）

【課題】内視鏡検査では、胃および大腸等の臓器内腔にスコープを挿入し動画像を取得し観察することによって病変の有無を検査する。ここで、医師が病変部を見落すことを防止することが重要である。内視鏡検査中の観察フローに応じて観察網羅性を適切に判定することができる画像処理装置、画像処理方法および記録媒体を提供する。
【解決手段】画像処理装置は、プロセッサを備える。プロセッサは、内視鏡によって取得された動画像を受け取り、動画像のシーンを分類し、分類されたシーンに対応する判定方法を用いて動画像の観察網羅性を判定する、ように構成される。
【選択図】図７

【特許請求の範囲】

【請求項1】

プロセッサを備え、
該プロセッサが、
内視鏡によって取得された動画像を受け取り、
前記動画像のシーンを分類し、
分類されたシーンに対応する判定方法を用いて、前記動画像の観察網羅性を判定する、ように構成される、画像処理装置。

【請求項2】

前記プロセッサが、さらに、前記動画像が観察網羅性の判定対象であるか否かを判定するように構成され、
前記プロセッサが、前記判定対象であると判定された前記動画像のみの前記観察網羅性を判定する、請求項１に記載の画像処理装置。

【請求項3】

前記プロセッサが、前記動画像のシーンを複数のシーンのいずれかに分類し、該複数のシーンは、被写体の構造に関する情報量が多い第１シーンと、前記被写体の構造に関する情報量が少ない第２シーンとを含み、前記判定対象が前記第１シーンの動画像および前記第２シーンの動画像を含み、
前記プロセッサは、前記第１シーンの動画像の観察網羅性の判定に第１判定方法を用い、前記第２シーンの動画像の観察網羅性の判定に前記第１判定方法とは異なる第２判定方法を用いる、請求項２に記載の画像処理装置。

【請求項4】

前記第１判定方法が、
前記動画像から前記被写体の立体形状を推定すること、および、
前記被写体の立体形状に基づいて前記観察網羅性を判定することを含む、請求項３に記載の画像処理装置。

【請求項5】

前記立体形状を推定することが、前記動画像から前記被写体の３次元モデルを再構成することを含み、
前記観察網羅性を判定することが、前記３次元モデルに基づいて行われる、請求項４に記載の画像処理装置。

【請求項6】

前記立体形状を推定することが、前記動画像から前記被写体の表面の隆起の大きさを判別することを含み、
前記観察網羅性を判定することが、前記隆起の大きさに基づいて行われる、請求項４に記載の画像処理装置。

【請求項7】

前記第２判定方法が、
前記内視鏡の観察方向を推定すること、および、
前記内視鏡の観察方向に基づいて前記観察網羅性を判定することを含む、請求項３に記載の画像処理装置。

【請求項8】

前記観察方向を推定することが、前記動画像から前記内視鏡の観察方向を検出することを含み、
前記観察網羅性を判定することは、前記観察方向が円周方向に３６０度回転したか否かを判定することによって行われる、請求項７に記載の画像処理装置。

【請求項9】

前記観察方向を推定することが、モーションセンサを使用して前記内視鏡の観察方向を検出することを含み、
前記観察網羅性を判定することは、前記観察方向が円周方向に３６０度回転したか否かを判定することによって行われる、請求項７に記載の画像処理装置。

【請求項10】

前記プロセッサが、前記動画像内の特徴に基づいて前記動画像のシーンを分類する、請求項１に記載の画像処理装置。

【請求項11】

前記プロセッサが、被写体距離に基づいて前記動画像のシーンを分類する、請求項１に記載の画像処理装置。

【請求項12】

内視鏡によって取得された動画像を受け取り、
前記動画像のシーンを分類し、
分類されたシーンに対応する判定方法を用いて、前記動画像の観察網羅性を判定する、画像処理方法。

【請求項13】

内視鏡によって取得された動画像を受け取り、
前記動画像のシーンを分類し、
分類されたシーンに対応する判定方法を用いて、前記動画像の観察網羅性を判定する、ことをコンピュータに実行させる画像処理プログラムを記録した、非一時的なコンピュータ読み取り可能な記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、画像処理方法および記録媒体に関するものである。

【背景技術】

【0002】

内視鏡検査では、胃および大腸等の臓器内腔にスコープを挿入し動画像を取得し観察することによって病変の有無を検査する。ここで、医師が病変部を見落すことを防止することが重要である。
見落しの原因の１つは、画像内に存在する病変部に医師が気付かないことである。この原因に対処するために、ＣＡＤｅ（Computer Aided Detection/Diagnosis）のような病変検出技術が使用され、医師に病変部の存在を通知することによって見落し防止が図られる。

【0003】

見落しの原因のもう１つは、病変部が画像内に存在しないことであり、病変検出技術によって対処することができない。この原因への対処方法として、観察網羅性を確認する方法が提案されている（例えば、特許文献１および非特許文献１参照。）。特許文献１には、２次元の内視鏡画像からＳＬＡＭ等の技術を使用して腎盂および腎杯のような管腔臓器の３次元モデルを再構成し、撮像された領域と未だ撮像されていない領域とを視認可能とする技術が開示されている。非特許文献１には、内視鏡画像から大腸の奥行情報であるデプスマップを推定し、観察のカバー率を計算し、カバー率が不十分である大腸のエリアをリアルタイムで示す技術が開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特許第６２４２５４３号公報

【非特許文献】

【0005】

【非特許文献1】Daniel Freedman, et al.、"Detecting deficientcoverage in colonoscopies."、IEEE Transactions onMedical Imaging、Volume 39、issue11、p. 3451-3462、2020

【発明の概要】

【発明が解決しようとする課題】

【0006】

画像から３次元モデルを再構成するためには、被写体が安定していること、および、画像内の被写体が鮮明であることが必要である。しかし、実際の内視鏡検査の観察フローにおいて、３次元モデルの再構成やデプスマップの推定可能な内視鏡画像が必ずしも取得されるとは限らない。特許文献１および非特許文献１では、観察フローが考慮されていないため、観察網羅性が適切に判定されない可能性がある。

【0007】

本発明は、上述した事情に鑑みてなされたものであって、内視鏡検査中の観察フローに応じて観察網羅性を適切に判定することができる画像処理装置、画像処理方法および記録媒体を提供することを目的とする。

【課題を解決するための手段】

【0008】

本発明の一態様は、プロセッサを備え、該プロセッサが、内視鏡によって取得された動画像を受け取り、前記動画像のシーンを分類し、分類されたシーンに対応する判定方法を用いて、前記動画像の観察網羅性を判定する、ように構成される、画像処理装置である。

【0009】

本発明の他の態様は、内視鏡によって取得された動画像を受け取り、前記動画像のシーンを分類し、分類されたシーンに対応する判定方法を用いて、前記動画像の観察網羅性を判定する、画像処理方法である。

【0010】

本発明の他の態様は、内視鏡によって取得された動画像を受け取り、前記動画像のシーンを分類し、分類されたシーンに対応する判定方法を用いて、前記動画像の観察網羅性を判定する、ことをコンピュータに実行させる画像処理プログラムを記録した、非一時的なコンピュータ読み取り可能な記録媒体である。

【発明の効果】

【0011】

本発明によれば、内視鏡検査中の観察フローに応じて観察網羅性を適切に判定することができるという効果を奏する。

【図面の簡単な説明】

【0012】

【図1】一実施形態に係る画像処理装置の構成図である。

【図2】画像処理装置内のプロセッサの機能ブロック図である。

【図3A】ワイド観察を説明する図である。

【図3B】ワイド観察での内視鏡画像の一例を示す図である。

【図4A】近接観察を説明する図である。

【図4B】近接観察での内視鏡画像の一例を示す図である。

【図5A】第１判定方法の一例のフローチャートである。

【図5B】第１判定方法の他の例のフローチャートである。

【図6A】第２判定方法の一例のフローチャートである。

【図6B】第２判定方法の他の例のフローチャートである。

【図7】一実施形態に係る画像処理方法のフローチャートである。

【図8】一実施形態に係る画像処理方法の変形例のフローチャートである。

【発明を実施するための形態】

【0013】

以下に、本発明の一実施形態に係る画像処理装置、画像処理方法および画像処理プログラムについて図面を参照して説明する。
本実施形態に係る画像処理装置１は、内視鏡２０によって取得された動画像を処理し、被写体が内視鏡２０によって網羅的に観察されたか否かを評価する機能を有する。図１に示されるように、画像処理装置１は、内視鏡２０およびディスプレイ３０を備える内視鏡システムの一部であってもよい。

【0014】

画像処理装置１は、入力部２と、出力部３と、プロセッサ４と、メモリ５と、記憶部６とを備える。
入力部２は、動画像の入力に一般に使用される公知の入力インタフェースを有する。動画像は、時系列の複数の画像からなる。入力部２は、内視鏡２０と直接的にまたは間接的に接続され、内視鏡２０によって取得された動画像が画像処理装置１に入力部２から入力される。

【0015】

出力部３は、動画像の出力に一般に使用される公知の出力インタフェースを有する。出力部３は、ディスプレイ３０と直接的にまたは間接的に接続され、後述する提示情報が出力部３からディスプレイ３０に出力される。出力部３は、動画像もディスプレイ３０に出力してもよい。

【0016】

入力部２は、内視鏡２０の周辺機器と接続され、周辺機器によって取得されたデータが画像処理装置１に入力部２から入力されてもよい。周辺機器は、内視鏡２０の先端の動き検出するモーションセンサ４０であってもよく、モーションセンサ４０のセンサデータが、動画像の各画像と同期して画像処理装置１に入力されてもよい。モーションセンサ４０は、例えば、内視鏡２０からの磁気に基づいて体内の内視鏡２０の形状を検出する形状検出装置、または、内視鏡２０に取り付けられたＩＭＵ（慣性計測装置）であり、センサデータは、内視鏡２０の先端の位置および方向のデータを含む。

【0017】

プロセッサ４は、中央演算処理装置のような少なくとも１つのハードウェアを有する。
メモリ５は、ＲＡＭ（random access memory）のような揮発性メモリであり、プロセッサ４の作業メモリとして機能する。
記憶部６は、ＲＯＭ（read-only memory）またはハードディスクドライブのような、非一時的なコンピュータ読み取り可能な記録媒体を有する。記録媒体は、後述する画像処理方法をプロセッサ４に実行させるための画像処理プログラムを記憶している。

【0018】

次に、プロセッサ４が実行する処理について説明する。
図２に示されるように、プロセッサ４は、シーン分類ユニット１１、網羅性判定ユニット１２および提示情報生成ユニット１３を機能として備える。各ユニット１１，１２，１３の後述の機能は、プロセッサ４が、記憶部６からメモリ５に画像処理プログラムを読み出し、画像処理プログラムに従って処理を実行することによって、実現される。

【0019】

内視鏡検査中の動画像のシーンは、医師が行う観察フローに従って時間と共に変化する。
例えば、大腸内視鏡検査の病変スクリーニングにおいて、医師は、内視鏡２０を肛門から盲腸まで挿入し、その後、内視鏡２０を引くことによって、盲腸、上行結腸、横行結腸、下行結腸、Ｓ状結腸および直腸の順に観察範囲を移動し、検査範囲の全体を観察する。図３Ａおよび図４Ａに示されるように、腸内には多数の襞Ｆが存在する。医師は、図３Ａに示されるワイド観察と、必要に応じて図４Ａに示される近接観察とを行うことによって、各観察範囲の全体を見落しなく観察する。

【0020】

図３Ａおよび図３Ｂに示されるように、「ワイド観察」のシーンにおいて、内視鏡２０の先端が腸壁等の被写体Ｓから一定以上の距離をあけて配置され、腸内の広範囲が管腔の方向に観察される。襞Ｆが低い場合、ワイド観察によって襞Ｆの裏側も観察することができる。
一方、襞Ｆが高い場合、ワイド観察によって襞Ｆの裏側を観察することができない。襞Ｆの裏側が動画像内に観察されない場合、図４Ａおよび図４Ｂに示されるように、医師は、内視鏡２０の先端付近を腸壁に押し付けることによって襞Ｆを変形させ、襞Ｆの裏側の腸壁に内視鏡２０の先端を近接させて腸壁の近接観察を行う。「近接観察」のシーンにおいて、被写体Ｓの狭い範囲が近距離から撮影される。近接観察は臨床上の襞裏観察を含む。
このように、観察フローにおいて観察範囲および観察条件が時間と共に変化し、それにより動画像のシーンが時間と共に変化する。

【0021】

シーン分類ユニット１１は、動画像のシーンを分類する。動画像のシーンは、「ワイド観察（第１シーン）」、「近接観察（第２シーン）」および「その他」の３つのシーンを含む。例えば、シーン分類ユニット１１は、動画像を構成する各画像のシーンを、３つのシーンのいずれかに分類する。

【0022】

「その他」は、観察網羅性の判定に適さないシーンであり、「非観察対象」を含む。「非観察対象」は、医師の観察対象である被写体Ｓがほとんどまたは全く写っていないか、または被写体Ｓが不鮮明であるシーンである。例えば、「非観察対象」は、内視鏡が腸壁に接近することによって生じるいわゆる赤玉のシーンや、残渣、送水、泡等の被写体Ｓ以外の物体が支配的であるシーンを含む。
「その他」は、「非剛体観察」を含んでも良い。「非剛体観察」は、例えば襞のうねりまたは収縮する臓器等の変形した非剛体の被写体Ｓを含み、複雑な条件が存在するために観察された粘膜領域とされていない粘膜領域の判定が困難なシーンである。

【0023】

シーン分類ユニット１１は、動画像内の特徴に基づく公知の画像認識技術を使用して動画像のシーンを分類してもよい。シーンの分類には、ＣＮＮ（Convolutional Neural Network）等の深層学習を用いた画像分類手法が使用されてもよく、ＳＶＭ（Support Vector Machine）のような古典的なクラス分類手法が使用されてもよい。
シーン分類ユニット１１は、内視鏡２０の先端から被写体までの被写体距離に基づいて動画像のシーンを分類してもよい。この場合、被写体距離を計測する機能が設けられる。例えば、内視鏡２０が、動画像を構成する時系列の画像としてステレオ画像を取得する３Ｄ内視鏡２０であってもよく、または、被写体距離を計測する距離センサが内視鏡２０に設けられていてもよい。

【0024】

網羅性判定ユニット１２は、動画像が観察網羅性の判定対象であるか否かを判定する。具体的には、網羅性判定ユニット１２は、「ワイド観察」および「近接観察」のいずれかの動画像は判定対象であると判定し、「その他」の動画像は判定対象ではないと判定する。

【0025】

網羅性判定ユニット１２は、判定対象であると判定された動画像のみの観察網羅性を、動画像のシーンに対応する判定方法を用いて判定する。観察網羅性とは、観察対象である被写体の全体を見落しなく内視鏡２０によって観察することである。言い換えると、網羅性判定ユニット１２は、内視鏡２０によって観察されなかった未観察領域、すなわち医師によって見落とされた領域を判定または検出する。

【0026】

網羅性判定ユニット１２は、「ワイド観察」用の第１網羅性判定ユニット１２Ａと、「近接観察」用の第２網羅性判定ユニット１２Ｂとを備える。
第１網羅性判定ユニット１２Ａは、「ワイド観察」の動画像の観察網羅性を、第１判定方法を用いて判定する。図５Ａおよび図５Ｂは、第１判定方法の具体例を示している。図５Ａおよび図５Ｂに示されるように、第１判定方法は、被写体の立体形状を推定するステップＳＡ１と、推定された被写体の立体形状に基づいて観察網羅性を判定するステップＳＡ２とを含む。

【0027】

図５Ａの第１判定方法において、第１網羅性判定ユニット１２Ａは、動画像から被写体の３次元（３Ｄ）モデルを再構成し（ステップＳＡ１）、再構成された３Ｄモデルに基づいて観察網羅性を判定する（ステップＳＡ２）。３Ｄモデルの再構成において、モーションセンサ４０のセンサデータが必要に応じて使用されてもよい。３Ｄモデルは、公知のVisual-SLAM手法を用いて再構成することが出来る。センサデータを合わせて用いる場合、３Ｄモデルは、公知のVisual-Inertial-SLAM手法を用いて再構成される。
ステップＳＡ１において、動画像内に含まれる観察済みの領域の３Ｄモデルは再構成され、動画像内に含まれない未観察領域の３Ｄモデルは再構成されない。ステップＳＡ２において、第１網羅性判定ユニット１２Ａは、再構成された３Ｄモデルに欠けた領域があるか否かに基づいて、観察網羅性を判定してもよい。また、３Ｄモデルの欠けた領域の面積に基づいて観察網羅性を指標化してもよい。

【0028】

図５Ｂの第１判定方法において、第１網羅性判定ユニット１２Ａは、動画像から被写体の表面の隆起の大きさを判別し（ステップＳＡ１）、隆起の大きさに基づいて観察網羅性を判定する（ステップＳＡ２）。
襞Ｆのような隆起が小さい（低い）場合、隆起の裏側も動画像内に観察される。一方、襞Ｆのような隆起が大きい（高い）場合、隆起の裏側が動画像内に観察されない。ステップＳＡ２において、第１網羅性判定ユニット１２Ａは、隆起の大きさが所定値以下である場合に未観察領域が無いと判定し、隆起の大きさが所定値よりも大きい場合に未観察領域が有ると判定してもよい。

【0029】

第２網羅性判定ユニット１２Ｂは、「近接観察」の動画像の観察網羅性を、第２判定方法を用いて判定する。図６Ａおよび図６Ｂは、第２判定方法の具体例を示している。図６Ａおよび図６Ｂに示されるように、第２判定方法は、内視鏡２０の観察方向を推定するステップＳＢ１と、推定された観察方向に基づいて観察網羅性を判定するステップＳＢ２，ＳＢ３とを含む。

【0030】

「近接観察」において、医師は、内視鏡２０の湾曲部の湾曲方向を変化させることによって、内視鏡２０の先端を円を描くように一回りさせ、それにより、内視鏡２０の観察方向を円周方向に３６０度回転させる。したがって、内視鏡２０の観察方向に基づいて、観察網羅性を判定することができる。

【0031】

図６Ａの第２判定方法において、第２網羅性判定ユニット１２Ｂは、動画像を構成する時系列の画像から内視鏡２０の観察方向を検出し（ステップＳＢ１）、観察方向が３６０度回転したか否かを判定し（ステップＳＢ２）、観察方向が３６０度回転したか否かに基づいて観察網羅性を判定する（ステップＳＢ３）。時系列の画像から観察方向を検出する手法として、例えば、ＲＡＮＳＡＣ（Random sample consensus）を用いた５点アルゴリズムといった公知の相対カメラ姿勢推定手法、または、簡易的には時系列の動きベクトルの軌跡等から算出する手法が用いられる。

【0032】

図６Ｂの第２判定方法において、第２網羅性判定ユニット１２Ｂは、モーションセンサ４０を使用してセンサデータから内視鏡２０の観察方向を検出し（ステップＳＢ１）、観察方向が３６０度回転したか否かを判定し（ステップＳＢ２）、観察方向が３６０度回転したか否かに基づいて観察網羅性を判定する（ステップＳＢ３）。
ステップＳＢ３において、第２網羅性判定ユニット１２Ｂは、観察方向が３６０度回転した場合に未観察領域が無いと判定し、観察方向が３６０度回転しなかった場合に未観察領域が有ると判定してもよい。
観察方向の網羅性について、時系列の観察方向の変化から３６０度方向における観察した角度割合を算出し、角度割合を所定の閾値と比較することによって、一回転したか否かを判定することができる。

【0033】

提示情報生成ユニット１３は、網羅性判定ユニット１２の判定結果に基づく提示情報を生成し、提示情報をディスプレイ３０に逐次出力する。提示情報がディスプレイ３０に表示されることによって、観察網羅性の判定結果がリアルタイムで医師に提示される。

【0034】

提示情報は、動画像が観察網羅性の判定対象であるか否か（すなわち、観察網羅性の判定または検出が実行されたか否か）の情報を含んでもよい。例えば、動画像が判定対象でない場合、提示情報は、アラート表示を含んでいてもよい。観察者は、ディスプレイ３０に表示される提示情報に基づいて、未観察領域の検出が画像処理装置１によって実行されているか否かを認識することができる。

【0035】

動画像が判定対象である場合、提示情報は、観察網羅性の判定結果の情報、例えば、未観察領域の有無の情報、ならびに、未観察領域の位置および方向の情報を含んでいてもよい。一例において、提示情報は、再構成された３Ｄモデルを含んでもよい。観察方向の角度割合を含んでも良い。
ディスプレイ３０に表示する提示情報は、医師が選択可能であってもよい。

【0036】

次に、プロセッサ４が実行する画像処理方法について説明する。
図７に示されるように、本実施形態に係る画像処理方法は、動画像を受け取るステップＳ１１と、動画像のシーンを分類するステップＳ１２と、動画像が観察網羅性の判定対象であるか否かを判定するステップＳ１３と、動画像のシーンに応じた判定方法を用いて動画像の観察網羅性を判定するステップＳ１４からＳ１６と、提示情報を生成するステップＳ１７と、提示情報を出力するステップＳ１８と、を含む。

【0037】

まず、プロセッサ４は、画像処理装置１に入力され動画像を受け取る（ステップＳ１１）。ステップＳ１１において、プロセッサ４は、必要に応じて、モーションセンサ４０によって検出されたセンサデータも受け取ってもよい。

【0038】

次に、シーン分類ユニット１１によって、動画像のシーンが、３つのシーンのいずれかに分類される（ステップＳ１２）。
続いて、シーン分類ユニット１１によって、ステップＳ１２において分類されたシーンに基づき、動画像が判定対象であるか否かが判定される（ステップＳ１３）。具体的には、シーンが「ワイド観察」または「近接観察」である場合、動画像は判定対象であると判定される。一方、シーンが「その他」である場合、動画像は判定対象ではないと判定される。

【0039】

動画像が判定対象であると判定された場合（ステップＳ１３のＹＥＳ）、次に、網羅性判定ユニット１２によって、シーンに応じた判定方法を用いて動画像の観察網羅性が判定される（ステップＳ１４からＳ１６）。
具体的には、シーンが「ワイド観察」であるか、または「近接観察」であるかが判定される（ステップＳ１４）。

【0040】

シーンが「ワイド観察」である場合、次に、第１網羅性判定ユニット１２Ａによって、動画像の観察網羅性が判定される（ステップＳ１５）。ステップＳ１５において、図５Ａまたは図５Ｂに示される「ワイド観察」用の第１判定方法が用いられる。
一方、シーンが「近接観察」である場合、次に、第２網羅性判定ユニット１２Ｂによって、動画像の観察網羅性が判定される（ステップＳ１６）。ステップＳ１６において、図６Ａまたは図６Ｂに示される「近接観察」用の第２判定方法が用いられる。

【0041】

次に、ステップＳ１３からＳ１６の判定結果に基づく提示情報が、提示情報生成ユニット１３によって生成される（ステップＳ１７）。生成された提示情報は、プロセッサ４からディスプレイ３０に出力され、ディスプレイ３０に表示される。

【0042】

このように、本実施形態によれば、動画像のシーンが分類され、動画像の観察網羅性の判定に用いられる判定方法がシーンに応じて変更される。これにより、医師が行う観察フローに適した判定方法を用いて観察網羅性を適切に判定することができ、実際の内視鏡検査における網羅的観察を有効に支援することができる。

【0043】

具体的には、見落しの要因はシーンに応じて異なり、したがって見落しに対する対策もシーンに応じて異なる。
「ワイド観察」における見落しの要因の１つは、襞Ｆのような隆起の裏側の未観察である。この場合、動画像から推定された３Ｄモデルまたは隆起の大きさ等の被写体の立体形状に基づいて、観察網羅性を高い信頼性で判定することができる。
「ワイド観察」における見落しの要因のもう１つは、観察方向に偏りがあることである。この場合、再構成された被写体の３Ｄモデルに基づいて、観察網羅性を高い信頼性で判定することができる。

【0044】

「近接観察」における見落しの要因の１つは、観察方向が１回転していないことである。また、ＳＬＡＭのような技術を使用して画像から３Ｄモデルを再構成するためには、画像内の被写体が鮮明であることが必要であるが、「近接観察」の動画像は、被写体のボケおよびブレが発生し易く、３Ｄモデルの再構成に適さない。したがって、「近接観察」の場合、内視鏡２０の観察方向が１回転したか否かを判定することによって、観察網羅性を高い信頼性で判定することができる。

【0045】

また、本実施形態によれば、動画像が観察網羅性の判定対象であるか否かが判定され、判定対象ではない動画像の観察網羅性の判定は行われない。これにより、観察網羅性の誤判定を防止し、信頼性が高く支援に有効な提示情報を観察者に提示することができる。
例えば、「非剛体観察」の場合、被写体が経時的に変形する等の複雑な条件が存在するため、３Ｄモデルの再構成等による被写体の正確な立体形状の推定が難しい。このような観察網羅性の判定が技術的に困難であるシーンを判定対象外にすることによって、誤判定を効果的に防止することができる。
「観察対象外」は、検査に適さないシーンである。このようなシーンを判定対象外にすることによって、医師にとって不要な提示情報が提示されることを防ぐことができる。

【0046】

上記実施形態において、判定対象の判定と判定方法の選択を２つのステップＳ１２，Ｓ１３で実行することとしたが、これに代えて、図８に示されるように、１つのステップＳ１９で実行してもよい。
すなわち、ステップＳ１２においてシーンが分類された後、ステップＳ１９において、シーンに応じて次のステップが選択される。具体的には、シーンが「ワイド観察」である場合には、次にステップＳ１５が実行され、シーンが「近接観察」である場合には、次にステップＳ１６が実行され、シーンが「その他」である場合には、ステップＳ１５，Ｓ１６が実行されることなく次にステップＳ１７が実行される。

【0047】

上記実施形態において、第１シーンが、被写体が遠距離から撮影された「ワイド観察」であることとしたが、第１シーンはこれに限定されるものではなく、被写体の立体形状を推定することが可能な他のシーンであってもよい。すなわち、第１シーンは、立体形状の推定に必要な被写体の構造に関する情報量が多いシーンであり、例えば、襞Ｆのような被写体の凹凸構造を含む広い視野を有し、被写体が鮮明に撮影される任意のシーンであってもよい。取得される画像の特徴を用いると、第１シーンは、襞や隆起等の粘膜構造や粘膜下の血管に因り画像に一定以上のコントラストやテクスチャ強度といった情報量が存在するシーンと定義される。

【0048】

上記実施形態において、第２シーンが、被写体が近距離から撮影された「近接観察」であることとしたが、第２シーンはこれに限定されるものではなく、被写体の立体形状の推定が困難であり、かつ、内視鏡２０の観察方向を変更しながら被写体を観察する他のシーンであってもよい。すなわち、第２シーンは、被写体の構造に関する情報量が少ないシーンである。取得される画像の特徴を用いると、第２シーンは、第１シーンと相対し、内視鏡が粘膜に近接することによるボケやスコープ動作によるブラー等に因り画像の情報量が少ないシーンと定義される。
また、「第１シーン」、「第２シーン」および「その他」は、細分化されたシーンの分類または一部条件が重複するシーンの分類であり、それに応じた観察網羅性の判定を行うようにしてよい。

【0049】

上記実施形態において、提示情報が、リアルタイムでディスプレイ３０に表示されることとしたが、少なくとも一部の提示情報は、内視鏡検査後にディスプレイ３０に表示されてもよい。内視鏡検査後、医師は、提示情報に基づいて見落しの有無を確認することができる。

【0050】

上記実施形態において、ステップＳ１２からＳ１７の全ての処理が、画像処理装置１の内部のプロセッサ４によって実行されることとしたが、これに代えて、ステップＳ１２からＳ１７の少なくとも一部の処理が、画像処理装置１の外部の任意の装置によって実行されてもよい。例えば、画像処理装置１が通信ネットワークを経由してクラウドサーバと接続され、ステップＳ１２のシーンの分類が、クラウドサーバによって実行されてもよい。

【0051】

上記実施形態において、内視鏡２０から出力される画像を処理する画像処理装置１について説明したが、本発明の画像処理装置は、内視鏡、医療用マニピュレータおよびこれらが電動化／自動化された機器を含む医療機器に適用することができる。また、画像処理装置は、これらの医療機器から出力される画像を処理または分析する任意の分析装置として実施されてもよく、または、上記で説明した機能が付加された医療機器として実施されてもよい。

【0052】

以上、本発明の実施形態について図面を参照して詳述したが、具体的な構成は上記実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。また、上述の実施形態及び変形例において示した構成要素は適宜に組み合わせて構成することが可能である。

【符号の説明】

【0053】

１ 画像処理装置
４ プロセッサ
６ 記憶部（記録媒体）
Ｓ 被写体

【図1】

【図2】

【図3A】

【図3B】

【図4A】

【図4B】

【図5A】

【図5B】

【図6A】

【図6B】

【図7】

【図8】