特許 7441934 処理装置、内視鏡システム及び処理装置の作動方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-02-21

(45)【発行日】2024-03-01

(54)【発明の名称】処理装置、内視鏡システム及び処理装置の作動方法

(51)【国際特許分類】

   A61B 1/045 20060101AFI20240222BHJP

【ＦＩ】

A61B1/045 622

【請求項の数】 19

(21)【出願番号】P 2022502698

(86)(22)【出願日】2020-02-27

(86)【国際出願番号】 JP2020007975

(87)【国際公開番号】W WO2021171464

(87)【国際公開日】2021-09-02

【審査請求日】2022-08-25

(73)【特許権者】

【識別番号】000000376

【氏名又は名称】オリンパス株式会社

(74)【代理人】

【識別番号】100104710

【弁理士】

【氏名又は名称】竹腰 昇

(74)【代理人】

【識別番号】100124682

【弁理士】

【氏名又は名称】黒田 泰

(74)【代理人】

【識別番号】100090479

【弁理士】

【氏名又は名称】井上 一

(74)【代理人】

【識別番号】100166523

【弁理士】

【氏名又は名称】西河 宏晃

(72)【発明者】

【氏名】羽根 潤

【審査官】佐藤 秀樹

(56)【参考文献】

【文献】特表２０１２－５０９７１５（ＪＰ，Ａ）

【文献】国際公開第２０１９／０７８２３７（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ １／００－ １／３２

Ｇ０２Ｂ ２３／２４－２３／２６

(57)【特許請求の範囲】

【請求項1】

管腔の内部の撮像画像を取得する画像取得部と、
前記管腔の構造を示す管腔構造情報を取得する管腔構造情報取得部と、
前記撮像画像と第１の判定基準とに基づいて、前記撮像画像が分析可能か否かを判定し、前記撮像画像が分析可能状態か否かを示す分析可否情報を出力する分析可否判定部と、
前記分析可否情報と前記管腔構造情報に基づいて、前記管腔の構造上に前記分析可否情報を関連付ける処理を行い、前記管腔の構造のうち、分析可能である分析可能部分と、分析不可である分析不可部分とを特定する関連付け処理部と、
特定された前記分析不可部分を、前記管腔に挿入される挿入部の先端の位置姿勢情報と第２の判定基準とに基づいて、見逃し部分と判定する見逃し判定部と、
を含み、
前記管腔は腸管であり、前記挿入部が前記腸管の奥方向へ挿入された後、手前方向へ抜き出しながら前記腸管の撮像が行われる場合において、
前記第２の判定基準は、前記挿入部を前記奥方向へ再挿入しなければ観察できないという基準であり、
前記見逃し判定部は、
前記腸管に対する前記挿入部の先端の前記位置姿勢情報に基づいて、前記第２の判定基準を満たすと判定された前記分析不可部分を、前記見逃し部分と判定することを特徴とする処理装置。

【請求項2】

請求項１において、
前記分析可否判定部は、
前記撮像画像がコンピュータによって分析可能か否かに基づいて、前記分析可否情報を出力することを特徴とする処理装置。

【請求項3】

請求項２において、
前記撮像画像は生体画像であり、
前記分析可否判定部は、
前記生体画像をいずれかのクラスに分類する分類処理又は前記生体画像から注目領域を検出する検出処理を、前記コンピュータによって実行可能か否かに基づいて、前記分析可否情報を出力することを特徴とする処理装置。

【請求項4】

請求項１において、
前記分析可否判定部は、
前記撮像画像中の被写体の動きの大きさが所定値以下で、かつ動きが一定時間維持されているとき、前記撮像画像が分析可能であると判定することを特徴とする処理装置。

【請求項5】

請求項１において、
前記分析可否判定部は、
前記撮像画像の画質が所定の基準値以上であるとき、前記撮像画像が分析可能であると判定することを特徴とする処理装置。

【請求項6】

請求項１において、
前記分析可否判定部は、
前記撮像画像を複数の領域に区分した後、前記複数の領域の各領域の大きさが所定値以上であるとき、前記撮像画像が分析可能であると判定することを特徴とする処理装置。

【請求項7】

請求項１において、
前記管腔構造情報取得部は、
前記撮像画像に基づいて、前記管腔構造情報を求めることを特徴とする処理装置。

【請求項8】

請求項１において、
前記挿入部に設けられるセンサから、前記管腔に対する前記挿入部の先端の前記位置姿勢情報を取得する位置姿勢情報取得部を含み、
前記管腔構造情報取得部は、
前記位置姿勢情報と前記撮像画像に基づいて、前記管腔構造情報を求めることを特徴とする処理装置。

【請求項9】

請求項１において、
前記関連付け処理部は、
２つ以上のタイミングにおいて撮像された複数の前記撮像画像上に、それぞれ複数の特徴点を設定し、２つ以上のタイミングにおいて撮像された前記撮像画像上の、前記複数の特徴点同士の対応関係を判定することによって、前記管腔の構造上に前記分析可否情報を関連付けることを特徴とする処理装置。

【請求項10】

請求項９において、
前記関連付け処理部は、
分析可能と判定された前記撮像画像上の領域である分析可能領域を３つ以上の前記特徴点によって規定することによって、前記分析可能領域の前記管腔における配置を特定する処理と、
分析不可と判定された前記撮像画像上の領域である分析不可領域を３つ以上の前記特徴点によって規定することによって、前記分析不可領域の前記管腔における配置を特定する処理と、
の少なくとも一方の処理を行うことを特徴とする処理装置。

【請求項11】

請求項１０において、
３つ以上の前記特徴点によって規定される領域は、第１のタイミングにおいて撮像された前記撮像画像における形状と、第２のタイミングにおいて撮像された前記撮像画像における形状との間で変形可能であることを特徴とする処理装置。

【請求項12】

請求項１において、
前記関連付け処理部は、
前記管腔の構造のうち、少なくとも１枚の前記撮像画像に基づいて分析可能と判定された部分を前記分析可能部分と判定し、前記管腔の構造のうち、前記分析可能部分以外の部分を前記分析不可部分と判定することを特徴とする処理装置。

【請求項13】

請求項１において、
前記関連付け処理部は、
前記分析可能部分の面積、前記分析可能部分の形状、前記分析不可部分の面積、前記分析不可部分の形状の少なくとも１つを推定することを特徴とする処理装置。

【請求項14】

請求項１３において、
前記関連付け処理部は、
分析可能割合及び見逃し割合の少なくとも一方を求める処理を行い、
前記分析可能割合は、
前記管腔の内面全体に対する、前記分析可能部分の面積比を示す情報、又は、前記管腔のうち観察が行われたと判定された部分に対する、前記分析可能部分の面積比を示す情報であり、
前記見逃し割合は、
前記管腔の内面全体に対する、前記分析不可部分の面積比を示す情報、又は、前記管腔のうち観察が行われたと判定された部分に対する、前記分析不可部分の面積比を示す情報であることを特徴とする処理装置。

【請求項15】

請求項１４において、
前記関連付け処理部は、
前記分析不可部分の前記形状を簡略化することによって、前記分析可能割合及び前記見逃し割合の少なくとも一方を求めることを特徴とする処理装置。

【請求項16】

請求項１４において、
前記管腔は前記腸管であり、
前記関連付け処理部は、
前記腸管の基準形状に基づいて、前記分析可能割合及び前記見逃し割合の少なくとも一方を求めることを特徴とする処理装置。

【請求項17】

請求項１において、
前記見逃し部分が存在する場合に、前記見逃し部分を前記分析可能状態で撮像するためのガイドを行うガイド処理部を含むことを特徴とする処理装置。

【請求項18】

管腔の内部を撮像する撮像部と、
前記撮像部に基づく撮像画像を取得する画像取得部と、
前記管腔の構造を示す管腔構造情報を取得する管腔構造情報取得部と、
前記撮像画像と第１の判定基準とに基づいて、前記撮像画像が分析可能か否かを判定し、前記撮像画像が分析可能状態か否かを示す分析可否情報を出力する分析可否判定部と、
前記分析可否情報と前記管腔構造情報に基づいて、前記管腔の構造上に前記分析可否情報を関連付ける処理を行い、前記管腔の構造のうち、分析可能である分析可能部分と、分析不可である分析不可部分とを特定する関連付け処理部と、
特定された前記分析不可部分を、前記管腔に挿入される挿入部の先端の位置姿勢情報と第２の判定基準とに基づいて、見逃し部分と判定する見逃し判定部と、
を含み、
前記管腔は腸管であり、前記挿入部が前記腸管の奥方向へ挿入された後、手前方向へ抜き出しながら前記腸管の撮像が行われる場合において、
前記第２の判定基準は、前記挿入部を前記奥方向へ再挿入しなければ観察できないという基準であり、
前記見逃し判定部は、
前記腸管に対する前記挿入部の先端の前記位置姿勢情報に基づいて、前記第２の判定基準を満たすと判定された前記分析不可部分を、前記見逃し部分と判定することを特徴とする内視鏡システム。

【請求項19】

挿入部により取得された視野内の撮像画像から見逃し部分を判定する処理装置の作動方法であって、
前記処理装置が、管腔の内部を撮像した前記撮像画像を取得することと、
前記処理装置が、前記管腔の構造を示す管腔構造情報を取得することと、
前記処理装置が、前記撮像画像と第１の判定基準とに基づいて、前記撮像画像が分析可能か否かを判定し、前記撮像画像が分析可能状態か否かを示す分析可否情報を出力することと、
前記処理装置が、前記分析可否情報と前記管腔構造情報に基づいて、前記管腔の構造上に前記分析可否情報を関連付ける処理を行い、前記管腔の構造のうち、分析可能である分析可能部分と、分析不可である分析不可部分とを特定することと、
前記処理装置が、特定された前記分析不可部分を、前記管腔に挿入される前記挿入部の先端の位置姿勢情報と第２の判定基準とに基づいて、前記見逃し部分と判定することと、
を含み、
前記管腔は腸管であり、前記挿入部が前記腸管の奥方向へ挿入された後、手前方向へ抜き出しながら前記腸管の撮像が行われる場合において、
前記第２の判定基準は、前記挿入部を前記奥方向へ再挿入しなければ観察できないという基準であり、
前記処理装置が、前記腸管に対する前記挿入部の先端の前記位置姿勢情報に基づいて、前記第２の判定基準を満たすと判定された前記分析不可部分を、前記見逃し部分と判定することを特徴とする処理装置の作動方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、処理装置、内視鏡システム及び処理装置の作動方法等に関する。

【背景技術】

【0002】

従来、内視鏡が医療分野及び工業分野で広く利用されている。例えば医療分野では、医者は、内視鏡の挿入部を被検体内に挿入し、表示装置に表示される撮像画像を見て被検体内を観察することによって、内視鏡検査などを行うことができる。

【0003】

大腸内視鏡の未観察箇所の把握などを目的として、内視鏡が撮像した動画に基づいて、腸管の３次元モデルを構築する手法が検討されている。例えば非特許文献１には、円筒モデルを用いて大腸表面のマップを生成する手法が開示されている。

【先行技術文献】

【非特許文献】

【0004】

【文献】Mohammad Ali Armin et al, "Automated visibility map of the internal colon surface from colonoscopy video", International Journal of Computer Assisted Radiology and Surgery, 2016, Volume 11, Issue number 9, p.1599-1610,

【発明の概要】

【発明が解決しようとする課題】

【0005】

非特許文献１等の手法を用いて腸管の３次元モデルの構築が完了したことを観察完了の判断基準とすることによって、病変の見逃し抑制が可能と考えられる。しかし、腸管の３次元モデルの構築が完了したとしても、画像の画質が悪い場合等には、当該画像に基づいて適切な分析を行うことが難しい。

【0006】

本開示のいくつかの態様によれば、管腔構造における見逃しを適切に判定するための情報を出力可能な処理装置、内視鏡システム及び撮像画像の処理方法等を提供できる。

【課題を解決するための手段】

【0007】

本開示の一態様は、管腔の内部の撮像画像を取得する画像取得部と、前記管腔の構造を示す管腔構造情報を取得する管腔構造情報取得部と、前記撮像画像に基づいて、前記撮像画像が分析可能状態か否かを示す分析可否情報を出力する分析可否判定部と、前記分析可否情報と前記管腔構造情報に基づいて、前記管腔の構造上に前記分析可否情報を関連付ける関連付け処理部と、を含む処理装置に関係する。

【0008】

本開示の他の態様は、管腔の内部を撮像する撮像部と、前記撮像部に基づく撮像画像を取得する画像取得部と、前記管腔の構造を示す管腔構造情報を取得する管腔構造情報取得部と、前記撮像画像に基づいて、前記撮像画像が分析可能状態か否かを示す分析可否情報を出力する分析可否判定部と、前記分析可否情報と前記管腔構造情報に基づいて、前記管腔の構造上に前記分析可否情報を関連付ける関連付け処理部と、を含む内視鏡システムに関係する。

【0009】

本開示のさらに他の態様は、管腔の内部を撮像した撮像画像を取得することと、前記管腔の構造を示す管腔構造情報を取得することと、前記撮像画像に基づいて、前記撮像画像が分析可能状態か否かを示す分析可否情報を出力することと、前記分析可否情報と前記管腔構造情報に基づいて、前記管腔の構造上に前記分析可否情報を関連付けることと、を含む撮像画像の処理方法に関係する。

【図面の簡単な説明】

【0010】

【図1】内視鏡システムの構成例。

【図2】内視鏡の構成例。

【図3】処理装置の構成例。

【図4】管腔構造検出装置の構成例。

【図5】管腔構造情報の取得処理を説明するフローチャート。

【図6】管腔構造情報の例。

【図7】バンドル調整を用いた管腔構造情報の取得処理を説明するフローチャート。

【図8】複数の特徴点と、先端部の位置姿勢の関係を説明する模式図。

【図9】図９（Ａ）、図９（Ｂ）は位置姿勢を検出するセンサの変形例。

【図10】分析可否判定処理を説明するフローチャート。

【図11】襞等に起因する隠れ部分が存在する場合の撮像画像の例。

【図12】分析可否情報と管腔構造情報の関連付けの例。

【図13】図１３（Ａ）、図１３（Ｂ）は先端部と分析不可部分の位置関係の例。

【図14】表示画像の例。

【図15】処理装置の他の構成例。

【発明を実施するための形態】

【0011】

以下、本実施形態について説明する。なお、以下に説明する本実施形態は、請求の範囲に記載された内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本開示の必須構成要件であるとは限らない。

【0012】

１．システム構成例
内視鏡システムを用いた管腔の検査において、注目領域の見逃し抑制が重要である。なお注目領域とは、ユーザにとって観察の優先順位が他の領域よりも相対的に高い領域である。ユーザが診断や治療を行う医者である場合、注目領域は、例えば病変部を写した領域に対応する。ただし、医者が観察したいと欲した対象が泡や残渣であれば、注目領域は、その泡部分や残渣部分を写した領域であってもよい。即ち、ユーザが注目すべき対象は観察目的によって異なるが、その観察に際し、ユーザにとって観察の優先順位が他の領域よりも相対的に高い領域が注目領域となる。

【0013】

以下、内視鏡システムが生体内を観察するシステムであり、観察対象が大腸である例について説明する。即ち、本実施形態における管腔とは、狭義には腸管である。ただし、本実施形態の手法は、腸管以外の管腔を対象としてもよい。例えば、大腸以外の消化管を対象とすることや、生体の他の部位における管腔構造を対象としてもよい。また、内視鏡システムは、管腔状の部材の観察に用いられる工業用内視鏡であってもよい。また以下では注目領域が病変である例について説明するが、上述したとおり注目領域は病変以外に拡張が可能である。

【0014】

従来、管腔のどの部分において内視鏡がどのように動かされているかという正確な状況が把握しにくかった。より具体的には、挿入部先端の位置姿勢と管腔との関係を正確に把握することが難しかった。また、それによって管腔のどのような範囲をどのような撮像状態で撮像しているかを把握することも難しかった。そのため、見逃しの有無を正確に判定することや、見逃しを定量化することが容易でなかった。これに対して、非特許文献１のように、２次元の撮像画像に基づいて、腸管の３次元モデルを推定する手法が開示されている。非特許文献１の手法では、所与の撮像画像が、腸管のどの部分を撮像したものであるかを関連付けることが可能である。なお本実施形態の手法においては、撮像画像と管腔構造の関連付けが可能であればよく、具体的な手法は後述するように種々の変形実施が可能である。

【0015】

病変の見逃しを抑制するためには、少なくとも１枚の撮像画像上に、当該病変が撮像されている必要がある。即ち、見逃し抑制のためには腸管等の管腔構造の内面全体を網羅的に撮像することが重要である。例えば、非特許文献１の手法において、３次元モデルの構築完了を、内視鏡システムを用いた観察の終了条件とすることによって、見逃しの抑制が可能になる。

【0016】

ただし、内視鏡システムを用いた検査においては、撮像画像に基づいて所望の分析が可能であるか否かが重要である。例えば注目領域が病変である場合、分析とは、撮像画像から病変を検出する処理であってもよいし、当該病変を悪性度に応じて分類する処理であってもよい。よって本実施形態においては、病変が撮像画像に撮像されるという条件に加えて、当該病変が分析可能な状態であるという条件を用いて見逃し判定を行う。

【0017】

腸管表面に存在する可能性のある病変を確実に撮像するためには、腸管の所望範囲全体をもれなく撮像部の視野におさめることが重要となる。撮像部の視野とは、当該撮像部の光軸方向と画角とによって決定される所与の空間を表す。例えば撮像部の視野は、撮像部に対応する位置を頂点とし、撮像部の光軸が当該頂点及び底面の中心を通過するような角錐状又は円錐状の空間である。撮像部の光軸を病変の存在する方向、或いはそれに近い方向に向けることによって、病変を視野に捉えることが可能である。

【0018】

しかし撮像部の視野内に位置する病変であっても見逃す可能性がある点に留意すべきである。見逃す可能性がある場合とは、第１に、撮像部の視野内に位置し、撮像画像上にも見えているが撮像条件が悪い部分が存在する場合である。第２に、撮像部の視野内に位置するが撮像画像上に見えていない部分が存在する場合である。

【0019】

撮像条件が悪いとは、例えば撮像部と病変との距離が遠い、或いは病変を斜め方向から撮像している等の要因によって、解像度が低い場合等に相当する。解像度が低いとは、具体的には病変の画像上でのサイズが非常に小さいことを表す。撮像条件が悪い部分は、撮像自体は行われているものの、病変検出、或いは、悪性度判定の精度が低く、所望の分析を実行できない。そのため本実施形態の手法においては、撮像条件が悪い部分が存在する場合、病変を見逃すおそれがあると判定される。

【0020】

また撮像画像上に見えていない部分とは、例えば遮蔽物によって遮蔽された部分に相当する。ここでの遮蔽物は、残渣、泡、汚水、止血用のクリップ等、腸管以外の物体である。腸管のうち、遮蔽物によって遮蔽される部分は撮像画像上で視認できないため、当該遮蔽物の裏に存在する病変が見逃される。よって遮蔽物が存在する場合も、病変を見逃すおそれがあると判定される。また、撮像部の視野内に位置するが撮像画像上に見えていない部分には、襞等の管腔構造に起因して発生する隠れ部分も含まれる。隠れ部分とは例えば襞の裏面である。裏面とは襞の面のうち、撮像部と反対側に位置する面を表す。襞の裏面は当該襞の撮像部側の面に遮蔽されるため、視野内であっても撮像画像に撮像されない。

【0021】

本実施形態の手法においては、腸管のうち、撮像部の視野内に位置し、撮像画像上にも見えており、且つ、撮像条件がよい部分を分析可能部分と判定し、それ以外の部分を分析不可部分と判定する。言い換えれば、本実施形態の手法においては、管腔構造の所与の領域を見逃したか否かの判定基準として、当該所与の範囲が撮像されたか否かという基準に加えて、分析が可能な状態であるかという基準が用いられる。分析可能部分と分析不可部分を区別するための具体的な処理については後述する。

【0022】

なお以上の説明からわかるように、分析不可部分には、以下の３つの態様が考えられる。本実施形態の手法では、分析不可部分を以下の（１）～（３）のいずれかに分類してもよい。例えば処理装置９は、分析不可部分を表示する場合に、以下の（１）～（３）を異なる態様で表示する処理を行う。説明の便宜上、（１）に分類される分析不可部分を第１分析不可部分とも表記する。同様に、（２）、（３）に分類される分析不可部分を、それぞれ第２分析不可部分、第３分析不可部分とも表記する。また分類が不要なケースにおいては、以下の（１）～（３）のいずれについても単に分析不可部分と表記する。分類のための具体的な処理については後述する。また分類は以下の３つに限定されず、より細分化されてもよい。
（１）撮像部の視野内に位置し、撮像画像上にも見えているが撮像条件が悪い部分
（２）撮像部の視野内に位置するが撮像画像上に見えていない部分
（３）撮像部の視野内に一度も入っていない部分

【0023】

本実施形態の処理装置９は、例えば内視鏡システムの撮像部に基づいて取得される撮像画像に基づいて、被写体の分析が可能であるか判定する。そして処理装置９は、判定結果と、管腔構造を表す管腔構造情報とを関連付ける。例えば、処理装置９は、撮像画像に基づいて分析可能と判定した画像上の領域を、腸管構造上にマッピングする処理を行う。これにより、管腔構造のうち、どの部分が分析可能部分と判定され、どの部分が分析不可部分と判定されたかを特定することが可能になる。例えば処理装置９は、関連付け処理の結果を表示することによって、分析可能な状態で撮像されていない管腔構造上の部分を提示してもよい。なお当該提示は、内視鏡システムを用いた観察中に行われてもよいし、観察の終了後に行われてもよい。ここでの観察中とは、内視鏡システムを用いた被写体の観察を継続している状態を表し、具体的には１回の検査や診断を継続している状態を表す。観察の終了後とは、検査や診断の終了後である。

【0024】

図１は、本実施形態に係る処理装置９を含むシステムの一例である内視鏡システム１の構成図である。内視鏡システム１は、内視鏡２と、画像処理装置３と、光源装置４と、管腔構造検出装置５と、表示装置であるモニタ６と、磁場発生装置７と、処理装置９と、を含む。医者は、内視鏡システム１を用いて、ベッド８上に仰向けで横になっている患者Ｐａの大腸内の内視鏡検査を行うことができる。

【0025】

ただし、内視鏡システム１の構成は図１に限定されない。例えば処理装置９と画像処理装置３が一体として構成されてもよい。また後述するように、処理装置９と管腔構造検出装置５が一体として構成されてもよい。また、管腔構造検出装置５が、磁場発生装置７を含んでもよい。また、管腔構造検出装置５が磁気センサ１６を用いない構成であってもよく、その場合、磁場発生装置７を省略可能である。また、事前に取得した管腔構造情報を用いる場合、管腔構造検出装置５を省略することもできる。その他、内視鏡システム１は図１に示す構成の一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。

【0026】

また図１においては、画像処理装置３、管腔構造検出装置５、及び処理装置９が内視鏡２の近傍に設けられる例を示したがこれには限定されない。例えば、これらの一部又は全部の装置は、ネットワークを介して接続可能なサーバーシステム等によって構築されてもよい。換言すれば、処理装置９等の装置はクラウドコンピューティングによって実現されてもよい。ここでのネットワークは、イントラネット等のプライベートネットワークであってもよいし、インターネット等の公衆通信網であってもよい。またネットワークは有線、無線を問わない。

【0027】

図２は、内視鏡２の斜視図である。内視鏡２は、操作部２ａと、可撓性を有する挿入部２ｂと、信号線などを含むユニバーサルケーブル２ｃとを有する。内視鏡２は、管状の挿入部２ｂを体腔内に挿入する管状挿入装置である。ユニバーサルケーブル２ｃの先端にはコネクタが設けられ、内視鏡２は、そのコネクタにより光源装置４と画像処理装置３に着脱可能に接続される。ここでは、内視鏡２は、大腸内へ挿入可能な内視鏡である。さらに、図示しないが、ユニバーサルケーブル２ｃ内には、ライトガイドが挿通されており、内視鏡２は、光源装置４からの照明光を、ライトガイドを通して挿入部２ｂの先端から出射する。

【0028】

図２に示すように、挿入部２ｂは、挿入部２ｂの先端から基端に向かって、先端部１１と、湾曲可能な湾曲部１２と、可撓管部１３とを有している。挿入部２ｂは、被写体となる患者Ｐａの管腔に挿入される。先端部１１の基端部は湾曲部１２の先端に接続され、湾曲部１２の基端部は可撓管部１３の先端に接続されている。挿入部２ｂの先端部１１は、内視鏡２の先端部であり、硬い先端硬質部である。

【0029】

湾曲部１２は、操作部２ａに設けられた湾曲操作部材１４に対する操作に応じて、所望の方向に湾曲可能である。湾曲操作部材１４は、例えば左右湾曲操作ノブ１４ａ及び上下湾曲操作ノブ１４ｂを含む。湾曲部１２を湾曲させ、先端部１１の位置と向きを変え、被検体内の観察部位を視野内に捉えると、照明光は観察部位に照射される。湾曲部１２は、挿入部２ｂの長手軸方向に沿って連結された複数の湾曲駒を有している。よって、医者は、挿入部２ｂを大腸内に押し込みながら、あるいは大腸内から引き抜きながら、湾曲部１２を様々な方向に湾曲させることによって、患者Ｐａの大腸内を観察できる。

【0030】

左右湾曲操作ノブ１４ａ及び上下湾曲操作ノブ１４ｂは、湾曲部１２を湾曲するために、挿入部２ｂ内に挿通された操作ワイヤを牽引及び弛緩させる。湾曲操作部材１４は、さらに、湾曲した湾曲部１２の位置を固定する固定ノブ１４ｃを有している。なお、操作部２ａには、湾曲操作部材１４の他にも、レリーズボタン、送気送水ボタン等の各種操作ボタンも設けられている。

【0031】

可撓管部１３は、可撓性を有しており、外力に応じて曲がる。可撓管部１３は、操作部２ａから延出されている管状部材である。

【0032】

また、挿入部２ｂの先端部１１には、撮像装置である撮像素子１５が設けられている。光源装置４の照明光により照明された大腸内の観察部位は、撮像素子１５により撮像される。すなわち、撮像素子１５は、挿入部２ｂの先端部１１に設けられ、被検体内を撮像して撮像画像を取得するための撮像部を構成する。撮像素子１５により得られた撮像信号は、ユニバーサルケーブル２ｃ内の信号線を経由して画像処理装置３に供給される。なお撮像素子１５が設けられる位置は挿入部２ｂの先端部１１に限定されない。例えば被写体からの光を導光することによって、先端部１１よりも基端側の位置に撮像素子１５が設けられてもよい。

【0033】

画像処理装置３は、受信した撮像信号に対して所定の画像処理を行い、撮像画像を生成するビデオプロセッサである。生成された撮像画像の映像信号は、画像処理装置３からモニタ６へ出力され、ライブの撮像画像が、モニタ６上に表示される。検査を行う医者は、挿入部２ｂの先端部１１を患者Ｐａの肛門から挿入し、患者Ｐａの大腸内を観察することができる。

【0034】

挿入部２ｂの先端部１１には、磁気センサ１６が配置されている。具体的には、磁気センサ１６は、先端部１１の撮像素子１５の近傍に配置され、撮像素子１５の視点の位置と姿勢を検出するための検出装置である。磁気センサ１６は、２つのコイル１６ａ、１６ｂを有する。例えば、円筒状の２つのコイル１６ａ、１６ｂの２つの中心軸は、互いに直交している。よって、磁気センサ１６は、６軸のセンサであり、先端部１１の位置座標と配向を検出する。ここでの配向とはオイラー角を表す。磁気センサ１６の信号線２ｅが、内視鏡２から延出し、管腔構造検出装置５に接続されている。

【0035】

磁場発生装置７が所定の磁場を発生し、磁気センサ１６は、磁場発生装置７が発生する磁場を検出する。磁場発生装置７は、信号線７ａにより管腔構造検出装置５と接続されている。磁場の検出信号は、信号線２ｅを経由して内視鏡２から管腔構造検出装置５へ供給される。なお、磁気センサ１６に代えて先端部１１に磁場発生素子を設け、磁場発生装置７に代えて、患者Ｐａの外部に磁気センサを設けるようにして、先端部１１の位置及び姿勢を検出するようにしてもよい。ここでは、磁気センサ１６により、先端部１１の位置及び姿勢、言い換えれば撮像素子１５により取得される撮像画像の視点の位置及び向きがリアルタイムで検出される。

【0036】

光源装置４は、通常光観察モード用の通常光を出射可能な光源装置である。なお、内視鏡システム１が通常光観察モードの他に特殊光観察モードも有している場合は、光源装置４は、通常光観察モード用の通常光と、特殊光観察モード用の特殊光とを選択的に出射する。光源装置４は、画像処理装置３に設けられた観察モードを切り換えるための切換スイッチの状態に応じて、通常光と特殊光のいずれかを照明光として出射する。

【0037】

図３は、処理装置９の構成例である。処理装置９は、画像取得部９１と、分析可否判定部９２と、管腔構造情報取得部９３と、関連付け処理部９４を含む。また処理装置９は、見逃し判定部９５と、ガイド処理部９６を含んでもよい。ただし処理装置９は図３の構成に限定されない。例えば図１５に示すように他の構成が追加されてもよいし、一部の構成が省略されてもよい。例えば見逃し判定部９５と、ガイド処理部９６は必須の構成ではなく、省略が可能である。

【0038】

画像取得部９１は、画像処理装置３から撮像画像を取得する。画像処理装置３は、例えば３０分の１秒毎に撮像画像を供給可能である。画像取得部９１は、そのうちの一部又は全てを分析可否判定部９２等に出力する。なお、処理装置９における処理は観察と平行して行われるものに限定されない。例えば、画像処理装置３は、撮像画像を所与のストレージに蓄積する処理を行う。画像取得部９１は、内視鏡システム１を用いた観察の終了後に、当該ストレージから撮像画像を読み出す処理を行ってもよい。

【0039】

分析可否判定部９２は、撮像画像に基づいて、分析可否情報を求める処理を行う。具体的な処理内容については後述する。分析可否情報とは、例えば撮像画像のうち、分析可能と判定された領域である分析可能領域と、分析不可と判定された領域である分析不可領域とを特定する情報である。ただし分析可否判定部９２は、撮像画像全体について、分析可能か否かを判定してもよく、分析可否情報の態様については種々の変形実施が可能である。

【0040】

管腔構造情報取得部９３は、観察対象である管腔の構造を表す管腔構造情報を取得する。例えば管腔構造情報取得部９３は、図３に示すように、処理装置９の外部に設けられる管腔構造検出装置５によって検出された管腔構造情報を取得する。ただし、図１５を用いて後述するように、管腔構造情報取得部９３は、撮像画像等に基づいて管腔構造情報の検出処理を実行してもよい。

【0041】

関連付け処理部９４は、分析可否情報を管腔構造に対応付ける処理を行う。例えば、関連付け処理部９４は、管腔構造のうち、分析可能である分析可能部分と、分析不可である分析不可部分とを特定する処理を行う。

【0042】

見逃し判定部９５は、分析不可部分のうち、最終的に見逃される蓋然性が高い見逃し部分を検出する。また見逃し判定部９５は、検出した見逃し部分を提示する処理を行ってもよい。見逃し部分の詳細については後述する。

【0043】

ガイド処理部９６は、分析可否情報、又は、分析可否情報と管腔構造情報との関連付け結果、又は、見逃し部分の検出結果に基づいて、ユーザに対するガイドを行う。ここでのガイドは、所与の操作を促すための情報の提示である。具体的なガイドについては後述する。

【0044】

なお処理装置９の各部は、下記のハードウェアにより構成される。処理装置９の各部とは、具体的には画像取得部９１、分析可否判定部９２、管腔構造情報取得部９３、関連付け処理部９４である。また、処理装置９の各部は、見逃し判定部９５やガイド処理部９６を含んでもよいし、図１５を用いて後述する位置姿勢情報取得部９７を含んでもよい。ハードウェアは、デジタル信号を処理する回路及びアナログ信号を処理する回路の少なくとも一方を含むことができる。例えば、ハードウェアは、回路基板に実装された１又は複数の回路装置や、１又は複数の回路素子で構成することができる。１又は複数の回路装置は例えばＩＣ（Integrated Circuit）、ＦＰＧＡ（field-programmable gate array）等である。１又は複数の回路素子は例えば抵抗、キャパシター等である。

【0045】

また処理装置９の各部は、下記のプロセッサにより実現されてもよい。処理装置９は、情報を記憶するメモリと、メモリに記憶された情報に基づいて動作するプロセッサと、を含む。情報は、例えばプログラムと各種のデータ等である。プロセッサは、ハードウェアを含む。プロセッサは、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）等、各種のプロセッサを用いることが可能である。メモリは、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）などの半導体メモリであってもよいし、レジスタであってもよいし、ＨＤＤ（Hard Disk Drive）等の磁気記憶装置であってもよいし、光学ディスク装置等の光学式記憶装置であってもよい。例えば、メモリはコンピュータにより読み取り可能な命令を格納しており、当該命令がプロセッサにより実行されることで、処理装置９の各部の機能が処理として実現されることになる。ここでの命令は、プログラムを構成する命令セットの命令でもよいし、プロセッサのハードウェア回路に対して動作を指示する命令であってもよい。さらに、処理装置９の各部の全部または一部をクラウドコンピューティングで実現し、後述する各処理をクラウドコンピューティング上で行うこともできる。

【0046】

また、本実施形態の処理装置９の各部は、プロセッサ上で動作するプログラムのモジュールとして実現されてもよい。例えば、画像取得部９１は、画像取得モジュールとして実現される。分析可否判定部９２は、分析可否の判定処理を行う処理モジュールとして実現される。管腔構造情報取得部９３は、管腔構造情報の取得モジュールや演算モジュールとして実現される。関連付け処理部９４は、分析可否情報と管腔構造情報に対応づけ処理を行う処理モジュールとして実現される。

【0047】

また、本実施形態の処理装置９の各部が行う処理を実現するプログラムは、例えばコンピュータによって読み取り可能な媒体である情報記憶装置に格納できる。情報記憶装置は、例えば光ディスク、メモリカード、ＨＤＤ、或いは半導体メモリなどによって実現できる。半導体メモリは例えばＲＯＭである。処理装置９は、情報記憶装置に格納されるプログラムに基づいて本実施形態の種々の処理を行う。即ち情報記憶装置は、処理装置９の各部としてコンピュータを機能させるためのプログラムを記憶する。コンピュータは、入力装置、処理部、記憶部、出力部を備える装置である。具体的には本実施形態に係るプログラムは、図１０等を用いて後述する各ステップを、コンピュータに実行させるためのプログラムである。

【0048】

以上のように、本実施形態の処理装置９は、管腔の内部の撮像画像を取得する画像取得部９１と、管腔の構造を示す管腔構造情報を取得する管腔構造情報取得部９３と、撮像画像に基づいて、撮像画像が分析可能状態か否かを示す分析可否情報を出力する分析可否判定部９２と、分析可否情報と管腔構造情報に基づいて、管腔の構造上に分析可否情報を関連付ける関連付け処理部９４を含む。撮像画像は、例えば撮像部が管腔の内部を撮像することによって取得される。撮像部とは、具体的には撮像素子１５に対応する。また撮像画像は、撮像素子１５の出力そのものであってもよいし、当該出力に対する処理が行われた結果であってもよい。例えば撮像画像は、画像処理装置３における処理後の情報であってもよい。分析可否判定部９２は、具体的には撮像画像の各領域について、当該領域に撮像された被写体が分析可能な状態か否かを判定する。

【0049】

本実施形態の手法によれば、病変検出や悪性度判定等、所望の分析を実行可能な状態で管腔が撮像されたか否かを、当該管腔の構造と関連付けることが可能になる。そのため、管腔構造のうち、いずれの領域において見逃しが発生する可能性があるかを適切に判定することが可能になる。例えば関連付け結果を観察中のユーザに提示することによって、見逃し抑制が可能である。或いは関連付け結果はユーザの技量評価に用いられてもよい。また関連付け結果に基づいて、挿入部２ｂの挿抜や湾曲部１２の制御が実行されてもよい。

【0050】

また本実施形態の手法は、管腔の内部を撮像する撮像部と、撮像部に基づく撮像画像を取得する画像取得部９１と、管腔の構造を示す管腔構造情報を取得する管腔構造情報取得部９３と、撮像画像に基づいて、撮像画像が分析可能状態か否かを示す分析可否情報を出力する分析可否判定部９２と、分析可否情報と管腔構造情報に基づいて、管腔の構造上に前記分析可否情報を関連付ける関連付け処理部９４を含む内視鏡システム１に適用できる。

【0051】

また、本実施形態の処理装置９が行う処理は、撮像画像の処理方法として実現されてもよい。本実施形態に係る撮像画像の処理方法は、管腔の内部を撮像した撮像画像を取得することと、管腔の構造を示す管腔構造情報を取得することと、撮像画像に基づいて、撮像画像が分析可能状態か否かを示す分析可否情報を出力することと、分析可否情報と管腔構造情報に基づいて、管腔の構造上に分析可否情報を関連付けることと、を含む。

【0052】

２．処理の詳細
本実施形態の処理装置９を含むシステムにおいて実行される各処理について詳細に説明する。以下では観察中に撮像画像に基づく管腔構造情報の取得、分析可否情報の取得、管腔構造情報と分析可否情報の関連付けが行われる例について説明する。ただし変形例として後述するように、各処理の実行タイミングはこれに限定されない。

【0053】

２．１ 管腔構造情報の取得処理
まず管腔構造検出装置５において実行される処理について説明する。なお図１５を用いて後述するように、管腔構造の検出処理は処理装置９において実行されてもよい。

【0054】

２．１．１ 管腔構造検出装置の構成例
図４は管腔構造検出装置５の構成例である。管腔構造検出装置５は、プロセッサ５１と、記憶装置５２と、インターフェース５３と、画像取込部５４と、位置姿勢検出部５５と、駆動回路５６を含む。管腔構造検出装置５の各部は、バス５８により互いに接続されている。

【0055】

プロセッサ５１は、ＣＰＵとメモリを有し、管腔構造検出装置５内の各部の処理を制御する制御部である。メモリは、ＲＯＭ、ＲＡＭなどを含む記憶部である。ＲＯＭには、ＣＰＵにより実行される各種処理プログラム及び各種データが記憶されている。ＣＰＵは、ＲＯＭ及び記憶装置５２に格納された各種プログラムを読み出して実行することができる。

【0056】

記憶装置５２には、管腔構造算出プログラムが格納されている。管腔構造算出プログラムは、先端部１１の位置及び姿勢の情報と、撮像画像とから管腔構造情報を算出するソフトウエアプログラムである。ＣＰＵが管腔構造算出プログラムを読み出して実行することにより、プロセッサ５１は、撮像素子１５により得られた撮像画像と磁気センサ１６に検出された先端部１１の３次元配置とに基づいて、管腔の３次元構造を算出する管腔構造算出部を構成する。

【0057】

インターフェース５３は、プロセッサ５１によって算出された管腔構造情報を、処理装置９に出力する。インターフェース５３は、例えば処理装置９との通信を行う通信インターフェースである。

【0058】

画像取込部５４は、画像処理装置３において得られた撮像画像を、一定の周期で取り込む処理部である。例えば、内視鏡２から、フレームレートと同じ、１秒間に３０枚の撮像画像を、画像処理装置３から取得する。なお、ここでは、画像取込部５４は、１秒間に３０枚の撮像画像を取り込んでいるが、フレームレートよりも長い周期で撮像画像を取得するようにしてもよい。例えば画像取込部５４は、１秒間に３枚等の撮像画像を取り込んでもよい。

【0059】

位置姿勢検出部５５は、磁場発生装置７を駆動する駆動回路５６を制御して、磁場発生装置７に所定の磁場を発生させる。位置姿勢検出部５５は、その磁場を磁気センサ１６により検出し、その検出された磁場の検出信号から、撮像素子１５の位置座標（ｘ、ｙ、ｚ）と配向（ｖｘ、ｖｙ、ｖｚ）のデータを生成する。配向とはオイラー角を表す。即ち、位置姿勢検出部５５は、磁気センサ１６からの検出信号に基づいて、撮像素子１５の位置と姿勢を検出する検出装置である。

【0060】

２．１．２ 処理の流れ
図５は、管腔構造の算出処理の流れの例を示すフローチャートである。はじめに、医者は、挿入部２ｂの先端部１１を肛門の位置を配置した状態で、不図示の入力装置に対して所定の操作を行う。当該操作に基づいて、プロセッサ５１は、位置姿勢検出部５５からの位置と姿勢のデータを、管腔構造を算出するときの先端部１１の基準位置と基準姿勢として設定する（Ｓ１）。例えば医者は、先端部１１を肛門に当てた状態で、３次元空間内の肛門の位置における先端部１１の基準位置と基準姿勢を初期値とする設定を行う。以下の処理で算出される管腔構造は、ここで設定された基準位置と基準姿勢に基づいて算出される。

【0061】

基準位置と基準姿勢の設定後、医者は、先端部１１を大腸の最奥部まで挿入する。挿入部２ｂの先端部１１が大腸の最奥部にある状態から、空気を送気して大腸内を拡張しながら、医者は、挿入部２ｂを引きながら肛門に向かって移動させ、途中で挿入部２ｂの引き抜きを停止させたりしながら、湾曲部１２を種々の方向に湾曲させて大腸の内壁を観察する。医者が大腸の内壁を観察しているときに、大腸の管腔構造が算出される。

【0062】

画像取込部５４は、画像処理装置３から３０分の１秒毎に供給される撮像画像から所定の周期Δｔ毎の撮像画像を取得する（Ｓ２）。周期Δｔは、例えば０．５秒である。ＣＰＵは、撮像画像を取得したときの位置姿勢検出部５５の出力する先端部１１の位置と姿勢の情報を取得する（Ｓ３）。

【0063】

プロセッサ５１は、Ｓ２で取得した１枚の撮像画像とその前に取得済の１枚以上の撮像画像とにおける複数の特徴点等の３次元空間内の位置情報を算出する（Ｓ４）。算出された複数の特徴点等の位置情報の集合が、管腔構造の情報となる。後述するように、各特徴点の位置情報は、画像情報からＳＬＡＭ（Simultaneous Localization and Mapping）、ＳｆＭ（Structure from Motion）などの手法を用いて算出してもよいし、三角測量の原理を用いて算出してもよい。各特徴点の位置の算出方法については後述する。

【0064】

なお、最初の１枚の撮像画像が取得されたときは、その前の取得済の撮像画像はないので、所定枚数の撮像画像が取得されるまでは、Ｓ４の処理は実行されない。

【0065】

プロセッサ５１は、算出された複数の特徴点等の位置情報を追加することによって、管腔構造情報を作成或いは更新する（Ｓ５）。

【0066】

図６は、管腔構造情報の例である。Ｓ５で作成される管腔構造情報は、内視鏡２により観察した領域における１以上の特徴点等の集合から構成される。管腔構造情報は、３Ｄデータである。図６は、管腔構造情報を所与の視点から見たときの画像を表す。例えば管腔構造情報を表示する場合、ユーザは視点位置を変更する指示を入力することによって、３６０度の所望の方向から見たからときの管腔の構造を確認することができる。

【0067】

また図６では管腔における凹凸まで考慮した管腔構造情報を例示した。ただし管腔構造情報はより簡略化された情報であってもよい。例えば、管腔構造情報は円筒モデルであってもよい。管腔を円筒であると仮定することによって、処理負荷を軽減することが可能になる。例えば後述するように磁気センサ１６等のセンサを用いない実施形態においては、管腔の形状を円筒とすることによる計算量の削減効果が大きい。また、簡略化の仕方として、屈曲の無い直線状の管腔や単純な屈曲のみを想定したり、標準的な管腔構造の部位ごとの長さや径等のサイズのみ異なる構造モデルを想定しても良い。

【0068】

管腔構造検出装置５のインターフェース５３は、生成された管腔構造情報を処理装置９に出力する（Ｓ６）。またＳ６において、インターフェース５３は、管腔構造情報をモニタ６に表示する制御を行ってもよい。次に、プロセッサ５１は、挿入部２ｂが患者から抜去されたか否かを判定する（Ｓ７）。例えばユーザは、挿入部２ｂを抜去した場合に、不図示の入力装置を用いて観察終了を表すユーザ入力を行う。プロセッサ５１は、当該ユーザ入力に基づいてＳ７に示す判定を行う。抜去が行われていない場合（Ｓ７でＮｏ）、処理はＳ２に戻る。

【0069】

Ｓ４の特徴点等の位置の算出は、種々の方法がある。以下に、いくつかの方法について説明する。プロセッサ５１は、ＳＬＡＭ，ＳｆＭなどの手法を利用して、連続する複数の画像上の特徴点の位置を算出してもよい。

【0070】

管腔構造情報の生成において、非線形最小二乗法を用いて、画像から、内部パラメータ、外部パラメータ及び世界座標点群を最適化するバンドル調整を適用可能である。例えば、推定された各パラメータを用いて、抽出された複数の特徴点の世界座標点を透視投影変換し、再投影誤差が最小になるように、各パラメータと各世界座標点群が求められる。

【0071】

先端部１１についての外部パラメータは、５点及び８点アルゴリズムを解くことによって算出される。特徴点の位置は、先端部１１の位置と三角測量法に従って算出される。画像平面上に投影された３Ｄ点の座標と、再投影誤差による特徴点との誤差Ｅは、次の式（１）により表される。

【数1】

【0072】

ここで、Ｌは、Ｋ個の画像上の特徴点の数であり、Ｐｓｊは、画像平面上に三角測量と先端部１１のパラメータにより推定された３Ｄ点Ｐｉの座標位置であり、Ｐｉは、画像上の対応する特徴点の座標位置である。先端部１１の位置座標は、ＬＭ（Levenberg-Marquartdt）法を用いて、式（１）の誤差Ｅの関数を最小化するように算出される。

【0073】

図７は、各特徴点の３次元空間内の位置算出をバンドル調整により行う方法のフローチャートである。プロセッサ５１は、肛門の位置が初期位置と設定されたときを、時刻ｔをｔ０とし、ソフトウエアカウンタのカウント値ｎを、０とする（Ｓ１１）。

【0074】

プロセッサ５１は、時刻ｔ０における撮像画像と、先端部１１の位置と姿勢の情報を取得する（Ｓ１２）。撮像画像は、画像処理装置３から取得される。先端部１１の位置と姿勢の情報は、位置姿勢検出部５５から取得される。

【0075】

プロセッサ５１は、初期位置すなわち肛門の位置における先端部１１の位置と姿勢を決定する（Ｓ１３）。例えば、肛門の位置（ｘ、ｙ、ｚ）が（０，０，０）に、姿勢（ｖｘ、ｖｙ、ｖｚ）が（０，１，０）に決定される。Ｓ１１とＳ１３が、図５のＳ１に対応する。

【0076】

プロセッサ５１は、時刻（ｔ０＋ｎΔｔ）における撮像画像と、先端部１１の位置と姿勢の情報を取得する（Ｓ１４）。Ｓ１２とＳ１４が、図５のＳ２に対応する。なお、先端部１１の位置と姿勢の情報は、修正してもよい。例えば、カルマンフィルタを用いて、先端部１１が過去に通ったパスが修正され、その修正されたパスに基づいて、過去の先端部１１の位置が修正される。

【0077】

プロセッサ５１は、ｎがｋになると、各撮像画像における複数の特徴点の抽出し、ｋ個の時点における先端部１１の位置と姿勢すなわち先端部１１の３次元配置を既知として、得られた撮像画像に含まれるｍ個の特徴点の位置を、上述したバンドル調整により算出する（Ｓ１５）。

【0078】

図８は、連続して取得された複数の撮像画像上の特徴点と、先端部１１の位置と姿勢の関係を説明するための模式図である。図８において、白い三角形Ｐｗは、先端部１１の実際の位置と姿勢を示し、黒い三角形Ｐｂは、先端部１１の推定された位置と姿勢を示す。先端部１１は、実線に沿って実際に移動したことを示している。推定された先端部１１は、点線に沿って移動している。時間経過に伴って、先端部１１の位置は移動し、先端部１１の姿勢は変化している。

【0079】

また、図８において、白い四角形ｐｗは、特徴点の実際の位置を示し、黒い四角形ｐｂは、特徴点の推定すなわち算出された位置を示す。特徴点は、例えば、撮像画像中において形状や色が特徴的で、判別あるいは追跡が容易な箇所である。

【0080】

大腸の３次元管腔構造を得るには、大腸の腸管の内壁上の複数の特徴点の座標を求め、求めた複数の座標の集合により、あるいはそれらの座標を繋ぎ合わせることにより３次元モデルが生成される。すなわち、管腔の３次元構造は、３次元空間内の算出された各特徴点の位置から決定される。

【0081】

図８において、各時点における先端部１１の位置と姿勢の情報は、６軸分の情報を含むため、ｋ個の時点における先端部１１の位置と姿勢の情報は、６ｋ個の情報を含む。各特徴点の位置は、３軸分の情報を含むため、ｍ個の特徴点の位置の情報は、３ｍ個の情報を含む。よって、ＳＬＡＭ、ＳｆＭ等の手法を用いる場合、決定すべきパラメータの個数は（６ｋ＋３ｍ）個となる。

【0082】

本実施形態の手法においては、上述したとおり、内視鏡２の先端部１１に磁気センサ１６が設けられ、管腔構造検出装置５は、磁気センサ１６によって検出された位置姿勢情報を取得する位置姿勢検出部５５を含んでもよい。この場合、先端部１１の位置及び姿勢に対応する６ｋ個のパラメータは既知となる。プロセッサ５１による最適化演算は、３ｍ個のパラメータを算出に限定されるため、最適化演算の処理量を軽減できる。よって処理の高速化が可能である。またパラメータ数の削減によって検出誤差の蓄積が抑制されるため、生成される３次元モデル構造がずれていくことを抑制できる。

【0083】

また、内視鏡２の挿入部２ｂの先端部１１が管腔の内壁に押し当てられたり、汚れた洗浄水に浸ってしまったり、撮像画像がぶれるなどして適切な連続した撮像画像が得られないかった場合があっても、先端部１１の位置と姿勢の情報は得られている。よって、連続した撮像画像が得られなかった場合が生じても、３ｍ個のパラメータを算出できる可能性は高まる。結果として、管腔構造の算出のロバスト性が高まる。

【0084】

図７に戻り説明を続ける。プロセッサ５１は、作成済の管腔構造情報に、新たに算出された特徴点の位置情報を追加して、管腔構造情報を更新する（Ｓ１６）。Ｓ１６は、図５のＳ５に対応する。

【0085】

プロセッサ５１は、過去に算出した特徴点の位置情報を修正する（Ｓ１７）。新たに算出して得られた３ｍ個の特徴点のうち、過去に算出された特徴点の位置情報は、新たに算出された位置情報を用いて、例えば平均値演算により、過去に算出された位置情報を修正する。なお、Ｓ１７の処理は、行わなくてもよく、新たに算出された特徴点の位置情報で、過去に算出された各特徴点の位置情報を更新するようにしてもよい。

【0086】

Ｓ１７の後、プロセッサ５１は、ｎを１だけインクリメントし（Ｓ１８）、検査終了のコマンドが入力されたかを判定する（Ｓ１９）。検査終了のコマンドは、例えば、挿入部２ｂが大腸から抜去された後に、医者が入力装置に入力する所定のコマンドである。当該コマンドが入力されると（Ｓ１９でＹＥＳ）、処理が終了する。

【0087】

検査終了のコマンドが入力されないとき（Ｓ１９でＮＯ）、処理はＳ１４へ移行する。その結果、プロセッサ５１は、撮像画像の最後の取得時刻から周期Δｔだけ後の撮像画像を取得し（Ｓ１４）、Ｓ１４以降の処理を実行する。

【0088】

以上の処理を行うことによって、管腔構造情報が出力される。本実施形態における管腔は、端部を除いて穴等がない連続する曲面であることが想定される。よって取得される管腔構造情報において、所与の特徴点と、その近傍の特徴点との距離はある程度小さいことが期待される。もし特徴点が粗となる部分、例えばある程度広い範囲において特徴点が所定閾値以下となる部分が存在する場合、当該部分が分析不可部分であると判定できる。より具体的には、分析不可部分のうち、上述した第３分析不可部分であると判定される。なお大腸の観察においては、まず挿入部２ｂを奥まで挿入し、引き抜きながら管腔構造情報の生成が行われる。よって、現在観察中の部位よりも肛門側の部分については、基本的に第３分析不可部分と判定される。

【0089】

また、ここでの分析不可部分は、例えば図６のＵＩＡに対応する。図６においては、分析不可部分が存在することによって、管腔構造情報が２つに分割されてしまう例を示した。挿入部２ｂの先端部１１の位置と姿勢を検出するためのセンサが設けられる構成であれば、このように管腔構造情報が分割される場合でも、分割された複数の管腔構造情報の位置関係を特定できる。即ち、管腔構造情報が分割される場合にも、管腔全体の構造を推定可能である。

【0090】

また襞の裏面のように視野自体には入っているものの、管腔の凹凸等の構造に起因して撮像されない隠れ部分についても、特徴点が粗となるため、分析不可部分と判定される。ただし、隠れ部分は撮像部の視野に入っているため、分析不可部分のうち、上述した第２分析不可部分に相当する。よって第２分析不可部分と第３分析不可部分を区別して処理を行う場合、処理装置９は例えば特徴点が粗となる部分のサイズや、周辺部分の形状等に基づいて、当該部分が隠れ部分であるか否かを判定してもよい。或いは、処理装置９は撮像画像に対する画像処理に基づいて隠れ部分の有無を検出する処理を行ってもよい。画像処理の詳細については図１１を用いて後述する。

【0091】

２．１．３ 管腔構造情報の取得に関する変形例
＜センサに関する変形例＞
なお以上では、挿入部２ｂの先端部１１の位置と姿勢を検出するための位置センサとして磁気センサ１６が用いられているが、先端部１１の位置と姿勢は、別の手段により検出するようにしてもよい。

【0092】

図９（Ａ）は、形状センサ８１を有する内視鏡２と、挿入量及び捩り量を検出するセンサを用いた先端部１１の位置と姿勢を検出する方法を説明するための図である。形状センサ８１は、挿入部２ｂの内部に基端から先端に亘って配設されている。形状センサ８１は、例えば、光ファイバを利用して、特定箇所の曲率から曲げ量を検出する曲げセンサであるファイバセンサである。

【0093】

挿入量・捩り量センサ８２は、肛門の近くに配置され、挿入部２ｂが挿通可能な孔を有する円筒形状を有する。挿入量・捩り量センサ８２の孔の内周面には、挿入部２ｂの軸方向の挿入量を検出するためのエンコーダと、挿入部２ｂの軸周りの回転量を検出するエンコーダとが配設されている。よって、形状センサ８１と挿入量・捩り量センサ８２を用いて、肛門の位置を基準として、挿入部２ｂの挿入量と、捩り量とに基づいて、先端部１１の位置と姿勢を推定することができる。

【0094】

また、形状センサ８１は、光ファイバを利用したものでなく、先端部１１に１つの磁気センサ１６を設けると共に、複数の磁気センサ１６を所定の間隔で挿入部２ｂ内に配置することによって、挿入部２ｂの形状を検出するようにしてもよい。図９（Ｂ）は、複数の磁気センサ１６が挿入部２ｂ内に配設された内視鏡２の斜視図である。図９（Ｂ）に示すような複数の磁気センサ１６の位置情報から、挿入部２ｂの形状を算出することができる。

【0095】

また先端部１１に磁気センサ１６を設けるとともに、挿入部２ｂ内に図９（Ａ）に示した形状センサ８１を配設する変形実施も可能である。このようにすれば、先端部１１の位置姿勢に加えて、挿入部２ｂの全体形状も把握できる。

【0096】

＜特徴点の位置算出に関する変形例＞
また以上では、挿入部先端の位置姿勢である（ｘ、ｙ、ｚ、ｖｘ、ｖｙ、ｖｚ）の全てを既知として、３ｍ個のパラメータを最適化するバンドル調整について説明した。しかしプロセッサ５１は、（ｘ、ｙ、ｚ、ｖｘ、ｖｙ、ｖｚ）のうちの一部を既知として、バンドル調整の最適化により各特徴点の３次元位置を算出するようにしてもよい。この場合も、６ｋ＋３ｍ個のパラメータ全てを最適化の対象とする場合に比べて、各特徴点の３次元位置を算出精度が高まると共に、最適化演算の時間も短くなる。

【0097】

またセンサを用いて位置姿勢が検出可能である場合、管腔構造情報を求める処理はバンドル調整に限定されない。例えばプロセッサ５１は、２つの画像から三角測量を用いて管腔構造情報を求めてもよい。具体的には、プロセッサ５１は、先端部１１の位置及び姿勢の情報と、２枚の撮像画像とから、三角測量を用いて特徴点の位置を算出する。すなわち、撮像素子１５の位置及び姿勢の情報と、撮像素子１５により取得された２枚の撮像画像に含まれる特徴点の画素の位置情報から三角測量に基づき算出した画素の３次元空間内の位置情報から管腔の３次元構造が決定される。

【0098】

また三角測量は、２つの時刻において得られた２枚の撮像画像に基づいて行われてもよいし、ステレオカメラを用いて同時刻に得られた２枚の撮像画像に基づいて行われてもよい。

【0099】

またプロセッサ５１は、各特徴点の位置を、照度差ステレオ画像を用いて算出してもよい。この場合、挿入部２ｂの先端部１１には、複数の照明窓が設けられる。複数の照明窓から出射される複数の照明光は、光源装置４に設けられた照明用の複数の発光ダイオードの駆動が制御されることにより、切り替えられて選択的に出射可能となっている。

【0100】

被写体の表面の画像中の影の部分は、照明光の切り替えにより状態が変化する。よって、その変化量に基づいて、被写体の表面上の影の部分までの距離を算出することができる。すなわち、選択的に動作させた複数の照明部により照明して得られた撮像画像中の影領域の画像から照度差ステレオに基づき、管腔の３次元構造を決定することができる。

【0101】

またプロセッサ５１は、距離センサを用いて管腔構造を算出してもよい。距離センサは、例えばＴＯＦ（Time Of Flight）により距離画像を検出するセンサである。距離センサは、光の飛行時間を計ることにより距離を計測する。距離センサは、挿入部２ｂの先端部１１に設けられ、先端部１１から管腔の内壁までの距離を画素ごとに検出する。距離センサにより検出された各画素についての距離と、先端部１１の位置姿勢とから、大腸の内壁の各点の位置情報すなわち管腔の３次元構造が算出可能である。なお、距離センサは、ＬｉＤＡＲ（Light Detection and Ranging/Laser Imaging Detection and Ranging）などの他の方式のセンサでもよい。また、先端部１１に所定のパターン光を出射する照明部を設け、プロセッサ５１はパターン光投影により先端部１１から内壁までの測距を行ってもよい。

【0102】

＜位置姿勢を検出するセンサを省略する例＞
また本実施形態の手法においては、管腔構造情報の算出に磁気センサ１６等の位置姿勢検出用のセンサを用いる構成は必須ではない。具体的には、図１に示した磁気センサ１６及び磁場発生装置７、又は、図９（Ａ）に示した形状センサ８１等を省略可能である。

【0103】

この場合、プロセッサ５１は、複数の撮像画像に基づいて、ＳＬＡＭ、ＳｆＭなどの手法を用いて管腔構造情報を算出する。例えばプロセッサ５１は、上述した例において、先端部１１の位置姿勢を含めた（６ｋ＋３ｍ）個のパラメータを最適化する処理を実行する。

【0104】

２．２ 分析可否判定
次に分析可否判定部９２が実行する判定処理について説明する。分析可否判定部９２は、撮像画像に基づいて、当該撮像画像に撮像された被写体が分析可能な状態であるか否かを判定する。

【0105】

図１０は、分析可否の判定処理を説明するフローチャートである。この処理が開始されると、まず分析可否判定部９２は、画像取得部９１から撮像画像を取得する（Ｓ２１）。次に分析可否判定部９２は、撮像画像の画質に基づいて分析可否を判定する（Ｓ２２）。ここでの画質とは、具体的には撮像画像の明るさ、撮像角度、遮蔽度合いを表す情報である。遮蔽度合いとは、狭義には遮蔽物の有無である。

【0106】

明るさを表す情報は、具体的には輝度の情報である。輝度は、ＲＧＢの３つ画素値の重み付け和であり、種々の重みを利用可能である。撮像画像のうち極端に明るい領域、例えば白飛びしている領域は、管腔の具体的な情報が含まれておらず、分析に適していない。管腔の情報とは、管腔表面の凹凸構造、管腔表面或いは内部の血管構造、粘膜の色味等の種々の情報を含む。よって分析可否判定部９２は、撮像画像のうち、明るさが所定以上の領域を分析不可領域と判定する。例えば分析可否判定部９２は、輝度が所与の第１輝度閾値以上の領域を分析不可領域と判定する。

【0107】

また撮像画像のうち極端に暗い領域、例えば黒つぶれしている領域も、管腔の具体的な情報が含まれておらず、分析に適していない。よって分析可否判定部９２は、撮像画像のうち、明るさが所定以下の領域を分析不可領域と判定する。例えば分析可否判定部９２は、輝度が所与の第２輝度閾値以下の領域を分析不可領域と判定する。ここで、第１輝度閾値＞第２輝度閾値である。また明るさを表す情報として明度等の他の情報が用いられてもよい。

【0108】

なお白飛び、黒つぶれした領域については、管腔の情報が失われる蓋然性が高いため、分析可否判定部９２は、当該領域を第２分析不可領域と判定する。第２分析不可領域とは、上述した第２分析不可部分を撮像した画像上領域である。ただし閾値の設定によっては、視認性は低いものの管腔の情報が残存する場合もある。よって分析可否判定部９２は、明るさに基づいて分析不可領域と判定された領域を、第１分析不可領域としてもよい。第１分析不可領域とは、上述した第１分析不可部分を撮像した画像上領域である。また分析可否判定部９２は、分析不可領域の分類を省略してもよい。

【0109】

また分析可否判定部９２は、管腔内の遮蔽物を検出し、管腔表面が当該遮蔽物によって覆われている領域を分析不可領域と判定する。ここでの遮蔽物は、残渣、汚水、泡、血液、止血用のクリップ等が含まれる。残渣とは、便や未消化の食べかす等である。これらの遮蔽物は、粘膜等の管腔表面とは異なる色味をしている。よって分析可否判定部９２は、例えば撮像画像に基づいてＲＧＢの画素値からＨＳＶ色空間への変換処理を行い、撮像画像のうち、色相（Hue）や彩度（Saturation）が所与の範囲内の領域を遮蔽物によって遮蔽されている分析不可領域と判定する。また分析可否判定部９２は、ＲＧＢの画素値からＹＣｒＣｂ色空間への変換処理を行い、色差信号であるＣｒ，Ｃｂの少なくとも一方に基づいて遮蔽物を検出してもよい。また分析可否判定部９２は、明るさムラがある場合には濃淡補正等のフィルタリング処理を行った後に上記色味の判定処理を行ってもよい。濃淡補正処理とは、例えば領域ごとのガンマ補正処理である。また、止血用のクリップのように、遮蔽物の色や形状が既知である場合、分析可否判定部９２は、当該遮蔽物のサンプル画像と撮像画像の比較処理を行うことによって遮蔽物を検出する処理を行ってもよい。

【0110】

なお、遮蔽物に覆われている領域が存在したとしても、当該領域の面積が十分小さい場合、当該遮蔽物の下にポリープ等の注目領域が存在する蓋然性は低い。よって分析可否判定部９２は、遮蔽物によって覆われている領域のうち、所定サイズ以上の領域を分析不可領域としてもよい。なお、ここでのサイズは画像上サイズであってもよいし、管腔上での実サイズであってもよい。画像上サイズから実サイズへの変換は、レンズや撮像素子等の光学特性情報と、被写体までの距離情報とに基づいて実行可能である。光学特性情報は、設計上、既知である。距離情報は、上述した距離センサを用いて取得されてもよいし、ステレオカメラを用いたステレオ画像に基づいて算出されてもよい。また距離情報は、管腔構造情報の算出結果を用いて求められてもよい。上述したように、管腔構造情報の算出処理においては、先端部１１の３次元位置と特徴点の３次元位置が推定されるため、推定結果に基づいて、先端部１１から撮像画像上の所与の画素までの距離を決定可能である。また分析可否判定部９２は、撮像画像の明るさに基づいて距離情報を算出してもよい。この場合、明るい領域は距離が近く、暗い領域は距離が遠いと判定される。

【0111】

なお遮蔽物が存在する領域については、管腔の情報が失われるため、分析可否判定部９２は、当該領域を第２分析不可領域と判定する。

【0112】

また分析可否判定部９２は、被写体の撮像角度に基づいて分析可否を判定する。ここでの撮像角度とは、例えば先端部１１と被写体を結ぶ直線と、被写体表面の法線方向とがなす角度を表す。例えば、挿入部先端と被写体が正対する場合、撮像角度は０°に近い小さい値となる。一方、光軸が管腔の長手方向に沿った方向になる場合、管腔壁面の撮像角度は０°に比べてある程度大きい値となる。撮像角度が大きい場合、被写体が斜め方向から撮像されることになるため、当該被写体の画像上でのサイズが非常に小さくなってしまい、微細な構造等の情報が失われるおそれがある。

【0113】

分析可否判定部９２は、例えば管腔構造情報の算出処理結果を取得し、撮像画像における各被写体の撮像角度を算出してもよい。この場合、分析可否判定部９２は、撮像角度が所与の角度閾値以上となる領域を分析不可領域と判定する。或いは、分析可否判定部９２は、距離情報に基づいて撮像角度を判定してもよい。例えば、撮像角度が大きい場合、画像上の狭い範囲において被写体までの距離が急激に変化する。よって分析可否判定部９２は、処理対象画素を含む所与の領域における距離情報の変化度合いを判定し、変化度合いが大きい場合に、撮像角度が大きいと判定してもよい。上述したように、距離情報は撮像画像の明るさ等、種々の情報に基づいて算出が可能である。例えば分析可否判定部９２は、撮像画像を複数の領域に分割し、各領域の明るさ分布に基づいて撮像角度を求めてもよい。

【0114】

なお分析可否判定部９２は、撮像角度が大きい領域を第１分析不可領域と判定する。

【0115】

以上では、画質に関する判定基準として明るさ、遮蔽度合い、撮像角度について説明した。図１０のＳ２２において、分析可否判定部９２は、これらの全てを用いて判定を行ってもよい。例えば分析可否判定部９２は、明るさ、遮蔽度合い、撮像角度の少なくとも１つの判定基準において分析不可と判定された領域を分析不可領域とする。ただし、分析可否判定部９２は、明るさ、遮蔽度合い、撮像角度の一部の判定基準を用いて分析可否の判定を行ってもよい。

【0116】

次に分析可否判定部９２は、隠れ部分の有無を検出することによって分析可否の判定を行う（Ｓ２３）。図１１は、襞があるときの撮像画像の例を示す図である。図１１に示すように、襞のように腸管の表面構造に起因して撮像されない隠れ部分が存在する場合、照明光が当たらずに暗い影となる部分ＳＡが撮像される。暗い影の部分ＳＡは、他の部分に比べて明るさが段階的に低くなる。そのため分析可否判定部９２は、隣り合う画素あるいは隣り合う画素領域間において、輝度差が所定の輝度値以上であるとき、隠れ部分があると判定する。例えば分析可否判定部９２は、暗い影の部分ＳＡを含む所与の領域を分析不可領域と判定する。

【0117】

より具体的には、分析可否判定部９２は、撮像画像の明るさを表す情報を取得する。明るさを表す情報は、例えば上述した輝度である。そして分析可否判定部９２は、画像中の所定の画素領域内において、隣り合う２つの画素の輝度値の差が所定値以上である、又は、暗い筋状部分がある場合に、対象の領域を分析不可領域と判定する。

【0118】

或いは分析可否判定部９２は、距離センサ等を用いた距離情報を取得してもよい。この場合、分析可否判定部９２は、隣り合う２つの画素の距離の差が所定値以上である、又は、距離の変化が連続しない部分がある場合に、対象の領域を分析不可領域と判定する。

【0119】

なお分析可否判定部９２は、襞等に起因する隠れ部分が存在すると判定された領域を、第２分析不可領域であると判定する。

【0120】

次に分析可否判定部９２は、領域サイズに基づいて分析可否の判定を行う（Ｓ２４）。ステップＳ２２、Ｓ２３の処理によって、撮像画像の各画素について、分析可能か分析不可かのいずれかの判定結果が取得されている。分析可否判定部９２は、分析可能と判定された連続する画素を１つの分析可能領域に設定する。同様に、分析可否判定部９２は、分析不可と判定された連続する画素を１つの分析不可領域に設定する。

【0121】

分析可否判定部９２は、分析可能領域のサイズが所与のサイズ閾値以下の場合に、当該分析可能領域を分析不可領域に変更する。ここでのサイズは、例えば画像上でのサイズであり、面積であってもよい。画像上での面積とは、例えば対象となる領域に含まれる画素の総数である。画質に問題がないとしても、対象となる領域の画像上での面積が極端に小さい場合、注目領域が十分な大きさで撮像されないため、適切な分析が難しい。よって面積が所定以下の領域を分析可能領域から除外することによって、分析可否を適切に判定できる。なお、面積がサイズ閾値より大きかったとしても、領域が極端に縦や横に長い場合も適切な分析が難しい。よって分析可否判定部９２は、分析可能領域の縦の長さが所定以下、横の長さが所定以下の少なくとも一方が満たされる場合に、当該分析可能領域を分析不可領域に変更してもよい。また分析可否判定部９２は、画像上でのサイズを実サイズに変換する処理を行い、変換後のサイズに基づいて分析可否を判定してもよい。

【0122】

なお分析可否判定部９２は、サイズが小さいことに起因して分析不可領域に変更された領域を、第１分析不可領域と判定する。

【0123】

次に分析可否判定部９２は、ユーザによって分析が実行されるかの判定を行う（Ｓ２５）。ユーザによって分析が実行されない場合とは、例えば処理装置９等によって分析が行われる場合に相当する。システムによる分析とは、例えば学習済モデルを用いたＡＩ診断である。なお、被写体の検出を行う検出タスク用の学習済モデルや、悪性度等を含めた分類を行う分類タスク用の学習済モデルの生成、利用については種々の手法が知られており、本実施形態ではそれらの手法を広く適用可能である。よってＡＩ診断の詳細については説明を省略する。また分析を行うシステムは、処理装置９とは別体として設けられてもよい。

【0124】

ユーザが分析を行う場合（Ｓ２５でＹｅｓ）、分析可否判定部９２は、画像の安定性に基づいて分析可否を判定する（Ｓ２６）。ここでの画像の安定性とは、時系列の撮像画像間における被写体の動きの大きさを表す。動きは、平行移動、回転、振動等を含み、先端部１１と被写体とが相対的に移動することによって発生する。ユーザは動画像を見ながら注目領域の有無や悪性度等を判定することが想定される。そのため、所与のフレームにおける撮像画像が、画質や領域サイズに基づいて分析可能と判定された領域を含んでいたとしても、当該フレームを含む期間における画像の安定性が低い場合、画像上の被写体の状態が激しく変化してしまうためユーザによる分析は困難である。よって分析可否判定部９２は、処理対象である撮像画像を含む時系列の画像に基づいて画像の安定性を判定し、動きが所定以上である場合に、当該処理対象である撮像画像に含まれる分析可能領域を分析不可領域に変更する。なお分析可否判定部９２は、平行移動、回転、振動のそれぞれの動き量について判定を行ってもよいし、それらを総合して１つの動き量を求め、求めた動き量と閾値との比較を行ってもよい。動き量の大きさは、実際の寸法、または、撮像画像上での見かけ上の大きさで判断しても良い。なお動き量を求める手法は、動きベクトルやオプティカルフロー等の種々の手法が知られており、本実施形態ではそれらを広く適用可能である。

【0125】

なお分析可否判定部９２は、動きが大きいことに起因して分析不可領域と判定された領域を、第１分析不可領域と判定する。

【0126】

一方、ユーザが分析を行わない場合（Ｓ２５でＮｏ）、画像の安定性が低い場合にも適切な分析が可能である。よって分析可否判定部９２は、ステップＳ２６の処理を省略する。

【0127】

なお分析可否判定部９２は、撮像画像がコンピュータによって分析可能か否かに基づいて、分析可否情報を出力してもよい。このような判断基準を用いた場合、分析可能と判定された撮像画像をコンピュータに入力することによって適切な分析結果を取得することが可能になる。コンピュータによって分析可能とは、例えばコンピュータによる分析結果が所望の精度以上であることを表す。

【0128】

より具体的には、撮像画像は生体画像であってもよい。分析可否判定部９２は、生体画像をいずれかのクラスに分類する分類処理又は生体画像から注目領域を検出する検出処理を、コンピュータによって実行可能か否かに基づいて、分析可否情報を出力する。具体的には、分析可否判定部９２は、コンピュータによる検出精度又は分類精度が所望の精度以上となることが期待される場合に、生体画像に対する分類処理又は検出処理を実行可能と判定する。なおここでのクラスとは、正常／異常のいずれかを表すものであってもよいし、病変の種類や悪性度を表すものであってもよい。

【0129】

ここでのコンピュータとは、入力、記憶、演算、制御、出力等の各処理を実行する装置を広く含む。コンピュータは、ＰＣ（Personal Computer）であってもよいし、サーバーシステムであってもよいし、スマートフォンやタブレット等の携帯端末装置であってもよいし、他の装置であってもよい。またコンピュータが実行する処理は、複数の装置の分散処理によって実現されてもよく、例えばクラウドコンピューティング等が用いられてもよい。コンピュータは、プロセッサ及びメモリを含む。またキーボード、ポインティングデバイス、タッチパネル等の操作インターフェース、モニタやスピーカー等の出力インターフェース、表示通信チップ等の通信インターフェース等を含んでもよい。分析を行うコンピュータは、処理装置９であってもよいし、画像処理装置３であってもよいし、他の装置であってもよい。例えば図１に示した装置のいずれかが、分析処理を行う画像診断装置を兼ねてもよいし、図１に示した各装置とは別に画像診断装置が設けられてもよい。また、コンピュータは、分析処理を実行するソフトウェアの指示に従って動作してもよい。例えばメモリが、以下で説明する検出処理や分析処理等を行うための分析プログラムを記憶し、プロセッサが当該分析プログラムに従って機能することによって、分析処理を実行するコンピュータが実現されてもよい。或いは、ＦＰＧＡ等を用いてハードウェア的に分析処理が実行されてもよい。以上のように、本実施形態におけるコンピュータとは、電子的に処理を行う装置を広く含むものであって、具体的な装置の態様は種々の変形実施が可能である。また、当該コンピュータに分析を実行させるためのハードウェア構成、ソフトウェア構成についても種々の変形実施が可能である。

【0130】

例えばディープラーニング等の機械学習を用いて検出器や分類器等の学習済モデルを構成する場合を考える。推論対象となる画像におけるパラメータが、学習に用いる画像におけるパラメータと類似する場合に推論精度は高く、パラメータ間の乖離が大きい場合に推論精度は低くなることが知られている。推論対象となる画像とは、具体的は本実施形態における撮像画像である。学習に用いる画像を、以下では学習画像と表記する。ここでのパラメータは、例えば明るさ、遮蔽度合い、撮像角度、領域のサイズ等である。

【0131】

例えば、ある程度明るい学習画像のみを用いて学習が行われた場合、暗い画像を入力しても十分な推論精度を得ることができない。以上の点を鑑みれば、例えば撮像画像におけるパラメータと、学習画像におけるパラメータと同程度であるか否かに基づいて、「コンピュータによって分析可能か否か」を判定できる。より具体的には、学習段階で用いた複数の学習画像について、明るさ分布を求めておく。そして明るさ分布に基づいて、上述した輝度閾値が設定される。遮蔽度合いや撮像角度の判定基準となる閾値についても同様である。

【0132】

或いは、検証用画像と、当該検証用画像における注目領域の有無や種類を示す正解ラベルとを対応付けたデータを用意してもよい。検証用画像は、種々の画質の撮像画像を含む。当該検証用画像を学習済モデルに入力した際の出力と、正解ラベルを比較することによって、画質ごとの推定精度を求めることが可能である。このようにすれば、所望の推定精度を得るために必要な画質を特定可能である。分析可否判定部９２は、撮像画像の画質が特定された画質以上であるか否かに基づいて、分析可否情報を出力する。

【0133】

また上述したように、分析可否判定部９２は、撮像画像中の被写体の動きの大きさに基づいて、分析可否情報を出力してもよい。このようにすれば、例えば動きが大きいことによってユーザが画像上の被写体を観察できないおそれがある場合、分析不可と判定される。例えば、高い画質で撮像された被写体があったとしても、当該被写体が動画において常に動き続けているような場合、分析に不適であるという判定が可能になる。

【0134】

また分析可否判定部９２は、撮像画像の画質に基づいて、分析可否情報を出力する。このようにすれば、画質が悪いことに起因して分析ができない場合に、見逃しのおそれがあると判定することが可能になる。

【0135】

また分析可否判定部９２は、撮像画像を複数の領域に区分した後、複数の領域の各領域の大きさに基づいて、各領域における分析可否情報を出力してもよい。分析可否判定部９２は、例えば上述したように画質や隠れ部分に基づいて撮像画像を複数の領域に区分する。複数の領域とは、分析可能領域、又は分析不可領域である。１つの分析可能領域は分析可能と判定された連続する画素によって構成される。このようにすれば、分析に適さない程度に小さい領域を、分析可能領域と判定してしまうことを抑制できる。

【0136】

２．３ 関連付け処理
次に関連付け処理について説明する。なお以下では、見逃し判定処理、分析可能割合の推定処理についても合わせて説明する。

【0137】

２．３．１ 関連付け
上述したように、分析可否の判定は、撮像画像を用いて実行される。しかし本実施形態における見逃しの抑制のためには、撮像画像上の分析可能領域又は分析不可領域が、管腔構造のどの部分に位置するかを関連付ける必要がある。撮像画像上で分析不可領域を提示したとしても、現在の先端部１１の位置姿勢と、分析不可領域を分析可能な状態で撮像するための先端部１１の位置姿勢との関係がわかりづらく、具体的な操作をユーザに理解させることが困難なためである。特に挿入部２ｂを操作することによって、分析不可領域が撮像画像から外れてしまった場合、撮像画像から先端部１１の位置姿勢と分析不可部分の位置関係を把握することは困難である。

【0138】

なお管腔構造情報の算出処理において、先端部１１の位置姿勢と、撮像画像における特徴点の３次元位置が推定される。即ち、内視鏡２を用いた撮像画像の撮像と、管腔構造情報の算出を平行して実行する場合、撮像画像上の特徴点と、管腔構造との対応付けは既に行われている。

【0139】

よって関連付け処理部９４は、管腔構造情報の算出処理結果を用いることによって、分析可否情報と管腔構造情報の関連付け処理を実行する。例えば関連付け処理部９４は、特徴点の３次元位置に基づいて、撮像画像のうちの特徴点以外の点の３次元位置を推定可能である。よって撮像画像の分析可能領域を複数の点によって規定し、当該複数の点の３次元位置を推定することによって、管腔構造のうち、分析可能領域に対応する分析可能部分を決定する。ここでの複数の点は、例えば分析可能領域の輪郭上に設定される３つ以上の点である。

【0140】

或いは、分析可能領域を規定する複数の点は、管腔構造情報の算出において用いられる特徴点であってもよい。例えば、分析可否判定部９２は、あらかじめ管腔構造情報の算出処理において設定された特徴点の情報を取得しておき、当該特徴点に基づいて分析可否判定を行ってもよい。例えば図１０のＳ２２における画質に基づく判定は、３以上の特徴点によって囲まれる領域ごとに実行されてもよい。このようにすれば、管腔構造情報の取得に用いられた情報を直接的に利用することによって、分析可能領域や分析不可領域の３次元位置を特定できる

【0141】

図１２は、分析可否情報を管腔構造に関連付ける処理を説明する模式図である。分析可否情報は、撮像画像上の分析可能領域と分析不可領域の少なくとも一方を特定する情報である。図１２においては楕円形状の分析可能領域Ａ２と分析不可領域Ａ１を例示しているが、各領域は例えば３以上の特徴点によって規定される多角形である。関連付け処理部９４は、３次元位置が特定された複数の特徴点の集合である管腔構造情報のうち、分析可能領域を規定する特徴点によって囲まれる閉領域を分析可能部分として特定する。例えば、分析可能領域Ａ２に対応する部分を分析可能部分Ａ４であると判定する。そして関連付け処理部９４は、管腔構造のうち、分析可能部分として特定されなかった領域を分析不可部分として特定する。

【0142】

或いは関連付け処理部９４は、分析可能部分の特定とともに、管腔構造情報のうち、分析不可領域を規定する特徴点によって囲まれる閉領域を分析不可部分として特定してもよい。例えば、分析不可領域Ａ１に対応する管腔上の部分を分析不可部分Ａ３であると判定する。この場合、第１の撮像画像に基づいて分析不可部分と判定された管腔構造の所与の部分が、第２の撮像画像に基づいて分析可能部分と判定される場合がある。このように分析可能部分と分析不可部分が重複した場合、当該重複部分が分析可能部分と判定される。少なくとも１枚の撮像画像に基づいて分析可能と判定されていれば、当該撮像画像を用いることによって十分な精度での分析が可能なためである。

【0143】

処理装置９は、関連付け結果を出力する。例えば処理装置９は、分析可能部分と分析不可部分が異なる態様で表示された管腔構造情報を、モニタ６等の表示部に表示する処理を行う。例えば、分析不可部分は、分析可能部分とは異なる色で表示されたり、点滅等のアニメーション表示が行われてもよい。図１２におけるＡ３、Ａ５、Ａ６、Ａ７が分析不可部分であり、当該分析不可部分はＡ４等の分析可能部分とは異なる色で表示される。また矢印等のオブジェクトやテキストを表示することによって、分析不可部分の視認性を向上させる表示処理が行われてもよい。

【0144】

また分析不可部分を上述した第１～第３分析不可部分等に細分化する場合、関連付け処理部９４は、撮像画像上の分析不可領域を管腔構造情報と関連付けることによって、分析不可部分を特定する。具体的には、第１分析不可領域に関連付けられた部分が第１分析不可部分であり、第２分析不可領域に関連付けられた部分が第２分析不可部分である。また、第３分析不可部分については、上述したように管腔構造情報の欠落に基づいて検出可能である。なお、第１分析不可部分と第２分析不可部分が重複した場合、関連付け処理部９４は各分析不可部分のサイズや形状等に基づいて最終的な関連付け結果を求めてもよい。この場合、処理装置９は、分析可能部分、第１分析不可部分、第２分析不可部分、第３分析不可部分をそれぞれ異なる態様でモニタ６等に表示する処理を行う。

【0145】

以上のように、関連付け処理部９４は、２つ以上のタイミングにおいて撮像された複数の撮像画像上に、それぞれ複数の特徴点を設定する。そして、関連付け処理部９４は、２つ以上のタイミングにおいて撮像された撮像画像上の、複数の特徴点同士の対応関係を判定することによって、管腔の構造上に分析可否情報を関連付ける。例えば、関連付け処理部９４は、管腔構造情報の算出処理において用いられた情報、具体的には各撮像画像に設定された特徴点の情報や、複数の撮像画像間における特徴点の対応関係等を取得する。これにより、撮像画像上の領域を管腔構造に関連付けることが可能になる。

【0146】

関連付け処理部９４は、分析可能と判定された撮像画像上の領域である分析可能領域を３つ以上の特徴点によって規定することによって、分析可能領域の管腔における配置を特定する処理を行ってもよい。また関連付け処理部９４は、分析不可と判定された撮像画像上の領域である分析不可領域を３つ以上の特徴点によって規定することによって、分析不可領域の管腔における配置を特定する処理を行ってもよい。また関連付け処理部９４は、この両方の処理を行ってもよい。このようにすれば、管腔構造上の分析可能部分、分析不可部分を特徴点の集合として特定することが可能になる。

【0147】

また３つ以上の特徴点によって規定される領域は、第１のタイミングにおいて撮像された撮像画像における形状と、第２のタイミングにおいて撮像された撮像画像における形状との間で変形可能であってもよい。

【0148】

管腔は時間の経過とともに変形する場合がある。例えば腸管は伸縮が可能であり、送気の状態や挿入部２ｂの押し込みの状態等に起因して形状が変化する。そのため、所与の領域の形状が、第１のタイミングと第２のタイミングとの間で変形している場合がある。その点、２つの画像間において変形を許容可能な関連付けを行うことによって、管腔が変形する場合であっても分析可否情報を適切に管腔構造に対応付けることが可能になる。例えば、"conformal registration technique"と呼ばれる画像間の位置合わせ手法が知られており、本実施形態には当該手法を適用可能である。

【0149】

また関連付け処理部９４は、管腔の構造のうち、少なくとも１枚の撮像画像に基づいて分析可能と判定された部分を分析可能部分と判定し、管腔の構造のうち、分析可能部分以外の部分を分析不可部分と判定してもよい。このようにすれば、複数の画像が重複部分を有しながら管腔構造を撮像していく場合に、どの部分が分析不可部分として残っているかを適切に判定することが可能になる。

【0150】

２．３．２ 見逃し判定
図１２に示した処理によって、管腔構造情報と分析可否情報を関連付けることが可能である。さらに処理装置９は、分析不可部分のうち、挿入部２ｂの、管腔の奥方向への再挿入が必要な部分である見逃し部分を検出してもよい。

【0151】

図１３（Ａ）、図１３（Ｂ）は内視鏡２の先端部１１と、分析不可部分との位置関係を例示する図である。図１３（Ａ）、図１３（Ｂ）におけるＢ１及びＢ３は分析不可部分を表し、Ｂ２及びＢ４は撮像部の視野を表す。内視鏡システム１を用いた腸管の観察は、挿入部２ｂを最奥部まで挿入した後、挿入部２ｂを手前側に引き抜きながら行われる。最奥部とは、例えば盲腸の近傍であり、手前側とは肛門側である。分析不可部分が存在したとしても、図１３（Ａ）に示すように当該分析不可部分が先端部１１の近傍に存在する場合、比較的簡単な操作によって当該分析不可部分を撮像できる。ここでの操作とは、例えば湾曲部１２の向きを変えたり、挿入部２ｂをわずかに押す等の操作である。

【0152】

これに対して図１３（Ｂ）では、屈曲部の先に分析不可部分が存在する。屈曲部とは、例えばＳＤジャンクション等である。屈曲部よりも奥側の分析不可部分を観察するためには、屈曲部や襞を超える操作が必要となる。

【0153】

本実施形態の見逃し判定部９５は、図１３（Ａ）に示す分析不可部分は見逃し部分と判定せず、図１３（Ｂ）に示す分析不可部分を見逃し部分と判定する。また、分析不可部分が先端部１１の現在位置よりも手前側に存在する場合、それ以降の走査の中で観察できる蓋然性が高い。よって見逃し判定部９５は、現在位置よりも手前側の分析不可部分は見逃し部分と判定しない。このようにすれば、ユーザが明確な操作を実行しない限り観察できない蓋然性が高い分析不可部分を、見逃し部分と判定することが可能になる。

【0154】

例えば見逃し判定部９５は、分析不可部分が存在する場合に、分析不可部分の位置と、先端部１１の現在位置の比較処理を行うことによって、分析不可部分が先端部１１の現在位置よりも腸管の奥方向にあるか否かを判定する。例えば、見逃し判定部９５は、管腔構造情報の算出処理において取得された時系列の位置情報に基づいて、奥方向と手前方向を判定する。ここでの位置情報は、磁気センサ１６等の位置姿勢検出センサによって取得される情報であってもよいし、ＳＬＡＭやＳｆＭを用いて最適化されるパラメータであってもよい。なお、加速度を検出するジャイロセンサのような、位置姿勢の変化量に関わるセンサも、検出結果の時間積分を適宜繰り返すことで位置姿勢を求めることができることから、位置姿勢検出センサとしてもよい。上述したように、観察開始時が管腔の最奥部であり、それ以降の先端部１１の移動方向が手前方向である。或いは、磁気センサ１６等を利用可能である場合、奥方向への挿入時に取得される位置姿勢情報に基づいて、奥方向と手前方向を判断してもよい。挿入時における移動方向が奥方向である。

【0155】

分析不可部分が先端部１１よりも奥方向である場合、見逃し判定部９５は、湾曲部１２の操作によって当該分析不可部分を撮像可能であるか否かを判定する。湾曲部１２の現在の位置姿勢は、例えば左右湾曲操作ノブ１４ａ及び上下湾曲操作ノブ１４ｂの制御データに基づいて既知である。また、湾曲部１２の最大湾曲角度等は設計から既知である。よって関連付け処理部９４は、これらの情報に基づいて、湾曲部１２の操作によって当該分析不可部分を撮像可能であるか否かを判定できる。

【0156】

見逃し判定部９５は、先端部１１よりも奥方向にあり、且つ、湾曲部１２の操作のみでは撮像できないと判定された分析不可部分を見逃し部分と判定する。また上述したように、屈曲部を超えないような短い距離の押し込み操作は比較的容易である。よって見逃し判定部９５は、分析不可部分が先端部１１よりも奥方向にあるか否かだけではなく、先端部１１と分析不可部分の距離や、屈曲部の有無等に基づいて、分析不可部分を見逃し部分とするか否かを判定してもよい。

【0157】

以上のように、管腔は腸管であり、内視鏡の挿入部２ｂが腸管の奥方向へ、通常、肛門から盲腸、または、盲腸までの挿入可能な最深部まで挿入された後、手前方向へ抜き出しながら診断などのための腸管の撮像が行われる。処理装置９は見逃し判定部９５を含み、見逃し判定部９５は、腸管に対する挿入部２ｂの先端部１１の位置姿勢情報に基づいて、挿入部２ｂを奥方向へ再挿入しなければ観察できないと判定された分析不可部分を見逃し部分と判定する。例えば図３に示したように、見逃し判定部９５は、関連付け処理部９４から分析可否情報と管腔構造情報との関連付け結果を取得し、管腔構造検出装置５から先端部１１の位置姿勢情報を取得する。或いは図１５を用いて後述するように、処理装置９が位置姿勢情報取得部９７を含み、見逃し判定部９５は位置姿勢情報取得部９７から先端部１１の位置姿勢情報を取得してもよい。

【0158】

このようにすれば、見逃しが発生する蓋然性の高い部分を特定することが可能になる。例えば見逃し部分をユーザに提示することによって、見逃しを適切に抑制することが可能になる。

【0159】

なお分析不可部分を第１～第３分析不可部分等に分類する場合であっても処理は同様である。即ち、第１～第３分析不可部分のいずれについても、比較的容易な操作によって観察できない部分は見逃し部分と判定される。この際、見逃し判定部９５は、第１分析不可部分に起因する見逃し部分を第１見逃し部分とし、第２分析不可部分に起因する見逃し部分を第２見逃し部分とし、第３分析不可部分に起因する見逃し部分を第３見逃し部分とすることによって、見逃し部分を分類してもよい。或いは見逃し判定部９５は、見逃し部分の分類を省略してもよい。

【0160】

以上のように本実施形態の処理装置９は、管腔構造情報に対して、分析可否情報と、見逃し判定の結果とを関連付けてもよい。具体的には処理装置９は、管腔構造の各部分が、分析可能部分、分析不可部分、見逃し部分のいずれであるかを特定する処理を行う。このようにすれば、撮像が行われたか否か、分析が可能であるか否か、見逃しの蓋然性が高いか否かという複数の観点から得られた情報を管腔構造に関連付けることが可能になる。

【0161】

２．３．３ 分析可能割合
また処理装置９は、管腔構造全体に対する分析可能部分の割合を表す分析可能割合を求める処理を行ってもよい。分析可能割合は、管腔構造のうちのどの程度の範囲を、分析可能な状態で撮像できたかを示すものであるため、見逃しを定量化する指標として利用可能である。内視鏡２を用いた観察中に分析可能割合を提示することによって、当該観察の進捗度合いをユーザに提示することが可能である。

【0162】

例えば管腔構造情報は、３つの特徴点によって規定される三角形の集合であるポリゴンモデルであり、管腔構造の表面積はポリゴンモデルに含まれる複数の三角形の面積の総和である。また、管腔構造のうちの分析可能部分は、上述したように３以上の特徴点に囲まれる多角形として特定可能であり、当該多角形の面積も１又は複数の三角形の面積に基づいて演算可能である。なお、管腔構造情報はポリゴンモデルには限定されないが、３次元モデルに基づいて表面積を演算可能であることは当業者であれば容易に理解できることである。

【0163】

関連付け処理部９４は、下式（２）に基づいて分析可能割合を求める。分析可能割合は、例えば０以上１以下の数である。なお、下式（２）の右辺に１００をかけることによって、分析可能割合を％で表してもよい。このようにすれば、実行中の検査の進捗度合いを適切に判定することが可能になる。理想的には、分析可能割合を１００％にすることによって、検査を適切に終了することが可能になる。管腔全体の表面積とは、具体的には分析可能部分の面積と、分析不可部分の面積の総和である。また関連付け処理部９４は、見逃し割合を下式（３）によって求めてもよい。下式（２）、（３）からわかるように、分析可能割合と見逃し割合は、分析可能部分と分析不可部分のいずれに着目したかの違いであり、どちらが用いられてもよい。
分析可能割合＝（分析可能部分の面積）／（管腔全体の表面積） …（２）
見逃し割合＝（分析不可部分の面積）／（管腔全体の表面積） …（３）

【0164】

なお、第３分析不可部分が存在する場合、当該部分については管腔構造情報が構築されない。そのため、第３分析不可部分の面積を推定することが難しい場合がある。特に観察中に分析可能割合を提示する例においては、先端部１１よりも手前側の管腔構造情報は未取得であることが想定される。

【0165】

この場合、関連付け処理部９４は、管腔構造を推定することによって分析可能割合を求めてもよい。例えば、関連付け処理部９４は、平均的な大きさ、形状を有する標準腸管モデルをあらかじめ取得しておき、当該標準腸管モデルを用いて分析不可部分を補うことによって、管腔の全体構造を推定する。標準腸管モデルは、全患者で共通としてもよいし、年齢や性別に応じて複数のモデルを用意しておいてもよい。また事前にＣＴ（computed tomography）やＭＲＩ（magnetic resonance imaging）を用いて患者固有の腸管に関する情報が取得されている場合、当該情報を用いてもよい。なお、襞による隠れ部分等の第２分析不可部分を、標準腸管モデルを用いて補うことも妨げられない。

【0166】

ここでの標準腸管モデルは、例えば内視鏡２を用いた観察時と同様の状態とする。腸管の観察時には送気を行うことによって腸管を膨らませることが想定される。標準腸管モデルとして送気が行われていない状態のモデルを用いた場合、構築済の管腔構造情報と、標準腸管モデルとで腸管の伸縮度合いが大きく変化してしまうため、分析可能割合を精度よく求めることが難しい。よって関連付け処理部９４は、送気状態における腸管を表す情報を、標準腸管モデルとして用いる。

【0167】

ただし、分析不可部分を標準腸管モデルによって補う場合、管腔構造を簡略化することも可能である。例えば、標準腸管モデルとして、襞等の構造を省略した円筒モデルを用いることが可能である。即ち、分析可能割合は、見逃しの定量化指標として妥当な精度を有せばよく、細かい個人差や、微細な襞構造等については簡略化が可能である。

【0168】

また簡略化の対象は標準腸管モデルに限定されない。例えば管腔構造情報として詳細な３次元モデルが取得されている場面において、管腔構造情報を円筒モデル等に簡略化することによって、分析可能割合を求める処理が行われてもよい。

【0169】

なお、以上では管腔全体を基準として、分析可能割合や見逃し割合を算出する例を示したが、本実施形態の手法はこれに限定されない。例えば観察中に分析可能割合を求める場合、管腔のうち、観察が完了した蓋然性の高い部分を対象として式（４）の様に分析可能割合等が演算されてもよい。この場合、挿入部２ｂの先端部１１よりも奥側の部分における管腔の表面積に対する、分析可能部分の面積が分析可能割合となる。見逃し割合についても式（５）の様に同様である。この場合、見逃しがない場合に分析可能割合が１、又は見逃し割合が０となることが期待されるため、これまでの検査が適切に行われているか否かを評価することが可能になる。なお、再挿入が行われた場合等を考慮し、一連の観察の中で最も肛門側に移動した際の先端部１１の位置を基準として分析可能割合等が求められてもよい。またこの場合も、標準腸管モデルを用いることが可能である。
分析可能割合＝（分析可能部分の面積）／（観察が完了した蓋然性の高い管腔部分の表面積） …（４）
見逃し割合＝（分析不可部分の面積）／（観察が完了した蓋然性の高い管腔部分の表面積） …（５）

【0170】

以上のように、関連付け処理部９４は、分析可能部分の面積、分析不可部分の面積、の少なくとも１つを推定してもよい。このようにすれば、ユーザへの提示に適した情報、或いは、ユーザ技量の評価に適した情報を出力することが可能になる。また関連付け処理部９４は、分析可能部分の形状、及び分析不可部分の形状の少なくとも一方を推定してもよい。ユーザによる先端部１１の操作状況に応じて、分析可能部分や分析不可部分の形状が変化する。そのため、分析可能部分や分析不可部分の形状についても、観察の進捗状況やユーザ技量を評価する情報として利用できる。なおここでの形状推定は、上述したように標準腸管モデルを用いた推定や、分析可能部分を簡略化する処理等を含む。

【0171】

また上述したように、関連付け処理部９４は、分析可能割合及び見逃し割合の少なくとも一方を求める。分析可能割合とは、上式（２）に示したように管腔の内面全体に対する、分析可能部分の面積比を示す情報であってもよいし、上式（４）に示したように、管腔のうち、観察が完了したと関連付け処理部９４が判定した部分に対する、分析可能部分の面積比を示す情報であってもよい。また見逃し割合は、上式（３）に示したように管腔の内面全体に対する、分析不可部分の面積比を示す情報であってもよいし、上式（５）に示したように、管腔のうち、観察が完了したと関連付け処理部９４が判定した部分に対する、分析不可部分の面積比を示す情報であってもよい。なお、ここでの管腔の内面全体とは、管腔内面の全てを厳密に含むものに限定されない。

【0172】

このようにすれば、見逃しを適切に定量化することが可能になる。分析可能割合や見逃し割合は、観察の完了度合いを提示する場合や、ユーザ技量の評価に有用である。

【0173】

また関連付け処理部９４は、分析不可部分の形状を簡略化することによって、分析可能割合及び見逃し割合の少なくとも一方を求めてもよい。このようにすれば、分析可能割合等の算出負荷軽減が可能になる。上述したように、分析不可部分はそもそも管腔構造情報が取得されていない場合があり、その場合には形状は推定されたものとなる。結果として、分析可能割合等の算出に用いる分析不可部分の面積にはある程度の誤差が含まれる。即ち、もともと高い精度での演算が難しい以上、分析不可部分について複雑な形状まで考慮する意義が小さい。分析不可部分の形状を簡略化することによって、効率的に処理負荷を軽減可能である。なお上述したように、分析可能部分の形状を簡略化することも可能である。

【0174】

また管腔は腸管であり、関連付け処理部９４は、腸管の基準形状に基づいて、分析可能割合及び見逃し割合の少なくとも一方を求めてもよい。ここでの基準形状とは、例えば上述した標準腸管モデルによって表される形状である。このようにすれば、送気の状態等に起因して形状が変化する腸管を対象とする場合にも、適切な形状及び面積を推定することが可能になる。

【0175】

ここでの腸管の基準形状は、内視鏡２の挿入部２ｂが腸管の奥方向へ挿入された後、手前方向へ抜き出す際の腸管の形状に対応する。管腔構造情報は、手前方向へ抜き出す際の腸管を撮像した画像に基づいて算出される。抜き出す際の腸管とは、具体的には送気を行うことによって膨らんだ状態の腸管である。このようにすれば、基準形状によって表される腸管の状態と、管腔構造情報によって特定される腸管の状態とが対応するため、分析可能割合を適切に求めることが可能になる。

【0176】

２．４ 提示処理
２．４．１ 表示
処理装置９は、分析可否情報を管腔構造情報に関連付けた結果を、モニタ６等に表示することによってユーザに提示してもよい。例えば、観察中に分析可否情報が求められる場合、処理装置９は、撮像画像と、分析可否情報と管腔構造情報とを関連付けた結果と、をモニタ６に表示する処理を行う。

【0177】

図１４は、モニタ６等に表示される表示画像の例である。Ｃ１が表示画像を表し、Ｃ２が表示画像の一部である第１領域を表し、Ｃ３が表示画像の他の一部である第２領域を表す。例えば図１４に示すように、処理装置９は、モニタ６の第１領域に撮像画像を表示する処理と、第１領域とは異なる第２領域に管腔構造情報を表示する処理を行う。なお図１４では省略されているが、第２領域には分析可否情報と管腔構造情報の関連付け結果が表示されてもよい。分析可否情報と管腔構造情報との関連付け結果は３次元モデルであり、ユーザ入力に基づいて視点が変更可能であってもよい。また、管腔構造情報は３次元モデルに限定されず、円筒を展開した２次元画像であってもよい。この場合、分析可否情報を管腔構造情報に関連付けた結果についても２次元画像となる。また３次元モデルである関連付け結果と、２次元画像である関連付け結果が同時に表示されてもよい。

【0178】

このように、管腔のどの部分が分析可能であるか、分析不可であるかを管腔構造に照らし合わせて提示することによって、医師等による見逃し抑制の判断を容易にさせることが可能になる。また、再挿入が必要な分析不可部分については、見逃し部分と判断することで、医師らへの情報提示や警告実施が可能となる。

【0179】

２．４．２ ガイド
また処理装置９は、図３に示したようにガイド処理部９６を含んでもよい。ガイド処理部９６は、分析可否情報として、撮像画像の少なくとも一部を分析不可とする情報が出力された場合に、撮像画像における被写体の可視性を向上させるためのガイドを行う。例えば、ガイド処理部９６は、画質を向上させるためのガイドを行う。ここでのガイドは、被写体と先端部１１の距離変更を指示するガイドであってもよいし、送気や送水を指示するガイドであってもよいし、撮像角度の変更を指示するガイドであってもよいし、ブレ抑制のために先端部１１の静止を指示するガイドであってもよい。ガイド処理部９６は、上記の調整を指示するテキスト等をモニタ６に表示する処理を行う。

【0180】

またガイド処理部９６は、具体的な調整内容の指示を行ってもよい。例えばガイド処理部９６は、遮蔽物の具体的な位置や送水方向を提示する処理を行う。或いはガイド処理部９６は、撮像角度を変更するための挿入部２ｂの挿抜量、湾曲部１２の湾曲方向、湾曲角度等を提示する処理等を行ってもよい。このようにすれば、分析可能な状態で撮像を行うための操作をユーザに促すことが可能になる。

【0181】

またガイド処理部９６は、見逃し部分が存在する場合に、見逃し部分を分析可能状態で撮像するためのガイドを行ってもよい。例えばガイド処理部９６は、現在撮像している視界と、見逃し部分との位置関係を、撮像画像上に表示してもよい。例えば視界を上下左右のいずれの方向に移動させるべきであるかを示す矢印等のガイドオブジェクトを表示する。また移動方向は前後方向を含んでもよい。このようにすれば、見逃し部分を撮像するための操作をユーザに促すことが可能になる。またガイドオブジェクトは撮像画像上に表示されるものに限定されない。例えばガイド処理部９６は、モニタ６等の表示領域の一部に撮像画像を表示するとともに、表示領域のうちの撮像画像の外部の領域にガイドオブジェクトを表示する制御を行ってもよい。ガイドオブジェクトは、例えば図１４のＯＢに示す矢印状のオブジェクトである。図１４におけるガイドオブジェクトは、表示画像のうち、第１領域と第２領域のいずれとも異なる領域に表示される。

【0182】

３．変形例
３．１ 管腔構造情報の取得に関する変形例
以上では、処理装置９とは異なる管腔構造検出装置５において、管腔構造情報が取得される例について説明した。しかし本実施形態の手法はこれに限定されず、処理装置９において管腔構造情報が算出されてもよい。

【0183】

図１５は、処理装置９の他の構成を示す図である。図１５に示すように、処理装置９は、図３に示す構成に加えて位置姿勢情報取得部９７と、駆動回路９８を含む。位置姿勢情報取得部９７は、図４における位置姿勢検出部５５に対応する。駆動回路９８は、駆動回路５６に対応する。即ち、位置姿勢情報取得部９７は、磁場発生装置７を駆動する駆動回路９８を制御して、磁場発生装置７に所定の磁場を発生させる。位置姿勢情報取得部９７は、磁場を磁気センサ１６により検出することによって、先端部１１の位置座標と配向のデータを生成する。

【0184】

管腔構造情報取得部９３は、画像取得部９１からの撮像画像と、位置姿勢情報取得部９７からの位置姿勢情報とに基づいて、管腔構造情報を算出する。即ち、図１５における管腔構造情報取得部９３は、図４のプロセッサ５１と同様の処理を行う。

【0185】

ただし、管腔構造検出装置５の説明において上述したとおり、位置姿勢情報を検出するためのセンサは先端部１１に設けられる磁気センサ１６に限定されず、図９（Ａ）、図９（Ｂ）等に例示した変形実施が可能である。また、本実施形態の手法では磁気センサ１６等の位置姿勢検出センサは省略が可能である。この場合、管腔構造情報取得部９３は、例えば撮像画像に基づいて、先端部１１の位置姿勢を含む（６ｋ＋３ｍ）個のパラメータを最適化する処理を実行する。

【0186】

以上のように、管腔構造情報取得部９３は、撮像画像に基づいて、管腔構造情報を求めてもよい。このようにすれば、処理装置９において、管腔構造情報を求める処理、分析可否情報を求める処理、及び分析可否情報を管腔構造に対応付ける処理を実行することが可能になる。

【0187】

また処理装置９は、図１５に示すように、管腔に挿入される挿入部２ｂに設けられるセンサから、管腔に対する先端部１１の位置姿勢情報を取得する位置姿勢情報取得部９７を含んでもよい。管腔構造情報取得部９３は、位置姿勢情報取得部９７が取得した位置姿勢情報と、撮像画像に基づいて、管腔構造情報を求める。

【0188】

このように磁気センサ１６等のセンサを用いて先端部１１の位置姿勢情報を取得することによって、高精度な管腔の３次元モデル構造を高速で算出可能になる。

【0189】

３．２ リアルタイム処理と事後処理
以上では管腔構造情報及び分析可否情報の取得と、それらの関連付けが観察中にリアルタイムに実行される例について説明した。この場合、病変を見逃す可能性があることは迅速に提示する必要がある。図１３（Ｂ）に示したような見逃し部分が発生した場合、当該見逃し部分の観察のためには再挿入が必要になるため医師や患者の負担が大きい。分析不可部分があることを迅速に提示することによって、見逃し部分の発生を抑止することが有用である。

【0190】

よって観察中に各処理を実行する場合、高速な処理が重要である。例えば管腔構造情報を観察中に実行する場合、ＳＬＡＭが好適である。ＳＬＡＭは、取得された画像を逐次処理するためリアルタイム性が高い。これにより、分析不可部分が発生した段階で医師等への提示が可能になるため、当該分析不可部分の確認を促すことが可能になる。また見逃し部分が発生した場合にも、観察の終了前に当該見逃し部分の確認を促すことが可能になるため、最終的な見逃しを抑制できる。内視鏡システム１を用いた観察の際には、ユーザは食事制限や下剤の服用等の準備が必要になる。再挿入が必要になったとしても、改めて２回目の観察を実行する場合に比べて患者負担の軽減が可能である。

【0191】

一方、上述した各処理は観察終了後に行われてもよい。この場合、処理に数分～数時間を要しても問題になりにくい。よって各処理において、速度よりも精度を優先することが可能である。例えば、管腔構造情報の取得にＳｆＭ等の手法を用いてもよい。ＳｆＭでは、取得した画像群全体を入力として使用可能であるため、ＳＬＡＭに比べて管腔構造の推定精度向上が可能である。

【0192】

なお、事後的に管腔構造情報の取得、及び分析可否情報との関連付け結果を提示する場合、見逃しがあったことは観察の終了後に判明する。そのため、当該見逃しを分析するためには、別途観察を実行する必要がある。事後的に取得される関連付け結果は、例えば見逃しの定量化に利用可能である。具体的には、関連付け結果に基づいて、ユーザの技量を判定することや、ユーザのトレーニングを実行すること等が可能になる。具体的な指標としては上述した分析可能割合や見逃し割合等が考えられる。

【0193】

３．３ 管腔構造情報の取得タイミングに関する変形例
また以上では、当該管腔構造情報を求める処理と、分析可否情報の出力及び関連付け処理は、内視鏡システム１を用いた同一の観察を対象として実行される例を説明した。例えば、観察中にリアルタイムに処理を行う場合、撮像画像が取得されると、当該撮像画像に基づく分析可否情報の出力と、当該撮像画像に基づく管腔構造情報の算出が平行して行われ、分析可否情報が管腔構造情報に関連付けられる。また、観察終了後にストレージ等に蓄積された動画像を対象とする場合も、当該動画像に基づいて、分析可否情報の出力と、管腔構造情報の算出が行われる。

【0194】

ただし本実施形態の手法はこれに限定されず、分析可否情報の出力処理の対象となる観察よりも前に、管腔構造情報が取得されていてもよい。例えば、同一の患者を対象とする場合、過去の観察において撮像された撮像画像に基づいて管腔構造情報をあらかじめ取得しておく。そして今回の観察において撮像された撮像画像に基づいて、分析可否情報の出力と、当該分析可否情報の管腔構造への関連付けが実行される。

【0195】

ただし管腔構造情報は例えば特徴点の集合であるが、この場合の特徴点は過去の撮像画像に基づいて設定された点となる。分析可否情報の算出に用いられる撮像画像上に特徴点が設定されていないため、そのままでは分析可否情報を管腔構造に対応付けることができない。

【0196】

よって関連付け処理部９４は、磁気センサ１６等のセンサに基づいて精度の高い位置姿勢情報を取得してもよい。この際、座標系の基準点を設定する際の条件は、過去の観察と同様に設定される。具体的には基準点は肛門で共通であり、ユーザ姿勢も共通の姿勢である。このように過去の基準点と今回の基準点との間の対応がとれれば、今回の観察における先端部１１と、腸管との位置関係を推定できる。即ち関連付け処理部９４は、先端部１１の位置姿勢情報に基づいて、撮像画像に撮像された被写体が、管腔構造情報によって表される腸管のうちのどの部分に対応するかを特定可能である。これにより、関連付け処理部９４は、今回の観察によって取得された分析可否情報を、過去の観察によって取得された管腔構造情報に関連付けることができる。

【0197】

或いは関連付け処理部９４は、過去の撮像画像と今回の撮像画像との間でマッチング処理を実行してもよい。このようにすれば、過去の撮像画像において設定された特徴点が、今回の撮像画像のどの位置に対応するかを特定可能である。これにより、今回の撮像画像に撮像された被写体の、管腔構造上での位置を特定できる。

【0198】

或いは管腔構造情報は、ＣＴ、ＭＲＩ、超音波診断装置等を用いて取得されていてもよい。この場合も、関連付け処理部９４は、磁気センサ１６等のセンサに基づいて精度の高い位置姿勢情報を取得することが望ましい。センサを用いて検出される位置姿勢情報の基準点と、ＣＴ等を用いて取得された管腔構造情報との位置関係を特定することによって、先端部１１と腸管との位置関係を高い精度で推定できる。結果として、撮像画像に撮像された被写体の、管腔構造上での位置を特定できる。

【0199】

３．４ 関連付け結果に基づく制御
また以上では、分析可否情報と管腔構造情報に関連付け結果を、ユーザへの提示或いはユーザ技量の評価に用いる例について説明した。またユーザへの提示例として、ガイド処理部９６によるガイドについて説明した。しかし、本実施形態の手法はこれに限定されず、関連付け結果が内視鏡２の制御に用いられてもよい。

【0200】

例えば内視鏡２は、不図示のモータ等、及び当該モータ等を駆動する駆動部を含む。内視鏡２は、モータ等の制御に基づいて、自動的に挿入部２ｂの挿抜や、湾曲部１２の湾曲が行われる。このような内視鏡２を用いる場合において、処理装置９は、駆動部を制御する制御部に対して、関連付け結果を出力する。制御部は、画像処理装置３に設けられてもよいし、処理装置９に設けられてもよい。制御部は、関連付け結果に基づいて駆動部の制御を行う。例えば見逃し部分が検出された場合に、制御部は見逃し部分を撮像可能な位置まで挿入部２ｂを挿入するための制御や、湾曲部１２を湾曲させる制御を行う。また、制御部は画質を改善するための制御を実行してもよい。画質を改善するための制御は、例えば先端部１１の位置姿勢を変化させる制御であってもよいし、送水や送気を実行する制御であってもよい。

【0201】

なお、上記のように本実施形態について詳細に説明したが、本実施形態の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本開示の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また本実施形態及び変形例の全ての組み合わせも、本開示の範囲に含まれる。また処理装置、内視鏡システム等の構成及び動作等も、本実施形態で説明したものに限定されず、種々の変形実施が可能である。

【符号の説明】

【0202】

１…内視鏡システム、２…内視鏡、２ａ…操作部、２ｂ…挿入部、２ｃ…ユニバーサルケーブル、２ｅ…信号線、３…画像処理装置、４…光源装置、５…管腔構造検出装置、６…モニタ、７…磁場発生装置、７ａ…信号線、８…ベッド、９…処理装置、１１…先端部、１２…湾曲部、１３…可撓管部、１４…湾曲操作部材、１４ａ…左右湾曲操作ノブ、１４ｂ…上下湾曲操作ノブ、１４ｃ…固定ノブ、１５…撮像素子、１６…磁気センサ、１６ａ，１６ｂ…コイル、５１…プロセッサ、５２…記憶装置、５３…インターフェース、５４…画像取込部、５５…位置姿勢検出部、５６…駆動回路、５８…バス、８１…形状センサ、８２…挿入量・捩り量センサ、９１…画像取得部、９２…分析可否判定部、９３…管腔構造情報取得部、９４…処理部、９５…見逃し判定部、９６…ガイド処理部、９７…位置姿勢情報取得部、９８…駆動回路、Ｐａ…患者、ＳＡ…隠れ部分

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】