(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-11-14
(45)【発行日】2023-11-22
(54)【発明の名称】内視鏡システム、画像処理装置の作動方法及び内視鏡
(51)【国際特許分類】
A61B 1/045 20060101AFI20231115BHJP
G02B 23/24 20060101ALI20231115BHJP
【ＦＩ】
A61B1/045 650
G02B23/24 B
【請求項の数】
20
(21)【出願番号】P 2022502699
(86)(22)【出願日】2020-02-27
(86)【国際出願番号】 JP2020007976
(87)【国際公開番号】W WO2021171465
(87)【国際公開日】2021-09-02
【審査請求日】2022-08-25
(73)【特許権者】
【識別番号】000000376
【氏名又は名称】オリンパス株式会社
(74)【代理人】
【識別番号】100104710
【弁理士】
【氏名又は名称】竹腰 昇
(74)【代理人】
【識別番号】100124682
【弁理士】
【氏名又は名称】黒田 泰
(74)【代理人】
【識別番号】100090479
【弁理士】
【氏名又は名称】井上 一
(74)【代理人】
【識別番号】100166523
【弁理士】
【氏名又は名称】西河 宏晃
(72)【発明者】
【氏名】羽根 潤
【審査官】相川 俊
(56)【参考文献】
【文献】特開２００９－２９７４１５（ＪＰ，Ａ）
【文献】国際公開第２０１９／１２３９８６（ＷＯ，Ａ１）
【文献】特許第６５７８６１９（ＪＰ，Ｂ１）
【文献】特開２０１７－２２５７００（ＪＰ，Ａ）
【文献】国際公開第２０１８／００３６０６（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ａ６１Ｂ １／００ － １／３２
Ｇ０２Ｂ ２３／２４
(57)【特許請求の範囲】
【請求項1】
管腔に挿入される挿入部と、前記挿入部に設けられ、被写体からの光である被写体光を取得する被写体光取得部と、
前記挿入部に設けられ、前記被写体光に基づいて撮像することによって、視野内の撮像画像を取得する撮像部と、
前記被写体光取得部を回転させる捻り機構と、
前記挿入部を挿入方向又は抜去方向に移動させる進退機構と、
前記捻り機構と前記進退機構とを制御することによって、前記撮像部の前記視野の動きを制御する制御部と、
を含み、
前記捻り機構は、
前記挿入部の軸を基準軸とした場合に、前記挿入部の先端を前記基準軸周りに回転可能な機構を有し、
前記制御部は、
前記視野によって前記管腔の内壁の走査を行うように前記捻り機構と前記進退機構とを制御することを特徴とする内視鏡システム。
【請求項2】
請求項１において、前記制御部は、
前記挿入部の軸を基準軸とした場合に、前記進退機構を用いた前記基準軸に沿った方向における前記挿入部の移動と、前記捻り機構を用いた前記管腔の周方向における前記被写体光取得部の周期的な回転と、を組み合わせることによって、前記走査を行うことを特徴とする内視鏡システム。
【請求項3】
請求項２において、所与のタイミングにおいて、前記撮像部によって撮像された前記撮像画像を第１撮像画像とし、
前記第１撮像画像の撮像後であって、前記被写体光取得部を前記基準軸周りに略１回転させる制御と、前記進退機構によって前記挿入部を前記基準軸に沿った方向に移動させる制御とを組み合わせた制御が前記制御部によって行われた後に、前記撮像部によって撮像された前記撮像画像を第２撮像画像とした場合に、
前記制御部は、
前記第１撮像画像と、前記第２撮像画像とが重複部分を有するように、前記捻り機構と前記進退機構とを制御することを特徴とする内視鏡システム。
【請求項4】
請求項１において、前記撮像画像に基づき分析を行う分析部を含み、
前記制御部は、
前記撮像部の前記視野のうち、前記分析部による分析が可能な部分によって前記管腔の内壁の走査を行うように、前記捻り機構と前記進退機構とを制御することを特徴とする内視鏡システム。
【請求項5】
請求項３において、前記撮像画像に基づき分析を行う分析部を含み、
前記撮像画像のうち、前記分析部による分析が可能な領域を分析可能領域とした場合に、
前記制御部は、
前記第１撮像画像における前記分析可能領域と、前記第２撮像画像における前記分析可能領域とが重複部分を有するように、前記捻り機構と前記進退機構とを制御することを特徴とする内視鏡システム。
【請求項6】
請求項４において、前記分析部が、前記撮像画像に基づいて注目領域を検出した場合に、
前記制御部は、
前記注目領域に関する情報を記憶する処理、及び、前記注目領域に関する前記情報をユーザに提示する処理の少なくとも一方の処理を行うことを特徴とする内視鏡システム。
【請求項7】
請求項１において、前記撮像画像に基づいて、前記撮像画像が分析可能状態か否かを示す分析可否情報を出力する分析可否判定部を含み、
前記制御部は、
前記分析可否情報に基づいて、前記捻り機構と前記進退機構とを制御することを特徴とする内視鏡システム。
【請求項8】
請求項７において、前記分析可否判定部は、
前記撮像画像中の被写体の動きの大きさに基づいて、前記分析可否情報を出力することを特徴とする内視鏡システム。
【請求項9】
請求項７において、前記分析可否判定部は、
前記撮像画像の画質に基づいて、前記分析可否情報を出力することを特徴とする内視鏡システム。
【請求項10】
請求項１において、前記制御部は、
前記捻り機構による回転と前記進退機構による移動を行うことによって、前記被写体光取得部をらせん状に移動させる制御、又は、前記捻り機構による回転と前記進退機構による移動を交互に行う制御を行うことを特徴とする内視鏡システム。
【請求項11】
請求項１において、前記制御部は、
前記撮像部の前記視野によって前記管腔の内壁の走査を行うように前記捻り機構と前記進退機構とを制御する際に、前記管腔に対して気体を注入する送気及び前記管腔から気体を排出する脱気を行う制御と、被検体の体位を調整する制御の少なくとも一方を、前記管腔の状態を保つ制御として実行することを特徴とする内視鏡システム。
【請求項12】
請求項１において、前記制御部は、
前記管腔のうちの前記走査が行われた部分において、前記撮像部の前記視野に入っていない部分が存在すると判定された場合に、再走査を行うとともに走査条件を変更する制御を行うことを特徴とする内視鏡システム。
【請求項13】
請求項４において、前記制御部は、
前記管腔のうちの前記走査が行われた部分において、前記分析部による分析が可能でない部分が存在すると判定された場合に、再走査を行うとともに走査条件を変更する制御を行うことを特徴とする内視鏡システム。
【請求項14】
請求項１２又は１３において、前記制御部は、
前記管腔に対して気体を注入する送気及び前記管腔から気体を排出する脱気を行う制御、
前記管腔の内部にある遮蔽物を除去する制御、
前記捻り機構及び前記進退機構の少なくとも一方による前記視野の動きを変更する制御、
の少なくとも１つの制御を、前記走査条件を変更する制御として実行することを特徴とする内視鏡システム。
【請求項15】
請求項１において、前記撮像画像に基づいて、前記管腔の構造を示す管腔構造情報を求める管腔構造情報取得部と、
前記撮像画像に基づいて、前記撮像画像が分析可能状態か否かを示す分析可否情報を出力する分析可否判定部と、
前記分析可否情報と前記管腔構造情報に基づいて、前記管腔の構造上に前記分析可否情報を関連付ける関連付け処理部と、
を含み、
前記関連付け処理部は、
前記管腔の構造うち、少なくとも１枚の前記撮像画像に基づいて分析可能と判定された領域である分析可能部分と、前記管腔の構造のうち前記分析可能部分以外の部分である分析不能部分を特定することを特徴とする内視鏡システム。
【請求項16】
請求項１５において、前記管腔に挿入される前記挿入部の先端に設けられる位置センサから、前記管腔に対する前記被写体光取得部の位置姿勢情報を取得する位置姿勢検出部を含み、
前記管腔構造情報取得部は、
前記位置姿勢情報と前記撮像画像に基づいて、前記管腔構造情報を求めることを特徴とする内視鏡システム。
【請求項17】
請求項１５において、前記管腔の奥方向へ前記挿入部を挿入しなければ観察できないと判定された前記分析不能部分を見逃し部分と判定する見逃し判定部を含むことを特徴とする内視鏡システム。
【請求項18】
請求項１において、前記挿入部が前記管腔の奥方向へ挿入された後、手前方向へ抜き出すことによって前記管腔の観察が行われる場合において、
前記制御部は、
少なくとも前記挿入部を前記手前方向へ抜き出す際に、前記捻り機構と前記進退機構とを制御することを特徴とする内視鏡システム。
【請求項19】
挿入部により取得された視野内の撮像画像から前記挿入部の管腔内での動作を制御する画像処理装置の作動方法であって、
前記挿入部の視野によって前記管腔の内壁の走査を行うように、前記挿入部の軸を基準軸とした場合に前記挿入部の先端を前記基準軸周りに回転可能な機構により、前記管腔の周方向において回転させる捻り動作の制御を、前記画像処理装置が行うステップと、
前記挿入部を挿入方向又は抜去方向へ移動させる進退動作の制御を、前記画像処理装置が行うステップと、
を含む画像処理装置の作動方法。
【請求項20】
管腔に挿入される挿入部と、前記挿入部に設けられ、被写体からの光である被写体光を取得する被写体光取得部と、
前記挿入部に設けられ、前記被写体光に基づいて撮像することによって、視野内の撮像画像を取得する撮像部と、
前記挿入部を挿入方向又は抜去方向に移動させる進退機構と、
前記挿入部の軸を基準軸とした場合に、前記挿入部の先端を前記基準軸周りに回転可能な機構により前記被写体光取得部を回転させる捻り機構と、
を含むことを特徴とする内視鏡。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、内視鏡システム、画像処理装置の作動方法及び内視鏡等に関係する。
【背景技術】
【0002】
従来、内視鏡が医療分野及び工業分野で広く利用されている。例えば、医療分野では、医者は、内視鏡の挿入部を被検体内に挿入し、表示装置に表示される撮像画像を見て被検体内を観察することによって、内視鏡検査などを行うことができる。
【0003】
例えば大腸内視鏡による大腸検査において医師が手動で操作を行った場合、大腸管腔の走査にムラが生じる場合がある。結果として、病変の見逃しが発生するおそれがある。特許文献１には、医療機器を挿入させるとき、アクチュエータを制御することによって、先端部の動きを自動でナビゲーションする手法が開示されている。
【0004】
【文献】Mohammad Ali Armin et al, "Automated visibility map of the internal colon surface from colonoscopy video", International Journal of Computer Assisted Radiology and Surgery, 2016, Volume 11, Issue number 9, p.1599-1610,
【先行技術文献】
【特許文献】
【0005】
【文献】特開２０１７－１６４５５５号公報
【非特許文献】
【0006】
【文献】Mohammad Ali Armin1 et al, "Automated visibility map of the internal colon surface from colonoscopy video", International Journal of Computer Assisted Radiology and Surgery, 2016, Volume 11, Issue number 9, p.1599-1610,
【発明の概要】
【発明が解決しようとする課題】
【0007】
特許文献１は、標的領域への医療機器の移動を自動化しようとする手法であり、管腔を走査するための制御を開示していない。即ち、特許文献１は、管腔構造を観察する際の見逃しを抑制することができない。また非特許文献１は、挿入部２ｂの移動を制御する手法を開示していない。
【0008】
本開示のいくつかの態様によれば、管腔構造における見逃しを抑制可能な内視鏡システム及び内視鏡システムによる管腔走査方法等を提供できる。
【課題を解決するための手段】
【0009】
本開示の一態様は、管腔に挿入される挿入部と、前記挿入部に設けられ、被写体からの光である被写体光を取得する被写体光取得部と、前記被写体光に基づいて撮像することによって、視野内の撮像画像を取得する撮像部と、前記被写体光取得部を回転させる捻り機構と、前記挿入部を挿入方向又は抜去方向へ移動させる進退機構と、前記捻り機構と前記進退機構とを制御することによって、前記撮像部の前記視野の動きを制御する制御部と、含み、前記制御部は、前記視野によって前記管腔の内壁の走査を行うように前記捻り機構と前記進退機構とを制御する内視鏡システムに関係する。
【0010】
本開示の他の態様は、挿入部と、前記挿入部に設けられ被写体からの戻り光である被写体光を取得する被写体光取得部と、前記被写体光に基づいて撮像することによって視野内の撮像画像を取得する撮像部と、を有する内視鏡システムの前記挿入部を管腔に挿入することと、前記視野によって前記管腔の内壁の走査を行うように、前記被写体光取得部を回転させる捻り動作と、前記挿入部を挿入方向又は抜去方向へ移動させる進退動作とを行うことと、を含む内視鏡システムによる管腔走査方法に関係する。
【図面の簡単な説明】
【0011】
【図1】内視鏡システムの構成例。
【図2】内視鏡の構成例。
【図3】内視鏡システムの各部の構成例。
【図4】挿入部の構成例。
【図5】捻り機構によって撮像部の視野が回転することを説明する図。
【図6】挿入部の他の構成例。
【図7】挿入部の他の構成例。
【図10】撮像部の視野による走査を説明する図。
【図11】撮像部の視野による走査を説明する図。
【図12】画像処理装置の他の構成例。
【図13】分析可否判定処理を説明するフローチャート。
【図14】襞等に起因する隠れ部分が存在する場合の撮像画像の例。
【図15】内視鏡システムの他の構成例。
【図16】管腔構造検出装置の構成例。
【図17】管腔構造情報の取得処理を説明するフローチャート。
【図18】管腔構造情報の例。
【図19】バンドル調整を用いた管腔構造情報の取得処理を説明するフローチャート。
【図20】複数の特徴点と、先端部の位置姿勢の関係を説明する模式図。
【図21】画像処理装置の他の構成例。
【図22】分析可否情報と管腔構造情報の関連付けの例。
【発明を実施するための形態】
【0012】
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、請求の範囲に記載された内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本開示の必須構成要件であるとは限らない。
【0013】
１．システム構成例
内視鏡システムを用いた検査において、注目領域の見逃し抑制が重要である。なお注目領域とは、ユーザにとって観察の優先順位が他の領域よりも相対的に高い領域である。ユーザが診断や治療を行う医者である場合、注目領域は、例えば上述したように病変部を写した領域に対応する。ただし、医者が観察したいと欲した対象が泡や残渣であれば、注目領域は、その泡部分や残渣部分を写した領域であってもよい。即ち、ユーザが注目すべき対象は観察目的によって異なるが、その観察に際し、ユーザにとって観察の優先順位が他の領域よりも相対的に高い領域が注目領域となる。
内視鏡システムを用いた検査において、注目領域の見逃し抑制が重要である。なお注目領域とは、ユーザにとって観察の優先順位が他の領域よりも相対的に高い領域である。ユーザが診断や治療を行う医者である場合、注目領域は、例えば上述したように病変部を写した領域に対応する。ただし、医者が観察したいと欲した対象が泡や残渣であれば、注目領域は、その泡部分や残渣部分を写した領域であってもよい。即ち、ユーザが注目すべき対象は観察目的によって異なるが、その観察に際し、ユーザにとって観察の優先順位が他の領域よりも相対的に高い領域が注目領域となる。
【0014】
以下、内視鏡システムが生体内を観察するシステムであり、観察対象が大腸である例について説明する。即ち、本実施形態において後述する管腔とは、狭義には腸管である。ただし、本実施形態の手法は、腸管以外の管腔を対象としてもよい。例えば、大腸以外の消化管を対象とすることや、生体の他の部位における管腔構造を対象としてもよい。また、内視鏡システムは、管腔状の部材の観察に用いられる工業用内視鏡であってもよい。また以下では注目領域が病変である例について説明するが、上述したとおり注目領域は病変以外に拡張が可能である。
【0015】
病変の見逃しを抑制するためには、腸管等の管腔構造の表面全体を見逃すことなく撮像することが重要である。しかし従来、管腔構造のどの部分において内視鏡がどのように動かされているか、またそれによって管腔構造のどのような範囲をどのような撮像状態で撮像しているかといった、正確な状況が把握しにくかった。また、医師が内視鏡を手動で操作する場合、医師は操作と、撮像画像に基づく診断等を平行して実行する必要がある。そのため、例えば診断に集中した場合、正確な操作を実行できず、結果として大腸管腔の走査にムラが生じてしまう。また操作に集中した場合、撮像画像を十分に閲覧できず、病変が撮像されているにもかかわらず当該病変を見逃すおそれがある。
【0016】
よって本実施形態の手法では、内視鏡システム１の捻り機構１８と進退機構１７を制御することによって、撮像部の視野の動きを制御する構成において、当該視野によって管腔の内壁の走査が行われるような制御が実行される。
【0017】
ここでの撮像部の視野とは、当該撮像部の光軸方向と画角とによって決定される所与の空間を表す。例えば撮像部の視野は、撮像素子１５に対応する位置を頂点とし、撮像部の光軸が当該頂点及び底面の中心を通過するような角錐状或いは円錐状の空間である。撮像部の光軸を病変の存在する方向、或いはそれに近い方向に向けることによって、病変を視野に捉えることが可能である。例えば、後述するように被写体光取得部２０が被写体光を取得し、撮像部が当該被写体光を受光することによって撮像画像を出力する構成の場合、被写体光取得部２０と被写体との相対的な位置関係が変化することによって、視野に捉えられる被写体が変化する。
【0018】
また本実施形態における走査とは、上記視野を所定の規則に従って移動させていくことによって、管腔内面の所定の範囲を順次撮像していく動作を表す。ここでの所定の範囲とは、理想的には管腔内壁全体である。
【0019】
本実施形態の手法によれば、管腔の内壁が網羅的に撮像されるように、内視鏡システムの制御が行われる。そのため、医師による内視鏡の操作負担を軽減しつつ、管腔構造の一部が撮像されないことによる見逃しの発生を抑制可能である。ただし、本実施形態の手法は、見逃し発生の蓋然性を抑制可能な制御を行う手法であり、見逃しを完全に抑制することを保証するものではない。なお、本実施形態では、管腔構造のうち、一度も撮像部の視野に入らない領域が存在する場合に見逃しのおそれがあると判定されてもよい。或いは第２の実施形態において後述するように、分析可能な状態で撮像されていない分析不可部分が存在する場合に、見逃しのおそれがあると判定されてもよい。
【0020】
２．第１の実施形態
２．１ システム構成例
図１は、本実施形態に係る内視鏡システム１の構成図である。内視鏡システム１は、内視鏡２と、画像処理装置３と、光源装置４と、表示装置であるモニタ６と、を含む。医者は、内視鏡システム１を用いて、ベッド８上に仰向けで横になっている患者Ｐａの大腸内の内視鏡検査を行うことができる。ただし、内視鏡システム１は図１の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。例えば後述するように、内視鏡システム１は管腔構造検出装置５や磁場発生装置７等を含んでもよい。
２．１ システム構成例
図１は、本実施形態に係る内視鏡システム１の構成図である。内視鏡システム１は、内視鏡２と、画像処理装置３と、光源装置４と、表示装置であるモニタ６と、を含む。医者は、内視鏡システム１を用いて、ベッド８上に仰向けで横になっている患者Ｐａの大腸内の内視鏡検査を行うことができる。ただし、内視鏡システム１は図１の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。例えば後述するように、内視鏡システム１は管腔構造検出装置５や磁場発生装置７等を含んでもよい。
【0021】
また図１においては、画像処理装置３が内視鏡２の近傍に設けられる例を示したがこれには限定されない。例えば、画像処理装置３の一部又は全部の機能は、ネットワークを介して接続可能なサーバシステム等によって構築されてもよい。換言すれば、画像処理装置３はクラウドコンピューティングによって実現されてもよい。ここでのネットワークは、イントラネット等のプライベートネットワークであってもよいし、インターネット等の公衆通信網であってもよい。またネットワークは有線、無線を問わない。
【0022】
図２は、内視鏡２の斜視図である。内視鏡２は、操作部２ａと、可撓性を有する挿入部２ｂと、信号線などを含むユニバーサルケーブル２ｃとを有する。内視鏡２は、管状の挿入部２ｂを体腔内に挿入する管状挿入装置である。ユニバーサルケーブル２ｃの先端にはコネクタが設けられ、内視鏡２は、そのコネクタにより光源装置４と画像処理装置３に着脱可能に接続される。ここでは、内視鏡２は、大腸内へ挿入可能な内視鏡である。さらに、図示しないが、ユニバーサルケーブル２ｃ内には、ライトガイド２２が挿通されており、内視鏡２は、光源装置４からの照明光を、ライトガイド２２を通して挿入部２ｂの先端から出射する。
【0023】
図２に示すように、挿入部２ｂは、挿入部２ｂの先端から基端に向かって、先端部１１と、湾曲可能な湾曲部１２と、可撓管部１３とを有している。挿入部２ｂは、被写体となる患者Ｐａの管腔に挿入される。先端部１１の基端部は湾曲部１２の先端に接続され、湾曲部１２の基端部は可撓管部１３の先端に接続されている。挿入部２ｂの先端部１１は、内視鏡２の先端部であり、硬い先端硬質部である。
【0024】
湾曲部１２は、操作部２ａに設けられた湾曲操作部材１４に対する操作に応じて、所望の方向に湾曲可能である。湾曲操作部材１４は、例えば左右湾曲操作ノブ１４ａ及び上下湾曲操作ノブ１４ｂを含む。湾曲部１２を湾曲させ、先端部１１の位置と向きを変え、被検体内の観察部位を視野内に捉えると、照明光は観察部位に照射される。湾曲部１２は、挿入部２ｂの長手軸方向に沿って連結された複数の湾曲駒を有している。よって、医者は、挿入部２ｂを大腸内に押し込みながら、あるいは大腸内から引き抜きながら、湾曲部１２を様々な方向に湾曲させることによって、患者Ｐａの大腸内を観察できる。
【0025】
左右湾曲操作ノブ１４ａ及び上下湾曲操作ノブ１４ｂは、湾曲部１２を湾曲するために、挿入部２ｂ内に挿通された操作ワイヤを牽引及び弛緩させる。湾曲操作部材１４は、さらに、湾曲した湾曲部１２の位置を固定する固定ノブ１４ｃを有している。なお、操作部２ａには、湾曲操作部材１４の他にも、レリーズボタン、送気送水ボタン等の各種操作ボタンも設けられている。
【0026】
可撓管部１３は、可撓性を有しており、外力に応じて曲がる。可撓管部１３は、操作部２ａから延出されている管状部材である。
【0027】
また、挿入部２ｂの先端部１１には、撮像装置である撮像素子１５が設けられている。光源装置４の照明光により照明された大腸内の観察部位は、撮像素子１５により撮像される。すなわち、撮像素子１５は、挿入部２ｂの先端部１１に設けられ、被検体内を撮像して撮像画像を取得するための撮像部を構成する。撮像素子１５により得られた撮像信号は、ユニバーサルケーブル２ｃ内の信号線を経由して画像処理装置３に供給される。なお撮像素子１５が設けられる位置は挿入部２ｂの先端部１１に限定されない。例えば被写体からの光を導光することによって、先端部１１よりも基端側の位置に撮像素子１５が設けられてもよい。
【0028】
画像処理装置３は、受信した撮像信号に対して所定の画像処理を行い、撮像画像を生成するビデオプロセッサである。生成された撮像画像の映像信号は、画像処理装置３からモニタ６へ出力され、ライブの撮像画像が、モニタ６上に表示される。検査を行う医者は、挿入部２ｂの先端部１１を患者Ｐａの肛門から挿入し、患者Ｐａの大腸内を観察することができる。
【0029】
光源装置４は、通常光観察モード用の通常光を出射可能な光源装置である。なお、内視鏡システム１が通常光観察モードの他に特殊光観察モードも有している場合は、光源装置４は、通常光観察モード用の通常光と、特殊光観察モード用の特殊光とを選択的に出射する。光源装置４は、画像処理装置３に設けられた観察モードを切り換えるための切換スイッチの状態に応じて、通常光と特殊光のいずれかを照明光として出射する。
【0030】
図３は、画像処理装置３を含む内視鏡システム１の各部の構成を示す模式図である。画像処理装置３は、画像処理やシステム全体の制御を行う。画像処理装置３は、画像取得部３１、画像処理部３２、制御部３３、記憶部３４、フォーカス制御部３５を含む。挿入部２ｂは、被写体光取得部２０、撮像素子１５、照明レンズ２１、ライトガイド２２を含む。被写体光取得部２０とは、具体的には１又は複数のレンズを含む対物光学系である。例えば被写体光取得部２０は、アクチュエータ２０ｂによって駆動されるフォーカスレンズ２０ａを含む。
【0031】
ライトガイド２２は、光源装置４からの照明光を、挿入部２ｂの先端まで導光する。照明レンズ２１は、ライトガイド２２によって導光された照明光を被写体に照射する。被写体光取得部２０は、被写体から反射した反射光である被写体光を取得する。被写体光取得部２０は、フォーカスレンズ２０ａを含み、フォーカスレンズ２０ａの位置に応じて合焦物体位置を変更可能であってもよい。アクチュエータ２０ｂは、フォーカス制御部３５からの指示に基づいて、フォーカスレンズ２０ａを駆動する。ここで合焦物体位置とは、レンズ系、像面、物体からなる系が合焦状態にある場合の、物体の位置を表すものである。例えば、像面を撮像素子の面とした場合、合焦物体位置とは、当該撮像素子を用いて上記レンズ系を介した被写体像を撮像した場合に、撮像画像においてピントが理想的に合う被写体の位置を表す。
【0032】
撮像部である撮像素子１５はモノクロセンサであってもよいし、カラーフィルタを備えた素子であってもよい。カラーフィルタは、広く知られたベイヤフィルタであってもよいし、補色フィルタであってもよいし、他のフィルタであってもよい。補色フィルタとは、シアン、マゼンダ及びイエローの各色フィルタを含むフィルタである。
【0033】
本実施形態の画像処理装置３は、下記のハードウェアによって構成される。ハードウェアは、デジタル信号を処理する回路及びアナログ信号を処理する回路の少なくとも一方を含むことができる。例えば、ハードウェアは、回路基板に実装された１又は複数の回路装置や、１又は複数の回路素子によって構成できる。１又は複数の回路装置は例えばＩＣ、ＦＰＧＡ（field-programmable gate array）等である。１又は複数の回路素子は例えば抵抗、キャパシタ等である。
【0034】
また画像処理装置３は、下記のプロセッサによって実現されてもよい。本実施形態の画像処理装置３は、情報を記憶するメモリと、メモリに記憶された情報に基づいて動作するプロセッサと、を含む。情報は、例えばプログラムと各種のデータ等である。プロセッサは、ハードウェアを含む。プロセッサは、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）等、各種のプロセッサを用いることが可能である。メモリは、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）などの半導体メモリであってもよいし、レジスタであってもよいし、ハードディスク装置（ＨＤＤ：Hard Disk Drive）等の磁気記憶装置であってもよいし、光学ディスク装置等の光学式記憶装置であってもよい。例えば、メモリはコンピュータによって読み取り可能な命令を格納しており、当該命令をプロセッサが実行することによって、画像処理装置３の各部の機能が処理として実現される。画像処理装置３の各部とは、具体的には図３に示した制御部３３を含む各部である。ここでの命令は、プログラムを構成する命令セットの命令でもよいし、プロセッサのハードウェア回路に対して動作を指示する命令であってもよい。
【0035】
また、本実施形態の画像処理装置３の各部は、プロセッサ上で動作するプログラムのモジュールとして実現されてもよい。例えば制御部３３は、内視鏡システム１の各部を制御する制御モジュールである。具体的には、制御部３３は、図４～図７等を用いて後述する捻り機構１８や進退機構１７を制御する制御モジュールであってもよい。
【0036】
また、本実施形態の画像処理装置３の各部が行う処理を実現するプログラムは、例えばコンピュータによって読み取り可能な媒体である情報記憶装置に格納できる。情報記憶装置は、例えば光ディスク、メモリーカード、ＨＤＤ、或いは半導体メモリなどによって実現できる。半導体メモリは例えばＲＯＭである。画像処理装置３の制御部３３等は、情報記憶装置に格納されるプログラムに基づいて本実施形態の種々の処理を行う。即ち情報記憶装置は、画像処理装置３の各部としてコンピュータを機能させるためのプログラムを記憶する。コンピュータは、入力装置、処理部、記憶部、出力部を備える装置である。プログラムは、画像処理装置３の各部の処理をコンピュータに実行させるためのプログラムである。
【0037】
画像取得部３１は、撮像部から順次出力される撮像画像を取得し、取得した撮像画像を画像処理部３２、フォーカス制御部３５に順次出力する。画像処理部３２は、撮像画像に対して、ホワイトバランス処理、デモザイク（同時化）処理、ノイズ低減処理、色変換処理、階調変換処理、輪郭強調処理等の各種画像処理を行い、モニタ６に順次出力する。制御部３３は、各種制御信号の入出力を行う。
【0038】
フォーカス制御部３５は、撮像画像に基づいて、フォーカスレンズ２０ａを制御する。フォーカス制御部３５は、例えば公知のコントラストＡＦに基づいてフォーカスレンズ２０ａを制御する。ただし、本実施形態の内視鏡システム１ではＡＦは必須の構成ではなく、フォーカス制御部３５を省略することが可能である。
【0039】
光源装置４は、光源制御部４１、光源４２を含む。光源制御部４１は、制御部３３から順次出力される光源の目標光量に従って、光源４２の光量を制御する。光源４２は、照明光を発光する。光源４２は、キセノン光源であってもよいし、ＬＥＤ（light emitting diode）であってもよいし、レーザー光源であってもよい。また光源４２は他の光源であってもよく、発光方式は限定されない。
【0040】
２．２ 挿入部の詳細な構成例
図４は、挿入部２ｂの構成例を示す模式図である。図４に示すように、挿入部２ｂの長手方向を基準軸ＡＸ１とする。なお、基準軸ＡＸ１は、狭義には可撓管部１３の長手方向である。湾曲部１２が湾曲していない状態において、当該湾曲部１２の長手方向と基準軸ＡＸ１とが略一致する。換言すれば、湾曲操作が行われることによって、湾曲部１２の長手方向は基準軸ＡＸ１とは異なる方向に変化する。
図４は、挿入部２ｂの構成例を示す模式図である。図４に示すように、挿入部２ｂの長手方向を基準軸ＡＸ１とする。なお、基準軸ＡＸ１は、狭義には可撓管部１３の長手方向である。湾曲部１２が湾曲していない状態において、当該湾曲部１２の長手方向と基準軸ＡＸ１とが略一致する。換言すれば、湾曲操作が行われることによって、湾曲部１２の長手方向は基準軸ＡＸ１とは異なる方向に変化する。
【0041】
図４に示すように、進退機構１７は、例えば挿入部２ｂを基準軸ＡＸ１に対応する方向に移動させる進退ローラー１７ａと、進退ローラー１７ａを駆動する駆動部１９を含む。対応する方向とは、同一の方向であってもよいし、略同一の方向であってもよい。略同一の方向とは、基準軸ＡＸ１となす角度が所定閾値以下の方向である。進退ローラー１７ａは、ＡＸ２を回転軸としてＤ１又はＤ２に示す方向に回転可能である。進退ローラー１７ａは、その一部が挿入部２ｂと接触している。そのため、進退ローラー１７ａがＤ１の方向へ回転することによって、挿入部２ｂが手前方向に移動する。ここでの手前方向とは挿入部２ｂの基端側へ向かう方向であって、挿入時においては肛門側に対応する。また進退ローラー１７ａがＤ２の方向へ回転することによって、挿入部２ｂが奥方向に移動する。ここでの奥方向とは挿入部２ｂを先端側へ押し込む方向であり、挿入時においては盲腸側に対応する。
【0042】
また捻り機構１８は、例えば挿入部２ｂを基準軸ＡＸ１を回転軸として回転させる回転ローラー１８ａと、回転ローラーを駆動する駆動部１９を含む。なお、進退ローラー１７ａを駆動する駆動部と、回転ローラー１８ａを駆動する駆動部は別々に設けられてもよい。回転ローラー１８ａは、ＡＸ３を回転軸としてＤ３又はＤ４に示す方向に回転可能である。回転ローラー１８ａは、その一部が挿入部２ｂと接触している。そのため、回転ローラー１８ａが回転することによって、挿入部２ｂは回転ローラー１８ａとは逆方向に回転する。
【0043】
また図４に示すように、湾曲部１２は、基準軸ＡＸ１に対して湾曲可能である。具体的には、湾曲部１２は、上下湾曲操作ノブ１４ｂと左右湾曲操作ノブ１４ａの少なくとも一方に対する操作によって、基準軸ＡＸ１に対する湾曲角度を調整可能である。図４に示すθが湾曲角度を表す。
【0044】
図５は、湾曲部１２を基準軸ＡＸ１に対して湾曲させた状態において、回転ローラー１８ａを回転させた場合の先端部１１の動きを説明する図である。図５のＦ１及びＦ２は湾曲部１２が湾曲された状態における挿入部２ｂを表す。また図５のＦ３及びＦ４は、それぞれ挿入部２ｂがＦ１、Ｆ２の状態における撮像部の視野を表す。
【0045】
図５に示すＦ２は、Ｆ１の状態を基準として、回転ローラー１８ａによって挿入部２ｂを基準軸ＡＸ１周りにφ１だけ回転させた状態に対応する。回転ローラー１８ａによる挿入部２ｂの回転に伴って、撮像部の視野も基準軸ＡＸ１周りにφ１だけ回転する。
【0046】
例えば、湾曲部１２を基準軸ＡＸ１に対して任意の湾曲角度θだけ湾曲させた状態において、回転ローラー１８ａを３６０°回転させることによって、管腔の周方向を網羅的に撮像することが可能になる。また進退ローラー１７ａを駆動することによって、撮像部の視野を管腔の長手方向に移動させることが可能である。即ち、捻り機構１８と進退機構１７の制御に基づいて、管腔内壁を走査するような視野の制御が可能になる。具体的な走査については図９（Ａ）～図１１を用いて後述する。
【0047】
図６は、挿入部２ｂの他の構成を示す模式図である。図４においては、回転ローラー１８ａを用いて挿入部２ｂ全体を基準軸ＡＸ１周りに回転させる構成を示した。これに対して図６に示す構成においては、捻り機構１８は回転機構１８ｂを有し、当該回転機構１８ｂは、挿入部２ｂのうち、先端部１１に近い一部のみを基準軸ＡＸ１周りに回転させる。図６に示す例においては、挿入部２ｂのうち、先端部１１及び湾曲部１２は回転機構１８ｂによって基準軸ＡＸ１周りに回転可能であり、可撓管部１３は基準軸ＡＸ１周りに回転しない。ただし、挿入部２ｂのうち、いずれの部分までを回転可能とするかは種々の変形実施が可能である。
【0048】
図４～図６に示したように、捻り機構１８は、例えば湾曲部１２を基準軸ＡＸ１に対して湾曲させた状態において、挿入部２ｂの少なくとも一部を基準軸ＡＸ１周りに回転させる機構であり、挿入部２ｂは全体が回転してもよいし、先端側の一部が回転してもよい。
【0049】
また捻り機構１８は、撮像部の視野を回転可能であればよく、挿入部２ｂを基準軸ＡＸ１周りに回転させるものに限定されない。上述したように、湾曲部１２は上下湾曲操作ノブ１４ｂと左右湾曲操作ノブ１４ａを有し、基準軸ＡＸ１に対する湾曲角度θに加えて、湾曲方向を上下左右の４方向に調整可能である。例えば、上方向への湾曲を基準位置とした場合、右方向又は左方向の湾曲は、基準軸ＡＸ１周りの±９０度の回転に対応する。また下方向は、基準軸ＡＸ１周りの±１８０度の回転に対応する。また、上下方向の湾曲度合いと左右方向の湾曲度合いを調整することによって、０°と±９０°の間、±９０°と±１８０°の間の回転も実現できる。
【0050】
即ち、捻り機構１８は湾曲部１２を駆動する機構であって、当該捻り機構１８は、湾曲部１２の形状を変化させることによって、被写体光取得部２０を基準軸ＡＸ１周りに回転させてもよい。例えば、捻り機構１８は、左右湾曲操作ノブ１４ａ及び上下湾曲操作ノブ１４ｂを回転させるための不図示のモーター等を含む。制御部３３は、当該モーターを制御することによって、左右湾曲操作ノブ１４ａ及び上下湾曲操作ノブ１４ｂを自動操作する。
【0051】
図７は、湾曲部１２の他の構成を示す模式図である。図７に示すように、湾曲部１２は、個別の制御が可能な２以上の湾曲部を含んでもよい。図７の例においては、湾曲部１２は第１湾曲部１２ａ、第２湾曲部１２ｂ及び第３湾曲部１２ｃを含む。第１湾曲部１２ａ～第３湾曲部１２ｃは、例えばそれぞれが上下方向及び左右方向の操作が可能である。このように、湾曲部１２を複数の湾曲部に区分することによって、管腔に対する被写体光取得部２０の位置姿勢を高精度に制御することが可能になる。例えば捻り機構１８が回転ローラー１８ａや回転機構１８ｂを有さない場合、湾曲部１２を複数の湾曲部に区分することによって、回転量のギャップ量を細かく制御すること等が容易になる。
【0052】
【0053】
【0054】
図８（Ａ）、図８（Ｂ）に示す構成において、挿入部２ｂは、図４又は図６と同様の捻り機構１８によって、その一部又は全部が回転可能である。挿入部２ｂの回転によって、側面に設けられる被写体光取得部２０が、基準軸ＡＸ１周りに回転するため、撮像部の視野が基準軸ＡＸ１周りに回転する。即ち、捻り機構１８は湾曲部１２を湾曲させない構成によって実現が可能である。
【0055】
また図８（Ｃ）に示すように、挿入部２ｂが回転しない構成であってもよい。図８（Ｃ）では、挿入部２ｂは透明部１８ｃを有し、当該透明部１８ｃの内部において、被写体光取得部２０が、挿入部２ｂの軸周りに回転可能であってもよい。このように、挿入部２ｂの内部で、被写体光取得部２０を回転させることでも、撮像部の視野を基準軸ＡＸ１周りに回転させることが可能である。
【0056】
また図８（Ｄ）に示すように、被写体光取得部２０は、被写体光の受光方向を変更可能な構成であってもよい。例えば捻り機構１８は、被写体光取得部２０である対物光学系を駆動する不図示の駆動部を含んでもよい。制御部３３は、対物光学系を駆動することによって、撮像部の視野を変化させる。例えば被写体光の受光方向を上下方向及び左右方向に変更可能である場合、受光方向を順次変化させることによって、撮像部の視野を基準軸ＡＸ１周りに回転させることが可能である。或いは、被写体光の取得方向を基準軸ＡＸ１に対して所定方向に、所定角度だけ傾けた状態で固定し、当該状態において挿入部２ｂの一部又は全部を基準軸ＡＸ１周りに回転させることによって、撮像部の視野を基準軸ＡＸ１周りに回転させてもよい。
【0057】
なお、図８（Ａ）～図８（Ｄ）に示す構成を用いる場合、撮像部の光軸は挿入部２ｂの挿抜方向、即ち基準軸ＡＸ１に沿った方向とは異なる方向の軸となる。そのため、撮像画像は管腔内壁の診断等には適した画像となるが、挿抜には適さない画像となる。例えば、側面方向を撮像した撮像画像が表示されたとしても、医師が当該撮像画像に基づいて奥方向への挿入を行うことは容易でない。
【0058】
よって内視鏡２は、側面観察用の構成と正面観察用の構成を含んでもよい。例えば内視鏡２は、側面観察用の被写体光取得部２０と撮像部とは別に、正面観察用の第２被写体光取得部と第２撮像部を含む。このようにすれば、挿抜用の観察と診断用の観察を適切に行うことが可能である。
【0059】
或いは、内視鏡２は、側面観察用の被写体光取得部２０と、正面観察用の第２被写体光取得部を含み、撮像部を共通としてもよい。この場合、撮像部は、側面観察用の被写体光取得部２０からの被写体光と、正面観察用の第２被写体光取得部からの被写体光のいずれか一方を選択的に受光可能である。例えば、被写体からの反射光が被写体光取得部２０又は第２被写体光取得部を経由して撮像部に入射するまでの光路上に、挿抜可能に設けられる遮光部材を制御することによって、被写体光の選択が行われる。このようにすれば、１つの撮像部を、挿抜用の観察と診断用の観察とで切り替えて使用することが可能になる。また図８（Ｄ）に示す構成を用いる場合、被写体光の受光方向が、挿抜用の正面方向と、観察用の側面方向とで切り替えられてもよい。
【0060】
２．３ 走査の例
次に走査の例、即ち、捻り機構１８と進退機構１７に基づく視野の具体的な制御例について説明する。なお、上述したように挿入部２ｂの構成については種々の変形実施が可能であり、いずれの構成においても、撮像部の視野を管腔の長手方向に沿って移動させること、及び撮像部の視野を管腔の周方向に回転させることが可能である。よって以下では、挿入部２ｂの具体的な構成については省略し、撮像部の視野に着目して説明を行う。また、以下では説明を簡略化するため、管腔が円筒であるものとして説明を行う。
次に走査の例、即ち、捻り機構１８と進退機構１７に基づく視野の具体的な制御例について説明する。なお、上述したように挿入部２ｂの構成については種々の変形実施が可能であり、いずれの構成においても、撮像部の視野を管腔の長手方向に沿って移動させること、及び撮像部の視野を管腔の周方向に回転させることが可能である。よって以下では、挿入部２ｂの具体的な構成については省略し、撮像部の視野に着目して説明を行う。また、以下では説明を簡略化するため、管腔が円筒であるものとして説明を行う。
【0061】
図９（Ａ）は、らせん状の走査を行う場合の視野の移動を説明する図である。例えば腸管表面のうち、撮像部の視野に含まれる範囲を撮像範囲とした場合に、図９（Ａ）は当該撮像範囲の基準点の時系列変化を説明する図である。撮像範囲の基準点とは、例えば撮像範囲の中心であって、撮像部の光軸と、腸管表面との交点に対応する。図９（Ｂ）は、撮像範囲の基準点がＣ１に位置する場合の撮像範囲と、Ｃ２に位置する場合の撮像範囲の位置関係を説明する図である。図９（Ｂ）のＣ３がＣ１に対応する撮像範囲を表し、Ｃ４がＣ２に対応する撮像範囲を表す。
【0062】
撮像素子１５は、撮像範囲に対応する被写体からの反射光を被写体光取得部２０を介して取得することによって、当該撮像範囲に対応する撮像画像を生成する。以下では、撮像画像における縦方向が基準軸ＡＸ１に沿った方向であり、横方向が基準軸ＡＸ１周りの回転方向である例について説明する。ただし、撮像画像の縦横方向と基準軸ＡＸ１の方向との関係は任意である。また、説明の便宜上、撮像範囲が矩形である例について説明するが、実際の撮像範囲の形状は撮像角度や腸管の表面形状に応じて変化する。
【0063】
図９（Ａ）に示す例では、制御部３３は、捻り機構１８を制御することによって、撮像部の視野を基準軸ＡＸ１周りに回転させるとともに、進退機構１７を制御することによって、撮像部の視野を基準軸ＡＸ１に沿った方向に移動させる。なお、ここでは基準軸ＡＸ１周りの回転速度、及び基準軸ＡＸ１に沿った方向の移動速度が一定である例を説明するが、速度は可変であってもよい。
【0064】
この際、制御部３３は、所与のフレームにおける撮像部の視野と、次のフレームにおける撮像部の視野が、管腔の周方向において重なりを有するように、捻り機構１８を制御する。例えば、撮像部の撮像間隔をｔ（秒）とし、単位時間当たりの回転角度をｖθ（度／秒）とし、撮像部の水平画角をθ１（度）とした場合に、制御部３３は下式（１）が満たされるようにｖθを設定する。このようにすれば、時系列的に連続する２枚の撮像画像は重複する領域を有する。即ち、管腔の周方向において、撮像されない領域が発生することを抑制できる。
ｔ×ｖθ≦θ１…（１）
ｔ×ｖθ≦θ１…（１）
【0065】
また制御部３３は、捻り機構１８に基づく視野の回転速度に応じて、進退機構１７に基づく視野の移動速度を設定する。例えば、所与のフレームにおける撮像画像と、そこから視野が基準軸ＡＸ１周りに１回転したあとの撮像画像とが、基準軸ＡＸ１に沿った方向において重なりを有するように、進退機構１７を制御する。図９（Ｂ）の例であれば、制御部３３は、Ｃ３に示す撮像範囲の下側の領域と、１回転した後の撮像範囲であるＣ４の上側の領域を重複させる。例えば、捻り機構１８による撮像部の視野の回転周期をＴ（秒）とし、進退機構１７による撮像部の視野の移動速度をｖｚ（ｃｍ／秒）とし、撮像範囲の縦方向の長さをＨ（ｃｍ）とした場合に、制御部３３は下式（２）が満たされるようにｖｚを設定する。ここでＴ＝３６０／ｖθである。またＨは、撮像部の垂直画角θ２と、撮像部から被写体までの距離Ｌによって決定される。なお図９（Ａ）に示すように管腔を円柱と仮定し、基準軸ＡＸ１が円柱の中心を通過する軸と一致する場合、距離Ｌは円柱の半径ｒに基づいて求められる。図８（Ａ）～図８（Ｄ）のように湾曲部１２を湾曲させない構成の場合、距離Ｌは半径ｒによって近似可能である。また湾曲部１２を用いる場合、当該湾曲部１２の長さや湾曲量等の既知の情報に基づいて、距離Ｌを推定できる。このようにすれば、管腔の長手方向においても、撮像されない隙間となる領域が発生することを抑制できる。
Ｔ×ｖｚ≦Ｈ…（２）
Ｔ×ｖｚ≦Ｈ…（２）
【0066】
例えば画像処理装置３の記憶部３４は、制御パラメータとして上式（１）を満たすｖθ、及び上式（２）を満たすｖｚを記憶しておく。制御部３３は、記憶部３４から読み出したｖθ及びｖｚに基づいて、捻り機構１８及び進退機構１７を制御する。これにより、撮像部の視野によって管腔の内壁の走査を行うような、捻り機構１８と進退機構１７の制御が実現される。
【0067】
図１０は、撮像部の視野の移動を説明する他の図である。図１０に示すように、制御部３３は、撮像部の視野を基準軸ＡＸ１周りに回転させる捻り機構１８の制御と、撮像部の視野を基準軸ＡＸ１に沿った方向に移動させる進退機構１７の制御とを交互に実行してもよい。図１０の例であれば、制御部３３は、まず捻り機構１８を制御することによって視野を基準軸ＡＸ１周りに１回転させ（Ｄ１）、その後、進退機構１７を制御することによって視野を基準軸ＡＸ１に沿った方向に移動させる（Ｄ２）。これ以降も同様であり、視野の基準軸ＡＸ１周りの回転と、基準軸ＡＸ１方向の移動が交互に繰り返される。
【0068】
制御部３３は、図９の例と同様に、例えば上式（１）を満たすｖθに基づいて捻り機構１８を制御する。ただし、進退機構１７については捻り機構１８と排他的に制御されるため、制御に関する制約が小さい。具体的には、進退機構１７による視野の移動速度は任意であり、制御部３３は、１回の移動による移動量を制御すればよい。例えば制御部３３は、Ｄ２に示す１回の移動による移動量が撮像範囲の縦方向の長さであるＨ以下となるように、進退機構１７を制御する。このようにすれば、管腔の長手方向において、撮像されない領域が発生することを抑制できる。
【0069】
また図９（Ａ）、図１０においては、撮像部の視野が同じ方向に連続的に回転可能である場合の走査を説明した。しかし、捻り機構１８の構成によっては、同じ方向への回転数が制限される場合も考えられる。例えば、図６に示すように挿入部２ｂの先端側に回転機構１８ｂが設けられる場合、当該回転機構１８ｂを含む部分が洗浄等の対象となるため、多回転を実現するには洗浄に耐えられるメカニカルシールが必要となる。これに対して、同一方向での回転数を制限することによって、シールの実現が容易になる。よって制御部３３は、同じ方向への連続的な回転を含まない制御を行ってもよい。
【0070】
図１１は撮像部の視野の移動を説明する他の図である。図１０に示す例と同様に、制御部３３は、撮像部の視野を基準軸ＡＸ１周りに回転させる捻り機構１８の制御と、撮像部の視野を基準軸ＡＸ１に沿った方向に移動させる進退機構１７の制御とを交互に実行する。ただし、制御部３３は、撮像部の視野の所定方向への回転と、逆方向への回転とを交互に行うように捻り機構１８を制御する。
【0071】
図１１の例であれば、制御部３３は、撮像部の視野を所定方向へ１回転させた後（Ｅ１）、基準軸ＡＸ１に沿った方向に所定量だけ移動させ（Ｅ２）、撮像部の視野をＥ１とは逆方向に１回転させる制御を行う（Ｅ３）。これ以降も同様であり、１回転ごとに回転方向が切り替えられる。またここでは所定方向への連続する回転数が１回転の例を示したが、回転数は２回転以上であってもよい。
【0072】
この場合も制御部３３は、管腔の周方向と長手方向の両方において、撮像されない領域が発生することを抑制するように、捻り機構１８及び進退機構１７を制御する。例えば制御部３３は、例えば上式（１）を満たすｖθに基づいて捻り機構１８を制御し、且つ、Ｅ２に示す１回の移動量が撮像範囲の縦方向の長さであるＨ以下となるように進退機構１７を制御する。
【0073】
以上のように、本実施形態に係る内視鏡システム１は、管腔に挿入される挿入部２ｂと、被写体光取得部２０と、撮像部と、捻り機構１８と、進退機構１７と、制御部３３を含む。被写体光取得部２０は、挿入部２ｂに設けられ、被写体からの光である被写体光を取得する。撮像部は、被写体光に基づいて撮像することによって、視野内の撮像画像を取得する。捻り機構１８は、被写体光取得部２０を回転させる。例えば捻り機構１８は、挿入部２ｂの軸を基準軸ＡＸ１とした場合に、基準軸ＡＸ１を回転軸として被写体光取得部２０を回転させる。進退機構１７は、挿入部２ｂを挿入方向又は抜去方向へ移動させる。挿入方向とは、管腔の奥方向であって、管腔が腸管である場合、肛門から盲腸近傍へ向かう方向である。抜去方向とは、挿入方向とは反対の方向である。例えば進退機構１７は、挿入部２ｂを基準軸ＡＸ１に対応する方向に移動させる。制御部３３は、捻り機構１８と進退機構１７とを制御することによって、撮像部の視野の動きを制御する。そして制御部３３は、視野によって管腔の内壁の走査を行うように捻り機構１８と進退機構１７とを制御する。
【0074】
ここで、基準軸ＡＸ１に対応する方向とは、基準軸ＡＸ１と同一又は略同一の方向であって、当該方向と基準軸ＡＸ１とのなす角度が所与の角度閾値以下である方向を表す。
【0075】
本実施形態の手法によれば、捻り機構１８と進退機構１７とを有することによって挿入部２ｂの自動制御が可能な内視鏡システム１において、管腔内壁を走査するように撮像を行うことが可能になる。内視鏡システム１を用いた観察において撮像されない部分の発生が抑制されるため、注目領域の見逃し抑制が可能である。
【0076】
また制御部３３は、進退機構１７を用いた基準軸ＡＸ１に沿った方向における挿入部２ｂの移動と、捻り機構１８を用いた管腔の周方向における被写体光取得部２０の周期的な回転と、を組み合わせることによって、走査を行う。
【0077】
ここでの周期的な回転とは、図９（Ａ）のように同じ方向の回転の連続的な繰り返しであってもよい。また周期的な回転は、回転の間欠的な繰り返しであってもよい。間欠的な繰り返しとは、例えば図１０のように所与の方向に所与の回転量の回転が行われた後、基準軸ＡＸ１に沿った方向の移動が行われる期間を挟んでから、再度、同方向、同回転量の回転が行われることを表す。また周期的な回転は、図１１のように所与の方向への回転と逆方向への回転の両方を含むものであってもよい。
【0078】
このようにすれば、周期的な制御を行うことによって、撮像されない部分の発生を抑制することが可能になる。即ち、１周期分の制御を実現できれば、それ以降は同様の制御を繰り返せばよいため、制御に必要な情報の量を削減でき、制御の自動化も容易である。制御に必要な情報とは、例えば上述したｖθやｖｚ等の制御パラメータや、当該制御パラメータに従った進退機構１７及び捻り機構１８の制御を制御部３３に実行させるための制御プログラムを含む。
【0079】
また所与のタイミングにおいて、撮像部によって撮像された撮像画像を第１撮像画像とする。第１撮像画像の撮像後に、被写体光取得部２０を基準軸ＡＸ１周りに略１回転させる制御と、進退機構１７によって挿入部２ｂを基準軸ＡＸ１に沿った方向に移動させる制御とを組み合わせた制御が制御部３３によって行われ、当該制御後に、撮像部によって撮像された撮像画像を第２撮像画像とする。この場合、制御部３３は、第１撮像画像を撮像した際の視野と、第２撮像画像を撮像した際の視野とが重複部分を有するように、捻り機構１８と進退機構１７とを制御する。換言すれば、制御部３３は、第１撮像画像と第２撮像画像が重複部分を有するように、捻り機構１８と進退機構１７とを制御する。
【0080】
管腔内面の全体をもれなく撮像することを考えた場合、撮像画像同士が重複することが重要である。例えば上式（１）に示したように、所与のフレームでの撮像画像と、次のフレームでの撮像画像とが重複するように、捻り機構１８による回転速度を制御する必要がある。ただし撮像部の視野を回転させながら管腔内壁を観察する場合、所与の１回転と、次の１回転との間の重複も考慮する必要がある。具体的には、上式（２）に示したように、進退機構１７による移動速度又は移動量を制御する必要がある。
【0081】
第１撮像画像は例えばＣ３に示す撮像範囲を撮像した画像であり、第２撮像画像は例えばＣ４に示す撮像範囲を撮像した画像である。第１撮像画像と第２撮像画像が重複領域を有することによって、管腔の長手方向において、所与の撮像画像に撮像された撮像範囲と、異なる撮像画像に撮像された撮像範囲との間に隙間が生じることが抑制される。
【0082】
なお、撮像のフレームレート及び捻り機構１８による回転速度の設定によっては、第１撮像画像と第２撮像画像が必ずしも同じ方向からの被写体光を撮像したものになるとは限らない。即ち上記の略１回転における回転角度は、３６０°であってもよいがこれに限定されず、３６０°との差が所与の閾値以下となる他の角度であってもよい。
【0083】
また図１１の例を考慮すれば、第２撮像画像は、第１撮像画像を基準として視野が略１回転した状態で撮像された画像に限定されない。例えば、基準軸ＡＸ１周りの回転角度がφＡである方向からの被写体光を撮像部が撮像した撮像画像を第１撮像画像とする。そして、第１撮像画像の撮像後に、制御部３３によって、被写体光取得部２０を基準軸ＡＸ１周りに回転させる制御と、進退機構１７によって挿入部２ｂを基準軸ＡＸ１に沿った方向に移動させる制御とを組み合わせた制御が行われ、制御部３３の当該制御後に、基準軸ＡＸ１周りの回転角度がφＢである方向からの被写体光を撮像部が撮像した撮像画像を第２撮像画像としてもよい。φＢは、φＡとの差分が所定閾値以下となる角度を表す。即ち、第１撮像画像を撮像してから第２撮像画像を撮像するまでの撮像部の視野の具体的な動きは任意である。例えば、撮像部の視野が所与の方向に１回転してもよいし、途中で回転方向が切り替わってもよい。その場合であっても、基準軸ＡＸ１に垂直な方向のうちの所与の方向を撮像した第１撮像画像と、第１撮像画像の次に略同一の方向を撮像した第２撮像画像とが重複するような制御を行うことによって、管腔の長手方向において撮像されない部分が生じることが抑制される。
【0084】
また制御部３３は、図９（Ａ）に示すように、捻り機構１８による回転と進退機構１７による移動を行うことによって、被写体光取得部２０をらせん状に移動させる制御を行ってもよい。狭義には、捻り機構１８による回転と進退機構１７による移動は同時に行われる。また制御部３３は、図１０、図１１に示すように、捻り機構１８による回転と進退機構１７による移動を交互に行う制御を行ってもよい。
【0085】
捻り機構１８による回転と進退機構１７による移動を同時に行った場合、管腔の観察を高速化することが可能になる。そのため、医師や患者の負担軽減が可能になる。捻り機構１８による回転と進退機構１７による移動を交互に行った場合、撮像部の視野を重複させる制御が容易になる。そのため、撮像されない領域の発生をより抑制可能である。
【0086】
また捻り機構１８は、挿入部２ｂの先端を基準軸ＡＸ１周りに回転可能な機構を有してもよい。ここでの機構は、具体的には図６に示す回転機構１８ｂに対応する。
【0087】
このようにすれば、挿入部２ｂの全体を回転させる必要がないため、挿入部２ｂの回転に伴って操作部２ａが動くことがなく、観察が容易となる。一方、図４に示すように挿入部２ｂ全体を回転させる場合、回転機構のシールを考慮する必要がないという利点がある。
【0088】
また本実施形態においては、挿入部２ｂが管腔の奥方向へ挿入された後、手前方向へ抜き出すことによって管腔の観察が行われてもよい。奥方向への挿入とは、通常、肛門から盲腸、または、盲腸までの挿入可能な最深部までの挿入である。そして制御部３３は、少なくとも挿入部２ｂを手前方向へ抜き出す際に、捻り機構１８と進退機構１７とを制御する。
【0089】
大腸等の管腔構造では、挿入部２ｂの挿入の際には、種々の屈曲部を超える必要がある。挿入中は、挿入を容易にするために管腔を脱気した上で、先端部１１を管腔の壁面に押し当てる等の手法が用いられるため、管腔構造の観察が難しい。そのため、最奥部への挿入後に、管腔に送気を行った状態で管腔内壁の観察が行われる。
【0090】
本実施形態の手法は、管腔構造の見逃しを抑制するための挿入部２ｂの制御に関するものであり、当該制御は抜き出し時に好適な制御である。
【0091】
ただし、制御部３３は、挿入部２ｂを管腔の奥方向へ挿入する際に、捻り機構１８と進退機構１７とを制御することは妨げられない。上述したように、挿入には屈曲部を超える等の操作が必要であり、軸保持短縮法等の種々の手法が知られている。制御部３３が捻り機構１８及び進退機構１７を制御することによって、挿入部２ｂの挿入を適切にサポートすることが可能になる。例えば、医師の熟練度によらず適切な挿入を実行できるため、患者負担の軽減が可能である。
【0092】
また本実施形態の手法は、以下の管腔操作方法に適用できる。管腔操作方法は、内視鏡システム１の挿入部２ｂを管腔に挿入することと、撮像部の視野によって管腔の内壁の走査を行うように、被写体光取得部２０を回転させる捻り動作と、挿入部２ｂの挿入方向又は抜去方向に撮像部を移動させる進退動作とを行うことと、を含む。例えば捻り動作は、基準軸ＡＸ１を回転軸として被写体光取得部２０を回転させる動作である。また進退動作は、基準軸ＡＸ１に沿った方向に挿入部２ｂを移動させる動作である。ここでの内視鏡システム１は、上述したように、挿入部２ｂと、当該挿入部２ｂに設けられ被写体からの戻り光である被写体光を取得する被写体光取得部２０と、被写体光に基づいて撮像することによって視野内の撮像画像を取得する撮像部と、を有する。
【0093】
また管腔操作方法は、進退動作と、管腔の周方向において被写体光取得部２０を周期的に回転させる捻り動作と、を組み合わせることによって、走査を行ってもよい。
【0094】
２．４ 走査時の具体的な制御
以上で説明した捻り機構１８及び進退機構１７の制御を行うことによって、管腔構造の内面を網羅的に撮像することが可能になる。ただし、管腔が変形しやすい場合、管腔の状態によっては上記の制御を行ったとしても適切に撮像を行うことが難しい。例えば管腔が腸管である場合、腸管は伸縮するため、腸管内の気圧に応じて襞の状態等が変化する。送気が十分でない場合、図１４を用いて後述する隠れ部分が発生しやすくなるため、見逃しも発生しやすくなる。
以上で説明した捻り機構１８及び進退機構１７の制御を行うことによって、管腔構造の内面を網羅的に撮像することが可能になる。ただし、管腔が変形しやすい場合、管腔の状態によっては上記の制御を行ったとしても適切に撮像を行うことが難しい。例えば管腔が腸管である場合、腸管は伸縮するため、腸管内の気圧に応じて襞の状態等が変化する。送気が十分でない場合、図１４を用いて後述する隠れ部分が発生しやすくなるため、見逃しも発生しやすくなる。
【0095】
よって制御部３３は、捻り機構１８と進退機構１７とを制御することによって管腔の内壁の走査を行う際に、管腔の状態を保つ制御を行う。このようにすれば、挿入部２ｂの先端部１１、狭義には被写体光取得部２０が管腔壁面に接触したり、管腔の一部によって他の部分が遮蔽されること等を抑制可能である。即ち、撮像画像に十分に撮像されない隠れ部分の発生を抑制すること等が可能になる。
【0096】
より具体的には、制御部３３は、管腔に対して気体を注入する送気及び管腔から気体を排出する脱気を行う制御を、管腔の状態を保つ制御として実行する。このようにすれば、管腔内の気圧を維持することが可能になるため、観察に適した状態を適切に維持できる。なお上述したように、腸管の観察においては送気を行うことによって腸管を膨らませる制御が重要である。ただし、送気が過剰に行われた場合、患者の負担が増大してしまう。送気と脱気の両方を行うことによって、適切な状態の維持が可能である。
【0097】
また制御部３３は、被検体の体位を調整する制御を、管腔の状態を保つ制御として実行してもよい。腸管等の生体内の部位を観察対象とする場合、被験体の体位によって腸管の状態が変化する。ここでの体位とは、例えば右側臥位、左側臥位、仰臥位等を含む。体位を制御することによって、腸管の観察を容易にすることが可能になる。
【0098】
なお、ここでの「管腔の状態を保つ」とは、管腔が観察に適した状態を維持することを表す。即ち、観察に適した体位が一定である場合、管腔の状態を保つ制御とは、体位を一定に保つための制御に相当する。ただし腸管の部位ごとに好ましい体位が異なる場合、部位に応じた体位をとらせることによって、管腔の状態を観察に適した状態に保つことが可能になる。この場合、管腔の状態を保つ制御とは、部位に応じて体位変更を行わせる制御に相当する。
【0099】
なお被検体の体位を調整する制御とは、体位変更を指示する情報を提示する制御であってもよい。或いは、被検体の体位を調整する制御とは、被験体が寝ているベッド８を制御するものであってもよい。例えばベッド８は傾きを変更するための駆動部を含み、制御部３３は当該駆動部に対して駆動を指示する信号を出力することによって被検体の体位を調整してもよい。
【0100】
なお、送気及び脱気を行う制御と、被検体の体位を調整する制御は、その両方が行われてもよいし、いずれか一方が行われてもよい。
【0101】
２．５ 再走査
また本実施形態では、撮像結果に基づいて走査に対するフィードバックが行われてもよい。具体的には、制御部３３は、管腔のうちの走査が行われた部分において、撮像部の視野に入っていない部分が存在すると判定された場合に、再走査を行ってもよい。ここで視野に入っていないとは、具体的には走査の開始から処理対象タイミングまでの期間において、１度も撮像部の視野に入っていないことを表す。
また本実施形態では、撮像結果に基づいて走査に対するフィードバックが行われてもよい。具体的には、制御部３３は、管腔のうちの走査が行われた部分において、撮像部の視野に入っていない部分が存在すると判定された場合に、再走査を行ってもよい。ここで視野に入っていないとは、具体的には走査の開始から処理対象タイミングまでの期間において、１度も撮像部の視野に入っていないことを表す。
【0102】
例えば制御部３３は、図９（Ｂ）のＣ３及びＣ４に示した２つの撮像範囲が重複しない場合に、撮像部の視野に入っていない部分が存在すると判定する。より具体的には、制御部３３は、第１撮像画像と第２撮像画像との比較処理を行い、重複する部分があるか否かを判定する。例えば制御部３３は、第１撮像画像の一部をテンプレート画像とするテンプレートマッチングを行う。或いは、第３の実施形態において後述するように管腔構造情報が取得可能であれば、制御部３３は、管腔構造情報に欠落がある場合に、撮像部の視野に入っていない部分が存在すると判定してもよい。
【0103】
再走査は、例えば挿入部２ｂを所定量だけ奥方向に再挿入した後、それまでと同様の走査条件を用いて行われてもよい。ここでの走査条件は、捻り機構１８の制御条件及び進退機構１７の制御条件を少なくとも含む。例えば走査条件は、捻り機構１８による回転速度や、進退機構１７による移動速度又は移動量を含む。或いは第２の実施形態において後述するように、再走査においては、走査条件が変更されてもよい。例えば制御部３３は、進退機構１７による基準軸ＡＸ１に沿った方向での先端部１１の移動速度、又は移動量を抑制する。
【0104】
３．第２の実施形態
図１２は、本実施形態の画像処理装置３の構成例を示す図である。図１２に示すように、画像処理装置３は、図３を用いて上述した構成に加えて、分析部３６と、分析可否判定部３７を含んでもよい。ただし画像処理装置３は図１２の構成に限定されず、分析部３６と分析可否判定部３７のいずれか一方を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。以下、各部について詳細に説明する。また、分析部３６と分析可否判定部３７の少なくとも一方は、画像処理装置３とは異なる装置に設けられてもよい。
図１２は、本実施形態の画像処理装置３の構成例を示す図である。図１２に示すように、画像処理装置３は、図３を用いて上述した構成に加えて、分析部３６と、分析可否判定部３７を含んでもよい。ただし画像処理装置３は図１２の構成に限定されず、分析部３６と分析可否判定部３７のいずれか一方を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。以下、各部について詳細に説明する。また、分析部３６と分析可否判定部３７の少なくとも一方は、画像処理装置３とは異なる装置に設けられてもよい。
【0105】
３．１ 分析部
分析部３６は、撮像画像に基づいて分析を行う。例えば注目領域が病変である場合、分析とは、撮像画像から病変を検出する検出処理であってもよいし、当該病変を悪性度に応じて分類する分類処理であってもよい。分析部３６を含むことによって、挿入部２ｂの走査だけでなく、注目領域に関する分析についてもユーザをサポートすることが可能になる。
分析部３６は、撮像画像に基づいて分析を行う。例えば注目領域が病変である場合、分析とは、撮像画像から病変を検出する検出処理であってもよいし、当該病変を悪性度に応じて分類する分類処理であってもよい。分析部３６を含むことによって、挿入部２ｂの走査だけでなく、注目領域に関する分析についてもユーザをサポートすることが可能になる。
【0106】
分析部３６は、撮像画像に対する画像処理を行うことによって検出処理又は分類処理を行う。ここでの画像処理は、例えば画像に基づいて特徴量を求め、当該特徴量が所定の条件を満たすか否かを判定する処理である。特徴量は、画像の輝度であってもよいし、明度、色相、彩度であってもよいし、エッジ抽出処理の結果であってもよいし、所与のテンプレート画像を用いたマッチング処理の結果であってもよい。テンプレート画像とは、例えば注目領域が撮像された画像である。条件を満たすか否かの判定とは、例えば特徴量の値と所与の閾値との比較処理である。
【0107】
或いは、分析部３６は、学習済モデルを用いて分析を行ってもよい。例えば、学習装置は、学習用画像に対して正解データが付与された学習用データに基づいて学習済モデルを生成する処理を行う。学習用画像とは、管腔の内部を撮像した画像であり、狭義には腸管を撮像した生体内画像である。正解データとは、学習画像に含まれる注目領域を特定する情報である。ここでの正解データは、注目領域を内包する検出枠の位置と、当該検出枠に含まれる被写体の種類を特定する情報である。被写体の種類とは、例えば「正常粘膜」、「ポリープ」等を含む。或いは正解データは、学習用画像の各画素について、当該画素に撮像された被写体の種類を特定する情報であってもよい。
【0108】
ここでのモデルは、例えば広く知られているニューラルネットワークである。学習装置は、ニューラルネットワークに学習用画像を入力し、その時点での重み付け係数を用いた演算を行うことによって出力を求める。学習装置は、出力と正解データとの誤差を表す誤差関数を求め、当該誤差関数を小さくするように重み付け係数を更新する。重み付け係数の更新には、例えば広く知られた誤差逆伝播法等を適用できる。学習装置は、多数の学習用データを用いて重み付け係数の更新を繰り返すことによって学習済モデルを生成する。
【0109】
画像処理装置３の記憶部３４は学習済モデルを記憶する。ここでの学習済モデルは、重み付け係数を含む。また学習済モデルは、重み付け係数に基づいて順方向の演算を行うための推論プログラムを含んでもよい。分析部３６は、記憶部３４から学習済モデルを取得する。分析部３６は、画像処理部３２から出力される撮像画像を学習済モデルに入力することによって、分析結果を取得する。分析結果は、上述したように検出枠と当該検出枠に含まれる被写体の種類とを特定する情報である。或いは、分析結果は、入力である撮像画像の各画素について、当該画素に撮像された被写体の種類を特定する情報である。また分析結果は、検出枠や被写体の種類の確からしさを表す情報を含んでもよい。
【0110】
制御部３３は、撮像画像に対応する視野のうち、分析部３６による分析が可能な部分によって管腔の内壁の走査を行うように、捻り機構１８と進退機構１７とを制御する。
【0111】
第１の実施形態において上述したように、撮像部の視野によって管腔の内壁を走査することによって、一度も視野に入ることなく見過ごされる部分の発生を抑制可能である。しかし、視野内に入った部分であったとしても、当該部分が分析可能な状態で撮像されていない場合、分析部３６による分析を適切に実行できない。具体的には、上述した検出処理や分類処理の精度が低下することによって、注目領域が検出できなかったり、分類を誤るおそれがある。その点、視野全体ではなく、そのうちの分析可能な部分によって走査を行うことによって、分析を適切に実行できる蓋然性を高めることが可能になる。
【0112】
具体的には、撮像画像のうち分析部３６による分析が可能な領域を分析可能領域とした場合に、制御部３３は、第１撮像画像に対応する分析可能領域と、第２撮像画像に対応する分析可能領域とが重複するように、捻り機構１８と進退機構１７とを制御する。上述したように、第１撮像画像は、例えば図９（Ｂ）のＣ３に示す撮像範囲を撮像した画像であり、第２撮像画像はＣ４に示す撮像範囲を撮像した画像である。このようにすれば、撮像画像に基づいて、視野のうち、分析が可能な部分による適切な走査が行われたか否かを判定できる。
【0113】
例えば、撮像画像のうち、中央領域では明るく分析に適した画像が取得できるのに対して、周縁領域では暗く分析に適していない画像が取得されることが走査前に既知である場合、記憶部３４は、中央領域同士が重複するように設定された回転速度ｖθ及び移動速度ｖｚを記憶しておく。そして制御部３３は、記憶部３４に記憶された情報に基づいて、捻り機構１８及び進退機構１７を制御する。
【0114】
ただし、撮像画像のいずれの領域が分析可能領域であるかは撮像画像が取得されなければわからないケースも考えられる。この場合、分析可否判定部３７の判定結果に基づいて、分析可能領域が決定される。決定後の分析可能領域に基づいて、複数の撮像画像の分析可能領域が重複しないと判定された場合、制御部３３は再走査を行ってもよい。
【0115】
また分析部３６が、撮像画像から注目領域を検出した場合に、制御部３３は、注目領域に関する情報を記憶する処理、及び、注目領域に関する情報をユーザに提示する処理の少なくとも一方の処理を行ってもよい。
【0116】
分析部３６による分析は、例えば観察中にリアルタイムに実行されてもよい。この場合、注目領域に関する情報をユーザに提示する処理を行うことによって、ユーザによる注目領域の観察をサポートすることが可能になる。例えば注目領域が撮像されているにもかかわらず、ユーザが見逃すことを抑制できる。或いは、リアルタイムに検出された注目領域に関する情報を記憶することによって、観察終了後等の任意のタイミングにおいて、ユーザに提示すること等が可能になる。
【0117】
また分析部３６による分析は、例えば観察終了後に実行されてもよい。この場合、ユーザは記憶された注目領域に関する情報を取得、閲覧することによって、任意のタイミングにおいて注目領域の有無や悪性度を判定することが可能になる。
【0118】
３．２ 分析可否判定
次に分析可否判定部３７が実行する判定処理について説明する。分析可否判定部３７は、撮像画像に基づいて、当該撮像画像に撮像された被写体が分析可能な状態であるか否かを判定する。分析可否判定部３７の出力する情報を、分析可否情報とも表記する。以下では、管腔構造のうち、分析可能状態で撮像された部分を分析可能部分と表記し、それ以外の部分を分析不可部分と表記する。
次に分析可否判定部３７が実行する判定処理について説明する。分析可否判定部３７は、撮像画像に基づいて、当該撮像画像に撮像された被写体が分析可能な状態であるか否かを判定する。分析可否判定部３７の出力する情報を、分析可否情報とも表記する。以下では、管腔構造のうち、分析可能状態で撮像された部分を分析可能部分と表記し、それ以外の部分を分析不可部分と表記する。
【0119】
まず分析が可能／不可能とはどういうことであるかについて検討する。第１の実施形態においても上述したように、そもそも撮像部の視野に一度も入っていない部分については、分析不可である。例えば上述したように、第１撮像画像と第２撮像画像が重複しない場合に、視野に入っていない分析不可部分があると判定される。或いは第３の実施形態において後述するように、管腔構造情報取得の欠落に基づいて当該部分の有無が判定される。
【0120】
視野に入っているが分析不可と判定される分析不可部分は、例えば以下の２つが考えられる。第１に、撮像部の視野内に位置し、撮像画像上にも見えているが撮像条件が悪い部分である。第２に、撮像部の視野内に位置するが撮像画像上に見えていない部分である。
【0121】
撮像条件が悪いとは、例えば撮像部と病変との距離が遠い、或いは病変を斜め方向から撮像している等の要因によって、解像度が低い場合等に相当する。解像度が低いとは、具体的には病変の画像上でのサイズが非常に小さいことを表す。撮像条件が悪い部分は、撮像自体は行われているものの、病変検出、或いは、悪性度判定の精度が低く、所望の分析を実行できない。そのため本実施形態の手法においては、撮像条件が悪い部分が存在する場合、病変を見逃すおそれがあると判定される。
【0122】
また撮像画像上に見えていない部分とは、例えば遮蔽物によって遮蔽された部分に相当する。ここでの遮蔽物は、残渣、泡、汚水、止血用のクリップ等、腸管以外の物体である。腸管のうち、遮蔽物によって遮蔽される部分は撮像画像上で視認できないため、当該遮蔽物の裏に存在する病変が見逃される。よって遮蔽物が存在する場合も、病変を見逃すおそれがあると判定される。また、撮像部の視野内に位置するが撮像画像上に見えていない部分には、襞等の管腔構造に起因して発生する隠れ部分も含まれる。隠れ部分とは例えば襞の裏面である。裏面とは襞の面のうち、撮像部と反対側に位置する面を表す。襞の裏面は当該襞の撮像部側の面に遮蔽されるため、視野内であっても撮像画像に撮像されない。
【0123】
分析可否判定部３７は、腸管のうち、撮像部の視野内に位置し、撮像画像上にも見えており、且つ、撮像条件がよい部分を分析可能部分と判定し、それ以外の部分を分析不可部分と判定する。
【0124】
以上の説明からわかるように、分析不可部分には、以下の３つの態様が考えられる。本実施形態の手法では、分析不可部分を以下の（１）～（３）のいずれかに分類してもよい。説明の便宜上、（１）に分類される分析不可部分を第１分析不可部分とも表記する。同様に、（２）、（３）に分類される分析不可部分を、それぞれ第２分析不可部分、第３分析不可部分とも表記する。また分類が不要なケースにおいては、以下の（１）～（３）のいずれについても単に分析不可部分と表記する。また分類は以下の３つに限定されず、より細分化されてもよい。
（１）撮像部の視野内に位置し、撮像画像上にも見えているが撮像条件が悪い部分
（２）撮像部の視野内に位置するが撮像画像上に見えていない部分
（３）撮像部の視野内に一度も入っていない部分
（１）撮像部の視野内に位置し、撮像画像上にも見えているが撮像条件が悪い部分
（２）撮像部の視野内に位置するが撮像画像上に見えていない部分
（３）撮像部の視野内に一度も入っていない部分
【0125】
分析可否判定部３７は、撮像画像のうち、分析不可部分に対応する画像上の領域を分析不可領域として検出する。なお分析不可部分を細分化する場合、第１分析不可部分に対応する画像上の領域を第１分析不可領域とする。同様に、第２分析不可部分に対応する画像上の領域を第２分析不可領域とする。第３分析不可部分は撮像されていないため、第３分析不可領域については考慮する必要がない。
【0126】
図１３は、分析可否の判定処理を説明するフローチャートである。この処理が開始されると、まず分析可否判定部３７は、画像処理部３２から撮像画像を取得する（Ｓ２１）。次に分析可否判定部３７は、撮像画像の画質に基づいて分析可否を判定する（Ｓ２２）。ここでの画質とは、具体的には撮像画像の明るさ、撮像角度、遮蔽度合いを表す情報である。遮蔽度合いとは、狭義には遮蔽物の有無である。
【0127】
明るさを表す情報は、具体的には輝度の情報である。輝度は、ＲＧＢの３つ画素値の重み付け和であり、種々の重みを利用可能である。撮像画像のうち極端に明るい領域、例えば白飛びしている領域は、管腔の具体的な情報が含まれておらず、分析に適していない。管腔の情報とは、管腔表面の凹凸構造、管腔表面或いは内部の血管構造、粘膜の色味等の種々の情報を含む。よって分析可否判定部３７は、撮像画像のうち、明るさが所定以上の領域を分析不可領域と判定する。例えば分析可否判定部３７は、輝度が所与の第１輝度閾値以上の領域を分析不可領域と判定する。
【0128】
また撮像画像のうち極端に暗い領域、例えば黒つぶれしている領域も、管腔の具体的な情報が含まれておらず、分析に適していない。よって分析可否判定部３７は、撮像画像のうち、明るさが所定以下の領域を分析不可領域と判定する。例えば分析可否判定部３７は、輝度が所与の第２輝度閾値以下の領域を分析不可領域と判定する。ここで、第１輝度閾値＞第２輝度閾値である。また明るさを表す情報として明度等の他の情報が用いられてもよい。
【0129】
なお白飛び、黒つぶれした領域については、管腔の情報が失われる蓋然性が高いため、分析可否判定部３７は、当該領域を第２分析不可領域と判定する。ただし閾値の設定によっては、視認性は低いものの管腔の情報が残存する場合もある。よって分析可否判定部３７は、明るさに基づいて分析不可領域と判定された領域を、第１分析不可領域としてもよい。また分析可否判定部３７は、分析不可領域の分類を省略してもよい。
【0130】
また分析可否判定部３７は、管腔内の遮蔽物を検出し、管腔表面が当該遮蔽物によって覆われている領域を分析不可領域と判定する。残渣、汚水、泡、血液、止血用のクリップ等の遮蔽物は、粘膜等の管腔表面とは異なる色味をしている。よって分析可否判定部３７は、例えば撮像画像に基づいてＲＧＢの画素値からＨＳＶ色空間への変換処理を行い、撮像画像のうち、色相（Hue）や彩度（Saturation）が所与の範囲内の領域を遮蔽物によって遮蔽されている分析不可領域と判定する。また分析可否判定部３７は、ＲＧＢの画素値からＹＣｒＣｂ色空間への変換処理を行い、色差信号であるＣｒ，Ｃｂの少なくとも一方に基づいて遮蔽物を検出してもよい。また分析可否判定部３７は、明るさムラがある場合には濃淡補正等のフィルタリング処理を行った後に上記色味の判定処理を行ってもよい。濃淡補正処理とは、例えば領域ごとのガンマ補正処理である。また、止血用のクリップのように、遮蔽物の色や形状が既知である場合、分析可否判定部３７は、当該遮蔽物のサンプル画像と撮像画像の比較処理を行うことによって遮蔽物を検出する処理を行ってもよい。
【0131】
なお、遮蔽物に覆われている領域が存在したとしても、当該領域の面積が十分小さい場合、当該遮蔽物の下にポリープ等の注目領域が存在する蓋然性は低い。よって分析可否判定部３７は、遮蔽物によって覆われている領域のうち、所定サイズ以上の領域を分析不可領域としてもよい。なお、ここでのサイズは画像上サイズであってもよいし、管腔上での実サイズであってもよい。画像上サイズから実サイズへの変換は、レンズや撮像素子等の光学特性情報と、被写体までの距離情報とに基づいて実行可能である。光学特性情報は、設計上、既知である。距離情報は、距離センサを用いて取得されてもよいし、ステレオカメラを用いたステレオ画像に基づいて算出されてもよい。また距離情報は、第３の実施形態において後述する管腔構造情報の算出結果を用いて求められてもよい。後述するように、管腔構造情報の算出処理においては、先端部１１の３次元位置と特徴点の３次元位置が推定されるため、推定結果に基づいて、先端部１１から撮像画像上の所与の画素までの距離を決定可能である。また分析可否判定部３７は、撮像画像の明るさに基づいて距離情報を算出してもよい。この場合、明るい領域は距離が近く、暗い領域は距離が遠いと判定される。
【0132】
なお遮蔽物が存在する領域については、管腔の情報が失われるため、分析可否判定部３７は、当該領域を第２分析不可領域と判定する。
【0133】
また分析可否判定部３７は、被写体の撮像角度に基づいて分析可否を判定する。ここでの撮像角度とは、例えば先端部１１と被写体を結ぶ直線と、被写体表面の法線方向とがなす角度を表す。例えば、挿入部先端と被写体が正対する場合、撮像角度は０°に近い小さい値となる。一方、光軸が管腔の長手方向に沿った方向になる場合、管腔壁面の撮像角度は０°に比べてある程度大きい値となる。撮像角度が大きい場合、被写体が斜め方向から撮像されることになるため、当該被写体の画像上でのサイズが非常に小さくなってしまい、微細な構造等の情報が失われるおそれがある。
【0134】
分析可否判定部３７は、例えば管腔構造情報の算出処理結果を取得し、撮像画像における各被写体の撮像角度を算出してもよい。この場合、分析可否判定部３７は、撮像角度が所与の角度閾値以上となる領域を分析不可領域と判定する。或いは、分析可否判定部３７は、距離情報に基づいて撮像角度を判定してもよい。例えば、撮像角度が大きい場合、画像上の狭い範囲において被写体までの距離が急激に変化する。よって分析可否判定部３７は、処理対象画素を含む所与の領域における距離情報の変化度合いを判定し、変化度合いが大きい場合に、撮像角度が大きいと判定してもよい。距離情報は撮像画像の明るさ等、種々の情報に基づいて算出が可能である。例えば分析可否判定部３７は、撮像画像を複数の領域に分割し、各領域の明るさ分布に基づいて撮像角度を求めてもよい。
【0135】
なお分析可否判定部３７は、撮像角度が大きい領域を第１分析不可領域と判定する。
【0136】
以上では、画質に関する判定基準として明るさ、遮蔽度合い、撮像角度について説明した。図１３のＳ２２において、分析可否判定部３７は、これらの全てを用いて判定を行ってもよい。例えば分析可否判定部３７は、明るさ、遮蔽度合い、撮像角度の少なくとも１つの判定基準において分析不可と判定された領域を分析不可領域とする。ただし、分析可否判定部３７は、明るさ、遮蔽度合い、撮像角度の一部の判定基準を用いて分析可否の判定を行ってもよい。
【0137】
次に分析可否判定部３７は、隠れ部分の有無を検出することによって分析可否の判定を行う（Ｓ２３）。図１４は、襞があるときの撮像画像の例を示す図である。図１４に示すように、襞のように腸管の表面構造に起因して撮像されない隠れ部分が存在する場合、照明光が当たらずに暗い影となる部分ＳＡが撮像される。暗い影の部分ＳＡは、他の部分に比べて明るさが段階的に低くなる。そのため分析可否判定部３７は、隣り合う画素あるいは隣り合う画素領域間において、輝度差が所定の輝度値以上であるとき、隠れ部分があると判定する。例えば分析可否判定部３７は、暗い影の部分ＳＡを含む所与の領域を分析不可領域と判定する。
【0138】
より具体的には、分析可否判定部３７は、撮像画像の明るさを表す情報を取得する。明るさを表す情報は、例えば上述した輝度である。そして分析可否判定部３７は、画像中の所定の画素領域内において、隣り合う２つの画素の輝度値の差が所定値以上である、又は、暗い筋状部分がある場合に、対象の領域を分析不可領域と判定する。
【0139】
或いは分析可否判定部３７は、距離センサ等を用いた距離情報を取得してもよい。この場合、分析可否判定部３７は、隣り合う２つの画素の距離の差が所定値以上である、又は、距離の変化が連続しない部分がある場合に、対象の領域を分析不可領域と判定する。
【0140】
なお分析可否判定部３７は、襞等に起因する隠れ部分が存在すると判定された領域を、第２分析不可領域であると判定する。
【0141】
次に分析可否判定部３７は、領域サイズに基づいて分析可否の判定を行う（Ｓ２４）。ステップＳ２２、Ｓ２３の処理によって、撮像画像の各画素について、分析可能か分析不可かのいずれかの判定結果が取得されている。分析可否判定部３７は、分析可能と判定された連続する画素を１つの分析可能領域に設定する。同様に、分析可否判定部３７は、分析不可と判定された連続する画素を１つの分析不可領域に設定する。
【0142】
分析可否判定部３７は、分析可能領域のサイズが所与のサイズ閾値以下の場合に、当該分析可能領域を分析不可領域に変更する。ここでのサイズは、例えば画像上でのサイズであり、面積であってもよい。画像上での面積とは、例えば対象となる領域に含まれる画素の総数である。画質に問題がないとしても、対象となる領域の画像上での面積が極端に小さい場合、注目領域が十分な大きさで撮像されないため、適切な分析が難しい。よって面積が所定以下の領域を分析可能領域から除外することによって、分析可否を適切に判定できる。なお、面積がサイズ閾値より大きかったとしても、領域が極端に縦や横に長い場合も適切な分析が難しい。よって分析可否判定部３７は、分析可能領域の縦の長さが所定以下、横の長さが所定以下の少なくとも一方が満たされる場合に、当該分析可能領域を分析不可領域に変更してもよい。また分析可否判定部３７は、画像上でのサイズを実サイズに変換する処理を行い、変換後のサイズに基づいて分析可否を判定してもよい。
【0143】
なお分析可否判定部３７は、サイズが小さいことに起因して分析不可領域に変更された領域を、第１分析不可領域と判定する。
【0144】
次に分析可否判定部３７は、ユーザによって分析が実行されるかの判定を行う（Ｓ２５）。ユーザによって分析が実行されない場合とは、例えば内視鏡システム１が上述した分析部３６を含み、当該分析部３６によって分析が行われる場合に相当する。ただし、分析部３６は内視鏡システム１の外部に設けられてもよい。
【0145】
分析部３６が省略され、ユーザが分析を行う場合（Ｓ２５でＹｅｓ）、分析可否判定部３７は、画像の安定性に基づいて分析可否を判定する（Ｓ２６）。ここでの画像の安定性とは、時系列の撮像画像間における被写体の動きの大きさを表す。動きは、平行移動、回転、振動等を含み、先端部１１と被写体とが相対的に移動することによって発生する。ユーザは動画像を見ながら注目領域の有無や悪性度等を判定することが想定される。そのため、所与のフレームにおける撮像画像が、画質や領域サイズに基づいて分析可能と判定された領域を含んでいたとしても、当該フレームを含む期間における画像の安定性が低い場合、画像上の被写体の状態が激しく変化してしまうためユーザによる分析は困難である。よって分析可否判定部３７は、処理対象である撮像画像を含む時系列の画像に基づいて画像の安定性を判定し、動きが所定以上である場合に、当該処理対象である撮像画像に含まれる分析可能領域を分析不可領域に変更する。なお分析可否判定部３７は、平行移動、回転、振動のそれぞれの動き量について判定を行ってもよいし、それらを総合して１つの動き量を求め、求めた動き量と閾値との比較を行ってもよい。なお動き量を求める手法は、動きベクトルやオプティカルフロー等の種々の手法が知られており、本実施形態ではそれらを広く適用可能である。動き量の大きさは、実際の寸法、または、撮像画像上での見かけ上の大きさで判断しても良い。
【0146】
なお分析可否判定部３７は、動きが大きいことに起因して分析不可領域と判定された領域を、第１分析不可領域と判定する。
【0147】
一方、ユーザが分析を行わない場合（Ｓ２５でＮｏ）、画像の安定性が低い場合にも適切な分析が可能である。よって分析可否判定部３７は、ステップＳ２６の処理を省略する。
【0148】
以上のように、内視鏡システム１は、撮像画像に基づいて、当該撮像画像に基づく分析が可能か否かを判定する分析可否判定部３７を含む。このようにすれば、管腔が分析可能な状態で撮像されたか否かを適切に判定できる。
【0149】
上述したように、分析可否判定部３７は、撮像画像中の被写体の動きの大きさに基づいて、分析可否情報を出力してもよい。このようにすれば、例えば動きが大きいことによってユーザが画像上の被写体を観察できないおそれがある場合、分析不可と判定される。例えば、高い画質で撮像された被写体があったとしても、当該被写体が動画において常に動き続けているような場合、分析に不適であるという判定が可能になる。
【0150】
また分析可否判定部３７は、撮像画像の画質に基づいて、分析可否情報を出力する。このようにすれば、画質が悪いことに起因して分析ができない場合に、見逃しのおそれがあると判定することが可能になる。
【0151】
また分析可否判定部３７は、所与の基準に基づいて撮像画像を複数の領域に区分した後、複数の領域の各領域の大きさに基づいて、各領域における分析可否情報を出力してもよい。ここでの所与の基準とは、例えば上述したように画質である。また複数の領域とは、分析可能領域、又は分析不可領域である。１つの分析可能領域は分析可能と判定された連続する画素によって構成される。このようにすれば、分析に適さない程度に小さい領域を、分析可能領域と判定してしまうことを抑制できる。
【0152】
また制御部３３は、分析可否情報に基づいて、捻り機構１８と進退機構１７とを制御してもよい。例えば第１撮像画像の一部又は全部の領域、特に図９（Ｂ）のＣ３における下側の領域において分析不可領域が検出された場合、制御部３３は進退機構１７の移動速度又は移動量を小さくする制御を行う。この場合、図９（Ｂ）の例に比べて、第２撮像領域に対応する撮像範囲Ｃ４が上側へシフトするため、２つの撮像画像の分析可能領域を重複させやすくする制御が可能になる。即ち、管腔を網羅的に、且つ、分析可能な状態で撮像することが可能になる。
【0153】
また制御部３３は、管腔のうちの走査が行われた部分において、分析部３６による分析が可能でない部分が存在すると判定された場合に、再走査を行ってもよい。ここでの再走査は、上述したように、挿入部２ｂの引き抜き量を抑制することによって同じ部分を撮像することであってもよいし、挿入部２ｂを奥方向に再挿入することによって同じ部分を撮像することであってもよい。このようにすれば、分析不可部分の発生を抑制できるため、見逃し抑制が可能になる。
【0154】
再走査を行う際、制御部３３は、走査条件を変更する制御を行ってもよい。具体的には、制御部３３は、分析不可と判定された撮像画像が撮像された際の走査条件とは異なる走査条件を用いて、再走査を行う。ここでの走査条件とは、走査における先端部１１の動きに関する条件、撮像画像を撮像する際の光源や光学系に関する条件、撮像画像に対して行われる画像処理の条件等を含む。
【0155】
上述したように、分析不可部分が存在する場合、撮像時の画質や動き量が適切でなかった、或いは、対象とする部分は襞等、隠れ部分が発生する構造を有していると考えられる。そのため、走査条件を変更せずに再走査を行った場合、当該再走査でも同様に分析不可部分が発生するおそれがある。走査条件を変更することによって、分析不可部分の発生を抑制できる。
【0156】
具体的には制御部３３は、管腔に対して気体を注入する送気及び管腔から気体を排出する脱気を行う制御、管腔の内部にある遮蔽物を除去する制御、捻り機構１８及び進退機構１７の少なくとも一方による視野の動きを変更する制御、の少なくとも１つの制御を、走査条件を変更する制御として実行する。
【0157】
例えば送気や脱気を行うことによって、襞が折りたたまれた状態を解消することが可能である。よって送気又は脱気により隠れ部分の撮像が可能になる。或いは、遮蔽物を除去することによって、遮蔽物の裏にあった被写体を撮像できる。遮蔽物の除去は、送水による洗浄によって行われてもよいし、吸引によって行われてもよい。また、遮蔽物は管腔の壁面ではなく先端部１１に付着する場合もあるが、この場合も送水や吸引による除去が可能である。
【0158】
また制御部３３は、視野の動きを変更することによって、撮像角度や管腔までの距離を変更する。これにより、被写体を正面に近い位置から合焦した状態で撮像することができ、十分な解像度を確保することも可能になる。例えば制御部３３は、挿入部２ｂを基準軸ＡＸ１に垂直な方向に移動させることによって、回転軸を調整してもよい。或いは制御部３３は、湾曲部１２の湾曲度合いを変更することによって、回転半径を変更する制御を行ってもよい。或いは、制御部３３は、先端部１１と管腔との距離情報を取得し、当該距離情報に応じて動的に回転半径を変更することによって、腸管表面に追従した走査を行ってもよい。距離情報は任意の手法により取得可能であり、例えば距離センサによって取得される。なお腸管表面に追従した走査を行う場合、距離情報を取得し、当該距離情報に応じて湾曲部１２を制御する必要があるため、追従性を高めるためには回転速度を小さくすることが望ましい。また、撮像角度や管腔までの距離を変更することによって、撮像画像の明るさを調整することも可能である。
【0159】
また制御部３３は、画質を改善するために、光源部の光量を制御してもよいし、撮像信号に対するＡＧＣ（Auto Gain Control）における出力レベルを制御してもよいし、ノイズ低減等の画像処理のパラメータを制御してもよい。
【0160】
また制御部３３は、分析不可部分がこれから撮像する予定の範囲にあるか否かに応じて、制御を切り替えてもよい。これから撮像する予定の範囲とは、具体的には先端部１１の現在位置よりも肛門側となる範囲である。例えば、制御部３３は、進退機構１７の制御履歴を表す情報に基づいて、先端部１１の現在位置に対して、対象とする分析不可部分が手前側か奥側かを判定する。制御履歴を表す情報とは、例えば進退機構１７を駆動する駆動部に含まれるエンコーダの、時系列の出力である。これから撮像する予定の範囲にない分析不可部分とは、そのままでは見逃してしまうおそれの高い部分であるため、以下では見逃し部分と表記する。
【0161】
これから撮像する予定の範囲に上記第３分析不可部分が存在したとしても、それは単に未撮像なだけであって、走査を継続することによって分析可能な状態で撮像される可能性がある。よって、第３分析不可部分については走査条件を変更する必要性は低く、まずは通常の走査によって撮像を試みれば十分である。また、これから撮像する予定の範囲に存在する第１、第２分析不可部分については、走査条件を変えなくとも視野に入る蓋然性は高い。しかし上述したように、第１、第２分析不可部分とは、視野に入りながらも、撮像画像上に明確に撮像されなかった部分である。そのため制御部３３は、分析不可と判定された要因を考慮した上で、走査条件を変更する。
【0162】
また撮像する予定の範囲にない第１～第３分析不可部分については、いずれも奥方向への挿入という通常の走査とは異なる制御が必要となる可能性がある。よって制御部３３は、挿入部２ｂを挿入する制御を行い、さらに走査条件を変更した上で再走査を実行する。なお挿入部２ｂを挿入する制御は、捻り機構１８や進退機構１７を用いて挿入部２ｂを自動挿入する制御であってもよいし、ユーザに挿入を要求する提示制御等であってもよい。
【0163】
４．第３の実施形態
また内視鏡システム１は、管腔構造を示す管腔構造情報を取得してもよい。以下、管腔構造情報の取得処理について詳細に説明する。また管腔構造情報と、第２の実施形態において上述した分析可否情報とを関連付ける手法についても説明する。
また内視鏡システム１は、管腔構造を示す管腔構造情報を取得してもよい。以下、管腔構造情報の取得処理について詳細に説明する。また管腔構造情報と、第２の実施形態において上述した分析可否情報とを関連付ける手法についても説明する。
【0164】
【0165】
挿入部２ｂの先端部１１には、磁気センサ１６が配置されている。具体的には、磁気センサ１６は、先端部１１の撮像素子１５の近傍に配置され、撮像素子１５の視点の位置と姿勢を検出するための検出装置である。磁気センサ１６は、２つのコイル１６ａ、１６ｂを有する。例えば、円筒状の２つのコイル１６ａ、１６ｂの２つの中心軸は、互いに直交している。よって、磁気センサ１６は、６軸のセンサであり、先端部１１の位置座標と配向を検出する。ここでの配向とはオイラー角を表す。磁気センサ１６の信号線２ｅが、内視鏡２から延出し、管腔構造検出装置５に接続されている。
【0166】
磁場発生装置７が所定の磁場を発生し、磁気センサ１６は、磁場発生装置７が発生する磁場を検出する。磁場発生装置７は、信号線７ａにより管腔構造検出装置５と接続されている。磁場の検出信号は、信号線２ｅを経由して内視鏡２から管腔構造検出装置５へ供給される。なお、磁気センサ１６に代えて先端部１１に磁場発生素子を設け、磁場発生装置７に代えて、患者Ｐａの外部に磁気センサを設けるようにして、先端部１１の位置及び姿勢を検出するようにしてもよい。ここでは、磁気センサ１６により、先端部１１の位置及び姿勢、言い換えれば撮像素子１５により取得される撮像画像の視点の位置及び向きがリアルタイムで検出される。
【0167】
図１６は管腔構造検出装置５の構成例である。管腔構造検出装置５は、プロセッサ５１と、記憶装置５２と、インターフェース５３と、位置姿勢検出部５５と、駆動回路５６を含む。管腔構造検出装置５の各部は、バス５８により互いに接続されている。
【0168】
プロセッサ５１は、ＣＰＵとメモリを有し、管腔構造検出装置５内の各部の処理を制御する制御部である。メモリは、ＲＯＭ、ＲＡＭなどを含む記憶部である。ＲＯＭには、ＣＰＵにより実行される各種処理プログラム及び各種データが記憶されている。ＣＰＵは、ＲＯＭ及び記憶装置５２に格納された各種プログラムを読み出して実行することができる。
【0169】
記憶装置５２には、管腔構造算出プログラムが格納されている。管腔構造算出プログラムは、先端部１１の位置及び姿勢の情報と、撮像画像とから管腔構造情報を算出するソフトウエアプログラムである。ＣＰＵが管腔構造算出プログラムを読み出して実行することにより、プロセッサ５１は、撮像素子１５により得られた撮像画像と磁気センサ１６に検出された先端部１１の３次元配置とに基づいて、管腔の３次元構造を算出する管腔構造算出部を構成する。
【0170】
インターフェース５３は、プロセッサ５１によって算出された管腔構造情報を、画像処理装置３に出力する。インターフェース５３は、例えば画像処理装置３との通信を行う通信インターフェースである。
【0171】
またインターフェース５３は、画像取込部を兼ねてもよい。画像取込部は、画像処理装置３において得られた撮像画像を、一定の周期で取り込む処理部である。例えば、内視鏡２から、フレームレートと同じ、１秒間に３０枚の撮像画像を、画像処理装置３から取得する。なお、ここでは、画像取込部は、１秒間に３０枚の撮像画像を取り込んでいるが、フレームレートよりも長い周期で撮像画像を取得するようにしてもよい。例えば画像取込部は、１秒間に３枚等の撮像画像を取り込んでもよい。
【0172】
位置姿勢検出部５５は、磁場発生装置７を駆動する駆動回路５６を制御して、磁場発生装置７に所定の磁場を発生させる。位置姿勢検出部５５は、その磁場を磁気センサ１６により検出し、その検出された磁場の検出信号から、撮像素子１５の位置座標（ｘ、ｙ、ｚ）と配向（ｖｘ、ｖｙ、ｖｚ）のデータを生成する。配向とはオイラー角を表す。即ち、位置姿勢検出部５５は、磁気センサ１６からの検出信号に基づいて、撮像素子１５の位置と姿勢を検出する検出装置である。
【0173】
図１７は、管腔構造の算出処理の流れの例を示すフローチャートである。はじめに、医者は、挿入部２ｂの先端部１１を肛門の位置を配置した状態で、不図示の入力装置に対して所定の操作を行う。当該操作に基づいて、プロセッサ５１は、位置姿勢検出部５５からの位置と姿勢のデータを、管腔構造を算出するときの先端部１１の基準位置と基準姿勢として設定する（Ｓ１）。例えば医者は、先端部１１を肛門に当てた状態で、３次元空間内の肛門の位置における先端部１１の基準位置と基準姿勢を初期値とする設定を行う。以下の処理で算出される管腔構造は、ここで設定された基準位置と基準姿勢に基づいて算出される。
【0174】
基準位置と基準姿勢の設定後、医者は、先端部１１を大腸の最奥部まで挿入する。挿入部２ｂの先端部１１が大腸の最奥部にある状態から、空気を送気して大腸内を拡張しながら、医者は、挿入部２ｂを引きながら肛門に向かって移動させ、途中で挿入部２ｂの引き抜きを停止させたりしながら、湾曲部１２を種々の方向に湾曲させて大腸の内壁を観察する。医者が大腸の内壁を観察しているときに、大腸の管腔構造が算出される。
【0175】
画像取込部であるインターフェース５３は、画像処理装置３から３０分の１秒毎に供給される撮像画像から所定の周期Δｔ毎の撮像画像を取得する（Ｓ２）。周期Δｔは、例えば０．５秒である。ＣＰＵは、撮像画像を取得したときの位置姿勢検出部５５の出力する先端部１１の位置と姿勢の情報を取得する（Ｓ３）。
【0176】
プロセッサ５１は、Ｓ２で取得した１枚の撮像画像とその前に取得済の１枚以上の撮像画像とにおける複数の特徴点等の３次元空間内の位置情報を算出する（Ｓ４）。算出された複数の特徴点等の位置情報の集合が、管腔構造の情報となる。後述するように、各特徴点の位置情報は、画像情報からＳＬＡＭ（Simultaneous Localization and Mapping）、ＳｆＭ（Structure from Motion）などの手法を用いて算出してもよいし、三角測量の原理を用いて算出してもよい。各特徴点の位置の算出方法については後述する。
【0177】
なお、最初の１枚の撮像画像が取得されたときは、その前の取得済の撮像画像はないので、所定枚数の撮像画像が取得されるまでは、Ｓ４の処理は実行されない。
【0178】
プロセッサ５１は、算出された複数の特徴点等の位置情報を追加することによって、管腔構造情報を作成或いは更新する（Ｓ５）。
【0179】
図１８は、管腔構造情報の例である。Ｓ５で作成される管腔構造情報は、内視鏡２により観察した領域における１以上の特徴点等の集合から構成される。管腔構造情報は、３Ｄデータである。図１８は、管腔構造情報を所与の視点から見たときの画像を表す。例えば管腔構造情報を表示する場合、ユーザは視点位置を変更する指示を入力することによって、３６０度の所望の方向から見たからときの管腔の構造を確認することができる。
【0180】
また図１８では管腔における凹凸まで考慮した管腔構造情報を例示した。ただし管腔構造情報はより簡略化された情報であってもよい。例えば、管腔構造情報は円筒モデルであってもよい。管腔を円筒であると仮定することによって、処理負荷を軽減することが可能になる。例えば後述するように磁気センサ１６等のセンサを用いない実施形態においては、管腔の形状を円筒とすることによる計算量の削減効果が大きい。また、簡略化の仕方として、屈曲の無い直線状の管腔や単純な屈曲のみを想定したり、標準的な管腔構造の部位ごとの長さや径等のサイズのみ異なる構造モデルを想定しても良い。
【0181】
管腔構造検出装置５のインターフェース５３は、生成された管腔構造情報を画像処理装置３に出力する（Ｓ６）。またＳ６において、インターフェース５３は、管腔構造情報をモニタ６に表示する制御を行ってもよい。次に、プロセッサ５１は、挿入部２ｂが患者から抜去されたか否かを判定する（Ｓ７）。例えばユーザは、挿入部２ｂを抜去した場合に、不図示の入力装置を用いて観察終了を表すユーザ入力を行う。プロセッサ５１は、当該ユーザ入力に基づいてＳ７に示す判定を行う。抜去が行われていない場合（Ｓ７でＮｏ）、処理はＳ２に戻る。
【0182】
Ｓ４の特徴点等の位置の算出は、種々の方法がある。以下に、いくつかの方法について説明する。プロセッサ５１は、ＳＬＡＭ，ＳｆＭなどの手法を利用して、連続する複数の画像上の特徴点の位置を算出してもよい。
【0183】
管腔構造情報の生成において、非線形最小二乗法を用いて、画像から、内部パラメータ、外部パラメータ及び世界座標点群を最適化するバンドル調整を適用可能である。例えば、推定された各パラメータを用いて、抽出された複数の特徴点の世界座標点を透視投影変換し、再投影誤差が最小になるように、各パラメータと各世界座標点群が求められる。
【0184】
先端部１１についての外部パラメータは、５点及び８点アルゴリズムを解くことによって算出される。特徴点の位置は、先端部１１の位置と三角測量法に従って算出される。画像平面上に投影された３Ｄ点の座標と、再投影誤差による特徴点との誤差Ｅは、次の式（３）により表される。
【数1】
【0185】
ここで、Ｌは、Ｋ個の画像上の特徴点の数であり、Ｐｓｊは、画像平面上に三角測量と先端部１１のパラメータにより推定された３Ｄ点Ｐｉの座標位置であり、Ｐｉは、画像上の対応する特徴点の座標位置である。先端部１１の位置座標は、ＬＭ（Levenberg-Marquartdt）法を用いて、式（３）の誤差Ｅの関数を最小化するように算出される。
【0186】
図１９は、各特徴点の３次元空間内の位置算出をバンドル調整により行う方法のフローチャートである。プロセッサ５１は、肛門の位置が初期位置と設定されたときを、時刻ｔをｔ０とし、ソフトウエアカウンタのカウント値ｎを、０とする（Ｓ１１）。
【0187】
プロセッサ５１は、時刻ｔ０における撮像画像と、先端部１１の位置と姿勢の情報を取得する（Ｓ１２）。撮像画像は、画像処理装置３から取得される。先端部１１の位置と姿勢の情報は、位置姿勢検出部５５から取得される。
【0188】
プロセッサ５１は、初期位置すなわち肛門の位置における先端部１１の位置と姿勢を決定する（Ｓ１３）。例えば、肛門の位置（ｘ、ｙ、ｚ）が（０，０，０）に、姿勢（ｖｘ、ｖｙ、ｖｚ）が（０，１，０）に決定される。Ｓ１１とＳ１３が、図１７のＳ１に対応する。
【0189】
プロセッサ５１は、時刻（ｔ０＋ｎΔｔ）における撮像画像と、先端部１１の位置と姿勢の情報を取得する（Ｓ１４）。Ｓ１２とＳ１４が、図１７のＳ２に対応する。なお、先端部１１の位置と姿勢の情報は、修正してもよい。例えば、カルマンフィルタを用いて、先端部１１が過去に通ったパスが修正され、その修正されたパスに基づいて、過去の先端部１１の位置が修正される。
【0190】
プロセッサ５１は、ｎがｋになると、各撮像画像における複数の特徴点の抽出し、ｋ個の時点における先端部１１の位置と姿勢すなわち先端部１１の３次元配置を既知として、得られた撮像画像に含まれるｍ個の特徴点の位置を、上述したバンドル調整により算出する（Ｓ１５）。
【0191】
図２０は、連続して取得された複数の撮像画像上の特徴点と、先端部１１の位置と姿勢の関係を説明するための模式図である。図２０において、白い三角形Ｐｗは、先端部１１の実際の位置と姿勢を示し、黒い三角形Ｐｂは、先端部１１の推定された位置と姿勢を示す。先端部１１は、実線に沿って実際に移動したことを示している。推定された先端部１１は、点線に沿って移動している。時間経過に伴って、先端部１１の位置は移動し、先端部１１の姿勢は変化している。
【0192】
また、図２０において、白い四角形ｐｗは、特徴点の実際の位置を示し、黒い四角形ｐｂは、特徴点の推定すなわち算出された位置を示す。特徴点は、例えば、撮像画像中において形状や色が特徴的で、判別あるいは追跡が容易な箇所である。
【0193】
大腸の３次元管腔構造を得るには、大腸の腸管の内壁上の複数の特徴点の座標を求め、求めた複数の座標の集合により、あるいはそれらの座標を繋ぎ合わせることにより３次元モデルが生成される。すなわち、管腔の３次元構造は、３次元空間内の算出された各特徴点の位置から決定される。
【0194】
図２０において、各時点における先端部１１の位置と姿勢の情報は、６軸分の情報を含むため、ｋ個の時点における先端部１１の位置と姿勢の情報は、６ｋ個の情報を含む。各特徴点の位置は、３軸分の情報を含むため、ｍ個の特徴点の位置の情報は、３ｍ個の情報を含む。よって、ＳＬＡＭ、ＳｆＭ等の手法を用いる場合、決定すべきパラメータの個数は（６ｋ＋３ｍ）個となる。
【0195】
本実施形態の手法においては、上述したとおり、内視鏡２の先端部１１に磁気センサ１６が設けられ、管腔構造検出装置５は、磁気センサ１６によって検出された位置姿勢情報を取得する位置姿勢検出部５５を含んでもよい。この場合、先端部１１の位置及び姿勢に対応する６ｋ個のパラメータは既知となる。プロセッサ５１による最適化演算は、３ｍ個のパラメータを算出に限定されるため、最適化演算の処理量を軽減できる。よって処理の高速化が可能である。またパラメータ数の削減によって検出誤差の蓄積が抑制されるため、生成される３次元モデル構造がずれていくことを抑制できる。
【0196】
また、内視鏡２の挿入部２ｂの先端部１１が管腔の内壁に押し当てられたり、汚れた洗浄水に浸ってしまったり、撮像画像がぶれるなどして適切な連続した撮像画像が得られないかった場合があっても、先端部１１の位置と姿勢の情報は得られている。よって、連続した撮像画像が得られなかった場合が生じても、３ｍ個のパラメータを算出できる可能性は高まる。結果として、管腔構造の算出のロバスト性が高まる。
【0197】
【0198】
プロセッサ５１は、過去に算出した特徴点の位置情報を修正する（Ｓ１７）。新たに算出して得られた３ｍ個の特徴点のうち、過去に算出された特徴点の位置情報は、新たに算出された位置情報を用いて、例えば平均値演算により、過去に算出された位置情報を修正する。なお、Ｓ１７の処理は、行わなくてもよく、新たに算出された特徴点の位置情報で、過去に算出された各特徴点の位置情報を更新するようにしてもよい。
【0199】
Ｓ１７の後、プロセッサ５１は、ｎを１だけインクリメントし（Ｓ１８）、検査終了のコマンドが入力されたかを判定する（Ｓ１９）。検査終了のコマンドは、例えば、挿入部２ｂが大腸から抜去された後に、医者が入力装置に入力する所定のコマンドである。当該コマンドが入力されると（Ｓ１９でＹＥＳ）、処理が終了する。
【0200】
検査終了のコマンドが入力されないとき（Ｓ１９でＮＯ）、処理はＳ１４へ移行する。その結果、プロセッサ５１は、撮像画像の最後の取得時刻から周期Δｔだけ後の撮像画像を取得し（Ｓ１４）、Ｓ１４以降の処理を実行する。
【0201】
以上の処理を行うことによって、管腔構造情報が出力される。本実施形態における管腔は、端部を除いて穴等がない連続する曲面であることが想定される。よって取得される管腔構造情報において、所与の特徴点と、その近傍の特徴点との距離はある程度小さいことが期待される。もし特徴点が粗となる部分、例えばある程度広い範囲において特徴点が所定閾値以下となる部分が存在する場合、当該部分が分析不可部分であると判定できる。より具体的には、分析不可部分のうち、上述した第３分析不可部分であると判定される。なお大腸の観察においては、まず挿入部２ｂを奥まで挿入し、引き抜きながら管腔構造情報の生成が行われる。よって、現在観察中の部位よりも肛門側の部分については、基本的に第３分析不可部分と判定される。
【0202】
また、ここでの分析不可部分は、例えば図１８のＵＩＡに対応する。図１８においては、分析不可部分が存在することによって、管腔構造情報が２つに分割されてしまう例を示した。挿入部２ｂの先端部１１の位置と姿勢を検出するためのセンサが設けられる構成であれば、このように管腔構造情報が分割される場合でも、分割された複数の管腔構造情報の位置関係を特定できる。即ち、管腔構造情報が分割される場合にも、管腔全体の構造を推定可能である。
【0203】
なおセンサを用いて位置姿勢が検出可能である場合、管腔構造情報を求める処理はバンドル調整に限定されない。例えばプロセッサ５１は、２つの画像から三角測量を用いて管腔構造情報を求めてもよい。具体的には、プロセッサ５１は、先端部１１の位置及び姿勢の情報と、２枚の撮像画像とから、三角測量を用いて特徴点の位置を算出する。すなわち、撮像素子１５の位置及び姿勢の情報と、撮像素子１５により取得された２枚の撮像画像に含まれる特徴点の画素の位置情報から三角測量に基づき算出した画素の３次元空間内の位置情報から管腔の３次元構造が決定される。
【0204】
また三角測量は、２つの時刻において得られた２枚の撮像画像に基づいて行われてもよいし、ステレオカメラを用いて同時刻に得られた２枚の撮像画像に基づいて行われてもよい。
【0205】
またプロセッサ５１は、各特徴点の位置を、照度差ステレオ画像を用いて算出してもよい。この場合、挿入部２ｂの先端部１１には、複数の照明窓が設けられる。複数の照明窓から出射される複数の照明光は、光源装置４に設けられた照明用の複数の発光ダイオードの駆動が制御されることにより、切り替えられて選択的に出射可能となっている。
【0206】
被写体の表面の画像中の影の部分は、照明光の切り替えにより状態が変化する。よって、その変化量に基づいて、被写体の表面上の影の部分までの距離を算出することができる。すなわち、選択的に動作させた複数の照明部により照明して得られた撮像画像中の影領域の画像から照度差ステレオに基づき、管腔の３次元構造を決定することができる。
【0207】
またプロセッサ５１は、距離センサを用いて管腔構造を算出してもよい。距離センサは、例えばＴＯＦ（Time Of Flight）により距離画像を検出するセンサである。距離センサは、光の飛行時間を計ることにより距離を計測する。距離センサは、挿入部２ｂの先端部１１に設けられ、先端部１１から管腔の内壁までの距離を画素ごとに検出する。距離センサにより検出された各画素についての距離と、先端部１１の位置姿勢とから、大腸の内壁の各点の位置情報すなわち管腔の３次元構造が算出可能である。なお、距離センサは、ＬｉＤＡＲ（Light Detection and Ranging/Laser Imaging Detection and Ranging）などの他の方式のセンサでもよい。また、先端部１１に所定のパターン光を出射する照明部を設け、プロセッサ５１はパターン光投影により先端部１１から内壁までの測距を行ってもよい。
【0208】
また本実施形態の手法においては、管腔構造情報の算出に磁気センサ１６等の位置姿勢検出用のセンサを用いる構成は必須ではない。具体的には、図１５に示した磁気センサ１６及び磁場発生装置７を省略可能である。
【0209】
この場合、プロセッサ５１は、複数の撮像画像に基づいて、ＳＬＡＭ、ＳｆＭなどの手法を用いて管腔構造情報を算出する。例えばプロセッサ５１は、上述した例において、先端部１１の位置姿勢を含めた（６ｋ＋３ｍ）個のパラメータを最適化する処理を実行する。
【0210】
図１５、図１６に示したように、本実施形態の内視鏡システム１は、管腔構造情報取得部を含んでもよい。管腔構造情報取得部は、具体的にはプロセッサ５１に対応する。管腔構造情報取得部は、撮像画像に基づいて、管腔の構造を示す管腔構造情報を求める。また内視鏡システム１は、管腔に挿入される挿入部２ｂの先端に設けられる位置センサから、管腔に対する被写体光取得部２０の位置姿勢情報を取得する位置姿勢検出部５５を含んでもよい。位置センサは、例えば磁気センサ１６である。この場合、管腔構造情報取得部は、位置姿勢情報と撮像画像に基づいて、管腔の構造を示す管腔構造情報を求める。なお、図１５及び図１６においては管腔構造検出装置５が位置姿勢検出部５５及び管腔構造情報取得部を含む例を説明したが、管腔構造検出装置５は画像処理装置３と一体として設けられてもよい。また、管腔構造検出装置５の一部又は全部の構成が、クラウドコンピューティングによって実現されてもよい。
【0211】
管腔構造情報を取得しない場合であっても、進退機構１７の制御量に基づいて挿入量を推定すること、及び捻り機構１８の制御量に基づいて管腔のいずれの部分を撮像しているかを大まかに推定することが可能である。ここでの制御量は、例えばエンコーダの出力である。ただし管腔構造情報は撮像画像に基づいて取得されるため、エンコーダ出力を用いる場合に比べて、管腔のどの部分をどのように撮像しているかを高い精度で推定することが可能になる。特に位置姿勢情報を併用することによって、図１８に示すように管腔構造が２以上に分断される場合であっても、当該２以上の管腔構造の位置関係を推定できるため、管腔の全体構造を高い精度で推定できる。これにより、走査が適切に行われているか否かの判定や、再走査を行う際の走査条件の設定等を適切に実行することが可能になる。
【0212】
４．２ 関連付け処理
図２１は本実施形態の画像処理装置３の構成を示す図である。図２１に示すように画像処理装置３は、図１２に示す構成に加えて、関連付け処理部３８と、見逃し判定部３９を含む。ただし画像処理装置３は図２１の構成に限定されず、一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。
図２１は本実施形態の画像処理装置３の構成を示す図である。図２１に示すように画像処理装置３は、図１２に示す構成に加えて、関連付け処理部３８と、見逃し判定部３９を含む。ただし画像処理装置３は図２１の構成に限定されず、一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。
【0213】
関連付け処理部３８は、分析可否判定部３７が求めた分析可否情報と、管腔構造情報とを関連付ける処理を行う。上述したように、分析可否の判定は、撮像画像を用いて実行される。撮像画像上の分析可能領域又は分析不可領域が、管腔構造のどの部分に位置するかを関連付けることによって、再走査を行うべき部分を適切に判定することが可能になる。なお、捻り機構１８や進退機構１７の制御履歴に基づいて再走査の対象部分を推定することが可能であるが、分析可否情報と管腔構造情報を対応付けることによって、対象部分を精度よく特定することが可能になる。また、再走査の際にユーザが挿入部２ｂを奥方向に挿入することも考えられる。その場合、関連付け結果を提示することによって、分析不可部分を撮像するための具体的な操作をユーザにわかりやすく提示することが可能になる。
【0214】
なお管腔構造情報の算出処理において、先端部１１の位置姿勢と、撮像画像における特徴点の３次元位置が推定される。即ち、内視鏡２を用いた撮像画像の撮像と、管腔構造情報の算出を平行して実行する場合、撮像画像上の特徴点と、管腔構造との対応付けは既に行われている。
【0215】
よって関連付け処理部３８は、管腔構造情報の算出処理結果を用いることによって、分析可否情報と管腔構造情報の関連付け処理を実行する。例えば関連付け処理部３８は、特徴点の３次元位置に基づいて、撮像画像のうちの特徴点以外の点の３次元位置を推定可能である。よって撮像画像の分析可能領域を複数の点によって規定し、当該複数の点の３次元位置を推定することによって、管腔構造のうち、分析可能領域に対応する分析可能部分を決定する。ここでの複数の点は、例えば分析可能領域の輪郭上に設定される３つ以上の点である。
【0216】
或いは、分析可能領域を規定する複数の点は、管腔構造情報の算出において用いられる特徴点であってもよい。例えば、分析可否判定部３７は、あらかじめ管腔構造情報の算出処理において設定された特徴点の情報を取得しておき、当該特徴点に基づいて分析可否判定を行ってもよい。例えば図１３のＳ２２における画質に基づく判定は、３以上の特徴点によって囲まれる領域ごとに実行されてもよい。このようにすれば、管腔構造情報の取得に用いられた情報を直接的に利用することによって、分析可能領域や分析不可領域の３次元位置を特定できる。具体的には、関連付け処理部３８は、２つ以上のタイミングにおいて撮像された複数の撮像画像上に、それぞれ複数の特徴点を設定する。そして、関連付け処理部３８は、２つ以上のタイミングにおいて撮像された撮像画像上の、複数の特徴点同士の対応関係を判定することによって、管腔の構造上に分析可否情報を関連付ける。
【0217】
図２２は、分析可否情報を管腔構造に関連付ける処理を説明する模式図である。分析可否情報は、撮像画像上の分析可能領域と分析不可領域の少なくとも一方を特定する情報である。図２２においては楕円形状の分析可能領域Ａ２と分析不可領域Ａ１を例示しているが、各領域は例えば３以上の特徴点によって規定される多角形である。関連付け処理部３８は、３次元位置が特定された複数の特徴点の集合である管腔構造情報のうち、分析可能領域を規定する特徴点によって囲まれる閉領域を分析可能部分として特定する。例えば、分析可能領域Ａ２に対応する部分を分析可能部分Ａ４であると判定する。そして関連付け処理部３８は、管腔構造のうち、分析可能部分として特定されなかった領域を分析不可部分として特定する。
【0218】
或いは関連付け処理部３８は、分析可能部分の特定とともに、管腔構造情報のうち、分析不可領域を規定する特徴点によって囲まれる閉領域を分析不可部分として特定してもよい。例えば、分析不可領域Ａ１に対応する管腔上の部分を分析不可部分Ａ３であると判定する。この場合、第１の撮像画像に基づいて分析不可部分と判定された管腔構造の所与の部分が、第２の撮像画像に基づいて分析可能部分と判定される場合がある。このように分析可能部分と分析不可部分が重複した場合、当該重複部分が分析可能部分と判定される。少なくとも１枚の撮像画像に基づいて分析可能と判定されていれば、当該撮像画像を用いることによって十分な精度での分析が可能なためである。
【0219】
画像処理装置３は、関連付け結果を出力する。例えば画像処理装置３は、分析可能部分と分析不可部分が異なる態様で表示された管腔構造情報を、モニタ６等の表示部に表示する処理を行う。例えば、分析不可部分は、分析可能部分とは異なる色で表示されたり、点滅等のアニメーション表示が行われてもよい。図２２におけるＡ３、Ａ５、Ａ６、Ａ７が分析不可部分であり、当該分析不可部分はＡ４等の分析可能部分とは異なる色で表示される。また矢印等のオブジェクトやテキストを表示することによって、分析不可部分の視認性を向上させる表示処理が行われてもよい。
【0220】
また分析不可部分を上述した第１～第３分析不可部分等に細分化する場合、関連付け処理部３８は、撮像画像上の分析不可領域を管腔構造情報と関連付けることによって、分析不可部分を特定する。具体的には、第１分析不可領域に関連付けられた部分が第１分析不可部分であり、第２分析不可領域に関連付けられた部分が第２分析不可部分である。また、第３分析不可部分については、上述したように管腔構造情報の欠落に基づいて検出可能である。なお、第１分析不可部分と第２分析不可部分が重複した場合、関連付け処理部３８は各分析不可部分のサイズや形状等に基づいて最終的な関連付け結果を求めてもよい。この場合、画像処理装置３は、分析可能部分、第１分析不可部分、第２分析不可部分、第３分析不可部分をそれぞれ異なる態様でモニタ６等に表示する処理を行う。
【0221】
図２２に示した処理によって、管腔構造情報と分析可否情報を関連付けることが可能である。さらに画像処理装置３は、分析不可部分のうち、挿入部２ｂの、管腔の奥方向への再挿入が必要な部分である見逃し部分を検出してもよい。
【0222】
図２３（Ａ）、図２３（Ｂ）は内視鏡２の先端部１１と、分析不可部分との位置関係を例示する図である。図２３（Ａ）、図２３（Ｂ）におけるＢ１及びＢ３は分析不可部分を表し、Ｂ２及びＢ４は撮像部の視野を表す。内視鏡システム１を用いた腸管の観察は、挿入部２ｂを最奥部まで挿入した後、挿入部２ｂを手前側に引き抜きながら行われる。最奥部とは、例えば盲腸の近傍であり、手前側とは肛門側である。分析不可部分が存在したとしても、図２３（Ａ）に示すように当該分析不可部分が先端部１１の近傍に存在する場合、比較的簡単な操作によって当該分析不可部分を撮像できる。ここでの操作とは、例えば湾曲部１２の向きを変えたり、挿入部２ｂをわずかに押す等の操作である。
【0223】
これに対して図２３（Ｂ）では、屈曲部の先に分析不可部分が存在する。屈曲部とは、例えばＳＤジャンクション等である。屈曲部よりも奥側の分析不可部分を観察するためには、屈曲部や襞を超える操作が必要となる。
【0224】
本実施形態の見逃し判定部３９は、図２３（Ａ）に示す分析不可部分は見逃し部分と判定せず、図２３（Ｂ）に示す分析不可部分を見逃し部分と判定する。また、分析不可部分が先端部１１の現在位置よりも手前側に存在する場合、それ以降の走査の中で観察できる蓋然性が高い。よって見逃し判定部３９は、現在位置よりも手前側の分析不可部分は見逃し部分と判定しない。このようにすれば、ユーザが明確な操作を実行しない限り観察できない蓋然性が高い分析不可部分を、見逃し部分と判定することが可能になる。
【0225】
例えば見逃し判定部３９は、分析不可部分が存在する場合に、分析不可部分の位置と、先端部１１の現在位置の比較処理を行うことによって、分析不可部分が先端部１１の現在位置よりも腸管の奥方向にあるか否かを判定する。例えば、見逃し判定部３９は、管腔構造情報の算出処理において取得された時系列の位置情報に基づいて、奥方向と手前方向を判定する。ここでの位置情報は、磁気センサ１６等の位置姿勢検出センサによって取得される情報であってもよいし、ＳＬＡＭやＳｆＭを用いて最適化されるパラメータであってもよい。なお、加速度を検出するジャイロセンサのような、位置姿勢の変化量に関わるセンサも、検出結果の時間積分を適宜繰り返すことで位置姿勢を求めることができることから、位置姿勢検出センサとしてもよい。上述したように、観察開始時が管腔の最奥部であり、それ以降の先端部１１の移動方向が手前方向である。或いは、磁気センサ１６等を利用可能である場合、奥方向への挿入時に取得される位置姿勢情報に基づいて、奥方向と手前方向を判断してもよい。挿入時における移動方向が奥方向である。
【0226】
分析不可部分が先端部１１よりも奥方向である場合、見逃し判定部３９は、湾曲部１２の操作によって当該分析不可部分を撮像可能であるか否かを判定する。湾曲部１２の現在の位置姿勢は、例えば左右湾曲操作ノブ１４ａ及び上下湾曲操作ノブ１４ｂの制御データに基づいて既知である。また、湾曲部１２の最大湾曲角度等は設計から既知である。よって関連付け処理部３８は、これらの情報に基づいて、湾曲部１２の操作によって当該分析不可部分を撮像可能であるか否かを判定できる。
【0227】
見逃し判定部３９は、先端部１１よりも奥方向にあり、且つ、湾曲部１２の操作のみでは撮像できないと判定された分析不可部分を見逃し部分と判定する。また上述したように、屈曲部を超えないような短い距離の押し込み操作は比較的容易である。よって見逃し判定部３９は、分析不可部分が先端部１１よりも奥方向にあるか否かだけではなく、先端部１１と分析不可部分の距離や、屈曲部の有無等に基づいて、分析不可部分を見逃し部分とするか否かを判定してもよい。
【0228】
以上のように、内視鏡システム１は、分析可否情報と管腔構造情報に基づいて、管腔の構造上に分析可否情報を関連付ける関連付け処理部３８を含んでもよい。関連付け処理部３８は、管腔の構造のうち、少なくとも１枚の撮像画像に基づいて分析可能と判定された部分を分析可能部分と判定し、管腔の構造のうち、分析可能部分以外の部分を分析不可部分と判定する。
【0229】
本実施形態の手法によれば、病変検出や悪性度判定等、所望の分析を実行可能な状態で管腔が撮像されたか否かを、当該管腔の構造と関連付けることが可能になる。そのため、管腔構造のうち、いずれの領域において見逃しが発生する可能性があるかを適切に判定することが可能になる。これにより、上述した再走査を適切に実行することが可能になる。或いは、内視鏡システム１は、関連付け結果を観察中のユーザに提示してもよい。
【0230】
また内視鏡システム１は、管腔の奥方向へ挿入部２ｂを挿入しなければ観察できないと判定された分析不能部分を見逃し部分と判定してもよい。このようにすれば、見逃しが発生する蓋然性の高い部分を特定することが可能になる。例えば、再走査が必要であるか否か、その際に挿入部２ｂの再挿入が必要であるか否かを、精度よく判定することが可能になる。また、再挿入を行う場合に、挿入部２ｂをどのように移動させればよいかを推定することが可能になる。
【0231】
制御部３３は、見逃し部分が撮像部の視野内となるように、捻り機構１８及び進退機構１７の制御を行ってもよい。このようにすれば、再走査、狭義には挿入部２ｂの再挿入を伴う再走査を自動的に実行できるため、医師等の負担を軽減することが可能になる。ただし、制御部３３は、見逃し部分を撮像するための情報をユーザに提示し、再挿入を行うための具体的な操作をユーザに委ねてもよい。
【0232】
また挿入部２ｂが管腔の奥方向へ挿入された後、手前方向へ抜き出すことによって管腔の観察が行われる場合において、制御部３３は、挿入部２ｂを手前方向へ抜き出す際に、撮像部の視野によって管腔の内壁の走査を行うような捻り機構１８及び進退機構１７の制御と、分析可能部分を特定する制御とを行ってもよい。管腔の内壁を撮像しやすい状況において、走査、及び関連付けの各制御を実行することが可能になる。
【0233】
なお、上記のように本実施形態について詳細に説明したが、本実施形態の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本開示の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また本実施形態及び変形例の全ての組み合わせも、本開示の範囲に含まれる。また処理装置、内視鏡システム等の構成及び動作等も、本実施形態で説明したものに限定されず、種々の変形実施が可能である。
【符号の説明】
【0234】
１…内視鏡システム、２…内視鏡、２ａ…操作部、２ｂ…挿入部、２ｃ…ユニバーサルケーブル、２ｅ…信号線、３…画像処理装置、４…光源装置、５…管腔構造検出装置、６…モニタ、７…磁場発生装置、７ａ…信号線、８…ベッド、１１…先端部、１２…湾曲部、１２ａ…湾曲部、１２ｂ…湾曲部、１２ｃ…湾曲部、１３…可撓管部、１４…湾曲操作部材、１４ａ…左右湾曲操作ノブ、１４ｂ…上下湾曲操作ノブ、１４ｃ…固定ノブ、１５…撮像素子、１６…磁気センサ、１６ａ，１６ｂ…コイル、１７…進退機構、１７ａ…進退ローラー、１８…捻り機構、１８ａ…回転ローラー、１８ｂ…回転機構、１８ｃ…透明部、１９…駆動部、２０…被写体光取得部、２０ａ…フォーカスレンズ、２０ｂ…アクチュエータ、２１…照明レンズ、２２…ライトガイド、３１…画像取得部、３２…画像処理部、３３…制御部、３４…記憶部、３５…フォーカス制御部、３６…分析部、３７…分析可否判定部、３８…関連付け処理部、３９…見逃し判定部、５１…プロセッサ、５２…記憶装置、５３…インターフェース、５５…位置姿勢検出部、５６…駆動回路、５８…バス、ＡＸ１…基準軸、Ｐａ…患者、ＳＡ…隠れ部分
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】