特許 7596365 画像処理装置、画像処理方法、ナビゲーション方法及び内視鏡システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-29

(45)【発行日】2024-12-09

(54)【発明の名称】画像処理装置、画像処理方法、ナビゲーション方法及び内視鏡システム

(51)【国際特許分類】

   A61B 1/045 20060101AFI20241202BHJP

   A61B 1/00 20060101ALI20241202BHJP

【ＦＩ】

A61B1/045 610

A61B1/045 631

A61B1/00 510

【請求項の数】 13

(21)【出願番号】P 2022513820

(86)(22)【出願日】2020-04-09

(86)【国際出願番号】 JP2020016037

(87)【国際公開番号】W WO2021205624

(87)【国際公開日】2021-10-14

【審査請求日】2022-07-25

(73)【特許権者】

【識別番号】000000376

【氏名又は名称】オリンパス株式会社

(74)【代理人】

【識別番号】110004185

【氏名又は名称】インフォート弁理士法人

(74)【代理人】

【識別番号】110002907

【氏名又は名称】弁理士法人イトーシン国際特許事務所

(72)【発明者】

【氏名】藤井 俊行

【審査官】牧尾 尚能

(56)【参考文献】

【文献】国際公開第２０１８／１６３６４４（ＷＯ，Ａ１）

【文献】特開２０１９－０４２１５６（ＪＰ，Ａ）

【文献】特開２０１６－０１９５６９（ＪＰ，Ａ）

【文献】国際公開第２０１９／０７８２０４（ＷＯ，Ａ１）

【文献】特開２０１３－０００４６６（ＪＰ，Ａ）

【文献】国際公開第２０１２／１６１２４４（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ １／００－ １／３２

Ｇ０２Ｂ ２３／２４－２３／２６

(57)【特許請求の範囲】

【請求項1】

表示に適した画像を取得するための表示用取得条件に従ったフレームレートで上記表示用取得条件に基づく第１画像を取得すると共に、上記第１画像と上記表示用取得条件に従ったフレームレートより低いフレームレートで画像解析に適した画像を取得するための解析用取得条件に基づく第２画像又は第３画像とを混在させて取得することが可能な画像取得部に対して、上記表示用取得条件を含む第１取得条件と、上記表示用取得条件及び解析用取得条件を含む第２取得条件と、上記表示用取得条件及び上記第２取得条件の上記解析用取得条件とは異なる解析用取得条件であって、撮像対象に対する照明光の波長が上記第２取得条件の上記解析用取得条件とは異なる解析用取得条件を含む第３取得条件と、を設定する取得条件指定部と、
上記画像取得部により取得された上記第１から第３画像に対する画像解析を行う画像解析部と、
上記画像解析部の画像解析結果に基づいて支援情報を生成する支援情報生成部と、
上記第１取得条件から、上記第２取得条件への切換を上記画像解析結果に従って制御すると共に、上記第２取得条件から上記第３取得条件への切換を上記画像解析部における上記画像解析結果の精度に基づいて制御することで、上記第２取得条件に含まれる上記解析用取得条件に応じて取得された上記第２画像に対する画像解析結果の精度よりも上記第３取得条件に含まれる上記解析用取得条件に応じて取得される上記第３画像に対する画像解析結果の精度を高くする制御部と、
を具備することを特徴とする画像処理装置。

【請求項2】

上記制御部は、上記第２取得条件から、第１取得条件への切換を所定のタイミングで制御する
ことを特徴とする請求項１に記載の画像処理装置。

【請求項3】

上記画像取得部は、撮像装置の光学系及び撮像素子の少なくとも一方に対する制御のための第１パラメータと上記撮像装置の撮像対象に対する照明光の制御のための第２パラメータと上記第１から第３画像に対する信号処理のための第３パラメータのうちの少なくとも１つのパラメータを、上記表示用取得条件及び解析用取得条件の少なくとも一方に基づいて設定する、
ことを特徴とする請求項１に記載の画像処理装置。

【請求項4】

取得条件指定部と、画像解析部と、支援情報生成部と、制御部とを備えた画像処理装置における画像処理方法であって、
上記取得条件指定部が、表示に適した画像を取得するための表示用取得条件に従ったフレームレートで上記表示用取得条件に基づく第１画像を取得すると共に、上記第１画像と上記表示用取得条件に従ったフレームレートより低いフレームレートで画像解析に適した画像を取得するための解析用取得条件に基づく第２画像又は第３画像とを混在させて取得することが可能な画像取得部に対して、上記表示用取得条件を含む第１取得条件と、上記表示用取得条件及び解析用取得条件を含む第２取得条件と、上記表示用取得条件及び上記第２取得条件の上記解析用取得条件とは異なる解析用取得条件であって、撮像対象に対する照明光の波長が上記第２取得条件の上記解析用取得条件とは異なる解析用取得条件を含む第３取得条件と、を設定し、
上記画像解析部が、上記画像取得部により取得された上記第１から第３画像に対する画像解析を行って画像解析結果を得、
上記支援情報生成部が、上記画像解析結果に基づいて支援情報を生成し、
上記制御部が、上記第１取得条件から、上記第２取得条件への切換を上記画像解析結果に従って制御すると共に、上記第２取得条件から上記第３取得条件への切換を上記画像解析部における上記画像解析結果の精度に基づいて制御することで、上記第２取得条件に含まれる上記解析用取得条件に応じて取得された上記第２画像に対する画像解析結果の精度よりも上記第３取得条件に含まれる上記解析用取得条件に応じて取得される上記第３画像に対する画像解析結果の精度を高くする
ことを特徴とする画像処理方法。

【請求項5】

上記表示用取得条件は、所定のフレームレート以上のレートで上記表示に適した画像を取得することを可能にする情報を含む、
ことを特徴とする請求項１に記載の画像処理装置。

【請求項6】

上記解析用取得条件は、上記照明光の波長帯域を所定の帯域に制限することを可能にする情報を含む、
ことを特徴とする請求項３に記載の画像処理装置。

【請求項7】

上記表示用取得条件は、上記画像取得部が取得した上記第１画像に信号処理を施す画像処理部に対して、表示のための信号処理を実施させるための情報を含み、
上記解析用取得条件は、上記画像処理部に対して、上記画像取得部が取得した上記第２画像又は第３画像には表示のための信号処理を実施させないための情報を含む、
ことを特徴とする請求項１に記載の画像処理装置。

【請求項8】

上記制御部は、上記第１取得条件に基づいて取得した上記第１画像に対する上記画像解析部の画像解析結果の精度と上記第２取得条件に基づいて取得した上記第２画像に対する上記画像解析部の画像解析結果の精度との比較に基づいて、上記第３取得条件を決定する、
ことを特徴とする請求項１に記載の画像処理装置。

【請求項9】

上記第１及び第２取得条件は、規定の条件であり、
上記第３取得条件は、適応的に変化する条件である、
ことを特徴とする請求項８に記載の画像処理装置。

【請求項10】

上記制御部は、上記画像解析部の画像解析結果に含まれる値と、所定の基準値との比較に基づいて、上記第３取得条件を決定する、
ことを特徴とする請求項８に記載の画像処理装置。

【請求項11】

上記第１及び第２取得条件を記憶すると共に、上記第２取得条件に対応する上記画像解析部による画像解析結果の精度が上記第１取得条件に対応する上記画像解析部による画像解析結果の精度に対して、高くなった場合の上記第３取得条件及び低くなった場合の上記第３取得条件を記憶する取得条件記憶部、を更に具備し、
上記制御部は、上記画像解析結果の精度が高くなったか低くなったかに応じて、上記取得条件記憶部から読出す上記第３取得条件を決定する、
ことを特徴とする請求項１に記載の画像処理装置。

【請求項12】

取得条件指定部、画像解析部及び制御部を具備する画像処理装置によるナビゲーション方法であって、
上記取得条件指定部が、
表示に適した画像を取得するための表示用取得条件に従ったフレームレートで上記表示用取得条件に基づく第１画像を取得すると共に、上記第１画像と上記表示用取得条件に従ったフレームレートより低いフレームレートで画像解析に適した画像を取得するための解析用取得条件に基づく第２画像又は第３画像とを混在させて取得することが可能な画像取得部に対して、上記表示用取得条件を含む第１取得条件を設定し、
上記画像取得部に対して上記表示用取得条件及び解析用取得条件を含む第２取得条件を設定し、
上記表示用取得条件及び上記第２取得条件の上記解析用取得条件とは異なる解析用取得条件であって、撮像対象に対する照明光の波長が上記第２取得条件の上記解析用取得条件とは異なる解析用取得条件を含む第３取得条件を設定し、
上記画像解析部が、
上記画像取得部により取得された上記第１から第３画像に対する画像解析を行って画像解析結果を得、
上記制御部が、上記第１取得条件から、上記第２取得条件への切換を上記画像解析結果に従って制御すると共に、上記第２取得条件から上記第３取得条件への切換を上記画像解析部における上記画像解析結果の精度に基づいて制御することで、上記第２取得条件に含まれる上記解析用取得条件に応じて取得された上記第２画像に対する画像解析結果の精度よりも上記第３取得条件に含まれる上記解析用取得条件に応じて取得される上記第３画像に対する画像解析結果の精度を高くする
ことを特徴とするナビゲーション方法。

【請求項13】

表示に適した画像を取得するための表示用取得条件に従ったフレームレートで上記表示用取得条件に基づく第１画像を取得すると共に、上記第１画像と上記表示用取得条件に従ったフレームレートより低いフレームレートで画像解析に適した画像を取得するための解析用取得条件に基づく第２画像又は第３画像とを混在させて取得することが可能な照明部と撮像部を有する内視鏡と、
上記表示用取得条件と上記解析用取得条件との少なくとも一方に基づいて、上記内視鏡に上記第１画像から第３画像を取得させるビデオプロセッサと、
上記表示用取得条件を含む第１取得条件と、上記表示用取得条件及び解析用取得条件を含む第２取得条件と、上記表示用取得条件及び上記第２取得条件の上記解析用取得条件とは異なる解析用取得条件であって、撮像対象に対する照明光の波長が上記第２取得条件の上記解析用取得条件とは異なる解析用取得条件を含む第３取得条件と、を設定する取得条件指定部と、上記ビデオプロセッサにより取得された上記第１から第３画像に対する画像解析を行う画像解析部と、上記画像解析部の画像解析結果に基づいて支援情報を生成する支援情報生成部と、上記第１取得条件から、上記第２取得条件への切換を上記画像解析結果に従って制御すると共に、上記第２取得条件から上記第３取得条件への切換を上記画像解析部における上記画像解析結果の精度に基づいて制御することで、上記第２取得条件に含まれる上記解析用取得条件に応じて取得された上記第２画像に対する画像解析結果の精度よりも上記第３取得条件に含まれる上記解析用取得条件に応じて取得される上記第３画像に対する画像解析結果の精度を高くする制御部と、を備えた画像処理装置と、
を具備することを特徴とする内視鏡システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像を観察する際におけるナビゲーションを行うための画像処理装置、画像処理方法、ナビゲーション方法及び内視鏡システムに関する。

【背景技術】

【0002】

従来、画像処理技術を用いて、各種作業の支援を行うナビゲーション技術が開発されている。例えば、医療分野においては、画像処理技術を用いて、内視鏡の挿入を支援する挿入支援や病状の推定結果の診断支援等が可能となっている。例えば、定量的な判断尺度の提供・診断の際に着目すべき微細構造の特定・画像解析による病状の推定結果などの支援情報を提供するコンピュータ診断支援（Ｃｏｍｐｕｔｅｒ Ａｉｄｅｄ Ｄｉａｇｎｏｓｉｓ：ＣＡＤ）も開発されている。このようなＣＡＤや挿入支援等を実現する画像処理装置においては、術者に適切な支援を与えるための工夫がなされている。

【0003】

例えば、日本国特開２０１９－４２１５６号公報には、第１及び第２の医療画像についての２つの解析結果を、位置または範囲（大きさ）等を比較し得るように表示可能にして、解析結果の確認を容易にする技術が開示されている。

【0004】

ところで、内視鏡等によって取得されるリアルタイムの医療画像は、画像解析のために画像処理されるだけでなくモニタ等に画像表示させることで、手術や検査等において、患部等の極めて有用な画像情報を術者に提供することができる。しかしながら、日本国特開２０１９－４２１５６号公報では、取得する画像が手術や検査等時の目視に最適化されておらず、術者にとって必ずしも最適な支援が行われていない。

【0005】

本発明は、画像の取得条件を最適化することにより、術者に対して極めて効果的な支援を行うことができる画像処理装置、画像処理方法、ナビゲーション方法及び内視鏡システムを提供することを目的とする。

【発明の開示】

【課題を解決するための手段】

【0006】

本発明の一態様の画像処理装置は、表示に適した画像を取得するための表示用取得条件に従ったフレームレートで上記表示用取得条件に基づく第１画像を取得すると共に、上記第１画像と上記表示用取得条件に従ったフレームレートより低いフレームレートで画像解析に適した画像を取得するための解析用取得条件に基づく第２画像又は第３画像とを混在させて取得することが可能な画像取得部に対して、上記表示用取得条件を含む第１取得条件と、上記表示用取得条件及び解析用取得条件を含む第２取得条件と、上記表示用取得条件及び上記第２取得条件の上記解析用取得条件とは異なる解析用取得条件であって、撮像対象に対する照明光の波長が上記第２取得条件の上記解析用取得条件とは異なる解析用取得条件を含む第３取得条件と、を設定する取得条件指定部と、上記画像取得部により取得された上記第１から第３画像に対する画像解析を行う画像解析部と、上記画像解析部の画像解析結果に基づいて支援情報を生成する支援情報生成部と、上記第１取得条件から、上記第２取得条件への切換を上記画像解析結果に従って制御すると共に、上記第２取得条件から上記第３取得条件への切換を上記画像解析部における上記画像解析結果の精度に基づいて制御することで、上記第２取得条件に含まれる上記解析用取得条件に応じて取得された上記第２画像に対する画像解析結果の精度よりも上記第３取得条件に含まれる上記解析用取得条件に応じて取得される上記第３画像に対する画像解析結果の精度を高くする制御部と、を具備する。

【0007】

本発明の一態様の画像処理方法は、取得条件指定部と、画像解析部と、支援情報生成部と、制御部とを備えた画像処理装置における画像処理方法であって、上記取得条件指定部が、表示に適した画像を取得するための表示用取得条件に従ったフレームレートで上記表示用取得条件に基づく第１画像を取得すると共に、上記第１画像と上記表示用取得条件に従ったフレームレートより低いフレームレートで画像解析に適した画像を取得するための解析用取得条件に基づく第２画像又は第３画像とを混在させて取得することが可能な画像取得部に対して、上記表示用取得条件を含む第１取得条件と、上記表示用取得条件及び解析用取得条件を含む第２取得条件と、上記表示用取得条件及び上記第２取得条件の上記解析用取得条件とは異なる解析用取得条件であって、撮像対象に対する照明光の波長が上記第２取得条件の上記解析用取得条件とは異なる解析用取得条件を含む第３取得条件と、を設定し、上記画像解析部が、上記画像取得部により取得された上記第１から第３画像に対する画像解析を行って画像解析結果を得、上記支援情報生成部が、上記画像解析結果に基づいて支援情報を生成し、上記制御部が、上記第１取得条件から、上記第２取得条件への切換を上記画像解析結果に従って制御すると共に、上記第２取得条件から上記第３取得条件への切換を上記画像解析部における上記画像解析結果の精度に基づいて制御することで、上記第２取得条件に含まれる上記解析用取得条件に応じて取得された上記第２画像に対する画像解析結果の精度よりも上記第３取得条件に含まれる上記解析用取得条件に応じて取得される上記第３画像に対する画像解析結果の精度を高くする。

【0008】

本発明の一態様のナビゲーション方法は、取得条件指定部、画像解析部及び制御部を具備する画像処理装置によるナビゲーション方法であって、上記取得条件指定部が、表示に適した画像を取得するための表示用取得条件に従ったフレームレートで上記表示用取得条件に基づく第１画像を取得すると共に、上記第１画像と上記表示用取得条件に従ったフレームレートより低いフレームレートで画像解析に適した画像を取得するための解析用取得条件に基づく第２画像又は第３画像とを混在させて取得することが可能な画像取得部に対して、上記表示用取得条件を含む第１取得条件を設定し、上記画像取得部に対して上記表示用取得条件及び解析用取得条件を含む第２取得条件を設定し、上記表示用取得条件及び上記第２取得条件の上記解析用取得条件とは異なる解析用取得条件であって、撮像対象に対する照明光の波長が上記第２取得条件の上記解析用取得条件とは異なる解析用取得条件を含む第３取得条件を設定し、上記画像解析部が、上記画像取得部により取得された上記第１から第３画像に対する画像解析を行って画像解析結果を得、上記制御部が、上記第１取得条件から、上記第２取得条件への切換を上記画像解析結果に従って制御すると共に、上記第２取得条件から上記第３取得条件への切換を上記画像解析部における上記画像解析結果の精度に基づいて制御することで、上記第２取得条件に含まれる上記解析用取得条件に応じて取得された上記第２画像に対する画像解析結果の精度よりも上記第３取得条件に含まれる上記解析用取得条件に応じて取得される上記第３画像に対する画像解析結果の精度を高くする。

【0009】

本発明の一態様の内視鏡システムは、表示に適した画像を取得するための表示用取得条件に従ったフレームレートで上記表示用取得条件に基づく第１画像を取得すると共に、上記第１画像と上記表示用取得条件に従ったフレームレートより低いフレームレートで画像解析に適した画像を取得するための解析用取得条件に基づく第２画像又は第３画像とを混在させて取得することが可能な照明部と撮像部を有する内視鏡と、上記表示用取得条件と上記解析用取得条件との少なくとも一方に基づいて、上記内視鏡に上記第１画像から第３画像を取得させるビデオプロセッサと、上記表示用取得条件を含む第１取得条件と、上記表示用取得条件及び解析用取得条件を含む第２取得条件と、上記表示用取得条件及び上記第２取得条件の上記解析用取得条件とは異なる解析用取得条件であって、撮像対象に対する照明光の波長が上記第２取得条件の上記解析用取得条件とは異なる解析用取得条件を含む第３取得条件と、を設定する取得条件指定部と、上記ビデオプロセッサにより取得された上記第１から第３画像に対する画像解析を行う画像解析部と、上記画像解析部の画像解析結果に基づいて支援情報を生成する支援情報生成部と、上記第１取得条件から、上記第２取得条件への切換を上記画像解析結果に従って制御すると共に、上記第２取得条件から上記第３取得条件への切換を上記画像解析部における上記画像解析結果の精度に基づいて制御することで、上記第２取得条件に含まれる上記解析用取得条件に応じて取得された上記第２画像に対する画像解析結果の精度よりも上記第３取得条件に含まれる上記解析用取得条件に応じて取得される上記第３画像に対する画像解析結果の精度を高くする制御部と、を備えた画像処理装置と、を具備する。

【図面の簡単な説明】

【0010】

【図1】本発明の第１の実施形態に係る画像処理装置を含む内視鏡システムの構成を示すブロック図である。

【図2】表示用画像と解析用画像とのニーズを説明するための図表である。

【図3】図１の内視鏡システムの利用形態の一例を示す説明図である。

【図4】第１の実施形態に係る内視鏡から照射されるＷＬＩ光およびＮＢＩ光と被検体の粘膜における血管との関係を説明するための図である。

【図5】ＤＲＩ光と被検体の粘膜における血管との関係を説明するための図である。

【図6】ビデオプロセッサ３によって取得される撮像画像の一例を示す説明図である。

【図7】モニタ５に出力される画像の一例を示す説明図である。

【図8】画像解析部３２に供給される画像の一例を示す説明図である。

【図9】表示用取得条件及び解析用取得条件に基づく画像処理部１２の画像処理の一例を説明するための図表である。

【図10】第１の実施形態の動作を説明するためのフローチャートである。

【図11】特定のユースケースにおいて取得する画像を説明するための説明図である。

【図12】判定部３４による判定に基づく取得条件Ｉ３の一例を説明するための図表である。

【図13】支援表示を説明するための説明図である。

【図14】複数の要求に対する取得条件の優先順位を説明するための図表である。

【図15】第２の実施形態に採用される動作フローを示すフローチャートである。

【図16】第３の実施形態を示すブロック図である。

【発明を実施するための最良の形態】

【0011】

以下、図面を参照して本発明の実施の形態について詳細に説明する。

【0012】

（第１の実施形態）
図１は本発明の第１の実施形態に係る画像処理装置を含む内視鏡システムの構成を示すブロック図である。

【0013】

例えば内視鏡においては、ナビゲーションのための画像解析に用いる画像とモニタに表示する表示用の画像とを別々の撮像装置によって取得しようとすると、内視鏡先端部の大型化が避けられない。このような理由から、一般的には、ナビゲーションのための画像解析に用いる画像としては、表示用の画像が流用される。しかしながら、表示用の画像は、表示に適した取得条件で取得されており、画像解析に必要な情報が欠落している可能性がある。なお、画像解析用の画像は、視認性に劣る可能性があり、画像解析用の画像を表示用の画像として用いることは好ましくない。以上から、見やすい内視鏡画像を表示しながら高精度の解析結果に基づく支援を行うことは困難であった。なお、本明細書において、高精度の解析結果とは、術者に対してより有効な支援を可能にする解析結果のことであり、正確な解析結果を意味するだけでなく、各種解析結果のうち支援に必要な種類の解析結果が得られることを意味するものとする。

【0014】

そこで、本実施形態においては、取得条件が異なる複数種類の画像であって、視認性に優れた画像表示のための画像と解析性に優れた画像とを含む複数種類の画像を取得可能にすることにより、術者に対して極めて効果的な支援を可能にするものである。なお、解析性に優れた画像とは、高精度の解析結果を得ることを可能にする画像のことである。

【0015】

更に、本実施形態においては、視認性に優れた画像表示を維持しながら、解析性に一層優れた画像を取得するために、画像の取得条件を適応的に変化させることも可能である。なお、図１では内視鏡システムを例に説明するが、これに限定されるものではなく、観察を伴う各種作業を実施するための各種装置に適用可能である。

【0016】

図２は表示用画像と解析用画像とのニーズを説明するための図表である。

【0017】

表示用の画像（表示用画像）は、人が画面上に表示された画像を視認することで必要な情報を取得するための画像である。一方、解析用の画像（解析用画像）は、ナビゲーション装置において解析対象となる画像である。人とコンピュータとの情報処理の質を考慮すると、表示用画像と解析用画像とにそれぞれ相応しい特性は相互に異なる。

【0018】

図２に示すように、表示用画像は、人が認識し易いように、なるべく有用な情報のみを含む視認性に優れた画像であることが好ましい。例えば、表示用画像の画質は、ノイズが少なく、人の目の特性に近いガンマ処理が施され、見たい周波数帯域が強調された画像であることが好ましい。

【0019】

一方、解析用画像は、コンピュータ等により処理されることから、解析のための画像情報に含まれる情報量は多いほど有用な解析結果（高精度の解析結果）が得られる。例えば、解析用画像は、画質について、注目部位以外が目立つような画像情報であっても、解析結果に与える悪影響は小さい。また、画像にノイズリダクション、ガンマ処理、画像強調処理等が施されると、解析に必要な情報が欠落することがあるので、解析用画像については、これらの画像処理は施さない方がよい。

【0020】

また、例えば、粘膜における血管の観察等に有効なＮＢＩ（狭帯域光観察（Ｎａｒｒｏｗ Ｂａｎｄ Ｉｍａｇｉｎｇ））等の特殊光観察の場面においては、人の画像認識能力を考えると、モニタ画面に表示される画像としては、１種類だけの特殊光観察画像が表示されるか、または、せめて通常光観察画像に特集光観察画像を重畳する表示に留める方がよい。

【0021】

一方、ナビゲーション装置に複数種類の特殊光観察画像信号が連続的に入力されたとしても画像解析処理に与える悪影響は無く、むしろ複数種類の画像情報により有用な解析結果が得られる可能性が高くなる。

【0022】

また、表示用画像のフレームレートは、人が視認する上で３０ＦＰＳ以上であることが好ましいが、解析用画像については、相対的に低いフレームレート、例えば、１ＦＰＳ以下のフレームレートであったとしても、有用な情報を得ることが可能である。

【0023】

（構成）
図３は図１の内視鏡システムの利用形態の一例を示す説明図である。図３を参照して、内視鏡システムの利用形態の一例について説明する。

【0024】

図３は内視鏡システム１を用いて、被検体Ｐの腹腔内に対する処置を行う例を示している。内視鏡システム１が腹腔鏡手術システムの例である。内視鏡システム１は、被検体Ｐの体腔内を撮像し撮像信号を出力する内視鏡２（腹腔鏡）と、内視鏡２を接続し当該内視鏡２の駆動を制御すると共に、当該内視鏡２において撮像した被検体に係る撮像信号を取得し当該撮像信号に対して所定の画像処理を施すビデオプロセッサ３と、ビデオプロセッサ３に内設され、被検体に照射するための所定の照明光を供給する光源装置４と、撮像信号に応じた観察画像を表示するモニタ５と、ビデオプロセッサ３に接続され、診断支援等を行うための画像処理装置であるナビゲーション装置３０と、を主に備える。

【0025】

図３では、被検体Ｐの腹部に内視鏡２及び処置具７がトラカールを介して挿入されている様子を示している。内視鏡２は、ユニバーサルコードを介してビデオプロセッサ３に接続される。ビデオプロセッサ３には、光源装置４が内蔵されており、光源装置４によって腹腔内が照明されるように構成されている。内視鏡２は、ビデオプロセッサ３により駆動されて、被検体Ｐの腹腔内を撮像する。内視鏡２によって取得された撮像画像はビデオプロセッサ３によって信号処理された後、ナビゲーション装置３０に供給される。

【0026】

ナビゲーション装置３０は、入力された撮像画像をモニタ５に与えて表示すると共に、撮像画像に対する解析処理によって支援情報を生成する。ナビゲーション装置３０は、生成した支援情報を、必要に応じてモニタ５に出力して表示させることで、術者に対する支援を行う。

【0027】

本実施形態においては、ナビゲーション装置３０は、ビデオプロセッサ３に指示を与えて、内視鏡２の撮像における撮像条件及びビデオプロセッサ３の画像処理における画像処理条件の少なくとも一方を含む画像の取得条件を設定することにより、視認性に優れた画像表示のための画像を取得すると同時に、支援のための画像解析に有効な画像を取得するようになっている。

【0028】

（内視鏡）
図１において、内視鏡２としては、消化器内視鏡や腹腔鏡等の各種内視鏡を採用することができる。内視鏡２は、被検体の体腔内等に挿入される細長の挿入部、挿入部の基端側に配設され術者が把持して操作を行う操作部を有する。操作部の基端部からはユニバーサルコードが延設されており、このユニバーサルコードにより、内視鏡２は、光源装置４を含むビデオプロセッサ３に着脱自在に接続されるようになっている。

【0029】

挿入部の例えば先端には、撮像装置２０が配設される。撮像装置２０は、光学系２１、撮像素子２２及び照明部２３を備える。照明部２３は、光源装置４により制御されて照明光を発生し、発生した照明光を被写体に照射する。照明部２３は、例えばＬＥＤ（発光ダイオード）等の図示しない所定の光源を有する構成であってもよい。本実施形態においては、照明部２３は、通常観察用の白色光を発生する光源及び狭帯域観察用の狭帯域光を発生する光源、所定波長の赤外光を発生する光源等の複数の光源を有していてもよい。照明部２３は、様々な照射モードを有しており、光源装置４に制御されて、照明光の波長の切り替えや照射強度、照射の時間的なパターン制御などが可能である。

【0030】

なお、図１では撮像装置２０内に照明部２３を設ける例について示したが、光源装置４が照明光を発生し、この照明光を図示しないライトガイドにより内視鏡２の先端に導いて、被写体に照射する構成であってもよい。

【0031】

光学系２１は、ズームやフォーカシングのための図示しないレンズや絞り等を備えて、これらのレンズを駆動する図示しないズーム（変倍）機構、ピント及び絞り機構を備えていてもよい。照明部２３からの照明光は被検体に照射され、被検体からの戻り光が光学系２１を通過して撮像素子２２の撮像面に導かれる。

【0032】

撮像素子２２は、ＣＣＤやＣＭＯＳセンサ等によって構成されており、光学系２１からの被写体光学像を光電変換して被写体の撮像画像（撮像信号）を取得する。撮像装置２０は、取得した撮像画像をビデオプロセッサ３に出力する。

【0033】

ビデオプロセッサ３は、ビデオプロセッサ３の各部、撮像装置２０及び光源装置４を制御する制御部１１を備えている。制御部１１及び制御部１１内の各部は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等を用いたプロセッサによって構成されていてもよく、図示しないメモリに記憶されたプログラムに従って動作して各部を制御するものであってもよいし、ハードウェアの電子回路で機能の一部又は全部を実現するものであってもよい。

【0034】

（光源装置）
光源装置４は、照明部２３を制御して、白色光及び各種特殊観察用光を発生させる。例えば、光源装置４は、照明部２３に、白色光、ＮＢＩ（狭帯域光観察（Ｎａｒｒｏｗ Ｂａｎｄ Ｉｍａｇｉｎｇ）光、ＤＲＩ（長波長狭帯域光観察（Ｄｕａｌ Ｒｅｄ Ｉｍａｇｉｎｇ）光、ＡＦＩ（蛍光観察（Ａｕｔｏ Ｆｌｕｏｒｅｓｃｅｎｃｅ Ｉｍａｇｉｎｇ）のための励起光（以下、ＡＦＩ光）を発生させてもよい。白色光は、いわゆるＷＬＩ（ｗｈｉｔｅ ｌｉｇｈｔ ｉｍａｇｉｎｇ）観察（通常観察）用の照明光（以下、ＷＬＩ光）として利用され、ＮＢＩ光は、狭帯域光観察に用いられ、ＤＲＩ光は、長波長狭帯域光観察に用いられ、ＡＩＦ光は蛍光観察に用いられる。

【0035】

なお、照明部２３は、複数種類のＬＥＤやレーザーダイオードやキセノンランプ等によって構成されてこれらの照明光を発生してもよく、白色光と、ＮＢＩフィルタ、ＤＲＩフィルタ、ＡＦＩフィルタなどを利用して、これらの照明光を生成するようになっていてもよい。照明部２３が光量を増減させることで、撮像装置２０の撮像時の露出値を変更することができ、飽和や低輝度ノイズの影響を排除した露出制御を可能としている。なお、ＮＢＩ光として、波長λ＝４１５ｎｍの青色光と、波長λ＝５４０ｎｍの緑色光を発生してもよい。

【0036】

（ビデオプロセッサ）
ビデオプロセッサ３の制御部１１は、画像処理部１２、撮像パラメータ設定部１３、画像処理パラメータ設定部１４及び表示制御部１５を備えている。撮像パラメータ設定部１３は、光源装置４を制御して、照明部２３が発生する照明光の状態を設定することできる。また、撮像パラメータ設定部１３は、撮像装置２０を制御して、光学系２１による光学系の状態及び撮像素子２２の駆動状態を設定することができる。

【0037】

即ち、撮像パラメータ設定部１３は、撮像装置２０の撮像時における光学的な条件及び撮像素子２３の駆動条件を含む撮像条件の設定が可能である。例えば、撮像パラメータ設定部１３の設定により、照明光として、ＮＢＩ光、ＤＲＩ光、ＡＦＩ光等を発生させると共に、発生させる照明光の波長や強度等を制御することができる。また、撮像パラメータ設定部１３の設定により、撮像装置２０は、様々なモードでの撮像信号出力が可能であり、例えば、フレームレート、画素数、画素加算、読み出し領域の変更、感度切換、色信号の弁別出力等を制御することができる。

【0038】

なお、撮像素子２２から出力される撮像信号はＲＡＷデータと呼ばれることがあり、これは画像処理前のオリジナルなデータとして使われる場合がある。

【0039】

（画像処理部）
画像処理部１２は、撮像装置２０から取り込まれた撮像画像（動画像及び静止画像）が与えられ、取り込まれた撮像画像に対して、所定の信号処理、例えば、色調整処理、マトリックス変換処理、ノイズ除去処理、画像の合成、適応型処理、その他各種の信号処理を行う。画像処理パラメータ設定部１４は、画像処理部１２における画像処理の処理パラメータを設定するようになっている。

【0040】

画像処理部１２の画像処理によって、撮像画像の視認性を向上させることが可能である。また、画像処理部１２の画像処理によって、撮像画像に対する画像解析処理の解析特性を向上させることも可能である。また、画像処理部１２は、撮像素子からのいわゆるＲＡＷデータを特定の形式のデータに変換することも可能である。

【0041】

表示制御部１５は、画像処理部１２によって信号処理された撮像画像が与えられる。表示制御部１５は、撮像装置２０によって取得された撮像画像を、モニタ５において処理可能な観察画像に変換して出力する。

【0042】

また、ビデオプロセッサ３には操作部１６が設けられている。操作部１６は、例えば各種ボタンやダイヤルやタッチパネルにより構成されていてもよく、ユーザ操作を受け付け、ユーザ操作に基づく操作信号を制御部１１に出力する。なお、操作部１６は、ハンズフリーに対応し、ジェスチャー入力、音声入力等を受け付けて操作信号を発生するように構成されていてもよい。制御部１１は、操作信号に応じて各部を制御することができるようになっている。

【0043】

本実施形態においては、撮像パラメータ設定部１３及び画像処理パラメータ設定部１４による設定は、ナビゲーション装置３０により制御されるようになっている。

【0044】

（ナビゲーション装置）
ナビゲーション装置３０は、制御部３１、画像解析部３２、取得条件記憶部３３、判定部３４、取得条件指定部３５及び支援情報生成部３６を備えている。制御部３１は、ＣＰＵやＦＰＧＡ等を用いたプロセッサによって構成されていてもよく、図示しないメモリに記憶されたプログラムに従って動作して各部を制御するものであってもよいし、ハードウェアの電子回路で機能の一部又は全部を実現するものであってもよい。また、ナビゲーション装置３０の全体又はナビゲーション装置３０の各構成部についても、ＣＰＵやＦＰＧＡ等を用いたプロセッサによって構成されていてもよく、図示しないメモリに記憶されたプログラムに従って動作して各部を制御するものであってもよいし、ハードウェアの電子回路で機能の一部又は全部を実現するものであってもよい。

【0045】

取得条件記憶部３３には、ビデオプロセッサ３の撮像パラメータ設定部１３及び画像処理パラメータ設定部１４の設定内容を決定するための取得条件が記憶されている。例えば、取得条件記憶部３３には、光源装置４が照明部２３に発光させる照明光の種類や設定に関する情報（以下、光源設定情報という）、光学系２１の駆動に関する情報（以下、光学系設定情報という）及び撮像素子２２の駆動に関する情報（以下、撮像設定情報という）が記憶されていてもよい。更に、取得条件記憶部３３は、画像処理部１２の画像処理内容を決定するための情報（以下、画像処理設定情報という）が記憶されていてもよい。

【0046】

また、取得条件記憶部３３には、これらの光源設定情報、光学系設定情報、撮像設定情報及び画像処理設定情報（以下、これらを取得条件設定情報ともいう）が組として記憶されていてもよい。例えば、初期状態における取得条件設定情報や所定の観察モードにおける取得条件設定情報や所定の解析条件に対応した取得条件設定情報等が予め記憶されていてもよい。

【0047】

取得条件指定部３５は、制御部３１に制御されて、取得条件記憶部３３から読み出した取得条件設定情報を撮像パラメータ設定部１３及び画像処理パラメータ設定部１４に指定するようになっている。取得条件指定部３５の指定に応じて、内視鏡２における観察モードや、照明光の種類や、撮像に関する制御や、ビデオプロセッサ３における画像処理の処理等が行われる。なお、取得条件指定部３５は、取得条件記憶部３３に記憶されていない取得条件設定情報についても、制御部３１の制御により発生してビデオプロセッサ３に出力するように構成されていてもよい。また、取得条件記憶部３３を省略して、取得条件指定部３５が必要に応じて取得条件設定情報を生成するようになっていてもよい。

【0048】

例えば、取得条件指定部３５が、光源設定情報を指定することで、光源装置４によって、ＷＬＩ光、ＮＢＩ光、ＤＲＩ光、ＡＦＩ光等のいずれの照明光を用いるかが指定される。

【0049】

（ＷＬＩ光，ＮＢＩ光，ＤＲＩ光，ＡＦＩ光）
ここで、本実施形態において採用するＷＬＩ光，ＮＢＩ光，ＤＲＩ，ＡＦＩ光について図４、図５を参照して説明する。図４は、第１の実施形態に係る内視鏡から照射されるＷＬＩ光およびＮＢＩ光と被検体の粘膜における血管との関係を説明するための図であり、図５は、ＤＲＩ光と被検体の粘膜における血管との関係を説明するための図である。

【0050】

ＷＬＩ光（白色光）を粘膜表面に照射することにより、粘膜に存在する血管等を、人（医師）にとっては自然な色によってモニタ上に再現することができる。一方で、ＷＬＩ光（白色光）を用いた場合、粘膜表層部の毛細血管および粘膜微細模様については、人の認識にとっては必ずしも明確に再現できるものではない。

【0051】

本実施形態では、血液中のヘモグロビンに吸収されやすい狭帯域化された２つの波長（青色光：３９０～４４５ｎｍ（本実施形態においては４１５ｎｍ）／緑色光：５３０～５５０ｎｍ（本実施形態においては５４０ｎｍ））によるＮＢＩ（Ｎａｒｒｏｗ Ｂａｎｄ Ｉｍａｇｉｎｇ）光を採用し、粘膜を観察してもよい。

【0052】

このＮＢＩ光を照射することにより、図４に示すように、粘膜表層部６１における毛細血管６４においてはＮＢＩ光における青色光（４１５ｎｍ）が吸収されることにより結果として当該毛細血管６４が明確に描出され、また、同様に、緑色光（５４０ｎｍ）により、表層部よりやや深部の層６２における血管６５が描出されることとなる。これにより、粘膜表層部６１における毛細血管および粘膜微細模様が強調して表示されることとなる。

【0053】

なお、上述したように、本実施形態においては、狭帯域光であるＮＢＩ光の波長を異なる他の波長に設定して特殊光観察を行うようにしてもよい。

【0054】

一方、本実施形態においては、２つの長波長（６００ｎｍ／６３０ｎｍ）に狭帯域化された光によるＤＲＩ（Ｄｕａｌ Ｒｅｄ Ｉｍａｇｉｎｇ）光を採用し、被検体に当該ＤＲＩ光を照射することにより、通常光観察では視認が難しい粘膜深層から粘膜下層（図５における層６３）の血管６６または血流情報を強調表示するようになっていてもよい。

【0055】

さらに本実施形態においては、被検体に対して蛍光観察のための所定の励起光を照射し、腫瘍性病変と正常粘膜を異なる色調で強調表示する、いわゆる蛍光観察ＡＦＩ（Ａｕｔｏ Ｆｌｕｏｒｅｓｃｅｎｃｅ Ｉｍａｇｉｎｇ）も可能となっている。

【0056】

また、このような光源制御だけでなく、取得条件設定情報によって、光学系２１及び撮像素子２２の制御が可能であり、例えば、取得条件の設定により撮像素子の露出時間等を変更することも可能である。露出制御によって、飽和や低輝度ノイズの影響を排除することもできる。

【0057】

（複数種類の画像の取得方法の一例）
本実施形態においては、取得条件指定部３５は、視認性に優れた表示用の画像を取得するための条件である表示用取得条件を規定する取得条件設定情報（以下、表示用取得条件設定情報という）と画像解析処理の解析性に優れた解析用の画像を取得するための条件である解析用取得条件を規定する取得条件設定情報（以下、解析用取得条件設定情報という）とを、混在させて発生させてもよい。例えば、所定の第１期間において表示用取得条件設定情報のみを出力し、所定の第２期間において、表示用取得条件設定情報と解析用取得条件設定情報とを混在させて出力してもよい。

【0058】

表示用取得条件設定情報がビデオプロセッサ３に与えられると、ビデオプロセッサ３は、視認性に優れた表示用の画像を出力可能なように、表示用取得条件設定情報に基づいて、光源装置４（照明部２３）、光学系２１、撮像素子２２及び画像処理部１２の少なくとも１つを制御する。また、ビデオプロセッサ３は、表示用取得条件設定情報と解析用取得条件設定情報とが混在して入力されると、視認性に優れた表示用の画像と解析性に優れた画像が出力されるように、表示用取得条件設定情報と解析用取得条件設定情報とに基づいて、光源装置４（照明部２３）、光学系２１、撮像素子２２及び画像処理部１２の少なくとも１つを制御する。
このように表示用取得条件は、医師が自然光で患部を探したり、患部(主に表面)を照らして観察したりする時に自然に感じられるように、光源の波長を自然光（昼光）に近づけ、撮像結果に対して視認性重視の画像処理を行い、フレームレートなども連続性を重視した設定にするための撮像や照明の条件である。また、解析用取得条件は、医師の視認性というより画像判定のための有効情報量を増やした撮像や照明の条件で、光源の波長を患部表面のみならず患部内部に届くものとし、撮像結果に対して解析のための有効情報量重視の画像処理を行い、フレームレートなども連続性より特定のパターンや画像の特徴を判定しやすいように、解析性を重視した設定にしている。

【0059】

図６から図８は表示用取得条件設定情報と解析用取得条件設定情報とが混在してビデオプロセッサ３に入力された場合において、それぞれビデオプロセッサ３によって取得される撮像画像、モニタ５に出力される画像又は画像解析部３２に供給される画像の一例を示す説明図である。

【0060】

図６は撮像素子２２の撮像によって得られる一連のフレームを示している。図６において、ＷＬＩ＜Ｒａｗ＞は、高光量のＷＬＩ光を照明光として用いた撮像により得られた高フレームレート（例えば３０ＦＰＳ以上）の撮像画像を示している。また、図６のＮＢＩ＜Ｒａｗ＞は、ＮＢＩ光を照明光として用いた撮像（狭帯域光観察）により得られた低フレームレート（例えば１ＦＰＳ程度）の撮像画像を示している。また、低光量ＷＬＩ＜Ｒａｗ＞は、低光量のＷＬＩ光を照明光として用いた撮像により得られた低フレームレート（例えば１ＦＰＳ）の撮像画像を示している。

【0061】

ＷＬＩ＜Ｒａｗ＞フレームは、表示用画像の生成に用いられる。ＮＢＩ＜Ｒａｗ＞フレーム、低光量ＷＬＩ＜Ｒａｗ＞フレームは、解析用画像の生成に用いられる。なお、ＷＬＩ＜Ｒａｗ＞フレームを、解析用画像の生成に用いてもよい。また、図６では記載されていないが、画像解析用の撮像画像として、ＤＲＩ光を照明光として用いて撮像して得たＤＲＩ＜Ｒａｗ＞フレームを低フレームレート（１ＦＰＳ程度）で取得してもよく、ＡＦＩ観察用励起光による撮像画像を取得してもよい。このように、対象物を撮像する同じ位置にて、撮像した結果を取得する条件を変更するので、単純な構成で、複雑な操作なく有用な情報取得を行うことが出来る。
例えば、高光量のＷＬＩ光を照明光として用いた撮像により得られた高フレームレート（例えば３０ＦＰＳ以上）の撮像画像からは視認性に優れた表示画像が得られるものと期待することができ、このような画像を得るための光源の設定条件、光学系の設定条件、撮像設定条件等が、表示用取得条件となる。
また、例えば、ＮＢＩ＜Ｒａｗ＞フレーム等の特殊光観察によって得られる画像からは、画像解析の解析性に優れた画像が得られるものと期待することができ、このような画像を得るための光源の設定条件、光学系の設定条件、撮像設定条件等が、解析用取得条件となる。また、視認性に優れた画像を得るための画像処理の条件は表示用取得条件であり、解析性に優れた画像を得るための画像処理の条件は解析用取得条件である。

【0062】

図９は画像処理に関して表示用取得条件及び解析用取得条件の具体例を示す図表であり、画像処理部１２の画像処理によって実現可能な条件の一例を説明するためのものである。図９に示すように、ビデオプロセッサ３は、例えば、撮像信号に施す画像処理のうちガンマ処理に関しては、表示用取得条件に従って、人の目の特性に合わせたガンマ処理を施す。また、ビデオプロセッサ３は、解析用取得条件に従って、解析処理に不要なガンマ処理は行わない。同様に、表示用取得条件及び解析用取得条件に従って、ビデオプロセッサ３は、その他のホワイトバランス、色補正、ノイズリダクション、画像強調等の画像処理に関して、図９に示すように、表示用画像を得るための画像処理と解析用画像を得るための画像処理とを区別する。

【0063】

ビデオプロセッサ３の画像処理部１２は、表示用取得条件設定情報に従って信号処理することで、ＷＬＩ＜Ｒａｗ＞の撮像画像から視認性に優れた表示用のＷＬＩ画像を取得する。ナビゲーション装置３０は、ビデオプロセッサ３からの撮像画像のうち、視認性に優れたＷＬＩ画像については、表示用画像としてモニタ５に出力する。

【0064】

図７はこれを示しており、ナビゲーション装置３０の制御部３１は、ビデオプロセッサ３から出力された画像のうち、ＷＬＩ画像を抽出してモニタ５に出力する。図７の例では、図６の一連のフレームのうち、ＷＬＩ＜Ｒａｗ＞に対する画像処理によって得られたＷＬＩ画像が抽出されてモニタ５に供給されることを示している。なお、モニタ５に供給されるＷＬＩ画像のフレームレートが例えば３０ＦＰＳ以上となるように、撮像が行われている。視認確認用の画像はこれを見て操作が行われるので、時間当たりの画像コマ欠落が極力ないようにしているが、例えば、画像が変化しないような状況であれば、その限りではない。

【0065】

こうして、モニタ５の表示画面上において、内視鏡２の撮像装置２０により得られた撮像画像が表示される。モニタ５に表示される画像は、視認性に優れたＷＬＩ画像であり、術者は撮像装置２０の視野範囲の画像をモニタ５の表示画面上において見やすい画像として確認することができる。

【0066】

視認性に優れたＷＬＩ画像は、画像処理部１２における信号処理によって、ナビゲーションのための画像解析のために有用な情報が欠落している可能性がある。そこで、図９に示すように、ビデオプロセッサ３は、解析用取得条件に従って、解析用画像に対する多くの画像処理を停止させると共に、画像解析に有用な情報を付加する。こうして、解析用取得条件設定情報によって、画像解析に有用な解析用画像の出力が可能となる。

【0067】

例えば、上述した粘膜表層部の毛細血管および粘膜微細模様等については、ＷＬＩ画像による判別は困難であり、ＮＢＩ光等を用いた撮像により得られたＮＢＩ画像を用いた画像解析によって比較的容易に判別可能である。そこで、制御部３１は、例えば、ＮＢＩ画像を含むビデオプロセッサ３の出力画像の全てを画像解析部３２に与えて画像解析を実施させるようになっている。図８は画像解析部３２に供給される画像を示している。なお、制御部３１は、ビデオプロセッサ３の出力画像のうちＷＬＩ画像を除く画像のみを画像解析部３２に与えるようになっていてもよい。

【0068】

画像解析部３２は、術者を支援するために各種画像解析を行う。画像解析部３２は、ビデオプロセッサ３から入力された撮像画像に対して画像解析を行い、画像解析結果を得る。画像解析部３２は、例えば、内視鏡２の挿入部の進行方向についての画像解析結果を取得したり、病変部の鑑別結果についての画像解析結果を取得したりする。画像解析部３２の画像解析結果は支援情報生成部３６に与えられる。

【0069】

支援情報生成部３６は、画像解析部３２の画像解析結果に基づいて、支援情報を生成する。例えば、支援情報生成部３６は、画像解析結果により挿入部を挿入すべき方向が得られた場合には、当該挿入方向を示す支援情報を生成する。また、例えば、支援情報生成部３６は、画像解析結果により病変部の鑑別結果が得られた場合には、当該鑑別結果を術者に提示するための支援情報を生成する。支援情報生成部３６は、支援情報として、モニタ５に表示するための画像（支援画像）やテキスト（支援テキスト）等の支援表示データを生成してもよい。また、支援情報生成部３６は、支援情報として、図示しないスピーカから音声出力するための音声データを生成してもよい。

【0070】

（取得条件の変更）
更に、本実施形態においては、ナビゲーション装置３０は、解析に用いる画像の特性や画像から取得される各種情報を含む画像解析結果に基づいて、画像の取得条件を変更することができるようになっている。判定部３４は、画像の取得条件を変更すべきか否か、どのように画像の取得条件を変更すべきかについて判定を行う。例えば、判定部３４は、画像解析結果によって、十分な解析結果が得られない場合や更に詳細な画像解析が必要と判定した場合には、所望の画像解析を行うために必要な取得条件への変更を取得条件指定部３５に指示する。

【0071】

例えば、判定部３４は、特定の基準に基づいて特定の取得条件への変更を決定してもよい。例えば、判定部３４は、解析に用いる画像から取得したコントラスト情報やヒストグラム情報等の画像解析結果に含まれる値を所定の基準値と比較することで、変更すべき取得条件を決定してもよい。また、判定部３４は、解析に用いる画像が特定の画像特徴やパターンを含んでいるか否かをパターンマッチング等により判定し、その結果に基づいて設定すべき取得条件を決定してもよい。

【0072】

また、判定部３４は、画像解析結果だけでなく、観察モードや手技の内容等に応じて、所望の解析結果を得るために必要な取得条件への変更を取得条件指定部３５に指示するようになっていてもよい。

【0073】

（作用）
次に、このように構成された実施形態の動作について図１０から図１４を参照して説明する。図１０は第１の実施形態の動作を説明するためのフローチャートであり、図１１は特定のユースケースにおいて取得する画像を説明するための説明図である。

【0074】

図１１の例は図３と同様の利用シーンを示しており、内視鏡２（硬性鏡）を体腔内に挿入して、内部組織、器官を観察する様子を示したものである。

【0075】

例えば、電源投入直後においては、ナビゲーション装置３０の取得条件指定部３５は、取得条件記憶部３３から初期設定における表示用取得条件設定情報を読み出して、ビデオプロセッサ３に供給する。表示用取得条件設定情報は、表示用画像を取得するための取得条件の設定を可能にするものであり、ビデオプロセッサ３の制御部１１中の撮像パラメータ設定部１３は、表示用取得条件設定情報に基づいて、光源装置４、光学系２１及び撮像素子２２のパラメータを設定する。

【0076】

これにより、図１０のステップＳ１において、通常観察が行われる。なお、図１０中の取得条件Ｉ１は、例えば初期設定における表示用取得条件設定情報に対応した取得条件であり、予め決まった条件である。取得条件Ｉ１に従って、例えば、光源装置４は、高光量のＷＬＩ光を照明部２３から出射させ、制御部１１が高フレームレート（例えば３０ＦＰＳ以上）で撮像素子２２を駆動することにより、撮像装置２０からＷＬＩ＜Ｒａｗ＞の撮像画像を出力させる。

【0077】

また、制御部１１中の画像処理パラメータ設定部１４は、表示用取得条件設定情報に基づいて、画像処理部１２の画像処理パラメータを設定する。これにより、画像処理部１２は、例えば図９に示したように、撮像装置２０からの撮像画像に対して、人の目の特性に合わせたガンマ処理、ホワイトバランス処理、人の目の特性に合わせた色補正、ノイズリダクション処理及び画像強調処理等を施すと共に、表示に適したＷＬＩ画像を生成する。

【0078】

画像処理部１２によって取得されたＷＬＩ画像はナビゲーション装置３０に供給される。制御部３１は、入力されたＷＬＩ画像を表示用画像としてモニタ５に出力する。こうして、モニタ５の表示画面上において、視認性に優れたＷＬＩ画像が表示される。術者は、モニタ５の表示画面上の視認性の良いＷＬＩ画像によって、体腔内の内部組織や器官等を確実に観察することができる。

【0079】

図１０の例では、制御部３１は、ステップＳ２において、取得条件Ｉ１から取得条件Ｉ２に変更すべき特定タイミングになったか否かを判定する。手術や検査の開始時から終了までの全期間に亘ってナビゲーション装置３０による支援が必要であるとは限らない。ナビゲーション装置３０における画像解析の処理量を考慮すると、支援が必要な場合にのみナビゲーション装置３０による支援を行った方が好ましいことが考えられる。そこで、制御部３１は、表示用取得条件設定情報による取得条件Ｉ１から解析用取得条件設定情報を含む取得条件Ｉ２への移行タイミングを、術者により指示があった場合や、所定の医療シーンに到達したことを判定して切換える。取得条件Ｉ２は予め定められた条件である。なお、取得条件Ｉ１，Ｉ２は、ユーザ設定により、適宜の内容に設定することができるようになっている。

【0080】

制御部３１は、例えば術者の操作に応じて特定タイミングに到達したことを判定すると、処理をステップＳ３に移行して、取得条件Ｉ２への移行を取得条件指定部３５に指示する。なお、制御部３１は、特定タイミングに到達していないと判定した場合には、処理をステップＳ４に移行する。

【0081】

取得条件指定部３５は、ステップＳ３において、表示用取得条件設定情報及び解析用取得条件設定情報を含む取得条件設定情報を読み出して、ビデオプロセッサ３に出力することにより、取得条件Ｉ２に移行する。即ち、取得条件Ｉ２は、表示用取得条件設定情報及び解析用取得条件設定情報を用いることで、表示用画像だけでなく、解析用画像も取得するための条件である。

【0082】

この場合には、光源装置４、光学系２１及び撮像素子２２は、撮像パラメータ設定部１３及び画像処理パラメータ設定部１４に制御されて、例えば、３０ＦＰＳ以上のフレームレートでＷＬＩ＜Ｒａｗ＞を取得すると共に、画像解析に適した画像を取得する。例えば、撮像装置２０は、図１１に示すように、ＷＬＩ＜Ｒａｗ＞、ＷＬＩ＜Ｒａｗ＞、ＮＢＩ＜Ｒａｗ＞、ＷＬＩ＜Ｒａｗ＞、低光量ＷＬＩ＜Ｒａｗ＞、ＷＬＩ＜Ｒａｗ＞フレームを繰り返し取得する。図１１の例では、一連の６フレーム中の４フレームが表示用取得条件設定情報に基づいて取得されたＷＬＩ＜Ｒａｗ＞フレームであり、２フレームが解析用取得条件設定情報に基づいて取得されたＮＢＩ＜Ｒａｗ＞、低光量ＷＬＩ＜Ｒａｗ＞フレームである。

【0083】

画像処理パラメータ設定部１４は、表示用取得条件設定情報及び解析用取得条件設定情報に基づいて画像処理部１２を制御する。これにより、画像処理部１２は、ＷＬＩ＜Ｒａｗ＞フレームについては、表示用取得条件設定情報に基づいて信号処理を行って、ＷＬＩ画像を取得する。また、画像処理部１２は、ＮＢＩ＜Ｒａｗ＞、低光量ＷＬＩ＜Ｒａｗ＞フレームについては、解析用取得条件設定情報に基づいて、例えば表示用の信号処理を施さない。なお、画像処理部１２は、ＮＢＩ＜Ｒａｗ＞フレーム、低光量ＷＬＩ＜Ｒａｗ＞フレームをそれぞれＮＢＩ画像、低光量ＷＬＩ画像に変換する。画像処理部１２は、これらの画像をナビゲーション装置３０に出力する。

【0084】

ナビゲーション装置３０の制御部３１は、図１１に示すように、ＷＬＩ画像についてはモニタ５に表示用画像として出力すると共に、ＮＢＩ画像及び低光量ＷＬＩ画像を画像解析部３２に出力する。なお、ＷＬＩ画像については画像解析部３２にも与えられる。画像解析部３２は、ＷＬＩ画像、ＮＢＩ画像及び低光量ＷＬＩ画像を用いて画像解析を行って、所定の解析結果を得る。例えば、診断支援を行う場合には、画像解析部３２によって、病変部候補の有無や病変部の鑑別等の所望の解析結果が得られる。

【0085】

画像解析部３２において解析された画像は、解析に適したＮＢＩ画像等の特殊光観察によって得られた画像を含んでおり、また、情報の欠落を伴う画像処理も施されていないことから、画像解析に十分な情報量を有しており、画像解析部３２において高精度の解析結果を得ることができる。この情報量は、画像から何かを導き出すための画素それぞれの持つ情報であったり、画素の並びにおける変化などが顕著に表れるようなもので、コントラストや空間周波数、階調特性や色変化やその波長の差異の識別性など、解析されるそれぞれの画像が持つ対象物の特徴を識別するのに必要な情報量を想定している。

【0086】

本実施形態においては、ステップＳ２又はＳ３の次にステップＳ４の処理及びステップＳ５の判定が行われるが、ステップＳ５においてＮＯ判定の場合には、ステップＳ７に処理が移行する。ステップＳ７では、支援表示が必要か否かが判定される。制御部３１は、例えば、画像解析部３２の画像解析結果によって病変部候補が発見された場合には、支援表示が必要であるものと判定して、支援情報生成部３６に支援情報を生成させる。支援情報生成部３６は、画像解析部３２の解析結果に基づいて支援情報を生成する。

【0087】

支援情報生成部３６は、例えば病変部候補が発見された場合の支援情報として、モニタ５の表示画面に表示されている表示用画像上に、病変部候補の位置を示すマーク（支援表示）を表示させるための表示データを生成してもよい。制御部３１は、支援情報生成部３６が生成した表示データをモニタ５に与える。こうして、モニタ５に表示された表示用画像（内視鏡２による観察画像）上に、、病変部候補の位置を示すマークが表示される（ステップＳ８）。

【0088】

このように、本実施形態においては、視認性に優れたＷＬＩ画像をモニタ５に表示することで患部等の確認が容易であると共に、画像解析に適したＮＢＩ画像等を利用して支援のための画像解析を行っており、高精度の解析結果を得ることを可能にして、術者にとって極めて有効な支援が可能である。また、支援が必要な場合にのみ解析用画像を取得するようになっており、表示用画像のフレームレートを不必要に低下させることなく高画質での表示を可能にすると共に、画像解析の処理量が不必要に増大することを防止することができる。また、撮像装置２０の撮像信号に基づいて、これらの表示用画像と解析用画像とを取得しており、複数の撮像装置を内視鏡挿入部の先端部に配置する必要はなく、先端部の大型化を招来することもなく、また、処理すべき情報処理量が著しく増大して、高性能のハードウェアが必要となることもない。

【0089】

（適応的に変化する取得条件）
更に、本実施形態においては、状況に応じて変化する取得条件Ｉ３を設定することで、一層高精度の解析を可能にすることができる。判定部３４は、ステップＳ４において、解析用画像や画像解析部３２の画像解析結果に基づいて、より高精度の解析結果を取得するために取得条件を変更すべきか否か、変更する場合の取得条件について判定する。判定部３４は、更に一層高精度の解析結果を得ることができるか否かを判定し（ステップＳ５）、得られる場合にはそのための取得条件Ｉ３を取得条件指定部３５に設定させる（ステップＳ６）。なお、判定部３４は、更に一層高精度の解析結果を得ることはできないと判定した場合には、処理をステップＳ７に移行する。

【0090】

ステップＳ６では、取得条件指定部３５は、判定部３４の判定結果に従って、取得条件記憶部３３から表示用取得条件設定情報及び解析用取得条件設定情報を読み出し、取得条件Ｉ３として撮像パラメータ設定部１３及び画像処理パラメータ設定部１４に出力する。即ち、ビデオプロセッサ３の出力に応じて適応的に変化した取得条件Ｉ３がビデオプロセッサ３にフィードバックされる。なお、取得条件指定部３５は、取得条件記憶部３３に記憶された情報ではなく、判定部３４の判定結果に従って、表示用取得条件設定情報及び解析用取得条件設定情報を生成して出力してもよい。

【0091】

図１２は判定部３４による判定に基づく取得条件Ｉ３の一例を説明するための図表である。図１２の状況の欄は画像解析部３２の解析結果により得られる情報を示し、フィードバック内容は判定部３４の判定結果に基づいて取得条件指定部３５により指定される取得条件Ｉ３を示している。

【0092】

取得条件Ｉ１に基づいて取得された表示用画像が出力されている場合においても、画像解析部３２はこの表示用画像（ＷＬＩ画像）を用いて画像解析を行うことが可能である。判定部３４は、ステップＳ２からステップＳ４に移行した場合には、画像解析部３２のＷＬＩ画像に対する解析結果を用いた判定を行う。例えば、画像解析部３２は、ＷＬＩ画像に対する解析結果により、粘膜に係る血管情報を得るものとする。判定部３４は、粘膜表層部における血管が多く見える状態であるものと判定した場合には、取得条件Ｉ３として、長波長の照明光を利用したＮＢＩ画像等の解析用画像を取得するために取得条件を設定する。

【0093】

短波長の照明光を用いた表示用画像（短波長画像）は、組織表層の微細血管を確認しやすい。そこで、微細血管が多く見える場合には、粘膜表層部における血管情報により何らかの悪性腫瘍が潜んでいる可能性があるものと判定し、当該粘膜表層部における微細血管構造をより明確に把握するために、解析用画像としてＮＢＩ画像等を取得させるための取得条件Ｉ３を設定するのである。

【0094】

また、例えば、判定部３４は、取得条件Ｉ２に基づく解析用画像（ＷＬＩ画像及びＮＢＩ画像等）が取得されている場合において、当該解析用画像に基づく解析結果により、粘膜表層部の微細血管の情報が少ないことが示されたときには、粘膜のさらに深部の血管情報（例えば、粘膜のさらなる深層から粘膜下層の血管情報）が得られるように、短波長によるＤＲＩ特殊光観察によるＤＲＩ画像を取得するための取得情報Ｉ３を設定する。

【0095】

また、例えば、判定部３４は、画像解析部３２が解析した画像中の被検体患部の画像の動きの大小に応じて、表示用画像のフレームレートを増減すると共に、解析用画像の画像の種類を増減するための取得情報Ｉ３を設定する。

【0096】

また、例えば、判定部３４は、画像解析部３２が解析した画像中の被検体患部の周辺の輝度情報に応じて、解析用画像の輝度を変更するための取得情報Ｉ３を設定する。例えば、被検体患部の周辺の画像が暗い場合には、解析用画像の輝度を明るくするための取得情報Ｉ３を設定し、被検体患部の周辺の画像が明るい場合には、解析用画像の輝度を暗くするための取得情報Ｉ３を設定する。なお、このような制御は、光源の光量または撮像素子に係る露光時間等を適宜修正することで可能である。こうして、取得条件Ｉ３に基づいて取得された画像を利用してステップＳ８における支援表示が行われる。

【0097】

なお、図１０のフローチャートでは、１回のみ取得条件Ｉ３の変更が行われる例を示したが、判定部３４は、必要に応じて、取得条件Ｉ３の設定内容を繰り返し変更するようになっていてもよい。

【0098】

また、図１０の説明では、所定の第１期間において表示用画像を取得するための表示用取得条件設定情報のみを出力し、例えば、術者等の操作に対応した所定の第２期間において、表示用取得条件設定情報と解析用取得条件設定情報とを混在させて、表示用画像と解析用画像とを取得する例について説明した。例えば、術者は、内視鏡２の挿入部を観察対象部位まで移動させる途中においては第１期間とし、内視鏡２の先端部が観察対象部位に到達した後、病変部候補の検出を開始する時点で第２期間を設定するようにしてもよい。

【0099】

また、取得条件Ｉ１は、先ず、表示用画像を取得するための表示用取得条件設定情報のみを用いて生成される例を示したが、電源投入後から表示用取得条件と解析用取得条件とを常時設定してもよい。例えば、取得条件Ｉ１として、ＷＬＩ＜Ｒａｗ＞フレームの所定フレーム数毎に１枚の例えばＮＢＩ＜Ｒａｗ＞フレームが取得されるように設定し、ＷＬＩ＜Ｒａｗ＞に基づくＷＬＩ画像を表示用画像として用い、ＷＬＩ画像とＮＢＩ＜Ｒａｗ＞に基づくＮＢＩ画像とを解析用画像として用いてもよい。この場合には、比較的高いフレームレートのＷＬＩ画像により高画質の画像を表示することができると共に、ナビゲーション装置３０の処理の負荷を十分に小さくした状態で支援に必要な解析を実施することも可能である。そして、解析結果に基づき、あるいは術者の操作によって、解析用画像の取得の割合を高くした取得条件Ｉ２を設定することで、術者が要求した支援に応じた高精度の解析を実施することが可能となる。

【0100】

即ち、このような画像取得制御は、術者による特段の留意を必要とせずに、あたかもバックグランドでの処理の如く進行する。したがって、例えば、術者がＮＢＩ光等による特殊観察を要するタイミングであるか否か等の判断に注力することなく、的確なナビゲーションが可能であり、術者に有効な支援を瞬時に提供することが可能となる。
図１３は支援表示を説明するための説明図である。図１３は内視鏡２を体腔Ｐ内に挿入して、内部組織、器官を観察する様子を示したもので、矢印は、硬性鏡先端から出射した照明光とその反射光とを示しており、反射光は内視鏡２の撮像装置２０に入射される。

【0101】

（取得条件Ｉ１による表示用画像）
取得条件Ｉ１によって得られた表示用画像（Ｉｍ１）は、白色光観察により得られたもので、人が慣れている自然光で見た結果に近い。つまり、この例では取得条件Ｉ１は、視認性を重視した表示用画像を得るための条件である。しかし、この取得条件Ｉ１による撮像では、対象物表面からの反射成分が勝り、組織内部の情報が相対的に減るので、破線で囲った部分において何かしらの異常があっても、それを見出すことは困難である場合がある。

【0102】

（取得条件Ｉ２による解析用画像）
取得条件Ｉ２による解析用画像は、組織内部を観察可能とする観察光の条件を含む撮像条件及び画像処理条件によって取得された画像（Ｉｍ２）であるので、体組織表面に現れない組織内部の異変を検出することができる。図１３においてハッチングによって画像中の検出された病変部を示している。図４及び図５で説明したように、通常の白色光観察による画像（取得条件Ｉ１により取得した画像）に比べて、特殊光観察による画像（取得条件Ｉ２により取得した画像）を用いことで、高精度の解析結果が得られる。

【0103】

（取得条件Ｉ３による解析用画像）
取得条件Ｉ３による解析用画像は、更に高精度の解析結果を得るために取得条件Ｉ２から変更された取得条件を用いて得られた画像（Ｉｍ３）である。この場合には、図１３のハッチングに示すように、病変部の形状が画像Ｉｍ２よりも明瞭である。この結果、画像（Ｉｍ３）を用いた解析結果は画像（Ｉｍ２）を用いた解析結果よりも高精度であることが多い。

【0104】

（支援表示）
支援情報生成部３６は、より高精度の解析結果に基づいて、支援情報を生成する。図１３の例では、支援情報は、病変部の形状を示す表示データである。制御部３１は、支援情報に基づく表示を表示用画像（Ｉｍ１）に重畳して表示する。更に、支援情報生成部３６は、破線部の位置近傍に、「病変部を発見」等のテキスト表示を表示させるための表示データを支援情報として生成してもよい。こうして、観察者は、人の目に自然な表示用画像上において、画像解析部３２において検出された病変部の存在を示す表示を確認することができ、観察者は、この部分を他の方法で再検査する等の処置を講ずることも出来る。

【0105】

なお、支援情報生成部３６による支援表示方法は、様々な改良やカスタマイズが可能である。例えば、図１３では、取得条件Ｉ３に基づく解析用画像に基づく支援表示を表示する例を説明したが、取得条件Ｉ２に基づく解析用画像に基づく支援表示を表示するようにしてもよい。また、支援情報生成部３６は、支援表示として、解析用画像をそのまま表示してもよく、解析結果に基づく合成画像を表示してもよい。

【0106】

（取得条件決定の優先順位）
判定部３４は、状況に応じて取得条件を変化させる場合において、複数の要求（取得条件）を考慮する必要がある場合がある。図１４はこのような複数の要求に対する優先順位を説明するための図表である。

【0107】

例えば、画像解析部３２が解析に用いたＷＬＩ画像又はＮＢＩ画像からは、検出される微細血管が少なく、周辺画像が暗く、かつ、画像上の動きが大きい状況であるとする。この場合には、判定部３４は、可能ならば、表示用画像のフレームレートを低下させることなく、解析用画像として長波長を用いたＤＲＩ画像等であって、明るめの画像を取得することを可能にするための取得条件Ｉ３を発生させる。

【0108】

しかしながら、全ての要求を満足させることができない場合がある。そこで、判定部３４は、各要求（条件）に優先順位を付して、取得条件Ｉ３を決定する。例えば、判定部３４は、優先順位１として、表示用画像のフレームレートを低下させないことを条件とする。また、判定部３４は、優先順位２として、解析用画像として長波長を用いたＤＲＩ画像等を取得することを条件とする。また、判定部３４は、優先順位３として、明るめの画像を取得することを条件とする。

【0109】

判定部３４は、このような優先順位を考慮して、取得条件指定部３５に取得条件Ｉ３の生成を指示する。例えば、取得条件指定部３５は、表示用画像として用いるＷＬＩ＜Ｒａｗ＞フレームのフレームレートを３０ＦＰＳ以上に維持するための表示用取得条件設定情報を生成する。また、例えば、取得条件指定部３５は、解析用画像であるＤＲＩ画像を生成するためのＤＲＩ＜Ｒａｗ＞フレームによるＤＲＩ画像を２ＦＰＳで取得するための解析用取得条件設定情報を生成する。また、例えば、取得条件指定部３５は、撮像可能な最大のフレームレートの制限を考慮して、優先順位３の要求については非対応とする。

【0110】

このように、ビデオプロセッサ３に対する要求に優先順位を付けて生成した取得条件をフィードバックするので、ビデオプロセッサ３において、表示及び解析の両方に有用な画像を効率良く取得することができる。また、性能や機能が異なる様々な種類の内視鏡及びビデオプロセッサにおいて、取得条件に応じた画像を確実に取得可能である。

【0111】

このように本実施形態においては、視認性に優れた画像表示のための画像と解析性に優れた画像とを取得可能であり、視認性に優れた画像表示を維持しながら、各種作業について極めて有効な支援が可能である。また、画像の取得条件を適応的に変化させることも可能であり、状況に応じて適切な支援を行うことができる。

【0112】

なお、図１では、ビデオプロセッサ３とナビゲーション装置３０とを別体に構成した例を示したが、ナビゲーション装置３０がビデオプロセッサ３に内蔵された構成であってもよいことは明らかである。また、内視鏡システムとしては、腹腔鏡手術システムに限らず通常の軟性内視鏡を用いる内視鏡システムに適用してもよい。

【0113】

また、ナビゲーション装置３０における画像解析部３２の解析、判定部３４の判定、取得条件指定部３５の取得条件設定情報の生成等は、ＡＩ（人工知能）装置によって実現してもよい。

【0114】

（第２の実施形態）
図１５は第２の実施形態に採用される動作フローを示すフローチャートである。本実施形態におけるハードウェア構成は図１と同様であり説明を省略する。

【0115】

第１の実施形態においては、取得条件Ｉ１，Ｉ２よりも高精度の解析結果が得られる場合に、適応的に取得条件Ｉ３を設定する例を説明した。本実施形態は、取得条件Ｉ１から取得条件Ｉ２に変更した場合において、これらの解析結果のいずれがより高精度であるかを判定する。なお、解析結果がより高精度であるとは、上述したように、支援のために、より適した解析結果が得られることを意味し、例えば、画像から得られる情報量が多くなった場合等を含む。本実施形態では、条件変更によってより高精度の解析結果が得られるとの判定結果を得た場合には、取得条件の変更内容と同種の更なる変更を行い、そうでない場合には、取得条件の変更内容と異なる種類の変更を行うことにより、最適な取得条件の設定を可能にするものである。

【0116】

取得条件の変更内容と同種の更なる変更とは、例えば、通常光観察画像を取得するための取得条件Ｉ１からＮＢＩ画像を取得するための取得条件Ｉ２に変更した場合においては、ＮＢＩ光の波長を変化させる変更等のことである。また、取得条件の変更内容と異なる種類の変更とは、例えば、通常光観察画像を取得するための取得条件Ｉ１からＮＢＩ画像を取得するための取得条件Ｉ２に変更した場合においては、ＮＢＩ画像に代えてＤＲＩ画像を取得するための取得条件の変更を行うこと等を意味する。

【0117】

例えば、取得条件記憶部３３に、取得条件Ｉ１とＩ２の組み合わせに対して、より高精度の解析結果が得られた場合の取得条件Ｉ３と、解析結果の精度が低下した場合の取得条件Ｉ３とを予め登録しておいてもよい。この場合には、判定部３４は、解析結果が高精度になったか精度が低下したかの判定結果に応じて、取得条件指定部３５に、取得条件記憶部３３のいずれの記憶内容を読み出せばよいかを指示するようになっていてもよい。

【0118】

図１５のステップＳ１１においては、予め決められた取得条件Ｉ１に基づいて画像取込みが行われる。例えば図１３に示したように、被検体体腔内の検査が開始され、ビデオプロセッサ３の制御部１１の制御下に、内視鏡２により画像が取得され、ナビゲーション装置３０を経由して撮像画像がモニタ５に供給される。取得条件Ｉ１としては、例えば、表示用取得条件設定情報が採用されて、ＷＬＩ＜Ｒａｗ＞フレームが取得されるものとする。画像処理部１２は、ＷＬＩ＜Ｒａｗ＞フレームに基づくＷＬＩ画像をナビゲーション装置３０に出力し、制御部３１はＷＬＩ画像をモニタ５に供給して画面上に表示させる。こうして、モニタ５の表示画面上において、視認性に優れたＷＬＩ画像が表示される。

【0119】

なお、ビデオプロセッサ３は、図示しない記録装置に対して、取得条件Ｉ１に基づいて取得したＷＬＩ画像を撮像画像Ｉｍ１として仮記録する（ステップＳ１２）。また、ナビゲーション装置３０の画像解析部３２は、取得条件Ｉ１に基づいて取得したＷＬＩ画像に対する画像解析により、解析結果を得る。

【0120】

制御部３１は、ステップＳ１３において、取得条件の変更指示があったか否かを判定する。第１の実施形態と同様に、例えば、術者の指示によって取得条件の変更指示を発生することが可能であり、また、画像解析部３２の解析結果に基づいて、判定部３４が取得条件の変更指示を発生することも可能である。

【0121】

取得条件の変更指示が発生すると、制御部３１は、取得条件指定部３５に、予め決められた取得条件Ｉ２を生成させる。取得条件指定部３５は、取得条件記憶部３３から取得条件Ｉ２の情報を読み出すようにしてもよい。いま、取得条件Ｉ２は、所定フレームレート以上のＷＬＩ画像と例えばＮＢＩ画像等を取得するための条件であるものとする。これにより、例えば図６等に示すように、ＷＬＩ＜Ｒａｗ＞フレーム及びＮＢＩ＜Ｒａｗ＞フレームを含む取得画像が内視鏡２によって取得される（ステップＳ１４）。画像処理部１２は、撮像装置２０からの撮像画像に基づいて、ＷＬＩ画像及びＮＢＩ画像を生成してナビゲーション装置３０に出力する。

【0122】

画像解析部３２は、取得条件Ｉ２に基づいて取得したＷＬＩ画像及びＮＢＩ画像に対する画像解析により、解析結果を得る。支援情報生成部３６は、解析結果に基づく支援情報を生成する。なお、ビデオプロセッサ３は、図示しない記録装置に対して、取得条件Ｉ２に基づいて取得したＷＬＩ画像及びＮＢＩ画像を撮像画像Ｉｍ２として仮記録する（ステップＳ１５）。

【0123】

判定部３４は、ステップＳ１６において、同一観察部位について、取得条件Ｉ１，Ｉ２に基づく画像が取得されたか否かを判定する。例えば、判定部３４は、画像解析部３２の解析結果に基づいて、同一観察部位に基づく画像であるか否かの判定が可能である。

【0124】

判定部３４は、取得条件Ｉ１，Ｉ２に基づく各画像が同一観察部位についてのものであると判定した場合には、次のステップＳ１７において、情報量（以下、情報量と書いた部分は、何らかの支援、補助に使うための画像が含む対象物の特徴を表す情報量）が増加したか否かを判定する。即ち、判定部３４は、被検体のある領域に対してＷＬＩ光を照射することによって得られた取得条件Ｉ１に基づく画像Ｉｍ１の情報量と、同じ領域に対してＷＬＩ光及びＮＢＩ光を照射することによって得られた取得条件Ｉ２に基づく画像Ｉｍ２の情報量との多寡を比較する。判定部３４により、画像Ｉｍ１の情報量（有効な支援を得るために必要な情報量）と、画像Ｉｍ２の情報量（有効な支援を得るために必要な情報量）とのうち相対的に情報量の多い画像はいずれであるかが判定される。

【0125】

判定部３４は、取得条件Ｉ１に基づく画像に比して取得条件Ｉ２に基づく画像の情報量が増加している場合には、同種の取得条件によってさらに有効な画像が取得できるものと判定して、ステップＳ１８において、取得条件指定部３５に同種の取得条件Ｉ３の設定を指示する。なお、図中、同種の変更内容の画像条件と記載した部分は、十分な情報量の画像が得られた場合、画像取得、加工などの変更をそれ以上行わなくてもよい。

【0126】

取得条件指定部３５は、例えば、取得条件Ｉ２と同種の取得条件Ｉ３として、取得条件Ｉ２で指定した波長帯域とは異なる波長帯域のＮＢＩ光による画像を取得するための情報に変更する。こうして、この場合には、例えば所定フレームレート以上のＷＬＩ＜Ｒａｗ＞フレームと前回とは異なる波長のＮＢＩ光に基づくＮＢＩ＜Ｒａｗ＞フレームを含む取得画像が内視鏡２によって取得される。画像処理部１２は、撮像装置２０からの撮像画像に基づいて、ＷＬＩ画像及びＮＢＩ画像を生成してナビゲーション装置３０に出力する。

【0127】

画像解析部３２は、取得条件Ｉ２に基づいて取得したＷＬＩ画像及びＮＢＩ画像に対する画像解析により、解析結果を得る。支援情報生成部３６は、解析結果に基づく支援情報を生成する。また、ビデオプロセッサ３は、図示しない記録装置に対して、取得条件Ｉ３に基づいて取得したＷＬＩ画像及びＮＢＩ画像を撮像画像Ｉｍ３として仮記録する（ステップＳ１９）。

【0128】

一方、判定部３４は、ステップＳ１７において、情報量が増加していないと判定した場合には、処理をステップＳ２０に移行して、情報量が低下したか否かを判定する。即ち、判定部３４は、被検体のある領域に対してＷＬＩ光を照射することによって得られた取得条件Ｉ１に基づく画像Ｉｍ１の情報量よりも、同じ領域に対してＷＬＩ光及びＮＢＩ光を照射することによって得られた取得条件Ｉ２に基づく画像Ｉｍ２の情報量が低下したか否かを判定する。

【0129】

判定部３４は、取得条件Ｉ１に基づく画像に比して取得条件Ｉ２に基づく画像の情報量が低下している場合には、取得条件Ｉ２とは異種の取得条件によって有効な画像が取得できるものと判定して、ステップＳ２１において、取得条件指定部３５に異種の取得条件Ｉ３の設定を指示する。

【0130】

取得条件指定部３５は、例えば、取得条件Ｉ２と異種の取得条件Ｉ３として、取得条件Ｉ２で指定したＮＢＩ光に代えて、ＤＲＩ光による画像を取得するための情報に変更する。なお、取得条件指定部３５は、取得条件Ｉ２と異種の取得条件Ｉ３として、取得条件Ｉ２により指定したＮＢＩ光の波長帯域とは異なる他の波長帯域のＮＢＩ光を含み、ＤＲＩ光、ＡＦＩ光を用いた画像を取得するための条件に変更するものであってもよい。更に、取得条件指定部３５は、撮像素子２２のフレームレートの変更や、画像処理部１２による各種画像処理の変更を伴うものであってもよい。

【0131】

画像解析部３２は、取得条件Ｉ２と異種の取得条件Ｉ３に基づいて取得した各画像に対する画像解析により、解析結果を得る。支援情報生成部３６は、解析結果に基づく支援情報を生成する。また、ビデオプロセッサ３は、図示しない記録装置に対して、取得条件Ｉ２と異種の取得条件Ｉ３に基づいて取得した各画像を画像Ｉｍ４として仮記録する（ステップＳ２２）。

【0132】

制御部３１は、ステップＳ１６，Ｓ２０においてＮＯ判定の場合又はステップＳ２２の処理が終了した場合には、次のステップＳ２３に移行し、取得条件Ｉ１～Ｉ３に基づいて取得した画像が同一観察部位についてのものである場合には、モニタ５に表示された画像Ｉｍ１上に、画像Ｉｍ２～Ｉｍ４の画像解析結果に基づく支援情報生成部３６からの支援情報による表示を重畳表示する。

【0133】

なお、図１５では、ステップＳ１８，Ｓ２１による取得条件Ｉ３の設定は、いずれかのステップにおいて１回のみ行われる例を示したが、情報量が増加もせず低下もしない状態となるまで、ステップＳ１６～Ｓ２２までを繰り返し実行するようになっていてもよい。ただし、このような繰り返しは非常に時間がかかる可能性があり、迅速な条件決定が出来ないので、特定の状況で終わりにしてもよい。二つの条件のうち、良い方でもよい。このように、複数の異なる撮像条件で撮像して撮像結果を取得する撮像ステップを有し、この異なる撮像条件での複数の撮像結果を比較する比較ステップによって、上記比較結果で得られた情報量の差異から、第３の撮像条件を変更する撮像条件変更ステップからなる画像処理方法を実行することで、良好な条件で得た画像での高精度の支援情報提起が可能となる。

【0134】

このように本実施形態においても、第１の実施形態と同様の効果を得ることができる。

【0135】

（第３の実施形態）
図１６は第３の実施形態を示すブロック図である。

【0136】

第３の実施形態に係る内視鏡システムは、例えば、大腸内視鏡のような検査用内視鏡を用いたシステム他、腹腔鏡のような外科手術用内視鏡を用いたシステム等、多くの内視鏡システムを適用できるが、図１６においては、腹腔鏡手術システムを想定した内視鏡システム１を図示する。

【0137】

図１６に示すように、被検体Ｐの体腔内を撮像し撮像信号を出力する内視鏡２（腹腔鏡）と、内視鏡２を接続し当該内視鏡２の駆動を制御すると共に、当該内視鏡２において撮像した被検体に係る撮像信号を取得し当該撮像信号に対して所定の画像処理を施すビデオプロセッサ３と、ビデオプロセッサ３に内設され、被検体に照射するための所定の照明光を供給する光源装置４と、撮像信号に応じた観察画像を表示するモニタ５と、ビデオプロセッサ３に接続されたナビゲーション装置３０と、を主に備えるが、検査用内視鏡を用いたシステムにおいても、内視鏡２の種別が異なるものの、他の構成要素は、図１６に示す例と同様である。

【0138】

また、第３の実施形態の内視鏡システム１における各構成要素、すなわち、内視鏡２、ビデオプロセッサ３、光源装置４、モニタ（ディスプレイ）５、ナビゲーション装置３０のそれぞれの構成は、第１の実施形態と同様であるので、ここでの詳しい説明は省略する。

【0139】

本第３の実施形態の内視鏡システム１は、例えば、検査用内視鏡を用いたシステムの場合、ナビゲーション装置３０が病変部位を高精度にマーキングした画像をモニタ（ディスプレイ）５に出力するようになっている。

【0140】

具体的には、大腸内視鏡を用いた検査用内視鏡システムにおけるナビゲーション装置３０の場合、図１６に示すように、ビデオプロセッサ３から上述の如き提供された欠落の無い各画像情報（表示用画像情報＋解析用画像情報）に基づいて、例えば、病変部位と考えられる領域を高精度にマーキングした画像をモニタ（ディスプレイ）５に出力し、ナビゲーション情報として術者に提供する。

【0141】

一方、外科手術用内視鏡を用いたシステムの場合、ナビゲーション装置３０が手技に有用な情報を提示した画像をモニタ（ディスプレイ）５に出力するようになっている。

【0142】

具体的には、腹腔鏡を用いた外科手術用内視鏡システムにおけるナビゲーション装置３０の場合、図１６に示すように、ビデオプロセッサ３から上述の如き提供された欠落の無い各画像情報（表示用画像情報＋解析用画像情報）に基づいて、例えば、腫瘍の位置、切除領域、主要血管位置等の情報をモニタ（ディスプレイ）５に出力し、ナビゲーション情報として術者に提供する。

【0143】

この第３の実施形態の内視鏡システムのように、本発明は、種々の内視鏡を用いた内視鏡システム１において、上述の如きビデオプロセッサ３からナビゲーション装置３０に提供する画像情報として、表示用の画像情報の他にナビゲーション装置３０向けの解析用の画像情報を用意し、欠落の無い画像情報を用いてナビゲーション装置３０において認識処理を行うので、あらゆる内視鏡システム１においても、有用なナビゲーション情報（支援情報）を術者に提供することができる。

【0144】

また、本第３の実施形態の内視鏡システムは、上述したように検査用内視鏡システム、外科手術用内視鏡システムを例に挙げたが、これに限らず、本第３の実施形態に係る内視鏡システムは、他の種類の内視鏡を用いた内視鏡システムに適用されるものであってもよい。

【0145】

また、ここで説明した技術のうち、主にフローチャートで説明した制御や機能は、多くがプログラムにより設定可能であり、そのプログラムをコンピュータが読み取り実行することで上述した制御や機能を実現することができる。そのプログラムは、コンピュータプログラム製品として、フレキシブルディスク、ＣＤ－ＲＯＭ等、不揮発性メモリ等の可搬媒体や、ハードディスク、揮発性メモリ等の記憶媒体に、その全体あるいは一部を記録又は記憶することができ、製品出荷時又は可搬媒体或いは通信回線を経由して流通又は提供可能である。利用者は、通信ネットワークを経由してそのプログラムをダウンロードしてコンピュータにインストールしたり、あるいは記録媒体からコンピュータにインストールしたりすることにより、容易に本実施の形態の画像処理装置を実現することができる。

【0146】

本発明は、上記各実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記各実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。ここでは、医療用途での例で説明したが、民生用、工業用、産業用の機器にも適用が可能な発明となっていることは言うまでもない。例えば、ナビゲーション装置は、医療分野以外でも産業分野や警備の分野でも何かの異常を検知する装置、支援情報は、気づきを促す情報と書き直すことができ、産業用応用では、工場のラインで流れてくるものや作業中の品質を工程内カメラで判定する時の補助に、あるいは、ウェアラブルカメラ、あるいはロボットカメラで監視しているときの気づき誘発ガイドや、同様に車載カメラでの障害物判定などにも応用が可能である。民生用カメラでも、様々なガイドの用途があり得る。顕微鏡でも、光源や画像処理の切り替えによる観察は知られており、本願の応用が有効となる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】