IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 富士フイルム株式会社の特許一覧

<>
  • 特許-内視鏡システム及びその作動方法 図1
  • 特許-内視鏡システム及びその作動方法 図2
  • 特許-内視鏡システム及びその作動方法 図3
  • 特許-内視鏡システム及びその作動方法 図4
  • 特許-内視鏡システム及びその作動方法 図5
  • 特許-内視鏡システム及びその作動方法 図6
  • 特許-内視鏡システム及びその作動方法 図7
  • 特許-内視鏡システム及びその作動方法 図8
  • 特許-内視鏡システム及びその作動方法 図9
  • 特許-内視鏡システム及びその作動方法 図10
  • 特許-内視鏡システム及びその作動方法 図11
  • 特許-内視鏡システム及びその作動方法 図12
  • 特許-内視鏡システム及びその作動方法 図13
  • 特許-内視鏡システム及びその作動方法 図14
  • 特許-内視鏡システム及びその作動方法 図15
  • 特許-内視鏡システム及びその作動方法 図16
  • 特許-内視鏡システム及びその作動方法 図17
  • 特許-内視鏡システム及びその作動方法 図18
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-17
(45)【発行日】2024-09-26
(54)【発明の名称】内視鏡システム及びその作動方法
(51)【国際特許分類】
   A61B 1/045 20060101AFI20240918BHJP
   A61B 1/00 20060101ALI20240918BHJP
   A61B 1/06 20060101ALI20240918BHJP
【FI】
A61B1/045 622
A61B1/00 513
A61B1/045 618
A61B1/06 611
A61B1/045 614
【請求項の数】 8
(21)【出願番号】P 2022533677
(86)(22)【出願日】2021-03-05
(86)【国際出願番号】 JP2021008740
(87)【国際公開番号】W WO2022004056
(87)【国際公開日】2022-01-06
【審査請求日】2022-12-14
(31)【優先権主張番号】P 2020115695
(32)【優先日】2020-07-03
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】306037311
【氏名又は名称】富士フイルム株式会社
(74)【代理人】
【識別番号】110001988
【氏名又は名称】弁理士法人小林国際特許事務所
(72)【発明者】
【氏名】檜谷 康太郎
【審査官】▲高▼木 尚哉
(56)【参考文献】
【文献】国際公開第2020/012563(WO,A1)
【文献】国際公開第2016/199273(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 1/00-1/32
G02B 23/24-23/26
(57)【特許請求の範囲】
【請求項1】
互いに発光スペクトルが異なる第1照明光と第2照明光とを発する光源部と、
前記第1照明光を発光する第1照明期間と前記第2照明光を発光する第2照明期間とを自動的に切り替える場合において、前記第1照明光を第1発光パターンで発光し、前記第2照明光を第2発光パターンで発光する光源用プロセッサと、
前記第1照明光によって照明された観察対象を撮像して得られる第1画像信号と、前記第2照明光によって照明された前記観察対象を撮像して第2画像信号とを出力する撮像センサと、
画像制御用プロセッサとを備え、
前記画像制御用プロセッサは、
前記第2画像信号に対して認識処理を行い、
画像中での前記観察対象の動きを取得し、
前記認識処理により病変候補領域を認識した場合に、前記第1画像信号に基づく観察画像に対して、前記病変候補領域に関する診断支援情報を表示する診断支援情報画像を生成し、
前記診断支援情報画像において、前記観察対象の動きによって、前記診断支援情報のうち少なくとも第1診断支援情報の表示又は非表示を制御し、
前記画像制御用プロセッサは、前記観察対象の動きが第2閾値未満である場合には、前記診断支援情報を非表示にし、前記観察対象の動きが前記第2閾値以上である場合には、前記診断支援情報を表示にする第2表示制御を行う視鏡システム。
【請求項2】
互いに発光スペクトルが異なる第1照明光と第2照明光とを発する光源部と、
前記第1照明光を発光する第1照明期間と前記第2照明光を発光する第2照明期間とを自動的に切り替える場合において、前記第1照明光を第1発光パターンで発光し、前記第2照明光を第2発光パターンで発光する光源用プロセッサと、
前記第1照明光によって照明された観察対象を撮像して得られる第1画像信号と、前記第2照明光によって照明された前記観察対象を撮像して第2画像信号とを出力する撮像センサと、
画像制御用プロセッサとを備え、
前記画像制御用プロセッサは、
前記第2画像信号に対して認識処理を行い、
画像中での前記観察対象の動きを取得し、
前記認識処理により病変候補領域を認識した場合に、前記第1画像信号に基づく観察画像に対して、前記病変候補領域に関する診断支援情報を表示する診断支援情報画像を生成し、
前記診断支援情報画像において、前記観察対象の動きによって、前記診断支援情報のうち少なくとも第1診断支援情報の表示又は非表示を制御し、
前記画像制御用プロセッサが、前記観察対象の動きが第1閾値未満である場合には、前記診断支援情報を表示し、前記観察対象の動きが前記第1閾値以上である場合には、前記診断支援情報を非表示にする第1表示制御、又は、前記観察対象の動きが第2閾値未満である場合には、前記診断支援情報を非表示にし、前記観察対象の動きが前記第2閾値以上である場合には、前記診断支援情報を表示にする第2表示制御を行うことが可能である場合において、
前記第1表示制御と前記第2表示制御を手動で切り替えるユーザーインターフェースを有する視鏡システム。
【請求項3】
互いに発光スペクトルが異なる第1照明光と第2照明光とを発する光源部と、
前記第1照明光を発光する第1照明期間と前記第2照明光を発光する第2照明期間とを自動的に切り替える場合において、前記第1照明光を第1発光パターンで発光し、前記第2照明光を第2発光パターンで発光する光源用プロセッサと、
前記第1照明光によって照明された観察対象を撮像して得られる第1画像信号と、前記第2照明光によって照明された前記観察対象を撮像して第2画像信号とを出力する撮像センサと、
画像制御用プロセッサとを備え、
前記画像制御用プロセッサは、
前記第2画像信号に対して認識処理を行い、
画像中での前記観察対象の動きを取得し、
前記認識処理により病変候補領域を認識した場合に、前記第1画像信号に基づく観察画像に対して、前記病変候補領域に関する診断支援情報を表示する診断支援情報画像を生成し、
前記診断支援情報画像において、前記観察対象の動きによって、前記診断支援情報のうち少なくとも第1診断支援情報の表示又は非表示を制御し、
前記画像制御用プロセッサが、前記観察対象の動きが第1閾値未満である場合には、前記診断支援情報を表示し、前記観察対象の動きが前記第1閾値以上である場合には、前記診断支援情報を非表示にする第1表示制御、又は、前記観察対象の動きが第2閾値未満である場合には、前記診断支援情報を非表示にし、前記観察対象の動きが前記第2閾値以上である場合には、前記診断支援情報を表示にする第2表示制御を行うことが可能である場合において、
前記画像制御用プロセッサが、前記第1表示制御と前記第2表示制御を自動で切り替える視鏡システム。
【請求項4】
前記画像制御用プロセッサは、前記観察対象の動きが切替用閾値未満である場合には、前記第1表示制御に切替え、前記観察対象の動きが前記切替用閾値以上である場合には、前記第2表示制御に切り替える請求項記載の内視鏡システム。
【請求項5】
互いに発光スペクトルが異なる第1照明光と第2照明光とを発する光源部と、
前記第1照明光を発光する第1照明期間と前記第2照明光を発光する第2照明期間とを自動的に切り替える場合において、前記第1照明光を第1発光パターンで発光し、前記第2照明光を第2発光パターンで発光する光源用プロセッサと、
前記第1照明光によって照明された観察対象を撮像して得られる第1画像信号と、前記第2照明光によって照明された前記観察対象を撮像して第2画像信号とを出力する撮像センサと、
画像制御用プロセッサとを備え、
前記画像制御用プロセッサは、
前記第2画像信号に対して認識処理を行い、
画像中での前記観察対象の動きを取得し、
前記認識処理により病変候補領域を認識した場合に、前記第1画像信号に基づく観察画像に対して、前記病変候補領域に関する診断支援情報を表示する診断支援情報画像を生成し、
前記診断支援情報画像において、前記観察対象の動きによって、前記診断支援情報のうち少なくとも第1診断支援情報の表示又は非表示を制御し、
前記第2照明光の発光スペクトルが、それぞれの前記第2照明期間において異なっており、且つ、各第2照明光に対応する第2画像信号に基づく認識処理により、複数の病変候補画像が認識された場合には、前記診断支援情報のうち2診断支援情報の表示は、前記第2照明光の発光スペクトルによって異なる視鏡システム。
【請求項6】
第1発光パターンは、前記第1照明期間のフレーム数が、それぞれの前記第1照明期間において同じである第1A発光パターンと、前記第1照明期間のフレーム数が、それぞれの第1照明期間において異なっている第1B発光パターンとのうちのいずれかである請求項1ないしいずれか1項記載の内視鏡システム。
【請求項7】
第2発光パターンは、前記第2照明期間のフレーム数が、それぞれの前記第2照明期間において同じであり、且つ、前記第2照明光の発光スペクトルが、それぞれの前記第2照明期間において同じである第2A発光パターン、
前記第2照明期間のフレーム数が、それぞれの前記第2照明期間において同じであり、且つ、第2照明光の発光スペクトルが、それぞれの前記第2照明期間において異なっている第2B発光パターン、
前記第2照明期間のフレーム数が、それぞれの前記第2照明期間において異なっており、且つ、第2照明光の発光スペクトルが、それぞれの前記第2照明期間において同じである第2C発光パターン、
及び、前記第2照明期間のフレーム数が、それぞれの前記第2照明期間において異なっており、且つ、前記第2照明光の発光スペクトルが、それぞれの前記第2照明期間において異なっている第2D発光パターンのうちのいずれかである請求項1ないしいずれか1項記載の内視鏡システム。
【請求項8】
互いに発光スペクトルが異なる第1照明光と第2照明光とを発する光源部、前記第1照明光を発光する第1照明期間と前記第2照明光を発光する第2照明期間とを自動的に切り替える場合において、前記第1照明光を第1発光パターンで発光し、前記第2照明光を第2発光パターンで発光する光源用プロセッサ、前記第1照明光によって照明された観察対象を撮像して得られる第1画像信号と、前記第2照明光によって照明された前記観察対象を撮像して第2画像信号とを出力する撮像センサ、及び、画像制御用プロセッサとを備える内視鏡システムの作動方法において、
前記画像制御用プロセッサは、
前記第2画像信号に対して認識処理を行い、
画像中での前記観察対象の動きを取得し、
前記認識処理により病変候補領域を認識した場合に、前記第1画像信号に基づく観察画像に対して、前記病変候補領域に関する診断支援情報を表示する診断支援情報画像を生成し、
前記診断支援情報画像において、前記観察対象の動きによって、前記診断支援情報のうち少なくとも第1診断支援情報の表示又は非表示を制御し、
前記画像制御用プロセッサは、前記観察対象の動きが第2閾値未満である場合には、前記診断支援情報を非表示にし、前記観察対象の動きが前記第2閾値以上である場合には、前記診断支援情報を表示にする第2表示制御を行う内視鏡システムの作動方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、病変の疑い率など病変候補領域に関する診断支援情報を表示する内視鏡システム及びその作動方法に関する。
【背景技術】
【0002】
医療分野においては、医療画像を用いて診断することが広く行われている。例えば、医療画像を用いる装置として、光源装置、内視鏡、及びプロセッサ装置を備える内視鏡システムがある。内視鏡システムでは、観察対象に対して照明光を照射し、照明光で照明された観察対象を撮像センサで撮像することにより、医療画像としての内視鏡画像を取得する。内視鏡画像は、モニタに表示され、診断に使用される。
【0003】
また、近年の内視鏡システムにおいては、観察対象を撮像して得られた画像から、病変候補領域を検出することが行われている。病変候補領域が検出された場合には、病変候補領域の周囲をバウンディングボックスなどの診断支援情報で表示することによって、注目領域が検出されたことをユーザーに報知することが行われている。ただし、ユーザーへの報知が観察対象の視認を低下させるなどの場合には、ユーザーによる有効な診断を妨げる可能性がある。これに関して、特許文献1では、病変候補領域の数が所定の閾値よりも大きい場合、又は、サイズが所定の閾値よりも大きい場合に、ユーザーへの報知に関するアラート画像を非表示にすることで、観察対象の視認性が低下しないようにしている。
【先行技術文献】
【特許文献】
【0004】
【文献】特開2011-255006号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
内視鏡診断においては、撮像センサを有する内視鏡の先端部を一定速度以上で移動させるスクリーニングや、内視鏡の先端部の動きを止めて病変の鑑別などを行う小委観察などが行われている。そのため、内視鏡の診断中は、内視鏡の画像中での観察対象の動きが変化する。このように画像中での観察対象の動きが変化する状況下においても、病変候補領域を検出した際に、病変候補領域に関する診断支援情報が、観察対象の視認性を妨げないようにすることが求められていた。
【0006】
本発明は、画像中での観察対象の動きが変化する状況下においても、病変候補領域を検出した際に、病変候補領域に関する診断支援情報が、観察対象の視認性を妨げないようにする内視鏡システム及びその作動方法を提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明の内視鏡システムは、互いに発光スペクトルが異なる第1照明光と第2照明光とを発する光源部と、第1照明光を発光する第1照明期間と第2照明光を発光する第2照明期間とを自動的に切り替える場合において、第1照明光を第1発光パターンで発光し、第2照明光を第2発光パターンで発光する光源用プロセッサと、第1照明光によって照明された観察対象を撮像して得られる第1画像信号と、第2照明光によって照明された観察対象を撮像して第2画像信号とを出力する撮像センサと、画像制御用プロセッサとを備え、画像制御用プロセッサは、第2画像信号に対して認識処理を行い、画像中での前記観察対象の動きを取得し、認識処理により病変候補領域を認識した場合に、第1画像信号に基づく観察画像に対して、病変候補領域に関する診断支援情報を表示する診断支援情報画像を生成し、診断支援情報画像において、観察対象の動きによって、診断支援情報のうち少なくとも第1診断支援情報の表示又は非表示を制御する。
【0008】
画像制御用プロセッサは、観察対象の動きが第1閾値未満である場合には、診断支援情報を表示し、観察対象の動きが第1閾値以上である場合には、診断支援情報を非表示にする第1表示制御を行うことが好ましい。画像制御用プロセッサは、観察対象の動きが第2閾値未満である場合には、診断支援情報を非表示にし、観察対象の動きが第2閾値以上である場合には、診断支援情報を表示にする第2表示制御を行うことが好ましい。
【0009】
画像制御用プロセッサが、観察対象の動きが第1閾値未満である場合には、診断支援情報を表示し、観察対象の動きが第1閾値以上である場合には、診断支援情報を非表示にする第1表示制御、又は、観察対象の動きが第2閾値未満である場合には、診断支援情報を非表示にし、観察対象の動きが第2閾値以上である場合には、診断支援情報を表示にする第2表示制御を行うことが可能である場合において、第1表示制御と第2表示制御を手動で切り替えるユーザーインターフェースを有することが好ましい。
【0010】
画像制御用プロセッサが、観察対象の動きが第1閾値未満である場合には、診断支援情報を表示し、観察対象の動きが第1閾値以上である場合には、診断支援情報を非表示にする第1表示制御、又は、観察対象の動きが第2閾値未満である場合には、診断支援情報を非表示にし、観察対象の動きが第2閾値以上である場合には、診断支援情報を表示にする第2表示制御を行うことが可能である場合において、画像制御用プロセッサが、第1表示制御と第2表示制御を自動で切り替えることが好ましい。
【0011】
画像制御用プロセッサは、観察対象の動きが切替用閾値未満である場合には、第1表示制御に切替え、観察対象の動きが切替用閾値以上である場合には、第2表示制御に切り替えることが好ましい。第2照明光の発光スペクトルが、それぞれの第2照明期間において異なっており、且つ、各第2照明光に対応する第2画像信号に基づく認識処理により、複数の病変候補画像が認識された場合には、診断支援情報のうち観察対象の動きに関わらず表示を維持する第2診断支援情報の表示は、第2照明光の発光スペクトルによって異なることが好ましい。
【0012】
第1発光パターンは、第1照明期間のフレーム数が、それぞれの前記第1照明期間において同じである第1A発光パターンと、第1照明期間のフレーム数が、それぞれの第1照明期間において異なっている第1B発光パターンとのうちのいずれかであることが好ましい。
【0013】
第2発光パターンは、第2照明期間のフレーム数が、それぞれの第2照明期間において同じであり、且つ、第2照明光の発光スペクトルが、それぞれの第2照明期間において同じである第2A発光パターン、第2照明期間のフレーム数が、それぞれの第2照明期間において同じであり、且つ、第2照明光の発光スペクトルが、それぞれの第2照明期間において異なっている第2B発光パターン、第2照明期間のフレーム数が、それぞれの第2照明期間において異なっており、且つ、第2照明光の発光スペクトルが、それぞれの第2照明期間において同じである第2C発光パターン、及び、第2照明期間のフレーム数が、それぞれの第2照明期間において異なっており、且つ、第2照明光の発光スペクトルが、それぞれの第2照明期間において異なっている第2D発光パターンのうちのいずれかであることが好ましい。
【0014】
本発明は、互いに発光スペクトルが異なる第1照明光と第2照明光とを発する光源部、第1照明光を発光する第1照明期間と第2照明光を発光する第2照明期間とを自動的に切り替える場合において、第1照明光を第1発光パターンで発光し、第2照明光を第2発光パターンで発光する光源用プロセッサ、第1照明光によって照明された観察対象を撮像して得られる第1画像信号と、第2照明光によって照明された観察対象を撮像して第2画像信号とを出力する撮像センサ、及び、画像制御用プロセッサとを備える内視鏡システムの作動方法において、画像制御用プロセッサは、第2画像信号に対して認識処理を行い、画像中での前記観察対象の動きを取得し、認識処理により病変候補領域を認識した場合に、第1画像信号に基づく観察画像に対して、病変候補領域に関する診断支援情報を表示する診断支援情報画像を生成し、診断支援情報画像において、観察対象の動きによって、診断支援情報のうち少なくとも第1診断支援情報の表示又は非表示を制御する。
【発明の効果】
【0015】
本発明によれば、画像中での観察対象の動きが変化する状況下においても、病変候補領域を検出した際に、病変候補領域に関する診断支援情報が、観察対象の視認性を妨げないようにすることができる。
【図面の簡単な説明】
【0016】
図1】内視鏡システムの外観図である。
図2】内視鏡システムの機能を示すブロック図である。
図3】紫色光V、青色光B、緑色光G、及び赤色光Rのスペクトルを示すグラフである。
図4】診断支援モード時の第1A発光パターン又は第2A発光パターンを示す説明図である。
図5】診断支援モード時の第1B発光パターンを示す説明図である。
図6】診断支援モード時の第2B発光パターンを示す説明図である。
図7】診断支援モード時の第2C発光パターンを示す説明図である。
図8】診断支援モード時の第2D発光パターンを示す説明図である。
図9】撮像センサの各カラーフィルタの分光透過率を示すグラフである。
図10】第1撮像期間及び第2撮像期間を示す説明図である。
図11】診断支援モードにおける照明制御、解析処理、及び画像表示を時系列順で示す説明図である。
図12】診断支援情報処理部の機能を示すブロック図である。
図13】第1診断支援情報及び第2診断支援情報を示す画像図である。
図14】第1表示制御を示す説明図である。
図15】第2表示制御を示す説明図である。
図16】表示制御の自動切り替えに用いる切替用閾値を示す説明図である。
図17】発光スペクトルが異なる複数の第2照明光を用いる場合における第2診断支援情報の表示方法を示す説明図である。
図18】診断支援モードの一連の流れを示すフローチャートである。
【発明を実施するための形態】
【0017】
図1において、内視鏡システム10は、内視鏡12と、光源装置14と、プロセッサ装置16と、ディスプレイ18と、ユーザーインターフェース19とを有する。内視鏡12は、光源装置14と光学的に接続され、且つ、プロセッサ装置16と電気的に接続される。内視鏡12は、観察対象の体内に挿入される挿入部12aと、挿入部12aの基端部分に設けられた操作部12bと、挿入部12aの先端側に設けられた湾曲部12c及び先端部12dとを有している。湾曲部12cは、操作部12bのアングルノブ12eを操作することにより湾曲動作する。先端部12dは、湾曲部12cの湾曲動作によって所望の方向に向けられる。
【0018】
また、操作部12bには、アングルノブ12eの他、モードの切り替え操作に用いるモード切替SW(モード切替スイッチ)12fと、観察対象の静止画の取得指示に用いられる静止画取得指示部12gと、ズームレンズ43(図2参照)の操作に用いられるズーム操作部12hとが設けられている。
【0019】
なお、内視鏡システム10は、通常観察モード、特殊観察モード、診断支援モードの3つのモードを有している。通常観察モードでは、白色光などの通常光を観察対象に照明して撮像することによって、自然な色合いの通常観察画像をディスプレイ18に表示する。特殊観察モードでは、通常光と発光スペクトルが異なる特殊光を観察対象に照明して撮像することによって、特定の構造を強調した特殊観察画像をディスプレイ18に表示する。診断支援モードでは、発光スペクトルが異なる第1照明光と第2照明光とを切り替えて発光し、且つ、病変候補領域などを認識処理(AI(Artificial Intelligence)など)で認識した場合に、第1照明光に基づく観察画像に対して、病変候補領域に関する診断支援情報を表示する診断支援情報画像をディスプレイ18に表示する。
【0020】
静止画取得指示部12gをユーザーが操作することにより、静止画取得指示に関する信号が内視鏡12、光源装置14、及びプロセッサ装置16に送られる。プロセッサ装置16では、静止画取得指示が行われた場合には、静止画取得指示が行われると、観察対象の静止画が、プロセッサ装置16の静止画保存用メモリ69に保存される。
【0021】
プロセッサ装置16は、ディスプレイ18及びユーザーインターフェース19と電気的に接続される。ディスプレイ18は、観察対象の画像や、観察対象の画像に付帯する情報などを出力表示する。ユーザーインターフェース19は、キーボード、マウス、タッチパッドなどを有し、機能設定などの入力操作を受け付ける機能を有する。なお、プロセッサ装置16には、画像や画像情報などを記録する外付けの記録部(図示省略)を接続してもよい。
【0022】
図2において、光源装置14は、光源部20と、光源部20を制御する光源用プロセッサ21とを備えている。光源部20は、例えば、複数の半導体光源を有し、これらをそれぞれ点灯または消灯し、点灯する場合には各半導体光源の発光量を制御することにより、観察対象を照明する照明光を発する。本実施形態では、光源部20は、V-LED(Violet Light Emitting Diode)20a、B-LED(Blue Light Emitting Diode)20b、G-LED(Green Light Emitting Diode)20c、及びR-LED(Red Light Emitting Diode)20dの4色のLEDを有する。
【0023】
図3に示すように、V-LED20aは、中心波長405±10nm、波長範囲380~420nmの紫色光Vを発生する。B-LED20bは、中心波長450±10nm、波長範囲420~500nmの青色光Bを発生する。G-LED20cは、波長範囲が480~600nmに及ぶ緑色光Gを発生する。R-LED20dは、中心波長620~630nmで、波長範囲が600~650nmに及ぶ赤色光Rを発生する。
【0024】
光源用プロセッサ21は、V-LED20a、B-LED20b、G-LED20c、及びR-LED20dを制御する。光源用プロセッサ21は、各LED20a~20dをそれぞれ独立に制御することで、紫色光V、青色光B、緑色光G、又は赤色光Rをそれぞれ独立に光量を変えて発光可能である。また、光源用プロセッサ21は、通常観察モード時には、紫色光V、青色光B、緑色光G、及び赤色光R間の光量比がVc:Bc:Gc:Rcとなる白色光を発光するように、各LED20a~20dを制御する。なお、Vc、Bc、Gc、Rc>0である。
【0025】
また、光源用プロセッサ21は、特殊観察モード時には、短波長の狭帯域光としての紫色光V、青色光B、緑色光G、及び赤色光Rとの光量比がVs:Bs:Gs:Rsとなる特殊光を発光するように、各LED20a~20dを制御する。光量比Vs:Bs:Gs:Rsは、通常観察モード時に使用する光量比Vc:Bc:Gc:Rcと異なっており、観察目的に応じて適宜定められる。例えば、表層血管を強調する場合には、Vsを、他のBs、Gs、Rsよりも大きくすることが好ましく、中深層血管を強調する場合には、Gsを、他のVs、Gs、Rsよりも大きくすることが好ましい。
【0026】
また、光源用プロセッサ21は、診断支援モード時に、第1照明光と第2照明光とを自動的に切り替えて発光する場合において、第1照明光を第1発光パターンで発光し、第2照明光を第2発光パターンで発光する。具体的には、第1発光パターンは、図4に示すように、第1照明期間のフレーム数が、それぞれの第1照明期間において同じである第1A発光パターンと、図5に示すように、第1照明期間のフレーム数が、それぞれの第1照明期間において異なっている第1B発光パターンとのうちのいずれかであることが好ましい。
【0027】
第2発光パターンは、図4に示すように、第2照明期間のフレーム数が、それぞれの第2照明期間において同じであり、且つ、第2照明光の発光スペクトルが、それぞれの第2照明期間において同じである第2A発光パターン、図6に示すように、第2照明期間のフレーム数が、それぞれの第2照明期間において同じであり、且つ、第2照明光の発光スペクトルが、それぞれの第2照明期間において異なっている第2B発光パターン、図7に示すように、第2照明期間のフレーム数が、それぞれの第2照明期間において異なっており、且つ、第2照明光の発光スペクトルが、それぞれの第2照明期間において同じである第2C発光パターン、図8に示すように、第2照明期間のフレーム数が、それぞれの第2照明期間において異なっており、且つ、第2照明光の発光スペクトルが、それぞれの第2照明期間において異なっている第2D発光パターンのうちのいずれかであることが好ましい。なお、第1照明光の発光スペクトルは、それぞれの第1照明期間において同じであってもよく、異なってもよい。
【0028】
ここで、第1照明期間は第2照明期間よりも長くすることが好ましく、第1照明期間は2フレーム以上とすることが好ましい。例えば、図4では、第1発光パターンを第1Aパターンとし、第2発光パターンを第2A発光パターン(第2照明期間のフレーム数:同じ、第2照明光の発光スペクトル:同じ)とする場合において、第1照明期間を2フレームとし、第2照明期間を1フレームとしている。第1照明光は、ディスプレイ18に表示する観察画像の生成に用いられることから、第1照明光を観察対象に照明することによって、明るい画像が得られることが好ましい。
【0029】
例えば、第1照明光は、白色光であることが好ましい。一方、第2照明光は、認識処理に用いることから、第2照明光を観察対象に照明することによって、認識処理に適した画像が得られることが好ましい。例えば、表層血管に基づいて認識処理を行う場合には、第2照明光を紫色光Vとすることが好ましい。第1照明期間と第2照明期間の切替パターンである第1、2発光パターンについては、撮像用プロセッサ45による撮像センサ44の撮像制御に基づいて定められることから、後述する。また、フレームとは、撮像センサ44において特定タイミングから信号読み出し完了までの間の期間を少なくとも含む期間の単位のことをいう。
【0030】
なお、本明細書において、光量比は、少なくとも1つの半導体光源の比率が0(ゼロ)の場合を含む。したがって、各半導体光源のいずれか1つまたは2つ以上が点灯しない場合を含む。例えば、紫色光V、青色光B、緑色光G、及び赤色光R間の光量比が1:0:0:0の場合のように、半導体光源の1つのみを点灯し、他の3つは点灯しない場合も、光量比を有するものとする。
【0031】
図2に示すように、各LED20a~20dが発する光は、ミラーやレンズなどで構成される光路結合部23を介して、ライトガイド25に入射される。ライトガイド25は、内視鏡12及びユニバーサルコード(内視鏡12と、光源装置14及びプロセッサ装置16を接続するコード)に内蔵されている。ライトガイド25は、光路結合部23からの光を、内視鏡12の先端部12dまで伝搬する。
【0032】
内視鏡12の先端部12dには、照明光学系30aと撮像光学系30bが設けられている。照明光学系30aは照明レンズ32を有しており、ライトガイド25によって伝搬した照明光は照明レンズ32を介して観察対象に照射される。撮像光学系30bは、対物レンズ42、撮像センサ44を有している。照明光を照射したことによる観察対象からの光は、対物レンズ42及びズームレンズ43を介して撮像センサ44に入射する。これにより、撮像センサ44に観察対象の像が結像される。ズームレンズ43は観察対象を拡大するためのレンズであり、ズーム操作部12hを操作することによって、テレ端とワイド端と間を移動する。
【0033】
撮像センサ44は、原色系のカラーセンサであり、青色カラーフィルタを有するB画素(青色画素)、緑色カラーフィルタを有するG画素(緑色画素)、及び、赤色カラーフィルタを有するR画素(赤色画素)の3種類の画素を備える。図9に示すように、青色カラーフィルタBFは、主として青色帯域の光、具体的には波長帯域が380~560nmの波長帯域の光を透過する。青色カラーフィルタBFの透過率は、波長460~470nm付近においてピークになる。緑色カラーフィルタはGF、主として緑色帯域の光、具体的には、460~620nmの波長帯域の光を透過する。赤色カラーフィルタRFは、主として赤色帯域の光、具体的には、580~760nmの波長帯域の光を透過する。
【0034】
また、撮像センサ44は、CCD(Charge-Coupled Device)またはCMOS(Complementary Metal Oxide Semiconductor)であることが好ましい。撮像用プロセッサ45は、撮像センサ44を制御する。具体的には、撮像用プロセッサ45により撮像センサ44の信号読み出しを行うことによって、撮像センサ44から画像信号が出力される。通常観察モードでは、通常光が撮像センサ44に露光された状態で、撮像用プロセッサ45が信号読み出しを行うことにより、撮像センサ44のB画素からBc画像信号が出力され、G画素からGc画像信号が出力され、R画素からRc画像信号が出力される。特殊観察モードでは、特殊光が撮像センサ44に露光された状態で、撮像用プロセッサ45が信号読み出しを行うことによって、撮像センサ44のB画素からBs画像信号が出力され、G画素からGs画像信号が出力され、R画素からRs画像信号が出力される。
【0035】
診断支援モードでは、撮像用プロセッサ45は、図10に示すように、第1照明期間において第1照明光を撮像センサ44に露光させた状態で、信号読み出しを行うことにより、撮像センサ44から第1画像信号を出力させる。第1画像信号を出力する期間を第1撮像期間とする。第1画像信号には、B画素から出力されるB1画像信号、G画素から出力されるG1画像信号、及び、R画素から出力されるR1画像信号が含まれる。また、撮像用プロセッサ45は、第2照明期間において第2照明光を撮像センサ44に露光させた状態で、信号読み出しを行うことにより、撮像センサ44から第2画像信号を出力させる。第2画像信号を出力する期間を第1撮像期間とする。第2画像信号には、B画素から出力されるB2画像信号、G画素から出力されるG2画像信号、及び、R画素から出力されるR2画像信号が含まれる。
【0036】
図2に示すように、CDS/AGC(Correlated Double Sampling/Automatic Gain Control)回路46は、撮像センサ44から得られるアナログの画像信号に相関二重サンプリング(CDS)や自動利得制御(AGC)を行う。CDS/AGC回路46を経た画像信号は、A/D(Analog/Digital)コンバータ48により、デジタルの画像信号に変換される。A/D変換後のデジタル画像信号がプロセッサ装置16に入力される。
【0037】
プロセッサ装置16には、各種処理に関するプログラムがプログラム用メモリ(図示しない)に格納されている。プロセッサ装置16においては、画像制御用プロセッサによって構成される中央制御部68によって、プログラム用メモリ内のプログラムが動作することによって、画像取得部50と、DSP(Digital Signal Processor)52と、ノイズ低減部54と、画像処理切替部56と、画像処理部58と、表示制御部60の機能が実現される。また、画像処理部58の機能実現に伴って、通常観察画像生成部62と、特殊観察画像生成部64と、診断支援情報処理部66との機能が実現される。なお、診断支援モードにおいては、画像制御用プロセッサは、第1画像信号又は第2画像信号に基づいて画像処理を行い、ディスプレイ18に対する制御を行う。
【0038】
画像取得部50は、内視鏡12から入力されるカラー画像を取得する。カラー画像には、撮像センサ44のB画素、G画素、R画素から出力される青色信号(B画像信号)、緑色信号(G画像信号)、赤色信号(R画像信号)が含まれている。取得したカラー画像はDSP52に送信される。DSP52は、受信したカラー画像に対して、欠陥補正処理、オフセット処理、ゲイン補正処理、マトリクス処理、ガンマ変換処理、デモザイク処理、及びYC変換処理等の各種信号処理を行う。ノイズ低減部54は、DSP56でデモザイク処理等を施したカラー画像に対して、例えば移動平均法やメディアンフィルタ法等によるノイズ低減処理を施す。ノイズを低減したカラー画像は、画像処理切替部56に入力される。
【0039】
画像処理切替部56は、設定されているモードによって、ノイズ低減部54からの画像信号の送信先を、通常観察画像生成部62と、特殊観察画像生成部64と、診断支援情報処理部66のいずれかに切り替える。具体的には、通常観察モードにセットされている場合には、ノイズ低減部54からの画像信号を通常観察画像生成部62に入力する。特殊観察モードにセットされている場合には、ノイズ低減部54からの画像信号を特殊観察画像生成部64に入力する。診断支援モードにセットされている場合には、ノイズ低減部54からの画像信号を診断支援情報処理部66に入力する。
【0040】
通常観察画像生成部62は、入力した1フレーム分のRc画像信号、Gc画像信号、Bc画像信号に対して、通常観察画像用画像処理を施す。通常観察画像用画像処理には、3×3のマトリクス処理、階調変換処理、3次元LUT(Look Up Table)処理等の色変換処理、色彩強調処理、空間周波数強調等の構造強調処理が含まれる。通常観察画像用画像処理が施されたRc画像信号、Gc画像信号、Bc画像信号は、通常観察画像として表示制御部60に入力される。
【0041】
特殊観察画像生成部64は、入力した1フレーム分のRs画像信号、Gs画像信号、Bs画像信号に対して、特殊観察画像用画像処理を施す。特殊観察画像用画像処理には、3×3のマトリクス処理、階調変換処理、3次元LUT(Look Up Table)処理等の色変換処理、色彩強調処理、空間周波数強調等の構造強調処理が含まれる。特殊観察画像用画像処理が施されたRs画像信号、Gs画像信号、Bs画像信号は、特殊観察画像として表示制御部60に入力される。
【0042】
診断支援情報処理部66は、入力した1フレーム分のR1画像信号、G1画像信号、B1画像信号に対して、上述と同様の通常観察画像用画像処理を施す。通常観察画像信号用画像処理が施されたR1画像信号、G1画像信号、B1画像信号は、観察画像として使用される。また、診断支援情報処理部66は、入力した特定フレーム分のR2画像信号、G2画像信号、B2画像信号に対して、認識処理を行う。認識処理によって、病変候補領域を認識した場合には、病変候補領域に関する診断支援情報を表示する診断支援情報画像を生成する。表示制御部60は、観察画像、又は、診断支援情報画像をディスプレイ18に表示する。
【0043】
表示制御部60は、画像処理部58から出力される画像をディスプレイ18に表示するための制御を行う。具体的には、表示制御部60は、通常観察画像、特殊観察画像、又は、観察画像、又は、診断支援情報画像を、ディスプレイ18においてフルカラーで表示可能にする映像信号に変換する。変換済みの映像信号はディスプレイ18に入力される。これにより、ディスプレイ18には通常観察画像、特殊観察画像、又は、観察画像、又は、診断支援情報画像が表示される。
【0044】
診断支援モードにおいては、表示制御部60は、以下のような表示制御を行う。第1発光パターンを第1A発光パターンとし、第2発光パターンを第2B発光パターン(第2照明期間のフレーム数:同じ、第2照明光の発光スペクトル:異なる)とする場合において、第1照明光を2フレーム分、第2照明光を、第1照明光の発光の間に、それぞれ1フレーム分だけ観察対象に照明する場合には、図11に示すように、第1照明光の照明により得られる第1画像信号に対して通常観察画像用画像処理を施すことによって、観察画像を得る。第1照明光の発光時には、そのまま観察画像がディスプレイ18に表示される。
【0045】
一方、第2照明光の発光により得られる第2画像信号に対して認識処理を行うことによって、病変候補領域DRの有無を検出する。病変候補領域は、例えば、がんなどの病変部の他、良性ポリープなどである。病変候補領域を検出しなかった場合には、第2照明光の発光時には、直前のフレームの観察画像がディスプレイ18に表示される。これに対して、病変候補領域DRを検出した場合には、病変候補領域が検出している期間は、第1照明光の発光時、及び第2照明光の発光時に、観察画像に診断支援情報を表示した診断支援情報画像がディスプレイ18に表示される。診断支援情報画像の表示制御の詳細は後述する。
【0046】
以下、診断支援情報画像の表示制御の詳細について、説明する。診断支援画像は、診断支援情報処理部66において生成される。診断支援情報処理部66は、図12に示すように、認識処理部70、動き取得部72、診断支援情報画像生成部74を備えている。認識処理部70は、第2照明光の発光時に得られる第2画像信号に基づいて、認識処理を行う。認識処理は、病変候補領域を認識して検出するための処理であることが好ましい。具体的には、認識処理部70は、病変候補領域に関して機械学習済みの学習モデルを用い、学習モデルに対して第2画像信号を入力した場合に、病変候補領域の有無を出力することが好ましい。
【0047】
動き取得部72は、画像中での観察対象の動きを取得する。観察対象の動きは、後述するように、第1診断支援情報の表示又は非表示の制御に用いられる。観察対象の動きには、体動などの実際の観察対象の動きに従って生ずる観察対象の動きの他、内視鏡の先端部12dなどの動きに従って生ずる観察対象の動きがある。動き取得部72では、一定時間内に得られる複数フレームの第1画像信号又は第2画像信号に基づいて、観察対象の動きを算出することが好ましい。動きの算出方法としては、一定時間内に得られる複数フレームの第1又は第2画像信号から、観察対象の移動ベクトルを算出し、算出された移動ベクトルに基づいて観察対象の動きを算出することが好ましい。
【0048】
診断支援情報画像生成部74は、認識処理により病変候補領域を認識した場合に、観察画像に対して、病変候補領域に関する診断支援情報を表示した診断支援情報画像を生成する。診断支援情報としては、観察対象の動きによって、ディスプレイ18で表示し、又は非表示にする第1診断支援情報と、観察対象の動きに関わらず、ディスプレイ18での表示を維持する第2診断支援情報が含まれる。
【0049】
具体的には、図13に示すように、第1診断支援情報76は、病変の疑い率などの病変候補領域の文字情報であり、観察画像に対するユーザーの視認性に影響を与えやすい情報であることが好ましい。一方、第2診断支援情報78は、病変候補領域DRの位置情報を示すバウンディングボックスなどであり、観察画像に対するユーザーの視認性に影響を与えにくい情報であることが好ましい。
【0050】
表示制御部60は、観察対象の動きによって、診断支援情報画像において、診断支援情報のうち少なくとも第1診断支援情報の表示又は非表示を制御する。具体的には、表示制御部60は、病変候補領域の詳細観察(鑑別など)を行う場合の第1表示制御と、病変候補領域スクリーニングを行う場合の第2表示制御とは、異なっていることが好ましい。なお、第2診断支援情報についても表示又は非表示の制御を行ってもよい。
【0051】
第1表示制御は、図14に示すように、観察対象の動きが第1閾値未満である場合に、第1診断支援情報76を表示し、観察対象の動きが第1閾値以上である場合には、第1診断支援情報76を非表示にする。鑑別などの詳細観察においては、撮像センサ44を有する内視鏡の先端部12dを一時的に止めて行い、観察対象の動きは比較的小さいことが好ましい。したがって、詳細観察に適した観察対象の動きが第1閾値未満などの小さい状態では、第1診断支援情報76を表示するようにする。一方、観察対象の動きが第1閾値以上になるなど大きくなって、詳細観察に適さなくなった場合には、第1診断支援情報76の表示が視認性を妨げる可能性があるため、第1診断支援情報76を非表示にする。第1表示制御において第1診断支援情報76を非表示にする場合であっても、第2診断支援情報は表示を維持することが好ましい。
【0052】
第2表示制御は、図15に示すように、観察対象の動きが第2閾値以上である場合には、第1診断支援情報76を表示し、観察対象の動きが第2閾値未満である場合に、第1診断支援情報76を非表示にする。スクリーニングにおいては、内視鏡の先端部12dを一定速度以上で移動させるため、観察対象の動きが比較的大きくなっている。したがって、スクリーニング時に病変候補領域を検出し易くするために、観察対象の動きが第2閾値以上などの大きい状態では、第1診断支援情報76を表示する。一方、観察対象の動きが第2閾値未満になるなど小さくなって、スクリーニングに適さなくなった場合には、第1診断支援情報76の表示が視認性を妨げる可能性があるため、第1診断支援情報76を非表示にする。第2表示制御において第1診断支援情報76を非表示にする場合であっても、第2診断支援情報は表示を維持することが好ましい。
【0053】
なお、第1表示制御と第2表示制御の切り替えは、ユーザーインターフェース19を用いて、手動で行ってもよい。また、第1表示制御と第2表示制御の切り替えは、表示制御切替部75(図12参照)によって、手動で行ってもよい。表示制御切替部75は、図16に示すように、観察対象の動きが切替用閾値未満である場合には、観察対象の動きが少ない詳細観察であると判定し、第1表示制御に切り替える。一方、観察対象の動きが切替用閾値以上である場合には、観察対象の動きが大きいスクリーニングであると判定し、第2表示制御に切り替える。表示制御部60は、自動的に切り替えられた第1表示制御又は第2表示制御に従って、診断支援情報の表示制御を行う。
【0054】
なお、第2照明光の第2発光パターンが、第2B発光パターン、又は、第2D発光パターンのように、第2照明光の発光スペクトルが、それぞれの前記第2照明期間において異なっており、且つ、各第2照明光に対応する第2画像信号に基づく認識処理により、複数の病変候補画像が認識された場合には、表示制御部60は、観察対象の動きに関わらず表示を維持する第2診断支援情報の表示を、第2照明光の発光スペクトルによって、異ならせることが好ましい。
【0055】
例えば、図17に示すように、診断支援画像において、発光スペクトルAの第2照明光によって検出された病変候補領域DRAと、発光スペクトルAとは異なる発光スペクトルBの第2照明光によって検出された病変候補領域DRBが存在する場合には、病変候補領域DRAに関する第1診断支援情報76a及び第2診断支援情報78aと、病変候補領域DRBに関する第1診断支援情報76b及び第2診断支援情報78bとが表示されている。
【0056】
この場合、観察対象の動きに関わらず表示を維持する第2診断支援情報78a及び78bについては、第2診断支援情報78bは「青色」のバンディングボックスで表示し、第2診断支援情報78bは「緑色」のバウンディングボックスで表示する。すなわち、「青色」は発光スペクトルAの第2照明光で検出されたことを、「緑色」は発光スペクトルBの第2照明光で検出されたことを表している。これにより、それぞれの病変候補領域DRA、DRBが、いずれの発光スペクトルの第2照明光で検出されたかを視覚的に把握することができる。
【0057】
次に、診断支援モードの一連の流れについて、図18のフローチャートに沿って説明する。モード切替SW12fを操作して、診断支援モードに切り替えられると、互いに発光スペクトルが異なる第1照明光と第2照明光とが自動的に切り替えて発光される。撮像センサ44は、第1照明光によって照明された観察対象を撮像して、第1画像信号を出力する。また、第2照明光によって照明された観察対象を撮像して、第2画像信号を出力する。
【0058】
認識処理部70は、第2画像信号に対して認識処理を行う。動き取得部72は、画像中での観察対象の動きを取得する。診断支援情報画像生成部74は、認識処理により病変候補領域を認識した場合には、第1画像信号に基づく観察画像に対して、病変候補領域に関する診断支援情報を表示する診断支援情報画像を生成する。表示制御部60は、診断支援情報画像において、観察対象の動きによって、診断支援情報のうち少なくとも第1診断支援情報の表示又は非表示を制御する。以上の一連の処理は、診断支援モードが継続する間、繰り返し行われる。
【0059】
上記実施形態において、光源用プロセッサ21、撮像用プロセッサ45、画像取得部50、DPS52、ノイズ低減部54、画像処理切替部56、画像処理部58に含まれる通常観察画像生成部62、特殊観察画像生成部64、診断支援情報処理部66、中央制御部68、認識処理部70、動き取得部72、診断支援情報画像生成部74、及び表示制御切替部75といった各種の処理を実行する処理部(processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ(processor)である。各種のプロセッサには、ソフトウエア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPU(Central Processing Unit)、FPGA (Field Programmable Gate Array) などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
【0060】
1つの処理部は、これら各種のプロセッサのうちの1つで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合せ(例えば、複数のFPGAや、CPUとFPGAの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアントやサーバなどのコンピュータに代表されるように、1つ以上のCPUとソフトウエアの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)などに代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを1つ以上用いて構成される。
【0061】
さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた形態の電気回路(circuitry)である。また、記憶部のハードウェア的な構造はHDD(hard disc drive)やSSD(solid state drive)等の記憶装置である。
【符号の説明】
【0062】
10 内視鏡システム
12 内視鏡
12a 挿入部
12b 操作部
12c 湾曲部
12d 先端部
12e アングルノブ
12f モード切替スイッチ
12g 静止画取得指示部
12h ズーム操作部
14 光源装置
16 プロセッサ装置
18 ディスプレイ
19 ユーザーインターフェース
20 光源部
20a V-LED
20b B-LED
20c G-LED
20d R-LED
21 光源用プロセッサ
23 光路結合部
25 ライトガイド
30a 照明光学系
30b 撮像光学系
32 照明レンズ
42 対物レンズ
43 ズームレンズ
44 撮像センサ
45 撮像用プロセッサ
46 CDS/AGC回路
48 A/Dコンバータ
50 画像取得部
52 DSP
54 ノイズ低減部
56 画像処理切替部
58 画像処理部
60 表示制御部
62 通常観察画像生成部
64 特殊観察画像生成部
66 診断支援情報処理部
68 中央制御部
69 静止画保存用メモリ
70 認識処理部
72 動き取得部
74 診断支援情報画像生成部
75 表示制御切替部
76、76a、76b 第1診断支援情報
78、78a、78b 第2診断支援情報
DR、DRA、DRB 病変候補領域
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18