特許 6445721 画像処理装置、内視鏡システム、画像処理方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6445721

(24)【登録日】2018年12月7日

(45)【発行日】2018年12月26日

(54)【発明の名称】画像処理装置、内視鏡システム、画像処理方法およびプログラム

(51)【国際特許分類】

   A61B 1/045 20060101AFI20181217BHJP

   A61B 1/05 20060101ALI20181217BHJP

   G02B 23/24 20060101ALI20181217BHJP

【ＦＩ】

   A61B1/045 622

   A61B1/05

   G02B23/24 B

【請求項の数】7

【全頁数】14

(21)【出願番号】特願2017-560644(P2017-560644)

(86)(22)【出願日】2017年4月5日

(86)【国際出願番号】JP2017014271

(87)【国際公開番号】WO2017212768

(87)【国際公開日】20171214

【審査請求日】2017年11月20日

(31)【優先権主張番号】特願2016-113455(P2016-113455)

(32)【優先日】2016年6月7日

(33)【優先権主張国】JP

【早期審査対象出願】

【前置審査】

(73)【特許権者】

【識別番号】000000376

【氏名又は名称】オリンパス株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】特許業務法人酒井国際特許事務所

(72)【発明者】

【氏名】中川 裕仁

(72)【発明者】

【氏名】久津間 祐二

【審査官】 島田 保

(56)【参考文献】

【文献】 国際公開第２０１６／０７２２３７（ＷＯ，Ａ１）

【文献】 国際公開第２０１１／０５５６１４（ＷＯ，Ａ１）

【文献】 国際公開第２０１５／０６４５２１（ＷＯ，Ａ１）

【文献】 国際公開第２０１６／０８４５２２（ＷＯ，Ａ１）

【文献】 特開２０１３−０６６６４８（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ａ６１Ｂ １／００−１／３２

Ｇ０２Ｂ ２３／２４−２３／２６

(57)【特許請求の範囲】

【請求項1】

被検体に挿入される内視鏡の挿入部の周方向の側方視野を撮像して生成された円環状をなす側方観察像と、前記挿入部の挿入方向の前方視野を撮像して生成された直視観察像であって、前記側方観察像の中心から内円までに形成された円をなす直視観察像と、を含む画像データを取得する取得部と、
前記画像データに対して、所定の倍率に拡大する電子ズーム処理を実行可能であり、前記電子ズーム処理を行っていない通常観察の場合に、前記側方観察像と前記直視観察像との境界部分を表示領域に含む第１表示画像を生成し、更に前記電子ズーム処理を行っている拡大観察の場合には、前記側方観察像と前記直視観察像との境界部分をマスクにより遮蔽した第２表示画像を生成可能な画像処理部と、
を備え、
前記画像処理部は、
前記電子ズーム処理を行う電子ズーム部と、
前記通常観察の場合に、前記側方観察像の外周から外側を遮蔽する第１マスク部を生成する一方、前記拡大観察の場合には、前記直視観察像と前記表示領域とが交差する２点を結ぶ直線と前記表示領域によって形成された領域を遮蔽する第２マスク部を生成するマスク生成部と、
前記通常観察の場合に、前記第１マスク部を前記画像データに対応する画像に合成して表示装置が有する矩形状の表示領域の形状に対応させて成型した第１表示画像を生成する一方、前記拡大観察の場合には、前記第２マスク部を前記電子ズーム部によって拡大された前記画像に合成して前記表示装置が有する矩形状の表示領域の形状に対応させて成型した第２表示画像を生成する画像生成部と、
を有することを特徴とする画像処理装置。

【請求項2】

前記第２マスク部は、前記側方観察像を遮蔽する円環状をなすことを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記マスク生成部は、前記電子ズーム部による倍率に基づいて、前記第２マスク部の遮蔽領域を変更することを特徴とする請求項１に記載の画像処理装置。

【請求項4】

前記画像生成部は、前記第１表示画像および前記第２表示画像を前記表示装置へ出力することを特徴とする請求項１に記載の画像処理装置。

【請求項5】

請求項１に記載の画像処理装置と、
前記内視鏡と、
表示装置と、
を備えたことを特徴とする内視鏡システム。

【請求項6】

画像処理装置が実行する画像処理方法であって、
被検体に挿入される内視鏡の挿入部の周方向の側方視野を撮像して生成された円環状をなす側方観察像と、前記挿入部の挿入方向の前方視野を撮像して生成された直視観察像であって、前記側方観察像の中心から内円までに形成された円をなす直視観察像と、を含む画像データを取得する取得ステップと、
前記画像データに対して、所定の倍率に拡大する電子ズーム処理を行っていない通常観察の場合に、前記側方観察像と前記直視観察像との境界部分を表示領域に含む第１表示画像を生成し、更に前記電子ズーム処理を行っている拡大観察の場合には、前記側方観察像と前記直視観察像との境界部分をマスクにより遮蔽した第２表示画像を生成可能な画像処理ステップと、
を含み、
前記画像処理ステップは、
前記電子ズーム処理を行う電子ズームステップと、
前記通常観察の場合に、前記側方観察像の外周から外側を遮蔽する第１マスク部を生成する一方、前記拡大観察の場合には、前記直視観察像と前記表示領域とが交差する２点を結ぶ直線と前記表示領域によって形成された領域を遮蔽する第２マスク部を生成するマスク生成ステップと、
前記通常観察の場合に、前記第１マスク部を前記画像データに対応する画像に合成して表示装置が有する矩形状の表示領域の形状に対応させて成型した第１表示画像を生成する一方、前記拡大観察の場合には、前記第２マスク部を前記電子ズームステップによって拡大された前記画像に合成して前記表示装置が有する矩形状の表示領域の形状に対応させて成型した第２表示画像を生成する画像生成ステップと、
を含むことを特徴とする画像処理方法。

【請求項7】

画像処理装置に、
被検体に挿入される内視鏡の挿入部の周方向の側方視野を撮像して生成された円環状をなす側方観察像と、前記挿入部の挿入方向の前方視野を撮像して生成された直視観察像であって、前記側方観察像の中心から内円までに形成された円をなす直視観察像と、を含む画像データを取得する取得ステップと、
前記画像データに対して、所定の倍率に拡大する電子ズーム処理を行っていない通常観察の場合に、前記側方観察像と前記直視観察像との境界部分を表示領域に含む第１表示画像を生成し、更に前記電子ズーム処理を行っている拡大観察の場合には、前記側方観察像と前記直視観察像との境界部分をマスクにより遮蔽した第２表示画像を生成可能な画像処理ステップと、
を実行させ、
前記画像処理ステップは、
前記電子ズーム処理を行う電子ズームステップと、
前記通常観察の場合に、前記側方観察像の外周から外側を遮蔽する第１マスク部を生成する一方、前記拡大観察の場合には、前記直視観察像と前記表示領域とが交差する２点を結ぶ直線と前記表示領域によって形成された領域を遮蔽する第２マスク部を生成するマスク生成ステップと、
前記通常観察の場合に、前記第１マスク部を前記画像データに対応する画像に合成して表示装置が有する矩形状の表示領域の形状に対応させて成型した第１表示画像を生成する一方、前記拡大観察の場合には、前記第２マスク部を前記電子ズームステップによって拡大された前記画像に合成して前記表示装置が有する矩形状の表示領域の形状に対応させて成型した第２表示画像を生成する画像生成ステップと、
を実行させることを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像データに対して画像処理を行う画像処理装置、内視鏡システム、画像処理方法およびプログラムに関する。

【背景技術】

【0002】

近年、内視鏡において、被検体に挿入される挿入部の先端側に設けられた側方観察部によって挿入部の周方向の側方視野を撮像して生成された円環状をなす側方観察像と、この側方観察部よりも挿入部の先端側に設けられた直視観察部によって挿入部の挿入方向の前方視野を撮像して生成された円形をなす直視観察像と、を取得する技術が知られている（特許文献１参照）。この技術では、直視観察像の周方向に側方観察像を合成した合成画像に、側方観察部によって撮像できなかった周方向の視野領域を遮蔽する遮蔽マスク部を重畳するとともに、合成画像の四隅に面取り用のマスク部をさらに重畳して矩形状に成形して表示モニタに表示する。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】国際公開第２０１４／０８８０７６号

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上述した特許文献１では、観察状態に関わらず、マスク部の遮蔽領域が常に一定であるため、通常観察を行う場合、側方観察像の一部を遮蔽してしまい、観察視野が狭くなるという問題点があった。具体的には、上述した特許文献１では、図６Ａに示すように、マスク部Ｍ１、マスク部Ｍ２およびマスク部Ｍ３の各々の面取り領域が常に一定である。このため、通常観察を行う場合において、直視観察像Ｆ１と側方観察像Ｌ１とを合成した合成画像Ｐ１を表示領域Ｄ１の表示モニタに表示させたとき、図６Ｂに示すように、マスク部Ｍ３が側方観察像Ｌ１の一部Ｋ１を遮蔽された画像Ｐ２となり、観察視野が狭くなるという問題点があった。

【0005】

さらに、上述した特許文献１では、電子ズームによって拡大観察を行う場合、直視観察像と側方観察像との境界線や遮蔽マスク部とマスク部との段差等の不明瞭な領域が電子ズームのズーム倍率に伴って表示モニタにおける表示領域の中心付近から外縁側に向けて移動することによって、ユーザが観察する際に病変であるか境界であるかを判別することが難しいという問題点があった。具体的には、上述した特許文献１では、図７Ａおよび図７Ｂに示すように、電子ズームによって拡大観察を行う場合において、直視観察像Ｆ１と側方観察像Ｌ１とを合成した合成画像Ｐ３を表示領域Ｄ１の表示モニタに表示させたとき、直視観察像Ｆ１と側方観察像Ｌ１との境界線Ｋ３やマスク部同士の段差Ｋ２等の不明瞭な領域が表示領域Ｄ１の中心付近から外縁側に向けて移動した画像Ｐ４となり、ユーザが観察する際に病変であるか境界であるかを判別することが難しいという問題点があった。

【0006】

本発明は、上記に鑑みてなされたものであって、観察状態に関わらず、観察視野が狭くなることを防止するとともに、電子ズーム時において不明瞭な領域を遮蔽することができる画像処理装置、内視鏡システム、画像処理方法およびプログラムを提供することを目的とする。

【課題を解決するための手段】

【0007】

上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、被検体に挿入される内視鏡の挿入部の先端側に設けられた側方観察部によって前記挿入部の周方向の側方視野を撮像して生成された円環状をなす側方観察像と、前記側方観察部よりも前記挿入部の先端側に設けられた直視観察部によって前記挿入部の挿入方向の前方視野を撮像して生成された直視観察像であって、前記側方観察像の中心から内円までに形成された円をなす直視観察像と、を含む画像データを取得する取得部と、前記取得部が取得した前記画像データに対応する画像に対して、トリミング処理を行うことによって、所定の倍率に拡大する電子ズームを実行可能な電子ズーム部と、前記電子ズーム部が前記電子ズームを行っていない通常観察の場合、前記側方観察像の外周から外側を遮蔽する第１マスク部を生成する一方、前記電子ズーム部が前記電子ズームを行っている拡大観察の場合、前記側方観察像と前記直視観察像との境界を遮蔽する第２マスク部を生成するマスク生成部と、前記通常観察の場合、前記第１マスク部を前記画像に合成して表示装置が有する矩形状の表示領域の形状に対応させて成型した第１表示画像を生成する一方、前記拡大観察の場合、前記第２マスク部を前記電子ズーム部によって拡大された前記画像に合成して前記表示領域の形状に対応させて成型した第２表示画像を生成する画像生成部と、を備えたことを特徴とする。

【0008】

また、本発明に係る画像処理装置は、上記発明において、前記第２マスク部は、前記直視観察像と前記表示領域とが交差する２点を結ぶ領域を遮蔽することを特徴とする。

【0009】

また、本発明に係る画像処理装置は、上記発明において、前記第２マスク部は、前記直視観察像と前記表示領域とが交差する２点を結ぶ直線と前記表示領域によって形成された領域を遮蔽することを特徴とする。

【0010】

また、本発明に係る画像処理装置は、上記発明において、前記第２マスク部は、前記側方観察像を遮蔽する円環状をなすことを特徴とする。

【0011】

また、本発明に係る画像処理装置は、上記発明において、前記マスク生成部は、前記電子ズーム部による倍率に基づいて、前記第２マスク部の遮蔽領域を変更することを特徴とする。

【0012】

また、本発明に係る画像処理装置は、上記発明において、前記画像生成部は、前記第１表示画像および前記第２表示画像を前記表示装置へ出力することを特徴とする。

【0013】

また、本発明に係る内視鏡システムは、上記発明の画像処理装置と、前記内視鏡と、前記表示装置と、を備えたことを特徴とする。

【0014】

また、本発明に係る画像処理方法は、画像処理装置が実行する画像処理方法であって、被検体に挿入される内視鏡の挿入部の先端側に設けられた側方観察部によって前記挿入部の周方向の側方視野を撮像して生成された円環状をなす側方観察像と、前記側方観察部よりも前記挿入部の先端側に設けられた直視観察部によって前記挿入部の挿入方向の前方視野を撮像して生成された直視観察像であって、前記側方観察像の中心から内円までに形成された円をなす直視観察像と、を含む画像データを取得する取得ステップと、前記取得ステップにおいて取得した前記画像データに対応する画像に対して、トリミング処理を行うことによって、所定の倍率に拡大する電子ズームを実行可能な電子ズーム部が前記電子ズームを行っていない通常観察の場合、前記側方観察像の外周から外側を遮蔽する第１マスク部を生成する一方、前記電子ズーム部が前記電子ズームを行っている拡大観察の場合、前記側方観察像と前記直視観察像との境界を遮蔽する第２マスク部を生成するマスク生成ステップと、前記通常観察の場合、前記第１マスク部を前記画像に合成して表示装置が有する矩形状の表示領域の形状に対応させて成型した第１表示画像を生成する一方、前記拡大観察の場合、前記第２マスク部を前記電子ズーム部によって拡大された前記画像に合成して前記表示領域の形状に対応させて成型した第２表示画像を生成する画像生成ステップと、を含むことを特徴とする。

【0015】

また、本発明に係るプログラムは、画像処理装置に、被検体に挿入される内視鏡の挿入部の先端側に設けられた側方観察部によって前記挿入部の周方向の側方視野を撮像して生成された円環状をなす側方観察像と、前記側方観察部よりも前記挿入部の先端側に設けられた直視観察部によって前記挿入部の挿入方向の前方視野を撮像して生成された直視観察像であって、前記側方観察像の中心から内円までに形成された円をなす直視観察像と、を含む画像データを取得する取得ステップと、前記取得ステップにおいて取得した前記画像データに対応する画像に対して、トリミング処理を行うことによって、所定の倍率に拡大する電子ズームを実行可能な電子ズーム部が前記電子ズームを行っていない通常観察の場合、前記側方観察像の外周から外側を遮蔽する第１マスク部を生成する一方、前記電子ズーム部が前記電子ズームを行っている拡大観察の場合、前記側方観察像と前記直視観察像との境界を遮蔽する第２マスク部を生成するマスク生成ステップと、前記通常観察の場合、前記第１マスク部を前記画像に合成して表示装置が有する矩形状の表示領域の形状に対応させて成型した第１表示画像を生成する一方、前記拡大観察の場合、前記第２マスク部を前記電子ズーム部によって拡大された前記画像に合成して前記表示領域の形状に対応させて成型した第２表示画像を生成する画像生成ステップと、を実行させることを特徴とする。

【発明の効果】

【0016】

本発明によれば、観察状態に関わらず、観察視野が狭くなることを防止するとともに、電子ズーム時において不明瞭な領域を遮蔽することができるという効果を奏する。

【図面の簡単な説明】

【0017】

【図1】図１は、本発明の一実施の形態１に係る内視鏡システムの機能構成を示すブロック図である。

【図2】図２は、本発明の一実施の形態１に係る画像処理装置が実行する処理の概要を示すフローチャートである。

【図3A】図３Ａは、本発明の一実施の形態１に係る内視鏡が生成した画像データに対応する画像の一例を模式的に示す図である。

【図3B】図３Ｂは、本発明の一実施の形態１に係る画像処理装置のマスク生成部が生成するマスク部の形状を模式的に示す図である。

【図3C】図３Ｃは、本発明の一実施の形態１に係る画像処理装置の出力部がマスク部を画像に合成した状態を模式的に示す図である。

【図3D】図３Ｄは、本発明の一実施の形態１に係る表示装置が表示する画像の一例を示す図である。

【図4A】図４Ａは、本発明の一実施の形態１に係る画像処理装置の出力部が内視鏡の電子ズーム時にマスク部を画像に合成した状態を模式的に示す図である。

【図4B】図４Ｂは、本発明の一実施の形態１に係る表示装置が内視鏡の電子ズーム時に表示する画像の一例を示す図である。

【図5A】図５Ａは、本発明の一実施の変形例に係る画像処理装置の出力部が内視鏡システムの電子ズーム時にマスク部を画像に合成した状態を模式的に示す図である。

【図5B】図５Ｂは、本発明の一実施の形態の変形例に係る表示装置が内視鏡システムの電子ズーム時に表示する画像の一例を示す図である。

【図6A】図６Ａは、従来技術に係る内視鏡がマスク部を重畳した画像の一例を示す図である。

【図6B】図６Ｂは、従来技術に係る表示モニタがマスク部を重畳した画像の一例を示す図である。

【図7A】図７Ａは、従来技術に係る内視鏡が電子ズーム時にマスク部を合成した画像の一例を示す図である。

【図7B】図７Ｂは、従来技術に係る表示モニタが電子ズーム時にマスク部を合成した画像の一例を示す図である。

【発明を実施するための形態】

【0018】

以下、本発明を実施するための形態（以下、「実施の形態」という）を説明する。実施の形態では、本発明に係る画像処理装置を含む内視鏡システムを一例に説明する。なお、この実施の形態により、本発明が限定されるものではない。さらに、図面の記載において、同一の部分には同一の符号を付して説明する。

【0019】

〔内視鏡システムの構成〕
図１は、本発明の一実施の形態に係る内視鏡システムの機能構成を示すブロック図である。図１に示す内視鏡システム１は、被検体内に挿入されることによって、被検体の体内を撮像して画像データを生成する内視鏡２（内視鏡スコープ）と、内視鏡２を介して被検体内に照明光を照射する光源装置３と、内視鏡２から入力された画像データに対して各種処理を行う画像処理装置４（プロセッサ）と、画像処理装置４から入力された画像データに対応する画像を表示する表示装置５と、を備える。

【0020】

〔内視鏡の構成〕
まず、内視鏡２の詳細な構成について説明する。
内視鏡２は、被検体内に挿入されることによって、被検体の体内を撮像して画像データを生成する。内視鏡２は、光学系２０と、撮像素子２１と、識別情報記録部２２と、内視鏡操作部２３と、を有する。

【0021】

光学系２０は、被検体内に挿入される挿入部の先端側に設けられ、挿入部の周方向の側方視野の観察対象の被写体像（以下、「側方観察像」という）を撮像素子２１の受光面に結像する側方観察光学系２０１と、側方観察光学系２０１よりも挿入部の先端側に設けられ、挿入部の挿入方向の前方視野の観察対象の被写体像（以下、「直視観察像」という）を撮像素子２１の受光面に結像する直視観察光学系２０２と、を有する。側方観察像は、円環状をなす。また、直視観察像は、側方観察像の中心から内円までに形成された円形をなす。なお、本実施の形態１では側方観察光学系２０１が側方観察部として機能し、直視観察光学系２０２が直視観察部として機能する。

【0022】

撮像素子２１は、側方観察像および直視観察像の各々を受光面で受光して光電変換を行うことによって画像データを生成する。撮像素子２１は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像センサを用いて構成される。

【0023】

識別情報記録部２２は、内視鏡２を識別する識別情報を記録する。ここで、識別情報には、内視鏡２を識別するための内視鏡ＩＤ、内視鏡２の画角、内視鏡２の年式、内視鏡２の種別を示す種別情報、内視鏡２のスペック情報、内視鏡２の画像データの伝送方法、内視鏡２の画像データの伝送レート、内視鏡２に対応する光源装置３の観察光に関する情報、および内視鏡２が対応可能な画像処理装置４の種別情報が含まれる。識別情報記録部２２は、例えばＲＯＭ（Reaｄ Only Memory）やＦｌａｓｈメモリ等を用いて実現される。

【0024】

内視鏡操作部２３は、内視鏡２に関する各種操作の入力を受け付ける。例えば、内視鏡操作部２３は、光源装置３の観察光を切り替える指示信号、電子ズームによる拡大観察を指示する指示信号および内視鏡２によるフリーズ画像（静止画像）を指示する指示信号等の入力を受け付け、この受け付けた指示信号を画像処理装置４へ出力する。内視鏡操作部２３は、複数のスイッチを用いて構成される。

【0025】

〔光源装置の構成〕
次に、光源装置３の構成について説明する。
光源装置３は、画像処理装置４の制御のもと、内視鏡２を介して、互いに異なる複数の照明光を順次切り替えて出射する。光源装置３は、白色ＬＥＤ（Light Emitting Diode）、赤色、緑色および青色の各々の光を透過するカラーフィルタを用いて構成される。なお、光源装置３は、赤色ＬＥＤ、緑色ＬＥＤおよび青色ＬＥＤを用いて構成されてもよい。

【0026】

〔画像処理装置の構成〕
次に、画像処理装置４の構成について説明する。
画像処理装置４は、取得部４１と、識別情報取得部４２と、操作部４３と、画像処理部４４と、記録部４５と、制御部４６と、を備える。

【0027】

取得部４１は、内視鏡２から画像データを取得し、取得した画像データを画像処理部４４へ出力する。

【0028】

識別情報取得部４２は、画像処理装置４に接続される内視鏡２の識別情報を内視鏡２の識別情報記録部２２から取得し、取得した識別情報を制御部４６へ出力する。

【0029】

操作部４３は、内視鏡システム１に関する各種操作の入力を受け付ける。例えば、操作部４３は、光源装置３の観察光を切り替える指示信号、電子ズームによる拡大観察を指示する指示信号および内視鏡２によるフリーズ画像（静止画像）を指示する指示信号等の入力を受け付け、この受け付けた指示信号を制御部４６へ出力する。操作部４３は、複数のスイッチを用いて構成される。

【0030】

記録部４５は、ＲＯＭを用いて実現され、内視鏡２から入力された画像データおよび内視鏡システム１の動作に必要な各種パラメータ等を含むデータ等を記録する。また、記録部４５は、内視鏡システム１が実行する各種プログラムを記録するプログラム記録部４５１を有する。

【0031】

画像処理部４４は、ＦＰＧＡ等を用いて実現され、取得部４１から入力された画像データに対して、各種画像処理を行って表示装置５へ出力する。画像処理部４４は、信号処理部４４１と、マスク生成部４４２と、電子ズーム部４４３と、出力部４４４と、を有する。

【0032】

信号処理部４４１は、画像データに対して所定の信号処理を行う。ここで、所定の画像処理とは、同時化処理、オプティカルブラック低減処理、ホワイトバランス調整処理、カラーマトリクス演算処理、ガンマ補正処理、色再現処理、エッジ強調処理およびフォーマット変換処理等である。

【0033】

マスク生成部４４２は、制御部４６の制御のもと、信号処理部４４１によって信号処理が施された画像データに対応する画像の四隅をマスクするマスク部を生成する。具体的には、マスク生成部４４２は、電子ズーム部４４３が電子ズームを行っていない通常観察の場合、側方観察像の外周から外側を遮蔽する第１マスク部を生成する。また、マスク生成部４４２は、電子ズーム部４４３が電子ズームを行っている拡大観察の場合、側方観察像と直視観察像との境界を遮蔽する第２マスク部を生成する。例えば、マスク生成部４４２は、直視観察像および表示装置６の表示領域が交差する２点と表示装置６の表示領域の各頂点とを結ぶ領域を遮蔽する第２マスク部を生成する。

【0034】

電子ズーム部４４３は、制御部４６の制御のもと、信号処理部４４１によって信号処理が施された画像データに対応する画像に対して、トリミング処理を行うことによって、所定の倍率に拡大する電子ズームを実行する。

【0035】

出力部４４４は、制御部４６の制御のもと、信号処理部４４１が信号処理を施した体内画像に、マスク生成部４４２が生成したマスク部を合成して表示装置５が有する画像より小さい矩形状の表示領域の形状に対応させた成型した第１表示画像を生成し、この生成した第１表示画像を表示装置５へ出力する。また、出力部４４４は、内視鏡２が電子ズームによる拡大観察を行っている場合、制御部４６の制御のもと、電子ズーム部４４３が電子ズームによって拡大した画像に、マスク生成部４４２が電子ズームに応じて生成した遮蔽領域を有する第２マスク部を合成して表示装置５が有する表示領域の形状に対応させて成型した第２表示画像を生成し、この生成した第２表示画像を表示装置５へ出力する。なお、本実施の形態１では、出力部４４４が画像生成部として機能する。

【0036】

制御部４６は、ＣＰＵ（Central Processing Unit）等を用いて構成され、内視鏡システム１の各部を統括的に制御する。制御部４６は、内視鏡操作部２３から入力される指示信号または操作部４３から入力される指示信号に応じて、内視鏡システム１の各部を制御する。

【0037】

〔表示装置の構成〕
次に、表示装置５の構成について説明する。
表示装置５は、画像処理装置４によって画像処理が施された画像や内視鏡システム１に関する各種情報を表示する。表示装置５は、内視鏡２が撮像して生成した画像データに対応する画像より小さい矩形状の表示領域を有する。表示装置５は、液晶または有機ＥＬ（Electro Luminescence）等を有する表示モニタを用いて実現される。

【0038】

〔画像処理装置の処理〕
次に、画像処理装置４が実行する処理について説明する。図２は、画像処理装置４が実行する処理の概要を示すフローチャートである。

【0039】

図２に示すように、まず、識別情報取得部４２は、画像処理装置４に接続された内視鏡２から識別情報を取得し、取得した識別情報を制御部４６へ出力する（ステップＳ１０１）。

【0040】

続いて、取得部４１は、内視鏡２の撮像素子２１から画像データを取得し、取得した画像データを画像処理部４４へ出力する（ステップＳ１０２）。具体的には、図３Ａに示すように、取得部４１は、内視鏡２の撮像素子２１から側方観察像Ｌ１と直視観察像Ｆ１とを含む画像データに対応する画像を取得する。

【0041】

その後、マスク生成部４４２は、制御部４６の制御のもと、内視鏡２の識別情報に応じたマスク部を生成する（ステップＳ１０３）。具体的には、図３Ｂに示すように、マスク生成部４４２は、側方観察部によって撮像できなかった周方向の視野領域を遮蔽する遮蔽マスク部Ｍ１と、側方観察像Ｌ１の周方向を面取りする円環状のマスク部Ｍ２と、を生成する。なお、本実施の形態では、マスク部Ｍ２が第１マスクとして機能する。

【0042】

続いて、出力部４４４は、マスク生成部４４２が生成したマスク部を画像データに対応する画像に合成して表示装置５へ出力する（ステップＳ１０４）。具体的には、図３Ｃに示すように、出力部４４４は、側方観察像Ｌ１と直視観察像Ｆ１とを含む画像データに対応する画像Ｐ１０に、マスク生成部４４２が生成した遮蔽マスク部Ｍ１およびマスク部Ｍ２を合成し、表示装置５が有する画像Ｐ１０より小さい矩形状の表示領域Ｄ１の形状に対応させて成型（トリミング処理）した第１表示画像を出力する。これにより、図３Ｄに示すように、表示装置５は、側方視野の側方観察像Ｌ１がマスク部Ｍ２によって遮蔽されていない領域Ｋ１０を有する第１表示画像Ｐ１１を表示することができる。この結果、内視鏡２の観察視野を維持することができる。

【0043】

その後、内視鏡操作部２３または操作部４３から電子ズームを指示する指示信号が入力された場合（ステップＳ１０５：Ｙｅｓ）、画像処理装置４は、後述するステップＳ１０６へ移行する。これに対して、内視鏡操作部２３または操作部４３から電子ズームを指示する指示信号が入力されていない場合（ステップＳ１０５：Ｎｏ）、画像処理装置４は、後述するステップＳ１０９へ移行する。

【0044】

ステップＳ１０６において、電子ズーム部４４３は、画像データに対して、トリミング処理を行うことによって所定の倍率に拡大する電子ズーム処理を行う。

【0045】

続いて、マスク生成部４４２は、電子ズームのズーム倍率に応じた、側方観察像と前記直視観察像との境界を遮蔽して画像を面取りするマスク部を生成する（ステップＳ１０７）。

【0046】

その後、出力部４４４は、マスク生成部４４２が生成したマスク部を電子ズーム部４４３によって電子ズーム処理された画像に合成して表示装置５に出力する（ステップＳ１０８）。具体的には、図４Ａに示すように、出力部４４４は、マスク生成部４４２が生成したマスク部Ｍ３を、電子ズーム部４４３によって電子ズーム処理された画像Ｐ２０に合成し、表示装置５が有する画像Ｐ２０より小さい矩形状の表示領域Ｄ１の形状に対応させて成型した第２表示画像を生成して出力する。より具体的には、出力部４４４は、マスク生成部４４２によって生成された直視観察像Ｆ１および表示領域Ｄ１が交差する２点（点Ｔ１，点Ｔ２）と表示領域Ｄ１とによって形成された領域を遮蔽する三角形をなすマスク部Ｍ３（第２マスク部）を表示領域Ｄ１の四隅それぞれに合成する。これにより、図４Ｂに示すように、表示装置５は、側方観察像Ｌ１と直視観察像Ｆ１との不明瞭な境界領域Ｋ２０がマスク部Ｍ３によって遮蔽された第２表示画像Ｐ２１を表示することができる。この結果、ユーザが観察する際に、側方観察像Ｌ１と直視観察像Ｆ１との不明瞭な境界領域で診断の判断を行うことを防止することができる。

【0047】

続いて、内視鏡操作部２３または操作部４３から観察の終了を指示する終了信号が入力された場合（ステップＳ１０９：Ｙｅｓ）、画像処理装置４は、本処理を終了する。これに対して、内視鏡操作部２３または操作部４３から観察の終了を指示する終了信号が入力されていない場合（ステップＳ１０９：Ｎｏ）、画像処理装置４は、上述したステップＳ１０５へ移行する。

【0048】

以上説明した本発明の一実施の形態によれば、出力部４４４が通常観察の場合、マスク部Ｍ２を画像Ｐ１０に合成して表示装置５が有する矩形状の表示領域の形状に対応させて成型した第１表示画像Ｐ１１を生成して表示する一方、拡大観察の場合、マスク部Ｍ３を電子ズーム部４４３によって拡大された画像Ｐ２０に合成して表示領域Ｄ１の形状に対応させて成型した第２表示画像Ｐ２１を生成して表示装置５に出力するので、観察状態に関わらず、観察視野が狭くなることを防止するとともに、電子ズーム時において不明瞭な領域を遮蔽することができる。

【0049】

（変形例）
次に、本発明の一実施の形態では、内視鏡システム１が電子ズームを行っている場合、マスク生成部４４２が画像データに対応する内視鏡画像の四隅を遮蔽することによって表示画像の形状が八角形をなしていたが、内視鏡システム１が電子ズームを行っている場合、側方視野の全てを遮蔽する円環状のマスク部を生成して合成して出力してもよい。具体的には、図５Ａに示すように、出力部４４４は、マスク生成部４４２が生成した円環状のマスク部Ｍ１０を、電子ズーム部４４３によって電子ズーム処理された画像Ｐ３０に合成して表示装置５に出力する。これにより、図５Ｂに示すように、表示装置５は、側方観察像Ｌ１と直視観察像Ｆ１との不明瞭な境界領域Ｋ３０が遮蔽された画像Ｐ３１を表示する。さらに、側方観察像Ｌ１がマスク部Ｍ１０によって全て遮蔽される。これにより、ユーザが観察する際に、側方観察像Ｌ１と直視観察像Ｆ１との不明瞭な境界領域で診断の判断を行うことを防止することができる。

【0050】

（その他の実施の形態）
また、本発明の実施の形態では、伝送ケーブルを介して画像データを画像処理装置へ送信していたが、例えば有線である必要はなく、無線であってもよい。この場合、所定の無線通信規格（例えばＷｉ−Ｆｉ（登録商標）やＢｌｕｅｔｏｏｔｈ（登録商標））に従って、画像データ等を画像処理装置へ送信するようにすればよい。もちろん、他の無線通信規格に従って無線通信を行ってもよい。

【0051】

また、本発明の実施の形態では、画像処理装置と光源装置とが別体であったが、これに限定されることなく、例えば画像処理装置と光源装置を一体的に形成してもよい。

【0052】

また、本発明の実施の形態では、面順次式の内視鏡を例に説明したが、同時式の内視鏡であっても適用することができる。

【0053】

また、本発明の実施の形態では、被検体に挿入される内視鏡であったが、例えばカプセル型の内視鏡または被検体を撮像する撮像装置であっても適用することができる。

【0054】

なお、本明細書におけるフローチャートの説明では、「まず」、「その後」、「続いて」等の表現を用いて各処理の前後関係を明示していたが、本発明を実施するために必要な処理の順序は、それらの表現によって一意的に定められるわけではない。即ち、本明細書で記載したフローチャートにおける処理の順序は、矛盾のない範囲で変更することができる。

【0055】

このように、本発明は、ここでは記載していない様々な実施の形態を含みうるものであり、請求の範囲によって特定される技術的思想の範囲内で種々の設計変更等を行うことが可能である。

【符号の説明】

【0056】

１ 内視鏡システム
２ 内視鏡
３ 光源装置
４ 画像処理装置
５ 表示装置
２０ 光学系
２１ 撮像素子
２２ 識別情報記録部
２３ 内視鏡操作部
４１ 取得部
４２ 識別情報取得部
４３ 操作部
４４ 画像処理部
４５ 記録部
４６ 制御部
２０１ 側方観察光学系
２０２ 直視観察光学系
４４１ 信号処理部
４４２ マスク生成部
４４３ 電子ズーム部
４４４ 出力部
４５１ プログラム記録部
Ｆ１ 直視観察像
Ｋ２０ 境界領域
Ｋ３０ 境界領域
Ｌ１ 側方観察像
Ｍ１ 遮蔽マスク部
Ｍ１０ マスク部
Ｍ２ マスク部
Ｍ３ マスク部

【図1】

【図2】

【図3A】

【図3B】

【図3C】

【図3D】

【図4A】

【図4B】

【図5A】

【図5B】

【図6A】

【図6B】

【図7A】

【図7B】