特許第6445721号(P6445721)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ オリンパス株式会社の特許一覧
特許6445721画像処理装置、内視鏡システム、画像処理方法およびプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6445721
(24)【登録日】2018年12月7日
(45)【発行日】2018年12月26日
(54)【発明の名称】画像処理装置、内視鏡システム、画像処理方法およびプログラム
(51)【国際特許分類】
   A61B 1/045 20060101AFI20181217BHJP
   A61B 1/05 20060101ALI20181217BHJP
   G02B 23/24 20060101ALI20181217BHJP
【FI】
   A61B1/045 622
   A61B1/05
   G02B23/24 B
【請求項の数】7
【全頁数】14
(21)【出願番号】特願2017-560644(P2017-560644)
(86)(22)【出願日】2017年4月5日
(86)【国際出願番号】JP2017014271
(87)【国際公開番号】WO2017212768
(87)【国際公開日】20171214
【審査請求日】2017年11月20日
(31)【優先権主張番号】特願2016-113455(P2016-113455)
(32)【優先日】2016年6月7日
(33)【優先権主張国】JP
【早期審査対象出願】
【前置審査】
(73)【特許権者】
【識別番号】000000376
【氏名又は名称】オリンパス株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】特許業務法人酒井国際特許事務所
(72)【発明者】
【氏名】中川 裕仁
(72)【発明者】
【氏名】久津間 祐二
【審査官】 島田 保
(56)【参考文献】
【文献】 国際公開第2016/072237(WO,A1)
【文献】 国際公開第2011/055614(WO,A1)
【文献】 国際公開第2015/064521(WO,A1)
【文献】 国際公開第2016/084522(WO,A1)
【文献】 特開2013−066648(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 1/00−1/32
G02B 23/24−23/26
(57)【特許請求の範囲】
【請求項1】
被検体に挿入される内視鏡の挿入部の周方向の側方視野を撮像して生成された円環状をなす側方観察像と、前記挿入部の挿入方向の前方視野を撮像して生成された直視観察像であって、前記側方観察像の中心から内円までに形成された円をなす直視観察像と、を含む画像データを取得する取得部と、
前記画像データに対して、所定の倍率に拡大する電子ズーム処理を実行可能であり、前記電子ズーム処理を行っていない通常観察の場合に、前記側方観察像と前記直視観察像との境界部分を表示領域に含む第1表示画像を生成し、更に前記電子ズーム処理を行っている拡大観察の場合には、前記側方観察像と前記直視観察像との境界部分をマスクにより遮蔽した第2表示画像を生成可能な画像処理部と、
を備え
前記画像処理部は、
前記電子ズーム処理を行う電子ズーム部と、
前記通常観察の場合に、前記側方観察像の外周から外側を遮蔽する第1マスク部を生成する一方、前記拡大観察の場合には、前記直視観察像と前記表示領域とが交差する2点を結ぶ直線と前記表示領域によって形成された領域を遮蔽する第2マスク部を生成するマスク生成部と、
前記通常観察の場合に、前記第1マスク部を前記画像データに対応する画像に合成して表示装置が有する矩形状の表示領域の形状に対応させて成型した第1表示画像を生成する一方、前記拡大観察の場合には、前記第2マスク部を前記電子ズーム部によって拡大された前記画像に合成して前記表示装置が有する矩形状の表示領域の形状に対応させて成型した第2表示画像を生成する画像生成部と、
を有することを特徴とする画像処理装置。
【請求項2】
前記第2マスク部は、前記側方観察像を遮蔽する円環状をなすことを特徴とする請求項に記載の画像処理装置。
【請求項3】
前記マスク生成部は、前記電子ズーム部による倍率に基づいて、前記第2マスク部の遮蔽領域を変更することを特徴とする請求項に記載の画像処理装置。
【請求項4】
前記画像生成部は、前記第1表示画像および前記第2表示画像を前記表示装置へ出力することを特徴とする請求項に記載の画像処理装置。
【請求項5】
請求項1に記載の画像処理装置と、
前記内視鏡と、
表示装置と、
を備えたことを特徴とする内視鏡システム。
【請求項6】
画像処理装置が実行する画像処理方法であって、
被検体に挿入される内視鏡の挿入部の周方向の側方視野を撮像して生成された円環状をなす側方観察像と、前記挿入部の挿入方向の前方視野を撮像して生成された直視観察像であって、前記側方観察像の中心から内円までに形成された円をなす直視観察像と、を含む画像データを取得する取得ステップと、
前記画像データに対して、所定の倍率に拡大する電子ズーム処理を行っていない通常観察の場合に、前記側方観察像と前記直視観察像との境界部分を表示領域に含む第1表示画像を生成し、更に前記電子ズーム処理を行っている拡大観察の場合には、前記側方観察像と前記直視観察像との境界部分をマスクにより遮蔽した第2表示画像を生成可能な画像処理ステップと、
を含み、
前記画像処理ステップは、
前記電子ズーム処理を行う電子ズームステップと、
前記通常観察の場合に、前記側方観察像の外周から外側を遮蔽する第1マスク部を生成する一方、前記拡大観察の場合には、前記直視観察像と前記表示領域とが交差する2点を結ぶ直線と前記表示領域によって形成された領域を遮蔽する第2マスク部を生成するマスク生成ステップと、
前記通常観察の場合に、前記第1マスク部を前記画像データに対応する画像に合成して表示装置が有する矩形状の表示領域の形状に対応させて成型した第1表示画像を生成する一方、前記拡大観察の場合には、前記第2マスク部を前記電子ズームステップによって拡大された前記画像に合成して前記表示装置が有する矩形状の表示領域の形状に対応させて成型した第2表示画像を生成する画像生成ステップと、
を含むことを特徴とする画像処理方法。
【請求項7】
画像処理装置に、
被検体に挿入される内視鏡の挿入部の周方向の側方視野を撮像して生成された円環状をなす側方観察像と、前記挿入部の挿入方向の前方視野を撮像して生成された直視観察像であって、前記側方観察像の中心から内円までに形成された円をなす直視観察像と、を含む画像データを取得する取得ステップと、
前記画像データに対して、所定の倍率に拡大する電子ズーム処理を行っていない通常観察の場合に、前記側方観察像と前記直視観察像との境界部分を表示領域に含む第1表示画像を生成し、更に前記電子ズーム処理を行っている拡大観察の場合には、前記側方観察像と前記直視観察像との境界部分をマスクにより遮蔽した第2表示画像を生成可能な画像処理ステップと、
を実行させ
前記画像処理ステップは、
前記電子ズーム処理を行う電子ズームステップと、
前記通常観察の場合に、前記側方観察像の外周から外側を遮蔽する第1マスク部を生成する一方、前記拡大観察の場合には、前記直視観察像と前記表示領域とが交差する2点を結ぶ直線と前記表示領域によって形成された領域を遮蔽する第2マスク部を生成するマスク生成ステップと、
前記通常観察の場合に、前記第1マスク部を前記画像データに対応する画像に合成して表示装置が有する矩形状の表示領域の形状に対応させて成型した第1表示画像を生成する一方、前記拡大観察の場合には、前記第2マスク部を前記電子ズームステップによって拡大された前記画像に合成して前記表示装置が有する矩形状の表示領域の形状に対応させて成型した第2表示画像を生成する画像生成ステップと、
を実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像データに対して画像処理を行う画像処理装置、内視鏡システム、画像処理方法およびプログラムに関する。
【背景技術】
【0002】
近年、内視鏡において、被検体に挿入される挿入部の先端側に設けられた側方観察部によって挿入部の周方向の側方視野を撮像して生成された円環状をなす側方観察像と、この側方観察部よりも挿入部の先端側に設けられた直視観察部によって挿入部の挿入方向の前方視野を撮像して生成された円形をなす直視観察像と、を取得する技術が知られている(特許文献1参照)。この技術では、直視観察像の周方向に側方観察像を合成した合成画像に、側方観察部によって撮像できなかった周方向の視野領域を遮蔽する遮蔽マスク部を重畳するとともに、合成画像の四隅に面取り用のマスク部をさらに重畳して矩形状に成形して表示モニタに表示する。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】国際公開第2014/088076号
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上述した特許文献1では、観察状態に関わらず、マスク部の遮蔽領域が常に一定であるため、通常観察を行う場合、側方観察像の一部を遮蔽してしまい、観察視野が狭くなるという問題点があった。具体的には、上述した特許文献1では、図6Aに示すように、マスク部M1、マスク部M2およびマスク部M3の各々の面取り領域が常に一定である。このため、通常観察を行う場合において、直視観察像F1と側方観察像L1とを合成した合成画像P1を表示領域D1の表示モニタに表示させたとき、図6Bに示すように、マスク部M3が側方観察像L1の一部K1を遮蔽された画像P2となり、観察視野が狭くなるという問題点があった。
【0005】
さらに、上述した特許文献1では、電子ズームによって拡大観察を行う場合、直視観察像と側方観察像との境界線や遮蔽マスク部とマスク部との段差等の不明瞭な領域が電子ズームのズーム倍率に伴って表示モニタにおける表示領域の中心付近から外縁側に向けて移動することによって、ユーザが観察する際に病変であるか境界であるかを判別することが難しいという問題点があった。具体的には、上述した特許文献1では、図7Aおよび図7Bに示すように、電子ズームによって拡大観察を行う場合において、直視観察像F1と側方観察像L1とを合成した合成画像P3を表示領域D1の表示モニタに表示させたとき、直視観察像F1と側方観察像L1との境界線K3やマスク部同士の段差K2等の不明瞭な領域が表示領域D1の中心付近から外縁側に向けて移動した画像P4となり、ユーザが観察する際に病変であるか境界であるかを判別することが難しいという問題点があった。
【0006】
本発明は、上記に鑑みてなされたものであって、観察状態に関わらず、観察視野が狭くなることを防止するとともに、電子ズーム時において不明瞭な領域を遮蔽することができる画像処理装置、内視鏡システム、画像処理方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【0007】
上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、被検体に挿入される内視鏡の挿入部の先端側に設けられた側方観察部によって前記挿入部の周方向の側方視野を撮像して生成された円環状をなす側方観察像と、前記側方観察部よりも前記挿入部の先端側に設けられた直視観察部によって前記挿入部の挿入方向の前方視野を撮像して生成された直視観察像であって、前記側方観察像の中心から内円までに形成された円をなす直視観察像と、を含む画像データを取得する取得部と、前記取得部が取得した前記画像データに対応する画像に対して、トリミング処理を行うことによって、所定の倍率に拡大する電子ズームを実行可能な電子ズーム部と、前記電子ズーム部が前記電子ズームを行っていない通常観察の場合、前記側方観察像の外周から外側を遮蔽する第1マスク部を生成する一方、前記電子ズーム部が前記電子ズームを行っている拡大観察の場合、前記側方観察像と前記直視観察像との境界を遮蔽する第2マスク部を生成するマスク生成部と、前記通常観察の場合、前記第1マスク部を前記画像に合成して表示装置が有する矩形状の表示領域の形状に対応させて成型した第1表示画像を生成する一方、前記拡大観察の場合、前記第2マスク部を前記電子ズーム部によって拡大された前記画像に合成して前記表示領域の形状に対応させて成型した第2表示画像を生成する画像生成部と、を備えたことを特徴とする。
【0008】
また、本発明に係る画像処理装置は、上記発明において、前記第2マスク部は、前記直視観察像と前記表示領域とが交差する2点を結ぶ領域を遮蔽することを特徴とする。
【0009】
また、本発明に係る画像処理装置は、上記発明において、前記第2マスク部は、前記直視観察像と前記表示領域とが交差する2点を結ぶ直線と前記表示領域によって形成された領域を遮蔽することを特徴とする。
【0010】
また、本発明に係る画像処理装置は、上記発明において、前記第2マスク部は、前記側方観察像を遮蔽する円環状をなすことを特徴とする。
【0011】
また、本発明に係る画像処理装置は、上記発明において、前記マスク生成部は、前記電子ズーム部による倍率に基づいて、前記第2マスク部の遮蔽領域を変更することを特徴とする。
【0012】
また、本発明に係る画像処理装置は、上記発明において、前記画像生成部は、前記第1表示画像および前記第2表示画像を前記表示装置へ出力することを特徴とする。
【0013】
また、本発明に係る内視鏡システムは、上記発明の画像処理装置と、前記内視鏡と、前記表示装置と、を備えたことを特徴とする。
【0014】
また、本発明に係る画像処理方法は、画像処理装置が実行する画像処理方法であって、被検体に挿入される内視鏡の挿入部の先端側に設けられた側方観察部によって前記挿入部の周方向の側方視野を撮像して生成された円環状をなす側方観察像と、前記側方観察部よりも前記挿入部の先端側に設けられた直視観察部によって前記挿入部の挿入方向の前方視野を撮像して生成された直視観察像であって、前記側方観察像の中心から内円までに形成された円をなす直視観察像と、を含む画像データを取得する取得ステップと、前記取得ステップにおいて取得した前記画像データに対応する画像に対して、トリミング処理を行うことによって、所定の倍率に拡大する電子ズームを実行可能な電子ズーム部が前記電子ズームを行っていない通常観察の場合、前記側方観察像の外周から外側を遮蔽する第1マスク部を生成する一方、前記電子ズーム部が前記電子ズームを行っている拡大観察の場合、前記側方観察像と前記直視観察像との境界を遮蔽する第2マスク部を生成するマスク生成ステップと、前記通常観察の場合、前記第1マスク部を前記画像に合成して表示装置が有する矩形状の表示領域の形状に対応させて成型した第1表示画像を生成する一方、前記拡大観察の場合、前記第2マスク部を前記電子ズーム部によって拡大された前記画像に合成して前記表示領域の形状に対応させて成型した第2表示画像を生成する画像生成ステップと、を含むことを特徴とする。
【0015】
また、本発明に係るプログラムは、画像処理装置に、被検体に挿入される内視鏡の挿入部の先端側に設けられた側方観察部によって前記挿入部の周方向の側方視野を撮像して生成された円環状をなす側方観察像と、前記側方観察部よりも前記挿入部の先端側に設けられた直視観察部によって前記挿入部の挿入方向の前方視野を撮像して生成された直視観察像であって、前記側方観察像の中心から内円までに形成された円をなす直視観察像と、を含む画像データを取得する取得ステップと、前記取得ステップにおいて取得した前記画像データに対応する画像に対して、トリミング処理を行うことによって、所定の倍率に拡大する電子ズームを実行可能な電子ズーム部が前記電子ズームを行っていない通常観察の場合、前記側方観察像の外周から外側を遮蔽する第1マスク部を生成する一方、前記電子ズーム部が前記電子ズームを行っている拡大観察の場合、前記側方観察像と前記直視観察像との境界を遮蔽する第2マスク部を生成するマスク生成ステップと、前記通常観察の場合、前記第1マスク部を前記画像に合成して表示装置が有する矩形状の表示領域の形状に対応させて成型した第1表示画像を生成する一方、前記拡大観察の場合、前記第2マスク部を前記電子ズーム部によって拡大された前記画像に合成して前記表示領域の形状に対応させて成型した第2表示画像を生成する画像生成ステップと、を実行させることを特徴とする。
【発明の効果】
【0016】
本発明によれば、観察状態に関わらず、観察視野が狭くなることを防止するとともに、電子ズーム時において不明瞭な領域を遮蔽することができるという効果を奏する。
【図面の簡単な説明】
【0017】
図1図1は、本発明の一実施の形態1に係る内視鏡システムの機能構成を示すブロック図である。
図2図2は、本発明の一実施の形態1に係る画像処理装置が実行する処理の概要を示すフローチャートである。
図3A図3Aは、本発明の一実施の形態1に係る内視鏡が生成した画像データに対応する画像の一例を模式的に示す図である。
図3B図3Bは、本発明の一実施の形態1に係る画像処理装置のマスク生成部が生成するマスク部の形状を模式的に示す図である。
図3C図3Cは、本発明の一実施の形態1に係る画像処理装置の出力部がマスク部を画像に合成した状態を模式的に示す図である。
図3D図3Dは、本発明の一実施の形態1に係る表示装置が表示する画像の一例を示す図である。
図4A図4Aは、本発明の一実施の形態1に係る画像処理装置の出力部が内視鏡の電子ズーム時にマスク部を画像に合成した状態を模式的に示す図である。
図4B図4Bは、本発明の一実施の形態1に係る表示装置が内視鏡の電子ズーム時に表示する画像の一例を示す図である。
図5A図5Aは、本発明の一実施の変形例に係る画像処理装置の出力部が内視鏡システムの電子ズーム時にマスク部を画像に合成した状態を模式的に示す図である。
図5B図5Bは、本発明の一実施の形態の変形例に係る表示装置が内視鏡システムの電子ズーム時に表示する画像の一例を示す図である。
図6A図6Aは、従来技術に係る内視鏡がマスク部を重畳した画像の一例を示す図である。
図6B図6Bは、従来技術に係る表示モニタがマスク部を重畳した画像の一例を示す図である。
図7A図7Aは、従来技術に係る内視鏡が電子ズーム時にマスク部を合成した画像の一例を示す図である。
図7B図7Bは、従来技術に係る表示モニタが電子ズーム時にマスク部を合成した画像の一例を示す図である。
【発明を実施するための形態】
【0018】
以下、本発明を実施するための形態(以下、「実施の形態」という)を説明する。実施の形態では、本発明に係る画像処理装置を含む内視鏡システムを一例に説明する。なお、この実施の形態により、本発明が限定されるものではない。さらに、図面の記載において、同一の部分には同一の符号を付して説明する。
【0019】
〔内視鏡システムの構成〕
図1は、本発明の一実施の形態に係る内視鏡システムの機能構成を示すブロック図である。図1に示す内視鏡システム1は、被検体内に挿入されることによって、被検体の体内を撮像して画像データを生成する内視鏡2(内視鏡スコープ)と、内視鏡2を介して被検体内に照明光を照射する光源装置3と、内視鏡2から入力された画像データに対して各種処理を行う画像処理装置4(プロセッサ)と、画像処理装置4から入力された画像データに対応する画像を表示する表示装置5と、を備える。
【0020】
〔内視鏡の構成〕
まず、内視鏡2の詳細な構成について説明する。
内視鏡2は、被検体内に挿入されることによって、被検体の体内を撮像して画像データを生成する。内視鏡2は、光学系20と、撮像素子21と、識別情報記録部22と、内視鏡操作部23と、を有する。
【0021】
光学系20は、被検体内に挿入される挿入部の先端側に設けられ、挿入部の周方向の側方視野の観察対象の被写体像(以下、「側方観察像」という)を撮像素子21の受光面に結像する側方観察光学系201と、側方観察光学系201よりも挿入部の先端側に設けられ、挿入部の挿入方向の前方視野の観察対象の被写体像(以下、「直視観察像」という)を撮像素子21の受光面に結像する直視観察光学系202と、を有する。側方観察像は、円環状をなす。また、直視観察像は、側方観察像の中心から内円までに形成された円形をなす。なお、本実施の形態1では側方観察光学系201が側方観察部として機能し、直視観察光学系202が直視観察部として機能する。
【0022】
撮像素子21は、側方観察像および直視観察像の各々を受光面で受光して光電変換を行うことによって画像データを生成する。撮像素子21は、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等の撮像センサを用いて構成される。
【0023】
識別情報記録部22は、内視鏡2を識別する識別情報を記録する。ここで、識別情報には、内視鏡2を識別するための内視鏡ID、内視鏡2の画角、内視鏡2の年式、内視鏡2の種別を示す種別情報、内視鏡2のスペック情報、内視鏡2の画像データの伝送方法、内視鏡2の画像データの伝送レート、内視鏡2に対応する光源装置3の観察光に関する情報、および内視鏡2が対応可能な画像処理装置4の種別情報が含まれる。識別情報記録部22は、例えばROM(Read Only Memory)やFlashメモリ等を用いて実現される。
【0024】
内視鏡操作部23は、内視鏡2に関する各種操作の入力を受け付ける。例えば、内視鏡操作部23は、光源装置3の観察光を切り替える指示信号、電子ズームによる拡大観察を指示する指示信号および内視鏡2によるフリーズ画像(静止画像)を指示する指示信号等の入力を受け付け、この受け付けた指示信号を画像処理装置4へ出力する。内視鏡操作部23は、複数のスイッチを用いて構成される。
【0025】
〔光源装置の構成〕
次に、光源装置3の構成について説明する。
光源装置3は、画像処理装置4の制御のもと、内視鏡2を介して、互いに異なる複数の照明光を順次切り替えて出射する。光源装置3は、白色LED(Light Emitting Diode)、赤色、緑色および青色の各々の光を透過するカラーフィルタを用いて構成される。なお、光源装置3は、赤色LED、緑色LEDおよび青色LEDを用いて構成されてもよい。
【0026】
〔画像処理装置の構成〕
次に、画像処理装置4の構成について説明する。
画像処理装置4は、取得部41と、識別情報取得部42と、操作部43と、画像処理部44と、記録部45と、制御部46と、を備える。
【0027】
取得部41は、内視鏡2から画像データを取得し、取得した画像データを画像処理部44へ出力する。
【0028】
識別情報取得部42は、画像処理装置4に接続される内視鏡2の識別情報を内視鏡2の識別情報記録部22から取得し、取得した識別情報を制御部46へ出力する。
【0029】
操作部43は、内視鏡システム1に関する各種操作の入力を受け付ける。例えば、操作部43は、光源装置3の観察光を切り替える指示信号、電子ズームによる拡大観察を指示する指示信号および内視鏡2によるフリーズ画像(静止画像)を指示する指示信号等の入力を受け付け、この受け付けた指示信号を制御部46へ出力する。操作部43は、複数のスイッチを用いて構成される。
【0030】
記録部45は、ROMを用いて実現され、内視鏡2から入力された画像データおよび内視鏡システム1の動作に必要な各種パラメータ等を含むデータ等を記録する。また、記録部45は、内視鏡システム1が実行する各種プログラムを記録するプログラム記録部451を有する。
【0031】
画像処理部44は、FPGA等を用いて実現され、取得部41から入力された画像データに対して、各種画像処理を行って表示装置5へ出力する。画像処理部44は、信号処理部441と、マスク生成部442と、電子ズーム部443と、出力部444と、を有する。
【0032】
信号処理部441は、画像データに対して所定の信号処理を行う。ここで、所定の画像処理とは、同時化処理、オプティカルブラック低減処理、ホワイトバランス調整処理、カラーマトリクス演算処理、ガンマ補正処理、色再現処理、エッジ強調処理およびフォーマット変換処理等である。
【0033】
マスク生成部442は、制御部46の制御のもと、信号処理部441によって信号処理が施された画像データに対応する画像の四隅をマスクするマスク部を生成する。具体的には、マスク生成部442は、電子ズーム部443が電子ズームを行っていない通常観察の場合、側方観察像の外周から外側を遮蔽する第1マスク部を生成する。また、マスク生成部442は、電子ズーム部443が電子ズームを行っている拡大観察の場合、側方観察像と直視観察像との境界を遮蔽する第2マスク部を生成する。例えば、マスク生成部442は、直視観察像および表示装置6の表示領域が交差する2点と表示装置6の表示領域の各頂点とを結ぶ領域を遮蔽する第2マスク部を生成する。
【0034】
電子ズーム部443は、制御部46の制御のもと、信号処理部441によって信号処理が施された画像データに対応する画像に対して、トリミング処理を行うことによって、所定の倍率に拡大する電子ズームを実行する。
【0035】
出力部444は、制御部46の制御のもと、信号処理部441が信号処理を施した体内画像に、マスク生成部442が生成したマスク部を合成して表示装置5が有する画像より小さい矩形状の表示領域の形状に対応させた成型した第1表示画像を生成し、この生成した第1表示画像を表示装置5へ出力する。また、出力部444は、内視鏡2が電子ズームによる拡大観察を行っている場合、制御部46の制御のもと、電子ズーム部443が電子ズームによって拡大した画像に、マスク生成部442が電子ズームに応じて生成した遮蔽領域を有する第2マスク部を合成して表示装置5が有する表示領域の形状に対応させて成型した第2表示画像を生成し、この生成した第2表示画像を表示装置5へ出力する。なお、本実施の形態1では、出力部444が画像生成部として機能する。
【0036】
制御部46は、CPU(Central Processing Unit)等を用いて構成され、内視鏡システム1の各部を統括的に制御する。制御部46は、内視鏡操作部23から入力される指示信号または操作部43から入力される指示信号に応じて、内視鏡システム1の各部を制御する。
【0037】
〔表示装置の構成〕
次に、表示装置5の構成について説明する。
表示装置5は、画像処理装置4によって画像処理が施された画像や内視鏡システム1に関する各種情報を表示する。表示装置5は、内視鏡2が撮像して生成した画像データに対応する画像より小さい矩形状の表示領域を有する。表示装置5は、液晶または有機EL(Electro Luminescence)等を有する表示モニタを用いて実現される。
【0038】
〔画像処理装置の処理〕
次に、画像処理装置4が実行する処理について説明する。図2は、画像処理装置4が実行する処理の概要を示すフローチャートである。
【0039】
図2に示すように、まず、識別情報取得部42は、画像処理装置4に接続された内視鏡2から識別情報を取得し、取得した識別情報を制御部46へ出力する(ステップS101)。
【0040】
続いて、取得部41は、内視鏡2の撮像素子21から画像データを取得し、取得した画像データを画像処理部44へ出力する(ステップS102)。具体的には、図3Aに示すように、取得部41は、内視鏡2の撮像素子21から側方観察像L1と直視観察像F1とを含む画像データに対応する画像を取得する。
【0041】
その後、マスク生成部442は、制御部46の制御のもと、内視鏡2の識別情報に応じたマスク部を生成する(ステップS103)。具体的には、図3Bに示すように、マスク生成部442は、側方観察部によって撮像できなかった周方向の視野領域を遮蔽する遮蔽マスク部M1と、側方観察像L1の周方向を面取りする円環状のマスク部M2と、を生成する。なお、本実施の形態では、マスク部M2が第1マスクとして機能する。
【0042】
続いて、出力部444は、マスク生成部442が生成したマスク部を画像データに対応する画像に合成して表示装置5へ出力する(ステップS104)。具体的には、図3Cに示すように、出力部444は、側方観察像L1と直視観察像F1とを含む画像データに対応する画像P10に、マスク生成部442が生成した遮蔽マスク部M1およびマスク部M2を合成し、表示装置5が有する画像P10より小さい矩形状の表示領域D1の形状に対応させて成型(トリミング処理)した第1表示画像を出力する。これにより、図3Dに示すように、表示装置5は、側方視野の側方観察像L1がマスク部M2によって遮蔽されていない領域K10を有する第1表示画像P11を表示することができる。この結果、内視鏡2の観察視野を維持することができる。
【0043】
その後、内視鏡操作部23または操作部43から電子ズームを指示する指示信号が入力された場合(ステップS105:Yes)、画像処理装置4は、後述するステップS106へ移行する。これに対して、内視鏡操作部23または操作部43から電子ズームを指示する指示信号が入力されていない場合(ステップS105:No)、画像処理装置4は、後述するステップS109へ移行する。
【0044】
ステップS106において、電子ズーム部443は、画像データに対して、トリミング処理を行うことによって所定の倍率に拡大する電子ズーム処理を行う。
【0045】
続いて、マスク生成部442は、電子ズームのズーム倍率に応じた、側方観察像と前記直視観察像との境界を遮蔽して画像を面取りするマスク部を生成する(ステップS107)。
【0046】
その後、出力部444は、マスク生成部442が生成したマスク部を電子ズーム部443によって電子ズーム処理された画像に合成して表示装置5に出力する(ステップS108)。具体的には、図4Aに示すように、出力部444は、マスク生成部442が生成したマスク部M3を、電子ズーム部443によって電子ズーム処理された画像P20に合成し、表示装置5が有する画像P20より小さい矩形状の表示領域D1の形状に対応させて成型した第2表示画像を生成して出力する。より具体的には、出力部444は、マスク生成部442によって生成された直視観察像F1および表示領域D1が交差する2点(点T1,点T2)と表示領域D1とによって形成された領域を遮蔽する三角形をなすマスク部M3(第2マスク部)を表示領域D1の四隅それぞれに合成する。これにより、図4Bに示すように、表示装置5は、側方観察像L1と直視観察像F1との不明瞭な境界領域K20がマスク部M3によって遮蔽された第2表示画像P21を表示することができる。この結果、ユーザが観察する際に、側方観察像L1と直視観察像F1との不明瞭な境界領域で診断の判断を行うことを防止することができる。
【0047】
続いて、内視鏡操作部23または操作部43から観察の終了を指示する終了信号が入力された場合(ステップS109:Yes)、画像処理装置4は、本処理を終了する。これに対して、内視鏡操作部23または操作部43から観察の終了を指示する終了信号が入力されていない場合(ステップS109:No)、画像処理装置4は、上述したステップS105へ移行する。
【0048】
以上説明した本発明の一実施の形態によれば、出力部444が通常観察の場合、マスク部M2を画像P10に合成して表示装置5が有する矩形状の表示領域の形状に対応させて成型した第1表示画像P11を生成して表示する一方、拡大観察の場合、マスク部M3を電子ズーム部443によって拡大された画像P20に合成して表示領域D1の形状に対応させて成型した第2表示画像P21を生成して表示装置5に出力するので、観察状態に関わらず、観察視野が狭くなることを防止するとともに、電子ズーム時において不明瞭な領域を遮蔽することができる。
【0049】
(変形例)
次に、本発明の一実施の形態では、内視鏡システム1が電子ズームを行っている場合、マスク生成部442が画像データに対応する内視鏡画像の四隅を遮蔽することによって表示画像の形状が八角形をなしていたが、内視鏡システム1が電子ズームを行っている場合、側方視野の全てを遮蔽する円環状のマスク部を生成して合成して出力してもよい。具体的には、図5Aに示すように、出力部444は、マスク生成部442が生成した円環状のマスク部M10を、電子ズーム部443によって電子ズーム処理された画像P30に合成して表示装置5に出力する。これにより、図5Bに示すように、表示装置5は、側方観察像L1と直視観察像F1との不明瞭な境界領域K30が遮蔽された画像P31を表示する。さらに、側方観察像L1がマスク部M10によって全て遮蔽される。これにより、ユーザが観察する際に、側方観察像L1と直視観察像F1との不明瞭な境界領域で診断の判断を行うことを防止することができる。
【0050】
(その他の実施の形態)
また、本発明の実施の形態では、伝送ケーブルを介して画像データを画像処理装置へ送信していたが、例えば有線である必要はなく、無線であってもよい。この場合、所定の無線通信規格(例えばWi−Fi(登録商標)やBluetooth(登録商標))に従って、画像データ等を画像処理装置へ送信するようにすればよい。もちろん、他の無線通信規格に従って無線通信を行ってもよい。
【0051】
また、本発明の実施の形態では、画像処理装置と光源装置とが別体であったが、これに限定されることなく、例えば画像処理装置と光源装置を一体的に形成してもよい。
【0052】
また、本発明の実施の形態では、面順次式の内視鏡を例に説明したが、同時式の内視鏡であっても適用することができる。
【0053】
また、本発明の実施の形態では、被検体に挿入される内視鏡であったが、例えばカプセル型の内視鏡または被検体を撮像する撮像装置であっても適用することができる。
【0054】
なお、本明細書におけるフローチャートの説明では、「まず」、「その後」、「続いて」等の表現を用いて各処理の前後関係を明示していたが、本発明を実施するために必要な処理の順序は、それらの表現によって一意的に定められるわけではない。即ち、本明細書で記載したフローチャートにおける処理の順序は、矛盾のない範囲で変更することができる。
【0055】
このように、本発明は、ここでは記載していない様々な実施の形態を含みうるものであり、請求の範囲によって特定される技術的思想の範囲内で種々の設計変更等を行うことが可能である。
【符号の説明】
【0056】
1 内視鏡システム
2 内視鏡
3 光源装置
4 画像処理装置
5 表示装置
20 光学系
21 撮像素子
22 識別情報記録部
23 内視鏡操作部
41 取得部
42 識別情報取得部
43 操作部
44 画像処理部
45 記録部
46 制御部
201 側方観察光学系
202 直視観察光学系
441 信号処理部
442 マスク生成部
443 電子ズーム部
444 出力部
451 プログラム記録部
F1 直視観察像
K20 境界領域
K30 境界領域
L1 側方観察像
M1 遮蔽マスク部
M10 マスク部
M2 マスク部
M3 マスク部
図1
図2
図3A
図3B
図3C
図3D
図4A
図4B
図5A
図5B
図6A
図6B
図7A
図7B