IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ソニー・オリンパスメディカルソリューションズ株式会社の特許一覧

<>
  • 特開-画像処理装置及び画像処理システム 図1
  • 特開-画像処理装置及び画像処理システム 図2
  • 特開-画像処理装置及び画像処理システム 図3
  • 特開-画像処理装置及び画像処理システム 図4
  • 特開-画像処理装置及び画像処理システム 図5
  • 特開-画像処理装置及び画像処理システム 図6
  • 特開-画像処理装置及び画像処理システム 図7
  • 特開-画像処理装置及び画像処理システム 図8
  • 特開-画像処理装置及び画像処理システム 図9
  • 特開-画像処理装置及び画像処理システム 図10
  • 特開-画像処理装置及び画像処理システム 図11
  • 特開-画像処理装置及び画像処理システム 図12
  • 特開-画像処理装置及び画像処理システム 図13
  • 特開-画像処理装置及び画像処理システム 図14
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024179457
(43)【公開日】2024-12-26
(54)【発明の名称】画像処理装置及び画像処理システム
(51)【国際特許分類】
   A61B 1/045 20060101AFI20241219BHJP
【FI】
A61B1/045 610
【審査請求】未請求
【請求項の数】15
【出願形態】OL
(21)【出願番号】P 2023098312
(22)【出願日】2023-06-15
(71)【出願人】
【識別番号】313009556
【氏名又は名称】ソニー・オリンパスメディカルソリューションズ株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】福田 博
【テーマコード(参考)】
4C161
【Fターム(参考)】
4C161LL08
4C161MM07
4C161NN01
4C161NN05
4C161QQ02
4C161QQ04
4C161QQ07
4C161RR05
4C161RR26
(57)【要約】
【課題】ソフトウェアの負荷を軽減すること。
【解決手段】画像処理装置9は、取得した複数種類の画像に対して当該画像毎に当該画像の種類に応じた画像処理パラメータを用いた画像処理を順次、行う画像処理部942と、画像処理パラメータに係る値をそれぞれ格納した複数の格納部961,962と、画像の種類が切り替わるタイミングに応じて、複数の格納部961,962の少なくとも1つを選択し、画像処理部942による画像処理で用いる画像処理パラメータを決定する選択部95とを備える。
【選択図】図2
【特許請求の範囲】
【請求項1】
取得した複数種類の画像に対して当該画像毎に当該画像の種類に応じた画像処理パラメータを用いた画像処理を順次、行う画像処理部と、
前記画像処理パラメータに係る値をそれぞれ格納した複数の格納部と、
前記画像の種類が切り替わるタイミングに応じて、前記複数の格納部の少なくとも1つを選択し、前記画像処理部による画像処理で用いる前記画像処理パラメータを決定する選択部とを備える画像処理装置。
【請求項2】
前記選択部は、
前記画像の種類が切り替わるタイミングに応じて、前記複数の格納部のいずれかを選択し、前記画像処理部による画像処理で用いる前記画像処理パラメータを決定する請求項1に記載の画像処理装置。
【請求項3】
前記複数種類の画像は、
互いに画像サイズが異なる請求項1に記載の画像処理装置。
【請求項4】
前記複数種類の画像は、
4K画像とHD画像とを含む請求項1に記載の画像処理装置。
【請求項5】
前記画像処理装置のモードを、複数種類の画像を順次、取得する第1のモードと、前記第1のモード以外の第2のモードとのいずれかに切り替えるモード切替部をさらに備え、
前記選択部は、
前記画像処理装置のモードが前記第1のモードである場合に、前記画像の種類が切り替わるタイミングに応じて、前記複数の格納部の少なくとも1つを選択し、前記画像処理部による画像処理で用いる前記画像処理パラメータを決定する請求項1に記載の画像処理装置。
【請求項6】
前記第2のモードは、
同一種類の画像を順次、取得するモードと、複数種類の画像を同時に取得するモードとの少なくともいずれかを含む請求項5に記載の画像処理装置。
【請求項7】
前記複数の格納部は、
レジスタによってそれぞれ構成されている請求項1に記載の画像処理装置。
【請求項8】
前記複数の格納部は、
レジスタにおける格納領域でそれぞれ構成されている請求項1に記載の画像処理装置。
【請求項9】
前記複数の格納部は、
メモリにおける格納領域でそれぞれ構成されている請求項1に記載の画像処理装置。
【請求項10】
前記選択部は、
ハードウェア処理を行うことによって、前記画像の種類が切り替わるタイミングに応じて、前記複数の格納部のうち、前記画像処理部へ前記画像処理パラメータを設定する少なくとも1つの格納部を選択する請求項1に記載の画像処理装置。
【請求項11】
前記選択部は、
前記画像が第1の種類の画像であるときに、前記複数の格納部から1つを選択し、前記画像が第2の種類の画像であるときに、前記複数の格納部に格納される複数の前記画像処理パラメータに係る値を用いて前記画像処理部による画像処理で用いる前記画像処理パラメータを設定する請求項1に記載の画像処理装置。
【請求項12】
前記複数の格納部は、
前記画像処理パラメータの基準となる基準値を格納した第1の格納部と、
前記基準値に対して足し合わせることで特定の前記画像処理パラメータを生成可能とする差分値を格納した第2の格納部とを有し、
前記選択部は、
前記画像の種類が切り替わるタイミングに応じて、前記第1の格納部に格納された前記基準値と、前記第2の格納部に格納された前記差分値とを用いて、前記画像処理部による画像処理で用いる前記画像処理パラメータを生成する請求項11に記載の画像処理装置。
【請求項13】
撮像により得られた複数種類の画像を順次、出力する撮像装置と、
前記撮像装置から順次、出力される前記複数種類の画像を処理する画像処理装置とを備え、
前記画像処理装置は、
取得した前記複数種類の画像に対して当該画像毎に当該画像の種類に応じた画像処理パラメータを用いた画像処理を順次、行う画像処理部と、
前記画像処理パラメータに係る値をそれぞれ格納した複数の格納部と、
前記画像の種類が切り替わるタイミングに応じて、前記複数の格納部の少なくとも1つを選択し、前記画像処理部による画像処理で用いる前記画像処理パラメータを決定する選択部とを備える画像処理システム。
【請求項14】
前記撮像装置は、
互いに異なる種類の画像をそれぞれ出力する複数の撮像素子を備える請求項13に記載の画像処理システム。
【請求項15】
前記撮像装置は、
時分割で撮像することにより互いに異なる種類の画像を出力する1つの撮像素子を備える請求項13に記載の画像処理システム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、画像処理装置及び画像処理システムに関する。
【背景技術】
【0002】
従来、撮像により得られた撮像画素数等が異なる複数種類の画像を処理する画像処理装置が知られている(例えば、特許文献1参照)。
特許文献1に記載の画像処理装置は、画像の種類に応じた画像処理パラメータが設定されるレジスタと、当該レジスタに設定された画像処理パラメータを用いて、当該画像に対して画像処理を行う画像処理部とを備える。そして、当該画像処理装置は、画像の種類が切り替わるタイミングに応じて、ソフトウェア処理により、当該画像の種類に応じた画像処理パラメータをレジスタに設定している。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2013-123172号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献1に記載の画像処理装置では、ソフトウェア処理によって画像処理パラメータをレジスタに設定しているため、例えば画像の種類の切替レートが毎フレームとなった場合には、ソフトウェアの負荷が大きくなってしまう、という問題がある。
そこで、取得した複数種類の画像に対して当該画像毎に当該画像の種類に応じた画像処理パラメータを用いて画像処理を順次、行う際に、ソフトウェアの負荷を軽減することができる技術が要望されている。
【0005】
本開示は、上記に鑑みてなされたものであって、ソフトウェアの負荷を軽減することができる画像処理装置及び画像処理システムを提供することを目的とする。
【課題を解決するための手段】
【0006】
上述した課題を解決し、目的を達成するために、本開示に係る画像処理装置は、取得した複数種類の画像に対して当該画像毎に当該画像の種類に応じた画像処理パラメータを用いた画像処理を順次、行う画像処理部と、前記画像処理パラメータに係る値をそれぞれ格納した複数の格納部と、前記画像の種類が切り替わるタイミングに応じて、前記複数の格納部の少なくとも1つを選択し、前記画像処理部による画像処理で用いる前記画像処理パラメータを決定する。
【0007】
本開示に係る画像処理システムは、撮像により得られた複数種類の画像を順次、出力する撮像装置と、前記撮像装置から順次、出力される前記複数種類の画像を処理する画像処理装置とを備え、前記画像処理装置は、取得した前記複数種類の画像に対して当該画像毎に当該画像の種類に応じた画像処理パラメータを用いた画像処理を順次、行う画像処理部と、前記画像処理パラメータに係る値をそれぞれ格納した複数の格納部と、前記画像の種類が切り替わるタイミングに応じて、前記複数の格納部の少なくとも1つを選択し、前記画像処理部による画像処理で用いる前記画像処理パラメータを決定する選択部とを備える。
【発明の効果】
【0008】
本開示に係る画像処理装置及び画像処理システムによれば、ソフトウェアの負荷を軽減することができる。
【図面の簡単な説明】
【0009】
図1図1は、実施の形態に係る画像処理システムの構成を示す図である。
図2図2は、カメラヘッド及び制御装置の構成を示すブロック図である。
図3図3は、処理モジュールの機能を説明する図である。
図4図4は、処理モジュールの機能を説明する図である。
図5図5は、第1のモードでのセレクタの機能を説明する図である。
図6図6は、第2のモードでのセレクタの機能を説明する図である。
図7図7は、実施の形態の変形例1を説明する図である。
図8図8は、実施の形態の変形例2を説明する図である。
図9図9は、実施の形態の変形例2を説明する図である。
図10図10は、実施の形態の変形例3を説明する図である。
図11図11は、実施の形態の変形例4を説明する図である。
図12図12は、実施の形態の変形例5を説明する図である。
図13図13は、実施の形態の変形例6を説明する図である。
図14図14は、実施の形態の変形例7を説明する図である。
【発明を実施するための形態】
【0010】
以下に、図面を参照して、本開示を実施するための形態(以下、実施の形態)について説明する。なお、以下に説明する実施の形態によって本開示が限定されるものではない。さらに、図面の記載において、同一の部分には同一の符号を付している。
【0011】
〔画像処理システムの概略構成〕
図1は、実施の形態に係る画像処理システム1の構成を示す図である。
本実施の形態に係る画像処理システム1は、医療分野において用いられ、生体内を観察するシステムである。この画像処理システム1は、図1に示すように、挿入部2と、光源装置3と、ライトガイド4と、カメラヘッド5と、第1の伝送ケーブル6と、表示装置7と、第2の伝送ケーブル8と、制御装置9と、第3の伝送ケーブル10とを備える。
【0012】
本実施の形態では、挿入部2は、硬性鏡で構成されている。すなわち、挿入部2は、全体が硬質、または一部が軟質で他の部分が硬質である細長形状を有し、生体内に挿入される。この挿入部2内には、1または複数のレンズを用いて構成され、被写体からの光(被写体像)を集光する光学系(図示略)が設けられている。
【0013】
光源装置3は、ライトガイド4の一端が接続され、制御装置9による制御の下、当該ライトガイド4の一端に生体内に照射する光を供給する。この光源装置3は、図1に示すように、第1の光源31と、第2の光源32とを備える。
【0014】
第1の光源31は、第1の波長帯域の光を出射する。本実施の形態では、第1の光源31は、白色光(第1の波長帯域の光)を発光するLED(Light Emitting Diode)で構成されている。
【0015】
第2の光源32は、第1の波長帯域とは異なる第2の波長帯域の光を出射する。本実施の形態では、第2の光源32は、近赤外の波長帯域の近赤外励起光(第2の波長帯域の光)を発光する半導体レーザで構成されている。
【0016】
第2の光源32が発光する近赤外励起光は、インドシアニングリーン等の蛍光物質を励起する励起光である。また、当該インドシアニングリーン等の蛍光物質は、当該近赤外励起光で励起すると、当該近赤外励起光の波長帯域の中心波長よりも長波長側に中心波長を有する蛍光を発光する。
【0017】
なお、本実施の形態では、光源装置3は、制御装置9とは別体で構成されているが、これに限らず、当該制御装置9と同一の筐体内に設けられた構成を採用しても構わない。
【0018】
ライトガイド4は、一端が光源装置3に着脱自在に接続されるとともに、他端が挿入部2に着脱自在に接続される。そして、ライトガイド4は、光源装置3から供給された光(白色光や近赤外励起光)を一端から他端に伝達し、挿入部2に供給する。挿入部2に供給された光(白色光や近赤外励起光)は、当該挿入部2の先端から出射され、生体内に照射される。生体内に白色光が照射された場合には、当該生体内で反射された白色光が挿入部2内の光学系により集光される。なお、以下では、説明の便宜上、挿入部2内の光学系により集光された当該白色光を第1の被写体像と記載する。また、生体内に近赤外励起光が照射された場合には、当該生体内で反射された近赤外励起光と、当該生体内における病変部に集積するインドシアニングリーン等の蛍光物質が励起され、当該蛍光物質から発せられた蛍光とが挿入部2内の光学系により集光される。なお、以下では、説明の便宜上、挿入部2内の光学系により集光された当該近赤外励起光及び蛍光を第2の被写体像と記載する。
【0019】
カメラヘッド5は、本開示に係る撮像装置に相当する。このカメラヘッド5は、挿入部2の基端(接眼部21(図1))に着脱自在に接続される。そして、カメラヘッド5は、制御装置9による制御の下、挿入部2にて集光された第1の被写体像(白色光)や第2の被写体像(近赤外励起光及び蛍光)を撮像して画像信号(以下、撮像画像と記載)を生成する。
なお、カメラヘッド5の詳細な構成については、後述する「カメラヘッドの構成」において説明する。
【0020】
第1の伝送ケーブル6は、一端がコネクタCN1(図1)を介して制御装置9に着脱自在に接続され、他端がコネクタCN2(図1)を介してカメラヘッド5に着脱自在に接続される。そして、第1の伝送ケーブル6は、カメラヘッド5から出力される撮像画像等を制御装置9に伝送するとともに、当該制御装置9から出力される制御信号、同期信号、判別信号、クロック、及び電力等をカメラヘッド5にそれぞれ伝送する。
【0021】
なお、第1の伝送ケーブル6を介したカメラヘッド5から制御装置9への撮像画像等の伝送は、当該撮像画像等を光信号で伝送してもよく、あるいは、電気信号で伝送しても構わない。第1の伝送ケーブル6を介した制御装置9からカメラヘッド5への制御信号、同期信号、判別信号、クロックの伝送も同様である。
【0022】
表示装置7は、液晶または有機EL(Electro Luminescence)等を用いた表示ディスプレイで構成され、制御装置9による制御の下、当該制御装置9からの映像信号に基づく画像を表示する。
【0023】
第2の伝送ケーブル8は、一端が表示装置7に着脱自在に接続され、他端が制御装置9に着脱自在に接続される。そして、第2の伝送ケーブル8は、制御装置9にて処理された映像信号を表示装置7に伝送する。
【0024】
制御装置9は、本開示に係る画像処理装置に相当する。この制御装置9は、CPU(Central Processing Unit)やFPGA(Field-Programmable Gate Array)等で構成され、光源装置3、カメラヘッド5、及び表示装置7の動作を統括的に制御する。
なお、制御装置9の詳細な構成については、後述する「制御装置の構成」において説明する。
第3の伝送ケーブル10は、一端が光源装置3に着脱自在に接続され、他端が制御装置9に着脱自在に接続される。そして、第3の伝送ケーブル10は、制御装置9からの制御信号を光源装置3に伝送する。
【0025】
〔カメラヘッドの構成〕
次に、カメラヘッド5の構成について説明する。
図2は、カメラヘッド5及び制御装置9の構成を示すブロック図である。
カメラヘッド5は、図2に示すように、レンズユニット51と、プリズム52と、撮像部53と、通信部54とを備える。
【0026】
レンズユニット51は、1または複数のレンズを用いて構成されている。そして、レンズユニット51は、挿入部2にて集光された第1の被写体像(白色光)を第1の撮像素子531(図2)の撮像面に結像するとともに、当該挿入部2にて集光された第2の被写体像(近赤外励起光及び蛍光)を第2の撮像素子532(図2)の撮像面に結像する。
【0027】
プリズム52は、レンズユニット51を介した第1の被写体像(白色光)及び第2の被写体像(近赤外励起光及び蛍光)を分離する。そして、プリズム52は、第1の被写体像(白色光)を第1の撮像素子531に向けて進行させる。また、プリズム52は、第2の被写体像(近赤外励起光及び蛍光)を第2の撮像素子532に向けて進行させる。
【0028】
撮像部53は、制御装置9による制御の下、生体内を撮像する。この撮像部53は、図2に示すように、第1の撮像素子531と、第2の撮像素子532と、信号処理部533とを備える。
【0029】
第1,第2の撮像素子531,532は、入射した光を受光して電気信号に変換するCCD(Charge Coupled Device)またはCMOS(Complementary Metal Oxide Semiconductor)等で構成されている。
【0030】
そして、第1の撮像素子531は、制御装置9による制御の下、プリズム52を介した第1の被写体像(白色光)を撮像する。以下では、説明の便宜上、第1の撮像素子531により第1の被写体像(白色光)を撮像することで生成された撮像画像を通常光画像と記載する。本実施の形態では、第1の撮像素子531は、4Kの解像度での撮像が可能な数の画素を有している。すなわち、通常光画像は、画素数が4Kの4K画像である。
【0031】
また、第2の撮像素子532は、制御装置9による制御の下、プリズム52を介した第2の被写体像(近赤外励起光及び蛍光)を撮像する。以下では、説明の便宜上、第2の撮像素子532により第2の被写体像(近赤外励起光及び蛍光)を撮像することで生成された撮像画像を蛍光画像と記載する。本実施の形態では、第2の撮像素子532は、HDの解像度での撮像が可能な数の画素を有している。すなわち、蛍光画像は、画素数がHDのHD画像である。
なお、第2の撮像素子532の光路前段側に、当該第2の撮像素子532に向かう近赤外励起光の少なくとも一部のみを除去する励起光カットフィルタを配設しても構わない。
【0032】
以上のように、カメラヘッド5は、互いに異なる種類の画像(通常光画像(4K画像)、蛍光画像(HD画像))をそれぞれ出力する第1,第2の撮像素子531,532を備える。すなわち、本発明に係る複数種類の画像は、互いに画像サイズが異なる通常光画像(4K画像)及び蛍光画像(HD画像)に相当する。
【0033】
信号処理部533は、制御装置9による制御の下、第1,第2の撮像素子531,532にて生成された撮像画像(アナログ信号)に対して信号処理を行って撮像画像(デジタル信号)を出力する。
例えば、信号処理部533は、第1,第2の撮像素子531,532にて生成された撮像画像(アナログ信号)に対して、リセットノイズを除去する処理、当該アナログ信号を増幅するアナログゲインを乗算する処理、及びA/D変換等の信号処理を行う。
【0034】
通信部54は、第1の伝送ケーブル6を介して、撮像部53から順次、出力される撮像画像を制御装置9に送信するトランスミッタとして機能する。この通信部54は、例えば、第1の伝送ケーブル6を介して、制御装置9との間で、1Gbps以上の伝送レートで撮像画像の通信を行う高速シリアルインターフェースで構成されている。
【0035】
〔制御装置の構成〕
次に、制御装置9の構成について図2を参照しつつ説明する。
制御装置9は、図2に示すように、基準信号生成部91と、通信部92と、画像メモリ93と、処理モジュール94と、セレクタ95と、レジスタ96と、制御部97と、入力部98と、出力部99と、記憶部90とを備える。
【0036】
基準信号生成部91は、カメラヘッド5及び制御装置9の動作に必要な基準となる信号を生成する。そして、基準信号生成部91は、当該基準となる信号をカメラヘッド5、処理モジュール94、及びセレクタ95等に出力する。当該基準となる信号は、垂直同期信号と、判別信号とを含む。
なお、判別信号の詳細については、後述する「セレクタの機能について」において説明する。
【0037】
通信部92は、第1の伝送ケーブル6を介して、カメラヘッド5(通信部54)から順次、出力される撮像画像を受信するレシーバとして機能する。この通信部92は、例えば、通信部54との間で、1Gbps以上の伝送レートで撮像画像の通信を行う高速シリアルインターフェースで構成されている。
【0038】
画像メモリ93は、例えば、DRAM(Dynamic Random Access Memory)等で構成されている。この画像メモリ93は、カメラヘッド5から順次、出力される撮像画像を複数フレーム分、一時的に記憶可能とする。
【0039】
処理モジュール94は、通信部92を介して順次、受信した撮像画像を処理する。この処理モジュール94は、図2に示すように、メモリコントローラ941と、画像処理部942とを備える。
【0040】
メモリコントローラ941は、セレクタ95を介してレジスタ96に格納された設定情報を読み出し、当該設定情報にしたがって、画像メモリ93への撮像画像の書き込み、及び当該画像メモリ93からの当該撮像画像の読み出しを制御する。
【0041】
画像処理部942は、セレクタ95を介してレジスタ96に格納された画像処理パラメータを読み出し、当該画像処理パラメータを用いて、通信部92を介して順次、受信し、メモリコントローラ941にて画像メモリ93から読み出された撮像画像に対して画像処理を行う。また、画像処理部942は、画像処理を施した後の撮像画像を表示するための表示用画像(表示用の映像信号)を生成する。そして、画像処理部942は、当該表示用画像を表示装置7に出力する。これにより、表示装置7には、当該表示用画像が表示される。
【0042】
この画像処理部942は、図2に示すように、入力された各画像に対して並列に画像処理を行う第1~第4の画像処理ブロック942A~942Dを備える。この第1の画像処理ブロック942Aにおいて、処理可能とする最大データ量は、画素数がHDの画像のデータ量である。他の第2~第4の画像処理ブロック942B~942Dも同様である。
【0043】
ここで、第1~第4の画像処理ブロック942A~942Dが行う画像処理としては、オプティカルブラック減算処理、デモザイク処理、ホワイトバランス調整処理、デジタルゲイン処理(デジタル信号に対して当該デジタル信号を増幅するデジタルゲインを乗算する処理)、ノイズ低減処理、色補正処理、ガンマ補正処理、色強調処理、輪郭強調処理、拡大処理、色調変更処理、RGB信号(撮像画像)を輝度色差信号(Y,Cb/Cr信号)に変換するYC処理等を例示することができる。
【0044】
なお、処理モジュール94(メモリコントローラ941及び画像処理部942)の詳細な機能については、後述する「処理モジュールの機能について」において説明する。
【0045】
セレクタ95は、本開示に係る選択部に相当する。このセレクタ95は、レジスタ96における第1,第2のバンク961,962の少なくとも1つを選択し、処理モジュール94による処理内容を示す処理情報を決定する。本実施の形態では、セレクタ95は、第1,第2のバンク961,962のいずれかを選択し、処理モジュール94による処理内容を示す処理情報を決定する。より具体的に、セレクタ95は、ハードウェア処理を行うことによって、第1,第2のバンク961,962のうち、メモリコントローラ941及び第1~第4の画像処理ブロック942A~942Dへ処理情報を設定するバンクを個別に選択する。
なお、セレクタ95の詳細な機能については、後述する「セレクタの機能について」において説明する。
【0046】
レジスタ96は、処理モジュール94による処理内容を示す処理情報を格納する。このレジスタ96は、図2に示すように、当該レジスタ96の格納領域である第1,第2のバンク961,962を備える。
【0047】
第1のバンク961は、本発明に係る格納部に相当する。この第1のバンク961は、通常光画像(4K画像)に対応した処理情報を格納する。
第2のバンク962は、本発明に係る格納部に相当する。この第2のバンク962は、蛍光画像(HD画像)に対応した処理情報を格納する。
【0048】
ここで、処理情報は、メモリコントローラ941が用いる設定情報と、画像処理部942にて画像処理を行う際に必要となる画像処理パラメータとを含む。本実施の形態では、第1,第2のバンク961,962は、本開示に係る画像処理パラメータに係る値として、画像処理パラメータ自体を格納する。当該設定情報は、撮像画像の画像サイズ、画像メモリ93への撮像画像の書き込み位置、及び画像メモリ93への書き込み及び読み出しのサイズを含む。
【0049】
以下では、第1のバンク961に格納された処理情報、設定情報、及び画像処理パラメータをそれぞれ第1の処理情報、第1の設定情報、及び第1の画像処理パラメータと記載する。また、第2のバンク962に格納された処理情報、設定情報、及び画像処理パラメータを第2の処理情報、第2の設定情報、及び第2の画像処理パラメータと記載する。
【0050】
制御部97は、CPUやMPU(Micro Processing Unit)等のコントローラによって、記憶部90に記憶された各種のプログラムが実行されることにより実現され、光源装置3、カメラヘッド5、及び表示装置7の動作を制御するとともに、制御装置9全体の動作を制御する。なお、制御部97は、CPUやMPUに限らず、ASIC(Application Specific Integrated Circuit)やFPGA等の集積回路によって構成されても構わない。
【0051】
この制御部97は、本開示に係るモード切替部の機能を有する。
具体的に、制御部(モード切替部)97は、カメラヘッド5に設けられた入力部(図示略)へのユーザ操作や、入力部98へのユーザ操作に応じて、画像処理システム1のモードを第1のモードと第2のモードとのいずれかのモードに切り替える。
なお、画像処理システム1のモードの詳細については、後述する「セレクタの機能について」において説明する。
【0052】
入力部98は、マウス、キーボード、及びタッチパネル等の操作デバイスを用いて構成され、術者等のユーザによるユーザ操作を受け付ける。そして、入力部98は、当該ユーザ操作に応じた操作信号を制御部97に出力する。
【0053】
出力部99は、スピーカやプリンタ等を用いて構成され、各種情報を出力する。
【0054】
記憶部90は、制御部97が実行するプログラムや、制御部97の処理に必要な情報等を記憶する。
【0055】
〔処理モジュールの機能について〕
次に、処理モジュール94の機能について説明する。
図3及び図4は、処理モジュール94の機能を説明する図である。具体的に、図3及び図4では、画像メモリ93における複数のバンクのうち特定のバンク931を模式的に示している。当該バンク931は、画素数が4Kの画像のデータ量に対応したメモリ容量を有する。また、図3及び図4では、バンク931における全領域を田の字状に4つの第1~第4の分割領域Ar1~Ar4に均等に区分けしている。すなわち、第1~第4の分割領域Ar1~Ar4は、画素数がHDの画像のデータ量に対応したメモリ容量を有する。そして、図3では、通常光画像(4K画像)がバンク931に書き込まれた状態を示し、書き込まれた位置に「4K」の文字を付している。また、図4では、蛍光画像(HD画像)がバンク931に書き込まれた状態を示し、書き込まれた位置に「HD」の文字を付している。
【0056】
先ず、通信部92を介して受信した撮像画像が通常光画像(4K画像)である場合での処理モジュール94(メモリコントローラ941及び画像処理部942)の機能について、図3を参照しつつ説明する。
【0057】
メモリコントローラ941は、セレクタ95を介して、レジスタ96における第1のバンク961に格納された第1の設定情報(通常光画像(4K画像)に対応した設定情報)を読み出す。そして、メモリコントローラ941は、図3に示すように、通信部92を介して受信した通常光画像(4K画像)を当該第1の設定情報に応じた書き込みサイズでバンク931の全領域に書き込む。また、メモリコントローラ941は、当該第1の設定情報に応じた読み出しサイズ(HDサイズ)で、第1~第4の分割領域Ar1~Ar4にそれぞれ書き込んだ画像(通常光画像(4K画像)を分割した画像)を読み出す。そして、メモリコントローラ941は、第1の分割領域Ar1から読み出したHDサイズの画像(通常光画像(4K画像)を分割した画像(以下、第1の分割画像と記載))を画像処理部942における第1の画像処理ブロック942Aに出力する。また、メモリコントローラ941は、第2の分割領域Ar2から読み出したHDサイズの画像(通常光画像(4K画像)を分割した画像(以下、第2の分割画像と記載))を画像処理部942における第2の画像処理ブロック942Bに出力する。さらに、メモリコントローラ941は、第3の分割領域Ar3から読み出したHDサイズの画像(通常光画像(4K画像)を分割した画像(以下、第3の分割画像と記載))を画像処理部942における第3の画像処理ブロック942Cに出力する。また、メモリコントローラ941は、第4の分割領域Ar4から読み出したHDサイズの画像(通常光画像(4K画像)を分割した画像(以下、第4の分割画像と記載))を画像処理部942における第4の画像処理ブロック942Dに出力する。
【0058】
そして、第1~第4の画像処理ブロック942A~942Dは、入力された第1~第4の分割画像(HD画像)に対して並列に画像処理を行う。
具体的に、第1の画像処理ブロック942Aは、セレクタ95を介して、レジスタ96における第1のバンク961に格納された第1の画像処理パラメータ(通常光画像(4K画像)に対応した画像処理パラメータ)を読み出す。そして、第1の画像処理ブロック942Aは、第1の分割画像に対して、当該第1の画像処理パラメータを用いて画像処理を行う(図3)。同様に、第2~第4の画像処理ブロック942B~942Dも、セレクタ95を介して、第1の画像処理パラメータを読み出す。そして、第2~第4の画像処理ブロック942B~942Dは、第2~第4の分割画像に対して、当該第1の画像処理パラメータを用いてそれぞれ画像処理を行う(図3)。
【0059】
次に、通信部92を介して受信した撮像画像が蛍光画像(HD画像)である場合での処理モジュール94(メモリコントローラ941及び画像処理部942)の機能について、図4を参照しつつ説明する。
【0060】
メモリコントローラ941は、セレクタ95を介して、レジスタ96における第2のバンク962に格納された第2の設定情報(蛍光画像(HD画像)に対応した設定情報)を読み出す。そして、メモリコントローラ941は、図4に示すように、通信部92を介して受信した蛍光画像(HD画像)を当該第2の設定情報に応じた書き込みサイズでバンク931の当該第2の設定情報に応じた書き込み位置である第1の分割領域Ar1に書き込む。また、メモリコントローラ941は、当該第2の設定情報に応じた読み出しサイズ(HDサイズ)で、第1の分割領域Ar1に書き込んだ画像(蛍光画像(HD画像))を読み出す。そして、メモリコントローラ941は、第1の分割領域Ar1から読み出したHDサイズの画像(蛍光画像(HD画像))を画像処理部942における第1の画像処理ブロック942Aに出力する。
【0061】
そして、第1の画像処理ブロック942Aは、入力された蛍光画像(HD画像)に対して画像処理を行う。
具体的に、第1の画像処理ブロック942Aは、セレクタ95を介して、レジスタ96における第2のバンク962に格納された第2の画像処理パラメータ(蛍光画像(HD画像)に対応した画像処理パラメータ)を読み出す。そして、第1の画像処理ブロック942Aは、蛍光画像(HD画像)に対して、当該第2の画像処理パラメータを用いて画像処理を行う(図4)。
【0062】
〔セレクタの機能について〕
次に、セレクタ95の機能について説明する。
以下、セレクタ95の機能について、画像処理システム1のモードが第1のモードである場合、第2のモードである場合を順に説明する。
【0063】
ここで、第1のモードは、制御装置9が複数種類の撮像画像を順次、取得するモードである。本実施の形態では、第1のモードは、通常光画像及び蛍光画像をそれぞれ生成し、当該通常光画像及び当該蛍光画像を重畳した重畳画像を表示装置7に表示させる、あるいは、当該通常光画像と当該蛍光画像とをそれぞれ表示装置7に表示させる蛍光観察モードである。
【0064】
この第1のモードでは、制御部97は、第1,第2の光源31,32を同時に点灯させる。また、通信部54は、制御装置9(基準信号生成部91)から出力された垂直同期信号(図5の(b)参照)及び判別信号(図5の(c)参照)に基づいて、通信部92に対して、撮像部53にて生成された通常光画像(4K画像)と蛍光画像(HD画像)とを交互に送信する。なお、判別信号は、垂直同期信号に同期した信号であって、カメラヘッド5から制御装置9に送信される撮像画像の種類(通常光画像(4K画像)、蛍光画像(HD画像))を判別するための信号である。
【0065】
また、第2のモードは、制御装置9が同一種類の撮像画像を順次、取得するモードである。本実施の形態では、第2のモードは、通常光画像及び蛍光画像のうち、通常光画像のみを生成し、当該通常光画像を表示装置7に表示させる通常観察モードである。なお、第2のモードとしては、通常光画像及び蛍光画像のうち、蛍光画像のみを生成し、当該蛍光画像を表示装置7に表示させるモードとしても構わない。
【0066】
この第2のモードでは、制御部97は、第1,第2の光源31,32のうち、第1の光源31のみを点灯させる。また、通信部54は、制御装置9から出力された垂直同期信号に基づいて、通信部92に対して、撮像部53にて生成された通常光画像(4K画像)を順次、送信する。
【0067】
〔第1のモードでのセレクタの機能について〕
図5は、第1のモードでのセレクタ95の機能を説明する図である。具体的に、図5の(a)は、図3及び図4に対応した図であり、画像メモリ93におけるバンク931に書き込まれた撮像画像を示す図である。図5の(b)は、基準信号生成部91から出力された垂直同期信号を示す図である。図5の(c)は、基準信号生成部91から出力された判別信号を示す図である。図5の(d)は、レジスタ96における第1,第2のバンク961,962のうち、セレクタ95にて選択されたバンクを示す図である。なお、図5の(d)では、第1のバンク961,962のうち、セレクタ95にて選択されていないバンクに斜線を付している。
【0068】
セレクタ95は、図5に示すように、判別信号に基づいてカメラヘッド5から送信された撮像画像が通常光画像(4K画像)であると認識した場合には、第1,第2のバンク961,962のうち、処理モジュール94へ処理情報(設定情報及び画像処理パラメータ)を設定するバンクとして、第1のバンク961を選択する。一方、セレクタ95は、判別信号に基づいてカメラヘッド5から送信された撮像画像が蛍光画像(HD画像)であると認識した場合には、第1,第2のバンク961,962のうち、処理モジュール94へ処理情報を設定するバンクとして、第2のバンク962を選択する。
すなわち、セレクタ95は、第1のモードである場合には、カメラヘッド5から送信された撮像画像の種類が切り替わるタイミングに応じて、第1,第2のバンク961,962のうち、当該撮像画像の種類に応じた処理情報を格納したバンクを選択する。
【0069】
〔第2のモードでのセレクタの機能について〕
図6は、第2のモードでのセレクタ95の機能を説明する図である。具体的に、図6は、図4に対応した図であり、画像メモリ93におけるバンク931に書き込まれた通常光画像(4K画像)を示す図である。
【0070】
セレクタ95は、第2のモードである場合には、処理モジュール94へ処理情報を設定するバンクとして、常時、第1のバンク961を選択する。これにより、処理モジュール94は、第1のバンク961に格納された第1の処理情報(通常光画像(4K画像)に対応した処理情報)を読み出し、当該第1の処理情報を用いて処理を行う。すなわち、第1~第4の画像処理ブロック942A~942Dは、第1の画像処理パラメータを用いて、第1~第4の分割画像に対して並列に画像処理を行う(図6)。
すなわち、セレクタ95は、第2のモードである場合には、第1のモードのように、選択するバンクを切り替えることをしない。
【0071】
以上説明した本実施の形態によれば、以下の効果を奏する。
本実施の形態に係る制御装置9は、取得した複数種類の画像(通常光画像(4K画像)、蛍光画像(HD画像))に対して当該画像毎に当該画像の種類に応じた画像処理パラメータを用いた画像処理を順次、行う画像処理部942と、当該画像の種類に応じた画像処理パラメータをそれぞれ格納した第1,第2のバンク961,962と、画像の種類が切り替わるタイミングに応じて、画像処理部942による画像処理で用いる画像処理パラメータを決定するセレクタ95とを備える。より具体的に、セレクタ95は、ハードウェア処理を行うことによって、画像の種類が切り替わるタイミングに応じて、第1,第2のバンク961,962のうち、画像処理部942へ画像処理パラメータを設定するバンクを選択する。
すなわち、本実施の形態に係る制御装置9では、第1,第2のバンク961,962に予め特定の画像処理パラメータを格納しておき、ハードウェア処理を行うことによって画像処理パラメータを設定するバンクを切り替えている。このため、従来のようにソフトウェア処理によって画像処理パラメータを設定する必要がなく、ソフトウェアの負荷を軽減することができる。
【0072】
特に、本実施の形態では、本発明に係る画像処理システムを、医療分野において用いられ、生体内を観察する画像処理システム1に適用している。このため、ソフトウェアが暴走した場合であっても、ハードウェア処理を行うことによって画像処理パラメータを設定するバンクを切り替えることができ、表示装置7に適切な撮像画像を継続して表示することができる。
【0073】
(その他の実施の形態)
ここまで、本開示を実施するための形態を説明してきたが、本開示は上述した実施の形態によってのみ限定されるべきものではない。
以下に示す変形例1~8の構成を採用しても構わない。
【0074】
(変形例1)
図7は、実施の形態の変形例1を説明する図である。具体的に、図7は、図3及び図4に対応した図である。
上述した実施の形態では、本発明に係る第2のモードとして、制御装置9が同一種類の撮像画像を順次、取得する通常観察モードを採用していたが、これに限らない。
本発明に係る第2のモードとしては、制御装置9が複数種類の撮像画像を同時に取得するモードを採用しても構わない。
【0075】
具体的に、変形例1に係る第2のモードでは、第1のモードと同様に、制御部97は、第1,第2の光源31,32を同時に点灯させる。また、撮像部53は、第1の撮像素子531において間引き読み出しや画素加算によって画素数がHDの通常光画像を生成するとともに、第2の撮像素子532において蛍光画像(HD画像)を生成する。そして、通信部54は、通信部92に対して、当該通常光画像(HD画像)と当該蛍光画像(HD画像)とを同時に送信する。
【0076】
ここで、レジスタ96は、第1,第2のバンク961,962の他、第2のモードに対応した処理モジュール94の処理内容を示す処理情報(設定情報、及び通常光画像(HD画像)に対応した画像処理パラメータ)を格納した第3のバンクを備える。以下、第3のバンクに格納された処理情報、設定情報、及び画像処理パラメータをそれぞれ第3の処理情報、第3の設定情報、及び第3の画像処理パラメータと記載する。
【0077】
そして、セレクタ95は、第2のモードである場合には、メモリコントローラ941へ設定情報を設定するバンクとして、常時、第3のバンクを選択する。これにより、メモリコントローラ941は、第3のバンクに格納された第3の設定情報を読み出す。そして、メモリコントローラ941は、通信部92を介して受信した通常光画像(HD画像)を当該第3の設定情報に応じた書き込み位置である第1の分割領域Ar1に書き込むとともに、当該通信部92を介して受信した蛍光画像(HD画像)を当該第3の設定情報に応じた書き込み位置である第2の分割領域Ar2に書き込む。なお、図7では、通常光画像(HD画像)を「HD1」の文字で表現し、蛍光画像(HD画像)を「HD2」の文字で表現している。また、メモリコントローラ941は、当該第3の設定情報に応じた読み出しサイズ(HDサイズ)で、第1の分割領域Ar1に書き込んだ画像(通常光画像(HD画像)を読み出し、第1の画像処理ブロック942Aに出力する。同様に、メモリコントローラ941は、当該第3の設定情報に応じた読み出しサイズ(HDサイズ)で、第2の分割領域Ar2に書き込んだ画像(蛍光画像(HD画像))を読み出し、第2の画像処理ブロック942Bに出力する。
【0078】
また、セレクタ95は、第2のモードである場合には、第1の画像処理ブロック942Aへ画像処理パラメータを設定するバンクとして、常時、第3のバンクを選択する。これにより、第1の画像処理ブロック942Aは、第3のバンクに格納された第3の画像処理パラメータ(通常光画像(HD画像)に対応した画像処理パラメータ)を用いて、入力された通常光画像(HD画像)に対して画像処理を行う(図7)。以下、第3のバンクに格納された画像処理パラメータを第3の画像処理パラメータを記載する。
【0079】
さらに、セレクタ95は、第2のモードである場合には、第2の画像処理ブロック942Bへ画像処理パラメータを設定するバンクとして、常時、第2のバンク962を選択する。これにより、第2の画像処理ブロック942Bは、第2の画像処理パラメータを用いて、入力された蛍光画像(HD画像)に対して画像処理を行う(図7)。
【0080】
以上説明した本変形例1の構成を採用した場合であっても、上述した実施の形態と同様の効果を奏する。
【0081】
(変形例2)
図8及び図9は、実施の形態の変形例2を説明する図である。具体的に、図8は、図2に対応した図である。図9は、図5に対応した図である。なお、図9の(a)では、通常光画像(4K画像)を「4K1」の文字で表現し、蛍光画像(4K画像)を「4K2」の文字で表現している。
上述した実施の形態では、撮像部53は、第1,第2の撮像素子531,532の2つの撮像素子を有していたが、これに限らず、撮像素子を1つのみ有した構成としても構わない。例えば、本変形例2に係る撮像部53Aは、図8に示すように、プリズム52が省略されるとともに、1つのみの第1の撮像素子531を有する。
【0082】
そして、本変形例2に係る第1のモードは、以下に示すモードである。
第1のモードでは、制御部97は、交互に繰り返される第1,第2の期間のうち、第1の期間において第1の光源31を点灯させ、第2の期間において第2の光源32を点灯させる。また、第1の撮像素子531は、第1,第2の光源31,32の点灯タイミングに同期して、交互に繰り返される第1,第2の期間毎に撮像を行う。これにより、撮像部53Aは、第1の期間に撮像を行うことにより画素数が4Kの通常光画像を生成する。また、撮像部53Aは、第2の期間に撮像を行うことにより画素数が4Kの蛍光画像を生成する。そして、通信部54は、制御装置9(基準信号生成部91)から出力された垂直同期信号(図9の(b))及び判別信号(図9の(c))に基づいて、通信部92に対して、撮像部53Aにて生成された通常光画像(4K画像)と蛍光画像(4K画像)とを交互に送信する。なお、判別信号は、垂直同期信号に同期した信号であって、カメラヘッド5から制御装置9に送信される撮像画像の種類(通常光画像(4K画像)または蛍光画像(4K画像))を判別するための信号である。
【0083】
以上のように、本変形例2では、カメラヘッド5は、時分割で撮像することにより互いに異なる種類の画像(通常光画像(4K画像)、蛍光画像(4K画像))を出力する1つの撮像素子(第1の撮像素子531)を備える。
【0084】
本変形例2では、第2のバンク962は、蛍光画像(4K画像)に対応した処理情報(設定情報及び画像処理パラメータ)を格納する。
そして、セレクタ95は、第1のモードにおいて、図9に示すように、判別信号に基づいてカメラヘッド5から送信された撮像画像が通常光画像(4K画像)であると認識した場合には、第1,第2のバンク961,962のうち、処理モジュール94へ処理情報を設定するバンクとして、第1のバンク961を選択する。一方、セレクタ95は、判別信号に基づいてカメラヘッド5から送信された撮像画像が蛍光画像(4K画像)であると認識した場合には、第1,第2のバンク961,962のうち、処理モジュール94へ処理情報を設定するバンクとして、第2のバンク962を選択する。
すなわち、セレクタ95は、第1のモードである場合には、カメラヘッド5から送信された撮像画像の種類が切り替わるタイミングに応じて、ハードウェア処理を行うことによって、第1,第2のバンク961,962のうち、当該撮像画像の種類に応じた処理情報を格納したバンクを選択する。
【0085】
以上説明した本変形例2の構成を採用した場合であっても、上述した実施の形態と同様の効果を奏する。
【0086】
(変形例3)
図10は、実施の形態の変形例3を説明する図である。
上述した実施の形態では、第1のバンク961に第1の画像処理パラメータを格納し、第2のバンク962に第2の画像処理パラメータを格納していたが、これに限らない。例えば、第1,第2のバンク961,962に以下の情報を格納しても構わない。
【0087】
第1のバンク961は、本開示に係る画像処理パラメータに係る値として、当該画像処理パラメータの基準となる基準値を格納する。本変形例3では、当該基準値は、通常光画像(4K画像)に対応した画像処理パラメータ(第1の画像処理パラメータ)である。
また、第2のバンク962は、本開示に係る画像処理パラメータに係る値として、基準値に対して足し合わせることで特定の画像処理パラメータを生成可能とする差分値を格納する。本変形例3では、当該特定の画像処理パラメータは、蛍光画像(HD画像)に対応した画像処理パラメータ(第2の画像処理パラメータ)である。
【0088】
そして、本変形例3では、セレクタ95の代わりに、生成部95Bが設けられている。
生成部95Bは、本開示に係る選択部に相当する。この生成部95Bは、第1のバンク961に格納された基準値に対して、第2のバンク962に格納された差分値を足し合わせる加算回路95B1を備える。そして、生成部95Bは、第1のモードにおいて、判別信号に基づいてカメラヘッド5から送信された撮像画像が通常光画像(4K画像)であると認識した場合には、第1のバンク961に格納された基準値(第1の画像処理パラメータ)を画像処理部942に出力する。すなわち、通常光画像(4K画像)は、本開示に係る第1の種類の画像に相当する。一方、生成部95Bは、第1のモードにおいて、判別信号に基づいてカメラヘッド5から送信された撮像画像が蛍光画像(HD画像)であると認識した場合には、第1のバンク961に格納された基準値に対して第2のバンク962に格納された差分値を足し合わせて第2の画像処理パラメータを生成し、画像処理部942に出力する。すなわち、蛍光画像(HD画像)は、本開示に係る第2の種類の画像に相当する。
以上のように、生成部95Bは、第1のモードである場合には、カメラヘッド5から送信された撮像画像の種類が切り替わるタイミングに応じて、ハードウェア処理を行うことによって、第1のバンク961に格納された基準値と第2のバンク962に格納された差分値とを用いて、画像処理部942による画像処理で用いる画像処理パラメータを生成する。
【0089】
以上説明した本変形例3の構成を採用した場合であっても、上述した実施の形態と同様の効果を奏する。
【0090】
(変形例4)
図11は、実施の形態の変形例4を説明する図である。
上述した実施の形態では、処理モジュール94の処理内容を示す処理情報をレジスタ96に格納していたが、これに限らず、メモリに格納しても構わない。本変形例4では、レジスタ96の代わりに、パラメータ設定メモリ96Cが設けられている。
そして、パラメータ設定メモリ96Cは、当該パラメータ設定メモリ96Cの格納領域である第1,第2のバンク96C1,96C2を備える。
【0091】
第1のバンク96C1は、本発明に係る格納部に相当する。この第1のバンク96C1は、通常光画像(4K画像)に対応した処理情報(第1の処理情報(第1の設定情報及び第1の画像処理パラメータ))を格納する。
第2のバンク96C2は、本発明に係る格納部に相当する。この第2のバンク96C2は、蛍光画像(HD画像)に対応した処理情報(第2の処理情報(第2の設定情報及び第2の画像処理パラメータ))を格納する。
なお、セレクタ95の機能は、第1のバンク961を第1のバンク96C1に置き換え、第2のバンク962を第2のバンク96C2に置き換えれば、上述した実施の形態と同様の機能である。
【0092】
以上説明した本変形例4によれば、上述した実施の形態と同様の効果の他、以下の効果を奏する。
例えば、画像処理パラメータとしては、ガンマ補正で用いる画像処理パラメータ等、データ容量が大きいものがある。本発明に係る格納部として、レジスタではなく、大量のデータを格納可能とするメモリとすることで、データ容量の大きい画像処理パラメータに対応することができる。
【0093】
(変形例5)
図12は、実施の形態の変形例5を説明する図である。
上述した実施の形態では、本発明に係る格納部として、レジスタ96における第1,第2のバンク961,962を採用していたが、これに限らない。本変形例5では、レジスタ96の代わりに、第1,第2のレジスタ96D1,96D2が設けられている。
【0094】
第1のレジスタ96D1は、本発明に係る格納部に相当する。この第1のレジスタ96D1は、通常光画像(4K画像)に対応した処理情報(第1の処理情報(第1の設定情報及び第1の画像処理パラメータ))を格納する。
第2のレジスタ96D2は、本発明に係る格納部に相当する。この第2のレジスタ96D2は、蛍光画像(HD画像)に対応した処理情報(第2の処理情報(第2の設定情報及び第2の画像処理パラメータ))を格納する。
なお、セレクタ95の機能は、第1のバンク961を第1のレジスタ96D1に置き換え、第2のバンク962を第2のレジスタ96D2に置き換えれば、上述した実施の形態と同様の機能である。
【0095】
以上説明した本変形例5の構成を採用した場合であっても、上述した実施の形態と同様の効果を奏する。
【0096】
(変形例6)
本発明に係る複数種類の画像としては、上述した実施の形態で説明した通常光画像(4K画像)及び蛍光画像(HD画像)に限らない。
例えば、上述した実施の形態で説明した蛍光画像(HD画像)は、特殊光観察であるIRI(Infra-Red Imaging)と呼ばれる技術によって取得した画像であったが、これに限らず、その他の特殊光観察(NBI(Narrow Band Imaging)と呼ばれる技術、AFI(Auto Fluorescence Imaging)と呼ばれる技術、PDD(Photodynamic Diagnosis)と呼ばれる技術等)で取得した画像を採用しても構わない。
また、本発明に係る複数種類の画像の数は、2つに限らず、3つ以上であっても構わない。この際、本発明に係る複数の格納部の数は、当該複数種類の画像の数に合わせる。
さらに、本発明に係る撮像素子の数は、1つまたは2つに限らず、3つ以上であっても構わない。
【0097】
(変形例7)
本変形例7に係る画像処理システムは、挿入部の先端側に撮像部を有する所謂ビデオスコープ(軟性鏡)を用いた画像処理システムである。以下では、説明の便宜上、本変形例7に係る画像処理システム1を画像処理システム1Eと記載する。
【0098】
図13は、実施の形態の変形例7を説明する図である。
画像処理システム1Eは、図13に示すように、生体内に挿入部2Eを挿入することによって観察部位の体内画像を撮像して撮像画像を出力する内視鏡100Eと、当該内視鏡100Eの先端から出射する照明光を発生する光源装置3と、当該内視鏡100Eから出力された撮像画像を処理する制御装置9と、当該制御装置9に第2の伝送ケーブル8を介して接続し、当該制御装置9にて処理された映像信号に基づく画像を表示する表示装置7とを備える。
【0099】
内視鏡100Eは、図13に示すように、可撓性を有する細長形状をなす挿入部2Eと、当該挿入部2Eの基端側に接続され、各種の操作を受け付ける操作部101と、当該操作部101から挿入部2Eが延びる方向と異なる方向に延び、光源装置3及び制御装置9に接続する各種ケーブルを内蔵するユニバーサルコード102とを備える。
挿入部2Eは、図13に示すように、先端部22と、当該先端部22の基端側に接続され、複数の湾曲駒によって構成された湾曲自在な湾曲部23と、当該湾曲部23の基端側に接続され、可撓性を有する長尺状の可撓管部24とを備える。
【0100】
そして、先端部22には、具体的な図示は省略したが、上述した実施の形態で説明したカメラヘッド5と略同様の構成が内蔵されている。そして、先端部22(撮像部)にて撮像された撮像画像は、操作部101及びユニバーサルコード102を介して、制御装置9に出力される。
【0101】
以上説明した本変形例7の構成を採用した場合であっても、上述した実施の形態と同様の効果を奏する。
【0102】
(変形例8)
本変形例8に係る画像処理システムは、被検体内部(生体内)や被検体表面(生体表面)の所定の視野領域を拡大して撮像する手術用顕微鏡を用いた画像処理システムである。以下では、説明の便宜上、本変形例8に係る画像処理システム1を画像処理システム1Fと記載する。
【0103】
図14は、実施の形態の変形例8を説明する図である。
画像処理システム1Fは、図14に示すように、被検体を観察するための画像を撮像して撮像画像を出力する手術用顕微鏡12と、手術用顕微鏡12から出力された撮像画像を処理する制御装置9と、制御装置9に第2の伝送ケーブル8を介して接続し、制御装置9にて処理された映像信号に基づく画像を表示する表示装置7とを備える。
【0104】
手術用顕微鏡12は、図14に示すように、被写体の微小部位を拡大して撮像し、撮像画像を出力する顕微鏡部121と、顕微鏡部121の基端部に接続し、顕微鏡部121を回動可能に支持するアームを含む支持部122と、支持部122の基端部を回動可能に保持し、床面上を移動可能なベース部123とを備える。
そして、制御装置9は、図14に示すように、ベース部123に設置されている。また、具体的な図示は省略したが、ベース部123には、手術用顕微鏡12から被写体に照射する照明光を生成する光源装置3も設置されている。
なお、ベース部123は、床面上に移動可能に設けるのではなく、天井や壁面等に固定して支持部122を支持する構成としてもよい。
【0105】
顕微鏡部121には、具体的な図示は省略したが、上述した実施の形態で説明したカメラヘッド5と略同様の構成が内蔵されている。そして、顕微鏡部121(撮像部)にて撮像された撮像画像は、支持部122に沿って配線された第1の伝送ケーブル6を介して、制御装置9に出力される。
【0106】
以上説明した本変形例8の構成を採用した場合であっても、上述した実施の形態と同様の効果を奏する。
【0107】
なお、以下のような構成も本開示の技術的範囲に属する。
(1)取得した複数種類の画像に対して当該画像毎に当該画像の種類に応じた画像処理パラメータを用いた画像処理を順次、行う画像処理部と、前記画像処理パラメータに係る値をそれぞれ格納した複数の格納部と、前記画像の種類が切り替わるタイミングに応じて、前記複数の格納部の少なくとも1つを選択し、前記画像処理部による画像処理で用いる前記画像処理パラメータを決定する選択部とを備える画像処理装置。
(2)前記選択部は、前記画像の種類が切り替わるタイミングに応じて、前記複数の格納部のいずれかを選択し、前記画像処理部による画像処理で用いる前記画像処理パラメータを決定する前記(1)に記載の画像処理装置。
(3)前記複数種類の画像は、互いに画像サイズが異なる前記(1)または(2)に記載の画像処理装置。
(4)前記複数種類の画像は、4K画像とHD画像とを含む前記(1)~(3)のいずれか1つに記載の画像処理装置。
(5)前記画像処理装置のモードを、複数種類の画像を順次、取得する第1のモードと、前記第1のモード以外の第2のモードとのいずれかに切り替えるモード切替部をさらに備え、前記選択部は、前記画像処理装置のモードが前記第1のモードである場合に、前記画像の種類が切り替わるタイミングに応じて、前記複数の格納部の少なくとも1つを選択し、前記画像処理部による画像処理で用いる前記画像処理パラメータを決定する前記(1)~(4)のいずれか1つに記載の画像処理装置。
(6)前記第2のモードは、同一種類の画像を順次、取得するモードと、複数種類の画像を同時に取得するモードとの少なくともいずれかを含む前記(5)に記載の画像処理装置。
(7)前記複数の格納部は、レジスタによってそれぞれ構成されている前記(1)~(6)のいずれか1つに記載の画像処理装置。
(8)前記複数の格納部は、レジスタにおける格納領域でそれぞれ構成されている前記(1)~(6)のいずれか1つに記載の画像処理装置。
(9)前記複数の格納部は、メモリにおける格納領域でそれぞれ構成されている前記(1)~(6)のいずれか1つに記載の画像処理装置。
(10)前記選択部は、ハードウェア処理を行うことによって、前記画像の種類が切り替わるタイミングに応じて、前記複数の格納部のうち、前記画像処理部へ前記画像処理パラメータを設定する少なくとも1つの格納部を選択する前記(1)~(9)のいずれか1つに記載の画像処理装置。
(11)前記選択部は、前記画像が第1の種類の画像であるときに、前記複数の格納部から1つを選択し、前記画像が第2の種類の画像であるときに、前記複数の格納部に格納される複数の前記画像処理パラメータに係る値を用いて前記画像処理部による画像処理で用いる前記画像処理パラメータを設定する前記(1)、(3)~(10)のいずれか1つに記載の画像処理装置。
(12)前記複数の格納部は、前記画像処理パラメータの基準となる基準値を格納した第1の格納部と、前記基準値に対して足し合わせることで特定の前記画像処理パラメータを生成可能とする差分値を格納した第2の格納部とを有し、前記選択部は、前記画像の種類が切り替わるタイミングに応じて、前記第1の格納部に格納された前記基準値と、前記第2の格納部に格納された前記差分値とを用いて、前記画像処理部による画像処理で用いる前記画像処理パラメータを生成する前記(11)に記載の画像処理装置。
(13)撮像により得られた複数種類の画像を順次、出力する撮像装置と、前記撮像装置から順次、出力される前記複数種類の画像を処理する画像処理装置とを備え、前記画像処理装置は、取得した前記複数種類の画像に対して当該画像毎に当該画像の種類に応じた画像処理パラメータを用いた画像処理を順次、行う画像処理部と、前記画像処理パラメータに係る値をそれぞれ格納した複数の格納部と、前記画像の種類が切り替わるタイミングに応じて、前記複数の格納部の少なくとも1つを選択し、前記画像処理部による画像処理で用いる前記画像処理パラメータを決定する選択部とを備える画像処理システム。
(14)前記撮像装置は、互いに異なる種類の画像をそれぞれ出力する複数の撮像素子を備える前記(13)に記載の画像処理システム。
(15)前記撮像装置は、時分割で撮像することにより互いに異なる種類の画像を出力する1つの撮像素子を備える前記(13)に記載の画像処理システム。
【符号の説明】
【0108】
1,1E,1F 画像処理システム
2,2E 挿入部
3 光源装置
4 ライトガイド
5 カメラヘッド
6 第1の伝送ケーブル
7 表示装置
8 第2の伝送ケーブル
9 制御装置
10 第3の伝送ケーブル
12 手術用顕微鏡
21 接眼部
22 先端部
23 湾曲部
24 可撓管部
31 第1の光源
32 第2の光源
51 レンズユニット
52 プリズム
53,53A 撮像部
54 通信部
90 記憶部
91 基準信号生成部
92 通信部
93 画像メモリ
94 処理モジュール
95 セレクタ
95B 生成部
95B1 加算回路
96 レジスタ
96C パラメータ設定メモリ
96C1 第1のバンク
96C2 第2のバンク
96D1 第1のレジスタ
96D2 第2のレジスタ
97 制御部
98 入力部
99 出力部
100E 内視鏡
101 操作部
102 ユニバーサルコード
121 顕微鏡部
122 支持部
123 ベース部
531 第1の撮像素子
532 第2の撮像素子
533 信号処理部
931 バンク
941 メモリコントローラ
942 画像処理部
942A 第1の画像処理ブロック
942B 第2の画像処理ブロック
942C 第3の画像処理ブロック
942D 第4の画像処理ブロック
961 第1のバンク
962 第2のバンク
Ar1 第1の分割領域
Ar2 第2の分割領域
Ar3 第3の分割領域
Ar4 第4の分割領域
CN1,CN2 コネクタ
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14