【解決手段】本発明にかかる医療用撮像装置は、複数の画素を有し、該複数の画素の電気信号を含む撮像信号を出力する撮像部と、撮像信号を記録するメモリと、撮像信号に基づいて生成される画像の評価値を算出する評価値算出部と、表示対象の撮像信号を選択する指示信号が入力された場合に、評価値算出部が算出した評価値をもとに、表示対象の撮像信号を選択する撮像信号選択部と、撮像信号選択部により選択された撮像信号をメモリから抽出するメモリ制御部と、メモリ制御部から取得した撮像信号に対して処理を施して表示用の画像を生成する画像処理部と、を備え、評価値算出部は、有効画素領域の一部の画素領域である検波領域に含まれる画素が生成した電気信号を検波することによって評価値を算出する。
前記評価値算出部は、前記有効画素領域を間引いた領域を前記検波領域とし、該検波領域に含まれる前記画素が生成した前記電気信号を検波することによって前記評価値を算出する
ことを特徴とする請求項1に記載の医療用撮像装置。
前記表示用の画像は、第1の波長帯域の光による第1の撮像信号、及び前記第1の波長帯域とは異なる第2の波長帯域の光による第2の撮像信号に基づいて生成される画像であり、
前記評価値算出部は、前記第1の撮像信号における第1の有効画素領域、及び前記第2の撮像信号における第2の有効画素領域のうち、一方の有効画素領域を前記検波領域として、該検波領域に含まれる前記画素が生成した前記電気信号を検波することによって前記評価値を算出する
ことを特徴とする請求項4に記載の医療用撮像装置。
前記画像処理部が生成する前記表示用の画像を、所定の切り替え間隔で表示装置に切り替え表示させるとともに、該切り替え表示している際にフリーズ指示が入力された場合、前記表示装置に、前記切り替え間隔よりも長い間隔で一つの前記表示用の画像をフリーズ表示させる制御部、
をさらに備えることを特徴とする請求項1〜7のいずれか一つに記載の医療用撮像装置。
【発明を実施するための形態】
【0017】
以下、本発明を実施するための形態(以下、「実施の形態」という)を説明する。実施の形態では、本発明にかかる医療用撮像装置を含む医療用画像取得システムの一例として、患者等の被検体内の画像を撮像して表示や記録する医療用の内視鏡装置について説明する。また、この実施の形態により、この発明が限定されるものではない。さらに、図面の記載において、同一部分には同一の符号を付して説明する。
【0018】
(実施の形態)
図1は、本発明の一実施の形態にかかる内視鏡装置1の概略構成を示す図である。内視鏡装置1は、医療分野において用いられ、人等の観察対象物の内部(生体内)の被写体を観察する装置である。この内視鏡装置1は、
図1に示すように、硬性鏡である内視鏡2と、撮像装置3と、表示装置4と、制御装置5と、光源装置6と、記録装置10とを備え、撮像装置3と制御装置5とで、医療用撮像装置を構成している。
【0019】
光源装置6は、ライトガイド7の一端が内視鏡2に接続され、当該ライトガイド7の一端に生体内を照明するための白色の照明光を供給する。ライトガイド7は、一端が光源装置6に着脱自在に接続されるとともに、他端が内視鏡2に着脱自在に接続される。そして、ライトガイド7は、光源装置6から供給された光を一端から他端に伝達し、内視鏡2に供給する。
【0020】
撮像装置3は、内視鏡2からの被写体像を撮像して当該撮像結果を出力する。この撮像装置3は、
図1に示すように、信号伝送部である伝送ケーブル8と、カメラヘッド9とを備える。
【0021】
内視鏡2は、硬質で細長形状を有し、生体内に挿入される。この内視鏡2の内部には、1又は複数のレンズを用いて構成され、被写体像を集光する光学系が設けられている。内視鏡2は、ライトガイド7を介して供給された光を先端から出射し、生体内に照射する。そして、生体内に照射された光(被写体像)は、内視鏡2内の光学系(レンズユニット91)により集光される。
【0022】
カメラヘッド9は、内視鏡2の基端に着脱自在に接続される。そして、カメラヘッド9は、制御装置5による制御の下、内視鏡2にて集光された被写体像を撮像し、当該撮像による撮像信号を出力する。なお、カメラヘッド9の詳細な構成については、後述する。
【0023】
伝送ケーブル8は、一端がコネクタを介して制御装置5に着脱自在に接続されるとともに、他端がコネクタを介してカメラヘッド9に着脱自在に接続される。具体的に、伝送ケーブル8は、最外層である外被の内側に複数の電気配線(図示略)が配設されたケーブルである。当該複数の電気配線は、カメラヘッド9から出力される撮像信号を制御装置5に、制御装置5から出力される制御信号、同期信号、クロック、及び電力をカメラヘッド9にそれぞれ伝送するための電気配線である。
【0024】
表示装置4は、制御装置5による制御のもと、制御装置5により生成された画像を表示する。表示装置4は、観察時の没入感を得やすくするために、表示部が55インチ以上を有するものが好ましいが、これに限らない。
【0025】
制御装置5は、カメラヘッド9から伝送ケーブル8を経由して入力された撮像信号を処理し、表示装置4や記録装置10へ画像信号を出力するとともに、カメラヘッド9や、表示装置4、記録装置10の動作を統括的に制御する。なお、制御装置5の詳細な構成については、後述する。
【0026】
記録装置10は、フラッシュメモリ、RAM(Random Access Memory)、ROM(Read Only Memory)等の半導体メモリや、HDDやDVD、ブルーレイディスク等の記録媒体を用いて実現される。記録装置10には、制御装置5から取得した画像信号が記録される。なお、記録装置10は、制御部57が実行する各種プログラム等が記録されていてもよい。また、記録装置10を制御装置5内に設けてもよい。
【0027】
次に、撮像装置3及び制御装置5の構成について説明する。
図2は、カメラヘッド9及び制御装置5の構成を示すブロック図である。なお、
図2では、カメラヘッド9及び伝送ケーブル8同士を着脱可能とするコネクタの図示を省略している。また、
図2において、画像にかかる信号の流れを実線の矢印で示し、制御等にかかる信号の流れを破線の矢印で示している。
【0028】
以下、制御装置5の構成、及びカメラヘッド9の構成の順に説明する。なお、以下では、制御装置5の構成として、本発明の要部を主に説明する。制御装置5は、
図2に示すように、メモリ制御部51と、メモリ52と、画像処理部53と、評価値算出部54と、評価値メモリ55と、撮像信号選択部56と、制御部57とを備える。なお、制御装置5には、制御装置5及びカメラヘッド9を駆動するための電源電圧を生成し、制御装置5の各部にそれぞれ供給するとともに、伝送ケーブル8を介してカメラヘッド9に供給する電源部(図示略)などが設けられていてもよい。
【0029】
メモリ制御部51は、カメラヘッド9から撮像信号を受信し、メモリ52に記録するとともに、評価値算出部54に出力する。また、メモリ制御部51は、メモリ52に記録されている最新の撮像信号、又は撮像信号選択部56によって選択された撮像信号を、画像処理部53に出力する。
【0030】
メモリ52は、フラッシュメモリやDRAM(Dynamic Random Access Memory)等の半導体メモリを用いて実現され、メモリ制御部51から取得した撮像信号や、通信情報データ(例えば、通信用フォーマット情報など)が記録されている。なお、メモリ52は、制御部57が実行する各種プログラム等が記録されていてもよい。
【0031】
画像処理部53は、メモリ制御部51から撮像信号を取得し、撮像信号に対してノイズ除去や、必要に応じてA/D変換等の信号処理を行うことによって、デジタル化された撮像信号(パルス信号)を生成する。そして、画像処理部53は、メモリ制御部51から入力される撮像信号をもとに、表示装置4が表示する表示用の画像信号を生成する。この表示用の画像信号は、記録装置10にも出力され、記録装置10に記録される。画像処理部53は、撮像信号に対して、所定の信号処理を実行して被写体画像を含む表示用の画像信号を生成する。ここで、画像処理としては、補間処理や、色補正処理、色強調処理、及び輪郭強調処理等の各種画像処理等が挙げられる。画像処理部53は、生成した画像信号を表示装置4に出力する。
【0032】
なお、画像処理部53は、入力された各フレームの所定のAF用評価値を出力するAF処理部、及び、AF処理部からの各フレームのAF用評価値から、最も合焦位置として適したフレーム又はフォーカスレンズ位置等を選択するようなAF演算処理を行うAF演算部を有していてもよい。
【0033】
評価値算出部54は、メモリ制御部51から取得した撮像信号をもとに、該撮像信号の評価値を算出する。評価値算出部54は、撮像信号における有効画素領域のうち、予め設定されている検波領域を検波することによって、評価値を算出する。有効画素領域は、画像を生成するための輝度に関する電気信号を生成する画素により構成される画素領域であって、すべての画素により構成される総画素領域の一部の画素領域である。
【0034】
図3は、本発明の一実施の形態にかかる内視鏡装置が備える評価値算出部が行う評価値算出を説明するための図である。評価値算出部54は、
図3に示す有効画素領域R
IMのうち、中央部に設定される検波領域R
Dを検波することによって評価値を算出する。例えば、有効画素領域の画素数が例えば4400×2250である場合、検波領域は画素数が1920×1080となる領域が設定される。
【0035】
評価値算出部54は、画像のぶれやぼけを示す値を評価値として算出する。具体的に、評価値算出部54は、例えば、検波対象の撮像信号における検波領域の画素値と、時系列で隣り合う撮像信号における検波領域の画素値とを比較して、検波対象の撮像信号に応じた画像のぶれやぼけを検出し、そのぶれ量やぼけ量を評価値とする。ぶれ量やぼけ量は、公知の方法を用いて算出することができる。評価値算出部54は、算出した評価値を評価値メモリ55に記録させる。
【0036】
図4は、本発明の一実施の形態にかかる内視鏡装置が備える評価値算出部が行う評価値算出を説明するための図である。制御装置5では、入力された撮像信号に基づいて、画像処理部53による表示用の画像信号の生成と、評価値算出部54による評価値の算出とが実行される。例えば、時間t
0、t
1、t
2、t
3、t
4、t
5、・・・において撮像信号が入力され、画像処理部53と評価値算出部54がそれぞれ処理を実行する。
図4に示す破線のブロック矢印T
1〜T
5は、評価値算出部54が、一つの画像について評価値を算出するための期間(以下、評価値算出期間T
1〜T
5という)を示している。例えば、時間t
0、t
1、t
2、t
3、t
4、t
5において、時系列的に隣り合う時間の間隔は均等であってもよい。評価値算出期間T
1〜T
5は、撮像信号が入力される間隔(間隔時間T
TR)と同じである。なお、評価値算出部54は、この評価値算出期間T
1〜T
5(間隔時間T
TR)内に、評価値の算出処理が完了していればよい。
【0037】
評価値算出部54は、この間隔時間T
TR内に、撮像信号の評価値の算出を完了することで、連続して入力される撮像信号に対して遅延なく処理を継続することができる。これにより、次の撮像信号が入力されたタイミングで、最新の撮像信号に対応する画像を表示装置4に表示、又は記録装置10に記録することができる。例えば、時間t
0で入力された撮像信号を用いて、評価値算出期間T
1内に評価値を算出し、この撮像信号に対応する画像IM
1を、時間t
1において表示することができる。同様に、時間t
1で入力された撮像信号を用いて、評価値算出期間T
2内に評価値を算出し、この撮像信号に対応する画像IM
2を時間t
2において表示し、時間t
2で入力された撮像信号を用いて、評価値算出期間T
3内に評価値を算出し、この撮像信号に対応する画像IM
3を時間t
3において表示し、時間t
3で入力された撮像信号を用いて、評価値算出期間T
4内に評価値を算出し、この撮像信号に対応する画像IM
4を時間t
4において表示し、時間t
4で入力された撮像信号を用いて、評価値算出期間T
5内に評価値を算出し、この撮像信号に対応する画像を時間t
5において表示することができる。記録装置10への記録も同様に実行される。
【0038】
このとき、評価値算出部54は、有効画素領域の全域に対して検波処理を実行して評価値を算出しようとすると、近年の高画素化・高解像度化に伴い、処理時間が増大し、上述した間隔時間T
TR内に評価値算出処理を終了できない場合がある。この場合、最新の撮像信号に対する、評価値メモリ55に記録される評価値のうち、最新の評価値に対応する撮像信号の遅延量が大きくなる。これに対し、本実施の形態では、評価値算出部54による検波領域を、有効画素領域R
IMよりも小さい検波領域R
D(
図3参照)とすることによって、各撮像信号の評価値の算出に要する処理時間を削減し、処理時間の遅延を抑制している。これにより、メモリ52に記録されている最新の撮像信号の評価値まで算出することが可能となる。
【0039】
評価値メモリ55は、フラッシュメモリやDRAM等の半導体メモリを用いて実現され、評価値算出部54が算出した評価値を、撮像信号と対応付けて記録する。また、評価値メモリ55は、撮像信号選択部56からの要求に応じて、記録している評価値を出力する。評価値メモリ55は、入力された評価値すべてを記録するようにしてもよいし、予め設定されているフレーム数に応じた数の評価値を記録するようにしてもよい。評価値メモリ55は、評価値の記録数に上限が設定され、最大記録数の評価値が記録されている状態で新たに評価値が入力された場合に、最も古い評価値を削除して、この削除した評価値に代えて、入力された評価値を記録する。これにより、評価値メモリ55は、時系列で最新の評価値が、予め決まった数分記録される。なお、評価値メモリ55は、メモリ52の一部として構成されるものであってもよい。
【0040】
撮像信号選択部56は、評価値メモリ55から最新の撮像信号に対応する評価値を含む、予め設定されている数フレーム分、例えば、時系列で最新の5フレーム分の撮像信号にかかる評価値を出力し、最もぶれやぼけが小さいと評価される評価値を抽出する。撮像信号選択部56は、抽出した評価値に対応する撮像信号を、表示(記録)対象の撮像信号として選択する。撮像信号選択部56は、選択した撮像信号に関する選択情報を、メモリ制御部51に出力する。選択情報には、撮像時刻や、フレーム番号等、選択した撮像信号を特定できる情報が含まれる。
【0041】
制御部57は、制御装置5及びカメラヘッド9を含む各構成部の駆動制御、及び各構成部に対する情報の入出力制御などを行う。制御部57は、メモリ52に記録されている通信情報データ(例えば、通信用フォーマット情報など)を参照して制御信号を生成し、該生成した制御信号を各構成部へ送信する。また、制御部57は、伝送ケーブル8を介して、カメラヘッド9に対して制御信号を出力する。
【0042】
制御部57は、所定の間隔、例えば1フレーム分の撮像信号から画像を生成するのに要する処理時間の間隔で、順次画像を切り替えて表示している際、カメラヘッド9を介してフリーズ指示が入力された場合に、表示装置4に、上述した切り替え間隔よりも長い間隔で画像を表示するフリーズ表示を行わせる。この際、記録装置10には、表示期間に同期して記録処理が実行される。
【0043】
また、制御部57は、撮像装置3及び制御装置5の同期信号、及びクロックを生成する。撮像装置3への同期信号(例えば、カメラヘッド9の撮像タイミングを指示する同期信号等)やクロック(例えばシリアル通信用のクロック)は、図示しないラインで撮像装置3に送られ、この同期信号やクロックを基に、撮像装置3は駆動する。
【0044】
なお、上述したメモリ制御部51、画像処理部53、評価値算出部54、撮像信号選択部56及び制御部57は、プログラムが記録された内部メモリ(図示略)を有するCPU(Central Processing Unit)等の汎用プロセッサやASIC(Application Specific Integrated Circuit)等の特定の機能を実行する各種演算回路等の専用プロセッサを用いて実現される。また、プログラマブル集積回路の一種であるFPGA(Field Programmable Gate Array:図示略)を用いて構成するようにしてもよい。なおFPGAにより構成される場合は、コンフィグレーションデータを記憶するメモリを設け、メモリから読み出したコンフィグレーションデータにより、プログラマブル集積回路であるFPGAをコンフィグレーションしてもよい。
【0045】
また、制御装置5は、キーボード、マウス、タッチパネル等のユーザインタフェースを用いて構成され、各種情報の入力を受け付ける入力部(図示略)を備えている。
【0046】
次に、カメラヘッド9の構成として、本発明の要部を主に説明する。カメラヘッド9は、
図2に示すように、レンズユニット91と、撮像部92と、カメラヘッド制御部93と、駆動部94と、操作スイッチ95とを備える。
【0047】
レンズユニット91は、1又は複数のレンズを用いて構成され、内視鏡2にて集光された被写体像を、撮像部92を構成する撮像素子の撮像面に結像する。当該1又は複数のレンズは、光軸に沿って移動可能に構成されている。そして、レンズユニット91には、当該1又は複数のレンズを移動させて、画角を変化させる光学ズーム機構(図示略)や焦点を変化させるフォーカス機構が設けられている。なお、レンズユニット91は、光学ズーム機構及びフォーカス機構のほか、絞り機構や、光軸上に挿脱自在な光学フィルタ(例えば赤外光をカットするフィルタ)が設けられていてもよい。
【0048】
撮像部92は、カメラヘッド制御部93による制御のもと、被写体を撮像する。この撮像部92は、レンズユニット91が結像した被写体像を、複数画素が配列された有効画素領域を含む受光面で受光して電気信号に変換するCCD(Charge Coupled Device)又はCMOS(Complementary Metal Oxide Semiconductor)等の撮像素子を用いて構成されている。CCDの場合は、例えば、当該撮像素子からの電気信号(アナログ信号)に対して信号処理(A/D変換等)を行って撮像信号を出力する信号処理部(図示略)がセンサチップなどに実装される。CMOSの場合は、例えば、光から電気信号に変換された電気信号(アナログ)に対して信号処理(A/D変換等)を行って撮像信号を出力する信号処理部が撮像素子に含まれる。
【0049】
カメラヘッド制御部93は、伝送ケーブル8を介して入力した駆動信号や、カメラヘッド9の外面に露出して設けられたスイッチ等の操作部へのユーザ操作により操作部から出力される指示信号等に応じて、カメラヘッド9全体の動作を制御する。また、カメラヘッド制御部93は、伝送ケーブル8を介して、カメラヘッド9の現在の状態に関する情報を制御装置5に出力する。
【0050】
駆動部94は、カメラヘッド制御部93による制御の下、光学ズーム機構やフォーカス機構を動作させ、レンズユニット91の画角や焦点位置を変化させるドライバを有する。
【0051】
操作スイッチ95は、一つ又は複数のボタンや、タッチパネル等を用いて構成され、ボタンの押下や、ユーザによるタッチ位置に応じて指示信号を出力する。操作スイッチ95では、例えば、画像のフリーズ表示(記録)を指示するボタンの押下、又はタッチパネルへのタッチ操作に応じて、制御装置5にフリーズ(記録)指示信号を入力する。
【0052】
なお、上述したカメラヘッド制御部93及び駆動部94は、プログラムが記録された内部メモリ(図示略)を有するCPU等の汎用プロセッサやASIC等の特定の機能を実行する各種演算回路等の専用プロセッサを用いて実現される。また、プログラマブル集積回路の一種であるFPGAを用いて構成するようにしてもよい。なお、FPGAにより構成される場合は、コンフィグレーションデータを記憶するメモリを設け、メモリから読み出したコンフィグレーションデータにより、プログラマブル集積回路であるFPGAをコンフィグレーションしてもよい。
【0053】
なお、カメラヘッド9や伝送ケーブル8に、撮像部92により生成された撮像信号に対して信号処理を施す信号処理部を構成するようにしてもよい。また、カメラヘッド9内部に設けられた発振器(図示略)で生成された基準クロックに基づいて、撮像部92を駆動するための撮像用クロック、及び駆動部94を駆動するための駆動用クロックを生成し、撮像部92及び駆動部94にそれぞれ出力するようにしてもよいし、伝送ケーブル8を介して制御装置5から入力した同期信号に基づいて、撮像部92、駆動部94、及びカメラヘッド制御部93における各種処理のタイミング信号を生成し、撮像部92、駆動部94、及びカメラヘッド制御部93にそれぞれ出力するようにしてもよい。また、カメラヘッド制御部93をカメラヘッド9ではなく伝送ケーブル8や制御装置5に設けてもよい。
【0054】
続いて、内視鏡装置1が行う画像表示処理について、
図5を参照して説明する。
図5は、本発明の一実施の形態にかかる内視鏡装置が行う画像表示処理を示すフローチャートである。以下、制御部57の制御のもと、制御装置5の各部が動作するものとして説明する。
【0055】
制御装置5がカメラヘッド9から撮像信号を受信すると、メモリ制御部51が、受信した撮像信号をメモリ52に記録させる(ステップS101)。また、メモリ制御部51は、受信した撮像信号を画像処理部53及び評価値算出部54に出力する。メモリ制御部51は、撮像信号選択部56による選択情報の入力に応じて撮像信号を選択するようにしてもよい。なお、この際の選択情報は、最新の撮像信号を選択する旨を指示する情報である。
【0056】
画像処理部53は、最新の撮像信号を取得すると、表示用の画像信号を生成する(ステップS102)。その後、画像処理部53は、生成した画像信号を表示装置4及び/又は記録装置10に出力し、画像信号に応じた画像を表示装置4に表示、又は記録装置10に記録させる(ステップS103)。ステップS103によって、画像が順次切り替え表示(動画表示)される。
【0057】
ステップS104において、評価値算出部54は、メモリ制御部51から取得した撮像信号における有効画素領域のうち、予め設定されている検波領域(例えば
図3参照)を検波することによって、評価値を算出する。評価値算出部54は、算出した評価値を評価値メモリ55に記録させる。
【0058】
なお、上述したステップS103及びステップS104は、ステップS104を先に実行してもよいし、ステップS103とステップS104とを並行して実行するようにしてもよい。
【0059】
ステップS105において、制御部57は、操作スイッチ95を介してフリーズ指示が入力されたか否かを判断する。制御部57は、フリーズ指示が入力されたと判断した場合(ステップS105:Yes)、ステップS106に移行する。
【0060】
これに対し、制御部57は、フリーズ指示が入力されていないと判断した場合(ステップS105:No)、ステップS101に戻り、新たに入力される撮像信号に対して、上述した処理を施す。ステップS101からステップ103を繰り返すことによって、表示装置4には、所定の間隔、例えば1フレーム分の撮像信号から画像を生成するのに要する処理時間の間隔で、画像が切り替え表示される。また、記録装置10にも同様のタイミングで画像の記録処理が実行される。
【0061】
ステップS106において、撮像信号選択部56は、評価値メモリ55から評価値を出力し、最もぶれやぼけが小さいと評価される評価値を抽出する。撮像信号選択部56は、抽出した評価値に対応する撮像信号を、表示(記録)対象の撮像信号として選択する。撮像信号選択部56は、選択した撮像信号に関する選択情報を、メモリ制御部51に出力する。
【0062】
ステップS106に続くステップS107において、メモリ制御部51は、撮像信号選択部56が生成した選択情報に応じた撮像信号をメモリ52から抽出し、画像処理部53に出力する。画像処理部53は、取得した撮像信号に処理を施して、フリーズ表示(記録)させるための表示用の画像信号を生成する。
【0063】
ステップS107に続くステップS108において、制御部57は、表示装置4に、ステップS101からステップS103を繰り返した際の切り替え間隔よりも長い間隔で画像を表示するフリーズ表示を行わせる。この際、同じ画像が記録装置10に記録される。なお、フリーズ表示(記録)を行っている最中に新たに撮像信号が入力された場合には、その撮像信号について、評価値算出部54による評価値算出処理(ステップS104)が実行される。
【0064】
以上説明したような、画像処理評価値算出処理、フリーズ表示画像選択処理によって、動画の処理及び表示中におけるフリーズ等の指示入力をトリガとして、連続した画像における所定の期間、又は所定枚数の複数枚の画像を評価し、評価した画像の中から選択された画像を、静止画として所定の期間、表示装置に出力することができる。
【0065】
制御部57は、フリーズ表示(記録)処理終了後、新たな撮像信号の入力があるか否かを判断する。制御部57は、新たな撮像信号が入力されていると判断した場合(ステップS109:Yes)、ステップS101に戻り、上述した処理を繰り返す。これに対し、制御部57は、新たな撮像信号が入力されていないと判断した場合(ステップS109:No)、上述した処理を終了する。
【0066】
上述した実施の形態では、連続して入力される撮像信号に対し、画像処理部53が画像処理を施した画像信号に基づいて表示装置4が画像を表示、又は記録装置10が画像を記録し、評価値算出部54が、画像のぶれやぼけを評価するための評価値を算出する。この際、評価値算出部54は、有効画素領域の一部の領域である検波領域を検波することによって評価値を算出するようにした。本実施の形態によれば、高解像度化により有効画素領域が大きくなった場合でも、評価値算出部54による評価値算出の遅延を抑制し、連続して入力される撮像信号を効率的に評価することができる。
【0067】
なお、上述した実施の形態では、一回のフリーズ指示により、フリーズ表示(記録)対象の撮像信号を一つ選択する例について説明したが、一つ(1フレーム)に限らず、複数フレームにわたってフリーズ対象の撮像信号の選択、表示(記録)(
図5に示すステップS106〜S108)を繰り返すようにしてもよい。
【0068】
また、上述した実施の形態では、有効画素領域の中央部に検波領域を設定した例について説明したが、これに限らない。以下、検波領域の他の例について、図面を参照して説明する。以下に説明する変形例も一例であり、本発明は、このほかの適用可能なすべての検波領域を含む。
【0069】
(実施の形態の変形例1)
次に、本発明の実施の形態の変形例1について説明する。
図6は、本発明の実施の形態の変形例1にかかる内視鏡装置が備える評価値算出部が行う評価値算出を説明するための図である。本変形例1では、所定のフレーム間隔で画像を検波し、
図3に示す有効画素領域R
IMのすべてが検波領域に設定される。具体的には、1フレーム間引いて検波を行い、
図6に示す画像IM
1、画像IM
3について検波を実施し、その検波領域は、有効画素領域R
IMのすべてとなる。
図6に示す破線のブロック矢印T
11〜T
13は、評価値算出部54が、一つの画像について評価値を算出するための期間(評価値算出期間T
11〜T
13)を示している。
【0070】
本変形例1において、評価値算出部54が評価値を算出する期間(評価値算出期間T
11〜T
13)は、2フレーム分の撮像信号を受信する期間(2×間隔時間T
TR)となる。評価値算出期間T
11は、時間t
0で入力された撮像信号(画像IM
1に対応)を用いて評価値を算出する期間である。評価値算出期間T
12は、時間t
2で入力された撮像信号(画像IM
3に対応)を用いて評価値を算出する期間である。評価値算出期間T
13は、時間t
4で入力された撮像信号を用いて評価値を算出する期間である。
図6に示すように、有効画素領域R
IMのすべてについて検波処理を実行すると、間隔時間T
TRを超えてしまうが、次のフレームは検波処理を行わないため、2フレームにわたって、一つの画像の評価値算出を行うことができる。なお、間引くフレーム数は、任意に設定可能であり、2フレーム以上の間隔を設けてもよい。
【0071】
本変形例1において、検波対象の画像(フレーム)、設定される検波領域以外は、上述した実施の形態と同様である。なお、フリーズ指示が入力された際には、評価値が算出されている画像(ここでは画像IM
1、画像IM
3)のうちからフリーズ対象の画像が選択される。本変形例1によれば、高解像度化により有効画素領域が大きくなった場合でも、検波対象領域を削減することができるため、評価値算出部54による評価値算出の遅延を抑制し、連続して入力される撮像信号を効率的に評価することができる。
【0072】
なお、本変形例1において、設定される検波領域を、上述した実施の形態と同様にして、有効画素領域R
IMの一部としてもよい。これにより、有効画素領域すべてを検波領域とする場合と比して、評価値算出をさらに効率的に実施することができる。
【0073】
また、本変形例1において、評価値が算出されない画像(
図6では画像IM
2、画像IM
4)について、前フレームの画像の評価値を対応付けてもよい。例えば、画像IM
2の評価値は、画像IM
1の評価値に対応付けられる。
【0074】
(実施の形態の変形例2)
次に、本発明の実施の形態の変形例2について説明する。
図7は、本発明の実施の形態の変形例2にかかる評価値算出処理を説明するための図である。本変形例2では、有効画素領域R
IMにおいて、
図7の縦方向に延びる複数の部分検波領域(部分検波領域R
D1〜R
D4)からなる検波領域が設定される。部分検波領域R
D1〜R
D4は、例えば、有効画素領域の画素数が4400×2250である場合、各々が、横方向の画素数が630、縦方向の画素数が2250の領域を有し、所定の間隔で配置される。
【0075】
本変形例2において、設定される検波領域以外は、上述した実施の形態と同様である。本変形例2においても、上述した実施の形態と同様の効果を得ることができる。なお、変形例2では、複数の部分検波領域が、それぞれ縦方向に延びているものとして説明したが、横方向に延びる領域としてもよい。
【0076】
(実施の形態の変形例3)
次に、本発明の実施の形態の変形例3について説明する。
図8は、本発明の実施の形態の変形例3にかかる評価値算出処理を説明するための図である。本変形例3にかかる内視鏡装置は、立体視用の画像信号を生成する。本変形例3では、レンズユニット91が、左目用及び右目用の光学系を有する。カメラヘッド9の撮像部92は、各光学系が集光した光をもとに左目用撮像信号及び右目用撮像信号をそれぞれ生成する。撮像部92は、受光領域を分けて左目用撮像信号及び右目用撮像信号を生成する一つの撮像素子で構成してもよいし、左目用撮像信号及び右目用撮像信号をそれぞれ生成する二つの撮像素子で構成してもよい。左目用撮像信号及び右目用撮像信号は、同時又はほぼ同時に生成される。そのほかの構成は、上述した実施の形態と同様である。
【0077】
画像処理部53は、左目用撮像信号と右目用撮像信号とを用いて、表示装置4の表示方式、又は記録装置10の記録方式に対応した三次元画像信号を表示用の画像信号として生成する。本変形例3において、画像処理部53は、サイドバイサイド方式の画像信号を生成する。画像処理部53は、生成した三次元画像信号を表示装置4又は記録装置10に出力する。
【0078】
サイドバイサイド方式の立体視用の画像は、
図8に示す画像IM
3DSのように、左目用撮像信号に対応する左目用画像IM
Lと、右目用撮像信号に対応する右目用画像IM
Rとを左右に並べてなる。ここで、左目用画像IM
L及び右目用画像IM
Rは、例えば画像IM
3DSの画素数が4400×2250である場合、各々の画素数が2200×2250である。
【0079】
評価値算出部54は、例えば、画像IM
3DSのうち左目用画像IM
Lを検波対象とする。すなわち、評価値算出部54は、画像IM
3DS全体に対して半分程度の領域を検波領域とする。これにより、評価値算出部54は、画像IM
3DS全体を検波する場合と比して、半分程度の処理時間で評価値を算出することができる。
【0080】
メモリ制御部51は、撮像信号選択部56が評価値に基づいて選択した左目用撮像信号と、この左目用撮像信号に対応する右目用撮像信号とを抽出し、画像処理部53に出力する。
【0081】
本変形例3によれば、設定される検波領域を、表示(記録)する画像の半分程度に設定したので、上述した実施の形態と同様の効果を得ることができる。
【0082】
(実施の形態の変形例4)
次に、本発明の実施の形態の変形例4について説明する。
図9は、本発明の実施の形態の変形例4にかかる評価値算出処理を説明するための図である。本変形例4にかかる内視鏡装置は、変形例3と同様に、立体視用の画像信号を生成する。
【0083】
画像処理部53は、左目用撮像信号と右目用撮像信号とを用いて、表示装置4の表示方式、又は記録装置10の記録方式に対応した三次元画像信号を表示用の画像信号として生成する。本変形例4において、画像処理部53は、ラインバイライン方式の画像信号を生成する。画像処理部53は、生成した三次元画像信号を表示装置4又は記録装置10に出力する。
【0084】
ラインバイライン方式の立体視用の画像は、
図9に示す画像IM
3DLのように、左目用撮像信号に対応する左目用画像を構成する水平ラインL
IMLと、右目用撮像信号に対応する右目用画像を構成する水平ラインL
IMRとを交互に並べてなる。各水平ラインは、撮像素子を構成する画素配列における一つのラインに対応するものであってもよいし、複数ラインに対応するものであってもよい。
【0085】
評価値算出部54は、例えば、画像IM
3DLのうち左目用画像に対応する各水平ラインを検波対象とする。すなわち、評価値算出部54は、画像IM
3DL全体に対して半分程度の領域を検波領域とする。これにより、評価値算出部54は、画像IM
3DL全体を検波する場合と比して、半分程度の処理時間で評価値を算出することができる。
【0086】
本変形例4によれば、設定される検波領域を、表示(記録)する画像の半分程度に設定したので、上述した実施の形態と同様の効果を得ることができる。
【0087】
なお、上述した変形例3、4において、検波領域を間引くことによって、さらに小さくしてもよい。例えば、
図8に示す左目用画像IM
Lを検波対象とする場合に、
図3に示す検波領域R
Dのように、左目用画像IM
Lの中央部を検波領域としてもよいし、
図7に示す検波領域(部分検波領域R
D1〜R
D4)のように、間引いて分割した領域からなる検波領域としてもよい。
【0088】
また、上述した変形例3、4において説明したサイドバイサイド方式及びラインバイライン方式のほか、例えばトップアンドボトム方式等の他の方式であってもよい。
【0089】
(実施の形態の変形例5)
次に、本発明の実施の形態の変形例5について説明する。
図10は、本発明の実施の形態の変形例5にかかる評価値算出処理を説明するための図である。本変形例5にかかる内視鏡装置は、波長帯域の異なる照明光を交互に出射して得られる光に基づく画像信号を生成する。本変形例5では、白色光と、赤外領域の波長帯域の光からなる赤外光とを交互に出射する。カメラヘッド9の撮像部92は、受光した光をもとに、白色光による撮像信号と、赤外光による撮像信号とを交互に生成する。画像処理部53は、白色光による撮像信号と、赤外光による撮像信号とに基づいて、一つの表示(記録)画像を生成する。そのほかの構成は、上述した実施の形態と同様である。
図10に示す破線のブロック矢印T
21〜T
23は、評価値算出部54が、一つの画像について評価値を算出するための期間(評価値算出期間T
21〜T
23)を示している。
【0090】
本変形例5において、制御装置5では、入力された撮像信号に基づいて、画像処理部53による表示用の画像信号の生成と、評価値算出部54による評価値の算出とが実行される。例えば、時間t
0、t
12、t
14、・・・において白色光による撮像信号が入力され、時間t
11、t
13、t
15、・・・において赤外光による撮像信号が入力され、画像処理部53が処理を実行する。例えば、時間t
0で入力された撮像信号により白色光画像IM
W1が生成される。同様に、時間t
1で入力された撮像信号により赤外光画像IM
IR1が生成され、時間t
2で入力された撮像信号により白色光画像IM
W2が生成され、時間t
13で入力された撮像信号により赤外光画像IM
IR2が生成される。白色光画像と赤外光画像とが生成されると、時系列で隣り合う画像同士を合成して、合成画像を生成する。例えば、白色光画像IM
W1と赤外光画像IM
IR1とを合成して合成画像(図示せず)を生成し、赤外光画像IM
IR1と白色光画像IM
W2とを合成して合成画像(図示せず)を生成し、白色光画像IM
W2と赤外光画像IM
IR2とを合成して合成画像(図示せず)を生成する。合成画像は、例えば白色光画像に赤外光画像を重畳した画像である。本変形例5では、白色光による撮像信号が入力された際(時間t
0、t
12、t
14、・・・)において、評価値算出部54が評価値の算出を行う。
【0091】
評価値算出部54は、白色光による撮像信号が入力されると、上述したように評価値を算出する。この際、検波領域は、一方の光(ここでは白色光)による撮像信号の有効画素領域全域とする。ここで、本変形例5では、変形例1と同様に、撮像信号に基づく評価値を算出する時間は、2フレーム分の撮像信号を受信する期間(2×間隔時間T
TR)となる。具体的に、
図10に示すタイムチャートにおいて、評価値算出期間T
21は、時間t
0で入力された撮像信号(白色光画像IM
W1に対応)を用いて評価値を算出する期間である。評価値算出期間T
22は、時間t
12で入力された撮像信号(白色光画像IM
W2に対応)を用いて評価値を算出する期間である。評価値算出期間T
23は、時間t
14で入力された撮像信号を用いて評価値を算出する期間である。例えば、評価値算出期間T
21は、時間t
0に入力された白色光に基づいて評価値を算出するための時間が、時間t
0から時間t
12までの2フレーム分の処理時間に相当する。評価値算出部54は、時間t
0から時間t
12までの間に評価値を算出すればよい。
【0092】
フリーズ指示が入力された際には、白色光の画像(ここでは白色光画像IM
W1、白色光画像IM
W2)の評価値に基づいてフリーズ対象の合成画像が選択される。メモリ制御部51は、撮像信号選択部56が評価値に基づいて選択した白色光による撮像信号と、この白色光による撮像信号に対応する赤外光による撮像信号とを抽出し、画像処理部53に出力する。なお、メモリ制御部51は、予め合成画像が生成されていれば、選択された白色光画像に対応する合成画像を抽出する。
【0093】
本変形例5では、上述した実施の形態や変形例1〜3と比して、評価値の算出数は半分程度になるものの、有効画素領域全体を検波領域とした高精度の評価値を算出することができる。
【0094】
ここで、本変形例5における撮像部92の構成について、
図11A及び
図11Bを参照して説明する。撮像部92は、白色光及び赤外光を受光する一つの撮像素子を備える構成と、白色光及び赤外光をそれぞれ受光する二つの撮像素子を備える構成とのいずれかとなる。
【0095】
[撮像素子が一つの場合]
図11Aは、本発明の実施の形態の変形例5にかかる内視鏡装置が備える撮像部の構成の一例を説明するための図である。
図11Aに示すように、撮像部92が、白色光及び赤外光を受光する一つの撮像素子921を備える場合、撮像素子921は、順次入射する白色光Q
WLIと、赤外光Q
IRとを順次取得して、各光を光電変換した電気信号を出力する。この構成の場合、白色光Q
WLIと、赤外光Q
IRとを受光する画素領域は共通であり、有効画領域も同じである。
【0096】
[撮像素子が二つの場合]
図11Bは、本発明の実施の形態の変形例5にかかる内視鏡装置が備える撮像部の構成の他の例を説明するための図である。
図11Bに示すように、撮像部92が、白色光及び赤外光をそれぞれ受光する二つの撮像素子(撮像素子922、923)を備える場合、各撮像素子の前段に、入射する白色光Q
WLI及び赤外光Q
IRを分光するプリズム924が設けられる。プリズム924は、赤外の波長帯域の光を折り曲げるとともに、赤外の波長帯域以外の波長帯域の光を透過する。
図11Bでは、撮像素子922が、プリズム924が透過した光Q
1を取得して光電変換する。また、撮像素子923は、プリズム924が折り曲げた光を取得して光電変換する。この構成の場合、白色光Q
WLIと、赤外光Q
IRとを受光する撮像素子は異なり、その有効画領域も異なる領域となる。
【0097】
また、白色光画像と赤外光画像とを用いて生成される画像は、上述したような、白色光画像に赤外光画像を重畳した合成画像に限らない。
図12は、本発明の実施の形態の変形例5にかかる内視鏡装置が備える表示装置が表示する画像の他の例を説明するための図である。
図12に示す合成画像IM
C10のように、一方の画像上に他方の画像を子画面表示するようにしてもよい。合成画像IM
C10は、白色光画像IM
C11の一部に、赤外光画像IM
C12を埋め込んだ画像である。また、白色光画像と赤外光画像とを、それぞれ独立して表示するようにしてもよい。
【0098】
なお、本変形例5では、白色光と赤外光とによる撮像信号を用いた例を説明したが、互いに異なる波長帯域の光により生成される撮像信号であれば適用可能である。
【0099】
また、本変形例5において、設定される検波領域を、上述した実施の形態と同様にして、有効画素領域R
IMの一部としてもよい。これにより、有効画素領域すべての検波領域とする場合と比して、評価値算出の遅延をさらに抑制できる。
【0100】
また、本変形例5において、評価値が算出されない画像(
図10では赤外光画像IM
IR1、赤外光画像IM
IR2)について、前フレームの画像の評価値を対応付けてもよい。例えば、赤外光画像IM
IR1の評価値は、白色光画像IM
W1の評価値に対応付けられる。
【0101】
ここまで、本発明を実施するための形態を説明してきたが、本発明は上述した実施の形態によってのみ限定されるべきものではない。上述した実施の形態では、制御装置5が信号処理などを行うものとして説明したが、カメラヘッド9側で行うものであってもよい。
【0102】
以上のように、本発明にかかる医療用撮像装置及び内視鏡装置は、連続して入力される撮像信号を効率的に評価するのに有用である。