知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024171155
(43)【公開日】2024-12-11
(54)【発明の名称】処理装置、処理システム、処理方法及びプログラム
(51)【国際特許分類】
H04N 5/14 20060101AFI20241204BHJP
H04N 23/60 20230101ALI20241204BHJP
【ＦＩ】
H04N5/14
H04N23/60 500
【審査請求】未請求
【請求項の数】23
【出願形態】ＯＬ
(21)【出願番号】P 2023088075
(22)【出願日】2023-05-29
(71)【出願人】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】110003281
【氏名又は名称】弁理士法人大塚国際特許事務所
(72)【発明者】
【氏名】増山 尚大
(72)【発明者】
【氏名】宇佐美 大輔
(72)【発明者】
【氏名】工藤 裕真
【テーマコード（参考）】
5C122
【Ｆターム（参考）】
5C122EA14
5C122EA68
5C122FA07
5C122FC01
5C122FC02
5C122FF15
5C122FH11
5C122FK24
5C122GA23
5C122GE05
5C122HA13
5C122HA35
5C122HA46
5C122HA86
5C122HA88
5C122HB01
5C122HB10
(57)【要約】
【課題】欠陥画素を検出する時間を短縮すること。
【解決手段】 処理装置は、イメージセンサの各画素の出力信号から得た第１画素情報と第１閾値との比較により第１欠陥画素を検出する第１検出処理を行う第１検出処理部と、第１検出処理において、第１欠陥画素の第１検出数が所定数以下になるまで、第１閾値の初期値に対して所定の割合で設定された第１変更量を用いて第１閾値を繰り返し変更する第１閾値変更部と、出力信号から得た、第１画素情報とは異なる第２画素情報と、第１閾値の繰り返し変更回数と第２変更量とを用いて得た第２閾値と、の比較により、第１欠陥画素とは異なる第２欠陥画素を検出する第２検出処理を行う第２検出処理部と、第１欠陥画素の第１検出数と第２欠陥画素の第２検出数との加算情報が所定数以下になるまで、第１閾値の初期値に対して所定の割合で設定された第２変更量を用いて第２閾値を変更する第２閾値変更部と、備える。
【選択図】図１
【解決手段】 処理装置は、イメージセンサの各画素の出力信号から得た第１画素情報と第１閾値との比較により第１欠陥画素を検出する第１検出処理を行う第１検出処理部と、第１検出処理において、第１欠陥画素の第１検出数が所定数以下になるまで、第１閾値の初期値に対して所定の割合で設定された第１変更量を用いて第１閾値を繰り返し変更する第１閾値変更部と、出力信号から得た、第１画素情報とは異なる第２画素情報と、第１閾値の繰り返し変更回数と第２変更量とを用いて得た第２閾値と、の比較により、第１欠陥画素とは異なる第２欠陥画素を検出する第２検出処理を行う第２検出処理部と、第１欠陥画素の第１検出数と第２欠陥画素の第２検出数との加算情報が所定数以下になるまで、第１閾値の初期値に対して所定の割合で設定された第２変更量を用いて第２閾値を変更する第２閾値変更部と、備える。
【選択図】図１
【特許請求の範囲】
【請求項1】
イメージセンサの各画素の出力信号から得た第１画素情報と第１閾値との比較により第１欠陥画素を検出する第１検出処理を行う第１検出処理部と、
前記第１検出処理において、前記第１欠陥画素の第１検出数が所定数以下になるまで、前記第１閾値の初期値に対して所定の割合で設定された第１変更量を用いて前記第１閾値を繰り返し変更する第１閾値変更部と、
前記出力信号から得た、前記第１画素情報とは異なる第２画素情報と、前記第１閾値の繰り返し変更回数と第２変更量とを用いて得た第２閾値と、の比較により、前記第１欠陥画素とは異なる第２欠陥画素を検出する第２検出処理を行う第２検出処理部と、
前記第１欠陥画素の前記第１検出数と前記第２欠陥画素の第２検出数との加算情報が前記所定数以下になるまで、前記第２閾値の初期値に対して所定の割合で設定された第２変更量を用いて前記第２閾値を変更する第２閾値変更部と、
備える処理装置。
前記第１検出処理において、前記第１欠陥画素の第１検出数が所定数以下になるまで、前記第１閾値の初期値に対して所定の割合で設定された第１変更量を用いて前記第１閾値を繰り返し変更する第１閾値変更部と、
前記出力信号から得た、前記第１画素情報とは異なる第２画素情報と、前記第１閾値の繰り返し変更回数と第２変更量とを用いて得た第２閾値と、の比較により、前記第１欠陥画素とは異なる第２欠陥画素を検出する第２検出処理を行う第２検出処理部と、
前記第１欠陥画素の前記第１検出数と前記第２欠陥画素の第２検出数との加算情報が前記所定数以下になるまで、前記第２閾値の初期値に対して所定の割合で設定された第２変更量を用いて前記第２閾値を変更する第２閾値変更部と、
備える処理装置。
【請求項2】
前記イメージセンサから出力された複数フレームにおいて、前記各画素の出力信号を加算平均することにより前記第１画素情報を取得する平滑化部を更に備え、
前記第１検出処理部は、前記出力信号の加算平均により得られた前記第１画素情報と、前記第１閾値との比較により前記第１欠陥画素を検出する請求項１に記載の処理装置。
前記第１検出処理部は、前記出力信号の加算平均により得られた前記第１画素情報と、前記第１閾値との比較により前記第１欠陥画素を検出する請求項１に記載の処理装置。
【請求項3】
前記第１閾値変更部は、前記第１欠陥画素の第１検出数が所定数以下になるまで、前記第１閾値に前記第１変更量を加算、または、前記第１閾値から前記第１変更量を減算することにより、前記第１閾値を変更する請求項１に記載の処理装置。
【請求項4】
前記第２検出処理部は、前記第１閾値の繰り返し変更回数と前記第２変更量との積を用いて取得した前記第２閾値と、前記第２画素情報との比較により、前記第２欠陥画素を検出する請求項１に記載の処理装置。
【請求項5】
前記イメージセンサから出力された複数のフレームにおいて、前記各画素の出力信号のうち最大値を前記第２画素情報として取得する和集合部を更に備え、
前記第２検出処理部は、前記第２画素情報として取得された前記出力信号の最大値と、前記第２閾値との比較により前記第２欠陥画素を検出する請求項１に記載の処理装置。
前記第２検出処理部は、前記第２画素情報として取得された前記出力信号の最大値と、前記第２閾値との比較により前記第２欠陥画素を検出する請求項１に記載の処理装置。
【請求項6】
前記加算情報が前記所定数以下になるまで、
前記第１閾値変更部は、前記第１変更量を用いて前記第１閾値を変更し、
前記第１検出処理部は、変更された前記第１閾値と前記第１画素情報との比較により前記第１検出処理を実行し、
前記第２閾値変更部は、前記第２変更量を用いて前記第２閾値を変更し、
前記第２検出処理部は、変更された前記第２閾値と前記第２画素情報との比較により前記第２検出処理を実行する請求項１に記載の処理装置。
前記第１閾値変更部は、前記第１変更量を用いて前記第１閾値を変更し、
前記第１検出処理部は、変更された前記第１閾値と前記第１画素情報との比較により前記第１検出処理を実行し、
前記第２閾値変更部は、前記第２変更量を用いて前記第２閾値を変更し、
前記第２検出処理部は、変更された前記第２閾値と前記第２画素情報との比較により前記第２検出処理を実行する請求項１に記載の処理装置。
【請求項7】
前記第２閾値変更部は、前記第２閾値に前記第２変更量を加算、または、前記第２閾値から前記第２変更量を減算することにより、前記第２閾値を変更する請求項６に記載の処理装置。
【請求項8】
複数のイメージセンサを有するカメラヘッドを更に備え、
前記複数のイメージセンサは、前記出力信号として、それぞれ異なる撮像信号を出力する請求項１に記載の処理装置。
前記複数のイメージセンサは、前記出力信号として、それぞれ異なる撮像信号を出力する請求項１に記載の処理装置。
【請求項9】
前記複数のイメージセンサは、前記出力信号として、複数の撮像モードに対応した撮像信号を出力し、
前記第１閾値変更部は、前記撮像信号ごとに異なる第１閾値を設定し、
前記第２閾値変更部は、前記撮像信号ごとに異なる第２閾値を設定する請求項８に記載の処理装置。
前記第１閾値変更部は、前記撮像信号ごとに異なる第１閾値を設定し、
前記第２閾値変更部は、前記撮像信号ごとに異なる第２閾値を設定する請求項８に記載の処理装置。
【請求項10】
前記第１検出処理部は、前記第１検出処理を実行して前記撮像信号ごとに前記第１欠陥画素を検出し、
前記第２検出処理部は、前記第２検出処理を実行して前記撮像信号ごとに前記第２欠陥画素を検出し、
前記第２閾値変更部は、
前記第１欠陥画素と前記第２欠陥画素とを用いて、前記撮像信号ごとに欠陥画素数を取得する請求項９に記載の処理装置。
前記第２検出処理部は、前記第２検出処理を実行して前記撮像信号ごとに前記第２欠陥画素を検出し、
前記第２閾値変更部は、
前記第１欠陥画素と前記第２欠陥画素とを用いて、前記撮像信号ごとに欠陥画素数を取得する請求項９に記載の処理装置。
【請求項11】
前記第２閾値変更部は、
前記撮像信号ごとの前記欠陥画素数の加算情報が前記所定数を超える場合に、前記撮像信号のうち、前記欠陥画素数の最も多い撮像信号を特定し、
前記第１閾値変更部は、特定された前記撮像信号に関して、前記第１閾値を変更し、
前記第２閾値変更部は、特定された前記撮像信号に関して、前記第２変更量を用いて前記第２閾値を変更する請求項１０に記載の処理装置。
前記撮像信号ごとの前記欠陥画素数の加算情報が前記所定数を超える場合に、前記撮像信号のうち、前記欠陥画素数の最も多い撮像信号を特定し、
前記第１閾値変更部は、特定された前記撮像信号に関して、前記第１閾値を変更し、
前記第２閾値変更部は、特定された前記撮像信号に関して、前記第２変更量を用いて前記第２閾値を変更する請求項１０に記載の処理装置。
【請求項12】
前記第１検出処理部は、前記加算情報が前記所定数以下になるまで、特定された前記撮像信号に関して、前記第１検出処理を繰り返し実行し、
前記第２検出処理部は、前記加算情報が前記所定数以下になるまで、特定された前記撮像信号に関して、前記第２検出処理を繰り返し実行する請求項１１に記載の処理装置。
前記第２検出処理部は、前記加算情報が前記所定数以下になるまで、特定された前記撮像信号に関して、前記第２検出処理を繰り返し実行する請求項１１に記載の処理装置。
【請求項13】
前記複数の撮像モードには、
可視光から分光されたＲＧＢの撮像信号を用いて被写体を観察するための撮像モードと、
前記被写体に存在する蛍光物質から発せられる蛍光を観察するための撮像モードと、が含まれる請求項９に記載の処理装置。
可視光から分光されたＲＧＢの撮像信号を用いて被写体を観察するための撮像モードと、
前記被写体に存在する蛍光物質から発せられる蛍光を観察するための撮像モードと、が含まれる請求項９に記載の処理装置。
【請求項14】
前記カメラヘッドに含まれる前記イメージセンサの出力信号の利得を変更するための感度モードを選択し、前記感度モードの選択信号を前記カメラヘッドに出力する感度モード選択部を更に備え、
前記カメラヘッドに含まれる前記複数のイメージセンサは、前記選択信号に基づいて、それぞれ異なる感度モードを設定する請求項８に記載の処理装置。
前記カメラヘッドに含まれる前記複数のイメージセンサは、前記選択信号に基づいて、それぞれ異なる感度モードを設定する請求項８に記載の処理装置。
【請求項15】
前記複数のイメージセンサは、前記感度モードに基づいた撮像信号を出力し、
前記第１閾値変更部は、前記感度モードごとに異なる第１閾値を設定し、
前記第２閾値変更部は、前記感度モードごとに異なる第２閾値を設定する請求項１４に記載の処理装置。
前記第１閾値変更部は、前記感度モードごとに異なる第１閾値を設定し、
前記第２閾値変更部は、前記感度モードごとに異なる第２閾値を設定する請求項１４に記載の処理装置。
【請求項16】
前記第１検出処理部は、前記第１検出処理を実行して前記感度モードごとに前記第１欠陥画素を検出し、
前記第２検出処理部は、前記第２検出処理を実行して前記感度モードごとに前記第２欠陥画素を検出し、
前記第２閾値変更部は、
前記第１欠陥画素と前記第２欠陥画素とを用いて、前記感度モードごとに欠陥画素数を取得する請求項１５に記載の処理装置。
前記第２検出処理部は、前記第２検出処理を実行して前記感度モードごとに前記第２欠陥画素を検出し、
前記第２閾値変更部は、
前記第１欠陥画素と前記第２欠陥画素とを用いて、前記感度モードごとに欠陥画素数を取得する請求項１５に記載の処理装置。
【請求項17】
前記第２閾値変更部は、
前記感度モードごとの前記欠陥画素数の加算情報が前記所定数を超える場合に、前記感度モードのうち、前記欠陥画素数の最も多い感度モードを特定し、
前記第１閾値変更部は、特定された前記感度モードの撮像信号に関して、前記第１閾値を変更し、
前記第２閾値変更部は、特定された前記感度モードの撮像信号に関して、前記第２変更量を用いて前記第２閾値を変更する請求項１６に記載の処理装置。
前記感度モードごとの前記欠陥画素数の加算情報が前記所定数を超える場合に、前記感度モードのうち、前記欠陥画素数の最も多い感度モードを特定し、
前記第１閾値変更部は、特定された前記感度モードの撮像信号に関して、前記第１閾値を変更し、
前記第２閾値変更部は、特定された前記感度モードの撮像信号に関して、前記第２変更量を用いて前記第２閾値を変更する請求項１６に記載の処理装置。
【請求項18】
前記第１検出処理部は、前記加算情報が前記所定数以下になるまで、特定された前記感度モードの前記撮像信号に関して、前記第１検出処理を繰り返し実行し、
前記第２検出処理部は、前記加算情報が前記所定数以下になるまで、特定された前記感度モードの前記撮像信号に関して、前記第２検出処理を繰り返し実行する請求項１７に記載の処理装置。
前記第２検出処理部は、前記加算情報が前記所定数以下になるまで、特定された前記感度モードの前記撮像信号に関して、前記第２検出処理を繰り返し実行する請求項１７に記載の処理装置。
【請求項19】
前記加算情報が前記所定数以下の場合に、前記第１欠陥画素の画素位置と前記第２欠陥画素の画素位置とを用いて、前記イメージセンサの欠陥画素の位置を示すアドレス情報を生成する生成部と、
前記アドレス情報を記憶する記憶部と、
前記記憶部に記憶された前記アドレス情報を用いて、前記イメージセンサに含まれる前記第１欠陥画素、及び前記第２欠陥画素の出力信号を補正する補正部と、
を更に備える請求項１に記載の処理装置。
前記アドレス情報を記憶する記憶部と、
前記記憶部に記憶された前記アドレス情報を用いて、前記イメージセンサに含まれる前記第１欠陥画素、及び前記第２欠陥画素の出力信号を補正する補正部と、
を更に備える請求項１に記載の処理装置。
【請求項20】
前記所定数は前記加算情報を前記記憶部に記憶することが可能なデータ数を示す請求項１９に記載の処理装置。
【請求項21】
請求項１乃至請求項２０のいずれか１項に記載の処理装置と、
前記処理装置から出力された信号に基づいた画像を表示部に表示させる表示制御を行う表示制御部を有する表示装置と、
を備える処理システム。
前記処理装置から出力された信号に基づいた画像を表示部に表示させる表示制御を行う表示制御部を有する表示装置と、
を備える処理システム。
【請求項22】
イメージセンサの各画素の出力信号から得た第１画素情報と第１閾値との比較により第１欠陥画素を検出する第１検出処理を行う工程と、
前記第１検出処理において、前記第１欠陥画素の第１検出数が所定数を超える場合に、前記第１閾値の初期値に対して所定の割合で設定された第１変更量を用いて前記第１閾値を変更する工程と、
前記出力信号から得た、前記第１画素情報とは異なる第２画素情報と、前記第１閾値の繰り返し変更回数と第２変更量とを用いて得た第２閾値との比較により、前記第１欠陥画素とは異なる第２欠陥画素を検出する工程と、
前記第１欠陥画素の前記第１検出数と前記第２欠陥画素の第２検出数との加算情報が前記所定数以下になるまで、前記第２閾値の初期値に対して所定の割合で設定された第２変更量を用いて前記第２閾値を変更する工程と、
を有する処理方法。
前記第１検出処理において、前記第１欠陥画素の第１検出数が所定数を超える場合に、前記第１閾値の初期値に対して所定の割合で設定された第１変更量を用いて前記第１閾値を変更する工程と、
前記出力信号から得た、前記第１画素情報とは異なる第２画素情報と、前記第１閾値の繰り返し変更回数と第２変更量とを用いて得た第２閾値との比較により、前記第１欠陥画素とは異なる第２欠陥画素を検出する工程と、
前記第１欠陥画素の前記第１検出数と前記第２欠陥画素の第２検出数との加算情報が前記所定数以下になるまで、前記第２閾値の初期値に対して所定の割合で設定された第２変更量を用いて前記第２閾値を変更する工程と、
を有する処理方法。
【請求項23】
コンピュータに、請求項２２に記載の処理方法を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
開示の技術は、処理装置、処理システム、処理方法及びプログラムに関する。
【背景技術】
【0002】
撮像装置は、イメージセンサ（例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサやＣＣＤ（Charge Coupled Device）イメージセンサ）を備え、このイメージセンサで光電変換を行うことにより画像を得ている。通常、イメージセンサに欠陥画素が含まれている場合には、映像として得られる画像は劣化し得る。その為、従来から、欠陥画素を検出し、欠陥画素を補正する画像処理が広く用いられている。
【0003】
特許文献１には、各画素の信号の出力値と閾値とを比較して閾値より高いまたは低い出力値のいずれかを判別し、判別された画素の数が所定数以下となるまで閾値を変化させて、判別される画素が所定数以下となるようにする技術が記載されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２００５－１２４０３６号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
昨今ではより高精細な画像を得るためにイメージセンサが有する画素数が増えている。それに比例して、イメージセンサにおける欠陥画素の数も増える傾向にある。しかしながら、欠陥画素と判断されたアドレスをメモリに記憶できるデータ量は有限であることから、欠陥画素と判断するには十分な精査が必要となり、その為の処理には多大な時間が必要となり得る。
【0006】
開示の技術は、係る従来の課題を解決するためになされたものであり、欠陥画素を検出する時間を短縮することを可能にする技術の提供を目的とする。
【課題を解決するための手段】
【0007】
開示の技術の一態様による処理装置は、イメージセンサの各画素の出力信号から得た第１画素情報と第１閾値との比較により第１欠陥画素を検出する第１検出処理を行う第１検出処理部と、
前記第１検出処理において、前記第１欠陥画素の第１検出数が所定数以下になるまで、前記第１閾値の初期値に対して所定の割合で設定された第１変更量を用いて前記第１閾値を繰り返し変更する第１閾値変更部と、
前記出力信号から得た、前記第１画素情報とは異なる第２画素情報と、前記第１閾値の繰り返し変更回数と第２変更量とを用いて得た第２閾値と、の比較により、前記第１欠陥画素とは異なる第２欠陥画素を検出する第２検出処理を行う第２検出処理部と、
前記第１欠陥画素の前記第１検出数と前記第２欠陥画素の第２検出数との加算情報が前記所定数以下になるまで、前記第２閾値の初期値に対して所定の割合で設定された第２変更量を用いて前記第２閾値を変更する第２閾値変更部と、備える。
前記第１検出処理において、前記第１欠陥画素の第１検出数が所定数以下になるまで、前記第１閾値の初期値に対して所定の割合で設定された第１変更量を用いて前記第１閾値を繰り返し変更する第１閾値変更部と、
前記出力信号から得た、前記第１画素情報とは異なる第２画素情報と、前記第１閾値の繰り返し変更回数と第２変更量とを用いて得た第２閾値と、の比較により、前記第１欠陥画素とは異なる第２欠陥画素を検出する第２検出処理を行う第２検出処理部と、
前記第１欠陥画素の前記第１検出数と前記第２欠陥画素の第２検出数との加算情報が前記所定数以下になるまで、前記第２閾値の初期値に対して所定の割合で設定された第２変更量を用いて前記第２閾値を変更する第２閾値変更部と、備える。
【発明の効果】
【0008】
開示の技術によれば、欠陥画素を検出する処理時間を短縮することができる。
【図面の簡単な説明】
【0009】
【図1】第１実施形態の処理装置の構成を示すブロック図。
【図2】第１実施形態の処理装置の構成を示すブロック図。
【図3】第２実施形態の処理装置の構成を示すブロック図。
【図4】第２実施形態の処理装置の変形例を示すブロック図。
【図5】第３実施形態の処理装置の構成を示すブロック図。
【図6】第１実施形態に係る欠陥画素の検出処理の流れを説明する図。
【図7】第２実施形態に係る欠陥画素の検出処理の流れを説明する図。
【図8】第３実施形態に係る欠陥画素の検出処理の流れを説明する図。
【図9】第３実施形態に係る欠陥画素の検出処理の流れを説明する図。
【図10】第３実施形態に係る欠陥画素の検出処理の流れを説明する図
【図11】複数フレーム平滑化部の処理を模式的に示す図。
【図12】複数フレーム和集合部の処理を模式的に示す図。
【図13】第１実施形態乃至第３実施形態の処理装置を含む処理システムの概略的な構成を示す図。
【発明を実施するための形態】
【0010】
以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
【0011】
（第１実施形態）
図１は、第１実施形態の処理装置の構成を示すブロック図である。図１において、１００はカメラヘッド、１１０はカメラコントロールユニット、１３０は表示装置である。また、図１３は、第１実施形態に係る処理装置を含む処理システムＳＴＭの概略的な構成を示す図である。なお、処理システムＳＴＭの構成は、後に説明する第２実施形態及び第３実施形態においても同様に適用することができる。処理装置１は、カメラヘッド１００と、カメラコントロールユニット１１０とを有する。表示装置１３０は、カメラコントロールユニット１１０から出力された信号を表示可能に構成されている。光源１３０１は所定の光を被写体Ｐに照射する。光源１３０１には、例えば、可視光を照射する白色光源や蛍光観察に用いる励起光を照射する励起光光源が含まれ得る。カメラヘッド１００は、被写体Ｐからの反射光を受光して撮像処理するように構成されている。カメラコントロールユニット１１０は、カメラヘッド１００から得た撮像信号を処理する他、光源１３０１の出力（照射タイミングや照射光の強度）を制御することも可能である。
図１は、第１実施形態の処理装置の構成を示すブロック図である。図１において、１００はカメラヘッド、１１０はカメラコントロールユニット、１３０は表示装置である。また、図１３は、第１実施形態に係る処理装置を含む処理システムＳＴＭの概略的な構成を示す図である。なお、処理システムＳＴＭの構成は、後に説明する第２実施形態及び第３実施形態においても同様に適用することができる。処理装置１は、カメラヘッド１００と、カメラコントロールユニット１１０とを有する。表示装置１３０は、カメラコントロールユニット１１０から出力された信号を表示可能に構成されている。光源１３０１は所定の光を被写体Ｐに照射する。光源１３０１には、例えば、可視光を照射する白色光源や蛍光観察に用いる励起光を照射する励起光光源が含まれ得る。カメラヘッド１００は、被写体Ｐからの反射光を受光して撮像処理するように構成されている。カメラコントロールユニット１１０は、カメラヘッド１００から得た撮像信号を処理する他、光源１３０１の出力（照射タイミングや照射光の強度）を制御することも可能である。
【0012】
（カメラヘッド１００）
カメラヘッド１００は、イメージセンサ１０１を有し、イメージセンサ１０１から出力された信号はカメラコントロールユニット１１０に入力される。イメージセンサ１０１としては、例えば、画素が二次元に配列された、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）を用いる場合を想定するが、ＣＣＤ（Charge Coupled Device）など他の撮像デバイスを用いてもよい。
カメラヘッド１００は、イメージセンサ１０１を有し、イメージセンサ１０１から出力された信号はカメラコントロールユニット１１０に入力される。イメージセンサ１０１としては、例えば、画素が二次元に配列された、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）を用いる場合を想定するが、ＣＣＤ（Charge Coupled Device）など他の撮像デバイスを用いてもよい。
【0013】
（カメラコントロールユニット１１０）
カメラコントロールユニット１１０は、カメラヘッド１００から入力された信号（以下、撮像信号ともいう）を処理する信号処理部１１１と、信号処理部１１１で処理された情報を取得し、外部に出力する伝送部１２３（出力部）と、信号処理部１１１で処理された情報を記憶する記憶部１２２と、を有する。記憶部１２２は、信号処理部１１１で処理された情報を記憶する他に、操作部を介して、ユーザから設定された情報を記憶することが可能である。記憶部１２２は、情報の入力（書き込み）及び出力（読出し）が可能な種々のメモリを用いることが可能であり、例えば、ＲＡＭ（Random Access Memory）であってもよい。
カメラコントロールユニット１１０は、カメラヘッド１００から入力された信号（以下、撮像信号ともいう）を処理する信号処理部１１１と、信号処理部１１１で処理された情報を取得し、外部に出力する伝送部１２３（出力部）と、信号処理部１１１で処理された情報を記憶する記憶部１２２と、を有する。記憶部１２２は、信号処理部１１１で処理された情報を記憶する他に、操作部を介して、ユーザから設定された情報を記憶することが可能である。記憶部１２２は、情報の入力（書き込み）及び出力（読出し）が可能な種々のメモリを用いることが可能であり、例えば、ＲＡＭ（Random Access Memory）であってもよい。
【0014】
（信号処理部１１１）
カメラヘッド１００から入力された信号は信号処理部１１１に入力される。信号処理部１１１は、欠陥画素補正部１１２と、欠陥画素検出部１１３とを有し、入力された信号は、欠陥画素検出部１１３と欠陥画素補正部１１２とにそれぞれ入力される。欠陥画素検出部１１３は、入力された信号に基づいて、イメージセンサ１０１に含まれる欠陥画素を検出する処理を行い、欠陥画素補正部１１２は、欠陥画素検出部１１３で検出された欠陥画素における出力信号を補正する処理を行う。
カメラヘッド１００から入力された信号は信号処理部１１１に入力される。信号処理部１１１は、欠陥画素補正部１１２と、欠陥画素検出部１１３とを有し、入力された信号は、欠陥画素検出部１１３と欠陥画素補正部１１２とにそれぞれ入力される。欠陥画素検出部１１３は、入力された信号に基づいて、イメージセンサ１０１に含まれる欠陥画素を検出する処理を行い、欠陥画素補正部１１２は、欠陥画素検出部１１３で検出された欠陥画素における出力信号を補正する処理を行う。
【0015】
（欠陥画素検出部１１３）
欠陥画素検出部１１３は、複数フレーム平滑化部１１４、複数フレーム和集合部１１５、第一の欠陥画素検出部１１７、第二の欠陥画素検出部１１６及び検出アドレス生成部１２１を有する。
欠陥画素検出部１１３は、複数フレーム平滑化部１１４、複数フレーム和集合部１１５、第一の欠陥画素検出部１１７、第二の欠陥画素検出部１１６及び検出アドレス生成部１２１を有する。
【0016】
所定のフレームレートで信号処理部１１１に入力された信号は、複数フレーム平滑化部１１４と複数フレーム和集合部１１５に入力される。例えば、フレームレートをＮ（ｆｐｓ:flame per second）とすると、複数フレームとして、Ｎフレームの信号（撮像信号）が複数フレーム平滑化部１１４と複数フレーム和集合部１１５とに入力される。
【0017】
（複数フレーム平滑化部１１４）
図１１は、複数フレーム平滑化部１１４の処理を模式的に示す図である。複数フレーム平滑化部１１４は、複数フレーム（例えば、Ｎフレーム）にわたって各画素から出力される画素情報を平滑した平滑化画像を生成し、生成した平滑化画像を第一の欠陥画素検出部１１７に出力する。
図１１は、複数フレーム平滑化部１１４の処理を模式的に示す図である。複数フレーム平滑化部１１４は、複数フレーム（例えば、Ｎフレーム）にわたって各画素から出力される画素情報を平滑した平滑化画像を生成し、生成した平滑化画像を第一の欠陥画素検出部１１７に出力する。
【0018】
複数フレーム平滑化部１１４は、入力された複数フレームについて、各画素から出力される画素情報（例えば、画素値）の加算平均をとった画素情報を取得する。そして、複数フレーム平滑化部１１４は、加算平均をとった画素情報を平滑化画素情報として取得し、各画素位置において取得した平滑化画素情報を一つのフレームに設定した平滑化画像を取得（生成）する。そして、複数フレーム平滑化部１１４は、取得した平滑化画像を第一の欠陥画素検出部１１７検出部に出力する。
【0019】
例えば、図１１において、ｉ番目のフレーム（Ｆｉ）の画素位置（ｘ、ｙ）における画素情報をＰｉとする。複数フレーム平滑化部１１４は、複数のフレーム（Ｆ１～Ｆｎ）における画素位置（ｘ、ｙ）の画素情報（Ｐ１～Ｐｎ）を取得し、画素情報（Ｐ１～Ｐｎ）の加算平均をとった画像情報Ｐａｖｅ（ｘ、ｙ）を、画素位置（ｘ、ｙ）おける平滑化画素情報として取得する。そして、複数フレーム平滑化部１１４は、平滑化画素情報を一つのフレームに配置した平滑化画像１１０１を取得する。
【0020】
複数フレームにおいて、ノイズ成分が、高いフレームもあれば、低いフレームも含まれるが、ある画素が欠陥画素でなければ、最終的には、平滑化画素情報は、所定の範囲内のレベルに収束していく。
【0021】
しかしながら、ある画素が欠陥画素であれば、画素の欠陥（傷）の影響による信号レベルがオフセットされるため、加算平均をとった場合に、その欠陥画素だけ、信号レベルが高くなったり、あるいは、信号レベルが低くなったりする。
【0022】
後述する第一の欠陥画素検出部１１７では、平滑化画像１１０１における各画素の平滑化画素情報と、閾値（第１閾値）との比較により、欠陥画素を検出する。
【0023】
複数フレーム平滑化部１１４で、複数フレームにおける平滑化画像を取得することにより、例えば、信号レベルが高く、常時輝点として存在するような欠陥画素を、後述する第一の欠陥画素検出部１１７で検出し易くすることができる。
【0024】
（複数フレーム和集合部１１５）
図１２は、複数フレーム和集合部１１５（以下、最大画素値取得部ともいう）の処理を模式的に示す図である。複数フレーム和集合部１１５は、イメージセンサ１０１から出力される各画素の画像情報（例えば、画素値）を複数フレームにわたって取得し、各画素の画像情報の最大値を各画素の画素位置に設定した、一つのフレームの最大画素情報画像（以下、最大画素値画像ともいう）を取得（生成）する。そして、複数フレーム和集合部１１５は、取得した最大画素情報画像を第二の欠陥画素検出部１１６検出部に出力する。
図１２は、複数フレーム和集合部１１５（以下、最大画素値取得部ともいう）の処理を模式的に示す図である。複数フレーム和集合部１１５は、イメージセンサ１０１から出力される各画素の画像情報（例えば、画素値）を複数フレームにわたって取得し、各画素の画像情報の最大値を各画素の画素位置に設定した、一つのフレームの最大画素情報画像（以下、最大画素値画像ともいう）を取得（生成）する。そして、複数フレーム和集合部１１５は、取得した最大画素情報画像を第二の欠陥画素検出部１１６検出部に出力する。
【0025】
例えば、図１２において、ｉ番目のフレーム（Ｆｉ）の画素位置（ｘ、ｙ）における画素情報をＰｉとする。複数フレーム和集合部１１５は、複数フレームにわたって、画素位置（ｘ、ｙ）の画素情報（Ｐ１～Ｐｎ）を比較する。そして、複数フレーム和集合部１１５は、ｉ番目のフレーム（Ｆｉ）の画素情報（Ｐｉ）が最大値の場合に、ｉ番目のフレーム（Ｆｉ）の画素位置（ｘ、ｙ）における画素情報（Ｐｉ）を、最大画素情報Ｐｍａｘ（ｘ、ｙ）として設定する。複数フレーム和集合部１１５は、他の画素位置においても同様に、画像情報の比較を行い、各画素位置に、最大画素情報Ｐｍａｘを設定した、一つのフレームの最大画素情報画像１２０１を取得する。
【0026】
後述する第二の欠陥画素検出部１１６では、最大画素情報画像１２０１における各画素の最大画素情報と、閾値（第２閾値）との比較により、欠陥画素を検出する。
【0027】
複数フレーム和集合部１１５で、複数フレームにおける最大画素情報画像を取得することにより、例えば、複数フレームのうち最も信号レベルが高く、任意の時間で点滅するような欠陥画素を、後述する第二の欠陥画素検出部１１６で検出し易くすることができる。
【0028】
（第一の欠陥画素検出部１１７）
第一の欠陥画素検出部１１７は、閾値設定変更部１１９ａ（以下、第一の閾値設定変更部ともいう）と、検出処理部１２０ａ（以下、第一の検出処理部ともいう）とを有する。
第一の欠陥画素検出部１１７は、閾値設定変更部１１９ａ（以下、第一の閾値設定変更部ともいう）と、検出処理部１２０ａ（以下、第一の検出処理部ともいう）とを有する。
【0029】
第一の欠陥画素検出部１１７は、入力された信号（各画素の平滑化画素情報）と閾値（第１閾値）との比較により欠陥画素を検出し、欠陥画素の検出結果を検出アドレス生成部１２１に出力する。
【0030】
検出処理部１２０ａ（第一の検出処理部）は、イメージセンサ１０１の各画素の出力信号から得た第１画素情報（平滑化画素情報）が第１閾値ＴＨＡを超える画素を第１欠陥画素として検出する第１検出処理を行う。第１欠陥画素は、例えば、常時輝点として存在する欠陥画素であり、後の説明では、欠陥画素Ａともいう。
【0031】
閾値設定変更部１１９ａ（第一の閾値設定変更部）は、第１閾値を変更した第１検出処理により、第１欠陥画素の第１検出数ＮＡが所定数以下になるまで第１閾値の設定を繰り返し変更する。
【0032】
ここで、第１閾値の変更は、初期値の第１閾値をＴＨＡ、１回の変更における閾値の変更量をΔＴＡとし、変更を繰り返した回数をＮ１とすると、繰り返しをＮ１回繰り返した場合に、Ｎ１回分の第１閾値の累積変更量はΔＴＡ×Ｎ１となる。
【0033】
このとき、第１閾値は、以下の（１）式により表すことができる。
【0034】
ＴＨＡ＝ＴＨＡ（初期値）＋ΔＴＡ×Ｎ１ （１）
ここで、第１閾値の変更量ΔＴＡは、第１閾値ＴＨＡ（初期値）に対して、所定の割合（例えば、第１閾値ＴＨＡ（初期値）のｍ１％等）に設定することができる。
ここで、第１閾値の変更量ΔＴＡは、第１閾値ＴＨＡ（初期値）に対して、所定の割合（例えば、第１閾値ＴＨＡ（初期値）のｍ１％等）に設定することができる。
【0035】
記憶部１２２（ＲＡＭ）において、記憶可能な欠陥画素のアドレス情報を記憶可能な検出数をＳ１とする。閾値設定変更部１１９ａは、第１閾値を変更した第１検出処理により検出された欠陥画像の検出数である第１検出数ＮＡが所定数以下（Ｓ１以下）になるまで、第１閾値の設定を繰り返し変更する。
【0036】
（第二の欠陥画素検出部１１６）
第二の欠陥画素検出部１１６は、閾値設定変更部１１９ｂ（以下、第２の閾値変更部ともいう）と、検出処理部１２０ｂ（以下、第２の検出処理部ともいう）とを有する。
第二の欠陥画素検出部１１６は、閾値設定変更部１１９ｂ（以下、第２の閾値変更部ともいう）と、検出処理部１２０ｂ（以下、第２の検出処理部ともいう）とを有する。
【0037】
第二の欠陥画素検出部１１６は、入力した信号（各画素の最大画素情報）と閾値（第２閾値）との比較により欠陥画素を検出し、欠陥画素の検出結果を検出アドレス生成部１２１に出力する。
【0038】
検出処理部１２０ｂ（第２の検出処理部）は、イメージセンサ１０１の出力信号から得た、第１画素情報（平滑化画素情報）とは異なる第２画素情報（最大画素情報）が、第１閾値の変更情報(ΔＴＡ×Ｎ１）を用いて得た第２閾値ＴＨＢを超える画素を、第１欠陥画素とは異なる第２欠陥画素として検出する第２検出処理を行う。第２欠陥画素は、例えば、任意の時間で点滅する欠陥画素であり、後の説明では、欠陥画素Ｂともいう。
【0039】
閾値設定変更部１１９ｂ（第２の閾値変更部）は、第１閾値ＴＨＡを更に変更（ＴＨＡ＋ΔＴＡ）した第１検出処理により得られた第１検出数（ＮＡ_Ａ）と、第２閾値ＴＨＢに変更量ΔＴＢを更に加算して第２閾値ＴＨＢを変更（ＴＨＢ＋ΔＴＢ）した第２検出処理により得られた第２検出数（ＮＢ_Ｂ）と、の加算情報（総欠陥画素数）が所定数以下（例えば、所定数Ｓ２以下）になるまで第２閾値の設定を繰り返し変更する。
【0040】
ここで、第２閾値の変更は、初期値の第２閾値をＴＨＢ、１回の変更における閾値の変更量をΔＴＢ、変更を繰り返した回数をＮ２とすると、繰り返しをＮ２回繰り返した場合に、Ｎ２回分の第２閾値の変更量はΔＴＢ×Ｎ２となる。
【0041】
このとき、第２閾値は、以下の（２）式により表すことができる。
【0042】
ＴＨＢ＝ＴＨＢ（初期値）＋ΔＴＢ×Ｎ２ （２）
第２閾値の変更量ΔＴＢは、第２閾値ＴＨＢ（初期値）に対して、所定の割合（例えば、第２閾値ＴＨＢ（初期値）のｍ２％等）に設定することができる。また、記憶部１２２（ＲＡＭ）において、記憶可能な欠陥画素のアドレス情報を記憶可能な検出数を所定数Ｓ２（≦Ｓ１）とする。
第２閾値の変更量ΔＴＢは、第２閾値ＴＨＢ（初期値）に対して、所定の割合（例えば、第２閾値ＴＨＢ（初期値）のｍ２％等）に設定することができる。また、記憶部１２２（ＲＡＭ）において、記憶可能な欠陥画素のアドレス情報を記憶可能な検出数を所定数Ｓ２（≦Ｓ１）とする。
【0043】
閾値設定変更部１１９ｂは、第２閾値を変更した第２検出処理により検出された欠陥画像の検出数である第２検出数ＮＢ_Ｂと、第１閾値ＴＨＡを更に変更（ＴＨＡ＋ΔＴＡ）した第１検出処理により得られた欠陥画像の検出数である第１検出数ＮＡ_Ａと、を加算した総欠陥画素数が、記憶部１２２でアドレス情報を記憶可能な検出数Ｓ２以下になるまで、第２閾値の設定と変更を繰り返す。
【0044】
欠陥画素の感度を揃えるために、閾値設定変更部１１９ｂで、第２閾値ＴＨＢが変更されて第２検出処理が繰り返された場合に、閾値設定変更部１１９ａで、第１閾値ＴＨＡが変更されて第１検出処理が繰り返される。
【0045】
第１閾値ＴＨＡ、及び第２閾値ＴＨＢが、それぞれ変更されて大きくなることにより、各閾値を超えて検出される総欠陥画素数は低下していく。欠陥画素の感度を揃えるために、第１閾値ＴＨＡ、及び第２閾値ＴＨＢは連携して変更される。検出された全ての欠陥画素のアドレス情報が、記憶部１２２に記憶可能な検出数Ｎｍａｘ以下に収束するまで、第１閾値ＴＨＡ、及び第２閾値ＴＨＢの設定変更と、第１検出処理及び第２検出処理と、は繰り返えされる。
【0046】
記憶部１２２（ＲＡＭ）は、検出アドレス生成部１２１で生成された欠陥画素と判断された画素のアドレス情報を記憶する。
【0047】
欠陥画素補正部１１２は、イメージセンサ１０１から出力される信号に対して、欠陥画素検出部１１３から出力される欠陥画素の検出結果（アドレス情報）をもとに信号を補正する。欠陥画素補正部１１２による欠陥画素の補正処理は、欠陥画素として検出された画素の画素情報（画素値）を周辺の正常画素の画素情報（画素値）を用いて補間したり、所定のオフセット値を減算したりする処理であってもよい。欠陥画素補正部１１２は補正した信号を伝送部１２３に出力する。
【0048】
信号処理部１１１から出力される映像信号は、伝送部１２３を経由してカメラコントロールユニット１１０の出力信号として出力され、表示装置１３０に入力されて表示される。
【0049】
（表示装置１３０の構成）
本実施形態のカメラコントロールユニット１１０は、伝送部１２３を介して表示装置１３０と接続している。表示装置１３０は、表示部１３１、表示制御部１３２及び操作部１３３を有する。表示部１３１は、例えば、液晶ディスプレイや有機ＥＬディスプレイなどで構成される。
本実施形態のカメラコントロールユニット１１０は、伝送部１２３を介して表示装置１３０と接続している。表示装置１３０は、表示部１３１、表示制御部１３２及び操作部１３３を有する。表示部１３１は、例えば、液晶ディスプレイや有機ＥＬディスプレイなどで構成される。
【0050】
表示制御部１３２は、カメラコントロールユニット１１０から取得した出力信号を含む各種情報を表示部１３１に表示させる表示制御を行う。例えば、表示制御部１３２は、カメラコントロールユニット１１０から取得した出力信号に基づいて、カメラヘッド１００で撮像された画像情報を表示部１３１に表示させる表示制御を行う。
【0051】
また、操作部１３３は、例えば、ダイヤルやマウスや操作ボタンなどで構成され、ユーザからの各種指示を入力する。表示部１３１と操作部１３３は、それらが一体となったタッチパネルとして実現されてもよい。
【0052】
表示制御部１３２は、操作部１３３を介したユーザの入力により、カメラコントロールユニット１１０に対する外部設定のパラメータを設定するための画面（ユーザインタフェース画面）を表示部１３１に表示させる表示制御を行うことも可能である。外部設定のパラメータには、例えば、閾値の初期値（第１閾値ＴＨＡや第２閾値ＴＨＢ）、閾値の変更量の割合（第１閾値ＴＨＡ（初期値）のｍ１％、第２閾値ＴＨＢ（初期値）のｍ１％）等が含まれ、ユーザは、操作部１３３を介して、各種パラメータを設定することができる。
【0053】
（欠陥画素と閾値の関係）
次に、欠陥画素検出部１１３と閾値について説明する。欠陥画素とは、被写体に依らず固定レベルの信号が加算されて出力される画素、または均一な光量に対して出力が所定レベルとは異なる画素など、正常な信号を出力しない画素である。
次に、欠陥画素検出部１１３と閾値について説明する。欠陥画素とは、被写体に依らず固定レベルの信号が加算されて出力される画素、または均一な光量に対して出力が所定レベルとは異なる画素など、正常な信号を出力しない画素である。
【0054】
そのため、欠陥画素検出部１１３（第一の欠陥画素検出部１１７、第二の欠陥画素検出部１１６）において、例えば、画素からの出力が所定レベルよりも大きくなる輝点を対象とする場合、設定する閾値を上げるほど、信号レベルの低い欠陥画素を検出し難くなり得る。その結果、欠陥画素の検出画素数が減少していく。
【0055】
表示装置１３０に表示する出力画像において欠陥画素と認識されないようにするため、できるだけ多くの欠陥画素を検出できるように、閾値をできるだけ低く設定することが求められる。一方で、記憶部１２２のメモリ領域は有限であり、閾値を低く設定すると、欠陥画素として検出される画素が所定数以上となり、記憶部１２２に記憶する検出された欠陥画素のアドレス情報が記憶部１２２のメモリ領域を超えてしまう場合も生じ得る。その場合にはメモリ領域を超えない範囲内で、より多くの欠陥画素が検出できるように閾値を設定することが求められている。
【0056】
なお、上述した欠陥画素は、画素からの出力信号が所定レベルよりも大きくなる輝点に限れられず、画素からの出力信号が所定レベルよりも小さい黒点を対象としてもよく、その場合は閾値を高く設定すると欠陥画素として検出される欠陥画素の検出画素数は増加し得る。このため、欠陥画素として、黒点を対象とする場合には、リピート時における閾値は所定の変更量を減算して、下げる閾値の設定を下げるように変更すればよい。
【0057】
（欠陥画素の種類に応じた検出）
次に、欠陥画素の種類に応じた欠陥画素検出部１１３の処理について説明する。遮光状態のイメージセンサ１０１の各画素の撮像信号において、種類の異なる欠陥画素Ａ（以下、第１欠陥画素ともいう）、欠陥画素Ｂ（以下、第２欠陥画素ともいう）が存在しているものとする。例えば、欠陥画素Ａを常時輝点として存在する欠陥画素とし、欠陥画素Ｂを任意の時間で点滅するような欠陥画素とする。
次に、欠陥画素の種類に応じた欠陥画素検出部１１３の処理について説明する。遮光状態のイメージセンサ１０１の各画素の撮像信号において、種類の異なる欠陥画素Ａ（以下、第１欠陥画素ともいう）、欠陥画素Ｂ（以下、第２欠陥画素ともいう）が存在しているものとする。例えば、欠陥画素Ａを常時輝点として存在する欠陥画素とし、欠陥画素Ｂを任意の時間で点滅するような欠陥画素とする。
【0058】
本実施形態の第一の欠陥画素検出部１１７は、先に説明した、検出処理部１２０ａと閾値設定変更部１１９ａとを有し、複数フレーム平滑化部１１４により生成された平滑化画像１１０１を入力して、平滑化画像１１０１における各画素の平滑化画素情報（画素値）と第１閾値ＴＨＡとを比較して、欠陥画素Ａ（第１欠陥画素）を検出する処理（以下、第１検出処理ともいう）を行う。
【0059】
第二の欠陥画素検出部１１６は、先に説明した、検出処理部１２０ｂと閾値設定変更部１１９ｂとを有し、複数フレーム和集合部１１５により生成された最大画素情報画像１２０１を入力して、最大画素情報画像１２０１における各画素の最大画素情報（画素値）と第２閾値ＴＨＢとを比較して、欠陥画素Ｂ（第２欠陥画素）を検出する処理（以下、第２検出処理ともいう）を行う。
【0060】
欠陥画素の出力レベルは映像出力としてそのままのレベルで出力されるわけではなく、その他様々な画像処理の設定（例えば、ゲイン処理または輪郭強調処理など）に影響され得る。また、欠陥画素として、人が視認できるレベルも環境により異なる（例えば、Ｒ（赤）Ｇ（緑）Ｂ（青）などの色情報によっても視認レベルは変わる）。このような視認性と欠陥画素との関係をここでは感度と呼ぶ。
【0061】
信号として欠陥画素と判断される感度を同等にするため、第１検出処理、第２検出処理に用いる閾値ＴＨＡ、閾値ＴＨＢは、感度が同等になるように設定する必要がある。そのため、第一の欠陥画素検出部１１７による第１検出処理を行った際に、欠陥画素Ａの検出数が記憶部１２２にデータを記憶することが可能な上限のデータ数（以下、所定数と表現する）を超えて欠陥画素Ａが取得された場合に、閾値ＴＨＡを一定量変化させて、第一の欠陥画素検出部１１７による第１検出処理を再度行う事となるが、その際、感度を同等に保つために、閾値ＴＨＢも一定量変化させて、第二の欠陥画素検出部１１６による第２検出処理を行う必要がある。
【0062】
【0063】
ステップＳ２０１において、欠陥画素の検出処理を繰り返すリピート回数Ｎ１を０に初期化する。ここで、第１閾値ＴＨＡ、第２閾値ＴＨＢの初期値、閾値の変更量ΔＴＡ、ΔＴＢを設定してもよい。これらのパラメータは、予め記憶部１２２に記憶しておいてもよいし、操作部１３３を介してユーザが設定してもよい。
【0064】
ステップＳ２０２において、検出処理部１２０ａ（第一の検出処理部）は、第１検出処理を実行し、欠陥画素Ａの欠陥画素数ＮＡ及び、検出した欠陥画素Ａの位置情報を取得する。
【0065】
ステップＳ２０３において、閾値設定変更部１１９ａ（第一の閾値設定変更部）は、ステップＳ２０２で検出された欠陥画素数ＮＡが所定数Ｓ１を超えているかどうかを判断する。欠陥画素数ＮＡが所定数Ｓ１を超えている場合（Ｓ２０３－ＮＯ）、処理をステップＳ２０４へ進める。ここで、所定数Ｓ1は、記憶部１２２にデータを記憶することが可能な上限のデータ数である。
【0066】
ステップＳ２０４において、閾値設定変更部１１９ａは、第１検出処理において、第１欠陥画素の第１検出数が所定数以下になるまで、第１閾値の初期値に対して所定の割合で設定された第１変更量（ΔＴＡ）を用いて第１閾値を繰り返し変更する。閾値設定変更部１１９ａは第１閾値ＴＨＡに変更量ΔＴＡを加算して第１閾値ＴＨＡの設定を上げる。
【0067】
ステップＳ２０５において、閾値設定変更部１１９ａはリピート回数Ｎ１のカウントを１上げる(Ｎ１＝Ｎ１＋１)。その後、処理をステップＳ２０２に戻し、検出処理部１２０ａは、第１検出処理を再度実行する。ステップＳ２０３で欠陥画素数ＮＡが所定数Ｓ１以下になるまで（Ｓ２０３－ＹＥＳ）、ステップＳ２０２からステップＳ２０５を繰り返し行う。
【0068】
ステップＳ２０３において、閾値設定変更部１１９ａは、欠陥画素数ＮＡが所定数Ｓ１以下の場合（Ｓ２０３－ＹＥＳ）、処理をステップＳ２０６へ進める。
【0069】
ステップＳ２０６において、閾値設定変更部１１９ｂ（第二の閾値設定変更部）は、第１検出処理で行ったリピート回数Ｎ１(リピート回数Ｎ１）と、１回の繰り返しにおける第２閾値の変更量ΔＴＢとを用いた変更量（リピート回数Ｎ１×ΔＴＢ）を第２閾値ＴＨＢに加算して、第２閾値ＴＨＢの設定を変更する。
【0070】
第１検出処理で行ったリピート回数Ｎ１を用いて第２閾値ＴＨＢを設定することにより、検出処理部１２０ｂによる欠陥画素の検出処理において、第２閾値ＴＨＢの累積変更量に相当する第２検出処理の回数を低減することができる。また、第１検出処理で行ったリピート回数Ｎ１を用いて第２閾値ＴＨＢを設定することにより、欠陥画素と判断するための感度を第１閾値ＴＨＡに揃えることができる。
【0071】
その後、ステップＳ２０７において、検出処理部１２０ｂ（第二の検出処理部）は、第２検出処理を実行し、欠陥画素Ｂの欠陥画素数ＮＢ及び、検出した欠陥画素Ｂの位置情報を取得する。
【0072】
ステップＳ２０８では、閾値設定変更部１１９ｂは、検出処理部１２０ｂにより検出された欠陥画素Ｂの欠陥画素数ＮＢと、検出処理部１２０ａにより検出された欠陥画素Ａの欠陥画素数ＮＡとを加算した総欠陥画素数を取得する。第一の欠陥画素検出部１１７、及び第二の欠陥画素検出部１１６は、相互に通信可能に接続されており、閾値の設定や欠陥画素の検出結果を相互に共有することが可能である。
【0073】
ステップＳ２０９において、閾値設定変更部１１９ｂは、ステップＳ２０８で取得した総欠陥画素数が所定数Ｓ２を超えているかを判断する。総欠陥画素数が所定数Ｓ２を超えている場合（Ｓ２０９－ＮＯ）、処理をステップＳ２１０に進める。ここで、所定数Ｓ２は、記憶部１２２にデータを記憶することが可能な上限のデータ数（所定数Ｓ１）以下であれば、所定数Ｓ１と同一であってもよいし、所定数Ｓ１より小さくてもよい。
【0074】
ステップＳ２１０において、閾値設定変更部１１９ａは、１回の繰り返しにおける第１閾値の変更量（ΔＴＡ）を第１閾値ＴＨＡに加算して、第１閾値ＴＨＡの設定を変更する。
【0075】
ステップＳ２１１において、検出処理部１２０ａは、第１検出処理を実行し、欠陥画素Ａの欠陥画素数ＮＡ及び、検出した欠陥画素Ａの位置情報を取得する。
【0076】
ステップＳ２１２において、閾値設定変更部１１９ｂは、第２閾値の初期値に対して所定の割合で設定された第２変更量（ΔＴＢ）を用いて前記第２閾値を変更する。閾値設定変更部１１９ｂは、１回の繰り返しにおける第２閾値の変更量ΔＴＢを第２閾値ＴＨＢに加算して、第２閾値ＴＨＢの設定を変更する。
【0077】
ステップＳ２１３において、検出処理部１２０ｂ（第二の検出処理部）は、第２検出処理を実行し、欠陥画素Ｂの欠陥画素数ＮＢ及び、検出した欠陥画素Ｂの位置情報を取得する。
【0078】
ステップＳ２０９で総欠陥画素数が所定数Ｓ２以下になるまで、ステップＳ２０８からステップＳ２１３を繰り返し行う。
【0079】
ステップＳ２０９において、閾値設定変更部１１９ｂは、ステップＳ２０８で取得した総欠陥画素数が所定数Ｓ２を超えているかを判断し、総欠陥画素数が所定数Ｓ２以下である場合（Ｓ２０９―ＹＥＳ）、処理をステップＳ２１４に進める。
【0080】
ステップＳ２１４において、検出アドレス生成部１２１は、検出処理部１２０ａで検出された欠陥画素Ａの位置情報と、検出処理部１２０ｂで検出された欠陥画素Ｂの位置情報とを取得し、欠陥画素Ａの位置情報及び欠陥画素Ｂの位置情報を合わせたアドレス情報を生成する。
【0081】
検出アドレス生成部１２１は、検出処理部１２０ａから取得した位置情報の欠陥画素Ａの種類と、検出処理部１２０ｂから取得した位置情報の欠陥画素Ｂの種類とを識別できるように、欠陥画素の種類を示す識別情報をアドレス情報に付与してもよい。
【0082】
アドレス情報において、識別情報を参照することにより、欠陥画素補正部１１２では、欠陥画素Ａ（常時輝点として存在する欠陥画素）であるか、欠陥画素Ｂ（任意の時間で点滅する欠陥画素）であるかを識別することができる。
【0083】
ステップＳ２１５において、欠陥画素補正部１１２は、ステップＳ２１４で生成されたアドレス情報を取得して、欠陥画素の位置を特定する。そして、欠陥画素補正部１１２は、欠陥画素として検出された画素の出力信号を補正して、処理を終了とする。なお、欠陥画素の出力信号を補正する際に、欠陥画素補正部１１２は、識別情報を参照して欠陥画素の種類を識別し、欠陥画素の種類に応じて欠陥画素の出力信号を補正してもよい。
【0084】
なお、図６の処理フローでは、欠陥画素として、輝点が発生した際のフローを説明したが、欠陥画素として、黒点の場合も同様の処理フローとなる。その際のリピート時における閾値は所定の変更量（ΔＴＡ、ΔＴＢ）を減算して、閾値（第１閾値ＴＨＡ、第２閾値ＴＨＢ）の設定を下げるように変更するものとすればよく、被写体へ照射する光は均一光とすればよい。
【0085】
従来技術では、総欠陥画素検出数が所定数Ｓ２を超えていた際には、総欠陥画素検出数が所定数Ｓ２以下となるまで、第一の欠陥画素検出部１１７、及び第二の欠陥画素検出部１１６における処理を、同一の閾値変更量Δを用いて繰り返し実施していた。
【0086】
ここで、従来技術と同じように、同一の閾値変更量Δを用いて、複数フレーム平滑化部１１４によって取得した画像に対して第１検出処理を実行するために要する時間をＴＡとし、複数フレーム和集合部１１５によって第２検出処理を実行するために要する時間をＴＢとする。そして、リピート回数をＮｒｅｐ回とすると、総欠陥画素数が所定数Ｓ２以下になるまでに要する時間Ｔ１は、以下の（３）式で表すことができる。
【0087】
Ｔ１＝（ＴＡ＋ＴＢ）×Ｎｒｅｐ （３）
第１実施形態における欠陥検出処理では、第１検出処理により検出された欠陥画素検出数が所定数Ｓ１を超えた際、第一の欠陥画素検出部１１７による第１検出処理を欠陥画素検出数が所定数Ｓ１以下となるまで繰り返し行い、繰り返した回数（リピート回数）Ｎ１を取得する。
第１実施形態における欠陥検出処理では、第１検出処理により検出された欠陥画素検出数が所定数Ｓ１を超えた際、第一の欠陥画素検出部１１７による第１検出処理を欠陥画素検出数が所定数Ｓ１以下となるまで繰り返し行い、繰り返した回数（リピート回数）Ｎ１を取得する。
【0088】
そして、第二の欠陥画素検出部１１６が第２検出処理を行う際には、第２閾値ＴＨＢを、第２閾値ＴＨＢの累積変更量（ΔＴＢ×Ｎ１）の相当分上げた状態で、第二の欠陥画素検出部１１６は第２検出処理を開始する。これにより、第二の欠陥画素検出部１１６では、第２閾値ＴＨＢの累積変更量に相当する第２検出処理の回数を低減することができる。本実施形態における欠陥画素の検出処理において、第一の欠陥画素検出部１１７と第二の欠陥画素検出部１１６とを組み合わせた欠陥画素の検出に要する時間Ｔ２は、以下の（４）式で表すことができる。
【0089】
Ｔ２＝ＴＡ×Ｎ１＋（ＴＡ＋ＴＢ）×Ｎ２ （４）
ここで、第一の欠陥画素検出部１１７を行う際、所定数Ｓ１を所定数Ｓ２以上に設定する（Ｓ１≧Ｓ２）と、リピート回数Ｎ１は、従来技術のリピート回数Ｎ回以下（Ｎ１≦Ｎ）となる。
ここで、第一の欠陥画素検出部１１７を行う際、所定数Ｓ１を所定数Ｓ２以上に設定する（Ｓ１≧Ｓ２）と、リピート回数Ｎ１は、従来技術のリピート回数Ｎ回以下（Ｎ１≦Ｎ）となる。
【0090】
第二の欠陥画素検出部１１６において、第２検出処理を開始の際の第２閾値ＴＨＢは、第２検出処理をＮ１回行った値（＝変更量ΔＴＢ×Ｎ１）と同じものとなる。総欠陥画素検出数が所定数Ｓ２以下となる際の総リピート回数Ｎｓｕｍは、次の（５）式の関係が成り立つ。
【0091】
Ｎｓｕｍ＝Ｎ１＋Ｎ２ （５）
第１実施形態によれば、第一の欠陥画素検出部１１７でリピートを行った回数Ｎ１回分、第二の欠陥画素検出部１１６における第２検出処理を行う回数を削減できることから、Ｔ２≦Ｔ１となり、トータルの欠陥検出時間を短くすることが出来る。
第１実施形態によれば、第一の欠陥画素検出部１１７でリピートを行った回数Ｎ１回分、第二の欠陥画素検出部１１６における第２検出処理を行う回数を削減できることから、Ｔ２≦Ｔ１となり、トータルの欠陥検出時間を短くすることが出来る。
【0092】
なお、本実施形態は上述した実施形態の構成に限定されるものではなく、要旨を逸脱しない範囲で構成要素を変形して具体化することが可能である。
【0093】
また、本実施形態では、欠陥画素の種類を例示的に、欠陥画素Ａ、欠陥画素Ｂの２種類について説明したが、本実施形態の構成は、２種類の欠陥画素に限定されるものではなく、２種類以上の欠陥画素の種類においても同様に本実施形態における欠陥画素の検出処理を適用することができる。
【0094】
図２は、第１実施形態の処理装置の変形例の構成を示すブロック図である。図２に示すように、複数フレーム平滑化部１１４及び第一の欠陥画素検出部１１７と、複数フレーム和集合部１１５及び第二の欠陥画素検出部１１６と、の組み合わせを、欠陥画素検出部１１３の内部にＮｓｅｔ以上（Ｎｓｅｔ≧２）設けることにより、種々の欠陥画素の種類に対応した処理を行うことが可能である。
【0095】
（第２実施形態）
図３は第２実施形態の構成を示すブロック図である。第２実施形態のカメラヘッド１００は、イメージセンサＲ１０２、イメージセンサＧ１０３、イメージセンサＢ１０４を有し、各イメージセンサから信号が出力され、信号処理部１１１に入力している。
図３は第２実施形態の構成を示すブロック図である。第２実施形態のカメラヘッド１００は、イメージセンサＲ１０２、イメージセンサＧ１０３、イメージセンサＢ１０４を有し、各イメージセンサから信号が出力され、信号処理部１１１に入力している。
【0096】
カメラヘッド１００には、不図示のプリズムが設けられており、プリズムは、カメラヘッド１００に入力される光（例えば、被写体Ｐからの反射光）を、赤色光、緑色光、青色光の三原色に分光（分離）する。以下、赤色光をＲ（赤）光と表記し、緑色光をＧ（緑）光と表記し、青色光をＢ（青）光と表記する。イメージセンサＲ１０２は、Ｒ（赤）光を光電変換し、電気信号であるＲ撮像信号を生成する。イメージセンサＧ１０３は、Ｇ（緑）光を光電変換し、電気信号であるＧ撮像信号を生成する。イメージセンサＢ１０４は、Ｂ（青）光を光電変換し、電気信号であるＢ撮像信号を生成する。以下では、Ｒ撮像信号、Ｇ撮像信号、Ｂ撮像信号をまとめて、ＲＧＢ撮像信号とも呼ぶ。
【0097】
本実施形態において、撮像モードＭＲは、イメージセンサＲ１０２による撮像を行うモードとし、撮像モードＭＧは、イメージセンサＧ１０３による撮像を行うモードとし、撮像モードＭＢは、イメージセンサＢ１０４による撮像を行うモードとする。複数の撮像モードには、可視光から分光されたＲＧＢの撮像信号を用いて被写体を観察するための撮像モードが含まれる。
【0098】
尚、本実施形態は上述した実施形態の構成に限定されるものではない。例えば、複数の撮像モードは、ＲＧＢ撮像信号のように、３つの撮像モードに限定されるものではなく、例えば、図４に示すようにカメラヘッド１００において、蛍光観察用のイメージセンサＩＲ１０５を設け、４つの撮像モードとしてもよい。すなわち、被写体に存在する蛍光物質から発せられる蛍光を観察するための撮像モード（蛍光観察モード）も含まれる。
【0099】
複数のイメージセンサ１０２～１０５は、出力信号として、複数の撮像モードに対応した撮像信号を出力する。閾値設定変更部１１９ａ（第１閾値変更部）は、撮像信号ごとに異なる第１閾値を設定し、閾値設定変更部１１９ｂ（第２閾値変更部）は、撮像信号ごとに異なる第２閾値を設定する。
【0100】
図１３に示した光源１３０１において、例えば、可視光を照射する白色光源の他に、被写体Ｐに存在する蛍光物質から発せられる蛍光を観察するための励起光光源（蛍光観察用光源）を設けてもよい。励起光光源からの光を被写体Ｐに照射して、被写体Ｐに存在する蛍光物質から発生する蛍光をイメージセンサＩＲ１０５で処理してもよい。
【0101】
撮像モードとして、図４のように、蛍光観察用のイメージセンサＩＲ１０５が設けられている場合には、イメージセンサＩＲ１０５についても同様に異なる感度モードを設定することが可能である。
【0102】
カメラヘッド１００は、ＲＧＢ撮像信号を信号処理部１１１に入力する。信号処理部１１１において、ＲＧＢ撮像信号は、欠陥画素検出部１１３及び欠陥画素補正部１１２に入力される。本実施形態では、輝点を欠陥画素として判定することを前提として説明する。信号処理部１１１における機能的な構成は、第１実施形態と同様であるため、重複した説明は省略する。
【0103】
本実施形態では、欠陥画素検出部１１３は、入力されたＲＧＢ撮像信号に基づいて、各撮像信号について、欠陥画素の検出処理を行う。すなわち、複数フレーム平滑化部１１４は、入力されたＲＧＢ撮像信号のそれぞれの撮像信号の複数フレームについて、各画素から出力される画素情報（例えば、画素値）の加算平均をとった画素情報を取得する。加算平均をとった画素情報を平滑化画素情報とする。そして、各画素位置において取得した平滑化画素情報を設定した平滑化画像を取得（生成）する。
【0104】
また、複数フレーム和集合部１１５は、入力されたＲＧＢ撮像信号のそれぞれの撮像信号の複数フレームにわたって各画素の画像情報（画素値）を取得し、各画素の画像情報の最大値を各画素の画素位置に設定した最大画素情報画像（最大画素値画像）を取得（生成）する。
【0105】
【0106】
ステップＳ３０１で、欠陥画素検出部１１３は、撮像モードＭＲにおける欠陥画素検出処理Ｒを実行し、欠陥画検出数Ｎｒを取得する。欠陥画素検出処理Ｒにおいて、検出処理部１２０ａ及び検出処理部１２０ｂは、Ｒ撮像信号に対して、図６で説明した処理（第１検出処理、第２検出処理）を行い、欠陥画検出数Ｎｒを取得する。
【0107】
ステップＳ３０２で、欠陥画素検出部１１３は、撮像モードＭＧにおける欠陥画素検出処理Ｇを実行し、欠陥画検出数Ｎｇを取得する。欠陥画素検出処理Ｒにおいて、検出処理部１２０ａ及び検出処理部１２０ｂは、Ｇ撮像信号に対して、図６で説明した処理（第１検出処理、第２検出処理）を行い、欠陥画検出数Ｎｇを取得する。
【0108】
ステップＳ３０３で、欠陥画素検出部１１３は、撮像モードＭＢにおける欠陥画素検出処理Ｂを実行し、欠陥画検出数Ｎｂを取得する。欠陥画素検出処理Ｂにおいて、検出処理部１２０ａ及び検出処理部１２０ｂは、Ｂ撮像信号に対して、図６で説明した処理（第１検出処理、第２検出処理）を行い、欠陥画検出数Ｎｂを取得する。
【0109】
次に、ステップＳ３０４において、閾値設定変更部１１９ｂ（第２の閾値変更部）は、各撮像モードにおける欠陥画素数Ｎｒ、Ｎｇ、Ｎｂを画素位置で加算した結果を総欠陥画素数として取得する。
【0110】
ステップＳ３０５において、閾値設定変更部１１９ｂは、総欠陥画素数が所定数（例えば、所定数Ｓ２）以下であるかを判断する。総欠陥画素数が所定数を超えた場合（Ｓ３０５－ＮＯ）、閾値設定変更部１１９ｂは、処理をステップＳ３０６へ進める。
【0111】
ステップＳ３０６において、閾値設定変更部１１９ｂは、欠陥画素数Ｎｒ、Ｎｇ、Ｎｂの内、検出数の最も多い撮像モードが撮像モードＭＲであるかを判断する。欠陥画素数が一番多い撮像モードが撮像モードＭＲであった場合（Ｓ３０６－ＹＥＳ）、閾値設定変更部１１９ｂは、処理をステップＳ３０７に進める。閾値設定変更部１１９ｂは、撮像モードＭＲの閾値ＴＨｒに、１回の変更における閾値ＴＨｒの変更量ΔＴｒを加算する。ここで、撮像モードＭＲの閾値ＴＨｒは、ステップＳ３０１の終了時の閾値ＴＨｒ（第１閾値ＴＨｒ、第２閾値ＴＨｒ）である。
【0112】
ステップＳ３０８では、検出処理部１２０ａ及び検出処理部１２０ｂは、変更された閾値ＴＨｒを用いて、撮像モードＭＲの欠陥画素検出処理Ｒを返し回数１回分実行し、閾値設定変更部１１９ｂは、再度実行した欠陥画素検出処理Ｒに基づいて欠陥画素数Ｎｒを取得し、処理をステップＳ３０４へ戻す。
【0113】
一方、ステップＳ３０６の判断処理において、欠陥画素数Ｎｒ、Ｎｇ、Ｎｂの内、検出数の最も多い撮像モードが撮像モードＭＲでない場合（Ｓ３０６－ＮＯ）、欠陥画素検出部１１３は、処理をステップＳ３０９に進める。
【0114】
ステップＳ３０９において、閾値設定変更部１１９ｂは、欠陥画素数Ｎｒ、Ｎｇ、Ｎｂの内、検出数の最も多い撮像モードが撮像モードＭＧであるかを判断する。欠陥画素数が一番多い撮像モードが撮像モードＭＲであった場合（Ｓ３０９－ＹＥＳ）、閾値設定変更部１１９ｂは、処理をステップＳ３１０に進める。閾値設定変更部１１９ｂは、撮像モードＭＧの閾値ＴＨｇに、１回の変更における閾値ＴＨｇの変更量ΔＴｇを加算する。ここで、撮像モードＭＧの閾値ＴＨｇは、ステップＳ３０２の終了時の閾値ＴＨｇ（第１閾値ＴＨｇ、第２閾値ＴＨｇ）である。
【0115】
ステップＳ３１１では、検出処理部１２０ａ及び検出処理部１２０ｂは、変更された閾値ＴＨｇを用いて、撮像モードＭＧの欠陥画素検出処理Ｇを返し回数１回分実行し、閾値設定変更部１１９ｂは、再度実行した欠陥画素検出処理Ｇに基づいて欠陥画素数Ｎｇを取得し、処理をステップＳ３０４へ戻す。
【0116】
一方、ステップＳ３０９の判断処理において、欠陥画素数Ｎｒ、Ｎｇ、Ｎｂの内、検出数の最も多い撮像モードが撮像モードＭＧでない場合（Ｓ３０９－ＮＯ）、閾値設定変更部１１９ｂは、処理をステップＳ３１２に進める。
【0117】
ステップＳ３１２において、閾値設定変更部１１９ｂは、撮像モードＭＢの閾値ＴＨｂに、１回の変更における閾値ＴＨｂの変更量ΔＴｂを加算する。ここで、撮像モードＭＢの閾値ＴＨｂは、ステップＳ３０３の終了時の閾値ＴＨｂ（第１閾値ＴＨｂ、第２閾値ＴＨｂ）である。
【0118】
ステップＳ３１３では、検出処理部１２０ａ及び検出処理部１２０ｂは、変更された閾値ＴＨｂを用いて、撮像モードＭＢの欠陥画素検出処理Ｂを返し回数１回分実行し、閾値設定変更部１１９ｂは、再度実行した欠陥画素検出処理Ｂに基づいて欠陥画素数Ｎｂを取得し、処理をステップＳ３０４へ戻す。
【0119】
ステップＳ３０５において、閾値設定変更部１１９ｂは、総欠陥画素数が所定数（所定数Ｓ２）以下になった場合（Ｓ３０５－ＹＥＳ）、処理をステップＳ３１４に進める。
【0120】
ステップＳ３１４において、検出アドレス生成部１２１は、検出処理部１２０ａで検出された、Ｒ撮像信号における欠陥画素Ａ（ｒ）、Ｇ撮像信号における欠陥画素Ａ（ｇ）、Ｂ撮像信号における欠陥画素Ａ（ｂ）の位置情報を取得する。ここで、欠陥画素Ａ（ｒ）、欠陥画素Ａ（ｇ）、欠陥画素Ａ（ｂ）は、ＲＧＢ撮像信号において、常時輝点として存在する欠陥画素を示す。
【0121】
また、検出アドレス生成部１２１は、検出処理部１２０ｂで検出された、Ｒ撮像信号における欠陥画素Ｂ（ｒ）、Ｇ撮像信号における欠陥画素Ｂ（ｇ）、Ｂ撮像信号における欠陥画素Ｂ（ｂ）の位置情報を取得する。ここで、欠陥画素Ｂ（ｒ）、欠陥画素Ｂ（ｇ）、欠陥画素Ｂ（ｂ）は、ＲＧＢ撮像信号において、任意の時間で点滅する欠陥画素を示す。
【0122】
そして、ステップＳ３１５において、欠陥画素補正部１１２は、ステップＳ３１４で生成されたアドレス情報を取得し、欠陥画素の位置情報を参照して、欠陥画素の位置を特定する。そして、欠陥画素補正部１１２は、欠陥画素として検出された画素の出力信号を補正して、処理を終了とする。
【0123】
なお、欠陥画素の出力信号を補正する際に、欠陥画素補正部１１２は、識別情報を参照して欠陥画素の種類を識別し、欠陥画素の種類に応じて欠陥画素の出力信号を補正してもよい。
【0124】
図７の処理フロー２では、欠陥画素として、輝点が発生した際の処理の流れを説明したが、黒点の場合も同様の処理フロー２となる。その際のリピート時における閾値は所定の変更量を減算して、閾値の設定を下げるように変更すればよい。
【0125】
第２実施形態では、カメラヘッド１００から出力される撮像信号において、複数の撮像信号が含まれる場合に、複数の撮像信号毎に欠陥画素の検出処理（第１検出処理、第２検出処理）を行い、複数の撮像モード毎に欠陥画素数Ｎｒ、Ｎｇ、Ｎｂを取得する。総欠陥画素数が所定数以上であった場合に、欠陥画素数の最も多い撮像モードを選択して、欠陥画素検出処理における閾値に所定の変更量の分を加算して閾値を上げて、総欠陥画素数を再計算し、総欠陥画素数が所定数以下になるまで、欠陥画素の検出処理（第１検出処理、第２検出処理）を繰り返し実行する。
【0126】
第２実施形態によれば、総欠陥画素数が所定数を超える場合であっても、全ての撮像モードにおいて欠陥画素検出処理をやり直す必要がなくなるため、従来技術のように、撮像モードによらず閾値が一つであった場合の処理と比較して、欠陥画素検出処理の所要時間を短縮することができる。
【0127】
さらに、従来技術のように、総欠陥画素数が所定値を超えるか否かの判断処理に一つの閾値を用いる場合に比べて、第２実施形態の処理では、閾値を細かく設定できる。このため、ある撮像モードのみについて閾値を上げて欠陥画素と判断される画素数の削減を行えることから、過度な欠陥画素数の削減を抑えることが可能となる。なお、本実施形態は上述した実施形態の構成に限定されるものではなく、要旨を逸脱しない範囲で構成要素を変形して具体化することが可能である。
【0128】
また、複数の撮像モードのうちから選択される撮像モードは、検出数が１以上の撮像モードの内、所定の序列に従って選択される撮像モードであってもよい。例えば、ユーザが優先する序列を設定し、設定された序列に応じて撮像モードを選択してもよい。また、選択される撮像モードは、複数の撮像モードの内、欠陥画素の検出数が最も少ない撮像モードでもよい。さらに、選択される撮像モードは、複数の撮像モードの内、撮像モードにおいて、固有の欠陥画素の検出数が最も多い撮像モードでもよい。さらに、選択される撮像モードは、複数の撮像モードの内、撮像モードにおいて、固有の欠陥画素の検出数が最も少ない撮像モードでもよい。
【0129】
（第３実施形態）
図３は第３実施形態の構成を示すブロック図である。第３実施形態のカメラヘッド１００は、イメージセンサＲ１０２、イメージセンサＧ１０３、イメージセンサＢ１０４を有し、各イメージセンサから信号が出力され、信号処理部１１１に入力している。
図３は第３実施形態の構成を示すブロック図である。第３実施形態のカメラヘッド１００は、イメージセンサＲ１０２、イメージセンサＧ１０３、イメージセンサＢ１０４を有し、各イメージセンサから信号が出力され、信号処理部１１１に入力している。
【0130】
第３実施形態においても、第２実施形態と同様に、撮像モードＭＲは、イメージセンサＲ１０２による撮像を行うモードとし、撮像モードＭＧは、イメージセンサＧ１０３による撮像を行うモードとし、撮像モードＭＢは、イメージセンサＢ１０４による撮像を行うモードとする。
【0131】
複数の撮像モードは、それぞれ異なる複数の感度モードであってもよい。ここで、感度モードとは、イメージセンサＲ１０２、イメージセンサＧ１０３、イメージセンサＢ１０４に対する設定であり、各イメージセンサから出力される出力信号（Ｒ撮像信号、Ｇ撮像信号、Ｂ撮像信号）の利得（Ｇａｉｎ）を変更するものである。つまり、同じ明るさのものを撮像していても、感度モードによって利得（Ｇａｉｎ）を異なる設定とすることにより、イメージセンサＲ１０２、イメージセンサＧ１０３、イメージセンサＢ１０４から出力される撮像信号のレベルは異なったものとなり得る。
【0132】
図５のブロック図に示すように、信号処理部１１１は、欠陥画素検出部１１３、欠陥画素補正部１１２、感度モード選択部１２４を有する。感度モード選択部１２４は、カメラヘッド１００に含まれるイメージセンサの出力信号の利得を変更するための感度モードを選択し、感度モードの選択信号をカメラヘッド１００に出力する。
【0133】
カメラコントロールユニット１１０から伝送された感度モードの選択信号は、イメージセンサＲ１０２、イメージセンサＧ１０３、イメージセンサＢ１０４に入力される。イメージセンサＲ１０２、イメージセンサＧ１０３、イメージセンサＢ１０４は、入力された感度モードの選択信号に基づいて、各イメージセンサに、それぞれ異なる感度モードを設定する。
【0134】
本実施形態において、感度モードＭ１（以下、第１感度モードともいう）は、各イメージセンサにおける特定の感度モードによって撮像を行うモードとする。また、感度モードＭ２（以下、第２感度モードともいう）は、各イメージセンサにおける感度モードＭ１（第１感度モード）とは異なる感度モードによって撮像を行うモードとする。本実施形態では、複数の感度モードとして、２つの感度モードを例に説明しているが、この例に限定されず、更に複数の感度モードを選択できるようにしても、本実施形態を同様に適用することは可能である。
【0135】
複数のイメージセンサ１０２～１０５は、出力信号として、感度モードに基づいた撮像信号を出力する。閾値設定変更部１１９ａ（第１閾値変更部）は、感度モードごとに異なる第１閾値を設定し、閾値設定変更部１１９ｂ（第２閾値変更部）は、感度モードごとに異なる第２閾値を設定する。
【0136】
（処理フロー３）
図８は第３実施形態に係る欠陥画素の検出処理の流れを説明するフローチャートである。また、図９は、感度モードＭ１における欠陥画素検出処理の流れを説明するフローチャートであり、図１０は、感度モードＭ２における欠陥画素検出の流れを説明するフローチャートである。以下、図８～１０を参照して、第３実施形態に係る欠陥画素の検出処理の流れ説明する。
図８は第３実施形態に係る欠陥画素の検出処理の流れを説明するフローチャートである。また、図９は、感度モードＭ１における欠陥画素検出処理の流れを説明するフローチャートであり、図１０は、感度モードＭ２における欠陥画素検出の流れを説明するフローチャートである。以下、図８～１０を参照して、第３実施形態に係る欠陥画素の検出処理の流れ説明する。
【0137】
図８のステップＳ４０１において、感度モードＭ１における欠陥画素検出処理を行う。
【0138】
（感度モード１の欠陥画素検出処理）
ステップＳ４０１は感度モード１の欠陥画素検出処理を表しており、本ステップの処理は、図９のステップＳ５０１～ステップＳ５１３の処理に対応する。以下、図９のステップＳ５０１からステップＳ５１３の処理の詳細を説明する。
ステップＳ４０１は感度モード１の欠陥画素検出処理を表しており、本ステップの処理は、図９のステップＳ５０１～ステップＳ５１３の処理に対応する。以下、図９のステップＳ５０１からステップＳ５１３の処理の詳細を説明する。
【0139】
ステップＳ５０１において、欠陥画素の検出処理を繰り返すリピート回数Ｒ１を０に初期化する。
【0140】
ステップＳ５０２において、検出処理部１２０ａ（第一の検出処理部）は、第１検出処理１Ａを実行し、欠陥画素Ａの欠陥画素数Ｎ１Ａ及び、検出した欠陥画素Ａの位置情報を取得する。
【0141】
ステップＳ５０３において、閾値設定変更部１１９ａ（第一の閾値設定変更部）は、ステップＳ５０２で検出された欠陥画素数Ｎ１Ａが所定数（例えば、Ｓ１）を超えているかどうかを判断する。欠陥画素数Ｎ１Ａが所定数Ｓ１を超えている場合（Ｓ５０３－ＮＯ）、処理をステップＳ５０４へ進める。ここで、所定数Ｓ1は、記憶部１２２にデータを記憶することが可能な上限のデータ数である。
【0142】
ステップＳ５０４において、閾値設定変更部１１９ａは第１閾値ＴＨ１Ａに変更量ΔＴ１Ａを加算して第１閾値ＴＨ１Ａの設定を上げる。
【0143】
ステップＳ５０５において、閾値設定変更部１１９ａはリピート回数Ｒ１のカウントを１上げる(Ｒ１＝Ｒ１＋１)。その後、処理をステップＳ５０２に戻し、検出処理部１２０ａは、第１検出処理１Ａを再度実行する。ステップＳ５０３で欠陥画素数Ｎ１Ａが所定数Ｓ１以下になるまで（Ｓ５０３－ＹＥＳ）、ステップＳ５０２からステップＳ５０５を繰り返し行う。
【0144】
ステップＳ５０３において、閾値設定変更部１１９ａは、欠陥画素数Ｎ１Ａが所定数Ｓ１以下の場合（Ｓ５０３－ＹＥＳ）、処理をステップＳ５０６へ進める。
【0145】
ステップＳ５０６において、閾値設定変更部１１９ｂ（第二の閾値設定変更部）は、変更量（累積変更量：リピート回数Ｒ１×ΔＴ１Ｂ）を第２閾値ＴＨ１Ｂに加算して、第２閾値ＴＨ１Ｂの設定を変更する。第１検出処理１Ａで行ったリピート回数Ｒ１を用いて第２閾値ＴＨ１Ｂを設定することにより、検出処理部１２０ｂによる欠陥画素の検出処理において、第２閾値ＴＨ１Ｂの累積変更量に相当する第２検出処理の回数を低減することができる。また、第１検出処理１Ａで行ったリピート回数Ｒ１を用いて第２閾値ＴＨ１Ｂを設定することにより、欠陥画素と判断するための感度を第１閾値ＴＨ１Ａに揃えることができる。
【0146】
その後、ステップＳ５０７において、検出処理部１２０ｂ（第二の検出処理部）は、第２検出処理１Ｂを実行し、欠陥画素Ｂの欠陥画素数Ｎ１Ｂ及び、検出した欠陥画素Ｂの位置情報を取得する。
【0147】
ステップＳ５０８では、閾値設定変更部１１９ｂは、検出処理部１２０ｂにより検出された欠陥画素Ｂの欠陥画素数Ｎ１Ｂと、検出処理部１２０ａにより検出された欠陥画素Ａの欠陥画素数Ｎ１Ａとを加算した総欠陥画素数Ｎ１を取得する。第一の欠陥画素検出部１１７、及び第二の欠陥画素検出部１１６は、相互に通信可能に接続されており、閾値の設定や欠陥画素の検出結果を相互に共有することが可能である。
【0148】
ステップＳ５０９において、閾値設定変更部１１９ｂは、ステップＳ５０８で取得した総欠陥画素数Ｎ１が所定数（例えば、Ｓ２）を超えているかを判断する。総欠陥画素数Ｎ１が所定数Ｓ２を超えている場合（Ｓ５０９－ＮＯ）、処理をステップＳ５１０に進める。ここで、所定数Ｓ２は、記憶部１２２にデータを記憶することが可能な上限のデータ数（所定数Ｓ１）以下であれば、所定数Ｓ１と同一であってもよいし、所定数Ｓ１より小さくてもよい。
【0149】
ステップＳ５１０において、閾値設定変更部１１９ａは、第１閾値ＴＨ１Ａに変更量（ΔＴ１Ａ）を加算して、第１閾値ＴＨ１Ａの設定を変更する。
【0150】
ステップＳ５１１において、検出処理部１２０ａは、第１検出処理１Ａを実行し、欠陥画素Ａの欠陥画素数Ｎ１Ａ及び、検出した欠陥画素Ａの位置情報を取得する。
【0151】
ステップＳ５１２において、閾値設定変更部１１９ｂは、第２閾値ＴＨ１Ｂに変更量ΔＴ１Ｂを加算して、第２閾値ＴＨ１Ｂの設定を変更する。
【0152】
ステップＳ５１３において、検出処理部１２０ｂ（第二の検出処理部）は、第２検出処理を実行し、欠陥画素Ｂの欠陥画素数Ｎ１Ｂ及び、検出した欠陥画素Ｂの位置情報を取得する。
【0153】
ステップＳ５０９で総欠陥画素数Ｎ１が所定数Ｓ２以下になるまで、ステップＳ５０８からステップＳ５１３を繰り返し行う。
【0154】
ステップＳ５０９において、閾値設定変更部１１９ｂは、ステップＳ５０８で取得した総欠陥画素数Ｎ１が所定数Ｓ２を超えているかを判断し、総欠陥画素数Ｎ１が所定数Ｓ２以下である場合（Ｓ５０９―ＹＥＳ）、感度モードＭ１の欠陥画素検出処理を終了とし、処理を図８のステップＳ４０２に進める。
【0155】
（感度モード２の欠陥画素検出処理）
ステップＳ４０２は感度モード２の欠陥画素検出処理を表しており、本ステップの処理は、図１０のステップＳ６０１～ステップＳ６１３の処理に対応する。以下、図１０のステップＳ６０１からステップＳ６１３の処理の詳細を説明する。
ステップＳ４０２は感度モード２の欠陥画素検出処理を表しており、本ステップの処理は、図１０のステップＳ６０１～ステップＳ６１３の処理に対応する。以下、図１０のステップＳ６０１からステップＳ６１３の処理の詳細を説明する。
【0156】
ステップＳ６０１において、欠陥画素の検出処理を繰り返すリピート回数Ｒ２を０に初期化する。
【0157】
ステップＳ６０２において、検出処理部１２０ａ（第一の検出処理部）は、第１検出処理２Ａを実行し、欠陥画素Ａの欠陥画素数Ｎ２Ａ及び、検出した欠陥画素Ａの位置情報を取得する。
【0158】
ステップＳ６０３において、閾値設定変更部１１９ａ（第一の閾値設定変更部）は、ステップＳ６０２で検出された欠陥画素数Ｎ２Ａが所定数（例えば、Ｓ１）を超えているかどうかを判断する。欠陥画素数Ｎ２Ａが所定数Ｓ１を超えている場合（Ｓ６０３－ＮＯ）、処理をステップＳ６０４へ進める。ここで、所定数Ｓ1は、記憶部１２２にデータを記憶することが可能な上限のデータ数である。
【0159】
ステップＳ６０４において、閾値設定変更部１１９ａは第１閾値ＴＨ２Ａに変更量ΔＴ２Ａを加算して第１閾値ＴＨ２Ａの設定を上げる。
【0160】
ステップＳ６０５において、閾値設定変更部１１９ａはリピート回数Ｒ２のカウントを１上げる(Ｒ２＝Ｒ２＋１)。その後、処理をステップＳ６０２に戻し、検出処理部１２０ａは、第１検出処理２Ａを再度実行する。ステップＳ６０３で欠陥画素数Ｎ２Ａが所定数Ｓ１以下になるまで（Ｓ６０３－ＹＥＳ）、ステップＳ６０２からステップＳ６０５を繰り返し行う。
【0161】
ステップＳ６０３において、閾値設定変更部１１９ａは、欠陥画素数Ｎ２Ａが所定数Ｓ１以下の場合（Ｓ６０３－ＹＥＳ）、処理をステップＳ６０６へ進める。
【0162】
ステップＳ５０６において、閾値設定変更部１１９ｂ（第二の閾値設定変更部）は、変更量（累積変更量：リピート回数Ｒ２×ΔＴ２Ｂ）を第２閾値ＴＨ２Ｂに加算して、第２閾値ＴＨ２Ｂの設定を変更する。第１検出処理２Ａで行ったリピート回数Ｒ２を用いて第２閾値ＴＨ２Ｂを設定することにより、検出処理部１２０ｂによる欠陥画素の検出処理において、第２閾値ＴＨ２Ｂの累積変更量に相当する第２検出処理２Ｂの処理回数を低減することができる。また、第１検出処理１Ａで行ったリピート回数Ｒ２を用いて第２閾値ＴＨ２Ｂを設定することにより、欠陥画素と判断するための感度を第１閾値ＴＨ２Ａに揃えることができる。
【0163】
その後、ステップＳ６０７において、検出処理部１２０ｂ（第二の検出処理部）は、第２検出処理２Ｂを実行し、欠陥画素Ｂの欠陥画素数Ｎ２Ｂ及び、検出した欠陥画素Ｂの位置情報を取得する。
【0164】
ステップＳ５０８では、閾値設定変更部１１９ｂは、検出処理部１２０ｂにより検出された欠陥画素Ｂの欠陥画素数Ｎ２Ｂと、検出処理部１２０ａにより検出された欠陥画素Ａの欠陥画素数Ｎ２Ａとを加算した総欠陥画素数Ｎ２を取得する。第一の欠陥画素検出部１１７、及び第二の欠陥画素検出部１１６は、相互に通信可能に接続されており、閾値の設定や欠陥画素の検出結果を相互に共有することが可能である。
【0165】
ステップＳ６０９において、閾値設定変更部１１９ｂは、ステップＳ６０８で取得した総欠陥画素数Ｎ２が所定数（例えば、Ｓ２）を超えているかを判断する。総欠陥画素数Ｎ２が所定数Ｓ２を超えている場合（Ｓ６０９－ＮＯ）、処理をステップＳ６１０に進める。ここで、所定数Ｓ２は、記憶部１２２にデータを記憶することが可能な上限のデータ数（所定数Ｓ１）以下であれば、所定数Ｓ１と同一であってもよいし、所定数Ｓ１より小さくてもよい。
【0166】
ステップＳ６１０において、閾値設定変更部１１９ａは、第１閾値ＴＨ２Ａに変更量（ΔＴ２Ａ）を加算して、第１閾値ＴＨ２Ａの設定を変更する。
【0167】
ステップＳ６１１において、検出処理部１２０ａは、第１検出処理２Ａを実行し、欠陥画素Ａの欠陥画素数Ｎ２Ａ及び、検出した欠陥画素Ａの位置情報を取得する。
【0168】
ステップＳ６１２において、閾値設定変更部１１９ｂは、第２閾値ＴＨ２Ｂに変更量ΔＴ２Ｂを加算して、第２閾値ＴＨ２Ｂの設定を変更する。
【0169】
ステップＳ６１３において、検出処理部１２０ｂ（第二の検出処理部）は、第２検出処理２Ｂを実行し、欠陥画素Ｂの欠陥画素数Ｎ２Ｂ及び、検出した欠陥画素Ｂの位置情報を取得する。
【0170】
ステップＳ６０９で総欠陥画素数Ｎ２が所定数Ｓ２以下になるまで、ステップＳ６０８からステップＳ６１３を繰り返し行う。
【0171】
ステップＳ６０９において、閾値設定変更部１１９ｂは、ステップＳ６０８で取得した総欠陥画素数Ｎ２が所定数Ｓ２を超えているかを判断し、総欠陥画素数Ｎ２が所定数Ｓ２以下である場合（Ｓ６０９―ＹＥＳ）、感度モードＭ２の欠陥画素検出処理を終了とし、処理を図８のステップＳ４０３に戻す。
【0172】
ステップＳ４０３において、欠陥画素検出部１１３は、各感度モードにおける欠陥画素数Ｎ１、Ｎ２を加算した結果を総欠陥画素数として取得する。
【0173】
ステップＳ４０４において、閾値設定変更部１１９ｂは、総欠陥画素数が所定数（例えば、Ｓ１）以下であるか判断する。総欠陥画素数が所定数を超えた場合（Ｓ４０４－ＮＯ）、閾値設定変更部１１９ｂは、処理をステップＳ４０５へ進める。
【0174】
ステップＳ４０５において、欠陥画素検出部１１３は、欠陥画素数Ｎ１、Ｎ２の内、検出数の多い感度モードが感度モードＭ１であるか判断する。欠陥画素数が一番多い感度モードが感度モードＭ１であった場合（Ｓ４０５－ＹＥＳ）、欠陥画素検出部１１３は、処理をステップＳ４０６に進める。
【0175】
ステップＳ４０６において、閾値設定変更部１１９ａは、第１閾値ＴＨ１Ａに変更量（ΔＴ１Ａ）を加算して、第１閾値ＴＨ１Ａの設定を変更する。
【0176】
ステップＳ４０７において、検出処理部１２０ａは、第１検出処理１Ａを実行し、欠陥画素Ａの欠陥画素数Ｎ１Ａ及び、検出した欠陥画素Ａの位置情報を取得する。
【0177】
ステップＳ４０８において、閾値設定変更部１１９ｂは、第２閾値ＴＨ１Ｂに変更量ΔＴ１Ｂを加算して、第２閾値ＴＨ１Ｂの設定を変更する。
【0178】
ステップＳ４０９において、検出処理部１２０ｂ（第二の検出処理部）は、第２検出処理を実行し、欠陥画素Ｂの欠陥画素数Ｎ１Ｂ及び、検出した欠陥画素Ｂの位置情報を取得する。
【0179】
ステップＳ４１０において、閾値設定変更部１１９ｂは、欠陥画素数Ｎ１Ａ及び欠陥画素数Ｎ１Ｂを加算した結果を欠陥画素数Ｎ１として取得し、処理をステップＳ４０３へ再度戻す。
【0180】
一方、ステップＳ４０５において、欠陥画素数が一番多い感度モードが感度モードＭ２であった場合（Ｓ４０５－ＮＯ）、閾値設定変更部１１９ｂは、は、処理をステップＳ４１１に進める。
【0181】
ステップＳ４１１において、閾値設定変更部１１９ａは、第１閾値ＴＨ２Ａに変更量（ΔＴ２Ａ）を加算して、第１閾値ＴＨ２Ａの設定を変更する。
【0182】
ステップＳ４１２において、検出処理部１２０ａは、第１検出処理２Ａを実行し、欠陥画素Ａの欠陥画素数Ｎ２Ａ及び、検出した欠陥画素Ａの位置情報を取得する。
【0183】
ステップＳ４１３において、閾値設定変更部１１９ｂは、第２閾値ＴＨ２Ｂに変更量ΔＴ２Ｂを加算して、第２閾値ＴＨ２Ｂの設定を変更する。
【0184】
ステップＳ４１４において、検出処理部１２０ｂ（第二の検出処理部）は、第２検出処理２Ｂを実行し、欠陥画素Ｂの欠陥画素数Ｎ２Ｂ及び、検出した欠陥画素Ｂの位置情報を取得する。
【0185】
ステップＳ４１５において、閾値設定変更部１１９ｂは、欠陥画素検出数Ｎ２Ａ及び欠陥画素数Ｎ２Ｂを加算した結果を欠陥画素数Ｎ２として取得し、処理をステップＳ４０３へ再度戻す。
【0186】
ステップＳ４０３において、閾値設定変更部１１９ｂは、各感度モードにおける欠陥画素数Ｎ１、Ｎ２を加算した結果を総欠陥画素数として再度取得する。
【0187】
ステップＳ４０４において、閾値設定変更部１１９ｂは、総欠陥画素数が所定数（例えば、Ｓ１）以下であるか判断する。総欠陥画素数が所定数以下になった場合（Ｓ４０４－ＹＥＳ）、閾値設定変更部１１９ｂは、処理をステップＳ４１６へ進める。
【0188】
ステップＳ４１６において、検出アドレス生成部１２１は、検出処理部１２０ａで検出された、感度モードＭ１における欠陥画素Ａ（Ｍ１）、欠陥画素Ａ（Ｍ２）の位置情報を取得する。ここで、欠陥画素Ａ（Ｍ１）は感度モードＭ１において、常時輝点として存在する欠陥画素を示す。また、欠陥画素Ａ（Ｍ２）は感度モードＭ２において、常時輝点として存在する欠陥画素を示す。
【0189】
また、検出アドレス生成部１２１は、検出処理部１２０ｂで検出された、欠陥画素Ｂ（Ｍ１）、欠陥画素Ｂ（Ｍ２）の位置情報を取得する。ここで、ここで、欠陥画素Ｂ（Ｍ１）は感度モードＭ１において、任意の時間で点滅する欠陥画素を示す。また、欠陥画素Ｂ（Ｍ２）は感度モードＭ２において、任意の時間で点滅する欠陥画素を示す。
【0190】
そして、ステップＳ４１７において、欠陥画素補正部１１２は、ステップＳ４１６で生成されたアドレス情報を取得し、欠陥画素の位置情報を参照して、欠陥画素の位置を特定する。そして、欠陥画素補正部１１２は、欠陥画素として検出された画素の出力信号を補正して、処理を終了とする。
【0191】
なお、欠陥画素の出力信号を補正する際に、欠陥画素補正部１１２は、識別情報を参照して欠陥画素の種類（Ａ、Ｂ）や感度モード（Ｍ１、Ｍ２）を識別し、欠陥画素の種類や感度モードに応じて欠陥画素の出力信号を補正してもよい。
【0192】
図８の処理フロー３では、欠陥画素として、輝点が発生した際の処理の流れを説明したが、黒点の場合も同様のフロー３となる。その際のリピート時における閾値は所定の変更量を減算して、閾値の設定を下げるように変更すればよい。
【0193】
第３実施形態では、複数の感度モード毎に欠陥画素の検出処理（第１検出処理、第２検出処理）を行い、複数の感度モード毎に欠陥画素数Ｎ１、Ｎ２を取得する。総欠陥画素数が所定数以上であった場合に、欠陥画素数の最も多い感度モードを選択して、欠陥画素検出処理における閾値に所定の変更量の分を加算して閾値を上げて、総欠陥画素数を再計算し、総欠陥画素数が所定数以下になるまで繰り返し実行する。
【0194】
第３実施形態によれば、総欠陥画素数が所定数を超える場合であっても、全ての感度モードにおいて欠陥画素検出処理をやり直す必要がなくなるため、従来技術のように、撮像モードによらず閾値が一つであった場合の処理と比較して、欠陥画素検出処理の所要時間を短縮することができる。
【0195】
さらに、従来技術のように、総欠陥画素数が所定値を超えるか否かの判断処理に一つの閾値を用いる場合に比べて、第３実施形態の処理では、閾値を細かく設定できる。このため、ある感度モードのみについて閾値を上げて欠陥画素と判断される画素数の削減を行えることから、過度な欠陥画素数の削減を抑えることが可能となる。
【0196】
さらに、従来の撮像モードによらず閾値が一つであった場合に比べ、閾値を細かく設定できるため、ある撮像モードのみ閾値を上げて欠陥画素と判断される画素の削減を行えることから、過度な欠陥画素数の削減を抑えることが可能となる。
【0197】
本明細書の開示は、以下の処理装置、処理システム、処理方法及びプログラムを含む。
（項目１） イメージセンサの各画素の出力信号から得た第１画素情報と第１閾値との比較により第１欠陥画素を検出する第１検出処理を行う第１検出処理部と、
前記第１検出処理において、前記第１欠陥画素の第１検出数が所定数以下になるまで、前記第１閾値の初期値に対して所定の割合で設定された第１変更量を用いて前記第１閾値を繰り返し変更する第１閾値変更部と、
前記出力信号から得た、前記第１画素情報とは異なる第２画素情報と、前記第１閾値の繰り返し変更回数と第２変更量とを用いて得た第２閾値と、の比較により、前記第１欠陥画素とは異なる第２欠陥画素を検出する第２検出処理を行う第２検出処理部と、
前記第１欠陥画素の前記第１検出数と前記第２欠陥画素の第２検出数との加算情報が前記所定数以下になるまで、前記第２閾値の初期値に対して所定の割合で設定された第２変更量を用いて前記第２閾値を変更する第２閾値変更部と、備える処理装置。
（項目２） 前記イメージセンサから出力された複数フレームにおいて、前記各画素の出力信号を加算平均することにより前記第１画素情報を取得する平滑化部を更に備え、
前記第１検出処理部は、前記出力信号の加算平均により得られた前記第１画素情報と、前記第１閾値との比較により前記第１欠陥画素を検出する項目１に記載の処理装置。
（項目３） 前記第１閾値変更部は、前記第１欠陥画素の第１検出数が所定数以下になるまで、前記第１閾値に前記第１変更量を加算、または、前記第１閾値から前記第１変更量を減算することにより、前記第１閾値を変更する項目１に記載の処理装置。
（項目４） 前記第２検出処理部は、前記第１閾値の繰り返し変更回数と前記第２変更量との積を用いて取得した前記第２閾値と、前記第２画素情報との比較により、前記第２欠陥画素を検出する項目１に記載の処理装置。
（項目５） 前記イメージセンサから出力された複数のフレームにおいて、前記各画素の出力信号のうち最大値を前記第２画素情報として取得する和集合部を更に備え、
前記第２検出処理部は、前記第２画素情報として取得された前記出力信号の最大値と、前記第２閾値との比較により前記第２欠陥画素を検出する項目１に記載の処理装置。（項目６） 前記加算情報が前記所定数以下になるまで、
前記第１閾値変更部は、前記第１変更量を用いて前記第１閾値を変更し、
前記第１検出処理部は、変更された前記第１閾値と前記第１画素情報との比較により前記第１検出処理を実行し、
前記第２閾値変更部は、前記第２変更量を用いて前記第２閾値を変更し、
前記第２検出処理部は、変更された前記第２閾値と前記第２画素情報との比較により前記第２検出処理を実行する項目１に記載の処理装置。
（項目７） 前記第２閾値変更部は、前記第２閾値に前記第２変更量を加算、または、前記第２閾値から前記第２変更量を減算することにより、前記第２閾値を変更する項目６に記載の処理装置。
（項目８） 複数のイメージセンサを有するカメラヘッドを更に備え、
前記複数のイメージセンサは、前記出力信号として、それぞれ異なる撮像信号を出力する項目１に記載の処理装置。
（項目９） 前記複数のイメージセンサは、前記出力信号として、複数の撮像モードに対応した撮像信号を出力し、
前記第１閾値変更部は、前記撮像信号ごとに異なる第１閾値を設定し、
前記第２閾値変更部は、前記撮像信号ごとに異なる第２閾値を設定する項目８に記載の処理装置。
（項目１０） 前記第１検出処理部は、前記第１検出処理を実行して前記撮像信号ごとに前記第１欠陥画素を検出し、
前記第２検出処理部は、前記第２検出処理を実行して前記撮像信号ごとに前記第２欠陥画素を検出し、
前記第２閾値変更部は、
前記第１欠陥画素と前記第２欠陥画素とを用いて、前記撮像信号ごとに欠陥画素数を取得する項目９に記載の処理装置。
（項目１１） 前記第２閾値変更部は、
前記撮像信号ごとの前記欠陥画素数の加算情報が前記所定数を超える場合に、前記撮像信号のうち、前記欠陥画素数の最も多い撮像信号を特定し、
前記第１閾値変更部は、特定された前記撮像信号に関して、前記第１閾値を変更し、
前記第２閾値変更部は、特定された前記撮像信号に関して、前記第２変更量を用いて前記第２閾値を変更する項目１０に記載の処理装置。
（項目１２） 前記第１検出処理部は、前記加算情報が前記所定数以下になるまで、特定された前記撮像信号に関して、前記第１検出処理を繰り返し実行し、
前記第２検出処理部は、前記加算情報が前記所定数以下になるまで、特定された前記撮像信号に関して、前記第２検出処理を繰り返し実行する項目１１に記載の処理装置。
（項目１３） 前記複数の撮像モードには、
可視光から分光されたＲＧＢの撮像信号を用いて被写体を観察するための撮像モードと、
前記被写体に存在する蛍光物質から発せられる蛍光を観察するための撮像モードと、が含まれる項目９に記載の処理装置。
（項目１４） 前記カメラヘッドに含まれる前記イメージセンサの出力信号の利得を変更するための感度モードを選択し、前記感度モードの選択信号を前記カメラヘッドに出力する感度モード選択部を更に備え、
前記カメラヘッドに含まれる前記複数のイメージセンサは、前記選択信号に基づいて、それぞれ異なる感度モードを設定する項目８に記載の処理装置。
（項目１５） 前記複数のイメージセンサは、前記感度モードに基づいた撮像信号を出力し、
前記第１閾値変更部は、前記感度モードごとに異なる第１閾値を設定し、
前記第２閾値変更部は、前記感度モードごとに異なる第２閾値を設定する項目１４に記載の処理装置。
（項目１６） 前記第１検出処理部は、前記第１検出処理を実行して前記感度モードごとに前記第１欠陥画素を検出し、
前記第２検出処理部は、前記第２検出処理を実行して前記感度モードごとに前記第２欠陥画素を検出し、
前記第２閾値変更部は、
前記第１欠陥画素と前記第２欠陥画素とを用いて、前記感度モードごとに欠陥画素数を取得する項目１５に記載の処理装置。
（項目１７） 前記第２閾値変更部は、
前記感度モードごとの前記欠陥画素数の加算情報が前記所定数を超える場合に、前記感度モードのうち、前記欠陥画素数の最も多い感度モードを特定し、
前記第１閾値変更部は、特定された前記感度モードの撮像信号に関して、前記第１閾値を変更し、
前記第２閾値変更部は、特定された前記感度モードの撮像信号に関して、前記第２変更量を用いて前記第２閾値を変更する項目１６に記載の処理装置。
（項目１８） 前記第１検出処理部は、前記加算情報が前記所定数以下になるまで、特定された前記感度モードの前記撮像信号に関して、前記第１検出処理を繰り返し実行し、
前記第２検出処理部は、前記加算情報が前記所定数以下になるまで、特定された前記感度モードの前記撮像信号に関して、前記第２検出処理を繰り返し実行する項目１７に記載の処理装置。
（項目１９） 前記加算情報が前記所定数以下の場合に、前記第１欠陥画素の画素位置と前記第２欠陥画素の画素位置とを用いて、前記イメージセンサの欠陥画素の位置を示すアドレス情報を生成する生成部と、
前記アドレス情報を記憶する記憶部と、
前記記憶部に記憶された前記アドレス情報を用いて、前記イメージセンサに含まれる前記第１欠陥画素、及び前記第２欠陥画素の出力信号を補正する補正部と、
を更に備える項目１に記載の処理装置。
（項目２０） 前記所定数は前記加算情報を前記記憶部に記憶することが可能なデータ数を示す項目１９に記載の処理装置。
（項目２１） 項目１乃至項目２０のいずれか１項に記載の処理装置と、
前記処理装置から出力された信号に基づいた画像を表示部に表示させる表示制御を行う表示制御部を有する表示装置と、
を備える処理システム。
（項目２２） イメージセンサの各画素の出力信号から得た第１画素情報と第１閾値との比較により第１欠陥画素を検出する第１検出処理を行う工程と、
前記第１検出処理において、前記第１欠陥画素の第１検出数が所定数を超える場合に、前記第１閾値の初期値に対して所定の割合で設定された第１変更量を用いて前記第１閾値を変更する工程と、
前記出力信号から得た、前記第１画素情報とは異なる第２画素情報と、前記第１閾値の繰り返し変更回数と第２変更量とを用いて得た第２閾値との比較により、前記第１欠陥画素とは異なる第２欠陥画素を検出する工程と、
前記第１欠陥画素の前記第１検出数と前記第２欠陥画素の第２検出数との加算情報が前記所定数以下になるまで、前記第２閾値の初期値に対して所定の割合で設定された第２変更量を用いて前記第２閾値を変更する工程と、
を有する処理方法。
（項目２３） コンピュータに、項目２２に記載の処理方法を実行させるプログラム。
（項目１） イメージセンサの各画素の出力信号から得た第１画素情報と第１閾値との比較により第１欠陥画素を検出する第１検出処理を行う第１検出処理部と、
前記第１検出処理において、前記第１欠陥画素の第１検出数が所定数以下になるまで、前記第１閾値の初期値に対して所定の割合で設定された第１変更量を用いて前記第１閾値を繰り返し変更する第１閾値変更部と、
前記出力信号から得た、前記第１画素情報とは異なる第２画素情報と、前記第１閾値の繰り返し変更回数と第２変更量とを用いて得た第２閾値と、の比較により、前記第１欠陥画素とは異なる第２欠陥画素を検出する第２検出処理を行う第２検出処理部と、
前記第１欠陥画素の前記第１検出数と前記第２欠陥画素の第２検出数との加算情報が前記所定数以下になるまで、前記第２閾値の初期値に対して所定の割合で設定された第２変更量を用いて前記第２閾値を変更する第２閾値変更部と、備える処理装置。
（項目２） 前記イメージセンサから出力された複数フレームにおいて、前記各画素の出力信号を加算平均することにより前記第１画素情報を取得する平滑化部を更に備え、
前記第１検出処理部は、前記出力信号の加算平均により得られた前記第１画素情報と、前記第１閾値との比較により前記第１欠陥画素を検出する項目１に記載の処理装置。
（項目３） 前記第１閾値変更部は、前記第１欠陥画素の第１検出数が所定数以下になるまで、前記第１閾値に前記第１変更量を加算、または、前記第１閾値から前記第１変更量を減算することにより、前記第１閾値を変更する項目１に記載の処理装置。
（項目４） 前記第２検出処理部は、前記第１閾値の繰り返し変更回数と前記第２変更量との積を用いて取得した前記第２閾値と、前記第２画素情報との比較により、前記第２欠陥画素を検出する項目１に記載の処理装置。
（項目５） 前記イメージセンサから出力された複数のフレームにおいて、前記各画素の出力信号のうち最大値を前記第２画素情報として取得する和集合部を更に備え、
前記第２検出処理部は、前記第２画素情報として取得された前記出力信号の最大値と、前記第２閾値との比較により前記第２欠陥画素を検出する項目１に記載の処理装置。（項目６） 前記加算情報が前記所定数以下になるまで、
前記第１閾値変更部は、前記第１変更量を用いて前記第１閾値を変更し、
前記第１検出処理部は、変更された前記第１閾値と前記第１画素情報との比較により前記第１検出処理を実行し、
前記第２閾値変更部は、前記第２変更量を用いて前記第２閾値を変更し、
前記第２検出処理部は、変更された前記第２閾値と前記第２画素情報との比較により前記第２検出処理を実行する項目１に記載の処理装置。
（項目７） 前記第２閾値変更部は、前記第２閾値に前記第２変更量を加算、または、前記第２閾値から前記第２変更量を減算することにより、前記第２閾値を変更する項目６に記載の処理装置。
（項目８） 複数のイメージセンサを有するカメラヘッドを更に備え、
前記複数のイメージセンサは、前記出力信号として、それぞれ異なる撮像信号を出力する項目１に記載の処理装置。
（項目９） 前記複数のイメージセンサは、前記出力信号として、複数の撮像モードに対応した撮像信号を出力し、
前記第１閾値変更部は、前記撮像信号ごとに異なる第１閾値を設定し、
前記第２閾値変更部は、前記撮像信号ごとに異なる第２閾値を設定する項目８に記載の処理装置。
（項目１０） 前記第１検出処理部は、前記第１検出処理を実行して前記撮像信号ごとに前記第１欠陥画素を検出し、
前記第２検出処理部は、前記第２検出処理を実行して前記撮像信号ごとに前記第２欠陥画素を検出し、
前記第２閾値変更部は、
前記第１欠陥画素と前記第２欠陥画素とを用いて、前記撮像信号ごとに欠陥画素数を取得する項目９に記載の処理装置。
（項目１１） 前記第２閾値変更部は、
前記撮像信号ごとの前記欠陥画素数の加算情報が前記所定数を超える場合に、前記撮像信号のうち、前記欠陥画素数の最も多い撮像信号を特定し、
前記第１閾値変更部は、特定された前記撮像信号に関して、前記第１閾値を変更し、
前記第２閾値変更部は、特定された前記撮像信号に関して、前記第２変更量を用いて前記第２閾値を変更する項目１０に記載の処理装置。
（項目１２） 前記第１検出処理部は、前記加算情報が前記所定数以下になるまで、特定された前記撮像信号に関して、前記第１検出処理を繰り返し実行し、
前記第２検出処理部は、前記加算情報が前記所定数以下になるまで、特定された前記撮像信号に関して、前記第２検出処理を繰り返し実行する項目１１に記載の処理装置。
（項目１３） 前記複数の撮像モードには、
可視光から分光されたＲＧＢの撮像信号を用いて被写体を観察するための撮像モードと、
前記被写体に存在する蛍光物質から発せられる蛍光を観察するための撮像モードと、が含まれる項目９に記載の処理装置。
（項目１４） 前記カメラヘッドに含まれる前記イメージセンサの出力信号の利得を変更するための感度モードを選択し、前記感度モードの選択信号を前記カメラヘッドに出力する感度モード選択部を更に備え、
前記カメラヘッドに含まれる前記複数のイメージセンサは、前記選択信号に基づいて、それぞれ異なる感度モードを設定する項目８に記載の処理装置。
（項目１５） 前記複数のイメージセンサは、前記感度モードに基づいた撮像信号を出力し、
前記第１閾値変更部は、前記感度モードごとに異なる第１閾値を設定し、
前記第２閾値変更部は、前記感度モードごとに異なる第２閾値を設定する項目１４に記載の処理装置。
（項目１６） 前記第１検出処理部は、前記第１検出処理を実行して前記感度モードごとに前記第１欠陥画素を検出し、
前記第２検出処理部は、前記第２検出処理を実行して前記感度モードごとに前記第２欠陥画素を検出し、
前記第２閾値変更部は、
前記第１欠陥画素と前記第２欠陥画素とを用いて、前記感度モードごとに欠陥画素数を取得する項目１５に記載の処理装置。
（項目１７） 前記第２閾値変更部は、
前記感度モードごとの前記欠陥画素数の加算情報が前記所定数を超える場合に、前記感度モードのうち、前記欠陥画素数の最も多い感度モードを特定し、
前記第１閾値変更部は、特定された前記感度モードの撮像信号に関して、前記第１閾値を変更し、
前記第２閾値変更部は、特定された前記感度モードの撮像信号に関して、前記第２変更量を用いて前記第２閾値を変更する項目１６に記載の処理装置。
（項目１８） 前記第１検出処理部は、前記加算情報が前記所定数以下になるまで、特定された前記感度モードの前記撮像信号に関して、前記第１検出処理を繰り返し実行し、
前記第２検出処理部は、前記加算情報が前記所定数以下になるまで、特定された前記感度モードの前記撮像信号に関して、前記第２検出処理を繰り返し実行する項目１７に記載の処理装置。
（項目１９） 前記加算情報が前記所定数以下の場合に、前記第１欠陥画素の画素位置と前記第２欠陥画素の画素位置とを用いて、前記イメージセンサの欠陥画素の位置を示すアドレス情報を生成する生成部と、
前記アドレス情報を記憶する記憶部と、
前記記憶部に記憶された前記アドレス情報を用いて、前記イメージセンサに含まれる前記第１欠陥画素、及び前記第２欠陥画素の出力信号を補正する補正部と、
を更に備える項目１に記載の処理装置。
（項目２０） 前記所定数は前記加算情報を前記記憶部に記憶することが可能なデータ数を示す項目１９に記載の処理装置。
（項目２１） 項目１乃至項目２０のいずれか１項に記載の処理装置と、
前記処理装置から出力された信号に基づいた画像を表示部に表示させる表示制御を行う表示制御部を有する表示装置と、
を備える処理システム。
（項目２２） イメージセンサの各画素の出力信号から得た第１画素情報と第１閾値との比較により第１欠陥画素を検出する第１検出処理を行う工程と、
前記第１検出処理において、前記第１欠陥画素の第１検出数が所定数を超える場合に、前記第１閾値の初期値に対して所定の割合で設定された第１変更量を用いて前記第１閾値を変更する工程と、
前記出力信号から得た、前記第１画素情報とは異なる第２画素情報と、前記第１閾値の繰り返し変更回数と第２変更量とを用いて得た第２閾値との比較により、前記第１欠陥画素とは異なる第２欠陥画素を検出する工程と、
前記第１欠陥画素の前記第１検出数と前記第２欠陥画素の第２検出数との加算情報が前記所定数以下になるまで、前記第２閾値の初期値に対して所定の割合で設定された第２変更量を用いて前記第２閾値を変更する工程と、
を有する処理方法。
（項目２３） コンピュータに、項目２２に記載の処理方法を実行させるプログラム。
【0198】
［その他の実施形態］
開示の技術は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
開示の技術は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【0199】
開示の技術は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。
【符号の説明】
【0200】
１００：カメラヘッド、１０１：イメージセンサ、１０２：イメージセンサＲ、１０３：イメージセンサＧ、１０４：イメージセンサＢ、１１０：カメラコントロールユニット、１１１：信号処理部、１１２：欠陥画素補正部
１１３：欠陥画素検出部、１１４：複数フレーム平滑化部、１１５：複数フレーム和集合部、１１７：第一の欠陥画素検出部、１１６：第二の欠陥画素検出部、１１９ａ、１１９ｂ：閾値設定変更部、１２０ａ、１２０ｂ：検出処理部、１２１：検出アドレス生成部、１２２：記憶部（ＲＡＭ）、１２３：伝送部、１２４：感度モード選択部、１３０：表示装置
１１３：欠陥画素検出部、１１４：複数フレーム平滑化部、１１５：複数フレーム和集合部、１１７：第一の欠陥画素検出部、１１６：第二の欠陥画素検出部、１１９ａ、１１９ｂ：閾値設定変更部、１２０ａ、１２０ｂ：検出処理部、１２１：検出アドレス生成部、１２２：記憶部（ＲＡＭ）、１２３：伝送部、１２４：感度モード選択部、１３０：表示装置
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】