特許 7291808 画像処理システム、画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-06-07

(45)【発行日】2023-06-15

(54)【発明の名称】画像処理システム、画像処理方法

(51)【国際特許分類】

   G02B 21/00 20060101AFI20230608BHJP

   G02B 21/36 20060101ALI20230608BHJP

【ＦＩ】

G02B21/00

G02B21/36

【請求項の数】 20

(21)【出願番号】P 2021571069

(86)(22)【出願日】2020-01-14

(86)【国際出願番号】 JP2020000814

(87)【国際公開番号】W WO2021144830

(87)【国際公開日】2021-07-22

【審査請求日】2022-06-24

(73)【特許権者】

【識別番号】322004393

【氏名又は名称】株式会社エビデント

(74)【代理人】

【識別番号】100121083

【弁理士】

【氏名又は名称】青木 宏義

(74)【代理人】

【識別番号】100138391

【弁理士】

【氏名又は名称】天田 昌行

(74)【代理人】

【識別番号】100074099

【弁理士】

【氏名又は名称】大菅 義之

(74)【代理人】

【識別番号】100182936

【弁理士】

【氏名又は名称】矢野 直樹

(72)【発明者】

【氏名】磯野 加奈子

(72)【発明者】

【氏名】久保 博一

【審査官】堀井 康司

(56)【参考文献】

【文献】特開２０１６－１４３０３０（ＪＰ，Ａ）

【文献】特開２０１６－０１８３０９（ＪＰ，Ａ）

【文献】特開２０１１－２０５３４７（ＪＰ，Ａ）

【文献】特開２０１１－１００２０４（ＪＰ，Ａ）

【文献】特開２０１６－００１２２７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０２Ｂ １９／００－２１／００

Ｇ０２Ｂ ２１／０６－２１／３６

(57)【特許請求の範囲】

【請求項1】

スキャナと、
ＰＰＤ（Ｐｉｘｅｌａｔｅｄ Ｐｈｏｔｏｎ Ｄｅｔｅｃｔｏｒ）と、
少なくとも１つのプロセッサと、を備え、
前記少なくとも１つのプロセッサは、
識別すべき階調の範囲である識別範囲を第１画像の階調分布に基づいて設定する設定画面を表示部に表示し、
少なくとも前記識別範囲に基づいて前記第１画像が変換された第２画像を前記表示部に表示する、ように構成され、
前記第１画像は、前記ＰＰＤで検出された光の強度信号と前記スキャナによる走査位置とに基づいて生成され、
前記少なくとも１つのプロセッサは、前記識別範囲を有する入力階調範囲と、前記第２画像を構成する各画素のビット数により算出される出力階調範囲と、を対応付けた情報に基づいて、前記第１画像を前記第２画像に変換する、ように構成される
ことを特徴とする画像処理システム。

【請求項2】

請求項１に記載の画像処理システムにおいて、
前記設定画面は、
前記識別範囲の上限を設定する上限領域と、
前記識別範囲の下限を設定する下限領域と、を含む
ことを特徴とする画像処理システム。

【請求項3】

請求項２に記載の画像処理システムにおいて、
前記少なくとも１つのプロセッサは、
前記上限領域に前記識別範囲の上限の初期値を表示し、
前記下限領域に前記識別範囲の下限の初期値を表示する、ように構成される
ことを特徴とする画像処理システム。

【請求項4】

請求項３に記載の画像処理システムにおいて、
前記少なくとも１つのプロセッサは、
光電子増倍管（ＰＭＴ：Ｐｈｏｔｏ ｍｕｌｔｉｐｌｉｅｒ ｔｕｂｅ）を含む画像処理システムを使用する場合に利用者が望む画像のコントラストを得るために前記ＰＭＴに加えるであろう電圧を取得し、
前記電圧が加えられた前記ＰＭＴで検出可能なフォトン数を推定し、
前記フォトン数のフォトンが前記ＰＰＤに入射した場合に前記ＰＰＤから出力される強度信号に対応する階調を、前記上限領域に、前記上限の初期値として表示する、ように構成される
ことを特徴とする画像処理システム。

【請求項5】

請求項３に記載の画像処理システムにおいて、
前記少なくとも１つのプロセッサは、
検出すべきフォトン数を取得し、
前記フォトン数のフォトンが前記ＰＰＤに入射した場合に前記ＰＰＤから出力される強度信号に対応する階調を、前記上限領域に、前記上限の初期値として表示する、ように構成される
ことを特徴とする画像処理システム。

【請求項6】

請求項１に記載の画像処理システムにおいて、
前記設定画面は、
前記識別範囲を設定する識別範囲領域と、
前記識別範囲領域に近接して配置された、前記第２画像を調整する調整領域と、を含む
ことを特徴とする画像処理システム。

【請求項7】

請求項６に記載の画像処理システムにおいて、
前記調整領域は、光源の出力を設定する領域、前記強度信号のオフセットを設定する領域、又は、デジタルゲインを設定する領域、の少なくとも１つを含む
ことを特徴とする画像処理システム。

【請求項8】

請求項１に記載の画像処理システムにおいて、
前記設定画面は、
前記識別範囲を設定する第１スライダを含む識別範囲領域と、
前記識別範囲領域に近接して配置された、光源の出力を設定する第２スライダを含む光源出力領域と、を含み、
前記第２画像のコントラストが高くなる前記第１スライダの移動方向と、前記第２画像のコントラストが高くなる前記第２スライダの移動方向とが、一致する
ことを特徴とする画像処理システム。

【請求項9】

請求項１乃至請求項８のいずれか１項に記載の画像処理システムにおいて、
前記少なくとも１つのプロセッサは、前記識別範囲の自動設定が有効な場合に、
少なくとも前記第１画像に基づいて前記識別範囲を設定する、ように構成される
ことを特徴とする画像処理システム。

【請求項10】

請求項９に記載の画像処理システムにおいて、
前記少なくとも１つのプロセッサは、
前記第１画像を構成する画素の階調のヒストグラムを算出し、
少なくとも前記ヒストグラムに基づいて前記識別範囲を設定する、ように構成される
ことを特徴とする画像処理システム。

【請求項11】

請求項１０に記載の画像処理システムにおいて、
前記少なくとも１つのプロセッサは、
無効とする画素の割合を取得し、
前記ヒストグラムの端部から前記割合に対応する個数の画素のデータを除外する、ように構成される
ことを特徴とする画像処理システム。

【請求項12】

請求項１０又は請求項１１に記載の画像処理システムにおいて、
前記少なくとも１つのプロセッサは、前記スキャナが繰り返し走査している期間中、強度信号を含むパケットを受信する毎に、１フレーム相当の強度信号に基づいて、前記ヒストグラムを更新する
ことを特徴とする画像処理システム。

【請求項13】

請求項１２に記載の画像処理システムにおいて、
前記少なくとも１つのプロセッサは、前記パケットに含まれる強度信号が１フレーム相当のデータに満たない場合には、各ラインの最新の強度信号からなる１フレーム相当の強度信号に基づいて、前記ヒストグラムを更新する
ことを特徴とする画像処理システム。

【請求項14】

請求項１２に記載の画像処理システムにおいて、
前記少なくとも１つのプロセッサは、前記パケットに１フレーム以上の強度信号が含まれるには、前記パケットに含まれる最新のフレームの強度信号に基づいて、前記ヒストグラムを更新する
ことを特徴とする画像処理システム。

【請求項15】

請求項９乃至請求項１４のいずれか１項に記載の画像処理システムにおいて、
前記設定画面は、
前記識別範囲を手動で設定する識別範囲領域と、
前記識別範囲領域に近接して配置された、前記識別範囲の手動設定と自動設定とを切り替える切替領域と、を含む
ことを特徴とする画像処理システム。

【請求項16】

請求項１乃至請求項１５のいずれか１項に記載の画像処理システムにおいて、
前記少なくとも１つのプロセッサは、少なくとも２つの異なる深さに対して設定された複数の識別範囲に基づいて、深さ毎の識別範囲を設定する
ことを特徴とする画像処理システム。

【請求項17】

請求項１６に記載の画像処理システムにおいて、
前記少なくとも１つのプロセッサは、前記複数の識別範囲に基づいて線形補間により深さ毎の識別範囲を設定する
ことを特徴とする画像処理システム。

【請求項18】

請求項１乃至請求項１７のいずれか１項に記載の画像処理システムにおいて、さらに、
前記第１画像と前記第２画像の少なくとも一方を、前記識別範囲と関連付けて記憶するメモリを備える
ことを特徴とする画像処理システム。

【請求項19】

請求項１乃至請求項１８のいずれか１項に記載の画像処理システムにおいて、
前記少なくとも１つのプロセッサは、１画素当たりの露光時間が変更された場合に、少なくとも変更前後の露光時間に基づいて、前記識別範囲を補正する
ことを特徴とする画像処理システム。

【請求項20】

設定画面を表示部に表示することと、
第１画像が変換された第２画像を前記表示部に表示することと、を含み、
前記設定画面は識別すべき階調の範囲である識別範囲を前記第１画像の階調分布に基づいて設定する画面であり、
前記第１画像は、ＰＰＤ（Ｐｉｘｅｌａｔｅｄ Ｐｈｏｔｏｎ Ｄｅｔｅｃｔｏｒ）で検出された光の強度信号とスキャナによる走査位置とに基づいて生成され、
前記第２画像は、少なくとも前記識別範囲に基づいて前記第１画像が変換された画像であり、
さらに、前記第２画像は、前記識別範囲を有する入力階調範囲と、前記第２画像を構成する各画素のビット数により算出され出力階調範囲とを対応付けた情報に基づいて前記第１画像が変換された画像である
ことを特徴とする画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、画像処理システムに関し、特に、Ｐｉｘｅｌａｔｅｄ Ｐｈｏｔｏｎ Ｄｅｔｅｃｔｏｒ（以降、ＰＰＤと記す）を備える画像処理システムに関する。

【背景技術】

【0002】

ＰＰＤは、マルチピクセル化したアバランシェフォトダイオード（ＡＰＤ：Ａｖａｌａｎｃｈｅ Ｐｈｏｔｏｄｉｏｄｅ）の一種である。ＰＰＤは、ガイガーモードで動作することで、１フォトンに対して感度を有し、且つ、フォトン数に比例した出力を得ることができる。

【0003】

ＰＰＤを採用した顕微鏡システムは、例えば、特許文献１に記載されている。特許文献１には、印加電圧を変更することで、ＰＰＤからの出力を調整することが記載されている。

【先行技術文献】

【特許文献】

【0004】

【文献】米国特許出願公開第２０１６／０１８１４５９号明細書

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１に記載されるように、光検出器にＰＰＤが採用されている場合であっても、印加する電圧を調整することで、光検出器でのゲインを調整することができる。この点は、光検出器に光電子増倍管（ＰＭＴ：Ｐｈｏｔｏｍｕｌｔｉｐｌｉｅｒ Ｔｕｂｅ）が採用されている場合と同様である。

【0006】

従って、ＰＰＤを採用した顕微鏡システムでも、ＰＭＴを採用した従来の顕微鏡システムと同様に、光検出器へ印加する電圧を調整することで画像のコントラストを調整することができる。ＰＭＴの場合、印加電圧を変更することによって光検出器でのゲインを調整すると、シグナルとノイズのレベルは変化するが、Ｓ／Ｎは変化しない。しかしながら、ＰＰＤの場合、印加電圧を変更することによって光検出器でのゲインを調整するとシグナルが変化する以上にノイズのレベルが変化してしまい、その結果、Ｓ／Ｎも変化してしまう。

【0007】

以上のような実情を踏まえ、本開示の一つの目的は、ＰＰＤを備える画像処理システムにおいて、画像のコントラスト調整を容易に行う技術を提供することである。

【課題を解決するための手段】

【0008】

本開示の一態様に係る画像処理システムは、スキャナと、ＰＰＤ（Ｐｉｘｅｌａｔｅｄ Ｐｈｏｔｏｎ Ｄｅｔｅｃｔｏｒ）と、少なくとも１つのプロセッサと、を備え、前記少なくとも１つのプロセッサは、識別すべき階調の範囲である識別範囲を第１画像の階調分布に基づいて設定する設定画面を表示部に表示し、少なくとも前記識別範囲に基づいて第１画像が変換された第２画像を前記表示部に表示する、ように構成され、前記第１画像は、前記ＰＰＤで検出された光の強度信号と前記スキャナによる走査位置とに基づいて生成され、前記少なくとも１つのプロセッサは、前記識別範囲を有する入力階調範囲と、前記第２画像を構成する各画素のビット数により算出される出力階調範囲と、を対応付けた情報に基づいて、前記第１画像を前記第２画像に変換する、ように構成されることを特徴とする。
本開示の一態様に係る画像処理方法は、設定画面を表示部に表示することと、第１画像が変換された第２画像を前記表示部に表示することと、を含み、前記設定画面は、識別すべき階調の範囲である識別範囲を前記第１画像の階調分布に基づいて設定する画面であり、前記第１画像は、ＰＰＤ（Ｐｉｘｅｌａｔｅｄ Ｐｈｏｔｏｎ Ｄｅｔｅｃｔｏｒ）で検出された光の強度信号とスキャナによる走査位置とに基づいて生成され、前記第２画像は、少なくとも前記識別範囲に基づいて前記第１画像が変換された画像であり、さらに、前記第２画像は、前記識別範囲を有する入力階調範囲と、前記第２画像を構成する各画素のビット数により算出され出力階調範囲とを対応付けた情報に基づいて前記第１画像が変換された画像である。

【発明の効果】

【0009】

本開示によれば、ＰＰＤを備える画像処理システムにおいて、画像のコントラスト調整を容易に行うことができる。

【図面の簡単な説明】

【0010】

【図1】一実施形態に係る画像処理システム１の構成を例示した図である。

【図2】ルックアップテーブル（ＬＵＴ：ＬｏｏｋＵｐ Ｔａｂｌｅ）を用いた階調変換について説明するための図である。

【図3】画像処理システム１が行う第１の実施形態に係る処理のフローチャートである。

【図4】設定画面の一例を示した図である。

【図5】ＬＵＴの入力階調と出力階調の関係の一例を示した図である。

【図6】推奨値を算出するための情報を入力する画面の一例を示した図である。

【図7】ヒストグラムから識別範囲を算出する方法の一例を説明するための図である。

【図8】無効画素を設定するための情報を入力する画面の一例を示した図である。

【図9】ヒストグラムの更新方法の一例を説明するための図である。

【図10】スキャン設定画面の一例を示した図である。

【図11】スキャナの切り替え方法の一例を説明するための図である。

【図12】設定画面の変形例を示した図である。

【図13】画像処理システム１が行う第２の実施形態に係る処理のフローチャートである。

【図14】Ｚ位置毎の識別範囲を設定する画面の一例を示した図である。

【図15】画像と識別範囲の保存方法の一例を説明するための図である。

【図16】画像と識別範囲の保存方法の別の例を説明するための図である。

【発明を実施するための形態】

【0011】

図１は、一実施形態に係る画像処理システム１の構成を例示した図である。図２は、ルックアップテーブル（ＬＵＴ：ＬｏｏｋＵｐ Ｔａｂｌｅ）を用いた階調変換について説明するための図である。以下、図１及び図２を参照しながら、画像処理システム１について説明する。

【0012】

画像処理システム１は、図１に示すように、光学機器１００と、光学機器１００に接続されたコンピュータ１０と、コンピュータ１０に接続された表示装置２０及び入力装置３０と、を備えている。光学機器１００は、例えば、レーザ走査型顕微鏡の本体であり、画像処理システム１は、例えば、レーザ走査型顕微鏡システムである。

【0013】

光学機器１００は、サンプルを光で走査するスキャナと、ガイガーモードで動作するＰＰＤ１１１と、を含んでいる。コンピュータ１０は、ＰＰＤ１１１で検出された光の強度信号とスキャナの走査位置とに基づいて生成した画像のコントラストをＬＵＴを用いて調整して、コントラストが調整された画像を表示装置２０に表示する。また、コンピュータ１０は、入力装置３０を用いて利用者が入力した情報に基づいて光学機器１００を制御してもよい。以下、画像処理システム１の各構成についてさらに詳細に説明する。

【0014】

光学機器１００では、スキャンユニット１０５が、レーザ１０７から出射したレーザ光でステージ１０１上のサンプルを走査し、ＰＰＤ１１１が、共焦点絞り１０９を含む共焦点光学系を経由して入射したサンプルからの光を検出する。そして、光学機器１００は、ＰＰＤ１１１で検出したサンプルからの光の強度信号と、スキャンユニット１０５による走査位置と、をコンピュータ１０へ出力する。

【0015】

光学機器１００は、ステージ１０１、対物レンズ１０２、焦準装置１０３、リレー光学系１０４、スキャンユニット１０５、ビームスプリッタ１０６、光源であるレーザ１０７、結像レンズ１０８、共焦点絞り１０９、レンズ１１０、及び、ＰＰＤ１１１を備えている。光学機器１００は、さらに、アナログ増幅器１１２、ＡＤ変換器１１３、デジタル増幅器１１４を備えている。

【0016】

レーザ１０７から出射し、ビームスプリッタ１０６で反射したレーザ光は、スキャンユニット１０５及びリレー光学系１０４を経由して、対物レンズ１０２に入射する。ビームスプリッタ１０６は、例えば、レーザ光を反射するダイクロイックミラーである。対物レンズ１０２は、レーザ光をステージ１０１上に配置されたサンプルに集光し、サンプルに光スポットを形成する。

【0017】

レーザ光が照射されたサンプルでは、蛍光物質が励起され、レーザ光とは異なる波長の蛍光が放射される。蛍光は、対物レンズ１０２、リレー光学系１０４、及び、スキャンユニット１０５を経由して入射するビームスプリッタ１０６を透過し、結像レンズ１０８によって共焦点絞り１０９に集光する。共焦点絞り１０９には、対物レンズ１０２の前側（サンプル側）の焦点位置と光学的に共役な位置に共焦点ピンホールが形成されている。このため、光スポットが形成された位置以外で生じた蛍光は共焦点絞り１０９で遮断され、光スポットが形成された位置で生じた蛍光だけが共焦点絞り１０９を通過してレンズ１１０を経由してＰＰＤ１１１で検出される。

【0018】

サンプルからの光を検出したＰＰＤ１１１は、入射フォトン数に応じた強度信号を出力する。ＰＰＤ１１１から出力された強度信号は、ＡＤ変換器１１３でのサンプリング前後に、アナログ増幅器１１２とデジタル増幅器１１４によって増幅される。光学機器１００は、アナログ増幅器１１２及びデジタル増幅器１１４で増幅された強度信号と、強度信号に対応する走査位置と、をコンピュータ１０へ出力する。

【0019】

スキャンユニット１０５は、互いに直交する方向にサンプルを走査する、少なくとも１組のスキャナを含んでいる。スキャンユニット１０５は、例えば、２つのガルバノスキャナを含んでもよく、ガルバノスキャナとレゾナントスキャナを含んでもよい。なお、スキャンユニット１０５に含まれるスキャナは、ガルバノスキャナ、レゾナントスキャナに限らない。光を偏向してサンプルを走査する構成であればよく、例えば、音響光学偏向器（ＡＯＤ）など、その他の光偏向器がスキャナに採用されてもよい。スキャナの振り角度を変更し、それによって、レーザ光を偏向する方向を変更することで、対物レンズ１０２の瞳面における光軸に対するレーザ光の角度を変更することが可能である。これにより、光スポットの位置を対物レンズ１０２の光軸と直交する方向に移動させることができる。光学機器１００は、コンピュータ１０からの命令に応じてスキャンユニット１０５を制御することで、レーザ光でサンプルをニ次元に走査することが可能であり、サンプルの二次元画像の構築に必要な情報を取得することができる。

【0020】

コンピュータ１０は、少なくとも１つのプロセッサ１１と、少なくとも１つのメモリ１２を備えていて、光学機器１００から出力された強度信号と強度信号に対応する走査位置とに基づいてサンプルの画像を生成する。なお、以降では、強度信号と走査位置とに基づいて生成された画像を、必要に応じて第１画像と記し、第１画像に対してコンピュータ１０がさらに画像処理を行うことによって生成される画像と区別する。

【0021】

少なくとも１つのメモリ１２には、画像のコントラストを調整するためのＬＵＴ１３が格納されている。少なくとも１つのプロセッサ１１は、少なくとも、ＬＵＴ１３を設定するための設定画面を表示装置２０に表示する第１表示処理と、ＬＵＴ１３を用いて第１画像が階調変換された表示用の第２画像を表示装置２０に表示する第２表示処理と、を行うように構成される。また、少なくとも１つのプロセッサ１１は、コントラストを調整するためにＬＵＴ１３を用いて第１画像を構成する各画素の階調を変換する階調変換処理と、を行うように構成されてもよい。

【0022】

プロセッサ１１は、メモリ１２に格納されているソフトウェアを実行することで上述した処理を行ってもよく、ハードウェア処理によって上述した処理を行ってもよく、又は、ソフトウェア処理とハードウェア処理の組み合わせによって上述した処理を行ってもよい。プロセッサ１１が実行するソフトウェアは、コンピュータ可読媒体に格納されている。プロセッサ１１は、任意の電気回路を含み、デジタル信号を処理する回路とアナログ信号を処理する回路の少なくとも１つを含むことができる。プロセッサ１１は、例えば、回路基板上の１つ又は複数の集積回路（ＩＣ：Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）を含み、さらに、１つ又は複数の電子部品を含むことができる。集積回路は、例えば、中央処理装置（ＣＰＵ：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）などであってもよい。集積回路は、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）などであってもよい。

【0023】

メモリ１２は、プロセッサ１１が実行するソフトウェアを格納したコンピュータ可読媒体を含んでいる。なお、本明細書において、コンピュータ可読媒体は、非一時的なコンピュータ可読媒体である。メモリ１２は、例えば、１つ又は複数の任意の半導体メモリ、１つ又は複数のその他の記憶装置、を含むことができる。半導体メモリは、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などの揮発性メモリ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、プログラマブルＲＯＭ、フラッシュメモリなどの不揮発性メモリを含んでいる。ＲＡＭには、例えば、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などが含まれてもよい。その他の記憶装置には、例えば、コンピュータ可読媒体として例えば磁気ディスクを含む磁気記憶装置、コンピュータ可読媒体として例えば光ディスクを含む光学記憶装置などが含まれてもよい。

【0024】

プロセッサ１１が行う第１表示処理は、第１画像が取り得る階調の範囲の中から識別範囲を設定する設定画面を表示する処理である。識別範囲は、識別すべき階調の範囲のことである。第１画像が取り得る階調の範囲は、画像を構成する各画素が何ビットで表されているか、即ち、第１画像を構成する各画素のビット数、に依存する。例えば、第１画像を構成する各画素のビット数が１２ビットであれば、第１画像の画素は、０から４０９５までの４０９６個の階調を取り得るため、プロセッサ１１は、０から４０９５の中から識別範囲を設定する設定画面を表示装置２０に表示する。

【0025】

プロセッサ１１が行う階調変換処理は、少なくとも識別範囲に基づいて第１画像を変換することによって、表示装置２０に表示するための第２画像を生成する処理である。具体的には、プロセッサ１１は、まず、設定された識別範囲に基づいてＬＵＴ１３を作成し、メモリ１２に格納する。詳細には、プロセッサ１１は、識別範囲を有する入力階調範囲と、第２画像を構成する各画素のビット数により算出される出力階調範囲と、を対応付けた情報を、ＬＵＴ１３としてメモリ１２に格納する。具体的には、例えば、第１画像が１２ビット画像であり、第２画像が、例えば、表示装置２０の表示階調範囲に合わせた８ビット画像であり、設定された識別範囲が１０００から２０００の場合であれば、１０００から２０００の入力階調範囲と、０から２５５の出力階調範囲と、を対応付けた情報を、ＬＵＴ１３としてメモリ１２に格納する。なお、グレースケールで表示する場合は前途の通りであるが、カラーで表示する場合は、第２画像はＲＧＢ各８ビットから構成される２４ビット画像であり、例えば、赤単色の場合は、１０００から２０００の入力階調範囲に対してＲを０から２５５段階の出力階調範囲に対応付け、Ｇを全て０に対応付け、Ｂを全て０に対応づけた情報をＬＵＴ１３としてメモリ１２に格納する。また、黄緑のような混合色の場合は、１０００から２０００の入力階調範囲に対してＲを０から１２３段階の出力階調範囲に対応付け、Ｇを０から２５５段階の出力階調範囲に対応付け、Ｂを全て０に対応付けた情報をＬＵＴ１３としてメモリ１２に格納する。その後、プロセッサ１１は、入力画像である第１画像の各画素の階調をＬＵＴ１３を用いて階調変換することで、出力画像である第２画像を生成する。即ち、ＬＵＴ１３に基づいて第１画像を第２画像に変換する。

【0026】

プロセッサ１１が行う第２表示処理は、少なくとも識別範囲に基づいて第１画像が変換された第２画像を表示装置２０に表示する処理である。これにより、例えば、図２に示すように、画像に含まれる階調範囲がグラフＧ１で示す範囲からグラフＧ２の実線に示す範囲に変換されるため、画像の階調範囲が表示装置２０の表示階調範囲に単純に投影される場合（グラフＧ２の点線）よりも広いダイナミックレンジを有する第２画像を得ることができる。なお、画像のダイナミックレンジとは、画像を構成する画素が有する最大階調と最小階調の比を用いて表される。

【0027】

表示装置２０は、画像処理システム１の表示部の一例である。表示装置２０は、例えば、液晶ディスプレイ、有機ＥＬディスプレイ、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイなどである。表示装置２０には、例えば、設定画面が表示される。入力装置３０は、画像処理システム１の入力部の一例である。入力装置３０は、利用者の操作に応じた操作信号をコンピュータ１０へ出力する。入力装置３０は、例えば、キーボードであるが、マウス、ジョイスティック、タッチパネル、スタイラスなどを含んでもよい。

【0028】

画像処理システム１では、光検出器にＰＰＤ１１１が用いられている。ＰＰＤ１１１は、１フォトンに対して感度を有する画素を並列接続したマルチピクセル構造を有し、複数の画素が配列された受光面を有している。１画素が検出できるフォトン数は単位時間当たり１フォトン程度であるが、ＰＰＤ１１１がマルチピクセル構造を有することで、受光面に入射したフォトン数に比例した出力を得ることが可能である。そのため、画像処理システム１では、１フォトンという微弱な光を検出しながら、ある程度の数のフォトンまでを飽和することなく検出することが可能であり、高い分解能と広いダイナミックレンジに対応可能である。具体的には、例えば、サンプルの蛍光色素の褪色を考慮して数μｓｅｃ当たり１フォトンを検出した際に１階調の出力が得られるような印加電圧を設定することで、高い分解能と広いダイナミックレンジを両立可能である。従って、画像処理システム１によれば、高い分解能と広いダイナミックレンジを有する画像を得ることができる。

【0029】

また、画像処理システム１では、ＬＵＴ１３を用いたデジタル変換によってコントラストが調整された新たな画像が生成される。このため、コントラスト調整の目的で、光検出器への印加電圧を変更する必要がない。従って、印加電圧を一定に保つことができるため、印加電圧の変更に伴うノイズレベルの変動を回避しながら、より広いコントラストを有するように画像のコントラストを調整することができる。なお、印加電圧の変更に伴って生じるノイズとしては、例えば、ダークカウント、クロストーク、アフターパルスなどが挙げられる。

【0030】

また、ＰＤ１１１を備える画像処理システム１は、フォトンカウンタとしても利用可能である。画像処理システム１では、ＰＰＤ１１１への印加電圧を一定に保つことで、１フォントに対する強度信号のレベルを一定に維持することができるため、フォトンカウントの精度を容易に維持することができる。

【0031】

さらに、画像処理システム１では、表示装置２０に識別範囲を設定する設定画面が表示される。このため、利用者が望む任意の階調範囲を識別範囲に設定して、識別範囲を最大階調範囲にまで拡大することで、高いコントラストの画像を容易に得ることができる。

【0032】

以上のように、画像処理システム１によれば、光検出器への印加電圧を変更する代わりにＬＵＴ１３を用いたデジタル画像処理を施すことで、ＰＰＤ１１１を採用することで得られる様々なメリットを享受しながら、容易に画像のコントラストを調整することができる。

【0033】

これに対して、光検出器としてＰＭＴを採用した従来の画像処理システムでは、画像のコントラストを調整する方法として、印加電圧を調整する方法が伝統的に採用されている。これは、ＰＭＴでは、広いダイナミックレンジと１フォトンレベルの分解能とを両立することが困難であり、そのため、ダイナミックレンジと分解能のバランスを調整する目的で印加電圧の調整が元々行われていたためである。つまり、従来の画像処理システムでは、コントラストを印加電圧を用いて調整する場合には、バランス調整とコントラスト調整を単一の作業で行うことができるのに対して、コントラストをＬＵＴを用いて調整する場合、バランス調整とコントラスト調整を別々の作業として行うことになるとの理由で、ＬＵＴの利用が敬遠されていたためである。

【0034】

光検出器にＰＰＤを採用した場合も、印加電圧の変更によって画像のコントラスト調整を行うといった方法が採用されるのが通常である。特許文献１に記載されるシステムは、まさにその具体例である。これに対して、本願の出願人は、ＰＰＤの特徴を考慮してコントラスト調整方法を鋭意検討した結果、ＰＭＴとは異なる方法でコントラスト調整を行うことが望ましいこと、特に、ＬＵＴを用いてコントラスト調整を行うことが望ましいことを見出した。

【0035】

画像のコントラストを調整するその他の方法としては、例えば、アナログゲインを調整する回路を光学機器１００に設ける方法が考えられる。しかしながら、この方法でコントラストを十分に調整するためには、可変抵抗器を用いる必要があるが、可変抵抗器は一般に固定抵抗器よりも抵抗温度係数が大きい。このため、この方法で微妙なコントラストを調整することは難しい。

【0036】

以下、上述した画像処理システム１を用いた処理の具体例について説明する。

【0037】

［第１の実施形態］
図３は、画像処理システム１が行う本実施形態に係る処理のフローチャートである。図４は、設定画面の一例を示した図である。図５は、ＬＵＴの入力階調と出力階調の関係の一例を示した図である。図６は、推奨値を算出するための情報を入力する画面の一例を示した図である。図７は、ヒストグラムから識別範囲を算出する方法の一例を説明するための図である。図８は、無効画素を設定するための情報を入力する画面の一例を示した図である。図９は、ヒストグラムの更新方法の一例を説明するための図である。図１０は、スキャン設定画面の一例を示した図である。図１１は、スキャナの切り替え方法の一例を説明するための図である。以下、図３から図１１を参照しながら、画像処理システム１が行う本実施形態に係る処理について説明する。

【0038】

本実施形態では、画像処理システム１は、図３に示すように、まず、本番撮影前に観察条件を設定する（ステップＳ１）。画像処理システム１は、その後、設定した観察条件で本番撮影を行い（ステップＳ２）、最後に、撮影結果のデータを記憶する（ステップＳ３）。

【0039】

ステップＳ１では、コンピュータ１０のプロセッサ１１は、例えば、表示装置２０に設定画面である画面２１を表示する。画面２１には、図４に示すように、複数のグラフィカルユーザインタフェース（ＧＵＩ）部品が配置されている。また、画面２１には、複数のＧＵＩ部品に加えて、光学機器１００で取得した第１画像を識別範囲に基づいて変換した第２画像が表示されてもよい。第２画像が表示されることで、利用者は、第２画像を見ながら複数のＧＵＩ部品を操作して観察条件を変更することができる。利用者は、観察条件の変更による第２画像の変化を観察することで、望ましい観察条件を探索することができる。なお、観察条件には、例えば、光学機器１００の構成要素（スキャンユニット１０５、レーザ１０７、ＰＰＤ１１１など）の動作設定、画像処理設定などが含まれる。

【0040】

リストボックスＬ１は、検出チャンネルを変更するための部品である。光学機器１００が複数の光検出器（検出チャンネル）を備えている場合には、リストボックスＬ１を用いて検出チャンネルを変更することができる。図４には、第１チャンネル（ＣＨ１）が選択された状態が示されている。第１チャンネルは、例えば、ＰＰＤ１１１である。なお、この例では、単一のチャンネルが選択される例を示したが、複数のチャンネルが選択されて同時に利用されてもよい。

【0041】

ボタンＢ１１及びボタンＢ１２は、リピートボタンである。ボタンＢ１１が押下されることでリピートスキャンが開始されて、画面２１にボタンＢ１２が表示される。また、ボタンＢ１２が押下されることでリピートスキャンが終了されて、画面２１にボタンＢ１１が表示される。即ち、ボタンＢ１１は、リピートスキャンが実行されていない状態を示し、ボタンＢ１２は、リピートスキャンが実行されている状態を示している。ボタンＢ１２が表示されている状態では、画面２１には、リピートスキャンで撮影したサンプルの最新の画像（第２画像）が表示される。なお、リピートスキャンとは、スキャンユニット１０５がサンプルを繰り返し走査する処理のことであり、リピートスキャンを実行することで、表示装置２０に表示されている画像が随時更新される。

【0042】

リストボックスＬ２は、レーザ１０７から出射されるレーザ光の波長を変更するための部品である。図４には、レーザ波長として４４５ｎｍが選択された状態が示されている。テキストボックスＴ１とスライダＳＬ１は、レーザ１０７の出力を設定するための部品であり、レーザ１０７の出力を設定する光源出力領域を構成する。図４には、レーザ１０７の出力が０である状態が示されている。テキストボックスＴ１内の数値を変更すること、又は、スライダＳＬ１をスライドすることで、出力を調整することができる。

【0043】

テキストボックスＴ２とスライダＳＬ２は、デジタル増幅器１１４でのデジタルゲインを設定するための部品であり、デジタルゲインを設定する領域を構成する。図４には、デジタルゲインが１倍である状態が示されている。テキストボックスＴ２内の数値を変更すること、又は、スライダＳＬ２をスライドすることで、デジタルゲインを調整することができる。

【0044】

テキストボックスＴ３とスライダＳＬ３は、ＰＰＤ１１１から出力される強度信号のオフセットを設定するための部品であり、オフセットを設定する領域を構成する。図４には、オフセットが既定値の０％である状態が示されている。テキストボックスＴ３内の数値を変更すること、又は、スライダＳＬ３をスライドすることで、オフセットを調整することができる。

【0045】

テキストボックスＴ４とスライダＳＬ４は、識別範囲の上限を設定するための部品であり、識別範囲の上限を設定する上限領域を構成する。図４には、識別範囲の上限が２０００である状態が示されている。テキストボックスＴ５とスライダＳＬ５は、識別範囲の下限を設定するための部品であり、識別範囲の下限を設定する下限領域を構成する。図４には、識別範囲の下限が１０００である状態が示されている。図４に示す画面２１には、上限領域と下限領域が含まれていて、識別範囲が１０００から２０００に設定されている状態が示されている。テキストボックスＴ４及びテキストボックスＴ５内の数値を変更すること、又は、スライダＳＬ４及びスライダＳＬ５をスライドすることで、識別範囲を調整することができる。

【0046】

識別範囲が調整されると、プロセッサ１１は、メモリ１２に格納したＬＵＴ１３を更新する。例えば、図４に示すように、識別範囲が１０００から２０００に設定された場合であれば、図５に示すように、ＬＵＴ１３を、グラフＧ３に示す入力階調と出力階調との関係に更新する。より詳細には、入力階調１０００以下を出力階調０に対応付け、入力階調１０００から２０００を出力階調０（最小階調値）から２５５（最大階調値）に線形に対応付け、入力階調２０００以上を出力階調２５５に対応付ける。グラフＧ３に示す関係を有するＬＵＴ１３を用いることで、第１画像における１０００から２０００までの階調範囲を０から２５５の階調範囲に拡大した第２画像を表示することができる。また、ここでは第２画像の階調範囲を一般的な表示装置の表示階調範囲に合わせて０～２５５の範囲としているが、第２画像の階調範囲は、表示装置の表示階調範囲に合わせて、適宜、設定すればよい。例えば、表示装置の表示階調範囲が１２ビットで０～４０９５の範囲であれば、第２画像の階調範囲も０～４０９５に設定すればよい。

【0047】

上限領域と下限領域は、識別範囲を設定する識別範囲領域を構成している。画面２１に上限領域と下限領域が含まれることで、識別範囲の上限と下限を独立に設定することができるため、高い自由度で識別範囲を調整することが可能となる。また、画面２１は、識別範囲領域に加えて、識別範囲領域に近接して配置された、第２画像を調整する調整領域を含んでいる。図４には、調整領域が、レーザ１０７の出力を設定する領域、デジタルゲインを設定する領域、及び、オフセットを設定する領域を含む例が示されているが、調整領域は、レーザ１０７の出力を設定する領域、デジタルゲインを設定する領域、又は、オフセットを設定する領域の少なくとも１つを含んでいればよい。識別範囲領域に近接して調整領域が含まれることで、画像のコントラスト調整のための種々の設定を一つの画面上でまとめて行うことが可能であり、操作性の高いシステムを提供することができる。

【0048】

また、識別範囲領域及び調整領域に含まれるＧＵＩ部品は、入力装置３０を用いて手動で操作することができるが、プロセッサ１１は、これらのＧＵＩ部品に初期値を設定してもよい。例えば、プロセッサ１１は、上限領域に識別範囲の上限の初期値を表示し、下限領域に識別範囲の下限の初期値を表示してもよい。適切な初期値が設定されることで、利用者の操作によってコントラストを調整する前から、ある程度高いコントラストを有するサンプルの画像を表示することができる。従って、レーザ１０７の出力を過度に上げることなく、その後のコントラスト調整を比較的短時間で行うことが可能となるため、観察条件の設定工程で生じるサンプルへのダメージを抑制することができる。特に、蛍光観察に画像処理システム１を使用する場合であれば、サンプルの退色を抑制することができる。

【0049】

識別範囲の上限の初期値は、例えば、予め決められたプリセット値であってもよく、又は、後述する推奨値であってもよい。また、識別範囲の下限の初期値は、例えば、予め決められたプリセット値であってもよく、又は、ＰＰＤ１１１に光が入射していないときに出力される強度信号の階調に相当する値であってもよい。プリセット値は、利用者が任意に設定可能である。

【0050】

推奨値は、利用者が入力した情報に基づいてコンピュータ１０が算出した値である。画像処理システム１では、ボタンＢ３を押下することで、図６に示す推奨値を算出するための情報を入力する画面２２が表示される。画面２２には、フォトン数から推奨値を算出する場合に選択されるラジオボタンＲ１と、ＰＭＴの印加電圧から推奨値を算出する場合に選択されるラジオボタンＲ２と、が含まれている。

【0051】

テキストボックスＴ６は、検出すべきフォトン数、より詳細には、１画素当たりに検出すべきフォトン数、を設定するための部品である。ラジオボタンＲ１を選択した状態でＯＫボタンが押下されると、プロセッサ１１は、テキストボックスＴ６から検出すべきフォトン数を取得し、取得したフォトン数のフォトンがＰＰＤ１１１に入射した場合にＰＰＤ１１１から出力される強度信号に対応する階調を推奨値として算出し、さらに、算出した推奨値を、画面２１の上限領域に初期値として表示する。これにより、検出すべきフォトン数のフォトンがＰＰＤ１１１に入射した場合であっても飽和しないという条件で、ＬＵＴ１３が更新される。このため、ＬＵＴ１３を用いて、フォトン数の正確なカウントと高いコントラストの画像の表示とを両立することができる。

【0052】

なお、具体的な計算方法は、例えば、以下のとおりである。検出すべきフォトン数をＰＨとし、ＰＰＤ１１１でのゲイン（つまり、１フォトン当たりの階調数）をＧ１とすると、推奨値は、ＰＨ×Ｇ１で算出される。

【0053】

テキストボックスＴ７は、ＰＭＴに加える電圧、より詳細には、従来の画像処理システムを使用する場合に利用者が望む画像のコントラストを得るためにＰＭＴに印加するであろう電圧、を設定するための部品である。ラジオボタンＲ２を選択した状態でＯＫボタンが押下されると、プロセッサ１１は、テキストボックスＴ７に示される印加電圧が加わったＰＭＴで検出可能なフォトン数を推定し、推定したフォトン数のフォトンがＰＰＤ１１１に入射した場合にＰＰＤ１１１から出力される強度信号に対応する階調を推奨値として算出し、さらに、算出した推奨値を、画面２１の上限領域に初期値として表示する。これにより、ＰＭＴを備える従来の画像処理システムに慣れている利用者であっても容易に適切な識別範囲を設定して、ＬＵＴ１３を更新することができる。このため、操作性の高い画像処理システム１を提供することができる。

【0054】

なお、具体的な計算方法は、例えば、以下のとおりである。第２画像を構成する各画素の最大階調数をＳＩＧとし、バックグラウンド強度をＢＧとし、ＰＰＤ１１１でのゲインをＧ１とし、テキストボックスＴ７から取得した電圧を加えたときのＰＭＴでのゲインをＧ２とすると、推奨値は、（ＳＩＧ－ＢＧ）／Ｇ２×Ｇ１＋ＢＧで算出される。ここで、バックグラウンド強度とは光が入射しない時に設定される階調であって、システムに予め設定された値である。バックグラウンド強度の階調を０ではなく、少し浮かせることにより、光が入射しない時の出力信号が温度変化によって変動しても、階調データが０以下になることを回避することができる。

【0055】

ボタンＢ２１及びボタンＢ２２は、自動設定ボタンである。ボタンＢ２１が押下されることで識別範囲の自動設定が有効になり、画面２１にボタンＢ２２が表示される。また、ボタンＢ２２が押下されることで識別範囲の手動設定が有効になり、画面２１にボタンＢ２１が表示される。即ち、ボタンＢ２１は、識別範囲の手動設定状態を示し、ボタンＢ２２は、識別範囲の自動設定状態を示している。ボタンＢ２１及びボタンＢ２２は、識別範囲の手動設定と自動設定を切り替える切替領域を構成する。図４に示すように、画面２１は、識別範囲を手動で設定する識別範囲領域と、切替領域と、を含み、切替領域は、識別範囲領域に近接して配置されている。

【0056】

プロセッサ１１は、識別範囲の自動設定が有効な場合に、少なくとも第１画像に基づいて識別範囲を設定し、少なくとも設定した識別範囲に基づいて第２画像を生成する。より詳細には、プロセッサ１１は、第１画像を構成する画素の階調のヒストグラムを算出し、少なくとも算出したヒストグラムに基づいて識別範囲を設定する。ヒストグラムを算出することで、画像がどのような階調の画素で構成されているかを知ることができるため、画像に必要な階調範囲を絞り込んで識別範囲を適切に設定することができる。例えば、ヒストグラムが表す階調分布の最小値（つまり、第１画像に含まれる最小の階調値）から階調分布の最大値（つまり、第１画像に含まれる最大の階調値）までを識別範囲に設定してもよい。

【0057】

また、画像にノイズ成分が含まれている場合には、階調分布の最小値から最大値までの階調範囲は識別範囲として適切でないことがある。このため、プロセッサ１１は、ノイズ成分の影響を排除するために所定の割合の画素を無効化してもよく、無効画素の割合とヒストグラムとに基づいて識別範囲を設定してもよい。具体的には、プロセッサ１１は、図７に示すように、算出したヒストグラムの端部から、無効画素の割合に対応する個数の画素を除外してもよい。即ち、図７のグラフＧ４に示すように、有効画素の最小の階調値から最大の階調値までを識別範囲に設定してもよい。これにより、ノイズ成分の影響を抑制して適切な識別範囲を自動的に設定することが可能となる。なお、図７には、上位２％と下位２％の画素を無効化する例が示されている。

【0058】

無効画素の割合は、予め決められたプリセット値であってもよく、又は、利用者が任意に設定してもよい。画像処理システム１では、ボタンＢ２１を押下することで、図８に示す無効画素を設定するための情報を入力する画面２３が表示されてもよい。画面２３には、第１画像のヒストグラムＨ１と、階調と表示装置２０に表示される色との関係を示すカラーバーＣ１と、テキストボックスＴ８からＴ１１が含まれている。

【0059】

テキストボックスＴ８とテキストボックスＴ９は、識別範囲の最小値と最大値を設定するための部品であり、第１画像に含まれる最小の階調値と最大の階調値が初期値として設定されている。テキストボックスＴ１０とテキストボックスＴ１１は、無効画素の割合を設定するための部品であり、テキストボックスＴ１０は、ヒストグラムの下端から何パーセントの画素を無効化するか、テキストボックスＴ１１はヒストグラムの上端から何パーセントの画素を無効化するかを設定する部品である。図８には、無効画素の割合が０％に設定されている例が示されている。

【0060】

図８に示すように、ヒストグラムＨ１を表示した画面２３上で無効画素の割合を利用者に設定させることで、画像のノイズ成分を適切に無効化することが容易になる。

【0061】

ところで、光学機器１００とコンピュータ１０の間では、強度信号を含むパケットがやり取りされる。リピートスキャンの実行中、即ち、スキャンユニット１０５が繰り返し走査している期間中、プロセッサ１１は、識別範囲の自動設定が有効な場合には、パケットを受信する毎に、１フレーム相当の強度信号に基づいて、ヒストグラムを更新することが望ましい。これにより、最新の情報に基づいて識別範囲を設定することができるため、適切な範囲を識別範囲に設定することができる。

【0062】

しかしながら、１つのパケットに含まれる信号強度のデータサイズは、適切な時間間隔で画像転送及び画像表示が行われるように、ピクセル積算時間、画像サイズ、スキャンモード、同時使用チャンネル数などによって変化する。これは、１つのパケットに含まれる信号強度のデータサイズが大きくなりすぎると、画像の更新頻度が低くなり、画像表示が不自然になってしまうからである。また、１つのパケットに含まれる信号強度のデータサイズが小さくなりすぎると、画像の更新頻度は高くなるが、転送負荷及び表示負荷が増大してしまうからである。

【0063】

そのため、図９に示すように、１つのパケットＰに含まれる信号強度が、１フレーム相当のデータに満たない場合があり、例えば、１ライン相当のデータに過ぎないこともある。このような場合には、最新のパケットから抽出した信号強度に、以前に受信したパケットから抽出した信号強度を加えることで、１フレーム相当の信号強度を取得し、取得した１フレーム相当の信号強度に基づいて、ヒストグラムを更新することが望ましい。これにより、サンプルの走査に時間がかかり、その結果、１フレーム分の画像生成に時間がかかるレーザ走査型顕微鏡で画像を取得する場合であっても、ヒストグラムとＬＵＴ１３を随時更新することができる。このため、常に適切なコントラストを有するサンプルの画像を表示することができる。

【0064】

なお、以前に受信したパケットから抽出する信号強度は新しいものから順に抽出されることが望ましい。これにより、各ラインの最新の信号強度からなる１フレーム相当の信号強度に基づいて、ヒストグラムを更新することができる。ただし、最初の１フレーム相当の信号強度が光学機器１００からコンピュータ１０に送信されるまでの間は、すでに送信されている１フレーム未満の信号強度に基づいてヒストグラムを作成及び更新してもよい。

【0065】

また、反対に、１つのパケットに１フレーム以上の信号強度が含まれることもある。このような場合には、プロセッサ１１は、パケットに含まれる信号強度の一部を間引くことで、１フレーム相当の信号強度を抽出して、抽出した信号強度に基づいて、ヒストグラムを更新することが望ましい。例えば、パケットに含まれる最新のフレームの信号強度に基づいて、ヒストグラムを更新してもよい。

【0066】

以上のように、画像処理システム１は、ステップＳ１において、表示装置２０に表示された画面２１上で望ましい観察条件を探索し、ＬＵＴ１３を更新することができる。その後、観察条件を変更することなく、ステップＳ２の本番撮影を行う場合には、画像処理システム１は、本番撮影で取得した第１画像をＬＵＴ１３を用いて第２画像に変換し、第２画像を表示装置２０に表示する。そして、最後のステップＳ３において、メモリ１２が、第１画像と第２画像の少なくとも一方と、識別範囲と、を関連付けて記憶する。メモリ１２には、少なくとも画像と識別範囲の組み合わせを記憶すればよい。ＬＵＴ１３には、識別範囲の情報が含まれているため、メモリ１２は、識別範囲の代わりにＬＵＴ１３を画像と関連付けて記憶してもよい。なお、今までは識別範囲の設定が自動設定の場合について説明したが、識別範囲の自動設定が無効の場合、つまり、識別範囲の設定をユーザー操作により手動で行う場合でも、第１画像を構成する画素の階調のヒストグラムを算出してもよい。この場合、プロセッサは、リピートスキャン実行中にヒストグラムを算出し、算出したヒストグラムを随時、表示装置２０に表示することにより、ユーザーは、ヒストグラムを見ながら、画像の明るさを正確に調整することができる。

【0067】

ところで、ステップＳ１の観察条件設定は、できるだけ短時間で完了することが望まれる。このため、観察条件を探索中は、スキャンユニット１０５を、本番撮影時の設定よりも画像を短時間で取得可能な設定で動作させるのが通常である。このような場合には、探索終了後、スキャンユニット１０５の動作設定（以降、スキャン設定と記す）を本番撮影用に変更してから、本番撮影が行われる。

【0068】

しかしながら、スキャン設定を変更すると、ピクセル積算時間が変化するため、取得される画像の明るさが変化してしまう。このため、ステップＳ１で生成されたＬＵＴ１３を用いて本番撮影で取得した画像に対して階調変換を行うと、表示装置２０に表示される画像が期待するコントラストを有しないことがある。なお、ピクセル積算時間は、１画素当たりの露光時間のことであり、１画素当たりの走査時間に依存する。

【0069】

そこで、画像処理システム１は、スキャン設定が変更されると、スキャン設定の変更に応じて識別範囲を補正してもよく、補正された識別範囲に基づいてＬＵＴ１３を更新してもよい。具体的には、例えば、図１０に示すスキャン設定画面において、ラジオボタンＲ７を選択して補正を有効にすることで、スキャン設定に応じて識別範囲を自動的に補正してもよい。

【0070】

画像処理システム１では、ボタンＢ４を押下することで、図１０に示すスキャン設定画面である画面２４が表示される。画面２４には、スキャナのタイプを選択するためのＧＵＩ部品（ラジオボタンＲ３、ラジオボタンＲ４）と、スキャナの動作モードを選択するためのＧＵＩ部品（ラジオボタンＲ５、ラジオボタンＲ６）と、スキャンスピードを設定するためのＧＵＩ部品であるスライダＳＬ６と、スキャンサイズを設定するためのＧＵＩ部品であるリストボックスＬ３と、識別範囲の自動補正の有効と無効を切り替えるためのＧＵＩ部品（ラジオボタンＲ７、ラジオボタンＲ８）が含まれている。

【0071】

スキャンユニット１０５は、例えば、図１１に示すように、Ｘ方向（画像の走査線方向）にサンプルを走査するガルバノスキャナ１１６とレゾナントスキャナ１１７と、Ｘ方向と直交するＹ方向にサンプルを走査するガルバノスキャナ１１５を含んでいる。画面２４において、ラジオボタンＲ３を選択することで、スキャンユニット１０５内で光がガルバノスキャナ１１６に導かれるように、光路上にリフレクタ１１８が挿入される。一方、ラジオボタンＲ４を選択することで、スキャンユニット１０５内で光がレゾナントスキャナ１１７に導かれるように、光路上からリフレクタ１１８が取り除かれる。レゾナントスキャナ１１７は、ガルバノスキャナ１１６よりも高速に動作するため、ラジオボタンＲ４が選択されることで、ラジオボタンＲ３が選択されている場合よりも、ピクセル積算時間が短くなる。画面２４において、スキャンモード、スキャンスピード、スキャンサイズが変更された場合も、ピクセル積算時間が変化する。ただし、スキャンサイズの変更は、スキャンタイプがレゾナントスキャナである場合にのみピクセル積算時間を変化させ、スキャンモードの変更は、スキャンタイプがガルバノスキャナである場合にのみピクセル積算時間を変化させる。

【0072】

識別範囲の自動補正が有効な状態で、画面２４でスキャン設定が変更されると、ピクセル積算時間（１画素当たりの露光時間）が変更されるため、プロセッサ１１は、少なくとも変更前後のピクセル積算時間に基づいて、識別範囲を補正する。例えば、ピクセル積算時間が２倍になった場合には、プロセッサ１１は、識別範囲の上限と下限をそれぞれ半分の値に変更することで、識別範囲を補正してもよい。これにより、スキャン設定の変更に伴う識別範囲の手動での再設定を省略することが可能となる。

【0073】

以上のように、本実施形態によれば、ＰＰＤ１１１を採用することで得られる様々なメリットを享受しながら、容易に画像のコントラストを調整することができる。

【0074】

なお、本実施形態では、スキャン設定の変更を契機にして識別範囲を補正する例を示したが、プロセッサ１１は、スキャン設定の変更に限らず、ピクセル積算時間が変更されたことを契機にして、識別範囲を補正してもよい。

【0075】

また、本実施形態では、変更前後のピクセル積算時間に基づいて識別範囲を補正する例を示したが、スキャン設定の変更に伴ってその他のパラメータも変動する場合には、プロセッサ１１は、ピクセル積算時間以外のパラメータを考慮して識別範囲を補正してもよい。例えば、スキャン設定変更に伴って、バックグラウンド強度、デジタル及びアナログゲイン、第１画像（強度信号）の最大階調数が変更される場合には、これらを考慮して識別範囲を補正してもよい。

【0076】

具体的には、変更前の識別範囲の上限をＭＡＸＢとし、変更後の識別範囲の上限をＭＡＸＡとし、変更前のピクセル積算時間をＰＩＴＢとし、変更後のピクセル積算時間をＰＩＴＡとし、変更前のバックグラウンド強度をＢＧＢとし、変更後のバックグラウンド強度をＢＧＡとし、変更前のゲインをＧＢとし、変更後のゲインをＧＡとし、変更前の最大階調数をＧＤＢとし、変更後の最大階調数をＧＤＡとすると、変更後の識別範囲の上限は、下式で算出してもよい。
ＭＡＸＡ＝（ＭＡＸＢ－ＢＧＢ）×（ＰＩＴＡ／ＰＩＴＢ）×（ＧＤＡ／ＧＤＢ）×（ＧＡ／ＧＢ）＋ＢＧＡ

【0077】

図１２は、設定画面の変形例を示した図である。本実施形態では、設定画面として、図４に示す画面２１を例示したが、プロセッサ１１は、図１２に示す画面２５を設定画面として表示装置２０に表示してもよい。画面２５は、識別範囲領域が、テキストボックスＴ１２及びスライダＳＬ７からなる点が、画面２１とは異なっている。

【0078】

テキストボックスＴ１２とスライダＳＬ７は、識別範囲を設定するための部品である。テキストボックスＴ１２内の数値を変更すること、又は、スライダＳＬ７をスライドすることで、識別範囲を調整することができる。より詳細には、テキストボックスＴ１２またはスライダＳＬ７で倍率を設定することで、識別範囲の下限がバックグラウンド強度の階調で、且つ、識別範囲の上限が最大階調数を倍率で割った値に設定される。

【0079】

画面２５を表示することによっても、利用者は、識別範囲に自由に設定することができるため、画像のコントラストの調整が容易に行うことができる。さらに、画面２５では、第２画像のコントラストが高くなるスライダＳＬ７（第１スライダ）の移動方向と、第２画像のコントラストが高くなるスライダＳＬ１（第２スライダ）の移動方向とは、ともに右方向であり、一致している。このため、コントラスト調整の操作性がさらに向上した画像処理システム１を提供することが可能となる。

【0080】

［第２の実施形態］
図１３は、画像処理システム１が行う本実施形態に係る処理のフローチャートである。図１４は、Ｚ位置毎の識別範囲を設定する画面の一例を示した図である。図１５は、画像と識別範囲の保存方法の一例を説明するための図である。以下、図１３から図１５を参照しながら、画像処理システム１が行う本実施形態に係る処理について説明する。

【0081】

本実施形態に係る処理は、本番撮影においてＺ－Ｓｅｒｉｅｓ撮影を行う点が、第１の実施形態とは異なっている。なお、Ｚ－Ｓｅｒｉｅｓ撮影とは、深さ方向に観察面を所定距離ずつ移動しながら二次元画像の取得を繰り返す撮影方法のことであり、サンプルの３次元情報を得るために用いられる。Ｚ－Ｓｅｒｉｅｓ撮影は、Ｚスタック撮影とも呼ばれる。

【0082】

画像処理システム１は、図１３に示すように、まず、Ｚ－Ｓｅｒｉｅｓ撮影前に観察条件を設定する（ステップＳ１１）。画像処理システム１は、その後、設定した観察条件でＺ－Ｓｅｒｉｅｓ撮影を行い（ステップＳ１２）、最後に、撮影結果のデータを記憶する（ステップＳ１３）。以下、各ステップについて、第１の実施形態との違いに着目して説明する。

【0083】

ステップＳ１１では、プロセッサ１１は、例えば、表示装置２０に設定画面を表示し、手動又は自動で識別範囲を設定する。この点は、図３に示すステップＳ１と同様である。ただし、プロセッサ１１は、観察深さ毎に識別範囲を設定する点が異なっている。プロセッサ１１は、観察深さ毎に設定された識別範囲に基づいて、観察深さ毎のＬＵＴ１３を作成し、メモリ１２に格納する。

【0084】

プロセッサ１１は、例えば、図１４に示す画面２６を設定画面として表示してもよい。画面２６には、観察深さ（Ｚ位置）毎の識別範囲を示すテーブルＴＬと、識別範囲の登録と削除を行うためのボタン（ボタンＢ５、ボタンＢ６）が含まれている。

【0085】

利用者は、コンピュータ１０を介して焦準装置１０３を制御することで、少なくとも２つの異なる観察深さに対して、識別範囲を設定する。なお、観察深さは、例えば、焦準装置１０３に取り付けられたエンコーダからの出力などによってプロセッサ１１によって自動的に認識されてもよい。プロセッサ１１は、少なくとも２つの異なる観察深さに対して設定された複数の識別範囲に基づいて、観察深さ毎の識別範囲を設定する。より具体的には、プロセッサ１１は、複数の識別範囲に基づいて線形補間により観察深さ毎の識別範囲を設定してもよい。線形補間により観察深さ毎の識別範囲を設定することで、識別範囲の設定作業を大幅に削減することが可能であり、さらに、サンプルが均質であれば高い精度で適切な識別範囲を推定して設定することが可能である。

【0086】

画面２６には、さらに、深さ毎にＬＵＴ１３を切り替えて使用するか否かを設定するＧＵＩ部品（ラジオボタンＲ９からラジオボタンＲ１２）が含まれている。ラジオボタンＲ９が選択されることで、プロセッサ１１は、Ｚ－Ｓｅｒｉｅｓ撮影中に観察深さ毎にＬＵＴ１３を切り替えて使用する。また、ラジオボタンＲ１１が選択されることで、プロセッサ１１は、焦準装置１０３を手動で操作中に深さ毎にＬＵＴ１３を切り替えて使用する。

【0087】

ステップＳ１２では、プロセッサ１１は、Ｚ－Ｓｅｒｉｅｓ撮影を行い、ラジオボタンＲ９が選択されている場合には、図１５に示すように、観察深さ毎に作成されたＬＵＴ１３を用いて階調変換処理を行う。一般に、観察深さが深くなるほど画像の明るさは暗くなるが、観察深さ毎に作成されたＬＵＴ１３を用いて階調変換処理を行うことで、観察深さによらず高いコントラストを有する画像を表示することができる。

【0088】

ステップＳ１３では、メモリ１２が、図１５に示すように、階調変換前の第１画像と、第１画像の観察深さに対応する識別範囲と、を関連付けて記憶する。即ち、メモリ１２には、Ｚ－Ｓｅｒｉｅｓ撮影で取得した複数の第１画像からなる画像群ＤＳ１と、互いに異なる観察深さに対して設定された複数の識別範囲からなる識別範囲群ＲＳ１が記憶される。なお、識別範囲の代わりに、ＬＵＴ１３が記憶されてもよい。観察深さ毎に第１画像と識別範囲又はＬＵＴ１３を関連付けて記憶することで、画像処理システム１は、階調変換前の生の情報を確保しながら、必要に応じて第２画像を作成し表示することができる。

【0089】

本実施形態によっても、第１の実施形態と同様に、ＰＰＤ１１１を採用することで得られる様々なメリットを享受しながら、容易に画像のコントラストを調整することができる。

【0090】

図１６は、画像と識別範囲の保存方法の別の例を説明するための図である。本実施形態では、階調変換前の第１画像と、第１画像の観察深さに対応する識別範囲と、を関連付けて記憶する例を示したが、画像と識別範囲の組み合わせはこの例に限らない。

【0091】

プロセッサ１１は、例えば、図１６に示すように、識別範囲群ＲＳ１に含まれる１つの識別範囲を代表識別範囲に決定する。なお、代表識別範囲は、識別範囲群ＲＳ１に含まれる識別範囲に限らず、任意の識別範囲であってもよい。その後、プロセッサ１１は、画像群ＤＳ１に対して識別範囲群ＲＳ１と代表識別範囲を用いて階調変換処理を行うことで、画像群ＤＳ３を生成する。画像群ＤＳ３の各画素の強度は、代表識別範囲の最小値と最大値をそれぞれＭｉｎ、Ｍａｘとし、各観察深さに対応する識別範囲の最小値と最大値をそれぞれＭｉｎＺ、ＭａｘＺとするとき、以下の式で算出される。
変換後の強度＝（変換前の強度－ＭｉｎＺ）×（Ｍａｘ－Ｍｉｎ）／（ＭａｘＺ－ＭｉｎＺ）＋Ｍｉｎ

【0092】

なお、プロセッサ１１が代表識別範囲を決定する方法としては、識別範囲群ＲＳ１の中からユーザーが指定した識別範囲を、プロセッサ１１が代表識別範囲として決定してもよい。また、Ｚ－Ｓｅｒｉｅｓ撮影で取得した複数の第１画像からなる画像群ＤＳ１の識別範囲群ＲＳ１のうち、識別範囲の最小値と最大値の差が最も大きい画像の識別範囲を代表識別範囲として、プロセッサ１１が自動的に決定してもよい。代表識別範囲よりも広い識別範囲が設定されたＺ位置の画像では生データの階調が圧縮されてしまい１フォトンに対して感度を有すというＰＰＤの利点を十分に活かすことができなくなる。これに対して、最も広い識別範囲を代表識別範囲とすることにより代表識別範囲より広い識別範囲を有す画像がなくなるので、各Ｚ位置での画像の生データの階調が圧縮されるのを防止できる。

【0093】

メモリ１２は、図１６に示すように、画像群ＤＳ３を構成する各画像と、代表識別範囲と、を関連付けて記憶してもよい。この場合も、画像群ＤＳ３に対して代表識別範囲を用いて階調変換処理を行うことで、画像群ＤＳ２を生成することができるため、必要に応じて第２画像を作成し表示することができる。

【0094】

上述した実施形態は、発明の理解を容易にするための具体例を示したものであり、本発明の実施形態はこれに限定されるものではない。画像処理システムは、特許請求の範囲の記載を逸脱しない範囲において、さまざまな変形、変更が可能である。

【0095】

上述した実施形態では、リピートスキャンで取得された画像に基づいて識別範囲を設定する例を示したが、識別範囲は、静止画像、特に、リピートスキャン後に取得した静止画像に基づいて識別範囲を設定してもよい。

【0096】

上述した実施形態では、ＬＵＴを用いて識別範囲を最大階調範囲に線形に割り当てるコントラスト調整の方法を例示したが、例示したコントラスト調整をガンマ補正と組み合わせて行ってもよい。

【0097】

上述した実施形態では、識別範囲の設定によるコントラスト調整方法に注目して説明したが、強度信号が全体的に弱い場合には、デジタルゲインを調整してから上述したコントラスト調整を行ってもよい。

【0098】

上述した実施形態では、観察深さ毎の識別範囲を補間により算出する例を示したが、補間は広義に解釈されるべきである。補間には、内挿だけではなく外挿も含まれる。

【符号の説明】

【0099】

１ 画像処理システム
１０ コンピュータ
１１ プロセッサ
１２ メモリ
１３ ＬＵＴ
２０ 表示装置
２１～２６ 画面
３０ 入力装置
１００ 光学機器
１０５ スキャンユニット
１０７ レーザ
１０９ 共焦点絞り
１１１ ＰＰＤ
１１５ ガルバノスキャナ
１１６ レゾナントスキャナ
１１７ リフレクタ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】