特開 2025-62195 画像処理システム、画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2025062195

(43)【公開日】2025-04-14

(54)【発明の名称】画像処理システム、画像処理方法

(51)【国際特許分類】

   G06T 5/92 20240101AFI20250407BHJP

   G02B 21/00 20060101ALI20250407BHJP

【ＦＩ】

G06T5/00 740

G02B21/00

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2023171096

(22)【出願日】2023-10-02

(71)【出願人】

【識別番号】322004393

【氏名又は名称】株式会社エビデント

(74)【代理人】

【識別番号】110004185

【氏名又は名称】インフォート弁理士法人

(72)【発明者】

【氏名】佐々木 邦彦

(72)【発明者】

【氏名】中本 千佳

(72)【発明者】

【氏名】桑原 洋平

【テーマコード（参考）】

2H052

5B057

【Ｆターム（参考）】

2H052AA09

2H052AC04

2H052AC34

2H052AF21

2H052AF25

5B057CA02

5B057CA08

5B057CB01

5B057CB08

5B057CH07

5B057DA16

(57)【要約】

【課題】観察条件に応じて必要となるシステムの調整を素早く行えるようにする。
【解決手段】画像処理システム１は、スキャンユニット１０５と、ＰＰＤ１１１と、強度階調値と出力階調値とを対応付けた複数のテーブルであるＬＵＴ１３－１、１３－２、１３－３が格納されているメモリ１２と、プロセッサ１１とを備える。プロセッサ１１は、ＰＰＤ１１より出力される光強度信号とスキャンユニット１０５による走査位置とに基づいて、当該光強度信号により示される強度階調値を構成画素の画素値とした第１画像データを生成し、第１画像データを、メモリ１２に複数格納されているテーブルのうちから選択される１つに基づいて変換して、出力階調値を構成画素の画素値とした第２画像データを生成し、第２画像データにより表される画像を表示装置２０に表示させる。
【選択図】図１

【特許請求の範囲】

【請求項1】

スキャナと、
ＰＰＤ（Pixelated Photon Detector）と、
強度階調値と出力階調値とを対応付けたテーブルが複数格納されているメモリと、
プロセッサであって、
前記ＰＰＤより出力される光強度信号と前記スキャナによる走査位置とに基づいて、前記光強度信号により示される前記強度階調値を構成画素の画素値とした第１画像データを生成し、
前記第１画像データを、前記メモリに複数格納されている前記テーブルのうちから選択される１つの前記テーブルに基づいて変換して、前記出力階調値を構成画素の画素値とした第２画像データを生成し、
前記第２画像データにより表される画像を表示部に表示させる、
処理を行うように構成される前記プロセッサと、
を備えることを特徴とする画像処理システム。

【請求項2】

前記プロセッサは、複数の前記テーブルのうちから１つの前記テーブルを選択する入力を取得する処理を行うように構成され、
前記第２画像データは、前記入力により選択された前記１つの前記テーブルに基づいて前記第１画像データを変換することによって生成される、
ことを特徴とする請求項１に記載の画像処理システム。

【請求項3】

前記プロセッサは、画素値が所定の上限値を超える前記第１画像データの構成画素に対応する前記第２画像データの構成画素、または、画素値が前記所定の上限値以上である前記第１画像データの構成画素に対応する前記第２画像データの構成画素の色彩を、前記所定の上限値以下の画素、または、前記所定の上限値を超えない画素を表示する色彩とは異なる第１の色彩とした前記画像を前記表示部に表示させる処理を行うように構成されることを特徴とする請求項１または２に記載の画像処理システム。

【請求項4】

前記プロセッサは、前記第１画像データにおいて画素値が所定の下限値以下である構成画素に対応する前記第２画像データの構成画素を前記第１の色彩とは異なり、かつ、前記所定の上限値を超えない画素の色彩とも異なる第２の色彩とした前記画像を前記表示部に表示させる処理を行うように構成されることを特徴とする請求項３に記載の画像処理システム。

【請求項5】

前記プロセッサは、
予め定められている最大値を超える前記強度階調値を示す前記光強度信号が前記ＰＰＤより出力されたことを示すフラグを取得し、
前記フラグの取得に応じて、前記第１画像データにおいて画素値が前記最大値を超える前記強度階調値を表している構成画素に対応する前記第２画像データの構成画素を画素値が所定の上限値を超えない画素を表示する色彩とは異なる第３の色彩とした前記画像を前記表示部に表示させる、
処理を行うように構成されることを特徴とする請求項１または２に記載の画像処理システム。

【請求項6】

前記プロセッサは、
予め定められている最大値を超える前記強度階調値を示す前記光強度信号が前記ＰＰＤより出力されたことを示すフラグを取得し、
前記フラグの取得に応じて、前記第１画像データにおいて画素値が前記最大値を超える前記強度階調値を表している構成画素に対応する前記第２画像データの構成画素を、前記第１の色彩と前記第２の色彩とのどちらとも異なり、かつ、前記所定の上限値を超えない画素の色彩とも異なる第３の色彩とした前記画像を前記表示部に表示させる、
処理を行うように構成されることを特徴とする請求項４に記載の画像処理システム。

【請求項7】

前記プロセッサは、
前記第２画像データの構成画素を、該構成画素の画素値に対応する色彩とした前記画像を前記表示部に表示させ、
前記画像の構成画素についての前記色彩と前記出力階調値との対応関係を表す表示を前記表示部に表示させる、
処理を行うように構成されることを特徴とする請求項６に記載の画像処理システム。

【請求項8】

ＰＰＤ（Pixelated Photon Detector）より出力される光強度信号とスキャナによる走査位置とに基づいて、前記光強度信号により示される強度階調値を構成画素の画素値とした第１画像データを生成し、
前記第１画像データを、前記強度階調値と出力階調値とを対応付けたテーブルであってメモリに複数格納されている前記テーブルのうちから選択される１つに基づいて変換して、前記出力階調値を構成画素の画素値とした第２画像データを生成し、
前記第２画像データにより表される画像を表示部に表示させる、
ことを特徴とする画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本明細書の開示は、画像処理システムに関し、特に、Pixelated Photon Detector（以降、ＰＰＤと記す）を備える画像処理システムに関する。

【背景技術】

【0002】

レーザ走査型顕微鏡システム等のＰＰＤを備える画像処理システムにおいて、画像のコントラスト調整を容易に行えるようにするという技術が知られている。この技術は、例えば、ＰＰＤで検出された光の強度信号とスキャナの走査位置とに基づいて生成した画像のコントラストを、ルックアップテーブル（ＬｏｏｋＵｐ Ｔａｂｌｅ、以降、ＬＵＴと記す）を用いて調整し、調整後の当該画像を表示するというものである。また、調整前の画像において識別すべき階調の範囲（識別範囲）の設定に応じてＬＵＴを更新して、調整後の画像を表示する表示装置の表示階調範囲の全域に当該識別範囲が収まる関係となるようにするという技術も知られている（例えば特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特許第７２９１８０８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

光の強度の検出に用いられる検出素子として、最近は、ＰＭＴ（Photomultiplier Tube、光電子増倍管）からＰＰＤなどに変遷しつつある。レーザ走査型顕微鏡において検出素子としてＰＰＤを採用すると、ＰＭＴには必要であった印加高電圧ＨＶ（High Voltage）が不要となる。しかしながら、このために、取得画像の輝度を調整する手法として、検出素子の感度調整により検出素子からの出力レベルを変化させる手法は行えなくなり、サンプルに照射するレーザ光の照射強度（レーザパワー）の調整による手法のみとなる。

【0005】

ところで、レーザ走査型顕微鏡を使用してサンプルの撮像を行う際には、撮像条件合わせの作業やピント合わせなどの像探し（サンプル探し）の作業が事前に行われる。レーザ走査型顕微鏡によるレーザ光の照射はサンプルに退色を生じさせることがあるため、上述の作業時にはレーザパワーを通常の撮像時よりもなるべく弱くすることが望ましく、また、作業時間が短いことが望ましい。

【0006】

一方で、サンプルの正式な画像を得るための撮像では、コントラストが高く階調数が多い良好な画像を得るために、サンプルの退色の可能性は承知の上でレーザ光の照射強度を通常の撮像時よりも更に強めることがある。このような照射強度の下での撮像は短時間で済ませることが望ましいことは明らかである。

【0007】

このように、レーザ走査型顕微鏡を用いた画像の取得では、取得される画像の観察の目的に応じて、レーザ光の照射強度が変更される。照射強度を変更すると、レーザ走査型顕微鏡の受光素子がサンプルから受ける光の強度が変化する。前述した技術では、照射強度を変更する度に識別範囲の設定を変更してＬＵＴの更新を行う必要があり、このような設定変更のために時間が費やされていた。

【0008】

以上のような実情を踏まえ、本発明の一側面に係る目的は、観察条件に応じて必要となるシステムの調整を素早く行えるようにすることである。

【課題を解決するための手段】

【0009】

本発明の一態様に係る画像処理システムは、スキャナと、ＰＰＤと、強度階調値と出力階調値とを対応付けたテーブルが複数格納されているメモリと、プロセッサであって、前記ＰＰＤより出力される光強度信号と前記スキャナによる走査位置とに基づいて、前記光強度信号により示される前記強度階調値を構成画素の画素値とした第１画像データを生成し、前記第１画像データを、前記メモリに複数格納されている前記テーブルのうちから選択される１つの前記テーブルに基づいて変換して、前記出力階調値を構成画素の画素値とした第２画像データを生成し、前記第２画像データにより表される画像を表示部に表示させる、処理を行うように構成される前記プロセッサと、を備える。

【0010】

本発明の一態様に係る画像処理方法は、ＰＰＤより出力される光強度信号とスキャナによる走査位置とに基づいて、前記光強度信号により示される強度階調値を構成画素の画素値とした第１画像データを生成し、前記第１画像データを、前記強度階調値と出力階調値とを対応付けたテーブルであってメモリに複数格納されている前記テーブルのうちから選択される１つに基づいて変換して、前記出力階調値を構成画素の画素値とした第２画像データを生成し、前記第２画像データにより表される画像を表示部に表示させる。

【発明の効果】

【0011】

上記の態様によれば、観察条件に応じて必要となるシステムの調整を素早く行えるようになる。

【図面の簡単な説明】

【0012】

【図1】一実施形態に係る画像処理システムの構成例を示した図である。

【図2】各ＬＵＴの強度階調値と出力階調値との関係の一例を示したグラフである。

【図3】プロセッサが行う処理の処理内容を示したフローチャートである。

【図4A】表示装置での表示画面の第１の例（その１）である。

【図4B】表示装置での表示画面の第１の例（その２）である。

【図4C】表示装置での表示画面の第１の例（その３）である。

【図5】表示装置での表示画面の第２の例である。

【図6A】表示装置での表示画面の第３の例（その１）である。

【図6B】表示装置での表示画面の第３の例（その２）である。

【発明を実施するための形態】

【0013】

以下、図面を参照しながら、実施形態を詳細に説明する。

【0014】

図１は、一実施形態に係る画像処理システム１の構成例を示した図である。

【0015】

画像処理システム１は、図１に示すように、光学機器１００と、光学機器１００に接続されたコンピュータ１０と、コンピュータ１０に接続された表示装置２０及び入力装置３０とを備えている。光学機器１００は例えばレーザ走査型顕微鏡の本体であり、画像処理システム１は例えばレーザ走査型顕微鏡システムである。

【0016】

光学機器１００は、サンプルを光で走査するスキャナとＰＰＤ１１１とを含んでいる。コンピュータ１０は、ＰＰＤ１１１で検出された光の強度信号とスキャナの走査位置とに基づいて生成した画像のコントラストを調整して、当該調整後の画像を表示装置２０に表示する。また、コンピュータ１０は、入力装置３０を用いて利用者が入力した情報に基づいて光学機器１００を制御してもよい。

【0017】

光学機器１００では、スキャンユニット１０５が、レーザ１０７から出射したレーザ光でステージ１０１上のサンプルを走査し、ＰＰＤ１１１が、共焦点絞り１０９を含む共焦点光学系を経由して入射したサンプルからの光を検出する。そして、光学機器１００は、ＰＰＤ１１１で検出したサンプルからの光の強度信号と、スキャンユニット１０５による走査位置とをコンピュータ１０へ出力する。

【0018】

光学機器１００は、ステージ１０１、対物レンズ１０２、焦準装置１０３、リレー光学系１０４、スキャンユニット１０５、ビームスプリッタ１０６、光源であるレーザ１０７、結像レンズ１０８、共焦点絞り１０９、及び、レンズ１１０を備えている。光学機器１００は、更に、ＰＰＤ１１１、アナログ増幅器１１２、ＡＤ変換器１１３、及び、デジタル増幅器１１４を備えている。

【0019】

レーザ１０７から出射し、ビームスプリッタ１０６で反射したレーザ光は、スキャンユニット１０５及びリレー光学系１０４を経由して、対物レンズ１０２に入射する。ビームスプリッタ１０６は、例えば、レーザ光を反射するダイクロイックミラーである。対物レンズ１０２は、レーザ光をステージ１０１上に配置されたサンプルに集光し、サンプルに光スポットを形成する。

【0020】

レーザ光が照射されたサンプルでは、蛍光物質が励起され、レーザ光とは異なる波長の蛍光が放射される。この蛍光は、対物レンズ１０２、リレー光学系１０４、及び、スキャンユニット１０５を経由して入射するビームスプリッタ１０６を透過し、結像レンズ１０８によって共焦点絞り１０９に集光する。共焦点絞り１０９には、対物レンズ１０２の前側（サンプル側）の焦点位置と光学的に共役な位置に共焦点ピンホールが形成されている。従って、光スポットが形成された位置以外で生じた蛍光は共焦点絞り１０９で遮断され、光スポットが形成された位置で生じた蛍光だけが共焦点絞り１０９を通過し、レンズ１１０を経由してＰＰＤ１１１で検出される。

【0021】

サンプルからの光を検出したＰＰＤ１１１は、入射フォトン数に応じた光強度信号、すなわち、当該光の強度を示す強度信号を出力する。ＰＰＤ１１１から出力された光強度信号は、ＡＤ変換器１１３でのサンプリング前後に、アナログ増幅器１１２とデジタル増幅器１１４によって増幅される。光学機器１００は、アナログ増幅器１１２及びデジタル増幅器１１４で増幅された強度信号と、強度信号に対応する走査位置と、をコンピュータ１０へ出力する。

【0022】

なお、本実施形態では、光学機器１００がコンピュータ１０へ出力する強度信号は１６ビット長とする。すなわち、この強度信号により示される強度階調値の階調数は６５５３６階調であるとする。もちろん、強度階調値のビット長を１６ビット長以外としてもよい。

【0023】

スキャンユニット１０５は、互いに直交する方向にサンプルを走査する、少なくとも１組のスキャナを含んでいる。スキャンユニット１０５は、例えば、２つのガルバノスキャナを含んでもよく、ガルバノスキャナとレゾナントスキャナを含んでもよい。なお、スキャンユニット１０５に含まれるスキャナは、ガルバノスキャナ、レゾナントスキャナに限らない。光を偏向してサンプルを走査する構成であればよく、例えば、音響光学偏向器（ＡＯＤ）など、その他の光偏向器がスキャナに採用されてもよい。スキャナの振り角度を変更し、それによって、レーザ光を偏向する方向を変更することで、対物レンズ１０２の瞳面における光軸に対するレーザ光の角度を変更することが可能である。これにより、光スポットの位置を対物レンズ１０２の光軸と直交する方向に移動させることができる。光学機器１００は、コンピュータ１０からの命令に応じてスキャンユニット１０５を制御することで、レーザ光でサンプルを二次元に走査することが可能であり、サンプルの二次元画像の構築に必要な情報を取得することができる。

【0024】

コンピュータ１０は、プロセッサ１１を少なくとも１つ備えており、また、メモリ１２を少なくとも１つ備えている。

【0025】

プロセッサ１１は、光学機器１００から出力された強度信号と当該強度信号に対応する走査位置とに基づいて画像データを生成する生成処理を行うように構成される。より詳細には、この生成処理は、当該強度信号で示されるサンプルからの光の強度を表す強度階調値を当該走査位置に対応する構成画素の画素値とした画像を表す画像データを生成する処理である。

【0026】

なお、以下の説明では、この生成処理により生成される画像データを「第１画像データ」と称することとする。

【0027】

プロセッサ１１は、画像の調整に用いられるＬＵＴ１３－１、１３－２、及び１３－３のうちから１つを選択する指示を取得する選択指示処理を更に行うように構成される。ＬＵＴ１３－１、１３－２、及び１３－３は、光の強度を表す強度階調値と出力階調値とをそれぞれ対応付けたテーブルであり、メモリ１２に予め格納されている。

【0028】

プロセッサ１１は、更に、当該指示によりＬＵＴ１３－１、１３－２、及び１３－３のうちから選択された１つを用いて第１画像データを変換して、出力階調値を構成画素の画素値とした画像データを生成する変換処理を行うように構成される。より詳細には、この変換処理は、第１画像データにおける各構成画素の画素値である光の強度階調値を、ＬＵＴ１３－１、１３－２、及び１３－３のうちから選択された１つにおいて対応付けられている出力階調値に変換する。

【0029】

なお、以下の説明では、この変換処理によって第１画像データから生成された画像データを「第２画像データ」と称することとする。

【0030】

プロセッサ１１は、生成した第２画像データにより表される画像を表示装置２０に表示する表示処理を更に行うように構成される。

【0031】

なお、プロセッサ１１は、メモリ１２に格納されているソフトウェアを実行することで上述した処理を行ってもよく、ハードウェア処理によって上述した処理を行ってもよい。あるいは、プロセッサ１１は、ソフトウェア処理とハードウェア処理の組み合わせによって上述した処理を行ってもよい。プロセッサ１１が実行するソフトウェアは、コンピュータ可読媒体に格納されている。プロセッサ１１は、任意の電気回路を含み、デジタル信号を処理する回路とアナログ信号を処理する回路の少なくとも１つを含むことができる。プロセッサ１１は、例えば、回路基板上の１つ又は複数の集積回路（ＩＣ：Integrated Circuit）を含み、さらに、１つ又は複数の電子部品を含むことができる。集積回路は、例えば、中央処理装置（ＣＰＵ：Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）などであってもよい。集積回路は、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field‐Programmable Gate Array）などであってもよい。

【0032】

メモリ１２は、プロセッサ１１が実行するソフトウェアを格納したコンピュータ可読媒体を含んでいる。なお、本明細書において、コンピュータ可読媒体は、非一時的なコンピュータ可読媒体である。メモリ１２は、例えば、１つ又は複数の任意の半導体メモリ、１つ又は複数のその他の記憶装置、を含むことができる。半導体メモリは、例えば、ＲＡＭ（Random Access Memory）などの揮発性メモリ、ＲＯＭ（Read Only Memory）、プログラマブルＲＯＭ、フラッシュメモリなどの不揮発性メモリを含んでいる。ＲＡＭには、例えば、ＤＲＡＭ（Dynamic Random Access Memory）、ＳＲＡＭ（Static Random Access Memory）などが含まれてもよい。その他の記憶装置には、例えば、コンピュータ可読媒体として例えば磁気ディスクを含む磁気記憶装置、コンピュータ可読媒体として例えば光ディスクを含む光学記憶装置などが含まれてもよい。

【0033】

表示装置２０は、画像処理システム１の表示部の一例である。表示装置２０は、例えば、液晶ディスプレイ、有機ＥＬディスプレイ、ＣＲＴ（Cathode Ray Tube）ディスプレイなどである。表示装置２０には、例えば、設定画面が表示される。

【0034】

入力装置３０は、画像処理システム１の入力部の一例である。入力装置３０は、利用者の操作に応じた操作信号をコンピュータ１０へ出力する。入力装置３０は、例えば、キーボードであるが、マウス、ジョイスティック、タッチパネル、スタイラスなどを含んでもよい。

【0035】

図１に示した画像処理システム１は以上の各構成要素を備えている。

【0036】

次に、ＬＵＴ１３－１、１３－２、及び１３－３について、さらに詳細に説明する。

【0037】

強弱のある色素を組み合わせての観察や、深さ（Ｚ方向位置）やＸＹ方向位置などの観察位置による輝度の違いが大きい観察などといった特定のアプリケーションでは、例えば６５５３６階調（１６ビット長）もの階調が取得画像に望まれる場合がある。例えば、上述したものを含む様々なアプリケーションを総合的に勘案すると、取得画像に求められる階調数は、ＰＰＤ１１１への入射フォトン数に換算すると２０００（≒２０４８（２^１１））フォトン程度であると想定される。このような階調数の極めて高い画像を得るのに十分なダイナミックレンジをＰＰＤ１１１は有している。

【0038】

一方、前述した像探しの作業の際には、たとえ画像が飽和したとしてもサンプルの像の有無を当該画像から視認できればよいので、取得画像に対して望まれる階調数は２５６階調（８ビット長、８フォトン相当）の低さでも問題ない。但し、この作業の際に、サンプルの退色の抑制のためにレーザ光のサンプルへの照射強度を弱くすると、取得画像は暗い画像になる。

【0039】

なお、６５５３６階調の強度諧調値のうちの小さい方の範囲（階調値０から２５５までの範囲）を、強度諧調値に対して出力階調値が線形に変化する範囲として使用するようにしてもよい。このようにすると、サンプルからの光が弱いために強度諧調値が低い領域に分布していても、像探し時の退色を抑制しつつ、サンプルの画像を容易に視認することができる。

【0040】

また、上述したような特定の場合を除いた一般的なアプリケーションでは、画像解析処理が後に行われる場合があることを考慮しても、取得画像に対して望まれる階調数は４０９６階調（１２ビット長、１２８フォトン相当）で十分である。

【0041】

このように、像探しの作業や一般的なアプリケーションなどでは、取得画像の階調数を調整する必要がある。例えば、取得画像が６５５３６階調もの階調数を有している場合、前述した像探しの作業では、１／２５６の階調数の画像で十分であり、また、前述した一般的なアプリケーションでは、１／１６の階調数の画像で十分である。

【0042】

本実施形態におけるＬＵＴ１３－１、１３－２、及び１３－３は、このような、サンプルからの光の強度が弱い場合に得られる画像の階調数の調整に用いられる。

【0043】

ここで、図２について説明する。図２は、ＬＵＴ１３－１、１３－２、及び１３－３のそれぞれについての強度階調値と出力階調値との関係の一例を示したグラフである。

【0044】

図２において、グラフＧ１、Ｇ２、及びＧ３は、それぞれ、ＬＵＴ１３－１、１３－２、及び１３－３についての、光の強度を示す強度階調値と当該強度階調値に対応付けた出力階調値との関係を表している。なお、図２において、横軸は、強度階調値（光学機器１００から出力された強度信号で示されている強度を表す階調値）を表しており、縦軸は出力階調値を表している。

【0045】

グラフＧ１の関係を有しているＬＵＴ１３－１は、最も階調数の少ない画像を得るために使用されるテーブルである。

【0046】

グラフＧ１は、強度階調値が所定の上限値Ｉ１のときの出力階調値をＶとしており、強度階調値がＩ１以下の範囲では強度階調値と出力階調値とが比例関係にある。また、このグラフＧ１は、Ｉ１を超える範囲の強度階調値の全てには、強度階調値がＩ１のときの出力階調値Ｖを対応付けた関係を有している。このような関係により、例えばＩ１の値を２５５とした場合には、１６ビット（６５５３６階調）の階調数を有する強度階調値が２５６階調（８ビット）の出力階調値に変換されることになる。

【0047】

このようなＬＵＴ１３－１を用いて画像変換を行うことで、サンプルへのレーザ光の照射強度を弱くしても、表示装置２０で表示可能な階調範囲の上限を上回ることなく、ある程度の高さのコントラストを有するサンプルの画像の表示が可能になる。

【0048】

グラフＧ２の関係を有しているＬＵＴ１３－２は、ＬＵＴ１３－１よりも階調数の多い画像を得るために使用されるテーブルである。

【0049】

グラフＧ２は、強度階調値が所定の上限値Ｉ２（＞Ｉ１）のときの出力階調値をＶとしており、強度階調値がＩ２以下の範囲では強度階調値と出力階調値とが比例関係にある。また、このグラフＧ２は、Ｉ２を超える範囲の強度階調値の全てには、強度階調値がＩ２のときの出力階調値Ｖを対応付けた関係を有している。このような関係により、例えばＩ２の値を４０９５とした場合には、１６ビット（６５５３６階調）の階調数を有する強度階調値が４０９６階調（１２ビット）の出力階調値に変換される。この出力階調値の階調数は、例えば、標準的なディスプレイ装置における光の三原色（ＲＧＢ）各色を８ビットで表現可能な階調を損なわない程度の階調数である。なお、４０９６という階調数は、ＰＭＴを使用したレーザ走査型顕微鏡システムと同様の階調であり、このシステムのユーザにも馴染み易いものである。また、この階調数はＰＰＤ１１１への入射フォトン数に換算すると１２８フォトンに相当し、ＰＰＤを用いたレーザ走査型顕微鏡システムとして現実的な値である。

【0050】

グラフＧ３の関係を有しているＬＵＴ１３－３は、ＬＵＴ１３－２よりも更に階調数の多い画像を得るために使用されるテーブルである。

【0051】

グラフＧ３は、強度階調値がＩ３（＞Ｉ２）のときの出力階調値をＶとしており、強度階調値がＩ３以下の範囲では強度階調値と出力階調値とが比例関係にある。また、このグラフＧ３は、Ｉ３を超える範囲の強度階調値の全てには、強度階調値がＩ３のときの出力階調値Ｖを対応付けた関係を有している。このような関係により、例えばＩ３の値を１６３８３とした場合には、１６ビット（６５５３６階調）の階調数を有する強度階調値が１６３８４階調（１４ビット）の出力階調値に変換される。なお、１６３８４という階調数は、超解像画像やＨＤＲ（High Dynamic Range）画像である画像データを後加工する際に階調落ちが無視し得る程度の階調数である。

【0052】

なお、グラフＧ３において、例えばＩ３の値を６５５３５として、１６ビットの階調数を有する強度階調値を、そのまま６５５３６階調（１６ビット）の出力階調値に変換されるようにしてもよい。

【0053】

また、ＬＵＴ１３－１、１３－２、及び１３－３についての、強度階調値と出力階調値との関係は、図２のグラフＧ１、Ｇ２、及びＧ３で示される関係に限定されるものではない。例えば、グラフＧ１で強度階調値の上限値Ｉ１に対応している出力階調値と、グラフＧ２で強度階調値の上限値Ｉ２に対応している出力階調値と、グラフＧ３で強度階調値の上限値Ｉ３に対応している出力階調値とは、互いに異なる値であってもよい。また、例えば、グラフＧ１、Ｇ２、及びＧ３における強度階調値が所定の上限値以下の範囲において、出力階調値が強度階調値の増加に応じて単調に増加する関係でもよい。また、例えば、強度階調値がゼロのときの出力階調値をゼロよりも大きな値に対応付けるようにしてもよい。

【0054】

また、例えば、強度階調値が０近傍の値（例えば階調値１０）に対応付ける出力階調値を０としてもよい。このようにする場合には、図２のグラフＧ１、Ｇ２、及びＧ３のそれぞれの上限値Ｉ１、Ｉ２、及びＩ３を変更して大きくし（例えば１０階調分大きくし）、下限値と上限値との間では強度階調値に対して出力階調値が単調増加する関係とする。このようにすると、出力階調値の階調数（ビット数）を維持できるとともに、ＰＰＤ１１１から出力される強度信号にオフセット成分が乗っている場合に、当該オフセット成分を効果的に低減させることを可能にする。

【0055】

なお、以下の説明では、グラフＧ１の関係を有しているＬＵＴ１３－１を用いてプロセッサ１１が行う変換処理を「輝度レンジＡによる変換処理」と称することとする。同様に、グラフＧ２の関係を有しているＬＵＴ１３－２を用いてプロセッサ１１が行う変換処理を「輝度レンジＢによる変換処理」と称することとする。また、グラフＧ３の関係を有しているＬＵＴ１３－３を用いてプロセッサ１１が行う変換処理を「輝度レンジＣによる変換処理」と称することとする。

【0056】

次に、上述した画像処理システム１を用いた処理の具体例について説明する。

【0057】

図３は、コンピュータ１０が備えるプロセッサ１１が行う処理の処理内容を示したフローチャートである。また、図４Ａ、図４Ｂ、及び図４Ｃは、いずれも、表示装置２０での表示画面の第１の例を表している。

【0058】

画像処理システム１を起動させることによって図３の処理が開始されると、まず、Ｓ１０１において、アイコンボタン群４０を表示装置２０の画面上に表示させる処理が行われる。

【0059】

コンピュータ１０はウィンドウシステムを用いたＧＵＩ（Graphical User Interface）を採用しており、Ｓ１０１の処理では、画像処理システム１のためのウィンドウ内にアイコンボタン群４０が表示される。

【0060】

アイコンボタン群４０には輝度レンジ選択ボタン４１が含まれている。輝度レンジ選択ボタン４１は３つのアイコンボタンを有しており、各アイコンボタンは、それぞれ、輝度レンジＡ、Ｂ、及びＣに対応付けられている。

【0061】

次に、Ｓ１０２において、３つの輝度レンジのうちの輝度レンジＡを、初期設定の輝度レンジとして選択する処理が行われる。なお、この処理において、３つの輝度レンジのうちの輝度レンジＢ若しくは輝度レンジＣを、初期設定の輝度レンジとして選択するようにしてもよい。

【0062】

図４Ａは、輝度レンジ選択ボタン４１のうちの輝度レンジＡに対応付けられているアイコンボタンが選択されている場合の表示例である。なお、図４Ｂ及び図４Ｃは、それぞれ、輝度レンジ選択ボタン４１のうちの輝度レンジＢ及びＣに対応付けられているアイコンボタンが選択されている場合の表示例である。このように、輝度レンジ選択ボタン４１は、３つのアイコンボタンのうちのいずれか１つが選択される。

【0063】

Ｓ１０３では、この処理時点においての輝度レンジの選択状況に応じた表示内容で、輝度レンジ表示部５０を表示装置２０の画面上に表示させる処理が行われる。

【0064】

Ｓ１０４では前述した生成処理が行われて、光学機器１００から受け取った強度信号と当該強度信号に対応する走査位置とに基づいて第１画像データが生成される。生成された第１画像データは、必要に応じてメモリ１２に保存しておくようにしてもよい。

【0065】

Ｓ１０５では前述した変換処理が行われて、ＬＵＴ１３－１、１３－２、及び１３－３のうち、この処理時点において選択されている輝度レンジに対応する１つを用いて、直近のＳ１０４の処理で生成された第１画像データから第２画像データが生成される。例えば、前述したＳ１０２の処理の直後にＳ１０５の処理が行われる場合には、輝度レンジＡに対応付けられているＬＵＴ１３－１を用いて変換処理が行われる。

【0066】

図４Ａの表示例には、輝度レンジＡが選択されている場合の輝度レンジ表示部５０がウィンドウ内に表されている。なお、図４Ｂ及び図４Ｃは、それぞれ、輝度レンジＢ及びＣが選択されている場合の輝度レンジ表示部５０がウィンドウ内に表されている。

【0067】

輝度レンジ表示部５０は、輝度レンジバー５１と、上限値インジケータ５２と、下限値インジケータ５３とを有している。

【0068】

輝度レンジバー５１は、第２画像データの各構成画素の画素値と、後述するＳ１０６の処理によってウィンドウ内に表示されるサンプル画像６０を構成する画素の色彩との対応関係を示している。

【0069】

前述したように、第２画像データは、ＬＵＴ１３－１、１３－２、及び１３－３の出力階調値を構成画素の画素値とした画像データである。輝度レンジバー５１の上下方向は、この出力階調値の大小関係を表している。なお、上限値インジケータ５２は出力階調値の最大値に対応する輝度レンジバー５１の上下方向の位置を表しており、下限値インジケータ５３は出力階調値の最小値に対応する輝度レンジバー５１の上下方向の位置を表している。

【0070】

一例として、輝度レンジＡが選択されている図４Ａの例では、上限値インジケータ５２は出力階調値「２５５」に相当する輝度レンジバー５１の位置を表しており、下限値インジケータ５３は出力階調値「０」に相当する輝度レンジバー５１の位置を表している。これらの値は、輝度レンジＡに対応するＬＵＴ１３－１についての強度階調値と出力階調値との関係を表している図２のグラフＧ１における出力階調値の上限値（Ｖ＝２５５とした場合）及び下限値にそれぞれ対応している。

【0071】

図４Ａ、図４Ｂ、及び図４Ｃの表示例では、輝度レンジバー５１は、上限値インジケータ５２で示されている位置より上の領域は単一の色彩（例えば明青色）で表示される。また、上限値インジケータ５２で示される位置から下限値インジケータ５３で示される位置までの領域は、当該単一の色彩から徐々に黒色へと連続的に変化していくグラデーションとして表示される。なお、各図では、このグラデーションを、網掛けの密度の段階的な変化で便宜的に表現している。このように、輝度レンジバー５１の上下方向の位置で表されている色彩によって、出力階調値が表現される。

【0072】

Ｓ１０６では、前述した表示処理が行われて、Ｓ１０５の変換処理により生成された第２画像データにより表されるサンプル画像６０が表示装置２０の画面上に表示される。この表示処理によって、ウィンドウ内のサンプル画像６０の各構成要素が、画素値である出力階調値に対応する輝度レンジバー５１の色彩で表示される。つまり、輝度レンジバー５１は、サンプル画像６０の各構成画素の色彩と出力階調値との対応関係を表している。

【0073】

Ｓ１０７では、入力装置３０に対する操作によって輝度レンジ選択ボタン４１に対するクリック操作が行われたことにより、輝度レンジを選択する指示を新たに取得したか否かを判定する処理が行われる。この判定処理において、輝度レンジの選択指示を新たに取得したと判定されたとき（判定結果がＹＥＳのとき）にはＳ１０８に処理を進める。一方、この判定処理において、新たな選択指示を取得してはいないと判定されたとき（判定結果がＮＯのとき）には、Ｓ１０３に処理を戻し、前述したＳ１０３以降の処理が改めて行われる。このときに行われるＳ１０５の変換処理では、ＬＵＴ１３－１、１３－２、及び１３－３のうち、直近に実行された変換処理で用いられたものと同一のものが用いられる。

【0074】

Ｓ１０８では、表示装置２０の画面上で表示されている輝度レンジ選択ボタン４１の各アイコンボタンを、Ｓ１０７の判定処理によって取得したと判定された輝度レンジ選択指示に応じた表示態様に変更する処理が行われる。その後はＳ１０３に処理を戻し、前述したＳ１０３以降の処理が改めて行われる。このときに行われるＳ１０５の変換処理では、ＬＵＴ１３－１、１３－２、及び１３－３のうち、Ｓ１０７の判定処理によって取得したと判定された輝度レンジ選択指示で指示された輝度レンジに対応するものが用いられる。

【0075】

以上の処理をプロセッサ１１が行うことによって、図４Ａ、図４Ｂ、及び図４Ｃに例示するような画面が表示装置２０で表示される。画像処理システム１の使用者が入力装置３０を操作して輝度レンジ選択ボタン４１に対するクリック操作を行うと輝度レンジが切り替わりＬＵＴ１３－１、１３－２、及び１３－３の選択が変更されて当該画面でのサンプル画像６０の表示に直ちに反映される。従って、サンプル画像６０の素早い調整が可能になる。

【0076】

なお、プロセッサ１１が第２画像データに基づいて表示装置２０に表示させる画像の表示態様を、図４Ａ、図４Ｂ、及び図４Ｃで例示した表示態様とは異なるものとすることも可能である。このような異なる表示態様の例として、図５は表示装置２０での表示画面の第２の例を表しており、図６Ａ及び図６Ｂは、どちらも、表示装置２０での表示画面の第３の例を表している。

【0077】

まず、表示画面の第２の例について説明する。図５の画面例は、図４Ａの表示画面が表示されているときに、入力装置３０に対する操作によってアイコンボタン群４０に含まれているＨｉ－Ｌｏボタン４２に対するクリック操作が行われてアイコンボタンが押下状態にされると表示される画面である。

【0078】

この図５の画面例では、輝度レンジバー５１の表示態様が図４Ａにおけるものと異なっている。より詳細には、輝度レンジバー５１における上限値インジケータ５２で示されている位置より上の領域（図５では左下から右上がりの方向の斜線が付されている領域）は一様に第１の色彩（例えば赤色）で表示される。なお、上限値インジケータ５２で示されている位置を第１の色彩で表示される領域に含めてもよい。また、下限値インジケータ５３で示されている位置に対応する領域は、第１の色彩とは異なる第２の色彩（例えば暗青色）で表示される。そして、上限値インジケータ５２で示される位置から下限値インジケータ５３で示される第２の色彩の位置までの領域は、例えば白色といった、第１及び第２の色彩のどちらとも異なる色彩から徐々に黒色へと連続的に変化していくグラデーションとして表示される。なお、図５では、このグラデーションは一様の網掛けで便宜的に表現されている。

【0079】

なお、前述したような、強度階調値が０近傍の値に対応付ける出力階調値を０とする関係が設定されているＬＵＴを用いる場合には、下限値インジケータ５３で示される位置より下の領域も第２の色彩で表示される。

【0080】

プロセッサ１１は、前述した図３の処理におけるＳ１０３の処理において、Ｈｉ－Ｌｏボタン４２が押下状態とされているかどうかを判断する。ここで、Ｈｉ－Ｌｏボタン４２が押下状態とされていないと判断した場合には、プロセッサ１１は、図４Ａに例示した輝度レンジ表示部５０を表示装置２０の画面上に表示させる処理を行う。一方、Ｈｉ－Ｌｏボタン４２が押下状態とされていると判断した場合には、プロセッサ１１は、図５に例示した輝度レンジ表示部５０を表示装置２０の画面上に表示させる処理を行う。

【0081】

上述した処理の後に行われるＳ１０６の処理では、前述したようにして表示処理が行われて、Ｓ１０５の変換処理により生成された第２画像データにより表されるサンプル画像６０が表示装置２０の画面上に表示される。この表示処理によって、ウィンドウ内のサンプル画像６０の各構成要素が、画素値である出力階調値に対応する輝度レンジバー５１の色彩で表示される。従って、輝度レンジバー５１が図５に示した表示態様である場合には、サンプル画像６０において、画素値が上限値インジケータ５２で示されている出力階調値を超える構成画素からなる領域（図５における飽和領域６１）は、前述した第１の色彩で一様に表される。また、サンプル画像６０において、画素値が下限値インジケータ５３で示されている出力階調値である領域（図５における背景領域６２）は、前述した第２の色彩で一様に表される。

【0082】

このように、Ｈｉ－Ｌｏボタン４２がクリック操作により押下状態とされると、このクリック操作を取得したプロセッサ１１は、画素値が所定の上限値を超える第１画像データの構成画素に対応する第２画像データの構成画素を一律に第１の色彩とする処理を行う。また、このとき、プロセッサ１１は、第１画像データにおいて画素値が最小である構成画素に対応する第２画像データの構成画素を、一律に、第１の色彩とは異なる第２の色彩とする処理を行う。

【0083】

更に、このとき、プロセッサ１１は、第２画像データの残余の構成画素については、画素値である出力階調値に対応する色彩、すなわち、構成画素の色彩と出力階調値との対応関係を表している輝度レンジバー５１により示されている色彩とする処理を行う。そして、プロセッサ１１は、このようにして各構成画素に設定された色彩でのサンプル画像６０の表示を表示装置２０に行わせる処理を行う。

【0084】

以上のようにして得られる表示画面の第２の例の表示を行うことで、出力階調値に対して設定された上限値を上回る領域あるいは下限値である領域がサンプル画像６０に存在するかどうかを瞬時に把握することができる。従って、例えば、前述した像探し（サンプル探し）の作業において、過剰な照射強度のレーザ光をサンプルに与えた可能性の有無を瞬時に判別することが可能になる。

【0085】

なお、図４Ｂや図４Ｃの表示画面でＨｉ－Ｌｏボタン４２に対するクリック操作が行われてアイコンボタンが押下状態とされた場合も同様の表示処理が行われて、図５と同様の表示態様の輝度レンジバー５１及びサンプル画像６０が画面上に表示される。

【0086】

次に、表示画面の第３の例について説明する。図６Ａ及び図６Ｂの画面例は、図４Ｂの表示画面が表示されているときに、入力装置３０への操作によってアイコンボタン群４０に含まれているＨｉ－Ｌｏボタン４２に対するクリック操作が行われてアイコンボタンが押下状態とされたときに表示される画面である。

【0087】

この図６Ａ及び図６Ｂの画面例では、輝度レンジバー５１の表示態様が図４Ｂにおけるものと異なっている。より詳細には、輝度レンジバー５１における上限値インジケータ５２で示されている位置より上の領域（図６Ａ及び図６Ｂでは左上から右下がりの方向の斜線が付されている領域）は一様に第１の色彩（例えば橙色）で表示される。なお、上限値インジケータ５２で示されている位置を第１の色彩で表示される領域に含めてもよい。また、下限値インジケータ５３で示されている位置に対応する領域は、第１の色彩とは異なる第２の色彩（例えば暗青色）で表示される。

【0088】

なお、前述したような、強度階調値が０近傍の値に対応付ける出力階調値を０とする関係が設定されているＬＵＴを用いる場合には、下限値インジケータ５３で示される位置より下の領域も第２の色彩で表示される。

【0089】

更に、図６Ａ及び図６Ｂの画面例では、上限値インジケータ５２で示される位置から下限値インジケータ５３で示される第２の色彩の位置までの領域は、例えば白色といった、第１及び第２の色彩のどちらとも異なる色彩から徐々に黒色へと連続的に変化していくグラデーションとして表示される。なお、図６Ａ及び図６Ｂでは、このグラデーションは一様の網掛けで便宜的に表現されている。更に、輝度レンジバー５１における上端を画定する領域、すなわち、第１の色彩で表示される領域の上端の領域（左下から右上がりの方向の斜線が付されている領域）は、上述したグラデーションで用いられる色彩、第１の色彩、及び第２の色彩のいずれとも異なる第３の色彩（例えば赤色）で表示される。

【0090】

プロセッサ１１は、前述した図３の処理におけるＳ１０３の処理において、Ｈｉ－Ｌｏボタン４２が押下状態とされているかどうかを判断する。ここで、Ｈｉ－Ｌｏボタン４２が押下状態とされてないと判断した場合には、プロセッサ１１は、図４Ｂに例示した輝度レンジ表示部５０を表示装置２０の画面上に表示させる処理を行う。一方、Ｈｉ－Ｌｏボタン４２が押下状態とされていると判断した場合には、プロセッサ１１は、図６Ａ及び図６Ｂに例示した輝度レンジ表示部５０を表示装置２０の画面上に表示させる処理を行う。

【0091】

上述した処理の後に行われるＳ１０６の処理では、前述したようにして表示処理が行われて、Ｓ１０５の変換処理により生成された第２画像データにより表されるサンプル画像６０が表示装置２０の画面上に表示される。この表示処理によって、ウィンドウ内のサンプル画像６０の各構成要素が、画素値である出力階調値に対応する輝度レンジバー５１の色彩で表示される。従って、輝度レンジバー５１が図６Ａに示した表示態様である場合には、サンプル画像６０において、画素値が上限値インジケータ５２で示されている出力階調値よりも大きい構成画素からなる領域（図６Ａの第１飽和領域６１－１）は第１の色彩で一様に表される。また、サンプル画像６０において、画素値が下限値インジケータ５３で示されている出力階調値である領域（図６Ａにおける背景領域６２）は、前述した第２の色彩で一様に表される。

【0092】

加えて、プロセッサ１１は、Ｓ１０６の処理において、強度階調値である画素値が１６ビット長では表現しきれずにオーバーフローした第１画像データの構成画素に対応するサンプル画像６０の構成画素を、前述した第３の色彩で表示する処理を更に行う。このために、コンピュータ１０は、ＰＰＤ１１１から出力された強度信号をサンプリングするＡＤ変換器１１３から出力されるオーバーフロー検出信号を光学機器１００から更に取得する。プロセッサ１１は、このオーバーフロー検出信号と、当該検出信号に対応するスキャナの走査位置とに基づいてサンプル画像６０における対象の構成画素を特定し、特定した構成画素を第３の色彩として表示する処理を行う。

【0093】

図６Ｂは、図６Ａのサンプル画像６０が得られている状態において、レーザ１０７の出力を上げてレーザ光のサンプルへの照射強度を高めたときの画面例を表している。

【0094】

図６Ｂでは、図６Ａの画面例では輝度レンジバー５１における白色から黒色へのグラデーションの範囲内の色彩で表される出力階調値であった構成画素からなるサンプル画像６０の領域が、第１飽和領域６１－１として表されている。これは、レーザ光のサンプルへの照射強度を高めたことで、当該領域が、上限値インジケータ５２で示されている出力階調値よりも大きい構成画素からなる領域となったことを表している。また、図６Ｂでは、構成画素が第３の色彩で表されている第２飽和領域６１－２が出現している。この第２飽和領域６１－２は、図６Ａでは第１飽和領域６１－１として表されていた構成画素の領域であり、レーザ光のサンプルへの照射強度を高めたことで、当該領域の構成画素の強度階調値がオーバーフローしたことを表している。

【0095】

このように、Ｈｉ－Ｌｏボタン４２がクリック操作により押下状態とされると、このクリック操作を取得したプロセッサ１１は、画素値が所定の上限値を超える第１画像データの構成画素に対応する第２画像データの構成画素を一律に第１の色彩とする処理を行う。また、このとき、プロセッサ１１は、第１画像データにおいて画素値が最小である構成画素に対応する第２画像データの構成画素を、一律に、第１の色彩とは異なる第２の色彩とする処理を行う。

【0096】

更に、このとき、プロセッサ１１は、予め定められている最大値を超える光の強度を示す強度信号がＰＰＤ１１より出力されたことを示すフラグを光学機器１００から取得する処理を行う。このフラグは、例えば、光学機器１００が備えるＡＤ変換器１１３から出力される、ＡＤ変換におけるオーバーフローの発生を示すフラグである。プロセッサ１１は、更に、このフラグの取得に応じて、第１画像データにおいて画素値が当該最大値を超える光の強度を表している構成画素に対応する第２画像データの構成画素を、一律に、第１及び第２の色彩のどちらとも異なる第３の色彩とする処理を行う。

【0097】

更に、このとき、プロセッサ１１は、第２画像データの残余の構成画素については、画素値である出力階調値に対応する色彩（例えば、第１、第２、及び、第３の色彩のいずれとも異なる色彩のグラデーション）、すなわち、構成画素についての色彩と出力階調値との対応関係を表す輝度レンジバー５１により示されている色彩とする処理を行う。そして、プロセッサ１１は、このようにして各構成画素に設定された色彩でのサンプル画像６０の表示を表示装置２０に行わせる処理を行う。

【0098】

以上のようにして得られる表示画面の第３の例の表示を行うことで、通常観察時におけるレーザ光のサンプルへの照射強度を適正な範囲内とするための調整作業を素早く円滑に進められるようになる。

【0099】

なお、図４Ａや図４Ｃの表示画面でＨｉ－Ｌｏボタン４２に対するクリック操作が行われてアイコンボタンが押下状態とされた場合も同様の表示処理が行われて、図６Ａ及び図６Ｂと同様の表示態様の輝度レンジバー５１及びサンプル画像６０が画面上に表示される。

【0100】

なお、上述した実施形態は、発明の理解を容易にするための具体例を示したものであり、本発明の実施形態はこれに限定されるものではない。画像処理システム１は、特許請求の範囲の記載を逸脱しない範囲において、さまざまな変形、変更が可能である。

【0101】

例えば、上述した実施形態は、３つのＬＵＴ１３－１、１３－２、及び１３－３をメモリ１２に格納されている例を示したが、その個数は複数であれば幾つでもよい。

【符号の説明】

【0102】

１ 画像処理システム
１０ コンピュータ
１１ プロセッサ
１２ メモリ
１３－１、１３－２、１３－３ ＬＵＴ
２０ 表示装置
３０ 入力装置
４０ アイコンボタン群
４１ 輝度レンジ選択ボタン
４２ Ｈｉ－Ｌｏボタン
５０ 輝度レンジ表示部
５１ 輝度レンジバー
５２ 上限値インジケータ
５３ 下限値インジケータ
６０ サンプル画像
６１ 飽和領域
６１－１ 第１飽和領域
６１－２ 第２飽和領域
６２ 背景領域
１００ 光学機器
１０５ スキャンユニット
１０７ レーザ
１０９ 共焦点絞り
１１１ ＰＰＤ

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図4C】

【図5】

【図6A】

【図6B】