IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 浜松ホトニクス株式会社の特許一覧

特許7688029画像処理装置、画像処理方法、画像処理プログラム及び記録媒体
<>
  • 特許-画像処理装置、画像処理方法、画像処理プログラム及び記録媒体 図1
  • 特許-画像処理装置、画像処理方法、画像処理プログラム及び記録媒体 図2
  • 特許-画像処理装置、画像処理方法、画像処理プログラム及び記録媒体 図3
  • 特許-画像処理装置、画像処理方法、画像処理プログラム及び記録媒体 図4
  • 特許-画像処理装置、画像処理方法、画像処理プログラム及び記録媒体 図5
  • 特許-画像処理装置、画像処理方法、画像処理プログラム及び記録媒体 図6
  • 特許-画像処理装置、画像処理方法、画像処理プログラム及び記録媒体 図7
  • 特許-画像処理装置、画像処理方法、画像処理プログラム及び記録媒体 図8
  • 特許-画像処理装置、画像処理方法、画像処理プログラム及び記録媒体 図9
  • 特許-画像処理装置、画像処理方法、画像処理プログラム及び記録媒体 図10
  • 特許-画像処理装置、画像処理方法、画像処理プログラム及び記録媒体 図11
  • 特許-画像処理装置、画像処理方法、画像処理プログラム及び記録媒体 図12
  • 特許-画像処理装置、画像処理方法、画像処理プログラム及び記録媒体 図13
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2025-05-26
(45)【発行日】2025-06-03
(54)【発明の名称】画像処理装置、画像処理方法、画像処理プログラム及び記録媒体
(51)【国際特許分類】
   G06T 5/70 20240101AFI20250527BHJP
【FI】
G06T5/70
【請求項の数】 12
(21)【出願番号】P 2022533739
(86)(22)【出願日】2021-05-24
(86)【国際出願番号】 JP2021019565
(87)【国際公開番号】W WO2022004191
(87)【国際公開日】2022-01-06
【審査請求日】2024-03-11
(31)【優先権主張番号】P 2020115064
(32)【優先日】2020-07-02
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000236436
【氏名又は名称】浜松ホトニクス株式会社
(74)【代理人】
【識別番号】100088155
【弁理士】
【氏名又は名称】長谷川 芳樹
(74)【代理人】
【識別番号】100113435
【弁理士】
【氏名又は名称】黒木 義樹
(74)【代理人】
【識別番号】100140442
【弁理士】
【氏名又は名称】柴山 健一
(74)【代理人】
【識別番号】100124291
【弁理士】
【氏名又は名称】石田 悟
(72)【発明者】
【氏名】安彦 修
(72)【発明者】
【氏名】竹内 康造
【審査官】高野 美帆子
(56)【参考文献】
【文献】特開2005-084902(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 5/70
(57)【特許請求の範囲】
【請求項1】
第1方向に沿って延在する線状のノイズを含む対象画像を処理して前記ノイズが低減された画像を生成する装置であって、
微分画像に対して前記第1方向の積分処理またはデコンボリューション処理をして前記対象画像を作成する対象画像作成部と、
前記対象画像に含まれるノイズ画像を推定するノイズ推定部と、
前記対象画像および前記ノイズ画像に基づいて前記対象画像から前記ノイズが低減された画像を生成するノイズ低減部と、
を備え、
前記ノイズ推定部は、前記対象画像に対して前記第1方向と直交する第2方向の微分処理および前記第1方向の低周波成分抽出処理をした結果と、前記ノイズ画像に対して前記第2方向の微分処理および前記第1方向の低周波成分抽出処理をした結果と、の差を表す第1項を含む評価関数を用いて、前記評価関数の値が最小となる前記ノイズ画像を求める、
画像処理装置。
【請求項2】
第1方向に沿って延在する線状のノイズを含む対象画像を処理して前記ノイズが低減された画像を生成する装置であって、
位相微分画像に対して前記第1方向の積分処理またはデコンボリューション処理をして作成された位相画像を前記対象画像とし、前記対象画像に含まれるノイズ画像を推定するノイズ推定部と、
前記対象画像および前記ノイズ画像に基づいて前記対象画像から前記ノイズが低減された画像を生成するノイズ低減部と、
を備え、
前記ノイズ推定部は、前記対象画像に対して前記第1方向と直交する第2方向の微分処理および前記第1方向の低周波成分抽出処理をした結果と、前記ノイズ画像に対して前記第2方向の微分処理および前記第1方向の低周波成分抽出処理をした結果と、の差を表す第1項を含む評価関数を用いて、前記評価関数の値が最小となる前記ノイズ画像を求める、
画像処理装置。
【請求項3】
前記ノイズ推定部は、前記対象画像のうちの背景領域と前記ノイズ画像のうちの背景領域との差を表す第2項を更に含む前記評価関数を用いて、前記評価関数の値が最小となる前記ノイズ画像を求める、
請求項1または2に記載の画像処理装置。
【請求項4】
前記ノイズ推定部は、前記ノイズ画像に対して前記第1方向の高周波成分抽出処理をした結果を表す第3項を更に含む前記評価関数を用いて、前記評価関数の値が最小となる前記ノイズ画像を求める、
請求項1~3の何れか1項に記載の画像処理装置。
【請求項5】
位相微分画像に対して前記第1方向の積分処理またはデコンボリューション処理をして作成された位相画像を前記対象画像とする、請求項に記載の画像処理装置。
【請求項6】
第1方向に沿って延在する線状のノイズを含む対象画像を処理して前記ノイズが低減された画像を生成する方法であって、
微分画像に対して前記第1方向の積分処理またはデコンボリューション処理をして前記対象画像を作成する対象画像作成ステップと、
前記対象画像に含まれるノイズ画像を推定するノイズ推定ステップと、
前記対象画像および前記ノイズ画像に基づいて前記対象画像から前記ノイズが低減された画像を生成するノイズ低減ステップと、
を備え、
前記ノイズ推定ステップにおいて、前記対象画像に対して前記第1方向と直交する第2方向の微分処理および前記第1方向の低周波成分抽出処理をした結果と、前記ノイズ画像に対して前記第2方向の微分処理および前記第1方向の低周波成分抽出処理をした結果と、の差を表す第1項を含む評価関数を用いて、前記評価関数の値が最小となる前記ノイズ画像を求める、
画像処理方法。
【請求項7】
第1方向に沿って延在する線状のノイズを含む対象画像を処理して前記ノイズが低減された画像を生成する方法であって、
位相微分画像に対して前記第1方向の積分処理またはデコンボリューション処理をして作成された位相画像を前記対象画像とし、前記対象画像に含まれるノイズ画像を推定するノイズ推定ステップと、
前記対象画像および前記ノイズ画像に基づいて前記対象画像から前記ノイズが低減された画像を生成するノイズ低減ステップと、
を備え、
前記ノイズ推定ステップにおいて、前記対象画像に対して前記第1方向と直交する第2方向の微分処理および前記第1方向の低周波成分抽出処理をした結果と、前記ノイズ画像に対して前記第2方向の微分処理および前記第1方向の低周波成分抽出処理をした結果と、の差を表す第1項を含む評価関数を用いて、前記評価関数の値が最小となる前記ノイズ画像を求める、
画像処理方法。
【請求項8】
前記ノイズ推定ステップにおいて、前記対象画像のうちの背景領域と前記ノイズ画像のうちの背景領域との差を表す第2項を更に含む前記評価関数を用いて、前記評価関数の値が最小となる前記ノイズ画像を求める、
請求項6または7に記載の画像処理方法。
【請求項9】
前記ノイズ推定ステップにおいて、前記ノイズ画像に対して前記第1方向の高周波成分抽出処理をした結果を表す第3項を更に含む前記評価関数を用いて、前記評価関数の値が最小となる前記ノイズ画像を求める、
請求項6~8の何れか1項に記載の画像処理方法。
【請求項10】
位相微分画像に対して前記第1方向の積分処理またはデコンボリューション処理をして作成された位相画像を前記対象画像とする、請求項に記載の画像処理方法。
【請求項11】
請求項6~10の何れか1項に記載の画像処理方法の各ステップをコンピュータに実行させるための画像処理プログラム。
【請求項12】
請求項11に記載の画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、画像処理装置、画像処理方法、画像処理プログラム及び記録媒体に関するものである。
【背景技術】
【0002】
微分干渉顕微鏡を応用した装置により取得した1または複数の干渉画像に基づいて位相微分画像を作成し、更に該位相微分画像に基づいて位相画像を取得する技術が、幾つか知られている。これらの技術では、位相微分画像に対して積分処理またはデコンボリューション処理をすることで位相画像を作成することができる。これらの技術は、例えば細胞の位相画像を取得する際に好適に用いられる。
【0003】
このようにして作成された位相画像は、一方向に沿って延在する線状のノイズ(線状のアーティファクト)を含む場合があり、その場合に、互いに平行な複数本の線状のノイズを含むことが多い。一方向に沿って延在する線状のノイズを含む画像としては、微分干渉顕微鏡を応用した装置を用いて取得される位相画像だけでなく、他の種類の画像もある。
【0004】
非特許文献1には、一方向に沿って延在する線状のノイズを含む対象画像を処理して、ノイズが低減された画像を生成することができる技術が記載されている。
【先行技術文献】
【非特許文献】
【0005】
【文献】M. R. ARNISON et al., "Using the Hilbert transform for 3D visualization of differential interference contrast microscope images", Journal of Microscopy, Vol.199 Pt1, pp.79-84 (2000)
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、非特許文献1に記載された技術では、対象画像からノイズが低減された画像を生成することができるものの、対象画像が定量性を有していたとしても、ノイズ低減処理後の画像では定量性が失われてしまう。
【0007】
実施形態は、一方向に沿って延在する線状のノイズを含む対象画像を処理して、対象画像が有していた定量性を維持したノイズ低減処理後の画像を生成することができる画像処理装置、画像処理方法、画像処理プログラム及び記録媒体を提供することを目的とする。
【課題を解決するための手段】
【0008】
実施形態は、画像処理装置である。画像処理装置は、第1方向に沿って延在する線状のノイズを含む対象画像を処理してノイズが低減された画像を生成する装置であって、対象画像に含まれるノイズ画像を推定するノイズ推定部と、対象画像およびノイズ画像に基づいて対象画像からノイズが低減された画像を生成するノイズ低減部と、を備え、ノイズ推定部は、対象画像に対して第1方向と直交する第2方向の微分処理および第1方向の低周波成分抽出処理をした結果と、ノイズ画像に対して第2方向の微分処理および第1方向の低周波成分抽出処理をした結果と、の差を表す第1項を含む評価関数を用いて、評価関数の値が最小となるノイズ画像を求める。
【0009】
実施形態は、画像処理方法である。画像処理方法は、第1方向に沿って延在する線状のノイズを含む対象画像を処理してノイズが低減された画像を生成する方法であって、対象画像に含まれるノイズ画像を推定するノイズ推定ステップと、対象画像およびノイズ画像に基づいて対象画像からノイズが低減された画像を生成するノイズ低減ステップと、を備え、ノイズ推定ステップにおいて、対象画像に対して第1方向と直交する第2方向の微分処理および第1方向の低周波成分抽出処理をした結果と、ノイズ画像に対して第2方向の微分処理および第1方向の低周波成分抽出処理をした結果と、の差を表す第1項を含む評価関数を用いて、評価関数の値が最小となるノイズ画像を求める。
【0010】
実施形態は、画像処理プログラムである。画像処理プログラムは、上記の画像処理方法の各ステップをコンピュータに実行させるためのプログラムである。
【0011】
実施形態は、記録媒体である。記録媒体は、上記の画像処理プログラムを記録したコンピュータ読み取り可能な媒体である。
【発明の効果】
【0012】
実施形態の画像処理装置、画像処理方法、画像処理プログラム及び記録媒体によれば、一方向に沿って延在する線状のノイズを含む対象画像を処理して、対象画像が有していた定量性を維持したノイズ低減処理後の画像を生成することができる。
【図面の簡単な説明】
【0013】
図1図1は、一実施形態の画像処理装置1の構成を示す図である。
図2図2は、一実施形態の画像処理方法を説明するフローチャートである。
図3図3は、(a)位相微分画像を示す図、及び(b)位相画像を示す図である。
図4図4は、(a)ノイズ画像を示す図、及び(b)ノイズ低減処理後画像を示す図である。
図5図5は、(a)対象画像xを示す図、(b)(a)の対象画像xに対して第2方向の微分処理Dをした結果の画像Dxを示す図、及び(c)(b)の画像Dxに対して第1方向の低周波成分抽出処理Lをした結果の画像LDxを示す図である。
図6図6は、(a)推定処理途中のノイズ画像yを示す図、(b)(a)のノイズ画像yに対して第2方向の微分処理Dをした結果の画像Dyを示す図、及び(c)(b)の画像Dyに対して第1方向の低周波成分抽出処理Lをした結果の画像LDyを示す図である。
図7図7は、図6(a)の推定処理途中のノイズ画像yに対して第1方向の高周波成分抽出処理Lをした結果の画像Lyを示す図である。
図8図8は、(a)(4)式の評価関数E(x,y)を用いた場合に得られるノイズ画像を示す図、及び(b)(4)式の評価関数E(x,y)を用いた場合に得られるノイズ低減処理後画像を示す図である。
図9図9は、(a)(5)式の評価関数E(x,y)を用いた場合に得られるノイズ画像を示す図、及び(b)(5)式の評価関数E(x,y)を用いた場合に得られるノイズ低減処理後画像を示す図である。
図10図10は、(a)(6)式の評価関数E(x,y)を用いた場合に得られるノイズ画像を示す図、及び(b)(6)式の評価関数E(x,y)を用いた場合に得られるノイズ低減処理後画像を示す図である。
図11図11は、(a)(7)式の評価関数E(x,y)を用いた場合に得られるノイズ画像を示す図、及び(b)(7)式の評価関数E(x,y)を用いた場合に得られるノイズ低減処理後画像を示す図である。
図12図12は、(a)溶液の屈折率を約1.335としたときに得られたノイズ低減処理後画像を示す図、及び(b)溶液の屈折率を約1.342としたときに得られたノイズ低減処理後画像を示す図である。
図13図13は、(a)溶液の屈折率を約1.349としたときに得られたノイズ低減処理後画像を示す図、及び(b)溶液の屈折率を約1.362としたときに得られたノイズ低減処理後画像を示す図である。
【発明を実施するための形態】
【0014】
以下、添付図面を参照して、画像処理装置、画像処理方法、画像処理プログラム及び記録媒体の実施の形態を詳細に説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。本発明は、これらの例示に限定されるものではない。
【0015】
図1は、本実施形態の画像処理装置1の構成を示す図である。画像処理装置1は、制御部10、対象画像作成部11、ノイズ推定部12、ノイズ低減部13、入力部14、記憶部15、および表示部16を備える。画像処理装置1はコンピュータであってよい。制御部10は、対象画像作成部11、ノイズ推定部12、ノイズ低減部13、入力部14、記憶部15、および表示部16それぞれの動作を制御するものであり、CPUを含む。
【0016】
対象画像作成部11、ノイズ推定部12、およびノイズ低減部13は、画像処理を行うものであり、CPU、DSP、またはFPGA等の処理装置を含む。入力部14は、処理すべき画像のデータを入力し、キーボードやマウスにより画像処理条件を入力する。
【0017】
記憶部15は、各種の画像のデータを記憶するものであり、ハードディスクドライブ、フラッシュメモリ、RAM、およびROM等を含む。なお、対象画像作成部11、ノイズ推定部12、ノイズ低減部13、および記憶部15は、クラウドコンピューティングによって構成されてもよい。表示部16は、処理すべき画像、処理途中の画像および処理後の画像などを表示するものであり、例えば液晶ディスプレイを含む。
【0018】
記憶部15は、対象画像作成部11、ノイズ推定部12、およびノイズ低減部13に画像処理の各ステップを実行させるためのプログラムをも記憶する。この画像処理プログラムは、画像処理装置1の製造時または出荷時に記憶部15に記憶されていてもよいし、出荷後に通信回線を経由して取得されたものが記憶部15に記憶されてもよいし、コンピュータ読み取り可能な記録媒体2に記録されていたものが記憶部15に記憶されてもよい。記録媒体2は、フレキシブルディスク、CD-ROM、DVD-ROM、BD-ROM、USBメモリなど任意である。
【0019】
図2は、本実施形態の画像処理方法を説明するフローチャートである。本実施形態の画像処理方法は、対象画像作成ステップS1、ノイズ推定ステップS2、およびノイズ低減ステップS3を備える。
【0020】
対象画像作成ステップS1は、対象画像作成部11が行う処理である。ノイズ推定ステップS2は、ノイズ推定部12が行う処理である。ノイズ低減ステップS3は、ノイズ低減部13が行う処理である。一例として、対象画像作成ステップS1において位相微分画像から位相画像を作成する場合について説明する。
【0021】
対象画像作成ステップS1では、対象画像作成部11は、位相微分画像に対して積分処理またはデコンボリューション処理をすることで位相画像を作成する。ここで作成される位相画像が、ノイズ低減処理の対象となる対象画像である。
【0022】
ノイズ推定ステップS2では、ノイズ推定部12は、対象画像(位相画像)に含まれるノイズ画像を推定する。ノイズ低減ステップS3では、ノイズ低減部13は、対象画像およびノイズ画像に基づいて、対象画像からノイズが低減された画像(ノイズ低減処理後画像)を生成する。具体的には、対象画像からノイズ画像を差し引くことでノイズ低減処理後画像を生成することができる。以下では、具体的な画像例を示して各ステップについて詳細に説明する。
【0023】
図3(a)は、位相微分画像を示す図である。この位相微分画像は、微分干渉顕微鏡を応用した装置により取得された干渉画像から作成されたものである。微分干渉顕微鏡におけるシアー方向は、この図において左右方向である。この位相微分画像は、観察対象である数個の細胞の他に、その周囲に位相が略一様な(すなわち、位相微分が略0である)背景領域を示している。
【0024】
図3(b)は、位相画像を示す図である。この位相画像は、対象画像作成ステップS1において対象画像作成部11により、図3(a)の位相微分画像に対して積分処理することで作成されたものである。具体的には、求めるべき位相画像をxとし、位相画像xに対する第1方向(図において左右方向、シアー方向)の微分処理をAとし、位相微分画像をbとし、正の定数をλとして、下記(1)式で表される最適化問題を解くことにより、位相画像xを求めることができる。
【数1】
【0025】
上記において、λは、例えば10-5~10-2の範囲の値に設定される。位相画像xは、位相値が0以上であるという制約条件の下で、位相画像xに対し第1方向の微分処理Aをした結果Axと位相微分画像bとの差が最小となるものとして求めることができる。この図に示されるように、位相画像xは、第1方向(図において左右方向)に沿って延在する線状のノイズ(線状のアーティファクト)を含んでいる。
【0026】
図4(a)は、ノイズ画像を示す図である。このノイズ画像は、ノイズ推定ステップS2においてノイズ推定部12により、図3(b)の位相画像(ノイズ低減処理の対象となる対象画像)に含まれるものとして推定されたものである。ノイズ推定ステップS2におけるノイズ画像の推定処理の詳細については後述する。
【0027】
図4(b)は、ノイズ低減処理後画像を示す図である。このノイズ低減処理後画像は、ノイズ低減ステップS3においてノイズ低減部13により、図3(b)の対象画像(位相画像)から図4(a)のノイズ画像を差し引くことで生成されたものである。この図に示されるように、ノイズ低減処理後画像は、対象画像に含まれていたノイズが低減されており、かつ、対象画像が有していた定量性を維持している。
【0028】
次に、ノイズ推定ステップS2において対象画像に含まれるノイズ画像を推定する処理について詳細に説明する。対象画像をxとし、対象画像xに含まれるノイズ画像をyとする。
【0029】
画像に対する第1方向(図において左右方向)の低周波成分抽出処理をLとし、画像に対する第1方向の高周波成分抽出処理をLとする。画像に対する第2方向(図において第1方向に直交する上下方向)の微分処理をDとし、画像のうちの背景領域を抽出する処理をMとする。また、正の定数をλ,μとする。
【0030】
上記において、例えば、λは、10-3~10-1の範囲の値に設定され、μは、10-2~1の範囲の値に設定される。下記(3)式で表される評価関数E(x,y)について、下記(2)式で表される最適化問題を解くことにより、ノイズ画像yを推定する。
【数2】
【数3】
【0031】
上記(3)式で表される評価関数E(x,y)の第1項は、対象画像xに対して第2方向の微分処理Dおよび第1方向の低周波成分抽出処理Lを行った結果LDxと、ノイズ画像yに対して第2方向の微分処理Dおよび第1方向の低周波成分抽出処理Lを行った結果LDyと、の差を表している。各画像に対する微分処理Dおよび低周波成分抽出処理Lの順序は任意である。また、対象画像xとノイズ画像yとの差に対して微分処理Dおよび低周波成分抽出処理Lをしてもよい。
【0032】
対象画像に含まれる線状のノイズ(線状のアーチファクト)は、対象画像の第1方向(左右方向)に沿って延在していることから、第2方向に沿ってはノイズの変化が大きく、第1方向に沿ってはノイズの空間周波数が低い。したがって、ノイズ画像yは、評価関数E(x,y)の第1項が最小となるものとして求めることができる。
【0033】
図5および図6は、評価関数E(x,y)の第1項を説明する為の画像例を示す図である。図5(a)は、対象画像xを示す図である。図5(b)は、図5(a)の対象画像xに対して第2方向の微分処理Dをした結果の画像Dxを示す図である。この画像Dxでは、ノイズが明確になっているが、観察対象の情報(高周波成分)も存在している。
【0034】
図5(c)は、図5(b)の画像Dxに対して第1方向の低周波成分抽出処理Lをした結果の画像LDxを示す図である。この画像LDxでは、低周波成分が抽出されている。
【0035】
図6(a)は、推定処理途中のノイズ画像yを示す図である。図6(b)は、図6(a)のノイズ画像yに対して第2方向の微分処理Dをした結果の画像Dyを示す図である。推定処理終了時のノイズ画像には理想的には観察対象の情報(高周波成分)が存在しないが、推定処理途中の画像Dyでは観察対象の情報(高周波成分)が存在している。
【0036】
図6(c)は、図6(b)の画像Dyに対して第1方向の低周波成分抽出処理Lをした結果の画像LDyを示す図である。推定処理終了時のノイズ画像には理想的には観察対象の情報(高周波成分)が存在しないから、この画像LDyは画像Dyと略同じである。
【0037】
評価関数E(x,y)の第1項は、図5(c)の画像LDxと図6(c)の画像LDyとの差を表している。この差が最小になるようなノイズ画像yを求める。
【0038】
上記(3)式で表される評価関数E(x,y)の第2項は、対象画像xについて背景領域抽出処理Mをした結果Mxと、ノイズ画像yについて背景領域抽出処理Mをした結果Myと、の差を表している。対象画像xとノイズ画像yとの差に対して背景領域抽出処理Mをしてもよい。対象画像xおよびノイズ画像yの何れにおいても、背景領域では、観察対象の情報は存在せず、ノイズのみが存在する。したがって、ノイズ画像yは、評価関数E(x,y)の第2項が最小となるものとして求めることができる。
【0039】
上記(3)式で表される評価関数E(x,y)の第3項は、ノイズ画像yに対して第1方向の高周波成分抽出処理Lをした結果Lyを表している。第1方向に沿っては、ノイズの空間周波数は、観察対象の情報の空間周波数より低く、高い成分を有していない。したがって、ノイズ画像yは、評価関数E(x,y)の第3項が最小となるものとして求めることができる。図7は、図6(a)の推定処理途中のノイズ画像yに対して第1方向の高周波成分抽出処理Lをした結果の画像Lyを示す図である。
【0040】
一般に、上記(3)式で表される評価関数E(x,y)の第1項、第2項、および第3項の全てを、同時に最小にすることができるようなノイズ画像yを求めることはできない。そこで、上記(3)式のように定数λ,μを用いて第1項、第2項、および第3項の線形和で表した評価関数E(x,y)が最小となるように、上記(2)式で表される最適化問題を解くことにより、ノイズ画像yを推定する。
【0041】
なお、評価関数E(x,y)は、上記(3)式中の第1項を含むことが必要であるが、上記(3)式中の第2項および第3項の双方または何れか一方を含まなくてもよい。
【0042】
すなわち、評価関数E(x,y)は、上記(3)式において定数λまたはμの値を0として、下記(4)、(5)、(6)式の何れかで表されるものであってもよい。
【数4】
【数5】
【数6】
【0043】
次に、上記(3)~(6)式それぞれの評価関数E(x,y)を用いた場合に得られるノイズ画像およびノイズ低減処理後画像について説明する。何れの場合も、図3(b)に示された位相画像を、ノイズ低減処理の対象となる対象画像xとする。
【0044】
上記(3)式の評価関数E(x,y)を用いた場合、ノイズ推定ステップS2において、図4(a)に示されたノイズ画像yが得られ、ノイズ低減ステップS3において、図4(b)に示されたノイズ低減処理後画像が得られる。ここで、λ=1×10-2であり、μ=1×10-1である。ノイズ低減処理後画像は、対象画像に含まれていたノイズが十分に低減されており、かつ、対象画像が有していた定量性を十分に維持している。
【0045】
上記(4)式の評価関数E(x,y)を用いた場合、ノイズ推定ステップS2において、図8(a)に示されるノイズ画像yが得られ、ノイズ低減ステップS3において、図8(b)に示されるノイズ低減処理後画像が得られる。ここで、μ=1×10-1である。この場合に得られるノイズ画像yは、観察対象の情報を含んでいる。それ故、ノイズ低減処理後画像は、ノイズが低減され、観察対象の情報も幾らか失われているものの、対象画像が有していた定量性を比較的よく維持している。
【0046】
上記(5)式の評価関数E(x,y)を用いた場合、ノイズ推定ステップS2において、図9(a)に示されるノイズ画像yが得られ、ノイズ低減ステップS3において、図9(b)に示されるノイズ低減処理後画像が得られる。ここで、λ=1×10-2である。この場合に得られるノイズ画像yは、図中において矢印で指し示す部分で計算誤差が生じている。それ故、ノイズ低減処理後画像は、ノイズの低減が不完全であるが、対象画像が有していた定量性を比較的よく維持している。
【0047】
上記(6)式の評価関数E(x,y)を用いた場合、ノイズ推定ステップS2において、図10(a)に示されるノイズ画像yが得られ、ノイズ低減ステップS3において、図10(b)に示されるノイズ低減処理後画像が得られる。この場合に得られるノイズ画像yは、観察対象の情報を含んでいる。それ故、ノイズ低減処理後画像は、ノイズが低減され、観察対象の情報も幾らか失われているものの、対象画像が有していた定量性を比較的よく維持している。
【0048】
比較例として、上記(3)式中の第1項を含まない下記(7)式の評価関数E(x,y)を用いた場合、ノイズ推定ステップS2において、図11(a)に示されるノイズ画像yが得られ、ノイズ低減ステップS3において、図11(b)に示されるノイズ低減処理後画像が得られる。ここで、λ=1×10-1であり、μ=1である。この場合に得られるノイズ画像yは、観察対象が存在している領域においてノイズを推定することができていない。それ故、ノイズ低減処理後画像は、観察対象が存在している領域においてノイズが低減されていない。
【数7】
【0049】
このように、上記(3)~(6)式の何れかの評価関数E(x,y)が最小となるように、上記(2)式で表される最適化問題を解くことにより、ノイズ画像yを高精度に推定することができる。そして、対象画像xおよびノイズ画像yに基づいて得られるノイズ低減処理後画像は、対象画像に含まれていたノイズが低減されており、かつ、対象画像が有していた定量性を維持している。なお、最も好ましいのは、上記(3)式の評価関数E(x,y)を用いる場合である。
【0050】
図12および図13は、観察対象である細胞を浸した溶液の屈折率を各値としたときに本実施形態の画像処理方法により得られたノイズ低減処理後画像を示す図である。溶液に含まれるBSA(bovine serum albumin)の濃度を調整することで、溶液の屈折率を調整した。ATAGO社のアッベ屈折計を用いて溶液の屈折率を測定した。上記(3)式の評価関数E(x,y)を用いた。ここで、λ=1×10-2であり、μ=1×10-1である。
【0051】
図12(a)は、溶液の屈折率を約1.335としたときに得られたノイズ低減処理後画像を示す図である。図12(b)は、溶液の屈折率を約1.342としたときに得られたノイズ低減処理後画像を示す図である。図13(a)は、溶液の屈折率を約1.349としたときに得られたノイズ低減処理後画像を示す図である。図13(b)は、溶液の屈折率を約1.362としたときに得られたノイズ低減処理後画像を示す図である。
【0052】
これらの図に示されるように、溶液の屈折率が何れの値であっても、得られたノイズ低減処理後画像は、対象画像に含まれていたノイズが低減されており、かつ、対象画像が有していた定量性を維持している。溶液の屈折率が高くなるに従い、細胞と溶液との間の位相差が小さくなっていく。
【0053】
図13(b)に示されるように、細胞と溶液との間の位相差が小さい場合であっても、得られたノイズ低減処理後画像は、対象画像に含まれていたノイズが十分に低減されている。細胞と溶液との間の位相差が0になったときの溶液の屈折率を、細胞の屈折率として高精度に決定することができる。
【0054】
画像処理装置、画像処理方法、画像処理プログラム及び記録媒体は、上述した実施形態及び構成例に限られるものではなく、他に様々な変形が可能である。
【0055】
上記実施形態による画像処理装置は、第1方向に沿って延在する線状のノイズを含む対象画像を処理してノイズが低減された画像を生成する装置であって、対象画像に含まれるノイズ画像を推定するノイズ推定部と、対象画像およびノイズ画像に基づいて対象画像からノイズが低減された画像を生成するノイズ低減部と、を備え、ノイズ推定部は、対象画像に対して第1方向と直交する第2方向の微分処理および第1方向の低周波成分抽出処理をした結果と、ノイズ画像に対して第2方向の微分処理および第1方向の低周波成分抽出処理をした結果と、の差を表す第1項を含む評価関数を用いて、評価関数の値が最小となるノイズ画像を求める。
【0056】
上記の画像処理装置において、ノイズ推定部は、対象画像のうちの背景領域とノイズ画像のうちの背景領域との差を表す第2項を更に含む評価関数を用いて、評価関数の値が最小となるノイズ画像を求める構成としてもよい。
【0057】
上記の画像処理装置において、ノイズ推定部は、ノイズ画像に対して第1方向の高周波成分抽出処理をした結果を表す第3項を更に含む評価関数を用いて、評価関数の値が最小となるノイズ画像を求める構成としてもよい。
【0058】
上記の画像処理装置は、微分画像に対して第1方向の積分処理またはデコンボリューション処理をして対象画像を作成する対象画像作成部を更に備える構成としてもよい。
【0059】
上記の画像処理装置は、位相微分画像に対して第1方向の積分処理またはデコンボリューション処理をして作成された位相画像を対象画像とする構成としてもよい。
【0060】
上記実施形態による画像処理方法は、第1方向に沿って延在する線状のノイズを含む対象画像を処理してノイズが低減された画像を生成する方法であって、対象画像に含まれるノイズ画像を推定するノイズ推定ステップと、対象画像およびノイズ画像に基づいて対象画像からノイズが低減された画像を生成するノイズ低減ステップと、を備え、ノイズ推定ステップにおいて、対象画像に対して第1方向と直交する第2方向の微分処理および第1方向の低周波成分抽出処理をした結果と、ノイズ画像に対して第2方向の微分処理および第1方向の低周波成分抽出処理をした結果と、の差を表す第1項を含む評価関数を用いて、評価関数の値が最小となるノイズ画像を求める。
【0061】
上記の画像処理方法は、ノイズ推定ステップにおいて、対象画像のうちの背景領域とノイズ画像のうちの背景領域との差を表す第2項を更に含む評価関数を用いて、評価関数の値が最小となるノイズ画像を求める構成としてもよい。
【0062】
上記の画像処理方法は、ノイズ推定ステップにおいて、ノイズ画像に対して第1方向の高周波成分抽出処理をした結果を表す第3項を更に含む評価関数を用いて、評価関数の値が最小となるノイズ画像を求める構成としてもよい。
【0063】
上記の画像処理方法は、微分画像に対して第1方向の積分処理またはデコンボリューション処理をして対象画像を作成する対象画像作成ステップを更に備える構成としてもよい。
【0064】
上記の画像処理方法は、位相微分画像に対して第1方向の積分処理またはデコンボリューション処理をして作成された位相画像を対象画像とする構成としてもよい。
【0065】
上記実施形態による画像処理プログラムは、上記の画像処理方法の各ステップをコンピュータに実行させるためのプログラムである。
【0066】
上記実施形態による記録媒体は、上記の画像処理プログラムを記録したコンピュータ読み取り可能な媒体である。
【産業上の利用可能性】
【0067】
実施形態は、一方向に沿って延在する線状のノイズを含む対象画像を処理して、対象画像が有していた定量性を維持したノイズ低減処理後の画像を生成することができる画像処理装置、画像処理方法、画像処理プログラム及び記録媒体として利用可能である。
【符号の説明】
【0068】
1…画像処理装置、2…記録媒体、10…制御部、11…対象画像作成部、12…ノイズ推定部、13…ノイズ低減部、14…入力部、15…記憶部、16…表示部。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13