(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024176514
(43)【公開日】2024-12-19
(54)【発明の名称】画像補正方法および画像補正装置
(51)【国際特許分類】
G06T 1/00 20060101AFI20241212BHJP
H04N 23/60 20230101ALI20241212BHJP
【FI】
G06T1/00 500A
H04N23/60 500
【審査請求】未請求
【請求項の数】10
【出願形態】OL
(21)【出願番号】P 2023095079
(22)【出願日】2023-06-08
(71)【出願人】
【識別番号】000001993
【氏名又は名称】株式会社島津製作所
(74)【代理人】
【識別番号】100104433
【弁理士】
【氏名又は名称】宮園 博一
(74)【代理人】
【識別番号】100202728
【弁理士】
【氏名又は名称】三森 智裕
(72)【発明者】
【氏名】阿久津 啓
(72)【発明者】
【氏名】澤田 隆二
(72)【発明者】
【氏名】足立 健太
【テーマコード(参考)】
5B057
5C122
【Fターム(参考)】
5B057AA10
5B057BA02
5B057CA08
5B057CA12
5B057CA16
5B057CB08
5B057CB12
5B057CB16
5B057CC01
5B057CE04
5B057CE06
5B057CE11
5C122EA12
5C122FH11
5C122FH22
5C122FH23
5C122HA88
5C122HB01
(57)【要約】
【課題】物体画像の背景に輝度ムラが生じた場合にも、輝度ムラの影響を抑制するような画像補正を、容易に行うことが可能な画像補正方法を提供することである。
【解決手段】本発明の画像補正方法は、物体20が写る物体画像10aを取得する画像取得ステップS1と、取得した物体画像10aに対して、物体20の輝度と物体以外の部分の輝度との差を小さくするようなぼかし処理を、程度を変えて複数回行うことにより、物体画像10aから背景の輝度成分の分布を抽出した、ぼかし処理の程度が異なる背景成分画像12a~12cを複数生成する背景生成ステップS2と、複数の背景成分画像12a~12cに基づいて得られるぼかし処理の程度を示す指標値に基づいて、背景成分画像12cを1つ選択する選択ステップS3、S3a~S3cと、輝度ムラを低減した補正物体画像14を生成する画像補正ステップS4と、を備える。
【選択図】
図9
【特許請求の範囲】
【請求項1】
観測対象である物体が写る物体画像を取得する画像取得ステップと、
取得した前記物体画像に対して、前記物体画像における前記物体の輝度と前記物体以外の部分の輝度との差を小さくするようなぼかし処理を、ぼかし処理の程度を変えて複数回行うことにより、前記物体画像から背景の輝度成分の分布を抽出した、ぼかし処理の程度が異なる背景成分画像を複数生成する背景生成ステップと、
前記背景生成ステップにおいて生成された前記複数の背景成分画像に基づいて得られるぼかし処理の程度を示す指標値に基づいて、前記背景成分画像を1つ選択する選択ステップと、
前記物体画像および選択された前記背景成分画像に基づいて、輝度ムラを低減するように前記物体画像を補正した補正物体画像を生成する画像補正ステップとを備える、画像補正方法。
【請求項2】
前記指標値は、前記複数の背景成分画像の輝度値に基づいて取得され、
前記選択ステップは、前記背景生成ステップにおいて生成された前記複数の背景成分画像のうち、所定のしきい値より小さい前記指標値に対応する前記背景成分画像を1つ選択する、請求項1に記載の画像補正方法。
【請求項3】
前記選択ステップは、前記背景生成ステップにおいて生成された前記複数の背景成分画像のうち、所定のしきい値より小さい前記指標値が複数ある場合に、所定のしきい値より小さい前記指標値のうち、一番大きい値の前記指標値に対応する前記背景成分画像を1つ選択する、請求項2に記載の画像補正方法。
【請求項4】
前記選択ステップは、前記ぼかし処理の程度の異なる前記複数の背景成分画像のうち、隣り合う前記ぼかし処理の程度の異なる2つの前記背景成分画像同士に基づいて、輝度値の差分画像を生成し、前記差分画像に応じて、前記指標値としての差分値を取得するとともに、所定の差分値しきい値より前記差分値の小さい前記差分画像を生成するために用いた前記背景成分画像を1つ選択する、請求項2に記載の画像補正方法。
【請求項5】
前記選択ステップは、前記ぼかし処理の程度の異なる前記複数の背景成分画像の各々の輝度値に基づいて、前記指標値としての微分値を取得するとともに、所定の微分値しきい値より小さい前記微分値に対応する前記背景成分画像を1つ選択する、請求項2に記載の画像補正方法。
【請求項6】
前記選択ステップは、前記ぼかし処理の程度の異なる前記複数の背景成分画像の各々の輝度値に基づいて、前記指標値としての標準偏差を取得するとともに、所定のしきい値より小さい前記標準偏差に対応する前記背景成分画像を1つ選択する、請求項2に記載の画像補正方法。
【請求項7】
前記選択ステップは、前記ぼかし処理の程度の異なる前記複数の背景成分画像の各々に対してフーリエ変換処理を行うことによって、周波数成分に応じたスペクトルの強さを示すパワースペクトル画像を生成し、前記指標値としての前記パワースペクトル画像の特定の周波数における輝度値の平均である特定値を取得するとともに、所定の特定値しきい値より前記特定値が小さい前記パワースペクトル画像を生成するために用いた前記背景成分画像を1つ選択する、請求項2に記載の画像補正方法。
【請求項8】
前記ぼかし処理は、前記物体画像に対してフィルタをかけることにより補正処理を行うフィルタ処理であり、前記ぼかし処理の程度を変更するためのフィルタサイズの大きさを複数変化させて、ぼかし処理の程度の異なる前記背景成分画像を複数生成する、請求項1に記載の画像補正方法。
【請求項9】
前記背景生成ステップにおける前記フィルタ処理に用いる前記フィルタはメジアンフィルタであり、前記メジアンフィルタを用いることにより、前記物体画像から前記背景成分画像を抽出して、前記背景成分画像を複数生成する、請求項8に記載の画像補正方法。
【請求項10】
観測対象である物体が写る物体画像を取得する画像取得部と、
取得した前記物体画像に対して、前記物体画像における前記物体の輝度と前記物体以外の部分の輝度との差を小さくするようなぼかし処理を、ぼかし処理の程度を変えて複数回行うことにより、前記物体画像から背景の輝度成分の分布を抽出した、ぼかし処理の程度が異なる背景成分画像を複数生成する背景生成部と、
前記背景生成部で生成された前記複数の背景成分画像に基づいて得られるぼかし処理の程度を示す指標値に基づいて、前記背景成分画像を1つ選択する選択部と、
前記物体画像および選択された前記背景成分画像に基づいて、輝度ムラを低減するように前記物体画像を補正した補正物体画像を生成する画像補正部とを備える、画像補正装置。
【発明の詳細な説明】
【技術分野】
【0001】
この発明は、画像補正方法に関する。
【背景技術】
【0002】
従来、対象の物体を解析するために、撮像装置によって撮像された物体の画像を取得する方法が知られている(たとえば、特許文献1参照)。上記特許文献1には、培養プレートによって培養された細胞を顕微鏡などの撮影装置によって撮影することにより、物体画像を取得する構成が開示されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
ここで、上記特許文献1には開示されていないが、培養プレート(培養容器)によって細胞を培養する場合、表面張力によって、培養容器の端部近傍に近づくにつれて、培養溶液の液面の高さが増加する。培養溶液の液面の高さが変化した場合、物体画像の背景に輝度ムラが生じる。物体画像の背景に輝度ムラが生じた場合、輝度ムラを低減する画像の補正には、物体の大きさや、画像の輝度ムラの程度に応じて補正処理の程度(強度)を変更する必要がある。そのため、作業者が逐一補正処理の程度の設定を行う手間が生じることに加え、補正処理の程度も、画像の補正を行う作業者の経験に依存してしまう。そのため、物体画像の背景に輝度ムラが生じた場合にも、輝度ムラの影響を抑制するような画像補正を、容易に行うことが可能な画像補正方法が求められている。
【0005】
この発明は、上記のような課題を解決するためになされたものであり、この発明の1つの目的は、物体画像の背景に輝度ムラが生じた場合にも、輝度ムラの影響を抑制するような画像補正を、容易に行うことが可能な画像補正方法を提供することである。
【課題を解決するための手段】
【0006】
上記目的を達成するために、この発明の第1の局面による画像補正方法は、観測対象である物体が写る物体画像を取得する画像取得ステップと、取得した物体画像に対して、物体画像における物体の輝度と物体以外の部分の輝度との差を小さくするようなぼかし処理を、ぼかし処理の程度を変えて複数回行うことにより、物体画像から背景の輝度成分の分布を抽出した、ぼかし処理の程度が異なる背景成分画像を複数生成する背景生成ステップと、背景生成ステップにおいて生成された複数の背景成分画像に基づいて得られるぼかし処理の程度を示す指標値に基づいて、背景成分画像を1つ選択する選択ステップと、物体画像および選択された背景成分画像に基づいて、輝度ムラを低減するように物体画像を補正した補正物体画像を生成する画像補正ステップと、を備える。
【0007】
この発明の第2の局面による物体画像補正装置は、観測対象である物体が写る物体画像を取得する画像取得部と、取得した物体画像に対して、物体画像における物体の輝度と物体以外の部分の輝度との差を小さくするようなぼかし処理を、ぼかし処理の程度を変えて複数回行うことにより、物体画像から背景の輝度成分の分布を抽出した、ぼかし処理の程度が異なる背景成分画像を複数生成する背景生成部と、背景生成部で生成された複数の背景成分画像に基づいて得られるぼかし処理の程度を示す指標値に基づいて、背景成分画像を1つ選択する選択部と、物体画像および選択された背景成分画像に基づいて、輝度ムラを低減するように物体画像を補正した補正物体画像を生成する画像補正部と、を備える。
【発明の効果】
【0008】
本発明の第1の局面における画像補正方法、および、第2局面における画像補正装置では、上記のように、取得した物体画像に対して、物体画像における物体の輝度と物体以外の部分の輝度との差を小さくするようなぼかし処理を、ぼかし処理の程度を変えて複数回行うことにより、物体画像から背景の輝度成分の分布を抽出した、ぼかし処理の程度が異なる背景成分画像を複数生成する背景生成ステップと、背景生成ステップにおいて生成された複数の背景成分画像に基づいて得られるぼかし処理の程度を示す指標値に基づいて、背景成分画像を1つ選択する選択ステップと、を備える。これにより、複数の背景成分画像の中から複数の背景成分画像に基づいて得られるぼかし処理の程度を示す指標値に基づいて、背景成分画像が自動的に選択されるため、物体画像および選択された背景成分画像に基づいて物体画像を補正することができる。その結果、物体画像の背景に輝度ムラが生じた場合にも、輝度ムラの影響を抑制するような画像補正を、容易に行うことができる。
【図面の簡単な説明】
【0009】
【
図1】第1~4実施形態による物体画像補正装置の全体構成を示した模式図である。
【
図3】培養容器に充填された培養溶液に起因して、物体画像の背景に輝度ムラが生じることを説明するための模式図である。
【
図4】培養容器の端部近傍における、背景に輝度ムラが生じた物体画像である。
【
図5】培養容器の中央部における、背景に輝度ムラが生じていない物体画像である。
【
図6】第1実施形態による画像補正方法の処理を説明するためのフローチャートである。
【
図7】第1~4実施形態による背景成分画像を生成する方法を説明するための模式図である。
【
図8】第1実施形態による差分画像に基づいて指標値を取得する方法を説明するための模式図である。
【
図9】第1~4実施形態による補正物体画像を生成する方法を説明するための模式図である。
【
図10】第2実施形態による画像補正方法の処理を説明するためのフローチャートである。
【
図11】第2実施形態による微分値に基づいて背景成分画像を選択する方法を説明するための模式図である。
【
図12】第3実施形態による画像補正方法の処理を説明するためのフローチャートである。
【
図13】第3実施形態による標準偏差に基づいて背景成分画像を選択する方法を説明するための模式図である。
【
図14】第4実施形態による画像補正方法の処理を説明するためのフローチャートである。
【
図15】第4実施形態によるパワースペクトル画像により指標値を取得する構成を説明するための模式図である。
【発明を実施するための形態】
【0010】
以下、本発明を具体化した実施形態を図面に基づいて説明する。
【0011】
図1を参照して、第1実施形態による物体画像補正装置100を用いた画像補正方法について説明する。
【0012】
(物体画像補正装置の構成)
物体画像補正装置100は、
図1に示すように、画像取得部1と、背景生成部2、選択部3および画像補正部4を含む制御部5と、表示部6と、入力受付部7と、を備える。なお、物体画像補正装置100は、特許請求の範囲の「画像補正装置」の一例である。
【0013】
画像取得部1は、物体画像10を取得するように構成されている。この第1実施形態では、物体画像10は、細胞20(
図2参照)が写る画像である。具体的には、物体画像10は、培養容器30(
図3参照)に充填された培養溶液31(
図3参照)中において培養された細胞20を撮影した画像である。第1実施形態では、画像取得部1は、たとえば、撮像装置が取り付けられた顕微鏡8などの物体画像10を撮影する装置から物体画像10を取得するように構成されている。画像取得部1は、たとえば、入出力インターフェースを含む。
【0014】
背景生成部2は、物体画像10から背景21(
図3参照)の輝度成分の分布を抽出した背景成分画像12(
図7参照)を生成するように構成されている。背景生成部2は、物体画像10に対して、物体画像10における被写体としての細胞20の輝度と、物体以外の部分である背景21の輝度との差を小さくするようなフィルタ処理(ぼかし処理)を行う。また、背景生成部2は、物体画像10に対してフィルタ処理を行う際に、フィルタサイズの異なる複数のフィルタを用いて、複数の背景成分画像12を生成する。なお、背景生成部2が背景成分画像12を生成する処理の詳細については、後述する。
【0015】
選択部3は、背景生成部2によって生成された複数の背景成分画像12の各々の輝度値に基づいて得られるぼかしの程度を示す指標値が、所定のしきい値より小さくなっている背景成分画像12を、複数の背景成分画像12のうちから、1つ選択するように構成されている。なお、選択部3が複数の背景成分画像12のうちから、1つの背景成分画像12を選択する処理の詳細については、後述する。
【0016】
画像補正部4は、物体画像10および選択部3によって選択された背景成分画像12に基づいて、輝度ムラを低減するように物体画像10を補正した補正物体画像14を生成する。なお、画像補正部4が、補正物体画像14を生成する処理の詳細については、後述する。
【0017】
制御部5は、物体画像補正装置100の制御を行うように構成されており、制御ブロックである背景生成部2、選択部3および画像補正部4を含む。なお、制御部5は、プロセッサとしてのCPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、GPU(Graphics Processing Unit)、または、画像処理用に構成されたFPGA(Field-Programmable Gate Array)などを含んでいる。また、制御部5は、物体画像10、補正物体画像14などを表示部6に表示させる制御を行うように構成されている。
【0018】
表示部6は、画像取得部1が取得した物体画像10、および、画像補正部4によって生成された補正物体画像14などを表示するように構成されている。表示部6は、たとえば、液晶モニタなどの表示装置を含む。
【0019】
入力受付部7は、操作者による操作入力を受け付け可能に構成されている。入力受付部7は、たとえば、マウス、キーボードなどの、入力デバイスを含む。
【0020】
(物体画像)
図2を参照して、物体画像10について説明する。この第1実施形態では、物体画像10は、細胞20が写る画像である。なお、この第1実施形態では、物体画像10は、撮像装置が取り付けられた顕微鏡8によって撮影された顕微鏡画像である。細胞20として、分化能を有する細胞20を撮影した画像である。たとえば、細胞20は、iPS細胞(induced Pluripotent Stem Cell)、ES細胞(Embryonic Stem Cell)などを含む。
【0021】
(培養溶液に起因して生じる背景の輝度ムラ)
次に、
図3~
図5を参照して、培養溶液31に起因して、物体画像10の背景21に輝度ムラが生じる場合があることについて説明する。なお、第1実施形態では、物体画像10のうち、背景21に輝度ムラが生じている画像を物体画像10a(
図4参照)とし、背景21に輝度ムラが生じていない画像を物体画像10b(
図5参照)とする。
【0022】
図3に示すように、細胞20は、培養容器30に充填された培養溶液31中において培養されている。培養溶液31の液面31aは、培養容器30の端部近傍40において、表面張力によって徐々に高さが変化する。
図3に示す例では、培養容器30の端部30aに近づくにつれて、培養溶液31の液面31aの高さが増加する場合を示している。この場合、培養溶液31の高さの違いに起因して、
図4に示す物体画像10aのように、背景21において、輝度ムラが生じる。なお、物体画像10aは、培養容器30の端部近傍40の細胞20を含む画像である。また、
図4に示す物体画像10aでは、背景21の輝度ムラを、間隔の異なるハッチングを付すことにより表現している。
図3に示す物体画像10aは、画像の左側から右側にかけて、背景21の輝度値(画素値)が小さくなる輝度ムラが生じている例である。また、培養容器30の端部近傍40とは、培養容器30の端部30aの位置そのものと、培養容器30の端部30aの位置の付近との両方を含む意味である。
【0023】
また、
図5に示すように、培養容器30の中央部41においては、培養溶液31の液面31aの高さが一定である。培養溶液31の液面31aの高さが一定の場合、背景21に輝度ムラが生じない。すなわち、物体画像10bに示すように、培養容器30の中央部41の細胞20を含む画像においては、背景21に輝度ムラが生じない。なお、物体画像10bは、培養容器30の中央部41の細胞20のみが写る画像である。
【0024】
(画像補正方法の処理)
次に、
図1および
図6~
図9を参照して、第1実施形態による画像補正方法によって、物体画像10を補正する方法について説明する。
図6に示すように、この第1実施形態では、画像補正方法は、画像取得ステップS1と、背景生成ステップS2と、選択ステップS3と、画像補正ステップS4とを含む。
【0025】
(物体画像の取得)
この第1実施形態では、まずステップS1として、物体画像10を取得する。具体的には、画像取得部1は、たとえば、撮像装置が取り付けられた顕微鏡8などにより撮影された物体画像10を通信により取得する。その後、ステップS2の処理に進む。
【0026】
(背景成分画像の生成)
次に、ステップS2として、背景生成部2は、物体画像10aから背景成分画像12を取得する。
図7を参照して、背景生成部2が背景成分画像12を生成する方法について説明する。第1実施形態では、背景生成部2は、画像取得部1が取得した物体画像10aに対してフィルタ処理を行うことにより、物体画像10aから背景21の輝度成分の分布を抽出した背景成分画像12を生成する。具体的には、背景生成部2は、物体画像10aに対してメジアンフィルタを適用することにより、背景成分画像12を生成する。第1実施形態では、背景生成部2は、メジアンフィルタを適用することによって物体画像10aの被写体である細胞20の輝度と、細胞20以外の部分である背景21の輝度との差を小さくするように、画像をぼかす。
【0027】
なお、メジアンフィルタによるフィルタ処理は、注目画素を中心とする所定の大きさに設定された領域(フィルタ)内の各画素の画素値の中央値を取得する。具体的には、メジアンフィルタによるフィルタ処理は、注目画素を中心とするフィルタ内の各画素の画素値を取得し、画素値順に並べ替え、中央値を取得する。そして、取得した中央値を、注目画素の画素値とする。この処理を、注目画素を変更し、物体画像10aの各画素に対して行う。したがって、メジアンフィルタによるフィルタ処理は、処理負荷が増加する。
【0028】
そこで、第1実施形態では、背景生成部2(
図1参照)は、
図7(A)に示す背景21に輝度ムラが生じている物体画像10aを縮小することにより、
図7(B)に示す縮小された縮小物体画像10cを生成する。具体的には、背景生成部2は、物体画像10aに対して、可逆圧縮処理を行うことにより、縮小物体画像10cを生成する。第1実施形態では、背景生成部2は、たとえば、物体画像10aを1/8の大きさに縮小することにより、縮小された縮小物体画像10cを生成する。
【0029】
そして、
図7(C)に示すように、背景生成部2は、縮小後の縮小物体画像10cに対するフィルタ処理により、縮小された縮小背景成分画像11を生成する。第1実施形態では、背景生成部2は、物体画像10aを縮小した画像である縮小物体画像10cに対して、メジアンフィルタを適用する。縮小された縮小背景成分画像11は、フィルタ処理により、背景21の輝度ムラ(背景成分)が抽出された画像である。縮小後の縮小背景成分画像11においては、物体画像10aにおける細胞20の位置を、破線で図示することにより表現している。なお、
図7(C)に示す縮小背景成分画像11は、細胞20と背景21とが明確に区別できない程度にぼかし処理がされている例である。
【0030】
そして、
図7(D)に示すように、背景生成部2は、縮小された縮小背景成分画像11を拡大することにより、背景成分画像12を生成する。具体的には、背景生成部2は、背景成分画像12の大きさが、物体画像10aと同じ大きさとなるように、縮小された縮小背景成分画像11を拡大する。第1実施形態では、たとえば、背景生成部2は、縮小背景成分画像11を8倍の大きさに拡大することにより、背景成分画像12を生成する。
【0031】
なお、背景生成ステップS2では、縮小物体画像10cに対して、メジアンフィルタのフィルタサイズを複数適用する。これにより、背景生成部2は、複数の縮小背景成分画像11を生成し、複数の縮小背景成分画像11の各々を拡大して、複数の背景成分画像12を生成する。たとえば、この第1実施形態では、
図8の上段に示すように、複数の背景成分画像12a~12cを取得する。なお、フィルタサイズは、大きいほどぼかしの程度(ぼかし処理の強度)を強くすることが可能である。その後、ステップS3の処理に進む。
【0032】
(背景成分画像の選択)
ステップS3では、選択部3が複数の背景成分画像12a~12cのうちから、1つの背景成分画像12cを選択する。
図8を参照して、背景生成部2が背景成分画像12cを選択する構成について説明する。選択部3は、背景生成部2によって生成された複数の背景成分画像12a~12cの各々の輝度値の差分を取るような処理を行う。このとき、フィルタサイズの違いによるぼかし強度の異なる背景成分画像12a~12cのうち、隣り合うぼかし強度の異なる2つの背景成分画像12a~12cの輝度値の差分を取る処理を行う。具体的には、背景成分画像12aおよび12bの輝度値の差分を取った差分画像13bを取得する。また、隣り合うぼかし強度の異なる2つの背景成分画像12bおよび12cの輝度値の差分を取った差分画像13cを取得する。また、選択部3は、差分画像13bおよび13cを含む取得した全ての差分画像13に基づいて得られるぼかしの程度を示す指標値が、所定のしきい値より小さくなっていることに基づいて、背景成分画像12cを選択するように構成されている。
【0033】
具体的には、差分画像13bおよび13cを含む取得した全ての差分画像13の各々に対して、画像全体の輝度値の平均値を取得し、指標値としての差分値を取得する。たとえば
図6に示すように、差分画像13bから、差分値が「8」であることを取得し、差分画像13cから差分値が「4」であることを取得する。そして、この差分値が所定のしきい値より小さくなった場合に、その差分画像13cを生成するために用いた背景成分画像12bおよび12cのうちから、フィルタサイズの大きい方の背景成分画像12cを選択する。選択のために基づく所定のしきい値は、設定により任意に変更できるが、この第1実施形態では、「5」である。なお、所定のしきい値より差分値が小さくなる差分画像13が複数存在する場合は、差分値が一番大きい差分画像13を用いて、背景成分画像12が選択される。その後、ステップS4の処理に進む。
【0034】
(補正物体画像の生成)
ステップS4では、画像補正部4が、物体画像10a、および、選択部3によって選択された背景成分画像12cに基づいて、輝度ムラを低減するように物体画像10aを補正した補正物体画像14を生成する。
図9を参照して、補正物体画像14を生成する構成について説明する。
図9に示すように、画像補正部4は、物体画像10aから背景成分画像12cを減算する。なお、物体画像10aから背景成分画像12cを減算した場合、画像全体の画素値が小さくなり、画像のコントラストが低下する場合がある。そこで、第1実施形態では、画像補正部4は、物体画像10aから背景成分画像12cを減算した後、所定の輝度値を加算することにより、補正物体画像14を生成する。所定の画素値は、たとえば、物体画像10aの画素値の階調の半分の値である。第1実施形態では、背景生成部2は、たとえば、物体画像10aの画素値が256階調の場合、所定の画素値として、128を加算する。
【0035】
図9に示すように、補正物体画像14は、背景21の輝度ムラが低減されている。
図9に示す補正物体画像14は、背景21の輝度ムラが低減されていることを、背景21にハッチングを付さないことにより表現している。
【0036】
上記のようにして、物体画像補正装置100は、物体画像10aに輝度ムラがある場合においても、適切な背景成分画像12cを選択して画像を補正することにより、輝度ムラを低減した補正物体画像14を取得する。
【0037】
(第1実施形態の効果)
第1実施形態では、以下のような効果を得ることができる。
【0038】
第1実施形態の画像補正方法は、観測対象である細胞20が写る物体画像10aを取得する画像取得ステップS1と、取得した物体画像10aに対して、物体画像10aにおける細胞20の輝度と細胞20以外の部分である背景21の輝度との差を小さくするようなぼかし処理を、ぼかし処理の程度を変えて複数回行うことにより、物体画像10aから背景21の輝度成分の分布を抽出した、ぼかし処理の程度が異なる背景成分画像12a~12cを複数生成する背景生成ステップS2と、背景生成ステップS2において生成された複数の背景成分画像12a~12cに基づいて得られるぼかし処理の程度を示す指標値に基づいて、背景成分画像12cを1つ選択する選択ステップS3と、物体画像10aおよび選択された背景成分画像12cに基づいて、輝度ムラを低減するように物体画像10aを補正した補正物体画像14を生成する画像補正ステップS4と、を備える。これにより、複数の背景成分画像12a~12cの中から複数の背景成分画像12cに基づいて得られるぼかし処理の程度を示す指標値に基づいて、背景成分画像12cが自動的に選択されるため、物体画像10aおよび選択された背景成分画像12cに基づいて物体画像10aを補正することができる。その結果、物体画像10aの背景21に輝度ムラが生じた場合にも、輝度ムラの影響を抑制するような画像補正を、容易に行うことができる。
【0039】
なお、第1実施形態では、指標値は、複数の背景成分画像12a~12cの輝度値に基づいて取得され、選択ステップS3は、背景生成ステップS2において生成された複数の背景成分画像12a~12cのうちから、所定のしきい値より小さい指標値に対応する背景成分画像12cを1つ選択する。これにより、複数の背景成分画像12a~12cの輝度値に基づいた指標値が、所定のしきい値より小さい背景成分画像12cが自動的に選択される。すなわち、十分にぼかし処理がされた背景成分画像12cが自動的に選択されるため、物体画像10aおよび選択された十分にぼかし処理がされた背景成分画像12cに基づいて物体画像10aを補正することができる。その結果、物体画像10aに対して輝度ムラの影響を抑制するような画像補正を、容易にかつ適切に行うことができる。
【0040】
また、第1実施形態では、選択ステップS3は、背景生成ステップS2において生成された複数の背景成分画像12a~12cのうち、所定のしきい値より小さい指標値が複数ある場合に、所定のしきい値より小さい指標値のうちから、一番大きい値の指標値に対応する背景成分画像12cを1つ選択する。これにより、所定のしきい値より小さい指標値を複数取得した場合にも、より適切な背景成分画像12cが選択される。ここで、所定のしきい値より小さい指標値のうち、一番大きい値の指標値に対応する背景成分画像12は、所定のしきい値より小さい他の指標値に対応する背景成分画像12に比べて、ぼかし処理の程度が弱く、物体画像10aにおける背景21の輝度値と、物体画像10aに基づいて生成した背景成分画像12の輝度値とが近い値となる。そのため、所定のしきい値より小さい指標値のうちから、一番大きい値の指標値に対応する背景成分画像12を選択することにより、物体画像10aにおける背景21の輝度値と、物体画像10aに基づいて生成した背景成分画像12の輝度値とが乖離することを抑制することができる。その結果、物体画像10aに対して輝度ムラの影響を抑制するような画像補正を行う際に用いる背景成分画像12を、より適切に選択ことができる。
【0041】
また、第1実施形態では、所定のしきい値より小さい指標値に対応する背景成分画像12a~12cを1つ選択する画像補正方法において、好ましくは、選択ステップS3は、ぼかし処理の程度の異なる複数の背景成分画像12a~12cのうち、隣り合うぼかし処理の程度の異なる2つの背景成分画像12a~12c同士に基づいて、輝度値の差分画像13a~13cを生成し、差分画像13に応じて、指標値としての差分値を取得するとともに、所定の差分値しきい値より差分値の小さい差分画像13cを生成するために用いた背景成分画像12cを1つ選択する。これにより、複数の背景成分画像12a~12cの輝度値に基づいた定量値である差分値が、差分値しきい値より小さい背景成分画像12cが自動的に選択されるため、物体画像10aおよび差分値が小さい差分画像13cに対応した背景成分画像12cに基づいて物体画像10aを補正することができる。その結果、物体画像10に対して輝度ムラの影響を抑制するような画像補正を、差分値に基づいて自動的に選択された背景成分画像12cを用いて、容易にかつ適切に行うことができる。
【0042】
また、第1実施形態では、ぼかし処理は、物体画像10aに対してフィルタをかけることにより補正処理を行うフィルタ処理であり、ぼかし処理の程度を変更するためのフィルタサイズの大きさを複数変化させて、ぼかし処理の程度の異なる背景成分画像12a~12cを複数生成する。これにより、フィルタサイズの大きさに応じて、ぼかし処理の程度が異なる背景成分画像12a~12cを複数生成することができる。その結果、フィルタサイズの大きさに応じて生成した複数の背景成分画像12a~12cから選択された背景成分画像12cを用いて、物体画像10aに対して輝度ムラの影響を抑制する画像補正を行うことができる。
【0043】
また、第1実施形態では、背景生成ステップS2におけるフィルタ処理に用いるフィルタはメジアンフィルタであり、メジアンフィルタを用いることにより、物体画像10aから、背景成分画像12a~12cを複数生成する。ここで、フィルタ処理として、たとえば、ガウシアンフィルタまたは平均化フィルタを適用する場合、画素値が極端に高い迷光や輝度値が極端に低い異物に起因して、背景21の輝度成分を正確に取得することができない場合がある。そこで、所定の領域内の各画素の輝度値の中央値によって平滑化するメジアンフィルタを適用することにより、迷光や異物の混入が生じた場合でも、背景21の輝度成分を正確に取得した背景成分画像12を取得することができる。その結果、背景21の輝度ムラを補正する際に、正確な背景成分画像12cに基づくことができるので、背景21の輝度ムラを正確に補正した補正物体画像14を取得することができる。
【0044】
[第2実施形態]
次に、第2実施形態による画像補正方法を説明する。第2実施形態による画像補正方法に用いる物体画像補正装置100の装置構成は、
図1に示した物体画像補正装置100と同様の装置構成である。第2実施形態では、
図10に示す選択ステップS3aにおいて、選択部3が、複数の背景成分画像12a~12cの各々の輝度値に対して、微分処理を行う場合について説明する。なお、第2実施形態において、第1実施形態と共通する点については、説明を省略する。
【0045】
第2実施形態では、
図10に示すステップS3aにおいて、選択部3は、背景生成部2が生成した複数の背景成分画像12a~12cの各々の輝度値に対して微分処理を行うように構成される。具体的には、
図11に示すように、背景成分画像12a~12cの輝度値に対して、画像の縦方向および横方向の2方向からSobelフィルタ(微分フィルタの一例)を適用して、微分画像を取得して微分画像の輝度値の平均値を、微分値として取得する。たとえば、第2実施形態では、背景成分画像12aから取得した微分値が「10」であり、背景成分画像12bから取得した微分値が「6」であり、背景成分画像12cから取得した微分値が「4」である。選択のために基づく所定のしきい値も、設定により任意に変更できるが、この第2実施形態では、「5」である。そして、この微分値が所定のしきい値「5」より小さくなった場合に、その微分値を取得する際に基づいた背景成分画像12cを選択する。その後、ステップS4の処理に進み、補正物体画像14が生成される。
【0046】
(第2実施形態の効果)
次に、第2実施形態の効果について説明する。
【0047】
第2実施形態の画像補正方法は、選択ステップS3aは、ぼかし処理の程度の異なる複数の背景成分画像12a~12cの各々の輝度値に基づいて、指標値としての微分値を取得するとともに、所定の微分値しきい値より小さい微分値に対応する背景成分画像12cを1つ選択する。これにより、複数の背景成分画像12a~12cの輝度値に基づいた、定量値である微分値が微分値しきい値より小さい背景成分画像12cが自動的に選択されるため、物体画像10aおよび選択された微分値が小さい背景成分画像12cに基づいて物体画像10aを補正することができる。その結果、物体画像10aに対して輝度ムラの影響を抑制するような画像補正を、微分値に基づいて自動的に選択された背景成分画像12cを用いて、容易にかつ適切に行うことができる。
【0048】
なお、第2実施形態のその他の効果は、上記第1実施形態と同様である。
【0049】
[第3実施形態]
次に、第3実施形態による画像補正方法を説明する。第3実施形態による画像補正方法に用いる物体画像補正装置100の装置構成は、
図1に示した物体画像補正装置100と同様の装置構成である。第3実施形態では、
図12に示す選択ステップS3bにおいて、選択部3が、複数の背景成分画像12a~12cの各々の輝度値に対して、標準偏差の値を取得する場合について説明する。なお、第3実施形態において、第1および第2実施形態と共通する点については、説明を省略する。
【0050】
第3実施形態では、
図12に示すステップS3bにおいて、選択部3は、
図13に示すように、背景生成部2が生成した複数の背景成分画像12a~12cの各々の輝度値に対して標準偏差の値を取得するような処理を行う。具体的には、背景成分画像12a~12cの輝度値を、下記の式に当てはめて、標準偏差として取得する。なお、下記の式においては、画像サイズがM×Nであり、src(i, j)は画像の位置(i, j)の輝度値であり、μは輝度値の平均値を示す。
【数1】
たとえば、第3実施形態では、背景成分画像12aから取得した標準偏差が「10」であり、背景成分画像12bから取得した標準偏差が「6」であり、背景成分画像12cから取得した標準偏差が「4」である。選択のために基づく所定のしきい値も、設定により任意に変更できるが、この第3実施形態では、「5」である。そして、この標準偏差の値が所定の標準偏差しきい値「5」より小さくなった場合に、その標準偏差を取得する際に基づいた背景成分画像12cを選択する。その後、ステップS4の処理に進み、補正物体画像14が生成される。
【0051】
(第3実施形態の効果)
次に、第3実施形態の効果について説明する。
【0052】
第3実施形態の画像補正方法は、選択ステップS3bは、ぼかし処理の程度の異なる複数の背景成分画像12a~12cの各々の輝度値に基づいて、指標値としての標準偏差を取得するとともに、所定のしきい値より小さい標準偏差に対応する背景成分画像12cを1つ選択する。これにより、複数の背景成分画像12a~12cの輝度値に基づいた、定量値である標準偏差が標準偏差しきい値より小さい背景成分画像12cが自動的に選択されるため、物体画像10aおよび選択された標準偏差が小さい背景成分画像12cに基づいて物体画像10aを補正することができる。その結果、物体画像10aに対して輝度ムラの影響を抑制するような画像補正を、標準偏差に基づいて自動的に選択された背景成分画像12cを用いて、容易にかつ適切に行うことができる。
【0053】
なお、第3実施形態のその他の効果は、上記第1および第2実施形態と同様である。
【0054】
[第4実施形態]
次に、第4実施形態による画像補正方法を説明する。第4実施形態による画像補正方法に用いる物体画像補正装置100の装置構成は、
図1に示した物体画像補正装置100と同様の装置構成である。第4実施形態では、
図14に示す選択ステップS3cにおいて、選択部3が、複数の背景成分画像12a~12cの各々の輝度値に基づいて、パワースペクトル画像15a~15cを生成し、パワースペクトル画像15a~15cに基づく指標値としての特定値を用いて、背景成分画像12cを1つ選択する場合について説明する。なお、第4実施形態において、第1~第3実施形態と共通する点については、説明を省略する。
【0055】
第4実施形態では、
図14に示すステップS3cにおいて、選択部3は、
図15に示すように、背景生成部2が生成した複数の背景成分画像12a~12cの各々に対してフーリエ変換を行うことにより、パワースペクトル画像15a~15cを取得する。このパワースペクトル画像15a~15cは、画像の縦方向のy軸、および、横方向のx軸がどちらも周波数で表される画像である。選択部3は、このパワースペクトル画像15a~15cの画像の各々に対して、特定の周波数における円周上の輝度値の平均値である特定値を取得する。たとえば、第4実施形態では、パワースペクトル画像15aから取得した特定値が「10」であり、パワースペクトル画像15bから取得した特定値が「6」であり、パワースペクトル画像15cから取得した特定値が「4」である。選択のために基づく所定のしきい値も、設定により任意に変更できるが、この第4実施形態では、「5」である。そして、この特定値が所定のしきい値「5」より小さくなった場合に、その特定値を取得する際に基づいた背景成分画像12cを選択する。その後、ステップS4の処理に進み、補正物体画像14が生成される。
【0056】
(第4実施形態の効果)
次に、第4実施形態の効果について説明する。
【0057】
第4実施形態の画像補正方法は、選択ステップS3cは、ぼかし処理の程度の異なる複数の背景成分画像12a~12cの各々に対してフーリエ変換処理を行うことによって、周波数成分に応じたスペクトルの強さを示すパワースペクトル画像15a~15cを生成し、指標値としてのパワースペクトル画像15a~15cの特定の周波数における輝度値の平均である特定値を取得するとともに、所定の特定値しきい値より特定値が小さいパワースペクトル画像15cを生成するために用いた背景成分画像12cを1つ選択する。これにより、複数の背景成分画像12a~12cの輝度値に基づいた、定量値である特定値が特定値しきい値より小さい背景成分画像12cが自動的に選択されるため、物体画像10aおよび選択された背景成分画像12cに基づいて物体画像10aを補正することができる。その結果、物体画像10aに対して輝度ムラの影響を抑制するような画像補正を、特定値に基づいて自動的に選択された背景成分画像12cを用いて、容易にかつ適切に行うことができる。
【0058】
なお、第4実施形態のその他の効果は、上記第1~第3実施形態と同様である。
【0059】
[変形例]
なお、今回開示された実施形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した実施形態の説明ではなく特許請求の範囲によって示され、さらに特許請求の範囲と均等の意味および範囲内でのすべての変更(変形例)が含まれる。
【0060】
たとえば、上記第1~第4実施形態では、物体画像10における物体が細胞20である例を示したが、本発明はこれに限られない。観測したい任意の被写体が写る物体画像10aを取得し、補正物体画像14を生成してもよい。
【0061】
また、上記第1~第4実施形態では、画像取得部1が物体画像10を取得する構成の例を示したが、本発明はこれに限られない。たとえば、背景生成部2が、画像取得部1によって予め取得され、図示しない記憶部に記憶された物体画像10を取得するように構成されていてもよい。
【0062】
また、上記第1~第4実施形態では、物体画像10が顕微鏡8で撮像された画像である例を示したが、本発明はこれに限られない。物体画像10は、物体が示されている画像であれば良く、例えばSPM(Scanning Probe Microscope)を用いて取得される画像でも良い。SPMを用いて画像を取得する場合でも、例えば細胞20を載置したステージが傾くことにより、物体画像10は、
図4に示す物体画像10aのように、輝度ムラが生じるため、本発明の画像補正方法を適用することが有効である。
【0063】
また、上記第1~第4実施形態では、選択ステップS3およびS3a~S3cは、背景生成ステップS2で生成された複数の背景成分画像12a~12cのうちから、所定のしきい値より小さい指標値に対応する背景成分画像12cを1つ選択する例を示したが、本発明はこれに限られない。選択ステップS3は、背景生成ステップS2で生成された複数の背景成分画像12のうちから、所定のしきい値と等しい指標値に対応する背景成分画像12を1つ選択してもよい。
【0064】
また、上記第1~第4実施形態では、大きさの異なるフィルタサイズを用いてぼかし処理を行い、3つの背景成分画像12a~12cを生成する例を示したが、本発明はこれに限られない。生成する背景成分画像12は2つ以上であればいくつでもよく、生成する背景成分画像12の数に応じて、大きさの異なるフィルタサイズを複数用いてぼかし処理を行ってもよい。
【0065】
また、上記第1~第4実施形態では、背景生成部2が、物体画像10aに対してメジアンフィルタを適用することにより、背景成分画像12を生成する構成の例を示したが、本発明はこれに限られない。たとえば、背景生成部2は、物体画像10aに対して、ガウシアンフィルタ、または、平均化フィルタを適用することにより、背景成分画像12を生成するように構成されていてもよい。しかしながら、背景生成部2がガウシアンフィルタまたは平均化フィルタを適用することによって背景成分画像12を生成する場合、画素値が極端に高い迷光や画素値が極端に低い異物に起因して、背景21の成分を正確に取得することができない場合がある。したがって、背景生成部2は、メジアンフィルタを適用することにより、背景成分画像12を生成するように構成されることが好ましい。
【0066】
また、上記第1~第4実施形態では、背景生成部2が、物体画像10aを縮小し、縮小後の縮小物体画像10cに対してフィルタを適用することにより、背景成分画像12を生成する構成の例を示したが、本発明はこれに限られない。背景生成部2は、物体画像10aを縮小せずに、物体画像10aに対してぼかし処理を適用することにより、背景成分画像12を生成するように構成されていてもよい。
【0067】
また、上記第1~第4実施形態では、背景生成部2が、背景21に輝度ムラが生じている物体画像10aに補正処理を施すことにより、補正物体画像14を生成する例を示したが、本発明はこれに限られない。背景生成部2は、背景21に輝度ムラが生じているか否かに関わらず、物体画像10aに対して補正処理を施すように構成されていてもよい。
【0068】
また、上記第1~第4実施形態では、背景生成部2が、物体画像10aから背景成分画像12を減算することにより、補正物体画像14を生成する構成の例を示したが、本発明はこれに限られない。たとえば、背景生成部2は、物体画像10aから背景成分画像12を除算することにより、補正物体画像14を生成してもよい。背景生成部2が補正物体画像14を生成する手法については、どのような手法であってもよい。
【0069】
また、上記第1~第4実施形態では、背景生成部2が、物体画像10aから背景成分画像12を減算し、所定の輝度値を加算することにより、補正物体画像14を生成する構成の例を示したが、本発明はこれに限られない。たとえば、背景生成部2は、物体画像10から背景成分画像12を減算した後、所定の輝度値を加算することなく、補正物体画像14を生成するように構成されていてもよい。
【0070】
[態様]
上記した例示的な実施形態は、以下の態様の具体例であることが当業者により理解される。
【0071】
(項目1)
観測対象である物体が写る物体画像を取得する画像取得ステップと、
取得した前記物体画像に対して、前記物体画像における前記物体の輝度と前記物体以外の部分の輝度との差を小さくするようなぼかし処理を、ぼかし処理の程度を変えて複数回行うことにより、前記物体画像から背景の輝度成分の分布を抽出した、ぼかし処理の程度が異なる背景成分画像を複数生成する背景生成ステップと、
前記背景生成ステップにおいて生成された前記複数の背景成分画像に基づいて得られるぼかし処理の程度を示す指標値に基づいて、前記背景成分画像を1つ選択する選択ステップと、
前記物体画像および選択された前記背景成分画像に基づいて、輝度ムラを低減するように前記物体画像を補正した補正物体画像を生成する画像補正ステップとを備える、画像補正方法。
【0072】
(項目2)
前記指標値は、前記複数の背景成分画像の輝度値に基づいて取得され、
前記選択ステップは、前記背景生成ステップにおいて生成された前記複数の背景成分画像のうち、所定のしきい値より小さい前記指標値に対応する前記背景成分画像を1つ選択する、項目1に記載の画像補正方法。
【0073】
(項目3)
前記選択ステップは、前記背景生成ステップにおいて生成された前記複数の背景成分画像のうち、所定のしきい値より小さい前記指標値が複数ある場合に、所定のしきい値より小さい前記指標値のうち、一番大きい値の前記指標値に対応する前記背景成分画像を1つ選択する、項目2に記載の画像補正方法。
【0074】
(項目4)
前記選択ステップは、前記ぼかし処理の程度の異なる前記複数の背景成分画像のうち、隣り合う前記ぼかし処理の程度の異なる2つの前記背景成分画像同士に基づいて、輝度値の差分画像を生成し、前記差分画像に応じて、前記指標値としての差分値を取得するとともに、所定の差分値しきい値より前記差分値の小さい前記差分画像を生成するために用いた前記背景成分画像を1つ選択する、項目2に記載の画像補正方法。
【0075】
(項目5)
前記選択ステップは、前記ぼかし処理の程度の異なる前記複数の背景成分画像の各々の輝度値に基づいて、前記指標値としての微分値を取得するとともに、所定の微分値しきい値より小さい前記微分値に対応する前記背景成分画像を1つ選択する、項目2に記載の画像補正方法。
【0076】
(項目6)
前記選択ステップは、前記ぼかし処理の程度の異なる前記複数の背景成分画像の各々の輝度値に基づいて、前記指標値としての標準偏差を取得するとともに、所定のしきい値より小さい前記標準偏差に対応する前記背景成分画像を1つ選択する、項目2に記載の画像補正方法。
【0077】
(項目7)
前記選択ステップは、前記ぼかし処理の程度の異なる前記複数の背景成分画像の各々に対してフーリエ変換処理を行うことによって、周波数成分に応じたスペクトルの強さを示すパワースペクトル画像を生成し、前記指標値としての前記パワースペクトル画像の特定の周波数における輝度値の平均である特定値を取得するとともに、所定の特定値しきい値より前記特定値が小さい前記パワースペクトル画像を生成するために用いた前記背景成分画像を1つ選択する、項目2に記載の画像補正方法。
【0078】
(項目8)
前記ぼかし処理は、前記物体画像に対してフィルタをかけることにより補正処理を行うフィルタ処理であり、前記ぼかし処理の程度を変更するためのフィルタサイズの大きさを複数変化させて、ぼかし処理の程度の異なる前記背景成分画像を複数生成する、項目1に記載の画像補正方法。
【0079】
(項目9)
前記背景生成ステップにおける前記フィルタ処理に用いる前記フィルタはメジアンフィルタであり、前記メジアンフィルタを用いることにより、前記物体画像から前記背景成分画像を抽出して、前記背景成分画像を複数生成する、項目8に記載の画像補正方法。
【0080】
(項目10)
観測対象である物体が写る物体画像を取得する画像取得部と、
取得した前記物体画像に対して、前記物体画像における前記物体の輝度と前記物体以外の部分の輝度との差を小さくするようなぼかし処理を、ぼかし処理の程度を変えて複数回行うことにより、前記物体画像から背景の輝度成分の分布を抽出した、ぼかし処理の程度が異なる背景成分画像を複数生成する背景生成部と、
前記背景生成部で生成された前記複数の背景成分画像に基づいて得られるぼかし処理の程度を示す指標値に基づいて、前記背景成分画像を1つ選択する選択部と、
前記物体画像および選択された前記背景成分画像に基づいて、輝度ムラを低減するように前記物体画像を補正した補正物体画像を生成する画像補正部とを備える、画像補正装置。
【符号の説明】
【0081】
1 画像取得部
2 背景生成部
3 選択部
4 画像補正部
5 制御部
6 表示部
7 入力受付部
8 撮像装置
10、10a~10c 物体画像
12、12a~12c 背景成分画像
13、13a~13c 差分画像
14 補正物体画像
15、15a~15c パワースペクトル画像
20 細胞(物体)
21 背景
100 物体画像補正装置(画像補正装置)