IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 国立大学法人九州工業大学の特許一覧

特開2024-144955光退色補正装置およびこれを用いた膜電位変動の解析装置、並びに光退色補正方法、光退色補正プログラム
<>
  • 特開-光退色補正装置およびこれを用いた膜電位変動の解析装置、並びに光退色補正方法、光退色補正プログラム 図1
  • 特開-光退色補正装置およびこれを用いた膜電位変動の解析装置、並びに光退色補正方法、光退色補正プログラム 図2
  • 特開-光退色補正装置およびこれを用いた膜電位変動の解析装置、並びに光退色補正方法、光退色補正プログラム 図3
  • 特開-光退色補正装置およびこれを用いた膜電位変動の解析装置、並びに光退色補正方法、光退色補正プログラム 図4
  • 特開-光退色補正装置およびこれを用いた膜電位変動の解析装置、並びに光退色補正方法、光退色補正プログラム 図5
  • 特開-光退色補正装置およびこれを用いた膜電位変動の解析装置、並びに光退色補正方法、光退色補正プログラム 図6
  • 特開-光退色補正装置およびこれを用いた膜電位変動の解析装置、並びに光退色補正方法、光退色補正プログラム 図7
  • 特開-光退色補正装置およびこれを用いた膜電位変動の解析装置、並びに光退色補正方法、光退色補正プログラム 図8
  • 特開-光退色補正装置およびこれを用いた膜電位変動の解析装置、並びに光退色補正方法、光退色補正プログラム 図9
  • 特開-光退色補正装置およびこれを用いた膜電位変動の解析装置、並びに光退色補正方法、光退色補正プログラム 図10
  • 特開-光退色補正装置およびこれを用いた膜電位変動の解析装置、並びに光退色補正方法、光退色補正プログラム 図11
  • 特開-光退色補正装置およびこれを用いた膜電位変動の解析装置、並びに光退色補正方法、光退色補正プログラム 図12
  • 特開-光退色補正装置およびこれを用いた膜電位変動の解析装置、並びに光退色補正方法、光退色補正プログラム 図13
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024144955
(43)【公開日】2024-10-15
(54)【発明の名称】光退色補正装置およびこれを用いた膜電位変動の解析装置、並びに光退色補正方法、光退色補正プログラム
(51)【国際特許分類】
   G01N 21/64 20060101AFI20241004BHJP
   G06T 5/92 20240101ALI20241004BHJP
   C12M 1/34 20060101ALI20241004BHJP
   C12Q 1/02 20060101ALI20241004BHJP
【FI】
G01N21/64 B
G06T5/00 740
C12M1/34 B
C12Q1/02
【審査請求】未請求
【請求項の数】7
【出願形態】OL
(21)【出願番号】P 2023057149
(22)【出願日】2023-03-31
(71)【出願人】
【識別番号】504174135
【氏名又は名称】国立大学法人九州工業大学
(74)【代理人】
【識別番号】100197642
【弁理士】
【氏名又は名称】南瀬 透
(74)【代理人】
【識別番号】100099508
【弁理士】
【氏名又は名称】加藤 久
(74)【代理人】
【識別番号】100219483
【弁理士】
【氏名又は名称】宇野 智也
(72)【発明者】
【氏名】徳永 旭将
(72)【発明者】
【氏名】中村 匠
【テーマコード(参考)】
2G043
4B029
4B063
5B057
【Fターム(参考)】
2G043AA03
2G043BA16
2G043BA17
2G043EA01
2G043FA02
2G043FA03
2G043NA01
4B029AA07
4B029BB11
4B029CC02
4B029FA15
4B063QA01
4B063QA20
4B063QQ02
4B063QQ08
4B063QR72
4B063QR77
4B063QR90
4B063QS36
4B063QS39
4B063QX01
5B057CA08
5B057CA12
5B057CA16
5B057CB08
5B057CB12
5B057CB16
5B057CD05
(57)【要約】
【課題】特定の関数型を仮定することなく様々な蛍光プローブに広く適用することができ、かつ精度の高い光退色補正装置などを提供する。
【解決手段】光退色補正装置1は、膜電位イメージングなどの取得手段により取得された動画の各フレームの画像に対して、空間分解処理および時系列分解処理を行うことにより光退色補正処理を行う補正手段15と、光退色補正処理が行われた画像を用いて、動画を再構築する再構築手段16とを有する。
【選択図】図1
【特許請求の範囲】
【請求項1】
取得された動画の各フレームの画像に対して、空間分解処理および時系列分解処理を行うことにより光退色補正処理を行う補正手段と、
前記光退色補正処理が行われた画像を用いて、動画を再構築する再構築手段とを有する光退色補正装置。
【請求項2】
前記補正手段は、前記光退色補正処理における前記時系列分解処理として、前記各フレームの画像に対して特異スペクトル解析を行い光退色に関する情報を抽出し、
前記再構築手段は、前記光退色に関する情報が除かれた前記各フレームの画像に基づいて、動画を再構築する請求項1に記載の光退色補正装置。
【請求項3】
前記補正手段は、前記各フレームの画像に基づいて解像度の異なる複数の画像を生成する分解手段を有し、
前記補正手段は、前記空間分解処理として、当該解像度の異なる複数の画像のうち解像度の低い画像に対して前記光退色補正処理を行う請求項2に記載の光退色補正装置。
【請求項4】
前記分解手段は、ラプラシアンピラミッドまたは/およびガウシアンピラミッドを用いて解像度の異なる複数の画像を生成する請求項3に記載の光退色補正装置。
【請求項5】
前記動画を取得する取得手段である膜電位イメージングと、
請求項1~4のいずれか1項に記載の光退色補正装置とを有する、膜電位変動の解析装置。
【請求項6】
取得された動画の各フレームの画像に対して、空間分解処理および時系列分解処理を行う補正手段により光退色補正処理を行う工程と、
前記光退色補正処理が行われた画像を用いて、再構築手段により動画を再構築する工程とを含む光退色補正方法。
【請求項7】
コンピュータを、
取得された動画の各フレームの画像に対して、空間分解処理および時系列分解処理を行うことにより光退色補正処理を行う補正手段と、
前記光退色補正処理が行われた画像を用いて、動画を再構築する再構築手段と
を有する光退色補正装置として動作させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、取得された画像の輝度(輝度値)を変えることにより、光退色を補正する光退色補正装置およびこれを用いた膜電位変動の解析装置に関する。また、本発明は、光退色を補正する光退色補正方法および光退色補正プログラムに関する。
【背景技術】
【0002】
医療分野での画像診断や、創薬でのスクリーニング試験などで、人工知能(AI)を用いた画像処理が盛んであり、基礎研究分野においても発生生物学、分子生物学および分子遺伝学の分野と広がりを示している。また、生体組織の生命活動の様子を生物が生きたまま、非接触でリアルタイムで観察する技術が進んでいる。
【0003】
そして、このような分野において、蛍光顕微鏡によって生体の機能や構造を可視化する技術(蛍光イメージング)が知られている。蛍光イメージングは、特定のタンパク質や細胞器官に蛍光プローブを発現させることで蛍光標識をつけ、生体の機能や構造を可視化させる技術である。
また、蛍光イメージングは、細胞を始めとした生体組織の生命活動の様子を、生物が生きたまま非接触でリアルタイムに観察できる。
【0004】
しかしながら、励起中の蛍光色素分子は構造的に不安定であるため、生物学的蛍光分子では特に計測中に光化学的破壊が進み、蛍光強度が低下してしまう。この現象を、光退色という。
【0005】
光退色が発生すると、発光強度が低いターゲットや存在量が少ないターゲットに対し、詳細な観察が困難となる。また、生体内の何らかのシグナルに対し定量的な解析を行う際に、光退色は大きな障害となる。そこで、光退色による蛍光強度低下のプロセスをモデル化し、その影響を取り除く光退色補正技術が重要となる。
【0006】
従来の光退色補正技術として、例えば非特許文献1に示すように、強度低下のプロセスに線形関数や指数関数を仮定する補正技術が知られている。また、指数関数を用いた研究として、非特許文献2(蛍光顕微鏡画像におけるフォトブリーチング補正機能)に記載の技術や、非特許文献3(タイムラプスシーケンスのフォトブリーチを補正するブリーチ補正画像Jプラグイン)に記載の技術などがある。
【先行技術文献】
【非特許文献】
【0007】
【非特許文献1】丸山 央峰. 益田 泰輔. 新井 史人. 苅谷 涼. 松田 佑. 中村 祥平. 本田 文江., "蛍光差分情報による光退色補償を用いた超長時間非接触蛍光計測", No.12-3 Proceedings of the 2012 JSME Conference on Robotics and Mechatronics, Hamamatsu, Japan, May 27-29, 2012
【非特許文献2】Nathalie B Vicente. Javier E Diaz Zamboni. Javier F Adur. Enrique V Paravani. Victor H Casco., "Photobleaching correction in fluorescence microscopy images", Journal of Physics: Conference Series 90 (2007) 012068
【非特許文献3】Kota Miura., "Bleach correction ImageJ plugin for compensating the photobleaching of time-lapse sequences", F1000Research 2020, 9:1494
【発明の概要】
【発明が解決しようとする課題】
【0008】
しかし、光退色により、必ずしも蛍光強度が線形あるいは指数関数的に低下することは限らない。特に、新規に開発された蛍光プローブに対し、特定の関数型を仮定できる根拠はない。そのため、強度低下のプロセスに線形関数や指数関数を仮定する補正技術は、その補正精度が高いとは言えない。
【0009】
よって、本発明は、特定の関数型を仮定することなく様々な蛍光プローブに広く適用することができ、かつ精度の高い光退色補正装置などを提供する。
【課題を解決するための手段】
【0010】
本発明の光退色補正装置は、取得された動画の各フレームの画像に対して、空間分解処理および時系列分解処理を行うことにより光退色補正処理を行う補正手段と、光退色補正処理が行われた画像を用いて、動画を再構築する再構築手段とを有する。
【0011】
これにより、空間分解処理および時系列分解処理が行われた各フレームの画像に対して時系列の特徴を抽出することができ、その特徴を解析して光退色補正処理を行った後、動画を再構築することができる。
【0012】
具体的な構成として、補正手段は、光退色補正処理における時系列分解処理として、各フレームの画像に対して特異スペクトル解析を行い光退色に関する情報を抽出し、再構築手段は、光退色に関する情報が除かれた前記各フレームの画像に基づいて、動画を再構築することが好ましい。
【0013】
さらに、補正手段は、各フレームの画像に基づいて解像度の異なる複数の画像を生成する分解手段を有し、補正手段は、空間分解処理として、当該解像度の異なる複数の画像のうち解像度の低い画像に対して光退色補正処理を行うことが好ましい。
これにより、光退色補正処理は、分解手段により生成された解像度の異なる複数の画像のうち最も解像度の低い画像に対して行われる。
【0014】
具体的な構成として、分解手段は、ラプラシアンピラミッドまたは/およびガウシアンピラミッドを用いて解像度の異なる複数の画像を生成することが好ましい。
【0015】
また、本発明の膜電位変動の解析装置は、動画を取得する取得手段である膜電位イメージングと、これらの光退色補正装置とを有する。
【0016】
なお、本発明の光退色補正方法は、取得された動画の各フレームの画像に対して、空間分解処理および時系列分解処理を行う補正手段により光退色補正処理を行う工程と、光退色補正処理が行われた画像を用いて、再構築手段により動画を再構築する工程とを含む。
【0017】
一方、本発明のプログラムは、コンピュータを、取得された動画の各フレームの画像に対して、空間分解処理および時系列分解処理を行うことにより光退色補正処理を行う補正手段と、光退色補正処理が行われた画像を用いて、動画を再構築する再構築手段とを有する光退色補正装置として動作させるものである。
【発明の効果】
【0018】
本発明に係る光退色補正装置は、取得された動画の各フレームの画像に対して、空間分解処理および時系列分解処理を行うことにより光退色補正処理を行う補正手段と、光退色補正処理が行われた画像を用いて、動画を再構築する再構築手段とを有する構成により、空間分解処理および時系列分解処理が行われた各フレームの画像に対して時系列の特徴を抽出することができ、その特徴を解析して光退色補正処理を行った後、動画を再構築することができるため、特定の関数型を仮定することなく様々な蛍光プローブに広く適用することができ、かつ精度の高い光退色補正処理が行われた動画を得ることができる。
【0019】
さらに、補正手段は、各フレームの画像に基づいて解像度の異なる複数の画像を生成する分解手段を有し、補正手段は、空間分解処理として、当該解像度の異なる複数の画像のうち解像度の低い画像に対して光退色補正処理を行う構成により、分解手段により生成された解像度の異なる複数の画像のうち解像度の低い画像、つまり強く光退色に関する情報が抽出される画像に対して光退色補正処理が行われるため、より精度の高い光退色補正処理が行われた動画を得ることができる。
【0020】
なお、本発明の光退色補正装置や本発明のプログラムによれば、本発明の光退色補正装置と同様の作用効果を得ることができる。
【図面の簡単な説明】
【0021】
図1】本発明の実施の形態に係る光退色補正装置の概略機能ブロック図である。
図2】光退色の例を説明するための図であり、(A)は膜電位イメージングで取得された動画の各フレームの画像を示す図、(B)は各フレームの画像の平均輝度値を示すグラフである。
図3】フレームと輝度値との関係を二次元化した図である。
図4】本発明の実施の形態に係る光退色補正方法のフロー図である。
図5】本発明の実施の形態に係る光退色補正方法を説明するための図である。
図6】本発明の実施の形態に係る光退色補正方法の分解工程を説明するための図であり、(A)は膜電位イメージングで取得された動画を示す図、(B)は生成された解像度の異なる複数の画像を示す図である。
図7】解像度の異なる複数の画像の各フレームの平均輝度値を示すグラフである。
図8】特異スペクトル解析を行い光退色に関する情報を抽出した例を示す図である。
図9】特異スペクトル変換法を説明するための図である。
図10】本発明の光退色補正方法を用いた結果を説明するための図であり、(A)は補正前のフレームと輝度値との関係を二次元化した図、(B)は補正後のフレームと輝度値との関係を二次元化した図である。
図11】(A)は従来方法における各フレームの画像の平均輝度値を示すグラフ、(B)は本発明の光退色補正方法における各フレームの画像の平均輝度値を示すグラフである。
図12】本発明の光退色補正方法の評価結果を示す図である。
図13】本発明の光退色補正方法の評価結果を示す図である。
【発明を実施するための形態】
【0022】
以下に本発明の実施の形態を詳細に説明するが、以下に記載する構成要件の説明は、本発明の実施形態の一例(代表例)であり、本発明はその要旨を逸脱しない限り、以下の内容に限定されない。
【0023】
[光退色について]
図2は、光退色の例を説明するための図であり、(A)は膜電位イメージングで取得された動画の各フレームの画像を示す図、(B)は各フレームの画像の平均輝度値を示すグラフである。図2(A)は、具体的には膜電位イメージングを用いて取得した線虫の神経活動の変動データである。なお、当該データの取得条件などは以下の通りである。
・フレーム数:約1400フレーム
・フレームレート:20fps
・刺激付与期間:400-600フレーム、および1000-1200フレーム
・画素数:縦62ピクセル、横60ピクセル
・実寸:約0.4μm/1ピクセル
【0024】
図2(A)は、この取得された約1400フレームからなる動画のうち、200,400,600,800,1000,1200フレーム目の画像を並べたものである。線虫のAWA(嗅覚神経細胞)に、例えばジアセチルを希釈させた水溶液などで強い刺激を付与すると、膜電位プローブを発現させることができる。その際、線虫の神経活動の変化に応じて蛍光量(発光強度)も変化する。
【0025】
ここで、より詳細に言うと、図2(A)は線虫のある神経活動における蛍光量を取得したものであるが、動画の後半、つまり老番のフレームになるにつれて、光退色により蛍光量が落ちていることが分かる。それは、各フレームの画像の平均輝度値を求めてグラフ化した図2(B)を参照しても、その平均輝度値が右肩下がりになっていることから明らかである。
【0026】
なお、図3は、フレームと輝度値との関係を二次元化した図である。横軸は、各フレーム(1~約1400)を示す。また、各フレームの輝度値として、横一列に並んだピクセル(60ピクセル)の平均輝度値を求め、それを縦(y軸)に並べている。つまり、y軸には、各フレームにおける、縦方向における1番上の列の平均輝度値、2番目の列の平均輝度値、3番目の列の平均輝度値、・・・・・・、62番目の列の平均輝度値がそれぞれ並んでいる。
【0027】
図2,3より、各フレームの画像において、真ん中よりやや上の部分(上から数えて約20ピクセル前後の部分)が輝度値が高いことが分かる。また、図3からも、光退色により動画の後半(約900フレーム目~)では蛍光量が落ちていることが分かる(図3の破線枠参照)。
【0028】
[光退色補正装置]
図1は、本発明の実施の形態に係る光退色補正装置の概略機能ブロック図である。光退色補正装置1は、入力手段11、出力手段12、取得手段13、記憶手段14、補正手段15、再構築手段16を有する。なお、補正手段15は、その機能の一部として、分解手段151を有する。
【0029】
[光退色補正方法]
図4は、本発明の実施の形態に係る光退色補正方法のフロー図である。本発明の光退色補正方法は、前述したような、取得した動画における蛍光量(輝度値)の低下を補正するものである。以下、図1,4を参照して、本実施の形態に係る光退色補正装置1の各手段および光退色補正方法について説明する。
【0030】
(1.取得工程)
まず、本実施の形態に係る光退色補正方法は、取得手段13により動画を取得する(ステップS101)。取得手段13は、例えば膜電位イメージングである。
なお、本実施の形態において、光退色補正装置1は取得手段13を有するものとしているが、取得手段13は外部の機能としてもよい。例えば、取得手段13が膜電位イメージングである場合、膜電位イメージングにより取得された動画は光退色補正装置1に送られ、入力手段11を介して、記憶手段13に記憶される。
【0031】
(2.分解工程)
次に、分解手段151により解像度の異なる複数の画像を生成する(ステップS102)。例えば、分解手段151は、ラプラシアンピラミッドを用いて解像度の異なる複数の画像を生成する。なお、本実施の形態の説明として、以下、分解手段151がラプラシアンピラミッドを用いた場合の説明をするが、分解手段151は、ガウシアンピラミッドを用いて解像度の異なる複数の画像を生成してもよく、また、これらの手法を組み合わせて生成してもよい。
【0032】
(3.補正工程)
そして、補正手段15により光退色補正処理を行う(ステップS103)。例えば、補正手段15は、各フレームの画像に対して特異スペクトル解析(SSA:Singular Spectrum Analysis)を行い、光退色に関する情報を抽出および除去することで補正処理を行う。
【0033】
(4.再構築工程)
最後に、再構築手段16により動画を再構築する(ステップS104)。例えば、再構築手段16は、光退色に関する情報が除去された各フレームの画像に基づいて、動画を再構築する

なお、再構築された動画は、出力手段12により、外部装置(パソコンやタブレットのディスプレイなど)に出力される。または、様々なファイル形式のデータとして、サーバ、データベース、記憶媒体などに出力される。
【0034】
本発明の光退色補正方法は、このような補正処理や再構築処理を行わせるプログラムがインストールされた装置を用いることができる。つまり、入力手段11~再構築手段16などの機能を実行させるプログラムがインストールされたコンピュータを、本発明の光退色補正装置とすることができる。
【0035】
図5は、本発明の実施の形態に係る光退色補正方法を説明するための図、図6は、本発明の実施の形態に係る光退色補正方法の分解工程を説明するための図、図7は、解像度の異なる複数の画像の各フレームの平均輝度値を示すグラフ、図8は、特異スペクトル解析を行い光退色に関する情報を抽出した例を示す図である。
以下、図7~8を参照して、本実施の形態に係る光退色補正方法を詳細に説明する。
【0036】
まず、図5に示すように、分解手段151がラプラシアンピラミッドを用いる場合、取得された動画の各画像(各フレーム)に対して、1レベル~5レベルまでの解像度の異なる複数の画像を生成する。具体的には、図6(A)は取得された動画の1フレーム目の画像であり、当該画像から、図6(B)に示すような1レベル~5レベルまでの解像度の異なる複数の画像が生成される。図6(B)に示すように、レベルが上がるにつれて、輪郭が不鮮明に(画像がぼんやりと)なっている。
【0037】
ここで、図7は、解像度の異なる複数の画像の各フレームの平均輝度値を示すグラフである。図7に示すように、1レベル~4レベルまでの平均輝度値は、各フレームを通じてほぼ同じ(横這い)である。一方、5レベルの平均輝度値は、後半(老番のフレーム)になるにつれてやや下がっていっていることが分かる。
これにより、分解手段151により生成された解像度の異なる複数の画像のうち、5レベル(最低解像度)の画像が、最も光退色に関する情報を含んでいることが分かる。
【0038】
よって、補正手段により、この5レベル(最低解像度)の画像に対して光退色補正処理を行う。図8は、5レベルの画像に対して特異スペクトル解析を行い、光退色に関する情報を抽出した例を示す図である。
【0039】
図8(A)に示すような、5レベルの一部の画像(1~約550フレーム)に対して特異スペクトル解析を行い、光退色に関する情報(特徴)を抽出した例が、図8(B)である。
なお、特異スペクトル解析は一定量の時系列データを特異値に分解するものである。この際、例えば図8(C)に示す「分解」手順のように、スライド窓を使って時系列データから軌道行列を作成(ベクトルの集まりに変換)して、軌道行列に特異値分解を施し、特徴を抽出することができる。
【0040】
図8,9に基づいて特異スペクトル法を詳細に説明すると、特異スペクトル法は、部分時系列を、ある時刻tの周り(ある時刻tの現在側と過去側)に作成する(図9参照)。ここで、この現在側の部分時系列をテスト行列(Z^(t))、過去側の部分時系列を履歴行列(X^(t))と呼ぶ。そして、このテスト行列および履歴行列には、それぞれある一定区間に区切られたウィンドウが複数含まれる。
【0041】
時刻tの変化度(異常度)は、テスト行列に含まれるウィンドウ群の波形と、履歴行列に含まれるウィンドウ群の波形とを比較して、どれだけ食い違っているかで定義される。ただし、履歴行列とテスト行列を比較する前に、それぞれのウィンドウ群の特徴を表す代表的な波形を複数作成しておく。この代表的な波形を作成する作業が、特異値分解(SVD:Singular Value Decomposition)になる。
従って、特異スペクトル法は、この作成されたテスト行列、履歴行列をそれぞれ代表する特徴的な複数の波形同士を比較し、どれだけの食い違いがあるのかを調べる。
【0042】
例えば、時系列の長さをNとすると、測定画像データ(動画)の時系列Yは、下記式(1)に示すように表される。
【0043】
【数1】
【0044】
そして、下記式(2)に示すように、測定画像データのラプラシアンピラミッド変換した時系列Yから、X行列が作成される。
【0045】
【数2】
【0046】
このX行列は、下記式(3)に示すように特異値分解される。
【0047】
【数3】
【0048】
以上のように特異値分解された後、トレンドスペクトル、突発的成分1スペクトル、突発的成分スペクトル2およびノイズスペクトル(図8(B)参照)など、分解率によりグループ化が行われる(式(4))。
【0049】
【数4】
【0050】
そして、式(5)に示すX行列の二次対角要素の平均化を行うことで、再構築処理が行われる。
【0051】
【数5】
【0052】
以上のように特異スペクトル解析を行うことで、図8(B)の最上段「トレンド」に示されるように、輝度値が下がっていっている特徴、つまり光退色に関する情報が抽出される。
そして、再構築手段16は、この光退色に関する情報(特徴)として抽出された情報(トレンド)を除いて、動画を再構築する(図5参照)。なお、この際、図8(C)に示す「再構築」手順のように、特異値分解された行列がグループ化、対角平均されることで、元の動画(時系列データ)が再構築される。要するに、光退色に関する情報が除外された画像群に基づいて、元の動画が再構築される。
【0053】
このように、本発明の光退色補正方法は、特定の関数型を仮定しない分解工程(ラプラシアンピラミッド)および補正工程(特異スペクトル解析)を含むものであるため、まだ性質のよく分かっていない蛍光分子を含め、様々な蛍光プローブに広く適用することができる。
なお、上記説明においては、分解手段151により生成された解像度の異なる複数の画像のうち、5レベル(最低解像度)の画像に対して光退色補正処理を行ったが、4レベルの画像に対して光退色補正処理を行っても、同様に光退色が補正された画像を得ることができる。または、3レベルの画像に対して光退色補正処理を行ってもよいが、あまり細かい(解像度の高い)空間構造まで含めると、光退色以外の蛍光変化まで除去されてしまう可能性が出てくるため、4~5レベル程度が望ましい。
【0054】
[評価]
図10は、本発明の光退色補正方法を用いた結果を説明するための図である。図10(A)は、補正する前のフレームと輝度値との関係を二次元化した図であり、図10(B)は、本発明の光退色補正方法を用いて補正した後のフレームと輝度値との関係を二次元化した図である。
【0055】
図10に示すように、補正前では動画の後半(老番のフレーム)になるにつれて輝度値が低下していたが(図10(A)の破線枠参照)、補正後では輝度値の低下が補正されていることが分かる(図10(B)の破線枠参照)。
【0056】
また、図11(A)は、従来方法(強度低下のプロセスに指数関数を仮定した補正技術))における各フレームの画像の平均輝度値を示すグラフ、図11(B)は、本発明の光退色補正方法における各フレームの画像の平均輝度値を示すグラフである。
【0057】
図11(A)に示すように、従来方法では、平均輝度値の低下に沿った滑らかな変化の傾向(特徴)しか捉えることができていない。一方、図11(B)に示すように、本発明の光退色補正方法は、一時的に平均輝度値が上がっているような変化の傾向(特徴)も捉えられていることが分かる(点線枠参照)。
【0058】
なお、図12,13は、本発明の光退色補正方法の評価結果を示す図である。
評価方法として、まず、図12に示すような入力(補正前)の100-200フレーム(A区間)および700-800フレーム(C区間)の輝度の比率「C/A」と、出力(補正後)の100-200フレーム(B区間)および700-800フレーム(D区間)の輝度の比率「D/B」をそれぞれ算出する。
【0059】
そして、本発明の光退色補正方法は、以下のような条件に基づいて補正の妥当性を評価することができる。
(1)「C/A」>「D/B」である。
※もし「C/A」=「D/B」であれば補正の効果が出ておらず、もし「C/A」<「D/B」であれば補正結果が破綻している可能性が高い。
(2)「D/B」を評価値とし、この評価値が1に近いほど良い(補正の精度が高い)。
【0060】
図13は、前述した補正後の輝度の比率「D/B」などを、比較検討のために整理した図である。図13に示すように、補正前(図12の入力における輝度の比率「C/A」)は、700-800フレーム(C区間)が著しく低下しているため、その比率は大きいものとなっている。
【0061】
また、従来方法である線形関数、指数関数を仮定した補正技術は、評価値がそれぞれ0.7未満、0.8未満である。そのため、定量的に評価すると、従来方法はその補正の精度が高いとは言えないことが客観的に分かる。
【0062】
一方、提案手法(本発明の光退色補正方法)は、前述した分解レベル(図8(C)参照)が200程度であっても、評価値がほぼ1となっていることが分かる。
【0063】
このように、本発明の光退色補正方法は、定量的に評価した結果、従来方法よりも精度の高い補正技術であると言える。
なお、図13に示す分解レベル(100,200,300,400)はあくまで一例であり、取得された動画の長さ(フレーム数)や光退色の加減(輝度値の下がり方)などに応じて、適宜最適な値を選択することができる。
【0064】
さらに、以上のように説明した本発明の実施の形態はあくまで一例であり、例えば、ラプラシアンピラミッドを用いて解像度の異なる複数の画像を生成する場合、そのレベルは1レベル~5レベルより多くてもよく、もちろん少なくてもよい。
【0065】
以上のように、本発明の光退色補正装置は、特定の関数型を仮定することなく様々な蛍光プローブに広く適用することができ、かつ精度の高いものであるため、画像、動画の解析に広く用いることができる。例えば、動画を取得する取得手段として膜電位イメージングを採用し、膜電位イメージングにより取得された動画に対してこの光退色補正装置を用いることで、膜電位変動の解析装置として利用することができる。
【産業上の利用可能性】
【0066】
本発明は、特定の関数型を仮定することなく様々な蛍光プローブに広く適用することができ、かつ精度の高い光退色補正方法などとして、生命科学、神経科学、医療、製薬などの広い分野で用いることができるため、産業上有用である。
【符号の説明】
【0067】
1 光退色補正装置
11 入力手段
12 出力手段
13 取得手段
14 記憶手段
15 補正手段
151 分解手段
16 再構築手段
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13