特開 2024-99445 画像解析装置、画像解析方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024099445

(43)【公開日】2024-07-25

(54)【発明の名称】画像解析装置、画像解析方法およびプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240718BHJP

   H04N 23/95 20230101ALI20240718BHJP

   H04N 13/232 20180101ALI20240718BHJP

   H04N 13/128 20180101ALI20240718BHJP

   G06T 7/55 20170101ALI20240718BHJP

【ＦＩ】

G06T7/00 300D

G06T7/00 630

H04N23/95

H04N13/232

H04N13/128

G06T7/55

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2023003395

(22)【出願日】2023-01-12

【国等の委託研究の成果に係る記載事項】（出願人による申告）令和４年度、国立研究開発法人科学技術振興機構、未来社会創造事業、「共通基盤」領域、探索研究「革新的な知や製品を創出する共通基盤システム・装置の実現」、研究開発課題名「生体内三次元動態のオペランド解析技術の開発」委託事業、産業技術力強化法第１７条の適用を受ける特許出願

(71)【出願人】

【識別番号】504136568

【氏名又は名称】国立大学法人広島大学

(71)【出願人】

【識別番号】304023318

【氏名又は名称】国立大学法人静岡大学

(74)【代理人】

【識別番号】100163186

【弁理士】

【氏名又は名称】松永 裕吉

(72)【発明者】

【氏名】杉 拓磨

(72)【発明者】

【氏名】今村 隆輝

(72)【発明者】

【氏名】広瀬 真里枝

(72)【発明者】

【氏名】臼杵 深

【テーマコード（参考）】

5C061

5C122

5L096

【Ｆターム（参考）】

5C061AB08

5C122DA03

5C122DA13

5C122DA30

5C122EA65

5C122EA68

5C122FA04

5C122FA06

5C122FA14

5C122FH01

5C122FH10

5C122FH11

5C122FH12

5C122FH15

5C122FH18

5C122HA13

5C122HA35

5C122HA88

5C122HB01

5C122HB05

5C122HB06

5C122HB10

5L096CA06

5L096EA03

5L096EA43

5L096FA09

5L096FA52

5L096FA60

5L096FA66

5L096GA34

5L096GA51

5L096HA05

5L096JA09

(57)【要約】      （修正有）

【課題】複数の要素画像（ＥＩ）群が連続する動画像データの目的物の三次元空間位置を追跡する。
【解決手段】光学システム１００において、画像解析装置３０は、最初のＥＩ群から目的物の深度位置にリフォーカスした画像を再構成する画像再構成部３１、テンプレートのＥＩを選定するテンプレート選定部３２、ＥＩ群中の各輝点の代表点とその位置変化を求める輝点代表点特定部３３及び輝点追跡部３４、各ＥＩにおいてテンプレート中の各輝点の代表点と対応する輝点の代表点にテンプレート中の各輝点の代表点と同じラベルを付ける輝点ラベリング部３５及び再構成画像中の目的物の三次元空間の座標を目的物の初期座標に設定し、2番目以降のＥＩ群において同じラベルが付いた輝点の代表点の位置変化に基づいて該ラベルにより識別される目的物ののＸＹ座標を更新し、隣り合うＥＩ間でのそれら代表点の間隔に基づいてＺ座標を更新する三次元座標更新部３６を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

互いにずれた複数の視点から同一被写体を撮像した複数の要素画像が配列された要素画像群が時間的に連続する動画像データを解析して画像中の目的物の三次元空間位置を追跡する画像解析装置であって、
最初の要素画像群から目的物の深度位置にリフォーカスした画像を再構成する画像再構成部と、
最初の要素画像群から輝点を最も多く含む要素画像をテンプレートとして選定するテンプレート選定部と、
２番目以降の要素画像群中の各輝点の代表点を求める輝点代表点特定部と、
２番目以降の要素画像群中の各輝点の代表点の位置変化を求める輝点追跡部と、
最初の要素画像群において再構成画像中の目的物に対応する画素の集まりからなる各輝点の代表点に目的物を識別するラベルを付け、２番目以降の要素画像群中の各要素画像においてテンプレート中の各輝点の代表点と対応する輝点の代表点にテンプレート中の各輝点の代表点と同じラベルを付ける輝点ラベリング部と、
再構成画像中の目的物の三次元空間の座標を求めて当該座標をラベルで識別される目的物の初期座標に設定し、２番目以降の要素画像群において同じラベルが付いた輝点の代表点の位置変化に基づいて該ラベルにより識別される目的物のＸＹ座標を更新するとともに、隣り合う要素画像間でのそれら代表点の間隔に基づいて該目的物のＺ座標を更新する三次元座標更新部と、
を備えた画像解析装置。

【請求項2】

前記画像再構成部が、最初の要素画像群中の各要素画像を深度位置に応じたずらし量でずらして重ね合わせて複数の深度位置にリフォーカスした画像を再構成し、それら再構成した画像を深度位置に応じてリサイズしてＺ方向にスタックして目的物の三次元像を再構成するものであり、
前記輝点ラベリング部が、三次元像の各ボクセルのＸＹ座標に各深度位置の画像のリサイズ比率を乗じて最初の要素画像群の画素座標に変換し、当該変換した画素座標の画素および該深度位置にリフォーカスした画像を再構成する際に当該画素に重ね合わされる画素の集まりからなる各輝点の代表点に目的物を識別するラベルを付けるものである
ことを特徴とする請求項１に記載の画像解析装置。

【請求項3】

前記テンプレート選定部が、複数の輝点を含む要素画像のうち輝点どうしの分離度合いが最も大きい要素画像をテンプレートとして選定する
ことを特徴とする請求項１に記載の画像解析装置。

【請求項4】

前記テンプレート選定部が、２番目以降の要素画像群からテンプレートを選定してテンプレートを更新する
ことを特徴とする請求項１に記載の画像解析装置。

【請求項5】

前記輝点ラベリング部が、２番目以降の要素画像群中の各要素画像において最近傍探索によりテンプレート中の各輝点の代表点と対応する輝点の代表点を見つける
ことを特徴とする請求項１に記載の画像解析装置。

【請求項6】

前記輝点ラベリング部が、２番目以降の要素画像群において所定数以上の輝点を含む要素画像をラベリング対象とする
ことを特徴とする請求項１に記載の画像解析装置。

【請求項7】

前記輝点代表点特定部が、要素画像群を二値化処理し、二値化された各輝点の重心を求め、当該重心をその輝点の代表点とする
ことを特徴とする請求項１に記載の画像解析装置。

【請求項8】

前記輝点追跡部が、時間的に前後する要素画像群間で最近傍探索により各輝点の代表点の移動先を見つけ、各輝点の代表点の移動前後の位置関係から各輝点の代表点の位置変化を求める
ことを特徴とする請求項１に記載の画像解析装置。

【請求項9】

互いにずれた複数の視点から同一被写体を撮像した複数の要素画像が配列された要素画像群が時間的に連続する動画像データを解析して画像中の目的物の三次元空間位置を追跡する画像解析方法であって、
最初の要素画像群から目的物の深度位置にリフォーカスした画像を再構成するステップと、
最初の要素画像群において再構成画像中の目的物に対応する画素の集まりからなる各輝点の代表点に目的物を識別するラベルを付けるステップと、
再構成画像中の目的物の三次元空間の座標を求めて当該座標をラベルで識別される目的物の初期座標に設定するステップと、
最初の要素画像群から輝点を最も多く含む要素画像をテンプレートとして選定するステップと、
２番目以降の要素画像群中の各輝点の代表点を求めるステップと、
２番目以降の要素画像群中の各輝点の代表点の位置変化を求めるステップと、
２番目以降の要素画像群の各要素画像においてテンプレート中の各輝点の代表点と対応する輝点の代表点にテンプレート中の各輝点の代表点と同じラベルを付けるステップと、
２番目以降の要素画像群において同じラベルが付いた輝点の代表点の位置変化に基づいて該ラベルにより識別される目的物のＸＹ座標を更新するとともに、隣り合う要素画像間でのそれら代表点の間隔に基づいて該目的物のＺ座標を更新するステップと、
を備えた画像解析方法。

【請求項10】

コンピューターに、互いにずれた複数の視点から同一被写体を撮像した複数の要素画像が配列された要素画像群が時間的に連続する動画像データを解析して画像中の目的物の三次元空間位置を追跡させるプログラムであって、
最初の要素画像群から目的物の深度位置にリフォーカスした画像を再構成する画像再構成手段、
最初の要素画像群から輝点を最も多く含む要素画像をテンプレートとして選定するテンプレート選定手段、
２番目以降の要素画像群中の各輝点の代表点を求める輝点代表点特定手段、
２番目以降の要素画像群中の各輝点の代表点の位置変化を求める輝点追跡手段、
最初の要素画像群において再構成画像中の目的物に対応する画素の集まりからなる各輝点の代表点に目的物を識別するラベルを付け、２番目以降の要素画像群中の各要素画像においてテンプレート中の各輝点の代表点と対応する輝点の代表点にテンプレート中の各輝点の代表点と同じラベルを付ける輝点ラベリング手段、および
再構成画像中の目的物の三次元空間の座標を求めて当該座標をラベルで識別される目的物の初期座標に設定し、２番目以降の要素画像群において同じラベルが付いた輝点の代表点の位置変化に基づいて該ラベルにより識別される目的物のＸＹ座標を更新するとともに、隣り合う要素画像間でのそれら代表点の間隔に基づいて該目的物のＺ座標を更新する三次元座標更新手段、
としてコンピューターを機能させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像解析装置、画像解析方法およびプログラムに関し、特に、光線空間（ライトフィールド）を記録したライトフィールド画像から得られる要素画像群の連続データから画像中の目的物の三次元空間位置を追跡するのに好適な画像解析技術に関する。

【背景技術】

【0002】

生体分子や細胞内挙動を繊細かつダイナミックに観察するには高速かつ大規模な三次元イメージングが必要となる。一般的に、そのような三次元画像は、コンフォーカル顕微鏡（共焦点顕微鏡）を使って試料に対する合焦位置を深度方向（Ｚ方向）に所定ピッチで連続的に変えて、各合焦位置における試料の像を撮像することで生成される（例えば、特許文献１、２を参照）。また、三次元イメージングを可能にする顕微鏡としてスピニングディスク共焦点顕微鏡がある。スピニングディスク共焦点法は、多数のピンホールが並ぶ回転ディスクにレーザー光を照射することで、複数の平行な光を作り、それらで試料を高速スキャンして共焦点画像を形成するというものである。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１１－０４４０１６号公報

【特許文献2】特開２０１４－１５７１５８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

共焦点顕微鏡による三次元イメージングは、深度方向にスキャンが必要なため計測に時間がかかり、高速事象を観察するには不向きである。例えば、３０ｆｐｓで三次元空間をＺ方向に３０スキャンして撮像する場合、三次元空間全体の撮像速度は３０ｆｐｓ／３０＝１ｖｐｓとなり、三次元空間を撮るのに１秒要する。神経活動はミリ秒オーダーの現象であるため、生体分子や細胞内挙動の観察用途では共焦点顕微鏡による三次元イメージングはスピード面で不十分である。

【0005】

また、三次元イメージングの単位体積あたりのデータサイズが非常に大きいため、そのような体積画像が時間的に連続した動画像データとなるとデータサイズが数テラバイト規模になることがある。そのような大規模データは、伝送速度が早い有線通信を使っても伝送に非常に時間がかかり、それよりも伝送速度が遅い無線通信では事実上伝送できなくなるおそれがある。

【0006】

三次元イメージングの別の選択肢としてライトフィールド顕微鏡（ＬＦＭ：Light Field Microscopy）がある。ライトフィールドとは三次元空間における光線の集合を表す。ＬＦＭは、多数のマイクロレンズが二次元配列されたマイクロレンズアレイを中間像面に配置し、対物レンズの開口絞り上の光線の通過位置とイメージセンサ上での光線の取得位置を得ることでライトフィールドを記録できるようにしたものである。ＬＦＭにより記録されたライトフィールド画像から、小口径レンズに相当するサブアパーチャ画像が取得できる。サブアパーチャ画像は視点をずらして被写体を部分的に撮像したものであり、それぞれがピンホール効果により深い被写界深度を持つと同時に他のサブアパーチャ画像との間で視差を有する。したがって、サブアパーチャ画像をずらして重ね合わせることで任意の深度位置にリフォーカスした画像を再構成（reconstruction）することができる。

【0007】

このように、ＬＦＭは、深度方向にスキャンすることなくシングルショットで三次元像を高速に撮像することができるため、高速事象を観察するのに向いている。また、データサイズの点でも、ライトフィールド画像自体は二次元画像であるからデータサイズは小さく、それらが時間的に連続した動画像データもデータサイズは小さい。

【0008】

そこで、本発明は、ライトフィールド画像のように視差情報を含む二次元画像が時間的に連続する動画像データを解析して画像中の目的物の三次元空間位置を追跡することを課題とする。

【課題を解決するための手段】

【0009】

本発明の一局面に従うと、互いにずれた複数の視点から同一被写体を撮像した複数の要素画像が配列された要素画像群が時間的に連続する動画像データを解析して画像中の目的物の三次元空間位置を追跡する画像解析装置であって、最初の要素画像群から目的物の深度位置にリフォーカスした画像を再構成する画像再構成部と、最初の要素画像群から輝点を最も多く含む要素画像をテンプレートとして選定するテンプレート選定部と、２番目以降の要素画像群中の各輝点の代表点を求める輝点代表点特定部と、２番目以降の要素画像群中の各輝点の代表点の位置変化を求める輝点追跡部と、最初の要素画像群において再構成画像中の目的物に対応する画素の集まりからなる各輝点の代表点に目的物を識別するラベルを付け、２番目以降の要素画像群中の各要素画像においてテンプレート中の各輝点の代表点と対応する輝点の代表点にテンプレート中の各輝点の代表点と同じラベルを付ける輝点ラベリング部と、再構成画像中の目的物の三次元空間の座標を求めて当該座標をラベルで識別される目的物の初期座標に設定し、２番目以降の要素画像群において同じラベルが付いた輝点の代表点の位置変化に基づいて該ラベルにより識別される目的物のＸＹ座標を更新するとともに、隣り合う要素画像間でのそれら代表点の間隔に基づいて該目的物のＺ座標を更新する三次元座標更新部と、を備えた画像解析装置が提供される。

【0010】

本発明の別の局面に従うと、互いにずれた複数の視点から同一被写体を撮像した複数の要素画像が配列された要素画像群が時間的に連続する動画像データを解析して画像中の目的物の三次元空間位置を追跡する画像解析方法であって、最初の要素画像群から目的物の深度位置にリフォーカスした画像を再構成するステップと、最初の要素画像群において再構成画像中の目的物に対応する画素の集まりからなる各輝点の代表点に目的物を識別するラベルを付けるステップと、再構成画像中の目的物の三次元空間の座標を求めて当該座標をラベルで識別される目的物の初期座標に設定するステップと、最初の要素画像群から輝点を最も多く含む要素画像をテンプレートとして選定するステップと、２番目以降の要素画像群中の各輝点の代表点を求めるステップと、２番目以降の要素画像群中の各輝点の代表点の位置変化を求めるステップと、２番目以降の要素画像群の各要素画像においてテンプレート中の各輝点の代表点と対応する輝点の代表点にテンプレート中の各輝点の代表点と同じラベルを付けるステップと、２番目以降の要素画像群において同じラベルが付いた輝点の代表点の位置変化に基づいて該ラベルにより識別される目的物のＸＹ座標を更新するとともに、隣り合う要素画像間でのそれら代表点の間隔に基づいて該目的物のＺ座標を更新するステップと、を備えた画像解析方法が提供される。

【0011】

本発明のさらに別の局面に従うと、コンピューターに、互いにずれた複数の視点から同一被写体を撮像した複数の要素画像が配列された要素画像群が時間的に連続する動画像データを解析して画像中の目的物の三次元空間位置を追跡させるプログラムであって、最初の要素画像群から目的物の深度位置にリフォーカスした画像を再構成する三次元像再構成手段、最初の要素画像群から輝点を最も多く含む要素画像をテンプレートとして選定するテンプレート選定手段、２番目以降の要素画像群中の各輝点の代表点を求める輝点代表点特定手段、２番目以降の要素画像群中の各輝点の代表点の位置変化を求める輝点追跡手段、最初の要素画像群において再構成画像中の目的物に対応する画素の集まりからなる各輝点の代表点に目的物を識別するラベルを付け、２番目以降の要素画像群中の各要素画像においてテンプレート中の各輝点の代表点と対応する輝点の代表点にテンプレート中の各輝点の代表点と同じラベルを付ける輝点ラベリング手段、および再構成画像中の目的物の三次元空間の座標を求めて当該座標をラベルで識別される目的物の初期座標に設定し、２番目以降の要素画像群において同じラベルが付いた輝点の代表点の位置変化に基づいて該ラベルにより識別される目的物のＸＹ座標を更新するとともに、隣り合う要素画像間でのそれら代表点の間隔に基づいて該目的物のＺ座標を更新する三次元座標更新手段、としてコンピューターを機能させるプログラムが提供される。

【発明の効果】

【0012】

本発明によると、要素画像群の連続データといった高フレームレートの動画像データから画像中の目的物の三次元空間位置を追跡することができるため、例えば、生体分子や細胞内挙動といった高速事象を観測することができる。また、二次元画像である要素画像群が連続する動画像データは、共焦点顕微鏡による体積画像データの連続データに比べてデータサイズが圧倒的に小さくて済むため、保存のためにストレージ容量を圧迫せず、また、無線通信などによる伝送が可能となる。

【図面の簡単な説明】

【0013】

【図1】本発明の一実施形態に係る画像解析装置を含む光学システムの概略図である。

【図2】一例に係る（ａ）多視点画像データ、（ｂ）要素画像群、（ｃ）再構成画像を示す図である。

【図3】一例に係る光学系の各パラメータの幾何学関係を模式的に示す図である。

【図4】ＰＱアレイと要素画像の重ね合わせの関係を説明する図である。

【図5A】本発明の一実施形態に係る画像解析方法のフローチャート前半である。

【図5B】本発明の一実施形態に係る画像解析方法のフローチャート後半である。

【図6】最初の要素画像群から目的物を三次元再構成して輝点ラベリング、目的物の初期座標設定およびテンプレート選定を行う例を説明する図である。

【図7】要素画像群中の各輝点の代表点の特定を説明する図である。

【図8】要素画像群中の各輝点の代表点の追跡を説明する図である。

【図9】要素画像群における輝点ラベリングを説明する図である。

【図10】一つの要素画像中に輝点が複数ある場合のテンプレート選定および２番目以降の要素画像群における輝点ラベリングを説明する図である。

【図11】要素画像群における隣り合う要素画像間での輝点の代表点の間隔を説明する図である。

【図12】Ｚ方向の追従性能を示すグラフである。

【図13】本発明の一実施形態に係る画像解析装置による目的物追跡の様子を示す図である。

【発明を実施するための形態】

【0014】

以下、適宜図面を参照しながら、本発明の実施の形態を詳細に説明する。ただし、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、発明者は、当業者が本発明を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。また、図面に描かれた各部材の寸法、細部の詳細形状などは実際のものとは異なることがある。

【0015】

≪実施形態≫
図１は、本発明の一実施形態に係る画像解析装置を含む光学システムの概略図である。光学システム１００は、光学系１０と、記憶装置２０と、画像解析装置３０とを備えている。記憶装置２０はクラウド上に配置されていてもよい。また、画像解析装置３０の構成要素のすべてまたは一部もまたクラウド上に配置されていてもよい。

【0016】

光学系１０は、メインレンズ１、マイクロレンズアレイ２、イメージセンサ３を備えている。メインレンズ１は対物レンズと結像レンズを含む場合があるが、ここでは便宜上、それらを含んだものをメインレンズ１として表す。マイクロレンズアレイ２は、複数のマイクロレンズ（レンズレット）２ａを二次元的に配列して構成され、メインレンズ１とイメージセンサ３の間に配置される。イメージセンサ３は、入力された光を光電変換して電気信号を出力する図略の複数の受光素子を二次元的に配列して構成されたＣＣＤセンサやＣＭＯＳセンサなどである。各受光素子から出力された電気信号は図略のＡ／Ｄ変換器によりデジタルデータに変換され、光学系１０から多視点画像データとしてのライトフィールド画像が出力される。

【0017】

記憶装置２０は、ＲＡＭ、ＲＯＭ、ＳＳＤ、ＨＤＤなどの記憶デバイスの集合体である。ＲＡＭは、主として画像解析装置３０が画像解析を行う際のワーキングメモリとして使用される。ＲＯＭ、ＳＳＤ、およびＨＤＤは、主として画像解析装置３０を動作させるためのコンピュータープログラムや、画像解析装置３０の解析対象である動画像データ、後述する画像解析において生成および使用される再構成画像、ＰＱアレイ、三次元像、ラベルテーブルなどを一時的または長期に亘って保存する。

【0018】

画像解析装置３０は、記憶装置２０に保存されている動画像データを解析して画像中の目的物の三次元空間位置を追跡するものである。具体的には、画像解析装置３０は、画像再構成部３１と、テンプレート選定部３２と、輝点代表点特定部３３と、輝点追跡部３４と、輝点ラベリング部３５と、三次元座標更新部３６とを備えている。これら各構成要素は、ＡＳＩＣやＦＰＧＡなどのハードウェア、あるいは、記憶装置２０に記憶されているコンピュータープログラムをＣＰＵやＧＰＵなどの図略のプロセッサで実行するソフトウェアとして実現することができる。ハードウェアとソフトウェアを適宜組み合わせて実現することもできる。画像解析装置３０は、画像解析を実行中に、記憶装置２０を構成する各種記憶デバイスに適宜アクセスしてデータの書き込みおよび読み出しを行う。

【0019】

画像解析装置３０の解析対象である動画像データは、互いにずれた複数の視点から同一被写体を撮像した複数の要素画像が配列された要素画像群をフレーム画像としてそのようなフレーム画像が時間的に連続する画像データである。このような要素画像群からはそれに含まれる各要素画像の視差を利用して任意の深度位置にリフォーカスした画像を再構成することができる。動画像データは、例えば、光学系１０から連続的に出力される多視点画像データ（ライトフィールド画像）から生成することができる。

【0020】

図２は、一例に係る多視点画像データと要素画像と再構成画像とを示す図である。（ａ）多視点画像データは、「／５」の文字が記されたシートを光学系１０の焦点面からずれた位置に置いて撮像したものである。多視点画像データは、光学系１０のマイクロレンズアレイ２の各マイクロレンズ２ａにより撮像された多数のマイクロレンズ像ＭＩが正方格子状に配列されたマイクロレンズ像群である。各マイクロレンズ像ＭＩの形状は、破線で示したように、各マイクロレンズ２ａの円形形状を反映した略円形となっている。このように、多視点画像データは、互いにずれた複数の視点から同一被写体を撮像した複数のサブ画像（図２の例ではマイクロレンズ像ＭＩ）が集まったものである。

【0021】

マイクロレンズ像ＭＩの境界付近は光線量が少ないため暗くなっており、また、マイクロレンズ２ａの端の部分を経由した光線を捉えていることで歪みが大きいため、マイクロレンズ像ＭＩの中央部分が使用される。すなわち、略円形の各マイクロレンズ像ＭＩから、例えば、当該円に内接する正方領域が要素画像ＥＩとして切り出され、それら要素画像ＥＩを正方格子状に配列したものが（ｂ）要素画像群である。

【0022】

上述したように、「／５」の文字が記されたシートが光学系１０の焦点面からずれた位置にあるため、（ａ）多視点画像データにおいて各マイクロレンズ２ａにより視点をずらして「／５」の文字を部分的に撮像したマイクロレンズ像、すなわち、視差を有するマイクロレンズ像が記録されている。例えば、「５」の文字の左上角部分に着目すると、被写体の当該部分から射出された光線は隣り合うマイクロレンズ像間で間隔Δをもって記録されている。（ｂ）要素画像群に示すように、マイクロレンズ像間での間隔Δは要素画像間ではΔ_ＥＩとなる。ここで、マイクロレンズ２ａのピッチをＭＬＰ、要素画像の１辺の長さをＥＩ_Ｌとすると、Δ_ＥＩは次式（１）で表される。
Δ_ＥＩ＝Δ－（ＭＬＰ－ＥＩ_Ｌ） …（１）

【0023】

要素画像群において隣り合う要素画像どうしを、視差に応じたずらし量でずらして重ね合わせることで（ｃ）再構成画像が得られる。図２の例では、隣り合う要素画像をΔ_ＥＩずつずらして重ね合わせることで、「／５」の文字が記されたシートの位置にリフォーカスされた（ｃ）再構成画像が得られる。このように、ずらし量を適宜変えて要素画像を重ね合わせることで、取得画像から逆方向の光線追跡に基づいて任意の深度位置にリフォーカスした画像を再構成することができる。

【0024】

ここで、リフォーカス対象の目的物について、メインレンズ１中の対物レンズの物体側焦点面ＮＯＰ（Native Object Plane）からのずれである深度をｄ_ｏｂｊとすると、隣り合うマイクロレンズ像間で同一点起源の光線の間隔Δと当該点の深度ｄ_ｏｂｊとの関係を光学系１０の各パラメータを用いて表すことができる。図３は、一例に係る光学系１０の各パラメータの幾何学関係を模式的に示す図である。図中のＯは深度ｄ_ｏｂｊの位置にある目的物、Ａはメインレンズ１による目的物Ｏの結像点、ＢおよびＣは隣り合うマイクロレンズ２ａの中心、Ｂ’およびＣ’はＢおよびＣを経由してイメージセンサ３に捉えられた目的物Ｏからの光線の位置である。図中の三角形ＡＢＣと三角形ＡＢ’Ｃ’とに着目したとき、三角形の相似関係より、
ＢＣ：Ｂ’Ｃ’＝ＣＡ：Ｃ’Ａ
である。これをパラメータで示すと、
ＭＬＰ：Δ＝（ａ＋ｄ_ｏｂｊＭ^２）：（ａ＋ｄ_ｏｂｊＭ^２－ｂ）
となる。これをΔについて解くと次式（２）が得られる。
Δ＝ＭＬＰ（１－ｂ／（ｄ_ｏｂｊＭ^２－ａ）） …（２）
ただし、ＭＬＰ：マイクロレンズ２ａのピッチ、Ｍ：メインレンズ１の対物レンズの倍率、ａ：メインレンズ１の結像レンズの像側焦点面Ｔ－ＮＩＰ（Native Image Plane）からマイクロレンズ２ａの中心までの距離、ｂ：マイクロレンズ２ａの中心からイメージセンサ３までの距離、である。

【0025】

なお、深度方向（Ｚ方向）に垂直な面内で互いに垂直な２方向（Ｘ方向、Ｙ方向）に対して異方性は存在しないため、Ｘ方向およびＹ方向にそれぞれ同一のΔを適用することができる。

【0026】

式（１）（２）からｄ_ｏｂｊとΔ_ＥＩの関係が特定される。したがって、任意の深度位置（深度ｄ_ｏｂｊ）にリフォーカスした画像を再構成するには、要素画像どうしを式（１）（２）で特定されるずらし量Δ_ＥＩでずらして重ね合わせればよい。要素画像どうしの重ね合わせは下述のＰＱアレイを参照することで容易に行うことができる。

【0027】

図４は、ＰＱアレイと要素画像の重ね合わせの関係を説明する図である。重なり合った画素を網掛け表示し、左列は要素画像が重なり合った状態を、右列は要素画像の重なりを展開した状態を示している。便宜のため、要素画像群が縦横２つ計４つの要素画像Ｄ、Ｅ、Ｆ、Ｇからなり、各要素画像のサイズは縦横５画素分とする。要素画像の配置関係は、要素画像Ｄの右に要素画像Ｅが、要素画像Ｄの下に要素画像Ｆが、要素画像Ｅの下すなわち要素画像Ｆの右に要素画像Ｇが配置されている。要素画像群における各画素を参照するために行および列に１から始まる通し番号を振る。例えば、要素画像Ｄに属する画素は第１行から第５行、かつ、第１列から第５列の範囲で参照され、要素画像Ｇに属する画素は第６行から第１０行、かつ、第６列から第１０列の範囲で参照される。以下で画素［ｍ，ｎ］は要素画像群において第ｍ行、第ｎ列に位置する画素を指す。

【0028】

図中のＺはｄ_ｏｂｊを表す深度パラメータである。便宜上、ｄ_ｏｂｊと要素画像のずらし量Δ_ＥＩを同じＺ値で表す。すなわち、Ｚ＝ｎのとき、ｄ_ｏｂｊ＝ｎであり、要素画像のずらし量Δ_ＥＩがｎ画素分であることを表す。

【0029】

Ｚ＝０のとき、すなわち、深度ｄ_ｏｂｊ＝０では要素画像どうしを重ね合わせることなく、要素画像群がそのまま再構成画像となる。

【0030】

Ｚ＝１のとき、すなわち、深度ｄ_ｏｂｊ＝１にリフォーカスした画像を再構成するには、隣り合う要素画像どうしを１画素分ずらして重ね合わせる。要素画像群におけるどの画素どうしを重ね合わせるかは、画素の重ね合わせ方を示したＰＱアレイを参照することで容易に判別することができる。ＰＱアレイは、要素画像群における画素の行番号または列番号を要素画像単位で折り返して表したものであり、図中に示したように、例えば、Ｚ＝１に対応するＰＱアレイは次のように表される。
１ ２ ３ ４ ５
６ ７ ８ ９ １０
当該ＰＱアレイは、第５行（第５列）の画素と第６行（第６列）の画素とが重なり合うことを意味する。このようなＰＱアレイをあらかじめＺ値ごとに用意して記憶装置２０に保存しておくことで、Ｚ値に応じたＰＱアレイを参照して画素の重ね合わせを実行することができる。

【0031】

Ｚ＝２のとき、すなわち、深度ｄ_ｏｂｊ＝２にリフォーカスした画像を再構成するには、隣り合う要素画像どうしを２画素分ずらして重ね合わせる。図中に示したように、例えば、Ｚ＝２に対応するＰＱアレイは次のように表される。
１ ２ ３ ４ ５
６ ７ ８ ９ １０
当該ＰＱアレイは、第４、５行（第４、５列）の画素と第６、７行（第６、７列）の画素とがそれぞれ重なり合うことを意味する。

【0032】

なお、列方向および行方向に３以上の要素画像が重なり合う場合があるが、その場合のＰＱアレイは３行以上で構成されることなる。また、上記例のように要素画像の行列が同じ画素数で構成されている場合には、要素画像の行方向の重ね合わせおよび列方向の重ね合わせに共通のＰＱアレイを使用することができるが、要素画像の行列の画素数が互いに異なる場合には、行方向のＰＱアレイおよび列方向のＰＱアレイを用意する必要がある。

【0033】

次に、画像解析装置３０による画像解析について説明する。図５Ａは、本発明の一実施形態に係る画像解析方法のフローチャート前半であり、最初（時刻ｔ＝１に相当）の要素画像群に対する画像解析手順を示す。図５Ｂは、本発明の一実施形態に係る画像解析方法のフローチャート後半であり、２番目以降（時刻ｔ＝２以降に相当）の要素画像群に対する画像解析手順を示す。各ステップは、画像解析装置３０の上記構成要素により実行される。

【0034】

記憶装置２０から画像解析装置３０に動画像データ中の最初の要素画像群が読み出されると、画像再構成部３１が、要素画像群から目的物の深度位置にリフォーカスした画像を再構成する（Ｓ１）。再構成画像が生成されると、輝点ラベリング部３５が、再構成画像中の目的物に対応する画素の集まりからなる各輝点の代表点に目的物を識別するラベルを付ける（Ｓ２）。ここで言う輝点とは、一定の輝度あるいは画素値を有する１以上の画素の集まり、すなわち、一定の明るさを持つ点あるいは小画像領域のことを指す。ラベル付けが終わると、三次元座標更新部３６が、再構成画像中の目的物の三次元空間の座標を求めて当該座標をラベルにより識別される目的物の初期座標に設定する（Ｓ３）。また、これらステップＳ１ないしＳ３と並行または非同期に、テンプレート選定部３２が、要素画像群から輝点を最も多く含む要素画像をテンプレートとして選定する（Ｓ４）。

【0035】

図６は、最初の要素画像群から目的物を三次元再構成して輝点ラベリング、目的物の初期座標設定およびテンプレート選定を行う例を説明する図である。例えば、画像再構成部３１は、記憶装置２０に保存されたＰＱアレイを適宜参照しながら、要素画像群中の要素画像を深度位置に応じたずらし量でずらして重ね合わせて複数の深度位置にリフォーカスした画像を再構成する。深度ｄ_ｏｂｊが大きくなるにつれ、要素画像のずらし量Δ_ＥＩが大きくなり、その分、再構成された画像のサイズは小さくなる。画像再構成部３１は、そのような深度位置に応じてサイズが異なる再構成された画像を深度位置に応じてリサイズしてＺ方向（深度方向）にスタックして目的物の三次元像を再構成する。なお、要素画像群から任意の深度位置にリフォーカスした画像を再構成する方法として、本願発明者らの出願（特願２０２２－２０２５６６）に開示したオプティカルセクショニング技術を用いることで高分解能の画像を再構成することができる。

【0036】

要素画像群において三次元像に対応する画素を特定するために、例えば、輝点ラベリング部３５は、三次元像の各ボクセルのＸＹ座標に各深度位置の画像のリサイズ比率を乗じて最初の要素画像群の画素座標に変換する。例えば、三次元像におけるあるＺ座標の画像のサイズをｍ、その画像のリサイズ前のサイズをｎとすると、そのＺ座標の各ボクセルのＸＹ座標にリサイズ比率ｎ／ｍを乗じることで、最初の要素画像群において対応する画素座標に変換することができる。ただし、この変換された画素座標に重なり合った他の画素の座標まではわからないため、輝点ラベリング部３５は、ＰＱアレイを参照して、その深度位置にリフォーカスした画像を再構成する際に、当該変換した画素座標の画素に重ね合わされる他の画素の座標を特定し、当該変換した画素座標の画素および該深度位置にリフォーカスした画像を再構成する際に当該画素に重ね合わされる画素の集まりからなる各輝点の代表点に目的物を識別するラベルを付ける。例えば、輝点を構成する各画素を二値化してその重心を求め、当該重心をその輝点の代表点とすることができる。同じ三次元像に対応する輝点の代表点には同じラベルが付けられる。

【0037】

ラベルと各輝点の代表点との対応関係はテーブル化され、記憶装置２０にラベルテーブルとして記憶される。また、ラベルには目的物の三次元座標が紐づけられる。具体的には、三次元座標更新部３６が、三次元像の各ボクセル座標を求めるとともに、三次元空間の座標として例えば三次元像の重心を求めて、当該重心をラベルにより識別される目的物の初期座標に設定する。

【0038】

上記の画像再構成、輝点ラベリング、目的物の初期座標設定と並行または非同期に、テンプレート選定部３２は、輝点を最も多く含む要素画像をテンプレートとして選定する。便宜のため、図６の例では目的物を一つとしているため、各要素画像中の輝点の数は１個である。このようにテンプレートの候補となる要素画像が複数ある場合には、要素画像群において原点に最も近い位置、すなわち、もっとも左上にある要素画像をテンプレートとして選定することができる。テンプレートは、２番目の要素画像群の輝点ラベリング処理で参照される。以上で最初の要素画像群を対象とする解析処理が終了する。

【0039】

図５Ｂへ戻り、記憶装置２０から画像解析装置３０に動画像データ中の次の要素画像群が読み出されると、輝点代表点特定部３３が、要素画像群中の各輝点の代表点を求める（Ｓ５）。図７は、要素画像群中の各輝点の代表点の特定を説明する図である。要素画像群はグレイスケールの画像であることから、輝点代表点特定部３３は、必要に応じて平均化フィルターで要素画像群を平滑化した上で要素画像群を二値化処理する。そして、輝点代表点特定部３３は、二値化された各輝点の重心を求め、当該重心をその輝点の代表点とする。以後、各輝点の代表点についてラベリングおよび追跡が行われる。

【0040】

二値化の閾値は適当な固定値でもよいし、要素画像群の特性に応じて決めてもよい。後者の場合、まず、視野の範囲と目的物の大きさからおおよその目的物が写る画素数の割合を算出する。例えば、視野が４２２．４μｍ×４２２．４μｍ、目的物が直径４μｍの円形の場合、視野中（要素画像群中）で目的物が写る画素が占める割合はおよそ０.００７０％である。次に、要素画像群中の各画素の画素値とその頻度パーセンテージを求め、目的物が写る画素数の割合に達するまで降順に頻度を累積していき、最後に足された頻度に対応する画素値を閾値とする。例えば、上記例では画素値の頻度上位から累積していき、累積値が９９．９９３％を超えたときの画素値を閾値とする。このような閾値の決め方は、顕微鏡画像のようにコントラストが高く、背景と目的物とが明確に分かれており、視野全体で目的物が占める割合が非常に小さい場合に有効である。目的物が事前に観察可能である場合には、事前に背景と目的物の画素値を適当な画像解析ソフトで求め、その値を閾値としてもよい。また、一般的な自動二値化の手法である大津の二値化は、背景と目的物とが明確に別れており、視野全体で目的物が占める割合が非常に少ない場合には適用が困難であるが、目的物によっては適用可能である。

【0041】

図５Ｂへ戻り、要素画像中の各輝点の代表点が決まると、輝点追跡部３４が、要素画像群中の各輝点の代表点の位置変化を求める（Ｓ６）。図８は、要素画像群中の各輝点の代表点の追跡を説明する図である。便宜のため、図８では、時間的に前後する２つの要素画像群を重ね合わせて示している。輝点追跡部３４は、時間的に前後する要素画像群間で最近傍探索により各輝点の代表点の移動先を見つける。目的物の移動速度に対して動画像データのフレームレートが十分に高ければ、図８に示したように、時間的に前後する要素画像群間で各輝点の代表点の座標のずれはごく微小であり、最近傍探索により各輝点の代表点の移動先を求めることができる。例えば、拡大図に示したように、５つの輝点の代表点Ｐ１ないしＰ５について、時間的に前後する要素画像群間での最近傍探索によりそれら代表点の移動先が見つかる。各輝点の代表点の移動先が見つかると、輝点追跡部３４は、各輝点の代表点の移動前後の位置関係から各輝点の代表点の位置変化を求める。例えば、輝点の代表点Ｐ１について、時刻ｔ－１のＸＹ座標はＰ１_ｔー１＝（ｘＰ１_ｔー１，ｙＰ１_ｔ－１）であり、時刻ｔのＸＹ座標はＰ１_ｔ＝（ｘＰ１_ｔ，ｙＰ１_ｔ）であるとすると、Ｐ１の位置変化はＰ１_ｔ－Ｐ１_ｔー１で表される。なお、拡大図において、Ｐ１の下、Ｐ３の右にある代表点は時刻ｔで初めて出現したため時刻ｔ－１から時刻ｔにかけて追跡できない。この代表点が時刻ｔ以降も出現するようであればその位置が追跡されることとなる。

【0042】

図５Ｂへ戻り、各輝点の代表点の追跡と並行して、輝点ラベリング部３５が、要素画像群の各要素画像においてテンプレート中の各輝点の代表点と対応する輝点の代表点にテンプレート中の各輝点の代表点と同じラベルを付ける（Ｓ７）。図９は、要素画像群における輝点ラベリングを説明する図である。左図はｋ番目の要素画像群を、中央図はテンプレートを用いた輝点の代表点を最近傍探索中のｋ＋１番目の要素画像群を、右図はラベリング処理されたｋ＋１番目の要素画像群をそれぞれ示す。便宜のため、各要素画像において輝点の代表点は一つとし、左図のｋ番目の要素画像群において各輝点の代表点に同じラベルが付けられているとする。このとき、中央図に示すように、輝点ラベリング部３５は、最近傍探索により、ｋ＋１番目の要素画像群中の各要素画像においてテンプレート中の各輝点の代表点Ｐ０と対応する輝点の代表点を見つける。便宜のため、中央図の要素画像群ではｋ＋１番目の要素画像群中の各要素画像にテンプレートを重ね合わせて示している。この例では各要素画像に輝点の代表点が一つしかないためそれら各代表点がテンプレート中の輝点の代表点と対応する代表点として見つかる。各要素画像において対応する輝点の代表点を見つけると、輝点ラベリング部３５は、見つけた代表点にテンプレート中の対応する輝点の代表点Ｐ０と同じラベルを付ける。その結果、図右に示すように、ｋ＋１番目の要素画像群における各輝点の代表点にラベルが付けられる。このようにして、新たな要素画像群中の各輝点の代表点にラベルが付けられる。

【0043】

目的物が複数ある場合には要素画像中にそれら目的物由来の輝点が複数含まれることがある。そのような場合、輝点ラベリング部３５は、所定数以上の輝点を含む要素画像をラベリング対象としてもよい。例えば、テンプレート中の輝点の数をＮとすると、Ｎ－１以上の輝点を含む要素画像をラベリング対象とする。これにより、ラベリング対象の要素画像の数が減るためラベリング処理に係る負荷を軽減することができる。図１０は、一つの要素画像中に輝点が複数ある場合のテンプレート選定および２番目以降の要素画像群における輝点ラベリングを説明する図である。左図は最初の要素画像群を、中央図はｍ番目の要素画像群を、右図はｎ（ｎ＞ｍ）番目の要素画像群をそれぞれ示す。テンプレート選定部３２は、最初の要素画像群から輝点を最も多く含む要素画像をテンプレートとして選定する。この例では輝点を４つ含む要素画像がテンプレートとして選定されるが、そのような要素画像が複数存在する。このような場合、テンプレート選定部３２は、輝点どうしの分離度合いが最も大きい要素画像をテンプレートとして選定する。分離度合いをＳＥＰで表すとすると、ＳＥＰは例えば次式で定義することができる。
ＳＥＰ＝Ｘ_ｍａｘ－Ｘ_ｍｉｎ＋Ｙ_ｍａｘ－Ｙ_ｍｉｎ
ただし、Ｘ_ｍａｘはテンプレート候補の要素画像に含まれる複数の輝点の代表点のＸＹ座標のうち最大Ｘ座標、Ｘ_ｍｉｎは最小Ｘ座標、Ｙ_ｍａｘは最大Ｙ座標、Ｙ_ｍｉｎは最小Ｙ座標である。

【0044】

上述したようにマイクロレンズ像から要素画像を切り出す際にマイクロレンズ像の一部の領域がカットされるが、目的物が移動すると、カットされる領域に含まれていた輝点が要素画像内に移動して時間経過とともに要素画像中の輝点の数が増える、あるいはその逆に減ることがある。例えば、図１０において拡大表示した要素画像に着目すると、当該要素画像中の輝点の数は最初の要素画像群では１であり（左図）、ｍ番目の要素画像群では２に増え（中央図）、ｎ番目の要素画像群では４に増えている（右図）。ｍ番目の要素画像群で当該要素画像中の輝点の数が２に増えるがＮ－１以上という条件を満たしていないため、当該要素画像はラベリング対象とはならない。その後のｎ番目の要素画像群において当該要素画像中の輝点の数が４に増えるとＮ－１以上という条件を満たすため、当該要素画像はラベリング対象となる。ラベリング対象となった要素画像については、輝点ラベリング部３５により、テンプレート中の各輝点の代表点と対応する輝点の代表点にテンプレート中の各輝点の代表点と同じラベルが付けられる。

【0045】

図５Ｂへ戻り、各輝点の代表点の追跡およびラベル付けが終わると、三次元座標更新部３６が、同じラベルが付いた輝点の代表点の位置変化に基づいて該ラベルにより識別される目的物のＸＹ座標を更新するとともに、隣り合う要素画像間でのそれら代表点の間隔に基づいて該目的物のＺ座標を更新する（Ｓ８）。例えば、目的物の時刻ｔのＸＹ座標は、時刻ｔ－１のＸＹ座標に、同じラベルが付いた輝点の代表点の時刻ｔ－１から時刻ｔにかけての位置変化の平均を加算することで求めることができる。これを数式で表すと次のようになる。
（ｘ_ｔ，ｙ_ｔ）＝（ｘ_ｔ－１，ｙ_ｔ－１）＋〈Ｐ_ｔ－Ｐ_ｔ－１〉
ただし、（ｘ_ｔ，ｙ_ｔ）は時刻ｔにおける目的物のＸＹ座標、（ｘ_ｔ－１，ｙ_ｔ－１）は時刻ｔ－１における目的物のＸＹ座標、Ｐ_ｔは時刻ｔにおける同じラベルが付いた輝点の代表点のＸＹ座標、Ｐ_ｔ－１は時刻ｔ－１における同じラベルが付いた輝点の代表点のＸＹ座標、演算子〈〉はＸＹの各座標の平均値を表す。

【0046】

目的物の時刻ｔのＺ座標は、時刻ｔの要素画像群において同じラベルが付いた輝点の代表点について、隣り合う要素画像間でのそれら輝点の代表点の間隔に基づいてダイレクトに求めることができる。図１１は、要素画像群における隣り合う要素画像間での輝点の代表点の間隔を説明する図である。例えば、拡大図に示したように、要素画像群において５つの輝点の代表点Ｐ１ないしＰ５の座標があらかじめわかっているため、隣り合う要素画像間でのそれら輝点の代表点の間隔Δ_ＥＩ１、Δ_ＥＩ２、Δ_ＥＩ３、Δ_ＥＩ４は容易に求まる。時刻ｔのときの同じラベルがついた輝点の代表点について隣り合う要素画像間でのそれら輝点の代表点の間隔Δ_ＥＩ１、Δ_ＥＩ２、Δ_ＥＩ３、Δ_ＥＩ４、…、Δ_ＥＩｎの平均を^￣Δ_ＥＩｔで表すとすると、式（１）（２）から、そのラベルにより識別される目的物の時刻ｔのＺ座標は次式で表される。
ｚ_ｔ＝ｄ_ｏｂｊ＝（（^￣Δ_ＥＩｔ－ＥＩ_Ｌ）ａ－ＭＬＰ＊ｂ）／（^￣Δ_ＥＩｔ－ＥＩ_Ｌ）Ｍ^２

【0047】

図１２は、Ｚ方向の追従性能を示すグラフである。Ｚ方向の追従性能の確認は、半径２μｍの蛍光粒子をＸＹＺ電動ステージでＺ方向に０μｍから４０μｍまで１μｍずつ動かしたときの様子を光学系１０で撮影し、その動画像データを画像解析装置３０で解析することで行った。（ａ）は目的物（蛍光粒子）を載せた電動ステージへの入力を示し、（ｂ）は画像解析装置３０による目的物（蛍光粒子）の位置追跡結果を示す。（ｂ）においてＺ＝０（ＮＯＰ）に近いところで位置追跡ができていないのは、光学系１０の特性上、その部分ではリフォーカスが困難であるとの理由による。それ以外のリフォーカス可能な深度位置については目的物のＺ方向への移動をよく追跡できていると言える。

【0048】

≪効果≫

【0049】

本実施形態に係る画像解析装置３０は、最初（時刻ｔ＝１）の要素画像群から目的物を三次元再構成してその初期座標を求めるものの、それ以降（時刻ｔ＝２以降）は要素画像群から目的物を三次元再構成することなく二次元画像の要素画像群の解析のみで目的物の三次元空間位置を追跡する。図１３は、画像解析装置３０による目的物追跡の様子を示す図である。例えば、最初の要素画像群から目的物である粒子Ａの初期座標（ｘ，ｙ，ｚ）＝（５５３，３６２，４４）を求めた後は、粒子Ａを三次元再構成することなく、二次元画像の要素画像群を解析して粒子Ａの三次元空間位置を追跡する。

【0050】

このように、本実施形態に係る画像解析装置３０によると、要素画像群の連続データといった高フレームレートの動画像データから画像中の目的物の三次元空間位置を追跡することができるため、例えば、生体分子や細胞内挙動といった高速事象を観測することができる。一例として、１００ｆｐｓの動画像データを解析して目的物の三次元空間位置を追跡することができる。

【0051】

また、二次元画像である要素画像群が連続する動画像データは、共焦点顕微鏡による体積画像データの連続データに比べてデータサイズが圧倒的に小さくて済むため、保存のためにストレージ容量を圧迫せず、また、無線通信などによる伝送が可能となる。一例として、上記の１００ｆｐｓの動画像データのデータサイズが１．２７ＭＢなのに対して、各要素画像群から三次元再構成した体積画像の全データサイズは１．５３ＧＢにもなる。すなわち、本実施形態に係る画像解析装置３０は、時間的に連続する体積画像を必要とせず二次元画像である要素画像群の連続データから目的物の三次元空間位置を追跡することができるため、保存および伝送に係るデータサイズをおよそ１／１０００に低減することができる。

【0052】

≪変形例≫
図６で説明したような目的物の三次元像を再構成してその三次元像から目的物の初期座標を求めるのではなく、最初の要素画像群から再構成した画像から目的物の三次元空間の座標を直接求めるようにしてもよい。再構成画像のＺ座標はあらかじめわかっているから、あとは再構成画像中の目的物の重心座標、すなわち、ＸＹ座標を求めることで、目的物の三次元空間における初期座標を決定することができる。

【0053】

テンプレート選定部３２が、テンプレートは最初の要素画像群からだけでなく、２番目以降の要素画像群からも適宜テンプレートを選定してテンプレートを更新してもよい。特に、目的物が複数あり、それらがそれぞれ回転したり方向転換したりする場合には、２番目以降の要素画像群においてテンプレートを選定し直すようにすることが好ましい。

【0054】

上記説明は、要素画像群において要素画像が正方格子状に配列されていることを前提としているが、マイクロレンズがハニカム状に配列されたマイクロレンズアレイを使用すると要素画像がハニカム状に配列されることがある。そのような場合でも、上述した要素画像群中の輝点の代表点の特定、輝点ラベリング、テンプレート選定、輝点追跡、および三次元座標更新が適用可能である。

【0055】

多視点画像データはライトフィールド画像に限定されず、互いにずれた複数の視点から同一被写体を撮像した複数のサブ画像が集まったものであればよい。例えば、多数のカメラを並べたマルチカメラで撮像されたものであってもよい。また、マルチカメラにおける各カメラで撮像された画像が一つの画像データとしてまとめられている必要はなく、各カメラで撮像された画像が個別のファイルで保存されていてもよい。その場合、それら画像ファイルのセットが多視点画像データということになる。そのような多視点画像データから、画像解析装置３０の解析対象となる同画像データが生成可能である。

【0056】

以上のように、本発明における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。また、上述の実施の形態は、本発明における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。

【産業上の利用可能性】

【0057】

本発明に係る画像解析装置は、要素画像群の連続データといった高フレームレートの動画像データから画像中の目的物の三次元空間位置を追跡することができるため、生体分子や細胞内挙動などの高速事象の観察に有用である。

【符号の説明】

【0058】

３０ 画像解析装置
３１ 画像再構成部
３２ テンプレート選定部
３３ 輝点代表点特定部
３４ 輝点追跡部
３５ 輝点ラベリング部
３６ 三次元座標更新部

【図1】

【図2】

【図3】

【図4】

【図5A】

【図5B】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】