特許 7397196 情報処理装置、その作動方法及び作動プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-12-04

(45)【発行日】2023-12-12

(54)【発明の名称】情報処理装置、その作動方法及び作動プログラム

(51)【国際特許分類】

   H04N 23/955 20230101AFI20231205BHJP

   H04N 23/67 20230101ALI20231205BHJP

   G02B 7/36 20210101ALI20231205BHJP

   G02B 7/28 20210101ALI20231205BHJP

【ＦＩ】

H04N23/955

H04N23/67 300

H04N23/67

G02B7/36

G02B7/28 J

【請求項の数】 10

(21)【出願番号】P 2022532438

(86)(22)【出願日】2021-05-26

(86)【国際出願番号】 JP2021019891

(87)【国際公開番号】W WO2021261158

(87)【国際公開日】2021-12-30

【審査請求日】2022-12-02

(31)【優先権主張番号】P 2020109803

(32)【優先日】2020-06-25

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】306037311

【氏名又は名称】富士フイルム株式会社

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(72)【発明者】

【氏名】山本 拓明

【審査官】高野 美帆子

(56)【参考文献】

【文献】国際公開第２０１８／１５８８１０（ＷＯ，Ａ１）

【文献】国際公開第２０１９／１８０８１０（ＷＯ，Ａ１）

【文献】国際公開第２０１６／１６３５６０（ＷＯ，Ａ１）

【文献】特開２０１７－１４６６９６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／９５５

Ｈ０４Ｎ ２３／６７

Ｇ０２Ｂ ７／３６

Ｇ０２Ｂ ７／２８

(57)【特許請求の範囲】

【請求項1】

観察対象物体の干渉縞像を含む原画像を再構成する情報処理装置であって、
少なくとも１つのプロセッサを備え、
前記プロセッサは、
前記原画像を取得し、
取得された前記原画像に基づいて、再構成位置を初期位置から変更しながら再構成画像を生成し、
前記再構成画像が生成されるたびに前記再構成画像の鮮鋭度を算出し、かつ算出した鮮鋭度が極大化される合焦位置を検出し、
検出した前記合焦位置を記録し、
記録した前記合焦位置に基づき、次回の再構成の初期位置を決定し、
前記原画像取得、前記再構成、前記合焦位置検出、前記合焦位置記録、及び前記初期位置決定を１撮像周期として繰り返す、
情報処理装置。

【請求項2】

前記プロセッサは、
過去に記録された１以上の前記合焦位置のうち、直前の撮像周期で得られた前記合焦位置を前記初期位置として決定する、
請求項１に記載の情報処理装置。

【請求項3】

前記プロセッサは、
過去に記録された１以上の前記合焦位置の統計量に基づいて前記初期位置を決定する、
請求項１に記載の情報処理装置。

【請求項4】

前記統計量は、最頻値、中央値、又は平均値である、
請求項３に記載の情報処理装置。

【請求項5】

前記プロセッサは、
前記初期位置から前記鮮鋭度が高くなる方向へ前記再構成位置を変更する、
請求項１から請求項４のうちいずれか１項に記載の情報処理装置。

【請求項6】

前記プロセッサは、
撮像周期が異なる２つの前記原画像又は２つの前記再構成画像の差分量を算出し、
算出された前記差分量が一定値以下である場合に、前記繰り返しを停止する、
請求項１から請求項５のうちいずれか１項に記載の情報処理装置。

【請求項7】

前記プロセッサは、
前記差分量が一定値以下である場合に、報知情報を出力する、
請求項６に記載の情報処理装置。

【請求項8】

前記プロセッサは、
検出した前記合焦位置における前記再構成画像を最適再構成画像として出力する、
請求項１から請求項７のうちいずれか１項に記載の情報処理装置。

【請求項9】

観察対象物体の干渉縞像を含む原画像を再構成する情報処理装置の作動方法であって、
前記原画像を取得する原画像取得処理と、
原画像取得処理により取得された前記原画像に基づいて、再構成位置を初期位置から変更しながら再構成画像を生成する再構成処理と、
前記再構成処理により前記再構成画像が生成されるたびに前記再構成画像の鮮鋭度を算出し、かつ算出した鮮鋭度が極大化される合焦位置を検出する合焦位置検出処理と、
前記合焦位置検出処理により検出した前記合焦位置を記録する合焦位置記録処理と、
前記合焦位置記録処理により記録した前記合焦位置に基づき、次回の前記再構成処理における前記初期位置を決定する初期位置決定処理と、
前記原画像取得処理、前記再構成処理、前記合焦位置検出処理、前記合焦位置記録処理、及び前記初期位置決定処理を１撮像周期ごとに実行する繰り返し処理と、
を実行する情報処理装置の作動方法。

【請求項10】

観察対象物体の干渉縞像を含む原画像を再構成する処理をコンピュータに実行させる作動プログラムであって、
前記原画像を取得する原画像取得処理と、
原画像取得処理により取得された前記原画像に基づいて、再構成位置を初期位置から変更しながら再構成画像を生成する再構成処理と、
前記再構成処理により前記再構成画像が生成されるたびに前記再構成画像の鮮鋭度を算出し、かつ算出した鮮鋭度が極大化される合焦位置を検出する合焦位置検出処理と、
前記合焦位置検出処理により検出した前記合焦位置を記録する合焦位置記録処理と、
前記合焦位置記録処理により記録した前記合焦位置に基づき、次回の前記再構成処理における前記初期位置を決定する初期位置決定処理と、
前記原画像取得処理、前記再構成処理、前記合焦位置検出処理、前記合焦位置記録処理、及び前記次回初期位置決定処理を１撮像周期ごとに実行する繰り返し処理と、
を前記コンピュータに実行させる作動プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示の技術は、情報処理装置、その作動方法及び作動プログラムに関する。

【背景技術】

【0002】

細胞等の小さな観察対象物体を撮像する装置を小型化するために、光学系部品を排除した、いわゆるレンズフリーのデジタルホログラフィが知られている。デジタルホログラフィでは、レーザ光等のコヒーレントな光を発する光源を用いて観察対象物体を撮像し、撮像により得られた干渉縞像を含む画像を再構成することにより、任意の再構成位置において再構成画像を生成することができる。再構成処理には、撮像センサから光源方向への距離に対応する位置である再構成位置がパラメータとして用いられる。以下、再構成を行う前の干渉縞像を含む画像を原画像という。

【0003】

観察対象物体に対して再構成位置が適切でない場合には、得られる再構成画像が不鮮明となる。そこで、再構成処理において、再構成位置をパラメータとして、鮮明な再構成画像が得られる合焦位置を探索することが提案されている（例えば、特許文献１参照）。なお、再構成位置は、特許文献１に記載の焦点距離に対応する位置である。

【0004】

また、デジタルホログラフィにおいて、微小な流路であるマイクロ流路（マイクロ流体チャネルとも称される。）に流れる細胞等を観察対象として撮像を行うことが知られている（例えば、特許文献２参照）。特許文献２には、マイクロ流路に流れる観察対象物体を撮像センサにより動画撮像しながら、原画像をリアルタイムに処理することにより、細胞の選別等を行うことが開示されている。

【先行技術文献】

【特許文献】

【0005】

【文献】特表２０１７－１６８６０２号公報

【文献】特開２０１７－０７５９５８号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

特許文献２に記載のようにマイクロ流路を流れる観察対象物体を動画撮像する場合には、マイクロ流路における観察対象物体の深さ方向（撮像センサの撮像面に直交する方向）に関する位置は一定でなく、ばらつきが生じる。このため、鮮明な再構成画像を得るためには、１撮像周期ごとに得られる原画像に基づいて合焦位置を探索する必要がある。原画像をリアルタイムに処理する場合には、少なくとも１撮像周期内に合焦位置の探索を終了する必要があるので、合焦位置の探索の高速化が求められる。

【0007】

本開示の技術は、合焦位置の探索を高速化することが可能な情報処理装置、その作動方法及び作動プログラムを提供することを目的とする。

【課題を解決するための手段】

【0008】

上記目的を達成するために、本開示の情報処理装置は、観察対象物体の干渉縞像を含む原画像を再構成する情報処理装置であって、少なくとも１つのプロセッサを備え、プロセッサは、原画像を取得する原画像取得処理と、原画像取得処理により取得された原画像に基づいて、再構成位置を初期位置から変更しながら再構成画像を生成する再構成処理と、再構成処理により再構成画像が生成されるたびに再構成画像の鮮鋭度を算出し、かつ算出した鮮鋭度が極大化される合焦位置を検出する合焦位置検出処理と、合焦位置検出処理により検出した合焦位置を記録する合焦位置記録処理と、合焦位置記録処理により記録した合焦位置に基づき、次の再構成処理における初期位置を決定する初期位置決定処理と、原画像取得処理、再構成処理、合焦位置検出処理、合焦位置記録処理、及び初期位置決定処理を１撮像周期ごとに実行する繰り返し処理とを実行する。

【0009】

プロセッサは、初期位置決定処理において、合焦位置記録処理により過去に記録された１以上の合焦位置のうち、直前の撮像周期で得られた合焦位置を初期位置として決定することが好ましい。

【0010】

プロセッサは、初期位置決定処理において、合焦位置記録処理により過去に記録された１以上の合焦位置の統計量に基づいて初期位置を決定することが好ましい。

【0011】

統計量は、最頻値、中央値、又は平均値であることが好ましい。

【0012】

プロセッサは、再構成処理において、初期位置から鮮鋭度が高くなる方向へ再構成位置を変更することが好ましい。

【0013】

プロセッサは、撮像周期が異なる２つの原画像又は２つの再構成画像の差分量を算出する差分処理と、差分処理により算出された差分量が一定値以下である場合に、繰り返し処理を停止する停止処理と、をさらに実行することが好ましい。

【0014】

プロセッサは、差分処理により算出された差分量が一定値以下である場合に、報知情報を出力する報知情報出力処理をさらに実行することが好ましい。

【0015】

プロセッサは、合焦位置検出処理により検出した合焦位置における再構成画像を最適再構成画像として出力する最適再構成画像出力処理を、繰り返し処理において実行することが好ましい。

【0016】

本開示の情報処理装置の作動方法は、観察対象物体の干渉縞像を含む原画像を再構成する情報処理装置の作動方法であって、原画像を取得する原画像取得処理と、原画像取得処理により取得された原画像に基づいて、再構成位置を初期位置から変更しながら再構成画像を生成する再構成処理と、再構成処理により再構成画像が生成されるたびに再構成画像の鮮鋭度を算出し、かつ算出した鮮鋭度が極大化される合焦位置を検出する合焦位置検出処理と、合焦位置検出処理により検出した合焦位置を記録する合焦位置記録処理と、合焦位置記録処理により記録した合焦位置に基づき、次の再構成処理における初期位置を決定する初期位置決定処理と、原画像取得処理、再構成処理、合焦位置検出処理、合焦位置記録処理、及び初期位置決定処理を１撮像周期ごとに実行する繰り返し処理とを実行する。

【0017】

本開示の作動プログラムは、観察対象物体の干渉縞像を含む原画像を再構成する処理をコンピュータに実行させる作動プログラムであって、原画像を取得する原画像取得処理と、原画像取得処理により取得された原画像に基づいて、再構成位置を初期位置から変更しながら再構成画像を生成する再構成処理と、再構成処理により再構成画像が生成されるたびに再構成画像の鮮鋭度を算出し、かつ算出した鮮鋭度が極大化される合焦位置を検出する合焦位置検出処理と、合焦位置検出処理により検出した合焦位置を記録する合焦位置記録処理と、合焦位置記録処理により記録した合焦位置に基づき、次の再構成処理における初期位置を決定する初期位置決定処理と、原画像取得処理、再構成処理、合焦位置検出処理、合焦位置記録処理、及び初期位置決定処理を１撮像周期ごとに実行する繰り返し処理とをコンピュータに実行させる。

【発明の効果】

【0018】

本開示の技術によれば、合焦位置の探索を高速化することが可能な情報処理装置、その作動方法及び作動プログラムを提供することができる。

【図面の簡単な説明】

【0019】

【図1】第１実施形態に係るデジタルホログラフィシステムの構成の一例を示す図である。

【図2】撮像装置の構成の一例を示す図である。

【図3】撮像センサの構成の一例を示す図である。

【図4】細胞により干渉縞像が生成される様子を示す図である。

【図5】回折光及び透過光が、互いに強め合う場合における波面を示す図である。

【図6】回折光及び透過光が、互いに弱め合う場合における波面を示す図である。

【図7】撮像センサから出力される原画像の一例を示す図である。

【図8】情報処理装置のハードウェア構成の一例を示すブロック図である。

【図9】情報処理装置の機能構成の一例を示すブロック図である。

【図10】撮像装置の撮像動作を説明する図である。

【図11】再構成画像生成部による再構成処理を説明する図である。

【図12】再構成位置の変更処理を説明する図である。

【図13】再構成位置の変更方向の決定処理を説明する図である。

【図14】繰り返し処理の流れの一例を示すフローチャートである。

【図15】再構成処理の流れの一例を示すフローチャートである。

【図16】合焦位置検出処理の流れの一例を示すフローチャートである。

【図17】合焦位置の探索処理を説明する図である。

【図18】初期位置決定処理の流れの一例を示すフローチャートである。

【図19】初期位置決定処理の一例を示す図である。

【図20】第２実施形態に係る情報処理装置の機能構成を示すブロック図である。

【図21】第２実施形態に係る繰り返し処理の流れを示すフローチャートである。

【図22】停止判定処理の一例を示すフローチャートである。

【発明を実施するための形態】

【0020】

添付図面に従って本開示の技術に係る実施形態の一例について説明する。

【0021】

［第１実施形態］
図１は、第１実施形態に係るデジタルホログラフィシステム２の構成を示す。デジタルホログラフィシステム２は、情報処理装置１０と撮像装置１１とで構成される。情報処理装置１０には、撮像装置１１が接続されている。

【0022】

情報処理装置１０は、例えば、デスクトップ型のパーソナルコンピュータである。情報処理装置１０には、ディスプレイ５、キーボード６、及びマウス７などが接続されている。キーボード６及びマウス７は、ユーザが情報を入力するための入力デバイス８を構成する。入力デバイス８には、タッチパネル等も含まれる。

【0023】

図２は、撮像装置１１の構成の一例を示す。撮像装置１１は、光源２０及び撮像センサ２２を有する。光源２０は、例えばレーザーダイオードである。光源２０は、発光ダイオードとピンホールとを組み合わせて構成されたものであってもよい。

【0024】

光源２０と撮像センサ２２との間には、マイクロ流路１３が配置される。マイクロ流路１３は、例えばシリコーン樹脂により形成された流路ユニットに形成されており、液体を流すことが可能な流路である。流路ユニットは、透光性を有しており、流路ユニットの外部からマイクロ流路１３内に光を照射することが可能である。マイクロ流路１３には、細胞１２等を含む溶液１４を導入するための開口部１３Ａと、マイクロ流路１３に導入された溶液１４を排出するための開口部１３Ｂが設けられている。

【0025】

溶液１４は、図示しないタンクからマイクロ流路１３の開口部１３Ａに導入され、マイクロ流路１３内を一定の速度で流れて開口部１３Ｂから排出される。光源２０、撮像センサ２２、及びマイクロ流路１３は、例えば、図示しないインキュベータ内に配置されている。撮像装置１１は、例えば、溶液１４に含まれる細胞１２を撮像対象として撮像を行う。細胞１２は、本開示の技術に係る「観察対象物体」の一例である。

【0026】

光源２０は、マイクロ流路１３に向けて照射光２３を照射する。照射光２３は、コヒーレントな光である。照射光２３は、マイクロ流路１３に入射し、マイクロ流路１３を透過した後、撮像センサ２２の撮像面２２Ａに入射する。なお、矢印で示すＺ方向は、照射光２３の照射方向である。マイクロ流路１３は、溶液１４の流れる方向が、Ｚ方向にほぼ直交するように配置されている。

【0027】

なお、マイクロ流路１３の形状、及び開口部１３Ａ，１３Ｂの数は、適宜変更可能である。また、光源２０と撮像センサ２２との間に配置されるマイクロ流路１３の数は１に限られず、２以上であってもよい。本実施形態では、光源２０と撮像センサ２２との間に１つのマイクロ流路１３が配置されているとする。

【0028】

撮像センサ２２は、例えば、モノクロのＣＭＯＳ（Complementary Metal Oxide Semiconductor）型イメージセンサにより構成されている。撮像センサ２２の撮像動作は、情報処理装置１０により制御される。撮像センサ２２は、撮像面２２Ａが、Ｚ方向に直交するように配置されている。なお、撮像面２２Ａと、マイクロ流路１３が形成された流路ユニットとの距離Ｌは、可能な限り小さいことが好ましい。また、撮像面２２Ａと流路ユニットとを接触させる（すなわち、Ｌ＝０とする）ことも好ましい。

【0029】

マイクロ流路１３内の溶液１４に照射光２３が入射し、細胞１２で照射光２３が回折されることにより、細胞１２の形状が反映された干渉縞像が生じる。干渉縞像は、ホログラム画像とも称される。

【0030】

図３は、撮像センサ２２の構成の一例を示す。撮像センサ２２は、撮像面２２Ａに配置された複数の画素２２Ｂを有する。画素２２Ｂは、入射光を光電変換することにより、入射光量に応じた画素信号を出力する光電変換素子である。

【0031】

画素２２Ｂは、Ｘ方向及びＹ方向に沿って等ピッチで配列されている。画素２２Ｂの配列は、いわゆる正方配列である。なお、Ｘ方向は、Ｚ方向に直交する方向である。Ｙ方向は、Ｘ方向及びＺ方向に直交する方向である。画素２２Ｂは、Ｘ方向に第１配列ピッチΔｘで配列されており、かつ、Ｙ方向に第２配列ピッチΔｙで配列されている。

【0032】

撮像センサ２２は、撮像面２２Ａに入射する光を撮像し、画素２２Ｂの各々から出力される画素信号により構成される画像データを出力する。以下では、単に、画像を出力するという。

【0033】

図４は、細胞１２により干渉縞像３３が生成される様子を示す。マイクロ流路１３に入射した照射光２３は、一部が細胞１２によって回折される。すなわち、照射光２３は、細胞１２によって回折される回折光３０と、細胞１２によって回折されず、マイクロ流路１３を透過する透過光３１とに分かれる。透過光３１は平面波である。回折光３０及び透過光３１は、マイクロ流路１３を透過して、撮像センサ２２の撮像面２２Ａに入射する。

【0034】

回折光３０と透過光３１とは、互いに干渉することにより、干渉縞像３３を生成する。干渉縞像３３は、明部３６及び暗部３８により構成される。図４では、干渉縞像３３は、明部３６及び暗部３８をそれぞれ円形として図示しているが、干渉縞像３３の形状は、細胞１２の形状及び内部構造に応じて変化する。撮像センサ２２は、撮像面２２Ａに形成された干渉縞像３３を含む光像を撮像し、干渉縞像３３を含む原画像ＯＰ（図７参照）を出力する。

【0035】

図５及び図６は、回折光３０及び透過光３１の波面を示す。図５は、回折光３０及び透過光３１が、互いに強め合う場合における波面を示す。図６は、回折光３０及び透過光３１が、互いに弱め合う場合における波面を示す。図５及び図６において、実線は回折光３０及び透過光３１の最大振幅の波面を示す。これに対して、破線は回折光３０及び透過光３１の最小振幅の波面を示す。

【0036】

図５において、撮像面２２Ａ上に示す白点３５は、回折光３０及び透過光３１の波面が揃って強め合う部分である。白点３５の部分は、干渉縞像３３の明部３６（図４参照）に対応する。図６において、撮像面２２Ａ上に示す黒点３７は、回折光３０及び透過光３１の波面が半波長分ずれて弱め合う部分である。黒点３７の部分は、干渉縞像３３の暗部３８（図４参照）に対応する。

【0037】

図７は、撮像センサ２２から出力される原画像ＯＰの一例を示す。図７に示す原画像ＯＰは、撮像センサ２２の撮像領域に含まれる１つの細胞１２（図４参照）により照射光２３が回折されることにより生じた１つの干渉縞像３３が含まれている。

【0038】

図８は、情報処理装置１０のハードウェア構成の一例を示す。図８に示すように、情報処理装置１０は、ＣＰＵ（Central Processing Unit）４０、記憶装置４１、及び通信部４２を備え、これらはバスライン４３を介して相互接続されている。また、バスライン４３には、前述のディスプレイ５及び入力デバイス８が接続されている。

【0039】

ＣＰＵ４０は、記憶装置４１に格納された作動プログラム４１Ａ及び各種データ（図示せず）を読み出して処理を実行することにより、各種機能を実現する演算装置である。ＣＰＵ４０は、本開示の技術に係るプロセッサの一例である。

【0040】

記憶装置４１は、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、又はストレージ装置等を含む。ＲＡＭは、例えば、ワークエリア等として用いられる揮発性メモリである。ＲＯＭは、例えば、作動プログラム４１Ａ及び各種データを保持するフラッシュメモリ等の不揮発性メモリである。ストレージ装置は、例えば、ＨＤＤ（Hard Disk Drive）又はＳＳＤ（Solid State Drive）である。ストレージは、ＯＳ（Operating System）、アプリケーションプログラム、画像データ、及び各種データ等を記憶する。

【0041】

通信部４２は、ＬＡＮ（Local Area Network）又はＷＡＮ（Wide Area Network）等のネットワークを介した各種情報の伝送制御を行うネットワークインターフェースである。情報処理装置１０は、通信部４２を介して撮像装置１１に接続される。ディスプレイ５は、各種画面を表示する。情報処理装置１０は、各種画面を通じて、入力デバイス８からの操作指示の入力を受け付ける。

【0042】

図９は、情報処理装置１０の機能構成の一例を示す。情報処理装置１０の機能は、作動プログラム４１Ａに基づいてＣＰＵ４０が処理を実行することにより実現される。図９に示すように、ＣＰＵ４０には、撮像制御部５０、画像処理部５１、繰り返し制御部５２、及び表示制御部５３が構成される。

【0043】

撮像制御部５０は、撮像装置１１の動作を制御する。具体的には、撮像制御部５０は、光源２０による照射光２３の発生動作、及び撮像センサ２２の撮像動作を制御する。以下、光源２０による照射光２３の発生動作と、撮像センサ２２の撮像動作とを合わせて、撮像装置１１の撮像動作という。撮像制御部５０は、入力デバイス８から入力される操作信号に基づいて、撮像装置１１に撮像動作を実行させる。

【0044】

撮像制御部５０は、１撮像周期ごとに周期的に撮像を行うように撮像装置１１を駆動する。すなわち、撮像装置１１は、動画撮像を行う。図１０に示すように、撮像装置１１は、１撮像周期ごとに撮像動作を行い、原画像ＯＰを出力する。

【0045】

画像処理部５１は、撮像装置１１から出力される原画像ＯＰ（図７参照）に基づいて再構成処理及び合焦位置検出処理等を行い、観察対象物体である細胞１２にフォーカスが合った最適再構成画像を出力する。

【0046】

繰り返し制御部５２は、撮像装置１１の撮像周期に同期して、画像処理部５１に、再構成処理及び合焦位置検出処理等を繰り返し実行させる。画像処理部５１は、１撮像周期ごとに、最適再構成画像を出力する。

【0047】

表示制御部５３は、画像処理部５１から１撮像周期ごとに出力される最適再構成画像を、ディスプレイ５に表示させる。これにより、ディスプレイ５には、最適再構成画像がリアルタイムに表示される。

【0048】

撮像制御部５０は、入力デバイス８から撮像開始信号が入力されたことに応じて、撮像装置１１に撮像動作を開始させ、入力デバイス８から撮像停止信号が入力されたことに応じて、撮像装置１１の撮像動作を停止させる。繰り返し制御部５２は、撮像装置１１が撮像動作を開始することに応じて画像処理部５１に動作を開始させ、撮像動作が停止することに応じて画像処理部５１の動作を停止させる。

【0049】

画像処理部５１は、原画像取得部６０、再構成画像生成部６１、合焦位置検出部６２、合焦位置記録部６３、初期位置決定部６４、及び最適再構成画像出力部６５を有する。

【0050】

原画像取得部６０は、１撮像周期ごとに、撮像装置１１がマイクロ流路１３を撮像した結果出力される原画像ＯＰ（図１０参照）を取得する。原画像取得部６０は、取得した原画像ＯＰを記憶装置４１に記憶させる。

【0051】

再構成画像生成部６１は、再構成位置を変更しながら原画像ＯＰを再構成して、各再構成位置において再構成画像ＲＰを生成する。具体的には、図１１に示すように、再構成画像生成部６１は、再構成位置Ｐを一定値ずつ変更しながら、再構成位置Ｐを変更するたびに再構成画像ＲＰを生成する。再構成位置Ｐは、撮像センサ２２の撮像面２２Ａから光源２０の方向への距離ｄにより表される位置（いわゆる深さ位置）である。

【0052】

再構成画像生成部６１は、例えば、下式（１）～（３）で表されるフレネル変換式に基づいて再構成処理を行う。

【0053】

【数1】

【0054】

【数2】

【0055】

【数3】

【0056】

ここで、Ｉ（ｘ，ｙ）は、原画像ＯＰを表す。ｘは、撮像センサ２２の画素２２Ｂ（図３参照）のＸ方向に関する座標を表す。ｙは、画素２２ＢのＹ方向に関する座標を表す。Δｘは、前述の第１配列ピッチであり、Δｙは、前述の第２配列ピッチである（図３参照）。λは、照射光２３の波長である。

【0057】

式（１）に示すように、Γ（ｍ，ｎ）は、原画像ＯＰがフレネル変換された複素振幅画像である。ここで、ｍ＝１，２，３，・・・Ｎｘ－１、及びｎ＝１，２，３，・・・Ｎｙ－１である。Ｎｘは、撮像面２２ＡにおけるＸ方向への画素２２Ｂの配列数を表している。Ｎｙは、撮像面２２ＡにおけるＹ方向への画素２２Ｂの配列数を表している。

【0058】

式（２）に示すように、Ａ_０（ｍ，ｎ）は、複素振幅画像Γ（ｍ，ｎ）の強度成分を表す強度分布画像である。式（３）に示すように、φ_０（ｍ，ｎ）は、複素振幅画像Γ（ｍ，ｎ）の位相成分を表す位相分布画像である。

【0059】

再構成画像生成部６１は、式（１）に原画像ＯＰを適用することにより複素振幅画像Γ（ｍ，ｎ）を求め、求めた複素振幅画像Γ（ｍ，ｎ）を、式（２）又は式（３）に適用することにより、強度分布画像Ａ_０（ｍ，ｎ）又は位相分布画像φ_０（ｍ，ｎ）を求める。再構成画像生成部６１は、強度分布画像Ａ_０（ｍ，ｎ）と位相分布画像φ_０（ｍ，ｎ）とのうちのいずれか１つを求めて、再構成画像ＲＰとして出力し、記憶装置４１に記憶させる。

【0060】

本実施形態では、再構成画像生成部６１は、位相分布画像φ_０（ｍ，ｎ）を再構成画像ＲＰとして出力する。位相分布画像φ_０（ｍ，ｎ）は、観察対象物体の屈折率分布を表す画像である。本実施形態での観察対象物体である細胞１２は、半透明であるので、照射光２３の大部分は、細胞１２により吸収されずに、透過するか、又は回折されるので、強度分布には像がほとんど現れない。このため、本実施形態では、再構成画像ＲＰとして位相分布画像φ_０（ｍ，ｎ）を用いることが好ましい。

【0061】

照射光２３の波長λは、例えば、撮像装置１１から供給される撮像条件１１Ａに含まれる。再構成画像生成部６１は、撮像条件１１Ａに含まれる波長λの値を用いて、式（１）の演算を行う。また、再構成画像生成部６１は、再構成位置Ｐに対応する距離ｄを一定値ずつ変更しながら式（１）の演算を行うことにより複素振幅画像Γ（ｍ，ｎ）を求め、求めた複素振幅画像Γ（ｍ，ｎ）を、式（２）又は式（３）に適用する。

【0062】

また、再構成画像生成部６１は、後述する初期位置決定部６４から供給される初期位置Ｐｉから再構成位置Ｐの変更を開始する。再構成画像生成部６１は、例えば、図１２に示すように、初期位置Ｐｉから矢印Ｄで示す方向（以下、変更方向Ｄという。）に、再構成位置Ｐを一定値ΔＰずつ変更しながら再構成画像ＲＰの生成を繰り返す。なお、図１２に示すＰ１及びＰ２は、Ｚ方向に関して、観察対象物体である細胞１２が存在し得る範囲の下限及び上限にそれぞれ対応する。再構成画像生成部６１は、下限位置Ｐ１から上限位置Ｐ２の範囲内で、再構成位置Ｐを変更する。再構成位置Ｐの変更は、式（１）の距離ｄを変更することに対応する。

【0063】

また、再構成画像生成部６１は、再構成位置Ｐの初期位置Ｐｉからの変更方向Ｄを、後述する合焦位置検出部６２により算出される再構成画像ＲＰの鮮鋭度に基づいて決定する。例えば、再構成画像生成部６１は、初期位置Ｐｉから鮮鋭度が高くなる方向を、変更方向Ｄとする。再構成画像生成部６１は、例えば、図１３に示すように、初期位置Ｐｉから上限位置Ｐ２の方向へ一定値ΔＰだけずらした位置（Ｐｉ＋ΔＰ）における鮮鋭度を合焦位置検出部６２から取得する。再構成画像生成部６１は、位置（Ｐｉ＋ΔＰ）の鮮鋭度が、初期位置Ｐｉの鮮鋭度より高くなった場合には、初期位置Ｐｉから上限位置Ｐ２へ向かう方向を、変更方向Ｄとする。再構成画像生成部６１は、逆に、位置（Ｐｉ＋ΔＰ）の鮮鋭度が、初期位置Ｐｉの鮮鋭度より低くなった場合には、初期位置Ｐｉから下限位置Ｐ１へ向かう方向を、変更方向Ｄとする。

【0064】

なお、再構成画像生成部６１は、フレネル変換式を用いる方法に限られず、フーリエ反復位相回復法等により再構成処理を行ってもよい。

【0065】

図９に戻り、合焦位置検出部６２は、再構成画像生成部６１から出力されて記憶装置４１に記憶される各再構成画像ＲＰの鮮鋭度を求め、鮮鋭度が極大化される再構成位置Ｐ（以下、合焦位置Ｐｍ）を探索する。合焦位置検出部６２は、１撮像周期ごとに、合焦位置Ｐｍを検出して合焦位置記録部６３に入力する。

【0066】

合焦位置検出部６２は、例えば、再構成画像ＲＰのコントラスト値を鮮鋭度として算出する。なお、合焦位置検出部６２は、再構成画像ＲＰにおける細胞１２の像の広がりを断面プロファイル等で評価した値を鮮鋭度としてもよい。また、合焦位置検出部６２は、フーリエ解析等によって周波数解析を行うことにより鮮鋭度を求めてもよい。

【0067】

合焦位置記録部６３は、１撮像周期ごとに合焦位置検出部６２から入力される合焦位置Ｐｍを、記憶装置４１に順次記録する合焦位置記録処理を行う。

【0068】

初期位置決定部６４は、合焦位置記録部６３により１撮像周期ごとに合焦位置Ｐｍが記録されるたびに、記憶装置４１に記録されている過去の１以上の合焦位置Ｐｍに基づき、再構成画像生成部６１が次の撮像周期で再構成処理に用いるための初期位置Ｐｉを決定する。初期位置決定部６４は、例えば、複数の合焦位置Ｐｍの統計量（例えば、最頻値、中央値、又は平均値）に基づいて初期位置Ｐｉを決定する。初期位置決定部６４は、決定した初期位置Ｐｉを、再構成画像生成部６１に入力する。

【0069】

最適再構成画像出力部６５は、合焦位置記録部６３により１撮像周期ごとに合焦位置Ｐｍが記録されるたびに、合焦位置Ｐｍに対応する再構成画像ＲＰを記憶装置４１から取得する。また、最適再構成画像出力部６５は、取得した再構成画像ＲＰを最適再構成画像として表示制御部５３に出力する最適再構成画像出力処理を行う。

【0070】

図１４は、繰り返し制御部５２による繰り返し処理の流れの一例を示す。撮像装置１１による撮像動作（図１０参照）が開始されると、原画像取得部６０は、第１番目の撮像周期に対応する原画像ＯＰを取得する（ステップＳ１０）。原画像取得部６０が取得した原画像ＯＰは、記憶装置４１に記憶される。

【0071】

次に、再構成画像生成部６１は、記憶装置４１から原画像ＯＰを読み込み、再構成位置Ｐを初期位置Ｐｉに設定したうえで前述の再構成処理を行うことにより、再構成画像ＲＰを生成する（ステップＳ２０）。再構成画像生成部６１により生成された再構成画像ＲＰは、記憶装置４１に記憶される。

【0072】

次に、合焦位置検出部６２は、記憶装置４１から再構成画像ＲＰを読み込み、当該再構成画像ＲＰの鮮鋭度を算出し、算出した鮮鋭度に基づき、合焦位置Ｐｍを検出する（ステップＳ３０）。なお、合焦位置Ｐｍは、鮮鋭度が極大化される再構成位置Ｐであるので、合焦位置Ｐｍの検出には、少なくとも３枚の再構成画像ＲＰについて鮮鋭度を算出する必要がある。このためには、ステップＳ３０が少なくとも３回繰り返される必要がある。

【0073】

繰り返し制御部５２は、合焦位置検出部６２により合焦位置Ｐｍが検出されたか否かを判定する（ステップＳ４０）。繰り返し制御部５２は、合焦位置Ｐｍが検出されなかったと判定した場合には（ステップＳ４０：ＮＯ）、処理をステップＳ２０に戻す。ステップＳ２０及びステップＳ３０の各処理は、ステップＳ４０において判定が肯定されるまでの間、繰り返し実行される。

【0074】

繰り返し制御部５２は、合焦位置検出部６２により合焦位置Ｐｍが検出された場合には（ステップＳ４０：ＹＥＳ）、処理をステップＳ５０に移行させる。ステップＳ５０では、合焦位置記録部６３は、合焦位置検出部６２により検出された合焦位置Ｐｍを、記憶装置４１に記録する。

【0075】

次に、初期位置決定部６４は、過去に記憶装置４１に記録された１以上の合焦位置Ｐｍに基づき、次の撮像周期における再構成処理（ステップＳ２０）で用いる初期位置Ｐｉを決定する（ステップＳ６０）。初期位置決定部６４により決定された初期位置Ｐｉは、再構成画像生成部６１に供給される。

【0076】

最適再構成画像出力部６５は、今回の撮像周期で記憶装置４１に記録された合焦位置Ｐｍに対応する再構成画像ＲＰを記憶装置４１から取得し、取得した再構成画像ＲＰを最適再構成画像として表示制御部５３に出力する（ステップＳ７０）。表示制御部５３は、最適再構成画像出力部６５から入力された最適再構成画像をディスプレイ５に表示させる（ステップＳ８０）。

【0077】

次に、繰り返し制御部５２は、入力デバイス８から撮像停止信号が入力されたか否かを判定する（ステップＳ９０）。繰り返し制御部５２は、撮像停止信号が入力されなかったと判定した場合には（ステップＳ９０：ＮＯ）、撮像周期の番号を表すパラメータＮ（図１０参照）をインクリメントして（ステップＳ１００）、処理をステップＳ１０に戻す。ステップＳ１０では、原画像取得部６０は、第２番目の撮像周期に対応する原画像ＯＰを取得する。ステップＳ１０からステップＳ１００までの各処理は、ステップＳ９０において判定が肯定されるまでの間、１撮像周期ごとに繰り返し実行される。

【0078】

繰り返し制御部５２は、入力デバイス８から撮像停止信号が入力されたと判定した場合には（ステップＳ９０：ＹＥＳ）、一連の繰り返し処理を終了させる。

【0079】

以下において、再構成処理（ステップＳ２０）、合焦位置検出処理（ステップＳ３０）、及び初期位置決定処理（ステップＳ６０）を詳細に説明する。

【0080】

図１５は、再構成画像生成部６１による再構成処理の流れの一例を示す。まず、再構成画像生成部６１は、原画像取得部６０による原画像取得処理で取得されて記憶装置４１に記憶された原画像ＯＰを読み込む（ステップＳ２１）。次に、再構成画像生成部６１は、初期位置決定部６４により決定された初期位置Ｐｉを取得する（ステップＳ２２）。

【0081】

次に、再構成画像生成部６１は、取得した初期位置Ｐｉを、再構成位置Ｐとして設定する（ステップＳ２３）。なお、初期位置決定部６４による初期位置Ｐｉの決定には、少なくとも１回の再構成処理が終了することが必要であるので、第一回目の再構成処理では、初期位置決定部６４から初期位置Ｐｉが得られない。このため、再構成画像生成部６１は、第一回目の再構成処理では、例えば、初期位置Ｐｉを、下限位置Ｐ１と上限位置Ｐ２との間の中央に位置する中央位置に設定する（図１２参照）。また、再構成画像生成部６１は、第一回目の再構成処理において、初期位置Ｐｉを下限位置Ｐ１又は上限位置Ｐ２に設定してもよい。

【0082】

次に、再構成画像生成部６１は、式（１）及び式（３）を用い、原画像ＯＰに基づいて演算を行うことにより、図１１に示すように、再構成位置Ｐにおける再構成画像ＲＰを生成する（ステップＳ２４）。このとき、再構成画像生成部６１は、撮像装置１１から供給される撮像条件１１Ａに含まれる波長λの値を用いて演算を行う。前述のように、本実施形態では、再構成画像ＲＰは、位相分布画像φ_０（ｍ，ｎ）である。

【0083】

再構成画像生成部６１は、生成した再構成画像ＲＰを出力して記憶装置４１に記憶させる（ステップＳ２５）。記憶装置４１に記憶された再構成画像ＲＰは、合焦位置検出部６２による合焦位置検出処理で用いられる。

【0084】

次に、再構成画像生成部６１は、再構成位置Ｐを、変更方向Ｄへ一定値ΔＰ（図１２参照）だけ変更する（ステップＳ２６）。なお、第一回目の再構成処理では、再構成画像生成部６１は、例えば、初期位置Ｐｉから上限位置Ｐ２へ向かう方向を変更方向Ｄとして再構成位置Ｐを変更する。そして、第二回目の再構成処理では、再構成画像生成部６１は、第一回目の再構成処理で得られた再構成画像ＲＰの鮮鋭度と、第二回目の再構成処理で得られた再構成画像ＲＰの鮮鋭度とを比較し、鮮鋭度が高くなる方向を変更方向Ｄとして再構成位置Ｐを変更する（図１３参照）。以上で、一回の再構成処理が終了する。

【0085】

図１６は、合焦位置検出部６２による合焦位置検出処理の流れの一例を示す。まず、合焦位置検出部６２は、再構成画像生成部６１から出力されて記憶装置４１に記憶された１つの再構成画像ＲＰを取得する（ステップＳ３１）。合焦位置検出部６２は、取得した再構成画像ＲＰの鮮鋭度を算出する（ステップＳ３２）。

【0086】

次に、合焦位置検出部６２は、算出した鮮鋭度が極大に達したか否かを判定する（ステップＳ３３）。合焦位置検出部６２は、鮮鋭度が極大に達していないと判定した場合には（ステップＳ３３：ＮＯ）、処理を終了する。

【0087】

合焦位置検出部６２は、算出した鮮鋭度が極大に達したと判定した場合には（ステップＳ３３：ＹＥＳ）、鮮鋭度が極大化された再構成位置Ｐを合焦位置Ｐｍとして検出し、検出した合焦位置Ｐｍを合焦位置記録部６３へ出力する（ステップＳ３４）。以上で、一回の合焦位置検出処理が終了する。

【0088】

図１７は、合焦位置Ｐｍの探索処理の一例を示す。図１７に示すように、合焦位置検出部６２は、例えば、いわゆる山登り方式による鮮鋭度のピーク判定を行う。合焦位置検出部６２は、鮮鋭度を算出するたびに、算出した鮮鋭度を再構成位置Ｐと関連付けてプロットする。鮮鋭度は、再構成位置Ｐが合焦位置Ｐｍに近づくに連れて増大し、合焦位置Ｐｍを過ぎると減少する。合焦位置検出部６２は、鮮鋭度が増大から減少に転じたことを検出した場合に、１つ前の再構成位置Ｐを合焦位置Ｐｍとして検出する。合焦位置Ｐｍは、観察対象物体である細胞１２の深さ位置に対応する。

【0089】

図１８は、初期位置決定部６４による初期位置決定処理の流れの一例を示す。まず、初期位置決定部６４は、合焦位置記録部６３により、過去に記憶装置４１に記録された１以上の合焦位置Ｐｍを取得する（ステップＳ６１）。初期位置決定部６４は、例えば、撮像装置１１による撮像動作が開始されてから現時点の撮像周期までの間に記憶装置４１に記録された１以上の合焦位置Ｐｍを取得する。

【0090】

次に、初期位置決定部６４は、取得した１以上の合焦位置Ｐｍの統計量を算出する（ステップＳ６２）。初期位置決定部６４は、例えば、図１９に示すように、取得した１以上の合焦位置Ｐｍに基づいてヒストグラムを作成することにより、合焦位置Ｐｍの最頻値を算出する。なお、初期位置決定部６４は、最頻値に限られず、中央値又は平均値などを算出してもよい。

【0091】

そして、初期位置決定部６４は、算出した統計量を初期位置Ｐｉとして決定し（ステップＳ６３）、決定した初期位置Ｐｉを再構成画像生成部６１へ出力する（ステップＳ６４）。以上で、一回の初期位置決定処理が終了する。

【0092】

なお、初期位置決定部６４は、合焦位置Ｐｍの統計量を算出せずに、合焦位置検出部６２により直前の撮像周期で得られた合焦位置Ｐｍを初期位置Ｐｉとして決定してもよい。

【0093】

以上のように、本開示の技術によれば、再構成処理を開始する再構成位置Ｐの初期位置Ｐｉを、過去の合焦位置Ｐｍに基づいて決定するので、合焦位置Ｐｍの探索を高速化することができる。

【0094】

マイクロ流路１３内を流れる細胞１２の深さ方向に関する位置は一定でなく、ばらつきが生じるが、過去の合焦位置Ｐｍに基づいて初期位置Ｐｉが決定されることにより、再構成処理及び合焦位置検出処理の回数が低減される。これにより、合焦位置Ｐｍの探索が高速化する。合焦位置Ｐｍの探索が高速化することにより、観察対象物体としての細胞１２が鮮明に映った最適再構成画像をリアルタイムにディスプレイ５に表示させることができる。

【0095】

［第２実施形態］
次に、本開示の技術の第２実施形態について説明する。図２０は、第２実施形態に係る情報処理装置１０Ａの機能構成を示す。第２実施形態に係る情報処理装置１０Ａには、第１実施形態に係る情報処理装置１０の機能構成に加えて、停止判定部６６及び報知情報出力部５４が構成されている。停止判定部６６は、画像処理部５１に含まれる。

【0096】

本実施形態では、繰り返し制御部５２は、停止判定部６６から入力される停止指示６６Ａが入力された場合に、画像処理部５１の繰り返し処理を停止する停止処理を行う。また、繰り返し制御部５２は、停止指示６６Ａの入力が解除された場合に、画像処理部５１の繰り返し処理を再開させる。

【0097】

停止判定部６６は、撮像周期が異なる２つの原画像ＯＰの差分量を算出し、算出した差分量が一定値以下である場合に、停止指示６６Ａを繰り返し制御部５２へ出力する。２つの原画像ＯＰの差分量が一定値以下であることは、原画像ＯＰ内に観察対象物体としての細胞１２が映っていないことに対応する。すなわち、停止判定部６６は、物体検出器としても機能する。また、マイクロ流路１３内の溶液１４の流れが停止した場合には、各撮像周期で得られる原画像ＯＰの変化が減少し、差分量が一定値以下となる。このように、停止判定部６６は、マイクロ流路１３内の溶液１４の流れを検出する流れ検出器としても機能する。

【0098】

報知情報出力部５４は、停止判定部６６により算出された差分量が一定値以下である場合に、報知情報５４Ａを表示制御部５３に出力する報知情報出力処理を行う。表示制御部５３は、報知情報出力部５４から入力された報知情報５４Ａをディスプレイ５に表示させる。報知情報５４Ａは、例えば、細胞１２が検出されていないことをユーザに報知する情報である。報知情報５４Ａは、溶液１４の流れが停止していることをユーザに報知する情報であってもよい。

【0099】

なお、報知情報出力部５４は、報知情報５４Ａをスピーカ（図示せず）に出力することにより、細胞１２の検出の有無等を、音声によってユーザに報知してもよい。

【0100】

図２１は、第２実施形態に係る繰り返し制御部５２による繰り返し処理の流れを示す。本実施形態の繰り返し処理は、ステップＳ１０とステップＳ２０との間に、ステップＳ１１０及びステップＳ１２０が追加されている点のみが、図１４に示す第１実施形態の繰り返し処理と異なる。

【0101】

本実施形態では、ステップＳ１０において原画像取得部６０により原画像ＯＰが取得されて記憶装置４１に記憶された後、停止判定部６６により前述の判定処理が行われる（ステップＳ１１０）。停止判定部６６は、前述の停止条件を満たした場合に、停止指示６６Ａを出力する。

【0102】

次に、繰り返し制御部５２は、停止判定部６６から停止指示６６Ａを受信したか否かを判定する（ステップＳ１２０）。繰り返し制御部５２は、停止指示６６Ａを受信しなかったと判定した場合には（ステップＳ１２０：ＮＯ）、処理をステップＳ２０に移行させる。ステップＳ２０以降の処理は、第１実施形態と同様である。

【0103】

一方、繰り返し制御部５２は、停止指示６６Ａを受信したと判定した場合には（ステップＳ１２０：ＹＥＳ）、処理をステップＳ９０に移行させる。ステップＳ９０以降の処理は、第１実施形態と同様である。

【0104】

このように、本実施形態の繰り返し処理では、停止判定部６６から停止指示６６Ａが出力された場合に、ステップＳ２０からステップＳ３０に含まれる再構成処理及び合焦位置検出処理等の処理がスキップされる。すなわち、再構成処理及び合焦位置検出処理等の処理は、細胞１２が検出されている場合にのみ実行される。

【0105】

図２２は、停止判定部６６による停止判定処理の一例を示す。まず、停止判定部６６は、記憶装置４１から直近の２撮像周期で得られた２つの原画像ＯＰを取得する（ステップＳ１１１）。次に、停止判定部６６は、取得した２つの原画像ＯＰのうちの一方から他方を減算することにより、差分量を算出する差分処理を行う（ステップＳ１１２）。

【0106】

そして、停止判定部６６は、算出した差分量が一定値以下であるか否かを判定する（ステップＳ１１３）。停止判定部６６は、差分量が一定値以下でない場合には（ステップＳ１１３：ＮＯ）、処理を終了する。停止判定部６６は、差分量が一定値以下である場合には（ステップＳ１１３：ＹＥＳ）、停止指示６６Ａを出力して（ステップＳ１１４）、処理を終了する。

【0107】

以上のように、第２実施形態によれば、細胞１２が検出されている場合にのみ再構成処理及び合焦位置検出処理等の処理が実行されるので、ＣＰＵ４０の演算負荷及び記憶装置４１が記憶するデータ量を低減することができる。また、第２実施形態では、細胞１２が検出されていない場合に、報知情報５４Ａが報知されるので、ユーザは、細胞１２が検出されていないことを容易に把握することができる。

【0108】

なお、第２実施形態では、停止判定部６６は、撮像周期が異なる２つの原画像ＯＰの差分量を算出しているが、これに限られず、停止判定部６６は、撮像周期が異なる２つの再構成画像ＲＰの差分量を算出してもよい。また、停止判定部６６は、撮像周期が異なる２つの最適再構成画像の差分量を算出してもよい。

【0109】

また、第２実施形態では、停止判定部６６は、差分量が一定値以下であると判定した場合に停止指示６６Ａを出力しているが、差分量が一定値以下となった撮像周期が一定回数繰り返された場合に停止指示６６Ａを出力してもよい。

【0110】

また、第２実施形態では、報知情報出力部５４は、細胞１２が検出されていないことを報知情報５４Ａとして出力しているが、これとは逆に、細胞１２が検出されていることを報知情報５４Ａとして出力してもよい。

【0111】

また、第２実施形態では、停止判定部６６は、２つの画像の差分量を算出することにより、細胞１２の有無を検出しているが、画像解析、又は機械学習等の手法を用いた画像認識処理により細胞１２の有無を検出してもよい。この場合において、報知情報出力部５４は、細胞１２の画像、細胞１２の個数、マイクロ流路１３を流れる細胞１２の速度等を報知情報５４Ａとして出力してもよい。

【0112】

また、観察対象物体は、細胞には限られず、死細胞、又はゴミ等の物体であってもよい。報知情報出力部５４は、画像解析又は画像認識により検出された観察対象物体の形状等から、観察対象物体の種類を判定し、観察対象物体の種類を報知情報５４Ａとして出力してもよい。

【0113】

また、第２実施形態では、撮像装置１１は、１つのマイクロ流路１３を撮像しているが、複数のマイクロ流路１３を同時に撮像してもよい。この場合、再構成処理及び合焦位置検出処理等の処理を、細胞１２が検出されているマイクロ流路１３に対してのみ実行することが好ましい。

【0114】

［変形例］
以下に、各種変形例について説明する。上記各実施形態では、式（３）により求まる位相分布画像φ_０（ｍ，ｎ）を再構成画像ＲＰとしているが、これに限られず、式（２）により求まる強度分布画像Ａ_０（ｍ，ｎ）を再構成画像ＲＰとしてもよい。観察対象物体が細胞集団（いわゆるコロニー）等の厚みを有るものである場合に、強度分布に像が現れるため、強度分布画像Ａ_０（ｍ，ｎ）を再構成画像ＲＰとすることが好ましい。

【0115】

また、位相分布画像φ_０（ｍ，ｎ）と強度分布画像Ａ_０（ｍ，ｎ）とのうち、いずれを再構成画像ＲＰとして用いるかを、入力デバイス８によりユーザが選択可能としてもよい。これにより、ユーザは、観察対象物体に応じて最適な再構成画像ＲＰを選択することができる。

【0116】

上記各実施形態に係るデジタルホログラフィシステム２は、撮像装置１１に光学レンズを備えない、いわゆるレンズフリーイメージングと呼ばれる技術に関する。本開示の技術は、レンズフリーイメージングに限定されず、デジタルホログラフィ全般（例えば、参照光を用いる場合など）に適用可能である。

【0117】

情報処理装置１０，１０Ａを構成するコンピュータのハードウェア構成は種々の変形が可能である。例えば、情報処理装置１０を、処理能力及び信頼性の向上を目的として、ハードウェアとして分離された複数台のコンピュータで構成することも可能である。

【0118】

このように、情報処理装置１０，１０Ａのコンピュータのハードウェア構成は、処理能力、安全性、信頼性等の要求される性能に応じて適宜変更することができる。さらに、ハードウェアに限らず、作動プログラム４１Ａ等のアプリケーションプログラムについても、安全性及び信頼性の確保を目的として、二重化すること、あるいは、複数のストレージデバイスに分散して格納することも可能である。

【0119】

上記各実施形態において、例えば、撮像制御部５０、画像処理部５１、繰り返し制御部５２、表示制御部５３、及び報知情報出力部５４といった各種の処理を実行する処理部（Processing Unit）のハードウェア的な構造としては、次に示す各種のプロセッサ（Processor）を用いることができる。各種のプロセッサには、上述したように、ソフトウェア（作動プログラム４１Ａ）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ４０に加えて、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device: PLD）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。

【0120】

１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ、及び／又は、ＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。

【0121】

複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアント及びサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip: SoC）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。

【0122】

さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（circuitry）を用いることができる。

【0123】

また、上記実施形態及び各変形例は、矛盾が生じない範囲で適宜組み合わせ可能である。

【0124】

本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

【符号の説明】

【0125】

２ デジタルホログラフィシステム
５ ディスプレイ
６ キーボード
７ マウス
８ 入力デバイス
１０，１０Ａ 情報処理装置
１１ 撮像装置
１１Ａ 撮像条件
１２ 細胞
１３ マイクロ流路
１３Ａ，１３Ｂ 開口部
１４ 溶液
２０ 光源
２２ 撮像センサ
２２Ａ 撮像面
２２Ｂ 画素
２３ 照射光
３０ 回折光
３１ 透過光
３３ 干渉縞像
３５ 白点
３６ 明部
３７ 黒点
３８ 暗部
４０ ＣＰＵ
４１ 記憶装置
４１Ａ 作動プログラム
４２ 通信部
４３ バスライン
５０ 撮像制御部
５１ 画像処理部
５２ 繰り返し制御部
５３ 表示制御部
５４ 報知情報出力部
５４Ａ 報知情報
６０ 原画像取得部
６１ 再構成画像生成部
６２ 合焦位置検出部
６３ 合焦位置記録部
６４ 初期位置決定部
６５ 最適再構成画像出力部
６６ 停止判定部
６６Ａ 停止指示
Ｄ 変更方向
Ｌ 距離
ＯＰ 原画像
Ｐ１ 下限位置
Ｐ２ 上限位置
Ｐ 再構成位置
Ｐｉ 初期位置
Ｐｍ 合焦位置
ＲＰ 再構成画像
ｄ 距離

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】