特許 7575972 撮像方法、位置ずれ量算出方法、プログラムおよび記録媒体ならびに撮像装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-22

(45)【発行日】2024-10-30

(54)【発明の名称】撮像方法、位置ずれ量算出方法、プログラムおよび記録媒体ならびに撮像装置

(51)【国際特許分類】

   G06T 1/00 20060101AFI20241023BHJP

【ＦＩ】

G06T1/00 500A

【請求項の数】 10

(21)【出願番号】P 2021038058

(22)【出願日】2021-03-10

(65)【公開番号】P2022138269

(43)【公開日】2022-09-26

【審査請求日】2023-12-18

(73)【特許権者】

【識別番号】000207551

【氏名又は名称】株式会社ＳＣＲＥＥＮホールディングス

(74)【代理人】

【識別番号】100105935

【弁理士】

【氏名又は名称】振角 正一

(74)【代理人】

【識別番号】100136836

【弁理士】

【氏名又は名称】大西 一正

(72)【発明者】

【氏名】安田 拓矢

【審査官】山田 辰美

(56)【参考文献】

【文献】特開２０１７－０６８３０２（ＪＰ，Ａ）

【文献】特開平１１－１１２７９０（ＪＰ，Ａ）

【文献】特開２０１３－０６８７０６（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１３／００７０９７０（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １／００

(57)【特許請求の範囲】

【請求項1】

撮像対象物を複数の撮像視野に分割して撮像する撮像方法において、
前記撮像対象物を、前記撮像視野を互いに異ならせ、かつ隣り合う前記撮像視野同士を部分的に重複させながら撮像して、複数の原画像を取得する工程と、
一の前記原画像が取得されるごとに、当該原画像に対応する画像データをメモリに記憶させる工程と、
前記複数の原画像の間の位置ずれ量を算出する工程と
を備え、
前記原画像の各々について、前記撮像視野が当該原画像と重複し前記位置ずれ量の算出対象となる他の前記原画像である算出対象画像の数を示す対象画像数を、撮像時の前記撮像視野間の位置関係に基づいて予め設定しておき、
新たに前記原画像が取得されると、当該原画像と、前記メモリに前記画像データが記憶されている取得済みの前記算出対象画像との間の位置ずれ量を、互いの重複部分の画像内容に基づき算出し、
前記メモリに前記画像データが記憶されている前記原画像のうち、当該原画像との間で前記位置ずれ量の算出が行われた前記算出対象画像の数が前記対象画像数に達したものについては、当該原画像に対応する前記画像データを前記メモリから解放する、撮像方法。

【請求項2】

前記原画像の各々について、当該原画像との間で前記位置ずれ量の算出が行われた前記算出対象画像の数を計数しておき、該計数結果と前記対象画像数とを比較して前記メモリからの前記画像データの解放を実行するか否かを判断する、請求項１に記載の撮像方法。

【請求項3】

前記位置ずれ量に基づき、前記複数の原画像を合成する工程をさらに備える、請求項１または２に記載の撮像方法。

【請求項4】

前記原画像を撮像する撮像部と前記撮像対象物とを相対移動させながら複数回撮像を行うことで、前記複数の原画像を取得する、請求項１ないし３のいずれかに記載の撮像方法。

【請求項5】

前記撮像対象物に対し前記撮像部を所定の主走査方向に相対移動させながら所定回数の撮像を実行する走査撮像動作を、前記主走査方向と交わる副走査方向に位置を異ならせて複数回実行し、
１回の前記走査撮像動作により取得され前記メモリに前記画像データが記憶された前記原画像の数が、前記所定回数と一致したときに、前記メモリからの前記画像データの解放を実行する、請求項４に記載の撮像方法。

【請求項6】

１回の前記走査撮像動作により取得され前記メモリに前記画像データが記憶された前記原画像の数が前記所定回数と一致しないときには、前記副走査方向の同じ位置で前記走査撮像動作を再実行する、請求項５に記載の撮像方法。

【請求項7】

撮像対象物を複数の撮像視野に分割し、かつ隣り合う前記撮像視野同士を部分的に重複させて撮像された複数の原画像間の位置ずれ量を算出する位置ずれ算出方法であって、
前記原画像に対応する画像データを取得しメモリに記憶させる工程と、
前記複数の原画像の間の位置ずれ量を算出する工程と
を備え、
前記原画像の各々について、前記撮像視野が当該原画像と重複し前記位置ずれ量の算出対象となる他の前記原画像である算出対象画像の数を示す対象画像数を、撮像時の前記撮像視野間の位置関係に基づいて予め設定しておき、
一の前記原画像と、前記メモリに前記画像データが記憶されている取得済みの前記算出対象画像との間の位置ずれ量を、互いの重複部分の画像内容に基づき算出し、
前記メモリに前記画像データが記憶されている前記原画像のうち、当該原画像との間で前記位置ずれ量の算出が行われた前記算出対象画像の数が前記対象画像数に達したものについては、当該原画像に対応する前記画像データを前記メモリから解放する、位置ずれ算出方法。

【請求項8】

コンピュータに、請求項７に記載の各工程を実行させるためのプログラム。

【請求項9】

請求項８に記載のプログラムを非一時的に記録した、コンピュータ読み取り可能な記録媒体。

【請求項10】

撮像対象物を、撮像視野を互いに異ならせ、かつ隣り合う前記撮像視野同士を部分的に重複させながら撮像して、複数の原画像を取得する画像取得部と、
前記原画像に対応する画像データを一時的に記憶するメモリと、
前記複数の原画像の間の位置ずれ量を算出する位置ずれ量算出部と
を備え、
前記位置ずれ量算出部は、
前記原画像の各々について、前記撮像視野が当該原画像と重複し前記位置ずれ量の算出対象となる他の前記原画像である算出対象画像の数を示す対象画像数を、撮像時の前記撮像視野間の位置関係に基づいて予め設定しておき、
新たに前記原画像が取得されると、当該原画像と、前記メモリに前記画像データが記憶されている取得済みの前記算出対象画像との間の位置ずれ量を、互いの重複部分の画像内容に基づき算出し、
前記メモリに前記画像データが記憶されている前記原画像のうち、当該原画像との間で前記位置ずれ量の算出が行われた前記算出対象画像の数が前記対象画像数に達したものについては、当該原画像に対応する前記画像データを前記メモリから解放する、撮像装置。

【発明の詳細な説明】

【技術分野】

【0001】

この発明は、撮像対象物を複数の撮像視野に分割して撮像する撮像技術に関するものである。

【背景技術】

【0002】

撮像手段の撮像視野よりも広範囲の画像が必要なとき、撮像対象物を複数の撮像視野に分割して撮像した原画像から合成画像を作成することがある。このような場合、隣接する撮像視野同士を部分的にオーバーラップさせて撮像を行い、オーバーラップ部分の画像内容に基づいて原画像間の位置ずれを補正しつつ合成することが行われる。例えば特許文献１に記載の技術では、互いに一部がオーバーラップするように撮像された複数の画像間で位置ずれ量を計算し、その結果に基づき複数の画像を合成することで、１つの広角画像を得ている。

【0003】

また、このように撮像対象物を複数の撮像視野に分割する場合において、特に撮像対象物の形状や物性に応じて画像の配置を動的に決定する方法については、例えば特許文献２に記載されている。

【先行技術文献】

【特許文献】

【0004】

【文献】国際公開第２０１９／０５３８３９号公報

【文献】特開２０１８－０４０５６９号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

コンピュータ装置などの演算処理装置を用いて画像内容に基づく位置ずれ補正を行う際には、補正対象となる画像のデータをメモリに保存しておく必要があるが、画像のサイズが大きい場合には多くのメモリ資源を必要とする。これに起因するメモリ資源不足を回避する方法としては、例えば画像を圧縮してデータ量を削減することや、画像データをハードディスクドライブ等の大容量ストレージに退避させることなどが考えられる。

【0006】

しかしながら、圧縮された画像に基づく位置ずれ補正では、位置ずれ量の算出精度が低下する場合がある。また、画像データをストレージに保存する方法では、位置ずれ量を算出する際には画像データをストレージからメモリに転送しながら演算を行う必要があり、これにより演算処理の所要時間が長くなってリアルタイム性を損ねるという問題が生じ得る。

【0007】

この発明は上記課題に鑑みなされたものであり、撮像対象物を複数の撮像視野に分割して撮像する技術において、画像間の位置ずれ量を、限られたメモリ資源でもリアルタイム性を損ねることなく算出することのできる技術を提供することを目的とする。

【課題を解決するための手段】

【0008】

この発明の一の態様は、撮像対象物を複数の撮像視野に分割して撮像する撮像方法であって、上記目的を達成するため、前記撮像対象物を、前記撮像視野を互いに異ならせ、かつ隣り合う前記撮像視野同士を部分的に重複させながら撮像して、複数の原画像を取得する工程と、一の前記原画像が取得されるごとに、当該原画像に対応する画像データをメモリに記憶させる工程と、前記複数の原画像の間の位置ずれ量を算出する工程とを備えている。

【0009】

また、この発明の他の一の態様は、上記目的を達成するため、撮像対象物を、撮像視野を互いに異ならせ、かつ隣り合う前記撮像視野同士を部分的に重複させながら撮像して、複数の原画像を取得する画像取得部と、前記原画像に対応する画像データを一時的に記憶するメモリと、前記複数の原画像の間の位置ずれ量を算出する位置ずれ量算出部とを備えている。

【0010】

前記原画像の各々について、前記撮像視野が当該原画像と重複し前記位置ずれ量の算出対象となる他の前記原画像である算出対象画像の数を示す対象画像数を、撮像時の前記撮像視野間の位置関係に基づいて予め設定しておき、新たに前記原画像が取得されると、当該原画像と、前記メモリに前記画像データが記憶されている取得済みの前記算出対象画像との間の位置ずれ量を、互いの重複部分の画像内容に基づき算出し、前記メモリに前記画像データが記憶されている前記原画像のうち、当該原画像との間で前記位置ずれ量の算出が行われた前記算出対象画像の数が前記対象画像数に達したものについては、当該原画像に対応する前記画像データを前記メモリから解放する。

【0011】

これらの発明においては、前記原画像の各々について、前記撮像視野が当該原画像と重複し前記位置ずれ量の算出対象となる他の前記原画像である算出対象画像の数を示す対象画像数を、撮像時の前記撮像視野間の位置関係に基づいて予め設定しておき、新たに前記原画像が取得されると、当該原画像と、前記メモリに前記画像データが記憶されている取得済みの前記算出対象画像との間の位置ずれ量を、互いの重複部分の画像内容に基づき算出し、前記メモリに前記画像データが記憶されている前記原画像のうち、当該原画像との間で前記位置ずれ量の算出が行われた前記算出対象画像の数が前記対象画像数に達したものについては、当該原画像に対応する前記画像データを前記メモリから解放する。

【0012】

このように構成された発明では、撮像対象物が複数の撮像視野の原画像に分割されて撮像される場合において、原画像の各々につき、当該原画像との間で位置ずれ量の算出対象となる他の原画像の数が、撮像時の撮像視野間の位置関係に基づき、「対象画像数」として予め設定される。その上で、各原画像と、当該原画像との間で相互に位置ずれ量の算出対象となる算出対象画像との間で位置ずれ量が算出される。

【0013】

この「対象画像数」は、言い換えれば、各原画像が他の一の原画像との間での位置ずれ算出処理に適用される回数に相当する。撮像により取得される複数の原画像のうち、当該原画像との間で位置ずれ量の算出が行われた算出対象画像の数が「対象画像数」に達したものについては、以後の位置ずれ量の算出において「算出対象画像」として使用されることはない。このため、当該原画像の画像データをメモリに保存しておく必要はない。このような画像データをメモリから解放する、つまり当該画像データが占有するメモリ上の記憶領域への他のデータの書き込みを許容するようにすれば、不要な画像データがメモリの記憶資源を圧迫することは回避される。例えば、当該画像データを削除して、新たに取得された画像データを保存することが可能となる。

【0014】

このように、本発明では、撮像視野を異ならせることで撮像対象物を分割して撮像した原画像の各々につき、当該原画像との間で位置ずれ量の算出に用いられる他の原画像の数が、対象画像数として予め求められている。そして、各原画像のうち、当該原画像との間で位置ずれ量の算出に用いられた他の原画像の数が対象画像数に達したものについては、画像データをメモリから解放する。

【0015】

そのため、全ての原画像をメモリに記憶しておく必要はなく、処理に必要なメモリ容量を小さくすることができる。その一方で、以後の算出処理に使用される画像については画像データがメモリに保存された状態が維持されるので、算出処理のリアルタイム性を損ねることも回避される。

【0016】

また、この発明の他の一の態様は、撮像対象物を複数の撮像視野に分割し、かつ隣り合う前記撮像視野同士を部分的に重複させて撮像された複数の原画像間の位置ずれ量を算出する位置ずれ算出方法であって、上記目的を達成するため、前記原画像に対応する画像データを取得しメモリに記憶させる工程と、前記複数の原画像の間の位置ずれ量を算出する工程とを備えている。

【0017】

ここで、前記原画像の各々については、前記撮像視野が当該原画像と重複し前記位置ずれ量の算出対象となる他の前記原画像である算出対象画像の数を示す対象画像数を、撮像時の前記撮像視野間の位置関係に基づいて予め設定しておき、一の前記原画像と、前記メモリに前記画像データが記憶されている取得済みの前記算出対象画像との間の位置ずれ量を、互いの重複部分の画像内容に基づき算出し、前記メモリに前記画像データが記憶されている前記原画像のうち、当該原画像との間で前記位置ずれ量の算出が行われた前記算出対象画像の数が前記対象画像数に達したものについては、当該原画像に対応する前記画像データを前記メモリから解放する。

【0018】

また、この発明の他の態様は、上記位置ずれ算出方法の各工程をコンピュータに実行させるためのプログラム、およびこのプログラムを非一時的に記録した記録媒体である。

【0019】

このように構成された発明では、上記発明と同様に、位置ずれ量の算出のためにメモリに保存しておくべき画像データを残しつつ、不要な画像データを削除することができる。これにより、処理のリアルタイム性を損なうことなく、メモリ使用量の削減を図ることが可能である。

【発明の効果】

【0020】

以上のように、本発明によれば、複数の原画像の各々につき、当該原画像との間で位置ずれ算出に用いられる他の原画像の数（対象画像数）が予め求められる。そして、算出処理の対象となった他の原画像の数が対象画像数に達した時点で、当該原画像の画像データをメモリから解放する。こうすることで、画像間の位置ずれ量を、限られたメモリ資源でもリアルタイム性を損ねることなく算出することが可能となる。

【図面の簡単な説明】

【0021】

【図1】本発明に係る撮像装置の第１実施形態の概略構成を示す図である。

【図2】複数の撮像視野に分割した撮像の割り付け例を示す図である。

【図3】本実施形態の事例として用いる原画像の例を示す図である。

【図4】原画像の撮像順と算出可能な原画像との関係を示す図である。

【図5】本実施形態の撮像処理の原理を示すタイミングチャートである。

【図6】図５の撮像処理を具現化したフローチャートである。

【図7】撮像処理の変形例を示すフローチャートである。

【図8】リトライ撮像の要否判断処理の２つの例を示すフローチャートである。

【図9】変形例における各部の状態変化を示すタイミングチャートである。

【図10】撮像ユニットと画像処理ユニットとが別体に構成された撮像装置の構成例を示す図である。

【図11】撮像ユニットの動作を示すフローチャートである。

【図12】画像処理ユニットの動作を示すフローチャートである。

【発明を実施するための形態】

【0022】

＜第１実施形態＞
図１は本発明に係る撮像装置の第１実施形態の概略構成を示す図である。この撮像装置１は、ディッシュと呼ばれる平型で上面が開口する試料容器１０に担持された細胞等の生試料を撮像する装置である。試料容器１０には、培地Ｍとしての液体が所定量注入され、この液体中において所定の培養条件で培養された細胞等が、この撮像装置１の撮像対象物となる。培地は適宜の試薬が添加されたものでもよく、また液状で試料容器１０に注入された後ゲル化するものであってもよい。

【0023】

なお、ここでは撮像対象物を生試料とした場合を例示して説明するが、本発明における撮像対象物はこれに限定されるものではない。例えば、適宜の担体に担持された組織切片や病理標本等が撮像対象物とされてもよい。また、試料容器がウェルと呼ばれる窪部を複数備えた、いわゆるウェルプレートであり、各ウェルに担持された生試料が撮像対象物とされてもよい。

【0024】

また例えば、規則的なパターンが形成されたプリント基板、半導体チップまたはウエハ、ディスプレイ用パネルなどの工業製品についても、その品質検査やプロセス評価のための撮像に本発明を適用することが可能である。

【0025】

撮像装置１は、試料容器１０を保持するホルダ１１と、ホルダ１１の上方に配置される照明部１２と、ホルダ１１の下方に配置される撮像部１３と、これら各部の動作を制御するＣＰＵ１４１を有する制御部１４とを備えている。ホルダ１１は、試料容器１０の下面周縁部に当接して試料容器１０を略水平姿勢に保持する。

【0026】

照明部１２は、ホルダ１１により保持された試料容器１０に向けて照明光を出射する。照明光の光源としては、例えば白色ＬＥＤ（Light Emitting Diode）を用いることができる。光源と適宜の照明光学系とを組み合わせたものが、照明部１２として用いられる。照明部１２により、試料容器１０内の撮像対象物が上方から照明される。

【0027】

ホルダ１１により保持された試料容器１０の下方に、撮像部１３が設けられる。撮像部１３には、試料容器１０の直下位置に撮像光学系が配置されており、撮像光学系の光軸は鉛直方向に向けられている。図１は側面図であり、図の上下方向が鉛直方向を表す。

【0028】

撮像部１３により、試料容器１０内の撮像対象物が撮像される。具体的には、照明部１２から出射され試料容器１０の上方から液体に入射した光が撮像対象物を照明し、試料容器１０の底面から下方へ透過した光が、撮像部１３の対物レンズ１３１を含む撮像光学系を介して撮像素子１３２の受光面に入射する。撮像光学系により撮像素子１３２の受光面に結像する撮像対象物の像が、撮像素子１３２により撮像される。撮像素子１３２は二次元の受光面を有するエリアイメージセンサであり、例えばＣＣＤセンサまたはＣＭＯＳセンサを用いることができる。

【0029】

撮像部１３は、制御部１４に設けられたメカ制御部１４６により水平方向および鉛直方向に移動可能となっている。具体的には、メカ制御部１４６がＣＰＵ１４１からの制御指令に基づき駆動機構１５を作動させ、撮像部１３を水平方向に移動させることにより、撮像部１３が試料容器１０に対し水平方向に移動する。また鉛直方向への移動によりフォーカス調整がなされる。

【0030】

駆動機構１５は、撮像部１３を水平方向に移動させる際、図において点線矢印で示すように照明部１２を撮像部１３と一体的に移動させる。すなわち、照明部１２は、その光中心が撮像部１３の光軸と略一致するように配置されており、撮像部１３が水平方向に移動するとき、これと連動して移動する。これにより、撮像部１３が試料容器１０に対し移動する場合でも、照明部１２の光中心が常に撮像部１３の光軸上に位置することとなり、どの位置においても撮像対象物に対する照明条件を一定にして、撮像条件を良好に維持することができる。

【0031】

撮像部１３の撮像素子１３２から出力される画像信号は、制御部１４に送られる。すなわち、画像信号は制御部１４に設けられたＡＤコンバータ（Ａ／Ｄ）１４３に入力されてデジタル画像データに変換される。ＣＰＵ１４１は、受信した画像データに基づき適宜画像処理を実行する。

【0032】

制御部１４はさらに、画像データや演算中のデータを一時的に記憶するためのメモリ１４４と、ＣＰＵ１４１が実行すべきプログラムやＣＰＵ１４１により生成されるデータを記憶保存するためのストレージ１４５とを有している。メモリ１４４はＣＰＵ１４４から高速アクセスが可能である一方、記憶容量はストレージ１４５よりも小さい。ストレージ１４５は例えばハードディスクドライブ（ＨＤＤ）であり、記憶容量は大きいが、アクセス速度はメモリ１４４よりも遅い。これらは目的に応じて使い分けられる。ＣＰＵ１４１は、ストレージ１４５に記憶された制御プログラムを呼び出し実行することにより、後述する各種の演算処理を行う。

【0033】

その他に、制御部１４には、インターフェース（ＩＦ）部１４２が設けられている。インターフェース部１４２は、ユーザからの操作入力の受け付けや、ユーザへの処理結果等の情報提示を行うユーザインターフェース機能のほか、通信回線を介して接続された外部装置との間でのデータ交換を行う機能を有する。ユーザインターフェース機能を実現するために、インターフェース部１４２には、ユーザからの操作入力を受け付ける入力受付部１４７と、ユーザへのメッセージや処理結果などを表示出力する表示部１４８とが接続されている。

【0034】

撮像部１３の撮像視野は撮像倍率により変化するが、特に高倍率の撮像では、撮像視野が試料容器１０の底面よりも小さい場合があり得る。このような場合に試料容器１０の全体を撮像するためには、撮像対象となる範囲を複数の撮像視野に分割して撮像し、こうして得られた複数の原画像を画像処理により合成して大サイズの画像を作成することが行われる。

【0035】

図２は試料容器を複数の撮像視野に分割して撮像する場合の割り付け例を示す図である。図２（ａ）は試料容器１０を複数の撮像視野に分割して撮像する場合の画像の配置の例を示す図であり、図２（ｂ）はこれを撮像するための撮像部１３の走査移動経路、より具体的には撮像部１３の光軸の軌跡を示す図である。以下の説明のために、図の横方向をＸ方向、縦方向をＹ方向とする座標軸を設定する。底面が水平となるように試料容器１０が保持されるので、ＸＹ平面は水平面である。

【0036】

撮像部１３の撮像視野ＦＶが試料容器１０の全体をカバーできない場合には、図２（ａ）に示すように、試料容器１０が複数の原画像Ｉｍ１～Ｉｍ１６に分割して撮像される。これらの原画像Ｉｍ１～Ｉｍ１６が撮像後の画像処理によりつなぎ合わせて合成されることにより、試料容器１０の全体を収めた合成画像Ｉｔが作成される。原画像間のスムーズなつなぎ合わせおよび相互の位置ずれ補正を可能とするために、隣り合う原画像の間では一部領域が互いにオーバーラップするように、原画像の割り付けが行われる。

【0037】

試料容器１０の底面に沿って撮像部１３を相対的に走査移動させ、その間に複数回の撮像を行うことにより、これらの原画像が取得される。具体的には、図２（ｂ）に矢印で示すように、撮像部１３のＸ方向の移動とＹ方向の移動とを組み合わせることで、撮像部１３を試料容器１０の底面に沿って走査移動させ、その過程で複数回撮像を行うことで原画像を取得することができる。図２（ｂ）における黒点Ｐ１～Ｐ１６は、撮像部１３の光軸が当該黒点の位置にある時に撮像が行われることを示している。以下では、このように撮像が行われるときの撮像部１３の位置を「撮像位置」と称する。

【0038】

具体的には、撮像部１３を試料容器１０に対し（＋Ｘ）方向に走査移動させ、所定のタイミングで繰り返し撮像を行う。例えば撮像位置Ｐ１では原画像Ｉｍ１が、撮像位置Ｐ２では原画像Ｉｍ２が取得される。同様にして撮像位置Ｐ３では原画像Ｉｍ３が、撮像位置Ｐ４で原画像Ｉｍ４が取得された後、撮像部１３は（＋Ｙ）方向に所定ピッチだけ送られる。

【0039】

そして、撮像部１３が（－Ｘ）方向に移動し、撮像位置Ｐ８，Ｐ７，Ｐ６，Ｐ５でそれぞれ撮像が行われて、原画像Ｉｍ８，Ｉｍ７，Ｉｍ６，Ｉｍ５がそれぞれ取得される。さらに撮像部１３が（＋Ｙ）方向に移動した後、再び（＋Ｘ）方向に移動しながら原画像Ｉｍ９，Ｉｍ１０，Ｉｍ１１，Ｉｍ１２を撮像し、最後に（－Ｘ）方向に移動しながら原画像Ｉｍ１６，Ｉｍ１５，Ｉｍ１４，Ｉｍ１３を撮像する。このように、原画像の配置と撮像順とは必ずしも一致しない。

【0040】

撮像部１３の（＋Ｘ）方向または（－Ｘ）方向への走査移動中における撮像タイミングと、Ｙ方向への送りピッチとの組み合わせとを規定した撮像スケジュールを適宜に設定することで、与えられた原画像の割り付けに応じた撮像を行うことが可能である。以下では、Ｘ方向への走査移動を「主走査移動」、Ｙ方向への走査移動を「副走査移動」と称することがある。

【0041】

この例では試料容器１０を１６の撮像視野ＦＶに分割して撮像を行うが、撮像対象物に対する撮像視野の割り付けはこれに限定されず任意である。撮像対象物の大きさと、撮像部１３の撮像視野ＦＶとの関係が予めわかっていれば、撮像対象物の全体をカバーし、かつ互いに一部をオーバーラップさせるという条件を満たす原画像の配置は、種々のものが考えられる。

【0042】

以下、このように撮像対象物を複数の撮像視野に分割して撮像し、こうして得られた複数の原画像を最終的に１つに合成して全体画像を作成するための、本実施形態の撮像処理について説明する。画像の合成に際しては、撮像時に生じ得る原画像間の位置ずれに対する補正が行われる。具体的には、互いにオーバーラップする２枚の原画像の間で、オーバーラップ部分の画像内容の比較に基づいて相対的な位置ずれ量を算出し、算出結果に基づき位置ずれの補正を行った上で原画像をつなぎ合わせる。こうすることで、不自然な継ぎ目のない全体画像を得ることが可能となる。

【0043】

位置ずれ量の算出方法としては、各種の公知技術を適用することが可能であり、本実施形態では特に限定しない。例えば互いにオーバーラップする原画像間で、一方のオーバーラップ部分の画像をテンプレートとして用い、他方の原画像中で対応する領域を探索するパターンマッチング手法を適用することができる。また、オプティカルフロー推定法を用いた手法でもよい。

【0044】

なお、上記説明では円形の底面を有する試料容器１０を、それぞれが略正方形である複数の撮像視野ＦＶに分割し、１６枚の原画像Ｉｍ１～Ｉｍ１６を取得する例を採り上げた。以下では、より一般的な事例として次のような原画像の例を用いることとする。

【0045】

図３は本実施形態の事例として用いる原画像の例を示す図である。以下では、各々が長方形であり、図３（ａ）に示すように、Ｘ方向に４枚、Ｙ方向に３枚に分割して撮像された、計１２枚の原画像Ｉｍ（１）～Ｉｍ（１２）を用いるものとする。これらの原画像Ｉｍ（ｉ）（ｉ＝１，２，…，１２）の位置関係は、図２（ａ）に示した原画像Ｉｍ１～Ｉｍ１２に対応するものと考えることができる。

【0046】

前記したように、隣り合う原画像の間では一部が互いにオーバーラップするように撮像が行われ、オーバーラップ部分の画像内容に基づき原画像間の位置ずれ量が求められる。図３（ａ）における矢印は、位置ずれ量の算出対象となる原画像の組み合わせを示している。例えば左上の画像Ｉｍ（１）に対しては、右側に隣接する原画像Ｉｍ（２）と、下側に隣接する原画像Ｉｍ（５）とが算出対象となる。このように、１つの原画像に対し、位置ずれ量の算出対象となる他の原画像を、以下では「算出対象画像」と称する。また例えば、原画像Ｉｍ（６）に対しては、上下および左右方向に隣接する４枚の原画像Ｉｍ（２）、Ｉｍ（５）、Ｉｍ（７）、Ｉｍ（１０）が算出対象画像となる。

【0047】

なお、斜め方向に隣接する原画像、例えば原画像Ｉｍ（１）と原画像Ｉｍ（６）との間でも部分的なオーバーラップがある。しかしながら、オーバーラップ部分の面積が小さく十分な算出精度が得られないため、このような位置関係にある原画像の間では位置ずれの評価を行わないこととする。

【0048】

図３（ｂ）は、各原画像Ｉｍ（ｉ）と、それに対応する算出対象画像との関係をまとめた図である。このように、各原画像Ｉｍ（ｉ）に対しては、その配置に応じてそれぞれ算出対象画像を特定することができ、算出対象画像の数は一様ではない。図３（ｂ）の右欄は、各原画像Ｉｍ（ｉ）に対応する算出対象画像の数Ｍ（ｉ）を示している。以下ではこの数を「対象画像数」と称する。例えば原画像Ｉｍ（１）に対する算出対象画像は原画像Ｉｍ（２）、Ｉｍ（５）であり、対象画像数Ｍ（１）は２である。また例えば、原画像Ｉｍ（３）に対する算出対象画像は原画像Ｉｍ（２）、Ｉｍ（４）、Ｉｍ（７）であり、対象画像数Ｍ（３）は３である。

【0049】

任意の原画像の割り付けに対して、上記と同様に対象画像数を設定することができる。具体的には、撮像時の割り付けに応じて、各原画像が占める領域を二次元座標平面に配置することで、原画像間のオーバーラップ部分を特定することができる。そして、一の原画像につき、当該原画像とのオーバーラップ部分の面積が位置ずれ算出処理に適した所定範囲内である他の原画像を算出対象原画像とし、その数を計数すればよい。なお、オーバーラップ部分の面積によるほか、例えば当該部分の幅により評価を行ってもよい。

【0050】

図４は原画像の撮像順と算出可能な原画像との関係を示す図である。図２（ｂ）に示したように、撮像部１３が（＋Ｘ）方向への走査移動と（－Ｘ）方向への走査移動とを繰り返す撮像態様では、最初の（＋Ｘ）方向への走査で原画像Ｉｍ（１），Ｉｍ（２），Ｉｍ（３），Ｉｍ（４）がこの順で撮像される。その後、次の（－Ｘ）方向への走査で原画像Ｉｍ（８），Ｉｍ（７），Ｉｍ（６），Ｉｍ（５）がこの順で撮像される。そして、再度行われる（＋Ｘ）方向への走査により、原画像Ｉｍ（９），Ｉｍ（１０），Ｉｍ（１１），Ｉｍ（１２）がこの順で撮像される。

【0051】

ここで、上記の順番で順次撮像を行うことにより得られる原画像と、それよりも前の撮像で既に画像データが取得されている他の原画像（以下、「既存画像」という）との関係について考える。より具体的には、新たに１つの原画像が取得されたときに、既存画像の中に算出対象画像がどれだけ含まれているかを考える。

【0052】

最初の原画像Ｉｍ（１）が撮像された直後では、既存画像は存在しない。一方、２番目の原画像Ｉｍ（２）が撮像された後では、既存画像Ｉｍ（１）の画像データが既に保存されており、これらの原画像は互いに他方の算出対象画像となっている。そのため、他の原画像の取得を待つことなく、この時点で原画像Ｉｍ（１）と原画像Ｉｍ（２）との間では位置ずれ量の算出に着手することが可能である。

【0053】

このように、新たに原画像が取得されたとき、当該原画像と算出対象画像の関係にある他の原画像が既存画像の中に含まれていれば、次の撮像を行いつつ、それらの原画像の間で位置ずれ量の算出を行うことが可能である。このようにすれば、全ての画像の撮像が終了した時点で各画像間の位置ずれ量が既に求められているので、撮像後の原画像の合成を速やかに実行することができ、撮像のリアルタイム性を向上させることが可能である。

【0054】

図４（ａ）における矢印（⇔）は、前後の画像が互いに算出対象画像の関係にあることを意味している。例えば原画像Ｉｍ（３）が撮像された後では、既存画像のうち原画像Ｉｍ（２）が算出対象画像であるので、原画像Ｉｍ（２）と原画像Ｉｍ（３）との間で位置ずれ量の算出を行うことができる。以下の各原画像についても同様に考えることができる。

【0055】

その一例として、図４（ｂ）には原画像Ｉｍ（６）が取得された時点での状態が示されている。同図において、直前の撮像により新たに取得された原画像Ｉｍ（６）は二重の実線枠で示されている。一方、一重の実線枠で示される原画像Ｉｍ（１）～Ｉｍ（４），Ｉｍ（７），Ｉｍ（８）は既存画像である。点線枠で示される原画像Ｉｍ（５），Ｉｍ（９）～Ｉｍ（１２）は、この時点では未取得の画像である。

【0056】

ハッチング付き矢印は、新たに原画像Ｉｍ（６）が取得されたことにより、位置ずれ量の算出が可能となった原画像の組み合わせを表している。原画像Ｉｍ（６）が取得されると、既存画像に含まれる算出対象画像Ｉｍ（２），Ｉｍ（７）との間で、それぞれ位置ずれ量の算出が可能となる。

【0057】

図において黒矢印は、それまでの撮像で取得された既存画像の間で位置ずれ量の算出が可能となっている組み合わせを示す。また点線矢印は、互いに算出対象画像となっている２つの原画像の少なくとも一方が未取得であるため、この時点では位置ずれ量の算出を開始することができない組み合わせを示している。

【0058】

ここで、原画像Ｉｍ（３），Ｉｍ（４）に着目すると、当該原画像に対する算出対象画像は既に全て取得されていることが示されている。例えば、原画像Ｉｍ（３）の算出対象画像Ｉｍ（２），Ｉｍ（４），Ｉｍ（７）は既に全て取得されており、位置ずれ量の算出が可能となった時点で直ちに算出処理を開始していれば、当該処理は既に終了していると期待される。原画像Ｉｍ（４）についても同様である。したがって、原画像Ｉｍ（３），Ｉｍ（４）の画像データは、この後の位置ずれ量算出処理に使用されることはない。

【0059】

また、原画像Ｉｍ（６）が新たに取得されたことにより、原画像Ｉｍ（２）との間で新たに位置ずれ量の算出が可能となる。この算出処理が終了すれば、原画像Ｉｍ（２）の画像データも、以後の位置ずれ量算出処理には使用されなくなる。このように、既存画像のうち、全ての算出対象画像との間で位置ずれ量の算出が終了したものについては、画像データを保存しておく必要は必ずしもない。

【0060】

位置ずれ量の算出処理に際しては、処理の高速性を担保するため、算出対象となる２つの原画像の画像データについては高速アクセスが可能なメモリ１４４に保存しておくことが望ましい。特に高精細の画像データはデータ量が大きいため、記憶容量の大きいストレージ１４５に記憶保存しておくことが一般的である。しかしながら、位置ずれ量の算出のために必要なデータをその都度ストレージ１４５から読み出したのでは処理時間が長くなってしまう。

【0061】

一方、メモリ１４４は高速アクセスが可能であるものの、記憶容量としてはストレージ１４５よりも小さく、全ての原画像の画像データをメモリ１４４に記憶させておくことができない場合もあり得る。原画像を縮小した画像データをメモリ１４４に保持させることも考えられるが、その場合には位置ずれ量の算出精度の低下を招くおそれがある。

【0062】

本実施形態の撮像処理では、前記したように位置ずれ量の算出処理が進めば保存不要となる画像データが生じてくることを利用して、メモリ１４４が記憶すべき画像データのデータ量の削減を図っている。すなわち、原画像の取得により既存画像との間で可能となった位置ずれ量の算出処理については他の撮像と併行して実行するとともに、以後の算出処理に使われない画像データをメモリから解放することによりデータ量を削減する。これにより、限られたメモリ資源でも新たな撮像で生成された画像データを受け入れることが可能になる。

【0063】

より具体的には、各原画像Ｉｍ（ｉ）に対して、当該原画像との間で位置ずれ量の算出が終了した算出対象画像の数を計数するカウンタＣ（ｉ）を導入する。カウンタＣ（ｉ）の初期値は０であり、１つの原画像Ｉｍ（ｉ）と他の１つの原画像Ｉｍ（ｊ）（ｊ＝１，２，…，１２、ただしｉ≠ｊ）との間で位置ずれ量の算出処理が終了すると、カウンタＣ（ｉ），Ｃ（ｊ）の値はそれぞれ１つずつインクリメントされる。

【0064】

各原画像Ｃ（ｉ）に対しては、対象画像数Ｍ（ｉ）が予め求められている。前記したように、対象画像数Ｍ（ｉ）は、原画像Ｉｍ（ｉ）が他の原画像との間で位置ずれ量算出処理に適用される回数を表している。したがって、カウンタＣ（ｉ）の値が対象画像数Ｍ（ｉ）に到達すれば、全ての算出対象画像との間で算出処理は完了していると言え、以後の位置ずれ量算出処理に原画像Ｉｍ（ｉ）の画像データが使用されることはない。つまり、画像データをメモリから解放することができる。

【0065】

ここで、「画像データをメモリから解放する」という文言は、メモリが当該画像データを有効なデータとして保存する必要性を、実質的に消滅させることを意味する。したがって、例えば当該画像データがメモリから削除されてもよく、また特にデータ消去を行わなくても、例えば当該画像データのために割り当てられている記憶領域に他のデータの上書きを許容するようにしてもよい。

【0066】

図５は本実施形態の撮像処理の原理を示すタイミングチャートである。この図では、各原画像Ｉｍ（ｉ）の撮像タイミング（上段）と、取得された画像データがメモリに保存される期間（中段）と、カウンタＣ（ｉ）のカウント値の変化（下段）との関係が示されている。前記した通り、各原画像Ｉｍ（ｉ）について、撮像時の割り付けに応じて対象画像数Ｍ（ｉ）が予め定められており、カウンタＣ（ｉ）の初期値は０である。

【0067】

なお、説明が煩雑になるのを防止し理解を容易にするために、撮像タイミングを表す時刻Ｔ１～Ｔ１２の添え字数字については、撮像される原画像の番号に合わせている。このため、各時刻の前後関係と添え字の順番とは必ずしも一致していないことに注意を要する。

【0068】

撮像部１３が（＋Ｘ）方向に走査移動し撮像位置Ｐ１（図２（ｂ））に到達する時刻Ｔ１において、原画像Ｉｍ（１）が撮像され、これに対応する所定サイズの画像データがメモリ１４４に書き込まれる。画像データは後述する解放タイミングが来るまでメモリ１４４上に保持され、メモリ空間内の所定領域を占有する。以後の撮像で取得される他の画像データについても同様である。

【0069】

撮像部１３が撮像位置Ｐ２に到達する時刻Ｔ２において、原画像Ｉｍ（２）が撮像され、これに対応する所定サイズの画像データがメモリ１４４に書き込まれる。この時点で原画像Ｉｍ（１）と原画像Ｉｍ（２）との間で位置ずれ量算出処理が可能となる。これらの間で位置ずれ量算出処理が行われることにより、カウンタＣ（１），Ｃ（２）はそれぞれ０から１にインクリメントされる。

【0070】

時刻Ｔ３で原画像Ｉｍ（３）が取得されると、これに対応する画像データがメモリ１４４に書き込まれる。この時点では原画像Ｉｍ（２）と原画像Ｉｍ（３）との間で位置ずれ量算出処理が可能となり、位置ずれ量算出処理が行われることにより、カウンタＣ（２）は１から２へ、カウンタＣ（３）は０から１へ、それぞれインクリメントされる。

【0071】

同様に、時刻Ｔ４で原画像Ｉｍ（４）が取得されると、これに対応する画像データがメモリ１４４に書き込まれ、原画像Ｉｍ（３）と原画像Ｉｍ（４）との間で位置ずれ量算出処理が可能となる。位置ずれ量算出処理が行われることにより、カウンタＣ（３）は１から２へ、カウンタＣ（４）は０から１へ、それぞれインクリメントされる。

【0072】

撮像部１３が（＋Ｙ）方向にステップ送りされた後、（－Ｘ）方向への走査移動を開始して撮像位置Ｐ８に到達する時刻Ｔ８において、原画像Ｉｍ（８）が取得され画像データがメモリ１４４に書き込まれる。このとき原画像Ｉｍ（４）と原画像Ｉｍ（８）との間で位置ずれ量算出処理が実行される。これにより、カウンタＣ（８）が０から１にインクリメントされる。

【0073】

カウンタＣ（４）も１から２にインクリメントされるが、このカウント値２は原画像Ｉｍ（４）に対して定められた対象画像数Ｍ（４）と等しい。図において数字に付した丸印は、カウント値Ｃ（ｉ）が対象画像数ｍ（ｉ）と等しくなったことを表すものとする。このときの原画像Ｉｍ（４）は、算出対象画像である原画像Ｉｍ（３），Ｉｍ（８）のいずれとも位置ずれ量算出処理が完了した状態である。したがって、原画像Ｉｍ（４）の画像データについてはメモリ１４４から解放する、つまりメモリ１４４上に実質的に存在しない状態とすることができる。特に、次の原画像Ｉｍ（７）が撮像される時刻Ｔ７よりも前にメモリ解放を行うようにすれば、原画像Ｉｍ（４）の画像データが記憶されていた領域に原画像Ｉｍ（７）の画像データを保存することが可能になる。

【0074】

時刻Ｔ７において原画像Ｉｍ（７）が取得されると、原画像Ｉｍ（３），Ｉｍ（８）との間でそれぞれ位置ずれ量算出処理が実行される。これにより、カウンタＣ（３），Ｃ（８）がそれぞれ１つずつインクリメントされ、このうちカウンタＣ（３）のカウント値３は、原画像Ｉｍ（３）の対象画像数Ｍ（３）と等しい。したがって、原画像Ｉｍ（３）の画像データについてはメモリ１４４から解放することができる。また、原画像Ｉｍ（７）は２つの算出対象画像との間で位置ずれ量算出処理が実行されたので、カウンタＣ（７）のカウント値は０から２に増加する。これについては、原画像Ｉｍ（３）との間での算出処理と、原画像Ｉｍ（８）との間での算出処理とでそれぞれ１つずつ、カウンタＣ（７）がインクリメントされたと考えてもよい。

【0075】

以下同様にして、時刻Ｔ６には原画像Ｉｍ（２）の、時刻Ｔ５には原画像Ｉｍ（１）の、時刻Ｔ９には原画像Ｉｍ（５）の、時刻Ｔ１０には原画像Ｉｍ（６），Ｉｍ（９）の、時刻Ｔ１１には原画像Ｉｍ（７），Ｉｍ（１０）の画像データを、それぞれメモリ１４４から解放することができる。そして、全ての撮像が終了する時刻Ｔ１２の後では、残る原画像Ｉｍ（８），Ｉｍ（１１），Ｉｍ（１２）について相互の位置ずれ量算出処理を行って、最終的には全ての画像データをメモリ１４４から解放することができる。

【0076】

このように、１２枚の原画像Ｉｍ（１）～Ｉｍ（１２）が順次撮像され、画像データがメモリ１４４に書き込まれてゆくが、１つの撮像が済んだ段階で可能な組み合わせについて位置ずれ量算出処理を実行し、必要のなくなった画像データについてはその都度メモリ１４４から解放している。そのため、図から明らかなように、メモリ１４４上に同時に存在する画像データは最大でも画像５枚分である。

【0077】

このことから、１２枚の原画像についてリアルタイムで位置ずれ量算出処理を行うために必要なメモリ資源については、本実施形態によれば画像５枚分に抑えることが可能であると言える。したがって、全ての原画像を記憶するだけの容量をメモリ１４４に用意する必要はなく、しかも、画像データをストレージ１４５から読み出す場合よりも高速に処理を行うことが可能となる。

【0078】

図６は図５の撮像処理を具現化したフローチャートである。この処理は、ＣＰＵ１４１が予め作成された制御プログラムに基づいて装置各部に所定の動作を行わせることにより実現される。最初に、撮像時の原画像の割り付けが決定される（ステップＳ１０１）。撮像対象物が予めわかっていれば、割り付けについても予め定めておくことが可能である。また、撮像対象物の大きさと撮像視野との関係から、動的に割り付けが定められてもよい。そのための具体的な方法としては、例えば特許文献２に記載された技術を適用することができる。

【0079】

こうして割り付けが決定された原画像Ｉｍ（ｉ）の各々に対して、対象画像数Ｍ（ｉ）が決定されるとともに（ステップＳ１０２）、カウンタＣ（ｉ）が初期値０に初期化される（ステップＳ１０３）。ここで変数ｉは、割り付けにより決定された原画像の枚数を上限とする自然数である。

【0080】

そして、原画像の割り付けに応じて定まる、主走査移動の方向、移動速度、副走査移動のピッチ、撮像タイミング等を規定した撮像スケジュールに基づき、撮像部１３の走査移動が開始される（ステップＳ１０４）。撮像部１３が撮像位置に到達する度に（ステップＳ１０５）、撮像部１３による撮像が行われ、取得された画像データが保存される（ステップＳ１０６）。

【0081】

この撮像処理では、上記のようにメモリ１４４に記憶されている画像データに基づき原画像間の位置ずれ量算出処理が実行される。ただし、この処理では原画像間の相対的な位置ずれ量が算出されるが、算出結果に基づく原画像間の位置ずれ補正は行われない。全ての原画像が取得され、それらの間での位置ずれ量が求められた後に画像を合成する処理が行われる。このときの合成処理のために、全ての原画像の画像データを保存しておく必要がある。

【0082】

このため、取得された画像データはメモリ１４４とストレージ１４５との両方に書き込まれる。メモリ１４４に一時的に記憶された画像データは位置ずれ量算出処理に使用され、必要がなくなれば削除される。一方、撮像の目的からすれば、取得された画像データはより長期的に保存しておくことが当然に求められるものと考えられる。このため、画像データはストレージ１４５にも記憶保存される。位置ずれ量算出結果を用いた画像の合成には、ストレージ１４５に記憶された画像データが用いられる。

【0083】

こうして１つの原画像が取得されると、メモリ１４４に画像データが記憶されている既存画像の中から算出対象画像が探索され、該当するものがあれば位置ずれ量算出処理が実行される（ステップＳ１０７）。位置ずれ量算出処理としては、前述したパターンマッチング処理、オプティカルフロー法など、２つの画像間で互いに相関のある領域を特定することのできる各種の公知技術を利用可能である。

【0084】

位置ずれ量算出処理に使用された原画像についてはカウンタＣ（ｉ）のカウント値が増加される（ステップＳ１０８）。そして、カウンタＣ（ｉ）と対応する対象画像数Ｍ（ｉ）とが比較され（ステップＳ１０９）、両者が等しければ該当する原画像Ｉｍ（ｉ）の画像データがメモリ１４４から解放される（ステップＳ１１０）。全ての原画像につき撮像が終了するまで（ステップＳ１１１）、ステップＳ１０５に戻って処理が繰り返される。

【0085】

全ての撮像が終了すると、原画像が合成されて全体画像Ｉｔ（図２（ａ））が作成される（ステップＳ１１２）。このとき、原画像間の位置合わせに、算出された位置ずれ量に基づく補正が適用される。これにより、不自然な継ぎ目のないスムーズな画像を得ることができる。なお、原画像の全てを１つの全体画像に合成することは必須でなく、例えば複数の原画像のうち互いに隣接する一部のみを合成した画像を作成する態様であってもよい。

【0086】

このときの画像処理は、既に求められている位置ずれ量に対応する量だけ位置を調整しながら複数の原画像をつなぎ合わせる処理であり、ストレージ１４５に保存されている全原画像の画像データに基づき行われる。撮像装置１が別の撮像対象物あるいは同一撮像対象物の異なる範囲を撮像している間に、このような画像合成処理を実行することも可能である。

【0087】

ところで、このように撮像部と撮像対象物とを相対的に走査移動させながら撮像を行う走査撮像においては、何らかの理由でまれに画像の取得または保存に失敗することがある。このような場合、画像の取得に失敗したときの主走査移動を再度行い、撮像を試行することが行われることがある。以下ではこれを「リトライ撮像」と称する。

【0088】

上記実施形態では、１枚の原画像を取得するごとに位置ずれ量算出処理を行い、カウンタＣ（ｉ）および対象画像数Ｍ（ｉ）に基づき不要な画像データをメモリ解放している。そのため、リトライ撮像が必要になった時点で必要な画像データがメモリに残っていないという事態が生じ得る。以下に説明する変形例では、このようなリトライ撮像が想定されるケースにも対応可能である。

【0089】

以下で説明する撮像処理の変形例にのうち、多くの処理内容は上記した撮像処理（図６）と共通するものである。そこで、図６と処理内容が共通する処理ステップについては同一の番号を付し、詳しい説明を省略することとする。また、図が煩雑になるのを避けるため、ステップＳ１０１～Ｓ１０３の記載を省略する。

【0090】

図７は撮像処理の変形例を示すフローチャートである。この変形例における処理のうち、ステップＳ１０８までの処理内容は図６に示すものと同じである。ただしその後、１ライン分の主走査移動が終了した時点で（ステップＳ１２１）、リトライ撮像が必要であるか否かの判断が行われる（ステップＳ１２２）。原画像が欠落なく取得されリトライ撮像が必要ない場合には（ステップＳ１２２においてＮＯ）、引き続きステップＳ１０９以降の処理が実行され、結果的には図６の処理と同じ動作となる。

【0091】

ここで「１ライン」とは、撮像部１３の（＋Ｘ）方向または（－Ｘ）方向へ向かう一連の連続した主走査移動を指す概念である。例えば図２（ｂ）に示す例では、撮像位置Ｐ１～Ｐ４を順番に通過する（＋Ｘ）方向への走査移動、および、撮像位置Ｐ８～Ｐ５を順番に通過する（－Ｘ）方向への走査移動が、それぞれ「１ライン」の走査移動に相当する。

【0092】

図８はリトライ撮像の要否判断処理の２つの例を示すフローチャートである。図８（ａ）に示す第１の例では、１ライン分の主走査移動が終了した時点で、当該走査移動で取得された画像の枚数を評価し（ステップＳ２０１）、その枚数が予め計画された枚数と一致していなければ（ステップＳ２０２においてＮＯ）、リトライ撮像が必要と判断される（ステップＳ２０３）。一方、取得された画像の枚数が計画枚数と一致しているときには（ステップＳ２０２においてＹＥＳ）、リトライ撮像は不要であると判断される（ステップＳ２０４）。この要否判断は、撮像部１３の副走査移動が実行される前に行われることが好ましい。

【0093】

図８（ｂ）に示す第２の例では、１ライン分の画像の取得枚数ではなく、取得された画像のデータ量が必要量に達しているか否かにより、リトライ撮像の要否が判断される（ステップＳ２１１，Ｓ２１２）。このように判断基準が異なる点を除けば、第１の例と処理内容は同じである。

【0094】

図７に戻って、リトライ撮像が必要であると判断された場合には（ステップＳ１２１においてＹＥＳ）、当該主走査移動で取得された画像データおよびこれを用いた位置ずれ量の算出結果が破棄され（ステップＳ１２２）、この間に更新されたカウンタＣ（ｉ）が元の値に修正される（ステップＳ１２３）。そして、リトライ撮像を行うために撮像スケジュールが修正された上で（ステップＳ１２４）、ステップＳ１０５に戻る。これにより、修正後の撮像スケジュールに基づき撮像が再開される。

【0095】

リトライ撮像では、副走査方向への移動を行うことなく、撮像部１３を主走査移動させて再度撮像を行う。このときの撮像スケジュールについては、例えば、原画像の取得に失敗したラインの主走査移動を再度繰り返す態様とすることができる。この場合、撮像スケジュールの大幅な組み替えは不要であるが、撮像部１３を当該主走査移動開始時の位置に戻すための移動が必要となる。一方、主走査移動の方向を逆向きにする、例えば（＋Ｘ）方向への走査移動で撮像に失敗したときには（－Ｘ）方向への走査移動でリトライ撮像を行うようにすれば、無駄な移動は生じないが、次ライン以降の撮像順についても変更が必要となるなど、撮像スケジュールは大きく変わることとなる。いずれの態様であっても、リトライ撮像は可能である。

【0096】

この変形例では、１ライン分の走査撮像が終了した時点でリトライ撮像の要否が判断される。そして、リトライ撮像が必要と判断されたときには、誤ったデータに基づく処理がリセットされた上でリトライ撮像が行われる。そして、不要な画像データのメモリからの解放は、リトライ撮像が必要ないと判断された後に実行される。したがって、リトライ撮像が必要となった場合でも、その時点で位置ずれ量算出処理に必要な画像データはメモリに残されている。より具体的には、各部はリトライ撮像が必要となったラインの走査撮像が開始される前の状態に戻され、当該ラインの走査撮像はなかったものと同様の状態となっている。そのため、リトライ撮像により新たに取得された画像データに基づき位置ずれ量の算出が可能となったときには直ちに算出処理を実行することができる。

【0097】

図９はこの変形例における各部の状態変化を示すタイミングチャートである。図５と比較してわかるように、この変形例では、カウンタＣ（ｉ）のカウント値が対象画像数Ｍ（ｉ）に達した場合でも、直ちに画像データがメモリ解放されることはなく、その後に１ライン分の走査撮像が終了し、かつリトライ撮像が不要と判断された段階でメモリ解放が実施される。

【0098】

このため、同時にメモリ１４４上に保存しておくべき画像データは最大で原画像８枚分まで増加するものの、もしリトライ撮像が必要となった場合であっても、リトライ撮像で新たに取得された画像データとメモリ１４４に保存されている既存画像の画像データとを用いて、位置ずれ量算出処理を実行することが可能となる。

【0099】

なお、上記変形例では、１ライン分の走査撮像が終了した後にリトライ撮像の要否判断を行うプロセス（ステップＳ１２１およびＳ１２２）が、ステップＳ１０８とステップＳ１０９との間に追加されている。このため、リトライ撮像の要否に関わらずカウンタＣ（ｉ）の更新が進んでおり、もしリトライ撮像が必要となった場合にはカウンタＣ（ｉ）の修正が必要となる。これに代えて、ステップＳ１２１およびＳ１２２をステップＳ１０７とステップＳ１０８との間に設ければ、リトライ撮像が必要とされた場合にはカウンタＣ（ｉ）の更新自体が実行されないこととなる。このようにした場合には、上記変形例と同様の作用効果を得つつ、ステップＳ１２４のカウンタ修正工程については省略することが可能である。

【0100】

なお、リトライ撮像の要否判断をステップＳ１０６とステップＳ１０７との間に配置することも考えられる。しかしながら、このようにすると、１ラインの走査撮像が終了するまで位置ずれ量算出処理を開始することができなくなってしまい、撮像のリアルタイム性を担保するという点では効果的とは言えない。

【0101】

＜第２実施形態＞
上記した第１実施形態の撮像装置１は、それ自体が撮像機能と画像処理機能とを有するものである。一方、この種の撮像装置は、次に説明する第２実施形態のように、撮像機能とそれを稼働させるための最小限の制御機能とを有する撮像ユニットと、自身は撮像機能を持たないが高度な演算処理機能を有する画像処理ユニットとの組み合わせにより実現される場合がある。

【0102】

図１０は撮像ユニットと画像処理ユニットとが別体に構成された撮像装置の構成例を示す図である。この実施形態において、第１実施形態（図１）の構成と実質的に同一の構成については同一符号を付し、詳しい説明を省略することとする。

【0103】

この実施形態の撮像装置２では、高度な演算機能を必要とする画像処理の主体が、撮像ユニット２１とは別体の画像処理ユニット２２となっている。画像処理ユニット２２は、専用のハードウェアを備えた専用装置であってもよく、またパーソナルコンピュータやワークステーション等の汎用処理装置に、画像処理機能を実現するための制御プログラムを組み込んだものであってもよい。すなわち、この撮像装置２の画像処理ユニット２２として、汎用のコンピュータ装置を利用することが可能である。汎用処理装置を用いる場合、撮像ユニット２１には、撮像部１３等の各部を動作させるために必要最小限の制御機能と、原画像１枚分の画像データを記憶する画像メモリが備わっていれば足りる。

【0104】

撮像ユニット２１には、撮像ユニット２１の各部の動作を制御するためのコントローラ２１１と、撮像部１３から出力される画像信号をデジタル画像データに変換するＡＤコンバータ２１３と、画像データを一時的に記憶する画像メモリ２１４と、駆動機構１５を制御するメカ制御部２１６と、インターフェース部２１８とを備えている。画像メモリ２１４は、少なくとも原画像１枚分の記憶容量を備えていればよい。また、インターフェース部２１８は、画像処理ユニット２２と各種の情報通信を行う機能を有している。メカ制御部２１６の機能は、第１実施形態に備えられたメカ制御部１４６の機能と同等である。

【0105】

画像処理ユニット２２は、各種の制御プログラムを実行するＣＰＵ２２１と、画像データや演算中のデータを一時的に記憶するためのメモリ２２４と、ＣＰＵ２２１が実行すべきプログラムやＣＰＵ２２１により生成されるデータを記憶保存するためのストレージ２２５とを有している。メモリ２２４およびストレージ２２５の機能は、第１実施形態におけるメモリ１４４およびストレージ１４５の機能と同等である。また、画像処理ユニット２２には、各種の画像処理演算に特化したプロセッサとしての画像処理部２２３が設けられることが望ましいが、ＣＰＵ２２１がこの機能を兼備する態様であってもよい。

【0106】

さらに、画像処理ユニット２２には、撮像ユニット２１との間で各種の通信を行うインターフェース部２２２が設けられている。インターフェース部２２２には、ユーザからの操作入力を受け付ける入力受付部２２７と、ユーザへのメッセージや処理結果などを表示出力する表示部２２８とが接続されており、これらの機能は、第１実施形態において相当する構成と同等である。

【0107】

このように構成された撮像装置２においては、撮像ユニット２１と画像処理ユニット２２とが協働することで撮像処理が実現される。具体的には、画像処理ユニット２２に設けられたＣＰＵ２２１が予め用意された制御プログラムを実行することで、撮像ユニット２１および画像処理ユニット２２の各部を制御して所定の動作を行わせる。

【0108】

撮像ユニット２１は、画像処理ユニット２２から与えられる撮像スケジュールにしたがい動作して、撮像対象物の撮像を行う。撮像により生成された画像データは画像メモリ２１４に記憶され、原画像１枚分に相当する画像データが取得されると、画像データは画像処理ユニット２２に転送される。すなわち、撮像ユニット２１は、画像処理を行わず、撮像対象物を撮像しこれにより得られた原画像に対応する画像データを出力する機能のみを有する。

【0109】

図１１は撮像ユニットの動作を示すフローチャートである。撮像ユニット２１は、画像処理ユニット２２から送信されてくる撮像スケジュールを受信し（ステップＳ３０１）、これに応じて撮像部１３の走査移動を実行する（ステップＳ３０２）。そして、撮像部１３が撮像スケジュールで指定された撮像位置に到達したタイミングで撮像を行い、得られた画像データを画像処理ユニット２２に送信する（ステップＳ３０３，Ｓ３０４）。

【0110】

１ライン分の走査撮像が終了すると（ステップＳ３０５）、画像処理ユニット２２からリトライ撮像指示が送信されたか否かを判断する（ステップＳ３０６）。リトライ撮像指示がなければ（ステップＳ３０６においてＮＯ）、撮像スケジュールにより指定された全ての撮像が終了するまで（ステップＳ３０７）、ステップＳ３０３に戻って上記処理を繰り返す。

【0111】

一方、リトライ撮像指示があった場合には（ステップＳ３０６においてＹＥＳ）、ステップＳ３０１に戻り、画像処理ユニット２２から与えられる新たな撮像スケジュールを受信して撮像を継続する。このように、撮像ユニット２１は、画像処理ユニット２２から与えられる制御指令に応じて従属的に動作し、撮像対象物の撮像を行う。

【0112】

図１２は画像処理ユニットの動作を示すフローチャートである。画像処理ユニット２２では、第１実施形態における撮像処理（図６）と同様に、撮像時の原画像の割り付け（ステップＳ４０１）、対象画像数Ｍ（ｉ）の決定（ステップＳ４０２）およびカウンタＣ（ｉ）の初期化（ステップＳ４０３）が行われる。そして、割り付け結果に応じて策定された撮像スケジュールが、撮像ユニット２１に送信される（ステップＳ４０４）。

【0113】

送信された撮像スケジュールに応じて撮像ユニット２２から送信される原画像１枚分の画像データを受信すると（ステップＳ４０５）、第１実施形態と同様に、当該画像データをメモリ２２４およびストレージ２２５に記憶保存する（ステップＳ４０６）。そして、メモリ２２４に記憶されている既存画像の中から算出対象画像が探索され、該当する既存画像があれば位置ずれ量の算出処理が実行される。第１実施形態と同様に、算出処理に使用された原画像Ｉｍ（ｉ）については、対応するカウンタＣ（ｉ）のカウント値がインクリメントされる（ステップＳ４０８）。

【0114】

そして、第１実施形態の変形例と同様に、１ライン分の走査撮像が終了した時点で（ステップＳ４０９）、リトライ撮像の要否が判断される（ステップＳ４１０）。その判断基準は第１実施形態と同様である。リトライ撮像が不要である場合には（ステップＳ４１０においてＮＯ）、各原画像Ｉｍ（ｉ）に対応するカウンタＣ（ｉ）の値が対象画像数Ｍ（ｉ）と比較され、これらが一致していれば画像データがメモリ２２４から解放される（ステップＳ４１１～Ｓ４１２）。全ての原画像につき処理が終了するまで（ステップＳ４１３）、ステップＳ４０５からの処理が繰り返される。全ての画像データが受信されて位置ずれ量算出処理が終了すると、その結果と、ストレージ２２５に記憶されている各原画像の画像データとに基づき画像の合成が行われる（ステップＳ４１４）。

【0115】

一方、リトライ撮像が必要と判断された場合には（ステップＳ４１０においてＹＥＳ）、第１実施形態の変形例と同様に、当該ラインの走査で取得された画像データおよびそれに基づく位置ずれ量の算出結果が破棄され（ステップＳ４２１）、カウンタＣ（ｉ）が修正される（ステップＳ４２２）。さらに、リトライ撮像を実行するための撮像スケジュールの修正が行われ（ステップＳ４２３）、撮像ユニット２１に対しリトライ撮像指示が送信される（ステップＳ４２４）。

【0116】

リトライ撮像指示を受けた撮像ユニット２１に対し、新たな撮像スケジュールを送信することで（ステップＳ４０４）、撮像ユニット２１に、修正後の撮像スケジュールに応じた撮像動作を行わせることができる。このようにして、それぞれ別体として構成された撮像ユニット２１と画像処理ユニット２２とを協働させて、第１実施形態の撮像装置１と同様の撮像処理を実行することができる。

【0117】

なお、この第２実施形態は、第１実施形態の変形例と同様に、１ライン分の走査撮像が終了した時点でリトライ撮像の必要性が生じる可能性があることを想定したものとなっている。しかしながら、第１実施形態と同様に、この想定をしない前提で処理フローを構成することも当然に可能である。

【0118】

また、ここでは画像処理ユニット２２が撮像ユニット２１に撮像スケジュールを送信し、撮像ユニット２１がこれを実行する構成としている。これに代えて、例えば画像処理ユニット２２が撮像スケジュールを実行し、必要なタイミングで走査移動指示や撮像指示等の制御指令を撮像ユニット２１に与える態様であってもよい。この場合には、撮像ユニット２１は、単に画像処理ユニット２２からの制御指令に応じて照明部１２および撮像部１３を動作させる機能のみ有すればよいこことなる。

【0119】

この実施形態の撮像装置２は、高度な演算機能を持たない既存の撮像ユニット２１と、一般的なハードウェア構成を有する汎用のコンピュータ装置である画像処理ユニット２２とを組み合わせ、コンピュータ装置に本発明に係るプログラムを実装することにより、既存の装置にはない新たな機能をもたらすものであると言える。

【0120】

＜その他＞
以上説明したように、上記第１実施形態の撮像装置１では、撮像部１３が本発明の「画像取得部」として機能している。また、制御部１４に設けられたＣＰＵ１４１が本発明の「位置ずれ量算出部」として、またメモリ１４４が本発明の「メモリ」としてそれぞれ機能している。一方、第２実施形態の撮像装置２では、撮像ユニット２１が本発明の「画像取得部」として機能している。また、画像処理ユニット２２のうちＣＰＵ２２１および画像処理部２２３が本発明の「画像処理部」として機能し、メモリ２２４が本発明の「メモリ」として機能している。

【0121】

なお、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能である。例えば、上記実施形態の撮像処理のうち、撮像に直接関与しない画像処理については、取得済みの画像データを用いた位置ずれ量算出処理として単独で実現することも可能である。このような処理は特定のハードウェア資源に依存するものではなく、例えば汎用コンピュータ装置により実行可能なプログラムとして、あるいはそれを非一時的に記録したコンピュータ読み取り可能な記録媒体として実用に供することが可能である。

【0122】

また、上記した原画像の割り付けは単なる一例であり、目的に応じて、また本発明の趣旨に沿って適宜に設定されるべきものである。例えば特許文献２に記載の技術のように、撮像対象物に対する原画像の割り付けが動的に設定される態様においても、本発明は有効に機能するものである。

【0123】

また、上記実施形態の撮像装置は、撮像素子としてのエリアイメージセンサを有し撮像対象物に対し走査移動する撮像部１３により間欠的に撮像を行うことで原画像を取得している。これ以外にも、例えばリニアイメージセンサを撮像素子とする撮像装置においても本発明は有効である。この場合、リニアイメージセンサの長手方向に交わる方向を主走査方向として走査撮像を行うことで、主走査方向に長く延びる帯状の原画像を取得することができる。そして、リニアイメージセンサを副走査方向に移動させながら撮像を行うことで、副走査方向に撮像視野の異なる複数の原画像を取得することができる。これらの原画像の間で位置ずれ量を算出する目的に、本発明を適用することが可能である。

【0124】

以上、具体的な実施形態を例示して説明してきたように、本発明に係る撮像方法において、例えば、原画像の各々について、当該原画像との間で位置ずれ量の算出が行われた算出対象の数を計数しておき、該計数結果と対象画像数とを比較してメモリからの画像データの解放を実行するか否かを判断することができる。このような構成によれば、実質的には位置ずれ量の算出を行った回数を計数することとなり、これにより当該原画像が以後の位置ずれ量算出処理に使用されるか否かを判断することが可能である。

【0125】

また例えば、位置ずれ量に基づき、複数の原画像を合成する工程をさらに設けることができる。このような構成によれば、不自然なつなぎ目のないスムーズな合成画像を作成することが可能である。

【0126】

また例えば、原画像を撮像する撮像部と撮像対象物とを相対移動させながら複数回撮像を行うことで、複数の原画像を取得することができる。このような撮像では、移動時の位置の変動や撮像タイミングのずれによる原画像間の位置ずれが生じ得るが、本発明を適用することで位置ずれ量を算出し補正することが可能となる。

【0127】

この場合、例えば、撮像対象物に対し撮像部を所定の主走査方向に相対移動させながら所定回数の撮像を実行する走査撮像動作を、主走査方向と交わる副走査方向に位置を異ならせて複数回実行し、１回の走査撮像動作により取得されメモリに前記画像データが記憶された原画像の数が、所定回数と一致したときに、メモリからの画像データの解放を実行するようにしてもよい。このような構成によれば、１回の走査撮像動作中に何らかの原因で画像データの欠落が生じたとしても、この時点ではそれまでに取得された画像データはメモリに残されているため、算出処理に必要な画像データが消去されてしまうことは回避される。

【0128】

さらにこの場合、１回の走査撮像動作により取得されメモリに画像データが記憶された原画像の数が所定回数と一致しないときには、副走査方向の同じ位置で走査撮像動作を再実行してもよい。こうすることで、新たに取得された画像データを用いて遅滞なく処理を継続することができる。

【産業上の利用可能性】

【0129】

この発明は、撮像対象物を複数の撮像視野に分割して撮像する技術全般に適用することが可能であり、特に、分割撮像された原画像間の位置ずれを把握する必要がある用途に好適である。例えば、複数の原画像を合成して最終的に１つの画像を作成する目的に有効である。

【符号の説明】

【0130】

１，２ 撮像装置
１１ 試料容器
１３ 撮像部（画像取得部）
２１ 撮像ユニット（画像取得部）
２２ 画像処理ユニット（画像処理部）
１４１，２２１ ＣＰＵ（画像処理部）
１４４，２２４ メモリ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】