特開 2023-159649 画像取得装置および画像取得方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023159649

(43)【公開日】2023-11-01

(54)【発明の名称】画像取得装置および画像取得方法

(51)【国際特許分類】

   G06T 7/70 20170101AFI20231025BHJP

   G06T 3/00 20060101ALI20231025BHJP

【ＦＩ】

G06T7/70 Z

G06T3/00 780

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2022069481

(22)【出願日】2022-04-20

(71)【出願人】

【識別番号】000207551

【氏名又は名称】株式会社ＳＣＲＥＥＮホールディングス

(74)【代理人】

【識別番号】100110847

【弁理士】

【氏名又は名称】松阪 正弘

(74)【代理人】

【識別番号】100136526

【弁理士】

【氏名又は名称】田中 勉

(74)【代理人】

【識別番号】100136755

【弁理士】

【氏名又は名称】井田 正道

(72)【発明者】

【氏名】安田 拓矢

【テーマコード（参考）】

5B057

5L096

【Ｆターム（参考）】

5B057CA12

5B057CB12

5B057CC01

5B057CD02

5B057CD03

5B057CE10

5B057DA16

5B057DB02

5L096DA01

5L096EA14

5L096EA39

5L096FA67

5L096FA69

5L096FA77

5L096GA51

5L096JA03

5L096JA09

(57)【要約】

【課題】複数の撮像画像を精度よく結合する。
【解決手段】画像取得装置では、対象物上の所定領域を分割した複数の分割領域をそれぞれ示すとともに、互いに隣接する分割領域を示す各画像ペア７２において部分的に重なる重複領域７３が設けられる、複数の撮像画像７１が取得される。各画像ペア７２の重複領域７３において、テンプレートマッチングにより類似度の分布を示す類似度マップ７４を生成することにより、各画像ペア７２における相対的な位置ずれ量が特定される。類似度マップ７４において方向性が生じている画像ペア７２を特定画像ペア７２として、特定画像ペア７２の重みを他の画像ペア７２よりも小さくしつつ、複数の撮像画像７１に含まれる複数の画像ペア７２における位置ずれ量に基づいて、複数の撮像画像７１の結合位置が決定される。これにより、複数の撮像画像７１を精度よく結合することができる。
【選択図】図６Ｂ

【特許請求の範囲】

【請求項1】

対象物の画像を取得する画像取得装置であって、
対象物上の所定領域を分割した複数の分割領域をそれぞれ示すとともに、互いに隣接する分割領域を示す各画像ペアにおいて部分的に重なる重複領域が設けられる、複数の撮像画像を取得する撮像画像取得部と、
前記各画像ペアの前記重複領域において、テンプレートマッチングにより類似度の分布を示す類似度マップを生成することにより、前記各画像ペアにおける相対的な位置ずれ量を特定する位置ずれ量特定部と、
前記類似度マップにおいて方向性が生じている画像ペアを特定画像ペアとして、前記特定画像ペアの重みを他の画像ペアよりも小さくしつつ、前記複数の撮像画像に含まれる複数の画像ペアにおける位置ずれ量に基づいて、前記複数の撮像画像の結合位置を決定する結合位置決定部と、
前記結合位置に従って前記複数の撮像画像を結合し、結合画像を生成する結合画像生成部と、
を備えることを特徴とする画像取得装置。

【請求項2】

請求項１に記載の画像取得装置であって、
前記位置ずれ量特定部が、前記特定画像ペアの前記類似度マップの方向性の強さを示す評価値を取得し、
前記結合位置決定部が、前記特定画像ペアの重みを、前記評価値を用いて決定することを特徴とする画像取得装置。

【請求項3】

請求項１または２に記載の画像取得装置であって、
前記位置ずれ量特定部が、前記各画像ペアの前記類似度マップに対して方向性の有無を判定する判定処理を実行することを特徴とする画像取得装置。

【請求項4】

請求項３に記載の画像取得装置であって、
所定の画像ペアに対して、前記画像ペアが示す対象物上の領域に基づいて前記類似度マップの方向性の予定角度が予め設定されており、
前記位置ずれ量特定部が、前記画像ペアに対して前記予定角度およびその近傍の角度に関してのみ前記判定処理を実行することを特徴とする画像取得装置。

【請求項5】

請求項３に記載の画像取得装置であって、
前記複数の画像ペアにおいて、特定画像ペア候補が対象物上の領域に基づいて予め決定されており、
前記位置ずれ量特定部が、前記特定画像ペア候補に対してのみ前記判定処理を実行することを特徴とする画像取得装置。

【請求項6】

請求項１または２に記載の画像取得装置であって、
前記位置ずれ量特定部が、前記特定画像ペアの前記類似度マップの方向性の向きを示すマップ角度を取得することを特徴とする画像取得装置。

【請求項7】

請求項６に記載の画像取得装置であって、
所定の画像ペアに対して、前記画像ペアが示す対象物上の領域に基づいて前記類似度マップの方向性の予定角度が予め設定されており、
前記結合位置決定部が、前記画像ペアの重みを、前記マップ角度と前記予定角度との差に基づいて決定することを特徴とする画像取得装置。

【請求項8】

対象物の画像を取得する画像取得方法であって、
ａ）対象物上の所定領域を分割した複数の分割領域をそれぞれ示すとともに、互いに隣接する分割領域を示す各画像ペアにおいて部分的に重なる重複領域が設けられる、複数の撮像画像を取得する工程と、
ｂ）前記各画像ペアの前記重複領域において、テンプレートマッチングにより類似度の分布を示す類似度マップを生成することにより、前記各画像ペアにおける相対的な位置ずれ量を特定する工程と、
ｃ）前記類似度マップにおいて方向性が生じている画像ペアを特定画像ペアとして、前記特定画像ペアの重みを他の画像ペアよりも小さくしつつ、前記複数の撮像画像に含まれる複数の画像ペアにおける位置ずれ量に基づいて、前記複数の撮像画像の結合位置を決定する工程と、
ｄ）前記結合位置に従って前記複数の撮像画像を結合し、結合画像を生成する工程と、
を備えることを特徴とする画像取得方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像取得装置および画像取得方法に関する。

【背景技術】

【0002】

従来、対象物を異なる位置で複数回に分けて撮像し、画像処理により１枚の画像に合成する手法が知られている。例えば、特許文献１では、隣接する撮像画像にオーバーラップ領域をもたせて複数枚の撮像画像が撮像される。隣接する撮像画像間で対応点ペアがオーバーラップ領域に設定され、対応点ペア等に基づいて撮像画像間の相対的な位置ずれ量が算出される。算出した位置ずれ量に基づいて撮像画像間の相対的な位置ずれを補正して繋ぎ合わせることにより１枚の広視野画像が生成される。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】国際公開第２０１９／０５３８３９号

【発明の概要】

【発明が解決しようとする課題】

【0004】

例えば、画像取得の対象物が容器に入っている場合に、上記のように、互いに隣接する撮像画像に重複領域（オーバーラップ領域）を設けて複数の撮像画像を取得すると、重複領域において容器の縁が映り込む場合がある。容器の縁では、対象物よりもコントラストが高いことが多く、このような重複領域において求められる位置ずれ量は信頼性が低くなる、すなわち、異常である可能性が高い。したがって、全ての位置ずれ量を考慮して複数の撮像画像を結合する際に、異常な位置ずれ量の影響により、複数の撮像画像を精度よく結合することができなくなる。

【0005】

本発明は上記課題に鑑みなされたものであり、複数の撮像画像を精度よく結合することを目的としている。

【課題を解決するための手段】

【0006】

本発明の態様１は、対象物の画像を取得する画像取得装置であって、対象物上の所定領域を分割した複数の分割領域をそれぞれ示すとともに、互いに隣接する分割領域を示す各画像ペアにおいて部分的に重なる重複領域が設けられる、複数の撮像画像を取得する撮像画像取得部と、前記各画像ペアの前記重複領域において、テンプレートマッチングにより類似度の分布を示す類似度マップを生成することにより、前記各画像ペアにおける相対的な位置ずれ量を特定する位置ずれ量特定部と、前記類似度マップにおいて方向性が生じている画像ペアを特定画像ペアとして、前記特定画像ペアの重みを他の画像ペアよりも小さくしつつ、前記複数の撮像画像に含まれる複数の画像ペアにおける位置ずれ量に基づいて、前記複数の撮像画像の結合位置を決定する結合位置決定部と、前記結合位置に従って前記複数の撮像画像を結合し、結合画像を生成する結合画像生成部とを備える。

【0007】

本発明の態様２は、態様１の画像取得装置であって、前記位置ずれ量特定部が、前記特定画像ペアの前記類似度マップの方向性の強さを示す評価値を取得し、前記結合位置決定部が、前記特定画像ペアの重みを、前記評価値を用いて決定する。

【0008】

本発明の態様３は、態様１または２の画像取得装置であって、前記位置ずれ量特定部が、前記各画像ペアの前記類似度マップに対して方向性の有無を判定する判定処理を実行する。

【0009】

本発明の態様４は、態様３の画像取得装置であって、所定の画像ペアに対して、前記画像ペアが示す対象物上の領域に基づいて前記類似度マップの方向性の予定角度が予め設定されており、前記位置ずれ量特定部が、前記画像ペアに対して前記予定角度およびその近傍の角度に関してのみ前記判定処理を実行する。

【0010】

本発明の態様５は、態様３（態様３または４であってもよい。）の画像取得装置であって、前記複数の画像ペアにおいて、特定画像ペア候補が対象物上の領域に基づいて予め決定されており、前記位置ずれ量特定部が、前記特定画像ペア候補に対してのみ前記判定処理を実行する。

【0011】

本発明の態様６は、態様１または２（態様１ないし５のいずれか１つであってもよい。）の画像取得装置であって、前記位置ずれ量特定部が、前記特定画像ペアの前記類似度マップの方向性の向きを示すマップ角度を取得する。

【0012】

本発明の態様７は、態様６の画像取得装置であって、所定の画像ペアに対して、前記画像ペアが示す対象物上の領域に基づいて前記類似度マップの方向性の予定角度が予め設定されており、前記結合位置決定部が、前記画像ペアの重みを、前記マップ角度と前記予定角度との差に基づいて決定する。

【0013】

本発明の態様８は、対象物の画像を取得する画像取得方法であって、ａ）対象物上の所定領域を分割した複数の分割領域をそれぞれ示すとともに、互いに隣接する分割領域を示す各画像ペアにおいて部分的に重なる重複領域が設けられる、複数の撮像画像を取得する工程と、ｂ）前記各画像ペアの前記重複領域において、テンプレートマッチングにより類似度の分布を示す類似度マップを生成することにより、前記各画像ペアにおける相対的な位置ずれ量を特定する工程と、ｃ）前記類似度マップにおいて方向性が生じている画像ペアを特定画像ペアとして、前記特定画像ペアの重みを他の画像ペアよりも小さくしつつ、前記複数の撮像画像に含まれる複数の画像ペアにおける位置ずれ量に基づいて、前記複数の撮像画像の結合位置を決定する工程と、ｄ）前記結合位置に従って前記複数の撮像画像を結合し、結合画像を生成する工程とを備える。

【発明の効果】

【0014】

本発明によれば、複数の撮像画像を精度よく結合することができる。

【図面の簡単な説明】

【0015】

【図1】画像取得装置の構成を示す図である。

【図2】コンピュータの構成を示す図である。

【図3】対象物の画像を取得する処理の流れを示す図である。

【図4】対象物を示す図である。

【図5】複数の撮像画像を示す図である。

【図6A】類似度マップを説明するための図である。

【図6B】類似度マップを説明するための図である。

【図7】複数の類似度マップを示す図である。

【図8】複数の画像ペアから特定された位置ずれ量を示す図である。

【図9】結合画像を示す図である。

【発明を実施するための形態】

【0016】

図１は、本発明の一の実施の形態に係る画像取得装置１の構成を示す図である。画像取得装置１は、対象物の画像を取得する装置である。本実施の形態における対象物は、例えば、シャーレ等の容器内の細胞である。画像取得装置１は、撮像画像取得部２と、コンピュータ３とを備える。図１では、コンピュータ３が実現する機能構成（位置ずれ量特定部４１、結合位置決定部４２および結合画像生成部４３）をブロックにて示している。

【0017】

撮像画像取得部２は、撮像部２１と、移動機構２２とを備える。撮像部２１は、撮像素子等を有し、対象物を撮像する。移動機構２２は、モータ、ボールねじ等を有し、対象物に対して撮像部２１を相対的に移動する。撮像画像取得部２が対象物を撮像する動作については後述する。撮像画像取得部２が撮像した画像（以下、「撮像画像」という。）はコンピュータ３に出力される。

【0018】

図２はコンピュータ３の構成を示す図である。コンピュータ３は、ＣＰＵ３１と、ＲＯＭ３２と、ＲＡＭ３３と、固定ディスク３４と、ディスプレイ３５と、入力部３６と、読取装置３７と、通信部３８と、ＧＰＵ３９と、バス３０とを含む一般的なコンピュータシステムの構成を有する。ＣＰＵ３１は、各種演算処理を行う。ＧＰＵ３９は、画像処理に関する各種演算処理を行う。ＲＯＭ３２は、基本プログラムを記憶する。ＲＡＭ３３および固定ディスク３４は、各種情報を記憶する。ディスプレイ３５は、画像等の各種情報の表示を行う。入力部３６は、作業者からの入力を受け付けるキーボード３６ａおよびマウス３６ｂを備える。読取装置３７は、光ディスク、磁気ディスク、光磁気ディスク、メモリカード等のコンピュータ読み取り可能な記録媒体３７１から情報の読み取りを行う。通信部３８は、撮像画像取得部２、および、外部の装置との間で信号を送受信する。バス３０は、ＣＰＵ３１、ＧＰＵ３９、ＲＯＭ３２、ＲＡＭ３３、固定ディスク３４、ディスプレイ３５、入力部３６、読取装置３７および通信部３８を接続する信号回路である。

【0019】

コンピュータ３では、事前に読取装置３７を介して記録媒体３７１からプログラム３７２が読み出されて固定ディスク３４に記憶されている。プログラム３７２はネットワークを介して固定ディスク３４に記憶されてもよい。ＣＰＵ３１およびＧＰＵ３９は、プログラム３７２に従ってＲＡＭ３３や固定ディスク３４を利用しつつ演算処理を実行する。ＣＰＵ３１およびＧＰＵ３９は、コンピュータ３において演算部として機能する。ＣＰＵ３１およびＧＰＵ３９以外に演算部として機能する他の構成が採用されてもよい。

【0020】

画像取得装置１では、コンピュータ３がプログラム３７２に従って演算処理等を実行することにより、図１中にブロックにて示す機能構成が実現される。すなわち、コンピュータ３のＣＰＵ３１、ＧＰＵ３９、ＲＯＭ３２、ＲＡＭ３３、固定ディスク３４およびこれらの周辺構成は、位置ずれ量特定部４１と、結合位置決定部４２と、結合画像生成部４３とを実現する。これらの機能の全部または一部は専用の電気回路により実現されてもよい。位置ずれ量特定部４１、結合位置決定部４２および結合画像生成部４３の詳細については後述する。

【0021】

図３は、画像取得装置１が対象物の画像を取得する処理の流れを示す図である。画像取得装置１による対象物の画像の取得では、まず、撮像画像取得部２により複数の撮像画像が取得される（ステップＳ１１）。図４の例では、対象物９が容器９１内の細胞であり、平面視した対象物９において画像を取得すべき所定領域（ここでは、全体）を分割した複数の分割領域８１が設定される。撮像画像取得部２では、移動機構２２により撮像部２１を複数の分割領域８１の上方に順に配置することにより、複数の分割領域８１をそれぞれ示す複数の撮像画像が取得される。本処理例では、撮像画像がグレースケール画像であるものとするが、撮像画像がカラー画像であってもよい。

【0022】

このとき、図４の上下方向または左右方向において、互いに隣接する２個の分割領域８１を示す２個の撮像画像を「画像ペア」と呼ぶと、各画像ペアでは、部分的に重なる重複領域が設けられる。例えば、ある撮像画像が示す分割領域８１について、上下左右にそれぞれ隣接する４個の分割領域８１が存在する場合、当該撮像画像は、当該４個の分割領域８１を示す４個の撮像画像（以下、「隣接撮像画像」という。）のそれぞれと画像ペアを構成する。また、当該撮像画像では、当該４個の隣接撮像画像のそれぞれと部分的に重なる重複領域が設けられる。

【0023】

図５は、互いに隣接する４個の撮像画像７１を示す図であり、各撮像画像７１における画素の配列方向（左右方向および上下方向）をｘ方向およびｙ方向として表している。図５の左上の撮像画像７１は、右上の撮像画像７１と画像ペア７２を構成し、両者は左右方向に隣接する２個の分割領域８１を示す。右上の撮像画像７１は、右下の撮像画像７１とも画像ペア７２を構成し、両者は上下方向に隣接する２個の分割領域８１を示す。右下の撮像画像７１は、左下の撮像画像７１とも画像ペア７２を構成し、両者は左右方向に隣接する２個の分割領域８１を示す。左下の撮像画像７１は、左上の撮像画像７１とも画像ペア７２を構成し、両者は上下方向に隣接する２個の分割領域８１を示す。図５では、各画像ペア７２における重複領域７３を太線の矩形にて囲んでいる。

【0024】

画像ペア７２の重複領域７３は、同じサイズの領域であり、撮像画像取得部２により理想的な撮像画像７１が取得された場合（すなわち、撮像時に位置ずれ等が生じることなく撮像画像７１が取得された場合）に、一方の撮像画像７１に含まれる重複領域７３が示す対象物９上の領域と、他方の撮像画像７１に含まれる重複領域７３が示す対象物９上の領域とが一致する。実際には、移動機構２２による撮像部２１の移動量の誤差等の影響により、画像ペア７２における２個の重複領域７３が示す領域は、完全には一致しない。

【0025】

位置ずれ量特定部４１では、各画像ペア７２の重複領域７３におけるテンプレートマッチングにより類似度マップ（スコアマップとも呼ばれる。）が生成される（ステップＳ１２）。図６Ａおよび図６Ｂは、類似度マップを説明するための図であり、上段に画像ペア７２を示し、下段に類似度マップ７４を示している。図６Ａおよび図６Ｂのそれぞれの画像ペア７２は、左右方向に隣接する２個の分割領域８１を示す。

【0026】

類似度マップ７４の生成では、例えば、画像ペア７２の一方の撮像画像７１に含まれる重複領域７３において外縁部を削除した画像（すなわち、重複領域７３の中央部を示す画像）が抽出され、当該画像の中央が、他方の撮像画像７１に含まれる重複領域７３の中央に重ねられる。そして、互いに重なる画素の値の差の二乗和が求められ、当該二乗和が小さいほど大きくなる値（例えば、二乗和の逆数）が類似度として算出される。当該類似度は、類似度マップ７４の原点の値となる。位置ずれ量特定部４１では、一方の重複領域７３の上記画像を他方の重複領域７３に対してｘ方向およびｙ方向に移動しつつ、各位置において上記類似度が求められる。これにより、上記画像の当該他方の重複領域７３に対する各相対位置での類似度を示す多値の類似度マップ７４が生成される（図６Ａおよび図６Ｂの下段参照）。類似度マップ７４は、画像ペア７２の重複領域７３の類似度の分布を示す。類似度マップ７４の生成では、正規化相関等、類似度を示す他の値が用いられてよい。図６Ａおよび図６Ｂの下段の類似度マップ７４では、類似度が大きいほど、濃度が高く（黒く）なる。

【0027】

類似度マップ７４が生成されると、各画像ペア７２における相対的な位置ずれ量が特定される（ステップＳ１３）。位置ずれ量は、例えば、類似度マップ７４における原点から類似度が最大となる位置までのベクトルで表される。類似度マップ７４に対して平滑化フィルタ等を施した画像から位置ずれ量が求められてもよい。

【0028】

ここで、図６Ａの画像ペア７２と、図６Ｂの画像ペア７２とを比較する。図６Ａの画像ペア７２では、重複領域７３が対象物９のみを示すため、類似度マップ７４では、対象物９自体の特徴に基づいて、類似度が高い点状の領域が出現する。一方、図６Ｂの画像ペア７２では、重複領域７３が対象物９のみならず、容器９１の縁の一部を示す。容器９１の縁では、対象物９よりもコントラストが高いため、類似度マップ７４では、類似度が高い領域が、容器９１の縁の方向に延びる帯状に出現しやすくなる。このように、類似度が高い領域が特定の方向に延びて存在する場合、類似度が最大となる位置が当該領域に含まれやすくなり、異常である可能性が高い位置ずれ量、すなわち、信頼性が低い位置ずれ量が取得されてしまう。そこで、画像取得装置１による以下の処理では、信頼性が低い位置ずれ量の影響が抑制される。

【0029】

図７は、図５の４個の画像ペア７２から生成された４個の類似度マップ７４を示す図であり、４個の類似度マップ７４の位置は、当該４個の画像ペア７２の位置にそれぞれ対応する。図８は、当該４個の画像ペア７２から特定された位置ずれ量を示す図であり、各画像ペア７２における相対的な位置ずれ量を、当該画像ペア７２を構成する２つの撮像画像７１の間に配置した矢印７９（１つの矢印に符号７９ａを付す。）により示している。図８中の左上および右上の撮像画像７１の画像ペア７２における位置ずれ量（矢印７９ａ参照）は、容器９１の縁の影響により、異常となっている。

【0030】

位置ずれ量特定部４１では、位置ずれ量が特定されると、各画像ペア７２の類似度マップ７４に対して方向性の有無を判定する判定処理が実行される（ステップＳ１４）。判定処理の一例では、類似度マップ７４を二値化して二値化画像を生成することにより、類似度が高い領域（以下、「注目領域」ともいう。）が特定される。続いて、当該二値化画像において注目領域の楕円近似が行われ、近似された楕円の長軸と短軸との長さの比（長軸長さ／短軸長さ）が所定値以上である場合に、類似度マップ７４に方向性が有ると判定される。一方、当該長さの比が所定値未満である場合、類似度マップ７４に方向性が無いと判定される。注目領域の楕円近似を行う前に、注目領域の面積が算出され、所定面積未満である場合に、類似度マップ７４に方向性が無いと判定されてもよい。類似度マップ７４の二値化閾値は、周知の手法により決定されてよく、固定値であってもよい。以下の説明では、類似度マップ７４に方向性が有ると判定された画像ペア７２を「特定画像ペア７２」という。

【0031】

その後、特定画像ペア７２に対して、類似度マップ７４の方向性の向きを示すマップ角度が取得される（ステップＳ１５）。マップ角度は、例えば、類似度マップ７４の二値化画像に対してハフ変換を行うことにより取得可能である。マップ角度は、二値化画像において慣性主軸を求めたり、楕円近似を行う等、他の周知な手法にて求められてもよい。

【0032】

上記判定処理およびマップ角度の取得（ステップＳ１４，Ｓ１５）は、多値の類似度マップ７４において行うことも可能である。例えば、類似度マップ７４において、二次元ガウシアンフィッティング（各角度におけるガウシアンフィッティング）を行い、分布の広がり（標準偏差）に角度の偏りがあるか否かが確認される。偏りの有無は、例えば、複数の角度における標準偏差の最大値と最小値との比（最大値／最小値）により判定可能である。当該比が所定値以上である場合に、類似度マップ７４に方向性が有ると判定され、標準偏差が最大の角度がマップ角度として取得される。

【0033】

以上のように、位置ずれ量特定部４１では、類似度マップ７４において類似度が高い領域が方向性を示す（すなわち、類似度マップ７４が方向性を示す）場合に、当該類似度マップ７４の画像ペア７２が特定画像ペア７２とされ、マップ角度が取得される。図７の例では、上側の類似度マップ７４が方向性を示しており、当該類似度マップ７４に対応する図８の左上および右上の撮像画像７１の画像ペア７２が、特定画像ペア７２として特定される。なお、マップ角度は、必要に応じて取得されるのみであってもよい。

【0034】

結合位置決定部４２では、複数の撮像画像７１に含まれる複数の画像ペア７２における位置ずれ量に基づいて、複数の撮像画像７１の最終的な位置である結合位置が決定される（ステップＳ１６）。ここで、既述のように、各撮像画像７１は、当該撮像画像７１の分割領域８１に隣接する全ての分割領域８１の撮像画像７１（すなわち、隣接撮像画像７１）との間で画像ペア７２を構成する。また、各隣接撮像画像７１は、他の撮像画像７１との間でも画像ペア７２を構成する。したがって、各撮像画像７１の結合位置は、当該撮像画像７１が構成する複数の画像ペア７２における位置ずれ量のみならず、他の画像ペア７２における位置ずれ量の影響も受ける。

【0035】

結合位置決定部４２では、結合位置に配置された各撮像画像７１と各隣接撮像画像７１との間における最終的な位置ずれ量、すなわち、各画像ペア７２の最終的な位置ずれ量と、当該画像ペア７２に対して上記ステップＳ１３にて特定された位置ずれ量（以下、「元の位置ずれ量」という。）との差が誤差として扱われる。そして、ｘ方向およびｙ方向のそれぞれについて、特定画像ペア７２を除く複数（全て）の画像ペア７２における誤差の二乗和が最小となるように、結合位置が決定される。

【0036】

以上のように、本処理例では、特定画像ペア７２を除外した上で、複数の撮像画像７１の結合位置が最小二乗法により決定される。結合位置の決定では、特定画像ペア７２における元の位置ずれ量を０に変更し、特定画像ペア７２を含む複数（全て）の画像ペア７２における誤差の二乗和が最小となるように、結合位置が決定されてもよい。また、特定画像ペア７２における誤差に対して、他の画像ペア７２（特定画像ペア７２以外の画像ペア７２）における誤差よりも小さい所定の重みを設定し、重み付け最小二乗法により結合位置が決定されてもよい。結合位置の決定において、特定画像ペア７２を除外する場合、および、特定画像ペア７２における元の位置ずれ量を０に変更する場合のいずれも、実質的には、結合位置の決定における特定画像ペア７２の影響が小さくなるように、特定画像ペア７２の重み（元の位置ずれ量の重み）を他の画像ペア７２よりも小さくして、複数の撮像画像７１の結合位置が決定されているといえる。結合位置の決定では、最小二乗法以外に、誤差逆伝搬法等が用いられてよく、誤差を最小化する様々な手法を用いることが可能である。

【0037】

結合画像生成部４３では、上記結合位置に従って複数の撮像画像７１を結合することにより、図９に示す結合画像７０が生成される（ステップＳ１７）。ここで、図８の例において、左上および右上の撮像画像７１である特定画像ペア７２の元の位置ずれ量も考慮して結合位置を決定する比較例の処理について述べる。比較例の処理では、矢印７９ａで示す位置ずれ量の影響により、左上および右上の撮像画像７１の相対的な位置が、理想的な位置から大きくずれてしまう。この影響により、他の撮像画像７１においてもずれが生じやすくなる。図９では、比較例の処理において右上の撮像画像７１が配置される位置を二点鎖線の矩形にて示している。これに対し、本処理例では、特定画像ペア７２の重みを小さくして結合位置を決定することにより、図９に示す結合画像７０において、特定画像ペア７２に起因する位置ずれが抑制される。

【0038】

画像取得装置１では、各特定画像ペア７２に対して、類似度マップ７４の方向性の強さを示す評価値が取得され、結合位置の決定において当該評価値が利用されてもよい。一例では、ステップＳ１５においてマップ角度を取得する際に（ステップＳ１４において判定処理を実行する際であってもよい。）、上記評価値が算出される。

【0039】

既述のように、類似度マップ７４において類似度が高い領域（すなわち、注目領域）を示す二値化画像を生成し、当該二値化画像のハフ変換によりマップ角度を取得する場合、例えば、ハフ変換におけるカウント数が評価値とされる。二値化画像において慣性主軸を求める場合、例えば、主軸方向に見たときの（主軸上に投影したときの）注目領域に含まれる画素の分布の広がり（例えば、当該画素の座標の標準偏差）が評価値とされる。二値化画像において注目領域の楕円近似を行う場合、例えば、近似された楕円の長軸と短軸との長さの比（長軸長さ／短軸長さ）が評価値とされる。類似度マップ７４において、二次元ガウシアンフィッティングを行う場合、例えば、複数の角度における標準偏差の最大値と最小値との比や、最大値自体の大きさが評価値とされる。上記評価値は、類似度マップ７４の方向性が強いほど、大きい値となり、マップ角度の信頼性を示すスコアと捉えることが可能である。また、上記評価値は、特定画像ペア７２における位置ずれ量の信頼性の低さを示すものと捉えることも可能である。

【0040】

ステップＳ１６では、 例えば、特定画像ペア７２における誤差に対して評価値の逆数が重みとして設定される。特定画像ペア７２に対する重みは、他の画像ペア７２に対する重みよりも小さく、かつ、評価値が大きいほど小さくなるものであるならば、評価値の逆数以外であってもよい。その後、重み付け最小二乗法により結合位置が決定される。これにより、位置ずれ量の信頼性が低い特定画像ペア７２ほど、結合位置の決定における影響が小さくなる。結合位置の決定において誤差逆伝搬法等の他の手法を用いる場合も、結合位置の決定における特定画像ペア７２の影響が小さくなるように、特定画像ペア７２の重みが評価値を用いて決定されてよい。

【0041】

位置ずれ量特定部４１において、各画像ペア７２の類似度マップ７４に対して方向性の有無を判定する判定処理（ステップＳ１４）が省略され、全ての画像ペア７２に対して評価値が取得されてもよい。この場合、結合位置決定部４２では、評価値が閾値よりも大きい画像ペア７２が特定画像ペア７２として扱われ、結合位置の決定において除外される。当該閾値は、予め定められた値（固定値）であってもよく、全ての画像ペア７２の評価値から求められる値（例えば、評価値の平均値に標準偏差を足した値）等であってもよい。このように、評価値が絶対的または相対的に大きい画像ペア７２が、特定画像ペア７２として扱われる。結合位置の決定において、全ての画像ペア７２に対して評価値に基づく重みを設定してもよく、この場合、比較的小さい重みが設定される画像ペア７２は、実質的に特定画像ペア７２として扱われているといえる。

【0042】

以上に説明したように、画像取得装置１では、互いに隣接する分割領域８１を示す各画像ペア７２において部分的に重なる重複領域７３が設けられる複数の撮像画像７１が、撮像画像取得部２により取得される。位置ずれ量特定部４１では、各画像ペア７２の重複領域７３において、テンプレートマッチングにより類似度の分布を示す類似度マップ７４を生成することにより、各画像ペア７２における相対的な位置ずれ量が特定される。結合位置決定部４２では、類似度マップ７４において方向性が生じている画像ペア７２を特定画像ペア７２として、特定画像ペア７２の重みを他の画像ペア７２よりも小さくしつつ、複数の撮像画像７１に含まれる複数の画像ペア７２における位置ずれ量に基づいて、複数の撮像画像７１の結合位置が決定される。結合画像生成部４３では、結合位置に従って複数の撮像画像７１を結合して結合画像７０が生成される。このように、結合位置の決定において、位置ずれ量の信頼性が低い（異常である可能性が高い）特定画像ペア７２の影響を小さくすることにより、複数の撮像画像７１を精度よく結合して、繋ぎ目の美しい結合画像７０を安定して生成することができる。

【0043】

好ましくは、位置ずれ量特定部４１により、特定画像ペア７２の類似度マップ７４の方向性の強さを示す評価値が取得され、結合位置決定部４２では、特定画像ペア７２の重みが当該評価値を用いて決定される。これにより、類似度マップ７４の方向性の強さに基づいて特定画像ペア７２の重みを適切に決定する、具体的には、位置ずれ量の信頼性が低い特定画像ペア７２ほど重みを小さくすることができる。その結果、結合位置をより精度よく決定することができる。

【0044】

好ましくは、位置ずれ量特定部４１では、各画像ペア７２の類似度マップ７４に対して方向性の有無を判定する判定処理が実行される。これにより、特定画像ペア７２を容易に特定することができ、結合位置の決定において、特定画像ペア７２の影響をより確実に小さくすることができる。

【0045】

ところで、対象物９を収容する容器９１の形状が既知である場合、複数の撮像画像７１のうち、重複領域７３において容器９１の縁が映り込む撮像画像７１が予測可能であり、当該重複領域７３における縁の部位の向きも予測可能である。換言すると、容器９１の縁が映り込む予定の重複領域７３を含む画像ペア７２を特定画像ペア候補として予め決定し、当該重複領域７３における当該縁の向きを、類似度マップ７４の方向性の予定角度として予め設定することが可能である。以下、特定画像ペア候補および方向性の予定角度を利用した処理例について説明する。

【0046】

本処理例では、位置ずれ量特定部４１により複数の画像ペア７２において位置ずれ量を特定した後（図３：ステップＳ１３）、特定画像ペア候補に対してのみ、類似度マップ７４における方向性の有無を判定する判定処理が実行される（ステップＳ１４）。このとき、予定角度、および、その近傍の角度についてのみ、判定処理が実行される。具体的には、判定処理において二次元ガウシアンフィッティングを行う場合、例えば、予定角度を中心とする予め設定された角度範囲（例えば、１０～９０度の角度範囲）内においてのみ、ガウシアンフィッティングが行われる。そして、これらの角度における標準偏差の最大値が所定値以上である場合に、類似度マップ７４に方向性が有ると判定される。これにより、特定画像ペア候補から特定画像ペア７２が特定される。この場合、マップ角度は、標準偏差の最大値が得られる角度である（ステップＳ１５）。二次元ガウシアンフィッティング以外の判定処理を行う場合に、処理を行う角度が上記角度範囲内に制限されてもよい。結合位置の決定および結合画像の生成（ステップＳ１６～Ｓ１７）については、上記と同様である。

【0047】

以上のように、本処理例では、複数の画像ペア７２において、特定画像ペア候補が対象物９上の領域に基づいて予め決定される。位置ずれ量特定部４１では、特定画像ペア候補に対してのみ判定処理が実行される。これにより、全ての画像ペア７２に対して判定処理を実行する場合に比べて、特定画像ペア７２を短時間で特定することができる。また、特定画像ペア７２が誤って特定されることを防止または抑制する、すなわち、特定画像ペア７２を安定して特定することも可能となる。

【0048】

また、所定の画像ペア７２（上記の例では、特定画像ペア候補）に対して、当該画像ペア７２が示す対象物９上の領域に基づいて類似度マップ７４の方向性の予定角度が予め設定される。位置ずれ量特定部４１では、当該画像ペア７２に対して、予定角度およびその近傍の角度に関してのみ判定処理が実行される。これにより、全ての角度に関して判定処理を実行する場合に比べて、判定処理を短時間で行うことができる。また、特定画像ペア７２を安定して特定することも可能となる。

【0049】

特定画像ペア候補の情報は、結合位置の決定において用いられてもよい。この場合、位置ずれ量特定部４１では、例えば、全ての画像ペア７２に対して判定処理を行うことにより特定画像ペア７２が特定される。結合位置決定部４２では、結合位置を決定する際に、特定画像ペア候補に含まれる特定画像ペア７２のみの重みが他の画像ペア７２よりも小さくされる（特定画像ペア候補に含まれる特定画像ペア７２のみが除外されてもよい。）。一方、特定画像ペア候補に含まれない特定画像ペア７２は、通常の画像ペア７２（特定画像ペア７２ではない画像ペア７２）として扱われる、すなわち、結合位置の決定において重みが小さくされない。これにより、対象物９自体の特徴により、類似度マップ７４において方向性が生じている画像ペア７２の影響が、結合位置の決定において小さくされることを防止または抑制することができ、複数の撮像画像７１をより精度よく結合することができる。

【0050】

予定角度の情報は、結合位置の決定において用いられてもよい。例えば、結合位置決定部４２では、予定角度が設定されている各特定画像ペア７２（すなわち、特定画像ペア候補に含まれる特定画像ペア７２）に対して、ステップＳ１５で取得されるマップ角度と当該予定角度との差（絶対値）が求められる。そして、当該差が所定値以下である特定画像ペア７２は、結合位置の決定において除外される。一方、当該差が所定値よりも大きい特定画像ペア７２は、通常の画像ペア７２として扱われ、結合位置の決定に用いられる。予定角度が設定されていない特定画像ペア７２も同様に、通常の画像ペア７２として扱われてよい。また、重み付け最小二乗法等により結合位置を決定する際には、予定角度が設定されている各特定画像ペア７２について、マップ角度と当該予定角度との差が小さいほど当該特定画像ペア７２の重みが小さくされる。予定角度が設定されていない特定画像ペア７２は、通常の画像ペア７２として扱われてよい。

【0051】

以上のように、本処理例では、所定の画像ペア７２（上記の例では、特定画像ペア候補）に対して、当該画像ペア７２が示す対象物９上の領域に基づいて類似度マップ７４の方向性の予定角度が予め設定される。結合位置決定部４２では、画像ペア７２の重みが、マップ角度と予定角度との差に基づいて決定される。これにより、位置ずれ量が異常である可能性が高い画像ペア７２の影響（重み）を小さくし、位置ずれ量が異常である可能性が低い画像ペア７２の影響を適切に反映して、結合位置を精度よく取得することが可能となる。

【0052】

上記画像取得装置１および画像取得方法では様々な変形が可能である。

【0053】

平面視した容器９１の縁の形状は、円形には限定されず、矩形等の他の形状であってもよい。また、容器９１の縁以外の影響により、類似度マップ７４において方向性が生じる場合に、画像取得装置１が用いられてもよい。画像取得装置１は、対象物９とは異なる部材が映り込む撮像画像７１を含む、複数の撮像画像７１を結合する場合に特に適している。

【0054】

対象物９は、細胞には限定されず、各種基板や機械部品等であってもよい。対象物９は、必ずしも容器に収容される必要はない。複数の撮像画像７１が取得される対象物９の領域、すなわち、複数の分割領域８１が設定される領域は、対象物９の一部を示す領域であってもよい。

【0055】

上記実施の形態および各変形例における構成は、相互に矛盾しない限り適宜組み合わされてよい。

【符号の説明】

【0056】

１ 画像取得装置
２ 撮像画像取得部
９ 対象物
４１ 位置ずれ量特定部
４２ 結合位置決定部
４３ 結合画像生成部
７０ 結合画像
７１ 撮像画像
７２ 画像ペア
７３ 重複領域
７４ 類似度マップ
８１ 分割領域
Ｓ１１～Ｓ１７ ステップ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6A】

【図6B】

【図7】

【図8】

【図9】