(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-08-08
(45)【発行日】2024-08-19
(54)【発明の名称】計数方法、計数装置、及びプログラム
(51)【国際特許分類】
G01N 15/1409 20240101AFI20240809BHJP
G01N 15/075 20240101ALI20240809BHJP
G01N 15/1429 20240101ALI20240809BHJP
G01N 15/14 20240101ALI20240809BHJP
G01N 21/17 20060101ALI20240809BHJP
G01N 21/64 20060101ALI20240809BHJP
G06M 11/00 20060101ALI20240809BHJP
【FI】
G01N15/1409 100
G01N15/075
G01N15/1429
G01N15/14 C
G01N21/17 A
G01N21/64 E
G06M11/00 A
(21)【出願番号】P 2021554211
(86)(22)【出願日】2020-09-29
(86)【国際出願番号】 JP2020037039
(87)【国際公開番号】W WO2021079701
(87)【国際公開日】2021-04-29
【審査請求日】2023-07-18
(31)【優先権主張番号】P 2019194150
(32)【優先日】2019-10-25
(33)【優先権主張国・地域又は機関】JP
(31)【優先権主張番号】P 2020130145
(32)【優先日】2020-07-31
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】314012076
【氏名又は名称】パナソニックIPマネジメント株式会社
(74)【代理人】
【識別番号】100109210
【氏名又は名称】新居 広守
(74)【代理人】
【識別番号】100137235
【氏名又は名称】寺谷 英作
(74)【代理人】
【識別番号】100131417
【氏名又は名称】道坂 伸一
(72)【発明者】
【氏名】平岡 類
【審査官】佐々木 崇
(56)【参考文献】
【文献】特開2018-081069(JP,A)
【文献】国際公開第2017/187744(WO,A9)
【文献】特表2007-530197(JP,A)
【文献】特開2010-119314(JP,A)
【文献】特開2013-032934(JP,A)
【文献】特開2011-018269(JP,A)
【文献】国際公開第2019/202123(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G01N15/00-15/14
21/00-21/01
21/17-21/74
C12M 1/00- 3/10
C12Q 1/00- 3/00
G06T 7/00- 7/90
(57)【特許請求の範囲】
【請求項1】
標的物質と、外力の作用により移動する移動物質とを結合させた結合体を含み得る試料に対して前記外力を所定方向に作用させて、移動する前記結合体を計数する計数方法であって、
前記外力が作用されている、第1時点から前記第1時点よりも後の第2時点までの間において前記試料内の物体が撮像された画像を取得する取得ステップと、
前記物体によって形成された前記画像内の軌跡から、前記物体の移動方向を特定する特定ステップと、
前記所定方向と前記移動方向との一致度が第1閾値よりも大きい場合に、前記物体を前記結合体として計数する計数ステップと、を含む
計数方法。
【請求項2】
前記特定ステップでは、前記画像内における前記軌跡に対応する複数の画素の主成分分析による第1主成分の固有ベクトルに基づき前記物体の前記移動方向を特定する
請求項1に記載の計数方法。
【請求項3】
さらに、前記第1時点及び前記第2時点の間における前記物体の移動距離を算出する算出ステップを含み、
前記計数ステップでは、算出された前記移動距離と、前記第1時点及び前記第2時点の間の経過時間とを用いて、前記結合体として計数された前記物体の移動速度を出力する
請求項1又は2に記載の計数方法。
【請求項4】
前記算出ステップでは、前記画像内における前記軌跡に対応する複数の画素の主成分分析による第1主成分の固有値に基づき前記移動距離を算出する
請求項3に記載の計数方法。
【請求項5】
前記計数ステップでは、前記一致度が前記第1閾値よりも大きく、かつ、算出された前記移動距離が第2閾値よりも大きい場合に、前記物体を前記結合体として計数する
請求項3又は4に記載の計数方法。
【請求項6】
さらに、取得した前記画像内の複数の軌跡のうち、同一の前記物体によって形成された二つの軌跡どうしを一つの軌跡となるように連結するマージステップを含む
請求項1~5のいずれか一項に記載の計数方法。
【請求項7】
前記マージステップでは、取得した前記画像内の複数の軌跡のうち、各々の前記移動方向の類似度が第3閾値よりも大きい一の軌跡及び他の軌跡の組み合わせであって、各々の前記移動方向の前後における前記一の軌跡の前端と、前記他の軌跡の後端との距離が第4閾値以内である組み合わせにおいて、前記一の軌跡の前端と前記他の軌跡の後端とを連結して、前記一の軌跡の後端から前記他の軌跡の前端までの一つの軌跡とする
請求項6に記載の計数方法。
【請求項8】
前記画像は、前記第1時点から前記第2時点までの間に連続的に撮像された複数のフレーム画像の輝度値を加算して得られる合成画像である
請求項1~7のいずれか一項に記載の計数方法。
【請求項9】
前記移動物質は、誘電体であり、前記外力として電場が印加された際に誘電泳動力によって移動する
請求項1~8のいずれか一項に記載の計数方法。
【請求項10】
前記移動物質は、磁性体であり、前記外力として磁場勾配が印加された際に磁力によって移動する
請求項1~8のいずれか一項に記載の計数方法。
【請求項11】
前記標的物質は、ウイルスを構成する物質であり、前記移動物質は、前記移動物質の表面に固定された結合子であって、前記物質に特異的に結合する結合子を介して前記物質に結合する
請求項1~10のいずれか一項に記載の計数方法。
【請求項12】
標的物質と、外力の作用により移動する移動物質とを結合させた結合体を含み得る試料に対して前記外力を所定方向に作用させて、移動する前記結合体を計数する計数方法であって、
前記外力が作用されている、第1時点から前記第1時点よりも後の第2時点までの間において前記試料内の物体が撮像された画像を取得する取得ステップと、
前記物体によって形成された前記画像内の軌跡から、前記物体の移動方向を特定する特定ステップと、
前記所定方向と前記移動方向との一致度が第1閾値よりも大きい場合に、前記物体を前記結合体として計数する計数ステップと、を含む計数方法をコンピュータに実行させる
プログラム。
【請求項13】
試料に含まれる物質の複数の画像を含む画像を取得する取得部と、前記複数の画像は第1時点から前記第1時点よりも後の第2時点までの間に撮像され、前記第1時点から前記第2時点まで所定方向の外力が前記試料に加えられ、
前記複数の画像に基づいて、前記物質の移動方向を特定する特定部と、
前記所定方向と前記移動方向に基づいて前記物質を計数するかを決定する計数部を含み、
前記物質は第1物質と前記第1物質と結合した標的物質とを含み、前記第1物質は前記外力が前記第1物質に加えられた際に移動
し、
前記画像は合成画像であり、合成画像の位置iにおける輝度値は、前記第1時点から前記第2時点までの間に連続的に撮像された複数のフレーム画像における前記位置iに対応する複数の位置の複数の輝度値を加算した値に基づいて得られる
計数装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、ウイルス等の標的物質を計数するための計数方法、計数装置、及び当該計数方法をコンピュータに実行させるためのプログラムに関する。
【背景技術】
【0002】
近年、溶液中に存在する微小物質、特にウイルス等の生体関連物質を検出、又は定量する方法が開発されている。例えば、特許文献1には、近接場を用いて検出板の表面上の標的物質を含む結合体による蛍光又は散乱光を画像内の輝点として検出する光学的検出方法が開示されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【0004】
しかしながら、上記特許文献1に開示された方法では、結合体を正確に計数することが難しい場合がある。
【0005】
本開示は、上記の問題を解決しようとするものであり、結合体をより正確に計数することができる計数方法等を提供するものである。
【0006】
本開示の一態様に係る計数方法は、標的物質と、外力の作用により移動する移動物質とを結合させた結合体を含み得る試料に対して前記外力を所定方向に作用させて、移動する前記結合体を計数する計数方法であって、前記外力が作用されている、第1時点から前記第1時点よりも後の第2時点までの間において前記試料内の物体が撮像された画像を取得する取得ステップと、前記物体によって形成された前記画像内の軌跡から、前記物体の移動方向を特定する特定ステップと、前記所定方向と前記移動方向との一致度が第1閾値よりも大きい場合に、前記物体を前記結合体として計数する計数ステップと、を含む。
【0007】
本開示の一態様に係る計数装置は、試料に含まれる物質の複数の画像を含む画像を取得する取得部と、前記複数の画像は第1時点から前記第1時点よりも後の第2時点までの間に撮像され、前記第1時点から前記第2時点まで所定方向の外力が前記試料に作用し、前記複数の画像に基づいて、前記物質の移動方向を特定する特定部と、前記所定方向と前記移動方向に基づいて前記物質を計数するかを決定する計数部を含み、前記物質は前記外力の作用により移動する第1物質と前記第1物質と結合した標的物質とを含む。
【0008】
また、本開示の一態様に係るプログラムは、標的物質と、外力の作用により移動する移動物質とを結合させた結合体を含み得る試料に対して前記外力を所定方向に作用させて、移動する前記結合体を計数する計数方法であって、前記外力が作用されている、第1時点から前記第1時点よりも後の第2時点までの間において前記試料内の物体が撮像された画像を取得する取得ステップと、前記物体によって形成された前記画像内の軌跡から、前記物体の移動方向を特定する特定ステップと、前記所定方向と前記移動方向との一致度が第1閾値よりも大きい場合に、前記物体を前記結合体として計数する計数ステップと、を含む計数方法をコンピュータに実行させる。
【0009】
なお、これらの包括的又は具体的な態様は、方法、システム、装置、集積回路、コンピュータプログラム又はコンピュータで読み取り可能な記録媒体で実現されてもよく、方法、システム、装置、集積回路、コンピュータプログラム及びコンピュータで読み取り可能な記録媒体の任意な組み合わせで実現されてもよい。コンピュータ読み取り可能な記録媒体は、例えばCD-ROM(Compact Disc-Read Only Memory)等の不揮発性の記録媒体を含む。
【0010】
本開示によれば、標的物質をより正確に計数することが可能となる。本開示の一態様における更なる利点および効果は、明細書および図面から明らかにされる。かかる利点および/または効果は、いくつかの実施形態並びに明細書および図面に記載された特徴によってそれぞれ提供されるが、1つまたはそれ以上の同一の特徴を得るために必ずしも全てが提供される必要はない。
【図面の簡単な説明】
【0011】
【
図1A】
図1Aは、実施の形態において取得される画像を説明する概略図である。
【
図1B】
図1Bは、取得される画像から特定される移動方向を説明する概略図である。
【
図2A】
図2Aは、実施の形態に係る計数システムの機能ブロック図である。
【
図2B】
図2Bは、実施の形態に係る検出装置の概略図である。
【
図3A】
図3Aは、実施の形態に係る外力と移動物質との関係を説明する第1図である。
【
図3B】
図3Bは、実施の形態に係る外力と移動物質との関係を説明する第2図である。
【
図3C】
図3Cは、実施の形態に係る外力と移動物質との関係を説明する第3図である。
【
図4A】
図4Aは、実施の形態に係る計数方法を示すフローチャートである。
【
図4B】
図4Bは、実施の形態に係る標的物質の計数についてより詳細に説明するサブフローチャートである。
【
図5A】
図5Aは、実施の形態に係る画像の処理手順を説明する第1図である。
【
図5B】
図5Bは、実施の形態に係る画像の処理手順を説明する第2図である。
【
図5C】
図5Cは、実施の形態に係る画像の処理手順を説明する第3図である。
【
図5D】
図5Dは、実施の形態に係る画像の処理手順を説明する第4図である。
【
図5E】
図5Eは、実施の形態に係る画像の処理手順を説明する第5図である。
【
図5F】
図5Fは、実施の形態に係る画像の処理手順を説明する第6図である。
【
図5G】
図5Gは、実施の形態に係る画像の処理手順を説明する第7図である。
【
図5H】
図5Hは、実施の形態に係る画像の処理手順を説明する第8図である。
【
図5I】
図5Iは、実施の形態に係る画像の処理手順を説明する第9図である。
【
図6】
図6は、実施の形態において誘電泳動を適用した場合の一致度を例示する図である。
【発明を実施するための形態】
【0012】
(開示の基礎となった知見)
近年、溶液中に存在する微小物質、特にウイルス等の生体関連物質を検出、又は定量する方法が開発されている。例えば、特許文献1には、近接場を用いて検出板の表面上の標的物質を含む結合体による蛍光又は散乱光を画像内の輝点として検出する光学的検出方法が開示されている。
【0013】
特許文献1に開示された光学的検出方法では、検出板の表面上の標的物質を含む結合体に対して、近接場を照射することによって当該結合体に含まれる蛍光体又は散乱体を励起し、撮像装置によって撮像することで、発生された蛍光又は散乱光を輝点として含む画像を取得する。このとき、外力として磁場勾配を印加して結合体に含まれる磁性体を制御することで、画像内の輝点は、結合体の移動に応じて移動する。このように、特許文献1に開示された光学的検出方法では、画像内の輝点のうちの移動する輝点を、磁性体、及び、蛍光体又は散乱体を有する結合体に由来する輝点として標的物質を検出することが可能である。
【0014】
このような、画像を用いた光学的検出では、画像解析のフェーズをコンピュータ上で実行されるプログラムによって自動的に行わせることが一般化されつつある。例えば、上記の光学的検出方法において取得される画像は、背景と輝点との略二値とみなすことができるため、容易に輝点を検出でき、このうち、外力の作用によって移動する輝点を検出すればよい。つまり、複数時点のそれぞれにおいて取得されたフレーム画像の各々の輝度値を加算した合成画像を生成することで、移動する輝点が線状の軌跡として検出可能となる。このような軌跡を形成する輝点を識別することで、標的物質を自動検出することが可能となる。
【0015】
ところで、このような軌跡の検出において、正確な検出が行えない場合があった。具体的には、従来の軌跡の検出では、線状であるか否かを検出条件としていたため、外力の作用によらず線状を示すものを軌跡として、検出してしまっていた。したがって、複数の移動していない輝点が列を成している場合、及び、ブラウン運動、溶液状の試料中における対流等の、外力とは異なる力によって移動する場合等も、誤検出されていた。
【0016】
また、検出対象の媒体である試料は、検出器から見た奥行方向の厚み(深度方向の深さともいう)を有している。したがって、試料における深度方向に揺動する結合体は、検出器から見て、蛍光又は散乱光の強度が上下するように見える。この場合、画像処理の条件によっては、さらなる課題として、蛍光又は散乱光が途切れてしまうことにより一連の軌跡が2以上に分断されてしまう場合がある。同様の課題は、動画像を構成するフレーム画像間の間欠箇所において輝点が途切れてしまう場合にも生じ得る。
【0017】
本開示では上記の課題に対応可能な、標的物質を含む結合体の計数方法等を提供する。
【0018】
(開示の概要)
上記の課題を解決するため、本開示に係る計数方法の一態様は、標的物質と、外力の作用により移動する移動物質とを結合させた結合体を含み得る試料に対して前記外力を所定方向に作用させて、移動する前記結合体を計数する計数方法であって、前記外力が作用されている、第1時点から前記第1時点よりも後の第2時点までの間において前記試料内の物体が撮像された画像を取得する取得ステップと、前記物体によって形成された前記画像内の軌跡から、前記物体の移動方向を特定する特定ステップと、前記所定方向と前記移動方向との一致度が第1閾値よりも大きい場合に、前記物体を前記結合体として計数する計数ステップと、を含む。
【0019】
このような計数方法は、外力の作用によって移動する結合体と、その他とを、画像上の物体の移動方向、及び外力が作用されている所定方向の一致度に基づいて判別できる。具体的には、算出された一致度が第1閾値よりも大きく、移動方向と所定方向とが一致していると判定される場合、画像上の物体は、外力が作用されている方向に移動していると判定できる。よって、このような物体は、外力の作用によって移動する結合体であると判定される。一方で、算出された一致度が第1閾値以下であり、移動方向と所定方向とが一致していないと判定される場合、画像上の物体は、外力が作用されている方向とは異なる方向に移動していると判定できる。よってこのような物体は、外力の作用によらず移動する夾雑物等であると判定される。このようにして、移動の有無で結合体か否かを判定していた場合に比べ、移動方向と外力が作用される所定方向とを用いた方向に基づく判定により、より正確に結合体を計数することが可能となる。
【0020】
また、例えば、前記特定ステップでは、前記画像内における前記軌跡に対応する複数の画素の主成分分析による第1主成分の固有ベクトルに基づき前記物体の前記移動方向を特定する。
【0021】
これによれば、主成分分析によって、物体が形成する軌跡から移動方向を特定することができる。主成分分析は、特定される移動方向の他に得られる情報が多く、特定される移動方向と併せて当該軌跡が結合体によるものか否かの判定に用いることができる。よって、より正確に結合体を計数することが可能となる。
【0022】
また、例えば、さらに、前記第1時点及び前記第2時点の間における前記物体の移動距離を算出する算出ステップを含み、前記計数ステップでは、算出された前記移動距離と、前記第1時点及び前記第2時点の間の経過時間とを用いて、前記結合体として計数された前記物質の移動速度を出力する。
【0023】
これによれば、特定される移動方向に加え、物質の移動速度を加味して、当該軌跡が結合体によるものか否かを判定できる。よって、より正確に結合体を計数することが可能となる。
【0024】
また、例えば、前記算出ステップでは、前記画像内における前記軌跡に対応する複数の画素の主成分分析による第1主成分の固有値に基づき前記移動距離を算出する。
【0025】
これによれば、主成分分析によって、物体が形成する軌跡から移動距離を算出することができる。主成分分析は、算出される移動距離の他に得られる情報が多く、算出される移動距離と併せて当該軌跡が結合体によるものか否かの判定に用いることができる。よって、より正確に結合体を計数することが可能となる。
【0026】
また、例えば、前記計数ステップでは、前記一致度が前記第1閾値よりも大きく、かつ、算出された前記移動距離が第2閾値よりも大きい場合に、前記物体を前記結合体として計数する。
【0027】
これによれば、特定される移動方向と、算出される移動距離とを用いて、当該軌跡が結合体によるものか否かの判定に用いることができる。よって、より正確に結合体を計数することが可能となる。
【0028】
また、例えば、さらに、取得した前記画像内の複数の軌跡のうち、同一の前記物質によって形成された二つの軌跡どうしを一つの軌跡となるように連結するマージステップを含む。
【0029】
これによれば、画像処理上で途切れてしまった軌跡を連結して、連結した軌跡を用いて、当該軌跡が結合体によるものか否かの判定に用いることができる。よって、途切れてしまったままの軌跡を用いる場合に比べ、より正確に結合体を計数することが可能となる。
【0030】
また、例えば、前記マージステップでは、取得した前記画像内の複数の軌跡のうち、各々の前記移動方向の類似度が第3閾値よりも大きい一の軌跡及び他の軌跡の組み合わせであって、各々の前記移動方向の前後における前記一の軌跡の前端と、前記他の軌跡の後端との距離が第4閾値以内である組み合わせにおいて、前記一の軌跡の前端と前記他の軌跡の後端とを連結して、前記一の軌跡の後端から前記他の軌跡の前端までの一つの軌跡とする。
【0031】
これによれば、移動方向と、軌跡どうしの距離とを用いて、画像処理上で途切れてしまった軌跡を連結して、連結した軌跡を用いて、当該軌跡が結合体によるものか否かの判定に用いることができる。よって、途切れてしまったままの軌跡を用いる場合に比べ、より正確に結合体を計数することが可能となる。
【0032】
また、例えば、前記画像は、前記第1時点から前記第2時点までの間に連続的に撮像された複数のフレーム画像の輝度値を加算して得られる合成画像である。
【0033】
これによれば、連続的に撮像されたフレーム画像を加算して得られた合成画像を用いて、軌跡が結合体によるものか否かの判定に用いることができる。よって、複数のフレームの画像をそのまま用いる動画像等に比べ、処理されるべき画像数を大幅に削減できるため、計数処理に要求される処理性能を低下させることが可能となる。
【0034】
また、例えば、前記移動物質は、誘電体であり、前記外力として電場が印加された際に誘電泳動力によって移動する。
【0035】
これによれば、取得された画像上で誘電泳動力によって移動する軌跡が結合体によるものか否かの判定に用いることができる。よって、より正確に結合体を計数することが可能となる。
【0036】
また、例えば、前記移動物質は、磁性体であり、前記外力として磁場勾配が印加された際に磁力によって移動する。
【0037】
これによれば、取得された画像上で磁力によって移動する軌跡が結合体によるものか否かの判定に用いることができる。よって、より正確に結合体を計数することが可能となる。
【0038】
また、例えば、前記標的物質は、ウイルスを構成する物質であり、前記移動物質は、前記移動物質の表面に固定された結合子であって、前記物質に特異的に結合する結合子を介して前記物質に結合する。
【0039】
これによれば、標的物質としてウイルスを構成する物質と移動物質とが結合子を介して結合して形成された結合体を、より正確に計数することが可能となる。
【0040】
また、本開示に係るプログラムの一態様は、標的物質と、外力の作用により移動する移動物質とを結合させた結合体を含み得る試料に対して前記外力を所定方向に作用させて、移動する前記結合体を計数する計数方法であって、前記外力が作用されている、第1時点から前記第1時点よりも後の第2時点までの間において前記試料内の物体が撮像された画像を取得する取得ステップと、前記物体によって形成された前記画像内の軌跡から、前記物体の移動方向を特定する特定ステップと、前記所定方向と前記移動方向との一致度が第1閾値よりも大きい場合に、前記物体を前記結合体として計数する計数ステップと、を含む計数方法をコンピュータに実行させる。
【0041】
このようなプログラムは、外力の作用によって移動する結合体と、その他とを、画像上の物体の移動方向、及び外力が作用されている所定方向の一致度に基づいて判別できる。具体的には、算出された一致度が第1閾値よりも大きく、移動方向と所定方向とが一致していると判定される場合、画像上の物体は、外力が作用されている方向に移動していると判定できる。よって、このような物体は、外力の作用によって移動する結合体であると判定される。一方で、算出された一致度が第1閾値以下であり、移動方向と所定方向とが一致していないと判定される場合、画像上の物体は、外力が作用されている方向とは異なる方向に移動していると判定できる。よってこのような物体は、外力の作用によらず移動する夾雑物等であると判定される。このようにして、移動の有無で結合体か否かを判定していた場合に比べ、移動方向と外力が作用される所定方向とを用いた方向に基づく判定により、より正確に結合体を計数することが可能となる。
【0042】
以下、実施の形態について、図面を参照しながら具体的に説明する。
【0043】
なお、以下で説明する実施の形態は、いずれも包括的又は具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、請求の範囲を限定する主旨ではない。また、各図は、必ずしも厳密に図示したものではない。各図において、実質的に同一の構成については同一の符号を付し、重複する説明は省略又は簡略化する場合がある。
【0044】
また、以下において、平行及び垂直などの要素間の関係性を示す用語、及び、矩形状などの要素の形状を示す用語、並びに、数値範囲は、厳格な意味を表すのではなく、実質的に同等な範囲、例えば数%程度の差異をも含むことを意味する。
【0045】
また、以下で説明する結合体の計数とは、計数された結合体数から、移動物質と所定の結合比で結合する標的物質を計数することを含む概念である。すなわち、本開示の計数方法は、標的物質の計数方法として利用することもできる。また、本開示における結合体の計数には、所定の容量の溶液状の試料中に存在する計数された結合体の個数濃度として、結合体の濃度を測定する概念が含まれる。さらに、ここでの濃度の測定には、所定の容量の試料中の個数濃度が0個か否かに基づく、結合体の有無の検出の概念も含まれる。
【0046】
(実施の形態)
[概要]
はじめに、本実施の形態における画像処理の概念について、
図1A及び
図1Bを用いて説明する。
図1Aは、実施の形態において取得される画像を説明する概略図である。また、
図1Bは、取得される画像から特定される移動方向を説明する概略図である。
【0047】
図1Aでは、一例として、標的物質を含み、外力の作用によって移動する結合体と、外力の作用とは無関係に移動する夾雑物とが図示されている。本実施の形態において取得される画像は、
図1Aに示すように、アプリケーションウインドウ109aによって、後述するモニタ109上に表示される。結合体及び夾雑物は、撮像された画像上では輝点として結像される物体であり、画像からこれらを判別することは実質的に不可能である。ここで、本実施の形態において取得される画像は、第1時点から第2時点までの間に連続的に撮像された複数のフレーム画像の輝度値を加算して得られる合成画像である。複数のフレーム画像の輝度値を単に加算することで輝点が把握され難くなる場合には、複数のフレーム画像の各々を二値化してから加算してもよい。また、所定の閾値以上の輝度を有する輝点を抽出して、当該抽出した輝点の輝度値を加算してもよい。なお、本開示の内容は、第1時点から第2時点までの間に露光を続けることによって撮像された長期間の露光を行った画像であっても有効である。
【0048】
合成画像Icにおける画素位置iの輝度値Iciは、
Ici=(I1i+・・・+Iki+・・・+Ini)/n
であってもよい。k、nは自然数であり、1<k<nである。ここで、第1時点である第1時間t1から第2時点である第n時間tnまでの間に連続的に撮像された複数のフレーム画像はI1、~、Ik、~、Inであり、I1は時間t1に撮像され、~、Ikは時間tkに撮像され、~、Inは時間tnに撮像され、輝度値I1iはフレーム画像I1における画素位置iの輝度値、~、輝度値Ikiはフレーム画像Ikにおける画素位置iの輝度値、~、輝度値Iniはフレーム画像Inにおける画素位置iの輝度値とする。
【0049】
フレーム画像I1における画素位置i、~、フレーム画像Ikにおける画素位置i、~、フレーム画像Inにおける画素位置iのそれぞれは合成画像Icにおける画素位置iと対応する。上記において、輝度値は画素値であってもよい。
【0050】
上記において説明したように、フレーム画像とフレーム画像との間には、間欠箇所が存在し、当該間欠箇所に対応する期間において、結合体及び夾雑物は、画像上において分断された軌跡を形成する輝点として結像される。具体的には、夾雑物は、第1期間の移動に対応する軌跡43、第2期間に対応する軌跡44、第3期間に対応する軌跡45、第4期間に対応する軌跡46を形成している。また、結合体は、第1期間に対応する軌跡47、第2期間に対応する軌跡48、第3期間に対応する軌跡49、第4期間に対応する軌跡50を形成している。
【0051】
図1Aからわかるように、結合体及び夾雑物は、所定の長さの軌跡が延びるよう、各々のフレーム画像は、十分な露光期間を有するように撮像条件が設定される。例えば、より移動速度が遅い結合体及び夾雑物であれば、各々のフレーム画像における露光期間がより長くなるように撮像条件が設定される。このように、軌跡の延びる方向に基づいて、各々の輝点の移動方向を特定することができる。
【0052】
図1Bでは、各々の輝点の移動方向を矢印で示している。具体的には、軌跡43から特定された移動方向43a、軌跡44から特定された移動方向44a、軌跡45から特定された移動方向45a、及び、軌跡46から特定された移動方向46aが示されている。同様に、軌跡47から特定された移動方向47a、軌跡48から特定された移動方向48a、軌跡49から特定された移動方向49a、及び、軌跡50から特定された移動方向50aが示されている。
【0053】
このように、各々の輝点の移動における軌跡について、当該軌跡の後端(矢印の始点側)から前端(矢印の終点側)までを結ぶことで、輝点が移動したとみなした場合の移動方向を特定することができる。なお、夾雑物等の輝点は、実際には移動していないものの、上記のように画像処理上で移動しているとみなされうる場合があり、見かけ上の移動の方向として移動方向が特定される。
【0054】
ここで、外力が作用される方向について説明する。
図1A及び
図1Bには、実際に取得される画像上には存在しない白抜き矢印を用いて、外力方向を示している。このように、本実施の形態では、外力は所定方向に沿って作用される。所定方向とは、外力の作用によって、結合体が移動することが想定される方向である。以下の説明では、外力として電場又は磁場を作用させる場合について説明する。なお、外力として流れ場等を作用させてもよく、この場合、当該流れ場と関連する抗力によって所定方向を決定することができる。
【0055】
本実施の形態では、外力が作用される所定方向と、取得された画像から特定される輝点の移動方向との一致度に基づいて、当該輝点の移動が外力によるものか否かを推定する。なお、以上に説明した輝点とは、画像上に映る物体であり、本実施の形態では、一例として結合体に含まれる物質が蛍光又は散乱光の発光現象により、光を発する場合を説明する。計数対象となる物体が、十分に検出可能な構成であれば、物体による発光現象を利用せず、自然光等の反射によって撮像された画像が取得されてもよい。つまり、本実施の形態は、検出又は計数の対象としている標的物質と、外力の作用により移動する移動物質とが結合された結合体であれば実施可能である。
【0056】
なお、標的物質は、タンパク質、脂質、糖、核酸等であり、検出又は計数の対象のウイルス、微生物、細菌等の産生する、又はこれらを構成する生体関連物質である。上記の移動物質については後述するが、このような標的物質と移動物質とは、移動物質の表面に固定された抗体等の結合子を介して結合する。結合子としては、例えば、上記の抗体の他、標的物質側に修飾する等で標的物質が有するアビジンに対して結合するビオチン等、標的物質に特異的に結合する結合様式のものを任意に用いることができる。
【0057】
[システム構成]
以下では、本実施の形態における計数システムについて、
図2A及び
図2Bを用いて説明する。
図2Aは、実施の形態に係る計数システムの機能ブロック図である。
図2Aに示すように、本実施の形態における計数システム100は、検出装置101と、コントローラ102と、計数装置103と、モニタ109とを備える。なお、クライアント装置から上記に説明した画像を取得し、計数結果を当該クライアント装置に出力するサーバ装置として計数方法を実施する場合には、計数システム100は、計数装置103を備えていればよい。つまり、検出装置101と、コントローラ102と、モニタ109とは、必須ではない。
【0058】
図2Bは、実施の形態に係る検出装置の概略図である。
図2Bに示すように、検出装置101は、溶液保持部20と、外力印加部29と、撮像装置30とを備える。検出装置101は、溶液保持部20内に形成される空間27に収容された、試料に対して、外力印加部29によって外力を作用させながら撮像装置30によって画像を撮像する。以下、検出装置101を構成する各構成要素について詳細に説明する。
【0059】
溶液保持部20は、検出板21と溶液保持槽23とカバーガラス25とを備える。検出板21は、光透過性を有する樹脂又はガラス等の硬質材料によって形成された板状部材である。検出板21の裏面(紙面下側の面)から、図示しない光源等を用いて励起光を入射することで、検出板21の表面(紙面上側の面)に位置する空間27内の溶液に対して当該励起光を照射することができる。なお、裏面から励起光を照射する必要がない場合、検出板21は、光透過性を有していなくてもよい。
【0060】
溶液保持槽23は、検出板21に積層されるシート状の部材であり、例えばシリコン樹脂等によって構成される。溶液保持槽23は、シートの内部(面内方向における内部)において、シートの両主面を貫通してくりぬかれたくりぬき部を有する。溶液保持槽23は、検出板21に積層されることで、検出板21の表面と、くりぬき部の外周(つまり溶液保持槽23の内側面)とに囲まれた容器形状を形成する。本実施の形態において溶液保持槽23のくりぬき部は、溶液保持槽23を平面視した場合に円形である。したがって検出板21と、溶液保持槽23とによって形成される容器形状は、円柱状の空間27を有する。なお、くりぬき部の形状は、円形に限定されず多角形状等のいかなる形状であってもかまわない。
【0061】
カバーガラス25は、溶液保持槽23にさらに積層され、樹脂又はガラス等の硬質材料によって形成された板状部材である。カバーガラス25は、透光性の材料によって形成されていれば形状に限定はない。カバーガラス25は、検出板21と溶液保持槽23とによって形成された空間27の蓋の役割を担うため、平面視において前述したくりぬき部を覆うことができる形状、及び大きさである。なお、カバーガラス25の材質は、ガラスに加え、樹脂等でもあってもかまわない。カバーガラス25は、光透過性を有すれば、どのような構成であってもよい。
【0062】
このようにして、検出板21、溶液保持槽23、及びカバーガラス25によって空間27は、略密閉可能となる。前述したように、空間27には計数システム100によって検出又は計数される対象の試料が収容される。つまり、試料が溶液保持部20に充填された状態で、試料に含まれ得る結合体の検出が行われる。試料は、カバーガラス25を開くことで空間27に導入される。つまり、カバーガラス25は、空間27にアクセス可能な開口を覆う。当該開口は、結合体を含み得る試料が導入される導入部の一例である。なお、空間27と外部とを連通する細孔を設けてもよく、この場合には、当該細孔が導入部となる。
【0063】
空間27からカバーガラス25側に向かう光の一部は、溶液保持部20に対向して配置された撮像装置30において受光される。撮像装置30は、集光性を有する集光部材31とイメージセンサ35とが筐体37に内蔵された受光装置である。また、撮像装置30は必要に応じて、一部の波長の光を選択的に透過させるフィルタ33を備えてもよい。つまり、フィルタ33を備えなくても本開示を実施可能であるが、本実施の形態においては、フィルタ33により一部の波長の光がイメージセンサ35に入射される例を説明する。集光部材31は、例えば屈折式のレンズであり、撮像装置30が受光した光をイメージセンサ35に集光する。集光部材31は単一のレンズによって構成されてもよく、複数のレンズを用いて構成されてもよい。
【0064】
フィルタ33は、例えば、結合体が発生する蛍光の主要な波長成分を透過させ、その他を吸収又は反射する光学特性を有する。これにより、結合体が発生した蛍光又は散乱光を高精度に検出することができる。イメージセンサ35は、フォトダイオードを用いるもの、及び光増倍管を組み合わせたもの等の、公知の光検出手段であってもかまわない。撮像装置30を用いて撮像される対象は、検出板21に沿う2次元面であるため、イメージセンサ35としてCCDイメージセンサ又はCMOSイメージセンサ等の2次元センサを用いてもよい。これにより、多くの情報を含む画像を得ることが可能となる。
【0065】
また、筐体37は、金属又は樹脂等で構成される。筐体37は、カバーガラス25に対向する面に窓を有する。当該窓から受光された光がイメージセンサ35に入射する。筐体37には、上記の窓から受光された光の光路に沿って、集光部材31、フィルタ33、イメージセンサ35がこの順に配置され、それぞれの位置関係が一定に保たれるように保持部(不図示)が形成されている。また、上記の窓は、集光部材31によって構成されてもよい。つまり、筐体37の光を受光する面に形成された開口に、集光部材31がはめ込まれることで上記の窓が構成されてもよい。なお、筐体37は、集光部材31に入射する光を除き、その他の外光が筐体37の内部に入り込まないよう、遮光性を有する材料によって構成されている。
【0066】
外力印加部29は、外力として電場を印加する場合、及び、外力として磁場勾配を印加する場合によって構成が異なる。それぞれの場合について、
図3A~
図3Cを用いて説明する。
図3Aは、実施の形態に係る外力と移動物質との関係を説明する第1図である。また、
図3Bは、実施の形態に係る外力と移動物質との関係を説明する第2図である。また、
図3Cは、実施の形態に係る外力と移動物質との関係を説明する第3図である。
【0067】
例えば、外力として電場を印加する場合、
図3A及び
図3Bの構成が考えられる。
図3A及び
図3Bでは、外力印加部29の一例である第1電場印加部29aと第2電場印加部29bとを用いて空間27に収容された試料に対して電場が印加されることで、不均一な電場27a及び27bが形成される。結合体41a及び41bは、移動物質である誘電体を含み、試料中の結合体41a及び41bと外液画分との誘電率の違い、ならびに、電場27a及び27bの電場強度の大きさと電場の印加に用いられた交流電源の周波数とに応じて移動する。第1電場印加部29a及び第2電場印加部29bは、交流電源に接続された電極である。また、誘電体としては、例えばポリスチレンビーズを用いればよい。このような現象は、誘電泳動(DEP:Dielectrophoresis)として一般に知られている。
【0068】
誘電泳動では、外液画分よりも誘電体の誘電率の方が大きい場合、
図3Aに示すように、誘電体は、結合体41aを形成している標的物質とともに誘電泳動によって、不均一な電場27a中を電場強度が大きい方へと移動する(正の誘電泳動:positive-DEP)。この場合、図中の矢印のように電場強度の小さい方から大きい方へと所定方向が設定される。一方で、誘電体よりも外液画分の誘電率の方が大きい場合、
図3Bに示すように、誘電体は、結合体41bを形成している標的物質とともに誘電泳動によって、不均一な電場27b中を電場強度が小さい方へと移動する(負の誘電泳動:negative-DEP)。この場合、図中の矢印のように電場強度の大きい方から小さい方へと所定方向が設定される。このようにして、移動物質として誘電体を用いることで、誘電泳動を利用して、結合体41a又は41bを所定方向に移動させることができる。
【0069】
また、例えば、外力として、磁場勾配を印加する場合、
図3Cの構成が考えられる。
図3Cでは、外力印加部29の一例である磁場印加部29cを用いて空間27に収容された試料に対して磁場勾配が印加されることで、磁場勾配27cが形成される。結合体41cは、移動物質である磁性体を含み、磁場勾配27cに応じて移動する。磁性体としては、常磁性又は強磁性を有する金属微粒子等を用いればよい。
【0070】
図3Cに示すように、磁性体は、結合体41cを形成している標的物質とともに磁場勾配27c中を磁場印加部29cに向かって移動する。磁場印加部29cは、例えばネオジム磁石、フェライト磁石、又はアルニコ磁石等の永久磁石であるが、コイル、芯材、及び直流電源装置を備える電磁石であってもよい。このような磁場勾配27cを用いる場合、図中の矢印のように磁場印加部29cがない方から、磁場印加部29cがある方へと所定方向が設定される。このようにして、移動物質として磁性体を用いることで、結合体41cを所定方向に移動させることができる。
【0071】
検出装置101は、溶液保持部20において収容されている試料に対して所定方向に外力を作用させ、外力に応じて移動する結合体を撮像し、画像を出力する。
【0072】
図2Aに戻り、コントローラ102は、制御信号を生成して検出装置101に送信することにより、検出装置101を制御するための制御装置である。また、コントローラ102は、検出装置101から出力された画像を、後述する計数装置103へと伝送するインタフェース装置でもある。したがって、検出装置101によって撮像され、出力された画像は、コントローラ102を介して、計数装置103によって取得される。
【0073】
計数装置103は、標的物質と、外力の作用により移動する移動物質とを結合させた結合体を含み得る試料に対して外力を所定方向に作用させた際に、移動する結合体を計数する装置である。具体的には、計数装置103は、取得部104、特定部105、計数部106、算出部107、及びマージ部108を備える。計数装置103を構成する各構成要素は、プロセッサ、メモリ、及び、当該プロセッサとメモリとを用いて実行されるプログラムによって実現される。つまり、取得部104は、取得ステップを実行するための処理部であり、特定部105は、特定ステップを実行するための処理部であり、計数部106は、計数ステップを実行するための処理部であり、算出部107は、算出ステップを実行するための処理部であり、マージ部108は、マージステップを実行するための処理部である。
【0074】
モニタ109は、計数装置103によって実施された結合体の計数結果を表示する表示装置である。モニタ109は例えば、液晶、又は有機EL等の表示パネルを用いて表示画像を表示する。
【0075】
[動作]
以下では、計数装置103の動作を中心に、計数システム100によって実現される計数方法について図面を参照して説明する。
【0076】
図4Aは、実施の形態に係る計数方法を示すフローチャートである。
【0077】
はじめに、計数システム100では、試料中の物体が撮像された画像を取得する(取得ステップS11)。計数システム100では、上記に説明したように、検出装置101がコントローラ102の制御信号に従って動作することで、試料の画像を撮像し、撮像された画像がコントローラ102を介して、取得部104によって取得される。
【0078】
取得された画像には、輝点と、その他の点とを区別するための二値化が適用される(ステップS12)。さらに二値化後の画像に対して、ノイズ除去が行われる(ステップS13)。ノイズ除去は、メディアンフィルタ、及び平滑化フィルタ等のノイズ除去フィルタによって画像を処理することで行われる。このような処理を経た画像において撮像されている輝点の移動を軌跡として抽出する。具体的には、ステップS13においてノイズ除去された画像に対して、輝度値が二値のうちのいずれであるかによって、エッジ検出を行う(ステップS14)。例えば、高輝度のピクセルと低輝度のピクセルとの境目をエッジとして検出する。このような境目がひとつながり(つまり閉じられた状態)となる箇所を輝点の移動に伴う軌跡として抽出する(ステップS15)。
【0079】
以上のステップS12~ステップS15は、例えば、計数装置103に備えられる、図示しない前処理部によって前処理ステップとして実施される。なお、このような前処理ステップが行われた後の画像を取得部104が取得してもよい。
【0080】
このように抽出された軌跡から、試料に含まれる結合体を計数し、さらに各々の結合体の移動速度を算出する(ステップS16)。計数システム100は、計数結果を、算出された移動速度とともに、例えば、モニタ109に表示させるための表示画像として出力する(ステップS17)。
【0081】
以下、ステップS16のさらなる詳細について、
図4B、
図5A~
図5I、及び
図6を用いて説明する。
図4Bは、実施の形態に係る標的物質の計数についてより詳細に説明するサブフローチャートである。また、
図5A~
図5Iは、各処理ステップにおいて行われている画像処理を概説するための説明図である。
【0082】
計数装置103では、取得部104において取得され、上記の前処理ステップを経て、
図5Aに示すような画像が得られる。また、
図1A及び
図1Bと同様に、実際の画像上にはない外力方向(つまり所定方向)を白抜き矢印によって仮想的に示している。
【0083】
計数装置103では、画像中において抽出されたすべての軌跡について、主成分分析を行うことで、(
図5A~
図5Iでは黒で示す)二値のうちの輝点に対応するピクセルの第1主成分を算出する。このようにして、画像上のピクセルの主成分分析により、第1主成分の固有ベクトル、及び第1主成分の寄与度を算出する(ステップS21)。算出された固有ベクトルは、当該軌跡を構成するピクセルの集合が最も分散している方向を示しており、輝点の移動方向とみなすことができる。つまり、ステップS21は、輝点の移動方向を特定する特定ステップである。
【0084】
計数装置103は、画像中に含まれる軌跡のうち、一つの軌跡を選択する(ステップS22)。計数装置103は、選択した軌跡の主成分分析によって算出された移動方向と、外力方向との一致度を算出する(ステップS23)。一致度は、例えば、外力方向と移動方向との2次元面上の傾きの差が、いずれかの方向の傾きに対して何パーセントであるか等の条件に基づき設定された第1閾値を基準として、当該第1閾値以下の場合に一致度が低く、当該第1閾値よりも大きい場合に一致度が高いとして推定される。第1閾値は、上記の他、単に傾きの差であってもよく、角度の差であってもよい。
【0085】
つまり、外力方向と移動方向との一致度が第1閾値よりも大きい場合に、当該移動方向が算出された軌跡は、外力に従って移動したものと判定される。これに対して、外力方向と移動方向との一致度が第1閾値以下である場合に、当該移動方向が算出された軌跡は、外力とは異なる力又は移動していないにもかかわらず画像処理上移動したものと認識されてしまったものであると考えられる。したがって、一致度と第1閾値との比較が行われ(ステップS24)、一致度が、第1閾値以下であると判定された場合(ステップS24でNo)、当該軌跡が計数の対象から除外される(ステップS26)。
【0086】
なお、第1閾値は、輝点に対応するピクセルと外力方向との相関係数に対して設定されてもよい。一例として、輝点に対応するピクセルが外力方向に対して80%よりも大きい(つまり、相関係数が0.8よりも大きい)相関を示す輝点を残して、その他を除外することで外力に従って移動した軌跡を良好に抽出できる。
【0087】
図5Bでは、矢印で示した円形が囲む軌跡について、一致度が第1閾値以下であったことを示している。したがって、これらの円形が囲む軌跡は、
図5Cに示すように、計数に用いられる軌跡から除外される。
【0088】
ここで、さらに、
図6を参照することにより、上記の
図3A及び
図3Bにおいて説明した誘電泳動を用いる場合の一致度と第1閾値との比較についても説明する。
図6は、実施の形態において誘電泳動を適用した場合の一致度を例示する図である。
図6の(a)には、外力としての電場を形成するための電場印加部29dが示されている。また、
図6の(b)には、
図6の(a)における二点鎖線で示す領域Bを拡大した拡大図が示されている。なお、
図6の(b)では、
図6の(a)において図示が省略された、誘電性を有する移動物質である誘電体41dが併せて示されている。このように、本図では判読性のため、輝点ではなく実際の移動物質(つまり誘電体41d)と、電場印加部29dとが図示されているが、実際には、上記の例と同様に移動物質に対応する輝点の軌跡と背景色とが含まれる画像が取得される。
【0089】
図6の(a)に示すように、電場印加部29dは、複数の電極29eと、当該電極29eに交流電圧を印加する電源29fとを含む。電極29eは、紙面に沿う方向に板面を有する平板状であり、例えば、紙面に沿う方向に板面を有する基板上に、当該板面に沿うようにして形成されている。誘電体41dは、この基板上に置かれた際に、基板上の電極29e同士の間に形成された電場勾配に従って移動する。
【0090】
図中に示すように、電極29eでは、紙面に沿う方向に凹又は凸となる凹凸形状が、紙面左右方向に規則的に繰り返すようにして形成されており、隣り合う電極29eに対して、凹部同士及び凸部同士がずれていることにより、凹部と凸部とが対向している。このように電極29e間の距離が場所ごとに異なることによって、交流電圧が印加された際に、電極29e同士の間に電場勾配が形成される。具体的には、図中の電場印加部29dの構成においては、電極29eの凹部は、電場強度の小さい領域となり、負の誘電泳動によって誘電体41dが集まる領域となる。このような電極29eは、Castellated電極と呼ばれる場合がある。
【0091】
図6の(b)に示すように、複数の凹部のそれぞれが同じように電場強度の小さい領域となり、電場勾配の形成によってそれぞれ近い位置に置かれた誘電体41dが集まる。ここで、形成された電場勾配に従って誘電体41dのそれぞれが移動することから、外力方向は、電場勾配を決定する要因である電極29eの構成、予備実験、及び、経験則等に従って決定されればよい。図中の電極29eの例では、凹部に入り込む平均的な方向として、凹部に対向する凸部から当該凹部に向かって延びる破線矢印で示される直線状のベクトルが外力方向に設定される。
【0092】
また、この例において、移動方向が外力方向と一致しているか否かは、例えば、凹部に入り込む誘電体41dを十分にカバー可能なように設定された、移動方向と外力方向とが成す角度に応じて判断される。図中の例では、この角度は、記号xで示す凹部の幅(言い換えると、隣接する凸部間の距離)、及び、記号yで示す凹部の深さ(言い換えると、凸部の高さ)によって決定される。図中では、外力方向を示す直線状のベクトルと、凹部内で延びる二本の一点鎖線のそれぞれとが成す角度が、上記の角度として適用される。したがって、ここでは、直線状のベクトルの方向に代表される凹部に入り込む方向であり、かつ、二本の一点鎖線の間の範囲内の移動方向を示す軌跡を、移動体である誘電体41dの軌跡として計数の対象として採用すればよい。言い換えると、凹部に入り込む方向ではない、又は、二本の一点鎖線の間の範囲内の移動方向を示す軌跡を、移動体による軌跡ではないものとして計数の対象から除外すればよい。
【0093】
なお、二つの直線(又は、方向を考慮する場合にはベクトル)が成す角度は、直線同士のコサイン類似度として表現できる。したがって、上記の移動方向と外力方向との一致の判定には、コサイン類似度によって設定された閾値(つまり第1閾値)を用いることができる。具体的には、外力方向と一致するとみなされる範囲内で破線矢印のベクトルに対して成す角度が最も大きい移動方向は、2本の一点鎖線のいずれか一方に沿う方向(以下一点鎖線の方向ともいう)である。一点鎖線は、矩形の凹部に対応して形成されており、図中に示すように、長さy、及び、長さx/2の直交する2辺を有する直角三角形の斜辺に設定されている。つまり、一点鎖線の方向と破線矢印のベクトルとが成す角度θは、逆余弦関数を用いて、次式1のように表すことができる。
【0094】
【0095】
すなわち、第1閾値であるコサイン類似度として、次式2のように、x及びyの値によって定まる数字が設定される。
【0096】
【0097】
なお、これらの外力方向及び第1閾値は、図中に示す矩形の凹部を有する電極29eを用いる場合の一例であり、電極29eの構成、実験、及び、経験則等に加え、要求される計数の精度などに応じて適切に設定されればよい。
【0098】
図4Bに戻り、一致度が第1閾値よりも大きいと判定された場合(ステップS24でYes)、ステップS25に進む。ここで、第1主成分の寄与度が低い場合、当該軌跡は、十分な分散軸を有さないと推定される。したがって、このような第1主成分の寄与度が低い場合には、正確に輝点の移動方向を算出できていない場合がある。つまり、第1主成分の寄与度と第5閾値との比較を行い(ステップS25)、第1主成分の寄与度が第5閾値以下であると判定された場合(ステップS25でNo)、当該軌跡は、精度よく移動方向を算出できていない可能性があるため計数の対象から除外される(ステップS26)。
【0099】
図5Dでは、矢印で示した円形が囲む軌跡について、第1主成分の寄与度が第5閾値以下であったことを示している。したがって、これらの円形が囲む軌跡は、
図5Eに示すように、計数に用いられる軌跡から除外される。
【0100】
図4Bに戻り、第1主成分の寄与度が第5閾値よりも大きいと判定された場合(ステップS25でYes)、すべての軌跡について、選択が行われ、以上の第1閾値及び第5閾値との比較が行われたか否かが判定される(ステップS27)。未選択の軌跡がある場合(ステップS27でNo)、ステップS22に戻り、軌跡の選択を行う。一方で、すべての軌跡が選択されたと判定された場合(ステップS27でYes)、ステップS28に進む。
【0101】
以下では、計数装置103は、画像処理の条件及び、結合体の試料内における移動に伴って、本来一つであったはずの軌跡どうしを連結するマージステップを実施する。はじめに、計数装置103は、画像中の軌跡から一の軌跡と他の軌跡との組み合わせを選択する(ステップS28)。これらの選択された組み合わせの一の軌跡と他の軌跡とは、移動方向が互いに類似しているか否かが判定される(ステップS29)。同じ結合体に由来する輝点であれば、外力の作用によって移動する方向は略一致していると推定される。
【0102】
したがって、一の軌跡と他の軌跡との互いの移動方向の類似度合いを示す類似度が第3閾値以下である場合(ステップS29でNo)、以降のステップS30及びステップS31を省略して、これらの一の軌跡と他の軌跡との連結を行わない。一の軌跡と他の軌跡との類似度が第3閾値よりも大きいと判定された場合(ステップS29でYes)、さらに、ステップS30の判定が行われる。具体的には、一の軌跡の前端と他の軌跡の後端との距離が第4閾値以内か否か(言い換えると、第4閾値以下か否か)が判定される(ステップS30)。
【0103】
これは、画像平面上の距離(例えば、ユークリッド距離等)が遠く、平行して同様の移動方向に移動する輝点どうしが連結されることを排除するための処理である。よって、距離が第4閾値よりも大きいと判定された場合(ステップS30でNo)、ステップS31を省略して、これらの一の軌跡と他の軌跡の連結を行わない。一方、距離が第4閾値以内であると判定された場合(ステップS30でYes)、当該一の軌跡の前端及び当該他の軌跡の後端を連結して、一の軌跡の後端から他の軌跡の前端までの一つの軌跡とする(ステップS31)。
【0104】
計数装置103は、このような処理を、すべての組み合わせの一の軌跡及び他の軌跡について行ったか否かを判定し(ステップS32)、未選択の組み合わせがある場合(ステップS32でNo)、ステップS28に戻り、組み合わせの選択を行う。一方で、すべての組み合わせが選択されたと判定された場合(ステップS32でYes)、ステップS33に進む。
【0105】
図5Fでは、第3閾値及び第4閾値の条件を満たす組み合わせの軌跡について、破線で示すように、軌跡が連結されている。
【0106】
続いて計数装置103では、連結が終了した軌跡を用いて、各々の軌跡から輝点の移動距離を算出する(算出ステップS33)。具体的には、マージステップが実施された後の軌跡の各々について、主成分分析を行い、第1主成分の固有値を算出する。第1主成分の固有値は、当該軌跡を構成するピクセルの集合が最も分散している分散幅を示しており、輝点の移動距離とみなすことができる。
【0107】
また、計数装置103は、算出された輝点の移動距離から、当該輝点の移動速度を算出する(ステップS34)。ここで再び、軌跡のうち一つを選択する(ステップS35)。計数装置103は、選択された軌跡において、算出された移動距離が第2閾値よりも大きいか否かを判定する(ステップS36)。これは、外力と関与しない輝点が偶然に外力方向に沿う移動方向を示す場合に、移動距離が外力の作用によって移動した場合に示す十分な移動距離を満たすか否かによって、このような軌跡を排除するための処理である。選択された軌跡において算出された移動距離が、第2閾値以下であると判定された場合(ステップS36でNo)、当該軌跡が計数の対象から除外される(ステップS37)。
【0108】
図5Gでは、矢印で示した円形が囲む軌跡について、算出された移動距離が第2閾値以下であったことを示している。したがって、これらの円形が囲む軌跡は、
図5Hに示すように、計数に用いられる軌跡から除外される。
【0109】
図4Bに戻り、選択された軌跡において算出された移動距離が、第2閾値よりも大きいと判定された場合(ステップS36でYes)、ステップS38に進む。計数装置103は、このような処理を、すべての軌跡について行ったか否かを判定し(ステップS38)、未選択の軌跡がある場合(ステップS38でNo)、ステップS33に戻り、軌跡の選択を行う。一方で、すべての軌跡が選択されたと判定された場合(ステップS38でYes)、ステップS39に進む。
【0110】
計数装置103は、このようにして、除外されることなく画像中に残された軌跡を形成する輝点を結合体による輝点であるとして計数する(計数ステップS39)。
【0111】
計数結果として、例えば、
図5Iに示すような画像が出力され、アプリケーションウインドウ109a上に表示される。
図5Iでは、除外されることなく残された「結合体1」、「結合体2」、及び「結合体3」の、3つの結合体について、各々の軌跡から算出された移動速度とともに表示されている。
【0112】
(その他の実施の形態)
以上、実施の形態等について説明したが、本開示は、上記実施の形態等に限定されるものではない。
【0113】
また、上記実施の形態等において測定装置を構成する構成要素について例示したが、測定装置が備える構成要素の各機能は、測定装置を構成する複数の部分にどのように振り分けられてもよい。
【0114】
その他、実施の形態等に対して当業者が思いつく各種変形を施して得られる形態、又は、本開示の趣旨を逸脱しない範囲で実施の形態等における構成要素及び機能を任意に組み合わせることで実現される形態も本開示に含まれる。
【0115】
例えば、上記実施の形態において算出した移動速度を計数結果とともに出力する構成を説明したが、計数結果を出力し、移動速度は、算出しない構成であってもよい。
【0116】
また、例えば、上記実施の形態においては、移動方向とともに、固有値又は第1主成分の寄与度を用いて算出される移動距離を用いて結合体による軌跡を計数する構成を説明したが、移動方向を用いて結合体による軌跡を計数してもよい。
【0117】
また、例えば、上記実施の形態では、各種の算出を主成分分析によって行ったが、回帰分析、線形近似等の任意の方法によって種々の算出を行ってもよい。
【産業上の利用可能性】
【0118】
本開示は、簡単、高速、かつ正確な標的物質の検出、観察等を目的とする装置に用いられる。
【符号の説明】
【0119】
20 溶液保持部
21 検出板
23 溶液保持槽
25 カバーガラス
27 空間
27a、27b 電場
27c 磁場勾配
29 外力印加部
29a 第1電場印加部
29b 第2電場印加部
29c 磁場印加部
29d 電場印加部
29e 電極
29f 電源
30 撮像装置
31 集光部材
33 フィルタ
35 イメージセンサ
37 筐体
41a、41b、41c 結合体
41d 誘電体
43、44、45、46、47、48、49、50 軌跡
43a、44a、45a、46a、47a、48a、49a、50a 移動方向
100 計数システム
101 検出装置
102 コントローラ
103 計数装置
104 取得部
105 特定部
106 計数部
107 算出部
108 マージ部
109 モニタ
109a アプリケーションウインドウ