(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-12-05
(45)【発行日】2022-12-13
(54)【発明の名称】マニピュレーションシステム
(51)【国際特許分類】
G02B 21/32 20060101AFI20221206BHJP
G06T 7/00 20170101ALI20221206BHJP
B25J 13/08 20060101ALI20221206BHJP
C12M 3/00 20060101ALI20221206BHJP
【ＦＩ】
G02B21/32
G06T7/00 630
B25J13/08 A
C12M3/00 Z
【請求項の数】
6
(21)【出願番号】P 2019015041
(22)【出願日】2019-01-31
(65)【公開番号】P2020122894
(43)【公開日】2020-08-13
【審査請求日】2021-10-22
(73)【特許権者】
【識別番号】000004204
【氏名又は名称】日本精工株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】倉持 尚史
(72)【発明者】
【氏名】リチャード ハウス
(72)【発明者】
【氏名】田中 伸明
(72)【発明者】
【氏名】古川 秀樹
【審査官】殿岡 雅仁
(56)【参考文献】
【文献】特開２０１７－０７１０２０（ＪＰ，Ａ）
【文献】特開２００４－３６１０８５（ＪＰ，Ａ）
【文献】中国特許出願公開第１０８４４７０７２（ＣＮ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０２Ｂ ２１／００ － ２１／３６
(57)【特許請求の範囲】
【請求項1】
管状器具を用いて微小対象物を採取するマニピュレーションシステムであって、前記管状器具と、
前記管状器具が取り付けられるマニピュレータと、
前記微小対象物を収容するための容器が載置される試料ステージと、
前記試料ステージの上方に配置される第１顕微鏡と、
前記第１顕微鏡を介して第１画像を撮像する第１撮像装置と、
コントローラと、を備え、
前記コントローラは、
前記第１画像に基づいて、第１しきい値以上の輝度を有する複数の明部を表示する第１バイナリ画像と、第２しきい値以下の輝度を有する複数の暗部を表示する第２バイナリ画像とを作成し、前記第１バイナリ画像と前記第２バイナリ画像とを重ね合わせて第３バイナリ画像を作成する画像処理部と、
前記第３バイナリ画像において、前記明部と前記暗部とが組み合わされた検出部分に基づいて前記微小対象物の位置を検出する位置検出部と、を有し、
前記第３バイナリ画像には、複数の前記微小対象物のそれぞれに対応する複数の前記検出部分が形成され、
前記位置検出部は、前記管状器具の端部の位置及び延在方向を検出し、
前記画像処理部は、前記第３バイナリ画像のうち、前記管状器具の前記延在方向で、前記端部と隣り合う部分領域を切り取って、前記部分領域で画像処理を行い、
前記位置検出部は、複数の前記検出部分のうち、前記部分領域の複数の前記検出部分に基づいて前記微小対象物の位置を検出する
マニピュレーションシステム。
【請求項2】
前記コントローラは、前記微小対象物の基準バイナリ画像を記憶する記憶部を有し、前記位置検出部は、前記第３バイナリ画像の前記検出部分と、前記基準バイナリ画像とを比較して、前記微小対象物を検出する
請求項１に記載のマニピュレーションシステム。
【請求項3】
前記コントローラは、前記第１画像の輝度に基づいて、前記第１しきい値と、前記第１しきい値よりも小さい輝度を示す前記第２しきい値とを設定するしきい値設定部を有する請求項１又は請求項２に記載のマニピュレーションシステム。
【請求項4】
前記画像処理部は、前記第１画像を輝度のみで表示したグレースケール画像に変換し、前記グレースケール画像に基づいて前記第１バイナリ画像及び前記第２バイナリ画像を作成する請求項１から請求項３のいずれか１項に記載のマニピュレーションシステム。
【請求項5】
前記画像処理部は、前記第１バイナリ画像において、複数の前記明部をそれぞれ拡大し、前記第２バイナリ画像において、複数の前記暗部をそれぞれ拡大する請求項１から請求項４のいずれか１項に記載のマニピュレーションシステム。
【請求項6】
さらに、前記管状器具に対して前記試料ステージを相対的に移動させる駆動装置を有し、前記コントローラは、前記位置検出部が前記微小対象物を検出しなかった場合に、前記駆動装置により前記試料ステージを移動させる
請求項１から請求項５のいずれか１項に記載のマニピュレーションシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、マニピュレーションシステムに関する。
【背景技術】
【0002】
バイオ医薬品は細胞を原料として製造される。原料となる細胞は、単一細胞に由来していることが求められる。このため、培養液中から特定の細胞を選別し回収することが必要となる。特許文献１には、細胞を吸引するマニピュレータを有する細胞採取装置が記載されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１３－１６９１８５号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
マニピュレータを有する細胞採取装置では、画像処理により細胞を自動で検出する際に、光源から照射される光の状態によって細胞の正しい形状を検出することができず、細胞を誤検出する場合がある。
【0005】
本発明は、上記に鑑みてなされたものであり、微小対象物の検出精度を向上させることで、微小対象物を１個ずつ採取することが可能なマニピュレーションシステムを提供することを目的とする。
【課題を解決するための手段】
【0006】
一態様に係るマニピュレーションシステムは、管状器具を用いて微小対象物を採取するマニピュレーションシステムであって、前記管状器具と、前記管状器具が取り付けられるマニピュレータと、前記微小対象物を収容するための容器が載置される試料ステージと、前記試料ステージの上方に配置される第１顕微鏡と、前記第１顕微鏡を介して第１画像を撮像する第１撮像装置と、コントローラと、を備え、前記コントローラは、前記第１画像に基づいて、第１しきい値以上の輝度を有する複数の明部を表示する第１バイナリ画像と、第２しきい値以下の輝度を有する複数の暗部を表示する第２バイナリ画像とを作成し、前記第１バイナリ画像と前記第２バイナリ画像とを重ね合わせて第３バイナリ画像を作成する画像処理部と、前記第３バイナリ画像において、前記明部と前記暗部とが組み合わされた検出部分に基づいて前記微小対象物の位置を検出する位置検出部と、を有する。
【0007】
これによれば、マニピュレーションシステムは、微小対象物の明部及び暗部を検出して、２つのバイナリ画像を組み合わせることで、明部及び暗部のいずれか一方のみで微小対象物を検出する場合に比べて、微小対象物の形状及び大きさを精度よく検出することができる。これにより、マニピュレーションシステムは、微小対象物を１個ずつ採取することができる。
【0008】
望ましい態様として、前記コントローラは、前記微小対象物の基準バイナリ画像を記憶する記憶部を有し、前記位置検出部は、前記第３バイナリ画像の前記検出部分と、前記基準バイナリ画像とを比較して、前記微小対象物を検出する。これによれば、マニピュレーションシステムは、基準バイナリ画像とは異なる形状の微小対象物や、異なる大きさの微小対象物を、採取対象から除去することができる。
【0009】
望ましい態様として、マニピュレーションシステムは、前記第１画像の輝度に基づいて、前記第１しきい値と、前記第１しきい値よりも小さい輝度を示す前記第２しきい値とを設定するしきい値設定部を有する。これによれば、第１バイナリ画像の明部と、第２バイナリ画像の暗部とが、それぞれ異なるしきい値で検出される。このため、第１顕微鏡の視野中の輝度が、測定環境等により変化した場合でも、マニピュレーションシステムは、良好に明部及び暗部を検出することができる。すなわち、マニピュレーションシステムは、環境の変化に対するロバスト性を向上させることができる。
【0010】
望ましい態様として、前記画像処理部は、前記第１画像を輝度のみで表示したグレースケール画像に変換し、前記グレースケール画像に基づいて前記第１バイナリ画像及び前記第２バイナリ画像を作成する。これによれば、カラー画像を用いる場合に比べて画像処理部が行う画像処理の負荷を抑制することができる。
【0011】
望ましい態様として、前記画像処理部は、前記第１バイナリ画像において、複数の前記明部をそれぞれ拡大し、前記第２バイナリ画像において、複数の前記暗部をそれぞれ拡大する。これによれば、マニピュレーションシステムは、第３バイナリ画像において明部と暗部とが組み合わされた場合に、明部と暗部との間に隙間が生じることを抑制することができる。したがって、位置検出部は、１組の明部と暗部とを１つの微小対象物として検出することができる。
【0012】
望ましい態様として、前記位置検出部は、前記管状器具の端部の位置及び延在方向を検出し、前記画像処理部は、前記第３バイナリ画像のうち、前記管状器具の端部と隣り合う部分領域を切り取って、前記部分領域で画像処理を行う。これによれば、画像処理部が行う画像処理や、位置検出部が行うパターンマッチングの負荷を抑制することができる。
【0013】
望ましい態様として、マニピュレーションシステムは、さらに、前記管状器具に対して前記試料ステージを相対的に移動させる駆動装置を有し、前記コントローラは、前記位置検出部が前記微小対象物を検出しなかった場合に、前記駆動装置により前記試料ステージを移動させる。これによれば、第１画像に微小対象物が存在しない場合に、容器内の異なる領域で微小対象物を検出することができる。
【発明の効果】
【0014】
本発明によれば、微小対象物の検出精度を向上させることで、微小対象物を１個ずつ採取することが可能なマニピュレーションシステムを提供することができる。
【図面の簡単な説明】
【0015】
【発明を実施するための形態】
【0016】
以下、発明を実施するための形態（以下、実施形態という）につき図面を参照しつつ詳細に説明する。なお、下記の実施形態により本発明が限定されるものではない。また、下記実施形態における構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。さらに、下記実施形態で開示した構成要素は適宜組み合わせることが可能である。
【0017】
（第１実施形態）
図１は、第１実施形態に係るマニピュレーションシステムの構成例を示す斜視図である。図２は、図１に示すマニピュレーションシステムの一部を拡大して示す斜視図である。図３は、第１実施形態に係るマニピュレーションシステムの構成例を示す模式図である。図１から図３に示すマニピュレーションシステム１００は、容器３８に収容された複数個の微小対象物のうちから、所望の微小対象物を１個ずつ分取する装置である。微小対象物は、例えば細胞である。
図１は、第１実施形態に係るマニピュレーションシステムの構成例を示す斜視図である。図２は、図１に示すマニピュレーションシステムの一部を拡大して示す斜視図である。図３は、第１実施形態に係るマニピュレーションシステムの構成例を示す模式図である。図１から図３に示すマニピュレーションシステム１００は、容器３８に収容された複数個の微小対象物のうちから、所望の微小対象物を１個ずつ分取する装置である。微小対象物は、例えば細胞である。
【0018】
図１から図３に示すように、マニピュレーションシステム１００は、基台１と、採取用ピペット１０と、ピペット保持部１５と、マニピュレータ２０と、試料ステージ３０と、第１撮像装置４５を有する第１顕微鏡ユニット４０と、コントローラ５０と、第２撮像装置６５を有する第２顕微鏡ユニット６０と、第３撮像装置７５と、ジョイスティック５７と、入力部５８と、表示部８０と、を備える。なお、本実施形態では、試料ステージ３０の載置面３０ａに平行な一方向をＸ軸方向とする。載置面３０ａに平行で、かつ、Ｘ軸方向と直交する方向をＹ軸方向とする。載置面３０ａの法線方向をＺ軸方向とする。例えば、載置面３０ａが鉛直方向と直交する水平面となるように、基台１の配置が調整されている。
【0019】
採取用ピペット１０は、細胞を採取するための管状器具である。例えば、採取用ピペット１０は針状であり、その材質は例えばガラスである。採取用ピペット１０の先端には、細胞を採取するための開口部が設けられている。採取用ピペット１０の詳細は、後で図８及び図９を参照しながら説明する。
【0020】
ピペット保持部１５は、採取用ピペット１０を保持するための管状器具である。ピペット保持部１５の材質は、例えばガラス又は金属である。ピペット保持部１５の一端は、採取用ピペット１０に連結している。また、ピペット保持部１５の他端は、マニピュレータ２０が有する電動マイクロポンプ２９に接続されている。ピペット保持部１５及び採取用ピペット１０の内部圧力は、電動マイクロポンプ２９から供給される圧力Ｐにより減圧又は増圧される。採取用ピペット１０の内部圧力が常圧よりも低いとき、採取用ピペット１０は先端の開口部から細胞を吸引して採取することができる。また、採取用ピペット１０の内部圧力が常圧よりも高いとき、採取用ピペット１０は、採取した細胞を採取用ピペット１０の先端の開口部から外部へ吐出（放出）することができる。ピペット保持部１５は、後述の連結部２８を介してマニピュレータ２０に連結されている。
【0021】
マニピュレータ２０は、ピペット保持部１５及び採取用ピペット１０をＸ軸方向、Ｙ軸方向及びＺ軸方向に移動させるための装置である。
【0022】
図３に示すように、マニピュレータ２０は、Ｘ軸テーブル２１と、Ｙ軸テーブル２２と、Ｚ軸テーブル２３と、駆動装置２６、２７と、連結部２８、７１（図１参照）と、電動マイクロポンプ２９と、を備える。Ｘ軸テーブル２１は、駆動装置２６が駆動することによって、Ｘ軸方向に移動する。Ｙ軸テーブル２２は、駆動装置２６が駆動することによって、Ｙ軸方向に移動する。Ｚ軸テーブル２３は、駆動装置２７が駆動することによって、Ｚ軸方向に移動する。駆動装置２６、２７と、電動マイクロポンプ２９は、コントローラ５０に接続されている。
【0023】
マニピュレータ２０において、Ｚ軸テーブル２３はＹ軸テーブル２２上に取り付けられている。これにより、ピペット保持部１５及び採取用ピペット１０は、Ｙ軸テーブル２２の移動にしたがって、Ｙ軸テーブル２２と同じ距離だけＹ軸方向に移動することができる。さらに、Ｙ軸テーブル２２はＸ軸テーブル２１上に取り付けられている。これにより、ピペット保持部１５及び採取用ピペット１０は、Ｘ軸テーブル２１の移動にしたがって、Ｘ軸テーブル２１と同じ距離だけＸ軸方向に移動することができる。また、ピペット保持部１５及び採取用ピペット１０は、Ｚ軸テーブル２３の移動にしたがって、Ｚ軸テーブル２３と同じ距離だけＺ軸方向に移動することができる。
【0024】
図３に示すように、試料ステージ３０は、容器３８を支持する。例えば、試料ステージ３０の載置面３０ａに容器３８が載置される。容器３８は、例えば、ディッシュ又はウェルプレートである。試料ステージ３０は、Ｘ軸ステージ３１と、Ｙ軸ステージ３２と、駆動装置３６と、を備える。Ｘ軸ステージ３１は、駆動装置３６が駆動することによって、Ｘ軸方向に移動する。Ｙ軸ステージ３２は、駆動装置３６が駆動することによって、Ｙ軸方向に移動する。Ｘ軸ステージ３１はＹ軸ステージ３２上に取り付けられている。駆動装置３６は、コントローラ５０に接続されている。
【0025】
なお、図３では、試料ステージ３０の平面視による形状（以下、平面形状）が円形の場合を示しているが、試料ステージ３０の平面形状は円形に限定されず、例えば矩形でもよい。また、図３では、容器３８の平面形状が円形の場合を示しているが、容器３８の平面形状は円形に限定されない。図１に示すように、容器３８の平面形状は、例えば矩形でもよい。また、図１及び図３では、試料ステージ３０上に１個の容器３８が載置されている場合を示しているが、試料ステージ３０上に載置される容器３８の数は１個に限定されず複数個でもよい。
【0026】
第１顕微鏡ユニット４０は、試料ステージ３０の上方に配置されている。第１顕微鏡ユニット４０は、第１顕微鏡４１と、第１撮像装置４５と、試料ステージ３０の載置面３０ａに向けて光を照射する光源（図示せず）とを有する。図２に示すように、第１顕微鏡４１は、鏡筒４１１と、対物レンズ４１２と、駆動装置４１４（図３参照）とを有する。第１顕微鏡４１は、対物レンズ４１２が容器３８の上方に位置する実体顕微鏡である。第１顕微鏡ユニット４０の鏡筒４１１は、駆動装置４１４が駆動することによって、Ｚ軸方向に移動する。これにより、第１顕微鏡４１は、焦点位置を調節することができる。対物レンズ４１２は、所望の倍率に合わせて複数種類が用意されていてもよい。第１撮像装置４５は、第１顕微鏡４１を介して、採取用ピペット１０の先端をＺ軸方向から撮像することができる。なお、第１顕微鏡ユニット４０は、図示しない接眼レンズを備えてもよい。
【0027】
図１に示す連結部２８は、ピペット保持部１５をマニピュレータ２０に連結している。また、第１顕微鏡ユニット４０の鏡筒４１１は、連結部７１によりマニピュレータ２０に連結されている。これにより、鏡筒４１１がＺ軸方向へ移動すると、これと一緒にマニピュレータ２０、ピペット保持部１５及び採取用ピペット１０もＺ軸方向へ移動する。連結部２８、７１は、例えば金属製である。連結部２８、７１は、例えばＺ軸テーブル２３に取り付けられている。
【0028】
第２顕微鏡ユニット６０は、試料ステージ３０の側方に配置されている。第２顕微鏡ユニット６０は、第２顕微鏡６１と、第２撮像装置６５とを有する。図２に示すように、第２顕微鏡６１は、鏡筒６１１と、対物レンズ６１２と、駆動装置６１３（図１参照）と、を有する。対物レンズ６１２は、駆動装置６１３が駆動することによって、Ｙ軸方向に移動する。これにより、第２顕微鏡６１は、焦点位置を調節することができる。第２撮像装置６５は、第２顕微鏡６１を介して、採取用ピペット１０の先端をＹ軸方向から撮像することができる。第２顕微鏡ユニット６０は、固定具３を介して基台１に固定されている。第１撮像装置４５及び第２撮像装置６５は、例えば、ＣＭＯＳイメージセンサ又はＣＣＤイメージセンサ等の固体撮像素子を有する。
【0029】
第３撮像装置７５は、固定具４を介して基台１に固定されている。固定具４は、Ｘ軸方向及びＹ軸方向に動くことができ、Ｚ軸方向に延伸することができる。これにより、第３撮像装置７５は、Ｘ軸方向、Ｙ軸方向及びＺ軸方向とそれぞれ交差する、試料ステージ３０の斜め上方向から、試料ステージ３０側を撮像することができる。
【0030】
図３に示す入力部５８は、キーボードやタッチパネル等である。ジョイスティック５７及び入力部５８は、コントローラ５０に接続されている。オペレータは、ジョイスティック５７及び入力部５８を介して、コントローラ５０にコマンドを入力することができる。
【0031】
次に、コントローラ５０の機能について、図４を参照して説明する。図４は、第１実施形態に係るマニピュレーションシステムの構成例を示すブロック図である。コントローラ５０は、演算手段としてのＣＰＵ（中央演算処理装置）及び記憶手段としてのハードディスク、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等のハードウェア資源を備える。
【0032】
図４に示すように、コントローラ５０は、その機能として、画像入力部５１ａ、画像出力部５１ｂ、画像処理部５２、検出部５３、画像編集部５４、制御部５５及び記憶部５６を有する。画像入力部５１ａ、画像出力部５１ｂ、画像処理部５２、検出部５３、画像編集部５４及び制御部５５は、上記の演算手段により実現される。記憶部５６は、上記の記憶手段により実現される。コントローラ５０は、記憶部５６に格納されたプログラムに基づいて各種の演算を行い、演算結果にしたがって制御部５５が各種の制御を行うように駆動信号を出力する。
【0033】
制御部５５は、第１顕微鏡ユニット４０の駆動装置４１４と、マニピュレータ２０の駆動装置２６、２７及び電動マイクロポンプ２９と、試料ステージ３０の駆動装置３６と、第２顕微鏡ユニット６０の駆動装置６１３とを制御する。制御部５５は、駆動装置４１４、２６、２７、３６、６１３に駆動信号Ｖｚ１、Ｖｘｙ２、Ｖｚ２、Ｖｘｙ３、Ｖｙ４（図３参照）をそれぞれ供給する。また、制御部５５は、電動マイクロポンプ２９に駆動信号Ｖｍｐ（図３参照）を供給する。なお、制御部５５は、必要に応じて設けられたドライバやアンプ等を介して、駆動信号Ｖｚ１、Ｖｘｙ２、Ｖｚ２、Ｖｘｙ３、Ｖｙ４、Ｖｍｐをそれぞれ供給してもよい。
【0034】
第１撮像装置４５から出力される第１画像信号Ｖｐｉｘ１（図３参照）と、第２撮像装置６５から出力される第２画像信号Ｖｐｉｘ２（図３参照）と、第３撮像装置７５から出力される第３画像信号Ｖｐｉｘ３（図３参照）は、画像入力部５１ａにそれぞれ入力される。画像処理部５２は、画像入力部５１ａから第１画像信号Ｖｐｉｘ１、第２画像信号Ｖｐｉｘ２、第３画像信号Ｖｐｉｘ３を受け取って、画像処理を行う。画像出力部５１ｂは、画像処理部５２で画像処理された画像情報を記憶部５６及び表示部８０へ出力する。
【0035】
例えば、第１画像信号Ｖｐｉｘ１には、第１顕微鏡４１を通して第１撮像装置４５が撮像した第１画像８１１（図７参照）と、その撮像時刻とが含まれている。第１画像８１１は動画である。同様に、第２画像信号Ｖｐｉｘ２には、第２顕微鏡６１を通して第２撮像装置６５が撮像した第２画像８１２（図７参照）と、その撮像時刻とが含まれている。第２画像８１２も動画である。第３画像信号Ｖｐｉｘ３には、第３撮像装置７５が撮像した第３画像８１３（図７参照）と、その撮像時刻とが含まれている。第３画像８１３も動画である。
【0036】
また、第１画像８１１、第２画像８１２及び第３画像８１３は、それぞれカラー画像又はグレー画像である。グレー画像は、白色及び黒色と、白色と黒色の中間色である灰色を含む画像である。グレー画像は、灰色に複数の階調を有する。階調とは、色や明るさの濃淡の段階数のことである。
【0037】
画像処理部５２は、細胞の検出を容易にするために、第１画像８１１又は第２画像８１２の少なくとも一方について、画像の拡大や２値化等の画像処理をする。画像の２値化とは、カラー画像又はグレー画像（以下、元画像）を、濃淡がなく、白色と黒色としかない２値画像（ｂｉｎａｒｙ ｉｍａｇｅ）に変換することである。画像処理部５２は、第１画像８１１又は第２画像８１２の少なくとも一方について、元画像を拡大した拡大画像や、元画像を２値化した２値画像を作成する。また、画像処理部５２は、元画像を拡大し、２値化した拡大２値画像を作成してもよい。画像処理部５２は、拡大画像、２値画像、拡大２値画像の少なくとも１種類以上を画像情報として、検出部５３と画像編集部５４とに出力する。
【0038】
検出部５３は、画像処理部５２から画像情報を受け取り、受け取った画像情報に基づいて、細胞の位置や個数を自動で検出する。そして、検出部５３は検出結果を画像編集部５４及び制御部５５に出力する。なお、本開示において「自動」とは、装置が作業者の判断を介さずに動作することを意味する。
【0039】
図５は、検出部の構成例を示すブロック図である。図５に示すように、検出部５３は、その機能として、位置検出部５３１と、距離検出部５３２と、個数検出部５３３と、輝度検出部５３４と、しきい値設定部５３５とを有する。位置検出部５３１は、画像処理部５２によって画像処理された第１画像８１１又は第２画像８１２に基づいて、細胞ｃｅ（図７参照）の位置を自動で検出する。また、位置検出部５３１は、画像処理部５２によって画像処理された第１画像８１１又は第２画像８１２に基づいて、採取用ピペット１０の先端部１０３の位置を検出する。
【0040】
距離検出部５３２は、位置検出部５３１によって検出された細胞ｃｅと先端部１０３の開口部１０３ａ（後述の図９参照）との離隔距離を自動で検出する。個数検出部５３３は、画像処理部５２によって画像処理された第１画像８１１又は第２画像８１２に基づいて、細胞ｃｅの個数を自動で検出する。画像処理部５２によって画像処理された画像として、例えば、拡大画像、２値画像及び拡大２値画像の少なくとも１種類以上が挙げられる。位置検出部５３１、距離検出部５３２及び個数検出部５３３の各検出結果は、画像編集部５４及び制御部５５にそれぞれ出力される。
【0041】
輝度検出部５３４は、画像処理部５２によって画像処理された第１画像８１１に基づいて、第１画像８１１の輝度Ｌ－ＢＧを検出する。輝度Ｌ－ＢＧは、第１画像８１１全体における輝度の平均値である。しきい値設定部５３５は、輝度検出部５３４によって検出された輝度Ｌ－ＢＧに基づいて、第１しきい値Ｌ－ＴＨ１及び第２しきい値Ｌ－ＴＨ２を設定する。第１しきい値Ｌ－ＴＨ１及び第２しきい値Ｌ－ＴＨ２は、画像処理部５２が２値画像（第１バイナリ画像８１１Ａ（図１４参照）及び第２バイナリ画像８１１Ｂ（図１５参照））を作成する際の輝度の基準値である。輝度Ｌ－ＢＧ、第１しきい値Ｌ－ＴＨ１及び第２しきい値Ｌ－ＴＨ２は、例えば、大津の二値化処理によって自動で設定される。
【0042】
画像編集部５４は、第１画像信号Ｖｐｉｘ１、第２画像信号Ｖｐｉｘ２、第３画像信号Ｖｐｉｘ３を、撮像時刻に基づいて互いに関連付けして、編集画像信号Ｖｐｉｘ４を作成する。編集画像信号Ｖｐｉｘ４には、編集画像が含まれている。編集画像は、互いに同じ時刻に撮像された第１画像８１１、第２画像８１２及び第３画像８１３を並べて表示する動画である。編集画像において、第１画像８１１、第２画像８１２及び第３画像８１３はそれぞれ、元画像でもよいし、元画像を画像処理した拡大画像、２値画像又は拡大２値画像であってもよい。画像出力部５１ｂは、第１画像信号Ｖｐｉｘ１、第２画像信号Ｖｐｉｘ２、第３画像信号Ｖｐｉｘ３及び編集画像信号Ｖｐｉｘ４を記憶部５６に出力する。
【0043】
また、画像編集部５４は、検出部５３から細胞ｃｅの検出結果を受信する。検出部５３が細胞の位置を検出した場合、画像編集部５４は、その検出結果を編集画像に反映させてもよい。例えば、画像編集部５４は、画像処理部５２から受け取った拡大画像、２値画像又は拡大２値画像において、検出部５３が検出した細胞ｃｅの位置を矢印で自動で示したり、検出部５３が検出した細胞の位置を枠線で自動で囲んだりしてもよい。
【0044】
図６は、記憶部の構成例を示すブロック図である。図６に示すように、記憶部５６は、その機能として、マニピュレーションシステム１００を動作させるためのプログラムを記憶したプログラム記憶部５６ａと、画像信号を記憶する画像記憶部５６ｂとを有する。画像記憶部５６ｂは、第１画像信号Ｖｐｉｘ１を記憶する第１画像記憶部５６１と、第２画像信号Ｖｐｉｘ２を記憶する第２画像記憶部５６２と、第３画像信号Ｖｐｉｘ３を記憶する第３画像記憶部５６３と、編集画像信号Ｖｐｉｘ４を記憶する編集画像記憶部５６４と、基準バイナリ画像ｃｅ－ｒ（図２３参照）を記憶する基準画像記憶部５６５と、を有する。第１画像記憶部５６１は、画像処理部５２が作成した、拡大画像、２値画像、拡大２値画像の少なくとも１種類以上を一時的に記憶してもよい。
【0045】
画像出力部５１ｂは、第１画像信号Ｖｐｉｘ１、第２画像信号Ｖｐｉｘ２、第３画像信号Ｖｐｉｘ３及び編集画像信号Ｖｐｉｘ４のうち、少なくとも１つ以上の画像信号を表示部８０に出力する。
【0046】
表示部８０は、例えば液晶パネル等である。表示部８０は、コントローラ５０に接続されている。表示部８０は、種々の文字情報や画像等を画面に表示する。図７は、表示部の画面の一例を示す図である。図７は、表示部８０の画面８１に編集画像が表示されている場合を例示している。編集画像では、互いに同じタイミングで撮像された第１画像８１１、第２画像８１２、第３画像８１３が並んで配置されている。表示部８０は、編集画像をリアルタイム又はほぼリアルタイムで表示してもよいし、編集画像記憶部５６４に記憶されている編集画像を読み出して再生表示してもよい。
【0047】
オペレータがジョイスティック５７又は入力部５８を操作することによって、画面８１に表示される画像を切り替えることが可能である。また、オペレータがジョイスティック５７又は入力部５８を操作することによって、画面８１に表示される編集画像（動画）を一時停止させることが可能である。また、プログラム記憶部５６ａ（図６参照）が記憶しているプログラムに基づいて、制御部５５（図４参照）が所定の画像を画面８１に自動で表示させたり、画面８１に表示される画像を自動で切り替えたりしてもよい。
【0048】
また、画面８１に表示される画像は、編集画像に限定されることはなく、第１画像８１１、第２画像８１２又は第３画像８１３のみでもよい。また、画面に表示される画像は、元画像に限定されることはなく、画像処理部５２によって画像処理された画像（例えば、拡大画像、２値画像及び拡大２値画像の少なくとも１種以上）であってもよい。例えば、画面８１に表示される画像は、図１１に示すグレースケール画像８１１Ｇや、図１４から図１９に示す第１バイナリ画像８１１Ａ及び第２バイナリ画像８１１Ｂや、図２０に示す第３バイナリ画像８１１Ｃ等であってもよい。
【0049】
図８は、実施形態１に係る採取用ピペットの構成例を示す側面図である。図８に示すように、採取用ピペット１０は、２段に屈曲した形状のガラス針である。具体的には、採取用ピペット１０は、平面視で、管状の中央部１０１と、中央部１０１の一端に接続する管状の後方部１０２と、中央部１０１の他端に接続する管状の先端部１０３と、を有する。後方部１０２は、ピペット保持部１５によって保持される側の部位である。先端部１０３は、細胞等の微小対象物を採取する側の部位である。
【0050】
中央部１０１と後方部１０２との間には第１屈曲部１０４が存在する。中央部１０１と先端部１０３との間には第２屈曲部１０５が存在する。中央部１０１の長手方向と後方部１０２の長手方向は互いに交差している。中央部１０１の長手方向と先端部１０３の長手方向も互いに交差している。後方部１０２の長手方向と先端部１０３の長手方向は互いに平行又はほぼ平行である。例えば、中央部１０１の長手方向と後方部１０２の長手方向とが成す鈍角の角度（以下、第１屈曲部１０４の屈曲角度）をθ１とする。中央部１０１の長手方向と先端部１０３の長手方向とが成す鈍角の角度（以下、第２屈曲部１０５の屈曲角度）をθ２とする。第１屈曲部１０４の屈曲角度θ１と第２屈曲部１０５の屈曲角度θ２との差の絶対値｜θ１－θ２｜は、０°以上５°未満である。
【0051】
また、中央部１０１の長手方向の長さをＬ１とし、後方部１０２の長手方向の長さをＬ２とし、先端部１０３の長手方向の長さをＬ３としたとき、Ｌ３＜Ｌ１、かつ、Ｌ３＜Ｌ２である。これによれば、採取用ピペット１０の先端部である先端部１０３を容器３８内に配置することが容易である。
【0052】
中央部１０１を、中央部１０１の長手方向と直交する平面で切断した形状は円形である。同様に、後方部１０２を、後方部１０２の長手方向と直交する平面で切断した形状は円形である。先端部１０３を、先端部１０３の長手方向と直交する平面で切断した形状は円形である。後方部１０２の外径をφ２１とし、先端部１０３の外径をφ３１としたとき、φ２１＞φ３１である。また、中央部１０１の外径φ１１は、第１屈曲部１０４の側から第２屈曲部１０５の側に向かって小さくなっている。
【0053】
例えば、中央部１０１は、第１屈曲部１０４と第２屈曲部１０５との間に、外径が大きく変化する狭窄部１０６を有する。中央部１０１において、狭窄部１０６と第１屈曲部１０４との間に位置する第１部位１０１ａよりも、狭窄部１０６と第２屈曲部１０５との間に位置する第２部位１０１ｂの方が、外径φ１１が小さい。また、第２部位１０１ｂの長手方向の長さＬ１’は、先端部１０３の長手方向の長さＬ３よりも長い。
【0054】
図９は、第１実施形態に係る採取用ピペットの先端部を拡大して示す図である。図９に示すように、先端部１０３の先端には開口部１０３ａが設けられている。開口部１０３ａと第２屈曲部１０５との間で、先端部１０３の内径φ３２の大きさはほぼ一定である。採取用ピペット１０の採取対象である細胞ｃｅの直径をφｃｅとしたとき、φ３２はφｃｅよりも数μｍ程度大きいことが好ましい。これにより、採取用ピペット１０は、細胞ｃｅを先端部１０３の内側に導入することができる。
【0055】
次に、マニピュレーションシステム１００の細胞ｃｅの検出動作について説明する。図１０は、第１実施形態に係るマニピュレーションシステムの細胞検出シーケンスの一例を示すフローチャートである。
【0056】
図１０に示す動作シーケンスでは、容器３８は液体３９と複数個の細胞ｃｅとを収容している（図７参照）。図１０に示すように、マニピュレーションシステム１００は、第１顕微鏡４１の焦点を採取用ピペット１０の先端部１０３にそれぞれ自動で合わせる（ステップＳＴ１１）。例えば、オペレータはジョイスティック５７又は入力部５８（図３参照）を操作して、コントローラ５０（図３参照）に細胞ｃｅの自動検出を実行するように指示する。
【0057】
この指示を受けて、コントローラ５０の制御部５５（図３参照）は、駆動装置４１４に駆動信号Ｖｚ１（図３参照）を出力して、対物レンズ４１２をＺ軸方向に動かす。これにより、第１顕微鏡ユニット４０は、第１顕微鏡４１の焦点を採取用ピペット１０の先端部１０３に合わせる。
【0058】
次に、マニピュレーションシステム１００は、第１顕微鏡４１の焦点を、容器３８に収容されている細胞ｃｅに自動で合わせる。例えば、マニピュレーションシステム１００は、第１顕微鏡ユニット４０を容器３８の底面に向けて下降させ、第１顕微鏡４１の焦点を複数の細胞ｃｅに自動で合わせる。上述したように、第１顕微鏡ユニット４０と、採取用ピペット１０を保持するピペット保持部１５とは、連結部２８、７１を介して互いに固定されている。このため、採取用ピペット１０も、第１顕微鏡ユニット４０と一体となって容器３８の底面に向けて下降する。
【0059】
次に、第１撮像装置４５は、第１顕微鏡４１を介して第１画像８１１を撮像する。画像処理部５２は、第１画像８１１の情報である第１画像信号Ｖｐｉｘ１を受け取って、第１画像８１１から輝度のパラメータのみを抽出した画像（グレースケール画像８１１Ｇ）に変換する（ステップＳＴ１２）。これにより、画像処理部５２が行う画像処理の負荷を抑制することができ、２値化処理や拡大処理等を良好に行うことができる。
【0060】
図１１は、第１画像を輝度のみで表示したグレースケール画像の一例を示す模式図である。図１１に示すように、第１顕微鏡４１の焦点が細胞ｃｅに合うとき、採取用ピペット１０の先端部１０３は容器３８の内部に位置する。グレースケール画像８１１Ｇには、多数の細胞ｃｅと、採取用ピペット１０の先端部１０３が撮像されている。
【0061】
次に、輝度検出部５３４及びしきい値設定部５３５（図５参照）は、輝度の第１しきい値Ｌ－ＴＨ１及び第２しきい値Ｌ－ＴＨ２を設定する（ステップＳＴ１３）。
【0062】
輝度検出部５３４は、グレースケール画像８１１Ｇ全体の輝度Ｌ－ＢＧを検出する。輝度Ｌ－ＢＧは、グレースケール画像８１１Ｇ全体の輝度の平均値である。輝度Ｌ－ＢＧは、例えば、大津の二値化処理によって自動的に設定される。しきい値設定部５３５は、輝度検出部５３４が検出した背景の輝度Ｌ－ＢＧの情報を受け取って、第１しきい値Ｌ－ＴＨ１及び第２しきい値Ｌ－ＴＨ２を設定する。
【0063】
図１２は、図１１に示す領域Ａ１の細胞を拡大して示す模式図である。図１２に示すように、第１顕微鏡４１で観察される細胞ｃｅには、光源から照射される光の状態に応じて影が生じる。このため、１つの細胞ｃｅは、明部ｃｅ－ａと暗部ｃｅ－ｂとを有する。
【0064】
図１３は、細胞及び背景の輝度の分布を模式的に示すグラフである。図１３は、図１２に示すＸＩＩＩ－ＸＩＩＩ’に沿った輝度の分布を模式的に示している。図１３に示すように、明部ｃｅ－ａは背景の輝度Ｌ－ＢＧよりも大きい輝度を有する。また、暗部ｃｅ－ｂは背景の輝度Ｌ－ＢＧよりも小さい輝度を有する。
【0065】
しきい値設定部５３５は、背景の輝度Ｌ－ＢＧに基づいて、輝度Ｌ－ＢＧよりも大きい輝度を示す第１しきい値Ｌ－ＴＨ１と、輝度Ｌ－ＢＧよりも小さい輝度を示す第２しきい値Ｌ－ＴＨ２とを設定する。すなわち、第２しきい値Ｌ－ＴＨ２は、第１しきい値Ｌ－ＴＨ１よりも小さい輝度を示す。第１しきい値Ｌ－ＴＨ１及び第２しきい値Ｌ－ＴＨ２は、例えば大津の二値化処理によって自動的に設定される。
【0066】
このように、異なる輝度を示す第１しきい値Ｌ－ＴＨ１及び第２しきい値Ｌ－ＴＨ２を自動的に設定することにより、第１顕微鏡４１の視野における輝度が、測定環境等により変化した場合でも、マニピュレーションシステム１００は、良好に明部ｃｅ－ａ及び暗部ｃｅ－ｂを検出することができる。すなわち、マニピュレーションシステム１００は、環境の変化に対するロバスト性を向上させることができる。
【0067】
次に、画像処理部５２は、第１しきい値Ｌ－ＴＨ１及び第２しきい値Ｌ－ＴＨ２の情報を受け取って、グレースケール画像８１１Ｇの画像処理を行う。具体的には、画像処理部５２は、グレースケール画像８１１Ｇから第１しきい値Ｌ－ＴＨ１以上の輝度の部分を抽出して、第１バイナリ画像８１１Ａを作成する（ステップＳＴ１４）。図１４は、第１バイナリ画像の一例を示す模式図である。図１４に示すように、第１バイナリ画像８１１Ａにおいて、細胞ｃｅのうち、第１しきい値Ｌ－ＴＨ１以上の輝度を有する明部ｃｅ－ａが白表示となり、第１しきい値Ｌ－ＴＨ１よりも小さい輝度を有する暗部ｃｅ－ｂ及び背景が黒表示となる。
【0068】
同様に、画像処理部５２は、グレースケール画像８１１Ｇから第２しきい値Ｌ－ＴＨ２以下の輝度の部分を抽出して、第２バイナリ画像８１１Ｂを作成する（ステップＳＴ１５）。図１５は、第２バイナリ画像の一例を示す模式図である。図１５に示すように、第２バイナリ画像８１１Ｂにおいて、細胞ｃｅのうち、第２しきい値Ｌ－ＴＨ２以下の輝度を有する暗部ｃｅ－ｂが白表示となり、第２しきい値Ｌ－ＴＨ２よりも大きい輝度を有する明部ｃｅ－ａ及び背景が黒表示となる。つまり、第２バイナリ画像８１１Ｂは、暗い部分が白表示となり明るい部分が黒表示となる、反転画像として作成される。なお、画像処理部５２による第１バイナリ画像８１１Ａ及び第２バイナリ画像８１１Ｂの作成順は、逆であってもよい。
【0069】
次に、画像処理部５２は、第１バイナリ画像８１１Ａ及び第２バイナリ画像８１１Ｂから小さい明部ｃｅ－ａ及び暗部ｃｅ－ｂを除去する（ステップＳＴ１６）。図１６は、第１バイナリ画像において、小さい明部を除去した画像の一例を示す模式図である。画像処理部５２は、複数の明部ｃｅ－ａのうち所定の面積以下の明部ｃｅ－ａを第１バイナリ画像８１１Ａから除去する。図１６に示す第１バイナリ画像８１１Ａでは、図１４に示す第１バイナリ画像８１１Ａと比較して、例えば領域Ａ３において複数の小さい明部ｃｅ－ａが除去されている。
【0070】
図１７は、第２バイナリ画像において、小さい暗部を除去した画像の一例を示す模式図である。画像処理部５２は、複数の暗部ｃｅ－ｂのうち所定の面積以下の暗部ｃｅ－ｂを第２バイナリ画像８１１Ｂから除去する。図１７に示す第２バイナリ画像８１１Ｂでは、図１５に示す第２バイナリ画像８１１Ｂと比較して、例えば領域Ａ４及び領域Ａ５等において複数の小さい暗部ｃｅ－ｂが除去されている。ここで、複数の小さい明部ｃｅ－ａ及び複数の小さい暗部ｃｅ－ｂの除去は、公知の方法により処理される。
【0071】
このように、画像処理部５２が、明らかに小さい明部ｃｅ－ａ及び暗部ｃｅ－ｂを除去することにより、マニピュレーションシステム１００は、細胞ｃｅ以外の異物等を、採取対象として誤検出することを抑制することができる。
【0072】
次に、画像処理部５２は、第１バイナリ画像８１１Ａ及び第２バイナリ画像８１１Ｂにおいて、各明部及び暗部を拡大する（ステップＳＴ１７）。図１８は、第１バイナリ画像において、明部を拡大した画像の一例を示す模式図である。図１９は、第２バイナリ画像において、暗部を拡大した画像の一例を示す模式図である。図１８及び図１９に示すように、画像処理部５２は、第１バイナリ画像８１１Ａにおいて、複数の明部ｃｅ－ａをそれぞれ拡大し、第２バイナリ画像８１１Ｂにおいて、複数の暗部ｃｅ－ｂをそれぞれ拡大する。
【0073】
拡大された明部ｃｅ－ａｅ及び拡大された暗部ｃｅ－ｂｅは、それぞれ、拡大前の明部ｃｅ－ａ及び拡大前の暗部ｃｅ－ｂに対して、面積比で３倍以上４倍以下程度に拡大される。また、拡大された明部ｃｅ－ａｅ及び拡大された暗部ｃｅ－ｂｅの重心位置は、それぞれ、拡大前の明部ｃｅ－ａ及び拡大前の暗部ｃｅ－ｂの重心位置と一致している。なお、拡大された明部ｃｅ－ａｅ及び拡大された暗部ｃｅ－ｂｅの倍率は、採取対象の細胞ｃｅ－ｄの形状、大きさ、第１しきい値Ｌ－ＴＨ１、第２しきい値Ｌ－ＴＨ２あるいは観察環境に応じて適宜設定することができる。
【0074】
次に、画像処理部５２は、第１バイナリ画像８１１Ａと第２バイナリ画像８１１Ｂとを重ね合わせて第３バイナリ画像８１１Ｃを作成する（ステップＳＴ１８）。図２０は、第３バイナリ画像の一例を示す模式図である。図２０に示すように、第３バイナリ画像８１１Ｃにおいて、複数の検出部分ｃｅ－ｃが形成される。複数の検出部分ｃｅ－ｃは、それぞれ、明部ｃｅ－ａｅ（図１８参照）と暗部ｃｅ－ｂｅ（図１９参照）とが組み合わされることで、明部ｃｅ－ａｅの外縁の一部と暗部ｃｅ－ｂｅの外縁の一部とが重なりあって、１つの連続した白表示として形成される。
【0075】
上述したステップＳＴ１７において、画像処理部５２が複数の明部ｃｅ－ａ及び複数の暗部ｃｅ－ｂをそれぞれ拡大する画像処理を行っている。このため、第３バイナリ画像８１１Ｃの各検出部分ｃｅ－ｃにおいて、拡大された明部ｃｅ－ａｅと拡大された暗部ｃｅ－ｂｅとの間に隙間ｓｐ（図２６参照）が生じることを抑制することができる。したがって、位置検出部５３１は、１組の明部ｃｅ－ａｅと暗部ｃｅ－ｂｅとを１つの細胞ｃｅとして検出することができる。また、明部ｃｅ－ａｅと暗部ｃｅ－ｂｅとの間に隙間ｓｐ（図２６参照）がないので、位置検出部５３１は、後述するテンプレートマッチングや形状マッチングにおいて、検出精度を向上させることができる。
【0076】
次に、画像処理部５２は、図２０に示す第３バイナリ画像８１１Ｃの部分領域Ｂを切り取り、部分領域Ｂにおいてさらに検出部分ｃｅ－ｃを拡大する（ステップＳＴ１９）。図２１は、図２０に示す第３バイナリ画像の部分領域において、検出部分をさらに拡大した画像の一例を示す模式図である。図２０に示す部分領域Ｂは、先端部１０３の左側に位置する矩形状の領域である。言い換えると、部分領域Ｂは、第３バイナリ画像８１１Ｃのうち、先端部１０３の延在方向で、先端部１０３の端部１０３ｆと隣り合う領域である。
【0077】
これによれば、画像処理部５２は、第３バイナリ画像８１１Ｃのうち部分領域Ｂで画像処理を行うことで、画像処理の負荷を抑制することができ、また、位置検出部５３１によるテンプレートマッチングや形状マッチングの負荷を抑制することができる。
【0078】
図２１に示すように、画像処理部５２が、検出部分ｃｅ－ｃをさらに拡大することで、近い位置に存在する複数の検出部分ｃｅ－ｃがつながり、１つの連続した検出部分グループｃｅ－ｘとなる。これにより、位置検出部５３１によるテンプレートマッチングや形状マッチングで、検出部分グループｃｅ－ｘを採取対象の細胞ｃｅ－ｄから除去することができる。これにより、マニピュレーションシステム１００は、採取用ピペット１０により細胞ｃｅを採取する際に、近い位置に存在する複数の細胞ｃｅを同時に採取することを抑制できる。
【0079】
図２２は、図２１に示す部分領域の画像において、部分領域の外周と接する検出部分を除去した画像の一例を示す模式図である。画像処理部５２は、複数の検出部分ｃｅ－ｃのうち、部分領域Ｂの外周に接する検出部分ｃｅ－ｙを部分領域Ｂから除去する。検出部分ｃｅ－ｙは、部分領域Ｂの画像の外側の領域において、どのような形状、大きさとなっているか不明であり、また、他の検出部分ｃｅ－ｃとつながって検出部分グループｃｅ－ｘを構成しているかどうかも不明である。このため、マニピュレーションシステム１００は、検出部分ｃｅ－ｙを部分領域Ｂから除去することで、細胞ｃｅの検出精度を向上させることができる。
【0080】
次に、位置検出部５３１は、図２２に示す部分領域Ｂの画像情報を受け取って、検出部分ｃｅ－ｃの画像と基準バイナリ画像とを比較して細胞ｃｅの位置を検出する（ステップＳＴ２０）。図２３は、細胞の基準バイナリ画像を示す模式図である。基準バイナリ画像ｃｅ－ｒは標準的な細胞ｃｅについて、上述したステップＳＴ１４からステップＳＴ１９の画像処理を施した場合のバイナリ画像である。基準バイナリ画像ｃｅ－ｒは記憶部５６の基準画像記憶部５６５にあらかじめ記憶される。また、記憶部５６は、複数の基準バイナリ画像ｃｅ－ｒを保持していてもよい。
【0081】
位置検出部５３１は、例えばテンプレートマッチングや形状マッチングにより、部分領域Ｂの各検出部分ｃｅ－ｃと基準バイナリ画像ｃｅ－ｒとを比較する。そして、位置検出部５３１は、各検出部分ｃｅ－ｃと、基準バイナリ画像ｃｅ－ｒとの類似度を演算する。位置検出部５３１は、類似度が所定の基準値以上の検出部分ｃｅ－ｃの位置を検出し、この検出部分ｃｅ－ｃに対応する細胞ｃｅを採取対象の細胞ｃｅ－ｄとして選択する。
【0082】
また位置検出部５３１は、類似度が所定の基準値よりも小さい検出部分ｃｅ－ｃに対応する細胞ｃｅを非採取対象の細胞ｃｅ－ｎとして選択する。例えば、一部に欠けや凹部を有する検出部分ｃｅ－ｃや、基準バイナリ画像ｃｅ－ｒと大きさが異なる検出部分ｃｅ－ｃや、検出部分グループｃｅ－ｘ等は、類似度が所定の基準値よりも小さくなり、採取対象から除去される。
【0083】
図２４は、細胞の検出結果を表示する第１画像の一例を示す模式図である。図２４に示す第１画像８１１において、画像編集部５４は、画像処理部５２から受け取った第１画像８１１と、検出部５３から受け取った検出結果に基づいて、採取対象の細胞ｃｅ－ｄを枠で囲んで示している。また、画像編集部５４は、非採取対象の細胞ｃｅ－ｎには枠を付けずに示している。
【0084】
コントローラ５０の制御部５５は、位置検出部５３１から採取対象の細胞ｃｅ－ｄの位置情報を受け取って、採取用ピペット１０や各駆動装置を駆動させることで、自動で１つずつ採取対象の細胞ｃｅ－ｄを採取することができる。また、上述した細胞検出シーケンスにしたがって、近い位置に配置された複数の細胞ｃｅや、接触する複数の細胞ｃｅや、形状等が異なる細胞ｃｅは、採取対象の細胞ｃｅ－ｄから除去されている。このように、マニピュレーションシステム１００は、細胞ｃｅの検出精度を向上させることで、細胞ｃｅを１個ずつ採取することが可能である。
【0085】
なお、図１０及び図１１から図２４に示す検出動作は、適宜変更することができる。例えば、図１０に示すステップＳＴ１９及び図２０から図２２において、画像処理部５２は、第３バイナリ画像８１１Ｃについて、部分領域Ｂを切り取らずに、第３バイナリ画像８１１Ｃの全体でステップＳＴ１９及びステップＳＴ２０の処理を実行してもよい。
【0086】
以上説明したように、第１実施形態に係るマニピュレーションシステム１００は、採取用ピペット１０（管状器具）を用いて細胞ｃｅ（微小対象物）を採取するマニピュレーションシステム１００であって、採取用ピペット１０と、マニピュレータ２０と、試料ステージ３０と、第１顕微鏡４１と、第１撮像装置４５と、コントローラ５０と、を備える。マニピュレータ２０は、採取用ピペット１０が取り付けられる。試料ステージ３０は、細胞ｃｅを収容するための容器３８が載置される。第１顕微鏡４１は、試料ステージ３０の上方に配置される。第１撮像装置４５は、第１顕微鏡４１を介して第１画像８１１を撮像する。コントローラ５０は、画像処理部５２と、位置検出部５３１とを有する。画像処理部５２は、第１画像８１１に基づいて、第１しきい値Ｌ－ＴＨ１以上の輝度を有する複数の明部ｃｅ－ａを表示する第１バイナリ画像８１１Ａと、第２しきい値Ｌ－ＴＨ２以下の輝度を有する複数の暗部ｃｅ－ｂを表示する第２バイナリ画像８１１Ｂとを作成し、第１バイナリ画像８１１Ａと第２バイナリ画像８１１Ｂとを重ね合わせて第３バイナリ画像８１１Ｃを作成する。位置検出部５３１は、第３バイナリ画像８１１Ｃにおいて、明部ｃｅ－ａと暗部ｃｅｂとが組み合わされた検出部分ｃｅ－ｃに基づいて細胞ｃｅの位置を検出する。
【0087】
これによれば、マニピュレーションシステム１００は、細胞ｃｅの明部ｃｅ－ａ及び暗部ｃｅ－ｂを検出して、２つのバイナリ画像を組み合わせることで、明部ｃｅ－ａ及び暗部ｃｅ－ｂのいずれか一方のみで細胞ｃｅを検出する場合に比べて、細胞ｃｅの形状及び大きさを精度よく検出することができる。例えば、マニピュレーションシステム１００は、隣接する２つの細胞ｃｅを、離れた細胞ｃｅであると誤検出することを抑制できる。また、マニピュレーションシステム１００は、隣接する２つの細胞ｃｅを、１つの細胞ｃｅであると誤検出することを抑制できる。これにより、マニピュレーションシステム１００は、隣接する２つの細胞ｃｅを採取対象から除去することで、細胞ｃｅを１個ずつ採取することができる。
【0088】
また、コントローラ５０は、細胞ｃｅの基準バイナリ画像ｃｅ－ｒを記憶する記憶部５６を有する。位置検出部５３１は、第３バイナリ画像８１１Ｃの検出部分ｃｅ－ｃと、基準バイナリ画像ｃｅ－ｒとを比較して、細胞ｃｅを検出する。これによれば、マニピュレーションシステム１００は、基準バイナリ画像ｃｅ－ｒとは異なる形状の細胞ｃｅや、異なる大きさの細胞ｃｅを、採取対象から除去することができる。
【0089】
また、コントローラ５０は、しきい値設定部５３５を有する。しきい値設定部５３５は、第１画像８１１の背景の輝度Ｌ－ＢＧに基づいて、第１しきい値Ｌ－ＴＨ１と、第１しきい値Ｌ－ＴＨ１よりも小さい輝度を示す第２しきい値Ｌ－ＴＨ２とを設定する。これによれば、第１バイナリ画像８１１Ａの明部ｃｅ－ａと、第２バイナリ画像８１１Ｂの暗部ｃｅ－ｂとが、それぞれ異なるしきい値で検出される。このため、第１顕微鏡４１の視野中の輝度が、測定環境等により変化した場合でも、マニピュレーションシステム１００は、良好に明部ｃｅ－ａ及び暗部ｃｅ－ｂを検出することができる。すなわち、マニピュレーションシステム１００は、環境の変化に対するロバスト性を向上させることができる。
【0090】
また、画像処理部５２は、第１画像８１１を輝度のみで表示したグレースケール画像８１１Ｇに変換し、グレースケール画像８１１Ｇに基づいて第１バイナリ画像８１１Ａ及び第２バイナリ画像８１１Ｂを作成する。これによれば、カラー画像を用いる場合に比べて、画像処理部５２が行う画像処理の負荷を抑制することができる。
【0091】
また、画像処理部５２は、第１バイナリ画像８１１Ａにおいて、複数の明部ｃｅ－ａをそれぞれ拡大し、第２バイナリ画像８１１Ｂにおいて、複数の暗部ｃｅ－ｂをそれぞれ拡大する。これによれば、マニピュレーションシステム１００は、第３バイナリ画像８１１Ｃにおいて明部ｃｅ－ａと暗部ｃｅ－ｂとが組み合わされた場合に、明部ｃｅ－ａと暗部ｃｅ－ｂとの間に隙間ｓｐが生じることを抑制することができる。したがって、位置検出部５３１は、１組の明部ｃｅ－ａと暗部ｃｅ－ｂとを１つの細胞ｃｅ（検出部分ｃｅ－ｃ）として検出することができる。
【0092】
また、位置検出部５３１は、採取用ピペット１０の端部１０３ｆの位置及び延在方向を検出し、画像処理部５２は、第３バイナリ画像８１１Ｃのうち、採取用ピペット１０の端部１０３ｆと隣り合う部分領域Ｂを切り取って、部分領域Ｂで画像処理を行う。これによれば、画像処理部５２が行う画像処理や、位置検出部５３１が行うパターンマッチングの負荷を抑制することができる。
【0093】
（第２実施形態）
図２５は、第２実施形態に係るマニピュレーションシステムの細胞検出シーケンスの一例を示すフローチャートである。図２５に示すように、マニピュレーションシステム１００において、コントローラ５０が有する画像処理部５２、位置検出部５３１、しきい値設定部５３５等は、第１実施形態と同様に、ステップＳＴ１１からステップＳＴ２０を実行する。
図２５は、第２実施形態に係るマニピュレーションシステムの細胞検出シーケンスの一例を示すフローチャートである。図２５に示すように、マニピュレーションシステム１００において、コントローラ５０が有する画像処理部５２、位置検出部５３１、しきい値設定部５３５等は、第１実施形態と同様に、ステップＳＴ１１からステップＳＴ２０を実行する。
【0094】
位置検出部５３１は、第３バイナリ画像８１１Ｃの部分領域Ｂにおいて、採取対象の細胞ｃｅ－ｄが存在するかどうかを検出する（ステップＳＴ２１）。採取対象の細胞ｃｅ－ｄが存在する場合（ステップＳＴ２１、Ｙｅｓ）、マニピュレーションシステム１００は、採取対象の細胞ｃｅ－ｄの採取を実行する（ステップＳＴ２２）。
【0095】
採取対象の細胞ｃｅ－ｄが存在しない場合（ステップＳＴ２１、Ｎｏ）、コントローラ５０の制御部５５は、駆動装置３６により試料ステージ３０を移動させる（ステップＳＴ２３）。そして、第１撮像装置４５は、前回の検出動作とは異なる領域で、第１顕微鏡４１を介して第１画像８１１を撮像する。マニピュレーションシステム１００は、新たに撮像された第１画像８１１に基づいてステップＳＴ１１からステップＳＴ２０を繰り返し実行する。
【0096】
第２実施形態によれば、マニピュレーションシステム１００は、第１画像８１１に採取対象の細胞ｃｅ－ｄが存在しない場合に、容器３８内の異なる領域で細胞ｃｅを検出することができる。
【0097】
図２６は、変形例に係る検出部分の一例を示す模式図である。図２６は、第１実施形態において、画像処理部５２が、図１０のステップＳＴ１７に示した画像処理を省略した場合の第３バイナリ画像８１１Ｃａの一部分を示す。画像処理部５２が、複数の明部ｃｅ－ａ及び複数の暗部ｃｅ－ｂをそれぞれ拡大する画像処理を行わないので、図２６に示すように、明部ｃｅ－ａ及び暗部ｃｅ－ｂを組み合わせた場合、明部ｃｅ－ａと暗部ｃｅ－ｂとの間に隙間ｓｐが生じる。この場合であっても、位置検出部５３１は、隙間ｓｐを含む明部ｃｅ－ａ及び暗部ｃｅ－ｂを１つの画像として認識することで、細胞ｃｅの検出が可能である。
【符号の説明】
【0098】
１０ 採取用ピペット
１５ ピペット保持部
２０ マニピュレータ
２６、２７、３６、４１４、６１３ 駆動装置
２９ 電動マイクロポンプ
３０ 試料ステージ
３８ 容器
４０ 第１顕微鏡ユニット
４１ 第１顕微鏡
４５ 第１撮像装置
５０ コントローラ
５２ 画像処理部
５３ 検出部
５３１ 位置検出部
５３５ しきい値設定部
８０ 表示部
１００ マニピュレーションシステム
１０３ 先端部
８１１ 第１画像
８１１Ａ 第１バイナリ画像
８１１Ｂ 第２バイナリ画像
８１１Ｃ 第３バイナリ画像
８１２ 第２画像
８１３ 第３画像
ｃｅ 細胞
ｃｅ－ａ 明部
ｃｅ－ｂ 暗部
ｃｅ－ｃ 検出部分
ｃｅ－ｄ 採取対象の細胞
ｃｅ－ｎ 非採取対象の細胞
Ｌ－ＴＨ１ 第１しきい値
Ｌ－ＴＨ２ 第２しきい値
Ｌ－ＢＧ 輝度
１５ ピペット保持部
２０ マニピュレータ
２６、２７、３６、４１４、６１３ 駆動装置
２９ 電動マイクロポンプ
３０ 試料ステージ
３８ 容器
４０ 第１顕微鏡ユニット
４１ 第１顕微鏡
４５ 第１撮像装置
５０ コントローラ
５２ 画像処理部
５３ 検出部
５３１ 位置検出部
５３５ しきい値設定部
８０ 表示部
１００ マニピュレーションシステム
１０３ 先端部
８１１ 第１画像
８１１Ａ 第１バイナリ画像
８１１Ｂ 第２バイナリ画像
８１１Ｃ 第３バイナリ画像
８１２ 第２画像
８１３ 第３画像
ｃｅ 細胞
ｃｅ－ａ 明部
ｃｅ－ｂ 暗部
ｃｅ－ｃ 検出部分
ｃｅ－ｄ 採取対象の細胞
ｃｅ－ｎ 非採取対象の細胞
Ｌ－ＴＨ１ 第１しきい値
Ｌ－ＴＨ２ 第２しきい値
Ｌ－ＢＧ 輝度
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】