(58)【調査した分野】(Int.Cl.,DB名)
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献1では、円形または矩形のウェルのエッジを検出している。しかしながら、ウェルには、様々な形状のものがある。例えば、ウェルが、矩形状であって、各角部がR形状となっているものもある。このような形状において、エッジを検出する際、ウェルの各辺の直線部、および、各角部の曲線部のそれぞれのエッジを検出する必要がある。ただし、ウェルは、樹脂成型されたものが一般的である。このため、成型時の精度によっては、直線部が丸みを帯びたり、隣接する直線部が直交する関係とならなかったりすることがある。そうすると、角部ごとに、R形状の大きさ、または形が異なる場合もある。このような歪みのあるウェルのエッジは、特許文献1に記載の方法では検出できない。誤った試験ウェル領域を検出すると、細胞の解析を精度よく行えない場合がある。
【0006】
本発明は、このような事情に鑑みなされたものであり、角丸矩形状の解析領域を精度よく検出する画像処理方法および画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【0007】
上記課題を解決するため、本願の第1発明は、対象物を解析する、角丸矩形状の解析領域、および、前記解析領域の周囲を撮像して得られる画像データから、前記解析領域のエッジを検出する画像処理方法であって、a)前記画像データから、前記解析領域のエッジ座標群を抽出する工程と、b)前記解析領域の1つの辺部に相当する辺座標群を、前記エッジ座標群から抽出する処理を、前記解析領域の4つの辺部それぞれに対して行う工程と、c)4つの前記辺座標群それぞれから、4本の近似線を生成する工程と、d)前記解析領域の1つの角部に相当する角座標群を、前記エッジ座標群から抽出する処理を、前記解析領域の4つの角部それぞれに対して行う工程と、e)前記4本の近似線から、交差する第1近似線および第2近似線を選択する工程と、f)前記第1近似線および前記第2近似線それぞれに、複数の接点候補座標を設定する工程と、g)前記第1近似線に設定した一の接点候補座標と、前記第2近似線に設定した一の接点候補座標との少なくとも一つ以上のペアに接する近似曲線を、前記第1近似線および前記第2近似線の交点に最も近い前記角座標群から、多項式近似により生成する工程と、h)前記工程g)で用いた前記角座標群に最も近い近似曲線を、前記工程g)で生成された近似曲線の中から選択する工程と、を含み、前記工程e)から前記工程h)を、前記4本の近似線で取り得る全ての組み合わせについて行う。
【0008】
本願の第2発明は、第1発明の画像処理方法であって、前記工程g)は、前記工程f)で設定された接点候補座標全てのペアで、近似曲線を生成する。
【0009】
本願の第3発明は、第1発明または第2発明の画像処理方法であって、前記工程d)は、交差する2つの前記近似線の交点からの距離に基づいて、前記角座標群を抽出する。
【0010】
本願の第4発明は、第1発明から第3発明までの画像処理方法であって、前記工程c)は、最小二乗法を用いた多項式近似により、前記近似線を生成する。
【0011】
本願の第5発明は、第1発明から第4発明までの画像処理方法であって、前記近似線は近似直線である。
【0012】
本願の第6発明は、第1発明から第5発明までの画像処理方法であって、前記近似曲線は、スプライン曲線である。
【0013】
本願の第7発明は、画像処理装置であって、対象物を解析する、角丸矩形状の解析領域、および、前記解析領域の周囲を撮像するカメラと、前記カメラで撮像して得られる画像データから、前記解析領域のエッジを検出する制御部と、を備え、前記制御部は、a)前記画像データから、前記解析領域のエッジ座標群を抽出する工程と、b)前記解析領域の1つの辺部に相当する辺座標群を、前記エッジ座標群から抽出する処理を、前記解析領域の4つの辺部それぞれに対して行う工程と、c)4つの前記辺座標群それぞれから、4本の近似線を生成する工程と、d)前記解析領域の1つの角部に相当する角座標群を、前記エッジ座標群から抽出する処理を、前記解析領域の4つの角部それぞれに対して行う工程と、e)前記4本の近似線から、交差する第1近似線および第2近似線を選択する工程と、f)前記第1近似線および前記第2近似線それぞれに、複数の接点候補座標を設定する工程と、g)前記第1近似線に設定した一の接点候補座標と、前記第2近似線に設定した一の接点候補座標との少なくとも一つ以上のペアに接する近似曲線を、前記第1近似線および前記第2近似線の交点に最も近い前記角座標群から、多項式近似により算出する工程と、h)前記工程g)で用いた前記角座標群に最も近い近似曲線を、前記工程g)で生成された近似曲線の中から選択する工程と、を含み、前記工程e)から前記工程h)を、前記4本の近似線で取り得る全ての組み合わせについて行う。
【発明の効果】
【0014】
本願の第1発明〜第7発明によれば、矩形の各辺の近似線と、その近似線を用いて生成した、角部の近似曲線との組み合わせで、解析領域のエッジを表す。角部は、辺部に比べて、画像データからエッジ座標群を精度よく抽出できないことがある。その場合、角部のエッジを精度よく検出できない。しかしながら、本発明によれば、角部の近似曲線を、矩形の各辺の近似線を用いて、生成することで、角部のエッジ検出の精度が向上する。これにより、解析領域のエッジを精度よく検出できる。そして、解析領域のエッジを把握することで、精度よく対象物の解析を行える。
【発明を実施するための形態】
【0016】
以下、本発明の好適な実施形態について、図面を参照しつつ説明する。以下では、本発明の「画像処理装置」は、セットされたウェルプレートを撮像する撮像装置として説明する。そして、その撮像装置において、本発明の「画像処理方法」が実行されるものとして説明する。
【0017】
<1.撮像装置の構成>
図1は、撮像装置1にセットされるウェルプレート9の一例を示す斜視図である。
【0018】
ウェルプレート9は、複数のウェル91を有する略板状の試料容器である。ウェルプレート9の材料には、例えば、光を透過する透明な樹脂が使用される。ウェルプレート9の上面には、複数のウェル91が規則的に配列されている。ウェル91は、培養液92とともに、解析対象物となる複数の細胞93を保持する。ウェル91の内側は、細胞93を解析する解析領域である。上面視におけるウェル91の形状は、角丸矩形である。角丸矩形は、略正方形であって、4つの角部がR形状となっている。
【0019】
図2は、本実施形態に係る撮像装置1の構成を示した図である。
【0020】
撮像装置1は、ウェルプレート9内の複数の細胞93を、カメラ40の焦点位置を変化させつつ複数回撮影して、細胞93の画像データを生成する装置である。撮像装置1は、例えば、医薬品の研究開発分野において、医薬品の候補となる化合物を絞り込むスクリーニング工程に、使用される。スクリーニング工程の担当者は、ウェルプレート9の複数のウェル91に、濃度や組成の異なる化合物を添加する。そして、撮像装置1において、ウェルプレート9の各ウェル91内の細胞93の画像データを取得する。その後、得られた画像データに基づいて、細胞93の培養状態を比較・分析することにより、培養液92に添加された化合物の効用を検証する。
【0021】
ただし、撮像装置1は、IPS細胞またはES細胞等の多能性幹細胞の研究・開発において、細胞の分化などを観察するために用いられてもよい。
【0022】
撮像装置1は、ステージ10、投光部20、投光部移動機構30、カメラ40、カメラ移動機構50、および制御部60を備えている。
【0023】
ステージ10は、ウェルプレート9を保持する載置台である。撮像装置1内におけるステージ10の位置は、少なくとも撮影時には固定される。ステージ10の中央には、上下に貫通する矩形の開口部11が設けられている。また、ステージ10は、開口部11の縁に、環状の支持面12を有する。ウェルプレート9は、開口部11に嵌め込まれるとともに、支持面12によって水平に支持される。したがって、各ウェル91の上部および下部は、ステージ10に塞がれることなく露出する。
【0024】
投光部20は、ステージ10に保持されたウェルプレート9の上方に配置されている。投光部20は、LED等の光源を有する。撮影時には、投光部20内の光源が発光する。これにより、投光部20から下方へ向けて、光が照射される。なお、投光部20は、カメラ40とは反対側からウェルプレート9に向けて、光を照射するものであればよい。したがって、投光部20の光源自体は、ウェルプレート9の上方から外れた位置に配置され、ミラー等の光学系を介して、ウェルプレート9に光が照射される構成であってもよい。
【0025】
投光部移動機構30は、ステージ10に保持されたウェルプレート9の上面に沿って、投光部20を水平に移動させる機構である。投光部移動機構30には、例えば、モータの回転運動を、ボールねじを介して直進運動に変換する機構が用いられる。撮像装置1は、投光部移動機構30を動作させることにより、各ウェル91の上方位置に、投光部20を配置することができる。なお、
図2では、投光部20の移動方向として、矢印A1の1方向のみが示されている。しかしながら、投光部移動機構30は、投光部20を、ウェルプレート9の上面に沿って2方向(
図2中の左右方向および奥行き方向)に移動させるものであってもよい。
【0026】
カメラ40は、ステージ10に保持されたウェルプレート9の下方に配置されている。カメラ40は、レンズ等の光学系と、CCDまたはCMOS等の撮像素子とを有する。撮影時には、投光部20からウェルプレート9の一部分へ向けて光を照射しつつ、カメラ40が、ウェルプレート9の当該一部分を撮影する。これにより、ウェルプレート9内の細胞93の画像を、デジタルデータとして取得することができる。取得された撮影画像は、カメラ40から制御部60へ入力される。
【0027】
カメラ移動機構50は、カメラ40の姿勢を維持しつつ、カメラ40の高さおよび水平方向の位置を変化させる機構である。カメラ移動機構50は、昇降移動機構51と水平移動機構52とを有する。
【0028】
昇降移動機構51は、カメラ40を上下に移動させて、カメラ40の高さを変化させる。これにより、ステージ10に保持されたウェルプレート9とカメラ40との距離(すなわち、細胞93とカメラ40との間の撮影距離)が変化する。この結果、カメラ40の焦点位置を、光軸に沿って上下に移動させることができる。
【0029】
水平移動機構52は、カメラ40および昇降移動機構51を、一体として水平に移動させる。撮像装置1は、水平移動機構52を動作させることにより、各ウェル91の下方位置に、カメラ40を配置することができる。なお、
図2では、水平移動機構52によるカメラ40の移動方向として、矢印A2の1方向のみが示されている。しかしながら、カメラ移動機構50は、カメラ40を、ウェルプレート9の下面に沿って2方向(
図2中の左右方向および奥行き方向)に移動させるものであってもよい。
【0030】
なお、上述した投光部移動機構30と、水平移動機構52とは、同期駆動される。これにより、投光部20とカメラ40とは、上面視において、常に同じ位置に配置される。すなわち、投光部20とカメラ40とは、同じ向きに同じ距離だけ移動し、あるウェル91の下方位置にカメラ40が配置されたときには、必ず、そのウェル91の上方位置に投光部20が配置される。
【0031】
制御部60は、例えば、コンピュータにより構成される。制御部60は、撮像装置1内の各部を動作制御する機能と、カメラ40で撮像されて得られる画像データを画像処理する機能と、を有する。
図3は、制御部60と、撮像装置1内の各部との接続を示したブロック図である。
図3中に概念的に示したように、制御部60は、CPU等のプロセッサ61、RAM等のメモリ62、およびハードディスクドライブ等の記憶部63を有する。記憶部63内には、撮像装置1内の各部を動作制御するためのプログラムP1と、画像データを画像処理するプログラムP2と、が記憶されている。
【0032】
また、制御部60は、上述した投光部20、投光部移動機構30、カメラ40、昇降移動機構51、および水平移動機構52と、それぞれ通信可能に接続されている。制御部60は、プログラムP1に従って、上記の各部を動作制御する。これにより、ウェルプレート9の各ウェル91に保持された細胞93の撮影処理が進行する。また、制御部60は、カメラ40から入力された画像データを、プログラムP2に従って処理することにより、ウェル91のエッジを検出し、また、ウェル91内の細胞93の画像データを取得する。ウェル91のエッジとは、ウェルプレート9における、ウェル91の内壁と、その周囲との境界である。
【0033】
<2.画像処理について>
ウェルプレート9を撮像する際、ウェル91と、その周囲とが撮像される。このため、ウェル91内の細胞93の画像データを取得する場合には、まず、ウェルプレート9における、ウェル91のエッジを検出する必要がある。撮像装置1は、ウェルプレート9を撮像して得られる画像データから、各ウェル91のエッジを検出する処理(以下、「エッジ検出処理」と称す。)を行う。以下、エッジ検出処理について説明する。
【0034】
図4は、エッジ検出処理のフローチャートを示す図である。以下、このフローチャートを参照しつつ、説明する。
【0035】
制御部60は、ウェルプレート9を、カメラ40で撮像する(ステップS1)。次に、制御部60は、撮像して得られる画像データから、ウェル91に対するエッジ座標群を抽出する(ステップS2)。エッジ座標群は、画像データの各画素の輝度の変化から抽出される座標データの集まりであって、ウェル91のエッジを特定するための画素情報である。このエッジ座標の検出には、既知のエッジ検出処理が用いられる。
図5は、エッジ座標群81を説明するための図である。
図5の黒点は、抽出されたエッジ座標群81の各座標により特定される画素である。
【0036】
ステップS2の処理では、光の屈折または細胞93などの影響により、ウェル91のエッジとは無関係な画素の座標が抽出されることがある。このため、ステップS2で抽出したエッジ座標群81から、ウェル91のエッジを検出しても、精度の良い結果が得られないことがある。そこで、以下の処理で、抽出したエッジ座標群81から、ウェル91のエッジを精度よく検出する処理を行う。
【0037】
なお、ステップS2において、光の屈折または細胞93などの影響により、複数のエッジ座標群81が抽出された場合には、諸処理により、一つのエッジ座標群81に絞り込む処理を行うようにしてもよい。
【0038】
制御部60は、エッジ座標群81から辺座標群82を抽出する(ステップS3)。
図6は、辺座標群82を説明するための図である。辺座標群82とは、
図6に示すように、ウェル91の、角部を除く各4辺それぞれを特定するための座標の集まりである。制御部60は、ウェル91の4辺それぞれに対する、4つの辺座標群82を抽出する。
【0039】
制御部60は、ステップS2で、エッジ座標群81を抽出するために探索した領域の中心座標を、任意に設定する。そして、制御部60は、その中心座標と、ウェル91の理想径から、ウェル91の各辺が位置すると推測される領域を設定する。ウェル91の理想径とは、所謂、カタログ値であって、撮像装置1にセットされるウェルプレート9の設計上のウェル径(縦横の長さ)である。この理想径は、記憶部63に記憶される。制御部60は、エッジ座標群81の中から、設定した領域にある座標を、辺座標群82として抽出する。
【0040】
制御部60は、抽出した辺座標群82から、最小二乗法を用いて、近似直線83を算出する(ステップS4)。
図7は、辺座標群82から算出した近似直線83を説明するための図である。一の辺座標群82からは、一の近似直線83が算出される。したがって、ステップS4の処理では、
図7に示すように、4本の近似直線83が算出される。
【0041】
続いて、制御部60は、ステップS2で抽出したエッジ座標群81から角座標群84を抽出する(ステップS5)。角座標群84は、ウェル91の角部を特定するための座標の集まりである。つまり、ステップS5では、4つの角座標群84が抽出される。
図8は、角座標群84を説明するための図である。
図8では、
図7の近似直線83も示す。
【0042】
例えば、制御部60は、ステップS4で算出した4本の近似直線83のうち、隣り合う2本の近似直線83の交点を、ウェル91の角部と仮定する。そして、制御部60は、その交点から所定距離の範囲にある座標をエッジ座標群81から、角座標群84として抽出する。つまり、制御部60は、2本の近似直線83の交点からの距離に基づいて、角座標群84を抽出する。
【0043】
なお、制御部60は、エッジ座標群81から、ステップS3で抽出した辺座標群82を除いた他の座標を、角座標群84として抽出してもよい。
【0044】
以降のステップS6からステップS10までの処理は、ウェル91の4つの角部のうち、1つの角部のエッジを検出する処理である。制御部60は、ステップS6からステップS10までの処理を繰り返して、ウェル91の4つの角部それぞれのエッジを検出する。
【0045】
制御部60は、ステップS4で算出した近似直線83の中から、交差する2本の近似直線83を選択する(ステップS6)。以下、交差する2本の近似直線83の一方を、「第1近似直線83a」と称し、他方を「第2近似直線83b」と称する。制御部60は、角座標群84に近接する、第1近似直線83a、および、第2近似直線83bそれぞれに対し、接点候補座標85を設定する(ステップS7)。接点候補座標85とは、ウェル91の角部の曲線の接点となり得る座標である。
【0046】
図9は、接点候補座標85を説明するための図である。
図9では、黒点は、接点候補座標85を示す。
図9では、4本の近似直線83それぞれに、接点候補座標85が設定された状態を示す。
【0047】
制御部60は、第1近似直線83aおよび第2近似直線83b上に、複数の接点候補座標85を設定する。接点候補座標85の設定位置、および、設定数は、適宜変更可能である。接点候補座標85は、それぞれに等間隔に設定してもよいし、不規則な間隔で設定してもよい。また、
図9では、第1近似直線83aおよび第2近似直線83bそれぞれに、3つの接点候補座標85を設定した例を示しているが、2つ、または4つ以上であってもよい。
【0048】
制御部60は、第1近似直線83aに設定した一の接点候補座標85と、第2近似直線83bに設定した一の接点候補座標85との全てのペアを生成する(ステップS8)。
図9に示すように、第1近似直線83aおよび第2近似直線83bそれぞれに、3つの接点候補座標85が設定されている場合、生成されるペアの数は、9つである。
【0049】
制御部60は、ステップS8で生成した一のペアに含まれる、2つの接点候補座標85に接する近似曲線を、ステップS8で生成した全てのペアについて算出する(ステップS9)。近似曲線は、角座標群84から、多項式近似により算出されるスプライン曲線である。
図9の場合、1つの角部に対して、9本の近似曲線が算出される。
【0050】
制御部60は、ステップS9で生成した複数の近似曲線から、ステップS5で抽出した角座標群84との位置関係が最も一致する、一の近似曲線を選択する(ステップS10)。例えば、制御部60は、角座標群84の各座標と、近似曲線との距離のばらつきが、最も少ないものを選択する。
【0051】
制御部60は、ステップS6からステップS10までの処理を、ウェル91の全ての角部について行ったか否かを判定する(ステップS11)。全ての角部について、前記処理を行っていない場合(ステップS11でNO)、制御部60は、ステップS6の処理に戻り、ステップS4で算出した近似直線83の中から、未選択の2本の近似直線83を選択し、ステップS6からステップS10までの処理を実行する。つまり、制御部60は、ステップS6からステップS10までの処理を4回実行する。
【0052】
全ての角部について、前記処理を行った場合(ステップS11でYES)、制御部60は、ウェル91のエッジは、ステップS4で算出した4本の近似直線83と、ステップS10で選択された4本の近似曲線とから、ウェル91のエッジを算出する(ステップS12)。
【0053】
図10は、ウェル91のエッジを算出した結果を示す図である。近似直線83および近似曲線86の交点(
図10の黒点)の外側にある部分(
図10の破線部分)は排除され、残った部分が、ウェル91のエッジとして検出される。
【0054】
以上のように、本実施形態では、ウェル91のエッジを、各辺の近似直線83と、角部の近似曲線86との組み合わせで、表している。角部は、辺部に比べて、光の屈折などの影響で、抽出するエッジ座標にばらつきがでやすい。そこで、角部の近似曲線86を、矩形の各辺の近似直線83を用いて、生成することで、角部のエッジ検出の精度が向上する。その結果、ウェル91のエッジを精度よく検出できる。そして、ウェル91のエッジを把握することで、精度よく細胞93の解析を行える。
【0055】
また、多項式近似を用いて、エッジ候補を生成することで、ロバスト性の高いエッジ検出が可能となる。さらに、多項式近似を用いることで、細胞93等の影響で検出されたエッジ座標を排除できる。
【0056】
<3.変形例>
以上、本発明の一実施形態について説明したが、本発明は、上記の実施形態に限定されるものではない。
【0057】
ウェル91の上面視の形状は、長辺と短辺とを有する略長方形であって、4つの角部がR形状となっていてもよい。さらに、ウェル91の各辺は、直線として説明しているが、各辺は曲線であってもよい。この場合、制御部60が算出する各辺の近似線は、近似曲線である。また、制御部60が算出する近似曲線86はスプライン曲線としているが、近似曲線86は、これ以外の既知の手法を用いて算出されたものであってもよい。
【0058】
また、制御部60は、
図4のステップS4で4本の近似直線83を算出した場合、対向する2本の近似直線83の傾きの差が、許容値以上であるとき、2本の近似直線83は異常と判定し、ステップS4以降の処理を行わないようにしてもよい。または、制御部60は、対向する2本の近似直線83の距離と、他の2本の近似直線83の距離とが、ウェル91の理想径と大きく異なる場合、ステップS4以降の処理を行わないようにしてもよい。ステップS4以降の処理を行わない場合、制御部60は、再度、ステップS1から処理を開始してもよいし、エッジ検出処理を中止してもよい。また、対向する2本の近似直線の距離と、他の2本の近似直線との距離の比が、許容値を超える場合、ステップS4以降の処理をスキップしてもよい。
【0059】
また、制御部60は、
図4のステップS9で生成した近似曲線86のなかで、R形状の理想的な軌跡から大きく異なる近似曲線86、例えば、方向が一様でない近似曲線86を、ステップS10での選択対象から除外してもよい。
【0060】
また、上記の実施形態では、画像処理に最小二乗法を用いているが、ハフ変換、円形モデルフィッティング等、既知の手法を用いてもよい。
【0061】
上記の実施形態および変形例に登場した各要素を、矛盾が生じない範囲で、適宜に組み合わせてもよい。