特許 6809665 画像データの処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6809665

(24)【登録日】2020年12月14日

(45)【発行日】2021年1月6日

(54)【発明の名称】画像データの処理方法

(51)【国際特許分類】

   H04N 9/07 20060101AFI20201221BHJP

   G02B 21/32 20060101ALI20201221BHJP

   G02B 21/36 20060101ALI20201221BHJP

【ＦＩ】

   H04N9/07 A

   G02B21/32

   G02B21/36

【請求項の数】6

【全頁数】15

(21)【出願番号】特願2016-51864(P2016-51864)

(22)【出願日】2016年3月16日

(65)【公開番号】特開2017-169011(P2017-169011A)

(43)【公開日】2017年9月21日

【審査請求日】2019年3月15日

(73)【特許権者】

【識別番号】304036743

【氏名又は名称】国立大学法人宇都宮大学

(74)【代理人】

【識別番号】100100077

【弁理士】

【氏名又は名称】大場 充

(74)【代理人】

【識別番号】100136010

【弁理士】

【氏名又は名称】堀川 美夕紀

(74)【代理人】

【識別番号】100130030

【弁理士】

【氏名又は名称】大竹 夕香子

(72)【発明者】

【氏名】尾崎 功一

(72)【発明者】

【氏名】阿部 有貴

(72)【発明者】

【氏名】金井 海渡

【審査官】 大室 秀明

(56)【参考文献】

【文献】 特開２０１５−１０２８５５（ＪＰ，Ａ）

【文献】 特開２００４−２０１２２４（ＪＰ，Ａ）

【文献】 特開２００４−０９６２８４（ＪＰ，Ａ）

【文献】 特開平０１−２４６５１６（ＪＰ，Ａ）

【文献】 米国特許出願公開第２００４／０１６５０９０（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０２Ｂ ７／２８−７／４０

Ｇ０２Ｂ１９／００−２１／００

Ｇ０２Ｂ２１／０６−２１／３６

Ｇ０３Ｂ ３／００−３／１２

Ｇ０３Ｂ１３／３０−１３／３６

Ｇ０３Ｂ２１／５３

Ｈ０４Ｎ ５／２２２−５／２５７

Ｈ０４Ｎ ９／０４−９／１１

Ｈ０４Ｎ ９／４４−９／７８

(57)【特許請求の範囲】

【請求項1】

レンズを通して被写体の色収差が反映された画像を撮影する撮影ステップと、
前記画像を処理して、前記色収差に基づく色成分として、少なくとも、第一色成分と第二色成分を認識する認識ステップと、
認識された前記第一色成分の画素値が最も大きい画素の数をカウントして第一比較データを生成し、かつ、認識された前記第二色成分の画素値が最も大きい画素の数をカウントして第二比較データを生成し、さらに、前記第一比較データと前記第二比較データとを比較する解析ステップと、
前記第一比較データと前記第二比較データの大小関係に基づいて、前記撮影ステップにおいて前記画像が撮影された前記被写体が、前記レンズの焦点一致面より遠い位置にあるか、又は、近い位置にあるかの判定を行う判定ステップと、
を備えることを特徴とする画像データの処理方法。

【請求項2】

前記判定ステップは、
長波長側の前記第一色成分についての前記第一比較データが、短波長側の前記第二色成分についての前記第二比較データより大きければ、前記被写体が前記焦点一致面の位置より前記レンズに近い側に位置しており、
長波長側の前記第一色成分についての前記第一比較データが、短波長側の前記第二色成分についての前記第二比較データより小さければ、前記被写体が前記焦点一致面の位置より前記レンズに遠い側に位置してするもの判定する、
請求項１に記載の画像データの処理方法。

【請求項3】

レンズを通して被写体の色収差が反映された画像を撮影する撮影ステップと、
前記画像を処理して、前記色収差に基づく色成分として、少なくとも、第一色成分と第二色成分を認識する認識ステップと、
認識された前記第一色成分の画素値が最も大きい画素の数をカウントして第一比較データを生成し、かつ、認識された前記第二色成分の画素値が最も大きい画素の数をカウントして第二比較データを生成し、さらに、前記第一比較データと前記第二比較データとの比である第一実測比を求める解析ステップと、
前記第一実測比と予め定められている第一閾値の大小関係に基づいて、前記撮影ステップにおいて前記画像が撮影された前記被写体が、前記レンズの焦点一致面より遠い位置にあるか、又は、近い位置にあるかの判定を行う判定ステップと、
を備えることを特徴とする画像データの処理方法。

【請求項4】

前記第一閾値は、
前記被写体を光軸に沿って、前記焦点一致面の位置Ｆから前後に変化させたときの前記被写体の画像領域に含まれる前記第一比較データと前記第二比較データの比として、予め定められている、
請求項３に記載の画像データの処理方法。

【請求項5】

レンズを通して被写体の色収差が反映された画像を撮影する撮影ステップと、
前記画像を処理して、前記色収差に基づく色成分として、少なくとも、第一色成分と第二色成分を認識する認識ステップと、
認識された前記第一色成分の画素値を、存在する画素の分だけ累積して第三比較データを生成し、かつ、認識された前記第二色成分の画素値を、存在する画素の分だけ累積して第四比較データを生成し、さらに、前記第三比較データと前記第四比較データとを比較する解析ステップと、
前記第三比較データと前記第四比較データの比較結果に基づいて、前記撮影ステップにおいて前記画像が撮影された前記被写体の表裏を判定する判定ステップと、を備え、
前記被写体は、前記表裏のそれぞれの前記色収差に相違がある、
ことを特徴とする画像データの処理方法。

【請求項6】

前記判定ステップは、
前記第三比較データと前記第四比較データの比である第二実測比と、予め定められている第二閾値との比較結果に基づいて、前記被写体の前記表裏を判定する、
請求項５に記載の画像データの処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、イメージセンサなどで撮影された画像データの処理方法に関し、特に、レンズの焦点に対する被写体の位置を容易に判定できる画像データの処理方法に関するものである。

【背景技術】

【0002】

ともに微小である花粉及びマイクロマニピュレータのエンドエフェクタについて撮影された画像データに基づいて、両者の奥行き方向の距離を把握するのは容易ではない。そこで特許文献１は、画像データに現れるボケの幅を利用して距離を判定する方法を提案している。つまり、特許文献１は、焦点からの距離によってボケ幅が変動すること、及び、ボケ幅が最小になる地点が焦点に一致することを開示している。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特許５２７３７３４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところが、レンズを基準として、焦点一致面の前後のボケ幅が等しい位置が存在するために、焦点一致面の前後のいずれに被写体が位置しているかを認識できない場合がある。そうすると、被写体とレンズの間の距離を調整する際に、距離を近づける方向か遠ざける方向かを予め特定することができない。
そこで本発明は、焦点一致面の前後のいずれに被写体が存在するのかを容易に特定できる画像データの処理方法を提供することを目的とする。
また、本発明は、表裏の形状が異なる被写体の表裏を容易に判定できる画像データの処理方法をも提供することを目的とする。

【課題を解決するための手段】

【0005】

波長が短く屈折率の大きな青はレンズに近い側に集光し、波長が長く屈折率の小さな赤はレンズから遠い側に集光する光の分散が生じる。この光の分散が原因で、レンズを介して被写体を撮影したときに、生じる色滲みが色収差と呼ばれる現象である。
本発明者らは、レンズを通して撮影される画像に現れる色収差の挙動が、焦点一致面の前後において特徴的に変化していることに着目した。
例えば、特定の被写体が焦点一致面よりもレンズに近い側である前方に存在していると色収差として輪郭に赤が顕著に表れ、逆に、特定の被写体が焦点一致面よりもレンズより遠い側である後方に存在していると色収差として輪郭に青が顕著に表れる。本発明は、このレンズに対する被写体の位置による色収差の違いを利用することを主旨とする。

【0006】

本発明の画像データの処理方法は、レンズを通して被写体の色収差が反映された画像を撮影する撮影ステップと、画像を処理して、色収差に基づく色成分を認識する認識ステップと、認識された色成分を解析する解析ステップと、を備えることを特徴とする。

【0007】

本発明における解析ステップにおいて、認識された色成分の位置を特定することが好ましい。
また、本発明において、認識ステップは、色収差に基づく色成分として、少なくとも、第一色成分と第二色成分を認識し、解析ステップは、認識された第一色成分と第二色成分を比較する、ことが好ましい。

【0008】

また、本発明において、解析ステップは、認識された第一色成分の画素値が最も大きい画素の数をカウントして第一比較データを生成し、認識された第二色成分の画素値が最も大きい画素の数をカウントして第二比較データを生成し、さらに、第一比較データと第二比較データとを比較する、ことが好ましい。
本発明においては、解析ステップに引き続いて、第一比較データと第二比較データの比較結果に基づいて、撮影ステップにおいて画像が撮影された被写体が、レンズの焦点一致面より遠い位置にあるか、又は、近い位置にあるかの判定を行う判定ステップ、を備えることが好ましい。
この判定ステップは、第一比較データと第二比較データの比である第一実測比と、予め定められている第一閾値との比較結果に基づいて、被写体が、カメラの焦点一致面より遠い位置にあるか、又は、近い位置にあるかの判定を行う、ことができる。

【0009】

また別の形態の本発明として、解析ステップは、認識された第一色成分の画素値を、存在する画素の分だけ累積して第三比較データを生成するとともに、認識された第二色成分の画素値を、存在する画素の分だけ累積して第四比較データを生成し、さらに、第三比較データと第四比較データとを比較する、ことが好ましい。
本発明においては、解析ステップに引き続いて、第三比較データと第四比較データの比較結果に基づいて、撮影ステップにおいて画像が撮影された被写体の姿勢を判定する判定ステップ、を備えることが好ましい。
この判定ステップは、第三比較データと第四比較データの比である第二実測比と、予め定められている第二閾値との比較結果に基づいて、被写体の姿勢を判定する、ことができる。

【発明の効果】

【0010】

本発明によれば、レンズを基準として、焦点一致面位置の前後のいずれかに被写体が位置しているかの判定を容易にできるのに加えて、被写体の姿勢を容易に判定できる。

【図面の簡単な説明】

【0011】

【図1】本発明において、被写体の位置を判定する原理を表す図であり、（ａ）は被写体の後方に焦点一致面の位置があるときに結像面に現れる色収差画像を示す図であり、（ｂ）は被写体の前方に焦点一致面の位置があるときに結像面に現れる色収差画像を示す図である。

【図2】第二実施形態において、胡蝶蘭の複数の花粉を観察した画像を示し、（ａ）は撮影された画像（元画像）を示す図であり、（ｂ）は各花粉位置を外接四角形で特定した様子を示す図である。

【図3】第二実施形態において、被写体が焦点一致面の前後のいずれかに位置しているかを判定する処理手順の要素を示す図であり、（ａ）は撮影された被写体の画像データの画素配列の一部を示す図であり、（ｂ）は配列されたそれぞれの画素を特定の一色に代表させた状態を表す概念図である。

【図4】第二実施形態において、ＲＧ比Ｈを、被写体と対物レンズの間の距離を変えて計測したグラフを示す図である。

【図5】第二実施形態で用いた胡蝶蘭の花粉を模式的に示し、（ａ）は表向きの花粉を示す平面図、（ｂ）は（ａ）のＸ−Ｘ線断面図、（ｃ）は裏向きの花粉を示す平面図、（ｄ）は（ｃ）のＹ−Ｙ線断面図である。

【図6】第二実施形態において、赤色Ｒの画素値の累積値ＤＲ及び青色Ｂの画素値の累積値ＤＢを求める手順を説明する図である。

【図7】第二実施形態で撮影した、焦点一致面に存在する花粉の画像データを示し、（ａ）は元画像、（ｂ）は表裏の判定結果を示す画像を示す。

【図8】第二実施形態で撮影した、焦点一致面からずれた位置に存在する花粉の画像データを示し、（ａ）は元画像、（ｂ）は表裏の判定結果を示す画像を示す。

【図9】（ａ）は、図７の画像データにおけるＲＧＢ出力結果を示し、（ｂ）は、図８の画像データにおけるＲＧＢの出力結果を示す。

【図10】第四実施形態におけるマイクロマニピュレーションシステムを示すブロック図である。

【図11】第四実施形態において、被写体（花粉）を処理する手順を示したフローチャートを示す図である。

【図12】第四実施形態において、花粉とエンドエフェクタを含む元画像から、ボケを抽出するまでの手順を示す図である。

【発明を実施するための形態】

【0012】

［第一実施形態（基本）］
本発明は、色収差を利用することで、微小な被写体の位置を特定したり、微小な被写体の姿勢を特定したりすることができるが、これら具体的な形態の説明をする前に、その前提となる色収差を利用するのに必要な画像データの処理方法を第一実施形態として説明する。

【0013】

［後ピン］
図１（ａ）において、微小な被写体Ａが、レンズ系Ｌの光軸Ｊの位置Ｏに置かれ、被写体Ａの像Ａ１は、位置Ｂ１の結像面Ｃ上に結像されている。被写体Ａはレンズ系Ｌの焦点一致面の位置Ｆより、レンズ系Ｌに近い側の位置Ｏにあるので、被写体Ａに対してはレンズ系Ｌの焦点が合っていない。なお、図１（ａ）の配置のように、レンズ系Ｌの焦点一致面の位置Ｆが被写体Ａの後方、つまりレンズ系Ｌから遠い側にある状態を、以後「後ピン」と称することがある。

【0014】

被写体Ａから発した光線１は、レンズ系Ｌを通過すると波長によって屈折角が違うことにより、赤色Ｒの光線２、緑色Ｇの光線３、青色Ｂの光線４に別れる色の分散が生じる。なお、赤色Ｒを実線、緑色Ｇを一点鎖線、青色Ｂを二点鎖線で示している。また、ここでは、三原色のみを示しているが、この中では、屈折角は、波長の長い赤色Ｒが小さく、波長の短い青Ｂが大きい。
色の分散が生じることにより、結像面Ｃの上には図１（ｂ）に示す観察写真、及び、図１（ｃ）に示す模式的図に示す色収差が像Ａ１に形成される。

【0015】

以上のように、レンズ系Ｌと被写体Ａの位置関係が後ピンの状態にあるときは、最外郭の側から赤色Ｒ、緑色Ｇ、青色Ｂの順に、つまり、長波長の色の順に、色収差が形成される。
なお、図１（ａ）において、仮に、被写体Ａが、焦点一致面の位置Ｆに置かれたとすれば、被写体Ａから発した光線５（破線）はレンズ系Ｌを通過後であっても色が分散することがほとんどないので、色収差は生じることなく、結像面Ｃの上には鮮明な像Ａ１が形成される。

【0016】

なお、図１（ａ）は、簡便化のためにレンズ系Ｌを１枚のレンズで構成した例を示しているが、例えば、図示は省略するが、高倍率にするために対物レンズと結像レンズを組み合わせたとしても、同様の光路をたどることは言うまでもない。

【0017】

［前ピン］
次に、図１（ｄ）は、図１（ａ）とは逆に、微小な被写体Ａはレンズ系Ｌの焦点一致面の位置Ｆより、レンズ系Ｌから遠い側の位置Ｏに置かれる例を示している。なお、被写体Ａがレンズ系Ｌの光軸Ｊの位置Ｏに置かれ、被写体Ａの像Ａ１が位置Ｂ１の結像面Ｃ上に結像されているものの、被写体Ａに対してレンズ系Ｌの焦点が合っていない点は、図１（ａ）と同じである。図１（ｄ）の配置のように、レンズ系Ｌの焦点一致面の位置Ｆが被写体Ａの前方であるレンズ系Ｌに近い側にある状態を、以後「前ピン」と称することがある。

【0018】

前ピンにおいては、被写体Ａの像Ａ１に現れる色収差は、上述の後ピンと色の配列が逆になり、最外郭から青色Ｂ、緑色Ｇ、赤色Ｒの順に、つまり、短波長の色の順に、色収差が形成される。

【0019】

以上のように、レンズ系Ｌと被写体Ａの位置関係が前ピンの状態にあるときは、輪郭部の最外郭が青色Ｂ、次いで、緑色Ｇ、赤色Ｒの順に、つまり、短波長の色の順に、色収差が形成される。

【0020】

以上で説明したように、被写体の位置の相違に応じて色収差が相関する。そこで本発明は、レンズ系を通して被写体の色収差が反映された画像を撮影する撮影ステップと、撮影された画像を処理して、色収差に基づく色成分を認識する認識ステップと、認識された色成分を解析する解析ステップと、を備える画像データの処理方法を提案する。
一例としてここで示したのは、レンズ系Ｌを介して被写体Ａを撮影し、撮影された像Ａ１の最外郭の色が赤Ｒであることを認識すれば、この認識は後ピンを示しているので、撮影された被写体Ａは焦点一致面の位置Ｆよりレンズ系Ｌに近いところに位置していることを特定できる。同様に、最外郭の色が青Ｂのときは前ピンであるから、このときの被写体Ａは焦点一致面の位置Ｆよりレンズ系Ｌに遠いところに位置していることを特定できる。しかし、後述する第三実施形態で示すように、色収差に基づく色成分を認識し、認識された色成分を解析することにより、表裏の形状が異なる被写体が表向きなのか、それとも、裏向きなのかを特定することもできる。

【0021】

なお、色収差は、被写体を観察するときの照射光に含まれる波長成分に起因するので、照射光の発光スペクトル分布によっては、色収差のパターンが自然光を照射光とする場合と異なることがある。例えば、仮に、照明光が、自然光から赤Ｒの波長領域が抜き取られたような発光スペクトルの場合である。しかし、この場合でも、レンズ系Ｌと被写体Ａの配置が後ピンであれば、最外郭に赤Ｒの色収差が現れないだけで、色収差による緑色Ｇ及び青色Ｂの配列は、自然光の場合と変わらない。つまり、照射光が変わったとしても、後ピンであれば最外郭から長波長の色から短波長の色の順に並び、逆に、前ピンであれば最外郭から短波長の色から長波長の色の順に並ぶ、という原則は変わらない。

【0022】

［第二実施形態（位置の特定）］
次に、本発明の第二実施形態について添付図を参照して説明する。
第二実施形態では、第一実施形態を発展させ、被写体Ａとして花粉を用い、その位置を特定する具体的な手法を説明する。

【0023】

図２（ａ）は、レンズ系Ｌを介して被写体Ａ（胡蝶蘭の花粉）をＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサで画像データ化したものである。図２（ａ）の画像には、４つの胡蝶蘭の花粉１０〜１３が写されている。
本実施形態の画像データ処理では、撮影した４つの花粉１０〜１３に対して、グレースケール処理、２値化処理等を施し、花粉の画像領域のみの色情報を残した上で、それ以外の背景を除去する。図２（ｂ）は、背景を除去した、各花粉の画像に対し、それを囲む外接四角形によって位置を特定した状態を示している。

【0024】

次に、例えば、図２（ｂ）の花粉１０に着目し、花粉１０の画像領域を抜き取る。
図３（ａ）は、花粉１０の画像を形成している画素領域の一部を示したものである。
なお、ＣＣＤ画像素子は、Ｒ，Ｇ，Ｂ（赤，緑，青）の３要素で構成され、各色の強弱の組み合わせによって中間色が表現されるようになっている。また、本発明において、画素とは、Ｒ，Ｇ，Ｂの３要素を備える表示要素の最小の単位を意味する。

【0025】

次に、図３（ａ）に示すように、花粉１０の画像を形成している画像領域に含まれている、全ての画素Ｐ（Ｐ１〜ＰＮ）のそれぞれにおけるＲ，Ｇ，Ｂの三原色の画素値（画素出力の値）を求める。次いで、それぞれの画素について、最も画素値の大きい色（Ｒ，Ｇ，Ｂ）を一つ選択し、図３（ｂ）に示すように、選択された色（Ｒ，Ｇ，Ｂ）のいずれかで当該画素Ｐを代表させる。

【0026】

例えば、図３（ａ）に示す例では、画素Ｐ１の中で最も画素値の大きいＲが、また、画素Ｐ３の中で最も画素値の大きいＧが大文字で記載されている。
次に、図３（ｂ）に示すように、画素Ｐ（Ｐ１〜ＰＮ）の色を、画素値が最も大きい色（Ｒ，Ｇ，Ｂ）のいずれかで代表させることで、花粉１０の新たな画像を生成する。この新たな画像を解析することで、被写体である花粉１０の位置を特定する。

【0027】

続いて、花粉１０の新たな画像の領域に含まれる赤、緑及び青のそれぞれで代表される画素の数であるＮＲ，ＮＧ，ＮＢをカウントし、各ＮＲ，ＮＧ，ＮＢの比較を行う。

【0028】

花粉１０の画像が後ピンの状態で撮影されていれば、一例として、花粉１０の画像領域に含まれる長波長側の色の数が多くなる。したがって、赤で代表される画素の数ＮＲと青で代表される画素の数ＮＢを比較して、赤画素数ＮＲの方が多ければ、花粉１０は、焦点一致面の位置Ｆよりレンズ系Ｌに近い側に位置していること、つまり後ピンであることを特定できる。
なお、後ピンであることを特定するには、赤画素数ＮＲと緑画素数ＮＧを比較してもよいし、緑画素数ＮＧと青画素数ＮＢを比較してもよい。いずれの場合でも、長波長側の色の画素の数が短波長側の色の画素の数より多ければ、花粉１０は、焦点一致面の位置Ｆよりレンズ系Ｌに近い側に位置していることを特定できる。これは、次に説明する前ピンの特定についても同様に当てはまる。

【0029】

一方、花粉１０の画像が前ピンの状態で撮影されていれば、花粉１０の画像領域に含まれる短波長側の色の数が多くなる。したがって、赤画素数ＮＲと青画素数ＮＢを比較して、青画素数ＮＢの方が多ければ、花粉１０は、焦点一致面の位置Ｆよりレンズ系Ｌから遠いところに位置していること、つまり前ピンであることを特定できる。

【0030】

以上の説明では、色で代表される画素の数を比較することを説明したが、この比較と等価である色画素数の比によって花粉１０の位置を特定することもできる。図４を参照して説明する。

【0031】

図４は、花粉１０を光軸Ｊに沿って、焦点一致面の位置Ｆから前後に変化させたときの、花粉１０の画像領域に含まれる赤画素数ＮＲ（第一比較データ）と緑画素数ＮＧ（第二比較データ）の比であるＲＧ比Ｈ＝（ＮＲ／ＮＧ）をグラフ化して示した一例である。この検証実験では、花粉１０の移動は１μｍのステップで行っている。また、この検証に用いた顕微鏡の被写界深度は±１．２μｍである。
横軸Ｘの原点は焦点一致面の位置Ｆにとってあり、正方向は後ピンの方向（花粉１０がレンズ系Ｌに近づく方向）、負方向は前ピンの方向（花粉１０がレンズ系Ｌから遠ざかる方向）に規定されている。

【0032】

図４に示されるように、ＲＧ比Ｈは、正方向に行くほど増加傾向を示し４０μｍ付近でピークとなり、その後、緩やかな低下傾向を示している。また、負方向に行くと−２０μｍ付近で最小となり、その後は緩やかな増加傾向を示している。そして、この例では、レンズ系Ｌの被写界深度付近におけるＲＧ比Ｈは０．８の値を示している。つまり、本例におけるＲＧ比Ｈの閾値（第一閾値）を０．８とすることができ、この閾値と実測したＲＧ比Ｈ（第一実測比）を比較し、実測したＲＧ比Ｈが０．８より大きければ当該被写体は後ピンにあり、実測したＲＧ比Ｈが０．８以下であれば当該被写体は前ピンであることを特定できる。

【0033】

ここでは、ＲＧ比Ｈの閾値が０．８の例を示したが、撮影する被写体Ａやレンズ系Ｌによってこの値は異なることがある。したがって、位置を特定したい被写体Ａのそれぞれについて、撮影の条件を特定した上で、図４に示したようなデータを取得して閾値を求めることが望ましい。

【0034】

以上のように、撮影された画像データの色収差をデジタル処理して色成分を認識するとともに、解析することにより、色収差が肉眼では迷い易い中間色になって現れたとしても、色成分を正確に把握することができるので、位置を特定する精度を上げることができる。

【0035】

［第三実施形態（裏表の特定）］
次に、第三実施形態について添付図面を参照しながら説明する。
第二実施形態は、色収差によって被写体Ａの位置を特定するものであったが、本実施形態は微小な被写体Ａの姿勢、特に裏表を特定するという点で、第二実施形態と異なる。

【0036】

第三実施形態は、微小な被写体Ａとして胡蝶蘭の花粉２０を取り上げる。
図５から分かるように、胡蝶蘭の花粉２０はほぼ半球状の形態をなし、平面上に置けば、表側が上を向いているか、または、裏側が上を向いているかのどちらかであり、側面を下にして立ち姿になることは殆ど起こらない。

【0037】

第三実施形態では、このように任意の向きに置かれた複数の胡蝶蘭の花粉２０のそれぞれが、上向きになっているのが表側なのかそれとも裏側なのかの姿勢を特定することが目的である。

【0038】

第三実施形態においても、第二実施形態のときと同様に、複数の花粉２０を撮影して画像を取得する。次いで、グレースケール処理、２値化処理等を経て、画像データから花粉２０の周囲の背景を除去する。ただし、図６を参照して説明するように、第二実施形態とはＲＧ比Ｈの求め方が相違する。

【0039】

図６（ａ）は、撮影された花粉２０の画像データの一部を示したものである。
第三実施形態のデータ処理では、先ず、花粉２０の画像を形成しているそれぞれの画素を構成している色（Ｒ，Ｇ，Ｂ）のそれぞれの画素値を累積した値を求める。
例えば、図６（ａ）の画素の配置に対して、図６（ｂ）に示すように、各画素に含まれる色（Ｒ，Ｇ，Ｂ）のそれぞれに識別番号を振り、その上で、Ｒ，Ｇ，Ｂのそれぞれの画素値を、存在する画素の分だけ累積する。なお、ここでは、色の識別番号が画素値を表すものとし、例えば、画素Ｐ１の赤Ｒ，青Ｂ，緑Ｇのそれぞれの画素値をＲ１，Ｂ１，Ｇ１とする。つまり、図６の例において、赤色Ｒの画素値（第一色成分の画素値）の累積値ＤＲ（第三比較データ）＝ΣＲｉは、Ｒ１＋Ｒ２＋Ｒ３…＋Ｒｎで求められ、青色Ｂの画素値（第二色成分の画素値）の累積値ＤＢ（第四比較データ）＝ΣＢｉは、Ｂ１＋Ｂ２＋Ｂ３…＋Ｂｎで求められる。
次いで、ＲＧ比Ｈ（第二実測比）＝ＤＲ／ＤＢを算出する。

【0040】

以上のように算出したＲＧ比Ｈについて、ここでは閾値（第二閾値）を１とし、ＲＧ比Ｈが１より大きければ、赤色Ｒの画素値の累積値ＤＲが青色Ｂの画素値の累積値ＤＢより大きいことになり、花粉２０は表向き（図５（ａ），（ｂ））と判定する。花粉２０が表向きになっている場合は、長波長の赤色Ｒの光が孔２１と溝２２に焦点が当たり易くなりその結果として赤色Ｂの画素値が高くなるためである。

【0041】

逆に、ＲＧ比Ｈが１以下の場合は、青色Ｂの画素値の累積値ＤＢが赤色Ｒの画素値の累積値ＤＲが大きいことになり、花粉２０の裏向き（図５（ｃ），（ｄ））と判定する。花粉２０が裏向きになっている場合、孔２１や溝２２が現れない部分が撮影されるあるため、波長の短い青色Ｂの焦点が当たり易くなりその結果として青色Ｂの画素値が高くなるためである。

【0042】

以上の判定基準に基づいて、実際に判定した結果を示す。
画像は花粉２０が焦点一致面に存在する場合(図７（ａ）)と焦点一致面から外れた場合(図８（ａ）)の二種類を撮影した。
結果を図７（ｂ)および図８（ｂ）に示すが、焦点一致面に存在する場合と焦点一致面から外れている場合のいずれにおいても、花粉が表向きの場合には、可視光での赤の波長は長いため、溝または孔に赤の焦点が当たりやすくなり、赤色の割合が多くなる。逆に、裏向きの場合には、孔２１または溝２２がなく、半球体であるため，波長が短い青色の焦点が当たりやすくなり、青色の割合が多くなる。図９（ａ）に図７の画像データにおけるＲＧＢ出力結果を、また、図９（ｂ）に図８の画像データにおけるＲＧＢの出力結果を示す。
なお、図７（ｂ）及び図８（ｂ）において、Ｒを付した四角が表向きの判断結果であり、Ｂを付した四角が裏向きの判断結果である。焦点の合否に関わらず、表向きと裏向きを確実に判定している。

【0043】

以上説明したように、第三実施形態は、色収差を含む画像データを処理することによって、被写体の姿勢を判定できることを示している。なお、ここでは花粉２０を例にしているが、本発明は、表裏の形状に相違があることに基づいて、表裏のそれぞれの色収差に相違がある被写体に広く適用できる。

【0044】

［第四実施形態（マイクロマニピュレーションシステムへの適用）］
本発明の第四実施形態について、添付図面を参照しながら説明する。
第四実施形態は、色収差の画像データの処理によって位置を判定する手法を、マイクロマニピュレーションシステム５０に適用するものである。マイクロマニピュレーションシステム５０は、顕微鏡の視野内において、微小な被写体に対してエンドエフェクタＥを用いて微細作業を行うためのシステムである。

【0045】

第四実施形態に係るマイクロマニピュレーションシステム５０は、図１０に示すように、エンドエフェクタＥを備えるマイクロマニピュレータ５３（駆動部）と、エンドエフェクタＥの駆動を指令するコントローラ（司令部）５４とを備えている。エンドエフェクタＥは、マイクロマニピュレータ５３に備えられたアクチュエータ（図示省略）により、ｘ軸、ｙ軸及びｚ軸の３軸方向への駆動ができる。なおマイクロマニピュレーションシステム５０は、マイクロマニピュレータ５３を２台備えている。
マイクロマニピュレーションシステム５０は、顕微鏡５７を備えている。光の入射方向（光軸方向）と反対側から被処理体である花粉１０を撮影する倒立型顕微鏡は、取得画像に対する照り返しの影響が少ないので、花粉１０とエンドエフェクタＥのボケ抽出が容易である。
そのため、本実施形態は、倒立型の顕微鏡５７を用いる。ただし、このことが正立型の顕微鏡を本発明に用いることを制限するものではない。
顕微鏡５７の光軸はｚ軸と方向が一致しており、この方向がマイクロマニピュレーションシステム５０における奥行き方向となる。

【0046】

マイクロマニピュレーションシステム５０は、顕微鏡５７の上面に設置されるスライドガラス５９上に載せられる花粉１０及びエンドエフェクタＥを光軸方向から撮影するデジタルカメラ（撮影部）５１を備える。デジタルカメラ５１は、固体撮像素子として、例えばＣＣＤイメージセンサを備えるものを用いるが、本発明はこれに限定されるものではない。

【0047】

マイクロマニピュレーションシステム５０は、マイクロマニピュレータ５３、コントローラ５４、顕微鏡５７及びデジタルカメラ５１の動作を制御するパーソナルコンピュータ（司令部、以下、ＰＣ）５６を備える。つまりＰＣ５６は、コントローラ５４に対して、マイクロマニピュレータ５３のエンドエフェクタＥが移動すべき方向及び距離に関するデータを送る。
また、表示ディスプレイ５５を備えるＰＣ５６は、顕微鏡５７を介してデジタルカメラ５１で花粉１０及びエンドエフェクタＥを撮影することを指令し、撮影された画像を処理し、また表示ディスプレイ５５に表示させる。より具体的な処理、操作手順を、図１１のフローチャート、さらには図１２も参照して説明する。

【0048】

花粉１０を載せたスライドガラス５９を顕微鏡５７の所定位置に設置した後に、ボケ抽出、エンドエフェクタＥの位置決め動作の処理手順が開始される。
はじめに、ＰＣ５６からの指令により、デジタルカメラ５１は、花粉１０とエンドエフェクタＥの画像を撮影する。ＰＣ５６は撮影された画像（元画像）を取得する（図１１ Ｓ１０１）。図１２（ａ）に元画像の例を示すが、デジタルカメラ５１の焦点が花粉１０には合っているが、エンドエフェクタＥには合っていないため、エンドエフェクタＥに対応する部分に大きなボケが生じている。花粉１０にデジタルカメラ５１の焦点を合わせる方法については後述する。

【0049】

次に、第二実施形態で説明した同様の手順（図３（ａ）参照）により、花粉１０の画像を形成している画素領域に含まれている、全ての画素Ｐ（Ｐ１〜ＰＮ）のそれぞれにおけるＲ，Ｇ，Ｂの三原色の画素値（画素出力の値）を比較し、最も値の大きい色を一つ選択する。続いて、画素Ｐ（Ｐ１〜ＰＮ）の色を、選択された色に代表（図３（ｂ）参照）させた上で、花粉１０の新たな画像を生成する（図１１ Ｓ１０５）。続いて、新たに作成された画像データに含まれる赤画素数ＮＲ、緑画素数ＮＧ、青画素数ＮＢの数を数え、各数の比較を行う。

【0050】

次いで、第二実施形態で説明したＲＧ比Ｈを用いて比較する。つまり、実測されたＲＧ比Ｈが閾値（例えば、０．８）より大きければ当該被写体は後ピンにあり、実測比Ｈが０．８以下であれば当該被写体は前ピンであると判定できる。
以上のようにして、花粉１０の位置を判定する（図１１ Ｓ１０７）。
なお、この花粉１０の位置の判定は、次に説明するボケ厚さＴｅを判定する手順の後に行うこともできる。

【0051】

ＰＣ５６は、取得した元画像を解析し、画像の明度の差から、二つの異なる閾値を決定する（図１１ Ｓ１０９）。この二つの閾値の決定の仕方は任意であり、予め設定しておくこともできる。
ＰＣ５６は、元画像に対して二つの閾値を適用することにより、二つの二値化画像を作成する（図１１ Ｓ１１１）。
図１２（ｂ），（ｃ）に、図１２（ａ）に示す元画像から作成した二つの二値化画像の例を示している。図１２（ｂ）に示す二値化画像はボケの外周まで含んでいるためエンドエフェクタＥに対応する白抜きの領域が大きい。これに対して図１２（ｃ）は、エンドエフェクタＥそのものを示している画像とみなされ、ボケをほとんど含んでいないから、白抜きの領域が小さい。二つの閾値は、図１２（ｂ），（ｃ）の例のように、一方の二値化画像はボケを多く含み、他方の二値化画像はボケが微小になるように設定することが肝要である。

【0052】

ＰＣ５６は、次に、二つの二値化画像から差分画像を作成する（図１１ Ｓ１１３）。二つの二値化画像は、一方の二値化画像はボケを多く含み、他方の二値化画像はボケが微小に作成されたものであるから、その差分画像にはボケに対応する部分が抽出される。
図１２（ｄ）に二つの二値化画像から作成された差分画像の例を示すが、エンドエフェクタＥに対応する白抜きの部分、つまり二つの二値化画像の差分の領域が、元画像のボケを示している。また、図１２（ｄ）において、花粉１０の周囲にも白抜きで示される差分の領域が薄く現れている。

【0053】

ＰＣ５６は、次に、花粉１０の周囲の差分の領域（以下、ボケの領域）の厚さＴｐとエンドエフェクタＥのボケの領域の厚さＴｅを比較する（図１１ Ｓ１１５）。前述したように、厚さＴｐに厚さＴｅが一致すれば、花粉１０とエンドエフェクタＥはともにデジタルカメラ５１の焦点に合うことになる。そうすると、エンドエフェクタＥは花粉１０とｚ軸方向（奥行き方向）の位置が一致する。したがって、厚さＴｐに厚さＴｅが一致すれば、ＰＣ５６はｚ軸方向の位置合わせの処理を終了して、コントローラ５４にエンドエフェクタＥをｘ軸方向、ｙ軸方向に移動させることを指令し、花粉１０にエンドエフェクタＥを接触させる（図１１ Ｓ１１７、Ｓ１１９）。厚さＴｐに厚さＴｅが一致しなければ、エンドエフェクタＥをｚ軸方向に移動させる（図１１ Ｓ１１７、Ｓ１１８）。
ここで、エンドエフェクタＥをｚ軸方向に移動させる際は、先に説明したＳ１０７の手順で、予め、判定された方向に移動させる。つまり、花粉１０が焦点一致面の位置Ｆより遠い位置にあると判定されていた場合にはエンドエフェクタＥを焦点一致面の位置Ｆに近づける方向、逆に、花粉１０が焦点一致面の位置Ｆより近い位置にあると判定されていた場合にはエンドエフェクタＥを焦点一致面の位置Ｆから遠ざける方向に移動させる。

【0054】

ここで、焦点一致面の前後でボケの厚さが等しい位置があるので、花粉１０及びエンドエフェクタＥが焦点一致面のどちら側に物体があるのかを特定するのが難しいことがある。ところが、第四実施形態では、焦点一致面に対する花粉１０の位置が判定されているので、無駄な時間が費やすことなく、正しい向きにエンドエフェクタＥを移動させることができる。
この色収差の画像データ処理による位置判定機能を備えることにより、マイクロマニピュレーションシステム５０の処理速度を向上させることができる。

【0055】

図１１のＳ１０９〜Ｓ１１７の処理を、厚さＴｐに厚さＴｅが一致するまで繰り返す。
なお、エンドエフェクタＥのボケの厚さＴｅを判定する場合、マイクロマニピュレーションシステム５０はエンドエフェクタＥの先端を花粉１０に接触させることが目的であることから、先端部分の厚さＴｅを採用することが好ましい。花粉１０の厚さＴｐは、厚さがほぼ均一なので、花粉１０の周方向のいずれの部分で判定してもよい。

【0056】

以上、本発明の好適な形態を説明したが、本発明の主旨を逸脱しない限り、上記実施形態で挙げた構成を取捨選択し、または、他の構成に適宜変更できる。
例えば、被写体として花粉１０を対象としたが、他の微小な物質に広く適用することができる。
また、具体的な用途として示したマイクロマニピュレーションシステム５０はあくまで一例であり、他のマイクロマシンに広く適用することができる。

【符号の説明】

【0057】

Ｊ 光軸
Ｌ レンズ系
Ａ 被写体
１０，１１，１２，１３，２０ 花粉
２１ 孔
２２ 溝
５０ マイクロマニピュレーションシステム
５１ デジタルカメラ
５３ マイクロマニピュレータ
５４ コントローラ
５５ 表示ディスプレイ
５７ 顕微鏡
５９ スライドガラス
Ｐ，Ｐ１，Ｐ２，Ｐ３，Ｐ２９，Ｐ３０，Ｐ３１，Ｐ３２，ＰＮ，Ｐｎ 画素

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】