特許 5869920 画像評価方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5869920

(24)【登録日】2016年1月15日

(45)【発行日】2016年2月24日

(54)【発明の名称】画像評価方法

(51)【国際特許分類】

   G01N 21/17 20060101AFI20160210BHJP

【ＦＩ】

   G01N21/17 A

【請求項の数】8

【全頁数】16

(21)【出願番号】特願2012-51209(P2012-51209)

(22)【出願日】2012年3月8日

(65)【公開番号】特開2013-185950(P2013-185950A)

(43)【公開日】2013年9月19日

【審査請求日】2014年8月25日

(73)【特許権者】

【識別番号】000207551

【氏名又は名称】株式会社ＳＣＲＥＥＮホールディングス

(74)【代理人】

【識別番号】100105935

【弁理士】

【氏名又は名称】振角 正一

(74)【代理人】

【識別番号】100105980

【弁理士】

【氏名又は名称】梁瀬 右司

(74)【代理人】

【識別番号】100136836

【弁理士】

【氏名又は名称】大西 一正

(72)【発明者】

【氏名】藤本 博己

【審査官】 比嘉 翔一

(56)【参考文献】

【文献】 特開平０３−０５６８４３（ＪＰ，Ａ）

【文献】 特開平０３−１９１８４８（ＪＰ，Ａ）

【文献】 特開平０３−１０８６３８（ＪＰ，Ａ）

【文献】 特開２００１−１３３３９８（ＪＰ，Ａ）

【文献】 特開平０６−１１８０２６（ＪＰ，Ａ）

【文献】 特開昭５６−００２５６１（ＪＰ，Ａ）

【文献】 米国特許出願公開第２００９／０２８７４１９（ＵＳ，Ａ１）

【文献】 特開２０１１−０７５２７８（ＪＰ，Ａ）

【文献】 特表平０６−５０７４９６（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０１Ｎ ２１／００−２１／６１

Ｇ０２Ｂ １９／００−２１／００

Ｇ０２Ｂ ２１／０６−２１／３６

ＪＳＴＰｌｕｓ（ＪＤｒｅａｍＩＩＩ）

(57)【特許請求の範囲】

【請求項1】

試料保持プレートに設けられた窪部に液体が注入された状態で、前記窪部を撮像した画像データを取得する画像データ取得工程と、
前記窪部の画像において前記窪部を横切る直線を設定し、該直線に沿った前記窪部内の画像濃度プロファイルを前記画像データに基づき求めるプロファイル導出工程と、
前記画像濃度プロファイルの勾配を求め、その値と所定の閾値とを比較して当該画像の有意性を判断する判断工程と
を備え、
前記判断工程では、前記勾配の絶対値の最大値が前記閾値よりも小さいとき当該画像は有意性があると判断し、前記閾値よりも大きいとき当該画像は有意性がないと判断する
ことを特徴とする画像評価方法。

【請求項2】

前記プロファイル導出工程では、前記直線上にある各画素の画素値を配置順に並べてなるデータ列に対しスムージング処理を施して前記画像濃度プロファイルを導出する請求項１に記載の画像評価方法。

【請求項3】

前記判断工程では、前記直線上にある各画素の画素値を配置順に並べてなるデータ列を所定の周期でサンプリングしたデータ列において隣接するサンプリングデータ間の差分を前記勾配の値とする請求項１または２に記載の画像評価方法。

【請求項4】

前記プロファイル導出工程では、互いに異なる複数の前記直線を設定し、各直線のそれぞれについて前記画像濃度プロファイルを求める一方、
前記判断工程では、前記複数の直線のうち、当該直線に沿った前記画像濃度プロファイルの勾配の最大値が前記閾値を超えるものが少なくとも１つあれば当該画像の有意性がないと判断する請求項１ないし３のいずれかに記載の画像評価方法。

【請求項5】

前記プロファイル導出工程では、前記窪部内で互いに交わる前記複数の直線を設定する請求項４に記載の画像評価方法。

【請求項6】

前記窪部の上面開口が略円形であり、前記複数の直線がそれぞれ前記窪部の中心を通るように設定される請求項５に記載の画像評価方法。

【請求項7】

前記画像データ取得工程では、前記試料保持プレートに設けられた複数の前記窪部を含む画像に対応する画像データを取得し、
前記プロファイル導出工程および前記判断工程を前記複数の窪部それぞれについて実行する請求項１ないし６のいずれかに記載の画像評価方法。

【請求項8】

前記画像データ取得工程では、前記試料保持プレートの上方から前記窪部に光を照射し、前記窪部の下方へ透過する光を受光して撮像を行う請求項１ないし７のいずれかに記載の画像評価方法。

【発明の詳細な説明】

【技術分野】

【0001】

この発明は、試料保持プレートに設けられた、液体を保持可能な窪部を撮像した画像を処理する技術に関し、特に該画像の有意性を評価する技術に関する。

【背景技術】

【0002】

医療や生物科学の実験においては、例えばウェルとも称される窪部を多数配列して設けたプレート状の器具（例えばマイクロプレート、マイクロタイタープレート等と呼ばれる）の各ウェルに液体やゲル状の流動体（例えば培養液、培地等）を注入し、ここで細胞等を培養したものを試料として観察、計測することが行われる。また近年では、試料をＣＣＤカメラ等で撮像してデータ化し、該画像データに種々の画像解析技術を適用して観察や分析に供することが行われるようになってきている。このような撮像においては、試料に入射させる照明光の光量が均一でないことに起因して、得られた画像に輝度のムラ（シェーディング）が生じることがある。

【0003】

このようなムラを解消するための技術として、デジタルカメラ等で実用化されているシェーディング補正技術を適用することが考えられる。例えば特許文献１には、シェーディング特性が光軸に対し非対称である場合や個体ごとにばらつきがある場合にも対応可能なシェーディング補正技術が記載されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００８−１７７７９４号公報（例えば、図３）

【発明の概要】

【発明が解決しようとする課題】

【0005】

液体が注入された窪部の画像においては、上記に加えて液面での屈折に起因する画像のムラが生じうる。特に窪部の上方から照明光を与え下方へ透過してくる光を受光して撮像を行った場合、窪部の壁面の影が画像に映り込むことによって窪部の周縁部の輝度が低下し、この部分での試料の観察に支障を来たすことがある。影の映り込みの程度は液面の状態によって異なり、液面の状態は液体の量や窪部壁面に対する濡れ性、注入時の作業状況等によって試料ごとにばらつきがある。

【0006】

一方、上記した特許文献１に記載のものも含め従来のシェーディング補正技術では、予め計測しておいた光量分布との比較に基づき補正を行うため、光量分布自体が試料ごとにばらつきを有する対象物を撮像した画像に対しては十分な補正効果を挙げることができない可能性がある。

【0007】

そこで、このような対象物を撮像した画像に対しても適用可能なシェーディング補正技術、あるいは影の影響自体を排除することのできるような撮像技術（そのための照明技術を含む）の確立が必要となってくる。しかしながら、画像に映り込んだ影の影響を客観的かつ定量的に評価する技術そのものが、未だ確立されるに至っていない状況である。

【0008】

この発明は上記課題に鑑みなされたものであり、液体が注入された窪部を撮像した画像の有意性を適切に評価することのできる技術を提供することを目的とする。

【課題を解決するための手段】

【0009】

この発明にかかる画像評価方法は、上記目的を達成するため、試料保持プレートに設けられた窪部に液体が注入された状態で、前記窪部を撮像した画像データを取得する画像データ取得工程と、前記窪部の画像において前記窪部を横切る直線を設定し、該直線に沿った前記窪部内の画像濃度プロファイルを前記画像データに基づき求めるプロファイル導出工程と、前記画像濃度プロファイルの勾配を求め、その値と所定の閾値とを比較して当該画像の有意性を判断する判断工程とを備え、前記判断工程では、前記勾配の絶対値の最大値が前記閾値よりも小さいとき当該画像は有意性があると判断し、前記閾値よりも大きいとき当該画像は有意性がないと判断することを特徴としている。

【0010】

なお、この発明において、「液体」はペースト状あるいはゲル状のものを含み、また「窪部に液体が注入された状態」は、注入された液体がそのまま窪部に保持された状態のほか、注入直後は低粘度であった液体が固体またはゲル状に硬化した状態も含むものとする。

【0011】

このように構成された発明では、画像内において窪部を横切る直線に沿った画像濃度プロファイルに基づき画像の有意性が判断される。撮像された画像に窪部壁面の影の影響が顕著に表れているとき、影が映り込んだ部分とそうでない部分との境界において画像の背景濃度が急激に変化することとなる。そこで、この発明では、窪部を横切る直線上での画像濃度プロファイルの勾配を求め、その値と所定の閾値との比較により画像の有意性を判断する。閾値を目的に応じて適宜に設定することで、窪部壁面の影によって生じる濃度変化を加味した画像の評価を適切に行うことが可能となる。

【0012】

窪部の画像全体に影が映り込んでいるような場合には窪部全体の背景濃度に影響が及ぶが、このような影響は窪部内の観察対象物に対して同様に現れるため、観察結果自体への影響は小さいか、また影響を除くための補正も比較的容易である。これに対して、窪部の画像に対して部分的に影が映り込んでいる場合、観察対象物の背景濃度がまちまちとなり、補正もより難しい。したがって後者の影の方がより深刻な問題である。本発明はこのような影の影響が予想される画像を見つけ出すのに好適なものである。

【0013】

具体的には、判断工程では、勾配の絶対値の最大値が閾値よりも小さいとき当該画像は有意性があると判断し、閾値よりも大きいとき当該画像は有意性がないと判断する。勾配（絶対値）の最大値が大きな値となることは当該直線上で急激な濃度変化があることを意味する。そこで、このような大きな濃度変化のある画像を有意性のないものとすることで、影の映り込みの影響が顕著な画像をその影響の少ない画像と区別して扱うことが可能となる。

【0014】

また例えば、プロファイル導出工程では、直線上にある各画素の画素値を配置順に並べてなるデータ列に対しスムージング処理を施して画像濃度プロファイルを導出するようにしてもよい。窪部壁面の影の像は画像内で連続した領域に現れるのに対して、例えば液体中に混入した異物や液面の泡などによる局所的な濃度変化が含まれることもある。画素値のデータ列に対してスムージング処理を行って画像濃度プロファイルを求めることで、このような局所的な濃度変化が判断結果に影響を及ぼすのを回避することができる。

【0015】

また例えば、判断工程では、直線上にある各画素の画素値を配置順に並べてなるデータ列を所定の周期でサンプリングしたデータ列において隣接するサンプリングデータ間の差分を勾配の値とするようにしてもよい。この場合、上記したスムージング処理を行ったデータ列に対しサンプリングを実施しても構わない。窪部の内容物を対象とする撮像における画素サイズに対し、一般的には窪部壁面の影は十分大きいサイズを有すると考えられる。したがって、サンプリングされたデータ列によって十分に精度の高い判断が可能であり、また上記のような局所的な濃度変化の影響をより受け難くすることができる。

【0016】

また例えば、プロファイル導出工程では、互いに異なる複数の直線を設定し、各直線のそれぞれについて画像濃度プロファイルを求める一方、判断工程では、複数の直線のうち、当該直線に沿った画像濃度プロファイルの勾配の最大値が閾値を超えるものが少なくとも１つあれば当該画像の有意性がないと判断するようにしてもよい。窪部に注入された液体の表面は不規則な凹凸を有することがあり、これに起因して窪部壁面の影も不規則に画像に映り込む。異なる複数の直線について画像濃度プロファイルを求めることで、このような不規則な影についても評価を行うことができる。また、それらのうち勾配の最大値が閾値を超えるものが少なくとも１つあったときに画像の有意性がないと判断することで、特定の位置にのみ現れた影の影響が見逃されてしまうことが防止される。

【0017】

この場合、例えば窪部内で互いに交わる複数の直線を設定するようにしてもよい。このようにすることで、画像内の種々の方向について求めた画像濃度プロファイルに基づいて有意性が判断されるので、画像内において影が異方性を持っている（すなわち非対称である）場合にも対応することができる。

【0018】

より具体的には、例えば窪部の上面開口が略円形である場合、複数の直線がそれぞれ窪部の中心を通るように設定されてもよい。このような窪部では、壁面の影は概ね窪部の画像の周縁部に現れる。窪部の中心から径方向に、かつ種々の方向において画像濃度プロファイルを求めることで、このような影の影響を適切に評価することが可能となる。

【0019】

また例えば、画像データ取得工程では、試料保持プレートに設けられた複数の窪部を含む画像に対応する画像データを取得し、プロファイル導出工程および判断工程を複数の窪部それぞれについて実行するようにしてもよい。試料保持プレートに複数の窪部が設けられている場合、各窪部に入射する光の光量分布にばらつきがあり、また注入された液体の表面状態も窪部ごとにばらつきがある。したがって、各窪部それぞれで評価を行うことがより好ましい。

【0020】

この発明は、試料保持プレートの上方から窪部に光を照射し、窪部の下方へ透過する光を受光して撮像を行った画像の評価に適用されることで特に優れた効果を奏するものである。前述したように、このような撮像方法を採った場合、液面での照射光の屈折に起因する影の映り込みが顕著である。したがって、そのようにして撮像された画像の評価に本発明を適用することで、撮像方法自体の妥当性の判断の目安となる情報が得られる。このような情報は、照明方法を含む撮像方法の改善を図る上で有益なものとなる。

【発明の効果】

【0021】

この発明によれば、液体が注入された窪部を撮像した画像の濃度プロファイルの勾配に基づいてその有意性を判断するので、窪部壁面の影が映り込んだ画像の良否を客観的に、かつ定量的に評価することができる。

【図面の簡単な説明】

【0022】

【図1】この発明を適用可能な撮像装置の概略構成を示す図である。

【図2】撮像部のより詳細な構成を示す図である。

【図3】図１の撮像装置で撮像された画像の例を示す図である。

【図4】ウェル画像を模式的に示した図である。

【図5】本発明にかかる画像評価方法の一実施形態を示すフローチャートである。

【図6】この実施形態における線分の設定例を示す図である。

【図7】評価に用いられる画像の例を示す図である。

【発明を実施するための形態】

【0023】

図１はこの発明を適用可能な撮像装置の概略構成を示す図である。この撮像装置１は、図１（ａ）に示すように、それぞれに例えば培養液、培地、試薬などの液体等（一部のみ図示）が注入された複数の、例えば９６個（１２×８のマトリクス配列）のウェルＷを形成されたサンプル（マイクロプレート）Ｍの下面周縁部に当接して該マイクロプレートＭを略水平状態に保持するホルダ１１と、該ホルダ１１の上方に設けられた光源１２と、ホルダ１１の下方に設けられた撮像ユニット１３と、これらを司って所定の動作を実行させる制御部１０とを備えている。以下の説明のために図１（ａ）に示す通りに座標軸を設定する。Ｘ−Ｙ平面は水平面であり、Ｚ軸は鉛直軸である。

【0024】

マイクロプレートＭにおける各ウェルＷの直径および深さは代表的には数ｍｍ程度である。一例として、後述する実験において用いられたマイクロプレートＭの各部の寸法を示す。図１（ｂ）に示すように、各ウェルＷの上部における開口Ｗｔの直径Ｄｔが６．６９ｍｍである一方、ウェル底面Ｗｂの内径Ｄｂが６．５８ｍｍである。これからわかるように、ウェルＷの内壁面Ｗｓは単純な円筒面ではなく、側面が斜めに傾斜したテーパー形状となっている。また、ウェルＷの深さＤｄは１０．９ｍｍであり、複数ウェルＷの配列ピッチＤｐは９ｍｍである。なお、各部の寸法は単なる例であって、この撮像装置１が対象とするマイクロプレートのサイズはこれらに限定されるものではなく任意である。

【0025】

光源１２は、制御部１０に設けられた光源制御部１１２によって制御され、光源制御部１１２からの制御指令に応じてホルダ１１に保持されたマイクロプレートＭの上方から複数のウェルＷに対して一括して光Ｌを照射する。照射される光は可視光であり、特に白色光が好ましい。

【0026】

撮像ユニット１３は、光源１２から出射されてホルダ１１に保持されたマイクロプレートＭの下方に透過してくる透過光Ｌｔを受光することでマイクロプレートＭの画像を撮像するカメラとして機能するものである。撮像ユニット１３は制御部１０に設けられたカメラ駆動機構１１３に連結されており、カメラ駆動機構１１３は、ホルダ１１に保持されたマイクロプレートＭの下面に沿って撮像ユニット１３を水平面（Ｘ−Ｙ平面）内で走査移動させる。

【0027】

すなわち、この実施形態では、撮像ユニット１３がマイクロプレートＭの下面に沿って走査移動可能となっている。なお、ここでは撮像ユニット１３がマイクロプレートＭに対して移動するが、撮像ユニット１３とマイクロプレートＭとの間の相対移動が実現されれば足り、この意味でマイクロプレートＭを撮像ユニット１３に対して移動させるようにしてもよい。

【0028】

撮像ユニット１３により撮像された画像データは画像処理部１１４に与えられる。画像処理部１１４は、撮像ユニット１３からの画像データに対して適宜画像処理を施したり、画像データに基づく所定の演算処理を実行する。処理前後のデータは必要に応じて記憶部１１５に記憶保存される。

【0029】

この撮像装置１は、各ウェルＷに保持された液体等（本明細書では、液体、ゲル状のまたは半流動性を有する固体、および、例えば軟寒天のように流動性を有する状態でウェルに注入されその後固化するものの総称である）およびその中に含まれる細胞等の撮像対象物の光学像（明視野画像）を撮像したり、その光学像から所定の光学的特徴を有する、より具体的にはウェルＷに保持された液体等とは異なる光学的特性を有する特異な部分をその光学的特性の差異を利用して検出するという用途に適用することができる。例えば、培地中の細胞や細胞集塊（スフェロイド）を撮像対象物として撮像したり、さらに画像処理によりそのような細胞等を自動的に検出する目的に好適に使用することができる。

【0030】

図２は撮像部のより詳細な構成を示す図である。図２（ａ）に示すように、撮像ユニット１３は、入射光に応じた電気信号を出力する例えばＣＣＤによるラインセンサ１３１と、ホルダ１１に保持されたマイクロプレートＭの底面から出射される光をラインセンサ１３１の受光面に結像させる結像光学系１３２とを備えている。結像光学系１３２はレンズ等の光学部品を複数備えるものであってよいが、ここでは理解を容易にするために代表的に単一のレンズによって示している。

【0031】

ラインセンサ１３１は多数の微細な撮像素子１３１ａをＹ方向に一次元配列したものであり、その長手方向には結像光学系１３２を介して少なくとも１つのウェルＷ全体、より望ましくは複数の（同図では３つの）ウェルＷを一度に撮像範囲ＳＲに含めることができるよう構成されている。図では、ラインセンサ１３１のＹ方向長さを符号ｗ、これによるマイクロプレートＭの底面における視野のＹ方向長さを符号ｗ’により表している。

【0032】

また、図２（ｂ）に示すように、カメラ駆動機構１１３によるラインセンサ１３１の走査移動方向はＸ方向である。このように、Ｙ方向に沿って撮像素子が配列されたラインセンサ１３１をマイクロプレートＭの底面に沿ってＸ方向に走査移動させることで、底面側から見たマイクロプレートＭの二次元画像を撮像することが可能である。また、ラインセンサ１３１のＹ方向位置を異ならせて上記走査移動を繰り返すことで、マイクロプレートＭに形成された多数のウェルＷを順次撮像することができる。

【0033】

ラインセンサ１３１は各撮像素子の画素サイズが小さいため高精細の画像を得ることが可能である。また、多数の撮像素子をライン状に配列するとともに各撮像素子にウェルＷ各部の光学像を結像させるように結像光学系１３２を構成してそれらを適切な位置に配置し、１つまたはそれ以上のウェルＷからの光をラインセンサ１３１に入射させるようにすることで、１つのウェルＷを撮像するのに必要な時間が短くなる。これにより、多数のウェルＷについての撮像を高速で行うことができる。

【0034】

上記のように構成された撮像装置１に、本発明にかかる画像評価方法を適用した場合を考える。本発明にかかる画像評価方法は、撮像された画像の有意性を評価するものであり、特に液面を介して撮像された画像の評価を行うのに好適なものである。これを上記した撮像装置１に適用する場合、第１に、上記のようにウェルＷに注入された培地内で培養された細胞等の生体試料を撮像した画像の評価に用いることが可能である。この場合、撮像された画像は種々の画像処理によって解析され、細胞の形状や分布状況などが検出されるが、元の画像がそのような画像処理に耐えるものであるか否かの評価が必要である。すなわち、撮像時の影の映り込みにより、当該画像が解析に値しないものとなってしまっている可能性がある。

【0035】

図３は図１の撮像装置で撮像された画像の例を示す図である。図３（ａ）は好ましい照明条件下で撮像された、培地およびその内部に培養された細胞集塊を含むウェルＷの画像の例である。この例では、ウェルに相当する円形領域の中央部分が最も明るく、円形領域の周縁部分ではこれよりやや暗くなっている。これは液面での照明光の屈折・散乱によるものと考えられるが、それでも周縁部に位置する細胞集塊まで明瞭に見分けることが可能である。

【0036】

一方、図３（ｂ）は上記とは異なる照明条件下で同じウェルＷを撮像した画像の例であり、周縁部分がより暗くなり、この部分に位置する細胞集塊を見分けることが困難な状態となっている。このような周縁部分の暗さやその広がりは、照明条件のほか、ウェルＷに注入された液体等の量やその表面状態によっても異なった態様を示す。

【0037】

図４はウェル画像を模式的に示した図である。図４（ａ）は図３（ｂ）の画像を模式化した図であり、図４（ｂ）は図４（ａ）に示す線分Ｑ−Ｑ’上に位置する各画素の輝度値をプロットしたグラフである。ウェル画像Ｉｗは、ウェルＷに対応する略円形のウェル領域ＷＲの中央部分に比較的明るい（輝度の高い）明部領域ＢＲを有する一方、周縁部分にはより暗い暗部領域ＤＲを有している。また、明部領域ＢＲはウェルＷの輪郭に対応する円に対して必ずしも同軸の円とはならず歪んだ形を有している。

【0038】

このような暗部領域ＤＲがウェル画像Ｉｗに生じるのは、液面における照明光の屈折・散乱およびウェル壁面の影によるものと考えられる。特に、液面よりも上部に露出したウェルＷの内壁面の影が、液面での屈折により画像に映り込んだものと考えられる。特に液量が少ない場合やウェル壁面が不透明な材料で構成されている場合に、濃度の高い（輝度の低い）暗部領域ＤＲが現れる。

【0039】

このような暗部領域ＤＲが生じることによる影響としては、次のようなものが考えられる。まず、ウェルＷ内に分布する細胞または細胞集塊Ｓｐのうち、明部領域ＢＲに存在する細胞集塊（例えば符号Ｓｐ1により示す）については、背景の影響を受けることなく良好に検出、解析を行うことが可能である。一方、暗部領域ＤＲに存在する細胞集塊（例えば符号Ｓｐ2により示す）については、背景が暗いことによって検出自体が不可能となったり、その濃度の検出において大きな誤差を生じたりすることがある。また、明部領域ＢＲと暗部領域ＤＲとの境界付近に位置する細胞集塊（例えば符号Ｓｐ3により示す）については、当該細胞集塊の輪郭が不明確となり、サイズや濃度の誤検出の原因となり得る。

【0040】

したがって、このように暗部領域ＤＲによる誤差発生が予想されるような画像については、有意性のないものとして処理対象から除外する、あるいは少なくともオペレーターに対してその旨を報知することが望ましい。このような画像の評価に対して、本発明を好適に適用することが可能である。

【0041】

また、本発明の画像評価方法を撮像装置１に適用する第２のケースとして、撮像装置１の開発または製造工程における撮像装置自体の評価に応用することが考えられる。前述したように、ウェル壁面の影により画像に生じる暗部領域ＤＲの状態は照明条件を含む撮像条件によっても大きく変化し、撮像条件の工夫により影の影響の低減を図ることも可能である。このような用途において、撮像条件の良否を判断するための基準として、本発明の画像評価方法を好適に適用することが可能である。また、撮像装置の製造工程における製品検査として、本発明にかかる画像評価方法を適用した品質チェック工程を設けるとの応用も考えられる。

【0042】

特に撮像装置１のように、マイクロプレートＭに設けられた複数のウェルＷを包括的に撮像する装置においては、ウェルごとに照明条件が異なることに起因して影の影響もまちまちである。したがって、撮像条件についてはウェルごとに個別に評価する必要がある一方で、それらをオペレーターが１つずつ目視でチェックすることは現実的でなく、各ウェルの画像を客観的かつ定量的に評価することができれば非常に有意義である。

【0043】

具体的には、各ウェルＷに適宜の液体（または液体等）を注入したマイクロプレートＭを撮像装置１にセットし、上記した試料の撮像と同様にして撮像する。こうして撮像された各ウェルＷの画像を評価してその結果を出力することで、オペレーターによる当該装置における撮像条件の適否判断作業を効果的に支援することができる。これを可能とするための具体的な動作について、次に説明する。

【0044】

図５は本発明にかかる画像評価方法の一実施形態を示すフローチャートである。この処理は、制御部１０が所定の制御プログラムを実行して撮像装置１の各部を制御することにより実行される。まず、上記したように、各ウェルＷに適宜の液体等を注入したマイクロプレートＭを撮像装置１にセットし撮像を行い、原画像を取得する（ステップＳ１０１）。ここでウェルＷに注入される液体は評価用のダミーであり、適宜のものを用いることができるが、粘度や光学的特性において実際の試料に用いられる培地に近いものが望ましい。また、液体の注入はマイクロプレートＭが撮像装置１にセットされる前に他の場所で行われてもよい。このとき、マイクロプレートＭは水平姿勢に保持されることが望ましく、特に液体が注入的に硬化するものである場合には、少なくとも注入された液体が硬化するまでの間は、マイクロプレートＭが水平姿勢に静置されることが望ましい。なお、注入された液体が硬化したマイクロプレートＭについては、撮像時には必ずしも水平姿勢であることを要するものではない。

【0045】

次に、こうして撮像されたプレート全体の画像から、各ウェルＷに相当する領域のみをウェル画像Ｉｗとしてそれぞれ切り出す（ステップＳ１０２）。以後の処理は、それぞれのウェル画像を対象として行われる。以下ではこうして切り出されたウェル画像の１つに対する処理を説明するが、全てのウェル画像に対して同様の処理が適用される。続いて、１つのウェル画像に対して、ウェルＷを横切るような複数本の線分を設定し（ステップＳ１０３）、各線分上に位置するウェル内の各画素の画素値を抽出する（ステップＳ１０４）。

【0046】

図６はこの実施形態における線分の設定例を示す図である。図６（ａ）に示すように、ここでは１つのウェル画像Ｉｗ1に対して４本の線分Ａ−Ａ’、Ｂ−Ｂ’、Ｃ−Ｃ’、Ｄ−Ｄ’を設定する。各線分は、ウェル画像Ｉｗ1の中心近傍で互いに交わるように等角度間隔で設定される。したがってこの例では、隣接する線分がなす角度は４５度となる。

【0047】

１つの線分（例えば線分Ａ−Ａ’）上における各画素の画素値（輝度）のデータ列から求まる輝度プロファイルを模式的に表すのが図６（ｂ）である。破線で示すように、ウェルの中央部分の明部領域ＢＲ1に対応する位置では各画素の輝度が高く、周縁部の暗部領域ＤＲ1に対応する位置では各画素の輝度が低い。明部領域ＢＲ1と暗部領域ＤＲ1との境界付近では輝度が大きく変化しており、輝度を表す曲線の勾配（微分値）の絶対値をプロットすると、同図に実線で示すように、ウェル領域ＷＲ1の輪郭に相当する部分と、明部領域ＢＲ1と暗部領域ＤＲ1との境界付近とにおいて比較的高い値を示し、他の部分では比較的低い値を示す。

【0048】

ここで、暗部領域を含む画像に対して画像処理を行う場合、画像全体の明るさ（あるいは暗さ）よりも、暗部領域と明部領域との境界における急激な輝度変化の方が問題となることが多い。すなわち、細胞等を含む試料の画像においては、たとえ画像全体の明るさが不足していても、細胞等の背景部分の輝度変化がなだらかであれば例えばバックグラウンド画像を作成して原画像との差分を取るなど適宜の画像処理により、その影響を低減することは比較的容易である。一方、暗部領域と明部領域との境界において背景部分の輝度変化が急峻である場合、特に境界近傍の細胞等がバックグラウンドとみなされて処理後の画像から消失してしまったり、その形状が本来のものと異なったものとして検出されるなどの問題があり、その影響を排除することがより困難である。

【0049】

そこで、この実施形態では、輝度の勾配（より正確にはその絶対値）に対して所定の閾値Ｇthを予め設定しておき、輝度の勾配がこの閾値Ｇthを超えた場合、その画像は有意性がないものと判断する。こうすることで、画像に暗部領域が形成されることにより後の画像解析に影響を及ぼす可能性があることが予め把握される。このような情報は、例えば照明光源を含む撮像条件の改善や製造品質の管理、またシェーディング補正等における新たな画像処理技術の開発のために有用なものとなる。

【0050】

なお、ウェル画像への暗部領域の現れ方は、前記したように必ずしも対称ではなく、図６（ａ）に示したように異方性を有している。そこで、異なる方向に複数の線分を設定し、それぞれの線分上で上記のような判断を行うことにより、特定の方向に現れた影の影響が見落とされることを回避する。ここでは等角度間隔で４本の線分を設定しているが、線分の本数や配置についてはこれに限定されるものではなく任意である。ただし、ウェル壁面の影はウェル画像の周縁部に現れるから、ウェルの中央部から放射状に設定された線分上で輝度プロファイルおよびその勾配を求めることが効果的である。特にウェル断面形状が円形である場合には、円の中心で互いに交わる線分を設定するのが望ましい。

【0051】

図５に戻ってフローチャートの説明を続ける。原理的には、上記のように設定された線分上における輝度プロファイルの勾配に基づき画像の有意性を判断すればよいのであるが、実際の画像においては、ウェルに注入された液体に混入した異物や気泡等に起因して輝度プロファイルに乱れが生じることがある。図３（ｂ）あるいは図６（ａ）に示したように、ウェル壁面の影はウェルの周縁部を連続的に覆うように映り込み、その原理から考えても細かい構造を有するものではない。

【0052】

また、撮像ユニット１３の分解能を例えば２４００ｄｐｉ（dots per inch）程度とすると、画像における１画素のサイズは１０μｍ程度である。それに対して、撮像の対象物である細胞集塊のサイズは、一般的には４０μｍ〜５０μｍ程度である。したがって、背景濃度の急激な変化による細胞集塊の誤検出を防止するためには、数画素分の寸法での濃度変化を知ることが重要である。

【0053】

これらの点から、輝度プロファイルについては、画素単位での詳細な変化についての情報は必ずしも必要ではなく、むしろ上記した異物等の混入による影響が懸念される。そこで、画素ごとの画素値のデータ列に対してスムージング処理（ステップＳ１０５）およびサンプリング処理（ステップＳ１０６）を実行する。スムージング処理としては、例えば連続する画素間での移動平均処理を適用することができ、その算入範囲としては例えば当該画素を中心とした７画素とすることができる。また、サンプリング処理のサンプリング間隔としては、上記したサイズの関係から最大で４〜５画素程度とすることができる。これらのスムージング処理、サンプリング処理は必須のものではなく、得られるデータの状態によっては省略してもよい。

【0054】

こうして得られた処理後のデータＶ（ｉ）（ただし、ｉ＝１，２，…）のデータ列から、隣接データ間における差分の絶対値：
Ｄ（ｉ）＝｜Ｖ（ｉ＋１）−Ｖ（ｉ）｜ （ｉ＝１，２，…）
を全てのｉに対して算出するとともに（ステップＳ１０７）、それらのうちの最大値Ｄmaxを求める（ステップＳ１０８）。

【0055】

こうして求めた最大値Ｄmaxを予め設定した閾値Ｇthと比較し（ステップＳ１０９）、該閾値Ｇthよりも大きければ当該画像は有意性がないものと判断する（ステップＳ１１０）。そうでなければ当該画像は有意性があると判断する（ステップＳ１１１）。なお、複数本設定した線分の少なくとも１つで最大値Ｄmaxが閾値Ｇthを超えている場合には、他の線分での結果によらず当該画像は有意性なしと判断する。判断結果については、表示部１１８に表示することによりユーザー（オペレーター）に報知する（ステップＳ１１２）。

【0056】

閾値Ｇthについては、ウェルに注入される液体等の種類（特にその屈折率および透過率）および液量、観察対象である細胞等の光学的特性、装置に求められる画像品質水準等に基づいて総合的に設定する必要があり、例えば適宜のダミー試料を用いて所望の画像品質が得られるように実験的に定めてもよい。

【0057】

図７は評価に用いられる画像の例を示す図である。図７（ａ）はウェルＷに適当な培養液を注入した状態で撮像を行った原画像の例であるが、ウェル壁面の影に起因する暗い領域が周縁部に見られ、また中央部分は明るいが異物が分布している。図７（ｂ）は、図７（ａ）の中央部分に横方向に引いた白線に沿った輝度プロファイルを示す図である。マーカー「□」により示す画素ごとの輝度値はこれらの異物等の影響を受けてばらつくが、実線で示すスムージング処理後のプロファイルではその影響が低減されている。

【0058】

また、図７（ａ）からわかるように、中央部分から周縁部にかけての輝度の変化が比較的緩やかで、明部領域と暗部領域との境界がはっきりしていない。これを反映して、隣接データの差分の絶対値として求めた勾配の値も比較的小さい。グラフの右端で極端に大きな値があるのはウェル領域自体の端に対応するものとみられ、影の影響によるものではない。このような画像については、有意性があるものと判断される。一方、図３（ｂ）のように明部領域と暗部領域との境界がはっきりしている画像では、勾配の値が大きくなるので有意性なしと判断される。

【0059】

以上のように、この実施形態では、液体が注入されたウェルを撮像してなるウェル画像について、輝度の変化の大きさに基づいて当該画像の有意性を判断している。具体的には、ウェル領域を横切るように設定した線分上に位置する画素の輝度プロファイルを求め、その勾配の絶対値が所定の閾値を超えた場合に、当該画像の有意性がないと判断する。こうすることで、ウェル壁面の影の映り込みに起因する背景濃度の急激な変化による細胞等の誤検出のおそれがある画像を事前に発見し、このような誤検出を未然に防止することができる。また、このような判断を撮像装置の評価に用いることで、照明条件を初めとする撮像条件の改善や、撮像された画像に対する画像処理技術の向上に役立てることができる。

【0060】

また、この実施形態では、互いに異なる方向の複数の線分を設定し、それぞれの線分上における輝度プロファイルを求める。そして、それらのうち１つでも閾値を超えるものがある場合には、他の線分での結果に関わらず当該画像は有意性がないものと判断する。これにより、ウェル壁面の影が異方性を持って画像に現れている場合でも、その影響を見落としてしまう確率を低減することができる。

【0061】

また、輝度プロファイルについては、画素単位のデータに対して適宜スムージング処理およびサンプリング処理を行うことにより、画像に映り込んだ異物や気泡等に起因する評価の誤りを防止することができる。

【0062】

以上説明したように、この実施形態では、マイクロプレートＭが本発明の「試料保持プレート」に相当し、ウェルＷが本発明の「窪部」に相当している。また、図５のステップＳ１０１，Ｓ１０２が本発明の「画像取得工程」に相当する一方、ステップＳ１０３ないしＳ１０６が、本発明の「プロファイル導出工程」に相当している。またステップＳ１０８ないしＳ１１１が、本発明の「判断工程」に相当している。

【0063】

また、上記実施形態では、本発明の「画像濃度プロファイル」に対応する概念として「輝度プロファイル」を使用している。画像濃度が高いほど輝度値は小さくなるという違いはあるものの、輝度が画像濃度を指標するものであることは自明であり、本実施形態において「輝度プロファイル」を求めることは、実質的には本発明の「画像濃度プロファイル」を求めることに相当するものである。

【0064】

なお、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能である。例えば、上記実施形態は、本発明にかかる画像評価方法を実行する撮像装置であるが、本発明の適用対象はこれに限定されるものではない。例えば、パーソナルコンピュータやワークステーションに本発明の画像評価方法を実行させ、他の撮像装置で撮像された画像データを取り込んで評価を行うことで、当該画像自体や当該画像を撮像した撮像装置を評価することができる。もちろん本発明の画像評価方法を実行する専用の評価装置を構成してもよい。すなわち、本発明の「画像データ取得工程」は、対象物を撮像することで画像データを取得する場合のほか、他の装置で撮像された画像データを適宜の通信手段を介して取得する場合も包含する。

【0065】

また例えば、上記実施形態では、断面形状が略円形のウェルＷを複数有するマイクロプレートＭを撮像した画像を対象としているが、ウェル（窪部）の形状や個数については特に限定されるものではなく、任意のものに対して本発明を適用可能である。

【0066】

また、上記実施形態におけるスムージング処理は移動平均演算によるものであるが、これ以外の処理方法も適用可能である。例えば、図７（ａ）に示すように異物等は画像において背景部分より暗く映ることが多いことから、隣接データに比べて著しく輝度の低い画素データを除外することによりスムージングを行うようにしてもよい。具体的には、ばらつきを含む輝度データ列の上側包絡線を求めることで、そのようなスムージング処理を行うことができる。

【産業上の利用可能性】

【0067】

この発明は、例えば医療・生物科学分野で用いられるマイクロプレート上のウェルのような、窪部に液体が注入された試料の観察を必要とする分野に特に好適に適用することができるが、その応用分野は医療・生物科学分野に限定されない。

【符号の説明】

【0068】

１ 撮像装置
１０ 制御部
１３ 撮像ユニット
ＢＲ 明部領域
ＤＲ 暗部領域
Ｉｗ ウェル画像
Ｍ マイクロプレート（試料保持プレート）
Ｓ１０１，Ｓ１０２ 画像取得工程
Ｓ１０３〜Ｓ１０６ プロファイル導出工程
Ｓ１０８〜Ｓ１１１ 判断工程
Ｗ ウェル（窪部）

【図1】

【図2】

【図4】

【図5】

【図6】

【図3】

【図7】