特許 6132824 画像処理方法、制御プログラム、記録媒体および画像処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6132824

(24)【登録日】2017年4月28日

(45)【発行日】2017年5月24日

(54)【発明の名称】画像処理方法、制御プログラム、記録媒体および画像処理装置

(51)【国際特許分類】

   C12M 1/34 20060101AFI20170515BHJP

   G01N 33/48 20060101ALN20170515BHJP

   C12Q 1/04 20060101ALN20170515BHJP

【ＦＩ】

   C12M1/34 B

   !G01N33/48 Z

   !C12Q1/04

【請求項の数】15

【全頁数】15

(21)【出願番号】特願2014-199859(P2014-199859)

(22)【出願日】2014年9月30日

(65)【公開番号】特開2016-67280(P2016-67280A)

(43)【公開日】2016年5月9日

【審査請求日】2017年3月27日

【早期審査対象出願】

(73)【特許権者】

【識別番号】000207551

【氏名又は名称】株式会社ＳＣＲＥＥＮホールディングス

(74)【代理人】

【識別番号】100105935

【弁理士】

【氏名又は名称】振角 正一

(74)【代理人】

【識別番号】100105980

【弁理士】

【氏名又は名称】梁瀬 右司

(74)【代理人】

【識別番号】100136836

【弁理士】

【氏名又は名称】大西 一正

(72)【発明者】

【氏名】津村 治郎

【審査官】 佐藤 卓馬

(56)【参考文献】

【文献】 国際公開第２０１２／１１７６４７（ＷＯ，Ａ１）

【文献】 特開２０１０−１５２４５６（ＪＰ，Ａ）

【文献】 国際公開第２００９／１４２３３３（ＷＯ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｃ１２Ｍ １／３４

Ｃ１２Ｑ １／０４

Ｇ０１Ｎ ３３／４８

(57)【特許請求の範囲】

【請求項1】

スフェロイドが撮像された原画像について、前記原画像中のオブジェクトのうち前記スフェロイドに対応するスフェロイド様オブジェクトを検出する工程と、
前記スフェロイド様オブジェクトについて、当該スフェロイド様オブジェクトのサイズに基づいて求めた直径を有し前記スフェロイド様オブジェクトより面積の小さい円を構造要素として用いたエロージョン処理を実行する工程と、
前記エロージョン処理後の前記スフェロイド様オブジェクトについて、前記構造要素を用いたディレーション処理を実行する工程と
を備える画像処理方法。

【請求項2】

サイズの異なる複数の前記スフェロイド様オブジェクトに対して、それぞれ大きさの異なる前記構造要素を設定する請求項１に記載の画像処理方法。

【請求項3】

前記スフェロイド様オブジェクトのサイズを、当該スフェロイド様オブジェクトを近似する近似楕円のサイズによって表す請求項１または２に記載の画像処理方法。

【請求項4】

前記スフェロイド様オブジェクトの輪郭に包含される楕円のうち面積が最大である楕円を前記近似楕円とする請求項３に記載の画像処理方法。

【請求項5】

前記スフェロイド様オブジェクトと同一の面積を有する楕円を前記近似楕円とする請求項３に記載の画像処理方法。

【請求項6】

前記構造要素としての円の直径が、前記近似楕円の短径の（１／６）以上（１／２）以下である請求項３ないし５のいずれかに記載の画像処理方法。

【請求項7】

前記構造要素としての円の直径が、前記近似楕円の短径の（１／４）以上（１／３）以下である請求項６に記載の画像処理方法。

【請求項8】

前記近似楕円が前記スフェロイド様オブジェクトを近似する近似円である請求項３ないし７のいずれかに記載の画像処理方法。

【請求項9】

前記ディレーション処理後の画像と前記原画像との差分画像に基づき、前記原画像中のオブジェクトのうち前記スフェロイドと異なる非スフェロイド領域を検出する工程を備える請求項１ないし８のいずれかに記載の画像処理方法。

【請求項10】

前記原画像において検出される前記スフェロイド様オブジェクトの最小包含円を特定する工程を備え、
前記スフェロイド様オブジェクトのうち、当該スフェロイド様オブジェクトの最小包含円の面積と当該スフェロイド様オブジェクトの面積との比が１より大きい所定値よりも大きいものについて、前記エロージョン処理および前記ディレーション処理を実行する請求項１ないし９のいずれかに記載の画像処理方法。

【請求項11】

請求項１ないし１０のいずれかに記載の画像処理方法をコンピューターに実行させることを特徴とする制御プログラム。

【請求項12】

請求項１１に記載の制御プログラムを記録した、コンピューター読み取り可能な記録媒体。

【請求項13】

スフェロイドが撮像された原画像を取得する画像取得手段と、
前記原画像に対し画像処理を施す画像処理手段と
を備え、
前記画像処理手段は、前記原画像において前記スフェロイドに対応するスフェロイド様オブジェクトを検出する処理と、前記スフェロイド様オブジェクトについて、当該スフェロイド様オブジェクトのサイズに基づいて求めた直径を有し前記スフェロイド様オブジェクトより面積の小さい円を構造要素として用いたエロージョン処理を実行する処理と、前記エロージョン処理後の前記スフェロイド様オブジェクトについて、前記構造要素を用いたディレーション処理を実行する処理と
を実行する画像処理装置。

【請求項14】

スフェロイドが撮像された原画像を取得する画像取得手段と、
前記原画像に対し画像処理を施す画像処理手段と
を備え、
前記画像処理手段は、請求項１ないし１０のいずれかに記載の画像処理方法と同一の前記画像処理を実行する画像処理装置。

【請求項15】

前記画像取得手段は、前記スフェロイドを担持する担持体を保持する保持部と、前記担持体を撮像して前記原画像を作成する撮像部とを有する請求項１３または１４に記載の画像処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

この発明は、スフェロイドを撮像した画像に対し施す画像処理に関するものであり、特に画像に含まれるスフェロイドと他のオブジェクトとを区別する技術に関する。

【背景技術】

【0002】

医療や生物科学の実験においては、例えば、観察対象である細胞をＣＣＤカメラ等で撮像してデータ化し、該画像データに種々の画像処理技術を適用して観察や分析に供することが行われるようになってきている。すなわち、観察対象の細胞をウェルプレート、ディッシュ等と呼ばれる適宜の容器に担持した状態で、カメラ等により細胞が撮像され、観察に供される。

【0003】

この場合、画像に観察対象物以外の像が映り込むことがある。例えば、雰囲気中から混入した微細な埃やゴミ、容器の傷、汚れ等に起因する筋状の異物の像が画像に現れることがある。このような異物の像は観察の妨げとなる。この問題を考慮した技術としては、例えば特許文献１に記載されたものがある。この技術においては、細胞を担持しない状態で容器（ウェル）の画像を予め撮像しておき、細胞が存在する状態での画像との差分を取ることで、傷、ゴミ等の異物の像を排除している。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１２−１５９７９４号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

上記従来技術では、細胞を担持させる前後において容器の撮像を行う必要があり、手順が複雑である。また、事前撮像の後で容器に混入するもしくは容器から離脱する異物があった場合には対応することができない。このため、細胞および異物を含んだ状態で撮像された画像から直接的に、細胞の像と異物の像とを区別することのできる技術が望まれる。特に、撮像対象物が多数の細胞からなる細胞集塊（スフェロイド）である場合、細胞が球状に凝集するという特性を利用して異物の像と区別することが期待されるが、そのような技術はこれまで確立されていない。

【0006】

この発明は上記課題に鑑みなされたものであり、スフェロイドを撮像した画像に画像処理を施すことによって、スフェロイドと異物との区別を効率的に、かつ優れた再現性で行うことのできる技術を提供することを目的とする。

【課題を解決するための手段】

【0007】

この発明にかかる画像処理方法は、上記目的を達成するため、スフェロイドが撮像された原画像について、前記原画像中のオブジェクト領域のうち前記スフェロイドに対応するスフェロイド様オブジェクトを検出する工程と、前記スフェロイド様オブジェクトについて、当該スフェロイド様オブジェクトのサイズに基づいて求めた直径を有し前記スフェロイド様オブジェクトより面積の小さい円を構造要素として用いたエロージョン処理を実行する工程と、前記エロージョン処理後の前記スフェロイド様オブジェクトについて、前記構造要素を用いたディレーション処理を実行する工程とを備えている。

【0008】

ここで、「エロージョン処理」は、画像のモルフォロジー処理の１つであって、画像中のオブジェクト領域を収縮させる処理を意味する。また、「ディレーション処理」は、モルフォロジー処理の１つであって、画像中のオブジェクト領域を膨張させる処理を意味する。

【0009】

このように構成された発明では、エロージョン処理およびディレーション処理を含むモルフォロジー画像処理によりスフェロイドの領域と異物の領域との区別が図られている。原画像においてスフェロイドが略円形の像をなしていることから、その形状的特徴に基づき筋状の異物の像と区別することが可能である。原画像においてスフェロイドの像と異物の像とが離隔していればそれらの区別は比較的容易である。しかしながら、実際には両者が重なり一体となっている場合も多い。

【0010】

そこで、本発明では、エロージョン処理とディレーション処理とを実行することにより、原画像中におけるスフェロイドの形状を保持しながら筋状の像が消去された画像が得られるようにしている。ここで、これらのモルフォロジー処理においては構造要素のサイズ設定が処理結果に大きな影響を与える。従来の細胞画像の処理では、オペレーターの主観的判断や試行によって構造要素のサイズが設定されているが、最適なサイズを設定するには熟練が必要であり、また処理結果がばらつくおそれがある。一方、本発明では、検出されたスフェロイド様オブジェクトのサイズに応じた直径の円を構造要素として用いる。本願発明者が得た新たな知見によれば、このようにすることで、簡単にかつ自動的に構造要素のサイズが設定され、モルフォロジー処理によるスフェロイドと異物との区別を効率的に行うことが可能となる。

【0011】

この発明では、サイズの異なる複数のスフェロイド様オブジェクトがあるとき、それぞれに対し大きさの異なる構造要素が設定されることが好ましい。原画像には種々のサイズのスフェロイドが含まれ得るが、個々のサイズに応じた構造要素が適用されることで、モルフォロジー処理における異物の像の除去効果、およびスフェロイドの像の形状再現性を高めることができる。

【0012】

スフェロイド様オブジェクトのサイズについては、例えば当該スフェロイド様オブジェクトを近似する近似楕円のサイズによって表すことができる。スフェロイドの像は概ね円形であるが、周縁部には形状の乱れがあるため、そのサイズを厳密に特定することは必ずしも簡単ではなく、これに代わるより簡便な方法が求められる。例えばスフェロイド様オブジェクトを近似的に表す楕円のサイズをもってスフェロイド様オブジェクトのサイズとすることができる。これにより、簡単な演算により構造要素のサイズを決定することができる。

【0013】

具体的には、例えば、スフェロイド様オブジェクトの輪郭に包含される楕円のうち面積が最大である楕円を近似楕円とすることができる。または、スフェロイド様オブジェクトと同一の面積を有する楕円を近似楕円とすることができる。これらの近似楕円を求める方法に対応する画像処理アルゴリズムが実用化されており、それらを適用することで処理を簡単にすることができる。

【0014】

これらの場合において、構造要素としての円の直径が、近似楕円の短径の（１／６）以上（１／２）以下、より好ましくは（１／４）以上（１／３）以下となるように構成されてもよい。本願発明者の実験によれば、構造要素のサイズを上記範囲としたとき、良好な処理結果を得られることがわかった。すなわち、スフェロイドの像の形状再現性を維持しながら、筋状の異物の像を効果的に除去することができる。

【0015】

また例えば、近似楕円は、スフェロイド様オブジェクトを近似する近似円であってもよい。スフェロイドは略円形であることから、円近似によっても必要十分な精度でサイズを表すことが可能である。また近似楕円を用いる場合よりもさらに処理が簡単となる。

【0016】

また、この発明は、例えばディレーション処理後の画像と原画像との差分画像に基づき、原画像中のオブジェクトのうちスフェロイドと異なる非スフェロイド領域を検出する工程を備えてもよい。エロージョン処理およびディレーション処理を行うことにより、筋状の異物の像が消去されスフェロイドの像が残るが、処理後の画像と原画像との差分を取ることにより、スフェロイドの像を消去し異物の像を抽出することも可能である。

【0017】

また例えば、原画像において検出されるスフェロイド様オブジェクトの最小包含円を特定する工程を備え、スフェロイド様オブジェクトのうち、当該スフェロイド様オブジェクトの最小包含円の面積と当該スフェロイド様オブジェクトの面積との比が１より大きい所定値よりも大きいものについて、エロージョン処理およびディレーション処理が実行される構成であってもよい。こうすることで、もともと異物を含まず処理を必要としないスフェロイド様オブジェクトについては処理対象外とすることができ、元の画像情報を保存することができる。

【0018】

これらの画像処理方法については、汎用のコンピューターを用いて実行することが可能である。したがって、本発明は、上記処理をコンピューターに実行させるための制御プログラムとしてユーザーに提供されてもよい。

【0019】

また、この発明にかかる画像処理装置は、上記目的を達成するため、スフェロイドが撮像された原画像を取得する画像取得手段と、前記原画像に対し画像処理を施す画像処理手段とを備え、画像処理手段が上記した画像処理を実行する。このように構成された発明では、上記した画像処理を行うことにより、原画像に含まれるスフェロイドの像と異物の像とを簡単にかつ効率よく区別することが可能である。

【0020】

この発明において、画像取得手段は、スフェロイドを担持する担持体を保持する保持部と、担持体を撮像して原画像を作成する撮像部とを有するものであってもよい。これにより、種々のスフェロイドについて原画像を取得することができる。

【発明の効果】

【0021】

本発明によれば、原画像において検出されるスフェロイド様オブジェクトのサイズに応じた構造要素がモルフォロジー処理に適用されることで、スフェロイドと異物との区別を効率的に行うことができる。

【図面の簡単な説明】

【0022】

【図1】本発明にかかる画像処理装置の概略構成を示す側面図である。

【図2】本実施形態における領域分離処理の原理を示す図である。

【図3】この実施形態における画像処理を示すフローチャートである。

【図4】領域分離処理を示すフローチャートである。

【図5】領域分離処理における画像の処理過程を模式的に示す図である。

【発明を実施するための形態】

【0023】

図１は本発明にかかる画像処理装置の概略構成を示す側面図である。この画像処理装置は、ウェルプレートＷＰの上面に形成されたウェルＷと称される窪部に注入された液体中の試料を撮像する撮像ユニット１と、撮像された画像に対し画像処理を施す画像処理ユニット２とを備えている。

【0024】

ウェルプレートＷＰは、創薬や生物科学の分野において一般的に使用されているものであり、平板状のプレートの上面に、断面が略円形の筒状に形成され底面が透明で平坦なウェルＷが複数設けられている。１つのウェルプレートＷＰにおけるウェルＷの数は任意であるが、例えば９６個（１２×８のマトリクス配列）のものを用いることができる。各ウェルＷの直径および深さは代表的には数ｍｍ程度である。なお、この撮像ユニット１が対象とするウェルプレートのサイズやウェルの数はこれらに限定されるものではなく任意であり、例えば３８４穴のものであってもよい。

【0025】

ウェルプレートＷＰの各ウェルＷには、培地としての液体が所定量注入され、この液体中において所定の培養条件で培養された細胞や細菌等が、この撮像ユニット１の撮像対象となる。培地は適宜の試薬が添加されたものでもよく、また液状でウェルＷに投入された後ゲル化するものであってもよい。

【0026】

撮像ユニット１は、試料を液体とともに各ウェルＷに担持するウェルプレートＷＰの下面周縁部に当接して、ウェルプレートＷＰを略水平姿勢に保持するホルダ１１と、ホルダ１１の上方に配置される照明部１２と、ホルダ１１の下方に配置される撮像部１３と、これら各部の動作を制御する制御部１４とを備えている。

【0027】

照明部１２は、ホルダ１１により保持されたウェルプレートＷＰに向けて照明光Ｌｉを出射する。照明光Ｌｉとしては例えば白色光を用いることができる。照明部１２により、ウェルプレートＷＰに設けられたウェルＷ内の試料が上方から照明される。

【0028】

ホルダ１１により保持されたウェルプレートＷＰの下方に、撮像部１３が設けられる。撮像部１３では、ウェルプレートＷＰの直下位置に対物レンズ１３１が配置されている。対物レンズ１３１の光軸ＯＡは鉛直方向に向けられており、対物レンズ１３１の光軸ＯＡに沿って上から下に向かって順に、開口絞り１３２、結像レンズ１３３および撮像デバイス１３４がさらに設けられている。対物レンズ１３１、開口絞り１３２および結像レンズ１３３は、それぞれの中心が鉛直方向に沿って一列に並ぶように配置されて、これらが一体として撮像光学系１３０を構成している。なお、この例では撮像部１３を構成する各部が鉛直方向に一列に配列されているが、反射鏡等により光路が折り返されていてもよい。

【0029】

撮像部１３は、制御部１４に設けられたメカ駆動部１４１により移動可能となっている。具体的には、メカ駆動部１４１が、撮像部１３を構成する対物レンズ１３１、開口絞り１３２、結像レンズ１３３および撮像デバイス１３４を一体的に水平方向に移動させることにより、撮像部１３がウェルＷに対し水平方向に移動する。１つのウェルＷ内の撮像対象物が撮像されるときには、メカ駆動部１４１は、撮像光学系１３０の光軸が当該ウェルＷの中心と一致するように、撮像部１３を水平方向に位置決めする。

【0030】

また、メカ駆動部１４１は、撮像部１３を鉛直方向に移動させることにより、撮像対象物に対する撮像部のフォーカス合わせを行う。具体的には、撮像対象物たる試料が存在するウェルＷの内底面に対物レンズ１３１の焦点が合うように、メカ駆動部１４１が、対物レンズ１３１、開口絞り１３２、結像レンズ１３３および撮像デバイス１３４を一体的に上下動させる。

【0031】

また、メカ駆動部１４１は、撮像部１３を水平方向に移動させる際、照明部１２を撮像部１３と一体的に水平方向に移動させる。すなわち、照明部１２は、その光中心が撮像光学系１３０の光軸ＯＡと略一致するように配置されており、対物レンズ１３１を含む撮像部１３が水平方向に移動するとき、これと連動して水平方向に移動する。これにより、どのウェルＷが撮像される場合でも、ウェルＷに対する照明条件を一定にして、撮像条件を良好に維持することができる。

【0032】

撮像部１３により、ウェルＷ内の試料が撮像される。具体的には、照明部１２から出射されウェルＷの上方から液体に入射した光が撮像対象物を照明し、ウェルＷ底面から下方へ透過した光が対物レンズ１３１により集光され、開口絞り１３２、結像レンズ１３３を介して最終的に撮像デバイス１３４の受光面に撮像対象物の像が結像し、これが撮像デバイス１３４の受光素子１３４１により受光される。受光素子１３４１は一次元イメージセンサであり、その表面に結像した撮像対象物の一次元画像を電気信号に変換する。受光素子１３４１としては、例えばＣＣＤセンサを用いることができる。受光素子１３４１がウェルプレートＷＰに対し相対的に走査移動することにより、ウェルＷの二次元画像が得られる。

【0033】

受光素子１３４１から出力される画像信号は、制御部１４に送られる。すなわち、画像信号は制御部１４に設けられたＡＤコンバータ（Ａ／Ｄ）１４２に入力されてデジタル画像データに変換される。こうして得られたデジタル画像データはインターフェース（Ｉ／Ｆ）１４３を介して外部へ出力される。

【0034】

画像処理ユニット２は、装置各部の動作を制御するＣＰＵ２０１を有する制御部２０を備えている。制御部２０はまた、画像処理を受け持つグラフィックプロセッサ（ＧＰ）２０２と、画像データを記憶保存するための画像メモリ２０３と、ＣＰＵ２０１およびＧＰ２０２が実行すべきプログラムやこれらにより生成されるデータを記憶保存するためのメモリ２０４とを有している。なお、ＣＰＵ２０１がグラフィックプロセッサ２０２としての機能を兼ねてもよい。また、画像メモリ２０３とメモリ２０４とは一体のものであってもよい。

【0035】

その他に、制御部２０には、インターフェース（Ｉ／Ｆ）２０５が設けられている。インターフェース２０５は、ユーザーおよび外部装置との情報交換を担う。具体的には、インターフェース２０５は撮像ユニット１のインターフェース１４３と通信回線により接続されており、ＣＰＵ２０１が撮像ユニット１を制御するための制御指令を撮像ユニット１に送信する。また、撮像ユニット１のＡＤコンバータ１４２から出力される画像データを受信する。

【0036】

また、インターフェース２０５には、例えば操作ボタン、マウス、キーボードまたはタブレット等の入力デバイスもしくはそれらを組み合わせてなる入力部２１が接続されている。入力部２１により受け付けられたユーザーからの操作入力が、インターフェース２０５を介してＣＰＵ２０１に伝達される。さらに、インターフェース２０５には、例えば液晶ディスプレイなどの表示デバイスを有する表示部２２が接続されている。表示部２２は、ＣＰＵ２０１からインターフェース２０５を介して与えられる画像信号に対応する画像を表示することで、ユーザーへの処理結果等の情報提示を行う。

【0037】

なお、上記した構成を有する画像処理ユニット２は、一般的なパーソナルコンピューターの構成と概ね同じである。すなわち、この画像処理装置の画像処理ユニット２として、汎用のコンピューター装置を利用することが可能である。

【0038】

次に、このように構成された画像処理装置の動作について説明する。この画像処理装置では、ウェルプレートＷＰの各ウェルＷ内で培養された細胞、細菌、細胞集塊（スフェロイド）等の撮像を行うことが可能であり、撮像された画像を種々の観察、解析に供することができる。ここでは、ウェルＷに注入された培養液中で培養されたスフェロイドを撮像する用途にこの画像処理装置が適用される場合を考える。

【0039】

培養液中のスフェロイドは概ね球形をなしており、これを撮像した二次元画像では略円形の像をなす。ウェルＷ内に複数のスフェロイドが存在する場合、それぞれが略円形の像となるが、その形および大きさは必ずしも同じではない。一方、撮像された画像には、上記したスフェロイドの像に加えて、培養液に混入したまたは表面に付着した繊維状のゴミや埃、ウェルＷ底面の傷や汚れ等の異物に起因する筋状の像が映り込むことがある。

【0040】

スフェロイドの像と異物の像とでは形状的特徴が大きく異なるため、それらの判別は比較的容易であると考えられる。しかしながら、両者が重なって一体となった状態で撮像されているとき、２つの領域を区別することは容易でない。以下、これを可能とする本実施形態の画像処理方法について説明する。

【0041】

図２は本実施形態における領域分離処理の原理を示す図である。この領域分離処理は、画像中のオブジェクトのうちスフェロイドの像と異物の像とが一体となったものを、スフェロイドの領域と異物の領域とに分離するための処理である。図２（ａ）はスフェロイドと異物とが重なった像の一例を示す模式図である。スフェロイドと異物とが重なって撮像された画像オブジェクトＯＢは、スフェロイドに対応して円形に近い形状を有するスフェロイド領域Ｒａと、それに連なる筋状の異物に対応する異物領域Ｒｂとを有している。なお、同図に示すように、１つのスフェロイド領域Ｒａに対し複数の異物領域Ｒｂが接している場合もあり得る。なお、ここで示す模式図ではスフェロイド領域Ｒａと異物領域Ｒｂとの差が明白であるが、実際の画像ではオブジェクトＯＢ中におけるスフェロイド領域Ｒａと異物領域Ｒｂとの境界は、画像内容からは判断しづらい。

【0042】

このような画像オブジェクトＯＢからスフェロイド領域Ｒａと異物領域Ｒｂとを分離する方法として、画像のモルフォロジー処理を適用することが考えられる。すなわち、図２（ｂ）に示すように、所定の直径Ｄｅを有する円Ｃ１を構造要素とするエロージョン処理を行い、画像オブジェクトを収縮させる。これにより、比較的細長い形状を有する異物領域Ｒｂが画像から消去され、スフェロイド領域Ｒａの周縁部が消去されてなる領域Ｒｃが残る。次いで、図２（ｃ）に示すように、エロージョン処理の場合と同じ直径Ｄｅを有する円Ｃ２を構造要素とするディレーション処理を行い、領域Ｒｃを膨張させた領域Ｒｄを得る。この領域Ｒｄは、元の画像オブジェクトＯＢから異物領域Ｒｂを除去したものと見なすことができ、概ねスフェロイド領域Ｒａを同じ形状を有するものとなる。

【0043】

画像のモルフォロジー処理については公知であるので詳しい説明を省略する。ただし、このようなモルフォロジー処理を有効に機能させるためには、構造要素となる円Ｃ１，Ｃ２のサイズ（具体的には直径Ｄｅ）を適切に設定することが必要となる。すなわち、構造要素の直径Ｄｅが小さすぎると異物領域Ｒｂが十分に消去されずに残留してしまうことがある。また、構造要素の直径Ｄｅが大きすぎるとスフェロイド領域Ｒａの形状再現性が悪くなり、エロージョン処理において小さなスフェロイド領域Ｒａが消去されてしまうおそれもある。

【0044】

これまでの技術では、上記のような問題を解決しモルフォロジー処理を有効に機能させるためには、熟練者の主観的判断で構造要素のサイズを決定するか、サイズを多段階に変更して処理を試行し最適サイズを見出すしかない。しかしながら、このような作業には多大な労力を要し、しかも処理結果のばらつきが避けられない。特に処理すべき画像オブジェクトが複数ある場合には、このような手作業による対応は現実的でない。

【0045】

この問題に鑑み、本願発明者はスフェロイドを形成する種々の細胞を用いて実験を行い、次のような知見を得た。すなわち、スフェロイド領域Ｒａおよびこれに付随する異物領域Ｒｂを有する画像オブジェクトについては、スフェロイド領域Ｒａのサイズから所定ルールに基づき算出されるサイズの構造要素を用いたモルフォロジー処理を適用することで、スフェロイド領域Ｒａと異物領域Ｒｂとを良好に区別することができる。

【0046】

より具体的には、例えばスフェロイド領域Ｒａを円形と見なしたとき、当該円の直径の（１／４）以上（１／３）以下の直径を有する円を構造要素として、エロージョン処理およびディレーション処理を順番に行う。こうすることにより、スフェロイド領域Ｒａの形状再現性が良好で、かつ異物領域Ｒｂの残留を抑えてこれを効果的に消去することが可能である。以下、このような知見に基づいてスフェロイド領域と異物領域とを区別する本実施形態の画像処理について、図３ないし図５を参照しながら具体的に説明する。

【0047】

図３はこの実施形態における画像処理を示すフローチャートである。また、図４は領域分離処理を示すフローチャートである。さらに、図５はこの処理における画像の処理過程を模式的に示す図である。この処理はＣＰＵ２０１がメモリ２０４に予め記憶された記憶された制御プログラムを実行して装置各部を制御することにより実現される。このうち画像に対する各種の処理はグラフィックプロセッサ２０２によって実行されるが、少なくとも一部がＣＰＵ２０１により実行されてもよい。

【0048】

最初に、撮像対象物としてのスフェロイドを培養液とともにウェルＷに担持するウェルプレートＷＰが撮像ユニット１に搬入され、ホルダ１１にセットされる（ステップＳ１０１）。そして、撮像対象となるウェルＷに対し撮像光学系１３が位置決めされて、撮像デバイス１３４による撮像が行われる（ステップＳ１０２）。これにより、スフェロイドを含む原画像が取得される。

【0049】

こうして得られた原画像に対し、グラフィックプロセッサ２０２が所定の画像処理を行い、原画像中に含まれる画像オブジェクトの領域を検出する（ステップＳ１０３）。原画像中のオブジェクトの抽出には公知の技術を適用することができる。例えば、原画像を適宜の閾値で２値化して背景領域とオブジェクト領域とに区分する方法を適用可能である。

【0050】

グラフィックプロセッサ２０２はさらに、検出された画像オブジェクトから、スフェロイドに対応する領域を含むスフェロイド様オブジェクトを抽出する（ステップＳ１０４）。ステップＳ１０３で検出された画像オブジェクトには、スフェロイドのみからなるもの、異物のみからなるもの、およびスフェロイドと異物とが重なったものが含まれる。これらのうち、スフェロイドを含むオブジェクト、つまりスフェロイドのみからなるオブジェクト、およびスフェロイドと異物とが重なったオブジェクトを、スフェロイド様オブジェクトとして抽出する。

【0051】

スフェロイド領域Ｒａを含むスフェロイド様オブジェクトを抽出する方法としては、スフェロイド特有の円形の領域を含む画像オブジェクトを検出可能な種々のものが考えられる。例えば、円形度が所定値以上であるものをスフェロイド様オブジェクトとすることができる。また、予め定められた所定サイズの円よりも広い領域を有するオブジェクトをスフェロイド様オブジェクトとすることもできる。また、異物領域が一般に細長くその面積が比較的小さいことから、面積が所定値以上であるオブジェクトをスフェロイド様オブジェクトとすることもできる。また、これとは逆に、異物のみからなるオブジェクトと見なすための条件を設定し、条件に合致しないオブジェクトをスフェロイド様オブジェクトと見なしてもよい。

【0052】

こうして抽出されたスフェロイド様オブジェクトの一つが選択され（ステップＳ１０５）、当該オブジェクトの最小包含円が特定される（ステップＳ１０６）。そして、当該オブジェクトの面積に対する最小包含円の面積の比が１より大きい所定の閾値以上であるオブジェクトが、ステップＳ１０８の領域分離処理の対象とされる。面積比が閾値より小さければステップＳ１０８がスキップされる。これは、異物領域を含まないオブジェクトを領域分離処理の対象から除外して、その画像情報が保存されるようにするためである。また、処理時間の短縮にも資する。

【0053】

オブジェクトと最小包含円との関係を図５（ａ）に示す。オブジェクトＯＢの最小包含円とは、当該オブジェクトＯＢの全体を内部に含む円のうち直径が最も小さい円Ｃ３である。同図に示すようにスフェロイド領域Ｒａから異物領域Ｒｂが長く延びているとき、最小包含円Ｃ３の直径Ｄ３はスフェロイド領域Ｒａの直径より格段に大きくなり、最小包含円Ｃ３はオブジェクトＯＢ以外の背景領域を多く含むようになる。したがって、オブジェクトＯＢの面積に対し最小包含円Ｃ３の面積が大きくなる。

【0054】

一方、オブジェクトＯＢが異物領域Ｒｂを含まずスフェロイド領域Ｒａのみからなるとき、最小包含円Ｃ３のサイズはスフェロイド領域Ｒａのサイズと大きな差がなく、面積比は１に近づく。面積比が１より小さくなることは原理的にあり得ない。このように、オブジェクトＯＢと最小包含円Ｃ３との面積比が１に近ければオブジェクトＯＢは異物領域Ｒｂを含まず、最小包含円Ｃ３の面積がオブジェクトＯＢの面積より十分に大きければオブジェクトＯＢは異物領域Ｒｂを含むと判断することができる。そこで、両者の面積比に対して１より大きい適宜の閾値（例えば１．１）を設定しておき、面積比がこの閾値以上のオブジェクトＯＢが領域分離処理の対象とされるようにする。なお、ここでは面積比が閾値と等しいときにも当該オブジェクトが処理対象とされるが、このようなオブジェクトを処理対象とするか否かは任意である。

【0055】

オブジェクトＯＢに対する最小包含円Ｃ３の面積比が閾値以上であったとき、当該オブジェクトに対し図４に示す領域分離処理が実行される。まず、当該オブジェクトに対し、スフェロイド領域を近似する近似円が特定される（ステップＳ２０１）。この近似円は、オブジェクトＯＢに含まれるスフェロイド領域Ｒａを円により近似したものであり、スフェロイド領域Ｒａと同等のサイズを有すると考えられる円である。

【0056】

図５（ｂ）は近似円の例を示している。オブジェクトＯＢのうちスフェロイドＲａは円に近い形状をしており、これを同等サイズの円に近似する方法としては、例えば図に破線で示す円Ｃ４のように、オブジェクトＯＢからはみ出すことなく輪郭内に収まる円のうちで最大の直径を有する円（ここでは「最大内包円」と呼ぶ）を用いる方法がある。また例えば、図に点線で示す円Ｃ５のように、スフェロイド領域Ｒａおよび異物領域Ｒｂを含むオブジェクトＯＢの面積と同じ面積を有する円（ここでは「面積相当円」と呼ぶ）を近似円とすることもできる。

【0057】

こうして求められた近似円（最大内包円または面積相当円）に基づき、モルフォロジー処理における構造要素である円の直径が決定される（ステップＳ２０２）。前記したように、この場合のモルフォロジー処理では、スフェロイド領域Ｒａの直径の（１／６）以上（１／２）以下、より好ましくは（１／４）以上（１／３）以下の直径を有する円を構造要素としたときに良好な結果が得られることがわかっている。ただし、この時点ではスフェロイド領域Ｒａと異物領域Ｒｂとが未区分であるため、スフェロイド領域Ｒａのサイズを明確に特定することができない。そこで、上記した近似円の直径をもってスフェロイド領域Ｒａの直径と見なす。すなわち、構造要素としての円の直径が、近似円の直径の（１／６）以上（１／２）以下の範囲で定められる。ここでは、近似円の直径の（１／４）以上（１／３）以下の値に設定することとする。

【0058】

構造要素としての円の直径を大きくすれば、異物の除去効果は高くなる。一方、構造要素としての円の直径を小さくすれば、スフェロイド領域の形状再現性が高くなる。スフェロイドおよび異物のサイズ、処理の目的等に応じて、構造要素のサイズを適宜に設定することができる。いずれの場合でも、構造要素のサイズがスフェロイド領域のサイズに応じて設定されることで、小さなスフェロイドがエロージョン処理により消去されてしまうことは防止される。なお、近似円がスフェロイド領域Ｒａよりも大きくなる場合でもエロージョン処理によるスフェロイド領域の消失を回避するためには、構造要素としての円の直径は近似円の直径の（１／２）未満であることが望ましい。

【0059】

こうして定められた構造要素を用いてエロージョン処理およびディレーション処理が順次行われることで（ステップＳ２０３、Ｓ２０４）、図２（ｃ）に示したように、スフェロイド領域Ｒａに相当する領域Ｒｄが画像に再現される一方、異物領域Ｒｂは画像から消去される。画像から異物領域Ｒｂを消去するという目的は、この時点で達成される。また、オブジェクトＯＢからスフェロイド領域Ｒａのみを抽出するという目的も、この時点で達成されている。

【0060】

さらにこの実施形態の領域分離処理では、スフェロイド領域Ｒａおよび異物領域Ｒｂ両方の画像情報を残しつつ、これらの領域を明確に区別することを目指す。そこで、ステップＳ２０４までの処理で特定されたスフェロイド領域Ｒａを適宜のサイズ、例えば１ピクセル分だけ拡張させた上で（ステップＳ２０５）、その結果を原画像から減算する（ステップＳ２０６）。なお、拡張させる画素数は２ピクセルでもよい。

【0061】

原画像のオブジェクトＯＢからスフェロイド領域Ｒａを差し引くことで、図５（ｃ）に示すように、オブジェクト中のスフェロイド以外の領域、つまり異物領域Ｒｂが抽出される。このとき、スフェロイド領域Ｒａが拡張された後で減算が行われると、図５（ｃ）に矢印で示すように、スフェロイド領域Ｒａが拡張された分だけスフェロイド領域Ｒａと異物領域Ｒｂとの間に隙間ができ、画像上で両者が分離される。単に異物領域Ｒｂを抽出するだけであれば、スフェロイド領域Ｒａを拡張させる必要は必ずしもない。

【0062】

さらに、異物領域Ｒｂが抽出された画像に、ディレーション処理（ステップＳ２０４）により抽出されたスフェロイド領域Ｒａの画像を加算し合成することにより、図５（ｄ）に示すように、スフェロイド領域Ｒａおよび異物領域Ｒｂの画像情報が共に保存され、かつ両領域が明確に分離された画像が得られる（ステップＳ２０７）。この画像が本処理において求めようとする画像である。

【0063】

この合成画像が画像メモリ２０３に保存されるが（ステップＳ２０８）、これに代えて、あるいはこれに加えて、ステップＳ２０４の処理で得られたスフェロイド領域Ｒａの画像（図２（ｂ））およびステップＳ２０６の処理で得られた異物領域Ｒｂの画像（図５（ｃ））が画像メモリ２０３に保存されるようにしてもよい。

【0064】

図３に戻ってフローチャートの説明を続ける。上記処理（ステップＳ１０５〜Ｓ１０８）が、抽出されたスフェロイド様オブジェクトの全てについて実行される（ステップＳ１０９）。構造要素として用いられる円の直径はオブジェクトごとに個別に設定されるため、大きなスフェロイド領域を含むオブジェクトには大きな直径の、また小さなスフェロイド領域を含むオブジェクトには小さな直径の円が構造要素として適用される。そのため、小さなスフェロイドがエロージョン処理により消去されることもなく、各オブジェクトを適切に処理してスフェロイド領域と異物領域とを効率よく区別することができる。

【0065】

処理後の画像については、画像メモリ２０３に保存されるほか、インターフェース２０５を介して適宜の形態で出力される（ステップＳ１１０）。例えば、処理後の画像が表示部２２に表示されてユーザーに提示される。あるいは、インターフェース２０５を介して外部装置や外部記憶媒体に出力される。

【0066】

なお、モルフォロジー処理を実行することでオブジェクトＯＢ内の画像情報が失われてしまうことが懸念されるが、例えば次のようにしてこれを回避することが可能である。第１の方法は、上記したモルフォロジー処理を２値化された原画像について行うことで、スフェロイド領域Ｒａおよび異物領域Ｒｂの範囲を示すマスクを作成し、このマスクを元の多値原画像に適用することでスフェロイド領域Ｒａおよび異物領域Ｒｂの画像情報を復元するというものである。第２の方法は、ディレーション処理を行う際に膨張される領域の画素を原画像の画素値で復元するというものである。

【0067】

以上説明したように、上記実施形態では、撮像ユニット１および画像処理ユニット２が一体として本発明の「画像処理装置」として機能している。そして、撮像ユニット１は本発明の「画像取得手段」として機能しており、ホルダ１１および撮像部１３がそれぞれ本発明の「保持部」および「撮像部」として機能している。また、画像処理ユニット２、特にグラフィックプロセッサ２０２が、本発明の「画像処理手段」として機能している。

【0068】

なお、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能である。例えば、上記実施形態の領域分離処理では、スフェロイド領域Ｒａを円に近似して構造要素のサイズを決定しているが、より一般的には、スフェロイド領域を楕円により近似することが好ましい。スフェロイドの歪みや、複数のスフェロイドが画像上で重なり合うことで、スフェロイド領域が円形から逸脱した形状となっている場合もあり得るからである。スフェロイド領域を楕円により近似することで、このような場合にも精度のよい近似が可能となり、構造要素のサイズの設定をより好ましいものとすることができる。

【0069】

この場合、構造要素としての円の直径は、近似楕円の短径に基づいて設定されることが好ましい。上記のような原因に起因するスフェロイド領域の円形からの逸脱においては、楕円の短径がスフェロイドの真のサイズと大きく異なることは考えにくい一方、長径についてはスフェロイドの真のサイズを大きく超えることもあり得るからである。より小さい寸法である短径に基づき円の直径を定めることで、オブジェクトからスフェロイドが消去されてしまうことが回避される。

【0070】

また例えば、上記実施形態の画像処理装置は「画像取得手段」としての撮像ユニット１を備えるものであるが、撮像機能を備えない装置とすることもできる。すなわち、上記実施形態の画像処理ユニット２において、インターフェース２０５が外部から画像データを受信することで原画像を取得しており、この意味においてインターフェース２０５は「画像取得手段」としての機能を有している。このように、撮像ユニットを持たない画像処理装置が外部装置や外部記憶媒体から原画像データを受け取る態様においても、本発明は有効に機能する。

【0071】

また、上記実施形態では、ＣＰＵ２０１がメモリ２０４に予め記憶された制御プログラムを実行することで本発明が実施されるが、前記したように、この実施形態における画像処理ユニット２としては汎用のコンピューター装置を用いることが可能である。したがって、このようなコンピューター装置に読み込まれることを前提に、上記した画像処理をコンピューター装置に実行させる制御プログラムとして、またこれを適宜の記録媒体に記録した態様で、本発明をユーザーに提供することも可能である。これにより、例えば既に運用されている撮像装置に新たな機能を付加することも可能となる。

【産業上の利用可能性】

【0072】

この発明は、観察、分析等を目的としてスフェロイドを撮像する用途に好適であり、例えば医療、創薬、生物科学分野の各種実験に用いることができる。

【符号の説明】

【0073】

１ 撮像ユニット（画像取得手段）
２ 画像処理ユニット（画像処理手段）
１１ ホルダ（保持部）
１３ 撮像部
２０１ ＣＰＵ
２０２ グラフィックプロセッサ（画像処理手段）
Ｃ４，Ｃ５ 近似円
ＯＢ オブジェクト
Ｒａ スフェロイド領域
Ｒｂ 異物領域

【図1】

【図2】

【図3】

【図4】

【図5】