IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ サーモ エレクトロン サイエンティフィック インストルメンツ リミテッド ライアビリティ カンパニーの特許一覧

(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-09-09
(45)【発行日】2022-09-20
(54)【発明の名称】画像分析システム及び方法
(51)【国際特許分類】
   G01N 21/27 20060101AFI20220912BHJP
   G06T 7/00 20170101ALI20220912BHJP
【FI】
G01N21/27 A
G06T7/00 Z
【請求項の数】 42
(21)【出願番号】P 2018513670
(86)(22)【出願日】2016-08-29
(65)【公表番号】
(43)【公表日】2018-11-29
(86)【国際出願番号】 US2016049189
(87)【国際公開番号】W WO2017048491
(87)【国際公開日】2017-03-23
【審査請求日】2019-08-20
(31)【優先権主張番号】62/306,786
(32)【優先日】2016-03-11
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】62/219,444
(32)【優先日】2015-09-16
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】509027021
【氏名又は名称】サーモ エレクトロン サイエンティフィック インストルメンツ リミテッド ライアビリティ カンパニー
(74)【代理人】
【識別番号】100094569
【弁理士】
【氏名又は名称】田中 伸一郎
(74)【代理人】
【識別番号】100088694
【弁理士】
【氏名又は名称】弟子丸 健
(74)【代理人】
【識別番号】100103610
【弁理士】
【氏名又は名称】▲吉▼田 和彦
(74)【代理人】
【識別番号】100095898
【弁理士】
【氏名又は名称】松下 満
(74)【代理人】
【識別番号】100098475
【弁理士】
【氏名又は名称】倉澤 伊知郎
(74)【代理人】
【識別番号】100130937
【弁理士】
【氏名又は名称】山本 泰史
(72)【発明者】
【氏名】グレノフ アレクサンダー
(72)【発明者】
【氏名】アシュミード ダミアン ダブリュー
(72)【発明者】
【氏名】キム ケヴィン ケイ
(72)【発明者】
【氏名】デック フランシス ジェイ
(72)【発明者】
【氏名】カウフォルド クリス グザヴィエ
【審査官】赤木 貴則
(56)【参考文献】
【文献】特表2012-519839(JP,A)
【文献】特開2015-103906(JP,A)
【文献】特表2008-530554(JP,A)
【文献】特開2007-226334(JP,A)
【文献】特開平09-185711(JP,A)
【文献】特開昭63-307186(JP,A)
【文献】特開昭63-270381(JP,A)
【文献】特開2001-197305(JP,A)
【文献】特開2007-189577(JP,A)
【文献】特表2015-522177(JP,A)
【文献】特表2012-504769(JP,A)
【文献】米国特許出願公開第2002/0154299(US,A1)
【文献】国際公開第2014/100715(WO,A2)
【文献】特表平10-508709(JP,A)
【文献】特開平04-359106(JP,A)
【文献】特開2011-221603(JP,A)
【文献】特表2007-510993(JP,A)
【文献】特開2010-009480(JP,A)
【文献】特開2000-036032(JP,A)
【文献】特開平03-048140(JP,A)
【文献】特開平02-242405(JP,A)
【文献】米国特許出願公開第2012/0206727(US,A1)
【文献】国際公開第2015/069936(WO,A2)
(58)【調査した分野】(Int.Cl.,DB名)
G01N 21/00-G01N 21/958
G01N 33/48-G01N 33/98
G06T 7/00
JSTPlus/JMEDPlus/JST7580(JDreamIII)
(57)【特許請求の範囲】
【請求項1】
画像分析システムであって、
a.中心部と台座との間を延びるように配設されたカラム形状を有する液体試料のYUV色画像を収集するビデオカメラであって、前記色画像が、前記中心部と前記台座との間を延びる光ビーム経路を通して光源が光を照らして前記液体試料内に前記光を通過させている間に前記液体試料の側方から収集される、ビデオカメラと、
b.i)前記YUV色画像から濃淡成分画像及び光散乱成分画像を得るように、かつii)前記濃淡成分画像の少なくとも1つの二値画像及び前記光散乱成分画像の少なくとも1つの二値画像を得るように適合されている、処理装置と、を備える画像分析システム。
【請求項2】
均一な反射性背景をさらに含み、前記反射性背景と前記ビデオカメラの間に前記液体試料及び前記光ビーム経路が位置する、請求項1に記載の画像分析システム。
【請求項3】
前記均一な反射性背景が、薄灰色の均一な反射性背景である、請求項2に記載の画像分析システム。
【請求項4】
前記薄灰色の均一な反射性背景が、82%の輝度及び12%の光沢の薄灰色の均一な反射性背景である、請求項3に記載の画像分析システム。
【請求項5】
前記ビデオカメラが、複数のYUV色画像フレームを有するカメラビデオストリームから前記YUV色画像を収集する、請求項1に記載の画像分析システム。
【請求項6】
前記処理装置が、前記YUV色画像のY成分の平均から前記濃淡成分画像を得るようにさらに適合されている、請求項5に記載の画像分析システム。
【請求項7】
前記処理装置が、前記YUV色画像の最大U成分から前記光散乱成分画像を得るようにさらに適合されている、請求項5に記載の画像分析システム。
【請求項8】
前記処理装置が、前記中心部及び前記台座の位置を含む関心領域を前記濃淡成分画像から検出するようにさらに適合されている、請求項1に記載の画像分析システム。
【請求項9】
前記濃淡成分画像の前記少なくとも1つの二値画像が、前記濃淡成分画像内の左右の背景変動閾値間の補間から得られた上側動的閾値及び下側動的閾値を適用することから得られた前記濃淡成分画像の第1の二値画像を含む、請求項1に記載の画像分析システム。
【請求項10】
前記濃淡成分画像の前記少なくとも1つの二値画像が、濃淡等方性勾配画像の第2の二値画像を含み、前記濃淡等方性勾配画像が、前記濃淡成分画像と、等方性勾配画像背景雑音統計に基づく静的閾値とを用いて得られる、請求項9に記載の画像分析システム。
【請求項11】
前記濃淡成分画像の前記少なくとも1つの二値画像が、前記第1の二値画像及び前記第2の二値画像の組み合わせから得られた合成二値画像を含む、請求項10に記載の画像分析システム。
【請求項12】
前記処理装置が、前記液体試料の位置及び前記光ビーム経路の位置を前記合成二値画像から検出するようにさらに適合されている、請求項11に記載の画像分析システム。
【請求項13】
前記処理装置が、前記液体試料の前記カラム形状の歪みを前記合成二値画像から検出するようにさらに適合されている、請求項12に記載の画像分析システム。
【請求項14】
前記処理装置が、前記液体試料が前記中心部と前記台座の間で結合しているか否かを前記合成二値画像から評価するようにさらに適合されている、請求項12に記載の画像分析システム。
【請求項15】
画像分析方法であって、
a.中心部と台座との間を延びるように配設されたカラム形状を有する液体試料のYUV色画像を収集することであって、前記色画像が、前記中心部と前記台座との間を延びる光ビーム経路を通して光源が光を照らして前記液体試料内に前記光を通過させている間に前記液体試料の側方から収集される、収集することと、
b.前記YUV色画像から濃淡成分画像及び光散乱成分画像を得ることと、
c.前記濃淡成分画像の少なくとも1つの二値画像及び前記光散乱成分画像の少なくとも1つの二値画像を得ることと、
d.画像分析要約をディスプレイに報告することと、を含む画像分析方法。
【請求項16】
YUV色画像を収集することが、前記YUV色画像を複数のYUV色画像フレームを有するカメラビデオストリームから収集することを含む、請求項15に記載の画像分析方法。
【請求項17】
前記濃淡成分画像を得ることが、前記YUV色画像のY成分を平均化することを含む、請求項16に記載の画像分析方法。
【請求項18】
前記光散乱成分画像を得ることが、前記YUV色画像の最大U成分を選択することを含む、請求項16に記載の画像分析方法。
【請求項19】
前記濃淡成分画像の前記少なくとも1つの二値画像が、前記濃淡成分画像内の左右背景変動閾値間の補間から得られた上側動的閾値及び下側動的閾値を適用することから得られた前記濃淡成分画像の第1の二値画像を含む、請求項15に記載の画像分析方法。
【請求項20】
前記濃淡成分画像の前記少なくとも1つの二値画像が、濃淡等方性勾配画像の第2の二値画像を含み、前記濃淡等方性勾配画像が、前記濃淡成分画像と、等方性勾配画像背景雑音統計に基づく静的閾値とを用いて得られる、請求項19に記載の画像分析方法。
【請求項21】
前記濃淡成分画像の前記少なくとも1つの二値画像が、前記第1の二値画像及び前記第2の二値画像の組み合わせから得られた合成二値画像を含む、請求項20に記載の画像分析方法。
【請求項22】
前記液体試料の位置及び前記光ビーム経路の位置を前記合成二値画像から検出することをさらに含む、請求項21に記載の画像分析方法。
【請求項23】
前記液体試料の前記カラム形状の歪みを前記合成二値画像から検出することをさらに含む、請求項22に記載の画像分析方法。
【請求項24】
前記液体試料が前記中心部と前記台座の間で結合しているか否かを前記合成二値画像から評価することをさらに含む、請求項22に記載の画像分析方法。
【請求項25】
画像分析システムを含む分光計であって、前記システムが、
a.前記分光計の中心部と台座との間を延びるように配設されたカラム形状を有する液体試料の画像を収集するビデオカメラであって、前記画像が、光度または分光測定のために前記中心部と前記台座との間を延びる光ビーム経路を通して光源が光を照らして前記液体試料内に前記光を通過させている間に前記液体試料の側方から収集される、ビデオカメラと、
b.前記画像を用いて、前記カラム形状を有する液体試料内の気泡を検出するように適合された処理装置と、を備え、
前記画像が、YUV色画像であり、前記処理装置が、i)前記YUV色画像から濃淡成分画像及び光散乱成分画像を得るように、かつii)前記濃淡成分画像の少なくとも1つの二値画像及び前記光散乱成分画像の少なくとも1つの二値画像を得るようにさらに適合されている、分光計
【請求項26】
前記濃淡成分画像の前記少なくとも1つの二値画像が、前記濃淡成分画像内の左右背景変動閾値間の補間から得られた上側動的閾値及び下側動的閾値を適用することから得られた前記濃淡成分画像の第1の二値画像を含む、請求項25に記載の分光計
【請求項27】
前記濃淡成分画像の前記少なくとも1つの二値画像が、濃淡等方性勾配画像の第2の二値画像を含み、前記濃淡等方性勾配画像が、前記濃淡成分画像と、等方性勾配画像背景雑音統計に基づく静的閾値とを用いて得られる、請求項26に記載の分光計
【請求項28】
前記濃淡成分画像の前記少なくとも1つの二値画像が、前記第1の二値画像及び前記第2の二値画像の組み合わせから得られた合成二値画像を含む、請求項27に記載の分光計
【請求項29】
前記処理装置が、前記液体試料の位置及び前記光ビーム経路の位置を前記合成二値画像から検出するようにさらに適合されている、請求項28に記載の分光計
【請求項30】
前記処理装置が、前記濃淡成分画像と前記光散乱成分画像の前記少なくとも1つの二値画像との両方を用いて、前記カラム形状を有する液体試料内の気泡を検出するようにさらに適合されている、請求項29に記載の分光計
【請求項31】
前記濃淡成分画像を用いることが、前記濃淡成分画像から得られた濃淡等方性勾配画像にリング検出フィルタを適用することを含む、請求項30に記載の分光計
【請求項32】
前記少なくとも1つの二値光散乱成分画像を用いることが、前記光散乱成分画像の前記少なくとも1つの二値画像にモルフォロジカルフィルタを適用することを含む、請求項30に記載の分光計
【請求項33】
前記処理装置が、前記濃淡成分画像、前記光散乱成分画像の前記少なくとも1つの二値画像、及び算出された前記光ビーム経路の位置を用いて、前記光ビーム経路内の気泡を前記光ビーム経路から出た気泡と区別するようにさらに適合されている、請求項30に記載の分光計
【請求項34】
画像分析方法であって、
a.分光計の中心部と台座との間を延びるように配設されたカラム形状を有する液体試料の画像を収集することであって、前記画像が、光度または分光測定のために前記中心部と前記台座との間を延びる光ビーム経路を通して光源が光を照らして前記液体試料内に前記光を通過させている間に前記液体試料の側方から収集される、収集することと、
b.前記液体試料の位置及び前記光ビーム経路の位置を前記画像から検出することと、
c.前記画像を用いて、前記カラム形状を有する液体試料内の気泡を検出することと、
d.画像分析要約をディスプレイに報告することと、を含み、
前記液体試料の画像を収集することが、YUV色画像を収集することと、前記YUV色画像から濃淡成分画像及び光散乱成分画像を得ることと、前記濃淡成分画像の少なくとも1つの二値画像及び前記光散乱成分画像の少なくとも1つの二値画像を得ることと、を含む、画像分析方法。
【請求項35】
前記濃淡成分画像の前記少なくとも1つの二値画像が、前記濃淡成分画像内の左右背景変動閾値間の補間から得られた上側動的閾値及び下側動的閾値を適用することから得られた前記濃淡成分画像の第1の二値画像を含む、請求項34に記載の画像分析方法。
【請求項36】
前記濃淡成分画像の前記少なくとも1つの二値画像が、濃淡等方性勾配画像の第2の二値画像を含み、前記濃淡等方性勾配画像が、前記濃淡成分画像と、等方性勾配画像背景雑音統計に基づく静的閾値とを用いて得られる、請求項35に記載の画像分析方法。
【請求項37】
前記濃淡成分画像の前記少なくとも1つの二値画像が、前記第1の二値画像及び前記第2の二値画像の組み合わせから得られた合成二値画像を含む、請求項36に記載の画像分析方法。
【請求項38】
前記液体試料の位置及び前記光ビーム経路の位置を前記合成二値画像から検出することをさらに含む、請求項37に記載の画像分析方法。
【請求項39】
前記カラム形状を有する液体試料内の気泡を検出することが、前記濃淡成分画像と、前記光散乱成分画像の前記少なくとも1つの二値画像との両方を用いることを含む、請求項38に記載の画像分析方法。
【請求項40】
前記濃淡成分画像を用いることが、前記濃淡成分画像から得られた濃淡等方性勾配画像にリング検出フィルタを適用することを含む、請求項39に記載の画像分析方法。
【請求項41】
少なくとも1つの二値光散乱成分画像を用いることが、前記光散乱成分画像の前記少なくとも1つの二値画像にモルフォロジカルフィルタを適用することを含む、請求項39に記載の画像分析方法。
【請求項42】
前記濃淡成分画像、前記光散乱成分画像の前記少なくとも1つの二値画像、及び算出された前記光ビーム経路の位置を用いて、前記光ビーム経路内の気泡を前記光ビーム経路から出た気泡と区別することをさらに含む、請求項39に記載の画像分析方法。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本願は、2015年9月16日に出願された、米国仮特許出願第62/219,444号、及び2016年3月11日に出願された、同第62/306,786号、発明の名称、IMAGE ANALYSIS SYSTEM AND METHODに対する優先権を主張し、それらの全体が参照により本明細書に組み込まれる。
【0002】
本発明は、概して、液体試料のカラムの画像の分析に関する。
【背景技術】
【0003】
液体、混合物、溶液、及び反応混合物は、分光測光法等の光学技術を用いて特性評価されることが多い。これらの液体の試料を特性評価するために、液体は、通常、セルまたはキュベットと称される容器内に含有され、それらの側部の2つ以上が、光学的品質を有し、内部に含有された液体を特性評価するために必要とされるそれらの波長の通過を可能にする。例えば、1~2マイクロリットルの非常に小さい試料体積を扱うとき、充填されるのに十分に小さいセルまたはキュベットを生成し、かつ業界標準の1cmの光経路を使用することを可能にすることは困難である。また、別の試料と共に使用するためにこれらのセルまたはキュベットを洗浄することは困難かつ/または時間がかかる。
【0004】
図1Aに示すように、例えば、その全体が参照により本明細書に組み込まれる(しかしながら、組み込まれた参照の何らかが本願に述べられた何らかと相反する場合、本願が優先する)、2003年9月30日にRobertsonに対して発行された、米国特許第6,628,382B2号に記載されている微小体積UV/Vis分光光度計は、表面2及び7間のその表面張力により液体試料を含有することを可能にする試料保持技術を介してマイクロリットル量の液体試料の吸収度を測定する。液体試料は、光ファイバ11に典型的に連結された受光試料界面7と、別の光ファイバ6に典型的に連結された光伝達試料界面2との間にカラム9を形成する。上2及び下7試料界面は、典型的に1mm以下である複数の既知の経路長を生成するように、互いに対して移動し得る。表面2(本明細書中で、上試料界面または中心部とも称される)内に含有され、かつこれと同一平面にあるファイバ6を通して来る光源からの光3が、液体試料カラム9を通して下方に照射され、下試料界面4の下表面7(本明細書中で、台座とも称される)内ファイバ11により収集され、吸光度測定のために分析分光計に送られる。中心部及び台座は、それぞれ、カラムの上下部材である。
【0005】
ユーザが試料(典型的に、1マイクロリットルまたは2)を下試料界面に直接、手動でピペットすることにより、液体試料の配置を達成する。試料の不存在下でシステムを通して伝達された光の量(I0)と、試料が試料界面内に存在するときにシステムを通して伝達された光の量(I)との比率の負ログを取ることにより、試料の吸収度を測定する。正常状態下で、試料が試料界面内に存在するときにシステムを通して伝達された光の量は、ランベルト=ベールの法則に従って、試料の経路長及び濃度に正比例する。
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、場合によっては、システムを通して伝達された光の量が、破損または変形した試料カラム、界面上での試料の誤配置、及び試料内の気泡を含む物理的要因により影響を受ける状態が存在する。ほとんどの事例において、これらの要因は、ユーザピペット誤差により生じる。これらの事例において、光伝達界面からの光は、試料により吸収され、かつ試料の経路長及び濃度にもはや正比例しない受光界面に進入する光の量を生じるその元のビーム経路から散乱または歪曲される。最終結果は、関心液体試料の不正確な光度測定である。
【0007】
これらの状態の検出は、非常に小さい経路長に部分的に起因して困難である。したがって、液体試料のカラムの画像分析の画像分析システムが必要である。
【課題を解決するための手段】
【0008】
一実施形態において、画像分析システムは、中心部と台座との間に配設された液体試料のYUV色画像を収集するビデオカメラであって、色画像が、中心部と台座との間の光ビーム経路を通して光源が光を照らしている間に収集される、ビデオカメラと、i)YUV色画像から濃淡(グレースケール)成分画像及び光散乱成分画像を得るように、かつii)濃淡成分画像の少なくとも1つの二値画像及び光散乱成分画像の少なくとも1つの二値画像を得るように適合されている、処理装置と、を含む。処理装置は、中心部及び台座の位置を含む関心領域を濃淡成分画像から検出するようにさらに適合され得る。画像分析システムは、薄灰色の均一な反射性背景、例えば、82%の輝度及び12%の光沢の薄灰色の均一な反射性背景等の均一な反射性背景を含み得る。
【0009】
いくつかの実施形態において、ビデオカメラは、カメラビデオストリームからYUV色画像を収集し得る。それらの具体的な実施形態において、処理装置はYUV色画像のY成分の平均から濃淡(グレースケール)成分画像を得るように、かつYUV色画像の最大U成分から光散乱成分画像を得るようにさらに適合され得る。
【0010】
一定の実施形態において、濃淡成分画像の少なくとも1つの二値画像は、濃淡成分画像内の左右背景変動閾値間の補間から得られた動的閾値を適用することから得られた濃淡成分画像の第1の二値画像を含み得る。それらの具体的な実施形態において、濃淡成分画像の少なくとも1つの二値画像は、濃淡等方性勾配画像の第2の二値画像を含み得、濃淡等方性勾配画像は、濃淡成分画像と、等方性勾配画像背景雑音統計に基づく静的閾値とを用いて得られる。それらの具体的な実施形態のいくつかにおいて、濃淡成分画像の少なくとも1つの二値画像は、第1及び第2の二値画像の組み合わせから得られた合成二値画像を含み得る。処理装置は、液体試料のカラムの位置及び光ビーム経路の位置を合成二値画像から検出するようにさらに適合され得る。処理装置はまた、カラムの歪み及び/または完全性(integrity)を合成二値画像から検出するようにさらに適合され得る。
【0011】
別の実施形態において、画像分析方法は、中心部と台座との間に配設された液体試料のYUV色画像を収集することであって、色画像が、中心部と台座との間の光ビーム経路を通して光源が光を照らしている間に収集される、収集することを含む。本方法はさらに、YUV色画像から濃淡成分画像及び光散乱成分画像を得ることと、濃淡成分画像の少なくとも1つの二値画像及び光散乱成分画像の少なくとも1つの二値画像を得ることとを含む。次に、本方法は、中心部及び台座の位置を含む関心領域を濃淡成分画像から検出することと、画像分析要約をディスプレイに報告することとを含む。YUV色画像を収集することは、YUV色画像をカメラビデオストリームから収集することを含み得る。濃淡成分画像を得ることは、YUV色画像のY成分を平均化することを含み得る。光散乱成分画像を得ることは、YUV色画像の最大U成分を選択することを含み得る。そこから得られた濃淡成分画像、光散乱成分画像、及び二値画像の加工が、上に記載されている。
【0012】
また別の実施形態において、画像分析システムは、中心部と台座との間に配設された液体試料の画像を収集するビデオカメラであって、画像が、中心部と台座との間の光ビーム経路を通して光源が光を照らしている間に収集される、ビデオカメラと、画像を用いて、液体試料のカラム内のいかなる気泡も検出するように適合されている、処理装置と、を含む。本明細書に記載した実施形態のいずれかにおいて、中心部と台座との間の光ビーム経路を通して光を照らす光源の一例は、中心部と台座との間の光ビーム経路にわたる光を照らす光源である。画像は、YUV色画像であり得、処理装置は、i)YUV色画像から濃淡成分画像及び光散乱成分画像を得るように、かつii)濃淡成分画像の少なくとも1つの二値画像及び光散乱成分画像の少なくとも1つの二値画像を得るようにさらに適合され得る。濃淡成分画像の少なくとも1つの二値画像は、濃淡成分画像内の左右背景変動閾値間の補間から得られた動的閾値を適用することから得られた濃淡成分画像の第1の二値画像を含み得る。いくつかの実施形態において、濃淡成分画像の少なくとも1つの二値画像は、濃淡等方性勾配画像の第2の二値画像を含み得、濃淡等方性勾配画像は、濃淡成分画像と、等方性勾配画像背景雑音統計に基づく静的閾値とを用いて得られる。濃淡成分画像の少なくとも1つの二値画像は、第1及び第2の二値画像の組み合わせから得られた合成二値画像を含み得る。処理装置は、液体試料のカラムの位置及び光ビーム経路の位置を合成二値画像から検出するようにさらに適合され得る。いくつかの実施形態において、処理装置は、濃淡成分画像と光散乱成分画像の少なくとも1つの二値画像との両方を用いて液体試料のカラム内の気泡を検出するようにさらに適合され得る。濃淡成分画像を用いることは、濃淡成分画像から得られた濃淡等方性勾配画像にリング検出フィルタを適用することを含み得る。少なくとも1つの二値光散乱成分画像を用いることは、光散乱成分画像の少なくとも1つの二値画像にモルフォロジカルフィルタを適用することを含み得る。一定の実施形態において、処理装置は、濃淡成分画像、光散乱成分画像の少なくとも1つの二値画像、及び光ビーム経路の算出された位置を用いて、光ビーム経路内の気泡を光ビーム経路から出た気泡と区別するようにさらに適合され得る。
【0013】
また別の実施形態において、画像分析方法は、中心部と台座との間に配設された液体試料の画像を収集することであって、画像が、中心部と台座との間の光ビーム経路を通して光源が光を照らしている間に収集される、収集することと、液体試料のカラムの位置及び光ビーム経路の位置を画像から検出することと、画像を用いて、液体試料のカラム内のいかなる気泡も検出することと、画像分析要約をディスプレイに報告することと、を含む。液体試料の画像を収集することは、YUV色画像を収集することと、YUV色画像から濃淡成分画像及び光散乱成分画像を得ることと、濃淡成分画像の少なくとも1つの二値画像及び光散乱成分画像の少なくとも1つの二値画像を得ることと、を含み得る。濃淡成分画像の少なくとも1つの二値画像は、濃淡成分画像内の左右背景変動閾値間の補間から得られた動的閾値を適用することから得られた濃淡成分画像の第1の二値画像を含み得る。いくつかの実施形態において、濃淡成分画像の少なくとも1つの二値画像は、濃淡等方性勾配画像の第2の二値画像を含み得、濃淡等方性勾配画像は、濃淡成分画像と、等方性勾配画像背景雑音統計に基づく静的閾値とを用いて得られる。一定の実施形態において、濃淡成分画像の少なくとも1つの二値画像は、第1及び第2の二値画像の組み合わせから得られた合成二値画像を含み得る。いくつかの実施形態において、本方法は、液体試料のカラムの位置及び光ビーム経路の位置を合成二値画像から検出することをさらに含み得る。一定の実施形態において、液体試料のカラム内のいかなる気泡も検出することは、濃淡成分画像と光散乱成分画像の少なくとも1つの二値画像との両方を用いることを含み得る。濃淡成分画像を用いることは、濃淡成分画像から得られた濃淡等方性勾配画像にリング検出フィルタを適用することを含み得る。少なくとも1つの二値光散乱成分画像を用いることは、光散乱成分画像の少なくとも1つの二値画像にモルフォロジカルフィルタを適用することを含み得る。一定の実施形態において、本方法は、濃淡成分画像、光散乱成分画像の少なくとも1つの二値画像、及び光ビーム経路の算出された位置を用いて、光ビーム経路内の気泡を光ビーム経路から出た気泡と区別することをさらに含み得る。
【0014】
本発明は、システムを通して伝達された光の量が、破損または変形した試料カラム、界面上での試料の誤配置、及び試料内の気泡を含む、物理的要因により影響を受ける状態の検出を可能にすること等の多くの利点を有する。
【図面の簡単な説明】
【0015】
図1A】先行技術の分光光度計内の光経路の切り取り区分の図である。
図1B】液滴(カラム)の形態での試料が、2つの平坦な界面表面間の区画内に含有される、分光光度計の概略図である。UV光源が、上部(中心部)の上に配置され、分光測光検出器が、デバイスの下部(台座)の真下にある。光経路は、源と検出器との間に構築され得る。ビデオカメラは、背景に対する液滴の色画像を収集する。
図2】測定区画の元の高解像度カメラ画像を示す。示されている矩形領域は、その灰色背景の大きい部分を含む画像の全ての必要な特徴部を捕捉するのに十分大きい、初期関心領域(ROI)を示す。
図3図3A図3Cは、2つの界面表面(中心部及び台座)間に良好な光経路を提供する正常な液体カラムの例を示す。
図4図4A図4Cは、液体カラムの第1の種類の可能性のある不良-2つの界面表面間に光経路を部分的にのみ提供するか、または全く提供しない、歪曲(図4A)及び偏心(図4C)カラムの例を示す。
図5図5A図5Cは、第2の種類の不良-気泡または他の含有物の表面からの反射により生じた散乱光の例を示す。気泡は、空気(またはガス)から生成され、分光光度測定を損なう不良であると見なされる。
図6図6A図6Cは、2つの終端状態-破損カラム(2滴に分割された)(図6A及び6B)または界面表面間の空所/空間(図6C)の例を示す。これらの状態で分光光度測定を行うことはできない。
図7図7A図7Cは、画像分析のために使用される成分画像抽出を図示する。図7Aは、カメラ源色画像のROI部である。図7Bは、図7Aから抽出された濃淡(強度)成分である。図7Cは、その抽出された相補的光散乱成分(散乱光測定のために使用される)である。
図8A】カメラビデオストリーム及び濃淡からの画像収集、ならびにYUV色画像からの光散乱成分画像抽出のフローチャートである。
図8B】カラム画像分析方法のフローチャートである。
図9】元のカメラ画像の濃淡(ルマ)成分を含有する、抽出された初期ROI画像を示す。
図10】初期濃淡ROI画像(図9から)のヒストグラムを示す。最大の山部は、背景強度を表す。TminとTmaxとの間の線引きした領域は、選択された背景強度範囲を示す。
図11】濃淡画像上の背景領域を図示する。選択された範囲に整合する閾値を用いて点描することにより、背景画素をマークする。関心特徴部を背景としてマークすることを防ぐために、背景強度範囲が過小評価されていることに留意されたい。
図12】特徴部を有するROIの水平部を、濃淡画像(図11)からの累積プロファイルを用いて抽出する方法を図示する。画像の各垂直カラムに対する画素値の要約により、プロファイルを生成する。プロファイルプロット上の谷部と山部との間の良好な比率を得るために、背景値を画素値から差し引く。標的領域は、プロファイル内の隆起した中央台地状部を表す。
図13】加工のために使用され、かつ中心部及び台座等の区画特徴部のROIをさらに抽出した濃淡画像の抽出された水平部を示す。
図14】水平勾配フィルタを濃淡画像(図13から)に適用した結果を表す。2つの主縁部-1つは中心部(上水平縁部1420)について、2つ目は台座(下水平縁部1410)についてのものである-をハイライト表示する。
図15】ROIの垂直部を、濃淡画像(図11)からの累積プロファイルを用いて抽出する方法を示す。画像の各水平カラムの画素値の合計により、プロファイルを生成する。標的ROIの垂直部分は、中心部及び台座の水平縁部を表す、2つの最も高い山部間に存在する。
図16】機器界面領域のさらなる抽出のために使用される抽出された濃淡ROI画像を示す。
図17】対角(45度)勾配フィルタを適用した後の結果として生じた画像を示し、かつ線セグメント(白色で示す)により適合された上円錐状中心部表面の抽出された右対角縁部を示す。
図18】対角(135度)勾配フィルタを適用した後の結果として生じた画像を示し、かつ線セグメント(白色で示す)により適合された左円錐状中心部表面の抽出された右対角縁部を示す。抽出された縁セグメントの2つの端部間の距離(画素で)は、図11に示した中心部径1110の測定単位として機能する。次に、試料区画領域の正確な抽出のために、測定された中心部径1110を使用する。
図19】中央配置され(光経路軸に相対して)、かつ画像の両側部上の背景領域の十分な量を有する液体カラム(液滴)が予測される領域のみを含有する最後に抽出されたROI濃淡画像を示す。
図20】カラム濃淡画像の二値化(閾値化による)を図示する。背景パラメータが算出された画像の両水平側部上の矩形領域(白矩形)を示す。二値化閾値を設定するために、それらのパラメータを使用する。点描領域でハイライト表示された結果(二値画像前景を表す)が、多くの切り離されたセグメントを有することに留意されたい。それらのセグメントをカラム形状へと結合させることは困難である。
図21】単に一列の濃淡画像のための動的閾値化技術を図示する。2つの背景領域(灰色でマークされた左右)からの画素強度値の平均値及び累積標準偏差(σ)を用い、かつ上下帯域閾値間の線形補間を適用することにより、閾値帯域を生成する。帯域幅は、6σである。帯域を上回る(かつ下回る)強度を有する画素が、二値前景に割り当てられる。画像の左右部間の画像輝度の差に留意されたい。
図22】等方性勾配フィルタを適用することにより得られた勾配画像を示す。画像二値化のために閾値を算出するために使用される背景領域を用いて、勾配輝度の標準偏差を算出する。強度が算出された閾値を上回る全ての画素が、二値前景(勾配画像の上の点描された重なり部分として示されている)に割り当てられる。
図23】合成二値画像を生成するために、1つは濃淡画像から、もう1つは勾配画像(図22)からの2つの二値前景画像を組み合わせた結果を示す。結果として生じた二値画像を改善する-カラム形状を回復することがここで非常に容易になる。
図24】二値画像の上下罫線への2つの水平前景縞模様のさらなる適用による濃淡画像の上で重ね合わされた合成二値画像を示す。それは、カラムの左右縁部をさらに結合させることを可能にする。
図25】孔充填演算子を二値画像に適用し、かつ罫線に近傍する人工縞模様を除去した結果を示す。それに続くモルフォロジカルフィルタ処理は、残差を除去し、前景縁部を平準化する。
図26】理論的光経路(3D空間内の円筒の断面)を表すカラム形状へと矩形を適合させた結果を示す。
図27】画像の上の特徴的な気泡による液体カラム内の不良の一例を示す。
図28】リング形状の特徴部になる上の気泡による濃淡画像の勾配画像を示す。
図29図29A図29Bは、リング検出フィルタカーネル(9×9画素サイズ)を図示する。図29Aは、フィルタの3D幾何学的形状を図示し、図29Bは、9×9マトリクス(図示のために、マトリクス値を100で乗ずる)としてのそのデジタル近似値である。フィルタの3D形状は、その周囲の周りの隆起した円形台地状部、及び中央内の負の円形空洞領域を表す。カーネルの残部は、0の強度値に設定される。フィルタは、リング形状の特徴部の強度を測定することを可能にする強度勾配画像(図27参照)上のリング状粒子と相関するように設計される。
図30図30A図30Bは、単一画像列:勾配画像(図30A-1)へのリングフィルタの適用を図示し、その列プロファイル(図30A-2)が左上内に示される。下に示した式を用いることにより、リングフィルタ(右上)を全ての列画素に適用し、Kjは、カーネル位置j内のカーネル係数であり、Piは、列位置i内の画素強度であり、Fiは、位置i内の結果値である。リングフィルタを全ての画像列に適用する。図30B-1は、その断面列による結果として生じた画像を示す。勾配画像(上に矢印でマークされた)上のリング形状の特徴部に対応する図30B-2に示した結果山部に留意されたい。
図31】光散乱二値画像を青色度成分画像から得ることを図示する。最初に、背景領域の標準偏差を用いて、二値化閾値値を算出し、閾値を用いて、画像を二値化する。モルフォロジカル閉塞フィルタを用い、続いて小さい前景特徴部を除去することにより、結果として生じた二値画像をクリアする。
図32図32A図32Bは、破損カラムの事例を図示する。図32Aは、初期に抽出されたROI画像である。図32Bは、2つの破損片(点描することによりハイライト表示された)を正しく検出する分析アルゴリズムの適用の結果を示す(二値)画像である。
図33】液体カラムの例示的な画像である。
図34図33に示した画像の結果として生じた勾配画像である。
図35図33に示した画像の結果として生じた二値画像である。
図36】気泡による液体カラムの例示的な画像である。
【0016】
同様の符号は、図のいくつかの図全体を通して対応する成分を指す。
【発明を実施するための形態】
【0017】
本明細書中の本発明の説明において、別段、黙示的または明示的に理解または記載されない限り、単数で現れる単語は、その複数の相手方を包含し、複数で現れる単語は、その単数の相手方を包含することが理解される。さらに、別段、黙示的または明示的に理解または記載されない限り、本明細書に記載した任意の所与の成分または実施形態について、その成分に対して列挙された可能性のある候補または代替物のいずれかが、概して、個々にまたは互いに組み合わせて使用され得ることが理解される。さらに、本明細書で示した図は、必ずしも縮尺通りに描画されておらず、要素のいくつかは、単に本発明を明確にするために描画されている場合があることが理解されるべきである。また、対応するか、または類似する要素を示すために、種々の図の中で符号が繰り返されている場合がある。さらに、別段、黙示的または明示的に理解または記載されない限り、かかる候補または代替物のいかなる列挙も、単なる図示であり、限定ではないことが理解されるだろう。加えて、別段の表示がない限り、明細書及び特許請求の範囲中に使用された材料、構成要素、反応状態等の分量を明示する数は、「約」という用語により修飾されるものとして理解されるべきである。
【0018】
したがって、反対の表示がなされない限り、明細書及び添付の特許請求の範囲中に記載された数的パラメータは、本明細書中に提示された主題事項により得られることが求められる所望の特性に応じて変化し得る近似値である。最低でも、特許請求の範囲に対する等価物の原則の適用を限定することを企図しないように、各数的パラメータは、少なくとも、報告された有意な数字の数に照らして、かつ通常の丸め技術を適用することにより、解釈されるべきである。本明細書中に提示された主題事項の広範な範囲を記載している数値範囲及びパラメータは近似値であるにも関わらず、具体的な例に記載された数値は、できる限り精確に報告されている。しかしながら、任意の数値は、本質的に、それぞれの試験的測定において見られた標準偏差から必然的に生じる一定の誤差を含有している。
【0019】
NanoDrop(商標)(Thermo Electron Scientific Instruments、Madison WI)等のUV/Vis分光計の需要が高まるにつれ、液体試料(滴)の表面張力上で、上で考察したような依拠するその測定技術の信頼性を向上させるべき要望がある。問題は、液滴(カラム)の分光測定が、測定中に液体カラム形状及びその位置の不均一性により損なわれ得ることである。液体カラムが変形(歪曲)され得、偏心(機器の光経路に対して)は、気泡もしくは他の含有物を含有し得、または液体カラムが破損されることもあり得る。現在入手可能な機器は、これらの問題を自動的に特定及び報告する能力がないと同時に、液滴形状の目視検査が非常に限定的で信頼できない。本明細書中に記載した設計は、液体カメラに焦点を当てた試料区画の前に高解像度ビデオカメラを含み、液体カラムの不良を自動的に特定し、かつそれを機器演算子に報告するために、コンピュータ視覚アルゴリズムを使用する。画像分析システムはまた、測定を損なう気泡液体により生じた散乱光の測定及び報告を含む。ビデオカメラ及び分光計は、共に同期化され、全ての分光測定は、カラム画像品質測定法を伴う。
【0020】
図1Bは、液滴(カラム9)の形態の試料が、2つの平坦な界面表面2及び7(区画)間に含有された、分光光度計100を示す。光源10は、上部(中心部2)上に配置され、分光測光検出器20は、デバイスの下部(台座4)の真下にあり、光経路30は、それらの間に構築され得る。
【0021】
測定の品質は、光ビーム3がそれを通過している時間中に測定された液体カラム9の品質に依存する。カラム9の品質は、間隙(2つの界面表面2及び7間の距離)が過度に狭い-1mm以下であるため、視覚的に分析するのが非常に困難である。
【0022】
可能性のあるカラム不良を、下記の分類で要約することができる。
【0023】
歪曲及び偏心カラム。この不良の例は、図4A図4Cに提示されている。
【0024】
含有物を含むカラムの気泡カラム。例えば、図5A図5Cを参照されたい。
【0025】
破損カラムまたは空き区画(液滴なし)。これは、末端不良である-カラム品質測定は行われないだろう。例えば、図6A図6Cを参照されたい。
【0026】
図1Bに戻ると、ビデオカメラ40は、中心部2と台座4との間に配設された液体試料9のYUV色画像を収集し、色画像は、液体カラム9の品質の検査のために中心部2と台座4との間の光ビーム経路30にわたって光源10が光3を照らしている間に収集される。カメラ40は、機器台座4上に取り付けられ、液体カラム9の形成が予測される2つの光伝達界面2及び7間の間隙内に焦点が当たる。図2は、典型的なビデオカメラ画像を示す。図1Bに戻ると、カメラ視野は、背景60も生成するカバー50により直接的な周囲光から遮蔽される。背景60の表面は、均一な反射性材料から作製され、薄(約82%の輝度及び12%の光沢)灰色を有する。背景表面60は、拡散(ランバーシアン)反射率を生成するための写真内で使用される灰色カードと類似している。背景表面の薄灰色の均一な反射性背景は、光沢を最小限にし、背景を均一にして、カメラにより画像が取得されるときに強度ヒストグラム上に狭いガウシアン形状の山部を生成する。
【0027】
カメラビデオを機器の演算子により検査することができるが、より正確かつ便利な方法は、機械視覚アルゴリズムを使用することである。処理装置70は、i)YUV色画像から濃淡成分画像及び光散乱成分画像を得るように、かつii)濃淡成分画像の少なくとも1つの二値画像及び光散乱成分画像の少なくとも1つの二値画像を得るように適合されている。
【0028】
散乱光は、ガスまたは空気の気泡等の含有物を含むカラム上でスペクトルを得る間に発せられる。青色波長範囲は、レイリー散乱光の強い(λ-4)波長依存性(より短い波長(青)は、より長い波長(赤)より強くレイリー散乱される)に起因して、散乱光内で支配的な成分である。結果として生じたスペクトル品質は、気泡から反射し、かつ散乱されたビームエネルギーの損失に起因して、損なわれ得る。機械視覚アルゴリズムを適用することにより、散乱光の量を定量的に測定することが可能である。
【0029】
現代のコンピュータ上で元の色画像を分析することが可能であるが、それは、不要な複雑性及び冗長性を生じる。画像分析のために、2つの強度のみの(濃淡又はグレースケール)画像が、3つの可能な方法のうちの1つで生成される。
【0030】
1.1つが単に1つの色RGB画像(スナップ写真)を有するとき、画像が抽出され、下記の2つの成分画像が生成される。
a.元のRGB画像から赤(R)及び緑(G)成分を平均化することにより、濃淡成分(ルマ)画像(L)が生成される。全てのx、y-位置付け画像画素に対して、下記の算出が適用される。
L(x、y)=(R(x、y)+G(x、y))/2
b.RGB画像から元の青(B)成分を用い、かつ下記のような全てのx、y-位置付け画素に対して下記の相補的画像を算出することにより、青色度成分(光散乱成分に対して)画像(S)が生成される。
S(x、y)=max(0、B(x、y)-L(x、y))
【0031】
2.YUV画像フォーマット(アンドロイド/リナックスシステム上で入手可能である)の事例において、2つの成分画像の算出は、次のようである。
a.濃淡成分画像は、元のYUV画像のY(ルマ)成分、すなわち:L(x、y)=Y(x、y)である。
b.YUV画像からU-色度成分を用い、かつ全てのx、y-位置付け画素(x、y)=max(0、U(x、y)-128)に対して下記の相補的画像を算出することにより、光散乱成分画像Sが生成される。
【0032】
3.変化するフラシュ光のYUV 画像の順序が、図8Aに示したフローチャート(図8Bのステップ800)に従って得られたカメラビデオストリームから入手可能である事例において、例えば3つの画像のうち、2つの成分画像の算出が、下記のように行われる。
a.かかる順序(図8Bのステップ801)から元のYUV画像の全ての入手可能なYi(ルマ)成分の平均として、濃淡成分画像が算出され、すなわち:
L(x、y)=(Y1(x、y)+Y2(x、y)+Y3(x、y))/3
b.Si(x、y)を、上の式(2.b参照)を用いてUi-成分から算出された画素(x、y)でのi-画像に対する光散乱(青色度)強度とする。次に、下記のような各画素(x、y)に対して全ての入手可能な最大のSi(x、y)を取ることにより、S(x、y)光散乱成分画像が算出される。
S(x、y)=max(S1(x、y)、S2(x、y)、S3(x、y))
【0033】
フラッシュ発生モーメントに対応する最大散乱光を得るために、最大のSi(x、y)を使用する。
【0034】
2つの成分に分割された画像の図についての図7B及び図7Cを参照されたい。図7Aは、源カメラ色画像の断片である。図7Bは、源RGB画像から抽出された濃淡成分画像であり、図7Cは、その光散乱成分である。
【0035】
下記のステップは、液体カラム分析アルゴリズムを形成する。
【0036】
1.M×Nサイズの濃淡画像Lを以下のような画素gijからなるようにさせる。
【数1】
換言すると、gijは、画像矩形領域であり、その値(強度)は、0~255の範囲であり得る。
【0037】
2.抽出された濃淡画像L(図9)を用いて、源画像の全ての画素の図10に示したヒストグラムを算出する。画像ヒストグラム(図10)の最大の強度山部を用いた画像背景強度範囲(Tmin、Tmax)を見出す。背景は、ガウシアン強度分布と均一であると想定され、背景領域は、抽出された灰色画像の少なくとも50%を取ると想定される。ヒストグラムパラメータ:背景品質を評価するための山部位置及びその幅を確認する。山部位置が40未満(過度に暗い)か、もしくは210(過度に明るい)超であるか、または山部幅が80超である場合、次に、背景が乏しいことを報告し、画像分析の残部をスキップする。(図8Bのステップ803及び804)。
【0038】
3.各画像カラムに沿った(画素値-背景値)の絶対値の合計により、水平累積プロファイルを生成する。すなわち、以下のように、Σjδi,jを算出する。
【数2】
【0039】
4.図11に示した画像に対して算出された累積プロファイルの一例については図12を参照されたい。
【0040】
5.プロファイル(図12参照)内の台地状部強度の縁部を見ることにより、機器中心部(上部、図11参照)の左右縁部を見出す。それらは、濃淡画像上の中心部の位置及びその直径に対応し、関心領域(ROI)抽出のために使用される。
【0041】
6.図13に示すような両側部上のさらなる延長部を含む見出された特徴部(中心部及び台座)を包含する新規ROI画像を抽出する。
【0042】
7.下水平中心縁部1420及び上水平台座縁部1410を見出し、それにより中心部及び台座の位置を含む関心領域を図14に示すような濃淡成分画像から検出するために、水平勾配(ゾーベル演算子、その全体的な内容及び教示が、その全体が参照により本明細書に組み込まれる、Digital Image Processing,Rafael C.Gonzalez and Richard E.Woods,2nd Ed.,Prentice Hall、2002(以後、「Gonzalez」)の578頁を参照されたい)フィルタを、抽出されたROI濃淡画像に適用する。
【0043】
8.g’i,jがi、j位置での勾配画像の画素強度である、Σjg’i,jである各画像列に沿った画素値の合計により図14に示す勾配画像の図15に示す垂直累積プロファイルを生成する。
【0044】
9.垂直累積プロファイル(図15)上の2つの主な強度山部1510及び1520を見出す。その右(最も高い)山部1520は、中心部の下縁部(上境界または上水平縁部)に対応し、左(第2の強度)山部1510は、台座の上縁部(下境界または下水平縁部)に対応する。
【0045】
10.前のステップで見出された境界を用いて、さらなる加工(図16)のためにROIサブ画像の垂直部を抽出する。
【0046】
11.ROI画像(図16)の上の中心部の右縁部を見出す。画像上に45度対角勾配フィルタを適用する。右対角縁部1710(図17)に対する最適な最小二乗適合を見出すことにより、勾配強度画素の右上組を対角線セグメントと適合させる。
【0047】
12.継続して中心部の左縁部を見出す。135度対角勾配フィルタを適用する。最適な最小二乗適合を見出すことにより、勾配強度画素の左上組を135度対角線セグメントと適合させる。図18は、適合された中心部左対角縁部1810及び右対角縁部1820の両方を示す。見出されたセグメントの左右端を用いて、画素1830での中心部径、及びXc、光経路中心1840の位置を算出する。算出された中心部径1830は、画像(画素)単位による実際の機器座標単位の正確な整合を可能にする。光経路中心Xcは、カラム特徴部位置評価のために使用される。
【0048】
13.前に見出された中心部対角縁部及び中心部及び台座の実際のサイズの知識を用いて、機器中心部及び台座(図8Bのステップ805)の両方に対して中央配置された最後のROI画像を抽出する。図19に示すようなより多くの背景領域を含むために、抽出されたROI画像の左右上に余分な余白を追加する。
【0049】
14.背景が予測される(図20の白矩形参照)、左背景矩形領域2010及び2020、ならびに右背景矩形領域2030及び2040を用いて、画像の左右部に対する背景パラメータを算出する。選択された背景矩形領域は、濃淡画像の異なる部分に対する背景強度範囲の推定を可能にすると同時に、画像の左右部間の照度差の構成を可能にする。
【0050】
15.次に、カラムの位置付け及び測定のために使用される便利な二値画像(一例が、図20に点描された画像の重なり部分として示される)を生成するために、閾値化技術を適用する。二値画像は、各画素に対する2つのみの可能な値を有するデジタル画像である。通常、それらの2つの値は、前景(値=1)及び背景(値=0)と呼ばれる。閾値化技術の説明については、Gonzalezの595頁を参照されたい。
【0051】
16.各画素に対する閾値を個々に算出するために、左右背景閾値間の補間を使用する動的閾値化を適用することにより、濃淡ROI画像の第1の二値画像を生成する。図21は、単に一列2110の濃淡画像に対する動的閾値化技術を図示する。2つの背景領域2120及び2130(それぞれ、灰色でマークされた左右矩形)から画素強度値の平均値及び全体的な標準偏差(σ)を用い、かつ上下帯域閾値間の補間を適用することにより、閾値帯域を生成数する。帯域幅は、6σである。帯域を上回る(及び下回る)強度を有する画素が、二値前景に対して割り当てられる。図21の画像の左右部間の画像輝度の差に留意されたい。左背景領域平均値ML2145及びその標準偏差をσTmin=ML-3として用いることにより、左下閾値値Tmin2150を算出するσ。同じ値をTmax=ML+3として用いて、左上閾値Tmax2140を算出する。σ等価式及び右背景領域平均値MR2165、ならびにその標準偏差を用いて、右下2170及び右上2160閾値を算出するσ。図21に示す例において、値は、ML及びMRの両方に対して、およそML=110、MR=90、及びσ=3.3である。2つの帯域2120及び2130との間の列2110上の全ての画素に対する上下帯域閾値が、補間により得られる。上帯域閾値2140及び2160間、ならびに下帯域閾値2150及び2170間の補間は、それぞれ、図21に示すような線形補間、またはかかる関数がより高い解像度二値画像を生じる場合、二次的補間等の別の関数であり得る。
【0052】
17.図20に示すハイライト表示された点描領域2050は、上に記載した動的閾値化技術を図21に示す濃淡成分画像の全ての列に適用した後に得られた、図21に示す濃淡成分画像の第1の二値画像の前景である。二値画像前景2050は、実際のカラムの領域から散乱することもある、多くの切り離されたセグメントを有する。この事例において、カラム形状を得るためにそれらのセグメントを結合させることは困難である。第2の二値画像を用いることにより、結合を行うことができる。
【0053】
18.同じ濃淡成分画像の等方性勾配を用いることにより、第2の二値画像を生成し、勾配背景統計に基づく静的閾値化を適用する。等方性勾配画像は、ゼロ平均値を有すると想定されるため、選択された左右組の矩形のみを用いて、標準偏差を算出する。統計的±三シグマ(σ)ルールを使用して、二値化に対する閾値を生成する。結果として生じた第2の二値画像が、等方性勾配(暗)画像の上に重ね合わされた図22に示される。
【0054】
19.1つ目は濃淡成分画像から、2つ目は等方性勾配画像(上)からの2つの二値画像を組み合わせて、合成二値画像を生成する。組み合わせは、切り離された前景セグメントからより完全な前景二値画像を生成することを可能にする。図23は、勾配画像上に重ね合わされた組み合わせ二値画像を示す。
【0055】
20.さらなるカラム形状の検出及び前景空洞の充填のために、1つは上2410に、もう1つは下2420(二値画素を1の値に設定することにより)に、2つの人工前景縞模様2410及び2420を追加する。図24は、元の濃淡画像の上に重ね合わされた結果として生じた二値を示す。
【0056】
21.モルフォロジカル演算及び孔充填演算を用いて、前景孔を充填し、粗い縁部を平準化する。Gonzalezの528~536頁を参照されたい。図25において、濃淡画像の上に重ね合わされた結果として生じた二値画像を示す。
【0057】
22.上下水平縁部上の二値画素を背景値(0、透明)に設定することにより、2つの人工縞模様を除去する。次に、ノイズ(図8Bのステップ806)を構成する小さい特徴部を除去するために、篩い分け用フィルタを適用する。結果として生じた二値画像は、前景重なり部分とカラム形状(図26参照)との間の良好な整合を生じ、それにより液体試料のカラムの位置光ビーム経路の位置を合成二値画像から検出する。
【0058】
23.結合された成分抽出アルゴリズム(Gonzalezの536頁参照)を用いることにより、結合された前景物体(複数可)を抽出し、それにより、液体試料のカラムの完全性を合成二値画像から評価する。通常、単に1つの物体が、正常な液体カラムと整合する。2つ以上の物体がある場合、破損カラムの事例(一例について図32参照)である。物体が見出されない場合、空き区画の事例である。後者2つの事例においては、さらなる分析を行うことができず、演算子(図8Bのステップ807及び808)に通知するために、誤差コードが報告される。
【0059】
24.カラム形状の領域を(画素で)図26に示すような検出された二値物体2610から算出する。さらに、検出されたカラム二値物体2610内に封入された最大領域矩形を見出すことにより、光経路左縁部位置XL2620及び右縁部位置XR2630を算出する。差XR-XLは、光経路径(図8Bのステップ809)である。偏心パラメータを算出するために、算出された光ビームの中心XC1840、理論的最大光ビームの半径Ro(一実施形態において、Roは、算出された中心部径1110の約1/20に等しい)、カラムXL2620、及びXR2630(封入された矩形垂直縁部位置)を使用する。距離min(XC+RO、XR)-max(XC-RO、XL)が1.5RO未満である場合、液体試料のカラムの歪み及び偏心状態が、合成二値画像から検出される。半径ROの、Xcに中央配置された理論的光ビーム経路は、少なくとも1.5光ビーム半径幅の重なりで算出されたカラム光経路(矩形)に適合するべきである。
【0060】
液体カラム形状の検出のための代替的な画像分析方法は、物体の輪郭を抽出するために緑検出演算子を用いることにより、液体カラム等の関心物体を検出することを含む。これらの演算子は、濃淡画像の光及び暗領域間の画素強度内の差をコンピュータ演算することに基づく。いくつかの基本的な縁検出(勾配)演算子:ゾーベル、ラプシアンガウシアン、ロバーツ、プルウィット、または複合キャニーアルゴリズムが適用され得る。最後は、ノイズ抑制及び動的閾値化/二値化を含む、いくつかのステップからなる。Canny,J.,“A Computational Approach To Edge Detection”,IEEE Trans.Pattern Analysis and Machine Intelligence,Vol.8(6):679~698、1986(以後「Canny」)を参照されたく、該開示の全体は、参照により本明細書に組み込まれる(しかしながら、組み込まれた参照の何らかが本願に述べられた何らかと相反する場合、本願が優先する)。
【0061】
しかしながら、図33に示す液体カラムのぼやけた画像の例等、ぼやけたノイズの多い画像を扱うときに、これらの勾配-閾値方法の全てが基準に達しない可能性がある。ゾーベル縁部検出器演算子を図33に示すぼやけた画像に適用した後に得られた結果として生じた勾配画像は、図34に示すように、カラムの縁部(光の縞模様)を露わにするが、下部上で洗い落される。閾値化/二値化後に、図35に示す結果として生じた二値画像(点描された重なり部分)は、追加の突起によるいくつかの不連続部を含有する。連続的輪郭(形状)を検出することができない理由は、勾配または縁部検出器演算子が、3×3、5×5等の局部画像領域(窓)内で演算し、画素幅領域、よってこれらの演算子が、物体の輪郭形状についての「高」レベルの構造的情報を見逃すことである。
【0062】
能動的輪郭追跡(「スネーク」とも称される)方法を用いて、切り離されるか、またはノイズの多い(突起の多い)輪郭結果に対処することができる。Kass,M.;Witkin,A.;Terzopoulos,D.“Snakes:Active contour models”International Journal of Computer Vision,Vol.1(4):321、1988を参照されたく、該開示の全体は、参照により本明細書に組み込まれる(しかしながら、組み込まれた参照の何らかが本願に述べられた何らかと相反する場合、本願が優先する)。能動的輪郭追跡方法は、縁部検出器演算子の組み合わせであり、その後、その連続性及び平準さ等の輪郭曲線特性を用いた結果(二値化)の輪郭追跡が続く。能動的輪郭方法は、輪郭曲線に適用された内部力と外部力との加重組み合わせを表すエネルギー汎関数を用いるという考えに基づいている。内部力は、輪郭の物理的特性(弾性及び曲げ)により支配され、外部力は、画像特性(勾配)から生じる。エネルギー汎関数の最適値(最小値)を見出すことにより、問題を解決する。総エネルギー汎関数が、パラメータ化された輪郭C[0,1]の全体的な範囲にわたる下記の定積分として定義される。
* v=∫Cac(v(s))ds=∫Cin(v(s))+Eex(v(s))ds
【0063】
in(v(s))は、弾性及び曲げに起因する能動的輪郭の内部エネルギーを表し、Eex(v(s))は、輪郭に適用された外部(画像)力を表す。内部エネルギーは、下記の2項の和として定義される:
in=(α|v’(s)|2+β|v”(s)|2)/2
【0064】
係数により制御される一次項は、α能動的輪郭の弾性を調節する。係数により制御される二次項は、β能動的輪郭の剛性を調節する。換言すると、第1の部分は、能動的輪郭を短く保ち(伸縮を妨げる)、第2の部分は、能動的輪郭を真っ直ぐに保つ(曲げを妨げる)。
【0065】
各(x、y)-画像の位置内の強度の関数を表す濃淡画像L(x、y)を仮定すると、画像(外部)力は、能動的輪郭を物体縁部に向かわせるように選択され、2つの汎関数(Canny参照)により表され得る:
ex (1)=-|∇L(x、y)|2
ex (2)=-|∇[Gδ(x、y)*L(x、y)]|2
Gδ(x、y)が、標準偏差による二次元ガウシアン関数でありδ、∇は、勾配演算子であり、*は、畳み込み演算子を意味する。換言すると、Eex (2)は、平準化されたL(x、y)画像の勾配を表す。
【0066】
二値画像B(x、y)の事例において、外部力を下記のように定式化することができる:
ex (1)~B(x、y)
ex (2)=Gδ(x、y)*~B(x、y)
~B(x、y)は、逆二値画像を表す。
【0067】
パラメータδは、濃淡または二値画像のいずれかの平準差を制御し、-δパラメータが大きいほど、画像及びそれらの物体縁部は、ぼやけている。パラメータの目的は、δ能動的輪郭の最適化のために探索範囲を拡張することである。
【0068】
オイラー-ラグランジュ方程式を用いて、最小のE* vを見出すことができる:
αv”(s)-βv’’’’(s)-∇Eex(v(s))=0
【0069】
in=αv”(s)-βv’’’’(s)及びFex=∇Eex(v(s))であるとすると、後者の方程式を力平衡方程式として再定式化することができる。
in+Fex=0
【0070】
in項は、伸縮及び曲げを妨げる内部力を表し、外部力Fex は、能動的輪郭を所望の画像縁部に向かって引っ張る。上の方程式を解くことは、能動的輪郭vを時間の関数v(s,t)に変換することを必要とする勾配降下方法により達成される。次に、tに対するv(s,t)の部分的導関数を、オイラー-ラグランジュ方程式の両側部に適用することができる。何度か反復した後、能動的輪郭(「スネーク」)が最小値に集束したとき、時間に対するその導関数はゼロになり、方程式が解かれる。
∂v(s,t)/∂t=αv”(s,t)-βv’’’’(s,t)-∇Eex(v(s,t))
【0071】
パラメータ及びtを離散化し、かつ方程式を数的に解くことにより、上の方程式の数値解を見出すことができる。
【0072】
曲線vが新規パラメータr、すなわちs=φ(r)の関数として黙示的に定義される能動的輪郭モデルの修正がある。次に、定義された制約下で最小(測地)長さの曲線を見出すこととして表され得ると述べた測地形態(GAC)の観点から、問題を再定式化することができる。Caselles,V.,Kimmel,R.,and Sapiro,G.,“Geodesic Active Contours”,International Journal of Computer Vision,Vol.22(1):61-79、1997を参照されたく、該開示は、その全体が参照により本明細書に組み込まれる(しかしながら、組み込まれた参照の何らかが本願に述べられた何らかと相反する場合、本願が優先する)。
【0073】
別の態様において、下に記載した画像分析技術は、分光測定に影響を与え得る含有物(気泡の形態での)及び散乱光の検出に関する。気泡存在スコアと散乱光強度との組み合わせに有用であることが見出されている2つのパラメータを測定することができる。図27は、有意な気泡2710が画像の上近くにある状態の画像の一例を示す。
【0074】
気泡含有物の検出のために濃淡成分画像の等方性勾配画像を使用する(図28参照)。気泡スコアを測定するために、特殊なリング検出フィルタを設計した。図29A及び図29Bは、9×9画素サイズのカーネルによるリング検出フィルタの一例を示す。図29Aは、フィルタの3D連続的代表図を示し、図29Bは、9×9マトリクスとしてのそのデジタル近似値を示す(表示のために、マトリクス値を100で乗ずる)。図29Aに示す3Dグラフは、その周囲の周りの隆起した円形台地状部及び中心内の負の円形空洞領域を図示する。カーネルの残部を0の強度値に設定する。その形状は、それらの強度スコアを測定することを可能にする等方性勾配画像上のリング状特徴部と相関し、それにより液体試料のカラム内のいかなる気泡も検出する。
【0075】
リング検出フィルタの単純化した説明を図30A及び30Bに提示し、リングフィルタを単一画像列(画像の上近くの灰色線3010)に適用する。その列プロファイルを含む勾配画像(図30A-2に示すグラフ)を図30A-1に示す。リングフィルタ(右上)は、リングフィルタの下に示す式を用いることにより、列での全ての画素に当てはまり、Kjは、カーネル位置jでのカーネル係数であり、Piは、列位置iでの画素強度であり、Fiは、位置i内の結果値である。本プロセスを全ての画像列に適用する。図30B-1は、その断面列3020を含む結果として生じた画像を示す。勾配画像(上に矢印マークされた)上のリング形状特徴部に対応する図30B-2に示す結果山部に留意されたい。
【0076】
下記のステップは、濃淡成分画像及び光散乱成分画像の二値画像の両方を用いて、液体試料のカラム内のいかなる気泡も検出するために使用されるリング/気泡存在スコア算出アルゴリズムを形成する:
【0077】
1.継続的リング検出フィルタ処理を濃淡成分画像(図28)から得られた濃淡等方性勾配画像に適用する。
【0078】
2.結果を累積画像スコアに蓄積する。
【0079】
3.算出された光経路矩形(図26に示す、上のステップ24で得られた2610)を用いて、リング検出フィルタ適用領域を制限する。
【0080】
4.最小リングフィルタサイズ(3×3)から始まり、全ての可能な気泡サイズをカバーするために、それを2(次は5×5である)等だけ、事前定義された最大フィルタ径(例えば、15×15)まで増加させる。算出する間、一定の閾値を下回るスコアをスキップして、ノイズに起因した値の蓄積を回避する。勾配画像(図8Bのステップ810)に対する背景矩形領域の統計に基づいて、ノイズ閾値を算出する。
【0081】
5.同じROI部分(図19に示す濃淡成分画像のような)を光散乱成分画像から抽出して、見出されたカラム形状の領域内の光散乱強度を推定する。図31は、光散乱成分強度測定のためのワークフローを示す。除去されたノイズ、及び気泡散乱のみが測定されることに留意されたい。
【0082】
6.図31のワークフローに示すように、光散乱成分画像を二値化して、選択された背景矩形領域(正常な事例では青色の存在が予測されないため、ゼロ平均が想定される)に対する算出された標準偏差を用いて算出された閾値を用いて二値光散乱成分画像を形成する。再び、統計的±三シグマ(σ)ルールを使用して、二値化閾値を設定する。次に、形態学的閉塞(モルフォロジカルフィルタ)を適用し、その後、小さい粒子を除去するために篩い分け用フィルタを適用する。次に、二値前景及び算出された光経路矩形を使用して、青成分強度画素が追加された領域を制限する。次に、結果として生じた強度合計を正常化して、1以上の値に対してそれを有意にする(図8Bのステップ811)。
【0083】
7.気泡存在スコア及び散乱光強度スコアを確認する。両スコアが1超である場合、次に、不良(図8Bのステップ812及び814)を報告する。
【0084】
光ビーム経路内の気泡を光ビーム経路から出た気泡と区別するために、算出された光ビーム中心XC1840、理論的最大光ビーム半径RO(一実施形態において、ROは、算出された中心部径1110の約1/20に等しい)、カラムXL2620及びXR2630(算出された光経路縁部)を使用する。気泡検出フィルタ及び散乱光スコアの両方に対する算出領域は、下記:左制限がmax(XC-RO、XL)であり、右制限がmin(×C+RO、XR)に制限される。算出領域を制限することは、分光測定を変形させると知られている画像の一部内のみに気泡及び光散乱スコア測定を行うことを可能にする。
【0085】
図36に示すような気泡を含む液体カラムの画像は、気泡縁部(輪郭)が円形または楕円形状を表すことを示唆している。画像は気泡を含む3D液体カラムの2D(投影)画像であるため、気泡のいくつかが閉塞されている可能性があることに留意されたい。円形物体を見出すために、ハフ変換を気泡検出の代替的な方法として使用することができる。Filiberto P.,“Recognition of Partial Circular Shapes from Segmented Contours”,Computer Vision And Image Understanding,Vol.63(2),334-342、1996を参照されたく、該開示は、その全体が参照により本明細書に組み込まれる(しかしながら、組み込まれた参照の何らかが本願に述べられた何らかと相反する場合、本願が優先する)。変換の利点は、ノイズに対する不感受性及び閉塞等に起因した形状変形に対する堅牢性を含む。
【0086】
円形形状のみを検討するが、ハフ変換は、楕円形状を同様に取り扱うことができる。ハフ変換は、勾配画像の二値化(閾値化)画像または検出された気泡縁部の二値画像に当てはまる。例えば、キャニー演算子は、縁検出のために、かつそれを二値画像に閾値化するために使用され得る。
【0087】
標準的な円の方程式は、下記の形態を有する:
(x-a)2+(y-b)2=r2
rは、円の半径であり、(a,b)は、円の中心の座標である。
【0088】
ハフ変換は、円の方程式のデジタル携帯に当てはまり、全てのパラメータが、離散:×であり、yは、カラムの指標及び二値(0もしくは1)画素のマトリクスの列であり、パラメータa及びbはまた、円中心の指標(相対位置)であり、rは、画像に適合し、かつ関心の物理的物体(この事例においては、気泡)に結合された円の可能な半径全体に及ぶ。半径は、通常、デジタル画像上の半径1の円の近似値が過度に粗い(それは正方形を表す)ため、1超の値から始まる。次に、全ての二値縁部(輪郭)画素(×i,yi)は、3D(a,b,r)パラメータ空間内の円錐の近似値へと変換され得る。全ての輪郭点が円上にある場合、全てのその対応する円錐は、円のパラメータに対応する単一の点(ai,bi,ri)と交差するだろう。
【0089】
空間はデジタルであるため、円の方程式のデジタル形態を満たす円錐は、1つの画素では交差しないが、代わりに、ガウシアン状濃度分布による画素の小クラスタを表し、その中心(最も濃度の高い値)は、結果として生じた(ai,bi,ri)円三重項である。分布空間を実行するために、さらなる投票(整数)値vが必要とされ、変換の結果は、投票値の3Dマトリクスである:
V=v(a’、b’、r’)、
a’は、全ての画像カラム全体に及び、b’は、全ての画像列全体に及び、r’は、関心物体の全ての可能な半径全体に及ぶ。
【0090】
ハフアルゴリズムの最後及び最大の課題部分は、結果として生じたマトリクスV(パラメータ空間)内の極大値の点を見出すことである。通常、それは、最後のマトリクスVに対するさらなるフィルタを適用することを必要とする。フィルタ化されたマトリクスVに閾値を適用することにより、結果として生じた極大値の点を見出すことができ、それらは、全ての可能な円形物体を表す。投票技術に起因して、本アルゴリズムは、不完全またはノイズの多い画像に対しても良好に機能する。
【0091】
表1に示す画像分析要約レポートについて、例示的な値を含む下記のパラメータが、機器の演算子に表示される:
【表1】
【0092】
偏心オフセット:画素でのカラム形状中央オフセットを示す(図11参照)。中心部及び台座の物理的寸法が既知であるため、画素をメートル単位に翻訳することは容易であることに留意されたい。図26に示し、上のステップ24に記載した算出された光経路矩形2610は、偏心オフセット算出のために使用される。
【0093】
光経路径:画素で算出されたカラム光/光経路(封入された円筒)径。その算出の詳細について、上のステップ24を参照されたい。
【0094】
光散乱スコア:任意の補助単位で測定された光散乱正常化強度、1以上の値は、通常、気泡/含有物の不良を示す。算出は、上のリング/気泡存在スコア算出アルゴリズムのステップ4に示される。
【0095】
気泡存在スコア:任意の単位で、1超の値は、気泡の存在を示す。気泡存在スコアは、気泡(不良)カラムを特定するために、光散乱スコアと組み合わせて使用される。パラメータ算出の詳細について、上のリング/気泡存在スコア算出アルゴリズムのステップ4を参照されたい。
【0096】
カラム特徴領域:画素で算出されたカラム形状の測定された領域。
【0097】
カラム光経路長:上のステップ24に記載した画素で算出された光経路矩形の測定された高さ。
【0098】
平均ROI画素強度:露出不足または露出過度の濃淡画像を検出し、かつ二値化閾値を調節するのに有用である平均画像強度(0~255)。
【0099】
液体カラム分析アルゴリズムは、下記のソフトウエア補完コードを生成する:
【0100】
未定義:初期ROI抽出段階中に分析が中断または失敗した(異常な状態)ことを意味する初期値。
【0101】
OK:正常なカラム、良好な分光読み取りを予測する(図8Bのステップ813)。
【0102】
不良カラム:偏心値、気泡存在スコア、及び光散乱スコアを確認して、理由を特定する(図8Bのステップ814)。
【0103】
空き区画:液体カラムが検出されなかった(図8Bのステップ808)。
【0104】
破損カラム:界面表面間の結合なし(図8Bのステップ808)。
【0105】
カラムが過度に短い:界面表面間の距離が過度に短い(異常な状態)。
【0106】
乏しい背景:分析のための画像背景品質が過度に乏しい(異常な状態)(図8Bのステップ803)。
【0107】
本発明は、例示的な実施形態を参照して記載されているが、本発明の範囲から逸脱することなく、種々の変更を行ってもよく、その要素に対する等価物が置換されてもよいことが当業者により理解されるだろう。加えて、特定の機器、状況、または材料を本発明の教示に適合させるための、その本質的な範囲から逸脱することのない、多くの修正が、当業者により理解されるだろう。したがって、本発明は、本発明を実行するために熟考された最良の態様として開示された特定の実施形態に限定されるものでなく、本発明は、添付の特許請求の範囲内に該当する全ての実施形態を含むことを企図している。
図1A
図1B
図2
図3A
図3B
図3C
図4A
図4B
図4C
図5A
図5B
図5C
図6A
図6B
図6C
図7A
図7B
図7C
図8A
図8B
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23
図24
図25
図26
図27
図28
図29
図30
図31
図32A
図32B
図33
図34
図35
図36