特許 7612899 コンフルエンシー推定のためのセグメンテーションベースの画像処理

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-27

(45)【発行日】2025-01-14

(54)【発明の名称】コンフルエンシー推定のためのセグメンテーションベースの画像処理

(51)【国際特許分類】

   G06T 7/00 20170101AFI20250106BHJP

【ＦＩ】

G06T7/00 630

【請求項の数】 17

(21)【出願番号】P 2023577553

(86)(22)【出願日】2022-06-15

(65)【公表番号】

(43)【公表日】2024-07-17

(86)【国際出願番号】 IB2022055546

(87)【国際公開番号】W WO2022264060

(87)【国際公開日】2022-12-22

【審査請求日】2023-12-20

(31)【優先権主張番号】63/211,964

(32)【優先日】2021-06-17

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】519089495

【氏名又は名称】ブイビーシー ホールディングス エルエルシー

(74)【代理人】

【識別番号】110002572

【氏名又は名称】弁理士法人平木国際特許事務所

(72)【発明者】

【氏名】ピルッティ，デビッド

(72)【発明者】

【氏名】ゴメス ドス サントス，アリソン ウィリアン

(72)【発明者】

【氏名】アルマーニ，フランチェスコ

(72)【発明者】

【氏名】カッタールッツィ，ジャコモ

【審査官】松永 隆志

(56)【参考文献】

【文献】特表２００７－５０９３１４（ＪＰ，Ａ）

【文献】特開２０１４－１１０７９７（ＪＰ，Ａ）

【文献】Sedighe Firuzinia ほか３名，An Automatic Method for Morphological Abnormality Detection in Metaphase II Human Oocyte Images，2019 9th International Conference on Computer and Knowledge Engineering (ICCKE)，2019年10月25日，p.91-97，［令和6年8月6日検索］，インターネット ＜URL：https://ieeexplore.ieee.org/abstract/document/8964838＞

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

処理回路を含む装置を動作させる方法であって、
前記処理回路により、前記装置に、
調整画像を生成するために画像の特徴を調整することと、
前記調整画像をセグメント化することによって第１のセグメンテーションマスクを生成することと、
前記第１のセグメンテーションマスクに形態学的操作を適用することによって修正マスクを生成することと、
前記調整画像及び前記修正マスクの反転に基づいて修正マスク入力を生成することと、
前記修正マスク入力をセグメント化することによって第２のセグメンテーションマスクを生成することと、
前記第１のセグメンテーションマスク及び前記第２のセグメンテーションマスクに基づいて前記調整画像のカバレッジを決定することと
を行わせる命令を実行すること
を含む方法。

【請求項2】

前記画像の前記特徴を調整することは、前記画像の照度レベルを正規化することを含む、請求項１に記載の方法。

【請求項3】

前記画像の前記照度レベルを正規化することは、ぼかされた画像を生成するために、前記画像にガウスぼかしを適用することと、前記画像から前記ぼかされた画像を減算することとを含む、請求項２に記載の方法。

【請求項4】

前記画像の前記特徴を調整することは、前記画像の局所コントラストレベルを増加させることを含む、請求項１に記載の方法。

【請求項5】

前記画像の前記局所コントラストレベルを増加させることは、前記画像にコントラスト制限適応ヒストグラム等化を適用することを含む、請求項４に記載の方法。

【請求項6】

前記第１のセグメンテーションマスクを生成することは、エッジフィルタに基づいて前記調整画像をセグメント化することを含む、請求項１に記載の方法。

【請求項7】

前記第１のセグメンテーションマスクを生成することは、前記調整画像にガウスぼかしを適用することを含む、請求項１に記載の方法。

【請求項8】

前記第１のセグメンテーションマスクを生成することは、前記調整画像のコントラストレベルを増加させることを含む、請求項１に記載の方法。

【請求項9】

前記形態学的操作は、
オープン形態学的操作、
クローズ形態学的操作、
ダイレーション形態学的操作、及び
エロージョン形態学的操作
の少なくとも１つを含む、請求項１に記載の方法。

【請求項10】

前記修正マスク入力をセグメント化することは、エッジフィルタに基づいて前記修正マスク入力をセグメント化することを含む、請求項１に記載の方法。

【請求項11】

前記修正マスク入力をセグメント化することは、前記修正マスク入力にガウスぼかしを適用することを含む、請求項１に記載の方法。

【請求項12】

前記修正マスク入力をセグメント化することは、前記修正マスク入力のコントラストレベルを増加させることを含む、請求項１に記載の方法。

【請求項13】

前記命令を実行することは、前記装置に、複合マスクを生成するために前記第１のセグメンテーションマスク及び前記第２のセグメンテーションマスクを結合させることをさらに行わせる、請求項１に記載の方法。

【請求項14】

前記複合マスクを生成することは、前記複合マスクの非細胞エリアを除外するために、前記複合マスクに非細胞フィルタを適用することを含む、請求項１３に記載の方法。

【請求項15】

前記複合マスクの前記非細胞エリアを除外することは、
前記非細胞エリアの形態、及び
前記非細胞エリアのサイズ
の少なくとも１つに基づく、請求項１４に記載の方法。

【請求項16】

前記調整画像の前記カバレッジを決定することは、前記複合マスクによってマスクされた前記調整画像を前記調整画像の前記カバレッジの図として提示することを含む、請求項１３に記載の方法。

【請求項17】

前記カバレッジを決定することは、前記複合マスクのカバレッジを推定することを含む、請求項１３に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本出願は、２０２１年６月１７日に出願された米国仮特許出願第６３／２１１，９６４号明細書の利益及び優先権を主張するＰＣＴ国際出願である。上記の出願の開示全体が参照により本明細書に組み込まれる。

【0002】

本開示は、画像解析の分野に関し、より詳細には、細胞培養の画像における細胞のコンフルエンスなどの画像のカバレッジを決定することに関する。

【背景技術】

【0003】

ここで提供される背景技術の説明は、本開示の背景を一般的に提示するためのものである。この背景技術のセクションに記載されている範囲における現在名前を挙げられている本発明者らの研究及び出願時に先行技術として認められない可能性のある本明細書の態様は、本開示に対する先行技術として明示的にも黙示的にも認められない。

【0004】

イメージングの分野では、ある特徴による画像のカバレッジを決定するために画像の解析を伴う状況が多くある。一例として、細胞培養の画像は、様々な種類、形状及びサイズであり得る多数の細胞を含み得る。研究者などの個人が細胞培養の画像を見て、コンフルエンス、すなわち画像のフィールドにおける細胞のカバレッジを決定することが望ましい場合がある。例えば、細胞培養が成熟するにつれて、細胞は、成長及び／又は増殖し得、それにより画像のコンフルエンスが増加する。個人は、例えば、細胞培養の発達段階を決定するために、特定の時点におけるコンフルエンスを決定することを望み得る。個人は、例えば、コンフルエンスの程度によって示され得る特定の発達段階に入った際に細胞培養を処理、測定及び／又は染色することにより、そのような決定を用いて細胞培養の研究を行うことができる。

【0005】

しかしながら、そのような推定技術のいくつかの特徴は、個人によるコンフルエンスの決定に悪影響を及ぼすか又はそれを制限し得る。第１の例として、個人によるカバレッジの決定（コンフルエンス推定及び／又は細胞計数など）に依存することは、例えば、評価される画像の量が多い場合及び／又は細胞の数が多い場合に時間がかかり得る。その結果、カバレッジの決定が非効率的となり得、これにより細胞培養集団について適時に評価できる画像の数が制限され得、且つ／又は以前の発達段階の画像が評価されるときまでに細胞培養中の細胞が高度な発達段階に成熟するなど、カバレッジ決定の提示が遅延し得る。

【0006】

第２の例として、個人によるカバレッジ決定に依存することは、例えば、カバレッジ推定又はコンフルエンス推定が「密」、「中程度」又は「疎」として定性的に測定される場合（この場合、個人によってそのようなカテゴリ間の閾値が異なり得、且つ／又は個人の閾値が経時的に変化し得る）、不正確となり得る。第３の例として、例えば非細胞組織片のような破片、塵埃のような汚染物質及び／又は画像、イメージングプロセス若しくはディスプレイのアーチファクトなどの他の可視物質が画像内に存在するため、個人によるカバレッジ決定に依存することが困難であり得る。このような場合、個人が画像の細胞と非細胞特徴とを区別することが困難であり得、これにより画像のカバレッジの過大評価又は過小評価に至る場合がある。

【0007】

場合により、自動化画像解析技術を使用することにより、画像のカバレッジの評価において個人を支援することが可能であり得る。しかしながら、そのような技術の多くは、カバレッジの程度が高い画像、例えば細胞が密に配置された高コンフルエンススライドに対して比較的性能が低い場合がある。このような場合、多くの画像解析技術は、細胞の少なくとも一部を認識できず、その結果、細胞培養のコンフルエンスの過小評価など、カバレッジの過小評価がもたらされ得る。そのようなコンフルエンスの過小評価の結果、コンフルエンスによって示される特定の発達段階に細胞培養が到達したことに基づくさらなる研究プロセスは、実際の特定の発達段階よりも後の時点まで遅延され得、これは、予期せぬ結果をもたらし得、且つ／又は結果として生じた細胞培養若しくはデータの完全性を損ない得る。

【発明の概要】

【発明が解決しようとする課題】

【0008】

画像評価及び／又はそれに基づく他のプロセスの達成可能な速度及び／又は量を向上させることができる、画像の正確なカバレッジ評価を行う画像評価技術を提供することが望ましい場合がある。特に、細胞培養の高コンフルエンスなコンフルエンス画像などの高カバレッジ画像の正確なカバレッジ評価を行う画像評価技術を提供することが望ましい場合がある。

【課題を解決するための手段】

【0009】

いくつかの例示的な実施形態では、装置は、画像をセグメント化することによって第１のセグメンテーションマスクを生成することと、第１のセグメンテーションマスクに形態学的操作を適用することによって修正マスクを生成することと、画像及び修正マスクの反転に基づいて修正マスク入力を生成することと、修正マスク入力をセグメント化することによって第２のセグメンテーションマスクを生成することと、第１のセグメンテーションマスク及び第２のセグメンテーションマスクに基づいて画像のカバレッジを決定することとを行うように構成された処理回路を含む。

【0010】

いくつかの例示的な実施形態では、システムは、画像をセグメント化することによって第１のセグメンテーションマスクを生成することと、第１のセグメンテーションマスクに形態学的操作を適用することによって修正マスクを生成することと、画像及び修正マスクの反転に基づいて修正マスク入力を生成することと、修正マスク入力をセグメント化することによって第２のセグメンテーションマスクを生成することと、第１のセグメンテーションマスク及び第２のセグメンテーションマスクに基づいて画像のカバレッジを決定することとを行うように構成された画像評価器を含む。

【0011】

いくつかの例示的な実施形態では、処理回路によって実行されると、装置に、画像をセグメント化することによって第１のセグメンテーションマスクを生成することと、第１のセグメンテーションマスクに形態学的操作を適用することによって修正マスクを生成することと、画像及び修正マスクの反転に基づいて修正マスク入力を生成することと、修正マスク入力をセグメント化することによって第２のセグメンテーションマスクを生成することと、第１のセグメンテーションマスク及び第２のセグメンテーションマスクに基づいて画像のカバレッジを決定することとを行わせる命令を格納する非一時的コンピュータ可読記憶媒体である。

【0012】

いくつかの例示的な実施形態では、装置を動作させる方法は、処理回路により、装置に、画像をセグメント化することによって第１のセグメンテーションマスクを生成することと、第１のセグメンテーションマスクに形態学的操作を適用することによって修正マスクを生成することと、画像及び修正マスクの反転に基づいて修正マスク入力を生成することと、修正マスク入力をセグメント化することによって第２のセグメンテーションマスクを生成することと、第１のセグメンテーションマスク及び第２のセグメンテーションマスクに基づいて画像のカバレッジを決定することとを行わせる命令を実行することを含む。

【0013】

いくつかの例示的な実施形態は、調整画像を生成するために画像の特徴を調整することを含み、及び第１のセグメンテーションマスクを生成することは、調整画像をセグメント化することを含む。いくつかの例示的な実施形態では、画像の特徴を調整することは、画像の照度レベルを正規化することを含む。いくつかの例示的な実施形態では、画像の画像照度レベルを正規化することは、ガウスぼかしを適用することを含む。例えば、ガウスぼかしは、画像のコピーに適用され得、次いでぼかされたコピーが画像から減算される。

【0014】

いくつかの例示的な実施形態では、画像の特徴を調整することは、画像の局所コントラストレベルを増加させることを含む。いくつかの例示的な実施形態では、画像の局所コントラストレベルを増加させることは、画像にコントラスト制限適応ヒストグラム等化を適用することを含む。

【0015】

いくつかの例示的な実施形態では、第１のセグメンテーションマスクを生成することは、エッジフィルタに基づいて画像をセグメント化することを含む。いくつかの例示的な実施形態では、第１のセグメンテーションマスクを生成することは、画像にガウスぼかしを適用することを含む。いくつかの例示的な実施形態では、第１のセグメンテーションマスクを生成することは、画像のコントラストレベルを増加させることを含む。

【0016】

いくつかの例示的な実施形態では、形態学的操作は、オープン形態学的操作、クローズ形態学的操作、ダイレーション形態学的操作又はエロージョン形態学的操作の１つ又は複数を含む。

【0017】

いくつかの例示的な実施形態では、修正マスク入力をセグメント化することは、エッジフィルタに基づいて修正マスク入力をセグメント化することを含む。いくつかの例示的な実施形態では、修正マスク入力をセグメント化することは、修正マスク入力にガウスぼかしを適用することを含む。いくつかの例示的な実施形態では、修正マスク入力をセグメント化することは、修正マスク入力のコントラストレベルを増加させることを含む。

【0018】

いくつかの例示的な実施形態は、複合マスクを生成するために第１のセグメンテーションマスク及び第２のセグメンテーションマスクを結合させることを含み得る。いくつかの例示的な実施形態では、複合マスクを生成することは、複合マスクの非細胞エリアを除外するために、複合マスクに非細胞フィルタを適用することを含む。いくつかの例示的な実施形態では、複合マスクの非細胞エリアを除外することは、非細胞エリアの形態又は非細胞エリアのサイズの１つ又は複数に基づく。

【0019】

いくつかの例示的な実施形態では、画像のカバレッジを決定することは、マスク入力画像を画像のカバレッジの図として提示することを含む。いくつかの例示的な実施形態では、カバレッジを決定することは、複合マスクのカバレッジを推定することを含む。

【0020】

本開示は、詳細な説明及び添付の図面からより詳細に理解されるであろう。図面において、参照番号は、類似及び／又は同一の要素を識別するために再使用され得る。

【図面の簡単な説明】

【0021】

【図1】様々なコンフルエンスを有する例示的な細胞培養画像の図である。

【図2】いくつかの画像評価プロセスに従い、細胞培養画像のいくつかのエリアにおけるコンフルエンスを過小評価する、高コンフルエンス細胞培養画像の例示的評価の図である。

【図3】いくつかの例示的な実施形態に従う、画像のカバレッジを決定するための画像技術の一例である。

【図4】いくつかの例示的な実施形態に従う画像特徴調整の第１の例の図である。

【図5】いくつかの例示的な実施形態に従う画像特徴調整の第２の例の図である。

【図6】いくつかの例示的な実施形態に従う調整画像の例示的な第１のセグメンテーションの第１の部分の図である。

【図7】いくつかの例示的な実施形態に従う、調整画像の例示的な第１のセグメンテーションの第２の部分の図である。

【図8】いくつかの例示的な実施形態に従う、第１のセグメンテーションマスクに適用され得る形態学的操作の例示的なセットの図である。

【図9】いくつかの例示的な実施形態に従って生成された第２の修正マスク入力の図である。

【図10】いくつかの例示的な実施形態に従う、第２の修正マスク入力の例示的な第２のセグメンテーションの第１の部分の図である。

【図11】いくつかの例示的な実施形態に従う、第２の修正マスク入力の例示的な第２のセグメンテーションの第２の部分の図である。

【図12】いくつかの例示的な実施形態に従う、複合マスクの生成の図である。

【図13】いくつかの例示的な実施形態に従う、複合マスクのセットへの非細胞フィルタの適用の図である。

【図14】いくつかの例示的な実施形態に従う、細胞培養に画像処理技術を適用することによって生成された画像のセットの図である。

【図15】いくつかの例示的な実施形態に従う例示的な装置のコンポーネントブロック図である。

【図16】いくつかの例示的な実施形態に従う例示的な方法１６００のフロー図である。

【図17】いくつかの例示的な実施形態に従う例示的な非一時的コンピュータ可読媒体１７００の図である。

【図18】いくつかの例示的な実施形態が実装され得る例示的な装置の図である。

【発明を実施するための形態】

【0022】

Ａ．概論
以下の概論は、いくつかの例示的な実施形態に関連する、機械学習技術を含むいくつかの画像解析機能の概要を提供することを意図する。

【0023】

図１は、様々なカバレッジを有する画像の例として提示される、様々なコンフルエンスを有する例示的な細胞培養画像の図である。図１において、第１の細胞培養画像１００－１は、低コンフルエンス、すなわち細胞による第１の細胞培養画像１００－１のフィールドの低カバレッジを示す。第２の細胞培養画像１００－２は、中程度のコンフルエンス、すなわち細胞による第２の細胞培養画像１００－２のフィールドの中程度のカバレッジを示す。第３の細胞培養画像１００－３は、高コンフルエンス、すなわち細胞による第３の細胞培養画像１００－３のフィールドの高カバレッジを示す。様々な実装形態では、コンフルエンスは、接着細胞で覆われた培養皿の割合として定量的に定義され得る。特定の画像に言及する場合、コンフルエンスは、接着細胞によって覆われている、画像に示された培養皿の割合として定量的に定義することができる。

【0024】

図１の細胞培養画像１００－１、１００－２、１００－３を比較することで理解され得るように、個人による各細胞培養画像のカバレッジの推定は、様々な程度の精度をもたらし得る。そのような第１の例として、第１の細胞培養画像１００－１では、細胞間の間隔が広いため、細胞は、容易に明確に見ることができ、簡単に計数又は推定することができる。一方、第３の細胞培養画像１００－３では、細胞は、カバレッジの密度により、互いに区別することがより困難であり得る。細胞計数アルゴリズムの実装を混乱させ得る背景強度の違いにも留意されたい。

【0025】

そのような第２の例として、第１の細胞培養画像１００－１では、細胞は、間隔をあけており、第１の細胞培養画像１００－１内の破片又は他の物質ではなく、特徴的な形状を有する細胞として容易に識別することができるが、第３の細胞培養画像１００－３では、細胞の密度は、第１の細胞培養画像１００－３内の破片又は他の物質と細胞を区別することを困難にし得る。そのような困難の結果として、細胞培養画像１００－１、１００－２、１００－３のカバレッジの推定の精度が変動し得、特に細胞培養のコンフルエンスが増加するにつれて精度が低下し得る。

【0026】

画像コンフルエンスを評価するための自動化プロセスを開発することにより、人的エラーを排除し、コンフルエンスの評価の再現性を高めることができる。例えば、同じ画像に対して、異なる人間の専門家が異なる推定を提供し得、１人の専門家であっても、同じ画像に対して異なる時点で異なる推定を提供し得る。

【0027】

図２は、いくつかの画像評価プロセスに従い、細胞培養画像のいくつかのエリアにおけるコンフルエンスを過小評価する、高コンフルエンス細胞培養画像の例示的評価の図である。オリジナルの細胞培養画像２００－１において、細胞培養のいくつかのエリア２０２－１、２０２－２は、個々の細胞を互いに区別すること及び／又は細胞を非細胞物質から区別することが困難であり得るような高視覚的密度のエリアに細胞を含み得る。細胞培養画像２００－２の高コントラスト又は二値化（すなわち画素を黒又は白の２つのバイナリ値の一方にマッピングする）バージョンでは、対応するエリア２０２－３、２０２－４は、これらの高密度エリアにおける詳細が失われるため、細胞、非細胞物質、空所として特徴付けることがさらに困難であり得、誤って非細胞として特徴付けられ得る。

【0028】

細胞培養画像２００－３の評価バージョンでは、細胞のように見えるエリア２０２－５、２０２－６は、ここでは空所として特徴付けられている。このような高コンフルエンス細胞培養の高密度エリアにおける詳細の喪失及び誤った特徴付けの結果として、細胞培養画像２００－１のコンフルエンスが過小評価され得る。このようなコンフルエンスの過小評価の結果、細胞培養画像２００－１に対応した細胞培養が、コンフルエンスによって示される特定の発達段階に到達したことに応答して行われるさらなる研究プロセスは、上記の特定の発達段階よりも後の時点に遅延され得る。これは、予期せぬ結果をもたらし得、且つ／又は結果として生じた細胞培養若しくはデータの完全性を損ない得る。

【0029】

Ｂ．提示される技術
図３は、いくつかの例示的な実施形態に従う、画像のカバレッジを決定するための画像処理技術の一例である。図３の選択部分を図４～図１２にさらに示す。

【0030】

図３の例示的な画像処理技術３０２では、カバレッジ決定が望まれる画像３００が提供される。一例として、画像３００は、個人の組織サンプルから採取された細胞群などの細胞培養の画像であり得る。例えば、細胞培養は、免疫細胞、ＮＫ－９２細胞、Ｔ細胞、免疫コンピテント細胞、ＣＨＯ細胞、ＨＥＫ細胞、ＨｅＬａ細胞、健康な組織、腫瘍などの不健康な組織及び／又は癌細胞を含んでも若しくは含まなくてもよい不確定な組織などの未知の組成の組織を表し得る。他のそのような画像３００は、微生物などの他の有機的特徴及び／又は結晶構造などの無機的特徴を含み得る。画像の特徴は、助けなしに個人の目に見えるような巨視的なものであり得るか、又は画像の光学的及び／又はデジタル拡大下で目に見える小さい特徴などの顕微鏡的なものであり得る。

【0031】

図３の例示的な画像処理技術３０２では、画像３００のカバレッジのカバレッジ決定３３０が望まれる。決定されるカバレッジは、例えば、画像３００のどのエリアが細胞によって覆われているか（例えば、白画素によって表される）及び画像３００のどのエリアが細胞によって覆われていないか（例えば、黒画素によって表される）又はその逆を示すビットマップなどのカバレッジマスク３３２、さらに評価され、且つ／又は個人に提示され得る、覆われた画像３００のエリアのアウトライン化などのマスク入力画像３３４及び／又は密度（例えば、細胞数／ｍｍ^２）、カウント（例えば、画像のエリア内で明確に見える２５０個の細胞）及び／又は画像３００の全エリアに対する画像３００の覆われたエリアのコンフルエンス率（例えば、６０％のコンフルエンス）として個人に報告され得る、画像３００の全エリア内における、細胞を描写する画像３００のエリアの測定に基づくコンフルエンス若しくはカバレッジ推定３３６などのカバレッジ推定を含み得る。

【0032】

図３の例示的な画像処理技術３０２は、１つ又は複数の画像特徴調整３０４から始まる。第１の例として、画像３００の照度レベルを正規化するために、照度正規化３０６が画像３００に適用され得る。例えば、画像３００の明度、明るさ及び／又はコントラストレベルを調整して、画像３００の平均照度を、残りの画像処理特徴が良好に適合する目標平均照度に向けて上昇及び／又は下降させ得る。そのような照度正規化３０６の一形態は、画像３００のコピーにガウスぼかしを適用し、次いで画像３００からぼかされたコピーを減算することを含み得る。

【0033】

様々な実装形態において、画像３００の各局所エリアの目標コントラストレベルを促進して、一貫性のない照明又はシャドーイングなどの視覚的アーチファクトに起因し得る高コントラストシフトを低減するために、局所コントラスト強調３０８が画像３００に適用され得る。局所コントラスト強調３０８の１つのそのような形態は、コントラスト制限適応ヒストグラム等化（「ＣＬＡＨＥ」）プロセスを画像３００に適用することを含み得る。画像処理技術３０２による追加処理のために調整画像を生成するために、そのような１つ又は複数の画像特徴調整３０４が画像３００に適用され得る。

【0034】

図４は、いくつかの例示的な実施形態に従う画像特徴調整の第１の例の図である。様々なコンフルエンスの画像４００－１、４００－２、４００－３は、照度正規化プロセス及びコントラスト強調（ＣＬＡＨＥなど）によって処理される。対応する調整画像４０２－１、４０２－２、４０２－３は、セグメンテーションのためにより正確に評価され得る、より鮮明な境界を有する、より高いコントラストの画像を提示する。

【0035】

図５は、いくつかの例示的な実施形態に従うコントラスト調整プロセスの図である。図５では、セグメンテーションのためにより正確に評価され得る、より鮮明な境界を有する調整画像５０２を生成するために、ＣＬＡＨＥなどの局所コントラスト調整プロセスが画像５００に適用される。様々な実装形態において、ＣＬＡＨＥは、画像５００の平均コントラストに基づいて自動的に決定される「ｃｌｉｐＬｉｍｉｔ」パラメータによって調節され得る。

【0036】

図５に示す局所コントラスト調整は、照度正規化及び／又はガウスぼかしと代替的に又は一緒に適用され得る。様々な実装形態において、図５に示す局所コントラスト調整は、照度正規化及び／又はガウスぼかし前に、それと同時に且つ／又はその後に適用され得る。

【0037】

図３に戻ると、図３の例示的な画像処理技術３０２は、第１のセグメンテーション３１０を含み得、第１のセグメンテーション３１０では、画像３００（又はいくつかの例示的な実施形態では画像特徴調整３０４によって提供された生成された調整画像）は、第１のセグメンテーションマスク３１２を生成するためにエッジ又は境界を決定するように評価される。第１のセグメンテーション３１０は、例えば、細胞などの視覚的特徴を表し得る高コントラスト境界の位置、寸法及び／又は形状など、画像３００又は調整画像のエッジ又は境界の記述子のセットを生成することができる。

【0038】

いくつかの例示的な実施形態では、第１のセグメンテーション３１０は、画像３００に１つ又は複数のエッジ検出フィルタを適用することを含み得る。そのような第１の例として、ソーベルＸ軸フィルタが画像３００又は調整画像に適用され得る。ソーベルＸ軸フィルタは、垂直エッジを示し得る水平方向に隣接する画素間の高コントラスト差を検出するように構成される。例示的な３×３のソーベルＸ軸フィルタは、以下のフィルタ行列で表される。

【数1】

【0039】

そのような第２の例として、ソーベルＹ軸フィルタが画像３００又は調整画像に適用され得る。ソーベルＹ軸フィルタは、水平エッジを示し得る、垂直方向に隣接する画素間の高コントラスト差を検出するように構成される。例示的な３×３ソーベルＹ軸フィルタは、以下のフィルタ行列によって表される。

【数2】

【0040】

様々な実装形態において、ソーベルＸ軸フィルタ及びソーベルＹ軸フィルタを別々に画像に適用し、次いでその結果得られたフィルタ処理画像を結合して、結合ソーベルＸＹフィルタを生成することができる。様々な実装形態において、キャニーエッジ検出器などの他のエッジ検出機構が使用され得る。例えば、Ｓｏｎｇらに対して２０１９年３月１２日に発行された、その開示全体が参照により本明細書に組み込まれる米国特許第１０，２２９，３４２号明細書を参照されたい。（理想的には１つ又は複数の細胞の）エッジが識別されると、エッジは、長軸、短軸、サイズ、頂点など、明確に見える細胞の幾何学的特性を決定するために使用することができる。

【0041】

そのような多くのセグメンテーション画像処理技術は、画像３００又は画像特徴調整３０４に基づく調整画像をセグメント化して、第１のセグメンテーションマスク３１２を生成するために適用され得る。さらに、いくつかの例示的な実施形態では、第１のセグメンテーション３１０前、その間及び／又はその後、さらなる画像処理が画像３００（調整画像を含む）に適用され得る。そのような第１の例として、第１のセグメンテーションマスク３１２を生成することは、例えば、識別されたエッジ又は境界の平滑性を増加させ、且つ／又は粗さ若しくは不均一さを減少させるために、セグメント化された画像３００にガウスぼかしを適用することを含み得る。

【0042】

そのような第２の例として、第１のセグメンテーションマスク３１２を生成することは、グレースケールセグメント化画像を、セグメント化された画像３００のどのエリアがセグメント化エリア（例えば、細胞境界によって画定された細胞）内にあるか及び画像３００のどのエリアが細胞によって覆われていないか（例えば、空所若しくは非細胞物質）又はその逆であるかを示す二値化された１ビットのビットマップに変換するために強度閾値を適用することなどにより、セグメント化された画像３００のコントラストレベルを増加させることを含み得る。第１のセグメンテーション３１０は、さらなる処理のために、第１のセグメンテーションマスク３１２を出力することができる。

【0043】

図６は、いくつかの例示的な実施形態に従う、調整画像の例示的な第１のセグメンテーションの第１の部分の図である。

【0044】

図６の図では、（例えば、図４及び図５に示すような画像特徴調整３０４を適用した後に）調整画像６００が受信され、且つソーベルＸ軸フィルタにかけられ、それにより垂直エッジ又は境界が強調された第１のセグメント化画像６０２－１が生成される。代替的又は追加的に、調整画像６００は、ソーベルＹ軸フィルタにかけられ、それにより水平エッジ又は境界が強調された第２のセグメント化画像６０２－２が生成される。

【0045】

第１のセグメント化画像６０２－１及び第２のセグメント化画像６０２－２は、結合されて、実質的に結合ソーベルＸＹフィルタを有する画像６０４を生成することができる。次いで、画像６０４は、図７に関して説明するように、ガウスぼかしに供され得る。

【0046】

図７は、いくつかの例示的な実施形態に従う、調整画像の例示的な第１のセグメンテーションの第２の部分の図である。図６の画像６０４などの画像に対して、より平滑なエッジ又は境界を特徴とする第３のフィルタ処理画像７００を生成するために、ガウスぼかしが適用される。

【0047】

次に、高コントラストのセグメント化画像である第１のセグメンテーションマスク３１２を生成するために、二値化が適用され得る（すなわちグレースケールの第３のフィルタ処理画像７００を１ビットのビットマップに変換する）。本開示において、二値化は、画像のデータに依存する適応閾値を使用して行われ得る。例えば、適応閾値は、大津の方法を用いて決定され得る。大津の方法は、二値化段階内の情報損失を最小化するために、０の閾値を用いて開始され得る。例えば、大津の方法のＯｐｅｎＣＶ実装のみが使用され得る。

【0048】

図３に戻ると、図３の例示的な画像処理技術３０２は、第１の修正マスク３１６を生成するために、第１のセグメンテーションマスク３１２に１つ又は複数の形態学的操作３１４を適用することを含み得、１つ又は複数の形態学的操作３１４の各々は、第１のセグメンテーションマスク３１２の１つ又は複数の視覚的特徴の形状を変更し得る。様々な実施形態において、１つ又は複数の形態学的操作３１４は、所定の順序で順次適用され得る。形態学的オペレータの背景にある考え方は、小さい「ホワイトノイズ」（すなわち細胞として誤って分類された画素）及び「ブラックノイズ」（すなわち背景として誤って分類された画素）から推定されたバイナリマスクを「クリーン」にすることである。

【0049】

１つ又は複数の形態学的操作３１４は、膨張（又はダイレーション）操作、収縮（又はエロージョン）操作、オープン操作及びクローズ操作を含み得る。形態学的操作のさらなる説明は、ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ｍａｔｈｅｍａｔｉｃａｌ＿ｍｏｒｐｈｏｌｏｇｙで入手可能なＷｉｋｉｐｅｄｉａのＭａｔｈｅｍａｔｉｃａｌ Ｍｏｒｐｈｏｌｏｇｙにおいて見つけることができ、その内容全体（２０２１年６月１６日現在）が参照により組み込まれる。

【0050】

様々な実施形態において、膨張操作は、オブジェクトのエッジ又は境界に１つ又は複数の白画素を追加する。様々な実施形態において、収縮操作は、オブジェクトの境界から１つ又は複数の白画素を減算する。様々な実施形態において、オープンオペレータは、黒画素に囲まれた白画素の小エリアを消去する効果を有する、収縮操作に続いて膨張操作を実行することを含む複合オペレータである。様々な実施形態において、クローズオペレータは、白画素に囲まれた黒画素の小エリアを消去する効果を有する、膨張操作に続いて収縮操作を実行することを含む複合オペレータである。

【0051】

様々な実装形態において、形態学的操作は、一般に、第２のセグメンテーション段階のために画像を「準備」するために使用される。例えば、形態学的操作は、それぞれホワイトノイズ及びブラックノイズを消去するために形態学的オープン操作及びクローズ操作を使用するなどにより、第１のセグメント化画像を「クリーン」にするために選択される。このような操作後、細胞のエッジからいくつかの画素（この場合、操作ごとに１つ）を消去する効果を有する２つの形態学的エロージョン操作は、結果として得られる画像に適用される。その結果、細胞のエッジの著しいエロージョンを有する修正された第１のセグメンテーションマスクが得られる。次に、修正されたマスクは、符号反転され、入力画像に適用される（入力画像は、最初に照度補正及びコントラスト強調を施され得る）。

【0052】

第２のセグメンテーション段階のための新しいマスクを作成するために、第１のセグメンテーションマスクを修正し、その後、符号反転することの効果は、以前にセグメント化されていないエリアの細胞エッジを含む可能性が高いマスクを提供することであり、これにより、エッジ検出（ソーベル又はキャニーなど）に対して、マスクの適用によって与えられる人工的なエッジの代わりに、細胞の実際のエッジが提供される（例えば、図９の９０２に示されるような黒いエリア）。様々な実装形態において、形態学的オープン及びクローズ操作後、第１のセグメンテーションマスクは、２つの形態学的エロージョン操作で修正される。この修正されたマスクは符号反転されるため、このようなエロージョンの効果は、（「人工的なエッジ」が少ない）より公正なコンテキストで２回目のセグメンテーションを行うために、細胞の実際のエッジを含むために、「細胞エリア」を人工的に大きくすることである。

【0053】

様々な実装形態において、形態学的操作のセットは、以下のようにイメージングプロセス方法に統合され得る。
０）入力画像を取得する（照度正規化及び局所コントラスト強調を用いる）
１）第１のセグメンテーションマスクを生成する
２）１に対して形態学的「オープン」を実行し、これは、様々な実装形態において、小さいホワイトノイズを除去する
３）２に対して形態学的「クローズ」を実行し、これは、様々な実装形態において、小さいブラックノイズを除去する（白画素に囲まれた小さい黒い「穴」を「埋める」）
４）３に対して形態学的「エロージョン」を実行し、これは、様々な実装形態において、３のオブジェクトから１つの（白）画素を収縮させる
５）４に対して形態学的「エロージョン」を実行し、これは、様々な実装形態において、４のオブジェクトから１つの（白）画素を収縮させる
６）５の画素単位のＮＯＴ（符号反転）を実行する
７）処理された入力画像０をマスク６でフィルタリングするために、０及び６の画素単位の乗算を行う。その効果は、（第１のセグメンテーション段階でセグメント化されなかった）細胞の実際のエッジが存在する、マスク入力画像を取得することであり得る。
８）第２のセグメンテーションマスクを取得するために、７を処理する

【0054】

形態学的操作の選択は、画像解像度、画像サイズ及び細胞の種類と無関係であり得る。カーネルサイズは、コンテキスト依存であり得るが、様々な実装形態では、人工的な情報の導入を最小限に抑えつつ「単一画素ノイズ」から画像をクリーンにするために、可能な限り小さいサイズが使用される。

【0055】

先験的知識が使用され得る。例えば、様々な実装形態において、円形度フィルタは、最終的なセグメンテーションから、細胞ではないと仮定される小さい円形のオブジェクトをフィルタ除去する。この先験的知識は、研究対象の細胞に基づき得る。例えば、間葉系幹細胞は、細長い形状であり、したがって小さい円として表れないはずである。この先験的知識を用いて、予想される細胞の平均サイズ及び細長い形状に対応しないオブジェクトは、面積及び円形度フィルタ（図１３を参照されたい）（このフィルタは、小さくて、ほぼ丸いオブジェクトを認識し、最終的なバイナリマスクからそれらをフィルタ除去する）によってフィルタ除去され得る。サイズ及び丸み度のパラメータは、所与の種類の細胞について実験的に決定され得る。細胞の種類のさらなる例は、ヒト筋繊維及びヒト線維芽細胞であり、何れも細長い形状である。自動化された結果の目視検査により、細長い形状によって特徴付けられる細胞を含む様々な細胞の種類に対して、本出願に記載された方法が期待通りに機能することが確認された。

【0056】

図８は、いくつかの例示的な実施形態に従う、第１のセグメンテーションマスクに適用され得る形態学的操作の例示的なセットの図である。図８の図において、図７の第１のセグメンテーションマスク３１２は、いくつかの形態学的操作の１つ又は複数に供され得る。そのような第１の例として、オープン形態学的操作８００－１が第１のセグメンテーションマスク３１２に適用され得、この操作では、第１のセグメンテーションマスク３１２のエッジ又は境界が拡大され、その後、１つ又は複数の画素によって縮小される。そのような第２の例として、クローズ形態学的操作８００－２が第１のセグメンテーションマスク３１２に適用され得、この操作では、第１のセグメンテーションマスク３１２のエッジ又は境界が縮小され、その後、１つ又は複数の画素によって拡大される。そのような第３の例として、エロージョン形態学的操作８００－３が第１のセグメンテーションマスク３１２に適用され得、この操作では、第１のセグメンテーションマスク３１２のエッジ又は境界の凹及び／又は凸の不規則性が１つ又は複数の画素によって縮小される。

【0057】

いくつかの例示的な実施形態では、いくつかの例示的な実施形態に従い、第１の修正マスク３１６を生成するために、形態学的操作８００－１、８００－２、８００－３の１つ又は複数は、形態学的操作８００－１、８００－２、８００－３の別の１つ又は複数の前に、それと同時に且つ／又はその後に適用され得る。例えば、形態学的操作は、第１のセグメンテーションマスク３１２にカスケードで連続的に適用され得る。

【0058】

図３に戻ると、図３の例示的な画像処理技術３０２は、画像３００（又は任意選択的に、画像特徴調整３０４によって生成された調整画像）及び第１の修正マスク３１６の反転３１８に基づいて、第２の修正マスク入力３２０を生成することを含み得る。例えば、第１の修正マスク３１６が、白画素が覆われたエリアを表し、且つ黒画素が覆われていないエリアを表す１ビットのビットマップである場合、第１の修正マスク３１６の反転３１８は、黒画素が覆われたエリアを表し、且つ白画素が覆われていないエリアを表すか又はその逆である１ビットのビットマップを含み得る。

【0059】

さらに、いくつかの例示的な実施形態では、第２の修正マスク入力３２０は、画像３００（又は任意選択的に、画像特徴調整３０４によって生成された調整画像）及び第１の修正マスク３１６の反転３１８を結合させることによって生成され得る。いくつかの例示的な実施形態では、第２の修正マスク入力３２０は、画像特徴調整３０４によって生成された調整画像と第１の修正マスク３１６の反転３１８との画素単位の乗算（例えば、画素単位のＡＮＤ）を実行することによって生成され得る。いくつかの例示的な実施形態では、第２の修正マスク入力３２０は、画像３００（又は任意選択的に、画像特徴調整３０４によって生成された調整画像）と第１の修正マスク３１６の反転３１８とを他の方法で（加算又は平均化などによって）結合することにより生成され得る。

【0060】

図９は、いくつかの例示的な実施形態に従って生成された第２の修正マスク入力の図である。

【0061】

図９の図では、第１の修正マスク３１６は、例えば、第１の修正マスク３１６の１ビットのビットマップの１ビット値を反転させることにより、反転された第１の修正マスク９００を生成するために反転される。さらに、反転された第１の修正マスク９００は、いくつかの例示的な実施形態に従い、第２の修正マスク入力９０２を生成するために、画像３００（又は任意選択的に、画像特徴調整３０４によって生成された調整画像）と結合され得る。

【0062】

図３に戻ると、図３の例示的な画像処理技術３０２は、第２のセグメンテーションマスク３２４を生成するために、第２の修正マスク入力３２０の第２のセグメンテーション３２２を含むことができ、第２の修正マスク入力３２０は、第２のセグメンテーションマスク３２４を生成するためにエッジ又は境界を決定するように評価される。第２のセグメンテーション３２２は、例えば、細胞などの視覚的特徴を表し得る高コントラスト境界の位置、寸法及び／又は形状など、第２の修正マスク入力３２０のエッジ又は境界の記述子のセットを生成することができる。

【0063】

いくつかの例示的な実施形態では、第２のセグメンテーション３２２は、第２の修正マスク入力３２０に１つ又は複数のエッジ検出フィルタを適用することを含み得る。そのような第１の例として、ソーベルＸ軸フィルタが第２の修正マスク入力３２０に適用され得、ソーベルＸ軸フィルタは、垂直エッジを示し得る水平方向に隣接する画素間の高コントラスト差を検出するように構成される。そのような第２の例として、ソーベルＹ軸フィルタが第２の修正マスク入力３２０に適用され得、ソーベルＹ軸フィルタは、水平エッジを示し得る、垂直方向に隣接する画素間の高コントラスト差を検出するように構成される。そのような多くのセグメンテーション画像処理技術は、第２のセグメンテーションマスク３２４を生成するために、第２の修正マスク入力３２０をセグメント化するために適用され得る。

【0064】

さらに、いくつかの例示的な実施形態では、第２のセグメンテーション３２２前、その間及び／又はその後、追加の画像処理が第２のセグメンテーションマスク３２４に適用され得る。そのような第１の例として、第２のセグメンテーションマスク３２４を生成することは、例えば、識別されたエッジ又は境界の平滑性を増加させ、且つ／又は粗さ若しくは不均一さを減少させるために、セグメント化された第２の修正マスク入力３２０にガウスぼかしを適用することを含み得る。そのような第２の例として、第２のセグメンテーションマスク３２４を生成することは、グレースケールセグメント化画像を、セグメント化された第２の修正マスク入力３２０のどのエリアがセグメント化エリア（例えば、細胞境界によって画定された細胞）内にあるか及びセグメント化された第２の修正マスク入力３２０のどのエリアが細胞によって覆われていないか（例えば、空所若しくは非細胞物質）又はその逆であるかを示す二値化された１ビットのビットマップに変換するために強度閾値を適用することなどのセグメント化された第２の修正マスク入力３２０のコントラストレベルを増加させることを含み得る。第２のセグメンテーション３２２は、さらなる処理のために、第２のセグメンテーションマスク３２４を出力することができる。

【0065】

いくつかの例示的な実施形態では、第１のセグメンテーション３１０及び第２のセグメンテーション３２２は、同一であるか又は類似し得る。例えば、第１のセグメンテーションマスク３１２を生成するための第１のセグメンテーション３１０による画像３００のセグメンテーションが、第２のセグメンテーションマスク３２４を生成するための第２のセグメンテーション３２２による第２の修正マスク入力３２０のセグメンテーションと類似するように、第１のセグメンテーション３１０及び第２のセグメンテーション３２２の両方は、同一又は類似のサイズ及び／又はフィルタ値を有するソーベルＸ軸フィルタ及び／又はソーベルＹ軸フィルタを使用し得る。

【0066】

他のいくつかの例示的な実施形態では、第１のセグメンテーション３１０及び第２のセグメンテーション３２２は、大幅に異なり得る。いくつかの例示的な実施形態では、第１のセグメンテーション３１０は、第２のセグメンテーション３２２のサブセットであるか又はその逆であり得る。例えば、第１のセグメンテーション３１０は、ガウスぼかしを含み得、及び第２のセグメンテーション３２２は、ガウスぼかしを含まなくてもよいか又はその逆であり得る。いくつかの例示的な実施形態では、第１のセグメンテーション３１０及び第２のセグメンテーション３２２は、異なるフィルタ値を有するソーベルフィルタなど、異なるパラメータを有する類似のオペレータを含み得る。いくつかの例示的な実施形態では、第１のセグメンテーション３１０の動作及び第２のセグメンテーション３２２の動作は、全体的又は実質的に独立していてもよい。

【0067】

図１０は、いくつかの例示的な実施形態に従う、第２の修正マスク入力の例示的な第２のセグメンテーションの第１の部分の図である。図１０の図では、（例えば、反転された第１の修正マスク３１６及び画像３００又は調整画像６００に基づいて）第２の修正マスク入力９０２が受信され、且つソーベルＸ軸フィルタにかけられ、それにより垂直エッジ又は境界が強調された第１のセグメント化画像１０００－１が生成される。代替的又は追加的に、第２の修正マスク入力９０２は、ソーベルＹ軸フィルタにかけられ、それにより水平エッジ又は境界が強調された第２のセグメント化画像１０００－２が生成される。画像１０００－１及び画像１０００－２は、ソーベルＸＹ画像１００２を生成するために結合され得る。結合は、画素単位のＡＮＤ、画素単位のＯＲ、画素単位のＸＯＲ又は画素単位で作用しても又はしなくてもよい別の演算に基づき得る。

【0068】

図１１は、いくつかの例示的な実施形態に従う、第２の修正マスク入力の例示的な第２のセグメンテーションの第２の部分の図である。図１１の図では、より平滑なエッジ又は境界を特徴とする第３のフィルタ処理画像１１００を生成するために、ガウスぼかしプロセスがソーベルＸＹ画像１００２などに対して用いられる。具体的には、第３のフィルタ処理画像１１００を生成するために、ガウスぼかしがソーベルＸＹ画像１００２のコピーに適用され得る。

【0069】

次に、第２のセグメンテーションマスク３２４として機能する高コントラストのセグメント化画像１１０２を生成するために、二値化（すなわちグレースケールの第３のフィルタ処理画像１１００を１ビットのビットマップに変換すること）が適用され得る。

【0070】

図３に戻ると、いくつかの例示的な実施形態では、複合マスク３２６を形成するために、第１のセグメンテーションマスク３１２及び第２のセグメンテーションマスク３２４が結合される。

【0071】

図１２は、いくつかの例示的な実施形態に従う、複合マスクの生成の図である。図１２において、調整画像６００は、第１のセグメンテーションマスク３１２（図６に示すようなもの）及び第２のセグメンテーションマスク（図１１に示すようなもの）を生成するために処理される。複合マスク１２００は、第１のセグメンテーションマスク３１２及び第２のセグメンテーションマスク３２４に基づいて、例えば第１のセグメンテーションマスク３１２及び第２のセグメンテーションマスク３２４の画素単位の加算（例えば、画素単位のＯＲ）によって生成され得る。

【0072】

図３に戻ると、いくつかの例示的な実施形態において、例示的な画像処理技術３０２は、複合マスク３２６の非細胞エリアを除外するために、複合マスク３２６に非細胞フィルタ３２８を適用することを含み得る。

【0073】

図１３は、いくつかの例示的な実施形態に従う、複合マスクのセットへの非細胞フィルタの適用の図である。図１３において、様々なコンフルエンスの画像から生成された複合マスク１２００のセットは、複合マスク１２００の非細胞エリアを除外する非細胞フィルタにかけられる。そのような第１の例として、低コンフルエンス画像から生成された第１の複合マスク１２００－１は、第１のフィルタ処理された複合マスク１３００－１を生成するために非細胞フィルタにかけられる。そのような第２の例として、中程度のコンフルエンス画像から生成された第２の複合マスク１２００－２は、第２のフィルタ処理された複合マスク１３００－２を生成するために、非細胞フィルタにかけられる。そのような第３の例として、高コンフルエンス画像から生成された第３の複合マスク１２００－３は、第３のフィルタ処理された複合マスク１３００－３を生成するために、非細胞フィルタにかけられる。フィルタ処理された複合マスクの検査から理解され得るように、非細胞フィルタの適用により、低コンフルエンス画像、中コンフルエンス画像及び高コンフルエンス画像から生成された複合マスク１２００－１、１２００－２、１２００－３のそれぞれの非細胞エリアが除外される。

【0074】

図３に戻ると、いくつかの例示的な実施形態において、例示的な画像処理技術３０２は、第１のセグメンテーションマスク３１２及び第２のセグメンテーションマスク３２４に基づく画像３００のカバレッジのカバレッジ決定３３０を含み得る。

【0075】

図３の例示的な画像処理技術３０２にさらに示されるように、第１のセグメンテーションマスク３１２及び第２のセグメンテーションマスク３２４に基づいて生成された複合マスク３２６に基づいて、多くの種類のカバレッジ決定３３０が生成され得る。第１の例として、カバレッジ決定３３０は、覆われていると決定された画像３００のエリアを示す１ビットのビットマップなどのカバレッジマスク３３２を生成することを含み得る。カバレッジマスク３３２は、例示的な画像処理技術３０２のユーザなどの個人に提示され得、且つ／又はさらなる画像処理において使用され得る。そのような第２の例として、カバレッジ決定３３０は、画像３００の覆われたエリアが示され、且つ画像３００の覆われていないエリアが示されないように、出力画像として、マスク入力画像３３４を生成すること、例えばカバレッジマスク３３２、画像３００（又は任意選択的に１つ若しくは複数の画像特徴調整３０４に基づく調整画像）のビット単位の乗算を含み得る。

【0076】

他のそのようなマスク入力画像３３４が生成され、提示され得る。例えば、複合マスク３２６は、画像３００の覆われたエリアと覆われていないエリアとの間のエッジ又は境界を示し得、画像３００の覆われたエリア及び覆われていないエリアを画定するためにエッジ又は境界の描画、強調表示、着色などが行われるマスク入力画像３３４が生成され得る。そのような第３の例として、カバレッジ決定３３０は、例えば組織サンプルの画像３００における細胞のコンフルエンスの計算などのカバレッジ推定３３６を生成することを含み得る。カバレッジ推定３３６は、例えば、画像３００の全エリア内における、細胞を描写する画像３００のエリアの測定の１つ又は複数を含み得、これらは、密度（例えば、細胞数／ｍｍ^２）、カウント（例えば、画像のエリア内で明確に見える２５０個の細胞）及び／又は画像３００の全エリアに対する画像３００の覆われたエリアのコンフルエンス率（例えば、６０％のコンフルエンス）として個人に報告され得る。

【0077】

図３の画像処理技術３０２の要素は、現在開示されている技術から大きく逸脱することなく変化し得る。いくつかの例示的な実施形態では、図３の画像処理技術３０２の要素の１つ又は複数が組み合わされ得る（例えば、形態学的操作３１４及び反転３１８が単一のステップとして同時に実行され得る）。いくつかの例示的な実施形態では、図３の画像処理技術３０２の要素の１つ又は複数が２つ以上の別個の要素に分割され得る（例えば、オープン操作などの第１の形態学的操作３１４を実行し、その後、クローズ操作などの第２の形態学的操作３１４を順次実行すること）。

【0078】

いくつかの例示的な実施形態では、図３の画像処理技術３０２の要素の１つ又は複数が条件付きで実行され得る（例えば、第１のセグメンテーションマスク３１２の視覚的特徴のエッジが粗さ閾値を超えるという条件でのみオープン形態学的操作３１４を適用する）。いくつかの例示的な実施形態では、図３の画像処理技術３０２の要素の１つ又は複数は、重複し得るか（例えば、第１のセグメンテーション３１０後の第１のセグメンテーションマスク３１２に対してだけでなく、第２のセグメンテーション３２２後の第２のセグメンテーションマスク３２４に対しても同じ、類似の及び／又は異なる形態学的操作３１４を適用する）又は異なる配置で提示され得る（例えば、第１のセグメンテーション３１０と同時に且つ／又は第２のセグメンテーション３２２後、１つ又は複数の形態学的操作３１４の１つ又は複数を実行する）。本明細書に開示する技術の特徴を含み得る、図３の画像処理技術３０２の要素の多くのそのような変形形態は、当業者によって理解されるであろう。

【0079】

Ｃ．実験結果
図１４は、いくつかの例示的な実施形態に従う、細胞培養に画像処理技術を適用することによって生成された画像のセットの図である。

【0080】

図１４に示すように、低コンフルエンス細胞培養の第１の「グラウンドトゥルース」画像１４００－１として、熟練した人間のラベラーによってラベル付けされた低コンフルエンス画像が提供され、その結果、５．９３％のコンフルエンス推定が得られる。第１のマスク入力画像は、本明細書において提示される技術によって生成され、その結果、８．３３％のコンフルエンス推定が得られる。第１のマスク入力画像及び第１の「グラウンドトゥルース」画像１４００－１の第１の比較１４０２－１は、真陽性細胞が黄色で示され、偽陽性細胞が緑色で示され、偽陰性細胞が赤色で示され、且つ画像の真陰性エリアが黒色で示された状態で示されている。

【0081】

図１４にさらに示すように、熟練した人間のラベラーによってラベル付けされた中程度のコンフルエンス画像は、中程度のコンフルエンスの細胞培養の第２の「グラウンドトゥルース」画像１４００－２として提供され、その結果、４８．９４％のコンフルエンス推定が得られる。第２のマスク入力画像は、本明細書で提示される技術によって生成され、その結果、６０．４７％のコンフルエンス推定が得られる。第１のマスク入力画像及び第１の「グラウンドトゥルース」画像１４００－２の第２の比較１４０２－２は、真陽性細胞が黄色で示され、偽陽性細胞が緑色で示され、偽陰性細胞が赤色で示され、且つ画像の真陰性エリアが黒色で示された状態で示されている。

【0082】

図１４にさらに示すように、熟練した人間のラベラーによってラベル付けされた高コンフルエンス画像は、高コンフルエンス細胞培養の第３の「グラウンドトゥルース」画像１４００－３として提供され、その結果、９９．２２％のコンフルエンス推定が得られる。第３のマスク入力画像は、本明細書に提示される技術によって生成され、その結果、９５．０８％のコンフルエンス推定が得られる。第３のマスク入力画像及び第３の「グラウンドトゥルース」画像１４００－３の第３の比較１４０２－３は、真陽性細胞が黄色で示され、偽陽性細胞が緑色で示され、偽陰性細胞が赤色で示され、且つ画像の真陰性エリアが黒色で示された状態で示されている。

【0083】

図１４の比較１４００－１、１４００－２、１４００－３に見られるように、黄色（真陽性）及び黒色（真陰性）エリアの高い割合は、本明細書に提示される技術によって生成されたグラウンドトゥルース画像とマスク入力画像との間の強い対応関係を示す。特に、第３の比較１４０２－３における高い対応関係並びに高コンフルエンスの熟練した人間のラベラーによって生成されたコンフルエンス推定及びマスク入力画像の一致は、非常に高いコンフルエンスの画像であっても高い精度を有するカバレッジ精度推定を実証している。

【0084】

Ｄ．例示的実施形態
図１５は、いくつかの例示的な実施形態に従う例示的な装置のコンポーネントブロック図である。

【0085】

図１５に示すように、いくつかの例示的な装置１５００は、処理回路１５０２及びメモリ１５０４を含み得る。メモリ１５０４は、処理回路１５０２によって実行されると、例示的な装置１５００に画像３００のカバレッジを決定させる命令１５０６を格納することができる。いくつかの例示的な実施形態では、命令１５０６の実行は、例示的な装置１５００に、システム１５０８のコンポーネントのセットをインスタンス化及び／又は使用させることができる。図１５は、そのような１つのシステム１５０８を図示するが、いくつかの例示的な実施形態は、本明細書に開示される方法の何れかを具現化し得る。

【0086】

画像３００は、例示的な装置１５００のユーザなどの個人１５２０によって提供され得る。個人１５２０は、別のシステムから画像３００を取得し得るか、又は画像３００を取得して、装置１５００に画像３００を提供するように画像取得システムに指示し得る。様々な実施形態において、装置１５００は、画像取得システムの一部又は全部を含み得る。画像取得システムは、ライトのセット、レンズのセット並びに手動及び／又は自動制御を提供する画像センサのセットを含み得る。例えば、照明は、露出計を使用して自動的に決定され得、画像フォーカスは、オートフォーカスシステムを使用して自動的に設定され得る。画像の取得は、予定された間隔で実行されるなど、自動化されることも可能である。間隔は、被写体の観察されたカバレッジに基づいて動的であり得、例えばカバレッジがゆっくりと増加している場合に間隔を長くし得る。追加的又は代替的に、測定されたカバレッジが所望のカバレッジに近づくにつれて間隔を短くし得る。

【0087】

図１５の例示的なシステム１５０８は、画像３００をセグメント化することによって第１のセグメンテーションマスク３１２を生成する第１のセグメンタ１５１０を含む。そのような第１のセグメンテーションの例は、例えば、図６及び図７に示されている。

【0088】

図１５の例示的なシステム１５０８は、第１のセグメンテーションマスク３１２に形態学的操作３１４を適用することにより、第１の修正マスク３１６を生成する形態学的オペレータ１５１２を含む。そのような形態学的操作３１４の例は、例えば、図８に示されている。

【0089】

図１５の例示的なシステム１５０８は、画像３００及び第１の修正マスク３１６の反転に基づいて第２の修正マスク入力３２０を生成するインバータ１５１４を含む。そのような第２の修正マスク入力生成の例は、例えば、図９に示されている。

【0090】

図１５の例示的なシステム１５０８は、第２の修正マスク入力３２０をセグメント化することによって第２のセグメンテーションマスク３２４を生成する第２のセグメンタ１５１６を含む。そのような第２のセグメンテーションの例は、例えば、図１０及び図１１に示されている。

【0091】

図１５の例示的なシステム１５０８は、第１のセグメンテーションマスク３１２及び第２のセグメンテーションマスク３２４に基づいて、画像３００のカバレッジを決定するカバレッジ決定器１５１８を含む。

【0092】

図１５に示すように、いくつかの例示的な装置１５００は、命令を実行可能な処理回路１５０２を含み得る。処理回路１５０２は、論理回路を含むハードウェア；ソフトウェアを実行するプロセッサなどのハードウェア／ソフトウェアの組み合わせ；又はそれらの組み合わせなどを含み得る。例えば、プロセッサは、中央処理装置（ＣＰＵ）、グラフィック処理ユニット（ＧＰＵ）、演算論理装置（ＡＬＵ）、デジタル信号プロセッサ、マイクロコンピュータ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、システムオンチップ（ＳｏＣ）、プログラマブル論理ユニット、マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）などを含み得るが、これらに限定されない。

【0093】

図１５にさらに示すように、いくつかの例示的な装置１５００は、命令１５０６を格納したメモリ１５０４を含み得る。メモリ１５０４は、例えば、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能プログラマブル読み出し専用メモリ（ＥＰＲＯＭ）、電気的消去可能プログラマブル読み出し専用メモリ（ＥＥＰＲＯＭ）などを含み得る。メモリ１５０４は、システムメモリなどの揮発性及び／又はハードディスクドライブ、ソリッドステートストレージデバイス、フラッシュメモリ若しくは磁気テープなどの不揮発性であり得る。メモリ１５０４に格納される命令１５０６は、ＩＡ－３２命令セットアーキテクチャの変形又はＡＲＭ命令セットアーキテクチャの変形などのプロセッサのネイティブ命令セットアーキテクチャに従い、アセンブリ命令及び／又は機械語（例えば、バイナリ）命令；プロセッサ上で実行されるようにコンパイル可能及び／又は解釈可能である高水準命令型言語及び／又は宣言型言語の命令；及び／又はウェブブラウザなどの仮想マシンの仮想プロセッサによって実行されるようにコンパイル可能及び／又は解釈可能である命令として指定され得る。そのような高水準言語の非限定的な例のセットには、例えば、Ｃ、Ｃ＋＋、Ｃ＃、Ｏｂｊｅｃｔｉｖｅ－Ｃ、Ｓｗｉｆｔ、Ｈａｓｋｅｌｌ、Ｇｏ、ＳＱＬ、Ｒ、Ｌｉｓｐ、Ｊａｖａ（登録商標）、Ｆｏｒｔｒａｎ、Ｐｅｒｌ、Ｐａｓｃａｌ、Ｃｕｒｌ、ＯＣａｍｌ、ＪａｖａＳｃｒｉｐｔ（登録商標）、ＨＴＭＬ５（Ｈｙｐｅｒｔｅｘｔ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ ５ｔｈ ｒｅｖｉｓｉｏｎ）、Ａｄａ、ＡＳＰ（Ａｃｔｉｖｅ Ｓｅｒｖｅｒ Ｐａｇｅｓ）、ＰＨＰ（ＰＨＰ：Ｈｙｐｅｒｔｅｘｔ Ｐｒｅｐｒｏｃｅｓｓｏｒ）、Ｓｃａｌａ、Ｓｗｉｆｔ、Ｅｉｆｆｅｌ、Ｓｍａｌｌｔａｌｋ、Ｅｒｌａｎｇ、Ｒｕｂｙ、Ｆｌａｓｈ（登録商標）、Ｖｉｓｕａｌ Ｂａｓｉｃ（登録商標）、Ｌｕａ、ＭＡＴＬＡＢ、ＳＩＭＵＬＩＮＫ及びＰｙｔｈｏｎ（登録商標）が含まれ得る。そのような命令１５０６は、画像に示された腫瘍に基づいて個人の臨床値（予後など）を決定する際に利用される、ライブラリ、リソース、プラットフォーム、アプリケーションプログラミングインタフェース（ＡＰＩ）などの命令も含み得る。

【0094】

図１５に示すように、いくつかの例示的なシステム１５０８は、例えば、システムの各コンポーネントに何らかの機能を割り当てるための特定の方法で編成され得る。いくつかの例示的な実施形態は、ソフトウェア、ハードウェア（例えば、処理回路）又はそれらの組み合わせなどの様々な方法でそのような各コンポーネントを実装し得る。いくつかの例示的な実施形態では、システムの編成は、図１５に示す例示的なシステム１５０８を含むいくつかの他の例示的な実施形態と比較して異なり得る。例えば、いくつかの例示的な実施形態は、本開示の範囲から逸脱することなく、コンポーネント、コンポーネントのセット及びそれらの間の関係の名称の変更、再配置、追加、分割、重複、マージ及び／又は除去など、コンポーネントの異なる編成を特徴とするシステムを含み得る。合理的に技術的及び論理的に可能であり、他の記載と矛盾しないそのようなすべての変形形態が本開示に含まれることが意図され、その範囲は、特許請求の範囲によってのみ限定されると理解されるものとする。

【0095】

図１６は、いくつかの例示的な実施形態に従う例示的な方法１６００のフロー図である。

【0096】

例示的な方法１６００は、例えば、装置の処理回路によって実行されたとき、装置に例示的な方法１６００の各要素を実行させる命令のセットとして実装され得る。例示的な方法１６００は、例えば、装置の処理回路によって実行されたとき、装置に、第１のセグメンタ、形態学的オペレータ、インバータ、第２のセグメンタ及びカバレッジ決定器などのコンポーネントのシステムを提供させる命令のセットとしても実装され得る。

【0097】

例示的な方法１６００は、装置の処理回路により、装置に要素のセットを実行させる命令を実行する（１６０２）ことを含む。例えば、命令の実行は、装置に、画像３００をセグメント化することによって第１のセグメンテーションマスク３１２を生成させる（１６０４）ことができる。命令の実行は、装置に、第１のセグメンテーションマスク３１２に形態学的操作３１４を適用することによって第１の修正マスク３１６を生成させる（１６０６）ことができる。命令の実行は、装置に、画像３００及び第１の修正マスク３１６の反転３１８に基づいて、第２の修正マスク入力３２０を生成させる（１６０８）ことができる。命令の実行は、装置に、第２の修正マスク入力３２０をセグメント化することによって第２のセグメンテーションマスク３２４を生成させる（１６１０）ことができる。命令の実行は、装置に、第１のセグメンテーションマスク３１２及び第２のセグメンテーションマスク３２４に基づいて、画像３００のカバレッジ決定３３０を決定させる（１６１２）ことができる。このようにして、処理回路による命令の実行は、装置に例示的な方法１６００の要素を実行させることができ、したがって例示的な方法１６００が終了する。

【0098】

図１７は、いくつかの例示的な実施形態に従う例示的なコンピュータ可読媒体１７００の図である。

【0099】

図１７に示すように、非一時的コンピュータ可読媒体１７００は、例示的な装置１５００の処理回路１５０２によって実行されると、例示的な装置１５００に、画像３００のカバレッジ決定３３０を決定することを含む動作１７０６を実行させる命令１７０４のセットをエンコードするバイナリデータ１７０２を格納し得る。そのような第１の例として、命令１７０４は、図１５の例示的な装置１５００のコンポーネントをエンコードし得る。そのような第２の例として、命令１７０４は、図１５の例示的なシステム１５０８のコンポーネントをエンコードし得る。そのような第３の例として、命令１７０４は、図１６の例示的な方法１６００などの例示的な方法の要素をエンコードし得る。

【0100】

いくつかの例示的な実施形態において、システムは、画像３００のカバレッジを決定するための画像評価手段を含み得る。システムは、画像３００をセグメント化することによって第１のセグメンテーションマスク３１２を生成する第１のセグメント化手段と、第１のセグメンテーションマスク３１２に形態学的操作を適用することによって第１の修正マスク３１６を生成する第１の修正マスク生成手段と、画像３００及び第１の修正マスク３１６の反転３１８に基づいて第２の修正マスク入力３２０を生成する第２の修正マスク入力生成手段と、第２の修正マスク入力３２０をセグメント化することによって第２のセグメンテーションマスク３２４を生成する第２のセグメント化手段と、第１のセグメンテーションマスク３１２及び第２のセグメンテーションマスク３２４に基づいて、画像３００のカバレッジ決定３３０を決定する決定手段とを含み得る。

【0101】

Ｅ．技術的効果
本開示のいくつかの例示的な実施形態は、１つ又は複数の技術的効果を提示し得る。

【0102】

そのような第１の例として、いくつかの例示的な実施形態は、熟練した人間のラベラーによる検査を含む他の技術よりも高速及び／又は効率的な方法で細胞培養の画像などの画像３００の処理を可能にし得る。例えば、１つ又は複数の例示的な実施形態のコンポーネントは、画像３００が迅速に処理され得るように、並行、分散、ストリーミング及び／又はパイプラインアーキテクチャで実装され得る。一例として、画像３００のそのような迅速な評価により、研究環境における細胞培養は、細胞培養集団について適時に評価されることが可能であり、且つ／又は細胞培養における細胞が研究により示された成熟の選択された段階に達したことが決定されると、それらの細胞が速やかにさらなる研究に供され得るように、速やかにカバレッジ決定を提示することができる。

【0103】

そのような第２の例として、いくつかの例示的な実施形態は、細胞培養の画像などの画像３００を、熟練した人間のラベラーによる検査を含む他の技術よりも一貫性のある方法で処理することを可能にし得る。例えば、カバレッジ若しくはコンフルエンスの基準が異なり得、且つ／又は画像を評価する際の精度率が異なり得る、熟練した人間のラベラーのチームの判断に基づく決定を回避することにより、提示された技術のいくつかの例示的な実施形態は、一連の画像に対して、より一貫性のある基準を適用することができ、その結果、より一貫性のあるカバレッジ評価が得られ得る。さらに、提示された技術のいくつかの例示的な実施形態は、経時的に熟練した人間のラベラーの判断によって示され得るように、経時的により少ない分散を示し得、その結果、類似の画像３００のカバレッジ決定における分散が経時的に少なくなり得る。

【0104】

そのような第３の例として、いくつかの例示的な実施形態は、細胞培養の画像などの画像３００を、熟練した人間のラベラーによる検査を含む他の技術よりも正確な方法で処理することを可能にし得る。例えば、特に細胞培養の高コンフルエンス画像では、細胞間の区別又は細胞と非細胞物質との区別は、画像３００の密集したエリアにおいて困難であり得る。一部の熟練した人間のラベラーを含む多くの技術は、図２に示すように、そのような困難さのために、画像３００のカバレッジ決定を過小評価し得る。対照的に、本明細書に提示した技術（図１４など）に示されるように、いくつかの例示的な実施形態は、カバレッジ決定と、マッチするラベル付けされたグラウンドトゥルース画像３００との間に高度な対応関係を示し得る。そのような技術的効果の多くは、いくつかの例示的な実施形態によって示され得る。

【0105】

Ｆ．例示的なコンピューティング環境
図１８は、いくつかの例示的な実施形態が実装され得る例示的な装置の図である。

【0106】

図１８及び以下の説明は、本明細書に記載される既定の１つ又は複数の実施形態を実装するのに適したコンピューティング環境の簡単な一般的説明を提供する。図１８の動作環境は、適切な動作環境の一例に過ぎず、動作環境の使用範囲又は機能に関する制限を示唆することを意図したものではない。例示的なコンピューティングデバイスには、パーソナルコンピュータ、サーバコンピュータ、ハンドヘルド若しくはラップトップデバイス、モバイルデバイス（携帯電話、携帯情報端末（ＰＤＡ）、メディアプレーヤなど）、マルチプロセッサシステム、テレビなどのメディアデバイス、家電製品、埋め込みデバイス、ミニコンピュータ、メインフレームコンピュータ、上記のシステム又はデバイスの何れかを含む分散コンピューティング環境、ウェアラブルコンピューティングデバイス（眼鏡、イヤホン、腕時計、指輪、ペンダント、ハンドヘルド及び／又はボディマウントカメラ、衣服一体型デバイス並びに埋め込み可能デバイスなど）、自律車両、拡張現実（ＡＲ）デバイス及び／又は仮想現実（ＶＲ）デバイスなどの拡張現実（ＸＲ）デバイス、モノのインターネット（ＩｏＴ）デバイスなどが含まれるが、これらに限定されない。

【0107】

いくつかの例示的な実施形態は、ユニプロセッサ又はマルチプロセッサコンピュータ内の複数のプロセッサ及び／又は処理コア；ＣＰＵ及びＧＰＵなどのタンデムで動作する２つ以上のプロセッサ；ＡＳＩＣを利用するＣＰＵ；及び／又は処理回路によって実行されるソフトウェアなどの同じタイプ及び／又は異なるタイプのコンポーネントの組み合わせを含み得る。いくつかの例示的な実施形態は、単一のデバイスのコンポーネントを含み得、そのようなコンピュータは、キャッシュを格納し、キャッシュにアクセスし、且つキャッシュを管理する１つ又は複数のＣＰＵを含む。いくつかの例示的な実施形態は、キャッシュにアクセスし、且つ／又はキャッシュを管理するために通信するＣＰＵを有する２つ以上のデバイスなどの複数のデバイスのコンポーネントを含み得る。いくつかの例示的な実施形態は、サーバコンピューティングデバイス、サーバコンピュータ、一連のサーバコンピュータ、サーバファーム、クラウドコンピュータ、コンテンツプラットフォーム、モバイルコンピューティングデバイス、スマートフォン、タブレット又はセットトップボックスに含まれる１つ又は複数のコンポーネントを含み得る。いくつかの例示的な実施形態は、直接的に（例えば、マルチコアプロセッサの２つ以上のコア）及び／又は間接的に（例えば、バスを介して、有線若しくは無線チャネル若しくはネットワークを介して且つ／又はマイクロコントローラ若しくはアービタなどの中間コンポーネントを介して）通信するコンポーネントを含み得る。いくつかの例示的な実施形態は、デバイス又はコンポーネントによってそれぞれ実行されるシステムの複数のインスタンス又はインスタンスを含み得、そのようなシステムのインスタンスは、同時に、連続して及び／又はインターリーブされた様式で実行され得る。いくつかの例示的な実施形態は、２つ以上のデバイス又はコンポーネントにわたるインスタンス又はシステムの分散を特徴とし得る。

【0108】

必須ではないが、いくつかの例示的な実施形態は、「コンピュータ可読命令」が１つ又は複数のコンピューティングデバイスによって実行されるという一般的な文脈で説明される。コンピュータ可読命令は、コンピュータ可読媒体（後述する）を介して配布され得る。コンピュータ可読命令は、特定のタスクを実行するか又は特定の抽象データ型を実装する関数、オブジェクト、アプリケーションプログラミングインタフェース（ＡＰＩ）、データ構造などのプログラムモジュールとして実装され得る。一般的に、コンピュータ可読命令の機能は、様々な環境において必要に応じて組み合わされ得るか又は分散され得る。

【0109】

図１８は、本明細書で提供される例示的な実施形態など、１つ又は複数の例示的な実施形態として構成されるか又はそれを含むように構成された例示的な装置１８００の一例を示す。ある装置構成１８０２において、例示的な装置１８００は、処理回路１５０２及びメモリ１８０４を含み得る。コンピューティングデバイスの正確な構成及びタイプに応じて、メモリ１８０４は、揮発性（例えば、ＲＡＭなど）、不揮発性（例えば、ＲＯＭ、フラッシュメモリなど）又はそれらの２つの何らかの組み合わせであり得る。

【0110】

いくつかの例示的な実施形態では、例示的な装置１８００は、追加の特徴及び／又は機能を含み得る。例えば、例示的な装置１８００は、磁気ストレージ、光学ストレージなどを含むがこれらに限定されない追加のストレージ（例えば、取り外し可能及び／又は取り外し不可能）を含むこともできる。そのような追加のストレージは、図１８においてストレージ１８０６によって示されている。いくつかの例示的な実施形態では、本明細書で提供される１つ又は複数の実施形態を実装するためのコンピュータ可読命令は、メモリ１８０４及び／又はストレージ１８０６に格納され得る。

【0111】

いくつかの例示的な実施形態では、ストレージ１８０６は、オペレーティングシステム、アプリケーションプログラムなどを実装するための他のコンピュータ可読命令を格納するように構成され得る。コンピュータ可読命令は、例えば、処理回路１５０２による実行のためにメモリ１８０４にロードされ得る。ストレージは、コンピュータ可読命令又は他のデータなどの情報を格納するための任意の方法又は技術で実装された、揮発性及び不揮発性、取り外し可能及び取り外し不可能な媒体を含み得る。ストレージには、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ若しくは他のメモリ技術、ＣＤ－ＲＯＭ、デジタル多用途ディスク（ＤＶＤ）若しくは他の光学ストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ若しくは他の磁気ストレージデバイス又は所望の情報を格納するために使用することができ、例示的な装置１８００によってアクセスされ得る任意の他の媒体が含まれ得るが、これらに限定されない。そのようなコンピュータ記憶媒体は、例示的な装置１８００の一部であり得る。

【0112】

いくつかの例示的な実施形態では、例示的な装置１８００は、キーボード、マウス、ペン、音声入力デバイス、タッチ入力デバイス、赤外線カメラ、ビデオ入力デバイス及び／又は任意の他の入力デバイスなどの１つ又は複数の入力デバイス１８１０を含み得る。１つ又は複数のディスプレイ、スピーカ、プリンタ及び／又は任意の他の出力デバイスなどの１つ又は複数の出力デバイス１８０８も例示的な装置１８００に含まれ得る。１つ又は複数の入力デバイス１８１０及び１つ又は複数の出力デバイス１８０８は、有線接続、無線接続又はそれらの任意の組み合わせによって例示的な装置１８００に接続され得る。いくつかの例示的な実施形態では、別のコンピューティングデバイスからの入力デバイス又は出力デバイスは、例示的な装置１８００のための１つ若しくは複数の入力デバイス１８１０又は１つ若しくは複数の出力デバイス１８０８として使用され得る。

【0113】

いくつかの例示的な実施形態では、例示的な装置１８００は、バスなどの様々な相互接続によって接続され得る。そのような相互接続は、ＰＣＩ Ｅｘｐｒｅｓｓなどの周辺装置相互接続（ＰＣＩ）、ユニバーサルシリアルバス（ＵＳＢ）、Ｆｉｒｅｗｉｒｅ（ＩＥＥＥ１３９４）、光バス構造などを含み得る。他の例示的な実施形態では、例示的な装置１８００のコンポーネントは、ネットワークによって相互接続され得る。例えば、メモリ１８０４は、ネットワークによって相互接続された異なる物理的場所に位置する複数の物理的メモリユニットを含み得る。

【0114】

いくつかの例示的な実施形態において、例示的な装置１８００は、例示的な装置１８００が他のデバイスと通信することができる１つ又は複数の通信デバイス１８１２を含み得る。１つ又は複数の通信デバイス１８１２は、例えば、モデム、ネットワークインタフェースカード（ＮＩＣ）、統合ネットワークインタフェース、無線周波数送受信機、赤外線ポート、ＵＳＢ接続又は遠隔デバイス１８１６を含む他のコンピューティングデバイスに例示的な装置１８００を接続するための他のインタフェースを含み得る。１つ又は複数の通信デバイス１８１２は、有線接続又は無線接続を含み得る。１つ又は複数の通信デバイス１８１２は、通信媒体を送信及び／又は受信するように構成され得る。

【0115】

当業者であれば、コンピュータ可読命令を格納するために使用されるストレージデバイスがネットワーク上に分散され得ることを理解するであろう。例えば、例示的な装置１８００は、本明細書で提供される１つ又は複数の例示的な実施形態を実装するためのコンピュータ可読命令を格納し、且つ／又は取り出すために、ネットワーク１８１４を介して遠隔デバイス１８１６と通信し得る。例えば、例示的な装置１８００は、遠隔デバイス１８１６にアクセスして、実行のためにコンピュータ可読命令の一部又は全部をダウンロードするように構成され得る。代替的に、例示的な装置１８００は、必要に応じてコンピュータ可読命令の一部をダウンロードするように構成され得、一部の命令は、例示的な装置１８００において又は例示的な装置１８００によって実行され得、他の一部の命令は、遠隔デバイス１８１６において又は遠隔デバイス１８１６によって実行され得る。

【0116】

以下の定義を含め、本出願において、「モジュール」という用語又は「コントローラ」という用語は、「回路」という用語に置き換えることができる。「モジュール」という用語は、コードを実行する処理回路１５０２（共有、専用又はグループ）及び処理回路１５０２によって実行されるコードを格納するメモリ回路／ハードウェア（共有、専用又はグループ）を指すか、その一部であるか又はそれを含み得る。

【0117】

モジュールは、１つ又は複数のインタフェース回路を含み得る。いくつかの例では、１つ又は複数のインタフェース回路は、ローカルエリアネットワーク（ＬＡＮ）又は無線パーソナルエリアネットワーク（ＷＰＡＮ）に接続する有線又は無線インタフェースを実装し得る。ＬＡＮの例としては、Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｅｌｅｃｔｒｉｃａｌ ａｎｄ Ｅｌｅｃｔｒｏｎｉｃｓ Ｅｎｇｉｎｅｅｒｓ（ＩＥＥＥ）標準８０２．１１－２０１６（ＷＩＦＩ無線ネットワーキング標準としても知られる）及びＩＥＥＥ標準８０２．３－２０１５（ＥＴＨＥＲＮＥＴ有線ネットワーキング標準としても知られる）が挙げられる。ＷＰＡＮの例としては、ＩＥＥＥ標準８０２．１５．４（ＺｉｇＢｅｅ ＡｌｌｉａｎｃｅによるＺＩＧＢＥＥ標準を含む）並びにＢｌｕｅｔｏｏｔｈ Ｓｐｅｃｉａｌ Ｉｎｔｅｒｅｓｔ Ｇｒｏｕｐ（ＳＩＧ）によるＢＬＵＥＴＯＯＴＨ無線ネットワーキング標準（Ｂｌｕｅｔｏｏｔｈ ＳＩＧによるＣｏｒｅ Ｓｐｅｃｉｆｉｃａｔｉｏｎバージョン３．０、４．０、４．１、４．２、５．０及び５．１を含む）が挙げられる。

【0118】

モジュールは、１つ又は複数のインタフェース回路を使用して他のモジュールと通信することができる。本開示では、モジュールは他のモジュールと論理的に直接通信するように描かれている場合があるが、様々な実装形態において、モジュールは、実際には通信システムを介して通信し得る。通信システムは、ハブ、スイッチ、ルータ及びゲートウェイなどの物理的及び／又は仮想的なネットワーク機器を含む。いくつかの実装形態では、通信システムは、インターネットなどの広域ネットワーク（ＷＡＮ）に接続するか又はそれを横断する。例えば、通信システムは、マルチプロトコルラベルスイッチング（ＭＰＬＳ）及び仮想プライベートネットワーク（ＶＰＮ）を含む技術を使用して、インターネット又はポイントツーポイント専用回線を介して互いに接続された複数のＬＡＮを含み得る。

【0119】

様々な実装形態において、モジュールの機能は、通信システムを介して接続される複数のモジュール間で分散され得る。例えば、複数のモジュールは、負荷バランシングシステムによって分散された同じ機能を実装し得る。さらなる例では、モジュールの機能は、サーバ（リモート又はクラウドとしても知られる）モジュールとクライアント（又はユーザ）モジュールとの間で分割され得る。

【0120】

上記で使用したコードという用語は、ソフトウェア、ファームウェア及び／又はマイクロコードを含み得、プログラム、ルーチン、関数、クラス、データ構造及び／又はオブジェクトを指し得る。共有処理回路１５０２は、複数のモジュールからの一部又はすべてのコードを実行する単一のマイクロプロセッサを包含し得る。グループ処理回路１５０２は、追加のマイクロプロセッサと組み合わせて、１つ又は複数のモジュールからの一部又はすべてのコードを実行するマイクロプロセッサを包含し得る。複数のマイクロプロセッサへの言及は、別個の複数のダイ上の複数のマイクロプロセッサ、単一のダイ上の複数のマイクロプロセッサ、単一のマイクロプロセッサの複数のコア、単一のマイクロプロセッサの複数のスレッド又は上記の組み合わせを包含する。

【0121】

共有メモリハードウェアは、複数のモジュールからの一部又はすべてのコードを格納する単一のメモリデバイスを包含する。グループメモリハードウェアは、他のメモリデバイスと組み合わせて、１つ又は複数のモジュールからの一部又はすべてのコードを格納するメモリデバイスを包含する。

【0122】

メモリハードウェアという用語は、コンピュータ可読媒体という用語のサブセットである。本明細書で使用するコンピュータ可読媒体という用語は、（搬送波上などの）媒体を伝搬する一時的な電気信号又は電磁信号を包含せず、したがって、コンピュータ可読媒体という用語は、有形であり、非一時的であると考えられる。非一時的コンピュータ可読媒体の非限定的な例は、不揮発性メモリデバイス（フラッシュメモリデバイス、消去可能プログラマブル読み出し専用メモリデバイス又はマスク読み出し専用メモリデバイスなど）、揮発性メモリデバイス（静的ランダムアクセスメモリデバイス又は動的ランダムアクセスメモリデバイスなど）、磁気記憶媒体（アナログ又はデジタル磁気テープ又はハードディスクドライブなど）及び光学記憶媒体（ＣＤ、ＤＶＤ又はブルーレイディスクなど）である。

【0123】

本明細書に記載の装置及び方法の例示的な実施形態は、コンピュータプログラムに具現化された１つ又は複数の特定の機能を実行するように汎用コンピュータを構成することによって作られた専用コンピュータによって部分的又は完全に実装され得る。本明細書に記載される機能ブロック及びフローチャート要素は、熟練技術者又はプログラマのルーチンワークによってコンピュータプログラムに変換され得るソフトウェア仕様として機能し得る。

【0124】

コンピュータプログラムは、少なくとも１つの非一時的コンピュータ可読媒体に格納されるプロセッサ実行可能命令を含む。コンピュータプログラムは、格納されたデータも含むか又はそれに依存し得る。コンピュータプログラムは、専用コンピュータのハードウェアと相互作用する基本入出力システム（ＢＩＯＳ）、専用コンピュータの特定のデバイスと相互作用するデバイスドライバ、１つ又は複数のオペレーティングシステム、ユーザアプリケーション、バックグラウンドサービス、バックグラウンドアプリケーションなどを包含し得る。

【0125】

コンピュータプログラムには、（ｉ）ＨＴＭＬ（ハイパーテキストマークアップ言語）、ＸＭＬ（拡張マークアップ言語）又はＪＳＯＮ（ＪａｖａＳｃｒｉｐｔ Ｏｂｊｅｃｔ Ｎｏｔａｔｉｏｎ）などの構文解析される記述テキスト、（ｉｉ）アセンブリコード、（ｉｉｉ）コンパイラによってソースコードから生成されたオブジェクトコード、（ｉｖ）インタプリタによる実行のためのソースコード、（ｖ）ジャストインタイムコンパイラによるコンパイル及び実行のためのソースコードなどが含まれ得る。単なる例として、ソースコードは、Ｃ、Ｃ＋＋、Ｃ＃、Ｏｂｊｅｃｔｉｖｅ－Ｃ、Ｓｗｉｆｔ、Ｈａｓｋｅｌｌ、Ｇｏ、ＳＱＬ、Ｒ、Ｌｉｓｐ、Ｊａｖａ（登録商標）、Ｆｏｒｔｒａｎ、Ｐｅｒｌ、Ｐａｓｃａｌ、Ｃｕｒｌ、ＯＣａｍｌ、ＪａｖａＳｃｒｉｐｔ（登録商標）、ＨＴＭＬ５（Ｈｙｐｅｒｔｅｘｔ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ ５ｔｈ ｒｅｖｉｓｉｏｎ）、Ａｄａ、ＡＳＰ（Ａｃｔｉｖｅ Ｓｅｒｖｅｒ Ｐａｇｅｓ）、ＰＨＰ（ＰＨＰ：Ｈｙｐｅｒｔｅｘｔ Ｐｒｅｐｒｏｃｅｓｓｏｒ）、Ｓｃａｌａ、Ｅｉｆｆｅｌ、Ｓｍａｌｌｔａｌｋ、Ｅｒｌａｎｇ、Ｒｕｂｙ、Ｆｌａｓｈ（登録商標）、Ｖｉｓｕａｌ Ｂａｓｉｃ（登録商標）、Ｌｕａ、ＭＡＴＬＡＢ、ＳＩＭＵＬＩＮＫ及びＰｙｔｈｏｎ（登録商標）を含む言語からのシンタックスを使用して記述され得る。

【0126】

Ｇ．用語の使用
前述の説明は、本質的に単なる例示であり、決して本開示、その適用又は用途を限定することを意図するものではない。本開示の広範な教示は、様々な形態で実施することができる。したがって、本開示は、特定の例を含むが、図面、本明細書及び以下の特許請求の範囲を検討することで他の変更形態が明らかになるため、本開示の真の範囲は、そのように限定されない。本開示の原理を変更することなく、方法内の１つ又は複数のステップを異なる順序で（又は同時に）実行し得ることが理解されるものとする。さらに、各実施形態は、特定の特徴を有するものとして上記に記載されているが、本開示の任意の実施形態に関して記載されたそれらの特徴の任意の１つ又は複数は、任意の他の例示的な実施形態の特徴に実装され得、且つ／又はそれらと組み合わされ得る（その組み合わせが明示的に記載されていない場合でも）。すなわち、記載された実施形態は、相互に排他的ではなく、１つ又は複数の実施形態の互いに対する置換は、本開示の範囲内に留まる。

【0127】

要素間（例えば、モジュール間）の空間的及び機能的関係は、「接続」、「係合」、「インタフェース接続」及び「結合」を含む様々な用語を用いて説明される。「直接的」であると明示的に記載されない限り、第１の要素と第２の要素との間の関係が上記の本開示において記載される場合、その関係は、第１の要素と第２の要素との間に他の介在要素が存在しない直接的な関係を包含し、第１の要素と第２の要素との間に１つ又は複数の介在要素が（空間的又は機能的に）存在する間接的な関係も包含する。本明細書では、Ａ、Ｂ及びＣの少なくとも１つという表現は、非排他的論理和を用いた論理式（Ａ、又はＢ、又はＣ）を意味するものと解釈されるものであり、「Ａの少なくとも１つ、Ｂの少なくとも１つ及びＣの少なくとも１つ」を意味するものと解釈されるものではない。

【0128】

図において、矢先によって示される矢印の方向は、一般に、図にとって関心のある情報（データ又は命令など）の流れを示す。例えば、要素Ａ及び要素Ｂが様々な情報を交換するが、要素Ａから要素Ｂに送信される情報が図に関連する場合、矢印は、要素Ａから要素Ｂを指し得る。この一方向の矢印は、要素Ｂから要素Ａに他の情報が送信されないことを示唆するものではない。さらに、要素Ａから要素Ｂに送られる情報に対して、要素Ｂは、要素Ａに情報の要求又は受信確認を送信し得る。サブセットという用語は、必ずしも適切なサブセットを必要としない。すなわち、第１の集合の第１のサブセットは、第１の集合と同程度であり得る（等しくてもよい）。

【0129】

本主題は、構造的特徴及び／又は方法論的行為に特有の言語で説明されているが、添付の特許請求の範囲に定義される主題は、必ずしも上記の特定の特徴又は行為に限定されないことを理解されたい。より正確に言えば、上記の特定の特徴及び行為は、特許請求の範囲を実施する例示的な形態として開示されている。

【0130】

本明細書で使用される、「コンポーネント」、「モジュール」、「システム」、「インタフェース」などの用語は、一般に、ハードウェア、ハードウェア及びソフトウェアの組み合わせ、ソフトウェア、ソフトウェアスイート又は実行中のソフトウェアの何れかであるコンピュータ関連エンティティを指すことを意図する。例えば、コンポーネントは、処理回路１５０２上で実行されるプロセス、処理回路１５０２、オブジェクト、実行ファイル、実行スレッド、プログラム及び／又はコンピュータであり得るが、これらに限定されない。例として、コントローラ上で実行されるアプリケーション及びコントローラの両方がコンポーネントとなり得る。１つ又は複数のコンポーネントは、プロセス及び／又は実行スレッド内に存在し得、コンポーネントは、１つのコンピュータ上にローカライズされ得、且つ／又は２つ以上のコンピュータ間に分散され得る。

【0131】

さらに、いくつかの例示的な実施形態は、開示された主題を実装するようにコンピュータを制御するためのソフトウェア、ファームウェア、ハードウェア又はそれらの任意の組み合わせを生成するための標準的なプログラミング技術及び／又はエンジニアリング技術を使用する方法、装置又は製造品を含み得る。本明細書で使用する「製造品」という用語は、任意のコンピュータ可読デバイス、キャリア又は媒体からアクセス可能なコンピュータプログラムを包含することを意図する。当然のことながら、当業者であれば、特許請求される主題の範囲又は精神から逸脱することなく、この構成に対する多くの変更形態がなされ得ることを認識するであろう。

【0132】

実施形態の様々な動作が本明細書において提供されている。いくつかの例示的な実施形態において、説明した動作の１つ又は複数は、１つ又は複数のコンピュータ可読媒体上に格納されたコンピュータ可読命令を構成し得、これらの命令は、コンピューティングデバイスによって実行されると、コンピューティングデバイスに説明した動作を実行させる。動作の一部又はすべてが説明される順序は、これらの動作が必ずしも順序に依存することを示唆するように解釈されるものではない。代替の順序付けは、本明細書の恩恵を受ける当業者によって理解されるであろう。さらに、本明細書に提供される各例示的な実施形態において、すべての動作が必ずしも存在するわけではないことが理解されるであろう。

【0133】

本明細書において、「又は」という用語は、排他的な「又は」ではなく、包括的な「又は」を意味することが意図される。すなわち、別段の指定がない限り又は文脈から明らかでない限り、「ＸがＡ又はＢを採用する」とは、自然な包含的順列の何れかを意味することを意図する。すなわち、ＸがＡを採用する場合、ＸがＢを採用する場合又はＸがＡ及びＢの両方を採用する場合、「ＸがＡ又はＢを採用する」は、前述の例の何れの場合にも満たされる。本明細書及び添付の特許請求の範囲で使用される冠詞「１つの（ａ）」及び「１つの（ａｎ）」は、別段の指定がない限り又は文脈から単数形に向けられることが明らかでない限り、一般に「１つ又は複数」を意味すると解釈され得る。

【0134】

本開示は、いくつかの例示的な実施形態に関して示され、説明されているが、本明細書及び添付の図面を読み、理解することに基づいて、当業者であれば、均等な改変形態及び変更形態を想到するであろう。本開示は、そのようなすべての変更形態及び改変形態を含み、以下の特許請求の範囲によってのみ限定される。特に、上記のコンポーネント（例えば、要素、リソースなど）によって実行される様々な機能に関して、そのようなコンポーネントを説明するために使用される用語は、特に断りのない限り、本開示の本明細書に示されるいくつかの例示的な実施形態において機能を実行する開示された構造と構造的に均等でなくても、説明されたコンポーネントの指定された機能を実行する（例えば、機能的に均等である）任意のコンポーネントに対応することが意図される。加えて、本開示の特定の特徴は、いくつかの実装形態の１つのみに関して開示されている場合があるが、そのような特徴は、任意の所与の用途又は特定の用途に対して望ましく、有利であり得るように、他の実装形態の１つ又は複数の他の特徴と組み合わされ得る。さらに、詳細な説明又は特許請求の範囲の何れかにおいて、「包含する」という用語、「有している」という用語、「有する」という用語、「備える」という用語又はそれらの変形が使用される限り、そのような用語は、「含む」という用語と同様に包括的であることが意図される。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】