(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2025-01-24
(54)【発明の名称】発光画像内の関心領域を識別するためのニューラルネットワーク
(51)【国際特許分類】
G06V 10/82 20220101AFI20250117BHJP
G06T 7/00 20170101ALI20250117BHJP
【FI】
G06V10/82
G06T7/00 350C
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2024544674
(86)(22)【出願日】2023-01-24
(85)【翻訳文提出日】2024-08-09
(86)【国際出願番号】 EP2023051634
(87)【国際公開番号】W WO2023144122
(87)【国際公開日】2023-08-03
(32)【優先日】2022-01-27
(33)【優先権主張国・地域又は機関】EP
(81)【指定国・地域】
(71)【出願人】
【識別番号】504456798
【氏名又は名称】サノフイ
【氏名又は名称原語表記】SANOFI
(74)【代理人】
【識別番号】100127926
【氏名又は名称】結田 純次
(74)【代理人】
【識別番号】100216105
【氏名又は名称】守安 智
(72)【発明者】
【氏名】ティボード・ドゥ・ガリエ
(72)【発明者】
【氏名】ステファーヌ・ギュリフ
(72)【発明者】
【氏名】エルワン・ジュアノ
(72)【発明者】
【氏名】エティエンヌ・ポシェ
(72)【発明者】
【氏名】エルトン・レクシェパジ
(72)【発明者】
【氏名】ロジェ・トゥルロ
【テーマコード(参考)】
5L096
【Fターム(参考)】
5L096AA06
5L096BA06
5L096BA13
5L096DA01
5L096FA06
5L096GA51
5L096HA08
5L096HA11
5L096JA11
5L096JA18
5L096KA04
5L096KA15
(57)【要約】
コンピュータ実装方法であって:対象の画像と対象の発光画像とを含む、対象の一対の画像を受信すること;第1の機械学習モデルを使用して、対象の画像から、画像内の対象の周囲の境界ボックスの座標を生成すること;対象の周囲の境界ボックスの座標に基づいて、対象のトリミング画像及び対象のトリミング発光画像を含む一対のトリミング画像を抽出すること;及び第2の機械学習モデルを使用して、関心領域を識別する境界形状のパラメータを生成することを含み、第2の機械学習モデルが、トリミング画像の特徴を符号化する第1の特徴マップと、トリミング発光画像の特徴を符号化する第2の特徴マップとを生成するように構成された1つ以上の畳み込み層;及び第1の特徴マップ及び第2の特徴マップを前記関心領域を識別する境界形状のパラメータに変換するように構成された1つ以上の完全接続層を含む、ニューラルネットワークである、方法。
【特許請求の範囲】
【請求項1】
画像内の1つ以上の関心領域を識別するコンピュータ実装方法であって、前記方法は、
対象の画像と前記対象の発光画像とを含む、前記対象の一対の画像を受信すること;
第1の機械学習モデルを使用して、前記対象の前記画像から、前記画像内の前記対象の周囲の境界ボックスの座標を生成すること;
前記対象の前記画像及び前記対象の前記発光画像から、前記対象の周囲の前記境界ボックスの前記座標に基づいて、一対のトリミング画像を抽出することであって、前記一対の画像が、前記対象のトリミング画像及び前記対象のトリミング発光画像を含む、抽出すること;及び
第2の機械学習モデルを使用して、前記一対のトリミング画像から、前記関心領域を識別する境界形状のパラメータを生成することを含み、
前記第2の機械学習モデルが、
前記トリミング画像の特徴を符号化する第1の特徴マップと、前記トリミング発光画像の特徴を符号化する第2の特徴マップとを生成するように構成された1つ以上の畳み込み層;及び
前記第1の特徴マップ及び前記第2の特徴マップを前記関心領域を識別する前記境界形状の前記パラメータに変換するように構成された1つ以上の完全接続層
を含む、ニューラルネットワークである、方法。
【請求項2】
前記第1のニューラルネットワークを適用した後に、閾値化アルゴリズムを使用して、前記境界ボックス内の前記対象の輪郭を識別するマスクを生成することをさらに含む、請求項1に記載の方法。
【請求項3】
前記第2の機械学習モデルが、1つ以上の残差接続をさらに含む、請求項1又は2に記載の方法。
【請求項4】
前記境界形状の前記パラメータが、楕円又は円のパラメータを含む、請求項1~3のいずれか一項に記載の方法。
【請求項5】
前記楕円の前記パラメータが:
(i)中心点のx軸位置;
(ii)中心点のy軸位置;
(iii)半短軸の長さ;
(iv)半長軸の長さ;及び
(v)楕円の垂直からの回転角度である、請求項4に記載の方法。
【請求項6】
前記対象が動物である、請求項1~5のいずれか一項に記載の方法。
【請求項7】
解剖学的領域のリストから関心領域カテゴリを選択することをさらに含み、前記第2の機械学習モデルが、前記選択された関心領域カテゴリに対応する、請求項1~6のいずれか一項に記載の方法。
【請求項8】
前記第1の特徴マップ及び前記第2の特徴マップを生成する前に、前記画像及び前記発光画像が所定のサイズであるかどうかをチェックすること、及びそうでない場合、前記画像及び前記発光画像を前記所定のサイズにサイズ変更することをさらに含む、請求項1~7のいずれか一項に記載の方法。
【請求項9】
前記関心領域が示されている前記対象の前記画像及び/又は前記対象の前記発光画像を表示することをさらに含む、請求項1~8のいずれか一項に記載の方法。
【請求項10】
前記画像が前記対象の写真画像である、請求項1~9のいずれか一項に記載の方法。
【請求項11】
前記第1の特徴マップ及び前記第2の特徴マップを変換する前に、前記第1の特徴マップと前記第2の特徴マップとを連結することをさらに含む、請求項1~10のいずれか一項に記載の方法。
【請求項12】
画像内の1つ以上の関心領域を識別するためのモデルを訓練するコンピュータ実装方法であって、
複数の訓練サンプルの各々について、各訓練サンプルが:対象の画像と前記対象の発光画像とを含む訓練ペア;及び前記対象の関心領域を識別する境界形状のグラウンドトゥルースパラメータを含み:
ニューラルネットワークを使用して、それぞれの訓練ペアから、前記関心領域を識別する境界形状の候補パラメータを生成すること;及び
前記境界形状の前記候補パラメータを前記訓練サンプルの前記境界形状の対応するグラウンドトゥルースパラメータと比較すること;及び
前記比較に基づいて前記ニューラルネットワークのパラメータを更新することを含み、
前記ニューラルネットワークが:
前記画像の特徴を符号化する第1の特徴マップと、前記発光画像の特徴を符号化する第2の特徴マップとを生成するように構成された1つ以上の畳み込み層;及び
前記第1の特徴マップ及び前記第2の特徴マップを、前記関心領域を識別する境界形状の候補パラメータに変換するように構成された1つ以上の完全接続層
を含む、方法。
【請求項13】
請求項12に記載の方法であって、
前記境界形状の前記候補パラメータを前記訓練サンプルの前記境界形状の前記対応するグラウンドトゥルースパラメータと比較することが、損失関数を評価することを含み;及び
前記比較に基づいて前記ニューラルネットワークのパラメータを更新することが、前記損失関数に最適化ルーチンを適用することを含む、方法。
【請求項14】
コンピューティングシステムによって実行されると、前記コンピューティングシステムに請求項1~13のいずれか一項に記載の方法を実行させるコンピュータ可読コードを含むコンピュータプログラム製品。
【請求項15】
1つ以上のプロセッサとメモリとを備えるシステムであって、前記メモリは、前記1つ以上のプロセッサによって実行されると、前記システムに請求項1~13のいずれか一項に記載の方法を実行させるコンピュータ可読命令を格納する、システム。
【発明の詳細な説明】
【技術分野】
【0001】
本明細書は、生物発光画像又は蛍光画像などの発光画像の関心領域を識別するための機械学習モデルの使用に関する。
【背景技術】
【0002】
生物発光イメージング(BLI)及び蛍光イメージング(FLI)は、進行中の生物学的プロセス、例えば腫瘍進化、薬効、細胞追跡、標的関与などの非侵襲的研究を可能にするインビボイメージングのための技術である。BLI及びFLIは広範な用途を有し、例えば、骨内の典型的な病変を有する急性骨髄性リンパ腫(例えば、長骨、椎骨、頭蓋骨)、免疫腫瘍学、T細胞及びNK細胞の追跡、並びにmRNA送達の理解などの播種性モデルにおける癌治療の研究で使用され得る。これらの技術はまた、細胞イメージング及び他のインビトロイメージング技術において使用され得る。
【発明の概要】
【発明が解決しようとする課題】
【0003】
現在、関心領域(ROI)は、シグナル強度を定量化し、トランスフェクト細胞及び/又は標識細胞に対する薬物の生物学的活性を評価するために、専用のソフトウェアを使用して画像上に手動で描画される。これは、特に複数の人が画像の分析を実行する場合に、ROI識別における潜在的なオペレータ間変動精度を有する大規模研究のための非常に時間のかかるプロセスである。したがって、時間がかからず、ROIのより一貫した識別を提供する、発光画像内の関心領域を識別する正確な方法を提供する必要がある。
【課題を解決するための手段】
【0004】
本明細書の第1の態様によれば、画像内の1つ以上の関心領域を識別するコンピュータ実装方法であって、方法は、
対象の画像と対象の発光画像とを含む、対象の一対の画像を受信すること;
第1の機械学習モデルを使用して、対象の画像から、画像内の対象の周囲の境界ボックスの座標を生成すること、;
対象の画像及び対象の発光画像から、対象の周囲の境界ボックスの座標に基づいて、一対のトリミング画像を抽出することであって、一対の画像が、対象のトリミング画像及び対象のトリミング発光画像を含む、抽出すること;及び
第2の機械学習モデルを使用して、一対のトリミング画像から、関心領域を識別する境界形状のパラメータを生成することを含み、
第2の機械学習モデルが、
トリミング画像の特徴を符号化する第1の特徴マップと、トリミング発光画像の特徴を符号化する第2の特徴マップとを生成するように構成された1つ以上の畳み込み層;及び
第1の特徴マップ及び第2の特徴マップを関心領域を識別する境界形状のパラメータに変換するように構成された1つ以上の完全接続層
を含む、ニューラルネットワークである、方法が記載されている。
【0005】
本方法は、第1のニューラルネットワークを適用した後に、閾値化アルゴリズムを使用して、境界ボックス内の対象の輪郭を識別するマスクを生成することをさらに含むことができる。
【0006】
第2の機械学習モデルは、1つ以上の残差接続をさらに含むことができる。境界形状のパラメータは、楕円又は円のパラメータを含み得る。楕円のパラメータは:(i)中心点のx軸位置;(ii)中心点のy軸位置;(iii)半短軸の長さ;(iv)半長軸の長さ;及び(v)楕円の垂直からの回転角度であり得る。対象は、マウスなどの動物であり得る。
【0007】
本方法は、解剖学的領域のリストから関心領域カテゴリを選択することをさらに含むことができ、第2の機械学習モデルは、選択された関心領域カテゴリに対応する。
【0008】
本方法は、第1の特徴マップ及び第2の特徴マップを生成する前に、画像及び発光画像が所定のサイズであるかどうかをチェックすること、及びそうでない場合、画像及び発光画像を所定のサイズにサイズ変更することを含み得る。
【0009】
本方法は、対象の画像及び/又は対象の発光画像を、示された関心領域と共に表示することをさらに含むことができる。
【0010】
画像は、対象の写真画像であってもよい。本方法は、第1の特徴マップ及び第2の特徴マップを変換する前に、第1の特徴マップと第2の特徴マップとを連結することをさらに含むことができる。
【0011】
本明細書の第2の態様によれば、画像内の1つ以上の関心領域を識別するためのモデルを訓練するコンピュータ実装方法であって、
複数の訓練サンプルの各々について、各訓練サンプルが:対象の画像と対象の発光画像とを含む訓練ペア;及び対象の関心領域を識別する境界形状のグラウンドトゥルースパラメータを含み:
ニューラルネットワークを使用して、それぞれの訓練ペアから、関心領域を識別する境界形状の候補パラメータを生成すること;及び
境界形状の候補パラメータを訓練サンプルの境界形状の対応するグラウンドトゥルースパラメータと比較すること;及び
比較に基づいてニューラルネットワークのパラメータを更新することを含み、
ニューラルネットワークが:
画像の特徴を符号化する第1の特徴マップと、発光画像の特徴を符号化する第2の特徴マップとを生成するように構成された1つ以上の畳み込み層;及び
第1の特徴マップ及び第2の特徴マップを、関心領域を識別する境界形状の候補パラメータに変換するように構成された1つ以上の完全接続層
を含む、方法が記載されている。
【0012】
境界形状の候補パラメータを訓練サンプルの境界形状の対応するグラウンドトゥルースパラメータと比較することは、損失関数を評価することを含んでいてもよく;及び比較に基づいてニューラルネットワークのパラメータを更新することは、損失関数に最適化ルーチンを適用することを含むことができる。
【0013】
本明細書の第3の態様によれば、コンピューティングシステムによって実行されると、コンピューティングシステムに第1の態様又は第2の態様による方法を実行させるコンピュータ可読コードを含むコンピュータプログラム製品が記載されている。
【0014】
本明細書の第3の態様によれば、1つ以上のプロセッサとメモリとを含むシステムであって、メモリが、1つ以上のプロセッサによって実行されると、システムに第1の態様又は第2の態様による方法を実行させるコンピュータ可読命令を格納する、システムが記載されている。
【0015】
ここで、添付の図面を参照して、非限定的な例として実施形態を説明する。
【図面の簡単な説明】
【0016】
【
図1】発光画像内の関心領域を識別するための例示的な方法の概略図を示す。
【
図2】入力画像から特徴マップを生成するための畳み込みニューラルネットワークの概略図を示す。
【
図3A】注釈付けされた関心領域を有する5匹のマウスを含む写真画像を示す。
【
図4】画像に対して実行され得る追加の輪郭加工ステップの結果を示す。
【
図5】発光画像内の関心領域を識別する例示的な方法のフローチャートを示す。
【
図6】発光画像内の関心領域を識別するためのモデルを訓練する例示的な方法のフローチャートを示す。
【
図7】本明細書に記載の方法のいずれかを実行するためのシステム/装置の概略例を示す。
【発明を実施するための形態】
【0017】
図1は、発光画像内の関心領域を識別するための方法100の概略図を示す。発光画像という用語は、本明細書では、生物発光又は蛍光などであるがこれらに限定されない何らかの形態の発光を示す少なくとも1つの対象を含む画像を意味するために使用される。第1の入力画像102は、第1の機械学習モデル104に入力される。第1の入力画像は、アレイに配置された画素データを含むことができ、1つ以上のカラーチャネル(例えば、RBGチャネル又はグレースケールカラーチャネル)を含むことができる。第1の入力画像102は、例えば、グレースケールのデジタル写真であってもよい。
【0018】
第1の入力画像102は、1つ以上の解析する対象を含む。
図1の例では、第1の入力画像102は、生物発光又は蛍光物質が注入されたいくつかのマウスのものであり、各対象は単一のマウスである。しかしながら、本明細書に記載の技術は多くの異なるシナリオ及び広範囲の生物、例えば、植物、動物、真菌、細菌及びウイルスなどに適用可能である。いくつかの例では、個々のマウスの画像を入力画像として提供することができる。
【0019】
第1の機械学習モデル104は、第1の入力画像102を処理して、第1の入力画像102内の1以上の対象のための境界ボックスを決定する。第1の機械学習モデル104は、任意の適切なタイプの機械学習境界ボックスモデルであってもよい。第1の機械学習モデル104は、いくつかの例では、ファインチューニングされたFaster-RCNNであってもよい。このモデルの初期重みは、COCOデータセットで訓練することによって取得することができる。次いで、重みを、より具体的なデータセットについて訓練することによって更新することができる。第1の入力画像102は、モデル計算の前にピクセル値が0~1の間でスケーリングされたグレースケールの写真であってもよい。第1の機械学習モデル104は、画像内の各対象を矩形の境界ボックスで識別した結果画像106を出力してもよい。或いは、第1の機械学習モデル104は、第1の入力画像102内の1つ以上の境界ボックスの座標を出力してもよく、各境界ボックスは第1の入力画像内の1つの対象に対応する。第1の機械学習モデル104によって生成された各境界ボックスの座標は、一対のトリミング画像(108a,108b)を抽出するために使用される。一対のトリミング画像(108a,108b)は、対象108aのトリミング画像及び対象108bのトリミング発光画像を含む。対象のトリミング画像108aは、第1の入力画像102からトリミングされる。
【0020】
対象108bのトリミング発光画像は、第1の機械学習モデル104によって生成された境界ボックスの座標を、生物発光又は蛍光発光信号を検出することができる高感度CCDカメラによってキャプチャされた同じ対象の第2の入力画像(図示せず)に適用することによって得られる。
【0021】
次いで、一対のトリミング画像(108a、108b)は、境界形状のパラメータを出力する機械学習モデル110に入力される。機械学習モデル110は、1つ以上の畳み込み層を有するニューラルネットワークである。図示の実施形態などのいくつかの実施形態では、独立したヘッドを使用して、対象108aのトリミング画像及び対象108bのトリミング発光画像を入力する。対象108aのトリミング画像は、第1のサブネットワークを使用して処理されてもよく、対象108bのトリミング発光画像は、第2のサブネットワークによって処理されてもよい。
【0022】
いくつかの実装形態では、トリミング画像108a、108bは、機械学習モデル110に入力される前に所定のサイズにサイズ変更/再スケーリングされる。典型的には、対象の境界ボックスは、例えば対象のサイズ及び姿勢に応じてサイズが異なり得る。その結果、トリミング画像のサイズが変化する可能性がある。しかしながら、機械学習モデル110は、いくつかの実施形態では、所定の固定サイズ(例えば、n×m個の画素)の入力のみを受け入れることができる。したがって、トリミング画像108a、108bは、この固定入力サイズにサイズ変更される。補間技術を使用して再スケーリングを実行し、欠落したピクセルデータを埋めることができる。
【0023】
機械学習モデル110は、画像内の対象の特定の解剖学的特徴に固有のものとすることができる。例えば、対象の頭部、椎骨若しくは後肢、又は特に対象の内臓(例えば、肝臓、肺、脾臓など)の関心領域を識別するように訓練された複数の異なる機械学習モデル110を利用することができる。本方法の一部は、対象の解剖学的特徴に対応する使用する特定の機械学習モデルを選択することを含むことができる。或いは、機械学習モデルは、一般的に適用可能であり、対象上のどこに位置するかにかかわらず、発光画像内の全ての関心領域を識別するように構成されてもよい。
【0024】
機械学習モデル110の各サブネットワークは、
図2に示すようなResNet18バックボーン(すなわち、間に残差接続を有する3×3フィルタを有する18個の畳み込みブロック)などのResNetバックボーンを含むことができる。機械学習モデル110は、トリミング画像の特徴を符号化する第1の特徴マップと、トリミング発光画像の特徴を符号化する第2の特徴マップとを生成する。第1及び第2の特徴マップは、例えば、それぞれ512-dの特徴マップであってもよいが、多くの他の特徴マップ寸法が可能であることは理解されるであろう。
【0025】
機械学習モデル110は、第1の特徴マップ及び第2の特徴マップを関心領域を識別する境界形状のパラメータに変換するように構成された1つ以上の完全接続層をさらに備える。このようにして、対象の写真画像と対象の発光画像の両方からの情報が、関心領域を識別する際に考慮される。境界形状のパラメータに変換される前に、第1及び第2の特徴マップは、例えば連結又は積み重ねられることによって結合されてもよい。第1及び第2の特徴マップが512-dの特徴マップである場合、連結された特徴マップは1024-dの特徴マップであってもよい。
【0026】
境界形状は、機械学習モデル110の1つ以上の完全接続層によって出力されたパラメータによって定義される。対象の異なる解剖学的特徴に対応するいくつかの異なる機械学習モデルがある場合、モデルごとに異なる境界形状を出力することができる。いくつかの例では、境界形状は楕円である。楕円は、以下の5つのパラメータ:(i)中心点のx軸位置;(ii)中心点のy軸位置;(iii)半短軸の長さ;(iv)半長軸の長さ;及び(v)楕円の垂直からの回転角度によって記述することができる。しかしながら、使用され得る楕円を画定する他の方法があることは理解されよう。
【0027】
次いで、境界形状は、
図1の出力画像112に示すように、対象108aのトリミング画像上、対象108bのトリミング発光画像上、及び/又は重ね合わされた写真及び発光の対画像の両方を示す合成画像上に表示することができる。
【0028】
図2は、入力画像から特徴マップを生成するための畳み込みニューラルネットワーク200の概略図を示す。上述したように、対象108aのトリミング画像及び対象108bのトリミング発光画像はそれぞれ、畳み込みニューラルネットワークを含むサブネットワークに入力されてもよく、その後、ニューラルネットワークの1つ以上の完全接続層は、得られた特徴マップを関心領域を識別する境界形状のパラメータに変換する。サブネットワークは、例えば、
図2に示すような畳み込みニューラルネットワーク200であってもよい。
【0029】
畳み込みニューラルネットワーク200は、一連の畳み込み層202を含み、各畳み込み層は、それぞれの複数の畳み込みフィルタをそれぞれの入力に適用するように構成される。図示の例では、各畳み込みフィルタは3×3の畳み込みフィルタであるが、他のサイズの畳み込みフィルタが代替的又は追加的に適用されてもよいことが理解されよう。
【0030】
畳み込みニューラルネットワーク200は、1つ以上のスキップ接続204A~204 H(「残差接続」とも呼ばれる)をさらに含む。スキップ接続204A~204 Hは、畳み込み層の出力を取り込み、ネットワークの後続の非連続層への入力の一部として使用する、すなわち、1つ以上の畳み込み層をスキップする。いくつかの実施形態では、スキップ接続の終わりにおける畳み込み層の入力は、直前の層の出力とスキップ接続によってリンクされた出力との組合せを含む。例えば、スキップ接続で繋がれた出力に直前の層の出力を加えてもよい。
【0031】
畳み込みニューラルネットワーク200は、1つ以上の平均プーリング層206をさらに含むことができる。平均プーリング層206は、それらの入力のパッチにわたって平均化することによって、それらの入力からより低い次元の出力を生成する。
【0032】
図3aは、5匹のマウスを含む写真画像300を示し、
図3bは、同じ5匹のマウスの発光画像302を示す。第1の機械学習モデル及び第2の機械学習モデルの結果が画像に示されている。特に、境界ボックスがマウスごとに生成され、2つの異なる関心領域(椎骨及び頭部に沿って)がマウスごとに楕円で識別されている。境界ボックスは、
図3bでは省略されている。第2の機械学習モデルは、単一の対象の入力対画像をとるが、関心領域を識別する境界形状のパラメータが対象ごとに出力された後に、複数の対象の元の配置を再構成することができる。これは、対象が全て同じ方法で処理され、対象の視覚的な並列比較が潜在的に有益である場合に有利であり得る。
【0033】
図4は、関心領域を識別することができる精度を向上させるために実行され得る追加の輪郭加工ステップの結果を示す。第1の機械学習モデルが画像内の対象の周囲の境界ボックスの座標を生成した後、追加の処理ステップを実行して画像内の対象の輪郭を取得することができる。閾値化アルゴリズムを適用してマスクを生成する。このマスクは、小さな物体を除去すること、形態学的に閉じること、及び小さな穴を埋めることのうちの1つ以上を含み得る一連の形態学的操作によって洗練される。
図4はまた、手動注釈(緑色)と、本明細書に記載の方法によって識別された関心領域との比較、並びに追加の輪郭(赤色)を示す。
【0034】
追加の擬似輪郭情報は、第2の機械学習モデルに渡されず、生成された楕円と同様に科学者による下流解析で表示され使用される。擬似輪郭情報は、追加のROIと考えることができる。
【0035】
図5は、画像内の1つ以上の関心領域を識別する例示的な方法のフローチャートを示す。本方法は、
図7に関連して説明したシステムなどのコンピューティングシステムによって実行することができる。
【0036】
ステップ500において、対象の一対の画像が受信される。一対の画像は、対象の画像及び同じ対象の発光画像を含む。これらの2つの画像は、本方法が実行される前にいつでも同時に又は連続的に取り込まれていてもよい。画像及び発光画像における対象は、生体であってもよい。
【0037】
ステップ502において、第1の機械学習モデルを使用して、画像内の対象の周囲の境界ボックスの座標を生成する。このステップは、対象の画像を用いて行われる。次いで、境界ボックスの座標を対象の画像と対象の発光画像の両方に適用して、同じ対象の一対の画像を生成することができる。このステップは、主に、第2の機械学習モデルに入力される画像領域を関心対象に限定するためのものである。しかしながら、このステップはまた、複数の対象を含む入力画像を、各々が1つの対象を含む複数の画像に分離するために使用されてもよい。
図3に示すように、元の画像は複数の対象を含むことができる。そのような画像は、第1の機械学習モデルに入力することができ、第1の機械学習モデルは、画像内の各対象の周りに境界ボックスを生成する。
【0038】
任意選択的に、ステップ502と504との間に、閾値化アルゴリズムを使用して境界ボックス内の対象の輪郭を識別するマスクを生成する追加のステップが実行されてもよい。使用され得る閾値アルゴリズムの例は、「Minimum Cross Entropy Thresholding」(Li C.H.and Lee C.K.(1993)Pattern Recognition,26(4):617-625)及び「An Iterative Algorithm for Minimum Cross Entropy Thresholding」(Li C.H.及びTam P.K.S.(1998)Pattern Recognition Letters,18(8):771-776)に記載されており、その内容は参照により本明細書に組み込まれる。
【0039】
ステップ504において、対象の画像及び対象の発光画像から一対のトリミング画像が抽出される。この抽出は、対象の周囲の境界ボックスの座標に基づく。したがって、一対の画像は、対象のトリミング画像及び対象のトリミング発光画像を含む。
【0040】
ステップ506において、第2の機械学習モデルを使用して、一対のトリミング画像から、関心領域を識別する境界形状のパラメータを生成する。第2の機械学習モデルはニューラルネットワークであり、(i)トリミング画像の特徴を符号化する第1の特徴マップと、トリミング発光画像の特徴を符号化する第2の特徴マップとを生成するように構成された1つ以上の畳み込み層;及び(ii)第1の特徴マップ及び第2の特徴マップを関心領域を識別する境界形状のパラメータに変換するように構成された1つ以上の完全接続層を含む。
【0041】
図6は、発光画像内の関心領域を識別するためのモデルを訓練する例示的な方法のフローチャートを示す。本方法は、
図7に関連して説明したシステムなどのコンピューティングシステムによって実行することができる。
【0042】
ステップ600において、1つ以上の訓練サンプルが受信され、各訓練サンプルは、対象の画像及び対象の発光画像と、対象の関心領域を識別する境界形状のグラウンドトゥルースパラメータとを含む訓練ペアを含む。生の訓練画像は、画像ごとにいくつかの対象を含むことができ、画像内の各対象は、境界ボックスと、識別された1つ以上の関心領域とを有する。ステップ600の前駆として、モデルが一度に境界形状の単一の対象及び関連するグラウンドトゥルースパラメータについて訓練されるように、画像内の複数の対象を分離することができる。
【0043】
ステップ602において、ニューラルネットワークを使用して、それぞれの訓練ペアから、関心領域を識別する境界形状の候補パラメータを生成する。ニューラルネットワークは、
図1及び2に関連して上述されており、画像の特徴を符号化する第1の特徴マップ及び発光画像の特徴を符号化する第2の特徴マップを生成するように構成された1つ以上の畳み込み層と、第1の特徴マップ及び第2の特徴マップを関心領域を識別する境界形状の候補パラメータに変換するように構成された1つ以上の完全接続層とを含む。
【0044】
ステップ604において、境界形状の候補パラメータが、訓練サンプルの境界形状の対応するグラウンドトゥルースパラメータと比較される。境界形状の候補パラメータを訓練サンプルの境界形状の対応するグラウンドトゥルースパラメータと比較することは、候補パラメータと対応するグラウンドトゥルースパラメータとの間のL2又はL1損失などの損失関数を評価することを含むことができる。
【0045】
ステップ602及び604は、各訓練サンプルの境界形状の候補パラメータが決定されるまで、1つ以上の訓練サンプルにわたって反復される。
【0046】
ステップ606において、ニューラルネットワークのパラメータが比較に基づいて更新される。比較に基づいてニューラルネットワークのパラメータを更新することは、損失関数に最適化ルーチンを適用することを含むことができる。そのような最適化ルーチンは、確率的勾配降下ルーチンを含むことができるが、これに限定されない。ステップ600から606は、閾値条件が満たされるまで訓練データセットにわたって反復される。閾値条件は、訓練エポックの閾値数及び/又は検証データセット上の閾値性能であり得る。
【0047】
図7は、本明細書に記載の方法のいずれかを実行するためのシステム/装置700の概略例を示す。図のシステム/装置は、コンピュータデバイスの例である。当業者であれば、本明細書に記載の方法を実行するために、例えば分散型コンピューティングシステム等、他の種類のコンピューティングデバイス/システムも代替的に使用され得ることがわかるであろう。
【0048】
装置(又はシステム)700は、1つ以上のプロセッサ702を含む。1つ以上のプロセッサは、システム/装置700の他のコンポーネントの動作を制御する。1つ以上のプロセッサ702は、例えば汎用プロセッサを含み得る。1つ以上のプロセッサ702は、シングルコアデバイスでもマルチコアデバイスでもよい。1つ以上のプロセッサ702は、中央処理ユニット(CPU)又はグラフィカル処理ユニット(GPU)を含み得る。或いは、1つ以上のプロセッサ702は、特殊化された処理ハードウェア、例えばRISCプロセッサ又は埋込みファームウェアを備えるプログラマブルハードウェアを含み得る。複数のプロセッサが含められ得る。
【0049】
システム/装置は、ワーキング又は揮発性メモリ704を含む。1つ以上のプロセッサは、データを処理するために揮発性メモリ704にアクセスし得て、メモリ内のデータ保存を制御し得る。揮発性メモリ704は、例えばスタティックRAM(SRAM)、ダイナミックRAM(DRAM)等のいずれの種類のRAMも含み得て、又はこれはSD-カード等のフラッシュメモリを含み得る。
【0050】
システム/装置は、不揮発性メモリ706を含む。不揮発性メモリ706は、プロセッサ702の動作を制御するための動作命令708の集合をコンピュータ可読命令の形態で記憶する。不揮発性メモリ706は、リードオンリメモリ(ROM)、フラッシュメモリ、又は磁気ドライブメモリ等、いずれの種類のメモリでもよい。
【0051】
1つ以上のプロセッサ702は、動作命令708を実行して、システム/装置に本明細書に記載の方法のいずれかを実行させるように構成される。動作命令708は、システム/装置700のハードウェアコンポーネントに関するコード(すなわち、ドライバ)の他、システム/装置700の基本動作に関するコードを含み得る。一般に、1つ以上のプロセッサ702は、動作命令708の1つ以上の命令を実行し、これらは不揮発性メモリ706内に永久的又は半永久的に保存され、揮発性メモリ704は、動作命令708の実行中に生成されたデータを一時的に保存するために使用される。
【0052】
本明細書に記載の方法の実行は、デジタル電子回路構成、集積回路構成、特別に設計されたASICs(特定用途集積回路)、コンピュータハードウェア、ファームウェア、ソフトウェア、及び/又はこれらの組合せとして実現され得る。これらは、
図7に関して説明したような、コンピュータにより実行されるとコンピュータに本明細書に記載の方法の1つ以上を実行させるコンピュータ可読命令を含むコンピュータプログラム製品(例えば、磁気ディスク、光ディスク、メモリ、プログラマブルロジックデバイス上に記憶されるソフトウェア等)を含み得る。
【0053】
本明細書に記載のシステムの特徴はまた、方法の特徴としても提供され得て、その逆でもある。本明細書で使用されるかぎり、ミーンズ・プラス・ファンクションの特徴は、それに対応する構造の点で表現され得る。特に、方法の態様はシステムの態様にも当てはまり得て、その逆でもある。
【0054】
さらに、1つの態様におけるいずれかの、いくつかの、及び/又は全ての特徴は、他のいずれの態様におけるいずれかの、いくつかの、及び/又は全ての特徴にも、いずれかの適当な組合せで当てはめることができる。また、本発明のいずれかの態様において記載され、定義された各種の特徴の特定の組合せは、個別に実装及び/又は供給及び/又は使用できることも理解すべきである。
【0055】
いくつかの実施形態が図示され、説明されているが、当業者であれば、特許請求の範囲又はその均等物においてその範囲が定義されている本開示の原理から逸脱することなく、これらの実施形態に変更を加えることができると理解するであろう。
【0056】
本明細書では、用語「薬物」又は「薬剤」は、同義的に使用され、1種以上の医薬品有効成分若しくは薬学的に許容可能な塩又はその溶媒和物及び任意選択的に薬学的に許容可能な担体を含有する医薬製剤を表す。医薬品有効成分(「API」)とは、最も広範な意味では、ヒト又は動物に生物学的影響を及ぼす化学構造である。薬理学では、薬物又は薬剤は、疾病の治療、治癒、予防若しくは診断に使用されるか又はそうでなければ身体的若しくは精神的快適さを高めるために使用される。薬物又は薬剤は、限られた期間にわたって又は慢性疾患に対して定期的に使用され得る。
【0057】
下記で説明するように、薬物又は薬剤は、1種以上の疾病の治療のために、少なくとも1種のAPI又はこれらの組合せを様々なタイプの製剤で含むことができる。APIの例としては、500Da以下の分子量を有する小分子;ポリペプチド、ペプチド及びタンパク質(例えば、ホルモン、成長因子、抗体、抗体フラグメント及び酵素);炭水化物及び多糖類;並びに核酸、二本鎖又は一本鎖DNA(ネイキッドDNA及びcDNAを含む)、RNA、アンチセンスDNA及びRNAなどのアンチセンス核酸、低分子干渉RNA(siRNA)、リボザイム、遺伝子並びにオリゴヌクレオチドが挙げられ得る。核酸は、ベクター、プラスミド又はリポソーム等の分子送達システムに組み込まれ得る。1つ以上の薬物の混合物も企図される。
【0058】
薬物又は薬剤は、薬物送達デバイスと共に使用するように適合された一次パッケージ又は「薬物容器」内に入れられ得る。薬物容器は、例えば、カートリッジ、シリンジ、リザーバ又は1種以上の薬物の保管(例えば、短期若しくは長期の保管)に好適なチャンバを提供するように構成された他の頑丈な若しくは可撓性の器であり得る。例えば、場合により、チャンバは、少なくとも1日(例えば、1日~少なくとも30日)薬物を保管するように設計され得る。いくつかの例では、チャンバは、約1ヶ月~約2年間薬物を貯蔵するように設計されてもよい。保管は、室温(例えば、約20℃)又は冷蔵温度(例えば、約-4℃~約4℃)で行われ得る。場合により、薬物容器は、投与される医薬製剤の2種以上の成分(例えば、API及び希釈剤又は2種の異なる薬物)を各チャンバ内に1種ずつ別々に保管するように構成された二重チャンバカートリッジであり得るか又はそれを含み得る。そのような場合、二重チャンバカートリッジの2つのチャンバは、ヒト又は動物の体内に投薬する前及び/又はその間に2種以上の成分間の混合を可能にするように構成され得る。例えば、2つのチャンバは、(例えば、2つのチャンバ間の導管によって)それらが互いに流体連通するように構成され得、投薬する前にユーザが所望する場合に2種の成分を混合することを可能にし得る。代替的又は付加的に、2つのチャンバは、ヒト又は動物の体内への成分の投薬時に混合を可能にするように構成され得る。
【0059】
本明細書に記載されるような薬物送達デバイスに含まれる薬物又は薬剤は、多くの異なるタイプの医学的障害の治療及び/又は予防に使用され得る。障害の例としては、例えば、真性糖尿病又は真性糖尿病に伴う合併症、例えば糖尿病性網膜症、血栓塞栓症、例えば深部静脈血栓塞栓症又は肺血栓塞栓症が挙げられる。障害のさらなる例には、急性冠動脈症候群(ACS)、狭心症、心筋梗塞、癌、黄斑変性症、炎症、花粉症、アテローム性動脈硬化症及び/又は関節リウマチが含まれる。API及び薬物の例は、Rote Liste 2014、例えば、限定されないが、メイングループ12(抗糖尿病薬物)又は86(オンコロジー薬物)及びMerck Index,15th editionなどのハンドブックに記載されているものである。
【0060】
1型若しくは2型真性糖尿病又は1型若しくは2型真性糖尿病に伴う合併症の治療及び/又は予防のためのAPIの例としては、インスリン、例えばヒトインスリン又はヒトインスリン類似体若しくは誘導体、グルカゴン様ペプチド(GLP-1)、GLP-1類似体若しくはGLP-1受容体アゴニスト又はその類似体若しくは誘導体、ジペプチジルペプチダーゼ-4(DPP4)阻害剤又はそれらの薬学的に許容可能な塩若しくは溶媒和物或いはそれらの任意の混合物が挙げられる。本明細書で用いられる場合、「類似体」及び「誘導体」という用語は、天然に存在するペプチドに存在する少なくとも1つのアミノ酸残基の欠失及び/若しくは交換並びに/又は少なくとも1つのアミノ酸残基の付加により、天然に存在するペプチドの構造、例えばヒトインスリンの構造から形式的に誘導可能な分子構造を有するポリペプチドを指す。付加及び/又は交換されるアミノ酸残基は、コード可能アミノ酸残基又は他の天然に存在する残基又は純粋合成アミノ酸残基のいずれかであり得る。インスリン類似体は、「インスリン受容体リガンド」とも呼ばれる。特に、「誘導体」という用語は、1つ以上の有機置換基(例えば、脂肪酸)がアミノ酸の1つ以上に結合している、天然に存在するペプチドの構造、例えばヒトインスリンの構造から形式的に誘導可能な分子構造を有するポリペプチドを指す。任意選択的に、天然に存在するペプチドに存在する1つ以上のアミノ酸は、欠失し得、且つ/又はコード不可能アミノ酸を含む他のアミノ酸によって置換され得るか、又はコード不可能なアミノ酸を含むアミノ酸は、天然に存在するペプチドに付加され得る。
【0061】
インスリン類似体の例は、Gly(A21)、Arg(B31)、Arg(B32)ヒトインスリン(インスリングラルジン);Lys(B3)、Glu(B29)ヒトインスリン(インスリングルリシン);Lys(B28)、Pro(B29)ヒトインスリン(インスリンリスプロ);Asp(B28)ヒトインスリン(インスリンアスパルト);位置B28におけるプロリンがAsp、Lys、Leu、Val又はAlaで置換され、位置B29においてLysがProで置換され得るヒトインスリン;Ala(B26)ヒトインスリン;Des(B28-B30)ヒトインスリン;Des(B27)ヒトインスリン及びDes(B30)ヒトインスリンである。
【0062】
インスリン誘導体の例は、例えば、B29-N-ミリストイル-des(B30)ヒトインスリン、Lys(B29)(N-テトラデカノイル)-des(B30)ヒトインスリン(インスリンデテミル、Levemir(登録商標));B29-N-パルミトイル-des(B30)ヒトインスリン;B29-N-ミリストイルヒトインスリン;B29-N-パルミトイルヒトインスリン;B28-N-ミリストイルLysB28ProB29ヒトインスリン;B28-N-パルミトイル-LysB28ProB29ヒトインスリン;B30-N-ミリストイル-ThrB29LysB30ヒトインスリン;B30-N-パルミトイル-ThrB29LysB30ヒトインスリン;B29-N-(N-パルミトイル-ガンマ-グルタミル)-des(B30)ヒトインスリン、B29-N-オメガ-カルボキシペンタデカノイル-ガンマ-L-グルタミル-des(B30)ヒトインスリン(インスリンデグルデク、Tresiba(登録商標));B29-N-(N-リトコリル-ガンマ-グルタミル)-des(B30)ヒトインスリン;B29-N-(ω-カルボキシヘプタデカノイル)-des(B30)ヒトインスリン及びB29-N-(ω-カルボキシヘプタデカノイル)ヒトインスリンである。
【0063】
GLP-1、GLP-1類似体及びGLP-1受容体作動薬の例は、例えば、リキシセナチド(Lyxumia(登録商標))、エキセナチド(エキセンジン-4、Byetta(登録商標)、Bydureon(登録商標)、アメリカドクトカゲの唾液腺によって産生される39アミノ酸ペプチド)、リラグルチド(Victoza(登録商標))、セマグルチド、タスポグルチド、アルビグルチド(Syncria(登録商標))、デュラグルチド(Trulicity(登録商標))、rエキセンジン-4、CJC-1134-PC、PB-1023、TTP-054、ラングレナチド/HM-11260C(エフペグレナチド)、HM-15211、CM-3、GLP-1エリゲン、ORMD-0901、NN-9423、NN-9709、NN-9924、NN-9926、NN-9927、ノデキセン、ビアドール-GLP-1、CVX-096、ZYOG-1、ZYD-1、GSK-2374697、DA-3091、MAR-701、MAR709、ZP-2929、ZP-3022、ZP-DI-70、TT-401(ペガパモドチド)、BHM-034、MOD-6030、CAM-2036、DA-15864、ARI-2651、ARI-2255、チルゼパチド(LY3298176)、バマドゥチド(SAR425899)、エキセナチド-XTEN及びグルカゴン-Xtenである。
【0064】
オリゴヌクレオチドの一例は、例えば、家族性高コレステロール血症の治療のためのコレステロール低下アンチセンス治療薬である、ミポメルセンナトリウム(Kynamro(登録商標))又はアルポート症候群の治療のためのRG012である。
【0065】
DPP4阻害剤の例としては、リナグリプチン、ビルダグリプチン、シタグリプチン、デナグリプチン、サキサグリプチン、ベルベリンがある。
【0066】
ホルモンの例としては、ゴナドトロピン(フォリトロピン、ルトロピン、コリオンゴナドトロピン、メノトロピン)、ソマトロピン(ソマトロピン)、デスモプレシン、テルリプレシン、ゴナドレリン、トリプトレリン、ロイプロレリン、ブセレリン、ナファレリン及びゴセレリンなどの脳下垂体ホルモン又は視床下部ホルモン又は調節性活性ペプチド及びそれらのアンタゴニストが挙げられる。
【0067】
多糖類の例としては、グルコサミノグリカン、ヒアルロン酸、ヘパリン、低分子量ヘパリン若しくは超低分子量ヘパリン又はそれらの誘導体或いは硫酸化多糖類、例えば上記多糖類のポリ硫酸化形態及び/又は薬学的に許容可能なそれらの塩が挙げられる。ポリ硫酸化低分子量ヘパリンの薬学的に許容可能な塩の一例は、エノキサパリンナトリウムである。ヒアルロン酸誘導体の一例は、Hylan G-F 20(Synvisc(登録商標))、ヒアルロン酸ナトリウムである。
【0068】
本明細書で用いられる用語「抗体」は、免疫グロブリン分子又はその抗原結合部分を指す。免疫グロブリン分子の抗原結合部分の例としては、抗原への結合能を保持するF(ab)及びF(ab’)2フラグメントが挙げられる。抗体は、ポリクローナル抗体、モノクローナル抗体、組換え抗体、キメラ抗体、脱免疫化若しくはヒト化抗体、完全ヒト抗体、非ヒト(例えば、マウス)抗体、又は一本鎖抗体とすることが可能である。いくつかの実施形態では、抗体は、エフェクター機能を有し、且つ補体を固定することができる。いくつかの実施形態では、抗体は、Fc受容体への結合能が低減されている、又は結合能がない。例えば、抗体は、Fcレセプタへの結合を支援しない、例えばFcレセプタ結合領域の突然変異若しくは欠失を有するアイソタイプ若しくはサブタイプ、抗体フラグメント又は突然変異体であり得る。抗体という用語は、4価二重特異性タンデム免疫グロブリン(TBTI)及び/又はクロスオーバー結合領域配向(CODV)を有する二重可変領域抗体様結合タンパク質に基づく抗原結合分子も含む。
【0069】
「フラグメント」又は「抗体フラグメント」という用語は、完全長抗体ポリペプチドを含まないが、依然として抗原に結合可能な完全長抗体ポリペプチドの少なくとも一部分を含む抗体ポリペプチド分子由来のポリペプチド(例えば、抗体重鎖及び/又は軽鎖ポリペプチド)を指す。抗体フラグメントは、完全長抗体ポリペプチドの切断部分を含むことができるが、この用語は、そうした切断フラグメントに限定されない。本発明に有用な抗体フラグメントとしては、例えば、Fabフラグメント、F(ab’)2フラグメント、scFv(一本鎖Fv)フラグメント、線状抗体、単一特異的又は多重特異的な抗体フラグメント、例えば二重特異的、三重特異的、四重特異的及び多重特異的抗体(例えば、ダイアボディ、トリアボディ、テトラボディ)、1価又は多価抗体フラグメント、例えば2価、3価、4価及び多価の抗体、ミニボディ、キレート化組換え抗体、トリボディ又はバイボディ、イントラボディ、ナノボディ、小モジュール免疫医薬(SMIP)、結合ドメイン免疫グロブリン融合タンパク質、ラクダ化抗体及びVHH含有抗体が挙げられる。抗原結合抗体フラグメントの追加の例は、当技術分野で既知である。
【0070】
「相補性決定領域」又は「CDR」という用語は、特異的抗原認識を媒介する役割を主に担う、重鎖及び軽鎖の両方のポリペプチドの可変領域内の短いポリペプチド配列を指す。「フレームワーク領域」という用語は、CDR配列ではなく、抗原結合が可能になるようにCDR配列の適正配置を維持する役割を主に担う、重鎖及び軽鎖の両方のポリペプチドの可変領域内のアミノ酸配列を指す。フレームワーク領域自体は、典型的には、抗原結合に直接関与しないが、当技術分野で既知であるように、特定の抗体のフレームワーク領域内の特定の残基は、抗原結合に直接関与し得るか、又はCDR内の1つ以上のアミノ酸と抗原との相互作用能に影響を及ぼし得る。抗体の例は、抗PCSK-9 mAb(例えば、アリロクマブ)、抗IL-6 mAb(例えば、サリルマブ)及び抗IL-4 mAb(例えば、デュピルマブ)である。
【0071】
本明細書に記載するいずれのAPIの薬学的に許容可能な塩も薬物送達デバイスで薬物又は医薬品に使用することが企図される。薬学的に許容可能な塩は、例えば、酸付加塩及び塩基性塩である。
【0072】
本発明の完全な範囲及び趣旨から逸脱することなく、本明細書に記載のAPI、配合物、装置、方法、システム及び実施形態の様々な構成要素の修正形態(追加形態及び/又は削除形態)がなされ得、本発明は、そのような修正形態及びそのあらゆる全ての均等物を包含することが当業者に理解されるであろう。
【0073】
例示的な薬物送達デバイスには、ISO11608-1:2014(E)のセクション5.2の表1に記載されるような針ベースの注入システムが含まれ得る。ISO11608-1:2014(E)に記載されているように、針ベースの注入システムは広く、複数回投与容器システムと単回投与(部分又は全量排出)容器システムに分類され得る。容器は、交換可能容器でも、一体化された交換不能容器でもよい。
【0074】
ISO11608-1:2014(E)にさらに記載されるように、複数回用量容器システムは、交換可能な容器を有する針ベースの注入デバイスを含み得る。このようなシステムでは、各容器は複数回分の投与量を保持し、その大きさは固定でも可変(ユーザにより事前設定される)でもよい。他の複数回投与容器システムは、一体化された交換不能容器を備える針ベースの注入デバイスを含み得る。このようなシステムでは、各容器は複数回分の投与量を保持し、その大きさは固定でも可変(ユーザにより事前設定される)でもよい。
【0075】
ISO11608-1:2014(E)にさらに記載されるように、単回用量容器システムは、交換可能な容器を有する針ベースの注入デバイスを含み得る。このようなシステムの一例では、各容器は1回分の投与量を保持し、送達可能量の全量が排出される(全量排出)。別の例では、各容器は1回分の投与量を保持し、送達可能量の一部が排出される(部分排出)。ISO11608-1:2014(E)にも記載されるように、単回用量容器システムは、一体化された交換不能容器を備える針ベースの注入デバイスを含み得る。このようなシステムの一例では、各容器は1回分の投与量を保持し、送達可能量の全量が排出される(全量排出)。さらなる例では、各容器は、単一用量を保持し、これにより送達可能な容量の一部分が吐出される(部分排出)。
【国際調査報告】