IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ オンク エーアイ インコーポレイテッドの特許一覧

特表2023-535456画像データ及び臨床データの深層学習解析を用いた免疫療法治療に対する反応予測
<>
  • 特表-画像データ及び臨床データの深層学習解析を用いた免疫療法治療に対する反応予測 図1
  • 特表-画像データ及び臨床データの深層学習解析を用いた免疫療法治療に対する反応予測 図2
  • 特表-画像データ及び臨床データの深層学習解析を用いた免疫療法治療に対する反応予測 図3A
  • 特表-画像データ及び臨床データの深層学習解析を用いた免疫療法治療に対する反応予測 図3B
  • 特表-画像データ及び臨床データの深層学習解析を用いた免疫療法治療に対する反応予測 図4
  • 特表-画像データ及び臨床データの深層学習解析を用いた免疫療法治療に対する反応予測 図5
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-08-17
(54)【発明の名称】画像データ及び臨床データの深層学習解析を用いた免疫療法治療に対する反応予測
(51)【国際特許分類】
   G16H 30/00 20180101AFI20230809BHJP
   G16H 20/00 20180101ALI20230809BHJP
【FI】
G16H30/00
G16H20/00
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2023505383
(86)(22)【出願日】2021-07-23
(85)【翻訳文提出日】2023-03-23
(86)【国際出願番号】 US2021042979
(87)【国際公開番号】W WO2022020722
(87)【国際公開日】2022-01-27
(31)【優先権主張番号】63/056,393
(32)【優先日】2020-07-24
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】17/383,649
(32)【優先日】2021-07-23
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】523026802
【氏名又は名称】オンク エーアイ インコーポレイテッド
(74)【代理人】
【識別番号】100094569
【弁理士】
【氏名又は名称】田中 伸一郎
(74)【代理人】
【識別番号】100103610
【弁理士】
【氏名又は名称】▲吉▼田 和彦
(74)【代理人】
【識別番号】100109070
【弁理士】
【氏名又は名称】須田 洋之
(74)【代理人】
【識別番号】100067013
【弁理士】
【氏名又は名称】大塚 文昭
(74)【代理人】
【識別番号】100109335
【弁理士】
【氏名又は名称】上杉 浩
(74)【代理人】
【識別番号】100120525
【弁理士】
【氏名又は名称】近藤 直樹
(74)【代理人】
【識別番号】100139712
【弁理士】
【氏名又は名称】那須 威夫
(74)【代理人】
【識別番号】100141553
【弁理士】
【氏名又は名称】鈴木 信彦
(74)【代理人】
【識別番号】100170209
【弁理士】
【氏名又は名称】林 陽和
(72)【発明者】
【氏名】ジョーダン ペトル
(72)【発明者】
【氏名】チアラヴィーノ リタ
(72)【発明者】
【氏名】アフメド サルマーン
【テーマコード(参考)】
5L099
【Fターム(参考)】
5L099AA01
5L099AA26
(57)【要約】
方法が、免疫療法治療反応を予測するように独自に訓練された少なくとも1つの深層学習モデルに標的被験者の治療前画像を提供することを含む。方法は、処理装置が、単一の治療前画像及び少なくとも1つの深層学習モデルに基づいて、治療に対する予測治療反応スコアを生成することをさらに含む。方法は、予測治療反応スコアに基づいて推奨治療計画を提供することをさらに含む。
【選択図】図2
【特許請求の範囲】
【請求項1】
免疫療法治療反応を予測するように独自に訓練された少なくとも1つの深層学習モデルに標的被験者の治療前画像を提供することと、
処理装置が、前記単一の治療前画像及び前記少なくとも1つの深層学習モデルに基づいて、治療に対する予測治療反応スコアを生成することと、
前記予測治療反応スコアに基づいて推奨治療計画を提供することと、
を含む、方法。
【請求項2】
治療内フォローアップ画像を受け取ることと、
前記治療内フォローアップ画像を前記少なくとも1つの深層学習モデルに提供することと、
最新の予測治療反応スコアを生成することと、
前記最新の予測治療反応スコアに基づいて最新の推奨治療計画を提供することと、
をさらに含む、請求項1に記載の方法。
【請求項3】
前記治療前画像は複数の画像特徴を含む、
請求項1に記載の方法。
【請求項4】
前記少なくとも1つの深層学習モデルは畳み込みニューラルネットワークを含む、
請求項1に記載の方法。
【請求項5】
前記治療はPD-[L]1免疫チェックポイント阻害剤治療である、
請求項1に記載の方法。
【請求項6】
前記治療はPD-[L]1又はCTLA-4免疫チェックポイント阻害剤治療である、
請求項1に記載の方法。
【請求項7】
前記治療は、PD-[L]1ベースの治療又はCTLA-4ベースの治療と化学療法治療との組み合わせである、
請求項1に記載の方法。
【請求項8】
前記治療は、PD-[L]1ベースの治療又はCTLA-4ベースの治療と放射線治療との組み合わせである、
請求項1に記載の方法。
【請求項9】
前記治療前画像は、3次元解剖学的画像又は4次元解剖学的画像のいずれかである、
請求項1に記載の方法。
【請求項10】
前記少なくとも1つの深層学習モデルは、訓練被験者集団と、複数の訓練被験者の各々に関連する複数の画像とを訓練データとして使用する、
請求項1に記載の方法。
【請求項11】
前記予測治療反応スコアは、所定の医薬品に対する反応の予測を示す、
請求項1に記載の方法。
【請求項12】
前記予測治療反応スコアは、所定の医薬品に関する患者レベル及び病変レベルでの無増悪生存期間の予測を示す、
請求項1に記載の方法。
【請求項13】
前記予測治療反応スコアは、所定の医薬品に関する患者レベル及び病変レベルでの全生存期間の予測を示す、
請求項1に記載の方法。
【請求項14】
前記予測治療反応スコアは、所定の医薬品に関する患者レベル及び病変レベルでの過進行の予測を示す、
請求項1に記載の方法。
【請求項15】
前記予測反応スコアは、所定の医薬品に関する患者レベル及び病変レベルでの偽性進行の予測を示す、
請求項1に記載の方法。
【請求項16】
前記予測治療反応スコアは、治療に関連する1又は2以上の免疫関連有害事象の予測を示す、
請求項1に記載の方法。
【請求項17】
前記標的被験者に関連する1又は2以上の非画像特徴を前記少なくとも1つの深層学習モデルに提供することをさらに含み、前記治療に対する予測治療反応スコアは、前記単一の治療前画像、前記1又は2以上の非画像特徴、及び前記少なくとも1つの深層学習モデルに基づいて生成される、
請求項1に記載の方法。
【請求項18】
標的被験者の治療前画像を記憶するメモリと、
前記メモリに動作可能に結合された処理装置と、
を備え、前記処理装置は、
免疫療法治療反応を予測するように独自に訓練された少なくとも1つの深層学習モデルに標的被験者の治療前画像を提供し、
前記単一の治療前画像及び前記少なくとも1つの深層学習モデルに基づいて、治療に対する予測治療反応スコアを生成し、
前記予測治療反応スコアに基づいて推奨治療計画を提供する、
治療分析システム。
【請求項19】
前記少なくとも1つの深層学習モデルは畳み込みニューラルネットワークを含む、
請求項18に記載の治療分析システム。
【請求項20】
前記治療はPD-[L]1免疫チェックポイント阻害剤治療である、
請求項18に記載の治療分析システム。
【請求項21】
前記治療はPD-[L]1又はCTLA-4免疫チェックポイント阻害剤治療である、
請求項18に記載の治療分析システム。
【請求項22】
前記治療は、PD-[L]1ベースの治療又はCTLA-4ベースの治療と化学療法治療との組み合わせである、
請求項18に記載の治療分析システム。
【請求項23】
前記予測治療反応スコアは、所定の医薬品に対する反応の予測を示す、
請求項18に記載の治療分析システム。
【請求項24】
前記予測治療反応スコアは、所定の医薬品に関する患者レベル及び病変レベルでの過進行の予測を示す、
請求項18に記載の治療分析システム。
【請求項25】
命令を含む非一時的コンピュータ可読記憶媒体であって、前記命令は、処理装置によって実行された時に、前記処理装置に、
免疫療法治療反応を予測するように独自に訓練された少なくとも1つの深層学習モデルに標的被験者の治療前画像を提供することと、
前記処理装置が、前記単一の治療前画像及び前記少なくとも1つの深層学習モデルに基づいて、治療に対する予測治療反応スコアを生成することと、
前記予測治療反応スコアに基づいて推奨治療計画を提供することと、
を行わせる、非一時的コンピュータ可読記憶媒体。
【請求項26】
前記少なくとも1つの深層学習モデルは畳み込みニューラルネットワークを含む、
請求項25に記載の非一時的コンピュータ可読記憶媒体。
【請求項27】
前記治療はPD-[L]1免疫チェックポイント阻害剤治療である、
請求項25に記載の非一時的コンピュータ可読記憶媒体。
【請求項28】
前記治療はPD-[L]1又はCTLA-4免疫チェックポイント阻害剤治療である、
請求項25に記載の非一時的コンピュータ可読記憶媒体。
【請求項29】
前記治療は、PD-[L]1ベースの治療又はCTLA-4ベースの治療と化学療法治療との組み合わせである、
請求項25に記載の非一時的コンピュータ可読記憶媒体。
【請求項30】
前記予測治療反応スコアは、所定の医薬品に関する患者レベル及び病変レベルでの過進行の予測を示す、
請求項25に記載の非一時的コンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
〔関連出願との相互参照〕
本出願は、2020年7月24日に出願された米国仮特許出願第63/056,393号の利益を主張するものであり、この文献は全体が引用により本明細書に組み入れられる。
【0002】
本開示は、深層学習解析を用いた免疫療法治療反応の予測に関し、具体的には、画像データ及び臨床データの深層学習解析を使用してPD-[L]1及びCTLA-4免疫チェックポイント阻害剤に対する反応を予測するためのシステム及び方法に関する。
【発明の概要】
【0003】
本開示は、以下に示す詳細な説明及び本開示の様々な実装の添付図面からより完全に理解されるであろう。
【図面の簡単な説明】
【0004】
図1】本開示の実施形態と共に使用される機械学習システムを示す図である。
【0005】
図2】本開示の実施形態による、深層学習解析を用いた免疫療法治療予測法のフロー図である。
【0006】
図3A】本開示の実施形態による、標的の治療前画像の例を示す図である。
【0007】
図3B】本開示の実施形態による、標的のフォローアップ画像の例を示す図である。
【0008】
図4】本開示の実施形態による、予測治療反応スコアに基づいて生成される出力の例を示す図である。
【0009】
図5】本明細書で説明する実施形態による、深層学習解析を使用して免疫療法治療を予測するために使用できる異なるシステムの例を示す図である。
【発明を実施するための形態】
【0010】
本発明の実施形態は、深層学習解析を用いて免疫療法治療を予測する分野に関し、具体的には、画像データ及び臨床データの深層学習解析を使用してPD-[L]1及びCTLA-4免疫チェックポイント阻害剤に対する反応を予測するためのシステム及び方法に関する。
【0011】
免疫療法は、非小細胞肺がん及びメラノーマなどのステージIV転移性腫瘍において持続的反応を示すプログラム細胞死1(programmed cell death-1:PD-1)及び抗細胞傷害性Tリンパ球抗原4(anti-cytotoxic T lymphocyte antigen-4:CTLA-4)クラスのチェックポイント阻害剤(例えば、ペムブロリズマブ、ニボルマブ、アテゾリズマブ、イピリムマブ、トレメリムマブ)を使用してがん治療に変革をもたらしてきた。しかしながら、予測不能かつ低い患者奏効率(patient response rates)に加えて高額な薬剤費及び重度の毒性が、医療システム、第三者支払人及び患者に大きな負担を掛ける可能性がある。PD-[L]1及びCTLA-4チェックポイント阻害剤が採用され続けるにつれ、反応尤度(response likelihood)に従って患者を階層化するための診断ツールが必要であることは疑いもない。PD-[L]1及びCTLA-4免疫療法に対する反応を予測する定量イメージングバイオマーカの実用性を探る最近の取り組みは効果を発揮している。
【0012】
しかしながら、PD-1/PD-L1及びCTLA-4チェックポイント遮断療法には、単剤を使用した場合にほとんどの疾患において概ね15%~20%という低い奏効率、世界的に高額な治療費(米国では年間15万ドル以上)、及び重大な免疫介在性有害事象といった多くの欠点がある。上述したように、予測不能かつ低い患者奏効率に加えて高額な薬剤費及び重度の毒性が、医療システム、第三者支払人及び患者に大きな負担を掛ける可能性がある。
【0013】
PD-1/PD-L1及びCTLA-4チェックポイント療法に対する反応を予測するための数多くの手法が検討されてきたが、成功例は限られている。1つの実施形態では、免疫組織化学(IHC)検査によって、腫瘍サンプルに発現したPD-L1タンパク質のレベルを測定する。PD-[L]1を伴う複数の臨床試験では、しばしばCTLA-4チェックポイント阻害剤などのさらなる免疫腫瘍学(IO)療法と組み合わせて、腫瘍遺伝子変異量、腫瘍浸潤リンパ球の存在及び炎症性サイトカインが研究されている。
【0014】
いくつかの実施形態では、PD-[L]1免疫療法に対する反応を予測するための定量イメージングバイオマーカの実用性を探る取り組みが有望であると考えられる。このような手法では、非侵襲的画像スキャンによって、(生検又は血清ベースの分析によって得られるような)病変サブセットのサンプルではなく患者の腫瘍量全体に関する洞察及び情報を得ることができる。機械学習及び人工知能などの計算技術を使用して全ての治療可能な病変を示す診断画像をさらに解析することで関連する画像特徴が識別されれば、PD-[L]1及び/又はCTLA-4療法に対する患者反応の正確な総合評価を達成できる可能性がある。
【0015】
本明細書に示す実施形態は、以下に限定するわけではないが、非小細胞肺がん(NSCLC)、メラノーマ、膀胱がん及び乳がんを含む様々な臨床的適応症におけるPD-1/PD-L1及びCTLA-4チェックポイント遮断に対する反応を予測するマルチオミック分類器(multi-omic classifier)について説明することによって、上記の及びその他の問題点を有利に克服する。1つの実施形態では、分類器が、ベースライン間隔及びフォローアップ間隔での診断画像スキャン、並びに既存のバイオマーカ、関連する臨床データ、分子データ、人口統計データ、反応データ及び生存データを含む訓練データに基づいて開発される。臨床診療において使用される既存のバイオマーカの例としては、PD-L1発現免疫組織化学、腫瘍遺伝子変異量(TMB)、変異ミスマッチ修復(MMR)、マイクロサテライト不安定性(MSI)、及び好中球対リンパ球比(NLR)が挙げられる。さらに、乳酸脱水素酵素(LDH)、S100タンパク質及び関連する血清タンパク質などの臨床検査が免疫療法反応及び偽性進行(pseudoprogression)を予測することを示唆する初期エビデンスも存在する。近い将来には、マイクロバイオームから抽出される特徴及びバイオマーカも重要な役割を果たすことが期待されている。
【0016】
本開示の1つの実施形態の大まかな方法シーケンスを要約すると、十分な患者データが匿名化されて蓄積されると、(ベースラインスキャン及びフォローアップスキャンの両方の)画像データに病変、リンパ節、周辺器官などを明記するように注釈付け(セグメント化)し、各病変における反応又は疾病進行を患者レベルで評価するために臨床ノート及びその他の計算メトリクス(腫瘍容積の変化)に注釈付けして(固形腫瘍における反応評価基準)RECISTスコアを生成し、前処理レイヤが再構成カーネル及びハードウェアパラメータ(CTスキャナのスライス幅)に基づいて画像データを正規化し、多層畳み込みニューラルネットワーク(CNN)が注釈付き画像データ及び臨床コホート特徴を処理する。
【0017】
1つの実施形態では、「標的(target)」、「標的病変(target lesion)」、「標的被験者(target subject)」などの用語が、治療部位の近くの(何らかの定められた近傍内の)結節、病変、腫瘍、転移性塊又は解剖学的構造を意味することができる。別の実施形態では、標的が骨構造又は骨転移であることができる。さらに別の実施形態では、標的が患者の軟組織を意味することができる。標的は、本明細書で説明するように(患者自身全体を含めて)識別して追跡できるいずれかの規定の構造又は部位とすることができる。
【0018】
さらに、便宜上及び簡潔さのためにPD-1及びCTLA-4について頻繁に言及するが、本明細書に開示する実施形態は、以下に限定するわけではないが、他の形態の免疫療法、化学療法及び放射線療法を含む他のいずれかの治療法にも同様に適する。さらに、本明細書で使用するPACSは、画像保管通信システム(Picture Archiving and Communication System)を意味し、DICOMは、医用におけるデジタル画像及び通信(Digital Imaging and Communications in Medicine)を意味する。
【0019】
図1は、本開示の実施形態と共に使用される機械学習システム100を示す図である。機械学習システム100内には特定のコンポーネントを開示しているが、このようなコンポーネントは一例であると理解されたい。すなわち、本発明の実施形態は、機械学習システム100内に記載する他の様々なコンポーネント又はコンポーネントの変形例を有することにも十分に適合する。なお、機械学習システム100内のコンポーネントは、提示するコンポーネント以外のコンポーネントと共に動作することもでき、また機械学習システム100の目標を達成するために機械学習システム100のコンポーネントが全て必要なわけではないと理解されたい。
【0020】
1つの実施形態では、システム100が、サーバ101、ネットワーク106、及びクライアント装置150を含む。サーバ100は、深層学習解析を用いたサーバ装置又はクライアント装置上の画像データ及び臨床データのPD-1チェックポイント遮断(及びその他の免疫療法治療)に対する反応予測を可能にする様々なコンポーネントを含むことができる。各コンポーネントは、ウェブアプリケーションのための異なる機能、動作、アクション、プロセス、方法などを実行することができ、及び/又はウェブアプリケーションのための異なるサービス、機能性及び/又はリソースを提供することができる。サーバ100は、深層学習解析を用いた画像データ及び臨床データのPD-1チェックポイント遮断に対する反応予測に関連する動作を訓練済みモデルを使用して実行する処理装置120の機械学習アーキテクチャ127を含むことができる。1つの実施形態では、処理装置120が、(例えば、サーバ101を含む)1又は2以上のサーバの1又は2以上のグラフィックプロセッシングユニットである。機械学習アーキテクチャ127のさらなる詳細については、本開示の残りの図に関して示す。サーバ101は、ネットワーク105及びデータストア130をさらに含むことができる。
【0021】
処理装置120及びデータストア130は、ネットワーク105を介して互いに動作可能に結合される(例えば、動作可能に結合することができ、通信可能に結合することができ、互いにデータ/メッセージを伝えることができる)。ネットワーク105は、パブリックネットワーク(例えば、インターネット)、プライベートネットワーク(例えば、ローカルエリアネットワーク(LAN)又はワイドエリアネットワーク(WAN))、又はこれらの組み合わせとすることができる。1つの実施形態では、ネットワーク105が、ネットワーク105に接続されたWi-Fiホットスポットなどの1又は2以上の無線通信システムによって、及び/又は様々なデータ処理設備、通信タワー(例えば、セルタワー)などを使用して実装できる無線キャリアシステムによって提供できる有線又は無線インフラストラクチャを含むことができる。ネットワーク105は、サーバ101の様々なコンポーネント間で通信(例えば、データ、メッセージ、パケット、フレームなど)を運ぶことができる。データストア130は、データを記憶できる永続ストレージとすることができる。永続ストレージは、ローカルストレージユニット又はリモートストレージユニットとすることができる。永続ストレージは、磁気ストレージユニット、光学ストレージユニット、ソリッドステートストレージユニット、電子ストレージユニット(メインメモリ)、又は同様のストレージユニットとすることができる。また、永続ストレージは、モノリシック/単一デバイス、又は分散デバイスセットとすることもできる。
【0022】
各コンポーネントは、処理装置(例えば、プロセッサ、中央処理装置(CPU)、グラフィックプロセッシングユニット(GPU))、メモリ(例えば、ランダムアクセスメモリ(RAM)、記憶装置(例えば、ハードディスクドライブ(HDD)、ソリッドステートドライブ(SSD)など)、及びその他のハードウェア装置(例えば、サウンドカード、ビデオカードなど)などのハードウェアを含むことができる。サーバ100は、例えばサーバコンピュータ、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、スマートフォン、セットトップボックスなどを含む、プログラマブルプロセッサを有するいずれかの好適なタイプのコンピュータ装置又は機械を含むことができる。いくつかの例では、サーバ101が、単一の機械又は複数の相互接続された機械(例えば、クラスタの形で構成された複数のサーバ)を含むことができる。サーバ101は、共通のエンティティ/組織が実装することも、或いは異なるエンティティ/組織が実装することもできる。例えば、サーバ101を第1の企業/法人が運営し、第2のサーバ(図示せず)を第2の企業/法人が運営することもできる。以下で詳細に説明するように、各サーバはオペレーティングシステム(OS)を実行すること又は含むことができる。サーバのOSは、他のコンポーネント(例えば、ソフトウェア、アプリケーションなど)の実行及び/又はコンピュータ装置のハードウェア(例えば、プロセッサ、メモリ、記憶装置など)へのアクセスを管理することができる。
【0023】
本明細書で説明するように、サーバ101は、クライアント装置(例えば、クライアント装置150)に機械学習機能を提供することができる。1つの実施形態では、サーバ101が、ネットワーク106を介してクライアント装置150に動作可能に接続される。ネットワーク106は、パブリックネットワーク(例えば、インターネット)、プライベートネットワーク(例えば、ローカルエリアネットワーク(LAN)又はワイドエリアネットワーク(WAN))、又はこれらの組み合わせとすることができる。1つの実施形態では、ネットワーク106が、ネットワーク106に接続されたWi-Fiホットスポットなどの1又は2以上の無線通信システムによって、及び/又は様々なデータ処理設備、通信タワー(例えば、セルタワー)などを使用して実装できる無線キャリアシステムによって提供できる有線又は無線インフラストラクチャを含むことができる。ネットワーク106は、システム100の様々なコンポーネント間で通信(例えば、データ、メッセージ、パケット、フレームなど)を運ぶことができる。システム101によって実行される動作のさらなる実装の詳細については、本開示の残りの図に関して説明する。
【0024】
1つの実施形態では、システム101が、以下のデータのうちのいずれか、及び想定される他のいずれかの好適なデータに基づいて動作することができる。
【0025】
図2は、本開示の実施形態による、深層学習解析を使用して免疫療法治療を予測する方法のフロー図である。一般に、本明細書で説明する(方法200を含む)各方法は、ハードウェア(例えば、処理装置、回路、専用ロジック、プログラマブルロジック、マイクロコード、装置のハードウェアなど)、ソフトウェア(例えば、処理装置上で動作する又は実行される命令)、又はこれらの組み合わせを含むことができる処理ロジックが実行することができる。いくつかの実施形態では、これらの方法を図1の機械学習アーキテクチャ127の処理ロジックが実行することができる。
【0026】
方法200は、ブロック201において、処理ロジックが単一の病変又は複数の病変に基づいて治療反応(例えば、免疫療法治療)を予測するように独自に訓練された少なくとも1つの深層学習モデルに病変注釈又はシードポイント(seed points)を任意に含む標的被験者の治療前画像を提供することから開始する。実施形態では、少なくとも1つの深層学習モデルの代わりに又はこれと併せて他のタイプの機械学習モデルを使用することもできる。いくつかの実施形態では、大量の所定の画像及び臨床特徴の組を生成した後に、特徴選択アルゴリズム(例えば、最小冗長性最大関連性(minimum redundancy maximum relevance:MRMR)又は最小絶対収縮及び選択演算子(least absolute shrinkage and selection operator:LASSO))を適用し、機械学習法(例えば、勾配ブースティング決定木、ランダム決定フォレスト、又はサポートベクターマシン)を使用してこれらを適合させて予測モデルを生成する。ブロック201に提供される任意の病変注釈又はシードポイントは、臨床ユーザが手動で、或いは自動セグメンテーション及び/又は標的検出法が自動的に生成することができる。自動セグメンテーション又は標的検出法の一例は畳み込みニューラルネットワークモデルである。単一の病変の治療反応を予測するために、確率的勾配降下(SGD)アルゴリズム、RMSpropアルゴリズム又は適応運動量(adaptive momentum:Adam)アルゴリズムなどのマルチパラメトリック最適化技術を使用して、モデルによって予測された病変応答と人間の専門家(例えば、放射線科医)によって判定された病変応答との間の一致を最大化するようにモデルを訓練する。
【0027】
病変反応の例としては、数値評価(例えば、病変容積の変化、病変の1又は2以上の主要寸法の変化、病変内の画像強度の変化)、腫瘍成長率(TGR)、又はカテゴリ評価(例えば、反応病変、安定病変、進行病変、新病変)を挙げることができる。1又は2以上の病変レベルモデル予測を集約することによって、患者レベルでの治療反応予測が実行される。1つの実施形態では、病変レベルの反応予測から患者レベルの反応予測への集約が一連のルール及び論理演算によって実行される。
【0028】
実施形態では、1人の患者の複数の病変について病変毎の反応スコアを計算した後に、最大スコア、最小スコア及び/又は平均スコアなどの数学的演算を実行して、複数の病変毎の反応予測を単一の患者レベルの反応予測に変換することができる。ある実施形態では、病変レベルの反応予測から患者レベルの反応予測への集約が、1又は2以上の病変レベルモデルからの予測を入力として採用して患者レベルの反応予測を行うように特別に訓練された第2のモデルによって実行される。いくつかの実施形態では、可変数の病変(例えば、モデル入力)を考慮するために、モデルへの入力を病変レベルの予測統計値(例えば、平均値、中央値、標準偏差など)とすることができる。別の実施形態では、モデルを、複数の病変予測が可変長の入力シーケンスとして表される再帰型ニューラルネットワーク(RNN)モデルとすることができる。
【0029】
患者レベルモデルの例としては、以下に限定するわけではないが、人工ニューラルネットワーク、ランダムフォレストモデル、サポートベクターマシン、及びロジスティック回帰モデルなどが挙げられる。別の実施形態では、複数の病変を同時に考慮する単一の機械学習モデルを使用することができる。このような実施形態は、病変毎モデル及び患者毎モデルの階層を効果的に除去することができる。1つの実施形態では、治療前画像を、2次元解剖学的画像、3次元解剖学的画像、又は4次元解剖学的画像とすることができる。別の実施形態では、2又は3以上の様々なタイプの治療画像を使用することができる。
【0030】
治療画像は、診断時(治療開始前)又は他のいずれかの好適な時間中に撮影することができる。治療画像は、以下に限定するわけではないが、コンピュータ断層撮影(CT)スキャン、陽電子放射断層撮影(PET)スキャン、又は磁気共鳴画像(MRI)スキャンとすることができる。少なくとも1つの深層学習モデルは、限定するわけではないが畳み込みニューラルネットワークを含むいずれかの好適な様々な機械学習モデルを含むことができる。1つの実施形態では、モデルが、異なるハイパーパラメータ及び最適化手法を使用して同じデータに基づいて訓練される。別の実施形態では、モデルが、異なる目的を有する異なる技術を使用して異なるデータなどに基づいて訓練され、これらの結果は様々な方法で集約することができる。
【0031】
深層学習モデルは、様々な好適な訓練法を利用することができる。例えば、1つの実施形態では、深層学習モデルが、訓練被験者集団と、複数の訓練被験者の各々に関連する複数の画像とを訓練データとして使用する。別の実施形態では、深層学習モデルが、計算された被験者固有のモデルを訓練データとして使用する。さらに別の実施形態では、深層学習モデルが、上述した2つの方法の組み合わせを使用する。
【0032】
実施形態では、治療が、PD-[L]1免疫チェックポイント阻害剤治療である。PD-[L]1免疫チェックポイント阻害剤治療は、PD-1ベースの治療又はPD-L1ベースの治療とすることができる。さらに別の実施形態では、治療が、CTLA-4-免疫チェックポイント阻害剤治療、又は他のいずれかの好適な治療タイプ(例えば、化学療法、標的治療、医薬品ベースの治療、放射線療法など)である。
【0033】
ブロック203において、処理ロジックが、深層学習モデルに基づいて(例えば、プラス効果又はマイナス効果をもたらす可能性が最も低いものからプラス効果又はマイナス効果をもたらす可能性が最も高いものを表すスケールで)免疫療法治療に対する予測治療反応スコアを(例えば、処理装置によって)生成する。いくつかの実施形態では、予測治療反応スコアが数値であることができる。1つの実施形態では、処理ロジックが、単一の治療前画像及び少なくとも1つの深層学習モデルに基づいて予測治療反応スコアを生成する。例えば、1つの実施形態では、異なるモデルからの結果を組み合わせて(例えば、平均化して、又は他のいずれかの方法で組み合わせて)単一の反応スコアを生成することができる。1つの実施形態では、1又は2以上の非画像特徴(例えば、ゲノム検査、電子医療記録情報、PD-L1免疫組織化学アッセイなど)を使用して予測反応スコアを生成することができる。別の実施形態では、1又は2以上の非画像特徴を1又は2以上の画像特徴と組み合わせて予測反応スコアを生成することができる。
【0034】
1つの実施形態では、予測治療反応スコアが、所定の医薬品に関する患者進行の予測を含む。別の実施形態では、予測治療反応スコアが、免疫療法治療に関連する1又は2以上の免疫関連有害事象の予測を示す。1つの実施形態では、予測治療反応スコアが、特定のタイプの反応及び/又は有害事象発生の予測尤度(例えば、信頼度)を含むことができる。別の実施形態では、反応スコアが、疾患の進行ではなく、(例えば、治療に反応した)自然な腫脹及び/又は炎症に起因する短期的かつ一時的な腫瘍容積の増加を特徴とする疑性進行の表示を含むこともできる。別の実施形態では、反応スコアが、急速な臨床的悪化を伴う深刻な状態であって治療の投与中に疾患の進行が加速する過進行(hyper-progression)の尤度を反映することができる。別の実施形態では、反応スコアを、月又は年単位での無進行又は全患者生存率を示すように策定することができる。
【0035】
ブロック205において、処理ロジックが、予測治療反応に基づいて推奨治療計画を提供する。例えば、推奨治療計画は、予測治療反応に基づいて、特定の医薬品を使用すべきであるかどうか、そのような製品の投与量、そのような製品の投与に関連するタイミングなどを指示することを含むことができる。実施形態では、この指示が、患者が特定の医薬品に反応する可能性があるか否かを識別することができる。1つの実施形態では、病変毎の免疫療法及び/又は化学療法の反応予測を使用して、継続中の全身療法と局所療法とを組み合わせることによって高リスク病変の治療効果を高めるための病変特異的治療計画を作成する。局所療法は、体幹部定位放射線治療(stereotactic ablative radiation therapy:SBRT)、強度変調放射線療法(intensity modulated radiation therapy:IMRT)、原体照射法(conformal radiation therapy:CRT)、放射線手術、外科的切除、熱的アブレーション、冷凍アブレーション、又は高密度焦点式超音波(high intensity focused ultrasound:HIFU)療法のうちのいずれかとすることができる。別の実施形態では、高い進行リスクがモデル予測された患者のための推奨治療計画が、化学療法又はCTLA-4免疫療法とPD-[L]1免疫療法とを組み合わせて追加して治療反応尤度を最大化することであることができる。別の実施形態では、推奨治療計画が、患者の生活の質を最大化するために1つ又は全ての治療法を中止することであることができる。実施形態では、処理ロジックが、予測治療反応スコアに基づいて、推奨治療計画の代わりに又は推奨治療計画と併せて他の出力を生成することができる。例えば、処理ロジックは、予測治療反応スコアに基づいてレポートを生成することができる。
【0036】
ブロック207において、処理ロジックが、治療内フォローアップ画像(intra-treatment follow-up image)を受け取ることができる。
【0037】
ブロック209において、処理ロジックが、治療内フォローアップ画像を機械学習モデルに提供することができる。
【0038】
ブロック211において、処理ロジックが、最新の予測治療反応スコアを生成することができる。
【0039】
ブロック213において、処理ロジックが、最新の予測治療反応スコアに基づいて最新の推奨治療計画を提供することができる。
【0040】
様々な実施形態では、処理ロジックが、目下のコンテキストにおける機械学習モデルの精度、効率及び/又は互換性を高めることができる、いずれかの数の好適な前処理動作及び後処理動作を実行することができる。例えば、前処理に関して言えば、従来のラジオミクス法(radiomics methods)は、スキャナハードウェア及びイメージングプロトコルのばらつきの影響を受けやすい可能性がある。本明細書で説明するデータ前処理及びデータ増強システムは、モデルの一般化可能性(model generalizability)を最適化して、イメージングハードウェア及びプロトコルの変動に対するモデルの感受性を最小化するように設計される。
【0041】
機械学習、特に深層学習の分野では、モデルの一般化可能性を改善するための戦略が知られている。各カテゴリにつき、以下の及びその他の方法が想定される。
【0042】
1.利用可能な訓練データのアンダーフィットとオーバーフィットとの間の最適バランスを達成するモデルサイズ(パラメータ数)を選択する。A)MLops(例えば、機械学習と運用)フレームワーク及びインフラストラクチャが、モデルの主要性能指標(KPI)のモニタリングを可能にするとともに、より多くのデータが取得されるにつれてモデルの複雑さ及びアーキテクチャを継続的に調整することを可能にする。
【0043】
2.訓練データセットの多様性を最大化する。A)訓練データは様々な機関(学術機関、小規模地域センター、大規模支払者/提供者ネットワーク)から供給され、様々な臨床診療傾向及び様々な画像ハードウェア及び放射線プロトコルを反映することができる(例えば、地域がんセンターの中には厚い5mmスライスのCTプロトコルを使用しているところもあるのに対し、研究機関は解像度の高い1~2mmの薄いスライススキャンを使用する傾向にある)。B)データベースシステムを使用して訓練データを内部的にカタログ化し、モデルの訓練時にイメージングハードウェア及びプロトコルの適切な配布を保証することができる。
【0044】
3.入力データの正規化。A)モデル訓練及びモデル推論中に、スキャンを一貫した解像度(例えば、1.0×1.0×1.0mmのボクセル間隔)に再サンプリングすることができる。これにより、CTスライス厚に対するモデル性能の依存性が大幅に低減される。B)強度異常値(基準、ペースメーカー、ワイヤなどからの金属アーチファクト)を排除し、強度を一貫した範囲(例えば、0平均及び1の分散の強度分布)に再スケーリングすることによって、画像ボクセル強度を正規化することができる。C)所与のイメージングセッションに複数の再構成プロトコルが利用可能である場合、「ゴールドスタンダード」プロトコルに最も一致する再構成プロトコルを使用することができる。
【0045】
4.利用可能な訓練データでは表現されない実現可能なシナリオをシミュレートする合成訓練例を生成することによって訓練データを増強する。A)モデルが訓練されている限り新たなバリエーションの訓練データが継続的に生成されることを意味するオンライン増強戦略を使用することができる。実際には、この戦略は、固有の訓練例の数は無限であり、モデル訓練ループに費やされる時間のみによって制限されることを意味する。オンライン増強ループが、モデルのシフト、回転、再スケーリング動作、変形及び強度摂動(intensity perturbations)を実行して新たな固有の訓練事例を生成する。B)物理学ベースの原理を使用してノイズ及び強度バリエーションを生成し、スキャナハードウェア間及びスキャンプロトコル間の相違をシミュレートすることができる。物理学ベースの方法の例としては、既存の臨床CTスキャンにおけるレイトレーシング及びモンテカルロ光子シミュレーションが変化に富んだCT投影データを生成し、その後にこれらを使用して、代替イメージングプロトコル及び模擬アーチファクトで新たなCTスキャンを再構成することができる。模擬アーチファクトの例としては、異なる一次ビームエネルギー、ビーム散乱及び硬化特性、患者の動きアーチファクト、撮像線量変動(imaging dose variations)が挙げられる。
【0046】
5.複数の解像度及び関心領域(ROI)サイズを用いたモデル入力。A)CNNモデルは、入力として1又は2以上のCTスキャンの小領域(ROI)を好む場合がある。様々なサイズ及び解像度のROIを使用して腫瘍位置近傍の入力CT画像(又は小領域)の冗長表現を作成することができる。複数のROIサイズを使用することにより、異なるサイズ及び形状の腫瘍にモデルが対応することができる。例えば、腫瘍の周囲5×5×5cmに及ぶROIのみを使用した場合には、大きな腫瘍についてモデルが上手く機能しない可能性がある。これとは逆に、50×50×50cmのROIを使用した場合には、高空間分解能及び高忠実度を必要とする小さな腫瘍について分類器が上手く機能しない可能性がある。小さな空間寸法を有するROI領域と大きな空間寸法を有するROI領域とを1つのモデルにおいて組み合わせることで、局所的文脈(例えば、腫瘍の形状、テクスチャ、強度プロファイル)及び大域的文脈(例えば、体内及び他の器官に対する病変の位置、リンパ節転移、患者の質量組成及び筋肉予備、全体的健康又は重要器官、微石灰化など)での画像特徴の相補的学習が容易になり、最終的に予測可能性及び堅牢性の高い治療反応及び生存予測モデルを得ることができる。
【0047】
後処理に関して言えば、様々な技術を使用して個々のモデル予測を後処理して、臨床エンドユーザが必要とする予測精度及び説明可能性を得ることができる。使用される後処理方法の例としては、限定するわけではないが以下を挙げることができる。
【0048】
1.モデルアンサンブル:アンサンブル(又はバギング(bagging))は、モデルの安定性及び全体的性能を向上させる方法である。所与のタスクのために1つのモデルを訓練するのではなく、(訓練ハイパーパラメータ、重み初期化、モデルアーキテクチャ、訓練セット分布などを摂動させることによって)複数のバリエーションのモデルを訓練する。その後、複数のモデル間のコンセンサスを計算することによってこれらのモデルを同時に使用する(アンサンブル予測)。1つの実施形態では、複数のモデルからの平均値又は中央値予測の方が単一の予測よりも平均的に正確である。複数のモデル予測を組み合わせるアンサンブリング動作(ensembling operations)の例は、単純な平均化、中央値計算、STAPLEアルゴリズム(Warfieldらによる、真値及び性能レベルの同時推定(Simultaneous Truth and Performance Level Estimation))、或いは線形分類器、ランダムフォレスト、サポートベクターマシン又はニューラルネットワークなどの専用アンサンブリングモデルとすることができる。
【0049】
2.ボトムアップモデル集約:いくつかの臨床応用では、治療薬に対する単一病変反応を予測するための分類モデルを訓練するという概念が望ましい場合がある。いくつかの臨床シナリオでは、患者レベルで治療反応(いくつかの病変が反応する一方で他の病変が進行し続けることを考慮して、この患者が所与の治療全体から恩恵を受けると思われるか)を予測することが臨床要件である。このシナリオでは、モデルアンサンブルの概念も適用できる可能がある。しかしながら、この応用では、各単一病変モデル(又はモデルのサブアンサンブル)が、個々の病変予測をアンサンブルすることによって推定される全体的な患者レベルの予測に寄与する。さらに、大規模アンサンブル内の各モデルの予測を組み合わせて他の臨床因子、バイオマーカ及び/又は画像特徴を組み込むことで、処理ロジックは、病変レベルではなく患者レベルで治療反応の予測を行うことができる。
【0050】
3.説明可能性:深層畳み込みネットワークモデルの応答を支配的特徴の活性化に分解して、どの空間的、質感的及び形態的特徴が最も予測に影響を与えたかを浮き彫りにすることができる。例えば、説明は、1.病変容積が50ccを上回る、2.病変位置が肺尖部である、3.病変の中心部及び周辺部の組織不均質性が低い、4.転移性骨病変が存在する、といった理由で「高い病変進行リスク」を予測することができる。関連する実施形態では、処理装置が、同様の提示及び病歴プロファイルを有する患者の参照データ及び過去の事例を提示することによって、モデル反応予測又は免疫関連有害事象の予測を説明し、支援することができる。
【0051】
時間的情報の組み込み:1つの実施形態では、治療予測モデルを、将来的な治療過程を決定するベースライン時の「単発」予測、或いは臨床医に継続的意思決定支援を提供する、治療経過に沿った画像情報及び電子医療記録(EMR)情報を組み込んだ継続的統合プロセスと考えることができる。1つの実施形態では、治療反応モデルが、ベースライン及び最初の治療内フォローアップスキャンを使用して患者の疾患進行、偽性進行又は過進行の尤度を予測するように訓練される。この臨床シナリオでは、モデル予測を使用して、患者を別の治療薬に移行させること、二次治療薬を追加すること、又は治療を中止することなどの治療決定又は治療調整を行うタイムラインを大幅に短縮することができる。複数の撮像時点を組み込んだ予測モデルの場合には、様々な方法で時間データを統合することができる(説明目的で2つの撮像時点を使用することができる)。
【0052】
1.アプローチ#1:スキャン#1とスキャン#2との間の画像特徴の差分を計算し、その後にこれを使用して予測モデルを作成する。1つの実施形態では、スキャン#1及びスキャン#1について個別に画像特徴セットを計算することができる。スキャン#1から計算された特徴の重み又は値をスキャン#2から計算された特徴又は値から減算することができる。個々の特徴の差分又は変化は、典型的な画像特徴の時間的変化(例えば、形状、強度、質感などの時間の関数としての変化)に対応する新たな「デルタ特徴」セットを構成することができる。
【0053】
2.アプローチ#2:入力ROI形状が[Nx,Ny,Nz,2]である4D CNN予測モデルを訓練する(ここで、Nx,Ny,Nzは各軸に沿ったボクセル数であり、2は2つ(又は3つ以上)の撮像時点に対応し、それぞれ4D入力ボリューム内の単一の3Dボリュームで表される)。このアプローチは、マルチモーダルCNNモデルに類似する。最も明らかなものは、各色チャンネルが個別に表されるRGBフォーマットでの自然画像である。本事例では、各チャンネルが、時間的に1つのイベントを表すために使用される。
【0054】
3.アプローチ#3:空間的に位置合わせされたスキャン#1とスキャン#2との間の強度差を計算した後に3D CNN予測モデルを訓練する(モデル入力ROI形状は[Nx,Ny,Nz,1]であり、ここで、Nx、Ny、Nzは各軸に沿ったボクセル数であり、1は単一の強度チャンネルに対応する)。
【0055】
4.アプローチ#4:3D CNNと、一連の画像入力をモデル化するために使用されるRNN(再帰型ニューラルネットワーク)とを組み合わせたモデルを訓練する。
【0056】
図3Aは、本開示の実施形態による、標的の治療前画像300の例を示す図である。治療前画像300は、図2で上述したような治療前画像に対応することができる。治療前画像300は、ベースラインスキャン中の患者の肺病変302に対応することができる。実施形態では、治療を受ける前の患者に対してベースラインスキャンを実行することができる。実施形態では、治療前画像300がCT画像に対応することができる。いくつかの実施形態では、治療前画像300がPET画像に対応することができる。ある実施形態では、治療前画像300がMRI画像に対応することができる。いくつかの実施形態では、他のタイプの治療前画像を使用することができる。
【0057】
図3Bは、本開示の実施形態による、標的のフォローアップ画像350の例を示す図である。上述したように、本開示の実施形態は、治療後に取り込まれた標的のフォローアップ画像350などの1又は2以上のフォローアップ画像を利用することができる。フォローアップ画像350は、治療を受けた後の肺病変302に対応することができる肺病変352を含む。実施形態では、フォローアップ画像350を機械学習アーキテクチャ127に提供することができ、治療前画像300に対するフォローアップ画像350の解析に基づいて、現在の治療計画が有効であり継続すべきであるかどうか、より有効な治療オプションが存在するかどうか、及び/又は治療を中止すべきであるかどうかを判定するために使用することができる。実施形態では、フォローアップ画像350がCT画像に対応することができる。いくつかの実施形態では、フォローアップ画像350がPET画像に対応することができる。ある実施形態では、フォローアップ画像350がMRI画像に対応することができる。いくつかの実施形態では、他のタイプのフォローアップ画像を使用することができる。
【0058】
図4は、本開示の実施形態による、予測治療反応スコアに基づいて生成される出力400の例を示す図である。実施形態では、上述したように、出力400を予測治療反応スコアに基づいて生成することができる。出力400は、治療経過402(例えば、免疫療法、化学療法、標的療法)と画像検査404(例えば、CT及びPET画像)との間の時間的関係を示す。出力400は、異なる治療経過402及び/又は画像検査404を治療タイムラインに対していつ行うべきであるかを示すことができる。
【0059】
出力400は、治療情報406を含むこともできる。治療情報406は、どのタイプの免疫療法、化学療法及び/又は標的療法が治療での使用に推奨されるかを示すことができる。出力400は、治療を受ける患者に関連する情報を含む患者プロファイル408をさらに含むことができる。患者プロファイル408に含まれる情報の例としては、以下に限定するわけではないが、患者の年齢、患者の性別、既知のゲノムドライバ変異(genomic driver mutations)、又はPD-L1免疫組織化学組織割合スコア(TPS)などを挙げることができる。
【0060】
なお、出力400は例示目的で示すものにすぎず、本開示を限定するように意図するものではない。本開示の実施形態は、予測治療反応スコアに基づいて、図4に示す出力400に比べて外観及び/又は情報(例えば、治療経過402、画像検査404、治療情報406、患者プロファイル408)が異なることができる他のタイプの出力を生成することもできる。
【0061】
図5に、本明細書で説明した方法のいずれか1つ又は2つ以上を機械に実行させる命令セット522を実行できるコンピュータシステム500の形態例における機械の図式的表現を示す。別の実施形態では、この機械を、ローカルエリアネットワーク(LAN)、イントラネット、エクストラネット又はインターネット内で他の機械に接続(例えば、ネットワーク接続)することができる。この機械は、クライアント-サーバネットワーク環境内のサーバ又はクライアント装置として、又はピアツーピア(又は分散)ネットワーク環境内のピアマシンとして動作することができる。この機械は、パーソナルコンピュータ(PC)、タブレットPC、セットトップボックス(STB)、携帯情報端末(PDA)、携帯電話機、ウェブアプライアンス、サーバ、ネットワークルータ、スイッチ又はブリッジ、ハブ、アクセスポイント、ネットワークアクセス制御装置、又は機械が取るべき行動を指定する(順次の又はその他の)命令セットを実行できるいずれかの機械とすることができる。さらに、図には1つの機械しか示していないが、「機械」という用語は、本明細書で説明した方法のうちのいずれか1つ又は2つ以上を実行するための命令セット(又は複数のセット)を個別に又は協働して実行する一群の機械を含むと解釈することもできる。1つの実施形態では、コンピュータシステム500が、システム100などのサーバコンピュータシステムを表すことができる。
【0062】
例示的なコンピュータシステム500は、処理装置502、メインメモリ504(例えば、リードオンリメモリ(ROM))、フラッシュメモリ、ダイナミックランダムアクセスメモリ(DRAM)、スタティックメモリ506(例えば、フラッシュメモリ、スタティックランダムアクセスメモリ(SRAM)など)、及びデータ記憶装置518を含み、これらはバス530を介して互いに通信する。本明細書で説明する様々なバスを介して供給される信号は、いずれも他の信号と共に時分割多重化され、1又は2以上の共通バスを介して供給することができる。また、回路コンポーネント又は回路ブロック間の相互接続は、バス又は単一の信号線として示すことができる。各バスが1又は2以上の単一の信号線であることもでき、各単一の信号線がバスであることもできる。
【0063】
処理装置502は、マイクロプロセッサ又は中央処理装置などの1又は2以上の汎用処理装置を表す。具体的には、処理装置は、複合命令セットコンピュータ(CISC)マイクロプロセッサ、縮小命令セットコンピュータ(RISC)マイクロプロセッサ、超長命令語(VLIW)マイクロプロセッサ、又は他の命令セットを実行するプロセッサ、或いは命令セットの組み合わせを実行するプロセッサとすることができる。処理装置502は、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、デジタルシグナルプロセッサ(DSP)又はネットワークプロセッサなどの1又は2以上の特定用途向け処理装置とすることもできる。処理装置502は、本明細書で説明した動作及びステップを実行するための、図1に示すシステム100の一例とすることができる処理ロジック526を実行するように構成される。
【0064】
データ記憶装置518は、処理装置502にシステム100を実行させる命令を含む、本明細書で説明した機能の方法論のうちのいずれか1つ又は2つ以上を具体化する1又は2以上の命令セット522(例えば、ソフトウェア)を記憶した機械可読記憶媒体528を含むことができる。命令522は、コンピュータシステム500による実行中に、やはり機械可読記憶媒体を構成するメインメモリ504内又は処理装置502内に完全に又は少なくとも部分的に存在することもできる。命令522は、ネットワークインターフェイス装置508を経由してネットワーク520を介してさらに送信又は受信することができる。
【0065】
機械可読記憶媒体528は、本明細書で説明した方法及び動作を実行するための命令を記憶するために使用することもできる。例示的な実施形態では機械可読記憶媒体528を単一の媒体として示しているが、「機械可読記憶媒体」という用語は、1又は2以上の命令セットを記憶する単一の媒体又は複数の媒体(例えば、集中データベース又は分散データベース、又は関連するキャッシュ及びサーバ)を含むと解釈されたい。機械可読媒体は、機械(例えば、コンピュータ)が読み取ることができる形態(例えば、ソフトウェア、処理アプリケーション)で情報を記憶するいずれかの機構を含む。機械可読媒体は、以下に限定するわけではないが、磁気記憶媒体(例えば、フロッピーディスケット)、光学記憶媒体(例えば、CD-ROM)、光磁気記憶媒体、リードオンリメモリ(ROM)、ランダムアクセスメモリ(RAM)、消去可能なプログラマブルメモリ(例えば、EPROM及びEEPROM)、フラッシュメモリ、又は電子命令を記憶するのに適した別のタイプの媒体を含む。
【0066】
上述した説明には、本開示の複数の実施形態を良好に理解できるように、特定のシステム例、コンポーネント例及び方法例などの数多くの具体的な詳細を記載した。しかしながら、当業者には、これらの具体的な詳細を伴わずに本開示の少なくともいくつかの実施形態を実施できることが明らかであろう。その他の事例では、本開示を不必要に不明瞭にしないように周知のコンポーネント又は方法については詳細に説明しておらず、又は単純なブロック図形式で示している。従って、記載した具体的な詳細は例示にすぎない。特定の実施形態は、これらの例示的な詳細と異なる場合もあるが、それでも本開示の範囲内に含まれることが想定される。
【0067】
また、いくつかの実施形態は、機械可読媒体が複数のコンピュータシステムに記憶され又は複数のコンピュータシステムによって実行される分散コンピューティング環境において実施することができる。また、コンピュータシステム間で転送される情報は、コンピュータシステムを接続する通信媒体を越えてプル配信又はプッシュ配信することができる。
【0068】
特許請求する主題の実施形態は、限定するわけではないが、本明細書で説明した様々な動作を含む。これらの動作は、ハードウェアコンポーネント、ソフトウェア、ファームウェア、又はこれらの組み合わせによって実行することができる。
【0069】
本明細書における方法の動作については特定の順序で図示し説明したが、各方法の動作順を変更していくつかの動作を逆順で実行し、或いはいくつかの動作を少なくとも部分的に他の動作と同時に実行することもできる。別の実施形態では、異なる動作の命令又は下位動作が断続的又は交互的であることもできる。
【0070】
上述した本発明の例示的な実装の説明は、要約書に記載した内容を含めて、完全であること、或いは開示した正確な形態に本発明を限定することを意図するものではない。本明細書では、本発明の特定の実施形態及び具体例を例示目的で説明したが、当業者であれば認識するように、本発明の範囲内で様々な同等の修正が可能である。本明細書で使用した「例」又は「例示的な」という単語は、例、事例又は例示としての役割を果たすことを意味する。本明細書において「例」又は「例示的な」として説明するあらゆる態様又は設計は、必ずしも他の態様又は設計よりも好ましいもの又は有利なものとして解釈すべきではない。むしろ、「例」又は「例示的な」という単語の使用は、本概念を具体的に示すことを意図するものである。本出願で使用する「又は(or)」という用語は、排他的「or」ではなく包含的「or」を意味するように意図される。すなわち、別途明示していない限り、又は文脈から明らかでない限り、「XはA又はBを含む」という表現は、自然な包含的置換のいずれかを意味するように意図される。すなわち、XがAを含む場合、XがBを含む場合、或いはXがAとBの両方を含む場合、「XはA又はBを含む」はこれらの事例のいずれの下でも満たされる。また、本明細書及び添付の特許請求の範囲で使用する「a」及び「an」という冠詞は、単数形を対象にしていることを別途明示していない限り、又は文脈から明らかでない限り、一般に「1又は2以上」を意味すると解釈すべきである。さらに、全体を通じて、「ある実施形態」又は「1つの実施形態」、或いは「ある実装」又は「1つの実装」という用語は、同じ実施形態又は実装を意味するものとして説明していない限りそのように意図するものではない。さらに、本明細書で使用する「第1の」、「第2の」、「第3の」、「第4の」などの用語は、異なる要素同士を区別するラベルとして意図するものであり、必ずしもこれらの数字指定に従う順序を意味するとは限らない場合もある。
【0071】
上記で開示した特徴及び機能、並びにその他の特徴及び機能、又はこれらの代替例の変種は、他の異なるシステム又はアプリケーションに組み合わせることができると理解されるであろう。また、その中で現在では予見又は予想できない様々な代替形態、修正形態、変形形態又は改善形態が後から当業者によって実現されることもあり、これらも以下の特許請求の範囲に含まれるように意図される。特許請求の範囲は、ハードウェア、ソフトウェア、又はこれらの組み合わせでの実施形態を含むことができる。上述した本明細書では、特定の例示的な実装を参照しながら本開示を説明した。しかしながら、添付の特許請求の範囲に示す本開示の幅広い趣旨及び範囲から逸脱することなく、これらの実装に様々な修正及び変更を行えることが明らかであろう。従って、本明細書及び図面は限定的な意味ではなく例示的な意味で捉えるべきである。
図1
図2
図3A
図3B
図4
図5
【国際調査報告】