特表 2025-504884 画像分析及び洞察の生成

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2025-02-19

(54)【発明の名称】画像分析及び洞察の生成

(51)【国際特許分類】

   G16H 50/00 20180101AFI20250212BHJP

   G16H 15/00 20180101ALI20250212BHJP

【ＦＩ】

G16H50/00

G16H15/00

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2024543382

(86)(22)【出願日】2023-01-24

(85)【翻訳文提出日】2024-07-19

(86)【国際出願番号】 US2023061179

(87)【国際公開番号】W WO2023147308

(87)【国際公開日】2023-08-03

(31)【優先権主張番号】63/302,799

(32)【優先日】2022-01-25

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】63/393,116

(32)【優先日】2022-07-28

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＰＹＴＨＯＮ

(71)【出願人】

【識別番号】524273720

【氏名又は名称】ノースウェスタン メモリアル ヘルスケア

(74)【代理人】

【識別番号】100078282

【弁理士】

【氏名又は名称】山本 秀策

(74)【代理人】

【識別番号】100113413

【弁理士】

【氏名又は名称】森下 夏樹

(74)【代理人】

【識別番号】100181674

【弁理士】

【氏名又は名称】飯田 貴敏

(74)【代理人】

【識別番号】100181641

【弁理士】

【氏名又は名称】石川 大輔

(74)【代理人】

【識別番号】230113332

【弁護士】

【氏名又は名称】山本 健策

(72)【発明者】

【氏名】エテマディ， モジヤー

【テーマコード（参考）】

5L099

【Ｆターム（参考）】

5L099AA26

(57)【要約】

入力画像を分析し、入力画像に関連する１つ以上の出力を提供するためのアプローチが提供される。例示的な実施形態によれば、入力画像は、受信され、トレーニングされた機械学習モデルを使用して分析され、画像に関連する推論を生成することができる。少なくとも部分的に、生成された推論に基づいて、推論に関連する１つ以上のレポートが生成され、ユーザデバイスに提示されるために提供され得る。ユーザは、コンピュータシステムとの会話方式でレポートとインタラクトして、入力画像に関連する追加のレポートまたは洞察を生成することができる。
【選択図】図３

【特許請求の範囲】

【請求項1】

コンピュータ実装方法であって、
入力画像を受信すること、
前記入力画像に関連する少なくとも１つの洞察の要求を受信すること、
前記入力画像を分析して、前記入力画像に存在する１つ以上の異常を検出すること、
少なくとも１つのニューラルネットワークを利用して、前記入力画像に関連する情報を推論すること、
前記入力画像に関連する複数のレポートを、前記推論された情報に少なくとも部分的に基づいて生成することであって、前記複数のレポートのそれぞれは、少なくとも１つの関連するメトリックを有する、前記生成すること、を含む、前記方法。

【請求項2】

前記少なくとも１つのニューラルネットワークは、画像モデル、テキストモデル、及び病歴データのうちの少なくとも１つを使用してトレーニングされる、請求項１に記載のコンピュータ実装方法。

【請求項3】

ユーザが前記複数のレポートのうちのレポートの１つの少なくとも一部分及び前記入力画像とインタラクトすることを可能にすること、及び
前記レポートの他方及び前記レポートの前記インタラクトされた部分に対応する前記入力画像に関する指示を提供すること、をさらに含む、請求項１または２に記載のコンピュータ実装方法。

【請求項4】

ユーザが前記複数のレポートとインタラクトすることを可能にすることであって、インタラクションは、前記入力画像、またはユーザによる前記複数のレポートのうちのレポートを強調表示すること、ユーザから前記複数のレポートに関連する質問を受信すること、または前記複数のレポートのために生成された分布とのインタラクション、のうちの１つ以上を含む、請求項１から３のいずれか１項に記載のコンピュータ実装方法。

【請求項5】

前記入力画像は、医用画像の処理を通じて取得される、請求項１から４のいずれか１項に記載のコンピュータ実装方法。

【請求項6】

前記複数のレポートがヒストグラムにおいて提供され、前記ヒストグラムは、前記複数のレポートの包括的な提示を提供するように構成される、請求項１から５のいずれか１項に記載のコンピュータ実装方法。

【請求項7】

コンピュータ実装方法であって、
入力画像を受信すること、
機械学習モデルを使用して、前記画像に関連する少なくとも１つの推論を生成すること、
前記少なくとも１つの推論に少なくとも部分的に基づいて、表示のために第１の出力を提供すること、
前記第１の出力との少なくとも１つのインタラクションを受信すること、及び
前記受信した少なくとも１つのインタラクションに応答して、少なくとも１つの第２の出力を表示のために提供すること、を含む、前記方法。

【請求項8】

前記第１の出力が、前記少なくとも１つの推論に関連するレポートのセットを含む、請求項７に記載のコンピュータ実装方法。

【請求項9】

前記少なくとも１つの第２の出力が、前記少なくとも１つのインタラクションに応答する応答、及び前記少なくとも１つのインタラクションに応答して生成されたレポートの新しいセットのうちの１つ以上を含む、請求項７または８に記載のコンピュータ実装方法。

【請求項10】

前記少なくとも１つのインタラクションが、ユーザによる前記第１の出力で強調表示すること、ユーザから質問を受信すること、または前記第１の出力のために生成された分布とのインタラクションのうちの１つ以上を含む、請求項７から９のいずれか１項に記載のコンピュータ実装方法。

【請求項11】

ユーザが前記第１の出力でのレポートの少なくとも一部とインタラクトすることを可能にすること、及び
前記レポートの前記インタラクトされた部分に対応する前記入力画像に関する指示を提供すること、を含む、請求項７から１０のいずれか１項に記載のコンピュータ実装方法。

【請求項12】

前記入力画像は、医用画像の処理を通じて取得される、請求項７から１１のいずれか１項に記載のコンピュータ実装方法。

【請求項13】

前記機械学習モデルは、画像モデル、テキストモデル、及び病歴データのうちの少なくとも１つを使用してトレーニングされる、請求項７から１２のいずれか１項に記載のコンピュータ実装方法。

【請求項14】

前記第１の出力が、ヒストグラムとして提供され、前記ヒストグラムは、複数のレポートの包括的な提示を提供するように構成される、請求項７から１３のいずれか１項に記載のコンピュータ実装方法。

【請求項15】

前記第１の出力のために生成された前記分布は、前記入力画像に関連する臨床診断に関する洞察を提供する、請求項１０に記載のコンピュータ実装方法。

【請求項16】

コンピュータ実装方法であって、
トレーニングデータのセットで機械学習モデルをトレーニングすることであって、前記トレーニングデータのセットは、個々のトークンの値と、前記個々のトークンの値の１つ以上のグループとを含む、前記トレーニングすること、
入力画像を受信すること、
前記トレーニングされた機械学習モデルを使用して、前記入力画像を分析すること、
前記分析された入力画像に関連する出力を受信すること、
前記出力において受信されたデータの少なくとも第１のサブセットをサンプリングすることであって、前記出力におけるデータの第２のサブセットは前記サンプリングから除外される、前記サンプリングすること、及び
前記サンプリングされたデータの第１のサブセットに少なくとも部分的に基づいて、前記入力画像に関連するレポートを生成すること、を含む、前記方法。

【請求項17】

前記個々のトークンの値が、前記トレーニングデータのセットのテキストの値または画像の値に対応する、請求項１６に記載のコンピュータ実装方法。

【請求項18】

前記出力が、テキストの値の分布に対応する、請求項１６または１７に記載のコンピュータ実装方法。

【請求項19】

前記分析された画像に関連する前記出力は、前記トレーニングデータのセットに過適合する、請求項１６から１８のいずれか１項に記載のコンピュータ実装方法。

【請求項20】

前記トレーニングデータのセットの中の１つまたは複数のモダリティに前記出力を過適合することが、前記レポートに関連する精度のレベルを向上させる、請求項１９に記載のコンピュータ実装方法。

【発明の詳細な説明】

【背景技術】

【0001】

医療専門家は、患者のより多くの情報に基づいた診断を行うために、撮像技術に頼る場合がある。えてして、異なる医療専門家らが、診断がどのようなものであり得るかについて衝突する意見を有することがある。さらに、人為的過誤により、医療専門家は画像内のアーチファクトを不注意で見落とし、不正確なレポートをもたらす場合がある。手動で生成されたレポートはまた、生成するのに、緊急な状況で要求され得るよりも長い時間を要する場合がある。さらに、従来の方法は、テンプレートまたはルールベースのアルゴリズムを利用することがあり、これらは、手動での入力を必要とする場合があり、テンプレートまたはアルゴリズムで指定されていないアーチファクトを除外する場合がある。さらに、従来の方法では、ユーザが意思決定を支援する会話方式でシステムと通信することができない場合がある。したがって、医療専門家が既存の技術よりも精度と効率を向上できるように、改善された放射線技術とシステムに対する必要性が存在している。

【発明の概要】

【課題を解決するための手段】

【0002】

以下の説明では多様な実施形態が説明される。説明の目的で、実施形態の徹底的な理解を提供するために具体的な構成及び詳細が述べられる。しかしながら、当業者には、実施形態がその具体的な詳細を伴わずに実践され得るということもまた明らかになるであろう。さらに、公知の特徴は、説明される実施形態を不明瞭にしないために、省略または簡素化され得る。

【0003】

例示的な実施形態によれば、医用画像は、Ｘ線、コンピュータ断層撮影（ＣＴ）スキャン、磁気共鳴画像（ＭＲＩ）、核医学画像陽電子放出断層撮影（ＰＥＴ）、及び超音波に関連する技術を含み得るが、これらに限定されない。医用撮像はまた、例えば結腸鏡検査及び内視鏡検査で使用される技術など、内部から人間を観察するために使用される任意の撮像ベースの技術を指し得る。このような医用撮像は、人間の目では容易く見えない、患者に関連する身体的な問題に関する情報を提供し得る。しかし、過酷なスケジュール及び／または人員が限られていることを考えると、医療専門家が画像を分析して画像に関連するレポートを生成する時間をとれるまでに数時間かかる場合がある。そのような場合、医療専門家による結果の読影を待つ間に、患者の状態が急速に変化する可能性がある。例えば、胃腸科で働く医療専門家が、救急治療室で働く医療専門家に療法指導を提供するのに数時間かかる場合がある。救急室の専門家が療法指導を待っている間ずっと、患者の状態が悪化してしまう場合がある。さらに、ある専門家の意見が別の専門家の意見と異なる場合があり、または専門家が画像に存在し得る重要なアーチファクトを不注意で見落としてしまう可能性がある。そのため、手動で生成された医療レポートでは、重要な細部を高い程度の精度または整合性でとらえていない場合がある。

【0004】

例示的な実施形態によれば、入力画像、例えば、医用撮像技術を使用することによって取得された画像が受信され得る。入力画像に関連する少なくとも１つの洞察の要求も受信され得る。入力画像を分析して、入力画像に存在する１つ以上の異常を検出することができる。少なくとも１つのニューラルネットワークを利用して、入力画像に関連する情報を推論することができる。入力画像に関連する複数のレポートは、推論された情報に少なくとも部分的に基づいて生成され得、複数のレポートのそれぞれは、少なくとも１つの関連するメトリックを有する。

【0005】

別の例示的な実施形態によれば、入力画像が受信され得る。機械学習モデルを使用して、画像に関連する少なくとも１つの推論が生成され得る。第１の出力は、少なくとも１つの推論に少なくとも部分的に基づいて、表示のために提供され得る。第１の出力との少なくとも１つのインタラクションが受信され得る。受信した少なくとも１つのインタラクションに応答して、少なくとも１つの第２の出力が表示のために提供され得る。

【0006】

さらに別の例示的な実施形態によれば、機械学習モデルは、トレーニングデータのセットでトレーニングされ得、トレーニングデータのセットは、個々のトークンの値と、個々のトークンの値の１つ以上のグループとを含む。入力画像は、トレーニングされた機械学習モデルを使用して、受信され、分析され得る。分析された入力画像に関連する出力が、受信または生成され得る。出力において受信されたデータの少なくとも第１のサブセットをサンプリングすることができ、出力におけるデータの第２のサブセットはサンプリングから除外される。入力画像に関連するレポートは、サンプリングされたデータの第１のサブセットに少なくとも部分的に基づいて生成できる。

【図面の簡単な説明】

【0007】

本開示による多様な実施形態を、図面を参照して説明する。

【0008】

【図1】様々な実施形態の態様を実装するために使用することができる例示的なインターフェースを示す。

【図2】様々な実施形態の態様を実装するために使用することができる別の例示的なインターフェースを示す。

【図3】様々な実施形態の１つ以上の態様を実装するために使用することができる別の例示的なシステムを示す。

【図4】様々な実施形態に従って利用することができる例示的な方法を示す。

【図5】様々な実施形態に従って利用することができる別の例示的な方法を示す。

【図6】様々な実施形態に従って利用することができる別の例示的な方法を示す。

【図7】いくつかの実施形態による、本明細書に記載の技法の少なくとも一部または全部を実装するために使用できるシステムを示す。

【図8】様々な実施形態の態様を実装することができる別の例示的な環境のコンポーネントを示す。

【発明を実施するための形態】

【0009】

図１は、様々な実施形態の態様を実装するために使用することができる例示的なインターフェース１００を示す。図１に示すように、医用画像または医用画像のセット１１０が入力として提供され得る。上で説明したように、例示的な実施形態によれば、医用画像は、Ｘ線、コンピュータ断層撮影（ＣＴ）スキャン、コンピュータ断層撮影（ＣＡＴ）スキャン、磁気共鳴画像（ＭＲＩ）、核医学画像陽電子放出断層撮影（ＰＥＴ）、及び超音波に関連する技術を含み得るが、これらに限定されない。医用撮像はまた、例えば結腸鏡検査及び内視鏡検査で使用される技術など、内部から人間を観察するために使用される任意の撮像ベースの技術を指し得る。このような医用撮像は、人間の目では容易く見えない、患者に関連する身体的な問題に関する情報を提供し得る。

【0010】

例示的な実施形態によれば、医用画像（複数可）１１０が要求に加えて提供され得、例えば専門家が画像（複数可）に関連する詳細なレポートを望むかどうか、または専門家による予測診断の精度が高いかどうかなどが挙げられる。人工知能は、１つ以上の実施形態によれば、他のそのようなオプションの中で、専門家の意見を確認することに加えて、画像の分析を支援し、画像の解釈を提供するために利用され得る。本明細書で説明及び／または言及されるように、人工知能は、適用可能であり得るような教師なし機械学習、半教師ありもしくは強化機械学習、または教師あり機械学習を含む機械学習の使用を含み得るが、これらに限定されない。本明細書で説明及び／または言及される機械学習は、ニューラルネットワーク及び深層学習の使用を含み得る。

【0011】

図１に示されるように、システムは、表示ボックス１２０で示されるように、入力画像（複数可）が胸部の検査を表すことを自動的に識別可能であり得る。画像がそれほど明瞭ではない場合、またはシステムが、少なくとも閾値レベルの信頼度で、検査が何に関係するかを判定できない場合、システムは、情報を明確にするために追加の入力を要求することができる。例示的な実施形態によれば、機械学習を利用して、医用画像によって取得されたスキャンなどの入力画像を分析して、スキャンに存在し得るいずれかの異常を検出することができる。いくつかの例示的な実施形態では、入力画像は、他のそのようなオプションの中で、病歴データ、画像データ、及びテキストデータを含むトレーニングデータと比較され得る。病歴データは、「健常」と考えられるスキャン、または関連する異常を有するスキャンを含む、様々なタイプの医療レポートと、関連する医用画像とを含み得る。いくつかの実施形態では、健常性のスキャンをトレーニングデータのセットから除外して、モデルをトレーニングするために必要な格納されたデータの量を最小限に抑えることができる。そのような場合、モデルは、コンピューティングデバイスの処理速度を向上させながら、依然として高い精度で動作し得る。トレーニングデータはまた、少なくともいくつかの例示的な実施形態で、異常の検出に寄与し得るアイテムなどの、アイテムに対応する画像データを含み得る。例えば、児童がボタンまたはコインを誤飲した場合がある。ボタンまたはコインの画像は、児童の入力画像において、検出されるボタンまたはコインの潜在性診断をもたらすのを助けるトレーニングデータとして利用され得る。いくつかの実施形態では、撮像は、異常な物体に存在する特徴に関する明確な情報を提供しない場合があるので、アイテムの輪郭をトレーニングデータと比較して、異常の潜在的な原因が何であり得るかを判断することができる。

【0012】

１３０に示されるように、分析に基づいて、例示的な実施形態に従って、レポートが生成され得る。例えば、最初の要求が診断をチェックすることであった場合、レポートは、その診断が分析中に見出されたかどうかを示し得る。あるいは、最初の要求が潜在的な異常の概略をもらうこと、または診断を生成することであった場合、要求に関連する情報を含むレポートを、要求への応答として提供し得る。例示的な実施形態によれば、ユーザはまた、システムに、入力画像の特定された部分に関する記述または説明を提供するように促すことができる。このようにして、ユーザは本質的に、コンピューティングシステムとの会話式の関係を有し、画像に関するユーザの決定を、より適切に通知することができる。この図１の例では、システムは、入力画像（複数可）１１０に基づいて任意の所見のレポートまたは概略をもらうように要求された。図に示すように、このシステムは、臨床的適応に基づいて所見を生成することができた。発熱などの臨床的適応が専門家によって提供され得、その結果、システムはレポートを生成するときに追加のコンテキスト情報を有し得る。このようにして、まとめられた所見は調整させることができ、専門家が懸念するべき任意の所見及び他の考慮事項のより正確な表現を提供し得る。所見に加えて、システムは、即時対応が必要かどうか、または患者の状態が安定しているかどうかを示すまとめられた印象を提供できる場合がある。少なくともいくつかの実施形態では、レポートは、双方向及び自己回帰（ＢＡＲＴ）モデル、変換器からの双方向エンコーダ表現（ＢＥＲＴ））モデル、または生成的事前トレーニング済み変換器（ＧＰＴ）モデルなどの大型の変換器ベースの言語モデルが含まれるが、これらに限定されない変換器モデルなどを介して、エンコーダ／デコーダフレームワークを利用して生成され得る。

【0013】

本明細書で説明されるように、トレーニングデータは、トレーニングされた画像モデル、トレーニングされたテキストベースのモデル、及び複数の医療レポートなどの病歴データでトレーニングされたモデルを含むがこれらに限定されない、複数のタイプのモデルからの出力を含み得る。レポートのトレーニングデータは、初期の診断が困難な場合がある医療問題を説明し得る。例えば、より複雑な評価に対応するレポートを利用して、モデルがそのような複雑なケースを理解するのを助けることができる。例えば、画像の一部で患者が小さな気胸部を有する場合があるが、モデルが、命令する医療専門家が最初に見落としていた可能性がある気管の縦隔シフトを識別できる場合がある。この場合、専門家は気胸を確認するために画像を命令していた可能性があり、そのため画像のその部分のみに注意が向くことがある。このように、専門家が気管で注意すべき問題があると認識しなかったことから、専門家が縦隔シフトを見落とした可能性がある。確かに、他の医療従事者がシフトを見つける可能性はあるが、最初の専門家がその問題をつかんでいない場合、気管に関する療法指導を求める理由がないであろう。かくして、本明細書に記載されるようにトレーニング済みモデルを利用することにより、患者の撮像のより包括的な評価を提供することができるのである。システムが正中シフトを特定した後、ユーザはシステムに、シフトに関連するフォローアップの質問をすることができ、例えば画像のその特定の部分に関連する追加のレポートを生成する、またはその問題のための代替の説明を提供し得る他のレポートを選択することによる。このようにして、ユーザは、医療分野の他の専門家と行うように、コンピューティングシステムと対話して、問題をより良く理解することができる。個々のレポートは、レポートの精度の信頼性の確実性を示す確実性の値または他のメトリックを提供され得る。ユーザは、所与のレポートの確実性の値を見て、全体的な診断を生成するときにそのレポートにどの程度の重みを与えるべきかを判定することができる。他のメトリックは、例示的な実施形態によれば、及び他のそのようなメトリックの中でも、トークンの値全体にわたる平均信頼度スコア、単一のレポートに対する最大信頼度スコア、単一のレポートに対する最小信頼度スコア、信頼度スコア（複数可）の標準偏差、レポート／画像ペアリングにおける強調表示の焦点の数、を含み得る。

【0014】

従来、モデルは、損失を可能な限り減少させるように最適化され得る。例えば、モデルは、損失を低減するために過適合しないように最適化され得る。ただし、医療分野などの特定のコンテキストでは、確実性の欠如のために除外され得る追加のデータポイントを考慮することが有益な場合がある。例えば、全体的な臨床性能が向上するように、モデルを意図的に過適合させて、予測に関するモデルの信頼性をより高めることが有益な場合がある。この例では、モデルは、特定の語または音節ではなく、記憶された語句の一節でのみトレーニングする必要があり得、これにより、モデルは、分析をまとめる語のセットを提示する方法を決定する代わりに、要求に関連する臨床的細部の分析に、より多くのリソースを費やすことができる。

【0015】

例示的な実施形態によれば、レポートのセットが所与の入力画像に対して生成されている場合、ヒストグラムが生成され、提示のために精度の確実性とともにもたらされ得る。ヒストグラムは、一連のピークを伴うグラフであり得、個々のピークは、可能な頻度分布に関連付けられ得る。従来のシステムは、正確である頻度が最も高い、最も正確な出力に対応する単一のピークのみに焦点を合わせ得る。しかしながら、医療の実践などの特定の例では、考慮すべき追加の診断または代替の診断がある場合に、より小さいピークを分析することが有益な場合がある。例えば、医療分野では、画像の所見について様々な医療専門家の意見が合わないことは一般的である。１つ以上の例示的な実施形態によれば、ユーザは、ピークのうちの１つ以上をクリックすると、レポートに提示される、または画像のラベルの形式で提供される、他の可能な診断を見ることができる。このようにして、ユーザは、多数の専門家が画像について予測するであろう表現を有し得（例えば、１００の生成されたレポートに対して１００名の専門家）、予測のより包括的な概略をユーザに提供し得る。ヒストグラムにピークが１つしかない場合、ユーザは自分の診断に確信をもつことができる。しかし、多数のピーク（例えば、２つ以上）がある場合、ユーザは、診断に落ち着いて取り組むために追加情報が必要であると判断する場合があり、またはユーザは、各ピークが、基礎的な状態である可能性がある代表的な代替であることを示唆する場合がある。この例は、限定することを意図しておらず、他の形式の指示が提供され得る。

【0016】

図２は、様々な実施形態の態様を実装するために使用することができる別の例示的なインターフェース２００を示す。この例に示すように、１つ以上の医用画像（複数可）２１０が、分析のためにコンピューティングシステムに提供され得る。処置のタイプ、技術、病歴、及び潜在的兆候は、他のそのような情報の中でも、コンピューティングシステムが考慮するためのコンテキスト情報として提供され得る。本明細書で説明される１つ以上の技術に従って、コンピューティングシステムは、人工知能を利用して、入力画像（複数可）２１０を分析し、コンテキスト情報ならびにコンピューティングシステムによって決定された結論及び指示を含む、レポート２３０を生成し得る。代替的または追加的に、ユーザは、コンピューティングシステムに、望む回数特定の詳細を見ることを求められるようにしてもよく、その結果、コンピューティングシステムは、反復ごとに異なり得る多数の結果を提供し得る。そうすることで、ユーザ及びコンピューティングシステムは、画像が示しているものの全体的な診断をユーザが作成するのを支援するための会話型アプローチを確立した。図２に示すように、コンピューティングシステムは、「腹部の左上部の上に突出している放射線不透過性ジッパが存在」と判定することができた。換言すれば、システムは、体内の異物を検出し、その所見をレポート２３０に含めて、レポートの読み手に警告した。この情報に基づいて、読み手は、患者がカテーテル以外で他の問題に直面していないことを確実にするために、体のその特定の領域のスキャンを命令するなど、必要な処置をそのときにとり得る。ユーザは、次の質問がレポートの強調表示された部分に関連しているというコンピューティングシステムへのインジケータとして、コンピューティングシステムの次の質問を定式化するために、レポートの一部をさらに手動で強調表示するか、またはその他の方法で選択し得る。同様に、ユーザは、入力画像の部分を強調表示する、またはその他の方法で選択して、次の質問が入力画像の部分に関連していることをコンピューティングシステムに示すことが可能であり得る。代替の実施形態によれば、ユーザは、入力画像の部分とインタラクトすることができてよく、システムは、入力画像のインタラクトされた部分に関連し得る生成されたレポートの対応する部分を自動的に強調表示することができる。ユーザはまた、特定の状態に関連するレポートを生成するようにシステムに要求し得る。例えば、図２のレポートは、放射線不透過性ジッパを示しているが、ユーザは、システムが患者に存在する可能性のあるいずれかの感染症を確認するかどうかについて質問することがある。例示的な実施形態によれば、システムはまた、異常が検出されたときに進む方法に関する推奨事項を生成することができる。推奨事項には、指定された領域に対して追加の撮像を命令する提案、または検出された特定の問題に関する特定のプロバイダの療法指導を要求する提案が含まれ得る。

【0017】

図３の例示的なシステム３００に示すように、ユーザは、クライアントデバイス３０２を使用して、少なくとも１つのネットワーク３０４にわたって、環境において受信された入力画像３０６に関連するクエリを含む要求を実行依頼することが可能であり得る。この要求は、プロバイダ環境３０８を介してクエリを実行依頼する医療専門家などのユーザによって受け取られ得る。クエリは、任意の適切な方法（例えば、テキストクエリ、音声要求、画像ベースのクエリなど）により実行依頼され得る。この例示的な実施形態では、クエリは、他のそのようなクエリの中でも、入力画像に関連する診断を確認する要求、または入力画像に存在する可能性のある任意の異常を含むレポートの要求を含み得る。携帯型コンピューティングデバイス（例えば、電子ブックリーダ、スマートフォン、またはタブレット型コンピュータ）をクライアントデバイス３０２として示しているが、入力を受信、判定、及び／または処理する能力のあるいずれの電子デバイスも、本明細書に記載の種々の実施形態に従って使用することができるということを理解されたく、この場合デバイスは、例えば、とりわけ、デスクトップ型コンピュータ、ノートパソコン、パーソナルデータアシスタント、ビデオゲームコンソール、テレビジョンセットトップボックス、ウェアラブルコンピュータ（例えば、スマートウォッチ及び眼鏡）及び携帯型メディアプレーヤを含み得る。

【0018】

少なくとも１つのネットワーク３０４はいずれかの適切なネットワークを含めることができ、例えばインターネット、イントラネット、ローカルエリアネットワーク（ＬＡＮ）、セルラネットワーク、Ｗｉ－Ｆｉネットワークなどを含み得る。この要求は、適切なプロバイダ環境３０８に送信することができ、それは、そのような要求を処理するための１つ以上のサービス、システム、またはアプリケーションを提供することができる。プロバイダは、ウェブサイトプロバイダ、電子記録を備えた病院、コンテンツ配給会社などを含み得るように、デジタルコンテンツまたは電子コンテンツの任意の供給源であり得る。

【0019】

この例では、要求は、プロバイダ環境３０８のネットワークインターフェース層３１０によって受信される。ネットワークインターフェース層は、１つ以上のアプリケーションプログラミングインターフェース（ＡＰＩ）、またはそのような要求を受信するための他のそのようなインターフェースを含み得るような、既知であるかまたはネットワークを越えて要求を受信するために使用される任意の適切なコンポーネントを含むことができる。ネットワークインターフェース層３１０は、プロバイダによって所有及び操作される場合もあれば、共有リソースまたは「クラウド」製品の一部としてプロバイダによって利用される場合もある。ネットワークインターフェース層は、クライアントデバイス３０２から要求を受信して分析し、要求の情報の少なくとも一部を、他のこのようなオプションの中でもとりわけ、サーバ３１２（例えば、ウェブサーバまたはアプリケーションサーバ）などの適切なシステムまたはサービスに向けさせることができる。ウェブページの場合、例えば、少なくとも１つのサーバ３１２を使用して、コードを生成し、要求されたウェブページをレンダリングするためのコンテンツを送信し得る。要求に応答して結果を生成すること、ユーザ入力に対して操作を実行すること、要求のための情報を検証することなどの、処理が実行される場合、情報はまた、例えば、要求エンジン３１６などの処理のために少なくとも１つの他のサーバに向けられてもよい。環境のサーバまたは他のコンポーネントは、要求エンジン３１６によって利用できるトレーニングデータの形式として、画像データを含む画像データストア３１４などの１つ以上のデータストアにアクセスし得る。いくつかの例示的な実施形態では、画像データストア３１４は、トレーニングデータとして利用され得る画像データに関連する対応するレポートをさらに含み得る。

【0020】

要求エンジン３１６は、サーバから要求を受信することができ、要求への１つまたは複数の応答を決定することができる。少なくともいくつかの実施形態では、要求エンジン３１６は、分析コンポーネント３２０によって提供される情報を考慮し、応答生成コンポーネント３２２に分析を提供し得る。分析コンポーネント３２０は、機械学習を含む１つ以上の人工知能技術を利用して、入力画像を分析し、入力画像に存在する可能性がある任意の異常を判定することができる。例えば、トレーニングデータを利用して、入力画像に存在する可能性がある任意の異常を予測及び／または識別することができる。さらに、分析コンポーネントは、手動で生成されたレポートに存在するデータなどのデータを考慮し、入力画像を考慮してレポートが正確かどうかを判定することができるようにし得る。応答生成コンポーネント３２２は、分析コンポーネントの結果を考慮して、要求エンジン３１６に提供するレポートまたは指示を生成し得る。例えば、応答生成コンポーネント３２２は、言語モデルを利用して、レポートを生成し、または診断が正確であるかどうかについての指示を提供し得る。要求エンジン３１６は、本明細書で説明される機能を実行するために、任意の適切な方法で、分析コンポーネント３２０及び応答生成コンポーネント３２２とインターフェースし得る。データストア３１８は、言語またはテキストのトレーニングデータ及び病歴トレーニングデータなどの追加のトレーニングデータ、言語モデル、及び／または分析コンポーネント３２０及び応答生成コンポーネント３２２からの結果を含み得る。少なくともいくつかの例示的な実施形態では、分析コンポーネント３２０及び／または応答生成コンポーネント３２２からの結果は、未来の要求で使用するためのトレーニングデータとして利用され得る。

【0021】

図４は、様々な実施形態に従って利用することができる例示的な方法４００を示す。本明細書におけるいずれの処理についても、他に特に述べられない限り、様々な実施形態の範囲内で、同様の順序、もしくは代替的な順序で、または並列して実行される追加のステップ、より少ないステップ、または代替的なステップが存在し得ることが理解されるべきである。

【0022】

この例示的な実施形態では、入力画像が受信され得る（４１０）。いくつかの例では、入力画像は、放射線科によって取得された医用画像であり得る。他の例では、入力画像は、処置中に取得されたビデオデータなどのビデオデータ、または医療分野に関係のない他の画像及びビデオデータに対応し得る。入力画像に関連する少なくとも１つの洞察の要求も受信され得る（４２０）。例えば、医療専門家を含むがこれに限定されないユーザは、入力画像に関連する任意の所見をまとめるレポートの要求を実行依頼し得る。医療レポートは、少なくともいくつかの例示的な実施形態では、人工知能技術を使用するなどによって、自動的に生成され得る。入力画像を分析して、入力画像に存在し得る１つ以上の異常を検出することができる（４３０）。例えば、機械学習または他の人工知能技術を使用して、入力画像が分析され得る。基礎となるアルゴリズムは、言語モデル、画像モデル、及び既存の放射線医学的データなどの病歴データを含むがこれらに限定されないトレーニングデータの１つ以上のセットでトレーニングされ得る。少なくとも１つのニューラルネットワークを利用して、入力画像に関連する情報が推論され得る（５４０）。推論情報に少なくとも部分的に基づいて、複数のレポートが生成され得る（４５０）。

【0023】

少なくともいくつかの実施形態では、複数のレポートのそれぞれは、所与のレポートの平均的な確実性のレベルに対応する、関連する信頼度またはメトリックのレベルを有し得る。例えば、１つのレポートは、確実性において高いレベルの信頼性（例えば、確実性の閾値レベルを超える）を有し得るため、正確ではないレポート及び診断よりも見込みがある。個々のレポートは、レポートの精度の信頼性の確実性を示す確実性の値または他のメトリックを提供され得る。ユーザは、所与のレポートの確実性の値を見て、全体的な診断を生成するときにそのレポートにどの程度の重みを与えるべきかを判定することができる。他のメトリックは、例示的な実施形態によれば、及び他のそのようなメトリックの中でも、トークンの値全体にわたる平均信頼度スコア、単一のレポートに対する最大信頼度スコア、単一のレポートに対する最小信頼度スコア、信頼度スコア（複数可）の標準偏差、レポート／画像ペアリングにおける強調表示の焦点の数、を含み得る。そのような信頼度スコア及び／またはメトリックを使用する際に、ユーザは、レポートに診断が基づいていて、自信を感じることができる。他の場合では、レポートは、かなり高いレベルの確実性を有し得る（例えば、確実性の閾値レベルを下回るが、確実性の最小レベルを上回る確実性の範囲内）。これらの場合、ユーザは、入力画像で何が起こっているかをより良く理解するために生成された他のレポートを確認することができる。例えば、医師は、同じ画像に関連するレポートを受信することができ、各関連するレポートは、画像の異なる解釈を提供し得る。少なくとも解釈のサブセットに基づいて、医師は、より包括的な診断を提供し得る、及び／または潜在的な診断（複数可）に関連する潜在的な追跡検査を命令することができる。いくつかの実施形態では、生成されたレポートは、トレーニングを受けた専門家によって利用されて、画像のより良い理解を得ることができるか、または専門家が初期診断で見落とした可能性のあるいずれかの異常があるかどうかを判断することができる。例示的な実施形態によれば、複数のレポートは、ヒストグラム上の各データポイントが、判定された確実性のレベルの個々のレポートに対応するように、ヒストグラムに提示され得る。
レポートをヒストグラム形式でユーザに提示することにより、ユーザはレポートの様々な知見をより良く理解することができ、自分の意見を個々のレポートに基づかせるべきかどうかを判定することができる。

【0024】

図５は、様々な実施形態に従って利用することができる別の例示的方法５００を示す。本明細書におけるいずれの処理についても、他に特に述べられない限り、様々な実施形態の範囲内で、同様の順序、もしくは代替的な順序で、または並列して実行される追加のステップ、より少ないステップ、または代替的なステップが存在し得ることが理解されるべきである。

【0025】

この例示的な実施形態では、入力画像が受信され得る（５１０）。いくつかの例では、入力画像は、放射線科によって取得された医用画像であり得る。他の例では、入力画像は、処置中に取得されたビデオデータなどのビデオデータ、または医療分野に関係のない他の画像及びビデオデータに対応し得る。１つ以上の実施形態によれば、機械学習アルゴリズムを使用して、入力画像に関連する少なくとも１つの推論を生成することができる（５２０）。入力画像を分析して、入力画像に存在し得る１つ以上の異常を検出することができる。例えば、機械学習または他の人工知能技術を使用して、入力画像が分析され得る。基礎となるアルゴリズムは、言語モデル、画像モデル、及び既存の放射線医学的データを含むがこれらに限定されないトレーニングデータの１つ以上のセットでトレーニングされ得る。少なくとも部分的に推論に基づいて、第１の出力は、表示のために提供され得る（５３０）。例えば、最初のクエリに応答して、入力画像の１つ以上の所見をまとめるレポートのセットが表示のために提供され得る。この例では、所見は、医学診断に寄与し得る潜在的な情報に対応し得る。

【0026】

第１の出力との少なくとも１つのインタラクションが受信され得る（５４０）。例示的な実施形態によれば、ユーザは、他のそのようなインタラクションの中でも、強調表示された特徴（複数可）に関して、レポートまたは入力画像の特徴を強調表示すること、フォローアップの質問をすること、またはレポートのセットを再生成するようにシステムに問い合わせることなどによって、生成されたレポートのうちの１つ以上とインタラクトすることができる。少なくともいくつかの例示的な実施形態では、入力画像に存在する特徴は、検出された異常が対応する説明にリンクするように、１つ以上の用語にリンクされ得る。ユーザが検出された異常の上でホバーするか、または異常をクリックすると、テキストの対応するセクションが強調表示されるか、またはその他の方法でユーザに目立つ表示で提供され得る。同様に、ユーザがテキストのセクションの上にホバーするか、またはセクションをクリックすると、異常を囲むボックスなどの指示が画像に提示され得る。そのような連結は、人工知能技術を使用して、自動的に実行され得る。次に、システムは、受信した少なくとも１つのインタラクションに応答して、表示のために少なくとも１つの第２の出力を提供し得る（５５０）。第２の出力に基づいて、ユーザは、第２の出力で提供される情報を使用して、生成されたレポートの任意の所見をよりよく理解することができ、例えば、入力画像のより包括的な概要及び分析を用いてより良い医療診断を行うことが可能であり得る。

【0027】

図６は、様々な実施形態に従って利用することができる別の例示的方法６００を示す。本明細書におけるいずれの処理についても、他に特に述べられない限り、様々な実施形態の範囲内で、同様の順序、もしくは代替的な順序で、または並列して実行される追加のステップ、より少ないステップ、または代替的なステップが存在し得ることが理解されるべきである。

【0028】

この例示的な実施形態によれば、機械学習モデルは、トレーニングデータの少なくとも１つのセットでトレーニングされ得、トレーニングデータの少なくとも１つのセットは、個々のトークンの値と、個々のトークンの値の１つ以上のグループとを含む（６１０）。例えば、機械学習モデルは、一度に複数の語または音節をトレーニングすることができ、各音節または語のグループは、トークンの値に対応しており、モデルの過適合の可能性があるため語及び音節の記憶を妨げる従来のモデルとは対照的である。モデルが過適合している場合、過適合モデルによって生成されたテキストは、自然言語のように聞こえるのではなく、実際にはコンピューティングシステムによって生成されたことが容易に明白になり得る。いくつかの例示的な実施形態では、トークンの値は、画像の個々のピクセルの値に対応し得る。

【0029】

入力画像が受信され得る（６２０）。いくつかの例では、入力画像は、放射線科によって取得された医用画像であり得る。他の例では、入力画像は、処置中に取得されたビデオデータなどのビデオデータ、または医療分野に関係のない他の画像及びビデオデータに対応し得る。トレーニングされた機械学習モデルを使用して、入力画像は、処理または分析され得る（６３０）。分析された入力画像に関連する出力が受信され得る（６４０）。例示的な実施形態によれば、出力は、生成されたテキストの確率分布を含み得る。少なくともいくつかの例示的な実施形態では、確率分布は、トレーニングデータに過適合させ得る。本明細書の他の箇所で述べたように、モデルを過適合させることは、従来のシステムおける、人間には不自然に読めるテキストを含む、望ましくない結果を生じさせ得る。出力において受信されたデータの少なくとも第１のサブセットをサンプリングすることができ、出力におけるデータの第２のサブセットはサンプリングから除外される（６５０）。例えば、確率分布の結果の少なくとも一部は、結果に対して適用される閾値に基づいて、サンプリングから除外され得る。本明細書で説明される例は、確率分布を参照するが、様々な実施形態に従って他のタイプの分布が使用され得る。入力画像に関連するレポートは、サンプリングされたデータの第１のサブセットに少なくとも部分的に基づいて生成できる（６６０）。このようにレポートを生成することにより、モデルが過適合した後でも、レポートは人間にとってより自然に読み進めることができるものである。過適合に関しては、テキストは過適合し得るがピクセルはそうでない場合、またはピクセルは過適合し得るがテキストはそうでない場合がある。

【0030】

いくつかの実施形態では、本明細書に説明される技術の一部またはすべてを実施するシステムは、図７に示されるコンピュータシステム７００など、１つ以上のコンピュータアクセス可能媒体を含むか、またはそれにアクセスするように構成される汎用コンピュータシステムを含み得る。図示の実施形態では、コンピュータシステム７００は、入力／出力（Ｉ／Ｏ）インターフェース７３０を介してシステムメモリ７２０に結合された１つまたは複数のプロセッサ７１０Ａ～７１０Ｎを含む。コンピュータシステム７００は、Ｉ／Ｏインターフェース７３０に連結されるネットワークインターフェース７４０をさらに含む。図７は、単一のコンピューティングデバイスとしてのコンピュータシステム７００を示しているが、様々な実施形態で、コンピュータシステム７００は、１つのコンピューティングデバイス、または単一のコンピュータシステム７００として一緒に動作するように構成された任意の数のコンピューティングデバイスを含み得る。

【0031】

様々な実施形態では、コンピュータシステム７００は、１つのプロセッサ７１０Ａを含むユニプロセッサシステム、またはいくつかのプロセッサ７１０Ａ～７１０Ｎ（例えば、２つ、４つ、８つ、または別の適切な数）を含むマルチプロセッサシステムであり得る。プロセッサ７１０Ａ～７１０Ｎは、命令を実行することが可能な任意の好適なプロセッサであり得る。例えば、様々な実施形態では、プロセッサ７１０Ａ～７１０Ｎは、様々な命令セットアーキテクチャ（ＩＳＡ）のうちのいずれかを実装する、汎用または埋め込みプロセッサであり得る。マルチプロセッサシステムでは、プロセッサ７１０Ａ～７１０Ｎの各々は、同じＩＳＡを一般的に実装し得るが、必要ではない。

【0032】

システムメモリ７２０は、プロセッサ（複数可）７１０Ａ～７１０Ｎによってアクセス可能な命令及びデータを格納し得る。様々な実施形態では、システムメモリ７２０は、ランダムアクセスメモリ（ＲＡＭ）、スタティックＲＡＭ（ＳＲＡＭ）、同期ダイナミックＲＡＭ（ＳＤＲＡＭ）、不揮発性／フラッシュ型メモリ、または任意の他のタイプのメモリなどの任意の適切なメモリ技術を使用して実装され得る。例示される実施形態では、上述のそれらの方法、技術、及びデータなどの１つまたは複数の所望の機能を実装するプログラム命令及びデータは、画像分析および結果生成サービスコード７２５及びデータ７２６として、システムメモリ７２０内部に記憶されることが示される。

【0033】

一実施形態では、Ｉ／Ｏインターフェース７３０は、プロセッサ（複数可）７１０Ａ～７１０Ｎ、システムメモリ７２０、及びネットワークインターフェース７４０または他の周辺インターフェースを含む、デバイスの中の任意の周辺デバイス間のＩ／Ｏトラフィックを調整するように構成され得る。いくつかの実施形態では、Ｉ／Ｏインターフェース７３０は、あるコンポーネント（例えば、システムメモリ７２０）からのデータ信号を、別のコンポーネント（例えば、プロセッサ（複数可）７１０Ａ～７１０Ｎ）による使用に適したフォーマットに変換するために、任意の必要なプロトコル、タイミング、または他のデータ変換を実行し得る。いくつかの実施形態では、Ｉ／Ｏインターフェース７３０は、例えば、ペリフェラルコンポーネントインターコネクト（ＰＣＩ）バス規格、またはユニバーサルシリアルバス（ＵＳＢ）規格の変形など、様々なタイプの周辺バスを通じて取設されるデバイスに対するサポートを含み得る。いくつかの実施形態では、Ｉ／Ｏインターフェース７３０の機能は、例えば、ノースブリッジ及びサウスブリッジなどの２つ以上の個別のコンポーネントに分割され得る。また、いくつかの実施形態では、システムメモリ７２０へのインターフェースなどのＩ／Ｏインターフェース７３０の機能性のうちのいくつかまたはすべては、プロセッサ（複数可）７１０Ａ～７１０Ｎに直接組み込まれ得る。

【0034】

ネットワークインターフェース７４０は、データが、コンピューティングシステム７００と、単数または複数のネットワーク７５０に取設される他のデバイス７６０の間で交換されることを可能にするように構成され得る。様々な実施形態では、ネットワークインターフェース７４０は、例えば、イーサネット（登録商標）ネットワークのタイプなどの任意の適切な有線または無線の一般データネットワークを介した通信をサポートし得る。さらに、ネットワークインターフェース７４０は、アナログ音声ネットワークまたはデジタルファイバ通信ネットワークなどの電気通信／テレフォニネットワークを介した、ファイバチャネルＳＡＮなどのストレージエリアネットワーク（ＳＡＮ）を介した、またはＩ／Ｏ、任意の他の適切なタイプのネットワーク及び／またはプロトコルを介した通信をサポートし得る。

【0035】

いくつかの実施形態では、コンピュータシステム７００は、Ｉ／Ｏインターフェース７３０（例えば、周辺機器相互接続エクスプレス（ＰＣＩ－Ｅ）規格のバージョン、またはＱｕｉｃｋＰａｔｈ相互接続（ＱＰＩ）もしくはＵｌｔｒａＰａｔｈ相互接続（ＵＰＩ）などの別の相互接続を実装するバス）を使用して接続された１つ以上のオフロードカード７７０（１つ以上のプロセッサ７７５を含み、場合によっては１つ以上のネットワークインターフェース７４０を含む）を含む。例えば、いくつかの実施形態では、コンピュータシステム７００は、コンピューティングインスタンスをホストするホスト電子デバイス（例えば、ハードウェア仮想化サービスの一部として動作する）として機能することができ、１つまたは複数のオフロードカード７７０は、ホスト電子デバイスで実行されるコンピューティングインスタンスを管理することができる仮想化マネージャを実行する。例として、いくつかの実施形態では、オフロードカード（複数可）７７０は、コンピューティングインスタンスの一時停止及び／または一時停止解除、コンピューティングインスタンスの起動及び／または終了、メモリ転送／コピー操作の実行などのコンピューティングインスタンス管理動作を実行することができる。これらの管理動作は、いくつかの実施形態では、コンピュータシステム７００の他のプロセッサ７１０Ａ～７１０Ｎによって実行されるハイパーバイザと協調して（例えば、ハイパーバイザからの要求に応じて）オフロードカード（複数可）７７０によって実行され得る。しかしながら、いくつかの実施形態では、オフロードカード（複数可）７７０によって実装される仮想化マネージャは、他のエンティティからの（例えば、コンピューティングインスタンス自体からの）要求に対応することができ、いずれの別個のハイパーバイザとも調整しない（またはサービスしない）場合がある。

【0036】

いくつかの実施形態では、システムメモリ７２０は、上述されるようなプログラム命令及びデータを格納するように構成されたコンピュータアクセス可能な媒体の一実施形態であり得る。しかしながら、他の実施形態では、プログラム命令及び／またはデータは、異なるタイプのコンピュータアクセス可能な媒体において、受信、送信、または記憶され得る。一般的に言えば、コンピュータアクセス可能な媒体は、Ｉ／Ｏインターフェース７３０を介してコンピューティングシステム７００に連結される、磁気媒体または光媒体、例えば、ディスクまたはＤＶＤ／ＣＤなどの非一時的記憶媒体またはメモリ媒体を含み得る。非一時的コンピュータアクセス可能な記憶媒体はまた、システムメモリ７２０または別のタイプのメモリとして、コンピューティングシステム７００のいくつかの実施形態に含まれても良い、ＲＡＭ（例えば、ＳＤＲＡＭ、ダブルデータレート（ＤＤＲ）ＳＤＲＡＭ、ＳＲＡＭなど）、読み取り専用メモリ（ＲＯＭ）などの任意の揮発性または非揮発性媒体を含んでも良い。さらに、コンピュータアクセス可能な媒体は、ネットワークインターフェース７４０を介して実装され得るような、ネットワーク及び／または無線リンクなどの通信媒体を介して伝送される伝送媒体または電気信号、電磁信号、もしくはデジタル信号などの信号を含み得る。

【0037】

図８は、様々な実施形態の態様を実装することができる例示的な環境８００を示す。この例では、ユーザは、少なくとも１つのネットワーク８０４にわたって、マルチテナントリソースプロバイダ環境８０６に要求を実行依頼するために、クライアントデバイス８０２を利用することができる。クライアントデバイスは、適切なネットワークを通じて要求、メッセージ、または他のそのような情報を送信及び受信し、デバイスのユーザに情報を再度伝達するように動作可能ないずれかの適切な電子デバイスを含むことができる。そのようなクライアントデバイスの例は、パーソナルコンピュータ、タブレットコンピュータ、スマートフォン、及びノートブックコンピュータなどを含む。少なくとも１つのネットワーク８０４は、イントラネット、インターネット、セルラネットワーク、ローカルエリアネットワーク（ＬＡＮ）、もしくはいずれかの他のそのようなネットワーク、または組み合わせを含むいずれかの適切なネットワークを含むことができ、ネットワークを通じた通信は、有線及び／または無線接続を介して可能にされ得る。リソースプロバイダ環境８０６は、要求を受信し、それらの要求に応答して情報を返し、またはアクションを実行するためのいずれかの適切なコンポーネントを含むことができる。例として、プロバイダ環境は、要求を受信及び処理し、次いで、要求に応答して、データ、ウェブページ、ビデオ、音声、または他のそのようなコンテンツもしくは情報を返すためのウェブサーバ及び／またはアプリケーションサーバを含み得る。

【0038】

様々な実施形態では、プロバイダ環境は、様々な異なる目的のために、複数のユーザによって利用することができる様々なタイプのリソースを含み得る。本明細書で使用される場合、ネットワーク環境で利用されるコンピューティング及び他の電子リソースは、「ネットワークリソース」と呼ばれ得る。これらには、例えば、データ及び／または実行可能命令を受信する、送信する、及び／または処理するなどのタスクを実行することができるサーバ、データベース、ロードバランサ、ルータなどが含まれ得る。少なくともいくつかの実施形態では、所与のリソースのすべてもしくは一部、またはリソースのセットは、少なくとも定められた期間の間、特定のユーザに割り当てられてもよく、または特定のタスクに対して割り当てられてもよい。プロバイダ環境からのそれらのマルチテナントリソースの共有は、他のそのような用語の中で、ならびに特定の環境及び／または実施態様に応じて、リソース共有、ウェブサービス、または「クラウドコンピューティング」とよく称される。この例では、プロバイダ環境は、１つ以上のタイプの複数のリソース８１４を含む。それらのタイプは、例えば、ユーザによって提供された命令を処理するように動作可能なアプリケーションサーバ、またはユーザ要求に応答して１つ以上のデータストア８１６に格納されたデータを処理するように動作可能なデータベースサーバを含むことができる。そのような目的について既知であるように、ユーザはまた、所与のデータストアにおいてデータ記憶の少なくとも一部を確保することができる。ユーザが様々なリソース及びリソースインスタンスを確保することを可能にするための方法は、本分野において周知であり、その結果、処理全体の詳細な説明、及びすべての可能なコンポーネントの説明は、本明細書では詳細に考察されない。

【0039】

少なくともいくつかの実施形態では、リソース８１４の一部を利用することを望むユーザは、プロバイダ環境８０６のインターフェース層８０８に受信される要求を実行依頼することができる。インターフェース層は、ユーザがプロバイダ環境に要求を実行依頼することを可能にする、アプリケーションプログラミングインターフェース（ＡＰＩ）または他の公開されたインターフェースを含むことができる。この例におけるインターフェース層８０８はまた、少なくとも１つのウェブサーバ、ルーティングコンポーネント、及び負荷分散装置などの他のコンポーネントも含むことができる。リソースをプロビジョニングする要求がインターフェース層８０８に受信されるとき、要求についての情報は、リソースマネージャ８１０、またはユーザアカウント及び情報、リソースプロビジョニング及び使用、ならびに他のそのような態様を管理するように構成された他のそのようなシステム、サービス、もしくはコンポーネントに向けられてもよい。要求を受信するリソースマネージャ８１０は、要求を実行依頼するユーザの識別を認証すると共に、そのユーザがリソースプロバイダとの既存のアカウントを有しているかどうかを判定するなどのためのタスクを実行することができ、アカウントデータは、プロバイダ環境内の少なくとも１つのデータストア８１２に記憶され得る。ユーザは、ユーザの識別を認証するために、プロバイダに様々なタイプの認証情報のいずれかを提供することができる。それらの認証情報は、例えば、ユーザ名及びパスワードのペア、生体データ、デジタル署名、または他のそのような情報を含むことができる。プロバイダは、ユーザに対して記憶された情報に対してこの情報が正当であると確認することができる。ユーザが適切な許可、状態などを有するアカウントを有する場合、リソースマネージャは、ユーザの要求に適する利用可能な適正なリソースが存在するかどうかを判定することができ、そうである場合、リソースをプロビジョニングすることができ、または要求によって指定された量についてユーザによる使用のためにそれらのリソースの対応する部分へのアクセスを許可することができる。この量は、例えば、他のそのような値の中で、単一の要求を処理し、もしくは単一のタスクを実行する能力、指定された期間、または再発生／再構成可能期間を含むことができる。ユーザがプロバイダとの有効なアカウントを有さず、ユーザアカウントが要求において指定されたタイプのリソースへのアクセスを可能にせず、または別のそのような理由が、ユーザがそのようなリソースへのアクセスを取得することを妨げている場合、他のそのようなオプションの中で、ユーザがアカウントを作成もしくは修正し、または要求において指定されたリソースを変更することを可能にするために通信がユーザに送信され得る。

【0040】

ユーザが認証され、アカウントが検証され、リソースが割り当てられると、ユーザは、指定された容量、データ転送の量、期間、または他のそのような値についての割り当てられたリソース（複数可）を利用することができる。少なくともいくつかの実施形態では、ユーザは、それらの要求がユーザセッションで処理されることを可能にするために、セッショントークンまたは他のそのような認証情報を後続の要求と共に提供し得る。ユーザは、リソース識別子、特定のアドレス、または他のそのような情報を受信することができ、他のそのような情報は、少なくともユーザアカウントの関連する様相が変更されるまで、ユーザがリソースへのアクセスをもはや許可されなくなるまで、または別のそのような様相が変更されるなどのような時まで、リソースマネージャ８１０と通信する必要なく、クライアントデバイス８０２が割り当てられたリソースと通信することを可能にすることができる。

【0041】

この例におけるリソースマネージャ８１０（または、別のそのようなシステムもしくはサービス）はまた、プロビジョニング、スケーリング、複製などを含むことができるように、管理アクションに加えて、制御機能を取り扱うハードウェア及びソフトウェアコンポーネントの仮想層として機能することができる。リソースマネージャは、インターフェース層８０８内の専用ＡＰＩを利用することができ、各々のＡＰＩは、インスタンスをプロビジョニング、スケーリングし、クローンし、またはハイバネートするためなど、データ環境に関して実行されることになる少なくとも１つの特定のアクションについての要求を受信するために提供され得る。ＡＰＩのうちの１つへの要求を受信すると、インターフェース層のウェブサービス部分は、呼び出しに作用し、または呼び出しを処理するために必要なステップまたはアクションを判定する要求を構文分析することができ、または他に分析することができる。例えば、データリポジトリを作成する要求を含むウェブサービス呼び出しが受信され得る。

【0042】

少なくとも１つの実施形態におけるインターフェース層８０８は、様々なＡＰＩを提供することができ、ＡＰＩ仕様に基づいて適切な応答を返すことができる、ユーザ対応サーバの拡張可能なセットを含む。インターフェース層はまた、１つの実施形態では、外部対応ユーザＡＰＩを処理する、ステートレスな、複製されたサーバから構成された少なくとも１つのＡＰＩサービス層を含むことができる。インターフェース層は、認証情報に基づいてユーザを認証すること、ユーザに権限を付与すること、ＡＰＩサーバへのユーザ要求を絞り込むこと、ユーザ入力が正当であると確認すること、ならびに要求及び応答をマーシャリングまたはアンマーシャリングすることなどのウェブサービスフロントエンド機能について関与することができる。ＡＰＩ層はまた、ＡＰＩ呼び出しに応答して、アドミニストレーションデータストアに、またはアドミニストレーションデータストアからデータベース構成データを読み込み及び書き込むことについて関与することができる。多くの実施形態では、ウェブサービス層及び／またはＡＰＩサービス層は、外部から視認可能な唯一のコンポーネントであり、または制御サービスのユーザに対して視認可能であり、ユーザによってアクセス可能な唯一のコンポーネントである。ウェブサービス層のサーバは、本分野において既知なように、ステートレスであってもよく、水平にスケーリングされ得る。ＡＰＩサーバ、ならびに永続的データストアは、例えば、領域の複数のデータセンタにわたって分散されてもよく、その結果、サーバは、単一のデータセンタの障害に対して回復力を有する。

【0043】

種々の実施形態はさらに、広範な種類の動作環境で実装することが可能であり、これは、いくつかの場合においては、あらゆる数のアプリケーションを操作するために使用可能な１つ以上のユーザコンピュータまたはコンピューティングデバイスを含み得る。ユーザまたはクライアントデバイスは、標準オペレーティングシステムを稼働させるデスクトップもしくはラップトップコンピュータ、ならびに、携帯ソフトウェアを稼働させかつ多数のネットワーキング及びメッセージプロトコルを支持することができる、セルラ、無線、及び携帯型デバイスなどの、多数の汎用パーソナルコンピュータのうちのいずれかを含み得る。このようなシステムはまた、開発及びデータベース管理などの目的であらゆる多様な市販入手可能なオペレーティングシステム及び他の既知のアプリケーションを起動させる、多数のワークステーションを含み得る。これらのデバイスはまた、ダミーターミナル、シンクライアント、ゲームシステム、及びネットワークを介して通信可能な他のデバイスなど、他の電子デバイスを含み得る。

【0044】

大部分の実施形態は、ＴＣＰ／ＩＰ、ＦＴＰ、ＵＰｎＰ、ＮＦＳ、及びＣＩＦＳなどのさまざまな市販のプロトコルのいずれかを使用し、通信をサポートするために、当業者によく知られているであろう少なくとも１つのネットワークを利用する。ネットワークは、例えば、ローカルエリアネットワーク、広域ネットワーク、仮想プライベートネットワーク、インターネット、イントラネット、エクストラネット、公衆交換電話網、赤外線ネットワーク、無線ネットワーク、及びそれらの任意の組み合わせであり得る。ウェブサーバを利用する実施形態においては、ウェブサーバは、ＨＴＴＰサーバ、ＦＴＰサーバ、ＣＧＩサーバ、データサーバ、Ｊａｖａ（登録商標）サーバ、及びビジネスアプリケーションサーバを含む、あらゆる種類のサーバまたは中間層アプリケーションを起動させることができる。サーバ（複数可）はまた、Ｊａｖａ（登録商標）、Ｃ、Ｃ＃、もしくはＣ＋＋などのいずれかのプログラミング言語、またはＰｅｒｌ、Ｐｙｔｈｏｎ、もしくはＴＣＬなどのいずれかのスクリプト言語、ならびにそれらの組み合わせで記述された１つ以上のスクリプトまたはプログラムとして実装することができる１つ以上のウェブアプリケーションを実行することによってなど、ユーザデバイスからの要求に応答して、プログラムまたはスクリプトを実行する能力を有し得る。サーバ（複数可）は、Ｏｒａｃｌｅ（登録商標）、Ｍｉｃｒｏｓｏｆｔ（登録商標）、Ｓｙｂａｓｅ（登録商標）、及びＩＢＭ（登録商標）から商用的に入手可能なものを含むがこれらに限定されない、データベースサーバもまた含み得る。

【0045】

環境は、上述の種々のデータストアならびに他のメモリ及び記憶媒体を含み得る。これらは、コンピュータのうちの１つ以上に対してローカルである（及び／またはその中に含まれる）、またはネットワーク全体にわたってコンピュータのいずれかまたはすべてからリモートである、記憶媒体上などの、様々な位置に存在し得る。特定の組の実施形態において、情報は、当業者に熟知されたストレージエリアネットワーク（ＳＡＮ）に存在し得る。同様に、コンピュータ、サーバ、または他のネットワークデバイスに属する機能を実行するために必要な任意のファイルを、必要に応じてローカル及び／またはリモートで記憶することができる。システムがコンピュータ化デバイスを含む場合、各このようなデバイスは、バスを介して電気的に接続され得るハードウェア要素を含み得、この要素には、例えば、少なくとも１つの中央処理装置（ＣＰＵ）、少なくとも１つの入力デバイス（例えば、マウス、キーボード、コントローラ、タッチセンサー式表示要素、またはキーパッド）、及び少なくとも１つの出力デバイス（例えば、表示デバイス、プリンタ、またはスピーカ）が含まれる。そのようなシステムは、ディスクドライブ、光学記憶装置、及びランダムアクセスメモリ（ＲＡＭ）またはリードオンリメモリ（ＲＯＭ）などのソリッドステート記憶装置、ならびにリムーバブル媒体デバイス、メモリカード、フラッシュカードなどのような１つ以上の記憶装置も含み得る。そのようなデバイスはまた、上で説明したように、コンピュータ可読記憶媒体リーダ、通信デバイス（例えば、モデム、ネットワークカード（無線または有線）、赤外線通信デバイス）、及びワーキングメモリを含み得る。コンピュータ可読記憶メディアリーダは、リモート、ローカル、固定、及び／または着脱可能記憶装置を表すコンピュータ可読記憶メディアと共に、コンピュータ可読情報を一時的及び／またはさらに永続的に包含し、記憶し、伝送し、及び取り出すための記憶メディアと接続されてもよく、またはそれらを受信するように構成され得る。

【0046】

システム及び様々なデバイスはまた、典型的には、オペレーティングシステム及びクライアントアプリケーションまたはウェブブラウザなどのアプリケーションプログラムを含む、少なくとも１つのワーキングメモリデバイス内部に位置するいくつかのソフトウェアアプリケーション、モジュール、サービス、または他の要素を含む。代替の実施形態は、上記のものからの多数の変形を有し得ることが理解されるべきである。例えば、特製のハードウェアもまた使用され得、及び／または、特定の要素がハードウェア、ソフトウェア（アプレットなどのポータブルソフトウェアを含む）、もしくはその両方において実装され得る。さらに、ネットワーク入力／出力デバイスなどの、他のコンピューティングデバイスへの接続が用いられ得る。コードまたはコードの一部を包含する記憶メディア及び他の非一時的コンピュータ可読メディアは、限定されないが、コンピュータ可読命令、データ構造、プログラムモジュール、または他のデータなどの情報の記憶のためのいずれかの方法または技術において実装された揮発性及び不揮発性、着脱可能及び着脱不能メディアなど、本分野において既知であり、または使用されるいずれかの適切なメディアを含むことができ、それらは、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリもしくは他のメモリ技術、ＣＤ－ＲＯＭ、デジタル多用途ディスク（ＤＶＤ）もしくは他の光学式記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置もしくは他の磁気記憶装置、または所望の情報を記憶するために使用することができ、システムデバイスによってアクセスすることができるいずれかの他のメディアを含む。本明細書に提供される開示及び教示に基づいて、当業者は、様々な実施形態を実装するための、他の方法及び手法を理解するであろう。

【0047】

したがって、明細書及び図面は、限定する意味ではなくて例示的なものとみなされる。しかしながら、特許請求の範囲で述べられる本発明のより広い精神及び範囲から逸脱することなく、それに様々な修正及び変更がなされ得るということが明らかである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【国際調査報告】