知財求人 - 知財ポータルサイト「IP Force」
▶ ケイロン メディカル テクノロジーズ リミテッドの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】特表2020-516428(P2020-516428A)
(43)【公表日】2020年6月11日
(54)【発明の名称】マンモグラフィにおける密度の評価
(51)【国際特許分類】
A61B 6/00 20060101AFI20200515BHJP
G16H 50/20 20180101ALI20200515BHJP
【ＦＩ】
A61B6/00 330Z
A61B6/00 350Z
A61B6/00 350D
G16H50/20
【審査請求】未請求
【予備審査請求】未請求
【全頁数】15
(21)【出願番号】特願2020-505540(P2020-505540)
(86)(22)【出願日】2018年4月12日
(85)【翻訳文提出日】2019年10月30日
(86)【国際出願番号】GB2018050979
(87)【国際公開番号】WO2018189549
(87)【国際公開日】20181018
(31)【優先権主張番号】1705911.4
(32)【優先日】2017年4月12日
(33)【優先権主張国】GB
(31)【優先権主張番号】1711557.7
(32)【優先日】2017年7月18日
(33)【優先権主張国】GB
(81)【指定国】
AP(BW,GH,GM,KE,LR,LS,MW,MZ,NA,RW,SD,SL,ST,SZ,TZ,UG,ZM,ZW),EA(AM,AZ,BY,KG,KZ,RU,TJ,TM),EP(AL,AT,BE,BG,CH,CY,CZ,DE,DK,EE,ES,FI,FR,GB,GR,HR,HU,IE,IS,IT,LT,LU,LV,MC,MK,MT,NL,NO,PL,PT,RO,RS,SE,SI,SK,SM,TR),OA(BF,BJ,CF,CG,CI,CM,GA,GN,GQ,GW,KM,ML,MR,NE,SN,TD,TG),AE,AG,AL,AM,AO,AT,AU,AZ,BA,BB,BG,BH,BN,BR,BW,BY,BZ,CA,CH,CL,CN,CO,CR,CU,CZ,DE,DJ,DK,DM,DO,DZ,EC,EE,EG,ES,FI,GB,GD,GE,GH,GM,GT,HN,HR,HU,ID,IL,IN,IR,IS,JO,JP,KE,KG,KH,KN,KP,KR,KW,KZ,LA,LC,LK,LR,LS,LU,LY,MA,MD,ME,MG,MK,MN,MW,MX,MY,MZ,NA,NG,NI,NO,NZ,OM,PA,PE,PG,PH,PL,PT,QA,RO,RS,RU,RW,SA,SC,SD,SE,SG,SK,SL,SM,ST,SV,SY,TH,TJ,TM,TN,TR,TT
(71)【出願人】
【識別番号】519368116
【氏名又は名称】ケイロン メディカル テクノロジーズ リミテッド
(74)【代理人】
【識別番号】100145241
【弁理士】
【氏名又は名称】鈴木 康裕
(72)【発明者】
【氏名】ハインドル、アンドレアス
(72)【発明者】
【氏名】カーラ、ガルビン
(72)【発明者】
【氏名】イヤーズリー、ジョセフ
(72)【発明者】
【氏名】オニール、マイケル
(72)【発明者】
【氏名】ケスケメシー、ピーター
(72)【発明者】
【氏名】ライケン、トビアス
(72)【発明者】
【氏名】カルパチ、イーディス
【テーマコード（参考）】
4C093
5L099
【Ｆターム（参考）】
4C093AA26
4C093DA06
4C093FF16
4C093FF30
4C093FH06
4C093FH07
5L099AA03
(57)【要約】
本発明は、マンモグラムにおける組織型／パターン及び密度カテゴリを自動的に分類する方法及びシステムに関する。より詳細には、本発明は、マンモグラフィにおける密度および組織パターン分布を評価する品質を改善することに関する。第１の態様によれば、マンモグラフィ画像を分析するコンピュータ支援方法が提供され、この方法は、マンモグラムを受け取るステップと、マンモグラムの１つまたは複数の解剖学的領域をセグメント化するステップと、解剖学的領域のための組織型および密度カテゴリ分類を識別するステップと、識別された組織型および密度カテゴリ分類を使用して、マンモグラムのための分類出力を生成するステップとを含む。
【選択図】図１
【特許請求の範囲】
【請求項1】
マンモグラフィ画像を分析するコンピュータ支援方法であって、
マンモグラムを受け取るステップと、
前記マンモグラムの１つまたは複数の解剖学的領域をセグメント化するステップと、
解剖学的領域の組織型および密度カテゴリ分類を識別するステップと、
識別された組織型および密度カテゴリ分類を用いて、前記マンモグラムのための分類出力を生成するステップと、
を含む方法。
マンモグラムを受け取るステップと、
前記マンモグラムの１つまたは複数の解剖学的領域をセグメント化するステップと、
解剖学的領域の組織型および密度カテゴリ分類を識別するステップと、
識別された組織型および密度カテゴリ分類を用いて、前記マンモグラムのための分類出力を生成するステップと、
を含む方法。
【請求項2】
標準的な解剖学的構造に基づいて強度レベルを較正するステップをさらに含む、請求項１に記載の方法。
【請求項3】
１つまたは複数の解剖学的領域をセグメント化するステップは、マンモグラムの第１の解剖学的領域を決定するステップを含む、請求項１または２に記載の方法。
【請求項4】
前記第１の解剖学的領域は、実質が存在する領域を含む、請求項３に記載の方法。
【請求項5】
前記第１の解剖学的領域の１つまたは複数の標本領域を選択するステップと、
前記標本領域に応じて組織型と密度カテゴリ分類を識別するステップと、
をさらに含む、請求項３または４に記載の方法。
前記標本領域に応じて組織型と密度カテゴリ分類を識別するステップと、
をさらに含む、請求項３または４に記載の方法。
【請求項6】
１つまたは複数の解剖学的領域をセグメント化するステップは、マンモグラムの第２の解剖学的領域を決定するステップを含む、請求項１または２に記載の方法。
【請求項7】
前記第２の解剖学的領域は、実質が存在しない領域を含む、請求項６に記載の方法。
【請求項8】
前記第２の解剖学的領域に応じて組織型および密度カテゴリ分類を識別するステップをさらに含む、請求項６または７に記載の方法。
【請求項9】
組織型および密度カテゴリを識別するステップは、１つまたは複数の畳み込みニューラルネットワークにおいて実行される、請求項５に記載の方法。
【請求項10】
前記１つまたは複数の畳み込みニューラルネットワークは、組織型および密度カテゴリを分類するように訓練される、請求項９に記載の方法。
【請求項11】
前記１つまたは複数の畳み込みニューラルネットワークは、組織型または密度カテゴリを分類するように独立して訓練される、請求項１０に記載の方法。
【請求項12】
次いで、前記１つまたは複数の標本区画と完全なマンモグラフィ画像の両方が、前記１つ以上の畳み込みニューラルネットワークのための入力として提供される、請求項１０に記載の方法。
【請求項13】
セグメンテーションのステップは、完全畳み込みネットワークにおいて実行される、請求項１に記載の方法。
【請求項14】
前記マンモグラムの分類出力は、結合した組織型および密度カテゴリ分類を含む、請求項１〜１３のいずれかに記載の方法。
【請求項15】
前記マンモグラムを受け取るステップは、医療、ＤＩＣＯＭ、ファイルにおける１つまたは複数のデジタル画像および通信の使用を含む、請求項１〜１４のいずれかに記載の方法。
【請求項16】
前記１つまたは複数の解剖学的領域は、乳房領域全体を含む、請求項１〜１５のいずれかに記載の方法。
【請求項17】
前記１つまたは複数の標本領域は、均一またはポアソンサンプリングを使用して選択される、請求項１〜１６のいずれかに記載の方法。
【請求項18】
前記１つまたは複数の標本領域は、前記１つまたは複数の畳み込みニューラルネットワークの入力に応じて選択される、請求項１〜１７のいずれかに記載の方法。
【請求項19】
請求項１〜１８のいずれかに記載の方法を実行するように動作可能な装置。
【請求項20】
請求項１〜１８のいずれかに記載の方法を実行するように動作可能なシステム。
【請求項21】
マンモグラムを分類するために１つまたは複数のニューラルネットワークを訓練するための方法であって、
マンモグラムを受け取るステップと、
前記マンモグラムの１つまたは複数の解剖学的領域をセグメント化するステップと、
解剖学的領域の組織型および密度カテゴリ分類を識別するステップと、
識別された組織型および密度カテゴリ分類を用いて、１つまたは複数のニューラルネットワークを訓練するステップと、
を含む方法。
マンモグラムを受け取るステップと、
前記マンモグラムの１つまたは複数の解剖学的領域をセグメント化するステップと、
解剖学的領域の組織型および密度カテゴリ分類を識別するステップと、
識別された組織型および密度カテゴリ分類を用いて、１つまたは複数のニューラルネットワークを訓練するステップと、
を含む方法。
【請求項22】
請求項１〜１８のいずれかに記載の方法を実行するように動作可能なコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、マンモグラムにおける組織型／パターン及び密度カテゴリを自動的に分類する方法及びシステムに関する。より詳細には、本発明は、マンモグラフィにおける密度および組織パターン分布を評価する品質を改善することに関する。
【背景技術】
【0002】
マンモグラフィは、乳癌検出のために広く使用されている医用画像モダリティである。マンモグラフィは、「軟」Ｘ線を利用して、人間の乳房の内部構造の詳細な画像を生成する。これらの画像は、マンモグラムと呼ばれ、この方法は、治癒可能な段階における癌の有効な診断を提供する乳房異常の早期検出におけるゴールドスタンダードであると考えられる。
【0003】
残念ながら、マンモグラムを分析する手順は、しばしば困難である。乳房の密度および組織型は非常に多様であり、患者の遺伝学に起因して多様な視覚的特徴を示す。これらの背景視覚パターンは、悪性腫瘍の小さな徴候の多くを不明瞭にし、よって、ヒトの目により容易に見落とされ得る。したがって、マンモグラムの分析はしばしば、偽陽性または偽陰性の診断結果をもたらし、これは、（偽陽性の場合には）不要な精神的影響および次善の下流の診断および治療影響の原因となり、（偽陰性の場合には）誤った治療を引き起こす可能性がある。
【0004】
ほとんどの先進国では、定期的に乳房スクリーニングを受ける症状がない特定の年齢層の女性を呼び出すための包括的システムで、人口全体のスクリーニングプログラムを維持している。これらのスクリーニングプログラムは、非常に標準化されたプロトコールが経験豊富な専門医の訓練を受けた医師によってフォローされることを必要とし、これらの医師は、多数のマンモグラムを日常的に確実に分析することができる。ほとんどの専門的なガイドラインでは、２人の専門放射線科医（業界ではダブルリーディングと呼ばれる）が各マンモグラムを読むことを強く推奨している。今日では、利用可能な高度な技能を持った放射線科医の数が少なく減少しているため、ダブルリーディング要件は、しばしば非実用的であるか、または不可能である。
【0005】
マンモグラムを分析するとき、解剖学的構造の信頼できる識別は、視覚的評価のために、特に解剖学的な位置と解剖学的構造との関係に基づく視覚的特徴の分析的評価のために重要であり、これは、最終的な診断結果に重大な影響を及ぼし得る。解剖学的構造が歪んで見える場合、それらはまた、あり得る悪性腫瘍の存在を示し得る。
【0006】
マンモグラムの分析は、乳房密度または乳房組織の構造パターンのタイプなどの視覚的交絡因子、閉塞因子、および／または遮蔽因子によってさらに複雑になる。乳房密度および乳房組織型の両方は、癌についてスクリーニングすることが困難なマンモグラムを作製することに寄与する。
【0007】
分類の均一性は、定義済みの一式のカテゴリに対象を記述的に割り当てる方法を有することによって、専門家間の曖昧なコミュニケーションを低減し、マンモグラフィにおける乳癌のモニタリングの改善を確実にする。
【0008】
乳癌の検出可能性に影響を及ぼす異なるタイプのパターンが乳房組織に存在する。したがって、品質管理の理由から、どのような種類のパターンが存在するかを知ることが重要である。この分類を開発したラズロ・タバー教授にちなんで命名された「Ｔａｂａｒパターン」として知られる５つのマンモグラフィ実質パターンがある。
【0009】
Ｔａｂａｒパターン（または分類）は、３次元のサブグロス（厚切片）技法との組織学的マンモグラフィ相関、および４つの「ビルディングブロック」（結節密度、線状密度、均一な線維組織、放射線透過性脂肪組織）の相対的割合に基づく。５つの分類は以下の通りである。１． 線維組織がわずかに優勢である乳房組織の全成分のバランスのとれた割合
２． 脂肪組織の優勢
３． 後歯槽残存線維組織を伴う脂肪組織の優勢
４． 主に結節密度
５． 主に線維組織（高密度乳房）
【0010】
クラス４および５は高リスクと考えられ、これはこれらのパターンを有する乳房において癌を検出することが困難であることを意味し、一方、クラス１、２および３は癌性領域を発見することがより容易であるため、より低いリスクと考えられる。
【0011】
いくつかの治療法は、ホルモン補充療法（ＨＲＴ）におけるように実質密度を増加させることによって、または選択的エストロゲン受容体モジュレータ（ＳＥＲＭ）を用いた治療法におけるように実質密度を減少させることによって、パターンを変化させることができる。
【0012】
同様に、乳房密度カテゴリは、ＢＩ−ＲＡＤＳシステムを使用して放射線科医によって分類される。再び、この分類は、品質管理目的のために使用される。例えば、密な乳房に異常を発見することは非常に困難である。ＢＩ−ＲＡＤＳシステムには、以下の４つのカテゴリがある。Ａ． 乳房はほぼ完全に脂肪である
Ｂ． 線維腺密度の散在領域がある
Ｃ． 乳房は不均一に高密度で、小さな腫瘤を不明瞭にする
Ｄ． 乳房は非常に高密度であり、マンモグラフィの感度を低下させる
【0013】
重要なことに、乳房密度および組織パターンはまた、乳癌発生と相互相関を有することが知られている。
【0014】
画像を評価することの複雑さは、異常または疾患を正確かつ厳密に検出することに関して困難を引き起こし、したがって、診断および治療準備の決定に影響を及ぼす可能性がある。したがって、有意義な医用画像データ分析は、癌の識別および治療の段階ならびにさらなる研究において重要な役割を果たす。
【0015】
しかしながら、手動分類の一般的に使用される方法は、不一致および分類エラーをもたらし得、これは医療処置において決定的であることが証明され得る。
【0016】
本発明は、マンモグラフィにおける交絡因子の評価を助けるために、深層学習を用いて密度の定量的推定と組織パターンの定性的推定とを組み合わせる新規な方法およびシステムを提供する。
【発明の概要】
【0017】
態様および／または実施形態は、マンモグラムの組織型および乳房密度を自動的に分類する方法を提供しようとする。態様および／または実施形態は、また人間の不正確さおよび高度に熟練した人的資源に関連する問題に対処しようとする。
【0018】
第１の態様によれば、マンモグラフィ画像を分析するコンピュータ支援方法が提供され、この方法は、マンモグラムを受け取るステップと、マンモグラムの１つまたは複数の解剖学的領域をセグメント化するステップと、解剖学的領域の組織型および密度カテゴリ分類を識別するステップと、識別された組織型および密度カテゴリ分類を用いて、マンモグラムのための分類出力を生成するステップとを含む。
【0019】
このようにして、マンモグラムの分類を自動的に実行することができ、それによって、人為的ミスおよび追加の高度に熟練した医療専門家の必要性を低減することができる。また、より良好な全体的な分類結果を生成する組織パターンおよび密度カテゴリを結合して推定する可能性を伴って、マンモグラフィ画像の分析を改善することができる。
【0020】
セグメンテーションという用語は、例えば特定の領域の周囲の境界ボックスを使用することによって、または特定の領域の中心位置を識別することによって、単に画像を１つまたは複数の部分に分割することを表すものではない。代わりに、この方法によって提供されるセグメンテーションは、従来の方法よりも正確な面積、形状、およびサイズなどの多数の有用な特性データを決定する。その結果、このセグメンテーション方法は、悪性腫瘍をより正確に示すために使用することができる。さらに、本明細書で開示される方法は、画像以外のいかなる事前入力もなく領域をセグメント化するように動作可能であり、特徴あるエンジニアリングの工程を必要としない。
【0021】
任意選択的に、標準的な解剖学的構造に基づいて強度レベルを較正するステップが提供される。強度レベルの較正は、マンモグラフィにおける関心領域をより効率的に識別することができる。
【0022】
一実施形態では、１つまたは複数の解剖学的領域をセグメント化するステップは、マンモグラムの第１の解剖学的領域を決定するステップを含む。任意選択的に、第１の解剖学的領域は、実質が存在する領域を含む。これは、関心領域であると考えることができる。
【0023】
任意選択で、この実施形態は、第１の解剖学的領域の１つまたは複数の標本領域を選択するステップと、標本領域に応じて組織型および密度カテゴリ分類を識別するステップとをさらに含む。
【0024】
関心領域を表すために標本領域を選択することは、組織型および密度カテゴリを正しく分類するためにシステムによって必要とされる計算能力を減少させることができる。標本のサイズは、畳み込みネットワークの入力パラメータに従って変化させることができる。
【0025】
別の実施形態では、１つまたは複数の解剖学的領域をセグメント化するステップは、マンモグラムの第２の解剖学的領域を決定するステップを含む。任意選択的に、第２の解剖学的領域は、実質が存在しない領域を含む。
【0026】
任意選択で、この実施形態では、組織型および密度カテゴリ分類を識別するステップは、第２の解剖学的領域に依存する。
【0027】
任意選択で、組織型および密度カテゴリを識別するステップは、１つまたは複数の畳み込みニューラルネットワーク、ＣＮＮで実行される。任意選択で、１つまたは複数のＣＮＮは、組織型および密度カテゴリを分類するように訓練される。任意選択で、少なくとも１つのＣＮＮは、組織型または密度カテゴリを分類するように独立して訓練される。
【0028】
このようにして、組織型および密度カテゴリの識別は、十分に訓練された畳み込みネットワークを使用して自動的に実行される。畳み込みネットワークは、実質が検出されるか否かにかかわらず使用することができる。
【0029】
任意選択で、セグメンテーションのステップは、完全畳み込みネットワーク、ＦＣＮで実行される。このようにして、解剖学的セグメンテーションも自動的に実行される。
【0030】
任意選択で、マンモグラムの分類出力は、結合した組織型と密度カテゴリ分類を含む。組織パターンおよび密度の結合推定を提供することは、マンモグラフィ画像のより正確かつ識別的な分析を生成することができる。
【0031】
任意選択で、マンモグラムを受け取るステップは、医療、ＤＩＣＯＭ、ファイルにおける１つまたは複数のデジタル画像および通信の使用を含む。
【0032】
任意選択で、１つまたは複数の解剖学的領域は、乳房領域全体を含む。
【0033】
好適には、１つまたは複数の標本領域は、均一またはポアソンサンプリングを使用して選択される。任意選択で、１つまたは複数のサンプル領域は、１つまたは複数のＣＮＮの入力に応じて選択される。
【0034】
第２の態様によれば、上述したいずれかの方法を実行するための装置が提供される。
【0035】
第３の態様によれば、上述したいずれかの方法を実行するように動作可能なシステムが提供される。
【0036】
第４の態様によれば、上述した方法を実行するように動作可能なコンピュータプログラムが提供される。
【0037】
第５の態様によれば、マンモグラムを分類するために１つまたは複数のニューラルネットワークを訓練するための方法があり、この方法は、マンモグラムを受け取るステップと、マンモグラムの１つまたは複数の解剖学的領域をセグメント化するステップと、解剖学的領域の組織型および密度カテゴリ分類を識別するステップと、識別された組織型および密度カテゴリ分類を用いて、１つまたは複数のニューラルネットワークを訓練するステップとを含む。
【図面の簡単な説明】
【0038】
実施形態は、単なる例として、同様の参照番号を有する添付の図面を参照して、ここで説明される。【発明を実施するための形態】
【0040】
図１に見られるように、患者の医療スキャン（マンモグラフィ）を実行した後、スキャンされた画像は、医用画像を記憶するために一般に使用されるファイルフォーマットであるＤＩＣＯＭフォーマット１０１で照合される。この方法は、放射線科が病院で使用する画像アーカイブ通信システム（ＰＡＣＳ）に記憶された前処理されたデータを使用する。この方法の出力は、また、マンモグラフィ画像を分析する将来の用途を改善するためにＰＡＣＳデータベースを強化する。
【0041】
前述のように、マンモグラフィ画像を分析する重要な態様は、マンモグラフィ画像を解剖学的にセグメント化することである（１０３、２０２）。
【0042】
一例として、図２は、完全畳み込みネットワークＦＣＮを使用してマンモグラフィ画像を解剖学的にセグメント化する使用を示す。この例では、画像データは、ＤＩＣＯＭファイルから取り込まれ、ＦＣＮによって使用される前に何らかの形態の前処理を必要としてもよい（２０１）。これは、ウィンドウレベリングなどの様々な技法を含むことができる。
【0043】
しかしながら、この実施形態の目的のために、解剖学的セグメンテーションの任意の方法を使用することができる。
【0044】
解剖学的領域がセグメント化された後、システムは、乳房において実質が検出されたか否かを識別する。実質もまた、解剖学的領域と考えることができる。図２に示すように、実質が検出されない場合（１０３ｃ）、システムは、組織型クラス２（Ｔａｂａｒ）および乳房密度カテゴリＡ（ＢＩ−ＲＡＤＳ）で乳房を自動的に分類する。
【0045】
一方、実質が検出された場合（１０３ｂ）、システムは異なるアプローチに従う。図１および図２に示すように、画像中に実質が見つかると、１区画（Ｐａｔｃｈ）が実質領域１０３ａからサンプリングされる。その区画は、均一サンプリングまたはポアソンサンプリングを使用してサンプリングすることができ、区画のサイズを変更することができる。
【0046】
取得されると、その標本区画（Ｓａｍｐｌｅ Ｐａｔｃｈ）は、残りの４つの組織型（Ｔａｂａｒ）のうちの１つおよび残りの３つの密度カテゴリ（ＢＩ−ＲＡＤＳ）のうちの１つの下でその区画を分類するように訓練される畳み込みニューラルネットワーク（ＣＮＮ）１０４に供給される。
【0047】
いくつかの実施形態では、各ＣＮＮノードが乳房密度または組織型／パターンの特定の態様に焦点を合わせるように訓練されていてもよく、または異なるＣＮＮノードおよび／またはモデルの集合体を組み合わせて使用して、標本区画および／またはマンモグラフィ画像を分類してもよい。一例として、図１ａは、組織型／パターンおよび乳房密度を予測するように独立して訓練された２つのＣＮＮモデル１０４ａを示す。
【0048】
この実施形態は、畳み込みネットワークを訓練し、開発するために、深層学習技術を利用する。全分野デジタルマンモグラムの大きなデータベースを使用して、マンモグラムを正しく分類するようにシステムを訓練することができる。
【0049】
ＣＮＮが標本区画の組織型および乳房密度を分類した状態で、ＣＮＮは、完全なマンモグラフィ画像１０５の組織型および密度分類を予測し、出力することができる。図１に見られるように、完全なマンモグラフィ画像１０２は、ＣＮＮの画像経路に供給される。別の実施形態では、標本区画および完全なマンモグラフィ画像は、結合予測層が組織型および密度カテゴリ分類を取得する前に、異なるＣＮＮモデルを介して供給される。
【0050】
組織型および乳房密度の結合推定は、マンモグラムのより正確かつ識別的な分類をもたらし、したがって、より良好な診断計画および改善された患者治療にさえつながる。したがって、本発明は、マンモグラフィ読取の品質管理分析を改善する。
【0051】
機械学習は、機械学習プロセスがタスクのコンピュータ実行中に獲得する経験またはデータから生成されたフィードバックを使用して、１つまたは複数のコンピュータがタスクの種類を実行することを学習する、研究の分野である。
【0052】
典型的には、機械学習は、特別な規則、技法、および／またはアプローチを有する強化学習および半教師付き学習などの特定のアプローチがあるが、教師付きおよび教師なしアプローチとして広く分類することができる。教師付き機械学習は、オペレータまたはプログラマによって予め決定されたように、通常、入力を含むデータセットがラベル付けされており、例示的な入力と所望の出力との間をマッピングするための１つまたは複数の規則または機能を学習するコンピュータに関連する。
【0053】
教師なし学習は、例えばパターン認識を実行するときに、入力データの構造を決定することに関連し、通常、ラベルなしデータセットを使用する。強化学習は、１つまたは複数のコンピュータが例えば、ゲームをプレイしたり、車両を運転したりするときに、動的環境と対話することを可能にすることに関連する。
【0054】
訓練データセットが部分的にしかラベル付けされていない「半教師付き」機械学習など、これらのカテゴリの様々なハイブリッドが可能である。教師なし機械学習の場合、例えば、画像処理またはビデオ強調への視覚技術の適用など、様々な可能な用途がある。教師なし機械学習は、典型的には未知のデータ構造がデータ内に存在する可能性がある問題を解決するために適用される。そのデータはラベル付けされていないので、機械学習プロセスは、例えば内部で導出された情報に基づいてクラスタリングメトリックを導出することによって、データ間の暗黙の関係を識別するように動作する必要がある。例えば、教師なし学習技法を使用して、データセットの次元を低減し、データセット内のクラスタ間の関係を識別しモデル化しようと試みることができ、例えば、クラスタメンバシップの距離を生成し、またはクラスタ内またはクラスタ間のハブまたはノードを識別することができる（例えば、高次元データセットに適用することができる重み付き相関ネットワーク分析と呼ばれる技法を使用するか、または各データ間のユークリッド距離の測定によってデータをクラスタリングするためにｋ平均クラスタリングを使用する）。
【0055】
半教師付き学習は、典型的には部分的にラベル付けされたデータセットが存在する場合、例えば、データのサブセットのみがラベル付けされる場合の問題を解決するために適用される。半教師付き機械学習は、外部から提供されるラベルおよび目的関数、ならびに任意の暗黙のデータ関係を利用する。機械学習システムを最初に構成するとき、特に教師付き機械学習アプローチを使用するとき、機械学習アルゴリズムは、何らかの訓練データまたは訓練例の集合を提供され、各例は、典型的には入力信号／ベクトルと所望の出力値、ラベル（または分類）または信号とのペアである。機械学習アルゴリズムは、訓練データを分析し、未知の入力ベクトル／信号のための所望の出力値または信号を生成するために、未知のデータセットと共に使用され得る一般化された関数を生成する。ユーザはどのタイプのデータを訓練データとして使用するかを決定し、代表的な実世界データセットを準備する必要がある。しかし、ユーザは、訓練データがあまりに多くの特徴を提供することなく（これは訓練中に機械学習プロセスによって考慮される次元が多すぎることになり、また、機械学習プロセスがすべてのまたは特定の例について良好な解に収束しないことを意味し得る）、所望の出力値を正確に予測するのに十分な情報を含むことを確実にするように注意しなければならない。また、ユーザは、学習された関数または一般化された関数の所望の構造、例えば、サポートベクターマシンを使用するか、決定木を使用するかを決定しなければならない。
【0056】
ラベル付けされたデータが容易に利用できない場合、またはシステムが、いくつかの初期シードラベルを与えられた未知のデータから新しいラベル付けされたデータを生成する場合、教師なしまたは半教師付き機械学習アプローチの使用が時々使用される。
【0057】
機械学習は、非線形階層アルゴリズム、ニューラルネットワーク、畳み込みニューラルネットワーク、回帰型ニューラルネットワーク、長短期メモリネットワーク、多次元畳み込みネットワーク、メモリネットワーク、完全畳み込みネットワーク、またはゲート付き回帰型ネットワークのうちの１つまたは複数を使用して実行することができ、視覚データの予測ブロックを生成するときに柔軟なアプローチを可能にする。長短期メモリネットワーク（ＬＳＴＭ）、メモリネットワーク、またはゲート付き回帰型ネットワークなどのメモリユニットを有するアルゴリズムを使用することにより、予測ブロックの状態を、同じ元の入力フレーム上で実行される動き補償プロセスから維持することができる。アルゴリズムが動きの変化のある種の状態またはメモリを維持するので、これらのネットワークの使用は計算効率を改善することができ、また、いくつかのフレームにわたる動き補償プロセスにおける時間的一貫性を改善することができる。これは、付加的に誤り率の減少をもたらすことができる。
【0058】
機械学習システムの開発は、典型的には（１）訓練、（２）生産の２つの段階からなる。訓練中、機械学習モデルのパラメータは、目的関数または損失として知られる特定の学習目的を最適化するために反復的に変更される。ひとたびモデルが訓練されると、それは生産において使用されることができ、モデルは入力を取り込み、訓練されたパラメータを使用して出力を生成する。
【0059】
本明細書に記載される任意のシステム特徴はまた、方法特徴として提供されてもよく、逆もまた同様である。本明細書で使用されるように、ミーンズプラスファンクション特徴は、それらの対応する構成に関して代替的に表現されてもよい。
【0060】
本発明の一態様における任意の特徴は、任意の適切な組み合わせで、本発明の他の態様に適用されてもよい。特に、方法の態様は、システムの態様に適用されてもよく、逆もまた同様である。さらに、１つの態様における任意のいくつかのおよび／またはすべての特徴は、任意の他の態様における任意のいくつかのおよび／またはすべての特徴に、任意の適切な組み合わせで適用され得る。
【0061】
また、本発明の任意の態様において説明され定義された様々な特徴の特定の組み合わせは、独立して実装および／または供給および／または使用されうることが理解されるべきである。【国際調査報告】