特許 7008845 新生児のシミュレーション画像の生成

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-01-13

(45)【発行日】2022-01-25

(54)【発明の名称】新生児のシミュレーション画像の生成

(51)【国際特許分類】

   G06T 11/00 20060101AFI20220118BHJP

   A61B 8/14 20060101ALI20220118BHJP

   G06T 1/00 20060101ALI20220118BHJP

   G06T 7/00 20170101ALI20220118BHJP

   G06T 19/00 20110101ALI20220118BHJP

【ＦＩ】

G06T11/00

A61B8/14

G06T1/00 290D

G06T1/00 340B

G06T7/00 612

G06T7/00 660B

G06T19/00 A

【請求項の数】 15

(21)【出願番号】P 2020560930

(86)(22)【出願日】2019-04-26

(65)【公表番号】

(43)【公表日】2021-07-08

(86)【国際出願番号】 EP2019060735

(87)【国際公開番号】W WO2019211186

(87)【国際公開日】2019-11-07

【審査請求日】2020-10-30

(31)【優先権主張番号】62/665,612

(32)【優先日】2018-05-02

(33)【優先権主張国・地域又は機関】US

【早期審査対象出願】

(73)【特許権者】

【識別番号】590000248

【氏名又は名称】コーニンクレッカ フィリップス エヌ ヴェ

【氏名又は名称原語表記】ＫＯＮＩＮＫＬＩＪＫＥ ＰＨＩＬＩＰＳ Ｎ．Ｖ．

(74)【代理人】

【識別番号】100122769

【弁理士】

【氏名又は名称】笛田 秀仙

(74)【代理人】

【識別番号】100163809

【弁理士】

【氏名又は名称】五十嵐 貴裕

(72)【発明者】

【氏名】スウィッシャー クリスティーヌ メンキング

(72)【発明者】

【氏名】エリッコ クラウディア

【審査官】山▲崎▼ 雄介

(56)【参考文献】

【文献】特開２０１７－２２１２６９（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１７／０２３０６７５（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１８／００６８４６３（ＵＳ，Ａ１）

【文献】特開２００７－３２５７８６（ＪＰ，Ａ）

【文献】特開２０１４－１６１７３６（ＪＰ，Ａ）

【文献】米国特許出願公開第２００７／００３８０９３（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １１／００－１１／８０

Ａ６１Ｂ ８／００－８／１５

Ｇ０６Ｔ １／００

Ｇ０６Ｔ ７／００

Ｇ０６Ｔ １９／００

ＩＥＥＥ Ｘｐｌｏｒｅ

(57)【特許請求の範囲】

【請求項1】

胎児の超音波画像に基づいて新生児のシミュレーション画像を生成するコンピュータ実装方法であって、前記方法は、
前記胎児の超音波画像を取得するステップと、
前記胎児の前記超音波画像に基づいて、前記新生児の前記シミュレーション画像を生成するために機械学習モデルを使用するステップであって、前記新生児の前記シミュレーション画像は、前記胎児が生まれたときにどのように見えるかの外観を予測する画像である、ステップと
を有する、方法。

【請求項2】

前記シミュレーション画像は、シミュレートされる写真画像を有する、請求項1に記載の方法。

【請求項3】

前記シミュレートされる写真画像は、デジタルカメラ又はフィルムカメラによってキャプチャされる外観を有する、請求項2に記載の方法。

【請求項4】

前記胎児の親に関する補助データを取得するステップ
を更に有し、
前記新生児の前記シミュレーション画像を生成するために機械学習モデルを使用するステップは、さらに前記補助データに基づいている、
請求項1乃至3の何れか一項に記載の方法。

【請求項5】

前記補助データは、
前記親の特徴と、
新生児としての前記親の写真画像と
のうちの一つ又はそれより多くを有する、請求項4に記載の方法。

【請求項6】

前記機械学習モデルは、前記胎児の前記超音波画像の一つ又はそれより多くの特徴を、前記補助データから導出される一つ又はそれより多くの特徴と組み合わせることによって、前記新生児の前記シミュレーション画像を生成する、請求項4又は5に記載の方法。

【請求項7】

前記新生児の前記シミュレーション画像を生成するために機械学習モデルを使用するステップは、前記機械学習モデルを有し、
前記超音波画像を圧縮して前記超音波画像の前記一つ又はそれより多くの特徴を決定するステップと、
前記補助データを使用して前記超音波画像の前記一つ又はそれより多くの特徴を再構成することによって前記新生児の前記シミュレーション画像を生成するステップと
を有する、請求項6に記載の方法。

【請求項8】

前記機械学習モデルは、変分オートエンコーダを有する、請求項7に記載の方法。

【請求項9】

前記補助データは、新生児としての前記親の写真画像を有し、
前記新生児の前記シミュレーション画像を生成するために機械学習モデルを使用するステップは、前記機械学習モデルを有し、
前記親の前記写真画像に関連するスタイルを新生児として決定するステップと、
前記超音波画像の内容を決定するステップと、
新生児としての前記親の前記写真画像に関連する前記スタイルを前記超音波画像の前記内容と組み合わせることによって、前記新生児の前記シミュレーション画像を生成するステップと
を有する、請求項4乃至6の何れか一項に記載の方法。

【請求項10】

前記機械学習モデルは、前記新生児の前記シミュレーション画像を生成するために、ニューラルアーチスティックスタイル変換を使用する、請求項9に記載の方法。

【請求項11】

前記シミュレーション画像は、
カラー画像と、
白黒画像と
のうちの1つを有する、請求項１乃至１０の何れか一項に記載の方法。

【請求項12】

前記超音波画像は、3次元又は4次元データから生成される、請求項１乃至１１の何れか一項に記載の方法。

【請求項13】

胎児の超音波画像に基づいて新生児のシミュレーション画像を生成するために機械学習モデルを訓練するコンピュータ実装方法であって、前記方法は、
胎児の例示的な超音波画像及び新生児と同じ胎児の対応する例示的な画像を提供するステップと、
前記例示的な画像を使用して胎児の超音波画像のための新生児のシミュレーション画像を生成するために前記機械学習モデルを訓練するステップであって、前記新生児の前記シミュレーション画像は、前記胎児が生まれたときにどのように見えるかの外観を予測する画像である、ステップと
を有する、方法。

【請求項14】

非一時的なコンピュータ可読媒体を有するコンピュータプログラムであって、前記コンピュータ可読媒体は、その中に具現化されるコンピュータ可読コードを有し、適切なコンピュータ又はプロセッサによって実行されるとき、前記コンピュータ可読コードは、前記コンピュータ又はプロセッサに、請求項1乃至１３の何れか一項に記載の方法を実行させるように構成される、コンピュータプログラム。

【請求項15】

胎児の超音波画像に基づいて新生児のシミュレーション画像を生成するためのシステムであって、前記システムは、
命令のセットを表す命令データを有するメモリと、
前記メモリと通信し、前記命令のセットを実行するように構成されるプロセッサであって、前記命令のセットは、前記プロセッサによって実行されるとき、前記プロセッサに、
前記胎児の前記超音波画像を取得させ、
前記胎児の前記超音波画像に基づいて前記新生児の前記シミュレーション画像を生成するために機械学習モデルを使用させ、前記新生児の前記シミュレーション画像は、前記胎児が生まれたときにどのように見えるかの外観を予測する画像である、プロセッサと
を有する、システム。

【発明の詳細な説明】

【技術分野】

【0001】

本明細書の実施形態は、胎児の超音波画像に基づいて、新生児のシミュレーション画像を生成することに関する。

【背景技術】

【0002】

本明細書における開示の一般的な背景は、胎児の出生前イメージングである。見込みのある両親は、多くの場合、成長中の新生児の外観に関心がある。胎児を子宮内で撮像する1つの方法は超音波画像を2D、3D又は4Dで使用することである。3Dおよび4D超音波は親が標準的な2D胎児超音波検査よりも深く胎児を見ることを可能にする。要約すると、3D胎児スキャンは、3次元レンダリングを形成するために様々な角度で撮影される複数の2次元画像と考えることができる。4D超音波スキャンは動きを示し、新生児のリアルタイムビデオを与える。

【0003】

3D及び4D出生前超音波は親及び家族に興奮する体験を提供するが、最新の超音波技術にもかかわらず、画像は現実的に見えないことがある。

【発明の概要】

【発明が解決しようとする課題】

【0004】

以上のように、超音波技術の進歩にもかかわらず、超音波でつくられる画像は、胎児が実際にどのように見えるのか、また胎児が生まれたときにどのように見えるのか、ということをあまり表していない場合もある。親は自然に胎児の外観に関心があり、したがって、より生命に似た画像を生成することが望まれている。

【課題を解決するための手段】

【0005】

したがって、第1の態様によれば、胎児の超音波画像に基づいて新生児のシミュレーション画像を生成するコンピュータ実装方法がある。この方法は胎児の超音波画像を取得するステップと、胎児の超音波画像に基づいて、機械学習モデルを使用して新生児のシミュレーション画像を生成するステップであって、新生児のシミュレーション画像は、胎児がどのように新生児として見えるかの予測を含む、ステップとを含む。

【0006】

第2の態様によれば、胎児の超音波画像に基づいて新生児のシミュレーション画像を生成するために機械学習モデルを訓練するコンピュータ実装方法がある。この方法は、胎児の例示的な超音波画像及び新生児と同じ胎児の対応する例示的な画像を提供するステップと、前記例示的な画像を使用して胎児の超音波画像のための新生児のシミュレーション画像を生成するために前記機械学習モデルを訓練するステップであって、前記新生児の前記シミュレーション画像は、前記胎児がどのように新生児として見えるかの予測を有する、ステップとを有する。

【0007】

第3の態様によれば、非一時的なコンピュータ可読媒体を有するコンピュータプログラムであって、前記コンピュータ可読媒体は、その中に具現化されるコンピュータ可読コードを有し、適切なコンピュータ又はプロセッサによって実行されるとき、前記コンピュータ可読コードは、前記コンピュータ又はプロセッサに、第1の態様又は第２の態様の方法を実行させるように構成される、コンピュータプログラムがある。

【0008】

第4の態様によれば、胎児の超音波画像に基づいて新生児のシミュレーション画像を生成するためのシステムがある。システムは、命令のセットを表す命令データを有するメモリと、前記メモリと通信し、前記命令のセットを実行するように構成されるプロセッサを有する。前記命令のセットは、前記プロセッサによって実行されるとき、前記プロセッサに、前記胎児の前記超音波画像を取得させ、前記胎児の前記超音波画像に基づいて前記新生児の前記シミュレーション画像を生成するために前記機械学習モデルを使用させ、前記新生児の前記シミュレーション画像は、前記胎児がどのように前記新生児として見えるかの予測を有する。

【0009】

このようにして、機械学習モデルは訓練され、胎児の超音波画像を取得するために使用され、胎児が生まれたときにどのように見えるかを予測するシミュレーション画像を提供することができる。したがって、本明細書のシステム及び方法は、胎児の両親が出生後の新生児の外観を観察し、想定するための改善される方法を提供することができる。これは親子の結び付きに役立つかもしれない。

【0010】

これら及び他の態様は以下に記載される実施形態から明らかになり、それを参照して説明される。

【0011】

本明細書の実施形態をより良く理解し、それらがどのように実施され得るかをより明確に示すために、ここで、単なる例として、添付の図面を参照する。

【図面の簡単な説明】

【0012】

【図1】いくつかの実施形態による、胎児の超音波画像に基づいて新生児のシミュレーション画像を生成する例示的なコンピュータ実装方法のフローチャートを示す。

【図2】胎児の異なるタイプの超音波画像の例を示す。

【図3】胎児がどのように新生児のように見えるかを予測するシミュレーション画像を生成するために機械学習モデルを訓練するために使用され得る例示的な画像対を示す。

【図4】胎児の超音波画像に基づいて新生児のシミュレーション画像を生成する際に使用される例示的な機械学習モデルを示す。

【図5】例示的な実施形態による、胎児の超音波画像に基づいて新生児のシミュレーション画像を生成するために機械学習モデルを訓練する方法を示す

【図6】例示的な実施形態による、胎児の超音波画像に基づいて新生児のシミュレーション画像を生成するために機械学習モデルを訓練する例示的な方法を示す。

【図7】いくつかの実施形態による、胎児の超音波画像に基づいて新生児のシミュレーション画像を生成するための例示的なシステムを示す。

【図8】いくつかの実施形態による、胎児の超音波画像に基づいて新生児のシミュレーション画像を生成するための例示的なシステムを示す。

【発明を実施するための形態】

【0013】

上述のように、親は、生まれていない胎児の出現に自然に関心がある。超音波画像は胎児の外観に関するいくつかの手がかりを提供することがあるが、これらは粒状であり、一般に質が悪いことがある。本明細書の実施形態の目的は、超音波で撮像される胎児が生まれたときにどのように見えるかの例示的な説明を予測又は提供する、新生児のシミュレーション画像を提供することである。

【0014】

図1は、本明細書のいくつかの例示的な実施形態による、胎児の超音波画像に基づいて新生児のシミュレーション画像を生成するコンピュータ実装方法を示す。この方法は、第1のブロック102において、胎児の超音波画像を取得するステップと、第2のブロック104において、機械学習モデルを使用して、胎児の超音波画像に基づいて、新生児のシミュレーション画像を生成するステップとを含み、新生児のシミュレーション画像は、胎児がどのように新生児のように見えるかの予測を含む。

【0015】

以下でより詳細に説明するように、方法100は例えば、コンピュータ、タブレットコンピュータ、又は携帯電話などのコンピューティングデバイスによって実行することができる。方法100は例えば、そのようなコンピューティングデバイス上にインストールされるアプリケーション(又は「app」)によって実行され得る。

【0016】

いくつかの実施形態では、超音波画像を取得するブロック102が超音波画像のデータベースから超音波画像を取得することを含むことができる。他の実施形態では、超音波画像を取得するブロック102が例えば超音波スキャナを使用して、超音波データを取得すること(例えば、超音波測定を行うこと)を含むことができる。

【0017】

超音波画像は、任意の次元のものであってよい。例えば、超音波画像は2D、3D又は4D(例えば、3空間次元及び時間次元)画像を含み得る。いくつかの実施形態では、超音波画像が三次元又は四次元データから生成されてもよい。いくつかの実施形態では、方法100が超音波画像を生成するために、そのような3次元又は4次元データを処理することをさらに含んでもよい。

【0018】

機械学習モデルへの入力として提供され得る超音波画像のいくつかのタイプの例は図2に提供され、図2は参照番号202、204、206、及び208によってそれぞれ示される、胎児の例示的な2D、3D、4D、及びHD(高精細度)画像を示す。本明細書の実施形態の目的は、これらのタイプの画像を改善することである。本明細書のいくつかの実施形態の目的は、胎児210の生物的又は自然な画像を提供することである。

【0019】

ブロック104では上述したように、本方法は機械学習モデルを使用して、胎児の超音波画像に基づいて、新生児のシミュレーション画像を生成することを含み、新生児のシミュレーション画像は胎児がどのように新生児として見えるかの予測を含む。

【0020】

言い換えれば、ブロック104において、機械学習モデル(例えば、訓練される機械学習モデル)は入力として胎児の超音波画像を取得し、胎児の超音波画像に基づいて、新生児のシミュレーション画像を生成する。

【0021】

機械学習モデルは入力として画像データ(例えば、超音波画像)を取り込み、出力としてシミュレーション画像を生成することができる任意のタイプの機械学習モデルを有してもよい。当業者は一般に、画像操作に適した機械学習モデルに精通しているのであろう。本明細書の実施形態で展開することができるいくつかのタイプの機械学習モデルの例を以下に詳細に説明するが、簡単に言えば、いくつかの実施形態では機械学習モデルは、畳み込みニューラルネットワーク、変分オートエンコーダ(VAE)、又はニューラルアーチスティックスタイル変換ネットワークなどのニューラルネットワークを含むことができる。しかしながら、当業者はこれらが単なる例であり、他の機械学習モデルが使用されてもよいことを理解するのであろう。

【0022】

機械学習モデルは胎児の超音波画像を入力として取得し、新生児のシミュレーション画像を出力するように訓練されている。いくつかの実施形態において(及び以下により詳細に記載されるように)、機械学習モデルは、胎児の例示的な超音波画像及び新生児と同じ胎児の対応する例示的な(写真)画像を使用して訓練されている。機械学習モデルは胎児の超音波画像から胎児のシミュレーション画像を予測するために、このような例示的な画像の対を使用して訓練されていてもよい。

【0023】

胎児のシミュレーション画像は、胎児がどのように胎児のように見えるか(又は見え得るか)の予測を含む。例えば、シミュレーション画像は、胎児が生まれたときにどのように見えるかの例又は例証を提供する画像を含むことができる。当業者はシミュレーション画像が必ずしも正確な予測を含まなくてもよく、むしろ、いくつかの例ではシミュレーション画像が例示又は娯楽目的のために提供されてもよいことを理解するのであろう。

【0024】

シミュレーション画像は、胎児が生後、どのように見えるかの予測を提供する任意の画像を含むことができる。例えば、シミュレーション画像は、胎児が生後すぐ、0乃至3ヶ月の年齢範囲、3乃至12ヶ月の年齢範囲、又は生後の任意の他の年齢範囲でどのように見えるかの予測を提供する画像を含み得る。この意味で、「シミュレートされる」とは、例えば、胎児がどのように新生児として見えるかの予測を提供するために、画像が強調され、改善され、変更され、又は他のデータもしくは他の画像と組み合わされることを意味し得る。

【0025】

シミュレーション画像は、写真品質の画像を含み得る。例えば、いくつかの実施形態では、シミュレーション画像はシミュレートされる写真画像を含むことができる。そのようなシミュレートされる写真画像はデジタルカメラ、フィルムカメラ(例えば、写真フィルムを使用する)、又は同様の媒体もしくはデバイスによってキャプチャされる外観を有し得る。したがって、いくつかの実施形態では、シミュレーション画像は新生児の生物的な写真スタイル画像を含むことができる。したがって、本明細書のいくつかの実施形態は、超音波画像から写真を生成するために使用されてもよい。

【0026】

シミュレートされる画像は白黒画像(例えば、白黒写真画像)又はカラー画像(例えば、カラー写真画像)であってもよい。

【0027】

いくつかの実施形態では、他の情報(例えば、胎児の超音波画像に加えて)が新生児のシミュレーション画像を生成する際に機械学習モデルによって使用される機械学習モデルへの入力として使用又は提供されてもよい。例えば、方法100は、胎児の親に関する補助データを取得するステップをさらに含んでもよい。新生児のシミュレーション画像を生成するために機械学習モデルを使用するブロック104は補助データにさらに基づいてもよい(例えば、補助データは、機械学習モデルへの追加入力であってもよい)。

【0028】

胎児の親に関する補助データは例えば、親の特徴を含むことができる。親の特性の例は例えば、目の色、毛髪の色又は肌の色調のような物理的特性を含むことができる。他の例には、人口統計データ、例えば親の民族性が含まれる。このようにして、胎児の親に関連する特徴又は特長を使用して、機械学習モデルによって、胎児の出現を新生児として予測することができる。

【0029】

いくつかの実施形態では、胎児の親に関する補助データが新生児としての親の写真画像を含むことができる。このような写真画像は、白黒写真画像又はカラー写真画像を含むことができる。したがって、親の写真を機械学習モデルに入力することができ、その結果、機械学習モデルは、胎児の親の写真特徴を新生児のシミュレーション画像に組み込むことができる。

【0030】

いくつかの実施形態では、機械学習モデルが胎児の超音波画像の一つ又はそれより多くの特徴を補助データから導出される一つ又はそれより多くの特徴と組み合わせることによって、新生児のシミュレーション画像を生成することができる。

【0031】

このようにして、親のデータ又は新生児としての親の画像を胎児の超音波画像と組み合わせて、胎児が児としてどのように見えるかを予測することができる。実際には、新生児の任意の特徴又は画像(例えば、兄弟姉妹、他の親族、又は無関係の新生児の特徴又は画像)を補助データとして使用することができることを理解される。しかしながら、新生児としての胎児の外観のより正確な予測を提供するために、補助データは、例えば親のような胎児との密接な遺伝的一致を表すことが望ましい場合がある。

【0032】

いくつかの実施形態では、機械学習モデルが変分オートエンコーダを含んでもよい。当業者は変分オートエンコーダに精通しているが、簡単に言えば、変分オートエンコーダは2つのニューラルネットワークからなる。第1のニューラルネットワークはエンコーダとして機能し、第2のニューラルネットワークはデコーダとして機能する。変分オートエンコーダは損失関数も含む。エンコーダはデータ(例えば、 28x28 画像、 784 次元)をはるかに低次元化で「潜在空間」、Zに圧縮する。デコーダは、隠れた表現に与えられたデータを再構成する。通常、エンコーダはデコーダが元の画像を正確に再作成するために、データの効率的な圧縮を学習するように訓練される。デコーダはまた、元の画像に存在しない特徴(例えば、オブジェクト又はスタイル)を適用するように訓練されてもよい。したがって、変分オートエンコーダは一般に、写真の前後などの対になった情報がある場合に適用することができる。

【0033】

本明細書の実施形態では、そのようなエンコーダによって生成される胎児の超音波画像の圧縮バージョンが、最も意味のある特徴の表現として使用されることができることは理解されている。次いで、これらの有意義な特徴を強調して(例えば、親からの特徴を使用して)、親のシミュレートされる写真画像を作成することができる。

【0034】

したがって、本明細書の実施形態では、胎児の超音波画像が超音波画像をより低い次元表現に圧縮するエンコーダに提供されてもよい。低次元表現は超音波画像より少ないデータを含む。これは、超音波画像の特徴(例えば、最も重要な又は最も顕著な特徴)を抽出するものと考えることができる。次に、デコーダは低次元表現(例えば、特徴)及び胎児の親に関する任意の補助データから新しい画像を再構成することができる。

【0035】

言い換えると、新生児のシミュレーション画像を生成するために機械学習モデルを使用するブロック104は超音波画像の一つ又はそれより多くの特徴を決定するために超音波画像を圧縮し、補助データを使用して(例えば、組み込んで)超音波画像の一つ又はそれより多くの特徴を再構成することによって新生児のシミュレーション画像を生成する機械学習モデルを含むことができる。

【0036】

超音波画像を圧縮するステップは、超音波画像を、変分オートエンコーダの一つ又はそれより多くの下位層内のより低い次元空間に符号化するステップを含み得る。胎児の拡張画像を生成するステップは、補助データを変分オートエンコーダの隠れ層に挿入するステップと、圧縮超音波画像を復号するステップとを含むことができる。

【0037】

このようにして、親の補助データは新生児のシミュレーション画像を生成するために、胎児の超音波画像の圧縮から導出される特徴と補助データを組み合わせることを可能にするために、変分オートエンコーダに挿入されてもよい。このようにして、新生児のシミュレーション画像は、超音波画像及び親情報に基づいて、胎児がどのように新生児のように見える(又は見える)かの予測を含む。

【0038】

次に図3を参照すると、一実施例において、変分オートエンコーダは、図3に示されているような画像対を含むトレーニングデータを用いてトレーニングされてもよい。各画像対は胎児の超音波画像302と、新生児と同じ胎児の対応する例示的な写真画像(例えば、出生後)304とを含む。変分オートエンコーダは、例示的な画像対をトレーニングデータとして使用してトレーニングされる。したがって、胎児の例示的な超音波画像は入力データの例であり、例示的な写真画像は対応する出力、例えば、グラウンドトゥルースの例である。

【0039】

いくつかの実施形態では、機械学習モデルは、新生児の多くの異なる母集団(例えば、人種、目の色、髪の色などの異なる組み合わせを有する親を有する新生児)をカバーする例示的な画像を含む訓練データを使用して訓練されてもよい。

【0040】

いくつかの実施形態では訓練データが親の特徴で注釈付けされてもよく、親の特徴は次いで、機械学習モデルへの入力パラメータとして使用されてもよい。このように、訓練中に、親の特徴(例えば、白人、日本人等)が決定されると、機械学習モデルはこの情報を出力に、より関連させるために重み付けを分配する(例えば、重み付けの値を設定する)ことができる。

【0041】

一例では、機械学習モデル設計は、エンコーダデコーダネットワークの形態の変分オートエンコーダを含む。入力は、グレースケール画像と、親人口統計を含む補助データとを含む。モデルは、超音波画像302及び補助データから新生児の画像を予測(作成又は生成)するように訓練される。この実施形態では、トレーニングが例えば例示的な画像対302、304などのトレーニングデータを使用して実行される。平均及び分散は、変分オートエンコーダから出力され、最適化されてもよい。

【0042】

図4は、機械学習モデルがディープニューラルネットワーク生成エンコーダデコーダモデルを含む例示的な実施形態の概要を提供する。この実施形態では、超音波画像402が超音波画像を圧縮するエンコーダ406への入力404として提供される。親408の一つ又はそれより多くの特性を、モデルの隠れ層410に挿入することができる。デコーダ412は圧縮される超音波画像を復号して、新生児のシミュレーション画像416(例えば、超音波画像内の胎児が新生児としてどのように見えるかの予測を表すシミュレーション画像)を含む出力414を生成する。

【0043】

本明細書では、他のタイプの機械学習モデルを使用することもできる。例えば、いくつかの実施形態では、機械学習モデルが新生児のシミュレーション画像を生成するためにニューラルアーチスティックスタイル変換を使用することができる。ニューラルアーチスティックスタイル変換は当業者によく知られており、Gatysらによる「畳み込みニューラルネットワークを使用した画像スタイル変換」と題する論文に詳細に記載されている。要約すると、ニューラルアーチスティックスタイル変換は1つの画像のスタイル(例えば、テクスチャ)を取得し、それを第2の画像のコンテンツ(例えば、形状及び構造的特徴)に適用することを含む。このようにして、例えば、Gatysらの論文に示されているように、Turnerなどの美術画家の芸術的スタイルを通常の写真に適用して、Turnerが同じシーンをどのように描いたかを記述する代表的な画像を作成することができる。

【0044】

一般に、ニューラルネットワークが画像に対するオブジェクト認識において訓練されるとき、ニューラルネットワークにおける各レイヤは、異なるスケールで画像の表現を生成する。例えば、ニューラルネットワークの下位レイヤは背景テクスチャ又は特徴の表現を生成し、一方、上位レベルはより大きなスケールの特徴(例えば、画像内のオブジェクトアウトライン)を反映する表現を生成する。したがって、画像のスタイルはニューラルネットワークの一つ又はそれより多くの下位レイヤからの画像の表現を使用して決定することができ、コンテンツは、ニューラルネットワークの一つ又はそれより多くの上位レイヤからの画像の表現を使用して決定することができる。

【0045】

従って、本願明細書では、いくつかの実施形態において、補助データは新生児として親の写真画像を含み、新生児のシミュレーション画像を生成するために機械学習モデルを使用するステップは、新生児としての親の写真画像に関連するスタイルを決定し、超音波画像の内容を決定し、新生児としての親の画像に関連するスタイルを超音波画像の内容と組み合わせることにより新生児の超音波画像のシミュレーション画像を生成する機械学習モデルを含み得る。当業者は一般に、補助データは(例えば、胎児が生まれたときにどのように見えるかのより正確な表現を生成するために)胎児の親又は他の親族に関連するが、原則として、新生児の任意の画像が例えば、娯楽又は他の目的のために使用され得ることを理解する。このような他の画像の使用は、胎児がどのように新生児のように見えるかについてのより正確でない画像を生成し得ることが理解されるであろう。

【0046】

いくつかの実施形態では、機械学習モデルはニューラルネットワークモデルを含み、新生児としての親の画像に関連するスタイルを決定するステップは、ニューラルネットワークモデルの一つ又はそれより多くの下位レイヤにおける胎児としての親の画像の一つ又はそれより多くの表現からスタイルを決定するステップを含み得る。

【0047】

超音波画像の内容を決定するステップは、ニューラルネットワークモデルの一つ又はそれより多くの上位レイヤにおける超音波画像の一つ又はそれより多くの表現から内容を決定するステップを含んでもよい。

【0048】

このようにして、皮膚の色調、画質、及び画像の鮮明さ(例えば、写真画質)などの親の画像のスタイル特徴を胎児の超音波画像に適用して、胎児のシミュレーション画像を新生児として生成することができる。

【0049】

機械学習モデルがニューラルアーチスティックスタイル変換を使用する実施形態では、機械学習モデルは2つの訓練される畳み込みニューラルネットワークを含むことができる。1つは超音波画像で訓練され、1つはスタイル画像で訓練される。それらは、

の形式の損失関数を使用して訓練されてもよい。ここで、

は新生児の超音波画像を表し、

は胎児の親の画像を表し、

は胎児がどのように新生児のように見えるかの予測を表す出力シミュレーション画像を表す。α及びβは、それぞれ、(超音波画像からの)コンテンツ及び(新生児としての親の画像からの)スタイルに対する重み付け係数を表す。

【0050】

訓練プロセスにはグランドトゥルースがなくてもよい。例えば、勾配は、スタイル画像のスタイル特徴及びコンテンツ超音波画像のコンテンツ特徴と同時に(例えば、等しく)合致するまで、画像を反復的に更新するために使用されてもよい。コンテンツ及びスタイルが出力シミュレーション画像に寄与する相対的な割合は、α及びβを変更することによって変更することができる。

【0051】

いくつかの実施形態では、親の特徴(例えば、上記の特徴の何れか)が入力としてさらに提供され得る。

【0052】

ここで図5を参照すると、幾つかの実施形態によれば、機械学習モデルを訓練して、胎児の超音波画像に基づいて新生児のシミュレーション画像を生成する(例えば、生成することができるようにする)コンピュータ実施方法500がある。この方法は、ブロック502において、胎児の例示的な超音波画像と、新生児と同じ胎児の対応する例示的な画像とを提供するステップを含む。ブロック504において、本方法は例示的な画像を使用して、胎児の超音波画像のための新生児のシミュレーション画像を生成するために機械学習モデルを訓練するステップを含み、新生児のシミュレーション画像は、胎児がどのように新生児として見えるかの予測を含む。

【0053】

方法500は、上述の方法100を実行できるように機械学習モデルを訓練するために使用されてもよい。例えば、方法500は、機械学習モデルが胎児の新しい(例えば、以前には見えなかった)超音波画像から新生児のシミュレーション画像を生成することを可能にするために使用されてもよい。これは、上述したように、超音波画像の例示的な画像対と、出生後(例えば、新生児として)の同じ胎児の対応するリアル(例えば、写真)画像とを使用して行われてもよい。そのような実施形態では、例示的な画像が機械学習モデルのためのトレーニングデータである。

【0054】

訓練は一般に、機械学習モデルが現場で展開される前に行われることが当業者には理解されるのであろう(例えば、機械学習モデルは、臨床医又は親などのユーザによって使用される前に訓練される)。例えば、いくつかの実施形態では、一旦展開されると、一般に、モデルをさらに訓練する必要がない場合がある。

【0055】

機械学習モデルの異なる例は方法100に関して上記で提供され、その中の例は方法500に等しく適用される。

【0056】

胎児の例示的な超音波画像は、方法100における胎児の超音波画像に関して上述したものと同じタイプの超音波画像の何れかを含むことができる。いくつかの実施形態では、新生児と同じ胎児の対応する例示的画像がリアル画像、例えば、出生後の同じ胎児の実写真を含むことができる。新生児と同じ胎児の対応する例示的な画像は、任意の年齢で撮影されてもよい。例えば、出生直後、0乃至3ヶ月、3乃至12ヶ月、又は任意の他の年齢範囲の間である。

【0057】

上述したように、胎児の例示的な超音波画像と、胎児と同じ胎児の対応する例示的な(リアル)画像とは訓練データを表し、したがって、新生児と同じ胎児の例示的な画像は機械学習モデルのグランドトゥルースを表す。

【0058】

胎児のシミュレーション画像は方法100に関して上述されており、その中の詳細は、方法500に適用されることが理解されるのであろう。例えば、シミュレーション画像は、胎児がどのように新生児のように見えるかの予測を含む(又は表す)シミュレートされる写真画像を含むことができる。このようにして、機械学習モデルを訓練して、胎児の超音波画像から新生児の予測画像を提供することができる。

【0059】

いくつかの実施形態によれば、ブロック502は、胎児の親に関する補助データを提供するステップをさらに含むことができる。次いで、ブロック504は、例示的な画像及び補助データを使用して機械学習モデルを訓練して、胎児の超音波画像のための新生児のシミュレーション画像を生成するステップを含むことができる。異なるタイプの補助データ、及び補助データが機械学習モデルによって使用され得る方法は方法100に関して上述されており、その中の詳細は、方法500に等しく適用されることが理解されるのであろう。

【0060】

図6は、胎児の超音波画像に基づいて新生児のシミュレーション画像を生成するために機械学習モデルを訓練するいくつかの実施形態による方法を示す。この実施形態は、生成モデル602及び弁別器モデル604を備える敵対的生成ネットワーク(GAN)を備える。

【0061】

生成モデル602は、方法100に関して上述したタイプの何れかのような、任意のタイプの機械学習モデルを含むことができる。例えば、ジェネレータは上述したように、圧縮及びエンコーダデコーダネットワークを含む変分オートエンコーダを含み得る。

【0062】

弁別器モデル604は、方法100に関して上述した任意のタイプの機械学習モデルなど、任意のタイプの機械学習モデルを含むことができる。例えば、ジェネレータは、畳み込みニューラルネットワークベースに基づく分類器などのニューラルネットワークを備えることができる。

【0063】

胎児606の超音波画像は方法100に関して上述したように、入力超音波画像に基づいて、新生児610のシミュレーション画像を出力するジェネレータモデル602に提供される。

【0064】

さらに、リアル新生児のリアル画像612(例えば、写真画像)を含むデータベース608がある。弁別器604には、実際の新生児のリアル画像612又はジェネレータから出力されるシミュレーション画像610の何れかが供給される。弁別器は、入力画像がリアル画像のデータベースとは対照的に、ジェネレータから来た確率を推定する(例えば、弁別器は、受信した画像がシミュレーション画像を含む確率を推定する)。ジェネレータの目標は、新生児612のリアル画像から区別できないような品質の新生児610のシミュレーション画像を生成することである。弁別器は入力が真であるか偽であるかを出力614し、これは損失関数616を更新する。

【0065】

言い換えれば、生成モデルのための訓練手順は、弁別器が誤る確率を最大にすることである。このフレームワークは、ミニマックスの2人プレーヤゲームに対応する。ジェネレータが弁別器をトリックできると、訓練は成功する。

【0066】

より詳細には一実施形態によれば、機械学習モデルはジェネレータと弁別器の対を含んでもよい。ジェネレータは(上述のように)変分オートエンコーダに類似したモデルを含んでもよく、弁別器は畳み込みニューラルネットワークに基づく分類器を含んでもよい。ジェネレータへの入力は、グレースケール超音波画像と、親に関する人口統計情報などの親の一つ又はそれより多くの特性とを含むことができる。ジェネレータの出力は、シミュレートされる写真画像、例えば3チャンネルカラー画像を含み得る。
機械学習モデルは、バイナリ交差エントロピー損失関数のような損失関数を用いて訓練することができる。

【0067】

より一般的には、ジェネレータ及び弁別器が多層パーセプトロンによって規定される実施形態では、システム全体が逆伝搬で訓練されてもよい。したがって、いくつかの実施形態では、サンプルのトレーニング又は生成の何れかの間に、マルコフ鎖又は展開される近似推論ネットワークの必要がない。したがって、敵対的生成ネットワークは、最尤法の魅力的な代替を提供することができる。さらに、それらの学習プロセスとヒューリスティックコスト関数(ピクセル方向独立平均二乗誤差のような)の欠如は、表現学習に魅力的である。本明細書に記載されるようなヘルスケア用途では、グラウンドトゥルース対画像(例えば、胎児の超音波画像及び出生後の同じ胎児の対応する画像)を取得することが困難であり得る。敵対的生成ネットワークは、例示的な画像が対応する出生前超音波画像と対にされる必要なしに、改善するために良好な例示的な画像のみを必要とするので、そのような問題を克服することができる。

【0068】

ここで図7を参照すると、いくつかの実施形態によれば、胎児の超音波画像に基づいて新生児のシミュレーション画像を生成するためのシステム700がある。システム700は、命令のセットを表す命令データを備えるメモリ704を備える。システム700はメモリ704と通信し、命令のセットを実行するように構成されるプロセッサ702をさらに備える。命令のセットはプロセッサによって実行されるとき、上述のように、方法100又は500の実施形態の何れかをプロセッサに実行させることができる。

【0069】

一部の実装では、命令データは、本明細書に記載する方法の個々のステップ又は複数のステップを実行するようにそれぞれ構成される、又は実行するための複数のソフトウェアモジュール及び／又はハードウェアモジュールを含むことができる。いくつかの実施形態では、メモリ704は、システム700の一つ又はそれより多くの他の構成要素(例えば、プロセッサ702及び／又はシステム700の一つ又はそれより多くの他の構成要素)も含むデバイスの一部であってもよい。代替実施形態では、メモリ704がシステム700の他の構成要素とは別個のデバイスの一部であってもよい。

【0070】

いくつかの実施形態ではメモリ704が複数のサブメモリを備えることができ、各サブメモリは1つの命令データを記憶することができる。メモリ704が複数のサブメモリを含むいくつかの実施形態では、命令のセットを表す命令データが単一のサブメモリに記憶されてもよい。メモリ704が複数のサブメモリを備える他の実施形態では、命令のセットを表す命令データが複数のサブメモリに記憶されてもよい。したがって、いくつかの実施形態によれば、異なる命令を表す命令データは、システム700内の一つ又はそれより多くの異なる位置に記憶することができる。いくつかの実施形態では、メモリ704は、胎児の超音波画像、新生児のシミュレーション画像、及び／又はシステム700のプロセッサ702によって、又はシステム700の任意の他の構成要素から使用される任意の他のデータなどの情報を記憶するために使用されてもよい。

【0071】

プロセッサ702は、一つ又はそれより多くのプロセッサ、処理ユニット、マルチコアプロセッサ、及び／又は本明細書で説明される方法でシステム700を制御するように構成又はプログラムされるモジュールを備えることができる。一部の実施形態では、例えば、プロセッサ702は複数の(例えば、相互動作する)プロセッサ、処理ユニット、マルチコアプロセッサ及び／又は分散処理のために構成されるモジュールを含んでもよい。そのようなプロセッサ、処理ユニット、マルチコアプロセッサ、及び／又はモジュールは異なる位置に配置されてもよく、本明細書で説明される方法の単一のステップの異なるステップ及び／又は異なる部分を実行してもよいことが、当業者によって理解されるのであろう。

【0072】

簡単に述べると、命令のセットは、プロセッサ702によって実行されるとき、プロセッサ702に胎児の超音波画像を取得させる。命令のセットはプロセッサ702によって実行されるとき、さらに、プロセッサ702に、胎児の超音波画像に基づいて、機械学習モデルを使用させて、新生児のシミュレーション画像を生成させる。ここで、新生児のシミュレーション画像は、胎児がどのように新生児として見えるかの予測を含む。胎児の超音波画像を取得し、機械学習モデルを使用して新生児のシミュレーション画像を生成することは方法100及び500に関して上述されており、その詳細はシステム700の動作に等しく適用されることが理解されるのであろう。システム700は、図7に示される構成要素に追加の構成要素を備えることができることは評価される。例えば、いくつかの実施形態では、システム700は上述のように、例えば、胎児の超音波画像を取得するため、及び／又は機械学習モデルを訓練する際に使用するために新生児の画像を取得するため、一つ又はそれより多くの画像キャプチャデバイスを備えることができる。このような画像キャプチャ装置は例えば、カメラ又は超音波スキャナを含むことができる。

【0073】

システム700は、例えばデータベースから情報を受信し、及び／又はデータベースに情報を送信するための一つ又はそれより多くの通信インターフェースをさらに備えることができる。システム700は、表示スクリーン、マウス、キーボード、又はユーザに情報を表示するか、又はユーザから入力(超音波画像又は胎児の親に関する補助データなど)を受け取ることを可能にする任意の他のユーザインターフェースなどの一つ又はそれより多くのユーザインターフェースをさらに備えることができる。例えば、このようなディスプレイは上述したように、胎児の親に関する超音波画像及び／又は補助データのような機械学習モデルへの入力、及び／又は新生児のシミュレーション画像のような機械学習モデルの出力を表示するために使用することができる。いくつかの実施形態では、システム700がバッテリ又は主電源接続などの電源をさらに備えることができる。

【0074】

次に、図8を参照すると、図8は、一実施形態による、胎児の超音波画像に基づいて、新生児のシミュレーション画像を生成するシステムを示す。この実施形態のシステムは、図7のシステム700の一実施例を含む。

【0075】

この実施形態では、超音波画像をアップロードするためのユーザインターフェース802がある。ユーザインターフェース802は、超音波スキャナに直接埋め込まれてもよく、又はそのような超音波スキャナから取得される超音波画像にアクセスし得るアプリケーションの一部であってもよい。親又は他のユーザのためのアプリケーション又は「app」804(モバイルアプリケーションなど)もある。アプリケーション804は例えば、親又は他のユーザが、(上述のように)胎児の親に関する補助データ、及び／又は新生児としての親(又は他の関連又は非関連の人物)の一つ又はそれより多くの写真をアップロードすることを可能にすることができる。

【0076】

ユーザインターフェース802は、超音波検査技師又は他のユーザが超音波収集を深層学習ネットワークと同期させることを可能にし得る(例えば、超音波データ収集が完了したことに起因して、予測プロセスを開始するように機械学習モデルをトリガする)。いくつかの実施形態では、親又は他の家族が、予定されるアポイントメントの前に、自分の写真をプライベートクラウドプラットフォーム上にアップロードすることができる。3D超音波スキャンとDNNとの同期はネットワークへのあらゆる入力が現実的な画像(すなわち、額、頬、又は他の顔の特徴を示す胎児画像)を実現するためにカウントするので、胎児のすべてのビュー／プロファイルをカバーするために必要である。超音波スキャナが活発な胎児の動きをキャプチャする実施形態では、ユーザインターフェース802は、所望の画像をキャプチャするために4D撮像に切り替わることを超音波検査技師にさらに示唆することができる。

【0077】

胎児の超音波画像は、この実施形態では胎児の超音波画像を圧縮(符号化)する変分オートエンコーダを備える機械学習モデル810への入力806として提供される。アプリケーション804を介して胎児又は他のユーザの親によって提供される任意の補助データは変分オートエンコーダの隠れ層に挿入され(808)、その後、変分エンコーダは圧縮画像を復号して、新生児812の出力シミュレーション画像を生成する。上述したように、胎児のシミュレーション画像は、胎児がどのように新生児のように見えるかの予測を含む。

【0078】

得られたシミュレーション画像は、ディスプレイ814上に胎児の超音波画像と並んで表示することができる。超音波キャプチャに応じて、複数の顔の表情及び／又はプロファイルビュー816をシミュレートすることができる。

【0079】

ここで他の実施形態に移ると、いくつかの実施形態によれば、非一時的なコンピュータ可読媒体を備えるコンピュータプログラム製品があり、コンピュータ可読媒体はその中に具現化されるコンピュータ可読コードを有し、コンピュータ可読コードは適切なコンピュータ又はプロセッサによる実行時に、コンピュータ又はプロセッサに、方法100又は方法500の実施形態の何れかを実行させるように構成される。

【0080】

そのようなコンピュータプログラム製品は、一つ又はそれより多くのアプリケーション(「アプリケーション」)に含まれ得る。そのようなコンピュータプログラム製品は、モバイルデバイス、コンピュータ、コンピュータタブレット、又は超音波スキャナなどの一つ又はそれより多くの医療機器などの一つ又はそれより多くのデバイスに含まれるか、又はインストールされ得る。当業者はこれらが単なる例であり、そのようなコンピュータプログラム製品が他のデバイス又はアプリケーションに含まれ得ることを理解するのであろう。

【0081】

上述したように、胎児の超音波画像に基づいて、胎児がどのように胎児のように見えるかを予測した胎児のシミュレーション画像を生成することが可能である。上記の実施形態のいくつかは、超音波画像が写真に類似した低次元表現に圧縮され得る情報を含むという洞察に基づいている。上記のいくつかの実施形態では、生成的な深い学習モデルが超音波画像から取得される実際のコンテンツを実施しながら、超音波画像の画像スタイル、知覚的外観、及びテクスチャを、写真と同様に、より生活に似た画像に見えるように変換する。上述のように、親に関する他の補助データ(例えば、任意選択の情報)を使用して、グレースケール超音波画像を正確に着色される画像に変換することもできる。これらの入力には、目の色、髪の色、肌の色調、人種、その他に関する情報が含まれる。この方法は、超音波画像取得ストラテジに要件を課さないので、異なる装置及び異なる製造業者からの画像テクスチャの変動を学習することもできる。このようにして、出生後の胎児の出現の可能性の予測画像が生成され得る。

【0082】

本明細書で使用される「モジュール」という用語は、特定の機能を実行するように構成されるプロセッサ又はプロセッサのコンポーネントなどのハードウェアコンポーネント、又はプロセッサによって実行されるときに特定の機能を有する命令データのセットなどのソフトウェアコンポーネントを含むことを意図している。

【0083】

本明細書の実施形態は、実施形態を実施するように適合されるコンピュータプログラム、特にキャリア上又はキャリア内のコンピュータプログラムにも適用されることが理解されよう。プログラムは、ソースコード、オブジェクトコード、コード中間ソース、及び部分的にコンパイルされる形態などのオブジェクトコードの形態、又は本明細書の実施形態による方法の実装で使用するのに適した任意の他の形態とすることができる。このようなプログラムは、多くの異なるアーキテクチャ設計を有することができることも理解されよう。例えば、本明細書の実施形態による方法又はシステムの機能を実施するプログラムコードは、一つ又はそれより多くのサブルーチンに細分されてもよい。これらのサブルーチン間で機能性を分配する多くの異なる方法は、当業者に明らかであろう。
サブルーチンは、1つの実行可能ファイルに一緒に記憶されて、自己完結型プログラムを形成することができる。このような実行可能ファイルはコンピュータ実行可能命令、例えば、プロセッサ命令及び／又はインタプリタ命令(例えば、Javaインタプリタ命令)を含むことができる。あるいは、1つ以上又はすべてのサブルーチンが少なくとも1つの外部ライブラリファイルに記憶され、実行時などに静的又は動的にメインプログラムとリンクされてもよい。メインプログラムには、少なくとも1 つのサブ・ルーチンへの呼び出しが少なくとも1 つ含まれている。サブルーチンは、互いに関数呼び出しを含むこともできる。コンピュータプログラム製品に関連する実施形態は、本明細書に記載の方法のうちの少なくとも1つの各処理ステージに対応するコンピュータ実行可能命令を備える。これらの命令は、サブルーチンに分割され、及び／又は静的又は動的にリンクされ得る一つ又はそれより多くのファイルに記憶されてもよい。コンピュータプログラムプロダクトに関連する別の実施形態は、本明細書に記載されるシステム及び／又はプロダクトのうちの少なくとも1つのそれぞれの手段に対応するコンピュータ実行可能命令を備える。これらの命令は、サブルーチンに分割され、及び／又は静的又は動的にリンクされ得る一つ又はそれより多くのファイルに記憶されてもよい。コンピュータプログラムのキャリアは、プログラムを搬送することができる任意のエンティティ又はデバイスとすることができる。

【0084】

例えば、キャリアはROMのようなデータ記憶装置、例えば、CD ROM又は半導体ROM、又は磁気記録媒体、例えば、ハードディスクを含むことができる。
さらに、搬送波は、電気又は光ケーブルを介して、又は無線もしくは他の手段によって搬送され得る、電気又は光信号などの伝送可能な搬送波であってもよい。プログラムがそのような信号で具現化される場合、搬送波は、そのようなケーブル又は他の装置又は手段によって構成されてもよい。あるいはキャリアがプログラムが埋め込まれた集積回路であってもよく、集積回路は関連する方法を実行するように適合されているか、又は関連する方法の実行に使用される。

【0085】

開示される実施形態に対する変形は図面、開示、及び添付の特許請求の範囲の検討から、当業者によって理解され、達成され得る。特許請求の範囲において、単語「有する」は他の要素又はステップを排除するものではなく、不定冠詞「a」又は「an」は複数を排除するものではない。単一のプロセッサ又は他のユニットは、特許請求の範囲に列挙されるいくつかのアイテムの機能を満たすことができる。特定の手段が相互に異なる従属請求項に記載されているという単なる事実は、これらの手段の組み合わせが有利に使用されることができないことを示すものではない。コンピュータプログラムは他のハードウェアと一緒に、又はその一部として供給される光記憶媒体又はソリッドステート媒体などの適切な媒体上に記憶／配布することができるが、インターネット又は他の有線もしくは無線電気通信システムなどを介して、他の形態で配布することもできる。特許請求の範囲におけるいかなる参照符号も、範囲を限定するものとして解釈されるべきではない。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】