ホーム > 特許ランキング > ＶＵＮＯ， ＩＮＣ．
特表2022-526126訓練された深層神経網モデルの再現性能を改善する方法及びそれを用いた装置
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-05-23
(54)【発明の名称】訓練された深層神経網モデルの再現性能を改善する方法及びそれを用いた装置
(51)【国際特許分類】
G06T 7/00 20170101AFI20220516BHJP
G06N 3/02 20060101ALI20220516BHJP
【ＦＩ】
G06T7/00 350C
G06T7/00 612
G06N3/02
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2021556444
(86)(22)【出願日】2019-12-06
(85)【翻訳文提出日】2021-09-17
(86)【国際出願番号】 KR2019017199
(87)【国際公開番号】W WO2020230972
(87)【国際公開日】2020-11-19
(31)【優先権主張番号】10-2019-0056141
(32)【優先日】2019-05-14
(33)【優先権主張国・地域又は機関】KR
(81)【指定国・地域】
(71)【出願人】
【識別番号】520047532
【氏名又は名称】ビュノ インコーポレイテッド
【氏名又は名称原語表記】ＶＵＮＯ， ＩＮＣ．
(74)【代理人】
【識別番号】110000855
【氏名又は名称】特許業務法人浅村特許事務所
(72)【発明者】
【氏名】ペ、ウン
(72)【発明者】
【氏名】ペ、ビョン － ウク
(72)【発明者】
【氏名】チョン、ミンギ
(72)【発明者】
【氏名】パク、ボムヒ
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096BA06
5L096BA13
5L096FA32
5L096GA51
5L096HA11
5L096JA03
5L096KA04
5L096KA15
5L096MA03
(57)【要約】
この開示書は、一群の学習データを用いて訓練された深層神経網モデルがその一群とは異なる品質パターンを有する対象データに対して優れた再現性能を表すように、その再現性能を改善する方法及びそれを用いた装置に関する。この開示書による方法によれば、コンピューティング装置が、対象データを得、学習データから選別された参照データを含む学習データ代表群から対象データと類似度が最も高い少なくとも一つの候補データを読み出し(ｒｅｔｒｉｅｖｅ)、候補データに適合化されるように対象データに対する適応的パターン変換を行い、適応的パターン変換の結果である変換データを深層神経網モデルに伝達するように支援することにより、深層神経網モデルから出力値が得られる。
【特許請求の範囲】
【請求項1】
一群の学習データを用いて訓練された深層神経網モデルの前記一群とは異なる品質パターン(ｑｕａｌｉｔａｔｉｖｅ ｐａｔｔｅｒｎ)を有する対象データに対する出力値の再現性能を改善する方法であって、(ａ)前記対象データが得られた状態で、前記コンピューティング装置が、前記学習データから選別された参照データを含む学習データ代表群から前記対象データと類似度が最も高い少なくとも一つの候補データを読み出すか(ｒｅｔｒｉｅｖｅ)、又は前記コンピューティング装置に連動する他の装置をして前記候補データを読み出すように支援する段階；
(ｂ)前記コンピューティング装置が、前記候補データに適合化(ａｄａｐｔａｔｉｏｎ)されるように前記対象データに対する適応的パターン変換を行うか、又は前記他の装置をして前記適応的パターン変換を行うように支援する段階；及び
(ｃ)前記コンピューティング装置が、前記適応的パターン変換の結果である変換データを前記深層神経網モデルに伝達するか、又は前記他の装置をして前記深層神経網モデルに伝達するように支援することにより、前記深層神経網モデルから出力値が得られる段階
を含む、深層神経網モデルの再現性能改善方法。
【請求項2】
前記参照データとしては、特徴に対する類似度基準(ｓｉｍｉｌａｒｉｔｙ ｍｅｔｒｉｃ)に基づいて、前記学習データのうち、互いの類似度が所定の第２閾値よりも低いデータが選別されることを特徴とする、請求項１に記載の深層神経網モデルの再現性能改善方法。
【請求項3】
前記(ａ)段階は、前記全ての参照データに対して前記類似度が所定の第１閾値を下回ると、前記対象データが判定不可に分類されて終了することを特徴とする、請求項１に記載の深層神経網モデルの再現性能改善方法。
【請求項4】
前記(ｂ)段階において、読み出された前記候補データと前記対象データを用いて前記候補データの品質パターンを有するように前記対象データのパターンが適応的に変換されることを特徴とする、請求項１に記載の深層神経網モデルの再現性能改善方法。
【請求項5】
前記読み出された候補データが複数であり、前記(ｂ)段階において、
前記候補データの品質パターンは前記深層神経網モデルによる潜在空間(ｌａｔｅｎｔ ｓｐａｃｅ)の上で前記候補データの組み合わせ又は平均値に基づくことを特徴とする、請求項４に記載の深層神経網モデルの再現性能改善方法。
【請求項6】
コンピューティング装置をして、請求項１ないし請求項５のいずれかに記載の方法を実行するように具現された命令語(ｉｎｓｔｒｕｃｔｉｏｎｓ)を含む、機械読み取り可能な非一時的記録媒体に格納された、コンピュータープログラム。
【請求項7】
一群の学習データを用いて訓練された深層神経網モデルの前記一群とは異なる品質パターン(ｑｕａｌｉｔａｔｉｖｅ ｐａｔｔｅｒｎ)を有する対象データに対する出力値の再現性能を改善するコンピューティング装置であって、前記対象データを得る通信部；及び
(i)前記学習データから選別された参照データを含む学習データ代表群から前記対象データと類似度が最も高い少なくとも一つの候補データを読み出すか(ｒｅｔｒｉｅｖｅ)、又は前記通信部を介して連動する他の装置をして前記候補データを読み出すように支援する参照データ基盤の候補データ生成モジュールを具現するプロセス、前記候補データに適合化(ａｄａｐｔａｔｉｏｎ)されるように前記対象データに対する適応的パターン変換を行うか、又は前記他の装置をして前記適応的パターン変換を行うように支援する適応的パターン変換モジュールを具現するプロセス、及び前記適応的パターン変換の結果である変換データを前記深層神経網モデルに伝達するか、又は前記他の装置をして前記深層神経網モデルに伝達するように支援することにより、前記深層神経網モデルから出力値を得るプロセスを行う、プロセッサ
を含む、深層神経網モデルの再現性能改善装置。
【発明の詳細な説明】
【技術分野】
【0001】
この開示書は、一群の学習データを用いて訓練された深層神経網モデルが、この一群とは異なる品質パターンを有する対象データに対しても優れた再現性能を得られるように、その再現性能を改善する方法及びそれを用いた装置に関する。この開示書による方法によれば、コンピューティング装置は、対象データを得、学習データから選別された参照データを含む学習データの代表群から対象データとの類似度が最も高い少なくとも一つの候補データを読み出し(又は検索し;ｒｅｔｒｉｅｖｅ)、候補データに適合化(ａｄａｐｔａｔｉｏｎ)されるように対象データに対する適応的パターン変換を行って、適応的パターン変換の結果である変換データを深層神経網モデルに伝達するように支援することにより、深層神経網モデルから出力値を得ることができる。
【背景技術】
【0002】
ほとんどの医療映像(Ｘ線映像、ＣＴ、ＭＲＩ映像、眼底画像、病理映像など)が有する様々な品質パターン{製造業体、医療専門家の映像選好度の差、人種間の差及び被検体の状態(例えば、肥満有無、手術有無)、撮影環境などによって異なる様相を指す}によって、すでに訓練された同一の深層神経網モデルの性能差が大きいが、これは解決すべき不安定さである。
【0003】
図１を参照すると、まず学習データ１１０ａを用いてどの深層神経網モデル１２０が学習データ１１０ａに対して正しい結果１３０ａを出すように訓練されると、その学習データとは異なる品質パターンを有する入力データ１１０ｂに対しては深層神経網モデル１２０が間違った結果１３０ｂを出す場合にそのように不安定さが見られるといえる。入力データ１１０ｂが学習データ１１０ａとは特徴上異なる分布を有する場合もこのように異なる品質パターンを有するといえる。
【0004】
より具体的には、非常に様々な医療映像の品質パターンの全てに対する深層神経網モデルはほぼ不可能であり、これは一つの品質パターンを有する一群の学習データに対して訓練された深層神経網モデルが異なる品質パターンを有するデータに対してはその分類性能が低下する原因となる。異なる品質パターンを有する機関別、国家別のデータを一つ一つ合わせる作業は非常に非効率的であり、多い費用がかかる。事実上、全ての映像の品質パターンを把握することはできないので、いつもデータ品質に対する不確実性(ｕｎｃｅｒｔａｉｎｔｙ)が存在する。
【0005】
かかる限界を克服するために、この発明では、深層神経網モデルの医療映像が有する様々なパターンの間の性能差を除去することにより、異なるパターンのデータに対しても再現性能を改善できる技術的方案を提示する。
【発明の概要】
【発明が解決しようとする課題】
【0006】
この開示書は、様々な品質パターンの入力データに対して深層神経網モデルが安定した性能を発揮する方法及びそれを用いた装置を提供することを目的とする。
【0007】
特に、この開示書は、機関によって異なる品質パターンを有する個別データに対して煩わしい合わせ作業を除去できる方法を提供することにより、深層神経網モデルを用いた業務効率を上げることを目的とする。
【課題を解決するための手段】
【0008】
上述した本発明の目的を達成し、後述する本発明の特徴的な効果を実現するための本発明の特徴的な構成は以下の通りである。
【0009】
本発明の一態様によると、一群の学習データを用いて訓練された深層神経網モデルの一群とは異なる品質パターン(ｑｕａｌｉｔａｔｉｖｅ ｐａｔｔｅｒｎ)を有する対象データに対する出力値の再現性能を改善する方法が提供される。この方法は、(ａ)対象データが得られた状態で、コンピューティング装置が、学習データから選別された参照データを含む学習データ代表群から対象データと類似度が最も高い少なくとも一つの候補データを読み出すか(ｒｅｔｒｉｅｖｅ)、又はコンピューティング装置に連動する他の装置をして候補データを読み出すように支援する段階；(ｂ)コンピューティング装置が、候補データに適合化(ａｄａｐｔａｔｉｏｎ)されるように対象データに対する適応的パターン変換を行うか、又は他の装置をして適応的パターン変換を行うように支援する段階；及び(ｃ)コンピューティング装置が、適応的パターン変換の結果である変換データを深層神経網モデルに伝達するか、又は他の装置をして深層神経網モデルに伝達するように支援することにより、深層神経網モデルから出力値が得られる段階を含む。
【0010】
本発明の他の態様によると、本発明による方法を実行するように具現された命令語(ｉｎｓｔｒｕｃｔｉｏｎｓ)を含む、機械読み取り可能な非一時的記録媒体に格納された、コンピュータープログラムも提供される。
【0011】
本発明のさらに他の態様によると、一群の学習データを用いて訓練された深層神経網モデルの一群とは異なる品質パターンを有する対象データに対する出力値の再現性能を改善するコンピューティング装置が提供される。この装置は、対象データを得る通信部;及びプロセッサを含み、このプロセッサは、(i)学習データから選別された参照データを含む学習データ代表群から対象データと類似度が最も高い少なくとも一つの候補データを読み出すか(ｒｅｔｒｉｅｖｅ)、又は通信部を介して連動する他の装置をして候補データを読み出すように支援する参照データ基盤の候補データ生成モジュールを具現するプロセス、候補データに適合化(ａｄａｐｔａｔｉｏｎ)されるように対象データに対する適応的パターン変換を行うか、又は他の装置をして適応的パターン変換を行うように支援する適応的パターン変換モジュールを具現するプロセス、及び適応的パターン変換の結果である変換データを深層神経網モデルに伝達するか、又は他の装置をして深層神経網モデルに伝達するように支援することにより、深層神経網モデルから出力値を得るプロセスを行う。
【発明の効果】
【0012】
本発明の方法及び装置によれば、様々な品質パターンの入力データに対して出力値を出す深層神経網モデルの再現性能を改善できるという効果がある。
【0013】
この開示書による実施例の説明に利用されるために添付された以下の図面は、この開示書による実施例の一部に過ぎず、本発明が属する技術分野における通常の知識を有する者(以下、”通常の技術者”という)であれば、発明的作業がなくても、この図面に基づいて他の図面を得ることができる。
【図面の簡単な説明】
【0014】
【発明を実施するための形態】
【0015】
後述する本発明についての詳しい説明は、本発明の目的、技術的解法及び長所を明らかにするために本発明が実施できる特定の実施例を例示する添付図面を参照する。
【0016】
これらの実施例は、通常の技術者が本発明を十分に実施できるように詳しく説明する。
【0017】
本発明の詳細な説明及び請求範囲の全般にわたって用いられる"画像"又は"画像データ"という用語は、離散的画像要素(例えば、２次元画像ではピクセル)で構成された多次元データを意味する。
【0018】
即ち、(例えば、ビデオ画面に表示された)肉眼で確認することのできる対象又は(例えば、ＣＴ、ＭＲＩ検出器などのピクセル出力に対応するファイルのような)その対象のデジタル表現物を意味する用語である。
【0019】
例えば、"イメージ"又は"映像"はＸ線撮影、コンピューター断層撮影(ＣＴ；ｃｏｍｐｕｔｅｄ ｔｏｍｏｇｒａｐｈｙ)、磁気共鳴映像(ＭＲＩ；ｍａｇｎｅｔｉｃ ｒｅｓｏｎａｎｃｅ ｉｍａｇｉｎｇ)、超音波又は本発明の技術分野において公知された任意の他の医療映像システムにより収集された被検体(ｓｕｂｊｅｃｔ)の医療映像である。映像は必ず医療的脈絡で提供される必要はなく、非医療的脈絡で提供されてもよい。例えば、保安検索用Ｘ線撮影などであってもよい。
【0020】
通常の技術者は、本発明の様々な実施例で用いられる映像形式がＣＴ、ＰＥＴ(ｐｏｓｉｔｒｏｎ ｅｍｉｓｓｉｏｎ ｔｏｍｏｇｒａｐｈｙ)、ＰＥＴ－ＣＴ、ＳＰＥＣＴ、ＳＰＥＣＴ－ＣＴ、ＭＲ－ＰＥＴ、３Ｄ超音波映像などの２次元、３次元映像を含むが、このように例示的に列挙した形式に限定されないことを理解できるであろう。
【0021】
またこの開示書では、説明の便宜のために、提示する図において、"学習データ"及び"対象データ"が映像データである場合を例示しているが、"学習データ"及び"対象データ"は映像データに限定されない。同様に、"映像データ"が医療映像である場合を例示しているが、"映像データ"は必ず医療映像データに限定される。
【0022】
本発明の詳細な説明及び請求範囲において、'ＤＩＣＯＭ(Ｄｉｇｉｔａｌ Ｉｍａｇｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｉｎ Ｍｅｄｉｃｉｎｅ；医療用デジタル映像及び通信)'標準は、医療用機器においてデジタル映像表現及び通信に用いられる色々な標準を総称する用語であり、ＤＩＣＯＭ標準はアメリカ放射線医学会(ＡＣＲ)とアメリカ電気工業会(ＮＥＭＡ)で構成した連合委員会で発表する。
【0023】
また、本発明の詳細な説明及び請求範囲において、'医療映像貯蔵送信システム(ＰＡＣＳ；Ｐｉｃｔｕｒｅ Ａｒｃｈｉｖｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｙｓｔｅｍ)'は、ＤＩＣＯＭ標準に合わせて貯蔵、加工、送信するシステムを称する用語であり、Ｘ線、ＣＴ、ＭＲＩのようなデジタル医療映像装備を用いて得られた医療映像はＤＩＣＯＭ形式で貯蔵されてネットワークにより病院内外の端末に送信され、読み取り結果及び診療記録などが追加されることもできる。
【0024】
また、この発明の詳しい説明及び請求範囲において、‘学習’或いは‘ラーニング’は手順によるコンピューティング(ｃｏｍｐｕｔｉｎｇ)により機械学習(ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ)を行うことを意味するが、人間の教育活動のような精神的作用を意味するものではない。訓練(ｔｒａｉｎｉｎｇ)は機械学習に関して一般的に考えられる意味で使われている。例えば、'ディープラーニング'、'深層学習'は深層人工神経網を用いた機械学習を意味する。
【0025】
また、この発明の詳しい説明及び請求範囲において、'含む'という単語及びその変形は、他の技術的特徴、付加物、構成要素又は段階を除外することを意図していない。また、'一つ'又は'一'は一つ以上という意味で使われており、'さらに他の'は少なくとも２回目以上に限定される。
【0026】
通常の技術者には、本発明の他の目的、長所及び特性が一部はこの説明書から、他の一部は本発明の実施例から現れるであろう。以下の例示及び図面は実例として提供されたものであり、本発明を限定するものではない。従って、特定の構造や機能に関してこの明細書に開示された詳細事項は限定の意味に解釈されてはならず、ただ通常の技術者が実質的に適した任意の詳細構造として本発明を様々に実施できるガイドラインを提供する代表的な基礎資料として解釈すべきである。
【0027】
さらに本発明は、この明細書に記載した実施例の全ての可能な組み合わせを網羅する。本発明の多様な実施例は互いに異なるが、相互排他的である必要はない。例えば、ここに記載されている特定の形状、構造及び特徴は、一実施例に関して本発明の思想及び範囲を外れずに他の実施例として具現されてもよい。また、それぞれの開示された実施例内の個別の構成要素の位置又は配置は、本発明の思想及び範囲を外れずに変更され得る。よって、後述する詳細な説明は限定的な意味で取られるのではなく、本発明の範囲は適切に説明されるのであれば、その請求範囲が主張するものと均等な全ての範囲と共に添付した請求範囲によってのみ限られる。図面において、類似した参照符号は様々な側面にわたって同一又は類似する機能を表す。
【0028】
この明細書において、異なるように表示されるか明白に文脈に矛盾しない限り、単数に称された項目は、その文脈で異なるように要求されない限り、複数のものを併せる。また、本実施例を説明するにあたって、関連する公知の構成又は機能に対する具体的な説明が本実施例の要旨を曖昧にするものと判断される場合には、その詳細な説明を省略する。
【0029】
以下、添付図面を参照しながら、通常の技術者が本発明を容易に実施できる好ましい実施例について詳しく説明する。
【0030】
図２はこの開示書の一実施例による深層神経網モデルの再現性能改善方法を行うコンピューティング装置の例示的構成を概略的に示す概念図である。
【0031】
図２を参照すると、本発明の一実施例によるコンピューティング装置２００は、通信部２１０及びプロセッサ２２０を含み、通信部２１０を介して外部コンピューティング装置(図示せず)と直間接的に通信する。
【0032】
より具体的には、コンピューティング装置２００は、典型的なコンピューターハードウェア(例えば、コンピュータープロセッサ、メモリ、ストレージ、入力装置及び出力装置、その他の既存のコンピューティング装置の構成要素を含む装置；ルータ、スイッチなどの電子通信装置；ネットワーク付着ストレージ(ＮＡＳ；ｎｅｔｗｏｒｋ－ａｔｔａｃｈｅｄ ｓｔｏｒａｇｅ)及びストレージ領域ネットワーク(ＳＡＮ；ｓｔｏｒａｇｅ ａｒｅａ ｎｅｔｗｏｒｋ)のような電子情報ストレージシステム)とコンピューターソフトウェア(即ち、コンピューティング装置をして特定の方式で機能するようにする命令語)の組み合わせを用いて所望のシステム性能を達成するものである。
【0033】
このようなコンピューティング装置の通信部２１０は、連動する他のコンピューティング装置と要請及び応答を送受信することができ、一例として、かかる要請及び応答は同一のＴＣＰ(ｔｒａｎｓｍｉｓｓｉｏｎ ｃｏｎｔｒｏｌ ｐｒｏｔｏｃｏｌ)セクション(ｓｅｓｓｉｏｎ)により実行されることもできるが、それに限定されるものではない。例えば、ＵＤＰ(ｕｓｅｒ ｄａｔａｇｒａｍ ｐｒｏｔｏｃｏｌ)データグラム(ｄａｔａｇｒａｍ)として送受信されることもできる。さらに、広い意味で通信部２１０は命令語又は指示などを伝達するためのキーボード、マウス、その他の外部入力装置、プリンター、ディスプレイ、その他の外部出力装置を含む。
【0034】
またコンピューティング装置のプロセッサ２２０は、ＭＰＵ(ｍｉｃｒｏ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ)、ＣＰＵ(ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ)、ＧＰＵ(ｇｒａｐｈｉｃｓ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ)、ＮＰＵ(ｎｅｕｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ)又はＴＰＵ(ｔｅｎｓｏｒ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ)、キャッシュメモリ(ｃａｃｈｅ ｍｅｍｏｒｙ)、データバス(ｄａｔａ ｂｕｓ)などのハードウェア構成を含む。さらに運営体制、特定の目的を行うアプリケーションのソフトウェア構成を含むこともできる。
【0035】
図３はこの開示書の深層神経網モデルの再現性能改善方法を行うコンピューティング装置のハードウェア又はソフトウェア構成要素を示す例示的なブロック図であり、図４はこの開示書の深層神経網モデルの再現性能改善方法によるデータが入力、処理されて結果が出力される過程を概略的に示す模式図である。
【0036】
図３及び図４を参照して、この開示書による方法及び装置の構成を簡略に説明すると、コンピューティング装置２００は、その構成要素としてデータ獲得モジュール３１０を含む。データ獲得モジュール３１０は、この開示書による方法が適用される入力データ、即ち、対象データ１１０ｂを得るように構成されるので、図３に示した個別モジュールは、例えば、コンピューティング装置２００に含まれた通信部２１０やプロセッサ２２０、又は通信部２１０及びプロセッサ２２０の連動により具現されることを通常の技術者は理解できるであろう。
【0037】
対象データ１１０ｂは、例えば、通信部２１０により連動する撮影機器又は医療映像格納送信システム(ＰＡＣＳ)のような外部映像格納システムから得られる映像データであるが、これらに限定されない。対象データ１１０ｂは撮影機器により撮影された映像がＤＩＣＯＭ標準によってＰＡＣＳに送信された後、コンピューティング装置２００のデータ獲得モジュール３１０により得られることもできる。
【0038】
次に、その得られた対象データ１１０ｂは参照データ基盤の候補データ生成モジュール３２０に伝達されるが、このモジュール３２０は、深層神経網モジュール３４０の訓練に用いられた一群の学習データ１１０ａから選別された参照データを含む学習データ代表群から対象データと類似度が最も高い少なくとも一つの候補データ１１０ａ’を読み出す(検索；ｒｅｔｒｉｅｖｅ)機能を行う。学習データ代表群の選別及び類似度基盤のデータ読み出しについての詳しくは後述する。
【0039】
対象データ１１０ｂと類似する候補データ１１０ａ’を用いて、適応的パターン変換モジュール３３０は、対象データ１１０ｂが候補データ１１０ａ’に適合化されるように対象データ１１０ｂに対する適応的パターン変換を行うが、ここで適応的パターン変換は、候補データ１１０ａ’が有する品質パターンを対象データ１１０ｂが有するように対象データ１１０ｂを変換することを意味する。この適応的パターン変換の手段として用いられる構成の例示の詳しくは後述する。
【0040】
対象データ１１０ｂに適応的パターン変換が行われた結果である変換データ１１０ｂ'は深層神経網モジュール３４０の深層神経網モデルに伝達されることにより深層神経網モジュール３４０から出力値が得られる。
【0041】
出力モジュール３５０は、その出力値を含む情報(例えば、対象データ、候補データ、変換データ、出力値及びその出力値の信頼度など)を外部エンティティ(ｅｘｔｅｒｎａｌ ｅｎｔｉｔｙ)に提供する。この情報は出力値の算出に主要な要因に該当する部位の視覚化情報と共に提供されることもできる。ここで、外部エンティティとは、この開示書による方法を行うコンピューティング装置２００のユーザ、管理者、対象データ(入力データ)の出所となる自然人、その入力データを管理する担当者などを含むが、それ以外にも対象データから導き出された出力値の情報を必要とする主体であればどれでも含まれる。外部エンティティが人間であるときは、出力モジュール３５０は所定の出力装置、例えば、ディスプレイに表示されたユーザインターフェースにより出力値を含む情報を外部エンティティに提供することができる。
【0042】
図３及び図４を参照しながら概略的に説明した各々の構成要素の具体的な機能及び効果に関しては、図５を参照して詳しく後述する。図３に示す構成要素は、説明の便宜上、一つのコンピューティング装置で実現されることが例示されているが、本発明の方法を行うコンピューティング装置２００は複数の装置が互いに連動して構成されてもよい。
【0043】
図５はこの開示書の深層神経網モデルの再現性能改善方法を例示するフローチャートである。
【0044】
図５を参照すると、この開示書による深層神経網モデルの再現性能改善方法では、まず対象データ１１０ｂが例えば、コンピューティング装置２００により具現されるデータ獲得モジュール３１０により得られた(Ｓ０５０)状態で、コンピューティング装置２００により具現される参照データ基盤の候補データ生成モジュール３２０が、学習データ１１０ａから選別された参照データを含む学習データ代表群から対象データ１１０ｂと類似度が最も高い少なくとも一つの候補データ１１０ａ’を読み出すか、又はコンピューティング装置２００の通信部２１０を介して連動する他の装置をして候補データ１１０ａ’を読み出すように支援する段階(Ｓ１００)を含む。ここで、類似度が最も高い少なくとも一つの候補データを読み出すことは、所定の第１閾値よりも高い複数の候補データを読み出す方式で行われる。
【0045】
段階Ｓ１００での類似度判定を行うための様々な手段が通常の技術者に知られている。例えば、類似度判定は、論文１："Ａｄｎａｎ Ｑａｙｙｕｍ、Ｓｙｅｄ Ｍｕｈａｍｍａｄ Ａｎｗａｒ、Ｍｕｈａｍｍａｄ Ａｗａｉｓ ａｎｄ Ｍｕｈａｍｍａｄ Ｍａｊｉｄ. Ｍｅｄｉｃａｌ ｉｍａｇｅ ｒｅｔｒｉｅｖａｌ ｕｓｉｎｇ ｄｅｅｐ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ. Ｅｌｓｅｖｉｅｒ Ｂ.Ｖ. ２０１７;ｐｐ.１-１３."に開示された深層学習基盤の映像読み出し(或いは検索)方式により行うことができ、これに限定されるものではない。例えば、類似度判定を論文２："Ｙｕ－Ａｎ Ｃｈｕｎｇ ｅｔ ａｌ. Ｌｅａｒｎｉｎｇ Ｄｅｅｐ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ ｏｆ Ｍｅｄｉｃａｌ Ｉｍａｇｅｓ ｕｓｉｎｇ Ｓｉａｍｅｓｅ ＣＮＮｓ ｗｉｔｈ Ａｐｐｌｉｃａｔｉｏｎ ｔｏ Ｃｏｎｔｅｎｔ－Ｂａｓｅｄ Ｉｍａｇｅ Ｒｅｔｒｉｅｖａｌ"に開示された方式により行うこともできることを通常の技術者は理解できるであろう。
【0046】
論文１での提案によれば、学習データを用いて訓練された深層神経網モデルから潜在特徴(ｌａｔｅｎｔ ｆｅａｔｕｒｅ)が抽出され、新しい対象データが入力されると、その訓練された深層神経網モデルとしてその対象データの潜在特徴も抽出される。そうすると、その潜在特徴の情報の間で類似度を比較することができ(例えば、Ｌ２距離のような距離比較により)、距離が短いほど類似度が大きいので、それらの値を整列して対象データと最も類似する学習データを得ることができる。もちろん、最も類似しない学習データを得ることができる。
【0047】
参考として、最も類似する学習データと最も類似しない学習データを活用して深層神経網モデルをもっと堅固(ｒｏｂｕｓｔ)に訓練することもでき、それは論文２に提案されている。
【0048】
段階(Ｓ１００)において、参照データは特徴に対する類似度基準(ｓｉｍｉｌａｒｉｔｙ ｍｅｔｒｉｃ)に基づいて学習データ１１０ａのうち、互いの類似度が所定の第２閾値よりも低いデータが選別されたものである{即ち、特徴空間(ｆｅａｔｕｒｅ ｓｐａｃｅ)において各々の参照データが占める位置間の距離が遠い場合}。
【0049】
他の例示として、参照データは、映像データの場合、ヒストグラム分布において互いの差が所定の第２閾値よりも高い映像データが選別されたものである。
【0050】
このような参照データは、後述する適応的パターン変換が対象データ１１０ｂに対して正確に行われるように案内する役割をし、上述した例示に限定されない。例えば、人が直接選別した映像で構成されることもできる。
【0051】
しかし、段階Ｓ１００は、全ての参照データに対して対象データ１１０ｂと参照データの間の類似度が所定の第１閾値を下回ると、対象データ１１０ｂに対して参照するデータがなく、判定不能に分類されて終了するように構成することもできる。
【0052】
次に、この開示書による深層神経網モデルの再現性能改善方法では、コンピューティング装置２００により具現される適応的パターン変換モジュール３３０が、候補データ１１０ａ’に適合化されるように対象データに対する適応的パターン変換を行うか、又は他の装置をして適応的パターン変換を行うように支援する段階(Ｓ２００)をさらに含む。
【0053】
より具体的には、段階Ｓ２００では、候補データ１１０ａ’、即ち、対象データ１１０ｂと類似する品質パターンを有する学習データと対象データ１１０ｂを用いて対象データ１１０ｂが学習データ１１０ａが有する品質パターンを有するように適応的にパターンが変換することができる。
【0054】
このような適応的パターン変換を行うための様々な手段が通常の技術者に知られている。例えば、論文３:"Ｌｕａｎ ｅｔ ａｌ. [２０１７]Ｆｕｊｕｎ Ｌｕａｎ、Ｓｙｌｖａｉｎ Ｐａｒｉｓ、Ｅｌｉ Ｓｈｅｃｈｔｍａｎ、ａｎｄ Ｋａｖｉｔａ Ｂａｌａ. Ｄｅｅｐ ｐｈｏｔｏ ｓｔｙｌｅ ｔｒａｎｓｆｅｒ. Ｉｎ ２０１７ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ (ＣＶＰＲ)、ｖｏｌｕｍｅ ａｂｓ/１７０３.０７５１１. ＩＥＥＥ、Ｊｕｌｙ ２０１７. ｄｏｉ:１０.１１０９/ｃｖｐｒ.２０１７.７４０."に開示された深層学習基盤のスタイル転換(ｓｔｙｌｅ ｔｒａｎｓｆｅｒ)、又は論文４:"Ｊｕｎ－Ｙａｎ Ｚｈｕ＊、Ｔａｅｓｕｎｇ Ｐａｒｋ＊、Ｐｈｉｌｌｉｐ Ｉｓｏｌａ、ａｎｄ Ａｌｅｘｅｉ Ａ. Ｅｆｒｏｓ. "Ｕｎｐａｉｒｅｄ Ｉｍａｇｅ－ｔｏ－Ｉｍａｇｅ Ｔｒａｎｓｌａｔｉｏｎ ｕｓｉｎｇ Ｃｙｃｌｅ－Ｃｏｎｓｉｓｔｅｎｔ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋｓ"、ｉｎ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ (ＩＣＣＶ)、２０１７."に開示されたドメイン適合化(ｄｏｍａｉｎ ａｄａｐｔａｔｉｏｎ)により適応的パターン変換が行われることもできるが、これらに限られない。
【0055】
ここで、スタイル転換とは、２つの映像データが与えられたとき、映像の主な形態は維持しながら、スタイルのみを変形することを意味する。このスタイル転換は、予め訓練された深層神経網を活用して特徴を抽出した後、潜在特徴が類似になるように最適化することにより行われるが、この過程において元本映像データの内容細目(ｃｏｎｔｅｎｔ ｄｅｔａｉｌ)が維持されるように局所のアフィン変換(ｌｏｃａｌ ａｆｆｉｎｅ ｔｒａｎｓｆｏｒｍ)のための損失項(ｌｏｓｓ ｔｅｒｍ)がされに反映される。このようなスタイル転換を行う一つの手段は、通常の技術者にＣｙｃｌｅ－ＣＡＮ(ｃｙｃｌｅ－ｃｏｎｓｉｓｔｅｎｔ ａｄｖｅｒｓａｒｉａｌ ｎｅｔｗｏｒｋ)という名称で知られている。
【0056】
段階(Ｓ２００)において、候補データが複数であると(例えば、所定の第１閾値に達した類似度を有する参照データが複数である場合)、品質パターンの変換時、深層神経網モデルによる潜在空間(ｌａｔｅｎｔ ｓｐａｃｅ)上で候補データの組み合わせ又は平均値が反映される。言い換えれば、候補データの品質パターンは潜在空間上で候補データの組み合わせ又は平均値に基づく。ここで、潜在空間とは、潜在変数又は潜在特徴が表現される多次元を意味する。
【0057】
段階(Ｓ２００)において、適応的パターン変換の結果である変換データが生成されると、この開示書による深層神経網モデルの再現性能改善方法では、コンピューティング装置２００が、変換データを深層神経網モジュール３４０の深層神経網モデルに伝達するか又は他の装置をして深層神経網モデルに伝達するように支援することにより、深層神経網モデルから出力値が得られる段階(Ｓ３００)をさらに含む。
【0058】
この出力値が有意味になるように、この開示書による深層神経網モデルの再現性能改善方法では、コンピューティング装置２００により具現される出力モジュール３５０が、出力値を含む情報を外部エンティティに提供するか又は他の装置をして提供するように支援する段階(Ｓ４００)をさらに含む。
【0059】
以上、図２ないし図５を参照しながら説明したように、本発明の全ての実施例及び変形例によれば、一群のデータにより訓練された深層神経網モデルがその一群のデータとは異なる品質パターンを有する入力データに対して煩わしい品質合わせの手作業を行わずその性能を維持することができるという効果がある。本発明は特徴抽出及び類似度判定が可能な様々な形式のデータにも適用できることを理解できるであろう。
【0060】
この実施例に関する説明に基づいて、該当技術分野の通常の技術者は、本発明の方法及び／又はプロセス、そしてその段階がハードウェア、ソフトウェア又は特定の用例に適するハードウェア及びソフトウェアの任意の組み合わせにより実現可能であることを明確に理解できる。ハードウェアは汎用のコンピュータ及び／又は専用のコンピューティング装置又は特定のコンピューティング装置又は特定のコンピューティング装置の特別な姿又は構成要素を含む。プロセスは内部及び／又は外部メモリを有する、１つ以上のマイクロプロセッサー、マイクロコントローラ、埋め込みマイクロコントローラ、プログラマブルデジタル信号プロセッサー又はその他のプログラマブル装置により実現される。さらに或いは代案として、複数のプロセスは注文型集積回路(ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ；ＡＳＩＣ)、プログラマブルゲートアレイ(ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ)、プログラマブルアレイ論理(Ｐｒｏｇｒａｍｍａｂｌｅ Ａｒｒａｙ Ｌｏｇｉｃ；ＰＡＬ)又は電子信号を処理するために構成される任意の他の装置又はこれらの装置の組み合わせにより実施される。さらに、本発明の技術的解法の対象物又は先行技術に寄与する部分は、多様なコンピュータ構成要素によって実行されることのできるプログラム命令語の形態で実現されて機械読み取り可能な記録媒体に記録されてよい。機械読み取り可能な記録媒体は、プログラム命令語、データファイル、データ構造などを単独又は組み合わせて含んでよい。機械読み取り可能な記録媒体に記録されるプログラム命令語は、実施例のために特別に設計されて構成されたものであっても、コンピュータソフトウェア分野の通常の技術者に公知の使用可能なものであってもよい。機械読み取り可能な記録媒体の例には、ハードディスク、フロッピーディスク、及び磁気テープのような磁気媒体、ＣＤ－ＲＯＭ、ＤＶＤ、Ｂｌｕ－ｒａｙ（登録商標）のような光記録媒体、フロプティカルディスク(ｆｌｏｐｔｉｃａｌ ｄｉｓｋ)のような光磁気媒体(ｍａｇｎｅｔｏ－ｏｐｔｉｃａｌ ｍｅｄｉａ)、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令語を記録して実行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、上述した装置のうちのいずれか１つだけでなく、プロセッサ、プロセッサアーキテクチャ、又は相異するハードウェア及びソフトウェアの組み合わせによる異種結合、又は他のいずれかのプログラム命令語を実行することのできる機械上で実行されるために記録及びコンパイル又はインタプリタされることのできる、Ｃのような構造的プログラミング言語、Ｃ＋＋のようなオブジェクト志向プログラミング言語、又は高級又は低級プログラミング言語(アセンブリ語、ハードウェア技術言語、及びデータベースプログラミング言語及び技術)を使用して生成されてよく、機械語コードやバイトコードはもちろん、インタプリタなどを使用してコンピュータによって実行されることのできる高級言語コードもこれに含まれる。
【0061】
従って、本発明に係る一形態では、上述した方法及びその組み合わせが１つ以上のコンピュータ装置によって実行されるときに、その方法及び方法の組み合わせが各段階を実行させる実行可能なコードとして実施されてよい。他の一形態では、上記方法は、上記段階を実行するシステムによって実施されてよく、方法は、装置にわたって多様な状態に分散されても、全ての機能が１つの専用、独立型装置、又は他のハードウェアに統合されてもよい。さらに他の一形態では、上述したプロセスと関連する段階を実行する手段は、上述した任意のハードウェア及び／又はソフトウェアを含んでよい。このような全ての順次結合及び組み合わせは、本開示書の範囲内に属するように意図されたものである。
【0062】
例えば、上述したハードウェア装置は、本発明による処理を実行するために１つ以上のソフトウェアモジュールとして作動するように構成されてよく、その逆も同じである。ハードウェア装置は、プログラム命令語を記録するためのＲＯＭ／ＲＡＭのようなメモリと結合し、メモリに記録された命令語を実行するように構成されるＭＰＵ、ＣＰＵ、ＧＰＵ、ＴＰＵのようなプロセッサを含んでよく、外部装置と信号をやり取りすることのできる通信部を含んでよい。さらにハードウェア装置は、開発者によって作成された命令語を伝達するためのキーボード、マウス、又はその他の外部入力装置を含んでよい。
【0063】
以上のように、本発明について、具体的な構成要素などのような特定の事項と限定された実施形態及び図面に基づいて説明したが、これは本発明のより全般的な理解を助けるために提供されたものに過ぎず、本発明がこのような実施形態に限定されてはならず、本発明が属する技術分野における通常の知識を有する者であれば、このような記載から多様な修正及び変形が可能であろう。
【0064】
従って、本発明の思想は、上述の実施例に限定されて決まってはならず、この開示書に添付された特許請求の範囲だけでなく、この特許請求の範囲と均等かつ等価的な変形がある全てのものは本発明の思想の範疇に属するといえる。
【0065】
このように均等であるか等価的に変形されたものには、例えば、本発明に係る方法を実施したときと同じ結果を導き出すことのできる、論理的に同値(ｌｏｇｉｃａｌｌｙ ｅｑｕｉｖａｌｅｎｔ)の方法が含まれてよく、本発明の真意及び範囲が上述した実施形態に制限されてはならず、法律に基づいて許容可能な最も広い意味として解釈されなければならない。
【図1】
【図2】
【図3】
【図4】
【図5】
【手続補正書】
【提出日】2021-09-17
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
コンピューティング装置による、深層神経網モデルに関連する学習データと異なる品質パターンを有する対象データに対する出力値の再現性能を向上させる方法であって、前記学習データから、前記対象データとの類似度が最も高い少なくとも１つの候補データを検索するステップと
前記少なくとも１つの候補データに適応させるために、前記対象データに適応的パターン変換を適用するステップと
適応的パターン変換が適用された対象データを、深層神経網モデルに転送するステップとを含む、方法。
【請求項2】
前記適応的パターン変換が適用された前記対象データに基づく出力値を、前記深層神経網モデルから取得するステップをさらに含む、請求項１に記載の方法。
【請求項3】
前記少なくとも１つの候補は、前記学習データの参照データから取得される、請求項１または請求項２に記載の方法。
【請求項4】
少なくとも１つの候補のデータを検索することは、前記対象データと前記参照データとの類似度が第１の閾値よりも小さい場合、前記対象データを判定不可能と分類して前記適応的パターン変換を終了する、請求項３に記載の方法。
【請求項5】
前記参照データは、前記学習データのうち、前記学習データ間の潜在特徴に関連する類似度が第２の閾値よりも低いデータを表す、請求項３に記載の方法。
【請求項6】
適応的なパターン変換を行うことは、前記対象データのパターンを、前記少なくとも１つの候補データの品質パターンを持つように変換するステップと、を備える、請求項１から５のいずれか一項に記載の方法。
【請求項7】
前記少なくとも１つの候補データの数が２よりも大きく、前記少なくとも１つの候補データの品質パターンが、前記深層神経網モデルの潜在空間において、前記少なくとも１つの候補データの組み合わせまたは前記少なくとも１つの候補データの平均値に基づいている、請求項６に記載の方法。
【請求項8】
深層神経網モデルに関連する学習データとは異なる品質パターンを有する対象データの出力値の再現性を向上させるコンピューティング装置であって、学習データから、対象データとの類似度が最も高い少なくとも１つの候補データを検索するステップと、
前記少なくとも１つの候補データに適応するために、前記対象データに適応的パターン変換を適用するステップと、
適応的パターン変換が適用された対象データを、深層神経網モデルに転送するステップと、
を処理を実行するように構成されたプロセッサを備える、コンピューティング装置。
【請求項9】
前記深層神経網モデルから、前記適応的パターン変換が適用された対象データに基づいて、前記出力値を取得する、請求項８に記載のコンピューティング装置。
【請求項10】
前記少なくとも１つの候補は、前記学習データの参照データから取得される、請求項８または請求項９に記載のコンピューティング装置。
【請求項11】
前記少なくとも１つの候補データを検索するステップは、前記対象データと前記参照データとの類似度が第１の閾値以下の場合、前記対象データを判定不能と分類して前記適応的パターン変換を終了するステップを備える、請求項１０に記載のコンピューティング装置。
【請求項12】
前記参照データは、前記学習データのうち、前記学習データ間の潜在特徴に関連する類似度が第２の閾値よりも低いデータを表す、請求項１０に記載のコンピューティング装置。
【請求項13】
適応的パターン変換を実行するステップは、前記対象データのパターンを、前記少なくとも１つの候補データの品質パターンを持つように変換するステップを備える、請求項８から１２のいずれか一項に記載のコンピューティング装置。
【請求項14】
前記少なくとも１つの候補データの数が２よりも大きく、前記少なくとも１つの候補データの品質パターンが、前記深層神経網モデルの潜在空間において、前記少なくとも１つの候補データの組み合わせまたは前記少なくとも１つの候補データの平均値に基づいている、請求項１３に記載のコンピューティング装置。
【請求項15】
請求項１から請求項７のいずれか一項に記載の方法をコンピューティング装置に実行させる命令を含む、コンピューティング装置が読取可能な記録媒体に格納されたコンピュータプログラム。
【国際調査報告】