ホーム > 特許ランキング > ソニーグループ株式会社
7584744多重周波数自己注意を有するディープニューラルネットワークを用いたランドマーク検出
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-11-08
(45)【発行日】2024-11-18
(54)【発明の名称】多重周波数自己注意を有するディープニューラルネットワークを用いたランドマーク検出
(51)【国際特許分類】
G06T 7/00 20170101AFI20241111BHJP
G06V 10/82 20220101ALI20241111BHJP
【ＦＩ】
G06T7/00 350C
G06V10/82
G06T7/00 660A
【請求項の数】
20
(21)【出願番号】P 2023572605
(86)(22)【出願日】2022-06-16
(65)【公表番号】
(43)【公表日】2024-05-21
(86)【国際出願番号】 IB2022055611
(87)【国際公開番号】W WO2022264089
(87)【国際公開日】2022-12-22
【審査請求日】2023-11-22
(31)【優先権主張番号】63/211,127
(32)【優先日】2021-06-16
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】17/569,778
(32)【優先日】2022-01-06
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】000002185
【氏名又は名称】ソニーグループ株式会社
(74)【代理人】
【識別番号】100092093
【弁理士】
【氏名又は名称】辻居 幸一
(74)【代理人】
【識別番号】100109070
【弁理士】
【氏名又は名称】須田 洋之
(74)【代理人】
【識別番号】100067013
【弁理士】
【氏名又は名称】大塚 文昭
(74)【代理人】
【氏名又は名称】上杉 浩
(74)【代理人】
【識別番号】100141553
【弁理士】
【氏名又は名称】鈴木 信彦
(72)【発明者】
【氏名】ワスニック パンカジ
(72)【発明者】
【氏名】シェノイ アマン
(72)【発明者】
【氏名】オノエ ナオユキ
(72)【発明者】
【氏名】ラマスワミ ジャナニ
【審査官】藤原 敬利
(56)【参考文献】
【文献】特開２０２１－００９４９３（ＪＰ，Ａ）
【文献】中国特許出願公開第１１１８８１７４３（ＣＮ，Ａ）
【文献】Mohammad Akbari et al.，Learned Multi-Resolution Variable-Rate Image Compression With Octave-Based Residual Blocks，IEEE Transactions on Multimedia，IEEE，2021年03月24日，Volume: 23，Pages: 3013 - 3021，https://doi.org/10.1109/TMM.2021.3068523
【文献】Jingyi Song et al.，Higher Accuracy and Lower Complexity: Convolutional Neural Network for Multi-Organ Segmentation，Proceedings Volume 11574, International Symposium on Artificial Intelligence and Robotics 2020，SPIE，2020年10月12日，https://doi.org/10.1117/12.2577009
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｎ ３／００－９９／００
Ｇ０６Ｔ １／００－ ７／９０
Ｇ０６Ｖ １０／００－２０／９０
Ｇ０６Ｖ ４０／１６、４０／２０
(57)【特許請求の範囲】
【請求項1】
エンコーダネットワークと、注意層と、
デコーダネットワークと、
を備えたシステムであって、
前記エンコーダネットワークは、
関心オブジェクトの画像を含む第１の入力を受け取り、
前記受け取った第１の入力に基づいて、前記エンコーダネットワークの最終層の出力として多重周波数特徴マップを生成する、
ように構成され、
前記注意層は、前記エンコーダネットワークの前記最終層に結合されて、
前記エンコーダネットワークの前記最終層から前記生成された多重周波数特徴マップを受け取り、
前記受け取った多重周波数特徴マップ間の相関性又は関連性に基づいて前記多重周波数特徴マップを精緻化する、
ように構成され、
前記デコーダネットワークは、前記注意層を介して前記エンコーダネットワークに結合されて、
前記精緻化された多重周波数特徴マップを前記注意層から第２の入力として受け取り、
前記第２の入力に基づいて、前記関心オブジェクトのヒートマップ画像を含むランドマーク検出結果を生成する、
ように構成され、
前記ヒートマップ画像は、前記画像内の前記関心オブジェクト上のランドマーク点の位置を示す、
ことを特徴とするシステム。
【請求項2】
前記関心オブジェクトは、実在の人物、人物の戯画、架空キャラクタ又は漫画キャラクタの顔部分に対応する、請求項１に記載のシステム。
【請求項3】
前記エンコーダネットワーク及び前記デコーダネットワークはディープニューラルネットワーク（ＤＮＮ）であり、前記エンコーダネットワーク、前記デコーダネットワーク及び前記注意層は、ランドマーク検出タスクに基づいて訓練されるエンコーダ－デコーダニューラルネットワークを形成する、
請求項１に記載のシステム。
【請求項4】
前記多重周波数特徴マップは、前記関心オブジェクトの包括的形状特徴に関連する第１の空間情報を捕捉する第１の周波数特徴マップと、
前記関心オブジェクトの前記包括的形状特徴に比べて細かく数が多い局所的形状特徴に関連する第２の空間情報を捕捉する第２の周波数特徴マップと、
を含む、請求項１に記載のシステム。
【請求項5】
前記エンコーダネットワークは複数の符号化層を含み、前記複数の符号化層は、入力層と、該入力層の後に続く第１の一連の畳み込み層とを含み、
前記第１の一連の畳み込み層の第１の畳み込み層は、前記エンコーダネットワークの前記入力層に結合され、前記第１の一連の畳み込み層の各残りの畳み込み層は、前記複数の符号化層の前の畳み込み層に結合される、
請求項１に記載のシステム。
【請求項6】
前記第１の一連の畳み込み層の各畳み込み層は、２つの畳み込み演算子を含み、前記２つの畳み込み演算子の各々は、オクターブ畳み込み演算に対応する、
請求項５に記載のシステム。
【請求項7】
前記エンコーダネットワークは、前記受け取った第１の入力に含まれる前記画像を初期多重周波数特徴マップに分割し、
前記エンコーダネットワークの前記最終層の出力として前記多重周波数特徴マップを生成するために、前記初期多重周波数特徴マップを前記第１の一連の畳み込み層に通す、
ようにさらに構成され、
前記エンコーダネットワークの前記入力層と前記エンコーダネットワークの前記最終層との間の各畳み込み層は、第１の一連の中間多重周波数特徴マップを生成し、
前記第１の一連の中間多重周波数特徴マップの各中間特徴マップのサイズは、前記初期多重周波数特徴マップよりも小さく、前記多重周波数特徴マップよりも大きい、
請求項５に記載のシステム。
【請求項8】
前記デコーダネットワークは複数の復号層を含み、前記複数の復号層は、入力層と、前記デコーダネットワークの前記入力層の後に続く第２の一連の畳み込み層とを含み、
前記第２の一連の畳み込み層の第１の畳み込み層は、前記デコーダネットワークの前記入力層に結合され、前記第２の一連の畳み込み層の各残りの畳み込み層は、前記複数の復号層の前の畳み込み層に結合される、
請求項１に記載のシステム。
【請求項9】
前記第２の一連の畳み込み層の各畳み込み層は、２つの畳み込み演算子を含み、前記２つの畳み込み演算子の各々は、転置オクターブ畳み込み演算に対応する、
請求項８に記載のシステム。
【請求項10】
前記デコーダネットワークは、前記デコーダネットワークの最終層の出力として前記ランドマーク検出結果を生成するために、前記精緻化された多重周波数特徴マップを前記第２の一連の畳み込み層に通す、
ようにさらに構成され、
前記デコーダネットワークの前記入力層と前記デコーダネットワークの前記最終層との間の各畳み込み層は、第２の一連の中間多重周波数特徴マップを生成し、
前記第２の一連の中間多重周波数特徴マップの各中間特徴マップのサイズは、前記精緻化された多重周波数特徴マップよりも大きい、
請求項８に記載のシステム。
【請求項11】
前記エンコーダネットワークの中間符号化層と前記デコーダネットワークの中間復号層との間のスキップ接続をさらに備える、請求項１に記載のシステム。
【請求項12】
前記エンコーダネットワークの前記中間符号化層は、前記エンコーダネットワークの前の層からの入力に基づいて第１の一連の中間多重周波数特徴マップを生成するように構成され、前記スキップ接続は、前記第１の一連の中間多重周波数特徴マップに含まれる空間情報を前記デコーダネットワークの前記中間復号層に転送するように構成される、
請求項１１に記載の方法。
【請求項13】
前記デコーダネットワークの最終層から前記ランドマーク検出結果を抽出し、前記関心オブジェクト上の前記ランドマーク点の位置を示すように前記画像上にカラーマーキングをオーバーレイ表示し、
前記画像上にオーバーレイ表示された前記カラーマーキングを含む出力をレンダリングするようにディスプレイ装置を制御する、
ように構成されたプロセッサをさらに備える、請求項１に記載のシステム。
【請求項14】
エンコーダネットワークが、関心オブジェクトの画像を含む第１の入力を受け取ることと、前記エンコーダネットワークが、前記受け取った第１の入力に基づいて、前記エンコーダネットワークの最終層の出力として多重周波数特徴マップを生成することと、
前記エンコーダネットワークの前記最終層に結合された注意層が、前記エンコーダネットワークの前記最終層から前記生成された多重周波数特徴マップを受け取ることと、
前記注意層が、前記受け取った多重周波数特徴マップ間の相関性又は関連性に基づいて前記多重周波数特徴マップを精緻化することと、
前記注意層を介して前記エンコーダネットワークに結合されたデコーダネットワークが、前記精緻化された多重周波数特徴マップを前記注意層から第２の入力として受け取ることと、
前記デコーダネットワークが、前記第２の入力に基づいて、前記関心オブジェクトのヒートマップ画像を含むランドマーク検出結果を生成することと、
を含み、前記ヒートマップ画像は、前記画像内の前記関心オブジェクト上のランドマーク点の位置を示す、
ことを特徴とする方法。
【請求項15】
前記関心オブジェクトは、実在の人物、人物の戯画、架空キャラクタ又は漫画キャラクタの顔部分に対応する、請求項１４に記載の方法。
【請求項16】
前記エンコーダネットワーク及び前記デコーダネットワークはディープニューラルネットワーク（ＤＮＮ）であり、前記エンコーダネットワーク、前記デコーダネットワーク及び前記注意層は、ランドマーク検出タスクに基づいて訓練されるエンコーダ－デコーダニューラルネットワークを形成する、
請求項１４に記載の方法。
【請求項17】
前記エンコーダネットワークは複数の符号化層を含み、前記複数の符号化層は、入力層と、該入力層の後に続く第１の一連の畳み込み層とを含み、
前記第１の一連の畳み込み層の第１の畳み込み層は、前記エンコーダネットワークの前記入力層に結合され、前記第１の一連の畳み込み層の各残りの畳み込み層は、前記複数の符号化層の前の畳み込み層に結合される、
請求項１４に記載の方法。
【請求項18】
前記第１の一連の畳み込み層の各畳み込み層は、２つの畳み込み演算子を含み、前記２つの畳み込み演算子の各々は、オクターブ畳み込み演算に対応する、
請求項１７に記載の方法。
【請求項19】
前記エンコーダネットワークが、前記受け取った第１の入力に含まれる前記画像を初期多重周波数特徴マップに分割することと、前記エンコーダネットワークの前記最終層の出力として前記多重周波数特徴マップを生成するために、前記初期多重周波数特徴マップを前記第１の一連の畳み込み層に通すことと、
をさらに含み、
前記エンコーダネットワークの前記入力層と前記エンコーダネットワークの前記最終層との間の各畳み込み層は、第１の一連の中間多重周波数特徴マップを生成し、
前記第１の一連の中間多重周波数特徴マップの各中間特徴マップのサイズは、前記初期多重周波数特徴マップよりも小さく、前記多重周波数特徴マップよりも大きい、
請求項１７に記載の方法。
【請求項20】
前記デコーダネットワークは複数の復号層を含み、前記複数の復号層は、入力層と、前記デコーダネットワークの前記入力層の後に続く第２の一連の畳み込み層とを含み、
前記第２の一連の畳み込み層の第１の畳み込み層は、前記デコーダネットワークの入力層に結合され、前記第２の一連の畳み込み層の各残りの畳み込み層は、前記複数の復号層の前の畳み込み層に結合される、
請求項１４に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
〔関連出願との相互参照／引用による組み入れ〕
本出願は、２０２１年６月１６日に出願された米国仮特許出願シリアル番号第６３／２１１，１２７号に対する優先権を主張するものであり、この文献はその内容全体が引用により本明細書に組み入れられる。
本出願は、２０２１年６月１６日に出願された米国仮特許出願シリアル番号第６３／２１１，１２７号に対する優先権を主張するものであり、この文献はその内容全体が引用により本明細書に組み入れられる。
【0002】
本開示の様々な実施形態は、ニューラルネットワーク及びオブジェクトランドマーク検出に関する。具体的には、本開示の様々な実施形態は、多重周波数自己注意（ｍｕｌｔｉ－ｆｒｅｑｕｅｎｃｙ ｓｅｌｆ－ａｔｔｅｎｔｉｏｎ）を有するディープニューラルネットワークを用いたランドマーク検出のためのシステム及び方法に関する。
【背景技術】
【0003】
機械学習及び人工知能の進歩は、（顔ランドマーク検出などの）ランドマーク検出などの異なる用途で使用できる様々な種類のニューラルネットワーク（又はモデル）の開発をもたらした。通常、ランドマーク検出は、（人間の顔などの）オブジェクト画像内の複数のキーポイント又はランドマークを検出するタスクに対応する。人間の顔では、このようなキーポイント又はランドマークが、口、目、鼻、顎又は眉などの、顔の顕著な領域を表すことができる。顔ランドマーク検出には、例えば顔認識、顔モーフィング、頭部姿勢推定、顔の位置合わせ、動き検出、及び３Ｄモデリングなどの複数の用途がある。しかしながら、従来のランドマーク検出技術は、画像内のオブジェクト上のランドマークを、特にオブジェクトの画質が悪い（すなわち、隠れたり又はぼやけたりしている）場合に正確に検出できないことがある。また、従来のランドマーク検出技術は、標準的な人間の顔又はアニメオブジェクトとは異なり大量の誇張された顔特徴を示すことが典型的である戯画風の顔又は漫画風の顔などのオブジェクト画像内のランドマークを正確に検出できるほど十分にロバストでない場合もある。
【発明の概要】
【発明が解決しようとする課題】
【0004】
当業者には、説明したシステムと、本出願の残り部分において図面を参照しながら示す本開示のいくつかの態様とを比較することにより、従来の慣習的な手法の限界及び不利点が明らかになるであろう。
【課題を解決するための手段】
【0005】
実質的に少なくとも１つの図に関連して図示及び／又は説明し、特許請求の範囲にさらに完全に示すような、多重周波数自己注意を有するディープニューラルネットワークを用いたランドマーク検出のためのシステム及び方法を提供する。
【0006】
全体を通じて同じ要素を同じ参照符号によって示す添付図面を参照しながら本開示の以下の詳細な説明を検討することにより、本開示のこれらの及びその他の特徴及び利点を理解することができる。
【図面の簡単な説明】
【0007】
【図1】本開示の実施形態による、多重周波数自己注意を有するディープニューラルネットワークを用いたランドマーク検出のためのネットワーク環境を示す図である。
【図2】本開示の実施形態による、多重周波数自己注意を有するディープニューラルネットワークを用いたランドマーク検出システムの例示的なブロック図である。
【図4A】本開示の実施形態による、多重周波数自己注意を有するディープニューラルネットワークを用いたランドマーク検出のための例示的なシナリオを示す図である。
【図4B】本開示の実施形態による、多重周波数自己注意を有するディープニューラルネットワークを用いたランドマーク検出のための例示的なシナリオを示す図である。
【図5】本開示の実施形態による、多重周波数自己注意を有するディープニューラルネットワークを用いた例示的なランドマーク検出方法を示すフローチャートである。
【発明を実施するための形態】
【0008】
本開示の多重周波数自己注意を有するディープニューラルネットワークを用いたランドマーク検出のためのシステム及び方法では、後述する実装を見出すことができる。システムはエンコーダネットワークを含み、このエンコーダネットワークは、（人間の顔又は戯画風の顔などの）関心オブジェクトの画像を含む入力を受け取り、受け取った第１の入力に基づいてエンコーダネットワークの最終層の出力として多重周波数特徴マップを生成することができる。システムは、エンコーダネットワークの最終層に結合できる注意層（ａｔｔｅｎｔｉｏｎ ｌａｙｅｒ）をさらに含む。注意層は、エンコーダネットワークの最終層から生成された多重周波数特徴マップを受け取り、受け取った多重周波数特徴マップ間の相関性又は関連性に基づいて多重周波数特徴マップを精緻化することができる。システムは、注意層を介してエンコーダネットワークに結合されたデコーダネットワークをさらに含むことができる。デコーダネットワークは、精緻化された多重周波数特徴マップを注意層から入力として受け取り、入力に基づいてランドマーク検出結果を生成することができる。ランドマーク検出結果は、関心オブジェクトのヒートマップ画像を含むことができる。ヒートマップ画像は、画像内の関心オブジェクト上のランドマーク点の位置を示すことができる。
【0009】
ランドマーク検出は、関心オブジェクト上の予め定められたランドマークの位置を特定するタスクに対応する。例えば、人間の顔では６８個のランドマークを予め定めることができる。ランドマーク検出タスクは、顔正面化（ｆａｃｅ ｆｒｏｎｔａｌｉｚａｔｉｏｎ）、３Ｄ顔復元（３Ｄ ｆａｃｅ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ）、又は顔認識などの、顔に関連する多くの用途において重要な役割を果たす。顔ランドマーク検出は、顔の超解像、感情認識、並びに顔品質の強化、又はメイキャップ及びその他の技術を通じたスタイル及び外観の変化に関与する他の顔復元タスクなどの様々なタスクで必要とされることがある。
【0010】
従来のネットワークには、関心オブジェクトの画像からのランドマーク検出専用に開発されたものが複数存在する。しかしながら、これらの従来のネットワークのほとんどは、１つのタイプの関心オブジェクトに関連するランドマークしか検出しないことがある。例えば、あるネットワークは、実在の人間の顔画像からは顔ランドマークを検出できる場合でも、標準的な人間の顔とは異なり大量の誇張された顔特徴を示す戯画風の顔画像上のランドマーク検出では問題に直面することがある。いくつかの事例では、関心オブジェクトの画像が隠れ又はぼやけている場合、或いは画像のポーズ又は照明が異なる場合、これらの従来のネットワークは望ましい結果の提供に苦労することが多い。
【0011】
本開示は、戯画風の顔、コミック又は漫画風の顔、或いは実在の人間の顔などの異なる様々なオブジェクトにおけるランドマーク位置を効率的に特定する階層的多重周波数空間学習を可能にすることによって、従来のネットワークが直面する課題に対処するニューラルネットワークアーキテクチャを提供する。本開示は、１又は２以上の高周波数特徴マップと低周波数特徴マップとの間の相関性及び複雑な相互作用を捕捉することによって様々な顔パーツのサイズ及び形状に関するばらつきを処理することができる多重周波数注意モジュールも提供する。従って、本開示は、各種の関心オブジェクトのランドマークを検出できるロバストな機構を提供することができる。開示するニューラルネットワークは、画像が隠れ又はぼやけている状況、或いは画像のポーズ又は照明が異なる状況でのランドマーク検出に苦労する従来のネットワークに比べ、たとえこのような場合でもランドマークを検出することができる。
【0012】
図１は、本開示の実施形態による、多重周波数自己注意を有するディープニューラルネットワークを用いたランドマーク検出のためのネットワーク環境を示す図である。図１にはネットワーク環境１００の図を示す。ネットワーク環境１００はシステム１０２を含む。システム１０２は、プロセッサ１０４と、エンコーダ－デコーダニューラルネットワーク１０６とを含む。エンコーダ－デコーダニューラルネットワーク１０６は、エンコーダネットワーク１０８、注意層１１０、デコーダネットワーク１１２、及び１又は２以上のスキップ接続（ｓｋｉｐ ｃｏｎｎｅｃｔｉｏｎｓ）１１４を含む。図１には、ディスプレイ装置１１６及び通信ネットワーク１１８をさらに示す。エンコーダネットワーク１０８は、複数の符号化層を含むことができる。このような符号化層は、入力層１２０Ａ、入力層１２０Ａの後に続く第１の一連の畳み込み層１２０Ｂ、及び最終層１２０Ｃを含むことができる。同様に、デコーダネットワーク１１２は複数の復号層を含むことができる。このような復号層は、入力層１２２Ａ、入力層１２２Ａの後に続く第２の一連の畳み込み層１２２Ｂ、及び最終層１２２Ｃを含むことができる。図１には、関心オブジェクト１２６の画像１２４、ランドマーク点１３０の位置を示すヒートマップ画像１２８、及び最終画像１３２も示す。最終画像１３２は、ディスプレイ装置１１６上に表示することができる。
【0013】
プロセッサ１０４は、システム１０２によって実行される異なる動作に関連するプログラム命令を実行するように構成できる好適なロジック、回路及びインターフェイスを含むことができる。例えば、これらの動作の一部は、最終画像１３２を生成するために関心オブジェクト１２６上のランドマーク点１３０の位置を示すように画像１２４上にカラーマーキングをオーバーレイ表示すること、及び生成された最終画像１３２を含む出力をレンダリングするようにディスプレイ装置１１６を制御することに関連することができる。他のいくつかの実施形態では、これらの動作が、エンコーダ－デコーダニューラルネットワーク１０６の訓練に関連することができる。プロセッサ１０４は、当業で周知の多くのプロセッサ技術に基づいて実装することができる。プロセッサ技術の例としては、以下に限定するわけではないが、中央処理装置（ＣＰＵ）、ｘ８６ベースのプロセッサ、縮小命令セットコンピューティング（ＲＩＳＣ）プロセッサ、特定用途向け集積回路（ＡＳＩＣ）プロセッサ、複合命令セットコンピューティング（ＣＩＳＣ）プロセッサ、グラフィックプロセッシングユニット（ＧＰＵ）、（推論アクセラレータ又は人口知能（ＡＩ）アクセラレータなどの）コプロセッサ、及び／又はこれらの組み合わせを挙げることができる。
【0014】
エンコーダ－デコーダニューラルネットワーク１０６は、計算ネットワーク、又は複数の層状に配置された人工ニューロンのシステムであることができる。エンコーダ－デコーダニューラルネットワーク１０６は、画像１２４内の関心オブジェクト１２６上のランドマーク点１３０の位置を決定することができる。例えば、エンコーダ－デコーダニューラルネットワーク１０６は、関心オブジェクト１２６上のランドマーク検出（すなわち、ランドマーク点１３０の位置を検出するためのランドマーク検出）タスクに基づいて訓練することができる。
【0015】
エンコーダネットワーク１０８は、複数の符号化層１２０の形で配置された計算ネットワーク又は人工ニューロンのシステムであることができる。エンコーダネットワーク１０８の複数の符号化層１２０は、入力層１２０Ａ、第１の一連の畳み込み層１２０Ｂ、及び最終層１２０Ｎを含むことができる。複数の符号化層１２０の各層は、１又は２以上のノード（或いは、例えば円又はノードによって表される人工ニューロン）を含むことができる。入力層１２０Ａの全てのノードの出力は、第１の一連の畳み込み層１２０Ｂの少なくとも１つのノードに結合することができる。同様に、各畳み込み層の入力は、エンコーダネットワーク１０８の他の層の少なくとも１つのノードの出力に結合することができる。各畳み込み層の出力は、エンコーダネットワーク１０８の他の層の少なくとも１つのノードの入力に結合することができる。最終層１２０Ｎの（単複の）ノードは、少なくとも１つの畳み込み層から入力を受け取って結果を出力することができる。層の数及び各層におけるノードの数は、エンコーダネットワーク１０８のハイパーパラメータから決定することができる。このようなハイパーパラメータは、訓練データセットに基づくエンコーダネットワーク１０８の訓練前又は訓練後に設定することができる。
【0016】
エンコーダネットワーク１０８の各ノードは、エンコーダネットワーク１０８の訓練中に調整できるパラメータセットを有する数学関数（例えば、シグモイド関数又は正規化線形ユニット（ｒｅｃｔｉｆｉｅｄ ｌｉｎｅａｒ ｕｎｉｔ））に対応することができる。パラメータセットは、例えば重みパラメータ及び正則化パラメータなどを含むことができる。各ノードは、エンコーダネットワーク１０８の（単複の）他の層（例えば、前の（単複の）層）のノードからの１又は２以上の入力に基づいて、数学関数を使用して出力を計算することができる。エンコーダネットワーク１０８のノードの全部又は一部は、同じ又は異なる数学関数に対応することができる。
【0017】
エンコーダネットワーク１０８は、例えばシステム１０２上（又はディスプレイ装置１１６上）で実行可能なアプリケーションのソフトウェアコンポーネントとして実装できる電子データを含むことができる。エンコーダネットワーク１０８は、処理装置による実行のためにライブラリ、外部スクリプト又はその他のロジック／命令に依拠することができる。エンコーダネットワーク１０８は、多重周波数特徴マップを生成するための１又は２以上の動作をプロセッサ１０４などのコンピュータ装置が実行できるようにするよう構成されたコード及びルーチンを含むことができる。これに加えて又は代えて、エンコーダネットワーク１０８は、以下に限定するわけではないが、プロセッサ、（例えば、１又は２以上の動作の実行又はその制御を行う）マイクロプロセッサ、コプロセッサ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）又は特定用途向け集積回路（ＡＳＩＣ）を含むハードウェアを使用して実装することもできる。いくつかの実施形態では、エンコーダネットワーク１０８を、ハードウェアとソフトウェアとの組み合わせを使用して実装することもできる。
【0018】
注意層１１０は、エンコーダネットワーク１０８の最終層１２０Ｎから生成された多重周波数特徴マップを受け取り、受け取った多重周波数特徴マップ間の相関性又は関連性に基づいて多重周波数特徴マップを精緻化するように構成できる好適なロジック、回路及びインターフェイスを含むことができる。注意層１１０は、エンコーダネットワーク１０８の最終層１２０Ｎに結合することができる。精緻化に関する詳細については、例えば図３Ｃに示す。
【0019】
デコーダネットワーク１１２は、複数の復号層１２２の形で配置された計算ネットワーク又は人工ニューロンのシステムであることができる。デコーダネットワーク１１２の複数の復号層１２２は、入力層１２２Ａ、第２の一連の畳み込み層１２２Ｂ、及び最終層１２２Ｎを含むことができる。複数の復号層１２２の各層は、（例えば、円で表す）１又は２以上のノード又は人工ニューロンを含むことができる。入力層１２２Ａの全てのノードの出力は、第２の一連の畳み込み層１２２Ｂのうちの少なくとも１つに結合することができる。同様に、第２の一連の畳み込み層１２２Ｂの各々の入力は、デコーダネットワーク１１２の他の層における少なくとも１つのノードの出力に結合することができる。第２の一連の畳み込み層１２２Ｂの各畳み込み層の出力は、デコーダネットワーク１１２の他の層における少なくとも１つのノードの入力に結合することができる。最終層１２２Ｎの（単複の）ノードは、少なくとも１つの畳み込み層から入力を受け取って結果を出力することができる。層の数及び各層におけるノードの数は、デコーダネットワーク１１２のハイパーパラメーターから決定することができる。このようなハイパーパラメータは、訓練データセットに基づくデコーダネットワーク１１２の訓練前又は訓練後に設定することができる。
【0020】
デコーダネットワーク１１２の各ノードは、デコーダネットワーク１１２の訓練中に調整できるパラメータセットを有する数学関数に対応することができる。パラメータセットは、例えば重みパラメータ及び正則化パラメータなどを含むことができる。各ノードは、デコーダネットワーク１１２の（単複の）他の層（例えば、前の（単複の）層）のノードからの１又は２以上の入力に基づいて、数学関数を使用して出力を計算することができる。デコーダネットワーク１１２のノードの全部又は一部は、同じ又は異なる数学関数に対応することができる。
【0021】
デコーダネットワーク１１２は、例えばシステム１０２上（又はディスプレイ装置１１６上）で実行可能なアプリケーションのソフトウェアコンポーネントとして実装できる電子データを含むことができる。デコーダネットワーク１１２は、処理装置による実行のためにライブラリ、外部スクリプト又はその他のロジック／命令に依拠することができる。デコーダネットワーク１１２は、ランドマーク検出結果を生成するための１又は２以上の動作をプロセッサ１０４などのコンピュータ装置が実行できるようにするよう構成されたコード及びルーチンを含むことができる。これに加えて又は代えて、デコーダネットワーク１１２は、プロセッサ、（例えば、１又は２以上の動作の実行又はその制御を行う）マイクロプロセッサ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、コプロセッサ、又は特定用途向け集積回路（ＡＳＩＣ）を含むハードウェアを使用して実装することもできる。或いは、いくつかの実施形態では、デコーダネットワーク１１２をハードウェアとソフトウェアとの組み合わせを使用して実装することもできる。
【0022】
ディスプレイ装置１１６は、関心オブジェクト１２６上の検出されたランドマークを示すことができる最終画像１３２を表示するように構成できる好適なロジック、回路及びインターフェイスを含むことができる。ある実施形態では、ディスプレイ装置１１６を、ヒートマップ画像１２８を表示するように構成することができる。ディスプレイ装置１１６は、以下に限定するわけではないが、液晶ディスプレイ（ＬＣＤ）ディスプレイ、発光ダイオード（ＬＥＤ）ディスプレイ、プラズマディスプレイ、又は有機ＬＥＤ（ＯＬＥＤ）ディスプレイ技術、又はその他のディスプレイ装置のうちの少なくとも１つなどの複数の既知の技術を通じて実現することができる。ある実施形態によれば、ディスプレイ装置１１６は、ヘッドマウント装置（ＨＭＤ）のディスプレイ画面、スマートメガネ装置、シースルーディスプレイ、投影型ディスプレイ、エレクトロクロミックディスプレイ、又は透明ディスプレイを意味することができる。
【0023】
別の実施形態では、ディスプレイ装置１１６が、エンコーダ－デコーダニューラルネットワーク１０６をディスプレイ装置１１６上で実行可能な（アプリケーションプログラミングインターフェイス（ＡＰＩ）ベースのサービスなどの）ソフトウェアプログラム又はサービスの一部として実装できる好適なロジック、回路、インターフェイス及び／又はコードを含むことができる。エンコーダデコーダニューラルネットワーク１０６は、システム１０２上でエンコーダデコーダニューラルネットワーク１０６の訓練が終了した後にディスプレイ装置１１６上に実装することができる。ディスプレイ装置１１６の例としては、以下に限定するわけではないが、コンピュータ装置、メインフレームマシン、サーバ、コンピュータワークステーション、スマートフォン、携帯電話機、ゲーム装置、ウェアラブルディスプレイ、消費者向け電子（ＣＥ）装置、及び／又は画像処理能力を有する他のいずれかの装置を挙げることができる。
【0024】
通信ネットワーク１１８は、システム１０２とディスプレイ装置１１６とが互いに通信できるようにする通信媒体を含むことができる。通信ネットワーク１１８は、有線接続又は無線接続のいずれかを含むことができる。通信ネットワーク１１８の例としては、以下に限定するわけではないが、インターネット、クラウドネットワーク、（ロングタームエボリューション及び５Ｇ新無線などの）セルラー又は無線モバイルネットワーク、ワイヤレスフィデリティ（Ｗｉ－Ｆｉ）ネットワーク、パーソナルエリアネットワーク（ＰＡＮ）、ローカルエリアネットワーク（ＬＡＮ）、又はメトロポリタンエリアネットワーク（ＭＡＮ）などを挙げることができる。ネットワーク環境１００内の様々な装置は、様々な有線及び無線通信プロトコルに従って通信ネットワーク１１８に接続するように構成することができる。このような有線及び無線通信プロトコルの例としては、以下に限定するわけではないが、伝送制御プロトコル及びインターネットプロトコル（ＴＣＰ／ＩＰ）、ユーザデータグラムプロトコル（ＵＤＰ）、ハイパーテキスト転送プロトコル（ＨＴＴＰ）、ファイル転送プロトコル（ＦＴＰ）、ＺｉｇＢｅｅ、ＥＤＧＥ、ＩＥＥＥ８０２．１１、ライトフィデリティ（Ｌｉ－Ｆｉ）、８０２．１６、ＩＥＥＥ ８０２．１１ｓ、ＩＥＥＥ ８０２．１１ｇ、マルチホップ通信、無線アクセスポイント（ＡＰ）、装置間通信、セルラー通信プロトコル、及びＢｌｕｅｔｏｏｔｈ（ＢＴ）通信プロトコルのうちの少なくとも１つを挙げることができる。
【0025】
動作時には、エンコーダネットワーク１０８が、関心オブジェクト１２６の画像１２４などの画像を含むことができる第１の入力を受け取ることができる。エンコーダネットワーク１０８は、第１の入力に基づいて、エンコーダネットワーク１０８の複数の符号化層１２０のうちの最終層１２０Ｎの出力として多重周波数特徴マップを生成するように構成することができる。
【0026】
多重周波数特徴マップは、第１の周波数特徴マップ及び第２の周波数特徴マップを含むことができる。第１の周波数特徴マップは、関心オブジェクト１２６の包括的形状特徴に関連する第１の空間情報を捕捉することができ、第２の周波数特徴マップは、関心オブジェクト１２６の局所的形状特徴に関連する第２の空間情報を捕捉することができる。ある実施形態では、局所的形状特徴が、関心オブジェクト１２６の包括的形状特徴に比べて細かく、数が多いものであることができる。第１の周波数特徴マップは低周波数特徴マップと呼ぶことができ、第２の周波数特徴マップは高周波数特徴マップと呼ぶことができる。限定ではなく一例として、関心オブジェクト１２６が人間の顔又は人物の戯画である場合、低周波数特徴マップは、人間の顔又は人物の戯画の形状及びサイズをカバーするのに対し、高周波数特徴マップは、人間の顔又は人物の戯画の唇、目、鼻などの形状及びサイズをカバーする。
【0027】
注意層１１０は、エンコーダネットワーク１０８の最終層１２０Ｎに結合することができる。注意層１１０は、エンコーダネットワーク１０８の最終層１２０Ｎから生成された多重周波数特徴マップを受け取ることができる。注意層１１０は、受け取った多重周波数特徴マップ間の相関性又は関連性に基づいて多重周波数特徴マップを精緻化するように構成することができる。注意層１１０及び多重周波数特徴マップの精緻化に関する詳細については、例えば図３Ｃに示す。
【0028】
デコーダネットワーク１１２は、注意層１１０を介してエンコーダネットワーク１０８に結合することができる。デコーダネットワーク１１２は、精緻化された多重周波数特徴マップを注意層１１０から第２の入力として受け取るように構成することができる。デコーダネットワーク１１２は、第２の入力に基づいてランドマーク検出結果を生成するように構成することができる。ランドマーク検出結果は、関心オブジェクト１２６のヒートマップ画像１２８を含むことができる。ヒートマップ画像１２８は、画像１２４内の関心オブジェクト１２６上のランドマーク点１３０の位置を示すことができる。デコーダネットワークに関する詳細については、例えば図３Ｂに示す。
【0029】
ある実施形態によれば、エンコーダ－デコーダニューラルネットワーク１０６は、エンコーダネットワーク１０８の中間符号化層とデコーダネットワーク１１２の中間復号層との間の１又は２以上のスキップ接続１１４を含むことができる。エンコーダネットワーク１０８の中間符号化層は、エンコーダネットワーク１０８の前の層からの入力に基づいて第１の一連の中間多重周波数特徴マップを生成するように構成することができる。１又は２以上のスキップ接続１１４の各々は、第１の一連の中間多重周波数特徴マップに含まれる空間情報をデコーダネットワーク１１２の中間復号層に転送するように構成することができる。１又は２以上のスキップ接続１１４に関する詳細については、例えば図３Ａ及び図３Ｂに示す。
【0030】
プロセッサ１０４は、デコーダネットワーク１１２の最終層１２２Ｎからランドマーク検出結果を抽出するように構成することができる。その後、プロセッサ１０４は、関心オブジェクト１２６上のランドマーク点１３０の位置を示すように画像１２４上にカラーマーキングをオーバーレイ表示して最終画像１３２を生成することができる。プロセッサ１０４は、最終画像１３２の生成後に、最終画像１３２を含む出力をレンダリングするようにディスプレイ装置１１６を制御することができる。カラーマーキングに関する詳細については、例えば図４Ａ及び図４Ｂに示す。
【0031】
図２は、本開示の実施形態による、多重周波数自己注意を有するディープニューラルネットワークを用いたランドマーク検出システムの例示的なブロック図である。図２の説明は、図１の要素に関連して行う。図２には、図１のシステム１０２のブロック図２００を示す。システムは、（プロセッサ１０４などの）プロセッサ、メモリ２０２、入力／出力（Ｉ／Ｏ）装置２０４、ネットワークインターフェイス２０６、推論アクセラレータ２０８、及びエンコーダ－デコーダニューラルネットワーク１０６を含む。
【0032】
メモリ２０２は、プロセッサ１０４が実行できるプログラム命令を記憶するように構成できる好適なロジック、回路及び／又はインターフェイスを含むことができる。また、メモリ２０２は、画像１２４及びヒートマップ画像１２８を記憶することもできる。少なくとも１つの実施形態では、メモリ２０２が、エンコーダ－デコーダニューラルネットワーク１０６、多重周波数特徴マップ、及び画像１２４に関連する空間情報を記憶することもできる。メモリ２０２の実装例としては、以下に限定するわけではないが、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、電気的に消去可能なプログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）、ハードディスクドライブ（ＨＤＤ）、固体ドライブ（ＳＳＤ）、ＣＰＵキャッシュ、及び／又はセキュアデジタル（ＳＤ）カードを挙げることができる。
【0033】
Ｉ／Ｏ装置２０４は、１又は２以上のユーザ入力を受け取り、及び／又はシステム１０２によって生成された情報をレンダリングするように構成できる好適なロジック、回路及び／又はインターフェイスを含むことができる。Ｉ／Ｏ装置２０４は、システム１０２の異なる動作コンポーネントと通信するように構成できる様々な入力及び出力装置を含むことができる。Ｉ／Ｏ装置２０４の例としては、以下に限定するわけではないが、タッチ画面、キーボード、マウス、ジョイスティック、マイク、及び（ディスプレイ装置１１６などの）ディスプレイ装置を挙げることができる。
【0034】
ネットワークインターフェイス２０６は、通信ネットワーク１１８を介してシステム１０２とディスプレイ装置１１６との間の通信を確立するように構成できる好適なロジック、回路、インターフェイス及び／又はコードを含むことができる。ネットワークインターフェイス２０６は、有線又は無線通信をサポートする既知の技術を実装するように構成することができる。ネットワークインターフェイス２０６は、以下に限定するわけではないが、アンテナ、無線周波数（ＲＦ）トランシーバ、１又は２以上の増幅器、チューナ、１又は２以上の発振器、デジタルシグナルプロセッサ、コーダーデコーダ（ＣＯＤＥＣ）チップセット、加入者アイデンティティモジュール（ＳＩＭ）カード、及び／又はローカルバッファを含むことができる。
【0035】
ネットワークインターフェイス２０６は、インターネット、イントラネットなどのネットワーク、及び／又はセルラー電話ネットワーク、無線ローカルエリアネットワーク（ＷＬＡＮ）、パーソナルエリアネットワーク、及び／又はメトロポリタンエリアネットワーク（ＭＡＮ）などの無線ネットワークとオフライン及びオンライン無線通信を介して通信するように構成することができる。無線通信は、グローバルシステムフォーモバイルコミュニケーションズ（ＧＳＭ）、拡張データＧＳＭ環境（ＥＤＧＥ）、広帯域符号分割多重アクセス（Ｗ－ＣＤＭＡ）、符号分割多重アクセス（ＣＤＭＡ）、ＬＴＥ、５Ｇ新無線、時分割多重アクセス（ＴＤＭＡ）、Ｂｌｕｅｔｏｏｔｈ、（ＩＥＥＥ８０２．１１、ＩＥＥＥ８０２．１１ｂ、ＩＥＥＥ８０２．１１ｇ、ＩＥＥＥ８０２．１１ｎ及び／又は他のいずれかのＩＥＥＥ８０２．１１プロトコルなどの）ワイヤレスフィデリティ（ＷｉＦｉ）、ボイスオーバーインターネットプロトコル（ＶｏＩＰ）、Ｗｉ－ＭＡＸ、モノのインターネット（ＩｏＴ）技術、機械型通信（ＭＴＣ）技術、電子メール、インスタントメッセージング及び／又はショートメッセージサービス（ＳＭＳ）のためのプロトコルなどの複数の通信標準、プロトコル及び技術のうちのいずれかを使用することができる。
【0036】
推論アクセラレータ２０８は、プロセッサ１０４のコプロセッサとしてエンコーダ－デコーダニューラルネットワーク１０６の動作に関連する計算を加速させるように動作するよう構成できる好適なロジック、回路、インターフェイス及び／又はコードを含むことができる。例えば、推論アクセラレータ２０８は、推論アクセラレータ２０８を使用しない場合に通常発生する時間よりも短い時間でランドマーク検出結果が生成されるようにシステム１０２の計算を加速させることができる。推論アクセラレータ２０８は、エンコーダネットワーク１０８及びデコーダネットワーク１１２の動作の一部又は全部の並列化などの様々な加速技術を実装することができる。推論アクセラレータ２０８は、ソフトウェア、ハードウェア、又はこれらの組み合わせとして実装することができる。推論アクセラレータ２０８の実装例としては、以下に限定するわけではないが、ＧＰＵ、テンソルプロセッシングユニット（ＴＰＵ）、ニューロモルフィックチップ、ビジョンプロセッシングユニット（ＶＰＵ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、縮小命令セットコンピューティング（ＲＩＳＣ）プロセッサ、特定用途向け集積回路（ＡＳＩＣ）プロセッサ、複合命令セットコンピューティング（ＣＩＳＣ）プロセッサ、マイクロコントローラ、及び／又はこれらの組み合わせを挙げることができる。
【0037】
図３Ａ及び図３Ｂに、本開示の実施形態による、図１のエンコーダ－デコーダニューラルネットワークの例示的なアーキテクチャを集合的に示す。図３Ａ及び図３Ｂの説明は、図１及び図２の要素に関連して行う。図３Ａ及び図３Ｂには、図１のエンコーダ－デコーダニューラルネットワーク１０６の例示的な変形であることができるエンコーダ－デコーダニューラルネットワーク３０２の図３００を示す。エンコーダ－デコーダニューラルネットワーク３０２は、エンコーダネットワーク３０４、注意層３０６、及びデコーダネットワーク３０８を含むことができる。エンコーダネットワーク３０４及びデコーダネットワーク３０８は、注意層３０６を介して結合することができる。
【0038】
エンコーダネットワーク３０４及びデコーダネットワーク３０８は、ディープニューラルネットワーク（ＤＮＮ）であることができる。エンコーダネットワーク３０４は複数の符号化層３１０を含むことができる。複数の符号化層３１０は、入力層３１０Ａ、第１の一連の畳み込み層３１２、及び最終層３１０Ｂを含むことができる。第１の一連の畳み込み層３１２は入力層３１０Ａの後に続き、第１の畳み込み層３１２Ａ、第２の畳み込み層３１２Ｂ、第３の畳み込み層３１２Ｃ、第Ｎの畳み込み層３１２Ｎまでを含むことができる。例えば、第１の一連の畳み込み層３１２は５つの畳み込み層を含むことができる。第１の畳み込み層３１２Ａは、エンコーダネットワーク３０４の入力層３１０Ａに結合することができる。第１の一連の畳み込み層３１２の残りの畳み込み層の各々は、複数の符号化層３１０の前の畳み込み層に結合することができる。例えば、第２の畳み込み層３１２Ｂは第１の畳み込み層３１２Ａに結合することができ、第３の畳み込み層３１２Ｃは第２の畳み込み層３１２Ｂに結合することができ、他も同様である。第１の一連の畳み込み層３１２の各畳み込み層は、２つの畳み込み演算子を含むことができる。例えば、２つの畳み込み演算子は、オクターブ畳み込み演算（ｏｃｔａｖｅ ｃｏｎｖｏｌｕｔｉｏｎ ｏｐｅｒａｔｉｏｎｓ）に対応することができる。エンコーダネットワーク３０４と同様に、デコーダネットワーク３０８も複数の復号層３１４を含むことができる。複数の復号層３１４は、入力層３１４Ａ、第２の一連の畳み込み層３１６、及び最終層３１０Ｂを含むことができる。第２の一連の畳み込み層３１６は入力層３１４Ａの後に続くことができ、第１の畳み込み層３１６Ａ、第２の畳み込み層３１６Ｂ、第３の畳み込み層３１６Ｃ、第Ｎの畳み込み層３１６Ｎまでを含むことができる。例えば、第２の一連の畳み込み層３１６は、５つ以下の畳み込み層を含むことができる。具体的には、第２の一連の畳み込み層３１６の第１の畳み込み層３１６Ａは、デコーダネットワーク３０８の入力層３１４Ａに結合することができる。第２の一連の畳み込み層３１６の各残りの畳み込み層は、複数の復号層３１４の前の畳み込み層に結合することができる。例えば、第２の畳み込み層３１６Ｂは第１の畳み込み層３１６Ａに結合することができ、第３の畳み込み層３１６Ｃは第２の畳み込み層３１６Ｂに結合することができ、他も同様である。第２の一連の畳み込み層３１６の各畳み込み層は、２つの畳み込み演算子を含むことができる。例えば、２つの畳み込み演算子は、（二重転置オクターブ畳み込み演算（ｄｏｕｂｌｅ ｔｒａｎｓｐｏｓｅ ｏｃｔａｖｅ ｃｏｎｖｏｌｕｔｉｏｎ ｏｐｅｒａｔｉｏｎｓ）とも呼ばれる）転置オクターブ畳み込み演算（ｔｒａｎｓｐｏｓｅｄ ｏｃｔａｖｅ ｃｏｎｖｏｌｕｔｉｏｎ ｏｐｅｒａｔｉｏｎｓ）に対応することができる。
【0039】
動作時には、エンコーダ－デコーダニューラルネットワーク３０２のエンコーダネットワーク３０４を、第１の入力を受け取るように構成することができる。具体的には、エンコーダネットワーク３０４の複数の符号化層３１０のうちの入力層３１０Ａを、第１の入力を受け取るように構成することができる。第１の入力は、（関心オブジェクト１２６などの）関心オブジェクトの（画像１２４などの）入力画像を含むことができる。例えば、図３Ａに示すように、入力画像は、入力サイズ２５６×２５６画素の（赤色、緑色及び青色（ＲＧＢ）画像などの）３チャンネル画像であることができる。関心オブジェクト１２６は、生物又は無生物に対応することができる。例えば、関心オブジェクト１２６は、実在の人物、人物の戯画、架空キャラクタ又は漫画キャラクタの顔部分に対応することができる。
【0040】
エンコーダネットワーク３０４は、多重周波数特徴マップを生成するために、受け取った第１の入力に含まれる（画像１２４などの）入力画像を初期多重周波数特徴マップに分割するように構成することができる。初期多重周波数特徴マップは、関心オブジェクト１２６の包括的形状特徴に関連する第１の空間情報を捕捉できる第１の初期周波数特徴マップと、関心オブジェクト１２６の局所的形状特徴に関連する第２の空間情報を捕捉する第２の初期周波数特徴マップとを含むことができる。包括的形状特徴は、関心オブジェクト１２６の形状に関連することができる。一方で、局所的形状特徴は、関心オブジェクト１２６の１又は２以上のパーツの形状及び／又は表情に関連することができる。一例として、関心オブジェクト１２６が人間の顔である場合、包括的特徴は人間の顔の構造に関連することができる。一方で、局所的特徴は、人間の顔の顔パーツ（例えば、目、唇、鼻など）の構造及び顔の表情に関連することができる。第１の初期周波数特徴マップ及び第２の初期周波数特徴マップは、それぞれ初期低周波数特徴マップ及び初期高周波数特徴マップと呼ぶことができる。初期低周波数特徴マップ及び初期高周波数特徴マップの各々は、画像１２４の入力サイズとは異なるサイズであることができる。ある実施形態では、初期高周波数特徴マップのサイズが画像１２４の入力サイズと同じであることができる。また、初期低周波数特徴マップのサイズは、高周波数特徴マップのサイズよりも１オクターブ低いことができる。例えば、初期高周波数特徴マップのサイズは２５６×２５６であることができ、初期低周波数特徴マップのサイズは１２８×１２８であることができる。
【0041】
エンコーダネットワーク３０４は、エンコーダネットワーク３０４の最終層３１０Ｂの出力として多重周波数特徴マップを生成するために、初期多重周波数特徴マップを第１の一連の畳み込み層３１２に通すようにさらに構成することができる。上述したように、第１の一連の畳み込み層３１２の各畳み込み層は、初期多重周波数特徴マップの各々に適用できる２つの畳み込み演算子を含むことができる。２つの畳み込み演算子の各々は、（二重オクターブ畳み込み演算とも呼ばれる）オクターブ畳み込み演算に対応することができる。
【0042】
オクターブ畳み込み演算は、多重周波数特徴マップを低周波数特徴マップ及び高周波数特徴マップに因数分解することができる。具体的には、オクターブ畳み込み演算は、画像１２４に関連する空間情報を複数の周波数で捕捉することができる。例えば、ＩH及びＩLが入力高周波数特徴マップ及び低周波数特徴マップをそれぞれ表す場合、オクターブ畳み込みから取得される出力高周波数特徴マップ及び低周波数特徴マップＯH及びＯLは、以下に示す方程式（１）及び方程式（２）を使用して取得することができ、
（１）
（２）
ここで、
ｆH→H及びｆL→Lは周波数内更新演算（ｉｎｔｒａ－ｆｒｅｑｕｅｎｃｙ ｕｐｄａｔｅ ｏｐｅｒａｔｉｏｎｓ）を意味し、
ｆL→H及びｆH→Lは周波数間通信（ｉｎｔｅｒ－ｆｒｅｑｕｅｎｃｙ ｃｏｍｍｕｎｉｃａｔｉｏｎ）を意味する。
ここで、
ｆH→H及びｆL→Lは周波数内更新演算（ｉｎｔｒａ－ｆｒｅｑｕｅｎｃｙ ｕｐｄａｔｅ ｏｐｅｒａｔｉｏｎｓ）を意味し、
ｆL→H及びｆH→Lは周波数間通信（ｉｎｔｅｒ－ｆｒｅｑｕｅｎｃｙ ｃｏｍｍｕｎｉｃａｔｉｏｎ）を意味する。
【0043】
エンコーダネットワーク３０４は、エンコーダネットワーク３０４の最終層３１０Ｂの出力として多重周波数特徴マップを生成するために、初期多重周波数特徴マップを第１の一連の畳み込み層３１２に通すようにさらに構成することができる。エンコーダネットワーク３０４の入力層３１０Ａとエンコーダネットワーク３０４の最終層３１０Ｂとの間の各畳み込み層は、第１の一連の中間多重周波数特徴マップを生成することができる。例えば、第１の畳み込み層３１６Ａ（すなわち、「畳み込み層１」）は一連の第１の中間多重周波数特徴マップを生成し、第２の畳み込み層３１６Ｂ（すなわち、「畳み込み層２」）は一連の第２の中間多重周波数特徴マップを生成し、他も同様である。第１の一連の中間多重周波数特徴マップの各中間特徴マップのサイズは、初期多重周波数特徴マップよりも小さく、（最終層３１０Ｂから取得される）多重周波数特徴マップよりも大きいことができる。
【0044】
ある実施形態では、対応する中間多重周波数特徴マップを、オクターブ畳み込み演算を適用できる次の層に受け渡す前に、第１の一連の中間多重周波数特徴マップの各々にダウンサンプリング動作を適用することができる。例えば、第１の畳み込み層３１６Ａによって生成された一連の第１の中間多重周波数特徴マップは、第２の畳み込み層３１６Ｂに受け渡す前にダウンサンプリングすることができる。
【0045】
限定ではなく一例として、初期高周波数特徴マップ及び低周波数特徴マップのサイズは、それぞれ２５６×２５６及び１２８×１２８であることができる。第１の畳み込み層３１２Ａは、それぞれ１２８×１２８及び６４×６４のサイズの高周波数特徴マップ及び低周波数特徴マップを含むことができる一連の第１の中間多重周波数特徴マップを生成することができる。同様に、第２の畳み込み層３１２Ｂは、それぞれ６４×６４及び３２×３２のサイズの高周波数特徴マップ及び低周波数特徴マップを含むことができる一連の第２の中間多重周波数特徴マップを生成することができる。同様に、第Ｎの畳み込み層３１２Ｎは、それぞれ１６×１６及びサイズ８×８のサイズの高周波数特徴マップ及び低周波数特徴マップを含むことができる中間多重周波数特徴マップを生成することができる。
【0046】
エンコーダネットワーク３０４の最終層３１０Ｂは、出力として多重周波数特徴マップを生成することができる。多重周波数特徴マップは、関心オブジェクト１２６の包括的形状特徴に関連する第１の空間情報を捕捉できる第１の周波数特徴マップを含むことができる。図示のように、例えば第１の周波数特徴マップは１６×１６のサイズであることができる。多重周波数特徴マップは、関心オブジェクト１２６の局所的形状特徴に関連する第２の空間情報を捕捉できる、第１の周波数特徴マップのサイズよりも１オクターブ小さい８×８のサイズであることができる第２の周波数特徴マップをさらに含むことができる。説明したように、局所的形状特徴は、関心オブジェクト１２６の包括的形状特徴と比べて細かく、数が多いものであることができる。
【0047】
ある実施形態では、第１の一連の畳み込み層３１２及び最終層３１０Ｂによって生成された各特徴マップが複数のチャンネルを有することができる。第１の一連の中間多重周波数特徴マップの各々におけるチャンネルの数は、第１の定数（α）及び第２の定数（Ｃ）に基づくことができる。第１の定数（α）は、低周波数特徴マップ及び高周波数特徴マップに割り当てられるチャンネルの比率を意味することができる。低周波数特徴マップは高周波数特徴マップよりも１オクターブ低いものとして定めることができ、すなわち低周波数特徴マップの空間分解能は高周波数特徴マップの空間分解能の半分であることができる。第１の定数（α）の値は、（０及び１の両方を含む）０～１であることができる。ある実施形態によれば、第１の定数（α）の値を０．２５として設定し、第２の定数（Ｃ）の値を１２８に固定することができる。生成される多重周波数特徴マップの第１の周波数特徴マップのチャンネル数は（１－α）．８Ｃであることができ、生成される多重周波数特徴マップの第２の周波数特徴マップのチャンネル数はα．Ｃであることができる。
【0048】
注意層３０６は、エンコーダネットワーク３０４の最終層３１０Ｂから生成された多重周波数特徴マップを受け取るように構成することができる。注意層３０６は、エンコーダネットワーク３０４の最終層３１０Ｂに結合することができる。エンコーダネットワーク３０４の最終層３１０Ｂはボトルネック層と呼ぶことができる。注意層３０６は、受け取った多重周波数特徴マップ間の相関性又は関連性に基づいて多重周波数特徴マップを精緻化するように構成することができる。注意層３０６及び多重周波数特徴マップの精緻化に関する詳細については、例えば図３Ｃに示す。
【0049】
デコーダネットワーク３０８は、精緻化された多重周波数特徴マップを注意層３０６から第２の入力として受け取るように構成することができる。具体的には、デコーダネットワーク３０８の入力層３１４Ａは、第１の精緻化された多重周波数特徴マップ及び第２の精緻化された特徴マップを含むことができる精緻化された多重周波数特徴マップをデコーダネットワーク３０８への入力として受け取るように構成することができる。デコーダネットワーク３０８は、注意層３０６を介してエンコーダネットワーク３０４に結合することができる。
【0050】
デコーダネットワーク３０８は、第２の入力に基づいてランドマーク検出結果を生成するように構成される。デコーダネットワーク３０８は、ランドマーク検出結果を生成するために、精緻化された多重周波数特徴マップを第２の畳み込み層３１６に通すように構成される。ランドマーク検出結果は、デコーダネットワーク３０８の最終層３１４Ｂの出力として生成することができる。エンコーダネットワーク３０４と同様に、デコーダネットワーク３０８の入力層３１４Ａとデコーダネットワーク３０８の最終層３１４Ｂとの間の各畳み込み層は、第２の一連の中間多重周波数特徴マップを生成することができる。しかしながら、第１の一連の中間多重周波数特徴マップとは対照的に、第２の一連の中間多重周波数特徴マップの各中間特徴マップのサイズは、精緻化された多重周波数特徴マップよりも大きいことができる。
【0051】
ある実施形態では、デコーダネットワーク３０８を、精緻化された多重周波数特徴マップをアップサンプリングするように構成することができる。一例として、入力層３１４Ａにおいて受け取られた第１の精緻化された多重周波数特徴マップのサイズ及び第２の多重周波数特徴マップのサイズがそれぞれ１６×１６及び８×８である場合、デコーダネットワーク３０８は、第１の精緻化された多重周波数特徴マップ及び第２の多重周波数特徴マップをそれぞれ３２×３２及び１６×１６にアップサンプリングするように構成することができる。デコーダネットワーク３０８は、それぞれ３２×３２及び１６×１６のサイズの第１の中間特徴マップを生成するために、アップサンプリングされた多重周波数特徴マップを第２の一連の畳み込み層３１６の第１の畳み込み層３１６Ａに通すことができる。説明したように、第１の畳み込み層３１６Ａは、転置オクターブ畳み込み演算に対応できる２つの畳み込み演算子を含むことができる。いくつかの実施形態では、２つの畳み込み演算子がバイリニア補間演算（ｂｉｌｉｎｅａｒ ｉｎｔｅｒｐｏｌａｔｉｏｎ ｏｐｅｒａｔｉｏｎｓ）に対応することができる。
【0052】
連続する転置オクターブ畳み込み演算により、エンコーダネットワーク３０４においてオクターブ畳み込み演算を使用して捕捉しておいた空間情報を取り出すことができる。デコーダネットワーク３０８は、転置オクターブ畳み込み演算を適用して空間情報を取り出すように構成することができる。第１の畳み込み層３１６Ａにおいて転置オクターブ畳み込み演算を適用することで、生成された３２×３２及び１６×１６のサイズの第１の中間特徴マップをそれぞれ６４×６４及び３２×３２のサイズの中間特徴マップにアップサンプリングすることができる。同様に、デコーダネットワーク３０８の第２の畳み込み層３１６Ｂ及び連続する畳み込み層は、第２の中間特徴マップ及び第３の中間特徴マップなどを生成するように構成することができる。デコーダネットワーク３０８の最終層３１４Ｂは、デコーダネットワーク３０８の出力としてランドマーク検出結果を生成するように構成することができる。ある実施形態によれば、デコーダネットワーク３０８は、第Ｎの畳み込み層３１６Ｎの中間出力に単一の転置オクターブ畳み込みを適用して、デコーダネットワーク３０８の最終層３１４Ｂの出力としてランドマーク検出結果を生成するように構成することができる。
【0053】
ランドマーク検出結果は、関心オブジェクト１２６のヒートマップ画像（又は出力画像）を含むことができる。ヒートマップ画像は、画像１２４内の関心オブジェクト１２６上のランドマーク点の位置を示すことができる。例えば、関心オブジェクト１２６が人間の顔である場合、人間の顔のランドマーク点の総数は６８であることができる。ある実施形態では、ヒートマップ画像の最終サイズを画像１２４の入力サイズよりも小さくすることができる。こうすることで、入力サイズのヒートマップ画像を生成する中間特徴マップの処理の計算オーバヘッドを低減することができる。図３Ｂに示すように、出力画像のサイズは６４×６４であることができ、Ｍ個のチャンネルを有することができる。チャンネル数（Ｍ）は、ランドマーク点の数に対応することができる。例えば、関心オブジェクト１２６が人間の顔である場合、出力画像のサイズは６４×６４であることができ、出力画像は（人間の顔のランドマーク点の数と同じ）Ｍ＝６８チャンネルを有することができる。
【0054】
ある実施形態では、エンコーダ－デコーダニューラルネットワーク３０２が、１又は２以上のスキップ接続をさらに含むことができる。１又は２以上のスキップ接続は、限定するわけではないが、第１のスキップ接続３１８Ａ及び第２のスキップ接続３１８Ｂを含むことができる。第１のスキップ接続３１８Ａは、エンコーダネットワーク３０４の（畳み込み層３などの）第１の中間符号化層と、デコーダネットワーク３０８の（畳み込み層Ｎ－１などの）第１の中間復号層との間に存在することができる。同様に、第２のスキップ接続３１８Ｂは、エンコーダネットワーク３０４の（畳み込み層Ｎ－１などの）第２の中間符号化層と、デコーダネットワーク３０８の（畳み込み層３などの）第２の中間復号層との間に存在することができる。
【0055】
エンコーダネットワーク３０４の第１の中間符号化層は、エンコーダネットワーク３０４の前の層からの入力に基づいて第１の一連の中間多重周波数特徴マップを生成するように構成することができ、第１のスキップ接続３１８Ａは、第１の一連の中間多重周波数特徴マップに含まれる空間情報をデコーダネットワーク３０８の第１の中間復号層に転送するように構成することができる。換言すれば、第１のスキップ接続３１８Ａは、デコーダネットワーク３０８の位置情報を復元するとともに、エンコーダネットワーク３０４での符号化段階中に発生する空間損失を低減するために、エンコーダ－デコーダニューラルネットワーク３０２に組み込むことができる。同様に、エンコーダネットワーク３０４の第２の中間符号化層は、エンコーダネットワーク３０４の前の層からの入力に基づいて第２の一連の中間多重周波数特徴マップを生成するように構成することができ、第２のスキップ接続３１８Ｂは、第２の一連の中間多重周波数特徴マップに含まれる空間情報をデコーダネットワーク３０８の第２の中間復号層に転送するように構成することができる。ある実施形態では、エンコーダ－デコーダニューラルネットワーク１０６が３つ以上のスキップ接続を含むこともできる。
【0056】
なお、最終層３１０Ｂは、エンコーダネットワーク３０４において符号化できる最も重要かつ抽象的な情報を含むので、注意層３０６はボトルネック層（すなわち、エンコーダネットワーク３０４の最終層３１０Ｂの後）に組み込むことができる。さらに、ボトルネック層では、高周波数特徴マップ及び低周波数特徴マップの空間解像度を低くすることができる。これにより、注意層３０６の動作のための計算コストを低減し、エンコーダデコーダニューラルネットワーク３０２の実行を高速化できるようになる。
【0057】
開示するエンコーダ－デコーダニューラルネットワーク３０２は、人物の戯画、架空キャラクタ又は漫画キャラクタが実在の人物の顔部分と比べて誇張された顔特徴（例えば、複雑な顎構造）を含む場合があるにもかかわらず、実在の人物、人物の戯画、架空キャラクタ又は漫画キャラクタの顔部分のランドマークを検出できるほど十分にロバストであることができる。また、開示するシステムは、様々なポーズ、照明の変化、ぼやけ及びオクルージョンなどの困難なシナリオの場合でもランドマークを検出することができる。これが可能である理由は、開示するエンコーダ－デコーダニューラルネットワーク３０２が全ての符号化及び復号段階で多重周波数空間情報を捕捉できるからである。これにより、エンコーダ－デコーダニューラルネットワーク３０２が各段階で受け取った多重周波数マルチスケール情報を利用して包括的及び局所的構造を学習することを可能にすることができる。空間次元は連続する符号化層において減少するが、エンコーダデコーダニューラルネットワーク３０２はプロセスの一部として高レベルの抽象的な情報を学習する。さらに、特徴マップの品質をさらに高めるために、ボトルネック層に追加された注意層３０６は長期依存性（ｌｏｎｇ－ｒａｎｇｅ ｄｅｐｅｎｄｅｎｃｉｅｓ）を捕捉することができる。この注意層３０６は周波数間通信をさらに触媒し、従って注意を提供して高レベルの特徴精緻化を保証することができる。さらに、エンコーダデコーダニューラルネットワーク３０２に１又は２以上のスキップ接続を組み込んで位置情報を復元するとともに、符号化段階中に発生する空間損失を低減することもできる。
【0058】
実験の一部として、開示するエンコーダ－デコーダニューラルネットワーク３０２を使用して複数のデータセットについて１又は２以上の評価メトリクスを計算する。１又は２以上の評価メトリクスは、正規化平均誤差（ｎｏｒｍａｌｉｚｅｄ ｍｅａｎ ｅｒｒｏｒ：ＮＭＥ）及び失敗率（ｆａｉｌｕｒｅ ｒａｔｅ）を含む。例えば、複数のデータセットは、戯画データセット（ｃａｒｉｃａｔｕｒｅ ｄａｔａｓｅｔ）、３００ｆａｃｅｓ ｉｎ ｔｈｅ ｗｉｌｄ（３００Ｗ）データセット、Ｃａｌｔｅｃｈ Ｏｃｃｌｕｄｅｄ Ｆａｃｅｓ ｉｎ ｔｈｅ Ｗｉｌｄ（ＣＯＦＷ）データセット、及びＷｉｄｅｒ Ｆａｃｉａｌ Ｌａｎｄｍａｒｋｓ ｉｎ ｔｈｅ Ｗｉｌｄ（ＷＦＬＷ）データセットを含むことができる。開示するエンコーダ－デコーダニューラルネットワーク３０２のＮＭＥ誤差は、当業で周知の全ての従来のランドマーク検出方法の中で最も低い。
【0059】
図３Ｃは、本開示の実施形態による、図３Ａ及び図３Ｂのエンコーダ－デコーダニューラルネットワーク３０２の例示的な注意層を示す図である。図３Ｃの説明は、図１、図２、図３Ａ及び図３Ｂの要素に関連して行う。図３Ｃには、エンコーダ－デコーダニューラルネットワーク３０２のエンコーダネットワーク３０４とデコーダネットワーク３０８との間に組み込むことができる注意層３０６を示す。
【0060】
ある実施形態では、注意層３０６が、エンコーダネットワーク３０４の最終層３１０Ｂに結合することができる。注意層３０６は、エンコーダネットワーク３０４の最終層３１０Ｂから生成された多重周波数特徴マップを受け取るように構成することができる。ある実施形態では、エンコーダネットワーク３０４の最終層３１０Ｂをボトルネック層と呼ぶことができる。換言すれば、注意層３０６はボトルネック層に実装することができる。注意層３０６は、受け取った多重周波数特徴マップ間の相関性又は関連性に基づいて多重周波数特徴マップを精緻化するように構成することができる。
【0061】
上述したように、生成された多重周波数特徴マップは、第１の周波数特徴マップ（Ｘｈ）３２０Ａ及び第２の周波数特徴マップ（Ｘｌ）３２０Ｂを含むことができる。第１の周波数特徴マップ３２０ＡはＣｈ個のチャンネルを含むことができ、高さ「Ｈ」及び幅「Ｗ」であることができる。第２の周波数特徴マップ３２０ＢはＣｌ個のチャンネルを含むことができ、第１の周波数特徴マップ３２０Ａよりも１オクターブ低い。従って、第２の周波数特徴マップ３２０Ｂは、高さ「Ｈ／２」及び幅「Ｗ／２」であることができる。注意層３０６は、多重周波数特徴マップを精緻化するために、受け取った多重周波数特徴マップから第１の埋め込み（φ）３２２Ａ、第２の埋め込み（θ）３２２Ｂ及び第３の埋め込み（γ）３２２Ｃを含む一連の埋め込み（ｅｍｂｅｄｄｉｎｇｓ）を取得するように構成することができる。埋め込みは、高次元ベクトルの低次元空間への変換に対応することができる。具体的には、一連の埋め込みの各々は、多重周波数特徴マップに１×１畳み込み演算３２４を適用することによって取得することができる。限定ではなく一例として、第１の埋め込み３２２Ａ、第２の埋め込み３２２Ｂ及び第３の埋め込み３２２Ｃは、以下の方程式（３）、（４）及び（５）を介して提供され、
（３）
（４）
（５）
ここで、
Ｘhは、多重周波数特徴マップの第１の周波数特徴マップ３２０Ａを表し、Ｘh∈ＲCh×H×Wであり、
Ｘlは、多重周波数特徴マップの第２の周波数特徴マップ３２０Ｂを表し、
であり、
Ｈは、第１の周波数特徴マップ３２０Ａの高さを表し、
Ｗは、第１の周波数特徴マップ３２０Ａの幅を表し、
Ｃhは、第１の周波数特徴マップ３２０Ａのチャンネル数を表し、
Ｃlは、第２の周波数特徴マップ３２０Ｂのチャンネル数を表し、
であり、
θ∈ＲC×H×Wであり、
Ｙ∈ＲC×H×Wであり、
Ｃ＝１２８（固定値）である。
ここで、
Ｘhは、多重周波数特徴マップの第１の周波数特徴マップ３２０Ａを表し、Ｘh∈ＲCh×H×Wであり、
Ｘlは、多重周波数特徴マップの第２の周波数特徴マップ３２０Ｂを表し、
Ｈは、第１の周波数特徴マップ３２０Ａの高さを表し、
Ｗは、第１の周波数特徴マップ３２０Ａの幅を表し、
Ｃhは、第１の周波数特徴マップ３２０Ａのチャンネル数を表し、
Ｃlは、第２の周波数特徴マップ３２０Ｂのチャンネル数を表し、
θ∈ＲC×H×Wであり、
Ｙ∈ＲC×H×Wであり、
Ｃ＝１２８（固定値）である。
【0062】
注意層３０６は、一連の埋め込みの各々を特定のサイズに平坦化するようにさらに構成することができる。例えば、第１の埋め込みはＣ×Ｓのサイズに平坦化することができる。第２の埋め込み及び第３の埋め込みの各々はＣ×Ｎのサイズに平坦化することができ、ここでのＳ及びＮはそれぞれ空間的位置の総数を表し、すなわちＳ＝Ｈ／２×Ｗ／２及びＮ＝Ｈ*Ｗである。
【0063】
注意層３０６は、第１の周波数特徴マップ３２０Ａと第２の周波数特徴マップ３２０Ｂとの間の１又は２以上の相関性を決定するようにさらに構成することができる。具体的には、注意層３０６は、第１の周波数特徴マップ３２０Ａ及び第２の周波数特徴マップ３２０Ｂにおいてそれぞれ捕捉された低周波数空間情報と高周波数空間情報との間の長期依存性を捕捉できる類似度行列（ｓｉｍｉｌａｒｉｔｙ ｍａｔｒｉｘ）を計算するように構成することができる。ある実施形態では、以下の方程式（６）に示すような行列乗算を使用して類似度行列を計算することができ、
（６）
ここで、
Ｙは類似度行列を表し、Ｙ∈ＲS×Nである。
ここで、
Ｙは類似度行列を表し、Ｙ∈ＲS×Nである。
【0064】
注意層３０６は、類似度行列を正規化して統一的類似度行列（ｕｎｉｆｉｅｄ ｓｉｍｉｌａｒｉｔｙ ｍａｔｒｉｘ）を取得するようにさらに構成することができる。具体的には、計算された類似度行列を正規化関数３２６に基づいて正規化することができる。ある実施形態では、正規化関数３２６がＳｏｆｔＭａｘ関数であることができる。統一的類似度行列は、以下のような方程式（７）を使用して取得することができ、
（７）
ここで、
Ｙは類似度行列を表し、Ｙ∈ＲS×Nであり、
ｆは正規化関数を表し、
は統一的類似度行列を表す。
ここで、
Ｙは類似度行列を表し、Ｙ∈ＲS×Nであり、
ｆは正規化関数を表し、
【0065】
ある実施形態では、（方程式７で説明した）「Υ」における各位置についての注意層３０６の出力（Ｚ）を以下のような方程式（８）によって提供することができ、
（８）
ここで、
Ｚは注意層３０６を表し、Ｚ∈ＲS×Cであり、
ΥTは、第３の埋め込み３２２Ｃの転置を表す。
ここで、
Ｚは注意層３０６を表し、Ｚ∈ＲS×Cであり、
ΥTは、第３の埋め込み３２２Ｃの転置を表す。
【0066】
注意層３０６は、Ｓ及びＺからそれぞれＨ／２×Ｗ／２を取得するために空間的位置を復元するようにさらに構成することができる。注意層３０６は、再びＣからＣｌ個のチャンネルを取得するように、Ｓ及びＺを１×１畳み込みにさらに通すことができる。注意層３０６は、残差接続（ｒｅｓｉｄｕａｌ ｃｏｎｎｅｃｔｉｏｎ）が第１の精緻化された多重周波数特徴マップ３２８を取得することを可能にするようにさらに構成される。ある実施形態では、第１の精緻化された多重周波数特徴マップ３２８を以下のような方程式（９）によって提供することができ、
（９）
ここで、
は、第１の精緻化された多重周波数特徴マップ３２８であり、
である。（方程式（９）によって示される）第１の精緻化された多重周波数特徴マップ３２８は、高周波数空間情報と低周波数空間情報との間の複雑な関連性を捕捉することができる。
ここで、
【0067】
ある実施形態では、第２の精緻化された特徴マップがＸhであることができる。注意層３０６は、（方程式（９）によって示される）第１の精緻化された特徴マップ及び第２の精緻化された特徴マップを入力としてデコーダネットワーク３０８に提供するように構成することができる。説明したように、デコーダネットワーク３０８は、精緻化された多重周波数特徴マップを受け取り、入力としての精緻化された多重周波数特徴マップに基づいてヒートマップ画像１２８を生成することができる。
【0068】
図４Ａは、本開示の実施形態による、多重周波数自己注意を有するディープニューラルネットワークを用いたランドマーク検出の例示的なシナリオを示す図である。図４Ａの説明は、図１、図２、図３Ａ、図３Ｂ及び図３Ｃの要素に関連して行う。図４Ａにはシナリオ４００Ａを示す。シナリオ４００Ａには、プロセッサ４０４と、図３Ａ及び図３Ｂのエンコーダ－デコーダニューラルネットワーク３０２と、図１のディスプレイ装置１１６とを含むシステム４０２を示す。さらに、戯画風の顔４０８の画像４０６も示す。
【0069】
エンコーダ－デコーダニューラルネットワーク３０２は、エンコーダネットワーク３０４、注意層３０６、及びデコーダネットワーク３０８を含むことができる。エンコーダネットワーク３０４は、関心オブジェクト（すなわち、戯画風の顔４０８）の画像４０６を含む第１の入力を受け取ることができる。エンコーダネットワーク３０４は、エンコーダネットワーク３０４の最終層３１０Ｂの出力として多重周波数特徴マップを生成するようにさらに構成することができる。多重周波数特徴マップは、受け取った第１の入力に基づいて生成することができる。
【0070】
エンコーダネットワーク３０４は、エンコーダネットワーク３０４の最終層３１０Ｂに結合できる注意層３０６に多重周波数特徴マップを送信するようにさらに構成することができる。注意層３０６は、エンコーダネットワーク３０４の最終層３１０Ｂから生成された多重周波数特徴マップを受け取り、受け取った多重周波数特徴マップ間の相関性又は関連性に基づいて多重周波数特徴マップを精緻化することができる。注意層３０６は、注意層３０６を介してエンコーダネットワーク３０４に結合できるデコーダネットワーク３０８に、精緻化された多重周波数特徴マップをさらに送信することができる。
【0071】
デコーダネットワーク３０８は、精緻化された多重周波数特徴マップを注意層３０６から第２の入力として受け取ることができる。デコーダネットワーク３０８は、ランドマーク検出結果を生成するようにさらに構成することができる。ある実施形態では、プロセッサ４０４を、デコーダネットワーク３０８の最終層３１４Ｂからランドマーク検出結果を抽出するように構成することができる。ランドマーク検出結果は、戯画風の顔４０８のヒートマップ画像４１０を含むことができる。ヒートマップ画像４１０は、画像４０６内の戯画風の顔４０８上のランドマーク点４１２の位置を示すことができる。
【0072】
ある実施形態では、プロセッサ４０４を、ヒートマップ画像４１０に基づいて戯画風の顔４０８上のランドマーク点４１２の位置を示すように画像４０６上にカラーマーキングをオーバーレイ表示するよう構成することができる。画像４０６上にオーバーレイ表示されたカラーマーキングに基づいて最終画像４１４を生成することができる。例えば、ランドマーク点４１２の各位置は、（白色などの）第１の色又は（白色及び赤色などの）少なくとも２色の組み合わせを使用して示すことができる。ある実施形態では、包括的形状特徴に関連するランドマーク点４１２の位置を第１の色で示し、局所的形状特徴に関連するランドマーク点４１２の位置を第２の色で示すことができる。プロセッサ４０４は、画像４０６上にカラーマーキングがオーバーレイ表示された最終画像４１４を含む出力をレンダリングするようにディスプレイ装置１１６を制御するようさらに構成することができる。
【0073】
図４Ｂは、本開示の実施形態による、多重周波数自己注意を有するディープニューラルネットワークを用いたランドマーク検出の例示的なシナリオを示す図である。図４Ｂの説明は、図１、図２、図３Ａ、図３Ｂ、図３Ｃ及び図４Ａの要素に関連して行う。図４Ｂにはシナリオ４００Ｂを示す。シナリオ４００Ｂには、プロセッサ４０４と、図３Ａ及び図３Ｂのエンコーダ－デコーダニューラルネットワーク３０２と、図１のディスプレイ装置１１６とを含むシステム４０２の図を示す。さらに、人間の顔４１８の画像４１６も示す。
【0074】
エンコーダ－デコーダニューラルネットワーク３０２は、エンコーダネットワーク３０４、注意層３０６、及びデコーダネットワーク３０８を含むことができる。エンコーダネットワーク３０４は、関心オブジェクト（すなわち、人間の顔４１８）の画像４１６を含む第１の入力を受け取ることができる。エンコーダネットワーク３０４は、エンコーダネットワーク３０４の最終層３１０Ｂの出力として多重周波数特徴マップを生成するようにさらに構成することができる。多重周波数特徴マップは、受け取った第１の入力に基づいて生成することができる。
【0075】
エンコーダネットワーク３０４は、エンコーダネットワーク３０４の最終層３１０Ｂに結合できる注意層３０６に多重周波数特徴マップを送信するようにさらに構成することができる。注意層３０６は、エンコーダネットワーク３０４の最終層から生成された多重周波数特徴マップを受け取り、受け取った多重周波数特徴マップ間の相関性又は関連性に基づいて多重周波数特徴マップを精緻化することができる。注意層３０６は、注意層３０６を介してエンコーダネットワーク３０４に結合できるデコーダネットワーク３０８に精緻化された多重周波数特徴マップをさらに送信することができる。
【0076】
デコーダネットワーク３０８は、精緻化された多重周波数特徴マップを注意層３０６から第２の入力として受け取り、人間の顔４１８のヒートマップ画像４２０を含むランドマーク検出結果を生成することができる。ヒートマップ画像４２０は、画像４１６内の人間の顔４１８上のランドマーク点４２２の位置を示すことができる。
【0077】
ある実施形態では、プロセッサ４０４を、デコーダネットワーク３０８の最終層３１０Ｂからランドマーク検出結果を抽出するように構成することができる。プロセッサ４０４は、人間の顔４１８上のランドマーク点４２２の位置を示すように画像４１６上にカラーマーキングをオーバーレイ表示するようさらに構成することができる。画像４１６上にオーバーレイ表示されたカラーマーキングに基づいて最終画像４２４を生成することができる。例えば、ランドマーク点４２２の各位置は、（白色などの）第１の色又は（白色及び赤色などの）少なくとも２色の組み合わせを使用して示すことができる。ある実施形態では、包括的形状特徴に関連するランドマーク点４２２の位置を第１の色で示し、局所的形状特徴に関連するランドマーク点４２２の位置を第２の色で示すことができる。プロセッサ４０４は、画像４１６上にカラーマーキングがオーバーレイ表示された最終画像４２４を含む出力をレンダリングするようにディスプレイ装置１１６を制御するようさらに構成することができる。
【0078】
図５は、本開示の実施形態による、多重周波数自己注意を有するディープニューラルネットワークを用いた例示的なランドマーク検出方法を示すフローチャートである。図５の説明は、図１、図２、図３Ａ、図３Ｂ、図３Ｃ、図４Ａ及び図４Ｂの要素に関連して行う。図５にはフローチャート５００を示す。フローチャート５００の動作は、５０２から開始して５０４に進むことができる。
【0079】
５０４において、入力として第１の入力を受け取ることができる。第１の入力は、関心オブジェクト１２６の画像１２４を含むことができる。少なくとも１つの実施形態では、エンコーダネットワーク１０８を、関心オブジェクト１２６の画像１２４を含むことができる第１の入力を受け取るように構成することができる。
【0080】
５０６において、エンコーダネットワーク１０８の最終層１２０Ｎの出力として多重周波数特徴マップを生成することができる。出力は、受け取った第１の入力に基づいて生成することができる。少なくとも１つの実施形態では、エンコーダネットワーク１０８を、受け取った第１の入力に基づいて、エンコーダネットワーク１０８の最終層１２０Ｎの出力として多重周波数特徴マップを生成するように構成することができる。
【0081】
５０８において、エンコーダネットワーク１０８の最終層１２０Ｎから生成された多重周波数特徴マップを受け取ることができる。少なくとも１つの実施形態では、注意層１１０を、エンコーダネットワーク１０８の最終層１２０Ｎから生成された多重周波数特徴マップを受け取るように構成することができる。
【0082】
５１０において、多重周波数特徴マップを精緻化することができる。多重周波数特徴マップは、受け取った多重周波数特徴マップ間の相関性又は関連性に基づいて精緻化することができる。少なくとも１つの実施形態では、注意層１１０を、受け取った多重周波数特徴マップ間の相関性又は関連性に基づいて多重周波数特徴マップを精緻化するように構成することができる。
【0083】
５１２において、精緻化された多重周波数特徴マップを注意層１１０から第２の入力として受け取ることができる。少なくとも１つの実施形態では、デコーダネットワーク１１２を、精緻化された多重周波数特徴マップを注意層１１０から第２の入力として受け取るように構成することができる。
【0084】
５１４において、第２の入力に基づいてランドマーク検出結果を生成することができる。ランドマーク検出結果は、関心オブジェクト１２６のヒートマップ画像１２８を含むことができる。ヒートマップ画像１２８は、画像１２４内の関心オブジェクト１２６上のランドマーク点１３０の位置を示すことができる。少なくとも１つの実施形態では、デコーダネットワーク１１２を、第２の入力に基づいて、関心オブジェクト１２６のヒートマップ画像１２８を含むランドマーク検出結果を生成するように構成することができ、ヒートマップ画像１２８は、画像１２４内の関心オブジェクト１２６上のランドマーク点１３０の位置を示すことができる。制御は終了に進むことができる。
【0085】
本開示の様々な実施形態は、多重周波数自己注意を有するディープニューラルネットワークを用いたランドマーク検出システム（例えば、システム１０２）を動作させるために機械及び／又はコンピュータが実行できる命令を記憶した非一時的コンピュータ可読媒体及び／又は記憶媒体を提供することができる。これらの命令は、関心オブジェクト（例えば、関心オブジェクト１２６）の画像（例えば、画像１２４）を含むことができる第１の入力を入力として受け取ることを含む動作を機械及び／又はコンピュータに実行させることができる。動作は、エンコーダネットワーク（例えば、エンコーダネットワーク１０８）の最終層（例えば、最終層１２０Ｎ）の出力として多重周波数特徴マップを生成することをさらに含む。動作は、エンコーダネットワーク３０４の最終層１２０Ｎから生成された多重周波数特徴マップを受け取ることをさらに含む。動作は、受け取った多重周波数特徴マップ間の相関性又は関連性に基づいて多重周波数特徴マップを精緻化することをさらに含む。動作は、精緻化された多重周波数特徴マップを注意層（例えば、注意層１１０）から第２の入力として受け取ることをさらに含む。動作は、関心オブジェクトのヒートマップ画像（例えば、ヒートマップ画像１２８）を含むランドマーク検出結果を生成することをさらに含む。ヒートマップ画像は、画像内の関心オブジェクト上のランドマーク点（例えば、ランドマーク点１３０）の位置を示すことができる。
【0086】
多重周波数自己注意を有するディープニューラルネットワークを用いたランドマーク検出のためのシステム及び方法では、本開示のいくつかの実施形態を見出すことができる。本開示の様々な実施形態は、関心オブジェクト１２６の画像１２４を含む第１の入力を受け取るように構成できるエンコーダネットワーク１０８を含むことができるシステム１０２を提供することができる。関心オブジェクト１２６は、実在の人物、人物の戯画、架空キャラクタ又は漫画キャラクタの顔部分に対応することができる。エンコーダネットワーク１０８は、受け取った第１の入力に基づいて、エンコーダネットワーク１０８の最終層１２０Ｎの出力として多重周波数特徴マップを生成するようにさらに構成することができる。多重周波数特徴マップは、関心オブジェクト１２６の包括的形状特徴に関連する第１の空間情報を捕捉する第１の周波数特徴マップと、関心オブジェクト１２６上の包括的形状特徴に比べて細かく数が多い局所的形状特徴に関連する第２の空間情報を捕捉する第２の周波数特徴マップとを含むことができる。
【0087】
ある実施形態によれば、エンコーダネットワーク１０８は複数の符号化層１２０を含む。複数の符号化層１２０は、入力層１２０Ａと、入力層１２０Ａの後に続く第１の一連の畳み込み層１２０Ｂとをさらに含むことができる。第１の一連の畳み込み層１２０Ｂの第１の畳み込み層は、エンコーダネットワーク１０８の入力層１２０Ａに結合され、第１の一連の畳み込み層１２０Ｂの各残りの畳み込み層は、複数の符号化層１２０の前の畳み込み層に結合される。第１の一連の畳み込み層１２０Ｂの各畳み込み層は、２つの畳み込み演算子を含む。２つの畳み込み演算子の各々は、オクターブ畳み込み演算に対応する。
【0088】
ある実施形態によれば、エンコーダネットワーク１０８は、受け取った第１の入力に含まれる画像１２４を初期多重周波数特徴マップに分割するように構成することができる。エンコーダネットワーク１０８は、エンコーダネットワーク１０８の最終層１２０Ｎの出力として多重周波数特徴マップを生成するために、初期多重周波数特徴マップを第１の一連の畳み込み層１２０Ｂに通すようにさらに構成することができる。エンコーダネットワーク１０８の入力層１２０Ａとエンコーダネットワーク１０８の最終層１２０Ｎとの間の各畳み込み層は、第１の一連の中間多重周波数特徴マップを生成する。第１の一連の中間多重周波数特徴マップの各中間特徴マップのサイズは、初期多重周波数特徴マップよりも小さく、多重周波数特徴マップよりも大きい。
【0089】
システム１０２は、エンコーダネットワーク１０８の最終層１２０Ｎから生成された多重周波数特徴マップを受け取るように構成できる注意層１１０をさらに含むことができる。注意層１１０は、受け取った多重周波数特徴マップ間の相関性又は関連性に基づいて多重周波数特徴マップを精緻化するようにさらに構成することができる。
【0090】
ある実施形態によれば、システム１０２は、精緻化された多重周波数特徴マップを注意層１１０から第２の入力として受け取るように構成できるデコーダネットワーク１１２をさらに含むことができる。デコーダネットワーク１１２は、注意層１１０を介してエンコーダネットワーク１０８に結合することができる。デコーダネットワーク１１２は、複数の復号層１２２を含むことができる。複数の復号層１２２は、入力層１２２Ａと、デコーダネットワーク１１２の入力層１２２Ａの後に続く第２の一連の畳み込み層１２２Ｂとを含むことができる。第２の一連の畳み込み層１２２Ｂの第１の畳み込み層は、デコーダネットワーク１１２の入力層１２２Ａに結合することができ、第２の一連の畳み込み層１２２Ｂの各残りの畳み込み層は、複数の復号層１２２の前の畳み込み層に結合することができる。第２の一連の畳み込み層１２２Ｂの各畳み込み層は、２つの畳み込み演算子を含む。２つの畳み込み演算子の各々は、転置オクターブ畳み込み演算に対応する。
【0091】
ある実施形態によれば、デコーダネットワーク１１２は、デコーダネットワーク１１２の最終層１２２Ｎの出力としてランドマーク検出結果を生成するために、精緻化された多重周波数特徴マップを第２の一連の畳み込み層１２２Ｂに通すように構成することができる。デコーダネットワーク１１２の入力層１２２Ａとデコーダネットワーク１１２の最終層１２２Ｎとの間の各畳み込み層は、第２の一連の中間多重周波数特徴マップを生成する。第２の一連の中間多重周波数特徴マップの各中間特徴マップのサイズは、精緻化された多重周波数特徴マップよりも大きい。
【0092】
ある実施形態によれば、ランドマーク検出結果は、関心オブジェクト１２６のヒートマップ画像１２８を含むことができる。ヒートマップ画像１２８は、画像１２４内の関心オブジェクト１２６上のランドマーク点１３０の位置を示すことができる。
【0093】
ある実施形態によれば、システム１０２は、エンコーダネットワーク１０８の中間符号化層とデコーダネットワーク１１２の中間復号層との間のスキップ接続をさらに含むことができる。エンコーダネットワーク１０８の中間符号化層は、エンコーダネットワーク１０８の前の層からの入力に基づいて第１の一連の中間多重周波数特徴マップを生成するように構成することができる。スキップ接続は、第１の一連の中間多重周波数特徴マップに含まれる空間情報をデコーダネットワーク１１２の中間復号層に転送するように構成することができる。
【0094】
ある実施形態によれば、システム１０２は、デコーダネットワーク１１２の最終層１２２Ｎからランドマーク検出結果を抽出するように構成できるプロセッサ１０４をさらに含むことができる。プロセッサ１０４は、関心オブジェクト１２６上のランドマーク点の位置を示すように画像１２４上にカラーマーキングをオーバーレイ表示するようさらに構成することができる。プロセッサ１０４は、画像１２４上にオーバーレイ表示されたカラーマーキングを含む出力をレンダリングするようにディスプレイ装置１１６を制御するようさらに構成することができる。
【0095】
ある実施形態によれば、エンコーダネットワーク１０８及びデコーダネットワーク１１２は、ディープニューラルネットワーク（ＤＮＮ）であることができる。エンコーダネットワーク１０８、デコーダネットワーク１１２及び注意層１１０は、ランドマーク検出タスクに基づいて訓練できるエンコーダ－デコーダニューラルネットワーク１０６を共に形成することができる。
【0096】
本開示は、ハードウェアで実現することも、又はハードウェアとソフトウェアとの組み合わせで実現することもできる。本開示は、少なくとも１つのコンピュータシステム内で集中方式で実現することも、又は異なる要素を複数の相互接続されたコンピュータシステムにわたって分散できる分散方式で実現することもできる。本明細書で説明した方法を実行するように適合されたコンピュータシステム又はその他の装置が適することができる。ハードウェアとソフトウェアとの組み合わせは、ロードされて実行された時に本明細書で説明した方法を実行するようにコンピュータシステムを制御することができるコンピュータプログラムを含む汎用コンピュータシステムとすることができる。本開示は、他の機能も実行する集積回路の一部を含むハードウェアで実現することができる。
【0097】
本開示は、本明細書で説明した方法の実装を可能にする全ての特徴を含み、コンピュータシステムにロードされた時にこれらの方法を実行できるコンピュータプログラム製品に組み込むこともできる。本文脈におけるコンピュータプログラムとは、情報処理能力を有するシステムに特定の機能を直接的に、或いはａ）別の言語、コード又は表記法への変換、ｂ）異なる内容形態での複製、のいずれか又は両方を行った後に実行させるように意図された命令セットの、あらゆる言語、コード又は表記法におけるあらゆる表現を意味する。
【0098】
いくつかの実施形態を参照しながら本開示を説明したが、当業者であれば、本開示の範囲から逸脱することなく様々な変更を行うことができ、同等物を代用することもできると理解するであろう。また、本開示の範囲から逸脱することなく、特定の状況又は内容を本開示の教示に適合させるように多くの修正を行うこともできる。従って、本開示は、開示した特定の実施形態に限定されるものではなく、添付の特許請求の範囲内に収まる全ての実施形態を含むように意図される。
【符号の説明】
【0099】
１００ ネットワーク環境
１０２ システム
１０４ プロセッサ
１０６ エンコーダ－デコーダニューラルネットワーク
１０８ エンコーダネットワーク
１１０ 注意層
１１２ デコーダネットワーク
１１４ スキップ
１１６ ディスプレイ装置
１１８ 通信ネットワーク
１２０Ａ 入力層
１２０Ｂ 第１の一連の畳み込み層
１２０Ｃ 最終層
１２２Ａ 入力層
１２２Ｂ 第２の一連の畳み込み層
１２２Ｃ 最終層
１２４ 画像
１２６ 関心オブジェクト
１２８ ヒートマップ画像
１３０ ランドマーク点
１３２ 最終画像
１０２ システム
１０４ プロセッサ
１０６ エンコーダ－デコーダニューラルネットワーク
１０８ エンコーダネットワーク
１１０ 注意層
１１２ デコーダネットワーク
１１４ スキップ
１１６ ディスプレイ装置
１１８ 通信ネットワーク
１２０Ａ 入力層
１２０Ｂ 第１の一連の畳み込み層
１２０Ｃ 最終層
１２２Ａ 入力層
１２２Ｂ 第２の一連の畳み込み層
１２２Ｃ 最終層
１２４ 画像
１２６ 関心オブジェクト
１２８ ヒートマップ画像
１３０ ランドマーク点
１３２ 最終画像
【図1】
【図2】
【図3A】
【図3B】
【図3C】
【図4A】
【図4B】
【図5】