▶ エヌイーシー ラボラトリーズ アメリカ インクの特許一覧
特表2023-549070意味特徴の学習を介したＵｎｓｅｅｎドメインからの顔認識
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-11-22
(54)【発明の名称】意味特徴の学習を介したＵｎｓｅｅｎドメインからの顔認識
(51)【国際特許分類】
G06T 7/00 20170101AFI20231115BHJP
G06N 3/0464 20230101ALI20231115BHJP
G06N 3/088 20230101ALI20231115BHJP
【ＦＩ】
G06T7/00 510F
G06N3/0464
G06N3/088
G06T7/00 350C
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2023525981
(86)(22)【出願日】2021-11-08
(85)【翻訳文提出日】2023-04-27
(86)【国際出願番号】 US2021058404
(87)【国際公開番号】W WO2022103682
(87)【国際公開日】2022-05-19
(31)【優先権主張番号】63/111,842
(32)【優先日】2020-11-10
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】17/519,950
(32)【優先日】2021-11-05
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】63/114,013
(32)【優先日】2020-11-16
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＪＡＶＡ
２．ＳＭＡＬＬＴＡＬＫ
(71)【出願人】
【識別番号】504080663
【氏名又は名称】エヌイーシー ラボラトリーズ アメリカ インク
【氏名又は名称原語表記】ＮＥＣ Ｌａｂｏｒａｔｏｒｉｅｓ Ａｍｅｒｉｃａ， Ｉｎｃ．
(74)【代理人】
【識別番号】100123788
【弁理士】
【氏名又は名称】宮崎 昭夫
(74)【代理人】
【識別番号】100127454
【弁理士】
【氏名又は名称】緒方 雅昭
(72)【発明者】
【氏名】ファラキ、 マスード
(72)【発明者】
【氏名】ユ、 シアン
(72)【発明者】
【氏名】ツァイ、 イ－シューアン
(72)【発明者】
【氏名】ス、 ユミン
(72)【発明者】
【氏名】チャンドラカー、 マンモハン
【テーマコード（参考）】
5B043
5L096
【Ｆターム（参考）】
5B043BA04
5B043FA07
5B043GA02
5L096HA11
5L096KA04
(57)【要約】
Ｕｎｓｅｅｎドメインからの顔認識を改良するための方法であって、複数のデータセットからアイデンティティが関連付けられた顔画像を取得し、モデルを訓練するために複数のデータセットのうちの２つのデータセットをランダムに選択し、バッチ顔画像とそれに対応するラベルをサンプリングし、１つのアンカー顔画像、同じアイデンティティからのサンプル顔画像及び１つのアンカー顔画像とは異なるアイデンティティからのサンプル顔画像を含むトリプレットサンプルをサンプリングし、選択された２つのデータセットのサンプルを用いてフォワードパスを実行し、バックボーン畳み込みニューラルネットワーク（ＣＮＮ）を用いて顔画像の表現を見つけ、顔画像の表現とバックボーンＣＮＮから、ポジティブペアとネガティブペアを用いて異なる空間で作成される共分散を生成し、共分散を用いてクロスドメイン類似度損失関数を計算する。
【選択図】図８
【選択図】図８
【特許請求の範囲】
【請求項1】
意味的に意味のある表現を学習することで、Ｕｎｓｅｅｎドメインからの顔認識を改良するための方法であって、複数のデータセットからアイデンティティが関連付けられた顔画像を取得し（１００１）、
モデルを訓練するために複数のデータセットのうちの２つのデータセットをランダムに選択し（１００３）、
バッチ顔画像とそれに対応するラベルをサンプリングし（１００５）、
１つのアンカー顔画像、同じアイデンティティからのサンプル顔画像及び前記１つのアンカー顔画像とは異なるアイデンティティからのサンプル顔画像を含むトリプレットサンプルをサンプリングし（１００７）、
選択された２つのデータセットのサンプルを用いてフォワードパスを実行し（１００９）、
バックボーン畳み込みニューラルネットワーク（ＣＮＮ）を用いて顔画像の表現を見つけ（１０１１）、
前記顔画像の表現と前記バックボーンＣＮＮから、ポジティブペアとネガティブペアを用いて異なる空間で作成される共分散を生成し（１０１３）、
前記共分散を用いてクロスドメイン類似度損失関数を計算する（１０１５）、方法。
【請求項2】
前記共分散は、前記選択された２つのデータセットの基本的な分布をエンコードする、請求項１に記載の方法。
【請求項3】
前記ポジティブペアは同じアイデンティティからの顔画像であり、ネガティブペアは異なるアイデンティティからの顔画像である、請求項１に記載の方法。
【請求項4】
前記クロスドメイン類似度損失関数は、１つのドメインに存在する類似度メトリックを転送し、別のドメインからアイデンティティのコンパクトクラスタを学習する、請求項１に記載の方法。
【請求項5】
前記クロスドメイン類似度損失関数は、２つのドメインからの入力を受け入れ、第１ドメインからポジティブ及びネガティブペアの基本的な残差分布を推定し、第２ドメインのポジティブサンプルとネガティブサンプルとの間の距離を測定する、請求項１に記載の方法。
【請求項6】
Ｎが観測数であり、【数1】
【数2】
【数3】
【請求項7】
Ｎが観測数であり、【数4】
【数5】
【数6】
【請求項8】
意味的に意味のある表現を学習することで、Ｕｎｓｅｅｎドメインからの顔認識を改良するためのコンピュータで読み取り可能なプログラムを含む、非一時的なコンピュータで読み取り可能な記録媒体であって、前記コンピュータで読み取り可能なプログラムが前記コンピュータで実行されると、前記コンピュータに、
複数のデータセットからアイデンティティが関連付けられた顔画像を取得させ（１００１）、
モデルを訓練するために複数のデータセットのうちの２つのデータセットをランダムに選択させ（１００３）、
バッチ顔画像とそれに対応するラベルをサンプリングさせ（１００５）、
１つのアンカー顔画像、同じアイデンティティからのサンプル顔画像及び前記１つのアンカー顔画像とは異なるアイデンティティからのサンプル顔画像を含むトリプレットサンプルをサンプリングさせ（１００７）、
選択された２つのデータセットのサンプルを用いてフォワードパスを実行させ（１００９）、
バックボーン畳み込みニューラルネットワーク（ＣＮＮ）を用いて顔画像の表現を見つけさせ（１０１１）、
前記顔画像の表現と前記バックボーンＣＮＮから、ポジティブペアとネガティブペアを用いて異なる空間で作成される共分散を生成させ（１０１３）、
前記共分散を用いてクロスドメイン類似度損失関数を計算させる（１０１５）、非一時的なコンピュータで読み取り可能な記録媒体。
【請求項9】
前記共分散は、前記選択された２つのデータセットの基礎となる分布を符号化する、請求項８に記載の非一時的なコンピュータで読み取り可能な記録媒体。
【請求項10】
前記ポジティブペアは同じアイデンティティからの顔画像であり、ネガティブペアは異なるアイデンティティからの顔画像である、請求項８に記載の非一時的なコンピュータで読み取り可能な記録媒体。
【請求項11】
前記クロスドメイン類似度損失関数は、１つのドメインに存在する類似度メトリックを転送して、別のドメインからアイデンティティのコンパクトクラスタを学習する、請求項８に記載の非一時的なコンピュータで読み取り可能な記録媒体。
【請求項12】
前記クロスドメイン類似度損失関数は、２つのドメインからの入力を受け入れ、第１のドメインから前記ポジティブ及びネガティブペアの基礎となる残差分布を推定し、ポジティブサンプルとネガティブサンプルとの間の距離を測定する、請求項８に記載の非一時的なコンピュータで読み取り可能な記録媒体。
【請求項13】
Ｎが観測数であり、【数7】
【数8】
【数9】
【請求項14】
Ｎが観測数であり、【数10】
【数11】
【数12】
【請求項15】
意味的に意味のある表現を学習することで、Ｕｎｓｅｅｎドメインからの顔認識を改良するためのシステムであって、メモリと、
複数のデータセットからアイデンティティが関連付けられた顔画像を取得し（１００１）、
モデルを訓練するために複数のデータセットのうちの２つのデータセットをランダムに選択し（１００３）、
バッチ顔画像とそれに対応するラベルをサンプリングし（１００５）、
１つのアンカー顔画像、同じアイデンティティからのサンプル顔画像及び前記１つのアンカー顔画像とは異なるアイデンティティからのサンプル顔画像を含むトリプレットサンプルをサンプリングし（１００７）、
選択された２つのデータセットのサンプルを用いてフォワードパスを実行し（１００９）、
バックボーン畳み込みニューラルネットワーク（ＣＮＮ）を用いて顔画像の表現を見つけ（１０１１）、
前記顔画像の表現と前記バックボーンＣＮＮから、ポジティブペアとネガティブペアを用いて異なる空間で作成される共分散を生成し（１０１３）、
前記共分散を用いてクロスドメイン類似度損失関数を計算する（１０１５）ように構成された、前記メモリと通信する１つまたは複数のプロセッサと、
を有するシステム。
【請求項16】
前記ポジティブペアは同じアイデンティティからの顔画像であり、ネガティブペアは異なるアイデンティティからの顔画像である、請求項１５に記載のシステム。
【請求項17】
前記クロスドメイン類似度損失関数は、１つのドメインに存在する類似度メトリックを転送して、別のドメインからアイデンティティのコンパクトクラスタを学習する、請求項１５に記載のシステム。
【請求項18】
前記クロスドメイン類似度損失関数は、２つのドメインからの入力を受け入れ、第１のドメインから前記ポジティブ及びネガティブペアの根底にある残差分布を推定し、前記第２のドメインのポジティブサンプルとネガティブサンプルとの間の距離を測定する、請求項１５に記載のシステム。
【請求項19】
Ｎが観測数であり、【数13】
【数14】
【数15】
【請求項20】
Ｎが観測数であり、【数16】
【数17】
【数18】
【発明の詳細な説明】
【技術分野】
【0001】
この出願は、２０２０年１１月１０日に出願された米国仮特許出願第６３／１１１，８４２号、２０２０年１１月１６日に出願された米国仮特許出願第６３／１１４，０１３号及び２０２１年１１月１６日に出願された米国特許出願第１７／５１９，９５０号を基礎とする優先権を主張し、それぞれの開示の全てをここに取り込む。
【0002】
本発明は、顔認識モデルに関し、より具体的には、意味特徴の学習を介したＵｎｓｅｅｎドメインからの顔認識を改良することに関する。
【背景技術】
【0003】
深層ニューラルネットワークを利用した顔認識は、一般的な評価ベンチマークにおいて有望な結果を示している。現在の方法の多くは訓練データとテストデータの分布が類似しているという前提に基づいている。しかしながら、実際のシナリオに展開すると、これらのモデルでは、多くの場合、未知の統計値でデータをテストするためにうまく一般化されない。顔認識アプリケーションにおいて、このことは訓練データと評価データの間で民族、性別、年齢等の属性が変化することを意味する場合がある。一方、少数しか存在しない属性に従ってより多くのデータを収集してラベル付けするには、コストを要する。したがって、既存のデータを考慮して、普遍的な顔の表現を生成し、そのような多様なシナリオに適用できる訓練アルゴリズムが必要である。
【発明の概要】
【0004】
意味的に意味のある表現を学習することで、Ｕｎｓｅｅｎドメインからの顔認識を改良するための方法が提示される。本方法は、複数のデータセットからアイデンティティが関連付けられた顔画像を取得し、モデルを訓練するために複数のデータセットのうちの２つのデータセットをランダムに選択し、バッチ顔画像とそれに対応するラベルをサンプリングし、１つのアンカー顔画像、同じアイデンティティからのサンプル顔画像及び前記１つのアンカー顔画像とは異なるアイデンティティからのサンプル顔画像を含むトリプレットサンプルをサンプリングし、選択された２つのデータセットのサンプルを用いてフォワードパスを実行し、バックボーン畳み込みニューラルネットワーク（ＣＮＮ）を用いて顔画像の表現を見つけ、顔画像の表現とバックボーンＣＮＮから、ポジティブペアとネガティブペアを用いて異なる空間で作成される共分散を生成し、共分散を用いてクロスドメイン類似度損失関数を計算する。
【0005】
意味的に意味のある表現を学習することで、Ｕｎｓｅｅｎドメインからの顔認識を改良するためのコンピュータで読み取り可能なプログラムを含む、非一時的なコンピュータで読み取り可能な記録媒体が提示される。コンピュータで読み取り可能なプログラムは、コンピュータで実行されると、コンピュータに、複数のデータセットからアイデンティティが関連付けられた顔画像を取得させ、モデルを訓練するために複数のデータセットのうちの２つのデータセットをランダムに選択させ、バッチ顔画像とそれに対応するラベルをサンプリングさせ、１つのアンカー顔画像、同じアイデンティティからのサンプル顔画像及び前記１つのアンカー顔画像とは異なるアイデンティティからのサンプル顔画像を含むトリプレットサンプルをサンプリングさせ、選択された２つのデータセットのサンプルを用いてフォワードパスを実行させ、バックボーン畳み込みニューラルネットワーク（ＣＮＮ）を用いて顔画像の表現を見つけさせ、顔画像の表現とバックボーンＣＮＮから、ポジティブペアとネガティブペアを用いて異なる空間で作成される共分散を生成させ、共分散を用いてクロスドメイン類似度損失関数を計算させる。
【0006】
意味的に意味のある表現を学習することで、Ｕｎｓｅｅｎドメインからの顔認識を改良するためのシステムが提示される。本システムは、メモリと、複数のデータセットからアイデンティティが関連付けられた顔画像を取得し、モデルを訓練するために複数のデータセットのうちの２つのデータセットをランダムに選択し、バッチ顔画像とそれに対応するラベルをサンプリングし、１つのアンカー顔画像、同じアイデンティティからのサンプル顔画像及び１つのアンカー顔画像とは異なるアイデンティティからのサンプル顔画像を含むトリプレットサンプルをサンプリングし、選択された２つのデータセットのサンプルを用いてフォワードパスを実行し、ックボーン畳み込みニューラルネットワーク（ＣＮＮ）を用いて顔画像の表現を見つけ、顔画像の表現とバックボーンＣＮＮから、ポジティブペアとネガティブペアを用いて異なる空間で作成される共分散を生成し、共分散を用いてクロスドメイン類似度損失関数を計算する（１０１５）ように構成された、メモリと通信する１つまたは複数のプロセッサと、を有する。
【0007】
これら及び他の特徴並びに利点は、以下の典型的な実施形態の詳細な説明を添付の図面と併せて読むことで明らかになるであろう。
【0008】
本開示では、後述するように、以下の図面を参照しながら好ましい実施形態について詳細に説明する。
【図面の簡単な説明】
【0009】
【0010】
【0011】
【0012】
【0013】
【0014】
【0015】
【0016】
【発明を実施するための形態】
【0017】
ドメイン汎化は、特定の課題に対処するために世に出たが、主に限られた数のクラスによるオブジェクトの分類に使用される。ドメイン汎化は、異なる分布を有する複数のラベル付けされたソースドメインを用いて、テスト時にＵｎｓｅｅｎターゲットデータを適切に汎化するモデルを学習することを目的とする。但し、多くのドメイン汎化法はクローズドセットのシナリオに合わせて適合されているため、ドメインのラベル空間がバラバラである場合は直接適用できない。汎化された顔認識は、非常に大規模なカテゴリを有するオープンセットアプリケーションの顕著な例であり、この分野でのさらなる研究の必要性を奨励している。
【0018】
例示的な実施形態は、意味的に意味のある表現を学習することで、Ｕｎｓｅｅｎドメインからの顔認識に起因して提示される問題を改良するアプローチを導入する。モデルの訓練では、様々なソースからの訓練データ間の意味的一致性の概念を活用することが有益である。結果として、例示的な実施形態は、クロスドメイントリプレット（ＣＤＴ：Cross-Domain Triplet）損失、すなわちトリプレット方針に基づく損失を導入し、２つのドメインを採用することで有用な特徴量を学習し、一方のドメインは類似度メトリックを提供し、アイデンティティのコンパクトな特徴量クラスタを他方のドメインから学習する。類似度メトリックは、共分散行列によってエンコードされる。
【0019】
本発明の例示的な実施形態は、２つの観察されたドメインに共に含まれる情報を用いて、ドメインのより良い整列を提供するＣＤＴ損失を導入する。ＣＤＴ損失は、最初に１つのデータ分布の類似度メトリックを考慮し、次に別のドメインに属するアイデンティティのコンパクトな特徴量クラスタを適用するために、トリプレット損失と同様の方法でメトリックを使用する。直感的に、ＣＤＴ損失は、ネットワーク内で最小化される統合損失関数において、あるドメインから取得された明示的なメトリックを別のドメインからのトリプレットサンプルと識別的に相関させ、それが訓練ドメインのより良い整列につながる。例示的な実施形態は、またメタ学習パイプラインに損失を組み込み、ドメインシフト下で汎化された特徴量を学習するためにネットワークパラメータをさらに適用する。
【0020】
クラス固有の共分散行列を使用する代わりに、例示的な実施形態は、ポジティブ及びネガティブペアの特徴量残余空間に問題をキャストし、その後、１つのドメインにおいて、ポジティブ及びネガティブペアの類似度メトリックを推定する。次に、例示的な実施形態は、別のドメインのトリプレットを利用して、個々のコンパクトなクラスタを学習する。理論的洞察及び実験的評価によって裏付けられているように、ＣＤＴ損失は２つのドメインを特徴的な方法で整列する。さらに、メタ学習フレームワークでは、ドメインシフトで汎化された特徴量を学習するために、ネットワークパラメータがさらに適用される。
【0021】
この分野における最近の研究努力は、メタ顔認識（ＭＦＲ：Meta Face Recognition）であり、この場合、損失は、ハードネガティブ及びポジティブサンプルの距離、アイデンティティの分類及びドメイン中心間の距離から構成される。さらに、単にドメインの平均を実施しても、必ずしもドメインの分布が整列するとは限らず、例えば、異なるドメインからの異なるクラスのサンプルが整列する等、望ましくない影響が生じる可能性がある。結果として、この損失要素が必ずしも該認識を改良するとは限らない。
【0022】
要約すると、例示的な実施形態は、１つのドメインに存在する類似度メトリックを明示的に転送する効果的なＣＤＴ損失関数を導入し、別のドメインからアイデンティティのコンパクトなクラスタを学習する。これにより、Ｕｎｓｅｅｎドメインから顔認識のための意味的に意味のある表現を学習することになる。より汎化された特徴量が得られるドメインシフトにネットワークパラメータを顕在化するために、例示的な実施形態は、モデルにとらわれない学習パイプラインに新しい損失を組み込む。
【0023】
特に、意味的に意味のある表現を学習することで、Ｕｎｓｅｅｎドメインからの顔認識の問題を改良するアプローチが提示される。モデルの訓練では、異なる分布からのデータ間の意味的一致性の概念を活用することが有益である。例示的な方法は、あるドメインからアイデンティティのコンパクトなクラスタを実施することで、意味的に意味のある特徴量を学習する。コンパクトさは、異なる統計を備える別のドメインに属する基本的な類似度メトリックによって測定される。実際、例示的な実施形態は、異なるラベル空間を有するドメインにわたる類似度メトリックとしてエンコードされた知見を抽出する。
【0024】
例示的なアーキテクチャは、画像／顔認識設計に従う。例示的なアーキテクチャは、θrでパラメータ化された表現学習ネットワーク
、θeでパラメータ化された埋め込みネットワーク
及びθcでパラメータ化された分類器ネットワーク
を含む。
は、テスト時に汎化された特徴量を抽出するために最終的に使用されるバックボーンである。
は、例えば、
から入力を受け取る１組の全結合層である、どちらも軽いネットワークである。より具体的には、
を介して画像Ｉを転送すると、テンソル
が出力される。このテンソルは、平滑化された後、分類器
及び埋め込みネットワーク
に対する入力として機能する。
【数1】
【数2】
【数3】
【数4】
【数5】
【数6】
【数7】
【数8】
【数9】
【数10】
【0025】
より詳細な内容に触れる前に、定式化で使用される幾つかの基本的な概念を説明する。複数のソースドメインから汎化された特徴量を学習するための機能が提供され、メタ学習を用いてソリューションがモデルに依存しないアルゴリズムに組み込まれる。
【0026】
太字の小文字（例えば、
は、列ベクトルを示すために使用され、太字の大文字（例えば、
は行列に使用される。ｄ×ｄの恒等行列は
で表される。テンソル
により、次数ｋの多次元アレイは、例えば
で示唆される。
は、
の位置
にある要素を示す。
【数11】
【数12】
【数13】
【数14】
【数15】
【数16】
【数17】
【数18】
【0027】
リーマン幾何学において、ユークリッド空間
は、
で定義される内積を備えたリーマン多様体である。
におけるマハラノビス距離のクラスは次のように表される。
【数19】
【数20】
【数21】
【数22】
【0028】
ここで、
は半正定値（ＰＳＤ：Positive Semi-Definite）行列である。これは、メトリック行列が
として選択された場合、ユークリッド
距離に要約される。マハラノビスメトリック学習の背後にある動機付けは、
における軸を拡大または縮小することで
が特定の有用なプロパティを与えるように
を決定することである。
【数23】
【数24】
【数25】
【数26】
【数27】
【数28】
【0029】
メトリック学習に関する一般的な深層ニューラルネットワークにおいて、減次元空間へのデータの埋め込みを提供するために、損失層（例えば、対照またはトリプレット）の直前の重み行列
を有するＦＣ層に依存する。
がＰＳＤ行列であり、
として分解できるという事実を考えると、ネットワークを通過する（バッチの）２つのサンプルｘとｙの間の２乗
距離は、次のように計算される。
【数29】
【数30】
【数31】
【数32】
【数33】
【0030】
ここで、
は、画像ｘ上のネットワークの機能を表す。
【数34】
【0031】
正式には、ｄ×ｄ共分散行列（ｄは特徴量マップの次元である）は、次のような、Ｎ個の観測値（特徴ベクトル）
のセットから構築される。
【数35】
【数36】
【0032】
ここで、
である。
【数37】
【0033】
共分散行列は、その入力特徴ベクトルの二次統計をエンコードする。これは、このような単一のコンパクトな表現でデータの基本的な分布を推定する動機付けになる。少数ショット学習（few-shot learning）に関する最近の研究では、クラス固有の共分散行列を利用して、クエリサンプルと特定のクラスサンプル間の分布の一致性を測定する利点も示されている。例示的な実施形態は、ポジティブ（ネガティブ）の画像ペアを用いて、等しい（異なる）アイデンティティを有する顔画像を表す。さらに、トリプレット（アンカー、ポジティブ、ネガティブ）には、１つのアンカー顔画像、同じアイデンティティの別のサンプル及び別のアイデンティティの１つの画像が含まれる。
【0034】
クロスドメイン類似度学習に関して、例示的な実施形態は、訓練中にそれぞれ民族等の異なる属性を有するｍ個のソースドメインが観察される顔認識シナリオに取り組む。テスト時に、様々なアイデンティティと属性を有する個人のサンプルを含む新しいターゲットドメインがネットワークに提示される。例示的な実施形態は、この問題を、クロスドメイントリプレット（ＣＤＴ：Cross-Domain Triplet）損失と呼ばれるトリプレット損失目的関数に基づく新規の損失を用いてネットワークを最適化しながら定式化する。
【0035】
クロスドメイントリプレット損失は、２つのドメイン
からの入力を受け入れ、１つのドメイン（例えば、
からポジティブペアとネガティブペアの基本的な残差分布を推定し、他のドメイン（例えば、
の（アンカー、ポジティブ）サンプルと（アンカー、ネガティブ）サンプルとの間の距離を測定する。計算された距離と予め定義されたマージンとを用いて、標準のトリプレット損失関数が適用されて、２つの分布を整列する。
【数38】
【数39】
【数40】
【0036】
一例において、
は、ｊ
番目のドメインからのBjトリプレットのバッチを表し、そこからポジティブサンプル
を考えることができる。簡単にするために、例示的な方法では、上付き文字ｊを省略する。例示的な方法は、共分散行列によって基本的な分布を推定するために、各画像の全ての局所記述子を組み合わせる。具体的には、例示的な実施形態は、特徴量テンソル表現
を取得するために、
を介して各ポジティブ画像ペア（ａ、ｐ）を転送する。例示的な実施形態は、ペアワイズ差分の空間に問題をキャストする。
【数41】
【数42】
【数43】
【数44】
【数45】
【0037】
したがって、テンソルは
として定義される。例示的な実施形態は、得られたテンソル
をベクトル
に平滑化する。
【数46】
【数47】
【数48】
【0038】
これにより、ペアワイズ差分空間におけるポジティブペアの共分散行列は次のように計算できる。
【数49】
【0039】
ここで、Ｎ＝ＢＨＷ及び
である。
【数50】
【0040】
同様に、Ｂネガティブペア
のバッチを用いて、例示的な方法は、各（ａ，ｎ）について
を見出し、
をベクトル
に平滑化する
【数51】
【数52】
【数53】
【数54】
【0041】
これにより、ネガティブペアの共分散行列を次のように定義できる。
【数55】
【0042】
ここで、Ｎ＝ＢＨＷ及び
である。
【数56】
【0043】
画像のバッチが適切なサンプルを有することを考慮すると、各顔画像は共分散計算においてＨＷサンプルを有するため、有効なＰＳＤ共分散行列が確実に得られる。さらに、大きなバッチサイズからのサンプルは、ドメイン分布を十分に近似できる。
【0044】
ＣＤＴ損失は、上記で定義されたマハラノビス距離関数
を利用することで、同様の方法で機能し、別のドメインからの類似度メトリックを使用してサンプルの距離を計算する。ドメイン
からのトリプレット画像
とドメイン
からの
がそれぞれポジティブペアとネガティブペアの共分散行列を介して計算されると、次のように定義される。
【数57】
【数58】
【数59】
【数60】
【数61】
【数62】
【0045】
ここで、τは所定のマージンであり、
はヒンジ関数である。
【数63】
【0046】
例示的な方法は、ロングテール認識問題においてより効果的であることが示されているため、クラス平衡サンプリングを利用して、共分散及びＣＤＴ損失計算の両方に入力を提供する。
【0047】
提案の中心は、異なる分布を有する２つのドメインのサンプルで定義された
の形式の距離である。ｒが正規分布から引き出された場合、Σを乗算すると、経験的共分散行列に従って距離が得られる。ここで、ポイント全体の最適化はドメインの整列を意味する。より具体的には、ΣがＳＰＤであると仮定すると、例えば、
の固有値分解が存在する。本項を拡張すると、次のようになる。
【数64】
【数65】
【数66】
【0048】
これは、ｒを対応する固有値によって重み付けされたΣの固有ベクトルと相関させる。これは、ｒが経験的共分散行列Σの主要な固有ベクトルの方向にあるときに最大となる。つまり、Σの固有ベクトルは入力データの分散が最大になる方向であるため、この項をｒ個のベクトルにわたって最小化すると、２つのデータソースの整列が生じる。以下で説明する図４は、損失の基本的なプロセスを示している。
【0049】
ドメイン汎化タスクの最近の傾向に従って、例示的な実施形態は、モデルにとらわれない学習フレームワーク下で勾配ベースのメタ訓練／メタテストエピソードを用いて、最適化プロセスを分布シフトに公開する。以下に再現されたアルゴリズム１は、全体的な訓練プロセスをまとめたものである。より具体的には、訓練の各ラウンドで、例示的な実施形態は、入力ソースドメインを１つのメタテストドメインと残りのメタ訓練ドメインに分割する。例示的な実施形態は、損失を計算するために、各ドメインからＢ個のトリプレットをランダムにサンプリングする。
【表1】
【0050】
最初に、例示的な実施形態は、分類及びトリプレット損失Ｌsの合計に基づいて、２つの共分散行列Σ+及びΣ-、並びにパラメータの一時的なセット
を計算する。ネットワークは、提供されたメタテストドメインで意味的に適切に機能するように訓練されているため、Σ+、Σ-及び
を用いて、メタテストドメインでの損失Ｌtを計算する。この損失には、ドメインアラインメントのためのクロスドメイン類似度も含む、追加のＣＤＴ損失Ｉcdtを有する。最終的に、モデルパラメータは、ＬsとＬtの両方の累積勾配によって更新される。これは、オリジナルのモデルに依存しないメタ学習（ＭＡＭＬ）よりも効果的であることが示されているためである。例示的な実施形態において、累積損失Ｌtは、モデルをより高次の勾配で更新するために追加の正則化を提供する。
【数67】
【数68】
【0051】
分類訓練信号を有することは、顔認識アプリケーションにとって有益である。結果として、例示的な方法は、以下のようにアイデンティティ分類損失としてラージマージンコサイン損失（ＬＭＣＬ：Large Margin Cosine Loss）を使用する。
【数69】
【0052】
ここで、ｙiは画像Ｉiのグラウンドトゥルースアイデンティティであり、
は分類器ネットワークであり、ｗyiはアイデンティティｙiの重みベクトルであり、ｓはスケーリング乗数であり、ｍはマージンである。
【数70】
【0053】
例示的な実施形態は、ｆrネットワークがドメインからのアイデンティティに従って局所的にコンパクトな意味特徴を学習することをさらに促進する。この目的のために、例示的な方法はトリプレット損失を使用する。標準の
距離関数
を使用する場合、トリプレット損失関数は、ａとｎの間の距離が、ａとｐの間の距離に予め定義されたマージンｐを加えたものよりも大きくなるような、各トリプレットに関する訓練信号を提供する。より正式には
である。
【数71】
【数72】
【数73】
【0054】
ｗy、ｆc（Ｉ）及びｆe（Ｉ）は、損失を計算する前に
正規化されることに留意されたい。さらに、
は、
によって抽出された表現に影響する。
【数74】
【数75】
【数76】
【0055】
要約すると、例示的な方法は、クロスドメイントリプレット（ＣＤＴ）損失と呼ばれるクロスドメインメトリック学習損失を導入し、Ｕｎｓｅｅｎドメインにおける顔認識を改良する。ＣＤＴ損失は、１つのドメインからのアイデンティティのコンパクトな機能クラスタを実施することにより、意味的に意味のある特徴の学習を促進する。コンパクトさは、異なる統計を有する別の訓練ドメインに属する基本的な類似度メトリックによって測定される。直感的に、ＣＤＴ損失は、ネットワーク内で最小化される統合損失関数において、１つのドメインから導出された明示的なメトリックを別のドメインからのトリプレットサンプルと識別的に相関させ、訓練ドメインのより良い整列につながる。モデルに依存しない学習パイプラインにおいて、ドメインシフト下で汎化された特徴量を学習するために、ネットワークパラメータがさらに適用される。メタ顔認識の最近の研究とは異なり、例示的な方法では、訓練中に入念なハードペアサンプルマイニング及びフィルタリング戦略を必要としない。
【0056】
図１は、本発明の一実施形態による、訓練データの特定の変動にバイアスの無い特徴量を出力できるフェアモデルを学習するための例示的な概略のブロック／フロー図である。
【0057】
深層ニューラルネットワークを使用した顔認識は、一般的な評価ベンチマークで有望な結果を示している。現在の方法の多くは、訓練データとテストデータがデータ分布を共有するという前提に基づいている。但し、実際のシナリオに展開すると、これらのモデルは、統計が不明なテストデータを処理できないため、失敗することがよくある。顔認識アプリケーションでは、これは訓練データ及び評価データの民族、性別、年齢等の属性の変化を意味する。一方、少数しか存在しない属性に従ってより多くのデータを収集してラベル付けするには、コストを要する。したがって、既存のデータを考慮して、普遍的な顔の表現を生成し、そのような多様なシナリオに適用可能な普遍的な顔の表現を実現できる訓練アルゴリズムが必要である。ここで、例示的な実施形態は、訓練中に民族及び性別等の異なる属性をそれぞれが有する幾つかのソースドメインが観察される顔認識シナリオに取り組む。テスト時に、様々なアイデンティティと属性を有する個人のサンプルを含む新しいターゲットドメインがネットワークに提示される。図１で示すように、例示的な実施形態は、民族１１０等の訓練データの特定の変動にバイアスの無い特徴量１３０を出力できるフェアモデル１２０を学習することを目的とする。
【0058】
モデルは、多様なデータ分布を含む複数のデータセットを用いて訓練されるため、試験データが未知の分布、例えば民族からのものである場合、様々なシナリオを扱うことができる。したがって、最終的なモデルは、新しい環境（新しい国等）に展開されたときにロバストなパフォーマンスを生み出すことができる。
【0059】
図２は、本発明の一実施形態による、別のドメインからサンプルのコンパクトなクラスタを学習するために、各ドメインから類似度メトリック行列を作成及び転送するための例示的な概略１５０のブロック／フロー図である。
【0060】
例示的な方法は、モデルを訓練する際に、異なる分布から到来するデータ間の意味的一致性の概念を利用することが有益であることを示している。例示的な実施形態は、１つのドメインからアイデンティティのコンパクトなクラスタを適用することで意味的に意味のある特徴量を学習する。コンパクトさは、異なる統計を有する別のドメインに属する基本的な類似度メトリックによって測定される。実際、例示的な実施形態は、異なるラベル空間を有するドメインにわたる類似度メトリックとしてエンコードされた知見を抽出する。
【0061】
より具体的には、例示的な方法は、新しいトリプレット損失目的関数を用いてネットワークを最適化するものとして、Ｕｎｓｅｅｎドメインからの顔認識の問題を定式化する。新しい目的関数は、１つのデータ分布で学習した類似度を考慮に入れ、別のドメインで意味上の類似度を学習して、より汎化可能な特徴量を学習する。例示的な方法は、ドメインのサンプルの共分散行列をデータ分布として利用する。例示的な方法は、定義された分布を他のドメインに転送し、アンカーとポジティブサンプル間の距離を小さくすると同時に、アンカーとネガティブサンプル間の距離を大きくする。新規な損失は、クロスドメイン類似度損失と呼ばれる。これは、マハラノビス距離関数と同様の方法で機能し、トリプルワイズ訓練戦略で別のドメインからの類似度メトリックを用いてサンプルの距離を計算する。
【0062】
図３は、本発明の一実施形態による、例示的な訓練プロセスのブロック／フロー図である。
【0063】
訓練データセット１６０に関して、入力顔画像は、データセット１、データセット２、…、データセットＮとして示されるＮ個のデータセットから得られる。各データセットは、関連付けられたアイデンティティを有する顔画像を含む。各アイデンティティに関し、幾つかのサンプルがある場合がある（例えば、同じ人物のサンプル画像）。
【0064】
バックボーン畳み込みニューラルネットワーク（ＣＮＮ）１７４及びサンプリング１７２に関して、全ての利用可能なＮ個のソースデータセット１６０から、モデルを訓練するために２つのデータセットがランダムに選択される。次に、バッチ画像とそれに対応するラベルがサンプリングされる。次に、例示的な方法は、１つのアンカー顔画像、同じアイデンティティからの別のサンプル画像及びアンカー画像とは異なるアイデンティティからの１つのサンプルを含むトリプレットサンプルをサンプリングする。
【0065】
例示的な方法は、２つのデータセットのサンプルを使用してフォワードパスを実行し、バックボーンＣＮＮ１７４を使用して画像の表現を見つける。
【0066】
損失構成１８０、特に共分散構成１８２に関して、例示的な方法は、１つのデータセットからのバックボーンＣＮＮ１７４の出力表現を使用して、データの基本的な分布をエンコードする共分散行列を生成する。実際、例示的な方法は、（アンカー、ポジティブ）ペア（例えば、同じアイデンティティからの顔画像）及び（アンカー、ネガティブ）ペア（例えば、異なるアイデンティティからの顔画像）を使用して差分空間で共分散を行う。
【0067】
クロスドメイン類似度損失関数１８４に関して、例示的な方法は、２つの共分散を用いて、他のデータセットから得られる（アンカー、ポジティブ）ペアと（アンカー、ネガティブ）ペアとの間の距離を見つける。例示的な方法は、アンカーとポジティブサンプルとの間の距離を小さくすると同時に、アンカーとネガティブサンプルとの間の距離を大きくする。
【0068】
図４は、本発明の一実施形態による、クロスドメイントリプレット損失２００の例示的な概略のブロック／フロー図である。
【0069】
関連するラベルを有する２つのドメインｉ及びｊのサンプルが与えられると、ドメインｉのポジティブ及びネガティブペアの差分空間における共分散行列が計算され、ドメインｊのポジティブペアを近くし、ネガティブペアを遠くするために使用される。これにより、分布を揃えながらアイデンティティのコンパクトなクラスタが作成される。ポジティブ及びネガティブペアの整列は統一された方法で同時に行われることに留意されたい。
【0070】
図５は、本発明の一実施形態による、意味的に意味のある表現を学習することで、Ｕｎｓｅｅｎドメインからの顔認識を改良するための例示的な式のブロック／フロー図である。
【0071】
式２５０は、ポジティブペアの共分散行列、ネガティブペアの共分散行列及びクロスドメイントリプレット損失を含む。
【0072】
【0073】
１つの実施例において、第１のカメラ８０２は第１のアイデンティティの第１の人物８０６を検出でき、第２のカメラ８０４は第２のアイデンティティの第２の人物８０８を検出できる。特徴量８０６及び８０８は、ポジティブペアの共分散行列２１０及びネガティブペアの共分散行列２２０を用いて、クロスドメイン類似度損失関数２００によって処理される。結果８１０（例えば、アイデンティティ）は、ユーザ８１４に取り扱われるユーザインタフェース８１２に提供または表示できる。
【0074】
図７は、本発明の一実施形態による、意味的に意味のある表現を学習することで、Ｕｎｓｅｅｎドメインからの顔認識を改良するための例示的な処理システムである。
【0075】
処理システムは、システムバス９０２を介して他のコンポーネントと動作可能に接続された少なくとも１つのプロセッサ（ＣＰＵ）９０４を含む。システムバス９０２には、ＧＰＵ９０５、キャッシュ９０６、読み取り専用メモリ（ＲＯＭ）９０８、ランダムアクセスメモリ（ＲＡＭ）９１０、入出力（Ｉ／Ｏ）アダプタ９２０、ネットワークアダプタ９３０、ユーザインタフェースアダプタ９４００及び／またはディスプレイアダプタ９６０が動作可能に接続されている。さらに、クロスドメイン類似度損失関数２００は、ポジティブペアの共分散行列２１０及びネガティブペアの共分散行列２２０で使用できる。
【0076】
記憶装置９２２は、Ｉ／Ｏアダプタ９２０によってシステムバス９０２と動作可能に接続されている。記憶装置９２２は、ディスク記憶装置（例えば、磁気または光ディスク記憶装置）、固体磁気装置等のいずれであってもよい。
【0077】
トランシーバ９３２は、ネットワークアダプタ９３０によってシステムバス９０２に動作可能に接続されている。
【0078】
ユーザ入力装置９４２は、ユーザインタフェースアダプタ９４０によってシステムバス９０２に動作可能に接続されている。ユーザ入力装置９４２は、キーボード、マウス、キーパッド、イメージキャプチャ装置、モーションセンシング装置、マイクロホン、あるいはこれらの装置のうちの少なくとも２つの装置の機能を組み込んだ装置等のいずれであってもよい。もちろん、本発明の原理の主旨を維持しながら、他のタイプの入力装置を使用することもできる。ユーザ入力装置９４２は、同じタイプのユーザ入力装置であってもよく、異なるタイプのユーザ入力装置であってもよい。ユーザ入力装置９４２は、処理システムに情報を入力し、処理システムから情報を出力するために使用される。
【0079】
ディスプレイ装置９５２は、ディスプレイアダプタ９５０によってシステムバス９０２に動作可能に接続されている。
【0080】
もちろん、処理システムは、当業者であれば容易に思いつくような他の要素（図示せず）を含んでもよく、特定の要素を省略することも可能である。例えば、当業者であれば容易に理解できるが、処理システムには、その特定の実装に応じて他の様々なタイプの入力装置及び／または出力装置を含むことができる。例えば、無線及び／または有線による様々な入力装置及び／または出力装置を使用できる。さらに、当業者であれば容易に理解できるが、様々な構成の追加プロセッサ、コントローラ、メモリ等を使用することも可能である。処理システムの上記及び他の変形例は、本明細書で提供される本原理の教示によって当業者であれば容易に考えられるであろう。
【0081】
図８は、本発明の一実施形態による、意味的に意味のある表現を学習することで、Ｕｎｓｅｅｎドメインからの顔認識を改良するための例示的な方法のブロック／フロー図である。
【0082】
ブロック１００１において、複数のデータセットからアイデンティティが関連付けられた顔画像を取得する。
【0083】
ブロック１００３において、複数のデータセットのうちの２つのデータセットをランダムに選択してモデルを訓練する。
【0084】
ブロック１００５において、バッチ顔画像及びそれらに対応するラベルをサンプリングする。
【0085】
ブロック１００７において、１つのアンカー顔画像、同じアイデンティティからのサンプル顔画像及び１つのアンカー顔画像とは異なるアイデンティティからのサンプル顔画像を含むサンプルトリプレットをサンプリングする。
【0086】
ブロック１００９において、選択された２つのデータセットのサンプルを用いてフォワードパスを実行する。
【0087】
ブロック１０１１において、バックボーン畳み込みニューラルネットワーク（ＣＮＮ）を用いて顔画像の表現を見つける。
【0088】
ブロック１０１３において、顔画像の表現とバックボーンＣＮＮから共分散を生成する。共分散はポジティブペアとネガティブペアを用いて異なる空間で作成される。
【0089】
ブロック１０１５において、共分散を用いてクロスドメイン類似度損失関数を計算する。
【0090】
本明細書で用いる「データ」、「コンテンツ」、「情報」及び同様の用語は、様々な例示的な実施形態によって取得され、送信され、受信され、表示され、及び／または保存可能なデータを示すために、交換可能に使用できる。したがって、これらの用語の使用は、開示の主旨及び範囲を制限するものと解釈されるべきではない。さらに、本明細書に別の計算デバイスからデータを受信するための計算デバイスが記載されている場合、データは、別の計算デバイスから直接受信してもよく、１つ以上の中間計算デバイス、例えば１つ以上のサーバ、リレー、ルータ、ネットワークアクセスポイント、基地局等を介して間接的に受信してもよい。同様に、本明細書にデータを別の計算デバイスに送信するための計算デバイスが記載されている場合、データは、別の計算データに直接送信してもよく、例えば、１つ以上のサーバ、リレー、ルータ、ネットワークアクセスポイント、基地局及び／または同様のもの等の１つ以上の中間計算デバイスを介して間接的に送信してもよい。
【0091】
当業者であれば理解するように、本発明の態様は、システム、方法またはコンピュータプログラム製品として実施してもよい。したがって、本発明の態様は、全体としてハードウェアの実施形態であってもよく、全体としてソフトウェアの実施形態（ファームウェア、常駐ソフトウェア、マイクロコード等を含む）であってもよく、本明細書において、一般に「回路」、「モジュール」、「計算機」、「装置」または「システム」と呼ぶことができる、ソフトウェアとハードウェアの態様を組み合わせた実施の形態を採用してもよい。さらに、本発明の態様は、コンピュータで読み取り可能なプログラムコードを有する、１つまたは複数のコンピュータで読み取り可能な媒体で具現化された、コンピュータプログラム製品の形態を採用してもよい。
【0092】
１つまたは複数のコンピュータで読み取り可能な媒体の任意の組合せを用いてもよい。コンピュータで読み取り可能な媒体は、コンピュータで読み取り可能な信号媒体またはコンピュータで読み取り可能な記録媒体であってもよい。コンピュータで読み取り可能な記録媒体は、例えば、電子、磁気、光学、電磁気、赤外線または半導体システム、装置またはデバイス、あるいは前述の任意の適切な組合せとすることができるが、これらに限定されない。コンピュータで読み取り可能な記録媒体のより具体的な例（以下に限定されない）は、１つ以上のワイヤ、携帯用コンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリーメモリ（ＥＰＲＯＭまたはフラッシュメモリ）、光ファイバ、携帯用コンパクトディスクリードオンリーメモリ（ＣＤ－ＲＯＭ）、光データ記憶装置、磁気データ記憶装置または前述した任意の適切な組み合わせを含む。本文書のコンテキストにおいて、コンピュータで読み取り可能な記録媒体は、命令実行システム、装置またはデバイスによって、またはそれに関連して使用するためのプログラムを含む、またはそれを記憶できる、任意の有形媒体であってもよい。
【0093】
コンピュータで読み取り可能な信号媒体には、例えば、ベースバンドで、または搬送波の一部として、コンピュータで読み取り可能なプログラムコードが具現化された伝搬データ信号を含むことができる。そのような伝播信号は、電磁、光学またはそれらの任意の適切な組み合わせを含むが、それらに限定されない、任意の様々な形態がある。コンピュータ読み取り可能な信号媒体は、コンピュータ読み取り可能な記録媒体ではなく、命令実行システム、装置または装置によって、またはそれに関連して使用するためにプログラムを通信、伝播、または移送できる、任意のコンピュータ読み取り可能な媒体であってもよい。
【0094】
コンピュータで読み取り可能な媒体で具現化されるプログラムコードは、無線、有線、光ファイバケーブル、ＲＦ等、あるいは前述した任意の適切な組合せを含むが、これらに限定されない、任意の適切な媒体を用いて送信される。
【0095】
本発明の態様に関する処理を実行するためのコンピュータプログラムコードは、Ｊａｖａ、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋等のオブジェクト指向プログラミング言語及び「Ｃ」プログラミング言語または類似のプログラミング言語等の従来の手続き型プログラミング言語を含む、１つ以上のプログラミング言語の任意の組み合わせで書くことができる。プログラムコードは、全体的にユーザのコンピュータで実行されてもよく、スタンドアロンソフトウェアパッケージとして部分的にユーザのコンピュータで実行されてもよく、部分的にユーザのコンピュータで実行され、かつ部分的にリモートコンピュータで実行されてもよく、全体的にリモートコンピュータまたはサーバで実行されてもよい。後者のシナリオにおいて、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）または広域ネットワーク（ＷＡＮ）を含む任意のタイプのネットワークを介してユーザのコンピュータと接続されてもよく、（例えば、インターネットサービスプロバイダを利用したインターネットを介して）外部コンピュータと接続されてもよい。
【0096】
本発明の態様について、本発明の実施形態による方法、装置（システム）、並びにコンピュータプログラム製品のフローチャート及び／またはブロック図を参照して以下で説明する。フローチャート及び／またはブロック図の各ブロック、並びにフローチャート及び／またはブロック図のブロックにおける組合せは、コンピュータプログラム命令によって実施できることを理解されたい。これらのコンピュータプログラム命令は、コンピュータまたは他のプログラマブルデータ処理装置のプロセッサを通して実行される命令が、フローチャート及び／またはブロック図の１つまたは複数のブロックまたはモジュールに指定される機能／動作を実施するための手段を作り出すようなマシンを生成するために、汎用コンピュータ、専用コンピュータまたは他のプログラマブルデータ処理装置のプロセッサに提供される。
【0097】
これらのコンピュータプログラム命令は、コンピュータで読み取り可能な媒体に保存された命令が、フローチャート及び／またはブロック図の１つまたは複数のブロックまたはモジュールに指定された機能／動作を実装する命令を含む製品を生成するように、コンピュータ、他のプログラマブルデータ処理装置または他のデバイスに、特定の方法で機能するように指示できるコンピュータで読み取り可能な媒体に保存できる。
【0098】
コンピュータプログラム命令は、またコンピュータ、他のプログラマブルデータ処理装置または他のデバイスにロードされて、一連の動作ステップがコンピュータ、他のプログラマブル装置または他のデバイスで実行され、コンピュータまたは他のプログラマブル装置で実行される命令が、フローチャート及び／またはブロック図のブロックまたはモジュールに指定された機能／動作を実装するためのプロセスを提供するように、コンピュータ実装プロセスを生成できる。
【0099】
本明細書で使用する「プロセッサ」という用語は、例えばＣＰＵ（central processing unit）及び／または他の処理回路を含むもの等、任意の処理装置を含むことを意図している。また、「プロセッサ」という用語は１つ以上の処理装置を指すことが可能であり、処理装置に関連する様々な要素は、他の処理装置によって共有されることも理解されたい。
【0100】
本明細書で使用する「メモリ」という用語は、例えば、ＲＡＭ、ＲＯＭ、固定メモリデバイス（例えば、ハードドライブ）、リムーバブルメモリデバイス（例えば、ディスケット）、フラッシュメモリ等、プロセッサまたはＣＰＵに関連するメモリを含むことを意図している。このようなメモリは、コンピュータで読み取り可能な記録媒体と考えることができる。
【0101】
さらに、本明細書で使用する「入力／出力装置」または「Ｉ／Ｏ装置」という用語は、例えば、処理ユニットにデータを入力するための１つまたは複数の入力装置（例えば、キーボード、マウス、スキャナ等）及び／または処理ユニットに関連する、結果を提示するための１つまたは複数の出力装置（例えば、スピーカ、ディスプレイ、プリンタなど）を含むことを意図する。
【0102】
上記は、あらゆる観点において説明的かつ典型的であって限定的でないものと理解されるべきであり、本明細書で開示する本発明の範囲は、詳細な説明から決定されるべきではなく、特許法で認められた最大限の広さに基づいて解釈される特許請求の範囲から決定されるべきである。本明細書中に図示及び記載されている実施形態は、本発明の原理を説明するものにすぎず、本発明の範囲及び主旨から逸脱することなく当業者は様々な変更を実施することができることを理解されたい。当業者は、本発明の範囲及び精神から逸脱することなく、様々な他の特徴の組み合わせを実施できる。以上、本発明の態様について、特許法で要求される細部及び詳細な事項と共に説明したが、特許証で保護されることを要求する特許請求の範囲は、添付の特許請求の範囲に示されている。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【国際調査報告】