ホーム > 特許ランキング > 株式会社ＮＴＴドコモ
知財求人 - 知財ポータルサイト「IP Force」
特開2022-192040トレーニング装置、トレーニング方法、デバイス、記憶媒体及び画像処理方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022192040
(43)【公開日】2022-12-28
(54)【発明の名称】トレーニング装置、トレーニング方法、デバイス、記憶媒体及び画像処理方法
(51)【国際特許分類】
G06T 7/00 20170101AFI20221221BHJP
G06V 10/82 20220101ALI20221221BHJP
G06T 7/11 20170101ALI20221221BHJP
G06N 3/04 20060101ALI20221221BHJP
G06N 3/08 20060101ALI20221221BHJP
【ＦＩ】
G06T7/00 350C
G06V10/82
G06T7/11
G06N3/04
G06N3/08
【審査請求】未請求
【請求項の数】11
【出願形態】ＯＬ
(21)【出願番号】P 2022097293
(22)【出願日】2022-06-16
(31)【優先権主張番号】202110665076.6
(32)【優先日】2021-06-16
(33)【優先権主張国・地域又は機関】CN
(71)【出願人】
【識別番号】392026693
【氏名又は名称】株式会社ＮＴＴドコモ
(74)【代理人】
【識別番号】100121083
【弁理士】
【氏名又は名称】青木 宏義
(74)【代理人】
【識別番号】100138391
【弁理士】
【氏名又は名称】天田 昌行
(74)【代理人】
【識別番号】100158528
【弁理士】
【氏名又は名称】守屋 芳隆
(74)【代理人】
【識別番号】100137903
【弁理士】
【氏名又は名称】菅野 亨
(72)【発明者】
【氏名】ジャオ カイリ
(72)【発明者】
【氏名】チョン ミンフェィ
(72)【発明者】
【氏名】グオ シーホン
(72)【発明者】
【氏名】ユウ ウェン
(72)【発明者】
【氏名】リュウ ウェイ
(72)【発明者】
【氏名】リ アンシン
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096AA06
5L096BA03
5L096BA06
5L096CA01
5L096DA01
5L096FA06
5L096FA19
5L096GA10
5L096HA11
5L096JA11
5L096KA04
(57)【要約】
【課題】特徴表現を詳細に細分化する。
【解決手段】複数のエンコーダ層と複数のデコーダ層とを含む第１モデルをトレーニングするためのトレーニング装置が、前記第１モデルによって出力される目標のグローバル情報特徴を取得するためのグローバル情報特徴取得モジュールと、前記グローバル情報特徴に基づいて、前記第１モデルの前記複数のデコーダ層のうちの少なくとも１層をトレーニングして、目標モデルを取得するためのトレーニングモジュールと、を含み、前記第１モデルは、前記複数のエンコーダ層と前記複数のデコーダ層とに基づいて、目標を生成する。
【選択図】図８
【解決手段】複数のエンコーダ層と複数のデコーダ層とを含む第１モデルをトレーニングするためのトレーニング装置が、前記第１モデルによって出力される目標のグローバル情報特徴を取得するためのグローバル情報特徴取得モジュールと、前記グローバル情報特徴に基づいて、前記第１モデルの前記複数のデコーダ層のうちの少なくとも１層をトレーニングして、目標モデルを取得するためのトレーニングモジュールと、を含み、前記第１モデルは、前記複数のエンコーダ層と前記複数のデコーダ層とに基づいて、目標を生成する。
【選択図】図８
【特許請求の範囲】
【請求項1】
複数のエンコーダ層と複数のデコーダ層とを含む第１モデルをトレーニングするためのトレーニング装置であって、
前記第１モデルによって出力される目標のグローバル情報特徴を取得するためのグローバル情報特徴取得モジュールと、
前記グローバル情報特徴に基づいて、前記第１モデルの前記複数のデコーダ層のうちの少なくとも１層をトレーニングして、目標モデルを取得するためのトレーニングモジュールと、を含み、
前記第１モデルは、前記複数のエンコーダ層と前記複数のデコーダ層とに基づいて、目標を生成する、ことを特徴とするトレーニング装置。
前記第１モデルによって出力される目標のグローバル情報特徴を取得するためのグローバル情報特徴取得モジュールと、
前記グローバル情報特徴に基づいて、前記第１モデルの前記複数のデコーダ層のうちの少なくとも１層をトレーニングして、目標モデルを取得するためのトレーニングモジュールと、を含み、
前記第１モデルは、前記複数のエンコーダ層と前記複数のデコーダ層とに基づいて、目標を生成する、ことを特徴とするトレーニング装置。
【請求項2】
前記トレーニング装置は、前記複数のエンコーダ層のうちの少なくとも１つのエンコーダ層と、前記複数のデコーダ層のうちの少なくとも１つのデコーダ層と、の両方にも対応する１つ又は複数の注意力モジュールをさらに含み、ｋ番目の注意力モジュールは、第ｋ層のエンコーダ層によって出力される特徴と、前記グローバル情報特徴と、に基づいて、ｋ番目の注意力特徴を生成し、
第ｋ層のデコーダ層は、前記ｋ番目の注意力特徴に基づいて、第ｋ－１層のデコーダ層によって出力される特徴を処理して、第ｋ層のデコーダ層によって出力される特徴を生成し、ｋは１よりも大きい正の整数であり、
エンコーダ層に直接接続された第１デコーダ層について、前記第１デコーダ層に対応する第１注意力モジュールは、第１デコーダ層の前の１層のデコーダ層によって出力される特徴と、前記グローバル情報特徴と、に基づいて、１番目の注意力特徴を生成する、ことを特徴とする請求項１に記載のトレーニング装置。
第ｋ層のデコーダ層は、前記ｋ番目の注意力特徴に基づいて、第ｋ－１層のデコーダ層によって出力される特徴を処理して、第ｋ層のデコーダ層によって出力される特徴を生成し、ｋは１よりも大きい正の整数であり、
エンコーダ層に直接接続された第１デコーダ層について、前記第１デコーダ層に対応する第１注意力モジュールは、第１デコーダ層の前の１層のデコーダ層によって出力される特徴と、前記グローバル情報特徴と、に基づいて、１番目の注意力特徴を生成する、ことを特徴とする請求項１に記載のトレーニング装置。
【請求項3】
前記トレーニング装置は、前記複数のデコーダ層のうちの少なくとも１つのデコーダ層に対応する１つ又は複数の注意力モジュールをさらに含み、ｋ番目の注意力モジュールが、第ｋ－１層のデコーダ層によって出力される特徴と、前記グローバル情報特徴と、に基づいて、ｋ番目の注意力特徴を生成し、
第ｋ層のデコーダ層は、前記ｋ番目の注意力特徴に基づいて、第ｋ－１層のデコーダ層によって出力される特徴を処理して、第ｋ層のデコーダ層によって出力される特徴を生成し、ｋは１よりも大きい正の整数であり、
エンコーダ層に直接接続された第１デコーダ層について、前記第１デコーダ層に対応する第１注意力モジュールは、第１デコーダ層の前の１層のデコーダ層によって出力される特徴と、前記グローバル情報特徴と、に基づいて、１番目の注意力特徴を生成する、ことを特徴とする請求項１に記載のトレーニング装置。
第ｋ層のデコーダ層は、前記ｋ番目の注意力特徴に基づいて、第ｋ－１層のデコーダ層によって出力される特徴を処理して、第ｋ層のデコーダ層によって出力される特徴を生成し、ｋは１よりも大きい正の整数であり、
エンコーダ層に直接接続された第１デコーダ層について、前記第１デコーダ層に対応する第１注意力モジュールは、第１デコーダ層の前の１層のデコーダ層によって出力される特徴と、前記グローバル情報特徴と、に基づいて、１番目の注意力特徴を生成する、ことを特徴とする請求項１に記載のトレーニング装置。
【請求項4】
前記ｋ番目の注意力特徴は、前記グローバル情報特徴と前記第ｋ層のエンコーダ層によって出力される特徴との重複特徴を含む増強特徴と、前記第ｋ層のエンコーダ層によって出力される特徴と前記重複特徴との差異特徴を含む拡張特徴と、を含み、
１番目の注意力特徴は、前記グローバル情報特徴と前記第１デコーダ層の前の１層のエンコーダ層によって出力される特徴との第１重複特徴を含む第１増強特徴と、前記第１デコーダ層の前の１層のエンコーダ層によって出力される特徴と前記第１重複特徴との差異特徴を含む第１拡張特徴と、を含む、ことを特徴とする請求項２に記載のトレーニング装置。
１番目の注意力特徴は、前記グローバル情報特徴と前記第１デコーダ層の前の１層のエンコーダ層によって出力される特徴との第１重複特徴を含む第１増強特徴と、前記第１デコーダ層の前の１層のエンコーダ層によって出力される特徴と前記第１重複特徴との差異特徴を含む第１拡張特徴と、を含む、ことを特徴とする請求項２に記載のトレーニング装置。
【請求項5】
前記ｋ番目の注意力特徴は、前記グローバル情報特徴と前記第ｋ－１層のデコーダ層によって出力される特徴との重複特徴を含む増強特徴と、前記第ｋ－１層のデコーダ層によって出力される特徴と前記重複特徴との差異特徴を含む拡張特徴と、を含み、
１番目の注意力特徴は、前記グローバル情報特徴と前記第１デコーダ層の前の１層のエンコーダ層によって出力される特徴との第２重複特徴を含む第２増強特徴と、前記第１デコーダ層の前の１層のエンコーダ層によって出力される特徴と前記第２重複特徴との差異特徴を含む第２拡張特徴と、を含む、ことを特徴とする請求項３に記載のトレーニング装置。
１番目の注意力特徴は、前記グローバル情報特徴と前記第１デコーダ層の前の１層のエンコーダ層によって出力される特徴との第２重複特徴を含む第２増強特徴と、前記第１デコーダ層の前の１層のエンコーダ層によって出力される特徴と前記第２重複特徴との差異特徴を含む第２拡張特徴と、を含む、ことを特徴とする請求項３に記載のトレーニング装置。
【請求項6】
前記第１モデルは、複数の特徴処理層をさらに含み、
前記第１モデルは、さらに、前記複数のエンコーダ層と前記複数の特徴処理層とに基づいて、目標を生成する、ことを特徴とする請求項２乃至５のいずれか一項に記載のトレーニング装置。
前記第１モデルは、さらに、前記複数のエンコーダ層と前記複数の特徴処理層とに基づいて、目標を生成する、ことを特徴とする請求項２乃至５のいずれか一項に記載のトレーニング装置。
【請求項7】
前記トレーニング装置は、前記複数の注意力モジュールのうちの少なくとも１つの注意力モジュールと、前記複数の特徴処理層のうちの少なくとも１つの特徴処理層と、の両方にも対応する１つ又は複数の特徴反復モジュールをさらに含み、
ｋ番目の特徴反復モジュールは、対応するｋ番目の注意力モジュールによって生成されるｋ番目の注意力特徴と、第ｋ－１層のデコーダ層によって出力される特徴と、第ｋ－１層の特徴処理層によって出力される特徴とをインタラクトして、第ｋ層のデコーダ層によって出力される特徴と、第ｋ層の特徴処理層によって出力される特徴とを生成し、
エンコーダ層に直接接続された第１特徴処理層について、前記第１特徴処理層に対応する第１特徴反復モジュールは、対応する第１注意力モジュールによって生成される１番目の注意力特徴と、前記第１特徴処理層に接続されるエンコーダ層によって出力される特徴とをインタラクトして、第１層のデコーダ層によって出力される特徴と、第１層の特徴処理層によって出力される特徴とを生成する、ことを特徴とする請求項６に記載のトレーニング装置。
ｋ番目の特徴反復モジュールは、対応するｋ番目の注意力モジュールによって生成されるｋ番目の注意力特徴と、第ｋ－１層のデコーダ層によって出力される特徴と、第ｋ－１層の特徴処理層によって出力される特徴とをインタラクトして、第ｋ層のデコーダ層によって出力される特徴と、第ｋ層の特徴処理層によって出力される特徴とを生成し、
エンコーダ層に直接接続された第１特徴処理層について、前記第１特徴処理層に対応する第１特徴反復モジュールは、対応する第１注意力モジュールによって生成される１番目の注意力特徴と、前記第１特徴処理層に接続されるエンコーダ層によって出力される特徴とをインタラクトして、第１層のデコーダ層によって出力される特徴と、第１層の特徴処理層によって出力される特徴とを生成する、ことを特徴とする請求項６に記載のトレーニング装置。
【請求項8】
複数のエンコーダ層と複数のデコーダ層とを含む第１モデルをトレーニングするためのトレーニング方法であって、
前記第１モデルによって出力される目標のグローバル情報特徴を取得するステップと、
前記グローバル情報特徴に基づいて、前記第１モデルの前記複数のデコーダ層のうちの少なくとも１層をトレーニングして、目標モデルを取得するステップと、を含み、
前記第１モデルは、前記複数のエンコーダ層と前記複数のデコーダ層とに基づいて、目標を生成する、ことを特徴とするトレーニング方法。
前記第１モデルによって出力される目標のグローバル情報特徴を取得するステップと、
前記グローバル情報特徴に基づいて、前記第１モデルの前記複数のデコーダ層のうちの少なくとも１層をトレーニングして、目標モデルを取得するステップと、を含み、
前記第１モデルは、前記複数のエンコーダ層と前記複数のデコーダ層とに基づいて、目標を生成する、ことを特徴とするトレーニング方法。
【請求項9】
画像処理方法であって、
第１モデルを使用して、入力画像を処理して、目標画像の中間特徴を取得するステップであって、前記第１モデルは、複数のエンコーダ層と複数のデコーダ層とを含み、前記第１モデルは、前記複数のエンコーダ層と前記複数のデコーダ層とに基づいて、目標画像を生成するステップと、
前記複数のデコーダ層のうちの少なくとも１つのデコーダ層に対応する１つ又は複数の注意力モジュールを少なくとも使用して、前記中間特徴に基づいて、前記注意力モジュールによって出力される特徴を取得するステップと、
前記複数の注意力モジュールのうちの少なくとも１つの注意力モジュールと、複数の特徴処理層の少なくとも１つの特徴処理層と、の両方に対応する１つ又は複数の特徴反復モジュールを使用して、前記注意力モジュールによって出力される特徴と、少なくとも１つの注意力モジュールに対応する少なくとも１つのデコーダ層の前の１層のデコーダ層によって出力される特徴とに少なくとも基づいて、前記少なくとも１つのデコーダ層によって出力される特徴を取得するステップと、を含み、
前記第１モデルは、さらに、前記複数のエンコーダ層と前記複数の特徴処理層とを使用して目標を生成する、ことを特徴とする画像処理方法。
第１モデルを使用して、入力画像を処理して、目標画像の中間特徴を取得するステップであって、前記第１モデルは、複数のエンコーダ層と複数のデコーダ層とを含み、前記第１モデルは、前記複数のエンコーダ層と前記複数のデコーダ層とに基づいて、目標画像を生成するステップと、
前記複数のデコーダ層のうちの少なくとも１つのデコーダ層に対応する１つ又は複数の注意力モジュールを少なくとも使用して、前記中間特徴に基づいて、前記注意力モジュールによって出力される特徴を取得するステップと、
前記複数の注意力モジュールのうちの少なくとも１つの注意力モジュールと、複数の特徴処理層の少なくとも１つの特徴処理層と、の両方に対応する１つ又は複数の特徴反復モジュールを使用して、前記注意力モジュールによって出力される特徴と、少なくとも１つの注意力モジュールに対応する少なくとも１つのデコーダ層の前の１層のデコーダ層によって出力される特徴とに少なくとも基づいて、前記少なくとも１つのデコーダ層によって出力される特徴を取得するステップと、を含み、
前記第１モデルは、さらに、前記複数のエンコーダ層と前記複数の特徴処理層とを使用して目標を生成する、ことを特徴とする画像処理方法。
【請求項10】
トレーニングデバイスであって、
プロセッサと、
コンピュータ読み取り可能なプログラム命令が記憶されているストレージと、を含み、
前記コンピュータ読み取り可能なプログラム命令が前記プロセッサによって実行される場合、請求項８または９に記載の方法が実行される、ことを特徴とするトレーニングデバイス。
プロセッサと、
コンピュータ読み取り可能なプログラム命令が記憶されているストレージと、を含み、
前記コンピュータ読み取り可能なプログラム命令が前記プロセッサによって実行される場合、請求項８または９に記載の方法が実行される、ことを特徴とするトレーニングデバイス。
【請求項11】
コンピュータ読み取り可能な命令を記憶するためのコンピュータ読み取り可能な記憶媒体であって、
前記コンピュータ読み取り可能な命令がコンピュータによって実行される場合、コンピュータに請求項８または９に記載の方法を実行させる、ことを特徴とするコンピュータ読み取り可能な記憶媒体。
前記コンピュータ読み取り可能な命令がコンピュータによって実行される場合、コンピュータに請求項８または９に記載の方法を実行させる、ことを特徴とするコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、画像処理の分野に関し、特に、トレーニング装置、トレーニング方法、デバイス、記憶媒体、及び画像処理方法に関する。
【背景技術】
【0002】
曲線構造セグメンテーション（Ｃｕｒｖｉｌｉｎｅａｒ Ｓｔｒｕｃｔｕｒｅ Ｓｅｇｍｅｎｔａｔｉｏｎ、ＣＳＳ）は、コンクリートの亀裂、空中ロードマップ、血管、ニューロンの境界などの曲線対象のバイナリマスクをセグメンテーションすることである。コンピュータービジョンの正確なＣＳＳは、ドローンによってキャプチャされたコンクリートの亀裂を自動的に検出し、航空写真から道路網を抽出し、医師を助けて医用画像から病変を識別する。満足できる精度を達成するために、ＣＳＳとセマンティックセグメンテーションで大きな進歩が見られたが、トポロジー保存（ｔｏｐｏｌｏｇｙ ｐｒｅｓｅｒｖｉｎｇ）と特徴細分化（ｆｅａｔｕｒｅ ｒｅｆｉｎｅｍｅｎｔ）という少なくとも２つの重要な問題がまだ残っている。人間のラベリングプロセスと同様に、トポロジー保存はグローバル／全体のジオメトリ構造を保存しようとし、特徴細分化は詳細をレンダリングすることを目的とする。
【0003】
通常、一般的なＣＳＳ方法は、トポロジー保存を強調する傾向がある。対照的に、一般的なセマンティックセグメンテーションの作業は、主に、追加の文脈情報又は空間情報を統合する特徴表現に焦点を当てている。文脈感知方法について、通常、拡張畳み込み又はピラミッド設計を使用して受容野（ｒｅｃｅｐｔｉｖｅ ｆｉｅｌｄｓ）を変更し、非局所モジュールを使用して自己注意力を高める。空間感知方法について、通常、マルチスケール又はスキップ接続のアーキテクチャを導入して、様々な特徴空間を集約し、様々な表現を実現する。これらの方法では表現が比較的改善されているが、詳細について特徴を細分化することは、ＣＳＳにとって依然として問題である。
【発明の概要】
【0004】
上記の問題を考慮して、本開示は、トレーニング装置、トレーニング方法、デバイス、記憶媒体、及び画像処理方法を提供する。
【0005】
本開示の一態様によれば、複数のエンコーダ層と複数のデコーダ層とを含む第１モデルをトレーニングするためのトレーニング装置を提供し、当該トレーニング装置は、第１モデルによって出力される目標のグローバル情報特徴を取得するためのグローバル情報特徴取得モジュールと、グローバル情報特徴に基づいて、第１モデルの複数のデコーダ層のうちの少なくとも１層をトレーニングして、目標モデルを取得するためのトレーニングモジュールと、を含み、第１モデルは、複数のエンコーダ層と複数のデコーダ層とに基づいて、目標を生成する。
【0006】
本開示の一例によれば、トレーニング装置は、複数のエンコーダ層のうちの少なくとも１つのエンコーダ層と、複数のデコーダ層のうちの少なくとも１つのデコーダ層と、の両方にも対応する１つ又は複数の注意力モジュールをさらに含み、ｋ番目の注意力モジュールは、第ｋ層のエンコーダ層によって出力される特徴及びグローバル情報特徴に基づいて、ｋ番目の注意力特徴を生成し、第ｋ層のデコーダ層は、ｋ番目の注意力特徴に基づいて、第ｋ－１層のデコーダ層によって出力される特徴を処理して、第ｋ層のデコーダ層によって出力される特徴を生成し、ｋは１よりも大きい正の整数であり、エンコーダ層に直接接続された第１デコーダ層について、第１デコーダ層に対応する第１注意力モジュールは、第１デコーダ層の前の１層のデコーダ層によって出力される特徴と、前記グローバル情報特徴と、に基づいて、第１注意力特徴を生成する。
【0007】
本開示の一例によれば、トレーニング装置は、複数のデコーダ層のうちの少なくとも１つのデコーダ層に対応する１つ又は複数の注意力モジュールをさらに含み、ｋ番目の注意力モジュールが、第ｋ－１層のデコーダ層によって出力される特徴及びグローバル情報特徴に基づいて、ｋ番目の注意力特徴を生成し、第ｋ層のデコーダ層は、ｋ番目の注意力特徴に基づいて、第ｋ－１層のデコーダ層によって出力される特徴を処理して、第ｋ層のデコーダ層によって出力される特徴を生成し、ｋは１よりも大きい正の整数であり、エンコーダ層に直接接続された第１デコーダ層について、第１デコーダ層に対応する第１注意力モジュールは、第１デコーダ層の前の１層のデコーダ層によって出力される特徴と、前記グローバル情報特徴と、に基づいて、１番目の注意力特徴を生成する。
【0008】
本開示の一例によれば、ｋ番目の注意力特徴は、グローバル情報特徴と第ｋ層のエンコーダ層によって出力される特徴との重複特徴を含む増強特徴と、第ｋ層のエンコーダ層によって出力される特徴と重複特徴との差異特徴を含む拡張特徴と、を含み、１番目の注意力特徴は、グローバル情報特徴と第１デコーダ層の前の１層のエンコーダ層によって出力される特徴との第１重複特徴を含む第１増強特徴と、第１デコーダ層の前の１層のエンコーダ層によって出力される特徴と第１重複特徴との差異特徴を含む第１拡張特徴と、を含む。
【0009】
本開示の一例によれば、ｋ番目の注意力特徴は、グローバル情報特徴と第ｋ－１層のデコーダ層によって出力される特徴との重複特徴を含む増強特徴と、第ｋ－１層のデコーダ層によって出力される特徴と重複特徴との差異特徴を含む拡張特徴と、を含み、１番目の注意力特徴は、グローバル情報特徴と第１デコーダ層の前の１層のエンコーダ層によって出力される特徴との第２重複特徴を含む第２増強特徴と、第１デコーダ層の前の１層のエンコーダ層によって出力される特徴と第２重複特徴との差異特徴を含む第２拡張特徴と、を含む。
【0010】
本開示の一例によれば、第１モデルは、複数の特徴処理層をさらに含み、第１モデルは、複数のエンコーダ層及び複数の特徴処理層に基づいて、目標を生成する。
【0011】
本開示の一例によれば、トレーニング装置は、複数の注意力モジュールのうちの少なくとも１つの注意力モジュール及び複数の特徴処理層のうちの少なくとも１つの特徴処理層の両方にも対応する１つ又は複数の特徴反復モジュールをさらに含み、ｋ番目の特徴反復モジュールは、対応するｋ番目の注意力モジュールによって生成されるｋ番目の注意力特徴と、第ｋ－１層のデコーダ層によって出力される特徴と、第ｋ－１層の特徴処理層によって出力される特徴とをインタラクトして、第ｋ層のデコーダ層によって出力される特徴と、第ｋ層の特徴処理層によって出力される特徴とを生成し、エンコーダ層に直接接続された第１特徴処理層について、第１特徴処理層に対応する第１特徴反復モジュールは、対応する第１注意力モジュールによって生成される１番目の注意力特徴を、第１特徴処理層に接続されるエンコーダ層によって出力される特徴とインタラクトして、第１層のデコーダ層によって出力される特徴と、第１層の特徴処理層によって出力される特徴とを生成する。
【0012】
本開示の一態様によれば、複数のエンコーダ層と複数のデコーダ層とを含む第１モデルをトレーニングするためのトレーニング方法を提供し、当該トレーニング方法は、第１モデルによって出力される目標のグローバル情報特徴を取得するステップと、グローバル情報特徴に基づいて、第１モデルの複数のデコーダ層のうちの少なくとも１層をトレーニングして、目標モデルを取得するステップと、を含み、第１モデルは、複数のエンコーダ層と複数のデコーダ層とに基づいて、目標を生成する。
【0013】
本開示の一態様によれば、第１モデルを使用して、入力画像を処理して、目標画像の中間特徴を取得するステップであって、第１モデルは、複数のエンコーダ層と複数のデコーダ層とを含み、第１モデルが複数のエンコーダ層と複数のデコーダ層とに基づいて、目標画像を生成するステップと、複数のデコーダ層のうちの少なくとも１つのデコーダ層に対応する１つ又は複数の注意力モジュールを少なくとも使用し、中間特徴に基づいて、注意力モジュールによって出力される特徴を取得するステップと、複数の注意力モジュールのうちの少なくとも１つ、及び複数の特徴処理層の少なくとも１つの特徴処理層の両方に対応する１つ又は複数の特徴反復モジュールを使用し、注意力モジュールによって出力される特徴と、少なくとも１つの注意力モジュールに対応する少なくとも１つのデコーダ層の前の１層のデコーダ層によって出力される特徴とに少なくとも基づいて、少なくとも１つのデコーダ層によって出力される特徴を取得するステップと、を含む画像処理方法を提供し、第１モデルは、さらに、複数のエンコーダ層及び複数の特徴処理層を使用して目標を生成する。
【0014】
本開示の一態様によれば、プロセッサと、コンピュータ読み取り可能なプログラム命令が記憶されているストレージと、を含むレーニングデバイスを提供し、コンピュータ読み取り可能なプログラム命令がプロセッサによって実行される場合、上記のトレーニング方法及び画像処理方法が実行される。
【0015】
本開示の一態様によれば、コンピュータ読み取り可能な命令を記憶するためのコンピュータ読み取り可能な記憶媒体を提供し、当該コンピュータ読み取り可能な命令がコンピュータによって実行される場合、コンピュータに上記のトレーニング方法及び画像処理方法を実行させる。
【0016】
本開示の実施例によるトレーニング装置、トレーニング方法、及び画像処理方法を通じて、特徴反復モジュールを注意力モジュールと組み合わせることにより、エッジ検出におけるノイズを低減するとともに、残りの注意力特徴を保持又は拡張し、既存の注意力特徴を増強することができる。
【0017】
本開示のトレーニング方法は、注意力モジュールを使用することによって、残りの注意力特徴を保持又は拡張し、既存の注意力特徴を増強するように、特徴をより良く細分化することができ、特徴反復モジュールを使用して、デコーダ層によって出力される特徴を特徴処理層によって出力される特徴と交換してモデリングし、第１モデルの処理効果を向上できるとともに、特徴反復モジュールと注意力モジュールとを組み合わせることにより、特徴処理層内のノイズを低減し、残りの注意力特徴をより良く保持又は拡張し、既存の注意力特徴を増強することができる。
【0018】
添付の図面を参照して本開示の実施例をより詳細に説明することにより、本開示の上記及び他の目的、特徴及び利点はより明らかになる。添付の図面は本開示の実施例に対するさらなる理解を提供するものであり、明細書の一部を構成し、本開示の実施例と共に本開示を説明するものであり、本開示を限定するものではない。図面において、同じ参照符号は一般的に同じ部品又はステップを表す。
【図面の簡単な説明】
【0019】
【発明を実施するための形態】
【0020】
以下、本発明の実施例の図面を参照して、本発明の実施例の技術的解決手段について明確かつ完全に説明する。記載された実施例が本発明の一部の実施例であり、全ての実施例ではないことは、明らかである。本開示の実施例に基づいて、当業者が創造的な労働をせずに取得するその他の実施例は、いずれも本発明の保護範囲に属する。
【0021】
本出願では、フローチャートを使用して、本出願の実施例による方法のステップを説明する。前又は後のステップは、必ずしも順序に従って正確に行われないことが理解されるべきである。逆に、様々なステップは、順序を逆にするか、又は同時に処理することができる。また、他の動作をこれらのプロセスに追加したり、これらのプロセスからあるステップ又は複数のステップを削除したりすることもできる。
【0022】
本開示は、アーキテクチャがＵＮｅｔに構築されているトレーニング装置を提供する。当該トレーニング装置は、反復（ｉｔｅｒａｔｉｏｎ）フィードバック学習戦略に基づいて、グローバルトポロジ情報と細分化された特徴を共同でモデリングすることを目的としている。具体的には、トレーニング装置は、予測されたマスクのグローバルなトポロジー正則化として対象構造を調査し、かつＣＳＳとエッジ検出との間で特徴をインタラクトする特徴反復モジュール（ＦＩＭ）を設計した。学習されたグローバル情報は、当然に、注意力の文脈的及び空間的に感知された特徴への注意を容易にする。特徴の細分化中にこの注意力特徴をフィードバックガイドとして利用するために、当該トレーニング装置は、注意力モジュール／ゲート付き注意力ユニット（Ｇａｔｅｄ Ａｔｔｅｎｔｉｖｅ Ｕｎｉｔ、ＧＡＵ）を提案して、特徴の顕著性を補完し増強する。また、当該トレーニング装置は、ＦＩＭとＧＡＵを特徴学習から予測更新までのフィードバックループに組み込むため、特徴を細分化するだけでなく、それに応じて最終的な予測を修正することもできる。
【0023】
まず、本開示の実施例を実現するためのトレーニング装置１０００について、図１を参照して説明する。当該トレーニング装置１０００は、複数のエンコーダ層と複数のデコーダ層とを含む第１モデルをトレーニングすることができる。
【0024】
図１に示すように、本開示の実施例によるトレーニング装置１０００は、グローバル情報特徴取得モジュール１００１、トレーニングモジュール１００２、注意力モジュール１００３及び特徴反復モジュール１００４を含む。当業者は、これらのユニットモジュールが、ハードウェアのみ、ソフトウェアのみ、又はそれらの組み合わせによって様々な方法で実現されてもよく、かつ本開示はそれらのいずれかに限定されないことを理解されたい。例えば、中央処理ユニット（ＣＰＵ）、画像処理装置（ＧＰＵ）、テンソル処理装置（ＴＰＵ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、又はデータ処理能力及び／又は命令実行能力を備えたその他の形式の処理ユニット及び対応するコンピュータ命令によって、これらのユニットを実現できる。
【0025】
例えば、グローバル情報特徴取得モジュール１００１は、前記第１モデルによって出力される目標のグローバル情報特徴を取得することができる。当該第１モデルは、複数のエンコーダ層と複数のデコーダ層とに基づいて、目標を生成することができる。
【0026】
例えば、当該第１モデルは、ニューラルネットワークモデルであってもよい。例えば、当該ニューラルネットワークモデルは、ＵＮｅｔニューラルネットワーク、畳み込みニューラルネットワーク（ＣＮＮ）（ＧｏｏｇＬｅＮｅｔ、ＡｌｅｘＮｅｔ、ＶＧＧネットワークなどを含む）、畳み込みニューラルネットワークを有する領域（Ｒ－ＣＮＮ）、リージョンプロポーザルネットワーク（ＲＰＮ）、回帰型ニューラルネットワーク（ＲＮＮ）、スタックベースのディープニューラルネットワーク（Ｓ－ＤＮＮ）、ディープビリーフネットワーク（ＤＢＮ）、制限ボルツマンマシン（ＲＢＭ）、完全畳み込みネットワーク、長短期記憶（ＬＳＴＭ）ネットワーク、分類ネットワークなどの様々なニューラルネットワークモデルを含むが、これらに限定されない。さらに、タスクを実行するニューラルネットワークモデルは、サブニューラルネットワークを含むことができ、当該サブニューラルネットワークが、異種ニューラルネットワークを含むことができ、異種ニューラルネットワークモデルで実現することができる。以下、第１モデルがＵＮｅｔニューラルネットワークである例を説明する。ＵＮｅｔニューラルネットワークが単なる例であり、他の適切なニューラルネットワークも使用できるが、ここではこれに限定されないことを理解されたい。
【0027】
具体的には、一例として、当該第１モデルは、画像検出モデル、画像セグメンテーションモデルなどであってもよい。例えば、当該第１モデルは、ドローンによってキャプチャされた画像からコンクリートの亀裂を検出したり、航空写真から道路網を抽出したり、医師を助けて医用画像から病変を識別したりする。
【0028】
例えば、トレーニングモジュール１００２は、グローバル情報特徴に基づいて、第１モデルの複数のデコーダ層のうちの少なくとも１層をトレーニングして、目標モデルを取得することができる。
【0029】
例えば、トレーニングモジュール１００２は、グローバル情報特徴を第１モデルの複数のデコーダ層の少なくとも１層に直接追加してトレーニングして、目標モデルを取得することができる。代替策として、トレーニングモジュール１００２は、さらに以下の本開示の第１実施例又は第２実施例を使用して、第１モデルをトレーニングすることができる。
【0030】
本開示の第１実施例によれば、当該トレーニング装置１０００は、複数のエンコーダ層のうちの少なくとも１つのエンコーダ層と、複数のデコーダ層のうちの少なくとも１つのデコーダ層と、の両方にも対応する１つ又は複数の注意力モジュール１００３（ゲート付き注意力ユニット、即ち、Ｇａｔｅｄ Ａｔｔｅｎｔｉｖｅ Ｕｎｉｔ、ＧＡＵとも呼ばれる）をさらに含むことができる。例えば、ｋ番目の注意力モジュールは、第ｋ層のエンコーダ層によって出力される特徴と、前記グローバル情報特徴と、に基づいて、ｋ番目の注意力特徴を生成することができ、かつ第ｋ層のデコーダ層は、前記ｋ番目の注意力特徴に基づいて、第ｋ－１層のデコーダ層によって出力される特徴を処理して、第ｋ層のデコーダ層によって出力される特徴を生成することができ、ここで、ｋは、１よりも大きい正の整数である。
【0031】
図２は、本開示の第１実施例によるトレーニング装置が第１モデルをトレーニングする概略図を示す。
【0032】
図２に示すように、第１モデルは、複数のエンコーダ層（図２に示す５層のエンコーダ層：２２、２３、２４、２５、２６）及び複数のデコーダ層（図２に示す４層のデコーダ層：２７、２８、２９、３０）を含む。各入力画像２１について、第１モデルは、複数のエンコーダ層と複数のデコーダ層とに基づいて、目標３１を生成する。グローバル情報特徴取得モジュール１００１は、取得された目標３１に基づいて、グローバル情報特徴５０を生成することができる。トレーニング装置１０００は、エンコーダ層２２とデコーダ層３０との両方に対応する注意力モジュール３２と、エンコーダ層２４とデコーダ層２８との両方に対応する注意力モジュール３３とを含むことができる。
【0033】
一例として、エンコーダ層２６に直接接続された第１デコーダ層２７について、エンコーダ層２６に対応する１番目の注意力モジュール３４は、対応する第１デコーダ層２７の前の１層のエンコーダ層２６によって出力される特徴６０と、グローバル情報特徴５０とに基づいて、１番目の注意力特徴６１を生成することができる。対応する第１デコーダ層２７は、１番目の注意力モジュール３４によって生成される１番目の注意力特徴６１に基づいて、前の１層のエンコーダ層２６によって出力される特徴６０を処理して、対応する第１デコーダ層２７によって出力される特徴６２を生成することができる。
【0034】
別の例として、２番目の注意力モジュール３３は、対応するエンコーダ層２４によって出力される特徴６３と、グローバル情報特徴５０とに基づいて、２番目の注意力特徴６４を生成し、対応するデコーダ層２８は、２番目の注意力モジュール３３によって生成される２番目の注意力特徴６４に基づいて、前の１層のデコーダ層２７によって出力される特徴６２を処理して、対応するデコーダ層２８によって出力される特徴６５を生成する。
【0035】
さらに別の例として、３番目の注意力モジュール３２は、対応するエンコーダ層２２によって出力される特徴６６と、グローバル情報特徴５０とに基づいて、３番目の注意力特徴６７を生成し、対応するデコーダ層３０は、３番目の注意力モジュール３２によって生成される３番目の注意力特徴６７に基づいて、前の１層のデコーダ層２９によって出力される特徴６８を処理して、対応するデコーダ層３０によって出力される特徴６９を生成する。
【0036】
なお、上記のエンコーダ層と、デコーダ層と、注意力モジュールとの数は単なる例であり、本開示によって限定されない。
【0037】
さらに、本開示の第１実施例において、ｋ番目の注意力特徴は、拡張特徴及び増強特徴を含むことができる。当該増強特徴は、グローバル情報特徴と第ｋ層のエンコーダ層によって出力される特徴との重複特徴を含むことができる。当該拡張特徴は、第ｋ層のエンコーダ層によって出力される特徴と重複特徴との差異特徴を含むことができる。
【0038】
図３は、本開示の第１実施例による注意力モジュールのアーキテクチャの概略図を示す。
【0039】
図３に示すように、例えば、３番目の注意力モジュール３２（又は２番目の注意力モジュール３３）について、以下の式（１）により、対応するエンコーダ層２２によって出力される特徴６６（ｅl
t）及びグローバル情報特徴５０（ｙｓ
t-1）に基づいて、３番目の注意力特徴６７（ＲＦl
t）（注意力特徴は、細分化された特徴とも呼ばれる）を生成することができる。
【0040】
【数1】
【0041】
ｓｐl
tは拡張特徴を示し、ｅｈt
lは増強特徴を示し、Ｍは注意力残差マスクを示し、×は要素ごとの乗算を示し、lは対応する層数を示し、ｔは学習の反復回数を示す。
【0042】
具体的には、拡張特徴ｓｐl
tは、学習したｙｓ
t-1には存在するがｅl
tには存在しないか弱く存在する残りの注意力特徴を補うことを目的としている。拡張特徴ｓｐl
tは、次の式（２）で得られる。
【数2】
【0043】
具体的には、以下のステップによって拡張特徴ｓｐl
tを生成することができる。
（１）ｅl tとｙｓ t-1とを乗算することによって、重複特徴ｏl t、即ち、既存の注意力特徴を取得し、
（２）現在学習された特徴ｅl tと重複特徴ｏl tとの間の差異特徴ｒl t、即ち、残差注意力特徴を見つけ、
（３）残差注意力特徴ｒl tに従って、空間マスクとチャネルマスクＭを生成し、
（４）入力された特徴ｅl tをＭでマスクして、拡張特徴ｓｐl tを生成する。
（１）ｅl tとｙｓ t-1とを乗算することによって、重複特徴ｏl t、即ち、既存の注意力特徴を取得し、
（２）現在学習された特徴ｅl tと重複特徴ｏl tとの間の差異特徴ｒl t、即ち、残差注意力特徴を見つけ、
（３）残差注意力特徴ｒl tに従って、空間マスクとチャネルマスクＭを生成し、
（４）入力された特徴ｅl tをＭでマスクして、拡張特徴ｓｐl tを生成する。
【0044】
ここで、空間注意力ＳＡ及びチャネル注意力ＣＡは、より良い特徴表現のために任意の適切な同じ構造を使用することができ、ここでは限定されない。
【0045】
対照的に、増強特徴ｅｈt
lは、ｙｓ
t-1と現在のｅl
tの両方に存在する既存の注意力特徴を増強することを目的としている。以下のように、増強特徴ｅｈt
lは得られる。
【0046】
【数3】
【0047】
ここで、例えば、
は、２つの畳み込みニューラルネットワークによって重複特徴ｏl
tの後で取得されたものである。つまり、増強特徴は、既存の注意力特徴を増強した。
【数4】
【0048】
同様に、１番目の注意力モジュール３４は、第１拡張特徴及び第１増強特徴を含むこともできる。当該第１増強特徴は、対応するデコーダ層２７の前の１層のエンコーダ層２６によって出力される特徴６０とグローバル情報特徴５０との第１重複特徴を含むことができる。当該第１拡張特徴は、対応するデコーダ層２７の前の１層のエンコーダ層２６によって出力される特徴６０と第１重複特徴との差異特徴を含むことができる。当該第１拡張特徴及び第１増強特徴の算出方法は、図３を参照した上記の方法と同様であってもよく、ここでは限定されない。
【0049】
図４は、本開示の実施例による注意力モジュールの特徴学習の概略図を示す。図４に示すように、式（１）～（３）に対応し、グローバル特徴ｙｓ
t-1に基づいて、エンコーダ層によって出力される特徴ｅl
tは、注意力特徴ＲＦl
tに細分化することができる。
【0050】
図３に示される乗算器、減算器、ＳＡ、ＣＡ、畳み込みなどは単なる例であり、拡張特徴及び増強特徴を算出する方法は、それに限定されず、残りの注意力特徴をより良く保持又は拡張し、既存の注意力特徴を増強できる限り、任意の既存の／将来の適切な方法を本開示に適用することができることを理解されたい。
【0051】
上記の注意力モジュールを通じて、残りの注意力特徴をより良く保持又は拡張し、既存の注意力特徴を増強するように、特徴をより細分化することができる。
【0052】
本開示の第２実施例によれば、当該トレーニング装置１０００は、複数のデコーダ層のうちの少なくとも１つのデコーダ層に対応する１つ又は複数の注意力モジュール１００３をさらに含むことができる。例えば、ｋ番目の注意力モジュールは、第ｋ－１層のデコーダ層によって出力される特徴と、前記グローバル情報特徴と、に基づいて、ｋ番目の注意力特徴を生成することができる。また、第ｋ層のデコーダ層は、前記ｋ番目の注意力特徴に基づいて、第ｋ－１層のデコーダ層によって出力される特徴を処理して、第ｋ層のデコーダ層によって出力される特徴を生成することができ、ｋは１よりも大きい正の整数である。
【0053】
図５は、本開示の第２実施例によるトレーニング装置が第１モデルをトレーニングする概略図を示す。
【0054】
図５に示すように、第２モデルは、複数のエンコーダ層（図５に示す５層のエンコーダ層：４２、４３、４４、４５、４６）及び複数のデコーダ層（図５に示す４層のデコーダ層：４７、４８、４９、５０）を含む。各入力画像４１について、第１モデルは、複数のエンコーダ層と複数のデコーダ層とに基づいて、目標５１を生成する。グローバル情報特徴取得モジュール１００１は、取得された目標５１に基づいて、グローバル情報特徴５０を生成することができる。トレーニング装置１０００は、デコーダ層５０に対応する注意力モジュール５２と、デコーダ層４８に対応する注意力モジュール５３と、デコーダ層４７に対応する注意力モジュール５４とを含むことができる。
【0055】
一例として、エンコーダ層４６に直接接続された第１デコーダ層４７について、第１デコーダ層４７に対応する第１注意力モジュール５４は、第１デコーダ層４７の前の１層のエンコーダ層４６によって出力される特徴８０と、前記グローバル情報特徴５０とに基づいて、１番目の注意力特徴８１を生成することができる。対応する第１デコーダ層４７は、１番目の注意力モジュール５４によって生成される１番目の注意力特徴８１に基づいて、前の１層のエンコーダ層４６によって出力される特徴８０を処理して、対応する第１デコーダ層４７によって出力される特徴８２を生成することができる。
【0056】
別の例として、２番目の注意力モジュール５３は、前の１層のデコーダ層４７によって出力される特徴８２と、グローバル情報特徴５０とに基づいて、２番目の注意力特徴８４を生成することができる。対応するデコーダ層４８は、２番目の注意力モジュール５３によって生成される２番目の注意力特徴８４に基づいて、前の１層のデコーダ層４７によって出力される特徴８２を処理して、対応するデコーダ層４８によって出力される特徴８５を生成する。
【0057】
さらに別の例として、３番目の注意力モジュール５２は、前の１層のデコーダ層４９によって出力される特徴８８と、グローバル情報特徴５０とに基づいて、３番目の注意力特徴８７を生成することができる。対応するデコーダ層５０は、３番目の注意力モジュール５２によって生成される３番目の注意力特徴８７に基づいて、前の１層のデコーダ層４９によって出力される特徴８８を処理して、対応するデコーダ層５０によって出力される特徴８９を生成する。
【0058】
上記のエンコーダ層と、デコーダ層と、注意力モジュールとの数は単なる例であり、本開示によって限定されないことを理解されたい。
【0059】
さらに、本開示の第２実施例において、ｋ番目の注意力特徴は、拡張特徴及び増強特徴を含むことができる。当該増強特徴は、グローバル情報特徴と第ｋ－１層のデコーダ層によって出力される特徴との重複特徴を含むことができる。当該拡張特徴は、前記第ｋ－１層のデコーダ層によって出力される特徴と前記重複特徴との差異特徴を含むことができる。当該拡張特徴及び増強特徴の算出方法は、図３を参照した上記の方法と同様であってもよく、ここでは限定されない。
【0060】
同様に、１番目の注意力モジュール３４も、第２拡張特徴及び第２増強特徴を含むことができる。当該第２増強特徴は、前記グローバル情報特徴５０と、前記第１デコーダ層４７の前の１層のエンコーダ層４６によって出力される特徴８０と、の第２重複特徴を含むことができる。前記第２拡張特徴は、前記第１デコーダ層４７の前の１層のエンコーダ層４６によって出力される特徴８０と、前記第２重複特徴と、の差異特徴を含むことができる。
【0061】
当該第１拡張特徴及び第１増強特徴の算出方法は、図３を参照した上記の方法と同様であってもよく、ここで限定されない。
【0062】
本開示による注意力モジュールは、残りの注意力特徴をより良く保持又は拡張し、既存の注意力特徴を増強するように、特徴をより細分化することができる。
【0063】
【0064】
例えば、第１モデルは、複数の特徴処理層をさらに含むことができる。上記のように、第１モデルは、前記複数のエンコーダ層と前記複数のデコーダ層とに基づいて、目標を生成することができる。代替策として、第１モデルは、さらに、前記複数のエンコーダ層と前記複数の特徴処理層とに基づいて、目標を生成することができる。例えば、第１モデルが画像セグメンテーションに使用される場合、当該デコーダ層は、セマンティックセグメンテーションに対応し、当該特徴処理層は、エッジ検出に対応し、セマンティックセグメンテーションとエッジ検出のいずれかによって画像セグメンテーションの結果を取得できる。
【0065】
図６は、本開示の実施例によるトレーニング装置の全体的なアーキテクチャの概略図を示す。
【0066】
図６に示すように、入力画像について、第１モデルは、前記複数のエンコーダ層（図６の左側に示すＣｏｎｖ１＿２、Ｃｏｎｖ２＿２、Ｃｏｎｖ３＿３、Ｃｏｎｖ４＿３、Ｃｏｎｖ５＿３）と、前記複数のデコーダ層（図６の右側に示すＳ１、Ｓ２、Ｓ３、Ｓ４）とに基づいて、目標を生成することができる。代替策として、第１モデルは、さらに、前記複数のエンコーダ層（図６の左側に示すＣｏｎｖ１＿２、Ｃｏｎｖ２＿２、Ｃｏｎｖ３＿３、Ｃｏｎｖ４＿３、Ｃｏｎｖ５＿３）と、前記複数の特徴処理層（図６の右側に示すＢ１、Ｂ２、Ｂ３、Ｂ４）とに基づいて、目標を生成することができる。図６に含まれる注意力モジュールＧＡＵは、図２に示される第１実施例を参照して、上記で説明された注意力モジュール／ＧＡＵであり、当然ながら、図６に示されるトレーニング装置に、図６に示される第２実施例を参照して説明される注意力モジュール／ＧＡＵを使用することができ、ここでは限定されない。
【0067】
例えば、トレーニング装置１０００は、前記複数の注意力モジュール／ＧＡＵのうちの少なくとも１つの注意力モジュール／ＧＡＵと、前記複数の特徴処理層のうちの少なくとも１つの特徴処理層と、の両方に対応する１つ又は複数の特徴反復モジュール（Ｆｅａｔｕｒｅ Ｉｎｔｅｒａｃｔｉｖｅ Ｍｏｄｕｌｅ、ＦＩＭ）をさらに含むことができる。例えば、図６に示すように、Ｓ４及びＢ４の両方に対応するＦＩＭ、Ｓ３及びＢ３の両方に対応するＦＩＭなどを含む。図６に示されるＦＩＭの数は単なる例であり、本開示は、デコーダ層の数及び特徴処理層の数よりも少ないＦＩＭを含むことができることを理解されたい。
【0068】
当該ＦＩＭは、例えば、セマンティックセグメンテーション（Ｓ）からエッジ検出（Ｂ）に特徴を交換するために使用できる。
【0069】
例えば、ｋ番目の特徴反復モジュールは、対応するｋ番目の注意力モジュールによって生成されるｋ番目の注意力特徴と、第ｋ－１層のデコーダ層によって出力される特徴と、第ｋ－１層の特徴処理層によって出力される特徴とをインタラクトして、第ｋ層のデコーダ層によって出力される特徴と、第ｋ層の特徴処理層によって出力される特徴とを生成することができる。特に、エンコーダ層に直接接続された第１特徴処理層について、前記第１特徴処理層に対応する第１特徴反復モジュールは、対応する第１注意力モジュールによって生成される１番目の注意力特徴と、前記第１特徴処理層に接続されるエンコーダ層によって出力される特徴とをインタラクトして、第１層のデコーダ層によって出力される特徴と、第１層の特徴処理層によって出力される特徴とを生成する。
【0070】
図７は、本開示の実施例による、特徴反復モジュールＦＩＭのアーキテクチャの概略図を示す。
【0071】
図７に示すように、左側のグレースケール長方形部分は、デコーダ層のセマンティックセグメンテーション（Ｓ）の学習された特徴に対応し、右側のグレースケール長方形部分は、特徴処理層のエッジ検出（Ｂ）の学習された特徴に対応する。小文字のｓl
tとｂl
tをそれぞれＳとＢで学習された特徴として示し、lは層数を示し、ｔは学習の反復回数を示す。それについて、ＦＩＭの設計は次のようになる。
【0072】
【数5】
【0073】
ＲＦl
tは、図３を参照して上記で生成された注意力モジュール／ＧＡＵによって生成された注意力特徴であり、θＦは、ＦＩＭの学習パラメータに対応する。Ｓブランチは３つの部分でｓl
tを学習し、注意力特徴ＲＦl
tと前のＳの特徴ｓl-1
tとを連結（ｃｏｎｃａｔｅｎａｔｉｎｇ）し、２つの畳み込みによって特徴（
で示す）を更新し、更新された特徴ｂl
tを含む残差注意力付きの注意力特徴を学習する。補助ストリームとして、Ｂブランチは、更新された特徴
を前の１つのＢの特徴ｂl-1
tと単純に連結する。ここで、
は、
の後に２回の畳み込みを行うことによって得られる。ＦＩＭ設計を使用すると、特徴がセグメンテーションからエッジ検出に相互変換されるため、グローバルトポロジが保存された。
【数6】
【数7】
【数8】
【数9】
【0074】
本開示において、特徴反復モジュール（ＦＩＭ）は、画像セグメンテーションとエッジ検出の間の特徴交換をモデリングすることにより、第１モデルの処理効果を向上させることができる。
【0075】
なお、エンコーダ層と比較して、デコーダ層はセマンティック特徴（例えば、トポロジー）に重点を置いているため、本開示ではデコーダ層でのみＦＩＭ及びエッジ検出を使用できる。
【0076】
次に、当該トレーニング装置は、以下の方法によりトレーニングすることができる。
【0077】
例えば、ＣＳＳ画像ｉ∈Ｉ∈ＲＣ×Ｈ×Ｗは、Ｔ回の反復で更新できる。具体的には、反復ｔ∈Ｔについて、トレーニング装置は、まず、多層エンコーダ層を通過し、次にセマンティックセグメンテーション（Ｓ）とエッジ検出（Ｂ）のために２つのレシプロカルデコーダ（それぞれＳデコーダとＢデコーダとして示され、それぞれ多層デコーダ層を含む）をモデリングして、セマンティックセグメンテーション予測ｙｓ
ｔ（グローバル情報特徴）とエッジ予測ｙｂ
ｔを生成する。
【0078】
【数10】
【0079】
ここで、θは、トレーニング装置の全体的なパラメータであり、ＦＪＴＦＮ（）は、トレーニング装置によって生成されるｙｓ
ｔ及びｙｂ
ｔに対応する関数を示し、この関数は、本開示において限定されない。
【0080】
最後に、トレーニング装置は、特徴細分化のためのＧＡＵのフィードバック入力としてセグメンテーション予測ｙｓ
ｔ（グローバル情報特徴）を使用する。また、バイナリクロスエントロピー損失（ＢＣＥ）（つまり、Ｌｂｃｅ（））を使用して、予測と実際のデータ（Ｇｓ、Ｇｂ）との違いを最小限に抑えることができる。
【0081】
【数11】
【0082】
ここで、λｂはバランス係数であり、１に設定できる。ｙｓ
ｉ、ｔは、ｉ番目の画像の第７回の反復によって出力されるセマンティックセグメンテーション予測を示す。ｙｂ
ｉ、ｔは、ｉ番目の画像の第７回の反復によって出力されるエッジ予測を示す。Ｇｓ
ｉは、ｉ番目の画像の実際のセマンティックセグメンテーションデータを示す。Ｇｂ
ｉは、ｉ番目の画像の真のエッジ検出データを示す。
【0083】
Ｔ回の反復後、得られた総損失は次のとおりである。
【0084】
【数12】
【0085】
ここで、αｔは、損失重みである。
【0086】
損失関数を算出する上記の式（６）及び（７）は単なる例であり、他の適切な損失関数を使用して、第１モデルをトレーニングすることもでき、ここでは限定されないことを理解されたい。
【0087】
本開示のトレーニング装置から分かるように、本開示で提案されるトレーニング装置は、注意力モジュールを使用して、残りの注意力特徴を保持又は拡張し、既存の注意力特徴を増強するように、特徴をより良く細分化することができ、特徴反復モジュールを使用して、デコーダ層によって出力される特徴と特徴処理層によって出力される特徴とを交換してモデリングし、第１モデルの処理効果を向上させ、同時に、特徴反復モジュールと注意力モジュールとを組み合わせて、特徴処理層内のノイズを低減させ、残りの注意力特徴をより良く保持又は拡張し、既存の注意力特徴を増強する。
【0088】
【0089】
図８は、本開示の実施例によるトレーニング方法１００のフローチャートを示す。当該方法は、コンピュータなどによって自動的に行うことができる。例えば、当該方法は、画像をセグメント化するために使用される。例えば、当該方法は、ソフトウェア、ハードウェア、ファームウェア、又はそれらの任意の組み合わせで実現でき、例えば、携帯電話、タブレットコンピュータ、ノートブックコンピュータ、デスクトップコンピュータ、ネットワークサーバなどのデバイスのプロセッサによってロードして実行される。
【0090】
図８に示すように、当該トレーニング方法１００は、以下のステップＳ１０１～Ｓ１０２を含み、当該トレーニング方法１００は、複数のエンコーダ層と複数のデコーダ層とを含む第１モデルをトレーニングする。前記第１モデルは、前記複数のエンコーダ層と前記複数のデコーダ層とに基づいて、目標を生成する。
【0091】
ステップＳ１０１において、前記第１モデルによって出力される目標のグローバル情報特徴を取得する。
【0092】
ステップＳ１０２において、前記グローバル情報特徴に基づいて、前記第１モデルの前記複数のデコーダ層の少なくとも１層をトレーニングして、目標モデルを取得する。
【0093】
例えば、ステップＳ１０２において、グローバル情報特徴を第１モデルの複数のデコーダ層のうちの少なくとも１層に直接追加してトレーニングして、目標モデルを取得することができる。代替策として、ステップＳ１０２は、さらに、本開示の以下の実施例を使用して、第１モデルをトレーニングすることができる。
【0094】
例えば、当該トレーニング方法では、１つ又は複数の注意力モジュールを使用して注意力特徴を取得することができる。
【0095】
本開示の第３実施例において、当該１つ又は複数の注意力モジュールは、前記複数のエンコーダ層のうちの少なくとも１つのエンコーダ層と、前記複数のデコーダ層のうちの少なくとも１つのデコーダ層と、の両方にも対応することができる。例えば、当該トレーニング方法は、ｋ番目の注意力モジュールを使用し、第ｋ層のエンコーダ層によって出力される特徴と、前記グローバル情報特徴と、に基づいて、ｋ番目の注意力特徴を生成することができ、また第ｋ層のデコーダ層を使用して、前記ｋ番目の注意力特徴に基づいて、第ｋ－１層のデコーダ層によって出力される特徴を処理して、第ｋ層のデコーダ層によって出力される特徴を生成することができ、ｋは１よりも大きい正の整数である。一例として、エンコーダ層に直接接続された第１デコーダ層について、当該トレーニング方法は、前記第１デコーダ層に対応する第１注意力モジュールを使用し、第１デコーダ層の前の１層のエンコーダ層によって出力される特徴と、前記グローバル情報特徴と、に基づいて、１番目の注意力特徴を生成する。例えば、ｋ番目の注意力特徴は、拡張特徴及び増強特徴を含むことができる。前記増強特徴は、前記グローバル情報特徴と前記第ｋ層のエンコーダ層によって出力される特徴との重複特徴を含むことができる。前記拡張特徴は、前記第ｋ層のエンコーダ層によって出力される特徴と前記重複特徴との差異特徴を含むことができる。一例として、１番目の注意力特徴は、第１拡張特徴及び第１増強特徴を含むことができる。前記第１増強特徴は、前記グローバル情報特徴と前記第１デコーダ層の前の１層のエンコーダ層によって出力される特徴との第１重複特徴を含むことができる。前記第１拡張特徴は、前記第１デコーダ層の前の１層のエンコーダ層によって出力される特徴と前記第１重複特徴との差異特徴を含むことができる。
【0096】
代替策として、当該１つ又は複数の注意力モジュールは、前記複数のデコーダ層のうちの少なくとも１つのデコーダ層に対応することができる。例えば、当該トレーニング方法は、ｋ番目の注意力モジュールを使用して、第ｋ－１層のデコーダ層によって出力される特徴と、前記グローバル情報特徴と、に基づいて、ｋ番目の注意力特徴を生成することができ、さらに第ｋ層のデコーダ層を使用して、前記ｋ番目の注意力特徴に基づいて、第ｋ－１層のデコーダ層によって出力される特徴を処理して、第ｋ層のデコーダ層によって出力される特徴を生成することができ、ｋは１よりも大きい正の整数である。一例として、エンコーダ層に直接接続された第１デコーダ層について、当該トレーニング方法は、前記第１デコーダ層に対応する第１注意力モジュールを使用して、第１デコーダ層の前の１層のエンコーダ層によって出力される特徴と、前記グローバル情報特徴と、に基づいて、１番目の注意力特徴を生成することができる。例えば、ｋ番目の注意力特徴は、拡張特徴及び増強特徴を含むことができる。前記増強特徴は、前記グローバル情報特徴と前記第ｋ－１層のデコーダ層によって出力される特徴との重複特徴を含むことができる。前記拡張特徴は、前記第ｋ－１層のデコーダ層によって出力される特徴と前記重複特徴との差異特徴を含むことができる。一例として、１番目の注意力特徴は、第２拡張特徴及び第２増強特徴を含むことができる。前記第２増強特徴は、前記グローバル情報特徴と前記第１デコーダ層の前の１層のエンコーダ層によって出力される特徴との第２重複特徴を含むことができる。前記第２拡張特徴は、前記第１デコーダ層の前の１層のエンコーダ層によって出力される特徴と前記第２重複特徴との差異特徴を含むことができる。
【0097】
当該トレーニング方法は、上記注意力モジュールを使用することによって、残りの注意力特徴を保持又は拡張し、既存の注意力特徴を増強することができる。
【0098】
例えば、当該第１モデルは、複数の特徴処理層をさらに含むことができる。前記第１モデルは、さらに、前記複数のエンコーダ層と前記複数の特徴処理層とに基づいて、目標を生成する。
【0099】
例えば、当該トレーニング方法は、１つ又は複数の特徴反復モジュールを使用してトレーニングすることができる。当該１つ又は複数の特徴反復モジュールは、前記複数の注意力モジュールのうちの少なくとも１つと、前記複数の特徴処理層のうちの少なくとも１つの特徴処理層と、の両方にも対応することができる。
【0100】
例えば、当該トレーニング方法は、ｋ番目の特徴反復モジュールを使用して、対応するｋ番目の注意力モジュールによって生成されたｋ番目の注意力特徴と、第ｋ－１層のデコーダ層によって出力される特徴と、第ｋ－１層の特徴処理層によって出力される特徴とをインタラクトして、第ｋ層のデコーダ層によって出力される特徴と、第ｋ層の特徴処理層によって出力される特徴とを生成し、ｋは１よりも大きい正の整数である。一例として、エンコーダ層に直接接続された第１特徴処理層について、当該トレーニング方法は、前記第１特徴処理層に対応する第１特徴反復モジュールを使用して、対応する第１注意力モジュールによって生成された１番目の注意力特徴と、前記第１特徴処理層に接続されるエンコーダ層によって出力される特徴とをインタラクトして、第１層のデコーダ層によって出力される特徴と、第１層の特徴処理層によって出力される特徴とを生成する。
【0101】
本開示において、本開示のトレーニング方法は、注意力モジュールを使用して、残りの注意力特徴を保持又は拡張し、既存の注意力特徴を増強するように、特徴をより良く細分化することができ、特徴反復モジュールを使用して、デコーダ層によって出力される特徴と特徴処理層によって出力される特徴とを交換してモデリングし、第１モデルの処理効果を向上させ、同時に、特徴反復モジュールと注意力モジュールとを組み合わせて、特徴処理層内のノイズを低減させ、残りの注意力特徴をより良く保持又は拡張し、既存の注意力特徴を増強する。
【0102】
図９は、本開示の実施例による画像処理方法２００のフローチャートを示す。当該方法は、コンピュータなどによって自動的に行うことができる。例えば、当該方法は、セグメント化された画像を取得するために使用される。例えば、当該方法は、ソフトウェア、ハードウェア、ファームウェア、又はそれらの任意の組み合わせで実現でき、例えば、携帯電話、タブレットコンピュータ、ノートブックコンピュータ、デスクトップコンピュータ、ネットワークサーバなどのデバイスのプロセッサによってロードして実行される。
【0103】
図９に示すように、当該画像処理方法２００は、以下のステップＳ２０１～Ｓ２０３を含む。
【0104】
ステップＳ２０１において、第１モデルを使用し、入力画像を処理して、目標画像の中間特徴を取得し、前記第１モデルは、複数のエンコーダ層と複数のデコーダ層とを含み、前記第１モデルは、前記複数のエンコーダ層と前記複数のデコーダ層とに従って、目標画像を生成する。
【0105】
ステップＳ２０２において、前記複数のデコーダ層のうちの少なくとも１つのデコーダ層に対応する１つ又は複数の注意力モジュールを少なくとも使用し、前記中間特徴に基づいて、前記注意力モジュールによって出力される特徴を取得する。
【0106】
ステップＳ２０３において、前記複数の注意力モジュールのうちの少なくとも１つと、複数の特徴処理層のうちの少なくとも１つの特徴処理層と、の両方に対応する１つ又は複数の特徴反復モジュールを使用し、少なくとも前記注意力モジュールによって出力される特徴と、少なくとも１つの注意力モジュールに対応する少なくとも１つのデコーダ層の前の１層のデコーダ層によって出力される特徴とに基づいて、前記少なくとも１つのデコーダ層によって出力される特徴を取得し、前記第１モデルは、さらに、前記複数のエンコーダ層と前記複数の特徴処理層とを使用して目標を生成する。
【0107】
本開示において、本開示の画像処理方法は、注意力モジュールを使用して、残りの注意力特徴を保持又は拡張し、既存の注意力特徴を増強するように、特徴をより良く細分化することができ、特徴反復モジュールを使用して、デコーダ層によって出力される特徴と特徴処理層によって出力される特徴とを交換してモデリングし、第１モデルの処理効果を向上させ、同時に、特徴反復モジュールと注意力モジュールとを組み合わせて、特徴処理層内のノイズを低減させ、残りの注意力特徴を保持又は拡張し、既存の注意力特徴を増強する。
【0108】
以下、図１０を参照して、本開示の実施例によるトレーニングデバイス１１００を説明する。図１０は、本開示の実施例によるトレーニングデバイスの概略図を示す。本実施例のトレーニングデバイスの機能は、図８を参照して上で説明した方法の詳細と同じであるため、ここでは、簡単にするために、同じ内容の詳細な説明を省略する。
【0109】
本開示のトレーニングデバイスは、プロセッサ１１０２と、コンピュータ読み取り可能なプログラム命令が記憶されているストレージ１１０１と、を含み、前記コンピュータ読み取り可能なプログラム命令が前記プロセッサによって実行される場合、トレーニング方法が実行される。前記方法は、第１モデルによって出力される目標のグローバル情報特徴を取得するステップと、前記グローバル情報特徴に基づいて、前記第１モデルの前記複数のデコーダ層のうちの少なくとも１層をトレーニングして、目標モデルを取得するステップと、を含み、前記第１モデルは、複数のエンコーダ層と複数のデコーダ層とに基づいて、目標を生成する。
【0110】
代替策として、前記コンピュータ読み取り可能なプログラム命令が前記プロセッサによって実行される場合、画像処理方法が実行される。前記方法は、第１モデルを使用して、入力画像を処理して、目標画像の中間特徴を取得するステップであって、前記第１モデルは、複数のエンコーダ層と複数のデコーダ層とを含み、前記第１モデルは、前記複数のエンコーダ層と前記複数のデコーダ層とに基づいて、目標画像を生成するステップと、前記複数のデコーダ層のうちの少なくとも１つのデコーダ層に対応する１つ又は複数の注意力モジュールを少なくとも使用して、前記中間特徴に基づいて、前記注意力モジュールによって出力される特徴を取得するステップと、前記複数の注意力モジュールのうちの少なくとも１つの注意力モジュールと、複数の特徴処理層の少なくとも１つの特徴処理層と、の両方に対応する１つ又は複数の特徴反復モジュールを使用して、少なくとも前記注意力モジュールによって出力される特徴と、少なくとも１つの注意力モジュールに対応する少なくとも１つのデコーダ層の前の１層のデコーダ層によって出力される特徴とに基づいて、前記少なくとも１つのデコーダ層によって出力される特徴を取得するステップと、を含み、前記第１モデルは、さらに、前記複数のエンコーダ層と前記複数の特徴処理層とを使用して目標を生成する。
【0111】
異なる実施例によるトレーニング装置１０００及びトレーニングデバイス１１００の技術的効果に関して、本開示の実施例で提供されるトレーニング方法の技術的効果を参照することができるが、ここでは繰り返さない。
【0112】
トレーニング装置１０００及びトレーニングデバイス１１００は、様々な適切な電子デバイスに適用されることができる。
【0113】
図１１は、本開示の実施例による、コンピュータ読み取り可能な記憶媒体１２００の概略図である。
【0114】
図１１に示すように、本開示は、コンピュータ読み取り可能な命令１２０１を記憶するためのコンピュータ読み取り可能な記憶媒体１２００をさらに含み、前記命令は、コンピュータに、それぞれ図８～９を参照して説明した上記のトレーニング方法及び画像処理方法を実行させる。
【0115】
＜ハードウェア構造＞
さらに、上記の実施形態の説明で使用されるブロック図は、機能を単位としたブロックを示す。これらの機能ブロック（構造単位）は、ハードウェア及び／又はソフトウェアの任意の組み合わせによって実現される。また、各機能ブロックの実現手段は特に限定されない。即ち、各機能ブロックは、物理的及び／又は論理的に結合された１つの装置によって実現されてもよく、又は物理的及び／又は論理的に分離された２つ以上の装置を直接及び／又は間接的（例えば、有線及び／又は無線）に接続して、上記の複数の装置によって実現されてもよい。
さらに、上記の実施形態の説明で使用されるブロック図は、機能を単位としたブロックを示す。これらの機能ブロック（構造単位）は、ハードウェア及び／又はソフトウェアの任意の組み合わせによって実現される。また、各機能ブロックの実現手段は特に限定されない。即ち、各機能ブロックは、物理的及び／又は論理的に結合された１つの装置によって実現されてもよく、又は物理的及び／又は論理的に分離された２つ以上の装置を直接及び／又は間接的（例えば、有線及び／又は無線）に接続して、上記の複数の装置によって実現されてもよい。
【0116】
例えば、本開示の一実施形態による電子デバイスは、本開示のトレーニング方法の処理を実行するコンピュータとして機能することができる。図１２は、本開示の一実施形態による、電子デバイス６０のハードウェア構造の例を示す図である。上記の電子デバイス６０は、物理的には、プロセッサ１０１０、メモリ１０２０、ストレージ１０３０、通信装置１０４０、入力装置１０５０、出力装置１０６０、バス１０７０などを含むコンピュータ装置として構成することができる。
【0117】
また、以下の説明において、「装置」という用語は、回路、デバイス、ユニットなどに置き換えることができる。電子デバイス６０のハードウェア構造は、図に示される様々な装置のうちの１つ又は複数を含んでもよいか、又はいくつかの装置を含まなくてもよい。
【0118】
例えば、１つのプロセッサ１０１０のみが示されているが、複数のプロセッサが存在してもよい。また、１つのプロセッサによって処理を実行しもよく、１つ以上のプロセッサによって同時に、順次に、又は他の方法で処理を実行してもよい。さらに、プロセッサ１０１０は、１つ以上のチップによって取り付けることができる。
【0119】
電子デバイス６０の各機能は、例えば、所定のソフトウェア（プログラム）をプロセッサ１０１０、メモリ１０２０などのハードウェアに読み込み、それによってプロセッサ１０１０が算出を行い、通信デバイス１０４０による通信を制御し、かつメモリ１０２０及びストレージ１０３０におけるデータの読み取り及び／又は書き込みを制御するように実現される。
【0120】
プロセッサ１０１０は、例えば、オペレーティングシステムを作動してコンピュータ全体を制御する。プロセッサ１０１０は、周辺機器のインターフェース、制御装置、コンピューティング装置、レジスタなど含む中央処理装置（ＣＰＵ、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）で構成することができる。
【0121】
また、プロセッサ１０１０は、プログラム（プログラムコード）、ソフトウェアモジュール、データなどを、ストレージ１０３０及び／又は通信装置１０４０からメモリ１０２０に読み出し、それらに従って様々な処理を実行する。プログラムとして、コンピュータに上記の実施形態に記載された動作の少なくとも一部を実行させるためのプログラムを使用することができる。例えば、電子デバイス６０の制御ユニット４０１は、メモリ１０２０に記憶され、プロセッサ１０１０によって作動する制御プログラムによって実現することができ、他の機能ブロックも同様に実現することができる。
【0122】
メモリ１０２０は、例えば、読み取り専用メモリ（ＲＯＭ、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、プログラム可能な読み取り専用メモリ（ＥＰＲＯＭ、Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、電気的にプログラム可能な読み取り専用メモリ（ＥＥＰＲＯＭ、ＥＥＰＲＯＭ、Ｅｌｅｃｔｒｉｃａｌｌｙ ＥＰＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、及びその他の適切な記憶媒体の少なくとも１つで構成されるコンピュータ読み取り可能な記録媒体である。メモリ１０２０は、さらに、レジスタ、キャッシュ、メインメモリ（主な記憶装置）などと呼ばれてもよい。メモリ１０２０は、本開示の一実施形態による、無線通信方法を実施するための実行可能なプログラム（プログラムコード）、ソフトウェアモジュールなどを記憶することができる。
【0123】
ストレージ１０３０は、コンピュータ読み取り可能な記録媒体であり、例えば、フレキシブルディスク（ｆｌｅｘｉｂｌｅ ｄｉｓｋ）、フロッピーディスク（登録商標）（ｆｌｏｐｐｙ ｄｉｓｋ）、光磁気ディスク（例えば、読み取り専用ディスク（ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ ＲＯＭ）など）、デジタル汎用ディスク、ブルーレイ（Ｂｌｕ－ｒａｙ（登録商標）ディスク）、リムーバブルディスク、ハードドライブ、スマートカード、フラッシュメモリデバイス（例えば、カード、スティック（ｓｔｉｃｋ）、キードライバ（ｋｅｙ ｄｒｉｖｅｒ）など）、磁気ストライプ、データベース、サーバ、及び他の適切な記憶媒体の少なくとも１つで構成することができる。ストレージ１０３０は、さらに、補助記憶装置と呼ばれてもよい。
【0124】
通信装置１０４０は、有線及び／又は無線ネットワークを介したコンピュータ間の通信に使用されるハードウェア（送受信デバイス）であり、例えば、ネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュールとも呼ばれる。
【0125】
入力装置１０５０は、外部からの入力を受け取る入力デバイス（例えば、キーボード、マウス、マイクロフォン、スイッチ、ボタン、センサなど）である。出力装置１０６０は、外部への出力を行う出力デバイス（例えば、ディスプレイ、スピーカー、発光ダイオード（ＬＥＤ、Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）ランプなど）である。さらに、入力装置１０５０及び出力装置１０６０は、さらに、一体構造（例えば、タッチパネル）であってもよい。
【0126】
また、プロセッサ１０１０及びメモリ１０２０などの各装置は、情報を通信するためのバス１０７０を介して接続されている。バス１０７０は、単一のバスによって構成されてもよく、又は装置間の異なるバスによって構成されてもよい。
【0127】
また、電子デバイス６０は、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ、Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、特定用途向け集積回路（ＡＳＩＣ、Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、プログラマブルロジックデバイス（ＰＬＤ、Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ、Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）などのハードウェアを含むことができ、当該ハードウェアを介して各機能ブロックの一部又はすべてを実現できる。例えば、プロセッサ１０１０は、これらのハードウェアの少なくとも１つによって取り付けることができる。
【0128】
ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語呼ばれるか、又は、他の名称で呼ばれるかにかかわらず、コマンド、コマンドセット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能なファイル、実行スレッド、ステップ、機能などを意味すると広く解釈されるべきである。
【0129】
また、ソフトウェア、コマンド、情報などは、伝送媒体を介して送受信されてもよい。例えば、有線技術（同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者線（ＤＳＬ、Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）など）及び／又は無線技術（赤外線、マイクロ波など）を使用して、ウェブサイト、サーバ、又はその他のリモートソースからソフトウェアを送信する場合、これらの有線技術及び／又は無線技術は、伝送媒体の定義に含まれる。
【0130】
本明細書に記載されている各態様／実施形態は、単独で使用してもよく、組み合わせて使用してもよく、実行中に切り替えて使用してもよい。また、本明細書に記載されている各態様／実施形態の処理ステップ、シーケンス、フローチャートなどに矛盾がない限り、順序を変更することができる。例えば、本明細書に記載されている方法に関して、様々なステップユニットが例示的な順序で与えられたが、与えられた特定の順序に限定されない。
【0131】
本明細書で使用される「に基づいて」などの説明は、他の段落で明確に述べられていない限り、「のみに基づいて」を意味するものではない。言い換えれば、「に基づいて」の説明は、「のみに基づいて」と「少なくともに基づいて」の両方を意味する。
【0132】
本明細書における「第１」、「第２」などの名称を使用するユニットへの参照はすべて、これらのユニットの数又は順序を包括的に制限することを意図するものではない。これらの名称は、２つ以上のユニットを区別する便利な方法として本明細書で使用できる。したがって、第１ユニット及び第２ユニットへの参照は、２つのユニットのみが使用されること、又は第１ユニットが何らかの形で第２ユニットに先行しなければならないことを意味しない。
【0133】
「含む（ｉｎｃｌｕｄｉｎｇ）」、「含有する（ｃｏｍｐｒｉｓｉｎｇ）」、及びそれらの変形が本明細書又は特許請求の範囲で使用される場合、これらの用語は、「有する」という用語と同様に無制限である。さらに、本明細書又は特許請求の範囲で使用される「又は（ｏｒ）」という用語は、排他的論理和ではない。
【0134】
当業者は、本開示の様々な態様が、新規で有用なプロセス、機械、製品、又は物質の組み合わせ、あるいはそれらに対する任意の新規で有用な改良含む、いくつかの特許性のあるカテゴリー又は状況で例示及び説明されてもよいことを理解できる。それに応じて、本開示の様々な態様は、完全にハードウェアによって、完全にソフトウェア（ファームウェア、常駐ソフトウェア、マイクロコードなどを含む）によって、又はハードウェアとソフトウェアの組み合わせによって実行されてもよい。上記のハードウェア又はソフトウェアは、「データブロック」、「モジュール」、「エンジン」、「ユニット」、「アセンブリ」、又は「システム」と呼ばれてもよい。さらに、本開示の各態様は、１つ又は複数のコンピュータ読み取り可能な媒体に位置し、かつコンピュータ読み取り可能なプログラムコードを含むコンピュータ製品として具体化されてもよい。
【0135】
本開示は、特定の用語を使用して、本開示の実施例を説明する。「１つの実施例」、「一実施例」、及び／又は「いくつかの実施例」などは、本開示の少なくとも１つの実施例に関連する特定の特徴、構造、又は特性を意味する。したがって、本明細書の異なる箇所で「一実施例」又は「１つの実施例」又は「一代替実施例」への２回以上の言及は、必ずしも同じ実施例を指すとは限らないことに留意されたい。また、本開示の１つ又は複数の実施例のいくつかの特定の特徴、構造又は特性は、適切に組み合わせることができる。
【0136】
別段の定義がない限り、本明細書で使用されるすべての用語（技術用語及び科学用語を含む）は、本開示が属する分野の当業者によって一般に理解されるものと同じ意味を有する。また、通常の辞書で定義されているような用語は、関連技術の文脈での意味と一致する意味を持つと解釈されるべきであり、本明細書で明示的に定義されていない限り、理想化又は高度に形式化された意味で解釈されるべきではないことも理解されたい。
【0137】
上記において本開示を詳細に説明してきたが、本開示が本明細書に記載された実施形態に限定されないことは当業者には明らかである。本開示は、特許請求の範囲の説明によって定義される本開示の精神及び範囲から逸脱することなく、修正及び変更された形態として実施することができる。したがって、本明細書に記載されていることは、例示の説明を目的としたものであり、本開示に限定的な意味を有するものではない。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
