(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-03-08
(45)【発行日】2022-03-16
(54)【発明の名称】データに対するラベル付けの優先順位を決める方法
(51)【国際特許分類】
G06N 20/00 20190101AFI20220309BHJP
【ＦＩ】
G06N20/00 130
【請求項の数】
14
【外国語出願】
(21)【出願番号】P 2020125751
(22)【出願日】2020-07-22
(65)【公開番号】P2021022380
(43)【公開日】2021-02-18
【審査請求日】2020-09-11
(31)【優先権主張番号】10-2019-0091059
(32)【優先日】2019-07-26
(33)【優先権主張国・地域又は機関】KR
(73)【特許権者】
【識別番号】520119138
【氏名又は名称】スアラブ カンパニー リミテッド
(74)【代理人】
【識別番号】240000327
【弁護士】
【氏名又は名称】弁護士法人クレオ国際法律特許事務所
(72)【発明者】
【氏名】チュ ミンキュ
【審査官】多胡 滋
(56)【参考文献】
【文献】米国特許出願公開第２０１８／０３３６４８１（ＵＳ，Ａ１）
【文献】特開２０１５－１２９９８８（ＪＰ，Ａ）
【文献】Jorg D. Wichard，Model Selection in an Ensemble Framework，[online]，IEEE，2006年07月21日，pp.2187-2192，インターネット＜URL:https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=1716382＞
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｎ ２０／００
(57)【特許請求の範囲】
【請求項1】
コンピューターで読み取り可能な保存媒体に保存されたコンピュータープログラムであって、前記コンピュータープログラムは１つ以上のプロセッサーに以下の段階を実行させるための命令を含み、前記段階は、
２つ以上のトレーニングデータセット及びそれに対応するラベル付けの値に基づき学習される、１つ以上のネットワーク関数を含む複数の推論モデルに基づき、任意のデータに対する複数の推論結果を生成する段階、
前記複数の推論結果に基づき前記任意のデータに対する単一の推論結果を生成する段階、及び、
前記単一の推論結果が予め決められた基準を満たしていない場合、前記単一の推論結果及び少なくとも１つのしきい値に基づいて、前記任意のデータに対するラベル付けの優先順位を決める段階、
を含む、
コンピューターで読み取り可能な保存媒体に保存されたコンピュータープログラム。
【請求項2】
請求項１において、
少なくとも、
ラベル付けされていない全体データセットから少なくとも２つ以上のデータを含むデータサブセットを生成する段階、
前記データサブセットから２つ以上のトレーニングデータセットを生成する段階であって、前記２つ以上のトレーニングデータセットは相異する検証データセットを含むサンプリングされたデータサブセットのペアを少なくとも１つ含む、段階、及び、
前記２つ以上のトレーニングデータセット及びそれに対応するラベル付けの値に基づき複数の推論モデルを学習させる段階、
によって前記１つ以上のネットワーク関数を含む前記複数の推論モデルを学習させる、
コンピューターで読み取り可能な保存媒体に保存されたコンピュータープログラム。
【請求項3】
請求項２において、前記データサブセットから２つ以上のトレーニングデータセットを生成する段階は、
前記トレーニングデータセットに基づき、それぞれ固有の検証データセットを含む複数のトレーニングデータセットを生成する段階、
を含む、
コンピューターで読み取り可能な保存媒体に保存されたコンピュータープログラム。
【請求項4】
請求項３において、前記トレーニングデータセットに基づき、それぞれ固有の検証データセットを含む複数のトレーニングデータセットを生成する段階は、
前記トレーニングデータセットをＮ個のデータ下位サブセットに分割する段階、及び
前記Ｎ個のデータ下位サブセットの中から少なくとも１つを検証データセットに割り当てる段階、
を含む、
コンピューターで読み取り可能な保存媒体に保存されたコンピュータープログラム。
【請求項5】
請求項１において、前記複数の推論モデルは、
互いに相異する形を含む２つ以上のネットワーク関数を含む、
コンピューターで読み取り可能な保存媒体に保存されたコンピュータープログラム。
【請求項6】
請求項１において、
前記任意のデータに対する前記複数の推論結果を提供する段階をさらに含む、
コンピューターで読み取り可能な保存媒体に保存されたコンピュータープログラム。
【請求項7】
請求項１において、前記複数の推論結果は、
個々の推論モデルが任意のデータに対して推論した分類結果及び個々の前記分類結果に係る確信度スコア（ｃｏｎｆｉｄｅｎｃｅ ｓｃｏｒｅ）を含む、
コンピューターで読み取り可能な保存媒体に保存されたコンピュータープログラム。
【請求項8】
請求項１において、
前記単一の推論結果を提供する段階をさらに含む、
コンピューターで読み取り可能な保存媒体に保存されたコンピュータープログラム。
【請求項9】
請求項１において、
前記単一の推論結果が予め決められた基準を満たしている場合、対応する任意のデータに疑似ラベル（ｐｓｅｕｄｏ ｌａｂｅｌ）を付与する段階、
をさらに含む、
コンピューターで読み取り可能な保存媒体に保存されたコンピュータープログラム。
【請求項10】
請求項９において、前記単一の推論結果が予め決められた基準を満たしている場合、対応する任意のデータに疑似ラベルを付与する段階は、
前記単一の推論結果に含まれた不確実性の値が予め設定されたしきい値以下である場合、前記単一の推論結果に含まれた分類の予測結果を前記任意のデータに対する疑似ラベルにすると決める段階、
を含む、
コンピューターで読み取り可能な保存媒体に保存されたコンピュータープログラム。
【請求項11】
請求項１において、前記単一の推論結果が前記予め決められた基準を満たしていない場合、前記単一の推論結果及び前記少なくとも１つのしきい値に基づいて、前記任意のデータに対する前記ラベル付けの優先順位を決める段階は、
前記任意のデータの前記単一の推論結果に含まれる不確実性の値が予め設定された第１しきい値以下である場合、前記任意のデータに第１優先順位を付与する段階、
前記任意のデータの前記単一の推論結果に含まれる不確実性の値が前記第１しきい値を超過し、予め設定された第２しきい値以下である場合、前記任意のデータに第２優先順位を付与する段階、及び
前記任意のデータの前記単一の推論結果に含まれる不確実性の値が前記第２しきい値を超過する場合、前記任意のデータに第３優先順位を付与する段階、
を含む、
コンピューターで読み取り可能な保存媒体に保存されたコンピュータープログラム。
【請求項12】
請求項５において、前記複数の推論モデルは、
互いに相異する形を含む２つ以上のネットワーク関数を含む、
コンピューターで読み取り可能な保存媒体に保存されたコンピュータープログラム。
【請求項13】
ラベル付けの優先順位を決めるためのコンピューティング装置であって、プロセッサー、
保存部、及び
通信部、
を含み、
前記プロセッサーは、
２つ以上のトレーニングデータセット及び対応するラベル付けの値に基づき学習された、１つ以上のネットワーク関数を含む複数の推論モデルに基づき、任意のデータに対する複数の推論結果を生成し、
前記複数の推論結果に基づき前記任意のデータに対する単一の推論結果を生成し、かつ、
前記単一の推論結果が予め決められた基準を満たしていない場合、前記単一の推論結果及び少なくとも１つのしきい値に基づいて、前記任意のデータに対するラベル付けの優先順位を決める、
コンピューティング装置。
【請求項14】
請求項１３において、
前記プロセッサーは、前記任意のデータに対する複数の推論結果を提供する、
コンピューティング装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、コンピューティング装置を利用してデータラベル付けのための工数を減らすことに関し、さらに具体的には、データに対するラベル付けの優先順位を決めるソリューションに関するものである。
【背景技術】
【0002】
マシンラーニングに基づく人工知能技術の発展により、マシンラーニングモデルを学習させるために求められるデータの重要性が高まってきている。例えば、自動運転自動車にはｐｉｘｅｌ－ｗｉｓｅ ｌａｂｅｌの画像が最低１億枚必要だとされている。このようなデータの重要性は、ＧＩＧＯ（Ｇａｒｂａｇｅ－Ｉｎ Ｇａｒｂａｇｅ－Ｏｕｔ）という言葉で表すことができる。
【0003】
マシンラーニングモデルを学習させるための教師あり学習（ｓｕｐｅｒｖｉｓｅｄ ｌｅａｒｎｉｎｇ）では、データに対するラベル付けが必要である。このデータに対するラベル付けは、一般的に人間の手作業によって行われる。ラベル付けが必要なデータの量は、幾何級数的に増える一方、手作業の速度には限界がある。従って、当業界には、ラベル付けを効率的に行えるようにするソリューションに対するニーズが存在し得る。
【0004】
米国特許公開公報１６／０２７１６１は、マシンラーニングのトレーニングデータ選択のための方法を開示している。
【発明の概要】
【発明が解決しようとする課題】
【0005】
本開示は、前述の背景技術に対応して案出されたものであり、データに対するラベル付けにおいて優先順位を決めるソリューションを提供するものである。
【0006】
本開示の技術的課題は、以上で述べた技術的課題に限定されず、以上で触れていないさらなる技術的課題も、以下の記載から当業者に明確に理解できるものである。
【課題を解決するための手段】
【0007】
前述のような課題を解決するための本開示の一実施例に基づき、コンピューターで読み取り可能な保存媒体に保存されたコンピュータープログラムが開示される。前述のコンピュータープログラムは、１つ以上のプロセッサーに以下の段階を実行させるための命令を含み、前述の段階は、ラベル付けされていない全体データセットから少なくとも２つ以上のデータを含むデータサブセットを生成する段階、前述のデータサブセットから２つ以上のトレーニングデータセットを生成する段階－前述の２つ以上のトレーニングデータセットは相異する検証データセットを含むサンプリングされたデータサブセットのペアを少なくとも１つ含む－、前述の２つ以上のトレーニングデータセット及びそれに対応するラベル付けの値に基づき複数の推論モデルを学習させる段階、を含むことができる。
【0008】
また、前述のデータサブセットから２つ以上のトレーニングデータセットを生成する段階は、前述のトレーニングデータセットに基づき、それぞれ固有の検証データセットを含む複数のトレーニングデータセットを生成する段階、を含むことができる。
【0009】
また、前述のトレーニングデータセットに基づき、それぞれ固有の検証データセットを含む複数のトレーニングデータセットを生成する段階は、前述のトレーニングデータセットをＮ個のデータ下位サブセットに分割する段階、及び前述のＮ個のデータ下位サブセットの中から少なくとも１つを検証データセットに割り当てる段階、を含むことができる。
また、前述の複数の推論モデルは、互いに相異する形を含む２つ以上のネットワーク関数を含むことができる。
また、前述の複数の推論モデルは、互いに相異する形を含む２つ以上のネットワーク関数を含むことができる。
【0010】
前述のような課題を解決するための本開示の一実施例に基づき、コンピューターで読み取り可能な保存媒体に保存されたコンピュータープログラムが開示される。前述のコンピュータープログラムは、１つ以上のプロセッサーに以下の段階を実行させるための命令を含み、前述の段階は、２つ以上のトレーニングデータセット及びそれに対応するラベル付けの値に基づき学習された、１つ以上のネットワーク関数を含む複数の推論モデルに基づき、任意のデータに対する複数の推論結果を生成する段階、及び前述の任意のデータに対する複数の推論結果を提供する段階、を含むことができる。
【0011】
また、前述の複数の推論結果は、個々の推論モデルが任意のデータに対して推論した分類結果と、前述の分類結果個々に係る確信度スコア（ｃｏｎｆｉｄｅｎｃｅ ｓｃｏｒｅ）とを含むことができる。
【0012】
また、前述の任意のデータに対する複数の推論結果を提供する段階は、前述の任意のデータに対する複数の推論結果に基づき任意のデータに対する単一の推論結果を生成する段階、及び前述の単一の推論結果を提供する段階、を含むことができる。
【0013】
また、前述の単一の推論結果を決める段階は、前述の単一の推論結果が予め決められた基準を満たしている場合、対応する任意のデータに疑似ラベル（ｐｓｅｕｄｏ ｌａｂｅｌ）を付与する段階、を含むことができる。
【0014】
また、前述の単一の推論結果が予め決められた基準を満たしている場合、対応する任意のデータに疑似ラベルを付与する段階は、前述の単一の推論結果に含まれた不確実性の値が予め設定されたしきい値以下である場合、前述の単一の推論結果に含まれた分類の予測結果を前述の任意のデータに対する疑似ラベルにすると決める段階、を含むことができる。
【0015】
また、前述の単一の推論結果を提供する段階は、前述の疑似ラベルが付与されていない任意のデータに対し、前述の単一の推論結果に対応するラベル付けの優先順位を決める段階、をさらに含むことができる。
【0016】
また、前述の疑似ラベルが付与されていない任意のデータに対し、前述の単一の推論結果に対応するラベル付けの優先順位を決める段階は、前述の任意のデータに対する前述の不確実性の値が予め設定された第１しきい値以下である場合、前述の任意のデータに第１優先順位を付与する段階、前述の任意のデータに対する前述の不確実性の値が前述の第１しきい値を超過し、予め設定された第２しきい値以下である場合、前述の任意のデータに第２優先順位を付与する段階、及び前述の任意のデータに対する前述の不確実性の値が前述の第２しきい値を超過する場合、前述の任意のデータに第３優先順位を付与する段階、を含むことができる。
【0017】
また、前述の複数の推論モデルは、互いに相異する形を含む２つ以上のネットワーク関数を含むことができる。
【0018】
前述のような課題を解決するための本開示の一実施例に基づき、ラベル付けの優先順位を決めるためのコンピューティング装置が開示される。前述のラベル付けの優先順位を決めるためのコンピューティング装置は、プロセッサー、保存部、及び通信部、を含み、前述のプロセッサーは、ラベル付けされていない全体データセットから少なくとも２つ以上のデータを含むデータサブセットを生成し、前述のデータサブセットから２つ以上のトレーニングデータセットを生成し－前述の２つ以上のトレーニングデータセットは、それぞれ異なるデータサブセットを含む、サンプリングされたデータサブセットのペアを少なくとも１つ含む－、前述の２つ以上のトレーニングデータセット及びそれに対応するラベル付けの値に基づき複数の推論モデルを学習させることができる。
【0019】
前述のような課題を解決するための本開示の一実施例に基づき、ラベル付けの優先順位を決めるためのコンピューティング装置が開示される。前述のラベル付けの優先順位を決めるためのコンピューティング装置は、プロセッサー、保存部、及び通信部、を含み、前述のプロセッサーは、２つ以上のトレーニングデータセット及びそれに対応するラベル付けの値に基づき学習された、１つ以上のネットワーク関数を含む複数の推論モデルに基づき、任意のデータに対する複数の推論結果を生成し、前述の任意のデータに対する複数の推論結果を提供できる。
【0020】
本開示から得られる技術的解決手段は、以上で述べた解決手段に限られず、以上で述べられていないさらなる解決手段が、以下の記載により、本開示が属する技術分野において通常の知識を持つ者に明確に理解されることができる。
【発明の効果】
【0021】
本開示は、マシンラーニングモデルの学習用データ収集ソリューションに関するものである。
【0022】
本開示から得られる効果は以上で述べた効果に限られず、以上で述べられていないさらなる効果が、以下の記載により、本開示が属する技術分野において通常の知識を持つ者に明確に理解されることができる。
【0023】
これから多様な様相について、図面を参照しながら記載するが、ここで類似の参照番号は、総括的に類似の構成要素を指すために使われる。以下の実施例において、説明目的で、多数の特定の細部事項が１つ以上の様相を総体的に理解できるようにするために提示される。しかし、これらの（複数の）様相がこれらの具体的な細部事項がなくても実施されることができることは明らかである。
【図面の簡単な説明】
【0024】
【発明を実施するための形態】
【0025】
本明細書において、「コンポーネント」、「モジュール」、「システム」等の用語は、コンピューター関連エンティティ、ハードウェア、ファームウェア、ソフトウェア、ソフトウェアとハードウェアとの組み合わせ、またはソフトウェアの実行を指す。例えば、コンポーネントは、プロセッサー（１１０）上で実行される処理手順（procedure）、プロセッサー（１１０）、オブジェクト、実行スレッド、プログラム、及び／またはコンピューターになり得るが、これらに限定されるものではない。例えば、コンピューティング装置（１００）で実行されるアプリケーションとコンピューティング装置（１００）は、両方ともコンポーネントになり得る。１つ以上のコンポーネントは、プロセッサー（１１０）及び／または実行スレッドの中に常駐することができる。１つのコンポーネントは、１つのコンピューターの中でローカル化されることができる。１つのコンポーネントは、２つ以上のコンピューターに配分されることができる。また、このようなコンポーネントは、その内部に保存された多様なデータ構造を持つ、コンピューターで読み取り可能な多様な媒体で実行することができる。コンポーネントは、例えば１つ以上のデータパケットを持つ信号（例えば、ローカルシステム、分散システムにおいて、他のコンポーネントと相互作用する１つのコンポーネントからのデータ及び／または信号を通じて、他のシステムと、インターネットのようなネットワークを通じて伝送されるデータ）によってローカル及び／または遠隔処理等を通じて通信することができる。
【0026】
さらに、ここで用いられる用語「または」は、排他的な「または」ではなく、内包的「または」を意味する意図で使われる。つまり、特に特定されておらず、文脈上明確ではない場合、「ＸはＡまたはＢを利用する」は、自然な内包的置換のうち１つを意味する意図を持つ。つまり、ＸがＡを利用したり、ＸがＢを利用したり、またはＸがＡ及びＢの両方を利用する場合、「ＸはＡまたはＢを利用する」は、これらのいずれにも当てはまるとすることができる。また、本明細書における「及び／または」という用語は、取り挙げられた関連アイテムのうち、１つ以上のアイテムの可能なすべての組み合わせを指し、それらを含むと理解されるべきである。
【0027】
また、述語としての「含む（含める）」及び／または修飾語として「含む（含める）」という用語は、当該特徴及び／または構成要素が存在することを意味するものと理解されるべきである。ただし、述語としての「含む（含める）」及び／または修飾語として「含む（含める）」という用語は、１つ以上の他のさらなる特徴、構成要素及び／またはこれらのグループが存在すること、または追加されることを排除しないものと理解されるべきである。また、特に特定されていない場合や、単数の形を示すことが文脈上明確でない場合、本明細書と請求範囲において単数は、一般的に「１つまたはそれ以上」を意味するものと解釈されるべきである。
【0028】
当業者は、さらに、ここに開示される実施例に係るものとして説明された多様な例示的論理的ブロック、構成、モジュール、回路、手段、ロジック及びアルゴリズム段階が、電子ハードウェア、コンピューターソフトウェア、またはその両方の組み合わせによって実現できることを認識すべきである。ハードウェアとソフトウェアとの相互交換性を明確に例示するために、多様な例示的コンポーネント、ブロック、構成、手段、ロジック、モジュール、回路及び段階が、それらの機能性の側面から一般的に上述された。そのような機能性がハードウェアとしてまたはソフトウェアとして実装されるか否かは、全般的なシステムに係る特定のアプリケーション（ａｐｐｌｉｃａｔｉｏｎ）及び設計制限によって決まる。熟練した技術者は、個々の特定アプリケーションのために多様な方法で説明された機能を実現できる。ただし、そのような実現に係る決定が本開示内容の領域を逸脱するものと解釈されてはならない。
【0029】
ここに示す実施例に係る説明は、本開示の技術分野において通常の知識を持つ者が本発明を利用したりまたは実施できるように提供される。このような実施例に対する多様な変形は、本開示の技術分野において通常の知識を持つ者には明確である。ここに定義された一般的な原理は、本開示の範囲を逸脱することなく他の実施例に適用されることができる。従って、本発明はここに示す実施例だけに限定されるものではない。本発明はここに示す原理及び新規な特徴と一貫する最広義の範囲で解釈されるべきである。
【0030】
本開示の一実施例におけるサーバーには、サーバーのサーバー環境を実装するための他の構成が含まれることが可能である。サーバーは形を問わずあらゆる装置をすべて含むことができる。サーバーはデジタル機器として、ラップトップコンピューター、ノートパソコン、デスクトップコンピューター、ウェブパッド、携帯電話のようにプロセッサー（１１０）を搭載しておりメモリーを備えた演算能力を持つデジタル機器になり得る。サーバーはサービスを処理するウェブサーバーになり得る。前述のサーバーの種類は例示に過ぎず、本開示はこれによって限定されない。
【0031】
本明細書におけるネットワーク関数は、人工神経網（２００）、ニューラルネットワークと相互交換可能な形で使われることができる。本明細書におけるネットワーク関数は、１つ以上のニューラルネットワークを含むこともでき、この場合、ネットワーク関数の出力は、１つ以上のニューラルネットワークの出力のアンサンブル（ｅｎｓｅｍｂｌｅ）になり得る。
【0032】
本明細書において、モデルはネットワーク関数を含むことができる。モデルは１つ以上のネットワーク関数を含むこともでき、この場合、モデルの出力は、１つ以上のネットワーク関数の出力のアンサンブルになり得る。
【0033】
図１は、本開示の一実施例に係るデータラベル付けの優先順位を決める方法を実行するコンピューティング装置の構成を示すブロック図である。
【0034】
コンピューティング装置（１００）は、プロセッサー（１１０）と保存部（１２０）を含むことができる。プロセッサー（１１０）は、１つ以上のコアで構成されることができ、コンピューティング装置（１００）の中央処理装置（ＣＰＵ：ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、汎用グラフィック処理装置（ＧＰＧＰＵ：ｇｅｎｅｒａｌ ｐｕｒｐｏｓｅ ｇｒａｐｈｉｃｓ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、テンサー処理装置（ＴＰＵ：ｔｅｎｓｏｒ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）等のラベル付けの優先順位を決める方法を実行するためのプロセッサー（１１０）を含むことができる。プロセッサー（１１０）は、保存部（１２０）に保存されたコンピュータープログラムを読み取り、本開示の一実施例に係るデータに対するラベル付けの優先順位を決める方法を実行することができる。本開示の一実施例に基づき、プロセッサー（１１０）は、神経網（２００）の学習のための計算を実行することができる。プロセッサー（１１０）は、ディープラーニング（ＤＮ：ｄｅｅｐ ｌｅａｒｎｉｎｇ）において学習のための入力データの処理、入力データからのフィーチャー（ｆｅａｔｕｒｅ）抽出、誤差計算、逆伝播（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を利用した神経網（２００）の重み更新等の神経網（２００）の学習のための計算を実行することができる。
【0035】
プロセッサー（１１０）のＣＰＵ、ＧＰＧＰＵ及びＴＰＵのうち、少なくとも１つがトレーニングデータセット（５００）を生成し、複数の推論モデル（６００）の学習を処理することができる。また、本開示の一実施例において、複数のコンピューティング装置（１００）のプロセッサー（１１０）を一緒に使って、学習されたモデルを利用した複数の推論結果（７００）を生成し、複数の推論結果（７００）、単一の推論結果及び疑似ラベル（ｐｓｅｕｄｏ ｌａｂｅｌ）を提供できる。また、本開示の一実施例に係るコンピューティング装置（１００）で実行されるコンピュータープログラムは、ＣＰＵ、ＧＰＧＰＵまたはＴＰＵで実行可能プログラムになり得る。
【0036】
保存部（１２０）は、本開示の一実施例に係るラベル付けの優先順位を決める方法を実行するためのコンピュータープログラムを保存することができ、保存されたコンピュータープログラムは、プロセッサー（１１０）によって読み取られ実行されることができる。
本開示の実施例に係る保存部（１２０）は、プロセッサー（１１０）の動作のためのプログラムを保存することができ、入／出力されるデータ（例えば、サービスへのアクセス情報、ユーザー情報、代替サービスへのアクセス情報等）を一時的または永久に保存することもできる。前述の保存部（１２０）は、ディスプレイや音響に係るデータを保存することができる。保存部（１２０）は、フラッシュメモリータイプ（ｆｌａｓｈ ｍｅｍｏｒｙ ｔｙｐｅ）、ハードディスクタイプ（ｈａｒｄ ｄｉｓｋ ｔｙｐｅ）、マルチメディアカードマイクロタイプ（ｍｕｌｔｉｍｅｄｉａ ｃａｒｄ ｍｉｃｒｏ ｔｙｐｅ）、カードタイプの保存部（例えばＳＤまたはＸＤメモリー等）、ラム（ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＲＡＭ）、ＳＲＡＭ（Ｓｔａｔｉｃ ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ロム（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ、ＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、磁気メモリー、磁気ディスク、光ディスクのうち、少なくとも１つのタイプの保存媒体を含むことができる。
本開示の実施例に係る保存部（１２０）は、プロセッサー（１１０）の動作のためのプログラムを保存することができ、入／出力されるデータ（例えば、サービスへのアクセス情報、ユーザー情報、代替サービスへのアクセス情報等）を一時的または永久に保存することもできる。前述の保存部（１２０）は、ディスプレイや音響に係るデータを保存することができる。保存部（１２０）は、フラッシュメモリータイプ（ｆｌａｓｈ ｍｅｍｏｒｙ ｔｙｐｅ）、ハードディスクタイプ（ｈａｒｄ ｄｉｓｋ ｔｙｐｅ）、マルチメディアカードマイクロタイプ（ｍｕｌｔｉｍｅｄｉａ ｃａｒｄ ｍｉｃｒｏ ｔｙｐｅ）、カードタイプの保存部（例えばＳＤまたはＸＤメモリー等）、ラム（ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＲＡＭ）、ＳＲＡＭ（Ｓｔａｔｉｃ ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ロム（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ、ＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、磁気メモリー、磁気ディスク、光ディスクのうち、少なくとも１つのタイプの保存媒体を含むことができる。
【0037】
図２は、本開示の一実施例に係る人工神経網の一部を示す概略図である。
【0038】
本明細書を通して、神経網（２００）、ネットワーク関数、ニューラルネットワーク（ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）は同じ意味で使われることができる。神経網（２００）は、一般的に「ノード」と称されることのできる相互連結された計算単位の集合により構成されることができる。このようなノードは、「ニューロン（ｎｅｕｒｏｎ）」と称されることもできる。神経網（２００）は、少なくとも１つ以上のノードを含めて構成される。神経網（２００）を構成するノード（またはニューロン）は、１つ以上のリンクによって相互連結されることができる。
【0039】
神経網（２００）内部で、リンクによって繋がっている１つ以上のノードは、相対的に入力ノードと出力ノードの関係を形成することができる。入力ノードと出力ノードという概念は、相対的なものであり、あるノードに対し出力ノードの関係にある任意のノードは、他のノードとの関係においては入力ノードになることがあり、その逆のことも成立することができる。前述のように、入力ノードと出力ノードとの関係は、リンクを中心にして生成されることができる。１つの入力ノードに１つ以上の出力ノードがリンクによって繋がることができ、その逆も成立することができる。
【0040】
１つのリンクによって繋がっている入力ノードと出力ノードとの関係において、出力ノードは入力ノードに入力されたデータに基づきその値が決まることができる。ここで入力ノードと出力ノードとを相互連結するノードには重み（ｗｅｉｇｈｔ）が付けられることができる。重みは可変的なものになることもあり、神経網（２００）が求める機能を遂行するために、ユーザーまたはアルゴリズムによって変わることができる。例えば、１つの出力ノードに１つ以上の入力ノードのそれぞれが、リンクによって相互連結されている場合、出力ノードは前述の出力ノードと繋がっている複数の入力ノードに入力された値と、各入力ノードに対応するリンクに設定された重みに基づき出力ノードの値を決めることができる。
【0041】
前述のように、神経網（２００）は、１つ以上のノードが１つ以上のリンクによって相互連結され神経網（２００）の中で入力ノードと出力ノードの関係を形成する。神経網（２００）の中でノードとリンクの数、ノードとリンクとの間の相関関係、各リンクに付与された重みの値によって、神経網（２００）の特徴が決まることができる。例えば、同じ数のノードとリンクが存在し、リンクの重みの値が異なる２つの神経網（２００）が存在する場合、２つの神経網（２００）は、異なるものと認識されることができる。
【0042】
図２に示すように、神経網（２００）は、１つ以上のノードを含めて構成されることができる。神経網（２００）を構成するノードのうち一部は、第１入力ノードからの距離に基づき、１つのレイヤー（ｌａｙｅｒ）を構成することができる。例えば、第１入力ノードからの距離がｎであるノードの集合は、ｎレイヤーを構成することができる。第１入力ノードからの距離は、第１入力ノードから当該ノードにたどり着くために経由しなければならないリンクの最低限の数によって定義されることができる。しかし、このようなレイヤーの定義は説明のための仮のものであり、神経網（２００）の中でレイヤーの位置は、前述のものと異なる方法によって定義されることができる。例えば、ノードのレイヤーは、最終出力ノードからの距離によって定義されることもできる。
【0043】
第１入力ノードは、神経網（２００）の中のノードのうち他のノードとの関係においてリンクを経由せずにデータが直接入力される１つ以上のノードを意味することができる。または、神経網（２００）ネットワークの中で、リンクを基準にしたノード間の関係において、リンクによって綱がっている他の入力ノードを持たないノードを意味することができる。これと同様に、最終出力ノードは、神経網（２００）の中のノードのうち、他のノードとの関係において、出力ノードを持たない１つ以上のノードを意味することができる。また、ヒドンノードは、第１入力ノードや最終出力ノードではない、神経網（２００）を構成するノードを意味することができる。図２では出力ノードが省略されている。本開示の一実施例に係る神経網（２００）は、入力レイヤーのノードが出力レイヤーに近いヒドンレイヤーのノードより多いことがあり、入力レイヤーからヒドンレイヤーへ展開するにつれノードの数が減っていく形の神経網（２００）になり得る。
【0044】
ディープニューラルネットワーク（ＤＮＮ：ｄｅｅｐ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ、深層神経網（２００））は、入力レイヤーと出力レイヤー以外に複数のヒドンレイヤーを含む神経網（２００）を意味することができる。ディープニューラルネットワークを利用するとデータの潜在的な構造（ｌａｔｅｎｔ ｓｔｒｕｃｔｕｒｅｓ）を把握することができる。つまり、写真、文章、ビデオ、音声、音楽の潜在的な構造（例えば、ある物が写真の中にあるのか、文章の内容と感情はどのようなものなのか、音声の内容と感情はどのようなものなのか等）を把握することができる。ディープニューラルネットワークは、畳み込みニューラルネットワーク（ＣＮＮ：ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）、リカレントニューラルネットワーク（ＲＮＮ：ｒｅｃｕｒｒｅｎｔ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）、制限ボルツマンマシン（ＲＢＭ：ｒｅｓｔｒｉｃｔｅｄ ｂｏｌｔｚｍａｎｎ ｍａｃｈｉｎｅ）、深層信頼ネットワーク（ＤＢＮ：ｄｅｅｐ ｂｅｌｉｅｆ ｎｅｔｗｏｒｋ）、Ｑネットワーク、Ｕネットワーク、シャムネットワーク等を含むことができる。
【0045】
図３は、本開示の一実施例に係るコンピューティング装置のプロセッサーが、複数の推論モデルを学習させる一例を示すフローチャートである。
【0046】
図３を参照すると、プロセッサー（１１０）は、ラベル付けされていない全体データセット（３００）から、少なくとも２つ以上のデータを含む、ラベル付けされたデータサブセット（４００）を生成することができる（Ｓ１００）。
【0047】
本開示における全体データセット（３００）は、手作業または分類器／分類モデルによるラベル付け作業を経ていないデータを含むことができる。また、本開示の一実施例において全体データセットは、ラベル付けデータを少なくとも一部含むこともできる。
【0048】
プロセッサー（１１０）は、ラベル付けされていない全体データセット（３００）からデータサブセット（４００）を生成することができる。プロセッサー（１１０）は、全体データセット（３００）をサンプリングしてラベル付けされたデータサブセット（４００）を生成することができる。以下、本開示においてラベル付けされたデータサブセットは、ラベル付けが完了したデータだけを含むデータセットのサブセットを意味することができる。
【0049】
プロセッサー（１１０）は、ラベル付けされていない全体データセット（３００）からラベル付けされていないデータサブセットを生成することができる。ここでラベル付けされていないデータサブセットを生成するためにプロセッサー（１１０）は、ラベル付けされていない全体データセット（３００）からデータをサンプリング（ｓａｍｐｌｉｎｇ）して、ラベル付けされていないデータサブセットを生成することができる。具体的にプロセッサー（１１０）は、ラベル付けされていない全体データセット（３００）に対してランダムサンプリング（ｒａｎｄｏｍ ｓａｍｐｌｉｎｇ）手法を適用してラベル付けされていないデータサブセットを生成することができる。
【0050】
プロセッサー（１１０）は、ラベル付けされていないデータサブセットに対してラベル付け作業を行うことで、ラベル付けされたデータサブセット（４００）を生成することができる。前述のように、ラベル付け作業はユーザーによって行われることもできる。また、ラベル付け作業は、ラベル付け作業のためにトレーニングされた分類器／分類モデルによって行われることもできる。さらに、ラベル付け作業は、教師なし学習（Ｕｎｓｕｐｅｒｖｉｓｅｄ ｌｅａｒｎｉｎｇ）またはクラスタリング（Ｃｌｕｓｔｅｒｉｎｇ）手法を利用して行われることもできる。
【0051】
本開示におけるデータに対するラベル付けの優先順位を決める方法は、ラベル付けされたデータサブセット（４００）でトレーニングさせたモデルを利用して、推論結果を予め設定された基準に基づき分類することで、疑似ラベルを生成したり一部のデータだけに対してラベル付けを行うことにより、ラベル付けにかかる作業の量を減らすソリューションであると言える。
【0052】
ラベル付けされていない全体データセット（３００）が十分な量のデータを持っているとしよう。プロセッサー（１１０）がラベル付けされていない全体データセット（３００）をサンプリング（特にランダムサンプリング）して十分な数のデータを含むラベル付けされたデータサブセット（４００）を生成すると、ラベル付けされたデータサブセット（４００）は、その母集団である全体データセット（３００）について代表性を持つことができる。
【0053】
上述の内容に基づき、ラベル付けされたデータサブセット（４００）に基づきトレーニングされたモデルは、ラベル付けされていない全体データセット（３００）に対しても上手く作動できる。従って、ラベル付けされていない全体データセット（３００）に含まれたすべてのデータに対してラベル付け作業を行う必要がない可能性がある。従って、本開示におけるラベル付けの優先順位を決める方法によってラベル付けの対象となるデータの数を減らすことができるためラベル付けにかかる作業量が減ることが可能になる。
【0054】
プロセッサー（１１０）は、生成されたラベル付けされたデータサブセット（４００）に基づき、データサブセットから２つ以上のトレーニングデータセット（５００）を生成することができる（Ｓ２００）。
【0055】
プロセッサー（１１０）は、相異する検証データセットを含むサンプリングされたデータサブセットのペアを少なくとも１つ含むトレーニングデータセット（５００）を生成することができる。
【0056】
本開示の複数の実施例に係るトレーニングデータセット（５００）は、ラベル付けされたデータサブセット（４００）のデータを少なくとも一部含むことができる。ただし、トレーニングデータセット（５００）は、相互排他的（ｍｕｔｕａｌｌｙ ｅｘｃｌｕｓｉｖｅ）な１つ以上のデータサブセットで構成されていることができ、これは検証データセットを含むことができる。ここで、検証データセットは、データサブセット（４００）からサンプリング（ｓａｍｐｌｉｎｇ）されることが可能である。つまり、トレーニングデータセット（５００）は、サンプリングされたデータサブセットのペアで構成あれることができる。
【0057】
ここでラベル付けされたデータサブセット（４００）は、本開示における複数の推論モデル（６００）を学習させるためのデータの集合と定義されることができる。本開示の複数の実施例に係るラベル付けされたデータサブセット（４００）は、予めラベル（Lａｂel）付けされていることがある。ラベル付けされたデータサブセット（４００）を生成するためのラベル付け（Ｌａｂｅｌｉｎｇ）は、手作業またはラベル付けのためにトレーニングされた分類器／分類モデルによって行われることが可能である。具体的に、ラベル付けされたデータサブセット（４００）をラベル付けするための方法として教師なし学習（Ｕｎｓｕｐｅｒｖｉｓｅｄ ｌｅａｒｎｉｎｇ）またはクラスタリング（Ｃｌｕｓｔｅｒｉｎｇ）等が利用されることができる。
【0058】
複数の推論モデル（６００）を生成するために、複数のトレーニングデータセット（５００）は、ラベル付けされたデータサブセット（４００）からそれぞれ派生することが可能である。各トレーニングデータセット（５００）は、相異するデータを少なくとも一部含むことができる。トレーニングデータセット（５００）に関する詳細な内容は図４で後述する。
【0059】
前述の通り、ラベル付けされたデータサブセット（４００）に基づきトレーニングされたモデルは、ラベル付けされていない全体データセット（３００）に対しても上手く作動できる。従ってラベル付けされていない全体データセット（３００）に含まれたすべてのデータに対してラベル付け作業を行う必要がない可能性がある。従って本開示におけるラベル付けの優先順位を決める方法によってラベル付けにかかる作業量が減ることが可能である。
【0060】
プロセッサー（１１０）は、生成された２つ以上のトレーニングデータセット（５００）及びトレーニングデータセットに含まれた少なくとも一部のデータに対応するラベル付けの値に基づき複数の推論モデル（６００）を学習させることができる（Ｓ３００）。
【0061】
プロセッサー（１１０）は、複数の推論モデル（６００）を学習させることによりラベル付けされたデータサブセット（４００）に含まれた個々のデータに対する評価を行う複数の推論モデル（６００）を生成することができる。
【0062】
本開示に係るプロセッサー（１１０）は、複数のトレーニングデータセット（５００）に基づき、複数の推論モデル（６００）を学習させることができる。後述するが、プロセッサー（１１０）は、複数の推論モデル（６００）から生成された複数の予測結果を総合して個々のデータに対する評価を行うことができる。
【0063】
プロセッサー（１１０）は、複数の予測結果を総合するためにアンサンブル手法を利用することができる。ここでアンサンブル手法とは、与えられた資料でいくつかの予測モデルを作成し、これらを組み合わせて１つの最終的な予測モデルを作成する方法と定義されることができる。
【0064】
本開示に係るプロセッサー（１１０）は、平均、多数決、ベイズ推論等をアンサンブル手法を実行するための具体的な方法として利用することができる。
【0065】
上述の複数の推論モデル（６００）は、それぞれ複数のトレーニングデータセット（５００）に対応する。各推論モデル（６００）はそれぞれトレーニングデータセット（５００）に含まれたデータサブセットのうち、学習データセットに基づき学習される。１つのトレーニングデータセット（５００）から複数の推論モデル（６００）が生成されることができ、この場合プロセッサー（１１０）は、検証データに基づき、どのモデルを本開示に係るデータ収集戦略の策定方法を実行するための複数の推論モデル（６００）の一つとして提供するかを決めることができる。決められた複数の推論モデル（６００）はそれぞれラベル付けされていない全体データセット（３００）に対して推論結果を生成することができる。ここで推論結果は、特定のデータに対する分類結果（つまり、ラベル）や当該分類結果に対する確信度スコアを含むことができる。ただし、分類結果と確信度スコアは、推論結果に関する一例に過ぎず、推論結果に含まれることのできるデータは、これに限定されない。
【0066】
ここで確信度スコアは、任意のデータに対して設定されることのできる個々のラベルに対する確率と定義されることができる。例えば、Ａという画像に対し、「犬」と分類される確率が０．４、「猫」と分類される確率が０．６だとすると、画像Ａの確信度スコアは、犬に対しては０．４、猫に対しては０．６になり得る。前述の確信度スコアの記載は例示に過ぎず本開示はこれに限定されない。
【0067】
本開示におけるデータに対するラベル付けの優先順位を決める方法を実行するためにはラベル付けされたデータサブセット（４００）を生成するためのラベル付けは必要な場合がある。従ってラベル付けされたデータサブセット（４００）の大きさが小さければ小さいほどいいとすることができる。本開示の一実施例において、推論モデルは一部だけがラベル付けされたデータを利用して学習されることができる。
【0068】
ここで前述のようにそれぞれ相異する検証データセットを含むトレーニングデータセット（５００）に基づき複数の推論モデル（６００）を学習させる場合、１つのラベル付けされたデータサブセット（４００）から複数のトレーニングデータセット（５００）を生成することができる。従ってラベル付けされたデータサブセット（４００）が持っているデータの量が比較的少なくても複数の推論モデル（６００）を効果的に学習させることができる。
【0069】
図４は本開示の一実施例に係るコンピューティング装置のプロセッサーが全体データセットからデータサブセットを生成する一例を示す図面である。
【0070】
プロセッサー（１１０）は、ラベル付けされていない全体データセット（３００）からラベル付けされていないデータサブセットを生成することができる。ここでラベル付けされていないデータサブセットを生成するために、プロセッサー（１１０）は、ラベル付けされていない全体データセット（３００）からラベル付けされていないデータサブセットをサンプリングすることができる。具体的にプロセッサー（１１０）は、ラベル付けされていない全体データセット（３００）についてランダムサンプリング（ｒａｎｄｏｍ ｓａｍｐｌｉｎｇ）手法を適用してラベル付けされていないデータサブセットを生成することができる。
【0071】
プロセッサー（１１０）は、ラベル付けされていないデータサブセットに対してラベル付け作業を実行することでラベル付けされたデータサブセット（４００）を生成することができる。前述のように、ラベル付け作業は人間である作業者によって行われることがある。また、ラベル付け作業はラベル付け作業のためにトレーニングされた分類器／分類モデルによって行われることができる。さらに、ラベル付け作業は教師なし学習（Ｕｎｓｕｐｅｒｖｉｓｅｄ ｌｅａｒｎｉｎｇ）またはクラスタリング（ｃｌｕｓｔｅｒｉｎｇ）手法を利用して行われることができる。
【0072】
本開示におけるデータに対するラベル付けの優先順位を決める方法はラベル付けされたデータサブセット（４００）でトレーニングさせたモデルを利用して、推論結果を予め設定された基準に基づき分類することでラベル付けにかかる作業の量を減らすソリューションであるとすることができる。
【0073】
ラベル付けされていない全体データセット（３００）が十分な量のデータを持っていると仮定することができる。プロセッサー（１１０）がラベル付けされていない全体データセット（３００）をサンプリング（特にランダムサンプリング）してラベル付けすることで、十分な数のラベル付けされたデータを含むラベル付けされたデータサブセット（４００）を生成すると、ラベル付けされたデータサブセット（４００）は、その母集団である全体データセット（３００）に対して代表性を持つことができる。
【0074】
上述の内容に基づき、ラベル付けされたデータサブセット（４００）に基づきトレーニングされたモデルはラベル付けされていない全体データセット（３００）に対しても上手く作動できる。従ってラベル付けされていない全体データセット（３００）に含まれたすべてのデータに対してラベル付け作業を行う必要がない可能性がある。従って本開示におけるラベル付けの優先順位を決める方法によってラベル付けにかかる作業量が減ることが可能である。
【0075】
図５は、本開示の一実施例に係るコンピューティング装置のプロセッサーが、データサブセットから複数のトレーニングデータセットを生成する一例を示す図面である。
【0076】
１つのラベル付けされたデータサブセット（４００）から複数のトレーニングデータセット（５００）を生成するために一般的にＫ分割交差検証（Ｋ－Ｆｏｌｄ Ｃｒｏｓｓ Ｖａｌｉｄａｔｉｏｎ）方式が利用されることができる。Ｋ分割交差検証とは、データセットを複数に分けて１つずつテスト（検証）セットとして使い残りをすべて合わせて学習セットとして利用する方法と定義されることができる。これはモデルを学習させるためのデータが十分でないとき有効になり得る。
【0077】
従って、個々のトレーニングデータセット（５００）はそれぞれ少なくとも一部が互いに相異する学習データセット（５００ａ）及び検証データセット（５００ｂ）を含むことができる。
【0078】
ここで、学習データセット（５００ａ）は、複数の推論モデルを学習させるための少なくとも１つ以上のデータを含むデータの集合を意味することができる。同様に、検証データセット（５００ｂ）は、学習データセット（５００ａ）に基づき学習された推論モデル個々の性能を評価するための少なくとも１つ以上のデータを含むデータの集合を意味することができる。
【0079】
ここで、本開示の実施例においてプロセッサー（１１０）は、ラベル付けされたデータサブセット（４００）から２つ以上のトレーニングデータセット（５００）を生成するとき、相異するデータを少なくとも一部含むようにランダムに選択された任意のデータを検証データセット（５００ｂ）に割り当てることができる。本開示の複数の実施例に係るプロセッサー（１１０）は、データサブセット（４００）から２つ以上のトレーニングデータセット（５００）を生成するとき同じデータを含まないようにランダムに選択された任意のデータを検証データセット（５００ｂ）に割り当てることができる。
【0080】
本開示におけるデータに対するラベル付けの優先順位を決める方法を実行するためにはラベル付けされたデータサブセット（４００）を生成するためのラベル付けは必須である。従ってラベル付けされたデータサブセット（４００）の大きさが小さければ小さいほどいいとすることができる。
【0081】
ここで詳述したようにそれぞれ相異する検証データセット（５００ｂ）を含む複数のトレーニングデータセット（５００）に基づき複数の推論モデル（６００）を学習させる場合、１つのラベル付けされたデータサブセット（４００）で多くのトレーニングデータセット（５００）を生成することができる。従ってラベル付けされたデータサブセット（４００）が持っているデータの量が比較的少なくても複数の推論モデル（６００）を効果的に学習させることができる。
【0082】
図６は、本開示の一実施例に係るコンピューティング装置のプロセッサーが複数のトレーニングデータセットを生成する一例を示すフローチャートである。
【0083】
図６によると、プロセッサー（１１０）は、データサブセットをＮ個のデータ下位サブセットに分割することができる。
【0084】
プロセッサー（１１０）は、分割されたＮ個のデータ下位サブセットの中から少なくとも１つを検証データセット（５００ｂ）に割り当てることができる（Ｓ２２０）。
【0085】
これはＫ分割交差検証（Ｋ－Ｆｏｌｄ Ｃｒｏｓｓ Ｖａｌｉｄａｔｉｏｎ）を行うための検証データセット（５００ｂ）を選択する一例である。従ってトレーニングデータセット（５００）を生成するための具体的な方法はこれに限定されない。
【0086】
前述のように、トレーニングデータセット（５００）に含まれた個々のデータセットは相互排他的である。つまり、同じ元素を含むことができない。従ってプロセッサー（１１０）は、先ず検証データセットが決まると、残りの部分を学習データセットに割り当てることができる。
【0087】
図７は、本開示の一実施例に係るコンピューティング装置のプロセッサーが複数の推論モデルを生成する一例を示す図面である。
【0088】
プロセッサー（１１０）は、２つ以上のトレーニングデータセット（５００）に基づき複数の推論モデル（６００）を生成することができる。前述のように、トレーニングデータセット（５００）１つに対して複数の推論モデルが生成されることができる。この時、前述の複数の推論モデルのうち１つになり得る推論モデル（６００）の決定は、検証データセット（５００ｂ）に基づいて行われることができる。
【0089】
ここで、複数の推論モデル（６００）ぞれぞれのネットワーク関数の形は、互いに相異するものになり得る。周知のように、ディープラーニングを実行するためのネットワーク関数は多様な形になり得る。従って複数の推論モデル（６００）はそれぞれ、同じ形や異なる形のネットワーク関数によって実行されることができる。
【0090】
複数の推論モデル（６００）のネットワーク関数の形を多様なものに構成する場合、同じデータに対して複数のモデルによる結果を得ることができる。本開示における複数の推論モデルは、相対的に少ない量のデータを含むラベル付けされたデータサブセット（４００）によって学習されることができる。従って、後述する不確実性を求めるための推論モデルの個々の性能自体は確実でない場合がある。この場合、相異する学習データ及び相異するネットワークの形を持つ複数の推論モデルを利用してアンサンブル手法を実行すると、少ない量の学習データからでも、ラベル付けされていない全体データセット（３００）に対してより一般化した結果を得ることができる。また、特定のデータの類型に偏った結果が発生することを避けられるため、複数のモデルの結果を総合してデータに対する評価を行いやすくなる。従って、相対的に少ない量の学習データを利用してもモデルの性能をより客観化することができる。
【0091】
図８は、本開示の一実施例に係るコンピューティング装置のプロセッサーが複数の推論結果を提供する一例を示すフローチャートである。
【0092】
図８を参照すると、プロセッサー（１１０）は、２つ以上のトレーニングデータセット（５００）及びそれに対応するラベル付けの値に基づき学習された、１つ以上のネットワーク関数を含む複数の推論モデル（６００）に基づき、任意のデータに対する複数の推論結果（７００）を生成することができる（Ｓ３００）。
【0093】
段階（Ｓ３００）によるとラベル付けされていない全体データセット（３００）に含まれた個々のデータに対して複数の推論モデル（６００）ぞれぞれの分類値に対する推論結果が生成される。つまり、推論モデル＃１、推論モデル＃２、…、推論モデル＃Ｎのそれぞれが、データ＃１、データ＃２、データ＃３、…、データ＃Ｎに対する分類値に対する推論結果を生成することができる。ここで推論結果は、予測ラベル及びラベルの予測結果に対する確信度スコアを含むことができる。図面に示す画像は、データの一類型に過ぎず、本開示におけるデータはこれらの画像に限定されない。
【0094】
ここで、任意のデータとは、ラベル付けされていない全体データセット（３００）に含まれたデータのうち任意に選択された１つのデータと定義されることができる。
【0095】
プロセッサー（１１０）は、生成された任意のデータに対する複数の推論結果（７００）を提供することができる（Ｓ４００）。
【0096】
プロセッサー（１１０）は、複数の推論モデル（６００）のそれぞれが、ラベル付けされていない全体データセット（３００）に含まれた個々のデータに対して生成した複数の推論結果（７００）をコンピューティング装置（１００）に係るユーザーに提供できる。つまり、プロセッサー（１１０）は、個々の推論モデル（６００）が個々のデータに対して生成した分類の予測結果及び個々の分類の予測結果に対する確信度スコアを提供できる。ただし、これは複数の推論結果（７００）に含まれる情報に関する一例に過ぎず、複数の推論結果（７００）は、これに限定されない。
【0097】
前述の複数の推論結果（７００）が、コンピューティング装置（１００）に係るユーザーに提供されると、ユーザーはこれに基づきデータ類型別のモデルの分類の予測の度合いを把握できる。つまり、ユーザーは、分類の予測が上手くできない類型のデータに対し、データラベル付け係る高い優先順位を付与することができる。従って、ユーザーのデータラベル付けが効率よく行われることができる。
【0098】
図９は、本開示の一実施例に係るコンピューティング装置のプロセッサーが複数の推論結果を生成する一例を示す図面である。
【0099】
プロセッサー（１１０）が生成する複数の推論結果（７００）は、複数の推論モデル（６００）のそれぞれが、ラベル付けされていない全体データセット（３００）に含まれた個々のデータについて推論した分類結果と定義されることができる。つまり、推論モデル＃１、推論モデル＃２、…、推論モデル＃Ｎのそれぞれが、データ＃１、データ＃２、データ＃３、…、データ＃Ｎに対する推論結果を生成することができる。ここで推論結果は予測ラベル及びラベルの予測結果に対する確信度スコアを含むことができる。
【0100】
プロセッサー（１１０）は、生成された推論結果を総合して単一の推論結果を生成することができる。これについては図１１で詳しく後述する。
【0101】
図１０は、本開示の一実施例に係るコンピューティング装置のプロセッサーが、任意のデータに対する単一の推論結果を提供する一例を示すフローチャートである。
【0102】
図１０を参照すると、プロセッサー（１１０）は、任意のデータに対する複数の推論結果（７００）に基づき任意のデータに対する単一の推論結果を生成することができる（Ｓ４１０）。
【0103】
プロセッサー（１１０）は、決定された単一の推論結果を提供することができる（Ｓ４２０）。
【0104】
ここで単一の推論結果は、複数の推論結果（７００）に基づき（またはこれを総合して）任意のデータに対して生成される１つの結果を意味する。単一の推論結果は、特定のデータに対する分類の予測結果を含むことができる。単一の推論結果は、当該データの分類の予測結果に対する推論信頼度スコアになり得る。また、単一の推論結果は、推論信頼度スコアに基づき演算される不確実性の値になり得る。推論信頼度スコアが高いほど、不確実性の値が低いほど、特定のデータに対する推論結果について確信できると理解されることができる。
【0105】
例えば、複数のモデルのすべてにおいて、特定の画像に写っているオブジェクトに対して子犬という分類の予測結果が生成された場合、複数の推論モデル（６００）が当該データに図示されたオブジェクトを犬と予測する確率（信頼度）スコアの平均が０．８８としたら、単一の推論結果（７００）は、０．８８になり得る。
【0106】
不確実性の値は、推論信頼度スコアに基づき演算される。従って、この場合において、例えば不確実性の値は１から推論信頼度スコアを引いた「０.１２」になり得る。前述の不確実性の値の演算方法に対する記載は、例示に過ぎず、本開示はこれに限定されない。
【0107】
ここでアンサンブル手法とは、与えられた資料でいくつかの予測モデルを作成し、これらを組み合わせて１つの最終的な予測モデルを作成する方法と定義されることができる。
【0108】
本開示に係るプロセッサー（１１０）は、平均、多数決、ベイズ推論等をアンサンブル手法を実現するための具体的な方法として利用することができる。
【0109】
上述のようにアンサンブル手法等を利用して単一の推論結果を生成する場合、単一のモデルによる推論に比べ、より良い性能が得られるとされている。
【0110】
図１１の説明で後述するが、プロセッサー（１１０）は、推論信頼度スコアまたは不確実性の値を含む単一の推論結果に基づき、疑似ラベル及びラベル付けの優先順位を決めることができる。これによってラベル付けが必要なデータとそうでないデータの区別が可能になり得る。またラベル付けに利用されることのできる可用資源が限られている場合、優先的にラベル付けが必要なデータを区別することができる。従ってラベル付け作業が効率化されることができる。
【0111】
図１１は、本開示の一実施例に係るコンピューティング装置のプロセッサーが、単一の推論結果を提供する一例を示すフローチャートである。
【0112】
ここで単一の推論結果は、複数の推論結果（７００）に基づき（またはこれを総合して）任意のデータに対して生成される１つの結果を意味する。単一の推論結果（７００）は、当該データのラベルに対する推論信頼度スコアになり得る。また、単一の推論結果は、推論信頼度スコアに基づき演算される不確実性の値になり得る。推論信頼度スコアが高いほど、不確実性の値が低いほど、特定のデータに対する推論結果に確信があると理解されることができる。
【0113】
図１１を参照すると、プロセッサー（１１０）は、任意のデータに対する複数の推論結果に基づき、任意のデータに対する単一の推論結果を決めることができる。
【0114】
プロセッサー（１１０）は、決定された単一の推論結果が予め決められた基準を満たしている場合、対応する任意のデータに疑似ラベル（ｐｓｅｕｄｏ ｌａｂｅｌ）を付与することができる（Ｓ４２１）。
【0115】
疑似ラベルは、本開示におけるプロセッサー（１１０）が、ラベル付けされていない全体データセット（３００）に含まれた個々のデータに対して、予め設定された方法で付与する分類結果になり得る。疑似ラベルが付与されたデータは、ラベル付けされたものと同様に扱われ、改めてラベル付けする必要がなくなる場合がある。
【0116】
プロセッサー（１１０）は、単一の推論結果が予め決められた基準を満たしていれば、疑似ラベルを付与することができる。一例として、プロセッサー（１１０）は、単一の推論結果の一例である推論信頼度スコアが予め設定されたしきい値以上の場合、予め決められた基準が満たされたと認識することができる。さらに他の一例として、プロセッサー（１１０）は、単一の推論結果の他の一例は、不確実性の値が予め設定されたしきい値未満の場合、予め決められた基準が満たされたと認識することができる。
【0117】
ここで、プロセッサー（１１０）は、単一の推論結果に含まれた不確実性の値が、予め設定されたしきい値以下の場合、単一の推論結果に含まれた分類の予測結果を任意のデータに対する疑似ラベルにすると決めることができる。
【0118】
例えば、プロセッサー（１１０）は、不確実性の値が０.１５以下であるデータについては疑似ラベルを付与するように設定されることができる。任意のデータに対して単一の推論結果によると、前述の任意のデータに対する分類の予測結果が猫であり、これに対する不確実性の値が０.１である場合、プロセッサー（１１０）は、当該任意のデータに対して猫という疑似ラベルを付与することができる。
【0119】
プロセッサーは、疑似ラベルが付与されていない任意のデータに対し、単一の推論結果に対応するラベル付けの優先順位を決めることができる（Ｓ４２２）。
【0120】
本開示の複数の実施例に係るプロセッサー（１１０）は、例示的に、以下のような方法で任意のデータに対するラベル付けの優先順位を決めることができる。
【0121】
プロセッサー（１１０）は、任意のデータに対する単一の推論結果に含まれた不確実性の値を、少なくとも１つ以上のしきい値と比較して、ラベル付けの優先順位を決めることができる。
【0122】
具体的に、プロセッサー（１１０）は、任意のデータに対する不確実性の値が予め設定された第１しきい値以下である場合、任意のデータに第１優先順位を付与することができる。そして、プロセッサー（１１０）は、任意のデータに対する不確実性の値が、第１しきい値を超過し、第２しきい値以下である場合は、任意のデータに第２優先順位を付与することができる。さらに、プロセッサー（１１０）は、任意のデータに対する不確実性の値が第２しきい値を超過する場合、任意のデータに第３優先順位を付与することができる。
【0123】
ここで、例えば第１しきい値が第２しきい値より小さいと仮定することができる。この場合、第１しきい値より不確実性の値が低ければ、これは、不確実性の値が疑似ラベルを付与するほど低くはないとしても相当低いと判断できる。従って、このような場合は、推論モデルについて、当該類型のデータに対する学習が上手く行われたと判断できる。従って、このような類型に対して、低いラベル付けの優先順位を付与することができる。従って、前述の例示において、第１優先順位は、低いラベル付けの優先順位を意味することができる。
【0124】
また、第１しきい値より不確実性の値が高く、第２しきい値より不確実性の値が低ければ、これは不確実性の値が中間程度であると判断できる。従ってこのような場合、推論モデルの当該類型データに対する学習が、上手く行われたとみることはできないだろう。従ってこのような類型については、中間の優先順位を付与することができる。従って、前述の例示において第２優先順位は中間のラベル付けの優先順位を意味することができる。
【0125】
最後に、第２しきい値より不確実性の値が高い場合は、不確実性の値が高いと判断できる。従ってこのような類型のデータに対する学習が上手く行われていない判断できる。従って、このような類型については高いラベル付けの優先順位を付与することができる。従って、前述の例示において第３優先順位は高いラベル付けの優先順位を意味することができる。
【0126】
決定された優先順位はデータにタグ（ｔａｇ）されユーザーに提供されることができる。データにタグされた優先順位とともに、以下のような情報がともに提供されることがある。
【0127】
不確実性が第１しきい値より低くて第１優先順位がタグされた類型のデータは、疑似ラベルが相当信憑性があると推定されることができる。従って、ラベル付けの優先順位情報を提供するとき、疑似ラベルの信憑性が高いという情報を一緒に含めることができる。従ってこのような情報の提供を受けたユーザーが、ラベル付け資の源が十分でないとき、第１優先順位がタグされた類型のデータについては、疑似ラベルをそのまま利用するようにすることが可能である。
【0128】
不確実性が第１しきい値と第２しきい値との間に位置する、第２優先順位がタグされた類型のデータは、疑似ラベルの信頼度が疑わしいと理解されることができる。従って、ラベル付けの優先順位情報を提供するとき、疑似ラベルの信憑性が疑わしいとの情報を含めることができる。従って、このような情報の提供を受けたユーザーが、疑似ラベルを信頼するか、手作業によるラベル付けを行うかを決定するようにすることができる。
【0129】
不確実性が第２しきい値を上回り、第３優先順位がタグされた類型のデータに対しては、疑似ラベルの信頼度が低いと理解されることができる。従って、ラベル付けの優先順位情報を提供するとき、疑似ラベルの信頼度が低いとの情報を含めることができる。従って、これの伝達を受けたユーザーが、手作業によるデータラベル付けが必須であり、ラベル付けのための資源を最優先的に当該類型のデータに投入するようにすることができる。
【0130】
前述の例示は、ラベル付けの優先順位の決定及びラベル付けの優先順位に係るしきい値の臨界的意義に対する一例に過ぎないため、ラベル付けの優先順位を決める方法はこれに限定されない。
【0131】
疑似ラベルの提供及びラベル付けの優先順位の提供により、全体データセット（３００）の一部のデータについてのみラベル付けの作業が必要な場合があり得る。また、ラベル付けの優先順位が提供されるため、ラベル付けのために配分された資源が有効に使われることができる。
【0132】
図１２は、本開示の複数の実施例が実現されることのできる例示的なコンピューティング環境を示す簡略で一般的な概略図である。
【0133】
図１２に示すコンピューター（１１０２）は、本開示に係るデータ収集戦略方法が行われるコンピューティング装置（１００）のうち少なくとも１つに対応されることができる。
【0134】
本開示の内容が一般的に１つ以上のコンピューター上で実行されることのできるコンピューターで実行可能な命令に着目して前述されているが、当業者なら本開示の内容が、他のプログラムモジュールと結合して及び／またはハードウェアとソフトウェアとの組み合わせによって実現されることができることをよく理解するだろう。
【0135】
一般的に、本明細書におけるモジュールは、特定のタスクを実行したり特定の抽象的なデータ類型を実装するルーティン、プロシージャ、プログラム、コンポーネント、データ構造、その他等々を含む。また、当業者なら本開示の方法がシングルプロセッサー（１１０）またはマルチプロセッサー（１１０）コンピューターシステム、ミニコンピューター、メインフレームコンピューターはもちろん、パーソナルコンピューター、ハンドヘルドコンピューティング装置（１００）、マイクロプロセッサー（１１０）－基盤、またはプログラム可能な家電製品、その他等々（これらは、それぞれ１つ以上の関連する装置と繋がって動作することができる）をはじめとする、他のコンピューターシステムの構成によって実施されることができることをよく理解できるだろう。
【0136】
本開示の説明された実施例は、さらに、あるタスクが通信ネットワークを通じて繋がっている遠隔処理装置によって行われる分散コンピューティング環境で実施されることができる。分散コンピューティング環境において、プログラムモジュールは、ローカルや遠隔メモリー保存装置の両方に位置することができる。
【0137】
コンピューターは、通常コンピューターで読み取り可能な多様な媒体を含む。コンピューターによってアクセス可能な媒体として、揮発性及び非揮発性媒体、一時的（ｔｒａｎｓｉｔｏｒｙ）及び非一時的（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ）媒体、移動式及び非移動式媒体を含む。制限ではなく例として、コンピューターで読み取り可能な媒体は、コンピューターで読み取り可能な保存媒体及びコンピューターで読み取り可能な伝送媒体を含むことができる。
【0138】
コンピューターで読み取り可能な保存媒体は、コンピューターで読み取り可能な命令、データ構造、プログラムモジュール、またはその他のデータのような情報を保存する任意の方法または技術によって実装される揮発性及び非揮発性の媒体、一時的及び非一時的媒体、移動式及び非移動式媒体を含む。コンピューターで読み取り可能な保存媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリーまたはその他のメモリー技術、ＣＤ－ＲＯＭ、ＤＶＤ（ｄｉｇｉｔａｌ ｖｉｄｅｏ ｄｉｓｋ）またはその他の光ディスク保存装置、磁気カセット、磁気テープ、磁気ディスク保存装置またはその他の磁気保存装置、またはコンピューターによってアクセスされることができ、必要な情報を保存するのに使われることのできる任意のその他の媒体を含むが、これに限定されない。
【0139】
コンピューターで読み取り可能な伝送媒体は、通常、搬送波（ｃａｒｒｉｅｒ ｗａｖｅ）またはその他の伝送メカニズム（ｔｒａｎｓｐｏｒｔ ｍｅｃｈａｎｉｓｍ）のような被変調データ信号（ｍｏｄｕｌａｔｅｄ ｄａｔａ ｓｉｇｎａｌ）にコンピューターで読み取り可能な命令、データ構造、プログラムモジュールまたはその他のデータ等を実装し、すべての情報伝達媒体を含む。被変調データ信号という用語は、信号の中で情報をエンコードするように、その信号の特性のうち一つ以上を設定または変更した信号を意味する。制限ではなく例として、コンピューターで読み取り可能な伝送媒体は、有線ネットワークまたは直接配線接続（ｄｉｒｅｃｔ－ｗｉｒｅｄ ｃｏｎｎｅｃｔｉｏｎ）のような有線媒体、そして音響、ＲＦ、赤外線、その他の無線媒体のような無線媒体を含む。前述の媒体のうち、いずれかによる任意の組み合わせもまたコンピューターで読み取り可能な伝送媒体の範囲に含まれるものとする。
【0140】
コンピューター（１１０２）を含む本開示の多様な側面を実現する例示的な環境（１１００）が示されており、コンピューター（１１０２）は、処理装置（１１０４）、システムメモリー（１１０６）、システムバス（１１０８）を含む。システムバス（１１０８）は、システムメモリー（１１０６）（これに限定されない）をはじめとするシステムコンポーネントを処理装置（１１０４）につなげる。処理装置（１１０４）は、多様な商用プロセッサー（１１０）のうち任意のプロセッサー（１１０）になり得る。デュエルプロセッサー（１１０）とその他のマルチプロセッサー（１１０）アーキテクチャもまた処理装置（１１０４）として利用されることができる。
【0141】
システムバス（１１０８）は、メモリーバス、周辺装置バス、そして多様な商用バスアーキテクチャの中から、任意のものを使用するローカルバスにさらに相互連結されることのできる複数の類型のバス構造のうちいずれかになり得る。システムメモリー（１１０６）は、読み取り専用メモリー（ＲＯＭ）（１１１０）やランダムアクセスメモリー（ＲＡＭ）（１１１２）を含む。基本的な入出力システム（ＢＩＯＳ）は、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ等の非揮発性メモリー（１１１０）に保存され、このＢＩＯＳは、起動中の時等にコンピューター（１１０２）の中の複数の構成要素間の情報のやりとりをサポートする基本的なルーティンを含む。ＲＡＭ（１１１２）は、またデータをキャッシュするための静的ＲＡＭ等の高速ＲＡＭを含むことができる。
【0142】
コンピューター（１１０２）においては、また、内蔵型ハードディスクドライブ（ＨＤＤ）（１１１４）（例えば、ＥＩＤＥ、ＳＡＴＡ）―この内蔵型ハードディスクドライブ（１１１４）はまた適切なシャシー（図示は省略）の中で外付け型の用途で構成されることができる―、磁気フロッピーディスクドライブ（ＦＤＤ）（１１１６）（例えば、移動式ディスケット（１１１８）から読み取ったりそれに書き込むためのものである）及び光ディスクドライブ（１１２０）（例えば、ＣＤ－ＲＯＭディスク（１１２２）を読み取ったり、ＤＶＤ等のその他の高容量光媒体から読み取ったり、それに書き込むためのものである）を含む。ハードディスクドライブ（１１１４）、磁気ディスクドライブ（１１１６）及び光ディスクドライブ（１１２０）は、それぞれハードディスクドライブインターフェース（１１２４）、磁気ディスクドライブインターフェース（１１２６）及び光ドライブインターフェース（１１２８）によってシステムバス（１１０８）に繋がることができる。外付け型ドライブの実装のためのインターフェース（１１２４）は、例えば、UＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）やＩＥＥＥ１３９４インターフェース技術のうち、少なくとも１つまたはその両方を含む。
【0143】
これらのドライブ及びこれらに係るコンピューターで読み取り可能な媒体は、データ、データ構造、コンピューターで実行可能な命令、その他等々の非揮発性保存を提供する。コンピューター（１１０２）の場合、ドライブ及び媒体は、任意のデータを適切なデジタル形式に保存することに対応する。前述におけるコンピューターで読み取り可能な保存媒体に係る説明が、ＨＤＤ、移動式磁気ディスク及びＣＤまたはＤＶＤ等の移動式光媒体について触れているが、当業者ならジップドライブ（ｚｉｐ ｄｒｉｖｅ）、磁気カセット、フラッシュメモリーカード、カートリッジ、その他等々のコンピューターにより読み取り可能な他の類型の保存媒体もまた例示的な運営環境で使われることができ、さらに、このような媒体のうち任意のある媒体が、本開示の方法を実行するためのコンピューターで実行可能な命令を含むことができることをよく理解できるだろう。
【0144】
運営システム（１１３０）、１つ以上のアプリケーションプログラム（１１３２）、その他のプログラムモジュール（１１３４）及びプログラムデータ（１１３６）をはじめとする多数のプログラムモジュールが、ドライブ及びＲＡＭ（１１１２）に保存されることができる。運営システム、アプリケーション、モジュール及び／またはデータの全部またはその一部分がまたＲＡＭ（１１１２）にキャッシュされることができる。本開示が商業的に利用可能な様々な運営システムまたは複数の運営システムの組み合わせにより実装されることができることをよく理解できるだろう。
【0145】
ユーザーは、１つ以上の有線・無線の入力装置、例えば、キーボード（１１３８）及びマウス（１１４０）等のポインティング装置を通じてコンピューター（１１０２）に命令及び情報を入力することができる。その他の入力装置（図示は省略）としてはマイク、ＩＲリモコン、ジョイスティック、ゲームパッド、スタイラスペン、タッチスクリーン、その他等々があり得る。これら及びその他の入力装置が、よくシステムバス（１１０８）に繋がっている入力装置インターフェース（１１４２）を通じて処理装置（１１０４）に繋がることがあるが、並列ポート、ＩＥＥＥ１３９４直列ポート、ゲームポート、ＵＳＢポート、ＩＲインターフェース、その他等々のその他のインターフェースによって繋がることができる。
【0146】
モニター（１１４４）または他の類型のディスプレイ装置も、ビデオアダプター（１１４６）等のインターフェースを通じてシステムバス（１１０８）に繋がる。モニター（１１４４）に加えて、コンピューターは一般的にスピーカー、プリンター、その他等々のその他の周辺出力装置（図示は省略）を含む。
【0147】
コンピューター（１１０２）は、有線及び／または無線通信による（複数の）遠隔コンピューター（１１４８）等の１つ以上の遠隔コンピューターへの論理的接続を利用し、ネットワーク化された環境で動作することができる。（複数の）遠隔コンピューター（１１４８）は、ワークステーション、サーバーコンピューター、ルーター、パーソナルコンピューター、携帯用コンピューター、マイクロプロセッサー基盤の娯楽機器、ピア装置またはその他の通常のネットワークノードになることができ、一般的にコンピューター（１１０２）について述べられた構成要素のうち、多数またはその全部を含むが、簡略化するために、メモリー保存装置（１１５０）のみ図示されている。図示されている論理的接続は、近距離通信網（ＬＡＮ）（１１５２）及び／または、より大きいネットワーク、例えば、遠距離通信網（ＷＡＮ）（１１５４）における有線・無線の接続を含む。このようなＬＡＮ及びＷＡＮのネットワーキング環境は、オフィスや会社では一般的なもので、イントラネット等の全社的コンピューターネットワーク（ｅｎｔｅｒｐｒｉｓｅ－ｗｉｄｅ ｃｏｍｐｕｔｅｒ ｎｅｔｗｏｒｋ）を容易にし、これらはすべて全世界のコンピューターネットワーク、例えば、インターネットに繋がることができる。
【0148】
ＬＡＮネットワーキング環境で使われるとき、コンピューター（１１０２）は、有線及び／または無線通信ネットワークインターフェース、または、アダプター（１１５６）を通じてローカルネットワーク（１１５２）に繋がる。アダプター（１１５６）は、ＬＡＮ（１１５２）への有線または無線通信を容易にすることができ、このＬＡＮ（１１５２）は、また無線アダプター（１１５６）と通信するためにそれに設置されている無線アクセスポイントを含む。ＷＡＮネットワーキング環境で使われるとき、コンピューター（１１０２）は、モデム（１１５８）を含むことができたり、ＷＡＮ（１１５４）上の通信サーバーに繋がったり、またはインターネットを通じる等、ＷＡＮ（１１５４）を通じて通信を設定するその他の手段を持つ。内蔵型または外付け型、そして、有線または無線装置になり得るモデム（１１５８）は、直列ポートインターフェース（１１４２）を通じてシステムバス（１１０８）に繋がる。ネットワーク化された環境において、コンピューター（１１０２）について説明されたプログラムモジュールまたはその一部分が、遠隔メモリー／保存装置（１１５０）に保存されることができる。図示されたネットワーク接続が例示的なものであり、複数のコンピューター間で通信リンクを設定する他の手段が使われることができるということはよく理解できるだろう。
【0149】
コンピューター（１１０２）は、無線通信で配置されて動作する任意の無線装置またはユニット、例えば、プリンター、スキャナー、デスクトップ及び／または携帯用コンピューター、ＰＤＡ（ｐｏｒｔａｂｌｅ ｄａｔａ ａｓｓｉｓｔａｎｔ）、通信衛星、無線で検出可能なタグに係る任意の装備または場所及、及び電話と通信する動作をする。これは、少なくともＷｉ－Ｆｉ（登録商標）及びブルートゥース（登録商標）無線技術を含む。従って、通信は、従来のネットワークのように予め定義された構造であったり、単純に少なくとも２つの装置の間でのアドホック通信（ａｄｈｏｃ ｃｏｍｍｕｎｉｃａｔｉｏｎ）になり得る。
【0150】
Ｗｉ－Ｆｉ（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ）は、有線で繋がっていなくても、インターネット等への接続を可能にする。Ｗｉ－Ｆｉは、このような装置、例えば、コンピューターが室内及び室外で、つまり基地局の通話圏内のどこからでもデータを送受信できるようにするセル電話のような無線技術である。Ｗｉ－Ｆｉネットワークは、安全で信頼性があり、高速である無線接続を提供するためにＩＥＥＥ８０２．１１（ａ、ｂ、ｇ、その他）という無線技術を使う。コンピューターを互いに、インターネットに及び有線ネットワーク（ＩＥＥＥ８０２．３またはイーサネットを使う）に接続するためにＷｉ－Ｆｉが使われることができる。Ｗｉ－Ｆｉネットワークは、非認可２．４や５GHzの無線帯域において、例えば、１１Ｍｂpｓ（８０２．１１ａ）または５４Ｍｂpｓ（８０２．１１ｂ）のデータレートで動作したり、両帯域（デュエル帯域）を含む製品で動作することができる。
【0151】
本開示の技術分野において通常の知識を持つ者は、ここに開示された実施例に係る説明で取り挙げられた多様な例示的な論理ブロック、モジュール、プロセッサー（１１０）、手段、回路、アルゴリズム段階が電子ハードウェア、（利便性のために、ここでは「ソフトウェア」と称される）多様な形のプログラムまたは設計コード、またはこれらすべての結合により実装されることができることを理解できるだろう。ハードウェア及びソフトウェアのこのような相互互換性を明確に説明するために、多様な例示的なコンポーネント、ブロック、モジュール、回路、段階がこれらの機能に着目して上記で一般的に説明された。このような機能がハードウェアやソフトウェアで実装されるかどうかは、特定のアプリケーション及び全体システムに対して付与される設計上の制限によって決まる。本開示の技術分野において通常の知識を持つ者は、個々の特定のアプリケーションについて多様な手法で説明された機能を実現することができるが、このような実現の決定は、本開示の範囲を逸脱するものと解釈されてはならない。
【0152】
ここに示された多様な実施例は、方法、装置、または標準プログラミング及び／またはエンジニアリング技術を使った製造物品（ａｒｔｉｃｌｅ）によって実現できる。用語「製造物品」は、任意のコンピューターで読み取り可能な装置からアクセス可能なコンピュータープログラム、キャリアー、または媒体（ｍｅｄｉａ）を含む。例えば、コンピューターで読み取り可能な保存媒体は、磁気保存装置（例えば、ハードディスク、フロッピーディスク、磁気ストリップ等）、光学ディスク（例えば、ＣＤ、ＤＶＤ等）、スマートカード及びフラッシュメモリー装置（例えば、ＥＥＰＲＯＭ、カード、スティック、キードライブ等）を含むが、これらに限定されるものではない。用語「機械で読み取り可能な媒体」は、（複数の）命令及び／またはデータを保存、保持、及び／または伝達できる無線チャンネル及び多様な他の媒体を含むが、これらに限定されるものではない。
【0153】
示されたプロセスにおける複数の段階の特定の順番または階層構造は、例示的なアプローチの一例であることを理解すべきである。設計上の優先順位に基づき、本開示の範囲内で、プロセスにおける段階の特定の順番または階層構造が見直されるとができることを理解すべきである。添付の方法請求項は、サンプルとしての順番で、多様な段階のエレメントを提供するが、示された特定の順番または階層構造に限定されることを意味するわけではない。
【0154】
示された実施例に対する説明は、任意の本開示の技術分野において通常の知識を持つ者が、本開示を利用したりまたは実施できるように提供される。このような実施例に対する多様な変形は、本開示の技術分野において通常の知識を持つ者にとっては明確であり、ここに定義された一般的な原理は、本開示の範囲を逸脱することなく他の実施例に適用されることができる。従って、本開示はここに示す実施例によって限定されるものではなく、ここに示す原理及び新規な特徴と一貫する最広義の範囲で解釈されるべきである。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
