知財求人 - 知財ポータルサイト「IP Force」
特開2022-159036意志決定のためのディープニューラルネットワーク（ＤＮＮ）予測に関するセマンティックフィードバックの提供
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022159036
(43)【公開日】2022-10-17
(54)【発明の名称】意志決定のためのディープニューラルネットワーク（ＤＮＮ）予測に関するセマンティックフィードバックの提供
(51)【国際特許分類】
G06N 3/08 20060101AFI20221006BHJP
G06T 7/00 20170101ALI20221006BHJP
【ＦＩ】
G06N3/08
G06T7/00 350C
【審査請求】未請求
【請求項の数】20
【出願形態】ＯＬ
(21)【出願番号】P 2022045358
(22)【出願日】2022-03-22
(31)【優先権主張番号】17/301362
(32)【優先日】2021-03-31
(33)【優先権主張国・地域又は機関】US
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＺＩＧＢＥＥ
(71)【出願人】
【識別番号】000005223
【氏名又は名称】富士通株式会社
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(72)【発明者】
【氏名】サハ・リポン ケイ
(72)【発明者】
【氏名】プラサド・ムクル アール
(72)【発明者】
【氏名】ゴーシュ・インドラディープ
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096GA30
5L096HA11
5L096JA22
5L096KA04
5L096KA15
5L096MA07
(57)【要約】
【課題】意志決定のためのＤＮＮ予測に関するセマンティックフィードバックの提供を開示する。
【解決手段】実施形態の態様に従って、動作は、予め訓練されたＤＮＮによって、第１データセットの第１データポイントについて第１クラスを予測することを含む。第１データポイントに関連した第１クラスに基づき、第１データポイントについて、第１の特徴スコアの組が決定される。第１クラス及び第１データポイントの所定のクラスに基づき、ＤＮＮに関連した混同クラスペアの組が識別される。第１データセットは、第１データセット内の各データポイントについての第１の特徴スコアの組、第１クラス、及び混同クラスペアの組に基づき、セマンティッククラスの組の中の１つのセマンティッククラスにクラスタ化される。各セマンティッククラスは、そのセマンティッククラスにクラスタ化されたデータセットの予測精度を示す。クラスタ化された第１データセット、第１の特徴スコアの組、及びセマンティッククラスの組に基づき、分類器が訓練される。
【選択図】図３
【解決手段】実施形態の態様に従って、動作は、予め訓練されたＤＮＮによって、第１データセットの第１データポイントについて第１クラスを予測することを含む。第１データポイントに関連した第１クラスに基づき、第１データポイントについて、第１の特徴スコアの組が決定される。第１クラス及び第１データポイントの所定のクラスに基づき、ＤＮＮに関連した混同クラスペアの組が識別される。第１データセットは、第１データセット内の各データポイントについての第１の特徴スコアの組、第１クラス、及び混同クラスペアの組に基づき、セマンティッククラスの組の中の１つのセマンティッククラスにクラスタ化される。各セマンティッククラスは、そのセマンティッククラスにクラスタ化されたデータセットの予測精度を示す。クラスタ化された第１データセット、第１の特徴スコアの組、及びセマンティッククラスの組に基づき、分類器が訓練される。
【選択図】図３
【特許請求の範囲】
【請求項1】
プロセッサが実行する方法であって、
実時間アプリケーションに関連した第１データセットを受け取ることと、
前記実時間アプリケーションの分類タスクのために予め訓練されたディープニューラルネットワーク（ＤＮＮ）によって、前記受け取られた第１データセットの第１データポイントに関連した第１クラスを予測することと、
前記第１データポイントに関連した前記予測された第１クラスに基づき、前記第１データポイントの第１の特徴スコアの組を決定することと、
前記予測された第１クラスと、前記第１データポイントに関連した所定のクラスとに基づき、前記ＤＮＮに関連した混同クラスペアの組を識別することと、
前記受け取られた第１データセット内の各データポイントについての前記決定された第１の特徴スコアの組と、前記予測された第１クラスと、前記識別された混同クラスペアの組とに基づき、前記受け取られた第１データセットをセマンティッククラスの組の中の１つのセマンティッククラスにクラスタ化することであり、前記セマンティッククラスの組の中の各セマンティッククラスが、前記セマンティッククラスの組の中の対応するセマンティッククラスにクラスタ化されたデータポイントの組に関連した予測精度を示す、ことと、
前記クラスタ化された第１データセットと、前記決定された第１の特徴スコアの組と、前記セマンティッククラスの組とに基づき、分類器を訓練することと
を有する方法。
実時間アプリケーションに関連した第１データセットを受け取ることと、
前記実時間アプリケーションの分類タスクのために予め訓練されたディープニューラルネットワーク（ＤＮＮ）によって、前記受け取られた第１データセットの第１データポイントに関連した第１クラスを予測することと、
前記第１データポイントに関連した前記予測された第１クラスに基づき、前記第１データポイントの第１の特徴スコアの組を決定することと、
前記予測された第１クラスと、前記第１データポイントに関連した所定のクラスとに基づき、前記ＤＮＮに関連した混同クラスペアの組を識別することと、
前記受け取られた第１データセット内の各データポイントについての前記決定された第１の特徴スコアの組と、前記予測された第１クラスと、前記識別された混同クラスペアの組とに基づき、前記受け取られた第１データセットをセマンティッククラスの組の中の１つのセマンティッククラスにクラスタ化することであり、前記セマンティッククラスの組の中の各セマンティッククラスが、前記セマンティッククラスの組の中の対応するセマンティッククラスにクラスタ化されたデータポイントの組に関連した予測精度を示す、ことと、
前記クラスタ化された第１データセットと、前記決定された第１の特徴スコアの組と、前記セマンティッククラスの組とに基づき、分類器を訓練することと
を有する方法。
【請求項2】
前記実時間アプリケーションに関連した第２データポイントを受け取ることと、
前記ＤＮＮによって、前記受け取られた第２データポイントに関連した第２クラスを予測することと、
前記受け取られた第２データポイントに関連した前記予測された第２クラスに基づき、前記第２データポイントの第２の特徴スコアの組を決定することと、
前記決定された第２の特徴スコアの組及び前記予測された第２クラスに基づき、前記訓練された分類器を前記第２データポイントに適用することと、
前記第２データポイントに対する前記訓練された分類器の適用に基づき、前記第２データポイントを前記セマンティッククラスの組の中の１つのセマンティッククラスに分類することと
を更に有する、請求項１に記載の方法。
前記ＤＮＮによって、前記受け取られた第２データポイントに関連した第２クラスを予測することと、
前記受け取られた第２データポイントに関連した前記予測された第２クラスに基づき、前記第２データポイントの第２の特徴スコアの組を決定することと、
前記決定された第２の特徴スコアの組及び前記予測された第２クラスに基づき、前記訓練された分類器を前記第２データポイントに適用することと、
前記第２データポイントに対する前記訓練された分類器の適用に基づき、前記第２データポイントを前記セマンティッククラスの組の中の１つのセマンティッククラスに分類することと
を更に有する、請求項１に記載の方法。
【請求項3】
前記セマンティッククラスの組の中の、前記第２データポイントについての前記分類された１つのセマンティッククラスに関連した少なくとも１つのアクションを決定することと、
前記決定された少なくとも１つのアクションをレンダリングすることと
を更に有する、請求項２に記載の方法。
前記決定された少なくとも１つのアクションをレンダリングすることと
を更に有する、請求項２に記載の方法。
【請求項4】
前記セマンティッククラスの組は、正しい可能性のあるセマンティッククラス、２つのうちの１つのセマンティッククラス、正しくない可能性のあるセマンティッククラス、又は知らないセマンティッククラス、のうちの少なくとも１つを有する、
請求項１に記載の方法。
請求項１に記載の方法。
【請求項5】
前記第１の特徴スコアの組は、前記第１データポイントについての、尤度に基づいたサプライズアデクシー（ＬＳＡ）スコア、距離に基づいたサプライズアデクシー（ＤＳＡ）スコア、信頼スコア、ロジットスコア、又はロバスト性ダイバーシティスコアのうちの少なくとも１つの情報を有する、
請求項１に記載の方法。
請求項１に記載の方法。
【請求項6】
前記ＬＳＡスコアは、前記第１データポイントが前記第１データセットによる分布内にあるかどうかを示す、
請求項５に記載の方法。
請求項５に記載の方法。
【請求項7】
前記ＤＳＡスコアは、前記第１データポイントが、前記ＤＮＮに関連したハイパースペースにおいて前記予測された第１クラスに隣接する他のクラスよりも前記予測された第１クラスに近いかどうかを示す、
請求項５に記載の方法。
請求項５に記載の方法。
【請求項8】
前記信頼スコアは、前記第１データポイントに関連した前記第１クラスの予測についての前記ＤＮＮの確率スコアに対応する、
請求項５に記載の方法。
請求項５に記載の方法。
【請求項9】
前記ロジットスコアは、前記第１データポイントに関連した前記第１クラスの予測についての前記ＤＮＮのｐｒｅ－ｓｏｆｔｍａｘレイヤからのスコアに対応する、
請求項５に記載の方法。
請求項５に記載の方法。
【請求項10】
前記ロバスト性ダイバーシティスコアは、前記第１データポイントに対応する１つ以上のバリエーションについての前記ＤＮＮによる予測の安定性の程度を示す、
請求項５に記載の方法。
請求項５に記載の方法。
【請求項11】
前記混同クラスペアの組の識別は、
前記第１データポイントに関連した前記所定のクラスを、前記第１データポイントに関連した前記予測された第１クラスと比較することと、
前記比較に基づいて、前記予測された第１クラス及び前記所定のクラスを含む第１クラスペアに関連した誤分類の第１インスタンスを識別することと、
前記識別された誤分類の第１インスタンスに基づき、前記第１クラスペアに関連した誤分類のインスタンスのカウントを決定することと、
前記誤分類のインスタンスのカウント及び閾値に基づき、前記混同クラスペアの組の中の混同クラスペアとして前記第１クラスペアを識別することと
を有する、
請求項１に記載の方法。
前記第１データポイントに関連した前記所定のクラスを、前記第１データポイントに関連した前記予測された第１クラスと比較することと、
前記比較に基づいて、前記予測された第１クラス及び前記所定のクラスを含む第１クラスペアに関連した誤分類の第１インスタンスを識別することと、
前記識別された誤分類の第１インスタンスに基づき、前記第１クラスペアに関連した誤分類のインスタンスのカウントを決定することと、
前記誤分類のインスタンスのカウント及び閾値に基づき、前記混同クラスペアの組の中の混同クラスペアとして前記第１クラスペアを識別することと
を有する、
請求項１に記載の方法。
【請求項12】
前記受け取られた第１データセットを、クラスタ化されるべき現在のサンプルとして選択することと、
前記受け取られた第１データセットのクラスタ化のための動作の組を制御することであり、前記動作の組は、
前記選択された現在のサンプル内の各データポイントの第３の特徴スコアの組に基づき、第１精度グループ又は第２精度グループのうちの１つに前記選択された現在のサンプルをクラスタ化することと、
前記第１精度グループ内の第１のデータポイントの組の各データポイントについて前記ＤＮＮによって予測されたクラスに基づき、かつ、前記第１のデータポイントの組の中の対応するデータポイントに関連した所定のクラスに基づき、前記第１精度グループに関連した精度スコアを決定することと、
前記第２精度グループ内の第２のデータポイントの組のデータポイント数及び最小グループサイズ閾値に基づき、前記第２のデータポイントの組を後入れ先出し（ＬＩＦＯ）データ構造に格納することと、
前記第１精度グループに関連した前記決定された精度スコアを、前記セマンティッククラスの組の各セマンティッククラスに関連した精度閾値と比較することと、
前記比較に基づき、前記第１精度グループ内の前記第１のデータポイントの組を前記セマンティッククラスの組の中の１つのセマンティッククラスに割り当てることと、
前記ＬＩＦＯデータ構造が空であるかどうかを決定することと、
前記ＬＩＦＯデータ構造が空ではないとの決定に基づき、前記ＬＩＦＯデータ構造から第３のデータポイントの組を読み出すことと、
前記読み出された第３のデータポイントの組を、クラスタ化されるべき前記現在のサンプルとして選択し直すことと
を有する、前記制御することと、
前記ＬＩＦＯデータ構造が空であるとの決定に基づき、前記動作の組の反復制御に基づいて前記クラスタ化された第１データセットを取得することと
を更に有する、請求項１に記載の方法。
前記受け取られた第１データセットのクラスタ化のための動作の組を制御することであり、前記動作の組は、
前記選択された現在のサンプル内の各データポイントの第３の特徴スコアの組に基づき、第１精度グループ又は第２精度グループのうちの１つに前記選択された現在のサンプルをクラスタ化することと、
前記第１精度グループ内の第１のデータポイントの組の各データポイントについて前記ＤＮＮによって予測されたクラスに基づき、かつ、前記第１のデータポイントの組の中の対応するデータポイントに関連した所定のクラスに基づき、前記第１精度グループに関連した精度スコアを決定することと、
前記第２精度グループ内の第２のデータポイントの組のデータポイント数及び最小グループサイズ閾値に基づき、前記第２のデータポイントの組を後入れ先出し（ＬＩＦＯ）データ構造に格納することと、
前記第１精度グループに関連した前記決定された精度スコアを、前記セマンティッククラスの組の各セマンティッククラスに関連した精度閾値と比較することと、
前記比較に基づき、前記第１精度グループ内の前記第１のデータポイントの組を前記セマンティッククラスの組の中の１つのセマンティッククラスに割り当てることと、
前記ＬＩＦＯデータ構造が空であるかどうかを決定することと、
前記ＬＩＦＯデータ構造が空ではないとの決定に基づき、前記ＬＩＦＯデータ構造から第３のデータポイントの組を読み出すことと、
前記読み出された第３のデータポイントの組を、クラスタ化されるべき前記現在のサンプルとして選択し直すことと
を有する、前記制御することと、
前記ＬＩＦＯデータ構造が空であるとの決定に基づき、前記動作の組の反復制御に基づいて前記クラスタ化された第１データセットを取得することと
を更に有する、請求項１に記載の方法。
【請求項13】
前記動作の組は、前記比較、前記第１のデータポイントの組のデータポイント数、及び前記最小グループサイズ閾値に基づき、前記第１精度グループの前記第１のデータポイントの組を前記ＬＩＦＯデータ構造に格納することを更に有する、
請求項１２に記載の方法。
請求項１２に記載の方法。
【請求項14】
前記識別された混同クラスペアの組と、前記受け取られた第１データセット内の各データポイントについての前記予測された第１クラスとに基づき、前記クラスタ化された第１データセットを前記セマンティッククラスの組に再クラスタ化することと、
前記再クラスタ化された第１データセット、前記決定された第１の特徴スコアの組、及び前記セマンティッククラスの組に基づき、前記分類器を訓練することと
を更に有する、請求項１に記載の方法。
前記再クラスタ化された第１データセット、前記決定された第１の特徴スコアの組、及び前記セマンティッククラスの組に基づき、前記分類器を訓練することと
を更に有する、請求項１に記載の方法。
【請求項15】
前記選択された現在のサンプルは、ｋ平均法アルゴリズムに基づきクラスタ化される、
請求項１２に記載の方法。
請求項１２に記載の方法。
【請求項16】
前記分類器は、Ｋ近傍分類器に対応する、
請求項１に記載の方法。
請求項１に記載の方法。
【請求項17】
前記第１データポイントは、イメージデータ、オーディオデータ、又はテキストデータのうちの１つに対応し、
前記実時間アプリケーションは、イメージ分類、スピーチ認識、又はテキスト認識のうちの１つを有する、
請求項１に記載の方法。
前記実時間アプリケーションは、イメージ分類、スピーチ認識、又はテキスト認識のうちの１つを有する、
請求項１に記載の方法。
【請求項18】
プロセッサが実行する方法であって、
実時間アプリケーションに関連したデータポイントを受け取ることと、
前記実時間アプリケーションの分類タスクのために予め訓練されたディープニューラルネットワーク（ＤＮＮ）によって、前記データポイントに関連したクラスを予測することと、
前記受け取られたデータポイントに関連した前記予測されたクラスに基づき、前記受け取られたデータポイントの特徴スコアの組を決定することと、
前記決定された特徴スコアの組及び前記予測されたクラスに基づき、予め訓練された分類器を前記受け取られたデータポイントに適用することであり、前記分類器は、セマンティッククラスの組の中の１つのセマンティッククラスにデータポイントを分類するよう予め訓練されており、前記セマンティッククラスの組の各セマンティッククラスは、前記セマンティッククラスの組の中の対応するセマンティッククラスにクラスタ化されたデータポイントの組に関連した予測精度を示す、ことと、
前記受け取られたデータポイントに対する前記予め訓練された分類器の適用に基づき、前記受け取られたデータポイントを前記セマンティッククラスの組の中の１つのセマンティッククラスに分類することと、
前記セマンティッククラスの組の中の、前記受け取られたデータポイントについての前記分類された１つのセマンティッククラスに関連した少なくとも１つのアクションを決定することと、
前記決定された少なくとも１つのアクションをレンダリングすることと
を有する方法。
実時間アプリケーションに関連したデータポイントを受け取ることと、
前記実時間アプリケーションの分類タスクのために予め訓練されたディープニューラルネットワーク（ＤＮＮ）によって、前記データポイントに関連したクラスを予測することと、
前記受け取られたデータポイントに関連した前記予測されたクラスに基づき、前記受け取られたデータポイントの特徴スコアの組を決定することと、
前記決定された特徴スコアの組及び前記予測されたクラスに基づき、予め訓練された分類器を前記受け取られたデータポイントに適用することであり、前記分類器は、セマンティッククラスの組の中の１つのセマンティッククラスにデータポイントを分類するよう予め訓練されており、前記セマンティッククラスの組の各セマンティッククラスは、前記セマンティッククラスの組の中の対応するセマンティッククラスにクラスタ化されたデータポイントの組に関連した予測精度を示す、ことと、
前記受け取られたデータポイントに対する前記予め訓練された分類器の適用に基づき、前記受け取られたデータポイントを前記セマンティッククラスの組の中の１つのセマンティッククラスに分類することと、
前記セマンティッククラスの組の中の、前記受け取られたデータポイントについての前記分類された１つのセマンティッククラスに関連した少なくとも１つのアクションを決定することと、
前記決定された少なくとも１つのアクションをレンダリングすることと
を有する方法。
【請求項19】
前記セマンティッククラスの組は、正しい可能性のあるセマンティッククラス、２つのうちの１つのセマンティッククラス、正しくない可能性のあるセマンティッククラス、又は知らないセマンティッククラス、のうちの少なくとも１つを有する、
請求項１８に記載の方法。
請求項１８に記載の方法。
【請求項20】
命令を記憶しているメモリと、
実時間アプリケーションの分類タスクのために予め訓練されたディープニューラルネットワーク（ＤＮＮ）と、
前記メモリ及び前記ＤＮＮへ結合され、前記命令を実行して、
前記実時間アプリケーションに関連した第１データセットを受け取ることと、
前記ＤＮＮによって、前記受け取られた第１データセットの第１データポイントに関連した第１クラスを予測することと、
前記第１データポイントに関連した前記予測された第１クラスに基づき、前記第１データポイントの第１の特徴スコアの組を決定することと、
前記予測された第１クラスと、前記第１データポイントに関連した所定のクラスとに基づき、前記ＤＮＮに関連した混同クラスペアの組を識別することと、
前記受け取られた第１データセット内の各データポイントについての前記決定された第１の特徴スコアの組と、前記予測された第１クラスと、前記識別された混同クラスペアの組とに基づき、前記受け取られた第１データセットをセマンティッククラスの組の中の１つのセマンティッククラスにクラスタ化することであり、前記セマンティッククラスの組の中の各セマンティッククラスが、前記セマンティッククラスの組の中の対応するセマンティッククラスにクラスタ化されたデータポイントの組に関連した予測精度を示す、ことと、
前記クラスタ化された第１データセットと、前記決定された第１の特徴スコアの組と、前記セマンティッククラスの組とに基づき、分類器を訓練することと
を有するプロセスを実行するプロセッサと
を有する電子デバイス。
実時間アプリケーションの分類タスクのために予め訓練されたディープニューラルネットワーク（ＤＮＮ）と、
前記メモリ及び前記ＤＮＮへ結合され、前記命令を実行して、
前記実時間アプリケーションに関連した第１データセットを受け取ることと、
前記ＤＮＮによって、前記受け取られた第１データセットの第１データポイントに関連した第１クラスを予測することと、
前記第１データポイントに関連した前記予測された第１クラスに基づき、前記第１データポイントの第１の特徴スコアの組を決定することと、
前記予測された第１クラスと、前記第１データポイントに関連した所定のクラスとに基づき、前記ＤＮＮに関連した混同クラスペアの組を識別することと、
前記受け取られた第１データセット内の各データポイントについての前記決定された第１の特徴スコアの組と、前記予測された第１クラスと、前記識別された混同クラスペアの組とに基づき、前記受け取られた第１データセットをセマンティッククラスの組の中の１つのセマンティッククラスにクラスタ化することであり、前記セマンティッククラスの組の中の各セマンティッククラスが、前記セマンティッククラスの組の中の対応するセマンティッククラスにクラスタ化されたデータポイントの組に関連した予測精度を示す、ことと、
前記クラスタ化された第１データセットと、前記決定された第１の特徴スコアの組と、前記セマンティッククラスの組とに基づき、分類器を訓練することと
を有するプロセスを実行するプロセッサと
を有する電子デバイス。
【発明の詳細な説明】
【技術分野】
【0001】
本開示で議論されている実施形態は、意志決定（decision making）のためのディープニューラルネットワーク（Deep Neural Network，ＤＮＮ）予測に関するセマンティックフィードバックの提供に関係がある。
【背景技術】
【0002】
ニューラルネットワークの分野における最近の進歩は、様々な実時間アプリケーションに関連し得るデータの分類のための様々な技術の開発をもたらしてきた。例えば、訓練されたディープニューラルネットワーク（ＤＮＮ）が、異なるデータポイント（すなわち、イメージ）の分類又は検出といった様々な分類タスクのための異なるアプリケーションで利用され得る。
【0003】
本開示で請求されている対象は、上記のような環境でのみ動作する実施形態又はあらゆる欠点を解消する実施形態に限定されない。むしろ、この背景は、本開示で記載されているいくつかの実施形態が実施され得る技術的範囲の一例を説明するためにのみ与えられている。
【発明の概要】
【0004】
実施形態の態様に従って、デバイスによる動作は、実時間アプリケーションに関連した第１データセットを受け取ることを含んでよい。動作は、実時間アプリケーションの分類タスクのために予め訓練されたディープニューラルネットワーク（ＤＮＮ）によって、受け取られた第１データセットの第１データポイントに関連した第１クラスを予測することを更に含んでよい。動作は、第１データポイントに関連した予測された第１クラスに基づき、第１データポイントの第１の特徴スコアの組を決定することを更に含んでよい。動作は、予測された第１クラスと、第１データポイントに関連した所定のクラスとに基づき、ＤＮＮに関連した混同クラスペアの組を識別することを更に含んでよい。動作は、受け取られた第１データセット内の各データポイントについての決定された第１の特徴スコアの組、予測された第１クラス、及び識別された混同クラスペアの組に基づき、受け取られた第１データセットをセマンティッククラスの組の中の１つのセマンティッククラスにクラスタ化することを更に含んでよい。セマンティッククラスの組の各セマンティッククラスは、セマンティッククラスの組の中の対応するセマンティッククラスにクラスタ化されたデータポイントの組に関連した予測精度を示し得る。動作は、クラスタ化された第１データセット、決定された第１の特徴スコアの組、及びセマンティッククラスの組に基づき分類器を訓練することを更に含んでよい。
【0005】
実施形態の目的及び利点は、少なくとも、特許請求の範囲で特に指し示されている要素、特徴、及び組み合わせによって、実現及び達成される。
【0006】
上記の概要及び以下の詳細な説明は両方とも、例として与えられており、請求されている発明の説明であって限定ではない。
【0007】
例となる実施形態は、添付の図面の使用を通じて、更なる特定及び詳細をもって記載及び説明される。
【図面の簡単な説明】
【0008】
【図1】意志決定のためのディープニューラルネットワーク（ＤＮＮ）予測に関するセマンティックフィードバックの提供に関連した環境の例を表す図である。
【図2】意志決定のためのディープニューラルネットワーク（ＤＮＮ）予測に関するセマンティックフィードバックの提供のためのシステムの例のブロック図である。
【図3】意志決定のためのディープニューラルネットワーク（ＤＮＮ）予測に関するセマンティックフィードバックの提供のための方法の例のフローチャートである。
【図4】予め訓練された分類器に基づきディープニューラルネットワーク（ＤＮＮ）の予測結果に関するセマンティックフィードバックを提供する方法の例のフローチャートである。
【図5】ディープニューラルネットワーク（ＤＮＮ）に関連した混同クラスの組の識別のための方法の例のフローチャートである。
【図6A】分類器の訓練のためのセマンティッククラスの組の中の１つのセマンティッククラスへの受け取られた第１データセットのクラスタ化の方法の例のフローチャートを表す。
【図6B】分類器の訓練のためのセマンティッククラスの組の中の１つのセマンティッククラスへの受け取られた第１データセットのクラスタ化の方法の例のフローチャートを表す。
【図7】セマンティッククラスの組の中の１つのセマンティッククラスへの受け取られた第１データセットのクラスタ化のアルゴリズムのプログラムコードの例示的なシナリオである。
【発明を実施するための形態】
【0009】
図面に表されている全ての図は、本開示で記載されている少なくとも１つの実施形態に従う。
【0010】
ディープニューラルネットワーク（ＤＮＮ）は、様々な分類タスクにおいて優れた分類精度を達成しているが、特定のアプリケーション、例えば、自動運転又は医療診断などでは、不正確な決定又は誤分類が（ごく一部の場合でも）、経済的又は物理的な損失を引き起こす可能性がある。これは、ＤＮＮの予測結果の信頼性に関して、及びＤＮＮの予測結果に基づいてとられ得る決定又はアクションに関して、重要な懸案事項を生じさせる可能性がある。説明可能な人工知能（eXplainable Artificial Intelligence，ＸＡＩ）の分野における従来の解決法は、ＤＮＮの予測された出力を生成するために使用され得る特徴の組に関してＤＮＮの予測出力の解釈を提供し得る。他の従来技術は、ＤＮＮの予測出力の信頼性を定量化するために、ＤＮＮに関連した生得的信頼の使用を伴い得る。しかし、生得的信頼スコアは、エンドユーザ（例えば、非技術者）には容易に解釈することができないことがあり、ユーザがＤＮＮの予測結果（すなわち、信頼スコア）に関連した適切な決定又はアクションをとることできないことがある。
【0011】
本開示で記載されるいくつかの実施形態は、意志決定のためにディープニューラルネットワーク（ＤＮＮ）の予測結果に関するセマンティックフィードバックを有効に提供する方法及びシステムに関する。本開示において、データセットは、データセット内の各データポイントについての第１の特徴スコアの組、ＤＮＮによって予測されたクラス、及び混同クラスペアの組に基づき、セマンティッククラスの組にクラスタ化され得る。各セマンティッククラスは、セマンティッククラスの組の中の対応するセマンティッククラスにクラスタ化されたデータポイントの組に関連した予測精度を示し得る。分類器は、クラスタ化されたデータセット、第１の特徴スコアの組、及びセマンティッククラスの組に基づき、訓練され得る。動作フェーズにおいて、訓練された分類器は、新しいデータポイントについて決定された第２の特徴スコアの組と、その新しいデータポイントについてＤＮＮによって予測されたクラスとに基づき、新しいデータポイントをセマンティッククラスの組の中の１つのセマンティッククラスに分類するために使用され得る。セマンティッククラスに関連した（つまり、新しいデータポイントについて決定された）アクションが更に決定され、決定されたアクションは、新しいデータポイントについての分類されたセマンティッククラスに基づき適切な意志決定においてユーザを助けるようユーザのためにレンダリングされ得る。
【0012】
本開示の１つ以上の実施形態に従って、ＤＮＮによる分類の技術的分野は、コンピューティングシステムが、エンドユーザ（例えば、非技術者）によって理解可能であってかつエンドユーザによって適切な意志決定のために使用され得るＤＮＮの予測結果に関してセマンティックフィードバックを有効に提供することができるように、コンピューティングシステムを構成することによって、改善され得る。コンピューティングシステムは、ＤＮＮ予測結果に関してユーザが解釈可能なフィードバックを提供し得ない他の従来システムと比較して、ＤＮＮに供給されたデータポイントを、セマンティッククラスにクラスタ化されたデータポイントの予測精度を示すセマンティッククラスにクラスタ化するよう訓練され得る分類器を含み得る。
【0013】
システムは、実時間アプリケーションに関連した第１データセットを受け取るよう構成されてよい。第１データセット内のデータポイントの例は、実時間アプリケーションに関連したイメージデータ、スピーチデータ、オーディオデータ、テキストデータ、又は他の形式のデジタル信号を含み得るが、これらに限られない。システムは更に、受け取られた第１データセットの第１データポイントに関連した第１クラスを予測するようにＤＮＮを制御するよう更に構成されてよく、ＤＮＮは、実時間アプリケーションに関連した分類タスクのために予め訓練されてよい。例えば、分類タスクは、イメージ分類タスクであってよく、第１データポイントは、動物（例えば、猫）の入力イメージを含んでもよい。システムは、受け取られた第１データポイント（例えば、猫の入力イメージ）に基づき第１クラス（例えば、猫のラベル）を予測するようにＤＮＮを制御するよう構成されてよい。
【0014】
システムは更に、第１データポイントに関連した予測された第１クラスに基づき、第１データポイントの第１の特徴スコアの組を決定するよう構成されてよい。第１の特徴スコアの組の例は、第１データポイントについての、尤度に基づいたサプライズアデクシー（Likelihood-based Surprise Adequacy，ＬＳＡ）スコア、距離に基づいたサプライズアデクシー（Distance-based Surprise Adequacy，ＤＳＡ）スコア、信頼スコア（confidence score）、ロジットスコア（logit score）、又はロバスト性ダイバーシティスコア（robustness diversity score）のうちの少なくとも１つの情報を含み得るが、これらに限られない。ＬＳＡスコアは、第１データポイントが第１データセットによる分布内にあるかどうかを示し得る。ＤＳＡスコアは、第１データポイントが、ＤＮＮに関連したハイパースペースにおいて、予測された第１クラスに隣接する他のクラスよりも、予測された第１クラスに近いかどうかを示し得る。信頼スコアは、第１データポイントに関連した第１クラスの予測についてのＤＮＮの確率スコアに対応する。ロジットスコアは、第１データポイントに関連した第１クラスの予測についてのＤＮＮのｐｒｅ－ｓｏｆｔｍａｘレイヤからのスコアに対応し得る。ロバスト性ダイバーシティスコアは、第１データポイントに対応する１つ以上のバリエーションについてのＤＮＮによる予測の安定性の程度を示し得る。
【0015】
システムは更に、予測された第１クラスと、第１データポイントに関連した所定のクラスとに基づき、ＤＮＮに関連した混同クラスペア（confusing class pairs）の組を識別するよう構成されてよい。システムは更に、受け取られた第１データセット内の各データポイントについての決定された第１の特徴スコアの組、予測された第１クラス、及び識別された混同クラスペアの組に基づき、受け取られた第１データセットをセマンティッククラスの組の中の１つのセマンティッククラスにクラスタ化するよう構成されてよい。セマンティッククラスの組の各セマンティッククラスは、セマンティッククラスの組の中の対応するセマンティッククラスにクラスタ化されたデータポイントの組に関連した予測精度を示し得る。セマンティッククラスの組の例は、正しい可能性のある（likely-correct）（又は確実に正しい（reliably correct））セマンティッククラス、２つのうちの１つの（one-of-two）セマンティッククラス、正しくない可能性のある（likely incorrect）セマンティッククラス、又は知らない（do-not-know）セマンティッククラス、のうちの少なくとも１つを含み得るが、これらに限られない。システムは更に、クラスタ化された第１データセット、決定された第１の特徴スコアの組、及びセマンティッククラスの組に基づき、分類器を訓練するよう構成されてよい。分類器の例は、Ｋ近傍（K-Nearest Neighbor，Ｋ－ＮＮ）分類器を含み得るが、これに限られない。
【0016】
例えば、動作フェーズにおいて、システムは、実時間アプリケーションに関連した第２データポイント（例えば、新しいデータポイント）を受け取るよう構成されてよい。システムは更に、第２データポイントに関連した第２クラスを予測するようにＤＮＮを制御するよう構成されてよく、ＤＮＮは、実時間アプリケーションの分類タスクのために予め訓練されてよい。システムは更に、受け取られた第２データポイントに関連した予測された第２クラスに基づき、第２データポイントの第２の特徴スコアの組を決定するよう構成されてよい。第２の特徴スコアの組は、第１の特徴スコアの組に類似し得る。
【0017】
システムは更に、決定された第２の特徴スコアの組及び予測された第２クラスに基づき、予め訓練された分類器を、受け取られた第２データセットに適用するよう構成されてよい。分類器は、セマンティッククラスの組のうちの１つのセマンティッククラスにデータポイントを分類するよう予め訓練されてよい。システムは更に、第２データポイントに対する予め訓練された分類器の適用に基づき、第２データポイントをセマンティッククラスの組の中の１つのセマンティッククラスに分類するよう構成されてよい。システムは更に、セマンティッククラスの組の中の、第２データポイントについての分類された１つのセマンティッククラスに関連した少なくとも１つのアクションを決定するよう構成されてよい。システムは更に、決定された少なくとも１つのアクションをエンドユーザのためにレンダリングするよう構成されてよい。
【0018】
通常、従来システムは、エンドユーザが容易に理解することができない可能性があるＤＮＮの予測結果の解釈を提供することがある。言い換えると、従来システムによる解釈は、ユーザが解釈に基づいて決定又はアクションを行うのに直感的でないことがある。開示されているシステムは、他方で、人が理解することできる様々なセマンティッククラスにＤＮＮの入力空間をパーティション化し得る。セマンティッククラスは、そのセマンティッククラスにクラスタ化されたデータポイントの予測精度を示し得る。特定のセマンティッククラスにおけるデータポイントのクラスタ化は、データポイントの分類におけるＤＮＮの信頼性に関して、ユーザに定性的なフィードバックを提供するために使用されてよく、更には、ユーザが定性的なフィードバックに基づいて、ＤＮＮの予測出力を使用する又は使用しない方法のような、情報に基づく決定を行うことを可能にし得る。
【0019】
本開示の実施形態は、添付の図面を参照して説明される。
【0020】
図１は、本開示で記載される少なくとも１つの実施形態に従って配置される、意志決定のためのディープニューラルネットワーク（ＤＮＮ）予測に関するセマンティックフィードバックの提供に関連した環境の例を表す図である。図１を参照して、環境１００が示されている。環境１００は、電子デバイス１０２を含んでよい。電子デバイス１０２は、ディープニューラルネットワーク（ＤＮＮ）１０４及び分類器１０６を更に含んでよい。環境１００は、データベース１０８、ユーザエンドデバイス１１０、及び通信ネットワーク１１２を含んでよい。電子デバイス１０２、データベース１０８、及びユーザエンドデバイス１１０は、通信ネットワーク１１２を介して、互いに通信可能に結合され得る。図１には、ユーザエンドデバイス１１０を操作することができる、又はそれに関連し得るユーザ１１４が更に示されている。
【0021】
電子デバイス１０２は、意志決定のためのディープニューラルネットワーク（ＤＮＮ）予測に関するセマンティックフィードバックの提供のための１つ以上の動作を実行するよう構成され得る適切なロジック、回路、インターフェース、及び／又はコードを含んでよい。１つ以上の実施形態において、電子デバイス１０２は、通信ネットワーク１１２を介して、第１データセット（データベース１０８に記憶されてよい。）を受け取るよう構成されてよい。いくつかの実施形態において、電子デバイス１０２は、電子デバイス１０２のメモリ（図１には図示せず。）に第１データセットを記憶するよう構成されてもよい。第１データセット内のデータポイントは、イメージデータ、オーディオデータ、スピーチデータ、又はテキストデータに対応してよいが、これらに限られない。データセットは、ＤＮＮ１０４が特定の分類タスクを実行し得る実時間アプリケーションに対応してよい。実時間アプリケーションの例は、イメージ認識、分類アプリケーション、スピーチ認識アプリケーション、テキスト認識アプリケーション、マルウェア検出アプリケーション、自律型車両アプリケーション、異常検出アプリケーション、機械翻訳アプリケーション、例えば、電気生体信号、動きデータ、及びデプスデータなど、しかしこれらに限られない異なるデジタル信号からのパターン認識を含み得るが、これらに限られない。
【0022】
電子デバイス１０２は、受け取られた第１データセットの第１データポイントに関連した第１クラス（例えば、ラベル）を予測するように、予め訓練されたＤＮＮ１０４を制御するよう構成されてよい。例えば、ＤＮＮ１０４がイメージ分類のために予め訓練されており、第１データポイントがイメージである場合に、ＤＮＮ１０４は、動物（例えば、猫）などのイメージ内の対象を第１クラスと予測するよう制御され得る。いくつかの実施形態において、電子デバイス１０２は、受け取られた第１データセットに関連した第１クラスの予測を示し得る第１信頼スコア（すなわち、確率値としての生得的信頼スコア）を生成するようＤＮＮ１０４を制御し得る。同様に、電子デバイス１０２は、第１データセット内の各データポイントに関連した第１クラスを予測するように、予め訓練されたＤＮＮ１０４を制御するよう構成されてもよい。
【0023】
電子デバイス１０２は、第１データポイントに関連した予測された第１クラスに基づき、第１データポイントの第１の特徴スコアの組を決定するよう更に構成されてもよい。第１の特徴スコアの組の例は、第１データポイントについての、尤度に基づいたサプライズアデクシー（ＬＳＡ）スコア、距離に基づいたサプライズアデクシー（ＤＳＡ）スコア、信頼スコア、ロジットスコア、又はロバスト性ダイバーシティスコアのうちの少なくとも１つの情報を含み得るが、これらに限られない。第１の特徴スコアの組の詳細は、例えば、図３で、与えられている。
【0024】
電子デバイス１０２は、予測された第１クラスと、第１データポイントに関連した所定のクラスとに基づき、ＤＮＮ１０４に関連した混同クラスペアの組を識別するよう更に構成されてもよい。同様に、電子デバイス１０２は、第１データセット内の各データポイントについて混同クラスペアの組を識別するよう構成されてもよい。データポイントについての混同クラスペアの組の識別は、例えば、図５で、更に記載される。
【0025】
電子デバイス１０２は、受け取られた第１データセット内の各データポイントについての決定された第１の特徴スコアの組、予測された第１クラス、及び識別された混同クラスペアの組に基づき、受け取られた第１データセットをセマンティッククラスの組の中の１つのセマンティッククラスにクラスタ化するよう構成されてよい。セマンティッククラスの組の各セマンティッククラスは、セマンティッククラスの組の中の対応するセマンティッククラスにクラスタ化されたデータポイントの組に関連した予測精度を示し得る。セマンティッククラスの組の例は、正しい可能性のあるセマンティッククラス、２つのうちの１つのセマンティッククラス、正しくない可能性のあるセマンティッククラス、又は知らないセマンティッククラス、のうちの少なくとも１つを含み得るが、これらに限られない。セマンティッククラスの組の詳細は、例えば、図３、図４、図６Ａ、図６Ｂ、及び図７で、与えられている。電子デバイス１０２は更に、クラスタ化された第１データセット、決定された第１の特徴スコアの組、及びセマンティッククラスの組に基づき、分類器（例えば、分類器１０６）の訓練を制御するよう構成されてもよい。セマンティッククラスの組の中の１つのセマンティッククラスへのデータポイント（すなわち、予め訓練されたＤＮＮ（例えば、ＤＮＮ１０４）の入力）の分類のための分類器（例えば、分類器１０６）の訓練は、例えば、図３、図６Ａ、図６Ｂ、及び図７で、更に記載される。
【0026】
電子デバイス１０２は、通信ネットワーク１１２を介して、実時間アプリケーションに関連した第２データポイントを受け取るよう構成されてよい。第２データポイントは、データベース１０８又はユーザエンドデバイス１１０に記憶されてよい。電子デバイス１０２は更に、第２データポイントに関連した第２クラス（すなわち、ラベル）を予測するように、予め訓練されたＤＮＮ１０４を制御するよう構成されてもよい。電子デバイス１０２は更に、受け取られた第２データポイントに関連した予測された第２クラスに基づき、第２データポイントの第２の特徴スコアの組を決定するよう構成されてもよい。
【0027】
電子デバイス１０２は更に、決定された第２の特徴スコアの組及び予測された第２クラスに基づき、予め訓練された分類器（例えば、分類器１０６）を、受け取られた第２データポイントに適用するよう構成されてもよい。分類器１０６は、セマンティッククラスの組の中の１つのセマンティッククラスにデータポイントを分類するよう予め訓練されてよい。電子デバイス１０２は更に、第２データポイントに対する予め訓練された分類器１０６の適用に基づき、セマンティッククラスの組の中の１つのセマンティッククラスに第２データポイントを分類するよう構成されてもよい。電子デバイス１０２は更に、セマンティッククラスの組の中の、第２データポイントについての分類された１つのセマンティッククラスに関連した少なくとも１つのアクションを決定するよう構成されてもよい。電子デバイス１０２は更に、決定された少なくとも１つのアクションをユーザ１１４のためにレンダリングするよう構成されてもよい。予め訓練された分類器に基づいたセマンティッククラスの組の中の１つのセマンティッククラスへのデータポイントの分類は、例えば、図４で、更に記載される。
【0028】
電子デバイス１０２の例には、対象検出エンジン、認識エンジン、モバイルデバイス、デスクトップコンピュータ、ラップトップ、コンピュータワークステーション、訓練デバイス、コンピューティングデバイス、メインフレームマシン、クラウドサーバなどのサーバ、及びサーバのグループが含まれ得るが、これらに限られない。１つ以上の実施形態において、電子デバイス１０２は、ユーザエンドの端末デバイスと、ユーザエンドの端末デバイスへ通信可能に結合されたサーバとを含んでもよい。ユーザエンドの端末デバイスの例には、モバイルデバイス、デスクトップコンピュータ、ラップトップ、及びコンピュータワークステーションが含まれ得るが、これらに限られない。電子デバイス１０２は、プロセッサ、マイクロプロセッサ（例えば、１つ以上の動作を実行したり又はその動作を制御したりするためのもの）、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、又は特定用途向け集積回路（ＡＳＩＣ）を含むハードウェアを用いて実装されてもよい。いくつかの他の事例では、電子デバイス１０２は、ハードウェアとソフトウェアとの組み合わせを用いて実装されてもよい。
【0029】
図１では、分類器１０６及び予め訓練されたＤＮＮ１０４が電子デバイス１０２の部分として示されているが、いくつかの実施形態において、分類器１０６及び予め訓練されたＤＮＮ１０４は、本開示の範囲からの逸脱なしに、単一のデバイスとして一体化されてもよい。代替的に、分類器１０６及び予め訓練されたＤＮＮ１０４は、本開示の範囲からの逸脱なしに、別個のデバイス内で実装されてもよい。
【0030】
ＤＮＮ１０４は、特定の実時間アプリケーションのための出力結果を生成するよう入力データポイントを分類又は認識するよう構成され得る適切なロジック、回路、インターフェース、及び／又はコードを有してよい。例えば、予め訓練されたＤＮＮ１０４は、入力イメージ内の種々の対象を認識してよく、入力イメージ内の対象ごとに一意のラベルを供給してよい。一意のラベルは、種々の生物（例えば、人間、動物、植物）又は非生物（例えば、車両、建物、コンピュータブック等、しかしこれらに限られない）エンティティに対応してよい。他の例では、スピーチ認識のアプリケーションに関係がある予め訓練されたＤＮＮ１０４は、オーディオサンプルのソース（人間の話者）を識別するよう種々の入力オーディオサンプルを認識してもよい。実施形態において、出力される一意のラベルは、入力データポイントについてのＤＮＮ１０４の予測結果に対応してよい。ＤＮＮ１０４は、ＤＮＮ１０４の出力される予測結果の確率（０から１の間）を示し得る（生得的信頼スコアとしての）第１信頼スコアを出力するよう構成されてよい。例えば、動物（例えば、猫）として入力データポイントについては、訓練されたＤＮＮ１０４は、動物（例えば、猫）としての一意のラベルで入力データポイントを予測するよう、より高い第１信頼スコア（例えば、１．０に近い０．９５）を生成してよい。ＤＮＮ１０４は、プロセッサ、マイクロプロセッサ（例えば、１つ以上の動作を実行したり又はその動作を制御したりするためのもの）、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、又は特定用途向け集積回路（ＡＳＩＣ）を含むハードウェアを用いて実装されてもよい。いくつかの他の事例では、ＤＮＮ１０４は、コード、プログラム、又はソフトウェア命令の組であってもよい。ＤＮＮ１０４は、ハードウェアとソフトウェアとの組み合わせを用いて実装されてもよい。
【0031】
いくつかの実施形態において、ＤＮＮ１０４は、入力データポイントの認識のための複数の認識レイヤ（図示せず。）に対応してもよく、夫々の連続したレイヤは、入力として、前のレイヤの出力を使用してよい。例えば、複数の認識レイヤは、入力レイヤ、１つ以上の隠しレイヤ、及び出力レイヤを含んでもよい。各認識レイヤは、複数のニューロンと関連付けられてもよく、各ニューロンは更に、複数の重みと関連付けられてもよい。ＤＮＮ１０４の訓練中、複数の認識レイヤ及び各レイヤ内の複数のニューロンは、ＤＮＮ１０４のハイパーパラメータから決定されてよい。そのようなハイパーパラメータは、訓練データセットに関してＤＮＮ１０４を訓練する前又はその最中にセットされてよい。ＤＮＮ１０４は、入力データポイント及びＤＮＮ１０４の出力結果（すなわち、グラウンドトゥルース）に基づき異なるレイヤで複数の重みを調整するよう訓練されてもよい。
【0032】
ＤＮＮ１０４の各ニューロン又はノードは、ＤＮＮ１０４の入力としての第１データポイント（例えば、イメージデータ）とＤＮＮ１０４の出力としての予測結果又はクラスとの間の関係についてＤＮＮ１０４を訓練するよう調整可能なパラメータの組を有する数式（例えば、シグモイド関数又は正規化線形ユニット）に対応し得る。パラメータの組には、例えば、重みパラメータ、正則化パラメータ、などが含まれ得る。各ニューロンは、数式を使用して、ＤＮＮ１０４の他のレイヤ（例えば、前のレイヤ）内のニューロンからの１つ以上の入力に基づき出力を計算し得る。ＤＮＮ１０４のニューロンの全部又は一部は、同じ又は異なる数式に対応してもよい。
【0033】
ＤＮＮ１０４の訓練において、ＤＮＮ１０４の各ニューロンの１つ以上のパラメータは、（訓練データセットからの）所与の入力についての最終レイヤの出力がＤＮＮ１０４の損失関数に基づいた正しい結果と一致するかどうかに基づき、更新され得る。この更新プロセスは、損失関数の最小値が達成され得かつ訓練エラーが最小限にされ得るまで、同じ又は異なる入力について繰り返されてよい。ＤＮＮを訓練するためのいくつかの方法、例えば、最急降下法（gradient descent）、確率的勾配降下法（stochastic gradient descent）、バッチ最急降下法（batch gradient descent）、勾配ブースティング（gradient boost）、メタヒューリスティクス（meta-heuristics）などが、当該技術で知られている。ＤＮＮ１０４は、電子デバイスのようなコンピューティングデバイスが、１つ以上の出力（すなわち、クラスラベル）への１つ以上のデータ入力（すなわち、例えば、イメージデータ）の分類のための１つ以上の動作を実行することを可能にするよう構成されたコード及びルーチンを含んでもよい。
【0034】
ＤＮＮ１０４の例には、回帰型ニューラルネットワーク（Recurrent Neural Network，ＲＮＮ）、人工ニューラルネットワーク（Artificial Neural Network，ＡＮＮ）、畳み込みニューラルネットワーク（Convolutional Neural Network，ＣＮＮ）、ＣＮＮ－回帰型ニューラルネットワーク（ＣＮＮ－ＲＮＮ）、Ｒ－ＣＮＮ、Ｆａｓｔ Ｒ－ＣＮＮ、Ｆａｓｔｅｒ Ｒ－ＣＮＮ、長・短期記憶（Long Short-Term Memory，ＬＳＴＭ）ネットワークベースのＲＮＮ、ＣＮＮ－ＡＮＮ、ＬＳＴＭ＋ＡＮＮ、ゲート付き回帰型ユニット（Gated Recurrent Unit、ＧＲＵ）に基づいたＲＮＮ、ディープベイジアン（deep Bayesian）ニューラルネットワーク、敵対的生成ネットワーク（Generative Adversarial Network，ＧＡＮ）、及び／又はそのようなネットワークの組み合わせが含まれ得るが、これらに限られない。
【0035】
分類器１０６は、入力データポイントをセマンティッククラスの組の中の１つのセマンティッククラスに分類するよう構成され得る適切なロジック、回路、インターフェース、及び／又はコードを有してよい。セマンティッククラスの組の各セマンティッククラスは、セマンティッククラスの組の中の対応するセマンティッククラスにクラスタ化されたデータポイントの組に関連した予測精度を示し得る。セマンティッククラスの組の例は、正しい可能性のあるセマンティッククラス、２つのうちの１つのセマンティッククラス、正しくない可能性のあるセマンティッククラス、又は知らないセマンティッククラス、のうちの少なくとも１つを含み得るが、これらに限られない。分類器１０６は、電子デバイス１０２によって、実時間アプリケーションに関する第１データセット内の各データポイントについてのクラスタ化された第１データセット、決定された第１の特徴スコアの組、及びセマンティッククラスの組に基づいて、予め訓練されてよい。分類器１０６の訓練は、例えば、図３、図６Ａ、図６Ｂ、及び図７で、記載される。分類器１０６の組の例には、Ｋ近傍（Ｋ－ＮＮ）分類器、決定木分類器、サポートベクトルマシン（Support Vector Machine，ＳＶＭ）分類器、単純ベイス分類器、又はロジスティック回帰分類器が含まれ得るが、これらに限られない。
【0036】
データベース１０８は、実時間アプリケーションに関する複数のデータポイントを含むデータセット（例えば、第１データセット）を記憶するよう構成され得る適切な回路、ロジック、インターフェース、及び／又はコードを有してよい。電子デバイス１０２は、データベース１０８から第１データセットを受け取ってよい。更に、第１データセット内の複数のデータポイントは、ＤＮＮ１０４及び／又は分類器１０６を訓練するために使用され得る訓練データポイントの組（つまり、訓練データセット）であってもよい。複数のデータポイントは、ＤＮＮ１０４を試験するか又は分類器１０６を試験するために使用され得るテストデータポイントの組（つまり、テストデータセット）を更に含んでもよい。データベース１０８は、訓練データセット又はテストデータセットを含む関係又は非関係データベースであってよい。また、いくつかの場合に、データベース１０８は、クラウドサーバのようなサーバに記憶されてもよく、あるいは、電子デバイス１０２にキャッシュされて記憶されてもよい。データベース１０８のサーバは、通信ネットワーク１１２を介して、電子デバイス１０２から、データセット（例えば、第１データセット）又は新しいデータポイント（例えば、第２データポイント）を供給するためのリクエストを受け取るよう構成され得る。これに応えて、データベース１０８のサーバは、受け取られたリクエストに基づき、要求されているデータセット又は特定のデータポイントを読み出して電子デバイス１０２へ通信ネットワーク１１２を介して供給するよう構成され得る。いくつかの実施形態で、データベース１０８は、分類器１０６を記憶するよう構成されてもよい。いくつかの実施形態において、データベース１０８は、特定の実時間アプリケーションのための予め訓練されたＤＮＮ１０４を記憶するよう構成されてもよい。追加的に、又は代替的に、データベース１０８は、プロセッサ、マイクロプロセッサ（例えば、１つ以上の動作を実行したり又はその動作を制御したりするためのもの）、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、又は特定用途向け集積回路（ＡＳＩＣ）を含むハードウェアを用いて実装されてよい。いくつかの他の事例では、データベース１０８は、ハードウェアとソフトウェアとの組み合わせを用いて実装されてもよい。
【0037】
ユーザエンドデバイス１１０は、特定の分類タスク（すなわち、ＤＮＮ１０４及び分類器１０６が訓練されるためのもの）が実行され得る実時間アプリケーションを記憶するよう構成され得る適切なロジック、回路、インターフェース、及び／又はコードを有してよい。いくつかの実施形態において、ユーザエンドデバイス１１０は、予め訓練されたＤＮＮ１０４及び分類器１０６をデプロイして、デプロイされた予め訓練されたＤＮＮ１０４の予測結果に関するセマンティックフィードバックを提供し得る。ユーザエンドデバイス１１０は、デプロイされたＤＮＮ１０４を利用して、実時間アプリケーションの分類又は検出タスクを実行し、分類器１０６を訓練し、そして、デプロイされたＤＮＮ１０４によって生成された予測又は分類結果に関するセマンティックフィードバック（すなわち、セマンティッククラスの組）の決定のために、デプロイされた分類器１０６を利用し得る。例えば、ユーザエンドデバイス１１０は、内蔵カメラ又はサーバから入力イメージを受け取ってよく、そして、ユーザエンドデバイス１１０にデプロイされている訓練されたＤＮＮ１０４に基づき、入力イメージに対してイメージ分類又は認識を実行してよい。ユーザエンドデバイス１１０は、分類器１０６を訓練し、デプロイされている訓練された分類器１０６を更に使用して、ＤＮＮ１０４によって実行された（すなわち、ユーザエンドデバイス１１０にデプロイされた）イメージの分類（すなわち、予測されたイメージクラス）の信頼性に関するセマンティックフィードバックを決定し得る。他の例では、ユーザエンドデバイス１１０は、周囲から実時間イメージを受け取り、内蔵の訓練されたＤＮＮ１０４によりイメージ内で捕捉された種々の対象を検出し得る自律型車両であってもよい。そのようなシナリオでは、ユーザエンドデバイス１１０は、予め訓練された分類器１０６を使用して、ＤＮＮ１０４の予測出力に関するセマンティックフィードバック（すなわち、セマンティッククラスの組）を決定し、そして、自律型車両のＤＮＮ１０４によって実行された潜在的な誤った判断又は不正確な検出に関して、自律型車両に関連したユーザに指示又は警告し得る。いくつかの実施形態において、ユーザエンドデバイス１１０は、自律型車両にデプロイされているＤＮＮ１０４によって実行された不正確な検出及び誤った判断に基づき適切なアクション（例えば、自律型車両のステアリングの制御又はブレーキの適用）をとることができる。
【0038】
他の例では、ユーザエンドデバイス１１０は、種々のスピーチデータサンプルに関して訓練されたＤＮＮ１０４によって実行されたスピーチ認識に基づきユーザ認証を実行し得るオーディオセキュリティシステムであってもよい。同様に、ユーザエンドデバイス１１０は、セマンティッククラスの組を用いて、認証の精度を検証するための訓練された分類器１０６の使用によって、ＤＮＮ１０４によって実行されたユーザの認証を検証してもよい。ここで留意されるべきは、上記の例は、本開示に対する限定として解釈されるべきではなく、ＤＮＮ１０４は、簡潔さのために述べられていない多くの可能なアプリケーションで使用されてもよいことである。ユーザエンドデバイス１１０の例には、モバイルデバイス、デスクトップコンピュータ、ラップトップ、コンピュータワークステーション、コンピューティングデバイス、メインフレームマシン、クラウドサーバなどのサーバ、及びサーバのグループが含まれ得るが、これらに限られない。
【0039】
通信ネットワーク１１２は通信媒体を含んでよく、これを通じて、電子デバイス１０２は、データベース１０８及びユーザエンドデバイス１１０と通信し得る。通信ネットワーク１１２の例には、インターネット、クラウドネットワーク、ワイヤレス・フィデリティ（Ｗｉ－Ｆｉ）ネットワーク、パーソナル・エリア・ネットワーク（ＰＡＮ）、ローカル・エリア・ネットワーク（ＬＡＮ）、及び／又はメトロポリタン・エリア・ネットワーク（ＭＡＮ）が含まれ得るが、これらに限られない。環境１００内の様々なデバイスは、様々な有線及び無線通信プロトコルに従って通信ネットワーク１１２へ接続するよう構成されてよい。そのような有線及び無線通信プロトコルの例には、伝送制御プロトコル及びインターネットプロトコル（Transmission Control Protocol and Internet Protocol，ＴＣＰ／ＩＰ）、ユーザ・データグラム・プロトコル（User Datagram Protocol，ＵＤＰ）、ハイパーテキスト転送プロトコル（Hypertext Transfer Protocol，ＨＴＴＰ）、ファイル転送プロトコル（File Transfer Protocol，ＦＴＰ）、ＺｉｇＢｅｅ、ＥＤＧＥ、ＩＥＥＥ８０２．１１、ライト・フィデリティ（Light Fidelity，Ｌｉ－Ｆｉ）、８０２．１６、ＩＥＥＥ８０２．１１ｓ、ＩＥＥＥ８０２．１１ｇ、マルチホップ通信、ワイヤレス・アクセス・ポイント（Access Point，ＡＰ）、デバイス間（device-to-device）通信、セルラー通信プロトコル、及び／又はＢｌｕｅｔｏｏｔｈ（登録商標）（ＢＴ）通信プロトコル、あるいは、それらの組み合わせが含まれ得るが、これらに限られない。
【0040】
本開示の範囲から逸脱せずに、図１に対して変更、追加、又は削除が行われてよい。例えば、環境１００は、本開示で図示及び記載されているものよりも多い又は少ない要素を含んでもよい。例えば、いくつかの実施形態で、環境１００は、電子デバイス１０２を含むが、データベース１０８及びユーザエンドデバイス１１０を含まなくてもよい。その上、いくつかの実施形態で、データベース１０８及びユーザエンドデバイス１１０の夫々の機能性は、本開示の範囲からの逸脱せずに、電子デバイス１０２に組み込まれてもよい。
【0041】
図２は、本開示で記載される少なくとも１つの実施形態に従って配置される、意志決定のためのディープニューラルネットワーク（ＤＮＮ）予測に関するセマンティックフィードバックの提供のためのシステムの例のブロック図である。図２は、図１からの要素とともに説明される。図２を参照して、例となるシステム２０２のブロック図２００が示されている。例となるシステム２０２は、電子デバイス１０２、ＤＮＮ１０４、及び分類器１０６を含んでよい。電子デバイス１０２は、プロセッサ２０４、メモリ２０６、永続性データストレージ２０８、入出力（Ｉ／Ｏ）デバイス２１０、及びネットワークインターフェース２１２を含んでよい。Ｉ／Ｏデバイス２１０は、表示スクリーン２１０Ａを更に含んでもよい。
【0042】
プロセッサ２０４は、電子デバイス１０２によって実行される種々の動作に関連したプログラム命令を実行するよう構成され得る適切なロジック、回路、及び／又はインターフェースを含んでよい。例えば、動作のいくつかは、第１データセットの受け取りと、受け取られた第１データセット内の第１データポイントに関連した第１クラスの予測のためのＤＮＮ１０４の制御と、第１データポイントの第１の特徴スコアの組の決定と、混同クラスペアの組の識別と、受け取られた第１データセットのクラスタ化と、分類器１０６の訓練とを含んでよい。１つ以上の動作は、第２データポイントの受け取りと、第２データポイントに関連した第２クラスの予測のためのＤＮＮ１０４の制御と、第２データポイントの第２の特徴スコアの組の決定と、第２データポイントに対する訓練された分類器１０６の適用と、セマンティッククラスの組の中の１つのセマンティッククラスへの第２データポイントの分類とを更に含んでもよい。プロセッサ２０４は、様々なコンピュータハードウェア又はソフトウェアモジュールを含む如何なる適切な専用又は汎用コンピュータ、コンピューティングエンティティ又は処理デバイスも含んでよく、如何なる適用可能なコンピュータ可読記憶媒体にも記憶された命令を実行するよう構成されてよい。例えば、プロセッサ２０４は、マイクロプロセッサ、マイクロコントローラ、デジタル・シグナル・プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、あるいは、プログラム命令を解釈及び／又は実行するよう及び／又はデータを処理するよう構成されたあらゆる他のデジタル又はアナログ回路を含んでよい。図２では、単一のプロセッサとして表されているが、プロセッサ２０４は、本開示で記載されている電子デバイス１０２の動作をいくつでも個別的に又は集合的に実行するよう又はその実行を指示するよう構成されたプロセッサをいくつでも含んでよい。更に、プロセッサの１つ以上は、異なるサーバのような、１つ以上の異なる電子デバイスに存在してもよい。
【0043】
いくつかの実施形態で、プロセッサ２０４は、メモリ２０６及び／又は永続性データストレージ２０８に記憶されているプログラム命令を解釈及び／又は実行するよう及び／又は記憶されているデータを処理するよう構成されてよい。いくつかの実施形態で、プロセッサ２０４は、永続性データストレージ２０８からプログラム命令をフェッチし、プログラム命令をメモリ２０６にロードしてよい。プログラム命令がメモリ２０６にロードされた後、プロセッサ２０４はプログラム命令を実行してよい。プロセッサ２０４の例のいくつかは、ＧＰＵ、ＣＰＵ、ＲＩＳＣプロセッサ、ＡＳＩＣプロセッサ、ＣＩＳＣプロセッサ、コプロセッサ、及び／又はそれらの組み合わせであってよい。
【0044】
メモリ２０６は、プロセッサ２０４によって実行可能なプログラム命令を記憶するよう構成され得る適切なロジック、回路、インターフェース、及び／又はコードを含んでよい。特定の実施形態で、メモリ２０６は、オペレーティングシステム及び関連するアプリケーション特有情報を記憶するよう構成されてよい。メモリ２０６は、コンピュータ実行可能命令又はデータ構造を搬送又は記憶するためのコンピュータ可読記憶媒体を含んでもよい。そのようなコンピュータ可読記憶媒体は、プロセッサ２０４のような汎用又は専用コンピュータによってアクセスされ得る如何なる利用可能な媒体も含んでよい。例として、限定としてではなく、そのようなコンピュータ可読記憶媒体は、ランダム・アクセス・メモリ（ＲＡＭ）、リード・オンリー・メモリ（ＲＯＭ）、電気的消去可能なプログラム可能リード・オンリー・メモリ（ＥＥＰＲＯＭ）、コンパクトディスク型リード・オンリー・メモリ（ＣＤ－ＲＯＭ）若しくは他の光ディスクストレージ、磁気ディスクストレージ若しくは他の磁気記憶デバイス、フラッシュメモリデバイス（例えば、固体状態メモリデバイス）、あるいは、コンピュータ実行可能命令又はデータ構造の形で特定のプログラムコードを搬送又は記憶するために使用されてよくかつ汎用又は専用コンピュータによってアクセスされてよいあらゆる他の記憶媒体を含む有形な又は非一時的なコンピュータ可読記憶媒体を含んでよい。上記の組み合わせも、コンピュータ可読記録媒体の範囲内に含まれてよい。コンピュータ実行可能命令は、例えば、プロセッサ２０４に電子デバイス１０２に関連した特定の動作又は動作のグループを実行させるよう構成された命令及びデータを含んでよい。
【0045】
永続性データストレージ２０８は、プロセッサ２０４によって実行可能なプログラム命令、オペレーティングシステム、及び／又はログ及びアプリケーション特有データベースのようなアプリケーション特有情報を記憶するよう構成され得る適切なロジック、回路、及び／又はインターフェースを含んでよい。永続性データストレージ２０８は、コンピュータ実行可能命令又はデータ構造を搬送又は記憶するためのコンピュータ可読記憶媒体を含んでもよい。そのようなコンピュータ可読記録媒体は、プロセッサ２０４のような汎用又は専用コンピュータによってアクセスされ得る如何なる利用可能な媒体も含んでよい。
【0046】
例として、限定としてではなく、そのようなコンピュータ可読記憶媒体は、コンパクトディスク型リード・オンリー・メモリ（ＣＤ－ＲＯＭ）若しくは他の光ディスクストレージ、磁気ディスクストレージ若しくは他の磁気記憶デバイス（例えば、ハード・ディスク・ドライブ（ＨＤＤ））、フラッシュメモリデバイス（例えば、固体状態ドライブ（ＳＳＤ）、セキュア・デジタル（ＳＤ）カード、他の固体状態メモリデバイス）、あるいは、コンピュータ実行可能命令又はデータ構造の形で特定のプログラムコードを搬送又は記憶するために使用されてよくかつ汎用又は専用コンピュータによってアクセスされてよいあらゆる他の記憶媒体を含む有形な又は非一時的なコンピュータ可読記憶媒体を含んでよい。上記の組み合わせも、コンピュータ可読記録媒体の範囲内に含まれてよい。コンピュータ実行可能命令は、例えば、プロセッサ２０４に、電子デバイス１０２に関連した特定の動作又は動作のグループを実行させるよう構成された命令及びデータを含んでよい。
【0047】
いくつかの実施形態で、メモリ２０６若しくは永続性データストレージ２０８のどちらか一方、又はそれらの組み合わせは、分類器１０６及びＤＮＮ１０４をソフトウェア命令として記憶してもよい。プロセッサ２０４は、開示されている電子デバイス１０２の種々の動作を実行するよう、分類器１０６及びＤＮＮ１０４に関するソフトウェア命令をフェッチしてよい。いくつかの実施形態において、メモリ２０６若しくは永続性データストレージ２０８のどちらか一方、又はそれらの組み合わせは、第１データセット、第２データポイント、訓練／テストデータセット、第１の特徴スコアの組、予測された第１クラス、及び／又はセマンティッククラスの組にクラスタ化されたデータポイントの組を記憶してもよい。
【0048】
Ｉ／Ｏデバイス２１０は、ユーザ入力を受けるよう構成され得る適切なロジック、回路、インターフェース、及び／又はコードを含んでよい。Ｉ／Ｏデバイス２１０は、ユーザ入力に応答して出力を供給するよう更に構成されてもよい。例えば、Ｉ／Ｏデバイス２１０は、（例えば、ユーザインターフェースを通じて）コマンド、ボイス命令、又は手書きのテキストをユーザからのユーザ入力として受け取ってもよく、受け取られたユーザ入力は、ＤＮＮ１０４の訓練や分類器１０６の訓練を開始するために、又は訓練されたＤＮＮ１０４の予測結果に関するセマンティックフィードバック（すなわち、セマンティッククラスの組の中の１つのセマンティッククラス）を供給するために使用されてよい。Ｉ／Ｏデバイス２１０は、プロセッサ２０４及び他のコンポーネント、例えば、ネットワークインターフェース２１２と通信するよう構成され得る様々な入力デバイス及び出力デバイスを含んでよい。Ｉ／Ｏデバイス２１０は、入力デバイス又は出力デバイスを含んでもよい。入力デバイスの例には、タッチスクリーン（例えば、表示スクリーン２１０Ａ）、キーボード、マウス、ジョイスティック、及び／又はマイクロホンが含まれ得るが、これらに限られない。出力デバイスの例には、ディスプレイ（例えば、表示スクリーン２１２Ａ）及びスピーカが含まれ得るが、これらに限られない。
【0049】
表示スクリーン２１０Ａは、データポイントが分類器１０６によって分類され得るセマンティッククラスを表示するよう構成され得る適切なロジック、回路、インターフェース、及び／又はコードを有してよい。更に、表示スクリーン２１０Ａは、分類された１つのセマンティッククラスに関連したアクションをレンダリングするよう構成されてもよい。表示スクリーン２１０Ａは、ユーザ１１４からユーザ入力を受けるよう構成されてもよい。そのような場合に、表示スクリーン２１０Ａは、ユーザ入力を受けるタッチスクリーンであってもよい。表示スクリーン２１０Ａは、液晶表示（ＬＣＤ）ディスプレイ、発光ダイオード（ＬＥＤ）ディスプレイ、プラズマディスプレイ、及び／又は有機ＬＥＤ（ＯＬＥＤ）ディスプレイ技術、及び／又は他のディスプレイ技術のような、しかし、これらに限られないいくつかの既知の技術を通じて、実現されてよい。
【0050】
ネットワークインターフェース２１２は、通信ネットワーク１１２を介した、電子デバイス１０２と、データベース１０８と、ユーザエンドデバイス１１０との間の通信を確立するよう構成され得る適切なロジック、回路、インターフェース、及び／又はコードを有してよい。ネットワークインターフェース２１１は、通信ネットワーク１１２を介した電子デバイス１０２の有線又は無線通信を支援するために様々な既知の技術の使用によって実装されてよい。ネットワークインターフェース２１２は、アンテナ、無線周波数（ＲＦ）トランシーバ、１つ以上の増幅器、チューナ、１つ以上の発振器、デジタル・シグナル・プロセッサ、コーダ－デコーダ（ＣＯＤＥＣ）チップセット、加入者識別モジュール（ＳＩＭ）カード、及び／又はローカルバッファを含んでよいが、これらに限られない。
【0051】
ネットワークインターフェース２１２は、インターネット、イントラネット、及び／又は無線ネットワーク、例えば、セルラー電話ネットワーク、無線ローカル・エリア・ネットワーク（ＬＡＮ）、及び／又はメトロポリタン・エリア・ネットワーク（ＭＡＮ）などのネットワークと無線通信により通信し得る。無線通信は、ＧＳＭ（Global System for Mobile Communications）、ＥＤＧＥ（Enhanced Data GSM Environment）、Ｗ－ＣＤＭＡ（Wideband Code Division Multiple Access）、ＬＴＥ（Long Term Evolution）、ＣＤＭＡ（Code Division Multiple Access）、ＴＤＭＡ（Time Division Multiple Access）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ－Ｆｉ（Wireless Fidelity）（例えば、ＩＥＥＥ８０２．１１ａ、ＩＥＥＥ８０２．１１ｂ、ＩＥＥＥ８０２．１１ｇ、及び／又はＩＥＥＥ８０２．１１ｎ）、ＶｏＩＰ（Voice over Internet Protocol）、Ｌｉ－Ｆｉ（Light Fidelity）、又はＷｉ－ＭＡＸなどの複数の通信標準規格、プロトコル、及び技術のうちのいずれかを使用してよい。
【0052】
本開示の範囲から逸脱せずに、例となるシステム２０２に対して変更、追加、又は削除が行われてよい。例えば、いくつかの実施形態で、例となるシステム２０２は、簡潔さのために明示的に図示又は記載されていないことがある他のコンポーネントをいくつでも含んでもよい。例において、ＤＮＮ１０４及び分類器１０６は、図１に示されるように電子デバイス１０２に組み込まれてもよい。
【0053】
図３は、本開示で記載される少なくとも１つの実施形態に従って、意志決定のためのディープニューラルネットワーク（ＤＮＮ）予測に関するセマンティックフィードバックの提供のための方法の例のフローチャートである。図３は、図１及び図２からの要素とともに説明される。図３を参照して、フローチャート３００が示されている。フローチャート３００に表されている方法は３０２から開始してよく、図１の例となる電子デバイス１０２又は図２の例となるシステム２０２のような如何なる適切なシステム、装置、又はデバイスによっても実行されてよい。例えば、電子デバイス１０２又は予め訓練されたＤＮＮ１０４のうちの１つ以上は、方法３００に関連した動作の１つ以上を実行してよい。別個のブロックで表されているが、方法３００のブロックの１つ以上に関連したステップ及び動作は、特定の実施に応じて、更なるブロックに分割されても、より少ないブロックにまとめられても、又は削除されてもよい。
【0054】
ブロック３０２で、第１データセットが受け取られてよい。第１データセットは、実時間アプリケーションに関連してよい。第１データセットは、第１データポイントを含む複数のデータポイントを含んでよい。例えば、第１データポイントは、イメージ、オーディオ／スピーチサンプル、テキスト文字、ソフトウェア命令、又は例えば、電気生体信号、動きデータ、若しくはデプスデータのような、しかしこれらに限られない他の形式のデジタル信号を含んでよいが、これらに限られない。実時間アプリケーションの例には、イメージ認識アプリケーション、イメージ分類アプリケーション、スピーチ認識アプリケーション、テキスト認識アプリケーション、マルウェア検出アプリケーション、自律型車両アプリケーション、異常検出アプリケーション、機械翻訳アプリケーション、デジタル信号／データからのパターン認識アプリケーションを含み得るが、これらに限られない。
【0055】
いくつかの実施形態において、プロセッサ２０４は、メモリ２０６、永続性データストレージ２０８、又はデータベース１０８のいずれか又は組み合わせに記憶され得る第１データセット（例えば、イメージの組）を受け取るよう構成されてよい。第１データセットの第１データポイント（例えば、イメージ）は、特定のクラスラベルへの分類又は予測のために受け取られてよく、分類又は予測は、予め訓練されたＤＮＮ１０４によって実行されてよい。
【0056】
ブロック３０４で、受け取られた第１データセットの第１データポイントに関連した第１クラスが予測されてよい。予め訓練されたＤＮＮ１０４が、受け取られた第１データポイントに関連した第１クラスを予測するよう制御されてよい。１つ以上の実施形態において、プロセッサ２０４は、受け取られた第１データポイントについて第１クラスを予測するように、予め訓練されたＤＮＮ１０４を制御するよう構成されてよい。例えば、ＤＮＮ１０４がイメージ分類タスクのために予め訓練されており、第１データポイントがイメージである場合に、予め訓練されたＤＮＮ１０４は、イメージについて第１クラスを生物オブジェクト（例えば、動物、植物、又は人間）又は非生物オブジェクト（例えば、建物、車両、街路、標識記号、又はその他の対象）として予測してよい。万一、ＤＮＮ１０４へ入力されたイメージが犬のイメージである場合には、ＤＮＮ１０４は、犬ラベルへのイメージの分類を示し得る一意のクラスラベルを出力し得る。出力されたクラスラベルは、ＤＮＮ１０４の予測結果と見なされてよい。
【0057】
ＤＮＮ１０４は、ＤＮＮ１０４の生得的信頼スコアとしての第１信頼スコアを生成するよう構成されてよい。第１信頼スコアは、ＤＮＮ１０４の予測結果を示すよう確率値（例えば、０から１の間）を示し得る。言い換えると、ＤＮＮ１０４によって生成された第１信頼スコアは、受け取られた入力イメージ（又はデータポイント）についての第１クラス（すなわち、クラスラベル）の予測を示し得る。同様に、プロセッサ２０４は、受け取られた第１データセット内の各データポイントに関連した第１クラスを予測するよう、予め訓練されたＤＮＮ１０４を制御してよい。
【0058】
ブロック３０６で、第１の特徴スコアの組が、第１データポイントに関連した予測された第１クラスに基づき、第１データポイントについて決定されてよい。１つ以上の実施形態において、プロセッサ２０４は、第１データポイントに関連した予測された第１クラスに基づき、第１データポイントの第１の特徴スコアの組を決定するよう更に構成されてよい。第１の特徴スコアの組の例は、第１データポイントについての、尤度に基づいたサプライズアデクシー（ＬＳＡ）スコア、距離に基づいたサプライズアデクシー（ＤＳＡ）スコア、信頼スコア、ロジットスコア、又はロバスト性ダイバーシティスコアのうちの少なくとも１つの情報を含み得るが、これらに限られない。サプライズアデクシーに基づいたスコアの決定が次に記載される。例えば、Ｎ＝｛ｎ１，ｎ２，・・・｝を、ＤＮＮ１０４に関連したニューロンの組とし、Ｘ＝｛ｘ１，ｘ２，・・・｝を、受け取られた第１データセット内のデータポイントの組とする。データポイントｘ（例えば、第１データポイント）に関するニューロンｎの活性化値（activation value）は、αｎ（ｘ）と表され得る。活性化値のベクトルは、ニューロンの順序部分集合（すなわち、Ｎ⊆Ｎ）について、αＮ（ｘ）と表され得る。項αＮ（ｘ）は、ここでは、Ｎに含まれているニューロンにわたるｘ（すなわち、第１データポイント）の活性化トレース（Activation Trace，ＡＴ）と呼ばれる。同様に、データポイントＸの組（すなわち、受け取られた第１データセット）について、Ｎに含まれるニューロンにわたって観測され得る活性化トレースの組は、ＡＮ（Ｘ）＝｛αＮ（ｘ）｜ｘ∈Ｘ｝と表され得る。ＤＮＮ１０４の訓練データセット（例えば、データセットＴ）については、プロセッサ２０４は、訓練データセットＴに含まれる各データポイントについて、Ｎに含まれる全てのニューロンにわたる活性化トレースの組を決定し得る。訓練データセットについてのそのような決定された活性化トレースの組は、ＡＮ（Ｔ）によって表され得る。新しいデータポイントｘ（例えば、第１データポイント）については、プロセッサ２０４は、その新しいデータポイントｘ（すなわち、第１データポイント）についてのαｎ（ｘ）と訓練データセットＴについてのＡＮ（Ｔ）との比較に基づき、訓練データセット（すなわち、データセットＴ）に対する新しいデータポイントｘ（すなわち、第１データポイント）に関連したサプライズの程度（degree of surprise）を決定し得る。サプライズの程度は、ここでは、サプライズアデクシースコアと呼ばれる。本開示で、訓練データセットは、第１データセットそれ自体に対応してよく、第１データポイントはその一部であってよい。このようにして、プロセッサ２０４は、第１データポイントについてのαｎ（ｘ）と第１データセットについてのＡＮ（Ｘ）との比較に基づき、第１データセット（Ｘ（ｘ∈Ｘ）と表され得る。）に対する第１データポイント（ｘと表され得る。）のサプライズアデクシースコアを決定し得る。
【0059】
尤度に基づいたサプライズアデクシー（ＬＳＡ）スコアは、第１データポイントが第１データセットによる分布内にあるかどうかを示し得る。例において、ＬＳＡスコアは、推定された確率密度関数がランダム変数の特定の値の相対尤度の推定を可能にし得るように、ランダム変数の確率密度関数を推定し得るカーネル密度推定（Kernel Density Estimation，ＫＤＥ）技術に基づいて、決定され得る。例えば、ＫＤＥ技術は、ＡＮ（Ｘ）内の各活性化値の確率密度の推定と、推定された確率密度に対する第１データポイントのサプライズの程度（すなわち、サプライズアデクシースコア）の決定とによって、第１データポイントに関連したＬＳＡスコアを決定するために使用されてよい。
【0060】
距離に基づいたサプライズアデクシー（ＤＳＡ）スコアは、第１データポイントが、ＤＮＮ１０４に関連したハイパースペースにおいて、予測された第１クラスに隣接する他のクラスよりも、予測された第１クラスに近いかどうかを示し得る。例えば、第１データポイントに関連したＤＳＡスコアは、活性化トレース（ＡＴ）間の距離に基づいて、サプライズの程度（すなわち、サプライズアデクシースコア）として決定されてよい。第１データポイントに関連したＤＳＡスコアは、第１データポイントの活性化トレース（ＡＴ）と、第１データセット内の各データポイントに関連した活性化トレース（ＡＴ）との間のユークリッド距離に基づいて、決定されてもよい。例として、Ｃを、ＤＮＮ１０４に関連したクラスの組を表すとし、ＡＮ（Ｘ）を、第１データセットに関連した活性化トレースの組を表すとし、ｘを、第１データポイントを表すとし、ｃｘ（ただし、ｃｘ∈Ｃ）を、第１データポイントｘに関連した予測された第１クラスを表すとする。プロセッサ２０４は、第１データセット内の参照データポイント（例えば、ｘａ）を決定してよい。参照データポイントは、第１データポイント（すなわち、ｘ）の最近傍であってよく、かつ、同じ第１クラスｃｘに関連してよい。ここで、参照データポイント（すなわち、ｘａ）の活性化トレース（例えば、αＮ（ｘａ））は、第１クラス（すなわち、ｃｘ）に関連し得る第１データセット内の他のデータポイントよりも、第１データポイント（すなわち、ｘ）の活性化トレース（例えば、αＮ（ｘ））に最も近いユークリッド距離を有してよい。参照データポイント（すなわち、ｘａ）の活性化トレース（例えば、αＮ（ｘａ））と第１データポイント（すなわち、ｘ）の活性化トレース（例えば、αＮ（ｘ））との間のユークリッド距離は、ｄｉｓｔａによって表され得るとする。プロセッサ２０４は、参照データポイント（すなわち、ｘａ）の最近傍であってよくかつ第１クラス（すなわち、ｃｘ）以外のクラスに関連してよいデータポイント（例えば、ｘｂ）を更に決定してもよい。プロセッサ２０４は、参照データポイント（すなわち、ｘａ）の活性化トレース（例えば、αＮ（ｘａ））とデータポイントｘｂの活性化トレース（例えば、αＮ（ｘｂ））との間のユークリッド距離（例えば、ｄｉｓｔｂ）を決定してもよい。例において、プロセッサ２０４は、ｄｉｓｔａとｄｉｓｔｂとの比、つまり、ｄｉｓｔａ／ｄｉｓｔｂに基づき、第１データポイントに関連したＤＳＡスコアを決定してよい。
【0061】
信頼スコアは、第１データポイントに関連した第１クラスの予測についてのＤＮＮ１０４の確率スコアに対応してよい。言い換えると、信頼スコアは、第１データポイントについてＤＮＮ１０４によって予測された第１クラスが正しいとＤＮＮ１０４によって決定される確率であってよい。ロジットスコアは、第１データポイントに関連した第１クラスの予測についてのＤＮＮ１０４のｐｒｅ－ｓｏｆｔｍａｘレイヤからのスコアに対応してよい。ロジットスコアは、ｐｒｅ－ｓｏｆｔｍａｘレイヤから取得され得るＤＮＮ１０４の予測出力に関連した非正規化スコアであってよい。第１データポイントに関連した第１クラスについてのより高いロジットスコアは、第１データポイントについてのＤＮＮ１０４の予測が正しいことを示し得る。
【0062】
ロバスト性ダイバーシティスコアは、第１データポイントに対応する１つ以上のバリエーションについてのＤＮＮ１０４による予測の安定性の程度を示し得る。実施形態において、プロセッサ２０４は、第１データポイントに対する１つ以上の変形の適用に基づいて、第１データポイントのバリエーションの組を決定してよい。ロバスト性ダイバーシティスコアは、バリエーションの組に含まれるバリエーションの総数に対する、ＤＮＮ１０４によって正確に予測され得るバリエーションの数の比に基づいて、決定されてよい。例えば、第１データポイントが猫のイメージである場合に、プロセッサ２０４は、第１データポイントに対する１つ以上の回転変形の適用に基づいて、バリエーションの組を決定してもよい。１つ以上の回転変形の適用によって、猫が異なる角度で回転され得る１つ以上の第１イメージが取得され得る。同様に、プロセッサ２０４は、１つ以上の第２イメージ及び／又は１つ以上の第３イメージを夫々取得するよう、第１データポイントに対して１つ以上の並行移動変形及び／又は１つ以上のスケーリング変形を適用してもよい。第１データポイントのバリエーションの組は、１つ以上の第１イメージ、１つ以上の第２イメージ、及び１つ以上の第３イメージの集合として取得され得る。同様に、プロセッサ２０４は、第１データセットの第１データポイントについての異なるデータポイントを決定するよう、ズーム変化、輝度変化、コントラスト変化、色変化、フリップ変化、シャープネス変化、又はせん断変化といった種々のバリエーションを決定してもよい。実施形態において、プロセッサ２０４は、第１データポイントのバリエーションの組の夫々に関連したクラスを予測するようＤＮＮ１０４を更に制御してよい。その後に、プロセッサ２０４は、バリエーションの組の中のバリエーションの総数に対する、第１クラスが正確に予測されるバリエーションの数の比を決定してよい。ロバスト性ダイバーシティスコアは、バリエーションの組の中のバリエーションの総数に対する正確に予測されたバリエーション（すなわち、第１クラスがＤＮＮ１０４によって正しく予測されるバリエーション）の比に基づいて、決定され得る。このようにして、比に基づいて、ロバスト性ダイバーシティスコアは、第１データポイントに適用された種々の変形についてのＤＮＮ１０４による予測の安定性の程度を示し得る。同様に、プロセッサ２０４は、第１データセット内の各データポイントについて第１の特徴スコアの組（すなわち、ＬＳＡスコア、ＤＳＡスコア、信頼スコア、ロジットスコア、及びロバスト性ダイバーシティスコア）を決定するよう構成されてよい。
【0063】
ブロック３０８で、ＤＮＮ１０４に関連した混同クラスペアの組が、予測された第１クラスと、第１データポイントに関連した所定のクラスとに基づき、識別されてよい。１つ以上の実施形態において、プロセッサ２０４は、予測された第１クラスと、第１データポイントに関連した所定のクラスとに基づき、ＤＮＮ１０４に関連した混同クラスペアの組を識別するよう構成されてよい。所定のクラスは、第１データポイントのグラウンドトゥルース又は期待されるクラスに対応してよい。同様に、電子デバイス１０２は、第１データセット内の各データポイントについて混同クラスペアの組を識別するよう構成されてもよい。データポイントについての混同クラスペアの組の識別は、例えば、図５で、更に記載される。
【0064】
ブロック３１０で、受け取られた第１データセットが、受け取られた第１データセット内の各データポイントについての決定された第１の特徴スコアの組、予測された第１クラス、及び識別された混同クラスペアの組に基づき、セマンティッククラスの組の中の１つのセマンティッククラスにクラスタ化されてよい。セマンティッククラスの組の各セマンティッククラスは、セマンティッククラスの組の中の対応するセマンティッククラスにクラスタ化されたデータポイントの組に関連した予測精度を示し得る。セマンティッククラスの組に関連した予測精度は、例えば、図６Ａ、図６Ｂ、及び図７で、更に記載される。１つ以上の実施形態において、プロセッサ２０４は、受け取られた第１データセット内の各データポイントについての決定された第１の特徴スコアの組、予測された第１クラス、及び識別された混同クラスペアの組に基づき、受け取られた第１データセットをセマンティッククラスの組の中の１つのセマンティッククラスにクラスタ化するよう構成されてよい。セマンティッククラスの組の例は、正しい可能性のある（又は確実に正しい）セマンティッククラス、２つのうちの１つのセマンティッククラス、正しくない可能性のあるセマンティッククラス、又は知らないセマンティッククラス、のうちの少なくとも１つを含み得るが、これらに限られない。セマンティッククラスの組の中の１つのセマンティッククラスへの受け取られた第１データセットのクラスタ化は、例えば、図６Ａ、図６Ｂ、及び図７で、更に記載される。
【0065】
ブロック３１２で、分類器１０６が、クラスタ化された第１データセット、決定された第１の特徴スコアの組、及びセマンティッククラスの組に基づき、訓練されてよい。１つ以上の実施形態において、プロセッサ２０４は、クラスタ化された第１データセット、決定された第１の特徴スコアの組、及びセマンティッククラスの組に基づき、分類器（例えば、分類器１０６又はメタ分類器）の訓練を制御するよう構成されてよい。分類器１０６の例には、決定木分類器、サポートベクトルマシン（ＳＶＭ）分類器、単純ベイス分類器、ロジスティック回帰分類器、Ｋ近傍（Ｋ－ＮＮ）分類器が含まれ得るが、これらに限られない。例において、分類器１０６は、Ｋ＝５個の最近傍によるＫ－ＮＮ分類器として構築及び訓練されてよい。例として、サイキット・ラーン（Scikit-Learn）ライブラリが、Ｋ－ＮＮ分類器を構築及び訓練するために使用されてもよい。Ｋ－ＮＮ分類器（例えば、分類器１０６）の訓練に基づき、Ｋ－ＮＮ分類器は、ＤＮＮ１０４に関連した混同クラスペアの組を出力し得る。
【0066】
実施形態において、プロセッサ２０４は、第１データセット内の各データポイントに関連した第１の特徴スコアの組と、第１データセット内の各データポイントがクラスタ化され得るセマンティッククラスの組の中のセマンティッククラスとの間の関係に基づき、分類器１０６の訓練を制御してよい。例において、正しい可能性のある（likely-correct）セマンティッククラスは、訓練データ（すなわち、第１データセット）による分布内にあり得るデータポイントを含むセマンティッククラスであってよい。更に、正しい可能性のあるセマンティッククラスでは、関連するデータポイントについてのＤＮＮ１０４による予測に関連した信頼度（confidence）が高く、そのようなデータポイントについての予測は混同しない可能性が高い。その上、そのようなデータポイントについてのＤＮＮ１０４による予測は、正しい可能性のあるセマンティッククラスにクラスタ化されたデータポイントのばらつきに対してロバストであることができる。他の例では、２つのうちの１つの（one-of-two）セマンティッククラスは、クラスタ化されたデータポイントについてのＤＮＮ１０４による予測が、同様の信頼度を有する２つの等しくありそうなクラスを有し得るような、クラスタ化されたデータポイントを含むセマンティッククラスであってよい。更に、そのようなデータポイントについてのＤＮＮ１０４による予測は、ロバストでなくてもよい。更なる他の例では、正しくない可能性のある（likely-incorrect）セマンティッククラスは、訓練データ（すなわち、第１データセット）による分布から大きく外れている可能性があるクラスタ化されたデータポイントを含むセマンティッククラスであってよい。更に、そのようなデータポイントについてのＤＮＮ１０４による予測に関連した信頼度は低くなる。その上、そのようなデータポイントについてのＤＮＮ１０４による予測は、正しくない可能性のあるセマンティッククラスにクラスタ化されたデータポイントのばらつきに対してロバストであり得ない。他の例では、知らない（do-not-know）セマンティッククラスは、正しい可能性のあるセマンティッククラス、２つのうちの１つのセマンティッククラス、及び正しくない可能性のあるセマンティッククラスへの第１データセットのクラスタ化の後に残る可能性がある第１データセットの中のデータポイントを含み得るセマンティッククラスであってよい。セマンティッククラスの組の中の１つのセマンティッククラスへのデータポイント（すなわち、予め訓練されたＤＮＮ（例えば、ＤＮＮ１０４）への入力）の分類のための分類器（例えば、分類器１０６）の訓練は、例えば、図６Ａ、図６Ｂ、及び図７で、更に記載される。制御は終了に移ってよい。
【0067】
フローチャート３００は、３０２、３０４、３０６、３０８、３１０、及び３１２などの別個の動作として表されているが、特定の実施形態では、このような別個の動作は、開示されている実施形態の本質から外れずに、特定の実施に応じて、追加の動作に分けられても、より少ない動作にまとめられても、あるいは、削除されてもよい。
【0068】
図４は、本開示で記載される少なくとも１つの実施形態に従って、予め訓練された分類器に基づいてディープニューラルネットワーク（ＤＮＮ）の予測結果に関するセマンティックフィードバックを提供するための方法の例のフローチャートである。図４は、図１、図２、及び図３からの要素とともに説明される。図４を参照して、フローチャート４００が示されている。フローチャート４００に表されている方法は４０２から開始してよく、図１の例となる電子デバイス１０２又は図２の例となるシステム２０２のような如何なる適切なシステム、装置、又はデバイスによっても実行されてよい。例えば、電子デバイス１０２又は分類器（例えば、分類器１０６）のうちの１つ以上は、方法４００に関連した動作の１つ以上を実行してよい。別個のブロックで表されているが、方法４００のブロックの１つ以上に関連したステップ及び動作は、特定の実施に応じて、更なるブロックに分割されても、より少ないブロックにまとめられても、又は削除されてもよい。
【0069】
ブロック４０２で、第２データポイントが受け取られてよい。第２データポイントは、実時間アプリケーションに関連してよい。例えば、第２データポイントは、イメージ、オーディオ／スピーチサンプル、テキスト文字、ソフトウェア命令、又は例えば、電気生体信号、動きデータ、若しくはデプスデータなどの、しかしこれらに限られない他の形式のデジタル信号を含み得るが、これらに限られない。実時間アプリケーションの例には、イメージ認識アプリケーション、イメージ分類アプリケーション、スピーチ認識アプリケーション、テキスト認識アプリケーション、マルウェア検出アプリケーション、自律型車両アプリケーション、異常検出アプリケーション、機械翻訳アプリケーション、デジタル信号／データからのパターン認識アプリケーションを含み得るが、これらに限られない。
【0070】
いくつかの実施形態において、プロセッサ２０４は、メモリ２０６、永続性データストレージ２０８、又はデータベース１０８のいずれか又は組み合わせに記憶され得る第２データポイント（例えば、イメージ）を受け取るよう構成されてよい。第２データポイント（例えば、イメージ）は、特定のクラスラベルへの分類又は予測のために受け取られてよく、分類又は予測は、予め訓練されたＤＮＮ１０４によって実行されてよい。実施形態において、第２データポイントは、訓練されたＤＮＮ１０４の訓練データセット（すなわち、第１データセット）に含まれていなくてもよい新しいデータポイントであってもよい。
【0071】
ブロック４０４で、受け取られた第２データポイントに関連した第２クラスが予測されてよい。予め訓練されたＤＮＮ１０４は、受け取られた第２データポイントに関連した第２クラスを予測するよう制御されてよい。１つ以上の実施形態において、プロセッサ２０４は、受け取られた第２データポイントについて第２クラスを予測するように、予め訓練されたＤＮＮ１０４を制御するよう構成されてよい。例えば、ＤＮＮ１０４がイメージ分類タスクのために予め訓練されており、第１データポイントがイメージである場合に、予め訓練されたＤＮＮ１０４は、イメージについて第２クラスを生物オブジェクト（例えば、動物、植物、又は人間）又は非生物オブジェクト（例えば、建物、車両、街路、標識記号、又はその他の対象）として予測してよい。万一、ＤＮＮ１０４へ入力されたイメージが犬のイメージである場合には、ＤＮＮ１０４は、犬ラベルへのイメージの分類を示し得る一意のクラスラベルを出力し得る。出力されたクラスラベルは、ＤＮＮ１０４の予測結果と見なされてよい。ＤＮＮ１０４は、ＤＮＮ１０４の生得的信頼スコアとしての第２信頼スコアを生成するよう構成されてよい。第２信頼スコアは、ＤＮＮ１０４の予測結果を示すよう確率値（例えば、０から１の間）を示し得る。言い換えると、ＤＮＮ１０４によって生成された第２信頼スコアは、受け取られた入力イメージ（又はデータポイント）についての第２クラス（すなわち、クラスラベル）の予測を示し得る。
【0072】
ブロック４０６で、第２の特徴スコアの組が、第２データポイントに関連した予測された第２クラスに基づき、第２データポイントについて決定されてよい。１つ以上の実施形態において、プロセッサ２０４は、第２データポイントに関連した予測された第２クラスに基づき、第２データポイントの第２の特徴スコアの組を決定するよう構成されてよい。第２の特徴スコアの組の例は、第２データポイントについての、尤度に基づいたサプライズアデクシー（ＬＳＡ）スコア、距離に基づいたサプライズアデクシー（ＤＳＡ）スコア、信頼スコア、ロジットスコア、又はロバスト性ダイバーシティスコアのうちの少なくとも１つの情報を含み得るが、これらに限られない。第２の特徴スコアの組の決定は、例えば、図３（ブロック３０６）で更に記載されている第１の特徴スコアの組の決定と同様であってよい。
【0073】
ブロック４０８で、予め訓練された分類器（例えば、分類器１０６）が、決定された第２の特徴スコアの組と、第２のデータポイントについての予測された第２クラスとに基づき、受け取られた第２データポイントに適用されてよい。分類器１０６（又はメタ分類器）は、セマンティッククラスの組の中の１つのセマンティッククラスへデータポイントを分類するよう予め訓練されてよい。ここで、セマンティッククラスの組の各セマンティッククラスは、セマンティッククラスの組の中の対応するセマンティッククラスにクラスタ化されたデータポイントの組に関連した予測精度を示し得る。セマンティッククラスの組に関連した予測精度は、例えば、図６Ａ、図６Ｂ、及び図７で、更に記載される。１つ以上の実施形態において、プロセッサ２０４は、決定された第２の特徴スコアの組と、第２データポイントについての予測された第２クラスとに基づき、受け取られた第２データポイントに分類器１０６（すなわち、図３のブロック３１２で並びに図６Ａ、６Ｂ、及び７で訓練された分類器）を適用するよう構成されてよい。例えば、予め訓練されたＫ－ＮＮ分類器が、決定された第２の特徴スコアの組と、第２データポイントについての予測された第２クラスとに基づき、第２データポイントに適用されてよい。例において、Ｋ－ＮＮ分類器は、Ｎ＝５の最近傍分類器であってよい。
【0074】
ブロック４１０で、第２データポイントが、第２データポイントに対する予め訓練された分類器（例えば、分類器１０６）の適用に基づき、セマンティッククラスの組の中の１つのセマンティッククラスに分類されてよい。１つ以上の実施形態において、プロセッサ２０４は、第２データポイントに対する予め訓練された分類器１０６の適用に基づき、セマンティッククラスの組の中の１つのセマンティッククラスに第２データポイントを分類するよう構成されてよい。セマンティッククラスの組の例は、正しい可能性のあるセマンティッククラス、２つのうちの１つのセマンティッククラス、正しくない可能性のあるセマンティッククラス、又は知らないセマンティッククラス、のうちの少なくとも１つを含み得るが、これらに限られない。予め訓練された分類器１０６はまた、第２データポイントが２つのうちの１つのセマンティッククラスに分類される場合に、第２クラスに関連した混同クラスペアを出力してもよい。セマンティッククラスの組の各セマンティッククラスは、ＤＮＮ１０４によって供給された信頼スコア又は予測スコアと比較して、エンドユーザ（例えば、ユーザ１１４）によって容易に理解可能又は解釈可能であることができる。セマンティッククラスの組は、エンドユーザが、更なるアクションにおいてＤＮＮ１０４の出力を使用する又は使用しない方法に関して、より情報に基づく決定を行うことを可能にし得る。
【0075】
ブロック４１２で、セマンティッククラスの組の中の、第２データポイントについての分類された１つのセマンティッククラスに関連した少なくとも１つのアクションが、決定されてよい。１つ以上の実施形態において、プロセッサ２０４は、セマンティッククラスの組の中の、第２データポイントについての分類された１つのセマンティッククラスに関連した少なくとも１つのアクションを決定するよう構成されてよい。例えば、第２データポイントが正しい可能性のあるセマンティッククラスに分類される場合に、プロセッサ２０４は、ユーザ１１４によって又はユーザエンドデバイス１１０によって、高い信頼度で、クラスラベル（すなわち、第２データポイントについてのＤＮＮ１０４による出力）をそのまま確実に使用するように、アクションを決定してもよい。他の例では、第２データポイントが正しくない可能性のあるセマンティッククラスに分類される場合に、プロセッサ２０４は、第２データポイントについてＤＮＮ１０４によって出力されたクラスラベルの拒絶としてアクションを決定してもよく、更には、第２データポイントの予測のための決定を行うためにユーザ１１４による人間の判断を用いることを提案してもよい。更に、第２データポイントのセマンティッククラスが２つのうちの１つのセマンティッククラスと決定される場合に、プロセッサ２０４は、ユーザ１１４によるタイブレーク（tie-breaker）ソリューションの使用としてアクションを決定してもよい。タイブレークソリューションは、手動による又は自動化されたソリューションであってよい。例えば、自動化されたソリューションは、ＤＮＮ１０４によって予測された第２クラスに関連した混同クラスペアに基づき第２データポイントの正確なクラスを具体的に予測するためのローカル分類器の訓練及び使用を含んでよい。ローカル分類器は、混同クラスペアに含まれ得るクラスを正確に予測するためにのみ訓練され得る。例えば、ＤＮＮ１０４は、手書きの番号を含む入力イメージ（すなわち、第２データポイント）に基づき数字（“０”から“９”）を予測するよう訓練されている場合を考える。そのような場合に、数字“１”及び“７”のクラスラベルは、混同クラスペアと見なされて、ＤＮＮ１０４によって及び／又は分類器１０６によって２つのうちの１つのセマンティッククラスにクラスタ化される可能性がある。よって、タイブレークソリューションは、ユーザエンドデバイス１１０又はユーザ１１４によるより良い予測及び意志決定のために“１”及び“７”の数字イメージを正確に分類するためにのみ訓練されている別個の又はローカルの分類器を使用するアクションを提案し得る。更に、第２データポイントのセマンティッククラスが知らないセマンティッククラスと決定される場合に、プロセッサ２０４は、ユーザ１１４による多数決（majority-vote）ソリューションの使用としてアクションを決定してもよい。多数決ソリューションは、手動による又は自動化されたソリューションであってよい。例えば、自動化されたソリューションは、実時間アプリケーションの分類タスクのために複数のＤＮＮを訓練及び使用することを含んでよい。第２データポイントは、各ＤＮＮへ供給されてよく、それらのＤＮＮの予測結果は比較されてよい。ＤＮＮの大多数によって予測されたクラスラベルが、多数決ソリューションに従って、第２データポイントのクラスラベルとして選択され得る。
【0076】
ブロック４１４で、決定された少なくとも１つのアクションがレンダリングされてよい。１つ以上の実施形態において、プロセッサ２０４は、決定された少なくとも１つのアクションをレンダリングするよう構成されてよい。例において、プロセッサ２０４は、第２データポイントに関連した決定されたアクション、予測された第２クラス、及び／又は決定されたセマンティッククラスを出力情報としてレンダリングしてもよい。実施形態において、出力情報は、表示スクリーン２１０Ａでの決定されたアクション、予測された第２クラス、及び／又は決定されたセマンティッククラスの表示、ログファイルにおける決定されたアクション、予測された第２クラス、及び／又は決定されたセマンティッククラスの記憶、あるいは、決定されたアクション、予測された第２クラス、及び／又は決定されたセマンティッククラスに基づいた通知／警報に対応し得るが、これらに限られない。例えば、ユーザエンドデバイス１１０（又は電子デバイス１０２）は、第２データポイントに関連した決定されたアクション、予測された第２クラス、及び／又は決定されたセマンティッククラスを表示してよい。他の例では、ユーザエンドデバイス１１０（又は電子デバイス１０２）は、第２データポイントに関連した決定されたアクション、予測された第２クラス、及び／又は決定されたセマンティッククラスをメモリ（例えば、メモリ２０６）内のログファイルに記憶してもよい。例えば、ログファイルは、実時間動作で（例えば、自律型車両において）ＤＮＮ１０４の精度を決定するために、何回ＤＮＮ１０４が正確に予測したか（しなかったか）を示し得る。あるシナリオでは、決定されたアクション及び／又は決定されたセマンティッククラスは、決定されたセマンティッククラスに基づいた予測された第２クラスとともにログファイルに記憶されてもよい。例えば、決定されたアクション、予測された第２クラス、及び／又は決定されたセマンティッククラスは、セマンティッククラスが正しい可能性のあるセマンティッククラス以外である場合に、ログファイルに記憶され得る。他の例では、出力情報は、決定されたアクション、予測された第２クラス、及び／又は決定されたセマンティッククラスに基づき、ユーザエンドデバイス１１０（又は電子デバイス１０２）のユーザへの通知（例えば、警告又は警報）として示されてもよい。例えば、ユーザエンドデバイス１１０が自律型車両であって、セマンティッククラスが２つのうちの１つのセマンティッククラス、正しくない可能性のあるセマンティッククラス、又は知らないセマンティッククラスのうちの１つである場合に、ユーザエンドデバイス１１０（すなわち、自律型車両）は、ユーザ（例えば、自律型車両の乗客）に通知してもよい。通知は、ユーザエンドデバイス１１０にデプロイされているＤＮＮ１０４によって実行された第２クラスの予測が誤っている可能性があること（例えば、障害物である可能性がある対象の誤った分類又は誤った識別）により、ユーザが自律型車両の制御を行うための警告又は警報を含んでよい。いくつかの実施形態において、電子デバイス１０２によって生成された出力情報は、例えば、ＤＮＮ１０４の誤った予測が、正しい可能性のあるセマンティッククラス以外であり得る（第２データポイントについて）セマンティッククラスとして分類器１０６によって検出される場合に、とられるべき特定の自動アクションに対応してよい。例えば、受け取られた第２データポイントについてＤＮＮ１０４によって行われた誤分類又は誤った予測が自律型車両において検出される場合に、ユーザエンドデバイス１１０又は電子デバイス１０２は、自律型車両のブレーキ、ステアリング制御、又は十分な減速を自動適用するよう出力情報を生成してもよい。制御は終了に移ってよい。
【0077】
フローチャート４００は、４０２、４０４、４０６、４０８、４１０、４１２、及び４１４などの別個の動作として表されているが、特定の実施形態では、このような別個の動作は、開示されている実施形態の本質から外れずに、特定の実施に応じて、追加の動作に分けられても、より少ない動作にまとめられても、あるいは、削除されてもよい。
【0078】
図５は、本開示で記載される少なくとも１つの実施形態に従って、ディープニューラルネットワーク（ＤＮＮ）に関連した混同クラスペアの組の識別のための方法の例のフローチャートである。図５は、図１、図２、図３、及び図４からの要素とともに説明される。図５を参照して、フローチャート５００が示されている。フローチャート５００に表されている方法は５０２から開始してよく、図１の例となる電子デバイス１０２又は図２の例となるシステム２０２のような如何なる適切なシステム、装置、又はデバイスによっても実行されてよい。別個のブロックで表されているが、方法５００のブロックの１つ以上に関連したステップ及び動作は、特定の実施に応じて、更なるブロックに分割されても、より少ないブロックにまとめられても、又は削除されてもよい。
【0079】
ブロック５０２で、第１データポイントに関連した所定のクラスが、第１データポイントに関連した予測された第１クラスと比較されてよい。１つ以上の実施形態において、プロセッサ２０４は、第１データポイントに関連した所定のクラスを、第１データポイントに関連した予測された第１クラスと比較するよう構成されてよい。第１クラスの予測は、例えば、図３のブロック３０４で、記載されている。例えば、プロセッサ２０４は、第１データポイントの予め決定された又は予め定義されたクラスのクラスラベル（例えば、犬クラスラベル）を、予測された第１クラスのクラスラベル（例えば、猫クラスラベル）と比較し、更には、比較に基づいて、予め決定されたクラスが予測された第１クラスと異なることを決定してよい。言い換えると、プロセッサ２０４は、期待された又はグラウンドトゥルースクラス（つまり、所定のクラス）を、ＤＮＮ１０４によって予測された第１データポイントの実際のクラスと比較し得る。
【0080】
ブロック５０４で、比較に基づいて、第１クラスペアに関連した誤分類の第１インスタンスが、識別されてよい。第１クラスペアは、第１データポイントに関連した予測された第１クラスと、第１データポイントに関連した所定のクラスとを含んでよい。１つ以上の実施形態において、プロセッサ２０４は、予測された第１クラス及び所定のクラスを含む第１クラスペアに関連した誤分類の第１インスタンスを識別するよう構成されてよい。例えば、第１データポイントに関連した予測された第１クラスが猫クラスであり、第１データポイントに関連した所定のクラスが犬クラスである場合に、プロセッサ２０４は、第１データポイントが誤分類されていることを決定し得る。そのような場合に、第１データポイントについての第１クラスペアに関連した誤分類の第１インスタンスが識別され得る。ここで、第１クラスペアは、第１データポイントについての猫クラス（すなわち、予測された第１クラス）及び犬クラス（すなわち、所定のクラス）を含み得る。
【0081】
ブロック５０６で、第１クラスペアに関連した誤分類のインスタンスのカウントが、識別された誤分類の第１インスタンスに基づき、決定されてよい。１つ以上の実施形態において、プロセッサ２０４は、識別された誤分類の第１インスタンスに基づいて、第１クラスペアに関連した誤分類のインスタンスのカウントを決定するよう構成されてよい。ＤＮＮ１０４による第１データポイントに関連した第１クラスの予測と同様に、プロセッサ２０４は、受け取られた第１データセット内の各データポイントに関連した第１クラスを予測するようＤＮＮ１０４を制御してよい（図３のブロック３０４を参照。）。ブロック５０２で記載されている比較と同様に、プロセッサ２０４は、受け取られた第１データセット内の各データポイントに関連した予測された第１クラスを、受け取られた第１データセット内の対応するデータポイントに関連した所定のクラスと比較してよい。更に、第１データポイントについての第１クラスペアに関連した誤分類の第１インスタンスの識別（ブロック５０４を参照。）と同様に、プロセッサ２０４は、第１データセット内の全てのデータポイントについての第１クラスペア（例えば、犬クラスと猫クラス）又は他のクラスペアに関連した誤分類の他のインスタンスを識別してもよい。プロセッサ２０４は、対応するクラスペアが第１データセット内の特定のデータポイントの誤分類に基づき識別されるときにはいつでも、異なるクラスペアについての誤分類のインスタンスのカウントを増やしてよい。プロセッサ２０４は更に、第１データポイントについての誤分類の第１インスタンス及び第１データポイント以外の第１データセット内のデータポイントについての誤分類の他のインスタンスの識別に基づき、第１クラスペア（例えば、犬クラスと猫クラス）又は他のクラスペア（例えば、ＤＮＮ１０４が訓練され得る所定の又は予測されたクラスを含む。）に関連した誤分類のインスタンスのカウントを決定してもよい。実施形態において、プロセッサ２０４は、第１データセット内の異なる誤分類又は誤って予測されたデータポイントについて識別された全ての異なるクラスペア（すなわち、所定のクラスと予測されたクラスとの異なるペアを含む。）を混同クラスペアの組に含めてもよい。
【0082】
ブロック５０８で、第１クラスペアが、第１クラスペアについての誤分類のインスタンスのカウントと、閾値とに基づき、混同クラスペアの組の中の混同クラスペアとして識別されてよい。１つ以上の実施形態において、プロセッサ２０４は、第１クラスペアについての誤分類のインスタンスのカウントと、閾値とに基づき、第１クラスペアを混同クラスペアの組の中の混同クラスペアとして識別するよう構成されてよい。例えば、閾値が１００であり、異なるデータポイントについての第１クラスペア（例えば、犬クラスと猫クラス）に関連した誤分類のインスタンスのカウントが１２０である場合に、第１クラスペアについての誤分類のインスタンスのカウントが閾値よりも多いということで、第１クラスペアは、混同クラスペアの組の中の混同クラスペアとして識別され得る。ある実施形態では、プロセッサ２０４は、降順で、各クラスペアの誤分類のインスタンスのカウントに基づき、クラスペア（第１クラスペアを含む。）の組をソートするよう構成されてよい。更に、プロセッサ２０４は、混同クラスペアの組の中の全ての異なるクラスペアを選択するのではなく、ソートされた順序における最初のＮ個のクラスペア（すなわち、上位Ｎ個のクラスペア）を混同クラスペアの組として選択又は識別するよう構成されてもよい。その上、プロセッサ２０４はまた、閾値に基づき、混同クラスペアとして、クラスペアの組から１つ以上のクラスペアを選択してもよい。例えば、予め定義された閾値よりも高い誤分類のインスタンスの対応するカウントを有している全てのクラスペアが、ＤＮＮ１０４によって予測された第１データセットについての最も混同するクラスペア（すなわち、識別された混同クラスペアの組）として見なされ得る。例えば、第１データセットの各データポイントの予測に基づいて、犬クラスと猫クラスとを含むクラスペアは、第１データセットの予測において識別された他のクラスペアと比べて誤分類の可能性が最も高い。他の例では、数字“１”のクラスラベル及び数字“７”のクラスラベルを含むクラスペアは、数字“１”及び“７”の両方が手書きのデータポイントについて類似した特徴を有している可能性があるということで、データセットについて誤分類される可能性が最も高い。制御は終了に移ってよい。
【0083】
フローチャート５００は、５０２、５０４、５０６、及び５０８などの別個の動作として表されているが、特定の実施形態では、このような別個の動作は、開示されている実施形態の本質から外れずに、特定の実施に応じて、追加の動作に分けられても、より少ない動作にまとめられても、あるいは、削除されてもよい。
【0084】
図６Ａ及び図６Ｂは、本開示で記載される少なくとも１つの実施形態に従って、分類器の訓練のためにセマンティッククラスの組の中の１つのセマンティッククラスへ受け取られた第１データセットをクラスタ化するための方法の例のフローチャートである。図６Ａ及び図６Ｂは、図１、図２、図３、図４、及び図５からの要素とともに説明される。図６Ａ及び図６Ｂを参照して、フローチャート６００が示されている。フローチャート６００に表されている方法は６０２から開始してよく、図１の例となる電子デバイス１０２又は図２の例となるシステム２０２のような如何なる適切なシステム、装置、又はデバイスによっても実行されてよい。別個のブロックで表されているが、方法６００のブロックの１つ以上に関連したステップ及び動作は、特定の実施に応じて、更なるブロックに分割されても、より少ないブロックにまとめられても、又は削除されてもよい。
【0085】
図７は、本開示で記載される少なくとも１つの実施形態に従って配置されている、セマンティッククラスの組の中の１つのセマンティッククラスへ受け取られた第１データセットをクラスタ化するためのアルゴリズムのプログラムコードの例示的なシナリオを表す。図７を参照して、例となるシナリオ７００が示されている。例となるシナリオ７００は、受け取られた第１データセットをセマンティッククラスの組の中の１つのセマンティッククラスにクラスタ化する関数７０２を含むプログラムコードを含んでよい。実施形態において、関数７０２を含むプログラムコードは、メモリ２０６、永続性データストレージ２０８、又はデータベース１０８のいずれか又は組み合わせに記憶されてもよい。関数７０２は、初期化ステートメント７０４と、クラスタリングコード７０６と、条件付きコード７０８と、条件付きコード７０８２含まれる第１再帰呼び出し（recursive call）７１０と、第２再帰呼び出し７１２と、リターンステートメント７１４とを含んでよい。プロセッサ２０４は、受け取られた第１データセットをセマンティッククラスの組の中の１つのセマンティッククラスに繰り返しクラスタ化するように関数７０２を実行するよう構成されてもよい。フローチャート６００は、これより、関数７０２の例となるシナリオ７００とともに記載される。
【0086】
図６Ａを参照して、ブロック６０２で、受け取られた第１データセットが、クラスタ化されるべき現在のサンプルとして選択されてよい。１つ以上の実施形態において、プロセッサ２０４は、受け取られた第１データセットを、クラスタ化されるべき現在のサンプルとして選択するよう構成されてよい。図７を参照して、関数７０２（すなわち、関数「train(T)」）は、第１ステートメントとして初期化ステートメント７０４を含んでよい。プロセッサ２０４は、変数セットのグループに値を割り当てるよう初期化ステートメント７０４を実行してよい。例えば、変数セットのグループは、「R」セット（正しい可能性のあるセマンティッククラスのような、信頼できる（Reliable）セマンティッククラスを表す。）、「U」セット（正しくない可能性のあるセマンティッククラスのような、信頼できない（Unreliable）セマンティッククラスを表す。）、及び「C」セット（２つのうちの１つのセマンティッククラスのような、混同（Confusing）クラスを表す。）を含んでよい。変数セットのグループは、知らないセマンティッククラスのような、非グループ（No group）セマンティックを表し得る「N」セットを更に含んでもよい。図７に示されるように、セット「R」、「U」及び「C」は、空のセットとして初期化されてよく、セット「N」は、訓練データ「T」で初期化されてよい。図６Ａ及び図７を参照して、第１データセットは、再帰関数７０２の最初の繰り返しにおいて、現在のサンプル（すなわち、訓練データ「T」）として選択されてよい。ここで、最初に、第１データセットの全体は、第１データセットの全体が知られていない可能性があるということで、セット「N」（すなわち、知らないセマンティッククラス）に割り当てられてよい。６０４から６２０までの動作の組は、次に記載されるように、受け取られた第１データセットのクラスタ化のために制御されてよい。
【0087】
図６Ａを参照して、ブロック６０４で、選択された現在のサンプルは、選択された現在のサンプル内の各データポイントの第３の特徴スコアの組に基づき、第１精度グループ又は第２精度グループのうちの１つにクラスタ化されてよい。１つ以上の実施形態において、プロセッサ２０４は、選択された現在のサンプル内の各データポイントの第３の特徴スコアの組に基づき、選択された現在のサンプルを第１精度グループ又は第２精度グループのうちの１つにクラスタ化するよう構成されてよい。選択された現在のサンプルをクラスタ化するために、プロセッサ２０４は、選択された現在のサンプル内の各データポイントについて第３の特徴スコアの組を決定してよい。データポイントの第３の特徴スコアの組は、各データポイントについてのＬＳＡスコア、ＤＳＡスコア、信頼スコア、ロジットスコア、及びロバスト性ダイバーシティスコアを含み得るが、これらに限られない。第３の特徴スコアの組の決定は、例えば、図３（ブロック３０６）で、更に記載されるように、第１の特徴スコアの組の決定と同様であってよい。選択された現在のサンプルは、ｋ平均法（k-means clustering）アルゴリズム、又は何らかの教師なしクラスタリングアルゴリズム、のうちの少なくとも１つ、しかし、これらに限られないアルゴリズムに基づき、第１精度グループ又は第２精度グループのうちの１つにクラスタ化されてよい。実施形態において、第１精度グループは、第２精度グループよりも高い予測精度を有してもよい。
【0088】
例えば、図７を参照して、プロセッサ２０４は、選択された現在のサンプル（すなわち、第１データセットとして初期化されるセット「N」）を第１精度グループ又は第２精度グループのうちの１つにクラスタ化するようにクラスタリングコード７０６を実行するよう構成されてよい。セット「H」は、第１精度グループを表してよく、セット「L」は、第２精度グループを表してよい。クラスタリング（例えば、ｋ平均法）に基づいて、セット「H」は、第１精度グループに関連したデータポイントを割り当てられてよく、セット「L」は、第２精度グループに関連したデータポイントを割り当てられてよい。例において、ここで、最小クラスタサイズ（すなわち、ｎで表記され得る最小グループサイズ閾値）は２であってよい（すなわち、ｎ＝２）。図７に示されるように、セット「H」及び「L」は、正確さによってソートされてよい。第１精度グループ（すなわち、セット「H」）又は第２精度グループ（すなわち、セット「L」）の夫々にクラスタ化されたデータポイントに関連した正確さは、対応するデータポイントについてＤＮＮ１０４によって予測されたクラスと、その対応するデータポイントに関連した所定のクラスとに基づき、決定されてよい。
【0089】
図６Ａを参照して、ブロック６０６で、第１精度グループに関連した精度スコアが、第１精度グループ内の第１のデータポイントの組の中の各データポイントについてＤＮＮ１０４によって予測されたクラスに基づき、かつ、第１のデータポイントの組の中の対応するデータポイントに関連した所定のクラスに基づき、決定されてよい。１つ以上の実施形態において、プロセッサ２０４は、第１精度グループに関連した精度スコアを決定するよう構成されてよい。第１精度グループに関連した精度スコアは、第１精度グループ内の第１のデータポイントの組の中の各データポイントについてＤＮＮ１０４によって予測されたクラスに基づき、かつ、第１のデータポイントの組の中の対応するデータポイントに関連した所定のクラスに基づき、決定されてよい。第１のデータポイントの組の中の各データポイントについて、プロセッサ２０４は、対応するデータポイントに関連したクラスを予測するようＤＮＮ１０４を制御してよい。プロセッサ２０４は次いで、各データポイントの予測されたクラスを、対応するデータポイントに関連した所定のクラスと比較して、そのデータポイントの予測が正しいか否かを決定してよい。第１精度グループの精度スコアは、第１精度グループ内のデータポイントの総数に対する、正確に分類される第１精度グループ（すなわち、セット「H」）内のデータポイントの数の比として、決定されてもよい。
【0090】
ブロック６０８で、第２精度グループ内の第２のデータポイントの組が、第２のデータポイントの組のデータポイント数及び最小グループサイズ閾値（すなわち、ｎ）に基づき、後入れ先出し（Last-In-First-Out，ＬＩＦＯ）データ構造に格納されてよい。１つ以上の実施形態において、プロセッサ２０４は、第２精度グループ内の第２のデータポイントの組を、第２のデータポイントの組のデータポイント数及び最小グループサイズ閾値（すなわち、ｎ）に基づき、後入れ先出し（Last-In-First-Out，ＬＩＦＯ）データ構造に格納するよう構成されてよい。プロセッサ２０４は、第２のデータポイントの組のデータポイント数を最小グループサイズ閾値（すなわち、ｎ）と比較してよい。第２のデータポイントの組のデータポイント数が最小グループサイズ閾値（例えば、ｎ＝２）よりも多いと決定される場合に、プロセッサ２０４は、第２のデータポイントの組をＬＩＦＯデータ構造に格納してよい。例において、ＬＩＦＯデータ構造は、Ｓで表記され得るスタックデータ構造であってよい。例えば、プロセッサ２０４は、第２精度グループの第２のデータポイントの組をスタックデータ構造「Ｓ」においてプッシュしてもよい。ＬＩＦＯデータ構造は、メモリ２０６、永続性データストレージ２０８、又はデータベース１０８のうちの１つ以上に格納してもよいが、これらに限られない。
【0091】
例えば、図７を参照して、関数７０２内の第２再帰呼び出し７１２は、第２精度グループ内の第２のデータポイントの組を関数の引数として用いて関数７０２を再帰的に呼び出すために使用されてもよい。例えば、第２再帰呼び出し７１２のプログラムコード「train(L)」は、セット「L」を関数の引数として用いてtrain()関数（すなわち、関数７０２）を再帰的に呼び出してよい。上述されたように、セット「L」は、第２精度グループ内の第２のデータポイントの組を含んでよい。
【0092】
図６Ａを参照して、ブロック６１０で、第１精度グループに関連した決定された精度スコアが、セマンティッククラスの組の各セマンティッククラスに関連した精度閾値と比較されてよい。１つ以上の実施形態において、プロセッサ２０４は、第１精度グループに関連した決定された精度スコアを、セマンティッククラスの組の各セマンティッククラスに関連した精度閾値と比較するよう構成されてよい。例えば、図７を参照して、プロセッサ２０４は、第１精度グループに関連した決定された精度スコアを、セマンティッククラスの組の各セマンティッククラスに関連した精度閾値と比較するように、条件付きコード７０８を実行するよう構成されてよい。例えば、条件付きコード７０８内のプログラムコード「if(accuracy(H,R))>r_a」は、第１精度グループ（セット「H」内のデータポイントを含む。）に関連した決定された精度スコアを、正しい可能性のあるセマンティッククラス（セット「R」内のデータポイントを含む。）に関連した精度閾値（例えば、「r_a」）と比較するために、使用されてよい。例において、正しい可能性のあるセマンティッククラスに関連した精度閾値は、９７％又は０．９７であってよい。更に、条件付きコード７０８内のプログラムコード「if(accuracy(H,C))>c_a+/-r」は、第１精度グループに関連した決定された精度スコアを、２つのうちの１つのセマンティッククラス（セット「C」内のデータポイントを含む。）に関連した精度閾値（例えば、「c_a+/-r」）と比較するために、使用されてよい。言い換えると、第１精度グループに関連した精度スコアは、精度閾値（すなわち、「c_a」）及び閾範囲（例えば、「r」）に基づき決定された精度閾値の範囲と比較され得る。例において、２つのうちの１つのセマンティッククラスに関連した精度閾値の範囲は、５０％±５％（すなわち、４５％から５５％、又は０．４５から０．５５）であってよい。更に、条件付きコード７０８内のプログラムコード「if(accuracy(H,C))>u_a」は、第１精度グループに関連した決定された精度スコアを、正しくない可能性のあるセマンティッククラス（セット「U」内のデータポイントを含む。）に関連した精度閾値（例えば、「u_a」）と比較するために、使用されてよい。例において、正しくない可能性のあるセマンティッククラスに関連した精度閾値は、３５％又は０．３５であってよい。実施形態において、正しい可能性のあるセマンティッククラスに関連した精度閾値（例えば、「r_a」）、２つのうちの１つのセマンティッククラスに関連した精度閾値の範囲（例えば、「c_a+/-r」）、及び正しくない可能性のあるセマンティッククラスに関連した精度閾値（例えば、「u_a」）は、対応するセマンティッククラスにクラスタ化された（すなわち、図３のブロック３１０を参照。）データポイントの組に関連した予測精度を示し得る。
【0093】
図６Ａを参照して、ブロック６１２で、第１精度グループ内の第１のデータポイントの組は、比較に基づいて、セマンティッククラスの組の中の１つのセマンティッククラスに割り当てられてよい。１つ以上の実施形態において、ブロック６１０での比較に基づき、プロセッサ２０４は、第１精度グループ内の第１のデータポイントの組をセマンティッククラスの組の中の１つのセマンティッククラスに割り当てるよう構成されてよい。例えば、図７を参照して、第１精度グループに関連した精度スコアが、正しい可能性のあるセマンティッククラスに関連した精度閾値（すなわち、「r_a」）よりも高いと決定される場合に、プロセッサ２０４は、第１精度グループ内の第１のデータポイントの組をセット「R」に割り当ててよい。例えば、プログラムコード「R=merge(H,R)」は、第１のデータポイントの組を、セット「R」に既に存在しているデータポイントとマージし、それによって、第１のデータポイントの組をセット「R」に割り当てるために使用されてよい。上述されたように、セット「R」は、正しい可能性のあるセマンティッククラスに関連し得るデータポイントを含み得る。さもなければ、第１精度グループに関連した精度スコアが、２つのうちの１つのセマンティッククラスに関連した精度閾値の範囲（すなわち、「c_a+/-r」）内にあると決定される場合に、プロセッサ２０４は、第１精度グループ内の第１のデータポイントの組をセット「C」に割り当ててよい。例えば、プログラムコード「C=merge(H,C)」は、第１のデータポイントの組を、セット「C」に既に存在しているデータポイントとマージし、それによって、第１のデータポイントの組をセット「C」に割り当てるために使用されてよい。上述されたように、セット「C」は、２つのうちの１つのセマンティッククラスに関連し得るデータポイントを含み得る。第１精度グループに関連した精度スコアが、正しくない可能性のあるセマンティッククラスに関連した精度閾値（すなわち、「u_a」）よりも低いと決定される他のシナリオでは、プロセッサ２０４は、第１精度グループ内の第１のデータポイントの組をセット「U」に割り当ててよい。例えば、プログラムコード「U=merge(H,U)」は、第１のデータポイントの組を、セット「U」に既に存在しているデータポイントとマージし、それによって、第１のデータポイントの組をセット「U」に割り当てるために使用されてよい。上述されたように、セット「U」は、正しくない可能性のあるセマンティッククラスに関連し得るデータポイントを含み得る。
【0094】
図６Ａを参照して、ブロック６１４で、第１精度グループ内の第１のデータポイントの組が、比較、第１のデータポイントの組のデータポイント数、及び最小グループサイズ閾値（すなわち、ｎ）に基づき、ＬＩＦＯデータ構造に格納されてよい。１つ以上の実施形態において、プロセッサ２０４は、（ブロック６１０での）比較、第１のデータポイントの組のデータポイント数、及び最小グループサイズ閾値（すなわち、ｎ）に基づき、第１精度グループ内の第１のデータポイントの組をＬＩＦＯデータ構造に格納するよう構成されてよい。ブロック６１０での比較に基づき、第１のデータポイントの組が、正しい可能性のあるセマンティッククラス、２つのうちの１つのセマンティッククラス、又は正しくない可能性のあるセマンティッククラスのうちの１つにクラスタ化されるのに適していない場合には、第１のデータポイントの組は、ＬＩＦＯデータ構造における格納に適し得る。第１のデータポイントの組がＬＩＦＯデータ構造における格納に適する場合に、第１のデータポイントの組は、第１のデータポイントの組のデータポイント数と最小グループサイズ閾値（すなわち、ｎ）との比較に基づき、ＬＩＦＯデータ構造に格納され得る。例えば、第１のデータポイントの組のデータポイント数が最小グループサイズ閾値（例えば、ｎ＝２）よりも多いと決定される場合にプロセッサ２０４は、第１のデータポイントの組をＬＩＦＯデータ構造に格納してよい。例えば、プロセッサ２０４は、第１精度グループ内の第１のデータポイントの組をスタックデータ構造「Ｓ」においてプッシュしてもよい。ＬＩＦＯデータ構造は、メモリ２０６、永続性データストレージ２０８、又はデータベース１０８のうちの１つ以上に格納してもよいが、これらに限られない。
【0095】
例えば、図７を参照して、関数７０２内の第１再帰呼び出し７１０が、第１精度グループ内の第１のデータポイントの組を関数の引数として用いて関数７０２を再帰的に呼び出すために使用されてもよい。例えば、第１再帰呼び出し７１０のプログラムコード「|H|>n:train(H)」は、第１のデータポイントの組のデータポイント数が最小グループサイズ閾値（すなわち、ｎ）よりも多い場合に、セット「H」を関数の引数として用いてtrain()関数（すなわち、関数７０２）を再帰的に呼び出してよい。上述されたように、セット「H」は、第１精度グループ内の第１のデータポイントの組を含み得る。
【0096】
図６Ｂを参照して、ブロック６１６で、ＬＩＦＯデータ構造が空であるかどうかが決定されてよい。１つ以上の実施形態において、プロセッサ２０４は、ＬＩＦＯデータ構造が空であるかどうかを決定するよう構成されてよい。ＬＩＦＯデータ構造が空であるかどうかを決定するチェックは、図７の関数７０２の再帰的な繰り返しを制御するよう実行されてよい。
【0097】
ブロック６１８で、第３のデータポイントの組が、ＬＩＦＯデータ構造が空ではないとの決定に基づき、ＬＩＦＯデータ構造から読み出されてよい。１つ以上の実施形態において、ＬＩＦＯデータ構造が空ではないとの決定（ブロック６１６でのチェックに基づき決定される。）に基づき、プロセッサ２０４は、ＬＩＦＯデータ構造から第３のデータポイントの組を読み出すよう構成されてよい。ＬＩＦＯデータ構造（例えば、スタック「Ｓ」）の後入れ先出し特性に基づいて、最も最近にＬＩＦＯデータ構造にプッシュされたデータポイントの組がポップされて、ＬＩＦＯデータ構造（すなわち、スタック「Ｓ」）から第３のデータポイントの組として読み出され得る。実施形態において、第１精度グループの第１のデータポイントの組（すなわち、ブロック６１４でＬＩＦＯデータ構造に格納されたもの）が、第３のデータポイントの組として読み出されてもよい。他の実施形態では、第２精度グループの第２のデータポイントの組（すなわち、ブロック６０８でＬＩＦＯデータ構造に格納されたもの）が、第３のデータポイントの組として読み出されてもよい。
【0098】
ブロック６２０で、読み出された第３のデータポイントの組は、クラスタ化されるべき現在のサンプルとして選択し直されてよい。１つ以上の実施形態において、プロセッサ２０４は、読み出された第３のデータポイントの組を、クラスタ化されるべき現在のサンプルとして選択し直すよう構成されてよい。読み出された第３のデータポイントの組の、更にクラスタ化されるべき現在のサンプルとしての再選択は、ブロック６２０で記載されている、受け取られた第１データセットの、クラスタ化されるべき現在のサンプルとしての選択と同様であってよい。例えば、図７を参照して、プロセッサ２０４は、関数７０２の次の再帰的な繰り返しについて、初期化ステートメント７０４を実行するよう構成されてよい。ここで、訓練データ「T」は、ＬＩＦＯデータ構造からの、読み出された第３のデータポイントの組の現在のサンプルとしての再選択に基づき、読み出された第３のデータポイントの組を割り当てられてよい。言い換えると、関数７０２の引数である訓練データ「T」が現在のサンプルとして割り当てられて得る。更に、制御は、図６Ｂに示されるように、ブロック６０４へ移ってよい。従って、新たに選択された現在のサンプルについて、プロセッサ２０４は、現在のサンプル内のデータポイントをセマンティッククラスの組の中の１つのセマンティッククラスにクラスタ化するよう再びブロック６０４～６１４を実行してもよい。
【0099】
図６Ｂを参照して、ブロック６２２で、クラスタ化された第１データセットが、ＬＩＦＯデータ構造が空であるとの決定に基づき、取得されてよい。１つ以上の実施形態において、プロセッサ２０４は、ＬＩＦＯデータ構造が空であるとの決定に基づき、クラスタ化された第１データセットを、ブロック６０４～６２０までの動作の組の反復制御に基づいて取得するよう構成されてよい。ＬＩＦＯデータ構造が空であるとの決定は、図７の関数７０２の全ての再帰的な繰り返しが処理されており、第１データセットが第１データセット内のほとんど又は全てのデータポイントについてクラスタ化されていることを示し得る。例えば、図７を参照して、関数７０２の最後の再帰的な繰り返しで、プロセッサ２０４は、クラスタ化された第１データセットを含むセット「R」、「U」、「C」及び「N」を返すようリターンステートメント７１４を実行してよい。このようにして、第１データセットは、正しい可能性のあるセマンティッククラス（すなわち、セット「R」）、正しくない可能性のあるセマンティッククラス（すなわち、セット「U」）、２つのうちの１つのセマンティッククラス（すなわち、セット「C」）、及び知らないセマンティッククラス（すなわち、セット「N」）を含むセマンティッククラスの組にクラスタ化され得る。
【0100】
図６Ｂを参照して、ブロック６２４で、クラスタ化された第１データセットは、受け取られた第１データセット内の各データポイントについての予測された第１クラス及び識別された混同クラスペアの組に基づき、再クラスタ化されてよい。１つ以上の実施形態において、プロセッサ２０４は、識別された混同クラスペアの組と、受け取られた第１データセット内の各データポイントについての予測された第１クラスとに基づき、クラスタ化された第１データセットを再クラスタ化するよう構成されてよい。受け取られた第１データセット内の各データポイントについて、プロセッサ２０４は、データポイントが２つのうちの１つのセマンティッククラスにクラスタ化されるかどうかを決定してよい（すなわち、例えば、図５で記載。）言い換えると、プロセッサ２０４は、データポイントについての予測された第１クラスが混同クラスペアの組２含まれるかどうかを決定してよい。データポイントが２つのうちの１つのセマンティッククラス（すなわち、混同クラスセット「C」）にクラスタ化されるが、そのデータポイントについての予測された第１クラスが混同クラスペアの組に含まれない場合に、プロセッサ２０４は、データポイントを知らないセマンティッククラスに再クラスタ化してもよい。さもなければ、データポイントが２つのうちの１つのセマンティッククラス以外のセマンティッククラスにクラスタ化される場合、又はデータポイントが２つのうちの１つのセマンティッククラスにクラスタ化され、予測された第１クラスが混同クラスペアの組に含まれる場合には、そのデータポイントは再クラスタ化されなくてもよい。例えば、番号認識アプリケーションの場合に、番号「１」及び「７」は、混同クラスペアの組に含まれる混同クラスペアである可能性がある。データポイントが２つのうちの１つのセマンティッククラスにクラスタ化され、そのデータポイントの予測された第１クラスが番号「３」である場合に、プロセッサ２０４は、データポイントの予測された第１クラスが混同クラスペアに属し得ないということで、そのデータポイントを知らないセマンティッククラスに再クラスタ化してよい。しかし、データポイントの予測された第１クラスが「１」（混同クラスペアに属す可能性がある。）であり、データポイントが２つのうちの１つのセマンティッククラスにクラスタ化される場合には、そのデータポイントは再クラスタ化されなくてもよい。
【0101】
ブロック６２６で、分類器１０６は、再クラスタ化された第１データセット、決定された第１の特徴スコアの組、及びセマンティッククラスの組に基づき、訓練されてよい。１つ以上の実施形態において、プロセッサ２０４は、再クラスタ化された第１データセット、決定された第１の特徴スコアの組、及びセマンティッククラスの組に基づき、分類器（例えば、分類器１０６）の訓練を制御するよう構成されてよい。分類器１０６の例には、決定木分類器、サポートベクトルマシン（ＳＶＭ）分類器、単純ベイス分類器、ロジスティック回帰分類器、又はＫ近傍（Ｋ－ＮＮ）分類器が含まれ得るが、これらに限られない。例において、分類器１０６は、Ｋ＝５個の最近傍によるＫ－ＮＮ分類器として構築及び訓練されてよい。例として、サイキット・ラーン（Scikit-Learn）ライブラリが、Ｋ－ＮＮ分類器を構築及び訓練するために使用されてもよい。例えば、分類器１０６は、例えば、図３のブロック３１２で記載されるように、第１データセット内の各データポイントについての、第３の特徴スコアの組と、クラスタ化されたセマンティッククラスの組との間の関係に関して、訓練され得る。Ｋ－ＮＮ分類器（例えば、分類器１０６）の訓練に基づき、Ｋ－ＮＮ分類器は、例えば、図４で記載されるように、セマンティッククラスの組の中の１つのセマンティッククラスを出力し得る。分類器１０６によって学習された関係に基づいて、分類器１０６は、例えば、図４で（ブロック４０６～４１０で）記載されるように、新しいデータポイントについて決定された第２の特徴スコアの組に基づき、新しいデータポイント（すなわち、第２データポイント）をセマンティッククラスの組の中の１つのセマンティッククラスに分類してよい。制御は終了に移ってよい。
【0102】
フローチャート６００は、６０２、６０４、６０６、６０８、６１０、６１２、６１４、６１６、６１８、６２０、６２２、６２４、及び６２６などの別個の動作として表されているが、特定の実施形態では、このような別個の動作は、開示されている実施形態の本質から外れずに、特定の実施に応じて、追加の動作に分けられても、より少ない動作にまとめられても、あるいは、削除されてもよい。図７に示されるシナリオ７００（プログラムコードを含む。）は、単に例として提示されており、本開示の範囲を限定するよう解釈されるべきではないことが留意され得る。
【0103】
従って、開示されている電子デバイス１０２は、ＤＮＮ１０４の入力空間を、人が理解することができ、かつ、人（すなわち、ユーザ１１４）がＤＮＮ１０４の予測出力をより意味ある方法で理解するのを助けることができる様々なセマンティッククラスにパーティション化し得る。セマンティッククラスは、セマンティッククラスにクラスタ化されたデータポイントの予測精度（例えば、図６Ａのブロック６１０を参照。）を示し得る。あるセマンティッククラスにおけるデータポイントのクラスタ化は、データポイントを分類することにおけるＤＮＮ１０４の信頼性に関して定性的なフィードバックをユーザに提供するために使用されてよく、更には、ユーザが、定性的なフィードバックに基づき、情報に基づく又は実行可能な決定を行うことを可能にし得る。これは更に、誤分類又は誤った予測の適切な検出と、誤った予測による如何なる経済的又は物理的な損失も回避するための（出力情報としての）特定のアクションの実行とによって、ＤＮＮ１０４の予測又は分類の精度を高め得る。開示されている電子デバイス１０２によって特定のデータポイントについて供給された定性的なフィードバック及び／又はクラスタ化されたセマンティッククラスの組の中の１つの容易な理解に基づいて、ユーザ１１４又はユーザエンドデバイス１１０は、ＤＮＮ１０４を信頼し、それに応じて、例えば、データポイントの予測をそのまま信頼すること、データポイントの予測を単純に捨てること、データポイントについて再び予測を実行するようＤＮＮ１０４を制御すること、より信頼できる出力を得るようデータポイントを他のＤＮＮモデルへ渡すこと（すなわち、図４のブロック４１２で記載されたタイブレークソリューション）、又は複数のＤＮＮモデルの間で多数決ソリューションを実行すること（図４のブロック４１２を参照。）といった（しかし、限定されない。）、適切な又は実行可能な決定を行うことができる。
【0104】
本開示のための例示的なデータセット及び実験セットアップは、次のように、表１で提示される：
【表1】
【0105】
留意されるべきは、表１で与えられているデータは、単に実験データとして解釈され得るものであり、本開示限定するものとして解釈され得ないことである。
【0106】
セマンティッククラスの組へのデータポイントのクラスタ化のための分類器の訓練フェーズ（すなわち、図３、図６Ａ、図６Ｂ、及び図7で記載。）の例示的な実験データセット及び結果は、次のように、表２で提示される：
【表2】
【0107】
留意されるべきは、表２で与えられているデータは、単に実験データとして解釈され得るものであり、本開示限定するものとして解釈され得ないことである。
【0108】
セマンティッククラスの組の中の１つのセマンティッククラスへの新しいデータポイントのクラスタ化のための分類器の動作（すなわち、実時間）フェーズ（すなわち、図４で記載。）の例示的な実験データセット及び結果は、次のように、表３で提示される：
【表3】
【0109】
留意されるべきは、表３で与えられているデータは、単に実験データとして解釈され得るものであり、本開示限定するものとして解釈され得ないことである。
【0110】
本開示の様々な実施形態は、実行されることに応答して、システム（例えば、例となるシステム２０２又は電子デバイス１０２など）に動作を実行させる命令を記憶するよう構成された１つ以上の非一時的なコンピュータ可読記憶媒体を提供してもよい。動作は、実時間アプリケーションに関連した第１データセットを受け取ることを含んでよい。動作は、実時間アプリケーションの分類タスクのために予め訓練されたディープニューラルネットワーク（ＤＮＮ）によって、受け取られた第１データセットの第１データポイントに関連した第１クラスを予測することを更に含んでもよい。動作は、第１データポイントに関連した予測された第１クラスに基づき、第１データポイントの第１の特徴スコアの組を決定することを更に含んでもよい。動作は、予測された第１クラスと、第１データポイントに関連した所定のクラスとに基づき、ＤＮＮに関連した混同クラスペアの組を識別することを更に含んでもよい。動作は、受け取られた第１データセット内の各データポイントについての決定された第１の特徴スコアの組、予測された第１クラス、及び識別された混同クラスペアの組に基づき、受け取られた第１データセットをセマンティッククラスの組の中の１つのセマンティッククラスにクラスタ化することを更に含んでもよい。セマンティッククラスの組の各セマンティッククラスは、セマンティッククラスの組の中の対応するセマンティッククラスにクラスタ化されたデータポイントの組に関連した予測精度を示し得る。動作は、クラスタ化された第１データセット、決定された第１の特徴スコアの組、及びセマンティッククラスの組に基づき、分類器を訓練することを更に含んでもよい。
【0111】
本開示の様々な実施形態は、実行されることに応答して、システム（例えば、例となるシステム２０２又は電子デバイス１０２など）に動作を実行させる命令を記憶するよう構成された１つ以上の非一時的なコンピュータ可読記憶媒体を提供してもよい。動作は、実時間アプリケーションに関連した第１データセットを受け取ることを含んでよい。動作は、実時間アプリケーションに関連した第２データポイントを受け取ることを含んでよい。動作は、実時間アプリケーションの分類タスクのために予め訓練されたディープニューラルネットワーク（ＤＮＮ）によって、第２データポイントに関連した第２クラスを予測することを更に含んでもよい。動作は、受け取られた第２データポイントに関連した予測された第２クラスに基づき、第２データポイントの第２の特徴スコアの組を決定することを更に含んでもよい。動作は、決定された第２の特徴スコアの組及び予測された第２クラスに基づき、予め訓練された分類器を、受け取られた第２データポイントに適用することを更に含んでもよい。分類器は、データポイントをセマンティッククラスの組の中の１つのセマンティッククラスに分類するよう予め訓練されてよい。セマンティッククラスの組の各セマンティッククラスは、セマンティッククラスの組の中の対応するセマンティッククラスにクラスタ化されたデータポイントの組に関連した予測精度を示し得る。動作は、第２データポイントに対する予め訓練された分類器の適用に基づき、第２データポイントをセマンティッククラスの組の中の１つのセマンティッククラスに分類することを更に含んでもよい。動作は、セマンティッククラスの組の中の、第２データポイントについての分類された１つのセマンティッククラスに関連した少なくとも１つのアクションを決定することを更に含んでもよい。動作は、決定された少なくとも１つのアクションをレンダリングすることを更に含んでもよい。
【0112】
本開示で使用されるように、「モジュール」又は「コンポーネント」という用語は、モジュール若しくはコンポーネントの動作を実行するよう構成された特定のハードウェア実装、並びに／又はコンピューティングシステムの汎用ハードウェア（例えば、コンピュータ可読媒体、処理デバイス、など）に記憶され及び／若しくはそれによって実行され得るソフトウェアオブジェクト若しくはソフトウェアルーチンを指し得る。いくつかの実施形態において、本開示で記載される異なるコンポーネント、モジュール、エンジン、及びサービスは、コンピューティングシステムで（例えば、別個のスレッドとして）実行するオブジェクト又はプロセスとして実装されてもよい。本開示で記載されるシステム及び方法のいくつかは、（汎用ハードウェアに記憶され及び／又はそれによって実行される）ソフトウェアにおいて実装されるものとして概して記載されているが、特定のハードウェア実装、又はソフトウェアと特定のハードウェア実装との組み合わせも可能であり、考えられている。本明細書中、「コンピューティングエンティティ」は、本開示で先に定義されたあらゆるコンピューティングシステム、又はコンピューティングシステムで実行されるあらゆるモジュール若しくはモジュールの組み合わせであってよい。
【0113】
本開示で、特に添付の特許請求の範囲（例えば、添付の特許請求の本文）で使用される用語は、一般的に、“非限定的な（open）”用語として意図されている（例えば、語「含んでいる（including）」は、“～を含んでいるが、～に限定されない”との意に解釈されるべきであり、語「備えている（having）」は、「少なくとも～を備えている」との意に解釈されるべきであり、語「含む（includes）」は、“～を含むが、～に限定されない”との意に解釈されるべきである、など。）。
【0114】
更に、導入されたクレーム記載（introduced claim recitation）において特定の数が意図される場合、そのような意図は当該クレーム中に明確に記載され、そのような記載がない場合は、そのような意図も存在しない。例えば、理解を促すために、後続の添付された特許請求の範囲では、「少なくとも１つの（at least one）」及び「１つ以上の（one or more）」といった導入句を使用し、クレーム記載を導入することがある。しかし、このような句を使用するからといって、「a」又は「an」といった不定冠詞によりクレーム記載を導入した場合に、たとえ同一のクレーム内に、「１つ以上の」又は「少なくとも１つの」といった導入句と「a」又は「an」といった不定冠詞との両方が含まれるとしても、当該導入されたクレーム記載を含む特定のクレームが、当該記載事項を１しか含まない例に限定されるということが示唆されると解釈されるべきではない（例えば、「a」及び／又は「an」は、「少なくとも１つの」又は「１つ以上の」を意味すると解釈されるべきである。）。定冠詞を使用してクレーム記載を導入する場合にも同様のことが当てはまる。
【0115】
更には、導入されたクレーム記載において特定の数が明示されている場合であっても、そのような記載は、通常、少なくとも記載された数を意味するように解釈されるべきであることは、当業者には理解されるであろう（例えば、他に修飾語のない、単なる「２つの記載事項」という記載がある場合、この記載は、少なくとも２つの記載事項、又は２つ以上の記載事項を意味する。）。更に、「Ａ、Ｂ及びＣなどのうち少なくとも１つ」又は「Ａ、Ｂ及びＣなどのうちの１つ以上」に類する表記が使用される場合、一般的に、そのような構造は、Ａのみ、Ｂのみ、Ｃのみ、ＡとＢの両方、ＡとＣの両方、ＢとＣの両方、及び／又はＡとＢとＣの全て、などを含むよう意図される。
【0116】
更に、２つ以上の選択可能な用語を表す如何なる離接語及び／又は離接句も、明細書、特許請求の範囲、又は図面のいずれであろうと、それら用語のうちの１つ、それらの用語のうちのいずれか、あるいは、それらの用語の両方を含む可能性を意図すると理解されるべきである。例えば、「Ａ又はＢ」という句は、「Ａ又はＢ」、あるいは、「Ａ及びＢ」の可能性を含むことが理解されるべきである。
【0117】
本開示で挙げられている全ての例及び条件付き言語は、当該技術の促進に本発明者によって寄与される概念及び本発明を読者が理解するのを助ける教育上の目的を意図され、そのような具体的に挙げられている例及び条件に制限されないと解釈されるべきである。本開示の実施形態が詳細に記載されてきたが、様々な変更、置換、及び代替が、本開示の主旨及び適用範囲から逸脱することなしに行われてよい。
【0118】
上記の実施形態に加えて、以下の付記を開示する。
（付記１）
プロセッサが実行する方法であって、
実時間アプリケーションに関連した第１データセットを受け取ることと、
前記実時間アプリケーションの分類タスクのために予め訓練されたディープニューラルネットワーク（ＤＮＮ）によって、前記受け取られた第１データセットの第１データポイントに関連した第１クラスを予測することと、
前記第１データポイントに関連した前記予測された第１クラスに基づき、前記第１データポイントの第１の特徴スコアの組を決定することと、
前記予測された第１クラスと、前記第１データポイントに関連した所定のクラスとに基づき、前記ＤＮＮに関連した混同クラスペアの組を識別することと、
前記受け取られた第１データセット内の各データポイントについての前記決定された第１の特徴スコアの組と、前記予測された第１クラスと、前記識別された混同クラスペアの組とに基づき、前記受け取られた第１データセットをセマンティッククラスの組の中の１つのセマンティッククラスにクラスタ化することであり、前記セマンティッククラスの組の中の各セマンティッククラスが、前記セマンティッククラスの組の中の対応するセマンティッククラスにクラスタ化されたデータポイントの組に関連した予測精度を示す、ことと、
前記クラスタ化された第１データセットと、前記決定された第１の特徴スコアの組と、前記セマンティッククラスの組とに基づき、分類器を訓練することと
を有する方法。
（付記２）
前記実時間アプリケーションに関連した第２データポイントを受け取ることと、
前記ＤＮＮによって、前記受け取られた第２データポイントに関連した第２クラスを予測することと、
前記受け取られた第２データポイントに関連した前記予測された第２クラスに基づき、前記第２データポイントの第２の特徴スコアの組を決定することと、
前記決定された第２の特徴スコアの組及び前記予測された第２クラスに基づき、前記訓練された分類器を前記第２データポイントに適用することと、
前記第２データポイントに対する前記訓練された分類器の適用に基づき、前記第２データポイントを前記セマンティッククラスの組の中の１つのセマンティッククラスに分類することと
を更に有する、付記１に記載の方法。
（付記３）
前記セマンティッククラスの組の中の、前記第２データポイントについての前記分類された１つのセマンティッククラスに関連した少なくとも１つのアクションを決定することと、
前記決定された少なくとも１つのアクションをレンダリングすることと
を更に有する、請求項２に記載の方法。
（付記４）
前記セマンティッククラスの組は、正しい可能性のあるセマンティッククラス、２つのうちの１つのセマンティッククラス、正しくない可能性のあるセマンティッククラス、又は知らないセマンティッククラス、のうちの少なくとも１つを有する、
請求項１に記載の方法。
（付記５）
前記第１の特徴スコアの組は、前記第１データポイントについての、尤度に基づいたサプライズアデクシー（ＬＳＡ）スコア、距離に基づいたサプライズアデクシー（ＤＳＡ）スコア、信頼スコア、ロジットスコア、又はロバスト性ダイバーシティスコアのうちの少なくとも１つの情報を有する、
付記１に記載の方法。
（付記６）
前記ＬＳＡスコアは、前記第１データポイントが前記第１データセットによる分布内にあるかどうかを示す、
付記５に記載の方法。
（付記７）
前記ＤＳＡスコアは、前記第１データポイントが、前記ＤＮＮに関連したハイパースペースにおいて前記予測された第１クラスに隣接する他のクラスよりも前記予測された第１クラスに近いかどうかを示す、
付記５に記載の方法。
（付記８）
前記信頼スコアは、前記第１データポイントに関連した前記第１クラスの予測についての前記ＤＮＮの確率スコアに対応する、
付記５に記載の方法。
（付記９）
前記ロジットスコアは、前記第１データポイントに関連した前記第１クラスの予測についての前記ＤＮＮのｐｒｅ－ｓｏｆｔｍａｘレイヤからのスコアに対応する、
付記５に記載の方法。
（付記１０）
前記ロバスト性ダイバーシティスコアは、前記第１データポイントに対応する１つ以上のバリエーションについての前記ＤＮＮによる予測の安定性の程度を示す、
付記５に記載の方法。
（付記１１）
前記混同クラスペアの組の識別は、
前記第１データポイントに関連した前記所定のクラスを、前記第１データポイントに関連した前記予測された第１クラスと比較することと、
前記比較に基づいて、前記予測された第１クラス及び前記所定のクラスを含む第１クラスペアに関連した誤分類の第１インスタンスを識別することと、
前記識別された誤分類の第１インスタンスに基づき、前記第１クラスペアに関連した誤分類のインスタンスのカウントを決定することと、
前記誤分類のインスタンスのカウント及び閾値に基づき、前記混同クラスペアの組の中の混同クラスペアとして前記第１クラスペアを識別することと
を有する、
付記１に記載の方法。
（付記１２）
前記受け取られた第１データセットを、クラスタ化されるべき現在のサンプルとして選択することと、
前記受け取られた第１データセットのクラスタ化のための動作の組を制御することであり、前記動作の組は、
前記選択された現在のサンプル内の各データポイントの第３の特徴スコアの組に基づき、第１精度グループ又は第２精度グループのうちの１つに前記選択された現在のサンプルをクラスタ化することと、
前記第１精度グループ内の第１のデータポイントの組の各データポイントについて前記ＤＮＮによって予測されたクラスに基づき、かつ、前記第１のデータポイントの組の中の対応するデータポイントに関連した所定のクラスに基づき、前記第１精度グループに関連した精度スコアを決定することと、
前記第２精度グループ内の第２のデータポイントの組のデータポイント数及び最小グループサイズ閾値に基づき、前記第２のデータポイントの組を後入れ先出し（ＬＩＦＯ）データ構造に格納することと、
前記第１精度グループに関連した前記決定された精度スコアを、前記セマンティッククラスの組の各セマンティッククラスに関連した精度閾値と比較することと、
前記比較に基づき、前記第１精度グループ内の前記第１のデータポイントの組を前記セマンティッククラスの組の中の１つのセマンティッククラスに割り当てることと、
前記ＬＩＦＯデータ構造が空であるかどうかを決定することと、
前記ＬＩＦＯデータ構造が空ではないとの決定に基づき、前記ＬＩＦＯデータ構造から第３のデータポイントの組を読み出すことと、
前記読み出された第３のデータポイントの組を、クラスタ化されるべき前記現在のサンプルとして選択し直すことと
を有する、前記制御することと、
前記ＬＩＦＯデータ構造が空であるとの決定に基づき、前記動作の組の反復制御に基づいて前記クラスタ化された第１データセットを取得することと
を更に有する、付記１に記載の方法。
（付記１３）
前記動作の組は、前記比較、前記第１のデータポイントの組のデータポイント数、及び前記最小グループサイズ閾値に基づき、前記第１精度グループの前記第１のデータポイントの組を前記ＬＩＦＯデータ構造に格納することを更に有する、
付記１２に記載の方法。
（付記１４）
前記識別された混同クラスペアの組と、前記受け取られた第１データセット内の各データポイントについての前記予測された第１クラスとに基づき、前記クラスタ化された第１データセットを前記セマンティッククラスの組に再クラスタ化することと、
前記再クラスタ化された第１データセット、前記決定された第１の特徴スコアの組、及び前記セマンティッククラスの組に基づき、前記分類器を訓練することと
を更に有する、付記１に記載の方法。
（付記１５）
前記選択された現在のサンプルは、ｋ平均法アルゴリズムに基づきクラスタ化される、
付記１２に記載の方法。
（付記１６）
前記分類器は、Ｋ近傍分類器に対応する、
付記１に記載の方法。
（付記１７）
前記第１データポイントは、イメージデータ、オーディオデータ、又はテキストデータのうちの１つに対応し、
前記実時間アプリケーションは、イメージ分類、スピーチ認識、又はテキスト認識のうちの１つを有する、
付記１に記載の方法。
（付記１８）
プロセッサが実行する方法であって、
実時間アプリケーションに関連したデータポイントを受け取ることと、
前記実時間アプリケーションの分類タスクのために予め訓練されたディープニューラルネットワーク（ＤＮＮ）によって、前記データポイントに関連したクラスを予測することと、
前記受け取られたデータポイントに関連した前記予測されたクラスに基づき、前記受け取られたデータポイントの特徴スコアの組を決定することと、
前記決定された特徴スコアの組及び前記予測されたクラスに基づき、予め訓練された分類器を前記受け取られたデータポイントに適用することであり、前記分類器は、セマンティッククラスの組の中の１つのセマンティッククラスにデータポイントを分類するよう予め訓練されており、前記セマンティッククラスの組の各セマンティッククラスは、前記セマンティッククラスの組の中の対応するセマンティッククラスにクラスタ化されたデータポイントの組に関連した予測精度を示す、ことと、
前記受け取られたデータポイントに対する前記予め訓練された分類器の適用に基づき、前記受け取られたデータポイントを前記セマンティッククラスの組の中の１つのセマンティッククラスに分類することと、
前記セマンティッククラスの組の中の、前記受け取られたデータポイントについての前記分類された１つのセマンティッククラスに関連した少なくとも１つのアクションを決定することと、
前記決定された少なくとも１つのアクションをレンダリングすることと
を有する方法。
（付記１９）
前記セマンティッククラスの組は、正しい可能性のあるセマンティッククラス、２つのうちの１つのセマンティッククラス、正しくない可能性のあるセマンティッククラス、又は知らないセマンティッククラス、のうちの少なくとも１つを有する、
付記１８に記載の方法。
（付記２０）
命令を記憶しているメモリと、
実時間アプリケーションの分類タスクのために予め訓練されたディープニューラルネットワーク（ＤＮＮ）と、
前記メモリ及び前記ＤＮＮへ結合され、前記命令を実行して、
前記実時間アプリケーションに関連した第１データセットを受け取ることと、
前記ＤＮＮによって、前記受け取られた第１データセットの第１データポイントに関連した第１クラスを予測することと、
前記第１データポイントに関連した前記予測された第１クラスに基づき、前記第１データポイントの第１の特徴スコアの組を決定することと、
前記予測された第１クラスと、前記第１データポイントに関連した所定のクラスとに基づき、前記ＤＮＮに関連した混同クラスペアの組を識別することと、
前記受け取られた第１データセット内の各データポイントについての前記決定された第１の特徴スコアの組と、前記予測された第１クラスと、前記識別された混同クラスペアの組とに基づき、前記受け取られた第１データセットをセマンティッククラスの組の中の１つのセマンティッククラスにクラスタ化することであり、前記セマンティッククラスの組の中の各セマンティッククラスが、前記セマンティッククラスの組の中の対応するセマンティッククラスにクラスタ化されたデータポイントの組に関連した予測精度を示す、ことと、
前記クラスタ化された第１データセットと、前記決定された第１の特徴スコアの組と、前記セマンティッククラスの組とに基づき、分類器を訓練することと
を有するプロセスを実行するプロセッサと
を有する電子デバイス。
（付記１）
プロセッサが実行する方法であって、
実時間アプリケーションに関連した第１データセットを受け取ることと、
前記実時間アプリケーションの分類タスクのために予め訓練されたディープニューラルネットワーク（ＤＮＮ）によって、前記受け取られた第１データセットの第１データポイントに関連した第１クラスを予測することと、
前記第１データポイントに関連した前記予測された第１クラスに基づき、前記第１データポイントの第１の特徴スコアの組を決定することと、
前記予測された第１クラスと、前記第１データポイントに関連した所定のクラスとに基づき、前記ＤＮＮに関連した混同クラスペアの組を識別することと、
前記受け取られた第１データセット内の各データポイントについての前記決定された第１の特徴スコアの組と、前記予測された第１クラスと、前記識別された混同クラスペアの組とに基づき、前記受け取られた第１データセットをセマンティッククラスの組の中の１つのセマンティッククラスにクラスタ化することであり、前記セマンティッククラスの組の中の各セマンティッククラスが、前記セマンティッククラスの組の中の対応するセマンティッククラスにクラスタ化されたデータポイントの組に関連した予測精度を示す、ことと、
前記クラスタ化された第１データセットと、前記決定された第１の特徴スコアの組と、前記セマンティッククラスの組とに基づき、分類器を訓練することと
を有する方法。
（付記２）
前記実時間アプリケーションに関連した第２データポイントを受け取ることと、
前記ＤＮＮによって、前記受け取られた第２データポイントに関連した第２クラスを予測することと、
前記受け取られた第２データポイントに関連した前記予測された第２クラスに基づき、前記第２データポイントの第２の特徴スコアの組を決定することと、
前記決定された第２の特徴スコアの組及び前記予測された第２クラスに基づき、前記訓練された分類器を前記第２データポイントに適用することと、
前記第２データポイントに対する前記訓練された分類器の適用に基づき、前記第２データポイントを前記セマンティッククラスの組の中の１つのセマンティッククラスに分類することと
を更に有する、付記１に記載の方法。
（付記３）
前記セマンティッククラスの組の中の、前記第２データポイントについての前記分類された１つのセマンティッククラスに関連した少なくとも１つのアクションを決定することと、
前記決定された少なくとも１つのアクションをレンダリングすることと
を更に有する、請求項２に記載の方法。
（付記４）
前記セマンティッククラスの組は、正しい可能性のあるセマンティッククラス、２つのうちの１つのセマンティッククラス、正しくない可能性のあるセマンティッククラス、又は知らないセマンティッククラス、のうちの少なくとも１つを有する、
請求項１に記載の方法。
（付記５）
前記第１の特徴スコアの組は、前記第１データポイントについての、尤度に基づいたサプライズアデクシー（ＬＳＡ）スコア、距離に基づいたサプライズアデクシー（ＤＳＡ）スコア、信頼スコア、ロジットスコア、又はロバスト性ダイバーシティスコアのうちの少なくとも１つの情報を有する、
付記１に記載の方法。
（付記６）
前記ＬＳＡスコアは、前記第１データポイントが前記第１データセットによる分布内にあるかどうかを示す、
付記５に記載の方法。
（付記７）
前記ＤＳＡスコアは、前記第１データポイントが、前記ＤＮＮに関連したハイパースペースにおいて前記予測された第１クラスに隣接する他のクラスよりも前記予測された第１クラスに近いかどうかを示す、
付記５に記載の方法。
（付記８）
前記信頼スコアは、前記第１データポイントに関連した前記第１クラスの予測についての前記ＤＮＮの確率スコアに対応する、
付記５に記載の方法。
（付記９）
前記ロジットスコアは、前記第１データポイントに関連した前記第１クラスの予測についての前記ＤＮＮのｐｒｅ－ｓｏｆｔｍａｘレイヤからのスコアに対応する、
付記５に記載の方法。
（付記１０）
前記ロバスト性ダイバーシティスコアは、前記第１データポイントに対応する１つ以上のバリエーションについての前記ＤＮＮによる予測の安定性の程度を示す、
付記５に記載の方法。
（付記１１）
前記混同クラスペアの組の識別は、
前記第１データポイントに関連した前記所定のクラスを、前記第１データポイントに関連した前記予測された第１クラスと比較することと、
前記比較に基づいて、前記予測された第１クラス及び前記所定のクラスを含む第１クラスペアに関連した誤分類の第１インスタンスを識別することと、
前記識別された誤分類の第１インスタンスに基づき、前記第１クラスペアに関連した誤分類のインスタンスのカウントを決定することと、
前記誤分類のインスタンスのカウント及び閾値に基づき、前記混同クラスペアの組の中の混同クラスペアとして前記第１クラスペアを識別することと
を有する、
付記１に記載の方法。
（付記１２）
前記受け取られた第１データセットを、クラスタ化されるべき現在のサンプルとして選択することと、
前記受け取られた第１データセットのクラスタ化のための動作の組を制御することであり、前記動作の組は、
前記選択された現在のサンプル内の各データポイントの第３の特徴スコアの組に基づき、第１精度グループ又は第２精度グループのうちの１つに前記選択された現在のサンプルをクラスタ化することと、
前記第１精度グループ内の第１のデータポイントの組の各データポイントについて前記ＤＮＮによって予測されたクラスに基づき、かつ、前記第１のデータポイントの組の中の対応するデータポイントに関連した所定のクラスに基づき、前記第１精度グループに関連した精度スコアを決定することと、
前記第２精度グループ内の第２のデータポイントの組のデータポイント数及び最小グループサイズ閾値に基づき、前記第２のデータポイントの組を後入れ先出し（ＬＩＦＯ）データ構造に格納することと、
前記第１精度グループに関連した前記決定された精度スコアを、前記セマンティッククラスの組の各セマンティッククラスに関連した精度閾値と比較することと、
前記比較に基づき、前記第１精度グループ内の前記第１のデータポイントの組を前記セマンティッククラスの組の中の１つのセマンティッククラスに割り当てることと、
前記ＬＩＦＯデータ構造が空であるかどうかを決定することと、
前記ＬＩＦＯデータ構造が空ではないとの決定に基づき、前記ＬＩＦＯデータ構造から第３のデータポイントの組を読み出すことと、
前記読み出された第３のデータポイントの組を、クラスタ化されるべき前記現在のサンプルとして選択し直すことと
を有する、前記制御することと、
前記ＬＩＦＯデータ構造が空であるとの決定に基づき、前記動作の組の反復制御に基づいて前記クラスタ化された第１データセットを取得することと
を更に有する、付記１に記載の方法。
（付記１３）
前記動作の組は、前記比較、前記第１のデータポイントの組のデータポイント数、及び前記最小グループサイズ閾値に基づき、前記第１精度グループの前記第１のデータポイントの組を前記ＬＩＦＯデータ構造に格納することを更に有する、
付記１２に記載の方法。
（付記１４）
前記識別された混同クラスペアの組と、前記受け取られた第１データセット内の各データポイントについての前記予測された第１クラスとに基づき、前記クラスタ化された第１データセットを前記セマンティッククラスの組に再クラスタ化することと、
前記再クラスタ化された第１データセット、前記決定された第１の特徴スコアの組、及び前記セマンティッククラスの組に基づき、前記分類器を訓練することと
を更に有する、付記１に記載の方法。
（付記１５）
前記選択された現在のサンプルは、ｋ平均法アルゴリズムに基づきクラスタ化される、
付記１２に記載の方法。
（付記１６）
前記分類器は、Ｋ近傍分類器に対応する、
付記１に記載の方法。
（付記１７）
前記第１データポイントは、イメージデータ、オーディオデータ、又はテキストデータのうちの１つに対応し、
前記実時間アプリケーションは、イメージ分類、スピーチ認識、又はテキスト認識のうちの１つを有する、
付記１に記載の方法。
（付記１８）
プロセッサが実行する方法であって、
実時間アプリケーションに関連したデータポイントを受け取ることと、
前記実時間アプリケーションの分類タスクのために予め訓練されたディープニューラルネットワーク（ＤＮＮ）によって、前記データポイントに関連したクラスを予測することと、
前記受け取られたデータポイントに関連した前記予測されたクラスに基づき、前記受け取られたデータポイントの特徴スコアの組を決定することと、
前記決定された特徴スコアの組及び前記予測されたクラスに基づき、予め訓練された分類器を前記受け取られたデータポイントに適用することであり、前記分類器は、セマンティッククラスの組の中の１つのセマンティッククラスにデータポイントを分類するよう予め訓練されており、前記セマンティッククラスの組の各セマンティッククラスは、前記セマンティッククラスの組の中の対応するセマンティッククラスにクラスタ化されたデータポイントの組に関連した予測精度を示す、ことと、
前記受け取られたデータポイントに対する前記予め訓練された分類器の適用に基づき、前記受け取られたデータポイントを前記セマンティッククラスの組の中の１つのセマンティッククラスに分類することと、
前記セマンティッククラスの組の中の、前記受け取られたデータポイントについての前記分類された１つのセマンティッククラスに関連した少なくとも１つのアクションを決定することと、
前記決定された少なくとも１つのアクションをレンダリングすることと
を有する方法。
（付記１９）
前記セマンティッククラスの組は、正しい可能性のあるセマンティッククラス、２つのうちの１つのセマンティッククラス、正しくない可能性のあるセマンティッククラス、又は知らないセマンティッククラス、のうちの少なくとも１つを有する、
付記１８に記載の方法。
（付記２０）
命令を記憶しているメモリと、
実時間アプリケーションの分類タスクのために予め訓練されたディープニューラルネットワーク（ＤＮＮ）と、
前記メモリ及び前記ＤＮＮへ結合され、前記命令を実行して、
前記実時間アプリケーションに関連した第１データセットを受け取ることと、
前記ＤＮＮによって、前記受け取られた第１データセットの第１データポイントに関連した第１クラスを予測することと、
前記第１データポイントに関連した前記予測された第１クラスに基づき、前記第１データポイントの第１の特徴スコアの組を決定することと、
前記予測された第１クラスと、前記第１データポイントに関連した所定のクラスとに基づき、前記ＤＮＮに関連した混同クラスペアの組を識別することと、
前記受け取られた第１データセット内の各データポイントについての前記決定された第１の特徴スコアの組と、前記予測された第１クラスと、前記識別された混同クラスペアの組とに基づき、前記受け取られた第１データセットをセマンティッククラスの組の中の１つのセマンティッククラスにクラスタ化することであり、前記セマンティッククラスの組の中の各セマンティッククラスが、前記セマンティッククラスの組の中の対応するセマンティッククラスにクラスタ化されたデータポイントの組に関連した予測精度を示す、ことと、
前記クラスタ化された第１データセットと、前記決定された第１の特徴スコアの組と、前記セマンティッククラスの組とに基づき、分類器を訓練することと
を有するプロセスを実行するプロセッサと
を有する電子デバイス。
【符号の説明】
【0119】
１０２ 電子デバイス
１０４ ディープニューラルネットワーク（ＤＮＮ）
１０６ 分類器
１０８ データベース
１１０ ユーザエンドデバイス
１１２ 通信ネットワーク
１１４ ユーザ
２０２ システム
２０４ プロセッサ
２０６ メモリ
２０８ 永続性データストレージ２０８
２１０ 入出力（Ｉ／Ｏ）デバイス
２１０Ａ 表示スクリーン
２１２ ネットワークインターフェース
１０４ ディープニューラルネットワーク（ＤＮＮ）
１０６ 分類器
１０８ データベース
１１０ ユーザエンドデバイス
１１２ 通信ネットワーク
１１４ ユーザ
２０２ システム
２０４ プロセッサ
２０６ メモリ
２０８ 永続性データストレージ２０８
２１０ 入出力（Ｉ／Ｏ）デバイス
２１０Ａ 表示スクリーン
２１２ ネットワークインターフェース
【図1】
【図2】
【図3】
【図4】
【図5】
【図6A】
【図6B】
【図7】