(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024144924
(43)【公開日】2024-10-15
(54)【発明の名称】データ判定装置及びデータ判定システム
(51)【国際特許分類】
G06N 20/00 20190101AFI20241004BHJP
【ＦＩ】
G06N20/00
【審査請求】未請求
【請求項の数】13
【出願形態】ＯＬ
(21)【出願番号】P 2023057104
(22)【出願日】2023-03-31
(71)【出願人】
【識別番号】000108085
【氏名又は名称】セコム株式会社
(74)【代理人】
【識別番号】100103850
【弁理士】
【氏名又は名称】田中 秀▲てつ▼
(74)【代理人】
【識別番号】100114177
【弁理士】
【氏名又は名称】小林 龍
(74)【代理人】
【識別番号】100066980
【弁理士】
【氏名又は名称】森 哲也
(72)【発明者】
【氏名】氏家 秀紀
(72)【発明者】
【氏名】高橋 文彦
(72)【発明者】
【氏名】西村 拓真
(72)【発明者】
【氏名】能上 絢香
(72)【発明者】
【氏名】佐藤 昌宏
(72)【発明者】
【氏名】黒川 高晴
(57)【要約】
【課題】ある学習モデルにより入力データのクラスを識別した推論結果や入力データを説明変数として目的変数を予測した推論結果の確信度が低い場合に、より信頼性の高い推論結果を取得できるデータ判定装置を提供する。
【解決手段】データ判定装置１０は、入力データのクラスを識別する基本モデル４０と、基本モデル４０が入力データのクラスを識別した結果である推論結果の確信度を算出する確信度算出部４３と、推論結果の確信度が所定値未満の場合に、基本モデル４０と所定の関係性を有する学習モデルとして選択された参照モデル４１によって入力データのクラスを識別した推論結果に基づいて、入力データのクラスを判定するデータ判定部４４とを備える。
【選択図】図２
【解決手段】データ判定装置１０は、入力データのクラスを識別する基本モデル４０と、基本モデル４０が入力データのクラスを識別した結果である推論結果の確信度を算出する確信度算出部４３と、推論結果の確信度が所定値未満の場合に、基本モデル４０と所定の関係性を有する学習モデルとして選択された参照モデル４１によって入力データのクラスを識別した推論結果に基づいて、入力データのクラスを判定するデータ判定部４４とを備える。
【選択図】図２
【特許請求の範囲】
【請求項1】
入力データのクラスを識別する基本モデルと、
前記基本モデルが前記入力データのクラスを識別した結果である推論結果の確信度を算出する確信度算出部と、
前記推論結果の確信度が所定値未満の場合に、前記基本モデルと所定の関係性を有する学習モデルとして選択された参照モデルによって前記入力データのクラスを識別した推論結果に基づいて、前記入力データのクラスを判定するデータ判定部と、
を備えることを特徴とするデータ判定装置。
前記基本モデルが前記入力データのクラスを識別した結果である推論結果の確信度を算出する確信度算出部と、
前記推論結果の確信度が所定値未満の場合に、前記基本モデルと所定の関係性を有する学習モデルとして選択された参照モデルによって前記入力データのクラスを識別した推論結果に基づいて、前記入力データのクラスを判定するデータ判定部と、
を備えることを特徴とするデータ判定装置。
【請求項2】
入力データを説明変数として目的変数を予測する基本モデルと、
前記基本モデルが前記入力データに対する目的変数を予測した結果である推論結果の確信度を算出する確信度算出部と、
前記推論結果の確信度が所定値未満の場合に、前記基本モデルと所定の関係性を有する学習モデルとして選択された参照モデルによって前記入力データに対する目的変数を予測した推論結果に基づいて、前記入力データに対する目的変数を判定するデータ判定部と、
を備えることを特徴とするデータ判定装置。
前記基本モデルが前記入力データに対する目的変数を予測した結果である推論結果の確信度を算出する確信度算出部と、
前記推論結果の確信度が所定値未満の場合に、前記基本モデルと所定の関係性を有する学習モデルとして選択された参照モデルによって前記入力データに対する目的変数を予測した推論結果に基づいて、前記入力データに対する目的変数を判定するデータ判定部と、
を備えることを特徴とするデータ判定装置。
【請求項3】
前記参照モデルは、前記所定の関係性として、前記基本モデルと前記参照モデルとの間の相補性に基づいて選択された学習モデルであることを特徴とする請求項１又は２に記載のデータ判定装置。
【請求項4】
前記基本モデルと前記参照モデルとの間の前記相補性は、前記基本モデルによる推論結果と前記参照モデルによる推論結果との間の相関に基づいて設定されることを特徴とする請求項３に記載のデータ判定装置。
【請求項5】
前記参照モデルは、前記所定の関係性として、前記基本モデルが利用される環境の属性と前記参照モデルが利用される環境の属性との間の類似性に基づいて選択された学習モデルであることを特徴とする請求項１又は２に記載のデータ判定装置。
【請求項6】
前記参照モデルは、前記所定の関係性として、前記基本モデルの代替として過去に前記参照モデルが利用された利用履歴に基づいて選択された学習モデルであることを特徴とする請求項１又は２に記載のデータ判定装置。
【請求項7】
前記確信度算出部は、前記入力データが入力された場合に前記基本モデルから出力される識別スコア、前記識別スコアと判定閾値との乖離量、前記入力データを摂動させた場合の前記識別スコアの変動量、前記基本モデルにより算出された前記推論結果の不確実性、前記基本モデルの使用を開始してからの経過期間の期間長のうち少なくとも１つに基づいて前記確信度を算出することを特徴とする請求項１に記載のデータ判定装置。
【請求項8】
前記確信度算出部は、前記入力データを摂動させた場合の前記推論結果の変動量、前記基本モデルにより算出された前記推論結果の不確実性、前記基本モデルの使用を開始してからの経過期間の期間長のうち少なくとも１つに基づいて前記確信度を算出することを特徴とする請求項２に記載のデータ判定装置。
【請求項9】
前記基本モデルの推論結果の確信度が所定値未満の場合に前記参照モデルとして推論結果を出力させる学習モデルの候補リストを設定する利用者の操作入力を受け付ける入力受付部と、
複数の前記利用者ごとに設定された前記基本モデルの複数の前記候補リストを記憶する記憶部と、
を備え、
前記基本モデルの推論結果の確信度が所定値未満の場合に、前記データ判定部は、当該基本モデルについて記憶された前記複数の候補リストに基づいて推論結果を出力させる前記参照モデルを選択する、
ことを特徴とする請求項１又は２に記載のデータ判定装置。
複数の前記利用者ごとに設定された前記基本モデルの複数の前記候補リストを記憶する記憶部と、
を備え、
前記基本モデルの推論結果の確信度が所定値未満の場合に、前記データ判定部は、当該基本モデルについて記憶された前記複数の候補リストに基づいて推論結果を出力させる前記参照モデルを選択する、
ことを特徴とする請求項１又は２に記載のデータ判定装置。
【請求項10】
入力データのクラスを識別する基本モデル及び複数の参照モデルと、
前記基本モデルが前記入力データのクラスを識別した結果である推論結果の確信度を算出する確信度算出部と、
前記基本モデルと前記参照モデルとの間の各々の所定の関係性を利用者に表示する表示部と、
前記複数の参照モデルのうち入力データの識別に使用する１以上の参照モデルを選択する前記利用者の操作入力を受け付ける入力受付部と、
前記推論結果の確信度が所定値未満の場合に、前記利用者によって選択された参照モデルによって前記入力データのクラスを識別した推論結果に基づいて、前記入力データのクラスを判定するデータ判定部と、
を備えることを特徴とするデータ判定装置。
前記基本モデルが前記入力データのクラスを識別した結果である推論結果の確信度を算出する確信度算出部と、
前記基本モデルと前記参照モデルとの間の各々の所定の関係性を利用者に表示する表示部と、
前記複数の参照モデルのうち入力データの識別に使用する１以上の参照モデルを選択する前記利用者の操作入力を受け付ける入力受付部と、
前記推論結果の確信度が所定値未満の場合に、前記利用者によって選択された参照モデルによって前記入力データのクラスを識別した推論結果に基づいて、前記入力データのクラスを判定するデータ判定部と、
を備えることを特徴とするデータ判定装置。
【請求項11】
入力データを説明変数として目的変数を予測する基本モデル及び複数の参照モデルと、
前記基本モデルが前記入力データに対する目的変数を予測した結果である推論結果の確信度を算出する確信度算出部と、
前記基本モデルと前記参照モデルとの間の各々の所定の関係性を利用者に表示する表示部と、
前記複数の参照モデルのうち目的変数の予測に使用する１以上の参照モデルを選択する前記利用者の操作入力を受け付ける入力受付部と、
前記推論結果の確信度が所定値未満の場合に、前記利用者によって選択された参照モデルによって前記入力データに対する目的変数を予測した推論結果に基づいて、前記入力データに対する目的変数を判定するデータ判定部と、
を備えることを特徴とするデータ判定装置。
前記基本モデルが前記入力データに対する目的変数を予測した結果である推論結果の確信度を算出する確信度算出部と、
前記基本モデルと前記参照モデルとの間の各々の所定の関係性を利用者に表示する表示部と、
前記複数の参照モデルのうち目的変数の予測に使用する１以上の参照モデルを選択する前記利用者の操作入力を受け付ける入力受付部と、
前記推論結果の確信度が所定値未満の場合に、前記利用者によって選択された参照モデルによって前記入力データに対する目的変数を予測した推論結果に基づいて、前記入力データに対する目的変数を判定するデータ判定部と、
を備えることを特徴とするデータ判定装置。
【請求項12】
互いに異なる環境で取得された入力データを入力し、当該入力データのクラスを識別する複数の基本モデルと、
第１の前記基本モデルを用いて第１の入力データのクラスを識別した結果である推論結果の確信度を算出する確信度算出部と、
前記推論結果の確信度が所定値未満の場合に、前記第１の基本モデルと所定の関係性を有する第２の前記基本モデルを選択し、当該第２の基本モデルを用いて前記第１の入力データのクラスを識別した推論結果に基づいて、前記第１の入力データのクラスを判定するデータ判定部と、
を備えることを特徴とするデータ判定システム。
第１の前記基本モデルを用いて第１の入力データのクラスを識別した結果である推論結果の確信度を算出する確信度算出部と、
前記推論結果の確信度が所定値未満の場合に、前記第１の基本モデルと所定の関係性を有する第２の前記基本モデルを選択し、当該第２の基本モデルを用いて前記第１の入力データのクラスを識別した推論結果に基づいて、前記第１の入力データのクラスを判定するデータ判定部と、
を備えることを特徴とするデータ判定システム。
【請求項13】
互いに異なる環境で取得された入力データを入力し、当該入力データを説明変数として目的変数を予測する複数の基本モデルと、
第１の前記基本モデルを用いて第１の入力データを説明変数として目的変数を予測した結果である推論結果の確信度を算出する確信度算出部と、
前記推論結果の確信度が所定値未満の場合に、前記第１の基本モデルと所定の関係性を有する第２の前記基本モデルを選択し、当該第２の基本モデルを用いて前記第１の入力データに対する目的変数を予測した推論結果に基づいて、前記第１の入力データに対する目的変数を判定するデータ判定部と、
を備えることを特徴とするデータ判定システム。
第１の前記基本モデルを用いて第１の入力データを説明変数として目的変数を予測した結果である推論結果の確信度を算出する確信度算出部と、
前記推論結果の確信度が所定値未満の場合に、前記第１の基本モデルと所定の関係性を有する第２の前記基本モデルを選択し、当該第２の基本モデルを用いて前記第１の入力データに対する目的変数を予測した推論結果に基づいて、前記第１の入力データに対する目的変数を判定するデータ判定部と、
を備えることを特徴とするデータ判定システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、データ判定装置及びデータ判定システムに関する。
【背景技術】
【0002】
入力データを識別したり入力データを説明変数として目的変数を予測するための手段として、サポートベクターマシン、ニューラルネットワーク、ブースティングなどの学習モデルが広く活用されている。
下記特許文献１には、初期設定の学習データを用いた学習により構成された既存の識別器と、新たに設定された学習データを用いた学習により新規の識別器を一又は複数構成し、これらの識別器の判別精度をそれぞれ算出し、最も判別精度に優れた識別器を選択して、既存の識別器を選択された識別器に切り替える情報処理装置が記載されている。
下記特許文献１には、初期設定の学習データを用いた学習により構成された既存の識別器と、新たに設定された学習データを用いた学習により新規の識別器を一又は複数構成し、これらの識別器の判別精度をそれぞれ算出し、最も判別精度に優れた識別器を選択して、既存の識別器を選択された識別器に切り替える情報処理装置が記載されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】国際公開第２０１０／０５０３３４号パンフレット
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、最も判別精度に優れた識別器として選択された識別器が、あらゆる入力データに対して高精度に識別できるとは限らない。ある入力データのクラスを識別器が識別した場合に、識別結果の確信度が低い場合がある。例えば、入力データに対して算出した識別スコアと判定閾値との比較によりクラスを判定する場合に、識別スコアが判定閾値を超えてもその差があまり大きくない場合に確信度が低いと考えられる。このように識別結果の確信度が低い場合には、そのまま識別結果を信用して利用することはあまり好ましくない。
本発明は、上記の問題点を鑑みてなされたものであり、ある学習モデルにより入力データのクラスを識別した推論結果や入力データを説明変数として目的変数を予測した推論結果の確信度が低い場合に、より信頼性の高い推論結果を取得できるデータ判定装置を提供することを目的とする。
本発明は、上記の問題点を鑑みてなされたものであり、ある学習モデルにより入力データのクラスを識別した推論結果や入力データを説明変数として目的変数を予測した推論結果の確信度が低い場合に、より信頼性の高い推論結果を取得できるデータ判定装置を提供することを目的とする。
【課題を解決するための手段】
【0005】
本発明の一形態によるデータ判定装置は、入力データのクラスを識別する基本モデルと、基本モデルが入力データのクラスを識別した結果である推論結果の確信度を算出する確信度算出部と、推論結果の確信度が所定値未満の場合に、基本モデルと所定の関係性を有する学習モデルとして選択された参照モデルによって入力データのクラスを識別した推論結果に基づいて、入力データのクラスを判定するデータ判定部と、を備える。
【0006】
本発明の他の形態によるデータ判定装置は、入力データを説明変数として目的変数を予測する基本モデルと、基本モデルが入力データに対する目的変数を予測した結果である推論結果の確信度を算出する確信度算出部と、推論結果の確信度が所定値未満の場合に、基本モデルと所定の関係性を有する学習モデルとして選択された参照モデルによって入力データに対する目的変数を予測した推論結果に基づいて、入力データに対する目的変数を判定するデータ判定部と、を備える。
【0007】
本発明の更なる他の形態によるデータ判定装置は、入力データのクラスを識別する基本モデル及び複数の参照モデルと、基本モデルが入力データのクラスを識別した結果である推論結果の確信度を算出する確信度算出部と、基本モデルと参照モデルとの間の各々の所定の関係性を利用者に表示する表示部と、複数の参照モデルのうち入力データの識別に使用する１以上の参照モデルを選択する利用者の操作入力を受け付ける入力受付部と、推論結果の確信度が所定値未満の場合に、利用者によって選択された参照モデルによって入力データのクラスを識別した推論結果に基づいて、入力データのクラスを判定するデータ判定部と、を備える。
【0008】
本発明の更なる他の形態によるデータ判定装置は、入力データを説明変数として目的変数を予測する基本モデル及び複数の参照モデルと、基本モデルが入力データに対する目的変数を予測した結果である推論結果の確信度を算出する確信度算出部と、基本モデルと参照モデルとの間の各々の所定の関係性を利用者に表示する表示部と、複数の参照モデルのうち目的変数の予測に使用する１以上の参照モデルを選択する利用者の操作入力を受け付ける入力受付部と、推論結果の確信度が所定値未満の場合に、利用者によって選択された参照モデルによって入力データに対する目的変数を予測した推論結果に基づいて、入力データに対する目的変数を判定するデータ判定部を、を備える。
【発明の効果】
【0009】
本発明によれば、ある学習モデルにより入力データのクラスを識別した推論結果や入力データを説明変数として目的変数を予測した推論結果の確信度が低い場合に、より信頼性の高い推論結果を取得できるデータ判定装置を提供できる。
【図面の簡単な説明】
【0010】
【図1】本発明の実施形態のデータ判定システムの全体構成の一例の概略図である。
【図2】第１実施形態のデータ判定装置の機能構成の一例を示すブロック図である。
【図3】（ａ）は識別モデル間の相関係数の一例の模式図であり、（ｂ）は（ａ）の相関係数を算出するために使用したテストデータの識別スコアの一例の模式図である。
【図4】第１実施形態のデータ判定方法の一例のフローチャートである。
【図5】第２実施形態のデータ判定装置の機能構成の一例を示すブロック図である。
【図6】第２実施形態のデータ判定方法の一例のフローチャートである。
【図7】第３実施形態のデータ判定装置の機能構成の一例を示すブロック図である。
【図8】第３実施形態のデータ判定方法の一例のフローチャートである。
【発明を実施するための形態】
【0011】
以下において、図面を参照して本発明の実施形態を説明する。なお、以下に示す本発明の実施形態は、本発明の技術的思想を具体化するための装置や方法を例示するものであって、本発明の技術的思想は、構成部品の構造、配置等を下記のものに特定するものではない。本発明の技術的思想は、特許請求の範囲に記載された請求項が規定する技術的範囲内において、種々の変更を加えることができる。
【0012】
本発明の実施形態の一例として、入力データとして画像を受け付けて、入力画像のクラスを識別するデータ判定装置の例を説明する。本実施形態におけるデータ判定装置は、入力画像の中に予め定めた対象物（例えば人間）が含まれているか否かを判定する２クラス分類問題を扱う（人物の識別）。しかし、データ判定装置は、人物識別だけでなく、例えば顔認証、人物同定（Re-Identification:ＲｅＩＤ）、入力画像中の人物位置を検知する人物検知を行ってもよい。また、本発明はこれに限定されず、例えば可視画像だけでなく熱画像や距離画像等を入力画像とし、人を識別したり、事前に定義した対象物を検知してもよい。また例えば動画像を入力データとして受け付けて、人物の行動認識をしてもよい。また例えば点群データを入力データとして受け付けて物体のカテゴリを識別するものであってもよい。また例えば入力データとして音声信号を受け付けて入力音声のクラスを識別する識別装置に対しても適用できる。
以下の説明では、図１に示すように特定の監視領域１内に存在する識別対象２（図１の例では人物）を識別するために、監視領域１を監視するためのカメラ等のセンサ３と、センサ３の出力値を入力データとして識別対象２を識別する学習モデル（識別器、識別モデル）とを導入する場合を想定する。
以下の説明では、図１に示すように特定の監視領域１内に存在する識別対象２（図１の例では人物）を識別するために、監視領域１を監視するためのカメラ等のセンサ３と、センサ３の出力値を入力データとして識別対象２を識別する学習モデル（識別器、識別モデル）とを導入する場合を想定する。
【0013】
（第１実施形態）
図１は、本発明の実施形態のデータ判定システムの全体構成の一例の概略図である。データ判定システムは、監視領域１やその近傍に設置されるデータ判定装置１０と、構内ＬＡＮ又はインターネット等の通信ネットワークを介してデータ判定装置１０と接続されるサーバ装置２０とを有する。
図１は、本発明の実施形態のデータ判定システムの全体構成の一例の概略図である。データ判定システムは、監視領域１やその近傍に設置されるデータ判定装置１０と、構内ＬＡＮ又はインターネット等の通信ネットワークを介してデータ判定装置１０と接続されるサーバ装置２０とを有する。
【0014】
データ判定装置１０は、入力部１２、通信部１３、記憶部１４、制御部１５及び出力部１６を備える。これらのうちの記憶部１４及び制御部１５はいわゆるコンピュータで実現でき、入力部１２、通信部１３及び出力部１６は、当該コンピュータの周辺機器として実現できる。
【0015】
入力部１２は、利用者に操作されてデータの入力等に用いられるキーボード、マウス等のユーザーインターフェースを含む。入力部１２は、制御部１５に接続され、利用者の操作を操作信号に変換して制御部１５に出力する。
また、入力部１２はＤＶＤ（Digital Versatile Disc）ドライブ、ＵＳＢ（Universal Serial Bus）インターフェースを含んでもよい。入力部１２は、データをファイルとして制御部１５に入力し、およびデータをファイルとして制御部１５から出力する。
また、入力部１２はＤＶＤ（Digital Versatile Disc）ドライブ、ＵＳＢ（Universal Serial Bus）インターフェースを含んでもよい。入力部１２は、データをファイルとして制御部１５に入力し、およびデータをファイルとして制御部１５から出力する。
【0016】
通信部１３は、有線通信又は無線通信によりデータ判定装置１０とサーバ装置２０との間でデータの送受信を行うネットワークインターフェース等を含む。
記憶部１４は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等のメモリ装置であり、各種プログラムや各種データを記憶する。
制御部１５は、センサ３が写した入力データを取得し、入力データのクラスを識別するコントローラであり、ＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＭＣＵ（Micro Control Unit）、ＧＰＵ（Graphics Processing Unit）等の演算装置（プロセッサ）で構成される。
記憶部１４は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等のメモリ装置であり、各種プログラムや各種データを記憶する。
制御部１５は、センサ３が写した入力データを取得し、入力データのクラスを識別するコントローラであり、ＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＭＣＵ（Micro Control Unit）、ＧＰＵ（Graphics Processing Unit）等の演算装置（プロセッサ）で構成される。
【0017】
制御部１５は、記憶部１４と接続され、記憶部１４からコンピュータプログラムを読み出して実行することにより各種処理部として動作し、各種データを記憶部１４に記憶したり、これらデータを読み出す。以下に説明するデータ判定装置１０の機能は、記憶部１４に記憶されたコンピュータプログラムを制御部１５が実行することにより実現される。
また制御部１５は、入力部１２と接続されて利用者によるデータ判定装置１０に対する操作入力を受け付ける。
また制御部１５は、入力部１２と接続されて利用者によるデータ判定装置１０に対する操作入力を受け付ける。
【0018】
また制御部１５は、出力部１６に接続され、制御部１５による識別対象２の識別結果を出力部１６に出力する。
制御部１５は、通信部１３とも接続され、通信部１３を経由してサーバ装置２０との間で各種データを送受信する。例えば制御部１５は、センサ３が写した識別対象２の識別に使用する学習モデル（識別器、識別モデル）である参照モデルをサーバ装置２０から取得する。
サーバ装置２０の記憶部２２には、後述する参照モデル４１としてデータ判定装置１０に利用可能な複数の参照モデル２４ａ、２４ｂ、２４ｃ…が記憶されている。以下の説明において参照モデル２４ａ、２４ｂ、２４ｃ…を総称して「参照モデル２４」と表記することがある。
制御部１５は、通信部１３とも接続され、通信部１３を経由してサーバ装置２０との間で各種データを送受信する。例えば制御部１５は、センサ３が写した識別対象２の識別に使用する学習モデル（識別器、識別モデル）である参照モデルをサーバ装置２０から取得する。
サーバ装置２０の記憶部２２には、後述する参照モデル４１としてデータ判定装置１０に利用可能な複数の参照モデル２４ａ、２４ｂ、２４ｃ…が記憶されている。以下の説明において参照モデル２４ａ、２４ｂ、２４ｃ…を総称して「参照モデル２４」と表記することがある。
【0019】
参照モデル２４は、例えばニューラルネットワーク、サポートベクターマシン、ブースティングであってよい。例えば参照モデル２４は、センサ３の出力値から識別対象２の識別スコアを算出する識別スコア算出関数の係数等のパラメータと、識別器から出力される識別スコアと比較する判定閾値とにより表される。例えば、畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）のような多層のネットワークで識別器がモデル化されている場合には、識別スコア算出関数のパラメータは、ネットワークのフィルタ係数などの各層のパラメータであってよい。後述する基本モデル４０及び参照モデル４１、４１ａ、４１ｂ、４１ｃ…も同様である。以下の説明において、これらの識別器のパラメータを単に「パラメータ」と表記することがある。
【0020】
出力部１６は、液晶ディスプレイ又はＣＲＴ（Cathode Ray Tube）ディスプレイ等のディスプレイ装置を含んでよい。出力部１６は、制御部１５と接続され、データ判定装置１０による識別対象２の識別結果を表示してよい。出力部１６は、制御部１５による識別結果を音声情報として出力するための音声信号出力装置（スピーカ又はブザー等）を備えてもよい。また、出力部１６は、制御部１５による識別結果を外部装置（例えば遠隔のセンタ装置等）に送信してよい。
【0021】
サーバ装置２０は、通信部２１、記憶部２２と、制御部２３とを備える。通信部２１は、有線通信又は無線通信によりサーバ装置２０とデータ判定装置１０との間でデータの送受信を行うネットワークインターフェース等を含む。
記憶部２２は、ＲＯＭ、ＲＡＭ等のメモリ装置であり、各種プログラムや各種データを記憶する。記憶部２２は、複数の参照モデル２４ａ、２４ｂ、２４ｃ…を記憶する。
記憶部２２は、ＲＯＭ、ＲＡＭ等のメモリ装置であり、各種プログラムや各種データを記憶する。記憶部２２は、複数の参照モデル２４ａ、２４ｂ、２４ｃ…を記憶する。
【0022】
制御部２３は、データ判定装置１０の制御部１５と同様の演算装置を有し、サーバ装置２０の各種信号処理を実行する。
例えば制御部２３は、データ判定装置１０からの要求信号に応じて参照モデル２４を記憶部２２から読み出して、読み出した参照モデル２４をデータ判定装置１０に送信する。
例えば制御部２３は、データ判定装置１０からの要求信号に応じて参照モデル２４を記憶部２２から読み出して、読み出した参照モデル２４をデータ判定装置１０に送信する。
【0023】
図２は、第１実施形態のデータ判定装置１０の機能構成の一例を示すブロック図である。データ判定装置１０は、基本モデル４０と、参照モデル４１と、モデル取得手段４２と、確信度算出手段４３と、データ判定手段４４と、識別結果出力手段４５を備える。
図１の制御部１５は、基本モデル４０と、参照モデル４１と、確信度算出手段４３と、データ判定手段４４として機能する。通信部１３と制御部１５は、モデル取得手段４２として機能する。出力部１６は、識別結果出力手段４５として機能する。
図１の制御部１５は、基本モデル４０と、参照モデル４１と、確信度算出手段４３と、データ判定手段４４として機能する。通信部１３と制御部１５は、モデル取得手段４２として機能する。出力部１６は、識別結果出力手段４５として機能する。
【0024】
基本モデル４０と参照モデル４１は、センサ３が識別対象２を写した入力データを取得して、入力データのクラスを識別する学習モデル（識別器、識別モデル）である。例えば基本モデル４０と参照モデル４１は、入力データから識別対象２の識別スコアを算出して、識別スコアと判定閾値とを比較することにより入力データのクラスを判定する。
【0025】
例えば基本モデル４０は、監視領域１にデータ判定装置１０を設置する前に、監視領域１において想定される入力データのデータベース（想定環境データベース）を学習データとして用いて学習させた識別器であってよい。また、監視領域１にデータ判定装置１０を設置した後に、監視領域１においてセンサ３で実際に写した入力データを学習データとして基本モデル４０を学習（オンライン学習、又は再学習）させてもよい。
【0026】
参照モデル４１は、基本モデル４０とは異なる識別モデルである。例えば参照モデル４１は、サーバ装置２０の記憶部２２に記憶されている複数の参照モデル２４ａ、２４ｂ、２４ｃ…のうちから選択された識別器であってよい。
例えば参照モデル４１は、基本モデル４０の学習に使用された想定環境データベースとは異なる学習データを用いて学習した識別器であってよく、また監視領域１とは異なる環境において実際にセンサで写したデータを学習データとして用いて学習した識別器であってもよい。また例えば、参照モデル４１と基本モデル４０とは、互いに異なるパラメータの初期値から学習させた識別器であってもよい。また例えば参照モデル４１と基本モデル４０とは、手法、種類又はアルゴリズムの異なる識別器（例えばニューラルネットワーク、サポートベクターマシン、ブースティング、決定木など）であってもよい。
例えば参照モデル４１は、基本モデル４０の学習に使用された想定環境データベースとは異なる学習データを用いて学習した識別器であってよく、また監視領域１とは異なる環境において実際にセンサで写したデータを学習データとして用いて学習した識別器であってもよい。また例えば、参照モデル４１と基本モデル４０とは、互いに異なるパラメータの初期値から学習させた識別器であってもよい。また例えば参照モデル４１と基本モデル４０とは、手法、種類又はアルゴリズムの異なる識別器（例えばニューラルネットワーク、サポートベクターマシン、ブースティング、決定木など）であってもよい。
【0027】
モデル取得手段４２は、通信部１３を介して、サーバ装置２０の記憶部２２に記憶されている複数の参照モデル２４ａ、２４ｂ、２４ｃ…のいずれかを参照モデル４１として取得する。
なお、複数の参照モデル２４ａ、２４ｂ、２４ｃ…から、どのようにデータ判定装置１０の参照モデル４１を選択するかは後述する。
なお、複数の参照モデル２４ａ、２４ｂ、２４ｃ…から、どのようにデータ判定装置１０の参照モデル４１を選択するかは後述する。
【0028】
確信度算出手段４３は、基本モデル４０が入力データのクラスを識別した推論結果である識別結果の確信度Ｃを算出する。
例えば確信度算出手段４３は、算出した識別スコアと判定閾値との間の乖離量に基づいて確信度Ｃを算出してよい。例えば確信度算出手段４３は、識別スコアが判定閾値以上である場合、識別スコアと判定閾値との間の乖離量が小さいほど低くなる確信度Ｃを算出してよい。
また例えば確信度算出手段４３は、算出した識別スコア自身に基づいて確信度Ｃを算出してもよい。例えば識別スコアの大小に応じて確信度Ｃを算出してもよい。例えば識別スコアが小さいほど低くなる確信度Ｃを算出してもよい。
例えば確信度算出手段４３は、算出した識別スコアと判定閾値との間の乖離量に基づいて確信度Ｃを算出してよい。例えば確信度算出手段４３は、識別スコアが判定閾値以上である場合、識別スコアと判定閾値との間の乖離量が小さいほど低くなる確信度Ｃを算出してよい。
また例えば確信度算出手段４３は、算出した識別スコア自身に基づいて確信度Ｃを算出してもよい。例えば識別スコアの大小に応じて確信度Ｃを算出してもよい。例えば識別スコアが小さいほど低くなる確信度Ｃを算出してもよい。
【0029】
また例えば確信度算出手段４３は、入力データを摂動させた場合の識別スコアの変動量に基づいて確信度Ｃを算出してよい。例えば入力データにノイズを付与したり、入力データである映像を拡大又は縮小したり、入力データである映像の輝度を変動させたり、入力データである映像データを圧縮したり、圧縮率を変化することで、入力データを摂動させることができる。例えば確信度算出手段４３は、変動量が大きいほど低くなる確信度Ｃを算出してよい。
【0030】
また、多クラス識別において最大スコアのクラスを選択する場合は、２番目に高いスコアと比較してあまり差が無いと信頼度が低いと考えられる。例えば、３クラス問題の場合、出力されたスコアが０．５、０．２５、０．２５の場合と、０．５、０．４５、０．０５の場合を考える。両者とも最大スコアは０．５だが、後者の最大スコアは２番目のスコアと比較してわずかにスコアが高い状態である。このような場合は、最大のスコアを出したクラスを判定結果に用いるには信頼度が低いと考えられる。
そこで、例えば、最大スコアと２番目のスコアの差から確信度Ｃを算出することができる。この場合、最大スコアと２番目のスコアの差が小さいほど、確信度Ｃは小さくなる。
そこで、例えば、最大スコアと２番目のスコアの差から確信度Ｃを算出することができる。この場合、最大スコアと２番目のスコアの差が小さいほど、確信度Ｃは小さくなる。
【0031】
また、学習データの典型的なもの（分布）からの外れ度合いを確信度Ｃとしてもよい。すなわち、学習データの典型的なものから外れているものほど、確信度Ｃは低くなる。例えば、学習データに対して特徴量を計算して平均と共分散行列を求める。入力されたデータの確信度Ｃを計算するためには、入力されたデータの特徴量と学習データの平均と共分散行列からマハラノビス距離を計算し、距離が大きいものほど低い確信度Ｃを算出してよい。
【0032】
また例えば学習モデル（識別器、識別モデル）にネットワークを使う場合は、入力の摂動ではなく、ネットワーク側の摂動（Dropout）をした時のスコアのブレ度合いを確信度Ｃとしてもよい。
【0033】
また例えば基本モデル４０は、入力データから識別スコアを算出するとともに、識別スコアの「不確かさ」すなわち識別スコアの不確実性を算出してもよい。例えば、基本モデル４０は識別スコアと識別スコアの分散（不確かさ）という２種類を推定値として出力するネットワークであってよい。
このネットワークを学習する場合、損失関数は２種類の損失で構成する。１つは正解クラスと推定クラスの差異を算出する識別損失で、もう１つは分散の制約損失である。正解クラスと推定クラスの差異を算出する識別損失は、出力される分散が大きいデータに対しては損失が小さくなるように、また出力される分散が小さいデータに対しては損失が大きくなるように重みづけをする。一方で、分散の制約損失により全データに対して分散が大きくなることを防ぐ。
このネットワークを学習する場合、損失関数は２種類の損失で構成する。１つは正解クラスと推定クラスの差異を算出する識別損失で、もう１つは分散の制約損失である。正解クラスと推定クラスの差異を算出する識別損失は、出力される分散が大きいデータに対しては損失が小さくなるように、また出力される分散が小さいデータに対しては損失が大きくなるように重みづけをする。一方で、分散の制約損失により全データに対して分散が大きくなることを防ぐ。
【0034】
すなわち、ほとんどのデータで分散が大きくなってしまうと、損失関数が小さくなり意味がなくなってしまうため、そのような不都合を回避する。よって、識別損失と制約損失のトレードオフにより、不確さが高いデータほど分散が大きく、不確さが低いデータほど分散が小さくなるように学習される。このようなネットワークの学習は、例えばAlex Kendall and Yarin Gal著、"What Uncertainties Do We Need in Bayesian Deep Learning for Computer Vision"、Advances in neural information processing systems, p5574-5584、2017に記載されている。分散が大きいほどより低い確信度Ｃを算出してよい。すなわち不確実性が大きいほどより低い確信度Ｃを算出してよい。
【0035】
また例えば、不確かさを出力するものとして、Gaussian Processを利用してもよい。Gaussian Processでは、推定結果を分布として出力する。具体的には分布のパラメータである平均と分散を出力する。分散が大きいほどより低い確信度Ｃを算出してよい。
【0036】
また例えば、監視領域１にデータ判定装置１０を設置した後に、実際にセンサ３で写される入力データを学習データとして基本モデル４０を学習させる場合には、確信度算出手段４３は、データ判定装置１０を監視領域１に設置して基本モデル４０の使用を開始してからの経過期間の期間長に基づいて確信度Ｃを算出してよい。例えば確信度算出手段４３は、経過期間の期間長が短いほど低くなる確信度Ｃを算出してよい。
【0037】
確信度Ｃが所定値未満の場合に、参照モデル４１は、センサ３から取得した入力データのクラスを識別する。
データ判定手段４４は、確信度Ｃが所定値未満の場合に、参照モデル４１による識別結果に基づいて入力データのクラスを判定する。例えばデータ判定手段４４は、参照モデル４１が識別したクラスを入力データのクラスとして識別結果出力手段４５へ出力する。
確信度Ｃが所定値以上の場合には、基本モデル４０による識別結果に基づいて、入力データのクラスを判定する。例えばデータ判定手段４４は、基本モデル４０が識別したクラスを、入力データのクラスとして識別結果出力手段４５へ出力する。
データ判定手段４４は、確信度Ｃが所定値未満の場合に、参照モデル４１による識別結果に基づいて入力データのクラスを判定する。例えばデータ判定手段４４は、参照モデル４１が識別したクラスを入力データのクラスとして識別結果出力手段４５へ出力する。
確信度Ｃが所定値以上の場合には、基本モデル４０による識別結果に基づいて、入力データのクラスを判定する。例えばデータ判定手段４４は、基本モデル４０が識別したクラスを、入力データのクラスとして識別結果出力手段４５へ出力する。
【0038】
識別結果出力手段４５は、データ判定手段４４が判定したクラスを、入力データのクラスとして出力部１６のディスプレイ装置に表示する。また識別結果出力手段４５は、データ判定手段４４が判定した入力データのクラスを、外部装置（例えば遠隔のセンタ装置等）に送信してもよい。
【0039】
次に、サーバ装置２０に記憶されている複数の参照モデル２４ａ、２４ｂ、２４ｃ…から、どのようにデータ判定装置１０の参照モデル４１を選択するかについて説明する。
モデル取得手段４２は、記憶部２２に記憶されている参照モデル２４のうち、基本モデル４０と所定の関係性を有する識別器として選択されたものを、参照モデル４１として取得する。
モデル取得手段４２は、記憶部２２に記憶されている参照モデル２４のうち、基本モデル４０と所定の関係性を有する識別器として選択されたものを、参照モデル４１として取得する。
【0040】
例えば参照モデル４１は、上記の所定の関係性として、基本モデル４０と参照モデル２４との間の相補性に基づいて選択された識別器であってよい。
ここで、基本モデル４０と参照モデル２４との間の「相補性」とは、基本モデル４０が誤り易い入力データに対して参照モデル２４が正しい識別結果を出力する確率が高く、参照モデル２４が誤り易い入力データに対して基本モデル４０が正しい識別結果を出力する確率が高い関係性をいう。
ここで、基本モデル４０と参照モデル２４との間の「相補性」とは、基本モデル４０が誤り易い入力データに対して参照モデル２４が正しい識別結果を出力する確率が高く、参照モデル２４が誤り易い入力データに対して基本モデル４０が正しい識別結果を出力する確率が高い関係性をいう。
【0041】
例えば基本モデル４０と参照モデル２４との間の相補性は、基本モデル４０による識別結果と参照モデル２４による識別結果との間の相関に基づいて設定してよい。
図３（ａ）は識別モデル間の相関係数の一例の模式図であり、図３（ｂ）は図３（ａ）の相関係数を算出するために使用するテストデータＡ～Ｄに対する識別モデルＡ～Ｃ…の識別スコアの一例の模式図である。なお、図３（ｂ）のテストデータＡ～Ｄの正解クラスは既知であり、識別スコアは正解クラスに対する識別スコアである。
図３（ａ）は識別モデル間の相関係数の一例の模式図であり、図３（ｂ）は図３（ａ）の相関係数を算出するために使用するテストデータＡ～Ｄに対する識別モデルＡ～Ｃ…の識別スコアの一例の模式図である。なお、図３（ｂ）のテストデータＡ～Ｄの正解クラスは既知であり、識別スコアは正解クラスに対する識別スコアである。
【0042】
図３（ｂ）に示すように、データＡ、Ｂ、Ｃ及びＤを入力したときに識別モデルＡが算出した識別スコアは、それぞれ「０．９」、「０．４」、「０．３」及び「０．８」である。同様にデータＡ、Ｂ、Ｃ及びＤを入力したときに識別モデルＢが算出した識別スコアは、それぞれ「０．８」、「０．７」、「０．２」及び「０．７」である。またデータＡ、Ｂ、Ｃ及びＤを入力したときに識別モデルＣが算出した識別スコアは、それぞれ「０．１」、「０．７」、「０．７」及び「０．２」である。
【0043】
このように識別モデルＡが算出した識別スコアと識別モデルＢが算出した識別スコアとが類似している場合（すなわち相関が高い場合）には、識別モデルＡの識別スコアと識別モデルＢの識別スコアとの間の相関係数は高くなる。例えば図３（ａ）の例では、識別モデルＡと識別モデルＢとの間の相関係数は「０．７」となる。このような場合は、識別モデルＡの識別結果が正解であるとき識別モデルＢの識別結果も正解になり易く、また識別モデルＡが誤る場合には識別モデルＢも誤りやすい。
【0044】
一方で、識別モデルＣが算出した識別スコアと識別モデルＡが算出した識別スコアとが大きく異なっている。この結果、識別モデルＡと識別モデルＣの識別スコアの相関係数は「０．１」と低くなっている。このような場合は、識別モデルＡが誤り易い入力データに対して識別モデルＣが正しい識別結果を出力する確率が高く、反対に識別モデルＣが誤り易い入力データに対して識別モデルＡが正しい識別結果を出力する確率が高くなる。
【0045】
また、識別モデルＢが算出した識別スコアも、識別モデルＣが算出した識別スコアと異なっているが、識別モデルＢと識別モデルＣの識別スコアの相関は、識別モデルＡと識別モデルＣの識別スコアの相関よりも高い。このため、識別モデルＢと識別モデルＣの識別スコアの相関係数は「０．３」となり、識別モデルＡと識別モデルＣの識別スコアの相関係数「０．１」よりも大きくなっている。
【0046】
このように、基本モデル４０と参照モデル２４との識別結果との間の相関が低いほど、基本モデル４０と参照モデル２４との間の相補性が大きくなることが期待できる。したがって、基本モデル４０と参照モデル２４との識別結果との間の相関係数を１から引いた値を、基本モデル４０と参照モデル２４との間の相補性の大きさとして算出できる。
【0047】
このため例えば複数の参照モデル２４ａ、２４ｂ、２４ｃ…のうち、基本モデル４０との相補性が閾値以上である識別器を、参照モデル４１として選択してよい。例えば基本モデル４０が算出した識別スコアとの間の相関係数が、閾値以下の相関となる識別スコアを算出する識別器を参照モデル４１として選択してよい。
【0048】
また例えば、各テストデータに対する識別スコアに代えて、正解したか否かを表す１（正解）、０（不正解）を識別結果として用いて識別モデル同士の相関を求めてもよい。例えば、同じような正解・間違え方をした場合は、相関が高く（つまり、相補性が低く）、異なる正解・間違え方をしている場合は相関が低い（つまり、相補性が高い）。
そこで、識別モデルＡ及び識別モデルＢがそれぞれ正解したテストデータの不一致率（識別モデルＡと識別モデルＢの正否が一致しないテストデータの個数／テストデータの全データ数）を相補性として算出してもよい。
また例えば、識別モデルＡが間違えたデータのうち識別モデルＢが正解したテストデータの個数を、相補性として算出してもよい。
そこで、識別モデルＡ及び識別モデルＢがそれぞれ正解したテストデータの不一致率（識別モデルＡと識別モデルＢの正否が一致しないテストデータの個数／テストデータの全データ数）を相補性として算出してもよい。
また例えば、識別モデルＡが間違えたデータのうち識別モデルＢが正解したテストデータの個数を、相補性として算出してもよい。
【0049】
また例えば参照モデル４１は、前記所定の関係性として、基本モデル４０が利用される環境（すなわち監視領域１）の属性と参照モデル２４が利用された環境の属性との間の類似性に基づいて選択された識別器であってよい。例えば環境の属性は、屋内と屋外の違いや、環境の利用目的（例えば、店舗用物件であるか、居住用物件であるか、オフィス用物件であるか）であってよい。例えば、基本モデル４０が利用される環境の属性の一致度合いが閾値以上の類似性を有する属性の環境で利用された参照モデル２４を、参照モデル４１として選択してよい。
【0050】
例えば参照モデル２４が、現実環境において実際にセンサで写したデータを学習データとして用いて学習した識別器である場合には、参照モデル２４が利用される環境と基本モデル４０が利用される監視領域１の属性とが類似していれば、現実環境で取得したデータを用いて学習した参照モデル２４を用いることにより、監視領域１において精度の高い識別結果が得られることが期待できる。
【0051】
また例えば参照モデル４１は、所定の関係性として、基本モデル４０の代替として過去に参照モデル４１が利用された利用履歴に基づいて選択された識別器であってもよい。ここで、基本モデル４０の代替として参照モデル４１が利用された履歴とは、基本モデル４０の識別結果の確信度Ｃ（例えば確信度算出手段４３が算出した確信度Ｃ）が所定値よりも低いために、基本モデル４０の代わりに参照モデル４１の識別結果に基づいて入力データのクラスを判定した履歴（例えば参照モデル４１の識別したクラスが識別結果出力手段４５から出力された履歴）をいう。
例えば、複数の参照モデル２４ａ、２４ｂ、２４ｃ…のうち基本モデル４０の代替として過去に利用された回数や頻度が、予め定めた閾値よりも大きい識別器を、参照モデル４１として選択してよい。
例えば、複数の参照モデル２４ａ、２４ｂ、２４ｃ…のうち基本モデル４０の代替として過去に利用された回数や頻度が、予め定めた閾値よりも大きい識別器を、参照モデル４１として選択してよい。
【0052】
（動作）
図４は、第１実施形態のデータ判定方法の一例のフローチャートである。
ステップＳ１においてデータ判定装置１０は、監視領域１においてセンサ３が識別対象２を写した入力データを取得する。
ステップＳ２においてデータ判定装置１０の基本モデル４０は、入力データのクラスを識別する。
図４は、第１実施形態のデータ判定方法の一例のフローチャートである。
ステップＳ１においてデータ判定装置１０は、監視領域１においてセンサ３が識別対象２を写した入力データを取得する。
ステップＳ２においてデータ判定装置１０の基本モデル４０は、入力データのクラスを識別する。
【0053】
ステップＳ３において確信度算出手段４３は、基本モデル４０による識別結果の確信度Ｃを算出する。
ステップＳ４においてデータ判定手段４４は、確信度Ｃが所定値未満であるか否かを判定する。確信度Ｃが所定値未満でない場合（ステップＳ４：Ｎ）に処理はステップＳ５へ進む。確信度Ｃが所定値未満である場合（ステップＳ４：Ｙ）に処理はステップＳ６へ進む。
ステップＳ４においてデータ判定手段４４は、確信度Ｃが所定値未満であるか否かを判定する。確信度Ｃが所定値未満でない場合（ステップＳ４：Ｎ）に処理はステップＳ５へ進む。確信度Ｃが所定値未満である場合（ステップＳ４：Ｙ）に処理はステップＳ６へ進む。
【0054】
ステップＳ５においてデータ判定手段４４は、基本モデル４０による識別結果に基づいて入力データのクラスを判定する。識別結果出力手段４５は、データ判定手段４４が判定したクラスを入力データのクラスとして出力する。その後に処理は終了する。
ステップＳ６において参照モデル４１は、入力データのクラスを識別する。データ判定手段４４は、参照モデル４１による識別結果に基づいて入力データのクラスを判定する。識別結果出力手段４５は、データ判定手段４４が判定したクラスを入力データのクラスとして出力する。その後に処理は終了する。
ステップＳ６において参照モデル４１は、入力データのクラスを識別する。データ判定手段４４は、参照モデル４１による識別結果に基づいて入力データのクラスを判定する。識別結果出力手段４５は、データ判定手段４４が判定したクラスを入力データのクラスとして出力する。その後に処理は終了する。
【0055】
（変形例）
（１）データ判定装置１０の利用者は、データ判定装置１０で利用する参照モデル４１の候補を自分で選択して、参照モデル２４としてサーバ装置２０に記憶させてもよい。例えばデータ判定装置１０の利用者は、自分の感性（好み）に適合する識別器を選んで参照モデル２４としてサーバ装置２０に記憶させてもよい。
また、利用者に利用されるデータ判定装置１０の基本モデル４０が複数個存在する場合（例えば、利用者が複数の監視領域１の各々でデータ判定装置１０を利用する場合や、１つのデータ判定装置１０で利用する基本モデル４０を切り替えることができる場合）には、基本モデル４０毎に異なる参照モデル４１の候補を選択して参照モデル２４としてサーバ装置２０に記憶させてもよい。または、複数個の基本モデル４０に共通して同じ参照モデル４１の候補を選択して参照モデル２４としてサーバ装置２０に記憶させてもよい。
（１）データ判定装置１０の利用者は、データ判定装置１０で利用する参照モデル４１の候補を自分で選択して、参照モデル２４としてサーバ装置２０に記憶させてもよい。例えばデータ判定装置１０の利用者は、自分の感性（好み）に適合する識別器を選んで参照モデル２４としてサーバ装置２０に記憶させてもよい。
また、利用者に利用されるデータ判定装置１０の基本モデル４０が複数個存在する場合（例えば、利用者が複数の監視領域１の各々でデータ判定装置１０を利用する場合や、１つのデータ判定装置１０で利用する基本モデル４０を切り替えることができる場合）には、基本モデル４０毎に異なる参照モデル４１の候補を選択して参照モデル２４としてサーバ装置２０に記憶させてもよい。または、複数個の基本モデル４０に共通して同じ参照モデル４１の候補を選択して参照モデル２４としてサーバ装置２０に記憶させてもよい。
【0056】
（２）上記の変形例（１）のようにデータ判定装置１０の利用者が選んだ識別器を参照モデル２４としてサーバ装置２０に記憶させる場合に、サーバ装置２０は、利用者が選んだ識別器（ここでは「第１識別器」と表記する）に基づいて、第１識別器以外の他の識別器（ここでは「第２識別器」と表記する）を選んで、参照モデル２４としてサーバ装置２０に記憶させてもよい。
【0057】
例えば、データ判定装置１０の利用者（ここでは「第１利用者」と表記する）が選んだ第１識別器を、他の利用者（ここでは「第２利用者」と表記する）が参照モデル２４としてサーバ装置２０に記憶させるとともに、第１識別器以外の第２識別器も参照モデル２４としてサーバ装置２０に記憶させた場合を想定する。このような場合に、サーバ装置２０は、第１利用者のデータ判定装置１０で利用する参照モデル４１の候補である参照モデル２４として、第２識別器をサーバ装置２０に記憶してもよい。
【0058】
（３）上記の変形例（１）のようにデータ判定装置１０の利用者が選んだ識別器を参照モデル２４としてサーバ装置２０に記憶させる場合に、特定の基本モデルの推論結果の確信度が所定値未満の場合に参照モデルとして推論結果を出力させる学習モデルの候補リストを、複数の利用者ごとに設定してサーバ装置２０に記憶させてもよい。
データ判定手段４４は、特定の基本モデル４０の推論結果の確信度が所定値未満の場合に、特定の基本モデル４０に対して複数の利用者が記憶させた候補リストに基づいて推論結果を出力させる参照モデルを選択してもよい。
データ判定手段４４は、特定の基本モデル４０の推論結果の確信度が所定値未満の場合に、特定の基本モデル４０に対して複数の利用者が記憶させた候補リストに基づいて推論結果を出力させる参照モデルを選択してもよい。
【0059】
例えば、特定の基本モデルＸの推論結果の確信度が所定値未満の場合に参照モデルとして推論結果を出力させる学習モデルの候補リストを、複数の利用者Ａ、Ｂ、Ｃがそれぞれサーバ装置２０に記憶させた場合を想定する。このとき、他の利用者Ｄのデータ判定装置１０の基本モデル４０が特定の基本モデルＸであり、当該基本モデルＸの推論結果の確信度が所定値未満の場合に、データ判定手段４４は、複数の利用者Ａ、Ｂ、Ｃの候補リストにそれぞれ含まれる学習モデルに基づいて、推論結果を出力させる参照モデルを選択してもよい。例えば、複数の利用者Ａ、Ｂ、Ｃのそれぞれの候補リストのうち最も多くのリストに共通して含まれる学習モデルを参照モデルとして選択してもよい。
【0060】
（４）上述の所定の関係性「相補性」、「環境の属性の類似性」及び「利用履歴」のうち複数の関係性の組合せを用いて参照モデル２４を選択してもよい。例えば「相補性」を用いて選択された複数の参照モデル２４の候補の中から、さらに「環境の属性の類似性」に基づいて参照モデル２４を選択してもよい。例えば基本モデル４０と「相補性」が高い複数の参照モデル２４が存在する場合に、更にこれらの参照モデル２４と基本モデル４０との間の「環境の属性の類似性」が高いかに応じて、参照モデル２４を選択してもよい。
【0061】
（５）なお上記の例では、参照モデル２４、４１及び基本モデル４０が入力データのクラスを識別する識別モデルである場合の例を示したが、参照モデル２４、４１及び基本モデル４０は、入力データを説明変数として目的変数を予測する回帰モデルであってもよい。後述する第２実施形態及び第３実施形態においても同様である。
【0062】
確信度算出手段４３は、基本モデル４０が入力データに対する目的変数を予測した結果である推論結果の確信度Ｃを算出してよい。例えば入力データを摂動させた場合の回帰モデルである基本モデル４０の推論結果の変動量、基本モデル４０により算出された推論結果の不確実性、基本モデル４０の使用を開始してからの経過期間の期間長のうち少なくとも１つに基づいて確信度Ｃを算出してよい。
【0063】
また、データ判定手段４４は、推論結果の確信度Ｃが所定値未満の場合に、基本モデル４０と所定の関係性を有する学習モデルとして選択された参照モデル４１によって入力データに対する目的変数を予測した推論結果に基づいて、入力データに対する目的変数を判定してもよい。
例えば、基本モデル４０が識別モデルである場合と同様に、参照モデル４１は、所定の関係性として、基本モデル４０と参照モデル２４との間の相補性に基づいて選択された識別器であってよい。回帰モデルの場合についても、識別の場合と同様に相補性を計算できる。
例えば、基本モデル４０が識別モデルである場合と同様に、参照モデル４１は、所定の関係性として、基本モデル４０と参照モデル２４との間の相補性に基づいて選択された識別器であってよい。回帰モデルの場合についても、識別の場合と同様に相補性を計算できる。
【0064】
識別モデルの場合には、予め正解クラスが既知のテストデータを用い、正解クラスに対する識別スコアを算出し識別モデル間の相関を計算した。
これに対して回帰モデルの場合には、予め正解値が既知のテストデータを用い、テストデータを回帰モデルに入力して得られる推定値と正解値の誤差（差の絶対値）を用いて相補性を計算できる。
これに対して回帰モデルの場合には、予め正解値が既知のテストデータを用い、テストデータを回帰モデルに入力して得られる推定値と正解値の誤差（差の絶対値）を用いて相補性を計算できる。
【0065】
例えば、二つの回帰モデル（回帰モデルＡと回帰モデルＢ）があった場合、回帰モデルＡの誤差より回帰モデルＢの誤差が小さいテストデータが多いほど、回帰モデルＡに対する回帰モデルＢの相補性が高く、回帰モデルＡで推定精度が悪いデータに対して回帰モデルＢで推定精度が良くなる確率が高くなる。
【0066】
逆に、回帰モデルＢの誤差より回帰モデルＡの誤差が小さいテストデータが多いほど、回帰モデルＢに対する回帰モデルＡの相補性が高く、回帰モデルＢで推定精度が悪いデータに対して回帰モデルＡで推定精度が良くなる確率が高くなる。
よって、誤差が小さいテストデータの個数（または、テストデータの全データ数に対する割合）を相補性として算出することができる。
よって、誤差が小さいテストデータの個数（または、テストデータの全データ数に対する割合）を相補性として算出することができる。
【0067】
（第２実施形態）
図５は、第２実施形態のデータ判定装置１０の機能構成の一例を示すブロック図である。第２実施形態のデータ判定装置１０は、第１実施形態のデータ判定装置１０に類似する構成を有しており同一又は類似の構成要素には同じ参照符号を付与する。
第２実施形態のデータ判定装置１０は、複数の参照モデル４１ａ、４１ｂ、４１ｃ…と、モデル選択手段４６と、データ記憶手段４７を備える。
図５は、第２実施形態のデータ判定装置１０の機能構成の一例を示すブロック図である。第２実施形態のデータ判定装置１０は、第１実施形態のデータ判定装置１０に類似する構成を有しており同一又は類似の構成要素には同じ参照符号を付与する。
第２実施形態のデータ判定装置１０は、複数の参照モデル４１ａ、４１ｂ、４１ｃ…と、モデル選択手段４６と、データ記憶手段４７を備える。
【0068】
以下の説明において、複数の参照モデル４１ａ、４１ｂ、４１ｃ…を「参照モデル４１」として総称することがある。
図１の制御部１５は、参照モデル４１と、モデル選択手段４６して機能する。記憶部１４は、データ記憶手段４７として機能する。
図１の制御部１５は、参照モデル４１と、モデル選択手段４６して機能する。記憶部１４は、データ記憶手段４７として機能する。
【0069】
モデル取得手段４２は、通信部１３を介して、サーバ装置２０の記憶部２２に記憶されている参照モデル２４を参照モデル４１として取得する。
データ記憶手段４７には、基本モデル４０と参照モデル４１との間の関係性を表すデータである関係性データ４８が記憶されている。例えば関係性データ４８は、基本モデル４０と参照モデル４１との間の相補性を表すデータであってよい。
データ記憶手段４７には、基本モデル４０と参照モデル４１との間の関係性を表すデータである関係性データ４８が記憶されている。例えば関係性データ４８は、基本モデル４０と参照モデル４１との間の相補性を表すデータであってよい。
【0070】
また例えば関係性データ４８は、参照モデル４１としてサーバ装置２０から取得した参照モデル２４が利用された環境の属性と、基本モデル４０が利用される環境（すなわち監視領域１）の属性と参照モデル４１が利用される環境の属性との間の類似性を表すデータであってもよい。
また例えば関係性データ４８は、基本モデル４０の代替として過去に参照モデル４１が利用された利用履歴を表すデータであってもよい。
また例えば関係性データ４８は、基本モデル４０の代替として過去に参照モデル４１が利用された利用履歴を表すデータであってもよい。
【0071】
確信度Ｃが所定値未満の場合に、モデル選択手段４６は、関係性データ４８に基づいて、複数の参照モデル４１ａ、４１ｂ、４１ｃ…のうち基本モデル４０と所定の関係性を有する参照モデル４１を選択する。
確信度Ｃが所定値未満の場合に、モデル選択手段４６によって選択された参照モデル４１は、センサ３から取得した入力データのクラスを識別する。
データ判定手段４４と識別結果出力手段４５の機能は、第１実施形態と同様である。
確信度Ｃが所定値未満の場合に、モデル選択手段４６によって選択された参照モデル４１は、センサ３から取得した入力データのクラスを識別する。
データ判定手段４４と識別結果出力手段４５の機能は、第１実施形態と同様である。
【0072】
図６は、第２実施形態のデータ判定方法の一例のフローチャートである。ステップＳ１１～Ｓ１５の処理は、図４を参照して説明したステップＳ１～Ｓ５の処理と同様である。
確信度Ｃが所定値未満である場合（ステップＳ１４：Ｙ）に処理はステップＳ１６へ進む。ステップＳ１６においてモデル選択手段４６は、複数の参照モデル４１ａ、４１ｂ、４１ｃ…のうち基本モデル４０と所定の関係性を有する参照モデル４１を選択する。
確信度Ｃが所定値未満である場合（ステップＳ１４：Ｙ）に処理はステップＳ１６へ進む。ステップＳ１６においてモデル選択手段４６は、複数の参照モデル４１ａ、４１ｂ、４１ｃ…のうち基本モデル４０と所定の関係性を有する参照モデル４１を選択する。
【0073】
ステップＳ１７において、モデル選択手段４６が選択した参照モデル４１は、入力データのクラスを識別する。
ステップＳ１８においてデータ判定手段４４は、参照モデル４１による識別結果に基づいて、入力データのクラスを判定する。識別結果出力手段４５は、データ判定手段４４が判定したクラスを入力データのクラスとして出力する。その後に処理は終了する。
ステップＳ１８においてデータ判定手段４４は、参照モデル４１による識別結果に基づいて、入力データのクラスを判定する。識別結果出力手段４５は、データ判定手段４４が判定したクラスを入力データのクラスとして出力する。その後に処理は終了する。
【0074】
（変形例）
（１）基本モデル４０が入力データのクラスを識別した結果である識別結果の確信度Ｃが所定値未満であり、モデル選択手段４６が第１の参照モデル４１αを選択した場合に、確信度算出手段４３は、第１の参照モデル４１αの識別結果の確信度である第２の確信度Ｃ２を算出してもよい。
第２の確信度Ｃ２が所定値未満である場合に、モデル選択手段４６は、基本モデル４０と所定の関係性を有するとともに、第１の参照モデル４１αと所定の関係性を有する第２の参照モデル４１βを選択してもよい。なお、基本モデル４０及び第１の参照モデル４１αの少なくとも一方と所定の関係性を有する第２の参照モデル４１βを選択してもよい。
（１）基本モデル４０が入力データのクラスを識別した結果である識別結果の確信度Ｃが所定値未満であり、モデル選択手段４６が第１の参照モデル４１αを選択した場合に、確信度算出手段４３は、第１の参照モデル４１αの識別結果の確信度である第２の確信度Ｃ２を算出してもよい。
第２の確信度Ｃ２が所定値未満である場合に、モデル選択手段４６は、基本モデル４０と所定の関係性を有するとともに、第１の参照モデル４１αと所定の関係性を有する第２の参照モデル４１βを選択してもよい。なお、基本モデル４０及び第１の参照モデル４１αの少なくとも一方と所定の関係性を有する第２の参照モデル４１βを選択してもよい。
【0075】
第１の参照モデル４１αとの相補性が閾値以上である参照モデル４１を第２の参照モデル４１βとして選択してもよい。また例えば、第１の参照モデル４１αが利用された環境の属性と閾値以上の類似性を有する属性の環境で利用された参照モデル４１を第２の参照モデル４１βとして選択してもよい。また例えば、第１の参照モデル４１αの代替として過去に利用された回数や頻度が、予め定めた閾値よりも大きい参照モデル４１を第２の参照モデル４１βとして選択してもよい。
【0076】
データ判定手段４４は、第２の参照モデル４１βによる識別結果に基づいて、入力データのクラスを判定してよい。
以下同様に、確信度算出手段４３は、第２の参照モデル４１βの識別結果の確信度である第３の確信度Ｃ３を算出してもよい。第３の確信度Ｃ３が所定値未満である場合に、モデル選択手段４６は、基本モデル４０、第１の参照モデル４１α及び第２の参照モデル４１βの各々と所定の関係性を有するとともに、所定の関係性を有する第３の参照モデル４１γを選択してもよい。データ判定手段４４は、第３の参照モデル４１γによる識別結果に基づいて、入力データのクラスを判定してよい。
なお、データ判定手段４４は、全ての参照モデル４１（第１の参照モデル４１α、第２の参照モデル４１β、及び第３の参照モデル４１γ）の識別結果に基づいて、入力データのクラスを判定してよい。例えば、全ての参照モデル４１の識別結果が一致した場合は当該識別結果を「正」として入力データのクラスを判定してよい。
以下同様に、確信度算出手段４３は、第２の参照モデル４１βの識別結果の確信度である第３の確信度Ｃ３を算出してもよい。第３の確信度Ｃ３が所定値未満である場合に、モデル選択手段４６は、基本モデル４０、第１の参照モデル４１α及び第２の参照モデル４１βの各々と所定の関係性を有するとともに、所定の関係性を有する第３の参照モデル４１γを選択してもよい。データ判定手段４４は、第３の参照モデル４１γによる識別結果に基づいて、入力データのクラスを判定してよい。
なお、データ判定手段４４は、全ての参照モデル４１（第１の参照モデル４１α、第２の参照モデル４１β、及び第３の参照モデル４１γ）の識別結果に基づいて、入力データのクラスを判定してよい。例えば、全ての参照モデル４１の識別結果が一致した場合は当該識別結果を「正」として入力データのクラスを判定してよい。
【0077】
（２）データ判定装置１０の機能の一部をサーバ装置２０に設けてもよい。例えば基本モデル４０、参照モデル４１、確信度算出手段４３、モデル選択手段４６をサーバ装置２０に設け、記憶部２２に記憶された参照モデル２４を読み出して基本モデル４０及び参照モデル４１として使用してもよい。
例えばサーバ装置２０は、複数の異なる環境において写される入力データのクラスをそれぞれ識別する複数の識別器を備えてもよい。サーバ装置２０は、監視領域１のデータ判定装置１０で利用する参照モデル４１として、監視領域１以外の環境で写したデータの識別に現在利用されている識別器を使用してもよい。
例えばサーバ装置２０は、複数の異なる環境において写される入力データのクラスをそれぞれ識別する複数の識別器を備えてもよい。サーバ装置２０は、監視領域１のデータ判定装置１０で利用する参照モデル４１として、監視領域１以外の環境で写したデータの識別に現在利用されている識別器を使用してもよい。
【0078】
（３）モデル選択手段４６は、基本モデル４０と所定の関係性を有する複数の参照モデル４１を選択してもよい。データ判定手段４４は、複数の参照モデル４１のそれぞれの識別結果に基づいて入力データのクラスを判定してもよい。例えば、複数の参照モデル４１によって最も多く判定されたクラスを最終的な判定結果としてよい。
【0079】
（４）また、データ判定装置１０は、サーバ装置２０に記憶されている参照モデル２４や、データ判定装置１０自身が備える参照モデル４１だけでなく、監視領域１以外の他の環境に設置された他のデータ判定装置において基本モデル４０として利用されている学習モデルを、データ判定装置１０の参照モデル４１として利用してよい。
例えば、モデル選択手段４６は、データ判定装置１０自身が備える基本モデル４０と他の環境に配置された他のデータ判定装置の基本モデル４０との関係性データに基づいて、データ判定装置１０の参照モデル４１として利用する他のデータ判定装置の基本モデル４０を選択してよい。そして、選択された他の環境に設置されたデータ判定装置に対して、データ判定装置１０自身のセンサ３から入力された入力データを送信し、他の環境に設置されたデータ判定装置に入力データを識別させて、その識別結果を取得してよい。そして、取得した識別結果に基づいてデータ判定装置１０自身の推論結果の妥当性を判定してよい。
例えば、モデル選択手段４６は、データ判定装置１０自身が備える基本モデル４０と他の環境に配置された他のデータ判定装置の基本モデル４０との関係性データに基づいて、データ判定装置１０の参照モデル４１として利用する他のデータ判定装置の基本モデル４０を選択してよい。そして、選択された他の環境に設置されたデータ判定装置に対して、データ判定装置１０自身のセンサ３から入力された入力データを送信し、他の環境に設置されたデータ判定装置に入力データを識別させて、その識別結果を取得してよい。そして、取得した識別結果に基づいてデータ判定装置１０自身の推論結果の妥当性を判定してよい。
【0080】
すなわち、データ判定システムは、互いに異なる環境で取得された入力データを入力し、入力データのクラスを識別する複数の基本モデル４０と、第１の基本モデル４０を用いて第１の入力データのクラスを識別した結果である推論結果の確信度を算出する確信度算出手段４３と、推論結果の確信度が所定値未満の場合に、第１の基本モデル４０と所定の関係性を有する第２の基本モデル４０を選択し、当該第２の基本モデル４０を用いて第１の入力データのクラスを識別した推論結果に基づいて、第１の入力データのクラスを判定するデータ判定手段４４を備えてもよい。
【0081】
また、データ判定システムは、互いに異なる環境で取得された入力データを入力し、当該入力データを説明変数として目的変数を予測する複数の基本モデル４０と、第１の基本モデル４０を用いて第１の入力データを説明変数として目的変数を予測した結果である推論結果の確信度を算出する確信度算出手段４３と、推論結果の確信度が所定値未満の場合に、第１の基本モデル４０と所定の関係性を有する第２の基本モデル４０を選択し、当該第２の基本モデル４０を用いて第１の入力データに対する目的変数を予測した推論結果に基づいて、第１の入力データに対する目的変数を判定するデータ判定手段４４を備えてもよい。
【0082】
（第３実施形態）
図７は、第３実施形態のデータ判定装置１０の機能構成の一例を示すブロック図である。第３実施形態のデータ判定装置１０は、第２実施形態のデータ判定装置１０に類似する構成を有しており同一又は類似の構成要素には同じ参照符号を付与する。
第３実施形態のデータ判定装置１０は、モデル選択入力受付手段４９と、識別結果選択入力受付手段５０を備える。
図１の入力部１２、制御部１５及び出力部１６は、モデル選択入力受付手段４９と、識別結果選択入力受付手段５０として機能する。
図７は、第３実施形態のデータ判定装置１０の機能構成の一例を示すブロック図である。第３実施形態のデータ判定装置１０は、第２実施形態のデータ判定装置１０に類似する構成を有しており同一又は類似の構成要素には同じ参照符号を付与する。
第３実施形態のデータ判定装置１０は、モデル選択入力受付手段４９と、識別結果選択入力受付手段５０を備える。
図１の入力部１２、制御部１５及び出力部１６は、モデル選択入力受付手段４９と、識別結果選択入力受付手段５０として機能する。
【0083】
確信度Ｃが所定値未満の場合に、モデル選択入力受付手段４９は、複数の参照モデル４１ａ、４１ｂ、４１ｃのうち入力データの識別に使用する参照モデル４１を選択する利用者の操作入力を、入力部１２から受け付ける。
例えばモデル選択入力受付手段４９は、利用者が参照モデル４１を選択する際の参考のために、基本モデル４０と参照モデル４１との間の関係性を表すデータである関係性データ４８を出力部１６のディスプレイ装置に表示してもよい。
例えばモデル選択入力受付手段４９は、利用者が参照モデル４１を選択する際の参考のために、基本モデル４０と参照モデル４１との間の関係性を表すデータである関係性データ４８を出力部１６のディスプレイ装置に表示してもよい。
【0084】
参照モデル４１を選択する利用者の操作入力をモデル選択入力受付手段４９が受け付けると、利用者によって選択された参照モデル４１は、センサ３から取得した入力データのクラスを識別する。
識別結果選択入力受付手段５０は、基本モデル４０の識別結果と参照モデル４１による識別結果とを出力部１６のディスプレイ装置に表示する。
識別結果選択入力受付手段５０は、基本モデル４０の識別結果と参照モデル４１による識別結果とを出力部１６のディスプレイ装置に表示する。
【0085】
識別結果選択入力受付手段５０は、基本モデル４０による識別結果と参照モデル４１による識別結果のうち、入力データのクラスとしてデータ判定装置１０から最終的に出力すべき識別結果を選択する利用者の操作入力を、入力部１２から受け付ける。
識別結果を選択する利用者の操作入力を識別結果選択入力受付手段５０が受け付けると、識別結果出力手段４５は、利用者が選択した識別結果を、入力データのクラスとして出力部１６のディスプレイ装置に表示する。また識別結果出力手段４５は、利用者が選択した識別結果を、外部装置に送信してもよい。
識別結果を選択する利用者の操作入力を識別結果選択入力受付手段５０が受け付けると、識別結果出力手段４５は、利用者が選択した識別結果を、入力データのクラスとして出力部１６のディスプレイ装置に表示する。また識別結果出力手段４５は、利用者が選択した識別結果を、外部装置に送信してもよい。
【0086】
なお、第３実施形態のデータ判定装置１０は、モデル選択入力受付手段４９と識別結果選択入力受付手段５０の両方を備えている必要はなく、いずれか一方のみを備えていてもよい。
【0087】
図８は、第３実施形態のデータ判定方法の一例のフローチャートである。ステップＳ２１～Ｓ２５の処理は、図４を参照して説明したステップＳ１～Ｓ５の処理と同様である。
確信度Ｃが所定値未満である場合（ステップＳ２４：Ｙ）に処理はステップＳ２６へ進む。ステップＳ２６においてモデル選択入力受付手段４９は、基本モデル４０と参照モデル４１との間の関係性データ４８を出力部１６のディスプレイ装置に表示する。
確信度Ｃが所定値未満である場合（ステップＳ２４：Ｙ）に処理はステップＳ２６へ進む。ステップＳ２６においてモデル選択入力受付手段４９は、基本モデル４０と参照モデル４１との間の関係性データ４８を出力部１６のディスプレイ装置に表示する。
【0088】
ステップＳ２７においてモデル選択入力受付手段４９は、入力データの識別に使用する参照モデル４１を選択する利用者の操作入力を、入力部１２から受け付ける。
利用者によって選択された参照モデル４１は、ステップＳ２８において入力データのクラスを識別する。
ステップＳ２９において識別結果選択入力受付手段５０は、基本モデル４０の識別結果と参照モデル４１による識別結果とを出力部１６のディスプレイ装置に表示する。
利用者によって選択された参照モデル４１は、ステップＳ２８において入力データのクラスを識別する。
ステップＳ２９において識別結果選択入力受付手段５０は、基本モデル４０の識別結果と参照モデル４１による識別結果とを出力部１６のディスプレイ装置に表示する。
【0089】
ステップＳ３０において識別結果選択入力受付手段５０は、基本モデル４０による識別結果と参照モデル４１による識別結果のうちのいずれかを選択する利用者の操作入力を、入力部１２から受け付ける。
ステップＳ３１において識別結果出力手段４５は、利用者が選択した識別結果を、入力データのクラスとして出力部１６のディスプレイ装置に表示する。また識別結果出力手段４５は、利用者が選択した識別結果を外部装置に送信する。その後に処理は終了する。
ステップＳ３１において識別結果出力手段４５は、利用者が選択した識別結果を、入力データのクラスとして出力部１６のディスプレイ装置に表示する。また識別結果出力手段４５は、利用者が選択した識別結果を外部装置に送信する。その後に処理は終了する。
【0090】
（変形例）
（１）上記の第２実施形態の変形例（１）のように、複数の参照モデル４１（例えば上記例では参照モデル４１α、４１β、４１γ）の識別結果が一致した場合には、識別結果選択入力受付手段５０において利用者の操作入力を受け付けることなく、識別結果出力手段４５が参照モデル４１による識別結果を出力してもよい。例えば図８のフローチャートにおいて、ステップＳ２９及びＳ３０をスキップしてもよい。
（１）上記の第２実施形態の変形例（１）のように、複数の参照モデル４１（例えば上記例では参照モデル４１α、４１β、４１γ）の識別結果が一致した場合には、識別結果選択入力受付手段５０において利用者の操作入力を受け付けることなく、識別結果出力手段４５が参照モデル４１による識別結果を出力してもよい。例えば図８のフローチャートにおいて、ステップＳ２９及びＳ３０をスキップしてもよい。
【0091】
（２）モデル選択入力受付手段４９は、利用者による複数の参照モデル４１の選択を許容してもよい。モデル選択入力受付手段４９に代えて、モデル選択手段４６が、基本モデル４０と所定の関係性を有する複数の参照モデル４１を選択してもよい。識別結果選択入力受付手段５０は、複数の参照モデル４１による識別結果を出力部１６のディスプレイ装置に表示して、その中から最終的に出力すべき識別結果を選択する利用者の操作入力を、入力部１２から受け付けてもよい。
【0092】
（３）モデル選択入力受付手段４９は、関係性データ４８を出力部１６のディスプレイ装置に表示する際に、上述の所定の関係性「相補性」、「環境の属性の類似性」及び「利用履歴」のうち複数の関係性の関係性データ４８を表示してもよい。モデル選択入力受付手段４９は、複数の関係性の関係性データ４８を同時に表示してもよく、異なるタイミングで順次表示してもよい。例えば「相補性」の関係性データ４８を先に表示して、「相補性」に基づいて複数の参照モデル４１を選択するユーザの操作入力を受け付けた後に、「環境の属性の類似性」の関係性データ４８を表示してもよい。そして「相補性」に基づいて選択された参照モデル４１の中から１つ又は複数の参照モデル４１を選択するユーザの操作入力を受け付けてもよい。
【0093】
（実施形態の効果）
（１）データ判定装置１０は、入力データのクラスを識別する基本モデル４０と、基本モデル４０が入力データのクラスを識別した結果である推論結果の確信度を算出する確信度算出手段４３と、推論結果の確信度が所定値未満の場合に、基本モデル４０と所定の関係性を有する学習モデルとして選択された参照モデル４１によって入力データのクラスを識別した推論結果に基づいて、入力データのクラスを判定するデータ判定手段４４と、を備える。
（１）データ判定装置１０は、入力データのクラスを識別する基本モデル４０と、基本モデル４０が入力データのクラスを識別した結果である推論結果の確信度を算出する確信度算出手段４３と、推論結果の確信度が所定値未満の場合に、基本モデル４０と所定の関係性を有する学習モデルとして選択された参照モデル４１によって入力データのクラスを識別した推論結果に基づいて、入力データのクラスを判定するデータ判定手段４４と、を備える。
【0094】
これにより、基本モデル４０による推論結果の確信度が低い場合に、より確信度が高い推論結果を出力する参照モデル４１を用いて入力データのクラスを判定することが可能となる。
また、センサが写した入力データのクラスを識別する学習モデルを、複数の異なる監視領域に個別に設置し、個々の監視領域で取得したデータを学習データとして用いて学習モデルを学習させてそれぞれの監視領域に学習モデルを適応させた場合に、他の監視領域において学習した学習モデルを参照モデル４１として使用して、複数の異なる監視領域の学習モデル同士を連携させることにより、個々の監視領域における識別精度を向上させることができる。
また、センサが写した入力データのクラスを識別する学習モデルを、複数の異なる監視領域に個別に設置し、個々の監視領域で取得したデータを学習データとして用いて学習モデルを学習させてそれぞれの監視領域に学習モデルを適応させた場合に、他の監視領域において学習した学習モデルを参照モデル４１として使用して、複数の異なる監視領域の学習モデル同士を連携させることにより、個々の監視領域における識別精度を向上させることができる。
【0095】
（２）データ判定装置１０は、入力データを説明変数として目的変数を予測する基本モデル４０と、基本モデル４０が入力データに対する目的変数を予測した結果である推論結果の確信度を算出する確信度算出手段４３と、推論結果の確信度が所定値未満の場合に、基本モデルと所定の関係性を有する学習モデルとして選択された参照モデル４１によって入力データに対する目的変数を予測した推論結果に基づいて、入力データに対する目的変数を判定するデータ判定手段４４と、を備える。
これにより、基本モデル４０による推論結果の確信度が低い場合に、より確信度が高い識別結果を出力する参照モデル４１を用いて入力データに対する目的変数を判定することが可能となる。
これにより、基本モデル４０による推論結果の確信度が低い場合に、より確信度が高い識別結果を出力する参照モデル４１を用いて入力データに対する目的変数を判定することが可能となる。
【0096】
（３）参照モデル４１は、所定の関係性として、基本モデル４０と参照モデル４１との間の相補性に基づいて選択された学習モデルであってよい。
これにより、基本モデル４０が誤り易い入力データに対して正しい識別結果を出力する確率が高い参照モデル４１を利用できる。
これにより、基本モデル４０が誤り易い入力データに対して正しい識別結果を出力する確率が高い参照モデル４１を利用できる。
【0097】
（４）基本モデル４０と参照モデル４１との間の相補性は、基本モデル４０による推論結果と参照モデル４１による推論結果との間の相関に基づいて設定してもよい。
これにより、同じデータに対して異なる推論結果を出力する学習モデルどうしを、相補性の大きな学習モデルとして関係付けることができる。
これにより、同じデータに対して異なる推論結果を出力する学習モデルどうしを、相補性の大きな学習モデルとして関係付けることができる。
【0098】
（５）参照モデル４１は、所定の関係性として、基本モデル４０が利用される環境の属性と参照モデル４１が利用される環境の属性との間の類似性に基づいて選択された学習モデルであってよい。
これにより、基本モデル４０が利用される環境の属性と類似する属性の環境で取得した入力データを学習データとして用いて学習した学習モデルを、参照モデル４１として選択できる。このような参照モデル４１を用いることにより、基本モデル４０の推論結果の確信度が低い場合であっても精度の高い推論結果を期待できる。
これにより、基本モデル４０が利用される環境の属性と類似する属性の環境で取得した入力データを学習データとして用いて学習した学習モデルを、参照モデル４１として選択できる。このような参照モデル４１を用いることにより、基本モデル４０の推論結果の確信度が低い場合であっても精度の高い推論結果を期待できる。
【0099】
（６）参照モデル４１は、所定の関係性として、基本モデル４０の代替として過去に参照モデルが利用された利用履歴に基づいて選択された学習モデルであってもよい。
このように過去に利用された実績がある参照モデル４１を利用することにより、基本モデル４０の推論結果の確信度が低い場合であっても精度の高い推論結果を期待できる。
このように過去に利用された実績がある参照モデル４１を利用することにより、基本モデル４０の推論結果の確信度が低い場合であっても精度の高い推論結果を期待できる。
【0100】
（７）基本モデル４０が識別モデルである場合に、確信度算出手段４３は、入力データが入力された場合に基本モデル４０から出力される識別スコア、識別スコアと判定閾値との乖離量、入力データを摂動させた場合の識別スコアの変動量、基本モデル４０により算出された推論結果の不確実性、基本モデル４０の使用を開始してからの経過期間の期間長のうち少なくとも１つに基づいて確信度を算出してよい。基本モデル４０が回帰モデルである場合に、確信度算出手段４３は、入力データを摂動させた場合の推論結果の変動量、基本モデル４０により算出された前記推論結果の不確実性、基本モデル４０の使用を開始してからの経過期間の期間長のうち少なくとも１つに基づいて確信度を算出してよい。
これにより、基本モデル４０の推論結果の確信度を定量的に評価することができる。
これにより、基本モデル４０の推論結果の確信度を定量的に評価することができる。
【0101】
（８）データ判定装置１０は、基本モデル４０の推論結果の確信度が所定値未満の場合に参照モデル４１として推論結果を出力させる学習モデルの候補リストを設定する利用者の操作入力を受け付ける入力受付手段と、複数の利用者ごとに設定された基本モデル４０の複数の候補リストを記憶する記憶手段と、を備えてもよい。データ判定手段４４は、基本モデル４０の推論結果の確信度が所定値未満の場合に、基本モデル４０について記憶された複数の候補リストに基づいて推論結果を出力させる参照モデル４１を選択してよい。
これにより利用者の嗜好に合う参照モデル４１を用いて、入力データのクラスの識別や、入力データを説明変数とする目的変数の予測が可能となる。
これにより利用者の嗜好に合う参照モデル４１を用いて、入力データのクラスの識別や、入力データを説明変数とする目的変数の予測が可能となる。
【0102】
（９）データ判定装置１０は、入力データのクラスを識別する基本モデル４０及び複数の参照モデル４１と、基本モデル４０が入力データのクラスを識別した結果である推論結果の確信度を算出する確信度算出手段４３と、基本モデルと参照モデルとの間の各々の所定の関係性を利用者に表示する表示部１６と、複数の参照モデル４１のうち入力データの識別に使用する１以上の参照モデル４１を選択する利用者の操作入力を受け付ける入力受付部１２と、推論結果の確信度が所定値未満の場合に、利用者によって選択された参照モデル４１によって入力データのクラスを識別した推論結果に基づいて、入力データのクラスを判定するデータ判定手段４４と、を備えてもよい。
これにより、基本モデル４０による推論結果の確信度が低い場合に、より確信度が高い推論結果を出力する参照モデル４１を用いて入力データのクラスを判定することが可能となる。
これにより、基本モデル４０による推論結果の確信度が低い場合に、より確信度が高い推論結果を出力する参照モデル４１を用いて入力データのクラスを判定することが可能となる。
【0103】
（１０）データ判定装置１０は、入力データを説明変数として目的変数を予測する基本モデル４０及び複数の参照モデル４１と、基本モデル４０が入力データに対する目的変数を予測した結果である推論結果の確信度を算出する確信度算出部４３と、基本モデル４０と参照モデル４３との間の各々の所定の関係性を利用者に表示する表示部１６と、複数の参照モデル４１のうち目的変数の予測に使用する１以上の参照モデル４１を選択する利用者の操作入力を受け付ける入力受付部と、推論結果の確信度が所定値未満の場合に、利用者によって選択された参照モデル４１によって入力データに対する目的変数を予測した推論結果に基づいて、入力データに対する目的変数を判定するデータ判定手段４４と、を備えてもよい。
これにより、基本モデル４０による推論結果の確信度が低い場合に、より確信度が高い識別結果を出力する参照モデル４１を用いて入力データに対する目的変数を判定することが可能となる。
これにより、基本モデル４０による推論結果の確信度が低い場合に、より確信度が高い識別結果を出力する参照モデル４１を用いて入力データに対する目的変数を判定することが可能となる。
【符号の説明】
【0104】
１…監視領域、２…識別対象、３…センサ、１０…データ判定装置、１２…入力部、１３、２１…通信部、１４、２２…記憶部、１５、２３…制御部、１６…出力部、２０…サーバ装置、２４、２４ａ～２４ｃ、４１、４１ａ～４１ｃ…参照モデル、４０…基本モデル、４２…モデル取得手段、４３…確信度算出手段、４４…データ判定手段、４５…識別結果出力手段、４６…モデル選択手段、４７…データ記憶手段、４８…関係性データ、４９…モデル選択入力受付手段、５０…識別結果選択入力受付手段
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】