知財求人 - 知財ポータルサイト「IP Force」
特開2024-141779複数のイベントの関係性を判定する説明可能ＡＩを有するプログラム、判定装置及び方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024141779
(43)【公開日】2024-10-10
(54)【発明の名称】複数のイベントの関係性を判定する説明可能ＡＩを有するプログラム、判定装置及び方法
(51)【国際特許分類】
G06N 20/00 20190101AFI20241003BHJP
【ＦＩ】
G06N20/00
【審査請求】未請求
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2023053607
(22)【出願日】2023-03-29
(71)【出願人】
【識別番号】000208891
【氏名又は名称】ＫＤＤＩ株式会社
(74)【代理人】
【識別番号】100135068
【弁理士】
【氏名又は名称】早原 茂樹
(72)【発明者】
【氏名】西村 康孝
(72)【発明者】
【氏名】武田 直人
(72)【発明者】
【氏名】池田 和史
(57)【要約】 （修正有）
【課題】複数のイベントの関係性を判定するプログラム、判定装置及び方法を提供する。
【解決手段】判定装置は、入力データＸのイベントｘ毎の重要度ｚを含む重要度データＺを算出する説明可能ＡＩエンジン、出力データＹについて最も高いスコアｐydecとなる判定要素ｙdecを決定する判定要素決定部及び重要度ｚが所定選択条件以上となる第１のイベントｘi及び第２のイベントｘjを選択する重要イベント選択部と、時系列データＸについて、第１のイベントｘi及び第２のイベントｘjの両方を疑似的に置換した第３の疑似入力データＸrep_i,jを生成する疑似データ生成部を有し、説明可能ＡＩエンジンに第３の疑似入力データＸrep_i,jを入力して、出力された第３の疑似出力データＹrep_i,jのスコアが、出力データＹのスコアよりも第１の所定閾値以上に低下した場合、入力データＸのイベントｘi及びｘjは、or関係にあると判定する。
【選択図】図２
【解決手段】判定装置は、入力データＸのイベントｘ毎の重要度ｚを含む重要度データＺを算出する説明可能ＡＩエンジン、出力データＹについて最も高いスコアｐydecとなる判定要素ｙdecを決定する判定要素決定部及び重要度ｚが所定選択条件以上となる第１のイベントｘi及び第２のイベントｘjを選択する重要イベント選択部と、時系列データＸについて、第１のイベントｘi及び第２のイベントｘjの両方を疑似的に置換した第３の疑似入力データＸrep_i,jを生成する疑似データ生成部を有し、説明可能ＡＩエンジンに第３の疑似入力データＸrep_i,jを入力して、出力された第３の疑似出力データＹrep_i,jのスコアが、出力データＹのスコアよりも第１の所定閾値以上に低下した場合、入力データＸのイベントｘi及びｘjは、or関係にあると判定する。
【選択図】図２
【特許請求の範囲】
【請求項1】
時系列の複数のイベントｘを含む入力データＸ（ｘ1～ｘN）を入力し、判定要素毎のスコアｐを表す出力データＹ（ｐ1～ｐM）を出力する説明可能ＡＩエンジンとしてコンピュータを機能させるプログラムにおいて、
説明可能ＡＩエンジンは、入力データＸのイベントｘ毎の重要度ｚを含む重要度データＺ（ｚ1～ｚN）を更に算出し、
出力データＹ（ｐ1～ｐM）について最も高いスコアｐydecとなる判定要素ｙdecを決定する判定要素決定手段と、
重要度ｚが所定選択条件以上となる第１のイベントｘi及び第２のイベントｘjを選択する重要イベント選択手段と、
時系列データＸについて、第１のイベントｘi及び第２のイベントｘjの両方を疑似的に置換した第３の疑似入力データＸrep_i,jを生成する疑似データ生成手段と
して機能させ、
説明可能ＡＩエンジンは、第３の疑似入力データＸrep_i,jを入力し、第３の疑似出力データＹrep_i,jを出力し、
第３の疑似出力データＹrep_i,jの判定要素ｙdecのスコアｐydec_rep_i,jが、出力データＹの判定要素ｙdecのスコアｐydecよりも第１の所定閾値以上に低下したか否かを判定する第１の条件判定手段と、
第１の条件判定手段によって真と判定された場合、入力データＸのイベントｘi及びｘjは、or関係にあると判定する関係判定手段と
してコンピュータを機能させることを特徴とするプログラム。
説明可能ＡＩエンジンは、入力データＸのイベントｘ毎の重要度ｚを含む重要度データＺ（ｚ1～ｚN）を更に算出し、
出力データＹ（ｐ1～ｐM）について最も高いスコアｐydecとなる判定要素ｙdecを決定する判定要素決定手段と、
重要度ｚが所定選択条件以上となる第１のイベントｘi及び第２のイベントｘjを選択する重要イベント選択手段と、
時系列データＸについて、第１のイベントｘi及び第２のイベントｘjの両方を疑似的に置換した第３の疑似入力データＸrep_i,jを生成する疑似データ生成手段と
して機能させ、
説明可能ＡＩエンジンは、第３の疑似入力データＸrep_i,jを入力し、第３の疑似出力データＹrep_i,jを出力し、
第３の疑似出力データＹrep_i,jの判定要素ｙdecのスコアｐydec_rep_i,jが、出力データＹの判定要素ｙdecのスコアｐydecよりも第１の所定閾値以上に低下したか否かを判定する第１の条件判定手段と、
第１の条件判定手段によって真と判定された場合、入力データＸのイベントｘi及びｘjは、or関係にあると判定する関係判定手段と
してコンピュータを機能させることを特徴とするプログラム。
【請求項2】
疑似データ生成手段は、第１のイベントｘiのみを疑似的に置換した第１の疑似入力データＸrep_iと、第２のイベントｘjのみを疑似的に置換した第２の疑似入力データＸrep_jとを更に生成し、
説明可能ＡＩエンジンは、第１の疑似入力データＸrep_iを入力して第１の疑似出力データＹrep_iを出力し、第２の疑似入力データＸrep_jを入力して第２の疑似出力データＹrep_jを出力し、
第１の条件判定手段は、第１の所定閾値として、
出力データＹの判定要素ｙdecのスコアｐydecから、第１の疑似出力データＹrep_iの判定要素ｙdecのスコアｐydec_rep_iに低下した第２１のスコア（ｐydec－ｐydec_rep_i）と、
出力データＹの判定要素ｙdecのスコアｐydecから、第２の疑似出力データＹrep_jの判定要素ｙdecのスコアｐydec_rep_jに低下した第２２のスコア（ｐydec－ｐydec_rep_j）と
の和となる第２のスコアを設定し、以下のように判定する
（ｐydec－ｐydec_rep_i,j）＞
｛（ｐydec－ｐydec_rep_i）＋（ｐydec－ｐydec_rep_j）｝
ようにコンピュータを機能させることを特徴とする請求項１に記載のプログラム。
説明可能ＡＩエンジンは、第１の疑似入力データＸrep_iを入力して第１の疑似出力データＹrep_iを出力し、第２の疑似入力データＸrep_jを入力して第２の疑似出力データＹrep_jを出力し、
第１の条件判定手段は、第１の所定閾値として、
出力データＹの判定要素ｙdecのスコアｐydecから、第１の疑似出力データＹrep_iの判定要素ｙdecのスコアｐydec_rep_iに低下した第２１のスコア（ｐydec－ｐydec_rep_i）と、
出力データＹの判定要素ｙdecのスコアｐydecから、第２の疑似出力データＹrep_jの判定要素ｙdecのスコアｐydec_rep_jに低下した第２２のスコア（ｐydec－ｐydec_rep_j）と
の和となる第２のスコアを設定し、以下のように判定する
（ｐydec－ｐydec_rep_i,j）＞
｛（ｐydec－ｐydec_rep_i）＋（ｐydec－ｐydec_rep_j）｝
ようにコンピュータを機能させることを特徴とする請求項１に記載のプログラム。
【請求項3】
第１の条件判定手段によって偽と判定された場合、以下の式のように、
第２１のスコア（ｐydec－ｐydec_rep_i）が第２の所定閾値よりも大きく、且つ、
第２２のスコア（ｐydec－ｐydec_rep_j）が第２の所定閾値よりも大きい
（ｐydec－ｐydec_rep_i）＞第２の所定閾値、且つ、
（ｐydec－ｐydec_rep_j）＞第２の所定閾値
か否かを判定する第２の条件判定手段と
して更に機能させ、
関係判定手段は、第２の条件判定手段によって真と判定された場合、入力データＸのイベントｘi及びｘjは、and関係にあると判定する
ようにコンピュータを機能させることを特徴とする請求項１又は２に記載のプログラム。
第２１のスコア（ｐydec－ｐydec_rep_i）が第２の所定閾値よりも大きく、且つ、
第２２のスコア（ｐydec－ｐydec_rep_j）が第２の所定閾値よりも大きい
（ｐydec－ｐydec_rep_i）＞第２の所定閾値、且つ、
（ｐydec－ｐydec_rep_j）＞第２の所定閾値
か否かを判定する第２の条件判定手段と
して更に機能させ、
関係判定手段は、第２の条件判定手段によって真と判定された場合、入力データＸのイベントｘi及びｘjは、and関係にあると判定する
ようにコンピュータを機能させることを特徴とする請求項１又は２に記載のプログラム。
【請求項4】
関係判定手段は、第２の条件判定手段によって偽と判定された場合、入力データＸのイベントｘi及びｘjは、関係性無しと判定する
ようにコンピュータを機能させることを特徴とする請求項３に記載のプログラム。
ようにコンピュータを機能させることを特徴とする請求項３に記載のプログラム。
【請求項5】
重要イベント選択手段は、所定選択条件として、
重要度ｚが高い順から第１のイベントｘi及び第２のイベントｘjを選択する
ようにコンピュータを機能させることを特徴とする請求項１から４のいずれか１項に記載のプログラム。
重要度ｚが高い順から第１のイベントｘi及び第２のイベントｘjを選択する
ようにコンピュータを機能させることを特徴とする請求項１から４のいずれか１項に記載のプログラム。
【請求項6】
重要イベント選択手段は、所定選択条件として、
重要度ｚが高い順から所定個又は所定度以上のイベントｘを選択し、第１のイベントｘi及び第２のイベントｘjの組み合わせを複数個選択する
ようにコンピュータを機能させることを特徴とする請求項１から４のいずれか１項に記載のプログラム。
重要度ｚが高い順から所定個又は所定度以上のイベントｘを選択し、第１のイベントｘi及び第２のイベントｘjの組み合わせを複数個選択する
ようにコンピュータを機能させることを特徴とする請求項１から４のいずれか１項に記載のプログラム。
【請求項7】
関係判定手段は、複数の第１のイベントｘi及び第２のイベントｘjの組み合わせ毎に関係性を判定し、
複数のイベントの組み合わせの関係性を結合した判断根拠を出力する判断根拠出力手段と
してコンピュータを機能させることを特徴とする請求項６に記載のプログラム。
複数のイベントの組み合わせの関係性を結合した判断根拠を出力する判断根拠出力手段と
してコンピュータを機能させることを特徴とする請求項６に記載のプログラム。
【請求項8】
入力データＸに含まれる時系列のイベントｘは、任意のセンサから出力された時系列のセンサデータであり、
出力データＹに含まれる判定要素のスコアｐは、センサのセンサデータ別のスコアである
ようにコンピュータを機能させることを特徴とする請求項１から４のいずれか１項に記載のプログラム。
出力データＹに含まれる判定要素のスコアｐは、センサのセンサデータ別のスコアである
ようにコンピュータを機能させることを特徴とする請求項１から４のいずれか１項に記載のプログラム。
【請求項9】
時系列の複数のイベントｘを含む入力データＸ（ｘ1～ｘN）を入力し、判定要素毎のスコアｐを表す出力データＹ（ｐ1～ｐM）を出力する説明可能ＡＩエンジンを有する関係性判定装置において、
説明可能ＡＩエンジンは、入力データＸのイベントｘ毎の重要度ｚを含む重要度データＺ（ｚ1～ｚN）を更に算出し、
出力データＹ（ｐ1～ｐM）について最も高いスコアｐydecとなる判定要素ｙdecを決定する判定要素決定手段と、
重要度ｚが所定選択条件以上となる第１のイベントｘi及び第２のイベントｘjを選択する重要イベント選択手段と、
時系列データＸについて、第１のイベントｘi及び第２のイベントｘjの両方を疑似的に置換した第３の疑似入力データＸrep_i,jを生成する疑似データ生成手段と
を有し、
説明可能ＡＩエンジンは、第３の疑似入力データＸrep_i,jを入力し、第３の疑似出力データＹrep_i,jを出力し、
第３の疑似出力データＹrep_i,jの判定要素ｙdecのスコアｐydec_rep_i,jが、出力データＹの判定要素ｙdecのスコアｐydecよりも第１の所定閾値以上に低下したか否かを判定する第１の条件判定手段と、
第１の条件判定手段によって真と判定された場合、入力データＸのイベントｘi及びｘjは、or関係にあると判定する関係判定手段と
を有することを特徴とする関係性判定装置。
説明可能ＡＩエンジンは、入力データＸのイベントｘ毎の重要度ｚを含む重要度データＺ（ｚ1～ｚN）を更に算出し、
出力データＹ（ｐ1～ｐM）について最も高いスコアｐydecとなる判定要素ｙdecを決定する判定要素決定手段と、
重要度ｚが所定選択条件以上となる第１のイベントｘi及び第２のイベントｘjを選択する重要イベント選択手段と、
時系列データＸについて、第１のイベントｘi及び第２のイベントｘjの両方を疑似的に置換した第３の疑似入力データＸrep_i,jを生成する疑似データ生成手段と
を有し、
説明可能ＡＩエンジンは、第３の疑似入力データＸrep_i,jを入力し、第３の疑似出力データＹrep_i,jを出力し、
第３の疑似出力データＹrep_i,jの判定要素ｙdecのスコアｐydec_rep_i,jが、出力データＹの判定要素ｙdecのスコアｐydecよりも第１の所定閾値以上に低下したか否かを判定する第１の条件判定手段と、
第１の条件判定手段によって真と判定された場合、入力データＸのイベントｘi及びｘjは、or関係にあると判定する関係判定手段と
を有することを特徴とする関係性判定装置。
【請求項10】
時系列の複数のイベントｘを含む入力データＸ（ｘ1～ｘN）を入力し、判定要素毎のスコアｐを表す出力データＹ（ｐ1～ｐM）を出力する説明可能ＡＩエンジンを有する装置の関係性判定方法において、
説明可能ＡＩエンジンは、入力データＸのイベントｘ毎の重要度ｚを含む重要度データＺ（ｚ1～ｚN）を更に算出し、
出力データＹ（ｐ1～ｐM）について最も高いスコアｐydecとなる判定要素ｙdecを決定する第１のステップと、
重要度ｚが所定選択条件以上となる第１のイベントｘi及び第２のイベントｘjを選択する第２のステップと、
時系列データＸについて、第１のイベントｘi及び第２のイベントｘjの両方を疑似的に置換した第３の疑似入力データＸrep_i,jを生成する第３のステップと、
説明可能ＡＩエンジンを用いて、第３の疑似入力データＸrep_i,jを入力し、第３の疑似出力データＹrep_i,jを出力する第４のステップと、
第３の疑似出力データＹrep_i,jの判定要素ｙdecのスコアｐydec_rep_i,jが、出力データＹの判定要素ｙdecのスコアｐydecよりも第１の所定閾値以上に低下したか否かを判定する第５のステップと、
第５のステップによって真と判定された場合、入力データＸのイベントｘi及びｘjは、or関係にあると判定する第６のステップと
を実行することを特徴とする装置の関係性判定方法。
説明可能ＡＩエンジンは、入力データＸのイベントｘ毎の重要度ｚを含む重要度データＺ（ｚ1～ｚN）を更に算出し、
出力データＹ（ｐ1～ｐM）について最も高いスコアｐydecとなる判定要素ｙdecを決定する第１のステップと、
重要度ｚが所定選択条件以上となる第１のイベントｘi及び第２のイベントｘjを選択する第２のステップと、
時系列データＸについて、第１のイベントｘi及び第２のイベントｘjの両方を疑似的に置換した第３の疑似入力データＸrep_i,jを生成する第３のステップと、
説明可能ＡＩエンジンを用いて、第３の疑似入力データＸrep_i,jを入力し、第３の疑似出力データＹrep_i,jを出力する第４のステップと、
第３の疑似出力データＹrep_i,jの判定要素ｙdecのスコアｐydec_rep_i,jが、出力データＹの判定要素ｙdecのスコアｐydecよりも第１の所定閾値以上に低下したか否かを判定する第５のステップと、
第５のステップによって真と判定された場合、入力データＸのイベントｘi及びｘjは、or関係にあると判定する第６のステップと
を実行することを特徴とする装置の関係性判定方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、説明可能ＡＩ(Explainable Artificial Intelligence)の技術に関する。
【背景技術】
【0002】
ディープラーニングなどの機械学習技術の発展により、ＡＩにおける分類タスクや回帰タスク、意思決定タスクの性能が飛躍的に向上した。
分類タスクとして、例えば、宅内に設置された人感センサや開閉センサ、温度センサ、湿度センサなどのＩｏＴデバイスからセンサデータを収集し、居住者の行動（外出や睡眠、料理、仕事など）を推定する行動認識がある。また、画像に含まれている動物（猫、犬など）を推定する画像分類もある。
回帰タスクとしては、例えば、家庭の過去の電力使用量から将来の推移を予測する電力使用量予測などがある。
意思決定タスクとしては、例えば宅内のセンサデータから居住者の行動や宅内の機器や環境の状態を把握し、宅内機器を制御するものがある。
分類タスクとして、例えば、宅内に設置された人感センサや開閉センサ、温度センサ、湿度センサなどのＩｏＴデバイスからセンサデータを収集し、居住者の行動（外出や睡眠、料理、仕事など）を推定する行動認識がある。また、画像に含まれている動物（猫、犬など）を推定する画像分類もある。
回帰タスクとしては、例えば、家庭の過去の電力使用量から将来の推移を予測する電力使用量予測などがある。
意思決定タスクとしては、例えば宅内のセンサデータから居住者の行動や宅内の機器や環境の状態を把握し、宅内機器を制御するものがある。
【0003】
一方で、ＡＩモデルの内部は、複雑なブラックボックスであり、ＡＩの出力結果の判断根拠を人が理解することはできない。そのために、その出力結果を、自動運転の制御のような、重要且つハイリスクな意思決定に活用することは困難であった。
また、リスクはそれ程高くない宅内機器の制御であっても、ＡＩの判断根拠が理解できないために、ユーザにサービス利用の契約を継続させることが難しい、ということもある。例えば、ユーザの趣向（節電志向、快適性志向など）や生活パターンは多種多様であり、サービス開始時などには特に、ＡＩの機器制御がユーザの志向にそぐわない場合もある。その際に、ＡＩの意図が全く理解できない機器制御が繰り返されると、ユーザはサービス利用を解約してしまう場合もある。
このようなとき、ＡＩが機器制御の判断根拠をユーザに提示することができれば、ユーザ側が、ＡＩの意図を理解しながらサービス設定を変更することができる。これによって、ＡＩ側も、ユーザの志向に沿うように適応していくことができ、サービス利用が継続されることが期待できる。
また、リスクはそれ程高くない宅内機器の制御であっても、ＡＩの判断根拠が理解できないために、ユーザにサービス利用の契約を継続させることが難しい、ということもある。例えば、ユーザの趣向（節電志向、快適性志向など）や生活パターンは多種多様であり、サービス開始時などには特に、ＡＩの機器制御がユーザの志向にそぐわない場合もある。その際に、ＡＩの意図が全く理解できない機器制御が繰り返されると、ユーザはサービス利用を解約してしまう場合もある。
このようなとき、ＡＩが機器制御の判断根拠をユーザに提示することができれば、ユーザ側が、ＡＩの意図を理解しながらサービス設定を変更することができる。これによって、ＡＩ側も、ユーザの志向に沿うように適応していくことができ、サービス利用が継続されることが期待できる。
【0004】
このような背景から、近年、ＡＩの出力結果の判断根拠を算出する「説明可能ＡＩ」が注目されている。代表的に、ＡＩの出力結果に対する入力情報の重要度を出力するＬＩＭＥ(Local Interpretable Model-agnostic Explanation)の技術がある（例えば非特許文献１参照）。この技術によれば、例えば画像分類について、画像の各ピクセルの分類結果への重要度を数値化し、ＡＩが重要と考えるピクセルをハイライトで表示することができる。また、例えば宅内機器制御について、センサデータに含まれる各センサイベントの機器制御結果への重要度を数値化し、ＡＩが重要と考えるセンサイベントを提示することができる。
【先行技術文献】
【非特許文献】
【0005】
【非特許文献1】Marco Tulio Ribeiro, Sameer Singh, Carlos Guestrin, “Why Should I Trust You? Explaining the Predictions of Any Classifier”、[online]、［令和５年３月２５日検索］、インターネット＜URL:https://www.kdd.org/kdd2016/papers/files/rfp0573-ribeiroA.pdf＞
【発明の概要】
【発明が解決しようとする課題】
【0006】
前述したような説明可能ＡＩによれば、時系列データにおけるＡＩの判断根拠として、個々の重要なイベントを提示することができる。
これに対し、本願の発明者らは、時系列データにおけるイベント間について、andやorのような関係性が重要なのではないか、と考えた。
尚、従来技術によれば、説明可能ＡＩが、時系列データにおけるイベント間の関係性を提示することについては全く提案されていない。
これに対し、本願の発明者らは、時系列データにおけるイベント間について、andやorのような関係性が重要なのではないか、と考えた。
尚、従来技術によれば、説明可能ＡＩが、時系列データにおけるイベント間の関係性を提示することについては全く提案されていない。
【0007】
そこで、本発明は、複数のイベントの関係性を判定するプログラム、判定装置及び方法を提供することを目的とする。
【課題を解決するための手段】
【0008】
本発明によれば、時系列の複数のイベントｘを含む入力データＸ（ｘ1～ｘN）を入力し、判定要素毎のスコアｐを表す出力データＹ（ｐ1～ｐM）を出力する説明可能ＡＩエンジンとしてコンピュータを機能させるプログラムにおいて、
説明可能ＡＩエンジンは、入力データＸのイベントｘ毎の重要度ｚを含む重要度データＺ（ｚ1～ｚN）を更に算出し、
出力データＹ（ｐ1～ｐM）について最も高いスコアｐydecとなる判定要素ｙdecを決定する判定要素決定手段と、
重要度ｚが所定選択条件以上となる第１のイベントｘi及び第２のイベントｘjを選択する重要イベント選択手段と、
時系列データＸについて、第１のイベントｘi及び第２のイベントｘjの両方を疑似的に置換した第３の疑似入力データＸrep_i,jを生成する疑似データ生成手段と
して機能させ、
説明可能ＡＩエンジンは、第３の疑似入力データＸrep_i,jを入力し、第３の疑似出力データＹrep_i,jを出力し、
第３の疑似出力データＹrep_i,jの判定要素ｙdecのスコアｐydec_rep_i,jが、出力データＹの判定要素ｙdecのスコアｐydecよりも第１の所定閾値以上に低下したか否かを判定する第１の条件判定手段と、
第１の条件判定手段によって真と判定された場合、入力データＸのイベントｘi及びｘjは、or関係にあると判定する関係判定手段と
してコンピュータを機能させることを特徴とする。
説明可能ＡＩエンジンは、入力データＸのイベントｘ毎の重要度ｚを含む重要度データＺ（ｚ1～ｚN）を更に算出し、
出力データＹ（ｐ1～ｐM）について最も高いスコアｐydecとなる判定要素ｙdecを決定する判定要素決定手段と、
重要度ｚが所定選択条件以上となる第１のイベントｘi及び第２のイベントｘjを選択する重要イベント選択手段と、
時系列データＸについて、第１のイベントｘi及び第２のイベントｘjの両方を疑似的に置換した第３の疑似入力データＸrep_i,jを生成する疑似データ生成手段と
して機能させ、
説明可能ＡＩエンジンは、第３の疑似入力データＸrep_i,jを入力し、第３の疑似出力データＹrep_i,jを出力し、
第３の疑似出力データＹrep_i,jの判定要素ｙdecのスコアｐydec_rep_i,jが、出力データＹの判定要素ｙdecのスコアｐydecよりも第１の所定閾値以上に低下したか否かを判定する第１の条件判定手段と、
第１の条件判定手段によって真と判定された場合、入力データＸのイベントｘi及びｘjは、or関係にあると判定する関係判定手段と
してコンピュータを機能させることを特徴とする。
【0009】
本発明のプログラムにおける他の実施形態によれば、
疑似データ生成手段は、第１のイベントｘiのみを疑似的に置換した第１の疑似入力データＸrep_iと、第２のイベントｘjのみを疑似的に置換した第２の疑似入力データＸrep_jとを更に生成し、
説明可能ＡＩエンジンは、第１の疑似入力データＸrep_iを入力して第１の疑似出力データＹrep_iを出力し、第２の疑似入力データＸrep_jを入力して第２の疑似出力データＹrep_jを出力し、
第１の条件判定手段は、第１の所定閾値として、
出力データＹの判定要素ｙdecのスコアｐydecから、第１の疑似出力データＹrep_iの判定要素ｙdecのスコアｐydec_rep_iに低下した第２１のスコア（ｐydec－ｐydec_rep_i）と、
出力データＹの判定要素ｙdecのスコアｐydecから、第２の疑似出力データＹrep_jの判定要素ｙdecのスコアｐydec_rep_jに低下した第２２のスコア（ｐydec－ｐydec_rep_j）と
の和となる第２のスコアを設定し、以下のように判定する
（ｐydec－ｐydec_rep_i,j）＞
｛（ｐydec－ｐydec_rep_i）＋（ｐydec－ｐydec_rep_j）｝
ようにコンピュータを機能させることも好ましい。
疑似データ生成手段は、第１のイベントｘiのみを疑似的に置換した第１の疑似入力データＸrep_iと、第２のイベントｘjのみを疑似的に置換した第２の疑似入力データＸrep_jとを更に生成し、
説明可能ＡＩエンジンは、第１の疑似入力データＸrep_iを入力して第１の疑似出力データＹrep_iを出力し、第２の疑似入力データＸrep_jを入力して第２の疑似出力データＹrep_jを出力し、
第１の条件判定手段は、第１の所定閾値として、
出力データＹの判定要素ｙdecのスコアｐydecから、第１の疑似出力データＹrep_iの判定要素ｙdecのスコアｐydec_rep_iに低下した第２１のスコア（ｐydec－ｐydec_rep_i）と、
出力データＹの判定要素ｙdecのスコアｐydecから、第２の疑似出力データＹrep_jの判定要素ｙdecのスコアｐydec_rep_jに低下した第２２のスコア（ｐydec－ｐydec_rep_j）と
の和となる第２のスコアを設定し、以下のように判定する
（ｐydec－ｐydec_rep_i,j）＞
｛（ｐydec－ｐydec_rep_i）＋（ｐydec－ｐydec_rep_j）｝
ようにコンピュータを機能させることも好ましい。
【0010】
本発明のプログラムにおける他の実施形態によれば、
第１の条件判定手段によって偽と判定された場合、以下の式のように、
第２１のスコア（ｐydec－ｐydec_rep_i）が第２の所定閾値よりも大きく、且つ、
第２２のスコア（ｐydec－ｐydec_rep_j）が第２の所定閾値よりも大きい
（ｐydec－ｐydec_rep_i）＞第２の所定閾値、且つ、
（ｐydec－ｐydec_rep_j）＞第２の所定閾値
か否かを判定する第２の条件判定手段と
して更に機能させ、
関係判定手段は、第２の条件判定手段によって真と判定された場合、入力データＸのイベントｘi及びｘjは、and関係にあると判定する
ようにコンピュータを機能させることも好ましい。
第１の条件判定手段によって偽と判定された場合、以下の式のように、
第２１のスコア（ｐydec－ｐydec_rep_i）が第２の所定閾値よりも大きく、且つ、
第２２のスコア（ｐydec－ｐydec_rep_j）が第２の所定閾値よりも大きい
（ｐydec－ｐydec_rep_i）＞第２の所定閾値、且つ、
（ｐydec－ｐydec_rep_j）＞第２の所定閾値
か否かを判定する第２の条件判定手段と
して更に機能させ、
関係判定手段は、第２の条件判定手段によって真と判定された場合、入力データＸのイベントｘi及びｘjは、and関係にあると判定する
ようにコンピュータを機能させることも好ましい。
【0011】
本発明のプログラムにおける他の実施形態によれば、
関係判定手段は、第２の条件判定手段によって偽と判定された場合、入力データＸのイベントｘi及びｘjは、関係性無しと判定する
ようにコンピュータを機能させることも好ましい。
関係判定手段は、第２の条件判定手段によって偽と判定された場合、入力データＸのイベントｘi及びｘjは、関係性無しと判定する
ようにコンピュータを機能させることも好ましい。
【0012】
本発明のプログラムにおける他の実施形態によれば、
重要イベント選択手段は、所定選択条件として、
重要度ｚが高い順から第１のイベントｘi及び第２のイベントｘjを選択する
ようにコンピュータを機能させることも好ましい。
重要イベント選択手段は、所定選択条件として、
重要度ｚが高い順から第１のイベントｘi及び第２のイベントｘjを選択する
ようにコンピュータを機能させることも好ましい。
【0013】
本発明のプログラムにおける他の実施形態によれば、
重要イベント選択手段は、所定選択条件として、
重要度ｚが高い順から所定個又は所定度以上のイベントｘを選択し、第１のイベントｘi及び第２のイベントｘjの組み合わせを複数個選択する
ようにコンピュータを機能させることも好ましい。
重要イベント選択手段は、所定選択条件として、
重要度ｚが高い順から所定個又は所定度以上のイベントｘを選択し、第１のイベントｘi及び第２のイベントｘjの組み合わせを複数個選択する
ようにコンピュータを機能させることも好ましい。
【0014】
本発明のプログラムにおける他の実施形態によれば、
関係判定手段は、複数の第１のイベントｘi及び第２のイベントｘjの組み合わせ毎に関係性を判定し、
複数のイベントの組み合わせの関係性を結合した判断根拠を出力する判断根拠出力手段と
してコンピュータを機能させることも好ましい。
関係判定手段は、複数の第１のイベントｘi及び第２のイベントｘjの組み合わせ毎に関係性を判定し、
複数のイベントの組み合わせの関係性を結合した判断根拠を出力する判断根拠出力手段と
してコンピュータを機能させることも好ましい。
【0015】
本発明のプログラムにおける他の実施形態によれば、
入力データＸに含まれる時系列のイベントｘは、任意のセンサから出力された時系列のセンサデータであり、
出力データＹに含まれる判定要素のスコアｐは、センサのセンサデータ別のスコアである
ようにコンピュータを機能させることも好ましい。
入力データＸに含まれる時系列のイベントｘは、任意のセンサから出力された時系列のセンサデータであり、
出力データＹに含まれる判定要素のスコアｐは、センサのセンサデータ別のスコアである
ようにコンピュータを機能させることも好ましい。
【0016】
本発明によれば、時系列の複数のイベントｘを含む入力データＸ（ｘ1～ｘN）を入力し、判定要素毎のスコアｐを表す出力データＹ（ｐ1～ｐM）を出力する説明可能ＡＩエンジンを有する関係性判定装置において、
説明可能ＡＩエンジンは、入力データＸのイベントｘ毎の重要度ｚを含む重要度データＺ（ｚ1～ｚN）を更に算出し、
出力データＹ（ｐ1～ｐM）について最も高いスコアｐydecとなる判定要素ｙdecを決定する判定要素決定手段と、
重要度ｚが所定選択条件以上となる第１のイベントｘi及び第２のイベントｘjを選択する重要イベント選択手段と、
時系列データＸについて、第１のイベントｘi及び第２のイベントｘjの両方を疑似的に置換した第３の疑似入力データＸrep_i,jを生成する疑似データ生成手段と
を有し、
説明可能ＡＩエンジンは、第３の疑似入力データＸrep_i,jを入力し、第３の疑似出力データＹrep_i,jを出力し、
第３の疑似出力データＹrep_i,jの判定要素ｙdecのスコアｐydec_rep_i,jが、出力データＹの判定要素ｙdecのスコアｐydecよりも第１の所定閾値以上に低下したか否かを判定する第１の条件判定手段と、
第１の条件判定手段によって真と判定された場合、入力データＸのイベントｘi及びｘjは、or関係にあると判定する関係判定手段と
を有することを特徴とする。
説明可能ＡＩエンジンは、入力データＸのイベントｘ毎の重要度ｚを含む重要度データＺ（ｚ1～ｚN）を更に算出し、
出力データＹ（ｐ1～ｐM）について最も高いスコアｐydecとなる判定要素ｙdecを決定する判定要素決定手段と、
重要度ｚが所定選択条件以上となる第１のイベントｘi及び第２のイベントｘjを選択する重要イベント選択手段と、
時系列データＸについて、第１のイベントｘi及び第２のイベントｘjの両方を疑似的に置換した第３の疑似入力データＸrep_i,jを生成する疑似データ生成手段と
を有し、
説明可能ＡＩエンジンは、第３の疑似入力データＸrep_i,jを入力し、第３の疑似出力データＹrep_i,jを出力し、
第３の疑似出力データＹrep_i,jの判定要素ｙdecのスコアｐydec_rep_i,jが、出力データＹの判定要素ｙdecのスコアｐydecよりも第１の所定閾値以上に低下したか否かを判定する第１の条件判定手段と、
第１の条件判定手段によって真と判定された場合、入力データＸのイベントｘi及びｘjは、or関係にあると判定する関係判定手段と
を有することを特徴とする。
【0017】
本発明によれば、時系列の複数のイベントｘを含む入力データＸ（ｘ1～ｘN）を入力し、判定要素毎のスコアｐを表す出力データＹ（ｐ1～ｐM）を出力する説明可能ＡＩエンジンを有する装置の関係性判定方法において、
説明可能ＡＩエンジンは、入力データＸのイベントｘ毎の重要度ｚを含む重要度データＺ（ｚ1～ｚN）を更に算出し、
出力データＹ（ｐ1～ｐM）について最も高いスコアｐydecとなる判定要素ｙdecを決定する第１のステップと、
重要度ｚが所定選択条件以上となる第１のイベントｘi及び第２のイベントｘjを選択する第２のステップと、
時系列データＸについて、第１のイベントｘi及び第２のイベントｘjの両方を疑似的に置換した第３の疑似入力データＸrep_i,jを生成する第３のステップと、
説明可能ＡＩエンジンを用いて、第３の疑似入力データＸrep_i,jを入力し、第３の疑似出力データＹrep_i,jを出力する第４のステップと、
第３の疑似出力データＹrep_i,jの判定要素ｙdecのスコアｐydec_rep_i,jが、出力データＹの判定要素ｙdecのスコアｐydecよりも第１の所定閾値以上に低下したか否かを判定する第５のステップと、
第５のステップによって真と判定された場合、入力データＸのイベントｘi及びｘjは、or関係にあると判定する第６のステップと
を実行することを特徴とする。
説明可能ＡＩエンジンは、入力データＸのイベントｘ毎の重要度ｚを含む重要度データＺ（ｚ1～ｚN）を更に算出し、
出力データＹ（ｐ1～ｐM）について最も高いスコアｐydecとなる判定要素ｙdecを決定する第１のステップと、
重要度ｚが所定選択条件以上となる第１のイベントｘi及び第２のイベントｘjを選択する第２のステップと、
時系列データＸについて、第１のイベントｘi及び第２のイベントｘjの両方を疑似的に置換した第３の疑似入力データＸrep_i,jを生成する第３のステップと、
説明可能ＡＩエンジンを用いて、第３の疑似入力データＸrep_i,jを入力し、第３の疑似出力データＹrep_i,jを出力する第４のステップと、
第３の疑似出力データＹrep_i,jの判定要素ｙdecのスコアｐydec_rep_i,jが、出力データＹの判定要素ｙdecのスコアｐydecよりも第１の所定閾値以上に低下したか否かを判定する第５のステップと、
第５のステップによって真と判定された場合、入力データＸのイベントｘi及びｘjは、or関係にあると判定する第６のステップと
を実行することを特徴とする。
【発明の効果】
【0018】
本発明のプログラム、判定装置及び方法によれば、複数のイベントの関係性を判定することができる。
【図面の簡単な説明】
【0019】
【図1】複数のセンサが配置されたユーザ宅内の例である。
【図2】本発明における判定装置の機能構成図である。
【図3】説明可能ＡＩエンジンにおける入力データ、出力データ及び重要度データの例を表す説明図である。
【図4】本発明における重要イベント選択部及び疑似データ生成部を表す説明図である。
【図5】説明可能ＡＩエンジンにおける疑似入力データ及び疑似出力データの例を表す説明図である。
【図6】第１の条件判定部及び第２の条件判定部の処理を表す説明図である。
【発明を実施するための形態】
【0020】
以下、本発明の実施の形態について、図面を用いて詳細に説明する。
【0021】
図１は、複数のセンサが配置されたユーザ宅内の例である。
【0022】
図１によれば、ユーザの宅内に、ＩｏＴデバイスとして、例えば以下のような多種多様なセンサが配置されている。
寝室照明（ON/OFF）、寝室人感センサ（ON/OFF）、寝室温度センサ（温度）
リビング照明（ON/OFF)、リビング人感センサ（ON/OFF）、
リビング温度センサ（温度）、リビング湿度センサ（温度）、
リビングエアコンセンサ（ON/OFF）、リビングテレビ（ON/OFF）、
キッチン照明（ON/OFF）
センサは、室内環境や室内機器の状態や変化をイベントとして検知する。例えば、人感センサはリビングやキッチンなどの部屋に設置され、人の動きを検知した際にON、検知できなくなった際にOFFを出力する。例えば、温度センサは部屋に設置され、温度を定期的に測定する。スマートプラグのような照明やテレビは、スイッチがON/OFFに切り替えされた際に、その状態を出力する。
寝室照明（ON/OFF）、寝室人感センサ（ON/OFF）、寝室温度センサ（温度）
リビング照明（ON/OFF)、リビング人感センサ（ON/OFF）、
リビング温度センサ（温度）、リビング湿度センサ（温度）、
リビングエアコンセンサ（ON/OFF）、リビングテレビ（ON/OFF）、
キッチン照明（ON/OFF）
センサは、室内環境や室内機器の状態や変化をイベントとして検知する。例えば、人感センサはリビングやキッチンなどの部屋に設置され、人の動きを検知した際にON、検知できなくなった際にOFFを出力する。例えば、温度センサは部屋に設置され、温度を定期的に測定する。スマートプラグのような照明やテレビは、スイッチがON/OFFに切り替えされた際に、その状態を出力する。
【0023】
各センサは、変位したセンサデータをイベントとして、判定装置１へ送信する。例えばこれら時系列のセンサデータは、その室内に滞在する人が行動（睡眠、仕事、料理、視聴など）した結果といえる。これらセンサのデータをパターン解析することによって、人の行動認識が可能となる。これによって、判定装置１は、室内のユーザの行動に応じて、意思決定タスクとして宅内機器を制御したりする。
【0024】
図１によれば、判定装置１へ入力される時系列の入力データＸが表されている。時系列のデータ表現として、n個のイベントを時系列順に並べて構成する。入力データＸは、時系列順に、例えば１０個のイベント｛x1,x2,・・・,x10｝を含む。尚、x1が最も古いイベントを表し、x10最も新しいイベントを表す。
x1：リビングエアコンOFF
x2：寝室人感センサON
x3：寝室人感センサOFF
x4：寝室人感センサON
x5：寝室人感センサOFF
x6：リビング湿度センサ30%
x7：リビング温度センサ15度
x8：寝室温度センサ14度
x9：リビング人感センサON
x10：リビングテレビON
ここでは、リビングエアコンがOFFであり、リビング温度が15度と低く、人感センサが反応してユーザがリビングにいることが推定できる。
このようなセンサデータによって期待されるＡＩの意思決定としては、例えば「リビングエアコンON」が期待される。
x1：リビングエアコンOFF
x2：寝室人感センサON
x3：寝室人感センサOFF
x4：寝室人感センサON
x5：寝室人感センサOFF
x6：リビング湿度センサ30%
x7：リビング温度センサ15度
x8：寝室温度センサ14度
x9：リビング人感センサON
x10：リビングテレビON
ここでは、リビングエアコンがOFFであり、リビング温度が15度と低く、人感センサが反応してユーザがリビングにいることが推定できる。
このようなセンサデータによって期待されるＡＩの意思決定としては、例えば「リビングエアコンON」が期待される。
【0025】
図２は、本発明における判定装置の機能構成図である。
【0026】
判定装置１は、時系列データを対象とした分類タスクや回帰タスク、意思決定タスクに基づくものである。
図２によれば、判定装置１は、説明可能ＡＩエンジン１０と、判定要素決定部１１と、重要イベント選択部１２と、疑似データ生成部１３と、第１の条件判定部１４１と、第２の条件判定部１４２と、関係判定部１５と、判断根拠出力部１６とを有する。これら機能構成部は、装置に搭載されたコンピュータを機能させるプログラムを実行することによって実現される。また、これら機能構成部の処理の流れは、装置の判定方法としても理解できる。
図２によれば、判定装置１は、説明可能ＡＩエンジン１０と、判定要素決定部１１と、重要イベント選択部１２と、疑似データ生成部１３と、第１の条件判定部１４１と、第２の条件判定部１４２と、関係判定部１５と、判断根拠出力部１６とを有する。これら機能構成部は、装置に搭載されたコンピュータを機能させるプログラムを実行することによって実現される。また、これら機能構成部の処理の流れは、装置の判定方法としても理解できる。
【0027】
［説明ＡＩエンジン１０・第１の推定段階］
説明ＡＩエンジン１０は、時系列の複数のイベントｘを含む入力データＸ（ｘ1～ｘN）を入力し、判定要素毎のスコアｐを表す出力データＹ（ｐ1～ｐM）を出力する。
尚、Nは、入力データＸのイベント数を表す。Mは、判定要素の数（例えば分類タスクのクラス数、又は、意思決定タスクの判定要素数）を表す。
説明ＡＩエンジン１０は、時系列の複数のイベントｘを含む入力データＸ（ｘ1～ｘN）を入力し、判定要素毎のスコアｐを表す出力データＹ（ｐ1～ｐM）を出力する。
尚、Nは、入力データＸのイベント数を表す。Mは、判定要素の数（例えば分類タスクのクラス数、又は、意思決定タスクの判定要素数）を表す。
【0028】
図３は、説明可能ＡＩエンジンにおける入力データ、出力データ及び重要度データの例を表す説明図である。
【0029】
入力データＸにおけるイベントｘは、図３によれば（前述した図１と同様に）、例えば以下のようなものである。
（イベント）
x1：リビングエアコンOFF
x2：寝室人感センサON
x3：寝室人感センサOFF
x4：寝室人感センサON
x5：寝室人感センサOFF
x6：リビング湿度センサ30%
x7：リビング温度センサ15度
x8：寝室温度センサ14度
x9：リビング人感センサON
x10：リビングテレビON
（イベント）
x1：リビングエアコンOFF
x2：寝室人感センサON
x3：寝室人感センサOFF
x4：寝室人感センサON
x5：寝室人感センサOFF
x6：リビング湿度センサ30%
x7：リビング温度センサ15度
x8：寝室温度センサ14度
x9：リビング人感センサON
x10：リビングテレビON
【0030】
また、出力データＹにおける判定要素は、宅内機器の制御項目であり、そのスコアｐは、期待値である。図３によれば、例えば以下のようなものである。
（判定要素） （スコア）
y1：リビングエアコンON 0.8
y2：リビングエアコンOFF 0
y3：リビング照明ON 0.03
y4：リビング照明OFF 0.01
y5：寝室照明ON 0.01
y6：寝室照明OFF 0.01
y7：キッチン照明ON 0.02
y8：キッチン照明OFF 0.02
y9：何もしない 0.1
ここでは、ON/OFFの２値を制御項目としているが、勿論、数値であってもよい。また、例えば回帰タスクについては、スコアは予測値となる。
（判定要素） （スコア）
y1：リビングエアコンON 0.8
y2：リビングエアコンOFF 0
y3：リビング照明ON 0.03
y4：リビング照明OFF 0.01
y5：寝室照明ON 0.01
y6：寝室照明OFF 0.01
y7：キッチン照明ON 0.02
y8：キッチン照明OFF 0.02
y9：何もしない 0.1
ここでは、ON/OFFの２値を制御項目としているが、勿論、数値であってもよい。また、例えば回帰タスクについては、スコアは予測値となる。
【0031】
更に、説明可能ＡＩエンジン１０は、入力データＸのイベントｘ毎の重要度ｚを含む重要度データＺ（ｚ1～ｚN）を更に算出する。Nは、入力データＸのイベントに対応する。図３によれば、例えば以下のようなものである。
（イベント） （重要度）
z1：リビングエアコンOFF 0.3
z2：寝室人感センサON 0.01
z3：寝室人感センサOFF 0.01
z4：寝室人感センサON 0.05
z5：寝室人感センサOFF 0.01
z6：リビング湿度センサ30% 0.01
z7：リビング温度センサ15度 0.15
z8：寝室温度センサ14度 0.01
z9：リビング人感センサON 0.15
z10：リビングテレビON 0.2
重要度ｚは、入力データＸに対して、出力データＹとしてスコアｐを予測した場合に、その判断根拠を表す。
（イベント） （重要度）
z1：リビングエアコンOFF 0.3
z2：寝室人感センサON 0.01
z3：寝室人感センサOFF 0.01
z4：寝室人感センサON 0.05
z5：寝室人感センサOFF 0.01
z6：リビング湿度センサ30% 0.01
z7：リビング温度センサ15度 0.15
z8：寝室温度センサ14度 0.01
z9：リビング人感センサON 0.15
z10：リビングテレビON 0.2
重要度ｚは、入力データＸに対して、出力データＹとしてスコアｐを予測した場合に、その判断根拠を表す。
【0032】
説明可能ＡＩエンジン１０は、例えばＬＩＭＥ(Local Interpretable Model-agnostic Explanations)、ＳＨＡＰ(SHapley Additive Explanations)、Ａｎｃｈｏｒであってもよい。これは、「あるイベント（特徴量）が予測（期待値）の精度（スコア）の向上にどの程度寄与しているのか」を評価する指標となる重要度(Permutation Importance)（確信度と称する場合もある）も推定する。
【0033】
説明可能ＡＩエンジン１０は、分類タスクや回帰タスク、意思決定タスクに対して、予め訓練されたものである。
重要度は、例えば入力データの中の一部に摂動を与えることによって、予測の変化を観察することによって推定可能となる。これは、摂動を与えた一部に関する反実的な状況を見ている。即ち、一部のイベントにおける摂動によってスコアが大きく下がれば、その一部のイベントはその予測にとって重要なものであるといえる。
重要度は、例えば入力データの中の一部に摂動を与えることによって、予測の変化を観察することによって推定可能となる。これは、摂動を与えた一部に関する反実的な状況を見ている。即ち、一部のイベントにおける摂動によってスコアが大きく下がれば、その一部のイベントはその予測にとって重要なものであるといえる。
【0034】
［判定要素決定部１１］
判定要素決定部１１は、出力データＹ（ｐ1～ｐM）について最も高いスコアとなる判定要素ｙdecを決定する。
図３によれば、以下の判定要素が決定される。
（判定要素ｙdec） （スコアｐydec）
y1：リビングエアコンON 0.8（最大）
これによって、判定要素ｙdec＝y1、スコアｐydec＝0.8と決定する。
判定要素決定部１１は、出力データＹ（ｐ1～ｐM）について最も高いスコアとなる判定要素ｙdecを決定する。
図３によれば、以下の判定要素が決定される。
（判定要素ｙdec） （スコアｐydec）
y1：リビングエアコンON 0.8（最大）
これによって、判定要素ｙdec＝y1、スコアｐydec＝0.8と決定する。
【0035】
図４は、本発明における重要イベント選択部及び疑似データ生成部を表す説明図である。
【0036】
［重要イベント選択部１２］
重要イベント選択部１２は、重要度ｚが「所定選択条件」以上となる第１のイベントｘi及び第２のイベントｘjを選択する。
重要イベント選択部１２は、重要度ｚが「所定選択条件」以上となる第１のイベントｘi及び第２のイベントｘjを選択する。
【0037】
ここで、所定選択条件としては、例えば以下の３つの条件がある。
（第１の選択条件）
重要度ｚが高い順から第１のイベントｘi及び第２のイベントｘjを選択する。
図４によれば、以下のように選択される。
イベントｘ1＝重要度0.3
イベントｘ10＝重要度0.2
（第１の選択条件）
重要度ｚが高い順から第１のイベントｘi及び第２のイベントｘjを選択する。
図４によれば、以下のように選択される。
イベントｘ1＝重要度0.3
イベントｘ10＝重要度0.2
【0038】
（第２の選択条件）
重要度ｚが高い順から「所定個k」のイベントｘを選択し、第１のイベントｘi及び第２のイベントｘjの組み合わせを複数個選択する。例えば所定個k＝4とする。
図４によれば、以下のように選択される。
イベントｘ1＝重要度0.3
イベントｘ7＝重要度0.15
イベントｘ9＝重要度0.15
イベントｘ10＝重要度0.2
重要度ｚが高い順から「所定個k」のイベントｘを選択し、第１のイベントｘi及び第２のイベントｘjの組み合わせを複数個選択する。例えば所定個k＝4とする。
図４によれば、以下のように選択される。
イベントｘ1＝重要度0.3
イベントｘ7＝重要度0.15
イベントｘ9＝重要度0.15
イベントｘ10＝重要度0.2
【0039】
（第３の選択条件）
重要度ｚが高い順から「所定度以上」のイベントｘを選択し、第１のイベントｘi及び第２のイベントｘjの組み合わせを複数個選択する。例えば所定度0.1とする。
図４によれば、以下のように選択される。
イベントｘ1＝重要度0.3
イベントｘ7＝重要度0.15
イベントｘ9＝重要度0.15
イベントｘ10＝重要度0.2
重要度ｚが高い順から「所定度以上」のイベントｘを選択し、第１のイベントｘi及び第２のイベントｘjの組み合わせを複数個選択する。例えば所定度0.1とする。
図４によれば、以下のように選択される。
イベントｘ1＝重要度0.3
イベントｘ7＝重要度0.15
イベントｘ9＝重要度0.15
イベントｘ10＝重要度0.2
【0040】
例えば第２の選択条件によって、Xtop_4＝｛x1、x7、x9、x10｝を選択した場合、第１のイベントｘi及び第２のイベントｘjからなる組み合わせは、以下のように６通りとなる。
パターン1: (x1, x7)
パターン2: (x1, x9)
パターン3: (x1, x10)
パターン4: (x7, x9)
パターン5: (x7, x10)
パターン6: (x9, x10)
パターン1: (x1, x7)
パターン2: (x1, x9)
パターン3: (x1, x10)
パターン4: (x7, x9)
パターン5: (x7, x10)
パターン6: (x9, x10)
【0041】
［疑似データ生成部１３］
疑似データ生成部１３は、時系列データＸについて、少なくとも、以下の３つの疑似入力データを生成する。
第１の疑似入力データＸrep_i ：第１のイベントｘiのみを疑似的に置換
第２の疑似入力データＸrep_j ：第２のイベントｘjのみを疑似的に置換
第３の疑似入力データＸrep_i,j：第１のイベントｘi及び第２のイベントｘjの
両方を疑似的に置換
疑似データ生成部１３は、時系列データＸについて、少なくとも、以下の３つの疑似入力データを生成する。
第１の疑似入力データＸrep_i ：第１のイベントｘiのみを疑似的に置換
第２の疑似入力データＸrep_j ：第２のイベントｘjのみを疑似的に置換
第３の疑似入力データＸrep_i,j：第１のイベントｘi及び第２のイベントｘjの
両方を疑似的に置換
【0042】
図４によれば、例えば前述したパターン1:(x1, x7)の場合、以下のように３個の疑似入力データを生成する。
第１の疑似入力データＸrep_1：イベントx1のみを疑似的にnullに置換
第２の疑似入力データＸrep_7：イベントx7のみを疑似的にnullに置換
第３の疑似入力データＸrep_1,7：イベントx1及びx7の両方を
疑似的にnullに置換
尚、疑似値をnullとした場合、説明可能ＡＩエンジン１０によって無視される。また疑似値はnullに限られず、全てのイベントからランダムに選択された任意の値であってもよい。
第１の疑似入力データＸrep_1：イベントx1のみを疑似的にnullに置換
第２の疑似入力データＸrep_7：イベントx7のみを疑似的にnullに置換
第３の疑似入力データＸrep_1,7：イベントx1及びx7の両方を
疑似的にnullに置換
尚、疑似値をnullとした場合、説明可能ＡＩエンジン１０によって無視される。また疑似値はnullに限られず、全てのイベントからランダムに選択された任意の値であってもよい。
【0043】
［説明ＡＩエンジン１０・第２の推定段階］
説明可能ＡＩエンジン１０は、再度、以下のように推定する。
第１の疑似入力データＸrep_iを入力し、第１の疑似出力データＹrep_iを出力
第２の疑似入力データＸrep_jを入力し、第２の疑似出力データＹrep_jを出力
第３の疑似入力データＸrep_i,jを入力し、第３の疑似出力データＹrep_i,jを出力
説明可能ＡＩエンジン１０は、再度、以下のように推定する。
第１の疑似入力データＸrep_iを入力し、第１の疑似出力データＹrep_iを出力
第２の疑似入力データＸrep_jを入力し、第２の疑似出力データＹrep_jを出力
第３の疑似入力データＸrep_i,jを入力し、第３の疑似出力データＹrep_i,jを出力
【0044】
例えば前述したパターン1:(x1, x7)の場合、以下のように３個の疑似出力データを出力する。
第１の疑似入力データＸrep_1を入力し、第１の疑似出力データＹrep_1を出力
第２の疑似入力データＸrep_7を入力し、第２の疑似出力データＹrep_7を出力
第３の疑似入力データＸrep_1,7を入力し、第３の疑似出力データＹrep_1,7を出力
第１の疑似入力データＸrep_1を入力し、第１の疑似出力データＹrep_1を出力
第２の疑似入力データＸrep_7を入力し、第２の疑似出力データＹrep_7を出力
第３の疑似入力データＸrep_1,7を入力し、第３の疑似出力データＹrep_1,7を出力
【0045】
図５は、説明可能ＡＩエンジンにおける疑似入力データ及び疑似出力データの例を表す説明図である。
図５によれば、パターン1における疑似入力データＸrep_1、Ｘrep_7、Ｘrep_1,7における判定要素ydec＝1のスコアｐ1を、例えば以下のように推定されている。
ｐ1_rep_1＝0.2
ｐ1_rep_7＝0.15
ｐ1_rep_1,7＝0.1
図５によれば、パターン1における疑似入力データＸrep_1、Ｘrep_7、Ｘrep_1,7における判定要素ydec＝1のスコアｐ1を、例えば以下のように推定されている。
ｐ1_rep_1＝0.2
ｐ1_rep_7＝0.15
ｐ1_rep_1,7＝0.1
【0046】
図６は、第１の条件判定部及び第２の条件判定部の処理を表す説明図である。
【0047】
［第１の条件判定部１４１］
第１の条件判定部１４１は、図５及び図６のように、以下の判定方式のいずれかであってもよい。
（第１の判定方式）
第１の条件判定部１４１は、第３の疑似出力データＹrep_i,jの判定要素ｙdecのスコアｐydec_rep_i,jが、出力データＹの判定要素ｙdecのスコアｐydecよりも第１の所定閾値以上に低下したか否かを判定する。
（ｐydec－ｐydec_rep_i,j）＞第１の所定閾値
第１の条件判定部１４１は、図５及び図６のように、以下の判定方式のいずれかであってもよい。
（第１の判定方式）
第１の条件判定部１４１は、第３の疑似出力データＹrep_i,jの判定要素ｙdecのスコアｐydec_rep_i,jが、出力データＹの判定要素ｙdecのスコアｐydecよりも第１の所定閾値以上に低下したか否かを判定する。
（ｐydec－ｐydec_rep_i,j）＞第１の所定閾値
【0048】
前述した図５の例によれば、第１の条件判定部１４１は、以下のように算出する。
（ｐ1－ｐ1_rep_1,7）＞第１の所定閾値
（0.8－0.1） ＞第１の所定閾値
ここで、第１の所定閾値は、例えばｐ1の90％となる0.72と設定してもよい。
この場合、前述した図５の例によれば、第１の条件判定部１４１は「偽」と判定する。
（ｐ1－ｐ1_rep_1,7）＞第１の所定閾値
（0.8－0.1） ＞第１の所定閾値
ここで、第１の所定閾値は、例えばｐ1の90％となる0.72と設定してもよい。
この場合、前述した図５の例によれば、第１の条件判定部１４１は「偽」と判定する。
【0049】
（第２の判定方式）
第１の条件判定部１４１は、第１の判定方式について、第１の所定閾値を、第２１のスコア（ｐydec－ｐydec_rep_i）と、第２２のスコア（ｐydec－ｐydec_rep_j）との和となる第２のスコア｛（ｐydec－ｐydec_rep_i）＋（ｐydec－ｐydec_rep_j）｝を設定する。
第２１のスコア（ｐydec－ｐydec_rep_i）：
出力データＹの判定要素ｙdecのスコアｐydecから、
第１の疑似出力データＹrep_iの判定要素ｙdecのスコアｐydec_rep_iに
低下したスコア
第２２のスコア（ｐydec－ｐydec_rep_j）：
出力データＹの判定要素ｙdecのスコアｐydecから、
第２の疑似出力データＹrep_jの判定要素ｙdecのスコアｐydec_rep_jに
低下したスコア
これによって、第１の条件判定部１４１は、以下の式のように、第１のスコア（ｐydec－ｐydec_rep_i,j）が、第２のスコアよりも大きいか否かを判定する
（ｐydec－ｐydec_rep_i,j）＞
｛（ｐydec－ｐydec_rep_i）＋（ｐydec－ｐydec_rep_j）｝
第１の条件判定部１４１は、第１の判定方式について、第１の所定閾値を、第２１のスコア（ｐydec－ｐydec_rep_i）と、第２２のスコア（ｐydec－ｐydec_rep_j）との和となる第２のスコア｛（ｐydec－ｐydec_rep_i）＋（ｐydec－ｐydec_rep_j）｝を設定する。
第２１のスコア（ｐydec－ｐydec_rep_i）：
出力データＹの判定要素ｙdecのスコアｐydecから、
第１の疑似出力データＹrep_iの判定要素ｙdecのスコアｐydec_rep_iに
低下したスコア
第２２のスコア（ｐydec－ｐydec_rep_j）：
出力データＹの判定要素ｙdecのスコアｐydecから、
第２の疑似出力データＹrep_jの判定要素ｙdecのスコアｐydec_rep_jに
低下したスコア
これによって、第１の条件判定部１４１は、以下の式のように、第１のスコア（ｐydec－ｐydec_rep_i,j）が、第２のスコアよりも大きいか否かを判定する
（ｐydec－ｐydec_rep_i,j）＞
｛（ｐydec－ｐydec_rep_i）＋（ｐydec－ｐydec_rep_j）｝
【0050】
前述した図５の例によれば、第１の条件判定部１４１は、以下のように算出する。
（ｐ1－ｐ1_rep_1,7）＞｛（ｐ1－ｐ1_rep_1）＋（ｐ1－ｐ1_rep_7）｝
（0.8－0.1） ＞｛（0.8－0.2）＋（0.8－0.15）｝
（ｐ1－ｐ1_rep_1,7）＞｛（ｐ1－ｐ1_rep_1）＋（ｐ1－ｐ1_rep_7）｝
（0.8－0.1） ＞｛（0.8－0.2）＋（0.8－0.15）｝
【0051】
第１の条件判定部１４１は、第１の判定方式又は第２の判定方式によって「真」と判定された場合、関係判定部１５へ、第１の条件判定「真」である旨を出力する。
前述した図５の例によれば、第１の条件判定部１４１は「偽」と判定する。
前述した図５の例によれば、第１の条件判定部１４１は「偽」と判定する。
【0052】
［第２の条件判定部１４２］
第２の条件判定部１４２は、第１の条件判定部１４１によって「偽」と判定された場合、以下の式のように判定する。
第２１のスコア（ｐydec－ｐydec_rep_i）が第２の所定閾値よりも大きく、且つ、
第２２のスコア（ｐydec－ｐydec_rep_j）が第２の所定閾値よりも大きいか否か？
（ｐydec－ｐydec_rep_i）＞第２の所定閾値、且つ、
（ｐydec－ｐydec_rep_j）＞第２の所定閾値
第２の条件判定部１４２は、第１の条件判定部１４１によって「偽」と判定された場合、以下の式のように判定する。
第２１のスコア（ｐydec－ｐydec_rep_i）が第２の所定閾値よりも大きく、且つ、
第２２のスコア（ｐydec－ｐydec_rep_j）が第２の所定閾値よりも大きいか否か？
（ｐydec－ｐydec_rep_i）＞第２の所定閾値、且つ、
（ｐydec－ｐydec_rep_j）＞第２の所定閾値
【0053】
前述した図５の例によれば、第２の条件判定部１４２は、以下のように算出する。
（ｐ1－ｐ1_rep_1）＞第２の所定閾値
（0.8－0.2） ＞第２の所定閾値
（ｐ1－ｐ1_rep_7）＞第２の所定閾値
（0.8－0.15） ＞第２の所定閾値
ここで、第２の所定閾値は、例えばｐ1の50％となる0.4と設定してもよい。
この場合、前述した図５の例によれば、第２の条件判定部１４２は「真」と判定する。
（ｐ1－ｐ1_rep_1）＞第２の所定閾値
（0.8－0.2） ＞第２の所定閾値
（ｐ1－ｐ1_rep_7）＞第２の所定閾値
（0.8－0.15） ＞第２の所定閾値
ここで、第２の所定閾値は、例えばｐ1の50％となる0.4と設定してもよい。
この場合、前述した図５の例によれば、第２の条件判定部１４２は「真」と判定する。
【0054】
［関係判定部１５］
関係判定部１５は、第１の条件判定部１４１によって「真」と判定された場合、入力データＸのイベントｘi及びｘjは、「or関係」にあると判定する。これはイベントｘiとｘjのいずれか一方がデータに含まれていれば、判断結果ydecは大きく変わらないが、両方が欠けると大きく変わることを意味する。
また、関係判定部１５は、第２の条件判定部１４２によって「真」と判定された場合、入力データＸのイベントｘi及びｘjは、「and関係」にあると判定する。これは、イベントｘiとｘjのいずれか一方が欠けると、判断結果ydecは大きく変わることを意味する。
そして、関係判定部１５は、第２の条件判定部１４２によって「偽」と判定された場合、入力データＸのイベントｘi及びｘjは、「関係性無し」と判定する
このように、関係判定部１５は、第１のイベントｘi及び第２のイベントｘjの組み合わせ毎に関係性を判定していく。
この場合、前述した図５の例によれば、関係判定部１５は「and関係」と判定する。
関係判定部１５は、第１の条件判定部１４１によって「真」と判定された場合、入力データＸのイベントｘi及びｘjは、「or関係」にあると判定する。これはイベントｘiとｘjのいずれか一方がデータに含まれていれば、判断結果ydecは大きく変わらないが、両方が欠けると大きく変わることを意味する。
また、関係判定部１５は、第２の条件判定部１４２によって「真」と判定された場合、入力データＸのイベントｘi及びｘjは、「and関係」にあると判定する。これは、イベントｘiとｘjのいずれか一方が欠けると、判断結果ydecは大きく変わることを意味する。
そして、関係判定部１５は、第２の条件判定部１４２によって「偽」と判定された場合、入力データＸのイベントｘi及びｘjは、「関係性無し」と判定する
このように、関係判定部１５は、第１のイベントｘi及び第２のイベントｘjの組み合わせ毎に関係性を判定していく。
この場合、前述した図５の例によれば、関係判定部１５は「and関係」と判定する。
【0055】
このようなイベント間の関係性は、実際の入力データＸに対する説明可能ＡＩエンジン１０の判断結果ｙdecのスコアｐydecが、疑似入力データの場合に、どのように変化するかを分析することによって得られるものである。
【0056】
［判断根拠出力部１６］
判断根拠出力部１６は、重要イベント選択部１２で選択された複数のイベントの組み合わせの関係性を結合した判断根拠を出力する。イベントの全ての組合せｘi, ｘj（∈Ｘtop_k）の関係性を、andで結合する。
判断根拠出力部１６は、重要イベント選択部１２で選択された複数のイベントの組み合わせの関係性を結合した判断根拠を出力する。イベントの全ての組合せｘi, ｘj（∈Ｘtop_k）の関係性を、andで結合する。
【0057】
前述した図５及び図６によって、例えば以下のように関係性が結合される。
パターン1: (x1, x7) and関係
パターン2: (x1, x9) 関係性なし
パターン3: (x1, x10) 関係性なし
パターン4: (x7, x9) 関係性なし
パターン5: (x7, x10) 関係性なし
パターン6: (x9, x10) or関係
これらの関係性をandで結合して、以下のような判断根拠を得ることができる。
x1 and x7 and (x9 or x10)
パターン1: (x1, x7) and関係
パターン2: (x1, x9) 関係性なし
パターン3: (x1, x10) 関係性なし
パターン4: (x7, x9) 関係性なし
パターン5: (x7, x10) 関係性なし
パターン6: (x9, x10) or関係
これらの関係性をandで結合して、以下のような判断根拠を得ることができる。
x1 and x7 and (x9 or x10)
【0058】
本発明によれば、最終的に、判定要素「リビングエアコンON」については、以下のようなイベントの関係にあると判定することができる。
＜判定要素「リビングエアコンON」＞
ｘ1（リビングエアコンOFF） and
ｘ7（リビング温度15度） and
（ｘ9（リビングソファー人感ON） or ｘ10（リビングテレビ人感ON））
（ｘ9 or ｘ10）は、リビング（のソファー）人感センサとリビングテレビとの、どちらの近くにユーザがいるかは重要ではないが、リビングにユーザがいることが重要であるということを意味する。また、（ｘ9 or ｘ10）に対して、ｘ1とｘ7とがand関係であるため、ユーザがリビングに居て、且つ、リビングのエアコンがOFFであり、且つ、リビングの気温が低い、という条件を判断根拠として、「リビングエアコンON」が制御される。
＜判定要素「リビングエアコンON」＞
ｘ1（リビングエアコンOFF） and
ｘ7（リビング温度15度） and
（ｘ9（リビングソファー人感ON） or ｘ10（リビングテレビ人感ON））
（ｘ9 or ｘ10）は、リビング（のソファー）人感センサとリビングテレビとの、どちらの近くにユーザがいるかは重要ではないが、リビングにユーザがいることが重要であるということを意味する。また、（ｘ9 or ｘ10）に対して、ｘ1とｘ7とがand関係であるため、ユーザがリビングに居て、且つ、リビングのエアコンがOFFであり、且つ、リビングの気温が低い、という条件を判断根拠として、「リビングエアコンON」が制御される。
【0059】
尚、非特許文献１によれば、判断根拠は開示されず、以下の判断根拠が得られるだけである。
＜判定要素「リビングエアコンON」＞
ｘ1（リビングエアコンOFF）
ｘ7（リビング温度15度）
ｘ9（リビングソファー人感ON）
ｘ10（リビングテレビ人感ON）
＜判定要素「リビングエアコンON」＞
ｘ1（リビングエアコンOFF）
ｘ7（リビング温度15度）
ｘ9（リビングソファー人感ON）
ｘ10（リビングテレビ人感ON）
【0060】
以上、詳細に説明したように、本発明のプログラム、判定装置及び方法によれば、複数のイベントの関係性を判定することができる。
【0061】
尚、これにより、例えば「複数のイベントの関係性を判定することができる」ことから、国連が主導する持続可能な開発目標（ＳＤＧｓ）の目標９「レジリエントなインフラを整備し、持続可能な産業化を推進するとともに、イノベーションの拡大を図る」に貢献することが可能となる。
【0062】
前述した本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。
【符号の説明】
【0063】
１ 判定装置
１０ 説明ＡＩエンジン
１１ 判定要素決定部
１２ 重要イベント選択部
１３ 疑似データ生成部
１４１ 第１の条件判定部
１４２ 第２の条件判定部
１５ 関係判定部
１６ 判断根拠出力部
１０ 説明ＡＩエンジン
１１ 判定要素決定部
１２ 重要イベント選択部
１３ 疑似データ生成部
１４１ 第１の条件判定部
１４２ 第２の条件判定部
１５ 関係判定部
１６ 判断根拠出力部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】