(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022191584
(43)【公開日】2022-12-28
(54)【発明の名称】行動評価システム及び方法
(51)【国際特許分類】
G06Q 50/10 20120101AFI20221221BHJP
G10L 17/00 20130101ALI20221221BHJP
【ＦＩ】
G06Q50/10
G10L17/00 200C
【審査請求】未請求
【請求項の数】11
【出願形態】ＯＬ
(21)【出願番号】P 2021099885
(22)【出願日】2021-06-16
(71)【出願人】
【識別番号】000005108
【氏名又は名称】株式会社日立製作所
(74)【代理人】
【識別番号】110002365
【氏名又は名称】特許業務法人サンネクスト国際特許事務所
(72)【発明者】
【氏名】沼田 崇志
(72)【発明者】
【氏名】中村 克行
(72)【発明者】
【氏名】木口 雅史
(72)【発明者】
【氏名】松本 久功
(72)【発明者】
【氏名】牧 敦
【テーマコード（参考）】
5L049
【Ｆターム（参考）】
5L049CC11
(57)【要約】
【課題】
リアルタイムや対話直後の行動評価を行い得る行動評価装置及び方法を提案する。
【解決手段】
センサの出力に基づいて評価対象者の特定の行動を検知し、検知した行動に関する複数の評価項目をそれぞれ評価し、行動の評価項目ごとの評価結果を統合した統合評価を生成し、統合評価を出力するようにし、評価項目を、行動に関して重要な直列評価項目と、当該直列評価項目以外の並列評価項目に分けて管理し、評価項目を評価する際、評価対象者の行動に関する各直列評価項目を順番に評価し、当該行動がいずれかの直列評価項目について予め設定された条件を満たさなかった場合には当該行動に対する評価を終了し、すべての直列評価項目が当該直列評価項目について設定された条件を満たした場合には各並列評価項目をそれぞれ評価するようにした。
【選択図】 図２
リアルタイムや対話直後の行動評価を行い得る行動評価装置及び方法を提案する。
【解決手段】
センサの出力に基づいて評価対象者の特定の行動を検知し、検知した行動に関する複数の評価項目をそれぞれ評価し、行動の評価項目ごとの評価結果を統合した統合評価を生成し、統合評価を出力するようにし、評価項目を、行動に関して重要な直列評価項目と、当該直列評価項目以外の並列評価項目に分けて管理し、評価項目を評価する際、評価対象者の行動に関する各直列評価項目を順番に評価し、当該行動がいずれかの直列評価項目について予め設定された条件を満たさなかった場合には当該行動に対する評価を終了し、すべての直列評価項目が当該直列評価項目について設定された条件を満たした場合には各並列評価項目をそれぞれ評価するようにした。
【選択図】 図２
【特許請求の範囲】
【請求項1】
評価対象者の行動を評価する行動評価装置において、
センサの出力に基づいて前記評価対象者の特定の前記行動を検知する行動検知部と、
前記行動検知部が検知した前記行動に関する複数の評価項目をそれぞれ評価する行動詳細評価部と、
前記行動の前記評価項目ごとの評価結果を統合した統合評価を生成する行動評価統合部と、
前記統合評価を出力する行動出力部と
を備え、
前記評価項目は、
前記行動に関して重要な直列評価項目と、当該直列評価項目以外の並列評価項目に分けて管理され、
前記行動詳細評価部は、
前記評価対象者の前記行動に関する各前記直列評価項目を順番に評価し、当該行動がいずれかの前記直列評価項目について予め設定された条件を満たさなかった場合には当該行動に対する評価を終了し、すべての前記直列評価項目が当該直列評価項目について設定された前記条件を満たした場合には各前記並列評価項目をそれぞれ評価する
ことを特徴とする行動評価装置。
センサの出力に基づいて前記評価対象者の特定の前記行動を検知する行動検知部と、
前記行動検知部が検知した前記行動に関する複数の評価項目をそれぞれ評価する行動詳細評価部と、
前記行動の前記評価項目ごとの評価結果を統合した統合評価を生成する行動評価統合部と、
前記統合評価を出力する行動出力部と
を備え、
前記評価項目は、
前記行動に関して重要な直列評価項目と、当該直列評価項目以外の並列評価項目に分けて管理され、
前記行動詳細評価部は、
前記評価対象者の前記行動に関する各前記直列評価項目を順番に評価し、当該行動がいずれかの前記直列評価項目について予め設定された条件を満たさなかった場合には当該行動に対する評価を終了し、すべての前記直列評価項目が当該直列評価項目について設定された前記条件を満たした場合には各前記並列評価項目をそれぞれ評価する
ことを特徴とする行動評価装置。
【請求項2】
前記センサの出力に基づいて、対話参加者の中から評価対象の評価対象者を推定する主体推定部をさらに備え、
前記行動検知部は、
前記主体推定部により評価対象として推定された前記評価対象者の特定の前記行動を検知する
ことを特徴とする請求項１に記載の行動評価装置。
前記行動検知部は、
前記主体推定部により評価対象として推定された前記評価対象者の特定の前記行動を検知する
ことを特徴とする請求項１に記載の行動評価装置。
【請求項3】
行動詳細評価部により算出された前記直列評価項目及び又は前記並列評価項目ごとの評価結果に基づいて、前記直列評価項目及び又は前記並列評価項目の中から前記直列評価項目及び又は前記並列評価項目についてそれぞれ予め設定された選定条件を満たす前記直列評価項目及び又は前記並列評価項目を選定する評価項目選定部をさらに備え、
前記行動評価統合部は、
前記評価項目選定部により選定された前記直列評価項目及び又は前記並列評価項目ごとの評価結果を統合した前記統合評価を生成する
ことを特徴とする請求項１に記載の行動評価装置。
前記行動評価統合部は、
前記評価項目選定部により選定された前記直列評価項目及び又は前記並列評価項目ごとの評価結果を統合した前記統合評価を生成する
ことを特徴とする請求項１に記載の行動評価装置。
【請求項4】
前記選定条件は、過去の前記行動との類似度である
ことを特徴とする請求項３に記載の行動評価装置。
ことを特徴とする請求項３に記載の行動評価装置。
【請求項5】
評価対象の前記行動は、上司及び部下の対話時における行動であり、
前記評価対象者は、前記上司である
ことを特徴とする請求項１に記載の行動評価装置。
前記評価対象者は、前記上司である
ことを特徴とする請求項１に記載の行動評価装置。
【請求項6】
前記行動は、相槌である
ことを特徴とする請求項５に記載の行動評価装置。
ことを特徴とする請求項５に記載の行動評価装置。
【請求項7】
評価対象の前記行動は、親子の対話時における行動であり、
前記評価対象者は、親である
ことを特徴する請求項１に記載の行動評価装置。
前記評価対象者は、親である
ことを特徴する請求項１に記載の行動評価装置。
【請求項8】
前記行動は、子どもに対する直接的命令である
ことを特徴とする請求項７に記載の行動評価装置。
ことを特徴とする請求項７に記載の行動評価装置。
【請求項9】
評価対象者の行動を評価する行動評価装置により実行される行動評価方法であって、
センサの出力に基づいて前記評価対象者の特定の前記行動を検知する第１のステップと、
検知した前記行動に関する複数の評価項目をそれぞれ評価する第２のステップと、
前記行動の前記評価項目ごとの評価結果を統合した統合評価を生成する第３のステップと、
前記統合評価を出力する第４のステップと
を備え、
前記評価項目は、
前記行動に関して重要な直列評価項目と、当該直列評価項目以外の並列評価項目に分けて管理され、
前記第２のステップでは、
前記評価対象者の前記行動に関する各前記直列評価項目を順番に評価し、当該行動がいずれかの前記直列評価項目について予め設定された条件を満たさなかった場合には当該行動に対する評価を終了し、すべての前記直列評価項目が当該直列評価項目について設定された前記条件を満たした場合には各前記並列評価項目をそれぞれ評価する
ことを特徴とする行動評価方法。
センサの出力に基づいて前記評価対象者の特定の前記行動を検知する第１のステップと、
検知した前記行動に関する複数の評価項目をそれぞれ評価する第２のステップと、
前記行動の前記評価項目ごとの評価結果を統合した統合評価を生成する第３のステップと、
前記統合評価を出力する第４のステップと
を備え、
前記評価項目は、
前記行動に関して重要な直列評価項目と、当該直列評価項目以外の並列評価項目に分けて管理され、
前記第２のステップでは、
前記評価対象者の前記行動に関する各前記直列評価項目を順番に評価し、当該行動がいずれかの前記直列評価項目について予め設定された条件を満たさなかった場合には当該行動に対する評価を終了し、すべての前記直列評価項目が当該直列評価項目について設定された前記条件を満たした場合には各前記並列評価項目をそれぞれ評価する
ことを特徴とする行動評価方法。
【請求項10】
前記第１のステップでは、
前記センサの出力に基づいて、対話参加者の中から評価対象の前記評価対象者を推定し、
評価対象として推定した前記評価対象者の特定の前記行動を検知する
ことを特徴とする請求項９に記載の行動評価方法。
前記センサの出力に基づいて、対話参加者の中から評価対象の前記評価対象者を推定し、
評価対象として推定した前記評価対象者の特定の前記行動を検知する
ことを特徴とする請求項９に記載の行動評価方法。
【請求項11】
前記第３のステップでは、
算出した前記直列評価項目及び又は前記並列評価項目ごとの評価結果に基づいて、前記直列評価項目及び又は前記並列評価項目の中から前記直列評価項目及び又は前記並列評価項目についてそれぞれ予め設定された選定条件を満たす前記直列評価項目及び又は前記並列評価項目を選定し、
選定した前記直列評価項目及び又は前記並列評価項目ごとの評価結果を統合した前記統合評価を生成する
ことを特徴とする請求項９に記載の行動評価方法。
算出した前記直列評価項目及び又は前記並列評価項目ごとの評価結果に基づいて、前記直列評価項目及び又は前記並列評価項目の中から前記直列評価項目及び又は前記並列評価項目についてそれぞれ予め設定された選定条件を満たす前記直列評価項目及び又は前記並列評価項目を選定し、
選定した前記直列評価項目及び又は前記並列評価項目ごとの評価結果を統合した前記統合評価を生成する
ことを特徴とする請求項９に記載の行動評価方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は行動評価システム及び方法に関し、例えば、対話中のユーザの行動を評価する行動評価システムに適用して好適なものである。
【背景技術】
【0002】
複数人の対話において、話者一人ひとりの行動を評価できれば、対話中の話者の行動を支援できる。そこで、対話支援のための行動評価に向けて、話者やその相手の表情や身振り手振り、音声などの対話に関わる行動をカメラやマイクロホンなどのセンサにより信号（以下、これを行動信号と呼ぶ）として取得し、取得した行動信号に基づいて話者の行動の特徴量（以下、これを行動特徴量と呼ぶ）を算出し、その行動特徴量を話者の行動推定に活用する技術が提案されている。
【0003】
このような技術のうち、他者に対する人の言動を評価するため、被評価者の言動を認識する認識部と、被評価者の言動の切っ掛けとなる被評価者以外の者の状態である契機状態を検知する検知部と、認識部による被評価者の言動に関わる認識結果と検知部により検知された契機状態を利用して、被評価者の言動を評価する評価部とを情報処理装置に設けることが特許文献１に開示されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】国際公開第２０１６／０８８３６９号
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献１では、人の行動を推定すると共に、その人の行動の切っ掛けとなる他者の状態である契機状態を検知し、人の行動に関わる認識結果と契機状態とを利用することで他者に対する人の言動を評価することができる。
【0006】
しかしながら、複数人の対話において、評価対象のユーザの行動を詳細に評価する場合、行動評価におけるシステムの処理量が膨大となることが想定されていない。対話中のユーザの行動を詳細かつ連続的に評価する場合、ユーザの表情、視線、顔の動き、身振り手振り、発話内容、音声の大きさや高さなどのいわゆるパラ言語情報と、その行動前後の対話相手のパラ言語情報とを同時に取得し、処理することで複数の評価項目を用いてユーザの行動を統合的に評価する必要がある。またユーザと対話相手とが既知の場合、以前のユーザと対話相手の行動も取得し、評価項目に含める必要がある。
【0007】
対象とする行動の評価項目が多数存在する場合、すべての評価項目による行動評価を直列的又は並列的に処理すると、システムによる処理量の低減が難しかったり、リアルタイムや対話直後の行動評価を行い難いという問題がある。
【0008】
本発明は以上の点を考慮してなされたもので、リアルタイムや対話直後の行動評価を行い得る行動評価装置及び方法を提案しようとするものである。
【課題を解決するための手段】
【0009】
かかる課題を解決するため本発明においては、評価対象者の行動を評価する行動評価装置において、センサの出力に基づいて前記評価対象者の特定の前記行動を検知する行動検知部と、前記行動検知部が検知した前記行動に関する複数の評価項目をそれぞれ評価する行動詳細評価部と、前記行動の前記評価項目ごとの評価結果を統合した統合評価を生成する行動評価統合部と、前記統合評価を出力する行動出力部とを設け、前記評価項目を、前記行動に関して重要な直列評価項目と、当該直列評価項目以外の並列評価項目に分けて管理され、前記行動詳細評価部が、前記評価対象者の前記行動に関する各前記直列評価項目を順番に評価し、当該行動がいずれかの前記直列評価項目について予め設定された条件を満たさなかった場合には当該行動に対する評価を終了し、すべての前記直列評価項目が当該直列評価項目について設定された前記条件を満たした場合には各前記並列評価項目をそれぞれ評価するようにした。
【0010】
また本発明においては、評価対象者の行動を評価する行動評価装置により実行される行動評価方法であって、センサの出力に基づいて前記評価対象者の特定の前記行動を検知する第１のステップと、検知した前記行動に関する複数の評価項目をそれぞれ評価する第２のステップと、前記行動の前記評価項目ごとの評価結果を統合した統合評価を生成する第３のステップと、前記統合評価を出力する第４のステップとを設け、前記評価項目を、前記行動に関して重要な直列評価項目と、当該直列評価項目以外の並列評価項目に分けて管理し、前記第２のステップでは、前記評価対象者の前記行動に関する各前記直列評価項目を順番に評価し、当該行動がいずれかの前記直列評価項目について予め設定された条件を満たさなかった場合には当該行動に対する評価を終了し、すべての前記直列評価項目が当該直列評価項目について設定された前記条件を満たした場合には各前記並列評価項目をそれぞれ評価するようにした。
【0011】
本発明の行動評価装置及び方法によれば、評価対象者の行動が重要な直列評価項目の条件を満たさない場合にはそれ以降の直列評価項目及び各並列評価項目の評価が行われないため、その分の行動評価装置の処理量を低減することができる。
【発明の効果】
【0012】
本発明によれば、リアルタイムや対話直後の行動評価を行い得る行動評価装置及び方法を実現できる。
【図面の簡単な説明】
【0013】
【図1】第１の実施の形態による行動評価システムの全体構成を示すブロック図である。
【図2】第１の実施の形態による行動評価システムの論理構成を示すブロック図である。
【図3】主体推定データベースの構成例を示す図表である。
【図4】主体推定情報の構成例を示す図表である。
【図5】行動検知データベースの構成例を示す図表である。
【図6】評価メソッドの構成例を示す図表である。
【図7】行動検知情報の構成例を示す図表である。
【図8】行動詳細評価データベースの構成例を示す図表である。
【図9】行動詳細評価結果の構成例を示す図表である。
【図10】行動詳細結果の構成例を示す図表である。
【図11A】主体推定処理の処理手順を示すフローチャートである。
【図11B】主体推定処理の処理手順を示すフローチャートである。
【図11C】主体推定処理の処理手順を示すフローチャートである。
【図12】行動検知処理の処理手順を示すフローチャートである。
【図13】行動詳細評価処理の処理手順を示すフローチャートである。
【図14】行動評価統合処理の処理手順を示すフローチャートである。
【図15】行動出力処理の処理手順を示すフローチャートである。
【図16】第２の実施の形態による行動評価システムの全体構成を示すブロック図である。
【図17】第２の実施の形態による行動評価システムの論理構成を示すブロック図である。
【図18】評価項目選定データベースの構成例を示す図表である。
【図19】選定設定処理の処理手順を示すフローチャートである。
【図20】評価項目選定処理の処理手順を示すフローチャートである。
【図21】行動評価設定画面の画面構成例を示す図である。
【図22】編集画面の画面構成例を示す図である。
【図23】具体例１における行動評価システムの動作概要を示す概念図である。
【図24】具体例１における行動評価システムの論理構成を示すブロック図である。
【図25】具体例２における行動評価システムの動作概要を示す概念図である。
【図26】具体例２における行動評価システムの論理構成を示すブロック図である。
【発明を実施するための形態】
【0014】
以下図面について、本発明の一実施の形態を詳述する。
【0015】
なお、本発明は以下の各実施の形態の内容に限定されるものではなく、様々な変形例が含まれる。各実施の形態は本発明を分かり易く説明するために詳細に説明したものであり、必ずしも説明したすべての構成を備えるものに限定されるものではない。
【0016】
また各実施の形態の構成の一部を他の実施の形態の構成に置き換えることが可能であり、また、ある実施の形態の構成に別の実施の形態の構成を加えることも可能である。さらに各実施の形態の構成の一部について、他の構成の追加、削除、置換をすることも可能である。さらに、各構成、機能、処理部及び処理手段等は、それらの一部又は全部を、例えば、集積回路で設計する等によりハードウェアで実現してもよい。
【0017】
（１）第１の実施の形態
（１－１）本実施の形態による行動評価システムの物理構成
図１において、１は全体として本実施の形態による行動評価システムを示す。行動評価システム１は、評価対象となるユーザ（以下、これを評価対象ユーザ又は評価対象者と呼ぶ）の対話時における表情や身振り手振り及び音声などの行動を評価するシステムである。この行動評価システム１は、第１及び第２の行動情報取得装置２Ａ，２Ｂと、行動評価装置３と、入力装置４及び出力装置５とを備えて構成される。
（１－１）本実施の形態による行動評価システムの物理構成
図１において、１は全体として本実施の形態による行動評価システムを示す。行動評価システム１は、評価対象となるユーザ（以下、これを評価対象ユーザ又は評価対象者と呼ぶ）の対話時における表情や身振り手振り及び音声などの行動を評価するシステムである。この行動評価システム１は、第１及び第２の行動情報取得装置２Ａ，２Ｂと、行動評価装置３と、入力装置４及び出力装置５とを備えて構成される。
【0018】
第１の行動情報取得装置２Ａは、評価対象ユーザの対話時の行動に関する情報を取得し、取得した情報を主行動信号として行動評価装置３に出力する１又は複数のセンサから構成される。また第２の行動情報取得装置２Ｂは、評価対象ユーザ以外の話者（評価対象ユーザの対話相手）の対話時の行動に関する情報を取得し、取得した情報を副行動信号として行動評価装置３に出力する１又は複数のセンサから構成される。
【0019】
本実施の形態の場合、第１及び第２の行動情報取得装置２Ａ，２Ｂは、それぞれユーザの表情を撮影するカメラと、ユーザの発話音声を集音するマイクロホンとから構成され、これらのカメラから出力された画像信号と、マイクロホンから出力された音声信号とが主行動信号や副行動信号として行動評価装置３に出力されるものとする。
【0020】
ただし、主行動信号及び副行動信号は、主体の推定、行動の検知、行動の詳細評価のために用いることが可能な評価対象ユーザや評価対象ユーザ以外の話者の行動に関する情報の信号であれば、画像信号や音声信号に限定されない。例えば、主行動信号及び副行動信号が、評価対象ユーザや評価対象ユーザ以外の話者に装着した加速度センサから出力される身体の動きに関する加速度信号や、家電や家具などに装着した電力センサや加速度センサなどから出力される電力信号や加速度信号、さらには室温や湿度等の外部環境などの計測信号であってもよい。
【0021】
また主行動信号及び副行動信号は、評価対象ユーザ及び評価対象ユーザ以外の話者の行動を評価できるものであれば、画像信号及び音声信号のいずれか一方だけであってもよく、さらには画像信号及び音声信号の両方又はいずれか一方と、他の計測信号とであってもよい。
【0022】
さらに評価対象ユーザ以外の話者は複数人であってもよい。この場合には評価対象ユーザ以外の各話者にそれぞれ対応させて第２の行動情報取得装置２Ｂが設けられ、これら第２の行動情報取得装置２Ｂがそれぞれ対応する話者について取得した当該話者の行動に関する各種情報がそれぞれ副行動信号として行動評価装置３に与えられることになる。
【0023】
行動評価装置３は、ＣＰＵ（Central Processing Unit）６、メモリ７及び記憶装置８などの情報処理資源を備えた汎用のコンピュータ装置から構成される。ＣＰＵ６は、行動評価装置３全体の動作を統括的に制御するプロセッサである。
【0024】
またメモリ７は、例えば半導体メモリから構成され、ＣＰＵ６のワーキングメモリとして利用される。後述の主体推定プログラム１０、行動検知プログラム１１、行動詳細評価プログラム１２、行動評価統合プログラム１３、行動出力プログラム１４及び通信プログラム１５は、行動評価装置３の起動時や必要時に記憶装置から読み出されてメモリ７に格納されて保持される。
【0025】
記憶装置８は、ハードディスク装置やＳＳＤ（Solid State Drive）などの大容量の不揮発性の記憶装置から構成され、各種プログラムや長期的に保存が必要な各種情報を保持するために利用される。後述の主体推定データベース２０、行動検知データベース２１、評価メソッド２２及び行動詳細評価データベース２３もこの記憶装置８に格納されて保持される。
【0026】
入力装置４は、マウスやキーボードなどから構成され、行動評価装置３に各種情報を入力したり、各種設定を行うために利用される。出力装置５は、液晶ディスプレイや有機ＥＬ（Electro-Luminescence）ディスプレイなどの表示装置から構成される。出力装置５は、行動評価装置３から与えられた画面データに基づいて各種画面を表示する。
【0027】
（１－２）本実施の形態による行動評価装置の論理構成
次に、行動評価装置３の論理構成について説明する。これに際して、行動評価装置３に搭載された行動評価機能について説明する。この行動評価機能は、第１及び第２の行動情報取得装置２Ａ，２Ｂから与えられた主行動信号及び副行動信号に基づいて、いずれの話者が評価対象ユーザであるかを推定し、その評価対象ユーザの特定の評価対象の行動（以下、これを評価行動と呼ぶ）を検知してその評価行動を評価し、評価結果に基づいて評価対象ユーザの行動を支援する機能である。
次に、行動評価装置３の論理構成について説明する。これに際して、行動評価装置３に搭載された行動評価機能について説明する。この行動評価機能は、第１及び第２の行動情報取得装置２Ａ，２Ｂから与えられた主行動信号及び副行動信号に基づいて、いずれの話者が評価対象ユーザであるかを推定し、その評価対象ユーザの特定の評価対象の行動（以下、これを評価行動と呼ぶ）を検知してその評価行動を評価し、評価結果に基づいて評価対象ユーザの行動を支援する機能である。
【0028】
本実施の形態においては、各評価行動に対して複数の評価項目が予め設定されており１つの評価行動を多面的及び統合的に評価する。例えば、「笑う」という評価行動については、「場所（笑っても良い場所か否か）」、「話題（笑っても良い話題か否か）」、「共感（相手と共感できているか否か）」といった複数の評価項目が予め設定され、これらの評価項目ごとに「笑う」という評価対象ユーザの行動を多面的及び統合的に評価する。
【0029】
ただし、１つの評価行動について複数の評価項目を評価する場合、かかる評価の演算量が多くなり、特に、対話相手が複数存在する場合などにリアルタイムでの評価が困難となる問題がある。
【0030】
そこで本行動評価装置３では、評価行動ごとに、その評価項目のうちの特に重要な１又は複数の評価項目を直列評価項目とし、それ以外の評価項目を並列評価項目として管理する。例えば、対話中の「笑う」という行動については、「場所」や「話題」を弁えずに笑うことは対話相手とのコミュニケーションをとる上で問題であり、このような項目については直列評価項目として管理する。これに対して、評価対象ユーザが笑ったことに起因して対話相手の「発話を一時的に妨げた」ことは対話相手とのコミュニケーションをとる上でそれほど重要な問題ではないため、このような項目については並列評価項目として管理する。
【0031】
そして直列評価項目については、その優先順位に基づいて順番に評価し、評価対象ユーザの評価行動がいずれかの直列評価項目の条件を満たしていないと判断した段階でその評価行動に対する評価を終了する。また並列評価項目については、すべての直列評価項目についての評価を終了した後に順番に評価を行い、評価対象ユーザの評価行動がいずれかの並列評価項目の条件を満たしていない場合においてもすべての並列評価項目についての評価を実行する。
【0032】
このように評価行動を評価することにより、評価対象ユーザの行動評価に要する演算量を低減させてリアルタイムでの行動評価を行うことが可能となる。
【0033】
【0034】
入力部３０は、主行動信号入力部４０及び副行動信号入力部４１から構成され、演算部３１は、主体推定部４２、行動検知部４３、行動詳細評価部４４、行動評価統合部４５及び行動出力部４６から構成される。また記憶部３２は、メモリ７（図１）及び記憶装置８（図１）が提供する記憶領域であり、主体推定データベース２０、行動検知データベース２１、評価メソッド２２、行動詳細評価データベース２３、行動詳細評価結果２４及び行動評価統合結果２５が格納される。
【0035】
主行動信号入力部４０及び副行動信号入力部４１は、行動評価装置３のＣＰＵ６（図１）がメモリ７に保持された通信プログラム１５を実行することにより具現化される機能部である。主行動信号入力部４０は、第１の行動情報取得装置２Ａから与えられた主行動信号に対してＡ／Ｄ（Analog/Digital）変換などの所定の信号処理を施した後に演算部３１の主体推定部４２、行動検知部４３及び行動詳細評価部４４に出力する。また副行動信号入力部４１は、第２の行動情報取得装置２Ｂから与えられた副行動信号に対して主行動信号入力部と同様の信号処理を施した後に演算部３１の主体推定部４２、行動検知部４３及び行動詳細評価部４４に出力する。
【0036】
主体推定部４２は、行動評価装置３のＣＰＵ６がメモリ７に保持された主体推定プログラム１０（図１）を実行することにより具現化される機能部である。主体推定部４２は、主行動信号入力部４０から与えられた主行動信号と、副行動信号入力部４１から与えられた副行動信号と、主体推定データベース２０に予め格納されている主体情報とに基づいて、対話参加者の中から評価対象ユーザを推定する機能を有する。具体的に、主体推定部４２は、主行動信号及び副行動信号のうちのいずれが評価対象ユーザ由来の行動信号であるかを推定し、推定結果に基づく主体推定情報４７を行動検知部４３に出力する。
【0037】
図３は、主体推定データベース２０の構成例を示す。主体推定データベース２０は、評価対象ユーザについて予め取得された、その評価対象ユーザの顔の特徴点（目、口、鼻及び顔の輪郭など）の配置や、評価対象ユーザの声紋及び言語など、評価対象ユーザを推定するための各種情報（以下、これを、適宜、主体情報と呼ぶ）が格納されたデータベースであり、事前にユーザや専門家等により作成される。なお、主体推定データベース２０を評価対象ユーザごとに作成するようにしてもよい。
【0038】
本実施の形態の主体推定データベース２０は、主体名欄２０Ａ、取得先信号名欄２０Ｂ、主体特徴量名欄２０Ｃ及び主体特徴量欄２０Ｄを備えたテーブル構造を有する。図３の主体推定データベース２０では、１つの行が予め評価対象ユーザについて取得されて登録された当該評価対象ユーザの１つの主体情報に対応する。
【0039】
そして主体名欄２０Ａには、評価対象ユーザの名称が主体名として格納される。主体名は、評価対象ユーザ個人を特定する情報であっても、評価対象ユーザの属性を表す情報であってもよい。例えば、職場における上司と部下との面談で上司を支援する場合には主体名を「上司」としても良く、また親子の対話で親を支援する場合には主体名を「親」としてもよい。
【0040】
また取得先信号名欄２０Ｂには、かかる評価対象ユーザについて予め取得されて登録された、評価対象ユーザの各特徴量の名称（「主体特徴量名」）が格納される。図３は、このような特徴量として、評価対象ユーザの顔における目、鼻、口及び顔の輪郭などの特徴点の配置（「顔特徴点の配置」）や、その評価対象ユーザの声紋（「声紋」）、及び、その評価対象ユーザが実際に発話する可能性がある言葉（「言語」）等が主体推定データベースに登録されている例を示している。
【0041】
主体特徴量名欄２０Ｃには、主行動信号や副行動信号を構成する各種信号（ここでは画像信号及び音声信号）のうちの対応する特徴量を取得可能な信号の信号種別（画像信号の場合には「画像」、音声信号の場合には「音声」）が格納される。
【0042】
さらに主体特徴量欄２０Ｄには、評価対象ユーザから予め取得した対応する特徴量名の特徴の値（特徴量）が格納される。かかる特徴量として、例えば「顔特徴点の配置」であれば、評価対象ユーザの顔における目、鼻、口及び輪郭などの各特徴点の座標が格納され、「声紋」であれば、評価対象ユーザの音声の時系列データに対する周波数スペクトルが格納され、言語であれば、事前に設定した合言葉やその評価対象ユーザの氏名などの言葉が格納される。
【0043】
従って、図３の例の場合、事前に画像信号（「画像」）から取得した、「xx xx」という評価対象ユーザの顔における各特徴点の配置（座標）は、それぞれ「1,100,100」、「2,105,115」、……「100,680,620」、その評価対象ユーザの音声の時系列データに対する周波数スペクトルは「1,0.01,100」、「2,0.01,110」、……、「3000,5.00,620」であり、その評価対象ユーザが発話する可能性がある言葉として「xx xx」や「○○」、「△△」、……、「□□」が主体情報として主体推定データベースに登録されていることが示されている。
【0044】
また図４は、上述のように主体推定部４２から出力される主体推定情報４７の構成例を示す。この図４に示すように、主体推定情報４７は、主行動信号名４７Ａ、主行動信号取得時間４７Ｂ、主行動信号値４７Ｃ、主行動特徴量名４７Ｄ、主行動特徴量４７Ｅ及び主体スコアＡ４７Ｆと、副行動信号名４７Ｇ、副行動信号取得時間４７Ｈ、副行動信号値４７Ｉ、副行動特徴量名４７Ｊ、副行動特徴量４７Ｋ及び主体スコアＢ４７Ｌと、主体推定結果４７Ｍとを含む。
【0045】
主行動信号名４７Ａ及び副行動信号名４７Ｇは、それぞれそのとき主体（評価対象ユーザ）を推定するのに利用した主行動信号や副行動信号の信号種別（「画像」及び又は「音声」）を表す。主行動信号が画像信号及び音声信号の双方を含む場合には、画像信号及び音声信号を「主行動信号名１」、「主行動信号名２」のように番号を付与して区別するようにしてもよい。
【0046】
主行動信号取得時間４７Ｂ及び副行動信号取得時間４７Ｈは、それぞれ主行動信号や副行動信号を取得した時間を表す。この「時間」は、例えば主行動信号や副行動信号の計測開始時刻からの経過時間である。また主行動信号値４７Ｃ及び副行動信号値４７Ｉは、それぞれ主行動信号入力部４０（図２）や副行動信号入力部４１（図２）が第１又は第２の行動情報取得装置２Ａ，２Ｂ（図２）から与えられた主行動信号や副行動信号を対応する「時間」にサンプリングすることにより得られた主行動信号や副行動信号の値（サンプリング値）である。
【0047】
主行動特徴量名４７Ｄ及び副行動特徴量名４７Ｊは、それぞれ評価対象ユーザを推定するために利用した特徴量の名称（主行動特徴量名、副行動特徴量名）を表す。主行動特徴量名４７Ｄ及び副行動特徴量名４７Ｊとしては、上述のように「顔特徴点の配置」や、「声紋」及び「言語」などがある。なお、主行動特徴量名４７Ｄや副行動特徴量名４７Ｊとしては、評価対象ユーザを特定できる情報であれば、かかる評価対象ユーザや当該評価対象ユーザ以外の話者に入力装置４（図１）からの入力を要求した場合に取得した情報などが含まれていてもよい。
【0048】
主行動特徴量４７Ｅ及び副行動特徴量４７Ｋは、主行動特徴量名４７Ｄの特徴量や副行動特徴量名４７Ｊの特徴量の具体的な値である。例えば、主行動特徴量名４７Ｄや副行動特徴量名４７Ｊの値が「顔特徴点の配置」である場合には、評価対象ユーザの顔における目、鼻、口及び輪郭などの各特徴点の座標が該当し、主行動特徴量名４７Ｄや副行動特徴量名４７Ｊの値が「声紋」である場合には、音声の時系列データに対する周波数スペクトルが該当する。また主行動特徴量名４７Ｄや副行動特徴量名４７Ｊの値が「言語」である場合には、事前に設定した合言葉やそのユーザの氏名などの言葉が該当する。
【0049】
主体スコアＡ４７Ｆ及び主体スコアＢ４７Ｌは、それぞれ主行動信号値４７Ｃの各値や副行動信号値４７Ｉの各値と、主体推定データベース２０に格納された同じ特徴量名の特徴の値（主体特徴量）との類似度を表す。主体スコアＡ４７Ｆの値が主体スコアＢ４７Ｌの値よりも大きい場合には、主行動信号の特徴量が主体推定データベース２０に格納された対応する主体特徴量と類似しており、主行動信号の取得元の話者が評価対象ユーザである確率が高いことを意味する。また、逆に、主体スコアＢ４７Ｌの値が主体スコアＡ４７Ｆの値よりも大きい場合には、副行動信号の特徴量が主体推定データベース２０に格納された対応する主体特徴量と類似しており、副行動信号の取得元の話者が評価対象ユーザである確率が高いことを意味する。
【0050】
主体推定結果４７Ｍは、主行動信号及び副行動信号のうち、いずれが評価対象ユーザから取得した行動信号であるかの推定結果を表す。ここまでの説明では、主行動信号入力部４０に入力する主行動信号は評価対象ユーザから取得した行動信号であり、副行動信号入力部４１に入力する副行動信号は評価対象ユーザ以外の話者から取得した行動信号であることを前提としてしているが、実際には、主体推定部４２がかかる推定結果を得るまでは、主行動信号及び副行動信号のうちのいずれが評価対象ユーザから取得した行動信号であるかが分からない。
【0051】
そこで、主行動信号入力部４０及び副行動信号入力部４１にそれぞれ入力する各行動信号をランダム又は固定的に主行動信号又は副行動信号に仮設定したり、前回の情報を参照してこれらの行動信号を主行動信号又は副行動信号に仮設定した上で、主体推定部４２の主体推定結果に従って主行動信号入力部４０及び副行動信号入力部４１にそれぞれ入力する各行動信号のうちのいずれが評価対象ユーザから取得した行動信号（主行動信号）であるかを確定させる。
【0052】
主体推定結果４７Ｍが「主行動信号」であれば何もせず、主体推定結果４７Ｍが「副行動信号」であれば、これ以降の処理において、主行動信号入力部４０から出力される行動信号を副行動信号、副行動信号入力部４１から出力される行動信号を主行動信号として取り扱う。
【0053】
よって、主行動信号入力部４０や副行動信号入力部４１が行動信号を取得した段階ではこれらの行動信号を主行動信号や副行動信号として区別せずに行動信号Ａや行動信号Ｂのように区別し、主体推定部４２の主体推定結果を得た後に、行動信号Ａ及び行動信号Ｂのうちの該当する一方を主行動信号、他方を副行動信号として区別して取り扱うようにしてもよい。
【0054】
また主体推定結果４７Ｍは、主体スコアＡ及び主体スコアＢの相関関係（大小関係）に基づいて主行動信号及び副行動信号を決定するのではなく、一方の行動信号にのみ基づいていずれの行動信号が主行動信号であるかを推定するようにしてもよい。具体的には、一方の行動信号の主体スコアが予め専門家等により設定された閾値を超えた場合には、その行動信号を主行動信号として推定し、かかる一方の行動信号の主体スコアがかかる閾値を超えなかった場合には、他方の行動信号を主行動信号として推定するようにすればよい。
【0055】
なお主行動信号名４７Ａや主行動信号値４７Ｃなどにおいて、主体推定情報４７で複数種類存在する項目がある場合には、例えば「主行動信号名１」や、「主行動信号１」のように番号を付与することで区別できるようにする。主体スコアＡなどが複数存在する場合には、これらを「主体スコアＡ１」、「主体スコアＡ２」、……のように区別し、これらのスコアの平均値や最高値などを算出することにより、複数の主体スコアＡを統合し、主体推定結果４７Ｍの算出に用いる。
【0056】
図２の説明に戻って、行動検知部４３は、行動評価装置３のＣＰＵ６（図１）がメモリ７（図１）に保持された行動検知プログラム１１（図１）を実行することにより具現化される機能部である。行動検知部４３は、主体推定部４２から与えられた主体推定情報４７（図４）と、行動検知データベース２１及び評価メソッド２２とに基づいて、そのときの評価対象ユーザの行動を検知し、検知結果を行動検知情報４８として行動詳細評価部４４に出力する。
【0057】
図５は、かかる行動検知データベース２１の構成例を示す。行動検知データベース２１は、評価対象ユーザのそのときの行動を主体推定情報４７に基づいて検知するための各種行動ごとの特徴量が行動特徴量として格納されたデータベースであり、予め専門家等により事前に作成される。なお、行動検知データベース２１を評価対象ユーザごとにそれぞれ作成するようにしてもよい。
【0058】
本実施の形態の行動検知データベース２１は、行動名欄２１Ａ、行動特徴量名欄２１Ｂ、行動特徴量欄２１Ｃ、行動検知基準欄２１Ｄ及び行動検知閾値欄２１Ｅを備えたテーブル構造を有する。図５の行動検知データベース２１では、１つの行が１種類の行動に対応する。
【0059】
そして行動名欄２１Ａには、「立つ」、「座る」、「寝る」、「歩く」及び「笑う」などの各種行動の名称（行動名）がそれぞれ格納される。行動名としては、事前に設定した評価対象ユーザが取り得る行動や、評価対象ユーザが前回行った行動の行動名などが登録される。なお、行動名として、対話に関係しない一般的な行動の行動名が含まれていてもよい。
【0060】
また行動特徴量名欄２１Ｂには、対応する行動を検知する際に利用可能な行動特徴量の名称が行動特徴量名として格納される。このような行動特徴量名としては、例えば「立つ」、「座る」、「寝る」及び「歩く」という行動であれば「姿勢」、「笑う」という行動であれば「顔特徴点の配置」、「声量」及び「言語」などがある。
【0061】
さらに行動特徴量欄２１Ｃには、評価対象ユーザが対応する行動名の行動を行っていると判断するための行動特徴量の基準（以下、これを行動特徴量基準と呼ぶ）となる値が格納される。例えば、行動特徴量名が「姿勢」である場合には、その姿勢を取った場合における人の特定関節の位置座標の時系列データが行動特徴量基準として格納される。
【0062】
さらに行動検知基準欄２１Ｄには、評価対象ユーザが対応する行動名の行動を行っていると判断するための基準（以下、これを行動検知基準と呼ぶ）が格納され、行動検知閾値欄２１Ｅには、評価対象ユーザがその行動を行っていると判断するための閾値（以下、これを行動検知閾値と呼ぶ）が格納される。
【0063】
よって、例えば図５では、「立つ」、「座る」、「寝る」又は「歩く」といった行動については、行動検知基準が「相関係数（類似度）」であるため、主体推定情報４７に含まれる主行動特徴量と、行動検知データベース２１におけるその行動に対応する行の行動特徴量欄２１Ｃに格納された行動特徴量との「相関係数（類似度）」がその行の行動検知閾値欄２１Ｅに格納された行動検知閾値を超えている場合には、評価対象ユーザがその行動を行っていると判断できることが示されている。
【0064】
また図５では、「笑う」という行動については、主体推定情報４７に含まれる主行動特徴量の主行動特徴量名が「顔特徴点の配置」である場合には、主体推定情報４７に含まれる主行動特徴量と、行動検知データベース２１における行動名が「笑う」で、行動特徴量名欄２１Ｂに「顔特徴点の配置」が格納された行の行動特徴量欄２１Ｃに格納された行動特徴量との「相関係数（類似度）」がその行の行動検知閾値欄２１Ｅに格納された行動検知閾値を超えているときに、評価対象ユーザが「笑う」という行動を行っていると判断できることが示されている。
【0065】
さらに図５では、主体推定情報４７に含まれる主行動特徴量の主行動特徴量名が「声量」である場合には、主体推定情報４７に含まれる主行動特徴量が、行動検知データベース２１における行動名が「笑う」で、行動特徴量名欄２１Ｂに「声量」が格納された行の行動特徴量欄２１Ｃに格納された行動特徴量や、その行の行動検知閾値欄２１Ｅに格納された行動検知閾値よりも大きい（行動検知基準が「大小」）ときも、評価対象ユーザが「笑う」という行動を行っていると判断できることが示されている。
【0066】
加えて、図５では、主体推定情報４７に含まれる主行動特徴量の主行動特徴量名が「言語」である場合には、主体推定情報４７に含まれる主行動特徴量が、行動検知データベース２１における行動名が「笑う」で、行動特徴量名欄２１Ｂに「言語」が格納された行の行動特徴量欄２１Ｃに格納された行動特徴量や、その行の行動検知閾値欄２１Ｅに格納された行動検知閾値と一致（行動検知基準が「一致」）したときにも、評価対象ユーザが「笑う」という行動を行っていると判断することができたことが示されている。
【0067】
図６は、評価メソッド２２の一例を示す。評価メソッド２２は、事前に専門家などにより設定された評価対象とすべき行動の一覧であり、本行動評価装置１により行動評価を行い得る各種シチュエーション（例えば、「コミュニケーション一般」、「ビジネス」、「子育て」など）にそれぞれ対応させて作成される。図６では、「コミュニケーション一般」用の評価メソッド２２の一例であり、「笑う」という行動と、「怒鳴る」という行動とが、評価行動として設定されている例を示している。
【0068】
図７は、行動検知部４３から行動詳細評価部４４に出力される上述の行動検知情報４８の構成例を示す。行動検知情報４８は、主行動信号名４８Ａ、主行動信号取得時間４８Ｂ、主行動信号値４８Ｃ、主行動特徴量名４８Ｄ、主行動特徴量４８Ｅ、主行動名４８Ｆ及び主行動検知結果４８Ｇの各情報を含む。
【0069】
主行動名４８Ｆは、行動検知部４３が検知した評価対象ユーザのそのときの行動の名称（行動名）を表す。また主行動信号名４８Ａは、その行動を検知するために利用した主行動信号の信号種別を表す。
【0070】
主行動信号取得時間４８Ｂ及び主行動信号値４８Ｃは、それぞれ図４について上述した主体推定情報４７の主行動信号取得時間４７Ｂ及び主行動信号値４７Ｃと同様の定義及び形式の情報である。また主行動特徴量名４８Ｄ及び主行動特徴量４８Ｅは、それぞれかかる行動を検知するために利用した主体推定情報４７に含まれていた主行動特徴量名４７Ｄ（図４）及び主行動特徴量４７Ｅ（図４）の各値を表す。
【0071】
主行動検知結果４８Ｇは、行動検知部４３が検知した行動が評価メソッド２２で定義された評価行動であるか否かを表す情報である。行動検知部４３が検知した対応する行動が評価行動である場合には主行動検知結果４８Ｇが「評価対象」に設定され、評価行動でない場合には主行動検知結果４８Ｇが「非評価対象」に設定される。
【0072】
図２の説明に戻って、行動詳細評価部４４は、行動評価装置３のＣＰＵ６（図１）がメモリ７（図１）に保持された行動詳細評価プログラム１２（図１）を実行することにより具現化される機能部である。行動詳細評価部４４は、行動検知部４３から与えられた行動検知情報４８と、行動詳細評価データベース２３に格納された情報とに基づいて、行動検知部４３により検知された評価対象ユーザの行動のうちの評価行動について、その評価行動がそれぞれその評価行動に関して予め設定されている各直列評価項目及び各並列評価項目の条件をそれぞれ満たすか否かを評価する機能を有する。そして行動詳細評価部４４は、かかる評価結果を行動詳細評価結果２４として記憶部３２に格納する。
【0073】
なお本実施の形態においては、行動詳細評価部４４として、かかる評価行動の各直列評価項目についての評価を行う直列評価項目用と、かかる評価行動の各並列評価項目についての評価を行う並列評価項目用との少なくとも２つの行動詳細評価部４４を設けるものとするが、１つの行動詳細評価部４４によりかかる評価行動の各直列評価項目及び各並列評価項目についての評価を行うようにしてもよい。
【0074】
図８は、行動詳細評価データベース２３の構成例を示す。行動詳細評価データベース２３は、評価メソッド２２（図６）で定義された各評価行動についてそれぞれ予め設定された幾つかの直列評価項目及びその直列評価項目を満たすための条件と、幾つかの並列評価項目及びその並列評価項目を満たすための条件とが格納されたデータベースであり、予め専門家等により作成される。
【0075】
この行動詳細評価データベース２３は、評価行動名欄２３ＡＸ，２３ＡＹと、直列評価項目ごとの直列評価項目名欄２３ＢＸ、直列評価特徴量名欄２３ＣＸ、直列評価特徴量欄２３ＤＸ、直列評価基準欄２３ＥＸ及び直列評価閾値欄２３ＦＸと、並列評価項目ごとの並列評価項目名欄２３ＢＹ、並列評価特徴量名欄２３ＣＹ、並列評価特徴量欄２３ＤＹ、並列評価基準欄２３ＥＹ及び並列評価閾値欄２３ＦＹとを備えたテーブル構造を有する。図８の行動詳細評価データベース２３では、上段の１つの行が１又は複数の直列評価項目に対応し、下段の１つの行が１又は複数の並列評価項目に対応する。
【0076】
そして評価行動名欄２３ＡＸ，２３ＡＹには、評価メソッド２２で定義された評価行動の名称（評価行動名）が格納され、直列評価項目名欄２３ＢＸ及び並列評価項目名欄２３ＢＹには、それぞれ対応する直列評価項目又は並列評価項目の項目名が格納される。
【0077】
また直列評価特徴量名欄２３ＣＸ、直列評価特徴量欄２３ＤＸ、直列評価基準欄２３ＥＸ及び直列評価閾値欄２３ＦＸと、並列評価特徴量名欄２３ＣＹ、並列評価特徴量欄２３ＤＹ、並列評価基準欄２３ＥＹ及び並列評価閾値欄２３ＦＹとには、図５について上述した行動検知データベース２１の行動特徴量名欄２１Ｂ、行動特徴量欄２１Ｃ、行動検知基準欄２１Ｄ又は行動検知閾値欄２１Ｅにそれぞれ格納された情報と同様の、それぞれ対応する直列評価項目又は並列評価項目について予め設定された情報が格納される。これらの情報は、対応する評価行動名欄２３ＡＸ，２３ＡＹに評価行動名が格納された評価行動の詳細を評価するために用いるデータである。
【0078】
図９は、行動詳細評価結果２４の構成例を示す。この図９に示すように、行動詳細評価結果２４は、評価行動名２４ＡＸ，２４ＡＹと、直列評価項目ごとの直列評価項目名２４ＢＸ、直列評価特徴量名２４ＣＸ、直列評価結果２４ＤＸ及び直列評価特徴結果２４ＥＸと、並列評価項目ごとの並列評価項目名２４ＢＹ、並列評価特徴量名２４ＣＹ、並列評価結果２４ＤＹ及び並列評価特徴結果２４ＥＹとの各情報を含む。
【0079】
評価行動名２４ＡＸ，２４ＡＹと、直列評価項目名２４ＢＸ及び並列評価項目名２４ＢＹと、直列評価特徴量名２４ＣＸ及び並列評価特徴量名２４ＣＹとは、いずれも図８について上述した行動詳細評価データベース２３の評価行動名欄２３ＡＸ，２３ＡＹと、直列評価項目名欄２３ＢＸ及び並列評価項目名欄２３ＢＹと、直列評価特徴量名欄２３ＣＸ及び並列評価特徴量名欄２３ＣＹとのうちの対応する欄に格納された情報と同様の情報である。
【0080】
直列評価結果２４ＤＸは、対応する評価行動に対する対応する直列評価項目の評価結果である。直列評価結果２４ＤＸは、主行動信号及び副行動信号のうちの評価対象ユーザから取得した行動信号を用いて、評価行動名２４ＡＸ及び直列評価特徴量名２４ＣＸの各値に合った行動詳細評価用の特徴量を算出し、その行動詳細評価用の特徴量と直列評価特徴量との関係を算出し、直列評価基準を参照して、その関係が直列評価閾値を満たす場合に、条件を満たすことを意味する値（以下、「ＯＫ」とする）に設定され、直列評価閾値を満たさない場合に、条件を満たさないことを意味する値（以下、「ＮＧ」とする）に設定される。
【0081】
なお直列評価項目が複数存在する場合、これらの直列評価項目を「直列評価項目１」、「直列評価項目２」などのようにして区別し、これらを例えば番号が小さい直列評価項目から順番に評価するなど、事前に設定した優先順位に基づいて評価する。２番目以降の直列評価項目は、それ以前のすべての直列評価項目が「ＯＫ」に設定されている場合にのみ評価を行い、直前の直列評価項目が「ＮＧ」に設定されている場合には、それ以降の直列評価項目についての評価は行わない。
【0082】
並列評価結果２４ＤＹは、対応する評価行動に対する対応する並列評価項目の評価結果である。並列評価結果２４ＤＹとして設定される値は、直列評価結果２４ＤＸと同様に「ＯＫ」又は「ＮＧ」である。並列評価項目が複数存在する場合、すべての直列評価項目の直列評価結果２４ＤＸの値が「ＯＫ」であれば、他の並列評価項目の並列評価結果２４ＤＹに関わりなく、すべての並列評価項目が評価されてその並列評価結果２４ＤＹとして「ＯＫ」又は「ＮＧ」がそれぞれ設定される。
【0083】
直列評価特徴結果２４ＥＸ及び並列評価特徴結果２４ＥＹは、それぞれ直列評価結果２４ＤＸ又は並列評価結果２４ＤＹを算出する際に、主行動信号及び又は副行動信号を用いて、評価行動名２４ＡＹの値及び直列評価特徴量名２４ＣＸの値に合った行動詳細評価用の特徴量を算出し、その行動詳細評価用の特徴量と直列評価特徴量名２４ＣＸの値との関係を算出することにより得られた情報である。直列評価特徴結果２４ＥＸ及び並列評価特徴結果２４ＥＹは、それぞれ対応する直列評価結果２４ＤＸ及び並列評価結果２４ＤＹを算出した場合にのみ算出する。算出しなかった場合には、その値を設定しなくても良く、また「Ｎ／Ａ」などのデータが存在しないことを示す情報を設定するようにしてもよい。
【0084】
図２の説明に戻って、行動評価統合部４５は、行動評価装置３のＣＰＵ６（図１）がメモリ７（図１）に保持された行動評価統合プログラム１３（図１）を実行することにより具現化される機能部である。行動評価統合部４５は、記憶部３２に格納されている行動詳細評価結果２４に基づいて、評価対象ユーザがそのとき行った行動に対して行動評価装置３がその評価対象ユーザ等に提示する統合な評価結果を行動評価統合結果２５として生成し、これを記憶部３２に格納する。
【0085】
【0086】
出力信号名２５Ａは、行動評価統合結果２５をユーザに提示する際の出力信号の信号種別を表す情報であり、行動評価統合結果２５の内容を画像としてユーザに提示する場合には画像信号を表す「画像」に設定され、行動評価統合結果２５の内容を音声によりユーザに提示する場合には音声信号を表す「音声」に設定される。かかる出力信号の信号種別は、例えば専門家が決定した信号種別を適用しても良く、さらには前回の発話を出力した際の出力信号の信号種別を適用するようにしても、また行動評価装置３に接続されている出力装置５を用いて出力可能な信号種別を適用するようにしてもよい。
【0087】
インタフェース出力内容２５Ｂは、評価対象ユーザがそのとき行った評価行動について行動評価装置３がその評価対象ユーザ等に提示する、評価対象ユーザの行動に対する統合的な評価結果の内容である。インタフェース出力内容２５Ｂは、行動詳細評価部４４により生成された図９について上述した行動詳細評価結果２４の評価行動名２４ＡＸ、直列評価項目名２４ＢＸ、直列評価結果２４ＤＸ、並列評価項目名２４ＢＹ及び並列評価結果２４ＤＹなどの各値を用いて行動評価統合部４５が１又は複数生成する。
【0088】
インタフェース出力内容２５Ｂは、例えば、行動詳細評価結果２４の一部をそのまま用いてもよいし、事前に専門家やユーザが設定した情報に基づいて、直列評価項目名２４ＢＸ及び並列評価項目名２４ＢＹの各値や、直列評価結果２４ＤＸ及び並列評価結果２４ＤＹの各値に対応する文章などの形態で生成してもよい。例えば、行動詳細評価結果２４が図９のように、「笑う」という評価行動について、直列評価項目名２４ＢＸの値が「場所」、直列評価結果２４ＤＸの値が「ＯＫ」であった場合、これらの値をそのままインタフェース出力内容２５Ｂとして設定してもよいし、「ＯＫ：笑っても良い場所です」のような文章形態のインタフェース出力内容２５Ｂを生成するようにしてもよい。
【0089】
またインタフェース出力内容２５Ｂは、予め設定された文章を行動詳細評価結果２４の直列評価結果２４ＤＸの値や並列評価結果２４ＤＹの値に応じて調整するようにしてもよい。例えば、インタフェース出力内容２５Ｂを、「笑う」という評価行動について、直列評価項目名２４ＢＸの値が「場所」、直列評価結果２４ＤＸの値が「ＯＫ」である場合には「ＯＫ：笑っても良い場所です」という文章として生成するのに対して、直列評価項目名２４ＢＸの値が「場所」、直列評価結果２４ＤＸの値が「ＮＧ」である場合には「ＮＧ：笑ってはいけない場所です」という文章として生成するようにしてもよい。
【0090】
また直列評価項目及び並列評価項目ごとに、それぞれその行動詳細評価結果２４における直列評価結果２４ＤＸ又は並列評価結果２４ＤＹの値が「ＯＫ」のときのインタフェース出力内容２５Ｂと、「ＮＧ」のときのインタフェース出力内容２５Ｂとを事前に専門家やユーザが設定しておき、これらを直列評価結果２４ＤＸや並列評価結果２４ＤＹの値に応じて対応する一方のインタフェース出力内容２５Ｂをそのまま利用するようにしてよい。さらには、エンコーダ及びデコーダやトランスフォーマなどの自然言語処理ツールを用いて、評価対象ユーザや当該評価対象ユーザ以外の話者の発話内容を言語化したり、その言語化した文字列の一部又は全部を用いて新たな文字列を作成するなどしてインタフェース出力内容を生成するようにしてもよい。
【0091】
インタフェース出力内容２５Ｂの総数は、行動詳細評価結果２４に直列評価結果２４ＤＸ又は並列評価結果２４ＤＹが含まれる直列評価項目及び並列評価項目の総数よりも多くても少なくてもよく、さらには同じ数であってもよい。例えば、インタフェース出力内容２５Ｂを、行動詳細評価結果２４に直列評価結果２４ＤＸ又は並列評価結果２４ＤＹが含まれる直列評価項目及び並列評価項目にそれぞれ対応させて生成するようにしてもよく、これに加えて、特定の直列評価項目や並列評価項目の直列評価結果２４ＤＸ又は並列評価結果２４ＤＹの値が「ＯＫ」の場合に「素晴らしい行動です」といったインタフェース出力内容２５Ｂを生成するようにしてもよい。さらには行動詳細評価結果２４に直列評価結果２４ＤＸ又は並列評価結果２４ＤＹが含まれる直列評価項目や並列評価項目のうち、対応する直列評価結果２４ＤＸ又は並列評価結果２４ＤＹが「ＯＫ」又は「ＮＧ」となっている直列評価項目や並列評価項目に対応するインタフェース出力内容２５Ｂのみを生成するようにしてもよい。
【0092】
図２の説明に戻って、行動出力部４６は、行動評価装置３のＣＰＵ６（図１）がメモリ７（図１）に保持された行動出力プログラム１４（図１）を実行することにより具現化される機能部である。行動出力部４６は、記憶部３２に格納された行動評価統合結果２５を読み出し、その全部又は一部の情報に基づいて図２１について後述する行動評価設定画面８０や図２２について後述する編集画面１２０の画面データを生成する機能を有する。行動出力部４６は、生成した画面データを出力部３３を介して出力装置５に出力する。なお、行動出力部４６は、出力装置５が複数存在する場合には、事前に専門家等により設定された設定内容に従って、行動評価統合結果２５の出力信号名に合った出力装置５を選択して出力する。なお、行動出力部４６が、演算部３１の各機能部において作成した情報の一部又は全部を出力部３３を介して出力装置５に出力するようにしてもよい。
【0093】
出力部３３は、他の行動評価装置や表示装置又はスピーカなどに対話情報を出力する機能部であり、ＶＧＡ（Video Graphics Array）端子、ＨＤＭＩ（Hight-Definition Multimedia Interface）（登録商標）端子及びＵＳＢ（Universal Serial Bus）端子などから構成される。
【0094】
（１－３）各機能部の具体的な処理内容
次に、上述した行動評価装置３の各機能部の具体的な処理内容について説明する。なお、以下においては、各種処理の処理主体を機能部（「……部」）として説明するが、実際上は、行動評価装置３のＣＰＵ６がその機能部に対応するプログラムを実行することは言うまでもない。
次に、上述した行動評価装置３の各機能部の具体的な処理内容について説明する。なお、以下においては、各種処理の処理主体を機能部（「……部」）として説明するが、実際上は、行動評価装置３のＣＰＵ６がその機能部に対応するプログラムを実行することは言うまでもない。
【0095】
（１－３－１）主体推定部の処理
図１１Ａ～図１１Ｃは、主体推定部４２（図２）により実行される主体推定処理の処理内容を示す。主体推定部４２は、この図１１Ａ～図１１Ｃに示す処理手順に従って、主行動信号入力部４０（図２）から与えられた主行動信号と、副行動信号入力部４１（図２）から与えられた副行動信号とのうちのいずれが評価対象ユーザから取得した行動信号であるかを推定する。
図１１Ａ～図１１Ｃは、主体推定部４２（図２）により実行される主体推定処理の処理内容を示す。主体推定部４２は、この図１１Ａ～図１１Ｃに示す処理手順に従って、主行動信号入力部４０（図２）から与えられた主行動信号と、副行動信号入力部４１（図２）から与えられた副行動信号とのうちのいずれが評価対象ユーザから取得した行動信号であるかを推定する。
【0096】
実際上、主体推定部４２は、行動評価装置３の電源が投入されるとこの図１１Ａ～図１１Ｃに示す主体推定処理を開始し、まず、主行動信号入力部４０が主行動信号を受信したか否かを判断する（Ｓ１）。そして主体推定部４２は、この判断で否定結果を得ると、主行動信号入力部４０が主行動信号を受信するのを待ち受ける。
【0097】
なおステップＳ１において、主行動信号入力部４０に加えて、副行動信号入力部４１（副行動信号入力部４１が複数ある場合には、そのうちの予め設定されたすべての副行動信号入力部４１）が副行動信号を受信した場合にのみ主体推定部４２がステップＳ１で肯定結果を得るようにしてもよい。
【0098】
そして主体推定部４２は、やがて主行動信号入力部４０が主行動信号を受信し、その主行動信号が主行動信号入力部から与えられることによりステップＳ１で肯定結果を得ると、その主行動信号の「画像」又は「音声」などの主行動信号名を取得すると共に、その主行動信号の所定の主行動信号取得時間ごとの信号値（サンプリング値）を順次取得する（Ｓ２）。この際、主行動信号が画像信号及び音声信号などの複数種別の信号を含む場合には、これらすべての信号種別の信号について、その信号名と、主行動信号取得時間ごとの信号値とをそれぞれ順次取得する。
【0099】
続いて、主体推定部４２は、この後使用する変数ｉの値を「１」に設定し（Ｓ３）、この後、ｉ番目の種類の主行動特徴量（「顔特徴点の配置」、「声紋」又は「言語」など）が存在するか否かを判断する（Ｓ４）。なお、「ｉ番目の種類の主行動特徴量」とは、図３について上述した主体推定データベース２０の最上段から数えてｉ段目の行に格納されている主行動特徴量を指す。以下においても同様である。
【0100】
そして主体推定部４２は、この判断で肯定結果を得るとステップＳ２で取得した主行動信号の主行動信号取得時間ごとの信号値（サンプリング値）に基づいてｉ番目の種類の主行動特徴量を算出すると共に、その主行動特徴量名を取得する（Ｓ５）。なお、主行動特徴量名の取得は、ステップＳ６などの他のステップで行うようにしてもよい。
【0101】
さらに主体推定部４２は、変数ｉの値をインクリメント（１だけ増加）する（Ｓ６）。そして主体推定部４２は、ステップＳ４に戻り、この後、ステップＳ４で否定結果を得るまでステップＳ４～ステップＳ６の処理を繰り返す。この繰返し処理により主体推定データベース２０に主体特徴量名が登録された各種類の主体特徴量が順次算出される。
【0102】
そして主体推定部４２は、やがて主体推定データベース２０に主体特徴量名が登録されたすべての種類の主体特徴量を算出し終えることによりステップＳ４で肯定結果を得ると、変数ｉを「１」にリセットした後（Ｓ７）、ｉ番目の種類の主行動特徴量の主体スコア（図４の「主体スコアＡ」であり、以下、これをｉ番目の主体スコアＡと呼ぶ）を算出済みであるか否を判断する（Ｓ８）。
【0103】
主体推定部４２は、この判断で否定結果を得ると、主体推定データベース２０に登録されているｉ番目の種類の主行動特徴量と、ステップＳ５で算出したｉ番目の主行動特徴量とに基づいてｉ番目の主体スコアＡを算出する（Ｓ９）。この主体スコアＡの算出手法としては、既存の種々の算出手法を利用することができる。
【0104】
また主体推定部４２は、変数ｉの値をインクリメントした後（Ｓ１０）、ステップＳ８に戻り、この後、ステップＳ８で肯定結果を得るまでステップＳ８～ステップＳ１０の処理を繰り返す。この繰返し処理により主体推定データベース２０に登録された各種類の主体特徴量に対する主体スコアＡが順次算出される。
【0105】
そして主体推定部４２は、やがて主体推定データベース２０に登録された各種類の主体特徴量に対する主体スコアＡを算出し終えることによりステップＳ８で肯定結果を得ると、ステップＳ１１に進み、この後、ステップＳ１１～ステップＳ２０をステップＳ１～ステップＳ１０と同様に処理する。なお、ステップＳ１１～ステップＳ２０では、主行動信号に変えて副行動信号を対象とし、変数ｉに代えて変数ｊを用いて処理を行う。このようなステップＳ１１～ステップＳ２０の処理により、副行動信号に基づいて、主体推定データベース２０に登録された各種類の主体特徴量に対する主体スコアＢが算出される。
【0106】
そして主体推定部４２は、やがて主体推定データベース２０に登録された各種類の主体特徴量に対する主体スコアＢを算出し終えることによりステップＳ１８で肯定結果を得ると、ステップＳ９で算出した各主体スコアＡの平均値を算出すると共に、ステップＳ１９で算出した主体スコアＢで算出した各主体スコアＢの平均値を算出するようにして主体スコアＡ及び主体スコアＢをそれぞれ統合する（Ｓ２１）。
【0107】
続いて、主体推定部４２は、以上までの処理結果に基づいて主行動信号入力部４０から与えられた主行動信号と、副行動信号入力部４１から与えられた副行動信号のうちのいずれが評価対象ユーザ由来の行動信号であるか判定する（Ｓ２２）。具体的に、主体推定部４２は、ステップＳ２１で統合した主体スコアＡ及び主体スコアＢを比較し、主体スコアＡの方が大きい場合には主行動信号を評価対象ユーザ由来の行動信号であると判断し、主体スコアＢの方が大きい場合には副行動信号を評価対象ユーザ由来の行動信号であると判断する。
【0108】
次いで、主体推定部４２は、ステップＳ２２の判定結果に基づいて、主行動信号が評価対象ユーザ由来の行動信号であると判定したか否かを判断する（Ｓ２３）。そして主体推定部４２は、この判断で肯定結果を得ると、以上までの処理結果に基づいて上述の主体推定情報４７（図４）を生成し、生成した主体推定情報４７を行動検知部４３に出力した後（Ｓ２５）、この主体推定処理を終了する。
【0109】
なお、この場合、主体推定部４２は、ステップＳ２５において、主行動信号入力部４０から与えられた主行動信号に基づいて得られた各種情報を図４について上述した主体推定情報４７の主行動信号名４７Ａ、主行動信号取得時間４７Ｂ、主行動信号値４７Ｃ、主行動特徴量名４７Ｄ、主行動特徴量４７Ｅ及び主体スコアＡ４７Ｆに当て嵌め、副行動信号入力部４１から与えられた副行動信号に基づいて得られた各種情報を副行動信号名４７Ｇ、副行動信号取得時間４７Ｈ、副行動信号値４７Ｉ、副行動特徴量名４７Ｊ、副行動特徴量４７Ｋ及び主体スコアＢ４７Ｌに当て嵌めるようにして主体推定情報４７を生成する。
【0110】
これに対して、主体推定部４２は、ステップＳ２３の判断で否定結果を得ると、主行動信号入力部４０から与えられた主行動信号を副行動信号とし、副行動信号入力部４１から与えられた副行動信号を主行動信号とするよう主行動信号及び副行動信号を入れ替える（Ｓ２４）。そして主体推定部４２は、入れ替え後の主行動信号及び副行動信号に基づいて上述の主体推定情報４７を生成し、生成した主体推定情報４７を行動検知部４３に出力した後（Ｓ２５）、この主体推定処理を終了する。
【0111】
なお、この場合、主体推定部４２は、ステップＳ２５において、副行動信号入力部４１から与えられた副行動信号に基づいて得られた各種情報を主体推定情報４７の主行動信号名４７Ａ、主行動信号取得時間４７Ｂ、主行動信号値４７Ｃ、主行動特徴量名４７Ｄ、主行動特徴量４７Ｅ及び主体スコアＡ４７Ｆに当て嵌め、主行動信号入力部４０から与えられた主行動信号に基づいて得られた各種情報を副行動信号名４７Ｇ、副行動信号取得時間４７Ｈ、副行動信号値４７Ｉ、副行動特徴量名４７Ｊ、副行動特徴量４７Ｋ及び主体スコアＢ４７Ｌに当て嵌めるようにして主体推定情報４７を生成する。
【0112】
このようして主体推定部４２は、主行動信号入力部４０から与えられた主行動信号と、副行動信号入力部４１から与えれた副行動信号とに基づいて主体スコア及び主体推定結果を含む主体推定情報４７を生成する。これにより話者の中から評価対象ユーザを推定することができる。
【0113】
なお、対話を開始してから２回目以降の主体推定処理については、それまでに実行した主体推定処理により得られた主体推定情報４７をも用いて最新の主体推定情報４７を生成するようにしてもよい。また主体推定部４２において、主行動信号や副行動信号について、それぞれ複数の計測機器や計測チャネル（計測点）を用いて複数の信号を取得する場合には、複数の機器やチャネルの信号の平均値を算出するなどして、これら複数の信号を用いるようにすればよい。
【0114】
【0115】
実際上、行動検知部４３は、行動評価装置３の電源が投入されるとこの図１２に示す行動検知処理を開始し、まず、図１１Ａ～図１１Ｃについて上述した主体推定処理のステップＳ１～ステップＳ６やステップＳ１１～ステップＳ１６と同様にして、主行動信号入力部４０から与えられた主行動信号に基づいて各種の主行動特徴量を算出する（Ｓ３０～Ｓ３５）。なお、この場合における「主行動信号」とは、主体推定部４２により評価対象ユーザ由来として推定された行動信号である。
【0116】
続いて、行動検知部４３は、主体推定部４２から与えられた主体推定情報４７に含まれる主行動特徴量名及び主行動特徴量と、行動検知データベース２１（図５）に登録されている対応する行動特徴量名及び行動特徴量とを、行動検知データベース２１におけるその行動特徴量名の行動検知基準及び行動検知閾値に従って比較することにより、そのとき評価対象ユーザが行っていると推測される行動の行動名（主行動名）を算出する（Ｓ３６）。この際、行動検知部４３は、算出可能な主行動名が複数存在する場合（主体推定情報４７が複数種類の主行動特徴量名及び主行動特徴量を含む場合）には、そのとき評価対象ユーザが行っていると推測されるすべての行動の行動名を算出する。
【0117】
次いで、行動検知部４３は、ステップＳ３６で算出した主行動名と、評価メソッド２２（図６）に登録されている各評価行動名とに基づいて、評価対象ユーザが行った行動のうちの評価対象の行動（評価行動）のみを抽出し、抽出した評価行動についての行動検知情報４８を生成する（Ｓ３７）。そして行動検知部４３は、生成した行動検知情報を行動詳細評価部４４に出力した後（Ｓ３８）、この行動検知処理を終了する。
【0118】
なお、対話を開始してから２回目以降の行動検知処理については、それまでに実行した行動検知処理により得られた行動検知情報をも用いて最新の行動検知情報を生成するようにしてもよい。
【0119】
（１－３－３）行動詳細評価部の処理
図１３は、行動詳細評価部４４により実行される行動詳細評価処理の処理内容を示す。行動詳細評価部４４は、この図１３に示す処理手順に従って、行動検知部４３が検知した評価対象ユーザの行動うちの評価行動を詳細に評価する。
図１３は、行動詳細評価部４４により実行される行動詳細評価処理の処理内容を示す。行動詳細評価部４４は、この図１３に示す処理手順に従って、行動検知部４３が検知した評価対象ユーザの行動うちの評価行動を詳細に評価する。
【0120】
実際上、行動詳細評価部４４は、行動評価装置３の電源が投入されるとこの図１３に示す行動詳細評価処理を開始し、まず、行動検知部４３が評価メソッド２２において定義された評価対象の行動（評価行動）を検知したか否かを判断する（Ｓ４０）。この判断は、行動検知部４３から与えられた行動検知情報４８のいずれかの行動に対する主行動検知結果が「評価対象」となっているか否かを判定することにより行われる。
【0121】
そして行動詳細評価部４４は、この判断で否定結果を得ると、この後、行動検知部４３が評価行動を検知するのを待つ。これに対して行動詳細評価部４４は、ステップＳ４０の判断で肯定結果を得ると、行動検知部４３が検知した評価行動の行動名（以下、これを評価行動名と呼ぶ）を取得する（Ｓ４１）。評価行動名は、行動検知情報４８から取得しても、また行動検知部４３から直接取得するようにしてもよい。
【0122】
続いて、行動詳細評価部４４は、この後使用する変数ｉの値を「１」に設定し（Ｓ４２）、この後、行動詳細評価データベース２３（図８）を参照して、ステップＳ４１で取得した評価行動名の評価行動（以下、これを対象評価行動と呼ぶ）に関するｉ番目の種類の直列評価項目が存在するか否か（行動詳細評価データベース２３に対象評価行動のｉ番目の直列評価項目に関する条件が格納されているか否か）を判断する（Ｓ４３）。
【0123】
行動詳細評価部４４は、この判断で肯定結果を得ると現在の変数ｉの値が２以上であるか否かを判断する（Ｓ４４）。そして行動詳細評価部４４は、この判断で否定結果を得るとステップＳ４６に進む。これに対して、行動詳細評価部４４は、ステップＳ４３の判断で肯定結果を得ると、（ｉ－１）番目の種類の直列評価項目の直列評価結果が「ＯＫ」（つまり、対象評価行動が１つ前の直列評価項目の条件を満たしている）であるか否かを判断する（Ｓ４５）。
【0124】
そして行動詳細評価部４４は、この判断で肯定結果を得ると、主行動信号及び又は副行動信号を利用し、行動詳細評価データベース２３を参照して、評価行動のｉ番目の直列評価項目についての直列評価結果を算出する。また、この際、行動詳細評価部４４は、この後の行動詳細評価結果２４の作成に利用すべく、ｉ番目の種類の直列評価項目の直列評価項目名、直列評価特徴量名、直列評価特徴結果をそれぞれ取得する（Ｓ４６）。
【0125】
さらに行動詳細評価部４４は、変数ｉをインクリメントした後（Ｓ４７）、ステップＳ４３に戻り、この後、ステップＳ４３又はステップＳ４５で否定結果を得るまでステップＳ４３～ステップＳ４７の処理を繰り返す。この繰返し処理により、いずれかの直列評価項目の直列評価結果が「ＮＧ」となる場合にはそれまでの各直列評価項目、すべての直列評価項目の直列評価結果が「ＯＫ」であった場合にはすべての直列評価項目に対する直列評価結果を得ることができる。
【0126】
そして行動詳細評価部４４は、やがていずれかの直列評価項目の直列評価結果が「ＮＧ」となったことにより次の直列評価項目に対するステップＳ４５の判断で否定結果を得ると、当該次の直列評価項目及び当該次の直列評価項目以降の各直列評価項目の直列評価結果と、対象評価行動の各並列評価項目の並列評価結果とを評価対象外であったことを表す「Ｎ／Ａ」などの値に設定した、これまでの評価結果を踏まえた行動詳細評価結果を生成して記憶部に格納した後（Ｓ５３）、この行動詳細評価処理を終了する。
【0127】
これに対して行動詳細評価部４４は、対象評価行動に関する少なくとも最後の直列評価項目を除く他のすべての直列評価項目に対する直列評価結果を得ることができたことによりステップＳ４３で否定結果を得ると、対象評価行動における（ｉ－１）番目の種類の直列評価項目（つまり対象評価行動に関する最後の直列評価項目）の直列評価結果が「ＯＫ」であったか否かを判断する（Ｓ４８）。
【0128】
そして行動詳細評価部４４は、この判断で否定結果を得ると、対象評価行動に関する最後の直列評価項目の直列評価結果と、対象評価行動の各並列評価項目の並列評価結果とを評価対象外であったことを表す「Ｎ／Ａ」などの値に設定した、これまでの評価結果を踏まえた行動詳細評価結果２４を生成して記憶部３２に格納した後（Ｓ５３）、この行動詳細評価処理を終了する。
【0129】
これに対して、行動詳細評価部４４は、ステップＳ４８の判断で肯定結果を得ると、変数ｉを「１」にリセットし（Ｓ４９）、この後、行動詳細評価データベース２３を参照して、対象評価行動に関するｉ番目の種類の並列評価項目が存在するか否か（行動詳細評価データベース２３に対象評価行動のｉ番目の並列評価項目に関する条件が格納されているか否か）を判断する（Ｓ５０）。
【0130】
行動詳細評価部４４は、この判断で肯定結果を得ると、主行動信号及び又は副行動信号を利用し、行動詳細評価データベース２３を参照して、評価行動のｉ番目の並列評価項目についての並列評価結果を算出する（Ｓ５１）。この際、行動詳細評価部４４は、この後の行動詳細評価結果２４の作成に利用すべく、ｉ番目の種類の並列評価項目の並列評価項目名、並列評価特徴量名、並列評価特徴結果をそれぞれ取得する。
【0131】
さらに行動詳細評価部４４は、変数ｉをインクリメントした後（Ｓ５２）、ステップＳ５０に戻り、この後、ステップＳ５０で否定結果を得るまでステップＳ５０～ステップＳ５２の処理を繰り返す。この繰返し処理により、すべての並列評価項目の並列評価結果を得ることができる。
【0132】
そして行動詳細評価部４４は、やがて対象評価行動に関するすべての並列評価項目に対する並列評価結果（最後の並列評価項目が「ＮＧ」であった場合を含む）を得ることができたことによりステップＳ５０で肯定結果を得ると、これまでの評価結果を踏まえた行動詳細評価結果２４を生成して記憶部３２に格納した後（Ｓ５３）、この行動詳細評価処理を終了する。
【0133】
このように行動詳細評価部４４は、直列評価及び並列評価の組合せによりユーザの行動の詳細を評価する。行動の前提条件や必須要素などの重要度の高い評価項目を直列評価項目に設定し、他の評価項目を並列評価項目に設定して、直列評価が所定の基準を満たした場合にのみ並列評価項目を評価することにより、処理を低減することができる。これにより、対話中のユーザの行動を詳細かつ連続的に評価する場合であっても、リアルタイムや対話直後の行動を評価したり、システムによる処理量を低減することができる。
【0134】
なお終了するまでにすべての並列評価結果を算出できるのであれば、並列評価項目が複数存在する場合の評価順序は問わない。並列評価項目のうち、割り当てられた番号が最も大きい並列評価項目から評価してもよい。
【0135】
（１－３－４）行動評価統合部の処理
図１４は、行動評価統合部４５により実行される行動評価統合処理の処理内容を示す。行動評価統合部４５は、この図１４に示す処理手順に従って、評価対象ユーザのそのときの行動を評価した行動評価統合結果２５（図１０）を生成し、生成した行動評価統合結果２５を記憶部３２に格納する。
図１４は、行動評価統合部４５により実行される行動評価統合処理の処理内容を示す。行動評価統合部４５は、この図１４に示す処理手順に従って、評価対象ユーザのそのときの行動を評価した行動評価統合結果２５（図１０）を生成し、生成した行動評価統合結果２５を記憶部３２に格納する。
【0136】
実際上、行動評価統合部４５は、行動評価装置３の電源が投入されるとこの図１４に示す行動評価統合処理を開始し、まず、行動詳細評価部４４が新たな行動詳細評価結果２４（図９）を算出したか否かを判断する（Ｓ６０）。そして行動評価統合部４５は、この判断で否定結果を得ると、行動詳細評価部４４が新たな行動詳細評価結果２４を算出するのを待ち受ける。
【0137】
なお、対話を開始してから２回目以降の行動評価統合処理である場合には、例えば前回の行動詳細評価結果２４との差分を算出してその差分において行動詳細評価結果２４が含まれているか否かを判断することにより、最新の情報のみを用いて行動詳細評価部４４が新たな行動詳細評価結果２４を算出したか否かを判断するようにしてもよい。
【0138】
そして行動評価統合部４５は、やがて行動詳細評価部４４が行動詳細評価結果２４を算出し終えることによりステップＳ６０で肯定結果を得ると、その行動詳細評価結果２４を取得する（Ｓ６１）。行動詳細評価結果２４の取得方法としては、行動詳細評価部４４から直接取得しても、また行動詳細評価部４４が記憶部３２に格納した行動詳細評価結果２４を読み出すようにして取得するようにしてもよい。
【0139】
次いで、行動評価統合部４５は、この後使用する変数ｉを「１」に設定し（Ｓ６２）、この後、行動詳細評価結果２４を参照して、ｉ番目の種類のインタフェース出力内容があるか否かを判断する（Ｓ６３）。そのとき生成可能なインタフェース出力内容の種類は、上述のように事前に専門家やユーザにより決定されていても、行動詳細評価結果２４に直列評価結果や並列評価結果が含まれる直列評価項目及び並列評価項目の数により決定しても、さらには各直列評価項目及び各並列評価項目の直列評価結果や並列評価結果に応じて決定されるものであってもよい。
【0140】
そして行動評価統合部４５は、この判断で肯定結果を得ると、行動詳細評価結果２４を参照してｉ番目のインタフェース出力内容に応じた信号種別の出力信号名（「画像」又は「音声」など）を決定すると共に（Ｓ６４）、そのインタフェース出力内容を生成する（Ｓ６５）。なおステップＳ６４及びステップＳ６５の順番を逆にしてもよい。
【0141】
続いて、行動評価統合部４５は、変数ｉをインクリメントし（Ｓ６６）、この後、ステップＳ６３に戻る。そして行動評価統合部４５は、この後、ステップＳ６３で否定結果を得るまでステップＳ６３～ステップＳ６６の処理を繰り返す。この繰返し処理により、行動詳細評価結果２４に基づいて生成可能なすべてのインタフェース出力内容がそれぞれ生成される。
【0142】
そして行動評価統合部４５は、やがて生成可能なすべてのインタフェース出力内容を生成し終えることによりステップＳ６３で否定結果を得ると、以上までの処理により得られた情報に基づいて行動評価統合結果２５を生成すると共に、生成した行動評価統合結果２５を記憶部３２に格納し（Ｓ６７）、この後、この行動評価統合処理を終了する。
【0143】
なお、対話を開始してから２回目以降の行動評価統合処理である場合には、以前の行動評価統合処理により得られた行動評価統合結果２５を更新するようにして最新の行動評価統合結果２５を生成するようにしてもよい。
【0144】
（１－３－５）行動出力部の処理
図１５は、行動出力部４６により実行される行動出力処理の処理内容を示す。行動出力部４６は、この図１５に示す処理手順に従って、行動評価統合部４５が生成した行動評価統合結果２５を出力部３３を介して出力装置５に出力する。
図１５は、行動出力部４６により実行される行動出力処理の処理内容を示す。行動出力部４６は、この図１５に示す処理手順に従って、行動評価統合部４５が生成した行動評価統合結果２５を出力部３３を介して出力装置５に出力する。
【0145】
実際上、行動出力部４６は、行動評価装置３の電源が投入されるとこの図１５に示す行動詳細評価処理を開始し、まず、行動評価統合部４５が行動評価統合結果２５を生成し終えたか否かを判断する（Ｓ７０）。この判断は、記憶部３２に新たな行動評価統合結果２５が格納されたか否かを判定することにより行うことができる。
【0146】
続いて、行動出力部４６は、かかる行動評価統合結果２５を取得する（Ｓ７１）。行動評価統合結果２５は、記憶部３２から読み出すことで取得しても、行動評価統合部４５から直接取得するようにしてもよい。
【0147】
次いで、行動出力部４６は、ステップＳ７１で取得した行動評価統合結果２５に含まれるインタフェース出力内容２５Ｂ（図１０）をすべて出力部３３に出力する（Ｓ７２）。行動評価装置３に接続されている出力装置５が複数存在する場合などに対応するため、インタフェース出力内容２５Ｂと併せて出力信号名も出力部３３に出力するなど、他の情報の一部又は全部を併せて出力部３３に出力するようにしてもよい。
【0148】
また前回のインタフェース出力内容２５Ｂの出力から短時間で次のインタフェース出力内容２５Ｂを出力する場合には、一定の時間をかけてインタフェース出力内容２５Ｂを変更したり、ユーザから入力装置４（図１）の操作などで前回のインタフェース出力内容２５Ｂを確認したことに関する情報を受け付けたり、前回と今回のインタフェース出力内容２５Ｂを統合して出力するようにしてもよい。
【0149】
続いて、行動出力部４６は、出力部３３に出力したインタフェース出力内容２５Ｂが出力装置５に出力されるのを待ち受け（Ｓ７３）、やがてかかるインタフェース出力内容２５Ｂが出力装置５に出力されると、この行動出力処理を終了する。
【0150】
（１－４）本実施の形態の効果
以上のように本実施の形態では、評価対象ユーザの評価行動に関する評価項目を、評価行動に関して重要な直列評価項目と、当該直列評価項目以外の並列評価項目に分けて管理し、評価対象ユーザの評価行動について、各直列評価項目をその優先順位の順番で評価し、当該評価行動がいずれかの直列評価項目について予め設定された条件を満たさなかった場合には当該行動に対する評価を終了し、すべての直列評価項目が当該直列評価項目について設定された前記条件を満たした場合には各並列評価項目をそれぞれ評価する。
以上のように本実施の形態では、評価対象ユーザの評価行動に関する評価項目を、評価行動に関して重要な直列評価項目と、当該直列評価項目以外の並列評価項目に分けて管理し、評価対象ユーザの評価行動について、各直列評価項目をその優先順位の順番で評価し、当該評価行動がいずれかの直列評価項目について予め設定された条件を満たさなかった場合には当該行動に対する評価を終了し、すべての直列評価項目が当該直列評価項目について設定された前記条件を満たした場合には各並列評価項目をそれぞれ評価する。
【0151】
従って、本実施の形態の行動評価装置３によれば、評価対象者の行動が重要な直列評価項目の条件を満たさない場合にはそれ以降の直列評価項目及び各並列評価項目の評価が行われないため、その分の行動評価装置の処理量を低減することができ、かくしてリアルタイムや対話直後の行動評価を行うことが可能となる。
【0152】
（２）第２の実施の形態
（２－１）本実施の形態による行動評価システムの構成
第１の実施の形態による行動評価システム１では、行動評価装置３の行動詳細評価部４４（図２）において、すべての直列評価項目が「ＯＫ」であればすべての並列評価項目を評価し、これら直列評価項目及び並列評価項目の評価結果に基づいて行動評価統合部４５（図２）が行動評価統合結果２５（図１０）を算出するようにしている。
（２－１）本実施の形態による行動評価システムの構成
第１の実施の形態による行動評価システム１では、行動評価装置３の行動詳細評価部４４（図２）において、すべての直列評価項目が「ＯＫ」であればすべての並列評価項目を評価し、これら直列評価項目及び並列評価項目の評価結果に基づいて行動評価統合部４５（図２）が行動評価統合結果２５（図１０）を算出するようにしている。
【0153】
これに対して、本実施の形態の行動評価システム１では、行動評価統合部４５が行動評価統合結果２５を算出する際に利用する評価項目（直列評価項目及び並列評価項目であり、以下、同じ）を選定する機能が追加されている。これにより、例えば評価精度が低い評価項目や、特徴量が閾値付近の値を示した評価項目など、不確かな評価項目の評価を除いた上で行動評価統合部４５に行動評価統合結果２５を算出させることで、行動評価統合部４５の処理量を低減させたり、対話中のユーザの行動を的確に支援することが可能となる。
【0154】
図１との対応部分に同一符号を付した図１６は、このような機能が行動評価装置５１に搭載された第２の実施の形態による行動評価システム５０を示す。この行動評価システム５０は、行動評価装置５１において、設定信号入力プログラム５２、選定設定プログラム５３及び評価項目選定プログラム５４が追加的にメモリ７に格納され、さらに評価項目選定データベース５５が追加的に記憶装置８に格納される点が第１の実施の形態の行動評価装置３と相違する。
【0155】
図２との対応部分に同一符号を付した図１７は、本実施の形態による行動評価装置５１の論理構成を示す。この図１７に示すように、本行動評価装置５１は、機能部として設定信号入力部７０、演算部６１に選定設定部７１及び評価項目選定部７２が入力部６０に追加されている点と、上述の評価項目選定データベース５５が追加的に設けられている点とが第１の実施の形態の行動評価装置３と相違する。
【0156】
設定信号入力部７０は、行動評価装置５１のＣＰＵ６（図１６）がメモリ７（図１６）に保持された設定信号入力プログラム５２を実行することにより具現化される機能部である。設定信号入力部７０は、ユーザや専門家などが入力装置４を介して入力した、評価行動ごとの評価項目を選定するための条件（以下、これを選定条件と呼ぶ）を設定信号として取り込み、取り込んだ設定信号を選定設定部７１に受け渡す。
【0157】
選定設定部７１は、行動評価装置５１のＣＰＵ６がメモリ７に保持された選定設定プログラム５３（図１６）を実行することにより具現化される機能部である。選定設定部７１は、設定信号入力部７０から与えられた設定信号に基づいて、評価項目の選定条件が格納された評価項目選定データベース５５を作成し、作成した評価項目選定データベース５５を記憶部３２に格納する。
【0158】
評価項目選定部７２は、行動評価装置５１のＣＰＵ６がメモリ７に保持された評価項目選定プログラム５４（図１６）を実行することにより具現化される機能部である。評価項目選定部７２は、評価項目選定データベース５５に格納された上述の選定条件と、行動詳細評価部４４が算出した行動詳細評価結果２４とに基づいて、各直列評価項目及び各並列評価項目の中から対応する選定条件を満たすすべての直列評価項目や並列評価項目をそれぞれ選定し、かかる選定条件を満たさない直列評価項目や並列評価項目の評価結果を、記憶部３２に格納された行動詳細評価結果２４から削除する。この結果、行動詳細評価結果２４のうちのこのとき削除されなかった評価項目の評価結果のみに基づいて行動評価統合部４５により行動評価統合結果２５が生成され、これが記憶部３２に格納される。
【0159】
評価項目選定データベース５５は、上述のようにユーザや専門家などにより設定された評価行動ごとの評価項目の選定条件が格納されたデータベースであり、図１８に示すように、評価行動名欄５５Ａと、１又は複数の直列評価選定基準欄５５Ｂ及び直列評価選定閾値欄５５Ｃのペアと、１又は複数の並列評価選定基準欄５５Ｄ及び並列評価選定閾値欄５５Ｅのペアとを備えたテーブル構造を有する。図１８の評価項目選定データベース５５では、１つの行が１つの評価行動に対応する。
【0160】
そして評価行動名欄５５Ａには、評価メソッド２２で定義された評価行動の名称（評価行動名）が格納される。また直列評価選定基準欄５５Ｂ及び並列評価選定基準欄５５Ｄには、それぞれ直列評価項目や並列評価項目を選定するための基準（以下、これらをそれぞれ直列評価選定基準又は並列評価選定基準と呼ぶ）が格納され、直列評価選定閾値欄５５Ｃ及び並列評価選定閾値欄５５Ｅには、それぞれ対応する直列評価項目又は並列評価項目を評価項目として選定するための閾値（以下、これらをそれぞれ直列評価選定閾値又は並列評価選定閾値と呼ぶ）が格納される。
【0161】
そして評価項目選定部７２は、直列評価選定基準欄５５Ｂ又は並列評価選定基準欄５５Ｄに格納された直列評価選定基準又は並列評価選定基準と、その直列評価選定基準欄５５Ｂ又は並列評価選定基準欄５５Ｄとペアを構成する直列評価選定閾値欄５５Ｃ又は並列評価選定閾値欄５５Ｅに格納された直列評価選定閾値又は並列評価選定閾値との組合せを上述の選定条件として、かかる選定条件を満たすか否かによって対応する直列評価項目や並列評価項目を行動詳細評価結果２４から削除すべきか否かを判断する。
【0162】
例えば図１８のように、直列評価選定基準が「閾値との差」、直列評価選定閾値が「10」となっている場合、評価項目選定部７２は、図８について上述した行動詳細評価データベース２３における直列評価閾値と、図９について上述した行動詳細評価結果２４の直列評価特徴結果との差が±10以内であるときには、その直列評価結果を行動詳細評価結果２４から削除すべきと判断して、その直列評価結果を行動詳細評価結果２４から削除する。
【0163】
直列評価結果に「ＮＧ」などの評価基準を満たさない結果が設定されており、その直列評価項目以降の直列評価項目や並列評価項目を評価しなかった場合には、その直列評価項目以降の直列評価項目は並列評価項目を評価する。
【0164】
例えば、並列評価選定基準が「過去の特徴量との類似度」であり、並列評価選定閾値が「0.9」である場合、過去の対話における並列評価特徴結果２４ＥＹ（図９）を参照し、過去の並列評価特徴結果２４ＥＹと、今回の対話の並列評価特徴結果の類似度（過去の行動との類似度）を算出し、その中で「0.9」を超える類似度を示す並列評価結果を出力したか否かに関する情報（選定結果）を取得し、その並列評価結果を出力していれば出力し、出力していなければ出力しないようにする。
【0165】
並列評価選定閾値を満たす並列評価特徴結果が複数存在する場合には、最も高い類似度を示した並列評価特徴結果の選定結果を取得したり、複数の並列評価特徴結果の選定結果のうち多い方の選定結果を算出したりして、出力の有無を決定する。
【0166】
並列評価特徴結果の類似度は、例えば、発話内容（文字列）であれば、文字列の類似度データベースなどを用いて文字列間の類似度を算出したり、数値であれば、並列評価特徴結果間の商を算出し、その商と「１」との差の絶対値の逆数を算出したりするなどして取得する。この場合、過去の対話における並列評価特徴結果を事前に保存しておくなど、直列評価選定基準や並列評価選定基準に基づいて評価する際に必要な情報やデータベースは記憶部に保存しておいてもよい。
【0167】
なお本実施の形態においては、直列評価選定基準及び直列評価選定閾値と、並列評価選定基準及び並列評価選定閾値との双方を設定するようにした場合について説明したが、特徴量間の基準や閾値を規格化するなどにより、評価項目ごとに選定基準や選定閾値を設定せずに、複数の評価項目の選定基準や選定閾値を統一するようにしてもよい。
【0168】
例えば、個人差や試行差などにより、閾値により「ＯＫ」及び「ＮＧ」を完全に区別できない場合などに、評価項目ごとに評価特徴量に応じた評価確率（例えば「ＯＫ」が60％、「ＮＧ」が40％など）を算出し、その評価確率が十分に離れている場合（例えば「ＯＫ」及び「ＮＧ」の差が30％以上の場合）にのみ、その評価結果を行動詳細評価結果に含めるようにしてもよい。
【0169】
また同じ評価行動名における過去の選定結果を取得し、過去の選定結果と同様に評価項目を選定するなど、評価項目ごとではなく、評価行動そのものの情報を用いて評価項目を行動詳細評価結果に含めるか否かを判断するようにしてもよい。さらに、「並列評価結果１」が「ＯＫ」であれば「並列評価結果２」は「ＮＧ」とするなど、他の評価項目の評価結果を用いて各評価項目を行動詳細評価結果に含めるか否かを判断するようにしてもよい。
【0170】
なお、評価項目選定データベースには、事前に専門家などの判断によりマウスやキーボードで入力した情報を、設定信号入力部により取得した設定信号を用いて入力する情報があってもよいし、それらの情報を選定設定部以外の機能部が取得するようにしてもよい。例えば評価項目選定部が評価項目選定データベースに情報を追加するようにしてもよい。
【0171】
（２－２）各機能部の具体的な処理内容
次に、上述した行動評価装置の各機能部の具体的な処理内容について説明する。なお、以下においても、各種処理の処理主体を機能部（「……部」）として説明するが、実際上は、行動評価装置のＣＰＵがその機能部に対応するプログラムを実行することは言うまでもない。
次に、上述した行動評価装置の各機能部の具体的な処理内容について説明する。なお、以下においても、各種処理の処理主体を機能部（「……部」）として説明するが、実際上は、行動評価装置のＣＰＵがその機能部に対応するプログラムを実行することは言うまでもない。
【0172】
（２－２－１）選定設定部の処理
図１９は、ユーザや専門家などにより入力装置が操作されて上述の選定条件が設定され、その結果として設定信号入力部７０から設定信号が選定設定部７１に与えられた場合に、選定設定部７１により実行される選定設定処理の処理内容を示す。選定設定部７１は、この図１９に示す処理手順に従って、かかる設定信号に応じた評価項目選定データベース５５を生成して記憶部３２に格納する。
図１９は、ユーザや専門家などにより入力装置が操作されて上述の選定条件が設定され、その結果として設定信号入力部７０から設定信号が選定設定部７１に与えられた場合に、選定設定部７１により実行される選定設定処理の処理内容を示す。選定設定部７１は、この図１９に示す処理手順に従って、かかる設定信号に応じた評価項目選定データベース５５を生成して記憶部３２に格納する。
【0173】
実際上、選定設定部７１は、行動評価装置５１の電源が投入されるとこの図１９に示す選定設定処理を開始し、まず、設定信号入力部７０から設定信号が与えられるのを待ち受ける（Ｓ８０）。
【0174】
そして選定設定部７１は、やがて設定信号入力部７０から設定信号が与えられると、その設定信号を取得する（Ｓ８１）。なお、設定信号が複数種類存在する場合には、ステップＳ８１の後にすべての設定信号を取得したか否かを判断するステップを追加して、取得していない場合にはステップＳ８１に戻り、すべての設定信号を取得するまでステップＳ８１の処理を繰り返すようにしてもよい。
【0175】
次いで、設定設定部７１は、ステップＳ８１で取得した設定信号に基づいて評価項目選定データベース５５を生成し、生成した評価項目選定データベース５５を記憶部３２に格納した後（Ｓ８２）、この選定設定処理を終了する。
【0176】
なお、２回目以降の選定設定処理の場合には、以前の情報から変更があった場合のみ最新の評価項目選定データベース５５に更新するなど、以前の評価項目選定データベース５５も利用して新たな評価項目選定データベース５５を生成するようにしてもよい。
【0177】
また、例えば前回の対話における評価項目選定データベース５５を用いるなどの場合には、設定信号以外の情報をトリガにして選定設定部７１が選定設定処理を開始してもよいし、設定信号以外の情報をも用いて評価項目選定データベース５５を生成するようにしてもよい。
【0178】
（２－２－２）評価項目選定部の処理
図２０は、評価項目選定部７２により実行される評価項目選定処理の処理内容を示す。評価項目選定部７２は、この図２０に示す処理手順に従って、行動詳細評価部４４により記憶部３２に格納された行動詳細評価結果２４のうちの選定条件を満たさない評価項目を削除する。
図２０は、評価項目選定部７２により実行される評価項目選定処理の処理内容を示す。評価項目選定部７２は、この図２０に示す処理手順に従って、行動詳細評価部４４により記憶部３２に格納された行動詳細評価結果２４のうちの選定条件を満たさない評価項目を削除する。
【0179】
実際上、評価項目選定部７２は、行動評価装置５１の電源が投入されるとこの図２０に示す評価項目選定処理を開始し、まず、行動詳細評価部４４が新たな行動詳細評価結果２４を記憶部３２に格納したか否かを判断する（Ｓ９０）。そして評価項目選定部７２は、この判断で否定結果を得ると、行動詳細評価部４４が新たな行動詳細評価結果２４を記憶部３２に格納するのを待ち受ける。
【0180】
なお、このステップＳ９０の処理は、行動詳細評価部４４などの他の機能部が行ってもよい。また対話を開始してから２回目以降の評価項目選定処理である場合には、評価項目選定部７２は、例えば以前の行動詳細評価結果２４との差分を算出して、その差分において行動詳細評価結果２４が含まれているか否かを判断するなどにより、最新の情報のみを用いてステップＳ９０の判断を行うようにしてもよい。
【0181】
そして評価項目選定部７２は、やがて行動詳細評価部４４が新たな行動詳細評価結果２４を記憶部３２に格納すると、その行動詳細評価結果２４を取得する（Ｓ９１）。この際、評価項目選定部７２は、かかる行動詳細評価結果２４を行動詳細評価部４４から直接取得するようにしてもよい。
【0182】
続いて、評価項目選定部７２は、この後使用する変数ｉの値を「１」に設定し（Ｓ９２）、この後ｉ番目の種類の直列評価結果が存在するか否かを判断する（Ｓ９３）。ここでの「ｉ番目の種類の直列評価結果」とは、図９について上述した行動詳細評価結果２４に含まれる各直列評価結果２４ＤＸの値（直列評価結果）のうち、先頭から数えてｉ番目の直列評価結果を指す。以下においても同様である。
【0183】
そして評価項目選定部７２は、この判断で肯定結果を得ると、評価項目選定データベース５５を参照して、かかるｉ番目の種類の直列評価結果が、評価項目選定データベース５５に登録されているその直列評価結果に対応するすべての選定条件を満たしているか否かを判断する（Ｓ９４）。そして評価項目選定部７２は、この判断で肯定結果を得るとステップＳ９６に進む。
【0184】
これに対して、評価項目選定部７２は、この判断で否定結果を得ると、ｉ番目の種類の直列評価結果を記憶部３２に格納されている行動詳細評価結果２４から削除する（Ｓ９５）。なお、削除するのではなく、行動詳細評価結果２４のｉ番目の種類の直列評価結果２４ＤＸ（図９）として、行動評価統合部４５が行動評価統合処理の対象としないよう、「Ｎ／Ａ」などの行動評価統合処理の対象外であることを表す情報を追加するようにしてもよい。
【0185】
次いで、評価項目選定部７２は、変数ｉをインクリメントする（Ｓ９６）。そして評価項目選定部７２は、ステップＳ９３に戻り、この後ステップＳ９３で否定結果を得るまでステップＳ９３～ステップＳ９６の処理を繰り返す。この繰返し処理により、行動詳細評価結果２４に含まれるすべての直列評価項目について、それぞれ対応するすべての選定条件を満たすか否かがそれぞれ判断される。
【0186】
そして評価項目選定部７２は、やがて行動詳細評価結果２４に含まれるすべての直列評価項目について、対応するすべての選定条件を満たすか否かを判定し終えることによりステップＳ９３で否定結果を得ると、変数ｉの値を「１」にリセットし（Ｓ９７）、この後、対象を行動詳細評価結果２４に含まれる各並列評価項目に切り替えて、ステップＳ９８～ステップＳ１０１をステップＳ９３～ステップＳ９６と同様に処理する。
【0187】
そして評価項目選定部７２は、やがて行動詳細評価結果２４に含まれるすべての並列評価項目について、対応するすべての選定条件を満たすか否かを判定し終えることによりステップＳ９８で否定結果を得ると、この評価項目選定処理を終了する。
【0188】
このように、例えば評価精度が低い評価項目や特徴量が閾値付近の値を示した評価項目など、不確かな評価項目の評価を評価項目選定部７２が行動詳細評価結果２４から除去することにより、この後の行動評価統合部４５により実行される行動評価統合処理（図１４）において確からしい評価項目のみを利用することができる。これにより行動評価装置５１の処理量を低減させたり、対話中のユーザの行動を的確に支援することができる。
【0189】
なお、評価項目選定部７２において、並列評価項目が複数存在する場合の評価順序は問わない。並列評価項目のうち、割り振られた番号が最も大きい並列評価項目から評価してもよい。終了するまでにすべての並列評価結果が算出されていれば、動作順序は問わない。
【0190】
また本実施の形態においては、行動詳細評価部４４が行動詳細評価結果２４を記憶部３２に格納したタイミングで評価項目選定部７２が動作する場合について説明したが、行動詳細評価部４４と評価項目選定部７２とを統合してもよい。行動詳細評価部４４と評価項目選定部７２とを統合した場合、例えば、行動詳細評価部４４において評価行動名を取得した後に、過去の同様の評価行動名を参照して評価項目を選定する、直接評価結果や並列評価結果を算出する度にその評価項目の要否を選定するなどにより、処理量が削減されるように図２０の処理手順を組み替えてもよい。
【0191】
（２－３）第２の実施の形態の変形例
なお記憶部３２に格納された情報の一部を、過去の評価対象ユーザの主体推定情報４７や行動検知情報４８、行動詳細評価結果２４、行動評価統合結果２５などの評価対象ユーザに関するデータベースを用いて、事前の学習により設定してもよい。例えば、演算部６１に行動学習部などの新たな機能部を追加したり、他の機能部に機能を追加することで、適切なデータベースを設定し、評価項目などの適切な評価基準や評価閾値を算出するようにしてもよい。
なお記憶部３２に格納された情報の一部を、過去の評価対象ユーザの主体推定情報４７や行動検知情報４８、行動詳細評価結果２４、行動評価統合結果２５などの評価対象ユーザに関するデータベースを用いて、事前の学習により設定してもよい。例えば、演算部６１に行動学習部などの新たな機能部を追加したり、他の機能部に機能を追加することで、適切なデータベースを設定し、評価項目などの適切な評価基準や評価閾値を算出するようにしてもよい。
【0192】
また過去の評価対象ユーザの主体推定情報４７や行動検知情報４８、行動詳細評価結果２４、行動評価統合結果２５などの評価対象ユーザ（又は評価対象ユーザと同じ／類似する属性の話者）に関するデータベースをユーザや専門家に出力し、推定や検知、評価の成否などの入力を受け付けることで、推定や検知、評価の精度を改善したり、望ましくない出力結果の入力を受け付けることで、評価項目の選定条件を修正したりしてもよい。
【0193】
さらに記憶部３２やデータベースに評価対象ユーザという項目を作成し、評価対象ユーザや評価対象ユーザの属性に関する情報を入力することで、例えば、評価対象ユーザ本人や共通する属性をもつユーザから取得した情報のみを使用するなどにより、特定の評価対象ユーザに関するデータのみを用いて、事前の学習を行ったり、主体の推定や行動の検知、行動の詳細評価などを行ったりしてもよい。
【0194】
さらには、事前の学習を行うためのデータが十分に蓄積しているか否かを専門家や事前に専門家が入力した情報により判断し、データが十分に蓄積していない場合には、学習用のデータを作成するようにユーザに指示したり、他のユーザや過去の発話データを用いて学習用のデータを取得したりするなどにより、データを取得してもよい。
【0195】
さらに評価対象ユーザと、評価対象ユーザ以外の話者の一対一の対話ではなく、同じ対話において複数のユーザが同時にシステムを利用する場合には、システム間で他の評価対象ユーザに対するシステムの出力内容を共有し、他の評価対象ユーザに対する出力内容も出力するなどにより対話を支援するようにしてもよい。
【0196】
（２－４）第２の実施の形態の効果
以上のように本実施の形態の行動評価システム５０では、行動評価装置５１の行動評価統合部４５が行動評価統合結果２５を算出する際に利用すべき評価項目を評価項目選定データベース５５に基づいて評価項目選定部７２が選定するため、例えば評価精度が低い評価項目や、特徴量が閾値付近の値を示した評価項目など、不確かな評価項目の評価を除いた上で行動評価統合部４５に行動評価統合結果２５を算出させることができる。
以上のように本実施の形態の行動評価システム５０では、行動評価装置５１の行動評価統合部４５が行動評価統合結果２５を算出する際に利用すべき評価項目を評価項目選定データベース５５に基づいて評価項目選定部７２が選定するため、例えば評価精度が低い評価項目や、特徴量が閾値付近の値を示した評価項目など、不確かな評価項目の評価を除いた上で行動評価統合部４５に行動評価統合結果２５を算出させることができる。
【0197】
よって、本実施の形態の行動評価システム５０によれば、第１の実施の形態の行動評価システム１により得られる効果に加えて、行動評価統合部４５の処理量を低減させたり、対話中のユーザの行動を的確に支援することができるという効果をも得ることができる。
【0198】
（３）第３の実施の形態
本実施の形態では、第１の実施の形態の行動評価システム１や第２の実施の形態の行動評価システム５０において、出力装置５に表示される各種画面の画面構成について説明する。
本実施の形態では、第１の実施の形態の行動評価システム１や第２の実施の形態の行動評価システム５０において、出力装置５に表示される各種画面の画面構成について説明する。
【0199】
図２１は、第１の実施の形態の行動評価システム１や第２の実施の形態の行動評価システム５０において、所定操作により出力装置５に表示させ得る行動評価設定画面８０を示す。この行動評価設定画面８０は、上述した行動評価機能に関する各種設定を行うためのＧＵＩ（Graphical User Interface）画面であり、主体情報設定領域８１、主行動特徴量設定領域８２、副行動特徴量設定領域８３、評価メソッド設定領域８４、行動詳細評価項目設定領域８５、評価項目選定及びデータベース選択領域８６、行動評価統合方式設定領域８７と、複数の画面選択ボタン８８Ａ～８８Ｃ及び設定保存ボタン８９とを備えて構成される。なお第１の実施の形態の場合には、評価項目選定及びデータベース選択領域８６は省略される。
【0200】
主体情報設定領域８１は、主体設定欄９０、主体推定データベース設定欄９１及び行動検知データベース設定欄９２を備える。そして行動評価設定画面８０では、入力装置４（図１６）を介して所望する評価対象ユーザのユーザ名や、対象とするユーザの役職名や立場名を主体設定欄９０に入力することにより、そのユーザ名のユーザを評価対象ユーザとして設定することができる。
【0201】
また行動評価設定画面８０では、所望する主体推定データベース２０（図３）のデータベース名を主体推定データベース設定欄９１に入力することにより、予め登録されている１又は複数の主体推定データベース２０の中から評価対象ユーザの行動評価の際に利用すべき主体推定データベース２０としてそのデータベース名の主体推定データベース２０を設定することができる。
【0202】
さらに行動評価設定画面８０では、所望する行動検知データベース２１（図５）のデータベース名を行動検知データベース設定欄９２に入力することにより、予め登録されている１又は複数の行動検知データベース２１の中から評価対象ユーザの行動評価の際に利用すべき行動検知データベース２１としてそのデータベース名の行動検知データベース２１を設定することができる。
【0203】
また主行動特徴量設定領域８２は、主行動特徴量数欄９３及び複数の主行動特徴量設定ボタン９４と、各主行動特徴量設定ボタン９４にそれぞれ対応させて設けられた複数の主行動信号名欄９５及び主行動特徴量名欄９６とを備えて構成される。
【0204】
そして行動評価設定画面８０では、所望する主行動特徴量設定ボタン９４をクリックしてその主行動特徴量設定ボタン９４を選択状態に表示を切り替えさせた後（図２１の例では白丸から黒丸に切り替えさせた後）に、その主行動特徴量設定ボタン９４に対応する主行動信号名欄９５に所望する主行動信号の信号名、その主行動特徴量設定ボタン９４に対応する主行動特徴量名欄９６に所望する主行動特徴量名をそれぞれ入力することによって、その主行動信号名の主行動信号からその主行動特徴量名の主行動特徴量を取得すべきことを設定することができる。また、このようにして主行動信号名及び主行動特徴量名を設定した主行動特徴量の数が主行動特徴量数欄９３に表示される。
【0205】
同様に、副行動特徴量設定領域８３は、副行動特徴量数欄９７及び複数の副行動特徴量設定ボタン９８と、副行動特徴量設定ボタン９８にそれぞれ対応させて設けられた複数の副行動信号名欄９９及び副行動特徴量名欄１００とを備えて構成される。
【0206】
そして行動評価設定画面８０では、所望する副行動特徴量設定ボタン９８をクリックしてその副行動特徴量設定ボタン９８を選択状態に表示を切り替えさせた後（図２１の例では白丸から黒丸に切り替えさせた後）に、その副行動特徴量設定ボタン９８に対応する副行動信号名欄９９に所望する副行動信号の信号名、その副行動特徴量設定ボタン９８に対応する副行動特徴量名欄１００に所望する副行動特徴量名をそれぞれ入力することによって、その副行動信号名の副行動信号からその副行動特徴量名の副行動特徴量を取得すべきことを設定することができる。また、このようにして副行動信号名及び副行動特徴量名を設定した副行動特徴量の数が副行動特徴量数欄９７に表示される。
【0207】
評価メソッド設定領域８４は、評価メソッド設定欄１０１及び評価メソッド選択欄１０２を備えて構成される。そして評価メソッド設定欄１０１には、予め用意された１又は複数種類の評価メソッドの中からそのとき使用すべき評価メソッドとして入力された評価メソッドの名称が表示される。
【0208】
また評価メソッド選択欄１０２には、行動評価において使用すべき評価メソッド２２の各種類にそれぞれ対応させてトグルボタン１０３が設けられており、これらトグルボタン１０３の中から所望する種類の評価メソッド２２に対応するトグルボタン１０３をクリックするようにして選択状態に切り替えさせる（図２１の例では白丸から黒丸に切り替えさせる）ことにより、そのトグルボタン１０３に対応する種類の評価メソッド２２を行動評価において使用すべき評価メソッド２２として設定することができる。
【0209】
一方、行動詳細評価項目設定領域８５は、行動詳細評価項目数欄１０４と、行動詳細評価項目設定欄１０５とを備えて構成される。そして行動詳細評価項目設定欄１０５には、予め設定されている複数の行動詳細評価項目にそれぞれ対応させて複数の行動詳細評価項目設定ボタン１０６が表示されると共に、これら複数の行動詳細評価項目にそれぞれ対応させてそれぞれトグルボタン形式の直列選択ボタン１０７及び並列選択ボタン１０８と、優先順位設定領域１０９とが表示される。
【0210】
そして行動詳細評価項目設定欄１０５では、かかる複数の行動詳細評価項目設定ボタン１０６の中から直列評価項目又は並列評価項目とすべき行動詳細評価項目に対応する各行動詳細評価項目設定ボタン１０６をクリックしてその行動詳細評価項目設定ボタン１０６を選択状態に表示を切り替え（図２１の例では白丸から黒丸に切り替え）させた後に、直列選択ボタン１０７及び並列選択ボタン１０８のいずれか一方をクリックしてその直列選択ボタン１０７又は並列選択ボタン１０８の表示を選択状態に切り替え（図２１の例では白丸から黒丸に切り替え）させることによって、その行動詳細評価項目設定ボタン１０６に対応する行動詳細評価項目を、直列評価項目（直列選択ボタン１０７が選択状態に表示されている場合）又は並列評価項目（並列選択ボタン１０８が選択状態に表示されている場合）として設定することができる。
【0211】
また上述のようにしていずれかの行動詳細評価項目を直列評価項目として設定した場合、そのとき直列評価項目として選択された１又は複数の行動詳細評価項目の中でのその行動詳細評価項目の優先順位を設定することができ、このとき設定された優先順位が優先順位設定領域１０９に表示される。
【0212】
評価項目選定及びデータベース選択領域８６は、評価項目有無選択用の第１及び第２のトグルボタン１１０Ａ，１１０Ｂと、評価項目選定データベース設定欄１１１とを備えて構成される。そして評価項目選定及びデータベース選択領域８６では、第１のトグルボタン１１０Ａをクリックして当該第１のトグルボタン１１０Ａを選択状態に切り替え（図２１の例では白丸から黒丸に切り替え）させることによって、評価項目の選定を「あり」に設定することができ、第２のトグルボタン１１０Ｂをクリックして当該第２のトグルボタン１１０Ｂを選択状態に切り替え（図２１の例では白丸から黒丸に切り替え）させることによって、評価項目の選定を「なし」に設定することができる。
【0213】
また、評価項目の選定を「あり」に設定した場合、予め登録されている１又は複数の評価項目選定データベース５５（図１８）のデータベース名を入力装置４を用いて評価項目選定データベース設定欄１１１に入力することによって、そのデータベース名の評価項目選定データベース５５を、上述のように評価項目選定部７２が評価項目を選定する際に使用すべき評価項目選定データベース５５として設定することができる。
【0214】
さらに行動評価統合方式設定領域８７には、行動評価統合方式設定欄１１２が設けられている。そして行動評価統合方式設定領域８７では、所望する行動評価の統合方式の中から所望する統合方式を入力装置４を用いて行動評価統合方式設定欄１１２に入力することによって、その行動評価統合方式を行動評価統合部４５が行動評価を統合する際の方式として設定することができる。
【0215】
画面選択ボタン８８Ａ～８８Ｃは、そのとき出力装置５に表示させる画面を選択するためのボタンであり、図１２の例は、「設定」と表記された画面選択ボタン８８Ｂがクリックされた結果、この行動評価設定画面８０が表示されている例を示している。
【0216】
そして行動評価設定画面８０では、上述のようにして評価対象ユーザや、主行動特徴量、副行動特徴量、評価メソッド、行動評価詳細項目、評価項目及び評価項目選定データベース５５、並びに、行動評価統合方式をそれぞれ設定した後に設定保存ボタン８９をクリックすることにより、これらの設定の設定内容を保存（図１６の記憶装置８に格納）させることができる。
【0217】
一方、図２２は、例えば図２１について上述した行動評価設定画面８０の画面選択ボタン８８Ａ～８８Ｃのうちの「編集」と表記された画面選択ボタン８８Ｃをクリックするなどの所定の操作により出力装置５に表示させ得る編集画面１２０の画面構成を示す。この編集画面１２０は、主体推定データベース２０（図３）や過去の行動詳細評価結果２４（図９）などを編集するための画面であり、編集対象指定領域１２１と、現在情報表示領域１２２と、修正内容指定領域１２３と、複数の画面選択ボタン１２４Ａ～１２４Ｃと、編集保存ボタン１２５とを備えて構成される。
【0218】
編集対象指定領域１２１には、編集対象設定欄１３０が設けられている。そして編集画面１２０では、入力装置４を用いて所望する編集対象を表す文字列を編集対象設定欄１３０に入力することにより、その文字列により特定される主体推定データベース２０や過去の行動詳細評価結果２４などを編集対象として設定することができる。
【0219】
また現在情報表示領域１２２には、編集対象として選択された主体推定データベース２０や過去の行動詳細評価結果２４などについて現在保存されている情報が表示される。
【0220】
さらに修正内容指定領域１２３には、修正項目指定欄１３１及び修正情報指定欄１３２が設けられている。そして編集画面１２０では、入力装置４を用いて、現在情報表示領域１２２に表示された情報のうちのそのとき修正したい項目を修正項目指定欄１３１に入力すると共に、その項目の修正後の内容を修正情報指定欄１３２に入力することによって、その項目をその内容を修正すべきことを設定することができる。
【0221】
そして編集画面１２０では、上述のように編集内容を設定した上で編集保存ボタン１２５をクリックすることによって、そのときその編集画面１２０上で設定された編集内容を保存（図１６の記憶装置８に格納）させることができる。
【0222】
なお、画面選択ボタン１２４Ａ～１２４Ｃは、行動評価設定画面８０の画面選択ボタン８８Ａ～８８Ｃと同じ機能を有するものであるため、ここでの説明は省略する。
【0223】
このように本行動評価装置５１では、ユーザの行動評価に関する設定や、変更、追加又は削除などの編集を行動評価設定画面８０や編集画面１２０を用いて容易に行うことができる。またユーザの行動評価に用いる情報や、過去に算出されたデータを容易に表示することができるため、これらの情報に基づいてユーザや専門家からのフィードバックを受けることで、その情報やデータを変更、追加又は削除することができる。
【0224】
なお、これらの設定の一部又は全部を評価項目選定データベース５５（図１８）に保存するように選定設定部７１（図１７）などの演算部６１（図１７）が動作するようにしてもよいし、機能部及び情報を新たに設けるようにしてもよい。また行動評価設定画面８０や編集画面１２０として、この他の情報を表示、追加、削除又は置換できるような画面構成を採用するようにしてもよく、行動評価設定画面８０や編集画面１２０の画面構成としては、この他種々の画面構成を広く適用することができる。
【0225】
（４）具体例
（４－１）具体例１
次に、第１及び第２の実施の形態における行動評価システム１，５０を、会社などの職場における上司と部下との１on１ミーティングにおける上司の相槌評価に用いる例を、具体例１として説明する。ここで、１on１ミーティングとは、部下の育成やモチベーション向上を目的とした、部下のための定期的かつ高頻度な対話のことをいう。１on１ミーティングにおける上司の行動は、部下との信頼関係の構築、部下の育成やモチベーション向上において重要であるため、１on１ミーティングにおける上司の行動を評価し、支援することは有用である。以下、第１及び第２の実施の形態と重複部分の説明を省略して説明する。
（４－１）具体例１
次に、第１及び第２の実施の形態における行動評価システム１，５０を、会社などの職場における上司と部下との１on１ミーティングにおける上司の相槌評価に用いる例を、具体例１として説明する。ここで、１on１ミーティングとは、部下の育成やモチベーション向上を目的とした、部下のための定期的かつ高頻度な対話のことをいう。１on１ミーティングにおける上司の行動は、部下との信頼関係の構築、部下の育成やモチベーション向上において重要であるため、１on１ミーティングにおける上司の行動を評価し、支援することは有用である。以下、第１及び第２の実施の形態と重複部分の説明を省略して説明する。
【0226】
図２３は、具体例１において、上司の相槌を評価する場合の行動評価システム１，５０の動作概要を示す。具体例１では、第１及び第２の実施の形態における行動検知データベース２１（図５）として、１on１ミーティング中の上司の行動を検出するために作成された上司の行動データベース１４０、評価メソッド２２（図６）として、１on１ミーティング用の評価メソッド２２である１on１メソッド１４１を用いる。
【0227】
また行動詳細評価データベース２３（図８）を評価項目ごとに分割し、行動詳細評価データベース２３として、話題データベース１４２、上司と部下との発話履歴（上司部下発話履歴）１４３、話題の観点データベース１４４、部下の発話データベース１４５、部下の発話履歴１４６、相槌リズムデータベース１４７、及び、上司の行動履歴１４８を用いる。
【0228】
そして、具体例１では、これらの情報を利用して行動詳細評価項目のうち、直列評価項目として、１on１ミーティングに適した話題であるか、適切な観点で対話してるかを評価し、並列評価項目として、部下が上司の相槌を待っている状態であるか、相槌のリズムは適切か、適切な頻度で相槌をしているかなどを評価することにより、相槌の詳細を評価する。
【0229】
１on１ミーティングでは、適切な話題と観点で対話することが前提条件となるため、直列評価項目として話題と観点の評価を行い、それぞれ前提条件を満たしている場合に、並列評価項目として、部下が上司の相槌を待っている状態であるか、相槌のリズムは適切か、適切な頻度で相槌をしているかなどの相槌の詳細を評価する。
【0230】
図２４は、具体例１における行動評価システム１，５０の論理構成を示す。図２４では、第１及び第２の実施の形態における主行動信号入力部４０（図２、図１７）として上司行動入力部１５０、副行動信号入力部４１（図２、図１７）として部下行動入力部１５１が設けられている。また主体推定部４２（図２、図１７）として上司推定部１５２、行動検知部４３（図２、図１７）として上司の行動検知部１５３、行動詳細評価部４４（図２、図１７）として第１～第７の詳細評価部１５４Ａ～１５４Ｇが設けられている。
【0231】
さらに主体推定データベース２０（図２、図１７）として上司推定データベース１４９、行動検知データベース２１（図２、図１７）として上司の行動データベース１４０、評価メソッド２２（図２、図１７）として１on１メソッド１４１が設けられている。さらに行動詳細評価データベース２３（図２、図１７）として、図９の形式の行動詳細評価データベース２３を評価項目ごとに分割するようにして生成した話題データベース１４２、上司部下発話履歴１４３、話題の観点データベース１４４、部下の発話データベース１４５、部下の発話履歴１４６、相槌リズムデータベース１４７、及び、上司の行動履歴１４８などが設けられている。
【0232】
上司推定部１５２は、評価対象ユーザとして「上司」を推定するが、特定の上司を推定する上司推定データベース１４９を用いて上司個人を推定してもよいし、上司及び部下の発話内容などにより一般的な上司を推定する上司推定データベース１４９を用いて上司の立場の話者を推定するようにしてもよい。
【0233】
上司の行動検知部１５３は、上司の行動データベース１４０と、１on１メソッド１４１とに基づいて、評価対象となる上司の行動（評価行動）を検知する。１on１メソッド１４１における上司の評価行動としては、話題を選ぶスキルと、話し方を工夫するスキルとがあり、そのうち話し方を工夫するスキルとして、相手の話に適切に反応するための沈黙、頷き、自然な笑顔、相槌、相手の話を返すための繰返し、要約、気持ちの表明、相手に質問するために具体化する、拡大化する、相手を認める、ほめるなどのスキルがある。本具体例１では、このうち相槌を検知した場合について説明する。
【0234】
具体例１の場合、第１～第７の行動詳細評価部１５４Ａ～１５４Ｇにおける評価項目として、２つの直列評価項目と、５つの並列評価項目とがある。この場合における２つの直列評価項目は、「話題」及び「観点」である。「話題」については、話題データベース１４２と、上司の行動信号とから算出した発話内容（上司部下発話履歴１４３の情報）とを用いて話題を推定し、１on１ミーティングに適した話題で話しているかを評価する。「観点」については、話題の観点データベース１４４と、上司及び部下の行動信号から算出した発話内容や発話履歴とを用いて、コト（業務状況など）ではなくヒト（部下）に着目できているか（例えば、上司の質問や部下の回答から業務進捗の管理になっていないかなど）を評価する。
【0235】
また、かかる５つの並列評価項目は、「部下の発話状態」、「相槌のリズム」、「表情」、「頷きとの整合性」、「相槌の頻度」である。「部下の発話状態」については、部下の発話データベース１４５と、部下の行動信号から算出した部下の発話内容や発話履歴（部下の発話履歴１４６の情報）とを用いて、部下が上司の相槌を待っている状態であるか（部下の発話を中断させていないかなど）を評価する。部下の発話データベース１４５は、部下の発話履歴と部下の発話を中断させなかった確率の関係性に関する情報などを含む。
【0236】
「相槌のリズム」については、相槌リズムデータベース１４７と、上司の行動信号及び部下の行動信号から算出した上司の相槌の履歴や部下の発話履歴とを用いて、部下の発話を促進できるタイミングの相槌であるかを評価する。相槌リズムデータベース１４７は、部下の発話履歴と相槌との関係性を参照して、適切なリズムであった確率に関する情報などを含む。
【0237】
「表情」については、図示しない表情データベースと、上司の行動信号とから算出した上司の表情とを用いて、上司が自然な笑顔で相槌していたかを評価する。表情データベースは、口角や目尻などの顔の特徴点や、その変化と笑顔の程度の関係性に関する情報を含む。
【0238】
「頷きとの整合性」については、上司の行動信号から算出した頷きを検知し、頷きと相槌とのタイミングの差が閾値に収まっているかを評価する。相槌とのタイミングの差を規格化し、取得した数値を確率に変換して算出するようにしてもよい。
【0239】
「相槌の頻度」については、上司の行動信号から算出した相槌の履歴と、部下の行動信号から算出した発話履歴とを用いて、前回の相槌や以前の複数回の相槌の後に部下が十分に発話したかなどを評価する。
【0240】
これらの評価項目により、上司の相槌の詳細を評価し、その評価結果を出力する。各評価項目に用いるデータは、第１及び第２の実施の形態における行動詳細評価データベース２３（図８）に格納されている対応する評価項目のデータと同じであるが、不足している情報があれば、各評価項目において新たな項目やデータを追加するようにしてもよい。評価結果の出力においては、評価した評価項目ごとに「ＯＫ」や「ＮＧ」に該当する情報を出力装置に出力してもよいし、「ＮＧ」が入力された評価項目の情報を統合して出力装置に出力するようにしてもよい。また、すべての評価項目に対する評価が「ＯＫ」であった場合には、「上手に相槌できています」などの統合した評価を出力装置５に出力するようにしてもよい。
【0241】
（４－２）具体例２
次に、第１及び第２の実施の形態における行動評価システム１，５０を、家庭などにおける親子の相互交流シーンでの親の直接的命令の評価に用いる例を、具体例２として説明する。
次に、第１及び第２の実施の形態における行動評価システム１，５０を、家庭などにおける親子の相互交流シーンでの親の直接的命令の評価に用いる例を、具体例２として説明する。
【0242】
具体例２では、親子の相互交流の支援について、親子相互交流訓練法（ＰＣＩＴ：Parent-Child Interaction Training）のメソッドに基づいて評価した場合について説明する。親子相互交流訓練法とは、遊戯療法及び行動療法に基づく心理療法であり、親子の相互交流を深め、その質を高めることで、子どもの心や行動の問題や、育児に悩む親（養育者）に対して、改善するように働きかける方法である。親子の相互交流における親の行動は、子どもとの信頼関係の構築や、しつけなどの子どもの健全な成長において重要であるため、親子相互交流訓練法に基づいて親の行動を評価し、支援することは有用である。以下、第１及び第２の実施の形態と重複部分の説明を省略して説明する。
【0243】
図２５は、具体例２において、親の直接的命令を評価する場合の行動評価システム１，５０の動作概要を示す。具体例２では、第１及び第２の実施の形態における行動検知データベース２１（図２、図１７）として親の行動データベース１６０、評価メソッド２２として親子交流メソッド１６１を用いる。また行動詳細評価データベース２３（図８）を評価項目ごとに分割し、行動詳細評価データベース２３として、信頼関係データベース１６２、親子の交流履歴１６３、子の行動データベース１６４、発達段階データベース１６５、子の行動履歴１６６、言語表現データベース１６７、及び、親の発話履歴１６８などを用いる。
【0244】
そして具体例２では、これらの情報を利用して、行動詳細項目のうち、直列評価項目として子どもとの信頼関係を構築済みであるかを評価し、並列評価項目として子どもが命令を聞ける状態であるか、子どもの発達状態に合っており子どもが実行可能な命令内容であるか、適切な言語表現であるかなどを評価することにより、直接的命令の詳細を評価する。
【0245】
親子相互交流訓練法では、親子の信頼関係を構築することが直接的命令の前提条件となるため、直列評価項目として親子の信頼関係の評価を行い、前提条件を満たしている場合に、並列評価項目として子どもが親の直接的命令を聞ける状態であるか、子どもの発達状況にあった命令内容であったか、丁寧な言語表現で命令したか、などの直接的命令の詳細を評価する。
【0246】
図２６は、具体例２における行動評価システムの論理構成を示す。図２６では、第１及び第２の実施の形態における主行動信号入力部４０（図２、図１７）として親の行動入力部１７０、副行動信号入力部４１（図２、図１７）として子の行動入力部１７１が設けられている。また主体推定部４２（図２、図１７）として親推定部１７２、行動検知部４３（図２、図１７）として親の行動検知部１７３、行動詳細評価部４４（図２、図１７）として第１～第８の詳細評価部１７４Ａ～１７４Ｈが設けられている。
【0247】
さらに主体推定データベース２０（図２、図１７）として親推定データベース１６９、評価メソッド２２（図２、図１７）として親子交流メソッド１６１を用いると共に、行動詳細評価データベース２３（図２、図１７）として、図９の形式の行動詳細評価データベース２３を評価項目ごとに分割するようにして生成した信頼関係データベース１６２、親子の交流履歴１６３、子の行動データベース１６４、発達段階データベース１６５、子の行動履歴１６６、言語表現データベース１６７及び親の発話履歴１６８などが設けられている。
【0248】
親推定部１７２は、評価対象ユーザとして親を推定するが、特定の親を推定する親推定データベース１６９を用いて親個人を推定してもよいし、親と子どもの体型や発話内容などにより一般的な親を推定する親推定データベース１６９を用いて親の立場の話者を推定してもよい。
【0249】
親の行動検知部１７３は、親の行動データベース１６０と、親子交流メソッド１６１とに基づいて、評価対象となる親の行動を検知する。親子交流メソッド１６１において、評価対象とする親の行動としては、子どもとの信頼関係を構築するスキルと、子どもへの教育をするスキルとがあり、そのうち子どもとの信頼関係を構築するスキルとしては、命令しない、質問しない、批判しない、ほめる、繰り返す、真似をする、行動を説明する及び楽しむなどのスキルがある。本具体例２では、このうち直接的命令を検知した場合について説明する。
【0250】
具体例２の場合、第１～第８の行動詳細評価部１７４Ａ～１７４Ｈにおける評価項目として、１つの直列評価項目と、７つの並列評価項目とがある。この場合における「１つの直列評価項目」は、「信頼関係」である。信頼関係については、信頼関係データベース１６２と、親子の行動信号から算出した親子の交流履歴１６３とを用いて、子どもの問題行動と、親の育児困難感とを評価する。このため信頼関係データベース１６２は、子どもの問題行動と、親の育児困難感とに関する評価項目を含む。信頼関係データベース１６２と、親子の交流履歴１６３とを用いて、親子の信頼関係のスコアを算出することで評価する。親子の信頼関係のスコアを規格化し、例えば、かかるスコアが「０」の場合を信頼関係がある確率が０％、かかるスコアが満点の場合を信頼関係がある確率が「100」％として、取得した数値を確率などに変換してもよい。
【0251】
また、かかる７つの並列評価項目は、「子どもの聞き入れ状態」、「子どもの発達状況」、「言語表現」、「声量」、「前後の説明」、「命令の必要性」及び「命令の頻度」である。「子どもの聞き入れ状態」については、子どもの行動データベース１６４と、子どもの行動信号から算出した子どもの行動履歴や行動内容（子の行動履歴１６６の情報）とを用いて、子どもが親の命令を聞き入れる状態であるかを評価する。子どもの行動データベース１６４は、子どもの行動とそれぞれの行動において親の命令に反応した割合などの、行動及び聞き入れ状態の関係に関する情報を含む。
【0252】
「子どもの発達状況」については、発達段階データベース１６５と、親子の行動信号とから算出した直接的命令の内容と、子どもの行動履歴や行動内容（子の行動履歴１６６の情報）とを用いて、子どもが実行可能な命令であるかを評価する。発達段階データベース１６５は、子どもが問題なく実施した行動と、その行動を実施した場合に問題なく実施できる行動とを紐付けた情報を含む。
【0253】
「言語表現」については、言語表現データベース１６７と、親の行動信号とから算出した直接的命令の文字列とを用いて、適切な言語表現であるか（丁寧語を使っているか、肯定的な言葉を使っているか、１回に１つだけの命令になっているか、具体的な命令内容であるかなど）を評価する。言語表現データベース１６７は、丁寧語や肯定的な言葉などの文字列を含む。
【0254】
「声量」については、親の行動信号から算出した親の音声エネルギーを用いて、閾値内の声量であるかを評価する。声量は、親子の行動信号から算出した親子の距離や、親と行動情報取得装置２Ａ、２Ｂのマイクとの距離などで調整してもよい。
【0255】
「前後の説明」については、親の行動データベース１６０と、親の行動信号とから算出した親の発話履歴１６８とを用いて、親が直接的命令の前後に命令を実施した理由を説明しているかを評価する。
【0256】
また「命令の必要性」については、図示しない危険状況データベースと、子どもの行動信号とから算出した子どもの行動場所や行動内容（子の行動履歴１６６の情報）とを用いて、直接的命令を実施する必要があったかを評価する。危険状況データベースは、子どもの危険な状況（危険な場所や行動）に関する情報を含む。
【0257】
「命令の頻度」については、親の行動信号から算出した親の行動履歴を用いて、前回の直接的命令から一定時間（例えば30秒）以上経過しているかを評価する。
【0258】
これらの評価項目により、親の直接的命令の詳細を評価し、その評価結果を出力する。各評価項目に用いるデータは、第１及び第２の実施の形態における行動詳細評価データベース２３に格納されている対応する評価項目のデータと同じであるが、不足している情報があれば、各評価項目において新たな項目やデータを追加するようにしてもよい。評価結果の出力においては、評価した評価項目ごとに「ＯＫ」や「ＮＧ」に該当する情報を出力装置に出力してもよいし、「ＮＧ」が入力された評価項目の情報を統合して出力装置５に出力するようにしてもよい。また、すべての評価項目に対する評価が「ＯＫ」であった場合には、「上手に直接的命令をできています」などの統合した評価を出力装置５に出力するようにしてもよい。
【0259】
（５）他の実施の形態
なお上述の第１及び第２の実施の形態においては、第１及び第２の実施の形態による行動評価機能を実現するためのすべての機能を１つのコンピュータ装置（行動評価装置３，５１）に搭載するようにした場合について述べたが、本発明はこれに限らず、分散コンピューティングシステムを構成する複数のコンピュータ装置にかかる機能を分散させて搭載するようにしてもよい。
なお上述の第１及び第２の実施の形態においては、第１及び第２の実施の形態による行動評価機能を実現するためのすべての機能を１つのコンピュータ装置（行動評価装置３，５１）に搭載するようにした場合について述べたが、本発明はこれに限らず、分散コンピューティングシステムを構成する複数のコンピュータ装置にかかる機能を分散させて搭載するようにしてもよい。
【0260】
また上述の第１及び第２の実施の形態においては、行動評価設定画面８０を図２１のように構成し、編集画面１２０を図２２のように構成するようにした場合について述べたが、本発明はこれに限らず、この他種々の画面構成を広く適用することができる。
【産業上の利用可能性】
【0261】
本発明は人の行動を評価する種々の構成の行動評価システムに広く適用することができる。
【符号の説明】
【0262】
１，５０……行動評価システム、２Ａ，２Ｂ……行動情報取得装置、３，５１……行動評価装置、４……入力装置、５……出力装置、６……ＣＰＵ、１０……主体推定プログラム、１１……行動検知プログラム、１２……行動詳細評価プログラム、１３……行動評価統合プログラム、１４……行動出力プログラム、１５……通信プログラム、２０……主体推定データベース、２１……行動検知データベース、２２……評価メソッド、２３……行動詳細評価データベース、２４……行動詳細評価結果、２５……行動評価統合結果、３０，６０……入力部、３１，６１……演算部、３２……記憶部、４０……主行動信号入力部、４１……副行動信号入力部、４２……主体推定部、４３……行動検知部、４４……行動詳細評価部、４５……行動評価統合部、４６……行動出力部、４７……主体推定情報、４８……行動検知情報、５３……選定設定プログラム、５４……評価項目選定プログラム、５５……評価項目選定データベース、７０……設定信号入力部、７１……選定設定部、７２……評価項目選定部、８０……行動評価設定画面、１２０……編集画面。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11A】
【図11B】
【図11C】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】