特許 7503677 生体行動反応解析システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2024-06-12

(45)【発行日】2024-06-20

(54)【発明の名称】生体行動反応解析システム

(51)【国際特許分類】

   A61B 5/16 20060101AFI20240613BHJP

【ＦＩ】

A61B5/16 100

【請求項の数】 7

(21)【出願番号】P 2023019353

(22)【出願日】2023-02-10

【審査請求日】2023-02-10

(73)【特許権者】

【識別番号】397029389

【氏名又は名称】福原 眞知子

(74)【代理人】

【識別番号】110001542

【氏名又は名称】弁理士法人銀座マロニエ特許事務所

(72)【発明者】

【氏名】福原 眞知子

【審査官】小野 健二

(56)【参考文献】

【文献】特許第５１５０９０２（ＪＰ，Ｂ２）

【文献】特許第２５０５２９０（ＪＰ，Ｂ２）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ５／０６－５／２２

(57)【特許請求の範囲】

【請求項1】

被験者と試験者とのコミュニケーションに基づくカウンセリングに使用するための生体行動反応解析システムであって、
被験者および試験者のＧＳＲおよび心脈拍をそれぞれ検出する第１のＧＳＲセンサおよび第２のＧＳＲセンサならびに第１の心脈拍センサおよび第２の心脈拍センサと、
前記被験者および前記試験者の生体行動に関する画像情報および音声情報を監視および記録して出力する生体行動監視装置と、
前記生体行動監視装置から出力された前記画像情報および前記音声情報に基づく前記被験者および前記試験者の心理学－生理学的分類情報を二人の観察者が入力するための第１および第２の反応キーと、
被験者および試験者の画像情報および音声情報から前記被験者および前記試験者の心理学－生理学的分類情報をそれぞれ分類する、コンピュータで構成された第１および第２のＡＩモデルによって、前記生体行動監視装置から出力された前記画像情報および前記音声情報を分析して前記被験者および前記試験者の補助的心理学－生理学的分類情報をそれぞれ取得し、それらの補助的心理学－生理学的分類情報を出力する補助的分類情報出力装置と、
前記第１および第２のＧＳＲセンサならびに前記第１および第２の心脈拍センサと、前記第１および第２の反応キーと、前記生体行動監視装置と、前記補助的分類情報出力装置とを接続されており、前記被験者および前記試験者の前記ＧＳＲおよび前記心脈拍ならびに前記心理学－生理学的分類情報および前記補助的心理学－生理学的分類情報を同期させる処理を行うとともに、その同期した前記被験者および前記試験者の前記ＧＳＲおよび前記心脈拍ならびに前記心理学－生理学的分類情報および前記補助的心理学－生理学的分類情報を出力する情報処理出力装置と、を具え、
同期した前記被験者および前記試験者の前記ＧＳＲおよび前記心脈拍ならびに前記心理学－生理学的分類情報および前記補助的心理学－生理学的分類情報の出力に基づいてカウンセリングの解析を行い得るようにしたことを特徴とする生体行動反応解析システム。

【請求項2】

前記第１および第２のＡＩモデルには、過去に前記生体行動監視装置から出力された被験者および試験者の画像情報および音声情報と、それらの情報に基づき二人の観察者が第１および第２の反応キーで入力した被験者および試験者の心理学－生理学的分類情報とを教師データとして、被験者および試験者の画像情報および音声情報と前記被験者および前記試験者の心理学－生理学的分類情報との関係をあらかじめ学習した教師あり学習済みＡＩモデルを用いることを特徴とする、請求項１記載の生体行動反応解析システム。

【請求項3】

前記第１および第２のＡＩモデルは、それらのＡＩモデルに共通の一台のコンピュータが所定のプログラムを逐次的あるいは並列的に実行することによって構成することを特徴とする、請求項１記載の生体行動反応解析システム。

【請求項4】

情報処理出力装置の出力に基づいて、コンピュータで構成されたＡＩモデルによってカウンセリングの解析を補助的に行うカウンセリング補助装置をさらに具えることを特徴とする、請求項１から３までの何れか１項記載の生体行動反応解析システム。

【請求項5】

被験者と試験者とのコミュニケーションに基づくカウンセリングに使用するための生体行動反応解析システムであって、
被験者および試験者のＧＳＲおよび心脈拍をそれぞれ検出する第１のＧＳＲセンサおよび第２のＧＳＲセンサならびに第１の心脈拍センサおよび第２の心脈拍センサと、
前記被験者および前記試験者の生体行動に関する画像情報および音声情報を監視および記録して出力する生体行動監視装置と、
被験者および試験者の画像情報および音声情報から前記被験者および前記試験者の心理学－生理学的分類情報をそれぞれ分類する、コンピュータで構成された第１および第２のＡＩモデルによって、前記生体行動監視装置から出力された前記画像情報および前記音声情報を分析して前記被験者および前記試験者の心理学－生理学的分類情報をそれぞれ取得し、それらの心理学－生理学的分類情報を出力する分類情報出力装置と、
前記第１および第２のＧＳＲセンサならびに前記第１および第２の心脈拍センサと、前記生体行動監視装置と、前記分類情報出力装置とを接続されており、前記被験者および前記試験者の前記ＧＳＲおよび前記心脈拍ならびに前記心理学－生理学的分類情報を同期させる処理を行うとともに、その同期した前記被験者および前記試験者の前記ＧＳＲおよび前記心脈拍ならびに前記心理学－生理学的分類情報を出力する情報処理出力装置と、を具え、
同期した前記被験者および前記試験者の前記ＧＳＲおよび前記心脈拍ならびに前記心理学－生理学的分類情報の出力に基づいてカウンセリングの解析を行い得るようにするとともに、
情報処理出力装置の出力に基づいて、コンピュータで構成されたＡＩモデルによってカウンセリングの解析を補助的に行うカウンセリング補助装置をさらに具えることを特徴とする生体行動反応解析システム。

【請求項6】

前記二つのＡＩモデルには、過去に前記生体行動監視装置から出力された被験者および試験者の画像情報および音声情報と、それらの情報に基づき二人の観察者が第１および第２の反応キーで入力した被験者および試験者の心理学－生理学的分類情報とを教師データとして、被験者および試験者の画像情報および音声情報と前記被験者および前記試験者の心理学－生理学的分類情報との関係をあらかじめ学習した教師あり学習済みＡＩモデルを用いることを特徴とする、請求項５記載の生体行動反応解析システム。

【請求項7】

前記第１および第２のＡＩモデルは、それらのＡＩモデルに共通の一台のコンピュータが所定のプログラムを逐次的あるいは並列的に実行することによって構成することを特徴とする、請求項５記載の生体行動反応解析システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、例えば被験者－試験者のような１対１の教育的な人間関係において、両者のコミュニケーションに基づくカウンセリングに使用するための生体行動反応解析システムに関し、特にはカウンセリングおよびカウンセラ教育に好適な生体行動反応解析システムに関するものである。

【背景技術】

【0002】

上述した１対１の教育的な人間関係に類似するものとしては、クライエント（解決すべき問題を有する人）とカウンセラ、患者と医師（あるいは看護師）、クライエントと心理療法士、クライエントと精神医学者、クライエントとケースワーカ、学生と教師、企業内教育における受講者とインストラクタ、親と子等種々の場合がある。これらの例は、その構成および実施方法には差異があるが、両者のコミュニケーションを媒体として問題の解決を図ることを目的とする援助の人間関係（例えば「共感」、「受容性」、「感受性」等相手に係わろうとする姿勢）を成立させようとしている点で共通性があるということを、本願発明者は長年の研究によって確かめた。このように幅広い分野で望まれる援助の人間関係の中の１つであるクライエントとカウンセラとの人間関係、つまりカウンセリングに関し、客観的なデータを得ることは大変意義深いものである。

【0003】

ここで、先ずカウンセリングの概念について詳述すると、カウンセリングの定義については諸説があるが、一般には図１０に示すように表わされる。すなわち、カウンセリング（counseling）に隣接する領域として教育（school psychology）および心理療法（psychotherapy）があり（これらを混同して用いる場合がある）、さらに心理療法に隣接する領域として精神医学（psychiatry）がある。カウンセリングの理論的背景をなすのはカウンセリング心理学（counseling psychology）領域であり、その目的とするものは教育、人間性の開発、精神衛生上の予防である。一方、心理療法の理論的背景をなすものは臨床心理学（clinical psychology）領域であり、その目的とするものは人間性の修正、精神衛生上の予防、治療である。それゆえ、両者には重複する部分がある。また一般に、カウンセリングはいわゆる健常者を対象とし、心理療法はいわゆる非健常者及び両者の接点を対象とするが、広くはカウンセリングにおいても神経症的傾向のある人やボーダーラインの人も対象とする。なお図１０中で左方へ向うほど教育的傾向が強まり、右方へ向うほど治療的傾向が強まる。

【0004】

本願発明者は上述した見地から、カウンセリングに関する種々の研究および実験を積み重ねて来た。しかしながら当時のカウンセリングシステムでは、クライエントの心脈拍やＧＳＲ（Galvanic Skin Response：電流皮膚反応）等の生体反応を個々に測定し、それを解析してカウンセリングに関する客観的なデータを得ようとしているものの、複数の生体反応相互の関連性や、それらとクライエント－カウンセラ双方の心理学－生理学的分類情報との関連性が得られないという不都合があった。このため本願発明者は、複数の生体反応に関するデータおよびクライエント－カウンセラ双方の心理学－生理学的分類情報に基づきカウンセリングに関する総合的かつ客観的な解析を行うことができる第１世代の生体行動反応解析システムを発明し、これについて特許を取得した（特許文献１参照）。

【0005】

この第１世代の生体行動反応解析システムは、被験者および試験者の生体反応であるＧＳＲならびに心脈拍をそれぞれ検出する第１および第２のＧＳＲセンサならびに第１および第２の心脈拍センサと、それら被験者および試験者の生体行動に関する画像情報および音声情報を監視および記録する生体行動監視装置と、その生体行動監視装置から出力された画像情報および音声情報に基づく被験者の「喜」、「怒」、「楽」、「当惑」、「驚き」、「不安」、「スムーズ」、「スムーズでない」等の心理学－生理学的分類情報ならびに試験者の「かかわる」、「かかわらない」、「直視」、「胸上視線」、「胸下視線」、「開かれた質問」、「閉ざされた質問」等の心理学－生理学的分類情報を二人の観察者が入力するための第１および第２の反応キーと、それら被験者および試験者のＧＳＲおよび心脈拍と心理学－生理学的分類情報とを入力し同期させて出力装置の画面等に出力するコンピュータとを具え、そのコンピュータが出力する被験者および試験者のＧＳＲおよび心脈拍ならびにそれらに同期した心理学－生理学的分類情報を用いてカウンセリングの解析を行い得るようにしたものである。

【0006】

しかしながら、この第１世代の生体行動反応解析システムでは、ＧＳＲの検出の際に被験者および試験者の指に電極を装着した後、ＧＳＲ信号のゲイン（増幅度）調整を適切に行うとともに、被験者および試験者を安静状態とする必要があり、このゲイン調整が不適切であったり、被験者と試験者との少なくとも一方が安静状態でなかったりすると、被験者および試験者の生体反応が高精度で得られない可能性があった。そして被験者および試験者の生体反応が高精度で得られない場合には、カウンセリングのより正確な解析にも不都合をきたす可能性があった。

【0007】

また、この第１世代の生体行動反応解析システムでは、生体行動監視装置から出力された画像情報および音声情報に基づき被験者および試験者の心理学－生理学的分類情報を入力するための第１および第２の反応キーが何れも、心理学－生理学的分類情報の有無をその分類情報の種類毎にスイッチのＯＮ／ＯＦＦで入力するのみであるため、被験者の感情の程度や、試験者の質問のかかわりの程度等が判らず、被験者および試験者の心理学－生理学的分類情報が高精度で得られない可能性があった。そして被験者および試験者の心理学－生理学的分類情報が高精度で得られない場合には、カウンセリングのより正確な解析にも不都合をきたす可能性があった。

【0008】

その一方で近年、人の頭部の複数箇所に近赤外線を照射して、脳表面からの反射光を受光し、脳の前頭前野の活動に伴う脳表面の血流変化による反射光レベルの微細な変化を捉える光トポグラフィ（登録商標）により、人の感情を非侵襲でしかもリアルタイムに検出する技術が知られている（非特許文献１参照）。そこで本願発明者は、上記第１世代の生体行動反応解析システムについてさらに研究を進め、ＧＳＲ信号のゲインを適切に調整するとともに被験者および試験者の安静状態を確認し、さらに第１および第２の反応キーへの入力も適切に行えるようにして上記の不都合を解消し、加えてカウンセリング中に上記光トポグラフィ技術で被験者および試験者の感情に関する情報を検出し、その情報も参照できるようにした第２世代の生体行動反応解析システムについて、特許文献２に記載のように特許を取得した。

【先行技術文献】

【特許文献】

【0009】

【文献】特許第２５０５２９０号公報

【文献】特許第５１５０９０２号公報

【非特許文献】

【0010】

【文献】社団法人電子情報通信学会発行の電子情報通信学会論文誌、Ａ Ｊ８８－Ａ（８），PP.994-1001 20050801記載、松下晋および中川匡弘著、「光トポグラフィによる感性情報解析（ヒューマンコミュニケーション）」

【文献】https://www.brainpad.co.jp/news/2017/05/30/5286：「ブレインパッドのAI技術が、 Google のイベントに採用 － 人間の発話内容をもとに、ロボットがおすすめのキャンディをピックアップ －」

【発明の概要】

【発明が解決しようとする課題】

【0011】

しかしながら、特許文献１に記載の第１世代の生体行動反応解析システムも、特許文献２に記載の第２世代の生体行動反応解析システムも何れも、生体行動監視装置から出力された画像情報および音声情報に基づき二人の観察者が第１および第２の反応キーをそれぞれ操作して被験者および試験者の心理学－生理学的分類情報を入力しているが、画像情報および音声情報から被験者の感情や試験者の質問のかかわり等を正確に読み取るのは必ずしも容易でないため、被験者の心理学－生理学的分類情報が高精度で得られない可能性があった。

【0012】

ところで最近は、ＡＩ（Artificial Intelligence：人工知能）に関する技術の進展により、コンピュータで構成されたＡＩモデルを用いて録画した人の画像や録音した会話の内容を精度よく分析する技術が知られてきている（非特許文献２参照）。それゆえ本発明は、先に述べた課題を上述の如き最近の技術を用いて解決することで、カウンセリングのより正確な解析を可能にする生体行動反応解析システムを提供することを目的とする。

【課題を解決するための手段】

【0013】

本発明の第１の態様の生体行動反応解析システムは図１に概念図で示すように、
被験者と試験者とのコミュニケーションに基づくカウンセリングに使用するための生体行動反応解析システムであって、
被験者および試験者のＧＳＲおよび心脈拍をそれぞれ検出する第１のＧＳＲセンサおよび第２のＧＳＲセンサならびに第１の心脈拍センサおよび第２の心脈拍センサと、
前記被験者および前記試験者の生体行動に関する画像情報および音声情報を監視および記録して出力する生体行動監視装置と、
前記生体行動監視装置から出力された前記画像情報および前記音声情報に基づく前記被験者および前記試験者の心理学－生理学的分類情報を二人の観察者が入力するための第１および第２の反応キーと、
被験者および試験者の画像情報および音声情報から前記被験者および前記試験者の心理学－生理学的分類情報をそれぞれ分類する、コンピュータで構成された第１および第２のＡＩモデルによって、前記生体行動監視装置から出力された前記画像情報および前記音声情報を分析して前記被験者および前記試験者の補助的心理学－生理学的分類情報をそれぞれ取得し、それらの補助的心理学－生理学的分類情報を出力する補助的分類情報出力装置と、
前記第１および第２のＧＳＲセンサならびに前記第１および第２の心脈拍センサと、前記第１および第２の反応キーと、前記生体行動監視装置と、前記補助的分類情報出力装置とを接続されており、前記被験者および前記試験者の前記ＧＳＲおよび前記心脈拍ならびに前記心理学－生理学的分類情報および前記補助的心理学－生理学的分類情報を同期させる処理を行うとともに、その同期した前記被験者および前記試験者の前記ＧＳＲおよび前記心脈拍ならびに前記心理学－生理学的分類情報および前記補助的心理学－生理学的分類情報を出力する情報処理出力装置と、を具え、
同期した前記被験者および前記試験者の前記ＧＳＲおよび前記心脈拍ならびに前記心理学－生理学的分類情報および前記補助的心理学－生理学的分類情報の出力に基づいてカウンセリングの解析を行い得るようにしたことを特徴とするものである。

【0014】

また本発明の第２の態様の生体行動反応解析システムは図８に概念図で示すように、
被験者と試験者とのコミュニケーションに基づくカウンセリングに使用するための生体行動反応解析システムであって、
被験者および試験者のＧＳＲおよび心脈拍をそれぞれ検出する第１のＧＳＲセンサおよび第２のＧＳＲセンサならびに第１の心脈拍センサおよび第２の心脈拍センサと、
前記被験者および前記試験者の生体行動に関する画像情報および音声情報を監視および記録して出力する生体行動監視装置と、
被験者および試験者の画像情報および音声情報から前記被験者および前記試験者の心理学－生理学的分類情報をそれぞれ分類する、コンピュータで構成された第１および第２のＡＩモデルによって、前記生体行動監視装置から出力された前記画像情報および前記音声情報を分析して前記被験者および前記試験者の心理学－生理学的分類情報をそれぞれ取得し、それらの心理学－生理学的分類情報を出力する分類情報出力装置と、
前記第１および第２のＧＳＲセンサならびに前記第１および第２の心脈拍センサと、前記生体行動監視装置と、前記分類情報出力装置とを接続されており、前記被験者および前記試験者の前記ＧＳＲおよび前記心脈拍ならびに前記心理学－生理学的分類情報を同期させる処理を行うとともに、その同期した前記被験者および前記試験者の前記ＧＳＲおよび前記心脈拍ならびに前記心理学－生理学的分類情報を出力する情報処理出力装置と、を具え、
同期した前記被験者および前記試験者の前記ＧＳＲおよび前記心脈拍ならびに前記心理学－生理学的分類情報の出力に基づいてカウンセリングの解析を行い得るようにするとともに、
情報処理出力装置の出力に基づいて、コンピュータで構成されたＡＩモデルによってカウンセリングの解析を補助的に行うカウンセリング補助装置をさらに具えることを特徴とするものである。

【発明の効果】

【0015】

本発明の第１の態様の生体行動反応解析システムにあっては、被験者と試験者とがコミュニケーション（主として言語によるが、ボディランゲージ等非言語によるものも含む）を行う間、第１および第２のＧＳＲセンサおよび心脈拍センサがそれぞれ、被験者のＧＳＲおよび心脈拍ならびに試験者のＧＳＲおよび心脈拍を検出して情報処理出力装置に入力し、生体行動監視装置が、被験者および試験者の生体行動に関する画像情報および音声情報を監視および記録して出力する。
その後、生体行動監視装置から出力された画像情報および音声情報を受取る二人の観察者が第１および第２の反応キーを操作して、その生体行動監視装置から出力された画像情報および音声情報に基づく被験者の喜、怒、楽、当惑、驚き、不安、スムーズ、スムーズでない等の心理学－生理学的分類情報および試験者のかかわる、かかわらない、直視、胸上視線、胸下視線、開かれた質問、閉ざされた質問等の心理学－生理学的分類情報を情報処理出力装置に入力する。
さらに補助的分類情報出力装置が、被験者および試験者の画像情報および音声情報から前記被験者および前記試験者の心理学－生理学的分類情報をそれぞれ分類する、コンピュータで構成された第１および第２のＡＩ（人工知能）モデルによって、生体行動監視装置から出力された画像情報および音声情報を分析して被験者および試験者の心理学－生理学的分類情報をそれぞれ取得し、それらの心理学－生理学的分類情報を情報処理出力装置に入力する。
そして、第１および第２のＧＳＲセンサならびに第１および第２の心脈拍センサと、第１および第２の反応キーと、生体行動監視装置と、補助的分類情報出力装置とを接続された情報処理出力装置が、入力された被験者および試験者のＧＳＲおよび脈拍ならびに心理学－生理学的分類情報および補助的心理学－生理学的分類情報を同期させる処理を行うとともに、その同期した被験者および試験者のＧＳＲおよび心脈拍ならびに心理学－生理学的分類情報および補助的心理学－生理学的分類情報を出力する。

【0016】

従って、本発明の第１の態様の生体行動反応解析システムによれば、情報処理出力装置の出力情報において、被験者のＧＳＲ、心脈拍のピーク値、心理学－生理学的分類情報および補助的心理学－生理学的分類情報が同期するとともに、試験者のＧＳＲ、心脈拍のピーク値、心理学－生理学的分類情報および補助的心理学－生理学的分類情報が同期し、さらにそれらの情報が被験者および試験者の間でも同期しているので、この出力情報に基づいてカウンセリング解析を総合的かつ高精度に行うことができる。また、この出力情報を被験者、試験者の双方またはいずれか一方にフィードバックすることにより、特にカウンセラ教育において多大な効果を得ることができる。

【0017】

また本発明の第２の態様の生体行動反応解析システムにあっては、被験者と試験者とがコミュニケーション（主として言語によるが、ボディランゲージ等非言語によるものも含む）を行う間、第１および第２のＧＳＲセンサおよび心脈拍センサがそれぞれ、被験者のＧＳＲおよび心脈拍ならびに試験者のＧＳＲおよび心脈拍を検出して情報処理出力装置に入力し、生体行動監視装置が、被験者および試験者の生体行動に関する画像情報および音声情報を監視および記録して出力する。
その後、分類情報出力装置が、被験者および試験者の画像情報および音声情報から前記被験者および前記試験者の心理学－生理学的分類情報をそれぞれ分類する、コンピュータで構成された第１および第２のＡＩ（人工知能）モデルによって、生体行動監視装置から出力された画像情報および音声情報を分析して被験者および試験者の心理学－生理学的分類情報をそれぞれ取得し、それらの心理学－生理学的分類情報を情報処理出力装置に入力する。
そして、第１および第２のＧＳＲセンサならびに第１および第２の心脈拍センサと、生体行動監視装置と、分類情報出力装置とを接続された情報処理出力装置が、入力された被験者および試験者のＧＳＲおよび脈拍ならびに心理学－生理学的分類情報を同期させる処理を行うとともに、その同期した被験者および試験者のＧＳＲおよび心脈拍ならびに心理学－生理学的分類情報を出力する。
さらに、カウンセリング補助装置が、前記情報処理出力装置の出力に基づいてカウンセリング解析を補助的に行う。

【0018】

従って、本発明の第２の態様の生体行動反応解析システムによれば、第１および第２の反応キーを操作する二人の観察者が介在しなくても、情報処理出力装置の出力情報において、被験者のＧＳＲ、心脈拍のピーク値および被験者の心理学－生理学的分類情報が同期するとともに、試験者のＧＳＲ、心脈拍のピーク値および試験者の心理学－生理学的分類情報が同期し、さらにそれらの情報が被験者および試験者の間でも同期しているので、少ない人手で、情報処理出力装置の出力情報に基づいてカウンセリング解析を総合的かつ高精度に行うことができる。また、この出力情報を被験者、試験者の双方またはいずれか一方にフィードバックすることにより、特にカウンセラ教育において多大な効果を得ることができる。そして、カウンセリング補助装置が、前記情報処理出力装置の出力に基づいてカウンセリング解析を補助的に行うので、カウンセリングのさらに高精度な解析を可能にすることができる。

【0019】

なお、本発明の第１および第２の態様の生体行動反応解析システムにおいては、前記第１および第２のＡＩモデルには、過去に前記生体行動監視装置から出力された被験者および試験者の画像情報および音声情報と、それらの情報に基づき二人の観察者が第１および第２の反応キーで入力した被験者および試験者の心理学－生理学的分類情報とを教師データとして、被験者および試験者の画像情報および音声情報と前記被験者および前記試験者の心理学－生理学的分類情報との関係をあらかじめ学習した教師あり学習済みＡＩモデルを用いてもよく、このようにすれば、ＡＩモデルが被験者および試験者の画像情報および音声情報からそれら被験者および試験者の心理学－生理学的分類情報をより高精度に取得することができる。

【0020】

また、本発明の第１および第２の態様の生体行動反応解析システムにおいては、前記第１および第２のＡＩモデルは、別個のコンピュータがそれぞれ所定のプログラムを実行することで構成してもよいが、それらのＡＩモデルに共通の一台のコンピュータが所定のプログラムを逐次的あるいは並列的に実行することで構成するものでもよく、このようにすれば、コンピュータが一台で済むのでＡＩモデルをより安価に構成することができる。

【0021】

そして、本発明の第１の態様の生体行動反応解析システムにおいては、さらに、本発明の第２の態様の生体行動反応解析システムと同様に、前記情報処理出力装置の出力に基づいてカウンセリング解析を補助的に行うカウンセリング補助装置を備えていてもよく、このようにすれば、本発明の第１の態様の生体行動反応解析システムにおいても、カウンセリングのさらに高精度な解析を可能にすることができる。

【0022】

そしてその場合に、本発明の第１および第２の態様の生体行動反応解析システムにおいては、前記カウンセリング補助装置が、前記情報処理出力装置が出力する同期した被験者および試験者のＧＳＲおよび心脈拍ならびに心理学－生理学的分類情報と、前記生体行動監視装置から出力された被験者および試験者の画像情報および音声情報に基づき前記第１および第２のＡＩモデルが取得した被験者および試験者の心理学－生理学的分類情報とを対比して示すとともに、それらの分類情報の相違点を明示してもよく、このようにすれば、第１および第２の反応キーで被験者および試験者の心理学－生理学的分類情報を入力する二人の観察者の判断のトレーニングも行うことができる。

【図面の簡単な説明】

【0023】

【図1】この発明の第１の態様の生体行動反応解析システムの構成を示す概念図である。

【図2】上記第１の態様の生体行動反応解析システムの一実施形態の構成を示すブロック線図である。

【図3】上記実施形態の生体行動反応解析システムのＧＳＲ測定回路を示す回路図である。

【図4】上記実施形態の生体行動反応解析システムの反応キーを示す外観斜視図である。

【図5】上記実施形態の生体行動反応解析システムのコンピュータが実行する測定プログラムの処理内容を示すフローチャートである。

【図6】上記実施形態の生体行動反応解析システムのコンピュータがディスプレイ画面上に表示する画像の例を示す説明図である。

【図7】上記画像中のクライエントおよびカウンセラの測定データをそれぞれ示す説明図である。

【図8】この発明の第２の態様の生体行動反応解析システムの構成を示す概念図である。

【図9】上記第２の態様の生体行動反応解析システムの一実施形態の構成を示すブロック線図である。

【図10】カウンセリングの学術的分野の位置づけを示す説明図である。

【発明を実施するための形態】

【0024】

以下、本発明の実施形態を図面に基づき詳細に説明する。ここに、図２は、この発明の第１の態様の生体行動反応解析システムの一実施形態の構成を示すブロック線図であり、図中符号10は被験者としてのクライエント、11は試験者としてのカウンセラ、12, 13はそれぞれ観察者を示す。

【0025】

この実施形態の生体行動反応解析システムでは、クライエント10およびカウンセラ11のそれぞれに、生体反応検出用のＧＳＲセンサ14および心脈拍センサ15を装着する。ＧＳＲセンサ14は、クライエントおよびカウンセラの電流皮膚反応（ＧＳＲ）を測定するもので、両者の指（例えば人差指と薬指）に装着した電極に微少電圧（例えば１０ｍｖ）を印加して、流れる電流から皮膚抵抗値を測定し、その変化に基づきＧＳＲを求めるものである。心脈拍センサ15は、クライエントおよびカウンセラの心脈拍（心拍）を測定するもので、両者の指（例えば中指）に装着した光センサにより心脈拍パルスを１拍毎に検出するものである。これらセンサ14，15により検出したＧＳＲおよび心脈拍のデータは、調整器16およびアナログ－デジタル（Ａ／Ｄ）コンバータ18を介して情報処理出力装置としてのパーソナルコンピュータ（以下「パソコン」とも称する）20に入力される。なお、一般的にはこれらセンサ14，15および後述するビデオカメラ21は、クライエント10およびカウンセラ11のいる室内、例えばカウンセリング室22に配置するものとする。

【0026】

調整器16は、上記センサ14，15からのデータおよび後述する反応キー30からのデータを受けてＡ／Ｄコンバータ18へアナログデータのまま出力する機能の他、心脈拍パルスを検出するたびに赤色ＬＥＤランプを点滅させるモニタ機能を有している。そしてＡ／Ｄコンバータ18は、調整器16からのアナログデータをデジタルデータに変換してパソコン20へ出力する機能を有している。なお、ＧＳＲは測定条件の変動により時間の経過と共に変動していくことがあり、その場合ゼロセット（ＧＳＲ測定値がゼロ付近で安定するようにすること）を行うものとする。調整器16には、ＧＳＲ測定値をモニタするメータが２系統分（クライエント10用およびカウンセラ11用）配設されている。このメータおよび後述するオートバランスにより、以下に示すように、内蔵する図示しないゲイン切換スイッチおよびゼロセット用可変抵抗器の必要最小限の操作によって、調整器16単独でＧＳＲ調整を行うことができる。

【0027】

ところで、皮膚抵抗値Ｒ０に基づき定まる基準電圧が基準値の範囲内に入っていないとＧＳＲ測定ができないため基準値範囲内に収まるよう基準電圧を調整する必要があるが、オートバランスはその調整を手動で行わずに自動調整するものである。図３は、この実施例の生体行動反応解析システムのＧＳＲ測定回路を示す回路図であり、オートバランスはこの回路中で、まずＧＳＲセンサ14よりクライエント10（またはカウンセラ11）の皮膚抵抗Ｒ０を読込み、その皮膚抵抗Ｒ０に基づき定まる基準電圧Ｖ２が基準値の範囲外ならば基準電圧Ｖ２を増減する。この基準電圧Ｖ２の増減は、基準電圧Ｖ２が基準値の範囲内に収まるまでトランジスタＴｒのベース電流を増減することで行い、基準値の範囲内に収まったら、皮膚抵抗Ｒ０に基づき決定されるＧＳＲ信号を出力する。

【0028】

ここでＧＳＲの測定原理について説明すると、ＧＳＲ測定回路は図３に示すように、ＧＳＲセンサ14を、電圧＋Ｖが印加される抵抗Ｒ１ならびに、トランジスタＴｒのコレクタおよび信号出力用のコンデンサＣの接続点に接続し、Ｔｒのエミッタを、抵抗Ｒ２を介して接地し、ＴｒのベースをオペアンプＯＰ１の出力端に接続し、オペアンプＯＰ１の非反転入力端に電圧Ｖ０を印加し、オペアンプＯＰ１の反転入力端をＴｒのエミッタおよび抵抗Ｒ２の接続点に接続して構成されており、このＧＳＲ測定回路においては、例えは皮膚抵抗Ｒ０が増加するとＴｒのエミッタ電圧Ｖ２は減少し、これに応じてオペアンプＯＰ１の入力電圧（Ｖ０－Ｖ２）の増加分に応じた電圧がＴｒのベースにフィードバックされ、エミッタ電圧Ｖ２が設定値（減少する前の値）になる。このときＴｒのコレクタ電圧Ｖ１が変化するから、このコレクタ電圧Ｖ１の変化に応じてＧＳＲ信号をコンデンサＣから出力する。

【0029】

このＧＳＲ測定回路はさらに、コンデンサＣを抵抗Ｒ３に接続するとともに、それらコンデンサＣと抵抗Ｒ３との接続点を、ゼロセットスイッチＳ１を介して接地可能とし、オペアンプＯＰ２の反転入力端に、その抵抗Ｒ３を接続するとともに、両端に電圧±Ｖ２を印加されたゼロセット用可変抵抗器ＶＲ１の中間端子を、抵抗Ｒ４を介して接続し、さらにオペアンＯＰ２の出力端を、抵抗Ｒ５を介してフィードバック接続し、オペアンプＯＰ１の非反転入力端を接地し、オペアンプＯＰ３の反転入力端に、オペアンプＯＰ２の出力端を、抵抗Ｒ６を介して接続するとともに、オペアンプＯＰ３の出力端を、ゲイン切換スイッチＳ２で選択される抵抗Ｒ７～Ｒ１０の何れかを介してフィードバック接続し、オペアンプＯＰ３の非反転入力端を接地して構成された増幅回路を備えており、この増幅回路においては、コンデンサＣから出力されるＧＳＲ信号を、オペアンプＯＰ２でゼロセットおよび増幅し、さらにオペアンプＯＰ３でゲイン調整しつつ増幅して、そのオペアンプＯＰ３の出力端から出力する。

【0030】

ＧＳＲ信号は、プラスマイナス５Ｖの範囲内で出力され、クライエント（またはカウンセラ）の安静時には通常０Ｖ付近で安定する（メータは中央の０Ｖ位置からほとんど振れない）が、０Ｖ付近にない場合には、ゼロセットスイッチＳ１をＯＮにしてコンデンサＣと抵抗Ｒ３との接続点を接地した状態でゼロセット用可変抵抗器ＶＲ１により０Ｖ付近に調整してから、ゼロセットスイッチＳ１をＯＦＦにしてその接続点の接地を外して実際の測定を行うものとし、またＧＳＲ測定値の振幅は、室温、皮膚温度等により変動するため、上記の調整に先立ちメータの振れが適切な振幅になるような増幅回路の増幅度（ゲイン）をゲイン切換スイッチＳ２によって選択しておくものとする。なお、これらの操作により一旦ＧＳＲ調整を行ったら、ＧＳＲ測定中は特に大きなＧＳＲの変動がない限り再調整する必要はない。

【0031】

生体行動監視装置としてのビデオカメラ21は、クライエント10とカウンセラ11とが実際にカウンセリングを行っている状況を画像および音声により監視し、記録するもので、これも生体行動監視装置としてのパソコン20を介して外付けＨＤ（ハードディスク）レコーダ24に接続し、その画像信号および音声信号をそのＨＤに記録するとともに、パソコン20内の図示しない内蔵ＨＤドライブ装置にも記録する。そしてパソコン20は、例えば液晶表示式のディスプレイ画面20aを有し、ビデオカメラ21からの現在のカウンセリング状況を示す画像信号および音声信号または、外付けＨＤレコーダ24が読み出す、先に記録したカウンセリング状況を示す画像信号および音声信号を受けて、ディスプレイ画面20aにそのカウンセリング状況を表示するとともに、図示しないスピーカからカウンセリング中の音声を出力する。

【0032】

観察者12および観察者13は、一般にカウンセリング室22とは異なる場所でこの表示をモニタするとともに音声を聴いてそれぞれスライド式反応キー30の入力操作を行う。このスライド式反応キー30は、上記カウンセリング中の状況を示す画像および音声に基づく心理学－生理学的分類（カテゴリ）情報の内の１つを入力するための入力装置であり、観察者12, 13がそれぞれ手で操作する。

【0033】

スライド式反応キー30は、図４に示すように、各々出力手段としてのスライド式可変抵抗器からなる、０～７の番号を付した８つのスライドスイッチ30aを有し、クライエント10用およびカウンセラ11用の各反応キー30の番号０～７の各スライドスイッチ30aにはそれぞれ、異なる心理学－生理学的分類情報（カテゴリ）を割り当てる。例えば、第１の反応キーとしてのクライエント10用の反応キー30においては、番号０に（スムーズでない）、番号１に（スムーズ）、番号２に（不安）、番号３に（喜）、番号４に（楽）、番号５に（怒）、番号６に（当惑）、そして番号７に（驚き）を割り当て、また第２の反応キーとしてのカウンセラ11用の反応キー30においては、番号０に（かかわる：傾聴）、番号１に（かかわらない）、番号２に（直視）、番号３に（視線胸上）、番号４に（視線胸下）、番号５に（開かれた質問）、そして番号６に（閉ざされた質問）を割り当てる（カウンセラ11用の番号７は欠番）。なお、これらのカテゴリは「マイクロカウンセリング」（Allen E Ivey著，福原他訳、川島書店、1985年11月発行、p8）に記載された対話技法に準拠して、本発明者の創意を加えて作成したものである。これにより、クライエント10およびカウンセラ11の行動を生理学的－心理学的に分類することができる。

【0034】

なお、このスライド式反応キー30は、上記特許文献２に記載したように、各スライドスイッチ30aのスライドノブに連結されたワイヤを繰り出すワイヤドラムに戻り回転を与えるぜんまいバネとその戻り回転を止める摩擦ローラとが設けられており、これによりスライドノブをぜんまいバネの戻し力に抗して任意の位置で停止させることができるとともに、リセットレバー30bの操作で摩擦ローラをワイヤドラムから離してスライドノブを自動的に初期位置に復帰させることができる。従って、この実施形態の生体行動反応解析システムによれば、観察者12, 13が各々スライドスイッチ30aのスライドノブを指でスライドさせることで、スライド式反応キー30が、任意のレベル（程度）の心理学－生理学的分類情報、例えば強い／軽い不安、強い／軽い驚き、強い／軽い傾聴、強い／軽い視線外し等を出力するので、カウンセリングのより正確な解析を可能にすることができる。

【0035】

パソコン20は、ディスプレイ画面20aに加えて図示しないプリンタを備えており、また後述のように所定のプログラムを実行することで第１、第２のＡＩモデルを構成するために、通常の中央処理ユニット（ＣＰＵ）に加えて、好ましくはニューラルネットワークの各層のノード等での演算用の、並列処理に特化したグラフィック処理ユニット（ＧＰＵ）を備えている。かかるパソコン20は、上記各入力データに基づき、あらかじめ記憶した図２に示す測定プログラム20bを実行して、クライエント10およびカウンセラ11の行動の解析を支援する。なお、この測定プログラム20bの実行に先立って、観察者12または観察者13もしくは他の者である測定者は、各センサ、ビデオカメラ等の動作確認および調整を行う（例えば調整器16においてＧＳＲ測定値を確認したり、好ましい画像が得られるようにビデオカメラ21を調整したりする）一方、クライエント10にオリエンテーションを行って、本システムを用いるカウンセリングに対するクライエント10の不安を取除くとともに、クライエント10に対し必要以上に指を動かさないよう協力を求めておく（指を動かすとＧＳＲおよび心脈拍の測定値に影響する）。また、調整器16はＡおよびＢの２チャンネルを持つので、以下の説明では、クライエント10にＡチャンネル（Ａ-ｃｈ）、カウンセラ11にＢチャンネル（Ｂ-ｃｈ）を割り当ててある。

【0036】

図５は、上記測定プログラム20bの処理内容を示すフローチャートであり、この測定プログラム20bでは、パソコン20は、図示しないが、最初にディスプレイ画面20aに、「設定」、「測定」、「グラフ表示」、「生データ表示」、「データ保存」、「データ再生」、「終了」の各ボタンを持つメニュー画面を表示する。ここで、「設定」を選択されて入力されると、測定条件の設定を行い、「測定」を選択されて入力されると、測定条件に従って測定を行い、「グラフ表示」を選択されて入力されると、測定で得られたデータをグラフ表示するとともに指示があればそのグラフを印刷し、「生データ表示」を選択されて入力されると、測定で得られたデータを一覧表で表示するとともに指示があればその一覧表を印字し、「データ保存」を選択されて入力されると、測定で得られた画像と音声以外のデータをパソコン20の内蔵ＨＤドライブ装置に保存し、「データ再生」を選択されて入力されると、その保存していたデータを読み込んでグラフ表示および生データ表示できるようにし、「終了」を選択されて入力されると、このプログラムを終了する。

【0037】

そして、上記測定者が上記メニュー画面から「設定」を選択して入力すると、パソコン20は、ディスプレイ画面20aに設定画面を表示し、測定者が、その設定画面において測定時間（例えば１０分、１５分、２０分、２５分、３０分、６０分から選択）およびサンプリング時間間隔（例えば２０ｍｓｅｃ、５０ｍｓｅｃ、１００ｍｓｅｃ、２００ｍｓｅｃから選択）を設定するとともに、ディスプレイ画面20aへ表示するデータとしてＧＳＲおよび心脈拍測定を選択すると、図５のステップS1およびステップS2でそれらの設定および選択結果を入力し、次いでステップS3で、ディスプレイ画面20a上に、後述するようにビデオカメラ21からの画像に重ねてセンサ14，15からのクライエント10およびカウンセラ11の各データをグラフ表示する測定画面を表示し、次いで測定者の操作で外付けＨＤレコーダ24が、カウンセリング状況を示す画像信号および音声信号の記録（録画）を開始し、ステップS4の予備測定に進む。

【0038】

この予備測定では、パソコン20は、あらかじめ記憶した準備プログラムを実行して本測定の準備を行う。この準備プログラムでは先ず、パソコン20がディスプレイ画面20a上に、クライエント10のＧＳＲセンサ14からのデータであるＧＳＲ-Ａ信号と、カウンセラ11のＧＳＲセンサ14からのデータであるＧＳＲ-Ｂ信号とのゲインとオートゼロの調整を指示するメッセージを提示し、これにより測定者は、調整器16において、ゲイン切換スイッチＳ２により、ＧＳＲ-Ａ信号とＧＳＲ-Ｂ信号とのゲインを先ず当初のレベル（目盛２）に調整するとともに、ゼロセットスイッチＳ１およびゼロセット用可変抵抗器ＶＲ１により、前述の如くしてそれらＧＳＲ-Ａ信号とＧＳＲ-Ｂ信号とのオートゼロを調整する。

【0039】

次いでパソコン20は、予備測定を開始して、クライエント10およびカウンセラ11の各データを、センサ14，15から調整器16を経て読み込み、予備測定の開始から３０秒間のデータを収集する。この３０秒間では、先ず測定者が、カウンセラ11とクライエント10とに所定の刺激（例えばブザー音）を与えた後、カウンセラ11がクライエント10と通常の会話（例えば生活に関する話）を行うことで、ＧＳＲ-Ａ信号とＧＳＲ-Ｂ信号とに一旦ピーク（最大値）が生じた後ある程度の変化が続くようにする。その後パソコン20は、上記収集したＧＳＲ-Ａ信号とＧＳＲ-Ｂ信号とのそれぞれについて、最大値と最小値の差が０．１Ｖ以下か否かを判断し、少なくとも一方の信号で最大値と最小値の差が０．１Ｖ以下の場合は、ディスプレイ画面20a上にその信号のチャンネルを示して「ＧＳＲの反応がありません。ゲイン調整を行ってください。」とのメッセージを提示し、さらにディスプレイ画面20a上に「予備測定を続けますか？」とのメッセージを提示し、測定者が「はい」と入力した場合は、次のステップへ進み、測定者が「いいえ」と入力した場合は、前述のメニュー画面に戻る。「はい」と入力した場合、測定者は、カウンセラ11とクライエント10とに再び上記刺激を与え、その時のＧＳＲ信号のピークが１Ｖ以上で１Ｖ近くになるようにゲインを調整する。

【0040】

一方、ＧＳＲ-Ａ信号とＧＳＲ-Ｂ信号との両方とも最大値と最小値の差が０．１Ｖを越えている場合には、パソコン20は、ＧＳＲ-Ａ信号とＧＳＲ-Ｂ信号との両方とも最大値を基準としてその３０％以下の値が１０秒間続いているか否かを判断し、少なくとも一方の信号で１０秒間続いていない場合は次に、５分間が経過したか否かを判断し、５分間経過した場合はディスプレイ画面20a上に「予備測定を続けますか？」とのメッセージを提示し、測定者が「はい」と入力した場合は判断を続け、測定者が「いいえ」と入力した場合は前述のメニュー画面に戻る。そして、ＧＳＲ-Ａ信号とＧＳＲ-Ｂ信号との両方とも最大値を基準に３０％以下の値が１０秒間続いている場合は、クライエント10およびカウンセラ11が両方とも安静状態にあると判断できるので、予備測定を終了して本測定に進む。

【0041】

従って、この準備プログラムを実行するこの実施例の生体行動反応解析システムによれば、本測定の前にＧＳＲ信号のゲイン調整を適切に行うとともに、クライエント10およびカウンセラ11を安静状態とした状態でＧＳＲを測定することができるので、クライエント10およびカウンセラ11の生体反応を高精度で得ることができ、ひいてはカウンセリングのより正確な解析を可能にすることができる。

【0042】

図５の測定プログラムに戻って、ステップS4での予備測定が終了すると、ステップS5で本測定を行う。なお、最初に行う本測定では、先に設定した測定時間内で、カウンセラ11がクライエント10との間でカウンセリング手法に基づき対話を行い、その間、パソコン20は、ディスプレイ画面20a上に測定画面を表示し、その測定画面上で、図６に示すように、ビデオカメラ21からのクライエント10およびカウンセラ11の画像に重ねてセンサ14, 15からのクライエント10およびカウンセラ11の各データを同一時間軸の下で（カウンセリング中の経過時間に対する表示位置を揃えて）リアルタイムにグラフ表示しつつ、一時ファイルとして上記内蔵ＨＤドライブ装置に記録する。そして、最初の本測定が終了すると、測定者が、パソコン20でその一時ファイルを読み出して、ファイル名を設定して外付けＨＤレコーダ24に保存する。

【0043】

パソコン20は、次にステップS7で、スライド式反応キー30からのデータ入力が終了しているか否かを判断し、終了していない場合はステップS8へ進んで、ディスプレイ画面20a上に「スライド式反応キー30からのデータ入力が終了していません。」とのメッセージを提示し、これにより測定者が、前述の設定画面で画面表示に反応キーを含める選択をすると、パソコン20は、ステップS9で、先に保存したセンサ14，15からのデータを上記外付けＨＤレコーダ24から読み込み、次いでステップS10で、外付けＨＤレコーダ24から読み込んだカウンセリング状況を示す画像信号および音声信号により、そのカウンセリング状況を示す画像を経過時間とともに、ディスプレイ画面20a上で測定画面に、上記読み込んだデータのうちセンサ14，15のデータと重ね合わせて表示し、それと同期させてそのカウンセリング状況を示すクライエント10およびカウンセラ11の音声を出力する。

【0044】

この測定画面の表示状態で、ステップS5の本測定の２回目を行い、この２回目の本測定では、２名の観察者12, 13のうち、観察者12がクライエント10用のスライド式反応キー30を持ち、観察者13がカウンセラ11用のスライド式反応キー30を持って、各々測定画面に表示されたクライエント10およびカウンセラ11の画像を観察するとともにそれと同期したクライエント10およびカウンセラ11の音声を聞き取り、その際、観察者12は、カウンセリング中にクライエント10が（スムーズでない）、（スムーズ）、（不安）、（喜）等の心理学－生理学的分類情報（カテゴリ）を示すと、その分類情報（カテゴリ）に対応するスライドスイッチ30aをその分類情報の程度（レベル）に応じた距離だけスライドさせ、観察者13は、カウンセリング中にカウンセラ11が（かかわる：傾聴）、（かかわらない）、（直視）、（視線胸上）等の心理学－生理学的分類情報（カテゴリ）を示すと、その分類情報（カテゴリ）に対応するスライドスイッチ30aをその分類情報の程度（レベル）に応じた距離だけスライドさせる。そしてパソコン20は、それらのスライド式反応キー30の出力データを、上記読み込んだセンサ14, 15からのデータと同一時間軸の下で測定画面にリアルタイムにグラフ表示しつつ、一緒に一時ファイルとして上記内蔵ＨＤドライブ装置に記録し、２回目の本測定が終了すると再度上記ステップS7へ進んで、その一時ファイルのデータを上記外付けＨＤレコーダ24に保存する。

【0045】

パソコン20は次に、補助的分類情報出力装置として、ステップS11で、上記外付けＨＤレコーダ24に保存したデータを読み込み、その一時ファイルのデータから第１および第２のＡＩモデル20c, 20dにより、クライアント（被験者）10およびカウンセラ（試験者）11の心理学－生理学的分類情報を取得する。ここで、第１および第２のＡＩモデル20c, 20dは各々、パソコン20のＣＰＵ（中央処理ユニット）および／もしくはＧＰＵ（グラフィック処理ユニット）が所定のプログラムを実行することで構成されており、上記のスライド式反応キー30の使い分けからも判るように、クライアント10の心理学－生理学的分類情報とカウンセラ11の心理学－生理学的分類情報とは内容が異なるので、処理の効率化のため、第１のＡＩモデル20cはクライアント10の心理学－生理学的分類情報を取得し、第２のＡＩモデル20dはカウンセラ11の心理学－生理学的分類情報を取得する。

【0046】

これらの心理学－生理学的分類情報の取得のため、第１および第２のＡＩモデル20c, 20dは各々、入力層と出力層との間に複数の中間層を持つニューラルネットワークを構成し、外付けＨＤレコーダ24に保存している多くのカウンセリングの際の上記本測定のデータを読み出す。なお、この実施形態の生体行動反応解析システムで取得したデータだけでなく、特許文献１に記載の第１世代の生体行動反応解析システムで取得したデータおよび特許文献２に記載の第２世代の生体行動反応解析システムで取得したデータも、何れも２名の観察者が各々操作した反応キーのデータを含んでいるので、この本測定のデータとして用い得る。

【0047】

そして第１のＡＩモデル20cは、クライアント10の画像情報（顔の表情や目線、体の動作等）から例えば畳み込み型ニューラルネットワークで特徴量としてその時々のクライアント10の（スムーズでない）、（スムーズ）、（不安）、（喜）等の心理学－生理学的分類情報を読み取るとともに、クライアント10の音声情報（会話の内容や口調等）からも例えば再帰的ニューラルネットワークで特徴量としてそれらの心理学－生理学的分類情報を読み取り、観察者12がその時々に操作するスライド式反応キー30からの出力信号を教師データとして、クライアント10の画像情報および音声情報から得られる心理学－生理学的分類情報が、スライド式反応キー30のスライドキー操作で入力される心理学－生理学的分類情報に最も良く対応するように、ディープラーニングによる教師あり学習を行って各層での特徴量の重みづけを調整する。

【0048】

また、第２のＡＩモデル20dは、カウンセラ11の画像情報（顔の表情や目線、体の動作等）から例えば畳み込み型ニューラルネットワークで特徴量としてその時々のカウンセラ11の（かかわる：傾聴）、（かかわらない）、（直視）、（視線胸上）等の心理学－生理学的分類情報を読み取るとともに、カウンセラ11の音声情報（会話の内容や口調等）からも例えば再帰的ニューラルネットワークで特徴量としてそれらの心理学－生理学的分類情報を読み取り、観察者13がその時々に操作するスライド式反応キー30からの出力信号を教師データとして、カウンセラ11の画像情報および音声情報から得られる心理学－生理学的分類情報が、スライド式反応キー30のスライドキー操作で入力される心理学－生理学的分類情報に最も良く対応するように、ディープラーニングによる教師あり学習を行って各層での特徴量の重みづけを調整する。

【0049】

上述した教師あり学習により、第１および第２のＡＩモデル20c, 20dは各々学習済みＡＩモデルとなり、ビデオカメラ21から出力されまたは上記外付けＨＤレコーダ24から読み込んだカウンセリング中のクライエント10およびカウンセラ11の画像情報および音声情報から、第１の学習済みＡＩモデル20cは、クライアント10の心理学－生理学的分類情報を高い精度で取得して外付けＨＤレコーダ24に記録し、第２の学習済みＡＩモデル20dは、カウンセラ11の心理学－生理学的分類情報を高い精度で取得して外付けＨＤレコーダ24に記録することができる。

【0050】

その後、測定者等がパソコン20に、外付けＨＤレコーダ24から、先に記録したカウンセリング状況を示す画像信号および音声信号を読み出させると、パソコン20は情報処理出力装置として、ステップS12で、例えば図６に示すように、そのカウンセリング状況を示す画像および音声をディスプレイ画面20a上で測定画面にカウンセリング開始からの経過時間とともに、上記読み込んだＧＳＲデータ、心脈拍データ、反応キーデータ並びに、第１および第２のＡＩモデル20c, 20dが取得したクライエント10およびカウンセラ11の心理学－生理学的分類情報の同一時間軸のグラフと重ね合わせて表示する。なお、図６中、横軸は時間経過、縦軸は各データのレベルおよび、心理学－生理学的分類に対応する番号を示し、例えば第１のＡＩモデル20cが記録したクライエント10の情報には、番号０に「怒り」、番号１に「喜び」、番号２に「困惑」、番号３に「リラックス」を割り当ててあり、また第２のＡＩモデル20dが記録したカウンセラ11の情報には、番号０に「かかわる」、番号１に「直視」、番号２に「かかわらない」、番号３に「胸下視線」を割り当ててある。

【0051】

この測定画面に表示されるクライエント10およびカウンセラ11の各々のＧＳＲ、心脈拍および反応キーデータ並びに第１および第２のＡＩモデル20c, 20dが取得して記録した心理学－生理学的分類情報の時間的に同期したデータを、それらクライエント10とカウンセラ11との対話の画像および音声と併せて検討することで、カウンセリング中にカウンセラ11が用いた種々のカウンセリング技術と、それらの技術に対するクライアント11の反応とを客観的かつ正確に解析することができる。

【0052】

上記実施形態の生体行動反応解析装置を用いたカウンセリング解析の作用を、図７に示す測定データの例を用いて説明する。この例のカウンセリング状況では、クライエント10は大学院生、カウンセラ11は大学教授であり、カウンセラ11はマイクロカウンセリングの基本的傾聴技法に基づいて、Q1：「あなたの将来の職業の希望について私に少し話してください。（開かれた個人的質問）」、Q2：「この種の職業では人はどのような種類の活動を行いますか？（開かれた非個人的質問）」、Q3：「あなたはこの種の仕事をしている人を誰か知っていますか？（閉ざされた個人的質問）」、Q4：「この種の仕事をするために人にとって大学卒業生の訓練は必要ですか？（閉ざされた非個人的質問）」、Q5：「この種の職業を遂行する際にあなたはどのような種類の課題に直面しますか？（開かれた個人的質問）」、Q6：「大学院でこの種の課題に直面することをあなたは予期していましたか？（閉ざされた個人的質問）」、Q7：「他の大学院生はこの種の課題に直面しますか？（閉ざされた非個人的質問）」、Q8：「他の大学院生はどの様にしてそれらの課題に立ち向かいますか？（開かれた非個人的質問）」の８つの質問をし、クライアント10はそのそれぞれに回答している。また、スライド式反応キー30は、クライアント用およびカウンセラ用の双方とも、積極的（CH0）、消極的（CH1）、中立的（CH2）の３種類の心理学－生理学的分類について任意のレベルで出力している。

【0053】

まずクライエント10側を見ると、質問Q1に関しては、ＧＳＲはピーク値を示し、心脈拍も細かく変化しており、一方、反応キーは（弱く積極的）との情報を示し、第１のＡＩモデル20cであるＡＩモデルＡは（喜び）の感情を示していることから、将来の職業に漠然とした関心があると思われる。質問Q2に関しては、ＧＳＲはピーク値を示すが、心脈拍は緩やかに変化しており、一方、反応キーは（弱く積極的）との情報を示し、ＡＩモデルＡは（困惑）の感情を示していることから、具体的な活動が思い浮かばず困惑していると思われる。質問Q3に関しては、ＧＳＲはピーク値を示し、心脈拍も大きく変化しており、一方、反応キーは（弱く消極的）との情報を示し、ＡＩモデルＡは特に感情を示していないことから、個人的な質問に反応したものの感情は平易に保たれていると思われる。質問Q4に関しては、ＧＳＲはピーク値を示し、心脈拍も細かく変化しており、一方、反応キーは（強く積極的）との情報を示し、ＡＩモデルＡは（喜び）の感情を示していることから、現在の自分の状況を肯定的に捉えていると思われる。

【0054】

さらに質問Q5に関しては、ＧＳＲも心脈拍もほとんど変化しておらず、一方、反応キーは（弱く中立的）との情報を示し、ＡＩモデルＡは（困惑）の感情を示していることから、具体的な課題が思い浮かばず多少困惑していると思われる。質問Q6に関しては、ＧＳＲはピーク値を示し、心脈拍も大きく変化しており、一方、反応キーは（強く消極的）との情報を示し、ＡＩモデルＡは特に感情を示していないことから、個人的な質問に反応したものの感情は平易に保たれていると思われる。質問Q7に関しては、ＧＳＲも心脈拍もほとんど変化しておらず、一方、反応キーは（弱く積極的から弱く消極的に変化）との情報を示し、ＡＩモデルＡは（困惑）の感情を示していることから、他の学生に関心が向くものの多少困惑していると思われる。そして質問Q8に関しては、ＧＳＲはピーク値を示し、心脈拍も大きく変化しており、一方、反応キーは（強く積極的）との情報を示し、ＡＩモデルＡは（喜び）の感情を示していることから、他の学生の適切な対応を思い出して肯定的な感情を持っていると思われる。

【0055】

次にカウンセラ11側を見ると、質問Q1に関しては、ＧＳＲは多少変化を示すが、心脈拍はさほど変化せず、一方、反応キーは（弱く積極的）との情報を示し、第２のＡＩモデル20d であるＡＩモデルＢは特に情報を示していないことから、開かれた質問をしたと思われる。質問Q2に関しては、ＧＳＲは多少変化を示すが、心脈拍はほとんど変化しておらず、一方、反応キーは（弱く消極的）との情報を示し、ＡＩモデルＢは（かかわらない）との情報を示していることから、クライエント10の様子にあまり関心を示さずに質面をしたと思われる。質問Q3に関しては、ＧＳＲはピーク値を示すが、心脈拍はほとんど変化せず、一方、反応キーは（強く積極的）との情報を示し、ＡＩモデルＢは（直視）の情報を示していることから、関心を持って質問したものと思われる。質問Q4に関しては、ＧＳＲはほとんど変化せず、心脈拍もさほど変化していず、一方、反応キーは（弱く積極的）との情報を示し、ＡＩモデルＢは（直視）の情報を示していることから、質問に対するクライエント10の反応に満足していると思われる。

【0056】

さらに、質問Q5に関しては、ＧＳＲも心脈拍もほとんど変化しておらず、一方、反応キーは（弱く積極的）との情報を示し、ＡＩモデルＢは（かかわらない）との情報を示していることから、軽く質問を投げかけたものと思われる。質問Q6に関しても、ＧＳＲも心脈拍もほとんど変化しておらず、一方、反応キーは（弱く積極的）との情報を示し、ＡＩモデルＢは（かかわらない）との情報を示していることから、質問が的確でなかったと感じたものと思われる。質問Q7に関しては、ＧＳＲが穏やかに変化し、心脈拍も細かく変化しており、一方、反応キーは（弱く積極的）との情報を示し、ＡＩモデルＢは（直視）との情報を示していることから、話題を転じてよかったと感じていると思われる。そして質問Q8に関しては、ＧＳＲは細かく変化し、心脈拍は大きく変化しており、一方、反応キーは（強く積極的）との情報を示し、ＡＩモデルＢは（直視）との情報を示していることから、クライエント10の肯定的な感情を引き出せて満足していると思われる。

【0057】

このようにカウンセラ11およびクラエイント10の生体反応データに着目して心理学－生理学的分類情報の解析を行うとともに第１および第２のＡＩモデル20c, 20dで得た心理学－生理学的分類情報を補助的に用いて参照することにより、この実施形態の生体行動反応解析システムによれば、カウンセリング解析を、可能な限り主観（経験、判断等）を排除して総合的かつ客観的に、しかも正確に行うことができ、得られた客観的データの蓄積および解析から、カウンセリングにおいてクライエント、カウンセラの心理学－生理学的分類情報とクライエント、カウンセラの生体反応とは同期するということを充分に裏付けることができる。

【0058】

なお、クライエントの問題解決に際し、カウンセラおよびクラエイント間の、相手に係わろうとする姿勢の下での双方向のコミュニケーションは、カウセリングにおける基本的態度としていかなるカウセリングにおいても望ましいものとされるが、この実施形態のシステムは、明らかに援助の人間関係にあるいわゆる専門的なカウンセリングのみならず、日常的な対話場面等の各種の人間関係においても成立する、上記コミュニケーションの促進、改善のためのトレーニングにも大きな効果を得ることができる。

【0059】

さらに、上述の如くして得た解析結果を音声あるいは文字データとして、ディスプレイ画面20a上で測定画面に、前述したカウンセリング状況を示す画像および音声と読み込んだＧＳＲデータ、心脈拍データ、反応キーデータ並びに第１および第２のＡＩモデル20c, 20dで得た心理学－生理学的分類データの同一時間軸のグラフと一緒に表示あるいは再生し、クライエント10およびカウンセラ11の双方またはいずれか一方に示す（フィードバックする）ことにより、クライエント10に対してはより高度の自己洞察、自己認識を援助することができ、カウンセラ11に対しては自己のカウンセリング技術を正確に把握させてより効果的なカウンセラ教育を行うことができる。

【0060】

この実施形態の生体行動反応解析システムはさらに、情報処理出力装置の出力に基づき、コンピュータで構成されたＡＩモデルによってカウンセリングの解析を補助的に行う、図示しないカウンセリング補助装置を備えていてもよく、そのカウンセリング補助装置も具体的には、あらかじめ与えられたプログラムに基づき所定のカウンセリング解析を行うパソコン20で構成することができる。このカウンセリング解析は、例えばパソコン20が情報処理出力装置としての処理で出力する同期したクライエント10およびカウンセラ11のＧＳＲおよび心脈拍ならびに心理学－生理学的分類情報と、パソコン20が生体行動監視装置としての処理で出力するクライエント10およびカウンセラ11の画像情報および音声情報に基づき第１および第２のＡＩモデル20c, 20dが取得したクライエント10およびカウンセラ11の心理学－生理学的分類情報とをディスプレイ画面20a上で対比して示すとともに、それらの分類情報の相違点を明示する。このようにすれば、カウンセリングのさらに高精度な解析を可能にすることができ、また、第１および第２の反応キー30でクライエント10およびカウンセラ11の心理学－生理学的分類情報を入力する二人の観察者12, 13の判断のトレーニングも行うことができる。

【0061】

図９は、この発明の第２の態様の生体行動反応解析システムの一実施形態の構成を示すブロック線図であり、図９中、先の実施形態におけると同様の部分はそれと同一の符号にて示す。すなわち、この実施形態の生体行動反応解析システムは、先の実施態様の生体行動反応解析システムから観察者12, 13とスライド式反応キー30とを除いた構成となっている。

【0062】

この実施形態の生体行動反応解析システムにあっては、クライアント10とカウンセラ11とがコミュニケーション（主として言語によるが、ボディランゲージ等非言語によるものも含む）を行う間、第１および第２のＧＳＲセンサ14および心脈拍センサ15がそれぞれ、クライアント10のＧＳＲおよび心脈拍ならびにカウンセラ11のＧＳＲおよび心脈拍を検出して、所定のプログラムを実行するパソコン20で構成される情報処理出力装置に入力し、そのパソコン20とビデオカメラ21とで主に構成される生体行動監視装置が、クライアント10およびカウンセラ11の生体行動に関する画像情報および音声情報を監視および記録して出力する。

【0063】

その後、所定のプログラムを実行するパソコン20で構成される分類情報出力装置が、クライアント10およびカウンセラ11の画像情報および音声情報からそれらクライアント10およびカウンセラ11の心理学－生理学的分類情報をそれぞれ分類する第１および第２のＡＩ（人工知能）モデル20c, 20dによって、上記生体行動監視装置から出力された画像情報および音声情報を分析してクライアント10およびカウンセラ11の心理学－生理学的分類情報をそれぞれ取得し、それらの心理学－生理学的分類情報を上記情報処理出力装置に入力する。

【0064】

そして、第１および第２のＧＳＲセンサ14ならびに第１および第２の心脈拍センサ15と、生体行動監視装置と、分類情報出力装置とを接続された上記情報処理出力装置が、入力されたクライアント10およびカウンセラ11のＧＳＲおよび脈拍ならびに心理学－生理学的分類情報を同期させる処理を行うとともに、その同期したクライアント10およびカウンセラ11のＧＳＲおよび心脈拍ならびに心理学－生理学的分類情報を出力する。

【0065】

従って、この実施形態の生体行動反応解析システムによれば、第１および第２の反応キーを操作する二人の観察者が介在しなくても、情報処理出力装置の出力情報において、クライアント10のＧＳＲ、心脈拍のピーク値およびクライアント10の心理学－生理学的分類情報が同期するとともに、カウンセラ11のＧＳＲ、心脈拍のピーク値およびカウンセラ11の心理学－生理学的分類情報が同期し、さらにそれらの情報がクライアント10とカウンセラ11との間でも同期しているので、少ない人手で、情報処理出力装置の出力情報に基づいてカウンセリング解析を総合的かつ高精度に行うことができる。また、この出力情報をクライアント10とカウンセラ11との双方またはいずれか一方にフィードバックすることにより、特にカウンセラ教育において多大な効果を得ることができる。

【0066】

さらに、この実施形態の生体行動反応解析システムも先の実施形態と同様に、情報処理出力装置の出力に基づき、コンピュータで構成されたＡＩモデルによってカウンセリングの解析を補助的に行う、図示しないカウンセリング補助装置を備えており、そのカウンセリング補助装置も具体的には、あらかじめ与えられたプログラムに基づき所定のカウンセリング解析を行うパソコン20で構成することができる。このカウンセリング解析は、例えばパソコン20が情報処理出力装置としての処理で出力する同期したクライエント10およびカウンセラ11のＧＳＲおよび心脈拍ならびに心理学－生理学的分類情報と、パソコン20が生体行動監視装置としての処理で出力するクライエント10およびカウンセラ11の画像情報および音声情報に基づき第１および第２のＡＩモデル20c, 20dが取得したクライエント10およびカウンセラ11の心理学－生理学的分類情報とをディスプレイ画面20a上で対比して示すとともに、それらの分類情報の相違点を明示する。このようにすれば、カウンセリングのさらに高精度な解析を可能にすることができ、また、先の実施形態の生体行動反応解析システムにおいて第１および第２の反応キー30でクライエント10およびカウンセラ11の心理学－生理学的分類情報を入力する二人の観察者12, 13の判断のトレーニングを行うこともできる。

【0067】

以上、図示例に基づき説明したが、この発明は上述の例に限定されるものでなく、特許請求の範囲の記載範囲内で適宜変更し得るものであり、この発明の第１および第２の態様の生体行動反応解析システムにおいては、例えば、パソコン20は、外付けのＨＤレコーダ24や内蔵のＨＤドライブ装置を用いる代わりに他の媒体、例えば内蔵あるいは外付けのソリッドステートドライブ（ＳＳＤ）装置を用いて画像情報および音声情報を記録しても良く、また、パソコン20は、第１および第２のＡＩモデル20c, 20dを逐次的に構成することで処理能力の不足を補ってもよい。

【0068】

さらに、この発明の第１および第２の態様の生体行動反応解析システムにおいては、クライエント10およびカウンセラ11の一方または双方が外国人の場合に、その外国人の外国語での音声情報も入力できるように例えば再帰的ネットワークを用いて第１および第２のＡＩモデル20c, 20dを構成し、あるいはそれらのＡＩモデルの前段に日本語への翻訳用の再帰的ネットワークを用いたＡＩモデルを追加してもよい。

【産業上の利用可能性】

【0069】

かくして本発明の第１の態様の生体行動反応解析システムによれば、情報処理出力装置の出力情報において、被験者のＧＳＲ、心脈拍のピーク値、心理学－生理学的分類情報および補助的心理学－生理学的分類情報が同期するとともに、試験者のＧＳＲ、心脈拍のピーク値、心理学－生理学的分類情報および補助的心理学－生理学的分類情報が同期し、さらにそれらの情報が被験者および試験者の間でも同期しているので、この出力情報に基づいてカウンセリング解析を総合的かつ高精度に行うことができる。また、この出力情報を被験者、試験者の双方またはいずれか一方にフィードバックすることにより、特にカウンセラ教育において多大な効果を得ることができる。

【0070】

この一方、本発明の第２の態様の生体行動反応解析システムによれば、第１および第２の反応キーを操作する二人の観察者が介在しなくても、情報処理出力装置の出力情報において、被験者のＧＳＲ、心脈拍のピーク値および被験者の心理学－生理学的分類情報が同期するとともに、試験者のＧＳＲ、心脈拍のピーク値および試験者の心理学－生理学的分類情報が同期し、さらにそれらの情報が被験者および試験者の間でも同期しているので、少ない人手で、情報処理出力装置の出力情報に基づいてカウンセリング解析を総合的かつ高精度に行うことができる。また、この出力情報を被験者、試験者の双方またはいずれか一方にフィードバックすることにより、特にカウンセラ教育において多大な効果を得ることができる。

【符号の説明】

【0071】

10 クライエント
11 カウンセラ
12, 13 観察者
14 ＧＳＲセンサ
15 心脈拍センサ
16 調整器
18 Ａ／Ｄコンバータ
20 パーソナルコンピュータ（パソコン）
20a ディスプレイ画面
20b 測定プログラム
20c 第１のＡＩモデル（第１の学習済みＡＩモデル）
20d 第２のＡＩモデル（第２の学習済みＡＩモデル）
21 ビデオカメラ
22 カウンセリング室
24 ＨＤレコーダ
30 スライド式反応キー
30a スライドスイッチ
30b リセットレバー

【要約】

【課題】カウンセリングのより正確な解析を可能にすることにある。
【解決手段】被験者および試験者のＧＳＲおよび心脈拍をそれぞれ検出する第１および第２のＧＳＲセンサならびに第１および第２の心脈拍センサと、被験者および試験者の生体行動に関する画像情報および音声情報を記録して出力する生体行動監視装置と、生体行動監視装置から出力された画像情報および音声情報に基づく被験者および試験者の心理学－生理学的分類情報を入力するための反応キーと、第１および第２のＡＩモデルによって、生体行動監視装置から出力された画像情報および音声情報を分析して被験者および試験者の補助的心理学－生理学的分類情報をそれぞれ取得し出力する補助的分類情報出力装置と、被験者および試験者のＧＳＲおよび心脈拍ならびに心理学－生理学的分類情報および補助的分類情報を同期させて出力する情報処理出力装置と、を具える生体行動反応解析システムである。
【選択図】図１

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】