ホーム > 特許ランキング > 株式会社ｃｏｍｉｐｒｏ
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022114789
(43)【公開日】2022-08-08
(54)【発明の名称】診断装置、診断方法、診断システム、及びプログラム
(51)【国際特許分類】
G06T 7/20 20170101AFI20220801BHJP
G10L 25/63 20130101ALI20220801BHJP
G06Q 50/10 20120101ALI20220801BHJP
A61B 5/16 20060101ALI20220801BHJP
【ＦＩ】
G06T7/20 300B
G10L25/63
G06Q50/10
A61B5/16 120
【審査請求】有
【請求項の数】12
【出願形態】ＯＬ
(21)【出願番号】P 2021011222
(22)【出願日】2021-01-27
(11)【特許番号】
(45)【特許公報発行日】2021-12-22
(71)【出願人】
【識別番号】521432317
【氏名又は名称】株式会社ｃｏｍｉｐｒｏ
(74)【代理人】
【識別番号】110002055
【氏名又は名称】特許業務法人ｉＲｉｆｙ国際特許事務所
(72)【発明者】
【氏名】櫻井 知里
【テーマコード（参考）】
4C038
5L049
5L096
【Ｆターム（参考）】
4C038PP03
4C038PQ06
4C038PS05
5L049CC11
5L096CA04
5L096DA02
5L096HA02
5L096HA09
5L096JA03
5L096JA11
(57)【要約】
【課題】動画データを受け付け、顔画像認識、及び音声解析の結果に基づいて感情を特定し、動画データの表情、声が適切であるかを診断する技術を提供する。
【解決手段】本発明は、端末装置と通信自在な診断装置であって、端末装置から送られた動画データを受け付ける受信部１１ａと、動画データに係る画像を解析し顔画像を認識する顔画像認識部１１ｂと、顔画像の認識結果に基づいて表情に関わる感情を特定する第１感情特定部１１ｃと、動画データに係る音声を解析する音声解析部１１ｄと、音声の解析結果に基づいて声に関わる感情を特定する第２感情特定部１１ｅと、第１感情特定部により特定された表情に関わる感情、及び第２感情特定部により特定された声に関わる感情の時系列的な変化に係る第１表示データを生成する生成部１１ｈと、第１表示データを前記端末装置に送信する送信部１１ｇとを備える診断装置である。
【選択図】図２
【解決手段】本発明は、端末装置と通信自在な診断装置であって、端末装置から送られた動画データを受け付ける受信部１１ａと、動画データに係る画像を解析し顔画像を認識する顔画像認識部１１ｂと、顔画像の認識結果に基づいて表情に関わる感情を特定する第１感情特定部１１ｃと、動画データに係る音声を解析する音声解析部１１ｄと、音声の解析結果に基づいて声に関わる感情を特定する第２感情特定部１１ｅと、第１感情特定部により特定された表情に関わる感情、及び第２感情特定部により特定された声に関わる感情の時系列的な変化に係る第１表示データを生成する生成部１１ｈと、第１表示データを前記端末装置に送信する送信部１１ｇとを備える診断装置である。
【選択図】図２
【特許請求の範囲】
【請求項1】
端末装置と通信自在な診断装置であって、
前記端末装置から送られた動画データを受け付ける受付部と、
前記動画データに係る画像を解析し顔画像を認識する顔画像認識部と、
前記顔画像の認識結果に基づいて表情に関わる感情を特定する第１感情特定部と、
前記動画データに係る音声を解析する音声解析部と、
前記音声の解析結果に基づいて声に関わる感情を特定する第２感情特定部と、
前記第１感情特定部により特定された表情に関わる感情、及び前記第２感情特定部により特定された声に関わる感情の時系列的な変化に係る第１表示データを生成する生成部と、
前記第１表示データを前記端末装置に送信する送信部と、を備えた
診断装置。
前記端末装置から送られた動画データを受け付ける受付部と、
前記動画データに係る画像を解析し顔画像を認識する顔画像認識部と、
前記顔画像の認識結果に基づいて表情に関わる感情を特定する第１感情特定部と、
前記動画データに係る音声を解析する音声解析部と、
前記音声の解析結果に基づいて声に関わる感情を特定する第２感情特定部と、
前記第１感情特定部により特定された表情に関わる感情、及び前記第２感情特定部により特定された声に関わる感情の時系列的な変化に係る第１表示データを生成する生成部と、
前記第１表示データを前記端末装置に送信する送信部と、を備えた
診断装置。
【請求項2】
前記表情に関わる感情に対応する診断コメント、及び前記声に関わる感情に対応する診断コメントを記憶した記憶部と、
前記表情に関わる感情、及び前記声に関わる感情に基づいて、前記記憶部より対応する診断コメントを特定する診断部と、を更に備え、
前記生成部は、診断コメントに関わる第２表示データを生成し、前記送信部は前記第２表示データを前記端末装置に送信する
請求項１に記載の診断装置。
前記表情に関わる感情、及び前記声に関わる感情に基づいて、前記記憶部より対応する診断コメントを特定する診断部と、を更に備え、
前記生成部は、診断コメントに関わる第２表示データを生成し、前記送信部は前記第２表示データを前記端末装置に送信する
請求項１に記載の診断装置。
【請求項3】
前記表情に関わる感情は、怒り、軽蔑、嫌悪感、恐れ、幸せ、ニュートラル、悲しみ、及び驚きの少なくともいずれかの要素を二以上含み、
前記声に関わる感情は、穏やか、怒り、喜び、悲しみ、及びエネルギーの少なくともいずれかの要素を二以上含み、
前記診断部は、表情に関わる感情の各要素の占める割合、及び声に関わる感情の各要素の占める割合に基づいて、前記記憶部を参照して、対応する診断コメントを特定する
請求項２に記載の診断装置。
前記声に関わる感情は、穏やか、怒り、喜び、悲しみ、及びエネルギーの少なくともいずれかの要素を二以上含み、
前記診断部は、表情に関わる感情の各要素の占める割合、及び声に関わる感情の各要素の占める割合に基づいて、前記記憶部を参照して、対応する診断コメントを特定する
請求項２に記載の診断装置。
【請求項4】
心拍データを解析し心拍数を算出する心拍解析部と、
前記心拍数に基づいて心拍に関わる感情を特定する第３感情特定部と、を更に有し、
前記心拍に関わる感情は、リラックス、平常心、手中、及び緊張の少なくともいずれかの要素を二以上含んでおり、
前記診断部は、前記表情に関わる感情の各要素の占める割合、及び声に関わる感情の各要素の占める割合と共に、心拍に関わる感情の各要素の割合に基づいて、前記記憶部を参照して、対応する診断コメントを特定する
請求項３に記載の診断装置。
前記心拍数に基づいて心拍に関わる感情を特定する第３感情特定部と、を更に有し、
前記心拍に関わる感情は、リラックス、平常心、手中、及び緊張の少なくともいずれかの要素を二以上含んでおり、
前記診断部は、前記表情に関わる感情の各要素の占める割合、及び声に関わる感情の各要素の占める割合と共に、心拍に関わる感情の各要素の割合に基づいて、前記記憶部を参照して、対応する診断コメントを特定する
請求項３に記載の診断装置。
【請求項5】
端末装置と通信自在な診断装置による方法であって、
受付部が、前記端末装置から送られた動画データを受け付け、
顔画像認識部が、前記動画データに係る画像を解析し顔画像を認識し、
第１感情特定部が、前記顔画像の認識結果に基づいて表情に関わる感情を特定し、
音声解析部が、前記動画データに係る音声を解析し、
第２感情特定部が、前記音声の解析結果に基づいて声に関わる感情を特定し、
生成部が、前記第１感情特定部により特定された表情に関わる感情、及び前記第２感情特定部により特定された声に関わる感情の時系列的な変化に係る第１表示データを生成し、
送信部が、前記第１表示データを前記端末装置に送信する
診断方法。
受付部が、前記端末装置から送られた動画データを受け付け、
顔画像認識部が、前記動画データに係る画像を解析し顔画像を認識し、
第１感情特定部が、前記顔画像の認識結果に基づいて表情に関わる感情を特定し、
音声解析部が、前記動画データに係る音声を解析し、
第２感情特定部が、前記音声の解析結果に基づいて声に関わる感情を特定し、
生成部が、前記第１感情特定部により特定された表情に関わる感情、及び前記第２感情特定部により特定された声に関わる感情の時系列的な変化に係る第１表示データを生成し、
送信部が、前記第１表示データを前記端末装置に送信する
診断方法。
【請求項6】
記憶部が、前記表情に関わる感情に対応する診断コメント、及び前記声に関わる感情に対応する診断コメントを記憶し、
診断部が、前記表情に関わる感情、及び前記声に関わる感情に基づいて、前記記憶部より対応する診断コメントを特定し、
前記生成部は、診断コメントに関わる第２表示データを生成し、前記送信部は前記第２表示データを前記端末装置に送信する
請求項５に記載の診断方法。
診断部が、前記表情に関わる感情、及び前記声に関わる感情に基づいて、前記記憶部より対応する診断コメントを特定し、
前記生成部は、診断コメントに関わる第２表示データを生成し、前記送信部は前記第２表示データを前記端末装置に送信する
請求項５に記載の診断方法。
【請求項7】
前記表情に関わる感情は、怒り、軽蔑、嫌悪感、恐れ、幸せ、ニュートラル、悲しみ、及び驚きの少なくともいずれかの要素を二以上含み、
前記声に関わる感情は、穏やか、怒り、喜び、悲しみ、及びエネルギーの少なくともいずれかの要素を二以上含み、
前記診断部は、表情に関わる感情の各要素の占める割合、及び声に関わる感情の各要素の占める割合に基づいて、前記記憶部を参照して、対応する診断コメントを特定する
請求項６に記載の診断方法。
前記声に関わる感情は、穏やか、怒り、喜び、悲しみ、及びエネルギーの少なくともいずれかの要素を二以上含み、
前記診断部は、表情に関わる感情の各要素の占める割合、及び声に関わる感情の各要素の占める割合に基づいて、前記記憶部を参照して、対応する診断コメントを特定する
請求項６に記載の診断方法。
【請求項8】
心拍解析部が、心拍データを解析し心拍数を算出し、
第３感情特定部が、前記心拍数に基づいて心拍に関わる感情を特定し、
前記心拍に関わる感情は、リラックス、平常心、手中、及び緊張の少なくともいずれかの要素を二以上含んでおり、
前記診断部は、前記表情に関わる感情の各要素の占める割合、及び声に関わる感情の各要素の占める割合と共に、心拍に関わる感情の各要素の割合に基づいて、前記記憶部を参照して、対応する診断コメントを特定する
請求項７に記載の診断方法。
第３感情特定部が、前記心拍数に基づいて心拍に関わる感情を特定し、
前記心拍に関わる感情は、リラックス、平常心、手中、及び緊張の少なくともいずれかの要素を二以上含んでおり、
前記診断部は、前記表情に関わる感情の各要素の占める割合、及び声に関わる感情の各要素の占める割合と共に、心拍に関わる感情の各要素の割合に基づいて、前記記憶部を参照して、対応する診断コメントを特定する
請求項７に記載の診断方法。
【請求項9】
端末装置と診断装置とからなる診断システムであって、
前記端末装置は、
前記診断装置に動画データを送信する第１送信部と、
前記診断装置からの表示データを受信する受信部と、
前記表示データを表示する表示部と、
を有し、
前記診断装置は、
前記端末装置から送られた動画データを受け付ける受付部と、
前記動画データに係る画像を解析し顔画像を認識する顔画像認識部と、
前記顔画像の認識結果に基づいて表情に関わる感情を特定する第１感情特定部と、
前記動画データに係る音声を解析する音声解析部と、
前記音声の解析結果に基づいて声に関わる感情を特定する第２感情特定部と、
前記第１感情特定部により特定された表情に関わる感情、及び前記第２感情特定部により特定された声に関わる感情の時系列的な変化に係る第１表示データを生成する生成部と、
前記第１表示データを前記端末装置に送信する第２送信部と、を備えた
診断システム。
前記端末装置は、
前記診断装置に動画データを送信する第１送信部と、
前記診断装置からの表示データを受信する受信部と、
前記表示データを表示する表示部と、
を有し、
前記診断装置は、
前記端末装置から送られた動画データを受け付ける受付部と、
前記動画データに係る画像を解析し顔画像を認識する顔画像認識部と、
前記顔画像の認識結果に基づいて表情に関わる感情を特定する第１感情特定部と、
前記動画データに係る音声を解析する音声解析部と、
前記音声の解析結果に基づいて声に関わる感情を特定する第２感情特定部と、
前記第１感情特定部により特定された表情に関わる感情、及び前記第２感情特定部により特定された声に関わる感情の時系列的な変化に係る第１表示データを生成する生成部と、
前記第１表示データを前記端末装置に送信する第２送信部と、を備えた
診断システム。
【請求項10】
前記診断装置は、
前記表情に関わる感情に対応する診断コメント、及び前記声に関わる感情に対応する診断コメントを記憶した記憶部と、
前記表情に関わる感情、及び前記声に関わる感情に基づいて、前記記憶部より対応する診断コメントを特定する診断部と、を更に備え、
前記生成部は、診断コメントに関わる第２表示データを生成し、前記第２送信部は前記第２表示データを前記端末装置に送信する
請求項９に記載の診断システム。
前記表情に関わる感情に対応する診断コメント、及び前記声に関わる感情に対応する診断コメントを記憶した記憶部と、
前記表情に関わる感情、及び前記声に関わる感情に基づいて、前記記憶部より対応する診断コメントを特定する診断部と、を更に備え、
前記生成部は、診断コメントに関わる第２表示データを生成し、前記第２送信部は前記第２表示データを前記端末装置に送信する
請求項９に記載の診断システム。
【請求項11】
前記表情に関わる感情は、怒り、軽蔑、嫌悪感、恐れ、幸せ、ニュートラル、悲しみ、及び驚きの少なくともいずれかの要素を二以上含み、
前記声に関わる感情は、穏やか、怒り、喜び、悲しみ、及びエネルギーの少なくともいずれかの要素を二以上含み、
前記診断部は、表情に関わる感情の各要素の占める割合、及び声に関わる感情の各要素の占める割合に基づいて、前記記憶部を参照して、対応する診断コメントを特定する
請求項１０に記載の診断システム。
前記声に関わる感情は、穏やか、怒り、喜び、悲しみ、及びエネルギーの少なくともいずれかの要素を二以上含み、
前記診断部は、表情に関わる感情の各要素の占める割合、及び声に関わる感情の各要素の占める割合に基づいて、前記記憶部を参照して、対応する診断コメントを特定する
請求項１０に記載の診断システム。
【請求項12】
前記診断装置は、
心拍データを解析し心拍数を算出する心拍解析部と、
前記心拍数に基づいて心拍に関わる感情を特定する第３感情特定部と、を更に有し、
前記心拍に関わる感情は、リラックス、平常心、手中、及び緊張の少なくともいずれかの要素を二以上含んでおり、
前記診断部は、前記表情に関わる感情の各要素の占める割合、及び声に関わる感情の各要素の占める割合と共に、心拍に関わる感情の各要素の割合に基づいて、前記記憶部を参照して、対応する診断コメントを特定する
請求項１１に記載の診断システム。
心拍データを解析し心拍数を算出する心拍解析部と、
前記心拍数に基づいて心拍に関わる感情を特定する第３感情特定部と、を更に有し、
前記心拍に関わる感情は、リラックス、平常心、手中、及び緊張の少なくともいずれかの要素を二以上含んでおり、
前記診断部は、前記表情に関わる感情の各要素の占める割合、及び声に関わる感情の各要素の占める割合と共に、心拍に関わる感情の各要素の割合に基づいて、前記記憶部を参照して、対応する診断コメントを特定する
請求項１１に記載の診断システム。
【請求項13】
端末装置と通信自在なコンピュータにより実行されるプログラムであって、
前記コンピュータを、
前記端末装置から送られた動画データを受け付ける受付部、
前記動画データに係る画像を解析し顔画像を認識する顔画像認識部、
前記顔画像の認識結果に基づいて表情に関わる感情を特定する第１感情特定部、
前記動画データに係る音声を解析する音声解析部、
前記音声の解析結果に基づいて声に関わる感情を特定する第２感情特定部、及び
前記第１感情特定部により特定された表情に関わる感情、及び前記第２感情特定部により特定された声に関わる感情の時系列的な変化に係る第１表示データを生成する生成部と、
前記第１表示データを前記端末装置に送信する送信部、として機能させる
プログラム。
前記コンピュータを、
前記端末装置から送られた動画データを受け付ける受付部、
前記動画データに係る画像を解析し顔画像を認識する顔画像認識部、
前記顔画像の認識結果に基づいて表情に関わる感情を特定する第１感情特定部、
前記動画データに係る音声を解析する音声解析部、
前記音声の解析結果に基づいて声に関わる感情を特定する第２感情特定部、及び
前記第１感情特定部により特定された表情に関わる感情、及び前記第２感情特定部により特定された声に関わる感情の時系列的な変化に係る第１表示データを生成する生成部と、
前記第１表示データを前記端末装置に送信する送信部、として機能させる
プログラム。
【請求項14】
前記コンピュータは、前記表情に関わる感情に対応する診断コメント、及び前記声に関わる感情に対応する診断コメントを記憶した記憶部を備え、
前記コンピュータを、前記表情に関わる感情、及び前記声に関わる感情に基づいて、前記記憶部より対応する診断コメントを特定する診断部としても機能させ、
前記生成部は、診断コメントに関わる第２表示データを生成し、前記送信部は前記第２表示データを前記端末装置に送信する
請求項１３に記載のプログラム。
前記コンピュータを、前記表情に関わる感情、及び前記声に関わる感情に基づいて、前記記憶部より対応する診断コメントを特定する診断部としても機能させ、
前記生成部は、診断コメントに関わる第２表示データを生成し、前記送信部は前記第２表示データを前記端末装置に送信する
請求項１３に記載のプログラム。
【請求項15】
前記表情に関わる感情は、怒り、軽蔑、嫌悪感、恐れ、幸せ、ニュートラル、悲しみ、及び驚きの少なくともいずれかの要素を二以上含み、
前記声に関わる感情は、穏やか、怒り、喜び、悲しみ、及びエネルギーの少なくともいずれかの要素を二以上含み、
前記診断部は、表情に関わる感情の各要素の占める割合、及び声に関わる感情の各要素の占める割合に基づいて、前記記憶部を参照して、対応する診断コメントを特定する
請求項１４に記載のプログラム。
前記声に関わる感情は、穏やか、怒り、喜び、悲しみ、及びエネルギーの少なくともいずれかの要素を二以上含み、
前記診断部は、表情に関わる感情の各要素の占める割合、及び声に関わる感情の各要素の占める割合に基づいて、前記記憶部を参照して、対応する診断コメントを特定する
請求項１４に記載のプログラム。
【請求項16】
前記コンピュータを、
心拍データを解析し心拍数を算出する心拍解析部、及び
前記心拍数に基づいて心拍に関わる感情を特定する第３感情特定部としても機能させ、
前記心拍に関わる感情は、リラックス、平常心、手中、及び緊張の少なくともいずれかの要素を二以上含んでおり、
前記診断部は、前記表情に関わる感情の各要素の占める割合、及び声に関わる感情の各要素の占める割合と共に、心拍に関わる感情の各要素の割合に基づいて、前記記憶部を参照して、対応する診断コメントを特定する
請求項１５に記載のプログラム。
心拍データを解析し心拍数を算出する心拍解析部、及び
前記心拍数に基づいて心拍に関わる感情を特定する第３感情特定部としても機能させ、
前記心拍に関わる感情は、リラックス、平常心、手中、及び緊張の少なくともいずれかの要素を二以上含んでおり、
前記診断部は、前記表情に関わる感情の各要素の占める割合、及び声に関わる感情の各要素の占める割合と共に、心拍に関わる感情の各要素の割合に基づいて、前記記憶部を参照して、対応する診断コメントを特定する
請求項１５に記載のプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、例えば、動画データを受け付け、顔画像認識、及び音声解析の結果に基づいて感情を特定し、動画データの表情、声が適切であるかを診断する技術に関する。
【背景技術】
【0002】
従来、画像認識技術は向上の一途を辿っており、ユーザの顔画像、並びにその表情を認識することも可能となっている。そして、今日では、ユーザの顔画像を認識し、認識された表情によりサービスの質等を評価することも一般になされている。
【0003】
例えば、特許文献１では、対象者の入力顔画像を撮像する撮像部と、前記撮像部で撮像された入力顔画像に含まれる顔の表情を特定する特定部と、前記特定部で特定された顔の表情に係る情報に基づいて前記対象者の接客対応を評価する評価部とを備えたことを特徴とする接客対応評価装置が開示されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２０１７－１０２８４６号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献１では、動画データを受け付け、顔画像認識、及び音声解析の結果に基づいて感情を特定し、動画データの表情、声が適切であるかを診断することは何ら開示されていない。
【0006】
本発明は、このような課題に鑑みてなされたものであり、その目的とするところは、動画データを受け付け、顔画像認識、及び音声解析の結果に基づいて感情を特定し、該感情の時系列的な変化を可視化し、動画データの表情、声が適切であるかを診断することにある。
【課題を解決するための手段】
【0007】
上記課題を解決するため、本発明の第１の態様に係る診断装置は、端末装置と通信自在な診断装置であって、前記端末装置から送られた動画データを受け付ける受付部と、前記動画データに係る画像を解析し顔画像を認識する顔画像認識部と、前記顔画像の認識結果に基づいて表情に関わる感情を特定する第１感情特定部と、前記動画データに係る音声を解析する音声解析部と、前記音声の解析結果に基づいて声に関わる感情を特定する第２感情特定部と、前記第１感情特定部により特定された表情に関わる感情、及び前記第２感情特定部により特定された声に関わる感情の時系列的な変化に係る第１表示データを生成する生成部と、前記第１表示データを前記端末装置に送信する送信部と、を備える。
【0008】
本発明の第２の態様に係る診断方法は、端末装置と通信自在な診断装置による方法であって、受付部が、前記端末装置から送られた動画データを受け付け、顔画像認識部が、前記動画データに係る画像を解析し顔画像を認識し、第１感情特定部が、前記顔画像の認識結果に基づいて表情に関わる感情を特定し、音声解析部が、前記動画データに係る音声を解析し、第２感情特定部が、前記音声の解析結果に基づいて声に関わる感情を特定し、生成部が、前記第１感情特定部により特定された表情に関わる感情、及び前記第２感情特定部により特定された声に関わる感情の時系列的な変化に係る第１表示データを生成し、送信部が、前記第１表示データを前記端末装置に送信する。
【0009】
本発明の第３の態様に係る診断システムは、端末装置と診断装置とからなる診断システムであって、前記端末装置は、前記診断装置に動画データを送信する第１送信部と、前記診断装置からの表示データを受信する受信部と、前記表示データを表示する表示部と、を有し、前記診断装置は、前記端末装置から送られた動画データを受け付ける受付部と、前記動画データに係る画像を解析し顔画像を認識する顔画像認識部と、前記顔画像の認識結果に基づいて表情に関わる感情を特定する第１感情特定部と、前記動画データに係る音声を解析する音声解析部と、前記音声の解析結果に基づいて声に関わる感情を特定する第２感情特定部と、前記第１感情特定部により特定された表情に関わる感情、及び前記第２感情特定部により特定された声に関わる感情の時系列的な変化に係る第１表示データを生成する生成部と、前記第１表示データを前記端末装置に送信する第２送信部と、を備える。
【0010】
本発明の第４の態様に係るプログラムは、端末装置と通信自在なコンピュータにより実行されるプログラムであって、前記コンピュータを、前記端末装置から送られた動画データを受け付ける受付部、前記動画データに係る画像を解析し顔画像を認識する顔画像認識部、前記顔画像の認識結果に基づいて表情に関わる感情を特定する第１感情特定部、前記動画データに係る音声を解析する音声解析部、前記音声の解析結果に基づいて声に関わる感情を特定する第２感情特定部、前記第１感情特定部により特定された表情に関わる感情、及び前記第２感情特定部により特定された声に関わる感情の時系列的な変化に係る第１表示データを生成する生成部、及び前記第１表示データを前記端末装置に送信する送信部として機能させる。
【発明の効果】
【0011】
本発明によれば、動画データを受け付け、顔画像認識、及び音声解析の結果に基づいて感情を特定し、該感情の時系列的な変化を可視化し、動画データの表情、声が適切であるかを診断する技術を提供することができる。
【図面の簡単な説明】
【0012】
【図1】本発明の第１実施形態に係る診断システムの構成図である。
【図2】本発明の第１実施形態に係る診断装置の構成図である。
【図3】第１実施形態に係る同システムの端末装置の構成図である。
【図4】第１実施形態に係る同システムによる診断の処理手順を示すフローチャートである。
【図5】診断過程での表示例を示す図である。
【図6】診断結果の表示例を示す図である。
【図7】本発明の第２実施形態に係る診断装置の構成図である。
【図8】第２実施形態に係る同システムの端末装置の構成図である。
【図9】第２実施形態に係る同システムによる診断の処理手順を示すフローチャートである。
【図10】診断過程での表示例を示す図である。
【発明を実施するための形態】
【0013】
以下、図面を参照しつつ本発明の実施形態について説明する。
【0014】
＜第１実施形態＞
【0015】
図１には、本発明の第１実施形態に係る診断システムの構成を示し説明する。
【0016】
同図に示されるように、診断システムは、診断装置１と、端末装置２とが、インターネット等の通信網３を介して、無線又は有線で接続され、構成されている。診断装置１としては、サーバ装置等を採用することが可能である。端末装置２としては、スマートフォンやタブレット端末、ノート型パーソナルコンピュータ等を採用することが可能である。このほか、端末装置２は、例えばカラオケボックス等に設置されるカラオケ装置等であってもよい。
【0017】
このような構成において、端末装置２から動画データが診断装置１に送信されると、診断装置１は、動画データを受け付け、まずは、動画データの画像の顔画像認識を行い、認識結果に基づいて表情に係る感情を特定する。さらに、動画データの音声の音声解析を行い、解析結果に基づいて声に係る感情を特定する。動画データの再生中に、これら特定をリアルタイムで実行し、特定結果を時系列に表示するための表示データを生成し、表示データを端末装置２に送信する。端末装置２では、動画データの再生画面と合わせて、表情に係る感情、声に係る感情の時系列的な変化をグラフ表示する。端末装置２側からの診断の要求を受け付けると、診断装置は、上記再生時間内の表情に係る感情、声に係る感情の各要素の割合等に基づいて、診断コメントを特定し、診断コメントに係る表示データを生成し、端末装置２に送信する。端末装置２では、診断コメントに係る表示を実施する。
【0018】
図２には、本発明の第１実施形態に係る診断装置の構成を示し説明する。
【0019】
同図に示されるように、診断装置１は、制御部１１と、通信部１２と、記憶部１３とを有する。制御部１１と、通信部１２と、記憶部１３とは、制御バス１９を介して通信可能に接続されている。これら構成のほか、キーボードやマウス等の入力部や、各種表示を行う液晶ディスプレイ等の表示部を有してもよい。
【0020】
通信部１２は、例えば、ネットワークインタフェースカード（NIC；Network Interface Card）等により実現されるもので、インターネット等の通信網３と有線又は無線で接続され、端末装置２等との間で通信を行う通信インタフェースである。記憶部１３は、例えばＲＡＭ（Random Access Memory）やフラッシュメモリ（Flash Memory）等の半導体メモリ素子、ハードディスクドライブ（HDD；Hard Disc Drive）、または光ディスク装置等で実現されるもので、制御部１１で実行されるプログラムを予め記憶している。記憶部１３は、ユーザ情報記憶部１４、第１感情情報記憶部１５、第２感情情報記憶部１６、診断情報記憶部１７、及び学習用記憶部１８を有する。
【0021】
ユーザ情報記憶部１４は、ユーザＩＤを主キーとして、氏名又は名称、電子メールアドレス、決済情報等を対応付けて記憶している。これらは、一例であって、他に多様な情報を記憶することも可能である。
【0022】
第１感情情報記憶部１５は、表情に係る感情を特定するための正規化された第１テーブル等を記憶している。第１テーブルでは、顔画像認識の結果、得られる特徴量に、複数の感情要素が紐づけられている。この例では、特徴量に、感情要素として、怒り、軽蔑、嫌悪感、恐れ、幸せ、ニュートラル、悲しみ、及び驚きの少なくともいずれかの要素を二以上紐づけているが、これに限定されるものではない。
【0023】
第２感情情報記憶部１６は、声に係る感情を特定するための正規化された第２テーブル等を記憶している。第２テーブルでは、音声解析の結果、得られる音声の帯域（高低）、速度、強弱等に、感情要素が紐づけられている。この例では、音声の特徴に、感情要素として、穏やか、怒り、喜び、悲しみ、及びエネルギーの少なくともいずれかの要素を二以上紐づけているがこれに限定されるものではない。
【0024】
診断情報記憶部１７は、表情に係る感情、声に係る感情について、各感情要素の割合に対応する診断コメント等を記憶している。すなわち、例えば、表情の感情の感情要素である「幸せ」が再生時間中の７０％以上を占める場合には、表情の感情に関する診断コメントは、第１表情診断コメント、声の感情の感情要素である「穏やか」が再生時間中の７０％以上を占める場合には、声の感情に関する診断コメントは、第１声診断コメント、第１表情診断コメントと第１声診断コメントが抽出された場合には、第１総合診断コメント、などのごとく対応する診断コメントを抽出することが可能である。
【0025】
学習用記憶部１８は、履歴ＩＤと紐づけて、動画データ、顔画像認識部１１ｂによる認識結果、音声解析部１１ｄによる解析結果、診断部１１ｆにより特定された診断コメント等を蓄積している。診断が実行されればされるほど、履歴情報として学習用のビッグデータが構築されることになる。ここでは、学習用記憶部１８を診断装置１内に備える例を示したが、物理的に別体のサーバ装置に備えさせるようにしてもよい。
【0026】
制御部１１は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等で実現され、記憶部１３に記憶されているプログラムを読み出し実行することで、受信部１１ａ、顔画像認識部１１ｂ、第１感情特定部１１ｃ、音声解析部１１ｄ、第２感情特定部１１ｅ、診断部１１ｆ、送信部１１ｇ、生成部１１ｈ、学習部１１ｉ、及び主制御部１１ｊとして機能する。制御部１１は、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Array）等の集積回路で構成されてよい。
【0027】
このような構成において、受信部１１ａは、受付部として機能し、端末装置２から送られた動画データを受け付ける。顔画像認識部１１ｂは、動画データに係る画像を解析し顔画像を認識する。第１感情特定部１１ｃは、顔画像の認識結果に基づいて表情に関わる感情を特定する。具体的には、第１感情特定部１１ｃは、第１感情情報記憶部１５の第１テーブルを参照し、認識結果である特徴量に対応する感情要素を特定する。
【0028】
音声解析部１１ｄは、動画データに係る音声を解析する。第２感情特定部１１ｅは、音声の解析結果に基づいて声に関わる感情を特定する。具体的には、第２感情特定部１１ｅは、第２感情情報記憶部１６の第２テーブルを参照し、解析結果である帯域、速度、強弱等の声の特徴に対応する感情要素を特定する。生成部１１ｈは、第１感情特定部１１ｃにより特定された表情に関わる感情、及び第２感情特定部１１ｅにより特定された声に関わる感情の時系列的な変化に係る第１表示データを生成する。送信部１１ｇは、第１表示データを端末装置２に送信する。
【0029】
診断部１１ｆは、表情に関わる感情、及び声に関わる感情に基づいて、診断情報記憶部１７を参照して、対応する診断コメントを特定する。前述したとおり、表情に関わる感情は、怒り、軽蔑、嫌悪感、恐れ、幸せ、ニュートラル、悲しみ、及び驚きの少なくともいずれかの要素を二以上含み、声に関わる感情は、穏やか、怒り、喜び、悲しみ、及びエネルギーの少なくともいずれかの要素を二以上含んでいるが、診断部１１ｆは、表情に関わる感情の各要素の占める割合、及び声に関わる感情の各要素の占める割合に基づいて、診断情報記憶部１７を参照して、対応する診断コメントを特定する。そして、生成部１１ｈは、診断コメントに関わる第２表示データも生成し、送信部１１ｇは、第２表示データも端末装置２に送信する。
【0030】
学習部１１ｉは、学習用記憶部１８に蓄積されたビッグデータを機械学習し、学習結果に基づいて、第１感情情報記憶部１５の第１テーブル、第２感情情報記憶部１６の第２テーブル等の内容を随時更新する。このほか、主制御部１１ｊは、制御部１１の主要な制御を司る。
【0031】
図３には、診断システムの一部である端末装置の構成を示し説明する。
【0032】
同図に示されるように、端末装置２は、制御部２１と、通信部２２と、操作部２３と、表示部２４と、記憶部２５と、カメラ部２６とを有する。各部２１～２６は、制御バス２７を介して通信自在に接続されている。
【0033】
通信部２２は、例えば、ＮＩＣ等により実現されるもので、インターネット等の通信網４と有線又は無線で接続され、診断装置１等との間で通信を行う通信インタフェースである。操作部２３は、マウスやキーボード等で実現され、ユーザによる各種操作入力を受け付ける。表示部２４は、液晶ディスプレイ等により実現され、各種表示を行う。尚、操作部２３と表示部２４とをタッチパネルとして一体に構成してもよい。記憶部２５は、例えば、ＲＡＭやフラッシュメモリ等の半導体メモリ素子、ＨＤＤ、または光ディスク装置等で実現されるもので、制御部２１で実行されるプログラムを記憶している。カメラ部２６は撮像機能と集音機能を備え、被写体を撮像すると共に、音声を集音する。すなわち、カメラ部２６によれば、動画データを撮影し、取得することができる。
【0034】
制御部２１は、ＣＰＵやＭＰＵ等で実現され、記憶部２５に記憶されているプログラムを読み出し、実行することで、受信部２１ａ、閲覧部２１ｂ、及び送信部２１ｃｅとして機能する。なお、制御部１１は、ＡＳＩＣやＦＰＧＡ等の集積回路で構成されてよい。
【0035】
このような構成において、受信部２１ａは、診断装置１から送られてくる表示データ等を、通信部２２を介して受信する。閲覧部２１ｂは、所謂ブラウザとして機能するものであり、表示データに基づく表示部２４での表示を制御する。送信部２１ｃは、動画データ等を、通信部２２を介して診断装置１に送信する。
【0036】
【0037】
受信部１１ａは、端末装置２から送られた動画データを受け付ける（Ｓ１）。顔画像認識部１１ｂは、動画データに係る画像を解析し、顔画像を認識する（Ｓ２）。第１感情特定部１１ｃは、顔画像の認識結果に基づいて表情に関わる感情を特定する。具体的には、第１感情特定部１１ｃは、第１感情情報記憶部１５の第１テーブルを参照し、認識結果である特徴量に対応する感情要素を特定する（Ｓ３）。
【0038】
音声解析部１１ｄは、動画データに係る音声を解析する（Ｓ４）。第２感情特定部１１ｅは、音声の解析結果に基づいて声に関わる感情を特定する。具体的には、第２感情特定部１１ｅは、第２感情情報記憶部１６の第２テーブルを参照し、解析結果である帯域、速度、強弱等の声の特徴に対応する感情要素を特定する（Ｓ５）。そして、生成部１１ｈは、第１感情特定部１１ｃにより特定された表情に関わる感情、及び第２感情特定部１１ｅにより特定された声に関わる感情の時系列的な変化に係る第１表示データを生成し、送信部１１ｇは、第１表示データを端末装置２に送信する（Ｓ６）。
【0039】
端末装置２側での表示例は、図５に示される通りであり、左方には動画の再生領域が示され、右方の上段には表情に係る感情の時系列的な変化が示され、右法の下段には声に係る感情の時系列的な変化が示される。
【0040】
続いて、端末装置２から診断の指示があるまで待機し、診断の指示を受けると（Ｓ７をＹｅｓに分岐）、診断処理に移る。すなわち、診断部１１ｆは、表情に関わる感情、及び声に関わる感情に基づいて、診断情報記憶部１７を参照して、対応する診断コメントを特定する（Ｓ８）。前述した通り、表情に関わる感情は、怒り、軽蔑、嫌悪感、恐れ、幸せ、ニュートラル、悲しみ、及び驚きの少なくともいずれかの要素を二以上含み、声に関わる感情は、穏やか、怒り、喜び、悲しみ、及びエネルギーの少なくともいずれかの要素を二以上含んでいるが、診断部１１ｆは、表情に関わる感情の各要素の占める割合、及び声に関わる感情の各要素の占める割合に基づいて、診断情報記憶部１７を参照して、対応する診断コメントを特定する。そして、生成部１１ｈは、診断コメントに関わる第２表示データも生成し、送信部１１ｇは、第２表示データも端末装置２に送信する（Ｓ９）。こうして一連の処理を終了することになる。尚、診断情報記憶部１７が、コンテンツのカテゴリ別に前述した表情に関わる感情の各要素の占める割合、及び声に関わる感情の各要素の占める割合に対応する点数を記憶している場合には、診断コメントと合わせて、評価点数を特定し、上記第２表示データに含めるようにしてもよい。
【0041】
端末装置２側での表示例は、図６に示される通りであり、下方には、表情に係る感情の割合、声に係る感情の割合が円グラフで示され、上方には、表情に係る感情に関するコメントと声に係る感情に関するコメント、及び総合診断コメントが示される。
【0042】
以上説明したように、本発明の第１実施形態によれば、以下の効果が奏される。
【0043】
即ち、本発明の第１実施形態によれば、動画データを送信するだけで、診断装置側で表情に係る感情、声に係る感情についての時系列的な変化が可視化されるので、動画を再生しながら、感情が適切であったかどうかを確認することが可能となる。例えば、トラブルに関わる報道の動画であるにも関わらず、表情に係る感情は「幸せ」が大半を占め、声に係る感情が「喜び」が大半を占めるような場合には、報道の仕方を見直さなければならないなど、随時判断することが可能となるので、事後的な学習にも好適である。
【0044】
さらに、表情に係る感情、声に係る感情の各感情要素の占める割合等に基づいて、診断コメントを提供することも可能であるので、上記学習効果を高めることが可能となる。そして、本システムの利用が進めば進むほど、学習用情報が蓄積されていくので、上記感情を特定する際に参照するテーブルの内容なども随時更新し、最適なものとし、診断の精度を高めることも可能となる。
【0045】
＜第２実施形態＞
【0046】
本発明の第２実施形態に係る診断システムの構成は、図１に示した通りであるので、重複した説明は省略する。
【0047】
診断装置1の構成は、図７に示される通りである。ここでは、図２と同一構成については同一符号を付して、重複した説明は省略し、異なる部分を中心に説明する。診断装置１は、記憶部１３に第３感情情報記憶部２０を更に記憶している。第３感情情報記憶部２０は、心拍に係る感情を特定するための正規化された第３テーブル等を記憶している。第３テーブルでは、心拍解析の結果、得られる心拍数に、複数の感情要素が紐づけられている。この例では、心拍数に、感情要素として、リラックス、平常心、手中、及び緊張の少なくともいずれかの要素を二以上紐づけているが、これに限定されるものではない。
【0048】
制御部１１は、記憶部１３のプログラムを実行することで、心拍解析部１１ｋ、及び第３感情特定部１１ｌとしても機能する。心拍解析部１１ｋは、端末装置２から送信されてきた心拍データを解析し、心拍数を算出する。第３感情特定部１１ｌは、第３感情情報記憶部２０の第３テーブルを参照して、心拍数に対応する感情を特定する。生成部１１ｈは、第１感情特定部１１ｃにより特定された表情に関わる感情、第２感情特定部１１ｅにより特定された声に関わる感情、第３感情特定部１１ｌにより特定された心拍に関わる感情の時系列的な変化に係る第１表示データを生成する。送信部１１ｇは、第１表示データを端末装置２に送信する。
【0049】
診断部１１ｆは、表情に関わる感情、声に関わる感情、及び心拍に関わる感情に基づいて、診断情報記憶部１７を参照して、対応する診断コメントを特定する。
【0050】
前述したとおり、表情に関わる感情は、怒り、軽蔑、嫌悪感、恐れ、幸せ、ニュートラル、悲しみ、及び驚きの少なくともいずれかの要素を二以上含み、声に関わる感情は、穏やか、怒り、喜び、悲しみ、及びエネルギーの少なくともいずれかの要素を二以上含み、心拍に関わる感情は、リラックス、平常心、手中、及び緊張の少なくともいずれかの要素を二以上含んでいるが、診断部１１ｆは、表情に関わる感情の各要素の占める割合、声に関わる感情の各要素の占める割合、及び心拍に関わる感情の各要素の占める割合に基づいて、診断情報記憶部１７を参照して、対応する診断コメントを特定する。そして、生成部１１ｈは、診断コメントに関わる第２表示データも生成し、送信部１１ｇは、第２表示データも端末装置２に送信する。
【0051】
端末装置２の構成は、図８に示される通りである。ここでは、図３と同一構成については同一符号を付し、重複した説明は省略し、異なる部分を中心に説明する。第２実施形態では、端末装置２は、センサ２８を更に備えており、心拍を計測する。計測された心拍データは、送信部２１ｃにより、診断装置１に送信される。尚、センサ２８は、センサデバイスとして、端末装置２とは物理的に別体でもよく、その場合には、センサデバイスより心拍に係るデータが端末装置２に送信され、端末装置２から診断装置１に心拍データが転送されることになる。
【0052】
以下、図９のフローチャートを参照して、本発明の第２実施形態に係る診断装置による診断の処理手順を詳細に説明する。
【0053】
受信部１１ａは、端末装置２から送られた動画データ、心拍データを受け付ける（Ｓ１１）。顔画像認識部１１ｂは、動画データに係る画像を解析し、顔画像を認識する（Ｓ１２）。第１感情特定部１１ｃは、顔画像の認識結果に基づいて表情に関わる感情を特定する。具体的には、第１感情特定部１１ｃは、第１感情情報記憶部１５の第１テーブルを参照し、認識結果である特徴量に対応する感情要素を特定する（Ｓ１３）。
【0054】
音声解析部１１ｄは、動画データに係る音声を解析する（Ｓ１４）。第２感情特定部１１ｅは、音声の解析結果に基づいて声に関わる感情を特定する。具体的には、第２感情特定部１１ｅは、第２感情情報記憶部１６の第２テーブルを参照し、解析結果である帯域、速度、強弱等の声の特徴に対応する感情要素を特定する（Ｓ１５）。
【0055】
心拍解析部１１ｋは、端末装置２から送信されてきた心拍データを解析し、心拍数を算出する（Ｓ１６）。第３感情特定部１１ｌは、第３感情情報記憶部２０の第３テーブルを参照して、心拍数に対応する感情を特定する（Ｓ１７）。そして、生成部１１ｈは、第１感情特定部１１ｃにより特定された表情に関わる感情、第２感情特定部１１ｅにより特定された声に関わる感情、第３感情特定部１１ｌにより特定された心拍に関わる感情の時系列的な変化に係る第１表示データを生成し、送信部１１ｇは、第１表示データを端末装置２に送信する（Ｓ１８）。
【0056】
【0057】
続いて、端末装置２から診断の指示があるまで待機し、診断の指示を受けると（Ｓ１９をＹｅｓに分岐）、診断処理に移る。すなわち、診断部１１ｆは、表情に関わる感情、声に関わる感情、及び心拍に関わる感情に基づいて、診断情報記憶部１７を参照して、対応する診断コメントを特定する（Ｓ２０）。前述した通り、表情に関わる感情は、怒り、軽蔑、嫌悪感、恐れ、幸せ、ニュートラル、悲しみ、及び驚きの少なくともいずれかの要素を二以上含み、声に関わる感情は、穏やか、怒り、喜び、悲しみ、及びエネルギーの少なくともいずれかの要素を二以上含み、心拍に関わる感情は、リラックス、平常心、手中、及び緊張の少なくともいずれかの要素を二以上含んでいるが、診断部１１ｆは、表情に関わる感情の各要素の占める割合、声に関わる感情の各要素の占める割合、及び心拍に関わる各要素の占める割合に基づいて、診断情報記憶部１７を参照して、対応する診断コメントを特定する。そして、生成部１１ｈは、診断コメントに関わる第２表示データも生成し、送信部１１ｇは、第２表示データも端末装置２に送信する（Ｓ２１）。こうして一連の処理を終了することになる。
【0058】
端末装置２側での表示例は、先に図６に示した例をベースとしつつ、心拍に関わる感情の割合が円グラフで更に示され、心拍に係る感情に関するコメント、及び総合診断コメントが示される。
【0059】
本発明の第２実施形態によれば、第１実施形態の効果に加えて、心拍の時系列変化を心拍に関わる感情の変化として可視化することができるので、動画データの良し悪しについて更に評価するのに寄与することが期待できる。
【0060】
以上、本発明の第１及び第２実施形態について説明したが、本発明はこれに限定されることなくその趣旨を逸脱しない範囲で種々の改良・変更が可能であることは勿論である。
【0061】
例えば、動画データに含まれる文字等を認識し、当該文字により特定されるカテゴリを加味して、顔画像認識結果に基づく感情の特定、音声解析結果に基づく感情の特定、更には、それらにより特定される診断結果の精度を更に高めるようにしてもよい。
【産業上の利用可能性】
【0062】
本システムは、報道等の事後的な見直し、就職活動の面接練習、営業やプレゼンテーションなどのための学習用途のほか、例えば、カラオケにおける感情の表出の在り方などの診断、評価にも応用することが可能である。
【符号の説明】
【0063】
１…診断装置、２…端末装置、３…通信網、１１…制御部、１１ａ…受信部（受付部）、１１ｂ…画像認識部、１１ｃ…第１感情特定部、１１ｄ…音声解析部、１１ｅ…第２感情特定部、１１ｆ…診断部、１１ｇ…送信部、１１ｈ…生成部、１１ｉ…学習部、１１ｊ…主制御部、１１ｋ…心拍解析部、１１ｌ…第３感情特定部、２１…制御部、２１ａ…受信部、２１ｂ…閲覧部、２１ｃ…送信部、２２…通信部、２３…操作部、２４…表示部、２５…記憶部、２６…カメラ部、２７…バス、２８…センサ。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【手続補正書】
【提出日】2021-06-07
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
端末装置と通信自在な診断装置であって、
前記端末装置から送られた動画データを受け付ける受付部と、
前記動画データに係る画像を解析し顔画像を認識する顔画像認識部と、
前記顔画像の認識結果に基づいて表情に関わる感情を特定する第１感情特定部と、
前記動画データに係る音声を解析する音声解析部と、
前記音声の解析結果に基づいて声に関わる感情を特定する第２感情特定部と、
前記第１感情特定部により特定された表情に関わる感情、及び前記第２感情特定部により特定された声に関わる感情の時系列的な変化に係る第１表示データを生成する生成部と、
前記第１表示データを前記端末装置に送信する送信部と、
前記表情に関わる感情、声に関わる感情について、各感情要素の割合に対応する診断コメントを記憶した記憶部と、
前記表情に関わる感情、及び前記声に関わる感情の各感情要素の割合に基づいて、前記記憶部より対応する診断コメントを特定する診断部と、を備え、
前記生成部は、診断コメントに関わる第２表示データを生成し、前記送信部は前記第２表示データを前記端末装置に送信し、
前記端末装置において、前記動画データ係る動画を再生させながら前記第１表示データに係る感情の時系列的な変化を表示させる
診断装置。
前記端末装置から送られた動画データを受け付ける受付部と、
前記動画データに係る画像を解析し顔画像を認識する顔画像認識部と、
前記顔画像の認識結果に基づいて表情に関わる感情を特定する第１感情特定部と、
前記動画データに係る音声を解析する音声解析部と、
前記音声の解析結果に基づいて声に関わる感情を特定する第２感情特定部と、
前記第１感情特定部により特定された表情に関わる感情、及び前記第２感情特定部により特定された声に関わる感情の時系列的な変化に係る第１表示データを生成する生成部と、
前記第１表示データを前記端末装置に送信する送信部と、
前記表情に関わる感情、声に関わる感情について、各感情要素の割合に対応する診断コメントを記憶した記憶部と、
前記表情に関わる感情、及び前記声に関わる感情の各感情要素の割合に基づいて、前記記憶部より対応する診断コメントを特定する診断部と、を備え、
前記生成部は、診断コメントに関わる第２表示データを生成し、前記送信部は前記第２表示データを前記端末装置に送信し、
前記端末装置において、前記動画データ係る動画を再生させながら前記第１表示データに係る感情の時系列的な変化を表示させる
診断装置。
【請求項2】
前記表情に関わる感情は、怒り、軽蔑、嫌悪感、恐れ、幸せ、ニュートラル、悲しみ、及び驚きの少なくともいずれかの要素を二以上含み、
前記声に関わる感情は、穏やか、怒り、喜び、悲しみ、及びエネルギーの少なくともいずれかの要素を二以上含む
請求項１に記載の診断装置。
前記声に関わる感情は、穏やか、怒り、喜び、悲しみ、及びエネルギーの少なくともいずれかの要素を二以上含む
請求項１に記載の診断装置。
【請求項3】
心拍データを解析し心拍数を算出する心拍解析部と、
前記心拍数に基づいて心拍に関わる感情を特定する第３感情特定部と、を更に有し、
前記心拍に関わる感情は、リラックス、平常心、手中、及び緊張の少なくともいずれかの要素を二以上含んでおり、
前記診断部は、前記表情に関わる感情の各要素の占める割合、及び声に関わる感情の各要素の占める割合と共に、心拍に関わる感情の各要素の割合に基づいて、前記記憶部を参照して、対応する診断コメントを特定する
請求項２に記載の診断装置。
前記心拍数に基づいて心拍に関わる感情を特定する第３感情特定部と、を更に有し、
前記心拍に関わる感情は、リラックス、平常心、手中、及び緊張の少なくともいずれかの要素を二以上含んでおり、
前記診断部は、前記表情に関わる感情の各要素の占める割合、及び声に関わる感情の各要素の占める割合と共に、心拍に関わる感情の各要素の割合に基づいて、前記記憶部を参照して、対応する診断コメントを特定する
請求項２に記載の診断装置。
【請求項4】
端末装置と通信自在な診断装置による方法であって、
受付部が、前記端末装置から送られた動画データを受け付け、
顔画像認識部が、前記動画データに係る画像を解析し顔画像を認識し、
第１感情特定部が、前記顔画像の認識結果に基づいて表情に関わる感情を特定し、
音声解析部が、前記動画データに係る音声を解析し、
第２感情特定部が、前記音声の解析結果に基づいて声に関わる感情を特定し、
生成部が、前記第１感情特定部により特定された表情に関わる感情、及び前記第２感情特定部により特定された声に関わる感情の時系列的な変化に係る第１表示データを生成し、
送信部が、前記第１表示データを前記端末装置に送信し、
記憶部が、前記表情に関わる感情、声に関わる感情について、各感情要素の割合に対応する診断コメントを記憶しており、
診断部が、前記表情に関わる感情、及び前記声に関わる感情の各感情要素の割合に基づいて、前記記憶部より対応する診断コメントを特定し、
前記生成部は、診断コメントに関わる第２表示データを生成し、前記送信部は前記第２表示データを前記端末装置に送信し、
前記端末装置において、前記動画データ係る動画を再生させながら前記第１表示データに係る感情の時系列的な変化を表示させる
診断方法。
受付部が、前記端末装置から送られた動画データを受け付け、
顔画像認識部が、前記動画データに係る画像を解析し顔画像を認識し、
第１感情特定部が、前記顔画像の認識結果に基づいて表情に関わる感情を特定し、
音声解析部が、前記動画データに係る音声を解析し、
第２感情特定部が、前記音声の解析結果に基づいて声に関わる感情を特定し、
生成部が、前記第１感情特定部により特定された表情に関わる感情、及び前記第２感情特定部により特定された声に関わる感情の時系列的な変化に係る第１表示データを生成し、
送信部が、前記第１表示データを前記端末装置に送信し、
記憶部が、前記表情に関わる感情、声に関わる感情について、各感情要素の割合に対応する診断コメントを記憶しており、
診断部が、前記表情に関わる感情、及び前記声に関わる感情の各感情要素の割合に基づいて、前記記憶部より対応する診断コメントを特定し、
前記生成部は、診断コメントに関わる第２表示データを生成し、前記送信部は前記第２表示データを前記端末装置に送信し、
前記端末装置において、前記動画データ係る動画を再生させながら前記第１表示データに係る感情の時系列的な変化を表示させる
診断方法。
【請求項5】
前記表情に関わる感情は、怒り、軽蔑、嫌悪感、恐れ、幸せ、ニュートラル、悲しみ、及び驚きの少なくともいずれかの要素を二以上含み、
前記声に関わる感情は、穏やか、怒り、喜び、悲しみ、及びエネルギーの少なくともいずれかの要素を二以上含む
請求項４に記載の診断方法。
前記声に関わる感情は、穏やか、怒り、喜び、悲しみ、及びエネルギーの少なくともいずれかの要素を二以上含む
請求項４に記載の診断方法。
【請求項6】
心拍解析部が、心拍データを解析し心拍数を算出し、
第３感情特定部が、前記心拍数に基づいて心拍に関わる感情を特定し、
前記心拍に関わる感情は、リラックス、平常心、手中、及び緊張の少なくともいずれかの要素を二以上含んでおり、
前記診断部は、前記表情に関わる感情の各要素の占める割合、及び声に関わる感情の各要素の占める割合と共に、心拍に関わる感情の各要素の割合に基づいて、前記記憶部を参照して、対応する診断コメントを特定する
請求項５に記載の診断方法。
第３感情特定部が、前記心拍数に基づいて心拍に関わる感情を特定し、
前記心拍に関わる感情は、リラックス、平常心、手中、及び緊張の少なくともいずれかの要素を二以上含んでおり、
前記診断部は、前記表情に関わる感情の各要素の占める割合、及び声に関わる感情の各要素の占める割合と共に、心拍に関わる感情の各要素の割合に基づいて、前記記憶部を参照して、対応する診断コメントを特定する
請求項５に記載の診断方法。
【請求項7】
端末装置と診断装置とからなる診断システムであって、
前記端末装置は、
前記診断装置に動画データを送信する第１送信部と、
前記診断装置からの表示データを受信する受信部と、
前記表示データを表示する表示部と、
を有し、
前記診断装置は、
前記端末装置から送られた動画データを受け付ける受付部と、
前記動画データに係る画像を解析し顔画像を認識する顔画像認識部と、
前記顔画像の認識結果に基づいて表情に関わる感情を特定する第１感情特定部と、
前記動画データに係る音声を解析する音声解析部と、
前記音声の解析結果に基づいて声に関わる感情を特定する第２感情特定部と、
前記第１感情特定部により特定された表情に関わる感情、及び前記第２感情特定部により特定された声に関わる感情の時系列的な変化に係る第１表示データを生成する生成部と、
前記第１表示データを前記端末装置に送信する第２送信部と、
前記表情に関わる感情、声に関わる感情について、各感情要素の割合に対応する診断コメントを記憶した記憶部と、
前記表情に関わる感情、及び前記声に関わる感情の各感情要素の割合に基づいて、前記記憶部より対応する診断コメントを特定する診断部と、
を有し、
前記生成部は、診断コメントに関わる第２表示データを生成し、前記送信部は前記第２表示データを前記端末装置に送信し、
前記端末装置において、前記表示部で前記動画データに基づく動画の再生しながら前記第１表示データに基づく感情の時系列的な変化の表示を行う
診断システム。
前記端末装置は、
前記診断装置に動画データを送信する第１送信部と、
前記診断装置からの表示データを受信する受信部と、
前記表示データを表示する表示部と、
を有し、
前記診断装置は、
前記端末装置から送られた動画データを受け付ける受付部と、
前記動画データに係る画像を解析し顔画像を認識する顔画像認識部と、
前記顔画像の認識結果に基づいて表情に関わる感情を特定する第１感情特定部と、
前記動画データに係る音声を解析する音声解析部と、
前記音声の解析結果に基づいて声に関わる感情を特定する第２感情特定部と、
前記第１感情特定部により特定された表情に関わる感情、及び前記第２感情特定部により特定された声に関わる感情の時系列的な変化に係る第１表示データを生成する生成部と、
前記第１表示データを前記端末装置に送信する第２送信部と、
前記表情に関わる感情、声に関わる感情について、各感情要素の割合に対応する診断コメントを記憶した記憶部と、
前記表情に関わる感情、及び前記声に関わる感情の各感情要素の割合に基づいて、前記記憶部より対応する診断コメントを特定する診断部と、
を有し、
前記生成部は、診断コメントに関わる第２表示データを生成し、前記送信部は前記第２表示データを前記端末装置に送信し、
前記端末装置において、前記表示部で前記動画データに基づく動画の再生しながら前記第１表示データに基づく感情の時系列的な変化の表示を行う
診断システム。
【請求項8】
前記表情に関わる感情は、怒り、軽蔑、嫌悪感、恐れ、幸せ、ニュートラル、悲しみ、及び驚きの少なくともいずれかの要素を二以上含み、
前記声に関わる感情は、穏やか、怒り、喜び、悲しみ、及びエネルギーの少なくともいずれかの要素を二以上含む
請求項７に記載の診断システム。
前記声に関わる感情は、穏やか、怒り、喜び、悲しみ、及びエネルギーの少なくともいずれかの要素を二以上含む
請求項７に記載の診断システム。
【請求項9】
前記診断装置は、
心拍データを解析し心拍数を算出する心拍解析部と、
前記心拍数に基づいて心拍に関わる感情を特定する第３感情特定部と、を更に有し、
前記心拍に関わる感情は、リラックス、平常心、手中、及び緊張の少なくともいずれかの要素を二以上含んでおり、
前記診断部は、前記表情に関わる感情の各要素の占める割合、及び声に関わる感情の各要素の占める割合と共に、心拍に関わる感情の各要素の割合に基づいて、前記記憶部を参照して、対応する診断コメントを特定する
請求項８に記載の診断システム。
心拍データを解析し心拍数を算出する心拍解析部と、
前記心拍数に基づいて心拍に関わる感情を特定する第３感情特定部と、を更に有し、
前記心拍に関わる感情は、リラックス、平常心、手中、及び緊張の少なくともいずれかの要素を二以上含んでおり、
前記診断部は、前記表情に関わる感情の各要素の占める割合、及び声に関わる感情の各要素の占める割合と共に、心拍に関わる感情の各要素の割合に基づいて、前記記憶部を参照して、対応する診断コメントを特定する
請求項８に記載の診断システム。
【請求項10】
端末装置と通信自在なコンピュータにより実行されるプログラムであって、
前記コンピュータを、
前記端末装置から送られた動画データを受け付ける受付部、
前記動画データに係る画像を解析し顔画像を認識する顔画像認識部、
前記顔画像の認識結果に基づいて表情に関わる感情を特定する第１感情特定部、
前記動画データに係る音声を解析する音声解析部、
前記音声の解析結果に基づいて声に関わる感情を特定する第２感情特定部、
前記第１感情特定部により特定された表情に関わる感情、及び前記第２感情特定部により特定された声に関わる感情の時系列的な変化に係る第１表示データを生成する生成部、
前記第１表示データを前記端末装置に送信する送信部、
前記表情に関わる感情、声に関わる感情について、各感情要素の割合に対応する診断コメントを記憶した記憶部、及び、
前記表情に関わる感情、及び前記声に関わる感情の各感情要素の割合に基づいて、前記記憶部より対応する診断コメントを特定する診断部、として機能させ、
前記生成部は、診断コメントに関わる第２表示データを生成し、前記送信部は前記第２表示データを前記端末装置に送信し、
前記端末装置において、前記表示部で前記動画データに基づく動画を再生させながら前記第１表示データに基づく感情の時系列的な変化を表示させる
プログラム。
前記コンピュータを、
前記端末装置から送られた動画データを受け付ける受付部、
前記動画データに係る画像を解析し顔画像を認識する顔画像認識部、
前記顔画像の認識結果に基づいて表情に関わる感情を特定する第１感情特定部、
前記動画データに係る音声を解析する音声解析部、
前記音声の解析結果に基づいて声に関わる感情を特定する第２感情特定部、
前記第１感情特定部により特定された表情に関わる感情、及び前記第２感情特定部により特定された声に関わる感情の時系列的な変化に係る第１表示データを生成する生成部、
前記第１表示データを前記端末装置に送信する送信部、
前記表情に関わる感情、声に関わる感情について、各感情要素の割合に対応する診断コメントを記憶した記憶部、及び、
前記表情に関わる感情、及び前記声に関わる感情の各感情要素の割合に基づいて、前記記憶部より対応する診断コメントを特定する診断部、として機能させ、
前記生成部は、診断コメントに関わる第２表示データを生成し、前記送信部は前記第２表示データを前記端末装置に送信し、
前記端末装置において、前記表示部で前記動画データに基づく動画を再生させながら前記第１表示データに基づく感情の時系列的な変化を表示させる
プログラム。
【請求項11】
前記表情に関わる感情は、怒り、軽蔑、嫌悪感、恐れ、幸せ、ニュートラル、悲しみ、及び驚きの少なくともいずれかの要素を二以上含み、
前記声に関わる感情は、穏やか、怒り、喜び、悲しみ、及びエネルギーの少なくともいずれかの要素を二以上含む
請求項１０に記載のプログラム。
前記声に関わる感情は、穏やか、怒り、喜び、悲しみ、及びエネルギーの少なくともいずれかの要素を二以上含む
請求項１０に記載のプログラム。
【請求項12】
前記コンピュータを、
心拍データを解析し心拍数を算出する心拍解析部、及び
前記心拍数に基づいて心拍に関わる感情を特定する第３感情特定部としても機能させ、
前記心拍に関わる感情は、リラックス、平常心、手中、及び緊張の少なくともいずれかの要素を二以上含んでおり、
前記診断部は、前記表情に関わる感情の各要素の占める割合、及び声に関わる感情の各要素の占める割合と共に、心拍に関わる感情の各要素の割合に基づいて、前記記憶部を参照して、対応する診断コメントを特定する
請求項１１に記載のプログラム。
心拍データを解析し心拍数を算出する心拍解析部、及び
前記心拍数に基づいて心拍に関わる感情を特定する第３感情特定部としても機能させ、
前記心拍に関わる感情は、リラックス、平常心、手中、及び緊張の少なくともいずれかの要素を二以上含んでおり、
前記診断部は、前記表情に関わる感情の各要素の占める割合、及び声に関わる感情の各要素の占める割合と共に、心拍に関わる感情の各要素の割合に基づいて、前記記憶部を参照して、対応する診断コメントを特定する
請求項１１に記載のプログラム。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【0007】
上記課題を解決するため、本発明の第１の態様に係る診断装置は、端末装置と通信自在な診断装置であって、前記端末装置から送られた動画データを受け付ける受付部と、前記動画データに係る画像を解析し顔画像を認識する顔画像認識部と、前記顔画像の認識結果に基づいて表情に関わる感情を特定する第１感情特定部と、前記動画データに係る音声を解析する音声解析部と、前記音声の解析結果に基づいて声に関わる感情を特定する第２感情特定部と、前記第１感情特定部により特定された表情に関わる感情、及び前記第２感情特定部により特定された声に関わる感情の時系列的な変化に係る第１表示データを生成する生成部と、前記第１表示データを前記端末装置に送信する送信部と、前記表情に関わる感情、声に関わる感情について、各感情要素の割合に対応する診断コメントを記憶した記憶部と、前記表情に関わる感情、及び前記声に関わる感情の各感情要素の割合に基づいて、前記記憶部より対応する診断コメントを特定する診断部と、を備え、前記生成部は、診断コメントに関わる第２表示データを生成し、前記送信部は前記第２表示データを前記端末装置に送信し、前記端末装置において、前記動画データ係る動画を再生させながら前記第１表示データに係る感情の時系列的な変化を表示させる。
【手続補正3】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【0008】
本発明の第２の態様に係る診断方法は、端末装置と通信自在な診断装置による方法であって、受付部が、前記端末装置から送られた動画データを受け付け、顔画像認識部が、前記動画データに係る画像を解析し顔画像を認識し、第１感情特定部が、前記顔画像の認識結果に基づいて表情に関わる感情を特定し、音声解析部が、前記動画データに係る音声を解析し、第２感情特定部が、前記音声の解析結果に基づいて声に関わる感情を特定し、生成部が、前記第１感情特定部により特定された表情に関わる感情、及び前記第２感情特定部により特定された声に関わる感情の時系列的な変化に係る第１表示データを生成し、送信部が、前記第１表示データを前記端末装置に送信し、記憶部が、前記表情に関わる感情、声に関わる感情について、各感情要素の割合に対応する診断コメントを記憶しており、診断部が、前記表情に関わる感情、及び前記声に関わる感情の各感情要素の割合に基づいて、前記記憶部より対応する診断コメントを特定し、前記生成部は、診断コメントに関わる第２表示データを生成し、前記送信部は前記第２表示データを前記端末装置に送信し、前記端末装置において、前記動画データ係る動画を再生させながら前記第１表示データに係る感情の時系列的な変化を表示させる。
【手続補正4】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【0009】
本発明の第３の態様に係る診断システムは、端末装置と診断装置とからなる診断システムであって、前記端末装置は、前記診断装置に動画データを送信する第１送信部と、前記診断装置からの表示データを受信する受信部と、前記表示データを表示する表示部と、を有し、前記診断装置は、前記端末装置から送られた動画データを受け付ける受付部と、前記動画データに係る画像を解析し顔画像を認識する顔画像認識部と、前記顔画像の認識結果に基づいて表情に関わる感情を特定する第１感情特定部と、前記動画データに係る音声を解析する音声解析部と、前記音声の解析結果に基づいて声に関わる感情を特定する第２感情特定部と、前記第１感情特定部により特定された表情に関わる感情、及び前記第２感情特定部により特定された声に関わる感情の時系列的な変化に係る第１表示データを生成する生成部と、前記第１表示データを前記端末装置に送信する第２送信部と、前記表情に関わる感情、声に関わる感情について、各感情要素の割合に対応する診断コメントを記憶した記憶部と、
前記表情に関わる感情、及び前記声に関わる感情の各感情要素の割合に基づいて、前記記憶部より対応する診断コメントを特定する診断部と、を有し、前記生成部は、診断コメントに関わる第２表示データを生成し、前記送信部は前記第２表示データを前記端末装置に送信し、前記端末装置において、前記表示部で前記動画データに基づく動画の再生しながら前記第１表示データに基づく感情の時系列的な変化の表示を行う。
前記表情に関わる感情、及び前記声に関わる感情の各感情要素の割合に基づいて、前記記憶部より対応する診断コメントを特定する診断部と、を有し、前記生成部は、診断コメントに関わる第２表示データを生成し、前記送信部は前記第２表示データを前記端末装置に送信し、前記端末装置において、前記表示部で前記動画データに基づく動画の再生しながら前記第１表示データに基づく感情の時系列的な変化の表示を行う。
【手続補正5】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【0010】
本発明の第４の態様に係るプログラムは、端末装置と通信自在なコンピュータにより実行されるプログラムであって、前記コンピュータを、前記端末装置から送られた動画データを受け付ける受付部、前記動画データに係る画像を解析し顔画像を認識する顔画像認識部、前記顔画像の認識結果に基づいて表情に関わる感情を特定する第１感情特定部、前記動画データに係る音声を解析する音声解析部、前記音声の解析結果に基づいて声に関わる感情を特定する第２感情特定部、前記第１感情特定部により特定された表情に関わる感情、及び前記第２感情特定部により特定された声に関わる感情の時系列的な変化に係る第１表示データを生成する生成部、前記第１表示データを前記端末装置に送信する送信部、前記表情に関わる感情、声に関わる感情について、各感情要素の割合に対応する診断コメントを記憶した記憶部、及び、前記表情に関わる感情、及び前記声に関わる感情の各感情要素の割合に基づいて、前記記憶部より対応する診断コメントを特定する診断部、として機能させ、前記生成部は、診断コメントに関わる第２表示データを生成し、前記送信部は前記第２表示データを前記端末装置に送信し、前記端末装置において、前記表示部で前記動画データに基づく動画を再生させながら前記第１表示データに基づく感情の時系列的な変化を表示させる。
【手続補正書】
【提出日】2021-09-22
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
端末装置と通信自在な診断装置であって、
前記端末装置から送られた動画データを受け付ける受付部と、
前記動画データに係る画像を解析し顔画像を認識する顔画像認識部と、
前記顔画像の認識結果に基づいて表情に関わる感情を特定する第１感情特定部と、
前記動画データに係る音声を解析する音声解析部と、
前記音声の解析結果に基づいて声に関わる感情を特定する第２感情特定部と、
前記第１感情特定部により特定された表情に関わる感情、及び前記第２感情特定部により特定された声に関わる感情の時系列的な変化に係る第１表示データを生成する生成部と、
前記第１表示データを前記端末装置に送信する送信部と、
前記表情に関わる感情、声に関わる感情について、各感情要素の割合に対応する診断コメントを記憶した記憶部と、
前記表情に関わる感情、及び前記声に関わる感情の各感情要素の割合に基づいて、前記記憶部より対応する診断コメントを特定する診断部と、を備え、
前記生成部は、診断コメントに関わる第２表示データを生成し、前記送信部は前記第２表示データを前記端末装置に送信し、
前記端末装置において、前記動画データに係る動画を再生させながら前記第１表示データに係る感情の時系列的な変化を表示させる
診断装置。
前記端末装置から送られた動画データを受け付ける受付部と、
前記動画データに係る画像を解析し顔画像を認識する顔画像認識部と、
前記顔画像の認識結果に基づいて表情に関わる感情を特定する第１感情特定部と、
前記動画データに係る音声を解析する音声解析部と、
前記音声の解析結果に基づいて声に関わる感情を特定する第２感情特定部と、
前記第１感情特定部により特定された表情に関わる感情、及び前記第２感情特定部により特定された声に関わる感情の時系列的な変化に係る第１表示データを生成する生成部と、
前記第１表示データを前記端末装置に送信する送信部と、
前記表情に関わる感情、声に関わる感情について、各感情要素の割合に対応する診断コメントを記憶した記憶部と、
前記表情に関わる感情、及び前記声に関わる感情の各感情要素の割合に基づいて、前記記憶部より対応する診断コメントを特定する診断部と、を備え、
前記生成部は、診断コメントに関わる第２表示データを生成し、前記送信部は前記第２表示データを前記端末装置に送信し、
前記端末装置において、前記動画データに係る動画を再生させながら前記第１表示データに係る感情の時系列的な変化を表示させる
診断装置。
【請求項2】
前記表情に関わる感情は、怒り、軽蔑、嫌悪感、恐れ、幸せ、ニュートラル、悲しみ、及び驚きの少なくともいずれかの要素を二以上含み、
前記声に関わる感情は、穏やか、怒り、喜び、悲しみ、及びエネルギーの少なくともいずれかの要素を二以上含む
請求項１に記載の診断装置。
前記声に関わる感情は、穏やか、怒り、喜び、悲しみ、及びエネルギーの少なくともいずれかの要素を二以上含む
請求項１に記載の診断装置。
【請求項3】
心拍データを解析し心拍数を算出する心拍解析部と、
前記心拍数に基づいて心拍に関わる感情を特定する第３感情特定部と、を更に有し、
前記心拍に関わる感情は、リラックス、平常心、手中、及び緊張の少なくともいずれかの要素を二以上含んでおり、
前記診断部は、前記表情に関わる感情の各要素の占める割合、及び声に関わる感情の各要素の占める割合と共に、心拍に関わる感情の各要素の割合に基づいて、前記記憶部を参照して、対応する診断コメントを特定する
請求項２に記載の診断装置。
前記心拍数に基づいて心拍に関わる感情を特定する第３感情特定部と、を更に有し、
前記心拍に関わる感情は、リラックス、平常心、手中、及び緊張の少なくともいずれかの要素を二以上含んでおり、
前記診断部は、前記表情に関わる感情の各要素の占める割合、及び声に関わる感情の各要素の占める割合と共に、心拍に関わる感情の各要素の割合に基づいて、前記記憶部を参照して、対応する診断コメントを特定する
請求項２に記載の診断装置。
【請求項4】
端末装置と通信自在な診断装置による方法であって、
受付部が、前記端末装置から送られた動画データを受け付け、
顔画像認識部が、前記動画データに係る画像を解析し顔画像を認識し、
第１感情特定部が、前記顔画像の認識結果に基づいて表情に関わる感情を特定し、
音声解析部が、前記動画データに係る音声を解析し、
第２感情特定部が、前記音声の解析結果に基づいて声に関わる感情を特定し、
生成部が、前記第１感情特定部により特定された表情に関わる感情、及び前記第２感情特定部により特定された声に関わる感情の時系列的な変化に係る第１表示データを生成し、
送信部が、前記第１表示データを前記端末装置に送信し、
記憶部が、前記表情に関わる感情、声に関わる感情について、各感情要素の割合に対応する診断コメントを記憶しており、
診断部が、前記表情に関わる感情、及び前記声に関わる感情の各感情要素の割合に基づいて、前記記憶部より対応する診断コメントを特定し、
前記生成部は、診断コメントに関わる第２表示データを生成し、前記送信部は前記第２表示データを前記端末装置に送信し、
前記端末装置において、前記動画データに係る動画を再生させながら前記第１表示データに係る感情の時系列的な変化を表示させる
診断方法。
受付部が、前記端末装置から送られた動画データを受け付け、
顔画像認識部が、前記動画データに係る画像を解析し顔画像を認識し、
第１感情特定部が、前記顔画像の認識結果に基づいて表情に関わる感情を特定し、
音声解析部が、前記動画データに係る音声を解析し、
第２感情特定部が、前記音声の解析結果に基づいて声に関わる感情を特定し、
生成部が、前記第１感情特定部により特定された表情に関わる感情、及び前記第２感情特定部により特定された声に関わる感情の時系列的な変化に係る第１表示データを生成し、
送信部が、前記第１表示データを前記端末装置に送信し、
記憶部が、前記表情に関わる感情、声に関わる感情について、各感情要素の割合に対応する診断コメントを記憶しており、
診断部が、前記表情に関わる感情、及び前記声に関わる感情の各感情要素の割合に基づいて、前記記憶部より対応する診断コメントを特定し、
前記生成部は、診断コメントに関わる第２表示データを生成し、前記送信部は前記第２表示データを前記端末装置に送信し、
前記端末装置において、前記動画データに係る動画を再生させながら前記第１表示データに係る感情の時系列的な変化を表示させる
診断方法。
【請求項5】
前記表情に関わる感情は、怒り、軽蔑、嫌悪感、恐れ、幸せ、ニュートラル、悲しみ、及び驚きの少なくともいずれかの要素を二以上含み、
前記声に関わる感情は、穏やか、怒り、喜び、悲しみ、及びエネルギーの少なくともいずれかの要素を二以上含む
請求項４に記載の診断方法。
前記声に関わる感情は、穏やか、怒り、喜び、悲しみ、及びエネルギーの少なくともいずれかの要素を二以上含む
請求項４に記載の診断方法。
【請求項6】
心拍解析部が、心拍データを解析し心拍数を算出し、
第３感情特定部が、前記心拍数に基づいて心拍に関わる感情を特定し、
前記心拍に関わる感情は、リラックス、平常心、手中、及び緊張の少なくともいずれかの要素を二以上含んでおり、
前記診断部は、前記表情に関わる感情の各要素の占める割合、及び声に関わる感情の各要素の占める割合と共に、心拍に関わる感情の各要素の割合に基づいて、前記記憶部を参照して、対応する診断コメントを特定する
請求項５に記載の診断方法。
第３感情特定部が、前記心拍数に基づいて心拍に関わる感情を特定し、
前記心拍に関わる感情は、リラックス、平常心、手中、及び緊張の少なくともいずれかの要素を二以上含んでおり、
前記診断部は、前記表情に関わる感情の各要素の占める割合、及び声に関わる感情の各要素の占める割合と共に、心拍に関わる感情の各要素の割合に基づいて、前記記憶部を参照して、対応する診断コメントを特定する
請求項５に記載の診断方法。
【請求項7】
端末装置と診断装置とからなる診断システムであって、
前記端末装置は、
前記診断装置に動画データを送信する第１送信部と、
前記診断装置からの表示データを受信する受信部と、
前記表示データを表示する表示部と、
を有し、
前記診断装置は、
前記端末装置から送られた動画データを受け付ける受付部と、
前記動画データに係る画像を解析し顔画像を認識する顔画像認識部と、
前記顔画像の認識結果に基づいて表情に関わる感情を特定する第１感情特定部と、
前記動画データに係る音声を解析する音声解析部と、
前記音声の解析結果に基づいて声に関わる感情を特定する第２感情特定部と、
前記第１感情特定部により特定された表情に関わる感情、及び前記第２感情特定部により特定された声に関わる感情の時系列的な変化に係る第１表示データを生成する生成部と、
前記第１表示データを前記端末装置に送信する第２送信部と、
前記表情に関わる感情、声に関わる感情について、各感情要素の割合に対応する診断コメントを記憶した記憶部と、
前記表情に関わる感情、及び前記声に関わる感情の各感情要素の割合に基づいて、前記記憶部より対応する診断コメントを特定する診断部と、
を有し、
前記生成部は、診断コメントに関わる第２表示データを生成し、前記第２送信部は前記第２表示データを前記端末装置に送信し、
前記端末装置において、前記表示部で前記動画データに基づく動画の再生しながら前記第１表示データに基づく感情の時系列的な変化の表示を行う
診断システム。
前記端末装置は、
前記診断装置に動画データを送信する第１送信部と、
前記診断装置からの表示データを受信する受信部と、
前記表示データを表示する表示部と、
を有し、
前記診断装置は、
前記端末装置から送られた動画データを受け付ける受付部と、
前記動画データに係る画像を解析し顔画像を認識する顔画像認識部と、
前記顔画像の認識結果に基づいて表情に関わる感情を特定する第１感情特定部と、
前記動画データに係る音声を解析する音声解析部と、
前記音声の解析結果に基づいて声に関わる感情を特定する第２感情特定部と、
前記第１感情特定部により特定された表情に関わる感情、及び前記第２感情特定部により特定された声に関わる感情の時系列的な変化に係る第１表示データを生成する生成部と、
前記第１表示データを前記端末装置に送信する第２送信部と、
前記表情に関わる感情、声に関わる感情について、各感情要素の割合に対応する診断コメントを記憶した記憶部と、
前記表情に関わる感情、及び前記声に関わる感情の各感情要素の割合に基づいて、前記記憶部より対応する診断コメントを特定する診断部と、
を有し、
前記生成部は、診断コメントに関わる第２表示データを生成し、前記第２送信部は前記第２表示データを前記端末装置に送信し、
前記端末装置において、前記表示部で前記動画データに基づく動画の再生しながら前記第１表示データに基づく感情の時系列的な変化の表示を行う
診断システム。
【請求項8】
前記表情に関わる感情は、怒り、軽蔑、嫌悪感、恐れ、幸せ、ニュートラル、悲しみ、及び驚きの少なくともいずれかの要素を二以上含み、
前記声に関わる感情は、穏やか、怒り、喜び、悲しみ、及びエネルギーの少なくともいずれかの要素を二以上含む
請求項７に記載の診断システム。
前記声に関わる感情は、穏やか、怒り、喜び、悲しみ、及びエネルギーの少なくともいずれかの要素を二以上含む
請求項７に記載の診断システム。
【請求項9】
前記診断装置は、
心拍データを解析し心拍数を算出する心拍解析部と、
前記心拍数に基づいて心拍に関わる感情を特定する第３感情特定部と、を更に有し、
前記心拍に関わる感情は、リラックス、平常心、手中、及び緊張の少なくともいずれかの要素を二以上含んでおり、
前記診断部は、前記表情に関わる感情の各要素の占める割合、及び声に関わる感情の各要素の占める割合と共に、心拍に関わる感情の各要素の割合に基づいて、前記記憶部を参照して、対応する診断コメントを特定する
請求項８に記載の診断システム。
心拍データを解析し心拍数を算出する心拍解析部と、
前記心拍数に基づいて心拍に関わる感情を特定する第３感情特定部と、を更に有し、
前記心拍に関わる感情は、リラックス、平常心、手中、及び緊張の少なくともいずれかの要素を二以上含んでおり、
前記診断部は、前記表情に関わる感情の各要素の占める割合、及び声に関わる感情の各要素の占める割合と共に、心拍に関わる感情の各要素の割合に基づいて、前記記憶部を参照して、対応する診断コメントを特定する
請求項８に記載の診断システム。
【請求項10】
表示部を有する端末装置と通信自在なコンピュータにより実行されるプログラムであって、
前記コンピュータを、
前記端末装置から送られた動画データを受け付ける受付部、
前記動画データに係る画像を解析し顔画像を認識する顔画像認識部、
前記顔画像の認識結果に基づいて表情に関わる感情を特定する第１感情特定部、
前記動画データに係る音声を解析する音声解析部、
前記音声の解析結果に基づいて声に関わる感情を特定する第２感情特定部、
前記第１感情特定部により特定された表情に関わる感情、及び前記第２感情特定部により特定された声に関わる感情の時系列的な変化に係る第１表示データを生成する生成部、
前記第１表示データを前記端末装置に送信する送信部、
前記表情に関わる感情、声に関わる感情について、各感情要素の割合に対応する診断コメントを記憶した記憶部、及び、
前記表情に関わる感情、及び前記声に関わる感情の各感情要素の割合に基づいて、前記記憶部より対応する診断コメントを特定する診断部、として機能させ、
前記生成部は、診断コメントに関わる第２表示データを生成し、前記送信部は前記第２表示データを前記端末装置に送信し、
前記端末装置において、前記表示部で前記動画データに基づく動画を再生させながら前記第１表示データに基づく感情の時系列的な変化を表示させる
プログラム。
前記コンピュータを、
前記端末装置から送られた動画データを受け付ける受付部、
前記動画データに係る画像を解析し顔画像を認識する顔画像認識部、
前記顔画像の認識結果に基づいて表情に関わる感情を特定する第１感情特定部、
前記動画データに係る音声を解析する音声解析部、
前記音声の解析結果に基づいて声に関わる感情を特定する第２感情特定部、
前記第１感情特定部により特定された表情に関わる感情、及び前記第２感情特定部により特定された声に関わる感情の時系列的な変化に係る第１表示データを生成する生成部、
前記第１表示データを前記端末装置に送信する送信部、
前記表情に関わる感情、声に関わる感情について、各感情要素の割合に対応する診断コメントを記憶した記憶部、及び、
前記表情に関わる感情、及び前記声に関わる感情の各感情要素の割合に基づいて、前記記憶部より対応する診断コメントを特定する診断部、として機能させ、
前記生成部は、診断コメントに関わる第２表示データを生成し、前記送信部は前記第２表示データを前記端末装置に送信し、
前記端末装置において、前記表示部で前記動画データに基づく動画を再生させながら前記第１表示データに基づく感情の時系列的な変化を表示させる
プログラム。
【請求項11】
前記表情に関わる感情は、怒り、軽蔑、嫌悪感、恐れ、幸せ、ニュートラル、悲しみ、及び驚きの少なくともいずれかの要素を二以上含み、
前記声に関わる感情は、穏やか、怒り、喜び、悲しみ、及びエネルギーの少なくともいずれかの要素を二以上含む
請求項１０に記載のプログラム。
前記声に関わる感情は、穏やか、怒り、喜び、悲しみ、及びエネルギーの少なくともいずれかの要素を二以上含む
請求項１０に記載のプログラム。
【請求項12】
前記コンピュータを、
心拍データを解析し心拍数を算出する心拍解析部、及び
前記心拍数に基づいて心拍に関わる感情を特定する第３感情特定部としても機能させ、
前記心拍に関わる感情は、リラックス、平常心、手中、及び緊張の少なくともいずれかの要素を二以上含んでおり、
前記診断部は、前記表情に関わる感情の各要素の占める割合、及び声に関わる感情の各要素の占める割合と共に、心拍に関わる感情の各要素の割合に基づいて、前記記憶部を参照して、対応する診断コメントを特定する
請求項１１に記載のプログラム。
心拍データを解析し心拍数を算出する心拍解析部、及び
前記心拍数に基づいて心拍に関わる感情を特定する第３感情特定部としても機能させ、
前記心拍に関わる感情は、リラックス、平常心、手中、及び緊張の少なくともいずれかの要素を二以上含んでおり、
前記診断部は、前記表情に関わる感情の各要素の占める割合、及び声に関わる感情の各要素の占める割合と共に、心拍に関わる感情の各要素の割合に基づいて、前記記憶部を参照して、対応する診断コメントを特定する
請求項１１に記載のプログラム。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【0007】
上記課題を解決するため、本発明の第１の態様に係る診断装置は、端末装置と通信自在な診断装置であって、前記端末装置から送られた動画データを受け付ける受付部と、前記動画データに係る画像を解析し顔画像を認識する顔画像認識部と、前記顔画像の認識結果に基づいて表情に関わる感情を特定する第１感情特定部と、前記動画データに係る音声を解析する音声解析部と、前記音声の解析結果に基づいて声に関わる感情を特定する第２感情特定部と、前記第１感情特定部により特定された表情に関わる感情、及び前記第２感情特定部により特定された声に関わる感情の時系列的な変化に係る第１表示データを生成する生成部と、前記第１表示データを前記端末装置に送信する送信部と、前記表情に関わる感情、声に関わる感情について、各感情要素の割合に対応する診断コメントを記憶した記憶部と、前記表情に関わる感情、及び前記声に関わる感情の各感情要素の割合に基づいて、前記記憶部より対応する診断コメントを特定する診断部と、を備え、前記生成部は、診断コメントに関わる第２表示データを生成し、前記送信部は前記第２表示データを前記端末装置に送信し、前記端末装置において、前記動画データに係る動画を再生させながら前記第１表示データに係る感情の時系列的な変化を表示させる。
【手続補正3】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【0008】
本発明の第２の態様に係る診断方法は、端末装置と通信自在な診断装置による方法であって、受付部が、前記端末装置から送られた動画データを受け付け、顔画像認識部が、前記動画データに係る画像を解析し顔画像を認識し、第１感情特定部が、前記顔画像の認識結果に基づいて表情に関わる感情を特定し、音声解析部が、前記動画データに係る音声を解析し、第２感情特定部が、前記音声の解析結果に基づいて声に関わる感情を特定し、生成部が、前記第１感情特定部により特定された表情に関わる感情、及び前記第２感情特定部により特定された声に関わる感情の時系列的な変化に係る第１表示データを生成し、送信部が、前記第１表示データを前記端末装置に送信し、記憶部が、前記表情に関わる感情、声に関わる感情について、各感情要素の割合に対応する診断コメントを記憶しており、診断部が、前記表情に関わる感情、及び前記声に関わる感情の各感情要素の割合に基づいて、前記記憶部より対応する診断コメントを特定し、前記生成部は、診断コメントに関わる第２表示データを生成し、前記送信部は前記第２表示データを前記端末装置に送信し、前記端末装置において、前記動画データに係る動画を再生させながら前記第１表示データに係る感情の時系列的な変化を表示させる。
【手続補正4】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【0009】
本発明の第３の態様に係る診断システムは、端末装置と診断装置とからなる診断システムであって、前記端末装置は、前記診断装置に動画データを送信する第１送信部と、前記診断装置からの表示データを受信する受信部と、前記表示データを表示する表示部と、を有し、前記診断装置は、前記端末装置から送られた動画データを受け付ける受付部と、前記動画データに係る画像を解析し顔画像を認識する顔画像認識部と、前記顔画像の認識結果に基づいて表情に関わる感情を特定する第１感情特定部と、前記動画データに係る音声を解析する音声解析部と、前記音声の解析結果に基づいて声に関わる感情を特定する第２感情特定部と、前記第１感情特定部により特定された表情に関わる感情、及び前記第２感情特定部により特定された声に関わる感情の時系列的な変化に係る第１表示データを生成する生成部と、前記第１表示データを前記端末装置に送信する第２送信部と、前記表情に関わる感情、声に関わる感情について、各感情要素の割合に対応する診断コメントを記憶した記憶部と、
前記表情に関わる感情、及び前記声に関わる感情の各感情要素の割合に基づいて、前記記憶部より対応する診断コメントを特定する診断部と、を有し、前記生成部は、診断コメントに関わる第２表示データを生成し、前記第２送信部は前記第２表示データを前記端末装置に送信し、前記端末装置において、前記表示部で前記動画データに基づく動画の再生しながら前記第１表示データに基づく感情の時系列的な変化の表示を行う。
前記表情に関わる感情、及び前記声に関わる感情の各感情要素の割合に基づいて、前記記憶部より対応する診断コメントを特定する診断部と、を有し、前記生成部は、診断コメントに関わる第２表示データを生成し、前記第２送信部は前記第２表示データを前記端末装置に送信し、前記端末装置において、前記表示部で前記動画データに基づく動画の再生しながら前記第１表示データに基づく感情の時系列的な変化の表示を行う。
【手続補正5】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【0010】
本発明の第４の態様に係るプログラムは、表示部を有する端末装置と通信自在なコンピュータにより実行されるプログラムであって、前記コンピュータを、前記端末装置から送られた動画データを受け付ける受付部、前記動画データに係る画像を解析し顔画像を認識する顔画像認識部、前記顔画像の認識結果に基づいて表情に関わる感情を特定する第１感情特定部、前記動画データに係る音声を解析する音声解析部、前記音声の解析結果に基づいて声に関わる感情を特定する第２感情特定部、前記第１感情特定部により特定された表情に関わる感情、及び前記第２感情特定部により特定された声に関わる感情の時系列的な変化に係る第１表示データを生成する生成部、前記第１表示データを前記端末装置に送信する送信部、前記表情に関わる感情、声に関わる感情について、各感情要素の割合に対応する診断コメントを記憶した記憶部、及び、前記表情に関わる感情、及び前記声に関わる感情の各感情要素の割合に基づいて、前記記憶部より対応する診断コメントを特定する診断部、として機能させ、前記生成部は、診断コメントに関わる第２表示データを生成し、前記送信部は前記第２表示データを前記端末装置に送信し、前記端末装置において、前記表示部で前記動画データに基づく動画を再生させながら前記第１表示データに基づく感情の時系列的な変化を表示させる。