特開 2024-78838 情報処理装置、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024078838

(43)【公開日】2024-06-11

(54)【発明の名称】情報処理装置、及びプログラム

(51)【国際特許分類】

   G06Q 50/10 20120101AFI20240604BHJP

【ＦＩ】

G06Q50/10

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2022191413

(22)【出願日】2022-11-30

(71)【出願人】

【識別番号】000139780

【氏名又は名称】株式会社イトーキ

(71)【出願人】

【識別番号】502054196

【氏名又は名称】学校法人武蔵野大学

(74)【代理人】

【識別番号】100172502

【弁理士】

【氏名又は名称】黒瀧 眞輔

(74)【代理人】

【識別番号】100092679

【弁理士】

【氏名又は名称】樋口 盛之助

(72)【発明者】

【氏名】大橋 一広

(72)【発明者】

【氏名】秋山 恵

(72)【発明者】

【氏名】小笠原 豊

(72)【発明者】

【氏名】宮前 太一

(72)【発明者】

【氏名】福島 浩介

(72)【発明者】

【氏名】小澤 照

(72)【発明者】

【氏名】中西 崇文

(72)【発明者】

【氏名】岡田 龍太郎

(72)【発明者】

【氏名】大西 力登

(72)【発明者】

【氏名】村上 唯希

(72)【発明者】

【氏名】小宮 和真

【テーマコード（参考）】

5L049

5L050

【Ｆターム（参考）】

5L049CC12

5L050CC12

(57)【要約】

【課題】 コミュニケーションにおける映像及び／又は音声を付加的な情報と共に一括して出力する情報処理装置、及びプログラムを提供する。
【解決手段】
二以上の参加者によるコミュニケーションを支援又は／及び分析する情報処理装置が、参加者の各々が用いる参加者端末の撮影装置が撮影した映像を表示する映像領域と、参加者端末の音声入力装置に入力された音声に含まれる発話毎に参加者を示す参加者識別情報と共にテキストデータとして表示するトランスクリプション領域を備えるコミュニケーション画面を音声と同期して出力する。
【選択図】 図３

【特許請求の範囲】

【請求項1】

二以上の参加者によるコミュニケーションを支援又は／及び分析する情報処理装置であって、
前記二以上の参加者の各々が用いる参加者端末の撮影装置が撮影した映像を表示する映像領域と、
前記参加者端末の音声入力装置に入力された音声に含まれる前記参加者の発話を、前記発話毎に前記参加者を示す参加者識別情報と共にテキストデータとして表示するトランスクリプション領域と、
を備えるコミュニケーション画面と、
前記音声を同期して出力するコミュニケーション画面出力部
を備えることを特徴とする、情報処理装置。

【請求項2】

前記コミュニケーション画面出力部は、前記トランスクリプション領域に表示された前記参加者の発話が選択された場合に、該選択された発話の時点から前記映像の表示及び前記音声の出力を行う
ことを特徴とする、請求項１記載の映像処理装置。

【請求項3】

前記コミュニケーション画面は、さらに、前記トランスクリプション領域の表示を所定のフィルタ条件により絞り込むフィルタ領域を備え、
前記コミュニケーション画面出力部は、前記フィルタ条件に合致する前記参加者の発話を前記テキストデータとしてトランスクリプション領域に表示する
ことを特徴とする、請求項１記載の情報処理装置。

【請求項4】

前記コミュニケーション画面は、さらに、前記映像及び／又は発話について、一方の軸を前記コミュニケーションにおける時間とし、他方の軸を所定の分析値とするグラフを表示するグラフ領域を備え、
前記コミュニケーション画面出力部は、前記グラフ領域の前記時間軸における任意の位置が選択された場合に、該選択された位置の時点から前記映像の表示及び前記音声の出力を行う
ことを特徴とする、請求項１記載の情報処理装置。

【請求項5】

前記所定の分析値が、前記コミュニケーションにおける前記発話を所定の基準に基づいて分割したフェーズの各々において、新しい語がどれだけ発話されたかを示す鮮度値及び／又は前記コミュニケーションにおける全てのフェーズとの類似度を示す発散・収束値である
ことを特徴とする、請求項４記載の情報処理装置。

【請求項6】

前記所定の分析値が、所定の単位時間における前記参加者の体の動きの大きさ及び／又は多さを示すリアクション値である
ことを特徴とする、請求項４記載の情報処理装置。

【請求項7】

コンピュータを請求項１～６のいずれかに記載の情報処理装置として機能させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は情報処理装置、及びプログラムに関し、具体的にはコミュニケーションにおける映像及び／又は音声を付加的な情報と共に一括して出力する情報処理装置、及びプログラムに関する。

【背景技術】

【0002】

会議や議論その他のコミュニケーションにおいて録音した音声から文字の議事録を作成するいわゆる文字おこしを情報システムを用いて行う装置として、例えば特許文献１の音声認識装置が知られている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２２－１２１６４３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

昨今では、会議や議論等のコミュニケーションを情報システムを用いて行うことが広く行われている。情報システムを用いることで、遠隔地の参加者がコミュニケーションに参加できる他、映像や音声によりコミュニケーションの記録をすることができる。

【0005】

参加者同士がコミュニケーションを行う際、或いは、コミュニケーションの内容を事後的に確認する際には、従来技術により文字おこしした情報や、コミュニケーションの内容を分析した結果その他の付加的な情報を同時に閲覧することで、効率よくコミュニケーションを進める、或いは、効率よく振り返ることができる。しかしながら、従来技術では映像や音声の再生と、文字や分析結果の表示は別個の情報システムを操作して行うことが通常であり、煩雑な操作を要求する要因となっていた。

【0006】

本発明は前述の問題に鑑み、コミュニケーションにおける映像及び／又は音声を付加的な情報と共に一括して出力する情報処理装置、及びプログラムを提供することをその目的とするものである。

【課題を解決するための手段】

【0007】

前述の課題を解決することを課題としてなされた本発明に係る情報処理装置は、二以上の参加者によるコミュニケーションを支援又は／及び分析する情報処理装置であって、前記二以上の参加者の各々が用いる参加者端末の撮影装置が撮影した映像を表示する映像領域と、前記参加者端末の音声入力装置に入力された音声に含まれる前記参加者の発話を、前記発話毎に前記参加者を示す参加者識別情報と共にテキストデータとして表示するトランスクリプション領域と、を備えるコミュニケーション画面と、前記音声を同期して出力するコミュニケーション画面出力部を備えることを特徴としている。

【0008】

本発明に係る情報処理装置は、前記コミュニケーション画面出力部は、前記トランスクリプション領域に表示された前記参加者の発話が選択された場合に、該選択された発話の時点から前記映像の表示及び前記音声の出力を行うようにしてもよい。

【0009】

本発明に係る情報処理装置は、前記コミュニケーション画面は、さらに、前記トランスクリプション領域の表示を所定のフィルタ条件により絞り込むフィルタ領域を備え、前記コミュニケーション画面出力部は、前記フィルタ条件に合致する前記参加者の発話を前記テキストデータとしてトランスクリプション領域に表示するようにしてもよい。

【0010】

本発明に係る情報処理装置は、前記コミュニケーション画面は、さらに、前記映像及び／又は発話について、一方の軸を前記コミュニケーションにおける時間とし、他方の軸を所定の分析値とするグラフを表示するグラフ領域を備え、前記コミュニケーション画面出力部は、前記グラフ領域の前記時間軸における任意の位置が選択された場合に、該選択された位置の時点から前記映像の表示及び前記音声の出力を行うようにしてもよい。

【0011】

本発明に係る情報処理装置は、前記所定の分析値が、前記コミュニケーションにおける前記発話を所定の基準に基づいて分割したフェーズの各々において、新しい語がどれだけ発話されたかを示す鮮度値及び／又は前記コミュニケーションにおける全てのフェーズとの類似度を示す発散・収束値であるようにしてもよい。

【0012】

本発明に係る情報処理装置は、前記所定の分析値が、所定の単位時間における前記参加者の体の動きの大きさ及び／又は多さを示すリアクション値であるようにしてもよい。

【発明の効果】

【0013】

本発明の構成によれば、参加者端末の撮影装置が撮影した映像と、参加者端末の音声入力装置に入力された音声に含まれる発話のテキストデータを表示するコミュニケーション画面に、上記音声が同期して出力されるので、コミュニケーションにおける映像及び／又は音声を付加的な情報と共に一括して出力することができる。

【図面の簡単な説明】

【0014】

【図1】本発明の実施形態の一例における情報処理装置の構成を示す図である。

【図2】同実施形態の一例における、コミュニケーション画面の構成を示す図である。

【図3】同実施形態の一例における、鮮度値、発散・収束値、及び発話量の分析の流れを示すフロー図である。

【図4】同実施形態の一例における、コミュニケーション画面の発話を絞り込んだ例を示す図である。

【発明を実施するための形態】

【0015】

以下、本発明の実施形態の一例について、図面を参照しながら説明する。図１は、本発明の実施形態の一例に係る情報処理装置１の構成を示した図である。

【0016】

図１で示すように、本実施形態の一例における情報処理装置１は、コミュニケーション画面出力部１１と、映像入力部１２と、音声入力部１３と、音声出力部１４と、トランスクリプション部１５と、分析部１６と、を備えている。

【0017】

本実施形態の一例における情報処理装置１は、映像入力部１２及び音声入力部１３から入力されたコミュニケーションの映像及び音声を分析し、映像及び音声と、当該音声を文字に変換したテキストデータ及び所定の分析結果を付加情報として表示する装置である。映像及び音声は、コミュニケーションが行われている最中の映像や音声をリアルタイムで入力するものであってもよいし、或いは、コミュニケーションにおける映像及び音声を記録したものを事後的に入力するものであってもよい。本実施形態の一例では、ネットワーク３を介して通信可能に接続された参加者端末２から映像及び音声を入力し、これを分析して映像及び音声と共に参加者端末２に出力することで、コミュニケーションにおけるリアルタイムの分析を行う例について説明する。

【0018】

なお、本実施形態の一例における情報処理装置１は、ハードウェア構成として周知のサーバ用コンピュータを用いている。サーバ用コンピュータのＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）その他のストレージ装置に記録されたプログラムをメモリにロードし、ＣＰＵ（中央演算装置）が実行することにより、サーバ用コンピュータを情報処理装置１として機能させるように構成されている。
なお、情報処理装置１のハードウェア構成は任意に選択してよく、性能要求等に応じてサーバ用コンピュータではなく、一般的な据え置き型のパーソナルコンピュータや、ノートブック型コンピュータを使用してもよい。また、情報処理装置１を２台以上のコンピュータで構成してもよい。

【0019】

コミュニケーション画面出力部１１は、後述するコミュニケーション画面を出力する。本実施形態の一例では、情報処理装置１は後述するようにネットワーク３を介して参加者端末２と通信可能に接続されており、コミュニケーション画面出力部１１は、参加者端末２が備える表示装置２１にコミュニケーション画面を出力する。

【0020】

映像入力部１２は、コミュニケーションを行う参加者を撮影した映像を入力する。本実施形態の一例では、参加者端末２の撮影装置２２により撮影した映像はネットワーク３を介して情報処理装置１に送信される。これを情報処理装置１の映像入力部１２が受信することにより、映像の入力が行われる。

【0021】

音声入力部１３は、コミュニケーションを行う参加者の発話を含む音声を入力する。本実施形態の一例では、参加者端末２の音声入力装置２３に入力された音声はネットワーク３を介して情報処理装置１に送信される。これを情報処理装置１の音声入力部１３が受信することにより、音声の入力が行われる。

【0022】

音声出力部１４は、前述の音声入力部１３が入力した音声を出力する。本実施形態の一例では、参加者の発話を含む音声が前述の音声入力部１３に入力される。当該入力された音声を、参加者端末２の音声出力装置２２に出力する。

【0023】

トランスクリプション部１５は、音声入力部１３が入力した音声に含まれる参加者の発話をテキストデータに変換する。トランスクリプション部１５により変換されたテキストデータは発話した参加者を示す参加者識別情報と共に前述のコミュニケーション画面出力部１１を構成する情報として出力される。

【0024】

分析部１６は、映像入力部１２に入力された映像、音声入力部１３に入力された音声、トランスクリプション部１５が変換した文字情報のいずれか１以上を用いて、コミュニケーションに関する所定の分析を行う。

【0025】

参加者端末２は、コミュニケーションを行う参加者が使用する端末である。参加者端末２は、情報処理装置１がコミュニケーション画面を表示するディスプレイその他の表示装置２１と、参加者を撮影するカメラその他の撮影装置２２と、参加者の発話を音声入力するマイクロフォンその他の音声入力装置２３と、情報処理装置１が出力する音声を出力するスピーカその他の音声出力装置２４と、キーボードやマウスその他の入力装置２５と、後述するネットワーク３を介して情報処理１と通信を行う通信装置２６を備えている。

【0026】

参加者端末２は、ハードウェア構成としては周知のコンピュータを用いて構成してよく、上記の装置群を備えているコンピュータであれば、例えば周知のパーソナルコンピュータを用いてもよいし、スマートフォンやタブレット型コンピュータその他の携帯端末を用いてもよい。

【0027】

ネットワーク３は、情報処理装置１と参加者端末２を通信可能に接続するネットワークである。ネットワーク３は周知のネットワークを用いて構成してよく、例えばインターネットその他の広域ネットワークを用いてもよいし、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）を用いてもよい。また、インターネットを用いて構築されたＶＰＮ（Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｎｅｔｗｏｒｋ）を用いるようにしてもよい。また、ネットワーク３は有線ネットワークであっても無線ネットワークであってもよく、両者を組み合わせたネットワークであってもよい。

【0028】

本実施形態の一例では、情報処理装置１はいわゆるＷＥＢアプリケーション・サーバとして構成されている。参加者端末２は、参加者端末２が備えるＷＥＢブラウザ（図示しない）を介して情報処理装置１の所定のＵＲＬ（Ｕｎｉｆｉｅｄ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ）にアクセスすることにより、情報処理装置１のコミュニケーション画面出力部１１が出力するコミュニケーション画面を参加者端末２の表示装置２１に表示する。なお、情報処理装置１が出力するコミュニケーション画面をどのようにして参加者端末２に表示するかは周知の方法を選択してよく、本実施形態の一例のようにＷＥＢブラウザを用いる他、例えば、専用のクライアント・アプリケーション・プログラムを参加者端末２に予めインストールして、当該プログラムを用いるように構成してもよい。

【0029】

以上が情報処理装置１の構成である。次いで、本実施形態の一例における情報処理装置１が出力するコミュニケーション画面について説明する。図２は、本実施形態の一例におけるコミュニケーション画面Ｗ１の構成を示す図である。本実施形態の一例におけるコミュニケーション画面Ｗ１は、情報処理装置１のコミュニケーション画面出力部によって、参加者端末２の表示装置２１に表示される画面であり、図２で示すように、映像領域Ｗ２と、トランスクリプション領域Ｗ３と、フィルタ領域Ｗ４と、グラフ領域Ｗ５を備えている。

【0030】

映像領域Ｗ２は、参加者の各々を表示する領域である。本実施形態の一例では、前述のように、参加者端末２が備える撮影装置２２によって、コミュニケーション中の参加者を撮影する。各々の参加者端末２によって撮影された映像は情報処理装置１に送信され、これを情報処理装置１が一覧表示する映像領域Ｗ２として、各参加者端末２のコミュニケーション画面Ｗ１に表示する。本実施形態の一例では、前述の音声出力部１４によって各参加者端末２に出力される音声は、コミュニケーション画面Ｗ１の映像領域Ｗ２と同期して出力される。当該構成により、各参加者端末２同士は音声及び映像の相互通信によるコミュニケーションを行うことができる。

【0031】

トランスクリプション領域Ｗ３は、前述のトランスクリプション部１５が変換したテキストデータＷ３１を表示する領域である。テキストデータＷ３１は、参加者を特定する情報として、参加者識別情報Ｗ３２及びアイコンＷ３３と共に、参加者の発話毎に時系列順に表示される。なお、本実施形態の一例において、アイコンＷ３３は各参加者を一意に識別できるように色分けされている。また、本実施形態の一例では、トランスクリプション領域Ｗ３における任意のテキストデータＷ３１を選択した場合、当該選択したテキストデータＷ３１に該当する発話が行われたタイミングを後述するタイミング表示Ｗ５４ａにより表示する。なお、参加者識別情報Ｗ３２は、参加者を識別できる情報を任意に選択することができ、本実施形態の一例では氏名をもって参加者識別情報Ｗ３２として表示する。

【0032】

フィルタ領域Ｗ４は、前述のトランスクリプション領域Ｗ３に表示されるテキストデータＷ３１を所定の条件によりフィルタリングする操作を行う領域である。本実施形態の一例において、フィルタ領域Ｗ４は、話者選択Ｗ４１と、時間Ｗ４２と、会話内容Ｗ４３のフィルタ条件設定フォームを備えている。上記設定フォームに任意の値を設定すると、当該設定した条件に合致するテキストデータＷ３１のみがトランスクリプション領域Ｗ３に表示される。また、フィルタ領域Ｗ４には、現在設定中の条件を示す現在フィルタＷ４４が表示される。

【0033】

グラフ領域Ｗ５は、前述の分析部１６が分析した結果である分析値Ｗ５１と、コミュニケーションにおける時間Ｗ５２を軸とするグラフＷ５３を表示する。本実施形態の一例において、グラフ領域Ｗ５は、縦軸を分析値Ｗ５１としており、横軸を時間Ｗ５２としている。図５で示すグラフＷ５３は、コミュニケーションにおける映像及び／又は音声の所定の分析結果として、コミュニケーションにおける発話を所定の基準に基づいて分割したフェーズの各々において新しい語がどれだけ発話されたかを示す鮮度値を分析値Ｗ５１とするグラフである。

【0034】

また、グラフ領域Ｗ５には、映像領域Ｗ２に出力された映像がコミュニケーション全体のどのタイミングかを示すタイミング表示Ｗ５４ａが表示される。

【0035】

本実施形態の一例におけるグラフ領域Ｗ５では、上記の鮮度値の他、上記フェーズの各々における全フェーズとの類似度を示す発散・収束値と、上記フェーズの各々における発話量と、所定の単位時間における参加者の体の動きの大きさ及び／又は多さを示すリアクション値の何れかを選択的に分析値Ｗ５１として表示する。

【0036】

図３は、本実施形態の一例における、鮮度値及び発散・収束値の分析の流れを示すフロー図である。図３で示すように、本実施形態の一例では、分析のフローが発散・収束分析（ステップＳ１１～Ｓ１５）と、鮮度分析（ステップＳ２１～Ｓ２４）の行程から構成されている。

【0037】

本実施形態の一例における鮮度値及び発散・収束値の分析では、コミュニケーションの発話内容を所定の基準に基づいて複数のフェーズに分割する（ステップＳ１１）。所定の基準は任意に選択してよく、例えば、１分や５分等を単位時間として所定の基準に用いてよいし、所定の発言数を所定の基準としてもよい。或いは、コミュニケーション中の発話を、各フェーズ間で等しい発言量となるように所定数のフェーズに分割するようにしてもよい。

【0038】

なお、前述のとおり、コミュニケーションの発話内容は音声入力部１３に入力され、トランスクリプション部１５によってテキストデータに変換されている。本実施形態の一例における分析部１６は、トランスクリプション部１５が変換したテキストデータを用いて分析処理を行うが、音声入力部１３に入力された音声を直接分析するようにしてもよい。

【0039】

次いで、分析部１６は、各フェーズにおける発話から所定の品詞に該当する単語を抽出する（ステップＳ１２）。本実施形態の一例では、各フェーズにおける各発話のそれぞれを形態素解析し、当該解析した結果から名詞を上記単語として抽出する。なお、本実施形態の一例では名詞を抽出しているが、他の品詞を抽出してもよく、例えば形容詞を抽出してよい。また、単一種類の品詞だけでなく、複数の品詞を抽出対象としてもよい。例えば、名詞と形容詞を抽出するようにしてもよい。

【0040】

また、本実施形態の一例ではフェーズ分割（ステップＳ１１）の後に単語抽出（ステップＳ１２）を行っているが、当該ステップＳ１１，Ｓ１２の順序を逆にして、単語抽出の後にフェーズ分割を行うようにしてもよい。この場合、フェーズ分割を行う前に所定の基準による単語の抽出が完了しているので、例えば抽出した単語の数等をフェーズ分割の基準として用いてもよい。

【0041】

各フェーズにおいて単語の抽出が完了すると、単語重み付け手段による単語の重み付けが行われる（ステップＳ１３）。重み付けの方法は任意に選択してよいが、本実施形態の一例では、一のフェーズにおける発言全体を一の文書としてＴＦ－ＩＤＦによる重み付けを行う。

【0042】

次いで、分析部１６は、各フェーズのベクトルを算出する（ステップＳ１４）。前述の通り、本実施形態の一例では各フェーズにおける発言から名詞を単語として抽出し、当該抽出した単語の重み付けを行っており、全フェーズの出現単語数を次元数とするベクトルとして、各フェーズのベクトルを算出する。

【0043】

前フェーズについて前記のベクトルを算出すると、分析部１６は、次いで、各フェーズ同士の類似度を発散・収束値として出する（ステップＳ１５）。本実施形態の一例では各フェーズを出現単語の重みによるベクトルとして算出しており、ベクトル同士の類似度としてコサイン尺度を算出している。

【0044】

以上がステップＳ１１～Ｓ１５による発散・収束度分析行程である。次に、鮮度分析行程（ステップＳ２１～Ｓ２４）について説明する。鮮度分析行程は、発散・収束度分析行程において解析した各フェーズの発言内容にもとづいて、各フェーズにおけるトピック語の数を鮮度値として算出する行程である。

【0045】

本実施形態の一例では、前述のステップＳ１５により、各フェーズ間の類似度を発散・収束値として算出している。この類似度に基づいて、分析部１６は各フェーズをクラスタリングする（ステップＳ２１）。本実施形態の一例では、各フェーズ間の類似度が所定のしきい値εを上回った場合に、両者のフェーズを同一クラスタに属するものとして、クラスタ数が最大になるしきい値εを算出する。他のフェーズとの類似度がしきい値εを上回らないフェーズについては、クラスタに属さないフェーズとして分類する。

【0046】

全フェーズについてクラスタ分類が完了すると、次いで、各クラスタのトピック語を抽出する（ステップＳ２２、Ｓ２３）。トピック語は各クラスタの発言内容を特徴づける単語であり、本実施形態の一例では、各クラスタのトピック語を抽出し（ステップＳ２２）、次いで、各フェーズにおいて、当該フェーズが属するクラスタのトピック語の内、当該フェーズで出現したトピック語を抽出する（ステップＳ２３）。トピック語の抽出には、クラスタに分類されたフェーズにおいて前述のステップＳ１３により算出した各単語の重みを用いる。トピック語の抽出数は最大２０であり、一のクラスタ、すなわち、一のクラスタに属するフェーズすべてにおける出現単語のうち、上記重みの値が大きい順に最大２０語の単語を抽出する。各クラスタのトピック語が抽出された後は、各フェーズにおいて、当該フェーズで出現したトピック語を抽出する。なお、本実施形態の一例ではトピック語を最大２０語抽出しているが、抽出する語の数は任意に変更してよい。

【0047】

各フェーズにおけるトピック語の抽出が完了すると、分析部１６は、各フェーズの各々において抽出したトピック語の数を鮮度として算出する（ステップＳ２４）。前述のとおり、本実施形態の一例において、コミュニケーションを分割したフェーズの各々における新しい話題が発生した度合いが鮮度であり、分析部１６は、上記形状したトピック語の数をもって、各フェーズの鮮度として算出する。

【0048】

前述のとおり、本実施形態の一例では、コミュニケーションにおける映像及び音声がリアルタイムで情報処理装置１に入力され、これを逐次的に分析して出力する。ステップＳ１１～Ｓ１５及びステップＳ２１～Ｓ２４の各処理は、コミュニケーションにおける発言がフェーズ分割されるタイミングで繰り返し実行され、当該実行されるごとに前述のグラフ領域Ｗ５が更新されるように構成されている。なお、リアルタイムでの分析ではなく、コミュニケーションの映像・音声記録を分析する場合には、上記分析処理は映像、音声の入力がなされた後に１回行うように構成してよい。

【0049】

また、本実施形態の一例における発話量は、上記フェーズ又は所定の単位時間における参加者の発話量である。本実施形態の一例では鮮度値及び発散・収束値を算出する上でコミュニケーションを所定の基準によりフェーズ分割しており、発話量は、当該分割されたフェーズの各々における発話量であってもよいし、或いは、１分や５分等、フェーズ分割の基準とは異なる所定の単位時間ごとの発話量であってもよい。フェーズごとの発話量を算出する場合、前述のステップＳ１１によるフェーズ分割処理に続いて、各フェーズの発話量を算出する処理を行うようにしてもよい。

【0050】

リアクション値は、所定の単位時間における参加者の体の動きの大きさ及び／又は多さを示す分析値である。前述の鮮度値、発散・収束値、及び発話量は音声入力部１３に入力された音声、又は当該音声を変換した文字情報を分析した分析値であるが、リアクション値は映像入力部１２に入力された映像を分析した分析値である。当該映像から画像認識処理によって参加者の体の動きを認識し、当該認識した参加者の体の動きの大きさ及び／又は多さを数値として算出したものがリアクション値である。リアクション値は所定の単位時間ごとに算出されて、グラフ領域Ｗ５に表示される。所定の単位時間は、前述の発話量における所定の単位時間と同一であってもよいし、異なっていてもよい。

【0051】

コミュニケーション画面Ｗ５では、前述のように、フィルタ領域Ｗ４を用いて表示する発話を絞り込むことができる。図４は、本実施形態の一例における、コミュニケーション画面の発話を絞り込んだ例を示す図である。前述のように、本実施形態の一例では、コミュニケーション画面Ｗ１のフィルタ領域Ｗ４が、話者選択Ｗ４１と、時間Ｗ４２と、会話内容Ｗ４３のフィルタ条件設定フォームを備えており、図４は話者選択Ｗ４１を用いて、話者、すなわち発言を行った参加者による絞り込みを行った例を示す図である。

【0052】

図４で示すように、フィルタ領域Ｗ４においてフィルタ条件を設定すると、当該設定したフィルタ条件に合致する発言のみがトランスクリプション領域Ｗ３に表示されると共に、トランスクリプション領域Ｗ３に表示された発話がコミュニケーション中のどのタイミングで行われたかを示すタイミング表示Ｗ５４ｂが表示される。タイミング表示Ｗ５４ｂは、トランスクリプション領域Ｗ３に表示された発話ごとに、当該発話に対応するテキストデータＷ３１にアイコンＷ３３と同色の帯形状に描画される。

【0053】

本実施形態の一例の説明は以上である。なお、本発明の実施形態はこれに限られない。本実施形態の一例はコミュニケーションをリアルタイムに分析して出力する例を説明したが、前述のとおり、情報処理装置１の映像入力部１２及び音声入力部１３により入力する映像及び音声は、記録されたものを事後的に入力するものであってもよい。この場合、情報処理装置１のコミュニケーション画面出力部１１及び音声出力部１４が出力するコミュニケーション画面及び音声は、参加者端末２ではなく、情報処理装置１や、コミュニケーションの振り返り作業を行う作業者の端末に出力するように構成してよい。この場合、例えばトランスクリプション領域Ｗ３で任意のテキストデータＷ３１を選択した場合、或いは、グラフ領域Ｗ５で任意のタイミングを指定した場合に、当該選択したテキストデータＷ３１の発話が行われたタイミング、或いは、指定したタイミングから映像及び音声を出力するようにして、映像及び音声の再生をスキップできるようにしてもよい。

【0054】

その他の具体的な構成についても上記の実施形態に限られるものではなく、本発明の趣旨を逸脱しない範囲でさまざまな変更が可能である。

【符号の説明】

【0055】

１ 情報処理装置
１１ コミュニケーション画面出力部
１２ 映像入力部
１３ 音声入力部
１４ 音声出力部
１５ トランスクリプション部
１６ 分析部

【図1】

【図2】

【図3】

【図4】