IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社NTTファシリティーズの特許一覧

特開2024-144967演出制御システム、演出制御方法及びプログラム
<>
  • 特開-演出制御システム、演出制御方法及びプログラム 図1
  • 特開-演出制御システム、演出制御方法及びプログラム 図2
  • 特開-演出制御システム、演出制御方法及びプログラム 図3
  • 特開-演出制御システム、演出制御方法及びプログラム 図4
  • 特開-演出制御システム、演出制御方法及びプログラム 図5
  • 特開-演出制御システム、演出制御方法及びプログラム 図6
  • 特開-演出制御システム、演出制御方法及びプログラム 図7
  • 特開-演出制御システム、演出制御方法及びプログラム 図8
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024144967
(43)【公開日】2024-10-15
(54)【発明の名称】演出制御システム、演出制御方法及びプログラム
(51)【国際特許分類】
   G06Q 50/10 20120101AFI20241004BHJP
   H05B 47/12 20200101ALI20241004BHJP
   H05B 47/125 20200101ALI20241004BHJP
   G06F 3/01 20060101ALI20241004BHJP
【FI】
G06Q50/10
H05B47/12
H05B47/125
G06F3/01 510
【審査請求】有
【請求項の数】10
【出願形態】OL
(21)【出願番号】P 2023057166
(22)【出願日】2023-03-31
(71)【出願人】
【識別番号】593063161
【氏名又は名称】株式会社NTTファシリティーズ
(74)【代理人】
【識別番号】110001634
【氏名又は名称】弁理士法人志賀国際特許事務所
(72)【発明者】
【氏名】渡邉 裕美
【テーマコード(参考)】
3K273
5E555
5L049
5L050
【Fターム(参考)】
3K273DA05
3K273PA03
3K273PA09
3K273QA13
3K273QA14
3K273RA02
3K273RA05
3K273RA17
3K273SA20
3K273SA21
3K273SA37
3K273SA60
3K273TA03
3K273TA05
3K273TA15
3K273TA28
3K273TA75
5E555AA72
5E555AA76
5E555BA13
5E555BA16
5E555BB16
5E555BC04
5E555CA42
5E555CA47
5E555DA01
5E555DA13
5E555DA23
5E555DA26
5E555EA22
5E555EA23
5E555FA00
5L049CC11
5L050CC11
(57)【要約】
【課題】情報提供者が聴講者の感情を把握することを支援することを可能にする。
【解決手段】演出制御システムは、情報提供者が聴講者に情報を提供する場の環境を演出する。演出制御システムは、前記情報提供者又は前記聴講者の感情を推定する感情分析の結果に基づいて、前記場の環境の演出を制御する演出制御部を備える。
【選択図】図1
【特許請求の範囲】
【請求項1】
情報提供者が聴講者に情報を提供する場の環境を演出する演出制御装置であって、
前記情報提供者又は前記聴講者の感情を推定する感情分析の結果に基づいて、前記場の環境の演出を制御する制御部
を備える演出制御システム。
【請求項2】
音響制御、香り制御、照明制御の何れかの演出制御の結果を出力する出力部
を備え、
前記制御部は、
前記出力部から前記感情分析の結果に基づいた前記演出制御の結果を出力させる
請求項1に記載の演出制御システム。
【請求項3】
前記制御部は、
前記情報提供者である発言者の音声の伝達に影響しない範囲で、前記音響制御によって前記場の環境を変化させる、
請求項2に記載の演出制御システム。
【請求項4】
前記制御部は、
前記情報提供者に香りの変化が届くように、前記香り制御によって前記場の環境を変化させる、
請求項1に記載の演出制御システム。
【請求項5】
前記制御部は、
前記情報提供者が前記場の光の変化を識別できるように、前記照明制御によって前記場の環境を変化させる、
請求項2に記載の演出制御システム。
【請求項6】
前記制御部は、
前記感情分析の結果が比較的積極的傾向を示す場合に、前記場の利用時間を延長させ、
前記感情分析の結果が比較的消極的傾向を示す場合に、前記場の利用時間を短縮させる、
請求項1から請求項5の何れか1項に記載の演出制御システム。
【請求項7】
前記制御部は、
前記感情分析の結果が比較的消極的傾向を示す場合に、前記場のリラックスを促すように前記場の環境を制御する
請求項1から請求項5の何れか1項に記載の演出制御システム。
【請求項8】
前記制御部は、
前記感情分析の結果から「怒り」又は「恐れ」の傾向が高いことを検出した場合に、リラックスを促すような環境になるように前記場の環境を制御する
請求項1から請求項5の何れか1項に記載の演出制御システム。
【請求項9】
前記制御部は、
前記感情分析の結果から比較的「覚醒度が低い状態」の傾向が高いことを検出した場合に、覚醒を促すように前記場の環境を制御する
請求項1から請求項5の何れか1項に記載の演出制御システム。
【請求項10】
前記出力部は、前記情報提供者がいる前記場である部屋の中に設けられている、
請求項2に記載の演出制御システム。
【請求項11】
情報提供者が聴講者に情報を提供する場の環境を演出する演出制御装置による演出制御方法であって、
前記演出制御装置が、前記情報提供者又は前記聴講者の感情を推定する感情分析の結果に基づいて、前記場の環境の演出を制御する過程
を含む演出制御方法。
【請求項12】
情報提供者が聴講者に情報を提供する場の環境を演出する演出制御装置のコンピュータに、
前記情報提供者又は前記聴講者の感情を推定する感情分析の結果に基づいて、前記場の環境の演出を制御するステップ
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、演出制御システム、演出制御方法及びプログラムに関する。
【背景技術】
【0002】
会議やプレゼンテーションにおける発言者(情報提供者)は、自身の発言に集中していると、その聴講者が感じていることを識別しにくいことがある。このような状況は、発言者が聴講者の状況を的確に把握して、その進行を調整することを難しくする要因になっていた。この傾向は、聴講者が多くなるほどより顕著になっていた。
近年、通信により接続される遠隔型の会議又はプレゼンテーションが頻繁に実施されている。これらは、相互に直接対面できないことにより、対面型の会議又はプレゼンテーションの場合よりも、聴講者が感じていることを話者が的確に把握することがさらに難しくなっている。
上記のように、対面の場合、通信を利用する場合などの場合によらず、聴講者が感じていることを発言者が的確に把握できることが望まれていた。
ところで、個人の顔画像等から、その個人の感性的評価を算出する技術が知られている(特許文献1など参照。)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2022-037575号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献1の技術などにより、個人の顔の表情などからその個人の感性的評価を実施できるとしても、情報提供者が聴講者の状況を把握することが容易ではなかった。
【0005】
本発明が解決しようとする課題は、情報提供者が聴講者の感情を把握することを支援する演出制御システム、演出制御方法及びプログラムを提供することにある。
【課題を解決するための手段】
【0006】
本発明の一態様の演出制御システムは、情報提供者が聴講者に情報を提供する場の環境を演出する。演出制御システムは、前記情報提供者又は前記聴講者の感情を推定する感情分析の結果に基づいて、前記場の環境の演出を制御する制御部を備える。
【0007】
上記の演出制御システムは、音響制御、香り制御、照明制御の何れかの演出制御の結果を出力する出力部を備え、前記制御部は、前記出力部から前記感情分析の結果に基づいた前記演出制御の結果を出力させる。
【0008】
上記の演出制御システムにおいて、前記制御部は、前記情報提供者である発言者の音声の伝達に影響しない範囲で、前記音響制御によって前記場の環境を変化させる。
【0009】
上記の演出制御システムにおいて、前記制御部は、前記情報提供者に香りの変化が届くように、前記香り制御によって前記場の環境を変化させる。
【0010】
上記の演出制御システムにおいて、前記制御部は、前記情報提供者が前記場の光の変化を識別できるように、前記照明制御によって前記場の環境を変化させる。
【0011】
上記の演出制御システムにおいて、前記制御部は、前記感情分析の結果が比較的積極的傾向を示す場合に、前記場の利用時間を延長させ、前記感情分析の結果が比較的消極的傾向を示す場合に、前記場の利用時間を短縮させる。
【0012】
上記の演出制御システムにおいて、前記制御部は、前記感情分析の結果が比較的消極的傾向を示す場合に、前記場のリラックスを促すように前記場の環境を制御する。
【0013】
上記の演出制御システムにおいて、前記制御部は、前記感情分析の結果から「怒り」又は「恐れ」の傾向が高いことを検出した場合に、リラックスを促すような環境になるように前記場の環境を制御する。
【0014】
上記の演出制御システムにおいて、前記制御部は、前記感情分析の結果から比較的「覚醒度が低い状態」の傾向が高いことを検出した場合に、覚醒を促すように前記場の環境を制御する。
【0015】
上記の演出制御システムにおいて、前記出力部は、前記情報提供者がいる前記場である部屋の中に設けられている。
【0016】
本発明の一態様の演出制御方法は、情報提供者が聴講者に情報を提供する場の環境を演出する演出制御装置による。演出制御方法は、前記演出制御装置が、前記情報提供者又は前記聴講者の感情を推定する感情分析の結果に基づいて、前記場の環境の演出を制御する過程を含む。
【0017】
本発明の一態様のプログラムは、情報提供者が聴講者に情報を提供する場の環境を演出する演出制御装置のコンピュータに、前記情報提供者又は前記聴講者の感情を推定する感情分析の結果に基づいて、前記場の環境の演出を制御するステップを実行させるためのプログラムである。
【発明の効果】
【0018】
本発明によれば、情報提供者が聴講者の感情を把握することを支援する演出制御システム、演出制御方法及びプログラムを提供できる。
【図面の簡単な説明】
【0019】
図1】実施形態に係る演出制御システムの構成図である。
図2】実施形態に係る演出制御システムの利用形態の一例を説明するための図である。
図3】実施形態の推定部の構成図である。
図4】実施形態の感情分析処理に係る各種情報を説明するための図である。
図5】実施形態の感情分析処理のフローチャートである。
図6】第2の実施形態の感情分析処理のフローチャートである。
図7】実施形態の演出制御に係る処理を説明するための図である。
図8】実施形態の利用時間の自動延長処理のフローチャートである。
【発明を実施するための形態】
【0020】
図を参照して、実施形態の演出制御システム、演出制御方法、及びプログラムについて説明する。
【0021】
最初に、実施形態の演出制御システムに対する比較例について説明する。比較例として例示する各システムは、下記のとおりである。
【0022】
(施設内の音の演出)
会議室やプレゼン環境(ホール等)は、音の演出のための特別な音を流さない無音にしていることが多い。これ以外の音の演出の事例としては、会議室における音の演出として、会議室の環境ノイズを目立たなくする効果のある音を流すことがある。会議室やプレゼン環境(ホール等)における音の演出として、参加者をもてなすことを目的とする音楽を流すことがある。
【0023】
(施設内の香りの演出)
会議室又はプレゼン環境における香りの演出のため、アロマ等を流すことがある。例えば、そのアロマを常時流したり、スケジュール制御(タイマー制御)により特定の時間帯に流したりする事例がある。香りを流す時間帯には、勤務時間帯などの効果が見込める時間帯が選択されることがある。
【0024】
(施設内の光の演出)
会議室、プレゼンテーションを行う場などのように施設は、様々な形態で利用されていて、様々な手段でその照明等などにより光の演出が実施可能に構成されていることがある。
例えば、会議室における光の演出として、手の操作に基づいて、照明のON/OFF制御と、照度や色温度の制御とが実施される場合がある。例えば、この照明のON/OFF制御では、そのスイッチ等を手で操作することにより実施されている。この照明のON/OFF制御に加えて、部屋の照度、灯具の出力や色温度の調整が、操作器を手で操作することにより実施されている。
なお、会議室を利用する際の省エネルギーを目的とする照明の制御では、会議室予約システム等に連動させて、会議開催時刻及びその前後の時間帯のみ点灯させたり、会議終了時刻になると消灯させたりする場合がある。
【0025】
プレゼンテーションを行う場における光の演出として、前述の会議室と同様に手の操作に基づいて、照明のON/OFF制御と、照度や色温度の制御とが実施される場合がある。
なお、プレゼンテーションを行う場を利用する際の省エネルギーを目的とする照明の制御では、会議室予約システム等に連動させて、プレゼンテーション開催時刻及びその前後の時間帯のみ点灯させたり、プレゼンテーション終了時刻になると消灯させたりする場合がある。
【0026】
上記のとおり、比較例の中には、感情の識別結果に基づいた仕掛けのある会議室・プレゼンテーション環境はなかった。
これに対して実施形態の感情分析システムは、情報提供者又は聴講者の感情を推定して、これに基づいて感情分析の結果を出力する。
感情分析システムが分析して識別する感情には、例えば、「楽しい」、「喜び」、「明るい」、「爽やか」、「快感」、「悲しい」、「辛い」、「怒り」、「驚き」、「不快」、「嫌い」などの感情が含まれていてよい。
以下、これについて順に説明する。
【0027】
(第1の実施形態)
図1は、実施形態に係る演出制御システム1の構成図である。図2は、実施形態に係る演出制御システム1の利用形態の一例を説明するための図である。
【0028】
演出制御システム1は、施設の演出制御装置3によって、情報提供者が聴講者に情報を提供する場の環境を演出する。
演出制御システム1は、例えば演出制御装置3を含む。
演出制御装置3は、コンピュータシステムを含む装置の一例である。
演出制御装置3は、例えば、制御部31と、記憶部32と、リモート会議モニタ部33と、出力部34とを含む。
【0029】
制御部31は、例えばCPUなどのプロセッサを含む。演出制御装置3内の一部又は全部は、ハードウエア機能部であってもよく、ソフトウェア機能部であってもよい。
記憶部32には、例えばデータを格納する半導体メモリ、磁気記憶装置などを含む。記憶部32は、制御部31の制御に必要とされるプログラムのほか、各種データが格納される。
リモート会議モニタ部33は、リモート会議システム7のクライアントとなって、リモート会議システム7と通信することにより、リモート会議システム7が提供するリモート会議の映像・音声を獲得して、これをモニタする。リモート会議モニタ部33は、獲得した映像・音声を制御部31による処理に利用可能にする。
出力部34は、制御部31の制御により、制御部31による音響制御、香り制御、照明制御の何れかの演出制御の結果を出力して、その結果をユーザによって検知可能にする。例えば、出力部34は、情報提供者がいる場である部屋の中に設けられている。出力部34の詳細を後述する。
例えば、演出制御装置3は、図2に示すように、会議室、プレゼンテーションを行う講堂などに配置され、発言者の視認できる位置などに配置されているとよい。
【0030】
図1には、下記の各部が記載されている。
照明制御設備2は、前述の場の照明の点灯状況を制御する照明制御設備の一例である。
端末装置4は、例えば、演出制御システム1の操作部として利用される携帯型の無線通信装置である。端末装置4は、1台又は複数台で構成されてもよい。複数台の端末装置4の種別は、共通であってもよく、異なっていてもよい。端末装置4は、アプリケーションソフトウエアによる処理を実行することで形成されるものであってもよい。
カメラ5は、撮像デバイス、光学系などを含むカメラであり、画像データを、ネットワークNWを介して送信する。
マイク6は、集音装置の一例である。
【0031】
演出制御システム1は、例えば照明制御設備2と、端末装置4と、カメラ5と、マイク6を含めて構成されてもよい。照明制御設備2と、端末装置4と、カメラ5と、マイク6は、会議室等にそれぞれ設けられていてよい。
演出制御装置3は、照明制御設備2と、端末装置4と、カメラ5とは、ネットワークNWを介して互いに通信可能に接続される。
さらに、演出制御装置3は、例えばリモート会議システム7と、リモート端末装置8と、ネットワークNWを介して互いに通信可能に接続されていてよい。
【0032】
以下、演出制御システム1の各部の詳細について順に説明する。
【0033】
(照明制御設備)
照明制御設備2は、例えば、互いに用途が異なる第1照明制御設備21と、第2照明制御設備22とを含む。
照明制御設備2の第1照明制御設備21は、灯具211と、そのコントローラ212を含む。
【0034】
第1照明制御設備21の灯具211は、会議室などの特定領域に配置される。灯具211の種類は、シーリング型、ダウンライト型、ペンダント型、スポットライト型、ブラケット型などの一般的な種類の中の1種類で構成してもよく、複数の種類を組み合わせて構成してもよい。
【0035】
例えば、第1照明制御設備21のコントローラ212と灯具211は、通信可能に接続されている。第1照明制御設備21のコントローラ212は、これに係る灯具211の点灯状態を制御する。
【0036】
第1照明制御設備21のコントローラ212は、上記の灯具211の点灯・消灯の制御のほかに、点灯状態を調整して調光することができる。ここでいう「調光」には、灯具211が発光量の調整、つまり灯具211の出力の調整、灯具211が投じる光の色温度の調整、上記の組合せによる調整などが含まれてよい。
【0037】
第2照明制御設備22は、灯具221と、そのコントローラ222を含む。第2照明制御設備22の灯具221は、上記の特定領域又は特定領域以外の領域に配置される。灯具221の種類は、シーリング型、ダウンライト型、ペンダント型、スポットライト型、ブラケット型などの一般的な種類の中の1種類で構成してもよく、複数の種類を組み合わせて構成してもよい。
【0038】
第2照明制御設備22のコントローラ222は、上記の灯具221の点灯・消灯を制御するが、点灯状態を調整して調光するように構成されていなくてもよい。
【0039】
(端末装置)
端末装置4は、例えばスマートフォンなどのように所謂コンピュータシステムを含む装置の一例である。例えば、端末装置4は、OS上で活性化されたアプリケーションプログラムの実行により、演出制御システム1の各部の設定、第1照明制御設備21の制御などを可能にする。
【0040】
(リモート会議システム)
リモート会議システム7は、リモート端末装置8と通信することにより、リモート端末装置8を利用するユーザに対してリモート会議サービス等を提供するサーバ装置である。このリモート会議サービスは、リモート端末装置8から利用することができる。リモート会議システム7は、特定のリモート端末装置8から送られた画像・音声などを、他のリモート端末装置8に選択し中継する。
【0041】
(リモート端末装置)
リモート端末装置8は、例えばスマートフォン、パーソナルコンピュータなどのように所謂コンピュータシステムを含む装置の一例である。例えば、リモート端末装置8は、OS上で活性化されたアプリケーションプログラムの実行により、リモート会議システム7と通信することによりリモート会議サービスの利用を可能に構成されている。リモート端末装置8は、集音用のマイク、カメラなどを備えていてもよく、外部に設けられたマイク、カメラの情報を取得可能に構成されていてもよい。
リモート端末装置8は、リモート会議システム7のクライアントの位置づけになる。
なお、後述するように演出制御装置3も、リモート会議システム7のクライアントに位置づけられる。
【0042】
(演出制御装置)
上記のとおり実施形態の演出制御装置3は、制御部31と、記憶部32と、リモート会議モニタ部33と、出力部34とを含む。
【0043】
制御部31は、例えば、施設利用予約情報管理部311と、演出制御部312と、推定部313とを備える。この施設利用予約情報管理部311と、演出制御部312と、推定部313は、プログラムの実行によって形成される機能部の一例である。
制御部31は、図示しない計時部を有している。制御部31は、計時部による時刻情報を用いて照明制御設備2に対する制御を行うことができる。
【0044】
以下、施設利用予約情報管理部311と、演出制御部312について先に説明する。
【0045】
施設利用予約情報管理部311は、建物内の各施設の利用予約情報を管理する。施設利用予約情報管理部311は、建物内の各施設の利用予約情報を、端末装置4から取得して、記憶部32に追加して各施設の利用予約情報として管理して、これを利用する。
【0046】
例えば、施設利用予約情報管理部311は、新たに、建物内の各施設の利用予約情報を取得した場合、端末装置4から取得した建物内の各施設の利用予約情報を記憶部32に追加する。
また、施設利用予約情報管理部311は、取得した情報から記憶部32に格納されていた建物内の各施設の利用予約情報の変更又はその変更要求を検出した場合、記憶部32に格納されていた建物内の各施設の利用予約情報を、変更後の情報に更新する。
【0047】
施設利用予約情報管理部311は、上記のとおり、新たに記憶部32に追加された、建物内の各施設の利用予約情報を演出制御部312によって利用可能にする。
例えば、施設利用予約情報管理部311は、建物内の各施設の利用予約情報に変化があったことを演出制御部312に通知してもよい。例えば、この通知の際に、施設利用予約情報管理部311は、新たに記憶部32に追加された利用予約情報を、演出制御部312に通知してもよい。この通知は、コマンド又はMAILの形態で送付してもよく、記憶部32内の共有メモリを介しての通知であってもよい。
【0048】
演出制御部312は、施設利用予約情報管理部311と、推定部313と連携して、照明制御設備2の調光制御、出力制御部314の制御などを実施する。
【0049】
図3を参照して、第1のシナリオに適用可能な施設内の場の状況の推定処理について説明する。
【0050】
まず、演出制御システム1の制御部31は、推定部313を利用して、施設内の場の状況を検出する。
実施形態の推定部313は、収集された音響と画像とのうちの何れかに基づき、所定の識別基準又は学習済みモデルの何れかを用いて、施設の場の状況などから聴講者の感情を推定する。
【0051】
図3は、実施形態の推定部313の構成図である。
推定部313は、例えばセンサ情報取得部3131と、音声音響検知部3132と、自然言語情報理解部3133と、画像映像情報理解部3134と、モーダル間共通理解部3135と、状態推定部3136とを備える。
【0052】
センサ情報取得部3131は、施設内に配置された各カメラ5からの情報を取得する。カメラ5は各施設に固定して設けられていてもよい。
【0053】
これに代えて、カメラ5は、端末装置4に設けられていてもよい。例えば、施設内に持ち込まれた利用者の端末装置4を用いて、端末装置4と演出制御装置3を通信可能な状態にする。センサ情報取得部3131は、この端末装置4からの情報を、カメラ5からの情報としてもよい。
【0054】
音声音響検知部3132は、マイク6が検出した施設内の音声音響情報に基づいて、その音声音響情報が示す特徴量を抽出する。例えば、音声音響情報が示す特徴量は、声の大きさ、施設内の環境音の大きさ、揺らぎ、話者の声質の識別(男性/女性など)、話者の発言頻度などを含む。
【0055】
自然言語情報理解部3133は、マイク6が検出した施設内の音声音響情報から自然言語情報を抽出する。例えば、音声音響情報が示す特徴量には、単語・文が意味することのほか、単語・文を識別した時点の声・音響の大きさ、環境音の大きさ、揺らぎなどが含まれてもよい。
【0056】
画像映像情報理解部3134は、カメラ5が検出した施設内の画像情報から施設の利用状況に関する情報を抽出する。例えば、施設の利用状況に関する情報は、利用者の人数、利用者の識別、利用者の行動の識別、発言者の識別などを含む。
【0057】
音声音響検知部3132と、自然言語情報理解部3133と、画像映像情報理解部3134の各部によって抽出された、利用中の施設内の状況に関する情報を、カメラ5によって検出された時刻に関連付けることで、時刻情報をキーにして書く情報を組み合わせることができる。
例えば、モーダル間共通理解部3135は、時刻情報をキーにして、上記の利用中の施設内の状況に関する情報を組み合わせることで目的の解析に有意な情報を抽出する。
例えば、後段の処理として「感情」の変化を検出する。モーダル間共通理解部3135は、これに適した情報を抽出する。
【0058】
状態推定部3136は、モーダル間共通理解部3135によって抽出された情報を用いて、「感情」の変化を検出する。検出する「感情」には、声質、音量、言葉の意味、発言者、話し方の抑揚などが含まれているとよい。
推定部313は、「感情」を総合的に判定することにより、このような「感情」の変化の識別精度を高めている。
【0059】
例えば、推定部313は、マイク6によって収集された音響とカメラ5によって収集された画像の何れかと所定の識別基準とを用いて、「感情」を推定する。推定部313は、推定された「感情」から実際の施設の利用状況を推定する。
【0060】
より具体的には、マイク6を介して取得した音声情報や、カメラ5を介して取得した画像情報を解析することで、「感情」を推定し得る。「感情」から会議やプレゼンテーションをこのまま継続することが適さないと判断できるときがある。このような場合には、この状態を利用許可時間が満了するまで継続するよりも、その時間が満了する前に終了させることが適していると判断するとよい。
【0061】
演出制御システム1は、推定部313を利用して、施設内で進行中の状況を検出して、その結果により会議室の環境の演出制御を実施する。
【0062】
第1シナリオ:
まず第1シナリオについて説明する。
この第1シナリオでは、会議又はプレゼンテーションの情報提供者が、その参加者の反応をさりげなく知ることを可能にするためのシステム(以下、「反応を知るシステム」という。)に適用した演出制御システム1の一例について説明する。なお、上記の「情報提供者」には、発言者、主催者、登壇者、ファシリテータなどが含まれる。「その参加者」の多くは、聴講者になる。「その参加者」に、発言者(情報提供者)が含まれていてよい。会議などの参加者は、発言時以外は聴講者になる。
【0063】
会議室に設置されたカメラ5、又はパーソナルコンピュータなどの端末装置4等に設置されたカメラが参加者個人の表情などを撮像する。オンラインで参加する参加者については、リモート端末装置8に設置されたカメラが参加者個人の表情などを撮像する。
【0064】
制御部31は、各参加者個人の表情を示す映像を取得してリアルタイムに解析することにより、参加者個人の感情を「退屈」「怒り」「悲しい」「楽しい」「驚き」等に分類する。このような個人の感情を識別する技術には、既知の技術を適用してもよい。
【0065】
本実施形態の演出制御システム1は、「集団の感情」を識別して、その場の演出を制御することで、「反応を知るシステム」を形成する一例である。
【0066】
「反応を知るシステム」(制御部31)は、例えば個人の感情を識別する技術を利用して「集団の感情」を識別する。例えば、「反応を知るシステム」(制御部31)は、感情分析の対象者の中で特定の感情を表出している人数を感情の種類ごとに計数し、その会議又はプレゼンテーションの雰囲気として「集団の感情」を判定し、その「集団の感情」を照度及び色の変化を伴う照明演出により会議又はプレゼンテーションの主催者等にさりげなく伝える。「反応を知るシステム」(制御部31)においては、「集団の感情」の種類ごとに、場の環境を特徴づける特定の照度及び色をあらかじめ設定しておくとよい。
【0067】
なお、実施形態における照明制御設備2は、一般的な天井照明だけでなく、壁面、床面に設置された照明のほか、間接照明、プロジェクターなどにより天井面・壁面・床面を照らすものなどを含めて構成してもよい。
【0068】
より具体的な一例として、19人の聴講者に対し1人の登壇者が、会議室とリモート会議とを併用した講演会を行っている事例について説明する。
登壇者と聴講者の一部は会議室に集まり、その他の聴講者はリモート会議にオンラインでリモート会議サービスを利用して参加している。その講演中に、「反応を知るシステム」(制御部31)は、聴講者ごとに「個人の感情」をそれぞれ収集する。
【0069】
<段階1>
実施形態の「反応を知るシステム」(制御部31)には、感情分析処理に係る各種情報の初期値が設定される。図4を参照して、実施形態の感情分析処理に係る各種情報を説明する。
図4は、実施形態の感情分析処理に係る各種情報を説明するための図である。図4に、実施形態の「反応を知るシステム」が利用するテーブルの一例を示す。このテーブルには、「反応を知るシステム」が識別する「集団の感情」の種類として、例えば「退屈」「怒り」「悲しい」「楽しい」「驚き」「恐れ」などが含まれる。
そのうちの一部又は全部をネガティブな感情とポジティティブな感情にあらかじめ分類しておく。例えば「退屈」「怒り」「悲しい」「恐れ」をネガティブな感情に分類し、「楽しい」「驚き」をポジティブな感情に分類する。例えば、ネガティブな感情には、図4の分類の欄に「▼」を記し、ポジティブな感情には、図4の分類の欄に「△」を記す。なお、ポジティブな感情とは、比較的積極的傾向を示す感情の一例である。
【0070】
図4に示すテーブルには、「音量判定」「照度」「色」「香り」「効果音」「人数」「判定」などの各種データの項目が含まれる。「音量判定」の項目には、音量に基づいた判定を必要とするか否かを示すデータが追加される。さらに、このテーブルには、各聴講者の感情分析の集計結果に基づいて決定された「集団の感情」に応じた制御のためのデータがそれぞれ追加されている。その制御の項目には、「照度」「色」「香り」「効果音」などが含まれる。
このテーブルには、上記のほかに「人数」「判定」の項目がある。この「人数」「判定」の項目には、感情分析の結果のデータが追加される。例えば「人数」の項目には、聴講者の全人数と、各聴講者の感情分析の結果を集計した結果のデータが追加される。「判定」の項目には、聴講者の全人数に対して過半数の聴講者が同じ感情を示したことを示すデータが追加される。
【0071】
例えば、19人の聴講者がいる講演会に適用する。聴講者の過半数は10人以上である。図4に示すテーブルに、「反応を知るシステム」による「退屈」を示す演出を、「照度600ルクス、色は青色」とあらかじめ設定しておく。また、他の種類の感情及び制御対象の「香り」「効果音」についても同様にあらかじめ所望のデータを設定しておくとよい。
「反応を知るシステム」は、このテーブルのデータを感情分析処理とその処理の結果に基づいた制御に利用するとよい。
【0072】
以下の説明では、この図4のテーブルを利用して、「集団の感情」の種類の一部又は全部をネガティブな感情とポジティティブな感情の2つに分類する事例について説明する。この感情の種類、その個数、分類の個数などに制限はない。例えば、2つに分類することに代えて、ネガティブな感情とポジティティブな感情とニュートラルな感情(図4の分類の欄を無印にする。)などのように3つ以上に分類してもよい。
【0073】
<段階2>
図5は、実施形態の感情分析処理のフローチャートである。
上記のとおり、データの初期化が完了したのち、「反応を知るシステム」(推定部313)は、カメラ5などの画像から各種の感情を表出させた人を検出して計数する(SA11)。
「反応を知るシステム」(推定部313)は、その計数の結果、「集団の感情」の種類の中で過半数を超えたもの(感情の種類)があるか否かを識別する(SA12)。例えば、推定部313は、その結果を演出制御部312に通知する。
「集団の感情」の種類の中で過半数を超えたもの(感情の種類)がある場合、「反応を知るシステム」(演出制御部312)は、聴講者の「集団に共通する感情」に特定の傾向があることを識別し(SA13)、識別結果の感情の種類に応じた処理を実施して(SA14)、一連の処理を終える。
これに対して、「集団の感情」の種類の中で過半数を超えたもの(感情の種類)がない場合には、「反応を知るシステム」(演出制御部312)は、一連の処理を終える。
【0074】
より具体的な事例を示して説明する。
上記のステップSA11の計数の結果、図4に示すように、19人のうち10人以上が「退屈」の感情を表出させていたと仮定する。
このような状況にあるとき、「反応を知るシステム」(推定部313)は、19人のうち10人以上が「退屈」の感情を表出させたことを検出する。この場合に、「反応を知るシステム」(推定部313)は、「集団に共通する感情」が「退屈」に分類されたものと判定する。
【0075】
「集団の感情」が「退屈」であると判定された場合に、「反応を知るシステム」(演出制御部312)は、会議室の照明を600ルクスにして、白色光に比べて青色の成分比率を高めにするように照明制御設備2を制御して、会議室の環境(あかり)をゆるやかに切り替える。
【0076】
なお、「反応を知るシステム」(演出制御部312)は、19人のうち10人未満の人が「退屈」の感情を表出させていても、「集団の感情」を「退屈」であると判定しない。この場合には、「反応を知るシステム」(演出制御部312)が会議室の環境(あかり)を、平時の状態から切り替えることはない。
【0077】
上記の実施形態によれば、演出制御システム1は、情報提供者である登壇者が聴講者に情報を提供する場の環境を演出する。演出制御装置3の制御部31は、少なくとも聴講者の感情を推定する感情分析の結果に基づいて、場の環境の演出を制御する。これにより、演出制御システム1は、情報提供者である登壇者が聴講者の状況を把握することを支援することができる。
【0078】
上記のように制御部31は、発言者、主催者、登壇者、ファシリテータなどの情報提供者が場の光の変化を識別できるように、照明制御設備2による照明制御によって場の環境を変化させるとよい。これにより、上記の各情報提供者が聴講者の状況を把握することが可能になる。
【0079】
このような演出制御が行われることにより、登壇者は、会議室の環境(あかり)の変化を識別して、聴講者が退屈に感じているということをリアルタイムにさりげなく知ることができる。そして、これを検知した登壇者は、そのプレゼンテーションの内容やその告知のペースを調整することが可能になる。
【0080】
また、上記の処理により、会議室の環境(あかり)を白色光に比べて青色の成分比率を高めることを示したが、青色の成分比率が高い光は、人を覚醒させる効果がある。そのため、青色の成分比率が高い光を用いて、登壇者に参加者の状況(感情)を通知するだけでなく、このようなあかりの環境の中にいる聴講者を覚醒させて、その退屈感を低減させることが期待できる。
【0081】
このように、制御部31は、感情分析の結果から比較的「覚醒度が低い状態」と識別される「退屈」な状態の傾向が高いことを検出した場合に、覚醒を促すように場の環境を制御するとよい。
【0082】
(「第1シナリオ」において音に関する処理を適用する変形例)
さらに前述の制御部31による画像解析に加え、又は代えて、会議室に設置されたマイク6又はリモート端末装置8に設置されたマイクなどによって音声・音響の音量(音圧レベル)を検知して、検知した音声・音響の音量(音圧レベル)に基づいて「集団の感情」を判定する。「反応を知るシステム」(演出制御部312)は、例えば、所定値を超える騒音レベル(90dB程度)の音声・音量を検知した場合、会議室内に「怒り」又は「恐れ」の感情を表出する人がいると推定し、人数の計数を行わずに「集団の感情」を「怒り」又は「恐れ」と判定するとよい。
このようにマイク6などをセンサとして使う場合も、カメラ5などをセンサとして使う場合と同様に、「反応を知るシステム」(演出制御部312)により、「集団の感情」の識別結果に応じて、会議室の照度及び演色性を調整するとよい。
制御部31の演出制御部312は、感情分析の結果が比較的消極的傾向(ネガティブな感情)を示す場合に、場のリラックスを促すように場の環境を制御する。例えば、感情分析の結果から「怒り」又は「恐れ」の傾向が高いことを検出した場合に、演出制御部312は、リラックスを促すような環境に場の環境を制御するとよい。「怒り」又は「恐れ」の傾向を音量に基づいて識別してもよい。例えば、制御部31は、大きな声を上げた人、怒鳴った人(情報提供者)の感情を推定する感情分析の結果に基づいて、場の環境の演出を制御するとよい。これにより、上記の各情報提供者が聴講者の状況を把握することが可能になる。
【0083】
(第2の実施形態)
上記の各図と図6とを参照して第2のシナリオについて説明する。
第2の実施形態の演出制御システム1は、推定部313を利用して、施設内で進行中の状況を検出して、その結果により会議室の利用予定時間の調整を実施する。この一例を、第2シナリオに示す。
【0084】
第2シナリオ:
ここに例示する第2シナリオでは、前述の第1シナリオと同様に、「集団の感情」が「ネガティブな感情」か「ポジティティブな感情」かの判定の結果に応じた処理について説明する。前述の「第1シナリオ<段階1>」を終えたのち、次の手順の処理を実行する。
【0085】
この第2シナリオでは、参加者の感情を時間の調整の条件に含めて、会議又はプレゼンテーションの開催時間を変更(延長または短縮)する機能(以下、「開催時間変更機能」という)が演出制御システム1によって提供される。
この実施形態において説明する演出制御システム1による利用時間短縮処理には、次に示す2とおりの処理の態様が含まれる。
第1態様は、利用時間の中盤に実施されるものであり、これを<段階2-A>において説明する。
第2態様は、利用時間の終盤に実施されるものであり、これを<段階2-B>において説明する。
なお、演出制御システム1は、上記のように「<段階1>」に示す初期化処理の後、上記の第1態様と第2態様のうちの何れか又は両方を実施してよい。ここで利用する情報提供の方法として、次に示す照明制御を適用した事例を説明する。
【0086】
<段階2-A>
(利用時間の中盤の感情分析処理と利用時間短縮処理)
図6は、実施形態の感情分析処理のフローチャートである。
【0087】
制御部31は、会議開始から所定の時間が経過したタイミングになると(SB11)、「集団の感情」を識別して(SB12A)、その判定の結果に基づいて、その会議の時間、換言すれば会議に利用する施設の利用時間の調整が必要か否かを判定する(SB12B)。
その判定の結果、施設の利用時間の調整が必要な場合には、「反応を知るシステム」(演出制御部312)は、聴講者の「集団に共通する感情」に特定の傾向があることを識別し(SB13)、識別結果の感情の種類に応じた処理として、施設の利用時間を調整して(SB14)、一連の処理を終える。
これに対して、施設の利用時間の調整を必要としない場合には、「反応を知るシステム」(演出制御部312)は、一連の処理を終える。
【0088】
上記の処理について下記のようなアレンジが可能である。
例えば、会議開始から所定の時間を、設定可能な最短会議時間に関連付けてもよい。その最短会議時間は、会議開始から20分等のようにあらかじめ設定される。
【0089】
また、上記のステップSB12Bにおいて、設定された最短会議時間以降の任意のタイミングにおいて、「反応を知るシステム」(制御部31)は、「集団の感情」がネガティブな感情であるか否かを判定し、これを検出したとする。この条件が満たされた場合に、上記のようにすぐにステップSB13に処理を進めてもよく、これに代えて、その後、あらかじめ設定された一定時間(例えば2分間等。)が継続する場合に、ステップSB13に処理を進めるようにしてもよい。制御部31は、この一定時間経過後に、ステップSB12AとステップAS12Bを繰り返して、その結果により、ステップSB14の処理として、会議又はプレゼンテーションを終了させるべきであることを、その参加者に告知してもよい。この演出制御についての詳細を後述する。
【0090】
これについて、図7を参照して、具体的な時間を関連付けて説明する。
図7は、実施形態の演出制御に係る処理を説明するための図である。
図7に示すグラフは、演出制御のよって変化させる環境の変化をモデル化して示す。例えば、この横軸に時間の経過を示し、この縦軸に数値化した環境の状態を示す。
照明設備によって演出制御をする場合には、その部屋の照度、灯具の出力、色温度などが含まれていてよい。
【0091】
時刻t10(例えば9時)から時刻t30(例えば10時)までを開催予定時間として予約されていた会議を例示する。その中で、時刻t50(不図示:例えば9時20分)の「集団の感情」について着目する。
9時20分に「反応を知るシステム」(制御部31)によって判定された「集団の感情」がネガティブな感情であったと仮定する。その後の9時22分(時刻t51)になってもネガティブな感情と判定された。このため「開催時間変更機能」(制御部31)は、その会議の開催時間を終了予定時間の10時よりも短縮させるほうが良い状況にあると判断して、会議又はプレゼンテーションを終了させるべきであることを参加者に告知するとよい。
【0092】
なお、上記の「反応を知るシステム」(制御部31)の判定によって、「集団の感情」がネガティブな感情でないと判定された場合には、その会議を予定どおり継続させることを決定し、利用時間短縮処理を実施しない。
このとき制御部31は、その会議の開催時間を終了予定時間よりも短縮させるほうが良い状況にあると判断したことを、出力制御部314からの出力を調整したり、照明設備2の灯具の点灯状態を調整したりする。照明設備2の灯具の点灯状態を調整する場合には、出力制御部314は出力部34を制御して、部屋の照度、灯具の出力を下げたり、色温度を代えたりすることで部屋の環境を演出して、このような状況を参加者等に告知するとよい。
上記は、部屋の照度、灯具の出力、色温度を調整するための制御の一例であり、これに制限されない。
【0093】
<段階2-B>
(利用時間の終盤の感情分析処理と利用時間延長処理)
上記の「<段階2-A>」の処理が省略された場合、又は「<段階2-A>」の処理の結果、会議を予定どおり継続することが決定された場合には、利用時間の終盤の利用時間延長処理の要否を判定する。
【0094】
図8は、実施形態の利用時間の自動延長処理のフローチャートである。
【0095】
制御部31は、会議開催期間の中の終了時間に至る前に、会議開始から所定の時間が経過したタイミングになり、「集団の感情」がポジティブな感情であると判定して、その時点の会議室の予約情報を取得する。
【0096】
その際に、「開催時間変更機能」(制御部31)は、その予約情報が示す時間の直後に、別の会議の予定が入っているか否かを判定する(SC15)。別の会議の予定が入っていれば、制御部31は、会議室の延長利用が不可能と判定して、会議を終了させる方向に誘導する(SC16)。
【0097】
別の会議の予定が入っていなければ、制御部31は、会議室の延長利用が可能と判定し、一定時間自動で会議を延長させる(SC26)。例えば、制御部31は、これに応じて延長した時間に、予約システム上の会議室利用時間を書き換える。この一定時間についてはあらかじめ定められているとよい。
なお、上記の「別の会議」を、例えば「別の社員等が登録した会議」と定義してもよい。
【0098】
このような手順により、利用時間の終盤の感情分析処理と利用時間延長処理を実現できる。
【0099】
(利用時間の自動再延長処理)
上記のように、利用時間延長処理により時間を延長したのちに、さらに再延長を許可してもよい。この事例について説明する。
前述のステップSC26の後、一定時間が経過してから「集団の感情」を識別して、一定時間が経過した後も「集団の感情」がポジティブな感情であると判定された場合、さらに一定時間自動で会議時間を延長する。
例えば、会議の最大延長時間を、あらかじめ設定しておいて、会議の最大延長時間になる5分前、又は延長した会議時間の終了5分前になると、会議又はプレゼンテーションを終了させるべきであることを参加者に告知するとよい。
【0100】
例えば、9時から10時までを開催予定時間として予約されていた会議において、9時50分に、「反応を知るシステム」(制御部31)が「集団の感情」はポジティブな感情であるか否かを判定する。
【0101】
その結果、「反応を知るシステム」(制御部31)において判定した「集団の感情」はポジティブな感情であった。このとき、「開催時間変更機能」(制御部31)が会議予約情報を読み取ったところ、次の予約が入っていなかったため、会議予約情報を自動で15分延長するよう書き換えた。会議室の予約時間は9時から10時15分までに自動で変更された。10時05分に再度「反応を知るシステム」(制御部31)において判定した「集団の感情」はポジティブな感情であった。「開催時間変更機能」が会議予約情報を読み取ったところ、10時15分以降も次の予約が入っていなかったため、会議予約情報を自動で15分延長するよう書き換えた。会議室の予約時間は9時から10時30分までに自動で変更された。あらかじめ最大延長時間は30分と設定してあったため、10時25分には別途出願申請したラップアップの演出が行われた。
【0102】
上記の実施形態によれば、演出制御システム1は、推定部313を利用して、施設内で進行中の状況を検出して、その結果により会議室の利用予定時間の調整を実施することにより、第1の実施形態と同様の効果を奏する。
【0103】
(第3の実施形態)
第3の実施形態において、光・音・香りによる演出機能(以下、「光・音・香りによる演出機能」という)について説明する。
【0104】
第3シナリオ:
ここに例示する第3シナリオでは、前述の第1シナリオと同様に、「集団の感情」が「ネガティブな感情」か「ポジティティブな感情」かの判定の結果に応じた処理について説明する。この処理において、光・音・香りによる演出機能を提供する。
【0105】
<段階2-C>
前述の「第1シナリオ<段階1>」を終えたのち、次の手順の処理を実行する。
例えば、制御部31は、会議又はプレゼンテーション開始後の経過時間に関わらず、周期的に次の判定を実施する。
制御部31は、「集団の感情」がネガティブな感情である時間が、あらかじめ設定された一定時間(例えば3分間等)以上継続するか否かを識別する。
「集団の感情」がネガティブな感情である時間が、その一定時間以上継続した場合、
制御部31は、会議室又はプレゼンテーション環境に設置された以下の機能の一部若しくは全てを機能させる。
【0106】
・部屋に設けられているスピーカーからリラックスを促す音楽を流す。ここで流す音楽の種類を、あらかじめ選定しておくとよい。このスピーカーは、出力部34の一例である。
・アロマディヒューザーからリラックスを促す香りを流す香り制御の演出を実施する。ここで流す香りの種類を、あらかじめ選定しておくとよい。アロマディヒューザーは、出力部34の一例である。
・ゆるやかに部屋の照度、灯具の出力を上げることと下げることとの両方若しくは何れかの照明制御の演出を実施して、リラックスを促す環境にする。例えば、部屋の照度、灯具の出力を平時の状態よりも一時的に下げる照明制御の演出を実施して、リラックスを促す環境にする。ここで演出する部屋の照度、灯具の出力を、あらかじめ選定しておくとよい。
・ゆるやかに照明の色温度を上げることと下げることとの両方若しくは何れかの照明制御の演出を実施して、リラックスを促す環境にする。例えば、ゆるやかに照明の色温度を一時的に下げる照明制御の演出を実施して、リラックスを促す環境にする。ここで演出する色温度を、あらかじめ選定しておくとよい。
・プロジェクターを用いて、リラックスを促す映像を、部屋の壁面に投影する。ここで投影する映像の種類を、あらかじめ選定しておくとよい。このプロジェクターは、出力部34の一例であってもよく、照明制御設備2に統合されていてもよい。
【0107】
なお、上記の環境の演出処理を実行させるためのセンシングの手法に制限はなく、画像から検出された結果に基づいてもよく、音の特徴から検出された結果に基づいてもよい。
【0108】
例えば、制御部31は、上記の演出制御の際に、情報提供者である発言者の音声の伝達に影響しない範囲で、音響制御によって場の環境を変化させるとよい。
制御部31は、上記の演出制御の際に、情報提供者に香りの変化が届くように香り制御を実行することによって場の環境を変化させるとよい。
制御部31は、上記の演出制御の際に、情報提供者が場の光の変化を識別できるように、プロジェクターを用いた照明制御によって場の環境を変化させてもよい。
【0109】
(第4の実施形態)
第4の実施形態において、覚醒サポート機能について説明する。
ここに例示する第4シナリオでは、「集団の感情」が「覚醒度が低い状態」であるか否かに応じた処理について説明する。
【0110】
第4シナリオ:
この第4シナリオでは、会議を効率的かつ快適に開催するための、感情を考慮した光・香りによる覚醒サポート機能を提供する。
【0111】
<段階1-A>
「覚醒度の状況」を識別するように、「集団の感情」の分類に関する初期状態を設定する。例えば「集団の感情」の一部又は全部を、「覚醒度が低い状態」であるか否かの2種類にあらかじめ分類しておく。例えば「退屈」を「覚醒度が低い状態」に対応させるように設定しておく。
【0112】
<段階2-E>
例えば、制御部31は、会議又はプレゼンテーション開始後の経過時間に関わらず、周期的に次の判定を実施する。
制御部31は、「集団の感情」が「覚醒度が低い状態」である時間が、あらかじめ設定された一定時間(例えば3分間等)以上継続するか否かを識別する。
「集団の感情」が「覚醒度が低い状態」である時間が、その一定時間以上継続した場合、制御部31は、会議室又はプレゼンテーション環境に設置された以下の機能の一部若しくは全てを機能させる。
【0113】
・部屋に設けられているスピーカーから覚醒を促す音楽を流す。ここで流す音楽の種類を、あらかじめ選定しておくとよい。このスピーカーは、出力部34の一例である。
・アロマディヒューザーから覚醒を促す香りを流す香り制御の演出を実施する。ここで流す香りの種類を、あらかじめ選定しておくとよい。アロマディヒューザーは、出力部34の一例である。
・ゆるやかに部屋の照度、灯具の出力を上げることと下げることとの両方若しくは何れかの照明制御の演出を実施して、覚醒を促す環境にする。例えば、部屋の照度、灯具の出力を平時の状態よりも一時的に上げる照明制御の演出を実施して、覚醒を促す環境にする。ここで演出する部屋の照度、灯具の出力を、あらかじめ選定しておくとよい。
・ゆるやかに照明の色温度を上げることと下げることとの両方若しくは何れかの照明制御の演出を実施して、覚醒を促す環境にする。例えば、照明の色温度を一時的に上げる照明制御の演出を実施して、覚醒を促す環境にする。ここで演出する色温度を、あらかじめ選定しておくとよい。
・プロジェクター等を用いて、覚醒を促す映像を、部屋の壁面に投影する。ここで投影する映像の種類を、あらかじめ選定しておくとよい。このプロジェクターは、出力部34の一例であってもよく、照明制御設備2に統合されていてもよい。
【0114】
なお、上記の環境の演出処理を実行させるためのセンシングの手法に制限はなく、画像から検出された結果に基づいてもよく、音の特徴から検出された結果に基づいてもよい。
【0115】
上記の実施形態によれば、「集団の感情」が「覚醒度が低い状態」による課題を解消させることに寄与できる。
【0116】
(各実施形態に共通する効果)
・「反応を知るシステム」により、リモート会議を併用する会議やプレゼンテーションにおいても、主催者・登壇者等は、容易に聴講者の反応を知ることができる。主催者・登壇者等が障害を有しているなどの事情により、人の感情を読み取ることが苦手なことがあっても、聴講者の反応の評価結果を視覚的に獲得できることが期待できる。
【0117】
・「反応を知るシステム」によれば、聴講者の人数が多くなり、各個人の感情を主催者・登壇者等が掌握できない状況になっていても、客観的な評価を実施することが可能になる。
比較例の場合、聴講者が多くなるほど、各個人の感情を掌握することが困難であったが、本実施例を適用したことにより、客観的な評価を実施することが可能になる。
【0118】
・「開催時間変更機能」により、議論やプレゼンテーションが盛り上がっており延長したほうがチームの生産性が高まるような場面である場合、会議及びプレゼンテーションの終了予定時刻がきても議論やプレゼンテーションが既定の時間までに中断されることなく、延長が可能になる。その結果、その日のチームの成果が向上することが期待できる。同時に、会議若しくはプレゼンテーションの参加者が会議室又はプレゼンテーション環境の予約状況を自ら確認し、次の予約が入っておらず延長可能なことを目視等で確認したうえで、延長することを決定するという手間がなくなり、効率化できる。
【0119】
・「開催時間変更機能」により、ネガティブな感情を伴う会議をより短時間で終了させるとよい。一般に、ネガティブな感情を伴う会議は、生産性が低いと推測される。このような会議をより短時間で終了させることにより、チームの無駄な稼働を削減できる。
【0120】
・「光・音・香りによる演出機能」により、会議において、参加者の1人が強く怒鳴るなど他の参加者を威圧したり不快にさせたりするような言動をとったとき、ファシリテータがうまく雰囲気を変えられるかといった属人的なスキルだけに依存することなく、会議を快適かつ生産性・創造性の高い雰囲気で行える可能性が高まる。非効率で不快な会議のまま終わってしまう確率を下げる。
特に、「光による演出機能」により、赤い光による演出を視認させることにより、声量を下げる行動を誘発させることができる。
【0121】
・「覚醒サポート機能」により、覚醒度が低い状態を解消させることが期待できる。
【0122】
上記の何れかの実施形態による演出制御システム1は、情報提供者が聴講者に情報を提供する場の環境を演出する。演出制御システムは、前記情報提供者又は前記聴講者の感情を推定する感情分析の結果に基づいて、前記場の環境の演出を制御する演出制御部を備えることにより、情報提供者が聴講者の感情を把握することを支援することができる。
【0123】
以上、本発明の実施形態について説明したが、演出制御システム1は、内部にコンピュータシステムを有している。そして、上述した処理に関する一連の処理の過程は、プログラムの形式でコンピュータ読み取り可能な記憶媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここで、コンピュータ読み取り可能な記憶媒体とは、磁気ディスク、光磁気ディスク、CD-ROM、DVD-ROM、半導体メモリなどをいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしてもよい。また、ここでいう「コンピュータシステム」とは、OSなども含むものとする。
【0124】
以上、本発明の一実施形態について説明したが、本発明の実施形態は上記のものに限定されない。例えば、各実施形態とその変形例に例示した手法は、例示した組合せ以外の組みにしてもよい。また、本発明の実施形態は、上記の実施形態を次のように変形したものとすることができる。
【符号の説明】
【0125】
1 演出制御システム
2 照明制御設備
21 第1照明制御設備
22 第2照明制御設備
3 演出制御装置
31 制御部
311 施設利用予約情報管理部
312 演出制御部
313 推定部
32 記憶部
33 リモート会議モニタ部
34 出力部
4 端末装置
5 カメラ
7 リモート会議システム
8 リモート端末装置
図1
図2
図3
図4
図5
図6
図7
図8
【手続補正書】
【提出日】2024-02-02
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
情報提供者が聴講者に情報を提供する場の環境を演出する演出制御システムであって、
聴講者の感情分析の結果と制御対象の演出との対応関係が予め設定されていて、
記聴講者の感情を推定する感情分析の結果と前記対応関係とに基づいて、前記場の環境の演出を制御する制御部
を備える演出制御システム。
【請求項2】
前記制御部は、
前記情報提供者が前記聴講者に情報を提供する場におけるプレゼンテーションへの参加者の画像から前記プレゼンテーションの参加者の集団の感情を識別した結果を、前記感情分析の結果として用いて前記識別の結果に対応する環境になるように前記プレゼンテーションの場の環境の演出を制御する
請求項1に記載の演出制御システム。
【請求項3】
前記制御部は、
音響制御の演出制御の結果を出力する出力部を用いて、前記対応関係に基づいた前記音響制御によって前記聴講者の前記場の環境を変化させる、
請求項に記載の演出制御システム。
【請求項4】
前記制御部は、
香り制御の演出制御の結果を出力する出力部を用いて、前記対応関係に基づいた前記香り制御によって前記聴講者の前記場の環境を変化させる、
請求項1に記載の演出制御システム。
【請求項5】
前記制御部は、
照明制御の演出制御の結果を出力する出力部を用いて、前記対応関係に基づいた前記照明制御によって前記場の環境を変化させる、
請求項に記載の演出制御システム。
【請求項6】
前記制御部は、
前記感情分析の結果が比較的積極的傾向を示す場合に、前記場の利用時間を延長させ、
前記感情分析の結果が比較的消極的傾向を示す場合に、前記場の利用時間を短縮させる、
請求項1から請求項5の何れか1項に記載の演出制御システム。
【請求項7】
前記制御部は、
前記感情分析の結果が比較的消極的傾向を示す場合に、前記場のリラックスを促すように前記場の環境を制御する
請求項1から請求項5の何れか1項に記載の演出制御システム。
【請求項8】
前記制御部は、
前記感情分析の結果から「怒り」又は「恐れ」の傾向が高いことを検出した場合に、リラックスを促すような環境になるように前記場の環境を制御する
請求項1から請求項5の何れか1項に記載の演出制御システム。
【請求項9】
前記制御部は、
前記感情分析の結果から「覚醒度が低い状態」の傾向が高いことを検出した場合に、覚醒を促すように前記場の環境を制御する
請求項1から請求項5の何れか1項に記載の演出制御システム。
【請求項10】
記情報提供者がいる前記場である部屋の中に設けられている出力部
を備える請求項に記載の演出制御システム。
【請求項11】
情報提供者が聴講者に情報を提供する場の環境を演出する演出制御装置による演出制御方法であって、
前記聴講者の感情分析の結果と制御対象の演出との対応関係が予め設定されていて、
前記演出制御装置が、前記聴講者の感情を推定する感情分析の結果と前記対応関係とに基づいて、前記場の環境の演出を制御する過程
を含む演出制御方法。
【請求項12】
情報提供者が聴講者に情報を提供する場の環境を演出する演出制御装置のコンピュータに、
前記聴講者の感情分析の結果と制御対象の演出との対応関係が予め設定されていて、
記聴講者の感情を推定する感情分析の結果と前記対応関係とに基づいて、前記場の環境の演出を制御するステップ
を実行させるためのプログラム。
【手続補正書】
【提出日】2024-05-27
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
情報提供者が聴講者に情報を提供するプレゼンテーションの参加者には前記プレゼンテーションの前記情報提供者と、前記プレゼンテーションにオンラインで参加している第1聴講者と、前記プレゼンテーションを開催する場に集まって参加している第2聴講者とが含まれていて、聴講者の感情分析の結果を用いて前記場の環境を演出する演出制御システムであって、
感情分析の結果と制御対象の演出との対応関係が予め設定されていて、
前記第1聴講者と前記第2聴講者とを含む各聴講者の感情分析の結果から同じ感情を示す聴講者数を得て、前記聴講者数に基づいて前記聴講者の集団の感情を推定し、
前記聴講者の集団の感情の推定結果である感情分析の結果と前記対応関係とに基づいて、前記場の環境の演出を制御する制御部
を備え、
前記制御部は、
前記情報提供者がいる前記場に設けられた出力部からの出力を制御して、前記場の環境を演出する、
演出制御システム。
【請求項2】
前記制御部は、
前記聴講者の感情を、2つ以上の分類項目について識別して前記聴講者の集団の感情を推定し、
音響制御の演出制御の結果を出力する出力部を用いて、2つ以上の演出方法の中から前記集団の感情の推定結果と前記対応関係に基づいて決定した演出方法の前記音響制御によって前記聴講者の前記場の環境を変化させる、
請求項1に記載の演出制御システム。
【請求項3】
前記制御部は、
前記聴講者の感情を、2つ以上の分類項目について識別して前記聴講者の集団の感情を推定し、
香り制御の演出制御の結果を出力する出力部を用いて、2つ以上の演出方法の中から前記集団の感情の推定結果と前記対応関係に基づいて決定した演出方法の前記香り制御によって前記聴講者の前記場の環境を変化させる、
請求項1に記載の演出制御システム。
【請求項4】
前記制御部は、
前記聴講者の感情を、2つ以上の分類項目について識別して前記聴講者の集団の感情を推定し、
照明制御の演出制御の結果を出力する出力部を用いて、2つ以上の演出方法の中から前記集団の感情の推定結果と前記対応関係に基づいて決定した演出方法の前記照明制御によって前記場の環境を変化させる、
請求項1に記載の演出制御システム。
【請求項5】
前記制御部は、
前記感情分析の結果基づく前記集団の感情の推定結果が比較的積極的傾向を示す場合に、前記場の利用時間を延長させ、
前記感情分析の結果基づく前記集団の感情の推定結果が比較的消極的傾向を示す場合に、前記場の利用時間を短縮させる、
請求項1から請求項の何れか1項に記載の演出制御システム。
【請求項6】
前記制御部は、
前記聴講者の感情を、比較的積極的傾向の項目と比較的消極的傾向の項目を含む2つの分類項目について識別して、同じ分類項目の感情を示した人を分類項目ごとに計数して、計数結果から聴講者群の集団に共通する感情を識別して、
前記感情分析の結果に基づく前記集団の感情の推定結果が比較的消極的傾向を示す場合に、前記場のリラックスを促すように前記場の環境を制御する、
請求項1から請求項の何れか1項に記載の演出制御システム。
【請求項7】
前記制御部は、
前記感情分析の結果から「怒り」又は「恐れ」の傾向が高いことを検出した場合に、リラックスを促すような環境になるように前記場の環境を制御する
請求項1から請求項の何れか1項に記載の演出制御システム。
【請求項8】
前記制御部は、
前記感情分析の結果から「覚醒度が低い状態」の傾向が高いことを検出した場合に、覚醒を促すように前記場の環境を制御する
請求項1から請求項の何れか1項に記載の演出制御システム。
【請求項9】
情報提供者が聴講者に情報を提供するプレゼンテーションの参加者には前記プレゼンテーションの前記情報提供者と、前記プレゼンテーションにオンラインで参加している第1聴講者と、前記プレゼンテーションを開催する場に集まって参加している第2聴講者とが含まれていて、聴講者の感情分析の結果を用いて前記場の環境を演出する演出制御装置による演出制御方法であって、
感情分析の結果と制御対象の演出との対応関係が予め設定されていて、
前記第1聴講者と前記第2聴講者とを含む各聴講者の感情分析の結果から同じ感情を示す聴講者数を得て、前記聴講者数に基づいて前記聴講者の集団の感情を推定し、
前記聴講者の集団の感情の推定結果である感情分析の結果と前記対応関係とに基づいて、前記場の環境の演出を制御する過程と、
前記情報提供者がいる前記場に設けられた出力部からの出力を制御して、前記場の環境を演出する過程と、
を含む演出制御方法。
【請求項10】
情報提供者が聴講者に情報を提供するプレゼンテーションの参加者には前記プレゼンテーションの前記情報提供者と、前記プレゼンテーションにオンラインで参加している第1聴講者と、前記プレゼンテーションを開催する場に集まって参加している第2聴講者とが含まれていて、聴講者の感情分析の結果を用いて前記場の環境を演出する演出制御装置のコンピュータに、
感情分析の結果と制御対象の演出との対応関係が予め設定されていて、
前記第1聴講者と前記第2聴講者とを含む各聴講者の感情分析の結果から同じ感情を示す聴講者数を得て、前記聴講者数に基づいて前記聴講者の集団の感情を推定し、
前記聴講者の集団の感情の推定結果である感情分析の結果と前記対応関係とに基づいて、前記場の環境の演出を制御するステップと、
前記情報提供者がいる前記場に設けられた出力部からの出力を制御して、前記場の環境を演出するステップと、
を実行させるためのプログラム。