IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 日本電気株式会社の特許一覧

特許7371759サーバ装置、会議支援システム、会議支援方法及びプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-10-23
(45)【発行日】2023-10-31
(54)【発明の名称】サーバ装置、会議支援システム、会議支援方法及びプログラム
(51)【国際特許分類】
   G06Q 10/10 20230101AFI20231024BHJP
【FI】
G06Q10/10
【請求項の数】 10
(21)【出願番号】P 2022503045
(86)(22)【出願日】2020-02-28
(86)【国際出願番号】 JP2020008497
(87)【国際公開番号】W WO2021171606
(87)【国際公開日】2021-09-02
【審査請求日】2022-07-20
(73)【特許権者】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100109313
【弁理士】
【氏名又は名称】机 昌彦
(74)【代理人】
【識別番号】100149618
【弁理士】
【氏名又は名称】北嶋 啓至
(72)【発明者】
【氏名】赤堀 桃音
(72)【発明者】
【氏名】世良 拓也
【審査官】梅岡 信幸
(56)【参考文献】
【文献】特開2020-136695(JP,A)
【文献】特開2017-201479(JP,A)
【文献】特開2018-186326(JP,A)
【文献】特開2013-027435(JP,A)
【文献】特開2018-072876(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06Q 10/00-99/00
H04M 11/00-11/10
(57)【特許請求の範囲】
【請求項1】
会議にて発言された音声から抽出されたキーワードと、前記キーワードに応じた室内環境を示す識別子と、を用いて生成された学習モデルを記憶する、記憶部と、
会議にて発言された音声に応じた音声ファイルを取得する音声取得部と、
前記音声ファイルをテキストファイルにテキスト化するテキスト化部と、
前記テキストファイルから前記キーワードを抽出するキーワード抽出部と、
抽出された前記キーワードの入力に応じて前記学習モデルから出力された前記識別子を、前記識別子に応じた制御を実行する室内環境変更装置に出力する、環境制御部と、
を備える、サーバ装置。
【請求項2】
前記学習モデルは、前記室内環境が前記発言された単語の発言者に生じさせる所定の感想ごとに生成される、請求項1に記載のサーバ装置。
【請求項3】
会議における発言の状況に応じて会議の状況を推測する、推測部をさらに備え、
前記記憶部は、複数の前記学習モデルを記憶し、
前記環境制御部は、前記推測された会議の状況に基づいて、複数の前記学習モデルのうち利用者が発言した音声から抽出された前記キーワードを入力する前記学習モデルを選択する、請求項1又は2に記載のサーバ装置。
【請求項4】
前記推測部は、所定期間における発言の回数に応じて会議の盛況度合いを示す会議盛況度を算出し、当該算出された会議盛況度に基づいて会議の状況を推測する、請求項3に記載のサーバ装置。
【請求項5】
利用者の参加者識別子と、前記テキストファイルから抽出された発言内容とを含む議事録を生成する、議事録生成部をさらに備え、
前記環境制御部は、前記議事録に含まれる発言内容に基づき前記学習モデルに入力する前記キーワードを決定する、請求項1乃至4のいずれか一項に記載のサーバ装置。
【請求項6】
前記環境制御部は、前記利用者が発言した音声から抽出された単語の発言回数に基づき前記学習モデルに入力する前記キーワードを決定する、請求項5に記載のサーバ装置。
【請求項7】
前記室内環境変更装置は、前記識別子の取得に応じて、前記識別子に応じた制御を実行する、請求項1乃至6のいずれか一項に記載のサーバ装置。
【請求項8】
識別子に応じた制御を実行する室内環境変更装置と、
前記室内環境変更装置と接続されたサーバ装置と、
を含み、
前記サーバ装置は、
会議にて発言された音声から抽出されたキーワードと、前記キーワードに応じた室内環境を示す識別子と、を用いて生成された学習モデルを記憶する、記憶部と、
会議にて発言された音声に応じた音声ファイルを取得する音声取得部と、
前記音声ファイルをテキストファイルにテキスト化するテキスト化部と、
前記テキストファイルから前記キーワードを抽出するキーワード抽出部と、
抽出された前記キーワードの入力に応じて前記学習モデルから出力された前記識別子を、前記識別子に応じた制御を実行する室内環境変更装置に出力する、環境制御部と、
を備える、会議支援システム。
【請求項9】
サーバ装置に搭載されたコンピュータが
会議にて発言された音声から抽出されたキーワードと、前記キーワードに応じた室内環境を示す識別子と、を用いて生成された学習モデルを記憶し、
会議にて発言された音声に応じた音声ファイルを取得し、
前記音声ファイルをテキストファイルにテキスト化し、
前記テキストファイルから前記キーワードを抽出し、
抽出された前記キーワードの入力に応じて前記学習モデルから出力された前記識別子を、前記識別子に応じた制御を実行する室内環境変更装置に出力する、会議支援方法。
【請求項10】
サーバ装置に搭載されたコンピュータに、
会議にて発言された音声から抽出されたキーワードと、前記キーワードに応じた室内環境を示す識別子と、を用いて生成された学習モデルを記憶する処理と、
会議にて発言された音声に応じた音声ファイルを取得する処理と、
前記音声ファイルをテキストファイルにテキスト化する処理と、
前記テキストファイルから前記キーワードを抽出する処理と、
抽出された前記キーワードの入力に応じて前記学習モデルから出力された前記識別子を、前記識別子に応じた制御を実行する室内環境変更装置に出力する処理と、
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、サーバ装置、会議支援システム、会議支援方法及びプログラムに関する。
【背景技術】
【0002】
企業活動等において会議、打ち合わせ等は重要な意思決定の場である。会議を効率的に行うための種々の提案がなされている。
【0003】
例えば、特許文献1には、会議の内容を資産化し、会議の運営を効率化する、と記載されている。特許文献1に開示された会議支援システムは、画像認識部を備える。画像認識部は、ビデオ会議装置により取得された映像データから画像認識技術により各出席者に係る画像を認識する。さらに、当該システムは、音声認識部を備える。音声認識部は、ビデオ会議装置により取得された各出席者の音声データを取得し、音声データと予め登録された各出席者の音声の特徴情報との比較を行う。さらに、音声認識部は、各出席者の動きの情報に基づいて、音声データにおける各発言の発言者を特定する。さらに、会議支援システムは、音声認識部により取得された各出席者の音声データを発言の時系列でタイムラインとして出力するタイムライン管理部を備える。
【先行技術文献】
【特許文献】
【0004】
【文献】特開2019-061594号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
会議では議論が白熱し、各参加者が冷静な状況で議論を行えない場合がある。あるいは、各参加者が議論に対して消極的となり会議が停滞することもある。いずれの場合であっても、建設的な議論が行われている状況とはいえない。
【0006】
本発明は、建設的な議論が行われるように会議を支援することに寄与する、サーバ装置、会議支援システム、会議支援方法及びプログラムを提供することを主たる目的とする。
【課題を解決するための手段】
【0007】
本発明の第1の視点によれば、会議にて発言された単語と、前記発言された単語の発言者に所定の感想を生じさせる室内環境と、を用いて生成された学習モデルを記憶する、記憶部と、前記学習モデルに利用者が発言した単語を入力することで前記利用者に適した室内環境を決定し、前記決定された室内環境となるように室内環境変更装置を制御する、環境制御部と、を備える、サーバ装置が提供される。
【0008】
本発明の第2の視点によれば、室内の環境を変更するための室内環境変更装置と、前記室内環境変更装置と接続されたサーバ装置と、を含み、前記サーバ装置は、会議にて発言された単語と、前記発言された単語の発言者に所定の感想を生じさせる室内環境と、を用いて生成された学習モデルを記憶する、記憶部と、前記学習モデルに利用者が発言した単語を入力することで前記利用者に適した室内環境を決定し、前記決定された室内環境となるように前記室内環境変更装置を制御する、環境制御部と、を備える、会議支援システムが提供される。
【0009】
本発明の第3の視点によれば、サーバ装置において、会議にて発言された単語と、前記発言された単語の発言者に所定の感想を生じさせる室内環境と、を用いて生成された学習モデルを記憶し、前記学習モデルに利用者が発言した単語を入力することで前記利用者に適した室内環境を決定し、前記決定された室内環境となるように室内環境変更装置を制御する、会議支援方法が提供される。
【0010】
本発明の第4の視点によれば、サーバ装置に搭載されたコンピュータに、会議にて発言された単語と、前記発言された単語の発言者に所定の感想を生じさせる室内環境と、を用いて生成された学習モデルを記憶する処理と、前記学習モデルに利用者が発言した単語を入力することで前記利用者に適した室内環境を決定し、前記決定された室内環境となるように室内環境変更装置を制御する処理と、を実行させるためのプログラムを記憶する、コンピュータ読取可能な記憶媒体が提供される。
【発明の効果】
【0011】
本発明の各視点によれば、建設的な議論が行われるように会議を支援することに寄与する、サーバ装置、会議支援システム、会議支援方法及びプログラムが提供される。なお、本発明の効果は上記に限定されない。本発明により、当該効果の代わりに、又は当該効果と共に、他の効果が奏されてもよい。
【図面の簡単な説明】
【0012】
図1】一実施形態の概要を説明するための図である。
図2】第1の実施形態に係る会議支援システムの概略構成の一例を示す図である。
図3】第1の実施形態に係るサーバ装置と会議室の接続を説明するための図である。
図4】第1の実施形態に係るサーバ装置の処理構成の一例を示す図である。
図5】第1の実施形態に係る利用者登録部の処理構成の一例を示す図である。
図6】第1の実施形態に係る利用者情報取得部の動作を説明するための図である。
図7】利用者データベースの一例を示す図である。
図8】参加者リストの一例を示す図である。
図9】第1の実施形態に係る議事録生成部の処理構成の一例を示す図である。
図10】議事録の一例を示す図である。
図11】第1の実施形態に係る会議室端末の処理構成の一例を示す図である。
図12】第1の実施形態に係る室内環境変更装置の処理構成の一例を示す図である。
図13】香りの種類と香りが収容されたタンクの関係を示すテーブル情報の一例を示す図である。
図14】第1の実施形態に係る会議支援システムの動作の一例を示すシーケンス図である。
図15】第2の実施形態に係る会議支援システムの概略構成の一例を示す図である。
図16】第2の実施形態に係るサーバ装置の処理構成の一例を示す図である。
図17】第2の実施形態に係る学習モデルの生成を説明するための図である。
図18】第2の実施形態に係る学習モデルの生成を説明するための図である。
図19】第2の実施形態に係る室内環境変更装置の処理構成の一例を示す図である。
図20】第2の実施形態に係る会議支援システムの動作の一例を示すシーケンス図である。
図21】サーバ装置のハードウェア構成の一例を示す図である。
図22】本願開示の変形例に係る会議支援システムの概略構成の一例を示す図である。
図23】本願開示の変形例に係る会議支援システムの概略構成の一例を示す図である。
【発明を実施するための形態】
【0013】
はじめに、一実施形態の概要について説明する。なお、この概要に付記した図面参照符号は、理解を助けるための一例として各要素に便宜上付記したものであり、この概要の記載はなんらの限定を意図するものではない。また、特段の釈明がない場合には、各図面に記載されたブロックはハードウェア単位の構成ではなく、機能単位の構成を表す。各図におけるブロック間の接続線は、双方向及び単方向の双方を含む。一方向矢印については、主たる信号(データ)の流れを模式的に示すものであり、双方向性を排除するものではない。なお、本明細書及び図面において、同様に説明されることが可能な要素については、同一の符号を付することにより重複説明が省略され得る。
【0014】
一実施形態に係るサーバ装置100は、記憶部101と環境制御部102を含む(図1参照)。記憶部101は、会議にて発言された単語と、発言された単語の発言者に所定の感想を生じさせる室内環境と、を用いて生成された学習モデルを記憶する。環境制御部102は、学習モデルに利用者が発言した単語を入力することで利用者に適した室内環境を決定し、決定された室内環境となるように室内環境変更装置を制御する。
【0015】
長時間に及ぶ会議では議論が停滞することがある。議論が停滞すると、適宜、会議は中断され、各参加者は休憩をとる。上記サーバ装置100は、会議が再開した際に参加者の集中力や創造性が向上するように室内(例えば、休憩室)の環境を制御する。例えば、サーバ装置20は、休憩者それぞれの特徴(性格、考え方)に合せた室内環境(例えば、香り)により休憩者の集中力や創造性を向上させる。

【0016】
発明者らが鋭意検討した結果、人の特徴(性格、考え方)と人が香りに対して抱く感想、感情の変化には所定の関係があることが判明した。例えば、積極的な人が香りAを嗅ぐと集中力が上がる傾向があり、消極的な人が香りBを嗅ぐと集中力があがるといった傾向があることが判明した。そこで、サーバ装置100は、人の特徴を端的に表す単語(積極的な人の特徴を示す単語、消極的な人の特徴を示す単語)と各人が所定の感情持つ「香り」の関係を機械学習により学習し、学習モデルを生成する。
【0017】
サーバ装置100は、上記のように用意された学習モデルに対して休憩者により発言された単語(休憩者が頻繁に発言した単語)を入力し、休憩者に適した香りを選択する。選択された香りは、室内環境変更装置により室内に充満される。その結果、休憩者は、集中力や創造性が向上し、休憩後に再開する会議にて自然と発熱した議論が行われるようになる。
【0018】
以下に具体的な実施形態について、図面を参照してさらに詳しく説明する。
【0019】
[第1の実施形態]
第1の実施形態について、図面を用いてより詳細に説明する。
【0020】
図2は、第1の実施形態に係る会議支援システムの概略構成の一例を示す図である。図2を参照すると、会議支援システムには、複数の会議室端末10-1~10-8と、サーバ装置20と、室内環境変更装置30と、が含まれる。なお、図2に示す構成は例示であって、会議室端末10等の数を限定する趣旨ではないことは勿論である。また、以降の説明において、会議室端末10-1~10-8を区別する特段の理由がない場合には、単に「会議室端末10」と表記する。
【0021】
複数の会議室端末10のそれぞれとサーバ装置20は、有線又は無線の通信手段により接続され、相互に通信が可能となるように構成されている。室内環境変更装置30とサーバ装置20も同様に、有線又は無線の通信手段により接続され、相互に通信が可能となるように構成されている。サーバ装置20は、会議室と同じ部屋や建物内に設置されていてもよいし、ネットワーク上(クラウド上)に設置されていてもよい。
【0022】
会議室端末10は、会議室の各席に設置された端末である。参加者は、当該端末を操作し必要な情報等を表示させつつ、会議を行う。会議室端末10にはカメラ機能を備え、着席した参加者を撮像可能に構成されている。また、会議室端末10はマイク(例えば、ピンマイクやワイヤレスマイク)と接続可能に構成されている。当該マイクにより会議室端末10のそれぞれの前に着席した参加者の音声が集音される。なお、会議室端末10に接続されるマイクは指向性の強いマイクであることが望ましい。マイクを装着した利用者の音声が集音されればよく、他人の音声は集音する必要がないためである。
【0023】
サーバ装置20は、会議の支援を行う装置である。サーバ装置20は、意思決定の場、アイディア発想の場である会議の支援を行う。サーバ装置20は、参加者の音声を収集し簡易的な議事録を生成する。サーバ装置20は、当該生成した議事録を解析することで、「会議の状況」を推測する。具体的には、サーバ装置20は、会議が白熱しているのか、会議が停滞しているのか、といった状況を推測する。サーバ装置20は、推測した会議の状況に基づいて会議室の環境を変更(制御)する。なお、図3に示すように、サーバ装置20は少なくとも1以上の会議室で行われる会議を対象としてその支援を行う。
【0024】
室内環境変更装置30は、会議室の環境を変更するための装置である。室内環境変更装置30は、サーバ装置20からの指示に基づき会議室の環境を変更する。例えば、室内環境変更装置30は、発生させる「香り」を変更する。あるいは、室内環境変更装置30は、会議室内の「明るさ」を変更する。あるいは、室内環境変更装置30は、会議室内に再生する「音(音楽)」を変更してもよい。
【0025】
室内環境変更装置30は、任意の手段、方法により会議室内の環境を変更する。第1の実施形態では、室内環境変更装置30は、会議室の「香り(匂い)」を変更する場合について説明する。但し、室内環境変更装置30が変更する環境は「香り」に限定されないのは上述のとおりである。
【0026】
<システムの概略動作>
サーバ装置20は、参加者の音声を収集し、当該収集された音声に含まれるキーワードを抽出する。サーバ装置20は、参加者と当該参加者の発言したキーワードを対応付けて記憶することで、会議の簡易的な議事録をリアルタイムに生成する。
【0027】
サーバ装置20は、上記議事録の生成と並行して、会議の状況(状態)を推測する。具体的には、サーバ装置20は、会議の状況を示す指標を算出する。例えば、サーバ装置20は、会議の盛況度合いを示す会議盛況度を算出する。なお、会議盛況度の詳細については後述する。
【0028】
例えば、サーバ装置20は、上記算出された会議盛況度に基づいて会議が過熱していると判断した場合には、参加者に落ち着きを取り戻して貰うように室内環境を制御する。対して、サーバ装置20は、算出された会議盛況度に基づいて会議が停滞していると判断した場合には、会議が活性化するように室内環境を制御する。
【0029】
<事前準備>
ここで、サーバ装置20による会議支援を実現するためには、システム利用者(会議への参加を予定している利用者)は事前準備を行う必要がある。以下、事前準備について説明する。
【0030】
利用者は、自身の生体情報、プロフィール等をシステム登録する。具体的には、利用者は、顔画像をサーバ装置20に入力する。また、利用者は、自身のプロフィール(例えば、氏名、社員番号、勤務地、所属部署、役職、連絡先等の情報)をサーバ装置20に入力する。
【0031】
なお、上記生体情報、プロフィール等の情報入力には任意の方法を用いることができる。例えば、利用者は、スマートフォン等の端末を利用して、自分の顔画像を撮像する。さらに、利用者は、端末を利用してプロフィールが記載されたテキストファイル等を生成する。利用者は、端末を操作して、上記情報(顔画像、プロフィール)をサーバ装置20に送信する。あるいは、利用者は、上記情報が格納されたUSB(Universal Serial Bus)等の外部記憶装置を用いて、サーバ装置20に必要な情報を入力してもよい。
【0032】
あるいは、サーバ装置20がWEB(ウェブ)サーバとしての機能を備え、利用者は当該サーバが提供するフォームにより必要な情報を入力してもよい。あるいは、各会議室に上記情報入力を行うための端末が設置され、利用者は当該会議室に設置された端末から必要な情報をサーバ装置20に入力してもよい。
【0033】
サーバ装置20は、取得した利用者情報(生体情報、プロフィール等)を用いてシステム利用者を管理するデータベース(DB;Data Base)を更新する。当該データベースの更新に関する詳細は後述するが、サーバ装置20は概略以下のような動作によりデータベースを更新する。なお、以降の説明において、本願開示のシステムを利用する利用者を管理するためのデータベースを「利用者データベース」と表記する。
【0034】
サーバ装置20は、取得した利用者情報に対応する人物が利用者データベースに登録されていない新規な利用者である場合には、当該利用者にID(Identifier)を割り当てる。また、サーバ装置20は、取得した顔画像を特徴付ける特徴量を生成する。
【0035】
サーバ装置20は、新規な利用者に割り当てたID、顔画像から生成した特徴量、利用者の顔画像、プロフィール等を含むエントリを利用者データベースに追加する。サーバ装置20が利用者情報を登録することで、会議への参加者は図2に示す会議支援システムの利用が可能となる。
【0036】
続いて、第1の実施形態に係る会議支援システムに含まれる各装置の詳細について説明する。
【0037】
[サーバ装置]
図4は、第1の実施形態に係るサーバ装置20の処理構成(処理モジュール)の一例を示す図である。図4を参照すると、サーバ装置20は、通信制御部201と、利用者登録部202と、参加者特定部203と、議事録生成部204と、会議状況推測部205と、室内環境制御部206と、記憶部207と、を備える。
【0038】
通信制御部201は、他の装置との間の通信を制御する手段である。具体的には、通信制御部201は、会議室端末10、室内環境変更装置30からデータ(パケット)を受信する。また、通信制御部201は、会議室端末10、室内環境変更装置30に向けてデータを送信する。通信制御部201は、他の装置から受信したデータを他の処理モジュールに引き渡す。通信制御部201は、他の処理モジュールから取得したデータを他の装置に向けて送信する。このように、他の処理モジュールは、通信制御部201を介して他の装置とデータの送受信を行う。
【0039】
利用者登録部202は、上述のシステム利用者登録を実現する手段である。利用者登録部202は、複数のサブモジュールを含む。図5は、利用者登録部202の処理構成の一例を示す図である。図5を参照すると、利用者登録部202は、利用者情報取得部211と、ID生成部212と、特徴量生成部213と、エントリ管理部214と、を備える。
【0040】
利用者情報取得部211は、上記説明した利用者情報を取得する手段である。利用者情報取得部211は、システム利用者の生体情報(顔画像)とプロフィール(氏名、所属等)を取得する。システム利用者は、自分の端末から上記情報をサーバ装置20に入力してもよいし、サーバ装置20を直接操作して上記情報を入力してもよい。
【0041】
利用者情報取得部211は、上記情報を入力するためのGUI(Graphical User Interface)やフォームを提供してもよい。例えば、利用者情報取得部211は、図6に示すような情報入力フォームを利用者が操作する端末に表示する。
【0042】
システム利用者は、図6に示す情報を入力する。また、システム利用者は、システムに新規にユーザ登録するのか、既に登録された情報を更新するのか選択する。システム利用者は、全ての情報を入力すると「送信」ボタンを押下し、生体情報、プロフィールをサーバ装置20に入力する。
【0043】
利用者情報取得部211は、取得した利用者情報を記憶部207に格納する。
【0044】
ID生成部212は、システム利用者に割り当てるIDを生成する手段である。ID生成部212は、システム利用者が入力した利用者情報が新規登録に関する情報である場合、当該新規な利用者を識別するためのIDを生成する。例えば、ID生成部212は、取得した利用者情報(顔画像、プロフィール)のハッシュ値を計算し、当該ハッシュ値を利用者に割り当てるIDとしてもよい。あるいは、ID生成部212は、利用者登録のたびに一意な値を採番しIDとしてもよい。なお、以降の説明において、ID生成部212が生成するID(システム利用者を識別するためのID)を「利用者ID」と表記する。
【0045】
特徴量生成部213は、利用者情報に含まれる顔画像から当該顔画像を特徴付ける特徴量(複数の特徴量からなる特徴ベクトル)を生成する手段である。具体的には、特徴量生成部213は、取得した顔画像から特徴点を抽出する。なお、特徴点の抽出処理に関しては既存の技術を用いることができるのでその詳細な説明を省略する。例えば、特徴量生成部213は、顔画像から目、鼻、口等を特徴点として抽出する。その後、特徴量生成部213は、特徴点それぞれの位置や各特徴点間の距離を特徴量として計算し、複数の特徴量からなる特徴ベクトル(顔画像を特徴づけるベクトル情報)を生成する。
【0046】
エントリ管理部214は、利用者データベースのエントリを管理する手段である。エントリ管理部214は、新規な利用者をデータベースに登録する際、ID生成部212により生成された利用者ID、特徴量生成部213により生成された特徴量、顔画像、及び、利用者から取得したプロフィールを含むエントリを利用者データベースに追加する。
【0047】
エントリ管理部214は、利用者データベースに既に登録されている利用者の情報を更新する場合には、社員番号等により情報更新を行うエントリを特定し、取得した利用者情報を用いて利用者データベースを更新する。その際、エントリ管理部214は、取得した利用者情報とデータベースに登録された情報の差分を更新してもよいし、データベースの各項目を取得した利用者情報により上書きしてもよい。また、特徴量に関しても同様に、エントリ管理部214は、生成された特徴量に違いがある場合にデータベースを更新してもよいし、新たに生成された特徴量により既存の特徴量を上書きしてもよい。
【0048】
利用者登録部202が動作することにより、図7に示すような利用者データベースが構築される。なお、図7に示す利用者データベースに登録された内容は例示であって、利用者データベースに登録する情報を限定する趣旨ではないことは勿論である。例えば、必要に応じて「顔画像」は利用者データベースに登録されていなくともよい。
【0049】
図4に説明を戻す。参加者特定部203は、会議に参加している参加者(システム登録した利用者のうち会議室に入場した利用者)を特定する手段である。参加者特定部203は、会議室に設置された会議室端末10のうち参加者が着席した会議室端末10から顔画像を取得する。参加者特定部203は、取得した顔画像から特徴量を算出する。
【0050】
参加者特定部203は、会議室端末10から取得した顔画像に基づき算出された特徴量を照合対象に設定し、利用者データベースに登録された特徴量との間で照合処理を行う。より具体的には、参加者特定部203は、上記算出した特徴量(特徴ベクトル)を照合対象に設定し、利用者データベースに登録されている複数の特徴ベクトルとの間で1対N(Nは正の整数、以下同じ)照合を実行する。
【0051】
参加者特定部203は、照合対象の特徴量と登録側の複数の特徴量それぞれとの間の類似度を計算する。当該類似度には、カイ二乗距離やユークリッド距離等を用いることができる。なお、距離が離れているほど類似度は低く、距離が近いほど類似度が高い。
【0052】
参加者特定部203は、利用者データベースに登録された複数の特徴量のうち、照合対象の特徴量との間の類似度が所定の値以上、且つ、最も類似度が高い特徴量を特定する。
【0053】
参加者特定部203は、1対N照合の結果得られる特徴量に対応する利用者IDを利用者データベースから読み出す。
【0054】
参加者特定部203は、上記のような処理を会議室端末10のそれぞれから取得した顔画像について繰り返し、各顔画像に対応する利用者IDを特定する。参加者特定部203は、特定した利用者IDと顔画像の送信元である会議室端末10のIDを対応付けて参加者リストを生成する。会議室端末10のIDには、会議室端末10のMAC(Media Access Control)アドレスやIP(Internet Protocol)アドレスを用いることができる。
【0055】
例えば、図2の例では、図8に示すような参加者リストが生成される。なお、図8では、理解の容易のため、会議室端末10に付与した符号を会議室端末IDとして記載している。また、参加者リストに含まれる「参加者ID」は利用者データベースに登録された利用者IDである。
【0056】
議事録生成部204は、参加者の音声を収集し、会議の議事録(簡易的な議事録)を生成する手段である。議事録生成部204は、複数のサブモジュールを含む。図9は、議事録生成部204の処理構成の一例を示す図である。図9を参照すると、議事録生成部204は、音声取得部221と、テキスト化部222と、キーワード抽出部223と、エントリ管理部224と、を備える。
【0057】
音声取得部221は、会議室端末10から参加者の音声を取得する手段である。会議室端末10は、参加者の発言のたびに音声ファイルを生成し、自装置のID(会議室端末ID)と共に当該音声ファイルをサーバ装置20に送信する。音声取得部221は、参加者リストを参照し、取得した会議室端末IDに対応する参加者IDを特定する。音声取得部221は、特定した参加者IDと会議室端末10から取得した音声ファイルをテキスト化部222に引き渡す。
【0058】
テキスト化部222は、取得した音声ファイルをテキスト化する手段である。テキスト化部222は、音声認識技術を用いて音声ファイルに記録された内容をテキスト化する。テキスト化部222は、既存の音声認識技術を用いることができるのでその詳細な説明は省略するが、概略以下のように動作する。
【0059】
テキスト化部222は、音声ファイルからノイズ等を除去するためのフィルタ処理を行う。次に、テキスト化部222は、音声ファイルの音波から音素を特定する。音素は、言語の最小構成単位である。テキスト化部222は、音素の並びを特定し、単語に変換する。テキスト化部222は、単語の並びから文章を作成し、テキストファイルを出力する。なお、上記フィルタ処理の際に、所定のレベルよりも小さい音声は削除されるので、隣人の声が音声ファイルに含まれていた場合であっても当該隣人の声からテキストファイルが生成されることはない。
【0060】
テキスト化部222は、参加者IDとテキストファイルをキーワード抽出部223に引き渡す。
【0061】
キーワード抽出部223は、テキストファイルからキーワードを抽出する手段である。例えば、キーワード抽出部223は、抽出するキーワードが予め記載された抽出キーワードリストを参照し、当該リストに記載されたキーワードをテキストファイルから抽出する。あるいは、キーワード抽出部223は、テキストファイルに含まれる名詞をキーワードとして抽出してもよい。
【0062】
例えば、ある参加者が、「ますますAIは重要な技術となる」といった発言をした場合を考える。この場合、抽出キーワードリストに「AI」という単語が登録されていれば上記発言から「AI」が抽出される。あるいは、名詞が抽出される場合には、「AI」、「技術」が抽出される。なお、名詞の抽出には、既存の品詞分解ツール(アプリ)等を用いればよい。
【0063】
キーワード抽出部223は、参加者IDと抽出されたキーワードをエントリ管理部224に引き渡す。
【0064】
議事録生成部204は、テーブル形式の議事録(少なくとも発言者(参加者ID)と発言内容(キーワード)が1つのエントリに含まれる議事録)を生成する。
【0065】
エントリ管理部224は、上記議事録のエントリを管理する手段である。エントリ管理部224は、開催中の会議ごとに議事録を生成する。エントリ管理部224は、会議の開始を検出すると新たな議事録を生成する。例えば、エントリ管理部224は、参加者からの明示的な会議開始の通知を取得し、会議の開始を検出してもよいし、参加者が初めに発言したことを契機に会議の開始を検出してもよい。
【0066】
エントリ管理部224は、会議の開始を検出すると、当該会議を識別するためのID(以下、会議IDと表記する)を生成し、議事録と対応付けて管理する。エントリ管理部224は、会議室の部屋番号や会議の開催日時等を用いて会議IDを生成することができる。具体的には、エントリ管理部224は、上記情報を連結しハッシュ値を計算することで会議IDを生成することができる。なお、参加者リストと会議IDを対応付けて管理することで、参加者の音声がいずれの会議IDに対応するものか判断できる。
【0067】
エントリ管理部224は、議事録に、発言時刻、参加者ID及び抽出されたキーワードを対応付けて追記する。なお、発言時刻は、サーバ装置20が管理する時刻でも良いし、会議室端末10から音声を取得した時刻でもよい。
【0068】
図10は、議事録の一例を示す図である。図10に示すように、エントリ管理部224は、参加者の音声を取得するたびに、当該参加者が発したキーワードを参加者IDと共に議事録に追記する。なお、エントリ管理部224は、参加者の発言からキーワードを抽出できない場合には、キーワードのフィールドに「None」等を設定することで、上記キーワードの不存在を明示する。あるいは、エントリ管理部224は、1回の発言の中に複数のキーワードを発見した場合には、登録するエントリを分けてもよいし、1つのエントリに複数のキーワードを記載してもよい。
【0069】
なお、議事録生成部204による上記議事録の生成は例示であって議事録の生成方法や生成される議事録を限定する趣旨ではない。例えば、議事録生成部204は、発言者と発言内容そのもの(発言に対応するテキストファイル)を対応付けた情報を議事録として生成してもよい。
【0070】
図4に説明を戻す。会議状況推測部205は、会議の状況を推測する手段である。会議状況推測部205は、上述の会議盛況度を算出する。具体的には、会議状況推測部205は、議事録生成部204により生成された議事録を解析し、会議盛況度を算出する。
【0071】
例えば、会議状況推測部205は、所定期間における発言の回数を会議盛況度として生成する。具体的には、会議状況推測部205は、現時刻から所定時間前までの間に発言された回数(エントリの数)を計数する。その際、会議状況推測部205は、上記所定期間に発言された全ての回数を計数してもよいし、キーワードを含む発言回数を計数してもよい。
【0072】
あるいは、会議状況推測部205は、所定期間における発言人数を会議盛況度として生成してもよい。この場合、会議状況推測部205は、所定期間の各参加者IDの数を計数することで、上記会議盛況度を算出する。
【0073】
あるいは、会議状況推測部205は、所定期間における発言回数及び発言人数に基づいて会議盛況度を計算してもよい。例えば、会議状況推測部205は、所定期間における発言回数と発言人数を乗算してその結果を会議盛況度としてもよい。即ち、会議状況推測部205は、2以上のパラメータ(発言回数、発言人数)に基づいて会議盛況度を算出してもよい。
【0074】
あるいは、会議状況推測部205は、ある参加者の発言から他の参加者の発言までの間隔に基づいて会議盛況度を計算してもよい。その際、会議状況推測部205は、上記発言間隔が長ければ会議の沈黙が長いと判断し会議盛況度を小さく設定する。対して、会議状況推測部205は、上記発言の間隔が短ければ議論が活発に行われていると判断し、会議盛況度を大きく設定する。例えば、会議状況推測部205は、上記発言間隔の逆数を計算することで会議盛況度を算出する。
【0075】
あるいは、会議状況推測部205は、異なる方法により算出された会議盛況度に対して統計処理を施し、その結果を最終的な「会議盛況度」としてもよい。例えば、会議状況推測部205は、所定期間における発言の回数から算出された第1の会議盛況度と、所定期間における発言人数から算出された第2の会議盛況度と、発言間隔に基づいて算出された第3の会議盛況度と、に基づいて会議盛況度を算出してもよい。例えば、会議状況推測部205は、上記3つの会議盛況度の合計を最終的な会議盛況度としてもよいし、上記3つの盛況度の平均値を最終的な会議盛況度にしてもよい。あるいは、会議状況推測部205は、上記3つの会議盛況度それぞれについて重みを設定して得られる加重平均値を会議盛況度として算出してもよい。このように、会議状況推測部205は、異なる方法により算出された会議盛況度に対して統計処理を施し、当該統計処理の結果に基づき前記会議の状況を推測してもよい。
【0076】
上記のような方法で計算された会議盛況度は、その値が小さければ会議が停滞していることを示し、値が大きければ議論が活発に行われていることを示す。例えば、会議全体の発言回数が少ない、特定の参加者だけが発言している、参加者が沈黙している時間が長いといった状況は会議が停滞している状況を示す。このように、会議状況推測部205は、議事録に含まれる少なくとも1以上のパラメータに基づいて会議盛況度を計算する。
【0077】
会議状況推測部205は、生成された会議盛況度に基づいて会議の状況(状態)を推測する。例えば、会議状況推測部205は、会議盛況度に対して閾値処理を実行し、その結果に基づいて会議の状況を推測する。
【0078】
例えば、会議の状況が「停滞」、「通常」、「過熱」の3つに分類される場合を考える。この場合、会議状況推測部205は、会議盛況度が第1の閾値より小さければ会議の状況を「停滞」に設定する。会議状況推測部205は、会議盛況度が第1の閾値以上、且つ、第2の閾値より小さければ会議の状況を「通常」に設定する。会議状況推測部205は、会議盛況度が第2の閾値以上であれば会議の状況を「過熱」に設定する。
【0079】
会議状況推測部205は、推測した会議の状況(例えば、停滞、通常、過熱)を室内環境制御部206に通知する。
【0080】
室内環境制御部206は、会議状況推測部205により推測された会議の状況に基づいて、室内環境(会議室の環境)を制御する手段である。具体的には、室内環境制御部206は、推測された会議状況に基づいて会議室の環境を変更する必要があると判断した場合、「室内環境変更指示」を室内環境変更装置30に送信する。
【0081】
例えば、室内環境制御部206は、会議状況が「停滞」であれば「第1の香り」の発生を室内環境変更装置30に指示する。あるいは、室内環境制御部206は、会議状況が「過熱」であれば「第2の香り」の発生を室内環境変更装置30に指示する。
【0082】
例えば、第1の香りには、参加者を積極的にするような香りが選択される。また、第2の香りには、参加者に落ち着きを取り戻して貰うような香りが選択される。なお、数多くの試行錯誤を繰り返すことで、上記第1、第2の香りが決定されるのが望ましい。
【0083】
室内環境制御部206が制御する「室内環境」は、会議室全体の環境だけでなく、参加者ごとに感じることのできる範囲の環境でもよい。すなわち、室内環境とは、例えばアロマを噴射した場合に匂いを感じることのできる一定の範囲の環境であってもよい。
【0084】
記憶部207は、サーバ装置20の動作に必要な情報を記憶する手段である。
【0085】
[会議室端末]
図11は、会議室端末10の処理構成(処理モジュール)の一例を示す図である。図11を参照すると、会議室端末10は、通信制御部301と、顔画像取得部302と、音声送信部303と、記憶部304と、を備える。
【0086】
通信制御部301は、他の装置との間の通信を制御する手段である。具体的には、通信制御部301は、サーバ装置20からデータ(パケット)を受信する。また、通信制御部301は、サーバ装置20に向けてデータを送信する。通信制御部301は、他の装置から受信したデータを他の処理モジュールに引き渡す。通信制御部301は、他の処理モジュールから取得したデータを他の装置に向けて送信する。このように、他の処理モジュールは、通信制御部301を介して他の装置とデータの送受信を行う。
【0087】
顔画像取得部302は、カメラ装置を制御し、自装置の前に着席している参加者の顔画像(生体情報)を取得する手段である。顔画像取得部302は、定期的又は所定のタイミングにおいて自装置の前方を撮像する。顔画像取得部302は、取得した画像に人の顔画像が含まれるか否かを判定し、顔画像が含まれる場合には取得した画像データから顔画像を抽出する。顔画像取得部302は、当該抽出された顔画像と自装置のID(会議室端末ID;例えば、IPアドレス)の組をサーバ装置20に送信する。
【0088】
なお、顔画像取得部302による顔画像の検出処理や顔画像の抽出処理には既存の技術を用いることができるので詳細な説明を省略する。例えば、顔画像取得部302は、CNN(Convolutional Neural Network)により学習された学習モデルを用いて、画像データの中から顔画像(顔領域)を抽出してもよい。あるいは、顔画像取得部302は、テンプレートマッチング等の手法を用いて顔画像を抽出してもよい。
【0089】
音声送信部303は、参加者の音声を取得し、当該取得した音声をサーバ装置20に送信する手段である。音声送信部303は、マイク(例えば、ピンマイク)が集音した音声に関する音声ファイルを取得する。例えば、音声送信部303は、WAVファイル(Waveform Audio File)のような形式で符号化された音声ファイルを取得する。
【0090】
音声送信部303は、取得した音声ファイルを解析し、当該音声ファイルに音声区間(無音ではない区間;参加者の発言)が含まれている場合に、当該音声区間を含む音声ファイルをサーバ装置20に送信する。その際、音声送信部303は、音声ファイルと共に自装置のID(会議室端末ID)を併せてサーバ装置20に送信する。
【0091】
あるいは、音声送信部303は、マイクから取得した音声ファイルに会議室端末IDを付してそのままサーバ装置20に送信してもよい。この場合、サーバ装置20が取得した音声ファイルを解析し、音声を含む音声ファイルを抽出すればよい。
【0092】
なお、音声送信部303は既存の「音声検出技術」を用いて参加者の発言を含む音声ファイル(無音ではない音声ファイル)を抽出する。例えば、音声送信部303は、隠れマルコフモデル(HMM;Hidden Markov Model)によりモデル化された音声パラメータ系列等を利用して音声の検出を行う。
【0093】
記憶部304は、会議室端末10の動作に必要な情報を記憶する手段である。
【0094】
[室内環境変更装置]
図12は、室内環境変更装置30の処理構成(処理モジュール)の一例を示す図である。図12を参照すると、室内環境変更装置30は、通信制御部401と、香り変更部402と、記憶部403と、を備える。
【0095】
通信制御部401は、他の装置との間の通信を制御する手段である。具体的には、通信制御部401は、サーバ装置20からデータ(パケット)を受信する。また、通信制御部401は、サーバ装置20に向けてデータを送信する。通信制御部401は、他の装置から受信したデータを他の処理モジュールに引き渡す。通信制御部401は、他の処理モジュールから取得したデータを他の装置に向けて送信する。このように、他の処理モジュールは、通信制御部401を介して他の装置とデータの送受信を行う。
【0096】
香り変更部402は、サーバ装置20からの指示に基づいて、室内に発生する香りを変更する手段である。香り変更部402は、室内環境変更指示により指定された香りが放出されるように、スイッチやバルブを制御する。例えば、第1のタンクには第1の香りの成分が収容され、第2のタンクには第2の香りの成分が収容されているとする。サーバ装置20から第1の香りの発生を指示されると、香り変更部402は、第1のタンクが外気と接続するようにスイッチやバルブを制御し、第1の香りを室内に放出する。あるいは、香り変更部402は、必要な香りが早く会議室に充満するように、目的とするタンクに圧力をかけるような制御を行ってもよい。
【0097】
記憶部403は、室内環境変更装置30の動作に必要な情報を記憶する手段である。例えば、記憶部403は、サーバ装置20から指示される香りの種類(香りID)と各香りが収容されたタンクの関係を示すテーブル情報を記憶する(図13参照)。
【0098】
[会議支援システムの動作]
次に、第1の実施形態に係る会議支援システムの動作について説明する。
【0099】
図14は、第1の実施形態に係る会議支援システムの動作の一例を示すシーケンス図である。なお、図14は、実際に会議が行われている際のシステム動作の一例を示すシーケンス図である。図14の動作に先立ち、システム利用者の登録は予め行われているものとする。
【0100】
参加者が着席すると、会議室端末10は、着席者の顔画像を取得し、サーバ装置20に送信する(ステップS01)。また、代表者が、会議室端末10を操作して会議の開始をサーバ装置20に通知する。
【0101】
サーバ装置20は、取得した顔画像を用いて参加者を特定する(ステップS11)。サーバ装置20は、取得した顔画像から計算した特徴量を照合側の特徴量、利用者データベースに登録された複数の特徴量を登録側の特徴量にそれぞれ設定し、1対N(Nは正の整数、以下同じ)照合を実行する。サーバ装置20は、当該照合を会議への参加者(参加者が使用する会議室端末10)ごとに繰り返し、参加者リストを生成する。
【0102】
会議が進行している間には、会議室端末10は、参加者の音声を取得し、サーバ装置20に送信する(ステップS02)。即ち、参加者の音声は会議室端末10により収集され、逐次、サーバ装置20に送信される。
【0103】
サーバ装置20は、取得した音声(音声ファイル)を解析し、参加者の発言からキーワードを抽出する。サーバ装置20は、当該抽出したキーワード及び参加者IDを用いて議事録を更新する(ステップS12)。
【0104】
会議が行われている間は、上記ステップS02及びステップS12の処理が繰り返される。その結果、議事録(テーブル形式の簡易的な議事録)には、発言者と当該発言者の発言の要点(キーワード)が追加されていく。
【0105】
サーバ装置20は、定期的又は所定のタイミングにて会議の状況を推測する(ステップS13)。
【0106】
サーバ装置20は、推測された会議の状況に基づいて室内環境を変更するか否かを判定し、変更する必要がある場合には「室内環境変更指示」を室内環境変更装置30に送信する(ステップS14)。
【0107】
室内環境変更装置30は、サーバ装置20からの指示に基づき室内環境を変更する(ステップS21)。
【0108】
以上のように、第1の実施形態に係るサーバ装置20は、会議時の議事録をリアルタイムに生成し、当該生成した議事録を解析することで会議の状況を推測する。サーバ装置20は、推測した会議の状況に基づいて会議室の環境を制御する。例えば、サーバ装置100は、会議の状況を推測した結果、会議が過熱していると判断すれば、参加者が落ち着きを取り戻すように会議室の環境を変更する。あるいは、サーバ装置20は、例えば、会議の議論が停滞していると判断すれば、参加者が積極的になるように会議室の環境を変更する。その結果、会議にて建設的な議論が行われるようになる。
【0109】
[第2の実施形態]
続いて、第2の実施形態について図面を参照して詳細に説明する。
【0110】
第1の実施形態では、会議の状況(会議盛況度)に基づいて会議室の室内環境を変更する場合について説明した。
【0111】
第2の実施形態では、第1の実施形態のように会議の最中に室内環境を変更するのではなく、休憩時間等に室内(とりわけ、休憩室)の環境を変更する場合について説明する。
【0112】
図15は、第2の実施形態に係る会議支援システムの概略構成の一例を示す図である。図15に示すように、第2の実施形態に係る会議支援システムでは、休憩室に室内環境変更装置30が設置されている。
【0113】
会議室で行われている会議の休憩時間になると、参加者は休憩室に向かう。例えば、図15の例では、会議室端末10-1を利用していた参加者Uが休憩室に移動している。
【0114】
室内環境変更装置30は、参加者Uが休憩室に入室したことを検知し、顔画像(生体情報)を取得する。室内環境変更装置30は、当該取得した顔画像を含む「室内環境決定要求」をサーバ装置20に送信する。
【0115】
サーバ装置20は、取得した室内環境決定要求から顔画像を抽出し、当該抽出された顔画像に基づき参加者Uの利用者IDを特定する。
【0116】
サーバ装置20は、当該特定された利用者IDを用いて参加者Uの分析(参加者Uの性格、考え方等の分析)を行い、参加者Uに最適な室内環境を決定する。例えば、サーバ装置20は、参加者Uに適した「香り」を決定する。なお、室内環境変更装置30が変更する環境は「香り」に限定されず、室内の明るさや音楽等であってもよい。
【0117】
変更された室内環境を経験した参加者Uの集中力や創造性が向上する。他の参加者に関しても同様に、休憩室にて休憩をすることで集中力等が向上する。なお、複数の休憩室及び室内環境変更装置30を用意し、複数の参加者が同じ時間帯に休憩を行ってもよい。
【0118】
各参加者が集中力を取り戻すことで、再開された会議にて白熱した議論が行われる。即ち、第2の実施形態においても、サーバ装置20は、建設的な議論が行われるように会議を支援することができる。
【0119】
以下、第2の実施形態に係る会議支援システムに含まれる各装置について説明する。なお、第2の実施形態に係る会議室端末10の処理構成等に関しては、第1の実施形態に係る会議室端末10の処理構成等と同一とすることができるのでその説明を省略する。以下、第1及び第2の実施形態の相違点を中心に説明する。
【0120】
[サーバ装置]
図16は、第2の実施形態に係るサーバ装置20の処理構成(処理モジュール)の一例を示す図である。図16を参照すると、第1の実施形態に係る構成に対して学習モデル生成部208が追加されている。
【0121】
学習モデル生成部208は、参加者の発言(発言内容)から当該参加者に最適な「香り」を決定(出力)するための学習モデルを生成する手段である。
【0122】
システムの管理者等は、システムの運用前に、大量の議事録(会議の議事録)を収集する。また、管理者等は、議事録に記載された発言の発言者に対して、様々な種類の香りを嗅いでもらい、その感想を収集する。例えば、単語Aを発言した発言者U1に、複数種類の香り(例えば、甘い香り、爽やかな香り等)を嗅いでもらう。管理者は、当該発言者U1の各香りに対する感想(例えば、リラックスできた、眠気が覚めた、集中力が増した等)を収集する。
【0123】
同様に、管理者等は、別の単語Bを発言した発言者U2に、複数種類の香りを嗅いでもらう。管理者は、当該発言者U2の各香りに対する感想(感覚の変化、感情の変化)を収集する。
【0124】
管理者等は、上記のような単語(会議での発言)と発言者の感想を収集することで、図17に示すようなデータを収集する。
【0125】
次に、管理者等は、収集したデータに関し、感想ごとに単語と香りを対応付けたデータを生成する。例えば、管理者等は、「集中力がアップ」という感想について単語と香りを対応付けたデータを生成する。この場合、図18(a)に示すようなデータが生成される。あるいは、「リラックス」という感想については、図18(b)に示すような単語と香りを対応付けたデータが生成される。
【0126】
管理者等は、図18に示すようなデータを学習データ(教師データ)としてサーバ装置20に入力する。
【0127】
サーバ装置20の学習モデル生成部208は、取得した学習データを用いて機械学習を行い、学習モデルを生成する。学習モデル生成部208は、例えば、図18(a)に示すような学習データを取得すると、集中力がアップするような香り(香りを嗅いだ人の集中力がアップする香り)を選択する学習モデルを生成する。あるいは、学習モデル生成部208は、例えば、図18(b)に示すような学習データを取得すると、香りを嗅いだ人がリラックスするような香りを選択する学習モデルを生成する。
【0128】
なお、学習モデル生成部208は、上記学習データ(教師データ;香りというラベルが付与された単語)を用いた機械学習を行い、学習モデル(学習器、識別器)を生成する。学習モデル生成部208による学習モデルの生成には、サポートベクタマシン、ブースティングやニューラルネットワーク等の任意のアルゴリズムを用いることができる。なお、上記サポートベクタマシン等のアルゴリズムは公知の技術を使用することができるので、その説明を省略する。
【0129】
このように、学習モデル生成部208は、会議にて発言された単語(キーワード)と、発言された単語の発言者に所定の感想(例えば、集中力が向上する、リラックスできる)を生じさせる香り(室内環境)と、を用いて学習モデルを生成する。学習モデル生成部208は、生成した学習モデルを記憶部207に格納する。
【0130】
室内環境制御部206は、学習モデルに利用者(休憩者)が発言した単語を入力することで当該利用者に適した香り(室内環境)を決定し、決定された香りとなるように室内環境変更装置30を制御する。
【0131】
具体的には、室内環境制御部206は、室内環境変更装置30から「室内環境決定要求」を取得すると、当該要求から休憩者(休憩室に移動した参加者)の顔画像を取得する。室内環境制御部206は、取得した顔画像を参加者特定部203に引き渡し、休憩者の利用者IDを特定するように依頼する。
【0132】
室内環境制御部206は、参加者特定部203から利用者ID(休憩者の利用者ID)を取得する。室内環境制御部206は、議事録生成部204により生成された議事録(図10参照)を参照し、取得した利用者IDに対応する休憩者が発言したキーワード(単語)を抽出する。室内環境制御部206は、休憩者が発言した単語のうち発言回数が最も多い単語を特定する。なお、発言回数の多い単語は、休憩者の性格や考え方を端的に示すものと捉えることができる。
【0133】
室内環境制御部206は、特定した単語を学習モデルに入力し、学習モデルから当該入力した単語に対応した「香り」を取得する。
【0134】
室内環境制御部206は、取得した香りの香りIDを含む応答(室内環境決定要求に対する応答)を室内環境変更装置30に送信する。
【0135】
このように、室内環境制御部206は、会議の議事録(休憩者が発言した単語を含む議事録)に基づき学習モデルに入力する単語を決定する。また、室内環境制御部206は、休憩者が発言した各単語の発言回数に基づき学習モデルに入力する単語を決定する。とりわけ、室内環境制御部206は、休憩者が会議中に数多く発言した単語を学習モデルに入力する単語として決定する。
【0136】
なお、第2の実施形態では、参加者(休憩者)の性格や考え方が顕著に表れるような単語(キーワード)を含む議事録を生成したり学習モデルを生成したりするのが望ましい。例えば、積極性を示す単語である「頑張る」、「なんとかする」といった単語や消極性を示す「しかし」や「できない」といった単語が上記単語として例示される。
【0137】
[室内環境変更装置]
図19は、第2の実施形態に係る室内環境変更装置30の処理構成(処理モジュール)の一例を示す図である。図19を参照すると、第2の実施形態に係る室内環境変更装置30は、第1の実施形態の構成に顔画像取得部404と室内環境決定要求部405が追加されている。
【0138】
顔画像取得部404は、休憩者の生体情報(顔画像)を取得する。なお、顔画像取得部404の動作は第1の実施形態にて説明した会議室端末10の顔画像取得部302と同様とすることができるので詳細な説明は省略する。
【0139】
顔画像取得部404は、顔画像を取得すると当該顔画像を室内環境決定要求部405に引き渡す。
【0140】
室内環境決定要求部405は、取得した顔画像を含む「室内環境決定要求」をサーバ装置20に送信する。
【0141】
室内環境決定要求部405は、サーバ装置20からの応答(香りIDを含む応答)を取得する。室内環境決定要求部405は、当該応答から香りIDを抽出し、香り変更部402に引き渡す。
【0142】
香り変更部402は、香りIDに対応する香りを発生する(サーバ装置20から指示された香りを発生する)。
【0143】
[会議支援システムの動作]
次に、第2の実施形態に係る会議支援システムの動作について説明する。
【0144】
図20は、第2の実施形態に係る会議支援システムの動作の一例を示すシーケンス図である。なお、図20は、実際に会議が行われている際のシステム動作の一例を示すシーケンス図である。図20の動作に先立ち、議事録の生成や学習モデルの生成は予め行われているものとする。
【0145】
室内環境変更装置30は、休憩者の顔画像を含む室内環境決定要求をサーバ装置20に送信する(ステップS41)。
【0146】
サーバ装置20は、取得した顔画像を用いた照合処理により休憩者の利用者IDを特定する(ステップS51)。
【0147】
サーバ装置20は、特定した利用者IDの発言のうち発言回数の最も多い単語(キーワード)を特定する(ステップS52)。
【0148】
サーバ装置20は、特定した単語を学習モデルに入力し、訪問者に適した香りを決定する(ステップS53)。
【0149】
サーバ装置20は、決定した香りの香りIDを含む応答を室内環境変更装置30に送信する(ステップS54)。
【0150】
室内環境変更装置30は、取得した香りIDに対応する香りを発生する(ステップS42)。
【0151】
なお、サーバ装置20は、複数の感想それぞれに対する学習モデルを生成してもよい。つまり、記憶部207は、複数の学習モデルを記憶してもよい。さらに、サーバ装置20は、当該複数の学習モデルを使い分けてもよい。
【0152】
例えば、サーバ装置20は、会議盛況度から会議が停滞していると判断した場合には、「集中力アップ」に関する学習モデルを使用し、休憩者に最適な香りを選択する。あるいは、サーバ装置20は、会議盛況度から会議が過熱していると判断した場合には、「リラックス」に関する学習モデルを使用し、休憩者に最適な香りを選択する。このように、第2の実施形態に係る室内環境制御部206は、推測された会議の状況(会議盛況度)に基づいて、複数の学習モデルのうち休憩者が発言した単語を入力する学習モデルを選択してもよい。
【0153】
あるいは、第2の実施形態に係るサーバ装置20は、会議の状況が停滞していると判断した場合には、会議の参加者に対して休憩をとることを推奨してもよい。サーバ装置20により会議が停滞していると判断された際に、各参加者が休憩をとることで集中力を取り戻し、建設的な議論が行われる。
【0154】
以上のように、第2の実施形態に係る会議支援システムでは、会議の参加者は、休憩時間に休憩室(あるいは、アロマステーションのような個室)に移動する。休憩室では、休憩者の特定が行われ、サーバ装置20は、特定された休憩者の性格や考え方等の分析を行う。具体的には、サーバ装置20は、事前に用意された学習モデルに休憩者により発言された単語(休憩者の特徴を最も端的に表す単語)を入力し、休憩者に適した香りを選択する。室内環境変更装置30は、サーバ装置20が選択した香りを発生する。当該香りを嗅いだ休憩者は、集中力や創造性が向上し、休憩後に再開する会議にて自然と発熱した議論が行われるようになる。
【0155】
続いて、会議支援システムを構成する各装置のハードウェアについて説明する。図21は、サーバ装置20のハードウェア構成の一例を示す図である。
【0156】
サーバ装置20は、情報処理装置(所謂、コンピュータ)により構成可能であり、図21に例示する構成を備える。例えば、サーバ装置20は、プロセッサ311、メモリ312、入出力インターフェイス313及び通信インターフェイス314等を備える。上記プロセッサ311等の構成要素は内部バス等により接続され、相互に通信が可能となるように構成されている。
【0157】
但し、図21に示す構成は、サーバ装置20のハードウェア構成を限定する趣旨ではない。サーバ装置20は、図示しないハードウェアを含んでもよいし、必要に応じて入出力インターフェイス313を備えていなくともよい。また、サーバ装置20に含まれるプロセッサ311等の数も図21の例示に限定する趣旨ではなく、例えば、複数のプロセッサ311がサーバ装置20に含まれていてもよい。
【0158】
プロセッサ311は、例えば、CPU(Central Processing Unit)、MPU(Micro Processing Unit)、DSP(Digital Signal Processor)等のプログラマブルなデバイスである。あるいは、プロセッサ311は、FPGA(Field Programmable Gate Array)、ASIC(Application Specific Integrated Circuit)等のデバイスであってもよい。プロセッサ311は、オペレーティングシステム(OS;Operating System)を含む各種プログラムを実行する。
【0159】
メモリ312は、RAM(Random Access Memory)、ROM(Read Only Memory)、HDD(Hard Disk Drive)、SSD(Solid State Drive)等である。メモリ312は、OSプログラム、アプリケーションプログラム、各種データを格納する。
【0160】
入出力インターフェイス313は、図示しない表示装置や入力装置のインターフェイスである。表示装置は、例えば、液晶ディスプレイ等である。入力装置は、例えば、キーボードやマウス等のユーザ操作を受け付ける装置である。
【0161】
通信インターフェイス314は、他の装置と通信を行う回路、モジュール等である。例えば、通信インターフェイス314は、NIC(Network Interface Card)等を備える。
【0162】
サーバ装置20の機能は、各種処理モジュールにより実現される。当該処理モジュールは、例えば、メモリ312に格納されたプログラムをプロセッサ311が実行することで実現される。また、当該プログラムは、コンピュータが読み取り可能な記憶媒体に記録することができる。記憶媒体は、半導体メモリ、ハードディスク、磁気記録媒体、光記録媒体等の非トランジェント(non-transitory)なものとすることができる。即ち、本発明は、コンピュータプログラム製品として具現することも可能である。また、上記プログラムは、ネットワークを介してダウンロードするか、あるいは、プログラムを記憶した記憶媒体を用いて、更新することができる。さらに、上記処理モジュールは、半導体チップにより実現されてもよい。
【0163】
なお、会議室端末10もサーバ装置20と同様に情報処理装置により構成可能であり、その基本的なハードウェア構成はサーバ装置20と相違する点はないので説明を省略する。会議室端末10は、カメラ、マイクを備えている、又は、カメラやマイクが接続可能に構成されていればよい。また、室内環境変更装置30に関しても、既存(汎用)の「香り発生装置」に通信機能等を持たせればよく、当業者にとって明らかであるので当該装置のハードウェアに関する説明を省略する。また、第2の実施形態に係る室内環境変更装置30はカメラを備える。
【0164】
サーバ装置20は、コンピュータを搭載し、当該コンピュータにプログラムを実行させることでサーバ装置20の機能が実現できる。また、サーバ装置20は、当該プログラムにより会議支援方法を実行する。
【0165】
[変形例]
なお、上記実施形態にて説明した会議支援システムの構成、動作等は例示であって、システムの構成等を限定する趣旨ではない。
【0166】
上記実施形態では、会議室端末10にマイクを接続し、音声を送信する会議室端末10のIDにより発言者を特定している。しかし、図22に示すように1台のマイク40を机に設置し、マイク40が各参加者の発言を集音してもよい。この場合、サーバ装置20は、マイク40から集音した音声に関して「話者識別」を実行し、発言者の特定を行ってもよい。
【0167】
上記実施形態では、机に専用の会議室端末10が設置された場合について説明したが、会議室端末10の機能は参加者が所持(所有)する端末により実現されてもよい。例えば、図23に示すように、各参加者のそれぞれは端末11-1~11-5を用いて会議に参加してもよい。参加者は、自身の端末11を操作し、会議の開始と共に自分の顔画像をサーバ装置20に送信する。また、端末11は、参加者の音声をサーバ装置20に送信する。なお、サーバ装置20はプロジェクタ50を用いて参加者に画像、映像等を提供してもよい。
【0168】
システム利用者のプロフィール(利用者の属性値)はスキャナ等を用いて入力されてもよい。例えば、利用者は、自身の名刺に関する画像を、スキャナを用いてサーバ装置20に入力する。サーバ装置20は、取得した画像に対して光学文字認識(OCR;Optical Character Recognition)処理を実行する。サーバ装置20は、得られた情報に基づき利用者のプロフィールを決定してもよい。
【0169】
上記実施形態では、会議室端末10からサーバ装置20に「顔画像」に係る生体情報が送信される場合について説明した。しかし、会議室端末10からサーバ装置20に「顔画像から生成された特徴量」に係る生体情報が送信されてもよい。サーバ装置20は、取得した特徴量(特徴ベクトル)を用いて利用者データベースに登録された特徴量との間で照合処理を実行してもよい。
【0170】
上記実施形態では、サーバ装置20は室内環境変更装置30に対して「室内環境変更指示」を送信する場合について説明した。しかし、サーバ装置20から室内環境変更装置30に対して「会議盛況度」が送信されてもよい。この場合、室内環境変更装置30は、取得した会議盛況度に基づいて発生させる香りを選択してもよい。
【0171】
室内環境変更装置30は、サーバ装置20から指示された香りを発生させる際、ファン等を回転させてもよい。ファン等を回転させることで、香りが早く室内に充満する。
【0172】
サーバ装置20は、「香り」に替えて、又は「香り」に加えて、室内の明るさや再生する音楽等の変更を室内環境変更装置30に指示してもよい。室内環境変更装置30は、会議室に発生させる香り、会議室の明るさ及び会議室に再生する音楽のうち少なくとも1つを変更できればよい。なお、室内環境変更装置30による部屋の明るさ変更や再生する音楽の変更に関し、当業者にとってこれらの実現は明らかであるので詳細な説明を省略する。例えば、室内環境変更装置30は、LED(Light Emitting Diode)に印加する電圧、電流等を制御することで室内の明るさを制御すればよい。また、室内環境変更装置30は、予め用意した音楽ファイルをスピーカから再生することで会議室で再生される音楽を変更すればよい。
【0173】
なお、第2の実施形態では、室内環境変更装置30は会議室とは別の部屋に設置されている場合について説明したが、当該装置が会議室に設置されていても良いことは勿論である。例えば、室内環境変更装置30は会議室の隅に置かれていてもよい。
【0174】
上記説明で用いた流れ図(フローチャート、シーケンス図)では、複数の工程(処理)が順番に記載されているが、実施形態で実行される工程の実行順序は、その記載の順番に制限されない。実施形態では、例えば各処理を並行して実行する等、図示される工程の順番を内容的に支障のない範囲で変更することができる。
【0175】
上記の実施形態は本願開示の理解を容易にするために詳細に説明したものであり、上記説明したすべての構成が必要であることを意図したものではない。また、複数の実施形態について説明した場合には、各実施形態は単独で用いてもよいし、組み合わせて用いてもよい。例えば、実施形態の構成の一部を他の実施形態の構成に置き換えることや、実施形態の構成に他の実施形態の構成を加えることも可能である。さらに、実施形態の構成の一部について他の構成の追加、削除、置換が可能である。
【0176】
上記の説明により、本発明の産業上の利用可能性は明らかであるが、本発明は、企業等にて行われる会議等を支援するシステムなどに好適に適用可能である。
【0177】
上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
[付記1]
会議にて発言された単語と、前記発言された単語の発言者に所定の感想を生じさせる室内環境と、を用いて生成された学習モデルを記憶する、記憶部と、
前記学習モデルに利用者が発言した単語を入力することで前記利用者に適した室内環境を決定し、前記決定された室内環境となるように室内環境変更装置を制御する、環境制御部と、
を備える、サーバ装置。
[付記2]
前記学習モデルを生成する、学習モデル生成部をさらに備える、付記1に記載のサーバ装置。
[付記3]
会議の状況を推測する、推測部をさらに備え、
前記記憶部は、複数の前記学習モデルを記憶し、
前記環境制御部は、前記推測された会議の状況に基づいて、前記複数の学習モデルのうち前記利用者が発言した単語を入力する学習モデルを選択する、付記1又は2に記載のサーバ装置。
[付記4]
前記推測部は、会議の盛況度合いを示す会議盛況度を算出し、当該算出された会議盛況度に基づいて前記会議の状況を推測する、付記3に記載のサーバ装置。
[付記5]
前記利用者が発言した単語を含む会議の議事録を生成する、議事録生成部をさらに備え、
前記環境制御部は、前記会議の議事録に基づき前記学習モデルに入力する単語を決定する、付記1乃至4のいずれか一に記載のサーバ装置。
[付記6]
前記環境制御部は、前記利用者が発言した各単語の発言回数に基づき前記学習モデルに入力する単語を決定する、付記5に記載のサーバ装置。
[付記7]
前記室内環境変更装置は、前記会議室に発生させる香り、前記会議室の明るさ及び前記会議室に再生する音楽のうち少なくとも1つを変更する、付記1乃至6のいずれか一に記載のサーバ装置。
[付記8]
室内の環境を変更するための室内環境変更装置と、
前記室内環境変更装置と接続されたサーバ装置と、
を含み、
前記サーバ装置は、
会議にて発言された単語と、前記発言された単語の発言者に所定の感想を生じさせる室内環境と、を用いて生成された学習モデルを記憶する、記憶部と、
前記学習モデルに利用者が発言した単語を入力することで前記利用者に適した室内環境を決定し、前記決定された室内環境となるように前記室内環境変更装置を制御する、環境制御部と、
を備える、会議支援システム。
[付記9]
サーバ装置において、
会議にて発言された単語と、前記発言された単語の発言者に所定の感想を生じさせる室内環境と、を用いて生成された学習モデルを記憶し、
前記学習モデルに利用者が発言した単語を入力することで前記利用者に適した室内環境を決定し、前記決定された室内環境となるように室内環境変更装置を制御する、会議支援方法。
[付記10]
サーバ装置に搭載されたコンピュータに、
会議にて発言された単語と、前記発言された単語の発言者に所定の感想を生じさせる室内環境と、を用いて生成された学習モデルを記憶する処理と、
前記学習モデルに利用者が発言した単語を入力することで前記利用者に適した室内環境を決定し、前記決定された室内環境となるように室内環境変更装置を制御する処理と、
を実行させるためのプログラムを記憶する、コンピュータ読取可能な記憶媒体。
[付記11]
会議の状況を推測する、推測部と、
前記推測された会議の状況に基づいて会議室の室内環境を制御する、環境制御部と、
を備える、サーバ装置。
[付記12]
前記推測部は、会議の盛況度合いを示す会議盛況度を算出し、当該算出された会議盛況度に基づいて前記会議の状況を推測する、付記11に記載のサーバ装置。
[付記13]
会議の議事録を生成する、議事録生成部をさらに備え、
前記推測部は、前記生成された会議の議事録を解析することで、前記会議盛況度を算出する、付記12に記載のサーバ装置。
[付記14]
前記推測部は、所定期間における参加者の発言回数に基づき前記会議盛況度を算出する、付記13に記載のサーバ装置。
[付記15]
前記推測部は、所定期間における発言人数に基づき前記会議盛況度を算出する、付記13又は14に記載のサーバ装置。
[付記16]
前記推測部は、一の参加者の発言から他の参加者の発言までの間隔に基づいて前記会議盛況度を算出する、付記13乃至15のいずれか一に記載のサーバ装置。
[付記17]
前記推測部は、異なる方法により算出された前記会議盛況度に対して統計処理を施し、前記統計処理の結果に基づき前記会議の状況を推測する、付記12乃至16のいずれか一に記載のサーバ装置。
[付記18]
前記環境制御部は、会議室の環境を変更するための室内環境変更装置に対し、前記会議室の室内環境の変更を指示する、付記11乃至17のいずれか一に記載のサーバ装置。
[付記19]
前記室内環境変更装置は、前記会議室に発生させる香り、前記会議室の明るさ及び前記会議室に再生する音楽のうち少なくとも1つを変更する、付記18に記載のサーバ装置。
[付記20]
会議室の環境を変更するための室内環境変更装置と、
サーバ装置と、
を含み、
前記サーバ装置は、
会議の状況を推測する、推測部と、
前記推測された会議の状況に基づいて会議室の室内環境を制御する、環境制御部と、
を備え、
前記環境制御部は、前記室内環境変更装置に対し、前記会議室の室内環境の変更を指示する、会議支援システム。
[付記21]
サーバ装置において、
会議の状況を推測し、
前記推測された会議の状況に基づいて会議室の室内環境を制御する、会議支援方法。
[付記22]
サーバ装置に搭載されたコンピュータに、
会議の状況を推測する処理と、
前記推測された会議の状況に基づいて会議室の室内環境を制御する処理と、
を実行させるためのプログラムを記憶する、コンピュータ読取可能な記憶媒体。
【0178】
なお、引用した上記の先行技術文献の各開示は、本書に引用をもって繰り込むものとする。以上、本発明の実施形態を説明したが、本発明はこれらの実施形態に限定されるものではない。これらの実施形態は例示にすぎないということ、及び、本発明のスコープ及び精神から逸脱することなく様々な変形が可能であるということは、当業者に理解されるであろう。即ち、本発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得る各種変形、修正を含むことは勿論である。
【符号の説明】
【0179】
10、10-1~10-8 会議室端末
11、11-1~11-5 端末
20、100 サーバ装置
30 室内環境変更装置
40 マイク
50 プロジェクタ
101、207、304、403 記憶部
102 環境制御部
201、301、401 通信制御部
202 利用者登録部
203 参加者特定部
204 議事録生成部
205 会議状況推測部
206 室内環境制御部
208 学習モデル生成部
211 利用者情報取得部
212 ID生成部
213 特徴量生成部
214、224 エントリ管理部
221 音声取得部
222 テキスト化部
223 キーワード抽出部
302、404 顔画像取得部
303 音声送信部
311 プロセッサ
312 メモリ
313 入出力インターフェイス
314 通信インターフェイス
402 香り変更部
405 室内環境決定要求部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23