特開 2023-172189 表示制御システム及び表示制御装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023172189

(43)【公開日】2023-12-06

(54)【発明の名称】表示制御システム及び表示制御装置

(51)【国際特許分類】

   G06F 16/53 20190101AFI20231129BHJP

【ＦＩ】

G06F16/53

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2022083823

(22)【出願日】2022-05-23

(71)【出願人】

【識別番号】000005049

【氏名又は名称】シャープ株式会社

(74)【代理人】

【識別番号】100168583

【弁理士】

【氏名又は名称】前井 宏之

(72)【発明者】

【氏名】大和久 剛志

【テーマコード（参考）】

5B175

【Ｆターム（参考）】

5B175DA02

5B175FB03

5B175GB03

(57)【要約】

【課題】会議に関連する画像を適切に検索して表示することができる表示制御システムを提供する。
【解決手段】表示制御システム１は、会議に用いられる画像を表示する表示部１１と、会議における発話音声を入力するための音声入力部１２と、発話音声を認識してテキストデータに変換する音声認識部２１と、テキストデータから複数のワードを、画像又は会議に対応するキーワード群として抽出する抽出部２２と、画像又は会議にキーワード群を関係付けて記憶する記憶部２３と、現在の会議における発話音声から抽出された複数のキーワードと、キーワード群とが所定値以上一致する画像又は会議を検索する検索部２４とを備え、検索された画像、又は、検索された会議に用いられた画像を、現在の会議で表示させる。
【選択図】図１

【特許請求の範囲】

【請求項1】

会議に用いられる画像を表示する表示部と、
前記会議における発話音声を入力するための音声入力部と、
前記発話音声を認識してテキストデータに変換する音声認識部と、
前記テキストデータから複数のワードを、前記画像又は前記会議に対応するキーワード群として抽出する抽出部と、
前記画像又は前記会議に前記キーワード群を関係付けて記憶する記憶部と、
現在の会議における発話音声から抽出された複数のキーワードと、前記キーワード群とが所定値以上一致する画像又は会議を検索する検索部と
を備え、
検索された画像、又は、検索された会議に用いられた前記画像を、現在の会議で表示させる、表示制御システム。

【請求項2】

前記抽出部は、前記発話音声において出現頻度が高いワード、又は、重要度が高いと推定されるワードを優先して前記キーワード群として抽出する請求項１に記載の表示制御システム。

【請求項3】

前記重要度は、特定のワードが前記キーワード群として抽出された個数又は割合に応じて、若しくは、特定のワードごとに予め重要度が定義されている重要度データベースに基づいて決定される請求項２に記載の表示制御システム。

【請求項4】

前記会議における出席者の情報を取得するための出席者情報取得部と、
前記出席者の情報を対比する出席者対比部と
をさらに備え、
前記記憶部は、取得された出席者の情報を前記画像又は前記会議に関係付けて記憶し、
前記出席者対比部は、検索された画像又は会議に関係付けられている出席者と、前記現在の会議における出席者とを対比し、
対比された出席者が所定値以上一致する場合に、検索された画像、又は、検索された会議に用いられた前記画像を、現在の会議で表示させる請求項１から３のいずれか一項に記載の表示制御システム。

【請求項5】

検索された画像、又は、検索された会議に用いられた前記画像に対して表示を禁止する禁止ワードが含まれているかを確認する用語確認部をさらに備え、
前記用語確認部において前記禁止ワードが含まれていないと判断された画像を、現在の会議で表示させる請求項１から３のいずれか一項に記載の表示制御システム。

【請求項6】

検索された画像、又は、検索された会議に用いられた前記画像に対して表示を禁止する禁止ワードが含まれているかを確認する用語確認部をさらに備え、
前記用語確認部において前記禁止ワードが含まれていないと判断された画像を、現在の会議で表示させる請求項４に記載の表示制御システム。

【請求項7】

会議に用いられる画像を表示する表示部と、
前記会議における発話音声を入力するための音声入力部と、
を備え、
前記発話音声から抽出されたキーワード群を関係付けて記憶されている前記画像又は前記会議の中から、現在の会議における発話音声から抽出された複数のキーワードが前記キーワード群と所定値以上一致するとして検索された画像、又は、検索された会議に用いられた前記画像を、現在の会議で表示させる、表示制御装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、会議に関連する画像の表示を制御する表示制御システム及び表示制御装置に関する。

【背景技術】

【0002】

会議を円滑に行うためには、会議で議論中の議題に関連する資料を素早く確認できることが重要となる。このために、会議における会話から議題に関連する資料を抽出して表示できることが望まれる。

【0003】

例えば、特許文献１には、使用者が音声映像情報の交換中に会話に関連する情報を表示する情報通信システムが提案されている。特許文献１の情報通信システムでは、音声情報を認識し、認識した音声情報から複数の単語を特定し、キーワードを抽出するための条件が設定されたキーワード抽出条件設定データに基づき、複数の単語から複数のキーワードを抽出し、複数のキーワードに関連する関連情報を取得している。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】ＷＯ２００６／０８５５６５

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特許文献１の情報通信システムでは、音声認識により認識された単語から選択されたキーワードをもとに関連情報を検索している。そのため、会話に関連する情報であっても、当該関連情報に会話で出てくるキーワードが付与されていないと、当該関連情報を見つけられないという問題がある。

【0006】

本開示は上記課題に鑑みてなされたものであり、会議に関連する画像を適切に検索して表示することができる表示制御システム及び表示制御装置を提供することを目的とする。

【課題を解決するための手段】

【0007】

本開示によれば、表示制御システムは、会議に用いられる画像を表示する表示部と、記会議における発話音声を入力するための音声入力部と、発話音声を認識してテキストデータに変換する音声認識部と、テキストデータから複数のワードを、画像又は会議に対応するキーワード群として抽出する抽出部と、画像又は会議にキーワード群を関係付けて記憶する記憶部と、現在の会議における発話音声から抽出された複数のキーワードと、キーワード群とが所定値以上一致する画像又は会議を検索する検索部とを備え、検索された画像、又は、検索された会議に用いられた画像を、現在の会議で表示させる。

【0008】

また、本開示によれば、表示制御装置は、会議に用いられる画像を表示する表示部と、会議における発話音声を入力するための音声入力部とを備え、発話音声から抽出されたキーワード群を関係付けて記憶されている画像又は会議の中から、現在の会議における発話音声から抽出された複数のキーワードがキーワード群と所定値以上一致するとして検索された画像、又は、検索された会議に用いられた画像を、現在の会議で表示させる。

【発明の効果】

【0009】

本開示によれば、会議に関連する画像を適切に検索して表示することができる。

【図面の簡単な説明】

【0010】

【図1】本開示の一実施形態に係る表示制御システムの構成を示す図である。

【図2】本開示の一実施形態に係る表示制御システムの機能ブロック図である。

【図3】本開示の表示制御システムで利用される画像管理データベースの一例を示す図である。

【図4】本開示の実施形態１に係る表示制御システムの動作を示すフローチャートである。

【図5】本開示の実施形態１に係る表示制御システムの動作を示すフローチャートである。

【図6】実施形態１の表示制御システムで関連する画像を検索して提示する処理のイメージ図である。

【図7】本開示の実施形態２に係る表示制御システムの動作を示すフローチャートである。

【図8】本開示の実施形態２に係る表示制御システムの動作を示すフローチャートである。

【図9】実施形態２の表示制御システムで関連する画像を検索して提示する処理のイメージ図である。

【図10】本開示の実施形態３に係る表示制御システムの動作を示すフローチャートである。

【図11】実施形態３の表示制御システムで関連する画像を検索して提示する処理のイメージ図である。

【発明を実施するための形態】

【0011】

以下、本開示の実施形態について、図面を参照しながら説明する。尚、図中、同一又は相当部分については同一の参照符号を付して説明を繰り返さない。

【0012】

本開示の表示制御システム及び表示制御装置は、会議に関連する画像にキーワード群を関係付けて記憶しておき、その記憶された画像のデータから会議に関連する画像を検索して表示するために使用する。

【0013】

図１～図３を参照して、本実施形態に係る表示制御システム１及び表示制御装置３０について説明する。図１は、本実施形態に係る表示制御システム１の構成を示す図である。図２は、本実施形態に係る表示制御システム１の機能ブロック図である。図３は、本開示の表示制御システムで利用される画像管理データベースの一例を示す図である。

【0014】

図１及び図２に示すように、表示制御システム１は、端末装置１０とサーバ装置２０とで構成される。端末装置１０とサーバ装置２０とは、ネットワーク２を介して互いに接続され、ネットワーク２を介して互いに情報及びデータを送受信することが可能である。サーバ装置２０に接続される少なくとも１つの端末装置１０が表示制御装置３０を構成する。

【0015】

なお、表示制御システム１は、１台のコンピュータにより構成されてもよい。この場合、コンピュータが端末装置１０及びサーバ装置２０の両機能を備え、表示制御装置３０を構成する。

【0016】

図１に示すように、表示制御システム１は、表示部１１と、音声入力部１２と、音声認識部２１と、抽出部２２と、記憶部２３と、検索部２４とを備える。また、表示制御システム１は、出席者情報入力部１３と、出席者情報取得部２５と、出席者対比部２６と、用語確認部２７とを備えてもよい。表示部１１、音声入力部１２及び出席者情報入力部１３は、端末装置１０に備えられる。音声認識部２１、抽出部２２、記憶部２３、検索部２４、出席者情報取得部２５、出席者対比部２６及び用語確認部２７は、サーバ装置２０に備えられる。また、端末装置１０及びサーバ装置２０は、それぞれ制御部１４，２８を備える。

【0017】

表示部１１は、会議に用いられる画像を表示するための装置である。また、表示部１１は、検索部２４で検索された結果を表示する。表示部１１は、液晶ディスプレイなどの端末装置１０が有する表示装置によって構成される。また、表示部１１は、端末装置１０からプロジェクターなどを介して投影される画像を映し出すスクリーンとして構成されてもよい。

【0018】

ここで、会議に用いられる画像は、会議の資料として使用される文書データ、画像データなどのあらゆる電子データを意味する。電子データは、端末装置１０又はサーバ装置２０が有するＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）又はＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）などの補助記憶装置に保存されている。会議に用いられる画像は、会議の出席者が端末装置１０を操作することによって補助記憶装置から読み出されて表示部１１に表示される。

【0019】

音声入力部１２は、会議における発話音声を入力するための装置である。音声入力部１２は、マイクロフォンなどの端末装置が有する音声入力装置によって構成される。

【0020】

出席者情報入力部１３は、会議に出席している出席者の情報を入力するための装置である。出席者情報入力部１３は、キーボード、マウス、タッチパネル、音声入力装置などの端末装置１０が有する入力装置によって構成される。

【0021】

制御部１４は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などのプロセッサを備える。制御部１４は、制御プログラムを実行することによって、表示部１１、音声入力部１２及び出席者情報入力部１３の動作を制御する。

【0022】

また、制御部１４は、発話音声から抽出されたキーワード群を関係付けて記憶されている画像又は会議の中から、現在の会議における発話音声から抽出された複数のキーワードがキーワード群と所定値以上一致するとして検索された画像、又は、検索された会議に用いられた前記画像を、現在の会議で表示する。

【0023】

音声認識部２１は、発話音声を認識してテキストデータに変換する。すなわち、音声認識部２１は、音声入力部１２から取得した発話音声の情報に対して音声認識を実施し、音声認識結果として得たテキストデータを出力する。

【0024】

抽出部２２は、テキストデータから複数のワードを、画像又は会議に対応するキーワード群として抽出する。具体的には、抽出部２２は、発話音声を発話した文章のままテキスト化されたテキストデータから名詞などのワードをキーワード群として抽出する。このとき、一定回数（例えば３回）以上出現するワードをキーワード群として抽出する。

【0025】

会議に対応するキーワード群には、会議の間の全ての発話音声から抽出されたワードが含まれる。画像に対応するキーワード群には、画像が表示部１１で表示されている間の全ての発話音声から抽出されたワードが含まれる。発話音声の情報には、端末装置１０の制御部１４によって、当該発話音声を取得したときに表示部１１に表示されていた画像の情報が付加されている。音声認識部２１において発話音声を変換したテキストデータにも画像の情報が付加されている。抽出部２２は、その画像の情報を取得して、画像に対応するワードを抽出する。

【0026】

同一の画像又は会議に対応するワードが多い場合、抽出部２２は、発話音声において出現頻度が高いワード、又は、重要度が高いと推定されるワードを優先してキーワード群として抽出する。各画像又は各会議に対応するキーワード群は、例えば１０個程度が好ましい。

【0027】

ここで、重要度は、特定のワードがキーワード群として抽出された個数又は割合に応じて、若しくは、特定のワードごとに予め重要度が定義されている重要度データベース４１に基づいて決定される。後述するように、抽出部２２で抽出されたキーワード群は、対応する画像又は会議に関係付けて保存される。特定のワードがキーワード群として抽出された個数又は割合に応じて重要度が決定される場合では、画像又は会議に関係付けて保存されているキーワード群の中にあまり含まれない珍しいワードを、当該ワードが対応する画像又は会議に特有のワードであり、重要度が高いワードであると判断する。また、重要度データベース４１に基づいて重要度が決定される場合、重要度データベース４１には、表示制御システム１を使用するユーザによって予め特定のワードと、そのワードの重要度（重要度：高、重要度：中、重要度：低など）とが関係付けて記憶されている。抽出部２２は、抽出されたワードを重要度データベース４１と対比して重要度が高い・低い等を判断する。

【0028】

検索部２４は、現在の会議における発話音声から抽出された複数のキーワードと、キーワード群とが所定値以上一致する画像又は会議を検索する。現在の会議における発話音声に含まれるキーワードは、音声入力部１２において入力され、音声認識部２１でテキストデータに変換され、抽出部２２で抽出される。検索部２４は、現在の会議において抽出されたキーワードを、画像又は会議に関係付けて保存されているキーワード群と対比して所定値以上一致した場合に、当該キーワード群に関係付けられている画像又は会議を検索結果として出力する。

【0029】

所定値は、キーワードとキーワード群とで一致するワードの割合である。キーワード群に含まれるワードが時間をあけて出現すると、キーワード群に関係付けられている画像又は会議との関連性が低くなることから、キーワードとキーワード群とは、キーワード群に含まれる１個目のキーワードが出現してから所定時間以内、所定文字数以内又は所定文数以内に所定値以上一致することが好ましい。時間の情報は、端末装置１０が有する時計機能を利用して計測され、端末装置１０の制御部１４によって発話音声の情報に付加される。

【0030】

出席者情報取得部２５は、会議における出席者の情報を取得する。例えばリモート会議では、出席者情報取得部２５は、リモート会議を運営する会議システムから、リモート会議にログインしたユーザ情報を取得することで、会議の出席者の情報を取得する。会議システムは、端末装置１０又はサーバ装置２０に搭載されている。また、会議室に複数人集まって行う会議では、出席者情報取得部２５は、出席者情報入力部１３によって入力された情報を取得することで、会議の出席者の情報を取得する。リモート会議においても、１台の端末装置１０で複数人が会議に参加する場合は、出席者情報入力部１３で会議の出席者を入力してもよい。出席者の情報は、会議ごと、又は、会議で用いられる画像ごとに取得される。

【0031】

出席者対比部２６は、出席者の情報を対比する。出席者情報取得部２５で取得された出席者の情報は、会議又は会議で用いられる画像に関係付けてられて保存される。出席者対比部２６は、検索された画像又は会議に関係付けられている出席者と、現在の会議における出席者とを対比し、対比した出席者が所定値以上一致するかを判断する。現在の会議における出席者は、出席者情報取得部２５で取得される。所定値は、検索された画像又は会議に関係付けられている出席者と、現在の会議における出席者とで一致する出席者の割合である。

【0032】

用語確認部２７は、検索部２４で検索された画像、又は、検索された会議に用いられた画像に対して表示を禁止する禁止ワードが含まれているかを確認する。禁止ワードは、例えば社外秘、ｃｏｎｆｉｄｅｎｔｉａｌなどである。禁止ワードは、禁止ワードデータベース４２に記憶されている。用語確認部２７は、画像解析などによって、画像上に禁止ワードの有無を確認する。

【0033】

記憶部２３は、プロセッサが実行する制御プログラム及びデータ等を記憶するＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）及びＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）を備える。記憶部２３には、重要度データベース４１及び禁止ワードデータベース４２が保存されている。また、記憶部２３は、画像管理データベース４３を保有する。記憶部２３は、画像又は会議にキーワード群を関係付けて、画像管理データベース４３に記憶する。また、記憶部２３は、取得された出席者の情報を画像又は会議に関係付けて画像管理データベース４３に記憶する。

【0034】

具体的には、図３に示すように、記憶部２３は、画像管理データベース４３に、画像ごとに、キーワード群及び出席者の情報を関係付けて記憶する。また、図３の破線で示すように、会議ごとに、キーワード群及び出席者の情報を関係付けて記憶する。会議ごとに記憶する際は、会議に用いられる画像も会議と関係付けて記憶される。このとき、画像又は会議については、画像又は会議の名前及びサムネイル画像が記憶される。画像管理データベース４３は、新たな会議が開催されるごとに追加される。

【0035】

なお、画像管理データベース４３は、出席者の情報を記憶する必要がない場合は、画像又は会議とキーワード群とのみが関係付けて記憶されてもよい。また、画像管理データベース４３は、キーワード群と関係付けて記憶するデータベースと、出席者の情報と関係付けて記憶するデータベースとを個別に形成してもよい。

【0036】

制御部２８は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などのプロセッサを備える。制御部２８は、制御プログラムを実行することによって、音声認識部２１、抽出部２２、記憶部２３、検索部２４、出席者情報取得部２５、出席者対比部２６及び用語確認部２７の動作を制御する。

【0037】

以下、図４～図１１を参照して、本実施形態に係る表示制御システム１及び表示制御装置３０の動作を、フローチャートを用いて説明する。

【0038】

［実施形態１］
まず、図４～図６を参照して、実施形態１に係る表示制御システム１及び表示制御装置３０の動作を説明する。実施形態１では、現在の会議における発話音声から抽出されたキーワードのみに基づいて、会議に関連する画像を検索するフローについて説明する。そのため、実施形態１では、表示制御システム１及び表示制御装置３０は、出席者情報入力部１３、出席者情報取得部２５、出席者対比部２６、用語確認部２７、及び、禁止ワードデータベース４２を備えなくてもよい。

【0039】

図４及び図５は、実施形態１に係る表示制御システム１の動作を示すフローチャートである。図４は、会議においてキーワード群が画像に関係付けられて記憶されるフローを示す。図５は、現在の会議に関連する画像を提示するフローを示す。図６は、実施形態１の表示制御システム１で関連する画像を検索して提示する処理のイメージ図である。

【0040】

まず、図４を参照して、キーワード群が画像に関係付けて記憶されるフローを説明する。

【0041】

会議が行われると、会議の出席者の操作によって会議に関連する画像が表示部１１に表示される（ステップＳ１０）。同時に、音声入力部１２によって会議における発話音声が入力される（ステップＳ１２）。表示部１１で表示されている画像の情報は端末装置１０の制御部１４で特定され、音声入力部１２で入力された発話音声の情報に画像の情報が付加される。音声入力部１２で入力された発話音声は、音声認識部２１に送られる。

【0042】

音声認識部２１は、発話音声の情報を受け取ると、音声認識を行ってテキストデータに変換する（ステップＳ１４）。変換されたテキストデータは、画像の情報が付加されたまま抽出部２２へ送られる。抽出部２２は、発話音声が入力されたときに表示部１１に表示されていた画像に対応させて、テキストデータから複数のワードを、キーワード群として抽出する（ステップＳ１６）。このとき、抽出部２２は、ワードの出現頻度又は重要度に応じてワードを抽出する。

【0043】

会議における発話音声は、表示部１１で表示されている画像の情報とともに随時送られてくる。ワードの出現頻度に応じてキーワード群を抽出する場合、抽出部２２は、特定の画像が表示されている間のワードの出現頻度の統計をとり、画像が切り換わったタイミングで統計に基づきキーワード群を抽出する。また、重要度に応じて抽出する場合、抽出部２２は、記憶部２３に記憶されている重要度データベース４１又は画像管理データベース４３を読み出し、重要度データベース４１に記憶されている重要度に基づいて、又は、画像管理データベース４３で過去に抽出されたキーワード群の個数又は割合に従って決定された重要度に基づいて、キーワード群を抽出する。

【0044】

抽出されたキーワード群は、記憶部２３において、対応する画像と関係付けて画像管理データベース４３に記憶される（ステップＳ１８）。記憶部２３への記憶は、画像が切り換わったタイミング又は会議が終了したタイミングに行われる。表示部１１に同時に複数の画像が表示されている場合は、表示されている全ての画像に対して同じキーワード群が抽出され、関係付けられて記憶される。

【0045】

会議に関係付けて記憶する場合は、会議システムが搭載されている端末装置１０又はサーバ装置２０の制御部１４，２８が、会議システムから開催されている会議の情報（主催者、テーマなど）を取得する。抽出部２２は、会議が終了したタイミングで、画像に対応させて抽出した場合と同様にして会議に対応するキーワード群を抽出する。抽出されたキーワード群は、記憶部２３において対応する会議と関係付けて画像管理データベース４３に記憶される。

【0046】

画像又は会議に関係付けてキーワード群が記憶されると、処理を終了する。

【0047】

次に、図５及び図６を参照して、現在の会議において関連する画像を提示するフローについて説明する。

【0048】

現在の会議が行われると、音声入力部１２、音声認識部２１及び抽出部２２によって、現在の会議における発話音声から複数のキーワードが抽出される（ステップＳ３０）。抽出されたキーワードは、検索部２４に送られ、検索部２４は、画像管理データベース４３に記憶されているキーワード群と照合し、所定値以上一致する画像又は会議を検索する（ステップＳ３２）。

【0049】

具体的には、例えば図６に示す画像管理データベース４３があり、現在の会議で、所定時間（例えば１０分）の間にキーワードＡ・Ｂ・Ｃ・Ｄ・Ｅ・Ｈが抽出されたとする。検索部２４では、キーワードとキーワード群とが所定値（例えば５０％）以上一致する画像又は会議を検索するとする。この場合、画像１ではキーワード群と全て（１００％）のキーワードが一致する。画像２ではキーワード群３個中２個（６７％）のキーワードが一致する。一方、画像３ではキーワード群４個中１個（２５％）のキーワードしか一致しない。所定値が５０％以上と設定されているため、画像１及び画像２のみが提示の条件を満たし、検索結果として出力される。

【0050】

検索部２４によって、現在の会議の発話音声から抽出されたキーワードと所定値以上一致するキーワード群と関係付けられている会議が検索結果として出力された場合は、当該会議に関係付けられている会議に用いられる画像が検索結果として出力される。

【0051】

検索部２４において現在の会議に関連する画像があると判断されると（ステップＳ３４）、会議の出席者に関連する画像があることを通知する（ステップＳ３６）。具体的には、制御部１４によって、会議の出席者が見ている表示部１１に、例えば図６に示すポップアップ画面などによって、関連する画像の名前及びサムネイル画像を表示する。このとき、例えば、画像３のように条件に満たない画像であっても、少なくとも１個のキーワードが出現した場合などに、参考画像として提示してもよい。一方、検索部２４において現在の会議に関連する画像がないと判断されると（ステップＳ３４）、処理を終了する。

【0052】

会議の出席者は、提示された画像について表示するか否かを判断して表示の要否を指示する。会議の出席者から提示された画像の表示の指示を受けると（ステップＳ３８）、制御部１４は画像を表示部１１に表示する（ステップＳ４０）。一方、会議の出席者から提示された画像の表示の指示がなかった場合は、処理を終了する。

【0053】

［実施形態２］
次に、図７～図９を参照して、実施形態２に係る表示制御システム１及び表示制御装置３０の動作を説明する。実施形態２では、現在の会議における発話音声から抽出されたキーワードと現在の会議の出席者に基づいて、会議に関連する画像を検索するフローについて説明する。そのため、実施形態２では、表示制御システム１及び表示制御装置３０は、用語確認部２７、及び、禁止ワードデータベース４２を備えなくてもよい。以下、実施形態２について、実施形態１と異なる事項について説明する。

【0054】

図７及び図８は、実施形態２に係る表示制御システム１の動作を示すフローチャートである。図７は、会議においてキーワード群及び出席者が画像に関係付けられて記憶されるフローを示す。図８は、現在の会議に関連する画像を提示するフローを示す。図９は、実施形態２の表示制御システム１で関連する画像を検索して提示する処理のイメージ図である。

【0055】

まず、図７を参照して、キーワード群及び出席者が画像に関係付けて記憶されるフローを説明する。

【0056】

実施形態１と同様にして、会議が行われると、会議に関連する画像が表示部１１に表示され（ステップＳ１０）、音声入力部１２によって会議における発話音声が入力される（ステップＳ１２）。入力された発話音声は、音声認識部２１でテキストデータに変換され（ステップＳ１４）、抽出部２２でキーワード群が抽出される（ステップＳ１６）。

【0057】

同時に、出席者情報取得部２５は、会議システム又は出席者情報入力部１３から会議の出席者の情報を取得する（ステップＳ２０）。会議システムによって出席者の情報が取得される場合、表示部１１で表示されている画像の情報が端末装置１０の制御部１４で特定され、会議システムで取得される出席者の情報に画像の情報が付加される。出席者情報取得部２５は、画像の情報とともに出席者の情報を取得する。この場合、出席者情報取得部２５は、画像が切り換わるタイミングなどで出席者の情報を取得する。

【0058】

一方、会議の出席者によって出席者情報入力部１３を用いて会議の出席者が入力される場合、会議中の適宜のタイミング又は会議終了後などに出席者の情報を入力する。このとき、関係付ける画像又は会議を指定して出席者を入力することが好ましい。この場合、出席者情報取得部２５は、出席者情報入力部１３で出席者の情報が入力されたタイミングで出席者の情報を取得する。

【0059】

実施形態１と同様にして、抽出されたキーワード群は、記憶部２３において、対応する画像と関係付けて画像管理データベース４３に記憶される（ステップＳ２２）。また、取得された出席者の情報も、記憶部２３において、対応する画像と関係付けて画像管理データベース４３に記憶される（ステップＳ２２）。出席者の情報の記憶部２３への記憶は、画像が切り換わったタイミング又は会議が終了したタイミングに行われる。表示部１１に同時に複数の画像が表示されている場合は、表示されている全ての画像に対して同じ出席者の情報が関係付けられて記憶される。

【0060】

会議に関係付けて記憶する場合は、実施形態１と同様にして、会議システムから開催されている会議の情報（主催者、テーマなど）を取得する。抽出部２２及び出席者情報取得部２５は、会議が終了したタイミングで、画像に対応させて抽出した場合と同様にして、会議に対応するキーワード群を抽出するとともに、会議の出席者の情報を取得する。抽出されたキーワード群及び取得された出席者の情報は、記憶部２３において対応する会議と関係付けて画像管理データベース４３に記憶される。

【0061】

画像又は会議に関係付けてキーワード群が記憶されると、処理を終了する。

【0062】

次に、図８及び図９を参照して、現在の会議において関連する画像を提示するフローについて説明する。

【0063】

実施形態１と同様に、現在の会議が行われると、音声入力部１２、音声認識部２１及び抽出部２２によって、現在の会議における発話音声から複数のキーワードが抽出される（ステップＳ３０）。そして、検索部２４は、画像管理データベース４３に記憶されているキーワード群と照合し、所定値以上一致する画像又は会議が検索する（ステップＳ３２）。所定値以上一致する画像又は会議があると、当該画像又は当該会議に関係付けられている会議に用いる画像が検索結果として出力される。

【0064】

検索部２４において現在の会議に関連する画像があると判断されると（ステップＳ３４）、出席者対比部２６に会議に関連する画像の情報が送られる。一方、検索部２４において現在の会議に関連する画像がないと判断されると（ステップＳ３４）、処理を終了する。

【0065】

出席者対比部２６は、記憶部２３から画像管理データベース４３を読み出し、検索部２４で出力された画像に関連付けられている出席者の情報を取得する。同時に、出席者対比部２６は、現在の会議の出席者の情報を取得する。現在の会議の出席者の情報は、出席者が画像に関係付けて記憶されるフローで説明したのと同様に、出席者情報取得部２５から取得する。そして、出席者対比部２６は、検索された画像に関係付けられている出席者と、現在の会議の出席者とを対比し、対比された出席者が所定値以上一致するかを判断する（ステップＳ４２）。

【0066】

具体的には、例えば図９に示す画像管理データベース４３があり、現在の会議で、人物Ａ・Ｂ・Ｃが出席し、所定時間（例えば１０分）の間にキーワードＡ・Ｂ・Ｃ・Ｄ・Ｅ・Ｈが抽出されたとする。検索部２４では、キーワードとキーワード群とが所定値（例えば５０％）以上一致する画像又は会議を検索するとする。この場合、実施形態１で説明したとおり、画像１及び画像２のみが提示の条件を満たし、検索結果として出力される。

【0067】

次に、出席者対比部２６で、検索された画像に関係付けられている出席者と、現在の会議の出席者とを対比する。出席者対比部２６では、出席者が完全に一致する場合のみ会議の出席者に関連する画像があることを提示するとする。画像１が記憶された際の出席者は人物Ａ・Ｂのみで、現在の会議の出席者と一致しない。一方、画像２が記憶された際の出席者は人物Ａ・Ｂ・Ｃで、現在の会議の出席者と一致する。出席者が完全に一致していると設定されているため、画像２のみが提示の条件を満たす。

【0068】

なお、出席者が完全に一致とは、現在の会議の出席者が、検索された画像の出席者と同人数で完全に一致する場合に限らず、検索された画像の出席者より少なくても、検索された画像の出席者に全員が含まれている場合も含む。すなわち、図９の事例では、現在の会議の出席者が人物Ａ・Ｃの場合も、画像２においては出席者が完全に一致していると判断される。

【0069】

出席者対比部２６において、検索された画像に関係付けられている出席者と、現在の会議の出席者とが一致すると判断されると（ステップＳ４４）、実施形態１と同様にして、会議の出席者に関連する画像があることを通知する（ステップＳ３６）。このとき、例えば、画像１のように出席者の条件を満たない画像についても、表示して良いか否かの確認ダイアログを表示してもよい。一方、出席者対比部２６において、検索部２４において検索された全ての画像に対して、検索された画像に関係付けられている出席者と、現在の会議の出席者とが一致しないと判断されると（ステップＳ４４）、処理を終了する。

【0070】

その後は、実施形態１と同様にして、会議の出席者から提示された画像の表示の指示を受けると（ステップＳ３８）、制御部１４は画像を表示部１１に表示する（ステップＳ４０）。一方、会議の出席者から提示された画像の表示の指示がなかった場合は、処理を終了する。

【0071】

［実施形態３］
次に、図１０及び図１１を参照して、実施形態３に係る表示制御システム１及び表示制御装置３０の動作を説明する。実施形態３では、現在の会議における発話音声から抽出されたキーワード及び画像に含まれる禁止ワードに基づいて、会議に関連する画像を検索するフローについて説明する。実施形態３において、出席者を管理しない場合は、表示制御システム１及び表示制御装置３０は、出席者情報入力部１３、出席者情報取得部２５及び出席者対比部２６を備えなくてもよい。以下、実施形態３について、実施形態１及び実施形態２と異なる事項について説明する。

【0072】

図１０は、実施形態３に係る表示制御システム１の動作を示すフローチャートである。図１０は、現在の会議に関連する画像を提示するフローを示す。図１１は、実施形態３の表示制御システム１で関連する画像を検索して提示する処理のイメージ図である。

【0073】

キーワード群及び／又は出席者が画像に関係付けて記憶されるフローは、実施形態１又は実施形態２と同様である。

【0074】

図１０及び図１１を参照して、現在の会議において関連する画像を提示するフローについて説明する。

【0075】

実施形態１と同様に、現在の会議が行われると、音声入力部１２、音声認識部２１及び抽出部２２によって、現在の会議における発話音声から複数のキーワードが抽出される（ステップＳ３０）。そして、検索部２４は、画像管理データベース４３に記憶されているキーワード群と照合し、所定値以上一致する画像又は会議を検索する（ステップＳ３２）。所定値以上一致する画像又は会議があると、当該画像又は当該会議に関係付けられている会議に用いる画像が検索結果として出力される。

【0076】

検索部２４において現在の会議に関連する画像があると判断されると（ステップＳ３４）、用語確認部２７に会議に関連する画像の情報が送られる。一方、検索部２４において現在の会議に関連する画像がないと判断されると（ステップＳ３４）、処理を終了する。

【0077】

用語確認部２７は、記憶部２３から禁止ワードデータベース４２を読み出す。そして、用語確認部２７は、検索部２４で出力された画像に対して画像解析を行い、画像上に禁止ワードデータベース４２に記憶されている禁止ワードがないかを確認する（ステップＳ４６）。

【0078】

具体的には、例えば図１１に示す画像管理データベース４３があり、現在の会議で、所定時間（例えば１０分）の間にキーワードＡ・Ｂ・Ｃ・Ｄ・Ｅ・Ｈが抽出されたとする。検索部２４では、キーワードとキーワード群とが所定値（例えば５０％）以上一致する画像又は会議を検索するとする。この場合、実施形態１で説明したとおり、画像１及び画像２のみが提示の条件を満たし、検索結果として出力される。

【0079】

次に、用語確認部２７で、検索された画像の画像解析を行う。禁止ワードデータベース４２では、「社外秘」が禁止ワードとして登録されている。そして、図１１の事例では、画像２に禁止ワード「社外秘」が記載されている。用語確認部２７は、画像１については禁止ワードがないと判断する。一方、用語確認部２７は、画像２については禁止ワードがあると判断する。その結果、画像１のみが提示の条件を満たす。

【0080】

用語確認部２７において、検索部２４において検索された画像に対して禁止ワードが含まれていないと判断されると（ステップＳ４８）、実施形態１と同様にして、会議の出席者に関連する画像があることを通知する（ステップＳ３６）。一方、用語確認部２７において、検索部２４において検索された画像に対して禁止ワードが含まれていると判断されると（ステップＳ４８）、処理を終了する。

【0081】

その後は、実施形態１と同様にして、会議の出席者から提示された画像の表示の指示を受けると（ステップＳ３８）、制御部１４は画像を表示部１１に表示する（ステップＳ４０）。一方、会議の出席者から提示された画像の表示の指示がなかった場合は、処理を終了する。

【0082】

なお、実施形態２のようにして現在の会議の出席者の情報を取得し、会議の出席者が全員社員であることが確認できた場合は、禁止ワードを含んでいても会議に関連する画像として提示してもよい。

【0083】

以上のように、本開示の表示制御システム１及び表示制御装置３０では、会議中の発話音声を認識し、発話音声中に頻出するワードを、その会議及びその会議で使用されている画像に関係付けて記憶している。そして、その後の別の会議において、会議中の発話音声を取得して、発話音声中に含まれるワードが以前の会議のキーワード群と所定値以上一致すれば、以前の会議で使用した画像を会議に関連する画像として会議の出席者に提示している。これにより、会議の発話音声の中に会議に関連する画像に含まれるキーワードが出現していなくても、以前の会議で似たような会話がなされていたことに基づいて、以前の会議の時の画像は関連性が高い画像であるとして出席者に提示することができる。その結果、会議に関連する画像が適切に示され、会議の出席者が素早く会議に関連する画像を把握することができ、会議の進捗がスムーズになる。

【0084】

また、実施形態２のように、会議の出席者が一致しない場合に会議に関連する画像を提示しないようにすることで、機密性が高い画像が無関係の人物に公開されて内容を知られてしまうことを防ぐことができる。

【0085】

また、実施形態３のように、社外秘などが付されて社外に公開したくない画像について、社外秘などの用語を確認して社外秘などが付されている画像を表示させないようにすることで、社外の人物が会議に参加している場合に、社外秘の画像が社外の人物に公開されてしまうことを防ぐことができる。

【0086】

以上、図面を参照しながら、本開示の実施形態を説明した。但し、本開示は、上記の実施形態に限られるものではなく、その趣旨を逸脱しない範囲で、種々の態様において実施することが可能である。また、上記の実施形態に開示されている複数の構成要素を適宜組み合わせることによって、種々の開示の形成が可能である。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。また、上記の実施形態で示す各構成要素は一例であって、特に限定されるものではなく、本開示の構成から実質的に逸脱しない範囲で種々の変更が可能である。

【0087】

上記の実施形態では、キーワード群を画像に関係付けて記憶しているが、本開示はこれに限定されない。例えば、画像が複数ページにわたる場合、キーワード群は画像全体に関係付けられるだけでなく、ページごとに関係付けられてもよい。この場合、会議に関連する画像を提示する際に、画像の関係するページを提示するようにしてもよい。

【産業上の利用可能性】

【0088】

本開示は、会議に関連する画像の表示を制御する表示制御システム及び表示制御装置の分野に利用可能である。

【符号の説明】

【0089】

１ 表示制御システム
１１ 表示部
１２ 音声入力部
２１ 音声認識部
２２ 抽出部
２３ 記憶部
２４ 検索部
２５ 出席者情報取得部
２６ 出席者対比部
２７ 用語確認部
３０ 表示制御装置
４１ 重要度データベース

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】