特許 7582342 グラフィック表示制御装置、グラフィック表示制御方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-05

(45)【発行日】2024-11-13

(54)【発明の名称】グラフィック表示制御装置、グラフィック表示制御方法、及びプログラム

(51)【国際特許分類】

   G06F 16/35 20190101AFI20241106BHJP

【ＦＩ】

G06F16/35

【請求項の数】 8

(21)【出願番号】P 2022579221

(86)(22)【出願日】2021-02-03

(86)【国際出願番号】 JP2021003984

(87)【国際公開番号】W WO2022168211

(87)【国際公開日】2022-08-11

【審査請求日】2023-06-01

(73)【特許権者】

【識別番号】000004226

【氏名又は名称】日本電信電話株式会社

(74)【代理人】

【識別番号】110004381

【氏名又は名称】弁理士法人ＩＴＯＨ

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100124844

【弁理士】

【氏名又は名称】石原 隆治

(72)【発明者】

【氏名】石井 陽子

(72)【発明者】

【氏名】中谷 桃子

(72)【発明者】

【氏名】中根 愛

(72)【発明者】

【氏名】高山 千尋

【審査官】原 秀人

(56)【参考文献】

【文献】特開２０１９－０９５９０２（ＪＰ，Ａ）

【文献】特開２００７－２８１６１８（ＪＰ，Ａ）

【文献】特開２０１９－１８５６７６（ＪＰ，Ａ）

【文献】特開２０１７－００４２７０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ １６／００－１６／９５８

(57)【特許請求の範囲】

【請求項1】

発話者の発話内容をテキストデータとして取得するデータ取得部と、
前記データ取得部により取得された前記テキストデータから、検索のために使用する検索情報を抽出する検索情報抽出部と、
前記検索情報抽出部により抽出された前記検索情報に該当するグラフィックをデータベースから選択するグラフィック選択部と、
前記グラフィック選択部により選択された前記グラフィックをグラフィックレコーディング結果上に提示するための処理を行う出力機能部と、を備えるグラフィック表示制御装置であって、
前記グラフィック選択部は、前記データ取得部により取得される前記発話者の動作の情報に基づく閾値を使用して、前記検索情報と類似するグラフィックを前記データベースから選択する
グラフィック表示制御装置。

【請求項2】

発話者の発話内容をテキストデータとして取得するデータ取得部と、
前記データ取得部により取得された前記テキストデータから、検索のために使用する検索情報を抽出する検索情報抽出部と、
前記検索情報抽出部により抽出された前記検索情報に該当するグラフィックをデータベースから選択するグラフィック選択部と、
前記グラフィック選択部により選択された前記グラフィックを時系列順に表示するための処理を行う出力機能部と、を備えるグラフィック表示制御装置であって、
前記グラフィック選択部は、前記データ取得部により取得される前記発話者の動作の情報に基づく閾値を使用して、前記検索情報と類似するグラフィックを前記データベースから選択する
グラフィック表示制御装置。

【請求項3】

前記データ取得部により取得される前記発話者の動作の情報に基づいて、フィルタ強度を設定するフィルタ強度設定部を備え、
前記グラフィック選択部は、前記フィルタ強度設定部により設定された前記フィルタ強度に対応する前記閾値を使用して、前記検索情報と類似するグラフィックを前記データベースから選択する
請求項１又は２に記載のグラフィック表示制御装置。

【請求項4】

前記出力機能部は、前記フィルタ強度に基づいて、グラフィックをグルーピングする
請求項２に従属する請求項３に記載のグラフィック表示制御装置。

【請求項5】

前記出力機能部は、前記フィルタ強度に基づいて、グラフィックを表示してから消去するまでの時間を決定する
請求項２に従属する請求項３に記載のグラフィック表示制御装置。

【請求項6】

グラフィック表示制御装置が実行するグラフィック表示制御方法であって、
発話者の発話内容をテキストデータとして取得するデータ取得ステップと、
前記データ取得ステップにより取得された前記テキストデータから、検索のために使用する検索情報を抽出する検索情報抽出ステップと、
前記検索情報抽出ステップにより抽出された前記検索情報に該当するグラフィックをデータベースから選択するグラフィック選択ステップと、
前記グラフィック選択ステップにより選択された前記グラフィックをグラフィックレコーディング結果上に提示するための処理を行う出力ステップと、を備えるグラフィック表示制御方法であり、
前記グラフィック選択ステップにおいて、前記データ取得ステップにより取得される前記発話者の動作の情報に基づく閾値を使用して、前記検索情報と類似するグラフィックを前記データベースから選択する
グラフィック表示制御方法。

【請求項7】

グラフィック表示制御装置が実行するグラフィック表示制御方法であって、
発話者の発話内容をテキストデータとして取得するデータ取得ステップと、
前記データ取得ステップにより取得された前記テキストデータから、検索のために使用する検索情報を抽出する検索情報抽出ステップと、
前記検索情報抽出ステップにより抽出された前記検索情報に該当するグラフィックをデータベースから選択するグラフィック選択ステップと、
前記グラフィック選択ステップにより選択された前記グラフィックを時系列順に表示するための処理を行う出力ステップと、を備えるグラフィック表示制御方法であり、
前記グラフィック選択ステップにおいて、前記データ取得ステップにより取得される前記発話者の動作の情報に基づく閾値を使用して、前記検索情報と類似するグラフィックを前記データベースから選択する
グラフィック表示制御方法。

【請求項8】

コンピュータを、請求項１ないし５のうちいずれか１項に記載のグラフィック表示制御装置における各部として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、スクリーンやディスプレイへのグラフィックの表示を制御する技術に関連するものである。

【背景技術】

【0002】

現在、講演会や複数人対話の内容をグラフィックで記述するグラフィックレコーディングの技術が多方面で導入されている。

【0003】

グラフィックレコーディングにおいて記述されるグラフィックは、文字だけでなく、絵や図、それらをつなぐ線といったもので構成されており、文字だけでは伝えにくい関係性を可視化することに優れているという特徴がある。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１７－０６８７４２号公報

【文献】特開２０１７－００４２７０号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかし、グラフィックレコーディングにおいて、発話者自身の興味のある箇所や発話者自身に関連する箇所を探すという行為に対してはサポートが無く、読み取りが難しい。

【0006】

一方、文章で記述された議事録のようなものの場合、例えば特許文献１に開示されている内容の通り、類似性の高い文章を検索する手法がある。しかし、特許文献１に開示された技術は文字情報を対象としており、グラフィックに適用することはできない。

【0007】

本発明は上記の点に鑑みてなされたものであり、発話者が、自身に興味のあるグラフィックや自身に関連するグラフィックを容易に閲覧できるようにする技術を提供することを目的とする。

【課題を解決するための手段】

【0008】

開示の技術によれば、 発話者の発話内容をテキストデータとして取得するデータ取得部と、
前記データ取得部により取得された前記テキストデータから、検索のために使用する検索情報を抽出する検索情報抽出部と、
前記検索情報抽出部により抽出された前記検索情報に該当するグラフィックをデータベースから選択するグラフィック選択部と、
前記グラフィック選択部により選択された前記グラフィックをグラフィックレコーディング結果上に提示するための処理を行う出力機能部と、を備えるグラフィック表示制御装置であって、
前記グラフィック選択部は、前記データ取得部により取得される前記発話者の動作の情報に基づく閾値を使用して、前記検索情報と類似するグラフィックを前記データベースから選択する
グラフィック表示制御装置が提供される。

【発明の効果】

【0009】

開示の技術によれば、発話者が、自身に興味のあるグラフィックや自身に関連するグラフィックを容易に閲覧できるようにする技術が提供される。

【図面の簡単な説明】

【0010】

【図1】実施例１におけるシステム構成図である。

【図2】実施例１におけるグラフィック表示制御装置の構成図である。

【図3】実施例１における処理の流れを示すフローチャートである。

【図4】実施例２におけるシステム構成図である。

【図5】実施例２におけるグラフィック表示制御装置の構成図である。

【図6】実施例２における処理の流れを示すフローチャートである。

【図7】画像にグラフィックを配置する例を示す図である。

【図8】画像にグラフィックを配置する例を示す図である。

【図9】画像にグラフィックを配置する例を示す図である。

【図10】装置のハードウェア構成例を示す図である。

【発明を実施するための形態】

【0011】

以下、図面を参照して本発明の実施の形態（本実施の形態）を説明する。以下で説明する実施の形態は一例に過ぎず、本発明が適用される実施の形態は、以下の実施の形態に限られるわけではない。

【0012】

（実施の形態の概要）
まず、本実施の形態の概要を説明する。本実施の形態では、グラフィック表示制御装置が、グラフィックレコーディングのグラフィックを活用する人物の発話や動作の情報を取得し、その人物が現在興味を持っていると推定される情報を抽出する。

【0013】

更に、グラフィック表示制御装置は、発話や動作の情報を取得する際の人物の状況を把握する。そして、グラフィック表示制御装置は、これらの情報から人物に見せるべきグラフィックを選択し、選択したグラフィックを提示する。

【0014】

グラフィック表示制御装置が上記のような処理を行うので、発話者は、グラフィックレコーディングで描かれたグラフィックの中から自身に興味のあると予測できる箇所を容易に閲覧することができる。

【0015】

また、グラフィック表示制御装置は、対話状況に応じて、グラフィックの出力の仕方を調整することも可能である。これにより、人物の状況に合わせ、見やすく閲覧することが可能になる。

【0016】

以下、実施例１及び実施例２を用いて、本実施の形態におけるシステム構成と動作の例を詳細に説明する。

【0017】

（実施例１）
＜システム構成＞
まず、実施例１を説明する。図１は、実施例１におけるグラフィック表示制御システムの構成図である。実施例１では、１つ以上のグラフィックレコーディングの結果がホワイトボードやスクリーン等に掲示されており、その前で発話者５、６が発話を行なっている状況を想定している。なお、以降、特に断らない限り、発話者５に着目して説明を行う。

【0018】

図１に示すように、実施例１のグラフィック表示制御システムは、撮像機１、発話内容取得機２、投光器３、グラフィック表示制御装置１００を有する。図１に示すように、撮像機１、発話内容取得機２、投光器３はそれぞれグラフィック表示制御装置１００に接続されている。

【0019】

撮像機１は発話者５を撮影する装置である。撮像機１は、人物の形状を捉えることができる装置であればどのような装置でもよい。例えば、撮像機１として、カラーのビデオカメラ、赤外線カメラ、三次元計測するＬｉＤＡＲ等を使用することができる。

【0020】

発話内容取得機２は、発話者５の発話内容を取得するための装置である。発話内容取得機２は、例えば、マイクから発話者５の発話音声を入力し、当該発話音声から書き起こしを行って、テキストデータを出力する装置である。

【0021】

また、発話者５が、発話内容を紙で残している場合において、発話内容取得機２は、その内容をＯＣＲ等で読み取り、テキストデータを出力する装置であってもよい。また、発話者５が、発話内容をキーボードで入力している場合において、発話内容取得機２は、キーボードであってもよい。

【0022】

また、上述した発話内容取得機２の機能の一部をグラフィック表示制御装置１００の中で実装してもよい。

【0023】

投光器３は、グラフィックレコーディング結果に対して光を重畳する装置である。投光器３は、プロジェクタでもよいし、可動型のライトでもよい。

【0024】

また、投光器３については、グラフィックレコーディング結果を映像としてスクリーン等に投影していてもよい。また、グラフィックレコーディング結果をディスプレイに表示する場合においては、投光器３を備えなくてもよい。この場合、投光器３の担う光の重畳をディスプレイで再現することができる。

【0025】

グラフィック表示制御装置１００は、例えばコンピュータ（ＰＣ等）とプログラムにより実装される装置である。また、当該コンピュータはクラウド上の仮想マシンであってもよい。また、グラフィック表示制御装置１００は、１つのコンピュータで実装されてもよいし、複数のコンピュータで実装されてもよい。

【0026】

＜グラフィック表示制御装置１００の構成＞
図２に、グラフィック表示制御装置１００の機能構成例を示す。図２に示すように、グラフィック表示制御装置１００は、データ取得部１１０、検索ワード抽出部１２０、対話状況把握部１３０、類似グラフィック選択部１４０、出力機能部１５０、及びＤＢ（データベース）１６０を備えている。各機能部は、別のコンピュータで実装されてもよいし、一部の機能部がクラウド上で実装されてもよい。なお、検索ワード抽出部１２０、対話状況把握部１３０、類似グラフィック選択部１４０をそれぞれ、検索情報抽出部、フィルタ強度設定部、グラフィック選択部と呼んでもよい。

【0027】

＜ＤＢ１６０の保持情報について＞
ＤＢ１６０内には、予めグラフィック（画像情報）を小さなまとまり毎にクラスタリングした画像情報と、その情報に関連するテキストデータが保存されている。この小さなまとまりは任意に設定可能であり、同一グラフィックが異なるまとまりとして複数の画像情報として保存されていてもよい。

【0028】

なお、上記は例であり、グラフィック（画像情報）とテキストデータがセットになっていればその形式はどのようなものであってもよい。

【0029】

実施例１では、ＤＢ１６０には、グラフィックレコーディング結果に基づくグラフィックが格納されていると想定している。ＤＢ１６０は、ＤＢ１６０が保存している各グラフィックについて、当該グラフィックが、描かれたグラフィックレコーディング結果全体のどの箇所に位置するかを示す位置情報を持つ。あるグラフィックの位置情報は、例えばグラフィックレコーディング結果全体のある１点を原点とし、そのグラフィックの中の点の座標として、例えば重心座標を保持してもよい。また、グラフィックレコーディング結果全体を矩形の画像とし、グラフィックが含まれるピクセル情報を保持してもよい。

【0030】

＜グラフィック表示制御システムの動作例＞
以下、図３のフローチャートの手順に沿って、実施例１におけるグラフィック表示制御システムの動作例を説明する。

【0031】

発話者５がグラフィックレコーディング結果を見ながら発話者６と対話を行なっているとする。この状況で、グラフィック表示制御システムにおいて、以下で説明する各処理が行われる。

【0032】

＜Ｓ１０１：データ取得処理＞
撮像機１は発話者５の映像を取得し、発話者５が画角に入った際を出現、画角から消え去った場合を消去として認識する。発話者５の出現、消去については、例えばオープンソースであるｏｐｅｎｐｏｓｅを用いて認識することができる。また、出現と消去に加えて、又は、出現と消去に代えて、撮像機１は、発話者５の指差し動作などのジェスチャを認識してもよい。なお、撮像機１が認識する動作は上記のものに限られるわけではなく、上記以外の動作も認識してよい。

【0033】

撮像機１は、取得した動作の発生時刻を示すタイムコード（時刻情報）と、発話者が複数存在する場合はその発話者を区別するためのＩＤとを、該当の発話者の動作に付与した情報をグラフィック表示制御装置１００内のデータ取得部１１０へ送信する。

【0034】

また、発話内容取得機２は発話者５の発話内容を取得し、元となる発話が行われた時刻情報を付与し、発話内容を表すテキストデータをグラフィック表示制御装置１００内のデータ取得部１１０へ送信する。

【0035】

データ取得部１１０は、発話内容取得機２から、時刻情報が付されたテキストデータを受け取り、受け取ったテキストデータを検索ワード抽出部１２０へ送信する。また、データ取得部１１０は、撮像機１から、時刻情報が付された発話者５の動作の情報を受け取り、当該動作の情報を対話状況把握部１３０へ送信する。

【0036】

＜Ｓ１０２：検索ワード抽出処理＞
検索ワード抽出部１２０は、データ取得部１１０から受信したテキストデータから、グラフィックを検索するために使用する情報を抽出する。テキストデータから情報を抽出する方法については、特定の方法に限られず種々の方法を用いることができる。

【0037】

例えば、検索ワード抽出部１２０は、既存技術を利用して、データ取得部１１０から受信したテキストデータを要約し、要約した文書を文章毎に区切り、区切られた文章を検索のための情報として利用してもよい。

【0038】

検索ワード抽出部１２０は、上記のようにして得られた各文章を、元となるテキストデータが持つ時刻情報とともに類似グラフィック選択部１４０へ送信する。

【0039】

また、上記のような方法の他、検索ワード抽出部１２０は、データ取得部１１０から受信したテキストデータを形態素解析し、ある期間（ここではｔ１秒の間とする）においてｎ回以上出現した単語を、検索するための情報として活用してもよい。ｔ１、及び、ｎは任意の値を設定できるものとする。また、ｎのカウントの対象とする単語の品詞についても、任意の品詞を１つ以上設定できるものとする。

【0040】

グラフィックを検索するための情報としての単語がテキストデータから１つ以上抽出された場合には、当該１つ以上の単語について、出現数の多いものから順に頻出度をナンバリングした情報を付与し、元となるテキストデータが持つ時刻情報とともに類似グラフィック選択部１４０へ送信する。

【0041】

＜Ｓ１０３：対話状況把握処理＞
対話状況把握部１３０は、データ取得部１１０から、時刻情報の付された動作の情報を受け取り、その動作に対応するフィルタ強度変数の値を設定する。フィルタ強度変数の値とは、フィルタ強度を表す値であり、フィルタ強度変数の値をフィルタ強度と呼んでもよい。フィルタ強度とは、後述する類似グラフィック選択処理において、特定のグラフィックを選択する度合い（つまり、他のグラフィックをフィルタリングする度合い）を示す。

【0042】

フィルタ強度変数の値は、動作毎に設定してもよいし、その動作が行われてからの時系列変化毎に異なる値を設定してもよい。どの動作／時系列変化にどのフィルタ強度を設定するかについては、例えば、予めテーブル等に定めておき、そのテーブルを参照して決定することとしてもよい。

【0043】

動作毎に設定する場合、例えば、「指さし動作」と「出現」という２つの動作に関して、「指さし動作」に対してＦ１を設定し、「出現」に対してＦ２を設定する。Ｆ１はＦ２よりもフィルタ強度が高い（強い）ことを意味する。

【0044】

上記の例は、指さし動作を行っている場合は注目度が高いと考え、類似度が高いグラフィックを選択するようにフィルタ強度を設定し、出現のみでは注目度が低いと考え、類似度が低いグラフィックを選択するようにフィルタ強度を設定することを意味している。具体的には、例えば、後述する閾値α（Ｆ１）が０．９になり、閾値α（Ｆ２）が０．７になるようなＦ１、Ｆ２を設定する。

【0045】

時系列変化毎に設定する場合は、例えば、発話者毎に、出現してからの時間を計測し、その時間がＴ１未満であった場合、フィルタ強度をＦ１と設定し、その時間がＴ１以上である場合、フィルタ強度をＦ２と設定することとしてもよい。

【0046】

また、対話状況把握部１３０が、動作、及びその動作の時刻情報の組み合わせで任意のフィルタ強度の値を設定してもよい。

【0047】

また、対話状況把握部１３０は、発話者５が出現してからの時間、及び／又は、その動作に対応するフィルタ強度変数の値を受け取り、これらの情報に基づいて予め定めた関数を解くことにより出力された値をフィルタ強度変数の値としてもよい。

【0048】

また、複数の発話者が存在する場合において、それぞれの発話者に対して動作や時系列変化に基づき設定されたフィルタ強度変数の値の組み合わせから、それぞれの発話者に対して新たに別のフィルタ強度変数の値を設定してもよい。また、複数の発話者が存在する場合において、それぞれの発話者が出現してからの時間、及び／又は、その動作に対応するフィルタ強度変数の値を受け取り、これらの情報に基づいて予め定めた関数を解くことにより出力された値を、それぞれの発話者に対するフィルタ強度変数の値としてもよい。

【0049】

対話状況把握部１３０は、発話者５の動作に対応するフィルタ強度変数の値を類似グラフィック選択部１４０と出力機能部１５０のそれぞれへ送信する。

【0050】

＜Ｓ１０４：類似グラフィック選択処理＞
類似グラフィック選択部１４０は、検索ワード抽出部１２０からグラフィックを検索するための情報を受け取り、受け取った情報をグラフィック検索情報として、元のテキストデータに付されていた時刻情報とともに保存する。ここでの時刻情報は、グラフィック検索情報を受け取った時刻であってもよい。

【0051】

更に、類似グラフィック選択部１４０は、対話状況把握部１３０からフィルタ強度変数の値を受け取り、元となる動作の時刻情報とともに保存する。ここでの時刻情報は、フィルタ強度変数の値を受け取った時刻であってもよい。

【0052】

類似グラフィック選択部１４０は、グラフィック検索情報、及び、フィルタ強度変数の値のいずれかを受け取ると以下の処理を実行する。

【0053】

類似グラフィック選択部１４０は、現在保持している最新のグラフィック検索情報の時刻情報と、現在保持している最新のフィルタ強度変数の値の時刻情報とを確認し、その時刻のずれがＴ以下である場合に、当該最新のグラフィック検索情報と最新のフィルタ強度変数の値を用いて次の処理を行う。なお、Ｔは予め定めた時間の値である。

【0054】

類似グラフィック選択部１４０は、グラフィック検索情報を用い、ＤＢ１６０の中から、当該グラフィック検索情報に該当するグラフィックを選択する。

【0055】

前述したとおり、グラフィック検索情報は文章や単語等のテキストデータで構成されており、ＤＢ１６０の中に保存されているグラフィックについても、当該グラフィックに関連するテキストデータとともに保存されている。

【0056】

類似グラフィック選択部１４０は、グラフィック検索情報と類似するテキストデータを持つグラフィックを選択する。グラフィック検索情報と類似するテキストデータを持つグラフィックを選択するための方法は特定の方法に限られないが、例えば、特許文献１に記載の方法を用いてもよい。

【0057】

すなわち、類似グラフィック選択部１４０は、グラフィック検索情報であるテキストデータと、ＤＢ１６０に格納されているグラフィックに関連付けられている各テキストデータとの間の類似度スコアを求め、例えば、類似度スコアが閾値よりも高い１以上のテキストデータに対応する１以上のグラフィックを選択する。

【0058】

また、特許文献１に記載の方法で求めた類似度スコアと比較する閾値に関して、フィルタ強度変数の値ｎ毎に閾値α（ｎ）を設定してもよい。その場合、類似グラフィック選択部１４０は、例えば、使用するグラフィック検索情報に対応する動作から得られたフィルタ強度変数の値Ｆに対応する閾値α（Ｆ）を用いることにより、グラフィック検索情報との間の類似度スコアが閾値α（Ｆ）よりも大きなテキストデータに対応する１以上のグラフィックを選択する。

【0059】

類似グラフィック選択部１４０は、選択した１以上のグラフィックを出力機能部１５０へ送信する。グラフィックが複数得られた場合には、全てのグラフィックを出力機能部１５０へ送信する。類似グラフィック選択部１４０は、このグラフィックの送信の際に、検索に用いた情報（例えば、データ取得部１１０より送信されているテキストデータ、あるいは、グラフィック検索情報）も共に送信してもよい。

【0060】

＜Ｓ１０５：出力処理＞
出力機能部１５０は、対話状況把握部１３０から、フィルタ強度変数の値を受け取る。更に、出力機能部１５０は、類似グラフィック選択部１４０から、１以上のグラフィックの情報を受け取る。なお、ここでは、出力機能部１５０は、発話者５の動作に対応するフィルタ強度変数の値を受け取るとともに、当該動作に関連する（例えば、時間差がＴ以内の）テキスト検索情報から得られた１以上のグラフィックの情報を受け取ると想定している。

【0061】

出力機能部１５０は、受け取ったグラフィックの情報に基づき、そのグラフィックを、グラフィックレコーディング結果上で目立たせるための処理を行って、投光器３等への出力を行う。

【0062】

具体的には、例えば、出力機能部１５０は、目立たせようとしているグラフィックの持つ位置情報を元に、ホワイトボード等に提示されているグラフィックレコーディング結果の中の当該位置情報の箇所に向けて光を投影してもよい。また、出力機能部１５０は、目立たせようとしているグラフィックの画像情報を用い、そのアウトラインをハイライトできるよう、投光器３から映像をグラフィックレコーディング結果上に投影してもよい。

【0063】

グラフィックレコーディング結果が投光器３から投影されてスクリーン上で表示されている画像である場合や、グラフィックレコーディング結果がディスプレイで表示されている画像である場合には、出力機能部１５０は、目立たせようとしているグラフィックを、検索に用いた情報のテキストデータに変更し、当該テキストデータを発話者５が発話した文言として、上記スクリーンあるいはディスプレイに表示し、その後に、目立たせようとしているグラフィックをテキストデータに重畳し、目立つように表示してもよい。

【0064】

なお、上記のようなグラフィックやテキストデータの見せ方（表示方法）は一例であり、上記に限られるわけではない。また、グラフィックやテキストデータの見せ方を発話者毎に異なるものにしてもよいし、グラフィックやテキストデータの見せ方を時刻の経過に応じて変更してもよい。

【0065】

＜実施例１の効果＞
実施例１によれば、発話者が、グラフィックレコーディングで描かれたグラフィックの中から自身に興味のある箇所や関連する箇所を容易に見つけることが可能になる。

【0066】

（実施例２）
続いて、実施例２を説明する。実施例２は単独で実施してもよいし、実施例１と組み合わせて実施してもよい。

【0067】

また、実施例２は、グラフィックレコーディングで描かれたグラフィックの中から発話者に興味のある箇所を選択し、それを閲覧し易いように時系列順に配置するという想定であってもよいし、グラフィックレコーディングの実施を前提とせずに、発話者に関連するグラフィックを閲覧し易いように時系列順に配置するという想定であってもよい。

【0068】

＜システム構成＞
図４は、実施例２におけるグラフィック表示制御システムの構成図である。実施例２では、グラフィックレコーディングの結果がディスプレイ１７に表示されていてもよいし、表示されていなくてもよい。ここでは、発話者１５、１６がディスプレイ１７の前で発話を行なっている状況を想定している。なお、以降、特に断らない限り、発話者１５に着目して説明を行う。

【0069】

図４に示すように、実施例２のグラフィック表示制御システムは、撮像機１１、発話内容取得機１２、投光器１３、ディスプレイ１７、グラフィック表示制御装置２００を有する。図４に示すように、撮像機１１、発話内容取得機１２、投光器１３、ディスプレイ１７はそれぞれグラフィック表示制御装置２００に接続されている。なお、投光器１３とディスプレイ１７については、いずれか一方のみを備えてもよいし、両方備えてもよい。

【0070】

撮像機１１は発話者１５を撮影する装置である。撮像機１１は、人物の形状を捉えることができる装置であればどのような装置でもよい。例えば、撮像機１１として、カラーのビデオカメラ、赤外線カメラ、三次元計測するＬｉＤＡＲ等を使用することができる。

【0071】

発話内容取得機１２は、発話者１５の発話内容を取得するための装置である。発話内容取得機１２は、例えば、マイクから発話者１５の発話音声を入力し、当該発話音声から書き起こしを行って、テキストデータを出力する装置である。

【0072】

また、発話者１５が、発話内容を紙で残している場合において、発話内容取得機１２は、その内容をＯＣＲ等で読み取り、テキストデータを出力する装置であってもよい。また、発話者１５が、発話内容をキーボードで入力している場合において、発話内容取得機１２は、キーボードであってもよい。

【0073】

また、上述した発話内容取得機１２の機能一部をグラフィック表示制御装置２００の中で実装してもよい。

【0074】

投光器１３とディスプレイ１６はいずれも、グラフィックレコーディングの再構成後の映像を表示する。投光器１３は、プロジェクタでもよいし、可動型のライトでもよい。

【0075】

グラフィック表示制御装置２００は、例えばコンピュータ（ＰＣ等）とプログラムにより実装される装置である。また、当該コンピュータはクラウド上の仮想マシンであってもよい。また、グラフィック表示制御装置２００は、１つのコンピュータで実装されてもよいし、複数のコンピュータで実装されてもよい。

【0076】

＜グラフィック表示制御装置２００の構成＞
図５に、グラフィック表示制御装置２００の機能構成例を示す。図５に示すように、グラフィック表示制御装置２００は、データ取得部２１０、検索ワード抽出部２２０、対話状況把握部２３０、類似グラフィック選択部２４０、出力機能部２５０、及びＤＢ（データベース）２６０を備えている。出力機能部２５０は、グラフィック再構成部２５５を備えている。各機能部は、別のコンピュータで実装されてもよいし、一部の機能部がクラウド上で実装されてもよい。なお、検索ワード抽出部２２０、対話状況把握部２３０、類似グラフィック選択部２４０をそれぞれ、検索情報抽出部、フィルタ強度設定部、グラフィック選択部と呼んでもよい。

【0077】

＜ＤＢ２６０の保持情報について＞
ＤＢ２６０内には、予めグラフィック（画像情報）を小さなまとまり毎にクラスタリングした画像情報と、その情報に関連するテキストデータが保存されている。この小さなまとまりは任意に設定可能であり、同一グラフィックが異なるまとまりとして複数の画像情報として保存されていてもよい。

【0078】

なお、上記は例であり、グラフィック（画像情報）とテキストデータがセットになっていればその形式はどのようなものであってもよい。

【0079】

実施例２では、ＤＢ２６０内にグラフィックレコーディング結果についての情報を格納しなくてもよい。グラフィックレコーディング結果についての情報を格納する場合には、例えば、実施例１と同様に、ＤＢ２６０は、ＤＢ２６０が保存している各グラフィックについて、当該グラフィックが、描かれたグラフィックレコーディング結果全体のどの箇所に位置するかを示す位置情報を持つ。あるグラフィックの位置情報は、例えばグラフィックレコーディング結果全体のある１点を原点とし、そのグラフィックの中の点の座標として、例えば重心座標を保持してもよい。また、グラフィックレコーディング結果全体を矩形の画像とし、グラフィックが含まれるピクセル情報を保持してもよい。

【0080】

＜グラフィック表示制御システムの動作例＞
実施例２では、発話者１５が発話者１６と対話を行なっていることを想定する。実施例２におけるグラフィック表示制御システムは、図６のフローチャートの手順に沿って動作を実行する。

【0081】

実施例２における撮像機１１、発話内容取得機１２、データ取得部２１０、検索ワード抽出部２２０、対話状況把握部２３０、類似グラフィック選択部２４０、ＤＢ２６０は、実施例１における撮像機１、発話内容取得機２、データ取得部１１０、検索ワード抽出部１２０、対話状況把握部１３０、類似グラフィック選択部１４０、ＤＢ１６０と同じ動作を行う。

【0082】

つまり、図６のＳ２０１～Ｓ２０４の動作は、実施例１において図３に示したＳ１０１～Ｓ１０４の動作と同じである。以下、実施例２のＳ２０５の動作について説明する。

【0083】

＜Ｓ２０５：再構成・出力処理＞
出力機能部２５０は、対話状況把握部２３０から、フィルタ強度変数の値を受け取る。更に、出力機能部２５０は、類似グラフィック選択部２４０から、１以上のグラフィックの情報を受け取る。なお、ここでは、出力機能部２５０は、発話者１５の動作に対応するフィルタ強度変数の値を受け取るとともに、当該動作に関連する（例えば、時間差がＴ以内の）テキスト検索情報から得られた１以上のグラフィックの情報を受け取ると想定している。複数の発話者を対象とする場合も同様であり、出力機能部２５０は、各発話者について、その動作に対応するフィルタ強度変数の値を受け取るとともに、当該動作に関連する（例えば、時間差がＴ以内の）テキスト検索情報から得られた１以上のグラフィックの情報を受け取る。

【0084】

出力機能部２５０は、受け取ったフィルタ強度変数の値とグラフィックの情報とをグラフィック再構成部２５５へ渡す。グラフィック再構成部２５５は、フィルタ強度変数の値とグラフィックの情報とに基づいて、グラフィックを再構成し、再構成後のグラフィックを出力機能部２５０を介して出力する。

【0085】

より具体的には、グラフィック再構成部２５５は、例えば時系列順に、出力機能部２５５に送付されたグラフィックを、投光器１３でスクリーンに投影できる矩形の画像上に配置していく、あるいは、ディスプレイ１６で表示できる矩形の画像上に配置していく。ここで、時系列順については、例えば、グラフィックの選択の元となるグラフィック検索情報の時刻情報から判断してもよいし、出力機能部２５０が、グラフィックの情報を受け取った時刻から判断してもよい。

【0086】

矩形の画像上への配置に関しては、予め設定した配置が行われる。設定方法は任意である。

【0087】

一例として、グラフィック再構成部２５５は、出力機能部２５０がグラフィックの情報を受け取った時刻の時系列順に、画像の左から右へ、上から下へ、といった形で配置を行う。画像の左から右への配置を、上から下に行っている配置の例を図７に示す。図７において、ｔ１、ｔ２、...は、進んでいく時刻を表す。画像上にｔ１、ｔ２、...は記載されないが、図７では、説明のために記載している。

【0088】

また、グラフィック再構成部２５５は、出力機能部２５０がグラフィックの情報を受け取った時刻の時系列順に、左端から下方向へ配置し、画像底辺へ達した場合、残りのスペースの左端から再度下方へ配置するような配置を行ってもよい。この場合の例を図８に示す。

【0089】

グラフィックが配置された画像は、出力機能部２５０から投光器１３を介して投影、あるいは、ディスプレイ１７に表示される。また、この画像は出力機能部２５０がグラフィックの情報を受け取る毎に新たに生成されることとしてもよい。

【0090】

また、画像上のグラフィックの配置に関して、グラフィック再構成部２５５は、グラフィックに対応するフィルタ強度変数の値により、グラフィックをグルーピングし、グルーピングした１以上のグラフィックを配置してもよい。

【0091】

グルーピングの方法については、特定の方法に限定されないが、例えば同じフィルタ強度変数の値に対応する１以上のグラフィックのグループを、グラフィックの情報を受け取った時刻の時系列順に並べてもよい。一例として、図９に示すように、フィルタ強度の高いグラフィックを画像の中央部分に時系列順に配置し、その周辺に、フィルタ強度の低いグラフィックを配置することとしてもよい。

【0092】

また、グラフィック再構成部２５５は、同じフィルタ強度変数の値のグラフィック毎にグラフィックを色分けしてもよい。この場合の色はフィルタ強度変数の値毎に予め設定してもよいし、ランダムに選択されてもよい。

【0093】

また、グラフィック再構成部２５５は、あるフィルタ強度変数の値を持つグラフィックについて、出力機能部２５０により投影あるいは表示されてから、予め定めた時間Ｔ２が経過した場合に、当該グラフィックを画像から消去してもよい。このＴ２は、全てのフィルタ強度変数の値で同じ値を用いてもよいし、フィルタ強度変数の値毎に異なる値を設定してもよい。一例として、フィルタ強度が高いほど、長い時間表示されるようなＴ２の設定の場合、図７のように表示された複数のグラフィックについて、フィルタ強度が低いものから、時間の経過に応じて消去されていくことになる。

【0094】

＜実施例２の効果＞
実施例２によれば、発話者の状況に応じて、グラフィックを閲覧し易いように表示することができる。

【0095】

（ハードウェア構成例）
前述したように、実施例１、２で説明したグラフィック表示制御装置１００、２００はいずれも、例えば、１つ又は複数のコンピュータにプログラムを実行させることにより実現できる。このコンピュータは、物理的なコンピュータであってもよいし、仮想マシンであってもよい。

【0096】

すなわち、グラフィック表示制御装置１００、２００は、コンピュータに内蔵されるＣＰＵやメモリ等のハードウェア資源を用いて、当該グラフィック表示制御装置１００、２００で実施される処理に対応するプログラムを実行することによって実現することが可能である。上記プログラムは、コンピュータが読み取り可能な記録媒体（可搬メモリ等）に記録して、保存したり、配布したりすることが可能である。また、上記プログラムをインターネットや電子メール等、ネットワークを通して提供することも可能である。

【0097】

図１０は、上記コンピュータのハードウェア構成例を示す図である。図１０のコンピュータは、それぞれバスＢで相互に接続されているドライブ装置１０００、補助記憶装置１００２、メモリ装置１００３、ＣＰＵ１００４、インタフェース装置１００５、表示装置１００６、及び入力装置１００７等を有する。

【0098】

当該コンピュータでの処理を実現するプログラムは、例えば、ＣＤ－ＲＯＭ又はメモリカード等の記録媒体１００１によって提供される。プログラムを記憶した記録媒体１００１がドライブ装置１０００にセットされると、プログラムが記録媒体１００１からドライブ装置１０００を介して補助記憶装置１００２にインストールされる。但し、プログラムのインストールは必ずしも記録媒体１００１より行う必要はなく、ネットワークを介して他のコンピュータよりダウンロードするようにしてもよい。補助記憶装置１００２は、インストールされたプログラムを格納すると共に、必要なファイルやデータ等を格納する。

【0099】

メモリ装置１００３は、プログラムの起動指示があった場合に、補助記憶装置１００２からプログラムを読み出して格納する。ＣＰＵ１００４は、メモリ装置１００３に格納されたプログラムに従って、グラフィック表示制御装置１００、２００に係る機能を実現する。インタフェース装置１００５は、ネットワークに接続するためのインタフェースとして用いられ、ネットワークを介した入力手段及び出力手段として機能する。表示装置１００６はプログラムによるＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）等を表示する。入力装置１００７はキーボード及びマウス、ボタン、又はタッチパネル等で構成され、様々な操作指示を入力させるために用いられる。出力装置１００８は演算結果を出力する。

【0100】

（実施の形態のまとめ）
本明細書には、少なくとも下記各項のグラフィック表示制御装置、グラフィック表示制御方法、及びプログラムが開示されている。
（第１項）
発話者の発話内容をテキストデータとして取得するデータ取得部と、
前記データ取得部により取得された前記テキストデータから、検索のために使用する検索情報を抽出する検索情報抽出部と、
前記検索情報抽出部により抽出された前記検索情報に該当するグラフィックをデータベースから選択するグラフィック選択部と、
前記グラフィック選択部により選択された前記グラフィックをグラフィックレコーディング結果上に提示するための処理を行う出力機能部と
を備えるグラフィック表示制御装置。
（第２項）
発話者の発話内容をテキストデータとして取得するデータ取得部と、
前記データ取得部により取得された前記テキストデータから、検索のために使用する検索情報を抽出する検索情報抽出部と、
前記検索情報抽出部により抽出された前記検索情報に該当するグラフィックをデータベースから選択するグラフィック選択部と、
前記グラフィック選択部により選択された前記グラフィックを時系列順に表示するための処理を行う出力機能部と
を備えるグラフィック表示制御装置。
（第３項）
前記データ取得部により取得される前記発話者の動作の情報に基づいて、フィルタ強度を設定するフィルタ強度設定部を備え、
前記グラフィック選択部は、前記フィルタ強度設定部により設定された前記フィルタ強度に対応する閾値を使用して、前記検索情報と類似するグラフィックを前記データベースから選択する
第１項又は第２項に記載のグラフィック表示制御装置。
（第４項）
前記出力機能部は、前記フィルタ強度に基づいて、グラフィックをグルーピングする
第２項に従属する第３項に記載のグラフィック表示制御装置。
（第５項）
前記出力機能部は、前記フィルタ強度に基づいて、グラフィックを表示してから消去するまでの時間を決定する
第２項に従属する第３項に記載のグラフィック表示制御装置。
（第６項）
グラフィック表示制御装置が実行するグラフィック表示制御方法であって、
発話者の発話内容をテキストデータとして取得するデータ取得ステップと、
前記データ取得ステップにより取得された前記テキストデータから、検索のために使用する検索情報を抽出する検索情報抽出ステップと、
前記検索情報抽出ステップにより抽出された前記検索情報に該当するグラフィックをデータベースから選択するグラフィック選択ステップと、
前記グラフィック選択ステップにより選択された前記グラフィックをグラフィックレコーディング結果上に提示するための処理を行う出力ステップと
を備えるグラフィック表示制御方法。
（第７項）
グラフィック表示制御装置が実行するグラフィック表示制御方法であって、
発話者の発話内容をテキストデータとして取得するデータ取得ステップと、
前記データ取得ステップにより取得された前記テキストデータから、検索のために使用する検索情報を抽出する検索情報抽出ステップと、
前記検索情報抽出ステップにより抽出された前記検索情報に該当するグラフィックをデータベースから選択するグラフィック選択ステップと、
前記グラフィック選択ステップにより選択された前記グラフィックを時系列順に表示するための処理を行う出力ステップと
を備えるグラフィック表示制御方法。
（第８項）
コンピュータを、第１項ないし第５項のうちいずれか１項に記載のグラフィック表示制御装置における各部として機能させるためのプログラム。

【0101】

以上、本実施の形態について説明したが、本発明はかかる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

【符号の説明】

【0102】

１ 撮像機
２ 発話内容取得機
３ 投光器
５、６ 発話者
１００ グラフィック表示制御装置
１１０ データ取得部
１２０ 検索ワード抽出部
１３０ 対話状況把握部
１４０ 類似グラフィック選択部
１５０ 出力機能部
１６０ ＤＢ
１１ 撮像機
１２ 発話内容取得機
１３ 投光器
１５、１６ 発話者
１７ ディスプレイ
２００ グラフィック表示制御装置
２１０ データ取得部
２２０ 検索ワード抽出部
２３０ 対話状況把握部
２４０ 類似グラフィック選択部
２５０ 出力機能部
２５５ グラフィック再構成部
２６０ ＤＢ
１０００ ドライブ装置
１００１ 記録媒体
１００２ 補助記憶装置
１００３ メモリ装置
１００４ ＣＰＵ
１００５ インタフェース装置
１００６ 表示装置
１００７ 入力装置
１００８ 出力装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】