特許 7024676 情報処理装置、表示装置、情報処理方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-02-15

(45)【発行日】2022-02-24

(54)【発明の名称】情報処理装置、表示装置、情報処理方法、及びプログラム

(51)【国際特許分類】

   H04N 7/15 20060101AFI20220216BHJP

   H04N 21/442 20110101ALI20220216BHJP

   H04M 3/56 20060101ALI20220216BHJP

【ＦＩ】

H04N7/15 150

H04N21/442

H04M3/56 C

【請求項の数】 6

(21)【出願番号】P 2018182484

(22)【出願日】2018-09-27

(65)【公開番号】P2020053886

(43)【公開日】2020-04-02

【審査請求日】2021-02-26

(73)【特許権者】

【識別番号】308036402

【氏名又は名称】株式会社ＪＶＣケンウッド

(74)【代理人】

【識別番号】110002147

【氏名又は名称】特許業務法人酒井国際特許事務所

(72)【発明者】

【氏名】渡邉 寧

(72)【発明者】

【氏名】竹原 英樹

(72)【発明者】

【氏名】長沼 立巳

(72)【発明者】

【氏名】須山 明昇

(72)【発明者】

【氏名】廣瀬 智

(72)【発明者】

【氏名】青木 雄士

【審査官】大西 宏

(56)【参考文献】

【文献】特開平０８－０７９３９０（ＪＰ，Ａ）

【文献】特開平１０－１９１２４５（ＪＰ，Ａ）

【文献】特開２０００－０２３１３０（ＪＰ，Ａ）

【文献】特開２０１１－０１９０３４（ＪＰ，Ａ）

【文献】特開２０１３－１２６２２３（ＪＰ，Ａ）

【文献】特開２０１４－０９０３７９（ＪＰ，Ａ）

【文献】特開２０１５－０６１１９４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１０

Ｈ０４Ｎ ７／１４ － ７／１７３

Ｈ０４Ｎ ７／２０ － ７／５６

Ｈ０４Ｎ ２１／００ －２１／８５８

Ｈ０４Ｍ ３／００

Ｈ０４Ｍ ３／１６ － ３／２０

Ｈ０４Ｍ ３／３８ － ３／５８

Ｈ０４Ｍ ７／００ － ７／１６

Ｈ０４Ｍ １１／００ －１１／１０

(57)【特許請求の範囲】

【請求項1】

映像情報及び音声情報を含む配信情報の出力を停止する旨の停止信号が取得されてから、前記配信情報の出力を再開する旨の再開信号が取得されるまでの停止時間において、前記配信情報の出力を停止する配信情報出力部と、
前記停止時間における前記映像情報及び前記音声情報の少なくとも一方に基づき、前記停止時間の長さに応じて情報量が異なる補助情報を生成する補助情報生成部と、
を備える、情報処理装置。

【請求項2】

前記補助情報生成部は、前記停止時間が第１時間範囲よりも短い場合、前記停止時間における前記映像情報を含む情報を前記補助情報として生成し、前記停止時間が前記第１時間範囲よりも長く、かつ、前記第１時間範囲より長い第２時間範囲よりも短い場合、前記停止時間における音声情報のテキストデータを取得して、前記映像情報を含まず前記テキストデータを含む情報を、前記補助情報として生成する、請求項１に記載の情報処理装置。

【請求項3】

前記補助情報生成部は、前記停止時間が前記第２時間範囲よりも長い場合、前記停止時間において音声を発している話者のうち特定の話者の音声情報のテキストデータである特定テキストデータを取得して、前記映像情報を含まず前記特定テキストデータを含む情報を、前記補助情報として生成する、請求項２に記載の情報処理装置。

【請求項4】

所定の停止時間において、映像情報及び音声情報を含む配信情報の表示を停止する配信情報表示部と、
前記停止時間における前記映像情報及び前記音声情報の少なくとも一方に基づく情報であって、前記停止時間の長さに応じて情報量が異なる情報である補助情報を、前記停止時間の経過後に、前記配信情報と同時に表示する補助情報表示部と、を有する、表示装置。

【請求項5】

映像情報及び音声情報を含む配信情報の出力を停止する旨の停止信号を取得してから、前記配信情報の出力を再開する旨の再開信号を取得するまでの停止時間の間には、前記配信情報の出力を停止する配信情報出力ステップと、
前記停止時間における前記映像情報及び前記音声情報の少なくとも一方に基づき、前記停止時間の長さに応じて情報量が異なる補助情報を生成する補助情報生成ステップと、
を有する、情報処理方法。

【請求項6】

映像情報及び音声情報を含む配信情報の出力を停止する旨の停止信号を取得してから、前記配信情報の出力を再開する旨の再開信号を取得するまでの停止時間の間には、前記配信情報の出力を停止する配信情報出力ステップと、
前記停止時間における前記映像情報及び前記音声情報の少なくとも一方に基づき、前記停止時間の長さに応じて情報量が異なる補助情報を生成する補助情報生成ステップと、
をコンピュータに実行させる、プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、表示装置、情報処理方法、及びプログラム
に関する。

【背景技術】

【0002】

遠隔のユーザ同士でコミュニケーションを図る際に用いられる遠隔コミュニケーションツールにおいて、映像データ及び音声データを記録しておき、記録したデータを抽出してプレイバック再生して、ユーザに提供する技術が提案されている。例えば、特許文献１には、音声と操作の開始時刻及び終了時刻に基づき、データを再生する装置が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１４－１４０９１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

例えば遠隔会議などでは、ユーザ間の情報の送受信が停止した際にも、一方の拠点において会議が進行する場合がある。この場合、他方の拠点にいるユーザは、情報の送受信が停止している間のデータを取得することができず、内容を理解することができなくなる。特許文献１では、音声と操作の開始時刻及び終了時刻に基づきデータを再生しているため、情報の送受信が停止した時間帯の内容をユーザに提供することができない。従って、情報の送受信が停止した際にも、ユーザに適切に内容を確認させることが求められている。

【0005】

本発明は、上記課題を鑑み、情報の送受信が停止した際にも、ユーザに適切に内容を確認させることが可能な情報処理装置、表示装置、情報処理方法、及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明の一態様にかかる情報処理装置は、映像情報及び音声情報を含む配信情報の出力を停止する旨の停止信号が取得されてから、前記配信情報の出力を再開する旨の再開信号が取得されるまでの停止時間において、前記配信情報の出力を停止する配信情報出力部と、前記停止時間における前記映像情報及び前記音声情報の少なくとも一方に基づき、前記停止時間の長さに応じて情報量が異なる補助情報を生成する補助情報生成部と、を備える。

【0007】

本発明の一態様にかかる表示装置は、所定の停止時間において、映像情報及び音声情報を含む配信情報の表示を停止する配信情報表示部と、前記停止時間における前記映像情報及び前記音声情報の少なくとも一方に基づく情報であって、前記停止時間の長さに応じて情報量が異なる情報である補助情報を、前記停止時間の経過後に、前記配信情報と同時に表示する補助情報表示部と、を有する。

【0008】

本発明の一態様にかかる情報処理方法は、映像情報及び音声情報を含む配信情報の出力を停止する旨の停止信号を取得してから、前記配信情報の出力を再開する旨の再開信号を取得するまでの停止時間の間には、前記配信情報の出力を停止する配信情報出力ステップと、前記停止時間における前記映像情報及び前記音声情報の少なくとも一方に基づき、前記停止時間の長さに応じて情報量が異なる補助情報を生成する補助情報生成ステップと、
を有する。

【0009】

本発明の一態様にかかるプログラムは、映像情報及び音声情報を含む配信情報の出力を停止する旨の停止信号を取得してから、前記配信情報の出力を再開する旨の再開信号を取得するまでの停止時間の間には、前記配信情報の出力を停止する配信情報出力ステップと、前記停止時間における前記映像情報及び前記音声情報の少なくとも一方に基づき、前記停止時間の長さに応じて情報量が異なる補助情報を生成する補助情報生成ステップと、をコンピュータに実行させる。

【発明の効果】

【0010】

本発明によれば、情報の送受信が停止した際にも、ユーザに適切に内容を確認させることができる。

【図面の簡単な説明】

【0011】

【図1】図１は、本実施形態に係る情報処理システムの模式図である。

【図2】図２は、本実施形態に係る表示装置の模式的なブロック図である。

【図3】図３は、本実施形態に係る情報処理装置のブロック図である。

【図4】図４は、停止時間データベースの一例を示す表である。

【図5】図５は、配信情報と補助情報の出力タイミングを示す図である。

【図6】図６は、本実施形態に係る表示装置の模式的なブロック図である。

【図7】図７は、総停止時間を設定するフローを説明するフローチャートである。

【図8】図８は、補助情報の出力フローを説明するフローチャートである。

【図9】図９は、表示装置による配信情報と補助情報との表示例を示す図である。

【図10】図１０は、表示装置による配信情報と補助情報との表示例を示す図である。

【図11】図１１は、表示装置による配信情報と補助情報との表示例を示す図である。

【図12】図１２は、表示装置による配信情報と補助情報との表示例を示す図である。

【0012】

以下に、本発明の実施形態を図面に基づいて詳細に説明する。なお、以下に説明する実施形態により本発明が限定されるものではない。

【0013】

（情報処理システムの構成）
図１は、本実施形態に係る情報処理システムの模式図である。図１に示すように、本実施形態に係る情報処理システム１は、離れた場所にある場所ＡＲ１と場所ＡＲ２とで情報の送受信を行うものである。具体的には、情報処理システム１は、場所ＡＲ１にいるユーザＨ１の音声と映像とを、場所ＡＲ２にいるユーザＨ２に伝達し、場所ＡＲ２にいるユーザＨ２の音声と映像とを、場所ＡＲ１にいるユーザＨ１に伝達する。本実施形態では、場所ＡＲ１にいるユーザＨ１が複数であり、場所ＡＲ２にいるユーザＨ２が単数である。情報処理システム１は、場所ＡＲ１と場所ＡＲ２とで情報の送受信を行うことで、複数のユーザＨ１による場所ＡＲ１での会議への、ユーザＨ２の遠隔からの参加を可能としている。ただし場所ＡＲ１及び場所ＡＲ２のユーザの人数は任意である。

【0014】

情報処理システム１は、場所ＡＲ１と場所ＡＲ２との情報の送受信が停止した場合において、停止していた間の場所ＡＲ１での会議の内容を、送受信の再開後に場所ＡＲ２のユーザＨ２に伝達することで、ユーザＨ２に停止していた時間での会議の内容を理解させるものである。図１に示すように、情報処理システム１は、場所ＡＲ１に設置される情報取得装置１０、表示装置１２、及び情報処理装置１４と、場所ＡＲ２に設置される情報取得装置１６、表示装置１８、及び検出装置１９と、ネットワークＮとを備える。なお、情報処理装置１４は、場所ＡＲ１に設置されることに限られず、任意の位置にあってもよい。また、情報取得装置１０と表示装置１２と情報処理装置１４とは、本実施形態では個別の装置であるが、情報取得装置１０と表示装置１２と情報処理装置１４との少なくとも２つが一体の装置であってもよい。同様に、情報取得装置１６と表示装置１８と検出装置１９とは、本実施形態では個別の装置であるが、情報取得装置１６と表示装置１８と検出装置１９との少なくとも２つが一体の装置であってもよい。また、情報取得装置１６と表示装置１８とが一体の装置であってもよい。

【0015】

情報取得装置１０は、場所ＡＲ１の音声情報と映像情報とを取得する装置である。情報取得装置１０が取得する音声情報は、場所ＡＲ１で生じている音であり、場所ＡＲ１にいるユーザＨ１が発する音声を含む。情報取得装置１０が取得する映像情報は、場所ＡＲ１を撮像した動画像であり、本実施形態では、場所ＡＲ１にいるユーザＨ１を撮像した動画像を含む。情報取得装置１０は、例えば録音機能付きのビデオカメラであり、マイク１０Ａと撮像部１０Ｂとを有する。マイク１０Ａは、場所ＡＲ１で録音することで音声情報を取得する。撮像部１０Ｂは、場所ＡＲ１を撮像することで撮像情報を取得する。情報取得装置１０は、情報処理装置１４と接続されており、取得した場所ＡＲ１の音声情報及び映像情報を、情報処理装置１４に出力する。情報取得装置１０は、場所ＡＲ１の音声情報と映像情報とを連続して取得し続けており、取得した音声情報と映像情報とを、随時、情報処理装置１４に出力する。すなわち、情報取得装置１０は、取得した音声情報と映像情報とを、リアルタイムで情報処理装置１４に出力する。詳しくは後述するが、情報処理装置１４は、音声情報及び映像情報に基づいた配信情報と補助情報とを、ネットワークＮを介して場所ＡＲ２の表示装置１８に出力する。

【0016】

情報取得装置１６は、場所ＡＲ２の音声情報と映像情報とを取得する装置である。情報取得装置１６が取得する音声情報とは、場所ＡＲ２で生じている音であり、場所ＡＲ２にいるユーザＨ２が発する音声を含む。情報取得装置１６が取得する映像情報は、場所ＡＲ２の動画像であり、場所ＡＲ２にいるユーザＨ２を撮像した動画像を含む。情報取得装置１６は、例えば録音機能付きのビデオカメラであり、マイク１６Ａと撮像部１６Ｂとを有する。マイク１６Ａは、場所ＡＲ２で録音することで音声情報を取得する。撮像部１６Ｂは、場所ＡＲ２を撮像することで撮像情報を取得する。情報取得装置１６は、ネットワークＮと接続されており、取得した音声情報及び撮像情報を、ネットワークＮを介して、場所ＡＲ１の表示装置１２に出力する。情報取得装置１６は、場所ＡＲ２の音声情報と映像情報とを連続して取得し続けており、取得した音声情報と映像情報とを、随時、表示装置１２に出力する。すなわち、情報取得装置１６は、取得した音声情報と映像情報とを、リアルタイムで表示装置１２に出力する。

【0017】

検出装置１９は、ネットワークＮを介して、情報処理装置１４に接続されている。検出装置１９は、ユーザＨ２以外の人が、場所ＡＲ２に、さらに言えば場所ＡＲ２の表示装置１８に、接近しているかを検出する装置である。以下、表示装置１８に接近するユーザＨ２以外の人を、接近者と記載する。検出装置１９は、検出部１９Ａと検出情報出力部１９Ｂとを有する。

【0018】

検出部１９Ａは、表示装置１８が出力する情報を認識可能な程度に近い位置に、接近者がいることを検出する機構であり、例えば近接センサである。検出部１９Ａは、表示装置１８の所定距離の範囲内に人がいるかを検出し、所定距離の範囲内にユーザＨ２以外の人がいる場合、接近者がいると検出し、所定距離の範囲内にユーザＨ２以外の人がいない場合、接近者がいると検出しない（接近者がいないとする）。検出部１９Ａは、例えば、表示装置１８に対向する位置にあるユーザＨ２の椅子よりも後方に設けられることで、ユーザＨ２を除いた人の接近を検出可能である。ただし、検出部１９Ａは、接近者を検出可能な装置であれば、このような構成の近接センサに限られない。例えば、検出部１９Ａは、映像を撮像する撮像部であってもよく、撮像した映像にユーザＨ２以外の人が写っている場合に、表示装置１８に接近者がいると検出し、撮像した映像にユーザＨ２以外の人が写っていない場合に、表示装置１８に接近者がいると検出しない（接近者がいないとする）。

【0019】

検出情報出力部１９Ｂは、検出部１９Ａの検出結果を取得する。検出情報出力部１９Ｂは、検出部１９Ａから、接近者がいるとの検出結果を取得した場合に、停止信号を生成して、生成した停止信号を、情報処理装置１４に送信する。検出情報出力部１９Ｂは、検出部１９Ａが接近者の検出を解除した旨の結果を取得した場合に、すなわち、接近者がいると検出した後に接近者がいると検出しなくなった場合に、再開信号を生成して、生成した再開信号を、情報処理装置１４に送信する。言い換えれば、検出情報出力部１９Ｂは、場所ＡＲ２に接近者が現れた場合に、停止信号を出力し、接近者が場所ＡＲ１からいなくなった場合に、再開信号を出力する。詳しくは後述するが、停止信号は、情報処理装置１４に配信情報の出力を停止させるトリガとなる信号であり、再開信号は、情報処理装置１４に配信情報の出力停止を解除させる、すなわち配信情報の出力を再開させるためのトリガとなる信号である。

【0020】

なお、検出装置１９は、例えば、図示しない制御部、すなわちＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）と、記憶部を備えていてよい。例えば、検出情報出力部１９Ｂは、制御部が記憶部に記憶されたプログラムを読み出すことによって後述する処理を実行する。また、検出部１９Ａの制御も、制御部が記憶部に記憶されたプログラムを読み出すことによって実行されてもよい。ただし、検出装置１９は、このようにＣＰＵを備えることに限られず、接近者を検出した場合に停止信号を送信し、接近者がいなくなった場合に再開信号を送信する処理を、ハードウェア回路によって実現してもよい。

【0021】

本実施形態では、このように、接近者の有無に応じて、停止信号及び再開信号を情報処理装置１４に出力している。すなわち、本実施形態では、配信情報を出力停止及び出力再開するためのトリガを、接近者の有無に設定している。これにより、配信情報がユーザＨ２以外の人に認識されて、会議の情報が漏れることが抑制される。ただし、配信情報を出力停止及び出力再開するためのトリガは、接近者の有無に限られない。例えば、ユーザＨ２が場所ＡＲ２から離れたかをトリガとしてもよい。この場合、検出装置１９は、ユーザＨ２が場所ＡＲ２から離れたかを検出して、ユーザＨ２が場所ＡＲ２を離れた場合に、停止信号を出力し、ユーザＨ２が場所ＡＲ２に戻ってきた場合に、再開信号を出力する。また例えば、ユーザＨ２の入力を、トリガとしてもよい。この場合、検出装置１９は、ユーザＨ２による配信情報を停止させる旨の入力を検出することをトリガとして、停止信号を生成、出力する。また、検出装置１９は、ユーザＨ２による配信情報を再開させる旨の入力を検出することをトリガとして、再開信号を生成、出力する。このように、停止信号及び再開信号の出力のトリガは、任意に設定可能である。

【0022】

図２は、本実施形態に係る表示装置の模式的なブロック図である。表示装置１２は、ネットワークＮを介して、場所ＡＲ２の情報取得装置１６に接続されており、情報取得装置１６から、場所ＡＲ２の音声情報及び映像情報を取得する。表示装置１２は、取得した場所ＡＲ２の音声情報及び映像情報を、場所ＡＲ１で出力する。図２に示すように、表示装置１２は、入力部２０と、出力部２２と、記憶部２４と、制御部２６とを有する。入力部２０は、ユーザＨ１の操作（入力）を受け付ける。出力部２２は、場所ＡＲ２の音声情報及び映像情報を出力する。すなわち、出力部２２は、映像情報を表示するディスプレイである表示部２２Ａと、音声情報を音声として出力するスピーカ２２Ｂとを有する。記憶部２４は、制御部２６の演算内容、プログラムの情報、及び、取得した音声情報及び映像情報などを記憶するメモリである。記憶部２４は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）と、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などの外部記憶装置とのうち、少なくとも１つ含む。

【0023】

制御部２６は、表示装置１２の全体を制御する演算装置、すなわちＣＰＵである。制御部２６は、出力情報取得部２６Ａと、出力制御部２６Ｂとを有する。出力情報取得部２６Ａと出力制御部２６Ｂとは、制御部２６が記憶部２４に記憶されたソフトウェア（プログラム）を読み出すことで実現されて、後述する処理を実行する。

【0024】

出力情報取得部２６Ａは、場所ＡＲ２の映像情報及び音声情報を、情報取得装置１６から取得する。出力情報取得部２６Ａは、場所ＡＲ２の映像情報及び音声情報を、随時、すなわちリアルタイムで取得する。出力制御部２６Ｂは、出力情報取得部２６Ａが取得した場所ＡＲ２の映像情報及び音声情報を、リアルタイムで出力部２２に出力させる。すなわち、出力制御部２６Ｂは、場所ＡＲ２の映像情報を、リアルタイムで表示部２２Ａに表示させ、場所ＡＲ２の音声情報を、リアルタイムでスピーカ２２Ｂに音声として出力させる。このように、出力部２２は、離れた場所ＡＲ２の映像情報及び音声情報を、場所ＡＲ１においてリアルタイムで出力する。ただし、出力部２２は、場所ＡＲ２において映像及び音声が取得されたタイミングから若干遅れて、映像情報及び音声情報を出力してもよい。

【0025】

次に、情報処理装置１４について説明する。図１に示すように、情報処理装置１４は、ネットワークＮを介して表示装置１８及び検出装置１９に接続されており、情報取得装置１０にも接続されているコンピュータ、ここではサーバである。情報処理装置１４は、情報取得装置１０から取得した場所ＡＲ１の映像情報及び音声情報である配信情報を、リアルタイムで表示装置１８に出力する。また、情報処理装置１４は、場所ＡＲ１の映像情報及び音声情報に基づき生成した補助情報を、表示装置１８に出力する。

【0026】

図３は、本実施形態に係る情報処理装置のブロック図である。図３に示すように、情報処理装置１４は、入力部３０と、通信部３１と、記憶部３２と、制御部３４とを有する。入力部３０は、ユーザＨ１の操作（入力）を受け付ける。通信部３１は、通信インターフェイスであり、制御部３４の制御により、他の装置、例えば情報取得装置１０、表示装置１８及び検出装置１９と通信することで、データの送受信をするよう構成される。記憶部３２は、制御部３４の演算内容やプログラムの情報などを記憶するメモリであり、例えば、ＲＡＭと、ＲＯＭと、ＨＤＤなどの外部記憶装置とのうち、少なくとも１つ含む。記憶部３２は、例えば外部記憶装置に、映像音声情報データベース４０と、停止時間データベース４２と、優先話者データベース４４と、分類情報データベース４６と、テキストデータベース４８とを有する。

【0027】

制御部３４は、情報処理装置１４の全体を制御する演算装置、すなわちＣＰＵである。制御部３４は、情報取得部５０と、停止時間取得部５２と、優先話者設定部５４と、分類情報生成部５６と、テキストデータ生成部５８と、補助情報生成部６０と、出力制御部６２とを有する。出力制御部６２は、配信情報出力部６４と、補助情報出力部６６とを有する。情報取得部５０と、停止時間取得部５２と、優先話者設定部５４と、分類情報生成部５６と、テキストデータ生成部５８と、補助情報生成部６０と、出力制御部６２とは、制御部３４が記憶部３２に記憶されたソフトウェア（プログラム）を読み出すことで実現されて、後述する処理を実行する。

【0028】

情報取得部５０は、通信部３１を介して、情報取得装置１０から、場所ＡＲ１の映像情報及び音声情報を取得する。情報取得部５０は、場所ＡＲ１の映像情報及び音声情報を、随時、すなわちリアルタイムで取得する。情報取得部５０は、リアルタイムで取得した場所ＡＲ１の映像情報及び音声情報を、随時、映像音声情報データベース４０に記憶させる。

【0029】

停止時間取得部５２は、通信部３１を介して、検出装置１９から、停止信号及び再開信号を取得する。上述のように、検出装置１９は、所定のタイミングにおいて、本実施形態では接近者を検出したタイミングにおいて、停止信号を生成して情報処理装置１４に送信する。停止時間取得部５２は、この所定のタイミングで送信された停止信号を取得するため、接近者を検出したタイミングとほぼ同じタイミングで、停止信号を取得する。停止時間取得部５２は、停止信号を取得した時刻を、停止信号取得時刻として、停止時間データベース４２に記憶させる。また、検出装置１９は、停止信号を生成した後の所定のタイミングにおいて、本実施形態では接近者がいなくなったタイミングにおいて、再開信号を生成して情報処理装置１４に送信する。停止時間取得部５２は、この所定のタイミングで送信された再開信号を取得するため、接近者がいなくなったタイミングとほぼ同じタイミングで、再開信号を取得する。停止時間取得部５２は、再開信号を取得した時刻を、再開信号取得時刻として、停止時間データベース４２に記憶させる。すなわち、停止時間取得部５２は、停止時刻を取得した時刻と再開信号を取得した時刻とを、タイムスタンプ情報として停止時間データベース４２に記憶させる。

【0030】

ここで、配信情報出力部６４は、映像音声情報データベース４０に記憶された場所ＡＲ１の映像情報及び音声情報を読み出す。配信情報出力部６４は、読み出した場所ＡＲ１の映像情報及び音声情報を、配信情報として、通信部３１を介して、随時、表示装置１８に出力する。言い換えれば、配信情報出力部６４は、場所ＡＲ１の映像情報及び音声情報である配信情報を、リアルタイムで表示装置１８に配信する。一方、配信情報出力部６４は、停止時間取得部５２が停止信号を取得すると、配信情報の出力を停止する。すなわち、配信情報出力部６４は、停止信号取得時刻において、停止信号の出力を停止する。配信情報出力部６４は、停止信号を取得してから再開信号を取得するまでの間、配信情報の出力の停止を続ける。配信情報出力部６４は、停止時間取得部５２が再開信号を取得すると、配信情報の出力を再開する。すなわち、配信情報出力部６４は、再開信号取得時刻において、配信情報の出力を再開する。配信情報出力部６４は、配信情報の出力を再開する際には、停止信号取得時刻から再開信号取得時刻までの、出力を停止した期間における配信情報を出力することなく、再開信号取得時刻以降の配信情報をリアルタイムで出力する。配信情報出力部６４は、次に停止信号が取得されるまで、配信情報の出力を続ける。

【0031】

このように、配信情報出力部６４は、表示装置１８にリアルタイムで配信情報を出力しつつ、停止信号取得時刻から再開信号取得時刻までの間の時間である停止時間において、配信情報の出力を停止する。

【0032】

停止時間取得部５２の説明に戻る。図４は、停止時間データベースの一例を示す表である。停止時間取得部５２は、停止信号取得時刻と、その直後の再開信号取得時刻とを紐付けて、１つのレコードＲとして、停止時間データベース４２に記憶させる。停止時間取得部５２は、停止信号及び再開信号が複数回取得された場合は、すなわち配信情報の出力が複数回停止された場合は、停止信号取得時刻及び再開信号取得時刻毎に、レコードＲを記憶させる。図４の例では、レコードＲ１、Ｒ２、Ｒ３、Ｒ４が記憶されている。レコードＲ１は、停止信号取得時刻がＴＳ１１であり、再開信号取得時刻がＴＳ１２である。レコードＲ１は、停止信号取得時刻ＴＳ１１から再開信号取得時刻ＴＳ１２までの間が、配信情報の配信が停止された停止時間であることを示している。レコードＲ２は、停止信号取得時刻が、再開信号取得時刻ＴＳ１２より後のＴＳ２１であり、再開信号取得時刻がＴＳ２２である。レコードＲ２は、停止信号取得時刻ＴＳ２１から再開信号取得時刻ＴＳ２２までの間が、配信情報の配信が停止された停止時間であることを示している。レコードＲ３は、停止信号取得時刻が、再開信号取得時刻ＴＳ２２より後のＴＳ３１であり、再開信号取得時刻がＴＳ３２である。レコードＲ３は、停止信号取得時刻ＴＳ３１から再開信号取得時刻ＴＳ３２までの間が、配信情報の配信が停止された停止時間であることを示している。レコードＲ４は、停止信号取得時刻が、再開信号取得時刻ＴＳ３２より後のＴＳ４１であり、再開信号取得時刻がＴＳ４２である。レコードＲ４は、停止信号取得時刻ＴＳ４１から再開信号取得時刻ＴＳ４２までの間が、配信情報の配信が停止された停止時間であることを示している。なお、図４における「状態」は、停止時間における映像情報又は音声情報が、後述の補助情報として送信済みか、送信中か、又は未送信であるかを、レコードＲ毎に示す情報である。

【0033】

図３に戻り、優先話者設定部５４は、会議に参加している場所ＡＲ１の複数のユーザＨ１から、優先話者を設定し、設定した優先話者の情報を、優先話者データベース４４に記憶させる。優先話者として設定されたユーザＨ１の音声情報は、全てのユーザＨ１の音声情報の中から、後述する補助情報として優先して抽出される。優先話者設定部５４は、任意の方法で優先話者を設定してよいが、本実施形態では、例えば場所ＡＲ１に集合するユーザＨ１の情報に基づき、優先話者を設定する。例えば、優先話者設定部５４は、場所ＡＲ１に集合するユーザＨ１の情報（例えばＩＤや名前）を取得しておき、取得したユーザＨ１の情報に基づき、優先話者とするユーザＨ１を選択し、選択したユーザＨ１の情報を優先話者データベース４４に記憶させる。この場合、優先話者設定部５４は、例えばユーザＨ１の情報に基づき、役職が高かったり、この会議で重要であったりするユーザＨ１（例えば会議の招集者）を選択して、優先話者に設定してもよい。また、例えば、優先話者設定部５４は、音声情報又は映像情報に基づき、優先話者を設定してよい。例えば、優先話者設定部５４は、音声情報又は映像情報から、ユーザＨ１毎に音声を発した時間を算出し、音声を発した時間が長いユーザＨ１を、優先話者に設定してもよい。また、優先話者設定部５４は、ユーザによる入力部３０の入力により、優先話者を設定してもよい。もしくは、ネットワークＮを介して、入力部２０、または入力部７０の入力により、優先話者を設定してもよい。なお、優先話者設定部５４が設定する優先話者の人数は、任意であり、１人でもよいし２人以上であってもよい。すなわち、優先話者は、全てのユーザＨ１のうち一部のユーザＨ１であればよい。また、優先話者設定部５４は、優先話者を複数設定する場合、複数の優先話者に、更に優先順位を付けることが好ましい。

【0034】

分類情報生成部５６は、映像音声情報データベース４０から、場所ＡＲ１の音声情報を読み出す。分類情報生成部５６は、読み出した場所ＡＲ１の音声情報を解析して、音声情報を、音声を発したユーザＨ１毎に分割、すなわち分類する。分類情報生成部５６は、分類したユーザＨ１毎の音声情報を、分類情報として、分類情報データベース４６に記憶する。分類情報は、音声情報を分割して抽出されているため、音声情報の一部の情報であるといえる。すなわち、映像音声情報データベース４０に記憶されている音声情報は、複数のユーザＨ１の音声が含まれて録音開始時から現在までの音声情報であるのに対し、分類情報データベース４６に記憶される分類情報は、ユーザＨ１毎に分類された音声情報であり、そのユーザＨ１が音声を発した時間の音声情報となる。例えば、時刻Ｔ１から時刻Ｔ２までユーザＨ１Ａが音声を発し、時刻Ｔ２から時刻Ｔ３までユーザＨ１Ｂが音声を発し、時刻Ｔ３から時刻Ｔ４までユーザＨ１Ａが再度音声を発していた場合、分類情報生成部５６は、時刻Ｔ１から時刻Ｔ２の音声情報と時刻Ｔ３から時刻Ｔ４の音声情報とを、ユーザＨ１Ａの音声情報として抽出し、時刻Ｔ２から時刻Ｔ３の音声情報を、ユーザＨ１Ｂの音声情報として抽出する。なお、分類情報生成部５６は、音声情報に加えて、音声情報と同じ時間における映像情報も、分類情報に加えてもよい。

【0035】

分類情報生成部５６は、例えば、音声情報に含まれる音声波形（時間毎の振幅や波長など）を解析することで、音声情報をユーザＨ１毎に分類する。分類情報生成部５６は、例えば、音声波形の特徴を、ユーザＨ１の情報（ＩＤなど）毎に予め記憶させる。そして、分類情報生成部５６は、場所ＡＲ１の音声情報の音声波形を検出して、予め記憶させた音声波形の特徴と一致又は類似する音声波形の音声情報を、そのユーザＨ１の分類情報として抽出する。また、分類情報生成部５６は、映像情報に基づき、分類情報を抽出してもよい。この場合、例えば、分類情報生成部５６は、予めユーザＨ１の情報（ＩＤなど）とユーザＨ１の顔とを関連付けて記憶させる。分類情報生成部５６は、映像情報からどのユーザＨ１が音声を発しているかを特定して、そのユーザＨ１が音声を発していると特定した時間における音声情報を、そのユーザＨ１の分類情報として抽出する。分類情報生成部５６は、ユーザＨ１が音声を発しているかを特定するために、例えば、映像情報から口が動いているユーザＨ１を検出して、そのユーザＨ１の口が動いている時間の音声情報を抽出する。そして、分類情報生成部５６は、そのユーザＨ１の顔に関連付けられているユーザＨ１の情報を、抽出した音声情報に紐付けることで、ユーザＨ１毎の分類情報を抽出する。ただし、ユーザＨ１毎の分類情報の抽出方法は任意であり、これらの方法に限られない。

【0036】

なお、分類情報生成部５６は、例えば同じ時間に複数のユーザＨ１が音声を発していた場合、その時間の音声情報を、音声を発していた全てのユーザＨ１の分類情報に割り当ててよい。また例えば、あるユーザＨ１の音声が終了してから所定時間が経過する前にそのユーザＨ１の音声が再度発せられた場合、分類情報生成部５６は、ユーザＨ１の音声が終了してから再開するまでの時間の音声情報も、そのユーザＨ１の分類情報に割り当ててもよい。このようにすると、そのユーザＨ１が他のユーザＨ１と対話している際に、対話の音声の全体が分類情報に含まれることになり、内容の理解がし易くなる。また、分類情報生成部５６は、映像音声情報データベース４０に記憶されている全ての時間における音声情報から分類情報を生成することに限られず、少なくとも、配信情報が配信されない停止時間における音声情報から分類情報を生成すればよい。

【0037】

テキストデータ生成部５８は、映像音声情報データベース４０から、場所ＡＲ１の音声情報を読み出す。分類情報生成部５６は、読み出した音声情報から、その音声情報のテキストデータを生成する。テキストデータは、その音声情報に含まれる音声として発せられた文を含む文字データである。テキストデータ生成部５８は、生成した音声情報のテキストデータを、テキストデータベース４８に記憶させる。また、テキストデータ生成部５８は、分類情報データベース４６から、分類情報を読み出す。テキストデータ生成部５８は、読み出した分類情報のテキストデータを生成して、特定テキストデータとしてテキストデータベース４８に記憶させる。テキストデータは、音声情報の文字データであるため、音声を発した全てのユーザＨ１の音声の文字データを含む。一方、特定テキストデータは、分類情報の文字データであるため、一人のユーザＨ１の音声の文字データを含むものである。なお、テキストデータ生成部５８は、全てのユーザＨ１の分類情報についての特定テキストデータを生成してもよいし、優先話者として設定されたユーザＨ１の分類情報の特定テキストデータのみを生成してもよい。

【0038】

テキストデータ生成部５８は、例えば、音声情報から、時間毎の振幅や波長などによる音声波形を検出する。そして、テキストデータ生成部５８は、音声波形と、文字との関係を記憶したテーブルに基づき、時間毎の音声波形をそれぞれ文字に置き換えることで、音声情報をテキストデータに変換する。ただし、テキストデータ生成部５８は、音声情報をテキストデータに変換できるものであれば、変換の方法は任意である。

【0039】

補助情報生成部６０は、配信情報の出力が停止されている停止時間における、場所ＡＲ１の映像情報及び音声情報の少なくとも一方に基づき、補助情報を生成する。補助情報生成部６０は、停止時間の長さに応じて内容が異なるように、補助情報を生成する。

【0040】

本実施形態においては、補助情報生成部６０は、停止時間が、より詳しくは後述の総停止時間が、第１時間範囲よりも短い場合に、映像音声情報データベース４０から、停止時間における場所ＡＲ１の映像情報を読み出し、テキストデータベース４８から、停止時間におけるテキストデータを読み出す。そして、補助情報生成部６０は、停止時間における映像情報と、停止時間におけるテキストデータとを、補助情報とする。以下、この停止時間における映像情報とテキストデータとを含む補助情報を、適宜、第１補助情報と記載する。テキストデータは、音声情報から生成されるため、映像情報とテキストデータとを含む第１補助情報は、場所ＡＲ１の映像情報及び音声情報に基づく情報であるといえる。なお、補助情報生成部６０は、停止時間における映像情報及びテキストデータの代わりに、停止時間における映像情報及び音声情報を、第１補助情報としてもよい。なお、第１時間範囲の長さは任意に設定される。

【0041】

また、補助情報生成部６０は、停止時間、より詳しくは後述の総停止時間が、第１時間範囲よりも長く（又は第１時間範囲以上であり）、かつ、第２時間範囲よりも短い場合に、テキストデータベース４８から、停止時間におけるテキストデータを読み出し、停止時間におけるテキストデータを、補助情報とする。第２時間範囲は、第１時間範囲より長い時間である。以下、停止時間におけるテキストデータを含むこの補助情報を、適宜、第２補助情報と記載する。このように、補助情報生成部６０は、停止時間が第２時間範囲より短い場合には、映像情報を含まずテキストデータを含む情報を、第２補助情報とする。言い換えれば、補助情報生成部６０は、停止時間が第１閾値以下である場合は、停止時間における映像情報及びテキストデータを補助情報（第１補助情報）とし、停止時間が第１閾値より長い場合は、停止時間におけるテキストデータを補助情報（第２補助情報）とする。

【0042】

また、補助情報生成部６０は、停止時間、より詳しくは後述の総停止時間が、第２時間範囲より長い場合（又は第２時間範囲以上である場合）、ここでは第３時間範囲内である場合に、テキストデータベース４８から、停止時間における優先話者の特定テキストデータを読み出し、停止時間における優先話者の特定テキストデータを、補助情報とする。第３時間範囲は、第２時間範囲より長い時間である。以下、停止時間における優先話者の特定テキストデータを含むこの補助情報を、適宜、第３補助情報と記載する。このように、補助情報生成部６０は、停止時間が第３時間範囲内である場合には、映像情報及びテキストデータを含まず、優先話者の特定テキストデータを含む情報を、第３補助情報とする。言い換えれば、補助情報生成部６０は、停止時間が第１閾値より長く第２閾値以下である場合は、停止時間におけるテキストデータを補助情報（第２補助情報）とし、停止時間が第２閾値より長い場合は、停止時間における優先話者の特定テキストデータを、補助情報（第３補助情報）とする。

【0043】

補助情報生成部６０は、このように停止時間の長さに応じて補助情報を生成する。言い換えれば、補助情報生成部６０は、停止時間における映像情報と音声情報のテキストデータとのうち、少なくとも一部を含むように、停止時間の長さに応じて、情報量、言い換えればデータ量が異なる補助情報を生成しているといえる。さらに言えば、補助情報生成部６０は、停止時間が長いほど、補助情報の情報量を少なくしているともいえる。ただし、補助情報は、上述のように第１補助情報から第３補助情報のいずれかとして生成されることに限られない。例えば、第１補助情報から第３補助情報以外の方法で補助情報が作成されてもよい。また例えば、補助情報生成部６０は、第１補助情報から第３補助情報のうち、いずれか２つを作成するものであってもよい。すなわち、補助情報生成部６０は、第１補助情報と第２補助情報とのいずれかを生成してよいし、第２補助情報と第３補助情報とのいずれかを生成してよいし、第１補助情報と第３補助情報のいずれかを生成してよい。

【0044】

なお、補助情報生成部６０は、配信情報の出力が複数回停止されることにより、停止時間が複数設定される場合には、停止時間毎に補助情報を生成する。すなわち、補助情報生成部６０は、図４に示すレコードＲが複数設定されている場合には、レコードＲ毎に、補助情報を生成する。

【0045】

補助情報出力部６６は、補助情報生成部６０が生成した補助情報を、通信部３１を介して表示装置１８に出力する。本実施形態では、補助情報出力部６６は、補助情報生成部６０が第１補助情報を生成した場合、第１補助情報を出力し、補助情報生成部６０が第２補助情報を生成した場合、第２補助情報を出力し、補助情報生成部６０が第３補助情報を生成した場合、第３補助情報を出力する。

【0046】

図５は、配信情報と補助情報の出力タイミングを示す図である。補助情報出力部６６は、再開信号を取得した後に、すなわち停止時間が経過した後に、補助情報を出力する。さらに言えば、補助情報出力部６６は、停止時間が経過した後に、配信情報出力部６４による配信情報の出力中に、配信情報と同じ出力先である表示装置１８に、補助情報を出力する。図５は、時刻ＴＳ１において、停止信号が取得され、時刻ＴＳ２において、再開信号が取得された例を示している。この場合、配信情報出力部６４は、時刻ＴＳ１までは、時刻ＴＳ１までの配信情報を、リアルタイムで表示装置１８に出力する。そして、配信情報出力部６４は、時刻ＴＳ１から時刻ＴＳ２までの停止時間においては、配信情報の出力を停止している。そして、配信情報出力部６４は、時刻ＴＳ２からは、時刻ＴＳ２からの配信情報を、リアルタイムで表示装置１８に出力する。すなわち、配信情報出力部６４は、時刻ＴＳ１から時刻ＴＳ２までの停止時間の配信情報を、表示装置１８に出力しない。

【0047】

一方、補助情報出力部６６は、時刻ＴＳ２の経過後に、時刻ＴＳ１から時刻ＴＳ２までの停止時間における補助情報を、表示装置１８に出力する。すなわち、時刻ＴＳ２以降では、配信情報出力部６４が時刻ＴＳ２からの配信情報をリアルタイムで出力しつつ、補助情報出力部６６が、時刻ＴＳ１から時刻ＴＳ２までの過去の情報である補助情報を、時刻ＴＳ２からの配信情報の出力と同時に、表示装置１８に出力する。

【0048】

図５の例では、補助情報出力部６６は、時刻ＴＳ２から、すなわち再開信号を取得した時刻から、補助情報を出力する。すなわち、補助情報出力部６６は、再開信号の取得をトリガとして、補助情報を出力する。ただし、補助情報出力部６６は、再開信号の取得をトリガとして補助情報を出力することに限られない。例えば、再開信号を取得してから所定時間経過したことをトリガとしてもよいし、ユーザの要求、すなわちユーザＨ２による表示装置１８への入力などをトリガとしてもよい。ただし、補助情報出力部６６は、停止時間中に補助情報を配信することはない。

【0049】

次に、場所ＡＲ２の表示装置１８について説明する。図６は、本実施形態に係る表示装置の模式的なブロック図である。表示装置１８は、ネットワークＮを介して、場所ＡＲ１の情報処理装置１４に接続されており、情報処理装置１４から、場所ＡＲ１の配信情報及び補助情報を取得する。表示装置１８は、取得した場所ＡＲ１の配信情報及び補助情報を、場所ＡＲ２で出力する。図６に示すように、表示装置１８は、入力部７０と、出力部７２と、記憶部７４と、制御部７６とを有する。入力部７０は、ユーザＨ２の操作（入力）を受け付ける。出力部７２は、場所ＡＲ１の配信情報及び補助情報を出力する。すなわち、出力部７２は、映像情報及び補助情報を表示するディスプレイである表示部７２Ａと、音声情報を音声として出力するスピーカ７２Ｂとを有する。記憶部７４は、制御部７６の演算内容、プログラムの情報、及び、取得した配信情報及び補助情報などを記憶するメモリである。記憶部７４は、例えば、ＲＡＭと、ＲＯＭと、ＨＤＤなどの外部記憶装置とのうち、少なくとも１つ含む。

【0050】

制御部７６は、表示装置１８の全体を制御する演算装置、すなわちＣＰＵである。制御部７６は、配信情報取得部７６Ａと、補助情報取得部７６Ｂと、出力制御部７６Ｃとを有する。配信情報取得部７６Ａと、補助情報取得部７６Ｂと、出力制御部７６Ｃとは、制御部７６が記憶部７４に記憶されたソフトウェア（プログラム）を読み出すことで実現されて、後述する処理を実行する。

【0051】

配信情報取得部７６Ａは、場所ＡＲ１の配信情報を、情報処理装置１４から取得する。配信情報取得部７６Ａは、場所ＡＲ１の配信情報を、随時、すなわちリアルタイムで取得する。補助情報取得部７６Ｂは、場所ＡＲ１の補助情報を、情報処理装置１４から取得する。

【0052】

出力制御部７６Ｃは、配信情報取得部７６Ａが取得した配信情報を、リアルタイムで出力部７２に出力させる。すなわち、出力制御部７６Ｃは、配信情報に含まれる場所ＡＲ１の映像情報を、リアルタイムで表示部７２Ａに表示させ、配信情報に含まれる場所ＡＲ１の音声情報を、リアルタイムでスピーカ７２Ｂに音声として出力させる。配信情報取得部７６Ａは、停止時間中には配信情報を取得しない。従って、出力制御部７６Ｃは、停止時間の間には、出力部７２に配信情報の出力を停止させる。

【0053】

また、出力制御部７６Ｃは、補助情報取得部７６Ｂが取得した補助情報を、停止時間の経過後に、出力部７２に出力させる。すなわち、出力制御部７６Ｃは、補助情報に含まれる映像情報、テキストデータ、又は特定テキストデータを、表示部７２Ａに表示させる。また、補助情報に音声情報が含まれる場合、出力制御部７６Ｃは、配信情報に含まれる音声情報を、リアルタイムでスピーカ７２Ｂに音声として出力させる。

【0054】

出力制御部７６Ｃは、補助情報取得部７６Ｂから補助情報を取得したタイミングで、補助情報を出力させる。すなわち、出力制御部７６Ｃは、図５に示す配信情報及び補助情報の出力と同様のタイミングで、配信情報と補助情報とを出力させる。例えば、出力制御部７６Ｃは、時刻ＴＳ１までは、時刻ＴＳ１までの配信情報を、リアルタイムで出力部７２に出力させ、時刻ＴＳ１から時刻ＴＳ２までの間は、配信情報の出力を停止させる。そして、出力制御部７６Ｃは、時刻ＴＳ２からは、時刻ＴＳ２からの配信情報を、リアルタイムで出力部７２に出力させる。すなわち、出力制御部７６Ｃは、時刻ＴＳ１から時刻ＴＳ２までの停止時間の配信情報を出力させない。このように、出力制御部７６Ｃは、配信情報をライブ配信するといえる。ただし、情報の送受信のタイムラグなどにより、若干出力が遅れてもよい。

【0055】

また、出力制御部７６Ｃは、時刻ＴＳ２の経過後に、時刻ＴＳ１から時刻ＴＳ２までの停止時間における補助情報を、出力部７２に出力させる。すなわち、出力制御部７６Ｃは、時刻ＴＳ２以降では、時刻ＴＳ２からの配信情報をリアルタイムで出力しつつ、時刻ＴＳ１から時刻ＴＳ２までの過去の情報である補助情報を、時刻ＴＳ２からの配信情報の出力と同時に出力する。

【0056】

ただし、出力制御部７６Ｃは、補助情報取得部７６Ｂから補助情報を取得したタイミングで、補助情報を出力させなくてよく、任意のタイミングで補助情報を出力させてよい。例えば、出力制御部７６Ｃは、補助情報を取得してから所定時間経過後に補助情報を出力させてよいし、ユーザＨ２の入力部７０への入力を検出したことをトリガとして、補助情報を出力させてよい。

【0057】

（補助情報の出力フロー）
情報処理システム１は、以上のような構成となっている。次に、情報処理装置１４による補助情報の出力フローを、フローチャートに基づき説明する。情報処理装置１４は、停止時間の合計値である総停止時間に基づき、補助情報を生成するため、最初に総停止時間の設定方法について説明する。

【0058】

図７は、総停止時間を設定するフローを説明するフローチャートである。図７に示すように、補助情報生成部６０は、総停止時間を初期化し（ステップＳ１０）、停止時間データベース４２に、状態が未確認のレコードＲがあるか確認する（ステップＳ１２）。レコードＲの状態とは、そのレコードＲに紐づいた停止時間における音声情報及び映像情報が、補助情報として表示装置１８に送信されているかを示す情報である。停止時間取得部５２は、補助情報を送信していないレコードＲの状態を送信済みに設定し、補助情報を送信中のレコードＲの状態を送信中に設定し、補助情報を送信済みのレコードＲの状態を送信済みに設定する。図４の例では、レコードＲ１が、補助情報として送信済みであり、レコードＲ２が、補助情報として送信中（送信の最中）であり、レコードＲ３、Ｒ４が、補助情報として未送信となっている。

【0059】

補助情報生成部６０は、ステップＳ１２において、状態が未確認のレコードＲがあるか、すなわち、状態が未送信であるか送信中であるか送信済みであるかを確認していないレコードＲがあるかを、確認する。状態が未確認のレコードＲがない場合（ステップＳ１２；Ｎｏ）、補助情報生成部６０は、全てのレコードＲの状態が確認済みであり総停止時間のアップデートが不要であると判断して、本処理を終了する。一方、状態が未確認のレコードＲがある場合（ステップＳ１２；Ｙｅｓ）、補助情報生成部６０は、状態が未確認のレコードＲのうちで最も古い（最も過去）レコードＲの状態が、送信中又は未送信であるかを確認する（ステップＳ１４）。すなわち、補助情報生成部６０は、状態が未確認のレコードＲが、補助情報として表示装置１８に送信が完了していないものであるかを確認する。補助情報生成部６０は、このステップＳ１４で状態を確認したレコードＲを、状態が未確認であるものから状態が確認済みのものに変更する。状態が未確認だった最も古いレコードＲの状態が送信中又は未送信でない場合(ステップＳ１４；Ｎｏ)、すなわち送信済みである場合、補助情報生成部６０は、ステップＳ１２に戻り処理を繰り返す。

【0060】

状態が未確認だった最も古いレコードＲの状態が、送信中又は未送信である場合(ステップＳ１４；Ｙｅｓ)、補助情報生成部６０は、そのレコードＲの停止時間を算出する（ステップＳ１６）。補助情報生成部６０は、そのレコードＲに紐づいた再開信号取得時刻と停止信号取得時刻との差分を、そのレコードＲの停止時間として算出する。停止時間を算出したら、補助情報生成部６０は、算出した停止時間を合計して、総停止時間を算出する（ステップＳ１８）。すなわち、補助情報生成部６０は、状態が未送信または送信中のレコードＲの停止時間の合計値を、総停止時間として算出する。総停止時間を算出したら、補助情報生成部６０は、状態が未確認のレコードＲが残っていないか確認し（ステップＳ２０）、残っていない場合（ステップＳ２０；Ｙｅｓ）、本処理を終了して総停止時間の算出を終了する。状態が未確認のレコードが残っている場合（ステップＳ２０；Ｎｏ）、ステップＳ１４に戻って処理を繰り返し、総停止時間の算出を続ける。

【0061】

このように、補助情報生成部６０は、状態が未送信または送信中のレコードＲの停止時間の合計値を、総停止時間として算出する。すなわち、補助情報生成部６０は、停止時間における音声情報及び映像情報が補助情報として出力済みである場合、その停止時間を総停止時間に含めず、音声情報及び映像情報が補助情報として出力済みでない停止時間の合計値を、総停止時間とする。なお、本実施形態に係る補助情報生成部６０は、図７に示す手順で総停止時間を算出したが、総停止時間の算出手順はこれに限られない。

【0062】

図８は、補助情報の出力フローを説明するフローチャートである。図８に示すように、情報処理装置１４は、補助情報生成部６０により、優先話者データベース４４から、優先話者を設定し（ステップＳ３０）、図７のように算出した総停止時間を取得する（ステップＳ３２）。そして、情報処理装置１４は、補助情報生成部６０により、総停止時間が第１時間範囲より短いかを確認し（ステップＳ３４）、第１時間範囲よりも短い場合（ステップＳ３４；Ｙｅｓ）、未送信のテキストデータ及び映像情報を、補助情報（第１補助情報）として生成する（ステップＳ３６）。未送信のテキストデータ及び映像情報とは、補助情報として表示装置１８に出力済みでない停止時間のテキストデータ及び映像情報を指し、言い換えれば、状態が未送信のレコードＲに紐づいた停止時間のテキストデータ及び映像情報である。

【0063】

総停止時間が第１時間範囲より短くない場合、ここでは総停止時間が第１時間範囲よりも長い場合（ステップＳ３４；Ｎｏ）、情報処理装置１４は、補助情報生成部６０により、総停止時間が第２時間範囲より短いかを確認し（ステップＳ３８）、第２時間範囲より短い場合（ステップＳ３８；Ｙｅｓ）、未送信のテキストデータを、補助情報（第２補助情報）として生成する（ステップＳ４０）。すなわち、補助情報生成部６０は、総停止時間が第２時間範囲より短い場合、補助情報として出力済みでない停止時間のテキストデータ（状態が未送信のレコードＲに紐づいた停止時間のテキストデータ）を、第２補助情報として生成する。

【0064】

総停止時間が第２時間範囲より短くない場合、ここでは総停止時間が第２時間範囲よりも長い場合（ステップＳ３８；Ｎｏ）、補助情報生成部６０は、総停止時間が第３時間範囲内であると判断して、未送信の優先話者の特定テキストデータを、補助情報（第３補助情報）として生成する（ステップＳ４２）。すなわち、補助情報生成部６０は、総停止時間が第３時間範囲内である場合、テキストデータベース４８に記憶されているユーザＨ１毎の特定テキストデータに、優先話者の特定テキストデータがあるかを確認する。補助情報生成部６０は、優先話者の特定テキストデータがある場合、その優先話者の特定テキストデータのうち、補助情報として出力済みでない停止時間の特定テキストデータ（状態が未送信のレコードＲに紐づいた停止時間の特定テキストデータ）を、第３補助情報として生成する。なお、優先順位を付けて優先話者を複数設定している場合、補助情報生成部６０は、最も優先順位の高い優先話者の特定テキストデータがあるか確認して、最も優先順位の高い優先話者の特定テキストデータがある場合は、その優先話者の未送信の特定テキストデータを、第３補助情報とする。最も優先順位の高い優先話者の特定テキストデータが無い場合、補助情報生成部６０は、次に優先順位の高い優先話者の特定テキストデータがあるかを確認し、同様の処理を続けて、優先話者の特定テキストデータを抽出する。また、補助情報生成部６０は、優先話者を複数設定している場合、複数の優先話者の特定テキストデータを、第３補助情報としてもよい。

【0065】

情報処理装置１４は、ステップＳ３６、Ｓ４０、Ｓ４２のいずれかで生成した補助情報を、補助情報出力部６６によって、表示装置１８に出力させて（ステップＳ４４）、本処理を終了する。

【0066】

なお、補助情報出力部６６は、未送信のレコードＲが複数ある場合、言い換えれば未送信の補助情報が複数ある場合、未送信の補助情報のうち、最も古い（過去の）補助情報から順に出力する。すなわち、補助情報出力部６６は、時系列に沿って補助情報を出力する。ただし、補助情報の出力の順番は、これに限られず、設定した所定の順所であればよい。例えば、補助情報出力部６６は、最も新しい（直近の）補助情報から、時系列を遡る順番で出力してもよい。また、補助情報出力部６６は、停止時間が長い補助情報から順に出力してもよい。すなわち、補助情報出力部６６は、停止時間が長い補助情報ほど、先に出力してもよい。また、補助情報出力部６６は、配信情報に基づき、出力する補助情報を選択し、選択した補助情報を優先して出力してもよい。例えば、補助情報出力部６６は、現在出力されている配信情報において発言しているユーザＨ１を検出して、そのユーザＨ１が発言している補助情報を選択して、優先して出力する。また、補助情報出力部６６は、ユーザＨ２の要求、すなわちユーザＨ２による表示装置１８への入力に基づき、出力する補助情報を設定してもよい。すなわち、補助情報出力部６６は、ユーザＨ２がどの時間帯の補助情報を求めているかの情報を、表示装置１８から取得して、その情報における時間帯の補助情報を、表示装置１８に出力する。また、補助情報出力部６６は、重要な情報を含む補助情報を選択して、選択した補助情報を優先して出力してもよい。この場合、例えば、補助情報出力部６６が、停止時間における音声情報及び映像情報に基づき、重要な情報を含む補助情報を選択する。重要な情報を含む補助情報とは、例えば、優先話者が発言している際の補助情報や、ユーザＨ１がホワイトボードに書き込みを行っている際の補助情報など、任意に設定可能である。

【0067】

また、本実施形態では、特定のユーザＨ１のテキストデータ（特定テキストデータ）を第３補助情報として提供するために、優先話者設定部５４が、集合するユーザＨ１の情報を予め取得することで優先話者を設定していた。ただし、情報処理装置１４は、第３補助情報を提供する際に、優先話者の設定を行わなくてもよい。この場合、分類情報生成部５６は、場所ＡＲ１の音声情報を、異なるユーザＨ１毎に分類して分類情報を生成するが、その分類情報がどのユーザＨ１のものであるかを同定しなくてよい。例えば、音声波形の特徴はユーザＨ１毎に異なるため、分類情報生成部５６は、音声情報の音声波形を解析することで、音声情報を、異なるユーザＨ１毎に分類することが可能である。そして、テキストデータ生成部５８は、このように分類された分類情報毎に、特定テキストデータを生成する。補助情報出力部６６は、それぞれの分類情報に基づき生成された特定テキストデータのうちから、任意の特定テキストデータを読み出して、補助情報として出力する。ユーザＨ２は、例えば、出力された特定テキストデータを表示装置１８から確認して、別のユーザＨ１の特定テキストデータが見たいと判断すれば、表示装置１８の入力部７０などを介して、特定テキストデータを切り替えることを要求する。補助情報出力部６６は、この要求を受けると、別の特定テキストデータを出力する。これにより、補助情報出力部６６は、優先話者を予め設定しない場合にも、ユーザＨ２が必要とする特定のユーザＨ１のテキストデータを、補助情報として送信することができる。

【0068】

（配信情報及び補助情報の表示）
次に、表示装置１８による配信情報と補助情報との表示例を説明する。図９から図１２は、表示装置による配信情報と補助情報との表示例を示す図である。図９は、映像情報とテキストデータとを含む第１補助情報を表示している場合の例である。表示装置１８は、表示部７２Ａに、配信情報に含まれる映像情報と第１補助情報とを同時に表示しつつ、図示しないスピーカ７２Ｂに、配信情報に含まれる音声情報を出力させる。図９の例では、表示装置１８は、ウィンドウＷ１に配信情報を表示し、ウィンドウＷ１より狭いウィンドウＷ２Ａに、第１補助情報を表示している。ウィンドウＷ２Ａには、映像情報Ｐ１と、テキストデータＰ２とが表示されている。テキストデータＰ２は、映像情報Ｐ１と連動しているため、映像情報Ｐ１が表示されている時刻のものが表示され、時間経過に応じて切り替わる。また、第１補助情報として、映像情報と音声情報とが含まれる場合、表示装置１８は、配信情報に含まれる音声情報と、第１補助情報に含まれる音声情報とを、例えばユーザＨ２の入力によって切り替え可能にスピーカ７２Ｂに出力させてよい。

【0069】

図１０は、テキストデータを含む第２補助情報を表示している場合の例である。表示装置１８は、第２補助情報を表示する場合でも、配信情報については、第１補助情報を表示する場合と同様に出力している。図１０の例では、表示装置１８は、ウィンドウＷ２Ｂに、テキストデータＰ３を表示する。図９のテキストデータＰ２は、映像情報Ｐ１と連動したものであり、時間経過に応じて内容が切り替わっていた。それに対し、図１０のテキストデータＰ３は、映像情報Ｐ１と連動しない。従って、テキストデータＰ３は、時間経過に応じて内容が切り替わらず、停止時間全体のテキストデータを含むものであってよい。

【0070】

図１１は、優先話者の特定テキストデータを含む第３補助情報を表示している場合の例である。表示装置１８は、第３補助情報を表示する場合でも、配信情報については、第１補助情報を表示する場合と同様に出力している。図１１の例では、表示装置１８は、ウィンドウＷ２Ｃに、特定テキストデータＰ４を表示する。特定テキストデータＰ４は、図１０の例では「Ａさんのコメント」と記載があるように、どのユーザＨ１の発言であるかを示す情報を表示させてもよい。また、特定テキストデータＰ４も、時間経過に応じて内容が切り替わらず、停止時間全体の特定テキストデータを含むものであってよい。

【0071】

図１２は、ユーザＨ２が表示する補助情報を切り替え可能である場合の例である。この場合、図１２に示すように、表示装置１８は、ウィンドウＷ３に、補助情報のリストを表示する。補助情報のリストは、補助情報毎に割り当てられた番号や記号など、補助情報毎を識別可能な情報と、その補助情報がどの時間の情報であるかを示す情報と、が含まれる。ユーザＨ２は、入力部７０に入力することで、補助情報のリストから、必要な補助情報を選択する。表示装置１８は、ユーザＨ２に選択された補助情報を、ウィンドウＷ２Ａに表示する。なお、図１２では、補助情報として第１補助情報が表示された例を説明しているが、第１補助情報に限られず、第２補助情報や第３補助情報が表示されていてもよい。

【0072】

以上説明したように、本実施形態に係る情報処理装置１４は、情報取得部５０と、配信情報出力部６４と、補助情報生成部６０と、補助情報出力部６６とを有する。情報取得部５０は、所定の場所ＡＲ１の映像情報と音声情報とを取得する。配信情報出力部６４は、映像情報及び音声情報を配信情報としてリアルタイムで出力しつつ、配信情報の出力を停止する旨の停止信号が取得されてから、配信情報の出力を再開する旨の再開信号が取得されるまでの停止時間の間には、配信情報の出力を停止する。補助情報生成部６０は、停止時間における映像情報及び音声情報の少なくとも一方に基づき、停止時間の長さに応じて情報量が異なる補助情報を生成する。補助情報出力部６６は、再開信号を取得した後に、補助情報を出力する。

【0073】

情報処理装置１４は、場所ＡＲ１にいるユーザＨ１の映像や音声を、配信情報としてリアルタイムで出力している。従って、場所ＡＲ２にいるユーザＨ２は、場所ＡＲ２で配信情報を視聴することで、ユーザＨ１同士の会議内容など、ユーザＨ１が提供する情報を、リアルタイムで確認することができる。しかし、例えば場所ＡＲ２に部外者が接近するなど、配信情報を場所ＡＲ２で表示しない方が適切な場合がある。この場合、情報処理装置１４は、停止信号を取得することで、配信情報の配信を停止する。これにより、配信情報を場所ＡＲ２で表示しない方が適切な場合に、好適に配信情報の配信を停止できる。ただし、配信情報の配信が停止されている時間帯にも、場所ＡＲ１にいるユーザＨ１同士の会議が進行するなど、ユーザＨ１の情報が蓄積されるケースが考えられる。このようなケースが生じると、例え配信情報の配信が再開されたとしても、ユーザＨ２は、配信が停止されていた時間帯の情報を得ることが出来ず、ユーザＨ１の会議進行についていけず、会議の内容を適切に理解できなくなるおそれがある。

【0074】

それに対し、本実施形態に係る情報処理装置１４は、配信が停止していた停止時間における映像情報及び音声情報の少なくとも一方に基づき生成した補助情報を、配信が再開してから送信する。従って、ユーザＨ２は、この補助情報を確認することで、配信が停止されていた時間帯の情報を好適に得ることが可能となり、会議の内容をキャッチアップして、会議の内容を、すなわちユーザＨ１の情報を、適切に確認することができる。また、情報処理装置１４は、配信が停止されていた停止時間の長さに応じて、補助情報の内容を変化させる。これにより、情報処理装置１４は、停止時間の長さに応じて、補助情報の情報量を調整することが可能となるため、ユーザＨ２に、配信情報と補助情報との両方を好適に確認可能とすることができる。

【0075】

また、補助情報出力部６６は、配信情報出力部６４による配信情報の出力中に、配信情報と同じ出力先に、補助情報を出力する。情報処理装置１４は、配信情報と同時に補助情報を出力するため、ユーザＨ２は、配信情報と補助情報とを同時に確認することが可能となり、配信情報で現在の会議などの進行を確認しつつ、補助情報で配信が停止していた時間の内容を確認することができる。従って、この情報処理装置１４によると、ユーザＨ２は、ユーザＨ１の情報を好適に確認することができる。

【0076】

また、補助情報生成部６０は、停止時間が長いほど、補助情報の情報量を少なくする。停止時間が長い場合、表示装置１８に補助情報を表示する時間も長くなり、結果として補助情報の情報量が増える。この場合、ユーザＨ２は、補助情報の確認が長引き、配信情報をフォローできなくなるおそれがある。それに対し、情報処理装置１４は、停止時間が長いほど、補助情報の情報量を少なくする。従って、ユーザＨ２は、配信情報と補助情報との両方を、好適に確認することができる。

【0077】

また、補助情報生成部６０は、停止時間が第１時間範囲より短い場合、停止時間における映像情報を含む情報を補助情報（第１補助情報）として生成する。そして、補助情報生成部６０は、停止時間が第１時間範囲より長く、かつ第２時間範囲より短い場合、停止時間における音声情報のテキストデータを取得して、映像情報を含まずテキストデータを含む情報を、補助情報（第２補助情報）として生成する。この情報処理装置１４は、停止時間が短い場合には、情報量の多い映像情報を提供し、停止時間がある程度長い場合には、情報量が比較的少ないテキストデータを提供する。従って、ユーザＨ２は、停止時間の長さに応じて、配信情報と補助情報との両方を、好適に確認することができる。

【0078】

また、補助情報生成部６０は、停止時間が第２時間範囲より長い場合、停止時間において音声を発しているユーザＨ１のうち特定のユーザＨ１の音声情報のテキストデータである特定テキストデータを取得する。補助情報生成部６０は、映像情報を含まず特定テキストデータを含む情報を、補助情報（第３補助情報）として生成する。この情報処理装置１４は、停止時間がさらに長い場合には、情報量がさらに少ない特定テキストデータを提供する。従って、ユーザＨ２は、停止時間の長さに応じて、配信情報と補助情報との両方を、好適に確認することができる。

【0079】

また、補助情報生成部６０は、配信情報の出力が複数回停止されることにより停止時間が複数設定される場合に、停止時間毎に、すなわちレコードＲ毎に、補助情報を生成する。補助情報出力部６６は、複数の補助情報を、設定した所定の順序で出力する。この情報処理装置１４は、配信情報の出力が複数回停止されても、このように補助情報を生成するため、停止時間の長さに応じて、配信情報と補助情報との両方を、好適に確認させることができる。

【0080】

また、情報処理システム１は、情報処理装置１４と、配信情報及び補助情報を表示する表示装置１８とを有する。この情報処理システム１は、情報処理装置１４と表示装置１８とを有するため、配信情報と補助情報との両方を、好適に確認させることができる。なお、本実施形態においては、情報処理装置１４は、場所ＡＲ１の配信情報及び補助情報を、場所ＡＲ２の表示装置１８に提供していた。ただし、情報処理装置１４は、場所ＡＲ２の配信情報及び補助情報を場所ＡＲ１の表示装置１２に提供することも行ってよい。

【0081】

また、情報処理システム１は、表示装置１８への接近者を検出する検出部１９Ａを更に有する。情報処理装置１４は、検出部１９Ａが接近者を検出した場合に停止信号を取得し、接近者の検出が解除された場合に再開信号を取得する。この情報処理システム１によると、接近者がいると情報提供が停止されるため、部外者への情報漏えいが抑制される。

【0082】

また、本実施形態に係る表示装置１８は、離れた場所ＡＲ１の映像情報及び音声情報を配信情報としてリアルタイムで表示しつつ、所定の停止時間の間には、配信情報の表示を停止する配信情報表示部（表示部７２Ａ）を有する。また、表示装置１８は、停止時間における映像情報及び音声情報の少なくとも一方に基づく情報であって、停止時間の長さに応じて内容が異なる情報である補助情報を、停止時間の経過後に配信情報と同時に表示する補助情報表示部（表示部７２Ａ）を有する。この表示装置１８は、配信情報及び補助情報を表示するため、ユーザＨ２が、ユーザＨ１の情報を、適切に確認することができる。

【0083】

以上、本発明の実施形態を説明したが、これら実施形態の内容により実施形態が限定されるものではない。また、前述した構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。さらに、前述した構成要素は適宜組み合わせることが可能である。さらに、前述した実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換又は変更を行うことができる。

【符号の説明】

【0084】

１ 情報処理システム
１０、１６ 情報取得装置
１２、１８ 表示装置
１４ 情報処理装置
１９ 検出装置
５０ 情報取得部
５２ 停止時間取得部
５４ 優先話者設定部
５６ 分類情報生成部
５８ テキストデータ生成部
６０ 補助情報生成部
６４ 配信情報出力部
６６ 補助情報出力部
７２Ａ 表示部（配信情報表示部、補助情報表示部）
ＡＲ１、ＡＲ２ 場所
Ｈ１、Ｈ２ ユーザ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】