特開 2023-102078 記録方法および記録装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023102078

(43)【公開日】2023-07-24

(54)【発明の名称】記録方法および記録装置

(51)【国際特許分類】

   H04N 5/92 20060101AFI20230714BHJP

   H04N 23/60 20230101ALI20230714BHJP

【ＦＩ】

H04N5/92 010

H04N5/232 300

【審査請求】未請求

【請求項の数】16

【出願形態】ＯＬ

(21)【出願番号】P 2022002425

(22)【出願日】2022-01-11

(71)【出願人】

【識別番号】000004075

【氏名又は名称】ヤマハ株式会社

(74)【代理人】

【識別番号】110000970

【氏名又は名称】弁理士法人 楓国際特許事務所

(72)【発明者】

【氏名】江本 直博

【テーマコード（参考）】

5C053

5C122

【Ｆターム（参考）】

5C053GB06

5C053JA21

5C053LA01

5C053LA11

5C053LA14

5C122DA03

5C122FJ04

5C122FJ15

5C122GA21

5C122GA34

5C122HA02

5C122HA03

5C122HA04

5C122HB01

(57)【要約】

【課題】会議に関わる対象物を予め登録することなく管理できる記録方法を提供する。
【解決手段】記録装置は、会議の開始時点から該会議を撮影した画像データおよび時間情報を受け付けて、前記画像データの中から特定の物体を対象画像として設定し、前記会議中のイベントを検出し、前記イベントの検出タイミングおよび該検出タイミングより過去の時間情報と、前記画像データを前記時間情報に対応付けて記録する。
【選択図】図３

【特許請求の範囲】

【請求項1】

会議の開始時点から該会議を撮影した画像データおよび時間情報を受け付けて、
前記画像データの中から特定の物体を対象画像として設定し、
前記会議中のイベントを検出し、
前記イベントの検出タイミングおよび該検出タイミングより過去の時間情報と、前記画像データを前記時間情報に対応付けて記録する、
記録方法。

【請求項2】

前記特定の物体は、リモコンを含み、
前記イベントは、前記リモコンに対する操作の検出を含む、
請求項１に記載の記録方法。

【請求項3】

前記会議の音データを受け付けて、
前記イベントは、前記音データの変化の検出を含む、
請求項１または請求項２に記載の記録方法。

【請求項4】

前記イベントは、前記画像データのうち前記対象画像の変化の検出を含む、
請求項１乃至請求項３のいずれか１項に記載の記録方法。

【請求項5】

前記会議の音データを受け付けて、
前記音データの変化を検出し、
前記変化を検出した場合に、記録した前記画像データに対応付けて前記音データを記録する、
請求項１乃至請求項４のいずれか１項に記載の記録方法。

【請求項6】

前記時間情報に対応する前記画像データを第１データとして記録し、
前記会議の開始時点から終了時点までの前記画像データを第２データとして記録し、
前記時間情報は、前記第２データの開始時点から前記終了時点までの時間に対応する、
請求項１乃至請求項５のいずれか１項に記載の記録方法。

【請求項7】

前記特定の物体は、前記会議に関する備品または前記会議の参加者を含む、
請求項１乃至請求項６のいずれか１項に記載の記録方法。

【請求項8】

前記画像データを議事録として記録する、
請求項１乃至請求項７のいずれか１項に記載の記録方法。

【請求項9】

会議の開始時点から該会議を撮影した画像データおよび時間情報を受け付ける受付部と、
前記画像データの中から特定の物体を対象画像として設定する物体検出部と、
前記会議中のイベントを検出するイベント検出部と、
前記イベントの検出タイミングおよび該検出タイミングより過去の時間情報と、前記画像データを前記時間情報に対応付けて記録する記録部と、
を備えた記録装置。

【請求項10】

前記特定の物体は、リモコンを含み、
前記イベントは、前記リモコンに対する操作の検出を含む、
請求項９に記載の記録装置。

【請求項11】

前記受付部は、前記会議の音データを受け付けて、
前記イベントは、前記音データの変化の検出を含む、
請求項９または請求項１０に記載の記録装置。

【請求項12】

前記イベントは、前記画像データのうち前記対象画像の変化の検出を含む、
請求項９乃至請求項１１のいずれか１項に記載の記録装置。

【請求項13】

前記受付部は、前記会議の音データを受け付けて、
前記イベント検出部は、前記音データの変化を検出し、
前記記録部は、前記変化を検出した場合に、記録した前記画像データに対応付けて前記音データを記録する、
請求項９乃至請求項１２のいずれか１項に記載の記録装置。

【請求項14】

前記記録部は、
前記時間情報に対応する前記画像データを第１データとして記録し、
前記会議の開始時点から終了時点までの前記画像データを第２データとして記録し、
前記時間情報は、前記第２データの開始時点から前記終了時点までの時間に対応する、
請求項９乃至請求項１３のいずれか１項に記載の記録装置。

【請求項15】

前記特定の物体は、前記会議に関する備品または前記会議の参加者を含む、
請求項９乃至請求項１４のいずれか１項に記載の記録装置。

【請求項16】

前記記録部は、前記画像データを議事録として記録する、
請求項９乃至請求項１５のいずれか１項に記載の記録装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の一実施形態は、画像データの記録方法および記録装置に関する。

【背景技術】

【0002】

特許文献１には、所有物に無線タグを付けて画像を撮影する所有物監視システムが開示されている。特許文献１の所有物監視システムは、特定の所有物（紛失物）を検知した場合に、紛失通知情報を表示する。

【0003】

特許文献２には、リモートコントローラ（以下、リモコンと称する。）に無線ＩＣタグを取り付けたリモートコントロールシステムが開示されている。特許文献２のリモートコントロールシステムは、無線ＩＣタグを検知できない事態が生じたときには報知音を発する。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特許第５１４０２７０号公報

【特許文献2】特許第４６０６３７９号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１，２のシステムは、いずれも無線タグを対象物に装着して、対象物を予め登録しなければならない。

【0006】

以上の事情を考慮して、本開示のひとつの態様は、会議に関わる対象物を予め登録することなく管理できる記録方法を提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明の一実施形態に係る記録方法は、会議の開始時点から該会議を撮影した画像データおよび時間情報を受け付けて、前記画像データの中から特定の物体を対象画像として設定し、前記会議中のイベントを検出し、前記イベントの検出タイミングおよび該検出タイミングより過去の時間情報と、前記画像データを前記時間情報に対応付けて記録する。

【発明の効果】

【0008】

本発明の一実施形態によれば、会議に関わる対象物を予め登録することなく管理できる。

【図面の簡単な説明】

【0009】

【図1】会議システム１の構成および端末１５を示すブロック図である。

【図2】ＰＣ１１の構成を示すブロック図である。

【図3】記録装置の機能的構成を示すブロック図である。

【図4】記録方法の動作を示すフローチャートである。

【図5】変形例１に係る記録装置（ＰＣ１１Ａ）の機能的構成を示すブロック図である。

【図6】変形例２に係る記録装置（ＰＣ１１Ｂ）の機能的構成を示すブロック図である。

【図7】画像データを議事録として記録する例を示す図である。

【図8】特定の物体の種類を特定する場合の議事録の一例を示す図である。

【図9】音に変化があった場合に、時間情報および画像データを記録する場合の議事録を示す図である。

【図10】話者認識を行い、話者毎に時間情報および画像データを記録する場合の議事録を示す図である。

【発明を実施するための形態】

【0010】

図１は、会議システム１の構成および端末１５の構成を示すブロック図である。会議システム１は、ＰＣ１１、端末１５、およびリモートコントローラ（以下、リモコンと称する。）１７を備えている。会議システム１は、遠隔地のＰＣ等の情報処理装置と接続してＷｅｂ会議を行うためのシステムである。

【0011】

端末１５は、ＵＳＢＩ／Ｆ１５１、制御部１５２、スピーカ１５３、カメラ１５４、通信Ｉ／Ｆ１５５、およびマイク１５６を備えている。端末１５は、ＵＳＢＩ／Ｆ１５１を介してＰＣ１１に接続されている。端末１５は、通信Ｉ／Ｆ１５５を介してリモコン１７に接続されている。端末１５およびリモコン１７は、有線または無線で接続される。端末１５およびリモコン１７は、無線で接続される場合、例えば赤外線またはＢｌｕｅｔｏｏｔｈ（登録商標）等の規格で接続される。

【0012】

制御部１５２は、例えばマイコンからなり、端末１５の動作を統括的に制御する。端末１５は、マイク１５６を介して会議システム１の利用者の音声を取得する。端末１５は、取得した音声に係る音信号をＵＳＢＩ／Ｆ１５１を介してＰＣ１１に送信する。端末１５は、カメラ１５４を介して画像を取得する。端末１５は、取得した画像に係る画像データをＵＳＢＩ／Ｆ１５１を介してＰＣ１１に送信する。また、端末１５は、ＵＳＢＩ／Ｆ１５１を介してＰＣ１１から音信号を受信し、スピーカ１５３を介して放音する。

【0013】

ＰＣ１１は、汎用のパーソナルコンピュータである。図２は、ＰＣ１１の構成を示すブロック図である。ＰＣ１１は、ＣＰＵ１１１、フラッシュメモリ１１２、ＲＡＭ１１３、ユーザＩ／Ｆ１１４、ＵＳＢＩ／Ｆ１１５、通信器１１６、および表示器１１７を備えている。

【0014】

ＣＰＵ１１１は、フラッシュメモリ１１２からＷｅｂ会議用のプログラムをＲＡＭ１１３に読み出すことにより、遠隔地のＰＣ等に接続してＷｅｂ会議を行う。ユーザＩ／Ｆ１１４は、マウスおよびキーボード等を含み、利用者の操作を受け付ける。利用者は、ユーザＩ／Ｆ１１４を介して例えばＷｅｂ会議用のプログラムを起動する指示を行う。

【0015】

また、ＣＰＵ１１１は、フラッシュメモリ１１２から本発明の記録方法を実行するためのプログラムを読み出して実行する。当該本実施形態のプログラムは、例えば端末１５をＰＣ１１で操作するためのアプリケーションプログラムの１つの機能として実装される。なお、本実施形態の記録方法は、Ｗｅｂ会議用のプログラムにおける１つの機能として実装されていてもよい。

【0016】

ＵＳＢＩ／Ｆ１１５は、端末１５に接続される。ＰＣ１１は、ＵＳＢＩ／Ｆ１１５を介して端末１５から音データおよび画像データを受信する。ＰＣ１１は、受信した音データおよび画像データを、通信器１１６を介して遠隔地のＰＣ等に送信する。通信器１１６は、無線ＬＡＮまたは有線ＬＡＮのネットワークインタフェースであり、遠隔地のＰＣに接続される。ＰＣ１１は、通信器１１６を介して遠隔地のＰＣ等から音データおよび画像データを受信する。ＰＣ１１は、受信した音データを、ＵＳＢＩ／Ｆ１１５を介して端末１５に送信する。また、ＰＣ１１は、遠隔地のＰＣ等から受信した画像データおよび端末１５から受信した画像データに基づいて、表示器１１７にＷｅｂ会議に係る映像を表示する。なお、ＰＣ１１と端末１５の接続は、ＵＳＢに限らない。ＰＣ１１と端末１５は、ＨＤＭＩ（登録商標）、ＬＡＮ、あるいはＢｌｕｅｔｏｏｔｈ（登録商標）等の他の通信手段で接続されてもよい。

【0017】

リモコン１７は、複数の操作子を有する。リモコン１７は、操作子を介して利用者の操作を受け付ける。リモコン１７は、受け付けた操作に係る操作信号を、端末１５に送信する。利用者は、リモコン１７を操作して、端末１５を操作する。利用者は、例えばカメラ１５４の撮影方向、撮影範囲等を変更する。利用者は、スピーカ１５３の音量を変更する。

【0018】

図３は、ＰＣ１１により実現される記録装置の機能的構成を示すブロック図である。図４は、記録方法の動作を示すフローチャートである。

【0019】

ＰＣ１１は、機能的に、受付部５０１、物体検出部５０２、イベント検出部５０３、および記録部５０４を備えている。受付部５０１は、カメラ１５４から画像データを取得する（Ｓ１１）。物体検出部５０２は、取得した画像データから特定の物体を検出し、当該特定の物体を対象画像として設定する（Ｓ１２）。

【0020】

この例では、特定の物体は、リモコン１７である。物体検出部５０２は、例えばニューラルネットワーク等を用いた所定のアルゴリズムを用いることにより、リモコンを認識する。物体検出部５０２は、リモコンを対象画像として設定する。

【0021】

記録部５０４は、物体検出部５０２で設定された対象画像を含む画像データを一時記憶する（Ｓ１３）。記録部５０４は、画像データをフラッシュメモリ１１２に一時記憶してもよいし、ＲＡＭ１１３に一時記憶してもよい。あるいは、記録部５０４は、画像データをサーバ等の他装置に送信し、該サーバ等の他装置に一時記憶してもよい。

【0022】

イベント検出部５０３は、会議中のイベントの検出の有無を判断する（Ｓ１４）。この例では、イベント検出部５０３は、会議中のイベントの一例として、対象画像として設定したリモコン１７の画像の変化を検出する。例えば、イベント検出部５０３は、物体検出部５０２においてリモコン１７を認識できなくなったことを会議中のイベントとして検出する。ＰＣ１１は、イベント検出部５０３でイベントを検出しない場合（Ｓ１４：ＮＯ）、Ｓ１１の処理に戻り、次のフレームの画像データを受け付ける。これにより、画像データの一時記憶処理が繰り返され、会議の開始から現在まで受け付けた画像データが逐次的にフラッシュメモリ１１２等に蓄積される。

【0023】

記録部５０４は、イベント検出部５０３でイベントを検出した場合（Ｓ１４：ＹＥＳ）、時間情報および画像データを記録する（Ｓ１５）。記録部５０４は、少なくとも、イベントの検出タイミングおよび該検出タイミングより過去の時間情報を記録し、かつ該時間情報に対応付けて画像データを記録する。記録部５０４は、時間情報および画像データをフラッシュメモリ１１２に記録してもよいし、サーバ等の他装置に記録してもよい。

【0024】

記録部５０４は、一時記憶した画像データのうちイベントの検出タイミングおよび該検出タイミングより過去の画像データをフラッシュメモリ１１２等に記録する。この時、記録部５０４は、一時記憶した画像データを削除する。

【0025】

記録部５０４は、検出タイミングより過去の時間情報および画像データを全て記録してもよいが、検出タイミングより所定時間（例えば１分）だけ過去の時間情報および画像データを記録してもよい。この場合、記録部５０４は、所定時間だけ過去の時間情報および画像データを記録することで、記録容量を削減することができる。無論、記録部５０４は、検出タイミングより後の時間情報および画像データをさらに記録してもよい。

【0026】

時間情報は、例えば時刻情報（絶対時間）である。時間情報は、本実施形態のアプリケーションプログラムの起動タイミング、Ｗｅｂ会議用のプログラムの起動タイミング、または会議開始タイミング（遠隔地の情報処理装置と接続したタイミング）からの経過時間（相対時間）等であってもよい。

【0027】

これにより、記録部５０４は、リモコン１７を認識できなくなったタイミングに対応する画像データと、リモコン１７を認識できなくなったタイミングよりも過去の画像データと、を記録する。例えば、会議システム１のある利用者（第１利用者）がリモコン１７を会議室の外へ持ち出した場合、物体検出部５０２はリモコン１７を認識できなくなる。会議システム１の他の利用者（第２利用者）は、リモコン１７が無いことに気付いた場合に、記録されている時間情報を参照して、どの時点でリモコン１７が無くなったのか、容易に判断することができる。また、第２利用者は、記録されている画像データを参照して、第１利用者がリモコン１７を持ち出したことを容易に判断することができる。あるいは、例えば、第１利用者が会議システム１を利用している時にリモコン１７が机の下等に落ちた場合も、物体検出部５０２はリモコン１７を認識できなくなる。第２利用者は、リモコン１７が無いことに気付いた場合に、記録されている画像データを参照して、リモコン１７が机の下に落ちたことを容易に判断することができる。

【0028】

この様に、本実施形態の記録方法は、会議に関わる対象物（この例ではリモコン１７）を、ＩＣタグ等を用いて予め登録することなく容易に管理することができる。

【0029】

次に、図５は、変形例１に係る記録装置（ＰＣ１１Ａ）の機能的構成を示すブロック図である。イベント検出部５０３は、会議中のイベントの一例として、リモコン１７に対する操作を検出する。この例では、端末１５は、リモコン１７から操作を受け付けた場合に、ＰＣ１１Ａにリモコン操作を受け付けた旨を通知する。イベント検出部５０３は、当該通知を受け付けた場合に、イベントを検出したと判断する。

【0030】

これにより、ＰＣ１１Ａは、リモコン１７から操作を受け付ける毎に、時間情報および画像データを記録する。したがって、会議システム１の利用者は、リモコン１７が無いことに気付いた場合に、記録された時間情報および画像データを参照して、誰がリモコン１７を最後に操作していたか、容易に判断することができる。

【0031】

なお、端末１５およびリモコン１７がＢｌｕｅｔｏｏｔｈ（登録商標）等の通信規格で接続されている場合、端末１５は、リモコン１７との接続が解除された場合、あるいはＢｌｕｅｔｏｏｔｈ（登録商標）のビーコン信号を検出しなくなった場合に、ＰＣ１１Ａに通知してもよい。イベント検出部５０３は、当該通知を受け付けた場合に、イベントを検出したと判断する。

【0032】

例えば、会議システム１の第１利用者がリモコン１７を会議室の外へ持ち出した場合、ビーコン信号を検出しなくなるため、イベント検出部５０３は、イベントを検出する。この場合も、会議システム１の第２利用者は、リモコン１７が無いことに気付いた場合に、記録されている時間情報を参照して、どの時点でリモコン１７が無くなったのか、容易に判断することができる。また、第２利用者は、記録されている画像データを参照して、第１利用者がリモコン１７を持ち出したことを容易に判断することができる。

【0033】

図６は、変形例２に係る記録装置（ＰＣ１１Ｂ）の機能的構成を示すブロック図である。ＰＣ１１Ｂの受付部５０１は、マイク１５６から音データを受け付ける。イベント検出部５０３は、受付部５０１を介して音データを受け付ける。イベント検出部５０３は、会議中のイベントの一例として、音データの変化を検出する。

【0034】

イベント検出部５０３は、例えば、ドアの開閉音、椅子の移動音等の突発的な音の発生を検出した場合に、イベントを検出したと判断する。あるいは、イベント検出部５０３は、話者の音声が有音から無音になったこと、または無音から有音になったことを検出した場合にイベントを検出したと判断してもよい。

【0035】

記録部５０４は、音に変化があった場合に、時間情報および画像データを記録する。

【0036】

これにより、ＰＣ１１Ｂは、音に変化があった場合に、時間情報および画像データを記録する。例えば、ＰＣ１１Ｂは、利用者が会議室に入ったタイミング、利用者が会議室から出たタイミング、会議が開始したタイミング、または会議が終了したタイミング、等のタイミングで時間情報および画像データを記録する。したがって、利用者は、リモコン１７が無いことに気付いた場合に、記録された時間情報および画像データを参照して、どの時点でリモコン１７が無くなったのか、あるいは誰がリモコン１７を最後に操作していたか、等を容易に判断することができる。また、利用者は、会議室に入退室した人物の履歴を確認することもできる。

【0037】

なお、記録部５０４は、イベント検出部５０３でイベントを検出した場合に、時間情報および画像データに対応付けてさらに音データを記録してもよい。これにより、利用者は、リモコン１７が無くなった等の各種イベントがあった場合に、記録された時間情報、画像データに加えて音声も確認することができる。

【0038】

なお、物体検出部５０２は、受付部５０１を介して音データを受け付けてもよい。物体検出部５０２は、音データに基づいて話者認識処理を行ってもよい。イベント検出部５０３は、物体検出部５０２において認識した話者の音声に変化があった場合に、会議中のイベントとして検出してもよい。これにより、記録部５０４は、特定の話者に変化があった場合、例えば該特定の話者が発話を開始したタイミング、あるいは発話を停止したタイミング等の画像データまたは音声データを記録できる。

【0039】

なお、記録部５０４は、所定時間だけ過去の時間情報および画像データと、検出タイミングより過去の全ての時間情報および画像データと、を別々に記録してもよい。言い換えると、記録部５０４は、時間情報に対応する画像データを第１データとして記録し、会議の開始時点から終了時点までの全ての画像データを第２データとして記録してもよい。この場合、第１データに記録される時間情報とは、第２データの開始時点から終了時点までの時間（相対時間）に対応する。

【0040】

第１データおよび第２データは、それぞれ同じ記憶装置（例えばフラッシュメモリ１１２）に記録してもよいが、それぞれ別の記憶装置に記録してもよい。例えば、相対的に容量の少ない第１データはフラッシュメモリ１１２に記録し、相対的に容量の多い第２データはサーバに送信してサーバに記録してもよい。これにより、自装置のフラッシュメモリ１１２の記録容量を削減しながら、会議の開始時点から終了時点までの全ての画像データを記録することができる。この場合、利用者は、サーバに記録されている第２データを参照することで、会議の開始時点から終了時点までの全ての画像データを確認することができる。また、利用者は、第１データに記録されている時間情報を用いて第２データの対応する時間帯の画像データを参照して、イベントが発生したタイミングの前後の画像データを全て確認することもできる。

【0041】

以上の様な本実施形態の記録方法は、会議の議事録を記録することも可能である。図７は、画像データを議事録として記録する例を示す図である。上述の様に、記録部５０４は、イベント毎に時間情報および画像データを対応付けて記憶している。本実施形態の記録装置（例えばＰＣ１１）は、図７に示す様に、イベント毎の画像データをタイムチャートとして表示器１１７に表示する。タイムチャートは、会議の開始時間（絶対時間）と、会議開始からの経過時間（相対時間）と、を含む。記録装置は、イベント毎に、会議開始からの経過時間と、画像データと、を対応付けてチャートとして表示する。この例では、記録部５０４は、イベントの検出タイミングの１分前から１分後までの画像データを記録している。したがって、記録装置は、各イベントの検出タイミングおよび検出タイミングの前後において画像データが記録されていることを示すチャートを表示する。例えば、「イベント１」は会議開始から２分経過した時点で検出されている。したがって、利用者は、「イベント１」について、会議開始から２分経過した時点で発生し、会議開始後１分～３分までの画像データが記録されていることが分かる。よって、利用者は、会議中に発生したイベントの履歴を容易に確認することができる。

【0042】

図８は、特定の物体の種類を特定する場合の議事録の一例を示す図である。この例では、物体検出部５０２は、画像データに含まれる特定の物体の種類を特定する。例えば、図８の例では、物体検出部５０２は、特定の物体の種類としてリモコン１７、鍵、および携帯電話を特定している。物体検出部５０２は、これらの特定の物体を対象画像として設定し、かつ物体の種類を示す情報を記録部５０４に出力する。記録部５０４は、物体の種類毎に時間情報および画像データを対応付けて記憶する。記録装置（例えばＰＣ１１Ａ）は、図８に示す様に、物体の種類毎の画像データをタイムチャートとして表示器１１７に表示する。

【0043】

例えば、イベント検出部５０３がリモコン１７の操作を受け付けたことをイベントとして検出した場合、記録部５０４は、利用者がリモコン１７を操作したタイミングで、時間情報および画像データを記録する。利用者は、リモコン１７に何らかの変化が発生したタイミングを容易に確認することができる。また、利用者は、画像データを確認することで、リモコン１７に発生した変化の内容を容易に確認することができる。

【0044】

図９は、さらに音に変化があった場合に、時間情報および画像データを記録する場合の議事録を示す図である。イベント検出部５０３は、マイク１５６で取得した音の変化をイベントとして検出する。記録部５０４は、音の変化があった場合に時間情報および画像データを記録する。また、この例では、イベント検出部５０３は、音の変化の種類を特定する。例えば、図９の例では、イベント検出部５０３は、ドアの開閉音を特定している。イベント検出部５０３は、音の種類を示す情報を記録部５０４に出力する。記録部５０４は、音の種類毎に時間情報および画像データを対応付けて記憶する。記録装置（例えばＰＣ１１Ｂ）は、図９に示す様に、音の種類毎の画像データをタイムチャートとして表示器１１７に表示する。

【0045】

これにより、利用者は、会議の参加者の入退室したタイミングを容易に確認することができる。また、利用者は、画像データを確認することで、入退室した人物を容易に確認することができる。

【0046】

図１０は、話者認識を行い、話者毎に時間情報および画像データを記録する場合の議事録を示す図である。物体検出部５０２は、音データに基づいて話者認識処理を行う。イベント検出部５０３は、物体検出部５０２において認識した話者の音声に変化があった場合に、会議中のイベントとして検出する。また、イベント検出部５０３は、話者の識別情報を記録部５０４に出力する。話者の識別情報は、例えば参加者の名前である。物体検出部５０２は、予め参加者の名前と、参加者の名前に対応する音声を登録している。物体検出部５０２は、認識した音声に対応する参加者の名前を特定し、話者の識別情報として記録部５０４に出力する。記録部５０４は、話者の音声の変化があった場合に、話者毎に時間情報および画像データを記録する。

【0047】

これにより、利用者は、会議の参加者毎に発言のあったタイミングを容易に確認することができる。また、利用者は、画像データを確認することで、発言した参加者を容易に確認することができる。さらに、記録部５０４が音声データを記録する場合、利用者は、音声データを確認することで、発言内容を容易に確認することができる。

【0048】

本実施形態の説明は、すべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上述の実施形態ではなく、特許請求の範囲によって示される。さらに、本発明の範囲は、特許請求の範囲と均等の範囲を含む。

【0049】

例えば、特定の物体は、リモコン１７に限らない。特定の物体は、例えばマイク、スピーカ、またはカメラ等の会議に関する備品でもよい。また、特定の物体は、会議の参加者であってもよい。

【0050】

上記実施形態ではＰＣ１１、ＰＣ１１ＡまたはＰＣ１１Ｂが本実施形態の記録方法を実行したが、端末１５が本実施形態の記録方法を行ってもよい。端末１５が本実施形態の記録方法を実行する場合、時間情報および画像データは、端末１５の記憶装置（不図示）に記録してもよいし、ＰＣ１１に記録してもよい。あるいは、本実施形態の記録方法は、サーバ等の他装置で実行してもよい。サーバ等の他装置は、カメラ１５４で撮影した画像データを受信し、受信した画像データに基づいて本実施形態の記録方法を実行する。また、時間情報および画像データは、サーバ等の他装置に記録してもよい。

【0051】

上記実施形態では、会議システム１を示したが、本実施形態の記録方法は、カメラを備えたシステムであればどの様なシステムであっても適用可能である。例えばカメラを備えるテレビは、本実施形態の記録方法を実行可能である。この場合、テレビは、該テレビのリモコンを対象画像として設定する。これにより、利用者は、テレビのリモコンを紛失した場合、時間情報を参照してどの時点でリモコンを紛失したのか容易に判断することができ、画像データを参照してどの様にしてリモコンを紛失したのかも容易に判断することができる。

【0052】

記録装置は、リモコン１７を検出しなくなった場合に、スピーカから「リモコンが認識できなくなりました」等の報知音を出力してもよい。

【0053】

記録部５０４は、イベントの検出タイミングおよび該検出タイミングより過去の時間情報と、画像データと、を記録したが、検出タイミングより後の時間情報および画像データをさらに記録してもよい。

【0054】

本実施形態の記録方法は、室内で利用される例に限らない。本実施形態の記録方法は、例えば屋外で利用してもよいし、壁の無いオープンスペース、あるいは壁の一部が開放された半個室等で利用してもよい。

【0055】

時間情報は、年月日および曜日等の情報を含んでいてもよい。記録するデータは、時間情報だけでなく、位置情報および参加者の情報（氏名）等を含んでいてもよい。位置情報は、ＧＰＳ等で取得する絶対的位置情報であってもよいし、利用した会議室の名前等の情報であってもよい。会議室の名前および参加者の情報は、例えば会議室の予約を管理するサーバの予約情報から取得することができる。

【0056】

なお、記録したデータは、プライバシー保護を目的として、管理者のみ閲覧可能としてもよい。また、記録装置は、画像データから参加者の顔を認識し、認識した顔の部分をぼかす処理を行い、管理者以外の利用者に閲覧できないようにしてもよい。また、記録装置は、リモコン１７と、当該リモコン１７を持つ利用者と、を認識してもよい。記録装置は、画像データのうち、リモコン１７と、当該リモコン１７を持つ利用者と、を切り出して記録してもよい。

【符号の説明】

【0057】

１ ：会議システム
１５ ：端末
１７ ：リモコン
１１１ ：ＣＰＵ
１１２ ：フラッシュメモリ
１１３ ：ＲＡＭ
１１４ ：ユーザＩ／Ｆ
１１５ ：ＵＳＢＩ／Ｆ
１１６ ：通信器
１１７ ：表示器
１５１ ：ＵＳＢＩ／Ｆ
１５２ ：制御部
１５３ ：スピーカ
１５４ ：カメラ
１５５ ：通信Ｉ／Ｆ
１５６ ：マイク
５０１ ：受付部
５０２ ：物体検出部
５０３ ：イベント検出部
５０４ ：記録部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】