知財求人 - 知財ポータルサイト「IP Force」
特許7316987ワークショップにおけるボードの映像再生装置、オンライン／オンサイトボードシステム、プログラム及び方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-07-20
(45)【発行日】2023-07-28
(54)【発明の名称】ワークショップにおけるボードの映像再生装置、オンライン／オンサイトボードシステム、プログラム及び方法
(51)【国際特許分類】
H04N 21/854 20110101AFI20230721BHJP
G06F 3/0346 20130101ALI20230721BHJP
G06F 3/048 20130101ALI20230721BHJP
G06F 3/16 20060101ALI20230721BHJP
G10L 15/22 20060101ALI20230721BHJP
G10L 17/00 20130101ALI20230721BHJP
H04L 67/00 20220101ALI20230721BHJP
H04N 7/18 20060101ALI20230721BHJP
H04N 21/2668 20110101ALI20230721BHJP
H04N 21/4728 20110101ALI20230721BHJP
【ＦＩ】
H04N21/854
G06F3/0346 422
G06F3/048
G06F3/16 640
G06F3/16 650
G10L15/22 460Z
G10L17/00 200Z
H04L67/00
H04N7/18 U
H04N21/2668
H04N21/4728
【請求項の数】
9
(21)【出願番号】P 2020162578
(22)【出願日】2020-09-28
(65)【公開番号】P2022055144
(43)【公開日】2022-04-07
【審査請求日】2022-07-19
(73)【特許権者】
【識別番号】000208891
【氏名又は名称】ＫＤＤＩ株式会社
(74)【代理人】
【識別番号】100135068
【弁理士】
【氏名又は名称】早原 茂樹
(72)【発明者】
【氏名】東條 直也
【審査官】鈴木 順三
(56)【参考文献】
【文献】特開２０１５－１３５５９６（ＪＰ，Ａ）
【文献】特開２００５－１９７８８３（ＪＰ，Ａ）
【文献】特開２０１２－１０８６３１（ＪＰ，Ａ）
【文献】特開２０１４－２１６８８８（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ２１／００ － ２１／８５８
Ｇ１０Ｌ １５／００ － １５／３４
Ｇ１０Ｌ １７／００ － １７／２６
Ｈ０４Ｎ ７／１８
Ｈ０４Ｌ ６７／００ － ６７／７５
Ｇ０６Ｆ ３／１６
Ｇ０６Ｆ ３／０３３ － ３／０３９
Ｇ０６Ｆ ３／０４８ － ３／０４８９
(57)【特許請求の範囲】
【請求項1】
複数のユーザによるボード上のオブジェクトが映り込む映像を入力し、当該映像を再生表示する映像再生装置であって、前記映像から、ボード上のオブジェクトのオブジェクト識別子と、当該オブジェクトが操作された操作時刻と、当該オブジェクトに対する操作のイベント識別子と、当該オブジェクトを操作したユーザのユーザ識別子とを紐付けて検出するユーザイベント検出手段と、
前記映像を再生表示すると共に、当該映像と同期した操作時刻に、オブジェクト識別子と、イベント識別子と、ユーザ識別子とを再生表示する表示制御手段と
を有することを特徴とする映像再生装置。
【請求項2】
表示制御手段は、閲覧ユーザが視認可能なディスプレイに対して、前記映像を再生表示する第１の表示領域と、
前記映像の再生表示と同期して、オブジェクト識別子と、イベント識別子と、ユーザ識別子とを組とするリストを表示する第２の表示領域と
して表示する
ことを特徴とする請求項１に記載の映像再生装置。
【請求項3】
閲覧ユーザから、オブジェクト識別子、イベント識別子又はユーザ識別子のいずれかの指示を受け付けるユーザ指示受付手段とを有し、
表示制御手段は、ユーザによって指示されたオブジェクト識別子、イベント識別子又はユーザ識別子に基づく操作時刻から、前記映像を再生するべく制御する
ことを特徴とする請求項１又は２に記載の映像再生装置。
【請求項4】
ユーザイベント検出手段によって検出された操作時刻を含む前後所定期間における映像を切り取るダイジェスト映像作成手段とを有し、
表示制御手段は、ダイジェスト映像作成手段によって切り取られた映像のみを再生する
ことを特徴とする請求項１から３のいずれか１項に記載の映像再生装置。
【請求項5】
請求項１から４のいずれか１項に記載の映像再生装置と、各ユーザによって操作される複数の端末と
を有し、
端末は、映像再生装置が公開するオンラインのボードへアクセスし、当該ボード上のオブジェクトを操作可能とする
ことを特徴とするワークショップのオンラインボードシステム。
【請求項6】
請求項１から４のいずれか１項に記載の映像再生装置と、ボード上を撮影し、その映像を映像再生装置へ送信する第１のカメラと、
第１のカメラと同期して、複数のユーザを撮影し、その映像を映像再生装置へ送信する第２のカメラと
を有し、
映像再生装置のユーザイベント検出手段は、
第１のカメラの映像から、オブジェクトのオブジェクト識別子と、当該オブジェクトに対する操作のイベント識別子とを検出する第１の物体認識エンジンと、
第２のカメラの映像から、各ユーザのユーザ識別子と、当該ユーザによる当該オブジェクトに対する操作のイベント識別子とを検出する第２の物体認識エンジンと
して機能することを特徴とするワークショップのオンサイトボードシステム。
【請求項7】
ユーザの発話音声を収音し、その音声を映像再生装置へ送信するマイクを更に有し、映像再生装置のユーザイベント検出手段は、マイクの音声から、ユーザ識別子及び発話テキストを検出する音声認識エンジンと
して更に機能し、
表示制御手段は、操作時刻に、ユーザ識別子に対応する発話テキストを紐付け、発話テキストを更に再生表示する
ことを特徴とする請求項６に記載のワークショップのオンサイトボードシステム。
【請求項8】
複数のユーザによるボード上のオブジェクトが映り込む映像を入力し、当該映像を再生表示するようにコンピュータを機能させるプログラムであって、前記映像から、ボード上のオブジェクトのオブジェクト識別子と、当該オブジェクトが操作された操作時刻と、当該オブジェクトに対する操作のイベント識別子と、当該オブジェクトを操作したユーザのユーザ識別子とを紐付けて検出するユーザイベント検出手段と、
前記映像を再生表示すると共に、当該映像と同期した操作時刻に、オブジェクト識別子と、イベント識別子と、ユーザ識別子とを再生表示する表示制御手段と
してコンピュータを機能させることを特徴とするプログラム。
【請求項9】
複数のユーザによるボード上のオブジェクトが映り込む映像を入力し、当該映像を再生表示する装置の映像再生制御方法であって、装置は、
前記映像から、ボード上のオブジェクトのオブジェクト識別子と、当該オブジェクトが操作された操作時刻と、当該オブジェクトに対する操作のイベント識別子と、当該オブジェクトを操作したユーザのユーザ識別子とを紐付けて検出する第１のステップと、
前記映像を再生表示すると共に、当該映像と同期した操作時刻に、オブジェクト識別子と、イベント識別子と、ユーザ識別子とを再生表示する第２のステップと
を実行することを特徴とする装置の映像再生制御方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ワークショップにおけるアイデア発想プロセスを記録し且つ再生表示するユーザインタフェースの技術に関する。
【背景技術】
【0002】
ワークショップにおけるアイデア発想プロセスについて、例えばＫＪ(Kawakita Jiro)法やジャーニーマップがある。ＫＪ法は、共同作業でデータをカードに記述し、カードをグループごとにまとめて、図解化・叙述化していくものであり、創造的問題解決に効果がある。また、ジャーニーマップは、一連の行動を時系列にまとめ、その粗筋にそのときのユーザの思考や感情で肉付けして物語化し、その物語を凝縮して練り上げて、最終的に視覚化する。
【0003】
従来、ワークショップの進行を支援する技術がある（例えば特許文献１参照）。この技術によれば、ワークショップの進行中における議論の内容に基づいて、電子付箋などのオブジェクトのグルーピングや、グルーピングに伴うレコメンドに関して支援する。具体的には、電子付箋に関する音声データを受け付け、音声認識処理によってテキストを取得する。そして、テキスト同士が所定関係にある電子付箋同士を特定し、そのグループを表示することができる。
【0004】
また、参加ユーザに負担をかけることなく、議事録作成者の意図を加味した議事録を作成する技術もある（例えば特許文献２参照）。この技術によれば、会議中の音声を書き起こしたテキスト（音声認識）を作成して議事録を作成し、その議事録の記述内容と会議映像との間にリンクをはる。これによって、議事録の記述内容が、会議のどのシーンに対応するのかを、会議後に確認することができる。
【先行技術文献】
【特許文献】
【0005】
【文献】特許第６４８８４１７号公報
【文献】特開２００６－２６８８００号公報
【非特許文献】
【0006】
【文献】Google Jamboard、[online]、［令和２年９月１４日］、インターネット＜URL:https://gsuite.google.co.jp/intl/ja/products/jamboard/＞
【文献】Sugano, M., Nakajima, Y., & Yanagihara, H. (2003, November). MPEG content summarization based on compressed domain feature analysis. In Internet Multimedia Management Systems IV (Vol. 5242, pp. 280-288). International Society for Optics and Photonics.
【発明の概要】
【発明が解決しようとする課題】
【0007】
前述した特許文献１によれば、ワークショップの進行中に支援するものであって、会議終了後に、プロセスや成果を評価するものではない。また、特許文献２によれば、議事録は、会議中の音声を書き起こしたテキストであるが、作成者の主観に基づいて作成されたものである。これら技術はいずれも、会議終了後に議論の重要な時点を認識するには、会議映像を再度見直すか、主観的な議事録を見直すしかない。
【0008】
ワークショップのような会議には、各ユーザが自由に編集操作可能な「ボード」が存在する。勿論、ワークショップにおけるユーザの会話音声や、ボードに対する操作経緯を撮影した映像を記録することはできる。
しかしながら、ワークショップ終了後、その議論の経過を再度見直す際に、議論の重要な時点を特定することは難しい。
しかしながら、ワークショップ終了後、その議論の経過を再度見直す際に、議論の重要な時点を特定することは難しい。
【0009】
そこで、本発明は、ワークショップにおける議論の重要な時点を認識しやすくするべく、ボード上の映像を再生表示する映像再生装置、オンライン／オンサイトボードシステム、プログラム及び方法を提供することを目的とする。
【課題を解決するための手段】
【0010】
本発明によれば、複数のユーザによるボード上のオブジェクトが映り込む映像を入力し、当該映像を再生表示する映像再生装置であって、
前記映像から、ボード上のオブジェクトのオブジェクト識別子と、当該オブジェクトが操作された操作時刻と、当該オブジェクトに対する操作のイベント識別子と、当該オブジェクトを操作したユーザのユーザ識別子とを紐付けて検出するユーザイベント検出手段と、
前記映像を再生表示すると共に、当該映像と同期した操作時刻に、オブジェクト識別子と、イベント識別子と、ユーザ識別子とを再生表示する表示制御手段と
を有することを特徴とする。
前記映像から、ボード上のオブジェクトのオブジェクト識別子と、当該オブジェクトが操作された操作時刻と、当該オブジェクトに対する操作のイベント識別子と、当該オブジェクトを操作したユーザのユーザ識別子とを紐付けて検出するユーザイベント検出手段と、
前記映像を再生表示すると共に、当該映像と同期した操作時刻に、オブジェクト識別子と、イベント識別子と、ユーザ識別子とを再生表示する表示制御手段と
を有することを特徴とする。
【0011】
本発明の映像再生装置における他の実施形態によれば、
表示制御手段は、閲覧ユーザが視認可能なディスプレイに対して、
前記映像を再生表示する第１の表示領域と、
前記映像の再生表示と同期して、オブジェクト識別子と、イベント識別子と、ユーザ識別子とを組とするリストを表示する第２の表示領域と
して表示することも好ましい。
表示制御手段は、閲覧ユーザが視認可能なディスプレイに対して、
前記映像を再生表示する第１の表示領域と、
前記映像の再生表示と同期して、オブジェクト識別子と、イベント識別子と、ユーザ識別子とを組とするリストを表示する第２の表示領域と
して表示することも好ましい。
【0012】
本発明の映像再生装置における他の実施形態によれば、
閲覧ユーザから、オブジェクト識別子、イベント識別子又はユーザ識別子のいずれかの指示を受け付けるユーザ指示受付手段と
を有し、
表示制御手段は、ユーザによって指示されたオブジェクト識別子、イベント識別子又はユーザ識別子に基づく操作時刻から、前記映像を再生するべく制御する
ことも好ましい。
閲覧ユーザから、オブジェクト識別子、イベント識別子又はユーザ識別子のいずれかの指示を受け付けるユーザ指示受付手段と
を有し、
表示制御手段は、ユーザによって指示されたオブジェクト識別子、イベント識別子又はユーザ識別子に基づく操作時刻から、前記映像を再生するべく制御する
ことも好ましい。
【0013】
本発明の映像再生装置における他の実施形態によれば、
ユーザイベント検出手段によって検出された操作時刻を含む前後所定期間における映像を切り取るダイジェスト映像作成手段と
を有し、
表示制御手段は、ダイジェスト映像作成手段によって切り取られた映像のみを再生する
ことも好ましい。
ユーザイベント検出手段によって検出された操作時刻を含む前後所定期間における映像を切り取るダイジェスト映像作成手段と
を有し、
表示制御手段は、ダイジェスト映像作成手段によって切り取られた映像のみを再生する
ことも好ましい。
【0014】
本発明によれば、ワークショップのオンラインボードシステムであって、
前述した映像再生装置と、
各ユーザによって操作される複数の端末と
を有し、
端末は、映像再生装置が公開するオンラインのボードへアクセスし、当該ボード上のオブジェクトを操作可能とする
ことを特徴とする。
前述した映像再生装置と、
各ユーザによって操作される複数の端末と
を有し、
端末は、映像再生装置が公開するオンラインのボードへアクセスし、当該ボード上のオブジェクトを操作可能とする
ことを特徴とする。
【0015】
本発明によれば、ワークショップのオンサイトボードシステムであって、
前述した映像再生装置と、
ボード上を撮影し、その映像を映像再生装置へ送信する第１のカメラと、
第１のカメラと同期して、複数のユーザを撮影し、その映像を映像再生装置へ送信する第２のカメラと
を有し、
映像再生装置のユーザイベント検出手段は、
第１のカメラの映像から、オブジェクトのオブジェクト識別子と、当該オブジェクトに対する操作のイベント識別子とを検出する第１の物体認識エンジンと、
第２のカメラの映像から、各ユーザのユーザ識別子と、当該ユーザによる当該オブジェクトに対する操作のイベント識別子とを検出する第２の物体認識エンジンと
して機能することを特徴とする。
前述した映像再生装置と、
ボード上を撮影し、その映像を映像再生装置へ送信する第１のカメラと、
第１のカメラと同期して、複数のユーザを撮影し、その映像を映像再生装置へ送信する第２のカメラと
を有し、
映像再生装置のユーザイベント検出手段は、
第１のカメラの映像から、オブジェクトのオブジェクト識別子と、当該オブジェクトに対する操作のイベント識別子とを検出する第１の物体認識エンジンと、
第２のカメラの映像から、各ユーザのユーザ識別子と、当該ユーザによる当該オブジェクトに対する操作のイベント識別子とを検出する第２の物体認識エンジンと
して機能することを特徴とする。
【0016】
本発明のワークショップのオンサイトボードシステムにおける他の実施形態によれば、
ユーザの発話音声を収音し、その音声を映像再生装置へ送信するマイクを更に有し、
映像再生装置のユーザイベント検出手段は、マイクの音声から、ユーザ識別子及び発話テキストを検出する音声認識エンジンと
して更に機能し、
表示制御手段は、操作時刻に、ユーザ識別子に対応する発話テキストを紐付け、発話テキストを更に再生表示する
ことも好ましい。
ユーザの発話音声を収音し、その音声を映像再生装置へ送信するマイクを更に有し、
映像再生装置のユーザイベント検出手段は、マイクの音声から、ユーザ識別子及び発話テキストを検出する音声認識エンジンと
して更に機能し、
表示制御手段は、操作時刻に、ユーザ識別子に対応する発話テキストを紐付け、発話テキストを更に再生表示する
ことも好ましい。
【0017】
本発明によれば、複数のユーザによるボード上のオブジェクトが映り込む映像を入力し、当該映像を再生表示するようにコンピュータを機能させるプログラムであって、
前記映像から、ボード上のオブジェクトのオブジェクト識別子と、当該オブジェクトが操作された操作時刻と、当該オブジェクトに対する操作のイベント識別子と、当該オブジェクトを操作したユーザのユーザ識別子とを紐付けて検出するユーザイベント検出手段と、
前記映像を再生表示すると共に、当該映像と同期した操作時刻に、オブジェクト識別子と、イベント識別子と、ユーザ識別子とを再生表示する表示制御手段と
してコンピュータを機能させることを特徴とする。
前記映像から、ボード上のオブジェクトのオブジェクト識別子と、当該オブジェクトが操作された操作時刻と、当該オブジェクトに対する操作のイベント識別子と、当該オブジェクトを操作したユーザのユーザ識別子とを紐付けて検出するユーザイベント検出手段と、
前記映像を再生表示すると共に、当該映像と同期した操作時刻に、オブジェクト識別子と、イベント識別子と、ユーザ識別子とを再生表示する表示制御手段と
してコンピュータを機能させることを特徴とする。
【0018】
本発明によれば、複数のユーザによるボード上のオブジェクトが映り込む映像を入力し、当該映像を再生表示する装置の映像再生制御方法であって、
装置は、
前記映像から、ボード上のオブジェクトのオブジェクト識別子と、当該オブジェクトが操作された操作時刻と、当該オブジェクトに対する操作のイベント識別子と、当該オブジェクトを操作したユーザのユーザ識別子とを紐付けて検出する第１のステップと、
前記映像を再生表示すると共に、当該映像と同期した操作時刻に、オブジェクト識別子と、イベント識別子と、ユーザ識別子とを再生表示する第２のステップと
を実行することを特徴とする。
装置は、
前記映像から、ボード上のオブジェクトのオブジェクト識別子と、当該オブジェクトが操作された操作時刻と、当該オブジェクトに対する操作のイベント識別子と、当該オブジェクトを操作したユーザのユーザ識別子とを紐付けて検出する第１のステップと、
前記映像を再生表示すると共に、当該映像と同期した操作時刻に、オブジェクト識別子と、イベント識別子と、ユーザ識別子とを再生表示する第２のステップと
を実行することを特徴とする。
【発明の効果】
【0019】
本発明の映像再生装置、オンライン／オンサイトボードシステム、プログラム及び方法によれば、ワークショップにおける議論の重要な時点を認識しやすくするべく、ボード上の映像を再生表示することができる。
【図面の簡単な説明】
【0020】
【図1】ワークショップのオンラインボードシステムにおけるシステム構成図である。
【図2】ワークショップのオンサイトボードシステムにおけるシステム構成図である。
【図3】本発明の映像再生装置における機能構成図である。
【図4】ワークショッププロセスの進行を表す第１の説明図である。
【図5】ワークショッププロセスの進行を表す第２の説明図である。
【図6】ワークショッププロセスの進行を表す第３の説明図である。
【図7】本発明におけるユーザインタフェース画面である。
【図8】オブジェクトを検索キーとしたユーザインタフェース画面である。
【図9】ユーザを検索キーとしたユーザインタフェース画面である。
【発明を実施するための形態】
【0021】
以下、本発明の実施の形態について、図面を用いて詳細に説明する。
【0022】
本願の発明者は、ワークショップにおける議論の重要な時点には、ボード上のオブジェクトに対して、誰かが何らかの編集操作をするであろう、ことに注目した。ボードには、例えば付箋紙のようなオブジェクトが貼り付け（作成）られ、そのオブジェクトを移動させたり、グルーピングしたり、削除したりされる。
本発明によれば、ボード上のこれらオブジェクトに対する履歴を検出することによって、閲覧ユーザが、ワークショップにおける議論の重要な時点を認識しやすくなるようにする。
本発明によれば、ボード上のこれらオブジェクトに対する履歴を検出することによって、閲覧ユーザが、ワークショップにおける議論の重要な時点を認識しやすくなるようにする。
【0023】
図１は、ワークショップのオンラインボードシステムにおけるシステム構成図である。
【0024】
図１のオンラインボートシステムによれば、映像再生装置１には、オンラインで、ワークショップにおける複数の参加ユーザそれぞれが所持する端末３が接続されている。また、映像再生装置１には、ワークショップ終了後、オンラインで、その議論内容を再生表示する閲覧ユーザが所持する端末２も接続されている。
【0025】
ワークショップの参加ユーザはそれぞれ、自らの端末３から、映像再生装置１が公開するオンラインのボードへアクセスし、当該ボード上のオブジェクトに対して操作する。
オンラインボードシステムによれば、映像再生装置１は、参加ユーザの端末３から、ボード上のオブジェクトに対する編集操作のイベントと、その操作をした参加ユーザとを紐付けることができる。端末３には、ビデオ会議システムと同様に、マイクも搭載されており、映像再生装置１は、参加ユーザの発話音声を取得することもできる。
映像再生装置１は、複数の参加ユーザによるボード上のオブジェクトが映り込む映像を取得し、その映像を閲覧ユーザが所持する端末２へ再生表示する。
オンラインボードシステムによれば、映像再生装置１は、参加ユーザの端末３から、ボード上のオブジェクトに対する編集操作のイベントと、その操作をした参加ユーザとを紐付けることができる。端末３には、ビデオ会議システムと同様に、マイクも搭載されており、映像再生装置１は、参加ユーザの発話音声を取得することもできる。
映像再生装置１は、複数の参加ユーザによるボード上のオブジェクトが映り込む映像を取得し、その映像を閲覧ユーザが所持する端末２へ再生表示する。
【0026】
尚、従来、ワークショップのオンラインホワイトボートとして代表的に、Google（登録商標）のJamboard（登録商標）の技術がある（例えば非特許文献１参照）。この技術によれば、参加ユーザが自ら端末を用いて、ホワイトボードと同じような感覚で自然に描画でき、リアルタイムの共同編集でチームの創造性を引き出すことができる。
【0027】
図２は、オンサイトボードシステムにおけるシステム構成図である。
【0028】
図２のオンサイトボートシステムによれば、図１のオンラインボードシステムと異なって、参加ユーザが同じ場所（サイト）で１つのボードに向かって会議をしている。そのために、ワークショップの議論内容として、ボードの映像や、参加ユーザ及び操作の情報は、その場所に配置されたカメラやマイクによって収集する必要がある。
【0029】
図２によれば、映像再生装置１は、第１のカメラ４と、第２のカメラ５と、マイク６とに接続し、ワークショップの議論の内容を収集する。第１のカメラ４及び第２のカメラ５は、例えばＷｅｂカメラであってもよい。マイク６は、例えばＷｅｂカメラと一体的に搭載されたものであってもよいし、ＩＣレコーダのようなマイクであってもよい。
第１のカメラ４は、ボード上を撮影し、その映像を映像再生装置１へ送信する。第１のカメラ４によって撮影された映像を、「ボード映像」と称す。
第２のカメラ５は、第１のカメラ４と同期して、複数の参加ユーザを撮影し、その映像を映像再生装置１へ送信する。第２のカメラ５によって撮影された映像を、「ユーザ映像」と称す。
マイク６は、参加ユーザの発話音声を収音し、その音声を映像再生装置１へ送信する。マイク６は、参加ユーザそれぞれに装着し、参加ユーザ毎の発話音声のみを収音するものであってよい。また、１つの全指向性マイクであって、参加ユーザ全員の発話音声を収音するものであってもよい。
尚、参加ユーザの発話音声は、第２のカメラ５によって撮影された映像（例えばmp4）に含まれたものであってもよい。
第１のカメラ４は、ボード上を撮影し、その映像を映像再生装置１へ送信する。第１のカメラ４によって撮影された映像を、「ボード映像」と称す。
第２のカメラ５は、第１のカメラ４と同期して、複数の参加ユーザを撮影し、その映像を映像再生装置１へ送信する。第２のカメラ５によって撮影された映像を、「ユーザ映像」と称す。
マイク６は、参加ユーザの発話音声を収音し、その音声を映像再生装置１へ送信する。マイク６は、参加ユーザそれぞれに装着し、参加ユーザ毎の発話音声のみを収音するものであってよい。また、１つの全指向性マイクであって、参加ユーザ全員の発話音声を収音するものであってもよい。
尚、参加ユーザの発話音声は、第２のカメラ５によって撮影された映像（例えばmp4）に含まれたものであってもよい。
【0030】
図３は、本発明の映像再生装置における機能構成図である。
【0031】
映像再生装置１は、複数のユーザによるボード上のオブジェクトが映り込む映像を入力し、当該映像を再生表示する。
ここで、オブジェクトとしては、例えば「付箋紙」であってもよい。付箋紙は、参加ユーザによって文字列が記入された紙片であって、ボード上に貼り付けられて議論される。各オブジェクトには、任意のオフジェクトＩＤ（識別子）が付与される。
オブジェクトである付箋紙に対するイベント（編集操作）としては、例えば以下のものがある。
・作成（文字列の記入）
・修正（文字列の修正）
・移動
・グルーピング（線による囲み）
・削除
これらオブジェクトのイベントは、操作時刻と共に、時系列に記録される。この時刻は、第１のカメラ４によって撮影されたボード映像と、第２のカメラ５によって撮影されたユーザ映像と同期したものである。
本発明によれば、議論の重要な時点には、ボード上のオブジェクトに対して、何らかの編集操作がなされるであろう、と考えたものである。
ここで、オブジェクトとしては、例えば「付箋紙」であってもよい。付箋紙は、参加ユーザによって文字列が記入された紙片であって、ボード上に貼り付けられて議論される。各オブジェクトには、任意のオフジェクトＩＤ（識別子）が付与される。
オブジェクトである付箋紙に対するイベント（編集操作）としては、例えば以下のものがある。
・作成（文字列の記入）
・修正（文字列の修正）
・移動
・グルーピング（線による囲み）
・削除
これらオブジェクトのイベントは、操作時刻と共に、時系列に記録される。この時刻は、第１のカメラ４によって撮影されたボード映像と、第２のカメラ５によって撮影されたユーザ映像と同期したものである。
本発明によれば、議論の重要な時点には、ボード上のオブジェクトに対して、何らかの編集操作がなされるであろう、と考えたものである。
【0032】
図３によれば、映像再生装置１は、記録部１０と、ユーザイベント検出部１１と、表示制御部１２と、ユーザ指示受付部１３と、ダイジェスト映像作成部１４とを有する。これら機能構成部は、装置に搭載されたコンピュータを機能させるプログラムを実行することによって実現される。また、これら機能構成部の処理の流れは、装置の映像再生制御方法としても理解できる。
【0033】
［ユーザイベント検出部１１］
ユーザイベント検出部１１は、ボード映像の進行時刻に同期して、以下の情報要素を検出する。
・ボード上のオブジェクトのオブジェクトＩＤ
・当該オブジェクトＩＤの操作時刻
・当該オブジェクトに対する操作のイベントＩＤ
・当該オブジェクトを操作したユーザのユーザＩＤ
ボード映像の進行時刻に応じて、任意の時刻に発生したオブジェクトやイベント、その操作をしたユーザを特定することができる。
そして、ユーザイベント検出部１１は、これら情報要素を、ワークショッププロセスのイベントの時系列集合として、記録部１０に記録する。
ユーザイベント検出部１１は、ボード映像の進行時刻に同期して、以下の情報要素を検出する。
・ボード上のオブジェクトのオブジェクトＩＤ
・当該オブジェクトＩＤの操作時刻
・当該オブジェクトに対する操作のイベントＩＤ
・当該オブジェクトを操作したユーザのユーザＩＤ
ボード映像の進行時刻に応じて、任意の時刻に発生したオブジェクトやイベント、その操作をしたユーザを特定することができる。
そして、ユーザイベント検出部１１は、これら情報要素を、ワークショッププロセスのイベントの時系列集合として、記録部１０に記録する。
【0034】
ユーザイベント検出部１１は、情報要素を検出するために、以下のような機械学習エンジンを有する。
＜第１の物体認識エンジン１１１＞
＜第２の物体認識エンジン１１２＞
＜音声認識エンジン１１３＞
＜第１の物体認識エンジン１１１＞
＜第２の物体認識エンジン１１２＞
＜音声認識エンジン１１３＞
【0035】
＜第１の物体認識エンジン１１１＞
第１の物体認識エンジン１１１は、第１のカメラ４の映像（ボード映像）から、以下の情報要素を検出する。
・ボード上のオブジェクトのオブジェクトＩＤ
・当該オブジェクトに対する操作のイベントＩＤ
第１の物体認識エンジンは、パターン認識(Pattern recognition)であって、オブジェクトの画像を予め学習しておくことによって、ボード映像（時系列画像）に映り込むオブジェクトを検出することができる。また、その検出されたボード上の座標位置を検出することによって、ボード上の操作のイベントＩＤ（作成、移動、削除）も検出することができる。
第１の物体認識エンジンは、識別器としては、ニューラルネットワークや、サポートベクターマシンなどの機械学習エンジンが用いられる。既存の機械学習ライブラリは、例えばTensorflow（登録商標）やKeras（登録商標）から適宜に採用することができる。
第１の物体認識エンジン１１１は、第１のカメラ４の映像（ボード映像）から、以下の情報要素を検出する。
・ボード上のオブジェクトのオブジェクトＩＤ
・当該オブジェクトに対する操作のイベントＩＤ
第１の物体認識エンジンは、パターン認識(Pattern recognition)であって、オブジェクトの画像を予め学習しておくことによって、ボード映像（時系列画像）に映り込むオブジェクトを検出することができる。また、その検出されたボード上の座標位置を検出することによって、ボード上の操作のイベントＩＤ（作成、移動、削除）も検出することができる。
第１の物体認識エンジンは、識別器としては、ニューラルネットワークや、サポートベクターマシンなどの機械学習エンジンが用いられる。既存の機械学習ライブラリは、例えばTensorflow（登録商標）やKeras（登録商標）から適宜に採用することができる。
【0036】
＜第２の物体認識エンジン１１２＞
第２の物体認識エンジン１１２は、第２のカメラ５の映像（ユーザ映像）から、以下の情報要素を検出する。
・各ユーザのユーザＩＤ
・当該ユーザによる当該オブジェクトに対する操作のイベントＩＤ
第２の物体認識エンジン１１２も、パターン認識であって、ユーザの顔画像を予め学習しておくことによって、ユーザ映像（時系列画像）に映り込むユーザを検出することができる。また、その検出されたボード上のユーザの手の座標位置を検出することによって、ボード上のオブジェクトに対する操作のイベントＩＤ（作成、移動、削除）も検出することができる。
第２の物体認識エンジンも、第１の物体認識エンジンと同様に、既存の機械学習ライブラリは、例えばTensorflow（登録商標）やKeras（登録商標）から適宜に採用することができる。
第２の物体認識エンジン１１２は、第２のカメラ５の映像（ユーザ映像）から、以下の情報要素を検出する。
・各ユーザのユーザＩＤ
・当該ユーザによる当該オブジェクトに対する操作のイベントＩＤ
第２の物体認識エンジン１１２も、パターン認識であって、ユーザの顔画像を予め学習しておくことによって、ユーザ映像（時系列画像）に映り込むユーザを検出することができる。また、その検出されたボード上のユーザの手の座標位置を検出することによって、ボード上のオブジェクトに対する操作のイベントＩＤ（作成、移動、削除）も検出することができる。
第２の物体認識エンジンも、第１の物体認識エンジンと同様に、既存の機械学習ライブラリは、例えばTensorflow（登録商標）やKeras（登録商標）から適宜に採用することができる。
【0037】
＜音声認識エンジン１１３＞
音声認識エンジン１１３は、マイク６によって収音されたユーザの発話音声から、以下の情報要素を検出する。
・ユーザＩＤ
・発話テキスト
音声認識エンジン１１３は、ユーザ毎の発話音声を予め学習しておくことによって、入力された音声を発したユーザＩＤを検出することができる。また、音声認識エンジン１１３は、発話音声をテキスト（文字列）に変換することもできる。
音声認識エンジン１１３は、例えばGoogle Cloud Speech-to-Text（登録商標）やWatson Speech to Text（登録商標）を適宜に採用することができる。
尚、発話音声からテキストに変換する際に、発話音声に対してクレンジング処理を実行し、議論と直接関係のない音声（相槌など）や雑音を除去することも好ましい。
音声認識エンジン１１３は、マイク６によって収音されたユーザの発話音声から、以下の情報要素を検出する。
・ユーザＩＤ
・発話テキスト
音声認識エンジン１１３は、ユーザ毎の発話音声を予め学習しておくことによって、入力された音声を発したユーザＩＤを検出することができる。また、音声認識エンジン１１３は、発話音声をテキスト（文字列）に変換することもできる。
音声認識エンジン１１３は、例えばGoogle Cloud Speech-to-Text（登録商標）やWatson Speech to Text（登録商標）を適宜に採用することができる。
尚、発話音声からテキストに変換する際に、発話音声に対してクレンジング処理を実行し、議論と直接関係のない音声（相槌など）や雑音を除去することも好ましい。
【0038】
次に、具体的なワークショッププロセスの進行に応じて、ユーザイベント検出部１１によって検出される情報要素を、時系列に説明する。
図４は、ワークショッププロセスの進行を表す第１の説明図である。
図５は、ワークショッププロセスの進行を表す第２の説明図である。
図６は、ワークショッププロセスの進行を表す第３の説明図である。
図４は、ワークショッププロセスの進行を表す第１の説明図である。
図５は、ワークショッププロセスの進行を表す第２の説明図である。
図６は、ワークショッププロセスの進行を表す第３の説明図である。
【0039】
（時刻ｔ1）図４（ａ）によれば、最初に、ユーザＡが、付箋紙（オブジェクトID1）に、文字列（テキスト）を記述して、ボード上に貼った（作成）とする。
このとき、ボード映像から「オブジェクトID1」「作成」「オブジェクトに記述されたテキスト」が検出される。ユーザ映像から「ユーザＡ」「作成」が検出される。これらを、時刻ｔ1（00:01:23）に紐付けて検出する。
時刻ｔ1（00:01:23）、ユーザＡ、オブジェクトID1（テキスト）、作成
このとき、ボード映像から「オブジェクトID1」「作成」「オブジェクトに記述されたテキスト」が検出される。ユーザ映像から「ユーザＡ」「作成」が検出される。これらを、時刻ｔ1（00:01:23）に紐付けて検出する。
時刻ｔ1（00:01:23）、ユーザＡ、オブジェクトID1（テキスト）、作成
【0040】
（時刻ｔ2）図４（ｂ）によれば、次に、ユーザＢが、付箋紙（オブジェクトID1）を、ボード上で移動させたとする。
このとき、ボード映像から「オブジェクトID1」「移動」が検出される。ユーザ映像から「ユーザＢ」「移動」が検出される。これらを、時刻ｔ2（00:01:40）に紐付けて検出する。
時刻ｔ2（00:01:40）、ユーザＢ、オブジェクトID1、移動
このとき、ボード映像から「オブジェクトID1」「移動」が検出される。ユーザ映像から「ユーザＢ」「移動」が検出される。これらを、時刻ｔ2（00:01:40）に紐付けて検出する。
時刻ｔ2（00:01:40）、ユーザＢ、オブジェクトID1、移動
【0041】
（時刻ｔ3）図５（ａ）によれば、次に、ユーザＡが、付箋紙（オブジェクトID2）に、文字列（テキスト）を記述して、ボード上に貼った（作成）とする。
このとき、ボード映像から「オブジェクトID2」「作成」「オブジェクトに記述されたテキスト」が検出される。ユーザ映像から「ユーザＡ」「作成」が検出される。また、発話音声から発話テキストが検出される。これらを、時刻ｔ3（00:02:10）に紐付けて検出する。
時刻ｔ3（00:02:10）、ユーザＡ、オブジェクトID2（テキスト）、作成
このとき、ボード映像から「オブジェクトID2」「作成」「オブジェクトに記述されたテキスト」が検出される。ユーザ映像から「ユーザＡ」「作成」が検出される。また、発話音声から発話テキストが検出される。これらを、時刻ｔ3（00:02:10）に紐付けて検出する。
時刻ｔ3（00:02:10）、ユーザＡ、オブジェクトID2（テキスト）、作成
【0042】
（時刻ｔ4）図５（ｂ）によれば、次に、ユーザＢが、付箋紙（オブジェクトID3）に、文字列（テキスト）を記述して、ボード上に貼った（作成）とする。
このとき、ボード映像から「オブジェクトID3」「作成」「オブジェクトに記述されたテキスト」が検出される。ユーザ映像から「ユーザＢ」「作成」が検出される。これらを、時刻ｔ4（00:02:50）に紐付けて検出する。
時刻ｔ4（00:02:50）、ユーザＢ、オブジェクトID3（テキスト）、作成
このとき、ボード映像から「オブジェクトID3」「作成」「オブジェクトに記述されたテキスト」が検出される。ユーザ映像から「ユーザＢ」「作成」が検出される。これらを、時刻ｔ4（00:02:50）に紐付けて検出する。
時刻ｔ4（00:02:50）、ユーザＢ、オブジェクトID3（テキスト）、作成
【0043】
（時刻ｔ5）図６（ａ）によれば、次に、ユーザＣが、２つの付箋紙（オブジェクトID2,ID3）を、ボード上を線で囲った（グルーピング）とする。
このとき、ボード映像から「オブジェクトID2,ID3」「グルーピング」が検出される。ユーザ映像から「ユーザＣ」「グルーピング」が検出される。これらを、時刻ｔ5（00:03:34）に紐付けて検出する。
時刻ｔ5（00:03:34）、ユーザＣ、オブジェクトID2,3、グルーピング
このとき、ボード映像から「オブジェクトID2,ID3」「グルーピング」が検出される。ユーザ映像から「ユーザＣ」「グルーピング」が検出される。これらを、時刻ｔ5（00:03:34）に紐付けて検出する。
時刻ｔ5（00:03:34）、ユーザＣ、オブジェクトID2,3、グルーピング
【0044】
（時刻ｔ6）図６（ｂ）によれば、次に、ユーザＣが、付箋紙（オブジェクトID1）を、ボード上で削除したとする。
このとき、ボード映像から「オブジェクトID1」「削除」が検出される。ユーザ映像から「ユーザＣ」「削除」が検出される。これらを、時刻ｔ6（00:03:55）に紐付けて検出する。
時刻ｔ6（00:03:55）、ユーザＣ、オブジェクトID1、削除
このとき、ボード映像から「オブジェクトID1」「削除」が検出される。ユーザ映像から「ユーザＣ」「削除」が検出される。これらを、時刻ｔ6（00:03:55）に紐付けて検出する。
時刻ｔ6（00:03:55）、ユーザＣ、オブジェクトID1、削除
【0045】
尚、図６によれば、オブジェクト毎に、音声認識エンジン１１３によって検出されたユーザの発話テキストも一緒に表示されることも好ましい。これによって、オブジェクトを操作したユーザが、どのような発言をしたのかを、テキストとして認識することができる。音声認識エンジン１１３によれば、発話音声をテキストに変換することに加えて、その発話音声が参加ユーザの誰が発話したものか、も認識することができる。
【0046】
［表示制御部１２］
表示制御部１２は、閲覧ユーザが視認可能なディスプレイに対して、「ボード映像」を再生表示すると共に、当該ボード映像と同期した操作時刻に、オブジェクトＩＤと、イベントＩＤと、ユーザＩＤとの「プロセスリスト」を再生表示する。
表示制御部１２は、閲覧ユーザが視認可能なディスプレイに対して、「ボード映像」を再生表示すると共に、当該ボード映像と同期した操作時刻に、オブジェクトＩＤと、イベントＩＤと、ユーザＩＤとの「プロセスリスト」を再生表示する。
【0047】
図７は、本発明におけるユーザインタフェース画面である。
【0048】
図７によれば、ボード映像及びプロセスリストが再生表示されている。
ボード映像は、閲覧ユーザがボード映像の再生を操作することができるインタフェースを有する。閲覧ユーザは、ボード映像を、一時停止、再生、早送り、巻き戻し等の操作をすることができる。また、ボード映像の現在の再生時刻hh:mm:ssも表示されており、再生時刻をスクロールバー（又はシークバー）によって操作することができる。
ボード映像は、閲覧ユーザがボード映像の再生を操作することができるインタフェースを有する。閲覧ユーザは、ボード映像を、一時停止、再生、早送り、巻き戻し等の操作をすることができる。また、ボード映像の現在の再生時刻hh:mm:ssも表示されており、再生時刻をスクロールバー（又はシークバー）によって操作することができる。
【0049】
プロセスリストには、ボード映像の再生表示と同期して、以下の情報要素が表示される。
・ユーザＩＤ
・オブジェクトＩＤ（テキスト）
・イベントＩＤ
また、表示制御部１２は、操作時刻に、ユーザＩＤに紐付く発話テキストを再生表示することも好ましい。
これによって、再生表示中のボード映像に映り込むオブジェクトについて、何れに参加ユーザが、どのように操作（イベント）したかを、閲覧ユーザが理解することができる。
・ユーザＩＤ
・オブジェクトＩＤ（テキスト）
・イベントＩＤ
また、表示制御部１２は、操作時刻に、ユーザＩＤに紐付く発話テキストを再生表示することも好ましい。
これによって、再生表示中のボード映像に映り込むオブジェクトについて、何れに参加ユーザが、どのように操作（イベント）したかを、閲覧ユーザが理解することができる。
【0050】
［ユーザ指示受付部１３］
閲覧ユーザが操作する端末２には、ユーザインタフェースを表示するディスプレイが搭載されている。そのディスプレイは、タッチパネルディスプレイであることも好ましい。その場合、ユーザインタフェースにおけるプロセスリストの項目は、閲覧ユーザの指示（タッチ又はクリック）を可能とする。勿論、タッチパネルディスプレイでなくても、プロセスリストの項目を、ポインティングデバイスによってクリックできるものであってもよい。
閲覧ユーザが操作する端末２には、ユーザインタフェースを表示するディスプレイが搭載されている。そのディスプレイは、タッチパネルディスプレイであることも好ましい。その場合、ユーザインタフェースにおけるプロセスリストの項目は、閲覧ユーザの指示（タッチ又はクリック）を可能とする。勿論、タッチパネルディスプレイでなくても、プロセスリストの項目を、ポインティングデバイスによってクリックできるものであってもよい。
【0051】
ユーザ指示受付部１３は、閲覧ユーザから、オブジェクトＩＤ、イベントＩＤ又はユーザＩＤのいずれかの指示を受け付ける。そして、指示された識別子を、表示制御部１２へ出力する。
これに対し、表示制御部１２は、ユーザによって指示されたオブジェクトＩＤ、イベントＩＤ又はユーザＩＤを検索キーとして、プロセスリストに表示する。
これに対し、表示制御部１２は、ユーザによって指示されたオブジェクトＩＤ、イベントＩＤ又はユーザＩＤを検索キーとして、プロセスリストに表示する。
【0052】
［ダイジェスト映像作成部１４］
ダイジェスト映像作成部１４は、ユーザイベント検出部１１によって検出された操作時刻を含む前後所定期間におけるボード映像を切り取る。即ち、ボード映像におけるダイジェスト映像の作成であって、ユーザが設定したイベントに応じてボード映像が要約される。
表示制御部１２は、ダイジェスト映像作成部１４によって切り取られたボード映像のみを再生する。
ダイジェスト映像作成部１４は、ユーザイベント検出部１１によって検出された操作時刻を含む前後所定期間におけるボード映像を切り取る。即ち、ボード映像におけるダイジェスト映像の作成であって、ユーザが設定したイベントに応じてボード映像が要約される。
表示制御部１２は、ダイジェスト映像作成部１４によって切り取られたボード映像のみを再生する。
【0053】
具体的には、あるユーザがオブジェクトを操作したイベント発生時から、所定時間（例えば20秒）を、そのイベントのダイジェスト映像とすることもできる。
第１のイベント発生時：ｔn1
第２のイベント発生時：ｔn2
所定時間：ｔx
ｔn1＋ｔx＜ｔn2の場合は、ｔn1～ｔxまでの時間の映像を、第１のイベントのダイジェスト映像とする。それ以外の場合は、ｔn1～ｔn2までの時間の映像を、第１のイベントのダイジェスト映像とする。同様に、tn2～tn3、・・・についても、ダイジェスト映像を作成していく。
尚、ボード映像におけるダイジェスト映像の作成について、既存の映像要約技術を用いることもできる（例えば非特許文献２参照）
第１のイベント発生時：ｔn1
第２のイベント発生時：ｔn2
所定時間：ｔx
ｔn1＋ｔx＜ｔn2の場合は、ｔn1～ｔxまでの時間の映像を、第１のイベントのダイジェスト映像とする。それ以外の場合は、ｔn1～ｔn2までの時間の映像を、第１のイベントのダイジェスト映像とする。同様に、tn2～tn3、・・・についても、ダイジェスト映像を作成していく。
尚、ボード映像におけるダイジェスト映像の作成について、既存の映像要約技術を用いることもできる（例えば非特許文献２参照）
【0054】
図８は、オブジェクトを検索キーとしたユーザインタフェース画面である。
図８によれば、プロセスリストのオブジェクトID1が選択指示され、そのオブジェクトID1に基づくイベント及びユーザの一覧のみが時系列に表示される。尚、イベントの一覧はポップアップ画面として表示されてもよいし、専用の表示領域として表示されてもよい。
この後、閲覧ユーザが、時刻部分を選択指示することによって、その時刻から所定時間帯のボード映像が再生される。例えば、時刻00:01:40が選択指示されると、ユーザＢがそのオブジェクト（ID1）を移動させている時間帯のボード映像が再生表示される。
図８によれば、プロセスリストのオブジェクトID1が選択指示され、そのオブジェクトID1に基づくイベント及びユーザの一覧のみが時系列に表示される。尚、イベントの一覧はポップアップ画面として表示されてもよいし、専用の表示領域として表示されてもよい。
この後、閲覧ユーザが、時刻部分を選択指示することによって、その時刻から所定時間帯のボード映像が再生される。例えば、時刻00:01:40が選択指示されると、ユーザＢがそのオブジェクト（ID1）を移動させている時間帯のボード映像が再生表示される。
【0055】
図９は、ユーザを検索キーとしたユーザインタフェース画面である。
図９によれば、プロセスリストのユーザＣが選択指示され、そのユーザＣが操作したオブジェクト及びイベントの一覧のみが時系列に表示される。
この後、閲覧ユーザが、例えば、時刻00:03:55が選択指示されると、ユーザＣがそのオブジェクト（ID1）を削除している時間帯のボード映像が再生表示される。
図９によれば、プロセスリストのユーザＣが選択指示され、そのユーザＣが操作したオブジェクト及びイベントの一覧のみが時系列に表示される。
この後、閲覧ユーザが、例えば、時刻00:03:55が選択指示されると、ユーザＣがそのオブジェクト（ID1）を削除している時間帯のボード映像が再生表示される。
【0056】
また、ユーザインタフェースに、「ダイジェスト再生」ボタンを設けることもできる。プロセスリストに表示された複数のイベントについて、イベント毎のダイジェスト映像を連結して、１つのボード映像として作成することもできる。例えば図８によれば、オブジェクトID1について３つのボード映像が連結される。また、例えば図９によれば、ユーザＣについて２つのボード映像が連結される。
【0057】
以上、詳細に説明したように、本発明の映像再生装置、オンライン／オンサイトボードシステム、プログラム及び方法によれば、ワークショップにおける議論の重要な時点を認識しやすくするべく、ボード上の映像を再生表示することができる。
本発明によれば、ユーザがワークショッププロセスを閲覧する際に、ボード上のオブジェクトに対する参加ユーザの操作（イベント）に基づいて検索しながら、時系列に閲覧することができる。
本発明によれば、ユーザがワークショッププロセスを閲覧する際に、ボード上のオブジェクトに対する参加ユーザの操作（イベント）に基づいて検索しながら、時系列に閲覧することができる。
【0058】
前述した本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。
【符号の説明】
【0059】
１ 映像再生装置
１０ 記録部
１１ ユーザイベント検出部
１１１ 第１の物体認識エンジン
１１２ 第２の物体認識エンジン
１１３ 音声認識エンジン
１２ 表示制御部
１３ ユーザ指示受付部
１４ ダイジェスト映像作成部
２ 参加ユーザの端末
３ 閲覧ユーザの端末
１０ 記録部
１１ ユーザイベント検出部
１１１ 第１の物体認識エンジン
１１２ 第２の物体認識エンジン
１１３ 音声認識エンジン
１２ 表示制御部
１３ ユーザ指示受付部
１４ ダイジェスト映像作成部
２ 参加ユーザの端末
３ 閲覧ユーザの端末
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】