特許 7230016 インテリジェントホワイトボード連携システムおよび方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-02-17

(45)【発行日】2023-02-28

(54)【発明の名称】インテリジェントホワイトボード連携システムおよび方法

(51)【国際特許分類】

   G06T 7/90 20170101AFI20230220BHJP

   H04N 7/15 20060101ALI20230220BHJP

【ＦＩ】

G06T7/90 C

H04N7/15

【請求項の数】 53

(21)【出願番号】P 2020520432

(86)(22)【出願日】2018-06-25

(65)【公表番号】

(43)【公表日】2020-08-27

(86)【国際出願番号】 US2018039373

(87)【国際公開番号】W WO2019005706

(87)【国際公開日】2019-01-03

【審査請求日】2021-06-07

(31)【優先権主張番号】15/632,953

(32)【優先日】2017-06-26

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】517256655

【氏名又は名称】ハドリー インコーポレイテッド

(74)【代理人】

【識別番号】110000877

【氏名又は名称】弁理士法人ＲＹＵＫＡ国際特許事務所

(72)【発明者】

【氏名】エイケネス，アンダーズ

(72)【発明者】

【氏名】エリクセン，シュタイン，オーヴ

(72)【発明者】

【氏名】コーネリアセン，ヤン，トーレ

(72)【発明者】

【氏名】シャー，イーモン

【審査官】真木 健彦

(56)【参考文献】

【文献】特開２００４－０８０７５０（ＪＰ，Ａ）

【文献】米国特許出願公開第２００４／０１６５７８６（ＵＳ，Ａ１）

【文献】特表２０１１－５２４５７２（ＪＰ，Ａ）

【文献】米国特許出願公開第２００３／００２８９０１（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１６／０２１００３７（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１５／０１３５３２８（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１５／０２１３３９５（ＵＳ，Ａ１）

【文献】特開２００７－３３４８７６（ＪＰ，Ａ）

【文献】神谷 葉月，インタラクティブな手書き幾何作図のための自由曲線整形法，情報処理学会 研究報告 ヒューマンコンピュータインタラクション（ＨＣＩ），日本，情報処理学会，2017年01月16日，Vol.2017-HCI-171 No.17，P.1-8

【文献】武部 浩明，デジタルペンを活用したグループワーク電子化支援システム，電子情報通信学会技術研究報告 Ｖｏｌ．１１１ Ｎｏ．５００，日本，社団法人電子情報通信学会，2012年03月22日，PRMU2011-260, HIP2011-88 (2012-3)，P.129-134

【文献】Li-Wei He;Zhengyou Zhang，Real-Time Whiteboard Capture and Processing Using a Video Camera for Remote Collaboration，IEEE Transactions on Multimedia Vol.9 No.1 January 2007，IEEE，2007年01月，Volume: 9, Issue: 1，pp.198-206，https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=4032610

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／９０

Ｇ０６Ｔ ７／００

Ｇ０６Ｖ ３０／１９

Ｈ０４Ｎ ７／１５

Ｈ０４Ｎ ７／１８

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０４８

(57)【特許請求の範囲】

【請求項1】

ホワイトボードビデオ信号からタイムスタンプを付されたデータを取り込むための方法であって、
前記方法は、
ホワイトボードの４つの角部を計算し、それによって前記ホワイトボードを定義することと、
背景白色を特定し、背景白色ピクセルを識別することと、
ｉ）代替的な色空間において前景ピクセルのクラスタリングを行うことと、ｉｉ）前記クラスタリングに基づいて、前景ピクセルを前景マーカ色として分類することと、ｉｉｉ）前景マーカ色ごとにバイナリマスクを生成することとにより、前景マーカ色ごとおよび前景ピクセルごとに色正規化を行うことであって、各前景マーカ色は、その前景マーカ色として分類された全てのピクセルの最も典型的な色として定義され、前記最も典型的な色は、その前景マーカ色のメディアンおよび平均のうちの１つである、ことと、
所定の幅を有する前景マーカ色ごとにストロークを再構成すること、 を含み、
各ストロークは、前記ホワイトボードビデオ信号に基づいてタイムスタンプと関連付けられる、方法。

【請求項2】

ストロークを再構成することは、
前景マーカ色のストロークの断面からの変曲点を、その長さに沿って接続し、それによってペン曲線を生成することと、
所定の幅を有する前記ペン曲線に基づいて、再構成されたストロークをレンダリングすることと、を含む、請求項１に記載の方法。

【請求項3】

前記所定の幅は、ストロークの平均幅である、請求項２に記載の方法。

【請求項4】

前記所定の幅は、他の前景マーカ色と比較して、前景マーカ色ごとに変動する、請求項２に記載の方法。

【請求項5】

変曲点を接続することは、前記変曲点にスプライン補間を適用することを含む、請求項２に記載の方法。

【請求項6】

前記スプライン補間は、平滑化スプライン補間である、請求項５に記載の方法。

【請求項7】

前記平滑化スプライン補間は、三次平滑化スプライン補間である、請求項６に記載の方法。

【請求項8】

ホワイトボードを定義することは、
内部が白色の長方形を検出することと、
前記ホワイトボードのアスペクト比を特定することと、
を更に含む、請求項１に記載の方法。

【請求項9】

ホワイトボードを定義することは、台形補正を更に含む、請求項８に記載の方法。

【請求項10】

背景白色を特定し、背景白色ピクセルを識別することは、
前記ホワイトボード内の各ピクセルを代替的な色空間に変換することと、
その色空間におけるピクセルのクラスタのヒストグラムを生成することと、
最頻色を特定することと、
を更に含み、
前記最頻色は、前記背景白色として定義される、請求項１に記載の方法。

【請求項11】

前記代替的な色空間は、ＨＳＶ、ＹＣｂＣｒ、ＹＰｂＰｒ、ＴＳＬ、ＣＩＥＬＡＢおよびＣＩＥＬＵＶ空間のうちの１つである、請求項１０に記載の方法。

【請求項12】

背景白色を特定し、背景白色ピクセルを識別することは、局所パッチのための多数の局所背景白色を推定することを更に含む、請求項１０に記載の方法。

【請求項13】

前記局所パッチは、多数のピクセルの各々を取り囲む、２０×２０、５０×５０、および７５×７５の寸法のうちの１つである、請求項１２に記載の方法。

【請求項14】

前記多数のピクセルは、前記ホワイトボード内の各ピクセルを含む、請求項１３に記載の方法。

【請求項15】

多数の局所背景白色を推定することは、局所パッチごとに代替的な色空間においてピクセルのクラスタリングを行うことを更に含み、
前記代替的な色空間は、ＨＳＶ、ＹＣｂＣｒ、ＹＰｂＰｒ、ＴＳＬ、ＣＩＥＬＡＢおよびＣＩＥＬＵＶ空間のうちの１つである、請求項１２に記載の方法。

【請求項16】

局所パッチごとに背景白色ピクセルのバイナリマスクを生成することと、
ピクセルが全ての局所パッチの所定のパーセンテージ以上において背景白色である場合、前記ピクセルを背景白色として分類することと、
を更に含む、請求項１５に記載の方法。

【請求項17】

前記所定のパーセンテージは９０％である、請求項１６に記載の方法。

【請求項18】

ピクセルが背景白色として分類されない場合、そのピクセルを前景ピクセルとして分類することを更に含む、請求項１６に記載の方法。

【請求項19】

前記代替的な色空間は、ＨＳＶ、ＹＣｂＣｒ、ＹＰｂＰｒ、ＴＳＬ、ＣＩＥＬＡＢおよびＣＩＥＬＵＶ空間のうちの１つである、
請求項１に記載の方法。

【請求項20】

イメージセンサ色平面ごとに、前景マーカ色として分類された各ピクセルを取り囲む局所パッチ内で極大輝度を有する背景白色ピクセルを識別することと、
前記背景白色ピクセルの前記極大輝度で除算することによって前景マーカピクセルの値を正規化することと、
を更に含む、請求項１９に記載の方法。

【請求項21】

前記局所パッチは、前景マーカ色として分類された前記ピクセルを取り囲む、２０×２０、５０×５０、および７５×７５の寸法のうちの１つである、請求項２０に記載の方法。

【請求項22】

イメージセンサ色平面ごとに、前景マーカ色として分類された前記ピクセルを取り囲む前記局所パッチにおいて、最も暗い輝度を有する前景マーカ色ピクセルを識別することと、
前景マーカピクセルとして分類された前記ピクセルの前記値を、前記最も暗い輝度を減算することによって正規化し、それによって前記イメージセンサ色平面の正規化されたグレースケールイメージを導出することと、
を更に含む、請求項２１に記載の方法。

【請求項23】

イメージセンサ色平面ごとに前記正規化されたグレースケールイメージをマージすることによって、高分解能グレースケールイメージを生成することを更に含む、請求項２２に記載の方法。

【請求項24】

前記高分解能グレースケールイメージにおいて対応する前景マーカ色として分類された各ピクセルに前記最も典型的な前景マーカ色を適用することによって、高分解能カラーイメージを再構成することを更に含み、
前記最も典型的な前景マーカ色は、前記対応する前景マーカ色のメディアンおよび平均のうちの１つである、請求項２３に記載の方法。

【請求項25】

前記ホワイトボードビデオ信号の時系列を比較することによって、前記ホワイトボードのビューを間欠的に遮る人物を除去することと、
静止していると判断されたイメージからのみホワイトボードデータを取り込むことと、を更に含む、請求項１に記載の方法。

【請求項26】

ホワイトボード会議のために、未加工ホワイトボードビデオイメージからタイムスタンプを付されたホワイトボードデータを生成するためのシステムであって、
前記システムは、
前記未加工ホワイトボードビデオイメージからホワイトボードを検出するように適合されたホワイトボード検出ユニットと、
大域背景白色を定義し、ピクセルを背景白色として分類するように適合された背景ユニットと、
各前景マーカ色を定義し、ピクセルを前景マーカ色として分類し、およびｉ）代替的な色空間において前景ピクセルのクラスタリングを行うことと、ｉｉ）前記クラスタリングに基づいて、前景ピクセルを前景マーカ色として分類することと、（ｉｉｉ）前景マーカ色ごとにバイナリマスクを生成することとにより色正規化を行うように適合された前景マーカユニットであって、各前景マーカ色は、その前景マーカ色として分類された全てのピクセルの最も典型的な色として定義され、前記最も典型的な色は、その前景マーカ色のメディアンおよび平均のうちの１つである、前景マーカユニットと、
各前景マーカ色のストロークを再構成するように適合されたストロークデジタイザと、
タイムスタンプに関連付けられた、再構成されたホワイトボードイメージをレンダリングするように適合されたディスプレイと、
を備え、
各ストロークは前記未加工ホワイトボードビデオイメージに基づくタイムスタンプと関連付けられる、システム。

【請求項27】

前記ストロークデジタイザは、（ｉ）前景マーカ色のストロークの断面からの変曲点を、その長さに沿って接続し、それによってペン曲線を生成することと、（ｉｉ）所定の幅を有する前記ペン曲線に基づいて、再構成されたストロークをレンダリングすることと、によって前記再構成されたストロークを生成するように更に適合される、請求項２６に記載のシステム。

【請求項28】

前記所定の幅は、前記ストロークの平均幅である、請求項２７に記載のシステム。

【請求項29】

前記所定の幅は、他の前景マーカ色と比較して、前景マーカ色ごとに変動する、請求項２７に記載のシステム。

【請求項30】

前記ストロークデジタイザは、前記変曲点にスプライン補間を適用することによって前記ペン曲線を導出するように更に適合される、請求項２７に記載のシステム。

【請求項31】

前記スプライン補間は、平滑化スプライン補間である、請求項３０に記載のシステム。

【請求項32】

平滑化スプライン補間は、三次平滑化スプライン補間である、請求項３１に記載のシステム。

【請求項33】

前記背景ユニットは、局所パッチのための多数の局所背景白色を推定し、背景白色のためのバイナリマスクを生成するように更に適合される、請求項２６に記載のシステム。

【請求項34】

前記局所パッチは、多数のピクセルの各々を取り囲む、２０×２０、５０×５０、および７５×７５の寸法のうちの１つである、請求項３３に記載のシステム。

【請求項35】

前記多数のピクセルは、前記ホワイトボード内の各ピクセルを含む、請求項３４に記載のシステム。

【請求項36】

前記前景マーカユニットは、前景色として分類された各前景ピクセルを取り囲む局所パッチに基づいて、前景マーカ色ごとに別個に、およびイメージセンサ色平面ごとに別個に、色を正規化するように更に適合される、請求項２６に記載のシステム。

【請求項37】

前記前景マーカユニットは、前記局所パッチ内で識別された、最大局所背景白色および前景色ピクセルの最も暗い輝度に基づいて色を正規化するように更に適合される、請求項３６に記載のシステム。

【請求項38】

前記前景マーカユニットは、イメージセンサ色平面ごとに別個に正規化されたグレースケールイメージを生成し、それによって、イメージセンサ色平面とごとに別個に正規化されたグレースケールイメージを組み合わせることによって、高分解能のグレースケールイメージを生成するように更に適合される、請求項３７に記載のシステム。

【請求項39】

前記前景マーカユニットは、高分解能グレーイメージにおいて対応する前景マーカ色として分類された各ピクセルに前記定義された前景マーカ色を適用することによって高分解能カラーイメージを再構成するように更に適合される、請求項３８に記載のシステム。

【請求項40】

再構成されたストロークを、それらのタイムスタンプに基づいてインデックス付けし、
前記ディスプレイにおいて、ユーザによって指定されたストロークに対応する前記未加工ホワイトボードビデオイメージの一部を再生するように適合されたビデオストロークレビュアを更に備える、請求項２６に記載のシステム。

【請求項41】

前記ディスプレイは、タッチスクリーン入力を受信するように更に適合される、請求項４０に記載のシステム。

【請求項42】

ユーザからの単語入力に基づいて再構成されたストロークを検索し、この単語入力に対応する再構成されたストロークが見つかった場合、これを識別し、前記ディスプレイにおいて、前記再構成されたストロークを所定の色で強調するように適合された単語検出器を更に備える、請求項２６に記載のシステム。

【請求項43】

ユーザからの音声入力に基づいて前記未加工ホワイトボードビデオイメージの信号を検索し、この音声入力に対応する再構成されたストロークが見つかった場合、これを識別し、前記ディスプレイにおいて、前記再構成されたストロークを所定の色で強調するように適合された音声検出器を更に備える、請求項２６に記載のシステム。

【請求項44】

前記ディスプレイは、ユーザの入力に対応する再構成されたストロークの隣にクラウドグラフィックを表示するように適合されたワードクラウドパブリッシャを更に備える、請求項２６に記載のシステム。

【請求項45】

前記ホワイトボード会議の参加者のバイオメトリック署名を記憶し、それによって、前記参加者の前記バイオメトリック署名のうちの１つに基づいて前記参加者が識別されることを可能にするように適合されたバイオメトリックデータベースを更に備える、請求項２６に記載のシステム。

【請求項46】

前記バイオメトリック署名は、ストローク署名、顔署名、および音声署名のうちの１つである、請求項４５に記載のシステム。

【請求項47】

複数の参加者のためのホワイトボードビデオ連携システムであって、
請求項４５に記載のシステムと、
前記バイオメトリックデータベースにおける前記参加者の対応する署名のうちの１つに基づいて、タイムスタンプを付されたホワイトボードデータを参加者に配信するように適合されたメッセージングユニットと、
を備える、ホワイトボードビデオ連携システム。

【請求項48】

前記メッセージングユニットは、Ｓｌａｃｋ、Ｆａｃｅｂｏｏｋ Ｗｏｒｋｐｌａｃｅ、Ｃｉｓｃｏ Ｓｐａｒｋ、Ｍｉｃｒｏｓｏｆｔ Ｔｅａｍｓ、ＨｉｐＣｈａｔ、およびＥｍａｉｌのうちの１ つである、請求項４７に記載のホワイトボードビデオ連携システム。

【請求項49】

前記メッセージングユニットは、ホワイトボードジェスチャを認識するように更に適合され、前記ホワイトボードジェスチャは、前記ホワイトボード上の四角形、タップ、ドットおよびハッシュタグを含む、請求項４８に記載のホワイトボードビデオ連携システム。

【請求項50】

前記メッセージングユニットは、（ｉ）再構成されたホワイトボードイメージ内のハッシュタグを検出し、（ｉｉ）前記検出されたハッシュタグ領域と、所定のユーザチャネルとの間の一致を特定し、（ｉｉｉ）前記検出されたハッシュタグ領域内の前記再構成されたホワイトボードイメージを前記一致したユーザチャネルに投稿するように適合される、請求項４９に記載のホワイトボードビデオ連携システム。

【請求項51】

前記ディスプレイは、所定の時刻より後のタイムスタンプを有する再構成されたストロークのみを示し、それによって、前記複数の参加者が、前記所定の時刻から仮想連携セッションを始めることを可能にするように更に適合される、請求項４７に記載のホワイトボードビデオ連携システム。

【請求項52】

アナログホワイトボードイメージを再構成するシステムであって、
請求項２６に記載のシステムと、
前記ディスプレイに接続されたインクプリンタと、
を備え、
前記インクプリンタは、前記ディスプレイ内の前記再構成されたホワイトボードイメージに基づいてホワイトボードプリントアウトを出力するように適合される、アナログホワイトボードイメージを再構成するシステム。

【請求項53】

前記インクプリンタは、前記ホワイトボードプリントアウトのサイズを調整するように更に適合される、請求項５２に記載のアナログホワイトボードイメージを再構成するシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、包括的には、ホワイトボードを用いたビデオ会議に関する。特に、本開示は、タイムスタンプを付されたホワイトボードデータを取り込み、高分解能のホワイトボードイメージを生成するためのシステムおよび方法に関する。より詳細には、関連するバイオメトリクス情報に基づいて、参加者がタイムラプスホワイトボードデータにアクセスし、システムおよび他の参加者とコミュニケーションすることが可能にされる、メッセージングユーティリティを含むインテリジェントホワイトボードビデオ連携システムが提供される。

【背景技術】

【0002】

ホワイトボードは、産業場面および学術場面にわたる対面のミーティングおよびビデオ会議になくてはならないものである。しかしながら、ホワイトボードから内容またはデータを取り込むことは、中でも、照明、ホワイトボード上の反射、色およびストロークの不適切な分解能、および動いている物体または人による遮蔽を含む様々なアーチファクトがあると、いくつかの独自の困難が課される。既存のビデオカメラおよびビデオ会議ハードウェアは、所望の精度および分解能でホワイトボードの内容およびデータを取り込むのに最適化されていない。通例、ホワイトボードからデータを抽出するために光学文字認識技術を適用することができるものの、そのようなデータの使用可能性および精度は限られている。

【0003】

したがって、ホワイトボードデータを取り込み、高分解能のホワイトボードイメージを生成するための改善された方法およびシステムが必要とされている。参加者によるインテリジェントデータアクセスおよびコミュニケーションを可能にするために、最適化されたホワイトボード連携システムが更に必要とされている。

【発明の概要】

【発明が解決しようとする課題】

【0004】

したがって、本開示の目的は、ホワイトボードから内容およびデータを抽出し、高分解能イメージを生成するための方法およびシステムを提供することである。本開示の更なる目的は、時刻および参加者の関連するバイオメトリクスに基づいて、ホワイトボードの内容へのインテリジェントデータアクセスと、ホワイトボードビデオ会議システムにおける参加者間のコミュニケーションとを可能にするユーティリティを提供することである。

【課題を解決するための手段】

【0005】

特に、本開示によれば、１つの実施形態において、ホワイトボードビデオ信号からタイムスタンプを付されたデータを取り込むための方法が提供される。本方法は、ホワイトボードの４つの角部を計算し、それによってホワイトボードを定義することと、背景白色を特定し、背景白色ピクセルを識別することと、前景マーカ色ごとおよび前景ピクセルごとに色正規化を行うことと、所定の幅を有する前景マーカ色ごとにストロークを再構成することとを含む。各ストロークはホワイトボードビデオ信号に基づいてタイムスタンプと関連付けられる。

【0006】

別の実施形態において、ストロークを再構成することは、前景マーカ色のストロークの断面からの変曲点を、その長さに沿って接続し、それによってペン曲線を生成することと、所定の幅を有するペン曲線に基づいて、再構成されたストロークをレンダリングすることとを含む。

【0007】

更に別の実施形態において、所定の幅は、ストロークの平均幅である。更なる実施形態において、所定の幅は、前景マーカ色ごとに変動する。

【0008】

別の実施形態において、変曲点を接続することは、変曲点にスプライン補間を適用することを含む。更に別の実施形態において、スプライン補間は、平滑化スプライン補間である。更なる実施形態において、スプライン補間は、三次平滑化スプライン補間である。

【0009】

更に別の実施形態において、ホワイトボードを定義することは、内部が白色の長方形を検出することと、ホワイトボードのアスペクト比を特定することとを更に含む。更なる実施形態において、ホワイトボードを定義することは、台形補正を適用することを更に含む。

【0010】

別の実施形態において、背景白色を特定し、背景白色ピクセルを識別することは、ホワイトボード内の各ピクセルを代替的な色空間に変換することと、その色空間におけるピクセルのクラスタのヒストグラムを生成することと、最頻色を特定することとを更に含む。最頻色は背景白色として定義される。

【0011】

更なる実施形態において、代替的な色空間は、ＨＳＶ、ＹＣｂＣｒ、ＹＰｂＰｒ、ＴＳＬ、ＣＩＥＬＡＢおよびＣＩＥＬＵＶ空間のうちの１つである。

【0012】

別の実施形態において、背景白色を特定し、背景白色ピクセルを識別することは、局所パッチのための多数の局所背景白色を推定することを更に含む。更に別の実施形態において、局所パッチは、多数のピクセルの各々を取り囲む、２０×２０、５０×５０、および７５×７５の寸法のうちの１つである。更なる実施形態において、多数のピクセルは、ホワイトボード内の各ピクセルを含む。別の実施形態において、多数の局所背景白色を推定することは、局所パッチごとに代替的な色空間においてピクセルのクラスタリングを行うことを更に含む。

【0013】

別の実施形態において、方法は、局所パッチごとに背景白色ピクセルのバイナリマスクを生成することと、ピクセルが全ての局所パッチの所定のパーセンテージを超えて背景白色である場合、そのピクセルを背景白色として分類することとを更に含む。更なる実施形態において、所定のパーセンテージは９０％である。別の実施形態において、背景白色として分類されないピクセルは、前景ピクセルとして分類される。

【0014】

別の実施形態によれば、前景マーカ色ごとおよび前景ピクセルごとに色正規化を行うことは、代替的な色空間において前景ピクセルのクラスタリングを行うことであって、代替的な色空間は、ＨＳＶ、ＹＣｂＣｒ、ＹＰｂＰｒ、ＴＳＬ、ＣＩＥＬＡＢおよびＣＩＥＬＵＶ空間のうちの１つであることと、クラスタリングに基づいて前景ピクセルを前景マーカ色として分類することであって、各前景マーカ色は、その前景マーカ色として分類された全てのピクセルの最も典型的な（平均またはメディアン）色として定義されることと、前景マーカ色ごとにバイナリマスクを生成することとを更に含む。

【0015】

別の実施形態において、本方法は、イメージセンサ色平面ごとに、前景マーカ色として分類された各ピクセルを取り囲む局所パッチ内で極大輝度を有する背景白色ピクセルを識別することと、背景白色ピクセルの極大輝度で除算することによって前景マーカピクセルの値を正規化することとを更に含む。局所パッチは、前景マーカ色として分類されたピクセルを取り囲む、２０×２０、５０×５０、および７５×７５の寸法のうちの１つである。

【0016】

更に別の実施形態において、本方法は、イメージセンサ色平面ごとに、前景マーカ色として分類されたピクセルを取り囲む局所パッチにおいて、最も暗い輝度を有する前景マーカ色ピクセルを識別することと、前景マーカピクセルとして分類されたピクセルの値を、最も暗い輝度を減算することによって正規化し、それによってイメージセンサ色平面の正規化されたグレースケールイメージを導出することとを更に含む。

【0017】

更なる実施形態において、本方法は、イメージセンサ色平面ごとに正規化されたグレースケールイメージをマージすることによって、高分解能グレースケールイメージを生成することを更に含む。

【0018】

別の実施形態において、本方法は、高分解能グレースケールイメージにおいて対応する前景マーカ色として分類された各ピクセルに最も典型的な（平均またはメディアン）前景マーカ色を適用することによって、高分解能カラーイメージを再構成することを更に含む。

【0019】

更に別の実施形態において、ホワイトボードビデオ信号の時系列を比較することと、静止していると判断されたイメージからのみホワイトボードデータを取り込むこととによって、動いている人物によるビューの間欠的遮蔽が除去される。

【0020】

本開示によれば、別の実施形態において、ホワイトボード会議のために、未加工ホワイトボードビデオ信号からタイムスタンプを付されたホワイトボードデータを生成するためのシステムが提供される。本システムは、未加工ホワイトボードビデオイメージ信号からホワイトボードを検出するように適合されたホワイトボード検出ユニットと、大域背景白色を定義し、ピクセルを背景白色として分類するように適合された背景ユニットと、各前景マーカ色を定義し、ピクセルを前景マーカ色として分類するように適合された前景マーカユニットと、各前景マーカ色のストロークを再構成するように適合されたストロークデジタイザであって、各ストロークは未加工ホワイトボードビデオ信号に基づくタイムスタンプと関連付けられる、ストロークデジタイザと、タイムスタンプに関連付けられた、再構成されたホワイトボードイメージをレンダリングするように適合されたディスプレイとを備える。

【0021】

更に別の実施形態において、ストロークデジタイザは、前景マーカ色のストロークの断面からの変曲点を、その長さに沿って接続し、それによってペン曲線を生成することと、所定の幅を有するペン曲線に基づいて、再構成されたストロークをレンダリングすることとによって再構成されたストロークを生成するように更に適合される。

【0022】

更なる実施形態において、所定の幅は、ストロークの平均幅である。別の実施形態において、所定の幅は、前景マーカ色ごとに変動する。

【0023】

更に別の実施形態において、ストロークデジタイザは、変曲点にスプライン補間を適用することによってペン曲線を導出するように更に適合される。更なる実施形態において、スプライン補間は、平滑化スプライン補間である。別の実施形態において、スプライン補間は、三次平滑化スプライン補間である。

【0024】

更なる実施形態において、背景ユニットは、局所パッチのための多数の局所背景白色を推定し、局所背景白色のためのバイナリマスクを生成するように更に適合される。局所パッチは、多数のピクセルの各々を取り囲む、２０×２０、５０×５０、および７５×７５の寸法のうちの１つである。更に別の実施形態において、多数のピクセルは、ホワイトボード内の各ピクセルを含む。

【0025】

別の実施形態によれば、前景マーカユニットは、前景色として分類された各前景ピクセルを取り囲む局所パッチに基づいて、前景マーカ色ごとに別個に、およびイメージセンサ色平面ごとに別個に、色を正規化するように更に適合される。更に別の実施形態において、前景マーカユニットは、局所パッチ内で識別された、局所背景白色最大および前景色ピクセルの最も暗い輝度に基づいて色を正規化するように更に適合される。

【0026】

更なる実施形態において、前景マーカユニットは、イメージセンサ色平面ごとに別個に正規化されたグレースケールイメージを生成し、それによって、イメージセンサ色平面とごとに別個に正規化されたグレースケールイメージを組み合わせることによって、高分解能のグレースケールイメージを生成するように更に適合される。別の実施形態において、前景マーカユニットは、高分解能グレーイメージにおいて対応する前景マーカ色として分類された各ピクセルに定義された前景マーカ色を適用することによって高分解能カラーイメージを再構成するように更に適合される。

【0027】

別の実施形態によれば、システムは、再構成されたストロークを、それらのタイムスタンプに基づいてインデックス付けし、ディスプレイにおいて、ユーザによって指定されたストロークに対応するホワイトボードビデオイメージの一部を再生するように適合されたビデオストロークレビュアを更に備える。

【0028】

更に別の実施形態において、ディスプレイは、タッチスクリーン入力を受信するように更に適合される。

【0029】

別の実施形態において、システムは、ユーザからの単語入力に基づいて再構成されたストロークを検索し、この単語入力に対応する再構成されたストロークが見つかった場合、これを識別し、ディスプレイにおいて、見つかった再構成されたストロークを所定の色で強調するように適合された単語検出器を更に備える。

【0030】

更に別の実施形態において、システムは、ユーザからの音声入力に基づいてホワイトボードビデオイメージ信号を検索し、この音声入力に対応する再構成されたストロークが見つかった場合、これを識別し、ディスプレイにおいて、見つかった再構成されたストロークを所定の色で強調するように適合された音声検出器を更に備える。

【0031】

更なる実施形態において、ディスプレイは、ユーザの入力に対応する再構成されたストロークの隣にクラウドグラフィックを表示するように適合されたワードクラウドパブリッシャを更に備える。

【0032】

別の実施形態において、システムは、ホワイトボード会議の参加者のバイオメトリック署名を記憶し、それによって、参加者のバイオメトリック署名のうちの１つに基づいて参加者が識別されることを可能にするように適合されたバイオメトリックデータベースを更に備える。更に別の実施形態では、バイオメトリックデータベースは、参加者のストローク署名、顔署名、および音声署名のうちの１つを記憶するように適合される。

【0033】

本開示によれば、更なる実施形態において、複数の参加者のためのホワイトボードビデオ連携システムが提供される。システムは、バイオメトリックデータベースにおける参加者の対応する署名のうちの１つに基づいて、タイムラプスデータを含むホワイトボードデータを参加者に配信するように適合されたメッセージングユニットを更に備える。

【0034】

別の実施形態において、メッセージングユニットは、Ｓｌａｃｋ、Ｆａｃｅｂｏｏｋ Ｗｏｒｋｐｌａｃｅ、Ｃｉｓｃｏ Ｓｐａｒｋ、Ｍｉｃｒｏｓｏｆｔ Ｔｅａｍｓ、ＨｉｐＣｈａｔ、およびＥｍａｉｌのうちの１つである。更に別の実施形態において、メッセージングユニットは、ホワイトボードジェスチャを認識するように更に適合される。ホワイトボードジェスチャは、ホワイトボード上の四角形、タップ、ドットおよびハッシュタグを含む。

【0035】

更なる実施形態において、メッセージングユニットは、再構成されたホワイトボードイメージ内のハッシュタグを検出し、検出されたハッシュタグ領域と、所定のユーザチャネルとの間の一致を特定し、検出されたハッシュタグ領域内の再構成されたホワイトボードイメージを一致したユーザチャネルに投稿するように適合される。

【0036】

別の実施形態によれば、ディスプレイは、所定の時刻より後のタイムスタンプを有する再構成されたストロークのみを示し、それによって、複数の参加者が、所定の時刻から仮想連携セッションを始めることを可能にするように更に適合される。

【0037】

本開示によれば、別の実施形態において、アナログホワイトボードイメージを再構成するシステムが提供される。システムは、ディスプレイ内の再構成されたホワイトボードイメージに基づいてホワイトボードプリントアウトを出力するように適合されたインクプリンタを更に備える。更なる実施形態において、インクプリンタは、ホワイトボードプリントアウトのサイズを調整するように更に適合される。

【図面の簡単な説明】

【0038】

【図1】本開示の１つの実施形態による、背景白色を定義し、背景白色ピクセルを分類するための方法を概説する。

【図2】別の実施形態による、前景マーカ色の色正規化、および前景マーカ色ピクセルの分類のための方法を概説する。

【図3】別の実施形態による、前景マーカ色正規化のためのピクセルのクラスタのヒストグラムを示す。

【図4】別の実施形態による、高分解能グレースケールイメージを生成するためにマージされている個々の色平面を示す。

【図5】別の実施形態による、ストローク再構成のための変曲点を示す。

【発明を実施するための形態】

【0039】

様々な実施形態において、ホワイトボードビデオ信号からタイムスタンプを付されたデータを取り込み、高分解能のホワイトボードイメージを生成するためのシステムおよび方法が提供される。１つの実施形態によるインテリジェントホワイトボード連携システムは、メッセージングユーティリティを含み、このメッセージングユーティリティによって、参加者は、関連するバイオメトリクス情報に基づいて、タイムラプスホワイトボードデータにアクセスし、システムおよび他の参加者とコミュニケーションすることを可能にされる。

【0040】

別の実施形態によれば、背景白色および前景マーカ色を定義する際に、代替的な色空間において大域的および局所的にクラスタリングが行われる。特定の実施形態では、背景白色ピクセルおよび前景マーカ色ごとの前景色ピクセルを分類する際に、ホワイトボードにおける多数のピクセルを取り囲む局所パッチが用いられる。１つの実施形態によれば、局所パッチにおける最大局所背景白色および最も暗いピクセル輝度を利用して、前景マーカ色として分類された前景ピクセルごと、およびイメージセンサ色平面ごとに別個に色正規化が行われる。別の実施形態では、所定の幅を有する前景マーカ色の各ストロークの長さに沿った断面の変曲点のスプライン補間に基づいてストロークが再構成される。

【0041】

１．ホワイトボード検出および背景最適化
ホワイトボードの内容を取り込むために、特定の実施形態において、カメラは、広い視野（例えば、１００°～１８０°のＨＦＯＶ）、高分解能センサ（例えば、１２ＭＰ超）、およびイメージセンサよりも分解能が高い光学レンズを有する。特定の実施形態において、そのようなカメラは、二重のイメージパイプラインを有し、一方は、デジタルパンチルトズーム（ＰＴＺ）動作を可能にする、ビデオストリームのためものものであり、他方はホワイトボードの内容のためのものである。

【0042】

１つの実施形態において、イメージのホワイトボード領域は、内部が白色の長方形と、そのような長方形の４つの角部とを含む、ホワイトボードに関連した特徴を調査することによって検出される。別の実施形態では、ホワイトボード平面は、カメラの光軸に対し垂直ではなく、アスペクト比が特定される。他の実施形態では、ホワイトボードの正しい取り込みを可能にするために、続いて台形補正が行われる。

【0043】

代替的な実施形態では、インテリジェントホワイトボード連携システムのユーザまたは参加者は、システムが検出した領域が実際にホワイトボード入力領域内にあるか否かを確認するオプションを与えられる。別の実施形態では、ユーザまたは参加者は、ホワイトボードの４つの角部を識別または確認するオプションを与えられる。

【0044】

ホワイトボードビュー内の人物または物体の間欠的動きは、記録され、連続イメージにおける変化を比較することによって解明される。別の実施形態によれば、イメージのうち、「静止」として分類された一部のみが保持され、ホワイトボード検出およびデータ取り込みにおいて用いられる。これにより、ホワイトボードビデオ取り込みの全体シーケンス中に、カメラビューから永続的に遮られたホワイトボードの部分がないという仮定の下で、ホワイトボード、およびビューの間欠的遮蔽のないその内容の完全な取り込みが可能になる。

【0045】

ホワイトボードが検出または定義されると、ホワイトボードの背景白色が特定され、背景白色ピクセルが分類される。

【0046】

ホワイトボードの投じられた影および汚れた表面からのアーチファクト等の一般的なアーチファクトに起因して、ホワイトボードの背景白色は、多くの場合、一貫して完全な白色の色調ではない。これにより、所望の分解能でホワイトボードイメージを生成し、所望の精度でホワイトボードの内容を抽出することに問題が課される。本開示のシステムおよび方法は、これらの問題を軽減し、各ピクセルを取り囲む局所パッチからのデータを利用したホワイトボード背景特定を最適化する。

【0047】

１つの実施形態において、代替的な色空間におけるピクセルのクラスタリングが行われる。代替的な色空間は、ＨＳＶ、ＹＣｂＣｒ、ＹＰｂＰｒ、ＴＳＬ、ＣＩＥＬＡＢまたはＣＩＥＬＵＶ空間である。例えば、初期のデモザイク処理後に、ピクセルはＲＧＢ空間からＨＳＶ空間に変換される。図１（２）を参照されたい。ＨＳＶ空間におけるピクセルの２次元ヒストグラム（色相および飽和）が生成され、クラスタリング分析が行われる。１つの実施形態によれば、ホワイトボードにおけるピクセルのほとんどが背景白色であると仮定して、最も高い周波数を有する色（色相および飽和）が（大域的）背景白色として特定される。図１（３）を参照されたい。

【0048】

更なる実施形態では、メディアンフィルタリングは、任意選択により、背景白色ピクセルごとおよびカラーチャネルごとに別個にピクセルの小さなマージン（５×５）を有して実行される。

【0049】

図１（４～６）を参照すると、各ピクセルを取り囲む、比較的小さな寸法、例えば、２０×２０、５０×５０または７５×７５を有するピクセルの局所パッチが選択される。そのような局所パッチのためにＨＳＶ空間において２次元色相－飽和散布図が生成される。１つの実施形態では、（大域）背景白色からデルタより離れたピクセルが除去され、残りのピクセルは、背景白色ピクセルとして事前に分類される。図１（７～８）を参照されたい。全ての５０×５０の局所パッチについて背景白色ピクセルのためのバイナリマスクが生成される。図１（９）を参照されたい。１つの実施形態において、全ての局所パッチにＡＮＤ演算子が適用され、それによって、（大域）背景白色ピクセルが、全ての局所パッチにおいて背景白色である場合にのみ、このピクセルの分類を確認する。代替的な実施形態では、局所パッチにＯＲ演算子が適用され、それによって、（大域）背景白色ピクセルが、局所パッチの少なくとも１つにおいて背景白色として示される場合に、このピクセルの分類を確認する。

【0050】

別の実施形態では、ピクセルは、局所パッチの所定のパーセンテージにわたって背景白色である場合、（大域）背景白色ピクセルとして最終的に分類される。いくつかの実施形態において、所定のパーセンテージは９０％である。図１（１０）を参照されたい。

【0051】

２．色正規化
背景白色ピクセルとして分類されない全てのピクセルは、前景ピクセルとみなされる。ピクセルは、初期デモザイク処理後に、前景マーカ色に属する前景ピクセルとして事前に分類することができる。１つの実施形態における背景白色の特定および背景白色ピクセルの分類に続いて、残りのピクセルが、前景ピクセルとして確認される。次に、前景ピクセルに対し、更なる処理および高度な色正規化が行われる。

【0052】

図２（１）を参照すると、例えば、前景ピクセルのクラスタの２次元ヒストグラムが、ＨＳＶ空間等の代替的な色空間において生成される。独自の前景マーカ色に対し、クラスタリング分析が行われる。１つの実施形態では、本開示のインテリジェントホワイトボード連携システムにおいて、最大で１２の前景マーカ色が許容される。図３を参照すると、例えば、ここでは４つの別個のクラスタ（黒、緑、青、赤）が各前景マーカ色を互いに区別する。ｘ軸における色相は、このクラスタリング分析において、主な差別化要因である。

【0053】

クラスタリング分析に基づいて、各前景マーカ色のためのバイナリマスクが生成される。各前景マーカ色の最も典型的な色（平均またはメディアン）が推定される。これは、１つの実施形態によればその前景マーカ色として特定される。図２（２）を参照されたい。

【0054】

特定の実施形態において、各前景マーカピクセルの周りの所定の数のピクセルの小さなマージンが、更なる処理のための前景マーカピクセルの拡張を可能にするように追加される。１つの実施形態では、小さなマージンは、５×５である。

【0055】

図２（３）を参照すると、イメージセンサ色平面ごとに別個に、各前景色ピクセルの値が、その前景色ピクセルを取り囲む局所パッチにおける背景白色ピクセルの極大輝度で除算することによって正規化される。様々な実施形態において、局所パッチは、各前景色ピクセルを取り囲む２０×２０、５０×５０、または７５×７５ピクセルの寸法である。図２（４）を参照すると、イメージセンサ色平面ごとに別個に、各前景色ピクセルの値が、その前景色ピクセルを取り囲む局所パッチにおける前景ピクセルの最も暗い輝度を減算することにより更に正規化される。

【0056】

ベイヤ領域における、最大背景白色ピクセルと、最も暗い前景色ピクセルとを用いた上記の局所パッチベースの正規化に続いて、イメージセンサ色平面ごとの正規化されたグレースケール（白黒）イメージが生成される。図４を参照すると、１つの実施形態では、次に、個々の色平面をマージすることによって、高分解能のグレースケールイメージが作成される。特に、ここで示されるように、４つの正規化されたイメージセンサ色平面Ｒ、Ｂ、Ｇｒ、Ｇｂが１つの白黒イメージにマージされる。イメージセンサのベイヤパターンピクセル部位に対応してピクセル位置がシフトされる。

【0057】

１つの実施形態によれば、最後に、色正規化を完了させるために、高分解能グレースケールイメージ内の全ての前景ピクセルが、対応する前景マーカ色の最も典型的な色（平均またはメディアン）を適用することによって「着色」され、それによって、ホワイトボードの高分解能カラーイメージが再構成される。図３（６）を参照されたい。

【0058】

３．ストローク再構成
本開示の１つの実施形態によれば、インテリジェントホワイトボード連携システムにおけるアクセスのために、結果として得られるホワイトボードイメージの分解能および一貫性、ならびにホワイトボードデータおよび内容の精度を改善するために、全ての前景マーカ色のストロークが再構成または「デジタル化」される。

【0059】

図５を参照すると、グレースケールイメージに対し動作して、各ストロークの最急上昇および降下が調べられ、ストロークの断面からの変曲点が識別される。変曲点を接続することによってペン曲線が作成され、ペン曲線に基づいて、所定の幅を採用して再構成されたストロークがレンダリングされる。１つの実施形態における所定の幅は、対応する前景マーカ色の全てのストロークの平均幅である。別の実施形態によれば、様々な前景マーカ色のための再構成されたストロークは、変動する幅を採用する。特定の実施形態において、各前景色のストローク幅は、ホワイトボード連携システムのユーザによって選択することができる。

【0060】

１つの実施形態によれば、変曲点を接続する際に、スプライン補間が行われ、平滑化スプラインまたは三次平滑化スプラインが作成され、それによって、代替的な実施形態において対応するペン曲線が導出される。

【0061】

まとめると、様々な実施形態によれば、背景最適化、色正規化、およびストローク再構成時に、結果として得られる再構成されたホワイトボードイメージは、一貫した白色背景と、均一に着色されたストロークと、イメージセンサの元の分解能と比較して数倍高い分解能とを呈する。

【0062】

４．インテリジェントホワイトボード連携システム
１つの実施形態によれば、本開示のシステムは、ホワイトボード会議のための未加工ホワイトボードビデオ信号からタイムスタンプを付されたホワイトボードデータを生成するように適合される。システムは、ホワイトボード検出ユニット、背景ユニット、前景マーカユニット、ストロークデジタイザ、およびディスプレイを備える。様々な実施形態において、以下に論考される追加のコンポーネントの各々を含む、システムにおける各コンポーネントまたはユニットは、ハードウェア、ソフトウェア、ファームウェアまたはそれらの組合せとすることができる。各コンポーネントは、互いに電子的にまたはデジタルで接続され、それによって、データおよび信号が、システム内およびこれらのコンポーネント間で送信される。代替的な実施形態におけるディスプレイは、システムの他のコンポーネントに無線で接続される。別の実施形態では、システムは、各々がホワイトボード会議の個々のユーザまたは参加者によって操作または利用される多数のディスプレイを含む。

【0063】

ホワイトボード検出ユニットは、未加工ホワイトボードビデオイメージ信号から、ホワイトボードを検出および定義するように適合される。ホワイトボード検出ユニットは、イメージ信号の任意の非ホワイトボード領域を除去する。この発明を実施するための形態のセクション１において上記で検討したように、ホワイトボードの検出において様々な方法が利用される。

【0064】

背景ユニットは、大域背景白色を背景白色として定義し、ピクセルを背景白色として分類するように適合される。背景ユニットは、背景白色定義の一貫性および背景白色ピクセル分類の精度を改善するために、この発明を実施するための形態のセクション１において上記で検討したように、最適化技法を利用する。例えば、図１を参照されたい。例えば、背景ユニットは、背景白色ピクセルの分類において、ホワイトボード内の多数のピクセルを取り囲む局所パッチからのデータに依拠する。上記で検討したように、背景ユニットは、背景白色を定義する際に、代替的な色空間において大域的および局所的にピクセルのクラスタリングを行い、背景白色のためのバイナリマスクを生成する。例えば、図１を参照されたい。

【0065】

前景マーカユニットは、各前景マーカ色を定義し、ピクセルを前景マーカ色として分類するように適合される。前景マーカユニットは、前景ピクセルに対する色正規化を行うために、この発明を実施するための形態のセクション２において上記で検討したような様々な方法を用いる。例えば、図２を参照されたい。例えば、前景マーカユニットは、局所最大背景白色と、各前景ピクセルを取り囲む局所パッチにおける最も暗いピクセル輝度とを利用して、イメージセンサ色平面ごとに別個にその色を正規化する。

【0066】

更なる実施形態における前景マーカユニットは、イメージセンサ色平面ごとに別個に正規化されたグレースケールイメージを生成し、個々の色平面についてそのようなグレースケールイメージをマージして、より高い分解能のグレースケールイメージを形成する。例えば、図４を参照されたい。前景マーカユニットは、より高い分解能のグレーイメージにおける対応する前景マーカ色として分類された各ピクセルに定義された前景マーカ色を適用することによって、高分解能のカラーイメージを構築するように更に適合される。定義された前景マーカ色は、１つの実施形態において、その特定の前景マーカ色の平均またはメディアンである。

【0067】

ストロークデジタイザは、各前景マーカ色のストロークを再構成またはデジタル化するように適合される。各ストロークは、未加工ホワイトボードビデオ信号に基づいてタイムスタンプと関連付けられる。ストロークデジタイザは、各前景マーカ色のストロークを再構成するために、この発明を実施するための形態のセクション３において上記で検討したような様々な方法を用いる。例えば、図５を参照されたい。

【0068】

本開示のディスプレイは、タイムスタンプ情報を含む再構成されたホワイトボードイメージをレンダリングするように適合される。様々な実施形態によるディスプレイは、コンピュータ端末、タブレット、スマートフォン、モノのインターネット（「ＩｏＴ」）端末、およびバーチャルリアリティーまたは拡張現実（ＶＲ／ＡＲ）ディスプレイデバイスのうちの１つである。１つの実施形態において、ディスプレイは、タッチスクリーン対応である。別の実施形態では、ディスプレイは、音声入力対応である。ホワイトボード連携システムのユーザまたは参加者は、様々なタイプのディスプレイへのアクセスを有し、それらの全てが、システムおよび他のディスプレイとの通信に対応している。代替的な実施形態では、そのような通信は、有線、無線、Ｂｌｕｅｔｏｏｔｈ（登録商標）経由、または他のネットワーク接続経由である。

【0069】

別の実施形態では、システムは、ディスプレイに接続されたビデオストロークレビュアを更に備える。ストロークレビュアは、再構成されたストロークを、それらのタイムスタンプに基づいてインデックス付けし、ユーザによって指定された関心対象の１つ以上のストロークに対応するホワイトボードビデオイメージのセグメントをディスプレイにおいて再生するように適合される。ユーザは、レビューされるビデオのセグメントの時間の長さを指定することができる。１つの実施形態では、ユーザは、タッチスクリーン対応のディスプレイにおいて関心対象の単数または複数のストロークを強調することによってこれらを示す。別の実施形態では、ユーザは、マウスカーソルを用いてストロークを囲むことによってそのような関心対象を示す。代替的な実施形態において、ビデオストロークレビュアは、ディスプレイの一部である。別の実施形態において、ディスプレイに結合されたビデオストロークレビュアは、ユーザの関心対象に基づいて、再構成されたストロークのタイムラプスシーケンスを表示するように適合される。

【0070】

更なる実施形態におけるシステムは、ディスプレイに接続された単語検出器を含む。単語検出器は、ユーザからの単語入力に基づいて、再構成されたストロークを検索し、この単語入力に対応する再構成されたストロークが見つかった場合、これを識別するように適合される。単語検出器は、キーボード入力またはタッチスクリーン入力を受信するように適合される。単語検出器は、ディスプレイ内の再構成されたストロークを所定の色で強調するように更に適合される。１つの実施形態によれば、所定の色は、ユーザによって選択され、所定の色は、混乱を避けるために、システムにおいて認識されたいずれの前景マーカ色でもない。

【0071】

別の実施形態では、システムは、ディスプレイに接続された音声検出器を含む。音声検出器は、音声認識が可能である。音声検出器は、ユーザからの音声入力に基づいて、ホワイトボードビデオイメージ信号を検索し、この音声入力に対応する再構成されたストロークが見つかった場合、これを識別するように適合される。音声検出器は、ディスプレイにおいて、再構成されたストロークを所定の色で強調するように更に適合される。１つの実施形態によれば、所定の色は、ユーザによって選択される。混乱を避けるために、所定の色は、システムにおいて認識された任意の前景マーカ色と同じいずれの色も除外する。

【0072】

更なる実施形態において、ディスプレイは、内部にワードクラウドパブリッシャを更に備える。ワードクラウドパブリッシャは、ユーザの入力に対応する再構成されたストロークの隣にクラウドグラフィックを表示するように適合される。１つの実施形態において、ワードクラウドパブリッシャはソフトウェアユーティリティであり、ユーザが再構成されたホワイトボードイメージに対し直接注釈付けまたはコメントすることを可能にする。代替的な実施形態において、ワードクラウドパブリッシャは、関心対象の単数または複数のストロークに基づいてユーザまたは参加者に関心対象のキーワードを表示する。

【0073】

更なる実施形態における本開示のインテリジェントホワイトボード連携システムは、バイオメトリックデータベースを含む。バイオメトリックデータベースは、ホワイトボード会議の全ての参加者またはインテリジェントホワイトボード連携システムのユーザのバイオメトリック署名を記憶する。バイオメトリックデータベースは、参加者またはユーザが、ストローク署名、顔署名および音声署名を含む、参加者のバイオメトリック署名のうちの１つに基づいて識別されることを可能にする。データベースは、氏名、地位、組織および関心対象を含む、参加者またはユーザの他の識別情報も含む。そのようなシステムは、中でも、参加者のアイデンティティ、バイオメトリック署名および関心対象を含めて、システムのユーザまたは参加者に関して知ることが可能であるという意味でインテリジェントである。このため、本開示のインテリジェントホワイトボード連携システムは、以下で検討されるメッセージングユニット等のユーティリティまたはコンポーネントを用いて、システムのユーザまたは参加者による、およびこれらのユーザまたは参加者間でのスマートな情報共有およびコミュニケーションを可能にする。

【0074】

特定の実施形態によれば、インテリジェントホワイトボード連携システムは、メッセージングユニットを含む。メッセージングユニットは、参加者の関連するバイオメトリック署名または他の識別情報に基づいて、タイムラプスデータを含むホワイトボードデータを参加者に配信し、参加者が互いにコミュニケーションすることを可能にするように適合される。例えば、メッセージングユニットは、ホワイトボード会議における赤マーカを用いて、この赤マーカの下での全てのストロークデータを参加者に投稿または中継することができる。その参加者は、ホワイトボードにおける関心対象のグラフがメッセージングユニットを介して別の参加者に転送されることも要求することができる。様々な実施形態において、メッセージングユニットは、Ｓｌａｃｋ、Ｆａｃｅｂｏｏｋ Ｗｏｒｋｐｌａｃｅ、Ｃｉｓｃｏ Ｓｐａｒｋ、Ｍｉｃｒｏｓｏｆｔ Ｔｅａｍｓ、ＨｉｐＣｈａｔ、またはＥｍａｉｌである。

【0075】

別の実施形態において、メッセージングユニットは、ホワイトボードジェスチャを認識するように更に適合される。代替的な実施形態によれば、これらのジェスチャは、ホワイトボード上の四角形、タップ、ドットおよびハッシュタグを含み、未加工ホワイトボードビデオ信号内に存在することができるか、または再構成されたホワイトボードイメージにおいてユーザによって挿入することができる。

【0076】

特定の実施形態において、メッセージングユニットは、ホワイトボードイメージにおいてハッシュタグを検出し、検出されたハッシュタグ領域と所定のユーザチャネルとの間での一致を特定するように適合される。一致が存在する場合、メッセージングユニットは、一致したユーザチャネルに対し、ハッシュタグ領域内のホワイトボードイメージを投稿する。一致は、ユーザもしくは参加者からの単語もしくは音声入力、またはユーザによって示され、システムによってサポートされる他の基準に基づくことができる。

【0077】

更なる実施形態によれば、ディスプレイは、所定の時刻よりも後のタイムスタンプを有する再構成されたストロークのみを示すように適合される。これにより、参加者は、所定の時間からのインテリジェントホワイトボード連携システムを用いて仮想連携セッションを始めることが可能になる。実際に、この特徴は、ユーザが所定の時刻よりも古いホワイトボードの内容を仮想的に「消去」し、それによって、無関係のデータをフィルタリング除去することも可能にする。

【0078】

システムは、メッセージングユニットを介して、所定の時間で区切られたそのようなホワイトボードタイムラプスコンテンツを、ホワイトボード会議後にミーティング概要として参加者に、更には会議に参加することができなかった組織内の人物に配信することができる。

【0079】

本開示の更なる実施形態において、システムは、無線で、または有線接続を介して、ディスプレイに接続されたインクプリンタを更に含む。インクプリンタは、ディスプレイ内の再構成されたホワイトボードイメージに基づいてホワイトボードプリントアウトを出力するように適合される。更なる実施形態におけるインクプリンタは、ホワイトボードプリントアウトのサイズを調整するように更に適合される。

【0080】

本明細書における様々な実施形態の説明は、図面および例を含めて、本発明およびその様々な実施形態を例示するものであり、限定するものではない。

【図1】

【図2】

【図3】

【図4】

【図5】