特表 2024-517561 協力するためにデジタル記録を管理するためのシステム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-04-23

(54)【発明の名称】協力するためにデジタル記録を管理するためのシステム及び方法

(51)【国際特許分類】

   G06Q 10/101 20230101AFI20240416BHJP

   G06F 3/0481 20220101ALI20240416BHJP

   G06F 3/0484 20220101ALI20240416BHJP

   H04N 7/15 20060101ALI20240416BHJP

   G09G 5/00 20060101ALI20240416BHJP

   H04M 3/56 20060101ALI20240416BHJP

【ＦＩ】

G06Q10/101

G06F3/0481

G06F3/0484

H04N7/15 150

G09G5/00 550C

G09G5/00 555D

G09G5/00 510H

G09G5/00 550B

G09G5/00 510Z

H04M3/56 C

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2023558313

(86)(22)【出願日】2022-03-02

(85)【翻訳文提出日】2023-09-22

(86)【国際出願番号】 IB2022051849

(87)【国際公開番号】W WO2022200879

(87)【国際公開日】2022-09-29

(31)【優先権主張番号】63/166,515

(32)【優先日】2021-03-26

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＢＬＵＥＴＯＯＴＨ

２．ＺＩＧＢＥＥ

３．ＱＲコード

(71)【出願人】

【識別番号】505005049

【氏名又は名称】スリーエム イノベイティブ プロパティズ カンパニー

(74)【代理人】

【識別番号】100130339

【弁理士】

【氏名又は名称】藤井 憲

(74)【代理人】

【識別番号】100135909

【弁理士】

【氏名又は名称】野村 和歌子

(74)【代理人】

【識別番号】100133042

【弁理士】

【氏名又は名称】佃 誠玄

(74)【代理人】

【識別番号】100171701

【弁理士】

【氏名又は名称】浅村 敬一

(72)【発明者】

【氏名】ミラー，リサ エム．

(72)【発明者】

【氏名】フェアベアーン，スコット アール．

(72)【発明者】

【氏名】グリーン，ヘザー エム．

(72)【発明者】

【氏名】バスティアン，ウィレム ヴェ．

(72)【発明者】

【氏名】ウィンセイザー，ジョーゼフ シー．

(72)【発明者】

【氏名】アクセルソン，ポンタス

(72)【発明者】

【氏名】ロトステイン，ミカエル

(72)【発明者】

【氏名】エルゲネコン，エムレ ベー．

(72)【発明者】

【氏名】アンスマン ガーツ，ニクラス エー．

(72)【発明者】

【氏名】ヴィジンティニ，マリナ

【テーマコード（参考）】

5C164

5C182

5E555

5K201

【Ｆターム（参考）】

5C164FA10

5C164VA12P

5C164VA16P

5C164VA42P

5C182AA03

5C182AA04

5C182AB04

5C182AB06

5C182AB08

5C182AB09

5C182AB37

5C182BA06

5C182BA12

5C182BA14

5C182BA65

5C182BA66

5C182BA68

5C182BB21

5C182BB28

5C182BC01

5C182BC26

5C182DA65

5E555AA61

5E555BA01

5E555BA10

5E555BB01

5E555BC09

5E555BC19

5E555BD05

5E555BD09

5E555CA42

5E555CB08

5E555CB14

5E555CB16

5E555CB48

5E555CC19

5E555FA00

5K201BB09

5K201BB10

5K201EC06

5K201ED05

(57)【要約】

デジタル記録を使用して協力するための方法。ファシリテータは、参加者とのビデオ会議中にセッションを開始し、参加者と画面を共有することができる。この画面には、コード、セッションＩＤ、及びリンクが表示される。参加者は、カメラでコードをスキャンするか、セッションＩＤを入力するか、又はリンクにアクセスすることによってセッションに参加する。セッション中、参加者は、デジタル記録を作成するか又は物理的記録をスキャンして、それらをデジタル記録に変換させることができる。ファシリテータは、セッション中に参加者から送信されたデジタル記録を受信して、そのデジタル記録をファシリテータの画面上のグループに移動させる。ファシリテータの画面は参加者と共有されるため、いかなる参加者も、ファシリテータによって制御されるように、協力するために全ての参加者からのグループ内のデジタル記録を見ることができる。

【特許請求の範囲】

【請求項1】

記録を使用して協力するための方法であって、プロセッサによって実行されるステップとして、
ファシリテータによって、参加者とのビデオ会議中に、コード、セッションＩＤ、及びリンクのうちの少なくとも１つを使用してセッションを開始するステップと、
前記参加者がカメラで前記コードをスキャンするか、前記セッションＩＤを入力するか、又は前記リンクにアクセスすると、前記参加者を前記セッションに参加させるステップと、
前記ファシリテータによって、前記セッション中に、前記参加者から送信されたデジタル記録を受信するステップと、
前記ファシリテータによって、前記セッション中に、前記デジタル記録を前記参加者が見ることができるグループに移動させるステップと、
前記セッションが終了すると、前記セッションを閉じるステップと、
を含む、方法。

【請求項2】

前記ファシリテータによって、前記グループ用のボードを受信するステップを更に含む、請求項１に記載の方法。

【請求項3】

前記ファシリテータによって、デジタル記録を前記ボードに追加するステップを更に含む、請求項２に記載の方法。

【請求項4】

前記ファシリテータによって、前記ボードのための別のグループを受信するステップを更に含む、請求項２に記載の方法。

【請求項5】

前記移動させるステップが、前記ファシリテータによって、前記セッション中に前記参加者が見ることができる前記ファシリテータの画面上で前記デジタル記録を前記別のグループに移動させることを含む、請求項４に記載の方法。

【請求項6】

前記移動させるステップが、前記ファシリテータによって、前記デジタル記録を前記グループに移動させるためのドラッグアンドドロップ操作を受信することを含む、請求項１に記載の方法。

【請求項7】

前記参加者の各々に、前記参加者のドラフトデジタル記録のためのセクション、及び前記ファシリテータによって受信された前記参加者の送信デジタル記録のためのセクションを表示するステップを更に含む、請求項１に記載の方法。

【請求項8】

前記参加者によって、前記参加者によって作成されたデジタル記録を前記ドラフトデジタル記録の１つとして受信するステップを更に含む、請求項７に記載の方法。

【請求項9】

前記参加者によって、前記参加者によってスキャンされた物理的記録に対応するデジタル記録を前記ドラフトデジタル記録の１つとして受信するステップを更に含む、請求項７に記載の方法。

【請求項10】

前記ファシリテータによって、前記ファシリテータによって前記グループのために作成されたデジタル記録を受信するステップを更に含む、請求項１に記載の方法。

【請求項11】

前記ファシリテータによって作成された前記デジタル記録を、前記グループ内で表示するステップを更に含む、請求項１０に記載の方法。

【請求項12】

前記ファシリテータによって、前記ファシリテータによってスキャンされた物理的記録に対応するデジタル記録を受信するステップを更に含む、請求項１に記載の方法。

【請求項13】

前記ファシリテータによってスキャンされた前記物理的記録に対応する前記デジタル記録を、前記グループ内で表示するステップを更に含む、請求項１２に記載の方法。

【請求項14】

前記セッション用のデフォルトタイマを設定するステップを更に含み、前記閉じるステップが、前記タイマが満了すると前記セッションを閉じることを含む、請求項１に記載の方法。

【請求項15】

前記ファシリテータによって前記セッション用のタイマを受信するステップを更に含み、前記閉じるステップが、前記タイマが満了すると前記セッションを閉じることを含む、請求項１に記載の方法。

【請求項16】

前記受信するステップが、前記参加者によるスワイプ又はタップ操作の対象となる前記デジタル記録を受信することを含む、請求項１に記載の方法。

【請求項17】

前記参加させるステップが、前記参加者が前記デジタル記録を作成するためのソフトウェアアプリケーションを開くことを含む、請求項１に記載の方法。

【請求項18】

前記参加者のうちの１人の画像取り込みデバイスを介して物理的記録を自動的に検出するステップと、前記検出された物理的記録を対応するデジタル記録に変換するステップと、を更に含む、請求項１に記載の方法。

【請求項19】

前記開始するステップが、前記セッションのために前記ファシリテータによって画面を共有することを含む、請求項１に記載の方法。

【請求項20】

前記移動させるステップが、前記ファシリテータによって、前記デジタル記録を前記ファシリテータの共有画面上の前記グループに移動させることを含む、請求項１９に記載の方法。

【請求項21】

前記セッションが終了したとき又は前記セッションが終了した後に、前記デジタル記録を前記参加者に送信するステップを更に含む、請求項１に記載の方法。

【請求項22】

記録を使用して協力するための方法であって、プロセッサによって実行されるステップとして、
ビデオ会議の参加者の画像取り込みデバイスを介して物理的記録を自動的に検出するステップであって、前記画像取り込みデバイスが前記ビデオ会議のために使用される、ステップと、
前記検出された物理的記録を対応するデジタル記録に変換するステップと、
前記デジタル記録を前記参加者に送信するステップと、
を含む、方法。

【請求項23】

前記デジタル記録を前記ビデオ会議の他の参加者に送信するステップを更に含む、請求項２２に記載の方法。

【請求項24】

請求項１～２３のいずれか一項に記載の方法を実行するように構成されたプロセッサを備える、記録を使用して協力するためのシステム。

【発明の詳細な説明】

【背景技術】

【0001】

アイデア及び情報を記録、共有、及び連絡する際に、紙の記録が広く使用されてきた。例えば協力セッション（例えば、ブレーンストーミングセッション）時に、参加者は再配置可能な付箋紙、ホワイトボード、又は紙にアイデアを書き込んでから、互いに共有する。更に、人々は一般に、一日を通して、その個人が忘れたくない情報又はコンテンツを記念しておくために記録を使用する。その他の例として、人々は、電話をかける、文書を修正する、又はタイムシートに記入するなど、将来に行うアクション又はイベントのリマインダとして頻繁に記録を使用する。

【0002】

現在では、コンピュータユーザがデジタル形式でソフトウェアベースの記録を作成し、そのデジタル記録をコンピューティング環境内で利用できるようにするソフトウェアプログラムが存在する。例えば、コンピュータユーザは、デジタル記録を作成し、そのデジタル記録をコンピューティング環境によって提示される電子文書、デスクトップ又は電子ワークスペースに「添付する」ことができる。

【発明の概要】

【0003】

記録を使用して協力するための方法は、コード、セッションＩＤ、及びリンクのうちの少なくとも１つを使用して、参加者とのビデオ会議中にセッションのファシリテータにより、セッションを開始することを含む。参加者は、参加者がカメラでコードをスキャンするか、セッションＩＤを入力するか、又はリンクにアクセスすると、セッションに参加する。ファシリテータは、セッション中に参加者から送信されたデジタル記録を受信し、セッション中に参加者が見ることができるグループにデジタル記録を移動させる。セッションが終了すると、セッションは閉じられる。

【図面の簡単な説明】

【0004】

【図1A】モバイルデバイス上の画像取り込みデバイスを使用して、記録が置かれた作業場所の画像を撮影するユーザの一例を示す表現である。

【図1B】モバイルデバイスの一例を示すブロック図である。

【図1C】モバイルデバイス上で実行している記録管理アプリケーションの一例を示すブロック図である。

【図1D】記録認識システムの別の実施形態を示す。

【図1E】記録管理システムの別の実施形態を示す。

【図2】協力セッションを実行するための方法のフローチャートである。

【図3A】協力セッションを開始するためのユーザインタフェースを示す図である。

【図3B】協力セッションを共有して参加するためのユーザインタフェースを示す図である。

【図3C】協力セッションを実行するためのユーザインタフェースを示す図である。

【発明を実施するための形態】

【0005】

概観
本開示は、物理的記録を表現するソフトウェア記録を作成及び操作する技法を記載する。例えば、物理的環境内に存在する物理的記録を認識し、そこから情報を取り込み、物理的記録に対応するデジタル表現を作成する技法が記載され、この表現は、本明細書においてデジタル記録又はソフトウェアベースの記録と称される。更に、本開示の少なくともいくつかの態様は、複数の記録を管理する技法を対象とする。

【0006】

一般に、記録には、物理的記録及びデジタル記録が含まれ得る。物理的記録は一般に、全体的な境界と認識可能なコンテンツとを有するオブジェクトを指す。物理的記録としては、例えば紙、ホワイトボード、又は入力を受け入れる他のオブジェクトなどのオブジェクト上に、人が筆記、描画、又は他のタイプの入力することにより得られた結果のオブジェクトが挙げられ得る。例として、物理的記録としては、手書きの再配置可能な付箋、紙、フィルム、図が描かれたホワイトボード、ポスター、看板が挙げられ得る。いくつかの事例では、物理的記録は、例えば、印刷可能な再配置可能な付箋紙への印刷又は印刷された文書の印刷などのデジタル手段を使用して生成され得る。いくつかの事例では、１つのオブジェクトが、いくつかの記録を含み得る。例えば、いくつかのアイデアが、１枚のポスター用紙又はホワイトボードに書き込まれ得る。物理的記録は、二次元又は三次元であり得る。物理的記録は、様々な形状及びサイズを有し得る。例えば、ある物理的記録は、３インチ×３インチの記録であってもよく、ある物理的記録は、２６インチ×３９インチのポスターであってもよく、ある物理的記録は、三角形の金属看板であってもよい。いくつかの事例では、物理的記録は、既知の形状及び／又はサイズを有する。デジタル記録は、一般に、情報及び／又はアイデアを有するデジタルオブジェクトを指す。デジタル記録は、デジタル入力を使用して生成できる。デジタル入力としては、例えばキーボード、タッチスクリーン、デジタルカメラ、デジタル録画デバイス、スタイラス、デジタルペンなどが挙げられ得る。いくつかの事例では、デジタル記録は、物理的記録の表現であってもよい。

【0007】

記録管理システム
図１Ａは、記録認識環境１０の例を示す。図１Ａの例では、環境１０は、作業場所２０から１つ以上の記録２２を取り込んで認識するモバイルデバイス１５を含む。本明細書に記載されるように、モバイルデバイスは、記載されるように、作業場所２０からの記録２２の集合体などの多数の物理的記録から記録コンテンツを効率的に取り込み、抽出することのできる、１つ以上のソフトウェアアプリケーションの実行環境を提供する。この例では、記録２２は、複数の参加者を有する協力ブレーンストーミングセッションの結果であってもよい。記載されるように、モバイルデバイス１５及びその上で実行しているソフトウェアは様々な記録関連動作を実施してもよく、それらの動作には、作業場所２０の物理的記録２２を表現するデジタル記録の自動作成が含まれる。

【0008】

この実装形態例では、モバイルデバイス１５は、他の構成要素の中でも、画像取り込みデバイス１８及び提示デバイス２８を含む。更に、図１Ａには示されていないが、モバイルデバイス１５は、本明細書に記載の機能を提供するためにソフトウェア又はファームウェアを実行する１つ以上のプロセッサ、マイクロプロセッサ、内部メモリ及び／又はデータストレージ、並びに他の電子回路を含んでもよい。

【0009】

一般に、画像取り込みデバイス１８は、作業場所２０及び、その中に配置された記録２２を表現する画像データを取り込むように構成された、カメラ又は他の構成要素である。換言すれば、画像データは、作業場所２０などの、複数の視覚的記録を有する環境の視覚表現を取り込む。画像取り込みデバイス１８は、モバイルデバイス１５のカメラとして説明されるが、ビデオレコーダ、赤外線カメラ、ＣＣＤ（電荷結合素子）アレイ、レーザスキャナなどの、画像データを取り込むことができる他の構成要素を含んでもよい。更に、取り込まれた画像データは、画像、ビデオ、画像のシーケンス（すなわち、ある期間内に、及び／又は、ある順序で撮られた複数の画像）、画像の集合体などのうち少なくとも１つを含み得、本明細書では、入力画像という用語は様々な例示的なタイプの画像データを指すために使用される。

【0010】

提示デバイス２８としては、モバイルデバイス２８と共に使用するための、液晶ディスプレイ（ＬＣＤ）又は他のタイプのディスプレイデバイスなどの電子的にアドレス可能なディスプレイが挙げられるが、これらに限定されない。いくつかの実装形態では、モバイルデバイス１５は、提示デバイス２８上に表示する記録のコンテンツを、例えば、行及び／又は列にグループ化されたリスト、フロー図など様々なフォーマットで生成する。いくつかの場合では、モバイルデバイス１５は、タブレットコンピュータ、プロジェクタ、電子掲示板、又は他の外部デバイスなどの他のデバイスで表示するために、表示情報を通信してもよい。

【0011】

本明細書に記載されるように、モバイルデバイス１５及びモバイルデバイス１５上で実行するソフトウェアは、物理的記録２２を表現したデジタル記録を作成して操作するためのプラットフォームを提供する。例えば、一般にモバイルデバイス１５は、画像取り込みデバイス１８によって生成された画像データを処理して、作業場所２０内に配置された物理的記録２２のうち少なくとも１つを検出して認識するように構成されている。いくつかの例では、モバイルデバイス１５は、記録の全体的な境界を判断することによって記録を認識するように構成されている。記録を認識した後に、モバイルデバイス１５は、１つ以上の記録のうち少なくとも１つのコンテンツを抽出し、コンテンツとは、記録２２の視覚情報である。

【0012】

いくつかの例示的な実装形態では、モバイルデバイス１５は、ユーザ２６がデジタル記録をクラウドベースのリポジトリ（例えば、クラウドサーバ１２）又は他のコンピューティングデバイス（例えば、コンピュータシステム１４又はモバイルデバイス１６）などの他のシステムにエクスポートできる機能を提供する。

【0013】

図１Ａの例では、モバイルデバイス１５は、携帯電話として示されている。しかし、他の例では、モバイルデバイス１５は、タブレットコンピュータ、携帯情報端末（ＰＤＡ）、ラップトップコンピュータ、メディアプレーヤ、電子書籍リーダ、ウェアラブルコンピューティングデバイス（例えば、時計、アイウェア、グローブ）、又は本明細書に記載の技法を実施するのに適した任意の他のタイプのモバイル若しくは非モバイルのコンピューティングデバイスであってもよい。

【0014】

図１Ｂは、本明細書に記載の技法に従って動作するモバイルデバイスの例を示すブロック図である。例を目的として、図１Ｂのモバイルデバイスは、図１Ａのモバイルデバイス１５に関して説明される。

【0015】

この例では、モバイルデバイス１５は、デバイスの動作のためのコア機能を提供する様々なハードウェア構成要素を含む。例えば、モバイルデバイス１５は、典型的にはスタティックランダムアクセスメモリ（ＳＲＡＭ）デバイス若しくはフラッシュメモリデバイスなどのコンピュータ可読媒体又はデータストレージ６８に記憶されている実行可能命令（すなわち、プログラムコード）に従って動作するように構成された、１つ以上のプログラム可能なプロセッサ７０を含む。図１Ａに記載されるように、Ｉ／Ｏ７６は、キーボード、カメラボタン、電源ボタン、音量ボタン、ホームボタン、バックボタン、メニューボタン、又は提示デバイス２８などの１つ以上のデバイスを含んでもよい。送信器７２及び受信器７４は、図１Ａに記載されるとおりの無線通信インタフェースを介して、図１Ａに記載されるとおりのクラウドサーバ１２、コンピュータシステム１４、又は他のモバイルデバイス１６などの他のデバイスとの高周波無線周波数（ＲＦ）信号などの無線通信を提供するが、ＲＦ信号に限定されない。マイクロフォン７１が、音声情報を対応する電気信号に変換する。スピーカ７３が、電気信号を対応する音声情報に変換する。振動モータ７５が、モバイルデバイス１５又はそのハウジングを振動させるために使用される。モバイルデバイス１５は、図１Ｂに示されていない、付加的な別個のデジタルロジック又はアナログ回路を含んでもよい。

【0016】

一般に、プロセッサ７０上でオペレーティングシステム６４を実行して、記録管理アプリケーション７８を含めた１つ以上のユーザアプリケーション７７（一般に「アプリ」と呼ばれる）に動作環境を提供する。ユーザアプリケーション７７は、例えば、プロセッサ７０によって実行するための、コンピュータ可読記憶デバイス（例えば、データストレージ６８）に記憶された実行可能なプログラムコードを含んでもよい。他の例として、ユーザアプリケーション７７はファームウェアを含んでもよく、又はいくつかの例では、別個のロジックで実装されてもよい。

【0017】

動作中、モバイルデバイス１５は、入力画像データを受信し、本明細書に記載の技法に従って入力画像データを処理する。例えば、画像取り込みデバイス１８は、図１Ａの記録２２を有する作業場所２０などの、複数の記録を有する環境の入力画像を取り込んでもよい。別の例として、モバイルデバイス１５は、クラウドサーバ１５、コンピュータシステム１４、又はモバイルデバイス１６などの外部ソースから受信器７４を介して画像データを受信してもよい。一般に、モバイルデバイス１５は、記録管理アプリケーション７８及び／又は他のユーザアプリケーション７７によってアクセス及び処理するために、データストレージ６８に画像データを記憶する。

【0018】

図１Ｂに示すように、ユーザアプリケーション７７は、オペレーティングシステム６４のカーネル機能を呼び出して、モバイルデバイスのユーザに情報を表示するためのグラフィカルユーザインタフェース（ＧＵＩ）７９を出力してもよい。以下で更に説明するように、記録管理アプリケーション７８は、ＧＵＩ７９を構築及び制御して、物理的記録２２を表現した対応するデジタル記録を生成して操作するための改善された電子環境を提供することができる。例えば、記録管理アプリケーション７８は、特定の特性をもつ記録を取り込んだことに応答して自動的にトリガされるイベントをユーザ２６が容易に制御することを可能にする機構を含むように、ＧＵＩ７９を構築してもよい。更に、記録管理アプリケーション７８は、ユーザ２６がデジタル記録のグループ間の関係を管理することを可能にする機構を含むように、ＧＵＩ７９を構築してもよい。

【0019】

図１Ｃは、本明細書に記載の技法に従って動作する記録管理アプリケーション７８の１つの例示的な実装形態を示すブロック図である。ユーザアプリケーション７７は、モバイルデバイス１５上で実行するとして記載されているが、本明細書に記載の例は、クラウドサーバ１２、コンピュータシステム１４、又は他のモバイルデバイスなどの、任意のコンピューティングデバイスに実装されてもよい。

【0020】

この例では、記録管理アプリケーション７８は、画像処理及びオブジェクト認識機能を提供する画像処理エンジン８２を含む。画像処理エンジン８２は、画像通信モジュール９０、記録識別モジュール８６、及びデジタル記録生成モジュール８８を含んでもよい。更に、画像処理エンジン８２は、画像処理エンジン８２の他の構成要素によって使用するための、例えば、画像の２値化、マスキング、フィルタリング、縁部検出などの画像操作機能のライブラリを提供する、画像処理アプリケーションプログラミングインタフェース（ＡＰＩ）９５を含む。

【0021】

一般に、画像データは、データ記憶デバイス６８に記憶されてもよい。この例では、記録管理アプリケーション７８は、データ記憶デバイス６８に画像９７を記憶する。画像９７の各々は、図１Ａの作業場所２０などの、複数の物理的画像を有する環境のピクセルデータを含み得る。

【0022】

本明細書に記載されるように、記録識別モジュール８６は、画像９７を処理し、画像内の複数の物理的記録を識別する（すなわち、認識する）。デジタル記録生成モジュール８８は、画像９７内で認識された物理的記録に対応するデジタル記録９９を生成する。例えば、デジタル記録９９の各々は、入力画像９７で識別された物理的記録のうち１つに対応する。このプロセスの間に、デジタル記録生成モジュール８８は、デジタル記録のレコードを含むようにデータベース９４を更新し、また、記録識別モジュール８６によって検出された物理的記録の決定された境界内の入力画像から抽出された情報（例えば、コンテンツ）をデータベースに記憶してもよい。更に、デジタル記録生成モジュール８８は、デジタル記録をデジタル記録の１つ以上のグループに関連付けるメタデータをデータベース９４に記憶してもよい。

【0023】

更に、記録管理アプリケーション７８は、特定の特性を有する物理的記録の検出に応答してアクションをトリガする規則１０１を、例えばユーザ入力２６によって指定するように構成されてもよい。例えば、ユーザインタフェース９８は、ユーザ入力に基づいて、記録の特定の特性にアクションをマッピングしてもよい。記録管理アプリケーション７８は、記録グループ化アクション、又は、カレンダーアプリケーションに関連するアクションなどのモバイルデバイスで実行している別のソフトウェアアプリケーションに関連するアクションなどの、アクションを伴う規則をユーザが指定することのできるユーザインタフェース９８を出力してもよい。ユーザインタフェース９８は、各規則について、アクションをトリガするための基準をユーザが定義することを可能にする。この構成プロセスの間、ユーザインタフェース９８は、アクションをトリガし、画像データを処理して色又はコンテンツなどの特性を抽出するための例示的な記録を表現した画像データを取り込むようにユーザに促してもよい。次いで、ユーザインタフェース９８は、その例示的な記録に対応する規則を定義することを支援するために、決定された基準をユーザに提示してもよい。

【0024】

画像通信モジュール９０は、モバイルデバイス１５と、クラウドサーバ１２、コンピュータシステム１４、モバイルデバイス１６、又は画像取り込みデバイス１８などの外部デバイスとの間の画像データの通信を制御する。いくつかの例では、画像通信モジュール９０は、例えば、環境及び／又はデジタル記録の処理済み若しくは未処理の画像９７と、そこから抽出された関連情報とを、データベース６８からのメタデータを含めてユーザが通信することを可能にしてもよい。いくつかの例では、画像通信モジュール９０は、このデータを、ＦＴＰ、ＨＴＴＰ、電子メール、Ｂｌｕｅｔｏｏｔｈ又は他の機構によって通信され得るｚｉｐファイルにエクスポートする。

【0025】

図１Ｃの例では、記録管理アプリケーション７８は、ＧＵＩ７９（図１Ｂ）を構築して制御するユーザインタフェース９８を含む。以下に記載されるように、いくつかの例では、ユーザインタフェース９８は、複数のデジタル記録９９にオーバーレイされた入力画像９７を表示するために出力してもよく、対応する物理的記録の代わりにデジタル記録の各々がオーバーレイされる。更に、ユーザインタフェース９８は、ユーザによって指定されたデジタル記録９９のグループを表示してもよい。このデジタル記録９９のグループは、例えば、特定の入力画像９７内で認識されたデジタル記録のサブセットであってもよい。ユーザインタフェース９８は、この指定されたデジタル記録のグループ（セット）をＧＵＩ７９の第２の部分に表示し、ユーザ２６が指定されたグループからデジタル記録９９を容易に追加又は消去することを可能にしてもよい。

【0026】

いくつかの例示的な実装形態では、ユーザインタフェース９８は、ユーザがオーバーレイ画像及び／又はデジタル記録を編集することを可能にする画像エディタ９６を提供する。別の例では、デジタル記録生成モジュール８８は、入力画像から抽出された情報を強化するプロセス又は複数のプロセスを含んでもよい。

【0027】

図１Ｄは、記録認識システム１００Ａの別の例示的な実施形態を示す。システム１００Ａは、処理ユニット１１０、１つ以上の記録１２０、センサ１３０、及び記録コンテンツリポジトリ１４０を含み得る。処理ユニット１１０は、１つ以上のプロセッサ、マイクロプロセッサ、コンピュータ、サーバ、及び他のコンピューティングデバイスを含み得る。センサ１３０、例えば画像センサは、１つ以上の記録１２０を有するシーンの視覚表現を取り込むように構成されている。センサ１３０は、カメラ、ビデオレコーダ、赤外線カメラ、ＣＣＤ（電荷結合素子）アレイ、スキャナなどのうち少なくとも１つを含み得る。視覚表現は、画像、ビデオ、画像のシーケンス（すなわち、ある期間内に、及び／又は、ある順序で撮られた複数の画像）、画像の集合体などのうち少なくとも１つを含み得る。処理ユニット１１０は、センサ１３０に結合され、視覚表現を受信するように構成されている。いくつかの事例では、処理ユニット１１０は、センサ１３０に電子的に結合される。処理ユニット１１０は、視覚表現から、１つ以上の記録１２０のうち少なくとも１つを認識するように構成されている。いくつかの実施形態では、処理ユニット１１０は、記録の全体的な境界を判断することによって記録を認識するように構成されている。記録を認識した後、処理ユニット１１０は記録のコンテンツを抽出する。いくつかの事例では、処理ユニット１１０は、それらの記録を有するシーンの視覚表現から、２つ以上の記録のコンテンツを認識及び抽出するように構成されている。

【0028】

いくつかの事例では、処理ユニット１１０は、非一時的コンピュータ可読媒体に記憶されたソフトウェア又はファームウェアを実行して、システム１００Ａの様々なプロセス（例えば、記録を認識する、記録を抽出するなど）を実装することができる。記録コンテンツリポジトリ１４０は、単一のコンピュータ、サーバ、記憶デバイス、クラウドサーバ上などで実行してもよい。いくつかの他の場合では、記録コンテンツリポジトリ１４０は、一連のネットワークコンピュータ、サーバ、又はデバイス上で実行してもよい。いくつかの実装形態では、記録コンテンツリポジトリ１４０は、ローカル、リージョナル、及び中央を含む、データ記憶デバイスの階層を含む。記録１２０は、協力スペースに規則的又はランダムに配置された物理的記録を含むことができ、センサ１３０は協力スペース内にある記録１２０の視覚表現を生成する。

【0029】

いくつかの実装形態では、記録認識システム１００Ａは、どの記録が認識されているか、及び／又はどの記録のコンテンツが抽出されているかをユーザに示す、提示デバイス（図１Ｄには示されていない）を含み得る。更に、記録認識システム１００Ａは、抽出されたコンテンツを提示デバイスを介して提示することができる。いくつかの実施形態では、処理ユニット１１０は、記録のコンテンツを抽出する前に、記録を認証することができる。記録が認証された場合は、コンテンツを抽出し、記録コンテンツリポジトリ１４０に記憶する。

【0030】

図１Ｅは、記録管理システム１００Ｂの実施形態を示す。この実施形態では、記録管理システム１００Ｂは、処理ユニット１１０、１つ以上の記録１２０、１つ以上の記録ソース１５０、及び記録コンテンツリポジトリ１４０を含む。いくつかの事例では、システム１００Ｂは、提示デバイス１６０を含む。処理ユニット１１０、記録１２０、及び記録コンテンツリポジトリ１４０は、図１Ａに示すとおりの記録認識システム１００Ａの構成要素と同様である。記録ソース１５０は、１つ以上の記録を有するシーンの視覚表現などの物理的記録のコンテンツを提供するソースと、キーボードから入力されたデータストリームなどのデジタル記録のコンテンツを提供するソースと、を含み得る。いくつかの実施形態では、記録管理システム１００Ｂは、第１のソース及び第２のソースを含み、第１のソースは、１つ以上の記録１２０を有するシーンの視覚表現である。第１のソース及び第２のソースは、異なるデバイスによって生成される。第２のソースは、テキストストリーム、画像、ビデオ、ファイル、及びデータエントリのうち少なくとも１つを含む。処理ユニット１１０は、記録認識システム１００Ａについて説明したように、第１のソースから記録のうち少なくとも１つを認識し、記録のコンテンツを抽出する。いくつかの場合では、処理ユニット１１０は、記録にカテゴリをラベル付けする。処理ユニット１１０は、記録の特定の形状、色、コンテンツ、及び／又は他の情報に基づいて、記録をラベル付けすることができる。例えば、記録の各グループは、異なる色（例えば、赤、緑、黄色など）を有することができる。

【0031】

いくつかの実施形態では、記録管理システム１００Ｂは、記録１２０のコンテンツをユーザに示すために、１つ以上の提示デバイス１６０を含み得る。提示デバイス１６０は、液晶ディスプレイ（ＬＣＤ）、タブレットコンピュータ、プロジェクタ、電子掲示板、携帯電話、ラップトップなどの電子的にアドレス可能なディスプレイを含み得るが、これらに限定されない。いくつかの実装形態では、処理ユニット１１０は、提示デバイス１６０上に表示する記録のコンテンツを、例えば、行及び／又は列にグループ化されたリスト、フロー図など様々なフォーマットで生成する。

【0032】

記録認識システム及び記録管理システムの、処理ユニット、画像センサ、及び記録コンテンツリポジトリなどの様々な構成要素は、通信インタフェースを介して通信することができる。通信インタフェースとしては、有線又は無線の短距離及び長距離の任意の通信インタフェースが挙げられるが、これらに限定されない。短距離通信インタフェースは、例えば、ローカルエリアネットワーク（ＬＡＮ）や、Ｂｌｕｅｔｏｏｔｈ規格、ＩＥＥＥ８０２規格（例えば、ＩＥＥＥ８０２．１１）、ＩＥＥＥ８０２．１５．４規格に基づくＺｉｇＢｅｅ又は同様の仕様など、又は他の公共若しくは独自の無線プロトコルなどの、既知の通信規格に準拠するインタフェースであってもよい。長距離通信インタフェースは、例えば、ワイドエリアネットワーク（ＷＡＮ）、セルラーネットワークインタフェース、衛星通信インタフェースなどであってもよい。通信インタフェースは、イントラネットなどのプライベートコンピュータネットワーク内、又はインターネットなどの公共コンピュータネットワーク上のいずれかにあってもよい。

【0033】

記録を使用して協力すること
協力セッションは、参加者が、セッションを開始して実行するファシリテータによって制御される参加者のグループ内でデジタル記録を共有することを可能にする。ファシリテータは、参加者からデジタル記録を受信し、セッションの参加者が見るために、それらをボード内のグループに編成することができる。

【0034】

図２は、協力セッションを実行するための方法のフローチャートである。この方法は、モバイルデバイス１５内のプロセッサ７０によって実行するためのソフトウェア又はファームウェアに実装することができる。この方法は、更に後述されるように、以下のものを含む。ファシリテータは、この協力機能用のソフトウェアアプリケーションとのセッションを開始するために、ボードを作成又は選択し（ステップ２００）、参加者をセッションに参加させるように画面を共有する（ステップ２０２）。ファシリテータは、参加者がファシリテータの画面を見ることができるように、ネットワークを介してビデオ会議中に参加者と画面を共有することができる。ビデオ会議アプリケーションの例には、Ｍｉｃｒｏｓｏｆｔ ＣｏｒｐｏｒａｔｉｏｎによるＴｅａｍｓ製品、及びＺｏｏｍ Ｖｉｄｅｏ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ，Ｉｎｃ．によるＺｏｏｍ製品が含まれる。あるいは、ファシリテータは、参加者に画面を共有又は提示することを可能にするネットワーク接続を通して、画面を共有することができる。

【0035】

次いで、参加者は、ファシリテータからの共有画面上に表示されたコードをスキャンすることによって、又はセッションＩＤ及び任意選択のパスワードを入力することによって、又はリンクにアクセスすることによって、セッションに参加することができる（ステップ２０４）。パスワードは、セッションがパスワードなしで実行され得るという点で任意選択的であるか、又はパスワードがセッションＩＤの一部であり得る。コードは、例えば、Ｑｕｉｃｋ Ｒｅｓｐｏｎｓｅ（ＱＲ）コード又はＡｐｐ Ｃｌｉｐコードであり得る。リンクは、例えば、ネットワークリンク又はインターネットウェブアドレスリンクであり得る。セッションに参加することはまた、参加者デバイス上のソフトウェアアプリケーションの開始をもたらすことができ、ここでソフトウェアアプリケーションは、参加者がデジタル記録を作成すること、又は物理的記録を対応するデジタル記録に変換することを可能にする、例えば、記録管理システムのセクションにおいて上述したソフトウェアアプリケーションである。また、セッションへの参加により、インターネットウェブアドレスなどのネットワークリンクを介して参加者のデバイスをファシリテータのデバイスに電子的に接続する。

【0036】

セッション中、参加者は、ソフトウェアアプリケーションで物理的記録を取り込んで、それらを対応するデジタル記録に変換させるか、又はソフトウェアアプリケーションを使用してデジタル記録を作成することができる（ステップ２０６）。次いで、参加者は、ネットワークリンクを介してファシリテータにデジタル記録を送信することができ（ステップ２０８）、ファシリテータは、記録をボード内のグループに移動させることができる（ステップ２１０）。参加者の各々が他の参加者によって提出された記録を見ることによって協力するために、ファシリテータが参加者と画面を共有していることで、グループは全ての参加者が見ることができる。

【0037】

セッションが継続すると（ステップ２１２）、参加者は、参加者が見ることができるボード内に含めるために、ファシリテータにデジタル記録を送信し続けることができる（ステップ２０６、２０８、２１０）。セッションが終了すると（ステップ２１２）、ファシリテータがセッションを閉じるか、又はセッションが満了する際のタイマに基づいてセッションを自動的に閉じることができる（ステップ２１４）。

【0038】

ステップ２０２の代替案として、ファシリテータの画面を共有することは、画面共有なしでセッションが実行され得るという点で任意選択的である。その代替案の場合、参加者は、自分が見ることができるコードをスキャンするか、セッションＩＤを入力するか、又はリンクにアクセスすることによって、同じ又は同様の方法でセッションに参加することができ、ファシリテータは、受信したデジタル記録を参加者が見ることができるグループに移動させるか、又は場合によっては、セッションでの後の時間に又はセッションが終了したときに又はセッションが終了した後に、受信した記録を参加者に送信することができる。デジタル記録は、例えば、ポータブルドキュメントフォーマット（ＰＤＦ）ファイルなどの電子文書で送信することができる。

【0039】

図３Ａ～図３Ｃは、協力機能を示す電子ユーザインタフェース（又は画面）の図である。これらのユーザインタフェースは、例えば、モバイルデバイス１５の記録管理アプリケーション７８内のプレゼンテーションデバイス２８上に電子的に表示され得る。

【0040】

図３Ａは、協力セッションを開始するためのユーザインタフェースを示している。ユーザインタフェース２２０には、グループ２２２を含む記録のグループが含まれる。ユーザインタフェース２２４は、ファシリテータがセッション用のボードとしてグループ２２２を選択したことを示しており、そのボードの記録が、ユーザインタフェース２２４内にボード２２６として表示されている。ボード２２６とのセッションを開始するために、ファシリテータは、セッションを開始するようにユーザインタフェース２３０を起動する又は開くアイコン２２８を選択する。ユーザインタフェース２３０は、ボード２２６などのセッション用のボードを作成又は選択するためのセクション２３２、セッション用の名前を入力するためのセクション２３４、セッション用の任意選択のパスワードを入力するためのセクション２３６、及びセッション用の任意選択のタイマを入力するためのセクション２３８、を含む。ソフトウェアアプリケーションには、任意選択的に、セッションＩＤを事前記入することができる。タイマは、デフォルトタイマ、又はファシリテータによって設定された特定の時間フレームで実装することができる。タイマに加えて、又はタイマとは別に、セッションには、セッションの開始及び終了に関する日付及びタイムスタンプを含むことができる。

【0041】

ユーザインタフェース２３０にセッション用の情報を入力した後、ファシリテータは、次のセクション２４０を選択することができ、これにより、セッション用の第１のボードのためのユーザインタフェース２４２を起動又は開く。ファシリテータは、受信箱２４４からのデジタル記録を追加するか、又はプラスアイコン２４６を選択して、物理的記録を対応するデジタル記録に変換するソフトウェアアプリケーションを使用してセッション用のデジタル記録を作成することができる。

【0042】

図３Ｂは、協力セッションを共有して参加するためのユーザインタフェースを示している。ユーザインタフェース２４８は、受信箱２４４からの記録、又はプラスアイコン２４６を選択することによって作成された記録と共に、セッション用の第１のボードを表示している。ファシリテータは、アイコン２５０を選択して、ビデオ会議又は他のネットワーク接続中に参加者と画面を共有する。ファシリテータは、参加者がセッションに参加するためのユーザインタフェース２５２を有する画面を共有する。ユーザインタフェース２５２は、例えば、デジタル記録を作成して、物理的記録を対応するデジタル記録に変換するように機能する、ソフトウェアアプリケーションから生成され得る。ユーザインタフェース２５２は、セッションに参加するためのコード（例えば、ＱＲコード又はＡｐｐ Ｃｌｉｐコード）を有するセクション２５４、セッションＩＤを有するセクション２５６、任意選択のセッションパスワードを有するセクション２５８、セッションに参加するためのリンクを有するセクション２６０、及びセッションを終了するためのセクション２６２、を含む。コードは、参加者とファシリテータとの間のネットワーク接続を提供するために、リンク、例えばインターネットウェブアドレス又はユニフォームリソースロケータ（ＵＲＬ）を組み込むことができる。

【0043】

ユーザインタフェース２６４は、セッションに参加するために、例えば、参加者のモバイルデバイス上で参加者に表示される。ユーザインタフェース２６４は、セッションのＩＤを入力するためのセクション２６６、セッションの任意選択のパスワードを入力するためのセクション２６８、並びにＩＤ及び任意選択のパスワードを入力した後にセッションに参加するための選択用のセクション２７２、を含む。参加者はまた、自分のモバイルデバイス上のカメラを使用して、カメラアイコン２７０によって示される（ファシリテータの共有画面上の）セクション２５４内のコードをスキャンすることによって、セッションに参加することができ、又はユーザインタフェース２５２内のセクション２６０からネットワークリンクをコピーしてアクセスすることによって、セッションに参加することができる。セッションに参加することはまた、参加者デバイス上のソフトウェアアプリケーションの開始をもたらすことができ、ここでソフトウェアアプリケーションは、参加者がデジタル記録を作成すること、又は物理的記録を対応するデジタル記録に変換することを可能にする、例えば、記録管理システムのセクションにおいて上述したソフトウェアアプリケーションである。

【0044】

図３Ｃは、協力セッションを実行するためのユーザインタフェースを示している。ユーザインタフェース２７４は、セッションに参加した後に参加者に表示され、参加者がファシリテータにデジタル記録を送信することを可能にする。ユーザインタフェース２７４は、セッション名２７６、デジタル記録のドラフトのためのセクション２７８、及びファシリテータに送信されたデジタル記録のためのセクション２８０、を含む。この参加者がファシリテータにデジタル記録２８２を送信すると、デジタル記録は、ファシリテータの受信箱内に記録２８６として現れる。参加者は、例えば、タッチスクリーンディスプレイ上でスワイプ操作を実行してデジタル記録をユーザインタフェース外に移動させることによって、又はタッチスクリーンディスプレイ上でデジタル記録をタップすることによって、ファシリテータにデジタル記録を送信することができる。デジタル記録は、セッションのために、ネットワークリンク、例えばインターネットウェブアドレスを介してファシリテータに送信され、本質的にリアルタイムでファシリテータによって受信される。参加者は、デジタル記録上で個人的に作業し、参加者のデジタル記録は、デジタル記録がファシリテータに送信されてグループと共有された後に、他の参加者だけが見ることができる。参加者がビデオ会議中にファシリテータに記録を送信している場合、参加者はまた、協力するために自分及び他の参加者のデジタル記録に対してコメントすることができる。

【0045】

参加者は、セッションに参加している際に開かれたソフトウェアアプリケーション、例えば、記録管理システムのセクションにおいて上述したソフトウェアアプリケーションを使用して、デジタル記録を作成するか、又は物理的記録を対応するデジタル記録に変換することができる。参加者はまた、ソフトウェアアプリケーションが物理的記録を対応するデジタル記録に変換するために、１つ以上の物理的記録を参加者デバイス上のカメラに対して保持することによって、インスタント通信機能を使用してデジタル記録を作成することができる。

【0046】

このインスタント通信機能は、物理的記録、乾式消去ホワイトボード、又はカメラ、例えば画像取り込みデバイス１８を通して見られる他の物理的製品によって、即時に通信するための方法である。カメラは、例えば、ウェブカメラ、又はコンピュータ、携帯電話若しくは同様のデジタルデバイスカメラであり得る。この方法により、例えば、システムにログインする必要なしに、又は電子メールシステムを通してデジタル的に送信するために記録又はコンテンツをタイプする動作を実行する必要なしに、グループ又は個人とのより高速な通信を可能にする。この方法は、キーボード又はカーソル制御デバイスを使用する必要性を排除して、参加者がホワイトボード又は物理的記録をスケッチすることを可能にし、これにより例えば、カメラを介して検出して対応するデジタル記録に変換した後に、他の人が見ることができる。

【0047】

例えば、リモートで又は自分のラップトップコンピュータ上で作業している参加者によって既に使用されているカメラを利用することによって、このインスタント通信機能は、参加者が単に物理的記録上で書き込み、次いでその記録をカメラに対して保持してソフトウェアアプリケーションによって取り込ませて、対応するデジタル記録に変換するための方法を作成し、これにより、次にデジタル記録をデジタルツールに追加するか、又はファシリテータに送信して、協力を継続することができる。参加者はまた、ホワイトボードにカメラを向けることによって協力することができ、かつファシリテータ又は他の参加者が見るホワイトボードにコンテンツをスケッチ又は追加することができ、そのようなコンテンツは、ファシリテータに送信されてグループに追加される、対応するデジタル記録に変換される。カメラはまた、オンにされると、会議室の乾式消去壁に向くスマートカメラであってもよい。物理的記録を壁上に配置するだけで、カメラをトリガして記録を自動的に取り込み、それを対応するデジタル記録に変換してリモート参加者と共有することができる。

【0048】

このインスタント通信方法の１つのバージョンでは、参加者又は他のユーザは、物理的記録上に書き込み、その物理的記録を既にオンになっているカメラにアップして保持すると、記録のデジタルバージョンが、本明細書で説明する協力機能などのデジタル協力ツール内に現れる。物理的記録は、ソフトウェアアプリケーションがカメラビュー内の物理的記録の存在を自動的に検出して、物理的記録を対応するデジタル記録に変換することによって、対応するデジタル記録に変換され得る。この変換は、記録管理システムのセクションにおいて上述したように起こり得る。

【0049】

記録は、記録として適格化するビデオフレーム内のオブジェクトを認識するために、機械学習技法を使用して、カメラ（例えば、画像取り込みデバイス１８）からのビデオフィード内のビデオフレームを処理することによって、自動的に検出することができる。ビデオフレームは、ビデオ会議を実行しているサーバ側でビデオフィードから取得されて処理され得る。あるいは、ビデオフレームは、ソフトウェアアプリケーションを通してビデオフィードをルーティングするために、ソフトウェアアプリケーションをカメラにリンクされた仮想カメラとして使用することによって、クライアント側で取得されて処理され得る。

【0050】

あるいは、参加者又はユーザは、書き込まれたテキストをスキャンして、スキャンされたテキストをビデオ会議の「チャット」ウィンドウ内に移動させることができる。書き込まれたテキストには、独自の記録、例えばＡｐｐ Ｃｌｉｐ、ロゴ、又は任意の印刷されたグラフィックデザインを要求するために、書き込み面上に受託者マーク（例えば、物理的記録、乾式消去ボード）を含むことができる。別のオプションは、参加者又はユーザが、ノート又は別の書き込み面における記録の周りに四角形を描いて、記録として取り込むべきコンテンツを示すことである。また、複数の物理的記録を、同時に取り込むことができる。物理的記録の対応するデジタル記録への変換と共に取り込まれ得る他のコンテンツには、参加者がカメラビュー内で保持している物理的記録の音声説明などのリッチコンテンツ、並びに記録の作成者及び場合によっては日付及びタイムスタンプなどのメタデータが含まれる。取り込まれた物理的記録はまた、その後のアクションを示すために、又は記録を様々なカテゴリ（例えば、新しいアクションアイテム、新しいアイデア、又は別のものへの委任）に編成するために使用され得る。

【0051】

「インスタント」という用語は、このインスタント通信機能のラベルとしてのみ使用され、カメラビュー内の物理的記録の対応するデジタル記録への変換は、典型的にはリアルタイムで生じるが、瞬間的である必要はない。

【0052】

ファシリテータは、次いで、デジタル記録を、受信箱から、参加者と共有されるセッション用のボード内の任意のグループに移動させることができる。この例では、ファシリテータは、ユーザインタフェース２８４に示されるように、デジタル記録２８６をセクション２８８内のグループ１に移動させている。ファシリテータは、例えば、タッチスクリーンディスプレイ上でのドラッグアンドドロップ操作を使用してデジタル記録をグループに移動させて、デジタル記録をグループに移動させることができる。ユーザインタフェース２９２は、ユーザインタフェース２９２を表示するファシリテータの共有画面を介して参加者が見るために、記録２８６がグループ１に移動されたことを示している。

【図1A】

【図1B】

【図1C】

【図1D】

【図1E】

【図2】

【図3A】

【図3B】

【図3C】

【国際調査報告】