特許 6441895 メモを管理するためのシステム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6441895

(24)【登録日】2018年11月30日

(45)【発行日】2018年12月19日

(54)【発明の名称】メモを管理するためのシステム及び方法

(51)【国際特許分類】

   G06Q 10/10 20120101AFI20181210BHJP

   G06K 9/20 20060101ALI20181210BHJP

【ＦＩ】

   G06Q10/10

   G06K9/20 340J

【請求項の数】5

【全頁数】24

(21)【出願番号】特願2016-506349(P2016-506349)

(86)(22)【出願日】2014年3月31日

(65)【公表番号】特表2016-528567(P2016-528567A)

(43)【公表日】2016年9月15日

(86)【国際出願番号】US2014032367

(87)【国際公開番号】WO2014165438

(87)【国際公開日】20141009

【審査請求日】2017年3月21日

(31)【優先権主張番号】61/807,510

(32)【優先日】2013年4月2日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】505005049

【氏名又は名称】スリーエム イノベイティブ プロパティズ カンパニー

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100092624

【弁理士】

【氏名又は名称】鶴田 準一

(74)【代理人】

【識別番号】100114018

【弁理士】

【氏名又は名称】南山 知広

(74)【代理人】

【識別番号】100141254

【弁理士】

【氏名又は名称】榎原 正巳

(72)【発明者】

【氏名】ウィレム ブイ．バスティアンズ

(72)【発明者】

【氏名】ガブリエル エー．ビラー

(72)【発明者】

【氏名】クリストファー ダブリュ．クローバー

(72)【発明者】

【氏名】ブライアン アール．ハッカーソン

(72)【発明者】

【氏名】マスマ ダブリュ．ヘンリー

(72)【発明者】

【氏名】スティーブン エム．ジューン

(72)【発明者】

【氏名】ブライアン エル．リンジー

(72)【発明者】

【氏名】ロバート ディー．ローレンツ

(72)【発明者】

【氏名】デイビッド エム．マーリ

(72)【発明者】

【氏名】リチャード ジェイ．ムーア

(72)【発明者】

【氏名】クリスティン イー．モラン

(72)【発明者】

【氏名】マイケル イー．オブライエン

(72)【発明者】

【氏名】スコット ディー．ピアソン

(72)【発明者】

【氏名】ドナルド ジェイ．パウエル

(72)【発明者】

【氏名】オーレン ロニング

(72)【発明者】

【氏名】グルプラサッド ソマスンダラム

(72)【発明者】

【氏名】ブライアン ジェイ．スタンキビッチ

(72)【発明者】

【氏名】ダイアン アール．ウォルク

【審査官】 牧 裕子

(56)【参考文献】

【文献】 特開２０１３−０２７０３７（ＪＰ，Ａ）

【文献】 特開２０１０−２３１３６９（ＪＰ，Ａ）

【文献】 特開２００６−０５９０２０（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｑ １０／００ − ９９／００

Ｇ０６Ｋ ９／２０

(57)【特許請求の範囲】

【請求項1】

メモを管理する方法であって、
処理装置によって且つセンサから、複数の物理的メモを有する場面の第１の視覚的表現を備える第１の画像を受信する工程であって、該複数の物理的メモのそれぞれが、一般的な境界と認識可能なコンテンツとを有する別個の物理的物体を備える、工程と、
前記処理装置によって、前記第１の画像における前記複数の物理的メモのうちの１つ以上に関連する１つ以上のマークを識別する工程と、
前記処理装置によって、前記１つ以上のマークに関連する位置を決定する工程と、
前記処理装置によって且つ前記位置に基づいて、前記場面の第２の視覚的表現を備える第２の画像を生成するように前記センサを制御する工程であって、前記第２の画像は、前記場面の前記第１の視覚的表現の前記複数の物理的メモのうちの１つ以上のメモの拡大画像を備える、工程と、
前記処理装置によって、前記複数の物理的メモのうちの少なくとも１つの、前記一般的な境界を識別するべく前記第２の画像に関連する画像データを処理する工程と、
前記処理装置によって且つ前記一般的な境界を識別することに少なくとも部分的に基づいて、前記第２の画像から前記複数の物理的メモのうちの前記１つの、前記認識可能なコンテンツを抽出する工程と、
前記処理装置によって、前記複数の物理的メモのそれぞれを表す各デジタルメモをカテゴリーでラベル付けする工程と、
を具備する方法。

【請求項2】

前記ラベル付け工程が、前記抽出されたコンテンツに基づいて、前記複数の物理的メモのうちの前記１つを表す前記デジタルメモをラベル付けすることを含む、請求項１に記載の方法。

【請求項3】

メモ管理システムであって、
複数の物理的メモを有する場面の第１の視覚的表現を備える第１の画像を生成するように構成されたセンサを備えるデバイスであって、前記物理的メモのそれぞれが、一般的な境界と認識可能なコンテンツとを有する別個の物理的物体を備える、デバイスと、
処理装置であって、
前記センサから前記第１の画像に関連する第１の画像データを受信し、前記第１の画像データを処理し、前記第１の画像における前記複数の物理的メモの１つ以上に関連する１つ以上のマークを自動的に識別し、前記１つ以上のマークに関連する位置を決定し、前記場面の第２の視覚的表現を備える第２の画像を生成するように前記センサを制御するべく前記位置を使用する、ように構成されたメモ認識モジュールであって、前記第２の画像は、前記複数の物理的メモのうちの１つ以上のメモの拡大画像を備え、前記メモ認識モジュールは、前記視覚的表現から前記複数の物理的メモのうちの１つの、一般的な境界を決定するように更に構成されている、メモ認識モジュールと、
前記複数の物理的メモのうちの前記１つを認証するように構成されたメモ認証モジュールと、
前記複数の物理的メモのうちの前記１つが認証されることに応答して、前記複数の物理的メモのうちの前記１つの前記決定された一般的な境界に基づいて、前記視覚的表現から前記複数の物理的メモのうちの前記１つの、認識可能なコンテンツを抽出するように構成されたメモ抽出モジュールと、
前記複数の物理的メモのうちの前記１つを表すデジタルメモをカテゴリーでラベル付けするように構成されたメモラベル付けモジュールと、
を備える処理装置と、
を具備するメモ管理システム。

【請求項4】

前記メモラベル付けモジュールが、前記抽出されたコンテンツに基づいて、前記複数の物理的メモのうちの前記１つを表す前記デジタルメモをラベル付けするように更に構成されている、請求項３に記載のメモ管理システム。

【請求項5】

前記メモ抽出モジュールが、前記複数の物理的メモのうちの前記１つが認証された場合に前記複数の物理的メモのうちの前記１つの前記コンテンツを抽出するように更に構成されている、請求項３に記載のメモ管理システム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、メモのキャプチャ、認識、抽出、並びに／又は管理ツール及びシステムに関する。

【背景技術】

【0002】

メモは、意見及び情報を記録、共有、及び伝達する際に広範に使用されている。例えば、コラボレーションセッション（例えば、ブレーンストーミングセッション）中、参加者は、Ｐｏｓｔ−Ｉｔ（登録商標）メモ、ホワイトボード、又は紙に意見を書き留め、その後、互いに共有する。加えて、人々は、一般に、個人が忘れたくない情報又はコンテンツを記憶するために、１日を通してメモを使用する。追加の例として、人々は、電話をする、文書を修正する、又はタイムシートに記入する等、未来に取るべき行動又は出来事のリマインダーとして、メモを頻繁に使用する。

【0003】

多くの状況において、人々は、従来、Ｐｏｓｔ−ｉｔ（登録商標）メモ等の紙ベースのメモ上に適切な情報を書き留めていた。紙のＰｏｓｔ−ｉｔ（登録商標）メモは、裏面に接着剤が付いた紙のＰｏｓｔ−ｉｔ（登録商標）メモのディスペンサーパッドから単に取り除かれて、文書、机の表面、電話等の様々な表面に貼り付けられる。紙のＰｏｓｔ−ｉｔ（登録商標）メモがそれらのディスペンサーパッドから取り外されるか、それらの対象表面に取り付けられる前又は後のいずれかに、情報は紙のＰｏｓｔ−ｉｔ（登録商標）メモ上に書かれ得る。紙のＰｏｓｔ−ｉｔ（登録商標）メモは、文書間及び文書と机の表面との間等、１つの表面から別の表面に容易に移動させられ得、文書の端又は境界に重なり得、層状に積み重ねられ得、それらが取り付けられる物体と共に移動させられ得る。

【発明の概要】

【課題を解決するための手段】

【0004】

本開示の少なくともいくつかの態様は、メモのコンテンツを収集する方法を特徴とし、この方法は、センサによって、複数のメモを有する場面の視覚的表現をキャプチャする工程と、処理装置によって、視覚的表現から複数のメモのうちの１つを認識する工程と、処理装置によって、複数のメモのうちの１つのコンテンツを抽出する工程と、を含む。

【0005】

本開示の少なくともいくつかの態様は、センサと、メモ認識モジュールと、メモ抽出モジュールとを含むメモ認識システムを特徴とする。センサは、複数のメモを有する場面の視覚的表現をキャプチャするように構成される。メモ認識モジュールは、センサに連結される。メモ認識モジュールは、キャプチャされた視覚的表現を受信して、キャプチャされた視覚的表現から複数のメモのうちの１つの一般的な境界を決定するように構成される。メモ抽出モジュールは、複数のメモのうちの１つの決定された一般的な境界に基づいて、キャプチャされた視覚的表現から複数のメモのうちの１つのコンテンツを抽出するように構成される。

【図面の簡単な説明】

【0006】

添付の図面は、本明細書に組み込まれ、本明細書の一部を構成し、説明と共に、本発明の利点及び原理を説明する。図面中、

【図1A】モバイルデバイス上の画像キャプチャデバイスを用いてメモを有する作業領域の画像をキャプチャするユーザの一例を図解する図である。

【図1B】モバイルデバイスの一例を図解するブロック図である。

【図1C】メモ認識システムの一実施形態を図解する。

【図1D】メモ管理システムの一実施形態を図解する。

【図2A】マークを有するメモのいくつかの例を図解する。

【図2B】マークを有するメモのいくつかの例を図解する。

【図2C】マークを有するメモのいくつかの例を図解する。

【図3A】メモ認識及び／又は管理システムの一実施形態の流れ図を図解する。

【図3B】メモのコンテンツを抽出する一実施形態の流れ図を図解する。

【図3C】メモを認証する一実施形態の流れ図を図解する。

【図4A】マークを有するメモのコンテンツ抽出過程の一例を図解する。

【図4B】マークを有するメモのコンテンツ抽出過程の一例を図解する。

【図4C】マークを有するメモのコンテンツ抽出過程の一例を図解する。

【図4D】マークを有するメモのコンテンツ抽出過程の一例を図解する。

【図5A】再帰反射性マークを有する複数のメモのコンテンツ抽出の一実施形態を図解する。

【図5B】再帰反射性マークを有する複数のメモのコンテンツ抽出の一実施形態を図解する。

【図5C】再帰反射性マークを有する複数のメモのコンテンツ抽出の一実施形態を図解する。

【図5D】再帰反射性マークを有する複数のメモのコンテンツ抽出の一実施形態を図解する。

【図6】メモ認識システムの一実施形態のモジュール図を図解する。

【図7A】メモ管理システムの一実施形態の流れ図を図解する。

【図7B】システムがどのようにメモをラベル付けし得るかの一例を図解する。

【図8】メモ管理システムの一実施形態のモジュール図を図解する。

【発明を実施するための形態】

【0007】

メモは、意見及び情報を記録、共有、及び伝達する際に広範に使用されている。例えば、コラボレーションセッション（例えば、ブレーンストーミングセッション）中、参加者は、Ｐｏｓｔ−Ｉｔ（登録商標）メモ、ホワイトボード、紙に意見を書き留め、その後、互いに共有する。本開示の少なくともいくつかの態様は、複数のメモをキャプチャし、メモのコンテンツを抽出するシステム及び方法を対象とする。いくつかの実施形態では、メモのうちの少なくともいくつかは、メモの認識及び抽出を容易にするためのマークを含む。ある場合には、メモは、場面のうちの１つの視覚的表現内で、キャプチャ及び特定／認識される。場面の視覚的表現は、例えば、メモ（複数可）及び周囲の環境のデジタル写真であり得る。更に、本開示の少なくともいくつかの態様は、メモを格納及び読み出すこと、メモをカテゴリー化及びグループ化すること等の、複数のメモを管理するシステム及び方法を対象とする。ある場合には、メモ管理システムは、多数のメモからメモコンテンツをキャプチャ及び抽出する効率を改善し得る。加えて、メモ管理システムは、メモをグループ化及び管理する効率を改善し得る。

【0008】

メモは、物理的メモ及びデジタルメモを含み得る。物理的メモは、概して、一般的な境界及び認識可能なコンテンツを有する物体を指す。物理的メモは、人々が、例えば、紙、ホワイトボード、又は入力を受容する他の物体等への他の種類の入力を介して、書く、描く、又は入力した後、結果として生じる物体を含み得る。例として、物理的メモは、手書きのＰｏｓｔ−ｉｔ（登録商標）メモ、紙、又はフィルム、図面を有するホワイトボード、ポスター、及び標識を含み得る。ある場合には、１つの物体はいくつかのメモを含み得る。例えば、いくつかの意見は、１枚のポスター紙又はホワイトボードの上に書かれ得る。いくつかの実装形態では、これらのメモの認識を容易にするために、線、マーカー、ステッカー等のマークは、メモの端に適用され得る。物理的メモは、２次元又は３次元であり得る。物理的メモは、様々な形状及びサイズを有し得る。例えば、物理的メモは３インチ×３インチ（７．６２センチメートル×７．６２センチメートル）のメモであり得、物理的メモは２６インチ×３９インチ（６６．０４センチメートル×９９．０６センチメートル）のポスターであり得、物理的メモは三角形金属標識であり得る。ある場合には、物理的メモは、既知の形状及び／又はサイズを有する。デジタルメモは、概して、情報及び／又は意見を有するデジタル物体を指す。デジタルメモは、デジタル入力を用いて生成され得る。デジタル入力は、例えば、キーボード、タッチスクリーン、デジタルカメラ、デジタル録音デバイス、スタイラス、デジタルペン等を含み得る。

【0009】

ある場合には、メモは、コラボレーション空間内で使用される。コラボレーション空間は、概して、２人以上の人が互いに意見及び考えを共有することを可能にする収集領域を指す。コラボレーション空間は、収集領域の他に、人のグループが遠隔で意見及び考えを共有することを可能にする仮想空間を含み得る。

【0010】

図１Ａは、メモ認識環境１０の一例を図解する。図１Ａの例では、環境１０は、より多くのメモ２２のうちの１つを作業領域２０からキャプチャ及び認識するためのモバイルデバイス１５を含む。本明細書に記載されるように、モバイルデバイスは、記載されるように、作業領域２０からのメモ２２の収集等のように、多数の物理的メモからメモコンテンツを効率的にキャプチャ及び抽出し得る１つ以上のソフトウェアアプリケーションに実行環境を提供する。この例では、メモ２２は、複数の参加者を有する共同ブレーンストーミングセッションの結果であり得る。記載されるように、モバイルデバイス１５及びその上で実行するソフトウェアは、作業領域２０の物理的メモ２２を表すデジタルメモの自動作成を含む様々なメモ関連動作を実行し得る。

【0011】

例示の実装形態では、モバイルデバイス１５は、他の構成要素の中でもとりわけ、画像キャプチャデバイス１８及び提示デバイス２８を含む。加えて、図１Ａに図示しないが、モバイルデバイス１５は、本明細書に記載される機能を提供するためにソフトウェア又はファームウェアを実行するための、１つ以上のプロセッサ、マイクロプロセッサ、内側メモリ及び／又はデータストレージ、並びに他の電子回路を含み得る。

【0012】

概して、画像キャプチャデバイス１８は、作業領域２０及びその中に配置されたメモ２２を表す画像データをキャプチャするように構成されたカメラ又は他の構成要素である。言い換えると、画像データは、複数の視覚的メモを有する、作業領域２０等の環境の視覚的表現をキャプチャする。モバイルデバイス１５のカメラとして論じられるが、画像キャプチャデバイス１８は、ビデオレコーダー、赤外線カメラ、ＣＣＤ（電荷結合素子）アレイ、レーザースキャナ等の画像データをキャプチャすることが可能な他の構成要素を有し得る。その上、キャプチャされた画像データは、画像、ビデオ、一連の画像（すなわち、期間内に及び／又は順番で撮られた複数の画像）、画像の収集物等のうちの少なくとも１つを含み得、入力画像という用語は、画像データの様々な例示の種類を指すために本明細書で使用される。

【0013】

提示デバイス２８は、モバイルデバイス２８との使用のための液晶ディスプレイ（ＬＣＤ）又は他の種類のディスプレイデバイス等の、電子的にアドレス指定可能なディスプレイを含み得るが、それらに限定されない。いくつかの実装形態では、モバイルデバイス１５は、例えば、行及び／又は列にグループ化されたリスト、流れ図等の様々なフォーマットで、メモに関して提示デバイス２８上の表示するコンテンツを生成する。モバイルデバイス１５は、ある場合には、タブレットコンピュータ、プロジェクタ、電子掲示板又は他の外部デバイス等の他のデバイスによる提示のためのディスプレイ情報を通信し得る。

【0014】

本明細書に記載されるように、モバイルデバイス１５、及びその上で実行するソフトウェアは、物理的メモ２２を表すデジタルメモを作製及び操作するためのプラットフォームを提供する。例えば、概して、モバイルデバイス１５は、画像キャプチャデバイス１８によって生成された画像データを処理し、作業領域２０内に配置された物理的メモ２２のうちの少なくとも１つを検出及び認識するように構成される。いくつかの例では、モバイルデバイス１５は、メモ（複数可）の一般的な境界を決定することによって、メモ（複数可）を認識するように構成される。メモが認識された後、モバイルデバイス１５は、コンテンツがメモ２２の視覚的情報である１つ以上のメモのうちの少なくとも１つのコンテンツを抽出する。

【0015】

以下に更に記載されるように、モバイルデバイス１５は、物理的メモ２２の自動検出及び認識のための技法及び情報の抽出、物理的メモのそれぞれと関連付けられたコンテンツ又は他の特徴を実装し得る。

【0016】

図１Ａの例では、モバイルデバイス１５はモバイルフォンとして図解される。しかしながら、他の例では、モバイルデバイス１５は、本明細書に記載される技法を実行するのに好適なタブレットコンピュータ、パーソナルデジタルアシスタント（ＰＤＡ）、ラップトップコンピュータ、メディアプレイヤー、電子書籍読取装置、着用可能コンピュータデバイス（例えば、腕時計、アイウェア、グローブ）、又は任意の他の種類のモバイル若しくは非モバイルコンピュータデバイスであり得る。

【0017】

図１Ｂは、本明細書に記載される技法に従って動作するモバイルデバイスの一例を図解するブロック図である。例の目的のために、図１Ｂのモバイルデバイスは、図１Ａのモバイルデバイス１５に関して説明される。

【0018】

この例では、モバイルデバイス１５は、デバイスの動作に中核機能を提供する様々なハードウェア構成要素を含む。例えば、モバイルデバイス１５は、スタティックランダムアクセスメモリ（ＳＲＡＭ）デバイス又はフラッシュメモリデバイス等のコンピュータ可読媒体又はデータストレージ６８に典型的に格納された、実行可能な命令に従って動作するように構成された１つ以上のプログラム可能なプロセッサ７０（すなわち、プログラムコード）を含む。Ｉ／Ｏ ７６は、図１Ａに記載される、キーボード、カメラボタン、電源ボタン、音量ボタン、ホームボタン、「戻る」ボタン、メニューボタン、又は提示デバイス２８等の１つ以上のデバイスを含み得る。送信機７２及び受信機７４は、高周波無線周波（ＲＦ）信号等に限定されない図１Ａに記載される無線通信インターフェースを介して、図１Ａに記載されるクラウドサーバ１２、コンピュータシステム１４、又は他のモバイルデバイス１６等の他のデバイスとの無線通信を提供する。モバイルデバイス１５は、図１Ｂに図示されない追加の別々のデジタル論理又はアナログ回路を含み得る。

【0019】

概して、動作システム６４は、プロセッサ７０上で実行し、メモ管理アプリケーション７８を含む１つ以上のユーザアプリケーション７７に動作環境（一般に「ａｐｐｓ」と称される）を提供する。ユーザアプリケーション７７は、プロセッサ７０による実行のためのコンピュータ可読格納デバイス（例えば、データストレージ６８）に格納された実行可能なプログラムコードを含み得る。他の例として、ユーザアプリケーション７７は、ファームウェアを含み得るか、いくつかの例では、別々の論理で実装され得る。

【0020】

動作中、モバイルデバイス１５は、本明細書に記載される技法に従って、入力画像データを受信し、その入力画像データを処理する。例えば、画像キャプチャデバイス１８は、メモ２２の有する図１Ａの作業領域２０等の複数のメモを有する環境の入力画像をキャプチャし得る。別の例として、モバイルデバイス１５は、受信機７４を介して、クラウドサーバ１５、コンピュータシステム１４又はモバイルデバイス１６等の外部ソースから画像データを受信し得る。概して、モバイルデバイス１５は、メモ管理アプリケーション７８及び／又は他のユーザアプリケーション７７によるアクセス及び処理のために、画像データをデータストレージ６８に格納する。

【0021】

図１Ｂに示されるように、ユーザアプリケーション７７は、モバイルデバイスのユーザに情報を提示するためのグラフィカルユーザインターフェース（ＧＵＩ）７９を出力するために、動作システム６４の核関数を呼び出し得る。更に以下に記載されるように、メモ管理アプリケーション７８は、ＧＵＩ ７９を構成及び制御して、物理的メモ２２を表す対応するデジタルメモを生成及び操作するための改善された電子環境を提供し得る。

【0022】

本開示をより良く理解するために、図１Ｃは、メモ認識システム１００Ａの実施形態を図解する。システム１００Ａは、処理装置１１０、１つ以上のメモ１２０、センサ１３０、及びメモコンテンツリポジトリ１４０を含み得る。処理装置１１０は、１つ以上のプロセッサ、マイクロプロセッサ、コンピュータ、サーバ、及び他のコンピュータデバイスを含み得る。センサ１３０、例えば、画像センサは、１つ以上のメモ１２０を有する場面の視覚的表現をキャプチャするように構成される。センサ１３０は、カメラ、ビデオレコーダー、赤外線カメラ、ＣＣＤ（電荷結合素子）アレイ、スキャナ等のうちの少なくとも１つを含み得る。視覚的表現は、画像、ビデオ、一連の画像（すなわち、期間内に及び／又は順番で取られた複数の画像）、画像の収集物等のうちの少なくとも１つを含み得る。処理装置１１０は、センサ１３０に連結され、視覚的表現を受信するように構成される。ある場合には、処理装置１１０は、電子的にセンサ１３０に連結される。処理装置１１０は、視覚的表現から１つ以上のメモ１２０のうちの少なくとも１つを認識するように構成される。いくつかの実施形態では、処理装置１１０は、メモ（複数可）の一般的な境界を決定することによって、メモ（複数可）を認識するように構成される。メモが認識された後、処理装置１１０はメモのコンテンツを抽出する。ある場合には、処理装置１１０は、それらのメモを有する場面の視覚的表現から、２つ以上のメモのコンテンツを認識及び抽出するように構成される。

【0023】

ある場合には、処理装置１１０は、非一過性コンピュータ可読媒体に格納されたソフトウェア又はファームウェアを実行して、システム１００Ａのための様々な過程（例えば、メモを認識する、メモを抽出する等）を実施することができる。メモコンテンツリポジトリ１４０は、単一のコンピュータ、サーバ、格納デバイス、クラウドサーバ等の上で動作し得る。いくつかの他の場合では、メモコンテンツリポジトリ１４０は、一連のネットワークコンピュータ、サーバ、又はデバイス上で動作し得る。いくつかの実装形態では、メモコンテンツリポジトリ１４０は、ローカル、地域、及び中心を含むデータ格納デバイスの階層を含む。メモ１２０は、コラボレーション空間内に整然と又は無作為に配置された物理的メモを含み得、センサ１３０は、コラボレーション空間内でメモ１２０の視覚的表現を生成する。

【0024】

いくつかの実施形態では、１つ以上のメモ１２０のうちの少なくともいくつかは、メモの特定、認識、及び／又は認証を容易にし得るマークを含む。いくつかの実施形態では、マークは、バーコード、カラーブロック、カラーコード、基準マーク、商標ロゴ、ドット、及び孔等のうちの少なくとも１つを含む。メモ自体の形状及び／又は色をマークとして使用して、メモの特定、認識、及び／又は認証を容易にすることができる。ある場合には、マークは、例えば、矩形メモの４隅の基準マーク等、ある特定のパターンに配置された複数の素子を含み得る。いくつかの他の場合では、少なくともいくつかの素子が、例えば、ＲＦＩＤ（無線識別）タグ等の認証情報を提供するために使用することができる非可視素子である場合、マークは、複数の素子を含み得る。例として、マークは、再帰反射性材料、光学的可変インク、着色インク、赤外線吸収インク、蛍光インク、透かし、光沢材料、虹色材料、多層光学フィルム、コロイド結晶、穴空きマーク、構造化色、浮遊画像、ウインドウスレッド等のうちの少なくとも１つを用いて作製され得る。いくつかの実施形態では、処理装置１１０は、最初に、視覚的表現からメモ上のマークを認識し、視覚的表現上のマークの位置を決定し、次いで、認識されたマークに基づいて、メモのコンテンツを抽出する。ある場合には、処理装置１１０は、認識されたマーク、メモの既知の形状、及びメモ上のマークの既知の相対位置に基づいて、メモのコンテンツを抽出する。いくつかの実装形態では、処理装置１１０は、非一時的ストレージに視覚的表現を格納することなく、リアルタイムで（すなわち、データを一時的ストレージで処理する）視覚的表現からメモのコンテンツを抽出する。

【0025】

いくつかの実装形態では、メモ認識システム１００Ａは、どのメモが認識され、かつ／又はどのメモのコンテンツが抽出されたかをユーザに示す提示デバイス（図１Ｃに図示せず）を含み得る。更に、メモ認識システム１００Ａは、提示デバイスを介して抽出されたコンテンツを提示し得る。いくつかの実施形態では、処理装置１１０は、メモのコンテンツを抽出する前にメモを認証し得る。メモが認証された場合、コンテンツは、メモコンテンツリポジトリ１４０に抽出及び格納されることになる。ある場合には、処理装置は、認証情報をメモ上のマークから抽出し得る。そのような場合では、認証情報は、マーク上で可視又は非可視であり得る。例えば、メモ上のマークは、例えば、会社ロゴ、マトリックスコード、バーコード、カラーコード等の記号を含み得る。別の例として、メモ上のマークは、好適な読取装置によって読み出され得る情報を格納するためのタグを含み得る。例えば、マークは、ＲＦＩＤタグ、近距離無線通信（ＮＦＣ）タグ等を含み得る。

【0026】

いくつかの実施形態では、センサ１３０は、例えば、周囲の環境に関するメモの写真又はビデオクリップを撮る等、いくつかのメモ１２０を有する場面の第１の視覚的表現を生成し得る。メモのそれぞれはマークを有する。処理装置１１０は、マークを特定し、マークの位置を決定し、マークの位置を使用して、例えば、メモの拡大画像を撮る等、メモ１２０を有する場面の第２の視覚的表現を生成するためにセンサ１３０を制御する。処理装置１１０は、第２の視覚的表現からメモのコンテンツを更に認識及び抽出し得る。

【0027】

図１Ｄは、メモ管理システム１００Ｂの実施形態を図解する。この実施形態では、メモ管理システム１００Ｂは、処理装置１１０、１つ以上のメモ１２０、１つ以上のメモソース１５０、及びメモコンテンツリポジトリ１４０を含む。ある場合には、システム１００Ｂは、提示デバイス１６０を含む。処理装置１１０、メモ１２０、及びメモコンテンツリポジトリ１４０は、図１Ａに図解されるメモ認識システム１００Ａの構成要素に類似している。メモソース１５０は、１つ以上のメモを有する場面の視覚的表現等の物理的メモのコンテンツを提供するためのソース、及びキーボードから入力されたデータストリーム等のデジタルメモのコンテンツを提供するためのソースを含み得る。いくつかの実施形態では、メモ管理システム１００Ｂは、第１のソース及び第２のソースを含み、第１のソースは、１つ以上のメモ１２０を有する場面の視覚的表現である。第１のソース及び第２のソースは、異なるデバイスによって生成される。第２のソースは、テキストストリーム、画像、ビデオ、ファイル、及びデータ入力のうちの少なくとも１つを含む。処理装置１１０は、メモ認識システム１００Ａにおいて論じられるように、第１のソースからメモのうちの少なくとも１つを認識し、メモのコンテンツを抽出する。ある場合には、処理装置１１０は、メモをカテゴリーでラベル付けする。処理装置１１０は、メモを、その特定の形状、色、コンテンツ、及び／又はメモの他の情報に基づいてラベル付けする。例えば、メモのそれぞれのグループは、異なる色（例えば、赤、緑、黄等）を有し得る。ある場合には、メモ１２０は、１つ以上の素子を有するマークを含み得、処理装置１１０は、マークから抽出された情報に基づいてメモをラベル付けし得る。

【0028】

いくつかの実施形態では、メモ管理システム１００Ｂは、メモ１２０のコンテンツをユーザに示すための１つ以上の提示デバイス１６０を含み得る。提示デバイス１６０は、液晶ディスプレイ（ＬＣＤ）、タブレットコンピュータ、プロジェクタ、電子掲示板、携帯電話、ラップトップ等の電子的にアドレス指定可能なディスプレイを含み得るが、それらに限定されない。いくつかの実装形態では、処理装置１１０は、例えば、行及び／又は列にグループ化されたリスト、流れ図等の様々なフォーマットで、メモに関して提示デバイス１６０上に表示するコンテンツを生成する。

【0029】

処理装置、画像センサ、及びメモコンテンツリポジトリ等のメモ認識システム及びメモ管理システムの様々な構成要素は、通信インターフェースを介して通信し得る。通信インターフェースは、任意の有線又は無線短距離及び長距離通信インターフェースを含むが、それらに限定されない。短距離通信インターフェースは、例えば、ローカルエリアネットワーク（ＬＡＮ）、Ｂｌｕｅｔｏｏｔｈ規格、ＩＥＥＥ ８０２規格（例えば、ＩＥＥＥ ８０２．１１）等の既知の通信規格に従うインターフェース、ＩＥＥＥ ８０２．１５．４規格に基づいたもの等のＺｉｇＢｅｅ若しくは類似の仕様、又は他のパブリック若しくは又は専用無線プロトコルであり得る。長距離通信インターフェースは、例えば、広域ネットワーク（ＷＡＮ）、携帯ネットワークインターフェース、衛生通信インターフェース等であり得る。通信インターフェースは、イントラネット等のプライベートコンピュータネットワーク内、又はインターネット等のパブリックコンピュータネットワーク上にあり得る。通信インターフェースは、イントラネット等のプライベートコンピュータネットワーク内、又はインターネット等のパブリックコンピュータネットワーク上にあり得る。

【0030】

図２Ａ〜２Ｃは、マークを有するメモのいくつかの例を図解する。図２Ａに図解されるように、メモ２００Ａ上のマークは、２つの素子である素子２１０Ａ及び素子２２０Ａを有する。素子２１０Ａ及び２２０Ａは、異なるサイズ、形状、相対位置及び／又は材料組成を有し得る。例えば、素子２１０Ａは、メモ用の識別子としてのバーコードであり、素子２２０Ａは、メモの境界を決定するために使用され得る再帰反射性インクの小さな矩形である。図２Ｂに図解されるように、メモ２００Ｂ上のマークは、４つの素子である２１０Ｂ、２２０Ｂ、２３０Ｂ、及び２４０Ｂを有し得る。これらの４つの素子は、類似又は異なるサイズ、形状、及び材料組成を有し得る。マークを使用して、コンテンツの抽出及び改善において使用できるメモのサイズ、位置、配向、歪み、及び他の特徴を認識することができる。図２Ｃに図解されるように、メモ２００Ｃ上のマークは、１つの素子２１０Ｃを有する。メモ２００Ｃは、非矩形形状を有する。いくつかの実施形態では、素子２１０Ｃは、例えば、メモの種類及びグループ化を特定するための識別子を含む。ある場合には、識別子は、固有識別子である。

【0031】

図３Ａは、メモ認識及び／又は管理システムの一実施形態の流れ図を図解する。最初に、システムは、複数のメモの視覚的表現をキャプチャする（工程３１０Ａ）。いくつかの実施形態では、メモは、物理的メモであり、一度に２つ以上のメモをキャプチャすることがより効率的である。次いで、システムは、視覚的表現から複数のメモのうちの１つを認識する（工程３２０Ａ）。例えば、システムは、メモ上の特定のマークを認識し、次いで、メモの一般的な境界を決定し得る。システムは、複数のメモのうちの１つのコンテンツを抽出する（工程３３０Ａ）。いくつかの実施形態では、システムは、コンテンツを抽出する前に、視覚的表現の少なくとも一部に画像変形を適用し得る。いくつかの他の実施形態では、システムは、抽出されたコンテンツの質を改善するために、画像改善又は他の画像処理技法を適用し得る。更に他の実施形態では、システムは、抽出されたコンテンツからテキスト及び図を更に認識し得る。

【0032】

図３Ｂは、メモのコンテンツを抽出する一実施形態の流れ図を図解する。最初に、視覚的表現は、システムによって受信される（工程３１０Ｂ）。システムは、視覚的表現からメモ上のマークを認識する（工程３２０Ｂ）。マークの位置及び／又は形状が決定された後、システムは、幾何補正及びクロッピングを視覚的表現に対して任意に実行し得る（工程３３０Ｂ）。メモ上のマークの認識された位置及び／又は形状に基づいて、メモの一般的な境界は、視覚的提示上で認識される（工程３４０Ｂ）。いくつかの実施形態では、メモのそれぞれがマークを有する場合、システムは、メモの同じ組の２つの視覚的表現を受信し得る。第１の視覚的表現は、メモ上のマークをキャプチャするのに好適な光ソースを用いて撮られる。例えば、光ソースは、赤外線感光性インクを使用するマークのための赤外線光であり得る。マークは第１の視覚的表現内で認識され、マークの位置が決定される。第２の視覚的表現は、メモの組をキャプチャし得、システムは、それぞれのメモの一般的な境界を、それぞれ、そのマークに基づいて決定し得る。メモの一般的な境界が決定された後、システムは、メモのコンテンツを抽出する（工程３５０Ｂ）。例えば、視覚的表現が画像である場合、システムは、メモの決定された一般的な境界に従って、画像をトリミングし得る。任意に、システムは、例えば、コントラスト、明るさを変化させる、及び／又は、他の画像処理技法を使用することによって、メモのコンテンツを改善し得る（工程３６０Ｂ）。ある場合には、システムは、抽出されたそのコンテンツを示すステータスでメモを更新し得る。

【0033】

図３Ｃは、メモを認証する一実施形態の流れ図を図解する。最初に、メモ又はメモのスタックから認証信号を取得する（工程３１０Ｃ）。一実施形態では、認証情報は、メモ上のマークの視覚的構成要素（例えば、ホログラム）であり、認証信号は、メモをキャプチャする視覚的表現から視覚的構成要素を抽出することによって取得され得る。別の実施形態では、認証情報は、メモ上のマークの電子構成要素（例えば、ＲＦＩＤタグ）に含まれ、認証信号は、好適な読取装置（例えば、ＲＦＩＤ読取装置）を使用して取得され得る。次いで、システムは、認証信号を確認する（工程３２０Ｃ）。メモ（複数可）が認証された場合、システムは、メモ管理アプリケーションを起動するか、メモ（複数可）を使用し得る（工程３３０Ｃ）。

【0034】

図４Ａ〜４Ｄは、マークを有するメモのコンテンツ抽出過程の一例を図解する。最初に、図４Ａに図解されるように、メモ４１０の視覚的表現４００がキャプチャされる。メモ４１０は、バーコード、カラーコード、マトリックスコード、カラーブロック等であり得るマーク４２０を有する。次に、図４Ｂに図解されるように、システムは、視覚的表現上のマークの一般的な境界４３０を決定し、マーク４２０を認識する。ある場合には、メモ４１０は、図４Ｃに図解されるように、視覚的表現４００内に傾斜され得る。いくつかの他の場合では、視覚的表現４００は、幾何学的歪みで撮られ得る。システムは、マーク４２０の決定された一般的な境界又はマーク４２０の一部分を使用して、視覚的表現４００に対する必要な画像変形及び補正を決定し、メモコンテンツを取得する。図４Ｄは、システムが、前の分析及び／又は画像処理の後、メモ４１０のコンテンツを抽出することを図解する。

【0035】

図５Ａ〜５Ｄは、再帰反射性マークを有する複数のメモのコンテンツ抽出の一実施形態を図解する。メモ認識／管理システムは、３つのメモ５１０Ａをキャプチャする視覚的表現５００Ａを受信し、それぞれのメモ５１０Ａは、マーク５２０を有し、２つの素子−２つの再帰反射性矩形タグを左上及び下底辺に有する。再帰反射性材料の光学的性質のために、マーク５２０はメモの残りよりも実質的に明るい。図５Ｂは、マーク５２０がメモ５１０Ａ及び背景よりもはるかに明るいことを図解する。いくつかの実施形態では、システムは、画像処理を用いて、図５Ａに図解される５００Ａの視覚的表現から図５Ｂに図解される５００Ｂの視覚的表現に変形し得る。いくつかの代替の実施形態では、システムは、異なる光ソース、例えば、閃光で、３つのメモ５１０Ａの別の視覚的表現５００Ｂを生成し得る。システムは、マーク５２０を視覚的表現５００Ｂから容易に特定し得る。マーク５２０が特定された後、図５Ｃに図解されるように、システムは、メモ５１０Ｃのコンテンツを抽出し得る。ある場合には、図５Ｄに図解されるように、システムは、画像処理技法（例えば、適応ヒストグラム均等化）を使用して、抽出されたコンテンツ５１０Ｄを改善することができる。

【0036】

図６は、メモ認識システム６００の一実施形態のモジュール図を図解する。図解される実施形態では、システム６００は、メモキャプチャモジュール６２０、メモ認識モジュール６３０、及びメモ抽出モジュール６４０を含む。メモ認識システム６００の様々な構成要素は、回路、コンピュータ、プロセッサ、処理装置、マイクロプロセッサ、及び／又はタブレットコンピュータを含むが、それらに限定されない、１つ以上のコンピュータデバイスによって実装され得る。ある場合には、メモ認識システム６００の様々な構成要素は、共有されたコンピュータデバイス上で実装され得る。あるいは、システム６００の構成要素は、複数のコンピュータデバイス上で実装され得る。いくつかの実装形態では、システム６００の様々なモジュール及び構成要素は、ソフトウェア、ハードウェア、ファームウェア、又はそれらの組み合わせとして実装され得る。ある場合には、メモ認識システム６００の様々な構成要素は、コンピュータデバイスによって実行されたソフトウェア又はファームウェアに実装され得る。追加として、システム６００の様々な構成要素は、例えば、有線又は無線インターフェース等の通信インターフェースを介して通信するか、それに連結され得る。メモキャプチャモジュール６２０は、複数の物理的メモの視覚的表現をキャプチャするように構成される。いくつかの実施形態では、メモキャプチャモジュール６２０は画像センサを含む。メモ認識モジュール６３０は、メモキャプチャモジュール６２０に連結され、メモ認識モジュールは、キャプチャされた視覚的表現を受信し、キャプチャされた視覚的表現から複数の物理的メモのうちの１つの一般的な境界を決定するように構成される。ある場合には、メモ認識モジュール６３０は、認識された物理的メモを表すデジタルメモを作製するように構成される。メモ抽出モジュール６４０は、複数のメモのうちの１つの決定された一般的な境界に基づいて、キャプチャされた視覚的表現から複数のメモのうちの１つのコンテンツを抽出するように構成される。ある場合には、メモ抽出モジュール６４０は、抽出されたコンテンツを対応するデジタルメモと関連付けるように構成される。

【0037】

いくつかの実施形態では、メモ認識システム６００は、複数のメモを認証するように構成されたメモ認証モジュール６５０を含む。ある場合には、複数のメモのうちの少なくともいくつかはマークを有する。マークを使用して、メモの認識、抽出及び認証を容易にすることができる。例えば、メモ認証モジュール６５０は、メモのマークから認証信号を取得し、認証記号に基づいて認証を確認し得る。ある場合には、メモ認証モジュール６５０は、メモ認識モジュール６３０に連結され、認証情報をメモ認識モジュール６３０に提供する。いくつかの実施形態では、メモ認識モジュール６３０及びメモ抽出モジュール６４０は、図３Ｂ及び関連議論において図解される工程を実行し得る。

【0038】

いくつかの実施形態では、メモ認識／管理システムは、複数の認識アルゴリズムを使用して、メモを認識し、色認識、形状認識、及びパターン認識等のメモのコンテンツを抽出することができる。例えば、システムは、ＲＧＢ、ＨＳＶ、ＣＩＥＬＡＢ等の色空間を使用して、色認識のためのメモに対応する、興味の対象となる領域を特定することができる。ある場合には、メモは、それらの形状で、かつ、それぞれ形状認識（例えば、Ｈｏｕｇｈ変形、形状コンテキスト等）及びパターン認識アルゴリズム（例えば、Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ、相互相関、テンプレート照合等）によって検出された固有パターンの存在のために、更に区別される。これらのアルゴリズムは、メモのコンテンツの視覚的表現又は他のソース内の望まれない物体にフィルタをかけて除去し、メモに対応する、興味の対象となるそれらの領域のみを残すことの一助となる。

【0039】

一実施形態では、メモは、印刷可能なインク又はコーティング可能な染料等の蛍光材料を用いて作製されたマークを含み得る。例えば、ロゴ等の基準マークは、メモの書き込み面上に蛍光インクで印刷され得る。適切な光ソースは、蛍光材料を励起するものである。例えば、モバイルハンドヘルド装置の白色ＬＥＤ（発光ダイオード）は、ＬＥＤ出力スペクトルの有意な青色波長成分を使用して蛍光体を励起することができ得る。一実施形態では、蛍光染料は、メモの書き込み面上にコーティングされるか、又はメモを作製する材料に含まれ得る。この実施形態では、蛍光染料は、有標品の確認を提供するだけでなく、メモ上の書かれた情報とメモ自体の背景との間のコントラストを改善し得る。そのマークは、画像センサによって生成された視覚的表現上のメモの認識及びセグメンテーションを容易にし得る。蛍光染料を有する紙から作製されたメモの場合、キャプチャされた視覚的表現はより良い可読性を有する。蛍光材料のための励起波長域及び蛍光波長域によって、フィルタ等の追加の光学機器は、画像センサ（例えば、カメラ）と一緒に用いられて、検出を改善し得る。

【0040】

図７Ａは、メモ管理システムの一実施形態の流れ図を図解する。最初に、システムは、複数のソースから複数のメモを受信する（工程７１０Ａ）。例えば、メモ管理システムは、多数のメモの画像の組をカメラ又はスマートフォンから受信し、遠隔地から撮られた多数のメモの画像の別の組を受信し得る。別の例として、メモ管理システムは、ラップトップを介して入力されるメモのビデオ録音デバイス及びテキストストリームによって撮られる数多くのメモの視覚的表現（例えば、ビデオ）を受信し得る。いくつかの実施形態では、複数のソースは、例えば、カメラ、スキャナ、コンピュータ等の異なるデバイスから取られたメモのコンテンツのソースである。次いで、システムは、複数のメモのうちの１つを認識する（工程７２０Ａ）。ある場合には、システムは、複数の物理的メモのうちの１つを表すデジタルメモを作製し、システムは、複数のメモのコンテンツを抽出する（工程７３０Ａ）。ある場合には、システムは、抽出されたコンテンツを、物理的メモを表す対応するデジタルメモと、関連付ける。いくつかの実施形態では、いくつかのメモは、メモ上にマーク（例えば、カラーブロック、カラーコード、バーコード等）を含み、メモのうちの１つのソースは、メモのうちのいくつかの視覚的表現である。ある場合には、認識工程は、視覚的表現からメモ上のマークを認識し、次いで、認識されたマークに基づいてメモの一般的境界を決定することを含む。これらの場合のうちのいくつかでは、抽出工程は、認識されたマーク、メモの既知の形状、及びメモ上のマークの既知の相対位置に基づいて、コンテンツを抽出することを含む。複数のメモのコンテンツが抽出された後、ある場合には、システムは、複数のデジタルメモのそれぞれを固有識別子と関連付け得る（工程７４０Ａ）。システムは、複数のデジタルメモのそれぞれをカテゴリーでラベル付けし得る（工程７５０Ａ）。ラベル付け工程は、以下でより詳細に論じられる。追加として、システムは、メモを認識する前に最初にメモを認証し得る。任意に、システムは、複数のメモのコンテンツをディスプレイ上で提示し得る（工程７６０Ａ）。いくつかの実施形態では、システムは、メモのカテゴリーを示す出力フィールドに、複数のメモの抽出されたコンテンツを提示し得る。いくつかの実装形態では、システムは、デジタルメモを提示する上で（例えば、グループの１つのカテゴリー内でメモを示す）デジタルメモのカテゴリー情報を使用することができる。

【0041】

図７Ｂは、システムがどのようにデジタルメモをラベル付けし得るかについての例を図解する。一実施形態では、メモ管理システムは、検出された信号に基づいて、メモをラベル付けし得る（７１０Ｂ）。例えば、メモは、バーコードを含むマークを有し得、システムは、バーコードを読み取り、バーコードに基づいてメモをラベル付けし得る。ある場合には、システムは、認識されたマークに基づいて、メモをラベル付けし得る（７２０Ｂ）。例えば、マークは、特定のグループを示す、アイコン、ロゴ、又は他の図示記号を含み得る。システムは、メモを、そのコンテンツに基づいて更にラベル付けし得る（７３０Ｂ）。ある場合には、システムは、履歴データ及び／又は予測モデリングに基づいて、メモ（noted）をラベル付けし得る（７４０Ｂ）。いくつかの他の場合では、システムは、ユーザ入力によって、メモをラベル付けし得る（７５０Ｂ）。メモ管理システムは、メモをラベル付けするための１つ以上の手法を使用することができる。システムはまた、他の手法を使用して、例えば、メモの形状に基づいてメモをラベル付けする等、図７Ｂにリストされていないメモをラベル付けすることができる。更に、ある場合には、メモは、２つ以上のカテゴリーと関連付けられ得る。

【0042】

図８は、メモ管理システム８００のモジュール図を図解する。図解される実施形態では、システム８００は、１つ以上のメモソース８２０、メモ認識モジュール８３０、メモ抽出モジュール８４０、及びメモラベル付けモジュール８６０を含む。メモ管理システム８００の様々な構成要素は、回路、コンピュータ、プロセッサ、処理装置、マイクロプロセッサ、及び／又はタブレットコンピュータを含むが、それらに限定されない、１つ以上のコンピュータデバイスによって実装され得る。ある場合には、メモ管理システム８００の様々な構成要素は、共有されたコンピュータデバイス上に実装され得る。あるいは、システム８００の構成要素は、複数のコンピュータデバイス上で実装され得る。いくつかの実装形態では、システム８００の様々なモジュール及び構成要素は、ソフトウェア、ハードウェア、ファームウェア、又はそれらの組み合わせとして実装され得る。ある場合には、メモ管理システム８００の様々な構成要素は、コンピュータデバイスによって実行されたソフトウェア又はファームウェアに実装され得る。追加として、システム８００の様々な構成要素は、例えば、有線又は無線インターフェース等の通信インターフェースを介して通信するか、それに連結され得る。メモソース（複数可）８２０は、複数のメモを提供するように構成される。いくつかの実施形態では、メモソース８２０のうちの１つは、１つ以上の物理的メモを有する場面の視覚的表現である。ある場合には、メモソース８２０は、例えば、画像、テキストストリーム、ビデオストリーム等のメモを提供するための複数の異なるソースを含む。メモ認識モジュール８３０は、メモソース８２０に連結され、メモ認識モジュールは、視覚的表現を受信して、視覚的表現から物理的メモの一般的な境界を決定し、物理的メモを表すデジタルメモを作製するように構成される。メモ抽出モジュール８４０は、複数の物理的メモのうちの１つの決定された一般的な境界に基づいて、視覚的表現から複数の物理的メモのうちの１つのコンテンツを抽出し、抽出されたコンテンツを、対応するデジタルメモと関連付けるように構成される。メモラベル付けモジュール８６０は、複数のデジタルメモのうちの１つをカテゴリーでラベル付けするように構成される。

【0043】

いくつかの実施形態では、メモ管理システム８００は、複数のメモを認証するように構成されるメモ認証モジュール８５０を含む。ある場合には、複数のメモのうちの少なくともいくつかはマークを有する。マークを使用して、メモの認識、抽出及び認証を容易にすることができる。例えば、メモ認証モジュール８５０は、メモのマークから認証信号を取得し、認証信号に基づいて認証を確認し得る。ある場合には、メモ認証モジュール８５０は、メモ認識モジュール８３０に連結され、認証情報をメモ認識モジュール８３０に提供する。いくつかの実施形態では、メモ認識モジュール８３０及びメモ抽出モジュール８４０は、図３Ｂ及び関連議論において図解される工程を実行し得る。いくつかの実施形態では、メモラベル付けモジュール８６０は、図７Ｂ及び関連議論において図解される１つ以上のラベル付け手法を使用し得る。ある場合には、メモは、２つ以上のカテゴリーと関連付けられ得る。

【0044】

いくつかの実施形態では、メモ管理システム８００は、複数のデジタルメモのコンテンツを集めて、メモのカテゴリーに従って複数のメモのうちの少なくとも一部を提示するように構成される、メモ提示モジュール８７０を含み得る。例えば、メモ提示モジュール８７０は、複数のデジタルメモを、同じカテゴリーを有するグループに編成し得る。別の例として、メモ提示モジュール８７０は、デジタルメモの異なるグループの接続線及び／又は矢印を追加し得る。

【0045】

典型的な実施形態
実施形態１．
第１のソース及び第２のソースから複数のメモを提供する工程であって、第１のソース及び第２のソースが、異なるデバイスから生成され、第１のソースが、複数のメモのうちの１つ以上を有する場面の視覚的表現である、工程と、
処理装置によって、第１のソースから複数のメモのうちの１つを認識する工程と、
処理装置によって、複数のメモのうちの１つのコンテンツを抽出する工程と、
処理装置によって、複数のデジタルメモを作製する工程であって、各デジタルメモが、複数のメモのうちの１つを表、工程と、
第１のソース及び第２のソースによって提供されたデジタルメモをカテゴリーでラベル付けする工程と、を含む、方法。

【0046】

実施形態２．第２のソースが、テキストストリーム、画像、ビデオ、ファイル、及びデータ入力のうちの少なくとも１つを含む、実施形態１に記載の方法。

【0047】

実施形態３．
デジタルメモを固有識別子と関連付ける工程を更に含む、実施形態１又は実施形態２に記載の方法。

【0048】

実施形態４．ラベル付け工程が、抽出されたコンテンツに基づいて、デジタルメモをラベル付けすることを含む、実施形態１〜実施形態３のいずれか１つに記載の方法。

【0049】

実施形態５．ラベル付け工程が、ユーザによってデジタルメモをラベル付けすることを含む、実施形態１〜実施形態４のいずれか１つに記載の方法。

【0050】

実施形態６．ラベル付け工程が、固有識別子に基づいて、デジタルメモをラベル付けすることを含む、実施形態３に記載の方法。

【0051】

実施形態７．複数のメモのうちの１つが、マークを含む、実施形態１〜実施形態６のいずれか１つに記載の方法。

【0052】

実施形態８．マークが、バーコード、カラーブロック、カラーコード、パターン、基準マーク、商標ロゴ、ドット、及び孔のうちの少なくとも１つを含む、実施形態７に記載の方法。

【0053】

実施形態９．認識工程が、視覚的表現から複数のメモのうちの１つのマークを認識することを含む、実施形態７又は実施形態８に記載の方法。

【0054】

実施形態１０．認識工程が、認識されたマークに基づいて、複数のメモのうちの１つの一般的な境界を決定することを含む、実施形態９に記載の方法。

【0055】

実施形態１１．認識工程が、認識されたマーク、複数のメモのうちの１つの既知の形状、及び複数のメモのうちの１つ上のマークの既知の相対位置に基づいて、複数のメモのうちの１つの一般的な境界を決定することを含む、実施形態９に記載の方法。

【0056】

実施形態１２．マークが記号を含む、実施形態７に記載の方法。

【0057】

実施形態１３．抽出工程が、記号を視覚的表現から抽出することを含む、実施形態１２に記載の方法。

【0058】

実施形態１４．
抽出された記号に基づいて、複数のメモのうちの１つを認証することを更に含む、実施形態１３に記載の方法。

【0059】

実施形態１５．ラベル付け工程が、認識されたマークに基づいてデジタルメモをラベル付けすることを含む、実施形態９に記載の方法。

【0060】

実施形態１６．ラベル付け工程が、抽出された記号に基づいてデジタルメモをラベル付けすることを含む、実施形態１３に記載の方法。

【0061】

実施形態１７．複数のメモが、物理的メモ、デジタルメモ、及びそれらの組み合わせを含む、実施形態１〜実施形態１６のいずれか１つに記載の方法。

【0062】

実施形態１８．処理装置が、プロセッサ、マイクロプロセッサ、マイクロコントローラ、コンピュータ、及びコンピュータデバイスのうちの少なくとも１つを含む、実施形態１〜実施形態１７のいずれか１つに記載の方法。

【0063】

実施形態１９．
提示デバイスによって、抽出されたコンテンツをユーザに提示することを更に含む、実施形態１〜実施形態１８のいずれか１つに記載の方法。

【0064】

実施形態２０．提示工程が、デジタルメモのカテゴリーを示す出力フィールドに、抽出されたコンテンツを提示することを含む、実施形態１９に記載の方法。

【0065】

実施形態２１．マークが、再帰反射性材料、光学的可変インク、着色インク、赤外線吸収インク、蛍光インク、透かし、光沢材料、虹色材料、穴空きマーク、構造化色、浮遊画像、及びウインドウスレッドのうちの少なくとも１つを用いて作製される、実施形態７に記載の方法。

【0066】

実施形態２２．
処理装置によって、複数のメモのうちの１つを認証することを更に含み、
複数のメモのうちの１つが認証された場合、抽出工程が、複数のメモのうちの１つのコンテンツを抽出することを含む、実施形態１〜実施形態２１のいずれか１つに記載の方法。

【0067】

実施形態２３．視覚的表現が、画像又はビデオである、実施形態１〜実施形態２２のいずれか１つに記載の方法。

【0068】

実施形態２４．ラベル付け工程が、抽出されたコンテンツ及び履歴データに基づいてデジタルメモをラベル付けすることを含む、実施形態１〜実施形態２３のいずれかつに記載の方法。

【0069】

実施形態２５．ラベル付け工程が、抽出されたコンテンツ、履歴データ、及び予測モデリングに基づいてデジタルメモをラベル付けすることを含む、実施形態１〜実施形態２４のいずれか１つに記載の方法。

【0070】

実施形態２６．メモ管理システムであって、
複数のメモを提供するように構成された第１のメモソース及び第２のメモソースであって、異なるデバイスから生成され、第１のメモソースが、複数のメモのうちの１つ以上を有する場面の視覚的表現である、第１のメモソース及び第２のメモソースと、
視覚的表現を受信して、視覚的表現から複数のメモのうちの１つの一般的な境界を決定するように構成されたメモ認識モジュールと、
複数のメモのうちの１つの決定された一般的な境界に基づいて、視覚的表現から複数のメモのうちの１つのコンテンツを抽出し、複数のメモのうちの１つ及び抽出されたコンテンツと関連付けられたデジタルメモを作製するように構成されたメモ抽出モジュールと、
デジタルメモをカテゴリーでラベル付けするように構成されたメモラベル付けモジュールと、を備える、メモ管理システム。

【0071】

実施形態２７．第２のメモソースが、テキストストリーム、画像、ビデオ、ファイル、及びデータ入力のうちの少なくとも１つを含む、実施形態２６に記載のメモ管理システム。

【0072】

実施形態２８．メモ抽出モジュールが、デジタルメモを固有識別子と関連付けるように更に構成される、実施形態２６又は実施形態２７に記載のメモ管理システム。

【0073】

実施形態２９．メモラベル付けモジュールが、抽出されたコンテンツに基づいてデジタルメモをラベル付けするように更に構成される、実施形態２６〜実施形態２８のいずれか１つに記載のメモ管理システム。

【0074】

実施形態３０．ラベル付け工程が、ユーザによってデジタルメモをラベル付けすることを含む、実施形態２６〜実施形態２９のいずれか１つに記載のメモ管理システム。

【0075】

実施形態３１．ラベル付け工程が、固有識別子に基づいてデジタルメモをラベル付けすることを含む、実施形態２８に記載のメモ管理システム。

【0076】

実施形態３２．複数のメモのうちの１つがマークを含む、実施形態２６〜実施形態３１のいずれか１つに記載のメモ管理システム。

【0077】

実施形態３３．マークが、バーコード、カラーブロック、カラーコード、パターン、基準マーク、商標ロゴ、ドット、及び孔のうちの少なくとも１つを含む、実施形態３２に記載のメモ管理システム。

【0078】

実施形態３４．メモ認識モジュールが、視覚的表現から複数のメモのうちの１つのマークを認識するように更に構成される、実施形態３３に記載のメモ管理システム。

【0079】

実施形態３５．メモ認識モジュールが、認識されたマークに基づいて、複数のメモのうちの１つの一般的な境界を決定するように更に構成される、実施形態３４に記載のメモ管理システム。

【0080】

実施形態３６．メモ認識モジュールが、認識されたマーク、複数のメモのうちの１つの既知の形状、及び複数のメモのうちの１つ上のマークの既知の相対位置に基づいて、複数のメモのうちの１つの一般的な境界を決定するように更に構成される、実施形態３４に記載のメモ管理システム。

【0081】

実施形態３７．マークが記号を含む、実施形態３２に記載のメモ管理システム。

【0082】

実施形態３８．メモ抽出モジュールが、視覚的表現から記号を抽出するように更に構成される、実施形態３７に記載のメモ管理システム。

【0083】

実施形態３９．
抽出された記号に基づいて、複数のメモのうちの１つを認証するように構成されたメモ認証モジュールを更に備える、実施形態３８に記載のメモ管理システム。

【0084】

実施形態４０．メモラベル付けモジュールが、認識されたマークに基づいてデジタルメモをラベル付けするように更に構成される、実施形態３４に記載のメモ管理システム。

【0085】

実施形態４１．メモラベル付けモジュールが、抽出された記号に基づいてデジタルメモをラベル付けするように更に構成される、実施形態３８に記載のメモ管理システム。

【0086】

実施形態４２．複数のメモが、物理的メモ、デジタルメモ、及びそれらの組み合わせを含む、実施形態２６〜実施形態４１のいずれか１つに記載のメモ管理システム。

【0087】

実施形態４３．処理装置が、プロセッサ、マイクロプロセッサ、マイクロコントローラ、コンピュータ、及びコンピュータデバイスのうちの少なくとも１つを含む、実施形態２６〜実施形態４２のいずれか１つに記載のメモ管理システム。

【0088】

実施形態４４．
抽出されたコンテンツをユーザに提示するように構成されたメモ提示モジュールを更に備える、実施形態２６〜実施形態４３のいずれか１つに記載のメモ管理システム。

【0089】

実施形態４５．メモ提示モジュールが、抽出されたコンテンツと関連付けられたデジタルメモのカテゴリーを示す出力フィールドに、抽出されたコンテンツを提示するように更に構成される、実施形態４４に記載のメモ管理システム。

【0090】

実施形態４６．マークが、再帰反射性材料、光学的可変インク、着色インク、赤外線吸収インク、蛍光インク、透かし、光沢材料、虹色材料、穴空きマーク、構造化色、浮遊画像、及びウインドウスレッドのうちの少なくとも１つを用いて作製される、実施形態３２に記載のメモ管理システム。

【0091】

実施形態４７．
複数のメモのうちの１つを認証するように構成されたメモ認証モジュールを更に備え、
複数のメモのうちの１つが認証された場合、メモ抽出モジュールが、複数のメモのうちの１つのコンテンツを抽出するように更に構成される、実施形態２６〜実施形態４６のいずれか１つに記載のメモ管理システム。

【0092】

実施形態４８．視覚的表現が、画像又はビデオである、実施形態２６〜実施形態４７のいずれか１つに記載のメモ管理システム。

【0093】

実施形態４９．メモラベル付けモジュールが、抽出されたコンテンツ及び履歴データに基づいて、デジタルメモをラベル付けするように更に構成される、実施形態２６〜実施形態４８のいずれか１つに記載のメモ管理システム。

【0094】

実施形態５０．メモラベル付けモジュールが、抽出されたコンテンツ、履歴データ、及び予測モデリングに基づいて、デジタルメモをラベル付けするように更に構成される、実施形態２６〜実施形態４９のいずれか１つに記載のメモ管理システム。

【0095】

本発明は、上述の特定の実施例及び実施形態に限定されると見なされるべきではなく、そのような実施形態は、本発明の様々な態様の説明を容易にするために詳細に説明されている。むしろ、本発明は、添付の特許請求の範囲及びそれらの等価物によって定義される本発明の趣旨及び範囲に含まれる様々な修正、等価過程、及び代替のデバイスを含む、本発明の全ての態様を包含することが理解されるべきである。
本発明の実施態様の一部を以下の〔態様１〕−〔態様１５〕に記載する。
〔態様１〕
メモを管理する方法であって、
第１のソース及び第２のソースから複数のメモを提供する工程であって、前記第１のソース及び前記第２のソースが、異なるデバイスから生成され、前記第１のソースが、前記複数のメモのうちの１つ以上を有する場面の視覚的表現である、工程と、
処理装置によって、前記第１のソースから前記複数のメモのうちの少なくとも１つを認識する工程と、
前記処理装置によって、前記複数のメモのうちの前記１つのコンテンツを抽出する工程と、
前記第１のソース及び前記第２のソースによって提供された前記複数のメモのそれぞれをカテゴリーでラベル付けする工程と、を含む、方法。
〔態様２〕
前記ラベル付け工程が、前記抽出されたコンテンツに基づいて、前記複数のメモのうちの前記１つをラベル付けすることを含む、態様１に記載の方法。
〔態様３〕
前記複数のメモのうちの前記１つがマークを含む、態様１に記載の方法。
〔態様４〕
前記認識工程が、前記視覚的表現から前記複数のメモのうちの前記１つの前記マークを認識することを含む、態様３に記載の方法。
〔態様５〕
前記認識工程が、前記認識されたマーク、前記複数のメモのうちの前記１つの既知の形状、及び前記複数のメモのうちの前記１つ上の前記マークの既知の相対位置に基づいて、前記複数のメモのうちの前記１つの一般的な境界を決定することを含む、態様４に記載の方法。
〔態様６〕
前記複数のメモが、物理的メモ、デジタルメモ、及びそれらの組み合わせを含む、態様１に記載の方法。
〔態様７〕
提示デバイスによって、前記抽出されたコンテンツをユーザに提示することを更に含む、態様１に記載の方法。
〔態様８〕
前記提示工程が、前記複数のメモのうちの前記１つの前記カテゴリーを示す出力フィールドに、前記抽出されたコンテンツを提示することを含む、態様７に記載の方法。
〔態様９〕
メモ管理システムであって、
複数のメモを提供するように構成された第１のメモソース及び第２のメモソースであって、異なるデバイスから生成され、前記第１のメモソースが、１つ以上のメモを有する場面の視覚的表現である、第１のメモソース及び第２のメモソースと、
前記視覚的表現を受信して、前記視覚的表現から前記複数のメモのうちの１つの一般的な境界を決定するように構成されたメモ認識モジュールと、
前記複数のメモのうちの前記１つの前記決定された一般的な境界に基づいて、前記視覚的表現から前記複数のメモのうちの前記１つのコンテンツを抽出するように構成されたメモ抽出モジュールと、
前記複数のメモのうちの前記１つをカテゴリーでラベル付けするように構成されたメモラベル付けモジュールと、を備える、メモ管理システム。
〔態様１０〕
前記メモラベル付けモジュールが、前記抽出されたコンテンツに基づいて、前記複数のメモのうちの前記１つをラベル付けするように更に構成される、態様９に記載のメモ管理システム。
〔態様１１〕
前記複数のメモのうちの前記１つが、マークを含み、前記メモ認識モジュールが、前記視覚的表現から前記複数のメモのうちの前記１つの前記マークを認識するように更に構成される、態様９に記載のメモ管理システム。
〔態様１２〕
前記メモ認識モジュールが、前記認識されたマークに基づいて、前記複数のメモのうちの前記１つの前記一般的な境界を決定するように更に構成される、態様１１に記載のメモ管理システム。
〔態様１３〕
前記抽出されたコンテンツをユーザに提示するように構成されたメモ提示モジュールを更に備える、態様９に記載のメモ管理システム。
〔態様１４〕
前記複数のメモのうちの前記１つを認証するように構成されたメモ認証モジュールを更に備え、
前記複数のメモのうちの前記１つが認証された場合、前記メモ抽出モジュールが、前記複数のメモのうちの前記１つの前記コンテンツを抽出するように更に構成される、態様９に記載のメモ管理システム。
〔態様１５〕
前記メモラベル付けモジュールが、前記抽出されたコンテンツ及び履歴データに基づいて、前記複数のメモのうちの前記１つをラベル付けするように更に構成される、態様９に記載のメモ管理システム。

【図1A】

【図1B】

【図1C】

【図1D】

【図2A】

【図2B】

【図2C】

【図3A】

【図3B】

【図3C】

【図4A】

【図4B】

【図4C】

【図4D】

【図5A】

【図5B】

【図5C】

【図5D】

【図6】

【図7A】

【図7B】

【図8】