【文献】
西畑一馬、鍋坂理恵,jQuery Mobile スマートフォンサイト デザイン入門,株式会社アスキー・メディアワークス,2012年 9月13日,第1版第3刷,第116−117頁
(58)【調査した分野】(Int.Cl.,DB名)
前記現在のジェスチャ状態を判定する前記工程は、開始入力位置からの前記ジェスチャ入力の前記第1の軸に沿った現在の変位の方向の少なくとも一部に基づいていることを特徴とする請求項1に記載の方法。
前記現在のジェスチャ状態を判定する前記工程は、さらに、前記ジェスチャ入力の前記第1の軸に沿った速度の一部に基づいていることを特徴とする請求項3に記載の方法。
前記現在のジェスチャ状態を判定する前記工程は、さらに、前記現在の変位の前記第1の軸に沿った大きさの一部に基づいていることを特徴とする請求項3に記載の方法。
前記第1の軸は、前記デジタルコンテンツ項目を含む、表示される複数のコンテンツ項目のセットのスクロールの軸に実質的に垂直であることを特徴とする請求項3に記載の方法。
前記現在のジェスチャ状態を判定する前記工程は、前記追跡したジェスチャ入力が画面端でのタッチ移動を示す場合には、第1のジェスチャ状態から第2のジェスチャ状態へ移行する工程を含むことを特徴とする請求項1に記載の方法。
前記現在のジェスチャ状態を判定する前記工程は、開始入力位置から前記ジェスチャ入力の第1の軸に沿った現在の変位の方向の一部と、前記ジェスチャ入力の期間の一部とに基づくことを特徴とする請求項1に記載の方法。
前記選択された動作が現在のナビゲーションビューから前記デジタルコンテンツ項目を削除する場合、前記ナビゲーションビュー外へのデジタルコンテンツ項目の移動をアニメーション化する工程をさらに含むことを特徴とする請求項1に記載の方法。
前記現在のジェスチャ状態を判定する前記工程は、前記追跡したジェスチャ入力に含まれるタッチ入力ポイントの数の少なくとも一部に基づくことを特徴とする請求項1に記載の方法。
前記ジェスチャ入力は、タッチセンサー式のユーザインタフェースとビジュアルジェスチャ入力インタフェースからなるグループから選択されるインタフェースを用いて検出され、かつ、追跡されることを特徴とする請求項1に記載の方法。
【発明を実施するための形態】
【0006】
本発明の好適な実施形態の以下の説明は、本発明をそれらの好適な実施形態に限定することを意図せず、当業者が本発明を作成及び使用できるようにすることを意図する。
1.メッセージを整理するシステム
図1に示すように、好適な一実施形態のメッセージを整理するシステムは、ディスプレイと、メッセージクライアント110、メールボックスビュー制御器120及びジェスチャ検出エンジン130を含むアプリケーションとを有するコンピューティングデバイスを含んでもよい。システムは、メールボックスのメッセージを分類及び管理するための対話型インタフェースをレンダリングするように機能する。システムは、ユーザがジェスチャインタフェースを介して素早く且つ直感的に電子メールを管理できるようにする。システムは、メッセージに直接適用されたジェスチャを介して管理されるメールボックス整理構成を提供できる。システムは電子メールアカウントとインタフェースするように構成可能であるが、その代わりに又はそれに加えて、ソーシャルネットワークメッセージング、ニュースストリーム、タスクリスト又は何らかの適切な更新された情報コレクション等の別の情報ストリームと共に使用されてもよい。
【0007】
好適な一実施形態のコンピューティングデバイス及びディスプレイは、ユーザに対するインタフェースを処理し且つレンダリングするように機能する。コンピューティングデバイスはスマートフォン等の移動装置であってもよいが、あるいは、タブレット、デスクトップコンピュータ、ゲームシステム、TVに接続されたコンピューティングデバイス、ウェアラブルコンピューティングデバイス又は何らかの適切なコンピューティングデバイスであってもよい。装置は、ジェスチャ入力を検出できる入力装置を含むことができる。入力装置はタッチスクリーンであるのが好ましいが、あるいは、ユーザの動き/画像検出システム、装置の動きセンサ、カーソル位置決め装置(例えば、マウス又はトラックパッド)又は何らかの適切な入力装置であってもよい。
【0008】
好適な一実施形態のメッセージクライアント110は、メッセージの送出、受信及び操作を管理するように機能する。メッセージクライアント110は、コンピューティングデバイス上で動作可能なネイティブアプリケーションであるのが好ましい。あるいは、メッセージクライアント110は、ウェブベースアプリケーション、オペレーティングシステムに基づくサービス、通知サービス、第2のアプリケーション内で動作可能なフレームワーク、又はユーザ対話を定義するコンピュータ可読命令を格納した何らかの適切なコンピュータ可読媒体であってもよい。メッセージクライアント110は、メッセージサービスプロバイダのサーバ、メッセージサービスプロバイダに対するプロキシであるメールボックスサービスのサーバ又は何らかの適切なメッセージングサービスと通信するのが好ましい。メッセージクライアント110は、電子メールアカウントを管理するのが好ましい。あるいは、メッセージクライアント110は、ソーシャルネットワークメッセージング、インスタントメッセージング、情報ストリーム又は何らかの適切なメッセージ供給元を管理してもよい。メッセージクライアント110は、メッセージを受信し、レンダリングされたインタフェースに当該メッセージを適切に組み込むのが好ましい。更に、メッセージクライアント110はメッセージを送出してもよい。更に、メッセージクライアント110は、ジェスチャ検出エンジンにより検出された入力をメッセージサービスプロバイダに対して変換された対応する応答動作に変換するのが好ましい。例えば電子メールをリストに移動することは、メッセージサービスプロバイダ上でフォルダを作成すること及びメッセージをフォルダに追加することを含んでもよい。メッセージをごみ箱に移動することは、メッセージシステムプロバイダ上で削除するためにメッセージを待ち行列に入れてもよい。
【0009】
好適な一実施形態のアプリケーションのメールボックスビュー制御器120は、装置のディスプレイ上にインタフェースをレンダリングするように機能する。メールボックスビュー制御器120は、メッセージをメッセージ項目のリストとして示すのが好ましい。あるいは、ジェスチャ入力を介して動作を適用できるメッセージ項目は、
図2に示すようなギャラリビュー、
図3に示すようなスタックビュー、カバーフロービュー、カードビュー内、文書/記事ビュー内、あるいはメールボックス項目の何らかの適切なビューで提示又はレンダリングされてもよい。更に、メールボックスビュー制御器120はジェスチャ検出エンジン130と協働して、ジェスチャが進行中に入力フィードバックをレンダリングする。例えばユーザがメッセージ上で接触接点を水平方向にスライドすると、計画された実行に従って現在のジェスチャ状態の動作が表示される。更に、メッセージは、ジェスチャ入力に応じてアニメーション化されるのが好ましい。アニメーションは、ジェスチャ入力の変位に比例して水平方向にスライドするアニメーションであるのが好ましい。この場合、水平方向は第1の軸を示すことを意味する。第1の軸は、スクロール軸に対して垂直であるか又はスクロール軸と区別可能であるのが好ましい。例えばジェスチャがほぼ水平方向である場合、ビューは垂直軸に沿ってスクロール可能であるのが好ましい(スクロールが有効な場合)。
【0010】
メールボックスビュー制御器120は、メッセージの全文、アカウントのリスト/フォルダ/ストリーム、及び/又はアプリケーションインタフェースの何らかの適切な部分を表示するように更に構成されてもよい。1つの好適な変形例において、メールアカウントのディレクトリ(例えば、フォルダ又はリスト)のナビゲーションは、ディレクトリの場所の整合性のある認知マッピングとジェスチャ/動作による分類動作とを助長するインタフェース対話を介してアクセスされる。ナビゲーションインタフェースは、メッセージクライアント110が整合性のあるシミュレーションされたグラフィカルな順序/構成を提供するために制御する順序付きビューセットを含むのが好ましい。ナビゲーションビューは、ペイン、モーダルビュー、アプリケーション動作モード、あるいはインタフェース要素を含む何らかの適切な表示状態であることができる。位置構成は、水平軸に沿って整列されるのが好ましく、ビューは、一度に限られた数のビューのみが有効であるほぼモジュール構造であるのが更に好ましい(例えば、電話では1つのモジュールビューが有効であり、タブレットでは並列な2つのモジュールビューが有効であってもよい)。
図4に示すように、ナビゲーションインタフェースのビューは、第1の位置にオプションのリストストリームビューを含み、第2の位置に保留メッセージストリームビューを含み、第3/中央のビューに受信箱を含み、第4のビューにアーカイブストリームビューを含んでもよい。上述のように、ジェスチャに対応する動作は現在のナビゲーションビューの順序にマッピングするのが好ましく、ナビゲーションビューを変更することは、ジェスチャ状態にマッピングされる動作のインデックスを再構築することを含むことができる。実際、ジェスチャは、ナビゲート可能な方向(例えば、右又は左)にナビゲーション位置が1つ又はオプションで2つ離れた種々のカテゴリへのメッセージの分類をシミュレートするように機能するため、ビュー間をナビゲートすることはユーザが「到達」できる動作に影響を及ぼすことができる。1つの変形例において、整合性のあるインデックス付けは、中央のビュー(例えば、受信箱)及び隣接するナビゲーションビュー内で維持されるのが好ましい。場合によっては、対応するナビゲーションに基づくマッピングに直接従うことにより重要な動作へのアクセスが失われるため、モデルが壊れてもよい。例えばリストストリームビューを閲覧している場合、マッピングは、受信箱に追加する動作、リマインダ条件を設定する動作及びアーカイブに入れる動作を含んでもよい。あるいは、メールボックスビュー制御器は構成要素の何らかの適切な組み合わせに分割されてもよい。
【0011】
更に、メールボックスビュー制御器120は、ジェスチャ/動作マッピングに関する認知的合図及びフィードバックを補強するために、ナビゲーションビュー及び/又はメッセージ項目のグラフィカルアニメーションを利用できる。例えばジェスチャ状態は、軸に沿うスワイプ接触イベントに依存するのが好ましい。進行中のジェスチャを検出した場合、メッセージメールボックスビュー制御器120は、現在の動作を伝えるUI要素を示すのと同時にメッセージ項目をアニメーション化するように構成されるのが好ましい。スワイプ接触イベントが完了すると、メッセージ項目は、動作に対応するビューの方向に画面から消えるようにアニメーション化されるのが好ましい。
【0012】
好適な一実施形態のジェスチャ検出エンジン130は、ユーザ入力を解析してメッセージクライアントによる動作に変換するように機能する。ジェスチャ検出エンジン130は、異なる種類の入力ジェスチャを識別するために何らかの数のヒューリスティックを実行するのが好ましい。種々のメッセージ動作に対応する複数の定義済みのジェスチャが存在するのが好ましい。ジェスチャ検出エンジン130は、タッチスクリーン装置の接触イベントに結合されるのが好ましい。検出されるジェスチャは、スクロール又はコンテンツナビゲーションの接触ジェスチャの検出(例えば、ユーザインタフェースのスクロールビューにより提供される)に対して直交するのが更に好ましい。換言すると、ジェスチャ検出エンジン130は、他のジェスチャの機能性と衝突しない種々のジェスチャ状態を検出する。説明されるジェスチャ検出構成の更なる利点は、対話要素が常に提示されることをインタフェースが必要としないためコンテンツに対する画面領域が増加することである。ジェスチャ検出エンジン130は、直感的で発見的なユーザ入力インタフェースを維持しつつ当該利点を達成できるのが好ましい。タッチデバイスのジェスチャ検出エンジン130は、接触の開始位置、接触の動きの方向、接触の動きの速度、接触の動きの加速、接触の動きの距離、接触の動きの時間経過、接触入力の圧力、接触入力の数、複数の接触入力の関係、画面外の縁での接触イベント(画面内又は画面外へのスワイプ)及び/又は接触入力の何らかの適切なパラメータを処理するのが好ましい。ジェスチャ検出エンジン130は、受信した入力中に判定されたジェスチャ状態を継続的に更新して、現在のジェスチャ状態、ジェスチャ状態の対応する動作及び何らかの適切なレンダリングの更新をユーザインタフェースに反映し、現在の状態を反映するのが好ましい。タッチベースデバイスは、表示されたユーザインタフェースに直接適用される接触入力を含むのが好ましい。例えばユーザは、画面上に表示されたメッセージ項目に触れる。あるいは、接触イベントは直接適用されなくてもよい。例えばウェアラブルコンピューティングデバイスにおいて、ユーザインタフェースがヘッドアップディスプレイに表示される場合、接触は異なる物理構成要素(例えば、眼鏡のアーム)上で検知されてもよい。別の実施形態において、ジェスチャ検出エンジン130は、視覚システムにより検出される自然なユーザの動きを処理する。手の動きは接触ジェスチャパターンと同様のジェスチャパターンを有してもよいが、追加の又は別のジェスチャが使用されてもよい。同様に、装置の動きを動作に変換するために、移動装置の加速度計及びジャイロスコープセンサ等の装置の動きセンサが使用されてもよい。更に別の変形例として、デスクトップコンピュータはマウス又はトラックパッド等のカーソル入力装置を使用して入力を受信できるのが好ましく、それらのジェスチャが動作に変換されてもよい。ジェスチャは、入力装置の形態に対して構成されるのが好ましい。
2.メッセージを整理する方法
図5に示すように、好適な一実施形態のメッセージを整理する方法S100は、メッセージストリームを受信すること(S110)と、少なくとも1つのメッセージに対する開始されたジェスチャを検出すること(S120)と、ジェスチャ状態を追跡すること(S130)と、ジェスチャ状態の動作を識別すること(S140)と、最終ジェスチャ状態に従ってメッセージにメッセージ動作を適用すること(S150)とを含んでもよい。方法は、メッセージングシステムのジェスチャに基づく管理を可能にするように機能する。受信メッセージは、すぐに制御不能な量になる場合があるため、方法は、メッセージの管理を単純化するために、ユーザが容易にメッセージを分類し且つメッセージに自動動作を適用できるようにする。方法は、電子メールアカウントの管理に使用されるのが好ましいが、あるいは、あらゆる適切なメッセージングシステム、イベント又はコンテンツストリームに使用されてもよい。方法は、メッセージ動作にマッピングされるジェスチャのコレクションに依存するのが好ましい。ジェスチャ及びメッセージ動作は、本明細書中で説明するものに限定されず、本明細書中で示し且つ/又は説明するジェスチャ及びメッセージ動作のあらゆる適切なジェスチャ/動作マッピング及びあらゆる適切な代替例を含んでもよい。
【0013】
メッセージストリームを受信することを含むステップS110は、メッセージ供給元とインタフェースするように機能する。メッセージクライアントは、メッセージの受信を管理するのが好ましい。メッセージストリームは、同一のフォルダ、リスト、タグ、カテゴリ又はグループのメッセージの時系列順リストであるのが好ましい。あるいは、ストリームは、アルファベット順又は何らかの適切な方法で順序を付けられてもよい。方法は、メッセージのあらゆる適切なリスト又はストリームに対して動作できるのが好ましい。方法は、電子メールアカウントの受信箱フォルダを分類するために主に使用されてもよいが、方法は、整理を向上するために、送信メッセージ、他のメッセージストリーム、メッセージ又はメッセージスレッドの詳細なビュー、あるいは何らかの適切なコンテンツストリームに対して更に使用されてもよい。メッセージストリームは1つのメッセージングアカウントに対するものであるのが好ましいが、更に、複数のメッセージングアカウントに対するものであってもよい。同様に、ストリームはメッセージストリームであるのが好ましいが、ストリームは、通知/警報ストリーム、ファイルパス内のファイルのリスト又は何らかの適切な動作可能な項目のコレクションであってもよい。好適な一実施形態は、
図6に示すように、受信箱メッセージストリーム、条件付きメッセージストリーム、リストストリーム、アーカイブストリーム及びごみ箱ストリームを含むのが好ましい。新規メッセージ及び/又は更新されたメッセージ(例えば、リマインドのためにトリガされた電子メール)は、受信箱メッセージストリームに現れるのが好ましい。条件付き(「保留」)メッセージストリームは、条件を満たした時にメッセージをメールボックスストリームに移動するようにカスタマイズされてもよい返信保留リストであるのが好ましい。1つの変形例において、条件付きメッセージストリームは、特定の条件が満たされるまで受信箱からメッセージを除去する保留スチームである。条件は、時間条件であるのが好ましい。例えばメッセージが条件付きメッセージストリームに移動された後に1週間後に受信箱ストリームに移動されるように、メッセージに動作が適用されてもよい。それに加えて又はその代わりに、条件は、アクセス装置(例えば、電話、タブレット、業務用コンピュータ、家庭用コンピュータ)、地理位置、他のユーザとの距離(例えば、Angela及びAlexの近くにいる場合にメッセージを受信箱に移動する)、他の動作(例えば、別の電子メールに返信した)、並びに/あるいは、あらゆる適切な条件に基づくことができる。リストストリームは、メッセージの何らかの適切なグループ化である。ユーザが生成したラベル又はカテゴリを使用してメッセージをグループ化するのが好ましい。アーカイブメッセージストリームは、一般にそれ以上の動作を必要としないメッセージに対して使用されてもよい。ごみ箱ストリームは、自動削除又はユーザによる削除を待機しているメッセージを含むのが好ましい。方法は、あらゆる適切な数のストリーム及びストリームの種類を使用してもよい。また、ストリームのメッセージとのジェスチャに基づく対話は、あらゆる適切なメッセージストリームに対して実行されてもよい。
【0014】
少なくとも1つのメッセージに対する開始されたジェスチャを検出することを含むステップS120は、メッセージに対して実行される動作を判定するジェスチャ追跡を開始するように機能する。開始されたジェスチャは、ジェスチャ入力とスクロール等の他のユーザ対話入力とを区別するように機能するジェスチャ条件を対話イベントが満たした後に検出されるのが好ましい。ジェスチャは、少なくとも単一の接触イベントを検出した後に接触点が第1の軸にほぼ沿う方向(例えば、水平方向)に移動した場合に開始されるのが好ましい。タップ又は垂直なスワイプは、メッセージの開封又はスクロール等の他の形態のユーザ対話入力として検出されるのが好ましい。ジェスチャの始点に基づいて、メッセージが動作対象メッセージとして選択されるのが好ましい。接触イベントがメッセージのビューの場所と一致するインタフェースの座標において生じる場合、メッセージが選択される。1つの変形例において、複数のメッセージは垂直スクロールリストに表示される。別の変形例において、複数のメッセージはギャラリグリッドスクロールビューに表示される。更に別の変形例において、複数のメッセージはスタックメッセージビューに表示される。所望のメッセージにおいて接触ジェスチャを開始し且つ接触点をスクロール方向にほぼ垂直に(例えば、垂直スクロールの軸から45°〜90°の角度で)移動することにより、メッセージをジェスチャ動作に対して選択できる。1つの軸に沿う接触イベントの変位のみがジェスチャ状態の評価において考慮されるのが更に好ましい(例えば、水平なx軸のみが考慮される)。リストビューではなく詳細ビューにおいてメッセージを閲覧している(例えば、メッセージ又はメッセージスレッドの全文を表示している)場合、ジェスチャはメッセージビューのあらゆる位置から開始できるのが好ましい。画面面積が更に制限される装置(腕時計、眼鏡及び他のウェアラブルコンピューティングデバイス等)に対するインタフェースにおいて、一度に1つのメッセージ項目が提示されてもよく、あらゆる開始されるジェスチャは当該項目に関する。あるいは、メッセージは何らかの適切なヒューリスティックに従って選択されてもよい。
【0015】
ジェスチャ状態を追跡することを含むステップS130は、ジェスチャ入力を漸進的に追跡するように機能する。入力は、ジェスチャ入力が進行中に追跡されるのが好ましい。例えばジェスチャ認識エンジンは、ユーザが画面上で指を動かしている間にジェスチャ状態を更新するのが好ましい。ジェスチャの漸進的な追跡は、ユーザがジェスチャを実行中にジェスチャをフィードバックできるように機能する。ジェスチャの漸進的な追跡は、ジェスチャを前のジェスチャ状態に戻すように、関係する漸進的なジェスチャ状態のセットを変更するように及び/又はジェスチャをキャンセルするように更に機能してもよい。別の方法として、ジェスチャ状態を追跡することは、初期入力点から第1の軸に沿う入力の変位を追跡することと、追跡された入力の変位を順序付きジェスチャ状態のセットにマッピングすることと、マッピングされたジェスチャ状態の動作を識別することとを含むことができる。ジェスチャ入力は、装置の種々の示されたインタフェースを介して供給されるのが好ましい。その場合、未処理の又はパラメータ化されたジェスチャ入力(例えば、接触イベント及び接触点の座標)を使用して、現在のジェスチャ状態を計算する。本明細書中で説明するように、1つの好適な変形例は、第2のジェスチャ状態の入力変位より大きい第1の軸の第1の方向における入力変位にマッピングされた第2のジェスチャ状態を有し、同様に、変形例は、第4のジェスチャ状態の入力変位より大きい第1の軸の第2の方向における入力変位に第3のジェスチャ状態をマッピングすることを含むことができる。
【0016】
方法は、現在のジェスチャ状態のグラフィック表現を表示することを更に含んでもよい。ジェスチャ状態のグラフィックは、テキストによる指示、色による指示、グラフィックによる指示、グラフィックによる大きさの変化及び/又は現在のジェスチャ状態に対する何らかの適切な視覚的合図を含むのが好ましい。メッセージ項目は、ジェスチャ入力と共にアニメーション化されるのが好ましい。1つの好適な変形例において、メッセージ項目は、ジェスチャ入力に比例してジェスチャの軸に沿ってスライドする。ジェスチャ状態のグラフィックは、移動されたメッセージ項目により示される領域内に表示されるのが好ましい。示される領域は、以前にメッセージ及び/又はデジタルコンテンツ項目の内容が使用していた画面の領域である。移動又は平行移動されると、画面の領域が示され、ジェスチャの現在の状態に関する情報を伝えるため使用できる。他の変形例は、メッセージ項目の透明度を変更すること、メッセージ項目を変形すること、メッセージ項目のプロパティを変更すること(例えば、色を変更すること)、重なったアイコンを示すこと又は他の適切な方法を含んでもよい。あるいは、方法は、音声又は触覚フィードバック等のジェスチャ状態フィードバックを生成してもよい。ジェスチャ状態は、ジェスチャの完了時に実行される動作に直接対応するのが好ましい。何らかの適切なヒューリスティック、条件付き論理、機械学習及び/又は他の適切なアルゴリズムがジェスチャを追跡するために使用されてもよい。ジェスチャは、変化する漸進的な順位を有してもよい。換言すると、ジェスチャは、第1の状態、第2の状態、第3の状態等を有してもよい。漸進的な順位の状態は、最初に先行のジェスチャ状態を通過する必要のあるジェスチャを特徴としてもよい。例えば第2のジェスチャ状態は、第1の状態から第2の状態に移行するジェスチャをユーザが行うことにより取得されてもよい。順序付きジェスチャ状態を経る進行は、ユーザインタフェースにおいて反映されてもよい。あるいは、ジェスチャエンジンは、ジェスチャ状態が定義されてもよい計測値として入力を変換してもよく、ジェスチャは漸進的に検出されなくてもよい。更に、異なる種類のジェスチャが存在してもよい。第1の好適な実施形態において、各々が第1の状態及び第2の状態を有する2つの種類のジェスチャが存在する。あるいは、ジェスチャはあらゆる適切な方法で定義されてもよい。
【0017】
好適な一実施形態において、方法は、各々が第1の状態及び第2の状態を有する少なくとも2つの種類のジェスチャ(すなわち、少なくとも4つの異なるジェスチャ)を検出する。第1の種類のジェスチャは、ほぼ左側にスワイプすることを特徴としてもよい。第2の種類のジェスチャは、ほぼ右側にスワイプすることを特徴としてもよい。この場合、左側及び右側は軸に沿う異なる方向を定義する。双方の種類のジェスチャに対して、スワイプの距離、速度、加速度及びタイミングを要素として、動作が一次ジェスチャか又は二次ジェスチャかが判定される。一般に、スワイプは、左側への短いスワイプ、左側への長いスワイプ、右側への短いスワイプ及び右側への長いスワイプとして説明されてもよい。固有のジェスチャ状態が動作なしで存在してもよく、これは、両方向における最小限のスワイプに対して定義されてもよい。スワイプは、ユーザ入力の少なくとも一点の平行移動又は変位であるのが好ましい。メッセージビューの一点から開始して右側にほぼ水平に短く且つ/又はゆっくり移動する接触イベントは、
図7A及び
図7Cに示すように第1の状態のジェスチャであるのが好ましい。メッセージビューの一点から開始して右側にほぼ水平に長く且つ/又は高加速で移動する接触イベントは、
図7B及び
図7Dに示すように第2のジェスチャであるのが好ましい。別の変形例として、接触の動きのタイミングがジェスチャ状態に影響を及ぼしてもよい。例えばスワイプ中に動きを休止する度に、新しいジェスチャ状態に移行してもよい。これは、複数回休止することによりユーザが上位のジェスチャを行えるように機能してもよい。同様の変形例において、ジェスチャの方向の変更が上位及び/又は下位のジェスチャに移行するために使用されてもよい。例えば前後にジグザグに移動する接触は、異なる順序のジェスチャ状態間でシフトするために使用されてもよい。更に、異なるジェスチャ状態間の閾値は、ユーザの予想に従って調整可能である。あるいは、閾値は、個々のユーザのパターンに従って異なるアプリケーションインスタンスにおいて自動設定可能である。第1の方向における2つのジェスチャ状態間の閾値は、ジェスチャ入力を生成するために使用される入力手段に比例してもよい。タッチスクリーンにおいて、入力手段は通常は1本の指であるが、あるいは、複数の指又はスタイラスであってもよい。視覚に基づくシステムにおいて、入力手段は手全体、腕、制御器オブジェクト又は何らかの適切な視覚的に追跡されるオブジェクトであってもよい。第1のジェスチャ状態は、ジェスチャ入力が平均的な入力手段の幅とほぼ同じ距離(平均的な入力手段の幅の75%〜125%)を移動した場合に有効にされるのが好ましい。第2のジェスチャ入力は、ジェスチャ入力が平均的な入力手段の幅の約3倍の距離を移動した場合に、第2の漸進的に順序を付けられたジェスチャ状態を有効にする。平均的な入力手段を1単位とすると、第1のジェスチャ状態と第2のジェスチャ状態との間の移行は2〜4単位で生じ、3単位で生じるのが好ましい。タッチデバイスにおいて、これは、163ppiの解像度を有する画面上の約60画素及び約200画素の閾値に換算できる。例示的な一実現例において、1つの方向におけるジェスチャ状態間の閾値は200画面単位である(例えば、200画素又は高解像度画面で400画素)。200単位未満の右側へのスワイプは、
図7Eに示すように第1のジェスチャ状態であるのが好ましく、200単位を上回る右側へのスワイプは、
図7Fに示すように第2のジェスチャ状態であるのが好ましい。更に、第1のジェスチャ状態は最小限の時間(例えば、250ミリ秒)有効であるのが好ましい。換言すると、250ミリ秒以内に完了/終了するジェスチャ入力スワイプ(例えば、相対的に速いスワイプ)は、
図7Gに示すように速いスワイプとして変換される。これは、素早いスワイプが、二次ジェスチャ状態を示す強力なジェスチャとして解釈されるのではなく第1の漸進的に生じる動作であることを意図するユーザのパターンに基づく。あるいは、時間閾値は、速い又は素早いジェスチャにマークを付けるためのあらゆる適切な値であってもよい。そのような時間制限は、装置の種類及び/又は装置の入力検知方法に基づいてもよい。あるいは、ジェスチャ状態の検出に対する他の条件が使用されてもよい。上述のように、ジェスチャはタッチデバイス以外からの入力であってもよい。例えば装置のセンサの入力が同様に使用されてもよい。一実施形態において、装置を右側に傾けることが種類(例えば、右ジェスチャ又は左ジェスチャ)を示してもよく、装置を平行移動することにより、ジェスチャのジェスチャ状態が進行する。画面の縁を越えて移動する接触入力を実行することが、ジェスチャ状態を設定する条件として更に使用されてもよい。画面の縁を越えて移動するジェスチャ入力を検出することは、接触検知領域上又は接触検知領域外への移動を含むのが好ましい。1つの変形例において、最初の接触入力位置が画面の縁に非常に近い場合、接触検知領域上への移動が検出される。最後の接触入力位置が画面の縁に非常に近い場合、接触画面外への移動が検出される。他のジェスチャ状態変更子は、接触入力の数であってもよい。例えばディスプレイ上の指の数によりジェスチャ状態が増加してもよい。あるいは、あらゆる適切なジェスチャヒューリスティックが使用されてもよい。
【0018】
ジェスチャ状態の動作を識別することを含むステップS140は、検出されたジェスチャに動作をマッピングするように機能する。各ジェスチャは、メッセージに実行する動作に対応するのが好ましい。更に、複数のジェスチャが単一の動作に対応してもよく、このことは、ジェスチャの種々の変形が結果として同一の動作を発生させるように機能してもよい。例えば一次ジェスチャは、右側への短く素早いスワイプ又は長く遅いスワイプを含んでもよい。動作は、メッセージに対する分類動作であるのが好ましい。例えば動作は、アーカイブ、ごみ箱、カスタムリスト、リマインダストリーム、星印/マーク付きストリーム、タスクリスト及び/又は何らかの適切なストリーム/ディレクトリ/カテゴリへの移動を含んでもよい。好適な一実施形態において、ジェスチャは、ストリームのナビゲーションにも対応する動作に対応する。例えばリストのナビゲーションは、メインの受信箱を中央に配置したストリームの右左の構成を強調するか又は表すように構成されるのが好ましい。例えばリストを受信箱からカスタムリストに移動するには左側への長いスワイプを必要とするのが好ましく、カスタムリストは左端へのボタンを選択することによりアクセスされ且つ閲覧されてもよい。このように、ナビゲーション及びジェスチャは、カスタムリスト左端の位置を強調することにより一致する。
【0019】
いくつかのストリームは、メッセージを変更するか又はメッセージの管理に対する条件付き論理を実行してもよい。メッセージは、条件が満たされた後にメッセージをリマインダストリームから条件付きで移動するリマインダストリームに追加されてもよい。条件は期間であるのが好ましいが、あるいは、ユーザの地理位置、他のユーザの絶対地理位置、装置のユーザに対する他のユーザの地理位置、メッセージの別の受信者による返信、別のメッセージへの返信、装置のアクセス(例えば、デスクトップコンピュータ上で次回アクセスした時)、複数の条件に対するブール論理の組み合わせ、プログラム論理(例えば、アプリケーションプログラミングインタフェース(API)を介してアクセスされる)及び/又はあらゆる適切な条件であってもよい。メッセージは、条件が満たされた後に受信箱に移動されるのが好ましいが、何らかの適切な場所に移動されるか又は何らかの適切な方法で動作を実行されてもよい。マーク付きリストの場合、マーク又は標識(例えば、星印/重要ラベル)がメッセージに適用されてもよい。
【0020】
最終ジェスチャ状態に従ってメッセージにメッセージ動作を適用することを含むステップS150は、メッセージに識別された動作を適用するように機能する。最終ジェスチャ状態は、ジェスチャ入力が終了した時に判定される。方法は、ジェスチャ入力の終了を検出した時に、現在のジェスチャ状態にマッピングされた動作を選択された動作として選択することを含むことができる。タッチデバイスの場合、接触接点を離すことによりジェスチャ入力が終了する。動作は、メッセージ分類動作であるのが好ましい。上述のように、分類動作は、アーカイブ、ごみ箱、カスタムリスト、リマインダストリーム、星印/マーク付きストリーム、タスクリスト及び/又は何らかの適切なストリームに移動することを含んでもよい。あるいは、動作は、メッセージに返信すること、メッセージを転送すること、メッセージをカレンダーに追加すること、別の形態の通信(例えば、ソーシャルメディア、SMS/MMSメッセージング)を介してメッセージを共有すること、コンテンツをアプリケーションに移動すること及び/又はあらゆる適切な種類の動作を含んでもよい。動作は、メッセージングサービスの動作に直接対応できる。例えばメッセージをリストに追加することは、電子メールを電子メールフォルダに移動又はコピーすることを含んでもよい。いくつかの例において、アプリケーションのリストアーキテクチャに適応するために、フォルダシステムがメッセージングサービスにおいて生成されてもよい。いくつかの例において、メッセージ整理アーキテクチャは、電子メールクライアントのシステムにより透過的に生成されてもよい。換言すると、メッセージの整理はメッセージングサービスに転送されなくてもよく、元のメッセージングサービスにより提供されるユーザインタフェースにおいて反映されなくてもよい。最終ジェスチャ状態に従ってメッセージにメッセージ動作を適用することは、メッセージの移動をアニメーション化することを更に含んでもよい。アニメーション化されたメッセージの移動は、ストリームからスワイプの方向に移動するメッセージのアニメーションであってもよい。いくつかの例において、当該方向は、移動先であるメッセージストリームビューの方向に更に対応する。
【0021】
更に、方法は、動作オプション選択を検索することを含んでもよい。動作オプション選択ビューは、動作のパラメータを設定することによりユーザが動作をカスタマイズできるようにするのが好ましい。動作オプション選択は、ジェスチャの完了直後に表示される二次ビューであるのが好ましい。メッセージをリマインダストリームに移動する動作は、メッセージを受信箱に移動するべき待機時間又は特定の時間をユーザが指定できるようにする動作オプション選択ビューの表示をトリガするのが好ましい。カスタムリストに移動する動作は、メッセージが追加される新規リストをユーザが選択又は作成できるようにする動作オプション選択ビューを有するのが好ましい。動作は、設定されたジェスチャに固定されるのが好ましい。あるいは、動作は、現在閲覧されているメッセージストリームに基づいて更新されてもよい。ジェスチャ状態/動作マッピングは、ナビゲーションの変位に対応するようにインデックスを再構築されるのが好ましい。例えば動作は、スワイプ方向が特定のリストのナビゲーションの場所の認知マッピングに常にマッピングするように交替してもよい。一実現例において、ナビゲーションの順序は、リストストリーム、リマインダストリーム、受信箱ストリーム、アーカイブストリーム及びごみ箱ストリームである。受信箱において、左側への短いスワイプはリマインダ動作であり(1つ左側のリマインダストリームに対する)、左側への長いスワイプはリスト分類動作であり(2つ左側のリストストリームに対する)、右側への短いスワイプはアーカイブ動作であり(1つ右側のアーカイブストリームに対する)、右側への長いスワイプは削除動作である(2つ右側のごみ箱に対する)。ユーザがアーカイブストリームにナビゲートした場合、動作は交替されるか又はインデックスを再構築され、左側への短いスワイプが受信箱への追加動作になり(1つ左側の受信箱ストリームに対する)、長いスワイプがリマインダ動作になり(2つ左側のリマインダストリームに対する)、右側への長い又は短いスワイプが削除動作になる(右側の唯一のストリームに対する)。他のストリームを閲覧する場合、同様の方法で動作のインデックスを再構築できる。
【0022】
図8に示す例示的な使用例において、方法は、ユーザが異なる項目の動作を柔軟に選択するために漸進的なジェスチャ状態を使用できる方法を示すように機能する。単一のスワイプジェスチャで、ユーザは異なる動作オプションを概観し、考えを変え、異なる種類の順序付きジェスチャ状態を使用することもできる。本例は方法のいくつかのアフォーダンスを表す一例であることを意味するが、方法は本例のみに限定されない。ユーザは、ジェスチャ入力を開始するメッセージ項目に触れる。この段階で、ユーザは水平方向に大きく移動しておらず、従って、ジェスチャ状態は動作なしとなる。次にユーザは、接触点を左側に165画面単位(例えば、画素)移動する。メッセージは、部分的に左側にスライドするのが好ましい。この段階で、ジェスチャ状態は第1のジェスチャ状態1Aである。対応する動作は、部分的に左側にスライドしているメッセージにより示された画面領域にグラフィック表示されるのが好ましい。次にユーザは、最初の接触点から左側に300画面単位の位置に更に指を動かす。メッセージは、接触の変位に比例して更に左側にグラフィックにスライドする。本例における300画面単位の移動はジェスチャ状態閾値を超えるため、ジェスチャ状態は第2のジェスチャ状態1Bに進行する。第2のジェスチャ状態の動作はメッセージの右側の領域にグラフィック表示され、第1のジェスチャ状態のグラフィック指標と置き換わる。ユーザは考えを変え、135画面単位右側に指を動かしてもよい。現在の接触入力は、最初の接触点から150画面単位左側である。メッセージは、更新されたジェスチャ入力に比例して右側にスライドし、ジェスチャ状態は第1のジェスチャ状態1Aに漸進的に戻る。その後、ユーザは、入力をほぼ最初の接触点に移動する。メッセージは、ジェスチャ状態の全ての指示を隠すようにスライドし、現在のジェスチャ状態はいずれの動作にもマッピングされない。ユーザは、ジェスチャ入力をキャンセルする位置にいる。その後、ユーザは指を逆方向に、130画面単位右側に動かし、漸進的に順序を付けられたジェスチャ状態の別のセットを使用できる。メッセージは右側にスライドし、スライドされたメッセージの右側の領域に第3のジェスチャ状態2Aの動作のグラフィック指標が表示される。ユーザは接触入力を250画面単位右側に更に移動でき、ジェスチャ状態は第4のジェスチャ状態2Bに変化する。ユーザは、検出されるジェスチャ状態の制限内でジェスチャ状態を変更し続けられる。何らかの時点でユーザが指を離すと、ジェスチャ入力は終了され、現在のジェスチャ状態の動作が実行されるのが好ましい。
【0023】
一実施形態において、電子メールクライアントアプリケーションは、オプトアウト形式の電子メール受信箱管理を提供するのが好ましい。アプリケーションは、ユーザがメールを素早く且つ直感的に分類して、正しい時間及び/又はコンテキストで当該メールに返信できるようにする。通常、ユーザは、受信箱が空の状態を維持するためにアプリケーションを使用する。電子メールクライアントアプリケーションは、受信箱、保留ストリーム、リストストリーム、アーカイブストリーム及びごみ箱の5種類の電子メールストリームを構成するのが好ましい。
【0024】
アプリケーションのジェスチャ/動作マッピングは、
図9Aに示すようにメッセージをリストストリームに移動する左側への長いスワイプ、
図9Bに示すようにメッセージを保留ストリームに移動する左側への短いスワイプ、
図9Cに示すようにメッセージをアーカイブストリームに移動する右側への短いスワイプ及び
図9Dに示すようにメッセージをごみ箱に移動する右側への長いスワイプを含むのが好ましい。上述のように、ストリームナビゲーションは、ジェスチャ/動作マッピングに対応するのが好ましい。上部のナビゲーションバー等のナビゲーションビューにおいて、
図9Eに示すようにリストストリームのリストを表示するための左端へのボタンが存在するのが好ましい。ナビゲーションビューの中央には、
図9Eに示すように、左から右の順に、保留ストリームを表示するためのボタン、受信箱ストリームを表示するためのボタン及びアーカイブストリームを表示するためのボタンを有するスプリットボタンが存在するのが好ましい。ストリームナビゲーションの左右の編成は、ジェスチャ/動作マッピングのメンタルモデルを補強するのが好ましい。
【0025】
一次電子メールストリームは、新規メール及び電子メールリマインダが追加される電子メール受信箱である。受信箱は、アプリケーションを開いた時に閲覧されるホーム画面又は初期画面であるのが好ましい。電子メールの分類の大部分は受信箱から実行されるのが理想的である。リストストリームは、種々のリストに対するストリームのコレクションであるのが好ましい。リストストリームは、ユーザにより作成されるリスト/又は事前に作成されたリストであってもよい。リストは、ユーザが好きな時にメッセージを閲覧できるようにメッセージをファイルできるようにすることにより、ユーザにとって有益であるのがこのましい。リストストリームは、複数のラベル、カテゴリ、フォルダ、タグ、グループ又は他のメッセージ整理手段のうちの1つであるのが好ましい。メッセージをリストストリームに分類することは、メッセージを少なくとも1つの指定されたリストストリームに分類するのが好ましい。ユーザは、
図9Aに示すように、メッセージの分類先リストを指定するために動作オプション選択を設定するのが好ましい。保留ストリームは、後で受信ボックスに条件付きで追加されるメッセージに対する条件付きストリームであるのが好ましい。メッセージを保留ストリームに追加する場合、ユーザは、
図9Bに示すように、メッセージが受信箱に追加されるべき時又は条件を指定する動作オプション選択を行うのが好ましい。保留ストリームは、適切な時まで電子メールへの返信を保留することによりユーザを助けるのが好ましい。アーカイブストリームは、返信が不要なメッセージに対する汎用ストリームである。ごみ箱は、削除されるメッセージに対するメッセージストリームであるのが好ましい。
【0026】
別の実施形態において、電子メールクライアントアプリケーションは、オプトイン形式の電子メール受信箱管理を提供するのが好ましい。アプリケーションは、ユーザがメールを素早く且つ直感的に分類して、返信の必要なメッセージにマークを付けられるようにする。通常、ユーザは、返信の必要な全てのメッセージにマークを付けるためにアプリケーションを使用する。本変形例は上述の変形例とほぼ同一であるが、保留ストリームではなくマーク付きストリームにより、星印、重要シンボル、返信対象シンボル又は何らかの適切なラベル等の特定のラベルを用いてメッセージにマークを付けるのが好ましい点が異なる。更に、マーク付きストリームは、上述した第1の実施形態又はあらゆる適切な別の変形例と組み合わせて使用されてもよい。
【0027】
図10A及び
図10Bに示すように、好適な一実施形態のメッセージを整理する上述の方法の別の方法S200の説明は、有効なナビゲーションビューを有するナビゲーションビューのセットを提供すること(S210)と、ナビゲーションビューのメッセージ項目において、ナビゲーションビューの順序に対応する動作にマッピングされたジェスチャ状態の順序付きセットを検出すること(S220)と、有効なナビゲーションビューを移動すること(S230)と、検出されたジェスチャ状態の順序付きセットのインデックスを再構築すること(S240)とを含むことができる。方法は、検出されるジェスチャ状態がナビゲーションにより制御される態様を強調するように機能する。メッセージに適用されるジェスチャチャ入力及び動作の追跡は、上述の方法とほぼ同様であるのが好ましい。ナビゲーションビューは、異なるコンテンツコレクションのモーダルビューであるのが好ましい。換言すると、一度に単一のナビゲーションビュー又はペインのみが有効であり、他のナビゲーションビューは、他のナビゲーションビューに対する設定位置に存在するようにグラフィックにシミュレーションされる。シミュレーションされた位置は、ナビゲーションビュー間のグラフィカルアニメーションにより補強されるのが好ましい。ナビゲーションビューへのアクセスは、あらゆる適切な方法で達成可能である。1つの変形例において、ナビゲーションバーにおける一連のナビゲーションボタンがビューにアクセスする方法を提供してもよい。一例として、ナビゲーションビューは、リストビュー(リストビューのコレクションにアクセスする)、保留ビュー、受信箱ビュー、アーカイブ対象ビュー及びごみ箱ビューを含んでもよい。新しいナビゲーションビューが有効にするために選択される場合、アニメーションは、ナビゲーションビューの設定された順序に対応する右側又は左側のアニメーションのいずれかをシミュレートするのが好ましい。ナビゲーションビューの順序は、ジェスチャ状態オプション内の動作のインデックスに更に対応する。上述のように、4つの可能なジェスチャ状態が検出のために構成されてもよい(ジェスチャ入力をキャンセルする中立のジェスチャ状態を含まない)。ジェスチャ状態/動作マッピングは、ナビゲーションビューセット内の「位置」を反映するために再マッピングされる。ナビゲーションビューと対応する動作とのマッピングは巡回しないのが好ましい。例えばごみ箱ビューは右端に存在するナビゲーションビューであり、そのすぐ左側にアーカイブビューが存在し且つ2つ左側に受信箱ビューが存在してもよい。ごみ箱ビューを閲覧している場合、左側へのスワイプによりメッセージがアーカイブ(第1の状態の場合)又は受信箱(漸進的に応じられた第2のジェスチャ状態において)に移動されるのが好ましい。右側へのスワイプは動作を呼び出さなくてもよい。1つの変形例において、右側へのスワイプは、当該メッセージに対する削除動作を呼び出す(メッセージをごみ箱に単に移動するのと異なる)。いくつかの変形例において、複数のナビゲーションビューが同一のナビゲーション順序又はインデックスを使用してもよい。例えばリストビュー及びアーカイブビューの双方が受信箱ビューの左側のビューとして処理されてもよい。別の変形例として、ナビゲーションビューセットの端(例えば、左端のナビゲーションビュー)において、他の例ではブランクであるジェスチャ状態を別の定義された動作(アーカイブ等の共通動作等)に設定できる。
3.デジタルコンテンツと対話する方法
図11に示すように、好適な一実施形態のデジタルコンテンツと対話する方法S300は、少なくとも1つのデジタルコンテンツ項目に対する開始されたジェスチャを検出すること(S320)と、ジェスチャ状態を追跡すること(S330)と、現在のジェスチャ状態の動作を識別すること(S340)と、最終ジェスチャ状態に従ってデジタルコンテンツ項目に動作を適用すること(S350)とを含むことができる。方法S300は、上述の方法とほぼ同一であるが、メッセージングアプリケーション以外の他のコンテキストで実現されるのが好ましい。ブロックS320、S330、S340及びS350は、他の形態のデジタルコンテンツに適用される点を除いて、ブロックS120、S130、S140及びS150とほぼ同一であるのが好ましい。同様に、方法S300は、上記のシステムとほぼ同一のシステムにより実現されるのが好ましい。あるいは、方法S300は、自己完結型アプリケーション環境内ではなく、オペレーティングシステム又は何らかの適切なプラットフォームの対話型サービスとして実現されるのが好ましい。デジタルコンテンツは、メディアファイル項目(写真、映像及び音楽等)、ファイルシステムのファイル、種々の供給元からの通知又は警報、並びに/あるいは、あらゆる適切なデジタルコンテンツであってもよい。メッセージ及び特に電子メールの場合、動作は分類/整理に関連する動作であるのが好ましく、同様の方法でデジタルコンテンツに適用可能である。デジタルコンテンツに対する別の動作は、コンテンツを共有すること、異なる装置又はユーザ間でコンテンツを同期すること、デジタルコンテンツを待ち行列に入れること、コンテンツに変換を実行すること、コンテンツに対するメタデータを変更することを含むことができる。これらの動作のうちのいくつかは、動作オプションを有する二次ビューを表示することを含んでもよい(上記の保留動作及びリスト動作の変形例と同様に)。例えば共有動作は最初に、コンテンツを共有する異なるソーシャルメディアサイト及び通信チャネルのリストを有する二次ビューをトリガしてもよい。動作のオプションを選択するための二次ビューは、あらゆるレベルの複雑性を有することができる。コンテンツを変換することは、画像に画像フィルタを適用すること、メッセージを翻訳すること、メッセージを暗号化すること、ファイル形式を変換すること及び/又はあらゆる適切な変換等の動作を含むことができる。メタデータを変更することは、プライバシ設定を変更すること、コンテンツに地理タグを付けること、コンテンツに星印又はラベルを付けること、並びに/あるいは、何らかの適切な方法でメタデータを変更することを含むことができる。
【0028】
方法S300は、上記のシステム及び方法に対して説明したナビゲーションと動作との対応を含むことができるが、あるいは、ジェスチャ追跡成分は、動作を定義するナビゲーションアーキテクチャに関係なく発生することができる。1つの変形例において、動作は、動作が実行されているデジタルコンテンツ項目のプロパティ及び/又は状態に関するのが好ましい。これは、ナビゲーションビューへの依存を含んでも含まなくてもよい。1つの変形例において、現在のジェスチャ状態にマッピングされた動作を識別することは、アプリケーションのナビゲーションコンテキストに基づいて現在のジェスチャ状態にマッピングされた動作を識別することを含む。アプリケーション又はオペレーティングシステムの現在の「場所」又はコンテキストに依存して、異なる動作が有効にされるか又はマッピングされてもよい。1つの変形例において、現在のジェスチャ状態にマッピングされた動作を識別することは、デジタルコンテンツ項目のコンテンツの種類に基づいて現在のジェスチャ状態のマッピングされた動作を識別することを含む。例えばピクチャのサムネイルは、テキスト文書と異なるジェスチャ/動作マッピングを有してもよい。同様に、ジェスチャの検出は、オペレーティングシステムのサービスの一部分(例えば、通知センタ)に対して、あらゆるファイル又は定義された形態のコンテンツに適用可能な汎用ジェスチャツールとして、開発者により活用されるツールとしてアプリケーション内で実現可能であり、あるいは、あらゆる適切な環境で実現可能である。
【0029】
更に、方法S300は、入力を同時に受信すること(S360)を含んでもよく(
図12及び
図13を参照)、これは、複数のユーザ/装置及び/又は複数のデジタル項目が漸進的なジェスチャ入力を受信できるようにするように機能する。1つの変形例において、複数のジェスチャ入力は、同時に又は時間的に重複して項目に適用可能である。換言すると、項目に適用されるジェスチャの平行移動は、1つの項目に適用される複数のジェスチャから独立して解釈される。例えば2つの項目が接触ジェスチャ入力を同時に受信し、最終ジェスチャ状態に基づいて双方が動作を受信してもよい。最終ジェスチャ状態は同一のジェスチャ状態であってもよいが、あるいは、異なる最終ジェスチャ状態であってもよく、その場合、異なる動作が2つのメッセージに適用される。同様の例において、受信されるジェスチャ入力は時間が重複してもよい。すなわち、第1のジェスチャ入力が第1の項目に対して開始されてもよい。第1の開始されたジェスチャを開始した後、ジェスチャを完了する前に、第2のジェスチャ入力が第2の項目に対して開始されてもよい。このように、ジェスチャ入力は、他の項目に適用されているジェスチャを阻止又は妨害しない。本態様は、1人のユーザが複数のジェスチャ入力を一度に実行できるように呼び出されてもよいが、複数のユーザが1つの装置において共同作業できるように同様に適用可能である。
【0030】
図13に示す別の変形例において、ブロックS360は、複数の装置の共同作業において使用可能である。この場合、従来のユーザインタフェースにおいて、ユーザはボタンをクリックしてもよく、動作は即座に実行され、漸進的ジェスチャインタフェースは項目に実行されたか又はこれから実行される動作に対応する多くの視覚的合図を使用する。本態様は、共有リソースにおけるリアルタイム共同作業に適する。第2のユーザのジェスチャ入力(第2の装置における)は、複数の装置にわたりグラフィックで反映可能である。特に、デジタルコンテンツのスライドアニメーション及びジェスチャ状態のグラフィックは、これから行われる動作の指標であり、デジタルコンテンツを画面外に移動するようにアニメーション化することは、コミットされた動作を示すことができる。1つの変形例において、共同作業者はジェスチャ状態が競合する場合もあり、その場合、ユーザはジェスチャ入力に対してジェスチャ入力を追加又は除去できる。これは、ジェスチャ状態の主導権争いの対話を可能にするように機能できる。例えば会話中、ユーザはデジタル項目に触れ、100画面単位移動して第1のジェスチャ状態を有効にし、会話中に休止してもよい。第2のユーザは、当該動作に同意せず、項目をタップして逆方向に100画面単位移動して動作をキャンセルしてもよい。第2のユーザが第1のユーザと同じ方向に100画面単位移動した場合、第2のジェスチャ状態が確定されてもよい。このように、方法は、複数のジェスチャ入力を同時に受信することを含んでもよい。
【0031】
図12及び
図14に示すように、方法S300の一実現例は、ファイルシステムに関連するコンテキストに対して適用可能である。本実現例において、ファイル項目(例えば、ファイルアイコン/サムネイル又は実際に開かれたファイルコンテンツ)は漸進的なジェスチャ入力に反応できる。ファイルシステムは、移動装置、デスクトップコンピュータ、リモートファイルシステム、共有ファイルシステム等の装置のファイルシステムであってもよく、あるいは、あらゆる適切なファイルシステム又はドライブであってもよい。少なくとも2つのジェスチャ状態及び2つの動作が存在するのが好ましいが、あらゆる適切な数のジェスチャ状態が構成されてもよい。一例において、ジェスチャ検出は上記のメッセージと同様の使用例で使用される。異なる整理問題に対応する優先順位の高い動作の数は限定される。ファイルを移動する動作が存在してもよく(リストオプションと同様に)、移動動作が選択される場合、ユーザはデジタルコンテンツ項目を格納するフォルダ又は場所を指定する。ユーザがファイルを認識する場所(例えば、新規コンテンツフォルダ)にファイルを条件付きで移動するまでファイルをどこかに一時的に格納するための保留動作が存在してもよい。デフォルトの場所にファイルを格納するアーカイブ動作が存在してもよい。ファイルをごみ箱に移動するか又は削除するごみ箱動作が存在してもよい。ファイルは、他の動作を使用できる異なるアフォーダンスを有してもよい。それに加えて又はその代わりに、例えば同期動作が存在してもよい。同期は、装置間でファイルを同期するために使用されてもよい。ファイルが同期される必要のある異なる装置/場所のオプションを有する二次ビューが表示されるのが好ましい。ファイルシステムが複数の装置間でファイルを同期するクラウド利用ファイルシステムである場合、同期動作は、ファイルがローカルに維持されるべきか、あるいは、アップロードされて全て又はいくつかの他の装置と同期されるべきかを選択的に判定するために使用可能である。例えばファイルは、他の1つの装置のみがアクセスする必要のある非常に大容量のファイルであってもよい。ユーザは単に当該オプションを使用して、当該ファイルを対象装置とのみ同期するように設定できる。共有オプションが存在してもよい。共有オプションは、デフォルトの共有オプションを有効にするか、あるいは、種々の共有オプションを二次ビューに表示できる。共有オプションは、ソーシャルネットワーク、電子メール、SMSメッセージング、MMSメッセージングに投稿すること、アプリケーション通信チャネルを介して共有すること、選択したユーザを共同作業又はファイルへのアクセスに招待すること又はあらゆる適切な方法で共有することを含むことができる。
【0032】
一例として、第1のジェスチャ状態は、設定されたフォルダにファイルを移動することにマッピングされてもよく、第2のジェスチャ状態は、アカウントに対してファイルが同期される装置を設定することにマッピングされてもよく、第3のジェスチャ状態は、少なくとも第2のユーザとファイルを共有することにマッピングされてもよく、第4のジェスチャ状態は、ファイルをアーカイブに入れること又は削除することにマッピングされてもよい。他の代替の動作又は追加の動作は、ファイルを格付けすること、ファイルにマークを付けること、ファイルの種類に特有の動作を実行すること及び/又はファイルに関連する何らかの適切な動作を実行することを含んでもよい。ジェスチャインタフェースの一態様は、アニメーション及びグラフィックが動作に対応することである。更なる変形例として、動作は、個々のファイルと同様にフォルダ又は選択された複数のファイルに適用可能である。
【0033】
図15に示すように、方法S300の一実現例はメディアに関連するコンテキストに適用可能である。ジェスチャに基づく入力は、メディアに関連する動作を適用するためにメディアファイルと共に使用可能である。メディアファイルは、音声ファイル、映像ファイル、画像、マルチメディアファイル及び/又はあらゆる適切な種類のメディアファイルを含むことができる。方法は、メディアの再生、メディアの整理、メディアの編集、メディアの閲覧、メディアのマーケットプレース及び/又はあらゆる適切なメディアアプリケーションに適用されてもよい。1つの変形例において、方法はメディアプレーヤに適用されてもよい。楽曲及び映像はリスト状の形式で表示されてもよい。ジェスチャ入力は、各メディア項目に適用可能である。音楽プレーヤアプリケーションの場合、ジェスチャ状態にマッピングされた動作のセットは、プレイリストに追加すること、楽曲を待ち行列に入れること、楽曲を共有すること、楽曲を購入すること、楽曲をお気に入りに入れること又は格付けすること、音声を特定の装置に送出すること(例えば、TVに又はBluetooth(登録商標)スピーカを介して送出すること)及び/又はあらゆる適切な楽曲に関連する動作等の動作を含むことができる。動作は、映像プレーヤ又は写真整理アプリケーションに同様に適用可能である。
【0034】
図16に示すように、方法S300の一実現例は通知センタに適用可能である。通知センタは、移動装置、デスクトップコンピュータ、TVに接続された装置、ウェアラブルコンピューティングデバイス又はあらゆる適切なコンピューティングデバイス等の装置のオペレーティングシステムの一部であるのが好ましい。あるいは、通知センタはアプリケーションの一部であってもよい。通知はリスト内に表示されるのが好ましい。通知は複数の異なる供給元から供給されてもよく、種類が異なってもよい。通知は、アプリケーションに特有の警報、通信警報、エラー通知、リマインダ、イベントの更新、同期警報、共同作業警報及び/又はあらゆる適切な種類の通知を含むことができる。ジェスチャ状態/動作マッピングは通知の種類に特有であるのが好ましく、これは、ユーザが種々の方法で通知に応答できるようにするように機能する。更に、ユーザは、当該アプリケーションを開くことなく、通知に応答し且つアプリケーションに特有の動作を実行してもよい。1つの変形例において、アプリケーションの開発者は、通知項目において検出されるジェスチャ状態のセットに対する種々な動作を構成できる。それに加えて又はその代わりに、いくつかの通知は、事前に定義されたジェスチャ状態/動作マッピングを有してもよい。例えばイベント通知がユーザの移動電話上に表示されてもよい。ユーザは、対応するイベント項目を開くために通知を単に選択するか又はスワイプするのではなく、種々のジェスチャを使用して、イベントに対する第2のリマインダを設定すること、イベントに別のユーザを招待すること、イベントの場所への案内を要求すること、イベントに完了マークを付けること、イベントのスケジュールを変更すること及び/又はあらゆる適切に構成されたイベント動作等の異なる動作を行ってもよい。
【0035】
図17に示すように、方法S300の実現例は、ナビゲーションの実現例とほぼ同様の方法で、表示領域が制限されるコンピューティングデバイスに適用可能である。表示領域が制限される装置は、腕時計型コンピューティングデバイス、ヘッドアップディスプレイを有する眼鏡、小型MP3プレーヤ、カメラ又はあらゆる適切な装置等のウェアラブルコンピューティングデバイスを含むことができる。表示画面が制限されないアプリケーションの場合、メディア、メッセージ、情報及びあらゆる適切な形態のコンテンツは画面面積の大部分を使用する必要がある場合がある。方法S300を使用して、ユーザインタフェース要素がコンテンツから画面面積を奪う必要のない直感的な対話モデルを提供できる。例えば眼鏡を利用するコンピューティングデバイスは、ヘッダディスプレイと、眼鏡の少なくとも片方のアーム上のタッチセンシティブ入力センサとを含んでもよい。タッチセンシティブ入力は、垂直軸及び水平軸の2軸上でのジェスチャ入力が可能であってもよい。第1の軸(例えば、垂直軸)は、異なる項目にわたりスクロールするために使用されてもよい。第2の軸(例えば、水平軸)は、現在モーダルに表示されているコンテンツに対する動作を呼び出すために使用されてもよい。通知の実現例と同様に、方法は、ジェスチャ状態/動作マッピングをカスタマイズするための開発者インタフェースを提供することを含んでもよい。
4.デジタルコンテンツを分類する方法
図18に示すように、好適な一実施形態のデジタルコンテンツと対話する方法S400は、メニューオプションを選択することにより対応するコレクションが選択的に有効に設定される水平方向に編成されたメニューオプションのセットを視覚的に表示すること(S410)と、初期コレクションを表示すること(S422)及び少なくとも第2のコレクション及び第3のコレクションが最初のコレクションから水平方向に仮想配置されるように設定すること(S424)を含む初期コレクションを有効なコレクションに設定すること(S420)と、水平方向のスワイプジェスチャを検出すること(S430)と、現在有効なコレクション及びジェスチャの水平方向の方向に従ってメッセージ項目をコレクションに移動すること(S440)とを含むことができる。方法は、コンテンツを分類するための直感的で自然なインタフェースを可能にするように機能する。方法は、移動装置、ウェアラブルコンピュータ、タブレットコンピューティングデバイス又はあらゆる適切なコンピューティングデバイス等の画面面積が制限される装置において効果的で自然なコンテンツ分類機能を可能にするために適用される場合に特定の利点を有することができる。方法は、アプリケーションを用いて実現されるのが好ましいが、あるいは、オペレーティングシステム、通知システム、マルチアプリケーションメッセージングアプリケーション、ウェブサイト、ソーシャルネットワーク、ファイルシステム、あるいは、デジタルコンテンツを分類するあらゆる適切な環境に適用されてもよい。方法は、コレクションの順序をメッセージに適用されるジェスチャにマッピングするユーザのヒューリスティックの補強に依存するのが好ましい。異なるコンテキストに同一の動作マッピングを提供する固定されたジェスチャのセットと異なり、ジェスチャ(例えば、ジェスチャ状態)及び分類動作は、順序を付けられたコレクション、積み重ねられたコレクション又は並べられたコレクションの間でのメッセージのプッシュをシミュレートするために動的に再マッピングされる。方法は、少なくとも3つのコレクションの間で分類するために主に使用されるが、4つ、5つ又はあらゆる適切な数のコレクションに更に適用可能である。方法は、上記のシステム及び方法で使用したナビゲーションアーキテクチャとほぼ同様である。1つの変形例において、方法は、上述の漸進的なジェスチャによる方法により容易になるのが好ましいが、あるいは、メッセージのコレクションを有効にする場合に基本的なジェスチャ又は何らかの適切なジェスチャ入力技術を使用してもよい。
【0036】
水平方向に編成されたメニューオプションのセットを視覚的に表示することを含むステップS410は、アプリケーションと共にナビゲーションアーキテクチャ及びインタフェースを提供するように機能する。メニューオプションを選択することにより、対応するコレクションが選択的に有効に設定される。メニューオプションのセットは、動作可能なボタンとしてツールバー又はナビバー内に表示されるのが好ましい。1つの変形例において、メニューオプションはグループ化されたボタン又はタブとして提示可能であり、その場合、一度に1つのメニューオプションのみを有効にできる。各メニューオプションは1つのコレクションにマッピングするのが好ましい。1つの変形例において、メニューオプションは、選択可能なコレクションのセット(例えば、複数のリストのコレクション)にマッピングできる。メッセージのコレクション(あるいは、更に一般的に、デジタルコンテンツのコレクション又はメッセージストリーム)は、分類されたメッセージ項目又はデジタルコンテンツのセットであるのが好ましい。メッセージ項目は、少なくとも1つの電子メールアカウントの電子メールメッセージであるのが好ましいが、あるいは、アプリケーションテキストメッセージ、写真メッセージ又はコンテンツ、映像メッセージ又はコンテンツ、音声メッセージ又はコンテンツ、並びに/あるいは、あらゆる適切な形態のメディアコンテンツであってもよい。フォルダ又はカテゴリ化ファイリング/整理システムの場合、デジタルコンテンツは同時に1つのメッセージコレクション内にのみ存在できるのが好ましいが、ラベル付けに基づくファイリング/整理システムの場合、デジタルコンテンツは同時に複数のコレクション内に存在できる。選択可能なコレクションのセットは、左側のコレクション、初期コレクション及び右側のコレクションを含む。左端のコレクション及び右端のコレクション等を追加のコレクションとして更に使用できる。
図19A及び
図19Bに示すように、1つの好適な実現例は、二次インタフェースから選択可能なリストコレクションである左端のコレクションセットと、保留メッセージコレクションである左側のコレクションセットと、受信ストリームである初期コレクションセットと、アーカイブコレクションである右側のコレクションセットと、ごみ箱コレクションである右端のコレクションセットとを含む。初期コレクションは、主要なコレクション、中央のコレクション又は強調されたコレクションであるのが好ましいが、順序内のあらゆる適切なコレクションが強調されてもよい。コレクションのセットは、関連付けられた順序を有するのが好ましい。当該順序は、コレクションのレンダリングされたビューの仮想配置を介して示されるのが好ましい。順序は、メニューオプションの順序に対応するのが好ましい。この場合、初期コレクションは中央に配置されたコレクションであるのが好ましい。左から右の順に、左端のコレクション、左側のコレクション、初期コレクション、右側のコレクション及び右端のコレクションである。
【0037】
初期コレクションを有効なコレクションに設定することを含むステップS420は、メニューオプションのコレクションのうちの1つに入るか又はナビゲートするように機能する。1つの好適な例において、コレクションは、ユーザ又はプログラムによるメニューオプションの選択に応答して有効にされるのが好ましい。メニューオプションは強調されるのが好ましい(例えば、色を変更するか又は何らかの適切な方法で選択を示す)。各メニューオプションは、アプリケーション内でモーダルに表示されるコレクションを有効にする際に使用されるのが好ましい。この場合、コレクションのモーダルな表示により、コレクションビューが画面上に表示される唯一のコレクションビューであることが説明される。更なるコレクションは、画面外に仮想配置されるのが好ましい。仮想配置により、コレクション間の移行の管理が装置/アプリケーションウィンドウの画面外の仮想位置からのコレクションのパン、移動又はアニメーション化をシミュレートする方法が説明されるのが好ましい。ステップS420は、有効にされたコレクションを表示すること(S422)と、無効な順序付きコレクションを有効なコレクションに対する仮想位置に設定すること(S422)とを含むのが好ましい。上述のように、表示される有効にされたコレクションはモーダルに表示されるのが好ましい。他のコレクションは、有効なコレクションから水平方向の仮想位置に設定されるのが好ましい。仮想位置を設定することにより、別のコレクションへの移行が元の有効なコレクションと新しい有効なコレクションとの間の相対的な水平配置に対応するアニメーションを含むようにアプリケーションの状態を設定することが説明されるのが好ましい。アニメーションは、元の有効なコレクションから新しい有効なコレクションにパンすること、元の有効なコレクションの上に新しい有効なコレクションをスライドすること、以前の有効なコレクションをスライドして新しい有効なコレクションを示すこと及び/又は2つのコレクション間の相対仮想位置を反映する何らかの適切なアニメーション変換を実行することを含むことができる。例えば初期コレクションが有効である場合、右側のコレクションは右側に仮想配置される。右側のコレクションが有効にされる場合、初期コレクションはアニメーションにより左側の画面外に移動され、右側のコレクションがアニメーションにより右側から画面内に移動されるのが好ましい。仮想位置は、単に順序の方向をシミュレーションしてもよい。例えば初期コレクションから右端のコレクションへの移行は、初期コレクションから右端のコレクションへ直接パンする(右側のコレクションを示さずに)ことを含むことができる。別の変形例において、仮想変位がシミュレーションされてもよい。例えば初期コレクションから右端のコレクションへの移行は、初期コレクションから右側のコレクションにパンした後に右端のコレクションにパンすることを含むことができる。
【0038】
1つの好適な実現例において、初期コレクションのメニューオプションが選択される場合、初期コレクションが有効なコレクションに設定される。初期コレクションを有効に設定することは、初期コレクションを表示することと、左側のコレクションが初期コレクションの左側に仮想配置されるように設定することと、右側のコレクションが初期コレクションの右側に仮想配置されるように設定することとを含む。左側のコレクションのメニューオプションが選択される場合、左側のコレクションが有効なコレクションに設定される。これは、左側のコレクションを表示することと、初期コレクションが初期コレクションの右側に仮想配置されるように設定することとを含む。右側のコレクションを選択すると、右側のコレクションが有効なコレクションに設定される。これは、右側のコレクションを表示することと、初期コレクションが初期コレクションの左側に仮想配置されるように設定することとを含む。そのような一実現例は、4つ以上のコレクションに同様に適用可能である。
【0039】
水平方向のスワイプジェスチャを検出することを含むステップS430は、メッセージを分類するというユーザの意図を示すユーザ入力を検出するように機能する。ジェスチャは水平方向のジェスチャであるのが好ましく、水平軸は有効なコレクションをスクロールする軸に直交するのが好ましい。スワイプジェスチャの検出は、上述のジェスチャ検出とほぼ同様であるのが好ましい。あるいは、他の形態の入力ジェスチャを検出できる。一実現例において、基本的な右側又は左側へのスライドジェスチャが検出されるのが好ましい。ジェスチャ検出の方向は、仮想的に順序を付けられたコレクションの水平軸に対して平行であるか又はほぼ整列されるのが好ましい。本変形例において、ジェスチャの検出は、スワイプ(例えば、入力の始点と終点との間の何らかの変位を伴う入力イベント)及びジェスチャの方向を検出することを含む。別の実現例において、有効なコレクションに対して同一方向に仮想配置された複数のコレクションが存在してもよい。例えば右側のコレクション及び右端のコレクションの双方が初期コレクションの右側に仮想配置されてもよい。本変形例において、項目の分類先を判定するために、入力の大きさ、速度又は他のプロパティが収集又は測定されてもよい。メッセージは個別に動作が実行されてもよいが、複数のメッセージ又は全てのメッセージが同時に分類されてもよい。
【0040】
現在有効なコレクション及びジェスチャの水平方向の方向に従ってメッセージ項目をコレクションに移動することを含むステップS440は、コンテキストに従ってメッセージに分類動作又はコンテンツ移動動作を適用するように機能する。メッセージ項目をコレクションに移動することは、メッセージを現在のコレクションから削除して選択されたコレクションに追加するのが好ましい。これは、メッセージのコレクションパラメータを変更すること、コレクションのメッセージリストを変更すること、メッセージ項目データを移動先のコレクションに移動することを含んでもよい。1つのアプリケーションにおいて、コレクションは異なる装置の場所であってもよく、分類インタフェースは、異なる装置/ユーザ間でのデジタルコンテンツの共有を管理するために使用される。電子メールアプリケーションにおいて、移動することは、メッセージのフォルダ又はラベルを新しいコレクションに変更することを含むのが好ましい。上述のように、メッセージ項目は1度に1つのコレクションのみに存在するのが好ましい(しかし、メッセージの移動中は何らかの重複が存在してもよい)が、あるいは、メッセージ項目は複数のコレクションに存在してもよい。例えばコレクションが音楽プレイリスト又はファイルタグである場合、コンテンツは、現在のコレクション内に維持され且つ新しいコレクションにコピーされるか又はタグ参照が新しいコレクションに追加されるのが好ましい。移動は、有効なメッセージコレクションに対して水平方向に仮想配置されるメッセージコレクションに対応する分類又は移動先オプションを最初に選択した後に、選択されたメッセージコレクションにメッセージを移動/分類することを含むのが好ましい。いくつかの変形例において、メッセージを移動する前に、メッセージが移動される方法を変更、強化又は設定するために二次オプションインタフェースが表示されてもよい。例えばコレクションがコレクションセットである場合、ユーザがコレクションセット内の特定のコレクションを指定できるように個別のコレクションのリストを表示できる。
【0041】
移動動作は、少なくとも現在有効なコレクション及びジェスチャの方向に依存するのが好ましい。更に、ジェスチャの変位の大きさ又は他のプロパティを使用できる。更に、ジェスチャ状態/動作マッピングは、カスタマイズされた動作を特定のコンテキストに対して選択的に補強できるように上書き可能である。検出されるジェスチャは同一又は対応するジェスチャであってもよいが、有効なコレクションに依存して、メッセージ項目は異なるコレクションに移動される。初期メッセージコレクションが有効であり且つ右水平方向のスワイプジェスチャを検出した場合、メッセージ項目は右側のコレクションに移動される。初期メッセージコレクションが有効であり且つ左水平方向のスワイプジェスチャを検出した場合、メッセージ項目は左側のコレクションに移動される。左側のコレクションが有効であり且つ右水平方向のスワイプジェスチャを検出した場合、メッセージ項目は初期コレクションに移動される。右側のコレクションが有効であり且つ左水平方向のスワイプジェスチャを検出した場合、メッセージ項目は初期コレクションに移動される。
【0042】
4つ以上のコレクションが存在する場合に再マッピングする別の例として、右側のコレクションが有効であり且つ右水平方向のスワイプジェスチャを検出した場合、メッセージ項目は右端のコレクションに移動される。ジェスチャの変位の大きさの検出と組み合わせた場合、ジェスチャにより隣接するコレクションのみならず2つ以上離れたコレクションにメッセージを移動できるように更に拡張可能である。例えば初期メッセージコレクションが有効であり且つ右水平方向のスワイプジェスチャを検出した場合、メッセージ項目は、変位が定義された大きさを下回る場合に右側のコレクションに移動され、変位が定義された大きさを上回る場合に右端のコレクションに移動される。
【0043】
別の一実施形態は、コンピュータ可読命令を格納したコンピュータ可読媒体において上記の方法を実現するのが好ましい。命令は、ジェスチャ検出エンジンと組み合わされるのが好ましいコンピュータ実行可能構成要素により実行されるのが好ましい。コンピュータ可読媒体は、RAM、ROM、フラッシュメモリ、EEPROM、光学装置(CD又はDVD)、ハードドライブ、フロッピドライブ又は何らかの適切な装置である何らかの適切なコンピュータ可読媒体に格納されてもよい。コンピュータ実行可能構成要素はプロセッサであるのが好ましいが、その代わりに又はそれに加えて、命令は何らかの適切な専用ハードウェア装置により実行されてもよい。
【0044】
上記の詳細な説明、並びに図面及び特許請求の範囲から当業者には明らかなように、以下の特許請求の範囲において定義される本発明の範囲から逸脱することなく、本発明の好適な実施形態に対して変形及び変更を行うことができる。