IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ アップル インコーポレイテッドの特許一覧

特開2024-112798音声通知を提供するためのデバイス、方法、及びユーザインタフェース
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024112798
(43)【公開日】2024-08-21
(54)【発明の名称】音声通知を提供するためのデバイス、方法、及びユーザインタフェース
(51)【国際特許分類】
   G06F 3/16 20060101AFI20240814BHJP
   G10L 13/00 20060101ALN20240814BHJP
【FI】
G06F3/16 690
G06F3/16 610
G06F3/16 620
G06F3/16 650
G10L13/00 100C
【審査請求】有
【請求項の数】17
【出願形態】OL
【外国語出願】
(21)【出願番号】P 2024064099
(22)【出願日】2024-04-11
(62)【分割の表示】P 2022081683の分割
【原出願日】2019-09-20
(31)【優先権主張番号】16/575,299
(32)【優先日】2019-09-18
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】62/739,176
(32)【優先日】2018-09-29
(33)【優先権主張国・地域又は機関】US
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.WCDMA
2.ANDROID
3.Linux
4.OS X
5.VXWORKS
6.JAVASCRIPT
7.Yahoo!ウィジェット
8.ツイッター
9.iOS
(71)【出願人】
【識別番号】503260918
【氏名又は名称】アップル インコーポレイテッド
【氏名又は名称原語表記】Apple Inc.
【住所又は居所原語表記】One Apple Park Way,Cupertino, California 95014, U.S.A.
(74)【代理人】
【識別番号】110003281
【氏名又は名称】弁理士法人大塚国際特許事務所
(72)【発明者】
【氏名】チャルマーズ, デヴィン, ダブリュー.
(72)【発明者】
【氏名】ケリー, ショーン, ビー.
(72)【発明者】
【氏名】バーク, カーリン, ワイ.
(57)【要約】      (修正有)
【課題】音声通知を提供するための方法及び電子デバイスを提供する。
【解決手段】1つ以上のウェアラブルオーディオ出力デバイスと通信する電子デバイスは、1つ以上のウェアラブルオーディオ出力デバイスがユーザに着用されている間に、1つ以上の第1イベントの発生を検出する。応答して、電子デバイスは、1つ以上のウェアラブルオーディオ出力デバイスを介して、1つ以上の第1イベントに対応するオーディオコンテンツを出力する。1つ以上の第1イベントに対応するオーディオコンテンツを出力した後に、電子デバイスは、1つ以上のウェアラブルオーディオ出力デバイスの動きを検出し、動きを検出したことに応じて、及び1つ以上のウェアラブルオーディオ出力デバイスの第1の動きが第1動き基準を満たすとの判定に従って、1つ以上のウェアラブルオーディオ出力デバイスを介して、1つ以上のイベントに対応する追加のオーディオコンテンツを出力する。
【選択図】図5AC
【特許請求の範囲】
【請求項1】
方法であって、
1つ以上のウェアラブルオーディオ出力デバイスと通信し、前記1つ以上のウェアラブルオーディオ出力デバイスの配置を検出するための1つ以上のセンサと通信する、電子デバイスにおいて、
前記1つ以上のウェアラブルオーディオ出力デバイスがユーザの耳に対してそれぞれの位置にない間に、前記1つ以上のウェアラブルオーディオ出力デバイスを介してイベントに対応する通知を出力することなく、複数のイベントの発生を検出することと、
前記複数のイベントの発生を検出した後に、前記1つ以上のセンサを介して、前記1つ以上のウェアラブルオーディオ出力デバイスが前記ユーザの耳に対して前記それぞれの位置に配置されたことを検出することと、
前記1つ以上のセンサを介して、前記1つ以上のウェアラブルオーディオ出力デバイスが前記ユーザの耳に対して前記それぞれの位置に配置されたことに応答して、前記1つ以上のウェアラブルオーディオ出力デバイスを介して、前記複数のイベントのうちの任意の1つ以上に対応する1つ以上の音声通知を含む情報を出力することと
を含む方法。
【請求項2】
前記1つ以上の音声通知は、前記複数のイベントの音声要約を含む、請求項1に記載の方法。
【請求項3】
前記複数のイベントを表すオーディオコンテンツの長さが所定の長さを超過しないという判定に従って、前記音声要約は前記オーディオコンテンツを含み、
前記複数のイベントを表す前記オーディオコンテンツの長さが前記所定の長さを超過するという判定に従って、前記音声要約は前記オーディオコンテンツの全ては含まない、
請求項2に記載の方法。
【請求項4】
前記情報は、それぞれの時間周期に関連付けられた1つ以上のイベントに対応する1つ以上の音声通知を含む、請求項1から3のいずれか一項に記載の方法。
【請求項5】
前記1つ以上のウェアラブルオーディオ出力デバイスがユーザの耳に対して前記それぞれの位置に配置されたことの検出に応答して、前記それぞれの時間周期に関連付けられた前記1つ以上のイベントに対応する前記1つ以上の音声通知を出力することは、前記1つ以上のウェアラブルオーディオ出力デバイスが前記それぞれの時間周期の間の初期時間に前記ユーザの耳に対して前記それぞれの位置に配置されているという判定に従って実行され、
前記方法は、
前記1つ以上のウェアラブルオーディオ出力デバイスが前記ユーザの耳に対して前記それぞれの位置に配置されていることを検出した後、前記1つ以上のセンサを介して、前記1つ以上のウェアラブルオーディオ出力デバイスが前記それぞれの時間周期の間の後の時間に前記それぞれの位置に配置されていることを検出することと、
前記1つ以上のセンサを介して、前記1つ以上のウェアラブルオーディオ出力デバイスが前記それぞれの時間周期の間の後の時間に前記それぞれの位置に配置されていることを検出することに応答して、前記それぞれの時間周期に関連付けられた前記1つ以上のイベントに対応する音声通知を出力することを取り止めることと
を含む、請求項4に記載の方法。
【請求項6】
前記情報は、前記ユーザの耳に対する前記それぞれの位置への前記1つ以上のウェアラブルオーディオ出力デバイスの配置に続く所定の期間内に発生する予定の、又は発生すると予測される1つ以上のイベントに対応する1つ以上の音声通知を含む、請求項1から3のいずれか一項に記載の方法。
【請求項7】
前記1つ以上の音声通知を出力することは、前記複数のイベントのうちの第1イベントに対応する第1音声通知を出力することを含み、
前記電子デバイスが第1コンテキスト内にあるという判定に従って、前記第1音声通知は、前記第1コンテキストに対応する第1オーディオコンテンツを含み、
前記電子デバイスが前記第1コンテキストとは異なる第2コンテキスト内にあるという判定に従って、前記第1音声通知は、前記第1オーディオコンテンツとは異なる、前記第2コンテキストに対応する第2オーディオコンテンツを含む、
請求項1から6のいずれか一項に記載の方法。
【請求項8】
前記第1イベントは、第1の地理的位置で発生しているカレンダイベントに対応し、前記第1の地理的位置は、位置階層内の複数の階層レベルのそれぞれの位置情報を含み、
前記電子デバイスが前記第1コンテキスト内にあるという判定は、前記電子デバイスの位置が前記第1の地理的位置と同じ第1の地理的領域内にあると判定することを含み、前記第1の地理的領域は、前記位置階層内の第1の階層レベルに対応し、前記第1オーディオコンテンツは、前記位置階層内の前記第1の階層レベルよりも低い階層レベルのそれぞれの位置情報を含み、
前記電子デバイスが前記第2コンテキスト内にあるという判定は、前記電子デバイスの前記位置が前記第1の地理的位置と同じ第2の地理的領域内にあると判定することを含み、前記第2の地理的領域は、前記第1の地理的領域とは異なっており、前記位置階層内の前記第1の階層レベルとは異なる第2の階層レベルに対応し、前記第2オーディオコンテンツは、前記位置階層内の前記第2の階層レベルよりも低い階層レベルのそれぞれの位置情報を含む、
請求項7に記載の方法。
【請求項9】
前記第1イベントは、第1の連絡先からの第1のメッセージに対応し、
前記電子デバイスが前記第1コンテキスト内にあるという判定は、前記第1の連絡先の識別子の第1の部分が前記電子デバイスに記憶された連絡先のリスト内の少なくとも1つの別の連絡先の識別子の第1の部分と同じであると判定することを含み、前記第1オーディオコンテンツは、前記第1の連絡先の前記識別子の前記第1の部分、前記第1の連絡先の前記識別子の第2の部分、及び前記第1のメッセージのコンテンツを含み、
前記電子デバイスが前記第2コンテキスト内にあるという判定は、前記第1の連絡先の前記識別子の前記第1の部分が前記連絡先のリスト内の他のいずれの連絡先の識別子の第1の部分でもないと判定することを含み、前記第2オーディオコンテンツは、前記識別子の前記第2の部分を含まずに、前記第1の連絡先の前記識別子の前記第1の部分及び前記第1のメッセージの前記コンテンツを含む、
請求項7に記載の方法。
【請求項10】
前記第1イベントは、第1の連絡先からの第1のメッセージに対応し、
前記電子デバイスが前記第1コンテキスト内にあるという判定は、前記第1イベントが、前記第1の連絡先からの第2のメッセージに対応する、前記複数のイベントのうちの第2イベントに連続して続かないと判定することを含み、前記第1オーディオコンテンツは、前記第1の連絡先の識別子、及び前記第1のメッセージのコンテンツを含み、
前記電子デバイスが前記第2コンテキスト内にあるという判定は、前記第1イベントが、前記第1の連絡先からの第2のメッセージに対応する、前記複数のイベントのうちの第2イベントに連続して続くと判定することを含み、前記第2オーディオコンテンツは、前記第1のメッセージの前記コンテンツを含み、前記第1の連絡先の識別子を含まない、
請求項7に記載の方法。
【請求項11】
前記第1イベントは、それぞれのグループのグループメッセージセッションの一部である第1のメッセージに対応し、
前記電子デバイスが前記第1コンテキスト内にあるという判定は、前記第1イベントが、前記グループメッセージセッションの一部である第2のメッセージに対応する、前記複数のイベントのうちの第2イベントに連続して続かないと判定することを含み、前記第1オーディオコンテンツは、前記それぞれのグループ又は前記グループメッセージセッションの識別子、及び前記第1のメッセージのコンテンツを含み、
前記電子デバイスが前記第2コンテキスト内にあるという判定は、前記第1イベントが、前記グループメッセージセッションの一部である第2のメッセージに対応する、前記複数のイベントのうちの第2イベントに連続して続くと判定することを含み、前記第2オーディオコンテンツは、前記第1のメッセージの前記コンテンツを含み、前記それぞれのグループ又は前記グループメッセージセッションの識別子を含まない、
請求項7に記載の方法。
【請求項12】
前記1つ以上の音声通知を出力することは、前記複数のイベントのうちの第1のそれぞれのイベントに対応する第1のそれぞれの音声通知を出力することを含み、前記第1のそれぞれのイベントは、第1の通知クラスに関連付けられた第1のアプリケーションに対応し、前記第1のそれぞれの音声通知は、前記第1の通知クラスによって定義された第1の構造を有する、請求項1から11のいずれか一項に記載の方法。
【請求項13】
前記1つ以上の音声通知を出力することは、前記複数のイベントのうちの第2のそれぞれのイベントに対応する第1のそれぞれの音声通知を出力することを含み、前記第2のそれぞれのイベントは、第2のアプリケーションに対応し、前記第2のそれぞれの音声通知は、前記第2のアプリケーションによって定義された第2の構造を有する、請求項1から12のいずれか一項に記載の方法。
【請求項14】
1つ以上のウェアラブルオーディオ出力デバイスと通信し、前記1つ以上のウェアラブルオーディオ出力デバイスの配置を検出するための1つ以上のセンサと通信する、電子デバイスであって、前記電子デバイスは、
1つ以上のプロセッサと、
1つ以上のプログラムを記憶したメモリと、を備え、前記1つ以上のプログラムが、前記1つ以上のプロセッサによって実行されるように構成されており、前記1つ以上のプログラムが、
前記1つ以上のウェアラブルオーディオ出力デバイスがユーザの耳に対してそれぞれの位置にない間に、前記1つ以上のウェアラブルオーディオ出力デバイスを介してイベントに対応する通知を出力することなく、複数のイベントの発生を検出し、
前記複数のイベントの発生を検出した後に、前記1つ以上のセンサを介して、前記1つ以上のウェアラブルオーディオ出力デバイスが前記ユーザの耳に対して前記それぞれの位置に配置されたことを検出し、
前記1つ以上のセンサを介して、前記1つ以上のウェアラブルオーディオ出力デバイスが前記ユーザの耳に対して前記それぞれの位置に配置されたことに応答して、前記1つ以上のウェアラブルオーディオ出力デバイスを介して、前記複数のイベントのうちの任意の1つ以上に対応する1つ以上の音声通知を含む情報を出力する
ための命令を含む、電子デバイス。
【請求項15】
1つ以上のプログラムを記憶するコンピュータ可読記憶媒体であって、前記1つ以上のプログラムは命令を含み、前記命令は、1つ以上のウェアラブルオーディオ出力デバイス及び前記1つ以上のウェアラブルオーディオ出力デバイスの配置を検出するための1つ以上のセンサと通信している電子デバイスによって実行されると、前記電子デバイスに、
前記1つ以上のウェアラブルオーディオ出力デバイスがユーザの耳に対してそれぞれの位置にない間に、前記1つ以上のウェアラブルオーディオ出力デバイスを介してイベントに対応する通知を出力することなく、複数のイベントの発生を検出させ、
前記複数のイベントの発生を検出した後に、前記1つ以上のセンサを介して、前記1つ以上のウェアラブルオーディオ出力デバイスが前記ユーザの耳に対して前記それぞれの位置に配置されたことを検出させ、
前記1つ以上のセンサを介して、前記1つ以上のウェアラブルオーディオ出力デバイスが前記ユーザの耳に対して前記それぞれの位置に配置されたことに応答して、前記1つ以上のウェアラブルオーディオ出力デバイスを介して、前記複数のイベントのうちの任意の1つ以上に対応する1つ以上の音声通知を含む情報を出力させる、
コンピュータ可読記憶媒体。
【請求項16】
1つ以上のウェアラブルオーディオ出力デバイスと通信し、前記1つ以上のウェアラブルオーディオ出力デバイスの配置を検出するための1つ以上のセンサと通信する、電子デバイスであって、前記電子デバイスは、
前記1つ以上のウェアラブルオーディオ出力デバイスがユーザの耳に対してそれぞれの位置にない間に、前記1つ以上のウェアラブルオーディオ出力デバイスを介してイベントに対応する通知を出力することなく、複数のイベントの発生を検出するように有効化される手段と、
前記複数のイベントの発生を検出した後に、前記1つ以上のセンサを介して、前記1つ以上のウェアラブルオーディオ出力デバイスが前記ユーザの耳に対して前記それぞれの位置に配置されたことを検出するように有効化される手段と、
前記1つ以上のセンサを介して、前記1つ以上のウェアラブルオーディオ出力デバイスが前記ユーザの耳に対して前記それぞれの位置に配置されたことに応答して、前記1つ以上のウェアラブルオーディオ出力デバイスを介して、前記複数のイベントのうちの任意の1つ以上に対応する1つ以上の音声通知を含む情報を出力するように有効化される手段と
を含む、電子デバイス。
【請求項17】
1つ以上のウェアラブルオーディオ出力デバイスと通信し、前記1つ以上のウェアラブルオーディオ出力デバイスの配置を検出するための1つ以上のセンサと通信する電子デバイスで使用するための情報処理装置であって、前記情報処理装置は、
前記1つ以上のウェアラブルオーディオ出力デバイスがユーザの耳に対してそれぞれの位置にない間に、前記1つ以上のウェアラブルオーディオ出力デバイスを介してイベントに対応する通知を出力することなく、複数のイベントの発生を検出するように有効化される手段と、
前記複数のイベントの発生を検出した後に、前記1つ以上のセンサを介して、前記1つ以上のウェアラブルオーディオ出力デバイスが前記ユーザの耳に対して前記それぞれの位置に配置されたことを検出するように有効化される手段と、
前記1つ以上のセンサを介して、前記1つ以上のウェアラブルオーディオ出力デバイスが前記ユーザの耳に対して前記それぞれの位置に配置されたことに応答して、前記1つ以上のウェアラブルオーディオ出力デバイスを介して、前記複数のイベントのうちの任意の1つ以上に対応する1つ以上の音声通知を含む情報を出力するように有効化される手段と
を含む、情報処理装置。
【請求項18】
1つ以上のウェアラブルオーディオ出力デバイスと通信し、前記1つ以上のウェアラブルオーディオ出力デバイスの配置を検出するための1つ以上のセンサと通信する、電子デバイスであって、前記電子デバイスは、
1つ以上のプロセッサと、
1つ以上のプログラムを記憶したメモリと、を含み、前記1つ以上のプログラムが、前記1つ以上のプロセッサによって実行されるように構成されており、前記1つ以上のプログラムが、請求項1から13のいずれか一項に記載の方法を実行する
ための命令を含む、電子デバイス。
【請求項19】
1つ以上のプログラムを記憶するコンピュータ可読記憶媒体であって、前記1つ以上のプログラムは命令を含み、前記命令は、1つ以上のウェアラブルオーディオ出力デバイス及び前記1つ以上のウェアラブルオーディオ出力デバイスの配置を検出するための1つ以上のセンサと通信している電子デバイスによって実行されると、前記電子デバイスに、請求項1から13のいずれか一項に記載の方法を実行させる、コンピュータ可読記憶媒体。
【請求項20】
1つ以上のウェアラブルオーディオ出力デバイス前記1つ以上のウェアラブルオーディオ出力デバイスの配置を検出するための1つ以上のセンサと通信している電子デバイス上のグラフィカルユーザインタフェースであって、前記電子デバイスは、メモリと、前記メモリに記憶された1つ以上のプログラムを実行するための1つ以上のプロセッサとを含み、前記グラフィカルユーザインタフェースは、請求項1から13のいずれか一項に記載の方法に従って表示されるユーザインタフェースを含む、グラフィカルユーザインタフェース。
【請求項21】
1つ以上のウェアラブルオーディオ出力デバイスと通信し、前記1つ以上のウェアラブルオーディオ出力デバイスの配置を検出するための1つ以上のセンサと通信する、電子デバイスであって、前記電子デバイスは、
請求項1から13のいずれか一項に記載の方法を実行するための手段を含む、電子デバイス。
【請求項22】
1つ以上のウェアラブルオーディオ出力デバイスと通信し、前記1つ以上のウェアラブルオーディオ出力デバイスの配置を検出するための1つ以上のセンサと通信する電子デバイスで使用するための情報処理装置であって、前記情報処理装置は、
請求項1から13のいずれか一項に記載の方法を実行するための手段を含む、情報処理装置。
【請求項23】
方法であって、
1つ以上のオーディオ出力デバイスを有する電子デバイスにおいて、
イベントの発生を検出することと、
前記イベントの発生を検出することに応答して、前記1つ以上のオーディオ出力デバイスを介して、前記イベントを表すオーディオコンテンツを含む音声通知を出力することとを含み、
前記イベントが第1の特性群の第1特性に関連付けられているという判定に従って、前記音声通知は、前記イベントを表す前記オーディオコンテンツを含み、前記第1特性に基づいて選択される第1オーディオ出力特性を有し、
前記イベントが、前記第1特性とは異なる前記第1の特性群の第2特性に関連付けられているという判定に従って、前記音声通知は、前記イベントを表す前記オーディオコンテンツを含み、前記第2特性に基づいて選択される、前記第1出力特性とは異なる第2オーディオ出力特性を有する、方法。
【請求項24】
前記イベントが前記第1の特性群のうちの前記第1特性に関連付けられているという判定は、前記イベントが複数のユーザのうちの第1のユーザによって開始されたという判定を含み、
前記イベントが前記第1の特性群のうちの前記第2特性に関連付けられているという判定は、前記イベントが前記複数のユーザのうちの第2のユーザによって開始されたという判定を含み、
前記第1オーディオ出力特性は、前記第1のユーザに関連付けられた第1の空間位置を含み、
前記第2オーディオ出力特性は、前記第1の位置とは異なり、前記第2のユーザに関連付けられた、第2の空間位置を含む、
請求項23に記載の方法。
【請求項25】
前記イベントが前記第1の特性群のうちの前記第1特性に関連付けられているという判定は、前記イベントが複数のユーザのうちの第1のユーザによって開始されたという判定を含み、
前記イベントが前記第1の特性群のうちの前記第2特性に関連付けられているという判定は、前記イベントが前記複数のユーザのうちの第2のユーザによって開始されたという判定を含み、
前記第1オーディオ出力特性は、前記第1のユーザに関連付けられた第1のオーディオトーンを含み、
前記第2オーディオ出力特性は、前記第1のオーディオトーンとは異なり、前記第2のユーザに関連付けられた、第2のオーディオトーンを含む、
請求項23に記載の方法。
【請求項26】
前記イベントが前記第1の特性群のうちの前記第1特性に関連付けられているという判定は、前記イベントが複数のユーザのうちの第1のユーザによって開始されたという判定を含み、
前記イベントが前記第1の特性群のうちの前記第2特性に関連付けられているという判定は、前記イベントが前記複数のユーザのうちの第2のユーザによって開始されたという判定を含み、
前記イベントを表す前記オーディオコンテンツを含み、前記第1オーディオ出力特性を有する音声通知を出力することは、前記第1のユーザに関連付けられた第1の疑似音声を使用して、前記イベントを表す前記オーディオコンテンツを含む音声通知を出力することを含み、
前記イベントを表す前記オーディオコンテンツを含み、前記第2オーディオ出力特性を有する音声通知を出力することは、前記第1の疑似音声とは異なり、前記第2のユーザに関連付けられた、第2の疑似音声を使用して、前記イベントを表す前記オーディオコンテンツを含む音声通知を出力することを含む、
請求項23に記載の方法。
【請求項27】
前記イベントが前記第1の特性群のうちの前記第1特性に関連付けられているという判定は、前記イベントが第1のトランザクション値に関連付けられているという判定を含み、
前記イベントが前記第1の特性群の前記第2特性に関連付けられているという判定は、前記イベントが、前記第1のトランザクション値とは異なる第2のトランザクション値に関連付けられているという判定を含み、
前記第1オーディオ出力特性は、前記第1のトランザクション値を表す第1の音響効果を含み、
前記第2オーディオ出力特性は、前記第1の音響効果とは異なり、前記第2のトランザクション値を表す、第2の音響効果を含む、
請求項23に記載の方法。
【請求項28】
前記イベントが前記第1の特性群のうちの前記第1特性に関連付けられているという判定は、前記イベントが第1のタイプの通知であるという判定を含み、
前記イベントが前記第1の特性群の前記第2特性に関連付けられているという判定は、前記イベントが、前記第1のタイプの通知とは異なる第2のタイプの通知であるという判定を含み、
前記第1オーディオ出力特性は、前記第1のタイプの通知に関連付けられた第1バックグラウンドオーディオを含み、
前記第2オーディオ出力特性は、前記第1バックグラウンドオーディオとは異なり、前記第2のタイプの通知に関連付けられた、第2バックグラウンドオーディオを含む、
請求項23に記載の方法。
【請求項29】
前記イベントが前記第1の特性群のうちの前記第1特性に関連付けられているという判定は、前記イベントが第1のタイプのメッセージに関連付けられているという判定を含み、
前記イベントが前記第1の特性群の前記第2特性に関連付けられているという判定は、前記イベントが、前記第1のタイプのメッセージとは異なる第2のタイプのメッセージに関連付けられているという判定を含み、
前記第1オーディオ出力特性は、前記第1のタイプのメッセージに関連付けられた第1の空間位置を含み、
前記第2オーディオ出力特性は、前記第1の位置とは異なり、前記第2のタイプのメッセージに関連付けられた、第2の空間位置を含む、
請求項23に記載の方法。
【請求項30】
前記第1のタイプのメッセージは、前記電子デバイスのユーザと少なくとも2人の他のユーザとの間のメッセージに対応し、
前記第2のタイプのメッセージは、前記電子デバイスの前記ユーザと最大1人の他のユーザとの間のメッセージに対応する、
請求項29に記載の方法。
【請求項31】
前記第1の空間位置は、前記ユーザの頭部の外側の疑似空間位置であり、前記第2の空間位置は、前記ユーザの頭部の内側の疑似空間位置である、請求項30に記載の方法。
【請求項32】
前記電子デバイスはディスプレイ及びタッチ感知面を含み、前記方法は、
前記ディスプレイ上に、ユーザインタフェースを表示することであって、前記ユーザインタフェースは、
前記1つ以上のオーディオ出力デバイスの表現と、
前記第1のタイプのメッセージを表し、前記ユーザインタフェース内の前記第1の位置に表示される、第1のユーザインタフェース要素であって、前記ユーザインタフェースの前記第1の位置は、前記第1のタイプのメッセージに関連付けられた前記第1の空間位置を定義する、第1のユーザインタフェース要素と、
前記第2のタイプのメッセージを表し、前記ユーザインタフェース内の前記第2の位置に表示される、第2のユーザインタフェースであって、前記ユーザインタフェースの前記第2の位置は、前記第2のタイプのメッセージに関連付けられた前記第2の空間位置を定義する、第2のユーザインタフェース要素と、
を含む、表示することと、
前記タッチ感知面上で、前記第1のユーザインタフェースに対応する入力を受け付けることと、
前記入力を受け付けることに応答して、
前記第1のユーザインタフェース要素を前記ユーザインタフェース内の第3の位置に移動させることと、
前記第1のタイプのメッセージを、前記ユーザインタフェース内の前記第3の位置によって定義された第3の空間位置に関連付けることと
を含む、請求項29に記載の方法。
【請求項33】
1つ以上のオーディオ出力デバイスと、
1つ以上のプロセッサと、
1つ以上のプログラムを記憶したメモリと、を備える電子デバイスであって、前記1つ以上のプログラムが、前記1つ以上のプロセッサによって実行されるように構成されており、前記1つ以上のプログラムが、
イベントの発生を検出し、
前記イベントの前記発生の検出に応じて、前記1つ以上のオーディオ出力デバイスを介して、前記イベントを表すオーディオコンテンツを含む音声通知を出力する
ための命令を含み、
前記イベントが第1の特性群の第1特性に関連付けられているという判定に従って、前記音声通知は、前記イベントを表す前記オーディオコンテンツを含み、前記第1特性に基づいて選択される第1オーディオ出力特性を有し、
前記イベントが、前記第1特性とは異なる前記第1の特性群の第2特性に関連付けられているという判定に従って、前記音声通知は、前記イベントを表す前記オーディオコンテンツを含み、前記第2特性に基づいて選択される、前記第1出力特性とは異なる第2オーディオ出力特性を有する、
電子デバイス。
【請求項34】
1つ以上のプログラムを記憶したコンピュータ可読記憶媒体であって、前記1つ以上のプログラムは命令を含み、前記命令は、1つ以上のオーディオ出力デバイスを有する電子デバイスによって実行されるとき、前記電子デバイスに、
イベントの発生を検出させ、
前記イベントの前記発生の検出に応じて、前記1つ以上のオーディオ出力デバイスを介して、前記イベントを表すオーディオコンテンツを含む音声通知を出力させ、
前記イベントが第1の特性群の第1特性に関連付けられているという判定に従って、前記音声通知は、前記イベントを表す前記オーディオコンテンツを含み、前記第1特性に基づいて選択される第1オーディオ出力特性を有し、
前記イベントが、前記第1特性とは異なる前記第1の特性群の第2特性に関連付けられているという判定に従って、前記音声通知は、前記イベントを表す前記オーディオコンテンツを含み、前記第2特性に基づいて選択される、前記第1出力特性とは異なる第2オーディオ出力特性を有する、
コンピュータ可読記憶媒体。
【請求項35】
電子デバイスであって、
1つ以上のオーディオ出力デバイス
イベントの発生を検出するための手段と、
前記イベントの前記発生の検出に応じて、前記1つ以上のオーディオ出力デバイスを介して、前記イベントを表すオーディオコンテンツを含む音声通知を出力するための手段と
を含み、
前記イベントが第1の特性群の第1特性に関連付けられているという判定に従って、前記音声通知は、前記イベントを表す前記オーディオコンテンツを含み、前記第1特性に基づいて選択される第1オーディオ出力特性を有し、
前記イベントが、前記第1特性とは異なる前記第1の特性群の第2特性に関連付けられているという判定に従って、前記音声通知は、前記イベントを表す前記オーディオコンテンツを含み、前記第2特性に基づいて選択される、前記第1出力特性とは異なる第2オーディオ出力特性を有する、
電子デバイス。
【請求項36】
1つ以上のオーディオ出力デバイスを有する電子デバイスで使用するための情報処理装置であって、
イベントの発生を検出するための手段と、
前記イベントの前記発生の検出に応じて、前記1つ以上のオーディオ出力デバイスを介して、前記イベントを表すオーディオコンテンツを含む音声通知を出力するための手段と
を含み、
前記イベントが第1の特性群の第1特性に関連付けられているという判定に従って、前記音声通知は、前記イベントを表す前記オーディオコンテンツを含み、前記第1特性に基づいて選択される第1オーディオ出力特性を有し、
前記イベントが、前記第1特性とは異なる前記第1の特性群の第2特性に関連付けられているという判定に従って、前記音声通知は、前記イベントを表す前記オーディオコンテンツを含み、前記第2特性に基づいて選択される、前記第1出力特性とは異なる第2オーディオ出力特性を有する、
情報処理装置。
【請求項37】
1つ以上のオーディオ出力デバイスと、
1つ以上のプロセッサと、
1つ以上のプログラムを記憶したメモリと、を備える電子デバイスであって、前記1つ以上のプログラムが、前記1つ以上のプロセッサによって実行されるように構成されており、前記1つ以上のプログラムが、請求項23から32のいずれか一項に記載の方法を実行する
ための命令を含む、
電子デバイス。
【請求項38】
1つ以上のプログラムを記憶したコンピュータ可読記憶媒体であって、前記1つ以上のプログラムは命令を含み、前記命令は、1つ以上のオーディオ出力デバイスを有する電子デバイスによって実行されるとき、前記電子デバイスに、請求項23から32のいずれか一項に記載の方法を実行させる、コンピュータ可読記憶媒体。
【請求項39】
1つ以上のオーディオ出力デバイス、メモリ、及び前記メモリに記憶された1つ以上のプログラムを実行するための1つ以上のプロセッサを有する電子デバイス上のグラフィカルユーザインタフェースであって、前記グラフィカルユーザインタフェースは、請求項23から32のいずれか一項に記載の方法に従って表示されるユーザインタフェースを含む、グラフィカルユーザインタフェース。
【請求項40】
1つ以上のオーディオ出力デバイスと、
請求項23から32のいずれか一項に記載の方法を実行するための手段と
を含む、電子デバイス。
【請求項41】
1つ以上のオーディオ出力デバイスを有する電子デバイスで使用するための情報処理装置であって、
請求項23から32のいずれか一項に記載の方法を実行するための手段を含む、情報処理装置。
【請求項42】
1つ以上のウェアラブルオーディオ出力デバイスと通信し、前記1つ以上のウェアラブルオーディオ出力デバイスの配置を検出するための1つ以上のセンサと通信する、電子デバイスにおいて、
第1イベントの発生を検出することと、
前記第1イベントの発生を検出した後、前記1つ以上のウェアラブルオーディオ出力デバイスを介して、前記第1イベントに対応する1つ以上の音声通知を出力することと、
前記1つ以上の音声通知を出力し始めた後に、前記1つ以上のウェアラブルオーディオ出力デバイスに向けられた入力を検出することと
を含み、
前記1つ以上のウェアラブルオーディオ出力デバイスに向けられた前記入力の検出に応答して、
前記入力が前記第1イベントに対応する前記1つ以上の音声通知に関して所定の時間周期内に検出されたという判定に従って、第1の動作を実行することであって、前記第1の動作は、前記第1イベントに対応する前記1つ以上の音声通知に関連付けられている、ことと、
前記第1イベントに対応する前記1つ以上の音声通知に関して所定の時間周期が経過した後に前記入力が検出されたという判定に従って、第2の動作を実行することであって、前記第2の動作は、前記第1イベントに対応する前記1つ以上の音声通知に関連付けられていない、ことと
を含む方法。
【請求項43】
前記1つ以上のウェアラブルオーディオ出力デバイスに向けられた第2の入力を検出することと、
前記1つ以上のウェアラブルオーディオ出力デバイスに向けられた前記第2の入力の検出に応答して、
前記第2の入力が、前記第1イベントに対応する前記1つ以上の音声通知を出力し始める前に検出されたという判定に従って、及び第2イベントに対応し、前記第1イベントに対応する前記1つ以上の音声通知よりも前に出力された、1つ以上の音声通知に関して前記所定の時間周期が経過したという判定に従って、前記第2の動作を実行することであって、前記第2の動作は、前記第2イベントに対応する前記1つ以上の音声通知に関連付けられていない、ことと
を含む、請求項42に記載の方法。
【請求項44】
前記第1イベントの発生を検出した後に、第3イベントの発生を検出することと、
前記第3イベントの発生を検出した後、及び前記第1イベントに対応する前記1つ以上の通知を出力した後に、前記1つ以上のウェアラブルオーディオ出力デバイスを介して、前記第3イベントに対応する1つ以上の音声通知を出力することと、
前記1つ以上のウェアラブルオーディオ出力デバイスに向けられた前記入力の検出に応答して、
前記第3イベントに対応する前記1つ以上の音声通知を出力し始めた後に前記入力が検出されたという判定に従って、及び前記第3イベントに対応する前記1つ以上の音声通知に関して前記所定の時間周期内に、第1の動作を実行することであって、前記第1の動作は、前記第3イベントに対応する前記1つ以上の音声通知に関連付けられている、ことと
を含む、請求項42又は43に記載の方法。
【請求項45】
それぞれのイベントに対応する前記1つ以上の音声通知を出力することは、前記それぞれのイベントに対応するオーディオコンテンツの一部を出力することを含み、
前記それぞれのイベントに対応する前記1つ以上の音声通知に関連付けられた前記第1の動作を実行することは、前記それぞれのイベントに対応する前記1つ以上の音声通知の残りの部分を出力することを取り止めることを含む、
請求項42から44のいずれか一項に記載の方法。
【請求項46】
それぞれのイベントに対応する前記1つ以上の音声通知を出力することは、前記それぞれのイベントに対応するオーディオコンテンツの第1の部分を出力することを含み、
前記それぞれのイベントに対応する前記1つ以上の音声通知に関連付けられた前記第1の動作を実行することは、前記第1の部分とは異なる、前記それぞれのイベントに対応する前記オーディオコンテンツの第2の部分を出力することを含む、
請求項42から44のいずれか一項に記載の方法。
【請求項47】
それぞれのイベントに対応する前記1つ以上の音声通知に関連付けられていない前記第2の動作を実行することは、バーチャルアシスタントを呼び出すこと、又はメディアコンテンツ再生を制御することを含む、請求項45又は46に記載の方法。
【請求項48】
それぞれのイベントに対応する前記1つ以上の音声通知に関連付けられた前記第1の動作は、前記それぞれのイベントに関連付けられたアプリケーションに基づいている、請求項42から44のいずれか一項に記載の方法。
【請求項49】
前記それぞれのイベントを検出することは、テキストコンテンツ以外のメディアコンテンツを受信することを含み、前記それぞれのイベントに対応する前記1つ以上の音声通知に関連付けられた前記第1の動作を実行することは、テキストコンテンツ以外の前記メディアコンテンツの言語記述を提供することを含む、請求項42から44のいずれか一項に記載の方法。
【請求項50】
前記1つ以上の音声通知の第1音声通知を出力している間に前記入力が検出されたという判定に従って、前記第1音声通知に対して前記第1の動作が実行され、
前記第1音声通知とは異なる前記1つ以上の音声通知の第2音声通知を出力している間に前記入力が検出されたという判定に従って、前記第2音声通知に対して前記第1の動作が実行される、
請求項42から49のいずれか一項に記載の方法。
【請求項51】
前記入力は第1のタイプの入力であるという判定に従って、前記第1の動作は第1のタイプの動作であり、
前記入力が前記第1のタイプの入力とは異なる第2のタイプの入力であるという判定に従って、前記第1の動作は、前記第1のタイプの動作とは異なる第2のタイプの動作である、
請求項42から50のいずれか一項に記載の方法。
【請求項52】
前記入力は第1のタイプの入力であるという判定に従って、前記第2の動作は第3のタイプの動作であり、
前記入力が前記第1のタイプの入力とは異なる第2のタイプの入力であるという判定に従って、前記第2の動作は、前記第3のタイプの動作とは異なる第4のタイプの動作である、
請求項42から51のいずれか一項に記載の方法。
【請求項53】
前記1つ以上のウェアラブルオーディオ出力デバイスに向けられた前記入力を検出することは、前記1つ以上のウェアラブルオーディオ出力デバイス上のタップ入力を検出することを含む、請求項42から52のいずれか一項に記載の方法。
【請求項54】
前記1つ以上のウェアラブルオーディオ出力デバイスは1つ以上の加速度計を含み、前記1つ以上のウェアラブルオーディオ出力デバイスに向けられた前記入力を検出することは、前記1つ以上の加速度計を介して、前記1つ以上のウェアラブルオーディオ出力デバイスの動きを検出することを含む、請求項42から52のいずれか一項に記載の方法。
【請求項55】
それぞれのイベントに対応する前記1つ以上の音声通知を出力することは、前記それぞれのイベントに対応するオーディオコンテンツの第1の部分を出力することを含み、
前記1つ以上の加速度計を介して、第1の方向の前記1つ以上のウェアラブルオーディオ出力デバイスの動きを検出することに従って、前記第1の動作を実行することは、前記それぞれのイベントに対応するオーディオコンテンツの第2の部分を出力することを取り止めることを含み、
前記1つ以上の加速度計を介して、第1の方向と反対の第2の方向の前記1つ以上のウェアラブルオーディオ出力デバイスの動きを検出することに従って、前記第1の動作を実行することは、前記それぞれのイベントに対応するオーディオコンテンツの第2の部分を出力することを含む、
請求項54に記載の方法。
【請求項56】
それぞれのイベントの発生を検出した後に、前記1つ以上のウェアラブルオーディオ出力デバイスを介して出力された前記1つ以上の音声通知以外の前記それぞれのイベントに対応する1つ以上の通知を出力することを取り止めることを含む、請求項42から55のいずれか一項に記載の方法。
【請求項57】
1つ以上のウェアラブルオーディオ出力デバイスと通信し、前記1つ以上のウェアラブルオーディオ出力デバイスの配置を検出するための1つ以上のセンサと通信する、電子デバイスであって、前記電子デバイスは、
1つ以上のプロセッサと、
1つ以上のプログラムを記憶したメモリと、を備え、前記1つ以上のプログラムが、前記1つ以上のプロセッサによって実行されるように構成されており、前記1つ以上のプログラムが、
第1イベントの発生を検出し、
前記第1イベントの発生を検出した後、前記1つ以上のウェアラブルオーディオ出力デバイスを介して、前記第1イベントに対応する1つ以上の音声通知を出力し、
前記1つ以上の音声通知を出力し始めた後に、前記1つ以上のウェアラブルオーディオ出力デバイスに向けられた入力を検出し、
前記1つ以上のウェアラブルオーディオ出力デバイスに向けられた前記入力の検出に応答して、
前記入力が前記第1イベントに対応する前記1つ以上の音声通知に関して所定の時間周期内に検出されたという判定に従って、第1の動作を実行し、前記第1の動作は、前記第1イベントに対応する前記1つ以上の音声通知に関連付けられており、
前記第1イベントに対応する前記1つ以上の音声通知に関して所定の時間周期が経過した後に前記入力が検出されたという判定に従って、第2の動作を実行し、前記第2の動作は、前記第1イベントに対応する前記1つ以上の音声通知に関連付けられていない、
ための命令を含む、電子デバイス。
【請求項58】
1つ以上のプログラムを記憶するコンピュータ可読記憶媒体であって、前記1つ以上のプログラムは命令を含み、前記命令は、1つ以上のウェアラブルオーディオ出力デバイス及び前記1つ以上のウェアラブルオーディオ出力デバイスの配置を検出するための1つ以上のセンサと通信している電子デバイスによって実行されると、前記電子デバイスに、
第1イベントの発生を検出させ、
前記第1イベントの発生を検出した後、前記1つ以上のウェアラブルオーディオ出力デバイスを介して、前記第1イベントに対応する1つ以上の音声通知を出力させ、
前記1つ以上の音声通知を出力し始めた後に、前記1つ以上のウェアラブルオーディオ出力デバイスに向けられた入力を検出させ、
前記1つ以上のウェアラブルオーディオ出力デバイスに向けられた前記入力の検出に応答して、
前記入力が前記第1イベントに対応する前記1つ以上の音声通知に関して所定の時間周期内に検出されたという判定に従って、第1の動作を実行させ、前記第1の動作は、前記第1イベントに対応する前記1つ以上の音声通知に関連付けられており、
前記第1イベントに対応する前記1つ以上の音声通知に関して所定の時間周期が経過した後に前記入力が検出されたという判定に従って、第2の動作を実行させ、前記第2の動作は、前記第1イベントに対応する前記1つ以上の音声通知に関連付けられていない、
コンピュータ可読記憶媒体。
【請求項59】
1つ以上のウェアラブルオーディオ出力デバイスと通信し、前記1つ以上のウェアラブルオーディオ出力デバイスの配置を検出するための1つ以上のセンサと通信する、電子デバイスであって、前記電子デバイスは、
第1イベントの発生を検出するための手段と、
前記第1イベントの発生を検出した後に有効化される、前記1つ以上のウェアラブルオーディオ出力デバイスを介して、前記第1イベントに対応する1つ以上の音声通知を出力するための手段と、
前記1つ以上の音声通知を出力し始めた後に有効化される、前記1つ以上のウェアラブルオーディオ出力デバイスに向けられた入力を検出するための手段と、
前記1つ以上のウェアラブルオーディオ出力デバイスに向けられた前記入力の検出に応答して有効化される手段であって、
前記入力が前記第1イベントに対応する前記1つ以上の音声通知に関して所定の時間周期内に検出されたという判定に従って有効化される、第1の動作を実行するための手段であって、前記第1の動作は、前記第1イベントに対応する前記1つ以上の音声通知に関連付けられている、手段と、
前記第1イベントに対応する前記1つ以上の音声通知に関して所定の時間周期が経過した後に前記入力が検出されたという判定に従って有効化される、第2の動作を実行するための手段であって、前記第2の動作は、前記第1イベントに対応する前記1つ以上の音声通知に関連付けられていない、手段と
を含む、電子デバイス。
【請求項60】
1つ以上のウェアラブルオーディオ出力デバイスと通信し、前記1つ以上のウェアラブルオーディオ出力デバイスの配置を検出するための1つ以上のセンサと通信する電子デバイスで使用するための情報処理装置であって、前記情報処理装置は、
第1イベントの発生を検出するための手段と、
前記第1イベントの発生を検出した後に有効化される、前記1つ以上のウェアラブルオーディオ出力デバイスを介して、前記第1イベントに対応する1つ以上の音声通知を出力するための手段と、
前記1つ以上の音声通知を出力し始めた後に有効化される、前記1つ以上のウェアラブルオーディオ出力デバイスに向けられた入力を検出するための手段と、
前記1つ以上のウェアラブルオーディオ出力デバイスに向けられた前記入力の検出に応答して有効化される手段であって、
前記入力が前記第1イベントに対応する前記1つ以上の音声通知に関して所定の時間周期内に検出されたという判定に従って有効化される、第1の動作を実行するための手段であって、前記第1の動作は、前記第1イベントに対応する前記1つ以上の音声通知に関連付けられている、手段と、
前記第1イベントに対応する前記1つ以上の音声通知に関して所定の時間周期が経過した後に前記入力が検出されたという判定に従って有効化される、第2の動作を実行するための手段であって、前記第2の動作は、前記第1イベントに対応する前記1つ以上の音声通知に関連付けられていない、手段と
を含む、情報処理装置。
【請求項61】
1つ以上のウェアラブルオーディオ出力デバイスと通信し、前記1つ以上のウェアラブルオーディオ出力デバイスの配置を検出するための1つ以上のセンサと通信する、電子デバイスであって、前記電子デバイスは、
1つ以上のプロセッサと、
1つ以上のプログラムを記憶したメモリと、を含み、前記1つ以上のプログラムが、前記1つ以上のプロセッサによって実行されるように構成されており、前記1つ以上のプログラムが、請求項42から56のいずれか一項に記載の方法を実行するための命令を含む、
電子デバイス。
【請求項62】
1つ以上のプログラムを記憶するコンピュータ可読記憶媒体であって、前記1つ以上のプログラムは命令を含み、前記命令は、1つ以上のウェアラブルオーディオ出力デバイス及び前記1つ以上のウェアラブルオーディオ出力デバイスの配置を検出するための1つ以上のセンサと通信している電子デバイスによって実行されると、前記電子デバイスに、請求項42から56のいずれか一項に記載の方法を実行させる、コンピュータ可読記憶媒体。
【請求項63】
1つ以上のウェアラブルオーディオ出力デバイス前記1つ以上のウェアラブルオーディオ出力デバイスの配置を検出するための1つ以上のセンサと通信している電子デバイス上のグラフィカルユーザインタフェースであって、前記電子デバイスは、メモリと、前記メモリに記憶された1つ以上のプログラムを実行するための1つ以上のプロセッサとを含み、前記グラフィカルユーザインタフェースは、請求項42から56のいずれか一項に記載の方法に従って表示されるユーザインタフェースを含む、グラフィカルユーザインタフェース。
【請求項64】
1つ以上のウェアラブルオーディオ出力デバイスと通信し、前記1つ以上のウェアラブルオーディオ出力デバイスの配置を検出するための1つ以上のセンサと通信する、電子デバイスであって、前記電子デバイスは、
請求項42から56のいずれか一項に記載の方法を実行するための手段を含む、電子デバイス。
【請求項65】
1つ以上のウェアラブルオーディオ出力デバイスと通信し、前記1つ以上のウェアラブルオーディオ出力デバイスの配置を検出するための1つ以上のセンサと通信する電子デバイスで使用するための情報処理装置であって、前記情報処理装置は、
請求項42から56のいずれか一項に記載の方法を実行するための手段を含む、情報処理装置。
【請求項66】
1つ以上のウェアラブルオーディオ出力デバイスと通信している電子デバイスにおいて、
第1イベントの発生を検出することと、
前記第1イベントの発生を検出した後、前記1つ以上のウェアラブルオーディオ出力デバイスを介して、前記第1イベントに対応する1つ以上の音声通知を出力することと、
前記第1イベントに対応する前記1つ以上の音声通知を出力した後に、前記電子デバイスが前記第1イベントに対する応答を受信する準備ができていることを示す前記1つ以上の音声通知とは別のそれぞれのオーディオ出力を出力することと、
前記それぞれのオーディオ出力を出力している間に、前記第1イベントに対する応答に対応する入力を検出することと、前記入力に基づいて前記第1イベントに対する応答を生成することと
を含む方法。
【請求項67】
前記第1イベントに対応する前記1つ以上の音声通知を出力した後、前記電子デバイス又は前記1つ以上のウェアラブルオーディオ出力デバイスを介して、前記第1イベントに応答する要求に対応する第2の入力を検出することを含み、
前記第2の入力の検出に応答して、前記電子デバイスが前記第1イベントに対する応答を受信する準備ができていることを示す、前記それぞれのオーディオ出力が出力される、
請求項66に記載の方法。
【請求項68】
前記それぞれのオーディオ出力はホワイトノイズを含む、請求項66又は67に記載の方法。
【請求項69】
前記電子デバイスは、1つ以上のオーディオ入力デバイスと通信しており、前記第1イベントに対する応答に対応する入力を検出することは、前記1つ以上のオーディオ入力デバイスを介してオーディオ入力を検出することを含む、請求項66から68のいずれか一項に記載の方法。
【請求項70】
前記電子デバイスはタッチ感知面を含み、前記方法は、
前記それぞれのオーディオ出力を出力している間、及び前記第1イベントに対応する前記入力を検出する前に、
前記タッチ感知面を介して、第1のタッチ入力を検出することと、
前記タッチ感知面を介して前記第1のタッチ入力を検出したことに応答して、前記1つ以上のウェアラブルオーディオ出力デバイスを介して、前記第1イベントに対する1つ以上の応答オプションを出力することと
を更に含み、
前記第1イベントに対する応答に対応する前記入力を検出することは、前記タッチ感知面を介して、前記1つ以上の応答オプションのそれぞれの応答オプションを選択する第2のタッチ入力を検出することを含み、
前記第1イベントに対して生成された前記応答は、選択された前記それぞれの応答オプションに対応する、
請求項66から68のいずれか一項に記載の方法。
【請求項71】
前記電子デバイスは回転可能入力機構を含み、前記方法は、
前記それぞれのオーディオ出力を出力している間、及び前記第1イベントに対応する前記入力を検出する前に、
前記回転可能入力機構を介して、第1の入力を検出することと、
前記回転可能入力機構を介して前記第1の入力を検出したことに応答して、前記1つ以上のウェアラブルオーディオ出力デバイスを介して、前記第1イベントに対する1つ以上の応答オプションを出力することと
を含み、
前記第1イベントに対する応答に対応する前記入力を検出することは、前記回転可能入力機構を介して、前記1つ以上の応答オプションのそれぞれの応答オプションを選択する第2の入力を検出することを含み、
前記第1イベントに対して生成された前記応答は、選択された前記それぞれの応答オプションに対応する、
請求項66から68のいずれか一項に記載の方法。
【請求項72】
前記電子デバイスは、ディスプレイ及び1つ以上の姿勢センサを含み、前記方法は、
前記第1イベントに対する応答に対応する前記入力を検出する前に、前記1つ以上の姿勢センサを介して、前記電子デバイスの姿勢の変化を検出することと、
前記電子デバイスの前記姿勢の変化の検出に応答して、
前記電子デバイスの前記姿勢の変化が前記第1イベントに対応する前記1つ以上の音声通知に関して所定の時間周期内に検出されたという判定に従って、前記ディスプレイ上に、前記第1イベントに対する1つ以上の応答オプションを表示することと
を含み、
前記第1イベントに対する応答に対応する前記入力を検出することは、前記1つ以上の応答オプションのそれぞれの応答オプションを選択する入力を検出することを含む、
請求項66から68のいずれか一項に記載の方法。
【請求項73】
前記第1イベントに対応する前記1つ以上の音声通知を出力した後、及び前記電子デバイスが前記第1イベントに対する応答を受信する準備ができていることを示す前記1つ以上の音声通知とは別のそれぞれのオーディオ出力を出力する前に、
前記1つ以上のウェアラブルオーディオ出力デバイスを介して、前記第1イベントに対する応答を提供するように前記電子デバイスのユーザを促す複数の応答オプションを出力することを含む、
請求項66から68のいずれか一項に記載の方法。
【請求項74】
前記第1イベントはカレンダイベント招待であり、前記複数の応答オプションは、前記カレンダイベント招待を承諾するオプションと、前記カレンダイベント招待を拒否するオプションとを含む、請求項73に記載の方法。
【請求項75】
前記電子デバイスは、1つ以上のオーディオ入力デバイスと通信しており、前記方法は、
前記1つ以上のオーディオ入力デバイスに対する周囲ノイズの音量を検出することと、
前記周囲ノイズの音量に基づいて、前記1つ以上の音声通知の出力音量を調整することと
を含む、請求項66から74のいずれか一項に記載の方法。
【請求項76】
1つ以上のウェアラブルオーディオ出力デバイスと通信している電子デバイスであって、前記電子デバイスは、
1つ以上のプロセッサと、
1つ以上のプログラムを記憶したメモリと、を備え、前記1つ以上のプログラムが、前記1つ以上のプロセッサによって実行されるように構成されており、前記1つ以上のプログラムが、
第1イベントの発生を検出し、
前記第1イベントの発生を検出した後、前記1つ以上のウェアラブルオーディオ出力デバイスを介して、前記第1イベントに対応する1つ以上の音声通知を出力し、
前記第1イベントに対応する前記1つ以上の音声通知を出力した後に、前記電子デバイスが前記第1イベントに対する応答を受信する準備ができていることを示す前記1つ以上の音声通知とは別のそれぞれのオーディオ出力を出力し、
前記それぞれのオーディオ出力を出力している間に、前記第1イベントに対する応答に対応する入力を検出し、前記入力に基づいて前記第1イベントに対する応答を生成する
ための命令を含む、電子デバイス。
【請求項77】
1つ以上のプログラムを記憶したコンピュータ可読記憶媒体であって、前記1つ以上のプログラムは命令を含み、前記命令は、1つ以上のウェアラブルオーディオ出力デバイスと通信している電子デバイスによって実行されるとき、前記電子デバイスに、
第1イベントの発生を検出させ、
前記第1イベントの発生を検出した後、前記1つ以上のウェアラブルオーディオ出力デバイスを介して、前記第1イベントに対応する1つ以上の音声通知を出力させ、
前記第1イベントに対応する前記1つ以上の音声通知を出力した後に、前記電子デバイスが前記第1イベントに対する応答を受信する準備ができていることを示す前記1つ以上の音声通知とは別のそれぞれのオーディオ出力を出力させ、
前記それぞれのオーディオ出力を出力している間に、前記第1イベントに対する応答に対応する入力を検出させ、前記入力に基づいて前記第1イベントに対する応答を生成させる、
コンピュータ可読記憶媒体。
【請求項78】
1つ以上のウェアラブルオーディオ出力デバイスと通信している電子デバイスであって、前記電子デバイスは、
第1イベントの発生を検出するための手段と、
前記第1イベントの発生を検出した後に有効化される、前記1つ以上のウェアラブルオーディオ出力デバイスを介して、前記第1イベントに対応する1つ以上の音声通知を出力するための手段と、
前記第1イベントに対応する前記1つ以上の音声通知を出力した後に有効化される、前記電子デバイスが前記第1イベントに対する応答を受信する準備ができていることを示す前記1つ以上の音声通知とは別のそれぞれのオーディオ出力を出力するための手段と、
前記それぞれのオーディオ出力を出力している間に有効化される、前記第1イベントに対する応答に対応する入力を検出し、前記入力に基づいて前記第1イベントに対する応答を生成するための手段と
を含む、電子デバイス。
【請求項79】
1つ以上のウェアラブルオーディオ出力デバイスと通信している電子デバイスで使用するための情報処理装置であって、前記情報処理装置は、
第1イベントの発生を検出するための手段と、
前記第1イベントの発生を検出した後に有効化される、前記1つ以上のウェアラブルオーディオ出力デバイスを介して、前記第1イベントに対応する1つ以上の音声通知を出力するための手段と、
前記第1イベントに対応する前記1つ以上の音声通知を出力した後に有効化される、前記電子デバイスが前記第1イベントに対する応答を受信する準備ができていることを示す前記1つ以上の音声通知とは別のそれぞれのオーディオ出力を出力するための手段と、
前記それぞれのオーディオ出力を出力している間に有効化される、前記第1イベントに対する応答に対応する入力を検出し、前記入力に基づいて前記第1イベントに対する応答を生成するための手段と
を含む、情報処理装置。
【請求項80】
1つ以上のウェアラブルオーディオ出力デバイスと通信している電子デバイスであって、前記電子デバイスは、
1つ以上のプロセッサと、
1つ以上のプログラムを記憶したメモリと、を含み、前記1つ以上のプログラムが、前記1つ以上のプロセッサによって実行されるように構成されており、前記1つ以上のプログラムが、請求項66から75のいずれか一項に記載の方法を実行するための命令を含む、電子デバイス。
【請求項81】
1つ以上のプログラムを記憶したコンピュータ可読記憶媒体であって、前記1つ以上のプログラムは命令を含み、前記命令は、1つ以上のウェアラブルオーディオ出力デバイスと通信している電子デバイスによって実行されるとき、前記電子デバイスに、請求項66から75のいずれか一項に記載の方法を実行させる、コンピュータ可読記憶媒体。
【請求項82】
1つ以上のウェアラブルオーディオ出力デバイスと通信している電子デバイス上のグラフィカルユーザインタフェースであって、前記電子デバイスは、メモリと、前記メモリに記憶された1つ以上のプログラムを実行するための1つ以上のプロセッサとを含み、前記グラフィカルユーザインタフェースは、請求項66から75のいずれか一項に記載の方法に従って表示されるユーザインタフェースを含む、グラフィカルユーザインタフェース。
【請求項83】
1つ以上のウェアラブルオーディオ出力デバイスと通信している電子デバイスであって、前記電子デバイスは、
請求項66から75のいずれか一項に記載の方法を実行するための手段を含む、電子デバイス。
【請求項84】
1つ以上のウェアラブルオーディオ出力デバイスと通信している電子デバイスで使用するための情報処理装置であって、前記情報処理装置は、
請求項66から75のいずれか一項に記載の方法を実行するための手段を含む、情報処理装置。
【請求項85】
1つ以上のウェアラブルオーディオ出力デバイスと通信している電子デバイスにおいて、
前記1つ以上のウェアラブルオーディオ出力デバイスがユーザによって着用されている間に第1イベントの発生を検出することと、
前記第1イベントの発生の検出に応答して、前記1つ以上のウェアラブルオーディオ出力デバイスを介して、前記第1イベントに対応する1つ以上の音声通知を出力することであって、
前記電子デバイスの前記ユーザが現在会話に没頭しているという判定に従って、前記会話が終了するまで前記第1イベントに対応する前記1つ以上の音声通知を出力することを遅延させることと、
前記電子デバイスの前記ユーザが現在会話に没頭していないという判定に従って、前記出力を遅延させることなく前記第1イベントに対応する前記1つ以上の音声通知を出力することと
を含む、方法。
【請求項86】
前記電子デバイスは、1つ以上のオーディオ入力デバイスと通信しており、前記電子デバイスの前記ユーザが現在会話に没頭していると判定することは、前記1つ以上のオーディオ入力デバイスを介してスピーチを検出することを含む、請求項85に記載の方法。
【請求項87】
前記1つ以上の音声通知を出力することは、疑似スピーチを使用して前記第1イベントに対応するオーディオコンテンツを出力することを含む、請求項85又は86に記載の方法。
【請求項88】
前記1つ以上の音声通知を出力することは、1つ以上のオーディオトーンを出力することを含む、請求項85から87のいずれか一項に記載の方法。
【請求項89】
前記電子デバイスは、前記1つ以上のウェアラブルオーディオ出力デバイスとは別個の1つ以上の第2のオーディオ出力デバイスを含むか又はこれと通信しており、前記方法は、前記1つ以上の第2のオーディオ出力デバイスを介して第2イベントに対応する言語化された情報を出力することと併せて、前記1つ以上のウェアラブルオーディオ出力デバイスを介して前記第2イベントに対応する音声通知を出力することを取り止めることを含む、請求項85から88のいずれか一項に記載の方法。
【請求項90】
前記第1イベントに対応する前記1つ以上の音声通知を出力することは、前記第1イベントのメタデータが前記第1イベントを音声通知に関連付けるという判定に従って実行される、請求項85に記載の方法。
【請求項91】
前記第1イベントに対応する前記1つ以上の音声通知を出力することは、前記電子デバイスが音声通知を可能にするそれぞれのモードにあるという判定に従って実行される、請求項85に記載の方法。
【請求項92】
前記第1イベントに対応する前記1つ以上の音声通知を出力することは、前記電子デバイスで実行されるバーチャルアシスタントによって監視された以前のユーザ挙動に基づいて実行される、請求項85に記載の方法。
【請求項93】
前記電子デバイスは、1つ以上のオーディオ入力デバイスと通信しており、前記方法は、
前記第1イベントに対応する1つ以上の音声通知を出力する前に、前記1つ以上のオーディオ入力デバイスを介して、前記ユーザが興味を示すそれぞれのイベントプロパティを示す言語入力を検出することを含み、
前記第1イベントに対応する前記1つ以上の音声通知を出力することは、前記第1イベントが前記それぞれのイベントプロパティに関連付けられているという判定に従って実行される、
請求項85に記載の方法。
【請求項94】
1つ以上のウェアラブルオーディオ出力デバイスと通信している電子デバイスであって、前記電子デバイスは、
1つ以上のプロセッサと、
1つ以上のプログラムを記憶したメモリと、を備え、前記1つ以上のプログラムが、前記1つ以上のプロセッサによって実行されるように構成されており、前記1つ以上のプログラムが、
前記1つ以上のウェアラブルオーディオ出力デバイスがユーザによって着用されている間に第1イベントの発生を検出し、
前記第1イベントの発生の検出に応答して、前記1つ以上のウェアラブルオーディオ出力デバイスを介して、前記第1イベントに対応する1つ以上の音声通知を出力するための命令を含み、前記1つ以上の音声通知を出力することは、
前記電子デバイスの前記ユーザが現在会話に没頭しているという判定に従って、前記会話が終了するまで前記第1イベントに対応する前記1つ以上の音声通知を出力することを遅延させることと、
前記電子デバイスの前記ユーザが現在会話に没頭していないという判定に従って、前記出力を遅延させることなく前記第1イベントに対応する前記1つ以上の音声通知を出力することと
を含む、電子デバイス。
【請求項95】
1つ以上のプログラムを記憶したコンピュータ可読記憶媒体であって、前記1つ以上のプログラムは命令を含み、前記命令は、1つ以上のウェアラブルオーディオ出力デバイスと通信している電子デバイスによって実行されるとき、前記電子デバイスに、
前記1つ以上のウェアラブルオーディオ出力デバイスがユーザによって着用されている間に第1イベントの発生を検出させ、
前記第1イベントの発生の検出に応答して、前記1つ以上のウェアラブルオーディオ出力デバイスを介して、前記第1イベントに対応する1つ以上の音声通知を出力させ、前記1つ以上の音声通知を出力することは、
前記電子デバイスの前記ユーザが現在会話に没頭しているという判定に従って、前記会話が終了するまで前記第1イベントに対応する前記1つ以上の音声通知を出力することを遅延させることと、
前記電子デバイスの前記ユーザが現在会話に没頭していないという判定に従って、前記出力を遅延させることなく前記第1イベントに対応する前記1つ以上の音声通知を出力することと
を含む、コンピュータ可読記憶媒体。
【請求項96】
1つ以上のウェアラブルオーディオ出力デバイスと通信している電子デバイスであって、前記電子デバイスは、
前記1つ以上のウェアラブルオーディオ出力デバイスがユーザによって着用されている間に第1イベントの発生を検出するための手段と、
前記第1イベントの発生の検出に応答して有効化される、前記1つ以上のウェアラブルオーディオ出力デバイスを介して、前記第1イベントに対応する1つ以上の音声通知を出力するための手段であって、
前記電子デバイスの前記ユーザが現在会話に没頭しているという判定に従って有効化される、前記会話が終了するまで前記第1イベントに対応する前記1つ以上の音声通知を出力することを遅延させるための手段と、
前記電子デバイスの前記ユーザが現在会話に没頭していないという判定に従って有効化される、前記出力を遅延させることなく前記第1イベントに対応する前記1つ以上の音声通知を出力するための手段と
を含む、電子デバイス。
【請求項97】
1つ以上のウェアラブルオーディオ出力デバイスと通信している電子デバイスで使用するための情報処理装置であって、前記情報処理装置は、
前記1つ以上のウェアラブルオーディオ出力デバイスがユーザによって着用されている間に第1イベントの発生を検出するための手段と、
前記第1イベントの発生の検出に応答して有効化される、前記1つ以上のウェアラブルオーディオ出力デバイスを介して、前記第1イベントに対応する1つ以上の音声通知を出力するための手段であって、
前記電子デバイスの前記ユーザが現在会話に没頭しているという判定に従って有効化される、前記会話が終了するまで前記第1イベントに対応する前記1つ以上の音声通知を出力することを遅延させるための手段と、
前記電子デバイスの前記ユーザが現在会話に没頭していないという判定に従って有効化される、前記出力を遅延させることなく前記第1イベントに対応する前記1つ以上の音声通知を出力するための手段と
を含む、情報処理装置。
【請求項98】
1つ以上のウェアラブルオーディオ出力デバイスと通信している電子デバイスであって、前記電子デバイスは、
1つ以上のプロセッサと、
1つ以上のプログラムを記憶したメモリと、を含み、前記1つ以上のプログラムが、前記1つ以上のプロセッサによって実行されるように構成されており、前記1つ以上のプログラムが、請求項85から93のいずれか一項に記載の方法を実行するための命令を含む、電子デバイス。
【請求項99】
1つ以上のプログラムを記憶したコンピュータ可読記憶媒体であって、前記1つ以上のプログラムは命令を含み、前記命令は、1つ以上のウェアラブルオーディオ出力デバイスと通信している電子デバイスによって実行されるとき、前記電子デバイスに、請求項85から93のいずれか一項に記載の方法を実行させる、コンピュータ可読記憶媒体。
【請求項100】
1つ以上のウェアラブルオーディオ出力デバイスと通信している電子デバイス上のグラフィカルユーザインタフェースであって、前記電子デバイスは、メモリと、前記メモリに記憶された1つ以上のプログラムを実行するための1つ以上のプロセッサとを含み、前記グラフィカルユーザインタフェースは、請求項85から93のいずれか一項に記載の方法に従って表示されるユーザインタフェースを含む、グラフィカルユーザインタフェース。
【請求項101】
1つ以上のウェアラブルオーディオ出力デバイスと通信している電子デバイスであって、前記電子デバイスは、
請求項85から93のいずれか一項に記載の方法を実行するための手段を含む、電子デバイス。
【請求項102】
1つ以上のウェアラブルオーディオ出力デバイスと通信している電子デバイスで使用するための情報処理装置であって、前記情報処理装置は、
請求項85から93のいずれか一項に記載の方法を実行するための手段を含む、情報処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
これは概して、オーディオ出力デバイスを介して音声通知を提供する電子デバイスを含むがこれに限定されない、ウェアラブルオーディオ出力デバイスなどのオーディオ出力デバイスを備える電子デバイスに関する。
【背景技術】
【0002】
音声通知は、ユーザに言語で情報を伝達するために、広く使用されている。しかし、音声通知を提供する既存の方法は、煩雑で非効率的であり、限定されている。一部の場合には、音声通知を提供する既存の方法は、音声通知を生成するため、又は音声通知に応答するために、複数の入力を必要とする。一部の場合には、音声通知を提供する既存の方法は、少なすぎる情報又は多すぎる情報を一度に提供する。一部の場合には、音声通知を提供する既存の方法は、侵入的かつ散漫に音声通知を提供する。加えて、既存の方法は、必要以上に時間がかかり、ユーザ対話を必要とするため、エネルギを浪費する。後者の問題は、バッテリ動作式デバイスにおいては特に重大である。
【発明の概要】
【0003】
従って、音声通知を提供するための改善された方法及びインタフェースを備える電子デバイスが必要とされている。このような方法及びインタフェースは、音声通知を提供する既存の方法を任意選択的に補完又は置換する。このような方法及びインタフェースは、ユーザからの入力の数、範囲、及び/又は性質を低減し、より効率的なヒューマンマシンインタフェースを作り出す。バッテリ動作デバイスに関しては、そのような方法及びインタフェースは、電力を節約し、バッテリ充電間の時間を延ばす。
【0004】
音声通知の提供に関連する上記の欠点及びその他の問題は、開示されるデバイスによって低減又は解消される。いくつかの実施形態では、デバイスは、デスクトップコンピュータである。いくつかの実施形態では、このデバイスは、ポータブル(例えば、ノートブックコンピュータ、タブレットコンピュータ、又はハンドヘルドデバイス)である。いくつかの実施形態では、デバイスは、パーソナル電子デバイス(例えば、時計などのウェアラブル電子デバイス)である。いくつかの実施形態では、デバイスは、タッチパッドを有する(及び/又はこれと通信している)。いくつかの実施形態では、デバイスは、タッチ感知ディスプレイ(「タッチスクリーン」又は「タッチスクリーンディスプレイ」としても知られる)を有する(及び/又はこれと通信している)。いくつかの実施形態では、デバイスは、グラフィカルユーザインタフェース(GUI)、1つ以上のプロセッサ、メモリ、及び複数の機能を実行するためのメモリに記憶された1つ以上のモジュール、プログラム、又は命令セットを有する。いくつかの実施形態では、ユーザは、部分的には、タッチ感知面におけるスタイラス及び/又は指による接触及びジェスチャを通してGUIと相互作用する。いくつかの実施形態では、機能は、任意選択的に、ゲームプレイ、画像編集、描画、プレゼンティング、ワードプロセッシング、スプレッドシート作成、電話、テレビ会議、電子メール、インスタントメッセージング、トレーニングサポート、デジタル写真撮影、デジタルビデオ撮影、ウェブブラウジング、デジタル音楽再生、メモ取り、及び/又はデジタルビデオ再生を含む。それらの機能を実行する実行可能命令は任意選択で、非一時的コンピュータ可読記憶媒体又は1つ以上のプロセッサによって実行されるように構成された他のコンピュータプログラム製品に含まれる。
【0005】
いくつかの実施形態によれば、方法は、1つ以上のウェアラブルオーディオ出力デバイスと通信し、1つ以上のウェアラブルオーディオ出力デバイスの配置を検出するための1つ以上のセンサと通信する、電子デバイスにおいて実行される。方法は、1つ以上のウェアラブルオーディオ出力デバイスがユーザの耳に対してそれぞれの位置にない間に、1つ以上のオーディオ出力デバイスを介してイベントに対応する通知を出力することなく、複数のイベントの発生を検出することを含む。方法は、複数のイベントの発生を検出した後に、1つ以上のセンサを介して、1つ以上のウェアラブルオーディオ出力デバイスがユーザの耳に対してそれぞれの位置に配置されたことを検出することを含む。方法は、1つ以上のセンサを介して、1つ以上のウェアラブルオーディオ出力デバイスがユーザの耳に対してそれぞれの位置に配置されたことに応答して、1つ以上のウェアラブルオーディオ出力デバイスを介して、複数のイベントのうちの任意の1つ以上に対応する1つ以上の音声通知を含む情報を出力することを含む。
【0006】
いくつかの実施形態によれば、方法は、1つ以上のオーディオ出力デバイスを備える電子デバイスにおいて実行される。方法は、イベントの発生を検出することと、イベントの発生を検出することに応答して、1つ以上のオーディオ出力デバイスを介して、イベントを表すオーディオコンテンツを含む音声通知を出力することとを含む。イベントが第1の特性群の第1特性に関連付けられているという判定に従って、音声通知は、イベントを表すオーディオコンテンツを含み、第1特性に基づいて選択される第1オーディオ出力特性を有する。イベントが、第1特性とは異なる第1の特性群の第2特性に関連付けられているという判定に従って、音声通知は、イベントを表すオーディオコンテンツを含み、第2特性に基づいて選択される、第1出力特性とは異なる第2オーディオ出力特性を有する。
【0007】
いくつかの実施形態によれば、方法は、1つ以上のウェアラブルオーディオ出力デバイスと通信し、1つ以上のウェアラブルオーディオ出力デバイスの配置を検出するための1つ以上のセンサと通信する、電子デバイスにおいて実行される。方法は、第1イベントの発生を検出することと、第1イベントの発生を検出した後に、1つ以上のウェアラブルオーディオ出力デバイスを介して、第1イベントに対応する1つ以上の音声通知を出力することとを含む。方法は、1つ以上の音声通知を出力し始めた後に、1つ以上のウェアラブルオーディオ出力デバイスに向けられた入力を検出することを含む。方法は、1つ以上のウェアラブルオーディオ出力デバイスに向けられた入力を検出することに応答して、第1イベントに対応する1つ以上の音声通知に関して所定の時間周期内に入力が検出されたという判定に従って、第1の動作を実行することであって、第1の動作は第1イベントに対応する1つ以上の音声通知に関連付けられている、ことと、第1イベントに対応する1つ以上の音声通知に関して所定の時間周期が経過した後に入力が検出されたという判定に従って、第2の動作を実行することであって、第2の動作は、第1イベントに対応する1つ以上の音声通知に関連付けられていない、ことを含む。
【0008】
いくつかの実施形態によれば、方法は、1つ以上のウェアラブルオーディオ出力デバイスと通信している電子デバイスにおいて実行される。方法は、第1イベントの発生を検出することと、第1イベントの発生を検出した後に、1つ以上のウェアラブルオーディオ出力デバイスを介して、第1イベントに対応する1つ以上の音声通知を出力することとを含む。方法は、第1イベントに対応する1つ以上の音声通知を出力した後に、電子デバイスが第1イベントに対する応答を受信する準備ができていることを示す1つ以上の音声通知とは別のそれぞれのオーディオ出力を出力することを含む。方法は、それぞれのオーディオ出力を出力している間に、第1イベントに対する応答に対応する入力を検出することと、入力に基づいて第1イベントに対する応答を生成することとを含む。
【0009】
いくつかの実施形態によれば、方法は、1つ以上のウェアラブルオーディオ出力デバイスと通信している電子デバイスにおいて実行される。方法は、1つ以上のウェアラブルオーディオ出力デバイスがユーザによって着用されている間に第1イベントの発生を検出することを含む。方法は、第1イベントの発生を検出することに応答して、1つ以上のウェアラブルオーディオ出力デバイスを介して、第1イベントに対応する1つ以上の音声通知を出力することを含み、これは、電子デバイスのユーザが現在会話に没頭しているという判定に従って、会話が終了するまで第1イベントに対応する1つ以上の音声通知の出力を遅延させることと、電子デバイスのユーザが現在会話に没頭していないという判定に従って、出力を遅延させることなく第1イベントに対応する1つ以上の音声通知を出力することとを含む。
【0010】
いくつかの実施形態によれば、電子デバイスは、1つ以上のオーディオ出力デバイス(例えば、1つ以上のウェアラブルオーディオ出力デバイス)、任意選択的に、オーディオ出力デバイスの配置を検出するための1つ以上のセンサ、任意選択的に、ディスプレイ及び/又はタッチ感知面、任意選択的に、1つ以上の加速度計及び/又は姿勢センサ、任意選択的に、1つ以上の追加の入力デバイス(例えば、回転可能入力機構)、1つ以上のプロセッサ、及び1つ以上のプログラムを記憶するメモリを含み(及び/又はこれらと通信しており)、1つ以上のプログラムは、1つ以上のプロセッサによって実行されるように構成されており、1つ以上のプログラムは、本明細書で説明される方法のいずれかの動作を実行し又は実行させる命令を含む。いくつかの実施形態によれば、コンピュータ可読記憶媒体は、1つ以上のオーディオ出力デバイス、任意選択的に、オーディオ出力デバイスの配置を検出するための1つ以上のセンサ、任意選択的に、ディスプレイ及び/又はタッチ感知面、任意選択的に、1つ以上の加速度計及び/又は姿勢センサ、及び任意選択的に、1つ以上の追加の入力デバイスを含む(及び/又はこれらと通信している)電子デバイスによって実行されると、本明細書に記載される方法のいずれかの動作をデバイスに実行させる命令を記憶している。いくつかの実施形態によれば、1つ以上のオーディオ出力デバイス、任意選択的に、オーディオ出力デバイスの配置を検出するための1つ以上のセンサ、任意選択的に、ディスプレイ及び/又はタッチ感知面、任意選択的に、1つ以上の加速度計及び/又は姿勢センサ、及び任意選択的に、1つ以上の追加の入力デバイス、メモリ、及びメモリに記憶された1つ以上のプログラムを実行するための1つ以上のプロセッサを含む(及び/又はこれらと通信している)デバイス上のグラフィカルユーザインタフェースは、本明細書に記載される方法のいずれかで表示される要素の任意の1つ以上を含み、これらは本明細書に記載される方法のいずれかに記載されるように、入力に応答して更新される。いくつかの実施形態によれば、電子デバイスは、1つ以上のオーディオ出力デバイス、任意選択的に、オーディオ出力デバイスの配置を検出するための1つ以上のセンサ、任意選択的に、ディスプレイ及び/又はタッチ感知面、任意選択的に、1つ以上の加速度計及び/又は姿勢センサ、及び任意選択的に、1つ以上の追加の入力デバイス、及び本明細書に記載される方法のいずれかの動作を実行し又は実行させる手段を含む(及び/又はこれと通信している)。いくつかの実施形態によれば、1つ以上のオーディオ出力デバイス、任意選択的に、オーディオ出力デバイスの配置を検出するための1つ以上のセンサ、任意選択的に、ディスプレイ及び/又はタッチ感知面、任意選択的に、1つ以上の加速度計及び/又は姿勢センサ、及び任意選択的に、1つ以上の追加の入力デバイスを含む(及び/又はこれと通信している)電子デバイスで使用するための情報処理装置は、本明細書に記載される方法のいずれかの動作を実行し又は実行させる手段を含む。
【0011】
従って、1つ以上のオーディオ出力デバイス、任意選択的に、オーディオ出力デバイスの配置を検出するための1つ以上のセンサ、任意選択的に、ディスプレイ及び/又はタッチ感知面、任意選択的に、1つ以上の加速度計及び/又は姿勢センサ、及び任意選択的に、1つ以上の追加の入力デバイスを有する(及び/又はこれと通信している)電子デバイスには、音声通知を提供するための改善された方法及びインタフェースが設けられ、これにより、このようなデバイスの有効性、効率、及びユーザ満足度を向上させる。このような方法及びインタフェースは、音声通知を提供する既存の方法を補完し、又は置き換えることができる。
【図面の簡単な説明】
【0012】
説明される様々な実施形態をより良く理解するため、以下の図面と併せて、以下の「発明を実施するための形態」が参照されるべきであり、類似の参照番号は、以下の図の全てを通じて、対応する部分を指す。
【0013】
図1A】いくつかの実施形態に係る、タッチ感知ディスプレイを有するポータブル多機能デバイスを示すブロック図である。
【0014】
図1B】いくつかの実施形態に係る、イベント処理のための例示的な構成要素を示すブロック図である。
【0015】
図2】いくつかの実施形態に係る、タッチスクリーンを有するポータブル多機能デバイスを示す。
【0016】
図3A】いくつかの実施形態に係る、ディスプレイ及びタッチ感知面を有する例示的な多機能デバイスのブロック図である。
【0017】
図3B】いくつかの実施形態に係る、例示的なウェアラブルオーディオ出力デバイスのブロック図である。
【0018】
図4A】いくつかの実施形態に係る、ポータブル多機能デバイス上のアプリケーションのメニューのための例示的なユーザインタフェースを示す。
【0019】
図4B】いくつかの実施形態に係る、ディスプレイと分離したタッチ感知面を有する多機能デバイスのための例示的なユーザインタフェースを示す。
【0020】
図4C】いくつかの実施形態に係る、動的強度閾値の例を示す。
図4D】いくつかの実施形態に係る、動的強度閾値の例を示す。
図4E】いくつかの実施形態に係る、動的強度閾値の例を示す。
【0021】
図5A】いくつかの実施形態に係る、例示的な音声通知及び例示的なユーザインタフェース、並びに音声通知との対話を示す。
図5B】いくつかの実施形態に係る、例示的な音声通知及び例示的なユーザインタフェース、並びに音声通知との対話を示す。
図5C】いくつかの実施形態に係る、例示的な音声通知及び例示的なユーザインタフェース、並びに音声通知との対話を示す。
図5D】いくつかの実施形態に係る、例示的な音声通知及び例示的なユーザインタフェース、並びに音声通知との対話を示す。
図5E】いくつかの実施形態に係る、例示的な音声通知及び例示的なユーザインタフェース、並びに音声通知との対話を示す。
図5F】いくつかの実施形態に係る、例示的な音声通知及び例示的なユーザインタフェース、並びに音声通知との対話を示す。
図5G】いくつかの実施形態に係る、例示的な音声通知及び例示的なユーザインタフェース、並びに音声通知との対話を示す。
図5H】いくつかの実施形態に係る、例示的な音声通知及び例示的なユーザインタフェース、並びに音声通知との対話を示す。
図5I】いくつかの実施形態に係る、例示的な音声通知及び例示的なユーザインタフェース、並びに音声通知との対話を示す。
図5J】いくつかの実施形態に係る、例示的な音声通知及び例示的なユーザインタフェース、並びに音声通知との対話を示す。
図5K】いくつかの実施形態に係る、例示的な音声通知及び例示的なユーザインタフェース、並びに音声通知との対話を示す。
図5L】いくつかの実施形態に係る、例示的な音声通知及び例示的なユーザインタフェース、並びに音声通知との対話を示す。
図5M】いくつかの実施形態に係る、例示的な音声通知及び例示的なユーザインタフェース、並びに音声通知との対話を示す。
図5N】いくつかの実施形態に係る、例示的な音声通知及び例示的なユーザインタフェース、並びに音声通知との対話を示す。
図5O】いくつかの実施形態に係る、例示的な音声通知及び例示的なユーザインタフェース、並びに音声通知との対話を示す。
図5P】いくつかの実施形態に係る、例示的な音声通知及び例示的なユーザインタフェース、並びに音声通知との対話を示す。
図5Q】いくつかの実施形態に係る、例示的な音声通知及び例示的なユーザインタフェース、並びに音声通知との対話を示す。
図5R】いくつかの実施形態に係る、例示的な音声通知及び例示的なユーザインタフェース、並びに音声通知との対話を示す。
図5S】いくつかの実施形態に係る、例示的な音声通知及び例示的なユーザインタフェース、並びに音声通知との対話を示す。
図5T】いくつかの実施形態に係る、例示的な音声通知及び例示的なユーザインタフェース、並びに音声通知との対話を示す。
図5U】いくつかの実施形態に係る、例示的な音声通知及び例示的なユーザインタフェース、並びに音声通知との対話を示す。
図5V】いくつかの実施形態に係る、例示的な音声通知及び例示的なユーザインタフェース、並びに音声通知との対話を示す。
図5W】いくつかの実施形態に係る、例示的な音声通知及び例示的なユーザインタフェース、並びに音声通知との対話を示す。
図5X】いくつかの実施形態に係る、例示的な音声通知及び例示的なユーザインタフェース、並びに音声通知との対話を示す。
図5Y】いくつかの実施形態に係る、例示的な音声通知及び例示的なユーザインタフェース、並びに音声通知との対話を示す。
図5Z】いくつかの実施形態に係る、例示的な音声通知及び例示的なユーザインタフェース、並びに音声通知との対話を示す。
図5AA】いくつかの実施形態に係る、例示的な音声通知及び例示的なユーザインタフェース、並びに音声通知との対話を示す。
図5AB】いくつかの実施形態に係る、例示的な音声通知及び例示的なユーザインタフェース、並びに音声通知との対話を示す。
図5AC】いくつかの実施形態に係る、例示的な音声通知及び例示的なユーザインタフェース、並びに音声通知との対話を示す。
図5AD】いくつかの実施形態に係る、例示的な音声通知及び例示的なユーザインタフェース、並びに音声通知との対話を示す。
【0022】
図6A】いくつかの実施形態に係る、ユーザによって着用されたオーディオ出力デバイスに音声通知を提供するプロセスのフロー図である。
図6B】いくつかの実施形態に係る、ユーザによって着用されたオーディオ出力デバイスに音声通知を提供するプロセスのフロー図である。
図6C】いくつかの実施形態に係る、ユーザによって着用されたオーディオ出力デバイスに音声通知を提供するプロセスのフロー図である。
図6D】いくつかの実施形態に係る、ユーザによって着用されたオーディオ出力デバイスに音声通知を提供するプロセスのフロー図である。
図6E】いくつかの実施形態に係る、ユーザによって着用されたオーディオ出力デバイスに音声通知を提供するプロセスのフロー図である。
【0023】
図7A】いくつかの実施形態に係る、イベントに関する追加情報を伝達するためのオーディオコンテキストを提供するプロセスのフロー図である。
図7B】いくつかの実施形態に係る、イベントに関する追加情報を伝達するためのオーディオコンテキストを提供するプロセスのフロー図である。
図7C】いくつかの実施形態に係る、イベントに関する追加情報を伝達するためのオーディオコンテキストを提供するプロセスのフロー図である。
【0024】
図8A】いくつかの実施形態に係る、音声通知に対するユーザ入力のタイミングに基づいて動作を実行するプロセスのフロー図である。
図8B】いくつかの実施形態に係る、音声通知に対するユーザ入力のタイミングに基づいて動作を実行するプロセスのフロー図である。
図8C】いくつかの実施形態に係る、音声通知に対するユーザ入力のタイミングに基づいて動作を実行するプロセスのフロー図である。
図8D】いくつかの実施形態に係る、音声通知に対するユーザ入力のタイミングに基づいて動作を実行するプロセスのフロー図である。
【0025】
図9A】いくつかの実施形態に係る、ユーザを刺激して音声通知に対する応答を受信するプロセスのフロー図である。
図9B】いくつかの実施形態に係る、ユーザを刺激して音声通知に対する応答を受信するプロセスのフロー図である。
図9C】いくつかの実施形態に係る、ユーザを刺激して音声通知に対する応答を受信するプロセスのフロー図である。
【0026】
図10A】いくつかの実施形態に係る、ユーザアクティビティ及びコンテキストに基づいて音声通知を条件付きで出力するプロセスのフロー図である。
図10B】いくつかの実施形態に係る、ユーザアクティビティ及びコンテキストに基づいて音声通知を条件付きで出力するプロセスのフロー図である。
【発明を実施するための形態】
【0027】
上述したように、音声通知は、言語で情報を伝達し、ユーザが情報を見る必要なくユーザが情報を便利に聞けるようにすることによって、ユーザに情報を伝達するのに有用である。音声通知を提供する既存の方法は、多くの場合、機能性又は有効性において制限される。一部の場合には、音声通知を提供する既存の方法は、音声通知を生成又はこれに応答するために、複数の入力を必要とする。一部の場合には、音声通知を提供する既存の方法は、侵入的かつ散漫に音声通知を提供する。本明細書に記載されるデバイス、方法、及びユーザインタフェースは、複数の方法で音声通知とのユーザインタフェース対話を改善する。例えば、本明細書に開示される実施形態は、電子デバイスが音声通知を提供し、音声通知に対する応答を受信するための、より効率的な方法を提供する。加えて、本明細書の実施形態は、ユーザに情報をより効率的に伝達する改善された音声通知を提供する。
【0028】
以下、図1A~1B、図2、及び図3A~3Bは、例示的なデバイスの説明を提供する。図4A~4Bは、本明細書に開示される実施形態が実装される例示的なデバイスの例示的なユーザインタフェースを示す。図5A~5ADは、例示的な音声通知及び例示的なユーザインタフェース、並びに音声通知との対話を示す。図6A~6Eは、ユーザによって着用されたオーディオ出力デバイスに音声通知を提供する方法のフロー図を示す。図7A~7Cは、イベントに関する追加情報を伝達するためのオーディオコンテキストを提供する方法のフロー図を示す。図8A~8Dは、音声通知に対するユーザ入力のタイミングに基づいて動作を実行する方法のフロー図を示す。図9A~9Cは、ユーザを刺激して音声通知に対する応答を受信する方法のフロー図を示す。図10A~10Bは、ユーザアクティビティ及びコンテキストに基づいて音声通知を条件付きで出力する方法のフロー図を示す。図5A~5ADのユーザインタフェース及び対話は、図6A~6E、図7A~7C、図8A~8D、図9A~9C、及び図10A~10Bのプロセスを示すために使用される。
【0029】
例示的なデバイス
ここで、添付図面に実施例が示される実施形態への詳細な参照が行われる。以下の詳細な説明では、説明される様々な実施形態の完全な理解を提供するために数多くの具体的な詳細が記載されている。しかしながら、記載されている様々な実施形態は、これらの具体的な詳細を伴わずとも実践し得ることが、当業者には明らかであろう。他の例では、周知の方法、手順、構成要素、回路、及びネットワークは、実施形態の態様を不必要に不明瞭にしないよう詳細には説明されていない。
【0030】
本明細書では、第1、第2などの用語は、いくつかの実施例で、様々な要素を説明するために使用されるが、これらの要素は、それらの用語によって限定されるべきではないことも理解されるであろう。これらの用語は、ある要素を別の要素と区別するためにのみ使用される。例えば、説明されている様々な実施形態の範囲から逸脱することなく、第1の接触は、第2の接触と称することができ、同様に、第2の接触は、第1の接触と称し得る。第1の接触及び第2の接触は両方とも接触であるが、文脈がそうではないことを明確に示さない限り、それらは同じ接触ではない。
【0031】
本明細書に記載する様々な実施形態の説明で使用される術語は、特定の実施形態を説明することのみを目的とし、限定的であることは意図されていない。記載する様々な実施形態の説明及び添付の特許請求の範囲では、単数形の「a(1つ、一)」、「an(1つ、一)」、及び「the(その、この)」は、文脈上別途明白に記載しない限り、複数形も同様に含むことが意図される。又、本明細書で使用されるとき、用語「及び/又は」は、関連する列挙された項目のうちの1つ以上のいずれか及び全ての考えられる組み合わせを指し、かつこれを含むことを理解されたい。用語「includes(含む)」、「including(含む)」、「comprises(含む、備える)」、及び/又は「comprising(含む、備える)」は、本明細書で使用する場合、述べられた特徴、整数、ステップ、動作、要素、及び/又は構成要素の存在を指定するが、1つ以上の他の特徴、整数、ステップ、動作、要素、構成要素、及び/又はそれらのグループの存在又は追加を除外しないことが更に理解されるであろう。
【0032】
本明細書に記載される場合、用語「if(~の場合)」は、任意選択で、文脈に依存して「when(~のとき)」、「upon(~すると)」、「in response to determining(~と判定したことに応じて)」、又は「in response to detecting(~を検出したことに応じて)」を意味するものと解釈される。同様に、「~と判定された場合(if it is determined)」又は「[記載の状態又はイベント]が検出された場合(if [a stated condition or event] is detected)」という語句は、任意選択的に、文脈に応じて、「~と判定したとき(upon determining)」若しくは「~と判定したことに応じて(in response to determining)」、又は「[記載の状態又はイベント]を検出したとき(upon detecting [the stated condition or event])」若しくは「[記載の状態又はイベント]を検出したことに応じて(in response to detecting [the stated condition or event])」を意味すると解釈される。
【0033】
電子デバイス、そのようなデバイス用のユーザインタフェース、及びそのようなデバイスを使用する関連するプロセスの実施形態が説明される。いくつかの実施形態では、デバイスは、PDA機能及び/又は音楽プレイヤー機能などの他の機能も含む、携帯電話などのポータブル通信デバイスである。ポータブル多機能デバイスの例示的な実施形態は、Cupertino、CaliforniaのApple Inc.からのiPhone(登録商標)、iPod Touch(登録商標)、及びiPad(登録商標)デバイスを含むが、これらに限定されない。タッチ感知面(例えば、タッチスクリーンディスプレイ及び/又はタッチパッド)を有するラップトップ又はタブレットコンピュータなどの他のポータブル電子デバイスが任意選択で使用される。いくつかの実施形態では、デバイスはポータブル通信デバイスではなく、タッチ感知面(例えば、タッチスクリーンディスプレイ及び/又はタッチパッド)を有するデスクトップコンピュータであることも理解されたい。
【0034】
以下の論考では、ディスプレイ及びタッチ感知面を含む電子デバイスについて説明する。しかしながら、電子デバイスは任意選択で、物理キーボード、マウス、及び/又はジョイスティックなどの、1つ以上の他の物理ユーザインタフェースデバイスを含むことを理解されたい。
【0035】
デバイスは、典型的には、ゲームアプリケーション、メモ取りアプリケーション、描画アプリケーション、プレゼンテーションアプリケーション、ワードプロセッシングアプリケーション、スプレッドシートアプリケーション、電話アプリケーション、テレビ会議アプリケーション、電子メールアプリケーション、インスタントメッセージングアプリケーション、トレーニングサポートアプリケーション、写真管理アプリケーション、デジタルカメラアプリケーション、デジタルビデオカメラアプリケーション、ウェブブラウジングアプリケーション、デジタル音楽プレイヤーアプリケーション、及び/又はデジタルビデオプレイヤアプリケーションのうちの1つ以上などの、様々なアプリケーションをサポートする。
【0036】
本デバイス上で実行される様々なアプリケーションは、タッチ感知面などの、少なくとも1つの共通の物理ユーザインタフェースデバイスを、任意選択的に使用する。タッチ感知面の1つ以上の機能、並びにデバイスによって表示される対応する情報は、アプリケーションごとに、及び/又はそれぞれのアプリケーション内で、任意選択的に、調整及び/又は変更される。このように、デバイスの共通の物理アーキテクチャ(タッチ感知面など)は、任意選択的に、ユーザにとって直観的かつ透明なユーザインタフェースを備える様々なアプリケーションをサポートする。
【0037】
ここで、タッチ感知ディスプレイを備えるポータブルデバイスの実施形態に注意を向ける。図1Aは、いくつかの実施形態に係る、タッチ感知ディスプレイシステム112を有するポータブル多機能デバイス100を示すブロック図である。タッチ感知ディスプレイシステム112は、便宜上「タッチスクリーン」と呼ばれる場合があり、単にタッチ感知ディスプレイと呼ばれる場合もある。デバイス100は、メモリ102(任意選択で、1つ以上のコンピュータ可読記憶媒体を含む)、メモリコントローラ122、1つ以上の処理ユニット(CPU)120、周辺機器インタフェース118、RF回路108、音声回路110、スピーカ111、マイクロフォン113、入出力(I/O)サブシステム106、その他の入力又は制御デバイス116、及び外部ポート124を含む。デバイス100は、(例えば、1つ以上のカメラの一部として)1つ以上の光センサ164を任意選択的に含む。デバイス100は任意選択で、デバイス100(例えば、デバイス100のタッチ感知ディスプレイシステム112などのタッチ感知面)上の接触の強度を検出する1つ以上の強度センサ165を含む。デバイス100は、任意選択的に、デバイス100上で触知出力を生成する(例えばデバイス100のタッチ感知ディスプレイシステム112又はデバイス300のタッチパッド355などのタッチ感知面上で触知出力を生成する)1つ以上の触知出力生成器163を含む。これらの構成要素は、任意選択的に、1つ以上の通信バス又は信号ライン103を介して通信する。
【0038】
本明細書及び特許請求の範囲で使用されるように、用語「触知出力」は、ユーザの触覚でユーザによって検出されることになる、デバイスの従前の位置に対するそのデバイスの物理的変位、デバイスの構成要素(例えば、タッチ感知面)の、そのデバイスの別の構成要素(例えば、筐体)に対する物理的変位、又は、デバイスの質量中心に対する構成要素の変位を指す。例えば、デバイス又はデバイスの構成要素が、タッチに敏感なユーザの表面(例えば、ユーザの手の指、手のひら、又は他の部分)に接触している状況では、物理的変位によって生成された触知出力は、そのデバイス又はデバイスの構成要素の物理的特性の認識される変化に相当する触感として、ユーザによって解釈されることになる。例えば、タッチ感知面(例えば、タッチ感知ディスプレイ又はトラックパッド)の移動は、ユーザによって、物理アクチュエータボタンの「ダウンクリック」又は「アップクリック」として、任意選択的に解釈される。場合によっては、ユーザの動作により物理的に押された(例えば、変位された)タッチ感知面に関連付けられた物理アクチュエータボタンの移動がないときでさえ、ユーザは「ダウンクリック」又は「アップクリック」などの触感を感じる。別の例として、タッチ感知面の移動は、タッチ感知面の平滑度に変化がない場合であっても、ユーザによって、そのタッチ感知面の「粗さ」として、任意選択的に解釈又は感知される。そのようなユーザによるタッチの解釈は、ユーザの個人的な感覚認知に左右されるが、大多数のユーザに共通する、多くのタッチの感覚認知が存在する。従って、触知出力が、ユーザの特定の感覚認知(例えば、「アップクリック」「ダウンクリック」、「粗さ」)に対応するものと記述される場合、別途記載のない限り、生成された触知出力は、典型的な(又は、平均的な)ユーザの記述された感覚認知を生成するデバイス、又はデバイスの構成要素の物理的変位に対応する。触知出力を使用して触覚フィードバックをユーザに提供することで、デバイスの操作性が向上し、(例えば、デバイスを操作する/デバイスと相互作用するとき、ユーザが適切な入力を提供するのを助け、ユーザの誤りを低減させることによって)ユーザデバイスインタフェースがより効率的になり、加えて、ユーザがデバイスをより迅速かつ効率的に使用することを可能にすることによって、電力使用を低減させ、デバイスのバッテリ寿命を改善する。
【0039】
デバイス100は、ポータブル多機能デバイスの一例に過ぎず、デバイス100は、任意選択的に、示されているものよりも多くの構成要素又は少ない構成要素を有するものであり、任意選択的に、2つ以上の構成要素を組み合わせるものであり、又は、任意選択的に、それらの構成要素の異なる構成若しくは配置を有するものであることを理解されたい。図1Aに示す様々な構成要素は、1つ以上の信号処理回路及び/又は特定用途向け集積回路を含む、ハードウェア、ソフトウェア、ファームウェア、又はそれらの組み合わせで実装される。
【0040】
メモリ102は、任意選択的に、高速ランダムアクセスメモリを含み、また任意選択的に、1つ以上の磁気ディスク記憶デバイス、フラッシュメモリデバイス、又は他の不揮発性ソリッドステートメモリデバイスなどの不揮発性メモリを含む。CPU(単数又は複数)120及び周辺機器インタフェース118などのデバイス100の他の構成要素によるメモリ102へのアクセスは任意選択で、メモリコントローラ122により制御される。
【0041】
周辺機器インタフェース118が使用され、デバイスの入力及び出力周辺機器を、CPU(単数又は複数)120及びメモリ102と結合することができる。1つ以上のプロセッサ120は、メモリ102に記憶された様々なソフトウェアプログラム及び/又は命令セットを動作させる又は実行して、デバイス100のための様々な機能を実行し、データを処理する。
【0042】
いくつかの実施形態では、周辺機器インタフェース118、CPU(単数又は複数)120、及びメモリコントローラ122は任意選択で、チップ104などの単一チップ上で実装される。いくつかの他の実施形態では、それらは別々のチップ上に任意選択的に実装される。
【0043】
RF(radio frequency)(無線周波数)回路108は、電磁信号とも呼ばれるRF信号を送受信する。RF回路108は、電気信号を電磁信号に又は電磁信号を電気信号に変換し、電磁信号を介して通信ネットワーク及び他の通信デバイスと通信する。RF回路108は、任意選択的に、これらの機能を実行するための周知の回路を含み、それらの回路としては、限定するものではないが、アンテナシステム、RF送受信機、1つ以上の増幅器、同調器、1つ以上の発振器、デジタル信号プロセッサ、CODECチップセット、加入者識別モジュール(subscriber identity module、SIM)カード、メモリなどが挙げられる。RF回路108は、任意選択的に、ワールドワイドウェブ(World Wide Web、WWW)とも呼ばれるインターネット、イントラネット、並びに/又はセルラー電話ネットワーク、無線ローカルエリアネットワーク(local area network、LAN)及び/若しくはメトロポリタンエリアネットワーク(metropolitan area network、MAN)などの無線ネットワークなどのネットワークと、また他のデバイスと、無線通信によって通信する。無線通信は任意選択で、移動通信のためのグローバルシステム(Global System for Mobile Communications、GSM)、拡張データGSM環境(Enhanced Data GSM Environment、EDGE)、高速ダウンリンクパケット接続(high-speed downlink packet access、HSDPA)、高速アップリンクパケット接続(high-speed uplink packet access、HSUPA)、Evolution,Data-Only(EV-DO)、HSPA、HSPA+、デュアルセルHSPA(Dual-Cell HSPA、DC-HSPA)、ロングタームエボリューション(long term evolution、LTE)、近距離無線通信(near field communication、NFC)、広帯域符号分割多元接続(wideband code division multiple access、W-CDMA)、符号分割多元接続(code division multiple access、CDMA)、時分割多元接続(time division multiple access、TDMA)、Bluetooth、Wireless Fidelity(Wi-Fi)(例えば、IEEE 802.11a、IEEE 802.11ac、IEEE 802.11ax、IEEE 802.11b、IEEE 802.11g、及び/若しくはIEEE 802.11n)、ボイスオーバーインターネットプロトコル(voice over Internet Protocol、VoIP)、Wi-MAX、電子メールのためのプロトコル(例えば、インターネットメッセージアクセスプロトコル(Internet message access protocol、IMAP)及び/若しくはポストオフィスプロトコル(post office protocol、POP))、インスタントメッセージング(例えば、拡張可能メッセージング及びプレゼンスプロトコル(extensible messaging and presence protocol、XMPP)、インスタントメッセージング及びプレゼンス利用拡張向けセッション開始プロトコル(Session Initiation Protocol for Instant Messaging and Presence Leveraging Extensions、SIMPLE)、インスタントメッセージング及びプレゼンスサービス(Instant Messaging and Presence Service、IMPS))、並びに/又はショートメッセージサービス(Short Message Service、SMS)、あるいは本文書の出願日現在までにまだ開発されていない通信プロトコルを含む任意の他の適切な通信プロトコルを含むが、それらに限定されない、複数の通信規格、通信プロトコル、及び通信技術のうちのいずれかを使用する。
【0044】
オーディオ回路110、スピーカ111、及びマイクロフォン113は、ユーザとデバイス100との間のオーディオインタフェースを提供する。オーディオ回路110は、周辺機器インタフェース118からオーディオデータを受信し、このオーディオデータを電気信号に変換し、この電気信号をスピーカ111に送信する。スピーカ111は電気信号を人間の可聴音波に変換する。又、オーディオ回路110は、マイクロフォン113によって音波から変換された電気信号を受信する。オーディオ回路110は、電気信号をオーディオデータに変換し、このオーディオデータを処理のために周辺機器インタフェース118に送信する。オーディオデータは、任意選択的に、周辺機器インタフェース118によって、メモリ102及び/若しくはRF回路108から取得され、かつ/又はメモリ102及び/若しくはRF回路108に伝送される。いくつかの実施形態では、音声回路110は、更にヘッドセットジャック(例えば、212、図2)も含む。ヘッドセットジャックは、オーディオ回路110と、出力専用ヘッドホン又は出力(例えば片耳又は両耳用のヘッドホン)及び入力(例えばマイクロフォン)の両方を備えるヘッドセットなどの着脱可能なオーディオ入出力周辺機器との間のインタフェースを提供する。
【0045】
I/Oサブシステム106は、タッチ感知ディスプレイシステム112及びその他の入力又は制御デバイス116などのデバイス100上の入出力周辺機器を周辺機器インタフェース118と結合する。I/Oサブシステム106は、任意選択的に、ディスプレイコントローラ156、光センサコントローラ158、強度センサコントローラ159、触覚フィードバックコントローラ161、及び他の入力若しくは制御デバイスのための1つ以上の入力コントローラ160を含む。1つ以上の入力コントローラ160は他の入力又は制御デバイス116から電気信号を受信し、それらへ電気信号を送信する。その他の入力又は制御デバイス116は任意選択で、物理的ボタン(例えば、プッシュボタン、ロッカボタンなど)、ダイアル、スライダスイッチ、ジョイスティック、クリックホイールなどを含む。いくつかの代替的実施形態では、入力コントローラ(単数又は複数)160は任意選択で、キーボード、赤外線ポート、USBポート、スタイラス、及び/又はマウスなどのポインタデバイスのうちのいずれかと結合される(又は、いずれにも結合されない)。1つ以上のボタン(例えば、208、図2)は、任意選択で、スピーカ111及び/又はマイクロフォン113の音量制御のためのアップ/ダウンボタンを含む。1つ以上のボタンは、任意選択で、プッシュボタン(例えば、206、図2)を含む。
【0046】
タッチ感知ディスプレイシステム112は、デバイスとユーザの間の入力インタフェース及び出力インタフェースを提供する。ディスプレイコントローラ156は、タッチ感知ディスプレイシステム112から電気信号を受信し、及び/又はタッチ感知ディスプレイシステム112へ電気信号を送信する。タッチ感知ディスプレイシステム112は、ユーザに視覚出力を表示する。この視覚出力は、グラフィック、テキスト、アイコン、ビデオ、及びそれらの任意の組み合わせ(総称して「グラフィック」)を任意選択的に含む。いくつかの実施形態では、視覚出力の一部又は全ては、ユーザインタフェースオブジェクトに対応する。本明細書で使用されるように、用語「アフォーダンス」は、ユーザ対話形式のグラフィカルユーザインタフェースオブジェクト(例えば、グラフィカルユーザインタフェースオブジェクトに向かって方向付けられた入力に応答するように構成されているグラフィカルユーザインタフェースオブジェクト)を指す。ユーザ対話形式のグラフィカルユーザインタフェースオブジェクトの例は、ボタン、スライダ、アイコン、選択可能メニュー項目、スイッチ、ハイパーリンク、又はその他のユーザインタフェース制御を含むが、それらに限定されない。
【0047】
タッチ感知ディスプレイシステム112は、触覚及び/又は触知の接触に基づくユーザからの入力を受け付けるタッチ感知面、センサ、又はセンサのセットを有する。(メモリ102内の任意の関連するモジュール及び/又は命令セットと共に)タッチ感知ディスプレイシステム112及びディスプレイコントローラ156は、タッチ感知ディスプレイシステム112上の接触(及び、接触の任意の移動又は中断)を検出し、検出された接触をタッチ感知ディスプレイシステム112上で表示されるユーザインタフェースオブジェクト(例えば、1つ以上のソフトキー、アイコン、ウェブページ、又は画像)との相互作用に変換する。いくつかの実施形態では、タッチ感知ディスプレイシステム112とユーザとの間の接触点は、ユーザの指又はスタイラスに対応する。
【0048】
タッチ感知ディスプレイシステム112は任意選択で、LCD(liquid crystal display)(液晶ディスプレイ)技術、LPD(light emitting polymer display)(発光ポリマディスプレイ)技術、又はLED(light emitting diode)(発光ダイオード)技術を使用するが、他の実施形態では、他のディスプレイ技術が使用される。タッチ感知ディスプレイシステム112及びディスプレイコントローラ156は任意選択で、容量技術、抵抗性技術、赤外線技術、及び表面音響波技術、並びに、タッチ感知ディスプレイシステム112との1つ以上の接触点を判定するためのその他の近接センサアレイ又は他の要素を含むが、これらに限定されない、現在既知の又は後に開発される複数のタッチ感知技術のうちのいずれかを使用して、接触及びその任意の移動又は中断を検出する。いくつかの実施形態では、Cupertino、CaliforniaのApple Inc.からのiPhone(登録商標)、iPod Touch(登録商標)、及びiPad(登録商標)などにおいて見られるような、投影型相互キャパシタンス検知技術が使用される。
【0049】
タッチ感知ディスプレイシステム112は任意選択で、100dpiを超えるビデオ解像度を有する。いくつかの実施形態では、タッチスクリーンの映像解像度は、400dpiを超える(例えば、500dpi、800dpi、又はより高い)。ユーザは任意選択で、スタイラス、指などの任意の適切な物体又は付属物を使用して、タッチ感知ディスプレイシステム112と接触する。いくつかの実施形態では、ユーザインタフェースは、指に基づく接触及びジェスチャで機能するように設計されるが、これらは、タッチスクリーン上での指の接触面積がスタイラスの接触面積よりも大きいことに起因して、スタイラスに基づく入力よりも精度が低い場合がある。一部の実施形態では、デバイスは、指による粗い入力を、ユーザによって所望されているアクションを実行するための、正確なポインタ/カーソルの位置又はコマンドに変換する。
【0050】
いくつかの実施形態では、タッチスクリーンに加えて、デバイス100は、任意選択的に、特定の機能をアクティブ化又は非アクティブ化するためのタッチパッド(図示せず)を含む。一部の実施形態では、タッチパッドは、タッチスクリーンとは異なり、視覚出力を表示しない、デバイスのタッチ感知エリアである。タッチパッドは任意選択で、タッチ感知ディスプレイシステム112と分離したタッチ感知面、又はタッチスクリーンによって形成されたタッチ感知面の延長である。
【0051】
デバイス100は、様々な構成要素に電力を供給する電力システム162も含む。電力システム162は、任意選択的に、電力管理システム、1つ以上の電源(例えば、バッテリ、交流(AC))、再充電システム、停電検出回路、電力コンバータ又はインバータ、電力状態インジケータ(例えば、発光ダイオード(LED))、並びにポータブルデバイス内での電力の生成、管理、及び分配に関連付けられた任意の他の構成要素を含む。
【0052】
デバイス100は又、(例えば、1つ以上のカメラの一部として)1つ以上の光センサ164を任意選択的に含む。図1Aは、I/Oサブシステム106内の光センサコントローラ158と結合された光センサを示す。光センサ(単数又は複数)164は、任意選択で、電荷結合デバイス(CCD)又は相補的金属酸化物半導体(CMOS)フォトトランジスタを含む。光センサ(単数又は複数)164は、1つ以上のレンズを通じて投影された、環境からの光を受信し、画像を表すデータに光を変換する。撮像モジュール143(カメラモジュールとも呼ばれる)と連携して、光センサ(単数又は複数)164は任意選択で、静止画像及び/又はビデオをキャプチャする。いくつかの実施形態では、タッチスクリーンを静止画像及び/又はビデオ画像取得のためのビューファインダとして使用することができるように、光センサは、デバイスの前面上のタッチ感知ディスプレイシステム112の反対である、デバイス100の背面上に配置される。いくつかの実施形態では、ユーザの画像が取得されるように(例えば、自撮りのため、ユーザがタッチスクリーン上で他のテレビ会議参加者を見ている間のテレビ会議のためなど)、別の光センサがデバイスの前面に配置される。
【0053】
デバイス100は又、任意選択的に、1つ以上の接触強度センサ165を含む。図1Aは、I/Oサブシステム106内の強度センサコントローラ159と結合された接触強度センサを示す。接触強度センサ(単数又は複数)165は、1つ以上のピエゾ抵抗ひずみゲージ、電気容量式力センサ、電気力センサ、圧電力センサ、光学力センサ、容量式タッチ感知面、又は他の強度センサ(例えば、タッチ感知面上の接触の力(若しくは圧力)を測定するために使用されるセンサ)を任意選択で含む。接触強度センサ(単数又は複数)165は、環境から接触強度情報(例えば、圧力情報又は圧力情報のためのプロキシ)を受信する。いくつかの実施形態では、少なくとも1つの接触強度センサは、タッチ感知面(例えばタッチ感知ディスプレイシステム112)と並置される、又はそれに近接される。いくつかの実施形態では、少なくとも1つの接触強度センサは、デバイス100の前面上に位置するタッチスクリーンディスプレイシステム112の反対である、デバイス100の背面上に配置される。
【0054】
又、デバイス100は、任意選択的に、1つ以上の近接センサ166を含む。図1Aは、周辺機器インタフェース118と結合された近接センサ166を示す。代わりに、近接センサ166は、I/Oサブシステム106内の入力コントローラ160と結合される。いくつかの実施形態では、多機能デバイスがユーザの耳の近くに配置されるとき(例えば、ユーザが電話通話を行っているとき)、近接センサは、タッチ感知ディスプレイシステム112をターンオフ及び無効にする。
【0055】
デバイス100は又、任意選択的に、1つ以上の触知出力生成器163を含む。図1Aは、I/Oサブシステム106内の触覚フィードバックコントローラ161と結合され触知出力生成器を示す。いくつかの実施形態では、触知出力生成器(単数又は複数)163は、スピーカ若しくは他のオーディオ構成要素などの1つ以上の電気音響デバイス、及び/又はモータ、ソレノイド、電気活性ポリマー、圧電アクチュエータ、静電アクチュエータ、若しくは他の触知出力生成構成要素(例えば、デバイス上で電気信号を触知出力に変換する構成要素)などの、エネルギを線形の動きに変換する電気機械デバイスを含む。触知出力生成器(単数又は複数)163は、触覚フィードバックモジュール133から触知フィードバック生成命令を受信し、デバイス100のユーザが感知できる触知出力をデバイス100上に生成する。いくつかの実施形態では、少なくとも1つの触知出力生成器は、タッチ感知面(例えば、タッチ感知ディスプレイシステム112)と並置される、又はそれに近接しており、任意選択的に、タッチ感知面を垂直方向(例えば、デバイス100の表面の内/外)に、又は水平方向(例えば、デバイス100の表面と同じ平面内の前後)に移動させることによって、触知出力を生成する。いくつかの実施形態では、少なくとも1つの触知出力生成器センサは、デバイス100の前面上に位置するタッチ感知ディスプレイシステム112の反対である、デバイス100の背面上に配置される。
【0056】
デバイス100は又、デバイスの位置(例えば、姿勢)に関する情報を得るための、1つ以上の加速度計167、ジャイロスコープ168、及び/又は磁気計169(例えば、慣性測定ユニット(inertial measurement unit、IMU)の一部として)を、任意選択的に含む。図1Aは、周辺機器インタフェース118に結合された、センサ167、168、及び169を示す。あるいは、センサ167、168、及び169は、I/Oサブシステム106内の入力コントローラ160に、任意選択的に結合される。いくつかの実施形態では、情報は、1つ以上の加速度計から受信されたデータの分析に基づいて、縦長ビュー又は横長ビュー内でタッチスクリーンディスプレイ上に表示される。デバイス100は、デバイス100の場所に関する情報を得るためのGPS(若しくはGLONASS又は他の全地球的航法システム)受信機(図示せず)を任意選択的に含む。
【0057】
いくつかの実施形態では、メモリ102に記憶されたソフトウェア構成要素は、オペレーティングシステム126、通信モジュール(又は、命令セット)128、接触/動きモジュール(又は、命令セット)130、グラフィックモジュール(又は、命令セット)132、触覚フィードバックモジュール(又は、命令セット)133、テキスト入力モジュール(又は、命令セット)134、全地球測位システム(Global Positioning System)(GPS)モジュール(又は、命令セット)135、及びアプリケーション(又は、命令セット)136を含む。更に、いくつかの実施形態では、図1A及び図3に示されるように、メモリ102は、デバイス/グローバル内部状態157を記憶する。デバイス/グローバル内部状態157は、現在アクティブ状態のアプリケーションがある場合に、どのアプリケーションがアクティブであるかを示すアクティブアプリケーション状態、どのアプリケーション、ビュー、又は他の情報がタッチ感知ディスプレイシステム112の様々な領域を占有しているかを示す表示状態、デバイスの様々なセンサ及びその他の入力又は制御デバイス116から取得される情報を含むセンサ状態、並びにデバイスの位置及び/又は姿勢に関する位置及び/若しくは位置情報、のうちの1つ以上を含む。
【0058】
オペレーティングシステム126(例えば、iOS、Android、Darwin、RTXC、LINUX、UNIX(登録商標)、OS X、WINDOWS(登録商標)、又はVxWorksなどの組み込みオペレーティングシステム)は、全体的なシステムタスク(例えば、メモリ管理、記憶デバイス制御、電力管理など)を制御及び管理するための様々なソフトウェア構成要素及び/又はドライバを含み、様々なハードウェア構成要素とソフトウェア構成要素の間の通信を促進する。
【0059】
通信モジュール128は、1つ以上の外部ポート124を介して他のデバイスとの通信を容易にし、RF回路108及び/又は外部ポート124が受信したデータを処理するための様々なソフトウェア構成要素をも含む。外部ポート124(例えば、ユニバーサルシリアルバス(Universal Serial Bus、USB)、FIREWIRE(登録商標)など)は、直接的に、又はネットワーク(例えばインターネット、無線LANなど)を介して間接的に、他のデバイスに結合するように適合されている。いくつかの実施形態では、外部ポートは、Cupertino、CaliforniaのApple Inc.からのいくつかのiPhone(登録商標)、iPod Touch(登録商標)、及びiPad(登録商標)デバイス内で使用される30ピンコネクタと同一若しくは類似した、及び/又は互換性のあるマルチピン(例えば、30ピン)コネクタである。いくつかの実施形態では、外部ポートは、Cupertino、CaliforniaのApple Inc.からのいくつかのiPhone(登録商標)、iPod Touch(登録商標)、及びiPad(登録商標)デバイスにおいて使用されるLightningコネクタと同一若しくは類似した、及び/又は互換性のあるLightningコネクタである。いくつかの実施形態では、外部ポートは、Cupertino、CaliforniaのApple Inc.からのいくつかの電子デバイス内で使用されるUSB Type-Cコネクタと同一若しくは類似した、かつ/又は互換性のあるUSB Type-Cコネクタである。
【0060】
接触/動きモジュール130は任意選択で、タッチ感知ディスプレイシステム112との接触(ディスプレイコントローラ156と連携して)、及び他のタッチ感知デバイスとの接触(例えば、タッチパッド又は物理クリックホイール)を検出する。接触/動きモジュール130は、接触が発生したかを判定すること(例えば、指ダウンイベントを検出する)、接触の強度を判定すること(例えば、接触の力若しくは圧力、又は接触の力若しくは圧力に代替するもの)、接触の移動があるかを判定すること及びタッチ感知面を横切る移動を追跡すること(例えば、1つ以上の指のドラッグイベントを検出する)、及び接触が停止したかどうかを判定すること(例えば、指アップイベント又は接触の中断を検出する)などの、接触の検出(例えば、指又はスタイラスによる)に関連する様々な動作を実行するためのソフトウェア構成要素を含む。接触/動きモジュール130は、タッチ感知面から接触データを受信する。一連の接触データによって表される、接触点の移動を判定することは、任意選択的に、接触点の速さ(大きさ)、速度(大きさ及び方向)、及び/又は加速度(大きさ及び/又は方向の変化)を判定することを含む。これらの動作は、任意選択で、単一の接触(例えば、1本の指の接触又はスタイラスの接触)又は複数の同時接触(例えば、「マルチタッチ」/複数の指の接触)に適用される。いくつかの実施形態では、接触/動きモジュール130及びディスプレイコントローラ156は、タッチパッド上の接触を検出する。
【0061】
接触/動きモジュール130は、任意選択的に、ユーザによるジェスチャ入力を検出する。タッチ感知面上の異なるジェスチャは、異なる接触パターンを有する(例えば検出される接触の動き、タイミング、及び/又は強度が異なる)。従って、ジェスチャは、任意選択的に、特定の接触パターンを検出することによって検出される。例えば、指のタップジェスチャを検出することは、指ダウンイベントを検出し、続いて(例えば、アイコンの位置での)その指ダウンイベントと同一の位置(又は、実質的に同一の位置)での指アップ(リフトオフ)イベントを検出することを含む。別の実施例として、タッチ感知面上の指のスワイプジェスチャを検出することは、指ダウンイベントを検出し、続いて1つ以上の指のドラッグイベントを検出し、その後、指アップ(リフトオフ)イベントを検出することを含む。同様に、タップ、スワイプ、ドラッグ、及び他のジェスチャは、任意選択で、スタイラスに対して、スタイラスに対する特定の接触パターンを検出することにより、検出される。
【0062】
いくつかの実施形態では、指のタップジェスチャを検出することは、指ダウンイベントを検出することと指アップイベントを検出することとの間の時間の長さに依存するが、指ダウンイベントを検出することと指アップイベントを検出することとの間の指の接触の強度とは関連しない。いくつかの実施形態では、タップジェスチャは、タップの間の指の接触の強度が、軽い押圧又は深い押圧強度閾値などの所与の強度閾値を満たす(名目上の接触検出強度閾値よりも大きい)かに関わらず、指ダウンイベントと指アップイベントの間の時間の長さが予め定められた値よりも短い(例えば、0.1、0.2、0.3、0.4又は0.5秒よりも短い)との判定に従って検出される。従って、指のタップジェスチャは、特定の入力基準が満たされるために、接触の特性強度が所与の強度閾値を満たすことを必要としない特定の入力基準を満たすことができる。明確にするために、タップジェスチャにおける指の接触は一般的に、指ダウンイベントを検出するために、それを下回ると接触が検出されない名目上の接触検出強度閾値を満たす必要がある。同様の分析は、スタイラスによるタップジェスチャ又は他の接触を検出することに適用される。デバイスがタッチ感知面上をホバリングする指又はスタイラスの接触を検出することが可能なケースでは、名目上の接触検出強度閾値は任意選択で、指又はスタイラスとタッチ感知面の間の物理的接触に対応しない。
【0063】
同様の方式で、同一の概念が他のタイプのジェスチャに適用される。例えば、スワイプジェスチャ、ピンチジェスチャ、デピンチジェスチャ、及び/又は長い押圧ジェスチャは任意選択で、ジェスチャに含まれる接触の強度と関係しない、又は認識されるためにジェスチャを実行する接触が強度閾値に到達することを必要としないのいずれかである基準を満たすことに基づいて検出される。例えば、スワイプジェスチャは、1つ以上の接触の移動量に基づいて検出され、ピンチジェスチャは、相互に向かう2つ以上の接触の移動に基づいて検出され、デピンチジェスチャは、相互に離れる2つ以上の接触の移動に基づいて検出され、長い押圧ジェスチャは、閾値移動量よりも小さいタッチ感知面上の接触の期間に基づいて検出される。従って、特定のジェスチャ認識基準が満たされるために、接触(単数又は複数)の強度が対応する強度閾値を満たすことを特定のジェスチャ認識基準が必要としないという記述は、ジェスチャにおける接触(複数可)が対応する強度閾値に到達しない場合に特定のジェスチャ認識基準が満たされることが可能であること、及びジェスチャにおける接触のうちの1つ以上が対応する強度閾値に到達する、又は強度閾値を超える状況で満たされることも可能であることを意味する。いくつかの実施形態では、タップジェスチャは、接触が所定の時間期間の間にそれぞれの強度閾値を上回るか又は下回るかに関わらず、指ダウンイベント及び指アップイベントが所定の時間期間内で検出されたという判定に基づいて検出され、スワイプジェスチャは、接触が接触の移動の終わりにそれぞれの強度閾値を上回る場合でさえ、接触の移動が所定の大きさよりも大きいという判定に基づいて検出される。ジェスチャの検出がジェスチャを実行する接触の強度によって影響される実施態様でさえ(例えば、接触の強度が強度閾値を上回るときにデバイスが長い押圧をより素早く検出し、又は接触の強度がより高いときにデバイスがタップ入力の検出に遅れる)、接触が特定の強度閾値に到達しない状況でジェスチャを認識する基準を満たすことができる限り(例えば、ジェスチャを認識するために要する時間量が変化する場合でさえ)、それらのジェスチャの検出は、接触が特定の強度閾値に到達することを必要としない。
【0064】
接触強度閾値、期間閾値、及び移動閾値は、一部の状況では、同一の入力要素又は領域に方向付けられる2つ以上の異なるジェスチャを区別するためのヒューリスティックを作成するために、様々な異なる組み合わせで組み合わされ、それによって、同一の入力要素との複数の異なる相互作用がより豊かなセットのユーザ相互作用及び応答を提供するように有効化される。ジェスチャ認識基準の特定のセットが、その特定のジェスチャ認識基準が満たされるために接触(単数又は複数)の強度がそれぞれの強度閾値を満たすことを必要としないという記述は、ジェスチャがそれぞれの強度閾値を超える強度を有する接触を含むときに満たされる基準を有する他のジェスチャを識別するための他の強度に依存するジェスチャ認識基準をそれと同時に評価することを排除しない。例えば、いくつかの状況では、第1のジェスチャ認識基準が満たされるために、接触(単数又は複数)の強度が対応する強度閾値を満たすことを必要としない第1のジェスチャのための第1のジェスチャ認識基準は、対応する強度閾値に到達する接触(複数可)に依存する第2のジェスチャのための第2のジェスチャ認識基準との競争関係にある。そのような競争では、ジェスチャは任意選択で、第2のジェスチャのための第2のジェスチャ認識基準が最初に満たされる場合に、第1のジェスチャのための第1のジェスチャ認識基準を満たすものとして認識されない。例えば、接触が所定の移動量を移動する前に接触が対応する強度閾値に到達する場合、スワイプジェスチャではなく深い押圧ジェスチャが検出される。逆に、接触が対応する強度閾値に到達する前に接触が所定の移動量を移動する場合、深い押圧ジェスチャではなくスワイプジェスチャが検出される。そのような状況でさえ、第1のジェスチャのための第1のジェスチャ認識基準は、第1のジェスチャ認識基準が満たされるために、接触(単数又は複数)の強度が対応する強度閾値を満たすことをなおも必要としないが、これは、ジェスチャの終わりまで接触が対応する強度閾値を下回ったままであった場合(例えば、対応する強度閾値を上回る強度まで増加しない接触を有するスワイプジェスチャ)、ジェスチャは、スワイプジェスチャとして第1のジェスチャ認識基準によって認識されているからである。そのようにして、特定のジェスチャ認識基準が満たされるために、接触(単数又は複数)の強度が対応する強度閾値を満たすことを必要としない特定のジェスチャ認識基準は、(A)いくつかの状況では、強度閾値(例えば、タップジェスチャのための)に関して接触の強度を無視し、及び/又は(B)いくつかの状況では、特定のジェスチャ認識基準が入力に対応するジェスチャ(例えば、認識のための深い押圧ジェスチャと競争する長い押圧ジェスチャのための)を認識する前に、強度依存ジェスチャ認識基準の競争するセット(例えば、深い押圧ジェスチャのための)が強度依存ジェスチャに対応するものとして入力を認識する場合、特定のジェスチャ認識基準(例えば、長い押圧ジェスチャのための)が機能しないという意味で、強度閾値に関して接触の強度になおも依存している。
【0065】
加速度計167、ジャイロスコープ168、及び/又は磁気計169と連動して、姿勢モジュール131は、特定の座標系内のデバイスの姿勢(例えば、ロール、ピッチ、及び/又はヨー)などの、デバイスに関する姿勢情報を任意選択的に検出する。姿勢モジュール131は、デバイスの位置の検出及びデバイスの姿勢の変化の検出に関係する、様々な動作を実行するためのソフトウェア構成要素を含む。
【0066】
グラフィックモジュール132は、表示されるグラフィックの視覚的影響(例えば、輝度、透明度、彩度、コントラスト、又は他の視覚特性)を変更するための構成要素を含む、タッチ感知ディスプレイシステム112又は他のディスプレイ上でグラフィックをレンダリング及び表示するための様々な既知のソフトウェア構成要素を含む。本明細書で使用される場合、用語「グラフィック」は、テキスト、ウェブページ、アイコン(ソフトキーを含むユーザインタフェースオブジェクトなど)、デジタル画像、ビデオ、及びアニメーションなどを含むがこれらに限定されない、ユーザに対して表示することができるいずれかのオブジェクトを含む。
【0067】
いくつかの実施形態では、グラフィックモジュール132は、使用されることになるグラフィックを表すデータを記憶する。各グラフィックには、任意選択的に、対応するコードが割り当てられる。グラフィックモジュール132は、アプリケーションなどから、必要に応じて、座標データ及び他のグラフィック特性データと共に、表示されることとなるグラフィックを指定する1つ以上のコードを受信し、次にディスプレイコントローラ156に出力する画面の画像データを生成する。
【0068】
触覚フィードバックモジュール133は、デバイス100とのユーザ対話に応じて、触知出力生成器(単数又は複数)163を使用してデバイス100上の1つ以上の位置において触知出力を作成する命令(例えば、触覚フィードバックコントローラ161によって使用される命令)を生成する様々なソフトウェア構成要素を含む。
【0069】
テキスト入力モジュール134は、任意選択で、グラフィックモジュール132の構成要素であり、様々なアプリケーション(例えば、連絡先137、電子メール140、IM141、ブラウザ147、及びテキスト入力を必要とする任意の他のアプリケーション)でテキストを入力するためのソフトキーボードを提供する。
【0070】
GPSモジュール135は、デバイスの位置を判定し、この情報を、様々なアプリケーションで使用するために(例えば、位置に基づく電話発信で使用するために電話138へ、写真/ビデオのメタデータとしてカメラ143へ、並びに、気象ウィジェット、地域のイエローページウィジェット、及びマップ/ナビゲーションウィジェットなどの、位置に基づくサービスを提供するアプリケーションへ)提供する。
【0071】
通知モジュール145は、着信メッセージ又は電話通話、カレンダイベント招待又はリマインダ、アプリケーションイベント、システムイベントなどの検出されたイベントを処理するロジックを提供する。通知モジュールは、検出されたイベントに関連付けられた通知及び警告の表示を(例えば、ディスプレイ上、オーディオ出力を介して、又は別のタイプの出力を介して)容易にし、及び/又は制御する。例えば、通知モジュール145は、そのアプリケーションに関連付けられた通知を提示するためにアプリケーション136と、及び/又はシステム通知を提示するためにオペレーティングシステム126と、インタフェースし得る。
【0072】
アプリケーション136は、任意選択的に、以下のモジュール(又は命令セット)又はそれらのサブセット若しくはスーパーセットを含む。
●連絡先モジュール137(アドレス帳又は連絡先リストと呼ばれることもある)、
●電話モジュール138、
●テレビ会議モジュール139、
●電子メールクライアントモジュール140、
●インスタントメッセージング(IM)モジュール141、
●トレーニングサポートモジュール142、
●静止画像及び/又はビデオ画像用のカメラモジュール143、
●画像管理モジュール144、
●ブラウザモジュール147、
●カレンダモジュール148、
●気象ウィジェット149-1、株価ウィジェット149-2、計算機ウィジェット149-3、アラーム時計ウィジェット149-4、辞書ウィジェット149-5、及びユーザによって取得された他のウィジェット、並びにユーザ作成ウィジェット149-6のうちの1つ以上を任意選択的に含む、ウィジェットモジュール149、
●ユーザ作成ウィジェット149-6を作成するためのウィジェット作成モジュール150、
●検索モジュール151、
●任意選択的にビデオプレイヤーモジュール及び音楽プレイヤーモジュールから構成されている、ビデオ及び音楽プレイヤーモジュール152、
●メモモジュール153、
●地図モジュール154、及び/又は
●オンラインビデオモジュール155。
【0073】
任意選択的にメモリ102に記憶される他のアプリケーション136の例としては、他のワードプロセッシングアプリケーション、他の画像編集アプリケーション、描画アプリケーション、プレゼンテーションアプリケーション、JAVA(登録商標)対応アプリケーション、暗号化、デジタル著作権管理、音声認識、及び音声複製が挙げられる。
【0074】
タッチ感知ディスプレイシステム112、ディスプレイコントローラ156、接触モジュール130、グラフィックモジュール132、及びテキスト入力モジュール134と共に、連絡先モジュール137は、(例えば、メモリ102又はメモリ370内の連絡先モジュール137のアプリケーション内部状態192に記憶される)アドレス帳又は連絡先リストを管理するための実行可能命令を含み、それには、アドレス帳に名前(単数又は複数)を加えること、アドレス帳から名前(単数又は複数)を削除すること、電話番号(単数又は複数)、電子メールアドレス(単数又は複数)、実際の住所(単数又は複数)、又は他の情報を名前に関連付けること、画像を名前に関連付けること、名前を分類して並べ替えること、電話番号及び/又は電子メールアドレスを提供して、電話138、テレビ会議139、電子メール140、又はIM141による通信を開始及び/若しくは促進すること、などが含まれる。
【0075】
RF回路108、音声回路110、スピーカ111、マイクロフォン113、タッチ感知ディスプレイシステム112、ディスプレイコントローラ156、接触モジュール130、グラフィックモジュール132、及びテキスト入力モジュール134と連携して、電話モジュール138は、電話番号に対応する一連の文字を入力し、アドレス帳137内の1つ以上の電話番号にアクセスし、入力されている電話番号を変更し、それぞれの電話番号をダイアルし、会話を実行し、会話が完了したときに切断し又は電話を切る実行可能命令を含む。上述のように、無線通信は、任意選択で、複数の通信規格、プロトコル、及び技術のうちのいずれかを使用する。
【0076】
RF回路108、音声回路110、スピーカ111、マイクロフォン113、タッチ感知ディスプレイシステム112、ディスプレイコントローラ156、光センサ(単数又は複数)164、光センサコントローラ158、接触モジュール130、グラフィックモジュール132、テキスト入力モジュール134、連絡先リスト137、及び電話モジュール138と連携して、テレビ会議モジュール139は、ユーザの命令に従って、ユーザと1人以上の他の参加者の間のテレビ会議を開始し、行い、終了する実行可能命令を含む。
【0077】
RF回路108、タッチ感知ディスプレイシステム112、ディスプレイコントローラ156、接触モジュール130、グラフィックモジュール132、及びテキスト入力モジュール134と連携して、電子メールクライアントモジュール140は、ユーザの指示に応じて、電子メールを作成し、送信し、受信し、管理する実行可能命令を含む。画像管理モジュール144と連携して、電子メールクライアントモジュール140は、カメラモジュール143で撮影された静止画像又はビデオ画像を有する電子メールの作成及び送信を非常に容易にする。
【0078】
RF回路108、タッチ感知ディスプレイシステム112、ディスプレイコントローラ156、接触モジュール130、グラフィックモジュール132、及びテキスト入力モジュール134と連携して、インスタントメッセージモジュール141は、インスタントメッセージに対応する一連の文字を入力し、前に入力された文字を修正し、それぞれのインスタントメッセージを送信し(例えば、電話ベースのインスタントメッセージのためのショートメッセージサービス(SMS)若しくはマルチメディアメッセージサービス(Multimedia Message Service、MMS)プロトコルを使用して、又はインターネットベースのインスタントメッセージのためのXMPP、SIMPLE、Apple Push Notification Service(APNs)、若しくはIMPSを使用して)、インスタントメッセージを受信し、受信したインスタントメッセージを見る実行可能命令を含む。いくつかの実施形態では、送信及び/又は受信されたインスタントメッセージは任意選択で、MMS及び/又は拡張メッセージングサービス(Enhanced Messaging Service、EMS)でサポートされるような、グラフィック、写真、音声ファイル、ビデオファイル、及び/又は他の添付ファイルを含む。本明細書で使用される場合、「インスタントメッセージ」は、電話ベースのメッセージ(例えば、SMS又はMMSを使用して送信されたメッセージ)及びインターネットベースのメッセージ(例えば、XMPP、SIMPLE、APNs、又はIMPSを使用して送信されたメッセージ)の両方を指す。
【0079】
RF回路108、タッチ感知ディスプレイシステム112、ディスプレイコントローラ156、接触モジュール130、グラフィックモジュール132、テキスト入力モジュール134、GPSモジュール135、地図モジュール154、並びにビデオ及び音楽プレイヤーモジュール152と連携して、トレーニングサポートモジュール142は、トレーニングを作成し(例えば、時間、距離、及び/又はカロリー消費目標を有する)、(スポーツデバイス及びスマートウォッチ内の)トレーニングセンサと通信し、トレーニングセンサデータを受信し、トレーニングをモニタするために使用されるセンサを較正し、トレーニング用の音楽を選択して再生し、並びに、トレーニングデータを表示し、記憶し、及び送信する、実行可能命令を含む。
【0080】
タッチ感知ディスプレイシステム112、ディスプレイコントローラ156、光センサ(単数又は複数)164、光センサコントローラ158、接触モジュール130、グラフィックモジュール132、及び画像管理モジュール144と共に、カメラモジュール143は、静止画像又はビデオ(ビデオストリームを含む)をキャプチャしてメモリ102にそれらを記憶する、静止画像又はビデオの特性を変更する、及び/又はメモリ102から静止画像若しくはビデオを削除する、実行可能命令を含む。
【0081】
タッチ感知ディスプレイシステム112、ディスプレイコントローラ156、接触モジュール130、グラフィックモジュール132、テキスト入力モジュール134、及びカメラモジュール143と共に、画像管理モジュール144は、静止画像及び/又はビデオ画像を配置し、変更し(例えば、編集し)、又はその他の方式で操作し、ラベルを付け、削除し、提示し(例えば、デジタルスライドショー又はアルバム内で)、並びに記憶する、実行可能命令を含む。
【0082】
RF回路108、タッチ感知ディスプレイシステム112、ディスプレイシステムコントローラ156、接触モジュール130、グラフィックモジュール132、及びテキスト入力モジュール134と共に、ブラウザモジュール147は、ウェブページ又はそれらの一部、並びにウェブページにリンクされた添付ファイル及び他のファイルの、検索、リンク付け、受信、及び表示を含め、ユーザの命令に従って、インターネットをブラウズする、実行可能命令を含む。
【0083】
RF回路108、タッチ感知ディスプレイシステム112、ディスプレイシステムコントローラ156、接触モジュール130、グラフィックモジュール132、テキスト入力モジュール134、電子メールクライアントモジュール140、及びブラウザモジュール147と共に、カレンダモジュール148は、ユーザの命令に従って、カレンダ及びカレンダに関連付けられたデータ(例えば、カレンダ項目、するべきことのリストなど)を作成、表示、変更、及び記憶する、実行可能命令を含む。
【0084】
RF回路108、タッチ感知ディスプレイシステム112、ディスプレイシステムコントローラ156、接触モジュール130、グラフィックモジュール132、テキスト入力モジュール134、及びブラウザモジュール147と共に、ウィジェットモジュール149は、任意選択で、ユーザによってダウンロードされ使用されるミニアプリケーション(例えば、気象ウィジェット149-1、株価ウィジェット149-2、計算機ウィジェット149-3、アラーム時計ウィジェット149-4、及び辞書ウィジェット149-5)、又はユーザによって作成されるミニアプリケーション(例えば、ユーザ作成ウィジェット149-6)である。いくつかの実施形態では、ウィジェットは、HTML(Hypertext Markup Language、ハイパーテキストマークアップ言語)ファイル、CSS(Cascading Style Sheets、カスケーディングスタイルシート)ファイル、及びJavaScriptファイルを含む。いくつかの実施形態では、ウィジェットは、XML(Extensible Markup Language、拡張可能マークアップ言語)ファイル及びJavaScriptファイル(例えば、Yahoo!ウィジェット)を含む。
【0085】
RF回路108、タッチ感知ディスプレイシステム112、ディスプレイシステムコントローラ156、接触モジュール130、グラフィックモジュール132、テキスト入力モジュール134、及びブラウザモジュール147と連携して、ウィジェット作成モジュール150は、ウィジェットを作成する(例えば、ウェブページのユーザ指定部分をウィジェットに変える)実行可能命令を含む。
【0086】
タッチ感知ディスプレイシステム112、ディスプレイシステムコントローラ156、接触モジュール130、グラフィックモジュール132、及びテキスト入力モジュール134と連携して、検索モジュール151は、ユーザの命令に従って、1つ以上の検索基準(例えば、1つ以上のユーザ指定の検索語句)と一致する、メモリ102内のテキスト、音楽、サウンド、画像、ビデオ、及び/又は他のファイルを検索する実行可能命令を含む。
【0087】
タッチ感知ディスプレイシステム112、ディスプレイシステムコントローラ156、接触モジュール130、グラフィックモジュール132、音声回路110、スピーカ111、RF回路108、及びブラウザモジュール147と連携して、ビデオ及び音楽プレイヤーモジュール152は、MP3又はAACファイルなどの1つ以上のファイル形式で記憶された記録された音楽又は他のサウンドファイルをユーザがダウンロード及び再生することを可能にする実行可能命令、並びにビデオを表示し、提示し、又はその他の方式で再生する(例えば、タッチ感知ディスプレイシステム112上で、又は無線で若しくは外部ポート124を介して接続された外部のディスプレイ上で)実行可能命令を含む。いくつかの実施形態では、デバイス100は、任意選択的に、iPod(Apple Inc.の商標)などのMP3プレイヤーの機能を含む。
【0088】
タッチ感知ディスプレイシステム112、ディスプレイコントローラ156、接触モジュール130、グラフィックモジュール132、及びテキスト入力モジュール134と連携して、メモモジュール153は、ユーザの命令に従って、メモ、するべきことのリストなどを作成及び管理する実行可能命令を含む。
【0089】
RF回路108、タッチ感知ディスプレイシステム112、ディスプレイシステムコントローラ156、接触モジュール130、グラフィックモジュール132、テキスト入力モジュール134、GPSモジュール135、及びブラウザモジュール147と連携して、地図モジュール154は、ユーザの命令に従って、地図及び地図と関連付けられたデータ(例えば、運転方向、特定の位置における又はその近くの店舗及び対象となる他の地点についてのデータ、並びに位置に基づく他のデータ)を受信し、表示し、変更し、及び記憶するために使用され得る。
【0090】
タッチ感知ディスプレイシステム112、ディスプレイシステムコントローラ156、接触モジュール130、グラフィックモジュール132、音声回路110、スピーカ111、RF回路108、テキスト入力モジュール134、電子メールクライアントモジュール140、及びブラウザモジュール147と連携して、オンラインビデオモジュール155は、ユーザがH.264などの1つ以上のファイル形式のオンラインビデオにアクセスし、閲覧し、受信し(例えば、ストリーミング及び/又はダウンロードにより)、再生し(例えば、タッチスクリーン112上で、又は無線で若しくは外部ポート124を介して接続された外部のディスプレイ上で)、特定のオンラインビデオへのリンクを有する電子メールを送信し、別の方法で管理することを可能にする実行可能命令を含む。いくつかの実施形態では、特定のオンラインビデオへのリンクを送信するために、電子メールクライアントモジュール140ではなく、インスタントメッセージングモジュール141が使用される。
【0091】
上記特定されたモジュール及びアプリケーションの各々は、上記説明された1つ以上の機能、並びに本出願で説明される方法(例えば、コンピュータにより実行される方法、及び本明細書で説明される他の情報処理方法)を実行する実行可能な命令セットに対応する。それらのモジュール(すなわち、命令セット)は、別々のソフトウェアプログラム、手順、又はモジュールとして実装される必要はなく、よって、それらのモジュールの様々なサブセットは、任意選択で、様々な実施形態において、組み合わされ、又はその他の方式で再配置される。いくつかの実施形態では、メモリ102は、任意選択で、上記で特定されたモジュール及びデータ構造のサブセットを記憶する。更に、メモリ102は、上記で説明されていない追加のモジュール及びデータ構造を任意選択的に記憶する。
【0092】
いくつかの実施形態では、デバイス100は、そのデバイスにおける既定の機能のセットの動作がタッチスクリーン及び/又はタッチパッドのみを介して実行されるデバイスである。デバイス100が動作するための主要な入力コントロールデバイスとしてタッチスクリーン及び/又はタッチパッドを使用することにより、任意選択的に、デバイス100上の物理的な入力コントロールデバイス(プッシュボタン、ダイアルなど)の数が削減される。
【0093】
タッチスクリーン及び/又はタッチパッドを通じてのみ実行される既定の機能のセットは、任意選択的に、ユーザインタフェース間のナビゲーションを含む。いくつかの実施形態では、タッチパッドは、ユーザによってタッチされたときに、デバイス100上に表示される任意のユーザインタフェースから、メインメニュー、ホームメニュー、又はルートメニューにデバイス100をナビゲートする。そのような実施形態では、「メニューボタン」は、タッチ感知面を使用して実装される。いくつかの他の実施形態では、メニューボタンは、タッチ感知面の代わりに、物理プッシュボタン又はその他の物理入力コントロールデバイスである。
【0094】
図1Bは、いくつかの実施形態に係る、イベント処理のための例示的な構成要素を示すブロック図である。いくつかの実施形態では、メモリ102(図1Aにおける)又は370(図3A)は、イベントソート部170(例えば、オペレーティングシステム126内)及びそれぞれのアプリケーション136-1(例えば、上述したアプリケーション136、137~155、380~390のいずれか)を含む。
【0095】
イベントソータ170は、イベント情報を受信し、イベント情報を配信するアプリケーション136-1、及びアプリケーション136-1のアプリケーションビュー191を判定する。イベントソータ170は、イベントモニタ171及びイベントディスパッチャモジュール174を含む。いくつかの実施形態では、アプリケーション136-1は、アプリケーションがアクティブ又は実行中のとき、タッチ感知ディスプレイシステム112上で表示される現在のアプリケーションビュー(単数又は複数)を示す、アプリケーション内部状態192を含む。いくつかの実施形態では、デバイス/グローバル内部状態157は、どのアプリケーション(単数又は複数)が現在アクティブであるかを判定するためにイベントソータ170によって使用され、アプリケーション内部状態192は、イベント情報が配信されるアプリケーションビュー191を判定するためにイベントソータ170によって使用される。
【0096】
いくつかの実施形態では、アプリケーション内部状態192は、アプリケーション136-1が実行を再開するときに使用すべき再開情報、アプリケーション136-1によって表示されている情報を示す又は表示する準備ができたユーザインタフェース状態情報、ユーザがアプリケーション136-1の前の状態又はビューに戻ることを可能にする状態キュー、及びユーザによって行われた前のアクションのリドゥ/アンドゥキューのうちの1つ以上などの追加の情報を含む。
【0097】
イベントモニタ171は、周辺機器インタフェース118からイベント情報を受信する。イベント情報は、サブイベント(例えば、マルチタッチジェスチャの一部としての、タッチ感知ディスプレイシステム112上のユーザのタッチ)についての情報を含む。周辺機器インタフェース118は、I/Oサブシステム106、又は近接センサ166、加速度計(単数又は複数)167、及び/若しくは(オーディオ回路110を介した)マイクロフォン113などのセンサから受信する情報を送信する。周辺機器インタフェース118がI/Oサブシステム106から受信する情報は、タッチ感知ディスプレイシステム112又はタッチ感知面からの情報を含む。
【0098】
いくつかの実施形態では、イベントモニタ171は、所定の間隔で周辺機器インタフェース118に要求を送信する。それに応じて、周辺機器インタフェース118は、イベント情報を送信する。他の実施形態では、周辺機器インタフェース118は、重要なイベント(例えば、予め定められたノイズ閾値を上回り、及び/又は予め定められた期間よりも長い入力を受信すること)が存在するときのみ、イベント情報を送信する。
【0099】
いくつかの実施形態では、イベントソータ170は又、ヒットビュー判定モジュール172及び/又はアクティブイベント認識部判定モジュール173を含む。
【0100】
ヒットビュー判定モジュール172は、タッチ感知ディスプレイシステム112が2つ以上のビューを表示するとき、1つ以上のビュー内のどこにおいてサブイベントが発生したかを判定するためのソフトウェア手順を提供する。ビューは、ユーザがディスプレイ上で見ることができる制御装置及び他の要素から構成されている。
【0101】
アプリケーションに関連付けられたユーザインタフェースの別の態様は、本明細書ではアプリケーションビュー又はユーザインタフェースウィンドウと呼ばれることもあるビューのセットであり、その中で情報が表示され、タッチに基づくジェスチャが生じる。タッチが検出される(それぞれのアプリケーションの)アプリケーションビューは、任意選択的に、アプリケーションのプログラム階層又はビュー階層内のプログラムレベルに対応する。例えば、タッチが検出される最下位レベルビューは、任意選択的に、ヒットビューと呼ばれ、又、適切な入力として認識されるイベントのセットは、任意選択的に、タッチによるジェスチャを開始する初期タッチのヒットビューに少なくとも部分的に基づいて決定される。
【0102】
ヒットビュー判定モジュール172は、タッチに基づくジェスチャのサブイベントに関連する情報を受信する。アプリケーションが階層状に構成された複数のビューを有するとき、ヒットビュー判定モジュール172は、サブイベントを処理すべき階層内の最下位のビューとして、ヒットビューを特定する。ほとんどの状況では、ヒットビューは、開始するサブイベント(すなわち、イベント又は潜在的なイベントを形成する一連のサブイベントにおける最初のサブイベント)が発生する最下位レベルのビューである。ヒットビューがヒットビュー判定モジュールによって特定されると、ヒットビューは典型的には、それがヒットビューとして特定された同一のタッチ又は入力元に関連する全てのサブイベントを受信する。
【0103】
アクティブイベント認識部判定モジュール173は、ビュー階層内のどのビュー(単数又は複数)がサブイベントの特定のシーケンスを受信すべきかを判定する。いくつかの実施形態では、アクティブイベント認識部判定モジュール173は、ヒットビューのみがサブイベントの特定のシーケンスを受信すべきであると判定する。他の実施形態では、アクティブイベント認識部判定モジュール173は、サブイベントの物理位置を含む全てのビューがアクティブに関わりがあるビューであると判定し、従って、全てのアクティブに関わりがあるビューが、サブイベントの特定のシーケンスを受信すべきであると判定する。他の実施形態では、タッチサブイベントが1つの特定のビューに関連付けられたエリアに完全に限定された場合でも、階層内の上位のビューは、依然としてアクティブに関わりがあるビューであり続ける。
【0104】
イベントディスパッチャモジュール174は、イベント情報をイベント認識部(例えばイベント認識部180)にディスパッチする。アクティブイベント認識部判定モジュール173を含む実施形態では、イベントディスパッチャモジュール174は、アクティブイベント認識部判定モジュール173により判定されたイベント認識部にイベント情報を配信する。いくつかの実施形態では、イベントディスパッチャモジュール174は、それぞれのイベント受信部モジュール182によって取得されたイベント情報をイベント待ち行列に記憶する。
【0105】
いくつかの実施形態では、オペレーティングシステム126は、イベントソータ170を含む。あるいは、アプリケーション136-1がイベントソータ170を含む。更に他の実施形態では、イベントソータ170は、独立型のモジュールであり、又は接触/動きモジュール130などのメモリ102内に記憶されている別のモジュールの一部分である。
【0106】
いくつかの実施形態では、アプリケーション136-1は、それぞれがアプリケーションのユーザインタフェースのそれぞれのビュー内で発生するタッチイベントを処理するための命令を含む、複数のイベント処理部190及び1つ以上のアプリケーションビュー191を含む。アプリケーション136-1の各アプリケーションビュー191は、1つ以上のイベント認識部180を含む。典型的には、それぞれのアプリケーションビュー191は、複数のイベント認識部180を含む。他の実施形態では、イベント認識部180のうちの1つ以上は、ユーザインタフェースキット(図示せず)又はアプリケーション136-1が方法及び他の特性を継承する上位レベルのオブジェクトなどの、別個のモジュールの一部である。いくつかの実施形態では、それぞれのイベント処理部190は、データ更新部176、オブジェクト更新部177、GUI更新部178、及び/又はイベントソータ170から受信されたイベントデータ179、のうちの1つ以上を含む。イベント処理部190は任意選択で、アプリケーション内部状態192を更新するために、データ更新部176、オブジェクト更新部177、又はGUI更新部178を利用し、又は呼び出す。代わりに、アプリケーションビュー191のうちの1つ以上は、1つ以上のそれぞれのイベント処理部190を含む。又、いくつかの実施形態では、データ更新部176、オブジェクト更新部177、及びGUI更新部178のうちの1つ以上は、それぞれのアプリケーションビュー191に含まれる。
【0107】
それぞれのイベント認識部180は、イベントソート170からイベント情報(例えば、イベントデータ179)を受信し、イベント情報からイベントを特定する。イベント認識部180は、イベント受信部182及びイベント比較部184を含む。いくつかの実施形態では、イベント認識部180は又、メタデータ183及びイベント配信命令188(任意選択的にサブイベント配信命令を含む)の少なくともサブセットも含む。
【0108】
イベント受信部182は、イベントソータ170からイベント情報を受信する。イベント情報は、サブイベント、例えば、タッチ又はタッチの移動についての情報を含む。サブイベントに応じて、イベント情報は又、サブイベントの位置などの追加の情報を含む。サブイベントがタッチの動きに関わるとき、イベント情報はまた任意選択的に、サブイベントの速さ及び方向を含む。一部の実施形態では、イベントは、1つの向きから別の向きへの(例えば、縦向きから横向きへ、又はその逆の)デバイスの回転を含み、イベント情報は、デバイスの現在の向き(デバイスの姿勢とも呼ぶ)についての対応する情報を含む。
【0109】
イベント比較部184は、イベント情報を、定義済みのイベント又はサブイベントの定義と比較し、その比較に基づいて、イベント又はサブイベントを判定するか、あるいはイベント又はサブイベントの状態を判定若しくは更新する。いくつかの実施形態では、イベント比較部184は、イベント定義186を含む。イベント定義186は、例えばイベント1(187-1)及びイベント2(187-2)などのイベント(例えば、既定のサブイベントのシーケンス)の定義を含む。いくつかの実施形態では、イベント187におけるサブイベントは、例えば、タッチの始め、タッチの終わり、タッチの移動、タッチの中止、及び複数のタッチを含む。一実施例では、イベント1(187-1)についての定義は、表示されたオブジェクト上のダブルタップである。ダブルタップは、例えば、表示されたオブジェクト上の予め定められた段階についての第1のタッチ(タッチの始め)、予め定められた段階についての第1のリフトオフ(タッチの終わり)、表示されたオブジェクト上の予め定められた段階についての第2のタッチ(タッチの始め)、及び予め定められた段階についての第2のリフトオフ(タッチの終わり)を含む。別の実施例では、イベント2(187-2)の定義は、表示されたオブジェクト上のドラッグである。ドラッグは、例えば、表示されたオブジェクト上の予め定められた段階についてのタッチ(又は、接触)、タッチ感知ディスプレイシステム112を横切るタッチの移動、及びタッチのリフトオフ(タッチの終わり)を含む。いくつかの実施形態では、イベントは、1つ以上の関連付けられたイベント処理部190に関する情報も含む。
【0110】
いくつかの実施形態では、イベント定義187は、それぞれのユーザインタフェースオブジェクトについてのイベントの定義を含む。いくつかの実施形態では、イベント比較部184は、どのユーザインタフェースオブジェクトがサブイベントに関連付けられているかを判定するヒットテストを実行する。例えば、3つのユーザインタフェースオブジェクトがタッチ感知ディスプレイシステム112上で表示されるアプリケーションビューにおいて、タッチ感知ディスプレイシステム112上でタッチが検出されたとき、イベント比較部184は、3つのユーザインタフェースオブジェクトのうちのどれがタッチ(サブイベント)と関連付けられているかを判定するためにヒットテストを実行する。表示された各オブジェクトが、それぞれのイベント処理部190に関連付けられている場合、イベント比較部は、ヒットテストの結果を用いて、どのイベント処理部190をアクティブ化すべきかを判定する。例えば、イベント比較部184は、ヒットテストをトリガするサブイベント及びオブジェクトに関連付けられたイベント処理部を選択する。
【0111】
いくつかの実施形態では、それぞれのイベント187の定義は、一連のサブイベントがイベント認識部のイベントタイプに対応するかどうかが判定されるまで、イベント情報の配信を遅らせる遅延アクションも含む。
【0112】
それぞれのイベント認識部180が一連のサブイベントがイベント定義186のイベントのいずれとも一致しないと判断した場合、それぞれのイベント認識部180は、イベント不可能、イベント失敗、又はイベント終了の状態に入り、その後は、タッチに基づくジェスチャの次のサブイベントを無視する。この状況では、ヒットビューについてアクティブのままである他のイベント認識部があれば、そのイベント認識部は、進行中のタッチによるジェスチャのサブイベントの追跡及び処理を続行する。
【0113】
いくつかの実施形態では、それぞれのイベント認識部180は、イベント配信システムがどのようにサブイベント配信を実行すべきかをアクティブに関与しているイベント認識部に示す構成可能なプロパティ、フラグ、及び/又はリストを有するメタデータ183を含む。いくつかの実施形態では、メタデータ183は、イベント認識部が互いにどのように対話するか、又はイベント認識部が互いにどのように対話することが可能となるかを示す構成可能なプロパティ、フラグ、及び/又はリストを含む。いくつかの実施形態では、メタデータ183は、サブイベントがビュー階層又はプログラム階層における多様なレベルに配信されるかを示す構成可能なプロパティ、フラグ、及び/又はリストを含む。
【0114】
いくつかの実施形態では、それぞれのイベント認識部180は、イベントの1つ以上の特定のサブイベントが認識されるときに、イベントに関連付けられたイベント処理部190をアクティブ化する。いくつかの実施形態では、それぞれのイベント認識部180は、イベントに関連付けられたイベント情報をイベント処理部190に配信する。イベント処理部190をアクティブ化することは、それぞれのヒットビューにサブイベントを送信する(及び、送信を延期する)こととは別個である。いくつかの実施形態では、イベント認識部180は、認識したイベントに関連付けられたフラグを投入し、そのフラグに関連付けられたイベント処理部190は、そのフラグを捕らえ、既定のプロセスを実行する。
【0115】
いくつかの実施形態では、イベント配信命令188は、イベント処理部をアクティブ化することなくサブイベントについてのイベント情報を配信するサブイベント配信命令を含む。代わりに、サブイベント配信命令は、一連のサブイベントと関連付けられたイベント処理部に、又はアクティブに関与しているビューにイベント情報を配信する。一連のサブイベント又はアクティブに関与しているビューと関連付けられたイベント処理部は、イベント情報を受信し、所定の処理を実行する。
【0116】
いくつかの実施形態では、データ更新部176は、アプリケーション136-1で使用されるデータを作成及び更新する。例えば、データ更新部176は、連絡先モジュール137で使用される電話番号を更新するか、又はビデオ及び音楽プレイヤーモジュール152で使用されるビデオファイルを記憶する。いくつかの実施形態では、オブジェクト更新部177は、アプリケーション136-1で使用されるオブジェクトを作成及び更新する。例えば、オブジェクト更新部177は、新たなユーザインタフェースオブジェクトを作成し、又はユーザインタフェースオブジェクトの位置を更新する。GUI更新部178は、GUIを更新する。例えば、GUI更新部178は、表示情報を準備し、タッチ感知ディスプレイ上に表示するために表示情報をグラフィックモジュール132に送る。
【0117】
いくつかの実施形態では、イベント処理部(単数又は複数)190は、データ更新部176、オブジェクト更新部177、及びGUI更新部178を含む又はそれらへのアクセスを有する。いくつかの実施形態では、データ更新部176、オブジェクト更新部177、及びGUI更新部178は、それぞれのアプリケーション136-1又はアプリケーションビュー191の単一モジュールに含まれる。他の実施形態では、それらは、2つ以上のソフトウェアモジュールに含まれる。
【0118】
タッチ感知ディスプレイ上のユーザのタッチのイベント処理に関する前述の記載は、入力デバイスを用いて多機能デバイス100を動作させるための他の形態のユーザ入力にも適用されるが、その全てがタッチスクリーン上で開始されるわけではないことを理解されたい。例えば、キーボードの単一又は複数の押圧若しくは保持と任意選択的に連携される、マウスの移動及びマウスボタンの押圧、タッチパッド上のタップ、ドラッグ、スクロールなどの接触の移動、ペンスタイラス入力、1つ以上のカメラによって取得されたビデオ画像のリアルタイム解析に基づく入力、デバイスの移動、口頭による命令、検出された眼球運動、バイオメトリック入力、並びに/又はそれらの任意の組み合わせを、任意選択的に、認識するイベントを定義するサブイベントに対応する入力として利用する。
【0119】
図2は、いくつかの実施形態に係る、タッチスクリーン(例えば、タッチ感知ディスプレイシステム112、図1A)を有するポータブル多機能デバイス100を示す。タッチスクリーンは、任意選択的に、ユーザインタフェース(user interface、UI)200内に1つ以上のグラフィックを表示する。これらの実施形態、並びに後述する実施形態では、ユーザは、例えば、1本以上の指202(図には、正確な縮尺率では描かれていない)又は1つ以上のスタイラス203(図には、正確な縮尺率では描かれていない)を用いて、グラフィック上でジェスチャを行うことにより、グラフィックのうちの1つ以上を選択することが可能になる。一部の実施形態では、1つ以上のグラフィックの選択は、ユーザが、その1つ以上のグラフィックとの接触を中断する場合に実施される。いくつかの実施形態では、ジェスチャは、1回以上のタップ、1回以上のスワイプ(左から右へ、右から左へ、上向きに及び/若しくは下向きに)、並びに/又は、デバイス100と接触した指のローリング(右から左へ、左から右へ、上向きに及び/若しくは下向きに)を、任意選択で含む。一部の実装形態又は状況では、グラフィックとの不測の接触は、そのグラフィックを選択するものではない。例えば、選択に対応するジェスチャがタップである場合、アプリケーションアイコンの上をスイープするスワイプジェスチャは、任意選択的に、対応するアプリケーションを選択するものではない。
【0120】
デバイス100は、任意選択で、「ホーム」又はメニューボタン204などの1つ以上の物理的ボタンも含む。前述のように、メニューボタン204は、任意選択で、デバイス100上で任意選択的に実行される、アプリケーションのセットにおける任意のアプリケーション136にナビゲートするために使用される。あるいは、いくつかの実施形態では、メニューボタンは、タッチスクリーンディスプレイ上で表示されるGUI内のソフトキーとして実装される。
【0121】
いくつかの実施形態では、デバイス100は、タッチスクリーンディスプレイ、メニューボタン204(ホームボタン204と呼ばれる場合がある)、デバイスへの電源供給のオン/オフ及びデバイスのロックのためのプッシュボタン206、音量調節ボタン(単数又は複数)208、加入者識別モジュール(SIM)カードスロット210、ヘッドセットジャック212、ドッキング/充電用外部ポート124を含む。プッシュボタン206は、任意選択的に、ボタンを押し下げて、既定の期間にわたってボタンを押し下げた状態に保持することによって、デバイスの電源をオン/オフするため、ボタンを押し下げて、既定の時間が経過する前にボタンを解放することによってデバイスをロックするため、及び/又はデバイスをロック解除する、若しくはロック解除プロセスを開始するために、使用される。いくつかの実施形態では、デバイス100は、マイクロフォン113を通して、一部の機能をアクティブ化又は非アクティブ化するための口頭入力をも受け入れる。デバイス100はまた任意選択で、タッチ感知ディスプレイシステム112上の接触の強度を検出する1つ以上の接触強度センサ165、及び/又はデバイス100のユーザに対する触知出力を生成する1つ以上の触知出力生成器163を含む。
【0122】
図3Aは、いくつかの実施形態に係る、ディスプレイ及びタッチ感知面を有する例示的な多機能デバイスのブロック図である。デバイス300は、ポータブル型である必要はない。いくつかの実施形態では、デバイス300は、ゲームシステム、ラップトップコンピュータ、デスクトップコンピュータ、タブレットコンピュータ、マルチメディア再生デバイス、ナビゲーションデバイス、教育的デバイス(子供の学習玩具など)、ゲームシステム、又は制御デバイス(例えば、家庭用又は業務用コントローラ)である。デバイス300は、典型的には、1つ以上の処理ユニット(CPU)310と、1つ以上のネットワーク又は他の通信インタフェース360と、メモリ370と、及びこれらの構成要素を相互接続するための1つ以上の通信バス320とを含む。通信バス320は、任意選択的に、システム構成要素間の通信を相互接続及び制御する回路(チップセットと呼ばれることもある)を含む。デバイス300は、任意選択的にタッチスクリーンディスプレイであるディスプレイ340を含む、入出力(input/output、I/O)インタフェース330を含む。I/Oインタフェース330は、任意選択で、キーボード及び/又はマウス(又は、他のポインティングデバイス)350、並びにタッチパッド355、(例えば、図1Aを参照して上記説明された触知出力生成器(単数又は複数)163と同様の)デバイス300上で触知出力を生成するための触知出力生成器357、センサ359(例えば、光センサ、加速度センサ、近接センサ、タッチ感知センサ、及び/又は図1Aを参照して上記説明された接触強度センサ(単数又は複数)165と同様の接触強度センサ)をも含む。メモリ370は、DRAM、SRAM、DDR RAM、又は他のランダムアクセスソリッドステートメモリデバイスなどの高速ランダムアクセスメモリを含み、任意選択で、1つ以上の磁気ディスク記憶デバイス、光ディスク記憶デバイス、フラッシュメモリデバイス、又は他の不揮発性ソリッドステート記憶デバイスなどの不揮発性メモリを含む。メモリ370は、任意選択で、CPU(単数又は複数)310からリモートに位置する1つ以上の記憶デバイスを含む。いくつかの実施形態では、メモリ370は、ポータブル多機能デバイス100(図1A)のメモリ102に記憶されたプログラム、モジュール、及びデータ構造に類似するプログラム、モジュール、及びデータ構造、又はそれらのサブセットを記憶する。更に、メモリ370は、任意選択で、ポータブル多機能デバイス100のメモリ102に存在しない追加のプログラム、モジュール、及びデータ構造を記憶する。例えば、デバイス300のメモリ370は任意選択で、描画モジュール380、プレゼンテーションモジュール382、ワードプロセッシングモジュール384、ウェブサイト作成モジュール386、ディスクオーサリングモジュール388、及び/又はスプレッドシートモジュール390を記憶するが、ポータブル多機能デバイス100(図1A)のメモリ102は、任意選択で、それらのモジュールを記憶しない。
【0123】
上記特定された図3Aにおける要素の各々は、任意選択で、前に言及したメモリデバイスのうちの1つ以上に記憶される。上記で特定されたモジュールの各々は、上記で説明された機能を実行する命令セットに対応する。上記で特定されたモジュール又はプログラム(すなわち、命令セット)は、別個のソフトウェアプログラム、手順、又はモジュールとして実装される必要はなく、従って、それらのモジュールの様々なサブセットは、任意選択で、様々な実施形態において組み合わされるか、又はその他の方式で再配置される。いくつかの実施形態では、メモリ370は、任意選択で、上記で特定されたモジュール及びデータ構造のサブセットを記憶する。更に、メモリ370は、上記で説明されていない追加のモジュール及びデータ構造を任意選択的に記憶する。
【0124】
図3Bは、いくつかの実施形態に係る、例示的なウェアラブルオーディオ出力デバイス301のブロック図である。いくつかの実施形態では、ウェアラブルオーディオ出力デバイス301は、単一のイヤホンである。いくつかの実施形態では、ウェアラブルオーディオ出力デバイス301は、1対以上のイヤホン(例えば、ユーザの耳の各々に対して1つ)を含む。いくつかの実施形態では、ウェアラブルオーディオ出力デバイス301は、1つ以上のインイヤー型イヤホン(単数又は複数)、オーバーイヤー型ヘッドホン(単数又は複数)などである。いくつかの実施形態では、ウェアラブルオーディオ出力デバイス301は、(例えば、ユーザの耳に)オーディオ出力を提供するための1つ以上のスピーカ306を含む。いくつかの実施形態では、ウェアラブルオーディオ出力デバイス301は、ユーザの耳内のウェアラブルオーディオ出力デバイス301の配置を検出するためなど、ユーザの耳に対するウェアラブルオーディオ出力デバイス301の位置決め又は配置を検出するための1つ以上の配置センサ304を含む。いくつかの実施形態では、ウェアラブルオーディオ出力デバイス301は、ウェアラブルオーディオ出力デバイス301がユーザの耳内にある、又はその近くにあるかに基づいて、オーディオを条件付きで出力する(例えば、ウェアラブルオーディオ出力デバイス301は、電力使用を低減するように、ユーザの耳内にない場合にオーディオを出力することを取り止める)。いくつかの実施形態では、オーディオI/Oロジック312は、配置センサ(単数又は複数)304から受信した情報に基づいて、ユーザの耳に対するウェアラブルオーディオ出力デバイス301の位置決め又は配置を判定し、いくつかの実施形態では、オーディオI/Oロジック312は、結果として生じるオーディオの条件付き出力を制御する。
【0125】
いくつかの実施形態では、ウェアラブルオーディオ出力デバイス301は、オーディオ入力を受け取るための1つ以上のマイクロフォン302を含む。いくつかの実施形態では、マイクロフォン(単数又は複数)302は、ウェアラブルオーディオ出力デバイス301を装着しているユーザからの発話、及び/又はウェアラブルオーディオ出力デバイス301の周囲の周囲ノイズを検出する。いくつかの実施形態では、オーディオI/Oロジック312は、マイクロフォン(単数又は複数)302から受信した情報に基づいて、発話又は周囲ノイズを検出又は認識する。いくつかの実施形態では、ウェアラブルオーディオ出力デバイス301は、(タッチ入力を検出するための)タッチ感知面、加速度計(単数又は複数)、及び/若しくは(物理的環境に対するウェアラブルオーディオ出力デバイス301の姿勢及び/又はデバイスの姿勢の変化を判定するための)姿勢センサ(単数又は複数)、並びに/又はユーザがウェアラブルオーディオ出力デバイス301と対話して、入力を提供することができる他の入力デバイスなどの、1つ以上の入力デバイス308を含む。いくつかの実施形態では、入力デバイス(単数又は複数)308を介して提供される入力は、オーディオI/Oロジック312によって処理される。いくつかの実施形態では、オーディオI/Oロジック312は、オーディオ出力のための命令又はコンテンツを提供し、かつ任意選択的に、マイクロフォン(単数又は複数)302、配置センサ(単数又は複数)304、及び/若しくは入力デバイス308(単数又は複数)を介して提供される入力(又は入力に関する情報)を受信して処理する、別個のデバイス(例えば、図1Aのデバイス100)と通信する。
【0126】
ここで、ポータブル多機能デバイス100上で任意選択的に実装されるユーザインタフェース(「UI」)の実施形態に着目する。
【0127】
図4Aは、いくつかの実施形態に係る、ポータブル多機能デバイス100上のアプリケーションのメニューのための例示的なユーザインタフェースを示す。同様のユーザインタフェースは、デバイス300上に任意選択的に実装される。いくつかの実施形態では、ユーザインタフェース400は、以下の要素、又はそれらのサブセット若しくはスーパーセットを含む。
●セルラー信号及びWi-Fi信号などの無線通信(単数又は複数)のための信号強度インジケータ(単数又は複数)、
●時間、
●Bluetooth(登録商標)インジケータ、
●バッテリ状態インジケータ、
●以下のような、頻繁に使用されるアプリケーションのアイコンを有するトレイ408
○不在着信又はボイスメールメッセージの数のインジケータ414を任意選択的に含む、「電話」とラベル付けされた、電話モジュール138のアイコン416、
○未読電子メールの数のインジケータ410を任意選択的に含む、「メール」とラベル付けされた、電子メールクライアントモジュール140のアイコン418、
○「ブラウザ」とラベル付けされた、ブラウザモジュール147のアイコン420、又、
○「音楽」とラベル付けされたビデオ及び音楽プレイヤーモジュール152のアイコン422、又、
●以下のような、他のアプリケーションのアイコン、
○「メッセージ」とラベル付けされた、IMモジュール141のアイコン424、
○「カレンダ」とラベル付けされた、カレンダモジュール148のアイコン426、
○「写真」とラベル付けされた、画像管理モジュール144のアイコン428、
○「カメラ」とラベル付けされた、カメラモジュール143のアイコン430、
○「オンラインビデオ」とラベル付けされた、オンラインビデオモジュール155のアイコン432、
○「株価」とラベル付けされた、株価ウィジェット149-2のアイコン434、
○「地図」とラベル付けされた、地図モジュール154のアイコン436、
○「天気」とラベル付けされた、気象ウィジェット149-1のアイコン438、
○「時計」とラベル付けされた、アラーム時計ウィジェット149-4のアイコン440、
○「トレーニングサポート」とラベル付けされた、トレーニングサポートモジュール142のアイコン442、
○「メモ」とラベル付けされた、メモモジュール153のアイコン444、又、
○デバイス100及びその様々なアプリケーション136の設定へのアクセスを提供する、「設定」とラベル付けされた、設定アプリケーション又はモジュールのアイコン446。
【0128】
図4Aに示されたアイコンのラベルは単なる例に過ぎないことに留意されたい。例えば、他のラベルが任意選択的に、様々なアプリケーションアイコンに使用される。一部の実施形態では、それぞれのアプリケーションアイコンに関するラベルは、それぞれのアプリケーションアイコンに対応するアプリケーションの名前を含む。一部の実施形態では、特定のアプリケーションアイコンのラベルは、その特定のアプリケーションアイコンに対応するアプリケーションの名前とは異なる。
【0129】
図4Bは、ディスプレイ450とは別個のタッチ感知面451(例えば、タブレット又はタッチパッド355、図3A)を有するデバイス(例えば、デバイス300、図3A)上の例示的なユーザインタフェースを示す。以下の実施例のうちの多くはタッチスクリーンディスプレイ112上の入力(タッチ感知面とディスプレイとが組み合わされている場合)を参照して与えられるが、いくつかの実施形態では、デバイスは、図4Bに示すように、ディスプレイと分離したタッチ感知面上の入力を検出する。いくつかの実施形態では、タッチ感知面(例えば、図4Bにおける451)は、ディスプレイ(例えば、450)上の主軸(例えば、図4Bにおける453)に対応する主軸(例えば、図4Bにおける452)を有する。それらの実施形態によれば、デバイスは、ディスプレイ上のそれぞれの位置に対応する位置(例えば、図4Bにおいて、460は468に対応し、462は470に対応する)におけるタッチ感知面451との接触(例えば、図4Bにおける460及び462)を検出する。このように、タッチ感知面がディスプレイと分離しているとき、タッチ感知面(例えば、図4Bにおける451)上でデバイスによって検出されたユーザ入力(例えば、接触460及び462、及びそれらの移動)は、多機能デバイスのディスプレイ(例えば、図4Bにおける450)上でユーザインタフェースを操作するためにデバイスによって使用される。同様の方法が、本明細書に記載の他のユーザインタフェースに任意選択的に使用されることを理解されたい。
【0130】
いくつかの実施形態では、デバイスによって検出された入力へのデバイスの応答は、入力中の接触強度に基づく基準に依存する。例えば、いくつかの「軽い押圧」入力の場合、入力中の第1の強度閾値を超える接触の強度は第1の応答をトリガする。いくつかの実施形態では、デバイスによって検出された入力へのデバイスの応答は、入力中の接触強度と時間ベースの基準の両方を含む基準に依存する。例えば、いくつかの「深い押圧」入力の場合、軽い押圧用の第1の強度閾値より大きい入力中の第2の強度閾値を超える接触の強度は、第1の強度閾値を満たすことと第2の強度閾値を満たすこととの間に遅延時間が経過した場合のみ、第2の応答をトリガする。この遅延時間は典型的には、時間が200ms(ミリ秒)よりも短い(例えば、第2の強度閾値の大きさに依存して、40ms、100ms、又は120msであり、遅延時間は第2の強度閾値が増大するにつれて増大する)。この遅延時間は、深い押圧入力の偶発的な認識を回避することを支援する。別の例として、いくつかの「深い押圧」入力の場合、第1の強度閾値が満たされた時間の後に発生する感度が低下した時間期間が存在する。感度が低下した時間期間の間、第2の強度閾値は増大する。第2の強度閾値のこの一時的な増大も、偶発的な深い押圧入力を回避するのに役立つ。他の深い押圧入力の場合、深い押圧入力の検出に対する応答は、時間ベースの基準に依存しない。
【0131】
いくつかの実施形態では、入力強度閾値及び/又は対応する出力のうちの1つ以上は、ユーザ設定、接触の動き、入力タイミング、実行しているアプリケーション、強度が加わる速度、同時入力の数、ユーザ履歴、環境要因(例えば、周囲ノイズ)、フォーカスセレクタの位置などの、1つ以上の要因に基づいて変化する。例示的な要因が、米国特許出願公開第14/399,606号及び第14/624,296号に記載されており、それらは参照により全体が本明細書に組み込まれている。
【0132】
例えば、図4Cは、経時的なタッチ入力476の強度に部分的に基づいて、経時的に変化する動的な強度閾値480を示す。動的な強度閾値480は、2つの成分、タッチ入力476が最初に検出されたときから既定の遅延時間p1後に経時的に減衰する第1の成分474、及び経時的にタッチ入力476の強度の跡を辿る第2の成分478の合計である。第1の成分474の最初の高い強度閾値は、タッチ入力476が十分な強度を提供する場合に即時の「深い押圧」応答を更に可能にしながら、「深い押圧」応答の偶発的トリガを削減する。第2の成分478は、タッチ入力の段階的な強度変動によって「深い押圧」応答の意図しないトリガを削減する。いくつかの実施形態では、タッチ入力476が動的な強度閾値480を満たすとき(例えば、図4Cにおけるポイント481において)、「深い押圧」応答がトリガされる。
【0133】
図4Dは、別の動的な強度閾値486(例えば、強度閾値IT)を示す。図4Dは又、2つの他の強度閾値、第1の強度閾値IT及び第2の強度閾値ITを示す。図4Dにおいて、タッチ入力484が時間p2の前に第1の強度閾値IT及び第2の強度閾値ITを満たすが、時間482において遅延時間p2が経過するまでは応答が提供されない。又、図4Dでは、動的強度閾値486は、予め定義された遅延時間p1が時間482から経過した後(第2の強度閾値ITと関連付けられた応答がトリガされたとき)の時間488において開始する減衰で、経時的に減衰する。このタイプの動的強度閾値は、第1の強度閾値IT又は第2の強度閾値ITなど、より低い強度閾値と関連付けられた応答のトリガの直後に又はそれと同時に、動的強度閾値ITと関連付けられた応答を偶発的にトリガすることを減少させる。
【0134】
図4Eは、更に別の動的な強度閾値492(例えば、強度閾値IT)を示す。図4Eにおいて、強度閾値ITと関連付けられた応答は、タッチ入力490が最初に検出されるときから遅延時間p2が経過した後にトリガされる。同時に、動的な強度閾値492は、タッチ入力490が最初に検出されたときから既定の遅延時間p1が経過した後に減衰する。そのため、タッチ入力490を解放することなしに、タッチ入力490の強度の増大がその後に続く、強度閾値ITに関連付けられた応答をトリガした後のタッチ入力490の強度の減少は、タッチ入力490の強度が別の強度閾値、例えば、強度閾値ITを下回るときでも、(例えば、時間494において)強度閾値ITに関連付けられた応答をトリガすることができる。
【0135】
ユーザインタフェース及び関連するプロセス
ここで、1つ以上のオーディオ出力デバイス(例えば、ウェアラブルオーディオ出力デバイス301などの1つ以上のウェアラブルオーディオ出力デバイス、図3B)、任意選択的に、オーディオ出力デバイスの配置を検出するための1つ以上のセンサ、任意選択的に、ディスプレイ及び/又はタッチ感知面、任意選択的に、1つ以上の加速度計及び/又は姿勢センサ、及び任意選択的に、1つ以上の追加の入力デバイス(例えば、回転可能入力機構)を含む(及び/又はこれらと通信している)電子デバイス(例えば、ポータブル多機能デバイス100、図1A、又はデバイス300、図3A)上に実装され得るユーザインタフェース(「UI」)及び関連するプロセスの実施形態に注意を向ける。
【0136】
図5A~5ADは、いくつかの実施形態に係る、例示的な音声通知及び例示的なユーザインタフェース、並びに音声通知との対話を示す。これらの図におけるユーザインタフェースは、図6A~6E、図7A~7C、図8A~8D、図9A~9C、及び図10A~10Bにおけるプロセスを含む、以下に説明するプロセスを例示するために使用される。説明の便宜上、実施形態のいくつかは、音声通知に対応するイベントが検出されるデバイスと通信している、これとは別個とのウェアラブル出力デバイスを使用して実行される動作を参照して論じられる。しかしながら、一部の場合には、類似の動作は、イベントが検出されるデバイスの一部であるオーディオ出力デバイスを使用して、任意選択的に実行される。
【0137】
図5A~5ADは、いくつかの実施形態に係る、例示的な音声通知及び例示的なユーザインタフェース(言語、口頭、及び触知インタフェースを含む)、並びに音声通知との対話を示す。
【0138】
図5Aは、ユーザ500が1つ以上のイヤホン502を身に付けることに応答して音声通知を提供することを示す。イヤホン502は、単一のイヤホン、2つのイヤホン(ユーザ500の耳のそれぞれに1つずつ)、インイヤーイヤホン(単数又は複数)、オーバーイヤーヘッドホン(単数又は複数)などを表す。いくつかの実施形態では、イヤホン502は、ウェアラブルオーディオ出力デバイス301(図3B)に対応する。いくつかの実施形態では、イヤホン502は、イヤホン502と別個であっても一体であってもよいデバイス(例えば、デバイス100、図1A)と通信している。
【0139】
図5Aでは、イヤホン502がユーザ500の耳から離れて、ユーザ500の耳の周りの範囲504の外側に配置されている間、イヤホン502を介してオーディオ出力は提供されない。
【0140】
イヤホン502がユーザ500の耳内に配置される(又はその範囲504内で移動させられる)とき、当日の音声要約506がイヤホン502を介して出力される。いくつかの実施形態では、音声要約506は、イヤホン502と通信しているデバイスにおいて、音声通知(例えば、発生した、発生する予定の、及び/又は発生すると予測されるイベントに対応する)を含む。いくつかの実施形態では、図5Aに示されるように、音声要約506は、特定の日にユーザ500の耳内のイヤホン502の配置を最初に検出したことに応答してのみ提供される。図5Aに示されるように、音声要約506は、以下のうちの任意の1つ以上を含む。
●現在の日付(例えば、「今日は9月24日、月曜日です」という文)、
●当日の天気(例えば、「現在65度で晴天、最高気温は78度です」という文)、
●イヤホン502がユーザ500の耳内又はその範囲内になかったために聞き逃したイベントの要約(例えば、「4件のメッセージと5件の電子メールがあります」という文)、
●通勤情報(例えば、「現在、職場まで25分かかります」という文)、又、
●今後の最初のカレンダイベント(例えば、「あなたの次のミーティングは、10時半の「プロジェクト状況最新情報」です」という文)。
【0141】
図5Bは、検出されたイベントのプロパティに基づいて音声通知を区別する例を示す。図5Bに示されるように、検出されたイベントは、受信メッセージ508-1から508-4に対応する。メッセージ508-1は、「ハロルド・スミス」から受信され、テキストコンテンツ(例えば、「やあ、私は次の水曜から日曜まで町にいます」というテキスト)を含む。次に、メッセージ508-2から508-3は「バーバラ・リー(母)」(ユーザの母親)から受信され、テキストコンテンツ(例えば、それぞれ「今週末は家に帰る?」というテキスト、及び「その日はお父さんの誕生日よ」というテキスト)を含む。その後、メッセージ508-4は、やはり「ハロルド・スミス」から受信され、テキストコンテンツ(例えば、「時間を見つけて近況報告しよう」というテキスト)を含む。
【0142】
メッセージ508-1の受信に応答して、言語形式のメッセージ508-1のコンテンツを含む音声通知510(例えば、メッセージ508-1のテキストをスピーチに変換することによって読み上げられる)が、イヤホン502を介してユーザ500に提供される。図5Bに示される例では、音声通知510は、メッセージ送信者「ハロルド・スミス」を彼のフルネーム(例えば、彼の名前と名字の両方)によって識別する。いくつかの状況では、図5Bに示されるように、連絡先の名前(例えば、「ハロルド」)に加えて彼の名字(例えば、「スミス」)を含めるのは、ユーザ500がこの連絡先と少なくとも所定の期間(例えば、少なくとも1週間、1ヶ月、1年、又はその他の指定された期間)にわたって連絡先と通信していないからである。いくつかの状況では、この連絡先から受信したメッセージ又はその他のイベントに関連付けられた音声通知に連絡先の名前と名字を含めるのは、ユーザ500のアドレス帳に同じ名前を有する別の連絡先が含まれている(例えば、ユーザ500のアドレス帳に別の「ハロルド」が含まれている)からである。
【0143】
メッセージ508-2の受信に応答して、言語形式のメッセージ508-2のコンテンツを含む音声通知512が、イヤホン502を介してユーザ500に提供される。図5Bに示される例では、音声通知512は、フルネーム「バーバラ・リー」の代わりに、(例えば、ユーザ500によって彼のアドレス帳で指定されるように)彼女の別名「母」によってメッセージ送信者「バーバラ・リー」(ユーザ500の母親)を識別する。ユーザ500は所定の期間(例えば、1週間、1ヶ月、1年、又はその他の指定された時間周期)内に「母」と通信したので、音声通知512は「母」をフルネームで識別しない。
【0144】
加えて、メッセージ508-3の受信に応答して、言語形式のメッセージ508-3のコンテンツを含む音声通知514が、イヤホン502を介してユーザ500に提供される。図5Bに示される例では、音声通知514に対応するメッセージ508-3は、やはり同じ送信者「バーバラ・リー」から受信した別のメッセージ(例えば、音声通知512に対応するメッセージ508-2)の直後に続くので、音声通知514はメッセージ送信者「バーバラ・リー」の名前を省略する。
【0145】
メッセージ508-4の受信に応答して、言語形式のメッセージ508-4のコンテンツを含む音声通知516が、イヤホン502を介してユーザ500に提供される。図5Bに示される例では、同じ「ハロルド・スミス」からメッセージ508-1を受信した結果、この時点でユーザ500は所定の期間内に「ハロルド・スミス」と通信しているので、音声通知516は、メッセージ送信者「ハロルド・スミス」の名字を省略する。
【0146】
図5Cは、対応するイベントのプロパティに基づいて、異なる疑似空間位置で音声通知を出力する例を示す。いくつかの実施形態では、異なる疑似空間位置で音声通知を提供するには、複数のオーディオ出力デバイスを必要とする。従って、図5Cは、1対のイヤホン502を着用しているユーザ500を示す。図5Cに示されるように、複数のイベント、メッセージ508-4からメッセージ508-6が受信されている。図5Bを参照して記載されたように、メッセージ508-4は、「ハロルド・スミス」からのテキストメッセージである。具体的には、メッセージ508-4は「ハロルド・スミス」からユーザ500に送信され、他の受信者には送信されないという点で、メッセージ508-4は「個別メッセージ」と呼ばれることがある。メッセージ508-5から508-6は両方とも、3人以上の参加者の間のグループメッセージセッションの一部として受信されて「チーム」として識別され、「グループメッセージ」と呼ばれることがある。具体的には、メッセージ508-5は、「チーム」グループメッセージ内の参加者「ジョン・ゴッドフリー」から受信され、テキストコンテンツ(例えば「10分遅れます、ごめんなさい」というテキスト)を含む。次に、メッセージ508-6は、同じ「チーム」グループメッセージ内の別の参加者「アリス・ヤング」から受信され、テキストコンテンツ(例えば、「大丈夫です。他のプロジェクトを先に検討します」というテキスト)を含む。
【0147】
メッセージ508-4の受信に応答して、言語形式のメッセージ508-4のコンテンツを含む音声通知518が、イヤホン502を介してユーザ500に提供される。メッセージ508-4は個別メッセージなので、音声通知518が空間位置520においてユーザ500の頭部の内側から来るか又は内側で再生されているかのように聞こえるように、音声通知518はユーザ500の頭部の内側の疑似空間位置520で出力される。いくつかの実施形態では、音声通知518などの個別メッセージは、ユーザ500の頭部の内側の1つ以上の疑似空間位置で出力される。いくつかの実施形態では、異なる空間位置は、異なる連絡先に関連付けられている。例えば、「ハロルド・スミス」以外の送信者からの音声通知は、いくつかの実施形態では、疑似空間位置520とは異なるユーザ500の頭部の内側の疑似空間位置で出力される。
【0148】
メッセージ508-5から508-6の受信に応答して、音声通知522及び526がそれぞれ、イヤホン502を介してユーザ500に提供される。音声通知522は、メッセージがグループメッセージの一部であるという指示とグループメッセージの識別子とで始まる、言語形式のメッセージ508-5のコンテンツを含む(例えば、グループメッセージは「チームグループ内」で始まり、「チーム」は、グループメッセージ識別子である)。加えて、音声通知522が空間位置524においてユーザ500の頭部の外側から来るか又は外側で再生されているかのように聞こえるように(例えば、音がユーザ500の耳にあるイヤホン502から来ていたとしても)、音声通知522は、ユーザ500の頭部の外側の疑似空間位置524で出力される。次に、音声通知526は、言語形式のメッセージ508-6のコンテンツを含む。いくつかの実施形態では、図5Cに示される例のように、音声通知526に対応するメッセージ508-6は、やはり同じグループメッセージ(例えば、「チーム」グループメッセージ)の一部として受信された別のメッセージ(例えば、音声通知522に対応するメッセージ508-5)の直後に続くので、音声通知526は、グループメッセージの序文(例えば、「チームグループ内」)を省略する。音声通知526は、音声通知522からの異なるタイプのオーディオ(例えば、異なるオーディオトーン、又は異なる疑似音声)を使用して出力される(例えば、音声通知522を表す通常テキストとは対照的に、音声通知526を表すイタリックテキストによって示されるように)。加えて、音声通知526が空間位置528においてユーザ500の頭部の外側から来るか又は外側で再生されているかのように聞こえるように、音声通知526は、ユーザ500の頭部の外側の疑似空間位置528で出力される。
【0149】
いくつかの実施形態では、図5Cに示されるように、メッセージ508-5及び508-6は個別メッセージではなくグループメッセージなので、音声通知522及び526は、ユーザ500の頭部の外側の疑似空間位置(例えば、それぞれ疑似空間位置524及び528)で出力される。加えて、いくつかの実施形態では、図5Cに示されるように、メッセージ508-5及び508-6は異なる送信者(例えば、グループメッセージ内の異なる参加者)からのメッセージなので、音声通知522は、音声通知526から異なる疑似空間位置で出力される。
【0150】
いくつかの実施形態では、異なるタイプのイベントのメッセージは、異なる音量で対応する音声通知を出力することによって区別される。例えば、図5Cに示されるように、音声通知518は、音声通知522及び526よりも高い音量で(太字テキストによって示されるように)出力される。いくつかの実施形態では、個別メッセージ(例えば、「ハロルド・スミス」からユーザ500のみへのメッセージ508-4)は、グループメッセージ(例えば、ユーザ500と少なくとも「ジョン・ゴッドフリー」及び「アリス・ヤング」との間のグループ「チーム」内のメッセージ508-5及び508-6)に対して高い音量で出力される。当業者であれば、(例えば、連絡先の「ホワイトリスト」の作成を通じてなど、特定の連絡先のユーザ指定に応答して)他の連絡先に対して特定の連絡先からの音声通知を強調すること、他のアプリケーションに対して特定のアプリケーションに関連付けられた音声通知を強調すること、他のタイプのアプリケーションに対して特定のタイプのアプリケーションに関連付けられた音声通知を強調すること、特定の地理的又は時間的基準を満たす音声通知を強調すること(例えば、ユーザが特定の地理的位置又はその近くにいる間、若しくは特定の時間帯の間に、特定のイベントの音声通知を強調すること)などを含むがこれらに限定されない、イベントを区別するその他多くの方法が可能であることを、理解するだろう。
【0151】
図5Dは、地理的コンテキストに基づいて音声通知を区別する例を示す。図5Dに示されるように、第1イベント530が(例えば、イヤホン502と通信している、図1Aのデバイス100などのデバイスで)検出される。イベント530は、指定された場所533(例えば、「アポロ会議室、ビルディング1、N.De Anza Blvd.,Cupertino)で指定されたテーマ531(例えば、「プロジェクト状況最新情報」)について指定された時刻532(例えば、「10:30AM」)に行われるミーティングである、今後のカレンダイベントの通知である。イベント530は、カレンダイベントに対して所定の時間に(例えば、今後のカレンダイベントの開始の10分前である、現在の時刻534「10:20AM」に)検出される。イベント530の検出に応答して、ユーザ500に今後のミーティングを通知するために、音声通知538がイヤホン502を介して提供される。音声通知538は、イベントタイプ(例えば、「ミーティング」)、イベント時間(例えば、「10時半に」)、及びイベントテーマ(例えば、「プロジェクト状況最新情報」)の指示を含む、イベント530に関する情報を含む。
【0152】
図5Dに示されるように、音声通知538は、イベント位置情報(例えば、「アポロ会議室」)も含む。図5Dに示される例では、ユーザ500の現在位置536は「ロビー、ビルディング1」である。従って、ユーザ500は、既にイベント530に関連付けられたミーティング場所と同じ建物(例えば、「ビルディング1」)内にいる。従って、音声通知538は、建物の名前(例えば、「ビルディング1」)、並びに道路名及び都市名などのより大きい地理的領域の任意の説明を省略する。音声通知538は、ユーザ500の現在位置536とは異なる地理的領域(例えば、階数又は会議室名など、建物内の地理的領域)の位置情報のみを含む。いくつかの実施形態では、ユーザ500が既に今後のイベントと同じ最小地理的領域(例えば、同じ会議室)内にいるとき、対応する音声通知でイベント位置情報は提供されない。
【0153】
図5Dは又、第2イベント540が(例えば、イヤホン502と通信している、図1Aのデバイス100などのデバイスで)検出されることも示す。イベント540は、指定された場所543(例えば、「モンタラ会議室、ビルディング5、S.Main St.,Sunnyvale)で指定されたテーマ541(例えば、「テストベンチ評価」)について指定された時刻542(例えば、「3:00PM」)に行われるミーティングである、今後のカレンダイベントの通知である。イベント540は、カレンダイベントに対して所定の時間に(例えば、今後のカレンダイベントの開始の10分前である、現在の時刻544「2:50PM」に)検出される。イベント540の検出に応答して、ユーザ500に今後のミーティングを通知するために、音声通知548がイヤホン502を介して提供される。音声通知548は、イベントタイプ(例えば、「ミーティング」)、イベント時間(例えば、「3時に」)、及びイベントテーマ(例えば、「テストベンチ評価」)の指示を含む、イベント540に関する情報を含む。
【0154】
いくつかの実施形態では、音声通知548は、イベント位置情報(例えば、「モンタラ会議室、ビルディング5、S.Main St.,Sunnyvale」)も含む。図5Dに示される例では、ユーザ500の現在位置546は「ロビー、ビルディング1」である。従って、ユーザ500は、イベント540が行われる都市(例えば、「Sunnyvale」)とは異なる都市(例えば、「Cupertino」)にいるが、ただし2つの都市は同じ州にある。従って、ユーザ500は、イベントが行われる都市(例えば、「Sunnyvale」)とは異なる都市にいるが、ただし2つの都市は同じ州にある。従って、音声通知548は、会議室の名前(例えば、「モンタラ」)、建物の名前(例えば、「ビルディング5」)、道路の名前(例えば、「South Main Street」)、及び都市の名前(例えば、「Sunnyvale」)を含み、これらの全てはユーザ500の現在位置546とは異なる地理的領域である。ユーザ500は同じ州にいるので、音声通知548は、イベント540が行われる州の名前を省略する。
【0155】
図5Eは、受信したイベントのプロパティに基づいて音声通知を区別する例を示す。具体的には、図5Eは、異なる値のトランザクションを示すイベントを表すために使用されている、異なる音響効果及び出力音量を示す。ユーザ500が「トラビス」から少額のお金(例えば、彼の「昼食」の費用)の支払いを受け取ることに応答して、トランザクションを説明する音声通知550は、第1の「[コインが落ちる]」音響効果を含み、イヤホン502を介して(小文字テキストで示されるように)低音量で再生される。ユーザ500が「ジェーン」から高額のお金(例えば、彼女の「家賃の負担分」の費用)の支払いを受け取ることに応答して、トランザクションを説明する音声通知552は、第1の音響効果とは異なり、イヤホン502を介して(太字の大文字テキストで示されるように)大音量で再生される、第2の「[カチーンという]」キャッシュレジスタの音響効果を含む。
【0156】
図5Fは、少なくとも所定の期間にわたって受信した通知又はイベントがない中でユーザ500がイヤホン502と対話することに応答して実行される例示的な動作を示す。具体的には、図5Fは、過去10分間に(例えば、イヤホン502と通信しているデバイスによって)通知が受信されていないことを示す。従って、イヤホン502上のタップ入力554の検出に応答して、イヤホン502は、オーディ出力556によって示されるように、音楽を再生し始める。
【0157】
図5G~5Hは、イヤホン502がユーザ500の耳内にない間の複数のイベントの検出に応答して、凝縮された音声通知を出力することを示しており、集合体における、検出されたイベントの対応する音声通知は、数が多く、及び/又は長い。具体的には、図5Gは、イヤホン502がユーザ500の耳内にない間に、複数のイベントが検出されることを示す。検出されたイベントは、「トラビス」から受信したメッセージ558-1から558-3、「オクタビア」から受信したメッセージ560-1及び560-2並びにイベント招待560-3、並びに「エリー」から受信したメッセージ562-1から562-5に対応する。イヤホン502がユーザ500の耳内にない間、検出されたイベントに対応する音声通知は、イヤホン502を介して出力されない。
【0158】
図5Hは、イヤホン502がユーザ500の耳内に配置されていることを示す。これに応答して、検出されたイベントに対応する音声通知が提供される。しかしながら、検出されたイベント558-1から558-3、560-1から560-3、及び562-1から562-5の各々に関連付けられたオーディオコンテンツを出力するには、集合体において、所定より長い時間を必要とする。代わりに、図5Hに示されるように、凝縮された音声通知が提供される。具体的には、音声通知564は、全て「トラビス」から受信したメッセージ558-1から558-3を「トラビスがあなたに3件のメッセージを送信しました」という文に要約する。同様に、音声通知566は、全て「オクタビア」から受信したメッセージ560-1及び560-2並びにイベント招待560-3を「オクタビアがあなたに2件のメッセージと1件のイベント招待を送信しました」という文に要約する。図5Hの例では、音声通知564及び566は、疑似空間位置568で出力される。
【0159】
図5I~5Kは、ユーザ500が頭部の動きを介してイヤホン502と対話することに応答して、音声通知に含まれるコンテンツの量(音声通知の「冗長性」と呼ばれることがある)を変更することを示す。図5Iは、イベント560-1から560-3を要約する音声通知566を聞いた後に、今再生された音声通知(又はいくつかの状況では、再生されている音声通知)についてより多くの情報を聞くために、ユーザ500が疑似空間位置568に向けて(例えば、サウンドの「ソース」に向けて)頭部を傾けることを示す。これに応答して、図5Jで、イベント560-1から560-3に関連付けられた追加のオーディオコンテンツ(例えば、音声通知566の拡張バージョン)が、音声通知566-1から566-3の形態で提供される。音声通知566-1は、ユーザ500が「最近」(例えば、この1週間、1ヶ月、又は1年以内に)通信した送信者の名前「オクタビア」のみで始まる、言語形式のメッセージ560-1のコンテンツを含む。音声通知566-2は、言語形式のメッセージ560-2のコンテンツを含み、送信者のいかなる識別子も省略する(メッセージ560-2は、同じ送信者からの別のイベントであるメッセージ560-1の直後に続くため)。音声通知566-3は、イベント招待560-3(例えば、「オクタビアは今日4:30PMのイベントにあなたを招待しました」)を説明する。いくつかの実施形態では、イベント招待560-3は、同じ送信者(例えば、「オクタビア」)からの別のイベント(例えば、メッセージ560-2)の直後に続くので、送信者のいかなる識別子も省略するように、音声通知566-3は言い直される。
【0160】
図5Kは、音声通知566-3を聞いた後に、(例えば、再び凝縮された音声通知を聞くために)後続の音声通知についてより少ない情報を聞くために、ユーザ500が疑似空間位置568から離れる方へ頭部を傾けることを示す。これに応答して、凝縮された音声通知570が疑似空間位置568で提供される。具体的には、音声通知570は、全て「エリー」から受信したメッセージ562-1から562-5を「トラビスがあなたに5件のメッセージを送信しました」という文に要約する。
【0161】
図5L~5Rは、イヤホン502とのユーザ対話に応答して実行される例示的な動作を示す。図5Lでは、音声通知570が提供されている間、又は音声通知570が提供された後の所定の期間内に(例えば、数秒以内に)、ユーザ500はイヤホン502上でタップ入力572を実行する。タップ入力572の検出に応答して、図5M~5Pに示されるように、メッセージ562-1から562-5に関連付けられた追加のオーディオコンテンツ(例えば、音声通知570の拡張バージョン)が、音声通知570-1から570-5の形態で提供される。いくつかの実施形態では、音声通知の最中又は「すぐ」後にイヤホン502に向けられた(シングル)タップ入力は、音声通知に関する動作を実行するが(例えば、図5L~5Mに示されるように、追加情報を提供する)、その一方で、音声通知の「すぐ」後の時間周期外のタップ入力は、いかなる音声通知とも無関係の異なる動作を実行する(例えば、図5Fに示されるように、音楽の再生を開始又は停止する)。
【0162】
図5Mでは、音声通知570-1は、ユーザ500が「最近」通信した送信者の名前「エリー」のみで始まる、言語形式のメッセージ562-1のコンテンツを含む。音声通知570-2は、言語形式のメッセージ562-2のコンテンツを含む。具体的には、メッセージ562-2は写真からなるので、音声通知570-2は、写真のコンテンツの言語記述(例えば、画像処理を使用して判定された、写真に関連付けられた1つ以上のキーワードを含む、言語による要約)を含む。従って、音声通知570-2は、メッセージ562-2内の猫の写真を説明する、「エリーは猫の写真を送信しました」という文を含む。いくつかの実施形態では、メッセージ562-2は同じ送信者(例えば、「エリー」)からの別のメッセージ(例えば、メッセージ562-1)の直後に続くので、送信者のいかなる識別子も省略するように、音声通知570-2は言い直される。
【0163】
図5Nでは、メッセージ562-3は、やはり同じ送信者(例えば、「エリー」)からの別のイベントであるメッセージ562-2の直後に続くので、音声通知570-3は、言語形式のメッセージ562-3のコンテンツを含み、送信者のいかなる識別子も省略する。音声通知570-3を提供した後、イヤホン502は音声通知570-4の第1の部分を提供し始めるが、これは言語形式のメッセージ562-4のコンテンツの第1の部分(例えば、「あなたは...」という部分的な文)を含む。音声通知570-4が提供されている間(例えば、第1の部分が提供された後、ただし第2の後続部分が提供される前)、ユーザ500は、図5Oに示されるように、ダブルタップ入力574をイヤホン502に向ける。これに応答して、イヤホン502は、メッセージ562-4の未読部分(単数又は複数)に対応する音声通知570-4の残りをスキップし、次に図5Pに示されるように、メッセージ562-5に対応する音声通知570-5を出力する。いくつかの実施形態では、音声通知の最中又は「すぐ」後にイヤホン502に向けられた(シングル)タップ入力は、(例えば、図5O~5Pに示されるように、音声通知の残りをスキップする)音声通知の最中又は「すぐ」後にイヤホン502に向けられたダブルタップ入力とは異なる音声通知に関する動作を実行する(例えば、図5L~5Mに示されるように、追加情報を提供する)。
【0164】
加えて、図5Pでは、音声通知570-5は、タイマ576-1によって示されるように初期時間に提供される。図5Qでは、タイマ576-2によって示されるように、音声通知570-5を提供してから所定の期間(例えば、7~10秒を超える)が経過した後、ユーザ500は、ダブルタップ入力578をイヤホン502に向ける。所定の期間が経過した後に検出されたダブルタップ入力578に応答して、バーチャルアシスタントが呼び出される(例えば、イヤホン502上、又は図1Aのデバイス100などのイヤホン502と通信しているデバイス上で)。バーチャルアシスタントの呼び出しは、音響効果580によって示される(例えば、バーチャルアシスタントのチャイム又はトーン、若しくはバーチャルアシスタントが音声コマンドを受信する準備ができているという別の指示)。いくつかの実施形態では、音声通知の最中又は「すぐ」後にイヤホン502に向けられたダブルタップ入力は、音声通知に関する動作を実行するが(例えば、図5O~5Pに示されるように、音声通知の残りをスキップする)、その一方で、音声通知の「すぐ」後の時間周期外のタップ入力は、いかなる音声通知とも無関係の異なる動作を実行する(例えば、図5Q~5Rに示されるように、バーチャルアシスタントを呼び出す)。
【0165】
図5S~5ABは、ユーザを刺激して、音声通知に対する応答を受信することを示す。「4:30PM」のミーティングの「オクタビア」からのカレンダイベント招待である、イベント560-3の受信に応答して、音声通知566-3が、イヤホン502を介してユーザ500に提供される。音声通知566-3は、言語形式のイベント560-3に関する情報を含む。
【0166】
音声通知566-3を提供した後、イヤホン502は、イヤホン502、又はイヤホン502と通信している電子デバイスが、音声通知566-3に対する応答を受信する準備ができていることを示すため、及び応答を提供するようにユーザ500を刺激するために、音響効果582(例えば、ホワイトノイズ)を再生する。いくつかの実施形態では、イヤホン502と通信している電子デバイスは、(図5T~5Yに示されるように)スマートウォッチである。いくつかの実施形態では、イヤホン502と通信している電子デバイスは、(図5Z~5AAに示されるように)スマートフォンである。
【0167】
図5Tは、図5Sからの遷移を示す。図5Tは、イヤホン502と通信している電子デバイス100を示す。デバイス100は、タッチスクリーン112(「タッチ感知ディスプレイ」とも呼ばれる)を含む。音声通知566-3に続いて図5Sで再生される音響効果582を聞くことに応答して、ユーザ500は、タッチスクリーン112上にタッチ入力584を提供する。タッチ入力584の検出に応答して、選択インジケータ586は、カレンダイベント招待560-3に応答するための1つ以上の応答オプションの最初の応答オプションの選択を示す。タッチ入力584の検出に応答して、デバイス100は、カレンダイベント招待560-3に応答するための応答オプションの音声再生を開始する。具体的には、図5Tは、タッチ入力584(又は、より一般的には、タッチ入力584の変化)に応答して、選択インジケータ586がカレンダイベント招待560-3を承諾するためのオプション(例えば、「承諾」)の選択を示すこと、並びに応答オプション「承諾」を有する音声通知588-1がイヤホン502を介してユーザ500に対して再生されることを示す。いくつかの実施形態では、図5Tに示される例のように、応答オプションは、応答オプションの音声再生と共に、タッチスクリーン112上に表示される。いくつかの実施形態では、タッチスクリーン112による電力使用を低減するように、応答オプションはタッチスクリーン112上に表示されず、ユーザ500はタッチスクリーン112を見ずに聴覚的に提供される応答オプションを聞く。いくつかの実施形態では、(例えば、図5ABを参照して本明細書に記載されるように)デバイス100が応答を受信する準備ができていることを示すために、音声通知566-3が再生された後、及び音響効果582が再生される前に、応答オプションのうちの任意の1つ以上が自動的に再生される。いくつかの実施形態では、応答オプションの全てが自動的に再生されるわけではなく(例えば、図5ABに示されるように)、再生されなかった応答オプションは、イヤホン502に向けられた入力(例えば、イヤホン502のタップ入力又はダブルタップ入力、若しくはイヤホン502のマイクロフォンを介したイヤホン502へのオーディオ入力)、又はデバイス100への入力(例えば、図5T~5Vを参照して本明細書に記載されるタッチ入力584、又は図5W~5Yを参照して本明細書に記載されるダイアル592の回転)に応答して、アクセス及び再生されることが可能である。
【0168】
次に、図5Uでは、タッチ入力584の更なる動きに応答して、選択インジケータ586は、カレンダイベント招待560-3を拒否するためのオプション(例えば、「拒否」)の選択を示すように変化し、応答オプション「拒否」を有する音声通知588-2がイヤホン502を介してユーザ500に対して再生される。次に、タッチ入力584の更なる動きに応答して、選択インジケータ586は、カレンダイベント招待560-3を暫定的に承諾するためのオプション(例えば、「暫定」)の選択を示すように変化し、応答オプション「暫定」を有する音声通知588-3がイヤホン502を介してユーザ500に対して再生される。
【0169】
次に、図5Vでは、音声通知588-3がユーザ500に提供された後(及び異なる応答オプションを有する異なる音声通知が提供される前)、並びに選択インジケータ586がカレンダイベント招待560-3を暫定的に承諾するためのオプションの選択を示している間、タッチ入力584は、タイマ590-1によって示されるように、初期時間にタッチスクリーン112から除去される。タッチ入力584がタイマ590-2によって示されるように少なくとも所定の期間(例えば、数秒)タッチスクリーン112から除去された後、カレンダイベント招待560-3を暫定的に承諾するためのオプションの選択が確認され、カレンダイベント招待560-3が暫定的に承諾されたことを示すために、音声通知588-4が提供される。いくつかの実施形態では、それぞれの応答オプションの選択は、音声通知566-3を提供した後、及び異なる応答オプションを有する異なる音声通知が提供される前に検出された第2の入力(例えば、タッチスクリーン112上のタップ入力)に応答して確認される。選択された応答オプションがタッチスクリーン112上に表示される、いくつかの実施形態では、応答オプションの選択は、選択インジケータ586が応答オプションの選択を示している間に第2の入力が検出されたときに、確認される。1つ以上の応答オプションがタッチスクリーン112上に同時に表示されるいくつかの実施形態では、それぞれの応答オプションが、それぞれの応答オプションに対応する位置でのタッチスクリーン112上のタッチ入力(例えば、タップ入力)に応答して選択され、確認される。
【0170】
図5Wは、図5Sからの代替遷移を示す。図5Wは、イヤホン502と通信している電子デバイス100を示す。デバイス100は、ダイアル592(例えば、時計の竜頭などの回転可能入力機構)及び(任意選択的に、図5Uのタッチスクリーン112のようなタッチ感知ディスプレイである)ディスプレイ112を含む。音声通知566-3に続いて図5Sで再生される音響効果582を聞くことに応答して、ユーザ500はダイアル592を回転させる。ダイアル592の回転の検出に応答して、選択インジケータ586は、カレンダイベント招待560-3に応答するための1つ以上の応答オプションの最初の応答オプションの選択を示す。ダイアル592の回転の検出に応答して、デバイス100は、音声通知560-3に応答するための応答オプションの音声再生を開始する。具体的には、図5Wは、ダイアル592の回転に応答して、選択インジケータ586がカレンダイベント招待560-3を承諾するためのオプション(例えば、「承諾」)の選択を示すこと、並びに応答オプション「承諾」を有する音声通知588-1がイヤホン502を介してユーザ500に対して再生されることを示す。いくつかの実施形態では、図5Wに示される例のように、応答オプションは、応答オプションの音声再生と共に、ディスプレイ112上に表示される。いくつかの実施形態では、ディスプレイ112による電力使用を低減するように、応答オプションはディスプレイ112上に表示されず、ユーザ500はディスプレイ112を見ずに聴覚的に提供される応答オプションを聞く。
【0171】
次に、図5Xでは、ダイアル592の更なる回転に応答して、選択インジケータ586は、カレンダイベント招待560-3を拒否するためのオプション(例えば、「拒否」)の選択を示すように変化し、応答オプション「拒否」を有する音声通知588-2がイヤホン502を介してユーザ500に対して再生される。次に、ダイアル592の更なる回転に応答して、選択インジケータ586は、カレンダイベント招待560-3を暫定的に承諾するためのオプション(例えば、「暫定」)の選択を示すように変化し、応答オプション「暫定」を有する音声通知588-3がイヤホン502を介してユーザ500に対して再生される。
【0172】
次に、図5Yでは、音声通知588-3がユーザ500に提供されると、選択インジケータ586がカレンダイベント招待560-3を暫定的に承諾するためのオプションの選択を示している間、ダイアル592を介して入力594(例えば、タップ入力又は押圧入力)が検出される。ダイアル592を介した押圧入力594に応答して、カレンダイベント招待560-3を暫定的に承諾するためのオプションの選択が確認され、カレンダイベント招待560-3が暫定的に承諾されたことを示すために、音声通知588-4が提供される。いくつかの実施形態では、それぞれの応答オプションの選択は、それぞれの応答オプションの選択を引き起こしたダイアル592の回転を検出した後、又はそれぞれの応答オプションの再生を聞いた後、少なくとも所定の期間(例えば、数秒)にわたって更なる入力がダイアル592を介して検出されないときに、確認される。選択された応答オプションがディスプレイ112上に表示される、いくつかの実施形態では、応答オプションの選択は、選択インジケータ586が少なくとも所定の期間にわたってそれぞれの応答オプション上に留まるときに、確認される。いくつかの実施形態では、デバイス100はタッチ感知面を含み、1つ以上の応答オプションがタッチスクリーン112上に同時に表示される場合には、それぞれの応答オプションは、それぞれの応答オプションに対応する位置でのタッチ感知面上のタッチ入力(例えば、タップ入力)に応答して選択され、確認される。
【0173】
図5Zは、図5Sからの代替遷移を示す。図5Zは、イヤホン502と通信している電子デバイス100を示す。デバイス100は、ディスプレイ112を含む。音声通知566-3に続いて図5Sで再生される音響効果582を聞くことに応答して、ユーザ500は、デバイス100の姿勢を少なくとも所定の量だけ(例えば、少なくとも30度などの所定の度数だけ、水平から、水平上30度などの水平上の少なくとも所定の度数に、又は水平の30度以内などの水平の所定の範囲内から所定の範囲外に)変化させるように、デバイス100を上昇させる(例えば、デバイス100の底縁部100bに対してデバイス100の上縁部100aを持ち上げる)。
【0174】
デバイス100の姿勢の変化の検出に応答して、音声通知566-3に応答するための応答オプションのセットが、デバイス100のディスプレイ112上に表示される(例えば、「承諾」、「拒否」、「暫定」、及び「スキップ」のオプション)。いくつかの実施形態では、応答オプションのセットは、イヤホン502が音響効果582を出力し始めた時間から所定の期間(例えば、数秒)以内にデバイス100が上昇しているという判定に従って表示される。
【0175】
次に、図5AAでは、ディスプレイ112上の応答オプションを閲覧すると、イヤホン502を介して音響効果582が再生されている間、ユーザ500は、応答(スピーチ)596の「承諾」によって示されるように、彼の所望の応答オプションを声に出して言うことによって、カレンダイベント招待560-3に応答する。応答596を(例えば、イヤホン502を介して)検出することに応答して、デバイス100は、カレンダイベント招待560-3を承諾するためのオプションの選択を受信して処理する。これに応答して、カレンダイベント招待560-3が承諾されたことを示すために、音声通知598が提供される。
【0176】
いくつかの実施形態では、イヤホン502は所定の期間の後に音響効果582の再生を中止する。いくつかの実施形態では、イヤホン502が音響効果582の再生を中止した後、デバイス100は、図5Tから図5AAを参照して記載される入力機構を介してカレンダイベント招待560-3に対する応答を受信しなくなる。いくつかのこのような実施形態では、ユーザ500は代わりに、デバイス100のタッチ感知ディスプレイ上のイベント560-3に対応する視覚通知にナビゲートし、閲覧し、手動で応答するために、デバイス100の1つ以上のユーザインタフェースと対話することによって、カレンダイベント招待560-3に応答し得る。
【0177】
図5ABは、周囲ノイズレベルに応じたオーディオ出力音量の調整を示す。図5ABでは、言語形式のイベント560-3に関する情報を含む音声通知5100が、イヤホン502を介してユーザ500に提供される。周囲ノイズ要素5102は、周囲ノイズレベルが高いことを示す(例えば、周囲ノイズ要素5102が存在しない図5Sと対照的に)。いくつかの実施形態では、周囲ノイズレベルは、イヤホン502又はイヤホン502と通信している電子デバイス100の1つ以上のマイクロフォンを介して検出される。図5ABの周囲ノイズレベルは高いので、ユーザ500が周囲ノイズに対して音声通知5100を聞くことができるように、音声通知5100の出力音量が増大する(図5Sの音声通知566-3の通常テキストと対照的に、太字の大文字テキストで示されるように)。
【0178】
図5ABに示される例では、カレンダイベント招待560-3に応答するための応答オプションのサブセット(最も可能性の高い応答に対応する)も又、イヤホン502を介してユーザ500に提供される。具体的には、イベント560-3に関する情報が提供された後、2つのオプション「承諾」と「拒否」との間の選択(例えば、「承諾又は拒否?」という文)がユーザ500に提示される。
【0179】
応答オプションのサブセットが提供された後、イヤホン502は、イヤホン502又はイヤホン502と通信している電子デバイスが音声通知5100に対する応答を受信する準備ができていることを示すため、及び応答を提供するようにユーザ500を刺激するために、音響効果5104(例えば、ホワイトノイズ)を再生する。周囲ノイズレベルは高いので、ユーザ500が周囲ノイズに対して音響効果5104を聞くことができるように、音響効果5104の出力音量も又増大する(図5Sの音響効果582の小文字テキストと対照的に、太字の大文字テキストで示されるように)。ユーザ500は、スピーチで(図5AA)など、本明細書に記載されるいずれの方法でも音声通知5100に応答し得る。あるいは、ユーザ500は、応答オプションの選択を提供又は確認する前に、デバイス100を介して入力を提供するなど(例えば、図5T~5Zを参照して本明細書に記載されるように)、本明細書に記載されるいずれかの方法で、追加の応答オプションを聞くことを最初に要求してもよい。
【0180】
図5ACは、ユーザ500が会話に没頭している間の音声通知の遅延を示す。時刻tにおいて、1つ以上のイベントが検出される(例えば、1つ以上の通知が受信される)。又、時刻tにおいて、ユーザ500は会話に没頭していると判定される(例えば、イヤホン502又はイヤホン502と通信している電子デバイス100の1つ以上のマイクロフォンを介してスピーチを検出することによって)。従って、ユーザ500が会話に没頭している間、検出されたイベントに対応する音声通知の出力が遅延する。時刻tにおいて、ユーザ500はもはや会話に没頭していない(例えば、スピーチが終了したことをイヤホン502又はデバイス100が検出する)。従って、スピーチの終了が検出されるのに続いて、時刻tにおいて遅延した音声通知5106がイヤホン502を介してユーザ500に提供される。いくつかの実施形態では、図5ACに示されるように、音声通知5106は、(例えば、テキスト対スピーチの会話などの疑似スピーチを使用して)ユーザ500が会話に没頭している間に検出された1つ以上のイベントの音声要約(例えば、1つ以上のイベントのコンテンツの要約)を含む。いくつかの実施形態では、音声通知5106は、1つ以上のイベントの音声要約を提供することなく、ビープ音又はオーディオトーンを含む。
【0181】
図5ADは、デバイスが複数のオーディオ出力デバイスを含むか又はこれらと通信しているときの、冗長な音声通知の抑制を示す。図5ADでは、ターンバイターン方向に対応する地図ナビゲーションイベント5108が検出される。イヤホン502がユーザ500の耳に着用されていない間、言語指示を含む音声通知5110が、デバイス100の1つ以上のスピーカを介して提供される。任意選択的に、提供されている音声通知5110と共に、視覚通知5112がデバイス100のディスプレイ112上に表示される。イヤホン502がユーザ500の耳に着用されている間、任意選択的に表示されている視覚通知5112と共に、音声通知5114がイヤホン502を介して提供される。
【0182】
図6A~6Eは、いくつかの実施形態に係る、ユーザによって着用されたオーディオ出力デバイスに音声通知を提供する方法600を示すフロー図である。方法600は、1つ以上のウェアラブルオーディオ出力デバイス(例えば、電子デバイスとは別個のインイヤーイヤホン、オーバーイヤーヘッドホンなどのウェアラブルオーディオ出力デバイス301、図3B)、及び1つ以上のウェアラブルオーディオ出力デバイスの配置を検出するための1つ以上のセンサ(例えば、配置センサ(単数又は複数)304、図3B)と(例えば、有線又は無線接続を介して)通信している(又はこれらを含む)、電子デバイス(例えば、ポータブル多機能デバイス100、図1A、又はデバイス300、図3A)において実行される。いくつかの実施形態では、センサは、ウェアラブルオーディオ出力デバイス上に(例えば、図3Bに示されるように)配置される。いくつかの実施形態では、センサは、電子デバイス上に配置される。いくつかの実施形態では、デバイスは、ディスプレイ(例えば、タッチスクリーン112、図1A、又はディスプレイ340、図3A)及びタッチ感知面(例えば、タッチスクリーン112、図1A、又はタッチパッド355、図3A)を含む。いくつかの実施形態では、デバイスは、1つ以上の追加のオーディオ出力デバイス(例えば、デバイス100上のスピーカ111、図1A、又はウェアラブルオーディオ出力デバイス301上のスピーカ(単数又は複数)306、図3B)と通信しているか又はこれらを含む。いくつかの実施形態では、デバイスは、1つ以上のオーディオ入力デバイス(例えば、マイクロフォン113、図1A、又はマイクロフォン(単数又は複数)302、図3B)を含む。いくつかの実施形態では、デバイスは、回転可能入力機構(例えば、図1Aの別の入力コントローラ(単数又は複数)160の一部として)を含み、これは、入力機構(例えば、腕時計の竜頭)を回転させることによってデバイスに入力を提供するために使用され得る。いくつかの実施形態では、デバイスは、デバイスの動き及び/又は姿勢の変化を検出するための1つ以上の加速度計又は姿勢センサ(例えば、加速度計(単数又は複数)167、ジャイロスコープ(単数又は複数)168、及び/又は磁気計(単数又は複数)169、図1A)を含む。いくつかの実施形態では、デバイスと通信しているウェアラブルオーディオ出力デバイス(単数又は複数)は、ウェアラブルオーディオ出力デバイス(単数又は複数)の動き及び/又は姿勢の変化を検出するための1つ以上の加速度計又は姿勢センサ(例えば、図3Bの別の入力デバイス(単数又は複数)306の一部として)を含む。方法600における一部の動作は、任意選択で組み合わされ、及び/又は、一部の動作の順序は、任意選択で変更される。
【0183】
以下に記載されるように、方法600は、1つ以上のウェアラブルオーディオ出力デバイス(ヘッドホン(単数又は複数)又はインイヤーイヤホン(単数又は複数))を着用しているユーザに、ユーザがウェアラブルオーディオ出力デバイス(単数又は複数)を着用していない間に関連する電子デバイスで発生したイベントの音声通知を自動的に提供する。特定の条件が満たされたときに(例えば、ウェアラブルオーディオ出力デバイス(単数又は複数)の特定の配置)更なるユーザ入力を必要とすることなく音声通知を自動的に提供することで、ユーザが聞き逃したイベントに関する情報を取得しやすくし、デバイス使用及び処理の範囲を縮小し、これにより、デバイスの操作性を向上させ、(例えば、ユーザが所望の情報を取得するのを助けてユーザの誤りを低減することによって)ユーザデバイスインタフェースをより効率的にし、デバイスのバッテリ寿命を改善する。
【0184】
1つ以上のウェアラブルオーディオ出力デバイスがユーザの耳に対してそれぞれの位置にない間に、デバイスは、1つ以上のオーディオ出力デバイスを介してイベントに対応する通知を出力することなく、複数のイベントの発生を検出する(602)。
【0185】
複数のイベントの発生を検出した後、デバイスは、1つ以上の(配置)センサを介して、1つ以上のウェアラブルオーディオ出力デバイスがユーザの耳に対して(例えば、図5A及び図5G~5Hを参照して記載されたように、ユーザの耳の中、ユーザの耳上、又はユーザの耳の近く)それぞれの位置に配置されたことを検出する(604)。
【0186】
1つ以上の(配置)センサを介して、1つ以上のウェアラブルオーディオ出力デバイスがユーザの耳に対してそれぞれの位置に配置されたことに応答して、デバイスは、1つ以上のウェアラブルオーディオ出力デバイスを介して、複数のイベントのうちの任意の1つ以上に対応する1つ以上の音声通知を含む情報を出力する(606)。
【0187】
いくつかの実施形態では、1つ以上の音声通知は、複数のイベントの音声要約(例えば、音声要約506、図5A)を含む(608)。ユーザがウェアラブルオーディオ出力デバイス(単数又は複数)を着用していない間に発生したイベントの音声要約を提供することで、ユーザは、聞き逃したイベント情報をより迅速かつ容易に理解でき、電子デバイスのディスプレイ上に表示された視覚通知を通してユーザが見る必要性を低減するため、処理される必要がある入力の数が減少し、ディスプレイの電源をオンにする必要がある時間が減少し、これにより、デバイスの操作性を向上させ、電力使用を低減し、デバイスのバッテリ寿命を改善する。
【0188】
いくつかの実施形態では、複数のイベントを表すオーディオコンテンツの長さが所定の長さを超過しない(610)という判定に従って、音声要約はオーディオコンテンツを含み、複数のイベントを表すオーディオコンテンツの長さが所定の長さを超過するという判定に従って、音声要約は、オーディオコンテンツの全ては含まない(例えば、その関連するオーディオコンテンツの全てを出力するのではなく、その対応するイベントを要約する音声通知564及び566、図5H)。オーディオコンテンツの全長(例えば、予測された全長)が長すぎる(例えば、所定の長さよりも長い)ときにイベントの音声要約で提供されるコンテンツの量を削減することで、音声要約の侵入性を低減し、ユーザの気が散る機会を低減しながらイベント情報をより効率的に提示する。これにより、ユーザが聴覚的にであれデバイスのディスプレイ上で視覚的にであれ、1回以上追加で通知を確認する必要性を低減するため、処理される必要がある入力の数が減少し、ディスプレイの電源をオンにする必要がある時間が減少し、これにより、デバイスの操作性を向上させ、電力使用を低減し、デバイスのバッテリ寿命を改善する。
【0189】
いくつかの実施形態では、情報は、それぞれの時間周期(例えば、1つ以上のウェアラブルオーディオ出力デバイスがユーザの耳に対してそれぞれの位置に配置された特定の日の間)に関連付けられた(例えば、その期間内に発生しているか又は発生すると予定/予測されている)1つ以上のイベント(例えば、受信した通知、時間ベースの警告、近接ベースの警告、カレンダイベントなど)に対応する1つ以上の音声通知を含む(612)。いくつかの実施形態では、それぞれの時間周期は、過去の時間(例えば、1日の始まり、又は1つ以上のウェアラブルオーディオ出力デバイスがユーザの耳に対してそれぞれの位置で前回検出された時間)に始まり、現在の時刻(例えば、1つ以上のウェアラブルオーディオ出力デバイスがユーザの耳に対してそれぞれの位置に配置されている時間)まで続く時間周期である。いくつかの実施形態では、それぞれの時間周期は(例えば、上述の時間周期に加えて)、現在の時刻(例えば、1つ以上のウェアラブルオーディオ出力デバイスがユーザの耳に対してそれぞれの位置に配置されている時間)に始まり、未来の時間(例えば、1日の終わりなど)まで続く時間周期を含む。例えば、音声要約506(図5A)は、ユーザ500がイヤホン502を着用する前に聞き逃したイベントに対応する音声通知、及び今後のイベントを含む、特定の日のイベントに対応する音声通知を含む。
【0190】
対象とする所与の時間周期(オーディオ出力デバイス(単数又は複数)がユーザの耳の中又は近くに配置された特定の日、又はユーザの耳内へのオーディオ出力デバイス(単数又は複数)の配置の前又は後の時間周期など)に関連付けられたイベントの要約により、ユーザは、所与の時間周期(聞き逃したイベント又は今後のイベントなど)のイベント情報をより迅速かつ容易に理解できるようになる。これにより、ユーザが聴覚的にであれデバイスのディスプレイ上で視覚的にであれ、逃した通知又は今後のイベントを確認する必要性を低減するため、処理される必要がある入力の数が減少し、ディスプレイの電源をオンにする必要がある時間が減少し、これにより、デバイスの操作性を向上させ、電力使用を低減し、デバイスのバッテリ寿命を改善する。
【0191】
いくつかの実施形態では、1つ以上のウェアラブルオーディオ出力デバイスがユーザの耳に対してそれぞれの位置に配置されたことの検出に応答して、それぞれの時間周期に関連付けられた1つ以上のイベントに対応する1つ以上の音声通知を出力することは、1つ以上のウェアラブルオーディオ出力デバイスが、それぞれの時間周期の間の初期時間にユーザの耳に対してそれぞれの位置に配置されているという判定に従って、実行される(614)(例えば、図5Aを参照して本明細書で述べられたように、1つ以上のウェアラブルオーディオ出力デバイスは、それぞれの時間周期の間にユーザの耳に対してそれぞれの位置に予め配置されていない)。いくつかの実施形態では、1つ以上のウェアラブルオーディオ出力デバイスがユーザの耳に対してそれぞれの位置に配置されていることを検出した後、デバイスは、1つ以上のセンサを介して、1つ以上のウェアラブルオーディオ出力デバイスが、それぞれの時間周期の間の後の時間に(又は時刻に)それぞれの位置に配置されていることを検出する(例えば、1つ以上のウェアラブルオーディオ出力デバイスは、それぞれの位置から取り外された後、それぞれの位置に再び配置される)。いくつかの実施形態では、1つ以上のセンサを介して、1つ以上のウェアラブルオーディオ出力デバイスがそれぞれの時間周期の間の後の時間に(又は時刻に)それぞれの位置に配置されていることを検出することに応答して、デバイスは、それぞれの時間周期に関連付けられた1つ以上のイベントに対応する音声通知を出力することを取り止める。例えば、同じ日のうちにイヤホン502がユーザ500の耳内に引き続き取り外されて配置されても、音声要約506(図5A)は提供されない(ただし、イヤホン502がユーザ500の耳内にない間の介在時間中に聞き逃したイベントの音声通知は依然として提供され得る)。所定の時間周期に1回だけイベントの音声通知を提供することで、ユーザに提供されるイベント情報の冗長性を低減し、これによって音声通知の侵入性を低減してデバイス処理を低減し(例えば、音声通知がユーザに提供される必要がある回数を低減することによって)、これにより、デバイスの操作性を向上させ、ユーザデバイスインタフェースをより効率的にし(例えば、デバイスを操作/デバイスと対話しているときにユーザが意図された結果を達成するのを助け、ユーザの誤りを低減することによって)、更にこれにより、ユーザがデバイスをより迅速かつ効率的に使用することを可能にすることによって、電力使用を低減し、デバイスのバッテリ寿命を改善する。
【0192】
いくつかの実施形態では、情報は、ユーザの耳に対するそれぞれの位置への1つ以上のウェアラブルオーディオ出力デバイスの配置に続く所定の期間内に発生する予定の、又は発生すると予測される1つ以上のイベントに対応する、1つ以上の音声通知(例えば、図5Aの音声要約506に示されるような今後のイベント)を含む(616)。いくつかの実施形態では、所定の期間は、1つ以上のウェアラブルオーディオ出力デバイスがユーザの耳に対してそれぞれの位置に配置された特定の日の残りに対応する。今後のイベントの音声通知を自動的に提供することで、ユーザがイベント情報を確認するためにデバイスに入力を提供する必要性を低減し、ユーザが電子デバイスのディスプレイ上で視覚的にイベント情報を見る必要性を低減するため、処理される必要がある入力の数が減少し、ディスプレイの電源をオンにする必要がある時間が減少し、これにより、デバイスの操作性を向上させ、電力使用を低減し、デバイスのバッテリ寿命を改善する。
【0193】
いくつかの実施形態では、1つ以上の音声通知を出力することは、複数のイベントのうちの第1イベントに対応する第1音声通知を出力することを含む(618)。いくつかの実施形態では、電子デバイスが第1コンテキスト内にあるという判定に従って、第1音声通知は、第1コンテキストに対応する第1オーディオコンテンツを含み、電子デバイスが第1コンテキストとは異なる第2コンテキスト内にあるという判定に従って、第1音声通知は、第1オーディオコンテンツとは異なる、第2コンテキストに対応する第2オーディオコンテンツを含む。例えば、図5Dに関して本明細書に記載され、以下で更に論じられるように、第1及び第2コンテキストは、第1の地理的位置及び第1の地理的位置を含む地理的領域については、別個の第1及び第2の地理的位置、又は第1及び第2の地理的領域であり得る。別の例を以下で説明する。音声通知内のイベント情報のコンテキスト依存の提示は、電子デバイスの所与のコンテキストに有用な(及びデバイスの異なるコンテキストでは有用でない場合がある)情報をユーザに提供し、こうしてユーザに提供されるイベント情報の冗長性を低減することと十分な情報を提供することを両立させ、これによってユーザに改善されたフィードバックを提供し、デバイスの操作性を向上させてユーザデバイスインタフェースをより効率的にし(例えば、デバイスを操作/デバイスと対話しているときにユーザが意図された結果を達成するのを助け、ユーザの誤りを低減することによって)、更にこれにより、ユーザがデバイスをより迅速かつ効率的に使用することを可能にすることによって、電力使用を低減し、デバイスのバッテリ寿命を改善する。
【0194】
いくつかの実施形態では、第1イベントは、第1の地理的位置で発生している(及び、いくつかの実施形態ではイベント時間及び/又はイベントタイトルを有する)カレンダイベントに対応し(620)、第1の地理的位置は、位置階層内の複数の階層レベルのそれぞれの位置情報を含む。いくつかの実施形態では、電子デバイスが第1コンテキスト内にあるという判定は、電子デバイスの位置が第1の地理的位置と同じ第1の地理的領域内(例えば、同じ建物内、同じブロック内、同じ市内など)にあると判定することを含み、第1の地理的領域は、位置階層内の第1の階層レベルに対応する。いくつかの実施形態では、第1オーディオコンテンツは、位置階層内の第1の階層レベルよりも低い階層レベルのそれぞれの位置情報を含む。いくつかの実施形態では、第1の範囲は、やはり電子デバイスの位置を含む第1の地理的位置を取り囲む最小範囲である。いくつかの実施形態では、第1オーディオコンテンツは、イベント時間及び/又はイベントタイトルを含む。いくつかの実施形態では、第1オーディオコンテンツは、第1の階層レベル以上の階層レベルのそれぞれの位置情報を除外する。
【0195】
いくつかの実施形態では、電子デバイスが第2コンテキスト内にあるという判定は、電子デバイスの位置が第1の地理的位置と同じ第2の地理的領域内にあると判定することを含み、第2の地理的領域は、第1の地理的領域とは異なっており、位置階層内の、第1の階層レベルとは異なる第2の階層レベルに対応する。いくつかの実施形態では、第2オーディオコンテンツは、位置階層内の第2の階層レベルよりも低い階層レベルのそれぞれの位置情報を含む。いくつかの実施形態では、第2の地理的領域は、やはり電子デバイスの位置を含む第1の地理的位置を取り囲む最小範囲である。いくつかの実施形態では、第2オーディオコンテンツは、位置階層内の第2の階層レベルよりも低い階層レベルの前述のそれぞれの位置情報に加えて、イベント時間及び/又はイベントタイトルを含む。いくつかの実施形態では、第2オーディオコンテンツは、第2の階層レベル以上の階層レベルのそれぞれの位置情報を除外する。
【0196】
デバイスのユーザが目的地の場所(ミーティング場所など)と同じ特定の地理的領域内にいるとき、より大きい地理的領域に関する外部からの位置情報を提供することなく、目的地までナビゲートするのにユーザにとって有用な情報を提供することで、ユーザに提供されるイベント情報の冗長性を低減することと十分な情報を提供することを両立させ、これによってユーザに改善されたフィードバックを提供し、デバイスの操作性を向上させてユーザデバイスインタフェースをより効率的にし(例えば、デバイスを操作/デバイスと対話しているときにユーザが意図された結果を達成するのを助け、ユーザの誤りを低減することによって)、更にこれにより、ユーザがデバイスをより迅速かつ効率的に使用することを可能にすることによって、電力使用を低減し、デバイスのバッテリ寿命を改善する。イベントに関連付けられた地理的情報のコンテキスト依存の提示は、図5Dを参照して本明細書により詳細に記載される。
【0197】
いくつかの実施形態では、第1イベントは、第1の連絡先から受信した第1のメッセージに対応する(622)。いくつかの実施形態では、電子デバイスが第1コンテキスト内にあるという判定は、第1の連絡先の識別子の第1の部分(例えば、呼び名又は下の名前)が、電子デバイスに記憶された連絡先のリスト内の少なくとも1つの別の連絡先の識別子の第1の部分と同じである(又は、いくつかの実施形態では、ユーザが1年以内など、以前の規定の時間内に第1の連絡先と通信していない)と判定することを含む。いくつかの実施形態では、第1オーディオコンテンツは、第1の連絡先の識別子の第1の部分、第1の連絡先の識別子の第2の部分(例えば、姓又は名字)、及び第1のメッセージのコンテンツを含む。いくつかの実施形態では、電子デバイスが第2コンテキスト内にあるという判定は、第1の連絡先の識別子の第1の部分(例えば、呼び名又は下の名前)が連絡先のリスト内の他のいずれの連絡先の識別子の第1の部分でもないと判定することを含む。いくつかの実施形態では、第2オーディオコンテンツは、識別子の第2の部分を含まずに、第1の連絡先の識別子の第1の部分及び第1のメッセージのコンテンツを含む。
【0198】
いくつかの実施形態では、電子デバイスが第1コンテキスト内にあるという判定は、電子デバイスのユーザが、少なくとも以前の規定の時間内に第1の連絡先と通信した(例えば、ユーザが1年以内に第1の連絡先にメッセージを送信した、又はメッセージを受信した)と判定することを、更に含む。いくつかの実施形態では、第1オーディオコンテンツは、ユーザの連絡先リスト識別子の同じ第1の部分(例えば、呼び名又は下の名前)を持つ別の名前がユーザの連絡先リストにない場合、第1の連絡先の識別子の第2の部分(例えば、姓又は名字)を除外する。メッセージの送信者の身元が送信者に関する特定の識別情報及びコンテキストから推定され得るとき(例えば、ユーザがその送信者と最近通信したため、及び/又は送信者がユーザのアドレス帳又は別の形態の連絡先リスト又はユーザに適用可能な連絡先情報の別のソース(単数又は複数)内で固有の名前を有するため)、無関係の識別情報を提供することなく送信者に関する特定の情報のみを提供することで、ユーザに提供されるイベント情報の冗長性を低減することと十分な情報を提供することを両立し、これによってデバイス処理を低減し、これにより、デバイスの操作性を向上させ、電力使用を低減し、デバイスのバッテリ寿命を改善する。連絡先名の一部のコンテキスト依存の包含/省略は、少なくとも図5B~5Cを参照して、本明細書により詳細に記載される。
【0199】
いくつかの実施形態では、又はいくつかの状況では、第1イベントは、第1の連絡先からの第1のメッセージに対応する(例えば、デバイスは、第1イベントが第1の連絡先からのそれぞれのメッセージに対応すると判定する)(624)。いくつかの実施形態では、電子デバイスが第1コンテキスト内にあるという判定は、第1イベントが、第1の連絡先からの第2のメッセージ(例えば、第1のメッセージの前に送信又は受信された第2のメッセージ)に対応する、複数のイベントのうちの第2イベントに連続して続かないと判定することを含む。いくつかの実施形態では、第1オーディオコンテンツは、第1の連絡先の識別子、及び第1のメッセージのコンテンツを含む。いくつかの実施形態では、又はいくつかの状況では、第1イベントは、以下の理由のため(例えば、デバイスが以下のように判定するため)、第1の連絡先からの第2のメッセージに対応する、複数のイベントのうちの第2イベントに連続して続かない。第1イベントが複数のイベントのうちの最初のイベントである、第1イベントは第2イベントに連続して続くが、第2イベントが第2のメッセージに対応しない、又は第1イベント及び第2(例えば、前の)イベントの両方が第1の連絡先からのメッセージに対応するが、第1イベントと第2イベントとの間で1つ以上の介在するイベントが検出される。いくつかの実施形態では、動作622を参照して本明細書に記載されるように、それぞれの連絡先の識別子は、第1の部分、及び任意選択的に第2の部分を含む。
【0200】
いくつかの実施形態では、電子デバイスが第2コンテキスト内にあるという判定は、第1イベントが、第1の連絡先からの第2のメッセージ(例えば、第1のメッセージの前に送信又は受信された第2のメッセージ)に対応する、複数のイベントのうちの第2イベントに連続して続かない(例えば、介在するイベントが検出されない)と判定することを含む。いくつかの実施形態では、第2オーディオコンテンツは、第1のメッセージのコンテンツを含み、第1の連絡先の識別子を含まない。所与のメッセージの送信者の身元が、所与のメッセージの直前に先行する以前のメッセージ(例えば、介在するイベントが発生していない)で提供された識別情報から推定され得るとき、所与のメッセージの送信者の識別情報を省略することで、ユーザに提供されるイベント情報の冗長性を低減してデバイス処理を低減し、これにより、デバイスの操作性を向上させ、電力使用を低減し、デバイスのバッテリ寿命を改善する。連絡先名の一部のコンテキスト依存の包含/省略は、少なくとも図5B~5Cを参照して、本明細書により詳細に記載される。
【0201】
いくつかの実施形態では、又はいくつかの状況では、第1イベントは、それぞれのグループのグループメッセージセッションの一部である第1のメッセージに対応する(626)(例えば、デバイスがこのように判定する)。少なくとも部分的にグループメッセージに基づいて判定されたコンテキストの例は、図5Cを参照して本明細書に記載される。いくつかの実施形態では、電子デバイスが第1コンテキスト内にあるという判定は、第1イベントが、グループメッセージセッションの一部である第2のメッセージ(例えば、第1のメッセージの前又は後に送信又は受信された、グループメッセージセッションの一部としての第2のメッセージ)に対応する、複数のイベントのうちの第2イベントに連続して続かないと判定することを含む。いくつかの実施形態では、第1オーディオコンテンツは、それぞれのグループ又はグループメッセージセッションの識別子、及び第1のメッセージのコンテンツを含む。いくつかの実施形態では、第1イベントは、以下の理由のため(例えば、デバイスが以下のように判定するため)、グループメッセージセッションの一部である第2のメッセージに対応する、複数のイベントのうちの第2イベントに連続して続かない。第1イベントが複数のイベントのうちの最初のイベントである、第1イベントは第2イベントに連続して続くが、第2イベントが、グループメッセージセッションの一部であるメッセージに対応しない、又は第1イベント及び第2(例えば、前の)イベントの両方が、グループメッセージセッションの一部であるメッセージに対応するが、第1イベントと第2イベントとの間で1つ以上の介在するイベントが検出される。
【0202】
いくつかの実施形態では、グループメッセージセッションの識別子は、グループメッセージセッションの名前を含む。いくつかの実施形態では、グループメッセージセッションの識別子は、グループメッセージセッション内の一人以上(又は全て)の参加者の識別子を含む。いくつかの実施形態では、第1のメッセージはそれぞれの連絡先からであり、第1オーディオコンテンツは、第1の連絡先の識別子を含む。いくつかの実施形態では、動作622を参照して本明細書に記載されるように、それぞれの連絡先の識別子は、第1の部分、及び任意選択的に第2の部分を含む。
【0203】
いくつかの実施形態では、電子デバイスが第2コンテキスト内にあるという判定は、第1イベントが、グループメッセージセッションの一部である第2のメッセージ(例えば、グループメッセージセッションの一部として第1のメッセージの前又は後に送信又は受信された第2のメッセージ)に対応する、(例えば、介在するイベントが検出されない)複数のイベントのうちの第2イベントに連続して続くと判定することを含む。いくつかの実施形態では、第2オーディオコンテンツは、第1のメッセージのコンテンツを含み、それぞれのグループ又はグループメッセージセッションの識別子を含まない。いくつかの実施形態では、第1のメッセージは第1の連絡先からであり、第2のメッセージは、第1の連絡先とは異なる第2の連絡先からであり、そのため、第1オーディオコンテンツは、動作622を参照して本明細書に記載されるように、第1の連絡先の識別子を含む(例えば、第1の部分、及び任意選択的に第2の部分を含む)。いくつかの実施形態では第1のメッセージ及び第2のメッセージは、同じそれぞれの連絡先からであり、そのため、第1オーディオコンテンツは、動作622を参照して本明細書に記載されるように、第1の連絡先の識別子を含まない。
【0204】
所与のメッセージがグループメッセージセッションの一部として受信され、グループの身元が、所与のメッセージの直前に先行する以前のメッセージ(例えば、介在するイベントが発生していない)で提供された識別情報から推定され得るとき、所与のメッセージのグループの識別情報を省略することで、ユーザに提供されるイベント情報の冗長性を低減してデバイス処理を低減し、これにより、デバイスの操作性を向上させ、電力使用を低減し、デバイスのバッテリ寿命を改善する。グループ識別子のコンテキスト依存の包含/省略は、少なくとも図5B~5Cを参照して、本明細書により詳細に記載される。
【0205】
いくつかの実施形態では、1つ以上の音声通知を出力することは、複数のイベントのうちの第1のそれぞれのイベントに対応する第1のそれぞれの音声通知を出力することを含む(628)。いくつかの実施形態では、第1のそれぞれのイベントは、第1の通知クラスに関連付けられた第1のアプリケーションに対応し、第1のそれぞれの音声通知は、第1の通知クラスによって定義された第1の構造を有する。いくつかの実施形態では、アプリケーションは、アプリケーションに関連付けられたイベントが関連付けられるそれぞれの通知クラスを指定する。いくつかの実施形態では、それぞれの通知クラスに関連付けられたそれぞれの構造は、アプリケーション非依存モジュールによって(例えば、電子デバイスのオペレーティングシステムによって、又はアプリケーションプログラミングインタフェースによって)定義される。いくつかの実施形態では、第1の構造は、それぞれの音声通知に含めるために、オーディオコンテンツの第1のセットを指定する。いくつかの実施形態では、第2のそれぞれのイベントに関連付けられた第2のアプリケーションが第1の通知クラスとは異なる第2の通知クラスに関連付けられているという判定に従って、第2のそれぞれの音声通知は、第2の通知クラスによって定義された、異なる第2の構造(例えば、第2のそれぞれの音声通知に含めるために指定されたオーディオコンテンツの第2のセット)を有する。
【0206】
例えば、カレンダイベント招待530及び540の音声通知538及び548は、カレンダタイプイベントの通知構造を定義するカレンダイベント通知クラスによって定義された通知構造を有してもよい。イベントが関連付けられた通知クラスによって定義された構造を使用してイベントの音声通知を出力することで、ユーザがイベント情報をより容易に理解できるように、イベント情報がどのように提示されるかの一貫性を提供する。加えて、所与の通知クラスに関連付けられた音声通知のために正規化された通知構造を使用することで、どの情報を含めるかを判定して音声通知を出力する際に必要な計算を削減し、これにより、デバイスの操作性を向上させ、電力使用を低減し、デバイスのバッテリ寿命を改善する。
【0207】
いくつかの実施形態では、1つ以上の音声通知を出力することは、複数のイベントのうちの第2のそれぞれのイベントに対応する第2のそれぞれの音声通知を出力することを含む(630)。いくつかの実施形態では、第2のそれぞれのイベントは第2のアプリケーションに対応し、第2のそれぞれの音声通知は、第2のアプリケーションによって定義された第2の構造を有する。いくつかの実施形態では、第2の構造は、第2のそれぞれの音声通知に含めるために、オーディオコンテンツの第2のセットを指定する。いくつかの実施形態では、複数のイベントのうちの第3のそれぞれのイベントが第2のアプリケーションとは異なる第3のアプリケーションに関連付けられているという判定に従って、第3のそれぞれの音声通知は、第3のアプリケーションによって定義された、異なる第3の構造(例えば、第3のそれぞれの音声通知に含めるために指定されたオーディオコンテンツの第3のセット)を有する。
【0208】
例えば、カレンダイベント招待530及び540の音声通知538及び548は、イベントが関連付けられたカレンダアプリケーションによって定義された通知構造を有してもよい。イベントが異なるカレンダアプリケーションに関連付けられている場合、イベントは、各カレンダアプリケーションによって別々に定義された異なる通知構造を有してもよい。イベントが関連付けられたアプリケーションによって定義又は指定された構造を使用して音声通知を出力することで、関連付けられた音声通知内にどの情報が存在するかを判断する際により大きな柔軟性を個々のアプリケーションに提供し、音声通知においてユーザにとってどの情報が有用かについて、アプリケーション開発者の好み及び判定を考慮する。加えて、所与のアプリケーションの音声通知のためにアプリケーション指定の構造を使用することで、どの情報を含めるかを判定して音声通知を出力する際に必要な計算を削減し、これにより、デバイスの操作性を強化し、電力使用を低減し、デバイスのバッテリ寿命を改善する。
【0209】
図6A図6Eにおける動作について説明された特定の順序は単なる例であり、説明された順序は、動作を実行することができる唯一の順序であることを示すことを意図するものではないことを理解されたい。当業者であれば、本明細書に記載される動作を再順序付けるための様々な方法を認識するであろう。加えて、本明細書に記載される1つ以上の他の方法(例えば、方法700、800、900、及び/又は1000)に関して本明細書に記載される他のプロセスの詳細は又、図6A~6Eに関して上記した方法600にも、類似の様式で適用可能であることに留意されたい。例えば、方法600を参照して上述されたデバイス、又はその構成要素、イベント、音声通知、及び入力は、任意選択的に、本明細書に記載される他の方法(例えば、方法700、800、900、及び/又は1000)の任意の1つ以上を参照して本明細書に記載されるデバイス、又はその構成要素、イベント、音声通知、及び入力の特性のうちの任意の1つ以上を有する。簡潔にするために、それらの詳細はここでは繰り返さない。
【0210】
図7A~7Cは、いくつかの実施形態に係る、イベントに関する追加情報を伝達するためのオーディオコンテキストを提供する方法700を示すフロー図である。方法700は、1つ以上のオーディオ出力デバイス(例えば、デバイス100のスピーカ111、図1A、又はウェアラブルオーディオ出力デバイス301のスピーカ(単数又は複数)306、図3Bなどの、1つ以上のスピーカ)と(例えば、有線又は無線接続を介して)通信している(又はこれらを含む)、電子デバイス(例えば、電話、コンピュータ、ヘッドホン、又は1つ以上のイヤーバッドなどの、ポータブル多機能デバイス100、図1A、又はデバイス300、図3A)において実行される。いくつかの実施形態では、デバイスは、1つ以上のウェアラブルオーディオ出力デバイス(例えば、電子デバイスとは別個のインイヤーイヤホン、オーバーイヤーヘッドホンなどの、ウェアラブルオーディオ出力デバイス301、図3B)である。いくつかの実施形態では、デバイスは、1つ以上のオーディオ出力デバイス(例えば、配置センサ(単数又は複数)304、図3B)の配置を検出するための1つ以上のセンサを含む。いくつかの実施形態では、デバイスは、ディスプレイ(例えば、タッチスクリーン112、図1A、又はディスプレイ340、図3A)及び/又はタッチ感知面(例えば、タッチスクリーン112、図1A、又はタッチパッド355、図3A)を含む。いくつかの実施形態では、デバイスは、1つ以上のオーディオ入力デバイス(例えば、マイクロフォン113、図1A、又はマイクロフォン(単数又は複数)302、図3B)を含む。いくつかの実施形態では、デバイスは、回転可能入力機構(例えば、図1Aの別の入力コントローラ(単数又は複数)160の一部として)を含み、これは、入力機構(例えば、腕時計の竜頭)を回転させることによってデバイスに入力を提供するために使用され得る。いくつかの実施形態では、デバイスは、デバイスの動き及び/又は姿勢の変化を検出するための1つ以上の加速度計又は姿勢センサ(例えば、加速度計(単数又は複数)167、ジャイロスコープ(単数又は複数)168、及び/又は磁気計(単数又は複数)169、図1A)を含む。オーディオ出力デバイス(単数又は複数)がデバイスとは別個であってデバイスと通信しているいくつかの実施形態では、オーディオ出力デバイス(単数又は複数)は、ウェアラブルオーディオ出力デバイス(単数又は複数)の動き及び/又は姿勢の変化を検出するための1つ以上の加速度計又は姿勢センサ(例えば、図3Bの別の入力デバイス(単数又は複数)306の一部として)を含む。方法700における一部の動作は、任意選択で組み合わされ、及び/又は、一部の動作の順序は、任意選択で変更される。
【0211】
以下に記載されるように、方法700は、異なる特性(例えば、送信者/開始者、値などが異なる)を有するイベントに関連付けられた異なるタイプの音声通知(例えば、空間位置、音量、コンテンツなどが異なる)に関連付けられたオーディオ出力特性に変化を持たせる。疑似空間位置と呼ばれることもある空間位置は、オーディオ出力の知覚特性であることに留意されたい。空間位置は、オーディオ出力を生成するスピーカの物理的位置とは異なる三次元空間内の特定の空間位置から来るものとしてオーディオ出力が知覚されるように、周知の音声合成技術を使用して、制御又は変更されることが可能である。一般に、オーディオ出力の空間位置を変化させるには、少なくとも2つのスピーカが必要である。関連するイベントの特性(単数又は複数)に基づいて音声通知のオーディオ出力を変化させることで、ユーザが異なるタイプのイベント及び異なるイベント情報を区別するのを助ける。向上したフィードバックを提供することにより、デバイスの操作性が向上し、ユーザとデバイスのインタフェースがより効率的となり(例えば、ユーザが意図する結果を達成することを補助することにより、そして、デバイスの操作時/デバイスとの相互作用時にユーザの失敗を減らすことにより)、これによって更に、ユーザがデバイスをより迅速かつ効率的に使用することが可能となって、デバイスの電力使用を低減し、バッテリ寿命を改善する。
【0212】
デバイスは、イベント(例えば、最近の通知、受信メッセージなどを再生する要求)の発生を検出する(702)。
【0213】
イベントの発生の検出に応答して、デバイスは、1つ以上のオーディオ出力デバイスを介して、イベントを表すオーディオコンテンツ(例えば、受信メッセージのコンテンツ、ユーザ間のトランザクションの指示などを含むオーディオコンテンツ)を含む音声通知を出力する(704)。
【0214】
イベントが第1の特性群のうちの第1特性に関連付けられている(706)という判定(例えば、イベントが複数のユーザのうちの第1のユーザによって送信又は開始された、イベントが値の範囲の第1の値(例えば、第1のトランザクション値)に関連付けられているなど)に従って、音声通知は、イベントを表すオーディオコンテンツを含み、第1特性に基づいて選択された第1オーディオ出力特性(例えば、第1の空間位置、第1の大きさ、第1の音響効果など)を有する。イベントが、第1特性とは異なる第1の特性群のうちの第2特性に関連付けられているという判定(例えば、複数のユーザのうちの第2のユーザ、値の範囲の第2の値など)に従って、音声通知は、イベントを表すオーディオコンテンツを含み、第2特性に基づいて選択された、第1出力特性とは異なる第2オーディオ出力特性(例えば、第2の空間位置、第2の大きさ、第2の音響効果など)を有する。例えば、図5Cを参照して本明細書に記載されるように、異なる送信者からのメッセージの音声通知は、ユーザがメッセージ間で区別するのを助けるために、異なる空間位置に関連付けられ、そこで出力されてもよい。
【0215】
いくつかの実施形態では、イベントが第1の特性群の第1特性に関連付けられているという判定は、イベントが複数のユーザのうちの第1のユーザによって開始されたという判定を含み(708)、イベントが第1の特性群の第2特性に関連付けられているという判定は、イベントが複数のユーザのうちの第2のユーザによって開始されたという判定を含む。いくつかの実施形態では、第1オーディオ出力特性は、第1のユーザに関連付けられた第1の空間位置を含む。いくつかの実施形態では、第1の空間位置は、第1のユーザの物理的位置とは無関係である(例えば、これと関係なく選択される)。例えば、第1の空間位置は、図5Cに示されるように、1対のイヤホン502の位置に対する位置であってもよい。いくつかの実施形態では、第2オーディオ出力特性は、第1の位置とは異なり、第2のユーザに関連付けられた、第2の空間位置を含む。いくつかの実施形態では、第2の空間位置は、第2のユーザの物理的位置とは無関係である(例えば、これと関係なく選択される)。いくつかの実施形態では、第1の空間位置と第2の空間位置との間の空間的関係は、第1のユーザの物理的位置と第2のユーザの物理的位置との間の空間的関係とは無関係である。例えば、図5Cを参照して本明細書に記載されるように、グループメッセージにおける参加者からのメッセージの音声通知は、図5Cに示されるように、ユーザがメッセージ間で区別するのを助けるために、1対のイヤホン502の位置に対して異なる空間位置に関連付けられ、そこで出力されてもよい。
【0216】
異なるユーザ(例えば、受信メッセージの異なる送信者)によって開始されたイベントを異なる空間位置(例えば、異なる疑似空間位置)に関連付け、異なる空間位置でイベントの対応する音声通知を出力することで、ユーザ(例えば、受信者ユーザ)が音声通知の開始者を識別し、これらを区別するのを助ける。加えて、一部の場合には、異なるイベント開始者/送信者に異なる空間位置を使用することで、ユーザが特定のイベント又はメッセージの送信者を識別するのを助けるために、言語で、視覚的に、又は他の方法でユーザに提供される必要がある情報の量を低減する(例えば、送信者の1つ以上の名前が省略され得る)。これらの利益は、改善されたフィードバックをユーザに提供して(例えば、ユーザに提供される必要がある情報の量を低減することによって)デバイス処理を削減し、これにより、デバイスの操作性を向上させ、(例えば、デバイスを操作する/デバイスと対話するときにユーザが意図した結果を達成するのを助け、ユーザの誤りを削減することによって)ユーザ-デバイスインタフェースをより効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
【0217】
いくつかの実施形態では、イベントが第1の特性群の第1特性に関連付けられているという判定は、イベントが複数のユーザのうちの第1のユーザによって開始されたという判定を含み(710)、イベントが第1の特性群の第2特性に関連付けられているという判定は、イベントが複数のユーザのうちの第2のユーザによって開始されたという判定を含む。いくつかの実施形態では、第1オーディオ出力特性は、第1のユーザに関連付けられた第1のオーディオトーンを含み、第2オーディオ出力特性は、第1のオーディオトーンとは異なり、第2のユーザに関連付けられた、第2のオーディオトーンを含む。音声通知を出力するために使用されるオーディオトーンを変化させることによって異なる送信者からの音声通知を区別することは、図5Cを参照して本明細書に記載されている。異なるオーディオトーンを異なるユーザ(例えば、受信メッセージの異なる送信者)によって開始されたイベントに関連付け、これらの異なるオーディオトーンをイベントの対応する音声通知に組み込むことで、ユーザが音声通知の開始者を識別し、これらを区別するのを助ける。加えて、一部の場合には、異なるイベント開始者/送信者に異なるオーディオトーンを使用することで、ユーザが特定のイベント又はメッセージの送信者を識別するのを助けるために、言語で、視覚的に、又は他の方法でユーザに提供される必要がある情報の量を低減する(例えば、送信者の1つ以上の名前が省略され得る)。これらの利益は、改善されたフィードバックをユーザに提供して(例えば、ユーザに提供される必要がある情報の量を低減することによって)デバイス処理を削減し、これにより、デバイスの操作性を向上させ、(例えば、デバイスを操作する/デバイスと対話するときにユーザが意図した結果を達成するのを助け、ユーザの誤りを削減することによって)ユーザ-デバイスインタフェースをより効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
【0218】
いくつかの実施形態では、イベントが第1の特性群の第1特性に関連付けられているという判定は、イベントが複数のユーザのうちの第1のユーザによって開始されたという判定を含み(712)、イベントが第1の特性群の第2特性に関連付けられているという判定は、イベントが複数のユーザのうちの第2のユーザによって開始されたという判定を含む。いくつかの実施形態では、イベントを表すオーディオコンテンツを含み、第1オーディオ出力特性を有する音声通知を出力することは、(例えば、検出されたイベントが第1のユーザからの音声通信を含むか否かに関わらず)第1のユーザに関連付けられた第1の疑似音声を使用して、イベントを表すオーディオコンテンツを含む音声通知を出力することを含む。いくつかの実施形態では、イベントを表すオーディオコンテンツを含み、第2オーディオ出力特性を有する音声通知を出力することは、(例えば、検出されたイベントが第2のユーザからの音声通信を含むか否かに関わらず)第1の疑似音声とは異なり、第2のユーザに関連付けられた、第2の疑似音声を使用して、イベントを表すオーディオコンテンツを含む音声通知を出力することを含む。音声通知を出力するために使用される疑似音声を変化させることによって異なる送信者からの音声通知を区別することは、図5Cを参照して本明細書に記載されている。
【0219】
異なる疑似音声を異なるユーザ(例えば、受信メッセージの異なる送信者)によって開始されたイベントに関連付け、異なる疑似音声を使用して対応する音声通知を出力することで、ユーザが音声通知の開始者を識別し、これらを区別するのを助ける。加えて、一部の場合には、異なるイベント開始者/送信者に異なる疑似音声を使用することで、ユーザが特定のイベント又はメッセージの送信者を識別するのを助けるために、言語で、視覚的に、又は他の方法でユーザに提供される必要がある情報の量を低減する(例えば、送信者の1つ以上の名前が省略され得る)。これらの利益は、改善されたフィードバックをユーザに提供して(例えば、ユーザに提供される必要がある情報の量を低減することによって)デバイス処理を削減し、これにより、デバイスの操作性を向上させ、(例えば、デバイスを操作する/デバイスと対話するときにユーザが意図した結果を達成するのを助け、ユーザの誤りを削減することによって)ユーザ-デバイスインタフェースをより効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
【0220】
いくつかの実施形態では、イベントが第1の特性群の第1特性に関連付けられているという判定は、イベントが、(例えば、デバイスのユーザと1つ以上の別のユーザ又はデバイスとの間のトランザクションの)第1のトランザクション値に関連付けられているという判定を含み(714)、イベントが第1の特性群の第2特性に関連付けられているという判定は、イベントが、第1のトランザクション値とは異なる第2のトランザクション値に関連付けられているという判定を含む。いくつかの実施形態では、第1オーディオ出力特性は、第1のトランザクション値を表す第1の音響効果を含み、第2オーディオ出力特性は、第1の音響効果とは異なり、第2のトランザクション値を表す、第2の音響効果を含む。いくつかの実施形態では、第1の音響効果は、第1のトランザクション値を表す第1の音量で再生されるそれぞれの音響効果を含み、第2の音響効果は、第2のトランザクション値を現す第2の音量で再生される、同じそれぞれの音響効果を含む。例えば、より大きいトランザクション値は、より高い音量で再生される音響効果によって表され、より小さいトランザクション値は、より低い音量で再生される同じ音響効果によって表される。いくつかの実施形態では、第2の音響効果は、第1の音響効果とは異なるタイプの音響効果を含む。対応する音声通知の音響効果及び/又は音量を変化させることによって異なる値のトランザクションの音声通知を区別することは、図5Eを参照して本明細書に記載されている。
【0221】
異なる音響効果及び/又は異なる音量を異なるトランザクション値に関連付けられたイベントに関連付け、異なる音響効果及び/又は異なる音量を使用して対応する音声通知を出力することで、ユーザが受信したトランザクションの値(又は相対値)を識別し、これらを区別するのを助ける。加えて、一部の場合には、適切な音響効果及び/又は音量を使用して、受信したトランザクションの値に関する情報をユーザに伝達することで、ユーザがトランザクションの値を識別するのを助けるために、言語で、視覚的に、又は他の方法でユーザに提供される必要がある情報の量を低減する(例えば、トランザクションの値の詳細が省略され得る)。これらの利益は、改善されたフィードバックをユーザに提供して(例えば、ユーザに提供される必要がある情報の量を低減することによって)デバイス処理を削減し、これにより、デバイスの操作性を向上させ、(例えば、デバイスを操作する/デバイスと対話するときにユーザが意図した結果を達成するのを助け、ユーザの誤りを削減することによって)ユーザ-デバイスインタフェースをより効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
【0222】
いくつかの実施形態では、イベントが第1の特性群の第1特性に関連付けられているという判定は、イベントが第1のタイプの通知(例えば、第1のタイプのメッセージ、若しくは第1のアプリケーション又はアプリケーションのグループに関連付けられた通知)であるという判定を含み(716)、イベントが第1の特性群の第2特性に関連付けられているという判定は、イベントが、第1のタイプの通知とは異なる第2のタイプの通知(例えば、第2のタイプのメッセージ、若しくは第2のアプリケーション又はアプリケーションのグループに関連付けられた通知)であるという判定を含む。いくつかの実施形態では、第1オーディオ出力特性は、第1のタイプの通知に関連付けられた第1バックグラウンドオーディオを含み、第2オーディオ出力特性は、第1バックグラウンドオーディオとは異なり、第2のタイプの通知に関連付けられた、第2バックグラウンドオーディオを含む。異なるバックグラウンドノイズを異なるタイプの通知に関連付け、これらの異なるバックグラウンドノイズを対応する音声通知に組み込むことで、ユーザが通知のタイプを識別し、これらを区別するのを助ける。向上したフィードバックをユーザに提供することにより、デバイスの操作性が向上し、ユーザとデバイスのインタフェースがより効率的となり(例えば、ユーザが意図する結果を達成することを補助することにより、そして、デバイスの操作時/デバイスとの相互作用時にユーザの失敗を減らすことにより)、これによって更に、ユーザがデバイスをより迅速かつ効率的に使用することが可能となって、デバイスの電力使用を低減し、バッテリ寿命を改善する。
【0223】
いくつかの実施形態では、イベントが第1の特性群の第1特性に関連付けられているという判定は、イベントが、第1のタイプのメッセージ(例えば、「グループメッセージ」と呼ばれることもある、3人以上のユーザ間のメッセージ)に関連付けられているという判定を含み(718)、イベントが第1の特性群の第2特性に関連付けられているという判定は、イベントが、第1のタイプのメッセージとは異なる第2のタイプのメッセージ(例えば、「個別メッセージ」と呼ばれることもある、2人のユーザ間のメッセージ)に関連付けられているという判定を含む。いくつかの実施形態では、第1オーディオ出力特性は、第1のタイプのメッセージに関連付けられた第1の空間位置(例えば、第1の疑似空間位置)を含み、第2オーディオ出力特性は、第1の位置とは異なり、第2のタイプのメッセージに関連付けられた、第2の空間位置(例えば、第2の疑似空間位置)を含む。異なる空間位置で対応する音声通知を出力することによってメッセージタイプ(例えば、個別対グループメッセージ)を区別することは、図5Cを参照して本明細書に記載されている。異なるタイプのメッセージを異なる空間位置(例えば、異なる疑似空間位置)に関連付け、異なる空間位置で対応する音声通知を出力することで、ユーザがメッセージタイプを識別し、これらを区別するのを助ける。向上したフィードバックをユーザに提供することにより、デバイスの操作性が向上し、ユーザとデバイスのインタフェースがより効率的となり(例えば、ユーザが意図する結果を達成することを補助することにより、そして、デバイスの操作時/デバイスとの相互作用時にユーザの失敗を減らすことにより)、これによって更に、ユーザがデバイスをより迅速かつ効率的に使用することが可能となって、デバイスの電力使用を低減し、バッテリ寿命を改善する。
【0224】
いくつかの実施形態では、第1のタイプのメッセージは、電子デバイスのユーザと少なくとも2人の他のユーザとの間のメッセージ(例えば、「グループメッセージ」)に対応し(720)、第2のタイプのメッセージは、電子デバイスのユーザと最大1人の他のユーザとの間のメッセージ(例えば、「個別メッセージ」)に対応する。
【0225】
いくつかの実施形態では、第1の空間位置は、ユーザの頭部の外側の疑似空間位置であり(722)、第2の空間位置は、ユーザの頭部の内側の疑似空間位置である。いくつかの実施形態では、ユーザの頭部の外側の疑似空間位置で音声通知を出力することは、オーディオコンテンツがユーザの頭部の外側から(又はユーザの頭部又は耳から少なくとも所定の距離離れた位置で)来るか又は外側で再生されているかのように聞こえるように、音声通知の関連するオーディオコンテンツを出力することを含む。いくつかの実施形態では、ユーザの頭部の内側の疑似空間位置で音声通知を出力することは、オーディオコンテンツがユーザの頭部の内側で再生されているかのように聞こえるように、音声通知の関連するオーディオコンテンツを出力することを含む。
【0226】
ユーザの頭部の「内側」及びユーザの頭部の「外側」の疑似空間位置でそれぞれ対応する音声通知を出力することによって個別メッセージをグループメッセージと区別することは、図5Cを参照して本明細書に記載されている。ユーザの頭部の「外側」で再生されているかのように聞こえるようにグループメッセージを提示する一方で、ユーザの頭部の「内側」で再生されているかのように聞こえるように擬似的な位置で個別メッセージを提示することで、ユーザが異なるタイプのメッセージを区別し、特にユーザに向けられたメッセージにより集中するのを助け、特にユーザに向けられて以内かも知れないグループメッセージセッションのメッセージからの注意散漫を低減する。向上したフィードバックをユーザに提供することにより、デバイスの操作性が向上し、ユーザとデバイスのインタフェースがより効率的となり(例えば、ユーザが意図する結果を達成することを補助することにより、そして、デバイスの操作時/デバイスとの相互作用時にユーザの失敗を減らすことにより)、これによって更に、ユーザがデバイスをより迅速かつ効率的に使用することが可能となって、デバイスの電力使用を低減し、バッテリ寿命を改善する。
【0227】
電子デバイスがディスプレイ及びタッチ感知面を含むいくつかの実施形態では、デバイスは、ディスプレイ上に、ユーザインタフェースを表示する(724)。ユーザインタフェースは、1つ以上のオーディオ出力デバイスの表現と、第1のタイプのメッセージを表し、ユーザインタフェース内の第1の位置に表示される第1のユーザインタフェース要素であって、ユーザインタフェース内の第1の位置は、第1のタイプのメッセージに関連付けられた第1の空間位置を定義する、第1のユーザインタフェース要素と、第2のタイプのメッセージを表し、ユーザインタフェース内の第2の位置に表示される第2のユーザインタフェース要素であって、ユーザインタフェース内の第2の位置は、第2のタイプのメッセージに関連付けられた第2の空間位置を定義する、第2のユーザインタフェース要素と、を含む。いくつかの実施形態では、デバイスは、タッチ感知面上で、第1のユーザインタフェース要素に対応する入力(例えば、第1のユーザインタフェース要素に対応するタッチ感知面の位置での接触、及びタッチ感知面に沿った接触のその後の移動を含む、ドラッグ入力)を受け付ける。いくつかの実施形態では、入力の受け付けに応答して、デバイスは、第1のユーザインタフェース要素をユーザインタフェース内の第3の位置まで移動させ、第1のタイプのメッセージを、ユーザインタフェース内の第3の位置によって定義された第3の空間位置に関連付ける(及び、いくつかの実施形態では、第1のタイプのメッセージを、ユーザインタフェース内の第1の位置によって定義された第1の空間位置から切り離す)。
【0228】
いくつかの実施形態では、第1のタイプのメッセージを第3の空間位置に関連付けた後に、第1のタイプのメッセージに関連付けられたイベントを表すオーディオコンテンツを含む音声通知を出力することは、第3の空間位置から来るかのように聞こえるように、オーディオコンテンツを出力することを含む。いくつかの実施形態では、より一般的には、それぞれの特性群の各イベント特性についてそれぞれのユーザインタフェース要素を表示するユーザインタフェースが提供され、複数のユーザインタフェース要素の各ユーザインタフェース要素は、それぞれのオーディオ出力特性に関連付けられている。いくつかの実施形態では、ユーザは、それぞれのイベント特性に関連付けられたそれぞれのオーディオ出力特性を変更するために、ユーザインタフェース上のそれぞれのユーザインタフェース要素に向けられた入力を提供し得る。例えば、ユーザは、特定のイベント特性(例えば、開始ユーザ、トランザクション値、メッセージタイプなど)に関連付けられた空間位置、音量、及び/又は音響効果のタイプを変更することができる。(別途記載のない限り、本明細書で論じられる「空間位置」は、それぞれの音声通知のオーディオ出力特性に対応する、疑似空間位置である。)
【0229】
ユーザが異なるタイプのメッセージに関連付けられた空間位置を追加又は修正できるユーザインタフェースを提供することで、追加の制御オプションを提供し、ユーザがオーディオ体験をより親しみやすく認識可能なものにカスタマイズすることができ、ユーザが音声通知内で提示されている情報を理解するのを助けるために他の方法でユーザに提供される必要がある情報の量を低減する。これらの利益は、改善されたフィードバックをユーザに提供して(例えば、ユーザに提供される必要がある情報の量を低減することによって)デバイス処理を削減し、これにより、デバイスの操作性を向上させ、(例えば、デバイスを操作する/デバイスと対話するときにユーザが意図した結果を達成するのを助け、ユーザの誤りを削減することによって)ユーザ-デバイスインタフェースをより効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
【0230】
図7A図7Cにおける動作について説明された特定の順序は単なる例であり、説明された順序は、動作を実行することができる唯一の順序であることを示すことを意図するものではないことを理解されたい。当業者であれば、本明細書に記載される動作を再順序付けるための様々な方法を認識するであろう。加えて、本明細書に記載される1つ以上の他の方法(例えば、方法600、800、900、及び/又は1000)に関して本明細書に記載される他のプロセスの詳細は又、図7A~7Cに関して上記した方法700にも、類似の様式で適用可能であることに留意されたい。例えば、方法700を参照して上述されたデバイス、又はその構成要素、イベント、音声通知、及び入力は、任意選択的に、本明細書に記載される1つ以上の他の方法(例えば、方法600、800、900、及び/又は1000)を参照して本明細書に記載されるデバイス、又はその構成要素、イベント、音声通知、及び入力の特性のうちの任意の1つ以上を有する。簡潔にするために、それらの詳細はここでは繰り返さない。
【0231】
図8A~8Dは、いくつかの実施形態に係る、音声通知に対するユーザ入力のタイミングに基づいて動作を実行する方法800のフロー図である。方法800は、1つ以上のウェアラブルオーディオ出力デバイス(例えば、電子デバイスとは別個のインイヤーイヤホン、オーバーイヤーヘッドホンなどのウェアラブルオーディオ出力デバイス301、図3B)、及び1つ以上のウェアラブルオーディオ出力デバイスの配置を検出するための1つ以上のセンサ(例えば、配置センサ(単数又は複数)304、図3B)と(例えば、有線又は無線接続を介して)通信している(又はこれらを含む)、電子デバイス(例えば、ポータブル多機能デバイス100、図1A、又はデバイス300、図3A)において実行される。いくつかの実施形態では、センサは、ウェアラブルオーディオ出力デバイス上に(例えば、図3Bに示されるように)配置される。いくつかの実施形態では、センサは、電子デバイス上に配置される。いくつかの実施形態では、デバイスは、ディスプレイ(例えば、タッチスクリーン112、図1A、又はディスプレイ340、図3A)及びタッチ感知面(例えば、タッチスクリーン112、図1A、又はタッチパッド355、図3A)を含む。いくつかの実施形態では、デバイスは、1つ以上のオーディオ出力デバイス(例えば、デバイス100上のスピーカ111、図1A、又はウェアラブルオーディオ出力デバイス301上のスピーカ(単数又は複数)306、図3B)と通信しているか又はこれらを含む。いくつかの実施形態では、デバイスは、1つ以上のオーディオ入力デバイス(例えば、マイクロフォン113、図1A、又はマイクロフォン(単数又は複数)302、図3B)を含む。いくつかの実施形態では、デバイスは、回転可能入力機構(例えば、図1Aの別の入力コントローラ(単数又は複数)160の一部として)を含み、これは、入力機構(例えば、腕時計の竜頭)を回転させることによってデバイスに入力を提供するために使用され得る。いくつかの実施形態では、デバイスは、デバイスの動き及び/又は姿勢の変化を検出するための1つ以上の加速度計又は姿勢センサ(例えば、加速度計(単数又は複数)167、ジャイロスコープ(単数又は複数)168、及び/又は磁気計(単数又は複数)169、図1A)を含む。いくつかの実施形態では、デバイスと通信しているウェアラブルオーディオ出力デバイス(単数又は複数)は、ウェアラブルオーディオ出力デバイス(単数又は複数)の動き及び/又は姿勢の変化を検出するための1つ以上の加速度計又は姿勢センサ(例えば、図3Bの別の入力デバイス(単数又は複数)306の一部として)を含む。方法800の一部の動作が任意選択的に組み合わされ、かつ/又は、一部の動作の順序が任意選択的に変更される。
【0232】
以下に記載されるように、方法800は、イベントが、イベントの検出に応答して出力された1つ以上の音声通知に対して所定の時間周期内に検出されたかその後に検出されたかに基づいて、1つ以上のウェアラブルオーディオ出力デバイスに向けられた入力に応答して異なる動作を実行する。加えて、音声通知に対して所定の時間周期内に入力を検出することに応答して音声通知に関連付けられた動作を実行することで、ユーザは、音声通知又は対応するイベントに迅速に応答又は別の方法で対話することができる。ウェアラブルオーディオ出力デバイス(単数又は複数)に向けられた入力のタイミングに基づいて異なる動作を実行すること、及びユーザが通知に迅速に応答できるようにすることで、ユーザに追加の制御オプションを通知するための追加のオーディオ又は視覚出力を必要とすることなくユーザに追加の制御オプションを提供し、これにより、デバイスの操作性を向上させ、(例えば、ウェアラブルオーディオ出力デバイス(単数又は複数)及び電子デバイスを操作する/デバイスと対話するときに意図した結果を達成するようにユーザを支援し、ユーザの誤りを削減することによって)ユーザデバイスインタフェースをより効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用することを可能にすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
【0233】
デバイスは、第1イベントの発生を検出する(802)。
【0234】
第1イベントの発生を検出した後、デバイスは、1つ以上のウェアラブルオーディオ出力デバイスを介して、第1イベントに対応する1つ以上の音声通知を出力する(804)。
【0235】
1つ以上の音声通知を出力し始めた後、デバイスは、1つ以上のウェアラブルオーディオ出力デバイスに向けられた入力(例えば、言語入力、タッチ入力、加速度計の動きなどのデバイス移動入力)を検出する(806)。
【0236】
1つ以上のウェアラブルオーディオ出力デバイスに向けられた入力を検出することに応答して(808)、第1イベントに対応する1つ以上の音声通知に関して所定の時間周期内に入力が検出されたという判定に従って、デバイスは、第1の動作を実行し、第1の動作は第1イベントに対応する1つ以上の音声通知に関連付けられており、第1イベントに対応する1つ以上の音声通知に関して所定の時間周期が経過した後に入力が検出されたという判定に従って、デバイスは、第2の動作を実行し、第2の動作は、第1イベントに対応する1つ以上の音声通知に関連付けられていない。例えば、任意の音声通知に関して所定の時間周期外に検出されたタップ入力554(図5F)は、音声通知570に関して所定の時間周期内に検出された、タップ入力572(図5L)によって生じた動作(例えば、より多くの情報を聞く)とは異なる動作(例えば、音楽を再生する)を実行させる。
【0237】
いくつかの実施形態では、デバイスは、1つ以上のウェアラブルオーディオ出力デバイスに向けられた第2の入力を検出する(810)。いくつかの実施形態では、1つ以上のウェアラブルオーディオ出力デバイスに向けられた第2の入力を検出することに応答して、第1イベントに対応する1つ以上の音声通知を出力し始める前に第2の入力が検出されたという判定に従って、及び第2イベント(例えば、第1イベントの前のイベント)に対応し、第1イベントに対応する1つ以上の音声通知よりも前に出力された1つ以上の音声通知に関して所定の時間周期が経過したという判定に従って、デバイスは第2の動作を実行し、第2の動作は、第2イベントに対応する1つ以上の音声通知に関連付けられていない。
【0238】
例えば、タップ入力554(図5F)のような、追加のタップ入力は、任意の音声通知に関して所定の時間周期外に検出され、やはりタップ入力554と同じ動作(例えば、音楽を再生する)を実行させる。特定の音声通知に関して所定の時間周期外にウェアラブルオーディオ出力デバイス(単数又は複数)に向けられた入力に応答して特定の音声通知に関する動作以外の動作を実行することで、同じ入力デバイスを使用して通知制御の範囲外の追加の制御オプションをユーザに提供し(例えば、電子デバイスの他の機能又はアプリケーションと対話するため)、これにより、デバイスの操作性を向上させ、(例えば、ウェアラブルオーディオ出力デバイス(単数又は複数)及び電子デバイスを操作する/デバイスと対話するときにユーザがより多くの意図された結果を達成することを可能にし、ユーザの誤りを削減することによって)ユーザデバイスインタフェースをより効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用することを可能にすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
【0239】
いくつかの実施形態では、第1イベントの発生を検出した後、デバイスは、第3イベントの発生を検出する(812)。いくつかの実施形態では、第3イベントの発生を検出した後、及び第1イベントに対応する1つ以上の通知を出力した後、デバイスは、1つ以上のウェアラブルオーディオ出力デバイスを介して、第3イベントに対応する1つ以上の音声通知を出力する。いくつかの実施形態では、1つ以上のウェアラブルオーディオ出力デバイスに向けられた入力を検出することに応答して、及び第3イベントに対応する1つ以上の音声通知を出力し始めた後に入力が検出されたという判定に従って、及び第3イベントに対応する1つ以上の音声通知に関して所定の時間周期内に、デバイスは第1の動作を実行し、第1の動作は、第3イベントに対応する1つ以上の音声通知に関連付けられている。
【0240】
例えば、それぞれの音声通知(例えば、それぞれ音声通知566及び570)の所定の時間周期内で検出された、ユーザ500の頭部の動き(図5I)及びタップ入力572(図5L)の両方は、それぞれの音声通知の各々について同じ動作(例えば、より多くの情報を聞く)を実行させる。特定の音声通知に関して所定の時間周期内(例えば、特定の通知を出力している間を含む)にウェアラブルオーディオ出力デバイス(単数又は複数)に向けられた入力に応答して、特定の音声通知に関連付けられた動作を実行することで、音声通知が提供されている一連の音声通知の1つであっても、同じ入力デバイスを使用して特定の音声通知に応答又はこれと対話するための追加の制御オプションをユーザに提供する。改善された制御オプションをユーザに提供することにより、デバイスの操作性を向上させ、(例えば、ウェアラブルオーディオ出力デバイス(単数又は複数)及び電子デバイスを操作する/デバイスと対話するときにユーザがより多くの意図された結果を達成することを可能にし、ユーザの誤りを削減することによって)ユーザ-デバイスインタフェースをより効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
【0241】
いくつかの実施形態では、それぞれのイベントに対応する1つ以上の音声通知を出力することは、それぞれのイベントに対応するオーディオコンテンツの一部を出力することを含み(814)、それぞれのイベントに対応する1つ以上の音声通知に関連付けられた第1の動作を実行することは、それぞれのイベントに対応する1つ以上の音声通知の残りの部分を出力することを取り止めることを含む。音声通知の残りの部分をスキップすることは、図5N~5Pを参照して本明細書に記載されている。ユーザが第1の部分を聞いた後に1つ以上の音声通知の残りの部分をスキップできるようにすることで、不必要な又は望ましくない情報をユーザに提示する可能性を低減し、オーディオ出力デバイス(単数又は複数)及び/又は電子デバイスがアクティブでなければならない時間も削減することができ、これにより、デバイスの操作性を向上させ、ユーザデバイスインタフェースをより効率的にし(例えば、デバイスを操作/デバイスと対話しているときにユーザが意図された結果を達成するのを助け、ユーザの誤りを低減することによって)、更にこれにより、ユーザがデバイスをより迅速かつ効率的に使用することを可能にすることによって、電力使用を低減し、デバイスのバッテリ寿命を改善する。
【0242】
いくつかの実施形態では、それぞれのイベントに対応する1つ以上の音声通知を出力することは、それぞれのイベントに対応するオーディオコンテンツの第1の部分を出力することを含み(816)、それぞれのイベントに対応する1つ以上の音声通知に関連付けられた第1の動作を実行することは、それぞれのイベントに対応するオーディオコンテンツの第1の部分とは異なる、第2の(例えば、追加の)部分を出力することを含む。いくつかの実施形態では、オーディオコンテンツの第1の部分は、それぞれのイベントに対応する音声通知の短縮形態に対応し、オーディオコンテンツの第2の部分は、(方法600を参照して本明細書に記載される、要約され、凝縮され、又は切り詰められた音声通知などの)短縮された音声通知から除外されたオーディオコンテンツを含む音声通知の拡張形態に対応する。凝縮された音声通知が再生されている最中又は「すぐ」後に(例えば、音声通知に対して所定の時間内に)ウェアラブルオーディオデバイスに向けられたユーザ入力に応答して凝縮形態で最初に提示された音声通知の拡張形態を再生することは、図5I~5J及び図5L~5Mを参照して本明細書に記載されている。
【0243】
ウェアラブルオーディオ出力デバイス(単数又は複数)に向けられたユーザ入力に応答して音声通知の拡張形態をユーザが聞けるようにすることで、ユーザが電子デバイスのディスプレイ上の情報を閲覧することを必要とせずに、ユーザは、検出されたイベントに関する追加情報を迅速に取得することができる。より多くの情報を聞くために必要な入力の数を削減し、ディスプレイの電源をオンにする必要がある時間を削減することで、デバイスの操作性を向上させ、(例えば、デバイスを操作する/デバイスと対話するときに意図した結果をより迅速に達成するようにユーザを支援し、ユーザの誤りを削減することによって)ユーザ-デバイスインタフェースをより効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
【0244】
いくつかの実施形態では、それぞれのイベントに対応する1つ以上の音声通知に関連付けられていない第2の動作を実行することは、図5F及び図5Q~5Rを参照して本明細書に記載されるように、バーチャルアシスタントを呼び出すこと、又はメディアコンテンツ再生(例えば、それぞれのイベントに対応する1つ以上の音声通知とは別個のメディアコンテンツの再生、一時停止、再開、停止、巻き戻し又は早送り)を制御することを含む(818)。特定の音声通知に関して所定の時間周期外に検出された入力に応答して特定の音声通知に関連付けられた動作以外の動作を実行することで、同じ入力デバイスを使用して通知制御の範囲外の追加の制御オプションをユーザに提供し(例えば、電子デバイスの他の機能又はアプリケーションと対話するため)、これにより、デバイスの操作性を向上させ、(例えば、ウェアラブルオーディオ出力デバイス(単数又は複数)及び電子デバイスを操作する/デバイスと対話するときにユーザがより多くの意図された結果を達成することを可能にし、ユーザの誤りを削減することによって)ユーザデバイスインタフェースをより効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用することを可能にすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
【0245】
いくつかの実施形態では、それぞれのイベントに対応する1つ以上の音声通知に関連付けられた第1の動作は、それぞれのイベントに関連付けられたアプリケーションに基づいている(例えば、アプリケーションのアプリケーション設定で指定されている)(820)。音声通知のために実行される動作を音声通知に対応するイベントに関連付けられたアプリケーションに基礎づけることで、ユーザは、電子デバイスのディスプレイ上でイベントを閲覧することを必要とせずに、イベントに対する関連する応答を提供することができる。これにより、追加の制御オプションをユーザに提供し、ディスプレイの電源をオンにする必要がある時間を削減し、これによってデバイスの操作性を向上させ、(例えば、デバイスを操作する/デバイスと対話するときにより多くの意図した結果を達成するようにユーザを支援し、ユーザの誤りを削減することによって)ユーザ-デバイスインタフェースをより効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
【0246】
いくつかの実施形態では、それぞれのイベントを検出することは、テキストコンテンツ以外のメディアコンテンツを受信することを含み(822)、それぞれのイベントに対応する1つ以上の音声通知に関連付けられた第1の動作を実行することは、テキストコンテンツ以外のメディアコンテンツの言語記述を提供することを含む。例えば、画像の受信に応答して、デバイスは、図5Mを参照して本明細書に記載されるように、画像の言語記述を含む1つ以上の音声通知を提供する。(画像コンテンツなどの)テキストコンテンツではないコンテンツの言語記述を提供することで、ユーザが電子デバイスのディスプレイ上などでコンテンツを閲覧することを必要とせずに、追加のタイプのコンテンツに関する情報をユーザに提供するが、これは視覚的に障害のあるユーザにとって有益である。改善されたオーディオフィードバックをユーザに提供し、ディスプレイの電源をオンにする必要がある時間を削減することで、デバイスの操作性を向上させ、(例えば、デバイスを操作する/デバイスと対話するときに意図した結果を達成するようにユーザを支援し、ユーザの誤りを削減することによって)ユーザ-デバイスインタフェースをより効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
【0247】
いくつかの実施形態では、1つ以上の音声通知の第1音声通知を出力している間に入力が検出されたという判定に従って、第1音声通知に対して第1の動作が実行される(824)。いくつかの実施形態では、入力は、1つ以上の音声通知の第1の部分を出力した後に検出され、これに応答して、デバイスは、(例えば、動作814を参照して本明細書に記載されるように)1つ以上の音声通知の残りを出力することを取り止める(例えば、スキップする)。いくつかの実施形態では、第1音声通知とは異なる1つ以上の音声通知の第2音声通知を出力している間に入力が検出されたという判定に従って、第2音声通知に対して第1の動作が実行される。
【0248】
例えば、ユーザ500の頭部の動き(図5I)は、対応する音声通知566が出力されている間に検出された場合、音声通知566に対する動作の実行をトリガし(例えば、結果として生じ)、その一方で、タップ入力572(図5L)は、対応する音声通知570が出力されている間に検出された場合、音声通知570に対する動作の実行をトリガする(例えば、結果として生じる)。その特定の音声通知の間にウェアラブルオーディオ出力デバイス(単数又は複数)に向けられた入力に応答して特定の音声通知に対する動作を実行することで、音声通知が出力されている一連の音声通知の1つであっても、ユーザは応答を提供するか又は別の方法で特定の音声通知と対話することができる。改善された制御オプションをユーザに提供することにより、デバイスの操作性を向上させ、(例えば、ウェアラブルオーディオ出力デバイス(単数又は複数)及び電子デバイスを操作する/デバイスと対話するときにユーザが意図された結果を達成するのを助け、ユーザの誤りを削減することによって)ユーザ-デバイスインタフェースをより効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
【0249】
いくつかの実施形態では、入力が第1のタイプの入力(例えば、シングルタップ)であるという判定に従って、第1の動作は第1のタイプの動作(例えば、返信動作又は「もっと再生する」動作)であり(826)、入力が第1のタイプの入力(例えば、シングルタップ)とは異なる第2のタイプの入力(例えば、ダブルタップ)であるという判定に従って、第1の動作は、第1のタイプの動作とは異なる第2のタイプの動作(例えば、「スキップ」動作)である。音声通知に対して所定の期間の間又は所定の期間内に受信した異なるタイプの入力に応答して異なるタイプの動作を実行することは、図5L~5M及び図5N~5Pを参照して本明細書に記載されている。特定の通知に対して所定の時間周期内に(例えば、特定の通知を出力している間を含む)ウェアラブルオーディオ出力デバイス(単数又は複数)に向けられた入力のタイプに基づいて、特定の音声通知に関連付けられた異なるタイプの動作を実行することで、同じ入力デバイスを使用して特定の通知に応答するため又はこれと対話するための追加の制御オプションをユーザに提供し、これにより、デバイスの操作性を向上させ、(例えば、ウェアラブルオーディオ出力デバイス(単数又は複数)及び電子デバイスを操作する/デバイスと対話するときにユーザがより多くの意図された結果を達成することを可能にし、ユーザの誤りを削減することによって)ユーザデバイスインタフェースをより効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用することを可能にすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
【0250】
いくつかの実施形態では、入力が第1のタイプの入力(例えば、シングルタップ)である(828)という判定に従って、第2の動作は第3のタイプの動作(例えば、「再生/一時停止」動作)であり、入力が第1のタイプの入力(例えば、シングルタップ)とは異なる第2のタイプの入力(例えば、ダブルタップ)であるという判定に従って、第2の動作は第3のタイプの動作とは異なる第4のタイプの動作(例えば、「バーチャルアシスタントを呼び出す」動作)である。任意の音声通知に対して所定の期間の間又は所定の期間外に受信した異なるタイプの入力に応答して異なるタイプの動作を実行することは、図5F及び図5Q~5Rを参照して本明細書に記載されている。特定の音声通知に関して所定の時間周期外にウェアラブルオーディオ出力デバイス(単数又は複数)に向けられた入力に基づいて特定の音声通知に関連付けられた動作以外の異なるタイプの動作を実行することで、同じ入力デバイスを使用して通知制御の範囲外の追加の制御オプションをユーザに提供し(例えば、電子デバイスの他の機能又はアプリケーションと対話するため)、これにより、デバイスの操作性を向上させ、(例えば、ウェアラブルオーディオ出力デバイス(単数又は複数)及び電子デバイスを操作する/デバイスと対話するときにユーザがより多くの意図された結果を達成することを可能にし、ユーザの誤りを削減することによって)ユーザデバイスインタフェースをより効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用することを可能にすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
【0251】
いくつかの実施形態では、1つ以上のウェアラブルオーディオ出力デバイスに向けられた入力を検出することは、1つ以上のウェアラブルオーディオ出力デバイス上のタップ入力(例えば、第1のタップ入力)を検出することを含む(830)。いくつかの実施形態では、入力を検出することは、ダブルタップ入力(例えば、第1のタップ入力に端して所定の時間周期内の第2のタップ入力)を検出することを含む。ウェアラブルオーディオ出力デバイス(単数又は複数)に向けられた1つ以上のタップ入力に応答して動作を実行することで、直感的なユーザ対話を使用する制御オプションをユーザに提供し、これにより、デバイスの操作性を向上させ、(例えば、ウェアラブルオーディオ出力デバイス(単数又は複数)及び電子デバイスを操作する/デバイスと対話するときにユーザが意図された結果を達成するのを助け、ユーザの誤りを削減することによって)ユーザ-デバイスインタフェースをより効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
【0252】
1つ以上のウェアラブルオーディオ出力デバイスが1つ以上の加速度計を含む、いくつかの実施形態では、1つ以上のウェアラブルオーディオ出力デバイスに向けられた入力を検出することは、1つ以上の加速度計を介して、1つ以上のウェアラブルオーディオ出力デバイスの動きを検出することを含む(832)。加速度計の入力に応答して動作を実行することは、図5I~5Kを参照して本明細書に記載されている。ウェアラブルオーディオ出力デバイス(単数又は複数)の動きを介して提供された加速度計の入力に応答して動作を実行することで、直感的なユーザ対話(例えば、ウェアラブルオーディオ出力デバイス(単数又は複数)を着用している間のユーザの頭部の動き)を使用する制御オプションをユーザに提供し、これにより、デバイスの操作性を向上させ、(例えば、ウェアラブルオーディオ出力デバイス(単数又は複数)及び電子デバイスを操作する/デバイスと対話するときにユーザが意図された結果を達成するのを助け、ユーザの誤りを削減することによって)ユーザ-デバイスインタフェースをより効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
【0253】
いくつかの実施形態では、それぞれのイベントに対応する1つ以上の音声通知を出力することは、それぞれのイベントに対応するオーディオコンテンツの第1の部分を出力することを含む(834)。いくつかの実施形態では、1つ以上の加速度計を介して、第1の方向の1つ以上のウェアラブルオーディオ出力デバイスの動き(例えば、後方への動き又は傾き、又は1つ以上の音声通知が出力される疑似空間位置から離れる方へ)を検出することに従って、第1の動作を実行することは、それぞれのイベントに対応するオーディオコンテンツの第2の部分を出力することを取り止めることを含む。いくつかの実施形態では、1つ以上の加速度計を介して、第1の方向と反対の第2の方向の1つ以上のウェアラブルオーディオ出力デバイスの動き(例えば、前方への動き又は傾き、又は1つ以上の音声通知が出力される疑似空間位置に向かって)を検出することに応答して、第1の動作を実行することは、それぞれのイベントに対応するオーディオコンテンツの第2の部分を出力することを含む。いくつかの実施形態では、オーディオコンテンツの第2の部分は、1つ以上のウェアラブルオーディオデバイスに向けられた入力が発生しなければ出力されていたオーディオコンテンツに対する追加のオーディオコンテンツを含む。音の疑似空間位置かに向かうか又はそこから離れるユーザの頭部の動きに応答して異なる量のオーディオコンテンツを提供することは、図5I~5Kを参照して本明細書に記載されている。
【0254】
ウェアラブルオーディオ出力デバイス(単数又は複数)の動きの方向に基づいて提供されるオーディオコンテンツの量を変化させることで、直感的なユーザ対話を使用して追加情報を聞くための制御オプションをユーザに提供し(例えば、ユーザが音声通知の擬似的な位置/ソースに向かってなど特定の方向に傾いたときに追加のオーディオコンテンツを提供し、ユーザが擬似的な位置/ソースから離れる方など異なる方向に傾いたときに提供するオーディオコンテンツを少なくする)、これにより、デバイスの操作性を向上させ、(例えば、ウェアラブルオーディオ出力デバイス(単数又は複数)及び電子デバイスを操作する/デバイスと対話するときにユーザが意図された結果を達成するのを助け、ユーザの誤りを削減することによって)ユーザ-デバイスインタフェースをより効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
【0255】
いくつかの実施形態では、それぞれのイベントの発生を検出した後、デバイスは、1つ以上のウェアラブルオーディオ出力デバイスを介して出力された1つ以上の音声通知以外のそれぞれのイベントに対応する1つ以上の通知(例えば、音声、視覚、及び/又は触知)を出力することを取り止める(836)。いくつかの実施形態では、デバイスは、1つ以上のウェアラブルオーディオ出力デバイス以外の1つ以上のオーディオ出力デバイスを含むか又はこれと通信しており、デバイスは、1つ以上の他のオーディオ出力デバイスを介して第1イベントに対応する音声通知を出力することを取り止める。いくつかの実施形態では、デバイスは、1つ以上の触知出力生成器を含み、デバイスは、1つ以上の触知出力生成器を介して第1イベントに対応する触知出力通知を出力することを取り止める。いくつかの実施形態では、デバイスはディスプレイを含み、デバイスは、第1イベントに対応する視覚通知を出力することを取り止める。冗長な音声通知を抑制することは、図5ADを参照して本明細書に記載されている。
【0256】
音声通知が提供されている、又は今後提供されるイベントの他のタイプの通知を抑制することで、ユーザの気を散らす、又は混乱させる可能性のある冗長なフィードバックを回避し、これにより、デバイスの操作性を向上させ、(例えば、ウェアラブルオーディオ出力デバイス(単数又は複数)及び電子デバイスを操作する/デバイスと対話するときにユーザが意図された結果を達成するのを助け、ユーザの誤りを削減することによって)ユーザ-デバイスインタフェースをより効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
【0257】
図8A図8Dにおける動作について説明された特定の順序は単なる例であり、説明された順序は、動作を実行することができる唯一の順序であることを示すことを意図するものではないことを理解されたい。当業者であれば、本明細書に記載される動作を再順序付けるための様々な方法を認識するであろう。加えて、本明細書に記載される1つ以上の他の方法(例えば、方法600、700、900、及び/又は1000)に関して本明細書に記載される他のプロセスの詳細は又、図8A~8Dに関して上記した方法800にも、類似の様式で適用可能であることに留意されたい。例えば、方法800を参照して上述されたデバイス、又はその構成要素、イベント、音声通知、及び入力は、任意選択的に、本明細書に記載される1つ以上の他の方法(例えば、方法600、700、900、及び/又は1000)を参照して本明細書に記載されるデバイス、又はその構成要素、イベント、音声通知、及び入力の特性のうちの任意の1つ以上を有する。簡潔にするために、それらの詳細はここでは繰り返さない。
【0258】
図9A~9Cは、いくつかの実施形態に係る、ユーザを刺激して音声通知に対する応答を受信する方法900を示すフロー図である。方法900は、1つ以上のウェアラブルオーディオ出力デバイス(例えば、電子デバイスとは別個のインイヤーイヤホン、オーバーイヤーヘッドホンなどのウェアラブルオーディオ出力デバイス301、図3B)、及び1つ以上のウェアラブルオーディオ出力デバイスの配置を検出するための1つ以上のセンサ(例えば、配置センサ(単数又は複数)304、図3B)と(例えば、有線又は無線接続を介して)通信している(又はこれらを含む)、電子デバイス(例えば、ポータブル多機能デバイス100、図1A、又はデバイス300、図3A)において実行される。いくつかの実施形態では、センサは、ウェアラブルオーディオ出力デバイス上に(例えば、図3Bに示されるように)配置される。いくつかの実施形態では、センサは、電子デバイス上に配置される。いくつかの実施形態では、デバイスは、ディスプレイ(例えば、タッチスクリーン112、図1A、又はディスプレイ340、図3A)及びタッチ感知面(例えば、タッチスクリーン112、図1A、又はタッチパッド355、図3A)を含む。いくつかの実施形態では、デバイスは、1つ以上のオーディオ出力デバイス(例えば、デバイス100上のスピーカ111、図1A、又はウェアラブルオーディオ出力デバイス301上のスピーカ(単数又は複数)306、図3B)と通信しているか又はこれらを含む。いくつかの実施形態では、デバイスは、1つ以上のオーディオ入力デバイス(例えば、マイクロフォン113、図1A、又はマイクロフォン(単数又は複数)302、図3B)を含む。いくつかの実施形態では、デバイスは、回転可能入力機構(例えば、図1Aの別の入力コントローラ(単数又は複数)160の一部として)を含み、これは、入力機構(例えば、腕時計の竜頭)を回転させることによってデバイスに入力を提供するために使用され得る。いくつかの実施形態では、デバイスは、デバイスの動き及び/又は姿勢の変化を検出するための1つ以上の加速度計又は姿勢センサ(例えば、加速度計(単数又は複数)167、ジャイロスコープ(単数又は複数)168、及び/又は磁気計(単数又は複数)169、図1A)を含む。いくつかの実施形態では、デバイスと通信しているウェアラブルオーディオ出力デバイス(単数又は複数)は、ウェアラブルオーディオ出力デバイス(単数又は複数)の動き及び/又は姿勢の変化を検出するための1つ以上の加速度計又は姿勢センサ(例えば、図3Bの別の入力デバイス(単数又は複数)306の一部として)を含む。方法900における一部の動作は、任意選択で組み合わされ、及び/又は、一部の動作の順序は、任意選択で変更される。
【0259】
以下に記載されるように、方法900は、1つ以上のウェアラブルオーディオ出力デバイス(例えば、ユーザによって着用されている)を介して、関連する電子デバイスで検出されたイベントに対応する1つ以上の音声通知、及び引き続き、電子デバイスが検出されたイベントを受信する準備ができているという音声指示を出力する。ウェアラブルオーディオ出力デバイス(単数又は複数)を介して音声通知及び音声指示を出力することで、ユーザが応答するように促し、応答がウェアラブルオーディオ出力デバイス(単数又は複数)を介して提供され得ることも示し、これにより、特にユーザがデバイスのディスプレイを使用して検出されたイベントを閲覧及びこれに応答する必要性を低減することによって、ユーザが電子デバイスと対話する必要性を低減する代替入力機構を提供する。これにより、処理される必要がある入力の数が減少し、ディスプレイの電源をオンにする必要がある時間が減少し、これにより、デバイスの操作性を向上させ、(例えば、デバイスを操作する/デバイスと対話するときに意図した結果を達成するようにユーザを支援し、ユーザの誤りを削減することによって)ユーザ-デバイスインタフェースをより効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
【0260】
デバイスは、第1イベントの発生を検出する(902)。
【0261】
第1イベントの発生を検出した後、デバイスは、1つ以上のウェアラブルオーディオ出力デバイスを介して、第1イベントに対応する1つ以上の音声通知を出力する(904)。
【0262】
第1イベントに対応する1つ以上の音声通知を出力した後、電子デバイスは、第1イベントに対する応答を受信する準備ができていることを示す1つ以上の音声通知とは別のそれぞれのオーディオ出力を出力する(906)。
【0263】
それぞれのオーディオ出力を出力している間、デバイスは、第1イベントに対する応答に対応する入力を検出し、入力に基づいて第1イベントに対する応答を生成する(908)。
【0264】
いくつかの実施形態では、第1イベントに対応する1つ以上の音声通知を出力(又は出力を開始)した後、デバイスは、電子デバイス又は1つ以上のウェアラブルオーディオ出力デバイスを介して、第1イベント(例えば、電子デバイス又は1つ以上のウェアラブルオーディオ出力デバイスに向けられたタップ入力)に応答する要求に対応する第2の入力を検出する(910)。第2の入力の検出に応答して、電子デバイスが第1イベントに対する応答を受信する準備ができていることを示す、それぞれのオーディオ出力が出力される。いくつかの実施形態では、それぞれのオーディオ出力は、第1イベントに対応する1つ以上の音声通知を出力している間に、又は1つ以上の音声通知に対して(例えば、1つ以上の音声通知の出力の開始に対して、又は1つ以上の音声通知の出力の収量に対して)所定の時間周期内に第2の入力が検出されたという判定に従って、出力される。
【0265】
ユーザが第1イベントに応答する要求に対応する入力を提供する用に要求することで、ユーザが第1イベントに対する応答を提供する意図があるという確認を提供し、確認が受信されていない場合には、不注意な入力を不必要に処理することを回避し、従って、意図しない動作が電子デバイス上で実行されるのを回避する。改善された処理及び制御オプションを提供することにより、デバイスの操作性が向上し、ユーザとデバイスのインタフェースがより効率的となり(例えば、ユーザが意図する結果を達成することを補助することにより、そして、デバイスの操作時/デバイスとの相互作用時にユーザの失敗を減らすことにより)、これによって更に、ユーザがデバイスをより迅速かつ効率的に使用することが可能となって、デバイスの電力使用を低減し、バッテリ寿命を改善する。
【0266】
いくつかの実施形態では、それぞれのオーディオ出力は、ホワイトノイズ(例えば、図5S~5ABの音響効果582及び5104を参照して本明細書に記載されるように)を含む(912)。いくつかの実施形態では、それぞれのオーディオ出力は、ホワイトノイズからなる。音声通知が出力されるイベントに対する応答をデバイスが受信する準備ができていることを示すためにホワイトノイズを提供することで、ユーザが直感的な音声を使用して応答するように促し、これにより、デバイスの操作性を向上させ、(例えば、デバイスを操作する/デバイスと対話するときに要求された入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)ユーザ-デバイスインタフェースをより効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
【0267】
電子デバイスが1つ以上のオーディオ入力デバイス(例えば、電子デバイスの一部又は1つ以上のウェアラブルオーディオ出力デバイスの一部である1つ以上のマイクロフォン)と通信している、いくつかの実施形態では、第1イベントに対する応答に対応する入力を件シュルすることは、(例えば、図5AAの応答596を参照して本明細書に記載されるように)1つ以上のオーディオ入力デバイスを介してオーディオ入力を検出することを含む(914)。1つ以上のオーディオ入力デバイスを介して検出されたイベントに対する応答を受信することで、入力を提供するためのより直感的で自然な方法であり得る、言語入力(例えば、スピーチ)を受け付ける代替入力機構をユーザに提供すると共に、電子デバイスのタッチ感知面又はディスプレイなどの別の入力デバイスを使用して検出されたイベントを閲覧してこれに応答する必要性を低減し、これにより、これらのデバイスの電源をオンにしてアクティブでなければならない時間を削減し、視覚障害のあるユーザを支援し、これにより、デバイスの操作性を向上させ、ユーザデバイスインタフェースをより効率的にし(例えば、デバイスを操作/デバイスと対話しているときにユーザが適切な入力を提供して意図された結果を達成するのを助け、ユーザの誤りを低減することによって)、更にこれにより、ユーザがデバイスをより迅速かつ効率的に使用することを可能にすることによって、電力使用を低減し、デバイスのバッテリ寿命を改善する。
【0268】
電子デバイスがタッチ感知面を含む、いくつかの実施形態では、それぞれのオーディオ出力を出力している間、及び第1イベントに対する応答に対応する入力を検出する前に(916)、デバイスは、タッチ感知面を介して、第1のタッチ入力を検出し、タッチ感知画面を介した第1のタッチ入力の検出に応答して、1つ以上のウェアラブルオーディオ出力デバイスを介して、第1イベントに対する1つ以上の応答オプションを出力する。いくつかの実施形態では、入力はドラッグ入力であり、入力がタッチ感知面を横切って移動するにつれて、異なる応答オプションが出力される。いくつかの実施形態では、第1イベントに対する応答に対応する入力を検出することは、タッチ感知面を介して、1つ以上の応答オプションのそれぞれの応答オプションを選択する第2のタッチ入力(例えば、タップ入力)を検出することを含む。いくつかの実施形態では、第2の入力は、それぞれの応答オプションを出力している間、又は出力してから規定の時間内に(及び、いくつかの実施形態では、後続の応答オプションを出力し始める前に)第2の入力が検出された場合に、それぞれの応答オプションを選択する。いくつかの実施形態では、第2の入力は、後続のタッチ入力が所定の期間中に検出されることのない、第1のタッチ入力のリフトオフに続く所定の期間の終了と組み合わせた第1のタッチ入力のリフトオフである。いくつかの実施形態では、第1イベントに対して生成された応答は、選択されたそれぞれの応答オプションに対応する。タッチ入力に応答して応答オプションを出力することは、図5T~5Vを参照して本明細書に記載されている。
【0269】
電子デバイスのタッチ感知面上の入力に応答してウェアラブルオーディオ出力デバイス(単数又は複数)を介して検出されたイベントに応答するための応答オプションを出力することで、ユーザは応答する前に、及び一部の場合には電子デバイスのディスプレイ上の応答オプションを閲覧することを必要とせずに、応答オプションを聞くことができ、これにより、ディスプレイの電源をオンにする必要がある時間を削減し、視覚障害のあるユーザを支援し、これにより、デバイスの操作性を向上させ、ユーザデバイスインタフェースをより効率的にし(例えば、デバイスを操作/デバイスと対話しているときにユーザが意図された結果を達成するのを助け、ユーザの誤りを低減することによって)、更にこれにより、ユーザがデバイスをより迅速かつ効率的に使用することを可能にすることによって、電力使用を低減し、デバイスのバッテリ寿命を改善する。
【0270】
電子デバイスが回転可能入力機構を含む、いくつかの実施形態では、それぞれのオーディオ出力を出力している間、及び第1イベントに対する応答に対応する入力を検出する前に(918)、デバイスは、回転可能入力機構を介して、第1の入力(例えば、回転可能入力機構の回転)を検出し、回転可能入力機構を介して第1の入力を検出したことに応答して、1つ以上のウェアラブルオーディオ出力デバイスを介して、第1イベントに対する1つ以上の応答オプションを出力する。いくつかの実施形態では、第1イベントに対する応答に対応する入力を検出することは、回転可能入力機構を介して(又は、タッチ感知面又は加速度計などの電子デバイスの他の入力デバイス又はセンサを介して)、1つ以上の応答オプションのそれぞれの応答オプションを選択する第2の入力(例えば、タップ入力)を検出することを含む。いくつかの実施形態では、第2の入力は、それぞれの応答オプションを出力している間、又は出力してから規定の時間内に(及び、いくつかの実施形態では、後続の応答オプションを出力し始める前に)第2の入力が検出された場合に、それぞれの応答オプションを選択する。いくつかの実施形態では、第1イベントに対して生成された応答は、選択されたそれぞれの応答オプションに対応する。回転可能入力機構の回転に応答して応答オプションを出力することは、図5W~5Yを参照して本明細書に記載されている。
【0271】
回転可能入力機構を介して入力に応答してウェアラブルオーディオ出力デバイス(単数又は複数)を介して検出されたイベントに応答するための応答オプションを出力することで、ユーザは応答する前に、及び一部の場合には電子デバイスのディスプレイ上の応答オプションを閲覧することを必要とせずに、応答オプションを聞くことができ、これにより、ディスプレイの電源をオンにする必要がある時間を削減し、視覚障害のあるユーザを支援し、これにより、デバイスの操作性を向上させ、ユーザデバイスインタフェースをより効率的にし(例えば、デバイスを操作/デバイスと対話しているときにユーザが意図された結果を達成するのを助け、ユーザの誤りを低減することによって)、更にこれにより、ユーザがデバイスをより迅速かつ効率的に使用することを可能にすることによって、電力使用を低減し、デバイスのバッテリ寿命を改善する。
【0272】
電子デバイスがディスプレイ及び1つ以上の姿勢センサ(例えば、1つ以上のカメラ、ジャイロスコープ、慣性測定ユニット、又は電子デバイスの向きの変化を検出するためのその他のセンサ)を含む、いくつかの実施形態では、第1イベントに対する応答に対応する入力を検出する前に、デバイスは、1つ以上の姿勢センサを介して、(電子デバイスの底縁部に対して電子デバイスの上縁部を上昇させるように、電子デバイスの上方傾斜に対応する)電子デバイスの姿勢(例えば、向き)の変化を検出する(920)。いくつかの実施形態では、電子デバイスの姿勢の変化の検出に応答して、第1イベントに対応する1つ以上の音声通知に対して所定の時間周期内に(例えば、1つ以上の音声通知を検出している間、又は検出してから規定の時間内に)電子デバイスの姿勢の変化が検出されたという判定に従って、デバイスは、ディスプレイ上に、(例えば、図5Z~5AAを参照して本明細書に記載されるように)第1イベントに対する1つ以上の応答オプションを表示する。いくつかの実施形態では、第1イベントに対する応答に対応する入力を検出することは、1つ以上の応答オプションのそれぞれの応答オプションを選択する入力を検出することを含む。
【0273】
電子デバイスが持ち上げられるのに応答して電子デバイスのディスプレイ上に検出されたイベントに応答するための応答オプションを表示することで、ユーザは、電子デバイスに対して最小数の入力で応答する前に、及びウェアラブルオーディオ出力デバイス(単数又は複数)を介してオプションが連続的に読み上げられるのを待つことを必要とせずに、応答オプションを迅速に閲覧することができる。これにより、処理される必要がある入力の数が減少し、デウェアラブルオーディオ出力デバイス(単数又は複数)がアクティブでなければならない時間が減少し、これにより、デバイスの操作性を向上させ、(例えば、デバイスを操作する/デバイスと対話するときに意図した結果をより迅速に達成するようにユーザを支援し、ユーザの誤りを削減することによって)ユーザ-デバイスインタフェースをより効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
【0274】
いくつかの実施形態では、第1イベントに対応する1つ以上の音声通知を出力した後、及び電子デバイスが第1イベントに対する応答を受信する準備ができていることを示すそれぞれのオーディオ出力を出力する前に、デバイスは、1つ以上のウェアラブルオーディオ出力デバイスを介して、(例えば、図5ABの音声通知5100を参照して本明細書に記載されるように)電子デバイスのユーザが第1イベントに対する応答を提供するように促す複数の応答オプションを出力する(922)。対応する音声通知(単数又は複数)を出力した後に自動的にウェアラブルオーディオ出力デバイス(単数又は複数)を介して検出されたイベントに応答するための応答オプションを出力することで、処理される必要がある入力の数が減少する。応答オプションを出力した後にデバイスが応答を受信する準備ができていることを示すそれぞれのオーディオ出力を出力することで、ユーザは、応答を促される前に応答オプションを聞くことができ、これにより、ユーザがデバイスのディスプレイ上の応答オプションを閲覧する必要性を低減し、これにより、デバイスのディスプレイの電源をオンにする必要がある時間を削減し、視覚障害のあるユーザを支援する。これらの利益により、デバイスの操作性が向上し、(例えば、デバイスを操作する/デバイスと対話するときにユーザが意図した結果を達成するのを助け、ユーザの誤りを削減することによって)ユーザデバイスインタフェースがより効率的になり、このことにより更に、ユーザがデバイスをより迅速かつ効率的に使用可能になることによって、デバイスの電力使用量を低減し、バッテリ寿命を改善する。
【0275】
いくつかの実施形態では、第1イベントはカレンダイベント招待であり、複数の応答オプションは、(例えば、図5ABの音声通知5100を参照して本明細書に記載されるように)カレンダイベント招待を承諾するオプションと、カレンダイベント招待を拒否するオプションとを含む。いくつかの実施形態では、複数の応答オプションは、招待を延期する(例えば、後の時間まで招待に応答するのを延期する)オプション、及び/又は招待を暫定的に承諾するオプションを、更に含む。いくつかの実施形態では、第1イベントに対する応答に対応する検出された入力は、複数の応答オプションにおけるそれぞれのオプションの選択(例えば、朗唱)を含む。
【0276】
電子デバイスが1つ以上のオーディオ入力デバイスと通信している、いくつかの実施形態では、デバイスは、1つ以上のオーディオ入力デバイスに対する周囲ノイズの音量を検出し(926)、(例えば、図5ABを参照して本明細書に記載されるように)周囲ノイズの音量に基づいて、1つ以上の音声通知の出力音量を調整する。周囲ノイズの音量に基づいて音声通知の出力音量(及び/又は、デバイスが対応するイベントに対する応答を受信する準備ができていることを示すオーディオ出力)を調整することで、周囲ノイズに対してユーザがオーディオ出力を聞くために高い音量が必要ではない静かな環境での出力音量を下げることによってユーザの耳への損傷を低減しながら、騒がしい環境での出力音量を増大することによって、ユーザがオーディオ出力を聞くのを助け、これにより、改善されたオーディオフィードバックをユーザに提供する。加えて、高い音量が不要な場合に出力音量を下げることで、オーディオ出力デバイスの電力使用を低減する。これらの利益により、デバイスの操作性が向上し、(例えば、デバイスを操作する/デバイスと対話するときにユーザが意図した結果を達成するのを助け、ユーザの誤りを削減することによって)ユーザデバイスインタフェースがより効率的になり、このことにより更に、ユーザがデバイスをより迅速かつ効率的に使用可能になることによって、デバイスの電力使用量を低減し、バッテリ寿命を改善する。
【0277】
図9A図9Cにおける動作について説明された特定の順序は単なる例であり、説明された順序は、動作を実行することができる唯一の順序であることを示すことを意図するものではないことを理解されたい。当業者であれば、本明細書に記載される動作を再順序付けるための様々な方法を認識するであろう。加えて、本明細書に記載される1つ以上の他の方法(例えば、方法600、700、800、及び/又は1000)に関して本明細書に記載される他のプロセスの詳細は又、図9A~9Cに関して上記した方法900にも、類似の様式で適用可能であることに留意されたい。例えば、方法900を参照して上述されたデバイス、又はその構成要素、イベント、音声通知、及び入力は、任意選択的に、本明細書に記載される1つ以上の他の方法(例えば、方法600、700、800、及び/又は1000)を参照して本明細書に記載されるデバイス、又はその構成要素、イベント、音声通知、及び入力の特性のうちの任意の1つ以上を有する。簡潔にするために、それらの詳細はここでは繰り返さない。
【0278】
図10A~10Bは、いくつかの実施形態に係る、ユーザアクティビティ及びコンテキストに基づいて音声通知を条件付きで出力する方法1000を示すフロー図である。方法1000は、1つ以上のウェアラブルオーディオ出力デバイス(例えば、電子デバイスとは別個のインイヤーイヤホン、オーバーイヤーヘッドホンなどのウェアラブルオーディオ出力デバイス301、図3B)、及び1つ以上のウェアラブルオーディオ出力デバイスの配置を検出するための1つ以上のセンサ(例えば、配置センサ(単数又は複数)304、図3B)と(例えば、有線又は無線接続を介して)通信している(又はこれらを含む)、電子デバイス(例えば、ポータブル多機能デバイス100、図1A、又はデバイス300、図3A)において実行される。いくつかの実施形態では、センサは、ウェアラブルオーディオ出力デバイス上に(例えば、図3Bに示されるように)配置される。いくつかの実施形態では、センサは、電子デバイス上に配置される。いくつかの実施形態では、デバイスは、ディスプレイ(例えば、タッチスクリーン112、図1A、又はディスプレイ340、図3A)及びタッチ感知面(例えば、タッチスクリーン112、図1A、又はタッチパッド355、図3A)を含む。いくつかの実施形態では、デバイスは、1つ以上のオーディオ出力デバイス(例えば、デバイス100上のスピーカ111等の1つ以上のスピーカ、図1A、又はウェアラブルオーディオ出力デバイス301上のスピーカ(単数又は複数)306、図3B)と通信しているか又はこれらを含む。いくつかの実施形態では、デバイスは、1つ以上のオーディオ入力デバイス(例えば、マイクロフォン113、図1A、又はマイクロフォン(単数又は複数)302、図3B)を含む。いくつかの実施形態では、デバイスは、回転可能入力機構(例えば、図1Aの別の入力コントローラ(単数又は複数)160の一部として)を含み、これは、入力機構(例えば、腕時計の竜頭)を回転させることによってデバイスに入力を提供するために使用され得る。いくつかの実施形態では、デバイスは、デバイスの動き及び/又は姿勢の変化を検出するための1つ以上の加速度計又は姿勢センサ(例えば、加速度計(単数又は複数)167、ジャイロスコープ(単数又は複数)168、及び/又は磁気計(単数又は複数)169、図1A)を含む。いくつかの実施形態では、デバイスと通信しているウェアラブルオーディオ出力デバイス(単数又は複数)は、ウェアラブルオーディオ出力デバイス(単数又は複数)の動き及び/又は姿勢の変化を検出するための1つ以上の加速度計又は姿勢センサ(例えば、図3Bの別の入力デバイス(単数又は複数)306の一部として)を含む。方法1000における一部の動作は、任意選択で組み合わされ、及び/又は、一部の動作の順序は、任意選択で変更される。
【0279】
以下に記載されるように、方法1000は、(マイクロフォンを介して電子デバイス上で、又は電子デバイスと通信しているウェアラブル出力デバイス(単数又は複数)上で検出されるように)ユーザが現在会話に没頭している場合に、電子デバイスからの音声通知の出力を遅延させる。これにより、音声通知の侵入性を低減し、ユーザが音声通知のコンテンツを聞いて理解する可能性を増加させ、これにより、ユーザが聴覚的であれデバイスのディスプレイ上で視覚的にであれ、1回以上追加で通知を確認する必要性を低減し、こうして処理される必要がある入力の数及びディスプレイの電源をオンにする必要がある時間を削減し、これにより、ユーザがデバイスをより迅速かつ効率的に使用することを可能にすることによって、デバイスの操作性を向上させ、電力使用を低減し、デバイスのバッテリ寿命を改善する。
【0280】
デバイスは、は、1つ以上のウェアラブルオーディオ出力デバイスがユーザによって着用されている間に第1イベントの発生を検出する(1002)。
【0281】
第1イベントの発生を検出することに応答して、デバイスは、1つ以上のウェアラブルオーディオ出力デバイスを介して、第1イベントに対応する1つ以上の音声通知を出力し(1004)、これは、(例えば、ユーザによる、又は別のユーザによる、検出されたスピーチに基づいて)電子デバイスのユーザが現在会話に没頭しているという判定に従って、会話が終了するまで第1イベントに対応する1つ以上の音声通知の出力を遅延させることと、電子デバイスのユーザが現在会話に没頭していないという判定に従って、出力を遅延させることなく第1イベントに対応する1つ以上の音声通知を出力することとを含む。ユーザが会話に没頭しているか否かに基づいて音声通知の出力を遅延させることは、図5ACを参照して本明細書に記載されている。
【0282】
電子デバイスが1つ以上のオーディオ入力デバイスと通信しているいくつかの実施形態では、電子デバイスのユーザが現在会話に没頭していると判定することは、(例えば、図5ACを参照して本明細書に記載されるように)1つ以上のオーディオ入力デバイスを介してスピーチを検出することを含む(1006)。いくつかの実施形態では、1つ以上のオーディオ入力デバイスは、1つ以上のマイクロフォンを含む。いくつかの実施形態では、1つ以上のオーディオ入力デバイスは、電子デバイスの一部である。いくつかの実施形態では、1つ以上のオーディオ入力デバイスは、1つ以上のウェアラブルオーディオ出力デバイスの一部である。マイクロフォンなどの1つ以上のオーディオ入力デバイスを介してスピーチを自動的に検出することで、デバイスは、1つ以上の入力を提供するように促す用にデバイスがユーザを促す必要のない代替方法を使用することを必要とせずに、ユーザが会話に没頭しているか否かを迅速かつ容易に判定することができる。スピーチ検出を自動的に実行することで、必要とされる入力の数を削減し、これにより、デバイスの操作性を向上させ、電力使用を低減し、デバイスのバッテリ寿命を改善する。
【0283】
いくつかの実施形態では、1つ以上の音声通知を出力することは、(例えば、図5ACの音声通知5106を参照して本明細書に記載されるように)疑似スピーチを使用して第1イベントに対応するオーディオコンテンツを出力することを含む(1008)。検出されたイベントに対応するオーディオコンテンツを出力するために疑似スピーチを使用して音声通知を出力することで、ユーザが実質的な情報を聞くために追加の入力を提供することを必要とせずに、又はユーザがデバイスのディスプレイ上で視覚的にイベント情報を確認することを必要とせずに、検出されたイベントに関する実質的な情報(例えば、イベントの送信者又は開始者、受信メッセージのコンテンツ、カレンダ又はその他のイベント招待の時間及び位置情報など)をユーザに提供する。これにより、処理される必要がある入力の数が減少し、ディスプレイの電源をオンにする必要がある時間が減少し、これにより、デバイスの操作性を向上させ、電力使用を低減し、デバイスのバッテリ寿命を改善する。
【0284】
いくつかの実施形態では、1つ以上の音声通知を出力することは、(例えば、図5ACの音声通知5106を参照して本明細書に記載されるように)1つ以上のオーディオトーンを出力することを含む(1010)。(例えば、疑似スピーチを使用してオーディオコンテンツを出力せずに)1つ以上のオーディオトーンを使用して音声通知を出力することで、出力される通知の侵入性及びオーディオコンテンツの長さを低減しながらイベントが検出されたことをユーザに通知し、これにより、ウェアラブルオーディオ出力デバイス(単数又は複数)がアクティブ又は電源オンでなければならない時間を削減し、これにより、デバイスの操作性を向上させ、電力使用を低減し、デバイスのバッテリ寿命を改善する。
【0285】
いくつかの実施形態では、電子デバイスは、1つ以上のウェアラブルオーディオ出力デバイスとは別個の1つ以上の第2のオーディオ出力デバイス(例えば、電子デバイスの一部である1つ以上のスピーカ)を含むか又はこれと通信している。いくつかの実施形態では、1つ以上の第2のオーディオ出力デバイスを介して第2イベントに対応する言語化された情報を出力することと併せて、デバイスは、1つ以上のウェアラブルオーディオ出力デバイスを介して第2イベントに対応する音声通知を出力することを取り止める(1012)。いくつかの実施形態では、1つ以上のウェアラブルオーディオ出力デバイスを介して第1イベントに対応する1つ以上の音声通知を出力することと併せて、デバイスは、1つ以上の第2のオーディオ出力デバイスを介して第1イベントに対応する言語化された情報(例えば、音声通知)を出力することを取り止める。つまり、いくつかの実施形態では、デバイスは、1つ以上のウェアラブルオーディオ出力デバイスを介して、又は1つ以上の第2のオーディオ出力デバイスを介して言語化された情報(例えば、音声通知)を出力するが、両方を介しては出力しない。
【0286】
例えば、ターンバイターンナビゲーションでは、電子デバイス上の又はこれと通信している1つ以上のスピーカを介して言語指示を出力している間に、デバイスは、1つ以上のウェアラブルオーディオ出力デバイスを介して言語指示を出力することを取り止める。別の例では、1つ以上のウェアラブルオーディオ出力デバイスを介して言語指示を出力している間に、デバイスは、デバイス上の又はこれと通信している1つ以上のスピーカを介して言語指示を出力することを取り止める。これらの例は、図5ADを参照して本明細書に更に記載される。
【0287】
他のオーディオ出力デバイスを介して同じ音声通知を出力している間にいくつかのオーディオ出力デバイスを介して音声通知を出力することを取り止めることで、冗長なオーディオ出力を回避し、これにより、全体として様々なオーディオ出力デバイスによる電力使用を低減し、又、ユーザの混乱も低減し、これによってデバイスの操作性を向上させ、ユーザの誤りを低減し、こうして全体的な電力使用を低減し、デバイスのバッテリ寿命を改善する。
【0288】
いくつかの実施形態では、第1イベントに対応する1つ以上の音声通知を出力することは、第1イベントのメタデータが第1イベントを音声通知に関連付けるという判定に従って実行される(1014)。いくつかの実施形態では、メタデータは、第1イベントに対応する通知が言語でユーザに提示されるべきであると指定する。いくつかの実施形態では、第1イベントのメタデータが第1イベントを音声通知に関連付けないという判定に従って、デバイスは、第1イベントに対応する1つ以上の音声通知を出力することを取り止める。いくつかの実施形態では、第1イベントのメタデータは、第1イベントの1つ以上のプロパティ(例えば、アプリケーション、アプリケーションタイプ、イベントタイプ、及び/又は第1イベントの連絡先)を指定し、電子デバイスに記憶されたメタデータ又は設定は、第1イベントのそれぞれのプロパティを音声通知に関連付ける。
【0289】
いくつかの実施形態では、メタデータは、第1イベントに関連付けられたアプリケーションを音声通知に関連付ける(例えば、メタデータは、特定のアプリケーションに対応する通知が言語でユーザに提示されるべきであると指定する)。いくつかの実施形態では、第1イベントは、特定のタイプのアプリケーションであるアプリケーションに関連付けられており、メタデータは、アプリケーションのアプリケーションタイプを音声通知に関連付ける(例えば、メタデータは、特定のタイプのアプリケーションに対応する通知が言語でユーザに提示されるべきであると指定する)。例えば、第1イベントはメッセージングアプリケーションに関連付けられており、メタデータは、メッセージングアプリケーションに対応する通知が言語で(例えば、1つ以上のウェアラブルオーディオ出力デバイスを介して)ユーザに提示されるべきであると指定する。他のアプリケーションタイプは、カレンダアプリケーション、フィットネスアプリケーション、ゲームアプリケーションなどを含む。
【0290】
いくつかの実施形態では、第1イベントは第1のタイプのイベントであり、メタデータは、イベントのイベントタイプを音声通知に関連付ける。例えば、第1イベントはカレンダイベントであり、メタデータは、カレンダイベントに対応する通知が言語でユーザに提示されるべきであると指定する。いくつかの実施形態では、第1イベントは、特定の連絡先からの通知に対応し、メタデータは、特定の連絡先からの通知を音声通知に関連付ける。例えば、第1イベントは、特定の送信者から受信したメッセージに対応し、メタデータは、特定の送信者からのメッセージが言語でユーザに提示されるべきであると指定する。いくつかの実施形態では、特定の連絡先は、電子デバイスに記憶された連絡先ホワイトリスト上の複数の連絡先のうちの1つである。
【0291】
イベントが音声通知に関連付けられていることを示す検出されたイベントのメタデータに基づいて検出されたイベントの音声通知を条件付きで出力することで、音声通知がそのイベントに提供されるべきであると各イベントが指定することを要求することによって、音声通知の侵入性及び頻度を低減し、特定のイベントの音声通知を有効化又は無効化する柔軟性を提供する。音声通知の提示に対する改善された制御を提供することで、デバイスの操作性を向上させ、電力使用を低減し、デバイスのバッテリ寿命を改善する。
【0292】
いくつかの実施形態では、第1イベントに対応する1つ以上の音声通知を出力することは、電子デバイスが音声通知を可能にするそれぞれのモードにあるという判定に従って実行される(1016)。いくつかの実施形態では、電子デバイスが音声通知を可能にしないそれぞれのモードにあるという判定に従って、デバイスは、第1イベントに対応する1つ以上の音声通知を出力することを取り止めるか、又はデバイスが音声通知を可能にするモードになるまで第1イベントに対応する1つ以上の音声通知を出力することを遅延させる。
【0293】
いくつかの実施形態では、1つ以上のデバイスモードは、電子デバイス上の設定ユーザインタフェース内で定義され得る。いくつかの実施形態では、1つ以上のデバイスモードは、ユーザによって定義される(例えば、ユーザは、ユーザが音声通知を受信したい、又は音声通知を受信したくない状況に基づいて、モードを指定する)。いくつかの実施形態では、1つ以上のデバイスモードは、音量設定、時間帯、デバイスの地理的位置、及び/又はユーザのカレンダの可用性などに基づいて定義される。音声通知を可能にする例示的なモードは、営業時間及び/又はユーザの仕事場の場所又はその近くのデバイスの存在に基づいて定義された「仕事」モードである。音声通知を可能にしない例示的なモードは、予定時間及び/又はユーザのジムの場所又はその近くのデバイスの存在に基づいて定義された「ジム」モードである。いくつかの実施形態では、特定のモードにより、他のタイプの音声通知を可能にすることなく、特定のタイプの音声通知を可能にする(例えば、「仕事」モードにより、カレンダ通知は言語化されるがゲーム通知は言語化されない)。
【0294】
電子デバイスの現在のモード又はコンテキストが音声通知を可能にするという判定に基づいて検出されたイベントの音声通知を条件付きで出力することで、特定のデバイスモードでの必要に応じて、他のモードでは音声通知が提供されることを可能にしながら、特定のモードでの音声通知の侵入性及び頻度を低減し、特定のモードで音声通知を有効化又は無効化する柔軟性をユーザに提供し(例えば、時刻、場所、通知のタイプなど)、音声通知の提示に対する改善された制御をユーザに提供し、デバイスの操作性を向上させ、電力使用を低減し、デバイスのバッテリ寿命を改善する。
【0295】
いくつかの実施形態では、第1イベントに対応する1つ以上の音声通知を出力することは、電子デバイスで実行されるバーチャルアシスタントによって監視された以前のユーザ挙動に基づいて実行される(1018)。いくつかの実施形態では、バーチャルアシスタントは、ユーザが音声通知の出力を許可した状況(例えば、地理的位置、時刻、音量設定、送信者など)、及びユーザが音声通知の出力を抑制した状況(例えば、1つ以上のウェアラブルオーディオ出力デバイスを着用しない選択をすることによって、提示されている音声通知をスキップすることによってなど)を判定するために、電子デバイス上のユーザ挙動を監視する。いくつかの実施形態では、第1イベントに対応する1つ以上の音声通知を出力することは、ユーザが以前に音声通知を許可した状況にデバイス及び/又は1つ以上のウェアラブルオーディオ出力デバイスがあるという判定に基づいている。いくつかの実施形態では、ユーザが以前に音声通知を許可した状況にデバイス及び/又は1つ以上のウェアラブルオーディオ出力デバイスがあるという判定に従って、デバイスは、第1イベントに対応する1つ以上の音声通知を出力することを取り止める。
【0296】
バーチャルアシスタントによって学習された以前のユーザ挙動に基づいて自動的に検出されたイベントの音声通知を条件付きで出力することで、表示された設定インタフェースを介してユーザに提示される必要がある制御オプションの数及び範囲を低減し、所望の通知挙動を指定するためにユーザが電子デバイスに提供する必要がある入力の数を削減し、これにより、デバイスの操作性を向上させ、電力使用を低減し、デバイスのバッテリ寿命を改善する。
【0297】
電子デバイスが1つ以上のオーディオ入力デバイスと通信している、いくつかの実施形態では、第1イベントに対応する1つ以上の音声通知を出力する前に、デバイスは、1つ以上のオーディオ入力デバイスを介して、ユーザが興味を示すそれぞれのイベントプロパティ(例えば、イベントタイプ、アプリケーション、アプリケーションタイプなど)を示す言語入力を検出する(1020)。いくつかの実施形態では、第1イベントに対応する1つ以上の音声通知を出力することは、第1イベントがそれぞれのイベントプロパティに関連付けられているという判定に従って実行される。例えば、ユーザが輸送関連通知に興味があることを示すユーザからの言語入力に応答して、第1イベントが輸送情報(例えば、公共交通機関のスケジュール情報)を含む場合、又は第1イベントがナビゲーションアプリケーションに関連付けられている場合、デバイスは1つ以上の音声通知を出力する。いくつかの実施形態では、ユーザが興味を示すイベントプロパティは、電子デバイスによって(例えば、デバイス上で実行されるバーチャルアシスタントによって)言語入力から推定される。
【0298】
以前の言語入力でユーザによって指定されたイベントプロパティに関連付けられているイベントに基づいて検出されたイベントの音声通知を条件付きで出力することで、1つ以上の表示された制御オプションを介してユーザが対象とするイベントを指定することを必要とせずに、特定のタイプのイベントに関連付けられた通知を有効化又は無効化する(若しくは強調又は強調を抑える)柔軟性をユーザに提供し、こうしてディスプレイの電源をオンにする必要がある時間を削減し、これにより、デバイスの操作性を向上させ、電力使用を低減し、デバイスのバッテリ寿命を改善する。
【0299】
図10A図10Bにおける動作について説明された特定の順序は単なる例であり、説明された順序は、動作を実行することができる唯一の順序であることを示すことを意図するものではないことを理解されたい。当業者であれば、本明細書に記載される動作を再順序付けるための様々な方法を認識するであろう。加えて、本明細書に記載される1つ以上の他の方法(例えば、方法600、700、800、及び/又は900)に関して本明細書に記載される他のプロセスの詳細は又、図10A~10Bに関して上記した方法1000にも、類似の様式で適用可能であることに留意されたい。例えば、方法1000を参照して上述されたデバイス、又はその構成要素、イベント、音声通知、及び入力は、任意選択的に、本明細書に記載される1つ以上の他の方法(例えば、方法600、700、800、及び/又は900)を参照して本明細書に記載されるデバイス、又はその構成要素、イベント、音声通知、及び入力の特性のうちの任意の1つ以上を有する。簡潔にするために、それらの詳細はここでは繰り返さない。
【0300】
上記は、説明を目的として、特定の実施形態を参照して記述されている。しかしながら、上記の例示的な論考は、網羅的であること、又は開示される厳密な形態に本発明を限定することを意図するものではない。上記の教示を考慮して、多くの修正及び変形が可能である。本発明の原理及びその実際的な応用を最良の形で説明し、それによって他の当業者が、想到される特定の用途に適した様々な変更で本発明及び様々な記載された実施形態を最良の形で使用することを有効化するために、これらの実施形態を選択し記載した。
【0301】
上述のように、本技術の一態様は、ユーザが関心を持つ可能性のあるイベントをユーザに通知するために、音声通知をユーザに提供するための様々なソースから入手可能なデータを収集及び使用することである。本開示は、いくつかの例において、この収集されたデータが、特定の人を一意に特定する個人情報データ、又は特定の人に連絡する若しくはその所在を突き止めるために使用できる個人情報データを含み得ることを考察する。そのような個人情報データとしては、人口統計データ、ロケーションベースのデータ、電話番号、電子メールアドレス、ツイッターID、自宅の住所、ユーザの健康又はフィットネスのレベル(例えば、バイタルサイン測定値、服薬情報、運動情報)に関するデータ若しくは記録、誕生日、又は任意のその他の識別情報若しくは個人情報を挙げることができる。
【0302】
本開示は、本技術におけるそのような個人情報データの使用がユーザの利益になる使用であり得る点を認識するものである。例えば、個人情報データは、ユーザにとって興味又は価値のない配信されたイベント情報の音量を低減しながら、ユーザによってより興味のある音声通知の一部としてのイベント情報を配信するために使用され得る。従って、このような個人情報データの使用は、ユーザの興味に合わせて調整され、ユーザに既に知られている情報を考慮する、ユーザへのイベント情報の配信を可能にする。更に、ユーザに利益をもたらす、個人情報データに関する他の使用も又、本開示によって考察される。例えば、健康データ及びフィットネスデータは、ユーザの全般的なウェルネスについての洞察を提供するために使用することができ、又は、ウェルネスの目標を追求するための技術を使用している個人への、積極的なフィードバックとして使用することもできる。
【0303】
本開示は、そのような個人情報データの収集、分析、開示、転送、記憶、又は他の使用に関与するエンティティが、確固たるプライバシーポリシー及び/又はプライバシー慣行を遵守することを考察する。具体的には、そのようなエンティティは、個人情報データを秘密として厳重に保守するための、業界又は政府の要件を満たしているか又は上回るものとして一般に認識されている、プライバシーのポリシー及び慣行を実施し、一貫して使用するべきである。そのようなポリシーは、ユーザによって容易にアクセス可能であるべきであり、データの収集及び/又は使用が変化するにつれて更新されるべきである。ユーザからの個人情報は、そのエンティティの合法的かつ正当な使用のために収集されるべきであり、それらの合法的使用を除いては、共有又は販売されるべきではない。更に、そのような収集/共有は、ユーザに告知して同意を得た後に実施されるべきである。更に、そのようなエンティティは、そのような個人情報データへのアクセスを保護して安全化し、その個人情報データへのアクセスを有する他者が、それらのプライバシーポリシー及び手順を遵守することを保証するための、あらゆる必要な措置を講じることを考慮するべきである。更に、そのようなエンティティは、広く受け入れられているプライバシーのポリシー及び慣行に対する自身の遵守を証明するために、第三者による評価を自らが受けることができる。更に、ポリシー及び慣行は、収集及び/又はアクセスされる具体的な個人情報データのタイプに適合されるべきであり、又、管轄権固有の考慮事項を含めた、適用可能な法令及び規格に適合されるべきである。例えば、アメリカ合衆国では、特定の健康データの収集又はアクセスは、医療保険の相互運用性と説明責任に関する法律(Health Insurance Portability and Accountability Act、HIPAA)などの、連邦法及び/又は州法によって管理することができ、その一方で、他国における健康データは、他の規制及びポリシーの対象となり得るものであり、それに従って対処されるべきである。それゆえ、各国の異なる個人データのタイプに対して、異なるプライバシー慣行が保たれるべきである。
【0304】
前述のことがらにも関わらず、本開示は又、個人情報データの使用又は個人情報データへのアクセスを、ユーザが選択的に阻止する実施形態も考察する。すなわち、本開示は、そのような個人情報データへのアクセスを防止又は阻止するように、ハードウェア要素及び/又はソフトウェア要素を提供できることを考察する。例えば、イベント通知配信サービスの場合において、本技術は、ユーザが、サービスの登録中又はその後のいつでも、個人情報データの収集への参加の「オプトイン」又は「オプトアウト」を選択できるように構成され得る。別の例では、ユーザは、目標とするイベント通知配信サービスのために、連絡先識別データ、位置データ、受信メッセージのデータ(電話通話、テキストメッセージ、電子メールなど、カレンダ招待又はイベントなど)などを提供しないことを選択することができる。更に別の例では、ユーザは、このようなデータが維持される期間を制限するか、又はこのようなデータに基づいてユーザアクティビティプロファイルの開発を完全に禁止することを選択することができる。「オプトイン」及び「オプトアウト」の選択肢を提供することに加えて、本開示は、個人情報のアクセス又は使用に関する通知を提供することを考察する。例えば、ユーザの個人情報データにアクセスすることとなるアプリのダウンロード時にユーザに通知され、その後、個人情報データがアプリによってアクセスされる直前に再びユーザに注意してもよい。
【0305】
更に、本開示の意図は、個人情報データを、非意図的若しくは無認可アクセス又は使用の危険性を最小限に抑える方法で、管理及び処理するべきであるという点である。データの収集を制限し、データがもはや必要とされなくなった時点で削除することによって、危険性を最小限に抑えることができる。更に、適用可能な場合、特定の健康関連アプリケーションにおいて、ユーザのプライバシーを保護するために、データの非特定化を使用することができる。非特定化は、適切な場合には、特定の識別子(例えば、生年月日など)を除去すること、記憶されたデータの量又は特異性を制御すること(例えば、位置データを住所レベルよりも都市レベルで収集すること)、データがどのように記憶されるかを制御すること(例えば、データをユーザ全体にわたって情報集約すること)及び/又は他の方法によって、容易にすることができる。
【0306】
それゆえ、本開示は、1つ以上の様々な開示された実施形態を実施するための、個人情報データの使用を広範に網羅するものであるが、本開示は又、そのような個人情報データにアクセスすることを必要とせずに、それらの様々な実施形態を実施することも可能であることを考察する。すなわち、本技術の様々な実施形態は、そのような個人情報データの全て又は一部分が欠如することにより、実施不可能となるものではない。例えば、イベント通知は、ユーザに関連付けられたデバイスによりリクエストされたコンテンツ、イベント通知配信サービスで使用可能な他の非個人情報、若しくは公的に使用可能な情報などの、非個人情報データ又は個人情報の最小限の量のみに基づいて嗜好を推測することにより、選択してユーザに配信することができる。
図1A
図1B
図2
図3A
図3B
図4A
図4B
図4C
図4D
図4E
図5A
図5B
図5C
図5D
図5E
図5F
図5G
図5H
図5I
図5J
図5K
図5L
図5M
図5N
図5O
図5P
図5Q
図5R
図5S
図5T
図5U
図5V
図5W
図5X
図5Y
図5Z
図5AA
図5AB
図5AC
図5AD
図6A
図6B
図6C
図6D
図6E
図7A
図7B
図7C
図8A
図8B
図8C
図8D
図9A
図9B
図9C
図10A
図10B
【手続補正書】
【提出日】2024-05-10
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
方法であって、
1つ以上のウェアラブルオーディオ出力デバイスと通信する電子デバイスにおいて、
1つ以上の第1イベントの発生を検出することと、
前記1つ以上の第1イベントの発生を検出したことに応じて、前記1つ以上のウェアラブルオーディオ出力デバイスを介して、前記1つ以上の第1イベントに対応するオーディオコンテンツを出力することと、
前記1つ以上の第1イベントに対応する前記オーディオコンテンツを出力した後に、前記1つ以上のウェアラブルオーディオ出力デバイスの動きを検出することと、
前記1つ以上のウェアラブルオーディオ出力デバイスの前記動きを検出したことに応じて、及び前記1つ以上のウェアラブルオーディオ出力デバイスの第1の動きが第1動き基準を満たすとの判定に従って、前記1つ以上のウェアラブルオーディオ出力デバイスを介して、1つ以上のイベントに対応する追加のオーディオコンテンツを出力することと、
を含む方法。
【請求項2】
前記追加のオーディオコンテンツは、前記1つ以上の第1イベントについての追加のオーディオコンテンツを含む、請求項1に記載の方法。
【請求項3】
前記1つ以上の第1イベントに対応する前記オーディオコンテンツは、前記1つ以上の第1イベントに対応する前記オーディオコンテンツに関連する疑似空間位置を含み、前記第1動き基準は、前記疑似空間位置に向かう前記1つ以上のウェアラブルオーディオ出力デバイスの動きに関する基準を含む、請求項1に記載の方法。
【請求項4】
前記1つ以上の第1イベントに対応する前記オーディオコンテンツは、前記1つ以上の第1イベントに対応する第1オーディオコンテンツ部分及び前記1つ以上の第1イベントに対応する第2オーディオコンテンツ部分を含み、前記方法は、
前記1つ以上のウェアラブルオーディオ出力デバイスの前記動きを検出したことに応じて、及び前記1つ以上のウェアラブルオーディオ出力デバイスの前記第1の動きが第2動き基準を満たすとの判定に従って、前記1つ以上のウェアラブルオーディオ出力デバイスを介して、前記1つ以上の第1イベントに対応する前記オーディオコンテンツの前記第2オーディオコンテンツ部分を出力せずに、前記1つ以上の第1イベントに対応する前記オーディオコンテンツの前記第1オーディオコンテンツ部分を出力することを含む、請求項1に記載の方法。
【請求項5】
前記1つ以上の第1イベントに対応する前記オーディオコンテンツは、前記1つ以上の第1イベントに対応する前記オーディオコンテンツに関連する疑似空間位置を含み、前記第2動き基準は、前記疑似空間位置から離れる前記1つ以上のウェアラブルオーディオ出力デバイスの動きに関する基準を含む、請求項4に記載の方法。
【請求項6】
前記第2動き基準は、前記1つ以上の第1イベントに対応する前記オーディオコンテンツの出力中に前記疑似空間位置から離れる前記1つ以上のウェアラブルオーディオ出力デバイスの動きに関する基準を含む、請求項5に記載の方法。
【請求項7】
前記第2動き基準を満たす前記1つ以上のウェアラブルオーディオ出力デバイスの前記第1の動きは、後方への動き、後方への傾き、又は前記1つ以上の第1イベントに対応する前記オーディオコンテンツに関連する疑似空間位置から離れる動きを含む、請求項4に記載の方法。
【請求項8】
前記1つ以上のウェアラブルオーディオ出力デバイスの第2の動きを検出したことに応じて、及び前記1つ以上のウェアラブルオーディオ出力デバイスの前記第2の動きが第2動き基準を満たすとの判定に従って、1つ以上の第2イベントに対応する後続のオーディオコンテンツの冗長性を減少させることを含む、請求項1に記載の方法。
【請求項9】
前記1つ以上の第1イベントに対応する前記オーディオコンテンツは、前記1つ以上の第1イベントに対応する前記オーディオコンテンツに関連する疑似空間位置を含み、前記第2動き基準は、前記疑似空間位置から離れる前記1つ以上のウェアラブルオーディオ出力デバイスの動きに関する基準を含む、請求項8に記載の方法。
【請求項10】
前記第2動き基準は、前記1つ以上の第1イベントに対応する前記オーディオコンテンツの出力後に前記疑似空間位置から離れる前記1つ以上のウェアラブルオーディオ出力デバイスの動きに関する基準を含む、請求項9に記載の方法。
【請求項11】
前記1つ以上のウェアラブルオーディオ出力デバイスの前記第2の動きは、後方への動き、後方への傾き、又は前記1つ以上の第1イベントに対応する前記オーディオコンテンツに関連する疑似空間位置から離れる動きを含む、請求項8に記載の方法。
【請求項12】
前記1つ以上のウェアラブルオーディオ出力デバイスの前記第1の動きは、前方への動き、前方への傾き、又は前記1つ以上の第1イベントに対応する前記オーディオコンテンツに関連する疑似空間位置に向かう動きを含む、請求項1に記載の方法。
【請求項13】
前記1つ以上のウェアラブルオーディオ出力デバイスは1つ以上の加速度計を含み、前記1つ以上のウェアラブルオーディオ出力デバイスの前記動きを検出することは、前記1つ以上の加速度計によって検出された動きに基づく、請求項1に記載の方法。
【請求項14】
1つ以上のウェアラブルオーディオ出力デバイスと通信する電子デバイスであって、
1つ以上のプロセッサと、
1つ以上のプログラムを格納するメモリと、を備え、前記1つ以上のプログラムは前記1つ以上のプロセッサによって実行されるように構成され、前記1つ以上のプログラムは、
1つ以上の第1イベントの発生を検出することと、
前記1つ以上の第1イベントの発生を検出したことに応じて、前記1つ以上のウェアラブルオーディオ出力デバイスを介して、前記1つ以上の第1イベントに対応するオーディオコンテンツを出力することと、
前記1つ以上の第1イベントに対応する前記オーディオコンテンツを出力した後に、前記1つ以上のウェアラブルオーディオ出力デバイスの動きを検出することと、
前記1つ以上のウェアラブルオーディオ出力デバイスの前記動きを検出したことに応じて、及び前記1つ以上のウェアラブルオーディオ出力デバイスの第1の動きが第1動き基準を満たすとの判定に従って、前記1つ以上のウェアラブルオーディオ出力デバイスを介して、1つ以上のイベントに対応する追加のオーディオコンテンツを出力することと、
のための命令を含む、電子デバイス。
【請求項15】
前記1つ以上のプログラムが、請求項2から13のいずれか1項に記載の方法を実行するための命令を含む、請求項14に記載の電子デバイス。
【請求項16】
命令を含むコンピュータプログラムであって、前記命令は、1つ以上のウェアラブルオーディオ出力デバイスと通信する電子デバイスによって実行された際に、前記電子デバイスに、
1つ以上の第1イベントの発生を検出することと、
前記1つ以上の第1イベントの発生を検出したことに応じて、前記1つ以上のウェアラブルオーディオ出力デバイスを介して、前記1つ以上の第1イベントに対応するオーディオコンテンツを出力することと、
前記1つ以上の第1イベントに対応する前記オーディオコンテンツを出力した後に、前記1つ以上のウェアラブルオーディオ出力デバイスの動きを検出することと、
前記1つ以上のウェアラブルオーディオ出力デバイスの前記動きを検出したことに応じて、及び前記1つ以上のウェアラブルオーディオ出力デバイスの第1の動きが第1動き基準を満たすとの判定に従って、前記1つ以上のウェアラブルオーディオ出力デバイスを介して、1つ以上のイベントに対応する追加のオーディオコンテンツを出力することと、
をさせる、コンピュータプログラム。
【請求項17】
請求項2から13のいずれか1項に記載の方法を実行するための命令を含む、請求項16に記載のコンピュータプログラム。
【外国語明細書】