特表2024-534925 | 知財ポータル「IP Force」

知財求人 - 知財ポータルサイト「IP Force」

▶ 華為技術有限公司の特許一覧

特表2024-534925注釈方法及び電子デバイス

書誌要約請求の範囲詳細な説明課題実施例実施するための形態図面の説明

目に優しい文字サイズ小中大 PDF Top

< >

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-09-26

(54)【発明の名称】注釈方法及び電子デバイス

(51)【国際特許分類】

G06F 3/0481 20220101AFI20240918BHJP

G06F 3/0485 20220101ALI20240918BHJP

G06F 3/14 20060101ALI20240918BHJP

【ＦＩ】

G06F3/0481

G06F3/0485

G06F3/14 350B

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2024514492

(86)(22)【出願日】2022-08-26

(85)【翻訳文提出日】2024-04-02

(86)【国際出願番号】 CN2022115223

(87)【国際公開番号】W WO2023030198

(87)【国際公開日】2023-03-09

(31)【優先権主張番号】202111039715.4

(32)【優先日】2021-09-06

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＢＬＵＥＴＯＯＴＨ

２．ＡＮＤＲＯＩＤ

３．ＪＡＶＡ

４．ブルートゥース

５．ＷＣＤＭＡ

(71)【出願人】

【識別番号】503433420

【氏名又は名称】華為技術有限公司

【氏名又は名称原語表記】ＨＵＡＷＥＩＴＥＣＨＮＯＬＯＧＩＥＳＣＯ．，ＬＴＤ．

【住所又は居所原語表記】ＨｕａｗｅｉＡｄｍｉｎｉｓｔｒａｔｉｏｎＢｕｉｌｄｉｎｇ，Ｂａｎｔｉａｎ，ＬｏｎｇｇａｎｇＤｉｓｔｒｉｃｔ，Ｓｈｅｎｚｈｅｎ，Ｇｕａｎｇｄｏｎｇ５１８１２９，Ｐ．Ｒ．Ｃｈｉｎａ

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東忠重

(74)【代理人】

【識別番号】100229448

【弁理士】

【氏名又は名称】中槇利明

(72)【発明者】

【氏名】ホゥ，ユエ

(72)【発明者】

【氏名】ヤーン，ジーイエン

(72)【発明者】

【氏名】ジアーン，シウピーン

(72)【発明者】

【氏名】プオン，カイ

【テーマコード（参考）】

5B069

5E555

【Ｆターム（参考）】

5B069BA04

5B069CA07

5B069CA13

5B069DC05

5E555AA13

5E555AA26

5E555BA03

5E555BA05

5E555BA06

5E555BB03

5E555BB05

5E555BB06

5E555BC19

5E555CA13

5E555CA14

5E555CB11

5E555CB12

5E555CB37

5E555CB40

5E555CC21

5E555DB03

5E555DB04

5E555DB51

5E555DC02

5E555FA00

(57)【要約】

本出願は、注釈方法及び電子デバイスを提供し、端末技術の分野に関する。本方法は：第１インタフェースを表示するステップであって、第１インタフェースは、分割画面形方式で表示される第１アプリケーションインタフェースと第２アプリケーションインタフェースとを含む、ステップと；第１インタフェース上でユーザによって実行された第１注釈操作を受け取るステップと；第１注釈操作に応答して、第１注釈を第１インタフェース上に表示するステップと；第１インタフェース上でユーザによって実行された第１スクロール操作を受け取るステップと；第１スクロール操作に応答して、第２インタフェースを表示するステップであって、第２インタフェースは、分割画面方式で表示される第１アプリケーションインタフェースと第２アプリケーションインタフェースとを含み、第２インタフェースは、第１インタフェースとは異なる、ステップと；第１注釈ピクチャを生成するステップであって、第１注釈ピクチャは、第１注釈と、第２注釈と、第１インタフェースと、第２インタフェースとを含む、ステップを含む。本出願において提供される技術的解決策は、注釈機能の適用シナリオを充実させ、ユーザによって実行される注釈付けの柔軟性を向上させることができる。

【特許請求の範囲】

【請求項1】

第１インタフェースを表示するステップであって、前記第１インタフェースは、分割画面方式で表示される第１アプリケーションインタフェースと第２アプリケーションインタフェースとを含む、ステップと、
前記第１インタフェース上でユーザによって実行された第１注釈操作を受け取るステップと、
前記第１注釈操作に応答して、第１注釈を前記第１インタフェース上に表示するステップと、
前記第１インタフェース上で前記ユーザによって実行された第１スクロール操作を受け取るステップと、
前記第１スクロール操作に応答して、第２インタフェースを表示するステップであって、前記第２インタフェースは、分割画面方式で表示される前記第１アプリケーションインタフェースと前記第２アプリケーションインタフェースとを含み、前記第２インタフェースは、前記第１インタフェースとは異なる、ステップと、
前記第２インタフェース上で前記ユーザによって実行された第２注釈操作を受け取るステップと、
前記第２注釈操作に応答して、第２注釈を前記第２インタフェース上に表示するステップと、
第１注釈ピクチャを生成するステップであって、前記第１注釈ピクチャは、前記第１注釈、前記第２注釈、前記第１インタフェース及び前記第２インタフェースを含む、ステップと、
を含む、注釈方法。

【請求項2】

前記第１スクロール操作に応答して、第２インタフェースを表示するステップは、具体的に、
前記第１スクロール操作に応答して、分割画面方式で表示される前記第１アプリケーションインタフェースを、第１アプリケーションの第１サブインタフェースから前記第１アプリケーションの第２サブインタフェースに切り替えるステップ、
を含む、請求項１に記載の方法。

【請求項3】

当該方法は、
前記第１スクロール操作に応答して、分割画面方式で表示される前記第２アプリケーションインタフェースを、第２アプリケーションの第３サブインタフェースから、前記第２アプリケーションの第４サブインタフェースに切り替えるステップ、
を更に含む、請求項２に記載の方法。

【請求項4】

前記第１スクロール操作が上方向のスクロール操作である場合、前記第１注釈ピクチャ内の前記第１サブインタフェースは、前記第２サブインタフェースの上に位置し、前記第３サブインタフェースは、前記第４サブインタフェースの上に位置する、
請求項３に記載の方法。

【請求項5】

前記第１アプリケーションインタフェースが前記第２アプリケーションインタフェースの左側に位置する場合、前記第１注釈ピクチャ内の前記第１サブインタフェースは、前記第３サブインタフェースの左側に位置し、前記第２サブインタフェースは、前記第４サブインタフェースの左側に位置するか、又は
前記第１アプリケーションインタフェースが前記第２アプリケーションインタフェースの右側に位置する場合、前記第１注釈ピクチャ内の前記第１サブインタフェースは、前記第３サブインタフェースの右側に位置し、前記第２サブインタフェースは、前記第４サブインタフェースの右側に位置する、
請求項４に記載の方法。

【請求項6】

前記第４サブインタフェースは、充填ページである、
請求項３乃至５のいずれか一項に記載の方法。

【請求項7】

前記第１アプリケーションインタフェースは、前記第１アプリケーションインタフェースの下部に固定的に表示される第１コンポーネントを更に含み、当該方法は、
前記第１インタフェース上で前記ユーザによって実行された前記第１スクロール操作を受け取った後、前記第１コンポーネントの表示をスキップするステップ、
を更に含む、請求項３乃至６のいずれか一項に記載の方法。

【請求項8】

当該方法は、
第３インタフェースを表示するステップであって、前記第３インタフェースは、分割画面方式で表示される第３アプリケーションインタフェースと第４アプリケーションインタフェースとを含む、ステップと、
前記第３インタフェース上に表示された前記第３アプリケーションインタフェース上で前記ユーザによって実行された第２スクロール操作を受け取るステップと、
前記第２スクロール操作に応答して、前記第３アプリケーションインタフェースを全画面表示するステップと、
前記第３アプリケーションインタフェース上で前記ユーザによって実行された第３注釈操作を受け取るステップと、
前記第３注釈操作に応答して、前記第３アプリケーションインタフェース上に第３注釈を表示するステップと、
第２注釈ピクチャを生成するステップであって、前記第２注釈ピクチャは、前記第３注釈と前記第３アプリケーションインタフェースとを含む、ステップと、
を更に含む、請求項１乃至７のいずれか一項に記載の方法。

【請求項9】

当該方法は、
第４インタフェースを表示するステップであって、前記第４インタフェースは、分割画面方式で表示される第５アプリケーションインタフェースと第６アプリケーションインタフェースとを含む、ステップと、
前記第５アプリケーションインタフェース又は前記第６アプリケーションインタフェース上で前記ユーザによって行われる第４注釈操作を受け取るステップと、
前記第４注釈操作に応答して、第４注釈を前記第５アプリケーションインタフェース又は前記第６アプリケーションインタフェース上に表示するステップと、
前記第５アプリケーションインタフェース上で前記ユーザにより実行された第３スクロール操作を受け取るステップと、
前記第３スクロール操作に応答して、前記第５アプリケーションインタフェースを全画面表示するステップと、
を更に含む、請求項１乃至８のいずれか一項に記載の方法。

【請求項10】

当該方法は、
第５インタフェースを表示するステップであって、前記第５インタフェースは、分割画面方式で表示される第７アプリケーションインタフェースと第８アプリケーションインタフェースとを含む、ステップと、
前記第５インタフェース上で前記ユーザによって実行された第５注釈操作を受け取るステップと、
前記第５注釈操作に応答して、第５注釈を表示するステップであって、前記第５注釈は、前記第７アプリケーションインタフェースと前記第８アプリケーションインタフェースとの間の境界に重なる、ステップと、
前記第５インタフェース上で前記ユーザにより実行された第４スクロール操作を受け取るステップと、
前記第４スクロール操作に応答して、前記ユーザが注釈を保存するかどうかを選択するためのプロンプトインタフェースを表示するステップと、
を更に含む、請求項１乃至９のいずれか一項に記載の方法。

【請求項11】

当該方法は、
第６インタフェースを表示するステップであって、前記第６インタフェースは、全画面表示された第９アプリケーションインタフェースと、前記第９アプリケーションインタフェース上にフローティング方式で表示される第１０アプリケーションインタフェースとを含む、ステップと、
注釈トリガ操作に応答して、フローティング方式で表示される前記第１０アプリケーションインタフェースを隠すか、又は前記第９アプリケーションインタフェースと前記第１０アプリケーションインタフェースとを分割画面方式で表示するステップと、
を更に含む、請求項１乃至１０のいずれか一項に記載の方法。

【請求項12】

メモリとプロセッサとを備える電子デバイスであって、前記メモリはコンピュータプログラムを記憶するように構成され、前記プロセッサは、前記コンピュータプログラムを呼び出すときに、請求項１乃至１１のいずれか一項に記載の方法を実行するように構成される、電子デバイス。

【請求項13】

コンピュータプログラムを記憶したコンピュータ読取可能記憶媒体であって、前記コンピュータプログラムがプロセッサによって実行されると、請求項１乃至１１のいずれか一項に記載の方法が実装される、コンピュータ読取可能記憶媒体。

【請求項14】

コンピュータプログラム製品であって、当該コンピュータプログラム製品が電子デバイスにおいて実行されると、前記電子デバイスは、請求項１乃至１１のいずれか一項に記載の方法を実行することが可能にされる、コンピュータプログラム製品。

【請求項15】

チップシステムであって、当該チップシステムはプロセッサを備え、前記プロセッサはメモリに結合され、前記プロセッサは前記メモリに記憶されたコンピュータプログラムを実行して、請求項１乃至１１のいずれか一項に記載の方法を実装する、チップシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本出願は、２０２１年９月６日に中国国家知的産権局に出願された「ANNOTATION METHOD AND ELECTRONIC DEVICE」という名称の中国特許出願第２０２１１１０３９７１５．４号の優先権を主張するものであり、その全体が参照により本明細書に組み込まれる。

【0002】

本出願は、端末技術の分野に関し、特に、注釈方法及び電子デバイスに関する。

【背景技術】

【0003】

携帯電話及びタブレットコンピュータのような電子デバイスは、人々の仕事や勉強にますます応用されるようになっている。ユーザによる使用の容易性のために、いくつかの電子デバイスは注釈機能を提供し、ユーザは、注釈機能を使用することによって、テキスト又はピクチャのようなコンテンツに注釈を付けることがある。

【0004】

例えば図１（ａ）に示されるように、ユーザは、タブレットコンピュータ上で「Ｇａｌｌｅｒｙ」アプリケーション（application、ＡＰＰ）を開き、注釈モードに入るようにタブレットコンピュータを制御することがある。注釈モードに入った後、図１（ｂ）に示されるように、ユーザは、注釈インタフェース上でスタイラスを使用することによって、ピクチャに対する注釈付けを行うことがある。加えて、注釈インタフェースは、ツールバーを提供してよく、ユーザは、ツールバーを使用することによって注釈内容等を調整してもよい。

【0005】

しかしながら、注釈機能の現在の適用シナリオは限られており、ユーザによる使用は十分に自由で柔軟ではない。

【発明の概要】

【発明が解決しようとする課題】

【0006】

この観点で、本出願は、注釈機能の適用シナリオを充実させ、それによりユーザによって実行される注釈付けの柔軟性を向上させるために使用される、注釈方法及び電子デバイスを提供する。

【課題を解決するための手段】

【0007】

上記目的を達成するために、第１の側面によると、本出願の実施形態は、
第１インタフェースを表示するステップであって、第１インタフェースは、分割画面方式で表示される第１アプリケーションインタフェースと第２アプリケーションインタフェースとを含む、ステップと、
第１インタフェース上でユーザによって実行された第１注釈操作を受け取るステップと、
第１注釈操作に応答して、第１注釈を第１インタフェース上に表示するステップと、
第１インタフェース上でユーザによって実行された第１スクロール操作を受け取るステップと、
第１スクロール操作に応答して、第２インタフェースを表示するステップであって、第２インタフェースは、分割画面方式で表示される第１アプリケーションインタフェースと第２アプリケーションインタフェースとを含み、第２インタフェースは、第１インタフェースとは異なる、ステップと、
第２インタフェース上でユーザによって実行された第２注釈操作を受け取るステップと、
第２注釈操作に応答して、第２注釈を第２インタフェース上に表示するステップと、
第１注釈ピクチャを生成するステップであって、第１注釈ピクチャは、第１注釈、第２注釈、第１インタフェース及び第２インタフェースを含む、ステップと、
を含む、注釈方法を提供する。

【0008】

第１アプリケーションインタフェースと第２アプリケーションインタフェースを分割画面方式で表示するとき、電子デバイスは、ユーザの注釈トリガ操作を受け取って注釈モードに入り、注釈インタフェース（すなわち、第１インタフェース）を表示してよく、第１アプリケーションインタフェース及び第２アプリケーションインタフェースは引き続き、第１インタフェースにおいて分割画面方式で表示されてよく、注釈層は、表示されたアプリケーションインタフェース上にロードされてよく、注釈層は透明であってよく、注釈層はツールバーも含んでもよい。

【0009】

第１注釈操作及び第２注釈操作は、スタイラスや指等を使用することによって画面上でユーザによって実行される注釈操作であってよい。

【0010】

例えば第３アプリケーションインタフェースと第４アプリケーションインタフェースが左右分割画面方式で表示されるとき、ユーザは上方向又は下方向のスクロール操作を入力すると、電子デバイスは、第１アプリケーションインタフェース及び／又は第２アプリケーションインタフェースをスクロールして、左右分割画面のシナリオで上下スクロール方式により注釈付けを実装し得る。

【0011】

例えば第３アプリケーションインタフェースと第４アプリケーションインタフェースが上下分割画面方式で表示されるとき、ユーザは左方向又は右方向のスクロール操作を入力し、電子デバイスは、第１アプリケーションインタフェース及び／又は第２アプリケーションインタフェースをスクロールして、上下分割画面のシナリオで左右スクロール方式により注釈付けを実装し得る。

【0012】

本出願のこの実施形態で提供される注釈方法では、電子デバイスは、ユーザが注釈付けを行うために、分割画面シナリオで注釈モードに入ってよい。注釈モードでは、ユーザは、分割画面方式で表示された第１アプリケーションインタフェースと第２アプリケーションインタフェースに対して注釈付けを行ってよく、ユーザは、スクロール方式で注釈付けを行ってよい。したがって、本方法は、注釈機能の適用シナリオを充実させ、ユーザによって実行される注釈付けの柔軟性を改善し、ユーザの注釈経験を改善することができる。

【0013】

第１の側面の可能な実装では、第１スクロール操作に応答して、第２インタフェースを表示するステップは、具体的に、
第１スクロール操作に応答して、分割画面方式で表示される第１アプリケーションインタフェースを、第１アプリケーションの第１サブインタフェースから第１アプリケーションの第２サブインタフェースに切り替えるステップを含む。

【0014】

上記の実装では、電子デバイスは、ユーザのスクロール操作に応答して、第１アプリケーションインタフェースの表示されたインタフェースコンテンツを更新してよく、その結果、ユーザは、注釈モードにおいて、第１アプリケーションインタフェースのインタフェースコンテンツをスクロールすることができ、それにより、ユーザによる注釈付けを実行する柔軟性を改善することができる。

【0015】

第１の側面の可能な実装では、本方法は、
第１スクロール操作に応答して、分割画面方式で表示される第２アプリケーションインタフェースを、第２アプリケーションの第３サブインタフェースから、第２アプリケーションの第４サブインタフェースに切り替えるステップ、
を更に含む。

【0016】

上記の実装では、第１アプリケーションインタフェースと第２アプリケーションインタフェースとにおけるインタフェースコンテンツの同期スクロールを実装することができ、その結果、ユーザによる使用の利便性を向上させることができる。

【0017】

第１の側面の可能な実装では、第１スクロール操作が上方向のスクロール操作である場合、第１注釈ピクチャ内の第１サブインタフェースは、第２サブインタフェースの上に位置し、第３サブインタフェースは、第４サブインタフェースの上に位置する。

【0018】

上記の実装を用いることにより、注釈付けを行うプロセスにおいて、ユーザは、上方向のスクロール操作を用いることにより、第１アプリケーションインタフェース及び第２アプリケーションインタフェースの背後にあるインタフェースコンテンツを見ることができる。

【0019】

第１の側面の可能な実装では、第１スクロール操作が下方向のスクロール操作である場合、第１注釈ピクチャ内の第１サブインタフェースは第２サブインタフェースの下に位置し、第３サブインタフェースは第４サブインタフェースの下に位置する。

【0020】

上記の実装を用いることにより、注釈付けを行うプロセスにおいて、ユーザは、下方向のスクロール操作を用いることにより、第１アプリケーションインタフェース及び第２アプリケーションインタフェースの前にインタフェースコンテンツを見ることができる。

【0021】

第１の側面の可能な実装では、第１アプリケーションインタフェースが第２アプリケーションインタフェースの左側に位置する場合、第１注釈ピクチャ内の第１サブインタフェースは、第３サブインタフェースの左側に位置し、第２サブインタフェースは、第４サブインタフェースの左側に位置するか、又は
第１アプリケーションインタフェースが第２アプリケーションインタフェースの右側に位置する場合、第１注釈ピクチャ内の第１サブインタフェースは、第３サブインタフェースの右側に位置し、第２サブインタフェースは、第４サブインタフェースの右側に位置する。

【0022】

上記の実装では、ユーザは、左右分割画面シナリオでスクロールする方式により注釈付けを実行し得る。

【0023】

第１の側面の可能な実装では、第４サブインタフェースは、充填ページである。このようにして、スクロールを続けることができないアプリケーションインタフェースに対して、ユーザは、充填ページを使用することにより、より多くの注釈スペースを使用することができる。

【0024】

第１の側面の可能な実装では、第１アプリケーションインタフェースは、第１アプリケーションインタフェースの下部に固定的に表示される第１コンポーネントを更に含み、当該方法は、
第１インタフェース上でユーザによって実行された第１スクロール操作を受け取った後、第１コンポーネントの表示をスキップするステップを更に含む。

【0025】

上記の実装では、第１アプリケーションインタフェースの下部に固定的に表示される、メニューバーのようなコンポーネントは、スクロール注釈プロセスでは表示されない。このようにして、ユーザは、画面上でより多くのインタフェースコンテンツを見ることができ、ユーザの注釈経験を向上させることができる。

【0026】

第１の側面の可能な実装では、第１アプリケーションインタフェースは、第１アプリケーションインタフェースの上部に固定的に表示される第２コンポーネントを更に含み、当該方法は、
第１インタフェース上でユーザによって実行された第１スクロール操作を受け取った後、第２コンポーネントの表示をスキップするステップを更に含む。

【0027】

上記の実装では、第１アプリケーションインタフェースの上部に固定的に表示される、ステータスバーのようなコンポーネントは、スクロール注釈プロセスでは表示されない。このようにして、ユーザは、画面上でより多くのインタフェースコンテンツを見ることができ、ユーザの注釈経験を向上させることができる。

【0028】

第１の側面の可能な実装では、本方法は、
第３インタフェースを表示するステップであって、第３インタフェースは、分割画面方式で表示される第３アプリケーションインタフェースと第４アプリケーションインタフェースとを含む、ステップと、
第３インタフェース上に表示された第３アプリケーションインタフェース上でユーザによって実行された第２スクロール操作を受け取るステップと、
第２スクロール操作に応答して、第３アプリケーションインタフェースを全画面表示するステップと、
第３アプリケーションインタフェース上でユーザによって実行された第３注釈操作を受け取るステップと、
第３注釈操作に応答して、第３アプリケーションインタフェース上に第３注釈を表示するステップと、
第２注釈ピクチャを生成するステップであって、第２注釈ピクチャは、第３注釈と第３アプリケーションインタフェースとを含む、ステップと、
を更に含む。

【0029】

例えば第３アプリケーションインタフェースと第４アプリケーションインタフェースとが上下分割画面方式で表示されるとき、ユーザは上方向又は下方向のスクロール操作を入力し、電子デバイスは、ユーザがアプリケーションインタフェースをスクロールするとき、アプリケーションインタフェースを全画面表示してよく、上下分割画面シナリオで上下スクロール方式により注釈付けを実装する。

【0030】

別の例では、第３アプリケーションインタフェースと第４アプリケーションインタフェースとが左右分割画面方式で表示されるとき、ユーザは左方向又は右方向のスクロール操作を入力し、電子デバイスは、ユーザがアプリケーションインタフェースをスクロールするとき、アプリケーションインタフェースを全画面表示してよく、左右分割画面シナリオで左右スクロール方式により注釈付けを実装する。

【0031】

上記の実装を用いることにより、注釈機能の適用シナリオを更に充実することができ、ユーザによって実行される注釈付けの柔軟性が改善され、ユーザの注釈経験を向上させることができる。

【0032】

第１の側面の可能な実装では、本方法は、
第４インタフェースを表示するステップであって、第４インタフェースは、分割画面方式で表示される第５アプリケーションインタフェースと第６アプリケーションインタフェースとを含む、ステップと、
第５アプリケーションインタフェース又は第６アプリケーションインタフェース上でユーザによって行われる第４注釈操作を受け取るステップと、
第４注釈操作に応答して、第４注釈を第５アプリケーションインタフェース又は第６アプリケーションインタフェース上に表示するステップと、
第５アプリケーションインタフェース上でユーザによって実行された第３スクロール操作を受け取るステップと、
第３スクロール操作に応答して、第５アプリケーションインタフェースを全画面表示するステップと、
第３注釈ピクチャを生成するステップであって、第３注釈ピクチャは、全画面表示される第５アプリケーションインタフェースと、第６アプリケーションインタフェースと、第４注釈とを含む、ステップと、
を更に含む。

【0033】

第５アプリケーションインタフェースが全画面表示された後、ユーザは、第５アプリケーションインタフェースに注釈を追加し、インタフェースをスクロールする等してよい。ユーザが注釈保存操作を入力した後、電子デバイスは、注釈プロセスで表示された第５アプリケーションインタフェースと、第５アプリケーションインタフェース上でユーザによって追加された注釈とを結合して１つの注釈ピクチャにしてもよく、注釈プロセスで表示された第６アプリケーションインタフェースと、第６アプリケーションインタフェース上でユーザによって追加された注釈とを結合して１つの注釈ピクチャにしてもよく、次いで２つの注釈ピクチャを保存のために一緒にスプライスしてよい。

【0034】

前述の実装を用いることにより、注釈機能の適用シナリオを更に充実することができ、ユーザによって実行された注釈付けの柔軟性が改善され、ユーザの注釈経験が向上する。

【0035】

第１の側面の可能な実装では、本方法は、
第５インタフェースを表示するステップであって、第５インタフェースは、分割画面方式で表示される第７アプリケーションインタフェースと第８アプリケーションインタフェースとを含む、ステップと、
第５インタフェース上でユーザによって実行された第５注釈操作を受け取るステップと、
第５注釈操作に応答して、第５注釈を表示するステップであって、第５注釈は、第７アプリケーションインタフェースと第８アプリケーションインタフェースとの間の境界に重なる、ステップと、
第７インタフェース上でユーザによって実行された第４スクロール操作を受け取るステップと、
第４スクロール操作に応答して、ユーザが注釈を保存するかどうかを選択するためのプロンプトインタフェースを表示するステップと、
ユーザの選択操作に応答して、第７アプリケーションインタフェースを全画面で表示するステップと、
選択操作が、注釈を保存しないことを選択する操作であるとき、第４注釈ピクチャを生成するステップ、又は、
選択操作が、注釈を保存することを選択する操作であるとき、第４注釈ピクチャと第５注釈ピクチャとを生成するステップであって、第４注釈ピクチャは、全画面表示された第７アプリケーションインタフェースと第５注釈とを含み、第５注釈ピクチャは、第５インタフェースと第５注釈とを含む、ステップと、
を更に含む。

【0036】

前述の実装を用いることにより、注釈機能の適用シナリオを更に充実させることができ、ユーザによって実行される注釈の柔軟性が改善され、ユーザの注釈経験が向上する。

【0037】

第１の側面の可能な実装では、本方法は、
第６インタフェースを表示するステップであって、第６インタフェースは、全画面表示された第９アプリケーションインタフェースと、第９アプリケーションインタフェース上にフローティング方式で表示される第１０アプリケーションインタフェースとを含む、ステップと、
注釈トリガ操作に応答して、フローティング方式で表示される第１０アプリケーションインタフェースを隠すか、又は第９アプリケーションインタフェースと第１０アプリケーションインタフェースとを分割画面方式で表示するステップと、
を更に含む。

【0038】

上記の実装では、電子デバイスは、ユーザがフローティングウィンドウシナリオで注釈モードに入ることを可能にすることができ、その結果、注釈機能の適用シナリオを更に充実させることができ、ユーザによって実行される注釈付けの柔軟性が改善され、ユーザの注釈経験が向上する。

【0039】

第２の側面によると、本出願の実施形態は、メモリとプロセッサとを備える電子デバイスを提供し、メモリはコンピュータプログラムを記憶するように構成され、プロセッサは、コンピュータプログラムを呼び出すときに、第１の側面又は第１の側面のいずれかの実装による方法を実行するように構成される。

【0040】

第３の側面によると、本出願の実施形態は、コンピュータプログラムを記憶したコンピュータ読取可能記憶媒体を提供し、コンピュータプログラムがプロセッサによって実行されると、第１の側面又は第１の側面のいずれかの実装による方法が実装される。

【0041】

第４の側面によると、本出願の実施形態は、コンピュータプログラム製品を提供する。コンピュータプログラム製品が電子デバイスにおいて実行されると、電子デバイスは、第１の側面又は第１の側面のいずれかの実装による方法を実行することが可能にされる。

【0042】

第５の側面によると、本出願の実施形態は、プロセッサを含むチップシステムを提供し、プロセッサはメモリに結合され、プロセッサはメモリに記憶されたコンピュータプログラムを実行して第１の側面又は第１の側面のいずれかの実装による方法を実装する。チップシステムは、単一のチップであってもよく、あるいは複数のチップを含むチップモジュールであってもよい。

【0043】

理解され得るように、第２の側面から第５の側面までの有利な効果については、第１の側面の関連する説明を参照されたい。詳細はここでは再び説明しない。

【図面の簡単な説明】

【0044】

【図1】既存の注釈シナリオの概略図である。

【0045】

【図2】本出願の実施形態による、注釈方法の概略フローチャートである。

【0046】

【図3】本出願の実施形態による、注釈シナリオの概略図である。

【0047】

【図4】本出願の実施形態による、フローティングメニュートリガプロセスの概略図である。

【0048】

【図5】本出願の実施形態による、いくつかの注釈シナリオの概略図である。

【図6】本出願の実施形態による、いくつかの注釈シナリオの概略図である。

【図7】本出願の実施形態による、いくつかの注釈シナリオの概略図である。

【図8】本出願の実施形態による、いくつかの注釈シナリオの概略図である。

【図9】本出願の実施形態による、いくつかの注釈シナリオの概略図である。

【図10】本出願の実施形態による、いくつかの注釈シナリオの概略図である。

【図11】本出願の実施形態による、いくつかの注釈シナリオの概略図である。

【図12】本出願の実施形態による、いくつかの注釈シナリオの概略図である。

【図13】本出願の実施形態による、いくつかの注釈シナリオの概略図である。

【図14】本出願の実施形態による、いくつかの注釈シナリオの概略図である。

【図15】本出願の実施形態による、いくつかの注釈シナリオの概略図である。

【図16】本出願の実施形態による、いくつかの注釈シナリオの概略図である。

【図17】本出願の実施形態による、いくつかの注釈シナリオの概略図である。

【0049】

【図18】本出願の実施形態による、対話システムの構造の概略図である。

【0050】

【図19】本出願の実施形態による、電子デバイスのソフトウェアアーキテクチャの概略図である。

【0051】

【図20】本出願の実施形態による、スクロール注釈原理の概略図である。

【0052】

【図21】本出願の実施形態による、電子デバイスの構造の概略図である。

【0053】

【図22】本出願の実施形態による、注釈装置の構造の概略図である。

【発明を実施するための形態】

【0054】

注釈機能の適用シナリオを充実させ、ユーザによって実行される注釈付けの柔軟性を向上させるために、本出願の実施形態は技術的解決策を提供する。この解決策では、電子デバイスは、ユーザが注釈付けを行うために、マルチウィンドウシナリオで注釈モードに入り得る。

【0055】

電子デバイスは、携帯電話、タブレットコンピュータ、ノートブックコンピュータ又は電子書籍リーダのようなディスプレイデバイスであり得る。これは、本出願のこの実施形態において特に限定されない。説明の便宜上、本出願のこの実施形態では、以下の説明において、タブレットコンピュータを例として使用する。

【0056】

マルチウィンドウシナリオは、２つ以上のウィンドウを含むことがある。マルチウィンドウシナリオに含まれる複数のウィンドウは、横方向に配置されてよく（例えば左右分割画面シナリオ）、縦方向に配置されてよく（例えば上下分割画面シナリオ）、あるいはオーバーラップ方式で配置されてもよい（例えばフローティングウィンドウシナリオ）。以下では、左右分割画面シナリオ、上下分割画面シナリオ及びフローティングウィンドウシナリオを例として使用することにより、本出願の技術的解決策を説明する。

【0057】

まず、左右分割画面シナリオを説明する。

【0058】

図２は、本出願の実施形態による注釈方法の概略フローチャートである。図２に示されるように、この実施形態において提供される注釈方法は、以下のステップを含み得る。

【0059】

Ｓ１１０：分割画面インタフェースを表示し、ここで、分割画面インタフェースは、横方向に配置された第１アプリケーションインタフェースと第２アプリケーションインタフェースとを含む。

【0060】

例えば図３の（ａ）に示されるように、電子デバイスに表示される分割画面インタフェースにおいて、第１アプリケーションインタフェースは「ギャラリ」ＡＰＰのアプリケーションインタフェースであり、第２アプリケーションインタフェースは「メモ帳」ＡＰＰのアプリケーションインタフェースであり、「ギャラリ」ＡＰＰと「メモ帳」ＡＰＰとは左右分割画面方式で表示され、第１アプリケーションインタフェースは、第２アプリケーションインタフェースの左側に配置される。位置関係も、以下の説明のための例として使用される。

【0061】

同じＡＰＰのアプリケーションインタフェースも左右分割画面に表示され得ること、すなわち、第１アプリケーションインタフェース及び第２アプリケーションインタフェースに対応するＡＰＰが同じであり得ることが理解され得る。ユーザは、同じコンテンツ又は異なるコンテンツを表示するように、第１アプリケーションインタフェース及び第２アプリケーションインタフェースを制御し得る。この表示モードはまた、Ａｐｐ乗数（multiplier）とも呼ばれることがある。加えて、左右分割画面はまた、同じＡＰＰのアプリケーションインタフェースにおけるバー分割（bar division）であってもよい。この実施形態では、第１アプリケーションインタフェースと第２アプリケーションインタフェースとが異なるＡＰＰsのアプリケーションインタフェースである例を説明のために使用する。

【0062】

Ｓ１２０：ユーザによって入力された注釈トリガ操作に応答して、第１注釈インタフェースを表示する。

【0063】

図３の（ａ）及び（ｂ）に示されるように、分割画面インタフェースが電子デバイスに表示されると、ユーザは、注釈トリガ操作を入力し、注釈モードに入って注釈インタフェース（本明細書において、第１注釈インタフェースと呼ばれる）を表示するように電子デバイスをトリガし得る。

【0064】

任意の実装では、注釈トリガ操作は、電子デバイスの画面上でユーザによって実行される操作であってよい。

【0065】

具体的には、注釈トリガ操作は、フローティングメニュー内のターゲットコントロールに対するトリガ操作であってよい。

【0066】

図３の（ａ）に示されるように、スタイラスへの接続を確立した後、電子デバイスは、画面上にフローティングメニュー１０を表示し得る。フローティングメニュー１０は、注釈コントロール（すなわち、ターゲットコントロール）を提供してよく、ユーザは、コントロールをタップすることによって、注釈モードに入るように電子デバイスをトリガし得る。

【0067】

図４は、フローティングメニューの別の実装を示す。図４の（ａ）に示されるように、ユーザは、画面の第１の角（ここでは、右上の角を例として使用する）から内側にスライドして、フローティングメニュー１０を開くことができる。図４の（ｂ）に示されるように、フローティングメニュー１０は、半環形状であってよく、画面の上端及び右端に沿って表示される。図３と同様に、フローティングメニュー１０は、注釈コントロールを提供してよく、ユーザは、コントロールをタップすることによって、注釈モードに入るように電子デバイスをトリガし得る。具体的には、注釈トリガ操作は、フローティングメニューを表示させるように電子デバイスをトリガする操作と、注釈コントロールをタップする操作とを含み得る。

【0068】

フローティングメニューを表示するように電子デバイスをトリガする操作は、上述した画面の右上の角から内側にスライドする操作に限定されず、代替的に別の操作であってもよい。例えばユーザは代替的に、右上の角に近い画面エッジエリアまで画面の外側にスライドして、フローティングメニューを表示するように電子デバイスをトリガし得る。

【0069】

フローティングメニューを閉じる必要があるとき、ユーザは、フローティングメニューの外側のエリアをタップすること又は別の操作を実行することによって、フローティングメニューを閉じるように電子デバイスをトリガし得る。

【0070】

図４の（ｂ）に示されるように、フローティングメニューは、別の機能コントロールを更に提供してもよい。ここでは、例えば機能Ａに対応するコントロールが含まれる。フローティングメニューが比較的大量の機能コントロールを含むとき、いくつかの機能コントロールがフローティングメニュー内に表示されてよく、例えば２つの機能コントロールが表示され、他の機能コントロールは隠されてもよい。ユーザは、フローティングメニューの延長方向に沿ってアーチ状に上方向又は下方向にスライドして、フローティングメニューに表示される機能コントロールを制御し得る。

【0071】

電子デバイスの画面上でユーザによって実行される注釈トリガ操作は、代替的に、予め設定されたジェスチャ操作であってもよい。例えばユーザは、画面の第２の角（例えば左下角）から内側にスライドして、注釈モードに入るように電子デバイスをトリガしてもよく、あるいはユーザは、空間にまたがるターゲットジェスチャ操作を実行して、注釈モードに入るように電子デバイスをトリガしてもよい。ジェスチャ操作は、この実施形態において特に限定されない。

【0072】

この実施形態において、電子デバイスの画面に対して実行されるタッチ操作は、ユーザが指を使用することにより実行されるタッチ操作であってよく、あるいはユーザがスタイラスを使用することにより実行されるタッチ操作であってもよい。この実施形態では、説明のためにスタイラスを例として使用する。

【0073】

別の任意の実装では、注釈トリガ操作は、代替的に、ユーザによってスタイラスに対して実行される操作であってもよい。

【0074】

例えばユーザは、スタイラスの胴体をダブルタップしたり、胴体を振ったり、あるいはスタイラス上のターゲットキーを押したりして、注釈モードに入るように電子デバイスをトリガし得る。

【0075】

図３の（ｂ）に示されるように、電子デバイスが注釈モードに入った後、表示された第１注釈インタフェースは、分割画面インタフェースのインタフェースコンテンツ２１と、インタフェースコンテンツ２１を覆う注釈層とを含み得る。注釈層は、透明エリア２２とツールバー２３とを含み得る。

【0076】

ユーザは、透明エリア２２を介して、注釈エリアの下にあるインタフェースコンテンツ２１を見ることができ、透明エリア２２内のインタフェースコンテンツ２１に対して注釈付けを行うことができる。

【0077】

注釈コンテンツを調整するための機能オプションがツールバー２３に配置される。図３の（ｂ）は、いくつかの機能オプションを例として示しており、これらの機能オプションは、左から右に順番に、注釈モードを終了するオプション、線の太さを調整するオプション、線の色を調整するオプション、消しゴムオプション、注釈を保存するオプションである。

【0078】

ツールバー２３の機能オプションは、図３に示されるオプションに限定されず、より多くのオプション又はより少ないオプションを含み得ることが理解され得る。これは、この実施形態においては特に限定されない。

【0079】

ツールバー２３は、デフォルトで第１注釈インタフェースの下部に配置されてよく、ユーザは、ツールバー２３をドラッグして、ツールバー２３の位置を変更してもよい。

【0080】

Ｓ１３０：第１注釈インタフェースについて、ユーザによって追加された第１注釈を受け取って表示する。

【0081】

図３の（ｂ）に示されるように、電子デバイスが注釈モードに入った後、ユーザは、スタイラスを使用することにより、透明エリア２２内においてインタフェースコンテンツ２１に対して注釈（すなわち、第１注釈）を追加してよく、電子デバイスは、ユーザによって追加された注釈をリアルタイムに表示してよい。

【0082】

注釈を追加するプロセスにおいて、ユーザは、線の太さ又は色を調整するために、あるいは注釈線を消去するために、ツールバー２３の機能オプションを選択してよい。

【0083】

Ｓ１４０：ユーザによって入力されたスクロール操作に応答して、インタフェーススクロールを行った後に、第２注釈インタフェースを表示する。

【0084】

Ｓ１５０：第２注釈インタフェースについて、ユーザによって追加された第２注釈を受け取って表示する。

【0085】

Ｓ１６０：注釈保存操作に応答して、第１注釈と第２注釈を含むインタフェースを保存する。

【0086】

注釈付けを行うプロセスにおいて、ユーザが第１アプリケーションインタフェース及び第２アプリケーションインタフェースにおける後続のインタフェースコンテンツを引き続きブラウズしたい場合、ユーザは、画面上で画面スクロール操作（すなわち、スクロール操作）を入力し得る。この実施形態では、ユーザによって入力されたスクロール操作を受け取った後、電子デバイスは、インタフェースをスクロールして、注釈インタフェースに表示されるインタフェースコンテンツを更新し得る。次いで、ユーザは続いて、スクロール後に得られた注釈インタフェース（すなわち、第２注釈インタフェース）に対して、注釈（すなわち、第２注釈）を追加し得る。注釈が完了した後、ツールバー２３の注釈保存オプションを使用することにより注釈を保存してよく、あるいは、電子デバイスは、ユーザが注釈操作を完了するたびに、注釈プロセスで表示されたアプリケーションインタフェース及びユーザによって追加された注釈を保存し得る。この実施形態では、ユーザが、ツールバー２３を使用することにより注釈を保存する例を説明のために使用する。

【0087】

具体的には、スクロール操作は、ユーザによって画面上で行われる上方向のスライド操作又は下方向のスライド操作であってよく、あるいはユーザによって画面上で行われる左方向のスライド操作又は右方向のスライド操作であってもよい。様々なスクロール操作に対応するスクロール注釈プロセスは類似しており、主な違いは、異なるスクロール方向にある。以下では、上方向のスライド操作を説明のために例として使用する。

【0088】

任意の実装では、ユーザのスクロール操作を受け取った後、電子デバイスは、第１アプリケーションインタフェースと第２アプリケーションインタフェースとをスクロール方式で同期的に表示し得る。以下では、例を使用して、いくつかの可能なスクロール注釈シナリオを説明する。

【0089】

シナリオ０１：図５の（ａ）を参照すると、第１アプリケーションインタフェースのインタフェースコンテンツ、例えば電子メールＡＰＰ又は天気ＡＰＰは、スクロール可能である。これらのＡＰＰのアプリケーションインタフェースに含まれるインタフェースコンテンツは、通常、画面に表示されるものよりも多い。インタフェースコンテンツが一番下に到達していないときに、ＡＰＰがユーザのスクロール操作に応答するとき、インタフェースコンテンツは、アプリケーションインタフェース上でスクロールアップ及びスクロールダウンし得る。第２アプリケーションインタフェースのインタフェースコンテンツ、例えば電卓ＡＰＰ又はコンパスＡＰＰは、スクロール不可能である。これらのＡＰＰのアプリケーションインタフェースに含まれるインタフェースコンテンツは、通常、画面に完全に表示され得る、すなわち、インタフェースコンテンツが一番下に到達している。ＡＰＰがユーザのスクロール操作に応答するとき、インタフェースコンテンツはアプリケーションインタフェース上ではスクロールしない。

【0090】

図５の（ａ）に示されるように、スクロール前に第１注釈インタフェースに表示されるインタフェースコンテンツは、第１アプリケーションインタフェースのインタフェースコンテンツ１－１と、第２アプリケーションインタフェースのインタフェースコンテンツ２とを含み、注釈コンテンツは、第１注釈を含む。第１注釈は、画面の中央エリアに位置し、第１注釈は、インタフェースコンテンツ１－１とインタフェースコンテンツ２に横方向にまたがる。また、後続のシナリオ０２～０６における第１注釈インタフェース内の第１注釈の位置についても、この位置を例として使用して説明される。

【0091】

ユーザがスクロール操作を入力した後、電子デバイスは、第１アプリケーションインタフェースのインタフェースコンテンツ及び第２アプリケーションインタフェースのインタフェースコンテンツをスクロールアップし、注釈層を同期的にスクロールし得る。第１アプリケーションインタフェースのインタフェースコンテンツはスクロール可能であり、スクロールプロセスによって新たなインタフェースコンテンツが表示され得る。第２アプリケーションインタフェースのインタフェースコンテンツはスクロール不可能である、すなわち、インタフェースコンテンツが一番下に到達している。この場合、第２アプリケーションインタフェースのインタフェースコンテンツの下部は、予め設定されたコンテンツで充填されてもよい。例えば充填コンテンツは、白いページ、第２アプリケーションインタフェースの背景ページ等であってよい。この実施形態では、白いページを説明のための例として使用する。

【0092】

図５の（ｂ）に示されるように、電子デバイスは、第１アプリケーションインタフェースのインタフェースコンテンツと、第２アプリケーションインタフェースのインタフェースコンテンツと、注釈層とをスクロールアップする。スクロール後に表示される第２注釈インタフェースにおいて、第１アプリケーションインタフェースのインタフェースコンテンツは、上から下に向かって、第１アプリケーションインタフェースの、第１注釈インタフェースに表示されたインタフェースコンテンツ１－１の一部と、第１アプリケーションインタフェースの、新たに表示されたインタフェースコンテンツ１－２とを含み得る。第２アプリケーションインタフェースのインタフェースコンテンツは、上から下に向かって、第２アプリケーションインタフェースの、第１注釈インタフェースに表示されたインタフェースコンテンツ２の一部と、第２アプリケーションインタフェースの充填コンテンツとを含み得る。第１注釈は同期的にスクロールアップされ、画面の中央エリアから画面の上部エリアに移動される。

【0093】

スクロールした後、ユーザは続けて、第２注釈を第２注釈インタフェースに追加し得る。図５の（ｂ）に示されるように、第２注釈は、第２注釈インタフェースにおいて新たに表示されたインタフェースコンテンツ上に配置され、第２注釈は、第１アプリケーションインタフェースのインタフェースコンテンツ１－２が位置するエリアと、第２アプリケーションインタフェースの充填コンテンツが位置するエリアに横方向にまたがる。スクロール後の第２注釈インタフェースにおいて、ユーザはまた、第１アプリケーションインタフェースのインタフェースコンテンツ１－１と、第２アプリケーションインタフェースのインタフェースコンテンツ２にも注釈を追加してもよいことが理解され得る。

【0094】

注釈付けを実行した後、ユーザは、注釈保存操作を入力して、注釈インタフェースを保存し得る。ユーザの注釈保存操作を受け取った後、電子デバイスは、注釈プロセス全体で表示される、第１アプリケーションインタフェースのインタフェースコンテンツと、第２アプリケーションインタフェースのインタフェースコンテンツと、注釈層の注釈とを結合し、次いで、得られた注釈ピクチャを保存し得る。

【0095】

図５の（ｃ）に示されるように、保存される注釈ピクチャにおいて、第１アプリケーションインタフェースのインタフェースコンテンツは、上から下に向かって、第１アプリケーションインタフェースの、第１注釈インタフェースに表示されたインタフェースコンテンツ１－１の全体と、第１アプリケーションインタフェースの、第２注釈インタフェースに新たに表示されたインタフェースコンテンツ１－２とを含んでよく；第２アプリケーションインタフェースのインタフェースコンテンツは、上から下に向かって、第２アプリケーションインタフェースの、第１注釈インタフェースに表示されたインタフェースコンテンツ２の全体と、第２注釈インタフェースに表示された充填コンテンツとを含んでよい。注釈コンテンツは、上から下に向かって、ユーザによって追加された第１注釈と第２注釈を含んでよい。

【0096】

注釈ピクチャを保存するとき、電子デバイスは、注釈ピクチャをデフォルトパスに保存してよく、例えば注釈ピクチャをアルバム又はメモ帳に保存してもよい。また、ユーザは保存パスを設定してもよい。例えばユーザがツールバー２３で注釈保存オプションを選択した後、電子デバイスは、ユーザが保存パスを設定するためのポップアップウィンドウを表示してよく、その後、注釈ピクチャは、ユーザによって設定されたパスに保存される。

【0097】

加えて、注釈ピクチャを生成した後、電子デバイスは、プレビューインタフェースを更に表示してもよい。例えばスクリーンショットと同様の方法で、ポップアップウィンドウを使用することによって、注釈ピクチャをプレビューインタフェースに表示してもよい。また、予め設定された時間内にユーザによる注釈ピクチャをタップする操作を受け取らなかった場合、注釈ピクチャはデフォルトパスに保存されてもよい。予め設定された時間内にユーザによる注釈ピクチャをタップする操作を受け取った場合、ピクチャ編集インタフェースが表示されてもよい。ピクチャ編集インタフェースは、注釈ピクチャと、いくつかの編集コントロール、例えば削除コントロール、保存コントロール、モザイクコントロール及び共有コントロールとを含み得る。ユーザは、ピクチャ編集インタフェース内の注釈ピクチャを削除してもよく、あるいは関連する編集を実行した後にピクチャを保存及び／又は共有してもよい。

【0098】

インタフェースをスクロールすることによって新たに表示されるコンテンツは、スクロール操作におけるスライド距離に関係していることが理解され得る。したがって、第２注釈インタフェース内の、スクロール後に表示されるインタフェースコンテンツは、第１注釈インタフェース内の、スクロール前に表示されるインタフェースコンテンツとは完全に又は部分的に相違することがある。この実施形態では、部分的な相違が説明のための例として使用される。加えて、理解を容易にするため、図５の（ａ）、（ｂ）では、ツールバー２３が省略されており、以下の添付図面も同様である。

【0099】

シナリオ０２：図６の（ａ）を参照すると、第１アプリケーションインタフェースのインタフェースコンテンツと第２アプリケーションインタフェースのインタフェースコンテンツはともにスクロール可能であり、スクロール前に第１注釈インタフェース内に表示されるインタフェースコンテンツは、第１アプリケーションインタフェースのインタフェースコンテンツ１－１と、第２アプリケーションインタフェースのインタフェースコンテンツ２－１とを含む。

【0100】

ユーザがスクロール操作を入力した後、電子デバイスは、第１アプリケーションインタフェースのインタフェースコンテンツと、第２アプリケーションインタフェースのインタフェースコンテンツと、注釈層とをスクロールアップし得る。第１アプリケーションインタフェースのインタフェースコンテンツと第２アプリケーションインタフェースのインタフェースコンテンツはともにスクロール可能であり、スクロールプロセスにおいて新たなインタフェースコンテンツが表示され得る。

【0101】

図６の（ｂ）に示されるように、スクロール後に表示される第２注釈インタフェースにおいて、第１アプリケーションインタフェース内のインタフェースコンテンツは、上から下に向かって、第１アプリケーションインタフェースの、第１注釈インタフェースに表示されたインタフェースコンテンツ１－１の一部と、第１アプリケーションインタフェースの、新たに表示されたインタフェースコンテンツ１－２とを含み得る。第２アプリケーションインタフェースのインタフェースコンテンツは、上から下に向かって、第２アプリケーションインタフェースの、第１注釈インタフェースに表示されたインタフェースコンテンツ２－１の一部と、第２アプリケーションインタフェースの、新たに表示されたインタフェースコンテンツ２－２とを含み得る。第１注釈が同期的にスクロールアップされ、画面の中央エリアから画面の上部エリアに移動される。

【0102】

図６の（ｂ）に示されるように、ユーザは、第２注釈を第２注釈インタフェースに追加した後に、注釈インタフェースを保存してよく、この場合、第２注釈は、第１アプリケーションインタフェースのインタフェースコンテンツ１－２と第２アプリケーションインタフェースのインタフェースコンテンツ２－２に横方向にまたがる。図６の（ｃ）に示されるように、電子デバイスがユーザの注釈保存操作を受け取った後、保存される注釈ピクチャにおいて、第１アプリケーションインタフェースのインタフェースコンテンツは、上から下に向かって、第１アプリケーションインタフェースの、第１注釈インタフェースに表示されたインタフェースコンテンツ１－１の全体と、第１アプリケーションインタフェースの、第２注釈インタフェースに新たに表示されたインタフェースコンテンツ１－２とを含み得る。第２アプリケーションインタフェースのインタフェースコンテンツは、上から下に向かって、第２アプリケーションインタフェースの、第１注釈インタフェースに表示されたインタフェースコンテンツ２－１の全体と、第２アプリケーションインタフェースの、第２注釈インタフェースに新たに表示されたインタフェースコンテンツ２－２とを含み得る。注釈コンテンツは、上から下に向かって、ユーザによって追加された第１注釈と第２注釈を含み得る。

【0103】

いくつかのＡＰＰのアプリケーションインタフェースは、固定位置を有する１つ以上のコンポーネントを含む。ＡＰＰがスクロール操作に応答するとき、これらのコンポーネントの位置はそれに応じて移動しない。一部のコンポーネントのインタフェースコンテンツはスクロール可能であり、一部のコンポーネントのインタフェースコンテンツはスクロール不可能である。例えばギャラリＡＰＰ、連絡先ＡＰＰ、メモ帳ＡＰＰのようなＡＰＰのテキストコンテンツはスクロール可能であり、ナビゲーションバーやメニューバー内のコンテンツはスクロール不可能である。一部のＡＰＰはツールバーを含み、ツールバー内のコンテンツは通常スクロール不可能である。各コンポーネントは、１つ以上のコントロールを含み得る。インタフェースコンテンツがスクロール可能なコンポーネント（略して、スクロール可能コンポーネント）について、ＡＰＰがユーザのスクロール操作に応答するとき、コンポーネント内のコントロール及び他のコンテンツの位置は移動可能である。インタフェースコンテンツがスクロール不可能なコンポーネント（略して、スクロール不可能コンポーネント）について、ＡＰＰがユーザのスクロール操作に応答するとき、コンポーネント内のコントロール及び他のコンテンツの位置は移動不可能である。

【0104】

第１注釈インタフェースに表示される任意のＡＰＰについて、該ＡＰＰが、固定位置を有する少なくとも１つのスクロール可能コンポーネントと、少なくとも１つのスクロール不可能コンポーネントとを含む場合、各スクロール不可能コンポーネントについて、該スクロール不可能コンポーネントがスクロール可能コンポーネントの左側又は右側に位置する場合、スクロール中に、スクロール不可能コンポーネントのインタフェースコンテンツの下部でインタフェース充填が実行され得る。スクロール不可能コンポーネントが、スクロール可能コンポーネントの下又は上に位置する場合、スクロール不可能コンポーネントのインタフェースコンテンツは、スクロール中に固定して表示されてもよく、あるいはスクロール不可能コンポーネントのインタフェースコンテンツは表示されなくてもよい。保存中に、スクロール不可能コンポーネントが、スクロール可能コンポーネントのインタフェースコンテンツの上又は上でスプライスされ得るか、スクロール不可能コンポーネントのインタフェースコンテンツは保存されなくてもよい。この実施形態では、説明のために、スクロール不可能コンポーネントのインタフェースコンテンツが表示されずに保存される例が以下で使用される。

【0105】

ＡＰＰに含まれる複数のコンポーネントがすべてスクロール不可能コンポーネントである場合、インタフェース充填は、ＡＰＰのインタフェースコンテンツの下部で実行され得る。

【0106】

以下では、引き続き、アプリケーションインタフェースが、固定位置を有する複数のコンポーネントを含むときの様々な可能なスクロール注釈シナリオを説明する。

【0107】

シナリオ０３：図７の（ａ）を参照すると、第１アプリケーションのアプリケーションインタフェースは、横方向に配置されるコンポーネント１とコンポーネント３を含み、コンポーネント３はコンポーネント１の左側に位置し、第２アプリケーションのアプリケーションインタフェースは、コンポーネント２を含み、ここで、コンポーネント１のインタフェースコンテンツとコンポーネント２のインタフェースコンテンツはともにスクロール可能であり、コンポーネント３のインタフェースコンテンツはスクロール不可能である。例えばコンポーネント１は、第１アプリケーションインタフェース内のコンテンツエリアに対応するコンポーネントであり、コンポーネント１は、テキストコンテンツを表示する。コンポーネント３は、第１アプリケーションインタフェース内のサイドツールバーである。第１アプリケーションがスクロール操作に応答するとき、それに応じてコンポーネント１内のインタフェースコンテンツはスクロールしてよく、コンポーネント３内のインタフェースコンテンツは変化しないままである。

【0108】

スクロール前に第１注釈インタフェース内に表示されるインタフェースコンテンツは、コンポーネント１のインタフェースコンテンツ１－１と、コンポーネント２のインタフェースコンテンツ２－１と、コンポーネント３のインタフェースコンテンツ３とを含み、注釈コンテンツは、第１注釈を含み、ここで、第１注釈は、画面の中央エリアに位置し、第１注釈は、インタフェースコンテンツ１－１とインタフェースコンテンツ２－１に横方向にまたがる。

【0109】

ユーザがスクロール操作を入力した後、電子デバイスは、コンポーネント１のインタフェースコンテンツと、コンポーネント２のインタフェースコンテンツと、コンポーネント３のインタフェースコンテンツと、注釈層とをスクロールアップし得る。コンポーネント１のインタフェースコンテンツとコンポーネント２のインタフェースコンテンツはともにスクロール可能であり、スクロールプロセスにおいて新たなインタフェースコンテンツが表示され得る。コンポーネント３のインタフェースコンテンツはスクロール不可能であり、インタフェースの充填が行われ得る。

【0110】

図７の（ｂ）に示されるように、スクロール後に表示される第２注釈インタフェースにおいて、第１アプリケーションインタフェースのインタフェースコンテンツは、コンテンツの左部分と右部分とを含んでよく、ここで、コンテンツの右部分は、上から下に向かって、コンポーネント１の、第１注釈インタフェースに表示されたインタフェースコンテンツ１－１の一部と、コンポーネント１の、新たに表示されたインタフェースコンテンツ１－２とを含んでよく、コンテンツの左部分は、上から下に向かって、コンポーネント３の、第１注釈インタフェースに表示されたインタフェースコンテンツ３の一部と、コンポーネント３の充填コンテンツとを含む。第２アプリケーションインタフェースのインタフェースコンテンツは、上から下に向かって、第２アプリケーションの、第１注釈インタフェースに表示されるインタフェースコンテンツ２－１の一部と、第２アプリケーションの、新たに表示されたインタフェースコンテンツ２－２とを含み、第１注釈が同期的にスクロールアップされ、画面の中央エリアから画面の上部エリアに移動される。

【0111】

図７の（ｂ）に示されるように、ユーザは、第２注釈を第２注釈インタフェースに追加した後に、注釈インタフェースを保存してよく、この場合、第２注釈は、第１アプリケーションインタフェースのインタフェースコンテンツ１－２と第２アプリケーションインタフェースのインタフェースコンテンツ２－２に横方向にまたがる。図７の（ｃ）に示されるように、電子デバイスがユーザの注釈保存操作を受け取った後、保存される注釈ピクチャにおいて、第１アプリケーションインタフェースのインタフェースコンテンツは、コンテンツの左部分と右部分を含み得る。コンテンツの右部分は、上から下に向かって、第１アプリケーションの、第１注釈インタフェースに表示されたインタフェースコンテンツ１－１の全体と、第１アプリケーションの、第２注釈インタフェースに新たに表示されたインタフェースコンテンツ１－２とを含み得る。コンテンツの左部分は、上から下に向かって、コンポーネント３の、第１注釈インタフェースに表示されたインタフェースコンテンツ３の全体と、コンポーネント３の、第２注釈インタフェースに表示された充填コンテンツとを含み得る。第２アプリケーションインタフェースのインタフェースコンテンツは、上から下に向かって、第２アプリケーションの、第１注釈インタフェースに表示されたインタフェースコンテンツ２－１の全体と、第２アプリケーションの、第２注釈インタフェースに新たに表示されたインタフェースコンテンツ２－２とを含んでよく、注釈コンテンツは、上から下に向かって、ユーザによって追加された第１注釈と第２注釈とを含み得る。

【0112】

シナリオ０４：図８の（ａ）を参照すると、第１アプリケーションのアプリケーションインタフェースは、縦方向に配置されるコンポーネント１とコンポーネント３とを含み、コンポーネント３は、コンポーネント１の下部に位置する。例えばコンポーネント３は、第１アプリケーションインタフェース内のメニューバーである。第２アプリケーションのアプリケーションインタフェースは、コンポーネント２を含み、コンポーネント１のインタフェースコンテンツはスクロール可能であり、コンポーネント２のインタフェースコンテンツとコンポーネント３のインタフェースコンテンツはともにスクロール不可能である。スクロール前の第１注釈インタフェースに表示されるインタフェースコンテンツは、コンポーネント１のインタフェースコンテンツ１－１と、コンポーネント２のインタフェースコンテンツ２と、コンポーネント３のインタフェースコンテンツ３である。

【0113】

ユーザがスクロール操作を入力した後、電子デバイスは、コンポーネント１のインタフェースコンテンツと、コンポーネント２のインタフェースコンテンツと、注釈層とをスクロールアップしてよく、コンポーネント３のインタフェースコンテンツは表示されない。コンポーネント１のインタフェースコンテンツはスクロール可能であり、スクロールプロセスにおいて新たなインタフェースコンテンツが表示され得る。コンポーネント２のインタフェースコンテンツはスクロール不可能であり、インタフェース充填が行われ得る。

【0114】

図８の（ｂ）に示されるように、スクロール後に表示される第２注釈インタフェースにおいて、第１アプリケーションインタフェースのインタフェースコンテンツは、上から下に向かって、コンポーネント１の、第１注釈インタフェースに表示されたインタフェースコンテンツ１－１の一部と、コンポーネント１の、新たに表示されたインタフェースコンテンツ１－２とを含み得る。第２アプリケーションインタフェースのインタフェースコンテンツは、上から下に向かって、第２アプリケーションの、第１注釈インタフェースに表示されたインタフェースコンテンツ２の一部と、第２アプリケーションの充填コンテンツとを含み得る。第１注釈は同期的にスクロールアップされ、画面の中央エリアから画面の上部エリアに移動される。

【0115】

図８の（ｂ）に示されるように、ユーザは、第２注釈を第２注釈インタフェースに追加した後に、注釈インタフェースを保存してよく、この場合、第２注釈は、第１アプリケーションインタフェースのインタフェースコンテンツ１－２と、第２アプリケーションインタフェースの充填コンテンツに横方向にまたがる。図８の（ｃ）に示されるように、電子デバイスがユーザの注釈保存操作を受け取った後、保存される注釈ピクチャにおいて、第１アプリケーションインタフェースのインタフェースコンテンツは、上から下に向かって、第１アプリケーションの、第１注釈インタフェースに表示されたインタフェースコンテンツ１－１の全体と、第１アプリケーションの、第２注釈インタフェースに新たに表示されたインタフェースコンテンツ１－２と、コンポーネント３の、第１注釈インタフェースに表示されたインタフェースコンテンツ３の全体とを含み得る。第２アプリケーションインタフェースのインタフェースコンテンツは、上から下に向かって、第２アプリケーションの、第１注釈インタフェースに表示されたインタフェースコンテンツ２の全体と、第２注釈インタフェースに表示された充填コンテンツとを含み得る。注釈コンテンツは、上から下に向かって、ユーザによって追加された第１注釈と第２注釈を含み得る。

【0116】

シナリオ０５：図９の（ａ）を参照すると、第１アプリケーションのアプリケーションインタフェースは、縦方向に配置されたコンポーネント１とコンポーネント３とを含み、コンポーネント３は、コンポーネント１の下部に位置する。第２アプリケーションのアプリケーションインタフェースは、コンポーネント２を含み、ここで、コンポーネント１のインタフェースコンテンツとコンポーネント２のインタフェースコンテンツはともにスクロール可能であり、コンポーネント３のインタフェースコンテンツはスクロール不可能である。スクロール前の第１注釈インタフェースに表示されるインタフェースコンテンツは、コンポーネント１のインタフェースコンテンツ１－１と、コンポーネント２のインタフェースコンテンツ２－１と、コンポーネント３のインタフェースコンテンツ３とを含む。

【0117】

ユーザがスクロール操作を入力した後、電子デバイスは、コンポーネント１のインタフェースコンテンツと、コンポーネント２のインタフェースコンテンツと、注釈層とをスクロールアップしてよく、コンポーネント３のインタフェースコンテンツは表示されない。コンポーネント１のインタフェースコンテンツとコンポーネント２のインタフェースコンテンツはともにスクロール可能であり、スクロールプロセスにおいて新たなインタフェースコンテンツが表示され得る。

【0118】

図９の（ｂ）に示されるように、スクロール後に表示される第２注釈インタフェースにおいて、第１アプリケーションインタフェースのインタフェースコンテンツは、上から下に向かって、コンポーネント１の、第１注釈インタフェースに表示されたインタフェースコンテンツ１－１の一部と、コンポーネント１の新たに表示されたインタフェースコンテンツ１－２とを含み得る。第２アプリケーションインタフェースのインタフェースコンテンツは、上から下に向かって、第２アプリケーションの、第１注釈インタフェースに表示されたインタフェースコンテンツ２－１の一部と、第２アプリケーションの、新たに表示されたインタフェースコンテンツ２－２とを含み得る。第１注釈が同期的にスクロールアップされ、画面の中央エリアから画面の上部エリアに移動される。

【0119】

図９の（ｂ）に示されるように、ユーザは、第２注釈を第２注釈インタフェースに追加した後に、注釈インタフェースを保存してよく、この場合、第２注釈は、第１アプリケーションインタフェースのインタフェースコンテンツ１－２と第２アプリケーションインタフェースのインタフェースコンテンツ２－２に横方向にまたがる。図９の（ｃ）に示されるように、電子デバイスがユーザの注釈保存操作を受け取った後、保存される注釈ピクチャにおいて、第１アプリケーションインタフェースのインタフェースコンテンツは、上から下に向かって、第１アプリケーションの、第１注釈インタフェースに表示されたインタフェースコンテンツ１－１の全体と、第１アプリケーションの、第２注釈インタフェースに新たに表示されたインタフェースコンテンツ１－２と、コンポーネント３の、第１注釈インタフェースに表示されたインタフェースコンテンツ３の全体とを含み得る。第２アプリケーションインタフェースのインタフェースコンテンツは、上から下に向かって、第２アプリケーションの、第１注釈インタフェースに表示されたインタフェースコンテンツ２－１の全体と、第２アプリケーションの、第２注釈インタフェースに新たに表示されたインタフェースコンテンツ２－２と、第２アプリケーションの、コンポーネント３に対応して新たに表示されたインタフェースコンテンツ２－３とを含み得る。注釈コンテンツは、上から下に向かって、ユーザによって追加された第１注釈及び第２注釈を含み得る。

【0120】

すなわち、保存中に、コンポーネント３のインタフェースコンテンツが、コンポーネント１のインタフェースコンテンツ１－２の下にスプライスされる場合、インタフェースコンテンツの一部は引き続き、コンポーネント２のインタフェースコンテンツ２－２の後に表示されてよく、その結果、保存される注釈ピクチャ内の第１アプリケーションインタフェースと第２アプリケーションインタフェースの長さは一致する。また、コンポーネント２のインタフェースコンテンツ２－２の下でインタフェース充填が行われてもよいことが理解され得る。

【0121】

シナリオ０６：図１０の（ａ）を参照すると、第１アプリケーションのアプリケーションインタフェースは、縦方向に配置されるコンポーネント１とコンポーネント３を含み、コンポーネント３は、コンポーネント１の下部に位置する。第２アプリケーションのアプリケーションインタフェースは、縦方向に配置されるコンポーネント２とコンポーネント４を含み、コンポーネント４は、コンポーネント２の下部に位置する。コンポーネント１のインタフェースコンテンツとコンポーネント２のインタフェースコンテンツはともにスクロール可能であり、コンポーネント３のインタフェースコンテンツとコンポーネント４のインタフェースコンテンツはともにスクロール不可能である。スクロール前の第１注釈インタフェースに表示されるインタフェースコンテンツは、コンポーネント１のインタフェースコンテンツ１－１と、コンポーネント２のインタフェースコンテンツ２－１と、コンポーネント３のインタフェースコンテンツ３と、コンポーネント４のインタフェースコンテンツ４とを含む。

【0122】

ユーザがスクロール操作を入力した後、電子デバイスは、コンポーネント１のインタフェースコンテンツと、コンポーネント２のインタフェースコンテンツと、注釈層とをスクロールアップしてよく、コンポーネント３のインタフェースコンテンツとコンポーネント４のインタフェースコンテンツは表示されない。コンポーネント１のインタフェースコンテンツとコンポーネント２のインタフェースコンテンツはともにスクロール可能であり、スクロールプロセスにおいて新たなインタフェースコンテンツが表示され得る。

【0123】

図１０の（ｂ）に示されるように、スクロール後に表示される第２注釈インタフェースにおいて、第１アプリケーションインタフェースのインタフェースコンテンツは、上から下に向かって、コンポーネント１の、第１注釈インタフェースに表示されたインタフェースコンテンツ１－１の一部と、コンポーネント１の、新たに表示されたインタフェースコンテンツ１－２とを含み得る。第２アプリケーションインタフェースのインタフェースコンテンツは、上から下に向かって、第２アプリケーションの、第１注釈インタフェースに表示されたインタフェースコンテンツ２－１の一部と、第２アプリケーションの、新たに表示されたインタフェースコンテンツ２－２とを含み得る。第１注釈が同期的にスクロールアップされ、画面の中央エリアから画面の上部エリアに移動される。

【0124】

図１０の（ｂ）に示されるように、ユーザは、第２注釈を第２注釈インタフェースに追加した後に、注釈インタフェースを保存してよく、この場合、第２注釈は、第１アプリケーションインタフェースのインタフェースコンテンツ１－２と第２アプリケーションインタフェースのインタフェースコンテンツ２－２に横方向にまたがる。図１０の（ｃ）に示されるように、電子デバイスがユーザの注釈保存操作を受け取った後、保存される注釈ピクチャにおいて、第１アプリケーションインタフェースのインタフェースコンテンツは、上から下に向かって、第１アプリケーションの、第１注釈インタフェースに表示されたインタフェースコンテンツ１－１の全体と、第１アプリケーションの、第２注釈インタフェースに新たに表示されたインタフェースコンテンツ１－２と、コンポーネント３の、第１注釈インタフェースに表示されたインタフェースコンテンツ３の全体とを含み得る。第２アプリケーションインタフェースのインタフェースコンテンツは、上から下に向かって、第２アプリケーションの、第１注釈インタフェースに表示されたインタフェースコンテンツ２－１の全体と、第２アプリケーションの、第２注釈インタフェースに新たに表示されたインタフェースコンテンツ２－２と、コンポーネント４の、第１注釈インタフェースに表示されたインタフェースコンテンツ４の全体を含み得る。注釈コンテンツは、上から下に向かって、ユーザによって追加された第１注釈と第２注釈を含み得る。

【0125】

図１０は、コンポーネント３とコンポーネント４の高さが同じ例を使用して説明されている。コンポーネント３とコンポーネント４の高さは代替的に異なっていてもよいことが理解され得る。この場合、保存される注釈ピクチャをより美しくするために、保存される注釈ピクチャにおける第１アプリケーションインタフェースと第２アプリケーションインタフェースの長さが一致するように、コンポーネント３とコンポーネント４のうちのより高さが低いコンポーネントの上に、インタフェースコンテンツの一部が新たに表示されてもよい。例えばコンポーネント３の高さがコンポーネント４の高さよりも低い場合、コンポーネント１のインタフェースコンテンツ１－２の後に、インタフェースコンテンツの一部が続けて表示されてもよい。

【0126】

別の任意の実装では、ユーザのスクロール操作を受け取った後、電子デバイスは、スクロール操作が行われたアプリケーションインタフェースのみをスクロール方式で表示してよく、他のアプリケーションインタフェースはスクロールされなくてよい、すなわち、これらのアプリケーションインタフェースは、非同期的にスクロールされる。保存中に、アプリケーションインタフェースの長さが一致するように、インタフェースの充填が行われてもよい。ユーザが注釈を追加するときに、画面にまたがる注釈が禁止されることがある。以下では、シナリオ０２を説明のための例として使用する。

【0127】

図１１の（ａ）を参照すると、第１アプリケーションのインタフェースコンテンツと第２アプリケーションのインタフェースコンテンツはともにスクロール可能であり、スクロール前の第１注釈インタフェースに表示されるインタフェースコンテンツは、第１アプリケーションのインタフェースコンテンツ１－１と、第２アプリケーションのインタフェースコンテンツ２とを含み、第１注釈は、注釈１１と注釈１２とを含み、ここで、注釈１１は、インタフェースコンテンツ１－１の中間エリアに位置し、注釈１２は、インタフェースコンテンツ２の中間エリアに位置する。

【0128】

ユーザは、第１アプリケーションインタフェースにおいてスクロール操作（図中の黒の太い上向き矢印によって表される）を入力し、電子デバイスは、第１アプリケーションインタフェースのインタフェースコンテンツをスクロールアップし得る。図１１の（ｂ）に示されるように、スクロール後に表示される第２注釈インタフェースにおいて、第１アプリケーションインタフェースのインタフェースコンテンツは、上から下に向かって、第１アプリケーションの、第１注釈インタフェースに表示されたインタフェースコンテンツ１－１の一部と、第１アプリケーションの、新たに表示されたインタフェースコンテンツ１－２とを含んでよく、第２アプリケーションインタフェースのインタフェースコンテンツは変化しないままである。

【0129】

図１１の（ｂ）に示されるように、ユーザは、第２注釈を第２注釈インタフェースに追加した後に、注釈インタフェースを保存してよく、ここで、第２注釈は、注釈２１と注釈２２とを含み、注釈２１は、インタフェースコンテンツ１－２上に位置し、注釈２２は、インタフェースコンテンツ２の上かつ注釈１２の下に位置する。図１１（ｃ）に示されるように、電子デバイスがユーザの注釈保存操作を受け取った後、保存される注釈ピクチャにおいて、第１アプリケーションインタフェースのインタフェースコンテンツは、上から下に向かって、第１アプリケーションの、第１注釈インタフェースに表示されたインタフェースコンテンツ１－１の全体と、第１アプリケーションの、第２注釈インタフェースに新たに表示されたインタフェースコンテンツ１－２とを含み得る。第２アプリケーションインタフェースのインタフェースコンテンツは、上から下に向かって、第２アプリケーションの、第１注釈インタフェースに表示されたインタフェースコンテンツ２の全体と、第２アプリケーションの充填コンテンツとを含み得る。注釈コンテンツは、第１アプリケーションインタフェースに位置する注釈１１及び注釈２１と、第２アプリケーションインタフェースに位置する注釈１２及び注釈２２とを含み得る。

【0130】

上記では、シナリオ０２を例として使用することにより非同期スクロールプロセスを説明した。別のシナリオにおける非同期スクロールプロセスも同様であり、詳細はここでは再度説明しない。

【0131】

以下に、上下分割画面シナリオを説明する。

【0132】

左右分割画面と同様に、異なるＡＰＰのアプリケーションインタフェースが上下分割画面で表示されてよく、同一のＡＰＰのアプリケーションインタフェースも上下分割画面で表示されてもよい。この実施形態においては、これは特に限定されない。以下では、上部画面が第１アプリケーションインタフェースを表示し、下部画面が第２アプリケーションインタフェースを表示する例を使用することにより、スクロール注釈プロセスを説明する。

【0133】

電子デバイスがユーザのスクロール操作を受け取るとき、ユーザによって追加された注釈が、注釈インタフェース上に存在することがあり、あるいは注釈インタフェース上に存在しないこともある。加えて、ユーザによって追加された注釈は、画面にまたがっていてもよい、すなわち、注釈は、第１アプリケーションインタフェース及び第２アプリケーションインタフェースと縦方向にまたがってもよく、あるいは注釈は、画面にまたがらなくてもよい、すなわち、第１アプリケーションインタフェース又は第２アプリケーションインタフェース内に位置してもよい。以下では、これらのケースを別々に説明する。

【0134】

シナリオ１１：図１２の（ａ）を参照すると、電子デバイスがユーザのスクロール操作を受け取るとき、注釈インタフェース上に注釈が存在しない。この場合、電子デバイスは、ユーザのスクロール操作が行われたＡＰＰを全画面表示してよい。例えば図１２の（ａ）及び（ｂ）に示されるように、ユーザが第１アプリケーションインタフェースにおいてスクロール操作を入力した後、電子デバイスは、第１アプリケーションインタフェースを全画面表示する。

【0135】

現在の全画面注釈プロセスと同様に、ユーザは、画面上の第１アプリケーションインタフェースに対して、注釈を追加し、インタフェースをスクロールする等してよい。ユーザが注釈保存操作を入力した後、電子デバイスは、注釈プロセスで表示された第１アプリケーションインタフェースのインタフェースコンテンツと、ユーザによって追加された注釈とを結合して、保存用の注釈ピクチャとしてよい。例えば図１２の（ｂ）に示されるように、第１アプリケーションインタフェースに注釈を追加した後、ユーザは注釈インタフェースを保存し、ここで、ユーザによって追加された注釈は、第１アプリケーションインタフェースの中央エリアに位置する。図１２の（ｃ）に示されるように、電子デバイスがユーザの注釈保存操作を受け取った後、保存される注釈ピクチャは、全画面表示された第１アプリケーションインタフェースのインタフェースコンテンツと、ユーザによって追加された注釈とを含み得る。

【0136】

シナリオ１２：図１３の（ａ）を参照すると、電子デバイスがユーザのスクロール操作を受け取るとき、注釈インタフェースは、注釈１１と注釈１２とを含み、注釈１１は第１アプリケーションインタフェース内に位置し、注釈１２は第２アプリケーションインタフェース内に位置し、注釈１１と注釈１２のいずれも画面をまたいでいない。この場合、電子デバイスは、ユーザのスクロール操作が行われたＡＰＰを全画面表示してよい。例えば図１３の（ａ）及び（ｂ）に示されるように、ユーザが第１アプリケーションインタフェースにおいてスクロール操作を入力した後、電子デバイスは、第１アプリケーションインタフェースを全画面表示する。

【0137】

次いで、ユーザは、画面上の第１アプリケーションインタフェースに対して、注釈を追加し、インタフェースをスクロールする等してよい。ユーザが注釈保存操作を入力した後、電子デバイスは、注釈プロセスにおいて表示された第１アプリケーションインタフェースと、第１アプリケーションインタフェースにおいてユーザによって追加された注釈とを結合して第１注釈ピクチャとし、注釈プロセスにおいて表示された第２アプリケーションインタフェースと、第２アプリケーションインタフェースにおいてユーザによって追加された注釈とを組み合わせて第２注釈ピクチャとして、次いで、保存のために、第２注釈ピクチャを第１注釈ピクチャの下部にスプライスし得る。例えば図１３の（ｂ）に示されるように、第１アプリケーションインタフェースにおいて注釈２を追加した後、ユーザは注釈インタフェースを保存し、ここで、注釈２は、注釈１１の下に位置する。図１３の（ｃ）に示されるように、電子デバイスがユーザの注釈保存操作を受け取った後、保存される注釈ピクチャ内のインタフェースコンテンツは、上から下に向かって、全画面表示された第１アプリケーションインタフェースのインタフェースコンテンツと、スクロール前に表示された第２アプリケーションインタフェースのインタフェースコンテンツとを含んでよく、注釈コンテンツは、第１アプリケーションインタフェース上に位置する注釈１１及び注釈２と、第２アプリケーションインタフェース上に位置する注釈１２とを含んでよい。

【0138】

シナリオ１３：図１４の（ａ）を参照すると、電子デバイスが第１アプリケーションインタフェースに対するユーザのスクロール操作を受け取るとき、注釈インタフェースは、注釈１を含み、注釈１は画面をまたいでいる。この場合、図１４の（ｂ）に示されるように、電子デバイスは、ポップアップウィンドウを使用することにより、現在の注釈コンテンツを保存するかどうかをユーザに促してもよい。ユーザが選択を完了した後、図１４の（ｃ）に示されるように、第１アプリケーションインタフェースが全画面表示される。

【0139】

前述のシナリオと同様に、ユーザは、画面上の第１アプリケーションインタフェースに対して、注釈を追加し、インタフェースをスクロールする等してもよい。ユーザが注釈保存操作を入力した後、電子デバイスは、注釈プロセスにおいて表示された第１アプリケーションインタフェースと、第１アプリケーションインタフェースにおいてユーザによって追加された注釈とを結合して、保存用の注釈ピクチャとしてよい。加えて、図１４の（ｂ）に示されるインタフェースにおいて、ユーザが現在の注釈コンテンツを保存することを選択した場合、電子デバイスは、図１４の（ａ）に示されるアプリケーションインタフェースと注釈１とを同時に結合して、保存用の注釈ピクチャとしてよい。例えば図１４の（ｂ）及び（ｃ）に示されるように、ユーザが「Ｙｅｓ」の選択肢を選択し、第１アプリケーションインタフェースにおいて注釈２を追加した後、注釈インタフェースが保存され、ここでは、注釈２が注釈１の下に位置している。図１４の（ｄ）及び（ｅ）に示されるように、電子デバイスがユーザの注釈保存操作を受け取った後、保存される注釈ピクチャのうちの１つは、全画面表示された第１アプリケーションインタフェースと、注釈１と、注釈２とを含み得る。他の保存される注釈ピクチャは、スクロール前に上から下に向かって表示された第１アプリケーションインタフェース及び第２アプリケーションインタフェースと、第１アプリケーションインタフェース及び第２アプリケーションインタフェースに縦方向にまたがる注釈１とを含み得る。

【0140】

図１４の（ｃ）では、電子デバイスが第１アプリケーションインタフェースを全画面表示するとき、注釈１は表示されなくてもよいことが理解され得る。

【0141】

シナリオ１４：図１５の（ａ）を参照すると、電子デバイスが第２アプリケーションインタフェースに対するユーザのスクロール操作を受け取るとき、注釈インタフェースは注釈１を含み、注釈１が画面にまたがっている。この場合、図１５の（ｂ）に示されるように、電子デバイスは、第１アプリケーションインタフェースと第２アプリケーションインタフェースをスクロールアップし得る。スクロールプロセスでは、図１５の（ａ）に示される第１アプリケーションインタフェースのインタフェースコンテンツが上から下に向かって徐々に隠され、新しいインタフェースコンテンツが続いて第２アプリケーションインタフェースに表示される。

【0142】

図１５の（ｂ）に示されるように、注釈２をインタフェースに追加した後、ユーザは再びインタフェースをスクロールし、この場合、注釈２は、第２アプリケーションインタフェース内に位置し、注釈１の下に位置する。ユーザがインタフェースをスクロールした後、図１５の（ｃ）に示されるように、図１５の（ａ）に示される第１アプリケーションインタフェースのインタフェースコンテンツは完全に隠され、第２アプリケーションインタフェースが、全画面表示状態で提示され、注釈１と注釈２は同期的にスクロールアップされ、注釈１は画面の上部までスクロールされ、第１アプリケーションインタフェース内に位置する部分は隠され、注釈２は画面の上部エリアまでスクロールされる。ユーザが引き続き注釈３を追加した後、注釈インタフェースが保存され、この場合、注釈３は注釈２の下に位置する。ユーザの注釈保存操作を受け取った後、電子デバイスは、注釈プロセスにおいて表示されたアプリケーションインタフェースと、ユーザによって追加された注釈とを結合して、保存用の注釈ピクチャとしてもよい。図１５の（ｄ）に示されるように、保存される注釈ピクチャ内のインタフェースコンテンツは、上から下に向かって、第１アプリケーションインタフェースと、第２アプリケーションインタフェースの、スクロール前に表示されたインタフェースコンテンツと、第２アプリケーションインタフェースの、スクロールが２回実行された後に新たに表示されたインタフェースコンテンツとを含み、注釈コンテンツは、上から下に向かって、第１アプリケーションインタフェース及び第２アプリケーションインタフェースと縦方向にまたがる注釈１と、第２アプリケーションインタフェースに位置する注釈２及び注釈３と、を含み得る。

【0143】

以下では、フローティングウィンドウのシナリオを説明する。

【0144】

図１６の（ａ）に示されるように、電子デバイスは、第１アプリケーションインタフェースを全画面表示し、第２アプリケーションインタフェースをフローティングウィンドウで表示する。このシナリオでは、ユーザは、フローティングメニュー１０内の注釈コントロールをタップする。図１６の（ｂ）に示されるように、ユーザの注釈トリガ操作を受け取った後、電子デバイスは注釈モードに入り、フローティングウィンドウは隠されてよい。

【0145】

ユーザは、画面上の第１アプリケーションインタフェースに対して、注釈を追加し、インタフェースをスクロールする等してよい。ユーザが注釈保存操作を入力した後、電子デバイスは、注釈プロセスで表示された第１アプリケーションインタフェースと、ユーザによって追加された注釈とを結合して、保存用の注釈ピクチャとしてよい。例えば図１６の（ｂ）に示されるように、ユーザが第１アプリケーションインタフェースにおいて注釈１を追加した後、インタフェースがスクロールされ、この場合、注釈１は画面の中央部分に位置する。図１６の（ｃ）に示されるように、ユーザのスクロール操作を受け取った後、電子デバイスは、第１アプリケーションインタフェースのインタフェースコンテンツをスクロールし、第１アプリケーションインタフェースの新たなインタフェースコンテンツが画面の下の部分に表示される。加えて、注釈１は、画面の上の部分まで同期的にスクロールされる。ユーザは引き続き、第１アプリケーションインタフェースにおいて注釈２を追加し、次いで注釈インタフェースを保存し、この場合、注釈２は、新たに表示されたインタフェースコンテンツ上に位置する。図１６の（ｄ）に示されるように、電子デバイスがユーザの注釈保存操作を受け取った後、保存される注釈ピクチャ内のインタフェースコンテンツは、上から下に向かって、第１アプリケーションインタフェースの、スクロール前に表示されたインタフェースコンテンツと、第１アプリケーションインタフェースの、スクロール後に新たに表示されたインタフェースコンテンツとを含んでよく、注釈コンテンツは、上から下に向かって、注釈１と注釈２とを含んでよい。

【0146】

別の任意の実施形態では、図１７の（ａ）及び（ｂ）に示されるように、電子デバイスは、第１アプリケーションインタフェースを全画面表示し、第２アプリケーションインタフェースをフローティングウィンドウで表示する。このシナリオでは、ユーザは、フローティングメニュー１０内の注釈コントロールをタップすることによって、注釈トリガ操作を入力する。注釈モードに入った後、電子デバイスは、第１アプリケーションインタフェースと第２アプリケーションインタフェースとを分割画面方式で表示し得る。ここでは、左右分割画面方式を例として使用する。画面分割方式は代替的に、画面分割の間に上下分割方式であってもよいことが理解され得る。

【0147】

分割画面シナリオにおけるスクロール注釈プロセスは、前述の分割画面シナリオにおけるものと同様である。以下では、前述のシナリオ０１を説明のために例として使用する。

【0148】

図１７の（ｂ）に示されるように、第１アプリケーションのインタフェースコンテンツ１－１はスクロール可能であり、第２アプリケーションのインタフェースコンテンツ２はスクロール不可能である。注釈１を追加した後、ユーザはスクロール操作を入力するが、この場合、注釈１は、画面の中央部分に位置しており、第１アプリケーションインタフェースと第２アプリケーションインタフェースに横方向にまたがっている。図１７の（ｃ）に示されるように、スクロール操作を受け取った後、電子デバイスは、第１アプリケーションインタフェースのインタフェースコンテンツと、第２アプリケーションインタフェースのインタフェースコンテンツと、注釈層とをスクロールアップし、第２アプリケーションのインタフェースコンテンツの下でインタフェース充填を行う。スクロール後に得られるインタフェースにおいて、第１アプリケーションインタフェース内のインタフェースコンテンツは、上から下に向かって、図１７の（ｂ）に示される第１アプリケーションのインタフェースコンテンツ１－１の一部と、第１アプリケーションの新たに表示されたインタフェースコンテンツ１－２とを含み得る。第２アプリケーションインタフェース内のインタフェースコンテンツは、上から下に向かって、第２アプリケーションのインタフェースコンテンツ２の一部と、第２アプリケーションの充填コンテンツとを含み得る。注釈１は、同期的にスクロールアップされ、画面の中央部分から画面の上部分にスクロールされる。

【0149】

注釈２を追加した後、ユーザは、注釈保存操作を入力して注釈インタフェースを保存し、この場合、注釈２は、第１アプリケーションインタフェースのインタフェースコンテンツ１－２が位置するエリアと、第２アプリケーションインタフェースの充填コンテンツが位置するエリアに横方向にまたがる。図１７の（ｄ）に示されるように、保存される注釈ピクチャにおいて、第１アプリケーションインタフェースのインタフェースコンテンツは、上から下に向かって、図１７の（ｂ）に示されるインタフェースコンテンツ１－１の全体と、図１７の（ｃ）に示される第１アプリケーションの新たに表示されたインタフェースコンテンツ１－２とを含み得る。第２アプリケーションインタフェースのインタフェースコンテンツは、上から下に向かって、第２アプリケーションのインタフェースコンテンツ２の全体と、第２アプリケーションの充填コンテンツとを含み得る。注釈コンテンツは、上から下に向かって、ユーザによって追加された注釈１と注釈２を含み得る。

【0150】

この実施形態において提供される注釈方法では、電子デバイスは、ユーザが注釈付けを行うために、マルチウィンドウシナリオで注釈モードに入ることができる。これにより、注釈機能の適用シナリオを充実させることができ、ユーザによって行われる注釈の柔軟性を向上させることができ、ユーザの注釈経験を向上させることができる。

【0151】

同じ概念に基づいて、前述の方法の実装では、本出願の実施形態は、対話システムを提供する。図１８は、本出願の実施形態による対話システムの構造の概略図である。図１８に示されるように、対話システムは、電子デバイス１００とスタイラス２００とを含んでよい。

【0152】

電子デバイス１００は、携帯電話、タブレットコンピュータ、ノートブックコンピュータ又は電子リーダのようなディスプレイデバイスであってもよい。スタイラス２００は、抵抗スタイラス２００、容量スタイラス２００等であってよい。

【0153】

電子デバイス１００は、Ｂｌｕｅｔｏｏｔｈ又はワイヤレスフィデリティ（wireless fidelity、Ｗｉ－Ｆｉ）ネットワークのような無線通信方式でスタイラス２００と通信し得る。

【0154】

１つ以上のキーがスタイラス２００に配置されてよく、これらのキーは、物理キーであっても仮想キーであってもよい。ユーザは、スタイラス２００上のキーを使用することによって、対応する操作を実行するようにスタイラス２００を制御し得る。例えばユーザが第１キーをタップした後、スタイラス２００は電子デバイス１００への通信接続を確立し、ユーザが第２キーをタップした後、電子デバイス１００は注釈モードに入る。

【0155】

電子デバイス１００がスタイラス２００との通信を確立した後、ユーザはスタイラス２００を使用することによってタッチ操作を入力してよい。注釈モードでは、電子デバイス１００は、スタイラス２００によって形成された移動トラックをスクリーン上に表示し得る。

【0156】

電子デバイス１００のソフトウェアシステムは、階層化アーキテクチャ、イベント駆動型アーキテクチャ、マイクロカーネルアーキテクチャ、マイクロサービスアーキテクチャ又はクラウドアーキテクチャを使用し得る。本発明の実施形態では、電子デバイス１００のソフトウェア構造は、階層化アーキテクチャを用いるＡｎｄｒｏｉｄシステムを例として使用することにより説明される。

【0157】

図１９は、本出願の実施形態による電子デバイス１００のソフトウェアアーキテクチャの概略図である。図１９に示されるように、電子デバイス１００のソフトウェアシステムは、いくつかの層に分割され得る。いくつかの実施形態では、Ａｎｄｒｏｉｄシステムは、上から下に、アプリケーション層と、アプリケーションフレームワーク層と、Ａｎｄｒｏｉｄランタイム（Android Runtime）及びシステムライブラリと、カーネル層に分割され得る。

【0158】

アプリケーション層は、一連のアプリケーションを含み得る。図１９に示されるように、アプリケーションは、カメラ、ギャラリ、カレンダー、電話、ＷＬＡＮ、Ｂｌｕｅｔｏｏｔｈ、音楽、メモ帳、メッセージ、注釈、ブラウザ等を含み得る。

【0159】

アプリケーションフレームワーク層は、アプリケーション層におけるアプリケーションのためのアプリケーションプログラミングインタフェース（application programming interface、ＡＰＩ）及びプログラミングフレームワークを提供する。アプリケーションフレームワーク層は、いくつかの事前定義された機能を含む。

【0160】

図１９に示されるように、アプリケーションフレームワーク層は、ウィンドウマネージャ、コンテンツプロバイダ、ビューシステム、リソースマネージャ、通知マネージャ、スクリーンショットモジュール等を含み得る。

【0161】

ウィンドウマネージャは、ウィンドウプログラムを管理するように構成される。ウィンドウマネージャは、ディスプレイのサイズを取得し、ステータスバーがあるかどうかを判断し、画面をロックし、画面をキャプチャする等してよい。コンテンツプロバイダは、データを記憶して取得し、データがアプリケーションによってアクセスされることを可能にするように構成される。データは、ビデオ、画像、オーディオ、発呼及び応答、ブラウズ履歴及びブックマーク、個人アドレスブック等を含んでもよい。ビューシステムは、ビジュアルコントロール、例えばテキストを表示するためのコントロール又はピクチャを表示するためのコントロールを含む。ビューシステムは、アプリケーションを構築するように構成され得る。表示インタフェースは、１つ以上のビューを含み得る。例えばメッセージの通知アイコンを含む表示インタフェースは、テキスト表示ビューとピクチャ表示ビューとを含み得る。リソースマネージャは、ローカライズされた文字列、アイコン、ピクチャ、レイアウトファイル及びビデオファイルのような、アプリケーションのための様々なリソースを提供する。通知マネージャは、アプリケーションがステータスバーに通知情報を表示することを可能にし、通知情報は、ユーザの対話なしに短時間滞在した後に自動的に消え得る通知タイプメッセージを伝達するために使用され得る。例えば通知マネージャは、ダウンロード完了を通知し、メッセージプロンプトを提供等するように構成される。通知マネージャは、代替的に、グラフ又はスクロールバーテキストの形態でシステムの上部ステータスバーに現れる通知、例えばバックグラウンドで実行されているアプリケーションの通知、あるいはダイアログウィンドウの形態で画面に現れる通知であってよい。例えばテキスト情報がステータスバーに表示されたり、アラートトーンが与えられたり、電子デバイス１００が振動したり、あるいはインジケータ光が光る。

【0162】

スクリーンショットモジュールは、電子デバイス１００の表示インタフェースのスクリーンショットを撮ることがある。

【0163】

Ａｎｄｒｏｉｄランタイムは、コアライブラリと仮想マシンを含む。Ａｎｄｒｏｉｄランタイムは、Ａｎｄｒｏｉｄシステムのスケジューリングと管理を担当する。コアライブラリは、２つの部分、ｊａｖａ言語で呼び出す必要のある関数とＡｎｄｒｏｉｄのコアライブラリとを含む。

【0164】

アプリケーション層とアプリケーションフレームワーク層は、仮想マシンで実行される。仮想マシンは、アプリケーション層及びアプリケーションフレームワーク層で、ｊａｖａファイルをバイナリファイルとして実行する。仮想マシンは、オブジェクトライフサイクル管理、スタック管理、スレッド管理、セキュリティ及び例外管理、並びにガーベジコレクションのような機能を実行するように構成される。

【0165】

システムライブラリは、複数の機能モジュール、例えばサーフェスマネージャ（Surface Manager）、メディアライブラリ（Media Libraries）、３次元グラフィクス処理ライブラリ（例えばＯｐｅｎＧＬＥＳ）、２Ｄグラフィクスエンジン（例えばＳＧＬ）、入力モジュール等を含み得る。

【0166】

サーフェスマネージャは、ディスプレイサブシステムを管理し、複数のアプリケーションのために２Ｄ層と３Ｄ層の融合を提供するように構成される。メディアライブラリは、複数の共通のオーディオ及びビデオフォーマット、静止画像ファイル等の再生及び記録をサポートする。メディアライブラリは、複数のオーディオ及びビデオコーディングフォーマット、例えばＭＰＥＧ４、Ｈ．２６４、ＭＰ３、ＡＡＣ、ＡＭＲ、ＪＰＧ及びＰＮＧをサポートし得る。３次元グラフィクス処理ライブラリは、３次元グラフィクス描画、画像レンダリング及び合成、レイヤ処理等を実装するように構成される。２Ｄグラフィクスエンジンは、２Ｄ描画のための描画エンジンである。

【0167】

入力モジュールは、ユーザによって入力されたタッチ操作によって生成されたタッチイベントを、対応するアプリケーションに転送するように構成される。

【0168】

カーネル層は、ハードウェアとソフトウェアとの間の層であり、セキュリティサービス、ネットワークサービス、メモリ管理サービス、検出管理サービス及びドライバモデルのような、Ａｎｄｒｏｉｄカーネルのためのコアシステムサービスを提供するように構成される。カーネル層は、ディスプレイドライバ、カメラドライバ、オーディオドライバ及びセンサドライバを含み得る。

【0169】

ユーザがタッチ操作を入力した後、ハードウェアデバイス内のタッチセンサは、対応するハードウェア割り込みを生成し、ハードウェア割り込みをカーネル層に送信し得る。カーネル層は、タッチ操作をタッチイベント（例えばアクションダウン（action down）イベント、アクションムーブ（action move）イベント又はアクションアップ（action up）イベント）にカプセル化してよく、システムライブラリ内の入力モジュールを使用することにより、タッチイベントを上位層ＡＰＰに報告し得る。

【0170】

前述の実施形態で説明したように、注釈モードに入った後、電子デバイス１００は、アプリケーションインタフェース上に注釈層をロードし得る。このように、ユーザによって入力されたスクロール操作によって生成されるタッチイベントは、注釈層によって処理され、注釈層の下に位置するＡＰＰは、タッチイベントを受信することができず、インタフェーススクロールを実装することができない。この実施形態では、注釈モードにおけるインタフェーススクロールは、タッチイベントをシミュレートする方法で実装されてよい。スクロール注釈機能を実装するために、コンテンツセンサがアプリケーションフレームワーク層に追加されてよく、注釈アプリケーションは、コンテンツセンサを使用することによってスクロール注釈プロセスを実装してよい。以下では、スクロール注釈原理を説明する。

【0171】

図２０は、本出願の実施形態によるスクロール注釈原理の概略図である。図２０に示されるように、ユーザが注釈トリガ操作を入力した後、入力モジュールは、注釈トリガ操作によって生成されたタッチイベントを注釈アプリケーションに転送し得る（ステップＳ１）。タッチイベントを受信した後、注釈アプリケーションは、タッチイベントに応答して、インタフェース情報要求コマンドをウィンドウマネージャに送信し（ステップＳ２）、ＡＰＰインタフェース情報を取得し得る。

【0172】

インタフェース情報要求コマンドを受信した後、ウィンドウマネージャは、ＡＰＰ（ここでは、ターゲットＡＰＰと呼ばれる）の現在表示されているインタフェース情報をコンテンツセンサに転送し得る（ステップＳ３）。次いで、コンテンツセンサは、ターゲットＡＰＰのインタフェース情報を注釈アプリケーションに転送し得る（ステップＳ４）。

【0173】

ターゲットＡＰＰは、１つ以上のＡＰＰを含んでよい。例えばターゲットＡＰＰは、図３に示される「ギャラリ」ＡＰＰと、「メモ帳」ＡＰＰとを含んでもよい。各ターゲットＡＰＰの処理プロセスは類似しており、ここでは１つのターゲットＡＰＰが説明のために例として使用される。

【0174】

ターゲットＡＰＰのインタフェース情報を取得した後、注釈アプリケーションは、インタフェース情報内のインタフェースレイアウト情報に基づいて、ターゲットＡＰＰのインタフェース内のコンテンツ表示コントロールの位置（ここでは、第１ターゲット位置と呼ばれる）を決定し、次いで、スクリーンショットコマンドをスクリーンショットモジュールに送信し（ステップＳ５）、第１ターゲット位置のスクリーンショットを撮るようにスクリーンショットモジュールに通知し得る。

【0175】

スクリーンショットを完了した後、スクリーンショットモジュールは、スクリーンショットを注釈アプリケーションに返してよい（ステップＳ６）。次いで、注釈アプリケーションは、表示のために、注釈層をスクリーンショットにロードし得る（ステップＳ７）。

【0176】

ユーザが第１注釈を注釈層に追加した場合、入力モジュールは、第１注釈に対応するタッチイベントを注釈アプリケーションに転送してよく（ステップＳ８）、注釈アプリケーションは、タッチイベントに応答して、ユーザによって追加された第１注釈を注釈層に表示してよい（ステップＳ９）。

【0177】

加えて、スクリーンショットモジュールによって返されたスクリーンショットを取得した後、注釈アプリケーションは、スクロール操作に対応するタッチイベント（略してスクロールタッチイベント）をシミュレートし、次いで、シミュレートされたスクロールタッチイベントをウィンドウマネージャに送信し（ステップＳ１０）、シミュレートされたスクロールタッチイベントをターゲットＡＰＰに転送するようにウィンドウマネージャに通知し得る。

【0178】

ウィンドウマネージャが、シミュレートされたスクロールタッチイベントをターゲットＡＰＰに転送した後（ステップＳ１１）、ターゲットＡＰＰは、対応するスクロールプロセスを実行し得る（ステップＳ１２）。

【0179】

インタフェースコンテンツがスクロール可能であるとき、ターゲットＡＰＰはインタフェースコンテンツをスクロールし得る。インタフェースコンテンツがスクロール不可能であるとき、すなわち、インタフェースコンテンツが一番下に到達したとき、ターゲットＡＰＰはインタフェースコンテンツをスクロールし得ない。

【0180】

シミュレートされたスクロールタッチイベントをウィンドウマネージャに送信した後、注釈アプリケーションは、ターゲットＡＰＰの以前に取得したインタフェース情報に基づいて、スクロール可能なコントロールの位置（ここでは、第２ターゲット位置と呼ばれる）を決定し、次いで、スクリーンショットコマンドをスクリーンショットモジュールに送信して（ステップＳ１３）、第２ターゲット位置のスクリーンショットを撮るようにスクリーンショットモジュールに通知し得る。

【0181】

具体的には、注釈アプリケーションは、コントロールタイプに基づいて、コントロール内のインタフェースコンテンツがスクロール可能であるかどうかを判断し得る。スクロール可能なコントロールは、ＲｅｃｙｃｌｅＶｉｅｗ、ＬｉｓｔＶｉｅｗ、ＳｃｒｏｌｌＶｉｅｗ、ＰａｇｅＶｉｅｗ、ＷｅｂＶｉｅｗ等を含み得る。例えばＲｅｃｙｃｌｅＶｉｅｗコントロールは通常、「ギャラリ」ＡＰＰのホームページで使用され、ＬｉｓｔＶｉｅｗコントロールは通常、ニュースＡＰＰで使用され、ＳｃｒｏｌｌＶｉｅｗコントロールは通常、「連絡先」ＡＰＰで使用され、ＰａｇｅＶｉｅｗコントロールは通常、スライドＡＰＰで使用され、ＷｅｂＶｉｅｗコントロールは通常、ＷｅｂページＡＰＰで使用される。

【0182】

スクロール可能なコントロールを決定した後、注釈アプリケーションは、スクロール可能なコントロールの位置を第２ターゲット位置として決定し、その位置のスクリーンショットを撮るようにスクリーンショットモジュールに指示し得る。

【0183】

スクリーンショットを完了した後、スクリーンショットモジュールは、スクリーンショットを注釈アプリケーションに返し得る（ステップＳ１４）。次いで、注釈アプリケーションは、ピクチャ重複排除とピクチャスプライシングを実行し、長いスクリーンショットを生成した後に、表示されたスクリーンショットを更新し得る（ステップＳ１５）。

【0184】

具体的には、注釈アプリケーションは、今回取得されたスクリーンショットと、前回取得されたスクリーンショットとを比較し得る。今回取得されたスクリーンショットのインタフェースコンテンツの全体が前回取得したスクリーンショット内に存在する場合、これは、ターゲットＡＰＰのインタフェースコンテンツが一番下までスクロールされたことを示す。この場合、例えばターゲットＡＰＰのインタフェースコンテンツの一番下でインタフェース充填が行われてよく、例えば白いページが充填される。前回取得されたスクリーンショットが今回取得されたスクリーンショットのインタフェースコンテンツ全体を含んでいない場合、今回取得されたスクリーンショットの新たにロードされたインタフェースコンテンツは、前回取得されたスクリーンショット内のインタフェースコンテンツの下にスプライスされてよく、長いスクリーンショットを生成し得る。

【0185】

ユーザが注釈層に対するスクロール操作を入力すると、入力モジュールは、スクロール操作に対応するタッチイベントを注釈アプリケーションに転送してよく（ステップＳ１６）、注釈アプリケーションは、タッチイベントに応答して、長いスクリーンショット及び注釈層をスクロールして、表示されたインタフェースコンテンツを更新してよい（ステップＳ１７）。

【0186】

加えて、注釈アプリケーションがステップＳ１５を実行した後、ターゲットＡＰＰのインタフェースコンテンツが一番下に到達していない、すなわち、ターゲットＡＰＰのインタフェースコンテンツが引き続きスクロールされ得ると判断した場合、注釈アプリケーションは、ステップＳ１０に戻って実行し、長いスクリーンショットを更新する、すなわち、電子デバイス１００は、予め設定された条件を満たすまで、ステップＳ１０～Ｓ１５を繰り返し実行し得る。

【0187】

予め設定された条件は、ターゲットＡＰＰのインタフェースコンテンツが一番下に到達したこと、あるいは電子デバイス１００が注釈モードを終了したことであってよい。

【0188】

ステップＳ１０～Ｓ１５が繰り返し実行されるとき、予め設定された条件を満たさない場合、長いスクリーンショットの更新プロセスを実行した後に、毎回、次の長いスクリーンショットの更新プロセスが行われてもよく、あるいは、長いスクリーンショットの更新プロセスを実行した後に、毎回、予め設定された時間が経過した後に、次の長いスクリーンショット更新プロセスが行われてもよい。各々の２つの長いスクリーンショット更新プロセスの間の予め設定された時間は、同じであってもよく、異なっていてもよい。例えば予め設定された継続時間は徐々に増加してもよい。

【0189】

スクロール注釈機能が実装されるとき、注釈アプリケーションがＡＰＰインタフェース情報をウィンドウマネージャから直接取得できるように、ウィンドウマネージャも修正されてもよいことが理解され得る。コンテンツセンサをアプリケーションフレームワーク層に追加する方式により、元のフレームワーク構造に対する変更を低減し、実装の困難性を低減することができる。

【0190】

以下では、電子デバイス１００の構造を説明する。

【0191】

図２１は、本出願の実施形態による電子デバイスの構造の概略図である。

【0192】

電子デバイス１００は、プロセッサ１１０、外部メモリインタフェース１２０、内部メモリ１２１、ユニバーサルシリアルバス（universal serial bus、ＵＳＢ）ポート１３０、充電管理モジュール１４０、電力管理モジュール１４１、バッテリ１４２、アンテナ１、アンテナ２、モバイル通信モジュール１５０、無線通信モジュール１６０、オーディオモジュール１７０、スピーカ１７０Ａ、受信機１７０Ｂ、マイクロフォン１７０Ｃ、ヘッドセットジャック１７０Ｄ、センサモジュール１８０、キー１９０、モータ１９１、インジケータ１９２、カメラ１９３、ディスプレイ１９４、加入者識別モジュール（subscriber identification module、ＳＩＭ）カードインタフェース１９５等を含み得る。センサモジュール１８０は、圧力センサ１８０Ａ、ジャイロセンサ１８０Ｂ、気圧センサ１８０Ｃ、磁気センサ１８０Ｄ、加速度センサ１８０Ｅ、距離センサ１８０Ｆ、光近接センサ１８０Ｇ、指紋センサ１８０Ｈ、温度センサ１８０Ｊ、タッチセンサ１８０Ｋ、周囲光センサ１８０Ｌ、骨伝導センサ１８０Ｍ等を含み得る。

【0193】

本出願のこの実施形態で示される構造は、電子デバイス１００に対する特定の限定を構成するものではないことが理解され得る。本出願のいくつかの他の実施形態では、電子デバイス１００は、図面に示されるものよりも多くの又は少ない構成要素を含んでもよく、あるいはいくつかの構成要素を結合し、あるいはいくつかの構成要素を分割し、あるいは異なる構成要素配置を有する。図面に示される構成要素は、ハードウェア、ソフトウェア又はソフトウェアとハードウェアの組合せによって実装されてよい。

【0194】

プロセッサ１１０は、１つ以上の処理ユニットを含み得る。例えばプロセッサ１１０は、アプリケーションプロセッサ（application processor、ＡＰ）、モデムプロセッサ、グラフィクス処理ユニット（graphics processing unit、ＧＰＵ）、画像信号プロセッサ（image signal processor、ＩＳＰ）、コントローラ、メモリ、ビデオコーデック、デジタル信号プロセッサ（digital signal processor、ＤＳＰ）、ベースバンドプロセッサ及び／又はニューラルネットワークプロセッサ（neural-network processing unit、ＮＰＵ）等を含み得る。異なる処理ユニットは、独立した構成要素であってよく、あるいは１つ以上のプロセッサに統合されてもよい。

【0195】

コントローラは、電子デバイス１００の中枢センタ及びコマンドセンタであり得る。コントローラは、命令演算コード及びタイミング信号に基づいて演算制御信号を生成し、命令フェッチ及び命令実行を制御し得る。

【0196】

メモリがプロセッサ１１０内に更に配置されてもよく、命令及びデータを記憶するように構成される。いくつかの実施形態では、プロセッサ１１０内のメモリはキャッシュである。メモリは、プロセッサ１１０によってちょうど使用された又は周期的に使用された命令又はデータを記憶し得る。プロセッサ１１０が命令又はデータを再び使用する必要がある場合、プロセッサはメモリから命令又はデータを直接呼び出してよい。これにより、繰り返しのアクセスが回避され、プロセッサ１１０の待ち時間が減少し、したがって、システム効率が改善される。

【0197】

いくつかの実施形態では、プロセッサ１１０は、１つ以上のインタフェースを含み得る。インタフェースは、集積回路間（inter-integrated circuit、Ｉ２Ｃ）インタフェース、集積回路間サウンド（inter-integrated circuit sound、Ｉ２Ｓ）インタフェース、パルスコード変調（pulse code modulation、ＰＣＭ）インタフェース、ユニバーサル非同期受信機／送信機（universal asynchronous receiver/transmitter、ＵＡＲＴ）インタフェース、モバイル産業プロセッサインタフェース（mobile industry processor interface、ＭＩＰＩ）、汎用入出力（general-purpose input/output、ＧＰＩＯ）インタフェース、加入者識別モジュール（subscriber identity module、ＳＩＭ）インタフェース、ユニバーサルシリアルバス（universal serial bus、ＵＳＢ）インタフェース及び／又は同様のものを含み得る。

【0198】

Ｉ２Ｃインタフェースは、双方向同期シリアルバスであり、１つのシリアルデータ線（serial data line、ＳＤＡ）及び１つのシリアルクロック線（serial clock line、ＳＣＬ）を含む。Ｉ２Ｓインタフェースは、オーディオ通信のために使用され得る。ＰＣＭインタフェースも、オーディオ通信と、アナログ信号のサンプリング、量子化及びコーディングのために使用され得る。ＵＡＲＴインタフェースは、ユニバーサルシリアルデータバスであり、非同期通信のために使用される。バスは双方向通信バスであってよい。ＵＡＲＴインタフェースは、シリアル通信とパラレル通信との間で送信対象データを変換する。ＭＩＰＩインタフェースは、プロセッサ１１０をディスプレイ１９４及びカメラ１９３のような周辺構成要素に接続するように構成され得る。ＭＩＰＩインタフェースは、カメラシリアルインタフェース（camera serial interface、ＣＳＩ）、ディスプレイシリアルインタフェース（display serial interface、ＤＳＩ）等を含む。ＧＰＩＯインタフェースは、ソフトウェアを使用することによって構成されてよく、ＧＰＩＯインタフェースは、制御信号又はデータ信号として構成されてもよい。ＵＳＢポート１３０は、ＵＳＢ標準仕様に準拠したポートであり、具体的には、ミニＵＳＢポート、マイクロＵＳＢポート、ＵＳＢタイプＣポート等であってよい。ＵＳＢポート１３０は、電子デバイス１００を充電するために充電器に接続するように構成されてもよく、あるいは電子デバイス１００と周辺デバイスとの間でデータを送信するように構成されてもよく、あるいはヘッドセットを使用することによってオーディオを再生するために、ヘッドセットに接続するように構成されてもよい。ポートは、ＡＲデバイスのような別の電子デバイスに接続するように更に構成されてもよい。

【0199】

本出願のこの実施形態で示されるモジュール間のインタフェース接続関係は、説明のための一例にすぎず、電子デバイス１００の構造に対する限定を構成しないことが理解され得る。本出願のいくつかの他の実施形態では、電子デバイス１００は代替的に、前述の実施形態のものとは異なるインタフェース接続方法を使用してもよく、あるいは複数のインタフェース接続方法の組合せを使用されてもよい。

【0200】

充電管理モジュール１４０は、充電器から充電入力を受け取るように構成される。充電器は、無線充電器又は有線充電器であってよい。有線充電のいくつかの実施形態では、充電管理モジュール１４０は、ＵＳＢポート１３０を使用することによって、有線充電器から充電入力を受信し得る。無線充電のいくつかの実施形態では、充電管理モジュール１４０は、電子デバイス１００の無線充電コイルを使用することによって、無線充電入力を受信し得る。充電管理モジュール１４０は更に、バッテリ１４２を充電しながら、電力管理モジュール１４１を使用することによって電子デバイスに電力を供給してもよい。

【0201】

電力管理モジュール１４１は、バッテリ１４２、充電管理モジュール１４０及びプロセッサ１１０に接続するように構成される。電力管理モジュール１４１は、バッテリ１４２及び／又は充電管理モジュール１４０の入力を受け取って、プロセッサ１１０、内部メモリ１２１、外部メモリ、ディスプレイ１９４、カメラ１９３、無線通信モジュール１６０等に電力を供給する。電力管理モジュール１４１は、バッテリ容量、バッテリサイクルカウント及びバッテリヘルス状態（電気漏れ及びインピーダンス）のようなパラメータをモニタするように構成され得る。いくつかの他の実施形態では、電力管理モジュール１４１は代替的に、プロセッサ１１０内に配置されてもよい。いくつかの他の実施形態では、電力管理モジュール１４１と充電管理モジュール１４０は、代替的に、同じ構成要素内に配置されてもよい。

【0202】

電子デバイス１００の無線通信機能は、アンテナ１、アンテナ２、モバイル通信モジュール１５０、無線通信モジュール１６０、モデムプロセッサ、ベースバンドプロセッサ等を使用することによって実装され得る。

【0203】

アンテナ１及びアンテナ２は、電磁波信号を送受信するように構成される。電子デバイス１００の各アンテナは、１つ以上の通信周波数帯域をカバーするように構成され得る。異なるアンテナを更に多重化して、アンテナ利用率を向上させることができる。例えばアンテナ１は、無線ローカルエリアネットワークにおいてダイバーシティアンテナとして多重化されてよい。いくつかの他の実施形態では、アンテナはチューニングスイッチと組み合わせて使用されてよい。

【0204】

モバイル通信モジュール１５０は、２Ｇ／３Ｇ／４Ｇ／５Ｇ等を含み、かつ電子デバイス１００に適用される、無線通信ソリューションを提供し得る。モバイル通信モジュール１５０は、少なくとも１つのフィルタ、スイッチ、電力増幅器、低ノイズ増幅器（low noise amplifier、ＬＮＡ）等を含み得る。モバイル通信モジュール１５０は、アンテナ１を使用することにより電磁波を受信し、受信した電磁波に対してフィルタリングや増幅等の処理を行い、復調のために電磁波をモデムプロセッサに送信し得る。モバイル通信モジュール１５０は、モデムプロセッサによって変調された信号を更に増幅し、該信号を、アンテナ１を使用することにより放射するための電磁波に変換する。いくつかの実施形態において、モバイル通信モジュール１５０内の少なくとも一部の機能モジュールは、プロセッサ１１０内に配置されてもよい。いくつかの実施形態では、モバイル通信モジュール１５０の少なくとも一部の機能モジュールは、プロセッサ１１０の少なくとも一部のモジュールと同じコンポーネントに配置されてもよい。

【0205】

モデムプロセッサは、変調器及び復調器を含んでよい。変調器は、送信対象の低周波数ベースバンド信号を中高周波数信号に変調するように構成される。復調器は、受信した電磁波信号を低周波数ベースバンド信号に復調するように構成される。次いで、復調器は、復調を通して取得された低周波数ベースバンド信号を、処理のためにベースバンドプロセッサに送信する。低周波数ベースバンド信号は、ベースバンドプロセッサによって処理され、次いで、アプリケーションプロセッサに送信される。アプリケーションプロセッサは、オーディオデバイス（スピーカ１７０Ａ、受信機１７０Ｂ等に限定されない）を使用することにより音声信号を出力し、あるいはディスプレイ１９４を使用することにより画像又はビデオを表示する。いくつかの実施形態では、モデムプロセッサは、独立の構成要素であってよい。いくつかの他の実施形態では、モデムプロセッサは、プロセッサ１１０とは独立であってよく、モバイル通信モジュール１５０又は別の機能モジュールと同じ構成要素内に配置されてもよい。

【0206】

無線通信モジュール１６０は、無線ローカルエリアネットワーク（wireless local area networks、ＷＬＡＮ）（例えばワイヤレスフィデリティ（wireless fidelity、WI-FI）ネットワーク）、ブルートゥース（Bluetooth、ＢＴ）、グローバルナビゲーション衛星システム（global navigation satellite system、ＧＮＳＳ）、周波数変調（frequency modulation、ＦＭ）、近距離無線通信（near field communication、ＮＦＣ）技術、赤外線（infrared、ＩＲ）技術等を含む、無線通信のために電子デバイス１００に適用されるソリューションを提供し得る。無線通信モジュール１６０は、少なくとも１つの通信処理モジュールを統合する１つ以上の構成要素であってよい。無線通信モジュール１６０は、アンテナ２を使用することにより電磁波を受信し、電磁波信号に対して周波数変調及びフィルタリング処理を行い、処理された信号をプロセッサ１１０に送信する。無線通信モジュール１６０は更に、送信対象の信号をプロセッサ１１０から受信し、その送信対象の信号に対して周波数変調及び増幅を行って、信号を、アンテナ２を使用することにより放射するための電磁波に変換してもよい。

【0207】

いくつかの実施形態では、電子デバイス１００では、アンテナ１がモバイル通信モジュール１５０に結合され、アンテナ２が無線通信モジュール１６０に結合されているので、電子デバイス１００は、無線通信技術を使用することにより、ネットワーク及び別のデバイスと通信することができる。無線通信技術は、グローバルシステム・フォー・モバイル通信（global system for mobile communications、ＧＳＭ）、一般パケット無線サービス（general packet radio service、ＧＰＲＳ）、符号分割多重アクセス（code division multiple access、ＣＤＭＡ）、広帯域符号分割多重アクセス（wideband code division multiple access、ＷＣＤＭＡ）、時分割同期符号分割多重アクセス（time division-synchronous code division multiple access、ＴＤ－ＳＣＤＭＡ）、長期進化（long term evolution、ＬＴＥ）、ＢＴ、ＧＮＳＳ、ＷＬＡＮ、ＮＦＣ、ＦＭ及び／又はＩＲ技術を含み得る。ＧＮＳＳは、全地球測位システム（global positioning system、ＧＰＳ）、全地球航法衛星システム（global navigation satellite system、ＧＮＳＳ）、北斗衛星導航系統（BeiDou navigation satellite system、ＢＤＳ）、準天頂衛星システム（quasi-zenith satellite system、ＱＺＳＳ）及び／又は衛星航法補強システム（satellite based augmentation systems、ＳＢＡＳ）を含み得る。

【0208】

電子デバイス１００は、ＧＰＵ、ディスプレイ１９４、アプリケーションプロセッサ等を使用することによってディスプレイ機能を実装する。ＧＰＵは画像処理のためのマイクロプロセッサであり、ディスプレイ１９４及びアプリケーションプロセッサに接続される。ＧＰＵは、数学的及び幾何学的計算を実行し、画像をレンダリングするように構成される。プロセッサ１１０は、プログラム命令を実行して表示情報を生成又は変更する「１つ以上のＧＰＵを含み得る。ディスプレイ１９４は、画像やビデオ等を表示するように構成される。

【0209】

ディスプレイ１９４は、画像やビデオ等を表示するように構成される。ディスプレイ１９４は、ディスプレイパネルを含む。ディスプレイパネルは、液晶ディスプレイ（liquid crystal display、ＬＣＤ）、有機発光ダイオード（organic light-emitting diode、ＯＬＥＤ）、アクティブマトリクス有機発光ダイオード（active-matrix organic light emitting diode、ＡＭＯＬＥＤ）、フレックス発光ダイオード（flex light-emitting diode、ＦＬＥＤ）、ミニＬＥＤ、マイクロＬＥＤ、量子ドット発光ダイオード（quantum dot light emitting diodes、ＱＬＥＤ）等であってよい。いくつかの実施形態では、電子デバイス１００は、１つ又はＮ個のディスプレイ１９４を含んでよく、ここで、Ｎは１より大きい正の整数である。

【0210】

電子デバイス１００は、ＩＳＰ、カメラ１９３、ビデオコーデック、ＧＰＵ、ディスプレイ１９４、アプリケーションプロセッサ等を使用することによって撮影機能を実装し得る。

【0211】

ＩＳＰは、カメラ１９３によってフィードバックされたデータを処理するように構成される。カメラ１９３は、静止画像又はビデオを取得するように構成される。デジタル信号プロセッサは、デジタル信号を処理するように構成され、デジタル画像信号に加えて別のデジタル信号を処理してもよい。ビデオコーデックは、デジタルビデオを圧縮又は解凍するように構成される。

【0212】

ＮＰＵは、ニューラルネットワーク（neural-network、ＮＮ）計算プロセッサである。生体ニューラルネットワークの構造を引き出すことにより、例えばヒトの脳ニューロン間の伝送モードを引き出すことにより、ＮＰＵは入力情報を迅速に処理し、連続的に自己学習を更に行ってもよい。電子デバイス１００のインテリジェント認識、例えば画像認識、顔認識、スピーチ認識又はテキスト理解のようなアプリケーションが、ＮＰＵを使用することにより実装され得る。

【0213】

内部メモリ１２１は、コンピュータ実行可能プログラムコードを記憶するように構成され得る。実行可能プログラムコードは命令を含む。プロセッサ１１０は、内部メモリ１２１に記憶された命令を実行することにより、電子デバイス１００の様々な機能アプリケーション及びデータ処理を実行する。内部メモリ１２１は、プログラム記憶エリア及びデータ記憶エリアを含み得る。プログラム記憶エリアは、オペレーティングシステムや、少なくとも１つの機能（例えば音声再生機能又は画像再生機能）によって必要とされるアプリケーション等を記憶し得る。データ記憶エリアは、電子デバイス１００を使用するプロセスで作成されたデータ（例えば音声データ及び電話帳）等を記憶し得る。加えて、内部メモリ１２１は、高速ランダムアクセスメモリを含んでもよく、不揮発性メモリ、例えば少なくとも１つのディスク記憶デバイス、フラッシュメモリデバイス及びユニバーサルフラッシュメモリ（universal flash storage、ＵＦＳ）等を更に含み得る。

【0214】

外部メモリインタフェース１２０は、電子デバイス１００の記憶能力を拡張するために、外部メモリカード、例えばマイクロＳＤカードに接続されるように構成され得る。外部メモリカードは、外部メモリインタフェース１２０を使用することによりプロセッサ１１０と通信し、データ記憶機能を実装する。例えば音楽及びビデオのようなファイルは外部記憶カードに記憶される。

【0215】

電子デバイス１００は、オーディオモジュール１７０、スピーカ１７０Ａ、受信機１７０Ｂ、マイクロフォン１７０Ｃ、ヘッドセットジャック１７０Ｄ、アプリケーションプロセッサ等を使用することにより、オーディオ機能、例えばビデオ再生又は録画を実装し得る。

【0216】

オーディオモジュール１７０は、デジタルオーディオ情報を出力用のアナログオーディオ信号に変換するように構成されており、また、アナログオーディオ入力をデジタルオーディオ信号に変換するようにも構成されている。オーディオモジュール１７０は、オーディオ信号をコーディング及び復号するように更に構成され得る。いくつかの実施形態では、オーディオモジュール１７０は、プロセッサ１１０内に配置されてもよく、あるいはオーディオモジュール１７０のいくつかの機能モジュールは、プロセッサ１１０内に配置されてもよい。「ラウドスピーカ」とも呼ばれるスピーカ１７０Ａは、電気オーディオ信号を音信号に変換するように構成される。「イヤピース」とも呼ばれる受信機１７０Ｂは、電気オーディオ信号を音信号に変換するように構成される。「マイク」又は「ｍｉｃ」とも呼ばれるマイクロフォン１７０Ｃは、音信号を電気信号に変換するように構成される。ヘッドセットジャック１７０Ｄは、有線ヘッドセットに接続されるように構成される。ヘッドセットジャック１７０Ｄは、ＵＳＢポート１３０であってもよく、あるいは３．５ｍｍのオープンモバイル端末プラットフォーム（open mobile terminal platform、ＯＭＴＰ）標準インタフェース又は米国のセルラ通信産業アソシエーション（cellular telecommunications industry association of the USA、ＣＴＩＡ）標準インタフェースであってもよい。

【0217】

キー１９０は、電源キー、音量キー等を含む。キー１９０は、機械式キーであってもよく、あるいはタッチキーであってもよい。電子デバイス１００は、キー入力を受信し、電子デバイス１００のユーザ設定及び機能入力に関連するキー信号入力を生成し得る。モータ１９１は、振動プロンプトを生成し得る。モータ１９１は、着信振動プロンプトのために使用されてよく、あるいはタッチ振動フィードバックのために使用されてよい。インジケータ１９２は、インジケータ光であってよく、充電状態及びバッテリレベル変化を示してもよく、あるいはメッセージ、不在着信、通知等を示すように構成されてもよい。ＳＩＭカードインタフェース１９５は、ＳＩＭカードに接続するように構成される。ＳＩＭカードは、ＳＩＭカードインタフェース１９５に挿入されるか、ＳＩＭカードインタフェース１９５から引き出され、電子デバイス１００との接触と電子デバイス１００からの分離を実装し得る。電子デバイス１００は、１つ又はＮ個のＳＩＭカードインタフェースをサポートしてよく、ここでＮは１より大きい正の整数である。ＳＩＭカードインタフェース１９５は、ナノＳＩＭカード、マイクロＳＩＭカード、ＳＩＭカード等をサポートし得る。

【0218】

この実施形態において提供される対話システムは、上述した方法の実施形態を実行してよく、対話システムの実装原理及び技術的効果は、方法の実施形態のものと同様であり、詳細はここでは再度説明しない。

【0219】

同じ概念に基づいて、前述の方法の実装として、本出願の実施形態は、注釈装置を提供する。装置の実施形態は、前述の方法の実施形態に対応する。読みやすさのために、前述の方法の実施形態における詳細は、この装置の実施形態では詳細に説明しない。しかしながら、この実施形態における装置は対応して、前述の方法の実施形態におけるすべての内容を実装することができることを明確にされたい。

【0220】

図２２は、本出願の実施形態による注釈装置の構造の概略図である。図２２に示されるように、この実施形態において提供される装置は、
表示モジュール２１０と、入力モジュール２２０と、処理モジュール２３０と、通信モジュール２４０とを含む。

【0221】

表示モジュール２１０は、上述した実施形態におけるインタフェース表示動作及び／又は本明細書に記載される技術の別のプロセスを実行する際に、電子デバイスをサポートするように構成される。表示モジュールは、タッチスクリーン又は別のハードウェア、あるいはハードウェアとソフトウェアの組合せであってよい。

【0222】

入力モジュール２２０は、電子デバイスの表示インタフェース上でユーザの入力、例えばタッチ入力、音声入力又はジェスチャ入力を受け取るように構成される。入力モジュールは、上述した実施形態におけるユーザの電話応答動作のステップ及び／又は本明細書に記載される技術の別のプロセスを実行する際に、電子デバイスをサポートするように構成される。入力モジュールは、タッチスクリーン又は別のハードウェア、あるいはハードウェアとソフトウェアの組合せであってよい。

【0223】

処理モジュール２３０は、上述の実施形態における注釈付けプロセス及び／又は本明細書に記載される技術の別のプロセスに関連する処理動作を実行する際に、電子デバイスをサポートするように構成される。

【0224】

通信モジュール２４０は、上述の実施形態におけるスタイラスとの通信プロセス及び／又は本明細書に記載される技術の別のプロセスに関連する処理動作を実行する際に、電子デバイスをサポートするように構成される。

【0225】

この実施形態において提供される装置は、上述した方法の実施形態を実行してよく、装置の実装原理及び技術的効果は、方法の実施形態のものと同様であり、詳細はここでは再度説明しない。

【0226】

当業者には、説明の便宜及び簡潔性のために、上記の機能ユニット及びモジュールの分割は、説明のための例として使用されるものにすぎないことが明確に理解され得る。実際の適用では、必要に応じて、上記の機能は、完成のために異なる機能ユニット及びモジュールに割り当てられてもよい、すなわち、装置の内部構造を異なる機能ユニット又はモジュールに分割して、上記の機能のすべて又は一部を完成させる。実施形態における機能ユニット及びモジュールは、１つの処理ユニットに統合されてもよく、ユニットの各々は物理的に単独で存在してもよく、あるいは２つ以上のユニットが１つのユニットに統合されてもよい。統合ユニットは、ハードウェアの形態で実装されてよく、あるいはソフトウェア機能ユニットの形態で実装されてもよい。加えて、機能ユニット及びモジュールの具体的な名称は、単に機能ユニット及びモジュールの区別を容易にするものであり、本出願の保護範囲を限定するように意図されていない。上記のシステムにおけるユニット及びモジュールの具体的な動作プロセスについては、上記の方法の実施形態における対応するプロセスを参照されたい。詳細はここでは再度説明しない。

【0227】

本出願の実施形態は、コンピュータ読取可能記憶媒体を更に提供する。コンピュータ読取可能記憶媒体は、コンピュータプログラムを記憶し、コンピュータプログラムがプロセッサによって実行されると、上述した方法の実施形態における方法が実装される。

【0228】

本出願の実施形態は、コンピュータプログラム製品を更に提供する。コンピュータプログラム製品が電子デバイス上で実行されると、電子デバイスは、前述の方法の実施形態における方法を実行することが可能になる。

【0229】

本出願の実施形態は、プロセッサを含むチップシステムを更に提供し、ここで、プロセッサはメモリに結合され、プロセッサはメモリに記憶されたコンピュータプログラムを実行して、前述の方法の実施形態における方法を実装する。チップシステムは、単一のチップであってもよく、あるいは複数のチップを含むチップモジュールであってもよい。

【0230】

前述の実施形態のすべて又は一部は、ソフトウェア、ハードウェア、ファームウェア又はそれらの任意の組合せを使用することによって実装されてよい。ソフトウェアを使用して実施形態を実装するとき、実施形態のすべて又は一部は、コンピュータプログラム製品の形態で実装されてよい。コンピュータプログラム製品は、１つ以上のコンピュータ命令を含む。コンピュータプログラム命令がコンピュータにロードされ、実行されると、本出願の実施形態によるプロシージャ又は機能が、全体的又は部分的に生成される。コンピュータは、汎用コンピュータ、専用コンピュータ、コンピュータネットワーク又は別のプログラム可能な装置であってよい。コンピュータ命令は、コンピュータ読取可能記憶媒体に記憶されてよく、コンピュータ読取可能記憶媒体を使用することにより伝送されてもよい。コンピュータ命令は、有線（例えば同軸ケーブル、光ファイバ又はデジタル加入者回線）又は無線（例えば赤外線、無線又はマイクロ波）方式で、ウェブサイト、コンピュータ、サーバ又はデータセンタから別のウェブサイト、コンピュータ、サーバ又はデータセンタに伝送され得る。コンピュータ読取可能記憶媒体は、コンピュータによってアクセス可能な任意の使用可能媒体、あるいは１つ以上の使用可能媒体を統合するデータ記憶デバイス、例えばサーバ又はデータセンタであってよい。使用可能な媒体は、磁気媒体（例えばフロッピーディスク、ハードディスク、磁気テープ）、光媒体（例えばＤＶＤ）、半導体媒体（例えばソリッドステートディスク（Solid State Disk、ＳＳＤ））等であってよい。

【0231】

当業者は、実施形態における方法の手順のすべて又は一部が、関連するハードウェアに命令するコンピュータプログラムによって実装され得ることを理解し得る。プログラムは、コンピュータ読取可能記憶媒体に記憶されてもよい。プログラムが実行されるとき、方法の実施形態における手順が含まれてもよい。上記記憶媒体は、ＲＯＭ、ランダムアクセスメモリＲＡＭ、磁気ディスク又は光ディスク等のプログラムコードを記憶することができる任意の媒体を含み得る。

【0232】

本出願におけるステップの名称又は番号は、方法手順におけるステップが、名称又は番号によって示される時間／論理シーケンスで実行される必要があることを意味するものではない。名称又は番号が付された手順におけるステップの実行シーケンスは、同一又は類似の技術的効果を達成することができることを条件として、達成されるべき技術的目的に基づいて変更されることが可能である。

【0233】

上記実施形態では、実施形態の説明にはそれぞれの焦点がある。実施形態において詳細に説明されていない部分については、他の実施形態における関連する説明を参照されたい。

【0234】

本出願で提供される実施形態では、開示される装置／デバイス及び方法は、他の方法で実装されてもよいことを理解されたい。例えば記載される装置／デバイスの実施形態は、単なる例である。例えばモジュール又はユニット分割は、単なる論理機能分割であり、実際の実装では他の分割であってもよい。例えば複数のユニット又は構成要素を組み合わせるか又は別のシステムに統合してもよく、あるいはいくつかの特徴を無視してもよいし、実行しなくてもよい。加えて、表示又は説明された相互結合又は直接結合又は通信接続は、いくつかのインタフェースを使用することによって実装されてよい。装置又はユニット間の間接的な結合又は通信接続は、電子的、機械的又は他の形態で実装され得る。

【0235】

本明細書及び本出願の添付の特許請求の範囲の説明において、「含む」、「有する」及び任意の他の変形は、非排他的な包含をカバーするように意図することを理解されたい。例えばステップ又はモジュールのリストを含むプロセス、方法、システム、製品又はデバイスは、明示的に列挙されるそれらのステップ又はモジュールに必ずしも限定されず、明示的に列挙されていないか又はそのようなプロセス、方法、製品又は装置に固有の他の工程又はモジュールを含み得る。

【0236】

本出願の説明において、特に明記しない限り、「／」は、関連するオブジェクト間の「又は」関係を示し、例えばＡ／Ｂは、Ａ又はＢを表してよい。本出願において、「及び／又は」は、関連するオブジェクト間の関連付けの関係を説明するものにすぎず、３つの関係が存在し得ることを示す。例えばＡ及び／又はＢは、次の３つのケース、すなわち、Ａだけが存在するケース、ＡとＢの両方が存在するケース、そしてＢだけが存在するケースを表してよい。Ａ及びＢは単数であっても複数であってもよい。

【0237】

加えて、本出願の説明において、「複数の」とは、２つ、又は２より多くを意味する。次の項目（ピース）のうちの少なくとも１つ又はその同様の表現は、単数の項目又は複数の項目の任意の組合せを含む、これらの項目の任意の組合せを意味する。例えばａ、ｂ及びｃのうちの少なくとも１つは、ａ、ｂ、ｃ、ａ－ｂ、ａ－ｃ、ｂ－ｃ又はａ－ｂ－ｃを表してよく、ここで、ａ、ｂ及びｃは単数であっても、複数であってもよい。

【0238】

本明細書及び本出願の添付の特許請求の範囲において使用されるとき、文脈に基づいて、用語「場合（if）」は、「とき（when）」又は「～すると（once）」又は「決定に応答して」又は「検出に応答して」と解釈され得る。同様に、「もし～と決定された場合」又は「もし（記述された条件又はイベント）が検出された場合」というフレーズは、文脈に応じて、「～と決定されると」又は「決定に応答して」又は「（記述された条件又はイベント）が検出されると」又は「（記述された条件又はイベント）が検出されたことに応答して」の意味として解釈されてよい。

【0239】

加えて、本明細書及び本出願の添付の特許請求の範囲の説明において、「第１」、「第２」、「第３」等の用語は、類似の対象を区別するように意図されるが、必ずしも特定の順序又はシーケンスを示していない。本明細書に記載される実施形態を、本明細書で図示されるか又は記載される順序以外の他の順序で実装することができるように、このような方法で命名されたデータは、適切な状況において交換可能であることを理解されたい。

【0240】

本出願の本明細書に記載される「実施形態」、「いくつかの実施形態」等への言及は、本出願の１つ以上の実施形態が、該実施形態に関連して説明される特定の特徴、構造又は特徴を含むことを示す。したがって、本明細書の異なる箇所に現れる「実施形態において」、「いくつかの実施形態において」、「いくつかの他の実施形態において」及び「他の実施形態において」のような記述は、必ずしも同じ実施形態を指すことを意味しない。代わりに、別の方法で特に強調されない限り、その記述は「実施形態のうちのすべてではなく１つ以上」を意味する。

【0241】

最後に、前述の実施形態は、本出願を限定することではなく、本出願の技術的解決策を説明することのみを意図していることに留意されたい。本出願は、前述の実施形態を参照して詳細に説明されるが、当業者は、本出願の実施形態の技術的解決策の範囲から逸脱することなく、前述の実施形態で記載される技術的解決策に対して修正を加えてもよく、あるいはその一部又はすべての技術的特徴に対して同等の置換を加えてもよいことを理解されたい。

【図1】