(58)【調査した分野】(Int.Cl.,DB名)
前記第2の通知が前記第2のデバイスから受信されて前記第2のデバイスでの前記オーディオ記録の再生中に前記第1のデバイスに中継される、請求項1〜4の何れか一項に記載の方法。
前記第2の通知に応答して前記第2のデバイスのステータスの表示を変更することは、前記第2のデバイスでの前記オーディオ記録のステータスに関連付けられたグラフィカル表現の外観を変更することを含む、請求項1〜7の何れか一項に記載の方法。
プロセッサによって実行されると、オーディオ通信ステータスのリアルタイム通知を提供する方法を前記プロセッサに実行させる命令を記憶する非一時的コンピュータ可読媒体であって、前記方法は、
第1のデバイスでのオーディオ記録の開始後に送信される第1の通知を前記第1のデバイスから受信すること、
第2のデバイスに向けて前記第1の通知を中継することであって、前記第2のデバイスは、前記第1の通知に応答して前記オーディオ記録のステータスを表示する、前記第1の通知を中継すること、
前記オーディオ記録を前記第2のデバイスに向けて送信すること、
前記第2のデバイスでの前記オーディオ記録の再生の開始後に送信される第2の通知を前記第2のデバイスから受信すること、
前記第1のデバイスに向けて前記第2の通知を中継することであって、前記第1のデバイスは、前記第2の通知に応答して前記第2のデバイスのステータスの表示を変更する、前記第2の通知を中継すること
前記第1のデバイスでの前記オーディオ記録の終了時に送信される第3の通知を前記第1のデバイスから受信すること、
前記第2のデバイスに前記第3の通知を中継することであって、前記第2のデバイスは、前記第3の通知に応答して前記オーディオ記録のステータスを除去する、前記第3の通知を中継することを備え、前記オーディオ記録のステータスを除去することは、前記オーディオ記録のステータスを、前記オーディオ記録のステータスが表示される前に前記第2のデバイスに表示されていた前記第1のデバイスのステータスで置換することを含む、非一時的コンピュータ可読媒体。
【発明を実施するための形態】
【0010】
以下の説明は、当業者が本発明を作製し使用できるようにするために提示されている。開示される実施形態の様々な変更形態が当業者に容易に明らかになる。本明細書において定義される一般原理は、本発明の範囲から逸脱せずに、他の実施形態及び用途に適用し得る。したがって、本発明は、示される実施形態に限定されることが意図されない。
【0011】
本発明の幾つかの実施形態では、リアルタイムステータス通知を用いて音声通信を行うシステム、装置、ユーザインターフェース、及び方法が提供される。異なる実施形態では、ワンタッチ音声記録、音声記録の開始の通信相手への動的リアルタイム通知、相手への記録の確実な送達、通信相手による記録の再生のリアルタイム通知、及びオーディオ記録を再生する出力デバイスの自動選択等の複数の相補的な特徴の1つ又は複数が実施される。
【0012】
本発明の実施形態は、テキスト、イメージ、音声記録、及び/又は他の電子情報がIEEE802.11規格(例えば、Wi−Fi(登録商標)接続)に準拠したデータ通信チャネルを介して交換される通信環境内で実施される。これらの実施形態では、ライブ音声会話以外のインスタント又はリアルタイム通信の送信に対して限られたサポートを提供する従来のワイヤレス音声通信チャネルに頼るのではなく、データ通信チャネルにより、同じタイプ及び/又は異なるタイプのデバイス間で略全てのタイプの通信及びメディアの無制限交換を可能にする。
【0013】
本発明の例示的な実施形態は、1対1通信セッション(例えば、チャットセッション)の一部として実施し得るものとして説明されるが、グループ通信セッション(例えば、グループチャット)に適用することも可能である。
【0014】
図1は、本発明の幾つかの実施形態による、リアルタイムステータス通知を用いて記録音声通信を促進するシステムのブロック図である。
これらの実施形態では、通信システム120のユーザは、同じ又は異なるオペレーティングシステム(例えば、アンドロイド(Android)(登録商標)、ブラックベリー(BlackBerry)(登録商標)、iOS(登録商標)、ノキアS40(Nokia S40)、シンビアン(Symbian)(登録商標)、ウィンドウズフォン(Windows Phone)(登録商標))を動作させている様々なポータブル通信デバイスを操作する。したがって、デバイス102、104は、異なるユーザによって操作されるが、同様又は非常に異なるように構成され得る。デバイス102とデバイス104との間の通信セッション110は、デバイス102とシステム120との間及びデバイス104とシステム120との間の別個の接続を含む。
【0015】
システム120は、複数のユーザが同時に使用することができる通信アプリケーション又はサービス(又は通信アプリケーションのサーバ部分)をホストするデータセンタ、コンピュータネットワーク、又はコンピュータ資源の他の連携する集まりである。幾つかの実装形態では、アプリケーションは、ユーザの通信デバイス(例えば、デバイス102)から、他の通信デバイス(例えば、デバイス104)を操作している一人又は複数の他のユーザへ/から、テキスト、オーディオ記録、写真、ビデオ、及びマルチメディアのインスタントメッセージングをユーザに提供する。
【0016】
システム120によってホストされる通信アプリケーションは、デバイス102、104に対応し、デバイスのネイティブオペレーティングシステム下で実行されるクライアント論理を含む。あるタイプのデバイスを操作し、ある通信サーバプロバイダに加入しているユーザは、他のタイプのデバイスを操作し、他の通信サービスプロバイダに加入しているユーザとメッセージを交換することができる。個々のメッセージは、任意の数の受信者に送信し得、例えば、複数のユーザがインスタント通信をインタラクティブに交換するグループ形態の通信(例えば、チャット)が提供可能である。
【0017】
通信サーバ122は、システムとのユーザの接続をホストし、ユーザ間の通信の交換を促進するシステム120のフロントエンド構成要素である。サーバ122は、一人又は複数の他のユーザに送るためにリアルタイムメッセージ及びチャットセッション通信を個々のユーザから受信するという点で、「チャット」サーバと呼ぶことができる。
【0018】
例示的に、ユーザがシステム120にオンラインであり、アプリケーションがユーザのデバイスで実行されている限り、接続又はセッションは、デバイスと通信サーバ122との間で維持し得る。ユーザがデバイスでアプリケーションを閉じると、ユーザの接続はある時間期間(例えば、5分、15分)にわたって続き得る。
【0019】
状態サーバ124は、ユーザ及び/又はユーザのデバイスの状態又はステータスを保持する。したがって、状態サーバは、該当する好み(例えば、好まれる可聴及び/又は視覚的アラート、ステータスメッセージ)、デバイスタイプ/モデル等を含め、ユーザのプロファイルの幾つか又は全てを記憶する。ユーザに関して状態サーバによって保持される幾らかのステータス情報は、システム120とのユーザの接続の持続時間にわたってのみ存続し得る。ユーザのデバイスが異なる方法又は異なるモデルで動作する、オフラインになる、オンラインになる等が起こると、状態サーバはそれらの変更を捕捉し得る。
【0020】
しかし、本発明の幾つかの実施形態では、ユーザのデバイス又はシステム接続のステータスは保持されない。しかし、これらの実施形態では、ユーザ又はユーザデバイスのステータスの変更は、デバイスによりシステムに報告し得、そのユーザとの通信(例えば、チャット)セッションに従事している他のユーザ及び/又はそのユーザとのオープン通信セッションを有さないが、そのユーザに関するステータスアップデートに加入しているユーザに中継し得る。
【0021】
これらの実施形態では、状態サーバに保持されるユーザプロファイルの一部として、そのユーザに関連付けられた他のユーザの識別子が識別され得る。これらの他のユーザには、オンラインになったとき及びオフラインになったとき等、ユーザのステータスの幾つか若しくは全ての変更(又はユーザのデバイスのステータスの変更)が通知される。後述するように、他のステータス変更は関連付けられたユーザに通信することもできる。
【0022】
メッセージサーバ126は、ターゲット又は宛先ユーザに即座に届けることができない通信を記憶する。システム120に現在オンラインであるユーザについて受信される新しいメッセージ(例えば、テキストチャットメッセージ)は、即座に(すなわち、通信サーバ122とのユーザのオープン接続を通して)届けることができる。しかし、現在オフラインである(すなわち、通信サーバ122とのオープン接続を有さない)ユーザについて受信されたメッセージは、それを届けることができるまでメッセージサーバ126に記憶し得る。
【0023】
メディアサーバ128は、メッセージサーバ126に記憶し得るメッセージの他に、宛先ユーザへの送達を待つメディアファイル又はコンテンツを記憶する。例えば、あるユーザから別のメッセージへのメッセージは、写真、ビデオ、オーディオ記録、又は何らかの他のメディアであり得、又はそれを含み得る。メディアは、それを届けることができるまで、メディアサーバ128に記憶され、送達は、宛先ユーザがオンラインであるときに自動的に行うこともでき、又は宛先ユーザがメディアを要求するときのみ(例えば、メディアコンテンツを宛先ユーザに知らせるために宛先ユーザに届けられるテキストメッセージ内のリンクをクリックすることにより)開始することもできる。
【0024】
システム120とのオンラインユーザの接続の終了点を識別する情報は、通信/チャットサーバ122、状態サーバ124、及び/又は他のエンティティ(例えば、セッションサーバ(
図1に示されず))に記憶し得る。例えば、各通信サーバは、システムとの接続がそのサーバで終了されるか、又はそのサーバによってホストされるユーザを識別するテーブル又は他のデータ構造を保持し得る。別のエンティティ(例えば、状態サーバ124、セッションサーバ)は、システムに接続されたあらゆるユーザについて、どの通信サーバが接続を保持しているかを識別するより大きなデータセットを記憶し得る。
【0025】
したがって、通信サーバは、1つ又は複数の他のユーザへの新しい通信を接続ユーザから受信すると、ローカルデータ及び/又は別のシステムエンティティに記憶されたデータ内のルックアップを実行して、他のユーザのステータス、例えば、接続されているか否か、ビジー通信中であるか否かなどを決定し、そうである場合にはどこなのか特定し得る。幾つかの実装形態では、まず、ローカルデータテーブル(例えば、ルーティングテーブル)を検索し、幾人か又は全ての宛先ユーザのステータスがローカルに見つからない場合のみ、別の構成要素にクエリを発行する。
【0026】
任意の数(例えば、1つ又は複数)の通信サーバ、状態サーバ、メッセージサーバ、メディアサーバ、及び/又は他のサーバが、システム100内で展開され得る。サーバ122、124、126、128の機能は、より少数のサーバに統合されるか、又は追加のサーバに分割されること等により、他の実施形態では別様に分散し得る。
【0027】
システム120のサーバは、ハードウェア資源(例えば、プロセッサ、ストレージ、通信インターフェース)と、それらに帰属する機能の実行に適するソフトウェア資源(例えば、プログラムコード、データ)とを備える別個の物理的なコンピュータシステムであり得る。幾つかの代替の実施形態では、任意又は全てのサーバは、ハードウェア及び/又はソフトウェア資源を共有する仮想演算マシンであり得る。したがって、異なる機能を実行する複数のソフトウェアサーバモジュールが1つのサーバコンピュータに存在し得る。
【0028】
ネットワーク150は、デバイス102、104、及びシステム120間の通信パスを備え、データチャネル及び/又は音声通信チャネルを含み得る。データ通信を搬送するために、ネットワーク150は、インターネット、1つ又は複数のイントラネット、LAN(ローカルエリアネットワーク)、WAN(広域ネットワーク)、及び/又はポイントツーポイント又は分散接続を含み得、これらは有線及び/又は無線の性質であり得る。音声通信を搬送するために、ネットワーク150は、異なる通信サービスプロバイダによって管理され、モバイル通信用グローバルシステム(GSM)(登録商標)、GSMエボリューション用エンハンスドデータレート(EDGE)、ロングタームエボリューション(LTE)、符号分割多元アクセス(CDMA)、エボリューションデータ最適化(EV−DO)等の略あらゆるワイヤレス技術を実施する有線及び/又は無線音声通信リンクを含み得る。
【0029】
したがって、ネットワーク150は、ルータ、ゲートウェイ、スイッチ、基地局(例えば、ワイヤレスアクセスポイント、ノードB、eノードB)、及び/又はデータ及び/又は音声接続の確立、維持、切り換え、又は他の方法での操作を行うための他の機器等の
図1に示されていない様々なエンティティを含み得る。
【0030】
図2は、本発明の幾つかの実施形態による、リアルタイムステータス通知を用いて音声通信を行うデバイスのユーザインターフェースを示す。これらの実施形態では、デバイス202は、
図1のシステム120によってホストされる通信アプリケーションがインストールされたスマートフォン又はポータブル演算デバイスであり得る。したがって、デバイス202のオペレータは、アプリケーションの他のユーザとリアルタイムで通信を交換することが可能である。それらの通信は、テキスト、イメージ、オーディオ記録、及び/又は他のメディアを含み得る。デバイス202は、タッチスクリーンディスプレイ、1つ又は複数のマイクロホン、及び1つ又は複数のスピーカを含み、本明細書で参照されない他の構成要素を含むこともできる。
【0031】
図2では、デバイス202のユーザ又は操作者は、通信アプリケーションを開いており、セッションスレッド210を含め、ユーザインターフェース204が提示されている。各セッションスレッド210は、一人又は複数のユーザとの別個の通信セッションに関する。幾つか又は全てのスレッドは、セッションに関わる別のユーザがスレッド210aのサムネイルイメージ212aを提供していた場合、そのユーザに関連付けられたサムネイルイメージを含み得る。スレッドは、そのユーザと交換された最後の通信の時刻又は日付(例えば、スレッド210aの時刻214a)及び最後の通信の抜粋(その通信がテキストコンテンツを含んだ場合)又は通信が十分に短い場合には全通信(例えば、スレッド210aの抜粋216a)を識別することもできる。
【0032】
セッションスレッドは、デバイス202のユーザが参加している任意のアクティブ通信セッションについて、及びユーザが構成可能であることもあれば、又はないこともある、ある経過時間期間内でユーザが参加した任意のセッションについて列挙される。ユーザは、デバイス202の表示構成要素で一度に全てを表示することができない場合、スレッドをスクロールする必要があり得る。スレッド210は、一番新しいアクティブ通信セッションに関連付けられたスレッドが一番上にあるように、最もアクティブなセッション(例えば、全体で最大数のメッセージ又は最大の平均通信レートを有するセッション)が一番上にあるように、ユーザによって選択された人々が最初に列挙されるようにソートし得るか、又は何らかの他の方法でソートし得る。
【0033】
セッションスレッド210の中の個々のセッションは、通信セッションに参加している他のユーザの名前(1対1セッションの場合)又はグループ通信セッションの場合にはグループの名前によって識別し得る。グループセッションのスレッドは、最も新しい通信を提出したメンバを識別し、グループのどのメンバが現在オンラインであり、及び/又は他の情報を提供するかを識別することもできる。
【0034】
セッションスレッド210の他に、
図2のインターフェース204は、フッタ220及びヘッダ240を含み、これらの一方又は両方は、様々な機能を実行するソフト制御を提供し得る。例示的な機能は、検索(例えば、特定のユーザ又はグループに関連付けられたスレッドの発見)、交信(例えば、交信相手の追加、交信相手との会話/通信スレッドの開始)、設定(例えば、ユーザインターフェースの外観を変更するような通信アプリケーション又はデバイスの動作パラメータの調整)、ステータス(例えば、通信相手及び/又は余暇のユーザに表示するステータスの設定)、新しいグループの作成等を含む。
【0035】
デバイス202のハード制御と、
図2に示されていないか、又は記されていない他のソフト制御とは、他の機能を有し得、デバイスのタイプ、デバイスの製造業者、デバイスのオペレーティングシステム、及び/又は他の要因に依存し得る。これらの他の機能は、ここに列挙されず、本発明に関連する特徴の説明を曖昧にしない。
【0036】
図3A〜
図3Hは、本発明の幾つかの実施形態による、リアルタイムステータス通知を用いて音声通信を行うグラフィカルユーザインターフェースの使用を示す。
図3Aでは、グラフィカルユーザインターフェース(GUI)304が、ユーザが
図2のインターフェース204からセッションスレッド210(例えば、スレッド210a)を選択したとき、デバイス302のタッチスクリーンディスプレイに表示される。ユーザインターフェース204、304は、同じインターフェースの異なる部分であり得る。
【0037】
インターフェース304は、会話領域又はエリア310を特徴とし、このエリア310は、現在の通信セッションの一部として送信された最近の通信312を表示する。特に、ユーザがこのセッション又はスレッド中、任意の通信を前に交換した場合、それらの会話(又は少なくとも最新の会話)は、会話領域310に表示又は表現される。テキストメッセージ全体(又は長いメッセージの初期部分のみ)が表示され、送信又は受信されたオーディオ記録、イメージ、ビデオ、及び/又は他の通信の表現も、続く図に示されるように、表示し得る。ユーザが前に(又はある時間期間以内に)会話していないか、又はこれが新たに作成された会話である場合、領域310は通信を欠き得る。
【0038】
図3AのGUI304はフッタ320を特徴とし、フッタ320は、図示の実施形態では、多機能制御機構322、テキスト入力ウィンドウ324、及び感情アイコンツール326を含む。感情アイコンツール326は、アクティブ化されて、選択用の感情のパレットを取得し、テキストメッセージに入力し得る。テキスト入力ウィンドウ324は、ユーザによってアクティブ化されて、テキストメッセージの入力を開始又は再開し得る。
【0039】
GUI304の多機能制御機構322は、提示され、更に後述するように、状況に応じて異なるように動作する。ユーザが
図3Aに示されるように現在の通信セッションを開くとき等のような一状況では、制御機構322は例えば選択(例えば、押下、クリック)することができるマイクロホンなどの一態様又は形態で表示される。
【0040】
この状況では、ユーザは、音声又はオーディオ記録を容易に生成し、セッションに参加している他のユーザに送信することができる。特に、制御機構322を押下してそのまま押下した状態を保つことにより、デバイス302のマイクロホンがアクティブ化され、記録を開始する。その後、制御機構を解放すると、記録は自動的に会話での他の参加者に向けて送信される。特に、記録は、アプリケーションをホストするシステム(例えば、
図1のシステム120)に送信され、続けて受信者に届けられる。別の状況では、後述するように、多機能制御機構322は、テキストメッセージを送信できるようにする。
【0041】
図3Aのインターフェース304は、1対1セッションの場合には、通信セッションに参加している他のユーザの又は他のユーザに関連付けられたサムネイルイメージ342を提供ヘッダ340及び
図2のインターフェース204に戻るリターン344も含む。
【0042】
図3Bでは、グラフィカルユーザインターフェース304は、多機能制御機構322の選択後に見え得るように、デバイス302のタッチスクリーンディスプレイ構成要素に表示される。図示の実装形態では、制御機構の選択は、(例えば、指、スタイラス、又は何らかの他の物体を用いて)押下してその状態を維持することを含む。制御機構322が選択されると、GUIのフッタ320は、ヒント334、タイマ336、及びインジケータ338を含むように変更される。
【0043】
上述したように、
図3Aに示される外観で提示された場合の多機能制御機構の選択は、デバイス302のマイクロホン及びオーディオレコーダ構成要素を自動的に引き込む。記録の開始は、制御機構322が偶発的又は過って選択される場合に備えてわずかに(例えば、1/2秒、1秒)遅れ得、通信相手306に何も送らずに記録プロセスを素早く放棄できるようにする。
【0044】
ヒント334は、制御機構322を押下している物体でフッタを水平にスライドさせることにより、記録をキャンセルすることができることをユーザに想起させる役割を果たす。タイマ336は、それまでに記録した長さをユーザに通知し、インジケータ338は、記録が進行中であることの視覚的手掛かりを提供する。インジケータ338は、カラー(例えば、赤色)であってもよく、点滅又は他の方法で動いてもよく、それにより、記録が進行中であること、デバイスのマイクロホンによって捕捉されているオーディオの相対強度等を示す。幾つかの実装形態では、多機能制御機構322は、色合いがより暗くなる(又は明るくなる)等、押下時にわずかに変更された外観をとる。
【0045】
図3Cは、デバイス302の操作者が多機能制御機構322を解放し、インターフェースが
図3Aに示されるものと同様の状態に戻った後の
図3BのGUI304を示す。通信312aが会話エリア310に追加されて、オーディオ記録を表す。加えて、操作者が多機能制御機構322を(例えば、解放することにより)選択解除すると、記録は閉じられ、オーディオ記録ファイルは、受信者に届けるために、グラフィカルユーザインターフェース304に関連付けられた通信アプリケーションをホスト/サポートする通信システムにアップロードされる。
【0046】
通信312aは、記録を再生する(且つ、交互に一時停止する)制御機構、記録の持続時間を識別する時間フィールド、記録の所望の部分に素早くアクセスするためのスライダ(この制御機構の操作中、時間フィールドは記録内の現在時間位置を示し得る)等のオーディオ記録に関連する様々な制御機構を含み得る。
【0047】
しかし、また、通信312aには、記録の作成者のサムネイル又は表現314aが付随する。1対1チャット又は
図3Cに示される等の通信セッションでは、各通信者は通常、会話領域310に現れ、自分が作成しなかった記録が、他の通信者によって作成されたに違いないことを知る。しかし、グループ通信セッションでは、送信者表現314aは、グループメンバが、関連付けられた記録を誰が発信したのかを容易に特定できるようにし得る。加えて、表現314aは、記録のステータスに基づいて(例えば、直後に説明されるステータスインジケータの変更への追加又は代替として)経時変更し得る。
【0048】
通信312aには、ステータスインジケータ316a及び送達インジケータ318aも付随する。送達インジケータ318aは、通信312aが通信セッションの他のメンバに届けられた時点を示す。例示のために、単一のチェックマーク(又は他の記号)が、通信がデバイス302から通信システムにディスパッチされたことを示す。一対のチェックマーク(又は他の記号)が、前の通信312に関して示されたように、通信が他の相手のデバイスに届けられたことを示す。
【0049】
しかし、ステータスインジケータ316aは、デバイス302の操作者が、受信者が記録を再生したか否かを素早く特定できるようにする。受信者が記録の再生を開始する場合、受信者のデバイスはシステムに通知し、システムはデバイス302に通知し、デバイス302はインジケータ316aを変更又は置換する。幾つかの実装形態ではインジケータ316aは色を(例えば、グレーから青に)変更し、他の実装形態ではサイズ又は形状を変更する(例えば、マイクロホンに代えてスピーカになる)。幾つかの他の実装形態では、消失する。更に他の実装形態では、ステータスインジケータ316aは、他又は複数の方法で変更し得、送信者表現314aは変更し、及び/又は他の変更を通信312aに対して行い、記録が受信者によって再生されたことを知らせ得る。
【0050】
グループ通信セッションでは、ステータスインジケータ316aは、グループメンバが記録を再生する任意の回数だけ(例えば、記録を再生した受信者の人数又は割合を示すために)外観を変更し得、別個のステータスインジケータが異なるメンバに使用され得、操作者は、記録を再生した(又は再生していない)グループメンバのリストを見るためのインジケータを選択し得る等である。
【0051】
ステータスインジケータ316a(及び/又は本明細書に記載される他のインジケータ及びステータス)への更新は、確実であることもあれば、ないこともある。換言すれば、通信312aに関連付けられたオーディオ記録の受信者が記録を再生するとき、デバイス302がオフラインであるか、又はオフになる場合であっても、その行動の通知は通信システムにバッファリングし、デバイス302に送達し得、それにより、デバイス302が再びオンラインになるときに、インジケータの更新が可能である。
【0052】
図3Dは、デバイス302の操作者又はユーザがテキスト入力ウィンドウ324を選択して、テキストメッセージを作成する場合の
図3AのGUI304を示す。会話領域310は収縮して、メッセージをタイプする際に使用されるキーボード350の外観に適合し、カーソルがテキスト入力ウィンドウに配置される。多機能制御機構322は、初期又は最初の外観を保持し、上述したように使用して、テキストメッセージの送信の代替又は追加として、オーディオ記録を作成し送信することができる。
【0053】
図3Eは、デバイス302の操作者がキーボード又はキーパッド350上の1つ又は複数のキーを押下するときの
図3DのGUI304を示す。テキスト入力ウィンドウ324にユーザの入力に対応するテキストを表示することに加えて、多機能制御機構322は、第2の形態又は外観に変更して、この時点で、ウィンドウ324内のテキストを含むテキストメッセージを送信するために使用することができることを示す。
【0054】
本発明の異なる実施形態では、多機能機構322は、実質上あらゆる形態又は外観(例えば、「送信」という単語の代わりに1つ又は複数の記号)を取り得、及び/又は表示される状況に応じて異なる機能を提供し得る。図示の例では、第1の状況は、デバイスの操作者によって入力されるテキストがないことを特徴とし、一方、第2の状況はそのようなテキストの存在を特徴とする。
【0055】
しかし、幾つかの実施形態では、ユーザがテキストをテキスト入力ウィンドウ324に入力した後であっても、制御機構322はなお、オーディオ記録を作成するために使用可能であり得、外観を変えてもよく、又は変えなくてもよい。これらの実施形態では、手短に制御機構322を選択する(例えば、制御機構322を押下して解放する)ことで、テキスト入力ウィンドウ内のテキストをテキストメッセージとして送信させ得、その後、ユーザインターフェースは、(新しいテキストメッセージが領域310に表示された状態で)
図3A又は
図3Dに示される状態等の状態に戻り得る。
【0056】
しかし、これらの実施形態では、制御機構322をより長く選択する(例えば、制御機構322を押下してその状態を保つ)ことで、所定の時間期間(例えば、1秒、2秒)後に記録を開始させる。制御機構の解放は、上述したように、記録を受信者に向けて転送させるとともに、テキスト入力ウィンドウ内のテキストをテキストメッセージとして送信させ得る。代替的には、記録が送信された後、インターフェースは、オーディオ記録の新しい通信が領域310に出現することを除き、オーディオ記録の生成前の状態に(例えば、
図3Eに示されるように)戻り得、それにより、ユーザはテキスト入力を完了し得る。これらの実施形態では、記録の作成中、ユーザはなお、制御機構322が選択されている間、制御機構322から水平、垂直、又は他の方向にスライドすること等により、記録をキャンセルすることが可能であり得る。
【0057】
図3Eに示される本発明の実施形態の考察に戻ると、ユーザが、ウィンドウ324内でテキストメッセージを作成した後、制御機構322をアクティブ化する場合、そのメッセージは送信され、会話領域310に表示される(又はメッセージの表現が表示される)。キーボード350は、閉じることができ、又は開いたままであり、追加のテキストの生成を可能にし得る。
【0058】
図3Fは、キーボード350上のキーを押下せずに、又は押下する前にデバイス302の操作者が多機能制御機構322をアクティブ化した場合の
図3DのGUI304を示す。
図3Dと併せて説明したように、オーディオ記録は開始されるが、ヒント334によってアドバイスされるようにキャンセルすることができる。
【0059】
図3Gは、制御機構322が選択解除され、新しいオーディオ記録が受信者に向けて転送された後の
図3FのGUI304を示す。新しい通信312bは、会話領域310に追加され、送信者表現314b、ステータスインジケータ316b及び送達インジケータ318bが付随するか、又はそれらを含み、これらのインジケータは
図3Cに関連して上述した目的と同様の目的を果たす。この場合、インジケータ318bのダブルチェックマークは、オーディオ記録が受信者のデバイスに届けられたことを示し得る。
【0060】
図3Hは、受信者が通信312a(又は通信312b)の再生を開始し、その行動のリアルタイム通知がデバイス302に送信された後の
図3C(又は
図3G)のGUI304を示す。本発明のそれらの実施形態では、ステータスインジケータ316aは、色を変更して、記録が再生されたか、又は再生中であるデバイス302の操作者に注意喚起する。色の変更(例えば、グレーから青へ)は、図の白黒性質に起因して
図3Hでは明確ではないことがあり得るが、デバイス302のカラーディスプレイでは顕著である。代替的には、ステータスインジケータ316aの何らかの他の特徴(例えば、サイズ、形状、塗りつぶし)を変更し得る。
【0061】
図4A〜
図4Dは、本発明の幾つかの実施形態による、リアルタイムステータス通知と音声通信を行うグラフィカルユーザインターフェースを示す。これらの実施形態では、デバイス402は、
図3A〜
図3Hにおいて反映された通信セッションでの他の参加者、換言すれば、デバイス302の操作者によって送信されるオーディオ記録の受信者によって操作されるスマートフォン又はポータブル通信デバイスである。デバイス402は、タッチスクリーンディスプレイ及びマイクロホンを含み、また、同じ通信アプリケーションを実行するという点で、デバイス302と同様であり得る。同じタイプ若しくはモデルのデバイスであってもよく、又はなくてもよく、又は同じオペレーティングシステムを実行してもよく、又は実行しなくてもよい。
【0062】
デバイス402のタッチスクリーンディスプレイに表示されるグラフィカルユーザインターフェース404は、多機能制御機構422、テキスト入力ウィンドウ424、及び感情アイコンツール426を含み、これらは上述したように機能し得る。しかし、インターフェース404は、
図4Aでは会話への他の相手のステータス448、ここでは「オーディオ記録中...」も含む。したがって、デバイス302のオペレータは、デバイス402に向けて送信されるオーディオを現在記録中である(又は直前まで記録中であった)。
【0063】
本発明の図示の実施形態では、通信セッションの一人のメンバがオーディオ記録を開始する(例えば、本明細書に提供される多機能制御機構を介して)場合、その他の相手にはその行動がリアルタイムで通知される。他のデバイスの操作者がオーディオを記録していることを示すステータス448に変更する前、ステータスは、その操作者が「オンライン」又は「<特定の時刻>に最後に見られた」又は「タイプ中」等であったことを示し得る。
【0064】
ステータス448は、異なるステータスが分かるまで表示されたままであり得る。例えば、他のデバイスの操作者が記録を完了する(且つ、記録がデバイス402に送信中である)場合、ステータスはそれに従って変更し得る。デバイスユーザは、他のユーザのデバイスにステータス448として表示されるメッセージ若しくは情報を選択するか、又はカスタムメッセージを作成することが可能であってもよく、又は可能でなくてもよい。
【0065】
図4Bは、通信412a、デバイス402の操作者の通信相手によって記録されていたオーディオ記録がダウンロードされている場合の
図4AのGUI404を示す。幾つかの実装形態では、記録は、デバイス402がオンラインである場合、自動的にダウンロードし得る。他の実装形態では、デバイス402の操作者は、記録が(例えば、
図4Aにおいて識別される会話領域410に表示されるリンクを介して)利用可能であることを通知され得るため、それをダウンロードするために行動(例えば、リンクを選択)しなければならない。ステータス448が、他のユーザの現在ステータスを反映するように変更されたことに留意し得る。
【0066】
通信412aは、ダウンロードの進行、記録の持続時間、ダウンロードをキャンセルする制御機構等を反映するスライダ等のダウンロードのステータスを示す記号及び/又は制御機構を含み得る。通信412aは、記録が受信デバイスで再生されたか否かを示す送信者表現314a及びステータスインジケータ416aも含む。
【0067】
幾つかの実装形態では、インジケータ316a、416a等のステータスインジケータの外観は、記録の送信者と受信者との間及び異なるデバイスプラットフォーム間で異なり得る。例えば、ステータスインジケータは、異なる色、異なる形状、アニメーション等を有し得る。しかし、ステータスインジケータは提示され、受信者が関連付けられた記録の再生を開始又は終了すると、何らかの方法で変更される。
【0068】
図4Cは、通信412aによって表されるオーディオ記録のダウンロードが完了し、(例えば、通信412a内に埋め込まれた制御機構を用いて)再生可能になった後の
図4BのGUI404を示す。ステータスインジケータ416aは、デバイス402の操作者がまだ記録を再生してないため、まだ変更されていない。
【0069】
図4Dでは、デバイス402の操作者はオーディオ記録を再生(又は少なくとも再生を開始)している。したがって、ステータスインジケータ416aは外観を変更、この場合には、色を変更することによって外観を変更している。他の実装形態では、インジケータ416aは、上述したように、より顕著な変更を受け得る。
図4Dに反映された色の(緑から青への)変更は、図の白黒性質に起因して明確ではないことがある。
【0070】
図4Eは、デバイス402のユーザが通信412aを選択した場合(例えば、押下してその状態を保つ場合)の
図4DのGUI404を示す。この行動が検出される場合、メニュー460がタッチスクリーンディスプレイに表示されて、ユーザが通信(及び関連付けられた記録)に関する何らかの行動をとることを可能にする。例えば、
図4Eに示されるように、記録を削除又は転送するオプションが提供され得る。ユーザは、自分の記録で通信412aに応答しようとする場合、上述したように、多機能制御機構422をアクティブ化し得、記録は、制御機構422に1回触れるだけで自動的に作成され、送信される。
【0071】
図5は、本発明の幾つかの実施形態による、リアルタイムステータス通知を用いて音声通信をサポートする方法を示すフローチャートである。図示の方法では、デバイス102のユーザは、他の一人、すなわちデバイス104のユーザとのチャットセッションに従事する。図示の方法は、本発明の範囲を超えずに、グループ通信セッション内の音声通信をサポートするように変更し得る。
【0072】
動作500において、デバイス102のユーザは、デバイスで通信アプリケーションを開き、デバイス104のユーザとの会話を開く(又は作成する)。デバイス102のユーザは、多機能制御機構(例えば、
図3Aの制御機構322)を押下して、音声又は他のオーディオ記録を開始する。なお、オーディオ記録に関連して幾らかのテキストをテキスト入力ウィンドウに入力することもでき、テキストは、オーディオ記録前(例えば、記録を開始する前に入力される場合)、オーディオ記録中(例えば、記録と共に送信)、又はオーディオ記録後(例えば、記録完了後に入力される場合)に届け得る。
【0073】
記録が開始されると、デバイス102で実行中の通信アプリケーションは、一時的な信号を通信システム120に発行する。この信号は、メッセージとしてデバイス104に届けられないという点で、通信セッションの一部としてアプリケーションによって送信される通常のチャットメッセージと異なる。代わりに、本明細書に記載のようにアプリケーション論理によって消費されることが意図される。
【0074】
動作502において、通信システムは、記録の開始に関するリアルタイムステータス通知を受信し、その通知をデバイス104に中継する。幾つかの実装形態では、通知は、デバイス104に中継するのに十分な長さだけ(又はその肯定応答がデバイス104から受信されるまで)システム120に保持し得、次に、廃棄し得る。他の実装形態では、ステータスは、デバイス102の新しいステータスで置換されるまで保持し得る。
図5に反映される本発明の実施形態では、デバイス102のユーザが他のユーザとのアクティブ又はオープン通信スレッド又はセッションを有する場合であっても、現在の会話(すなわち、オーディオ記録が開始された会話)に関わるユーザのみに、記録の開始が通知される。
【0075】
動作504において、デバイス104は、デバイス102でのオーディオ記録の通知を受信し、ステータスを示すように関連付けられた会話の表示を更新する。例示のために、デバイス104での会話のビューは、「オーディオ記録中」、「記録中」、又はデバイス102で行われている行動の何らかの他の表示を示すように変更し得る。
【0076】
会話がデバイス104に現在表示されていないが、通信アプリケーションが実行中である場合、ステータス通知は、示されてもよく、又は示されなくてもよい。例えば、デバイス104が現在、複数の会話のサムネイルを表示している(例えば、
図2に示されるように)場合、会話のサムネイル(又はアイコン若しくはサムネイルの他の部分)は、点滅、色変更、又は他の方法で変更された外観をとり、その会話に関連付けられたオーディオ活動を示し得る。又は、デバイス104が現在、別の会話を表示している場合、ヘッダ又はその会話の他の部分は、デバイス102のユーザを識別し、デバイス102のユーザがオーディオを記録していることを示す(例えば、プリントされた通知、トーン、アイコンを用いて)ように簡単に変更し得る。例えば、ティッカーディスプレイがヘッダをスクロールし得、その一部は、他の会話のステータスを表示するように一時的に変更し得、他のユーザのサムネイルが可聴アラートと共に表示され得る等である。しかし、デバイス104のユーザが現在、オーディオを記録中であるか、又は別の会話からのオーディオを再生中である場合、可聴アラートが鳴らなくてもよく、又はデバイス102のステータスの全てに表示がなくてもよい。
【0077】
通信アプリケーションが現在、デバイス104で実行中ではない場合、通知は廃棄され得る。アプリケーションがバックグラウンドで実行中である場合、通知は消費し得るが、デバイス104のユーザは、アプリケーションをフォアグラウンドに持ってくる場合のみアプリケーションを見ることになる。
【0078】
動作510において、デバイス102のユーザは、オーディオ(例えば、音声、音楽、サウンドエフェクト)を記録し、多機能制御機構を解放する。制御機構が解放されると、デバイス102(すなわち、通信アプリケーション)は、新しい一時的信号をシステム120に発行し、ステータスの変更を報告する。
【0079】
動作512において、通信システム120は通知を受信し、動作502の通知と同様に処理し、デバイス104に中継する。
動作514において、デバイス104は、通知を受信し、可能な場合(例えば、アプリケーションがデバイスのフォアグラウンドで動作中である場合)には表示を更新して、新しいステータスを反映する。例示のために、ユーザは、現在、デバイス102のユーザとの会話を閲覧している場合、「オンライン」、「アイドル」、「書き込み中」、又は他の何かへのステータスインジケータ(例えば、ディスプレイのヘッダにおいて)の変更を確認し得る。
【0080】
動作520において、デバイス102は、オーディオ記録を通信システム120(例えば、メディアサーバ)にアップロードする。デバイスは、記録の作成前及び/又は後にデバイス102のユーザが入力した任意のテキストを送信することもできる。記録は、アップロード前又は後に、コード変換し、圧縮し、及び/又は他の方法で処理し得る。
【0081】
動作522において、システム120は、記録を記憶し、それをデバイス104に報告又は提供し、記録に付随し得る任意のテキストを届け得る。幾つかの実装形態では、システムは、デバイス104がオンラインである場合、記録を即座に届けようとし得る。他の実装形態では、システムは、デバイス104に表示される会話に出現するメッセージを届け得、メッセージは、記録に関連付けられた任意のテキストを含み得、デバイス104のユーザが記録のダウンロードを開始できるようにする。記録がデバイス104にダウンロードされる場合、その再生を開始する制御機構が会話に挿入される。したがって、デバイス104のユーザは、1つのアイコン又は制御機構を押下することによって再生を開始することができる。
【0082】
動作530において、ユーザは、デバイス104で記録の再生を開始する。したがって、通信アプリケーションは、一時的な信号をシステム120に送信して、このステータス変更を報告する。
【0083】
動作532において、システムは、通知を受信し、デバイス102からの通知と同様に処理し、デバイス102に中継する。
動作534において、デバイス102は、通知を受信し、可能な場合(例えば、アプリケーションがデバイス102のフォアグラウンドで実行中である場合)にはユーザの会話のステータスを更新する。例えば、デバイス104のユーザを表す識別子又はサムネイルの一部(例えば、アイコン)は、色を変更し得、異なる形状に変更し得、チェックマーク又は他の記号が表示され得る等である。
【0084】
任意選択的な動作540では、デバイス104のユーザは、記録の再生中、デバイスをユーザに近づけて又は遠ざけるように移動させ、再生は異なる出力構成要素を通して進められる。例えば、デバイスがユーザから比較的離れている間、デバイスがスピーカフォン動作モードである場合にアクティブ化されるスピーカ等の第1のスピーカが使用され得る。デバイスがユーザの近くに配置される場合(例えば、ユーザがデバイスを用いて電話を掛ける等の場合)、オーディオ出力は、スピーカフォンモードではなく、ユーザが電話を掛けるときに使用されるスピーカに自動的に切り換えられ得る。
【0085】
任意選択的な動作550において、デバイス102のユーザは、オーディオ記録へのフォローアップメッセージ等のデバイス104のユーザへのテキストメッセージを作成し、オーディオ記録を作成し送信するためにアクティブ化された同じ多機能ツールを使用して送信する。したがって、本発明の幾つかの実施形態では、単一の状況依存制御機構が使用されて、通信セッション内でテキスト及び記録されたオーディオの両方を送信する。
【0086】
図6は、本発明の幾つかの実施形態による、リアルタイムステータス通知を用いてオーディオ通信を行うポータブルデバイスのブロック図である。
デバイス602は、1つ又は複数の処理ユニット又はプロセッサ602、タッチスクリーンディスプレイ604、ソフト及び/又はハード入力制御機構606(例えば、キーパッド、キーボード、マウス、トラックボール)、補助記憶装置608、ワイヤレス送受信器610(アンテナ610aに結合される)、任意選択的な追加の入力/出力ポート612、及びメモリ618を備え、これらは全てバス614を介して結合される。ワイヤレス送受信器610は、ワイヤレス通信サービスプロバイダ(例えば、ワイヤレス電話会社のネットワーク)への永続的な通信接続を有し得る。
【0087】
メモリ618は、プロセッサ602によって実行されるプログラム及び/又は他の命令を記憶する。これらのプログラムは、基本デバイスサービスを管理し、ハードウェア依存機能及びタスクを実行するオペレーティングシステム630を含む。
【0088】
メモリ618は、リアルタイム通知を用いて音声通信を交換する方法をサポートし、及び/又は実施する複数のプログラムモジュール又はプロセッサ実行可能命令セットも記憶する。特に、メモリ618は、テキスト及び/又はメディアを介してリアルタイム通信を行う通信プログラム620を含む。プログラム620は、
図1のシステム120等の通信システムのオペレータによって提供され得る。
【0089】
通信アプリケーション620の一部として、又はアプリケーションへの追加として、メモリ618は、グラフィカルユーザインターフェース622、通知論理624、通信626(オーディオ記録628を含む)等を記憶する。
【0090】
GUI622は、記録オーディオメッセージ及びテキストメッセージの一方又は両方を開始し、異なる状況で外観を変更して、機能を知らせ得る多機能制御機構を含め、様々なコンテンツをタッチスクリーンディスプレイ604に表示し管理する。GUI622は、関連付けられたオーディオ記録が再生されるときに外観を変更し、他の理由(例えば、受信者がオーディオ記録を転送するか、又は削除する)で外観を更に変更し得る通信ステータスインジケータを更に含む。更に、GUI622は、通信相手のステータス(例えば、その相手がオーディオを記録しているときを示すなど)、通信相手のサムネイル画像等をディスプレイ604の会話領域に表示する通信の表現を含む。
【0091】
通知論理624は、プロセッサ602によって実行されると、リアルタイム通知を発行及び/又は消費する。例えば、論理624は、デバイス602の操作者が他のデバイスのユーザに送信されるオーディオを記録する場合、別のデバイスに向けて通知を発行し得、記録が完了した場合、別の通知を送信し得、デバイス602の操作者が他のデバイスから受信される記録を再生する場合、別の通知を送信し得る。
【0092】
通信626は、デバイス602の操作者と操作者の通信/チャットセッションの参加者との間で交換される通信の少なくとも幾らかを含む。他の(例えば、より古い)通信は、必要になる(例えば、デバイス操作者が通信をスクロールする場合)まで補助記憶装置608に記憶し得る。
【0093】
本発明の幾つかの実施形態が実行される環境は、ハンドヘルドコンピュータ又は通信デバイス等の汎用コンピュータ又は専用デバイスを組み込み得る。特に、本明細書で参照されるデバイス(例えば、ポータブル電気通信デバイス)は、スマートフォン、ラップトップ又はタブレットコンピュータ、又は何らかの他のポータブル演算及び/又は通信デバイスであり得る。そのようなデバイス(例えば、プロセッサ、メモリ、データ記憶装置、ディスプレイ)の幾らかの詳細は、明確にするために省かれることがある。1つ又は複数のタスク又は機能が帰属するプロセッサ又はメモリ等の構成要素は、指定されたタスク若しくは機能を実行するように一時的に構成された汎用構成要素であってもよく、又はタスク若しくは機能を実行するように製造された特定の構成要素であってもよい。「プロセッサ」という用語は、本明細書で使用される場合、1つ又は複数の電子回路、デバイス、チップ、処理コア、及び/又はデータ及び/又はコンピュータプログラムコードを処理するように構成された他の構成要素を指す。ワイヤレス通信設備は、1つ又は複数のワイヤレスネットワーク(例えば、Wi−Fi(登録商標)、3Gセルラ電話)にサポートを提供し得る。
【0094】
この詳細な説明で説明されたデータ構造及びプログラムコードは通常、非一時的なコンピュータ可読記憶媒体に記憶され、この記憶媒体は、コンピュータシステムが使用するコード及び/又はデータを記憶することができる任意のデバイス又は媒体であり得る。非一時的なコンピュータ可読記憶媒体は、揮発性メモリ、不揮発性メモリ、ディスクドライブ、磁気テープ、CD(コンパクトディスク)、及びDVD(デジタル多用途ディスク又はデジタルビデオディスク)、固体状態ドライブ等の磁気及び光学記憶デバイス、及び/又は現在知られているか、又は後に開発される他の非一時的コンピュータ可読媒体を含むが、これらに限定されない。
【0095】
詳細な説明に記載される方法及びプロセスは、コード及び/又はデータとして実施することができ、これらは、上述したように、非一時的コンピュータ可読記憶媒体に記憶することができる。プロセッサ又はコンピュータシステムは、コードを読み出して実行し、媒体に記憶されたデータを操作する場合、コード及びデータ構造として実施され、媒体内に記憶される方法及びプロセスを実行する。
【0096】
本発明の実施形態の上記説明は、例示及び説明のためにのみ提示されている。これは、網羅的であること、すなわち、本発明を開示された形態に限定する意図はない。したがって、多くの変更形態及び変形形態が当業者には明らかである。本発明の範囲は、上述した開示ではなく添付の特許請求の範囲によって規定される。