特表 2023-543941 ライト効果及びライト効果の音声ディスクリプションの同期

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-10-18

(54)【発明の名称】ライト効果及びライト効果の音声ディスクリプションの同期

(51)【国際特許分類】

   H05B 47/16 20200101AFI20231011BHJP

【ＦＩ】

H05B47/16

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023521829

(86)(22)【出願日】2021-10-11

(11)【特許番号】

(45)【特許公報発行日】2023-10-10

(85)【翻訳文提出日】2023-06-09

(86)【国際出願番号】 EP2021078029

(87)【国際公開番号】W WO2022078947

(87)【国際公開日】2022-04-21

(31)【優先権主張番号】20201224.1

(32)【優先日】2020-10-12

(33)【優先権主張国・地域又は機関】EP

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＨＤＭＩ

２．ＡＮＤＲＯＩＤ

３．ＷＩＮＤＯＷＳ

４．ＵＮＩＸ

(71)【出願人】

【識別番号】516043960

【氏名又は名称】シグニファイ ホールディング ビー ヴィ

【氏名又は名称原語表記】ＳＩＧＮＩＦＹ ＨＯＬＤＩＮＧ Ｂ．Ｖ．

【住所又は居所原語表記】Ｈｉｇｈ Ｔｅｃｈ Ｃａｍｐｕｓ ４８，５６５６ ＡＥ Ｅｉｎｄｈｏｖｅｎ，Ｔｈｅ Ｎｅｔｈｅｒｌａｎｄｓ

(74)【代理人】

【識別番号】100163821

【弁理士】

【氏名又は名称】柴田 沙希子

(72)【発明者】

【氏名】ボッラ トビアス

(72)【発明者】

【氏名】メールベーク ベレント ヴィレム

(72)【発明者】

【氏名】アリアクセイエウ ディミトリ ヴィクトロヴィッチ

【テーマコード（参考）】

3K273

【Ｆターム（参考）】

3K273PA09

3K273QA14

3K273QA15

3K273QA30

3K273RA02

3K273RA05

3K273RA12

3K273SA20

3K273SA36

3K273SA60

3K273TA03

3K273TA05

3K273TA15

3K273TA28

3K273TA49

3K273TA75

(57)【要約】

ユーザ入力に基づいて遅延設定を調整するためのシステムは、オーディオセグメント（５１）の再生を制御する、及び、ライト効果（６７）をレンダリングするように光源を制御するように構成される。オーディオセグメントは、ライト効果の音声ディスクリプション（５４）を含む。オーディオセグメントは、再生時点（８３）において再生される。ライト効果は、レンダリング時点においてレンダリングされる。再生時点とレンダリング時点との差（８５）は、遅延設定の値に依存する。遅延設定により、ライト効果のレンダリング又はオーディオセグメントの再生が遅延される。システムはさらに、オーディオセグメントの再生及びライト効果のレンダリングに応答するユーザ入力を受ける、及び、ユーザ入力に基づいて遅延設定を調整するように構成される。

【特許請求の範囲】

【請求項1】

ユーザ入力に基づいて遅延設定を調整するためのシステムであって、当該システムは、
少なくとも１つの入力インターフェースと、
少なくとも１つの制御インターフェースと、
前記少なくとも１つの制御インターフェースを介して、オーディオセグメントの再生を制御し、前記オーディオセグメントは、ライト効果の音声ディスクリプションを含み、前記オーディオセグメントは、再生時点において再生される、
前記少なくとも１つの制御インターフェースを介して、前記ライト効果をレンダリングするように光源を制御し、前記ライト効果は、レンダリング時点においてレンダリングされ、前記再生時点と前記レンダリング時点との差は、前記遅延設定の値に依存し、前記遅延設定により、前記ライト効果の前記レンダリング又は前記オーディオセグメントの前記再生が遅延される、
前記少なくとも１つの入力インターフェースを介して、前記オーディオセグメントの前記再生及び前記ライト効果の前記レンダリングに応答する前記ユーザ入力を受ける、
前記ユーザ入力に基づいて前記遅延設定を調整する、
ように構成される少なくとも１つのプロセッサと、
を含む、システム。

【請求項2】

前記オーディオセグメントはさらに、前記音声ディスクリプションに関連するオーディオ信号を含み、前記オーディオ信号は、前記オーディオセグメントにおいて前記音声ディスクリプションに続く、請求項１に記載のシステム。

【請求項3】

前記オーディオ信号は、前記オーディオセグメントにおいて前記音声ディスクリプションの直後に続く、請求項２に記載のシステム。

【請求項4】

前記少なくとも１つのプロセッサは、前記再生時点の推定を決定する、及び、前記再生時点の前記推定から指定時間後に前記ライト効果をレンダリングするように前記光源を制御するように構成され、前記再生時点と前記レンダリング時点との前記差は、前記指定時間にさらに依存する、請求項１又は２記載のシステム。

【請求項5】

前記オーディオセグメントは、さらなるライト効果のさらなる音声ディスクリプションを含み、前記少なくとも１つのプロセッサは、前記少なくとも１つの制御インターフェースを介して、さらなるレンダリング時点において前記さらなるライト効果をレンダリングするように前記光源及び／又はさらなる光源を制御するように構成され、前記再生時点と前記さらなるレンダリング時点との差は、前記遅延設定の前記値に依存する、請求項１に記載のシステム。

【請求項6】

前記オーディオセグメントはさらに、前記音声ディスクリプションに関連するオーディオ信号及び前記さらなる音声ディスクリプションに関連するオーディオ信号を含み、前記音声ディスクリプションに関連するオーディオ信号及び前記さらなる音声ディスクリプションに関連するオーディオ信号は、前記オーディオセグメントにおいて前記音声ディスクリプション及び前記さらなる音声ディスクリプションに続く、請求項５に記載のシステム。

【請求項7】

前記少なくとも１つのプロセッサは、前記再生時点の推定を決定する、及び、前記再生時点の前記推定からさらなる指定時間後に前記さらなるライト効果をレンダリングするように前記光源及び／又は前記さらなる光源を制御するように構成され、前記再生時点と前記さらなるレンダリング時点との前記差は、前記さらなる指定時間にさらに依存する、請求項５に記載のシステム。

【請求項8】

前記少なくとも１つのプロセッサは、
前記少なくとも１つの制御インターフェースを介して、前記オーディオセグメントの第２の再生を制御する、及び
前記少なくとも１つの制御インターフェースを介して、２度目前記ライト効果をレンダリングするように前記光源を制御し、前記ライト効果は、前記２度目に第２のレンダリング時点においてレンダリングされ、前記再生時点と前記第２のレンダリング時点との差は、前記遅延設定の第２の値に依存する、
ように構成される、請求項１又は２に記載のシステム。

【請求項9】

前記少なくとも１つのプロセッサは、
前記ユーザ入力に基づいて前記第２の値に前記遅延設定を調整する、
前記オーディオセグメントの前記第２の再生及び前記第２のレンダリング時点における前記ライト効果の前記レンダリングに応答するさらなるユーザ入力を受ける、及び
前記さらなるユーザ入力に基づいて前記遅延設定をさらに調整する、
ように構成される、請求項８に記載のシステム。

【請求項10】

前記ユーザ入力は、複数のオプションのうちの１つの選択を示し、前記複数のオプションのうちの第１のオプションは、前記オーディオセグメントの前記再生及び前記レンダリング時点における前記ライト効果の前記レンダリングに対応し、前記複数のオプションのうちの第２のオプションは、前記オーディオセグメントの前記第２の再生及び前記第２のレンダリング時点における前記ライト効果の前記レンダリングに対応し、前記少なくとも１つのプロセッサは、前記ユーザ入力が前記第１のオプションを示す場合、前記遅延設定の前記値に基づいて、及び、前記ユーザ入力が前記第２のオプションを示す場合、前記遅延設定の前記第２の値に基づいて前記遅延設定を調整するように構成される、請求項８に記載のシステム。

【請求項11】

前記少なくとも１つのプロセッサは、前記オーディオセグメントを出力するために使用されるオーディオシステムのタイプを決定する、及び、前記オーディオシステムの前記タイプに基づいて前記遅延設定の前記値及び前記第２の値を決定するように構成される、請求項１０に記載のシステム。

【請求項12】

前記ユーザ入力は、前記遅延設定のための新しい値、又は前記遅延設定の現在の値の増加若しくは減少を示す、請求項１又は２に記載のシステム。

【請求項13】

前記音声ディスクリプションは、前記ライト効果の色、前記ライト効果の強度、前記ライト効果のフラッシュの量、前記光源のロケーション、及び／又は前記ライト効果が前記レンダリング時点においてレンダリングされる光源の量を述べる、請求項１又は２に記載のシステム。

【請求項14】

ユーザ入力に基づいて遅延設定を調整する方法であって、当該方法は、
オーディオセグメントの再生を制御することであって、前記オーディオセグメントは、ライト効果の音声ディスクリプションを含み、前記オーディオセグメントは、再生時点において再生される、ことと、
前記ライト効果をレンダリングするように光源を制御することであって、前記ライト効果は、レンダリング時点においてレンダリングされ、前記再生時点と前記レンダリング時点との差は、前記遅延設定の値に依存し、前記遅延設定により、前記ライト効果の前記レンダリング又は前記オーディオセグメントの前記再生が遅延される、ことと、
前記オーディオセグメントの前記再生及び前記ライト効果の前記レンダリングに応答する前記ユーザ入力を受けることと、
前記ユーザ入力に基づいて前記遅延設定を調整することと、
を含む、方法。

【請求項15】

コンピューティングデバイスのためのコンピュータプログラムであって、当該コンピュータプログラムが前記コンピューティングデバイスの処理ユニットで実行された場合、請求項１４に記載の方法を実行するためのコンピュータプログラムコードを含む、コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ユーザ入力に基づいて遅延設定を調整するためのシステムに関する。

【0002】

本発明はさらに、ユーザ入力に基づいて遅延設定を調整する方法に関する。

【0003】

本発明はまた、コンピュータシステムがこのような方法を実行することを可能にするコンピュータプログラムプロダクトに関する。

【背景技術】

【0004】

ＰｈｉｌｉｐｓのＨｕｅ Ｅｎｔｅｒｔａｉｎｍｅｎｔ及びＨｕｅ ＳｙｎｃがＰｈｉｌｉｐｓ Ｈｕｅライトの所有者の間で非常に好評を博している。Ｐｈｉｌｉｐｓ Ｈｕｅ Ｓｙｎｃは、コンピュータで再生されるコンテンツに基づくライト効果(light effect)のレンダリングを可能にする。当初、Ｈｕｅ Ｓｙｎｃは、ＰＣ用のアプリケーションとしてのみ利用可能であった。その後、Ｈｕｅ Ｐｌａｙ ＨＤＭＩ Ｓｙｎｃ Ｂｏｘと呼ばれるＨＤＭＩモジュールが、Ｈｕｅエンターテイメントポートフォリオに追加された。この新しいデバイスは、Ｈｕｅ Ｓｙｎｃの主な制限の１つに対処し、テレビに接続されるストリーミング及びゲームデバイスを対象とする(aim at)。エンターテイメントエリアの同じ原理及び情報を転送する同じメカニズムが利用される。このデバイスは、原理上は、任意のＨＤＭＩデバイスとテレビの間に置かれるＨＤＭＩスプリッタである。

【0005】

ダイナミック照明システム(dynamic lighting system)は、例えば、ライトに送られる色がスクリーンの周りに構成される環境において見られるものとマッチする場合、オーディオビジュアルマテリアルの体験及び印象に劇的な影響を与えることができる。しかしながら、ダイナミック照明システムは、スクリーンコンテンツを強化するために使用されることができないだけでなく、例えば、ソフトウェアアルゴリズムを使用してオーディオストリームをリアルタイムで分析し、強度及び周波数帯等、あるオーディオ特性に基づいてライト効果を作成することにより、音楽を聴く体験を強化するために使用されることもできない。

【0006】

代替的なアプローチは、音楽を前処理し、関連するメタデータを抽出する、及び、これをライト効果を指定するライトスクリプト(light script)に変換することである。ストリーミングサービスの一部は、このようなメタデータを提供している。例えば、Ｓｐｏｔｉｆｙは、さまざまなオーディオプロパティを含み、Ｓｐｏｔｉｆｙ ＡＰＩを介してアクセスされることができる、各曲のメタデータを有する。ライト効果の作成にメタデータを使用する有利な点は、オーディオストリームにアクセスする必要がなく、リアルタイムデータに依存せずに曲全体のデータの分析を可能にすることである。

【0007】

ライト効果が、コネクテッド照明器具(connected luminaire)でオーディオを強化するために使用される場合、ライト効果がオーディオと同期することが重要である。特にＢｌｕｅｔｏｏｔｈ（登録商標）スピーカ等が使用される場合、１００ｍｓより大きなレイテンシが導入されることがある。残念なことに、１００ｍｓの差は十分に目立つことができ、体験に悪影響を与える可能性がある。例えば、ライト効果は、オーディオセグメントにおける聴覚効果と同時にレンダリングされることが意図され得、オーディオセグメントの全体的なレイテンシに依存して、聴覚効果が第１のライト効果又は第２のライト効果のどちらに「属する」のかが曖昧になることがある。

【0008】

ＷＯ ２０１９／２３４０２８ Ａ１は、オーディオセグメントの遅延の変動がライト体験(light experience)に影響を及ぼす場合にライト体験を向上させるデバイス及び方法を述べている。デバイス及び方法は、遅延の変動を示す又は影響を及ぼす情報に基づいてライト効果を選択することによってこれを達成する。これにより、遅延の変動にセンシティブなライト効果をスキップすることが可能になる。オーディオセグメントの再生時点と光効果のレンダリング時点との間の遅延が十分な精度で測定されることができる場合、バッファが、ライト効果がオーディオと同期することを保証するために使用されてもよい。しかしながら、この遅延を測定すること、又はこの遅延を十分な精度で測定することは、必ずしも可能ではない。

【発明の概要】

【発明が解決しようとする課題】

【0009】

本発明の第１の目的は、遅延が測定される必要なく、オーディオ及びライト効果を同期させるために使用されることができる、システムを提供することである。

【0010】

本発明の第２の目的は、遅延が測定される必要なく、オーディオ及びライト効果を同期させるために使用されることができる、方法を提供することである。

【課題を解決するための手段】

【0011】

本発明の第１の態様において、ユーザ入力に基づいて遅延設定を調整するためのシステムは、少なくとも１つの入力インターフェースと、少なくとも１つの制御インターフェースと、前記少なくとも１つの制御インターフェースを介して、オーディオセグメントの再生を制御し、前記オーディオセグメントは、ライト効果の音声ディスクリプション(spoken description)を含み、前記オーディオセグメントは、再生時点(playback moment)において再生される、前記少なくとも１つの制御インターフェースを介して、前記ライト効果をレンダリングするように光源を制御し、前記ライト効果は、レンダリング時点(rendering moment)においてレンダリングされ、前記再生時点と前記レンダリング時点との差は、前記遅延設定の値に依存し、前記遅延設定により、前記ライト効果の前記レンダリング又は前記オーディオセグメントの前記再生が遅延される、前記少なくとも１つの入力インターフェースを介して、前記オーディオセグメントの前記再生及び前記ライト効果の前記レンダリングに応答する前記ユーザ入力を受ける、及び、前記ユーザ入力に基づいて前記遅延設定を調整するように構成される少なくとも１つのプロセッサとを含む。

【0012】

このシステムは、ユーザが、遅延が測定される必要なく（おそらくは遅延した）オーディオセグメントにライト効果を迅速且つ簡単に(straightforwardly)に同期させることを可能にする。ライト効果の音声ディスクリプションを使用することにより、間に実質的なポーズ（例えば、＞１０秒）なく複数の（異なる）ライト効果をレンダリングすることが可能になる。これにより、同期がより速く、よりユーザフレンドリになる。音声ディスクリプションが、青又は赤等、カラーワード(color-word)から成る場合、付随するライト効果も同様にカラーコード化され(color coded)、これにより、ライト効果が、オーディオセグメントと同期するために遅延されるべきか、進められるべきかが容易に分かるようになる。

【0013】

例えば、システムは、ライト効果に関連する色名又は他のサウンド（例えば、赤、青、緑、黄）を含むオーディオセグメントの再生を開始する、対応するライト効果のレンダリング（例えば、その後、赤、青、緑及び黄色のフラッシュ）を制御する、及び、ユーザがオーディオ信号と同期するようにライト効果を進める又は遅延させることを可能にしてもよい。オーディオセグメントは、例えば、遅延同期のために特に作成されてもよく、又は、色をリスティングする(list)する既存の曲であってもよい。ユーザ入力は、例えば、ディスプレイ上に表示されるユーザインタフェースを介して、又はスピーチ入力(speech input)を介して受けてもよい。調整された遅延設定は、典型的には、構成設定(configuration setting)として、例えば、現在の照明システム及びオーディオシステムの組み合わせのために記憶される。

【0014】

前記ユーザ入力は、例えば、前記遅延設定のための新しい値、又は前記遅延設定の現在の値の増加若しくは減少を示してもよい。前記音声ディスクリプションは、前記ライト効果の色、前記ライト効果の強度、前記ライト効果のフラッシュの量、前記光源のロケーション、及び／又は前記ライト効果が前記レンダリング時点においてレンダリングされる光源の量を述べてもよい。

【0015】

前記オーディオセグメントはさらに、前記音声ディスクリプションに関連するオーディオ信号を含み、前記オーディオ信号は、前記オーディオセグメントにおいて前記音声ディスクリプションに続いて(follow)もよい。これは、音声ディスクリプションがある程度長い場合に特に有益であり得る。代替的に、対応するライト効果の開始が、音声ディスクリプションの開始と同期されてもよく、対応するライト効果の終了が、音声ディスクリプションの終了と同期されてもよい。しかしながら、一部のユーザは、オーディオ信号が、オーディオセグメントのどの時点が対応するライト効果と同期すべきかを示すために使用される場合により明確であると感じる可能性がある。前記オーディオ信号は、例えば、ビープ音(beep)であってもよい。

【0016】

前記オーディオ信号は、前記オーディオセグメントにおいて前記音声ディスクリプションの直後に続いて(immediately follow)もよい。前記音声ディスクリプション及び前記オーディオ信号は、例えば、同じオーディオサンプルの一部であってもよい。この場合、システムは、オーディオサンプル（例えば「赤 ＜ビープ音＞」）の再生が開始したこと、及びオーディオの再生開始から３．２秒後にビープ音が発生し、ライト効果がレンダリングされるべきであることを知ることができる。

【0017】

前記少なくとも１つのプロセッサは、前記再生時点の推定を決定する、及び、前記再生時点の前記推定から指定時間(specified time)後に前記ライト効果をレンダリングするように前記光源を制御するように構成され、前記再生時点と前記レンダリング時点との前記差は、前記指定時間にさらに依存してもよい。代替的に、オーディオセグメントの再生は、ライトスクリプト開始時間(light script start time)に依存して開始されてもよい。

【0018】

前記オーディオセグメントは、さらなるライト効果のさらなる音声ディスクリプションを含んでもよく、前記少なくとも１つのプロセッサは、前記少なくとも１つの制御インターフェースを介して、さらなるレンダリング時点において前記さらなるライト効果をレンダリングするように前記光源及び／又はさらなる光源を制御するように構成され、前記再生時点と前記さらなるレンダリング時点との差は、前記遅延設定の前記値に依存してもよい。システムは、ライト効果の音声ディスクリプションの使用により、間に実質的なポーズなく複数の（異なる）ライト効果をレンダリングすることが可能になるので、複数のライト効果がレンダリングされ、これらのライト効果の複数の音声ディスクリプションが再生される場合、特に有益である。

【0019】

前記オーディオセグメントはさらに、前記音声ディスクリプションに関連するオーディオ信号及び前記さらなる音声ディスクリプションに関連するオーディオ信号を含み、前記音声ディスクリプションに関連するオーディオ信号及び前記さらなる音声ディスクリプションに関連するオーディオ信号は、前記オーディオセグメントにおいて前記音声ディスクリプション及び前記さらなる音声ディスクリプションに続いてもよい。例えば、オーディオセグメントは、「赤 青 ＜ビープ音＞ ＜ビープ音＞」を含んでもよい。これは、オーディオ信号をオーディオセグメントにおいて音声ディスクリプションの直後に続かせることの代替例である。

【0020】

前記少なくとも１つのプロセッサは、前記再生時点の推定を決定する、及び、前記再生時点の前記推定からさらなる指定時間後に前記さらなるライト効果をレンダリングするように前記光源及び／又は前記さらなる光源を制御するように構成され、前記再生時点と前記さらなるレンダリング時点との前記差は、前記さらなる指定時間にさらに依存してもよい。代替的に、オーディオセグメントの再生は、ライトスクリプト開始時間に依存して開始されてもよい。

【0021】

前記少なくとも１つのプロセッサは、前記少なくとも１つの制御インターフェースを介して、前記オーディオセグメントの第２の再生を制御する、及び、前記少なくとも１つの制御インターフェースを介して、２度目前記ライト効果をレンダリングするように前記光源を制御し、前記ライト効果は、前記２度目に第２のレンダリング時点においてレンダリングされ、前記再生時点と前記第２のレンダリング時点との差は、前記遅延設定の第２の値に依存する、ように構成されてもよい。

【0022】

第１の例として、前記少なくとも１つのプロセッサは、前記ユーザ入力に基づいて前記第２の値に前記遅延設定を調整する、前記オーディオセグメントの前記第２の再生及び前記第２のレンダリング時点における前記ライト効果の前記レンダリングに応答するさらなるユーザ入力を受ける、及び、前記さらなるユーザ入力に基づいて前記遅延設定をさらに調整するように構成されてもよい。オーディオセグメント及び対応するライト効果をループすることにより、ユーザが、リアルタイムで遅延を調整し、現在の遅延設定に満足する場合に方法を終了することができるようにしてもよい。

【0023】

第２の例として、前記ユーザ入力は、複数のオプションのうちの１つの選択を示し、前記複数のオプションのうちの第１のオプションは、前記オーディオセグメントの前記再生及び前記レンダリング時点における前記ライト効果の前記レンダリングに対応し、前記複数のオプションのうちの第２のオプションは、前記オーディオセグメントの前記第２の再生及び前記第２のレンダリング時点における前記ライト効果の前記レンダリングに対応してもよく、前記少なくとも１つのプロセッサは、前記ユーザ入力が前記第１のオプションを示す場合、前記遅延設定の前記値に基づいて、及び、前記ユーザ入力が前記第２のオプションを示す場合、前記遅延設定の前記第２の値に基づいて前記遅延設定を調整するように構成されてもよい。最良の遅延設定を有するオプションを選択することは、ユーザにとって、遅延設定のための新しい値を示すこと、又は遅延設定の現在の値の増加若しくは減少を示すことよりも容易であり得る。

【0024】

前記少なくとも１つのプロセッサは、前記オーディオセグメントを出力するために使用されるオーディオシステムのタイプを決定する、及び、前記オーディオシステムの前記タイプに基づいて前記遅延設定の前記値及び前記第２の値を決定するように構成されてもよい。これは、ユーザが許容可能な遅延設定を有するオプションを選択する前に、オーディオセグメントが再生される必要がある、及び、対応するライト効果がレンダリングされる必要がある回数を減らすことができる。

【0025】

本発明の第２の態様において、ユーザ入力に基づいて遅延設定を調整する方法は、オーディオセグメントの再生を制御することであって、前記オーディオセグメントは、ライト効果の音声ディスクリプションを含み、前記オーディオセグメントは、再生時点において再生される、ことと、前記ライト効果をレンダリングするように光源を制御することであって、前記ライト効果は、レンダリング時点においてレンダリングされ、前記再生時点と前記レンダリング時点との差は、前記遅延設定の値に依存し、前記遅延設定により、前記ライト効果の前記レンダリング又は前記オーディオセグメントの前記再生が遅延される、ことと、前記オーディオセグメントの前記再生及び前記ライト効果の前記レンダリングに応答する前記ユーザ入力を受けることと、前記ユーザ入力に基づいて前記遅延設定を調整することとを含む。当該方法は、プログラマブルデバイスで動作するソフトウェアによって実行されてもよい。このソフトウェアは、コンピュータプログラムプロダクトとして提供されてもよい。

【0026】

さらに、本明細書で説明される方法を実践するためのコンピュータプログラム、並びに、そのコンピュータプログラムを記憶している非一時的コンピュータ可読記憶媒体が提供される。コンピュータプログラムは、例えば、既存のデバイスによってダウンロードされるか、又は、既存のデバイスにアップロードされてもよく、あるいは、これらのシステムの製造時に記憶されてもよい。

【0027】

非一時的コンピュータ可読記憶媒体は、少なくとも１つのソフトウェアコード部分を記憶し、ソフトウェアコード部分は、コンピュータによって実行又は処理されると、ユーザ入力に基づいて遅延設定を調整するための実行可能オペレーション(executable operation)を実行するように構成される。

【0028】

実行可能オペレーションは、オーディオセグメントの再生を制御することであって、前記オーディオセグメントは、ライト効果の音声ディスクリプションを含み、前記オーディオセグメントは、再生時点において再生される、ことと、前記ライト効果をレンダリングするように光源を制御することであって、前記ライト効果は、レンダリング時点においてレンダリングされ、前記再生時点と前記レンダリング時点との差は、前記遅延設定の値に依存し、前記遅延設定により、前記ライト効果の前記レンダリング又は前記オーディオセグメントの前記再生が遅延される、ことと、前記オーディオセグメントの前記再生及び前記ライト効果の前記レンダリングに応答する前記ユーザ入力を受けることと、前記ユーザ入力に基づいて前記遅延設定を調整することとを含む。

【0029】

当業者には理解されるように、本発明の諸態様は、デバイス、方法、又はコンピュータプログラムプロダクトとして具現化されてもよい。したがって、本発明の諸態様は、完全にハードウェアの実施形態、完全にソフトウェアの実施形態（ファームウェア、常駐ソフトウェア、マイクロコード等を含む）、あるいは、ソフトウェアの態様とハードウェアの態様とを組み合わせた実施形態の形態を取ってもよく、それらは全て、本明細書では「回路」、「モジュール」、又は「システム」と総称されてもよい。本開示で説明される機能は、コンピュータのプロセッサ／マイクロプロセッサによって実行される、アルゴリズムとして実装されてもよい。さらには、本発明の諸態様は、１つ以上のコンピュータ可読媒体として具現化されている、コンピュータプログラムプロダクトの形態を取ってもよく、１つ以上のコンピュータ可読媒体は、その上に具現化されている、例えば記憶されている、コンピュータ可読プログラムコードを有する。

【0030】

１つ以上のコンピュータ可読媒体の任意の組み合わせが、利用されてもよい。コンピュータ可読媒体は、コンピュータ可読信号媒体又はコンピュータ可読記憶媒体であってもよい。コンピュータ可読記憶媒体は、例えば、限定するものではないが、電子、磁気、光学、電磁気、赤外線、又は半導体の、システム、装置、若しくはデバイス、あるいは、上述の任意の好適な組み合わせであってもよい。より具体的なコンピュータ可読記憶媒体の例としては、限定するものではないが、１つ以上のワイヤを有する電気的接続、ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ（random access memory；ＲＡＭ）、読み出し専用メモリ（read-only memory；ＲＯＭ）、消去可能プログラマブル読み出し専用メモリ（erasable programmable read-only memory；ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバ、ポータブルコンパクトディスク読み出し専用メモリ（portable compact disc read-only memory；ＣＤ－ＲＯＭ）、光学記憶デバイス、磁気記憶デバイス、又は上述の任意の好適な組み合わせを挙げることができる。本発明の文脈では、コンピュータ可読記憶媒体は、命令実行システム、装置、若しくはデバイスによって、又はそれらに関連して使用するためのプログラムを含むか、又は記憶することが可能な、任意の有形媒体であってもよい。

【0031】

コンピュータ可読信号媒体としては、例えばベースバンド内又は搬送波の一部として、その内部に具現化されているコンピュータ可読プログラムコードを有する、伝搬データ信号を挙げることができる。そのような伝搬信号は、限定するものではないが、電磁気、光学、又はこれらの任意の好適な組み合わせを含めた、様々な形態のうちのいずれを取ってもよい。コンピュータ可読信号媒体は、コンピュータ可読記憶媒体ではなく、命令実行システム、装置、若しくはデバイスによって、又はそれらに関連して使用するためのプログラムを、通信、伝搬、又は伝送することが可能な、任意のコンピュータ可読媒体であってもよい。

【0032】

コンピュータ可読媒体上に具現化されているプログラムコードは、限定するものではないが、ワイヤレス、有線、光ファイバ、ケーブル、ＲＦ等、又は上述の任意の好適な組み合わせを含めた、任意の適切な媒体を使用して送信されてもよい。本発明の諸態様に関する動作を実施するためのコンピュータプログラムコードは、Ｊａｖａ（登録商標）、Ｓｍａｌｌｔａｌｋ（登録商標）、Ｃ＋＋等のオブジェクト指向プログラミング言語、及び、「Ｃ」プログラミング言語又は同様のプログラミング言語等の従来の手続き型プログラミング言語を含めた、１つ以上のプログラミング言語の任意の組み合わせで書き込まれてもよい。このプログラムコードは、スタンドアロン型ソフトウェアパッケージとして、完全にユーザのコンピュータ上で、部分的にユーザのコンピュータ上で実行されてもよく、部分的にユーザのコンピュータ上かつ部分的にリモートコンピュータ上で、又は完全にリモートコンピュータ若しくはサーバ上で実行されてもよい。後者のシナリオでは、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ：local area network）若しくはワイドエリアネットワーク（ＷＡＮ：wide area network）を含めた任意のタイプのネットワークを通じて、ユーザのコンピュータに接続されてもよく、又は、この接続は、外部コンピュータに対して（例えば、インターネットサービスプロバイダを使用してインターネットを通じて）実施されてもよい。

【0033】

本発明の実施形態による方法、装置（システム）、及びコンピュータプログラムプロダクトの、フローチャート図及び／又はブロック図を参照して、本発明の諸態様が以下で説明される。フローチャート図及び／又はブロック図の各ブロック、並びに、フローチャート図及び／又はブロック図内のブロックの組み合わせは、コンピュータプログラム命令によって実装されることができる点が理解されるであろう。これらのコンピュータプログラム命令は、マシンを作り出すために、汎用コンピュータ、専用コンピュータ、又は他のプログラマブルデータ処理装置の、プロセッサ、特にマイクロプロセッサ又は中央処理ユニット（central processing unit；ＣＰＵ）に提供されてもよく、それにより、コンピュータ、他のプログラマブルデータ処理装置、又は他のデバイスのプロセッサを介して実行される命令が、フローチャート及び／又はブロック図のブロック内で指定されている機能／行為を実施するための手段を作り出す。

【0034】

これらのコンピュータプログラム命令はまた、コンピュータ、他のプログラマブルデータ処理装置、又は他のデバイスに、特定の方式で機能するように指示することが可能な、コンピュータ可読媒体内に記憶されてもよく、それにより、コンピュータ可読媒体内に記憶されている命令が、フローチャート及び／又はブロック図のブロック内で指定されている機能／行為を実施する命令を含む、プロダクトを作り出す。

【0035】

コンピュータプログラム命令はまた、コンピュータ実施プロセスを作り出すために、コンピュータ、他のプログラマブルデータ処理装置、又は他のデバイス上にロードされて、それらのコンピュータ、他のプログラマブルデータ処理装置、又は他のデバイス上で一連の動作ステップを実行させてもよく、それにより、コンピュータ又は他のプログラマブル装置上で実行される命令が、フローチャート及び／又はブロック図のブロック内で指定されている機能／行為を実施するためのプロセスを提供する。

【0036】

図におけるフローチャート及びブロック図は、本発明の様々な実施形態によるデバイス、方法、及びコンピュータプログラムプロダクトの可能な実装の、アーキテクチャ、機能性、及び動作を示す。この点に関して、フローチャート又はブロック図内の各ブロックは、指定されている論理関数を実施するための１つ以上の実行可能命令を含む、コードのモジュール、セグメント、又は部分を表してもよい。また、一部の代替的実装形態では、ブロック内に記されている機能は、それらの図に記されている順序と異なる順序で行われてもよい点にも留意されたい。例えば、連続して示されている２つのブロックは、実際には、実質的に同時に実行されてもよく、又は、それらのブロックは、関与している機能性に応じて、逆の順序で実行される場合があってもよい。また、ブロック図及び／又はフローチャート図の各ブロック、並びに、それらブロック図及び／又はフローチャート図内のブロックの組み合わせは、指定されている機能若しくは行為を実行する専用ハードウェアベースのシステム、又は、専用ハードウェアとコンピュータ命令との組み合わせによって実施されることができる点にも留意されたい。

【図面の簡単な説明】

【0037】

本発明のこれらの及び他の態様は、以下の図面から明らかであり、例として、それらの図面を参照してさらに解明されるであろう。図面中の対応する要素は、同じ参照番号によって示される。

【図1】システムの第１の実施形態のブロック図である。

【図2】システムの第２の実施形態のブロック図である。

【図3】方法の第１の実施形態のフロー図である。

【図4】オーディオセグメント及び対応するライト効果の第１の例を示す。

【図5】オーディオセグメント及び対応するライト効果の第２の例を示す。

【図6】オーディオセグメント及び対応するライト効果の第３の例を示す。

【図7】方法の第２の実施形態のフロー図である。

【図8】方法の第３の実施形態のフロー図である。

【図9】図８の方法のパフォーマンスを例示する。

【図10】方法の第４の実施形態のフロー図である。

【図11】図１０の方法のパフォーマンスを例示する。

【図12】本発明の方法を実行するための例示的なデータ処理システムのブロック図である。

【発明を実施するための形態】

【0038】

図１は、ユーザ入力に基づいて遅延設定を調整するためのシステムの第１の実施形態を示している。第１の実施形態において、システムは、モバイルデバイス１である。モバイルデバイス１は、ワイヤレスＬＡＮアクセスポイント１７及びブリッジ１６を介して、並びに、任意選択的に、照明デバイス３１～３３の製造者等のインターネットサーバ１３を介して、照明デバイス３１～３３を制御することができる。照明デバイス３１～３３は、例えば、Ｐｈｉｌｉｐｓ Ｈｕｅランプであってもよい。照明デバイス３１～３３は、例えばＺｉｇｂｅｅ（登録商標）技術を用いて、ブリッジ１６と通信する。ブリッジ１６は、例えば、Ｐｈｉｌｉｐｓ Ｈｕｅブリッジであってもよい。ブリッジ１６は、例えば、Ｗｉ－Ｆｉ（登録商標）又はＥｔｈｅｒｎｅｔ（登録商標）を介して、ワイヤレスＬＡＮアクセスポイント１７に接続される。

【0039】

モバイルデバイス１は、例えば、Ｓｐｏｔｉｆｙ等の音楽ストリーミングサービスの、インターネットサーバ１４を介して、オーディオセグメント、例えば、曲の再生を制御することができる。モバイルデバイス１は、音楽ストリーミングサービスの音楽ライブラリで利用可能なオーディオセグメントの再生を開始及び停止することができる、及び、現在再生されているオーディオセグメントにおける現在の再生時点を決定することができる。図１の例では、音楽は、オーディオシステム１９、例えば、スマート及び／若しくはＷｉ－Ｆｉ（登録商標）スピーカシステム又はＡ／Ｖレシーバにストリーミングされる。音楽システム１９は、ワイヤレスＬＡＮアクセスポイント１７に接続され、Ｗｉ－Ｆｉ（登録商標）を介してインターネットサーバ１４から直接音楽をストリーミングする。代替的に、音楽は、モバイルデバイス１上で動作する音楽アプリからＢｌｕｅｔｏｏｔｈ（登録商標）を介して音楽システム１９にストリーミングされてもよい。ワイヤレスＬＡＮアクセスポイント１７は、インターネット１１に接続される。インターネットサーバ１３及び１４も、インターネット１１に接続される。単一のインターネットサーバに代えて、インターネットサーバのクラスタが使用されてもよい。これらのクラスタは、１つ以上のクラウドの一部であってもよい。

【0040】

モバイルデバイス１は、トランシーバ３、トランスミッタ４、プロセッサ５、メモリ７、及びタッチスクリーンディスプレイ９を含む。プロセッサ５は、トランスミッタ４を介して、例えばインターネットサーバ１４のＡＰＩを介して、オーディオセグメントの再生を制御するように構成される。オーディオセグメントは、ライト効果の音声ディスクリプションを含み、再生時点において再生される。オーディオセグメントは、例えばサービスプロバイダの同意の上で、音楽ストリーミングサービスにアップロードされた専用のオーディオセグメントであってもよく、又は、適切なコンテンツを有する、例えば、（Ｐｅｇｇｙ Ｌｅｅの曲「Ｓｉｎｇ Ａ Ｒａｉｎｂｏｗ」等の）色の音声ディスクリプションを有する既に存在するオーディオセグメントであってもよい。

【0041】

プロセッサ５はさらに、トランスミッタ４を介して、ライト効果をレンダリングするように照明デバイス３１を制御するように構成される。ライト効果は、レンダリング時点においてレンダリングされる。再生時点とレンダリング時点との差は、遅延設定の値に依存する。遅延設定により、ライト効果のレンダリング又はオーディオセグメントの再生が遅延される。また、さらなる音声ディスクリプション及び対応するライト効果が、例えば、照明デバイス３１のみで、異なる照明デバイスで、又は複数の照明デバイスで、レンダリングされてもよい。

【0042】

プロセッサ５はさらに、タッチスクリーンディスプレイ９を介して、又はマイク（図示せず）を介して、オーディオセグメントの再生及び（複数の）ライト効果のレンダリングに応答するユーザ入力を受ける、及び、ユーザ入力に基づいて遅延設定を調整するように構成される。遅延設定は、例えば、オーディオシステム１９、ブリッジ１６、照明デバイス３１、又はモバイルデバイス１自体の遅延設定であってもよい。単一の遅延設定が調整されてもよく、又は、複数の遅延設定が調整されてもよい。

【0043】

遅延設定の調整は、オーディオ及び対応するライト効果間の同期を改善するために行われ、これは、例えば、インターネットサーバ１４から取得されるメタデータに基づいて決定されてもよい。典型的な使用例は、ユーザが家でスマートスピーカに接続し、スマートスピーカへの接続は顕著な遅延を導入する、ことである。典型的な遅延は、例えば、２～３秒であり得る。

【0044】

ユーザが遅延設定に満足する場合、遅延設定は、後で使用するために、例えば、メモリ７若しくはインターネットサーバ１３に記憶されてもよく、及び／又は、例えば、オーディオシステム１９、ブリッジ１６、若しくは照明デバイス３１に構成設定として記憶されてもよい。遅延設定が後で使用するために記憶される場合、遅延設定は、例えば、照明システム及びオーディオシステムの現在の組み合わせに関連して記憶されてもよい。

【0045】

オーディオセグメントは、ライト効果の音声ディスクリプションを含む。音声ディスクリプションは、ライト効果の色、ライト効果の強度、ライト効果のフラッシュの量、照明デバイス３１のロケーション、及び／又はライト効果がレンダリングされる光源の量（この例では１つ）を述べる。例えば、音声ディスクリプションは、「赤(red)」、「２つの緑(two green)」、「ダイニングランプ 青(dining lamp blue)」、「左のランプ(left lamp)」、又は「左で赤(red on the left)」であってもよい。発話(utterance)がある程度長い場合、フォローアップの短いビープ音(follow up short beep)が、アライメント(alignment)目的のために使用されてもよい。

【0046】

図１に示されるモバイルデバイス１の実施形態では、モバイルデバイス１は、１つのプロセッサ５を含む。代替的な実施形態では、モバイルデバイス１は、複数のプロセッサを含む。モバイルデバイス1のプロセッサ5は、例えばＡＲＭ若しくはＱｕａｌｃｏｍｍからの汎用プロセッサ、又は特定用途向けプロセッサであってもよい。モバイルデバイス１のプロセッサ５は、例えば、Ａｎｄｒｏｉｄ又はｉＯＳオペレーティングシステムを実行してもよい。ディスプレイ９は、例えば、ＬＣＤ又はＯＬＥＤディスプレイパネルを備えてもよい。プロセッサ５は、例えば、ユーザインターフェースを提供するためにタッチスクリーンディスプレイ９を使用してもよい。メモリ７は、１つ以上のメモリユニットを含んでもよい。メモリ７は、例えば、ソリッドステートメモリを含んでもよい。

【0047】

レシーバ３及びトランスミッタ４は、例えば、ワイヤレスＬＡＮアクセスポイント１７と通信するためにＷｉ－Ｆｉ（登録商標）（ＩＥＥＥ ８０２．１１）等の１つ以上のワイヤレス通信技術を使用してもよい。代替的な実施形態では、単一のレシーバ及び単一のトランスミッタの代わりに、複数のレシーバ及び／又は複数のトランスミッタが使用される。図１に示される実施形態では、別個のレシーバ及び別個のトランスミッタが使用されている。代替的な実施形態では、レシーバ３及びトランスミッタ４は、トランシーバにまとめられる。モバイルデバイス１は、バッテリ及び電源コネクタ等のモバイルデバイスに典型的な他の構成要素を含んでもよい。本発明は、１つ以上のプロセッサで動作するコンピュータプログラムを使用して実装されてもよい。

【0048】

図１の実施形態では、照明デバイス３１～３３は、ブリッジ１６を介してモバイルデバイス１によって制御される。代替的な実施形態では、照明デバイス３１～３３のうちの１つ以上は、ブリッジを使用せずに、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）を介して直接、又はワイヤレスＬＡＮアクセスポイント１７を介して、モバイルデバイス１によって制御される。任意選択的に、照明デバイス３１～３３は、クラウドを介して、例えば、インターネットサーバ１３を介して制御される。照明デバイス３１～３３は、例えば、Ｗｉ－Ｆｉ（登録商標）信号を受信及び送信することが可能であってもよい。

【0049】

図２は、ユーザ入力に基づいて遅延設定を調整するためのシステムの第２の実施形態を示している。この第２の実施形態において、システムは、コンピュータ２１である。コンピュータ２１は、インターネット１１に接続され、サーバとして機能する。コンピュータ２１は、例えば、照明会社によって運営されてもよい。図２の実施形態では、コンピュータ２１は、ワイヤレスＬＡＮアクセスポイント１７及びブリッジ１６を介して照明デバイス３１～３３を制御することができる、及び、音楽ストリーミングサービスのインターネットサーバ１４と通信することができる。

【0050】

コンピュータ２１は、レシーバ２３、トランスミッタ２４、プロセッサ２５、及び記憶手段２７を含む。プロセッサ２５は、トランスミッタ２４を介して、例えばインターネットサーバ１４のＡＰＩを介して、オーディオセグメントの再生を制御するように構成される。オーディオセグメントは、ライト効果の音声ディスクリプションを含み、再生時点において再生される。

【0051】

プロセッサ２５はさらに、トランスミッタ２４を介して、ライト効果をレンダリングするように照明デバイス３１を制御するように構成される。ライト効果は、レンダリング時点においてレンダリングされる。再生時点とレンダリング時点との差は、遅延設定の値に依存する。遅延設定により、ライト効果のレンダリング又はオーディオセグメントの再生が遅延される。

【0052】

プロセッサ２５はさらに、例えば、モバイルデバイス４１から、又はオーディオシステム１９から、オーディオセグメントの再生及びライト効果のレンダリングに応答するユーザ入力を受ける、及び、ユーザ入力に基づいて遅延設定を調整するように構成される。遅延設定は、例えば、オーディオシステム１９、ブリッジ１６、照明デバイス３１、又はコンピュータ２１自体の遅延設定であってもよい。

【0053】

図２に示されるコンピュータ２１の実施形態では、コンピュータ２１は１つのプロセッサ２５を含む。別の実施形態では、コンピュータ２１は複数のプロセッサを含む。コンピュータ２１のプロセッサ２５は、例えばＩｎｔｅｌ若しくはＡＭＤからの汎用プロセッサ、又は特定用途向けプロセッサであってもよい。コンピュータ２１のプロセッサ２５は、例えば、Ｗｉｎｄｏｗｓ又はＵｎｉｘベースのオペレーティングシステムを実行してもよい。記憶手段２７は、１つ以上のメモリユニットを含んでもよい。記憶手段２７は、例えば、１つ以上のハードディスク及び／又はソリッドステートメモリを含んでもよい。記憶手段２７は、例えば、オペレーティングシステム、アプリケーション及びアプリケーションデータを記憶するために使用されてもよい。

【0054】

レシーバ２３及びトランスミッタ２４は、例えば、ワイヤレスＬＡＮアクセスポイント１７と通信するためにＥｔｈｅｒｎｅｔ（登録商標）及び／又はＷｉ－Ｆｉ（登録商標）（ＩＥＥＥ ８０２．１１）等の１つ以上の有線及び／又はワイヤレス通信技術を使用してもよい。代替的な実施形態では、単一のレシーバ及び単一のトランスミッタの代わりに、複数のレシーバ及び／又は複数のトランスミッタが使用される。図２に示される実施形態では、別個のレシーバ及び別個のトランスミッタが使用されている。代替的な実施形態では、レシーバ２３及びトランスミッタ２４は、トランシーバにまとめられる。コンピュータ２１は、電源コネクタ等のコンピュータに典型的な他の構成要素を含んでもよい。本発明は、１つ以上のプロセッサで動作するコンピュータプログラムを使用して実装されてもよい。

【0055】

図２の実施形態では、コンピュータ２１は、ブリッジ１６を介して照明デバイス３１～３３からデータを受ける及び照明デバイス３１～３３にデータを送信する。代替的な実施形態では、コンピュータ２１は、ブリッジを使用せずに照明デバイス３１～３３のうちの１つ以上からデータを受ける及び照明デバイス３１～３３のうちの１つ以上にデータを送信する。

【0056】

ユーザ入力に基づいて遅延設定を調整する方法の第１の実施形態が図３に示されている。ステップ１０１は、オーディオセグメントの再生を制御することを含む。オーディオセグメントは、再生時点において再生される。オーディオセグメントは、ライト効果の音声ディスクリプション及びさらなるライト効果のさらなる音声ディスクリプションを含む。音声ディスクリプションは、ライト効果の色、ライト効果の強度、ライト効果のフラッシュの量、ステップ１０３及び１０４においてライト効果がレンダリングされる（複数の）光源のロケーション、並びに／又はステップ１０３及び１０４においてライト効果がレンダリングされる光源の量を述べる。

【0057】

例えば、音声ディスクリプションは、色名、好ましくは、多くの人が認識する色の名前、例えば、４原色（赤、緑、青及び黄）であって、「エジプト」のような色の名前でない色名からから成ってもよい。バーストが、例えば色盲の人のために使用されてもよく、音声ディスクリプションは、例えば光源上の対応する白色フラッシュの数を伴う、例えば「１(one)」、「２(two)」及び「３(three)」という発話を含んでもよい。音声ディスクリプションは、ライト効果が、オブジェクト、例えば、キャラクタが視覚化されることができる、マトリクスＬＥＤパネル等のピクセル化された光源でレンダリングされる場合、ライト効果を述べるオブジェクト名を含んでもよい。このような音声ディスクリプションの例は、「Ａ」、「Ｂ」、「Ｃ」又は「クロス(Cross)」、「プラス(Plus)」、及び「マイナス(Minus)」である。

【0058】

ステップ１０３は、ライト効果をレンダリングするように光源を制御することを含む。ライト効果は、レンダリング時点においてレンダリングされる。再生時点とレンダリング時点との差は、遅延設定の値に依存する。遅延設定により、ライト効果のレンダリング又はオーディオセグメントの再生が遅延される。

【0059】

ステップ１０４は、さらなるレンダリング時点においてさらなるライト効果をレンダリングするように光源及び／又はさらなる光源を制御することを含む。ライト効果は、例えば、上述した色、フラッシュ、又はオブジェクトを含んでもよい。再生時点とさらなるレンダリング時点との差は、遅延設定の値に依存する。図３の実施形態では、２つのライト効果がレンダリングされる。代替的な実施形態では、３つ以上又は２つより少ないライト効果がレンダリングされる。

【0060】

ステップ１０５は、オーディオセグメントの再生及びライト効果のレンダリングに応答するユーザ入力を受けることを含む。ユーザ入力は、例えば、遅延設定のための新しい値、又は遅延設定の現在の値の増加若しくは減少を示してもよい。ステップ１０７は、ユーザ入力に基づいて遅延設定を調整することを含む。斯くして、ステップ１０５及び１０７は、ユーザが、オーディオと同期するためにライト効果を進める若しくは遅延させる、又はライト効果と同期するためにオーディオを進める若しくは遅延させることを可能にする。

【0061】

図４は、オーディオセグメント及び対応するライト効果の第１の例を示している。オーディオセグメント５１は、音声ディスクリプション５４及びさらなる音声ディスクリプション５５を含む。ライト効果５２のシーケンスが、並行してレンダリングされる。音声ディスクリプション５４は、ライト効果５７の色、青(blue)を述べる。さらなる音声ディスクリプション５５は、ライト効果５８の色、赤(red)を述べる。ライト効果５７は、音声ディスクリプション５４の開始時に開始され、音声ディスクリプション５４の終了時に終了される。さらなるライト効果５８は、さらなる音声ディスクリプション５５の開始時に開始され、さらなる音声ディスクリプション５５の終了時に終了される。

【0062】

図５は、オーディオセグメント及び対応するライト効果の第２の例を示している。この第２の例では、オーディオセグメント５１はさらに、音声ディスクリプション５４に関連するオーディオ信号６１及びさらなる音声ディスクリプション５５に関連するオーディオ信号６２を含む。オーディオ信号６１及び６２は、例えば、短いビープ音であってもよい。オーディオ信号６１は、オーディオセグメント５１において音声ディスクリプション５４の直後に続く。オーディオ信号６２は、オーディオセグメント５１においてさらなる音声ディスクリプション５５の直後に続く。ユーザは、例えば、色名に続くビープ音にライト効果を同期させるように求められてもよい。

【0063】

オーディオ信号６１及び６２は、音声ディスクリプション５４及び５５と比較して、比較的短い。ライト効果６７及びさらなるライト効果６８も、比較的短く、図４のライト効果５７及び５８よりも短い。ライト効果６７及びさらなるライト効果６８は、それぞれ、音声ディスクリプション５４及びさらなる音声ディスクリプション５５と同時にレンダリングされることが意図され、これらの音声ディスクリプションと同じ持続時間を有する。

【0064】

図６は、オーディオセグメント及び対応するライト効果の第３の例を示している。図５の例と比較して、音声ディスクリプション５４に関連するオーディオ信号６１及びさらなる音声ディスクリプション５５に関連するオーディオ信号６２は、ここでは両方とも、オーディオセグメント５１において音声ディスクリプション５４及びさらなる音声ディスクリプション５５に続く。

【0065】

ユーザ入力に基づいて遅延設定を調整する方法の第２の実施形態が図７に示されている。ステップ１０１は、例えば音楽サービスＡＰＩを介して、オーディオセグメントの再生を制御することを含む。オーディオセグメントは、再生時点において再生される。オーディオセグメントは、ライト効果の音声ディスクリプション及びさらなるライト効果のさらなる音声ディスクリプションを含む。

【0066】

ステップ１３１は、例えば音楽サービスＡＰＩを介して受ける情報に基づいて、再生時点の推定を決定することを含む。ステップ１３３は、再生時点の推定から指定時間後に経過する第１のタイマ及び再生時点の推定からさらなる指定時間後に経過する第２のタイマを決定することを含む。第１のタイマは、第２のタイマより先に経過する。ステップ１３５は、第１のタイマが経過したかどうかを判断することを含む。そうでない場合、ステップ１３５は、第１のタイマが経過するまで繰り返される。ステップ１３５において、第１のタイマが経過したと判断される場合、ステップ１０３が実行される。

【0067】

ステップ１０３は、ライト効果をレンダリングするように光源を制御することを含む。ライト効果は、レンダリング時点においてレンダリングされる。再生時点とレンダリング時点との差は、遅延設定の値及び指定時間に依存する。遅延設定により、ライト効果のレンダリング又はオーディオセグメントの再生が遅延される。

【0068】

ステップ１３７は、第２のタイマが経過したかどうかを判断することを含む。そうでない場合、ステップ１３７は、第２のタイマが経過するまで繰り返される。ステップ１３７において、第２のタイマが経過したと判断される場合、ステップ１０４が実行される。ステップ１０４は、さらなるレンダリング時点においてさらなるライト効果をレンダリングするように光源及び／又はさらなる光源を制御することを含む。再生時点とさらなるレンダリング時点との差は、遅延設定の値及びさらなる指定時間に依存する。

【0069】

次に、ステップ１０５は、オーディオセグメントの再生及びライト効果のレンダリングに応答するユーザ入力を受けることを含む。ユーザ入力は、例えば、遅延設定のための新しい値、又は遅延設定の現在の値の増加若しくは減少を示してもよい。ステップ１０７は、ユーザ入力に基づいて遅延設定を調整することを含む。図７の実施形態では、２つのライト効果がレンダリングされる。代替的な実施形態では、３つ以上又は２つより少ないライト効果がレンダリングされる。

【0070】

ユーザ入力に基づいて遅延設定を調整する方法の第３の実施形態が図８に示されている。この第３の実施形態は、図３の第１の実施形態の拡張である。図８の実施形態では、ステップ１０５において受けるユーザ入力は、ユーザが現在の遅延設定に満足するかどうかを示す。ユーザ入力が、ユーザが現在の遅延設定に満足していないことを示す場合、ユーザ入力はさらに、遅延設定のための新しい値、又は遅延設定の現在の値の増加若しくは減少を示してもよい。

【0071】

ステップ１５９が、ステップ１０５の後に実行される。ステップ１５９は、ステップ１０５において受けるユーザ入力に基づいて、ユーザが現在の遅延設定に満足することを示したかどうかを判断することを含む。ステップ１５９において、ユーザが現在の遅延設定に満足していることを示したと判断される場合、方法は終了する。ステップ１５９において、ユーザが現在の遅延設定に満足していないことを示したと判断される場合、ステップ１０７が実行される。ステップ１０７は、ユーザ入力に基づいて遅延設定を調整することを含む。ステップ１０７において、遅延設定は、新しい値、例えば、ユーザ入力において示される新しい値、又は遅延設定の現在の値を増加若しくは減少させることによって得られる新しい値に調整される。ステップ１０１がステップ１０７の後に繰り返され、方法は図８に示されるように進行する。

【0072】

ステップ１０３の次の反復(iteration)において、次のライト効果が、次のレンダリング時点においてレンダリングされる。ステップ１０４の次の反復において、次のさらなるライト効果が、次のさらなるレンダリング時点においてレンダリングされる。再生時点と次のレンダリング時点との差及び再生時点と次のさらなるレンダリング時点との差は、遅延設定の新しい値に依存する。図８の実施形態では、２つのライト効果がレンダリングされる。代替的な実施形態では、３つ以上又は２つより少ないライト効果がレンダリングされる。

【0073】

ユーザが遅延設定に満足する場合、遅延設定は、後で使用するために記憶されてもよく、及び／又は、例えば、オーディオセグメントがレンダリングされるオーディオシステム又は（複数の）光源を含む照明システムに構成設定として記憶されてもよい。遅延設定が後で使用するために記憶される場合、遅延設定は、例えば、照明システム及びオーディオシステムの現在の組み合わせに関連して記憶されてもよい。

【0074】

図９は、図８の方法のパフォーマンスを例示している。図９の例では、図５に示されるオーディオセグメント５１並びに対応するライト効果６７及び６８がレンダリングされる。図８のステップ１０３及び１０４の第１の反復において、時点(moment)８１において、ライト効果６７及び６８が、遅延設定の第１の値を用いてレンダリングされる。再生時点８３とライト効果６７のレンダリング時点との差８５は、遅延設定の第１の値に依存する。遅延設定のこの第１の値は、オーディオ信号６１のレンダリングとライト効果６７のレンダリングとの間、及びオーディオ信号６２のレンダリングとライト効果６８のレンダリングとの間に遅延８６をもたらす。

【0075】

その後、ステップ１０５において、ユーザは、現在の遅延設定、すなわち、遅延設定の第１の値に満足していないこと、及びオーディオと比較してライトが遅れている(light is late)ことを示す。ステップ１０７において、遅延設定の第２の値が、遅延設定の現在の値を、例えば、固定値で、又はユーザが指示した値で減少させることによって得られる。その結果、遅延設定の第２の値は、第１の値よりも低くなる。

【0076】

図８のステップ１０３及び１０４の第２の反復において、時点８２において、ライト効果６７及び６８が、遅延設定の第２の値を用いてレンダリングされる。再生時点８３とライト効果６７のレンダリング時点との差８８は、遅延設定の第２の値に依存する。遅延設定のこの第２の値は、オーディオ信号６１のレンダリングとライト効果６７のレンダリングとの間、及びオーディオ信号６２のレンダリングとライト効果６８のレンダリングとの間に遅延８９をもたらす。

【0077】

ステップ１０５におけるユーザ入力に起因して、差８８は差８５よりも小さく、遅延８９は遅延８６よりも小さい。しかしながら、ステップ１０５の第２の反復において、ユーザは、現在の遅延設定、すなわち、遅延設定の第２の値に（依然として）満足していないこと、及びオーディオと比較してライトが依然として遅れていることを示す。ステップ１０７、１０１、１０３、１０４、１０５、及び１５９が、ユーザが遅延設定に満足するまで繰り返される。

【0078】

ユーザ入力に基づいて遅延設定を調整する方法の第４の実施形態が図１０に示されている。この第４の実施形態は、図７の第２の実施形態の拡張である。ステップ１７１は、オーディオセグメントを出力するために使用されるオーディオシステムのタイプを決定することを含む。ステップ１０１は、例えば音楽サービスＡＰＩを介して、オーディオセグメントの再生を制御することを含む。オーディオセグメントは、再生時点において再生される。オーディオセグメントは、ライト効果の音声ディスクリプション及びさらなるライト効果のさらなる音声ディスクリプションを含む。ステップ１３１は、例えば音楽サービスＡＰＩを介して受ける情報に基づいて、再生時点の推定を決定することを含む。

【0079】

ステップ１８１は、遅延設定の第１の値に対応する遅延を加える一方、再生時点の推定から指定時間後に経過する第１のタイマ及び再生時点の推定からさらなる指定時間後に経過する第２のタイマを決定することを含む。遅延設定の第１の値は、第１のオプションに対応し、ステップ１７１において決定されるオーディオシステムのタイプに基づいて決定される。第１のタイマは、第２のタイマより先に経過する。

【0080】

遅延は、例えば、遅延設定を一時的に調整することによって、又は別の遅延設定を一時的に調整することによって加えられてもよい。後者の例として、方法はライトブリッジ又は照明デバイスで適用される遅延設定を調整するために使用されるにもかかわらず、方法を実行する、モバイルデバイス上で動作するアプリの遅延設定が、一時的に調整されてもよい。

【0081】

ステップ１３５は、第１のタイマが経過したかどうかを判断することを含む。そうでない場合、ステップ１３５は、第１のタイマが経過するまで繰り返される。ステップ１３５において、第１のタイマが経過したと判断される場合、ステップ１０３が実行される。ステップ１０３は、ライト効果をレンダリングするように光源を制御することを含む。ライト効果は、レンダリング時点においてレンダリングされる。ステップ１３７は、第２のタイマが経過したかどうかを判断することを含む。そうでない場合、ステップ１３７は、第２のタイマが経過するまで繰り返される。ステップ１３７において、第２のタイマが経過したと判断される場合、ステップ１０４が実行される。ステップ１０４は、さらなるレンダリング時点においてさらなるライト効果をレンダリングするように光源及び／又はさらなる光源を制御することを含む。

【0082】

ステップ１０４が実行された後、ステップ１０１、１３１、１３５、１０３、１３７及び１０４が再び実行される。しかしながら、ステップ１８１の代わりに、ステップ１８３が、ステップ１３１と１３５の間で実行される。ステップ１８３は、遅延設定の第２の値に対応する遅延を加える一方、再生時点の推定から指定時間後に経過する第１のタイマ及び再生時点の推定からさらなる指定時間後に経過する第２のタイマを決定することを含む。遅延設定の第２の値は、第２のオプションに対応し、ステップ１７１において決定されるオーディオシステムのタイプに基づいて決定される。第１のタイマは、第２のタイマより先に経過する。図１０の実施形態では、２つのライト効果がレンダリングされる。代替的な実施形態では、３つ以上又は２つより少ないライト効果がレンダリングされる。

【0083】

ステップ１０５は、オーディオセグメントの再生及びライト効果のレンダリングに応答するユーザ入力を受けることを含む。図１０の実施形態において、ステップ１０５は、ステップ１８５によって実施される。ステップ１８５において、受けたユーザ入力は、２つのオプションのうちの１つの選択を示す。図１０の実施形態では、ユーザは、ステップ１８５において２つのオプションのうちの１つを選択することしかできない。代替的な実施形態では、ユーザは、ステップ１８５において３つ以上のオプションから選択することができる。

【0084】

ステップ１０７は、ユーザ入力に基づいて遅延設定を調整することを含む。図１０の実施形態において、ステップ１０７は、ステップ１８７によって実施される。ステップ１８７は、ユーザ入力が第１のオプションを示す場合、遅延設定の第１の値に基づいて、及び、ユーザ入力が第２のオプションを示す場合、遅延設定の第２の値に基づいて遅延設定を調整することを含む。

【0085】

ステップ１０７の後、ステップ１０１が繰り返されてもよく、この場合、方法は図１０に示されるように進行する。ステップ１８１及び１８３において使用される遅延設定の第１及び第２の値の少なくとも一方は、この次の反復において異なる。これらの１つ又は２つの異なる値は、ステップ１８１及び１８３の前の反復において使用される遅延設定の第１及び第２の値のうちの少なくとも１つに基づいて決定される。

【0086】

斯くして、図１０の方法を実行するシステムは、まず、（既知の遅延を有することがよくある）オーディオシステムのタイプを特定し、その後、異なる遅延を有するライト効果の２つ以上のシーケンスをユーザに提示し、知覚される遅延がない又はより短いものを選ぶようにユーザに求めてもよい。このステップは、ユーザが結果に満足する前に数回繰り返されてもよい。

【0087】

図１１は、図１０の方法のパフォーマンスを例示している。図１１の例では、図５に示されるオーディオセグメント５１並びに対応するライト効果６７及び６８がレンダリングされる。オーディオセグメント５１は、２回レンダリングされる。対応するライト効果６７及び６８も、遅延設定の値で２回レンダリングされる。遅延設定のこの第１の値は、オーディオ信号６１のレンダリングとライト効果６７のレンダリングとの間、及びオーディオ信号６２のレンダリングとライト効果６８のレンダリングとの間に遅延８６をもたらす。

【0088】

遅延設定の第２の値は、オーディオ信号６１のレンダリングとライト効果６７のレンダリングとの間、及びオーディオ信号６２のレンダリングとライト効果６８のレンダリングとの間に遅延８９をもたらす。その後、ステップ１０５において、ユーザは、２つのオプションのうちどちらを好むか、すなわち、遅延設定の第１の値を好むか、遅延設定の第２の値を好むかを示す。図１１の例では、ユーザは、オプション２を選択する(input ="option 2")。これらのステップは、例えば、ユーザが遅延設定に満足するまで、１回又は複数回繰り返されてもよい。

【0089】

図３、７、８及び１０の実施形態は、複数の態様において互いに異っている、すなわち、複数のステップが追加又は置換されている。これらの実施形態に対する変形例では、これらのステップのサブセットのみが追加又は置換される、及び／又は、１つ以上のステップが省略される。第１の例として、ステップ１７１が、図１０の実施形態から省略されてもよく、図７のステップ１３１～１３７が、図８の実施形態に追加されてもよい。

【0090】

図１２は、図３、７、８及び１０を参照して述べられたような方法を実行し得る、例示的なデータ処理システムを示すブロック図を示す。

【0091】

図１２に示されるように、データ処理システム３００は、システムバス３０６を介してメモリ要素３０４に結合される、少なくとも１つのプロセッサ３０２を含んでもよい。それゆえ、データ処理システムは、メモリ要素３０４内にプログラムコードを記憶してもよい。さらに、プロセッサ３０２は、システムバス３０６を介してメモリ要素３０４からアクセスされるプログラムコードを実行してもよい。一態様では、データ処理システムは、プログラムコードを記憶及び／又は実行するために好適なコンピュータとして実装されてもよい。しかしながら、データ処理システム３００は、本明細書内で述べられる機能を実行することが可能な、プロセッサ及びメモリを含む任意のシステムの形態で実装されてもよい点を理解されたい。データ処理システムは、例えば、インターネット／クラウドサーバであってもよい。

【0092】

メモリ要素３０４は、例えば、ローカルメモリ３０８及び１つ以上の大容量記憶デバイス３１０等の、１つ以上の物理メモリデバイスを含んでもよい。ローカルメモリとは、プログラムコードの実際の実行中に一般に使用される、ランダムアクセスメモリ又は他の非永続的メモリデバイスを指してもよい。大容量記憶デバイスは、ハードドライブ又は他の永続的データ記憶デバイスとして実装されてもよい。処理システム３００はまた、実行中に大容量記憶デバイス３１０からプログラムコードが取得されなければならない回数を低減するために、少なくとも一部のプログラムコードの一時記憶を提供する、１つ以上のキャッシュメモリ（図示せず）を含んでもよい。また、処理システム３００は、例えば、処理システム３００がクラウドコンピューティングプラットフォームの一部である場合、別の処理システムのメモリ要素を使用することができてもよい。

【0093】

入力デバイス３１２及び出力デバイス３１４として示される、入出力（Ｉ／Ｏ：input/output）デバイスが、オプションとして、データ処理システムに結合されることができる。入力デバイスの例としては、限定するものではないが、キーボード、マウス等のポインティングデバイス、（例えば、ボイス及び／又はスピーチ認識のための）マイク等を挙げることができる。出力デバイスの例としては、限定するものではないが、モニタ又はディスプレイ、スピーカ等を挙げることができる。入力デバイス及び／又は出力デバイスは、直接、又は介在Ｉ／Ｏコントローラを介して、データ処理システムに結合されてもよい。

【0094】

一実施形態では、入力デバイス及び出力デバイスは、複合型入力／出力デバイス（入力デバイス３１２及び出力デバイス３１４を取り囲む破線で図１２に示されるもの）として実装されてもよい。そのような複合型デバイスの一例は、「タッチスクリーンディスプレイ」又は単に「タッチスクリーン」と称される場合もある、タッチセンシティブディスプレイである。そのような実施形態では、デバイスへの入力は、タッチスクリーンディスプレイ上、又はタッチスクリーンディスプレイの近くでの、例えばスタイラス又はユーザの指等の、物理的実体の移動によって提供されてもよい。

【0095】

ネットワークアダプタ３１６もまた、データ処理システムに結合されて、介在する私設ネットワーク又は公衆ネットワークを介して、そのデータ処理システムが、他のシステム、コンピュータシステム、リモートネットワークデバイス、及び／又はリモート記憶デバイスに結合されることを可能にしてもよい。ネットワークアダプタは、上述のシステム、デバイス、及び／又はネットワークによってデータ処理システム３００に送信されるデータを受信するための、データレシーバと、データ処理システム３００から上述のシステム、デバイス、及び／又はネットワークにデータを送信するための、データトランスミッタとを含んでもよい。モデム、ケーブルモデム、及びＥｔｈｅｒｎｅｔ（登録商標）カードは、データ処理システム３００と共に使用されてもよい、種々のタイプのネットワークアダプタの例である。

【0096】

図１２に示されるように、メモリ要素３０４は、アプリケーション３１８を記憶してもよい。様々な実施形態では、アプリケーション３１８は、ローカルメモリ３０８、１つ以上の大容量記憶デバイス３１０内に記憶されてもよく、あるいは、それらローカルメモリ及び大容量記憶デバイスとは別個であってもよい。データ処理システム３００はさらに、アプリケーション３１８の実行を容易にすることが可能なオペレーティングシステム（図１２には示さず）を実行してもよい点を理解されたい。アプリケーション３１８は、実行可能プログラムコードの形態で実装されており、データ処理システム３００によって、例えばプロセッサ３０２によって、実行されることができる。アプリケーションの実行に応答して、データ処理システム３００は、本明細書で述べられる１つ以上の動作又は方法ステップを実行するように構成されてもよい。

【0097】

本発明の様々な実施形態は、コンピュータシステムと共に使用するためのプログラムプロダクトとして実装されてもよく、このプログラムプロダクトのプログラムは、（本明細書で説明される方法を含めた）実施形態の機能を定義する。一実施形態では、このプログラムは、様々な非一時的コンピュータ可読記憶媒体上に含まれることができ、本明細書で使用されるとき、「非一時的コンピュータ可読記憶媒体」という表現は、全てのコンピュータ可読媒体を含むが、唯一の例外は一時的な伝搬信号である。別の実施形態では、このプログラムは、様々な一時的コンピュータ可読記憶媒体上に含まれることができる。例示的なコンピュータ可読記憶媒体としては、限定するものではないが、（ｉ）情報が永続的に記憶される、書き込み不可記憶媒体（例えば、ＣＤ－ＲＯＭドライブによって読み取り可能なＣＤ－ＲＯＭディスク、ＲＯＭチップ、又は任意のタイプの不揮発性固体半導体メモリ等の、コンピュータ内部の読み出し専用メモリデバイス）、及び（ｉｉ）変更可能な情報が記憶される、書き込み可能記憶媒体（例えば、フラッシュメモリ、ディスケットドライブ若しくはハードディスクドライブ内部のフロッピーディスク、又は任意のタイプのランダムアクセス固体半導体メモリ）が挙げられる。コンピュータプログラムは、本明細書で述べられるプロセッサ３０２上で実行されてもよい。

【0098】

本明細書で使用される用語法は、特定の実施形態を説明することのみを目的とするものであり、本発明を限定することを意図するものではない。本明細書で使用されるとき、単数形「a」、「an」、及び「the」は、文脈がそうではないことを明確に示さない限り、複数形も含むことが意図される。本明細書で使用されるとき、用語「含む」及び／又は「含んでいる」は、記述された特徴、整数、ステップ、動作、要素、及び／又は構成要素の存在を指定するものであるが、１つ以上の他の特徴、整数、ステップ、動作、要素、構成要素、及び／又はそれらの群の存在若しくは追加を排除するものではない点が、さらに理解されるであろう。

【0099】

以下の請求項における全てのミーンズプラスファンクション又はステッププラスファンクションの要素の、対応する構造、材料、行為、及び均等物は、具体的に特許請求される他の特許請求要素と組み合わせて機能を実行するための、任意の構造、材料、又は行為を含むことが意図される。本発明の実施形態の説明は、例示を目的として提示されてきたが、網羅的であるか、又は開示された形態の実装形態に限定されることを意図するものではない。本発明の範囲及び趣旨から逸脱することなく、多くの修正形態及び変形形態が当業者には明らかとなるであろう。実施形態は、本発明の原理及び一部の実際的応用を最良に説明し、想到される特定の用途に適するような様々な修正を有する様々な実施形態に関して、他の当業者が本発明を理解することを可能にするために、選択及び説明されるものとした。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【国際調査報告】