特許 5971768 音声信号の符号化及び認識を使用する音声測位

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5971768

(24)【登録日】2016年7月22日

(45)【発行日】2016年8月17日

(54)【発明の名称】音声信号の符号化及び認識を使用する音声測位

(51)【国際特許分類】

   H04M 1/00 20060101AFI20160804BHJP

   H04M 11/00 20060101ALI20160804BHJP

【ＦＩ】

   H04M1/00 R

   H04M11/00 301

【請求項の数】13

【全頁数】39

(21)【出願番号】特願2013-555568(P2013-555568)

(86)(22)【出願日】2012年2月23日

(65)【公表番号】特表2014-514791(P2014-514791A)

(43)【公表日】2014年6月19日

(86)【国際出願番号】US2012026361

(87)【国際公開番号】WO2012125269

(87)【国際公開日】20120920

【審査請求日】2015年2月12日

(31)【優先権主張番号】13/033,372

(32)【優先日】2011年2月23日

(33)【優先権主張国】US

(31)【優先権主張番号】13/195,715

(32)【優先日】2011年8月1日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】310021973

【氏名又は名称】ディジマーク コーポレイション

(74)【代理人】

【識別番号】100107456

【弁理士】

【氏名又は名称】池田 成人

(74)【代理人】

【識別番号】100123995

【弁理士】

【氏名又は名称】野田 雅一

(74)【代理人】

【識別番号】100148596

【弁理士】

【氏名又は名称】山口 和弘

(72)【発明者】

【氏名】サガドゥール シヴァッパ， シャンカー

(72)【発明者】

【氏名】ロドリゲス， トニー， エフ．

【審査官】 望月 章俊

(56)【参考文献】

【文献】 特開２００９−１９８２０９（ＪＰ，Ａ）

【文献】 国際公開第２０１０／０１６５８９（ＷＯ，Ａ１）

【文献】 特開２００８−２４２８１０（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１１／００１９９９９（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｍ１／００

Ｈ０４Ｍ１１／００

(57)【特許請求の範囲】

【請求項1】

施設内での屋内ナビゲーションのためのシステムであって、
位置に対応する一意に特定可能な音声信号をそれぞれが送信する音源の構成と、
前記施設内のモバイルデバイスであって、前記モバイルデバイスは、前記施設内の前記モバイルデバイスのマイクロホンにより取り込まれた音声内の複数の異なる音源の識別情報を検出し、前記異なる音源からの音声信号のタイミング情報を決定するように構成されており、前記タイミング情報は、前記異なる音源からモバイルデバイスへの音声信号の相対的な到達時間を含む、モバイルデバイスと、
前記識別情報から前記異なる音源の位置を取得するように構成されている位置計算機であって、前記異なる音源の位置及び前記タイミング情報から前記モバイルデバイスの位置を計算する、位置計算機と、
前記施設内で前記モバイルデバイスの位置を監視し、前記モバイルデバイスの前記位置が通知に関連する位置にあるときに前記モバイルデバイスに前記通知を送信するように構成されている、１つ又は複数のコンピュータと、
を備えるシステム。

【請求項2】

前記音源が、前記施設内の場内音声再生システムのラウドスピーカーを備える、請求項１に記載のシステム。

【請求項3】

前記場内音声再生システムが、場内放送システムを備える、請求項２に記載のシステム。

【請求項4】

前記場内音声再生システムが、音声マスキングシステムを備え、前記音声マスキングシステムは、自然の音又は人工的な音を環境に追加して、聴覚マスキングにより望ましくない音を隠す、請求項２に記載のシステム。

【請求項5】

前記モバイルデバイスが、前記施設内のショッピングカートのクレードルにつながれる、請求項１に記載のシステム。

【請求項6】

前記モバイルデバイスが、無線電話を備え、前記ショッピングカートのクレードルが、無線電話のためのバッテリー充電ステーションを含む、請求項５に記載のシステム。

【請求項7】

通行監視システムをさらに備え、前記通行監視システムが、前記施設内の通行についての情報を提供し、前記情報から位置に基づく通知が生成され、前記施設内の前記モバイルデバイスに送信される、請求項１に記載のシステム。

【請求項8】

前記通行監視システムが、光ファイバーセンサーのネットワークを備える、請求項７に記載のシステム。

【請求項9】

コンピュータによって実行されるときに、
マイクロホンで取り込まれた音声信号から音源識別情報及びタイミング情報を検出するステップと、
施設内のモバイルデバイスの位置を計算するためのプロセスに前記音源識別情報及び前記タイミング情報を提供するステップであって、前記音源識別情報は、前記マイクロホンで取り込まれた前記音声信号から複数の異なる音源を識別し、前記タイミング情報は、前記異なる音源からの音声信号のタイミングを提供し、前記タイミング情報は、前記異なる音源からモバイルデバイスへの音声信号の相対的な到達時間を含む、ステップと、
前記複数の異なる音源の位置を取得するステップと、
前記複数の異なる音源の位置及び前記タイミングに基づいて前記モバイルデバイスの位置を計算するステップと、
前記モバイルデバイスの前記位置が位置に基づく通知に関連する前記施設内の所定の位置内にあるときに、前記モバイルデバイスの出力デバイスで前記位置に基づく通知を生成するステップと、を含む、
屋内ナビゲーションのための方法を実行する命令が記憶されているコンピュータ可読媒体。

【請求項10】

前記モバイルデバイスのメモリを備える、請求項９に記載のコンピュータ可読媒体。

【請求項11】

前記モバイルデバイスが、無線電話を備え、前記マイクロホンが、前記無線電話のマイクロホンである、請求項１０に記載のコンピュータ可読媒体。

【請求項12】

コンピュータによって実行されるときに、
モバイルデバイスのマイクロホンから取り込まれた音声から検出された音源識別情報及びタイミング情報を受信するステップであって、前記音源識別情報は、前記マイクロホンで取り込まれた音声信号から複数の異なる音源を識別し、前記タイミング情報は、前記異なる音源からの音声信号のタイミングを提供し、前記タイミング情報は、前記異なる音源からモバイルデバイスへの音声信号の相対的な到達時間を含む、ステップと、
前記複数の異なる音源の位置を取得するステップと、
前記音源の位置及び前記タイミング情報に基づいて施設内のモバイルデバイスの位置を計算するステップと、
前記モバイルデバイスの前記位置が位置に基づく通知に関連する前記施設内の所定の位置内にあるときに、前記モバイルデバイスで出力するための前記位置に基づく通知を生成するステップと、を含む、
屋内ナビゲーションのための方法を実行する命令が記憶されているコンピュータ可読媒体。

【請求項13】

前記モバイルデバイスと通信するサーバコンピュータのメモリを備える、請求項１２に記載のコンピュータ可読媒体。

【発明の詳細な説明】

【関連出願】

【0001】

[0001]本出願は、米国で２０１１年２月２３日に出願した米国特許出願第１３／０３３，３７２号の一部継続出願であり、この米国特許出願は、その全体が参照により援用される。

【技術分野】

【0002】

[0002]本発明は、測位システムと、ナビゲーション及び位置に基づくサービスのための測位の使用とに関する。

【背景技術】

【0003】

[0003]音源の測位は、１つ又は複数の固定センサー（マイクロホン）を使用して、移動音源の位置を測る。通常、対象となる音源は、人の声か、又は何らかのその他の自然音源である。

【0004】

[0004]この状況を逆に考えれば、これらの音源から受信された音を分析することによって、既知の位置から送信された音声信号を移動するセンサー（例えば、マイクロホンを備えたモバイルデバイス）の位置を決定するために使用することができる。任意の時点で、音源とセンサーとの相対的な位置／向きが、音源についての既知の情報と、センサー又はセンサーアレイで取り込まれた信号から導出された情報との組合せを用いて計算され得る。

【0005】

[0005]従来の全地球測位システム（ＧＰＳ）技術は、さまざまなコンシューマデバイスで広く採用されているが、そのような技術は、一部の適用においては、常に有効又は実用的であるとは限らない。音声信号に基づく測位は、音源（例えば、ラウドスピーカー）及びセンサー（例えば、モバイルデバイスのマイクロホン）がどこでも利用でき、比較的安価であるので、特に従来のＧＰＳが効果的でないか又は費用効果が高くない適用領域において従来のＧＰＳの代替となり得る。この技術の適用には、屋内ナビゲーション、店舗内ブラウジング（ｉｎ−ｓｔｏｒｅ ｂｒｏｗｓｉｎｇ）、ゲーム、及び拡張現実が含まれる。

【0006】

[0006]音声に基づく測位は、音響システムが背景音及び場内放送アナウンスのためによく使用されており、したがって、測位ネットワークを実装し得る低コストのインフラストラクチャを提供するので、屋内ナビゲーションへの適用が期待できる。また、音声に基づく測位は、屋内では信頼できない従来の衛星に基づくＧＰＳの代わりとなる。モバイルハンドセットで利用できる屋内ナビゲーションは、ユーザが店舗又はその他の施設（ｖｅｎｕｅ）で品物の場所を見つけることを可能にする。さらに、音声に基づく測位は、ハンドセット上に表示された指示及びインタラクティブな地図によって、モバイルハンドセットによりユーザに対するナビゲーション案内ができるようにする。

【0007】

[0007]また、音声に基づく測位は、モバイルハンドセット上でユーザの位置に基づく店舗内ブラウジングを行うことを可能にする。これは、特定の場所の製品について知ることができる、という消費者にとっての利益と、消費者により良いサービスを提供し、売り上げを最大化する製品提供をより効果的に編成するためのマーケット情報を収集することができる、という店舗所有者にとっての利益とをもたらす。

【0008】

[0008]音声に基づく測位は、位置に基づくゲームの特徴を利用可能にする。やはり、マイクロホンが携帯電話に通常備わっており、これらのデバイスがゲームのプラットフォームとしてますます利用されるようになってきているので、音声に基づく測位をゲームアプリケーションと組み合わせることによって、その他の位置サービスが信頼できない場所でゲームのための位置に基づく特徴を使えるようにする費用効果の高い方法を提供する。

【0009】

[0009]拡張現実アプリケーションは、モバイルデバイスのセンサーを使用してデバイスの位置及び向きを決定する。この情報を用いて、次いで、デバイスは、周辺領域のユーザの眺めを、デバイスの位置、向き、及びあり得るその他の感知されたコンテキスト（ｃｏｎｔｅｘｔ）情報から構築された、近隣の領域の空間座標系を使用して構築される合成して作られたグラフィックスによって「拡張する」ことができる。例えば、コンピュータによって生成されたグラフィックスが、（例えば、デバイスのカメラによって、又は地図データベース及びデバイスの位置／向きから構築されたインタラクティブな２Ｄ若しくは３Ｄ地図によって取り込まれた映像に基づく）周辺領域の画像に重ね合わされる。

【発明の概要】

【発明が解決しようとする課題】

【0010】

[00010]音声測位システムは従来の衛星に基づくＧＰＳの代替となることが期待されるが、実用的な実装の開発には多くの課題が残っている。実行可能な低コストの代替となるためには、音声測位技術は、位置に基づくサービスが望まれる環境で既に使用中の典型的なコンシューマ音響機器と容易に統合されるべきである。この制約により、複雑な構成要素の統合を必要とするシステムはあまり魅力的でなくなる。

【0011】

[00011]別の課題は、モバイルデバイスで取り込まれた音声信号から位置を導出することを難しくする信号干渉及び信号劣化である。信号干渉は、近くの壁及びその他の物体からのエコー／反射などのさまざまな原因によって起こり得る。測位のためのデータ信号は、その他の音源、周辺雑音、並びに信号生成、再生、及び取り込み機器で混入した雑音からの干渉に遭う可能性もある。

【0012】

[00012]測位システムは、音源から取り込まれた信号を分析することによって得られるデータの精度及び信頼性に依存する。決まった位置の音源に関して、各音源の位置は、信号源の識別と音源の位置とをインデックス付けしたテーブルに記憶された既知のパラメータとして扱われ得る。言うまでもなく、この手法は、音源の正確な識別を必要とする。到達時間又は伝搬時間（ｔｉｍｅ ｏｆ ｆｌｉｇｈｔ）に基づいて位置を計算する測位システムは、マスタークロックに対する同期又は較正を必要とする。信号検出は、リアルタイムの計算に十分なだけ速く、しかも、所望の誤差制限内の位置をもたらすのに十分なだけ正確でなければならない。

【0013】

[00013]音源からの距離の測定値として信号強度を使用する測位システムは、適用の許容誤差内で信号強度を決定し、信号強度から距離を導出する信頼できる方式を必要とする。

【0014】

[00014]これらの設計の課題は、所望の許容誤差を満たすように専用機器を作ることによって克服され得る。しかしながら、そのような専用機器は、広範囲に配置した場合に常に実用性又は費用対効果が高いとは限らない。既存の音声再生機器及び携帯電話の受信機のための測位システムを設計するとき、信号生成及び取り込みプロセスは、統合が容易であるように設計され、これらの環境で混入する誤差を克服する必要がある。これらの制約は、測位信号を導入するために使用される機器の複雑さを制限する。典型的な構成は、屋内ショッピング施設及びその他の公共施設などの、位置に基づくサービスが付加価値をもたらし、その他の形態のＧＰＳがうまく機能しない空間内で通常の音響構成要素によって駆動される通常のラウドスピーカーを備える。

【0015】

[00015]通常のモバイルデバイスの音声再生及びマイクロホンによる取り込みは、音源信号の性質を制限する。特に、音源信号は、そのようなマイクロホンによって取り込まれる周辺信号から検出可能でなければならない。実際問題として、これらのデバイスのマイクロホンの周波数応答は、人の可聴周波数範囲、及び特に人の発話に合わせて調整されているので、これらの音源信号は、信頼性高く取り込まれる、この人の可聴周波数範囲内になければならない。これは、音源の音声信号が近くで聞いている人にとって許容できるものでなければならないという別の制約を生じる。したがって、音声信号源の設計にはある程度の柔軟性があるが、音声信号源は、聞く人によって許容できるものでなければならず、背景音楽、買い物をしている人への情報メッセージ、及びその他の場内放送機能を提供することなどの音声再生機器のその他の目的を妨げてはならない。

【0016】

[00016]電子透かしは、通常の場内放送システムで再生される音声プログラム内にデータチャネルを組み込むことを可能にするので、測位システムのための音源信号を伝達するための実行可能な選択肢を与える。電子透かしは、音楽エンターテインメント及び会話などの音声プログラムを提供するというシステムの一義的な機能に関連する音声品質を知覚可能なほど劣化させることなくシステムの通常の音声コンテンツ内にデータを埋め込む。加えて、ロバストな符号化技術を使用する音声電子透かし方式は、部屋のエコー及び雑音源が存在しても、周辺音声から正確に検出され得る。

【0017】

[00017]ロバスト性は、技術の組合せを用いて実現される。これらの技術は、データが信号劣化に耐え抜くように、（聞いている人の視点から見て所望の品質レベル未満の）データ信号で音声のロバストな特徴を変調することを含む。データ信号は、ホストコンテンツにデータ信号を適合させるために人の聴覚系を考慮に入れることによって、音声品質を劣化させずによりロバストに符号化される。スペクトル拡散符号化のようなロバストなデータ信号の符号化技術及び誤り訂正が、データの信頼性を高める。ホスト信号及びデータ搬送波の知識によって検出器を最適化することによって、劣化した音声信号からでも弱いデータ信号の検出が可能になる。

【0018】

[00018]ロバストな透かしのこれらの利点を用いて、音声透かしのロバストな検出が、セル電話又はタブレットＰＣなどのモバイルデバイスのマイクロホンによって取り込まれた周辺音声から実現され得る。この適用のために音声透かしを設計するための有用な構造として、信号通信プロトコル内の２つのレベル、すなわち、信号特徴の変調レベル及びデータ信号の符号化レベルでロバスト性を高める透かし方式を考案し得る。信号特徴の変調レベルは、副次的データ信号を伝達するように修正されるホスト音声信号特徴を規定するレベルである。データ信号の符号化レベルは、データシンボルがデータ信号にどのようにして符号化されるかを規定する。したがって、透かしプロセスは、通信プロトコルで信号を生成する２つの層、すなわち、メッセージシンボルの可変シーケンスを伝達するためのデータ信号の形成と、データ信号をホスト音声信号に挿入する特徴の変調とを有すると考えられる。これらのプロトコルレベルは、必ずしも独立していない。一部の方式は、ホスト信号特徴の分析を利用して、メッセージシンボルのシーケンス内の符号化されるべき所望のデータシンボルに対応する特徴の変調を決定する。別の考慮すべきことは、同期及び較正信号の使用である。データ信号の一部は、初期検出及び同期のタスクに割り当てられる。

【0019】

[00019]モバイルデバイスの測位アプリケーションのための透かし方式の特徴の変調レベルを設計するときに、周辺からの取り込みの際に予測される劣化に対してロバストである特徴の変調を選択するべきである。これらの環境でホスト音声プログラムにデータを隠すために副次的なデータ信号で変調されるロバストな音声の特徴は、（例えば、変調の可聴性をマスクする音声マスキングモデルを使用して適合される周波数トーンを変調する方式では）周波数位置のエネルギーなどの、検出窓にわたって蓄積され得る特徴を含む。エコーの挿入も、自己相関のような、ある期間にわたって蓄積され得るロバストな特徴を変調するために使用され得る。この蓄積は、微弱な信号からのエネルギーが、より信頼性高く復号され得るデータからの複合信号を生じるように構造的に追加されることを可能にする。

【0020】

[00020]測位アプリケーションのためのデータ信号の符号化レベルを設計するときに、周辺からの取り込みに関連して混入した信号の誤りを克服するために使用され得る技術を考慮すべきである。スペクトル拡散データ信号符号化（例えば、直接シーケンス及びチャネルホッピング）並びに軟判定誤り訂正が、これらの変調技術を使用する音声透かしのロバスト性及び信頼性を高める。直接シーケンススペクトル拡散符号化は、搬送波をメッセージシンボルで変調する（例えば、２値の１又は０シンボルを表す１又は−１による２値の正反対の搬送波を乗ずる）ことによって搬送波信号（典型的には疑似乱数搬送波）でメッセージシンボルを拡散する。代替的に、シンボルのアルファベットが、１組の決まった直交する搬送波を用いて構築される可能性がある。データ信号の符号化レベル内で、メッセージの一部の繰り返し符号化、並びに畳み込み符号化及びブロック符号などの誤り訂正符号化などの追加的な下位レベルの信号の符号化が適用される可能性がある。特徴の変調に直接関連するデータ信号の符号化の１つの態様は、特徴空間内における特徴の変調の候補位置を表す特徴へのデータ信号のマッピングである。言うまでもなく、特徴自体が、音声クリップの時間セグメントなどのサンプルグループから計算される量である場合、特徴の変調位置は、そのサンプルのグループ及びそのグループの特徴に対応する。

【0021】

[00021]１つの手法は、メッセージを１組の符号化されたシンボルを含む符号化されたデータ信号パケットにフォーマットし、次に、パケットを特徴の変調位置の対応するグループに多重化することである。多重化方式は、時間の経過とともにマッピングを変更するか、又は同じパケットのそれぞれの繰り返しで同じマッピングを繰り返す可能性がある。

【0022】

[00022]データ符号化方式の設計者は、データの符号化とマッピング方式との間に相互作用があることを認識するであろう。例えば、直接シーケンススペクトル拡散法で変調される搬送波の要素（例えば、チップ）が、固定パターン又は不定の乱雑さ（ｖａｒｉａｂｌｅ ｓｃａｔｔｅｒｉｎｇ）で特徴にマッピングされる。同様に、ホッピングを実装する１つの方法は、離散的な時間又は周波数によって規定され得る、特徴空間上の特徴の変調位置への符号化されたデータシンボルのマッピングを散らすか又は変えることである。

【0023】

[00023]ロバストな透かし読み取り装置は、これらのロバスト性の強化を利用して、モバイルデバイスのマイクロホンによる周辺音声の取り込みから信頼性高くデータを復元する。ロバストな特徴の変調は、信号劣化に与える信号干渉の影響を最小化する。読み取り装置は、最初に、取り込まれた音声信号をフィルタリングして、変調された特徴を分離する。読み取り装置は、既知の特徴の変調位置のロバストな特徴に対してなされた修正の推定値を蓄積する。特に、読み取り装置は、初期検出及び同期を実行して、埋め込みデータ信号の同期構成要素を特定する。概して、この構成要素は、埋込み信号対雑音比が蓄積によって大きくなるように検出窓にわたって冗長に符号化される。推定値は、予測される透かしデータとの対応（例えば、相関メトリック、又は予測されるシンボルに一致する検出されたシンボルの数）に基づいて重み付けされる。マッピング関数の逆を使用して、同期及び可変のメッセージペイロードを表す符号化されたデータ信号の推定値が判別され、さまざまな埋め込み位置から同じ符号化されたメッセージシンボルに対応する符号化されたデータのインスタンスが集約される。例えば、拡散シーケンスが使用される場合、チップの推定値が、搬送波を用いた復調を通じて集約される。周期的に、符号化されたデータの蓄積された推定値を記憶するバッファが、誤り訂正復号のために、符号化されたデータシーケンスを提供する。有効なメッセージペイロードのシーケンスが誤り検出を使用して検出される場合、メッセージペイロードは正常な検出として出力される。

【0024】

[00024]これらの及びその他のロバストな透かし手法は、周辺からの取り込みの適用でロバスト性及び信頼性を高めるが、測位情報を計算するために必要な制約が課題をもたらす。好ましくは、測位システムは、ユーザが移動するときにユーザに対して関連する位置及び／又はデバイスの向きのフィードバックを与えるために測位情報を速やかで正確に計算することができるべきである。したがって、より長い検出窓を求める傾向があるロバスト性と、より短い検出窓を求める傾向があるリアルタイム応答との間のトレードオフが存在する。加えて、相対的な到達時間に基づく一部の位置に基づく技術は、音源信号の送信の正確な同期と、異なる音源からの信号到達の差を決定する能力とに依存する。

【0025】

[00025]信号強度メトリックに依存する代替的な手法も、透かし技術を利用することができる。例えば、透かし信号の強度が、音源からの距離の指標になり得る。モバイルデバイスにおける周辺からの取り込みの後のこれらの信号強度の測定値がモバイルデバイスの音源からの距離に変換され得るように透かし信号を設計するいくつかの潜在的な方法がある。この場合、異なる音源からの透かしが、それぞれの音源からの透かし信号が分析され得るように判別される必要がある。

【0026】

[00026]上述のアプローチは、異なる音源を判別する能力を利用する。これを実現するための１つの提案されている構成は、一意の透かし信号を各音源に挿入することである。この一意の信号は、データベースで音源及び音源の位置に割り振られる。一意の信号を識別することによって、測位システムは、データベース内でその信号を見つけることによりその信号の音源位置を決定することができる。この手法は、各音源から信号を一意にするための追加の回路又は信号処理を必要とすることによって実装コストを潜在的に増加させる。建物中に分散されたいくつかのスピーカーを備える音響システムに関しては、各信号を一意にし、さらに信頼性高く識別できるようにするコストは、多くの適用にとって非常に高くなる可能性がある。したがって、モバイルデバイスが音源のネットワーク内のどこにあるかを決定する目的で音源又は近隣の音源グループを一意にする低コストの手段に対するニーズが存在する。

【0027】

[00027]電子透かしが、すべてがほぼ同じように聞こえる音声ストリームを判別するために使用され得る。しかし、一部の電子透かしのシグナリングは、ホスト音声がそのホスト音声に埋め込まれた電子透かし信号の干渉源であるという欠点を有する可能性がある。電子透かしの一部の形態は、検出器がホストを干渉雑音として扱わない、情報に基づく埋め込み（ｉｎｆｏｒｍｅｄ ｅｍｂｅｄｄｉｎｇ）を使用する。これらの手法は、特に信号のロバスト性の領域のその他の課題を生じる。これは、信号の設計者を、音声再生システムによって再生されている音声を通じて音源の識別を伝達するためのロバストな技術である代替的なシグナリング技術に向かわせる可能性がある。

【0028】

[00028]１つの代替は、一意の音源の位置が一意の音声プログラムの素材に関連付けられるパターン認識又はコンテンツフィンガープリントの形態を使用することである。このプログラムの素材は、音楽又はその他の目立たない背景音である可能性がある。音源を判別するために、異なる音源によって再生される音声が、受信された信号から一意の特徴を抽出し、それらの特徴を音源の位置（又は同一の音声を送信する１組の近隣の音源によって形成される近辺の領域）とともに記憶された予め登録されたパターンのデータベースとマッチングすることによって検出され得る区別の付く特徴を有するように選択又は変更される。１つの手法は、一意の周波数又は位相の特徴を有するマスター音声から変種を作成することによって同じ背景音の一意の変種を生成することである。これらの一意の特徴は、抽出され、その特徴を既知の音源信号の有限のライブラリの一意の特徴とマッチングすることによって検出される。

【0029】

[00029]電子透かしを挿入する手法又は同じように聞こえる音声の一意の変種を生成する手法は、タスクが、音源が同じように鳴るが、検出器がそれらの音源を判別し、一意の信号のペイロード又はコンテンツの特徴のパターンに関連する位置パラメータを探し出すことができるシグナリング手段を設計することであるという点でいくつかの基本的な原理を共有している。混合の手法も選択肢である。１つの手法は、透かしのようなデジタルペイロードを伝達するが、それ自体が音声に基づく測位システムが実装される建物又は施設の周辺環境に流される背景音である合成信号を設計することである。例えば、透かしシステムのデータ符号化層が、データ信号を生成するために使用される可能性があり、データ信号は、次いで、水の特徴、海の波、又は不快感を与えない背景雑音の音などの心地よい背景音へと整形又は適合される。別の言い方をすれば、データ信号自体が、聞く人にとって何らかの心地よい特質を有するか、又はさらには音楽であるかのように装う形態へと選択又は変更される。一意のデータ信号は、同じように聞こえるが、音源を区別するトーン又はメロディの異なる集合として構築された音声（例えば、ＭＩＤＩ表現）から生成され得る。

【0030】

[00030]「不快感を与えない」背景音を生成するためのシステムの１つの特定の例は、音声マスキングシステムである。この種のシステムは、自然の音又は人工的な音を環境に追加して、聴覚マスキングを使用して望ましくない音を隠す。白色雑音生成器は、その他の音をマスクするために白色雑音型の音声信号を使用する音声マスキングシステムの形態である。これらの種類のシステムの１つの供給業者は、マサチューセッツ州ケンブリッジのＣａｍｂｒｉｄｇｅ Ｓｏｕｎｄ Ｍａｎａｇｅｍｅｎｔ，ＬＬＣである。音声マスキングを行うことに加えて、これらのシステムは、呼び出し（ｐａｇｉｎｇ）又は音楽配信のための補助入力を含む。システムは、いくつかのスピーカーを備える区域をそれぞれが有する、区域を制御する制御モジュールを備える（例えば、モジュールは、各区域の音量、時刻マスキング（ｔｉｍｅ ｏｆ ｄａｙ ｍａｓｋｉｎｇ）、等化、及び自動ランピング（ａｕｔｏ−ｒａｍｐｉｎｇ）を独立して制御する）。各制御モジュールは、コンピュータネットワーク又は直接接続によってモジュールに接続されるコンピュータで実行されるブラウザベースのソフトウェアにより構成可能であり、制御可能である。

【0031】

[00031]背景音を生成するための別のハードウェア構成は、ネットワークコントローラによって駆動される無線スピーカーのネットワークである。これらのシステムは、音声再生システムとスピーカーとの間の有線接続の必要性を減らす。しかし、それでも、受信機が音源を判別することを可能にするシグナリング技術を組み込む費用効率の高い手段に対するニーズが存在し、音源はそのようなシグナリング技術が組み込まれていなければ同じ信号を送信することになる。

【0032】

[00032]本開示において、我々は、モバイルデバイスの測位システムを実装するための新規の方法及びシステムを説明する。従来のＧＰＳが実用的でないか又は効果的でない環境で、既存の音声又はＲＦ信号の生成などの既存の信号生成及び取り込みインフラストラクチャを使用することを特に強調する。

【課題を解決するための手段】

【0033】

[00033]本開示で詳細に説明される１つの発明の方法は、モバイルデバイスの位置を決定する方法である。この方法においては、モバイルデバイスが、そのモバイルデバイスのマイクロホンにより２つ以上の異なる音源から音声信号を受信する。音声信号は、背景音及び場内放送機能を提供する音声再生システムの通常の動作に組み込まれる。したがって、音声信号は、聴取者に実質的に同じように聞こえるが、異なる音源を判別するための異なる特徴を有する。音声信号は、音声信号から決定される区別の付く特徴に基づいて互いに判別される。特定の音源を特定することに基づいて、特定の音源の位置が（例えば、識別する特徴に対応する音源の座標を見つけることによって）決定される。特定の音源の位置に基づいて、モバイルデバイスの位置が決定される。

【0034】

[00034]特定の音源は、信号の変化のパターン、符号化されるデジタルデータ信号などの一意の信号特徴の層を導入することによって特定され得る。特に、第１の層は、ネットワーク内の近隣の音源のグループを特定し、第２の層は、特定の音源を特定する。音源が正確に判別されると、受信機が対応する音源の座標を探し、次いで、その対応する音源の座標が位置計算機に提供される。そのとき、モバイルデバイスの位置は、音源信号の座標及び音源信号から導出されたその他の属性に基づいて精度を改善される。

【0035】

[00035]本発明のさらなる態様は、音源信号を生成するための方法と、関連する測位システムとを含む。

【0036】

[00036]これらの技術は、さまざまな測位の方法及びシステムを可能にする。１つのそのようなシステムは、音源デバイスの位置と、音源からの信号の相対的な到達時間とに基づいて位置を決定する。別のシステムは、音源からの信号の相対的な強度に基づいて位置を決定する。例えば、信号が最も強い音源が、モバイルデバイスの位置の推定値を与える。位置のさらなる精度は、信号強度メトリックに基づいて音源からの距離の推定値を導出することによって計算され得る。

【0037】

[00037]上で要点を述べた方法は、命令（例えば、１つ若しくは複数のプログラミング可能なプロセッサで実行するためのソフトウェア若しくはファームウェア）、回路、又は回路と、プログラミング可能なプロセッサで実行される命令との組合せとして全体又は一部が実装される。

【0038】

[00038]本発明の別の態様は、施設での屋内ナビゲーションのための方法である。この方法は、周辺環境からモバイルデバイスのマイクロホンによって取り込まれた音声に基づいてモバイルデバイスの位置を導出する。この方法は、特に、スマートフォンでの動作に向いており、音声は、人間の聴覚の周波数範囲内の音（人間の可聴範囲、１２〜２０ｋＨｚ）、及び場合によっては人間の聴覚の範囲外の音（人間は聞くことができないが、マイクロホンの周波数応答は、例えば約２０ｋＨｚのその音をまだ取り込むことができる）を取り込むマイクロホンを用いて取り込まれる。したがって、デバイスの取り込み範囲はより広い可能性があるが、方法は、これらのデバイスでの既存の音声の取り込みを使用するように設計される。方法は、音声信号の識別に基づいて施設内のモバイルデバイスの位置を決定し、モバイルデバイスの位置を監視し、モバイルデバイスの位置が位置に基づく通知に関連する所定の位置内にあるときにモバイルデバイスの出力デバイスで位置に基づく通知を生成する。

【0039】

[00039]このナビゲーションの方法は、ナビゲーションの経路のリアルタイムのマッピング、代替的な経路の表示、並びにさまざまな形式の入力からのナビゲーションフィードバックの導出及び生成をサポートするさまざまな特徴によって拡張され得る。この入力は、メッセージを通じてそのユーザ若しくはその他のユーザから直接的になされるか、又は間接的になされ、入力がコンテキスト情報から推測される。例には、ユーザによって入力されたショッピングリストに基づくナビゲーション、メッセージシステムからの製品の推薦、（トランザクションの履歴、行動のカレンダーなどの）ユーザコンテキストから推測される製品の嗜好性（ｐｒｅｆｅｒｅｎｃｅ）、及びソーシャルネットワークから得られた製品の嗜好性が含まれる。店舗などの施設内の経路の形態のナビゲーションの指示が、ナビゲーションセッションの前に計算され、ユーザのアフィニティグループ（ａｆｆｉｎｉｔｙ ｇｒｏｕｐ）からの変化する状況（ソーシャルネットワークのポスト又は製品のタグ付け）、変化するユーザコンテキスト、友人又は家族からの更新されたリマインダー、並びに監視された通行に基づく店舗内プロモーションなどの店舗内の変化する状態によってセッション中にリアルタイムで更新される可能性がある。

【0040】

[00040]本発明の態様は、モバイルデバイス及びネットワーク（例えば、１つ又は複数のサーバコンピュータで提供されるクラウドコンピューティングサービス）で実装される。したがって、本発明は、無線電話のようなモバイルデバイスで、位置計算、監視、及びナビゲーションサービスを提供するネットワークコンピューティングシステムで、並びにそれら両方の組合せで実装されるナビゲーションのための方法、システム、及びデバイスを包含する。実装は、モバイルデバイス、及びモバイルデバイスと通信するサーバのネットワークを含む１つ又は複数のコンピュータで行われ得る。

【0041】

[00041]例えば、本発明の別の態様は、施設内での屋内ナビゲーションのためのシステムである。システムは、それぞれが位置に対応する一意に特定可能な音声信号を送信する音源の構成を備える。また、システムは、施設内のモバイルデバイスから音声検出イベントを受信するための１つ又は複数のコンピュータを備える。これらの検出イベントは、施設内の音源の識別情報を提供する。１つのコンピュータ（又は複数のコンピュータ）が、検出イベントからモバイルデバイスの位置を計算し、施設内でのモバイルデバイスの位置を監視し、モバイルデバイスの位置が通知に関連する位置にあるときにモバイルデバイスに通知を送信する。

【0042】

[00042]本発明のさらなる態様は、モバイルデバイス、サーバシステム、又はそれら両方の組合せで実行される命令で実装される方法を含む。

【0043】

[00043]さらなる特徴は、以下の詳細な説明及び添付の図面を参照することによって明らかになるであろう。

【図面の簡単な説明】

【0044】

【図1】信号源のネットワークの中にあるモバイルデバイスを示す図である。

【図2】位置システムで使用するための一意の音源信号を生成するためのシステムを示す図である。

【図3】周辺音声信号を分析して音源信号を検出し、特定するためのプロセスのフローチャートである。

【図4】信号強度メトリックを分析することによって音源信号から距離を決定するためのプロセスのフローチャートである。

【図5】異なる音源からの音声信号の到達時間差を決定するためのプロセスのフローチャートである。

【図6】モバイルデバイスのネットワークのための位置に基づくサービスのプラットフォームの上にアプリケーションプログラムを構築するためのシステムアーキテクチャを示す図である。

【図7】ナビゲーションアプリケーションの初期データ収集及び移動計画段階を示すフローチャートである。

【図8】ナビゲーションセッション中のモバイルデバイスの移動を追跡するためのプロセスを示すフローチャートである。

【図9】ナビゲーションアプリケーションのための経路追跡プロセスの例を示すフローチャートである。

【図10】ナビゲーションアプリケーションで通知を管理するためのプロセスを示すフローチャートである。

【発明を実施するための形態】

【0045】

[00054]センサー及び音源の構成
[00055]特定の測位手法の詳細に踏み込む前に、我々は、センサー及び音源の構成の検討と、それぞれの構成から導出され得る位置情報の概要とから始める。音声による測位の場合、センサーはマイクロホンであり、音源は音声送信機（例えば、ラウドスピーカー）である。それぞれが多くの異なる構成として存在する可能性があり、我々はここで主なカテゴリーを概説する。我々は、センサーが、携帯電話又はタブレットコンピュータなどの、消費者の間で人気が高いコンシューマデバイスのよくある構成要素である場合の適用に特に関心がある。したがって、我々の構成の例は、これらのデバイスを使用する。後で、我々は、構成のそれぞれに適用可能な方法の特定の例を与える。

【0046】

[00056]構成は、以下の３つのカテゴリー、すなわち、１）音源の数、２）モバイルデバイスのマイクロホンの数、及び３）互いに協力するモバイルデバイスの数に応じて整理され得る。

【0047】

[00057]例示するために、我々は、信号源のネットワークの一般的な例を使用する。図１は、信号源（点で表される、例えば、１０２、１０４、及び１０６）のネットワークの中にあるモバイルデバイス１００を示す図である。図１の音源のネットワーク内の所与の位置において、モバイルデバイスの有効範囲内の１つ又は複数の音源を含むネットワークのサブセットが存在する。この有効範囲は、破線の円１０８として示されている。

【0048】

[00058]１つのラウドスピーカー：測位システムは、（例えば、最も近い音源などの）１つの音源とのセンサーの近接度を検出又は測定するように構成され得る。図１に示される信号源のネットワーク内であっても、システムは、モバイルデバイス１００の有効範囲内の単一の音源、例えば１０２に限定され得る。最低でも、モバイルデバイスは、そのモバイルデバイスが音源１０２の近辺にあることを知っている。信号の強度又は音源の方向などの追加の情報によって、より多くの位置情報が計算され、モバイルデバイスのユーザに提供され得る。

【0049】

[00059]指向性スピーカーが、施設内の特定の位置に円錐状の音（ｃｏｎｅ ｏｆ ｓｏｕｎｄ）を放つために使用され得る。例えば、店舗用に構成された測位システムにおいて、指向性スピーカーは、店舗の商品陳列棚の間の通路の天井に列をなして配置される。棚は、異なる通路のスピーカーから発せられた音の重なりを最小化するように音を調整する。それぞれの通路内で、指向性スピーカーは、隣接するスピーカーの軸線に垂直な軸線に沿って円錐状の音を下向きに放出する。この構成では、音源の識別は、その音源からの音を取り込んだモバイルデバイスがその音源の円錐状の音の中にあることを示す。加速度計、磁力計、及び／又はジャイロスコープなどの追加のセンサーが、ユーザのモバイルデバイスの向きの情報を提供し、したがって、ユーザのデバイスに最も近い、並びに／又はデバイスが向けられている若しくは移動している方向に位置する棚及び棚の商品が示される。

【0050】

[00060]２つ、又は好ましくは３つ以上のラウドスピーカー：２つ以上のスピーカーは、センサーの相対的な位置を推定する三角測量を可能にする。図１を参照すると、音源１０２、１０４、及び１０６がモバイルデバイス１００の有効範囲内にある。これらの音源からモバイルデバイスへの音声信号の相対的な到達時間は、位置を決定するのに十分なデータを提供する。例えば、モバイルデバイス１００に対する有効範囲１０８内の音源の各ペアは、位置を計算するために解かれ得る１組の式に入力を与える。２つの異なる音源からモバイルデバイスへの相対的な到達時間は、双曲面に沿ってモバイルデバイスの位置の近似を与える。さらなる別のペアは、２つのペアに関して計算された双曲面の交わりとしてモバイルデバイスの計算を行うことを可能にする。モバイルデバイスの有効範囲内の音源ペアの数が増えるにつれて、システムは、それらのペアを解を計算するために使用されるデータに含めることができる。また、使用される特定の音源は、音源から検出された埋め込み信号の信号強度などの信号メトリックにしたがって、それらの音源から得られたデータが含められる前に綿密に調べられることが好ましい。

【0051】

[00061]この手法は、マルチラテレーション又は双曲線測位と呼ばれることがある。この場合、我々は、異なる送信機からの信号の到達時間差（ＴＤＯＡ）を測定することによって受信機の位置を見つける。２つの送信機の位相差も使用され得る。複数の送信機を用いて、ＴＤＯＡの手法は、各送信機の既知の座標と、受信機に対する送信機の各ペアのＴＤＯＡとに基づいて受信機の３Ｄ座標（例えば、ｘ、ｙ、及びｚ）を見つけるための連立方程式を生成することによって解決される。そのとき、この連立方程式は、特異値分解（ＳＶＤ）又はガウスの消去法を用いて解かれ得る。最小２乗最小化法が、受信機の位置の解を計算するために使用され得る。

【0052】

[00062]（例えば、３Ｄの問題を２Ｄの問題に単純化する）モバイルデバイスが地面の上にあると仮定すること、及びネットワークサイトの地図を使用して、モバイルデバイスの位置の解空間をユーザが移動すると予測される経路に沿った特定の離散的な位置に制限することなどのさらなる仮定は、計算を単純化する。後者においては、ＳＶＤ法を用いて連立方程式を解こうとするのではなく、システムは、近辺の既知の位置の有限集合を調べてどの位置がデータに最もよく当てはまるかを決定することができる。

【0053】

[00063]計算の精度は、位置が何らかの誤差範囲（ｅｒｒｏｒ ｂａｎｄ）（例えば、モバイルデバイスに対する音源の対応する２つ以上のペアに関する２つ以上の双曲面に沿った２つ以上の誤差範囲の交わり）内で正確であることを規定する可能性がある。

【0054】

[00064]２つ以上の音源を使用する別の手法は、誤差範囲内で各音源からモバイルデバイスへの対応する距離を与える信号強度メトリックを用いて音源からの距離を近似することである。例えば、検出された信号と予測される信号との間の相関強度又は信号の対応度合いなどの透かし検出メトリックが、モバイルデバイスからの音源の距離を近似するために使用される。信号強度は、音源からの距離の逆２乗の関数である。より高い周波数の信号の強度は、より低い周波数よりも速く低下する。高い周波数の信号に対する低い周波数の信号の相対的な強度を決定する信号強度メトリックが、音源からの距離を推定するために使用され得る。精度は、測位システムの潜在的な位置の解空間を表す、特定の音源の位置及び受信機の想定位置のメトリックを調整することによって改善され得る。例えば、所与の設備に関して、信号強度メトリックと特定の音源からの距離との間の関係が測定され、次に、その設備の音響特性に対してメトリックを較正するためにルックアップテーブルに記憶される。

【0055】

[00065]１つのマイクロホン又は密集した複数のマイクロホン：これは、典型的なモバイルデバイスの状態であり、それ自体では、それらのモバイルデバイスは、マイクロホンアレイの場合のようには到達方向の推定を実行するのに適していない。

【0056】

[00066]２つ以上のマイクロホンを備えたマイクロホンアレイ：音声の到達方向を与えるためにマイクロホンアレイを使用することは、マイクロホンアレイを収容するために必要な物理的な寸法を有するタブレットＰＣなどのデバイスで実用的である。そのようなアレイを使用して、測位方法は、受信デバイスの向きに対する音源の方向を特定し、より優れた三角測量の方式を可能にすることができる。この方向の情報は、受信機が位置する、音源と受信機とを通る線に沿った点を見つけることに、受信機の位置の計算を単純化する。受信機が２つ以上の音源に対する方向及び向きを決定することができるとき、測位システムは、受信機と各音源との間のこれらの線の交点として位置を計算する。マイクロホンアレイによって与えられた向きを用いて、地図アプリケーションを利用可能にする（例えば、ユーザが向かっている方向に基づく向きの品物を示す地図を表示する）ことができる。

【0057】

[00067]マイクロホンのアレイに加えて、システムは、デバイスの向き／方向と、ネットワークを通るモバイルデバイスの移動経路の方向とを与えるために、カメラ、加速度計、及び磁力計などの追加センサーからのデータも利用する可能性がある。

【0058】

[00068]２つ以上の音源の中の異なる音源の方向を決定するために、システムは、最初に、一意の音源を特定する。次に、それぞれの一意の音源信号の信号特性が、音源信号をフィルタリングして特定の音源からの信号を分離するために使用される。例えば、整合フィルタ（ｍａｔｃｈｅｄ ｆｉｌｔｅｒ）が、特定の音源から受信された信号を分離するために使用される。そして、システムは、マイクロホンアレイ処理を使用して、その分離信号の方向を決定する。このマイクロホンアレイ処理は、アレイ内の異なるマイクロホンからの分離信号の間の相対的な位相の遅れを検出して、アレイの向きに対する到達方向を与える。

【0059】

[00069]一実施形態において、音源信号は、ホスト音声信号に加えられる直接シーケンススペクトル拡散透かしのために一意になる。相関検出器が、搬送波信号を検出し、次いで、透かし信号を分離する。そして、それぞれのマイクロホンから検出された搬送波信号のペアの間の位相遅れが、到達方向を決定するために使用される。

【0060】

[00070]単一のモバイルデバイス：これは、単一のモバイルデバイスが、１つ又は複数の音源から異なる音声を取り込み、データから測位を導き出す場合である。モバイルデバイスは、音源の識別、位置、方向、信号強度、及び異なる音源から取り込まれた信号の相対的な特徴などの、（１つ又は複数の）音源について取り込まれた音声からデータを導出する。

【0061】

[00071]複数のモバイルデバイス：この場合、音源の測位は、デバイスが互いの近接しているときに互いに協力することを可能にすることによって向上し得る。この協力は、近隣のデバイスの間でデバイス間通信の既知の手段を使用してデバイス間で情報を交換するための無線通信プロトコル（例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ−Ｆｉ規格など）を使用する。

【0062】

[00072]さまざまな構成を概説したので、我々は、ここで、音声信号測位システムの説明に移る。多くの変更形態が得られる可能性がある１つの方式は、何らかの識別可能な音を連続的に再生するラウドスピーカーで空間を構成することである。モバイルデバイスの（１つ又は複数の）マイクロホンは、この音声信号を取り込み、音源を特定し、音源の相対的な近接度／位置を決定する。

【0063】

[00073]この種の構成の中には、考慮すべき主要な点が３つあり、その３つとはすなわち、１．音源を特定する手段、２．音源からの信号の周辺からの検出（例えば、「周辺からの」とは、マイクロホンを通じて周辺音声を取り込むことを指す）を実行するための手段、並びに３．音源の近接度及び位置の推定値を決定するための手段である。

【0064】

[00074]１．識別可能な音源
既存の音源測位方式は、環境内の支配的な音源の位置を見つけることに焦点を当てている。対照的に、我々は、近辺にその他の音源が存在していても特定の（おそらくは非支配的な）音源の位置を見つける能力を必要とする。これを実現する１つの方法は、（例えば、非可聴電子透かし、又は背景音として許容できるように構築されたデータ信号などの）符号化されたデータ信号の存在を探すことである。別の方法は、コンテンツフィンガープリント技術を使用して、特定の音源がモバイルデバイスの近辺に存在することを認識することである。音源は指向性スピーカーである可能性があり、音源から放たれる音声の領域を形作るための追加の遮音構造物をともなって天井、壁、又は棚構造物内に設置される可能性がある。音源は、棚又は陳列棚の端（ｅｎｄ−ｃａｐ）のプロモーション用ディスプレイのような物体の中に配置される音声トランスデューサを備えた専用デバイス又はポータブルデバイス（例えば、シェルフトーカー（ｓｈｅｌｆ ｔａｌｋｅｒ）デバイス）である可能性がある。音源は、電源から配線されるか、又はバッテリーによってローカルで電力を供給される可能性がある。また、音源は、集中型の音源から駆動されるか、又は各音源若しくは音源の小さなグループが、異なる音源、潜在的には、フラッシュメモリ、圧縮音声デコーダ、デジタルアナログコンバータ、音声出力ドライバ、及び音声出力トランスデューサを含むデジタル音声再生デバイスのような音声出力源によって駆動されるように分散される可能性がある。

【0065】

モバイルデバイスの動きの自由度は、特定の音源からの音声の取り込みの一貫性及び品質を改善し、モバイルデバイスの位置の計算を簡単にするために制限される可能性もある。屋内ショッピングへの適用では、ユーザのモバイルデバイス用のクレードルがショッピングカートに置かれる可能性がある。クレードルは、ユーザがハンズフリー動作モードでスマートフォンのハンドセットのディスプレイを見ることを可能にしながら、スマートフォンのハンドセットをカートの決まった位置に保持する。位置に基づくサービスのハンズフリーの自律動作モードを可能にすることに加えて、クレードルは、デバイスの位置及び向きの解空間を制限する。クレードルに基づくシステムのさらなる特徴が、以下でさらに検討される。

【0066】

[00075]２．周辺からの音源の検出
我々は、音声信号で情報を伝達するために使用される埋め込み信号（例えば、電子透かし、又は音源信号でデータを伝達する合成された音声）が、特にショッピングモールなどの騒がしい環境で周辺から取り込まれた音声から信頼性高く復元され得ることを保証する必要がある。とりわけ、電子透かしのロバスト性を向上させる１つの方法は、周辺の「雑音」レベルを感知し、検出が信頼できるように、送信される信号に埋め込まれる透かしの強度をリアルタイムで調整することである。

【0067】

[00076]３．音源の近接度／位置の推定
音源が特定された後、近接度の情報が推定される。マイクロホンアレイがモバイルデバイスで利用可能な場合、音源の相対的な方向がマイクロホンアレイから決定される。以下でさらに説明される１つの手法は、ロバストな電子透かしとフラジールな電子透かしとの組合せの透かし信号の劣化を測定するメトリックなどの信号強度メトリックを使用することである。そして、このメトリックは、そのメトリックを音源からマイクロホンまでの距離の推定値に変換するためのルックアップテーブルに与えられる。例えば、１つの実装において、透かしは、検出が音源からの距離に依存する異なるロバスト性レベルで埋め込まれる。音源からの距離が短くなるにつれて、次第により低い信号強度又はロバスト性の透かしを復元する能力が高まる。検出されることになる最も弱い透かしは、次に弱い透かしがもはや検出されない地点が音源からの距離に対応するので、音源からの距離の指標を提供する。

【0068】

[00077]別の例として、埋め込み信号の検出メトリックが、特定の音源からの信号の強度を測定するために使用され得る。１つの実装において、埋め込まれる電子透かしは、選択されたより高い周波数（例えば、やはりモバイルデバイスのマイクロホンの可聴範囲内にあるより高い周波数）の周波数トーンを変調することによって符号化される。これらのトーンの強度は、音源からの距離が広がるにつれて減衰する。したがって、埋め込み信号の高周波数トーンの低周波数トーンに対する比などの検出メトリックが、音源からの距離に対応する検出メトリックを提供する。

【0069】

[00078]一部の適用では、三角測量に基づく位置推定を可能にするために、複数の音源からの近接度も同時に推定する必要がある可能性がある。

【0070】

[00079]以下で、我々は、
１．電子透かしを音声ストリームに導入するための異なる手法、
２．周辺音声レベルを感知すること、及びリアルタイムのマスキング計算のために、周辺音声レベルの音響心理学モデリングに基づいて透かしの強度を調整すること、並びに
３．近接度の推定が可能な透かし方式
を含むいくつかの代替的なシステムの実装の詳細を述べる。

【0071】

[00080]音源を一意に特定する能力は、背景雑音、及び音源信号に干渉する可能性があるその他の音源が存在する中で受信デバイスの測位を可能にする。最初に、測位方法は、測位されているモバイルデバイスがいずれかの関連する音源の近くにあるかどうかを決定しようとする。

【0072】

[00081]我々は、最も近い音源を決定するためのさまざまな方法を考案した。これらの方法は、任意のホストコンテンツのための透かし手法と、音源信号の定義された組を使用するコンテンツフィンガープリント手法と、音声が特定の情報を伝達するように構築される合成音声手法とを含む。

【0073】

[00082]図２は、音源のネットワーク内で一意の音声信号を生成するための構成可能なシステムを示すブロック図である。このシステムのタスクは、受信デバイスにおいて取り込まれた周辺音声の分析によって特定される音源（例えば、ラウドスピーカー１１０、１１２、１１４）からの一意の信号を生成することである。引き続き図１のテーマを取り上げて、これらのラウドスピーカーは、測位ネットワークの音源ノードを表す。それぞれのラウドスピーカーは、測位システムが実装される施設で初期化段階でシステムに登録される関連位置を有する。一部の実装において、音源信号は、エコー干渉及びその他の歪みを最小化する特定の部屋又は施設の音響効果に適合される。さらに、上述のように、特定の施設内でのモバイルデバイスの離散的な位置に関する解空間が、ネットワークノードの識別子と関連してマッピングされ、記憶される可能性がある。そして、この情報は、モバイルデバイスで取り込まれた受信信号からのノードの識別に基づく位置計算システムに供給される。

【0074】

[00083]受信信号強度システム（ＲＳＳ：ｒｅｃｅｉｖｅｄ ｓｔｒｅｎｇｔｈ ｏｆ ｓｉｇｎａｌ ｓｙｓｔｅｍ）のための信号強度メトリックは、施設内の離散的な位置で信号の測定を行い、ネットワークノードにおける特定の音源信号に関する１つ又は複数の信号メトリックの値の間の関係を、そのネットワークの位置で（１つ又は複数の）音源信号の（１つ又は複数の）音源識別子によって特定される音源からの対応する距離とともに記憶することに基づいて調整される。

【0075】

[00084]好ましくは、図２のシステムは、施設内でスピーカーのネットワークを通じて背景音楽若しくはその他のプログラム又は背景音を再生するために使用される典型的な音響機器に容易に組み込まれるように設計される。この音響機器は、前置増幅器、音声再生デバイス（例えば、ＣＤプレイヤー、又はストレージデバイスからのデジタル音声ストリームのプレイヤー）、受信機増幅器、及び最後に出力スピーカーを含む。概要で述べたように、好ましくは、これらのデバイスは、制御モジュールによって制御され得る。制御モジュールは、区域内の音声の再生を制御し、ネットワーク接続によってコントローラに接続された遠隔コンピュータで実行されるソフトウェアによりそれぞれが構成可能であり、制御可能である

【0076】

[00085]１つの実装において、それぞれのネットワークの位置は、その位置のためのサウンドカードを通じてその位置のためのラウドスピーカーを駆動する音声出力デバイスからの一意の音源を有する。サウンドカードは、音源、白色雑音生成器又は音声プレイヤー（例えば、ＣＤプレイヤー若しくはフラッシュメモリデジタル音声プレイヤー）などの音声出力デバイスのための音声入力を有する。一意の音源信号は、音声プレイヤーのメモリから再生される可能性があり、ネットワーク接続（例えば、イーサネット（登録商標）又はｗｉ−ｆｉ）からその音声プレイヤーにストリーミングされる可能性がある。（白色雑音生成器システムを含む）音声マスキングシステム及び場内放送システムは、１つ又はいくつかのスピーカーのそれぞれが異なる音源によって駆動される分散型の構成で設計され得る。その音源を提供する音声出力デバイスは、区域のスピーカー又は出力トランスデューサと同じ場所に置かれる可能性がある。音声信号は、有線又は無線接続を通じて出力ドライバ（例えば、アナログ／デジタル用、有線及び無線Ｉ／Ｏ用の入力／出力インターフェースを備えた増幅器デバイス）にストリーミングされる可能性があり、さらに、そのようなデバイスから有線又は無線スピーカーにストリーミングされる可能性がある。Ａｒｃｈｏｕｓｔｉｃｓ（Ａｒｃｈｏｕｓｔｉｃｓ Ｍｏｕｎｔａｉｎ、コロラド州ルイビル）のような供給業者からの音声マスキングシステムが、各区域が独立した音源を有する分散された区域を用いる音声マスキングユニットを提供する。ＬｏｇｉｓＳｏｎ ｔｅｃｈｎｏｌｏｇｙなどの音声マスキング機器が、カナダ、オンタリオ州のＫ．Ｒ．Ｍｏｅｌｌｅｒ Ａｓｓｏｃｉａｔｅｓ，Ｌｔｄ．によって製造されている。もちろん、特定の適用のために適合された有線及び無線インターフェースを備えた特注及び既製の音源と、前置増幅器と、ドライバと、出力トランスデューサ構成要素との組合せを使用して代替的な構成が実装され得る。

【0077】

[00086]一意の音源信号を生成するための音声処理が、音声信号の生成及び送信経路の中のさまざまな箇所に挿入される可能性がある。図２は、いくつかの異なる選択肢を示す。第１に、音声信号が、データベース１２０から生じる。一意の信号が、対応する一意のフィンガープリントを有する一意の信号を選択することによって生成されるか、又は識別子を伝達する合成音声信号として生成される態様では、システムは、特定の音源のための一意の音声信号を選択し、出力用のラウドスピーカーへの経路に沿ってその信号を送信するコントローラを有する。この場合、識別子データベース１２４の役割は、一意の信号のフィンガープリント又は合成信号のペイロードと対応する音源（例えば、ラウドスピーカー）の位置との間の関連付けを記憶することである。システム構成を簡単にするために、データベースは、ラウドスピーカーの位置が設定されるときに設定される位置パラメータへのポインタを記憶する可能性がある。これらのパラメータには、位置の計算を特定のネットワークの位置又は音源信号に適合させるその他のパラメータ（場所の位置の離散的な組、信号の強度の特徴、前置フィルタリング又は検出の助けとなる一意の音源信号特徴など）も含まれる可能性がある。

【0078】

[00087]電子透かし信号のストリームが位置を特定するために埋め込まれる場合、コントローラ１２２は、音声ストリームを受信し、その音声ストリームを分析し、埋め込みプロトコルにしたがって電子透かし信号を符号化する電子透かし埋め込み器を含む。このプロトコルは、データ信号の１つ又は複数の層が符号化される特徴空間内の埋め込み位置を規定する。このプロトコルは、データペイロードの構造、冗長性、同期方式などのようなフォーマットパラメータも規定する。この種の実装では、識別子データベースは、符号化された音源識別子と音源の位置との間の関連付けを記憶する。

【0079】

[00088]透かし手法では、それぞれのラウドスピーカーが、一意に透かしを付けられた音を再生する。コントローラ１２２は、一意に透かしを付けられた音声信号を対応するスピーカー（例えば、１１０、１１２、１１４）の送信経路へ切り替える。

【0080】

[00089]代替的に、それぞれのラウドスピーカーに対する一意の埋め込みを実装することが現実的でない場合、近辺の１組のラウドスピーカーが同じ透かしを付けられた信号を再生するが、それらのラウドスピーカーは、受信機が音源を判別することを可能にする追加の署名（ｓｉｇｎａｔｕｒｅ）を有する。例えば、図２の例を用いると、コントローラは、建物の特定の領域内のラウドスピーカーのサブセットの送信経路に同じ音声信号を送信する。そして、それぞれの特定の音源の送信経路内の信号プロセッサ（例えば、１２６、１２８、１３０）が、一意の署名を音声信号に導入する。この署名は、署名によって変更された音声信号を送信経路の終わりで受信するラウドスピーカーの特定の位置をインデックス付けするために、音源識別子に加えてデータベース１２４に記憶される。

【0081】

[00090]信号プロセッサ（例えば、１２６、１２８、１３０）は、音源のネットワーク内のいくつかの位置で必要とされるので、それぞれのラウドスピーカーへのアナログ送信経路に直列に追加され得る安価な回路であることが好ましい。例えば、タップ付き遅延線（ｔａｐｐｅｄ ｄｅｌａｙ ｌｉｎｅ）回路が、ネットワークで同じ識別子を共有する音源のサブセット内で音声信号を判別するための、受信機で検出可能なエコーの一意の組を導入するために直列に接続される。タップ付き遅延線回路を構築する１つの手法は、バケツリレー素子を使用することである。これは、ＮＭＯＳ又はＰＭＯＳ集積回路から構築されたアナログシフトレジスタの形態である。

【0082】

[00091]この領域内のスピーカーは、近辺の位置を割り振られる。音源の識別以外のさらなる位置データが受信機で導出され得ない場合、この近辺の位置が、少なくとも、スピーカーのサブセットの位置の近接として定義された領域内の正確な位置を与えることができる。支配的な音源から署名が検出可能である場合、支配的な音源からのこの検出は、支配的な音源に近接する正確な位置を与える。最後に、取り込まれた音声でさらに２つの署名が検出されるとき、さらなる位置計算が、ＴＤＯＡ、到達方向、三角測量などに基づいて、既に説明されたように可能にされる。

【0083】

[00092]多層透かし方式は、ネットワーク内の音源を特定する階層的方式を可能にする。そのような方式では、第１の符号化されたデータ信号が、音源のネットワークの第１のより広い領域（例えば、同じ最上位レベルの識別子を共有するネットワークノードのサブセットを包含する円）を特定する。受信された信号から抽出される追加の情報が、位置を音源のより小さな組、特定の音源、音源からの特定の距離、及び最終的に何らかの許容誤差バブルの範囲内の特定の位置に絞り込む追加のメトリックを提供する。この種の方式で最も単純なものは、各音源からの２つの透かし層、すなわち、ネットワーク内の１組のスピーカー（例えば、特定の領域内でモバイルデバイスの局所的な近辺を定義するこの領域内の１組のスピーカー）によって出力される信号に埋め込まれる共通の透かしと、導入が容易であり、１組のスピーカーを判別するのにちょうどよい、より小さなペイロードを有する下位レベルの透かしとが存在する２層式の手法である。この種の透かしのための技術は、直接シーケンススペクトル拡散（ＤＳＳＳ）透かし、エコーに基づく透かし、振幅又は周波数の変調に基づく透かし、及びこれらの方法の組合せを含み、これらの技術は互いに排他的でない。以下でさらに説明されるように、一実施形態においては、ＤＳＳＳが、符号化されたデータ信号を系統的に表すために使用され、そのとき、符号化されたデータは、知覚的なマスキングモデルにしたがって、時間及び／又は周波数領域のサンプルなどの信号特徴を変調するために使用される。エコーに基づく技術も、自己相関を変調するために使用される（例えば、特定の遅延で検出されるエコー変調）。１組のマスクされた周波数トーンも、データ信号をホスト音声に符号化するために使用される。

【0084】

[00093]１つの特定の実装において、我々は、以下のような２層の透かし方式を設計した。透かしの第１の層に関して、透かしエンコーダがＤＳＳＳデータ信号を生成する。次に、エンコーダは、符号化されたデータチップを音声の対応する連続する時間ブロックにマッピングして、信号を経時的に拡散する。特定のチップに対応する時間の部分に関して、データ信号が、音声マスキングモデルを使用してその部分の音声信号に対して適合される。知覚的な適合が、対応するチップを符号化するための時間ブロックにおける音声信号の特定の調整をもたらす。これは、周波数領域のマスキングモデルに基づいてデータ信号を音声に対して適合させるための周波数領域の分析を含み得る。チップの信号は１つの帯域で伝達されるか、又はいくつかの周波数帯域に拡散される可能性がある（例えば、時間と周波数との両方で信号が拡散される可能性がある）。この第１の層は、１組の近隣のネットワークノードを含むネットワークの部分の識別子を伝達する。

【0085】

[00094]第２の層に関して、信号プロセッサが、第１の層によって特定される近隣のネットワークノードの中の特定の音源を特定するための異なるエコーパターンを音声信号に導入する。

【0086】

[00095]第１の層の信頼性は、信号を時間的に拡散し、チッピングのシーケンス全体のいくつかのセグメントを包含する期間にわたって検出を平均化することによって高められる。この期間はおよそ１秒から５秒までであり得る。

【0087】

[00096]第２の層の信頼性は、音源のサブセット内の特定の音源を表すためにエコーの異なる組合せを使用することによって高められる。シンボルのアルファベットが、５０ミリ秒の最大遅延以内のエコーの組合せから構築される。この最大遅延は、特に、測位システムが使用されることになる適用で存在する周辺雑音を前提として、人間によるエコーの知覚を最小限にする。エコーのそれぞれの組合せは、シンボルに対応するエコーパターンを形成する。第２の層の音源識別子は、アルファベットから選択された１つ又は複数のシンボルの組から形成される。

【0088】

[00097]ロバスト性は、離間されて（例えば、５ミリ秒離されて）おり、部屋のエコー及びその他の「データではない」エコー又は雑音源との衝突を最小化するように選択される強いエコーの組合せを使用することによってさらに強化される。例えば、部屋の影響から音源を判別するために使用されるエコーパターンは、部屋のエコーから判別可能な時間（遅延の組合せ）及び周波数の構成を有する。周波数の構成は、所定の周波数帯域内の所定のエコーを選択することによって選択され得る（例えば、人間には聞こえないが、通常のセル電話のマイクロホンの可聴取り込み範囲内には入るように選択された信号符号化範囲内の高帯域、中帯域、低帯域の範囲から選択され得る）。

【0089】

[00098]ロバスト性及び信頼性は、信号検出器の設計によってさらに高められる。検出器の設計は、信号を前置フィルタリングして、信号の不要な部分及び雑音を取り除くことを含む。検出器の設計は、エネルギーをある期間にわたって蓄積して信号対雑音比を改善することも含む。例えば、検出器は、シンボルのアルファベットの所定の離散的な遅延の近辺の自己相関を測定する一連の相関器を使用する。所定の遅延のある期間にわたって蓄積されたエネルギーが、１つのデータシンボル又は複数のデータシンボルに対応するエコーパターンが存在するかどうかを特定するために評価される。

【0090】

[00099]好ましくは、第２の層を導入する信号プロセッサは、音響システムの増幅器からラウドスピーカーまでの音声信号の電気的な経路に直列に接続される安価な回路である。そのような回路の１つの実装は、本明細書に記載のバケツリレー回路である。これらの回路は、デバイスを通過する音声信号に導入される遅延信号の利得を選択的にオンにするか又は調整することによって構成可能であるように作製され得る。

【0091】

[000100]１つの実装において、検出器は、ケプストラム分析を用いて、スマートフォン（すなわち、Ａｐｐｌｅ ｉＰｈｏｎｅ）のマイクロホンを通じた音声の周辺からの取り込みによって、埋め込まれたエコープロファイルを検出する。この検出器は、ソフトウェアに基づいており、スマートフォンか、又はそのスマートフォンと通信するサーバかのどちらかで実行される。５０ｍｓ以上のエコー継続時間を使用して、検出器は、ラウドスピーカーから最大９フィート離れた周辺からの取り込みからエコープロファイルを検出した。エコープロファイルが埋め込まれたホスト音声信号の性質は、検出結果に大きな影響を与えなかった。したがって、この手法は、音楽、会話、（例えば、公共の空間における音声マスキングのための白色雑音生成器からの）音声マスキング雑音、海の波のような落ち着く背景音などのような、屋内の場内音響システムによくあるさまざまな音源信号に適合可能である。この例においては、デジタル音声遅延回路がエコープロファイルを与えた。

【0092】

[000101]埋め込みプロファイルの信号を検出するためにケプストラム分析を使用することは、さまざまな最適化された検出器の実装が得られる可能性があるケプストラム変換の特徴を利用する。ケプストラム分析の特定の詳細はさまざまであるが、それらの詳細は、対象の信号（この場合は、マイクロホンからのデジタル化された音声）の周波数変換の対数を取ることを含むケプストラム変換に基づく。ケプストラム変換は、信号の周波数変換の対数の逆周波数変換として表され得る。例えば、周波数変換としてＦＦＴを使用して、離散的な信号ｘ（ｎ）のケプストラム変換は、ｘ＾（ｎ）＝ｉＦＦＴ（ｌｏｇ（ＦＦＴ（ｘ（ｎ）））と表され得る。ケプストラム変換を使用すると、２つの信号の畳み込みが、２つの信号のケプストラムの合計に等しくなる。

【0093】

[000102]ケプストラム変換の別の特徴は、その変換によって検出器がホスト信号のコンテンツの中のエコープロファイルを検出することを可能にすることである。例えば、エコー成分は構造的に累積される一方、その他の成分は累積されないので、ある期間にわたって音声信号のケプストラムを平均化することによって、音声のエコー成分をエコー成分として分離することができる。周辺音声で使用されるホスト信号（例えば、会話、音楽、音のマスキングのための指定された信号、又は背景音）によくあるようにケプストラム領域でのホスト信号の平均値が０になる場合、値のホスト信号成分が０になり、エコープロファイルが残る。概して、ケプストラム領域でフィルタリングに相当する「リフタリング（ｌｉｆｔｅｒｉｎｇ）」と呼ばれる、エコープロファイルを検出するためにケプストラムをフィルタリングするさまざまな方法が存在する。これらの方法は、ケプストラムの大きさ、大きさの２乗、ケプストラム係数の２乗などの平均化又は加重平均化などによってエコー成分を構造的に組み合わせようとする。したがって、エコープロファイル検出器は、エコープロファイルが一定に保たれるデジタル周辺音声の連続する時間枠のケプストラムを平均化することによって設計され得る。

【0094】

[000103]第２の層を実装するための代替的な方法は、１組の周波数トーンを導入することである。これらのトーンは、音声マスキングモデルにしたがって振幅を調整され得る。これらのトーンを挿入するための信号プロセッサの１つの形態は、選択された周波数（例えば、１０個の所定のトーンの組から選択された３つ又は４つのトーン）で発振器回路を追加することである。複合信号が、比較的聞こえにくいように人間の可聴範囲内で十分に高いことが好ましいが、マイクロホンによる取り込みによって混入する周辺雑音及びその他の雑音源に対してロバストであるだけ十分に低い発振器出力の組合せを選択することによって構築される。また、選択されるトーンは、マイクロホンによって信頼性高く検出されなければならず、したがって、マイクロホンによる取り込みプロセスで大きく歪んではならない。

【0095】

[000104]周波数変調のこの形態のための相補的な検出器は、所定の周波数トーンの周辺のフィルタバンクを使用する。これらの周波数エネルギーが、ある期間にわたって蓄積され、次いで、所定の識別子又はデータシンボルに対応するトーンの組合せを特定するために分析される。

【0096】

[000105]音源又は音源グループを判別するためのさらに別の方法は、一時的な揺らぎ（ｐｅｒｔｕｒｂａｔｉｏｎ）又はジッタを導入することである。この手法では、音源又はグループをその他の音源から判別するために、時間尺度（ｔｉｍｅ ｓｃａｌｅ）の変更が、その音源又は音源グループに関連付けられたパターンで音声信号の対応する部分に適用される。時間尺度の変更のこのパターンは、例えば、チップシーケンスと同期することによって検出され得る。例えば、異なる時間尺度でチップシーケンスの相関ピークを探索することは、チップシーケンスが符号化された既知の時間尺度に対するその時間尺度のずれを示す。

【0097】

[000106]コンテンツフィンガープリント手法では、受信機が、コンテンツフィンガープリントを使用して音源を特定する。特定の実装に関して、測位方式のために使用されることになる、それぞれがコンテンツフィンガープリントデータベースに登録されている、想定されるチップの明確に定義された組が存在する。受信機で取り込まれた音声のセグメントがフィンガープリント（例えば、ロバストなハッシュ又は特徴ベクトル）を導出するために処理され、次いで、そのフィンガープリントが、データベースに登録されたフィンガープリントとマッチングされる。データベース内のマッチするフィンガープリントが音源を示す。

【0098】

[000107]合成された音声を使用する１つの実装において、それぞれのラウドスピーカーは、−おそらくは、ＭＩＤＩシーケンスの周波数の微妙な調整、又は透かし信号を海の波若しくは噴水の音のような音に整形することによって−耳に心地よく聞こえるが、隠されたペイロードを伝達する特別に設計された音声クリップを再生する。上述のように、音声マスキングシステムで使用される白色雑音生成器の出力のように聞こえるか、又は音声マスキングシステムの白色雑音生成器からのホスト白色雑音源信号への最適な埋め込みのために設計されている透かし信号が、生成され得る。

【0099】

[000108]最も近い音源が、上述の特定方式のうちのいずれかを用いて、その音源の一意の識別子に基づいて特定され得る。最も近い音源は、信号強度の分析を用いて決定される可能性もある。透かしを使用する１つの特定の分析は、連続的な異なる強度の透かしを符号化し、次いで、最も近い音源を、これらの透かしのうちで最も弱い透かしが検出される音源として決定することである。

【0100】

[000109]モバイルデバイスで取り込まれた音声で２つ以上の音源が検出され得るとき、三角測量に基づく測位の形態が、音源に対するモバイルデバイスの方向又は距離の推定を用いて実行され得る。

【0101】

[000110]周辺からの取り込み
[000111]既に、我々は、受信機で特定され得る音源信号を生成することによって音源を一意に特定するための技術の概要を述べた。この適用は、背景音の品質を劣化させず、さらに、モバイルデバイスのマイクロホンにより取り込まれた周辺音声から信頼性高く検出されるシグナリング技術の設計を必要とする。

【0102】

[000112]図３は、周辺音声信号を分析して音源信号を検出し、特定するためのプロセスのフローチャートである。このプロセスは、モバイルデバイスで実施されることが好ましい。しかし、プロセスの態様は、処理タスクのためのデータをまとめ、処理及び結果の返却のための別のコンピュータ又はコンピュータのアレイに（例えば、クラウドコンピューティングサービスに）送信することによって別のデバイスに分散される可能性がある。ブロック１３０において、マイクロホンで取り込まれた音声ストリームの制御が取得される。音声ストリームは、デジタル化され、バッファリングされる。

【0103】

[000113]ブロック１３２において、バッファリングされた音声サンプルが、変調された特徴の位置を分離するため（電子透かし若しくは合成データ信号の場合）、又はコンテンツフィンガープリントの特徴を分離するためにフィルタリングされる。

【0104】

[000114]次に、ブロック１３４において、電子透かしデコーダが、フィルタリングされたコンテンツを分析して、１つ又は複数の透かし信号を復号する。既に説明されたように、符号化されたデータは、特徴を修正することによって特徴に変調される。この変調は、符号化されたデータ信号の推定値を生成するために特徴から復調される。これらの推定値は、信号の検出を改善するために検出窓にわたって蓄積される。データ符号化の逆の操作によって、識別子を含むペイロードが得られる。例えば、上述の一実施形態は、拡散スペクトル搬送波及び畳み込み符号を使用して第１の透かし層を符号化する。１つの実装において、第１の層は、３２ビットのペイロードと、その３２ビットのペイロードから計算された２４ビットのＣＲＣとを伝達する。合わせて５６ビットが、１６８符号化ビットを生成するように１／３の率の畳み込みエンコーダによって符号化される。これらのビットのそれぞれが、ＤＳＳＳプロトコルで１００チップの搬送波信号を変調する。１００チップシーケンスは、各チップが１６ＫＨｚのサンプリングレートの２〜３個の音声サンプルにマッピングされるようにして時間的に順番にマッピングされる。

【0105】

[000115]検出器は、重み付けされたビットの推定値をもたらす搬送波信号を復調する。軟誤り訂正デコーダは、データシンボルのペイロードの畳み込み復号のためにビタビデコーダを使用する。復調は、チップの推定値を抽出するスライディング相関器（ｓｌｉｄｉｎｇ ｃｏｒｒｅｌａｔｏｒ）として実装される。これらのチップの推定値は、相関メトリックによって重み付けされ、ビタビデコーダに入力され、すると今度は、ビタビデコーダが、５６ビットの復号された出力を生成する。ＣＲＣが成功する場合、第１の層の識別子が検出されたと見なされる。ＣＲＣが失敗する場合、スライディング相関器がシフトし、プロセスを繰り返す。この第１のロバストな透かし層は、少なくとも、受信デバイスが位置するネットワークの近辺を特定する音源識別子を提供する。

【0106】

[000116]次に、第２の層の検出器が、第１の層が正常に検出した音声の一部を操作し、存在する場合、第２の層の識別子を復号する。この検出器は、例えば、上述の手法を用いるエコートーン又は周波数トーン検出器を適用する。例えば、自己相関検出器が、音声の低域通過フィルタリングされたものを取得し、次に、シフト、乗算、及び加算を実行して所定の遅延に対する自己相関を計算する。ケプストラムに基づく検出器が、入力音声のフレームのケプストラムを計算し、結果を組み合わせてエコープロファイルを抽出する。特に、１つの実装は、各フレームからのケプストラムの平均値を計算することによって組合せを行ってエコープロファイルを抽出し、次に、埋め込まれているデータシンボルを特定するために、抽出されたエコープロファイルを、データシンボルに対応する１組のエコープロファイルとマッチングする。ロバスト性を高めたので、これらのデータシンボルが、今度は、音源ＩＤ、位置座標、音源のメタデータに対するポインタなどのような識別情報を含むデータメッセージを与えるように、誤り訂正、誤り検査などのようなシンボル復号技術を使用してさらに復号される。

【0107】

[000117]コンテンツフィンガープリントに関して、特徴は、データベースに予め登録された特徴ベクトルとマッチングされる特徴ベクトルへとハッシュされる。この種の適用に関して、一意のコンテンツフィンガープリントのライブラリは比較的小さく、ローカルに記憶され得る。しかし、必要に応じて、フィンガープリントのマッチングは、サーバで実行される遠隔サービスが、合致する音源信号の音源識別子を返すようにして遠隔で実行される可能性がある。

【0108】

[000118]処理ブロック１３４から得られた音源識別子は、音源に関する関連する位置パラメータを探すために使用される。２つ以上の音源識別子が検出される場合、どれが支配的な音源であるかを推定するために検出メトリックに対してさらなる分析が行われる。より強い検出メトリックを有する音源識別子が、最も近い音源として特定される。

【0109】

[000119]図４は、信号メトリックの強度を分析することによって音源信号から距離を決定するためのプロセスのフローチャートである。このプロセスは、図３のプロセスのような音源信号の初期検出の後に続くように設計される。ブロック１４０において、ロバストな信号の層の検出は、弱い透かしデータのより粒度の細かい評価を行うための、デバイスでバッファリングされた音声内の基準フレームを与える。例えば、第１の層のペイロードが正常に検出されるチップシーケンスのブロックの境界が、さらなる動作のための同期をもたらす。ブロック１４２において、信号メトリックが計算される。１つのメトリックは、検出された透かしの符号化されたデータ信号が誤り訂正の後に再生成され、次いで、軟判定デコーダへの入力と比較される相関メトリックである。この比較は、予測される信号と誤り訂正の前の抽出された信号との間の相関強度の測定値を与える。この手法は、ペイロードが音源識別子をもたらし、強度メトリックが音源からの距離の推定値をもたらすことを可能にする。相関強度のメトリックは、特定の周波数の符号化された音源信号のエネルギーを測定し、これらの周波数における一連の信号強度メトリックを与えることによってさらに改善され得る。例えば、第１の層又は別の第２の層の周波数成分が、明確に測定される。これらの測定に基づく１つの信号強度メトリックは、より高い周波数の特徴位置の符号化されたデータ信号の強度に対する、低い周波数の特徴位置の符号化されたデータ信号の強度の比を計算することである。この特定のメトリックは、音源からの距離を推定するために設計される専用の透かし信号の層から導出され得る。代替的に、周波数トーンの変調が、音源識別子を与える可能性があり、異なる透かしの高周波数成分と低周波数成分との間で計算される強度の比が、強度メトリックを与える。どちらも場合も、距離が音源から離れるにつれて、強度メトリックは減少する。

【0110】

[000120]ブロック１４４において、検出メトリックが、距離の推定値を探すために使用される。ブロック１４６において、音源識別子及び関連する検出メトリックが、位置計算機に供給される。位置計算機は、音源ＩＤから音源の位置を探し、次に、位置及び距離パラメータを入力し、モバイルデバイスの位置の場所の推定値を求める。計算を簡単にするために、解の集合が、ネットワーク内の離散的な位置の集合に狭められる。位置は、これらの離散的な位置の場所と交わる解を見つけることによって決定される。

【0111】

[000121]図５は、異なる音源からの音声信号の到達時間差を決定するためのプロセスのフローチャートである。１つの実装においては、検出器が、上述のＤＳＳＳデータ信号の手法を使用して符号化される異なる音源信号の到達時間差を測定する。この実装に関して、我々は、測位ネットワーク内のノードの間隔に基づいてチップシーケンスの長さを選択する。特に、我々は、少なくとも、我々が予測する音源信号の到達の間の最大遅延に等しいチップシーケンスの長さを選択する。スピーカーの最大距離が５０フィートである場合、音源１から音源２までの最大距離の差は約５０フィートである。１６ｋＨｚのサンプリングレートで、チップシーケンスは少なくとも８００サンプルであるべきである。

【0112】

[000122]ブロック１５０において、検出器が、符号化されたデータ信号の探索を実行する。ＤＳＳＳデータ符号化プロトコルに関して、検出器は、スライド、相関、及び試行復号プロセスを実行して有効な透かしペイロードを検出する。ブロック１５２において、検出器が、次いで、異なる音源からの音源信号を判別しようとする。この判別は、音源信号の一意のペイロード及び／又は一意の信号特徴によって行われる。

【0113】

[000123]ブロック１５４において、検出器が、異なる信号源の１つ又は複数のペアの間の時間差を測定する。次に、デバイスで受信された異なる音源信号のペアに関する識別子及び時間差が、ブロック１５６において位置計算機に与えられる。

【0114】

[000124]ブロック１５８において、位置計算機が、そのデータを使用してモバイルデバイスの位置を推定する。位置計算機は、既に概略を示したＴＤＯＡの手法を使用する。

【0115】

[000125]我々は、デバイスのマイクロホンにより取り込まれた１つの音源信号又は複数の音源信号の分析からモバイルデバイスの位置を計算するために、音響音声システムに音声による測位信号を組み込むための代替的な手法を説明した。これらの手法は、モバイルデバイスで位置及びナビゲーションを提供するためにさまざまな構成及び組合せで使用され得る。背景プログラム及び場内放送プログラムを提供するための音声再生機器の一義的な機能を妨げることなく使用され得るさまざまな改善がある。

【0116】

[000126]改善は、周辺音声レベルを感知することに基づいて透かしの強度を適合させることである。周辺音声レベルが高まるにつれて、周辺音声によってもたらされるより高いマスキングの閾値以内に留まるように、透かし信号は、それに応じて大きくされる。

【0117】

[000127]別の改善は、ホスト信号の組を受信機に与えることであり、そのとき、受信機は、非ブラインド透かし検出（ｎｏｎ−ｂｌｉｎｄ ｗａｔｅｒｍａｒｋ ｄｅｔｅｃｔｉｏｎ）を実行するために使用される。そのような検出においては、ホスト信号の知識が、符号化されたデータの復元能力を向上させるために使用される。例えば、ホスト信号の知識は、ホスト信号が透かし信号と干渉する場合にホスト信号の干渉を取り除くために使用され得る。別の例として、ホスト信号の知識は、ホスト信号特徴に基づいて透かし信号に適用される利得などの、透かしの符号化のコンテンツに依存するパラメータを突き止めるために使用され得る。

【0118】

[000128]別の改善は、位置ネットワーク内のスピーカーの特定の近辺の室内音響効果をモデル化し、次に、このモデルを使用して、その近辺で受信機によって取り込まれた音声に関する室内音響効果を反転させることを可能にすることである。

【0119】

[000129]ラウドスピーカーの範囲は制限されており、したがって、モバイルデバイスの位置を推定するためにいつも三角測量が必要であるとは限らない可能性がある。ただ１つのラウドスピーカーから近接度の情報を推測することができる。

【0120】

[000130]フラジールな透かしとロバストな透かしとの組合せが使用される可能性があり−より遠い距離で、フラジールな透かしは復元されず、そのことは音源からの距離の指標を提供する。音源信号は、第１の層で主な識別子とともに符号化され、次に、追加の副次的な層で、それぞれ、音源からの距離が離れるにつれて検出できなくなるロバスト性のレベル（例えば、振幅又は周波数帯域）で符号化される。

【0121】

[000131]さらに、同じ近辺内の複数の電話が、（例えば、Ｗｉ−Ｆｉプロトコル又はＢｌｕｅｔｏｏｔｈ（登録商標）プロトコルを用いて）互いに通信し、相対的な測位に基づいて情報を交換する可能性がある。

【0122】

[000132]上述の技術のさまざまな態様が、携帯電話などのモバイルデバイスで検出可能なさまざまな種類の音源信号に適用され得る。例えば、携帯電話は、ＲＦＩＤ又はＮＦＣ信号などのネットワークの位置に対応する音源信号を検出することができるその他の種類のセンサーを搭載する。

【0123】

[000133]図６は、測位システム上にアプリケーションサービスを構築するためのシステムアーキテクチャを示す図である。ハードウェア層は、エンドユーザのモバイルデバイス１６０とコンピュータネットワーク１６２とを含む。ユーザデバイスの観点から見ると、コンピュータネットワークは、追加の計算リソースと、メモリと、その他のモバイルデバイスのセンサーを利用することによってシステムに情報を供給し、さらに、計算リソース及び電力消費をモバイルデバイスからサーバにオフロードする、追加の位置及びコンテキストデータを取り込むための手段（例えば、「クラウド」コンピューティングサービス）とを提供するサーバ並びにその他のピアデバイスのネットワークを含む。ピアモバイルデバイスは、マイクロホン、カメラ、加速度計などのセンサーを有する。ピアモバイルデバイスは、メモリ管理、タスク管理などのようなデバイスの基本的な動作機能と、センサー、及びデバイスのこれらのセンサーから来るデータストリームにプログラムによってアクセスできるようにするためのアプリケーションプログラミングインターフェース（ＡＰＩ）とを提供するモバイルオペレーティングシステム（ＯＳ）も有する。

【0124】

[000134]このハードウェアレベルの上に、位置サービスソフトウェア層１６４がある。この層は、ピアモバイルデバイス及びサーバのネットワークに分散される。上でより詳細に説明されたように、モバイルデバイス上にある測位サービスソフトウェアが、モバイルＯＳを通じてセンサーからデータを取り込み、モバイルデバイスの位置を計算するためにサーバソフトウェアと連携して動作する。また、測位サービスソフトウェアは、モバイルデバイスに関する追跡セッションを開始、終了するための追跡層にセッション情報を与える。

【0125】

[000135]追跡層１６６は、基本サービス層の上にあり、モバイルデバイスのセッションを管理する。追跡層１６６は、デバイスに関するセッションＩＤを登録し、デバイスからの位置及びその他の関連するセンサーデータを追跡し、そのデータをセッションＩＤ及びデバイスＩＤと相互に関連付ける。

【0126】

[000136]アプリケーション層１６８は、追跡層と、層１６４から与えられる基本サービスとを使用して位置に基づくアプリケーションを提供する１組のアプリケーションプログラムである。３つの層１６４〜１６８のすべては分散されたアプリケーションであるので、それらの層は、モバイルデバイスのピアデバイス１６０及びコンピュータネットワーク１６２上に一部が存在するように示されている。

【0127】

[000137]モバイルデバイスの追加センサー
[000138]上述のように、モバイルデバイスのマイクロホン以外のセンサーが、位置及びナビゲーション情報を提供するのを支援するために使用される可能性がある。これらには、現在、スマートフォンによく搭載されている加速度計、コンパス／磁力計、ジャイロスコープ、カメラ、ＲＦＩＤデバイス、及び衛星に基づくＧＰＳが含まれる。スマートフォン及びビデオゲームコントローラに搭載されている加速度計又はジャイロスコープなどの加速度計又はジャイロスコープは、モバイルデバイスの向きを提供する。磁力計は、磁界を感知することによってコンパスのように向きを提供する。

【0128】

[000139]カメラは、測位、ナビゲーション、及びその他の位置に基づくサービスにさまざまな形で寄与する静止画像とビデオストリームとの両方の取り込みを行う。静止画像とビデオとの両方の取り込みは、デバイスが、電子透かし又はバーコードなどの周囲の物体に符号化されたデジタルデータを読み取ることを可能にする。このデジタルデータは、物体の識別を与える。そして今度は、この識別が、その物体自体についての関連情報と、ナビゲーション、並びに位置、向き、拡張現実（ＡＲ）などに関するフィードバックを提供する関連するユーザインターフェース（ＵＩ）サービスのためのその物体の位置並びに局所的な２Ｄ及び３Ｄ地図などのその物体のコンテキストとを提供するためにデータベースで参照され得る。デジタルデータを提供することに加えて、マシン読み取り可能な記号表示も向きの情報を与える。特に、システムは、店舗の壁若しくは棚の壁、床、又は天井などの固定表面上のマシン読み取り可能な記号表示の向きを計算することによってモバイルデバイスの向きを導出する。

【0129】

[000140]デバイスで取り込まれた静止画像及びビデオ画像は、画像認識アプリケーションにも使用され得る。そのようなアプリケーションは、近隣の物体上の一意の画像（例えば、ロゴ、テクスチャ、グラフィックス）から製品、床／天井、及び壁のパターンなどのような近隣のオブジェクトを特定することを含む。別のアプリケーションは、画像フレーム内の画像の特徴を追跡して、幾何学的な基準系が計算され得る壁、床、又は天井のような平坦面などの表面を検出することによって向きの情報を導出することである。例えば、画像特徴の認識が、実質的に平面である表面上の画像特徴を特定するために使用される。そして、これらの特徴位置が、スマートフォンのビデオカメラからの一連のビデオフレーム内のこれらの特徴を検出することによって経時的に追跡される。表面の向きのパラメータが、その表面に対するスマートフォンの位置及び向きの基準系を与えるために特徴位置から導出される。特徴の例には、スケール不変特徴変換（ＳＩＦＴ：Ｓｃａｌｅ Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍｓ）、及び高速化ロバストフィーチャー（ＳＵＲＦ：Ｓｐｅｅｄｅｄ Ｕｐ Ｒｏｂｕｓｔ Ｆｅａｔｕｒｅｓ）と呼ばれるものなどの変種を使用して計算されるロバストな特徴が含まれる。この基準系は、選択されたＵＩアイテムの合成されたグラフィックスが、デバイスによって取り込まれたビデオストリーム又は近隣の棚及びその他の物体の３Ｄ合成表現に幾何学的な基準系内で重ね合わされるＡＲ型ディスプレイのようなＵＩサービスを可能にする。

【0130】

[000141]モバイルデバイスでの画像の取り込みによって可能にされる別の能力は、周囲の光源の時間とともに変わるデータシグナリングを読み取る能力である。モバイルデバイスのカメラは、システムが、施設又は物体の照明（例えば、ＬＥＤに基づく光シグナリング）、（その他のスマートフォンのディスプレイを含む）ビデオディスプレイ、店舗の照明、製品のディスプレイなどで伝達される信号を読み取り、復号することを可能にする。時間とともに変わるデジタルデータ信号は、デジタルデータストリームによって照明デバイスの出力を変調することによってモバイルデバイスに伝達され得る。店舗内に置かれたビデオディスプレイは、埋め込みリンクを有するデジタル透かしを付けられた画像、又はバーコードデータに符号化されたリンクを有するバーコードを表示することによって、プロモーションへのマシン読み取り可能なリンクを提供することができる。

【0131】

[000142]上述の測位システムではマイクロホンが主として測位のための音源を感知するために使用されているが、マイクロホンは、製品情報、店舗内プロモーション、又はシステムの追跡若しくはアプリケーション層へのシステムコマンドを参照する透かし情報を復号するためにも使用され得る。

【0132】

[000143]モバイルデバイスの（近距離通信（ＮＦＣ：Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）デバイスを含む）ＲＦＩＤ読み取り装置、Ｗｉ−Ｆｉインターフェース、及びＢｌｕｅｔｏｏｔｈ（登録商標）インターフェースのような追加の無線デバイスセンサーが、システムを拡張する追加のデータを提供する。これらは、画像又は音声シグナリングによって伝達されるその他のデータ搬送波のような近隣の物体を特定することと、さらに、ネットワーク内のデバイス間で位置及びタイミング信号を伝達するための通信チャネルを提供することとを含む。

【0133】

[000144]周囲の物理的な環境からの入力又はデバイスの動きを取り込むセンサーに加えて、モバイルデバイスのコンピューティングプラットフォームは、ユーザプロファイル及び嗜好性、トランザクションの履歴、カレンダーなどのユーザコンテキスト情報を保有する論理入力も含む。特に、ユーザのスマートフォンシステムの購入及び検索トランザクションの履歴とカレンダーとの両方は、時間、場所、関連する連絡先情報、及びサブジェクト記述子（ｓｕｂｊｅｃｔ ｄｅｓｃｒｉｐｔｏｒ）のようなユーザコンテキストを示す前のトランザクション及びユーザのカレンダーから嗜好性を推測することを可能にすることによってユーザの嗜好性及びユーザコンテキストの代用となる。

【0134】

[000145]追跡層
[000146]上で、我々は、モバイルデバイスのユーザ並びにシステムオペレータ及びその他の関係者（ｃｏｎｓｔｉｔｕｅｎｔ）にサービスを提供するために、ハンドセットで取り込まれた位置及び関連するデータ（音源信号、センサーからの向きのデータ）を処理するためのいくつかの方法の概略を述べた。システムに追跡層を導入することは、デバイスの位置を計算する中核機能の精度を高めるだけでなく、経時的なデータの追跡に基づいて構築されたアプリケーション層を通じて提供される追加サービスを可能にする。追跡層は、（例えば、モバイルデバイスと、モバイルデバイスからの位置を記録し、補間し、速度、動きの方向などの追加情報を付け加えられた、モバイルデバイスの連続的な経路を提供する支援ネットワークコンピューティング環境（「クラウド」）上のシステム内に実装される１組のメソッドである。位置検出イベントのこのデータ及びモバイルデバイスからのセンサーフィードは、システムの精度及びロバスト性を高め、位置、向き、連続的な経路、速度、加速度、物体の識別、及びその他の追跡情報を追跡層のＡＰＩを通じてアプリケーション層のアプリケーションプログラムに提供するために使用される。アプリケーション層は、追跡層のサービスを使用して、デバイスのナビゲーション、ショッピングアプリケーション（ショッピングガイド、比較購買、プロモーション及びクーポンの引換え、モバイルデバイスからの電子購買など）、位置に基づく検索サービス、位置に基づくメッセージ及びソーシャルネットワーク、マーケット情報の収集などのようなアプリケーションを構築する。

【0135】

[000147]追跡層は、ネットワーク内のモバイルデバイスと通信する１つ又は複数のサーバシステムで実装されるネットワークアプリケーションである。任意の所与のアプリケーションで、モバイルデバイスは、ナビゲーションセッションによりネットワークに出入りし、そのナビゲーションセッション中に、追跡層がデバイスにログインし、セッションに関してデバイスからデータを取り込む。このデータには、マイクロホン、加速度計、磁力計、及び／又はデバイスの向きを提供するジャイロスコープ、取り込まれた画像を提供するカメラ、より幅広い位置コンテキストを提供する（例えば、店舗内アプリケーションに関連する店舗若しくはモールにユーザが到達するときに、ユーザのスマートフォンの店舗内モバイルアプリケーションを起動する）ＧＰＳのようなデバイスのその他のセンサーなどから取り込まれたデータが含まれる。

【0136】

[000148]セッション中に、追跡層は、そのセッションにおけるモバイルデバイスの位置及び向きのデータ変化を分析し、速度（デバイスの速さ及び向き）など、位置に基づくサービスのためのさらなる情報を導出する。この情報から、追跡層は、ユーザの動きを予測し、データの異常値を検出し、取り除き、デバイスから取り込まれたデータに基づく計算の精度を向上させるためにユーザデバイスにフィードバックを提供する。

【0137】

[000149]例えば、モバイルデバイスの位置をそのモバイルデバイスのマイクロホンの範囲内の音源の位置として決定する上述のシステムには、モバイルデバイスが近隣の音源の間の境界にあるときに曖昧さがある。モバイルデバイスが音源の近辺の間を移動するとき、そのモバイルデバイスのマイクロホンは、曖昧さをもたらす２つの音源からの音声を取り込む。システムの追跡層は、検出メトリックを使用して、どちらの音源信号がより信頼でき、したがってより近い音源に対応しているかを評価する。また、追跡層は、検出メトリックを使用してシステムメッセージサービスを実装し、そのシステムメッセージサービスは、これらのサービスを呼び出すアプリケーション層のプログラムがスマートフォンのＵＩでフィードバックメッセージを提供することを可能にする。したがって、ＵＩは、デバイスの使用方法（例えば、そのデバイスを向ける方向、又はそのデバイスを安定させるか若しくはセッションのためにそのデバイスを初期化する方法）、或いはどこに移動すべきか（通路をゆっくりと進む）についてユーザに案内する。ユーザの位置及び向きを経時的に追跡することによって、追跡層は、近くの音源の方向を予測し、方向予測サービスをアプリケーション層に提供し、アプリケーション層は、これらのサービスを使用して、デバイスでのフィードバック（例えば、ショッピングの通路に沿って進むか又は戻るようにユーザに促すディスプレイ又は音声出力上の単純な出力メッセージ）を通じてそこにいるユーザを案内する。

【0138】

[000150]曖昧さに対処し、データの異常値を取り除く又はフィルタリングするだけでなく、追跡層は、デバイスの速度（速さ及び方向）並びに加速度を計算し、この情報を、この情報を使用してナビゲーションサービスを提供するアプリケーションに提供する。このサービスのために、追跡層は、デバイスの位置を経時的に予測し、それによって、デバイスの連続的な経路を生成する（例えば、それらの位置決め点を通る経路を経時的に補間する）。ユーザの向き及び移動についての詳細が、加速度計及び磁力計からの経時的な向きのデータを使用し、そのデータをフィルタリングして異常値を平滑化し、フィルタリングされたデータからデバイスの軌跡を描くことによって導出される。

【0139】

[000151]アプリケーション層
[000152]アプリケーション層は、追跡層を使用してソフトウェアアプリケーションをユーザに提供するソフトウェアプログラミングの層である。このアプリケーションは、少なくとも部分的にユーザのデバイスで実行され、ユーザにサービスを提供するために追跡層のサービスとインタラクションするアプリケーションである可能性がある。また、このアプリケーションは、主としてシステム又はサーバ側で実行され、マーケット情報のデータ収集及び報告のようなサービスを企業に提供するアプリケーションである可能性がある。次の節で、我々は、アプリケーション層のさまざまなナビゲーションに関連するアプリケーションを説明する。

【0140】

[000153]ナビゲーション
[000154]ナビゲーションアプリケーションは、追跡層からの基本的な位置情報と、デバイスの移動、向き、及び方向に関する追加情報とを使用してナビゲーションサービスを提供する。ナビゲーションアプリケーションは、デバイスのユーザを目的地又はひと続きの目的地に案内するアプリケーションを含む。これらの目的地は、ユーザによってインタラクティブに入力され、その他のユーザ入力に基づいて導出され、及び／又はコンテキストデータ若しくはコンテキストデータから導き出された推論からユーザセッション中に動的に生成される可能性がある。

【0141】

[000155]上述の測位技術は特に屋内の測位アプリケーションに適合されているが、最も有用なナビゲーションアプリケーションの一部は、大型の店舗又はショッピングモール内でのユーザのショッピング体験（ｓｈｏｐｐｉｎｇ ｅｘｐｅｒｉｅｎｃｅ）を楽にすることに関連する。１つのそのようなアプリケーションは、システムのナビゲーションサービスに基づいて組み立てられた案内付きのショッピング体験である。

【0142】

[000156]図７〜１０は、ショッピング向けに作られたナビゲーションアプリケーションの例を示すフローチャートである。これらの図に示された特定の処理フローに加えて、我々は、それと異なるさまざまな代替的プロセスモジュール及びシーケンスも説明する。処理モジュール及び動作のシーケンスは、構成を変更され、その他の特徴を付け加えられる可能性があり、これらは、単なる代表的な例である。

【0143】

[000157]図７は、ナビゲーションアプリケーションの初期データ収集及び移動計画段階を示すフローチャートである。ブロック１７０は、嗜好性がユーザによって直接与えられ、その他の入力から導出されるデータ収集プロセスを示す。直接入力は、店舗、製品カテゴリーなどによって編成されたドロップダウンメニュー及び検索インターフェースのオプションによって容易にされ得るユーザのショッピングリスト上の品物を含む。間接入力は、さまざまなソースから導出される。１つのソースは、例えば、Ｇｒｏｕｐｏｎ又はＬｉｖｉｎｇＳｏｃｉａｌなどのプロモーションサービスを通じてシステムに電子的に送信されるプロモーション又はクーポンである。別のソースは、ユーザが製品からクーポンをスキャンすること、又はスマートフォンのカメラを使用した表示による。

【0144】

[000158]入力の別のソースは、電子メール、テキスト、ソーシャルネットワークアプリケーションのようなメッセージアプリケーションからシステムにポストされたメッセージ（例えば、Ｆａｃｅｂｏｏｋ、Ｔｗｉｔｔｅｒ、Ｆｏｕｒｓｑｕａｒｅアカウントへのポスト）から与えられる。この種の入力は、家族及び友人がしばしば買い物をするよくある方法、すなわち、家族が他の家族にショッピングリスト及び提案を渡すこと、友人が他の友人が好きそうな製品を推薦すること、子供が両親にプレゼントのリストを送ることなどに対応する。このメッセージをサポートするために、アプリケーションは、製品ポスト（ｐｒｏｄｕｃｔ ｐｏｓｔｉｎｇ）が電子メールで送られるか、テキストメッセージで送られるか、ソーシャルネットワークサービス（例えば、Ｆａｃｅｂｏｏｋ、Ｔｗｉｔｔｅｒなど）へのポストで送られるかに関係なく、さまざまな形式のそれらの製品ポストをアプリケーションが読み取ることを可能にするメッセージインターフェースを有する。推薦のテキスト、又は音声／ビデオクリップのような友人からの追加入力も、ポストされ、システムによって取り込まれ、ショッピング中の適切な時間及び場所で買い物をしている人に通知メッセージとして再生するために記録される可能性がある。

【0145】

[000159]ブロック１７２は、前に収集されたさまざまな形式のユーザデータから嗜好性を導出するプロセスを表す。これは、直接入力又は間接入力、及びアプリケーションに記憶された以前のユーザのショッピング履歴からまとめられたショッピングリストを含む。さらなる嗜好性が、検索履歴などのその他のアプリケーションの履歴、ユーザのカレンダー、ユーザのソーシャルネットワークアプリケーションの嗜好性の設定などから嗜好性を推測することによって導出され得る。

【0146】

[000160]ブロック１７４は、前のステップで収集された情報に基づいて嗜好性の複合的な組をまとめるプロセスを表す。もちろん、ユーザは、アプリケーションがアクセスできるソースの種類を選択することによって特定の種類の嗜好性が使用されるか又は使用されない動作モードを選択する機会を与えられ得る。それが終わると、アプリケーションは、ブロック１７６に示されるようにショッピング施設（例えば、ユーザのお気に入りリストにある店舗、モール、又は特定の地域の店舗グループ）に関してデータベースに問い合わせる。この問い合わせは、ユーザの嗜好性に合致する製品と、それらの製品の関連する位置とを返す。ユーザの好みの品物又は関連する品物に関して店舗の運営者がシステムに入力した任意の販売促進のための提案が返される。この段階で、ユーザは、特定の製品、製品カテゴリー、又はプロモーションに関する関心のレベルを高められる可能性がある。

【0147】

[000161]次に、ブロック１７８は、ユーザにとって関心のある店舗又は店舗の組に関するショッピングの経路を計算するプロセスを表す。主要な経路及び副次的な経路が、ユーザが選択した品物（主要な経路）か、店舗の運営者からのプロモーションに基づいて関心があるかもしれない追加の品物、若しくはユーザが直接入力した品物との関連性に基づいて関心があるかもしれない関連する製品（副次的な経路）かのどちらかのショッピングのみに関するユーザの関心に基づいて計算される。経路は、各経路に関する製品の位置と、店舗内のこれらの品物の地図とに基づいて計算される。主要な経路は、その経路に関連する品物のための効率的な移動経路を与えるように計算される。副次的な経路は、店舗の運営者が、買い物をしている人に、店舗内のその他の製品及びプロモーションに関する追加の選択肢を与える機会を提供する。

【0148】

[000162]ブロック１８０は、店舗の地図（例えば、見取り図）に関連して経路をグラフィカルに示す経路の地図を生成するプロセスを表す。このグラフィカルな図は、ショッピング前及びショッピング中に利用可能な選択肢をユーザに知らせる手段を提供する。ユーザは、主要な経路及び副次的な経路を見て、ズームインし、経路上に示される品物又はプロモーションを選択又は選択解除（ｕｎ−ｓｅｌｅｃｔ）することができる。ユーザが関心のある１つの経路又は複数の経路を承認すると、アプリケーションは、ブロック１８２に示されるように、選択された製品、プロモーション、他の人によるメッセージのポストなどに対応する１組の通知オプションを生成する。アプリケーションは、ユーザが通知オプションを吟味し、それらの通知オプションを見て、リマインダーを追加／削除するためのＵＩを提供する。このＵＩは、以下でさらに説明されるように設定された通知を更新するために、ショッピング前及びショッピング中に呼び出される可能性がある。

【0149】

[000163]ユーザによって予め設定された任意のデフォルトの承認を含め、ユーザによって承認されると、アプリケーションは、ブロック１８４に示されるように、通知をスケジューリングする。スケジューリングプロセスは、通知を、各通知を位置によってインデックス付けするキューに入れ、その結果、アプリケーションは、ユーザの位置がキューに入れられた通知の位置に合致するときにキューからの通知をトリガーする。アプリケーションは、キューにアクセスし、スケジューリングされた通知を吟味し、（システム又は友人からの関連するテキスト、ビデオメッセージ、又は音声メッセージを含む）通知を再生し、必要に応じてそれらの通知を更新するためのＵＩをユーザに提供する。

【0150】

[000164]図８は、セッション中のモバイルデバイスの移動を追跡するためのプロセスを示すフローチャートである。このプロセスは、基本的な測位サービス（例えば、図６の層１６４）と、追跡サービス（例えば、図６の追跡層１６６）と、アプリケーション層１６８で実行されるアプリケーションプログラムとの組合せを用いて実装され得る。この例においては、位置サービスが、デバイスの位置を計算し、追跡層が、セッション中のモバイルデバイスの移動を追跡する。プロセスは、特定のシステムに検出されるイベントが発生するときに自動的に開始されるか、（例えば、ユーザが位置に基づくショッピングサービスが有効化される店舗に到達するときに）ユーザがアプリケーションプログラムのＵＩを通じてプロセスを起動するときに手動で開始されるか、又はシステムがナビゲーションサービスを利用可能であることをユーザに知らせ、ナビゲーションアプリケーションを自動的に起動し、それに応じて、ユーザが同意し、所望の１つの経路若しくは複数の経路を選択し、ナビゲーションセッションを開始する、手動トリガーとコンピュータにより自動化されたトリガーとの混合によって開始される可能性がある（ブロック１９０）。この移動追跡プロセスの開始によって、ブロック１９２に示されるように、追跡層がセッションに関するモバイルデバイスの移動を追跡する追跡セッションが開始される。

【0151】

[000165]セッション中、セッションを制御するアプリケーションプログラムは、デバイスの位置及び向きを決定するために使用されるセンサーをオンにするためにシステムに呼び出しを行う。この例示的なスマートフォンアプリケーションの場合、マイクロホンが周辺音声を感知するために使用される。ブロック１９４に示されるように、位置サービス層が、上で詳細に示された技術で説明されたように音源を検出することによって位置を計算する。追跡層が、ブロック１９６に示されるように位置データを記録する。ブロック１９８で言及されたように、追跡層は、デバイス（特に、加速度計、コンパス、及び／又はジャイロスコープ）から取り込まれた向きデータと、経時的に計算された位置データの履歴から導出された速度とをさらに記録する。ブロック１９４〜１９８の処理は、セッションがブロック２００で終了するまで継続する。セッションの始まりと同じように、セッションの終了は、（例えば、デバイスが現在の施設を離れるときに）自動的に、又はアプリケーションのＵＩを通じてユーザによってトリガーされ得る。

【0152】

[000166]移動追跡プロセスは、モバイルデバイスの位置、向き、及び移動（速度、加速度）の履歴を提供し、その履歴から、さらなるサービスが提供される。図９及び１０は、これらのさらなるサービスの例である。

【0153】

[000167]図９は、経路追跡プロセスの例を示すフローチャートである。このプロセスは、ナビゲーションアプリケーションと連携して追跡層によって行われる。この例において、ユーザの移動の追跡は、セッション中のユーザのリアルタイムの経路を計算するために使用される。経路追跡サービスは、ブロック２１０に示されるように、セッションの始まりに開始される。ブロック２１２において、追跡層が、最新の時間枠内の位置及び向きのデータをフィルタリングして異常値を取り除き、データを平滑化する。次に、追跡層は、ブロック２１４に示されるように、位置データによってリアルタイムの経路を計算する。このリアルタイムの経路の計算は、フィルタリングされたデータに曲線を当てはめることをともなう。

【0154】

[000168]そして今度は、リアルタイムの経路が、ナビゲーションの案内を提供するためにアプリケーション層に与えられる。ブロック２１６〜２１８の処理フローに示される１つのそのような例は、ショッピング施設の館内地図上に経路を重ね、次に、モバイルデバイスのＵＩ表示でその地図を描画して、商品ディスプレイ、壁、及びショッピング施設内のその他の物体に対するユーザの位置及び移動を示すことである。この経路の描画の詳細はアプリケーションのＵＩの設計の問題であり、多くの代替的なＵＩの特徴があり得る。

【0155】

[000169]例えば、経路は、２Ｄ又は３Ｄの館内地図上に重ね合わされ、任意で、ＡＲ型の特徴によって拡張され、図７のようなプロセスで計算された最適な経路に関連して表示される可能性がある。１つのＵＩの構成においては、アプリケーションのＵＩが、ユーザが図７で計算されたショッピングの経路の中から選択することを可能にする。そして、ユーザは、選択された経路に沿ってユーザを案内し、及び／又はスケジューリングされた通知条件が満たされるときに通知を発するように、クレードルにつながれている間にアプリケーションがさまざまなレベルの通知を送る自律モードにアプリケーションを切り替えることができる。代替的に、ユーザは、ユーザがスマートフォンのディスプレイ上に描画された事前に計算された経路に対するそのユーザの経路を見ることができるインタラクティブモードにアプリケーションを切り替えることができる。

【0156】

[000170]モバイルハンドセットの電力消費を節約するために、描画は、特定のユーザの表示要求に制限される可能性があり、視覚的／聴覚的／触覚的（デバイスの振動）通知は、通知条件が満たされるときにだけ与えられる。経路を表示する代わりに、ユーザが選択されたショッピングの経路からそれたことをシステムが検出するときにトリガーされるシステムの通知に応答して、案内を行うために合成音声出力が使用される可能性がある。

【0157】

[000171]ショッピングカートのクレードルに置かれたスマートフォンは、追加的なＵＩ、物体認識、及びデータ読み取り機能をサポートするためにカメラモードに切り替えられる可能性がある。例えば、１つの構成において、スマートフォンは、前を向いたカメラがカートの前の店舗内の物体のビデオを取り込むようにクレードルにつながれる。クレードルの動きの自由度は、電話が正しく前を向くか、又は製品の棚に正対して横を向くように制限される可能性がある。モバイルデバイスのカメラからの入力は、周囲の環境の画像だけでなく、近隣の物体、表面（例えば、床、天井、及び商品棚）の拡張現実の表示を構築するために近隣の物体の向きが導出され得る画像フレームのストリームも提供する。

【0158】

[000172]ＵＩの表示は、合成によって生成された地図のグラフィックスを含むか、ＡＲ機能が取り込まれたビデオをグラフィカルな要素と混合することを含むか、又はそれら両方の何らかの組合せを含むかにかかわらず、ＵＩ上に示される店舗の部分にある製品又は商品に対応するプロモーションに対応するグラフィカルな描写でさらに埋められる可能性がある。上述のように、多くの代替的な構成が可能であり、我々は、通知を管理するための一連の例示的なアプリケーションプログラムの特徴に関連するこのＵＩの概念に戻る。

【0159】

[000173]図１０は、ナビゲーションアプリケーションで通知を管理するためのプロセスを示すフローチャートである。上述のように、通知は、図７に関連して説明されたのと同じ方法で、一部がショッピングリスト及びメッセージアプリケーションから前もって計算され、その他は嗜好性から計算されるいくつかの異なるソースから導出されるが、店舗内でユーザの動的なコンテキストに基づいて動的にそのような導出が行われ、ユーザの嗜好性が、店舗においてセッション中に、自動的に検出された変化する条件、又はユーザ若しくはそのユーザの友人による入力に応答してリアルタイムで動的に更新される。動的なコンテキストは、滞在中にユーザに勧められた店舗内プロモーション、コンテスト（ｃｏｎｔｅｓｔ）などに対するユーザの反応、他者から（例えば、品物の受け取りの閉店間際のリマインダー（ｌａｓｔ ｍｉｎｕｔｅ ｒｅｍｉｎｄｅｒ）、又はソーシャルネットワークサービスのアカウントにポストされた更新から）受信されたメッセージなどの入力によって操作される。また、動的なコンテキストは、店舗のショッピングのオプションをブラウジングしている間にショッピングアプリケーション上のオプションのメニューからユーザがプルした項目に基づいて更新される。プッシュ型か又はプル型かのどちらかの通知の生成によって新しい通知が入力されるとき、それらの通知は、通知のキューに追加され、スケジューリングされ、店舗内の位置にすべてインデックス付けされる。

【0160】

[000174]図１０を参照すると、ナビゲーションアプリケーションが、ブロック２２０に示されるようにセッション中に通知を監視する。これは、周期的に更新されたキューを追跡層に渡し、そして次に、追跡層が、店舗の領域内のユーザの特定の位置及び大域的な位置（ｍａｃｒｏ ｌｏｃａｔｉｏｎ）を追跡することに基づいて通知をトリガーするための条件（例えば、買い物をしている人は、ちょうど建物に入るのか、顧客サービス窓口のところに立っているのか、通路を見て回っているのか、又は精算を待っているのか）を監視することによって実施される可能性がある。通知は、その他の感知されたコンテキストに基づき、メッセージアプリケーション又はその他のモバイルＯＳレベルのイベントを通じてアプリケーションとインターフェースするその他のプログラムのプロセスからの直接の要求に応答してトリガーされる。

【0161】

[000175]決定ブロック２２２に概要が示されているように通知条件が満たされるとき、アプリケーションは通知を出力する。ＵＩの詳細は変わり得るが、好ましくは、通知は、ユーザの嗜好性（表示、振動、及び／又は音声メッセージ）にしたがい、さらなるユーザの選択肢とともに出力され、さらなるユーザの選択肢とは、すなわち、経路の再計算、メッセージ（友人からのビデオ若しくは音声、製品のプロモーションビデオ、製品の動作を実演する取扱説明ビデオなど）の再生、通知の管理（削除、延期、応答など）、又はユーザのデバイスの任意の数のその他の関連するモバイルアプリケーションの起動である。

【0162】

[000176]通知からアプリケーションを起動する可能性は、非常にたくさんある。ブロック２２６〜２３２において、図１０は、位置及びコンテキストに基づく通知によって起動されるアプリケーションのいくつかの例を特定する。１つのアプリケーションは、買い物をしている人が選択した製品が、ショッピングリストで指定され、買い物をしている人が店舗内の製品の位置に着くときにトリガーされる通知で強調される製品と一致することを買い物をしている人が検証するのを手助けする製品検証アプリケーション２２６を開始することになる。このアプリケーションは、ユーザのモバイルデバイスのカメラを使用してバーコードを読み取るか又は製品パッケージを認識し、一致することを確かめる。その上、ショッピングカート内の品物の価格の合計を表にすること、ショッピングリストに反して取得された品物の成り行き（ｐｒｏｇｒｅｓｓ）を示すこと、提供されたクーポン又はプロモーションを適用することによって得られる節約を示すこと、カート内の品物を店舗の販売時点情報管理支払いネットワーク又は後方業務コンピューティングシステムに伝えることによって精算を速くすること、電子決済など、さらなるショッピングの効率を高める特徴が、このアプリケーションに追加される可能性がある。

【0163】

[000177]別の例は、ユーザがそのユーザのリスト上に有するか、若しくはリストの別の製品に関連する製品か、又は買い物をしている人からの導出されたコンテキスト及び買い物をしている人のセッションコンテキストに基づいて買い物をしている人に見返りを与えるために店舗が提供しようとする製品かのどちらかの製品をプロモートするように設計されたモバイルアプリケーションであるプロモーションアプリケーション２２８である。このコンテキストは、セッションの履歴から、買い物をしている人が店舗内のいくつかの場所を訪れたこと、及び／又は（例えば、スマートフォンのセンサーを使用して製品についての情報をサンプリングすることによって）特定の製品に関心を示したことを観察することによって導出される。この例において、買い物をしている人の位置又はその他の買い物をしている人のコンテキストは、プロモーションの通知が、特定の場所、又は店舗内の所定の場合（例えば、経過時間、及び／又は移動の履歴を追跡することによって部分的に導出される製品の関心）にスケジューリングされるようにする。その買い物をしている人の通行のパターンを知ることで、店舗の運営者は、追跡セッションから見極められた買い物をしている人の行動に見返りを与えるためのたくさんのプロモーションを立案することができる。

【0164】

[000178]プロモーションの通知に関するコンテキストは、追跡セッションによって決定される店舗内のショッピング行動の集合的な監視によって操作される可能性もある。通知は、特定の位置で検出された通行の特定の流れに役立つか、又は、集約されたセッションのログに示された、訪れていないその他の場所に通行を向かわせるように生成される可能性がある。

【0165】

[000179]買い物をしている人のセッションの監視はユーザが選択可能なプライバシーの制約にしたがう（例えば、追跡を行うことに対するプロモーション上の報奨があるオプトイン追跡（ｏｐｔ ｉｎ ｔｒａｃｋｉｎｇ））が、モバイルデバイスの測位システムから収集されたデータは、ユーザがそのユーザのショッピングのセッションを非公開のままにしておきたい場合でも、店舗が通行のパターンを個人を特定できないような形でやはり監視することができるように、店舗の通行の監視の際にその他のデータを付け加えられる可能性がある。通行の監視は、店舗の通路を通る通行の流れを検出し、測定するために、光、音声、又は圧力センサーなどのその他の種類のセンサーによって実行される可能性がある。１つのそのようなセンサーネットワークは、店舗の床をユーザが歩くことによる振動を感知し、信号認識プロセスに基づいてその振動の特徴を明らかにし、そして、認識イベントを通行パターンデータへと集約する光ファイバーケーブルネットワークである。光ファイバーセンサーネットワークと信号特徴を明らかにするシステムとは、Ｆ．Ｂｌａｃｋｍｏｎ及びＪ．Ｐｏｌｌｏｃｋ、「Ｂｌｕｅ Ｒｏｓｅ Ｐｅｒｉｍｅｔｅｒ Ｄｅｆｅｎｓｅ ａｎｄ Ｓｅｃｕｒｉｔｙ Ｓｙｓｔｅｍ」、Ｔｅｃｈｎｏｌｏｇｉｅｓ ｆｏｒ Ｈｏｍｅｌａｎｄ Ｓｅｃｕｒｉｔｙ ａｎｄ Ｈｏｍｅｌａｎｄ Ｄｅｆｅｎｓｅ Ｖ、ＳＰＩＥ会報、６２０１巻、６２０１２３ページ、２００６年に記載されており、この文献は、参照により本明細書に援用される。モール又は店舗でこの種のセンサーシステムを実装するために、光ファイバーを備えたセンサーネットワークが施設の床に設置される。光ファイバーは、レイリー光散乱によって、買い物をしている人が床を歩くことによって伝わる音圧を感知する。音声と同様の特性を有する感知された信号は、光受信機から取り込まれ、デジタル信号に変換され、それから、そのデジタル信号が、コンピュータで実行される信号認識プログラムに供給される。信号認識プログラムは、床の上を歩く人と相互に関連付けられる信号パターンを検出し、歩行者の通行の測定値へと集約される検出イベントを提供する。

【0166】

[000180]ユーザがショッピングのためにそのユーザのスマートフォンを使用することを選択しない場合、カートが、同様の機能を持つ専用のモバイルデバイスによって有効化される可能性がある。

【0167】

[000181]ローカルのコンテキストによって操作される通知によってトリガーされる別の例示的なアプリケーションは、ソーシャルネットワークアプリケーション２３０である。この場合、ユーザの店舗内コンテキスト（ｉｎ ｓｔｏｒｅ ｃｏｎｔｅｘｔ）が、スマートフォンのソーシャルネットワークアプリケーションのアカウントで登録されたソーシャルネットワークサービスに関連する通知をトリガーする。上述のように、この通知は、店舗の品物に関して友人によって与えられる推薦である可能性がある。買い物をしている人がこれらの品物のうちの１つの場所に到達するとき、ソーシャルアプリケーションは、ユーザの友人の推薦を送り出し、表示する。通知は、その買い物をしている人及びその他の買い物をしている人によっても生成され得る。買い物をしている人は、店舗内コンテキストによってトリガーされるソーシャルネットワークサービスからの通知を受信することができるだけでなく、特定の製品又は店舗のディスプレイの売り物をタグ付けすることによってソーシャルネットワークにメッセージをポストすることもできる。例えば、ユーザは、特定の店舗内の位置にインデックス付けされた製品に関する推薦又はフィードバック（例えば、製品の評価、製品についての質問、製品アイデア、及びレシピのような使用方法など）をソーシャルネットワークサイトにポストすることができる。ソーシャルネットワークサイトは、店舗のセクションに固有の場所であるか、店舗に固有であるか、又はユーザに固有である（ユーザ自身のＦａｃｅｂｏｏｋページ若しくはＴｗｉｔｔｅｒアカウント）可能性がある。店舗内の製品又は店舗によってかき立てられたフィードバックのソーシャルネットワークのタグ付けのこのコンテキストに基づくトリガーは、ナビゲーションアプリケーションが、ユーザがショッピング体験によって高揚している間にソーシャルなインタラクティブ性を引き起こすことを可能にする。これは、買い物をしている人が、店舗における特定の製品コンテキスト（ｐｒｏｄｕｃｔ ｃｏｎｔｅｘｔ）に結びつけられたショッピング体験中に、店舗の運営者、その他の買い物をしている人、及び友人からのフィードバックを直ちに共有し、得ることを可能にする。ソーシャル体験（ｓｏｃｉａｌ ｅｘｐｅｒｉｅｎｃｅ）が、製品及び店舗内の製品の位置に対するソーシャルな入力（ｓｏｃｉａｌ ｉｎｐｕｔ）をユーザがタグ付けすることによって集約されるので、ナビゲーションアプリケーションは、大勢の人のポストが（例えば、図７のプロセスのようなプロセスから導出されるような）買い物をしている人のセッションの通知条件を満たすときに、他の人のこの大勢の人に基づくタグ付けについてユーザに通知することによってショッピング体験を高める。

【0168】

[000182]好ましくは、製品品目のソーシャルなタグ付け（ｓｏｃｉａｌ ｔａｇｇｉｎｇ）は、店舗の在庫管理システムに逆に結びつけられる。商品データベースは、リレーショナルデータベース管理を使用して、製品の入手可能性を動的に更新し、この入手可能性を製品の位置に相互に関連付ける。又は、製品が店舗内で移動されるとき、１つの位置にタグ付けされた製品は、新しい製品の位置を用いてデータベースにおいて動的に更新される。

【0169】

[000183]さらに別の例は、ブロック２３２に示されるように、検索アプリケーションである。この検索アプリケーションは、製品レビュー、比較購買、製品取扱説明書などの検索を容易にするように設計され得る。ナビゲーションアプリケーションは、対象の検索エンジンの問い合わせを組み立てるための、位置に基づき、買い物をしている人のセッションから導出されたコンテキストを提供する。通知が検索アプリケーションを起動する特定の場合、この検索アプリケーションは、（店舗内の製品のディスプレイのコンテキスト及び店舗のコンテキストを含む）製品の識別及び位置、関連するプロモーション、並びに買い物をしている人のセッションの履歴を含む、その通知の店舗内コンテキストを与えられる。これは、検索がその検索及びその検索結果をより効果的に組み立てることを可能にする。

【0170】

[000184]クレードルによる拡張
[000185]我々が上で述べたように、ユーザのスマートフォン用のクレードル又は同様の形態のドッキングポートが、いくつかの特徴及び利点をもたらす。クレードル又は同様の形態のドッキングポートは、ハンズフリー自律動作モードを容易にする。さらに、クレードル又は同様の形態のドッキングポートは、ショッピングカートの基準系に対して、スマートフォン又はその他のモバイルデバイスのマイクロホン及びカメラを含むセンサーの位置を固定する。クレードル又は同様の形態のドッキングポートが対処する別の課題は、使い勝手である。買い物をしている人は、買い物をしているときにそれらの買い物をしている人のスマートフォンのモバイルアプリケーションとインタラクションする便利な方法を持たない場合、それらのモバイルアプリケーションを使用する可能性が低い。ユーザがデバイスとインタラクションすることをより簡単にすることによって、ユーザがモバイルアプリケーションを使用する可能性が高くなる。

【0171】

[000186]使い勝手は、ユーザを、それらのユーザのデバイスをクレードルに取り付ける気にさせる特徴及び構成要素を追加することによってさらに高められる。１つの構成要素は、バッテリー充電器である。これは、スマートフォンが測位アプリケーションのための連続リスニングモード（及び／又はカメラによるルックモード（ｌｏｏｋｉｎｇ ｍｏｄｅ））である間の電力消費の問題と、デバイスを充電されたままにするという利点をユーザに提供することとの両方に対処する。充電器を実装する１つの方法は、ショッピングカートに取り付けられたバッテリーからデバイスに電力を供給する電磁誘導充電クレードルポートを設けることである。バッテリーは、ポートと、ポートに置かれたモバイルデバイスとの間の電磁結合によって電力を供給する充電ステーションとして働く。このカートに取り付けられたバッテリー自体は、カートスタンドの充電ステーションにバッテリーを直接差し込むか、又はカートのバッテリーと、使用されていないときにカートが返却されるショッピングカートポートに接続された第２の充電ステーションとの間のより強力な電磁結合を使用するかのどちらかによって充電され得る。

【0172】

[000187]電磁誘導充電器は、誘導コイルを使用して充電基地局内から交流電磁場を発生させ、ポータブルデバイス内の第２の誘導コイルが、電磁場から電力を得て、その電力をバッテリーを受電するための電流に戻す。近くの２つの誘導コイルが組み合わさって、変圧器を形成する。スマートフォンのクレードルの場合、誘導コイルは、スマートフォンが差し込まれるポート（例えば、スリーブ（ｓｌｅｅｖｅ））に配置される。バッテリーも、そのバッテリーがショッピングカート返却ポートの充電基地局によって発せられた電磁場によって充電されることを可能にするように、カートのそのバッテリーのハウジング内で誘導コイルとペアにされる。
おわりに

【0173】

[000188]特定の実装を参照して技術の原理を説明し、図示したが、技術は多くのその他の異なる形態で実装され得ることが認識されるであろう。不必要に本明細書を引き延ばすことなく包括的な開示を行うために、出願人は、上で参照された特許及び特許出願を参照により援用する。

【0174】

[000189]上述の方法、プロセス、及びシステムは、ハードウェア、ソフトウェア、又はハードウェアとソフトウェアとの組合せで実装される可能性がある。例えば、音源を判別し、位置を計算するための信号処理操作は、メモリに記憶され、（ソフトウェア命令とファームウェア命令との両方を含む）プログラミング可能なコンピュータで実行される命令として実装されるか、専用のデジタル回路のデジタル論理回路として実装されるか、又は１つ若しくは複数のプロセッサで実行される命令とデジタル論理回路モジュールとの組合せで実装される可能性がある。上述の方法及びプロセスは、システムのメモリ（電子的、光学的、又は磁気的ストレージデバイスなどのコンピュータ可読媒体）から実行されるプログラムで実装され得る。方法、命令、及び回路は、電子信号、又はその他の電磁的形態の信号に基づいて動作する。これらの信号は、イメージセンサーで取り込まれた画像信号、音声センサーで取り込まれた音声、及びその他の物理的な信号の種類のためのセンサーで取り込まれたその他の物理的な信号の種類のような物理的な信号をさらに表す。これらの電磁的な信号の表現は、信号の属性を検出すること、パターン認識及びマッチングを実行すること、デジタルデータ信号を符号化及び復号すること、異なる音源からの音源信号の相対的な属性を計算することなどのために、上で詳細に示されたように異なる状態に変換される。

【0175】

[000190]上述の方法、命令、及びハードウェアは、基準信号成分（ｒｅｆｅｒｅｎｃｅ ｓｉｇｎａｌ ｃｏｍｐｏｎｅｎｔ）及び疑わしい信号成分（ｓｕｓｐｅｃｔ ｓｉｇｎａｌ ｃｏｍｐｏｎｅｎｔ）に基づいて動作する。信号は信号を基本的な関数に投影（ｐｒｏｊｅｃｔ）することによって形成された信号成分の合計として表され得るので、概して、上述の方法は、さまざまな信号の種類に適用される。例えば、フーリエ変換は、信号を１組の基本的な関数への信号の投影の合計として表す。

【0176】

[000191]上で詳細に示された実施形態の要素及び特徴の特定の組合せは例示的であるに過ぎず、これらの教示を、本出願及び参照により援用される特許／出願のその他の教示と入れ替える及び置き換えることも考えられる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】