特表 2024-540810 電子デバイスのためのアクティビティ監視

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-11-06

(54)【発明の名称】電子デバイスのためのアクティビティ監視

(51)【国際特許分類】

   G06F 3/01 20060101AFI20241029BHJP

【ＦＩ】

G06F3/01 510

G06F3/01 570

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2024518449

(86)(22)【出願日】2022-09-21

(85)【翻訳文提出日】2024-04-30

(86)【国際出願番号】 EP2022076142

(87)【国際公開番号】W WO2023046705

(87)【国際公開日】2023-03-30

(31)【優先権主張番号】20211143

(32)【優先日】2021-09-23

(33)【優先権主張国・地域又は機関】NO

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＴＥＮＳＯＲＦＬＯＷ

(71)【出願人】

【識別番号】520089657

【氏名又は名称】エリプティック ラボラトリーズ エーエスエー

【氏名又は名称原語表記】ＥＬＬＩＰＴＩＣ ＬＡＢＯＲＡＴＯＲＩＥＳ ＡＳＡ

【住所又は居所原語表記】Ｈａｕｓｍａｎｎｓ ｇａｔｅ ２１， ０１８２ Ｏｓｌｏ， Ｎｏｒｗａｙ

(74)【代理人】

【識別番号】110002066

【氏名又は名称】弁理士法人筒井国際特許事務所

(72)【発明者】

【氏名】ヘルゲセン ルーエ，ジョン マグネ

(72)【発明者】

【氏名】クロヴニング，エスペン

【テーマコード（参考）】

5E555

【Ｆターム（参考）】

5E555AA66

5E555AA77

5E555BA01

5E555BA06

5E555BB01

5E555BB06

5E555BC01

5E555CA02

5E555CA11

5E555CA18

5E555CA41

5E555CA42

5E555CA44

5E555CA47

5E555CB09

5E555CB19

5E555CB22

5E555CB76

5E555EA19

5E555FA00

(57)【要約】

本発明は、少なくとも２つの測定ユニットを含む方法および電子デバイスに関する。第１の測定ユニットは、非アクティブ期間を含むシーケンスにおいて、選択された第１のパラメータに関する信号を送受信するアクティブな測定ユニットであり、第２の測定ユニットは、所定の第２のパラメータを本質的に連続的に測定するように構成され、第２の測定ユニットの消費電力は、第１の測定ユニットの消費電力よりも低い。
第１のパラメータは、デバイスの近くにある物体の近接を測定することを含む近接測定に関し、第２のパラメータは、デバイスのアクティビティの測定に関する。
デバイスは、測定ユニットに結合された処理ユニットを含み、処理ユニットは、第２のパラメータの偏差を登録し、所定の偏差において、最初の測定の順序を変更するように構成される、

【特許請求の範囲】

【請求項1】

第１の測定ユニットおよび第２の測定ユニットを含む少なくとも２つの測定ユニットを含む電子デバイスであって、前記第１の測定ユニットは、非アクティブ期間を含むシーケンスにおいて、選択された第１のパラメータに関する信号を送受信するアクティブな測定ユニットであり、前記第２の測定ユニットは、所定の第２のパラメータを本質的に連続的に測定するように構成され、前記第２の測定ユニットの消費電力は、前記第１の測定ユニットの消費電力よりも低く、
前記第１のパラメータは、前記電子デバイスの近くにある物体の近接を測定することを含む近接測定に関し、前記第２のパラメータは、前記電子デバイスのアクティビティの測定に関し、
前記電子デバイスは、前記第１の測定ユニットおよび前記第２の測定ユニットに結合された処理ユニットを含み、前記処理ユニットは、前記第２のパラメータの偏差を登録し、所定の偏差において、前記第１の測定ユニットをアクティブにすることで、最初の測定の順序を変更するように構成される、
電子デバイス。

【請求項2】

前記第１の測定ユニットは、前記電子デバイスに近接している例えばカバーまたユーザなどの物体を検出するように構成された超音波測定ユニットである、請求項１に記載の電子デバイス。

【請求項3】

前記第２の測定ユニットは、前記電子デバイスの移動を測定するように構成された慣性測定ユニットまたはモーションセンサである、請求項１に記載の電子デバイス。

【請求項4】

前記第２の測定ユニットは、前記電子デバイスの表面におけるやりとりを測定するタッチセンサユニットである、請求項１に記載の電子デバイス。

【請求項5】

前記第２の測定ユニットは、周囲光における変化を登録する光センサである、請求項１に記載の電子デバイス。

【請求項6】

前記偏差が所定の限界値を超えたときに前記第１の測定ユニットをアクティブにするように構成された、請求項１に記載の電子デバイス。

【請求項7】

前記第２の測定ユニットは、前記電子デバイスに接続されたキーボードおよび／またはコンピュータマウスである、請求項１に記載の電子デバイス。

【請求項8】

前記偏差は、スマートフォンが電源オン中、且つユーザが前記スマートフォンを扱っているときと扱っていないとき（ポケットやバッグ内、テーブルにあるとき）における前記電子デバイスの移動の測定パターンを含む所定の測定パターンに基づいている、請求項１に記載の電子デバイス。

【請求項9】

前記所定の測定パターンは、分析を通じて前記電子デバイスの典型的な移動として登録された以前の前記電子デバイスの移動に基づいている、請求項８に記載の電子デバイス。

【請求項10】

前記第１の測定ユニットおよび前記第２の測定ユニットからの以前の測定値からの機械学習に基づいて分析が実施され、前記所定の偏差は、前記分析に基づいてニューラルネットワークで処理される、請求項１に記載の電子デバイス。

【請求項11】

第１の測定ユニットおよび第２の測定ユニットを含む少なくとも２つの測定ユニットを含むデバイスを制御するための方法であって、
前記第１の測定ユニットは、非アクティブ期間を含むシーケンスにおいて、選択された第１のパラメータに関する信号を送受信するアクティブな測定ユニットであり、その測定は、物体の近接を測定することを含む近接測定に関し、
前記第２の測定ユニットは、所定の第２のパラメータを本質的に連続的に測定するように構成され、
前記第２のパラメータの偏差を記憶および登録するステップと、所定の偏差において、前記第１の測定ユニットをアクティブにすることで、最初の測定の順序を変更するステップと、を含む、
方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、電子デバイスの使用を監視および制御するように構成された電子デバイスに関する。

【背景技術】

【0002】

携帯電話や国際公開第２０２０２４６８９７Ａ１号、米国特許出願第２０２０１５８５５６号、国際公開第２０２１０４５６６２８号、米国特許出願第２０２００２６３４２号、および米国特許出願第２００８／００５１１６５号などに記載されている同様のデバイスを含む電子デバイスにおいて、例えばシステムへのユーザ入力のために、超音波測定などの測定法がデバイスの近くにいるユーザの近接、存在、およびジェスチャーを検出するために使用される。スクリーンを有する電子デバイスにおいて、超音波測定は、ユーザがデバイスと視覚的にやりとりすることができないほど物体がスクリーンの少なくとも１つを覆うように近くにあるかどうかを検出するためにも使用される。このカバー検出機能が有効になっている場合、スクリーンが覆われている限り、デバイスはスクリーンをオンしない。カバー検出センサは、使用できないときに画面をオフに保つことで電力を節約するように設計されている。カバー検出センサは、スクリーンを覆っている物体までの距離を報告することができるが、これは、通常、検出可能なカバー検出状態が「カバーあり」と「カバーなし」となるバイナリセンサである。近接センサ、人感センサ、ジェスチャーやカバー検出センサは複数の入力ストリームを使用することができるが、これらは超音波入力ストリームと緊密に結合している。しかしながら、測定には送受信シーケンスが必要であるため、測定間に中断が生じ、検出される情報量が制限されることになる。そのため、携帯電話を聞き取り位置から離すなどの急激な変化の検出は、間に合わない場合がある。また、アクティブな測定は電力を消費するので、アクティブ期間を最小限に抑える必要がある。米国特許出願第２０２０１５８５５６号では、超音波信号の電力レベルを下げることでデバイスの消費電力を低減しているが、この場合、測定の感度と品質が低下している。

【発明の概要】

【発明が解決しようとする課題】

【0003】

したがって、本発明の目的は、デバイスの消費電力を制限しながら、デバイスの性能を向上させる解決策を提供することである。これは、添付の特許請求の範囲に記載されるように達成される。

【課題を解決するための手段】

【0004】

本発明によれば、電子デバイス内のセンサの少なくとも１つが動作していない場合であっても、解決策を得ることができる。また、本発明は、必要に応じて電力を消費する測定のアクティビティを増加させるために低電力ユニットを使用することで、非アクティブ期間中の低消費電力とアクティブ期間中の応答性をもちながら、測定の品質を維持することができる。

【0005】

好ましい実施形態において、センサデータ（慣性測定ユニット（ＩＭＵ）など）と超音波データの両方が、デバイスのスクリーンの近くにある物体、あるいはスクリーンを覆っている物体を検出するために使用される。検出は、超音波の入出力データと緊密に結合されている。本発明を用いることで、ＩＭＵと超音波データストリームのいずれかまたは両方が実行されている限り、デバイスの測定システムを実行することができる。超音波ストリームがアクティブでない場合、センサの推定値は、利用可能なＩＭＵデータに基づいてのみ更新され、その逆も同様である。例えば加速度センサから最初のセンサデータを受信するまでの時間は、最初のオーディオサンプルを受信するまでの時間よりも短い。そのため、オーディオシステムの起動中に加速度センサのデータを利用することは、近接センサまたはカバー検出センサの性能に有益である。また、低電力プロセッサによって、センサデータをメモリに継続的に記憶することもできる。ここで、センサデータは、システム内のすべてのセンサ（センサハブなど）から収集され、開始時に近接センサまたはカバー検出センサに提供される。これにより、近接センサまたはカバー検出センサは、センサの開始前のデータを使用することができる。

【0006】

センサデータ（慣性測定ユニット（ＩＭＵ）、ヒンジセンサなど）を使用する別の実施形態において、超音波データは、パーソナルコンピュータ（ノート型パーソナルコンピュータなど）の人感センサに使用される。これらの人感センサは、ユーザが近づくとノート型パーソナルコンピュータを起動し、ユーザが離れるとセキュリティ上の理由からデバイスをロックするために使用される。センサデータと超音波入出力データとを組み合わせることで、人感センサは、センサフュージョンを使用して現在の状況を分析し、感知の改善や、場合によっては消費電力の削減を実現することができる。一例として、ユーザがデバイスを携帯しており、明らかにデバイスの近くにいることを検出することが挙げられる。このような状況では、デバイスが持ち運ばれている限り、超音波信号は人感センサに必要でない可能性がある。これにより、超音波入出力信号の不連続性が生じる。別の例として、ヒンジセンサがノート型パーソナルコンピュータのスクリーンの現在の角度を提供し、人感センサに重要なセンサフュージョン情報を提供することで、スクリーンのあらゆる角度に対する性能を向上させるシステムが挙げられる。

【図面の簡単な説明】

【0007】

以下、本発明を例示的に示す添付の図面を参照して、本発明を説明する。

【図1a】近接検出がアクティブになる状況を示す図である。

【図1b】近接検出がアクティブになる、図１ａとは異なる状況を示す図である。

【図2a】先行技術によるカバー検出を示す図である。

【図2b】先行技術によるカバー検出を示す図である。

【図2c】ＩＭＵと音響センサを含む状況でのセンサアクティビティによる、本発明による解決策を示す図である。

【図2d】ＩＭＵと音響センサを含む、図２ｃとは異なる状況でのセンサアクティビティによる、本発明による解決策を示す図である。

【図2e】ＩＭＵと音響センサを含む、図２ｃおよび図２ｄとは異なる状況でのセンサアクティビティによる、本発明による解決策を示す図である。

【図2f】ＩＭＵと音響センサを含む、図２ｃ～図２ｅとは異なる状況でのセンサアクティビティによる、本発明による解決策を示す図である。

【発明を実施するための形態】

【0008】

図１は、携帯電話１が使用中であり、ユーザ６の耳に当てられている状況を示している。処理ユニット４は、本発明の好ましい実施形態による、近接センサまたはカバー検出センサ２および移動／ＩＭＵセンサ３など、多数のセンサに接続されてもよい。近接センサ２は、この状況を検出してもよく、その後、処理ユニットは、好ましくは超音波信号８を使用して、タッチスクリーン５に関するいくつかの機能などの特定のアクティビティをシャットダウンしてもよい。同時に、移動／ＩＭＵセンサ３は、特定の移動量を登録する。この移動は、処理ユニット４によって分析されてもよく、例えばデバイスがユーザから離れたことや、タッチスクリーン５または近接センサ２をアクティブにすべきことを示す可能性のある近接センサ２がアクティブでなくても、使用の変化を示している場合がある。

【0009】

上述したように、携帯電話などのデバイスは、光センサなど、複数の異なるセンサを含んでもよい。スクリーンを覆っている物体を超音波ベースの近接センサまたはカバー検出センサ２が検出している間に、光センサが、場合によっては最近の測定値と比較して、かなりの量の周囲光を検出した場合、処理ユニット４は、超音波センサ２がブロックされていると判断し、近接またはカバー検出信号をオーバーライドしてもよい。代替的に、光センサデータは、近接またはカバー検出センサに直接供給されてもよく、上述した国際公開第２０２０２４６８９７Ａ１号に記載されているような機械学習ベースのセンサフュージョンを含むセンサまたは処理ユニット内の検出アルゴリズムに含まれてもよい。

【0010】

一部の電子デバイスは、折りたたみ式スクリーンを含んでもよい。ここで、スクリーンが開かれたときに、少なくともスクリーンセンサ（接触センサ、磁気センサ、ヒンジセンサ、ホールセンサなど）が検出を行う。センサデータは、折りたたみ式スクリーンに関する角度情報を含んでもよい。スクリーンが少なくとも部分的に開かれていることをセンサが検出した場合、超音波ベースの近接またはカバー検出センサ２が起動され得る。スクリーンを覆っている物体をこれらのセンサが検出した場合、処理ユニット４は、超音波センサ２がブロックされていると判断し、近接またはカバー検出信号をオーバーライドしてもよい。代替的に、少なくとも１つのスクリーンセンサからのデータは、他のタイプのセンサデータ（ＩＭＵなど）と共に近接またはカバー検出センサに直接供給されてもよく、上述した国際公開第２０２０２４６８９７Ａ１号に記載されているような機械学習ベースのセンサフュージョンを含むセンサまたは処理ユニット内の検出アルゴリズムに含まれてもよい。

【0011】

他の電子デバイスには、低消費電力のセンサハブの動作を制御するために使用されるハードウェアベースのモーションセンサが含まれる。センサハブが低消費電力の処理要素であっても、低消費電力のハードウェアベースのモーションセンサが完全に静止していることを示している限り、センサハブは節電のためにオフされる。この場合、センサハブ内のＩＭＵセンサなどのセンサのイベントは、センサ値が変わらないため、報告されない。デバイスが完全に静止していないことをハードウェアベースのセンサが示すと、センサハブがオンされる。これにより、ユーザまたはシステムがアクティブにするよう要求したＩＭＵセンサなどのすべてのセンサがオンされる。ハードウェアベースのセンサは、例えばＩＭＵセンサが有効になっているセンサハブプロセッサよりも消費電力が少ないので、この方式は、消費電力を削減することに関するものである。動作するためにセンサのチェーンを使用しているが、本明細書に記載のセンサのセットアップを利用することができる。

【0012】

図１ｂは、ポケットモードが有効になっているデバイスを示している。ポケットモードは、最近の多くのスマートフォンにある機能であり、カバー７がスマートフォンの表面上に配置されていることを検出するカバー検出センサを使用している。これは、様々なユースケースで使用される機能である。基本的に１つまたは複数のセンサ２が使用されて、例えば、スマートフォンの表面が覆われている場合、例えば、テーブルの上で画面が下にされている場合、鞄の中にある場合、あるいはユーザのポケットの中にある場合に、スクリーン、タッチ感度、あるいはその他のアクティブユニットを少なくとも部分的にオフすべきかどうかを判断する。通常、カバー検出センサ２は、デバイスがユーザによって使用されているとき、すなわち、スクリーンがオンされていてユーザがスマートフォンと視覚的にやりとりしているときには動作しない。通常、カバー検出センサ２は、最初のセンサイベントが報告されると自動的に無効になる一時（ｏｎｅ－ｏｆｆ）センサである。このセンサの目的は、スクリーンが覆われていてユーザがスマートフォンやそのスクリーンを使用またはそれらと視覚的にやりとりするつもりがないときに、スクリーンがオンになるのを防止することである。

【0013】

図２ａおよび図２ｂには、先行技術が示されている。図２ａにおいて、カバー検出ＣＤは連続的にアクティブであり、典型的にはＩＲ検出に基づいている。このシナリオでは、カバー検出センサＣＤは一時センサではなく、カバー検出状態の変化を連続的に報告する。連続的に報告するユースケースの一例として、消灯しているスクリーンに表示される常時オン時計が挙げられる。これにより、ユーザは、スクリーンを完全にオンすることなく時間を確認することができ、全体的な消費電力を削減することができる。理想的には、スマートフォンは、スクリーンが覆われていないとき、すなわち、ユーザがスクリーンを見ることができるときだけ時計を表示するべきである。

【0014】

図２ｂは、より高度なシステムを示している。ここで、移動センサＩＭＵは、特定のアクティビティを登録し、次にカバー検出をトリガーする。これは、移動が登録される都度繰り返される。

【0015】

より詳細には、図２ｂに示すように、カバー検出センサは、例えばＩＭＵ３が検出した、ユーザの顔へのスマートフォンの持ち上げ（ｒａｉｓｅ－ｔｏ－ｗａｋｅ）、スクリーン５への接触、または電源ボタンの押下などのユーザのアクションに基づいて、処理ユニット５によってトリガーされる。これらのトリガーのいずれかが検出されると、デバイスは、カバー検出を短時間アクティブにして、スマートフォンのスクリーンが覆われているかどうかを判断する。スクリーンが覆われていない場合、スクリーンをオンしたり、生体認証ログイン機構を含む任意のログイン機構をオンしたりするなど、適切なアクションが実行される。図２ｂに示すようにスクリーンが覆われている場合、スクリーンが覆われているのでトリガーイベントは無視され、システムは、ＩＭＵからの次の信号または検出したアクションまで待機する。スマートフォンの中には、スクリーンを覆う物体の検出をオーバーライドするために、別のタイプのユーザアクション（上方向へのスワイプやボタン押下など）を許可するために、数秒間スクリーンをオンするものがある。いずれにせよ、トリガーされると、カバー検出センサ２は通常、短時間（すなわち数秒間）だけアクティブになる。

【0016】

最近のスマートフォンのバッテリ容量が限られていることを考慮すると、超音波カバー検出センサ、または超音波カバー検出センサとその他の適切なセンサとのセンサフュージョンに基づくポケットモードのユースケースにおける消費電力は、常時オンのシナリオには高すぎる可能性がある。

【0017】

本発明によれば、ポケットモードのユースケースは、超音波カバー検出センサ２のような音響センサを使用して、または国際公開第２０２０２４６８９７Ａ１号に記載されているようなフュージョンセンサを構成することで、実現され得る。ここで、処理ユニット４は、超音波カバー検出センサ２からのセンサ情報と、ＩＭＵセンサ３（加速度計、ジャイロスコープなど）や光センサなどを含む任意の数の他のセンサとを組み合わせる。そのうちの少なくともいくつかは、デバイスとのやりとりを継続的に監視するように構成され、アクティブな超音波センサ２と比較して消費電力が低い。

【0018】

本発明の目的は、処理ユニット４内の低消費電力のセンサハブ上で実行されるフュージョンセンサにおいて、場合によっては機械学習に基づいて、デバイス内の多数のセンサから信号に使用されるパターン認識に基づいてカバー検出センサ２をトリガーすることによって、超音波を送受信する音響要素の消費電力または消耗を低減することであり、同時に、受動的な測定ユニットを使用して、デバイスの測定された使用を監視およびサンプリングすることである。パターン認識に組み込まれたニューラルネットワークモジュールの処理は、最適化されたニューラルネットワーク処理コアでのニューラルネットワーク処理の消費電力が全体的な消費電力の観点から許容可能であれば、センサハブからそのコアにオフロードされてもよい。機械学習プロセスは、利用可能なツール（ＴｅｎｓｏｒＦｌｏｗなど）を使用している利用可能な任意のタイプであってもよく、デバイス内の様々なユニットやセンサからの情報をサンプリングして記憶することが可能である必要があり、場合によってはユーザからのフィードバックを提供して典型的な使用パターンを見つけるユーザインタフェースが必要となる。データは、ニューラルネットワークの訓練プロセスがオンデバイスまたはオフデバイスで行われる前に、手動または自動的にグラウンドトゥルースでタグ付けされる必要がある。また、このプロセスでは、エネルギー消費量の制限や、訓練中の適切なユーザフィードバックなどの懸念事項を考慮してもよい。また、機械学習プロセスは、ファームウェアの更新などを通じてデバイスのソフトウェアを更新することができる外部システムで提供されてもよい。これらの更新は、ユーザが明示的に行ってもよく、無線式の解決策を通じて行われてもよい。

【0019】

本発明は、ＩＭＵセンサ、光センサ、モーションセンサなどを含む様々なセンサを使用して、スマートフォンの使用パターン、すなわち、カバー検出状態の更新を保証するのに十分なほどスクリーンカバー検出状態が変化する状況（ポケットからデバイスを取り出した場合、起動するように持ち上げた場合、ポケットにデバイスを入れた場合、デバイスをテーブルに置いた場合、スマートフォンを手に持っていたりポケットに入れたりしたまま歩いている場合など）をモデル化および検出することができる。ポケットモードのユースケースが開始されると、デバイスのセンサから、場合によってはカバー検出センサがアクティブになる前のキャッシュ情報を含むセンサ情報が要求される。現在の情報を含むすべての情報が、カバー検出状態の決定に使用される。センサイベントの待ち時間を短縮することは、パターン認識がデバイスのポケットモード状態の変更の可能性を示唆する場合にのみポケットモードのユースケースを実行する場合のもう１つの利点である。ほとんどの最近のスマートフォンでは、音響システムの起動時間は５０ミリ秒～１５０ミリ秒程度であるので、本明細書に記載の方式に基づくカバー検出センサは、完全な一時カバー検出センササイクルの一部として音響システムを起動することなく、即座に（すなわち数ミリ秒で）応答することができる。

【0020】

上述したように、本発明の別の態様は、超音波不連続性の橋渡しである。図２ｃに示すように、送信機ＵＳ ＴＸおよび受信機ＵＳ ＲＸを含む超音波システム信号１２は、他の超音波送信デバイスからの超音波システムによって使用される周波数帯域における管理不可能な干渉、あるいは同時の音響ユースケースによる破壊的相互変調、あるいはスピーカ保護アルゴリズムが超音波出力信号を変化させることによる管理不可能でランダムな利得変動、あるいは超音波信号のミキシングのためのヘッドルームを残さない高振幅で再生される同時の音響ユースケース、あるいはシステムによるセンサの起動から、超音波入出力経路が超音波の再生と捕捉の準備ができるまでの５０ミリ秒～２５０ミリ秒程度の待ち時間のために、実用的な情報が検出されない期間１０があってもよい。場合によっては、超音波センサは、非連続的な超音波信号をバースト信号として送信してもよい。これにより、超音波出力および超音波入力信号に不連続性が生じる。超音波信号に不連続性を引き起こし、それによって正常な超音波処理を妨げるもう１つの同様の問題として、ユースケースの変更による音響システムの変更が挙げられる。最近のスマートフォンで最も人気のあるアプリケーションの中には、ユーザの行動に基づいて、音響入力および／または出力を特定の音響デバイスから別の音響デバイスに切り替えるものがある。一部のアプリケーションは、ユーザがスマートフォンを体の前に持っているか、耳に当てているかによって、異なる音響要素を使用する。ユーザがスマートフォンを再び動かしたり、明示的にスマートフォンにスピーカモード、ヘッドセットモード、ハンドセットモードのいずれかを使用させたりすると、選択された音響デバイスはいつでも変更され得る。

【0021】

共有バックエンドデジタル音響インタフェース（ＤＡＩ）を有する一部のプラットフォームでは、特定の構成要素（スピーカなど）から別の構成要素（イヤホンレシーバーなど）に音響を切り替えると、音波センサによって使用される超音波出力信号のような他の同時音響ユースケースが必要になり、音響ストリームが特定の音響出力デバイスから別の音響出力デバイスに切り替えられるときに停止され、数十から数百ミリ秒の短い休止の後に再開される。超音波センサは、近くにある物体からエコーを発生させるために刺激信号を必要とするため、超音波処理は停止または中断され、この処理中にそれぞれ再起動または再開される。その結果、超音波のユースケース（近接センサ、ジェスチャーセンサ、人感センサ、カバー検出センサなど）は、この不連続が生じたときに決定を下すための関連情報を有さない。

【0022】

アクティビティ（キーボードの使用状況、タッチスクリーンの使用状況、ヒンジセンサのイベントなど）を監視することで、節電のために超音波信号出力を単に低下させたりすることも可能である。

【0023】

図２ｄに示すように、本発明を使用することで、ＩＭＵ情報などの他のセンサからの入力１１が取得されてもよく（スマートフォンが移動していない場合、ポケットに入れられている場合、頭部に持ち上がれた場合、頭部から離された場合など）、超音波が停止している間であっても、１つまたは複数の他のセンサ入力に基づいてセンサイベントが提供さえ得る。超音波ストリームが再開されると、本発明は、すべてのセンサ１１および超音波信号１２からのデータをシームレスに受け入れ、組み合わされた情報（例えば、超音波の中断中にキャッシュされたセンサデータを潜在的に含む情報）を使用して、正確なセンサイベントを提供し、ニューラルネットワークとして実装された機械学習アルゴリズムを介して、異なるセンサからの情報のパターンを認識および使用して、センサの一部のみがアクティブな期間におけるデバイスの使用を推定することもできる。

【0024】

図２ｅおよび図２ｆには、超音波信号１２が中断されている同様の状況が示されている。このため、図２ｅでは、デバイスは、短期間超音波情報を得ることができないが、図２ｆでは、デバイスは、追加情報によるデバイスの使用における変化を認識し、登録された状況に応じて、それらに適応したり、超音波センサを作動させたりすることができる。

【0025】

したがって、ＩＭＵ３などの第２の測定ユニットからの信号は、超音波センサのアクティビティの前およびその最中におけるデバイスのアクティビティに関する情報、および超音波データ１０のない期間を提供する超音波センサの中断または停止中における情報の両方を含んでもよい。

【0026】

要約すると、本発明は、少なくとも２つの測定ユニットを含む方法および電子デバイスに関する。第１の測定ユニットは、スクリーンなどのデバイスの少なくとも一部へのカバーなどの物体の近接に関する信号を提供する少なくとも１つのアクティブな送信期間および受信期間を含むシーケンスにおいて、選択された第１のパラメータに関する信号を送受信するアクティブな測定ユニットである。そのため、シーケンスは、非アクティブ期間とアクティブ期間とを有することになる。第２の測定ユニットは、所定の第２のパラメータを本質的に連続的に測定するように構成される。これは、好ましくは、音や照度など、デバイスの使用状況およびアクティビティまたはデバイス周辺に関連し、好ましくは、第１の測定ユニットよりも実質的に低い消費電力を有する受動的な測定である。

【0027】

デバイスは、測定ユニットに結合された処理ユニットを含み、第２のパラメータの偏差を登録し、所定の偏差において、第１の測定ユニットをアクティブにすることで、最初の測定の順序を変更するように構成される。第２のパラメータの登録は、連続的に実行されてもよく、パラメータの合理的に予想される変化率に対して、第２のパラメータの本質的に連続的な監視を提供するのに十分な速度で実行されてもよい。処理ユニットは、デバイスの消費電力を制限するために、センサ用の低消費電力ハブを構成してもよく、デバイスのアクティビティの使用状況を連続的に提供するために、すべてのセンサからの測定値を組み合わせるように構成されてもよい。

【0028】

好ましくは、第１の測定ユニットは、デバイスに近接している、例えばカバーまたはユーザなどの物体を検出するように構成された超音波測定ユニットである。超音波測定は、センサの近くにある物体またはセンサを覆う物体を検出することができる任意の利用可能なセンサタイプを用いて実施される。超音波検出には、特殊なトランスデューサ、または例えば２０ｋＨｚ～２４ｋＨｚの範囲の超音波近傍領域での動作に適したスピーカおよび／またはマイクロフォンなど、既にデバイスに搭載されているトランスデューサが使用されてもよい。

【0029】

好ましくは、第２の測定ユニットは、デバイスの移動を測定するように構成された慣性測定ユニット（ＩＭＵ）であるが、周囲光を測定する光センサ、キーボード／マウス、または場合によっては例えばデバイスのスクリーンまたはデバイス上のボタンまたはスイッチなどのタッチセンサを含んでもよく、どの利用可能な測定ユニットが最も消費電力が低いかに応じて選択されてもよい。タッチパッドまたはスクリーンを使用する場合、デバイス表面におけるやりとりが測定されてもよく、その移動パターンが分析されてもよい。

【0030】

デバイスの処理ユニットは、上記偏差が所定の限界値を超えたときに、アクティブなセンサがアクティブになる前に多少の軽微な移動を許容するなど、第１の測定ユニットをアクティブにするように構成されてもよい。しきい値は、デバイスの初期化において設定されてもよく、センサがアクティブにされたときに基づいてカバー検出状態が実際に変更される頻度を決定することなどにより、以前の測定値および機械学習に基づいて適応的に設定されてもよい。このように、偏差は、電源オン中のデバイスの移動の測定パターンなど、所定の測定パターンに基づいていてもよい。ここで、所定のパターンは、分析を通じてデバイスの典型的な移動として登録された以前の移動に基づいていてもよい。

【図1a】

【図1b】

【図2a】

【図2b】

【図2c】

【図2d】

【図2e】

【図2f】

【国際調査報告】