特表 2024-514433 センサ性能を改善させる為の動的インタフェース介入

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-04-02

(54)【発明の名称】センサ性能を改善させる為の動的インタフェース介入

(51)【国際特許分類】

   G06F 11/32 20060101AFI20240326BHJP

   H04N 23/60 20230101ALI20240326BHJP

   H04N 23/63 20230101ALI20240326BHJP

   G06F 11/30 20060101ALI20240326BHJP

【ＦＩ】

G06F11/32 140

H04N23/60 500

H04N23/63

G06F11/30 193

G06F11/30 140D

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2023557748

(86)(22)【出願日】2022-03-28

(85)【翻訳文提出日】2023-09-20

(86)【国際出願番号】 CN2022083367

(87)【国際公開番号】W WO2022206674

(87)【国際公開日】2022-10-06

(31)【優先権主張番号】17/215,857

(32)【優先日】2021-03-29

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】390009531

【氏名又は名称】インターナショナル・ビジネス・マシーンズ・コーポレーション

【氏名又は名称原語表記】ＩＮＴＥＲＮＡＴＩＯＮＡＬ ＢＵＳＩＮＥＳＳ ＭＡＣＨＩＮＥＳ ＣＯＲＰＯＲＡＴＩＯＮ

【住所又は居所原語表記】Ｎｅｗ Ｏｒｃｈａｒｄ Ｒｏａｄ， Ａｒｍｏｎｋ， Ｎｅｗ Ｙｏｒｋ １０５０４， Ｕｎｉｔｅｄ Ｓｔａｔｅｓ ｏｆ Ａｍｅｒｉｃａ

(74)【代理人】

【識別番号】100112690

【弁理士】

【氏名又は名称】太佐 種一

(74)【代理人】

【識別番号】100120710

【弁理士】

【氏名又は名称】片岡 忠彦

(74)【復代理人】

【識別番号】100118599

【弁理士】

【氏名又は名称】村上 博司

(74)【復代理人】

【識別番号】100160738

【弁理士】

【氏名又は名称】加藤 由加里

(72)【発明者】

【氏名】デクロップ，クレメント

(72)【発明者】

【氏名】シルバースタイン，ザカリ― エー．

(72)【発明者】

【氏名】レイノルズ，スペンサー トーマス

(72)【発明者】

【氏名】ジェパーソン，ジェイコブ ライアン

(72)【発明者】

【氏名】フォックス，ジェレミー アール．

【テーマコード（参考）】

5B042

5C122

【Ｆターム（参考）】

5B042JJ17

5B042JJ29

5B042KK13

5B042MA08

5B042MA14

5B042MC08

5C122EA42

5C122FH11

5C122FK08

5C122FK37

5C122FK41

5C122GA01

5C122GA23

5C122HA13

5C122HA35

5C122HB01

5C122HB05

5C122HB10

(57)【要約】

コンピュータに実装された方法は、デバイス上のセンサの物理的位置を取得すること；該デバイス上に物理的に配置された該センサによってキャプチャされたデータの品質が劣化していることを、該キャプチャされたデータと品質閾値との比較に基づいて判定すること；及び、該センサによってキャプチャされた該データの品質が劣化していると判定することに応答して、該デバイスのディスプレイ上に視覚的インジケータを表示することを含む。該視覚的インジケータは、該デバイス上の該センサの該物理的位置をユーザに指示する少なくとも１つの非テキストコンポーネントを含む。
【選択図】図３

【特許請求の範囲】

【請求項1】

コンピュータに実装された方法であって、
デバイス上のセンサの物理的位置を、前記デバイスによって取得すること；
前記デバイス上に物理的に配置された前記センサによってキャプチャされたデータの品質が劣化していることを、前記キャプチャされたデータと品質閾値との比較に基づいて、前記デバイスによって判定すること；及び、
前記センサによってキャプチャされた前記データの品質が劣化していると判定することに応答して、前記デバイスのディスプレイ上に視覚的インジケータを表示すること、ここで、前記視覚的インジケータは、前記デバイス上の前記センサの前記物理的位置をユーザに指示する少なくとも１つの非テキストコンポーネントを含む、
前記方法。

【請求項2】

前記品質閾値を、前記センサについての性能履歴データに基づいて開発された、前記センサについてのセンサプロファイルに少なくとも部分的に基づいて決定することを更に含む、請求項１に記載の方法。

【請求項3】

前記品質閾値を、１以上のユーザの各々についての夫々のユーザプロファイルに少なくとも部分的に基づいて決定することを更に含み、ここで、夫々のユーザプロファイルが、前記１以上のユーザの１人についての夫々のデバイス利用状況の履歴データに基づく、請求項１に記載の方法。

【請求項4】

前記1以上のユーザの各々についての前記夫々のデバイス利用状況の履歴データを解析して、前記センサの妨害の尤度を示すパターンを識別すること；
前記１以上のユーザの１人の現在のデバイス利用状況データを、前記識別されたパターンと比較すること；及び、
前記現在のデバイス利用状況が前記識別されたパターンに一致すると判定することに応答して、前記センサによってキャプチャされたデータの前記品質における劣化を検出する前に、前記視覚的インジケータを表示すると共に通知を提供すること
を更に含む、請求項３に記載の方法。

【請求項5】

前記視覚的インジケータが、前記センサの前記物理的位置に近接した位置で前記デバイスの前記ディスプレイ上に表示される、請求項１に記載の方法。

【請求項6】

前記視覚的インジケータの前記非テキストコンポーネントが、前記センサの前記物理的位置の近くに中心を置く複数の同心円状の部分円を含む、請求項５に記載の方法。

【請求項7】

前記非テキストコンポーネントが、前記ユーザを前記センサの前記物理的位置に方向付けるようにアニメーション化される、請求項１に記載の方法。

【請求項8】

前記視覚的インジケータの前記非テキストコンポーネントが、前記ディスプレイ上に表示される前記デバイスの一覧図を含み、該一覧図が前記センサの前記物理的位置を図示する、請求項１に記載の方法。

【請求項9】

ユーザアクションを検出し、そして、前記ユーザアクションに続いて前記センサによってキャプチャされたデータが改善された品質を有すると判定することに応答して、成功通知を前記ユーザに提供することを更に含む、請求項１に記載の方法。

【請求項10】

コンピューティングデバイスであって、該コンピューティングデバイスが、
ディスプレイ；
データをキャプチャするように構成されたセンサ；並びに、
前記センサに及び前記ディスプレイに通信可能に接続されたプロセッサ
を備えており、
前記プロセッサが、
前記コンピューティングデバイス上のセンサの物理的位置を識別し；
前記センサによってキャプチャされたデータの品質が劣化していることを、前記キャプチャされたデータと品質閾値との比較に基づいて判定し；及び、
前記センサによってキャプチャされた前記データの前記品質が劣化していると判定することに応答して、前記ディスプレイ上に視覚的インジケータを表示する
ように構成されており、ここで、前記視覚的インジケータは、前記センサによってキャプチャされた前記データの前記劣化された品質の潜在的原因を緩和するように前記ユーザをガイドするように構成されている少なくとも１つの非テキストコンポーネントを含む、
前記コンピューティングデバイス。

【請求項11】

前記プロセッサが、
前記センサについての性能履歴データに基づいて、前記センサについてのセンサプロファイルを開発し；及び、
前記品質閾値を、センサプロファイルに少なくとも部分的に基づいて決定する
ように構成されている、請求項１０に記載のコンピューティングデバイス。

【請求項12】

前記プロセッサが、
前記品質閾値を、１以上のユーザの各々についての夫々のユーザプロファイルに少なくとも部分的に基づいて決定するように構成されており、ここで、夫々のユーザプロファイルが、前記１以上のユーザの１人についての夫々のデバイス利用状況の履歴データに基づく、請求項１０に記載のコンピューティングデバイス。

【請求項13】

前記視覚的インジケータが、前記センサの前記物理的位置に近接した位置で前記デバイスの前記ディスプレイ上に表示される、請求項１０に記載のコンピューティングデバイス。

【請求項14】

前記視覚的インジケータの前記少なくとも１つの非テキストコンポーネントが、前記ディスプレイ上に表示される前記コンピューティングデバイスの一覧図を含み、該一覧図が前記センサの前記物理的位置を図示する、請求項１０に記載のコンピューティングデバイス。

【請求項15】

前記視覚的インジケータの前記少なくとも１つの非テキストコンポーネントが、前記ユーザを前記センサの前記物理的位置に方向付けるようにアニメーション化される、請求項１０に記載のコンピューティングデバイス。

【請求項16】

コンピュータ可読プログラムをその中に記憶したところのコンピュータ可読ストレージ媒体を備えているコンピュータプログラム製品であって、前記コンピュータ可読プログラムは、プロセッサによって実行されるときに、前記プロセッサに、
コンピューティングデバイス上のセンサの物理的位置を識別させ；
前記センサによってキャプチャされたデータの品質が劣化していることを、前記キャプチャされたデータと品質閾値との比較に基づいて判定させ；及び、
前記センサによってキャプチャされた前記データの前記品質が劣化していると判定することに応答して、ディスプレイ上に視覚的インジケータを表示させる
ように構成されており、ここで、前記視覚的インジケータは、前記デバイス上の前記センサの前記物理的位置にユーザを方向付ける少なくとも１つの非テキストコンポーネントを含む、
前記コンピュータプログラム製品。

【請求項17】

前記コンピュータ可読プログラムが、前記プロセッサに、
前記センサについての性能履歴データに基づいて、前記センサについてのセンサプロファイルを開発させ；及び、
前記品質閾値を、センサプロファイルに少なくとも部分的に基づいて決定させる
ように構成されている、請求項１６に記載のコンピュータプログラム製品。

【請求項18】

前記コンピュータ可読プログラムが、前記プロセッサに、前記品質閾値を、１以上のユーザの各々についての夫々のユーザプロファイルに少なくとも部分的に基づいて決定させるように更に構成されており、ここで、夫々のユーザプロファイルが、前記１以上のユーザの１人についての夫々のデバイス利用状況の履歴データに基づく、請求項１６に記載のコンピュータプログラム製品。

【請求項19】

前記視覚的インジケータが、前記センサの前記物理的位置に近接した位置で前記デバイスの前記ディスプレイ上に表示される、請求項１６に記載のコンピュータプログラム製品。

【請求項20】

前記視覚的インジケータの前記非テキストコンポーネントが、前記ディスプレイ上に表示される前記コンピューティングデバイスの一覧図を含み、該一覧図が前記センサの前記物理的位置を図示する、請求項１６に記載のコンピュータプログラム製品。

【発明の詳細な説明】

【技術分野】

【0001】

ユーザは、該ユーザのコンピューティングデバイスを用いて、ビデオ、画像及びオーディオをキャプチャすることができるようになってきている。例えば、多くのパーソナルデバイス（例えば、ハンドヘルドデバイス及びウェアラブルデバイス）は、コンテントをキャプチャすることができる、マイクロフォン、カメラ及び他のセンサを有している。加えて、ラップトップコンピュータ、デスクトップコンピュータ、タブレット等はまた、多くの場合、コンテントをキャプチャすることができるそのようなセンサを備えている。加えて、そのような電子デバイスは、複数の形態の通信、例えば、音声電話及びビデオ会議を包含する上記の複数の形態の通信、を可能にする。しかしながら、デバイス上の複数の該センサの１以上が、コンテント（例えば、オーディオデータ若しくはビデオデータ又はそれらの組み合わせ）をキャプチャしている間に、不注意によってカバーされること、若しくは障害物によってブロックされること、又はそれらの組み合わせが行われることがあり、その結果、最適でないキャプチャされたコンテントを生じる。

【発明の概要】

【課題を解決するための手段】

【0002】

本開示の観点は、コンピュータに実装された方法、コンピュータプログラム製品、及びシステムを包含しうる。該方法の１つの例は、デバイス上のセンサの物理的位置を取得すること、該デバイス上に物理的に配置された該センサによってキャプチャされたデータの品質が劣化していることを、該キャプチャされたデータと品質閾値との比較に基づいて判定すること、該センサによってキャプチャされた該データの品質が劣化していると判定することに応答して、該デバイスのディスプレイ上に視覚的インジケータを表示することを含む。該視覚的インジケータは、該デバイス上の該センサの該物理的位置をユーザに指示する少なくとも１つの非テキストコンポーネント（non-textual component）を含む。

【0003】

図面は例示的な実施態様のみを図示しており、それ故に範囲を限定するものとみなされないことを理解された上で、該例示的な実施態様は、添付図面の使用を通じて、更なる具体性及び詳細性をもって記載されるであろう。

【図面の簡単な説明】

【0004】

【図1】図1は、例示的なデバイスの１つの実施態様のブロック図である。

【図2】図2は、例示的なコンピューティングデバイスの１つの実施態様のブロック図である。

【図3】図3は、センサ性能を向上させる例示的な方法の１つの実施態様を図示するフローチャート図である。

【0005】

一般的な慣例に従って、記載された様々な特徴は、縮尺通りに描かれていないが、例示的な実施態様に関連する特定の特徴を強調する為に描かれている。

【発明を実施するための形態】

【0006】

以下の詳細な説明において、本明細書の一部を形成する添付の図面が参照され、該図面には、特定の例示的な実施態様が例示的に示されている。しかしながら、他の実施態様が利用されうること、並びに論理的、機械的及び電気的な変更がなされうることが理解されるべきである。その上、添付の図面及び明細書に示されている方法は、個々の工程が実行されうる順序を限定するものとして解釈されるべきでない。それ故に、以下の詳細な説明は、限定的な意味で解釈されるべきでない。

【0007】

本明細書において使用される場合、参照項目と共に使用される「多数の」は、１以上の項目を意味する。例えば、「多数の異なる種類のネットワーク」は、１以上の異なる種類のネットワークである。

【0008】

更に、句「少なくとも１つ」、「１以上」、及び「及び／又は」は、動作において、接続的及び離接的の両方であるオープンエンドの表現である。例えば、表現「A、B、及びCの少なくとも１つ」、「A、B、又はCの少なくとも１つ」、「A、B、及びCの１以上」、「A、B、又はCの１以上」及び「A、B、及び／又はC」の各々は、A単独、B単独、C単独、A及びBの組み合わせ、A及びCの組み合わせ、B及びCの組み合わせ、又はA、B及びCの組み合わせを意味する。言い換えれば、「少なくとも１つ」、「１以上」、及び「及び／又は」は、項目の任意の組み合わせを意味し、及び項目の数がリストから使用されうるが、該リスト内の全ての項目が必要であるわけではない。該項目は、特定のオブジェクト、モノ、又はカテゴリであってもよい。加えて、リストされた項目の組み合わせにおける各アイテムの量又は数は、同じである必要はない。例えば、幾つかの例示的な例において、「A、B、及びCの少なくとも１つ」は、例えば、限定されないが、項目Aの2個；項目Bの1個；及び項目Cの10個；又は項目Aの0個、項目Bの4個及び項目Cの7個；又は他の適切な組み合わせであってもよい。

【0009】

加えて、語「１つ」（a）又は「１つ」（an）の実体物（entity）は、１以上のその実体物を云う。従って、語「１つ」（a）（「１つ」（an））、「１以上」、及び「少なくとも１つ」は、本明細書において互換的に使用されることができる。語「含む」、「備えている」、及び「有する」は、互換的に使用されることができることにまた留意されたい。

【0010】

その上、本明細書において使用される語「自動的」及びその変形は、プロセス又は操作が実行されるときに、物質的な人間の入力無しに行われる任意のプロセス又は操作を云う。しかしながら、該プロセス又は該操作の性能が物質的又は非物質的な人間の入力を使用しても、該プロセス又は該操作の実行前に入力が受け取られる場合に、該プロセス又は該操作は自動的である可能性がある。人間の入力が該プロセス又は該操作の実行方法に影響を与える場合、そのような入力は重要であるとみなされる。該プロセス又は該操作の実行に同意する人間の入力は、「重要」とみなされない。加えて、語「通信中」又は「通信可能に接続された」は、無線又は有線にかかわらず、２以上のシステム、コンポーネント、モジュール、デバイス等が、任意のプロトコル又はフォーマットを用いてデータ、信号又は他の情報を交換することを可能にする電気又は光学接続を使用することを包含する。

【0011】

上述されているように、多くのコンピューティングデバイスが、センサ、例えばカメラ及びマイクロフォン、を有し、それにより、ユーザがポータブルデバイスを使用して、データ、例えば、メディアコンテント（例えば、画像、ビデオ、オーディオ）、温度データ、光データ、近接データ、圧力データ、をキャプチャすることを可能にする。事実、そのようなデバイスの多くは、複数のセンサ、例えば、同じ種類の複数のセンサ（例えば、複数のカメラ若しくは複数のマイクロフォン又はそれらの組み合わせ）を備えている上記の複数のセンサ、を備えている。しかしながら、そのようなセンサは、障害物によってブロックされる可能性がある。例えば、１以上のセンサは、該デバイスの該ユーザによってブロックされる可能性がある（例えば、手又は衣服の一部が、センサを部分的又は完全にカバーする可能性がある）。加えて、センサは、他の外的要素によってブロックされる可能性がある。例えば、埃がセンサ、例えばマイクロフォン、上に蓄積し、それにより、キャプチャされたデータの品質を低下させる。本明細書において使用される場合、語「ブロックされた」（blocked）及び「妨害された」（obstructed）並びにその変形は、互換的に使用されることができる。更に、本明細書において使用される場合に、センサの少なくとも一部が覆われているか又は妨害されている場合、該センサはブロックされているか又は妨害されているとみなされる。上述されているように、該センサは、衣服、ユーザの指、該センサ上の埃等によって覆われる可能性がある。

【0012】

加えて、センサは、物理的物体、例えば、該センサの前に位置する別の人、によって妨害される可能性がある（例えば、カメラによってキャプチャされるシーンのビューを妨害するカメラの前に立っている人）。センサのそのようなブロック（blockage）又は妨害（obstruction）により、キャプチャされた媒体の品質を低下させる可能性があり、それはユーザ満足度の低下を結果として生じる可能性がある。加えて、該ユーザがセンサ、例えばビデオ会議中のマイクロフォン、から離れすぎている場合に、又は該ユーザがマイクロフォンから離れた方向で話している場合に、該キャプチャされたメディアの品質が低下する可能性がある。そのような動作はまた、該キャプチャされたメディアの品質を低下させる可能性がある。本明細書において記載された実施態様は、キャプチャされたデータの品質における低下のそのような原因を軽減することを容易にする為に、該ユーザとのプロアクティブな通信を可能にする。本明細書において使用される場合、語「キャプチャされたデータ」は、該デバイス上の１以上のセンサから得られるデータを云う。そのようなデータは、メディアデータ（例えば、オーディオ、画像、ビデオ）、温度データ、光データ、圧力データ、近接データ、位置データ等である可能性がある。以下に記載される実施態様において、説明を容易にする為に、異なる種類のメディアデータについて特に言及されている。しかしながら、キャプチャされたデータは、オーディオ及びビジュアルデータ以外のデータを含むことができ、本明細書において記載された実施態様は、マイクロフォン及びカメラに加えて、他のタイプのセンサによってキャプチャされたデータの劣化した品質の補正を容易にする為に実装されることができることが理解されるべきである。

【0013】

図1は、例示的なデバイス100の１つの実施態様の描写である。デバイス100はタブレット又はスマートフォンとして描かれているが、本発明の実施態様はそれらに限定されるべきものでないことを理解されたい。例えば、他の実施態様において、デバイス100は、デスクトップコンピュータ、ラップトップコンピュータ、又はウェアラブルデバイス等として実装されることができる。デバイス100は、ハウジング104、ディスプレイ102、カメラ106、及びマイクロフォン108を備えている。この例において、単一のカメラ106及び単一のマイクロフォン108のみが図示されているが、他の実施態様において、２以上のカメラ若しくは２以上のマイクロフォン又はそれらの組み合わせが実装されることができることを理解されたい。同様に、幾つかの実施態様において、２以上のディスプレイが実装されることができ、例えば、２以上の付属ディスプレイユニットを有するデスクトップコンピュータで実装されることができる。

【0014】

その上、デバイス100が同じ種類の複数のセンサ（例えば、複数のカメラ又は複数のマイクロフォン）を有する実施態様において、該センサの各インスタンスは、他のインスタンスと異なることができる。例えば、モバイルデバイスは、２以上のカメラセンサを備えていることができ、ここで、各カメラセンサの特徴は異なる。例えば、カメラセンサは、同じデバイス上の別のものよりも高いピクセル密度を有することができ、該デバイスの異なる部分（例えば、フロントサイド又はバックサイド）上に位置することができ、別のカメラセンサとは異なる焦点距離を有すること等ができる。同様に、複数のマイクロフォンセンサを有するデバイスは、互いに異なる特徴を有するマイクロフォンセンサを有することができる。

【0015】

デバイス100は、センサによってキャプチャされたデータの品質が所定のレベルを下回るときを又は下回ると予測されるときを判断するように構成される。例えば、デバイス100は、画像、ビデオ、若しくはオーディオ又はそれらの組み合わせをキャプチャしているセンサがブロックされていること、若しくはそのようなブロック（blockage）がいつ生じるかを予測すること、又はそれらの組み合わせを決定することができる。例えば、幾つかの実施態様において、デバイス100は、１以上の近接センサ132からデータを取得して、カメラセンサ若しくはマイクロフォンセンサ又はそれらの組み合わせのセンサがブロックされていることを決定することができる。そのような近接センサ132は、任意の適切なタイプの近接センサ、例えば、容量性センサ、誘導性センサ、磁気センサ、若しくは光学近接センサ又はそれらの組み合わせのセンサを包含するがこれらに限定されない上記の任意の適切なタイプの近接センサ、として実装されることができる。物体がデバイス100のマイクロフォン又はカメラに近接し、そして夫々の該マイクロフォン又は該カメラを潜在的にブロックしていることをそのような近接センサ132が検出できるように、近接センサ132は、該マイクロフォン又は該カメラの近くに配置されていることができる。加えて、デバイス100は、近接センサ132からのデータを使用して、物理的物体又は障害物が該カメラ又は該マイクロフォンからどの程度離れているか及び該物理的物体が該カメラ又は該マイクロフォンをブロックする可能性があるかを識別することができる。

【0016】

加えて、幾つかの実施態様において、デバイス100は、品質における劣化を識別する為に、画像データ及びオーディオデータがキャプチャされているときに該画像データ及び該オーディオデータを解析するように構成されている。例えば、該キャプチャされたデータの品質における劣化は、対応するセンサの在りうるブロック（blockage）を示すことができる。加えて、オーディオの品質における劣化は、マイクロフォン108が該オーディオを高い品質又は音量でキャプチャする為に、スピーカ又はオーディオのソースがデバイス100のマイクロフォン108から離れすぎていることを示すことができる。従って、幾つかの実施態様において、デバイス100は、記録されているデータの品質における変化を検出するように構成されている。例えば、デバイス100は、オーディオデータの振幅における変化を検出することができる。加えて、そのような劣化は、該キャプチャされたデータの特徴を、同じセンサによってキャプチャされた複数の先行データに基づいて経時的に展開されたベースラインと比較することによって決定されることができる。言い換えれば、データキャプチャの開始時にセンサがブロックされている場合、該データをベースラインと比較することによって該ブロック（blockage）が検出されることができ、従って、該データキャプチャの開始時から該データにおける有意な変化がない場合であってさえも、該ブロック（blockage）が検出されることができる。

【0017】

その上、該ベースラインは、異なるユーザによる使用におけるばらつきを考慮する為に使用されることができる。例えば、第１のユーザは、第２のユーザよりも相対的に大きな声で話しうる。従って、異なる夫々のベースラインが、該第１のユーザ及び該第２のユーザの各々について計算されることができる。幾つかのそのような実施態様において、デバイス100は、どのユーザがデバイス100を現在使用しているかを識別するように構成されている。例えば、デバイス100は、音声認識解析、画像解析、指紋解析、若しくは各ユーザに関連付けられた固有のパスコード、又はそれらの組み合わせを実行して、どのユーザがデバイス100を使用しているかを識別することができる。従って、デバイス100は、デバイス100の複数のユーザについて異なるプロファイルを保存することができ、ここで、そのようなプロファイルは、品質の劣化を検出する為に用いられる夫々のベースライン、ユーザに関連付けられた履歴データ等を含むが、これらに限定されない。その上、デバイス100から収集されたデータを使用することに加えて又は該データの代わりに、幾つかの実施態様において、他のデバイスから取得されたクラウドソーシングデータに基づいてベースラインがまた計算されることができる。

【0018】

加えて、センサ、例えば、カメラ106及びマイクロフォン108、並びに他のセンサ、から収集された履歴データが、該センサのブロック（blockage）がいつ生じるかの予測に役立てる為に使用されることができる。例えば、履歴データに基づいて、デバイス100は、所与のユーザの該デバイスの持ち方とその結果としてのマイクロフォン108の障害物のパターンを解析することによって、該所与のユーザが電話をかける際に該マイクロフォン108を妨害する尤度を決定することができる。言い換えれば、デバイス100は、ユーザが通話に応答しているときに又は電話をかけているときに、該ユーザは典型的には、該マイクロフォンを妨害する方法でデバイス100を保持していることを予測することができる。同様の履歴パターンが、他のセンサ、及び活動、例えば、写真を撮ること、ビデオ会議に参加すること等を包含するがこれらに限定されない上記の活動、について識別されることができる。その上、幾つかの実施態様において、デバイス100は、該履歴データにおけるパターンの識別を助ける為に、他のセンサを備えていることができる。例えば、デバイス100は、センサがいつ妨害されるかを予測する為に使用することができるユーザのグリップパターンに関するデータを提供することができる１以上の圧力センサ130を備えていることができる。

【0019】

加えて、幾つかの実施態様において、該履歴データが、センサデータの品質における劣化の潜在的な原因の識別に役立てる為に更に使用されることができる。例えば、該履歴データが、マイクロフォン108を介して受信されたオーディオの品質が一定期間にわたって徐々に劣化していることを示す場合に、これは、マイクロフォン108に糸くず又は埃が蓄積していることを示す可能性がある。対照的に、該劣化が突然生じた場合、マイクロフォン108が物体、例えば衣服又は手、によって覆われていることを示す可能性がある。このように、該履歴データを解析することによって、デバイス100は、品質の劣化の異なる原因の相対的な尤度を決定することができる。

【0020】

デバイス100は、品質における検出された劣化を緩和する為に、デバイス100のユーザにガイダンスを提供するように更に構成されている。特に、デバイス100は、１以上の視覚的インジケータ、例えば、インジケータ110、112及び114、を表示するように構成されている。視覚的インジケータ110、112及び114は、低下した又は劣化したデータ品質の原因を緩和する際にユーザを導くのに役立つように選択される。例えば、多くのデバイスは、複数のコンポーネント、例えば、複数のカメラ、マイクロフォン、スピーカ等、を備えている。該ユーザは、各カメラ、各マイクロフォン等がどこにあるか、又は複数のセンサのうちどれが低下した品質データを受信しているセンサであるかを知らない場合があり又はそれらを容易に確認することができない場合がある。更に、場合によっては、該ユーザは、劣化した品質に気づかない場合がある。例えば、ビデオ会議で話しているときに、該ユーザは、該ユーザのビデオがキャプチャされていないこと、及び該ビデオ会議の他の参加者に送信されていないことに気づかない場合がある。このことは、例えば、該ユーザがカメラを覆っているスライド式のプライバシーシールドを取り外していない場合に生じる可能性がある。同様に、ユーザは、ビデオ会議の他の参加者に又は電話の他の参加者に送信されているオーディオが低下した品質（例えば、消音量、低音量、歪んでいる等）を有していることに気づかない場合がある。従って、視覚的インジケータ110、112及び114のうちの１以上が、劣化した品質の検出をユーザにアラートすること、並びにその原因を緩和する際にユーザを指示する為に使用されることができる。

【0021】

例えば、視覚的インジケータ110は、複数の同心円状の部分円122とアイコン120とを含む。この例において、複数の同心円状の部分円122は、マイクロフォン108の近い位置にほぼ中心がある。同様に、アイコン120は、マイクロフォン108の物理的位置の近くに配置される。アイコン120及び円122をマイクロフォン108の物理的な位置の近くに配置することによって、視覚的インジケータ110は、マイクロフォン108の位置をユーザにガイドすることができる。その上、この例におけるアイコン120は、視覚的インジケータ110がマイクロフォン108の位置を参照していることをユーザに示す為に、一般的なマイクロフォンを図示する。上述されているように、該ユーザは、センサがどこに配置されているか又はどのセンサが妨害されているかを知らないか又は容易に確認することができない場合がある。従って、インジケータ110をマイクロフォン108の物理的な位置の近くに配置することによって、該ユーザは、劣化したデータが入力されていることが検出されたセンサを容易に突き止めることができる。加えて、図1において静的な視覚的描写として示されているが、幾つかの実施態様において、視覚的インジケータ110は、静的な視覚的描写でない。すなわち、視覚的インジケータ110はアニメーション化され、例えばパターン、例えば脈動又は波パターン、で、色、色の強度、又は明るさを変化させる等してアニメーション化され、該ユーザをマイクロフォン108の位置に方向付けることができる。視覚的インジケータ110は、例によってのみ提供されることを理解されたい。特に、他の実施態様において、視覚的インジケータは、アイコン108若しくは同心円122又はそれらの組み合わせを含んでいない。更に他の実施態様において、該視覚的インジケータはまた、アイコン108若しくは同心円122又はそれらの組み合わせに加えて、或いはそれらに代えて、他のコンポーネントを含むことができる。

【0022】

例えば、視覚的インジケータ112は、アイコン116及び矢印118を含む。従って、視覚的インジケータ112は、同心円122を含んでいない。どちらかと言えば、アイコン116及び矢印118は、センサ（すなわち、この例においてカメラ106）の物理的位置に近接して配置される。加えて、矢印118は、カメラ106の位置を指し示している。視覚的インジケータ110と同様に、視覚的インジケータ112はまた、色、強度、明るさ等を変化させて、該ユーザを該センサの物理的位置に方向付けるようにアニメーション化されることができる。その上、視覚的インジケータの実装は、対応するセンサの物理的位置に近接するディスプレイ102上に配置されている必要はない。例えば、視覚的インジケータ114は、夫々のセンサの位置を示す為のラベル126及び128を備えているデバイス100の描写である。

【0023】

幾つかの実施態様において、視覚的インジケータ110、112若しくは114又はそれらの組み合わせは、ディスプレイ102上に表示された他のコンテントの上に視覚的インジケータ110、112及び114を重畳することによってディスプレイ102上に表示されることができる。他の実施態様において、ディスプレイ102上に表示されるコンテントは、視覚的インジケータ110、112又は114のうちの１以上を表示する為に新しい画面又はウィンドウが開かれるように最小化される。加えて、複数の視覚的インジケータが同時に表示されることができる。例えば、デバイス100の図を示すインジケータ114は、視覚的インジケータ110若しくは視覚的インジケータ112又はそれらの組み合わせと同時に表示されることができる。その上、他の情報が、１以上の視覚的インジケータと共に表示されることができる。例えば、在りうる原因若しくはユーザが取るべき在りうる工程又はそれらの組み合わせのテキストリストは、該ユーザを所与のセンサの位置に方向付ける１以上の視覚的インジケータ又は該ユーザに他の視覚的ガイダンスを提供する１以上の視覚的インジケータと共にディスプレイ102上に表示されることができる。そのようなテキストリストは、履歴データ及び他のセンサ、例えば、センサ130若しくはセンサ132又はセンサ130及び132、からのデータに基づいてデバイス100によって決定される劣化の原因の確率又は尤度に基づいて順序付けられることができる。別の例において、テキスト情報により、センサの位置を確認したり又はセンサの位置にユーザを方向付けたりすることができる。例えば、所与のセンサがディスプレイ102とは異なるデバイス100の側に配置されている場合、テキスト情報は、この情報を該ユーザに伝えることができる。

【0024】

加えて、視覚的インジケータの他のバリエーションは、所与のセンサの位置に加えて又はその代わりに、他のガイダンスをユーザに提供しうる。例えば、デバイス100が該ユーザから遠すぎること及び該ユーザがデバイス100に近づく必要があることを該ユーザが知るように、該ユーザが近づくように示す手の絵がディスプレイ102上に表示されることができる。従って、図1において図示された視覚的インジケータ110、112及び114は、例としてのみ提供され、１以上のセンサによってキャプチャされたメディアデータの品質における検出された劣化の在りうる原因を緩和する際に該ユーザを導く為に、他の視覚的インジケータが他の実施態様で実装されることができることを示す。

【0025】

デバイス100上のセンサの位置に関する情報は、様々な方法で取得されることができる。例えば、幾つかの実施態様において、デバイス100上で実行されるアプリケーションは、デバイス100から識別情報、例えば、モデル番号、製造業者等に関する上記の識別情報、を収集することができる。幾つかの実施態様において、該アプリケーションは、該収集した識別情報（例えば、モデル番号、シリアル番号等）に基づいて、製造業者又は他のリポジトリから、デバイス情報、例えば、センサの種類、センサの位置、ディスプレイサイズ、ディスプレイタイプ、センサの特徴等に関する上記のデバイス情報、を収集する為に、ネットワークを介して通信することができる。他の実施態様において、複数のデバイスについてのデバイス情報のデータベース又はリポジトリがデバイス100上に記憶されることができ、及びデバイス100上で実行されるアプリケーションによって収集された識別情報に基づいて、対応するデバイス情報が突き止められることができる。該デバイス情報、例えば、センサの位置及び種類、は、ディスプレイ102上の適切な場所に視覚的インジケータ110、112若しくは114又はそれらの組み合わせを配置する為に使用されることができる。その上、幾つかの実施態様において、本明細書に記載された実施態様の機能性は、アプリケーションレベルで実装されることができるが、他の実施態様において、本明細書に記載された実施態様の機能性は、オペレーティングシステムレベルで、又はアプリケーションレベルとオペレーティングシステムレベルとの組み合わせで実装されることができることを理解されたい。

【0026】

図1に図示されたデバイス100のコンポーネントは例としてのみ提供され、他の実装は、図1に示されたものに加えて又はその代わりに、他のコンポーネントを備えていることができることを理解されたい。例えば、デバイス100は、該視覚的インジケータに加えてユーザに触覚的フィードバックを提供することができる１以上の触覚的振動モータを備えていることができる。例えば、ユーザが電話で話をしており且つディスプレイ102を見ていない場合、触覚的振動モータは、該ユーザがディスプレイ102を見るべきであると通知する為に使用されることができる。加えて、デバイス100は１以上のスピーカを備えていることができ、幾つかの実施態様において、それらにより、ディスプレイ102上で提供される視覚的ガイダンスに加えて、該ユーザにオーディオ指示又はオーディオガイダンスを提供することができる。

【0027】

図2は、上述されたデバイス100の機能性を実装するように構成された例示的なコンピューティングデバイス200の１つの実施態様のブロック図である。図2において示されているコンピューティングデバイス200のコンポーネントは、１以上のプロセッサ202、メモリ204、ストレージインタフェース216、入力／出力（「I／O」）デバイスインタフェース212、及びネットワークインタフェース218を備えており、それらの全ては、メモリバス206、I／Oバス208、バスインタフェースユニット（「IF」）209、及びI／Oバスインタフェースユニット210を介してこれらのコンポーネント間の通信の為に直接的又は間接的に通信可能に接続される。

【0028】

図2において示されている実施態様において、コンピューティングデバイス200は、汎用目的のプログラム可能な１以上の中央処理装置（CPU：central processing unit）202A及び202Bを備えており、本明細書において、一般的にプロセッサ202と云われる。幾つかの実施態様において、コンピューティングデバイス200は、複数のプロセッサを備えている。しかしながら、他の実施態様において、コンピューティングデバイス200は、単一CPUシステムである。各プロセッサ202は、メモリ204内に記憶された命令を実行する。加えて、実施態様は中央処理装置チップ（central processing unit chip：CPUチップ）に関して記載されているが、本明細書において記載された実施態様はまた、CPUチップに加えて又はCPUチップの代わりに、デジタル信号プロセッサ（DSP：digital signal processor）チップ若しくはグラフィック処理装置（GPU：graphic processing unit）チップ又はそれらの組み合わせを利用するコンピュータシステムに適用されることができることが理解されるであろう。従って、本明細書におけるプロセッサ又は処理装置への言及は、CPUチップ、GPUチップ、若しくはDSP、又はそれらの組み合わせを云うことができる。

【0029】

幾つかの実施態様において、メモリ204は、データ及びプログラムを記憶又はエンコードする為のランダムアクセス半導体メモリ、ストレージデバイス、又はストレージ媒体（揮発性又は不揮発性のいずれか）を包含する。例えば、メモリ204は、命令211、履歴データ213、及びデバイス情報215を記憶する。プロセッサ、例えばプロセッサ202、によって実行されるときに、命令211は、プロセッサ202に、本明細書において記載されているように、キャプチャされたメディアデータ（例えば、画像、ビデオ、オーディオ）の品質における劣化を検出し、そして、該劣化のソースを緩和する際にユーザをガイドする視覚的インジケータを提供することに関して議論される機能及び計算を実行させる。その上、図2に図示されていないが、幾つかの実施態様において、メモリ204は、本明細書において議論されるように、複数のユーザについてのプロファイルデータを更に記憶する。該プロファイルデータは、本明細書において議論されるように、劣化の検出をパーソナライズする為に並びに該検出された劣化の原因を緩和する際にパーソナライズされたガイダンスを提供する為に使用されることができる。

【0030】

幾つかの実施態様において、メモリ204は、コンピューティングデバイス200の仮想メモリ全体を表し、及びネットワークを介してコンピューティングデバイス200に接続された他のコンピュータデバイスの仮想メモリをまた備えていてもよい。幾つかの実施態様において、メモリ204は単一のモノリシック実体物（monolithic entity）であるが、他の実施態様において、メモリ204は、キャッシュ及び他のメモリデバイスの階層を備えている。例えば、メモリ204は、キャッシュの複数のレベル内に存在することができ、及びこれらのキャッシュは機能によって更に分割されることができ、従って、１つのキャッシュが命令を保持し、一方、別のキャッシュが該プロセッサによって使用される非命令データを保持する。メモリ204は、例えば、様々な任意の、所謂、非均一メモリアクセス（NUMA：non-uniform memory access）コンピュータアーキテクチャにおいて知られている故に、異なる処理装置又は処理装置のセットに更に分散され、そして関連付けられていてもよい。従って、説明の為に図2において示されている例において、命令211、履歴データ213、及びデバイス情報215が同じメモリ204上に記憶されているが、他の実施態様は異なって実装されることができることを理解されたい。例えば、命令211、履歴データ213、若しくはデバイス情報215、又はそれらの組み合わせは、複数の物理媒体に分散されることができる。

【0031】

図2において示されている実施態様のコンピューティングデバイス200はまた、プロセッサ202、メモリ204、ディスプレイシステム224、及びI／Oバスインタフェースユニット210の間の通信を処理する為のバスインタフェースユニット209を備えている。I／Oバスインタフェースユニット210は、様々なI／Oユニットとの間でデータを転送する為に、I／Oバス208と接続される。特に、I／Oバスインタフェースユニット210は、I／Oバス208を通じて、複数のI／Oインタフェースユニット212、216及び218（それらは、I／Oプロセッサ（IOP）又はI／Oアダプタ（IOA）としてまた知られている）と通信することができる。ディスプレイシステム224は、ディスプレイコントローラ、ディスプレイメモリ、又はその両方を備えている。該ディスプレイコントローラは、ビデオ、静止画像、オーディオ、又はそれらの組み合わせをディスプレイデバイス226に提供することができる。該ディスプレイメモリは、ビデオデータをバッファリングする為の専用メモリであってもよい。ディスプレイシステム224は、ディスプレイデバイス226と接続される。幾つかの実施態様において、ディスプレイデバイス226はまた、オーディオをレンダリングする為の１以上のスピーカも備えている。代替的には、オーディオをレンダリングする為の１以上のスピーカは、I／Oインタフェースユニットと接続されてもよい。代替の実施態様において、ディスプレイシステム224によって提供される１以上の機能は、プロセッサ202をまた備えている集積回路に搭載される。加えて、幾つかの実施態様において、バスインタフェースユニット209によって提供される１以上の機能は、プロセッサ202をまた含む集積回路に搭載される。

【0032】

該I／Oインタフェースユニットは、様々なストレージ及びI／Oデバイスとの通信をサポートする。例えば、I／Oデバイスインタフェースユニット212は、ユーザ出力デバイス及びユーザ入力デバイス（例えば、キーボード、マウス、キーパッド、タッチパッド、トラックボール、ボタン、ライトペン、又は他のポインティングデバイス）を備えていてもよい１以上のユーザI／Oデバイス220の接続をサポートする。ユーザは、入力データ及びコマンドをユーザI／Oデバイス220に提供する為に、ユーザインタフェースを使用してユーザ入力デバイスを操作することができる。加えて、ユーザは、該ユーザ出力デバイスを介して出力データを受信することができる。例えば、ユーザインタフェースは、ユーザI／Oデバイス220を介して提示されてもよく、例えば、ディスプレイデバイス上に表示されてもよく又はスピーカを介して再生されてもよい。

【0033】

ストレージインタフェース216は、１以上のストレージデバイス228、例えばフラッシュメモリ、の接続をサポートする。メモリ204のコンテンツ、又はその任意の部分は、必要に応じてストレージデバイス228に記憶されてもよく、及びストレージデバイス228から取り出されてもよい。ネットワークインタフェース218は、コンピューティングデバイス200から他のデジタルデバイス及びコンピュータデバイスへの１以上の通信経路を提供する。例えば、幾つかの実施態様において、コンピューティングデバイス200は、ネットワークインタフェース218を介してデバイス情報を要求し且つ受信する為にサーバと通信することができる。

【0034】

図2において示されているコンピューティングデバイス200は、プロセッサ202、メモリ204、バスインタフェースユニット209、ディスプレイシステム224、及びI／Oバスインタフェースユニット210の間の直接通信経路を提供する特定のバス構造を示しているが、代替実施態様において、コンピューティングデバイス200は、異なるバス又は通信経路を備えていてもよく、該異なるバス又は通信経路は、様々な形態、例えば、階層的構成、スター構成又はウェブ構成におけるポイントツーポイントリンク、複数の階層的バス、並列経路及び冗長経路、又は任意の他の適切なタイプの構成、のいずれかで配置されてもよい。その上、I／Oバスインタフェースユニット210及びI／Oバス208は、単一の夫々のユニットとして示されているが、コンピューティングデバイス200は、他の実施態様において、複数のI／Oバスインタフェースユニット210若しくは複数のI／Oバス208又はそれらの組み合わせを備えている。複数のI／Oインタフェースユニットが示されているが、それらは、I／Oバス208を様々なI／Oデバイスに走る様々な通信経路から分離するが、他の実施態様において、I／Oデバイスの一部又は全部が、１以上のシステムI／Oバスに直接接続される。

【0035】

上述されているように、幾つかの実施態様において、図2に示された１以上のコンポーネント及びデータは、プロセッサ202上で実行される命令若しくはステートメント、又はプロセッサ202上で実行される命令若しくはステートメントによって解釈されて、本明細書において記載されるような機能を実行する命令若しくはステートメント、を含む。他の実施態様において、図2において示されている１以上のコンポーネントは、プロセッサベースのシステムの代わりに又は該プロセッサベースのシステムに加えて、半導体デバイス、チップ、論理ゲート、回路、回路カード、若しくは他の物理ハードウェアデバイス又はそれらの組み合わせを介してハードウェアで実装される。加えて、他の実施態様において、図2において示されるコンポーネントの幾つかが省略されることができ、若しくは他のコンポーネントが備えられていることができ、又は図2において示されるコンポーネントの幾つかが省略されることができ且つ他のコンポーネントが備えられていることができる。

【0036】

図3は、センサ性能を向上させる例示的な方法300の１つの実施態様を図示するフローチャート図である。方法300は、コンピューティングデバイス、例えば、上述されたコンピューティングデバイス200、よって実装されることができる。例示的な方法300における動作の順序は、説明の目的の為に提供され、該方法は、他の実施態様において異なる順序で実行されることができることを理解されたい。同様に、他の実施態様において、幾つかの動作が省略されることができ、又は追加の動作が含められることができることを理解されたい。その上、方法300が、デバイス上、例えば、デバイス100又は200上、で実行される前に、ユーザがデータ収集にオプトインすることができることを理解されたい。例えば、データの収集及び解析を許可するか否かを選択するようにユーザに要求するダイアログをユーザは提示されることができる。

【0037】

工程302において、デバイス情報が取得される。例えば、上述されたように、デバイス情報のリポジトリは、幾つかの実施態様において、該デバイスの識別情報に基づいて検索されることができる。該デバイス情報は、センサの種類、センサの特徴、若しくは該デバイス上の１以上のセンサの物理的位置、又はそれらの組み合わせを含むことができる。その上、デバイス情報の該リポジトリは、該デバイス上にローカルに記憶されることができ、又はネットワーク、例えばインターネット、を介してアクセスされることができる。加えて、該識別情報は、幾つかの実施態様において、上述されたように、該デバイスから識別情報を取得する該デバイス上で実行されるアプリケーションによって取得されることができる。

【0038】

工程304において、該デバイス上の複数のセンサのうちの１つによってデータがキャプチャされる。例えば、カメラは、ビデオ又は画像をキャプチャすることができる。同様に、マイクロフォンは、音声データをキャプチャすることができる。加えて、他のセンサ、例えば、周囲の光に関するデータを取得する光センサ、又は加えられた圧力に関するデータを取得する圧力センサ、が、対応するデータをキャプチャする為に使用されることができる。工程306において、該キャプチャされたデータの品質が劣化しているかが判定される。例えば、該キャプチャされたデータを品質閾値と比較して、該キャプチャされたデータが劣化しているかを判定することができる。幾つかの実施態様において、解析されるべきセンサ毎にセンサプロファイルが該センサの性能履歴データに基づいて開発されることができる。例えば、各カメラ、各マイクロフォン等についてのプロファイルである。マイクロフォンからの音声データに関して、音声品質は正弦波フォーマットに従う傾向がある故に、幾つかの実施態様において、例えば、フーリエ級数を使用して、マイクロフォンについてのサウンドプロファイルの数学的近似が開発されることができる。画像データをキャプチャするカメラに関して、幾つかの実施態様において、該画像データは、画素の観点から評価されることができる。例えば、幾つかのそのような実施態様において、或るピクセルがどのように見えるかを識別することによって、畳み込みニューラルネットワーク（CNN：Convolutional Neural Network）画像分類器が、得られた画像データ（例えば、静止画（still photo）又は動画（video））の品質を低下させるカメラのブロック（blockage）又は障害物（obstruction）を識別する為に実装されることができる。

【0039】

畳み込みニューラルネットワークは、フィードフォワード型人工ニューラルネットワーク（feed-forward artificial neural network）の１つのクラスであり、視覚イメージを解析する為に成功裡に施与されている。畳み込みニューラルネットワークは、学習可能な重みとバイアスとを有する人工的な構造又はニューロンのような構造で構成されている。各ニューロンは幾つかの入力を受け取り、及びドット積を実行する。畳み込みニューラルネットワークのアーキテクチャは典型的には、入力（例えば、単一のベクトル）を受け取り、そして、それを一連の隠れ層を介して変換するように動作する複数の層のスタックを備えている。各隠れ層はニューロンの1組で構成されており、ここで、各ニューロンは学習可能な重みとバイアスを有し、各ニューロンは前の層における全てのニューロンと完全に接続されることができ、１つの層におけるニューロンは共有された接続無しに独立して機能することができる。最後の層は完全に接続された出力層であり、及び分類の設定において、それはクラススコアを表し、それは任意の実数値、又は実数値のターゲット（例えば、回帰の場合）であることができる。しかしながら、本明細書において記載された実施態様は、畳み込みニューラルネットワークに限定されず、画像及び動画を解析する為に、他のタイプのニューラルネットワーク、例えば、リカレントニューラルネットワーク（RNN：recurrent neural network）、深層畳み込み逆グラフィックネットワーク（DCIGN：Deep Convolutional Inverse Graphics Network）、を使用して実装されることができることを理解されたい。

【0040】

加えて、該センサについて取得されたデータの品質閾値を決定することは、少なくとも部分的に、上述されているように、１以上のユーザの各々についての夫々のユーザプロファイルに基づくことができる。例えば、夫々のユーザプロファイルは、該ユーザについての各々のデバイス利用状況履歴データに基づくことができる。該デバイス利用状況履歴データは、デバイスの持ち方、時間間隔、行われている動作、使用されているアプリケーション、ユーザの声の大きさ等の項目を含むことができるが、これらに限定されるものでない。従って、幾つかの実施態様において、該品質閾値は、該センサについての異常又は劣化した性能と見なされるものを決定する為に、各ユーザが該デバイスと相互作用する方法における違いを考慮するように適合されることができる。

【0041】

工程306において、データ品質が劣化していないと判定された場合、方法300は工程304に戻り、工程304において、後続のデータがキャプチャされる。工程306において、該データ品質が劣化していると判定された場合、方法300は、視覚的インジケータが該デバイスのディスプレイ上に表示される工程308に進む。該視覚的インジケータは、該センサによってキャプチャされたデータの該劣化した品質の潜在的原因を緩和する際にユーザをガイドする非テキストコンポーネントを含む。例えば、幾つかの実施態様において、該非テキストコンポーネントは、該ユーザを該デバイス上の該センサの物理的位置に方向付ける。加えて、該非テキストコンポーネントは、取るべき行動、例えば該センサに近づくこと、を該ユーザに指示することができる。

【0042】

幾つかの実施態様において、該視覚的インジケータは、該センサの該物理的位置に近接する該ディスプレイ上の場所において表示される。例えば、上述されているように、幾つかの実施態様において、該非テキストコンポーネントは、該センサの該物理的位置の近くに表示されるアイコン、該センサの該物理的位置の近くに中心を置く同心円状の部分円、該センサの該物理的位置の近くに表示され且つそちらに向く矢印等を包含することができる。加えて、幾つかの実施態様において、該視覚的インジケータの該非テキストコンポーネントは、該デバイスのディスプレイ上に表示される該デバイスの図を含むことができる。該図は、例えば該デバイス上の該センサの位置を強調すること（例えば、該デバイス上の該センサの位置を示すラベルを包含する、等）によって、該センサの該物理的な位置を説明することができる。その上、該視覚的インジケータは、幾つかの実施態様において、ポップアップメッセージと同様に、該ディスプレイ上に既に表示されているコンテントの上にオーバーレイされることができる。他の実施態様において、該デバイス上に表示されるコンテントは、該視覚的インジケータによって置き換えられる。加えて、上述されているように、該視覚的インジケータはまた、テキストコンポーネント、例えばラベル、及び該劣化したデータの１以上の潜在的原因のリストを含むことができる。幾つかのそのような実施態様において、該リストは、所与の潜在的原因が該劣化した性能の実際の原因である尤度の順に、該潜在的原因を並べることができる。

【0043】

工程310において、成功通知が任意的に出力されることができるか又は、該ユーザに提供されることができる。該通知は、視覚的通知、可聴的通知、若しくは触覚的フィードバック、又はそれらの組み合わせであることができる。該成功通知は、該劣化したデータの品質が改善されたことを該ユーザにフィードバックを提供するように構成されており、従って、該品質閾値との比較が、該データが劣化しているともはや判断されないことを示す。例えば、該デバイスは、該劣化したデータの通知を受信した後に行われた使用動作を検出且つ監視することができる。加えて、該デバイスは、該センサから受信したデータの品質を監視し続けることができる。従って、ユーザアクションを検出し、そして、該ユーザアクションに続いて該センサによってキャプチャされたデータが改善された品質を有すると判定することに応答して、該デバイスは該成功通知を出力することができる。

【0044】

工程312において、履歴データは、劣化したデータに関する情報、該劣化したデータを緩和する為に取られた任意のユーザアクション、該劣化したデータが検出された時点のデバイス利用状況データ等に基づいて更新されることができる。このフィードバックは、劣化したデータを検出する為の該デバイスの能力を更に向上させる為に使用されることができ、例えば、該品質閾値を更新する為に使用されることができる。加えて、幾つかの実施態様において、工程314において、該デバイスは、該センサによってキャプチャされた該データの品質が劣化しそうなときを予測するように構成されている（例えば、該デバイス上のプロセッサが命令を実行する）。例えば、所与のユーザが電話をかける為に該デバイスを使用していることが検出された場合、該デバイスは、該ユーザが該マイクロフォンを妨害する可能性があるか、話し声が小さすぎる可能性があるか等を判断する為に、該ユーザが該デバイスをどのように扱い、若しくは該デバイスをどのように使用し、又は該デバイスをどのように扱い且つ使用するかを、履歴データに基づいて予測する為に該履歴データを使用することができる。従って、幾つかのそのような実施態様において、該デバイスは、デバイス利用状況の履歴データを解析して、該センサの障害物の尤度を示すパターンを識別し、そして、現在のデバイス利用状況データを該識別されたパターンと比較することができる。該現在のデバイス利用状況が該識別されたパターンに一致すると判定することに応答して、該デバイスは、該センサによってキャプチャされたデータの該品質における劣化を検出する前に、該視覚的インジケータを表示することと共に通知を提供することができる。従って、該センサがブロックされるか又はさもなければ劣化した品質データをキャプチャされるところの尤度を低減する為に、該デバイスはプロアクティブな警告（warning）を提供することができる。該通知は、視覚的フィードバック、可聴的フィードバック、又は触覚的フィードバックであることができる。

【0045】

幾つかの実施態様において、該デバイスは、機械学習技術を使用して、時空間座標、

【数1】

を活用し、センサによって収集されるデータの品質が劣化されるであろう状況又は状態を表す履歴データ内の経路を作成するように構成されることができる。現在予測される経路が、劣化したデータ品質が検出された履歴データ内の以前の経路に類似している場合に、該デバイスは、センサ（例えば、カメラ又はマイクロフォン）によってキャプチャされたデータの品質における将来の劣化を予測することができる。例えば、p1、p2、...pnが、劣化したデータ品質が検出された履歴データにおける経路の1組を表すとする。各経路pnは、該時空間座標における点によって十分に定義される。モバイルデバイスのユーザの現在の利用状況を記述する経路のリストをkiとする。各経路kiは、該時空間座標における点によって定義される。現在の経路kiにおける履歴経路pnからの差が所定の閾値差εよりも小さい場合に、該デバイスは、センサ（例えば、カメラ又はマイクロフォン）によってキャプチャされたデータの品質における将来の劣化を予測することができる。例えば、nの定義された数について、

【数2】

である場合に、該デバイスは、該キャプチャされたデータの品質における将来の劣化を予測する。

【0046】

従って、本明細書において記載された実施態様は、センサの異常又はセンサの劣化した性能を検出することを可能にし、そして、ユーザが該デバイス上の該センサの位置を確認する為の及び異常性能の潜在的原因を修正する為の視覚的ガイダンスを提供する。その上、本明細書において記載された実施態様は、劣化した性能が潜在的な原因と共にいつ生じるかを事前に予測し、警告（warning）又は通知をユーザに提供して、収集されているデータの品質が低下することを該ユーザが防止することに役立つことができる。

【0047】

本発明は、統合の在りうる任意の技術的詳細レベルでの、システム、方法若しくはコンピュータプログラム製品又はそれらの組み合わせでありうる。該コンピュータプログラム製品は、プロセッサに本発明の観点を実行させる為のコンピュータ可読プログラム命令を有する１以上のコンピュータ可読記憶媒体を包含しうる。

【0048】

該コンピュータ可読記憶媒体は、命令実行デバイスによって使用する為の命令を保持且つ記憶することができる有形のデバイスであることができる。該コンピュータ可読記憶媒体は、例えば、電子ストレージデバイス、磁気ストレージデバイス、光ストレージデバイス、電磁ストレージデバイス、半導体ストレージデバイス、又はそれらの任意の適切な組み合わせでありうるが、これらに限定されない。該コンピュータ可読記憶媒体のより具体的な例の非網羅的なリストは、下記を包含する：ポータブルのコンピュータディスケット（登録商標）、ハードディスク、ランダムアクセスメモリ（RAM：random access memory）、読み取り専用メモリ（ROM：read only memory）、消去可能なプログラム可能な読み取り専用メモリ（EPROM（erasable programmable read-only memory）又はフラッシュメモリ）、スタティックランダムアクセスメモリ（SRAM：static random access memory）、ポータブル・コンパクトディスク読み取り専用メモリ（CD-ROM：compact disc read-only memory）、デジタル多用途ディスク（DVD：digital versatile disk）、メモリスティック、フロッピーディスク、機械的に符号化されたデバイス、例えば、パンチカード若しくは命令が記録されている溝内の隆起構造又はそれらの任意の適切な組み合わせ。本明細書において使用される場合、該コンピュータ可読記憶媒体は、一時的な信号それ自体、例えば、電波又は他の自由に伝播する電磁波、導波管若しくは他の伝送媒体を伝播する電磁波（例えば、光ファイバケーブルを通過する光パルス）、又は電線を介して送信される電気信号、であると解釈されるべきでない。

【0049】

本明細書において記載されたコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体から夫々のコンピューティングデバイス／処理デバイスに、又はネットワーク、例えば、インターネット、ローカルエリアネットワーク、ワイドエリアネットワーク若しくはワイヤレスネットワーク又はそれらの組み合わせ、を介して外部コンピュータ又は外部記憶デバイスにダウンロードされることができる。該ネットワークは、銅線伝送ケーブル、光伝送ファイバ、無線伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイコンピュータ若しくはエッジサーバ又はそれらの組み合わせで構成されうる。各コンピューティングデバイス／処理デバイスにおけるネットワークアダプタカード又はネットワークインタフェースは、ネットワークからコンピュータ可読プログラム命令を受信し、そして、該コンピュータ可読プログラム命令を、個々のコンピューティングデバイス／処理デバイス内にコンピュータ可読記憶媒体中に記憶する為に伝送する。

【0050】

本発明の動作を実行する為のコンピュータ可読プログラム命令は、アセンブラ命令、命令セットアーキテクチャ（ISA：instruction-set-architecture）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、集積回路の為の構成データ、又は、１以上のプログラミング言語、例えばオブジェクト指向プログラミング言語、例えば、Smalltalk、C++等、慣用的な手続き型プログラミング言語（例えば、「C」プログラミング言語又は同様のプログラミング言語）、の任意の組み合わせで書かれているソースコード又はオブジェクトコードのいずれか、でありうる。該コンピュータ可読プログラム命令は、ユーザのコンピュータ上で全体的に、ユーザのコンピュータ上で部分的に、ユーザのコンピュータ上でスタンドアロン・ソフトウェア・パッケージとして部分的に、ユーザのコンピュータ上で部分的に且つリモート・コンピュータ上で部分的に、又はリモート・コンピュータ若しくはサーバ上で全体的に、実行されうる。後者のシナリオにおいて、該リモート・コンピュータは、任意の種類のネットワーク、例えば、ローカルエリアネットワーク（LAN：local area network）若しくはワイドエリアネットワーク（WAN：wide area network）、を介してユーザのコンピュータに接続されうるか、又は該接続は（例えば、インターネットサービスプロバイダを使用したインターネットを通じて）外部コンピュータに対して行われうる。幾つかの実施態様において、電子回路、例えば、プログラム可能な論理回路、フィールドプログラム可能なゲートアレイ（FPGA：field-programmable gate arrays）又はプログラム可能なロジックアレイ（PLA：programmable logic arrays）、は、本発明の観点を実行する為に、コンピュータ可読プログラム命令の状態情報を利用することによって、電子回路をパーソナライズすることによって、コンピュータ可読プログラム命令を実行しうる。

【0051】

本発明の観点は、本発明の実施態様に従う、方法、装置（システム）及びコンピュータプログラム製品若しくはコンピュータプログラムのフローチャート図若しくはブロック図又はそれらの組み合わせを参照して本明細書において記載されている。該フローチャート図若しくは該ブロック図又はそれらの組み合わせの各ブロック、並びに該フローチャート図若しくは該ブロック図又はそれらの組み合わせにおける複数のブロックの組み合わせは、コンピュータ可読プログラム命令によって実装されることができることが理解されるであろう。

【0052】

これらのコンピュータ可読プログラム命令は、該コンピュータ又は他のプログラム可能なデータ処理装置のプロセッサを介して実行する命令が該フローチャート図若しくは該ブロック図又はそれらの組み合わせの１以上のブロックにおいて特定された機能／動作を実装する為の手段を作成するように、コンピュータのプロセッサ又は他のプログラム可能なデータ処理装置に提供されて、マシンを作り出しうる。記憶された命令を有するコンピュータ可読記憶媒体が該フローチャート図若しくは該ブロック図又はそれらの組み合わせの１以上のブロックにおいて特定される機能／動作の観点を実装する命令を含む製造品を含むように、これらのコンピュータ可読プログラム命令はまた、コンピュータプログラム可能なデータ処理装置若しくは他のデバイス又はそれらの組み合わせに特定の様式で機能するように指示することができるコンピュータ可読記憶媒体中に記憶されうる。

【0053】

該コンピュータ可読プログラム命令はまた、コンピュータ上、他のプログラム可能なデータ処理装置上又は他のデバイス上で実行される命令が、該フローチャート図若しくは該ブロック図又はそれらの組み合わせの１以上のブロックにおいて特定される機能／動作を実装するように、上記のコンピュータ上、他のプログラム可能なデータ処理装置上又は他のデバイス上にロードされて、コンピュータ、他のプログラム可能な装置又は他のデバイス上で一連の操作工程を実行させて、コンピュータに実装されたプロセスを生成しうる。

【0054】

図面中のフローチャート図及びブロック図は、本発明の様々な実施態様に従う、システム、方法及びコンピュータプログラム製品若しくはコンピュータプログラムの在りうる実装の、アーキテクチャ、機能及び動作を示す。これに関連して、該フローチャート図又は該ブロック図における各ブロックは、命令のモジュール、セグメント、又はその一部を表し得、それは、特定された１以上の論理機能を実装する為の１以上の実行可能命令を含む。幾つかの代替の実装において、該ブロックにおいて示されている機能は、図面中に示されている順序とは異なって生じうる。例えば、連続して示されている２つのブロックは、実際には、関与する機能に依存して、同時に、実質的に同時に、部分的又は全体的に時間的に重複する様式で実行される１つの工程として達成されうるか、又は該ブロックは、逆の順序で実行されうる。該ブロック図若しくは該フローチャート図又はそれらの組み合わせの各ブロック、並びに該ブロック図若しくは該フローチャート図又はそれらの組み合わせの複数のブロックの組み合わせは、特定された機能又は動作を実行する特別な目的のハードウェアベースのシステムによって実装することができ、又は特別な目的のハードウェアとコンピュータ命令との組み合わせを実行することができることに留意されたい。

【0055】

本明細書において、特定の実施態様が図示され且つ記載されてきたが、同じ目的を達成するように計算された任意の配置を、示された該特定の実施態様に代えてもよいことは、当業者によって理解されるであろう。それ故に、本発明は、特許請求の範囲及びその均等物によってのみ限定されることが明白に意図されている。

【図1】

【図2】

【図3】

【手続補正書】

【提出日】2023-10-06

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

コンピュータに実装された方法であって、
デバイス上のセンサの物理的位置を、前記デバイスによって取得すること；
前記デバイス上に物理的に配置された前記センサによってキャプチャされたデータの品質が劣化していることを、前記キャプチャされたデータと品質閾値との比較に基づいて、前記デバイスによって判定すること；及び、
前記センサによってキャプチャされた前記データの品質が劣化していると判定することに応答して、前記デバイスのディスプレイ上に視覚的インジケータを表示すること、ここで、前記視覚的インジケータは、前記デバイス上の前記センサの前記物理的位置をユーザに指示する少なくとも１つの非テキストコンポーネントを含む、
前記方法。

【請求項2】

前記品質閾値を、前記センサについての性能履歴データに基づいて開発された、前記センサについてのセンサプロファイルに少なくとも部分的に基づいて決定することを更に含む、請求項１に記載の方法。

【請求項3】

前記品質閾値を、１以上のユーザの各々についての夫々のユーザプロファイルに少なくとも部分的に基づいて決定することを更に含み、ここで、夫々のユーザプロファイルが、前記１以上のユーザの１人についての夫々のデバイス利用状況の履歴データに基づく、請求項１に記載の方法。

【請求項4】

前記1以上のユーザの各々についての前記夫々のデバイス利用状況の履歴データを解析して、前記センサの妨害の尤度を示すパターンを識別すること；
前記１以上のユーザの１人の現在のデバイス利用状況データを、前記識別されたパターンと比較すること；及び、
前記現在のデバイス利用状況が前記識別されたパターンに一致すると判定することに応答して、前記センサによってキャプチャされたデータの前記品質における劣化を検出する前に、前記視覚的インジケータを表示すると共に通知を提供すること
を更に含む、請求項３に記載の方法。

【請求項5】

前記視覚的インジケータが、前記センサの前記物理的位置に近接した位置で前記デバイスの前記ディスプレイ上に表示される、請求項１に記載の方法。

【請求項6】

前記視覚的インジケータの前記非テキストコンポーネントが、前記センサの前記物理的位置の近くに中心を置く複数の同心円状の部分円を含む、請求項５に記載の方法。

【請求項7】

前記非テキストコンポーネントが、前記ユーザを前記センサの前記物理的位置に方向付けるようにアニメーション化される、請求項１に記載の方法。

【請求項8】

前記視覚的インジケータの前記非テキストコンポーネントが、前記ディスプレイ上に表示される前記デバイスの一覧図を含み、該一覧図が前記センサの前記物理的位置を図示する、請求項１に記載の方法。

【請求項9】

ユーザアクションを検出し、そして、前記ユーザアクションに続いて前記センサによってキャプチャされたデータが改善された品質を有すると判定することに応答して、成功通知を前記ユーザに提供することを更に含む、請求項１に記載の方法。

【請求項10】

コンピューティングデバイスであって、該コンピューティングデバイスが、
ディスプレイ；
データをキャプチャするように構成されたセンサ；並びに、
前記センサに及び前記ディスプレイに通信可能に接続されたプロセッサ
を備えており、
前記プロセッサが、
前記コンピューティングデバイス上のセンサの物理的位置を識別し；
前記センサによってキャプチャされたデータの品質が劣化していることを、前記キャプチャされたデータと品質閾値との比較に基づいて判定し；及び、
前記センサによってキャプチャされた前記データの前記品質が劣化していると判定することに応答して、前記ディスプレイ上に視覚的インジケータを表示する
ように構成されており、ここで、前記視覚的インジケータは、前記センサによってキャプチャされた前記データの前記劣化された品質の潜在的原因を緩和するように前記ユーザをガイドするように構成されている少なくとも１つの非テキストコンポーネントを含む、
前記コンピューティングデバイス。

【請求項11】

前記プロセッサが、
前記センサについての性能履歴データに基づいて、前記センサについてのセンサプロファイルを開発し；及び、
前記品質閾値を、センサプロファイルに少なくとも部分的に基づいて決定する
ように構成されている、請求項１０に記載のコンピューティングデバイス。

【請求項12】

前記プロセッサが、
前記品質閾値を、１以上のユーザの各々についての夫々のユーザプロファイルに少なくとも部分的に基づいて決定するように構成されており、ここで、夫々のユーザプロファイルが、前記１以上のユーザの１人についての夫々のデバイス利用状況の履歴データに基づく、請求項１０に記載のコンピューティングデバイス。

【請求項13】

前記視覚的インジケータが、前記センサの前記物理的位置に近接した位置で前記デバイスの前記ディスプレイ上に表示される、請求項１０に記載のコンピューティングデバイス。

【請求項14】

前記視覚的インジケータの前記少なくとも１つの非テキストコンポーネントが、前記ディスプレイ上に表示される前記コンピューティングデバイスの一覧図を含み、該一覧図が前記センサの前記物理的位置を図示する、請求項１０に記載のコンピューティングデバイス。

【請求項15】

前記視覚的インジケータの前記少なくとも１つの非テキストコンポーネントが、前記ユーザを前記センサの前記物理的位置に方向付けるようにアニメーション化される、請求項１０に記載のコンピューティングデバイス。

【請求項16】

コンピュータプログラムであって、
コンピューティングデバイス上のセンサの物理的位置を識別すること；
前記センサによってキャプチャされたデータの品質が劣化していることを、前記キャプチャされたデータと品質閾値との比較に基づいて判定すること；及び、
前記センサによってキャプチャされた前記データの前記品質が劣化していると判定することに応答して、ディスプレイ上に視覚的インジケータを表示すること、ここで、前記視覚的インジケータは、前記デバイス上の前記センサの前記物理的位置にユーザを方向付ける少なくとも１つの非テキストコンポーネントを含む、
を含む方法をプロセッサに実行させる、前記コンピュータプログラム。

【請求項17】

前記コンピュータ可読プログラムが、前記プロセッサに、
前記センサについての性能履歴データに基づいて、前記センサについてのセンサプロファイルを開発すること；及び、
前記品質閾値を、センサプロファイルに少なくとも部分的に基づいて決定すること
を前記プロセッサに実行させる、請求項１６に記載のコンピュータプログラム。

【請求項18】

前記コンピュータプログラムが、前記品質閾値を、１以上のユーザの各々についての夫々のユーザプロファイルに少なくとも部分的に基づいて決定することを前記プロセッサに実行させ、ここで、夫々のユーザプロファイルが、前記１以上のユーザの１人についての夫々のデバイス利用状況の履歴データに基づく、請求項１６に記載のコンピュータプログラム。

【請求項19】

前記視覚的インジケータが、前記センサの前記物理的位置に近接した位置で前記デバイスの前記ディスプレイ上に表示される、請求項１６に記載のコンピュータプログラム。

【請求項20】

前記視覚的インジケータの前記非テキストコンポーネントが、前記ディスプレイ上に表示される前記コンピューティングデバイスの一覧図を含み、該一覧図が前記センサの前記物理的位置を図示する、請求項１６に記載のコンピュータプログラム。

【国際調査報告】