特許 7416843 ノイズ存在下でのオーディオ取り込み

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-01-09

(45)【発行日】2024-01-17

(54)【発明の名称】ノイズ存在下でのオーディオ取り込み

(51)【国際特許分類】

   H04R 3/00 20060101AFI20240110BHJP

   G03B 31/00 20210101ALI20240110BHJP

   G03B 15/00 20210101ALI20240110BHJP

【ＦＩ】

H04R3/00 320

G03B31/00 Z

G03B31/00 B

G03B15/00 Q

G03B15/00 P

【請求項の数】 13

【外国語出願】

(21)【出願番号】P 2022023893

(22)【出願日】2022-02-18

(65)【公開番号】P2022127623

(43)【公開日】2022-08-31

【審査請求日】2022-06-17

(31)【優先権主張番号】21158158.2

(32)【優先日】2021-02-19

(33)【優先権主張国・地域又は機関】EP

(73)【特許権者】

【識別番号】515076873

【氏名又は名称】ノキア テクノロジーズ オサケユイチア

(74)【代理人】

【識別番号】100094569

【弁理士】

【氏名又は名称】田中 伸一郎

(74)【代理人】

【識別番号】100103610

【弁理士】

【氏名又は名称】▲吉▼田 和彦

(74)【代理人】

【識別番号】100109070

【弁理士】

【氏名又は名称】須田 洋之

(74)【代理人】

【識別番号】100067013

【弁理士】

【氏名又は名称】大塚 文昭

(74)【代理人】

【識別番号】100086771

【弁理士】

【氏名又は名称】西島 孝喜

(74)【代理人】

【識別番号】100109335

【弁理士】

【氏名又は名称】上杉 浩

(74)【代理人】

【識別番号】100120525

【弁理士】

【氏名又は名称】近藤 直樹

(74)【代理人】

【識別番号】100139712

【弁理士】

【氏名又は名称】那須 威夫

(72)【発明者】

【氏名】アルト ユハニ レーティニエミ

(72)【発明者】

【氏名】ミーカ タパニ ヴィレルモ

(72)【発明者】

【氏名】アンシ サカリ ラーモ

(72)【発明者】

【氏名】トニ ヘンリク マキネン

【審査官】金子 秀彦

(56)【参考文献】

【文献】特開２０１５－０８２７４５（ＪＰ，Ａ）

【文献】特開２０１９－０８０２４６（ＪＰ，Ａ）

【文献】特開２０１４－１１２８３０（ＪＰ，Ａ）

【文献】特開２００６－２１１７０８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｒ ３／００

Ｇ０３Ｂ ３１／００

Ｇ０３Ｂ １５／００

(57)【特許請求の範囲】

【請求項1】

複数のマイクロフォンを使用してオーディオシーンを取り込み、
前記取り込まれたオーディオシーンが許容できない検出ノイズを有すると判定し、
前記取り込まれたオーディオシーンが許容できない検出ノイズを有するとの判定に応じて、
許容できる検出ノイズで前記オーディオシーンを取り込む、１つまたは複数のマイクロフォンの第１の組と前記マイクロフォンの第１の物理的回転角度の組合せを見付けるために、１つまたは複数のマイクロフォンの様々な組および前記マイクロフォンの様々な物理的回転角度の両方のすべての組合せを探索して目標コスト関数を最大化または最小化する組合せを特定する手段と、
前記マイクロフォンの前記物理的回転角度が前記マイクロフォンの前記第１の物理的回転角度になるように制御し、１つまたは複数のマイクロフォンの前記第１の組と前記マイクロフォンの前記第１の物理的回転角度の前記組合せを使用して前記オーディオシーンを取り込み、ビジュアルシーンを取り込むためのイメージセンサを備える取り付けられたカメラおよび前記複数のマイクロフォンのうちの少なくともいくつかの物理的回転角度を電気的に制御する手段と、
選択されたビジュアルオブジェクトを、前記選択されたビジュアルオブジェクトが前記取り込まれたビジュアルシーン内に維持されるように自動的に追跡する手段と、を備える、装置。

【請求項2】

前記装置は、ビジュアルシーンのイメージを取り込むために使用される前記イメージセンサの下位論理部分を、選択されたビジュアルオブジェクトが前記取り込まれたビジュアルシーン内に維持されるように、前記イメージセンサを横切る方向に自動的に移動させるための手段を備える、請求項１に記載の装置。

【請求項3】

前記装置は、ビジュアルシーンのイメージを取り込むために使用される前記イメージセンサの論理部分を、選択されたビジュアルオブジェクトが前記取り込まれたビジュアルシーン内に維持されるように自動的にサイズ変更するための手段を備える、請求項１または２に記載の装置。

【請求項4】

使用者が前記ビジュアルオブジェクトを選択することを可能にするための手段を備える、請求項１、２、または３に記載の装置。

【請求項5】

ビジュアルシーンを取り込むためのイメージセンサを備える追加のカメラを更に備え、前記カメラおよび前記追加のカメラは異なる視点を有し、前記装置は、選択されたビジュアルオブジェクトを前記取り込まれたビジュアルシーン内に維持するために前記カメラまたは前記追加のカメラを使用するための手段を備える、請求項１～４のいずれか１項に記載の装置。

【請求項6】

許容できる検出ノイズで前記オーディオシーンを取り込む、１つまたは複数のマイクロフォンの第１の組と前記マイクロフォンの第１の物理的回転角度の組合せを見付けるために、１つまたは複数のマイクロフォンの様々な組および前記マイクロフォンの様々な物理的回転角度の両方を探索することは、使用者によって制御される、取り込まれたビジュアルシーンと取り込まれたオーディオシーンの間の相対的優先度を変える１つまたは複数のパラメータに依存する、請求項１～５のいずれか１項に記載の装置。

【請求項7】

前記マイクロフォンの前記物理的回転角度を制御するための前記手段は、ビジュアルシーンを取り込むためのイメージセンサを備える取り付けられたカメラおよび前記マイクロフォンの物理的回転角度を電気的に制御するための手段を備え、前記マイクロフォンの様々な物理的回転角度の前記探索は制約付き探索であり、前記取り付けられたカメラの前記物理的回転角度は、選択されたビジュアルオブジェクトが前記マイクロフォンの前記第１の物理的回転角度において前記取り込まれたビジュアルシーン内に留まるように制約される、請求項１～６のいずれか１項に記載の装置。

【請求項8】

１つまたは複数のマイクロフォンの様々な組の前記探索は制約付き探索であり、ノイズを生じるマイクロフォンは１つまたは複数のマイクロフォンの前記様々な組から取り除かれる、請求項１～７のいずれか１項に記載の装置。

【請求項9】

探索される前記マイクロフォンの前記様々な物理的回転角度は複数の成分を含み、前記マイクロフォンの様々な物理的回転角度を探索することは、前記マイクロフォンの前記物理的回転角度の前記成分の値の様々な組合せを探索することを含む、請求項１～８のいずれか１項に記載の装置。

【請求項10】

許容できる検出ノイズで前記オーディオシーンを取り込む、１つまたは複数のマイクロフォンの第１の組と前記マイクロフォンの第１の物理的回転角度の組合せを結果として見付けるために、１つまたは複数のマイクロフォンの様々な組および前記マイクロフォンの様々な物理的回転角度の両方を探索することは、最大数の歪んでいないマイクロフォンを有する結果またはノイズ低減アルゴリズムが最適に機能する結果を見付けるための探索である、請求項１～９のいずれか１項に記載の装置。

【請求項11】

許容できない検出ノイズを検出するために風ノイズ検出アルゴリズムを使用するための手段を備える、請求項１～１０のいずれか１項に記載の装置。

【請求項12】

１つまたは複数のプロセッサによって実行されると、
取り込まれたオーディオシーンが許容できない検出ノイズを有するとの判定に応じて、
許容できる検出ノイズで前記オーディオシーンを取り込む、マイクロフォン構成の１つまたは複数のマイクロフォンの第１の組と前記マイクロフォン構成の第１の物理的回転角度の組合せを見付けるために、前記マイクロフォン構成の１つまたは複数のマイクロフォンの様々な組および前記マイクロフォン構成の様々な物理的回転角度の両方のすべての組合せを探索して目標コスト関数を最大化または最小化する組合せを特定することと、
前記マイクロフォン構成の前記物理的回転角度が前記マイクロフォン構成の前記第１の物理的回転角度になるように制御し、前記マイクロフォン構成の１つまたは複数のマイクロフォンの前記第１の組と前記マイクロフォン構成の前記第１の物理的回転角度の前記組合せを使用して前記オーディオシーンを取り込み、ビジュアルシーンを取り込むためのイメージセンサを備える取り付けられたカメラおよび前記複数のマイクロフォンのうちの少なくともいくつかの物理的回転角度を電気的に制御することと、
選択されたビジュアルオブジェクトを、前記選択されたビジュアルオブジェクトが前記取り込まれたビジュアルシーン内に維持されるように自動的に追跡することと、
を可能にする、コンピュータプログラム。

【請求項13】

複数のマイクロフォンを備えるマイクロフォン構成を使用して取り込まれた、取り込まれたオーディオシーンが、許容できない検出ノイズを有すると判定することと、
前記取り込まれたオーディオシーンが許容できない検出ノイズを有するとの判定に応じて、許容できる検出ノイズで前記オーディオシーンを取り込む、マイクロフォン構成の１つまたは複数のマイクロフォンの第１の組と前記マイクロフォン構成の第１の物理的回転角度の組合せを見付けるために、前記マイクロフォン構成の１つまたは複数のマイクロフォンの様々な組および前記マイクロフォン構成の様々な物理的回転角度の両方のすべての組合せを探索して目標コスト関数を最大化または最小化する組合せを特定することと、
前記マイクロフォン構成の前記物理的回転角度が前記マイクロフォン構成の前記第１の物理的回転角度になるように制御し、前記マイクロフォン構成の１つまたは複数のマイクロフォンの前記第１の組と前記マイクロフォン構成の前記第１の物理的回転角度の前記組合せを使用して前記オーディオシーンを取り込み、ビジュアルシーンを取り込むためのイメージセンサを備える取り付けられたカメラおよび前記複数のマイクロフォンのうちの少なくともいくつかの物理的回転角度を電気的に制御することと、
選択されたビジュアルオブジェクトを、前記選択されたビジュアルオブジェクトが前記取り込まれたビジュアルシーン内に維持されるように自動的に追跡することと、
を含む、方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示の実施形態は、ノイズの存在下でのオーディオ取り込み（ａｕｄｉｏ ｃａｐｔｕｒｅ）に関する。

【背景技術】

【0002】

１つまたは複数のマイクロフォンを使用して取り込まれるオーディオシーンにおいて、ノイズが問題になる場合がある。

【0003】

いくつかの例では、ノイズ低減アルゴリズムを使用してオーディオシーンをデジタル処理することによって、信号（オーディオシーン）を改善し、ノイズを低減することが可能である。いくつかの例では、周波数依存性の減衰が使用され得る。状況によっては、空間的に分離されたマイクロフォンからの信号の相関が使用され得る。

【0004】

しかしながら、ノイズ低減アルゴリズムが常に有効なわけではない。このことは、ノイズが信号の取り込みを阻止または抑止する場合に特にあてはまる。

【0005】

いくつかの状況では、マイクロフォンの動的応答はそのノイズへの応答で飽和する。そのような状況では、そのノイズに追加して信号を検出することはできない。

【発明の概要】

【0006】

必ずしも全部ではないが様々な実施形態によれば、
複数のマイクロフォンを使用してオーディオシーンを取り込み、
取り込まれたオーディオシーンが許容できない検出ノイズを有すると判定し、
取り込まれたオーディオシーンが許容できない検出ノイズを有するとの判定に応じて、
許容できる検出ノイズでオーディオシーンを取り込む、１つまたは複数のマイクロフォンの第１の組とマイクロフォンの第１の物理的回転角度の組合せを見付けるために、１つまたは複数のマイクロフォンの様々な組およびマイクロフォンの様々な物理的回転角度の両方を探索し、
マイクロフォンの物理的回転角度がマイクロフォンの第１の物理的回転角度になるように制御し、１つまたは複数のマイクロフォンの第１の組とマイクロフォンの第１の物理的回転角度の組合せを使用してオーディオシーンを取り込むための手段を備える、装置、が提供される。

【0007】

必ずしも全部ではないがいくつかの例によれば、マイクロフォンの物理的回転角度を制御するための手段は、ビジュアルシーンを取り込むためのイメージセンサを備える取り付けられたカメラおよび複数のマイクロフォンのうちの少なくともいくつかの物理的回転角度を電気的に制御するための手段を備える。

【0008】

必ずしも全部ではないがいくつかの例では、装置は、選択されたビジュアルオブジェクトを、選択されたビジュアルオブジェクトが取り込まれたビジュアルシーン内に維持されるように自動的に追跡するための手段を備える。

【0009】

必ずしも全部ではないがいくつかの例では、装置は、ビジュアルシーンのイメージを取り込むために使用されるイメージセンサの下位論理部分を、選択されたビジュアルオブジェクトが取り込まれたビジュアルシーン内に維持されるように、イメージセンサを横切る方向に自動的に移動させるための手段を備える。

【0010】

必ずしも全部ではないがいくつかの例では、装置は、ビジュアルシーンのイメージを取り込むために使用されるイメージセンサの論理部分を、選択されたビジュアルオブジェクトが取り込まれたビジュアルシーン内に維持されるように自動的にサイズ変更するための手段を備える。

【0011】

必ずしも全部ではないがいくつかの例では、装置は、使用者がビジュアルオブジェクトを選択することを可能にするための手段を備える。

【0012】

必ずしも全部ではないがいくつかの例では、装置は、ビジュアルシーンを取り込むためのイメージセンサを備える追加のカメラを備え、カメラおよび追加のカメラは異なる視点を有し、装置は、選択されたビジュアルオブジェクトを取り込まれたビジュアルシーン内に維持するためにカメラまたは追加のカメラを使用するための手段を備える。

【0013】

必ずしも全部ではないがいくつかの例では、許容できる検出ノイズでオーディオシーンを取り込む、１つまたは複数のマイクロフォンの第１の組とマイクロフォンの第１の物理的回転角度の組合せを見付けるために、１つまたは複数のマイクロフォンの様々な組およびマイクロフォンの様々な物理的回転角度の両方を探索することは、使用者によって制御される、取り込まれたビジュアルシーンと取り込まれたオーディオシーンの間の相対的優先度を変える１つまたは複数のパラメータに依存する。

【0014】

必ずしも全部ではないがいくつかの例によれば、マイクロフォンの物理的回転角度を制御するための手段は、ビジュアルシーンを取り込むためのイメージセンサを備える取り付けられたカメラおよびマイクロフォンの物理的回転角度を電気的に制御するための手段を備え、マイクロフォンの様々な物理的回転角度の探索は制約付き探索であり、取り付けられたカメラの物理的回転角度は、選択されたビジュアルオブジェクトがマイクロフォンの第１の物理的回転角度において取り込まれたビジュアルシーン内に留まるように制約される。

【0015】

必ずしも全部ではないがいくつかの例では、１つまたは複数のマイクロフォンの様々な組の探索は制約付き探索であり、ノイズを生じるマイクロフォンは１つまたは複数のマイクロフォンの様々な組から取り除かれる。

【0016】

必ずしも全部ではないがいくつかの例では、探索されるマイクロフォンの様々な物理的回転角度は複数の成分を含み、マイクロフォンの様々な物理的回転角度を探索することは、マイクロフォンの物理的回転角度の成分の値の様々な組合せを探索することを含む。

【0017】

必ずしも全部ではないがいくつかの例では、許容できる検出ノイズでオーディオシーンを取り込む、１つまたは複数のマイクロフォンの第１の組とマイクロフォンの第１の物理的回転角度の組合せを結果として見付けるために、１つまたは複数のマイクロフォンの様々な組およびマイクロフォンの様々な物理的回転角度の両方を探索することは、最大数の歪んでいないマイクロフォンを有する結果またはノイズ低減アルゴリズムが最適に機能する結果を見付けるための探索である。

【0018】

必ずしも全部ではないがいくつかの例では、装置は、許容できない検出ノイズを検出するために風ノイズ検出アルゴリズムを使用するための手段を備える。

【0019】

必ずしも全部ではないが様々な実施形態によれば、１つまたは複数のプロセッサによって実行されると、
取り込まれたオーディオシーンが許容できない検出ノイズを有するとの判定に応じて、
許容できる検出ノイズでオーディオシーンを取り込む、マイクロフォン構成の１つまたは複数のマイクロフォンの第１の組とマイクロフォン構成の第１の物理的回転角度の組合せを見付けるために、マイクロフォン構成の１つまたは複数のマイクロフォンの様々な組およびマイクロフォン構成の様々な物理的回転角度の両方を探索することと、
マイクロフォン構成の物理的回転角度がマイクロフォン構成の第１の物理的回転角度になるように制御し、マイクロフォン構成の１つまたは複数のマイクロフォンの第１の組とマイクロフォン構成の第１の物理的回転角度の組合せを使用してオーディオシーンを取り込むことと、を可能にする、コンピュータプログラム、が提供される。

【0020】

必ずしも全部ではないが様々な実施形態によれば、
複数のマイクロフォンを備えるマイクロフォン構成を使用して取り込まれた、取り込まれたオーディオシーンが、許容できない検出ノイズを有すると判定することと、
取り込まれたオーディオシーンが許容できない検出ノイズを有するとの判定に応じて、許容できる検出ノイズでオーディオシーンを取り込む、マイクロフォン構成の１つまたは複数のマイクロフォンの第１の組とマイクロフォン構成の第１の物理的回転角度の組合せを見付けるために、マイクロフォン構成の１つまたは複数のマイクロフォンの様々な組およびマイクロフォン構成の様々な物理的回転角度の両方を探索することと、
マイクロフォン構成の物理的回転角度がマイクロフォン構成の第１の物理的回転角度になるように制御し、マイクロフォン構成の１つまたは複数のマイクロフォンの第１の組とマイクロフォン構成の第１の物理的回転角度の組合せを使用してオーディオシーンを取り込むことと、を含む、方法、が提供される。

【0021】

必ずしも全部ではないが様々な実施形態によれば、付属の特許請求の範囲で特許請求されているものの例が提供される。

【0022】

必ずしも全部ではないが様々な実施形態によれば、
複数のマイクロフォンを備えるマイクロフォン構成を使用してオーディオシーンを取り込み、
取り込まれたオーディオシーンが許容できない検出ノイズを有すると判定し、
取り込まれたオーディオシーンが許容できない検出ノイズを有するとの判定に応じて、
許容できる検出ノイズでオーディオシーンを取り込む、マイクロフォン構成の１つまたは複数のマイクロフォンの第１の組とマイクロフォン構成の第１の物理的回転角度の組合せを見付けるために、マイクロフォン構成の１つまたは複数のマイクロフォンの様々な組およびマイクロフォン構成の様々な物理的回転角度の両方を探索し、
マイクロフォン構成の物理的回転角度がマイクロフォン構成の第１の物理的回転角度になるように制御し、マイクロフォン構成の１つまたは複数のマイクロフォンの第１の組とマイクロフォン構成の第１の物理的回転角度の組合せを使用してオーディオシーンを取り込むための手段を備える、装置、が提供される。

【0023】

必ずしも全部ではないが様々な実施形態によれば、
オーディオシーンを取り込むことと、
イメージセンサおよびマイクロフォンを配置し直すために、イメージセンサを備える取り付けられたカメラおよびマイクロフォンの物理的回転を制御することであって、マイクロフォンを配置し直すことによってマイクロフォンにおいて検出されるノイズが低減される、制御することと、
ビジュアルシーンのイメージを取り込むために使用されるイメージセンサの下位論理部分を、選択されたビジュアルオブジェクトが取り込まれたビジュアルシーン内に維持されるように、イメージセンサを横切る方向に自動的に移動させることと、を含む、方法、が提供される。

【0024】

ここで、以下の添付の図面を参照して、いくつかの例を記載する。

【図面の簡単な説明】

【0025】

【図1A】装置の例の様々な図である。

【図1B】装置の例の様々な図である。

【図1C】装置の例の様々な図である。

【図1D】装置の例の様々な図である。

【図1E】装置の例の様々な図である。

【図2】使用中の装置の例を示す図である。

【図3】物理的回転角度の例を示す図である。

【図4A】装置の更なる例を示す図である。

【図4B】装置の更なる例を示す図である。

【図4C】装置の更なる例を示す図である。

【図4D】装置の更なる例を示す図である。

【図5】装置およびその制御アーキテクチャの例を示す図である。

【図6】方法の例を示す図である。

【図7】探索の例を示す図である。

【図8】探索の例を示す図である。

【図9A-B】イメージセンサ（図９Ａ）およびイメージセンサによって取り込まれたそれぞれのビジュアルシーン（図９Ｂ）の例を示す図である。

【図10A-B】イメージセンサ（図１０Ａ）およびイメージセンサによって取り込まれたそれぞれのビジュアルシーン（図１０Ｂ）の例を示す図である。

【図11A-B】イメージセンサ（図１１Ａ）およびイメージセンサによって取り込まれたそれぞれのビジュアルシーン（図１１Ｂ）の例を示す図である。

【図12A-B】イメージセンサ（図１２Ａ）およびイメージセンサによって取り込まれたそれぞれのビジュアルシーン（図１２Ｂ）の例を示す図である。

【図13A-B】イメージセンサ（図１３Ａ）およびイメージセンサによって取り込まれたそれぞれのビジュアルシーン（図１３Ｂ）の例を示す図である。

【図14A-B】イメージセンサ（図１４Ａ）およびイメージセンサによって取り込まれたそれぞれのビジュアルシーン（図１４Ｂ）の例を示す図である。

【図15A-B】イメージセンサ（図１５Ａ）およびイメージセンサによって取り込まれたそれぞれのビジュアルシーン（図１５Ｂ）の例を示す図である。

【図16A-B】イメージセンサ（図１６Ａ）およびイメージセンサによって取り込まれたそれぞれのビジュアルシーン（図１６Ｂ）の例を示す図である。

【図17A-B】風ノイズの影響の低減の例を示す図である。

【図18A-B】風ノイズの影響の低減の別の例を示す図である。

【図19】制御装置を示す図である。

【図20】コンピュータプログラムを示す図である。

【発明を実施するための形態】

【0026】

以下の説明および図面は、
複数のマイクロフォン２を使用してオーディオシーン４を取り込み、
取り込まれたオーディオシーン４が許容できない検出ノイズを有すると判定し、
取り込まれたオーディオシーン４が許容できない検出ノイズを有するとの判定に応じて、許容できる検出ノイズでオーディオシーン４を取り込む、１つまたは複数のマイクロフォン２の第１の組とマイクロフォン２の第１の物理的回転角度４４の組合せを見付けるために、１つまたは複数のマイクロフォン２の様々な組およびマイクロフォン２の様々な物理的回転角度４４の両方を探索し、
マイクロフォン２の物理的回転角度４４がマイクロフォン２の第１の物理的回転角度４４になるように制御し、１つまたは複数のマイクロフォン２の第１の組とマイクロフォン２の第１の物理的回転角度４４の組合せを使用してオーディオシーン４を取り込むための手段を備える、装置２０の例に関する。

【0027】

探索によって、物理的回転角度４４と使用されるマイクロフォン２の許容できる組合せを見付ける。

【0028】

許容できる検出ノイズは例えば、ある閾値を超えないノイズであり得る。許容できない検出ノイズは例えば、ある閾値を超えるノイズであり得る。

【0029】

閾値は例えば、マイクロフォン２の最大応答であり得る。許容できる検出ノイズは例えば、マイクロフォン２の最大応答を超えない、例えばどのマイクロフォン２の最大音圧レベルも超えないノイズであり得る。許容できない検出ノイズは例えば、マイクロフォンの最大応答を超える、例えばマイクロフォンの最大圧力レベルを超えるノイズであり得る。

【0030】

いくつかの実施形態では、閾値は、２つのマイクロフォン信号の間のレベル差に関する閾値であってもよい。レベルは、短い時間区域（例えば２０ｍｓ）および／または狭い周波数帯域（２０Ｈｚ～２ｋＨｚの間の任意の幅）における信号エネルギーとして計算されてもよい。

【0031】

閾値は例えば、１つまたは複数の周波数帯域内のある量のエネルギーであり得る。例えば、比較的低い周波数の高強度信号（突風）および／または比較的高い周波数の高強度信号（ウインドシア）として、風ノイズを検出してもよい。

【0032】

図１Ａ～図１Ｅおよび図２は、装置２０の例を示す。装置２０は、オーディオシーン４を取り込むための複数のマイクロフォン２を備える。

【0033】

マイクロフォン２は様々な物理的回転角度４４を有し得る。マイクロフォン２の物理的回転角度４４は、電気的に制御され得る。マイクロフォン２は、様々な物理的回転角度４４の間で移動するように電気的に制御され得る。

【0034】

この例では、マイクロフォン２はマイクロフォン構成１０を形成する。この例では、マイクロフォン構成１０は様々な物理的回転角度４４を有し得る。マイクロフォン構成１０の物理的回転角度４４は電気的に制御され得る。マイクロフォン構成１０は、様々な物理的回転角度４４の間で移動するように電気的に制御され得る。

【0035】

こうしてこれらの例では、装置２０は、
複数のマイクロフォン２を備えるマイクロフォン構成１０を使用してオーディオシーン４を取り込み、
取り込まれたオーディオシーン４が許容できない検出ノイズを有すると判定し、
取り込まれたオーディオシーン４が許容できない検出ノイズを有するとの判定に応じて、
許容できる検出ノイズでオーディオシーン４を取り込む、マイクロフォン構成１０の１つまたは複数のマイクロフォン２の第１の組とマイクロフォン構成１０の第１の物理的回転角度４４の組合せを見付けるために、マイクロフォン構成１０の１つまたは複数のマイクロフォン２の様々な組およびマイクロフォン構成１０の様々な物理的回転角度４４の両方を探索し、
マイクロフォン構成１０の物理的回転角度４４がマイクロフォン構成１０の第１の物理的回転角度４４になるように制御し、マイクロフォン構成１０の１つまたは複数のマイクロフォン２の第１の組とマイクロフォン構成１０の第１の物理的回転角度４４の組合せを使用してオーディオシーン４を取り込むための手段を備える。

【0036】

少なくともいくつかの例では、複数のマイクロフォン２は、相対的な変位が固定されているおよび／または向きが固定されている。マイクロフォンのマイクロフォン構成１０はしたがって、固定されたマイクロフォン２の構成であり得る。

【0037】

いくつかの例では、あるマイクロフォン２は、別のマイクロフォン２を基準として移動または配向され得る。

【0038】

装置２０はオーディオ－ビジュアル装置である。これは既に記載したようなマイクロフォン２を備えるだけでなく、少なくとも１つのカメラ２２も備える。少なくとも１つのカメラ２２は、ビジュアルシーン６を取り込むためのイメージセンサ２４を備える。

【0039】

図１Ａは装置２０の左側面図である。図１Ｂは装置２０の底面図である。図１Ｃは装置２０の正面図である。図１Ｄは装置２０の右側面図である。図１Ｅは装置２０の頂面図である。

【0040】

必ずしも全ての例ではないが、この示されている例では、カメラ２２は装置２０の前面に配置されており、マイクロフォン２は様々な向きを有する。この例ではマイクロフォン２は様々な向きを有するが、その理由は、それらが様々に配向されている面と関連付けられているからである。この例では、左側面のマイクロフォン２（図１Ａ）と、底面のマイクロフォン２（図１Ｂ）と、前面のマイクロフォン２（図１Ｃ）と、右側面のマイクロフォン２（図１Ｄ）と、頂面のマイクロフォン２（図１Ｅ）と、が存在する。

【0041】

この例では、複数のマイクロフォン２はカメラ２２に対して、相対的な変位が固定されており、かつ向きが固定されている。

【0042】

装置２０の物理的回転角度４４はまた、マイクロフォン２およびカメラ２２の、物理的回転角度４４でもある。

【0043】

装置２０は様々な物理的回転角度４４を有し得る。装置２０の物理的回転角度４４を電気的に制御することができ、装置２０を様々な物理的回転角度４４の間で移動するように電気的に制御することができる。

【0044】

装置２０が異なる物理的回転角度４４を有するとき、マイクロフォン構成１０（およびカメラ２２）は異なる物理的回転角度４４を有する。装置２０の物理的回転角度４４が電気的に制御されると、マイクロフォン構成１０（およびカメラ２２）の物理的回転角度４４が電気的に制御される。装置２０が様々な物理的回転角度４４の間で移動するように電気的に制御されると、マイクロフォン構成１０（およびカメラ２２）は様々な物理的回転角度４４の間で移動する。

【0045】

装置２０の向きの方向（視点）は向きベクトル３０によって示されている。

【0046】

カメラ２２は装置２０に取り付けられている。この例では、装置２０は支持体４０上を移動する。支持体４０はいくつかのジョイント４２を備える。ジョイントのうちの１つまたは複数は可動である。装置２０の物理的回転角度４４およびしたがって向きベクトル３０の方向は、ジョイント４２のうちの１つまたは複数の角度を電気的に制御することによって、電気的に制御され得る。このことはモータ、例えばサーボモータを使用して達成され得る。

【0047】

したがって、物理的回転角度４４を、例えばジョイント角度ごとに１つの、１つまたは複数の成分を使用して定められることが諒解されるであろう。

【0048】

図３は、向きベクトル３０を定める物理的回転角度４４の例を示す。この例では、物理的回転角度４４は、２つの球座標成分、仰角φおよび方位角θから成る。方位角はパンに対応しており、仰角はチルトに対応している。

【0049】

他の例では、向きベクトル３０を定める物理的回転角度４４は、３つの成分、すなわちチルト回転（横方向水平軸線を中心にした回転）と、ヨー回転（垂直軸線を中心にした回転）と、ロール回転（長手水平軸線を中心にした回転）を備え得る。ヨーはパンに対応している。

【0050】

したがって、探索される様々なマイクロフォン２の物理的回転角度４４は、複数の成分を備え得る。各成分は回転に関する自由度である。

【0051】

マイクロフォン２が複数の成分を備える場合にそれらの様々な物理的回転角度４４を探索することは、マイクロフォン２の物理的回転角度４４の成分の値の様々な組合せを探索することを含む。

【0052】

図４Ａは、装置２０の既に記載したものとは別の例を示す。この例では、１つまたは複数のマイクロフォン２が、１つまたは複数の他のマイクロフォン２を基準として移動または配向され得る。

【0053】

この例では、装置２０は支持体４０内でジョイント４２を介して回転する。装置２０およびそれに取り付けられたカメラ２２の複数の方向への回転を可能にするために、ジンバル構成を使用してもよい。

【0054】

この例では、支持体４０上に１つまたは複数のマイクロフォン２が配置されている。この場合、複数のマイクロフォン２のうちの全部ではないがいくつかは、カメラ２２と一緒に回転せず、カメラに対して、相対的な変位が固定されておらず、かつ向きが固定されていない。カメラ２２は、１つまたは複数のマイクロフォン２、例えば支持体４０上の１つまたは複数のマイクロフォンに対して回転され得る。

【0055】

図４Ｂは、装置２０の既に記載したものとは別の例を示す。この例では、装置２０は、図４Ａを参照して記載されているものと同様である。しかしながらこの例では、装置２０は、様々な向きベクトル３０（様々な視点）を有する複数のカメラ２２を備える。カメラ２２の視野はいくつかの例では重なり得る。カメラ２２の向きベクトル２０は、互いに対して固定された関係を有し得る。

【0056】

図４Ｃは、装置２０の既に記載したものとは別の例を示す。この例では、装置２０は、隣り合うカメラ２２の視野が重なり合うように構成されている複数のカメラ２２を備える。重なり合うカメラの視野で構成される有効視野は３６０度であり得る。この例では、カメラ２２からのイメージを１つにスティッチして、パノラマ画像を得ることが可能である。パノラマ画像は例えば、球体（方位面）の赤道におけるその球体の３６０度環状区域であり得る。

【0057】

カメラ２２の向きベクトル２０は、互いに対して固定された関係を有し得る。パノラマ画像はしたがって、装置２０の方位面内での２Ｄ回転に対して不変であり得る。

【0058】

この例では、カメラ２２の固定された構成は回転対称である。しかしながら、マイクロフォン２の固定された構成１０（図４Ｃには示されていない）は非対称であり得る。したがって、ノイズ低減は、取り込まれたビジュアルシーン６に悪影響を与えることなく、装置２０の回転（固定されたマイクロフォン構成１０の向きを変えること）によって達成され得る。

【0059】

上記の例は、カメラ２２が３つの次元内で、隣り合うカメラ２２の視野が重なり合うように構成される状況に拡張可能である。重なり合うカメラの視野で構成される有効視野は、方位面内で３６０度（またはそれ未満）、極平面内で＋９０～－９０度であり得る。この例では、カメラ２２からのイメージを１つにスティッチして、球状のパノラマ画像を得ることが可能である。パノラマ画像は例えば、球体の表面であり得る。このパノラマ画像は、装置２０の３Ｄ回転に対して不変である。

【0060】

図４Ｄは、装置２０の既に記載したものとは別の例を示す。この例では、装置２０は、固定された、マイクロフォン２２の非対称な構成１０を備える。時間ｔ１において、マイクロフォン２２の大部分は、ノイズ、例えば風ノイズ８０に曝されている。しかしながら、装置２０の移動後の時間ｔ２においては、マイクロフォン２２の大部分はノイズに曝されていない、例えば、装置２０の風下側に配置され、装置２０によって風ノイズ８０から保護されている。

【0061】

いくつかの例では、装置２０は最適な回転が得られるまで回転する。他の例では、装置２０は最適な量であると推定される量だけ回転する。

【0062】

図５は、複数のマイクロフォン２を使用してオーディオシーン４を取り込むように構成されている制御装置７０を備える、装置２０の例を示す。

【0063】

制御装置７０は、取り込まれたオーディオシーン４におけるノイズを検出するためにマイクロフォン２からの入力を処理するように構成され、検出ノイズが許容できるか許容できないかのいずれであるかを判定するように構成される。

【0064】

制御装置７０は、検出ノイズが許容できない場合に探索を行うように構成される。探索の目的はノイズがより小さい新しいオーディオシーン４の取り込みを可能にすることであり、取り込まれた新しいオーディオシーン４は許容できる検出ノイズを有することになるのが好ましい。

【0065】

探索は、許容できる検出ノイズでオーディオシーン４を取り込む、１つまたは複数のマイクロフォン２の第１の組とマイクロフォン２の第１の物理的回転角度４４の組合せを見付けるための、１つまたは複数のマイクロフォン２の様々な組およびマイクロフォン２の様々な物理的回転角度４４の両方の探索である。

【0066】

制御装置７０は、マイクロフォン２の物理的回転角度４４がマイクロフォン２の第１の物理的回転角度４４になるよう制御するように、更に構成される。

【0067】

制御装置７０は、１つまたは複数のマイクロフォン２の第１の組とマイクロフォン２の第１の物理的回転角度４４の組合せを使用してオーディオシーン４を取り込むように、更に構成される。

【0068】

図６は方法１００の例を示す。この例では、方法１００は、オーディオシーン４を取り込むための方法である。

【0069】

ブロック１０２において、方法１００は、複数のマイクロフォン２を使用してオーディオシーン４を取り込むことを含む。

【0070】

ブロック１０４において、方法１００は、取り込まれたオーディオシーン４が許容できない検出ノイズを有すると判定することを含む。

【0071】

ブロック１０４において、取り込まれたオーディオシーン４が許容できない検出ノイズを有すると判定されると、方法はブロック１０６に移る。ブロック１０４において、取り込まれたオーディオシーン４の検出ノイズが許容できると判定されると、方法は停止するか、または方法は、連続動作中であれば、ブロック１０２に（遅延後にまたは遅延なく）戻る。

【0072】

ブロック１０６において、方法１００は、
許容できる検出ノイズでオーディオシーン４を取り込む、マイクロフォン構成１０の１つまたは複数のマイクロフォン２の第１の組とマイクロフォン構成１０の第１の物理的回転角度４４の組合せを見付けるために、
ｉ）マイクロフォン構成１０の１つまたは複数のマイクロフォン２の様々な組、およびｉｉ）マイクロフォン構成１０の様々な物理的回転角度４４、の両方を探索することを含む。

【0073】

方法１００は、ブロック１０６において、マイクロフォン構成１０の物理的回転角度４４がマイクロフォン構成１０の第１の物理的回転角度４４になるように制御することを含む。

【0074】

その場合方法１００は、マイクロフォン構成１０の１つまたは複数のマイクロフォン２の第１の組とマイクロフォン構成１０の第１の物理的回転角度４４の組合せを使用して、オーディオシーン４を取り込むことを含む。

【0075】

方法１００は停止し得るか、または方法１００は、連続動作中であれば、オーディオシーン４を取り込むためにブロック１０２に戻ることができる。

【0076】

探索は、１つまたは複数のマイクロフォン２とマイクロフォン２の物理的回転角度４４の全ての組合せの探索であり得る。１つまたは複数のマイクロフォン２の第１の組および第１の物理的回転角度４４はこの例では、目標コスト関数を最大化（または最小化）する、１つまたは複数のマイクロフォン２の組と物理的回転角度４４の組合せであり得る。

【0077】

必ずしも全部ではないがいくつかの例では、目標コスト関数の最大値（または最小値）は、オーディオシーンの検出ノイズが最小であるときに達成され得る。他の全ての例では、目標コスト関数の最大値（または最小値）は、オーディオシーンの検出ノイズが何らかの閾値を下回り、何らかの他の規準が満たされるときに、達成され得る。好適な規準の例は、以下のいずれか、または以下の任意の組合せを含む：
使用されるマイクロフォンの数が最大である、
使用されるマイクロフォンの数が閾値を超えている、
使用されるマイクロフォンの空間構成が空間オーディオをサポートする、
使用されるマイクロフォンの空間構成が非直線的である、
使用されるマイクロフォンの空間構成が３次元である、
オーディオシーンの品質が最高である、
オーディオシーンの品質が閾値を超えている、
ノイズキャンセル処理後のオーディオシーンの品質が最高である、
ノイズキャンセル処理後のオーディオシーンの品質が閾値を超えている、
オーディオシーンが選択されたオーディオオブジェクトを含む、
オーディオオブジェクトの品質が最高である、
オーディオオブジェクトの品質が閾値を超えている、
ノイズキャンセル処理後のオーディオオブジェクトの品質が最高である、
ノイズキャンセル処理後のオーディオオブジェクトの品質が閾値を超えている、
ビジュアルシーンの品質が最高である、
ビジュアルシーンの品質が閾値を超えている、
ビジュアルシーンが選択されたビジュアルオブジェクトを含む。

【0078】

少なくともいくつかの例では、オーディオオブジェクトおよび／またはビジュアルオブジェクトは、使用者がユーザインターフェース５０を使用することによって選択可能である。

【0079】

オーディオオブジェクトという用語は、オーディオ源を意味する。これは必ずしもオーディオのオブジェクトベースの符号化を示唆しない。

【0080】

取り込み段における空間オーディオは、複数のマイクロフォンによって３次元音響場が取り込まれることを意味する。レンダリング段における空間オーディオは、３次元音響場の一部または全部がレンダリングされることを意味する。取り込み段およびレンダリング段における空間オーディオは、３次元位置を有する１つまたは複数の音源に焦点を絞ることができる。この３次元位置は時間によって変化し得る。使用されるマイクロフォンの空間構成は、単一の音源、例えば選択された音源が複数のマイクロフォン２で受け取られる場合に、空間オーディオをサポートし得る。このことは例えば、異なるマイクロフォン２からの入力の相関によって判定され得る。

【0081】

目標コスト関数は、使用者によって制御される、取り込まれたビジュアルシーン６と取り込まれたオーディオシーン４の間の相対的優先度を変える１つまたは複数のパラメータに依存し得る。

【0082】

したがって、許容できる検出ノイズでオーディオシーン４を取り込む、１つまたは複数のマイクロフォン２の第１の組とマイクロフォン２の第１の物理的回転角度４４の組合せを見付けるために、１つまたは複数のマイクロフォン２の様々な組およびマイクロフォン２の様々な物理的回転角度４４の両方を探索することは、使用者によって制御される、取り込まれたビジュアルシーン６と取り込まれたオーディオシーン４の間の相対的優先度を変える１つまたは複数のパラメータに依存する。

【0083】

探索することには、相対的優先度を満たし目標コスト関数を最大化／最小化する、取り込まれたビジュアルシーン６および取り込まれたオーディオシーン４を見付けるためのアルゴリズムが使用される。

【0084】

一例では、相対的優先度に起因して、ビジュアルシーン６に関係なく最適なオーディオシーン４が得られる。一例では、相対的優先度に起因して、オーディオシーン４に関係なく最適なビジュアルシーン６が得られる。一例では、相対的優先度に起因して、目標ビジュアルシーン６を維持しながら、利用可能な最良のオーディオシーン４が得られる。一例では、相対的優先度に起因して、目標オーディオシーン４を維持しながら、利用可能な最良のビジュアルシーン６が得られる。

【0085】

一例では、目標コスト関数は、最適なまたは許容できるオーディオシーンからの取り込まれたオーディオシーン４の「距離」と、最適なまたは許容できるビジュアルシーンからの取り込まれたビジュアルシーン６の「距離」の、重み付け加算である。取り込まれたビジュアルシーン６と取り込まれたオーディオシーン４の間の相対的優先度は、加算において、最適なまたは許容できるオーディオシーンからの取り込まれたオーディオシーン４の「距離」および最適なまたは許容できるビジュアルシーンからの取り込まれたビジュアルシーン６の「距離」に対して使用される重みの比を変えることによって、制御され得る。

【0086】

いくつかの例では、マイクロフォン２の検出ノイズ（例えば、ある物理的回転角度４４にあるときのあるマイクロフォン２において検出されるノイズ、ノイズレベル、またはノイズタイプ）の特定の構成を、１つまたは複数のマイクロフォン２の確定された組とマイクロフォン２の確定された物理的回転角度４４の組合せと関連付けることができる。

【0087】

マイクロフォン２の検出ノイズ（例えば、ある物理的回転角度４４にあるときのあるマイクロフォン２において検出されるノイズ、ノイズレベル、またはノイズタイプ）のその特定の構成が検出されるとき、１つまたは複数のマイクロフォン２の確定された組とマイクロフォン２の確定された物理的回転角度４４の関連付けられた組合せは、探索１０６を行うことなくオーディオシーン４を取り込むために使用することができるか、または、探索１０６の開始位置として使用することができる。

【0088】

いくつかの例では、１つまたは複数のマイクロフォン２の確定した組は第１の組であり、マイクロフォン２の確定した物理的回転角度４４は第１の物理的回転角度４４であり、これらは、許容できる検出ノイズでオーディオシーン４を取り込む、１つまたは複数のマイクロフォン２の第１の組とマイクロフォン２の第１の物理的回転角度４４の組合せを見付けるために、１つまたは複数のマイクロフォン２の様々な組およびマイクロフォン２の様々な物理的回転角度４４の両方を探索した結果として見付けられる。探索は、取り込まれたオーディオシーン４が許容できない検出ノイズを有すると判定することに応じて行われ得る。この検出ノイズは、１つまたは複数のマイクロフォン２の確定した組とマイクロフォン２の確定した物理的回転角度４４の組合せと関連する、検出ノイズの特定の構成として、ルックアップデータベースに記録され得る。

【0089】

いくつかの例では、マイクロフォン２の検出ノイズ（例えば、ある物理的回転角度４４にあるときのあるマイクロフォン２において検出されるノイズ、ノイズレベル、またはノイズタイプ）の一連の特定の構成を、一連のマイクロフォン／角度の組合せと関連付けることができる。マイクロフォン／角度の各組合せは、１つまたは複数のマイクロフォン２の確定された組とマイクロフォン２の確定された物理的回転角度４４の組合せである。

【0090】

したがって、空間的に変化するノイズのパターンを様々なマイクロフォン／角度の組合せと関連付けて、探索１０６を行うことなくオーディオシーン４を取り込む際に、または探索１０６の開始点として、使用することができる。マイクロフォン／角度の各組合せは、使用に際して、マイクロフォン２の同じもしくは異なる組および／または同じもしくは異なる物理的回転角度４４を有し得る。

【0091】

したがって、時間変化するノイズのパターンを様々なマイクロフォン／角度の組合せと関連付けて、探索１０６を行うことなくオーディオシーン４を取り込む際に使用することができる。マイクロフォン／角度の各組合せは、使用に際して、マイクロフォン２の同じもしくは異なる組および／または同じもしくは異なる物理的回転角度４４を有し得る。

【0092】

いくつかの例では、検出ノイズの構成の分類、および検出ノイズの様々な構成と様々なマイクロフォン／角度の組合せの関連付けのために、機械学習が使用され得る。

【0093】

図７は探索１０６を概略的に示す。探索１０６は、１つまたは複数のマイクロフォン２の様々な組の探索１１０と、マイクロフォン２の様々な物理的回転角度４４の探索１２０と、を含む。許容できる検出ノイズでオーディオシーン４を取り込む、１つまたは複数のマイクロフォン２の第１の組とマイクロフォン２の第１の物理的回転角度４４の組合せを結果として見付けるために、探索１１０、１２０が並行して行われる。

【0094】

マイクロフォン２の様々な物理的回転角度４４の探索１２０は制約付き探索１２２であり得る。例えば、取り付けられたカメラ２２の物理的回転角度４４は、選択されたビジュアルオブジェクトがマイクロフォン２の探索された物理的回転角度４４で取り込まれたビジュアルシーン６内に留まるように制約され得る、および／または、取り付けられたカメラ２２の物理的回転角度４４は、選択されたオーディオオブジェクトがマイクロフォン２の探索された物理的回転角度４４で取り込まれたオーディオシーン４内に留まるように制約され得る。

【0095】

１つまたは複数のマイクロフォン２の様々な組の探索１１０は制約付き探索１１２であり得る。例えば、ノイズを生じるマイクロフォン２を、探索で使用される１つまたは複数のマイクロフォン２の様々な組に入れるために使用されるマイクロフォンの集団から取り除くことができる。

【0096】

図８は、探索１０６が、許容できる検出ノイズでオーディオシーン４を取り込む、１つまたは複数のマイクロフォン２の第１の組とマイクロフォン２の第１の物理的回転角度４４の組合せを、結果として見付ける例を示す。空間オーディオを重視する結果を得るために、探索１０６を優先する１３４ことができる。高性能アルゴリズムノイズ低減、例えば風ノイズ低減を重視する結果を得るために、探索１０６を優先する１３６ことができる。高品質モノまたはステレオオーディオを重視する結果を得るために、探索１０６を優先する１３２ことができる。

【0097】

いくつかの例では、空間オーディオ探索１３４はノイズ低減探索１３６よりも優先され、ノイズ低減探索１３６はモノまたはステレオオーディオよりも優先される。

【0098】

空間オーディオに適したマイクロフォン／角度の組合せが、優先的に見付けられることになる。探索１３４によって空間オーディオに適したマイクロフォン／角度の組合せを見付けられない場合には、探索１３６によってノイズ低減に適したマイクロフォン／角度の組合せが捜索されることになる。探索１３６によってノイズ低減に適したマイクロフォン／角度の組合せを見付けられない場合には、探索１３２によってモノまたはステレオオーディオに好適なマイクロフォン／角度の組合せが捜索されることになる。

【0099】

いくつかの例では、空間オーディオに適したマイクロフォン／角度の組合せが最初に探索されることになり、その後、１つまたは複数のマイクロフォン２の組が変更される前に、ノイズ低減に適したマイクロフォン／角度の組合せが次に探索されることになる。この場合、１つまたは複数のマイクロフォン２の特定の組について、空間オーディオを優先する探索１３４を使用して、マイクロフォン２の利用可能な全ての物理的回転角度４４が探索され、その後その探索がうまくいかなかった場合は、ノイズ低減を優先する探索１３６を使用して、マイクロフォン２の利用可能な全ての物理的回転角度４４が探索される。その探索がうまくいかなかった場合は、次いで１つまたは複数のマイクロフォン２の組が変更される、例えば、マイクロフォンの数が減らされる。例えば、ノイズを生じるマイクロフォンをこの組から取り除くことができる。

【0100】

いくつかの例では、探索１０６は、最大数の歪んでいないマイクロフォン２を有する結果、または、ノイズ低減アルゴリズムが最適に機能する結果を見付ける。

【0101】

図９Ａ、図１０Ａ、図１１Ａ、図１２Ａ、図１３Ａ、図１４Ａ、図１５Ａ、図１６Ａの各々は、カメラ２２のイメージセンサ２４の例を示す。

【0102】

図９Ｂ、図１０Ｂ、図１１Ｂ、図１２Ｂ、図１３Ｂ、図１４Ｂ、図１５Ｂ、図１６Ｂの各々は、それぞれ図９Ａ、図１０Ａ、図１１Ａ、図１２Ａ、図１３Ａ、図１４Ａ、図１５Ａ、図１６Ａのイメージセンサ２４によって取り込まれたビジュアルシーン６の例を示す。

【0103】

イメージセンサ２４はセンセル（ｓｅｎｓｅｌ）のアレイである。ピクセルが「画像素子（ｐｉｃｔｕｒｅ ｅｌｅｍｅｎｔ）」を表すように、センセルは「センサ素子（ｓｅｎｓｏｒ ｅｌｅｍｅｎｔ）」を表す、認知された混成語である。イメージセンサ２４中の各センセルは、ビジュアルシーン６のピクセルを提供し得る。アレイは、Ｎ行×Ｍ列のセンセルの固定されたアレイである。イメージセンサ２４のセンセルは、その行Ｉ（ｉ＝１，２…Ｎ）およびその列ｊ（ｊ＝１，２，３…Ｍ）によって特定することができる。

【0104】

イメージセンサ２４の下位論理部分２６は、センセルの下位アレイである。このアレイは、ｎ行×ｍ列のセンセルのアレイである。この下位部分のセンセルは、その行（ｉ＝ａ，ａ＋１，…ａ＋ｎ、式中ａ≧１、Ｎ≧ａ＋ｎ）およびその列（ｊ＝ｂ，ｂ＋１，…ｂ＋ｍ、式中ｂ≧１、Ｍ≧ｂ＋ｍ）によって特定可能である。下位論理部分２６はしたがって、頂点（ｉ，ｊ）が（ａ，ｂ）、（ａ＋ｎ，ｂ）、（ａ，ｂ＋ｍ）、（ａ＋ｎ，ｂ＋ｍ）である、センセルから成る矩形である。下位部分２６はイメージセンサ２４全体よりも小さい。

【0105】

下位論理部分２６は、ビジュアルシーン６を生成するために使用され得る。すなわち、下位論理部分２６のセンセルからの出力は、ビジュアルシーン６のピクセルを提供するために使用され得る。

【0106】

下位論理部分２６は、（ａ，ｂ）を変えることによって、すなわちａおよび／またはｂを変えることによって、移動され得る。このことは、制御装置７０が、イメージセンサの読み出し期間中にイメージセンサ２４のどのセンセルがアクセスされるかを制御することによって、論理的に達成され得る。

【0107】

下位論理部分２６は、ｎおよび／またはｍを変えることによってサイズ変更され得る。パラメータｎおよび／またはｍは変更可能とすることができ、必ずしも全部ではないがいくつかの例では、割合ｎ／ｍ（縦横比）が固定される。サイズ変更は、制御装置７０が、センサの読み出し期間中にイメージセンサ２４のどのセンセルがアクセスされるかを制御することによって、論理的に達成され得る。

【0108】

少なくともいくつかの例では、イメージセンサ２４によって取り込み可能なビジュアルシーン６は、ビジュアルオブジェクト２８、例えばこれらの図における「Ｔ」を含み得る。いくつかの例では、ビジュアルオブジェクト２８はイメージセンサ２４上に、またイメージセンサ２４によって取り込まれたビジュアルシーン６中にも、示されている。

【0109】

いくつかの例では、装置２０は、選択されたビジュアルオブジェクト２８が取り込まれたビジュアルシーン６内に維持されるように、選択されたビジュアルオブジェクト２８を自動的に追跡するように構成される。自動追跡はいくつかの例では、既に記載したようなカメラ２２の物理的な移動を含み得る。自動追跡はいくつかの例では、ビジュアルシーン６を取り込むために使用されるイメージセンサ２４の下位部分２６の仮想的な移動を含み得る。

【0110】

使用者はビジュアルオブジェクト２８を選択することができる。

【0111】

図９Ａおよび図９Ｂ、図１０Ａおよび図１０Ｂ、図１１Ａおよび図１１Ｂは、デジタルズームを示す。

【0112】

図９Ａは、図９Ｂに示されているビジュアルシーン６を取り込むために使用される、イメージセンサ２４の下位部分２６を示す。図１０Ａは、図１０Ｂに示されているビジュアルシーン６を取り込むために使用される、イメージセンサ２４の下位論理部分２６を示す。図１１Ａは、図１１Ｂに示されているビジュアルシーン６を取り込むために使用される、イメージセンサ２４の下位論理部分２６を示す。

【0113】

制御装置７０は、ビジュアルシーン６を取り込むために使用されるイメージセンサ２４の下位論理部分２６をサイズ変更することによって、選択されたビジュアルオブジェクト２８に対するズームインまたはズームアウトを行う。最小の下位部分２６（図１０Ａ）は、最大のズームイン（図１０Ｂ）をもたらす。最大の下位部分２６（図１１Ａ）は、最大のズームアウト（図１１Ｂ）をもたらす。

【0114】

少なくともいくつかの例では、制御装置７０は、選択されたビジュアルオブジェクト２８が取り込まれたビジュアルシーン６内に維持されるように、下位論理部分２６を自動的にサイズ変更することができる。

【0115】

図９Ａおよび図９Ｂ、図１２Ａおよび図１２Ｂ、図１３Ａおよび図１３Ｂは、デジタルパン（水平方向および垂直方向）を示す。

【0116】

図９Ａは、図９Ｂに示されているビジュアルシーン６を取り込むために使用される、イメージセンサ２４の下位部分２６を示す。図１２Ａは、図１２Ｂに示されているビジュアルシーン６を取り込むために使用される、イメージセンサ２４の下位論理部分２６を示す。図１３Ａは、図１３Ｂに示されているビジュアルシーン６を取り込むために使用される、イメージセンサ２４の下位論理部分２６を示す。

【0117】

制御装置７０は、ビジュアルシーン６を取り込むために使用されるイメージセンサ２４の下位論理部分２６を、イメージセンサ２４を横切る方向に移動させることによって、ビジュアルシーン６の撮像をパンさせる。

【0118】

少なくともいくつかの例では、制御装置７０は、選択されたビジュアルオブジェクト２８が取り込まれたビジュアルシーン６内に維持されるように、下位論理部分２６を自動的に移動させることができる。

【0119】

図９Ａおよび図９Ｂ、図１０Ａおよび図１０Ｂ、図１１Ａおよび図１１Ｂの一連の図は、デジタルズームを使用した、選択されたビジュアルオブジェクト２８の追跡を示す。図９Ａおよび図９Ｂ、図１２Ａおよび図１２Ｂ、図１３Ａおよび図１３Ｂの一連の図は、デジタルパン（水平方向および垂直方向）を使用した、選択されたビジュアルオブジェクト２８の追跡を示す。図１４Ａおよび図１４Ｂ、図１５Ａおよび図１５Ｂ、図１６Ａおよび図１６Ｂの一連の図は、デジタルズームおよび／またはデジタルパン（水平方向および／または垂直方向）を使用した、選択されたビジュアルオブジェクト２８の追跡を示す。

【0120】

図１４Ａは、時間ｔ１における、ビジュアルシーン６を取り込むために使用されるイメージセンサ２４の下位部分２６を示す。取り込まれたビジュアルシーン６は図１４Ｂに示されている。図１５Ａは、より後の時間ｔ２における、ビジュアルシーン６を取り込むために使用されるイメージセンサ２４の下位論理部分２６を示す。取り込まれたビジュアルシーン６は図１５Ｂに示されている。図１６Ａは、更に後の時間ｔ３における、ビジュアルシーン６を取り込むために使用されるイメージセンサ２４の下位論理部分２６を示す。取り込まれたビジュアルシーン６は図１６Ｂに示されている。

【0121】

制御装置７０は、ビジュアルシーン６を取り込むために使用されるイメージセンサ２４の下位論理部分２６を移動させるおよび／またはサイズ変更することによって、ビジュアルシーン６のパンおよび／またはズームを行う。

【0122】

少なくともいくつかの例では、制御装置７０は、選択されたビジュアルオブジェクト２８が取り込まれたビジュアルシーン６内に維持されるように、下位論理部分２６を自動的に移動させるおよび／またはサイズ変更することができる。

【0123】

いくつかの例では、例えば装置２０が異なる視点を有する複数のカメラ２２を備える場合には（例として図４Ｂを参照）、それぞれのカメラのそれぞれのイメージセンサ２４の各々が、上記したように使用され得る。いくつかの例では、制御装置７０は、選択されたビジュアルオブジェクト２８を取り込まれたビジュアルシーン６内に維持するために、第１のカメラ２２または第２のカメラ２２を使用するように構成される。すなわち、制御装置７０は、選択されたビジュアルオブジェクト２８が取り込まれたビジュアルシーン６内に維持されるように、第１のカメラ２２の使用から第２のカメラ２２の使用へと切り替えることができる。

【0124】

図１７Ａおよび図１７Ｂならびに図１８Ａおよび図１８Ｂは、装置２０を使用する様々な例を概略的に示す。装置２０は既に記載したようなものであり得る。

【0125】

図１７Ａ、図１７Ｂ、図１８Ａ、図１８Ｂの例では、風８０の結果として、マイクロフォン２_Dからの出力は風ノイズによって許容できない程度まで歪むことになり、ビームステアリングマイクロフォン（ｂｅａｍ ｓｔｅｅｒｉｎｇ ｍｉｃｒｏｐｈｏｎｅ）２_Gからの出力は良好となる（許容できない程度まで風ノイズによって歪むことがない）。

【0126】

図１７Ａでは、取り込まれたオーディオシーン４は許容できない検出風ノイズを有する。取り込まれたオーディオシーン４の風ノイズが許容できないと判定した結果として、装置２０は、許容できる検出風ノイズでオーディオシーン４を取り込む、１つまたは複数のマイクロフォン２の第１の組とマイクロフォン２の第１の物理的回転角度４４の組合せを見付けるために、１つまたは複数のマイクロフォン２の様々な組およびマイクロフォン２の様々な物理的回転角度４４の両方を探索する。図１７Ｂに示すように、次いで装置２０は、マイクロフォン２の物理的回転角度４４がマイクロフォン２の第１の物理的回転角度４４になるように制御し、１つまたは複数のマイクロフォン２の第１の組とマイクロフォン２の第１の物理的回転角度４４の組合せを使用して、オーディオシーン４を取り込む。図１７Ａでは、３つのうち２つのマイクロフォン２が、許容できない風ノイズを有する。図１７Ｂでは、３つのうち２つのマイクロフォン２が、許容できる風ノイズを有するかまたは風ノイズを有さない。探索によって、使用できないマイクロフォン２の数が最小になっている。

【0127】

図１８Ａでは、取り込まれたオーディオシーン４は許容できない検出風ノイズを有する。取り込まれたオーディオシーン４の風ノイズが許容できないと判定した結果として、装置２０は、許容できる検出風ノイズでオーディオシーン４を取り込む、１つまたは複数のマイクロフォン２の第１の組とマイクロフォン２の第１の物理的回転角度４４の組合せを見付けるために、１つまたは複数のマイクロフォン２の様々な組およびマイクロフォン２の様々な物理的回転角度４４の両方を探索する。図１８Ｂに示すように、次いで装置２０は、マイクロフォン２の物理的回転角度４４がマイクロフォン２の第１の物理的回転角度４４になるように制御し、１つまたは複数のマイクロフォン２の第１の組とマイクロフォン２の第１の物理的回転角度４４の組合せを使用して、オーディオシーン４を取り込む。図１８Ａでは、２つのうち１つのマイクロフォン２が、許容できない風ノイズを有する。図１８Ｂでは、２つのうち２つのマイクロフォン２が、許容できる風ノイズを有するかまたは風ノイズを有さない。探索によって、使用できないマイクロフォン２の数が最小になっている。

【0128】

図１７Ａおよび図１７Ｂは、ヨー回転としての第１の物理的回転角度４４を示す。図１８Ａおよび図１８Ｂは、ロール回転としての第１の物理的回転角度４４を示す。いくつかの例では、探索によって見付かる第１の物理的回転角度４４は、ヨー回転およびロール回転の両方の組合せであり得る。

【0129】

風ノイズは例えば、オーディオクリッピングによって検出され得る。

【0130】

いくつかの状況では、マイクロフォン２の動的応答はその風ノイズなどのノイズへの応答で飽和する。例えば、最大音圧レベルを超える場合がある。そのような状況では、その（風）ノイズに追加して信号を検出することはできない。

【0131】

風ノイズは例えば、マイクロフォン２からの出力をデジタル処理することによって検出され得る。許容できない検出風ノイズを検出するために、風ノイズ検出（ＷＮＤ）アルゴリズムを使用することができる。

【0132】

いくつかの例では、ＷＮＤアルゴリズムは、低周波数（＜５０Ｈｚ）における高いエネルギーおよび／または高い変動性を検出することによって、風ノイズを検出することができる。

【0133】

制御装置７０は、風ノイズ低減アルゴリズム（ＷＮＲ）を使用して、１つまたは複数のマイクロフォン２の第１の組とマイクロフォン２の第１の物理的回転角度４４の組合せを使用して取り込まれたオーディオシーン４をデジタル処理するように構成され得る。

【0134】

いくつかの例では、風ノイズは、バンドパスフィルタまたは他の周波数選択フィルタを使用して減衰され得る。

【0135】

上記した例のいずれにおいても、１つのカメラ２２または複数のカメラ２２は、静止画像を取り込むように構成され得る。上記した例のいずれにおいても、１つのカメラ２２または複数のカメラ２２は、連続画像（動画）を取り込むように構成され得る。

【0136】

上記した例のいずれにおいても、装置２０はセキュリティ装置であり得る。
上記した例のいずれにおいても、装置２０は監視装置であり得る。
上記した例のいずれにおいても、装置２０は位置の固定された装置であり得る。
上記した例のいずれにおいても、装置２０は移動可能な装置であり得る。

【0137】

上記のいずれの例においても、マイクロフォン２の構成１０は非直線的なマイクロフォン構成１０であり得る。直線的なマイクロフォン構成は、マイクロフォン２が線に沿って整列されるマイクロフォン２の構成である。非直線的なマイクロフォン構成は、直線的なマイクロフォン構成ではないマイクロフォン２の構成である。非直線的なマイクロフォン構成では例えば、マイクロフォン２はある面積または容積にわたって分散され得る。

【0138】

上記のいずれの例においても、オーディオシーンを取り込むために使用されるマイクロフォンの組におけるマイクロフォンの構成は、非直線的なマイクロフォン構成１０であり得る。

【0139】

上記した例のいずれにおいても、装置は、カメラ２２がない場合を含め任意の数のカメラ２を備え得る。装置２０はいくつかの例では、カメラを有さないオーディオ装置であり得る。

【0140】

上記した条件付き探索は、常時有効にすることができるか、または、使用者入力の結果として有効にすることができる。例えば、図６の方法は、ユーザインターフェース５０での使用者入力に応答して有効となり得る。いくつかの例では、ユーザインターフェース５０は使用者に未加工のオーディオを提供でき、使用者は図６の方法をリアルタイムで有効にして、取り込まれたオーディオを改善することができる。

【0141】

図１９は制御装置７０の例を示す。制御装置７０の実装は、制御装置回路構成としてであってもよい。制御装置７０はハードウェア単独で実装されてもよく、ファームウェア単独を含むソフトウェアでのある態様を有してもよく、またはハードウェアとソフトウェア（ファームウェアを含む）の組合せとすることができる。

【0142】

図１９に示すように、制御装置７０は、ハードウェア機能性を可能にする命令を使用して、例えば、汎用または専用プロセッサ７２において、そのようなプロセッサ７２によって実行されるべくコンピュータ可読記憶媒体（ディスク、メモリ、等）に記憶され得る、コンピュータプログラム７６の実行可能命令を使用することによって、実装され得る。

【0143】

プロセッサ７２は、メモリ７４との間で読み取りおよび書き込みを行うように構成される。プロセッサ７２はまた、プロセッサ７２によるデータおよび／またはコマンドの出力を媒介する出力インターフェース、ならびに、プロセッサ７２へのデータおよび／またはコマンドの入力を媒介する入力インターフェースも備え得る。

【0144】

メモリ７４は、プロセッサ７２にロードされると装置２０の動作を制御する、コンピュータプログラム命令（コンピュータプログラムコード）を備えるコンピュータプログラム７６を記憶している。コンピュータプログラム７６のコンピュータプログラム命令は、図示および／または記載されている方法を装置が実行することを可能にする、ロジックおよびルーチンを提供する。プロセッサ７２はメモリ７４を読み取ることによってコンピュータプログラム７６をロードし、実行することができる。

【0145】

装置２０はしたがって、
少なくとも１つのプロセッサ７２と、
コンピュータプログラムコードを含む少なくとも１つのメモリ７４と、を備え、
少なくとも１つのメモリ７４およびコンピュータプログラムコードは、少なくとも１つのプロセッサ７２によって、装置２０に少なくとも、
取り込まれたオーディオシーンが許容できない検出ノイズを有するとの判定に応じた、
許容できる検出ノイズでオーディオシーンを取り込む、マイクロフォン構成の１つまたは複数のマイクロフォンの第１の組とマイクロフォン構成の第１の物理的回転角度の組合せを見付けるための、マイクロフォン構成の１つまたは複数のマイクロフォンの様々な組およびマイクロフォン構成の様々な物理的回転角度の両方の探索と、
マイクロフォン構成の物理的回転角度がマイクロフォン構成の第１の物理的回転角度になるようにする制御、および、マイクロフォン構成の１つまたは複数のマイクロフォンの第１の組とマイクロフォン構成の第１の物理的回転角度の組合せを使用したオーディオシーンの取り込みと、を行わせるように構成される。

【0146】

図２０に示すように、コンピュータプログラム７６は、任意の好適な伝送機構７８を介して装置２０に到達し得る。伝送機構７８は例えば、機械可読媒体、コンピュータ可読媒体、非一時的コンピュータ可読記憶媒体、コンピュータプログラム製品、メモリデバイス、コンパクトディスク読み出し専用メモリ（ＣＤ－ＲＯＭ）またはデジタル多用途ディスク（ＤＶＤ）またはソリッドステートメモリなどの記録媒体、コンピュータプログラム７６を備えるかまたは有形に具現化する製品であり得る。伝送機構は、コンピュータプログラム７６を確実に伝達するように構成されている信号であってもよい。装置２０は、コンピュータプログラム７６をコンピュータデータ信号として伝播または送信してもよい。

【0147】

装置に少なくとも以下を行わせるためのまたは少なくとも以下を行うための、コンピュータプログラム命令：
取り込まれたオーディオシーンが許容できない検出ノイズを有するとの判定に応じた、
許容できる検出ノイズでオーディオシーンを取り込む、マイクロフォン構成の１つまたは複数のマイクロフォンの第１の組とマイクロフォン構成の第１の物理的回転角度の組合せを見付けるための、マイクロフォン構成の１つまたは複数のマイクロフォンの様々な組およびマイクロフォン構成の様々な物理的回転角度の両方の探索と、
マイクロフォン構成の物理的回転角度がマイクロフォン構成の第１の物理的回転角度になるようにする制御、および、マイクロフォン構成の１つまたは複数のマイクロフォンの第１の組とマイクロフォン構成の第１の物理的回転角度の組合せを使用したオーディオシーンの取り込み。

【0148】

コンピュータプログラム命令は、コンピュータプログラム、非一時的コンピュータ可読媒体、コンピュータプログラム製品、機械可読媒体に含まれ得る。必ずしも全部ではないがいくつかの例では、コンピュータプログラム命令を２つ以上のコンピュータプログラムにわたって分散させてもよい。

【0149】

メモリ７４は単一の構成要素／回路構成として示されているが、これは１つまたは複数の別個の構成要素／回路構成として実装されてもよく、それらの一部または全部は、一体型／着脱可能であり得る、および／または、永久的／半永久的／動的／キャッシュ化ストレージを提供し得る。

【0150】

プロセッサ７２は単一の構成要素／回路構成として示されているが、これは１つまたは複数の別個の構成要素／回路構成として実装されてもよく、それらの一部または全部は一体型／着脱可能であり得る。プロセッサ７２はシングルコアプロセッサであってもマルチコアプロセッサであってもよい。

【0151】

「コンピュータ可読記憶媒体」、「コンピュータプログラム製品」、「有形に具現化されたコンピュータプログラム」等、または「制御装置」、「コンピュータ」、「プロセッサ」等への言及は、単一／複数プロセッサアーキテクチャおよび逐次（フォンノイマン）／並列アーキテクチャなどの、様々なアーキテクチャを有するコンピュータだけでなく、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、信号処理デバイス、および他の処理回路構成などの、専用回路をも包含するものと理解されるべきである。コンピュータプログラム、命令、コード、等への言及は、プログラマブルプロセッサ用のソフトウェアまたはファームウェア、例えば、プロセッサ用の命令であっても、固定機能デバイス、ゲートアレイ、またはプログラマブル論理デバイス、等のための構成設定であってもよい、ハードウェアデバイスのプログラマブルコンテンツを包含するものと理解されるべきである。

【0152】

本願において使用する場合、用語「回路構成」は、以下の１つもしくは複数または全部を指し得る：
（ａ）ハードウェアのみの回路構成実装（例えばアナログおよび／またはデジタル回路構成だけでの実装）、ならびに
（ｂ）以下のようなハードウェア回路とソフトウェアの組合せ（可能な場合）：
（ｉ）アナログ回路および／またはデジタルハードウェア回路とソフトウェア／ファームウェアの組合せ、ならびに、
（ｉｉ）携帯電話またはサーバなどの装置に様々な機能を実行させるように共働する、ソフトウェア（デジタル信号プロセッサを含む）を有するハードウェアプロセッサの任意の部分、ソフトウェア、およびメモリ、ならびに、
（ｃ）動作にソフトウェア（例えばファームウェア）を必要とする、ハードウェア回路、および／またはマイクロプロセッサもしくはマイクロプロセッサの一部などのプロセッサ、ただし動作に必要ない場合はソフトウェアは存在しなくてもよい。
回路構成のこの定義は、あらゆる請求項を含め、本願におけるこの用語の全ての使用に適用される。更なる例として、本願において使用する場合、回路構成という用語はまた、単なるハードウェア回路またはプロセッサならびにそれに（またはそれらに）付随するソフトウェアおよび／またはファームウェアの実装形態も包含する。回路構成という用語は、例えば、特定の請求項の要素に該当する場合、モバイルデバイス用のベースバンド集積回路もしくはサーバ中の類似の集積回路、セルラネットワークデバイス、または他のコンピューティングデバイスもしくはネットワークデバイスも包含する。

【0153】

図に示されているブロックおよび／または記載されているようなブロックは、方法におけるステップおよび／またはコンピュータプログラム７６中のコードのセクションを表し得る。ブロックの特定の順序の説明は、それらのブロックに必要なまたは好ましい順序が存在することを必ずしも示唆しておらず、ブロックの順序および構成は変更されてもよい。また更に、いくつかのブロックを省略することが可能であり得る。

【0154】

上記の記載にはまた、装置の、あるクラスも記載されており、この場合装置２０は、
複数のマイクロフォン２を備えるマイクロフォン構成１０を使用してオーディオシーン４を取り込み、
取り込まれたオーディオシーン４が許容できない検出ノイズを有すると判定し、
取り込まれたオーディオシーン４が許容できない検出ノイズを有するとの判定に応じて、
許容できる検出ノイズでオーディオシーン４を取り込む、マイクロフォン構成１０の１つまたは複数のマイクロフォン２の第１の組とマイクロフォン構成１０の第１の物理的回転角度４４の組合せを見付けるために、マイクロフォン構成１０の１つまたは複数のマイクロフォン２の様々な組およびマイクロフォン構成１０の様々な物理的回転角度４４の両方を探索し、
マイクロフォン構成１０の物理的回転角度４４がマイクロフォン構成１０の第１の物理的回転角度４４になるように制御し、マイクロフォン構成１０の１つまたは複数のマイクロフォン２の第１の組とマイクロフォン構成１０の第１の物理的回転角度４４の組合せを使用してオーディオシーン４を取り込むための手段を備える。

【0155】

上記の記載にはまた、方法の、あるクラスも記載されており、この場合方法は、
オーディオシーン４を取り込むことと、
イメージセンサ２４およびマイクロフォン２を配置し直すために、イメージセンサ２４を備える取り付けられたカメラ２２およびマイクロフォン２の物理的回転を制御することであって、マイクロフォン２を配置し直すことによってマイクロフォン２において検出されるノイズが低減される、制御することと、
ビジュアルシーン６のイメージを取り込むために使用されるイメージセンサ２４の下位論理部分２６を、選択されたビジュアルオブジェクトが取り込まれたビジュアルシーン６内に維持されるように、イメージセンサ２４を横切る方向に自動的に移動させることと、を含む。

【0156】

ある構造的特徴について記載されている場合、それをその構造的特徴の機能のうちの１つまたは複数を実行するための手段で置き換えてもよく、その場合、その機能またはそれらの機能の記載が明示的であるか暗示的であるかは問題ではない。

【0157】

データの記録は一時的記録だけを含んでもよく、または永久的記録を含んでもよく、または一時的記録および永久的記録の両方を含んでもよい。一時的記録はデータを一時的に記録することを意味する。このことは例えば、検知またはイメージ取り込みの間に行われてもよく、動的メモリにおいて行われてもよく、循環バッファなどのバッファ、レジスタ、キャッシュ、または類似のものにおいて行われてもよい。永久的記録とは、データがアドレス指定可能なメモリ空間から検索可能なアドレス指定可能なデータ構造の形態であり、したがって削除または上書きされるまで記憶および検索可能であるが、長期記憶は行われても行われなくてもよいことを意味する。イメージまたはオーディオに関連した用語「取り込む」の使用は、イメージのデータの一時的記録に関連している。イメージまたはオーディオが取り込まれるたびに、続いてそれを記憶することができる。用語「記憶する」の使用は、イメージまたはオーディオのデータの永久的記録に関連している。

【0158】

システム、装置、方法、およびコンピュータプログラムは、統計的学習を含み得る機械学習を使用し得る。機械学習は、明示的なプログラミングを行うことなくコンピュータに学習する能力を与える、コンピュータ科学の一分野である。コンピュータは、タスクＴの何らかのクラスと性能尺度Ｐとに関する経験Ｅから、Ｐによって測定したタスクＴにおけるその性能が経験Ｅによって改善されるかどうかを学習する。コンピュータは多くの場合、将来のデータについての予測を行うために、先行する訓練データから学習することができる。機械学習は、教師あり学習を全体的または部分的に、および教師なし学習を全体的または部分的に含む。機械学習によって、離散的出力（例えば分類、クラスタリング）および連続的出力（例えば回帰）が可能になり得る。機械学習は例えば、例としてコスト関数最小化、人工ニューラルネットワーク、サポートベクターマシン、およびベイジアンネットワークなどの、様々な手法を使用して実施され得る。コスト関数最小化は例えば、線形および多項回帰ならびにＫ平均法クラスタリングにおいて使用され得る。例えば１つまたは複数の隠れ層を有する人工ニューラルネットワークは、入力ベクトルと出力ベクトルの間の複雑な関係をモデル化する。サポートベクターマシンは教師あり学習に使用され得る。ベイジアンネットワークは、いくつかの確率変数の条件付き独立性を表現する有向非巡回グラフである。

【0159】

上記した例には、以下のものを可能にする構成要素としての用途が見られる：
自動車システム、電気通信システム、消費者向け電子製品を含む電子システム、分散型コンピューティングシステム、オーディオ、ビジュアル、およびオーディオビジュアルコンテンツならびに複合現実、媒介現実、仮想現実、および／または拡張現実を含む、メディアコンテンツを生成またはレンダリングするためのメディアシステム、個人健康システムまたは個人フィットネスシステムを含む個人システム、ナビゲーションシステム、人間機械インターフェースとしても知られるユーザインターフェース、セルラ、非セルラ、および光ネットワークを含むネットワーク、アドホックネットワーク、インターネット、モノのインターネット、仮想化ネットワーク、ならびに関連するソフトウェアおよびサービス。

【0160】

用語「備える（ｃｏｍｐｒｉｓｅ）」は、本文書では包括的であって排他的ではない意味で使用される。すなわち、Ｙを備えるＸへの言及は全て、Ｘがただ１つのＹを備え得るかまたは２つ以上のＹを備え得ることを示している。「備える」を排他的な意味で使用することが意図されている場合には、そのことは、「ただ１つの・・を備える」と言及することによって、または「から成る（ｃｏｎｓｉｓｔｉｎｇ）」を使用することによって、文脈中で明らかにされる。

【0161】

本明細書では様々な例を参照している。例と関連させた特徴または機能の記載は、それらの特徴または機能がその例に存在することを示している。テキスト中の用語「例」または「例えば」または「し得る（ｃａｎ）」、または「してもよい（ｍａｙ）」の使用は、明示的に述べられているか否かに関わらず、そのような特徴または機能が、例として記載されているか否かに関わらず、少なくとも記載されている例に存在すること、およびそれらが、必須ではないが他の例の一部または全部に存在し得ることを意味する。この場合、「例」、「例えば」、「し得る」、または「してもよい」は、例のあるクラスにおける特定の実例を指す。実例の特性は、その実例だけの特性、またはそのクラスの特性、またはそのクラスにおける実例の全部ではないが一部を含むそのクラスの下位クラスの特性であり得る。したがって、ある例を参照しているが別の例は参照せずに記載されている特徴を、可能であれば機能する組合せの一部としてその別の例において使用することができるが、その別の例において使用することは必ずしも必須ではないことが、暗示的に開示されている。

【0162】

上記の各段落において様々な例を参照して例が記載されているが、特許請求の範囲の範囲から逸脱することなくそれらの所与の例の修正が可能であることが諒解されるべきである。

【0163】

上記の説明に記載されている特徴を、上で明示的に記載されている組合せ以外の組合せで使用してもよい。

【0164】

特定の特徴を参照して機能を記載してきたが、それらの機能は、記載されているか否かに関わらず、他の特徴によって実行可能であってもよい。

【0165】

特定の例を参照して特徴を記載してきたが、それらの特徴は、記載されているか否かに関わらず他の例にも存在してよい。

【0166】

用語「１つの（ａ）」または「その（ｔｈｅ）」は、本文書では包括的であって排他的ではない意味で使用される。すなわち、文脈がそうではないと明確に示していない限りは、Ｙを備えるＸへの言及は全て、Ｘがただ１つのＹを備え得るかまたは２つ以上のＹを備え得ることを示している。「１つの」または「その」を排他的な意味で使用することが意図されている場合には、そのことは文脈中で明らかにされる。いくつかの状況では、「少なくとも１つの」または「１つまたは複数の」の使用は包括的な意味を強調するために用いられ得るが、これらの用語がないことを、何らかの排他的な意味を推断させるものと解釈すべきではない。

【0167】

ある請求項にある特徴（または特徴の組合せ）が存在することは、その特徴（または特徴の組合せ）自体への言及であると共に、実質的に同じ技術的効果を達成する特徴（等価な特徴）への言及でもある。等価な特徴は例えば変形である特徴を含み、実質的に同じ様式で実質的に同じ結果を達成する。等価な特徴は例えば、実質的に同じ機能を実質的に同じ様式で実行して、実質的に同じ結果を達成する特徴を含む。

【0168】

本明細書では、例の特性を記載するための形容詞または形容詞句を使用して、様々な例を参照している。ある例に関連する特性のそのような記載は、その特性が一部の例では厳密に記載されている通りに存在し、また一部の例では実質的に記載されている通りに存在することを示している。

【0169】

上記の明細書では重要と考えられる特徴に注意を引くように努めてきたが、出願人は、本明細書で既に言及したおよび／または図面に示した任意の特許可能な特徴または特徴の組合せに関して、それらが強調されているか否かに関わらず、特許請求の範囲を介して保護を求め得ることが、理解されるべきである。

【図1A】

【図1B】

【図1C】

【図1D】

【図1E】

【図2】

【図3】

【図4A】

【図4B】

【図4C】

【図4D】

【図5】

【図6】

【図7】

【図8】

【図9A-B】

【図10A-B】

【図11A-B】

【図12A-B】

【図13A-B】

【図14A-B】

【図15A-B】

【図16A-B】

【図17A-B】

【図18A-B】

【図19】

【図20】