知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-01-31
(54)【発明の名称】多視点画像取込みのための折畳み可能電子デバイス
(51)【国際特許分類】
H04N 23/611 20230101AFI20240124BHJP
H04N 23/51 20230101ALI20240124BHJP
G03B 35/08 20210101ALI20240124BHJP
G03B 15/00 20210101ALI20240124BHJP
G06T 7/593 20170101ALI20240124BHJP
G06T 5/50 20060101ALI20240124BHJP
【ＦＩ】
H04N23/611
H04N23/51
G03B35/08
G03B15/00 Q
G06T7/593
G06T5/50
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2023530268
(86)(22)【出願日】2020-11-25
(85)【翻訳文提出日】2023-05-18
(86)【国際出願番号】 CN2020131425
(87)【国際公開番号】W WO2022109855
(87)【国際公開日】2022-06-02
(81)【指定国・地域】
(71)【出願人】
【識別番号】595020643
【氏名又は名称】クゥアルコム・インコーポレイテッド
【氏名又は名称原語表記】ＱＵＡＬＣＯＭＭ ＩＮＣＯＲＰＯＲＡＴＥＤ
(74)【代理人】
【識別番号】110003708
【氏名又は名称】弁理士法人鈴榮特許綜合事務所
(72)【発明者】
【氏名】ジャン、ナン
(72)【発明者】
【氏名】シー、ヨンジュン
【テーマコード（参考）】
2H059
5B057
5C122
5L096
【Ｆターム（参考）】
2H059AA10
2H059AA13
5B057BA02
5B057BA17
5B057CA01
5B057CA08
5B057CA12
5B057CA16
5B057CB01
5B057CB08
5B057CB12
5B057CB16
5B057CD14
5B057CE04
5B057CE17
5B057DA16
5B057DB03
5B057DB06
5B057DB09
5C122DA04
5C122DA30
5C122FA18
5C122FC04
5C122FH04
5C122FH10
5C122FH11
5C122FH14
5C122FH15
5C122FH18
5C122FH22
5C122GA01
5C122GA31
5C122GE01
5C122GE05
5C122GE07
5C122GE11
5C122HA13
5C122HA35
5C122HA82
5C122HA88
5C122HB01
5L096AA02
5L096AA06
5L096CA05
5L096DA01
5L096DA02
5L096FA09
5L096FA66
5L096FA67
(57)【要約】
画像センサの位置を自動的に調整し、画像センサから取り込まれた画像データに基づいて多視点画像を生成することを自動的に行うための方法、システム、および装置が提供される。たとえば、画像取込みデバイスが、第１の筐体部分と第２の筐体部分とを備える筐体を含み、第１の筐体部分には第１のセンサが結合され、第２の筐体部分には第２のセンサが結合される。ヒンジなどの結合デバイスが、第１の筐体部分を第２の筐体部分に結合する。画像取込みデバイスは、第１のセンサおよび第２のセンサから画像データを取得し、取得された画像データに基づいてオブジェクト深度を決定する。画像取込みデバイスは、オブジェクト深度に基づく調整された角度を出力し、第１および第２のセンサから追加の画像データを取得する。画像取込みデバイスは、追加の画像データに基づいて多視点画像を生成する。
【特許請求の範囲】
【請求項1】
第１の筐体部分と第２の筐体部分とを備える筐体と、命令を記憶した非一時的機械可読記憶媒体と、
前記非一時的機械可読記憶媒体に結合された少なくとも１つのプロセッサと
を備える画像取込みデバイスであって、前記少なくとも１つのプロセッサが、
前記筐体の前記第１の筐体部分に結合された第１のセンサから第１の画像データを取得することと、
前記筐体の前記第２の筐体部分に結合された第２のセンサから第２の画像データを取得することと、
前記第１の画像データおよび前記第２の画像データに基づいてオブジェクトの深度を決定することと、
前記深度に基づいて前記第１の筐体部分と前記第２の筐体部分との間の調整された角度を出力することと、
前記調整された角度に基づいて画像取込み動作を実施することと
を行うために前記命令を実行するように構成された、画像取込みデバイス。
【請求項2】
前記少なくとも１つのプロセッサが、前記調整された角度の前記出力に基づいて、前記第１のセンサからの第３の画像データと前記第２のセンサからの第４の画像データとを取得することと、
前記第３のセンサデータおよび前記第４のセンサデータに基づいて多視点画像を生成することと
を行うために前記命令を実行するようにさらに構成された、請求項１に記載の画像取込みデバイス。
【請求項3】
前記少なくとも１つのプロセッサが、前記多視点画像にフォト効果を適用することに基づいてユーザ作成画像を生成することと、
前記ユーザ作成画像を前記非一時的機械可読記憶媒体に記憶することと
を行うために前記命令を実行するようにさらに構成された、請求項２に記載の画像取込みデバイス。
【請求項4】
前記少なくとも１つのプロセッサが、前記多視点画像をセグメント化することと、
前記セグメント化された多視点画像に基づいて前記フォト効果を適用することと
を行うために前記命令を実行するようにさらに構成された、請求項３に記載の画像取込みデバイス。
【請求項5】
前記フォト効果がボケ効果を備える、請求項４に記載の画像取込みデバイス。
【請求項6】
前記オブジェクトが顔を備え、前記少なくとも１つのプロセッサが、前記顔を検出するために前記命令を実行するようにさらに構成された、請求項１に記載の画像取込みデバイス。
【請求項7】
前記少なくとも１つのプロセッサが、前記第１の筐体部分と前記第２の筐体部分との間の角度を決定することと、
前記角度に基づいて前記オブジェクトの前記深度を決定することと
を行うために前記命令を実行するようにさらに構成された、請求項１に記載の画像取込みデバイス。
【請求項8】
前記少なくとも１つのプロセッサが、前記第１の画像データおよび前記第２の画像データに基づいて視差データを生成するために前記命令を実行するようにさらに構成された、請求項１に記載の画像取込みデバイス。
【請求項9】
前記少なくとも１つのプロセッサが、前記筐体の前記第１の部分と前記第２の部分との間の角度を決定することと、
前記決定された角度に基づいて前記第１のセンサと前記第２のセンサとの間の基線長を決定することと、
前記第１のセンサと前記第２のセンサとのうちの少なくとも一方の焦点距離を決定することと、
前記視差データ、前記基線長、および前記焦点距離に基づいて深度値を生成することと
を行うために前記命令を実行するようにさらに構成された、請求項８に記載の画像取込みデバイス。
【請求項10】
前記少なくとも１つのプロセッサが、前記視差データに基づいて前記オブジェクトの視差を決定することと、
前記視差および視差しきい値に基づいて前記調整された角度を出力することと
を行うために前記命令を実行するようにさらに構成された、請求項８に記載の画像取込みデバイス。
【請求項11】
前記少なくとも１つのプロセッサが、位置センサから位置データを取得することと、
前記位置データに基づいて前記第１の筐体部分と前記第２の筐体部分との間の角度を決定することと、
前記決定された角度に基づいて前記調整された角度を決定することと
を行うために前記命令を実行するようにさらに構成された、請求項１に記載の画像取込みデバイス。
【請求項12】
前記少なくとも１つのプロセッサが、前記第１の筐体部分と前記第２の筐体部分との間の角度を決定することと、
前記決定された角度に基づいて１つまたは複数のカメラパラメータを決定することと、
前記１つまたは複数のカメラパラメータに基づいて前記調整された角度を出力することと
を行うために前記命令を実行するようにさらに構成された、請求項１に記載の画像取込みデバイス。
【請求項13】
前記１つまたは複数のカメラパラメータが平行移動行列を備え、前記少なくとも１つのプロセッサが、前記平行移動行列に基づいて前記第１のセンサの基準を前記第２のセンサの対応する基準に平行移動するために前記命令を実行するようにさらに構成された、請求項１２に記載の画像取込みデバイス。
【請求項14】
前記第１の筐体部分がディスプレイの第１の部分を備え、前記第２の筐体部分が前記ディスプレイの第２の部分を備え、
前記第１のセンサが前記ディスプレイの前記第１の部分の下に配置され、前記第２のセンサが前記ディスプレイの前記第２の部分の下に配置された、
請求項１に記載の画像取込みデバイス。
【請求項15】
モータをさらに備える、請求項１に記載の画像取込みデバイス。
【請求項16】
前記モータが、前記調整された角度に基づいて前記第１の筐体部分と前記第２の筐体部分との間の角度を調整するように構成された、請求項１５に記載の画像取込みデバイス。
【請求項17】
前記プロセッサが、前記調整された角度に基づいてＧＵＩ要素をディスプレイ上に出力するために前記命令を実行するようにさらに構成された、請求項１に記載の画像取込みデバイス。
【請求項18】
画像取込みデバイスを動作させるための方法であって、前記画像取込みデバイスの筐体の第１の部分に結合された第１のセンサから第１の画像データを取得することと、
前記筐体の第２の部分に結合された第２のセンサから第２の画像データを取得することと、
前記第１の画像データおよび前記第２の画像データに基づいてオブジェクトの深度を決定することと、
前記決定された深度に基づいて前記第１の筐体部分と前記第２の筐体部分との間の調整された角度を出力することと、
前記調整された角度に基づいて画像取込み動作を実施することと
を備える方法。
【請求項19】
前記画像取込み動作を実施することが、前記調整された角度の前記出力に基づいて、前記第１のセンサからの第３の画像データと前記第２のセンサからの第４の画像データとを取得することと、
前記第３のセンサデータおよび前記第４のセンサデータに基づいて多視点画像を生成することと
を備える、請求項１８に記載の方法。
【請求項20】
前記多視点画像にフォト効果を適用することに基づいてユーザ作成画像を生成することと、前記ユーザ作成画像をメモリデバイスに記憶することと
をさらに備える、請求項１９に記載の方法。
【請求項21】
前記ユーザ作成画像を生成することが、前記多視点画像をセグメント化することと、
前記セグメント化に基づいて前記フォト効果を適用することと
を備える、請求項２０に記載の方法。
【請求項22】
前記フォト効果がボケ効果を備える、請求項２１に記載の方法。
【請求項23】
前記オブジェクトが顔を備え、前記方法が前記顔を検出することをさらに備える、請求項１８に記載の方法。
【請求項24】
前記筐体の前記第１の筐体部分と前記第２の筐体部分との間の角度を決定することと、前記角度に基づいて前記オブジェクトの前記深度を決定することと
をさらに備える、請求項１８に記載の方法。
【請求項25】
前記オブジェクトの前記深度を決定することが、前記第１の画像データおよび前記第２の画像データに基づいて視差データを生成することを備える、請求項１８に記載の方法。
【請求項26】
前記オブジェクトの前記深度を決定することが、前記第１の筐体部分と前記第２の筐体部分との間の角度を決定することと、
前記決定された角度に基づいて前記第１のセンサと前記第２のセンサとの間の基線長を決定することと、
前記第１のセンサと前記第２のセンサとのうちの少なくとも一方の焦点距離を決定することと、
前記視差データ、前記基線長、および前記焦点距離に基づいて深度値を生成することと
を備える、請求項２５に記載の方法。
【請求項27】
前記視差データに基づいて前記オブジェクトの視差を決定することと、前記視差および視差しきい値に基づいて前記調整された角度を出力することと
をさらに備える、請求項２５に記載の方法。
【請求項28】
位置センサから位置データを取得することと、前記第１の筐体部分と前記第２の筐体部分との間の角度を決定することと、
前記決定された角度に基づいて前記調整された角度を決定することと
をさらに備える、請求項１８に記載の方法。
【請求項29】
前記第１の筐体部分と前記第２の筐体部分との間の角度を決定することと、前記決定された角度に基づいて１つまたは複数のカメラパラメータを決定することと、
前記１つまたは複数のカメラパラメータに基づいて前記調整された角度を出力することと
をさらに備える、請求項１８に記載の方法。
【請求項30】
前記１つまたは複数のカメラパラメータが平行移動行列を備え、前記方法が、前記平行移動行列に基づいて前記第１のセンサの基準を前記第２のセンサの対応する基準に平行移動することをさらに備える、請求項２６に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
[0001] 本開示は、一般に、撮像デバイス（imaging device）に関し、より具体的には、画像取込み能力（image capturing capability）を有する折畳み可能表示デバイス（foldable display device）に関する。
【背景技術】
【0002】
[0002] 電話機、タブレット、およびスマートデバイスなどの画像取込みデバイス（image capture device）は、画像を取り込むための、外側に面するカメラを含むことがある。たとえば、カメラは、内向き表面の反対側の外向き表面上に位置することがあり、内向き表面はディスプレイ（display）を含む。外向き表面上のカメラから取り込まれた画像は、ディスプレイ上で提供される。画像取込みデバイスはまた、「セルフィー（selfie）」の取込みを容易にするなどのために、内向き表面上にカメラを含むこともある。これらの画像取込みデバイスのいくつかは、折畳み可能ディスプレイ（foldable display）を含む。折畳み可能ディスプレイの各面が、外向き表面と内向き表面とを含む。折畳み可能ディスプレイを有する画像取込みデバイスは、外向き表面の各々に、１つまたは複数のカメラを含むことがある。
【0003】
[0003] 加えて、画像取込みデバイスは、高画質の画像をレンダリングしようとして、様々な信号処理技法を使用する。たとえば、画像取込みデバイスは、画像鮮鋭度のためにそのレンズの焦点を自動的に合わせ、光レベルに基づいて露光時間を自動的に設定し、光源の色温度に対応するようにホワイトバランスを自動的に調整することがある。いくつかの例では、画像取込みデバイスは、複数のカメラから取り込まれた画像に基づいて多視点画像（multi-view image）を生成する（generate）ことがある。いくつかの例では、画像取込みデバイスは、顔検出技術を含む。顔検出技術は、画像取込みデバイスがカメラのレンズの視野中で顔（face）を識別するのを可能にする。画像取込みデバイスは、次いで、識別された顔に基づいて様々な信号処理技法を適用してよい。
【発明の概要】
【0004】
[0004] 一態様によれば、画像取込みデバイスを動作させる方法が、画像取込みデバイスの筐体（housing）の第１の部分（first portion）に結合された第１のセンサ（first sensor）から第１の画像データ（first image data）を取得する（obtain）ことを含む。本方法はまた、筐体の第２の部分（second portion）に結合された第２のセンサ（second sensor）から第２の画像データ（second image data）を取得することを含む。本方法はさらに、第１の画像データおよび第２の画像データに基づいてオブジェクト（object）の深度（depth）を決定することを含む。本方法はまた、決定された深度に基づいて、第１の筐体部分（first housing portion）と第２の筐体部分（second housing portion）との間の調整された角度（adjusted angle）を出力することを含む。さらに、本方法は、調整に応答して画像取込み動作（image capture operation）を実施する（perform）ことを含む。
【0005】
[0005] 別の態様によれば、画像取込みデバイスが、第１の筐体部分と第２の筐体部分とを備える筐体を備える。画像取込みデバイスはまた、命令（instruction）を記憶した非一時的機械可読記憶媒体（non-transitory, machine-readable storage medium）と、非一時的機械可読記憶媒体に結合された少なくとも１つのプロセッサ（processor）とを備える。少なくとも１つのプロセッサは、筐体の第１の筐体部分に結合された第１のセンサから第１の画像データを取得するために命令を実行するように構成される。プロセッサはまた、筐体の第２の筐体部分に結合された第２のセンサから第２の画像データを取得するために命令を実行するように構成される。さらに、プロセッサは、第１の画像データおよび第２の画像データに基づいてオブジェクトの深度を決定するために命令を実行するように構成される。プロセッサはまた、深度に基づいて第１の筐体部分と第２の筐体部分との間の調整された角度を出力するために命令を実行するように構成される。プロセッサは、調整された角度に基づいて画像取込み動作を実施するために命令を実行するようにさらに構成される。
【0006】
[0006] 別の態様によれば、非一時的機械可読記憶媒体が命令を記憶し、命令は、少なくとも１つのプロセッサによって実行されたとき、画像取込みデバイスの筐体の第１の筐体部分に結合された第１のセンサから第１の画像データを取得することと、筐体の第２の筐体部分に結合された第２のセンサから第２の画像データを取得することと、第１の画像データおよび第２の画像データに基づいてオブジェクトの深度を決定することと、深度に基づいて第１の部分と第２の部分との間の調整された角度を出力することと、調整された角度に基づいて画像取込み動作を実施することとを備える動作を、少なくとも１つのプロセッサに実施させる。
【0007】
[0007] 別の態様によれば、画像取込みデバイスが、画像取込みデバイスの筐体の第１の筐体部分に結合された第１のセンサから第１の画像データを取得するための手段と、筐体の第２の筐体部分に結合された第２のセンサから第２の画像データを取得するための手段と、第１の画像データおよび第２の画像データに基づいてオブジェクトの深度を決定するための手段と、深度に基づいて第１の部分と第２の部分との間の調整された角度を出力するための手段と、調整された角度に基づいて画像取込み動作を実施するための手段とを備える。
【図面の簡単な説明】
【0008】
【図1】[0008] いくつかの実装形態による、例示的な画像取込みデバイスのブロック図。
【図3A】[0010] いくつかの実装形態による、例示的な画像取込みデバイスの構成要素を示す図。
【図3B】いくつかの実装形態による、例示的な画像取込みデバイスの構成要素を示す図。
【図3C】いくつかの実装形態による、例示的な画像取込みデバイスの構成要素を示す図。
【図3D】いくつかの実装形態による、例示的な画像取込みデバイスの構成要素を示す図。
【図4A】[0011] いくつかの実装形態による、折畳み可能ディスプレイを有する例示的な画像取込みデバイスを示す図。
【図4B】いくつかの実装形態による、折畳み可能ディスプレイを有する例示的な画像取込みデバイスを示す図。
【図4C】いくつかの実装形態による、折畳み可能ディスプレイを有する例示的な画像取込みデバイスを示す図。
【図4D】いくつかの実装形態による、折畳み可能ディスプレイを有する例示的な画像取込みデバイスを示す図。
【図5】[0012] いくつかの実装形態による、画像取込みデバイス中で画像取込み動作を実施するための例示的なプロセスのフローチャート。
【図6】いくつかの実装形態による、画像取込みデバイス中で画像取込み動作を実施するための例示的なプロセスのフローチャート。
【図7】[0013] いくつかの実装形態による、画像取込みデバイス中でユーザ作成画像（user-composed image）を生成するための例示的なプロセスのフローチャート。
【発明を実施するための形態】
【0009】
[0014] 本明細書に記載の特徴、方法、デバイス、およびシステムは様々な形で具体化され得るが、いくつかの例示的で非限定的な実施形態が、図面に示され以下で記述される。本開示で記述される構成要素のいくつかは任意選択であり、いくつかの実装形態は、本開示で明確に記述される構成要素に対して、追加の、異なる、またはより少ない構成要素を含むことがある。
【0010】
[0015] いくつかの実装形態では、画像取込みデバイスは、折畳み可能であってよく、内側表面に沿った折畳み可能ディスプレイを含んでよい。たとえば、画像取込みデバイスは、１つまたは複数の結合デバイス（coupling device）（たとえば、ヒンジ（hinge））を含む中央部に沿って折畳み可能であってよく、中央部は、画像取込みデバイスの第１の部分（たとえば、左側）を画像取込みデバイスの第２の部分（たとえば、右側）から分離してよい。第１の部分および第２の部分の各々は、内側表面と外側表面と（たとえば、第１の内側表面および第２の内側表面）を含んでよい。たとえば、画像取込みデバイスを閉鎖する（たとえば、閉じる）とき、内側表面の各々は、画像取込みデバイスの第１の部分と第２の部分とが相互に近づけられるのに伴って、相互と対面し得る。閉鎖されたとき、第１の部分および第２の部分の外側表面は外側に面し、第１の部分および第２の部分の内側表面は、空洞もしくは空隙空間の境界を確立し得る、またはそれを境界付け得る（たとえば、内側表面は空洞を形成し得る）。折畳み可能ディスプレイはまた、画像取込みデバイスの第１および第２の部分の各内側表面に沿った対応する部分を含んでよい。内側表面（および折畳み可能ディスプレイ）は、画像取込みデバイスの「ユーザに面する」側で提示されてよい。
【0011】
[0016] 画像取込みデバイスは、第１の部分の内側表面上の１つまたは複数のカメラと、第２の部分の内側表面上の１つまたは複数のカメラとを含んでよい。いくつかの例では、画像取込みデバイスは、第１の部分の外側表面上の１つまたは複数のカメラを含んでよい。いくつかの例では、画像取込みデバイスは、第２の部分の外側表面上の１つまたは複数のカメラを含んでよい。
【0012】
[0017] 画像取込みデバイスは、カメラの各々から画像データを取り込んでよい。たとえば、画像取込みデバイスは、第１の部分の内側表面（すなわち、第１の内側表面）上に位置決めされた第１のカメラから第１の画像データを取り込んでよく、また、第２の部分の内側表面（すなわち、第２の内側表面）上に位置決めされた第２のカメラから第２の画像データを取り込んでよい。第１のカメラおよび第２のカメラは、まとめて、ステレオカメラ（たとえば、左および右のカメラ）を確立し得る。
【0013】
[0018] 画像取込みデバイスは、第１の画像データおよび第２の画像データに基づいて、オブジェクトの深度を決定してよい。たとえば、画像取込みデバイスは、第１および第２のカメラの各視野（ＦＯＶ：field of view）中でオブジェクトを識別してよく、オブジェクトを含む関心領域（ＲＯＩ：region of interest）についての焦点値を提供するレンズ位置を選択してよい。決定された深度に基づいて、画像取込みデバイスは、第１の部分と第２の部分とを分離する角度（angle）（すなわち、１つまたは複数の結合デバイスの角度）を変更するために、１つまたは複数の結合デバイスを自動的に調整してよい。調整に応答して、角度は増加することもあり（たとえば、画像取込みデバイスを開くとき）、または、角度は減少することもある（たとえば、画像取込みデバイスを閉じるとき）。
【0014】
[0019] いくつかの例では、画像取込みデバイスは、（たとえば、画像取込みデバイスをさらに閉じるかまたはさらに開くことによって）角度を調整するよう示す視覚的なまたは可聴の標識を、画像取込みデバイスのユーザに提供する。
【0015】
[0020] いくつかの例では、画像取込みデバイスは、現在の角度を決定し、深度値（depth value）および現在の角度に基づいて角度を調整する。
【0016】
[0021] いくつかの例では、画像取込みデバイスは、カメラパラメータ（camera parameter）に基づいてオブジェクトの深度を決定する。カメラパラメータは、各カメラにつき、内因性および外因性パラメータ（intrinsic and extrinsic parameter）を含み得る。内因性パラメータおよび外因性パラメータは、事前に決定されてよく、画像取込みデバイスによって維持される（たとえば、有形の非一時的メモリ内の）データリポジトリに記憶されてよい。
【0017】
[0022] 内因性パラメータは、第１および第２のカメラの各々についての、画像平面座標から画素座標への変換を特徴付け得る。たとえば、内因性パラメータは、第１および第２のカメラの各々につき、焦点距離（focal length）、画像センサフォーマット、および主点を含んでよい。外因性パラメータは、第１または第２のカメラの各々の相対的な位置および配向を特徴付ける。たとえば、外因性パラメータは、第１および第２のカメラのうちの１つまたは複数の相対的な位置および配向をそれぞれ特徴付ける回転行列（rotation matrix）および平行移動行列（translation matrix）を含んでよい。たとえば、平行移動行列は、あるカメラの基準枠から別のカメラの基準枠への平行移動を識別し得る。たとえば、第１の平行移動行列は、第１のカメラから第２のカメラへの基準枠の平行移動（translation）を識別し得、第２の平行移動行列は、第２のカメラから第１のカメラへの基準枠の平行移動を識別し得る。回転行列は、あるカメラの基準枠から別のカメラの基準枠への回転を識別し得る。たとえば、第１の回転行列は、第１のカメラから第２のカメラへの基準枠の回転を識別し得、第２の回転行列は、第２のカメラから第１のカメラへの基準枠の回転を識別し得る。
【0018】
[0023] さらに、外因性パラメータは、第１および第２のカメラについての基線長（baseline length）を含んでよい。基線長は、第１および第２のカメラの光心間の距離を定義し得る。いくつかの例では、第１の内側表面と第２の内側表面との間の角度が大きいほど、第１のカメラと第２のカメラとの間の基線長は大きい。例として、画像取込みデバイスの第１の内側表面と第２の内側表面との間の第１の角度が、第１のカメラと第２のカメラとの間の第１の基線長を確立してよく、画像取込みデバイスの第１の内側表面と第２の内側表面との間の第２の角度が、第１のカメラと第２のカメラとの間の第２の基線長を確立してよい。たとえば第１の角度が第２の角度を超えることになる場合、確立される第１の基線長もまた、対応する第２の基線長を超えてそれよりも大きいことがある。
【0019】
[0024] 画像取込みデバイスは、回転行列、平行移動行列、および追加的または代替的に基線長に基づいて、第１のカメラからの第１の画像データを、第２のカメラからの第２の画像データと整合してよい。たとえば、第１の内側表面と第２の内側表面との間の所与の角度に対して、外因性パラメータは、第１および第２のカメラの各々についての回転行列および平行移動行列、ならびに対応する基線長を指定し得る。画像取込みデバイスは、現在の角度を決定してよく、回転行列、平行移動行列、および追加的または代替的に現在の角度に対応する基線長に基づいて、第１のカメラからの第１の画像データを、第２のカメラからの第２の画像データと整合してよい。いくつかの例では、画像取込みデバイスは、使用前の第１および第２のカメラの各々の較正中に、外因性パラメータを決定してよい。
【0020】
[0025] 画像取込みデバイスはまた、第１の画像データおよび第２の画像データの各々の中の特徴（たとえば、オブジェクト）を識別してよい。いくつかの例によれば、第１の画像データ中の、特徴（たとえば、エッジ、明るさ、色）を有する画素が、第２の画像データ中の、対応する特徴を有する画素とマッチングされる。第１および第２の画像データ中のマッチングされた画素に基づいて、画像取込みデバイスは、当技術分野で知られている任意の技法を使用して視差マップ（disparity map）（たとえば、立体深度マップ（stereoscopic depth map））を生成してよい。視差マップは、たとえば、対応する特徴の水平座標の差をエンコードし得、視差値を含み得、ここで、各視差値は、対応する画素場所におけるシーン深度（scene depth）に反比例する。
【0021】
[0026] 画像取込みデバイスは、第１のカメラおよび第２のカメラの各々の内因性パラメータに基づいて深度値を計算してよい。たとえば、画像取込みデバイスは、第１のカメラおよび第２のカメラの各々の、焦点距離、画像センサフォーマット、および主点に基づいて、深度値を決定してよい。いくつかの例では、画像取込みデバイスは、第１および第２のカメラについての回転行列に基づいて、深度値を計算してよい。いくつかの例では、画像取込みデバイスは、第１のカメラから取得された第１の画像データ内、および第２のカメラから取得された第２の画像データ内で分類された特徴に基づいて、また視差マップの一部に基づいて、深度値を計算する。画像取込みデバイスはまた、とりわけ、第１のカメラの焦点距離と、第２のカメラの焦点距離と、第１および第２のカメラの焦点距離の組合せと、対応する基線長と、視差マップの一部とに基づいて、深度値を計算してよい。
【0022】
[0027] いくつかの例では、コンピューティングデバイスは、第１の部分と第２の部分とを有する筐体を含み、第１の部分は、第２の部分に対して相対的な角度を形成する。さらに、筐体の第１の部分は第１のセンサを含んでよく、筐体の第２の部分は第２のセンサを含んでよい。コンピューティングデバイスは、筐体の第１の部分と第２の部分との間の第１の角度を決定してよく、さらに、第１の角度に基づいて、第１のセンサと第２のセンサとの間の基線長を決定してよい。さらに、コンピューティングデバイスは、第１のセンサと第２のセンサとのうちの少なくとも一方の焦点距離を決定してよい。コンピューティングデバイスは、基線長と、焦点距離と、視差マップの一部とに基づいて、深度値を生成してよい。
【0023】
[0028] さらに、画像取込みデバイスは、計算された深度値に基づいて、第１の内側表面と第２の内側表面との間の角度を調整してよい。たとえば、画像取込みデバイスは、分類された特徴に基づいてオブジェクトを識別し、前述のようにオブジェクトについての深度値を計算してよい。画像取込みデバイスは、深度値に基づいて、オブジェクトについてのオブジェクト深度（object depth）を計算してよい。さらに、画像取込みデバイスは、オブジェクト深度に基づいて、識別されたオブジェクトの画像を取り込むための第１のカメラと第２のカメラとの間の所望の基線長を決定してよい。たとえば、画像取込みデバイスは、オブジェクト深度が大きいオブジェクトほど、大きい基線長を計算し、オブジェクト深度が小さいオブジェクトほど、小さい基線長を計算してよい。いくつかの例では、画像取込みデバイスは、特定のオブジェクトについてのオブジェクト深度に対する所望の基線長のマッチングを識別する１つまたは複数のテーブルを、メモリデバイス内で維持する。たとえば、第１のテーブルは、「顔」に分類されたオブジェクトについての複数のオブジェクト深度の各々に対する所望の基線長を識別してよく、第２のテーブルは、「木」に分類されたオブジェクトについての複数のオブジェクト深度の各々に対する所望の基線長を識別してよい。
【0024】
[0029] 所望の基線長に基づいて、画像取込みデバイスは、第１の内側表面と第２の内側表面との間の角度に対する調整を決定してよい。たとえば、画像取込みデバイスは、第１のカメラと第２のカメラとの間の現在の基線長を決定してよく、現在の基線長を所望の基線長と比較して角度調整量を決定してよい。画像取込みデバイスは、決定された角度調整量に基づいて角度を調整してよい。
【0025】
[0030] いくつかの例では、角度が調整された後、画像取込みデバイスは、第１のカメラからの第３の画像データ（third image data）と、第２のカメラからの第４の画像データ（fourth image data）とを取り込み、第３の画像データおよび第４の画像データに基づいて多視点画像を生成する。たとえば、画像取込みデバイスは、第３の画像データおよび第４の画像データ中の特徴を識別し、識別された特徴に基づいて第２の視差マップを生成してよい。画像取込みデバイスは、知られている任意の技法を使用して、第３の画像データと、第４の画像データと、第２の視差マップの一部とに基づいて多視点画像を生成してよい。多視点画像は、たとえば、３次元（３Ｄ）画像を含み得る。追加の例では、多視点画像は、「高ダイナミックレンジ」画像または「非高ダイナミックレンジ」画像を含み得る。
【0026】
[0031] いくつかの例では、画像取込みデバイスは、ユーザがシーンの画像を取り込んでいる間に、角度が調整されるべきかどうかを定期的に決定してよい。たとえば、画像取込みデバイスは、多視点画像を生成するために画像データが取り込まれる前の所与の時間量まで、第１および第２のカメラの各々から画像データを定期的に取得し、本明細書に記載のように角度を調整してよい。
【0027】
[0032] いくつかの実装形態では、画像取込みデバイスは、改善された自動焦点（ＡＦ）、自動露光（ＡＥ）、自動利得（ＡＧ）、または自動ホワイトバランス（ＡＷＢ）制御のために、角度を調整した後でＲＯＩを決定してよい。たとえば、画像取込みデバイスは、本明細書に記載のように角度を調整し、被写体である特徴を（たとえば、図３の画像データおよび第４の画像データ内で）識別し、被写体の顔を含むＲＯＩを決定してよい。画像取込みデバイスは、次いで、ＲＯＩ内の画像データに基づいて、ＡＦ、ＡＥ、ＡＧ、またはＡＷＢ制御のうちの１つまたは複数を決定（たとえば、調整、適用）してよい。
【0028】
[0033] いくつかの例では、画像取込みデバイスは、角度調整に応答して生成された多視点画像に、自動化された画像取込み向上（たとえば、３Ｄ画像向上）を提供してよい。たとえば、画像取込みデバイスは、ユーザ作成画像を生成するために、フォト効果（photoeffect）を多視点画像に適用してよい。ユーザは、たとえば、画像取込みのためのフォト効果を選択してよい。フォト効果の例は、カラーシフト、セグメント化効果（たとえば、被写界深度効果、ボケ効果（Bokeh effect）、ブルースクリーニング、顔フィルタなどのオブジェクトフィルタ、拡張現実（ＡＲ）、仮想現実（ＶＲ）、および平均化効果を含む。平均化効果は、たとえば、異なる２つの画像中の画素のうちのすべてまたは選択されたグループの、カラーチャネル値を平均し得る。被写界深度効果（たとえば、ボケ効果）は、第３の画像データ中の画素および第４の画像データ中の画素のカラーチャネル値に依拠し得る。
【0029】
[0034] 図１は、例示的な画像取込みデバイス１００のブロック図である。画像取込みデバイス１００の機能は、１つもしくは複数のプロセッサ、１つもしくは複数のフィールドプログラマブルゲートアレイ（ＦＰＧＡ）、１つもしくは複数の特定用途向け集積回路（ＡＳＩＣ）、１つもしくは複数のステートマシン、デジタル回路、いずれか他の適切な回路、または任意の適切なハードウェアにおいて実装されてよい。
【0030】
[0035] この例では、画像取込みデバイス１００は少なくとも１つのプロセッサ１６０を含み、プロセッサ１６０は、対応する画像を取り込むために、カメラ光学機構およびセンサ１１５Ａとカメラ光学機構およびセンサ１１５Ｂとに動作可能に結合される（たとえば、それらと通信状態にある）。カメラ光学機構およびセンサ１１５Ａおよび１１５Ｂは、各々、画像を取り込むために１つまたは複数の画像センサと１つまたは複数のレンズとを含んでよい。カメラ光学機構およびセンサ１１５Ａは、画像取込みデバイス１００の第１の部分１１７Ａ内に配置されてよく、カメラ光学機構およびセンサ１１５Ｂは、画像取込みデバイス１００の第２の部分１１７Ｂ内に配置されてよい。カメラ光学機構およびセンサ１１５Ａおよび１１５Ｂの各々は、たとえば、飛行時間（ＴＯＦ：time-of-flight）または構造化光（たとえば、赤外線、ランダムドット投影）画像取込みシステムに基づいてよい。プロセッサ１６０はまた、ヒンジ制御１１９に動作可能に結合され、ヒンジ制御１１９は、第１の部分１１７Ａを第２の部分１１７Ｂに結合するヒンジのヒンジ角度の制御（たとえば、機械的調整）を可能にし得る。たとえば、プロセッサ１６０は、ヒンジ制御１１９を制御して、ヒンジ角度を０度と１８０度の間（０度および１８０度を含む）で調整してよい。
【0031】
[0036] プロセッサ１６０はまた、命令メモリ１３０、ワーキングメモリ１０５、入力デバイス１７０、送受信機（transceiver）１１１、折畳み可能ディスプレイ１２５、および記憶媒体１１０に動作可能に結合されてよい。入力デバイス１７０は、たとえば、キーボード、タッチパッド、スタイラス、タッチスクリーン、またはいずれか他の適切な入力デバイスであってよい。
【0032】
[0037] 画像取込みデバイス１００は、画像取込み能力を有するコンピュータ、専用カメラ、撮像および非撮像アプリケーションを実施できる多目的デバイス、またはいずれか他の適切なデバイスにおいて実装されてよい。たとえば、画像取込みデバイス１００は、モバイルフォン（たとえば、スマートフォン）、タブレット、パーソナルデジタルアシスタント、またはいずれか他の適切なデバイスなど、ポータブルパーソナルコンピューティングデバイスを含み得る。
【0033】
[0038] プロセッサ１６０はまた、１つまたは複数のプロセッサを含んでよい。たとえば、プロセッサ１６０は、１つもしくは複数の中央処理装置（ＣＰＵ）、１つもしくは複数のグラフィックスプロセッシングユニット（ＧＰＵ）、１つもしくは複数のデジタル信号プロセッサ（ＤＳＰ）、１つもしくは複数の画像信号プロセッサ（ＩＳＰ）、１つもしくは複数のデバイスプロセッサ、および／または、いずれか他の適切なプロセッサのうちの１つもしくは複数を含んでよい。プロセッサ１６０はまた、ＡＦ、ＡＧ、ＡＥ、および／またはＡＷＢを実行するために、受け取られた画像データに対して様々な画像取込み動作を実施してよい。さらに、プロセッサ１６０は、取り込まれた画像を表示するために折畳み可能ディスプレイ１２５を制御すること、またはワーキングメモリ１０５もしくは記憶媒体１１０に対して書込みもしくはデータの読取りを行うことなど、様々な管理タスクを実施してよい。たとえば、プロセッサ１６０は、各カメラにつき、内因性パラメータ（intrinsic parameter）１６７および外因性パラメータ（extrinsic parameter）１６９を記憶媒体１１０から取得してよい。記憶媒体１１０はまた、ＡＦ、ＡＥ、および／またはＡＷＢパラメータなど、画像取込み動作のための画像取込みパラメータを記憶してもよい。プロセッサ１６０は、画像取込みパラメータに基づいて、ＡＦ、ＡＥ、および／またはＡＷＢを適用してよい。
【0034】
[0039] プロセッサ１６０は、取り込まれた画像を記憶媒体１１０内に記憶してよい。たとえば、プロセッサ１６０は、カメラ光学機構およびセンサ１１５Ａ、１１５Ｂから画像センサデータ（image sensor data）１６５を取得してよく、取得された画像センサデータ１６５を記憶媒体１１０内に記憶してよい。
【0035】
[0040] いくつかの例では、プロセッサ１６０は、取り込まれた画像にフォト効果を適用してよい。たとえば、プロセッサ１６０は、取り込まれた画像に、カラーシフト、被写界深度（depth of field）（たとえば、ボケ効果）、拡張現実（ＡＲ）、仮想現実（ＶＲ）、および平均化効果を適用してよい。
【0036】
[0041] いくつかの事例では、送受信機１１１は、任意の適切な通信プロトコルを使用して、通信ネットワークを介した画像取込みデバイス１００と１つまたは複数のネットワーク接続コンピューティングシステムまたはデバイスとの間の通信を容易にし得る。これらの通信プロトコルの例は、次のものに限定されないが、符号分割多元接続（ＣＤＭＡ（登録商標））、グローバルシステムフォーモバイルコミュニケーション（ＧＳＭ（登録商標））、もしくはワイドバンド符号分割多元接続（ＷＣＤＭＡ（登録商標））などのセルラー通信プロトコル、および／または、ＩＥＥＥ８０２．１１（ＷｉＦｉ（登録商標））もしくはマイクロ波アクセスの全世界相互運用（ＷｉＭＡＸ（登録商標）：Worldwide Interoperability for Microwave Access）などのワイヤレスローカルエリアネットワークプロトコルを含む。
【0037】
[0042] プロセッサ１６０は、画像を取り込むために、カメラ光学機構およびセンサ１１５Ａ、１１５Ｂの各々を制御してよい。たとえば、プロセッサ１６０は、画像の取込みを開始して対応する画像データを取り込む（たとえば、写真を撮影する）よう、カメラ光学機構およびセンサ１１５Ａに命令してよく、プロセッサ１６０は、取り込まれた画像データをカメラ光学機構およびセンサ１１５Ａから受け取ってよい。同様に、プロセッサ１６０は、追加の画像の取込みを開始して対応する画像データを取り込むよう、カメラ光学機構およびセンサ１１５Ｂに命令してよく、プロセッサ１６０は、取り込まれた画像データをカメラ光学機構およびセンサ１１５Ｂから受け取ってよい。
【0038】
[0043] いくつかの例では、カメラ光学機構およびセンサ１１５Ａ、記憶媒体１１０、ならびにプロセッサ１６０は、折畳み可能ディスプレイ（たとえば、折畳み可能ディスプレイ１２５）の第１の内側部分（たとえば、第１の部分１１７Ａ）内に配置された第１の前面カメラから第１の画像データを取り込むための手段を提供する。いくつかの例では、カメラ光学機構およびセンサ１１５Ｂ、記憶媒体１１０、ならびにプロセッサ１６０は、折畳み可能ディスプレイ（たとえば、折畳み可能ディスプレイ１２５）の第２の内側部分（たとえば、第２の部分１１７Ｂ）内に配置された第２の前面カメラから第２の画像データを取り込むための手段を提供する。
【0039】
[0044] 命令メモリ１３０は、プロセッサ１６０によってアクセスされ（たとえば、読み取られ）実行され得る命令を記憶してよい。たとえば、命令メモリ１３０は、電気的に消去可能プログラム可能な読取り専用メモリ（ＥＥＰＲＯＭ（登録商標））などの読取り専用メモリ（ＲＯＭ）、フラッシュメモリ、取外し可能ディスク、ＣＤ－ＲＯＭ、任意の不揮発性メモリ、またはいずれか他の適切なメモリを含み得る。
【0040】
[0045] プロセッサ１６０は、ワーキングメモリ１０５に対してデータの記憶またはデータの読取りを行ってよい。たとえば、プロセッサ１６０は、命令メモリ１３０からロードされた命令など、命令のワーキングセットをワーキングメモリ１０５に記憶してよい。プロセッサ１６０はまた、ワーキングメモリ１０５を使用して、画像取込みデバイス１００の動作中に生み出される動的データを記憶してよい。ワーキングメモリ１０５は、スタティックランダムアクセスメモリ（ＳＲＡＭ）もしくはダイナミックランダムアクセスメモリ（ＤＲＡＭ）などのランダムアクセスメモリ（ＲＡＭ）、またはいずれか他の適切なメモリであってよい。
【0041】
[0046] この例では、命令メモリ１３０は、取込み制御命令１３５と、自動焦点（ＡＦ）命令１４０と、自動ホワイトバランス（ＡＷＢ）命令１４１と、自動露光（ＡＥ）命令１４２と、自動利得（ＡＧ）命令１４８と、画像処理命令１４３と、顔検出エンジン１４４と、深度決定エンジン１４６と、ヒンジ角度制御エンジン１４７と、ルーマ検出エンジン１４９と、ルーマベースのダイナミックレンジ検出エンジン１５１と、フォト効果エンジン１５３と、オペレーティングシステム命令１４５とを記憶する。命令メモリ１３０はまた、様々な画像処理およびデバイス管理タスクを実施するようにプロセッサ１６０を構成する追加の命令を含んでもよい。
【0042】
[0047] ＡＦ命令１４０は、プロセッサ１６０によって実行されたときに、カメラ光学機構およびセンサ１１５Ａまたは１１５Ｂのレンズに、対応するレンズの位置を調整させる命令を含んでよい。たとえば、プロセッサ１６０は、撮像センサのＦＯＶ内のＲＯＩからの光がセンサの平面で合焦されるように、カメラ光学機構およびセンサ１１５Ａのレンズに調整させてよい。選択されるＲＯＩは、ＡＦシステムの１つまたは複数の焦点に対応し得る。ＡＦ命令１４０は、プロセッサ１６０による実行時に、ＲＯＩからの光の焦点をセンサの平面で合わせるための最適なレンズ位置を見つけることなど、オートフォーカス動作をプロセッサ１６０に実施させる命令を含んでよい。オートフォーカスは、たとえば、位相検出オートフォーカス（ＰＤＡＦ）、コントラストオートフォーカス、またはレーザオートフォーカスを含み得る。
【0043】
[0048] ＡＷＢ命令１４１は、プロセッサ１６０によって実行されたときに、画像に適用されるべき色補正をプロセッサ１６０に決定させる命令を含んでよい。たとえば、実行されたＡＷＢ命令１４１は、カメラ光学機構およびセンサ１１５Ａまたはカメラ光学機構およびセンサ１１５Ｂが画像を取り込んだ際の照明光源の平均色温度を決定し、取り込まれた画像の色成分（たとえば、Ｒ、Ｇ、およびＢ）を、画像が表示または印刷される際の光に適合するようにスケーリングすることを、プロセッサ１６０に行わせてよい。さらに、いくつかの例では、実行されたＡＷＢ命令１４１は、画像のＲＯＩ中の照明光源をプロセッサ１６０に決定させてよい。プロセッサ１６０は、次いで、画像のＲＯＩ中の照明光源の決定された色温度に基づいて、色補正を画像に適用してよい。
【0044】
[0049] ＡＧ命令１４８は、プロセッサ１６０によって実行されたときに、画像に適用されるべき利得補正をプロセッサ１６０に決定させる命令を含んでよい。たとえば、実行されたＡＧ命令１４８は、カメラ光学機構およびセンサ１１５Ａまたはカメラ光学機構およびセンサ１１５Ｂのレンズから受け取られた信号をプロセッサ１６０に増幅させてよい。実行されたＡＧ命令１４８はまた、画素値（たとえば、デジタル利得）をプロセッサ１６０に調整させてよい。
【0045】
[0050] ＡＥ命令１４２は、プロセッサ１６０によって実行されたときに、カメラ光学機構およびセンサ１１５Ａまたはカメラ光学機構およびセンサ１１５Ｂの撮像センサなど、１つまたは複数の感知要素が画像の取込み前に光を積分する時間長を決定することをプロセッサ１６０に行わせる命令を含んでよい。たとえば、実行されたＡＥ命令１４２は、周囲光を計量し、周囲光の計量に基づいてレンズのための露光時間を選択することを、プロセッサ１６０に行わせてよい。周囲光レベルが上昇するほど、選択される露光時間は短くなり、周囲光レベルが低下するほど、選択される露光時間は長くなる。デジタル一眼レフ（ＤＳＬＲ）カメラの場合、たとえば、実行されたＡＥ命令１４２は、露光速度をプロセッサ１６０に決定させてよい。さらなる例では、実行されたＡＥ命令１４２は、カメラ光学機構およびセンサ１１５Ａまたはカメラ光学機構およびセンサ１１５Ｂのセンサの視野のＲＯＩ中の周囲光を計量することを、プロセッサ１６０に行わせてよい。
【0046】
[0051] 取込み制御命令１３５は、プロセッサ１６０によって実行されたときに、画像取込みデバイス１００のレンズ位置の調整、露光時間の設定、センサ利得の設定、および／またはホワイトバランスフィルタの構成をプロセッサ１６０に行わせる命令を含んでよい。取込み制御命令１３５はさらに、プロセッサ１６０によって実行されたときに、画像取込みデバイス１００の画像取込み機能全体を制御する命令を含んでよい。たとえば、実行された取込み制御命令１３５は、ＡＦ命令１４０をプロセッサ１６０に実行させてよく、ＡＦ命令１４０は、所望のオートフォーカス位置を達成するためのレンズまたはセンサ移動を計算し、カメラ光学機構およびセンサ１１５Ａまたはカメラ光学機構およびセンサ１１５Ｂのレンズを制御するためのレンズ制御信号を出力することを、プロセッサ１６０に行わせる。
【0047】
[0052] オペレーティングシステム命令１４５は、プロセッサ１６０によって実行されたときにオペレーティングシステムをプロセッサ１６０に実装させる命令を含んでよい。オペレーティングシステムは、ユーザアプリケーションなどのプログラムとプロセッサ１６０との間の媒介としての働きをし得る。オペレーティングシステム命令１４５は、カメラ光学機構およびセンサ１１５Ａもしくは１１５Ｂ、折畳み可能ディスプレイ１２５、または送受信機１１１などのハードウェアリソースを管理するためのデバイスドライバを含んでよい。さらに、本明細書で論じられるような実行された画像処理命令１４３のうちの１つまたは複数は、オペレーティングシステム命令１４５に含まれ得る標準的なサブルーチンまたはアプリケーションプログラミングインターフェース（ＡＰＩ）を通して間接的にハードウェアリソースと対話し得る。オペレーティングシステム命令１４５の実行された命令は、次いで、これらのハードウェア構成要素と直接に対話し得る。
【0048】
[0053] 顔検出エンジン１４４は、プロセッサ１６０によって実行されたときに、画像取込みデバイス１００の視野内の１つまたは複数の被写体を表す画像データに対して顔検出を開始することをプロセッサ１６０に行わせる命令を含んでよい。たとえば、プロセッサ１６０は、対応する被写体の１つまたは複数の顔を含む、カメラ光学機構およびセンサ１１５のレンズの視野内のＲＯＩを決定するために、顔検出エンジン１４４を実行してよい。いくつかの事例では、顔検出エンジン１４４は、プロセッサ１６０による実行時、カメラ光学機構およびセンサ１１５Ａまたはカメラ光学機構およびセンサ１１５Ｂのレンズの視野中の画像の生画像センサデータ（raw image sensor data）を取得してよい。実行された顔検出エンジン１４４はまた、顔検出を開始してよく、たとえば顔検出動作をプロセッサ１６０内でローカルに実施することによって、被写体の１つまたは複数の顔が視野中にあるかどうかを決定してよい。顔検出動作は、画像取込みデバイス１００の視野が１つまたは複数の顔を含むかどうかを決定することと、含む場合に、１つまたは複数の顔を含むＦＯＶ中の領域（たとえば、ＲＯＩ）を決定すること（たとえば、および識別すること）とのための計算を実施することを含み得るが、これに限定されない。
【0049】
[0054] 深度決定エンジン１４６は、プロセッサ１６０によって実行されたときに、カメラ光学機構およびセンサ１１５Ａまたはカメラ光学機構およびセンサ１１５Ｂを用いて取り込まれた画像データに基づいて深度を決定することをプロセッサ１６０に行わせる命令を含んでよい。たとえば、プロセッサ１６０は、カメラ光学機構およびセンサ１１５Ａを用いて取り込まれた第１の画像データと、カメラ光学機構およびセンサ１１５Ｂを用いて取り込まれた第２の画像データとの中の特徴を識別するために、深度決定エンジン１４６を実行してよい。さらに、また深度決定エンジン１４６の実行に基づいて、プロセッサ１６０は、当技術分野で知られている任意の技法を使用して、視差マップを生成する。視差マップは、識別された各特徴に対応する画素場所など、対応する各画素場所におけるシーン深度を識別する深度値を含み得る。
【0050】
[0055] 画像処理命令１４３は、実行されたときに、次のものに限定されないがデモザイキング、ノイズ低減、漏話低減、色処理、ガンマ調整、画像フィルタリング（たとえば、空間画像フィルタリング）、レンズアーチファクトもしくは欠陥補正、画像鮮鋭化、または他の画像処理機能など、取り込まれた画像データに関係する１つまたは複数の画像処理動作を実施することをプロセッサ１６０に行わせる命令を含んでよい。さらに、実行された画像処理命令１４３は、カメラ光学機構およびセンサ１１５Ａを用いて取り込まれた第１の画像と、カメラ光学機構およびセンサ１１５Ｂを用いて取り込まれた第２の画像と、生成された深度値とに基づいて、３Ｄ画像などの多視点画像を生成してよい。
【0051】
[0056] ヒンジ角度制御エンジン１４７は、プロセッサ１６０によって実行されたときに、画像取込みデバイス１００の第１の部分１１７Ａを画像取込みデバイス１００の第２の部分１１７Ｂに接続するヒンジアセンブリのヒンジ角度など、ヒンジ角度を調整することをプロセッサ１６０に行わせる命令を含んでよい。たとえば、プロセッサ１６０は、ヒンジ角度制御エンジン１４７を実行してヒンジ制御１１９を制御してよく、ヒンジ制御１１９は、第１の部分１１７Ａと第２の部分１１７Ｂとに動作可能に結合されたヒンジアセンブリを含んでよい。プロセッサ１６０は、たとえばヒンジアセンブリを開くかまたは閉じてそれによりヒンジ角度をそれぞれ増加または減少させるために、ヒンジ制御１１９にコマンドを発行してよい。
【0052】
[0057] ルーマ検出エンジン１４９は、プロセッサ１６０によって実行されたときに、取り込まれた画像データの画素の画素値と、検出されたＲＯＩ（たとえば、顔検出エンジン１４４を実行するプロセッサ１６０によって検出されたＲＯＩ）内の画素の画素値とに基づいて、ルミナンス値などの値を決定することをプロセッサ１６０に行わせる命令を含んでよい。たとえば、ルーマ検出エンジン１４９は、プロセッサ１６０による実行時に、カメラ光学機構およびセンサ１１５Ａまたはカメラ光学機構およびセンサ１１５Ｂのレンズの視野内の画像データなど、取り込まれた画像のすべての画素のルミナンス画素値に基づいて第１の値を決定してよい。実行されたルーマ検出エンジン１４９はまた、被写体の顔を含む検出されたＲＯＩ内のすべての画素のルミナンス画素値に基づいて第２の値を決定することをプロセッサ１６０に行わせてよい。いくつかの例では、第１の値および第２の値のうちの１つまたは複数は、対応する画素値の平均ルミナンス画素値を含む。他の例では、第１の値および第２の値のうちの１つまたは複数は、対応する画素値の中央ルミナンス画素値を含む。他の例では、第１の値および第２の値は、次のことに限定されないが総平方和を決定することなど、任意の適切な数学的または統計的プロセスまたは技法に基づいて決定されてよい。
【0053】
[0058] ルーマベースのダイナミックレンジ検出エンジン１５１は、プロセッサ１６０によって実行されたときに、実行されたルーマ検出エンジン１４９によって決定された値（たとえば、第１の値および第２の値）に基づいて、取り込まれた画像データ（たとえば、画像センサデータ）が「高ダイナミックレンジ」シーンを識別するかそれとも「非高ダイナミックレンジ」シーンを識別するかを決定することをプロセッサ１６０に行わせる命令を含んでよい。たとえば、またプロセッサ１６０による実行時、実行されたルーマベースのダイナミックレンジ検出エンジン１５１は、第１の値を第２の値と比較し、比較に基づいて、取り込まれた画像データが「高ダイナミックレンジ」シーンを識別するかそれとも「非高ダイナミックレンジ」シーンを識別するかを決定してよい。いくつかの事例では、実行されたルーマベースのダイナミックレンジ検出エンジン１５１は、第１の値と第２の値との差を決定してよく、差がしきい値量（たとえば、所定のしきい値量）よりも大きかった場合は、実行されたルーマベースのダイナミックレンジ検出エンジン１５１は、取り込まれた画像データが「高ダイナミックレンジ」シーンを識別すると決定してよい。代替として、差がしきい値量と等価であったかまたはそれよりも低かった場合は、実行されたルーマベースのダイナミックレンジ検出エンジン１５１は、取り込まれた画像データが「非高ダイナミックレンジ」シーンを識別すると決定してよい。他の事例では、実行されたルーマベースのダイナミックレンジ検出エンジン１５１は、任意の適切な数学的または統計的プロセスまたは技法を第１の値および第２の値に適用することに基づいて、取り込まれた画像データが「高ダイナミックレンジ」シーンを識別するかそれとも「非高ダイナミックレンジ」シーンを識別するかを決定してよい。
【0054】
[0059] フォト効果エンジン１５３は、プロセッサ１６０によって実行されたときに、カメラ光学機構およびセンサ１１５Ａまたはカメラ光学機構およびセンサ１１５Ｂによって取り込まれた画像データに１つまたは複数のフォト効果を適用することをプロセッサ１６０に行わせる命令を含んでよい。フォト効果の例は、カラーシフト、被写界深度（たとえば、ボケ効果）、ＡＲ、ＶＲ、および平均化効果を含む。いくつかの例では、実行されたフォト効果エンジン１５３は、実行された画像処理命令１４３によって生成された多視点画像に１つまたは複数のフォト効果を適用する。
【0055】
[0060] 図１ではプロセッサ１６０が画像取込みデバイス１００内に位置するが、いくつかの例では、プロセッサ１６０は、１つまたは複数のクラウド分散型プロセッサを含み得る。たとえば、プロセッサ１６０に関して本明細書で記述される機能のうちの１つまたは複数は、対応するクラウドベースのサーバ内の１つまたは複数のクラウドプロセッサなど、１つまたは複数のリモートプロセッサによって遂行（たとえば、実施）されてよい。クラウドプロセッサは、ネットワークを介してプロセッサ１６０と通信してよく、プロセッサ１６０は、送受信機１１１を介してネットワークに接続する。クラウドプロセッサの各々は、非一時的クラウド記憶媒体（non-transitory cloud storage media）に結合されてよく、この非一時的クラウド記憶媒体は、対応するクラウドプロセッサと同じ場所に配置されることもあり、または対応するクラウドプロセッサからリモートにあることもある。ネットワークは、任意のパーソナルエリアネットワーク（ＰＡＮ）、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、またはインターネットであってよい。
【0056】
[0061] 図２は、図１の画像取込みデバイス１００の例示的な構成要素を示す図である。図示のように、プロセッサ１６０は、カメラ光学機構およびセンサ１１５Ａと、カメラ光学機構およびセンサ１１５Ｂとの各々に、通信可能に結合される。たとえば、プロセッサ１６０は、カメラ光学機構およびセンサ１１５Ａに第１の画像データ２０３Ａを取り込ませるために、画像取込みコマンド２０１Ａを提供してよい。同様に、プロセッサ１６０は、カメラ光学機構およびセンサ１１５Ｂに第２の画像データ２０３Ｂを取り込ませるために、画像取込みコマンド２０１Ｂを提供してよい。カメラ光学機構およびセンサ１１５Ａは、画像取込みデバイス１００の第１の部分１１７Ａ内に配置されてよく（たとえば、第１の部分１１７Ａ上に位置決めされてよく）、カメラ光学機構およびセンサ１１５Ｂは、画像取込みデバイス１００の第２の部分１１７Ｂ内に配置されてよい。第１の部分１１７Ａは、折畳み可能ディスプレイ（たとえば、折畳み可能ディスプレイ１２５）の第１の内側表面（たとえば、ユーザに面する表面）を含んでよく、第２の部分１１７Ｂは、折畳み可能ディスプレイの第２の内側表面を含んでよい。画像取込みデバイス１００は、画像取込みデバイスの第１の部分１１７Ａを第２の部分１１７Ｂから分離する中央部に沿って、折畳み可能であってよい。
【0057】
[0062] いくつかの例では、画像取込みデバイス１００は、タイマ２１２を含んでよい。タイマ２１２は、いくつかの例では、実行可能タイマであってよい。プロセッサ１６０は、タイマ２１２からタイムスタンプデータ２１３を受け取ってよい。プロセッサ１６０は、タイムスタンプを、カメラ光学機構およびセンサ１１５Ａとカメラ光学機構およびセンサ１１５Ｂとのいずれかから取り込まれた画像データに関連付けてよい。たとえば、カメラ光学機構およびセンサ１１５Ａから第１の画像データ２０３Ａを受け取ると、プロセッサ１６０は、タイムスタンプをタイマ２１２に要求してよい（たとえば、タイマ２１２から読み取ってよい）。プロセッサ１６０は、タイムスタンプを識別するタイムスタンプデータ２１３を取得してよく、タイムスタンプを第１の画像データ２０３Ａに関連付けてよい。たとえば、プロセッサ１６０は、第１の画像データ２０３Ａに関連するメタデータとしてタイムスタンプを含めてよい。同様に、カメラ光学機構およびセンサ１１５Ｂから第２の画像データ２０３Ｂを受け取ると、プロセッサ１６０は、タイマ２１２にタイムスタンプデータ２１３を要求してこれを取得してよく、取得されたタイムスタンプを第２の画像データ２０３Ｂに関連付けてよい。
【0058】
[0063] さらに、プロセッサ１６０は、ヒンジ制御１１９に動作可能に結合される。この例では、ヒンジ制御１１９は、モータ（motor）２０８と、位置センサ（position sensor）２１０と、ヒンジアセンブリ２０６とを含む。ヒンジアセンブリ２０６は、画像取込みデバイス１００の第１の部分１１７Ａを画像取込みデバイス１００の第２の部分１１７Ｂに接続する１つまたは複数のヒンジを含んでよい。モータ２０８は、ヒンジアセンブリ２０６に動作可能に結合され、１つまたは複数のヒンジを調整する（たとえば、開くかまたは閉じる）ように動作可能である。たとえば、プロセッサ１６０は、モータコマンド２２５をモータ２０８に提供してよい。それに応答して、モータ２０８は、１つまたは複数のヒンジを調整してそれにより第１の部分１１７Ａと第２の部分１１７Ｂとの間のヒンジ角度を増加または減少させることを、ヒンジアセンブリ２０６に行わせてよい。たとえば、モータ２０８は、１つまたは複数のヒンジを開くために、ある方向に（たとえば、時計回りに）回転してよく、１つまたは複数のヒンジを閉じるために、別の方向に（たとえば、反時計回りに）回転してよい。
【0059】
[0064] 加えて、プロセッサ１６０は、位置センサ２１０から位置データ（position data）２２７を受け取ってよく、位置データ２２７は、ヒンジアセンブリ２０６の１つまたは複数のヒンジのヒンジ角度を識別する。いくつかの例では、ヒンジ角度を調整するために、プロセッサ１６０は、位置データ２２７を取得して第１のヒンジ角度を決定する。ヒンジ角度を第２のヒンジ角度に調整するために、プロセッサ１６０は、第２のヒンジ角度を第１のヒンジ角度と比較してよい。比較に基づいて、プロセッサ１６０は、ヒンジ角度を調整するためのモータコマンド２２５を生成し提供してよい。たとえば、プロセッサ１６０は、第２のヒンジ角度と第１のヒンジ角度との差を決定してよい。プロセッサ１６０は、次いで、決定された差を識別するモータコマンド２２５を生成してよく、モータコマンド２２５をモータ２０８に提供する。
【0060】
[0065] いくつかの例では、画像取込みデバイス１００は、入力デバイス１７０を介して受け取られたユーザ入力などのユーザ入力を受け取ることに基づいて、ヒンジ角度を調整してよい。たとえば、画像取込みデバイス１００は、ユーザがユーザ入力を提供するのを可能にするグラフィカルユーザインターフェース（ＧＵＩ）を、（たとえば、折畳み可能ディスプレイ１２５を介して）表示してよい。ユーザ入力に基づいて、プロセッサ１６０は、モータコマンド２２５を生成し、モータコマンド２２５をモータ２０８に提供してヒンジ角度を調整する。いくつかの例では、ＧＵＩは、画像効果（たとえば、シーンの最大化、多視点合成のための種々の機能、ボケなど）を最適化するためにヒンジ角度を調整する（たとえば、開くかまたは閉じる）かどうかについて、ユーザに通知する。たとえば、画像取込みデバイス１００は、本明細書に記載のように、取り込まれた画像データ内のオブジェクトについてのオブジェクト深度を決定してよい。決定されたオブジェクト深度に基づいて、画像取込みデバイス１００は、画像効果を最適化すべくヒンジ角度を調整する（たとえば、開くかまたは閉じる）ための入力を提供するよう、１つまたは複数のＧＵＩ要素を介してユーザに通知してよい。いくつかの例では、画像取込みデバイス１００は、調整された角度に基づいて、折畳み可能ディスプレイ１２５などのディスプレイ上にＧＵＩ要素を出力する。
【0061】
[0066] 図３Ａ、３Ｂ、３Ｃ、および３Ｄは、カメラ光学機構およびセンサ１１５Ａと、カメラ光学機構およびセンサ１１５Ｂとの各々の例示的なカメラ構成を示す。たとえば、図３Ａは、カメラ光学機構およびセンサ１１５Ａについての単一のカメラ３０２と、カメラ光学機構およびセンサ１１５Ｂについての単一のカメラ３０４とを示す。図３Ｂは、第１のカメラ３０２Ａと第２のカメラ３０２Ｂとを有するカメラ光学機構およびセンサ１１５Ａ、ならびに、第１のカメラ３０４Ａと第２のカメラ３０４Ｂとを有するカメラ光学機構およびセンサ１１５Ｂを示す。カメラ３０２Ａと３０２Ｂと、ならびにカメラ３０４Ａと３０４Ｂとは水平に示されているが、これらは、垂直にまたは任意の適切な構成で位置決めされることが可能である。
【0062】
[0067] さらに、図３Ｃは、第１のカメラ３０２Ａと第２のカメラ３０２Ｂと第３のカメラ３０２Ｃとを有するカメラ光学機構およびセンサ１１５Ａを示す。カメラ光学機構およびセンサ１１５Ｂは、第１のカメラ３０４Ａと第２のカメラ３０４Ｂと第３のカメラ３０４Ｃとを含む。カメラ３０２Ａ、３０２Ｂ、３０２Ｃ、および、カメラ３０４Ａ、３０４Ｂ、３０４Ｃは垂直に示されているが、これらは、水平にまたは任意の適切な構成で位置決めされることが可能である。たとえば、図３Ｄは、カメラ光学機構およびセンサ１１５Ａのカメラ３０２Ａ、３０２Ｂ、３０２Ｃを「Ｙ」隊形（たとえば、逆三角形隊形）で示している。図３Ｄはまた、カメラ光学機構およびセンサ１１５Ｂのカメラ３０４Ａ、３０４Ｂ、３０４Ｃを同様の「Ｙ」隊形で示している。
【0063】
[0068] 図４Ａ、４Ｂ、および４Ｃは、画像取込みデバイス１００と折畳み可能ディスプレイ１２５とを含む折畳み可能デバイス４００を示す。折畳み可能デバイス４００は、たとえば、折畳み可能なスマートフォンまたはタブレットであり得る。折畳み可能デバイス４００は、第１の部分４０１と第２の部分４０３とを有する筐体を含んでよい。第１の部分４０１は、第２の部分４０３に対して相対的に折り重なることができる。第１の部分４０１および第２の部分４０３の各々は、１つまたは複数のディスプレイを含んでよい。たとえば、図示のように、折畳み可能ディスプレイ１２５は、第１の部分４０１内に配置され得る第１のディスプレイ部分１２５Ａと、第２の部分４０３内に配置され得る第２のディスプレイ部分１２５Ｂとを含む。第１のディスプレイ部分１２５Ａおよび第２のディスプレイ部分１２５Ｂは、プロセッサ１６０（図４Ａ、４Ｂ、および４Ｃには示されていない）に通信可能に結合されてよい。筐体の第１の部分４０１および第２の部分４０３の各々はまた、カメラ光学機構およびセンサ１１５Ａ、１１５Ｂなど、１つまたは複数のカメラ光学機構およびセンサを含んでよい。カメラ光学機構およびセンサ１１５Ａおよび１１５Ｂの各々は、図３Ａ、３Ｂ、３Ｃ、および３Ｄに関して示された構成など、任意の適切な構成で配列または配置された任意の数のカメラを含んでよい。
【0064】
[0069] さらに、図４Ａに示されるように、カメラ光学機構およびセンサ１１５Ａは、折畳み可能デバイス４００の筐体の第１の部分４０１の第１の表面４０２に沿って位置決めされてよく、カメラ光学機構およびセンサ１１５Ｂは、折畳み可能デバイス４００の筐体の第２のデバイス部分４０３の第２の表面４０４に沿って位置決めされてよい。さらに、また例として、カメラ光学機構およびセンサ１１５Ａは、対応する垂直軸（たとえば、図４Ａの「Ｙ」軸）に沿って、第１のディスプレイ部分１２５Ａの上方に位置決めされてよく、カメラ光学機構およびセンサ１１５Ｂは、対応する垂直軸に沿って、第２のディスプレイ部分１２５Ｂの上方に位置決めされてよい。図４Ｂに示されるさらなる例では、カメラ光学機構およびセンサ１１５Ａは、対応する垂直軸に沿って、第１のディスプレイ部分１２５Ａの下方に位置決めされてよく、カメラ光学機構およびセンサ１１５Ｂは、対応する垂直軸に沿って、第２のディスプレイ部分１２５Ｂの下方に位置決めされてよい。
【0065】
[0070] 図４Ｃに示される追加の例では、カメラ光学機構およびセンサ１１５Ａは、第１のディスプレイ部分１２５Ａの表面の下に位置決めされてよく、カメラ光学機構およびセンサ１１５Ｂは、第２のディスプレイ部分１２５Ｂの表面の下に位置決めされてよい。カメラ光学機構およびセンサ１１５Ａとカメラ光学機構およびセンサ１１５Ｂとが各々第１のディスプレイ部分１２５Ａおよび第２のディスプレイ部分のうちのそれぞれの表面の下に位置決めされているので、光は、それぞれ第１のディスプレイ部分１２５Ａおよび第２のディスプレイ部分１２５Ｂを通過した後で対応するセンサに当たり得る。さらに、図４Ｃではカメラ光学機構およびセンサ１１５Ａとカメラ光学機構およびセンサ１１５Ｂとの各々がそれぞれ第１のディスプレイ部分１２５Ａおよび第２のディスプレイ部分１２５Ｂの上部付近に示されているが、いくつかの例では、カメラ光学機構およびセンサ１１５Ａとカメラ光学機構およびセンサ１１５Ｂとの各々は、完全にまたは部分的に、それぞれ第１のディスプレイ部分１２５Ａおよび第２のディスプレイ部分１２５Ｂの任意の追加的または代替的部分の下に配置されてもよい。
【0066】
[0071] 折畳み可能デバイス４００の中央部４５３は、４５０Ａ、４５０Ｂ、４５０Ｃなど、第１の部分４０１を第２の部分４０３に結合する１つまたは複数のヒンジを含んでよい。ヒンジ４５０Ａ、４５０Ｂ、４５０Ｃは、折畳み可能デバイス４００の開閉を可能にするなどのために、第１の部分４０１が第２の部分４０３に対して相対的に折り重なることができるようにする。例として、プロセッサ１６０は、ヒンジ４５０Ａ、４５０Ｂ、または４５０Ｃのうちの１つまたは複数に結合された対応するモータ（たとえば、モータ２０８）に対して生成され提供されたコマンドに基づいて、第１の部分４０１の第１の内側表面４０２と第２の部分４０３の第２の内側表面４０４との間に形成されるヒンジ角度４０６を調整するために、ヒンジ角度制御エンジン１４７を実行してよい。加えて、いくつかの例では、折畳み可能デバイス４００のオペレータまたはユーザが、ディスプレイ１２５の一部に提示されたグラフィカルユーザインターフェースに基づいて、ヒンジ角度４０６を手動で調整してもよい。
【0067】
[0072] 図４Ｄは、シーン４７５の画像を取り込む折畳み可能デバイス４００を示す。シーン４７５は、たとえば、複数の木４７６と風船４７７とを含む。この例では、カメラ３０２など、カメラ光学機構およびセンサ１１５Ａのカメラが、シーン４７５の風船４７７に対する焦点距離４７７Ａを有する。同様に、カメラ光学機構およびセンサ１１５Ｂのカメラが、シーン４７５の風船４７７に対する焦点距離４７７Ｂを有する。さらに、現在のヒンジ角度４０６では、カメラ光学機構およびセンサ１１５Ａのカメラは、カメラ光学機構およびセンサ１１５Ｂのカメラから基線長４５１の距離にある。ヒンジ角度４０６の複数の範囲の各々に対する基線長４５１が、画像取込みデバイス１００の較正中に決定されてよく、記憶媒体１１０などの不揮発性メモリに記憶されてよい。たとえば、画像取込みデバイス１００は、本明細書に記載のような現在のヒンジ角度４０６を決定してよく、記憶媒体１１０に記憶された、ヒンジ角度４０６を基線長４５１にマッピングするテーブルに基づいて、（たとえば、カメラ光学機構およびセンサ１１５Ａのカメラからカメラ光学機構およびセンサ１１５Ｂのカメラまでの）対応する基線長４５１を決定してよい。
【0068】
[0073] プロセッサ１６０は、取込み制御命令１３５を実行して、カメラ光学機構およびセンサ１１５Ａからシーン４７５の第１の画像データを取り込み、カメラ光学機構およびセンサ１１５Ｂからシーン４７５の第２の画像データを取り込んでよい。さらに、プロセッサ１６０は、本明細書に記載のような深度決定エンジン１４６を実行して、風船４７７など、シーン４７５の特徴を識別し、第１の画像データおよび第２の画像データに基づいて視差マップを決定してよい。視差（disparity）は、第１の画像データおよび第２の画像データの対応する画素に関連する深度値を識別し得る。たとえば、視差マップは、基線長４５１から風船４７７までの深度４５２に対応する深度値を含み得る。
【0069】
[0074] プロセッサ１６０は、次いで、カメラの各々に対応する外因性および内因性パラメータと、視差マップとに基づいて、ヒンジ角度４０６を調整してよい。プロセッサ１６０は、カメラ光学機構およびセンサ１１５Ａを用いて取り込まれた画像データを、カメラ光学機構およびセンサ１１５Ｂを用いて取り込まれた画像データと整合するように、ヒンジ角度４０６を調整してよい。たとえば、ヒンジ角度４０６を調整した後、プロセッサ１６０は、取込み制御命令１３５を実行して、カメラ光学機構およびセンサ１１５Ａからシーン４７５の第３の画像データを取り込み、カメラ光学機構およびセンサ１１５Ｂからシーン４７５の第４の画像データを取り込んでよい。第３の画像データは、たとえば第２の画像データに対する第１の画像データの整合よりも、第４の画像データにより整合され得る。プロセッサ１６０は、深度決定エンジン１４６を実行して、第３の画像データおよび第４の画像データに基づいて第２の視差マップを生成してよい。
【0070】
[0075] プロセッサ１６０は、画像処理命令１４３を実行して、第３の画像データ、第４の画像データ、および第２の視差マップに基づいて３Ｄ画像などの多視点画像を生成してよい。いくつかの例では、プロセッサ１６０は、顔検出エンジン１４４を実行して、生成された多視点画像内で被写体の顔を識別してよい。
【0071】
[0076] いくつかの例では、プロセッサ１６０は、フォト効果エンジン１５３を実行して、生成された多視点画像に１つまたは複数のフォト効果を適用してよい。たとえば、実行されたフォト効果エンジン１５３は、カラーシフト、被写界深度（たとえば、ボケ効果）、ＡＲ、ＶＲ、平均化効果、またはいずれか他の画像取込み向上を多視点画像に適用してよい。
【0072】
[0077] 図５は、一実装形態による、調整されたヒンジ角度に基づいて画像を取り込むための例示的なプロセス５００のフローチャートである。プロセス５００は、図１の画像取込みデバイス１００のプロセッサ１６０など、画像取込みデバイスにおいてローカルに命令を実行する１つまたは複数のプロセッサによって実施されてよい。したがって、プロセス５００の様々な動作は、画像取込みデバイス１００の記憶媒体１１０など、１つまたは複数のコンピューティングプラットフォームの記憶媒体に保持された実行可能命令によって表され得る。
【0073】
[0078] ブロック５０２を参照すると、画像取込みデバイス１００は、カメラ光学機構およびセンサ１１５Ａからの画像データなど、第１のセンサからの第１の画像データを取得してよい。第１のセンサは、折畳み可能ディスプレイの第１の内表面上に位置決めされてよい。たとえば、カメラ光学機構およびセンサ１１５Ａは、折畳み可能ディスプレイ１２５の第１のディスプレイ部分１２５Ａの表面上に位置決めされてよい。ブロック５０４で、画像取込みデバイス１００は、カメラ光学機構およびセンサ１１５Ｂからの画像データなど、第２の画像センサからの第２の画像データを取得してよい。第２のセンサは、折畳み可能ディスプレイの第２の内表面上に位置決めされている。たとえば、カメラ光学機構およびセンサ１１５Ｂは、折畳み可能ディスプレイ１２５の第２のディスプレイ部分１２５Ｂの表面上に位置決めされてよい。
【0074】
[0079] ブロック５０６で、画像取込みデバイス１００は、第１の画像データおよび第２の画像データに基づいてオブジェクトの深度を決定してよい。たとえば、また本明細書に記載のように、画像取込みデバイス１００は、第１の画像データおよび第２の画像データの各々の中の特徴（たとえば、風船４７７）を識別してよい。いくつかの例によれば、画像取込みデバイス１００は、第１の画像データ中の重要なアイテムを有する画素を、第２の画像データ中の対応する重要なアイテムを有する画素とマッチングする。画像取込みデバイス１００は、次いで、当技術分野で知られている任意の技法を使用して視差マップを生成する。視差マップは、対応する各画素場所におけるシーン深度を示し得る。画像取込みデバイス１００は、各カメラの焦点距離（たとえば、４７７Ａ）と、基線長（たとえば、基線長４５１）と、視差マップとに基づいて、深度値を計算してよい。
【0075】
[0080] ブロック５０８に進み、画像取込みデバイス１００は、決定された深度に基づいて、第１の内表面を第２の内表面に結合するヒンジのヒンジ角度を調整する。たとえば、画像取込みデバイス１００は、決定された深度に基づいて、図４Ａのヒンジ角度４０６などのヒンジ角度を増加または減少させてよい。ブロック５１０で、画像取込みデバイス１００は、調整に応答して画像取込み動作を実施する。たとえば、画像取込みデバイス１００は、第１のセンサからの第３の画像データと、第２のセンサからの第４の画像データとを取得してよい。画像取込みデバイス１００は、第３の画像データおよび第４の画像データ内の対応する特徴を識別し、識別された特徴に基づいて第２の視差マップを生成してよい。画像取込みデバイス１００は、次いで、第３の画像データ、第４の画像データ、および第２の視差マップに基づいて、多視点画像を生成してよい。
【0076】
[0081] 図６は、一実装形態による、画像取込み動作を実施するための例示的なプロセス６００のフローチャートである。プロセス６００は、図１の画像取込みデバイス１００のプロセッサ１６０など、画像取込みデバイスにおいてローカルに命令を実行する１つまたは複数のプロセッサによって実施されてよい。したがって、プロセス６００の様々な動作は、画像取込みデバイス１００の記憶媒体１１０など、１つまたは複数のコンピューティングプラットフォームの記憶媒体に保持された実行可能命令によって表され得る。
【0077】
[0082] ブロック６０２を参照すると、画像取込みデバイス１００は、ヒンジ４５０Ａなどのヒンジの、ヒンジ角度４０６などのヒンジ角度を決定してよい。ヒンジは、折畳み可能デバイス（たとえば、折畳み可能デバイス４００）の、第１のセンサ（たとえば、カメラ光学機構およびセンサ１１５Ａ）を有する第１の内表面（たとえば、第１の内側表面４０２）を、折畳み可能デバイスの、第２のセンサ（たとえば、カメラ光学機構およびセンサ１１５Ｂ）を有する第２の内表面（たとえば、第２の内側表面４０４）に結合する。たとえば、画像取込みデバイス１００は、たとえばヒンジ角度を決定するために位置センサ２１０から位置データ２２７を取得してよい。
【0078】
[0083] ブロック６０４で、画像取込みデバイス１００は、ヒンジ角度に基づいて、第１のセンサおよび第２のセンサの各々に対応するパラメータの値を決定してよい。たとえば、記憶媒体１１０は、センサの各々について内因性パラメータ１６７と外因性パラメータ１６９とを記憶してよい。さらに、内因性パラメータ１６７および外因性パラメータ１６９は、複数のヒンジ範囲角度についてのパラメータを含んでよい。たとえば、内因性パラメータ１６７および外因性パラメータ１６９の第１のセットは、ヒンジ角度の第１の範囲（たとえば、０度から５度まで）に対応してよく、内因性パラメータ１６７および外因性パラメータ１６９の第２のセットは、ヒンジ角度の第２の範囲（たとえば、５度から１０度まで）に対応してよく、以下同様である。いくつかの例では、各ヒンジ角度が、対応する内因性および外因性パラメータを有する。画像取込みデバイス１００は、第１のセンサおよび第２のセンサの各々につき、決定されたヒンジ角度に対応する内因性パラメータ１６７および外因性パラメータ１６９を取得してよい。
【0079】
[0084] ブロック６０６に進み、画像取込みデバイス１００は、第１のセンサからの第１の画像データと、第２のセンサからの第２の画像データとを取得してよい。たとえば、画像取込みデバイス１００は、カメラ光学機構およびセンサ１１５Ａからの画像データ２０３Ａと、カメラ光学機構およびセンサ１１５Ｂからの画像データ２０３Ｂとを取得してよい。ブロック６０８で、画像取込みデバイス１００は、第１の画像データ、第２の画像データ、およびパラメータに基づいて、オブジェクトの視差（disparity）を決定してよい。たとえば、画像取込みデバイス１００は、本明細書に記載のように、第１の画像データおよび第２の画像データ内のオブジェクトを識別してよく、各カメラに対応する外因性および内因性パラメータに基づいて、オブジェクトについての視差値を含む視差マップを生成してよい。画像取込みデバイス１００は、知られている任意の技法を視差値に適用して、オブジェクトの視差を決定してよい。たとえば、画像取込みデバイス１００は、視差値の平均を決定して、オブジェクトについての視差を決定してよい。
【0080】
[0085] ブロック６１０で、画像取込みデバイス１００は、決定された視差がしきい値未満であるかどうかを決定してよい。たとえば、しきい値視差は、所定のしきい値を含んでよく、画像取込みデバイス１００は、この所定のしきい値を記憶媒体１１０内で維持してよい。視差がしきい値未満でなかった場合は、方法はブロック６１２に進み、画像取込みデバイス１００はヒンジ角度を調整してよい。たとえば、画像取込みデバイス１００は、モータコマンド２２５をモータ２０８に提供して、ヒンジアセンブリ２０６のヒンジ（たとえば、４５０Ａ）のヒンジ角度（たとえば、ヒンジ角度４０６）を調整してよい。方法６００は、次いで、ブロック６０２に戻る。
【0081】
[0086] 再びブロック６１０を参照するが、決定された視差がしきい値視差未満であった場合は、方法はブロック６１４に進み、画像取込みデバイス１００は、第１の画像センサおよび第２の画像センサを使用して画像取込み動作を実施する。たとえば、画像取込みデバイス１００は、第１のセンサからの第３の画像データと、第２のセンサからの第４の画像データとを取得してよい。画像取込みデバイス１００は、本明細書に記載の任意のプロセスを使用して、第３の画像データおよび第４の画像データ（ならびに、いくつかの例では、対応するカメラパラメータ）に基づいて視差マップを決定してよく、第３の画像データ、第４の画像データ、および視差マップに基づいて多視点画像を生成してよい。
【0082】
[0087] 図７は、一実装形態による、ユーザ作成画像を生成するための例示的なプロセス７００のフローチャートである。プロセス７００は、図１の画像取込みデバイス１００のプロセッサ１６０など、画像取込みデバイスにおいてローカルに命令を実行する１つまたは複数のプロセッサによって実施されてよい。したがって、プロセス７００の様々な動作は、画像取込みデバイス１００の記憶媒体１１０など、１つまたは複数のコンピューティングプラットフォームの記憶媒体に保持された実行可能命令によって表され得る。
【0083】
[0088] ブロック７０２で、画像取込みデバイス１００は、シーンの画像を取り込むための入力を受け取ってよい。たとえば、ユーザが、シーン（たとえば、シーン４７５）の画像を取り込む（たとえば、写真を撮影する）ための入力を（たとえば、Ｉ／Ｏ１７０を介して）提供してよい。ブロック７０４で、入力に応答して、画像取込みデバイス１００は、折畳み可能ディスプレイの第１の内表面内に位置決めされた第１のセンサから、第１の画像データを取得する。画像取込みデバイスはまた、折畳み可能ディスプレイの第２の内表面内に位置決めされた第２のセンサから、第２の画像データを取得する。たとえば、カメラ光学機構およびセンサ１１５Ａが、ディスプレイ１２５の第１のディスプレイ部分１２５Ａ内に位置決めされていてよく、カメラ光学機構およびセンサ１１５Ｂが、ディスプレイ１２５の第２のディスプレイ部分１２５Ｂ内に位置決めされていてよい。
【0084】
[0089] ブロック７０６に進み、画像取込みデバイス１００は、第１の画像データおよび第２の画像データに基づいて、被写体の顔を検出してよい。たとえば、画像取込みデバイス１００は、第１の画像データおよび第２の画像データのＲＯＩ内で被写体の顔を検出してよい。さらに、ブロック７０８で、画像取込みデバイス１００は、検出された顔に基づいてヒンジ角度を調整してよい。ヒンジ角度（たとえば、ヒンジ角度４０６）は、折畳み可能ディスプレイの第１の内表面を、折畳み可能ディスプレイの第２の内表面に結合する。たとえば、画像取込みデバイス１００は、顔についての視差値を決定してよく、第１のセンサの焦点距離と、第１のセンサと第２のセンサとの間の基線長と、視差値とに基づいて、顔についての深度値を計算してよい。画像取込みデバイスは、次いで、深度値に基づいてヒンジ角度を調整してよい。
【0085】
[0090] ブロック７１０で、画像取込みデバイス１００は、ヒンジ角度調整に応答して、第１のセンサおよび第２のセンサを使用して画像を取り込んでよい。たとえば、画像取込みデバイス１００は、第１のセンサからの第３の画像データと、第４のセンサからの第４の画像データとを取得してよい。画像取込みデバイス１００は、本明細書に記載のように、第３の画像データおよび第４の画像データに基づいて視差マップを決定してよく、視差マップ、第３の画像データ、および第４の画像データに基づいて、多視点画像を生成してよい。
【0086】
[0091] ブロック７１２に進み、画像取込みデバイス１００は、取り込まれた画像にフォト効果を適用して、ユーザ作成画像を生成してよい。たとえば、画像取込みデバイス１００は、ボケ効果など、ユーザによって選択された任意のフォト効果を多視点画像に適用して、ユーザ作成画像を生成してよい。ブロック７１４で、画像取込みデバイス１００は、ユーザ作成画像を、記憶媒体１１０など、対応する有形の非一時的メモリ内に記憶してよい。
【0087】
[0092] 以下の番号付き条項に、実装例がさらに記載される。
【0088】
１．第１の筐体部分と第２の筐体部分とを備える筐体と、
命令を記憶した非一時的機械可読記憶媒体と、
前記非一時的機械可読記憶媒体に結合された少なくとも１つのプロセッサと
を備える画像取込みデバイスであって、前記少なくとも１つのプロセッサが、
前記筐体の前記第１の筐体部分に結合された第１のセンサから第１の画像データを取得することと、
前記筐体の前記第２の筐体部分に結合された第２のセンサから第２の画像データを取得することと、
前記第１の画像データおよび前記第２の画像データに基づいてオブジェクトの深度を決定することと、
前記深度に基づいて前記第１の筐体部分と前記第２の筐体部分との間の調整された角度を出力することと、
前記調整された角度に基づいて画像取込み動作を実施することと
を行うために前記命令を実行するように構成された、画像取込みデバイス。
命令を記憶した非一時的機械可読記憶媒体と、
前記非一時的機械可読記憶媒体に結合された少なくとも１つのプロセッサと
を備える画像取込みデバイスであって、前記少なくとも１つのプロセッサが、
前記筐体の前記第１の筐体部分に結合された第１のセンサから第１の画像データを取得することと、
前記筐体の前記第２の筐体部分に結合された第２のセンサから第２の画像データを取得することと、
前記第１の画像データおよび前記第２の画像データに基づいてオブジェクトの深度を決定することと、
前記深度に基づいて前記第１の筐体部分と前記第２の筐体部分との間の調整された角度を出力することと、
前記調整された角度に基づいて画像取込み動作を実施することと
を行うために前記命令を実行するように構成された、画像取込みデバイス。
【0089】
２．前記少なくとも１つのプロセッサが、
前記調整された角度の前記出力に基づいて、前記第１のセンサからの第３の画像データと前記第２のセンサからの第４の画像データとを取得することと、
前記第３のセンサデータおよび前記第４のセンサデータに基づいて多視点画像を生成することと
を行うために前記命令を実行するようにさらに構成された、条項１の画像取込みデバイス。
前記調整された角度の前記出力に基づいて、前記第１のセンサからの第３の画像データと前記第２のセンサからの第４の画像データとを取得することと、
前記第３のセンサデータおよび前記第４のセンサデータに基づいて多視点画像を生成することと
を行うために前記命令を実行するようにさらに構成された、条項１の画像取込みデバイス。
【0090】
３．前記少なくとも１つのプロセッサが、
前記多視点画像にフォト効果を適用することに基づいてユーザ作成画像を生成することと、
前記ユーザ作成画像を前記非一時的機械可読記憶媒体に記憶することと
を行うために前記命令を実行するようにさらに構成された、条項２の画像取込みデバイス。
前記多視点画像にフォト効果を適用することに基づいてユーザ作成画像を生成することと、
前記ユーザ作成画像を前記非一時的機械可読記憶媒体に記憶することと
を行うために前記命令を実行するようにさらに構成された、条項２の画像取込みデバイス。
【0091】
４．前記少なくとも１つのプロセッサが、
前記多視点画像をセグメント化する（segment）ことと、
前記セグメント化された多視点画像に基づいて前記フォト効果を適用することと
を行うために前記命令を実行するようにさらに構成された、条項３の画像取込みデバイス。
前記多視点画像をセグメント化する（segment）ことと、
前記セグメント化された多視点画像に基づいて前記フォト効果を適用することと
を行うために前記命令を実行するようにさらに構成された、条項３の画像取込みデバイス。
【0092】
５．前記フォト効果がボケ効果を備える、条項４の画像取込みデバイス。
【0093】
６．前記オブジェクトが顔を備え、
前記少なくとも１つのプロセッサが、前記顔を検出するために前記命令を実行するようにさらに構成された、条項１～５のいずれかの画像取込みデバイス。
前記少なくとも１つのプロセッサが、前記顔を検出するために前記命令を実行するようにさらに構成された、条項１～５のいずれかの画像取込みデバイス。
【0094】
７．前記少なくとも１つのプロセッサが、
前記第１の筐体部分と前記第２の筐体部分との間の角度を決定することと、
前記角度に基づいて前記オブジェクトの前記深度を決定することと
を行うために前記命令を実行するようにさらに構成された、条項１～６のいずれかの画像取込みデバイス。
前記第１の筐体部分と前記第２の筐体部分との間の角度を決定することと、
前記角度に基づいて前記オブジェクトの前記深度を決定することと
を行うために前記命令を実行するようにさらに構成された、条項１～６のいずれかの画像取込みデバイス。
【0095】
８．前記少なくとも１つのプロセッサが、前記第１の画像データおよび前記第２の画像データに基づいて視差データ（disparity data）を生成するために前記命令を実行するようにさらに構成された、条項１～７のいずれかの画像取込みデバイス。
【0096】
９．前記少なくとも１つのプロセッサが、
前記筐体の前記第１の部分と前記第２の部分との間の角度を決定することと、
前記決定された角度に基づいて前記第１のセンサと前記第２のセンサとの間の基線長を決定することと、
前記第１のセンサと前記第２のセンサとのうちの少なくとも一方の焦点距離を決定することと、
前記視差データ、前記基線長、および前記焦点距離に基づいて深度値を生成することと
を行うために前記命令を実行するようにさらに構成された、条項８の画像取込みデバイス。
前記筐体の前記第１の部分と前記第２の部分との間の角度を決定することと、
前記決定された角度に基づいて前記第１のセンサと前記第２のセンサとの間の基線長を決定することと、
前記第１のセンサと前記第２のセンサとのうちの少なくとも一方の焦点距離を決定することと、
前記視差データ、前記基線長、および前記焦点距離に基づいて深度値を生成することと
を行うために前記命令を実行するようにさらに構成された、条項８の画像取込みデバイス。
【0097】
１０．前記少なくとも１つのプロセッサが、
前記視差データに基づいて前記オブジェクトの視差を決定することと、
前記視差および視差しきい値（disparity threshold）に基づいて、前記調整された角度を出力することと
を行うために前記命令を実行するようにさらに構成された、条項８～９のいずれかの画像取込みデバイス。
前記視差データに基づいて前記オブジェクトの視差を決定することと、
前記視差および視差しきい値（disparity threshold）に基づいて、前記調整された角度を出力することと
を行うために前記命令を実行するようにさらに構成された、条項８～９のいずれかの画像取込みデバイス。
【0098】
１１．前記少なくとも１つのプロセッサが、
位置センサから位置データを取得することと、
前記位置データに基づいて前記第１の筐体部分と前記第２の筐体部分との間の角度を決定することと、
前記決定された角度に基づいて、前記調整された角度を決定することと
を行うために前記命令を実行するようにさらに構成された、条項１～１０のいずれかの画像取込みデバイス。
位置センサから位置データを取得することと、
前記位置データに基づいて前記第１の筐体部分と前記第２の筐体部分との間の角度を決定することと、
前記決定された角度に基づいて、前記調整された角度を決定することと
を行うために前記命令を実行するようにさらに構成された、条項１～１０のいずれかの画像取込みデバイス。
【0099】
１２．前記少なくとも１つのプロセッサが、
前記第１の筐体部分と前記第２の筐体部分との間の角度を決定することと、
前記決定された角度に基づいて１つまたは複数のカメラパラメータを決定することと、
前記１つまたは複数のカメラパラメータに基づいて、前記調整された角度を出力することと
を行うために前記命令を実行するようにさらに構成された、条項１～１１のいずれかの画像取込みデバイス。
前記第１の筐体部分と前記第２の筐体部分との間の角度を決定することと、
前記決定された角度に基づいて１つまたは複数のカメラパラメータを決定することと、
前記１つまたは複数のカメラパラメータに基づいて、前記調整された角度を出力することと
を行うために前記命令を実行するようにさらに構成された、条項１～１１のいずれかの画像取込みデバイス。
【0100】
１３．前記１つまたは複数のカメラパラメータが平行移動行列を備え、
前記少なくとも１つのプロセッサが、前記平行移動行列に基づいて前記第１のセンサの基準（reference）を前記第２のセンサの対応する基準に平行移動する（translate）ために前記命令を実行するようにさらに構成された、条項１２の画像取込みデバイス。
前記少なくとも１つのプロセッサが、前記平行移動行列に基づいて前記第１のセンサの基準（reference）を前記第２のセンサの対応する基準に平行移動する（translate）ために前記命令を実行するようにさらに構成された、条項１２の画像取込みデバイス。
【0101】
１４．前記第１の筐体部分がディスプレイの第１の部分を備え、
前記第２の筐体部分が前記ディスプレイの第２の部分を備え、
前記第１のセンサが前記ディスプレイの前記第１の部分の下に配置され、前記第２のセンサが前記ディスプレイの前記第２の部分の下に配置された、
条項１～１３のいずれかの画像取込みデバイス。
前記第２の筐体部分が前記ディスプレイの第２の部分を備え、
前記第１のセンサが前記ディスプレイの前記第１の部分の下に配置され、前記第２のセンサが前記ディスプレイの前記第２の部分の下に配置された、
条項１～１３のいずれかの画像取込みデバイス。
【0102】
１５．モータをさらに備える、条項１～１４のいずれかの画像取込みデバイス。
【0103】
１６．前記モータが、前記調整された角度に基づいて前記第１の筐体部分と前記第２の筐体部分との間の角度を調整するように構成された、条項１５の画像取込みデバイス。
【0104】
１７．前記プロセッサが、前記調整された角度に基づいてＧＵＩ要素をディスプレイ上に出力するために前記命令を実行するようにさらに構成された、条項１～１６のいずれかの画像取込みデバイス。
【0105】
１８．画像取込みデバイスを動作させるための方法であって、
前記画像取込みデバイスの筐体の第１の部分に結合された第１のセンサから第１の画像データを取得することと、
前記筐体の第２の部分に結合された第２のセンサから第２の画像データを取得することと、
前記第１の画像データおよび前記第２の画像データに基づいてオブジェクトの深度を決定することと、
前記決定された深度に基づいて前記第１の筐体部分と前記第２の筐体部分との間の調整された角度を出力することと、
前記調整された角度に基づいて画像取込み動作を実施することと
を備える方法。
前記画像取込みデバイスの筐体の第１の部分に結合された第１のセンサから第１の画像データを取得することと、
前記筐体の第２の部分に結合された第２のセンサから第２の画像データを取得することと、
前記第１の画像データおよび前記第２の画像データに基づいてオブジェクトの深度を決定することと、
前記決定された深度に基づいて前記第１の筐体部分と前記第２の筐体部分との間の調整された角度を出力することと、
前記調整された角度に基づいて画像取込み動作を実施することと
を備える方法。
【0106】
１９．前記画像取込み動作を実施することが、
前記調整された角度の前記出力に基づいて、前記第１のセンサからの第３の画像データと前記第２のセンサからの第４の画像データとを取得することと、
前記第３のセンサデータおよび前記第４のセンサデータに基づいて多視点画像を生成することと
を備える、条項１８の方法。
前記調整された角度の前記出力に基づいて、前記第１のセンサからの第３の画像データと前記第２のセンサからの第４の画像データとを取得することと、
前記第３のセンサデータおよび前記第４のセンサデータに基づいて多視点画像を生成することと
を備える、条項１８の方法。
【0107】
２０．前記多視点画像にフォト効果を適用することに基づいてユーザ作成画像を生成することと、
前記ユーザ作成画像をメモリデバイスに記憶することと
をさらに備える、条項１９の方法。
前記ユーザ作成画像をメモリデバイスに記憶することと
をさらに備える、条項１９の方法。
【0108】
２１．前記多視点画像をセグメント化することと、
前記セグメント化された多視点画像に基づいて前記フォト効果を適用することと
をさらに備える、条項２０の方法。
前記セグメント化された多視点画像に基づいて前記フォト効果を適用することと
をさらに備える、条項２０の方法。
【0109】
２２．前記フォト効果がボケ効果を備える、条項２１の方法。
【0110】
２３．前記オブジェクトが顔を備え、前記方法が前記顔を検出することをさらに備える、条項１８～２２のいずれかの方法。
【0111】
２４．前記筐体の前記第１の筐体部分と前記第２の筐体部分との間の角度を決定することと、
前記角度に基づいて前記オブジェクトの前記深度を決定することと
をさらに備える、条項１８～２３のいずれかの方法。
前記角度に基づいて前記オブジェクトの前記深度を決定することと
をさらに備える、条項１８～２３のいずれかの方法。
【0112】
２５．前記オブジェクトの前記深度を決定することが、前記第１の画像データおよび前記第２の画像データに基づいて視差データを生成することを備える、条項１８～２２のいずれかの方法。
【0113】
２６．前記オブジェクトの前記深度を決定することが、
前記第１の筐体部分と前記第２の筐体部分との間の角度を決定することと、
前記決定された角度に基づいて前記第１のセンサと前記第２のセンサとの間の基線長を決定することと、
前記第１のセンサと前記第２のセンサとのうちの少なくとも一方の焦点距離を決定することと、
前記視差データ、前記基線長、および前記焦点距離に基づいて深度値を生成することと
を備える、条項２５の方法。
前記第１の筐体部分と前記第２の筐体部分との間の角度を決定することと、
前記決定された角度に基づいて前記第１のセンサと前記第２のセンサとの間の基線長を決定することと、
前記第１のセンサと前記第２のセンサとのうちの少なくとも一方の焦点距離を決定することと、
前記視差データ、前記基線長、および前記焦点距離に基づいて深度値を生成することと
を備える、条項２５の方法。
【0114】
２７．前記視差データに基づいて前記オブジェクトの視差を決定することと、
前記視差および視差しきい値に基づいて、前記調整された角度を出力することと
をさらに備える、条項２５～２６のいずれかの方法。
前記視差および視差しきい値に基づいて、前記調整された角度を出力することと
をさらに備える、条項２５～２６のいずれかの方法。
【0115】
２８．位置センサから位置データを取得することと、
前記第１の筐体部分と前記第２の筐体部分との間の角度を決定することと、
前記決定された角度に基づいて、前記調整された角度を決定することと
をさらに備える、条項１８～２７のいずれかの方法。
前記第１の筐体部分と前記第２の筐体部分との間の角度を決定することと、
前記決定された角度に基づいて、前記調整された角度を決定することと
をさらに備える、条項１８～２７のいずれかの方法。
【0116】
２９．前記第１の筐体部分と前記第２の筐体部分との間の角度を決定することと、
前記決定された角度に基づいて１つまたは複数のカメラパラメータを決定することと、
前記１つまたは複数のカメラパラメータに基づいて前記調整された角度を出力することと
をさらに備える、条項１８～２８の方法。
前記決定された角度に基づいて１つまたは複数のカメラパラメータを決定することと、
前記１つまたは複数のカメラパラメータに基づいて前記調整された角度を出力することと
をさらに備える、条項１８～２８の方法。
【0117】
３０．前記１つまたは複数のカメラパラメータが平行移動行列を備え、
前記方法が、前記平行移動行列に基づいて前記第１のセンサの基準を前記第２のセンサの対応する基準に平行移動することをさらに備える、条項２９の方法。
前記方法が、前記平行移動行列に基づいて前記第１のセンサの基準を前記第２のセンサの対応する基準に平行移動することをさらに備える、条項２９の方法。
【0118】
３１．前記調整された角度に基づいてＧＵＩ要素をディスプレイ上に出力することをさらに備える、条項１８～３０のいずれかの方法。
【0119】
３２．命令を記憶した非一時的機械可読記憶媒体であって、命令が、少なくとも１つのプロセッサによって実行されたとき、
画像取込みデバイスの筐体の第１の筐体部分に結合された第１のセンサから第１の画像データを取得することと、
前記筐体の第２の筐体部分に結合された第２のセンサから第２の画像データを取得することと、
前記第１の画像データおよび前記第２の画像データに基づいてオブジェクトの深度を決定することと、
前記深度に基づいて前記第１の部分と前記第２の部分との間の調整された角度を出力することと、
前記調整された角度に基づいて画像取込み動作を実施することと
を備える動作を前記少なくとも１つのプロセッサに実施させる、非一時的機械可読記憶媒体。
画像取込みデバイスの筐体の第１の筐体部分に結合された第１のセンサから第１の画像データを取得することと、
前記筐体の第２の筐体部分に結合された第２のセンサから第２の画像データを取得することと、
前記第１の画像データおよび前記第２の画像データに基づいてオブジェクトの深度を決定することと、
前記深度に基づいて前記第１の部分と前記第２の部分との間の調整された角度を出力することと、
前記調整された角度に基づいて画像取込み動作を実施することと
を備える動作を前記少なくとも１つのプロセッサに実施させる、非一時的機械可読記憶媒体。
【0120】
３３．前記少なくとも１つの画像取込み動作を実施することが、
前記調整された角度の前記出力に基づいて、前記第１のセンサからの第３の画像データと前記第２のセンサからの第４の画像データとを取得することと、
前記第３のセンサデータおよび前記第４のセンサデータに基づいて多視点画像を生成することと
を備える、条項３２の非一時的機械可読記憶媒体。
前記調整された角度の前記出力に基づいて、前記第１のセンサからの第３の画像データと前記第２のセンサからの第４の画像データとを取得することと、
前記第３のセンサデータおよび前記第４のセンサデータに基づいて多視点画像を生成することと
を備える、条項３２の非一時的機械可読記憶媒体。
【0121】
３４．前記命令が、前記少なくとも１つのプロセッサによって実行されたとき、
前記多視点画像にフォト効果を適用することに基づいてユーザ作成画像を生成することと、
前記ユーザ作成画像をメモリデバイスに記憶することと
を備えるさらなる動作を前記少なくとも１つのプロセッサに実施させる、条項３３の非一時的機械可読記憶媒体。
前記多視点画像にフォト効果を適用することに基づいてユーザ作成画像を生成することと、
前記ユーザ作成画像をメモリデバイスに記憶することと
を備えるさらなる動作を前記少なくとも１つのプロセッサに実施させる、条項３３の非一時的機械可読記憶媒体。
【0122】
３５．前記命令が、前記少なくとも１つのプロセッサによって実行されたとき、
前記多視点画像をセグメント化することと、
前記セグメント化された多視点画像に基づいて前記フォト効果を適用することと
を備えるさらなる動作を前記少なくとも１つのプロセッサに実施させる、条項３４の非一時的機械可読記憶媒体。
前記多視点画像をセグメント化することと、
前記セグメント化された多視点画像に基づいて前記フォト効果を適用することと
を備えるさらなる動作を前記少なくとも１つのプロセッサに実施させる、条項３４の非一時的機械可読記憶媒体。
【0123】
３６．前記フォト効果がボケ効果を備える、条項３５の非一時的機械可読記憶媒体。
【0124】
３７．前記命令が、前記少なくとも１つのプロセッサによって実行されたとき、顔を検出することを備えるさらなる動作を前記少なくとも１つのプロセッサに実施させ、前記オブジェクトが、前記検出される顔を備える、条項３２～３６のいずれかの非一時的機械可読記憶媒体。
【0125】
３８．前記命令が、前記少なくとも１つのプロセッサによって実行されたとき、
前記筐体の前記第１の筐体部分と前記第２の筐体部分との間の角度を決定することと、
前記角度に基づいて前記オブジェクトの前記深度を決定することと
を備えるさらなる動作を前記少なくとも１つのプロセッサに実施させる、条項３２～３７のいずれかの非一時的機械可読記憶媒体。
前記筐体の前記第１の筐体部分と前記第２の筐体部分との間の角度を決定することと、
前記角度に基づいて前記オブジェクトの前記深度を決定することと
を備えるさらなる動作を前記少なくとも１つのプロセッサに実施させる、条項３２～３７のいずれかの非一時的機械可読記憶媒体。
【0126】
３９．前記オブジェクトの前記深度を決定することが、前記第１の画像データおよび前記第２の画像データに基づいて視差データを生成することを備える、条項３２～３８のいずれかの非一時的機械可読記憶媒体。
【0127】
４０．前記オブジェクトの前記深度を決定することが、
前記第１の筐体部分と前記第２の筐体部分との間の角度を決定することと、
前記決定された角度に基づいて前記第１のセンサと前記第２のセンサとの間の基線長を決定することと、
前記第１のセンサと前記第２のセンサとのうちの少なくとも一方の焦点距離を決定することと、
前記視差データ、前記基線長、および前記焦点距離に基づいて深度値を生成することと
を備える、条項３９の非一時的機械可読記憶媒体。
前記第１の筐体部分と前記第２の筐体部分との間の角度を決定することと、
前記決定された角度に基づいて前記第１のセンサと前記第２のセンサとの間の基線長を決定することと、
前記第１のセンサと前記第２のセンサとのうちの少なくとも一方の焦点距離を決定することと、
前記視差データ、前記基線長、および前記焦点距離に基づいて深度値を生成することと
を備える、条項３９の非一時的機械可読記憶媒体。
【0128】
４１．前記命令が、前記少なくとも１つのプロセッサによって実行されたとき、
前記視差データに基づいて前記オブジェクトの視差を決定することと、
前記視差および視差しきい値に基づいて前記第１の部分と前記第２の部分との間の前記調整された角度を出力することと
を備えるさらなる動作を前記少なくとも１つのプロセッサに実施させる、条項３９および４０のいずれかの非一時的機械可読記憶媒体。
前記視差データに基づいて前記オブジェクトの視差を決定することと、
前記視差および視差しきい値に基づいて前記第１の部分と前記第２の部分との間の前記調整された角度を出力することと
を備えるさらなる動作を前記少なくとも１つのプロセッサに実施させる、条項３９および４０のいずれかの非一時的機械可読記憶媒体。
【0129】
４２．前記命令が、前記少なくとも１つのプロセッサによって実行されたとき、
位置センサから位置データを取得することと、
前記第１の筐体部分と前記第２の筐体部分との間の角度を決定することと、
前記決定された角度に基づいて、前記調整された角度を決定することと
を備えるさらなる動作を前記少なくとも１つのプロセッサに実施させる、条項３２～４１のいずれかの非一時的機械可読記憶媒体。
位置センサから位置データを取得することと、
前記第１の筐体部分と前記第２の筐体部分との間の角度を決定することと、
前記決定された角度に基づいて、前記調整された角度を決定することと
を備えるさらなる動作を前記少なくとも１つのプロセッサに実施させる、条項３２～４１のいずれかの非一時的機械可読記憶媒体。
【0130】
４３．前記オブジェクトの前記深度を決定することが、
前記第１の筐体部分と前記第２の筐体部分との間の角度を決定することと、
前記決定された角度に基づいて１つまたは複数のカメラパラメータを決定することと、ここにおいて、前記調整された角度を出力することが前記１つまたは複数のカメラパラメータに基づく、
前記１つまたは複数のカメラパラメータに基づいて、前記調整された角度を出力することと
をさらに備える、条項３２～４２のいずれかの非一時的機械可読記憶媒体。
前記第１の筐体部分と前記第２の筐体部分との間の角度を決定することと、
前記決定された角度に基づいて１つまたは複数のカメラパラメータを決定することと、ここにおいて、前記調整された角度を出力することが前記１つまたは複数のカメラパラメータに基づく、
前記１つまたは複数のカメラパラメータに基づいて、前記調整された角度を出力することと
をさらに備える、条項３２～４２のいずれかの非一時的機械可読記憶媒体。
【0131】
４４．前記１つまたは複数のカメラパラメータが平行移動行列を備え、前記命令が、前記少なくとも１つのプロセッサによって実行されたとき、前記平行移動行列に基づいて前記第１のセンサの基準を前記第２のセンサの対応する基準に平行移動することを備えるさらなる動作を前記少なくとも１つのプロセッサに実施させる、条項４３の非一時的機械可読記憶媒体。
【0132】
４５．前記命令が、前記少なくとも１つのプロセッサによって実行されたとき、前記調整された角度に基づいてＧＵＩ要素をディスプレイ上に出力することを備えるさらなる動作を前記少なくとも１つのプロセッサに実施させる、条項３２～４４のいずれかの非一時的機械可読記憶媒体。
【0133】
４６．画像取込みデバイスの筐体の第１の筐体部分に結合された第１のセンサから第１の画像データを取得するための手段と、
前記筐体の第２の筐体部分に結合された第２のセンサから第２の画像データを取得するための手段と、
前記第１の画像データおよび前記第２の画像データに基づいてオブジェクトの深度を決定するための手段と、
前記深度に基づいて前記第１の部分と前記第２の部分との間の調整された角度を出力するための手段と、
前記調整された角度に基づいて画像取込み動作を実施するための手段と
を備えるシステム。
前記筐体の第２の筐体部分に結合された第２のセンサから第２の画像データを取得するための手段と、
前記第１の画像データおよび前記第２の画像データに基づいてオブジェクトの深度を決定するための手段と、
前記深度に基づいて前記第１の部分と前記第２の部分との間の調整された角度を出力するための手段と、
前記調整された角度に基づいて画像取込み動作を実施するための手段と
を備えるシステム。
【0134】
４７．前記少なくとも１つの画像取込み動作を実施するための手段が、
前記調整された角度の前記出力に基づいて、前記第１のセンサからの第３の画像データと前記第２のセンサからの第４の画像データとを取得するための手段と、
前記第３のセンサデータおよび前記第４のセンサデータに基づいて多視点画像を生成するための手段と
を備える、条項４６のシステム。
前記調整された角度の前記出力に基づいて、前記第１のセンサからの第３の画像データと前記第２のセンサからの第４の画像データとを取得するための手段と、
前記第３のセンサデータおよび前記第４のセンサデータに基づいて多視点画像を生成するための手段と
を備える、条項４６のシステム。
【0135】
４８．前記多視点画像にフォト効果を適用することに基づいてユーザ作成画像を生成するための手段と、
前記ユーザ作成画像をメモリデバイスに記憶するための手段と
をさらに備える、条項４７のシステム。
前記ユーザ作成画像をメモリデバイスに記憶するための手段と
をさらに備える、条項４７のシステム。
【0136】
４９．前記多視点画像をセグメント化するための手段と、
前記セグメント化された多視点画像に基づいて前記フォト効果を適用するための手段と
をさらに備える、条項４８のシステム。
前記セグメント化された多視点画像に基づいて前記フォト効果を適用するための手段と
をさらに備える、条項４８のシステム。
【0137】
５０．前記フォト効果がボケ効果を備える、条項４９のシステム。
【0138】
５１．顔を検出するための手段をさらに備え、前記オブジェクトが前記顔を備える、条項４６～５０のいずれかのシステム。
【0139】
５２．前記筐体の前記第１の筐体部分と前記第２の筐体部分との間の角度を決定するための手段と、
前記角度に基づいて前記オブジェクトの前記深度を決定するための手段と
をさらに備える、条項４６～５１のいずれかのシステム。
前記角度に基づいて前記オブジェクトの前記深度を決定するための手段と
をさらに備える、条項４６～５１のいずれかのシステム。
【0140】
５３．前記オブジェクトの前記深度を決定するための前記手段が、前記第１の画像データおよび前記第２の画像データに基づいて視差データを生成するための手段を備える、条項４６～５２のいずれかのシステム。
【0141】
５４．前記オブジェクトの前記深度を決定するための前記手段が、
前記第１の筐体部分と前記第２の筐体部分との間の角度を決定するための手段と、
前記決定された角度に基づいて前記第１のセンサと前記第２のセンサとの間の基線長を決定するための手段と、
前記第１のセンサと前記第２のセンサとのうちの少なくとも一方の焦点距離を決定するための手段と、
前記視差データ、前記基線長、および前記焦点距離に基づいて深度値を生成するための手段と
を備える、条項５３のシステム。
前記第１の筐体部分と前記第２の筐体部分との間の角度を決定するための手段と、
前記決定された角度に基づいて前記第１のセンサと前記第２のセンサとの間の基線長を決定するための手段と、
前記第１のセンサと前記第２のセンサとのうちの少なくとも一方の焦点距離を決定するための手段と、
前記視差データ、前記基線長、および前記焦点距離に基づいて深度値を生成するための手段と
を備える、条項５３のシステム。
【0142】
５５．前記視差データに基づいて前記オブジェクトの視差を決定するための手段と、
前記視差および視差しきい値に基づいて、前記調整された角度を出力するための手段と
をさらに備える、条項５３および５４のいずれかのシステム。
前記視差および視差しきい値に基づいて、前記調整された角度を出力するための手段と
をさらに備える、条項５３および５４のいずれかのシステム。
【0143】
５６．位置センサから位置データを取得するための手段と、
前記第１の筐体部分と前記第２の筐体部分との間の角度を決定するための手段と、
前記決定された角度に基づいて、前記調整された角度を決定するための手段と
をさらに備える、条項４６～５５のいずれかのシステム。
前記第１の筐体部分と前記第２の筐体部分との間の角度を決定するための手段と、
前記決定された角度に基づいて、前記調整された角度を決定するための手段と
をさらに備える、条項４６～５５のいずれかのシステム。
【0144】
５７．前記第１の筐体部分と前記第２の筐体部分との間の角度を決定するための手段と、
前記決定された角度に基づいて１つまたは複数のカメラパラメータを決定するための手段と、
前記１つまたは複数のカメラパラメータに基づいて、前記調整された角度を出力するための手段と
をさらに備える、条項４６～５５のいずれかのシステム。
前記決定された角度に基づいて１つまたは複数のカメラパラメータを決定するための手段と、
前記１つまたは複数のカメラパラメータに基づいて、前記調整された角度を出力するための手段と
をさらに備える、条項４６～５５のいずれかのシステム。
【0145】
５８．前記１つまたは複数のカメラパラメータが平行移動行列を備え、
前記システムが、前記平行移動行列に基づいて前記第１のセンサの基準を前記第２のセンサの対応する基準に平行移動するための手段をさらに備える、条項５７のシステム。
前記システムが、前記平行移動行列に基づいて前記第１のセンサの基準を前記第２のセンサの対応する基準に平行移動するための手段をさらに備える、条項５７のシステム。
【0146】
５９．前記第１の筐体部分がディスプレイの第１の部分を備え、
前記第２の筐体部分が前記ディスプレイの第２の部分を備え、
前記第１のセンサが前記ディスプレイの前記第１の部分の下に配置され、前記第２のセンサが前記ディスプレイの前記第２の部分の下に配置された、
条項４６～５８のいずれかのシステム。
前記第２の筐体部分が前記ディスプレイの第２の部分を備え、
前記第１のセンサが前記ディスプレイの前記第１の部分の下に配置され、前記第２のセンサが前記ディスプレイの前記第２の部分の下に配置された、
条項４６～５８のいずれかのシステム。
【0147】
６０．前記調整された角度に基づいて前記第１の筐体部分と前記第２の筐体部分との間の角度を調整するための手段をさらに備える、条項４６～５９のいずれかのシステム。
【0148】
６１．前記調整された角度に基づいてＧＵＩ要素をディスプレイ上に出力するための手段をさらに備える、条項４６～６０のいずれかのシステム。
【0149】
[0093] 前述の方法は図示のフローチャートを参照しているが、これらの方法に関連する行為を実施する方式として他の多くの方式が使用され得る。たとえば、いくつかの動作の順序が変更されてもよく、いくつかの実施形態は、記述された動作のうちの１つもしくは複数を省略すること、および／または追加の動作を含むこともある。
【0150】
[0094] 加えて、本明細書に記載の方法およびシステムは、少なくとも部分的には、コンピュータ実装プロセス、およびこれらのプロセスを実践するための装置の形で具体化され得る。開示される方法はまた、少なくとも部分的には、コンピュータプログラムコードでエンコードされた有形で非一時的機械可読記憶媒体の形で具体化され得る。たとえば、方法は、ハードウェアにおいて、プロセッサによって実行される実行可能命令（たとえば、ソフトウェア）において、またはこの２つの組合せにおいて具体化され得る。媒体は、たとえば、ＲＡＭ、ＲＯＭ、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、ＢＤ－ＲＯＭ、ハードディスクドライブ、フラッシュメモリ、またはいずれか他の非一時的機械可読記憶媒体を含み得る。コンピュータプログラムコードがコンピュータにロードされてコンピュータによって実行されるとき、コンピュータは、方法を実践するための装置になる。方法はまた、少なくとも部分的には、コンピュータプログラムコードがロードまたは実行されるコンピュータの形で具体化され得、それにより、コンピュータは、方法を実践するための専用コンピュータになる。コンピュータプログラムコードセグメントが汎用プロセッサ上で実装されるとき、コンピュータプログラムコードセグメントは、特定の論理回路を生み出すようにプロセッサを構成する。方法は、代替的に、方法を実施するための特定用途向け集積回路において少なくとも部分的に具体化され得る。
【図1】
【図2】
【図3A】
【図3B】
【図3C】
【図3D】
【図4A】
【図4B】
【図4C】
【図4D】
【図5】
【図6】
【図7】
【国際調査報告】