特許 6246246 適応型カメラアレイを有するデバイス

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6246246

(24)【登録日】2017年11月24日

(45)【発行日】2017年12月13日

(54)【発明の名称】適応型カメラアレイを有するデバイス

(51)【国際特許分類】

   H04N 5/225 20060101AFI20171204BHJP

   H04N 5/232 20060101ALI20171204BHJP

   G03B 15/00 20060101ALI20171204BHJP

   G03B 19/07 20060101ALI20171204BHJP

   G03B 37/00 20060101ALI20171204BHJP

   H04N 5/247 20060101ALI20171204BHJP

【ＦＩ】

   H04N5/225 800

   H04N5/232

   G03B15/00 W

   G03B19/07

   G03B37/00 A

   H04N5/247

【請求項の数】12

【外国語出願】

【全頁数】16

(21)【出願番号】特願2016-25468(P2016-25468)

(22)【出願日】2016年2月15日

(65)【公開番号】特開2016-165101(P2016-165101A)

(43)【公開日】2016年9月8日

【審査請求日】2016年3月11日

(31)【優先権主張番号】1503015.8

(32)【優先日】2015年2月24日

(33)【優先権主張国】GB

(73)【特許権者】

【識別番号】315002955

【氏名又は名称】ノキア テクノロジーズ オーユー

(74)【代理人】

【識別番号】100127188

【弁理士】

【氏名又は名称】川守田 光紀

(72)【発明者】

【氏名】マテ スジーティ シャムスンダル

(72)【発明者】

【氏名】レッパネン ユッシ

(72)【発明者】

【氏名】フゥ ジュインシュヨン

(72)【発明者】

【氏名】ババハジアニ プーリヤ

【審査官】 ▲徳▼田 賢二

(56)【参考文献】

【文献】 特開２００６−０８０５８０（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１４／０２８５６１８（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２２５

Ｇ０３Ｂ １５／００

Ｇ０３Ｂ １９／０７

Ｇ０３Ｂ ３７／００

Ｈ０４Ｎ ５／２３２

Ｈ０４Ｎ ５／２４７

(57)【特許請求の範囲】

【請求項1】

装置が遂行する方法であって、
撮影対象の画像のための所望の視野（ＦＯＶ）を得ることと、
視野（ｆｏｖ）を有するアクティブなカメラセンサを少なくとも２つ備えたカメラアレイ内の各アクティブなカメラセンサに必要とされる視野（ｒ＿ｆｏｖ）を前記所望の視野（ＦＯＶ）から求めることであって、前記必要とされる視野は前記所望の視野（ＦＯＶ）をアクティブなカメラセンサの数で割ることによって求められることと、
前記視野（ｒ＿ｆｏｖ）とカメラセンサの前記視野（ｆｏｖ）とを比較することと、
前記必要とされる視野（ｒ＿ｆｏｖ）が前記視野（ｆｏｖ）と同じかそれより小さい場合は、前記カメラアレイ内の複数のカメラセンサによって前記所望の視野（ＦＯＶ）を実現するために、隣接カメラセンサ間の湾曲角度を求めることと、
を含む方法において、
必要とされる視野（ｒ＿ｆｏｖ）がカメラセンサの視野（ｆｏｖ）より大きい場合は、追加のカメラセンサを少なくとも１つ起動することと、
現在アクティブなカメラセンサに基づき、前記求めることと前記比較することとを実行することと、
を更に含む、方法。

【請求項2】

前記カメラアレイ内の隣接カメラセンサ間で前記求められた湾曲角度を得るために、前記カメラアレイを自動的に湾曲させること、
を更に含む、請求項１に記載の方法。

【請求項3】

前記カメラアレイ内の前記少なくとも１つのカメラをオンにすることによって前記少なくとも１つのカメラセンサが自動的に起動される、請求項１に記載の方法。

【請求項4】

前記所望の視野（ＦＯＶ）はユーザ入力として得られる、請求項１〜３の何れか一項に記載の方法。

【請求項5】

前記所望の視野（ＦＯＶ）は広角視野である、請求項１〜４の何れか一項に記載の方法。

【請求項6】

前記カメラアレイは可撓性である、請求項１〜５の何れか一項に記載の方法。

【請求項7】

前記画像は静止画像である、請求項１〜６の何れか一項に記載の方法。

【請求項8】

前記画像は動画像データである、請求項１〜６の何れか一項に記載の方法。

【請求項9】

前記カメラアレイはゴリラポッドデバイスである、請求項１〜８の何れか一項に記載の方法。

【請求項10】

撮影対象の画像のための所望の視野（ＦＯＶ）を得る手段と、
視野（ｆｏｖ）を有するアクティブなカメラセンサを少なくとも２つ備えたカメラアレイ内の各アクティブなカメラセンサに必要とされる視野（ｒ＿ｆｏｖ）を前記所望の視野（ＦＯＶ）から求める手段であって、前記必要とされる視野は前記所望の視野（ＦＯＶ）をアクティブなカメラセンサの数で割ることによって求められる、手段と、
前記視野（ｒ＿ｆｏｖ）とカメラセンサの前記視野（ｆｏｖ）とを比較する手段と、
前記必要とされる視野（ｒ＿ｆｏｖ）が前記視野（ｆｏｖ）と同じかそれより小さい場合は、前記所望の視野（ＦＯＶ）を前記カメラアレイ内の複数のカメラセンサによって実現するために、隣接カメラセンサ間の湾曲角度を求める手段と、
を備えた装置であって、
必要とされる視野（ｒ＿ｆｏｖ）がカメラセンサの視野（ｆｏｖ）より大きい場合は、追加のカメラセンサを少なくとも１つ起動する手段と、
現在アクティブなカメラセンサに基づき、前記求める手段及び前記比較する手段を動作させる手段と、
を更に備える、装置。

【請求項11】

処理手段と記憶手段とを備える装置であって、前記記憶手段はプログラム命令を格納し、前記プログラム命令は、前記処理手段に実行されると、前記装置に、請求項１〜９のいずれか一項に記載の方法を遂行させるように構成される、装置。

【請求項12】

装置の処理手段で実行されると、前記装置に請求項１〜９のいずれか一項に記載の方法を遂行させるように構成されるプログラム命令を備える、コンピュータプログラム。

【発明の詳細な説明】

【背景】

【0001】

今日、携帯電話などの携帯電子デバイスは、広範囲の撮像関連アプリケーションをユーザに提供している。さまざまな種類の撮像、例えば、解像度が異なる本撮像、異なる視野の撮像、動画像の撮像など、のためにカメラ付き携帯デバイスが使用されている。撮像の種類は、画像の用途、画像の被写体、および使用されるアプリケーション、カメラ、またはデバイスに応じて決まる。データ伝送の増加とデバイスの使い易さの必要性とは、それぞれ特有の要求を撮像に使用されるデバイスおよびアプリケーションに対して設定する。

【摘要】

【0002】

本発明のさまざまな実施形態は、方法と、装置と、システムと、コンピュータプログラムが格納されたコンピュータ可読媒体とを含む。これらは、独立請求項に記載されている内容を特徴とする。従属請求項には本発明のさまざまな実施形態が開示されている。

【0003】

第１の態様によると、撮影対象の画像のための所望の視野（ＦＯＶ：ｆｉｅｌｄ ｏｆ ｖｉｅｗ）を得るステップと、視野（ｆｏｖ：ｆｉｅｌｄ ｏｆ ｖｉｅｗ）を有するアクティブなカメラセンサを少なくとも２つ備えたカメラアレイ内の各アクティブなカメラセンサに必要とされる視野（ｒ＿ｆｏｖ：ｒｅｑｕｉｒｅｄ ｆｉｅｌｄ ｏｆ ｖｉｅｗ）を所望の視野（ＦＯＶ）から求めるステップであって、必要とされる視野は所望の視野（ＦＯＶ）をアクティブなカメラセンサの数で割ることによって求められる、ステップと、視野（ｒ＿ｆｏｖ）とカメラセンサの視野（ｆｏｖ）とを比較するステップと、必要とされる視野（ｒ＿ｆｏｖ）が視野（ｆｏｖ）と同じかそれより小さい場合は、所望の視野（ＦＯＶ）をカメラセンサアレイ内の複数のカメラセンサによって実現するために、隣接カメラセンサ間の湾曲角度を求めるステップと、を含む方法が提供される。

【0004】

一実施形態によると、本方法は、アレイ内の隣接カメラセンサ間で求められた湾曲角度を得るために、カメラアレイを自動的に湾曲させるステップを更に含む。一実施形態によると、本方法は、必要とされる視野（ｒ＿ｆｏｖ）がカメラセンサの視野（ｆｏｖ）より大きい場合は、追加のカメラセンサを少なくとも１つ起動するステップと、現在アクティブなカメラセンサに基づき、求めるステップと比較するステップとを実行することと、を更に含む。一実施形態によると、前記少なくとも１つのカメラセンサは、カメラアレイ内の前記少なくとも１つのカメラをオンにすることによって自動的に起動される。一実施形態によると、所望の視野（ＦＯＶ）はユーザ入力として得られる。一実施形態によると、所望の視野（ＦＯＶ）は広角視野である。一実施形態によると、カメラアレイは可撓性である。一実施形態によると、画像は静止画像である。一実施形態によると、画像は動画像データである。

【0005】

第２の態様によると、視野（ｆｏｖ）を有するアクティブなカメラセンサを少なくとも２つ備えた可撓性カメラアレイと、少なくとも１つのプロセッサと、コンピュータプログラムコードを含むメモリとを備えた装置が提供される。このメモリとコンピュータプログラムコードとは、少なくとも１つのプロセッサによって、少なくとも、前記少なくとも２つのアクティブなカメラセンサによって撮影する画像のための所望の視野（ＦＯＶ）を得るステップと、各アクティブなカメラに必要とされる視野（ｒ＿ｆｏｖ）を所望の視野（ＦＯＶ）から求めるステップであって、必要とされる視野は所望の視野（ＦＯＶ）をアクティブなカメラセンサの数で割ることによって求められるステップと、視野（ｒ＿ｆｏｖ）と視野（ｆｏｖ）とを比較するステップと、必要とされる視野（ｒ＿ｆｏｖ）が視野（ｆｏｖ）と同じかそれより小さい場合は、カメラセンサアレイ内の複数のカメラセンサによって所望の視野（ＦＯＶ）を実現するために、隣接カメラセンサ間の湾曲角度を求めるステップとを装置に行わせるべく構成される。

【0006】

一実施形態によると、アレイ内の隣接カメラセンサ間で求められた湾曲角度を得るために、カメラアレイを自動的に湾曲させるステップを装置に更に行わせる。一実施形態によると、必要とされる視野（ｒ＿ｆｏｖ）がカメラセンサの視野（ｆｏｖ）より大きい場合は、少なくとも１つのカメラセンサを起動するステップと、現在アクティブなカメラセンサに基づき、求めるステップと比較するステップとを実行することと、を装置に更に行わせる。一実施形態によると、前記少なくとも１つのカメラセンサは、カメラアレイ内の前記少なくとも１つのカメラをオンにすることによって自動的に起動される。一実施形態によると、所望の視野（ＦＯＶ）はユーザ入力として得られる。一実施形態によると、所望の視野（ＦＯＶ）は広角視野である。一実施形態によると、カメラアレイは可撓性である。一実施形態によると、装置は携帯デバイスである。

【0007】

第３の態様によると、携帯デバイスと、この携帯デバイスに接続された可撓性カメラアレイと、少なくとも１つのプロセッサと、コンピュータプログラムコードを含むメモリとを備えたシステムが提供される。このメモリとコンピュータプログラムコードとは、少なくとも１つのプロセッサによって、少なくとも、前記少なくとも２つのアクティブなカメラセンサによって撮影される画像のための所望の視野（ＦＯＶ）を得るステップと、各アクティブなカメラに必要とされる視野（ｒ＿ｆｏｖ）を所望の視野（ＦＯＶ）から求めるステップであって、必要とされる視野は所望の視野（ＦＯＶ）をアクティブなカメラセンサの数で割ることによって求められるステップと、視野（ｒ＿ｆｏｖ）と視野（ｆｏｖ）とを比較するステップと、必要とされる視野（ｒ＿ｆｏｖ）が視野（ｆｏｖ）と同じかそれより小さい場合は、所望の視野（ＦＯＶ）をカメラセンサアレイ内の複数のカメラセンサによって実現するために、隣接カメラセンサ間の湾曲角度を求めるステップと、をシステムに行わせるべく構成される。

【0008】

一実施形態によると、アレイ内の隣接カメラセンサ間で求められた湾曲角度を得るために、カメラアレイを自動的に湾曲させるステップをシステムに更に行わせる。一実施形態によると、必要とされる視野（ｒ＿ｆｏｖ）がカメラセンサの視野（ｆｏｖ）より大きい場合は、少なくとも１つのカメラセンサを起動するステップと、現在アクティブなカメラセンサに基づき、求めるステップと比較するステップとを実行することと、をシステムに更に行わせる。一実施形態によると、前記少なくとも１つのカメラセンサは、カメラアレイ内の前記少なくとも１つのカメラをオンにすることによって自動的に起動される。一実施形態によると、所望の視野（ＦＯＶ）はユーザ入力として得られる。一実施形態によると、所望の視野（ＦＯＶ）は広角視野である。一実施形態によると、カメラアレイはゴリラポッドデバイスである。

【0009】

第４の態様によると、撮影対象の画像のための所望の視野（ＦＯＶ）を得る手段と、視野（ｆｏｖ）を有するアクティブなカメラセンサを少なくとも２つ備えたカメラアレイ内の各アクティブなカメラセンサに必要とされる視野（ｒ＿ｆｏｖ）を所望の視野（ＦＯＶ）から求める手段であって、必要とされる視野は所望の視野（ＦＯＶ）をアクティブなカメラセンサの数で割ることによって求められる手段と、視野（ｒ＿ｆｏｖ）とカメラセンサの視野（ｆｏｖ）とを比較する手段と、必要とされる視野（ｒ＿ｆｏｖ）が視野（ｆｏｖ）と同じかそれより小さい場合は、カメラセンサアレイ内の複数のカメラセンサによって所望の視野（ＦＯＶ）を実現するために、隣接カメラセンサ間の湾曲角度を求める手段と、を備えた装置が提供される。

【0010】

第５の態様によると、コンピュータプログラムコードを備えた、非一時的コンピュータ可読媒体上に具体化されたコンピュータプログラム製品が提供される。このコンピュータプログラムコードは、少なくとも１つのプロセッサ上で実行されると、前記少なくとも２つのアクティブなカメラセンサによって撮影する画像のための所望の視野（ＦＯＶ）を得るステップと、各アクティブなカメラに必要とされる視野（ｒ＿ｆｏｖ）を所望の視野（ＦＯＶ）から求めるステップであって、必要とされる視野は所望の視野（ＦＯＶ）をアクティブなカメラセンサの数で割ることによって得られるステップと、視野（ｒ＿ｆｏｖ）と視野（ｆｏｖ）とを比較するステップと、必要とされる視野（ｒ＿ｆｏｖ）が視野（ｆｏｖ）と同じかそれより小さい場合は、カメラセンサアレイ内の複数のカメラセンサによって所望の視野（ＦＯＶ）を実現するために、隣接カメラセンサ間の湾曲角度を求めるステップと、を装置に行わせるべく構成される。

【0011】

一実施形態によると、アレイ内の隣接カメラセンサ間で求められた湾曲角度を得るために、カメラアレイを自動的に湾曲させるステップを装置に更に行わせる。一実施形態によると、必要とされる視野（ｒ＿ｆｏｖ）がカメラセンサの視野（ｆｏｖ）より大きい場合は、少なくとも１つのカメラセンサを起動するステップと、現在アクティブなカメラセンサに基づき、求めるステップと比較するステップとを実行することと、を装置に更に行わせる。一実施形態によると、前記少なくとも１つのカメラセンサは、カメラアレイ内の前記少なくとも１つのカメラをオンにすることによって自動的に起動される。一実施形態によると、所望の視野（ＦＯＶ）はユーザ入力として得られる。一実施形態によると、所望の視野（ＦＯＶ）は広角視野である。一実施形態によると、カメラアレイは可撓性である。一実施形態によると、装置は携帯デバイスである。

【0012】

第６の態様によると、カメラアレイ内の各カメラによって同時に一被写体の画像を撮影するステップと、この被写体のサイズおよび深度を推定するステップと、カメラアレイ内の一部のカメラを撮像のためにアクティブにするべく選択するステップと、複数のアクティブなカメラについて最小深度（ｔ）を計算するステップと、被写体の深度が複数のアクティブなカメラの最小深度（ｔ）より大きい場合は、更なるカメラを少なくとも１つアクティブにするべく起動するステップと、を含む方法が提供される。

【0013】

一実施形態によると、選択された一部のアクティブなカメラは、それぞれカメラアレイの両端の１つのカメラである。

【0014】

第７の態様によると、視野（ｆｏｖ）を有するアクティブなカメラセンサを少なくとも２つ備えたカメラアレイと、少なくとも１つのプロセッサと、コンピュータプログラムコードを含むメモリとを備えた装置が提供される。このメモリとコンピュータプログラムコードとは、少なくとも１つのプロセッサによって、少なくとも、カメラアレイ内の各アクティブなカメラによって同時に一被写体の画像を撮影するステップと、当該被写体のサイズと深度とを推定するステップと、カメラアレイ内の一部のカメラを撮像のためにアクティブにするべく選択するステップと、複数のアクティブなカメラについて最小深度（ｔ）を計算するステップと、被写体の深度が複数のアクティブなカメラの最小深度（ｔ）より大きい場合は、更なるカメラを少なくとも１つアクティブにするべく起動するステップと、を装置に行わせるべく構成される。

【0015】

第８の態様によると、携帯デバイスと、この携帯デバイスに接続されたカメラアレイと、少なくとも１つのプロセッサと、コンピュータプログラムコードを含むメモリとを備えたシステムが提供される。このメモリとコンピュータプログラムコードとは、少なくとも１つのプロセッサによって、少なくとも、カメラアレイ内の各アクティブなカメラによって同時に一被写体の画像を撮影するステップと、この被写体のサイズと深度とを推定するステップと、カメラアレイ内の一部のカメラを撮像のためにアクティブにするべく選択するステップと、複数のアクティブなカメラについて最小深度（ｔ）を計算するステップと、被写体の深度が複数のアクティブなカメラの最小深度（ｔ）より大きい場合は、更なるカメラを少なくとも１つアクティブにするべく起動するステップと、をシステムに行わせるべく構成される。

【0016】

第９の態様によると、コンピュータプログラムコードを備えた、非一時的コンピュータ可読媒体上に具体化されたコンピュータプログラム製品が提供される。このコンピュータプログラムコードは、少なくとも１つのプロセッサ上で実行されると、カメラアレイ内の各アクティブなカメラによって同時に一被写体の画像を撮影するステップと、この被写体のサイズと深度とを推定するステップと、カメラアレイ内の一部のカメラを撮像のためにアクティブにするべく選択するステップと、複数のアクティブなカメラについて最小深度（ｔ）を計算するステップと、被写体の深度が複数のアクティブなカメラの最小深度（ｔ）より大きい場合は、更なるカメラを少なくとも１つアクティブにするべく起動するステップと、を装置に行わせるべく構成される。

【0017】

以下においては、添付の図面を参照して本発明のさまざまな実施形態をより詳細に説明する。

【図面の簡単な説明】

【0018】

【図1】一例示的実施形態による装置を示す。

【図2】一例示的実施形態による装置を示す。

【図3】一例示的実施形態による適応型カメラアレイデバイスを示す。

【図4】一例示的実施形態による適応型カメラアレイを示す。

【図5】一例示的実施形態による適応型カメラアレイを示す。

【図6】一例示的実施形態による適応型カメラアレイのためにカメラ姿勢を求める方法のフローチャートを示す。

【図7】一例示的実施形態による適応型カメラアレイの被写体のサイズおよび深度を求める方法のフローチャートを示す。

【図8a】一実施形態による図７のステップ７４０の説明を示す。

【図8b】一実施形態による図７のステップ７５０の説明を示す。

【図8c】一例示的実施形態によるＳｆＭ（ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ ｍｏｔｉｏｎ）法のアルゴリズムを示す。

【図9】一例示的実施形態による必要なカメラ数を求める方法のフローチャートを示す。

【図10】図１０ａ、ｂ、ｃは、一例示的実施形態による適応型カメラアレイによって得られた視野に対する複数のアクティブなカメラの効果を示す状況の例を示す。

【図11】一例示的実施形態による適応型カメラアレイ内の各カメラについて望ましいカメラ姿勢を算出する方法のフローチャートを示す。

【例示的実施形態の説明】

【0019】

以下においては、本発明のいくつかの実施形態を図１〜１１のコンテキストにおいて説明する。ただし、本発明は図示の実施形態に限定されないことに留意されたい。実際に、これらさまざまな実施形態は、適応型カメラアレイを有する携帯デバイスが必要とされる何れの環境においても適用される。このカメラアレイは、携帯装置に接続されるべく構成された、したがってシステムを形成する、別個のカメラアレイデバイスでもよい。あるいは、適応型カメラアレイは、携帯デバイスの一部であってもよい。すなわち、携帯デバイスは適応型カメラアレイを備える。適応型カメラアレイは、自動的に適応化し得る。このコンテキストにおいて、カメラアレイの適応化とは、所望のコンテンツをさまざまな視野で撮影するために、隣接カメラ間にさまざまな湾曲角度が形成され得ることを意味し得る。すなわち、カメラ間の湾曲角度は、所望の視野に応じて決まる。例えば、視野が広いほど、湾曲角度は大きくなる。適応型とは、撮像対象の被写体またはこの被写体までの距離（深度）に応じてカメラアレイがアクティブおよび／またはイナクティブなカメラを備え得ること、および必要時にカメラの状態をアクティブからイナクティブに、およびこの逆に、変え得ることを意味し得る。

【0020】

図１は、一例示的実施形態による装置を示す。装置１００は、例えば、本発明の複数の実施形態によるカメラ姿勢を求める方法、サイズおよび深度を求める方法、または必要なカメラ数を求める方法を実施するために必要な電子素子および回路を収容した携帯デバイスである。上記の各方法は、装置１００のための追加機能として実現される。ただし、図示および下記のような装置１００は、さまざまな実施形態の恩恵を受け得る一種のデバイスの単なる例に過ぎず、したがって、各実施形態の範囲を制限するものとして取られるべきではないことを理解されたい。そのため、装置１００に関連して以下に記載されている構成要素のうちの少なくともいくつかは任意使用であり、したがって、一例示的実施形態においては、装置１００は、図１の例示的実施形態に関連して説明されている構成要素より多くの、または少ない、またはこれら構成要素とは異なる、構成要素を含み得ることを理解されたい。

【0021】

装置１００は、メモリ１０１と、少なくとも１つのプロセッサ１０２および１０３と、メモリ１０１に常駐するコンピュータプログラムコード１０４とを備える。装置１００は、ビューファインダ枠、すなわち画像枠、すなわち画像、を撮影するべく構成された、画像センサなどの画像撮影手段、例えばカメラ、をいくつか更に備える。この例示的実施形態において、装置１００は、適応型カメラアレイ１０５を形成する少なくとも２つのカメラ（図示せず）を備える。ただし、カメラの数は、例えば、２、３、４、５、６、７、８、またはこれより多くてもよく、例えば１０でもよい。

【0022】

カメラアレイ１０５の各カメラは視野（ｆｏｖ）を有する。カメラアレイ１０５内の各カメラの視野（ｆｏｖ）は、ほぼ同じでもよい。カメラアレイ内の複数のカメラの組み合わされた視野は、総合視野（ＯＦＯＶ：ｏｖｅｒａｌｌ ｆｉｅｌｄ ｏｆ ｖｉｅｗ）と称され得る。総合視野は、複数の適応型レンズによって、または複数の適応型レンズから成るアレイによって、可変になり得る。カメラアレイ１０５の複数のカメラが撮像対象の一被写体に向けられると、各カメラはこの被写体のほぼ同様の画像を撮影する。すなわち、各カメラの画像が同様にフレーミングされる。この例示的実施形態においてはカメラアレイ１０５内のカメラが装置１００に組み込まれるが、少なくとも２つのカメラを備えたカメラアレイを装置に少なくとも電気的に接続される別個のデバイスにすることも可能である。

【0023】

カメラアレイ１０５内の複数のカメラのうちの少なくとも１つを装置１００から（およびアレイ１０５から）物理的に除去することも、またはソフトウェアを用いてプログラム的に、すなわち１つ以上のカメラをオフにすることも可能である。更に、１つ以上のカメラを装置１００に（およびアレイ１０５に）物理的に追加することも、またはソフトウェアを用いてプログラム的に追加する、すなわち、１つ以上のカメラをオンにする、ことも可能である。したがって、カメラアレイ１０５内の複数のカメラは連携して、さまざまな種類の画像、例えば、パノラマ画像および他の広視野画像など、視野がそれぞれ異なる複数の画像、の撮影を可能にする。

【0024】

装置１００は、インタフェース手段（図示せず）、例えば、装置１００およびカメラアレイ１０５内のカメラとのユーザのやり取りを可能にするユーザインタフェース、を更に備え得る。ユーザインタフェース手段は、ディスプレイ、タッチスクリーン、キーパッド１０６、または他の構造のうちの１つ以上を用いることによって実現され得る。

【0025】

装置１００は、情報を受信および／または送信するために、例えば通信手段、すなわち通信ブロック（図示せず）、によって、別のデバイスに接続されるべく更に構成され得る。

【0026】

装置１００は、可撓性の適応型カメラアレイを有する、または可撓性の適応型カメラアレイに接続された、従来の非可撓性デバイスでもよい。あるいは、装置１００は、複数のカメラを備えた適応型カメラアレイを具備した可撓性デバイスでもよい。装置１００によって、各カメラの好適なカメラ姿勢を算出すること、すなわち、カメラアレイ１０５内の隣接カメラ間の湾曲角度を求めること、および／または所望のシーンまたは被写体の撮影時に使用されるカメラアレイ１０５内の１つ以上のカメラを選択することが可能である。装置１００は、カメラアレイ１０５を湾曲させるための湾曲手段を更に備え得る。この湾曲手段は、例えばモータまたは他の対応する手段でもよい。

【0027】

図２は、一例示的実施形態による装置２００を示す。図２は、装置２００の裏面のレイアウトを示す。装置２００はスマートフォンであるが、カメラアレイを備えた何れか他の適した携帯デバイス、例えば、携帯電話、カメラデバイス、スマートカメラデバイス、タブレットデバイス、でもよい。本発明の複数の実施形態は、適したカメラ手段を備えたゴリラポッドデバイスなど、何れか他の電子デバイスまたは装置内にも実現され得る。ただし、図示および下記のような装置２００は、この場合も、さまざまな実施形態の恩恵を受け得るデバイスの一種の単なる例に過ぎないことを理解されたい。したがって、装置２００は各実施形態の範囲を限定するとは取られるべきではない。そのため、装置２００に関連して以下に記載されている構成要素のうちの少なくともいくつかは任意使用にし得るので、一例示的実施形態において、装置２００は、図２の例示的実施形態に関連して説明されている構成要素より多くの、または少ない、またはこれら構成要素とは異なる、構成要素を含み得ることを理解されたい。

【0028】

図２に示されている装置２００は、この装置を組み込んで保護するための筐体２０１を備える。装置２００は、５つのカメラ２０２ａ〜ｅを備えた適応型カメラアレイ２０３を具備する。図２には、カメラアレイ２０３が湾曲されていない、すなわちカメラ２０２ａ〜ｅを備えたカメラアレイ２０３が湾曲されていない、カメラアレイ２０３内のカメラ２０２ａ〜ｅの初期カメラ姿勢が示されている。装置２００は、例えば液晶ディスプレイの形態の、ディスプレイを更に備え得る。本発明の他の複数の実施形態において、ディスプレイは、例えば、静止画像または動画像データ、例えば、装置２００によって撮影された画像または動画像データ、を表示するために適した何れかのディスプレイ技術でもよい。装置２００は、キーパッド、タッチスクリーン、または他のデータ入力手段を更に備え得る。本発明の他の複数の実施形態においては、何れか適したデータまたはユーザインタフェース機構が使用され得る。例えば、ユーザインタフェースは、タッチ検知ディスプレイの一部としてのデータ入力システムまたは仮想キーボードとして実現され得る。一実施形態による装置２００は、通信手段、例えば、他の複数のデバイスへの近距離見通し内通信用の赤外線ポート、を更に備え得る。他の複数の実施形態において、装置２００は、通信手段に加え、他のデバイス（単数または複数）への電話接続の形成に適した遠隔通信手段を更に備え得る。他の複数の実施形態において、装置２００は、何れか適した近距離通信ソリューション、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）無線接続、ＮＦＣ（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）接続、またはＵＳＢ／ファイアワイヤ有線接続（図示せず）など、を更に備え得る。装置２００は、オーディオ入力手段２０５とオーディオ出力手段２０６とを更に備え得る。これら手段は、本発明の複数の実施形態においては、オーディオ信号、例えば動画像の音声部分、を生成するために適した、イヤピース、アナログオーディオのスピーカ、またはアナログ出力接続、またはデジタルオーディオ出力接続のうちの何れか１つでもよい。装置２００は、カメラアレイ２０３を湾曲させるための湾曲手段を更に備え得る。この湾曲手段は、例えばモータまたは他の相当する手段でもよい。

【0029】

図３は、一例示的実施形態による適応型カメラアレイデバイスを示す。デバイス３００は、７つのカメラ３０１を有するカメラアレイを備えたゴリラポッドデバイスである。配置されるカメラの数は、これより多くても少なくてもよい。デバイス３００は、デバイス３００以外のデバイスも備えたシステム３０３の一部でもよい。例えば、デバイス３００は、他のデバイス（単数または複数）への接続の形成に適した通信手段を介して携帯デバイス３０４に接続され得る。この通信手段は、例えば、何れか適した近距離通信ソリューション、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）無線接続、ＮＦＣ（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）接続、またはＵＳＢ／ファイアワイヤ有線接続など、でもよい。

【0030】

デバイス３００は湾曲可能である。したがって、携帯デバイス３０４は、例えば、本発明の複数の実施形態によるカメラ姿勢を求める方法、サイズおよび深度を求める方法、または必要なカメラ数を求める方法を実施するために必要な電子素子および回路を収容し得る。ただし、例えば、本発明の複数の実施形態によると、カメラ姿勢を求める方法、サイズおよび深度を求める方法、またはカメラの数を求める方法を実施するために必要な電子素子および回路をゴリラポッドデバイス３００に収容することも可能である。したがって、所望されるように被写体またはシーンの撮影を可能にするために、特定の方法でデバイス３００を自動的に湾曲させるシステムによって１つ以上のカメラ３０１の姿勢が求められ、かつ調整され得る。換言すると、携帯デバイス３０４またはゴリラポッドデバイス３００は、カメラアレイ内の各カメラ３０１について好適なカメラ姿勢を自動的に算出し得る。また、光景を撮像するために必要とされる視野を等配分でカバーするべくアレイ内の各カメラ３０１が姿勢付けされるように、ゴリラポッドデバイス３００はシステムまたはユーザによって湾曲され得る。また、撮影対象の所望される画像種別、例えば、ユーザが撮影したい画像／動画像の視野（ＦＯＶ）、に基づき、１つ以上のカメラ３０１を除去または追加可能である。カメラの物理的除去／追加または１つ以上のカメラ３０１のオン／オフ、すなわち起動／停止、のスマート選択のどちらかが可能である。換言すると、適応型カメラアレイを具備したデバイスによるシーンまたは被写体（単数または複数）の撮影時、システムは、このシーンまたは被写体（単数または複数）の撮影のために使用されるカメラの最小数を自動的に求め得る。

【0031】

図４は、一例示的実施形態による適応型カメラアレイを示す。カメラアレイ４００は８つの平行なカメラ４０１〜４０８を備える。図４は、いくつかのカメラパラメータを更に開示している。２つの隣接カメラ間の初期距離ｄ ４０９が示されている。距離ｄは、非湾曲状態では、隣接カメラ間で一定であり得る。更に、各カメラ４０１〜４０８の視野（ｆｏｖ）４１０および焦点距離（ｆ）４４１が示されている。カメラアレイ４００は可撓性でもよい。図４では、カメラアレイ４００は、湾曲されていない初期のカメラ姿勢である。カメラアレイ４００は、カメラ調整システムによって自動的に湾曲される。カメラアレイ構成４００は、別個のデバイスとして、または一体部分として、このカメラ調整システムに接続され得る。

【0032】

図５は、一例示的実施形態による５つのカメラを有する適応型カメラアレイの初期（非湾曲）状態５００および湾曲状態５０１を示す。このシステムは、適したカメラ姿勢（カメラアレイに必要とされる湾曲）を求めた後、必要に応じてカメラアレイを湾曲配置するために、自動的に（例えばモータによって）カメラアレイを湾曲させている、またはユーザを導いている（例えば、ユーザによる湾曲）。適したカメラ姿勢は、撮影が所望される画像種別、使用されるカメラの数、カメラ間の距離、カメラフロー、および／またはカメラの焦点距離に応じて決まり得る。湾曲状態５０１のカメラアレイは、パノラマ画像などの広範囲画像およびパノラマ動画像などの広範囲動画像の撮影時にカメラアレイを回転させずに撮影するために使用され得る。カメラ姿勢を求めるために適した方法の一例が図６に示されている。

【0033】

図６は、一例示的実施形態による特定の視野のための適応型カメラアレイ内の複数のカメラのカメラ姿勢を求めるために適した方法６００のフローチャートを示す。適応型カメラアレイを備えたシステムは、カメラアレイ内の複数のカメラによって特定の視野の撮影を可能にするために、カメラアレイ内の各カメラについて好適なカメラ姿勢を求める、例えば算出する、べく構成される。カメラアレイ内の各カメラのカメラパラメータ、例えば焦点距離（ｆ）、視野（ｆｏｖ）、および２つのカメラ間の初期距離（ｄ）、はシステムには既知であり、例えば事前に定められている。

【0034】

方法６００のステップ６１０において、システムは、ユーザが撮影したい画像／動画像の所望の視野（ＦＯＶ）をユーザ入力として得る。この所望のＦＯＶは、その撮影のために各カメラが構成される画像／動画像の視野を決定し得る。得られた所望のＦＯＶは、例えば、「１８０度のパノラマ」の場合もある。ステップ６２０で、所望のＦＯＶ（例えば１８０度）のために、システムは、適応型アレイ内のカメラの数と所望の視野（ＦＯＶ）とに基づき、各カメラについて好適なカメラ姿勢を算出する。換言すると、システムは、所望のＦＯＶを入力として取り、アレイ内のカメラの数Ｎまたはアレイ内のアクティブなカメラの数を求める、例えばカウントする（既知でない場合）。各カメラの既知の固定視野はｆｏｖである。ステップ６３０で、システムは、各カメラについて、ＦＯＶ／Ｎに等しい平均視野ｒ＿ｆｏｖを求める、例えば算出する。ここで、ｒ＿ｆｏｖは、アレイ内の各カメラがカバーすべきＦＯＶの必要部分である。ステップ６４０で、システムはｆｏｖとｒ＿ｆｏｖとを比較する。ｆｏｖがｒ＿ｆｏｖより小さい場合、アレイ内のこれらＮ個のカメラではＦＯＶをカバーできない。したがって、ｆｏｖがｒ＿ｆｏｖと等しくなるか、これより大きくなるまで、１つ以上のカメラをアレイに追加する必要がある。本方法は、ステップ６５０に進む。このステップでは、アレイ内の更なるカメラを起動するようにユーザに要求するか、またはシステム自体がカメラを起動する。このコンテキストにおいて、起動するとは、カメラをオンにすること、またはカメラをアレイに物理的に追加する、ことを意味し得る。少なくとも１つのカメラが起動された後、本方法はステップ６３０に戻る。ステップ６４０でシステムがｆｏｖはｒ＿ｆｏｖに等しいかそれより大きいと判定すると、本方法はステップ６６０に進む。ステップ６６０では、適応型カメラアレイ内の複数のカメラの視野が一緒に所望のＦＯＶを等配分でカバーするべくアレイ内の各カメラを必要な姿勢にするように、適応型カメラアレイが適した方法で曲げられる（例えば、ユーザがアレイを湾曲させる、またはシステムが、例えばモータによって、アレイを湾曲させる、またはアレイの材料を湾曲可能なスマート材料にし得る）。換言すると、所望のＦＯＶを実現するために、アレイ内の隣接する各２つのカメラセンサ間の湾曲角度を構成するべくアレイを湾曲させる。湾曲可能なスマート材料は、湾曲可能な可撓性のモノリシック材料でも、または湾曲可能材料を介して接続された一組の湾曲不能なモジュールのどちらでもよい。湾曲は、記憶付き材料／金属によることも可能である。

【0035】

図７は、一例示的実施形態による適応型カメラアレイ内の複数のカメラによって被写体のサイズおよび当該被写体の深度測定値を求める方法７００のフローチャートを示す。本方法の各ステップは、適応型カメラアレイ自体によって、またはこのカメラアレイを備えたシステムによって、実施され得る。方法７００のステップ７１０では、アレイ内のあらゆるカメラが同時に被写体の画像を撮影する。ステップ７２０では、適した特徴検出部（単数または複数）、例えば、ＳＩＦＴ（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）特徴検出部（単数または複数）、ＳＵＲＦ（Ｓｐｅｅｄｅｄ−Ｕｐ Ｒｏｂｕｓｔ Ｆｅａｔｕｒｅｓ）検出部（単数または複数）、または何れか他の適した特徴検出部（単数または複数）によって、あらゆる画像から画像特徴が抽出される。ステップ７３０では、撮影された画像間で一致する特徴を見つけるために、撮影されたさまざまな画像にわたってペアワイズ特徴照合が実施される。ペアワイズ特徴照合は、各対の画像間で実施される。ステップ７４０では、撮影された画像間で一致する特徴が推定される。被写体「ａ」の対応する射影ａ１およびａ２が見つかるように、複数の異なるカメラからの一致する画像特徴がユークリッド距離によって推定され得る。カメラの画像センサのサイズは既知であるので、射影ａ１およびａ２の視差が算出され得る。ａ１の視差はｐ１であり、ａ２の視差はｐ２である。一実施形態によるステップ７４０の説明が図８ｂに示されている。ステップ７５０では、２つのカメラ間の初期距離（ｄ）、カメラの焦点距離（ｆ）、ａ１の視差（ｐ１）、およびａ２の視差（ｐ２）は既知であるので、被写体の深度は、次のように算出され得る。

【0036】

【数1】

【0037】

ｔが算出されると、ｄ１およびｄ２が次のように算出され得る。

【0038】

【数2】

【数3】

【0039】

したがって、被写体の２つの点が両方のカメラで見える場合、これら２つの点の実距離を算出できる。この原則によって、被写体境界からのこれらの点が両方のカメラで見える場合、この被写体のサイズを算出可能である。一実施形態によるステップ７５０の説明が図８ｃに示されている。

【0040】

図８ｃは、一例示的実施形態によるＳｆＭ法のアルゴリズムを示す。ＳｆＭ法は、被写体のサイズおよび深度をローカルスケールで算出する、すなわち各画像内のサイズで算出する、ために使用され得る。適応型カメラアレイ内の各カメラについて、カメラパラメータ、例えば、焦点距離（ｆ）、視野（ｆｏｖ）、および２つのカメラ間の初期距離（ｄ）、は既知である。カメラアレイ８３０内のカメラａ８１０およびカメラｂ８２０について、カメラａとカメラｂとを用いて撮影される被写体８４０の最小深度ｔ＿ａｂは式８５０ ｔ＿ａｂ＝ｄ／２＊ｔａｎ（（１８０−ｆｏｖ）／２）によって算出され得る。

【0041】

或るデバイスの適応型カメラアレイによって或る設定で一被写体またはシーンを撮影する場合、このデバイスは各カメラからの被写体の深度を自動的に算出し、この被写体のサイズおよび位置に基づき、カメラアレイ内に余分なカメラが存在するかどうかを判定し得る。一例示的実施形態による必要なカメラ数を求める方法９００のフローチャートが図９に示されている。ステップ９１０では、適応型カメラアレイ内の各カメラによって一被写体の画像が撮影される。ステップ９２０では、当該被写体について、当該被写体の深度とサイズとを推定する／求める。ステップ９３０では、アレイ内で距離が最大のカメラ、例えば、図４のカメラ４０１および４０８、が選択される。これらカメラは、撮像用のアクティブなカメラとして選択される。ステップ９４０では、これらアクティブなカメラについて、最小ｔ（ｔ＝ｄ／２＊ｔａｎ（（１８０−ｆｏｖ）／２））が求められる。ｔが深度と同じかそれより小さい場合（この状況の一例が図１０ａに図示）、現在アクティブなカメラで被写体を十分にカバーできるので、更なるカメラを起動する／オンにする必要はない。それに対し、ｔが深度より大きい場合（この状況の一例が図１０ｂに図示）、現在アクティブなカメラだけでは被写体をカバーできないので、本方法はステップ９５０に進み、更なるカメラが少なくとも１つ、例えば、図４のカメラ４０２、４０３、４０４、４０５、４０６、または４０７が（ユーザによって、またはデバイスによって自動的に）起動される／オンにされる。ここで起動されるカメラは、例えば、アレイ内の真ん中にあるか、または少なくともアレイ内の最大距離のカメラの間にあり得る。本方法は、ｔが深度と同じかそれより小さくなるまで、ステップ９５０からステップ９４０に進む。３つのカメラがアクティブである状況の一例が図１０ｃに示されている。

【0042】

図１１は、一例示的実施形態による適応型カメラアレイ内の各カメラについて望ましいカメラ姿勢を算出する方法のフローチャートを示す。方法１１００のステップ１１１０では、撮影対象の画像のための所望の視野（ＦＯＶ）が得られる。ステップ１１２０では、視野（ｆｏｖ）を有するアクティブなカメラセンサを少なくとも２つ備えたカメラアレイ内の各アクティブなカメラセンサに必要とされる視野（ｒ＿ｆｏｖ）が所望の視野（ＦＯＶ）から求められる。ここで、必要とされる視野は、所望の視野（ＦＯＶ）をアクティブなカメラセンサの数で割ることによって求められる。ステップ１１３０では、視野（ｒ＿ｆｏｖ）とカメラセンサの視野（ｆｏｖ）とが比較される。ステップ１１４０では、必要とされる視野（ｒ＿ｆｏｖ）が視野（ｆｏｖ）と同じかそれより小さい場合は、所望の視野（ＦＯＶ）をカメラセンサアレイ内の複数のカメラセンサによって実現するために、隣接カメラセンサ間の湾曲角度が求められる。

【0043】

さまざまな実施形態はそれぞれ利点をもたらし得る。一実施形態によると、例えば、パノラマまたは広角画像（単数または複数）を一度で、すなわち、シャッターボタンを数回押すことなく、および以降の画像フレーム間でデバイスを回転させずに（およびシャッターボタンを複数回押さずに）、シャッターボタンを１回押すだけで、撮影するために、複数のカメラを備えた適応型カメラアレイを具備した携帯デバイスが使用され得る。パノラマ動画像の撮影にも同じデバイスが使用され得る。また、別の実施形態によると、適応型カメラアレイ付きデバイス／システムは、画像の撮影に必要なカメラ数のみを選択し得るので、余分なカメラ（単数または複数）およびデータの使用が節減される。本発明は、ビューファインダの使用は不適であるが、適したカメラ構成の実現が全手動制御なしに可能なシナリオにおいて適用可能な適応型カメラアレイ付き携帯デバイスを提供する。また、本発明の一実施形態による適応型カメラアレイを具備したデバイスは、パノラマまたは広角撮像におけるカメラアレイの自動湾曲を構成するために、または特定の被写体／シーンの画像を撮影するために必要な、すなわち十分な数の、カメラのみを選択するために、適しているので、データ伝送量が低減され得る。また、自動機能、すなわち自動湾曲またはカメラ数の自動選択により、適応型カメラアレイを具備したデバイスは、遠隔操作および低ビットレート接続での使用にも適している。

【0044】

本発明のさまざまな実施形態は、関連装置に本発明を実施させるメモリ常駐コンピュータプログラムコードの助けによって実現可能である。例えば、デバイスは、データの処理、受信、および送信のための回路および電子素子と、メモリ内のコンピュータプログラムコードと、このコンピュータプログラムコードの実行時に、当該デバイスに一実施形態の諸特徴を実施させるプロセッサとを備え得る。更に、サーバのようなネットワークデバイスは、データの処理、受信、および送信のための回路および電子素子と、メモリ内のコンピュータプログラムコードと、このコンピュータプログラムコードの実行時に一実施形態の諸特徴をネットワークデバイスに実行させるプロセッサとを備える。

【0045】

本発明は上記の実施形態にのみ限定されず、添付の特許請求の範囲内で変更可能であることは明らかである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8a】

【図8b】

【図8c】

【図9】

【図10】

【図11】