特表2018-538712(P2018-538712A)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ クゥアルコム・インコーポレイテッドの特許一覧
特表2018-538712自動ズームを実施するためのシステムおよび方法
<>
  • 特表2018538712-自動ズームを実施するためのシステムおよび方法 図000007
  • 特表2018538712-自動ズームを実施するためのシステムおよび方法 図000008
  • 特表2018538712-自動ズームを実施するためのシステムおよび方法 図000009
  • 特表2018538712-自動ズームを実施するためのシステムおよび方法 図000010
  • 特表2018538712-自動ズームを実施するためのシステムおよび方法 図000011
  • 特表2018538712-自動ズームを実施するためのシステムおよび方法 図000012
  • 特表2018538712-自動ズームを実施するためのシステムおよび方法 図000013
  • 特表2018538712-自動ズームを実施するためのシステムおよび方法 図000014
  • 特表2018538712-自動ズームを実施するためのシステムおよび方法 図000015
  • 特表2018538712-自動ズームを実施するためのシステムおよび方法 図000016
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】特表2018-538712(P2018-538712A)
(43)【公表日】2018年12月27日
(54)【発明の名称】自動ズームを実施するためのシステムおよび方法
(51)【国際特許分類】
   H04N 5/232 20060101AFI20181130BHJP
   G03B 15/00 20060101ALI20181130BHJP
【FI】
   H04N5/232 960
   H04N5/232 480
   G03B15/00 H
   G03B15/00 Q
【審査請求】有
【予備審査請求】有
【全頁数】38
(21)【出願番号】特願2018-515891(P2018-515891)
(86)(22)【出願日】2016年8月5日
(85)【翻訳文提出日】2018年5月11日
(86)【国際出願番号】US2016045838
(87)【国際公開番号】WO2017058362
(87)【国際公開日】20170406
(31)【優先権主張番号】62/233,594
(32)【優先日】2015年9月28日
(33)【優先権主張国】US
(31)【優先権主張番号】14/991,698
(32)【優先日】2016年1月8日
(33)【優先権主張国】US
(81)【指定国】 AP(BW,GH,GM,KE,LR,LS,MW,MZ,NA,RW,SD,SL,ST,SZ,TZ,UG,ZM,ZW),EA(AM,AZ,BY,KG,KZ,RU,TJ,TM),EP(AL,AT,BE,BG,CH,CY,CZ,DE,DK,EE,ES,FI,FR,GB,GR,HR,HU,IE,IS,IT,LT,LU,LV,MC,MK,MT,NL,NO,PL,PT,RO,RS,SE,SI,SK,SM,TR),OA(BF,BJ,CF,CG,CI,CM,GA,GN,GQ,GW,KM,ML,MR,NE,SN,TD,TG),AE,AG,AL,AM,AO,AT,AU,AZ,BA,BB,BG,BH,BN,BR,BW,BY,BZ,CA,CH,CL,CN,CO,CR,CU,CZ,DE,DK,DM,DO,DZ,EC,EE,EG,ES,FI,GB,GD,GE,GH,GM,GT,HN,HR,HU,ID,IL,IN,IR,IS,JP,KE,KG,KN,KP,KR,KZ,LA,LC,LK,LR,LS,LU,LY,MA,MD,ME,MG,MK,MN,MW,MX,MY,MZ,NA,NG,NI,NO,NZ,OM,PA,PE,PG,PH,PL,PT,QA,RO,RS,RU,RW,SA,SC,SD,SE,SG,SK,SL,SM,ST,SV,SY,TH,TJ,TM,TN,TR,TT,TZ,UA,UG,US
(71)【出願人】
【識別番号】595020643
【氏名又は名称】クゥアルコム・インコーポレイテッド
【氏名又は名称原語表記】QUALCOMM INCORPORATED
(74)【代理人】
【識別番号】100108855
【弁理士】
【氏名又は名称】蔵田 昌俊
(74)【代理人】
【識別番号】100109830
【弁理士】
【氏名又は名称】福原 淑弘
(74)【代理人】
【識別番号】100158805
【弁理士】
【氏名又は名称】井関 守三
(74)【代理人】
【識別番号】100112807
【弁理士】
【氏名又は名称】岡田 貴志
(74)【代理人】
【識別番号】100184332
【弁理士】
【氏名又は名称】中丸 慶洋
(72)【発明者】
【氏名】ガオ、ジンルン
(72)【発明者】
【氏名】ガオ、ダシャン
(72)【発明者】
【氏名】ジョン、シン
(72)【発明者】
【氏名】チ、インヨン
【テーマコード(参考)】
5C122
【Fターム(参考)】
5C122DA03
5C122EA41
5C122EA42
5C122FA11
5C122FE02
5C122FE05
5C122FH10
5C122FH12
5C122FH13
5C122HB01
5C122HB10
(57)【要約】
電子デバイスが記載される。電子デバイスはプロセッサを含む。プロセッサは、複数の画像を取得するように構成される。プロセッサは、複数の画像のうちの少なくとも2つの間のグローバル動きを示すグローバル動き情報を取得するようにも構成される。プロセッサは、複数の画像のうちの少なくとも2つの間の、追跡されるオブジェクトの動きを示すオブジェクト追跡情報を取得するようにさらに構成される。プロセッサは、グローバル動き情報およびオブジェクト追跡情報に基づいて自動ズームを実施するようにさらに構成される。自動ズームを実施することは、追跡されるオブジェクトを含むズーム領域を生じさせる。プロセッサは、ズーム領域内の追跡されるオブジェクトのロケーションに基づいて、ズーム領域向けの動き応答速度を決定するように構成される。
【特許請求の範囲】
【請求項1】
プロセッサを備える電子デバイスであって、前記プロセッサは、
複数の画像を取得することと、
前記複数の画像のうちの少なくとも2つの間のグローバル動きを示すグローバル動き情報を取得することと、
前記複数の画像のうちの前記少なくとも2つの間の、追跡されるオブジェクトの動きを示すオブジェクト追跡情報を取得することと、
前記グローバル動き情報および前記オブジェクト追跡情報に基づいて自動ズームを実施することと、ここにおいて、自動ズームを実施することは、前記追跡されるオブジェクトを含むズーム領域を生じ、前記プロセッサは、前記ズーム領域内の前記追跡されるオブジェクトのロケーションに基づいて、前記ズーム領域向けの動き応答速度を決定するように構成される、を行うように構成される、電子デバイス。
【請求項2】
前記プロセッサは、カメラ入力の全視野に基づいてオブジェクト追跡を実施するように構成される、請求項1に記載の電子デバイス。
【請求項3】
前記プロセッサは、前記グローバル動き情報および追跡されるオブジェクトと前記ズーム領域のアンカーポイントとの間の距離に基づいてズーム領域動きを決定するように構成される、請求項1に記載の電子デバイス。
【請求項4】
前記プロセッサは、前記ズーム領域が境界線バッファゾーンに入り、追跡されるオブジェクトが画像境界に向かって移動している場合には、グローバル動きを補償するように構成される、請求項1に記載の電子デバイス。
【請求項5】
前記プロセッサは、前記ズーム領域中の少なくとも2つのゾーンに基づいて、前記ズーム領域向けの前記動き応答速度を決定するように構成される、請求項1に記載の電子デバイス。
【請求項6】
前記プロセッサは、追跡領域と前記ズーム領域とのサイズ比が最小ズーム閾未満である場合にはズームを増大するように構成される、請求項1に記載の電子デバイス。
【請求項7】
前記プロセッサは、前記サイズ比が最大ズーム閾よりも大きい場合にはズームを低下するように構成される、請求項6に記載の電子デバイス。
【請求項8】
前記最小ズーム閾と前記最大ズーム閾との間には一定の範囲がある、請求項7に記載の電子デバイス。
【請求項9】
前記プロセッサは、履歴テーブルに基づいて前記自動ズームを実施するように構成される、請求項1に記載の電子デバイス。
【請求項10】
前記プロセッサは、オブジェクトの動きに基づいて、ズームレベルをフレームごとに調節するように構成される、請求項1に記載の電子デバイス。
【請求項11】
複数の画像を取得することと、
前記複数の画像のうちの少なくとも2つの間のグローバル動きを示すグローバル動き情報を取得することと、
前記複数の画像のうちの前記少なくとも2つの間の、追跡されるオブジェクトの動きを示すオブジェクト追跡情報を取得することと、
前記グローバル動き情報および前記オブジェクト追跡情報に基づいて自動ズームを実施することと、ここにおいて、自動ズームを実施することは、前記追跡されるオブジェクトを含むズーム領域を生じ、自動ズームを実施することは、前記ズーム領域内の追跡されるオブジェクトのロケーションに基づいて、前記ズーム領域向けの動き応答速度を決定することを備える、を備える方法。
【請求項12】
カメラ入力の全視野に基づいてオブジェクト追跡を実施することをさらに備える、請求項11に記載の方法。
【請求項13】
前記グローバル動き情報および追跡されるオブジェクトと前記ズーム領域のアンカーポイントとの間の距離に基づいてズーム領域動きを決定することをさらに備える、請求項11に記載の方法。
【請求項14】
前記ズーム領域が境界線バッファゾーンに入り、追跡されるオブジェクトが画像境界に向かって移動している場合には、グローバル動きを補償することをさらに備える、請求項11に記載の方法。
【請求項15】
前記ズーム領域向けの前記動き応答速度を決定することは、前記ズーム領域中の少なくとも2つのゾーンに基づく、請求項11に記載の方法。
【請求項16】
追跡領域と前記ズーム領域とのサイズ比が最小ズーム閾未満である場合にはズームを増大することをさらに備える、請求項11に記載の方法。
【請求項17】
前記サイズ比が最大ズーム閾よりも大きい場合にはズームを低下することをさらに備える、請求項16に記載の方法。
【請求項18】
前記最小ズーム閾と前記最大ズーム閾との間には一定の範囲がある、請求項17に記載の方法。
【請求項19】
前記自動ズームを実施することは履歴テーブルに基づく、請求項11に記載の方法。
【請求項20】
オブジェクトの動きに基づいて、ズームレベルをフレームごとに調節することをさらに備える、請求項11に記載の方法。
【請求項21】
命令を有する非一時的有形コンピュータ可読媒体を備えるコンピュータプログラム製品であって、前記命令は、
電子デバイスに、複数の画像を取得させるためのコードと、
前記電子デバイスに、前記複数の画像のうちの少なくとも2つの間のグローバル動きを示すグローバル動き情報を取得させるためのコードと、
前記電子デバイスに、前記複数の画像のうちの前記少なくとも2つの間の、追跡されるオブジェクトの動きを示すオブジェクト追跡情報を取得させるためのコードと、
前記電子デバイスに、前記グローバル動き情報および前記オブジェクト追跡情報に基づいて自動ズームを実施させるためのコードと、ここにおいて、自動ズームを実施することは、前記追跡されるオブジェクトを含むズーム領域を生じ、前記電子デバイスに、自動ズームを実施させるための前記コードは、前記電子デバイスに、前記ズーム領域内の前記追跡されるオブジェクトのロケーションに基づいて、前記ズーム領域向けの動き応答速度を決定させるためのコードを備える、を備える、コンピュータプログラム製品。
【請求項22】
前記電子デバイスに、カメラ入力の全視野に基づいてオブジェクト追跡を実施させるためのコードをさらに備える、請求項21に記載のコンピュータプログラム製品。
【請求項23】
前記電子デバイスに、前記グローバル動き情報および追跡されるオブジェクトと前記ズーム領域のアンカーポイントとの間の距離に基づいてズーム領域動きを決定させるためのコードをさらに備える、請求項21に記載のコンピュータプログラム製品。
【請求項24】
前記電子デバイスに、前記ズーム領域向けの前記動き応答速度を決定させるための前記コードは、前記ズーム領域中の少なくとも2つのゾーンに基づく、請求項21に記載のコンピュータプログラム製品。
【請求項25】
前記電子デバイスに、追跡領域と前記ズーム領域とのサイズ比が最小ズーム閾未満である場合にはズームを増大させるためのコードをさらに備える、請求項21に記載のコンピュータプログラム製品。
【請求項26】
複数の画像を取得するための手段と、
前記複数の画像のうちの少なくとも2つの間のグローバル動きを示すグローバル動き情報を取得するための手段と、
前記複数の画像のうちの前記少なくとも2つの間の、追跡されるオブジェクトの動きを示すオブジェクト追跡情報を取得するための手段と、
前記グローバル動き情報および前記オブジェクト追跡情報に基づいて自動ズームを実施するための手段と、ここにおいて、自動ズームを実施することは、前記追跡されるオブジェクトを含むズーム領域を生じ、自動ズームを実施するための前記手段は、前記ズーム領域内の前記追跡されるオブジェクトのロケーションに基づいて、前記ズーム領域向けの動き応答速度を決定するための手段を備える、を備える装置。
【請求項27】
カメラ入力の全視野に基づいてオブジェクト追跡を実施するための手段をさらに備える、請求項26に記載の装置。
【請求項28】
前記グローバル動き情報および追跡されるオブジェクトと前記ズーム領域のアンカーポイントとの間の距離に基づいてズーム領域動きを決定するための手段をさらに備える、請求項26に記載の装置。
【請求項29】
前記ズーム領域向けの前記動き応答速度を決定するための前記手段は、前記ズーム領域中の少なくとも2つのゾーンに基づく、請求項26に記載の装置。
【請求項30】
追跡領域と前記ズーム領域とのサイズ比が最小ズーム閾未満である場合にはズームを増大するための手段をさらに備える、請求項26に記載の装置。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願
[0001]本出願は、「SYSTEMS AND METHODS FOR PERFORMING AUTOMATIC ZOOM」と題する、2015年9月28日に出願された米国仮特許出願第62/233,594号に関連し、その優先権を主張する。
【0002】
[0002]本開示は一般に、電子デバイスに関する。より詳細には、本開示は、自動ズームを実施するためのシステムおよび方法に関する。
【背景技術】
【0003】
[0003]いくつかの電子デバイス(たとえば、カメラ、ビデオカムコーダ、デジタルカメラ、セルラーフォン、スマートフォン、コンピュータ、テレビジョン、自動車、パーソナルカメラ、ウェアラブルカメラ、仮想現実デバイス(たとえば、ヘッドセット)、拡張現実デバイス(たとえば、ヘッドセット)、複合現実デバイス(たとえば、ヘッドセット)、アクションカメラ、監視カメラ、搭載カメラ、接続カメラ、ロボット、ドローン、スマートアプリケーション、ヘルスケア機器、セットトップボックスなど)は、画像をキャプチャし、および/または利用する。たとえば、スマートフォンは、静止画像および/またはビデオ画像をキャプチャし、および/または処理することができる。画像は、処理され、表示され、記憶され、および/または送信され得る。画像は、たとえば、風景および/またはオブジェクトを含むシーンを描写し得る。
【0004】
[0004]いくつかの場合には、自動機能性を提供することが困難な場合がある。たとえば、自動画像キャプチャおよび/または調節を提供することが困難な場合がある。この議論から分かるように、画像キャプチャを向上するシステムおよび方法が有益であり得る。
【発明の概要】
【0005】
[0005]電子デバイスが記載される。電子デバイスはプロセッサを含む。プロセッサは、複数の画像を取得するように構成される。プロセッサは、複数の画像のうちの少なくとも2つの間のグローバル動きを示すグローバル動き情報を取得するようにも構成される。プロセッサは、複数の画像のうちの少なくとも2つの間の、追跡されるオブジェクトの動きを示すオブジェクト追跡情報を取得するようにさらに構成される。プロセッサは、グローバル動き情報およびオブジェクト追跡情報に基づいて自動ズームを実施するようにさらに構成される。自動ズームを実施することは、追跡されるオブジェクトを含むズーム領域を生じさせる。プロセッサは、ズーム領域内の追跡されるオブジェクトのロケーションに基づいて、ズーム領域向けの動き応答速度を決定するように構成される。プロセッサは、ズーム領域中の少なくとも2つのゾーンに基づいて、ズーム領域向けの動き応答速度を決定するように構成され得る。
【0006】
[0006]プロセッサは、カメラ入力の全視野に基づいてオブジェクト追跡を実施するように構成され得る。プロセッサは、グローバル動き情報および追跡されるオブジェクトとズーム領域のアンカーポイントとの間の距離に基づいてズーム領域動きを決定するように構成され得る。プロセッサは、ズーム領域が境界線バッファゾーンに入り、追跡されるオブジェクトが画像境界に向かって移動している場合には、グローバル動きを補償するように構成され得る。
【0007】
[0007]プロセッサは、追跡領域とズーム領域とのサイズ比が最小ズーム閾未満である場合にはズームを増大するように構成され得る。プロセッサは、サイズ比が最大ズーム閾よりも大きい場合にはズームを低下するように構成され得る。最小ズーム閾と最大ズーム閾との間には、一定の範囲があってよい。
【0008】
[0008]プロセッサは、履歴テーブルに基づいて自動ズームを実施するように構成され得る。プロセッサは、オブジェクトの動きに基づいて、ズームレベルをフレームごとに調節するように構成され得る。
【0009】
[0009]方法についても記載される。方法は、複数の画像を取得することを含む。方法は、複数の画像のうちの少なくとも2つの間のグローバル動きを示すグローバル動き情報を取得することも含む。方法は、複数の画像のうちの少なくとも2つの間の、追跡されるオブジェクトの動きを示すオブジェクト追跡情報を取得することをさらに含む。方法は、グローバル動き情報およびオブジェクト追跡情報に基づいて自動ズームを実施することをさらに含む。自動ズームを実施することは、追跡されるオブジェクトを含むズーム領域を生じさせる。自動ズームを実施することは、ズーム領域内の追跡されるオブジェクトのロケーションに基づいて、ズーム領域向けの動き応答速度を決定することを含む。
【0010】
[0010]コンピュータプログラム製品についても記載される。コンピュータプログラム製品は、命令をもつ非一時的有形コンピュータ可読媒体を含む。命令は、電子デバイスに、複数の画像を取得させるためのコードを含む。命令は、電子デバイスに、複数の画像のうちの少なくとも2つの間のグローバル動きを示すグローバル動き情報を取得させるためのコードも含む。命令は、電子デバイスに、複数の画像のうちの少なくとも2つの間の、追跡されるオブジェクトの動きを示すオブジェクト追跡情報を取得させるためのコードをさらに含む。命令は、電子デバイスに、グローバル動き情報およびオブジェクト追跡情報に基づいて自動ズームを実施させるためのコードをさらに含む。自動ズームを実施することは、追跡されるオブジェクトを含むズーム領域を生じさせる。電子デバイスに、自動ズームを実施させるためのコードは、電子デバイスに、ズーム領域内の追跡されるオブジェクトのロケーションに基づいて、ズーム領域向けの動き応答速度を決定させるためのコードを備える。
【0011】
[0011]装置についても記載される。装置は、複数の画像を取得するための手段を含む。装置は、複数の画像のうちの少なくとも2つの間のグローバル動きを示すグローバル動き情報を取得するための手段も含む。装置は、複数の画像のうちの少なくとも2つの間の、追跡されるオブジェクトの動きを示すオブジェクト追跡情報を取得するための手段をさらに含む。装置は、グローバル動き情報およびオブジェクト追跡情報に基づいて自動ズームを実施するための手段をさらに含む。自動ズームを実施することは、追跡されるオブジェクトを含むズーム領域を生じさせる。自動ズームを実施するための手段は、ズーム領域内の追跡されるオブジェクトのロケーションに基づいて、ズーム領域向けの動き応答速度を決定するための手段を含む。
【図面の簡単な説明】
【0012】
図1】[0012]自動ズームを実施ためのシステムおよび方法が実装され得る電子デバイスの一例を示すブロック図。
図2】[0013]自動ズームを実施するための方法の一構成を示す流れ図。
図3】[0014]自動ズームパイプラインの一例を示すブロック図。
図4】[0015]ズーム領域を決定する例を示す図。
図5】[0016]2つのゾーンを用いる2状態手法の例を示す図。
図6】[0017]遷移ゾーンの例を示す図。
図7】[0018]フレーム境界線バッファリングゾーンの例を示す図。
図8】[0019]ズームレベルを制御するための手法の例を示す図。
図9】[0020]自動ズームを実施するための方法の一構成を示す流れ図。
図10】[0021]本明細書に開示されるシステムおよび方法の様々な構成を実装するように構成された電子デバイス内に含まれ得るいくつかの構成要素を示す図。
【発明を実施するための形態】
【0013】
[0022]本明細書で開示するシステムおよび方法は、自動ズームを実施することに関する。ズーミング効果は、様々なアプリケーションにおける特徴である。たとえば、ズーミングは、ユーザが、拡張されたシーンをディスプレイ上で閲覧すること、および/または拡張されたシーンをビデオクリップに記録することのいずれかができるように、画像中の関心領域を拡張し得る。ズーミングのためのいくつかの手法は「ピンチおよびズーム」手法を含むが、これは、ユーザに、視野の中心に位置する拡張された領域が見えるようにすることができるだけである。関心領域が中心に位置しない場合、ズーミングレベルは影響され(たとえば、制限され)得る。その上、「ピンチおよびズーム」手法は、かなりのユーザ入力を求める場合があり、ならびに/または関心オブジェクトが動いている、および/もしくは視野の中心に位置しないとき、良好な性能をもたらさない場合がある。
【0014】
[0023]ズームするためのいくつかの手法は、次のように与えられる。ピンチおよびズームは、スマートフォンカメラアプリケーションにおいて実装され得る、ズームするための手法であり得る。この手法では、ズーミング効果は、フレームの中心エリアを拡張することができる。したがって、関心オブジェクトが中心に位置しないとき、ズーミング効果は、最良ズーミングレベルに達することができず、および/またはシーン中の関心オブジェクトを排除する場合がある。その上、写真および/またはビデオキャプチャに対してズームインおよびアウトするために、かなりのユーザ入力が求められ得る。カメラビューの視野は、ズーミング領域と同じであり得る。したがって、ユーザが、関心オブジェクトを見つけるためにズームインおよびアウトすることによって、移動する関心オブジェクトをキャプチャするのは困難な場合がある。
【0015】
[0024]ピクチャインピクチャ(PiP)は、ズームするための別の手法である。いくつかのデバイスはPiPカメラ特徴を含むことができ、ここで、サブピクチャ(たとえば、より大きいピクチャ中の小さい矩形またはウィンドウ)は、選択されたエリアのズームイン効果を示す。この手法では、ズームされるエリアは、フレームの中心に限定されなくてよく、ほぼ全体の視野を含み得るエリアにズームインすることができる。PiP手法では、ズームされたオブジェクトは通常、PiPの中心に現れ得る。カメラ移動および/または追跡によるシェイクおよびジッタは、拡張される場合があり、劣化した視覚効果を引き起こす場合がある。
【0016】
[0025]スマートフォン上でチームスポーツビデオ(たとえば、サッカーゲーム)をブロードキャストするための自動ビデオズーミングは、別の手法である。この手法では、ズーミングは、検出されたオブジェクト(たとえば、追跡されるサッカーボール)に基づき得る。ズーミング比は、オブジェクト移動に基づき得る。ただし、この手法では、オブジェクトは、ズームされたビューから容易に漏れ得る。
【0017】
[0026]別の手法は、ワイヤレスセンサーを使って追跡し、ズームすることを伴う。この手法では、サイズ情報ではなくロケーションのみが獲得され得る。その上、ズームは、(カメラ制限により)中心に基づくだけであり得る。この手法は、電動のプロ用カメラを、ワイヤレスセンサーに基づいてパンおよびズームするように制御することができる。
【0018】
[0027]上述の説明から分かるように、関心オブジェクトのサイズに従って適切なズーミングレベルを提供する、ならびに/またはオブジェクトが動いている、および/もしくは視野の中心に位置しないときでも、より少ない(たとえば、最小限の)ユーザ入力を使用する、ズーミングのための手法を提供することが有益であり得る。これらの利益をもたらす手法は、向上したユーザエクスペリエンスを提供することができる。
【0019】
[0028]本明細書で開示するシステムおよび方法は、追跡に基づく自動ズームに関し得る。たとえば、追跡に基づく自動ズームは、低減されたユーザ入力(たとえば、ワンタッチ)で、追跡されるオブジェクトのロケーションおよび/またはサイズに従って、安定したズームされたビューを提供する自動機構を提供し得る。本明細書で開示するシステムおよび方法は、良好なユーザエクスペリエンスを達成することができ、高品質画像および/またはビデオクリップをとることが可能であり得る。さらに、本明細書で開示するシステムおよび方法に従って提供され得る、安定したズームされたビューは、シェイクとジッタとを削減することによって有益になり得る。これは、人間の眼がシェイクおよびジッタに敏感であり得るので、有利であり得る。
【0020】
[0029]いくつかの構成では、ズーミング効果は、追跡されるオブジェクトの移動、ロケーション、および/またはサイズに基づいて自動的に変えられ得る。ズーム領域を決定する際に、全体の視野が考慮され得る。たとえば、本明細書で開示するシステムおよび方法は、ズーム領域を決定する際に、画像センサーの全体の視野を使用し得る。言い換えると、ズーム領域制御は、画像センサー視野全体に基づいてよく、ズーム領域自体におけるビューに制限されなくてよい。いくつかの構成では、追跡器は、関心オブジェクトを選択するためのワンタッチ入力を取得することができ、次いで、プレビューおよび/またはビデオキャプチャ中に関心オブジェクトを自動的に追うことができる。追跡器は、依然として元のカメラ視野において稼働することができる。たとえば、追跡器は、クロップされたズーム領域だけでなく、元の視野において稼働し続けることができる。したがって、ズーム領域がデバイス上で閲覧および/またはキャプチャされ得る間、関心オブジェクトは、広角視野(たとえば、カメラセンサーの視野と同じである)内で移動することができ、これにより、拡張され、より焦点の合った視野を提供することができる。
【0021】
[0030]次に、図を参照しながら様々な構成について説明し、ここで、同様の参照番号は機能的に同様の要素を示し得る。本明細書で概して説明し、図に示すシステムおよび方法は、多種多様な異なる構成で構成および設計され得る。したがって、図に表されるいくつかの構成についての以下のより詳細な説明は、請求される範囲を限定するものではなく、システムおよび方法を代表するものにすぎない。
【0022】
[0031]図1は、自動ズームを実施ためのシステムおよび方法が実装され得る電子デバイス102の一例を示すブロック図である。たとえば、電子デバイス102は、1つまたは複数の画像および/またはビデオ中で自動的にズームインおよび/またはズームアウトするように構成され得る。電子デバイス102の例は、カメラ、ビデオカムコーダ、デジタルカメラ、セルラー電話、スマートフォン、コンピュータ(たとえば、デスクトップコンピュータ、ラップトップコンピュータなど)、タブレットデバイス、メディアプレーヤ、テレビ、車両、自動車、パーソナルカメラ、ウェアラブルカメラ、仮想現実デバイス(たとえば、ヘッドセット)、拡張現実デバイス(たとえば、ヘッドセット)、複合現実デバイス(たとえば、ヘッドセット)、アクションカメラ、監視カメラ、搭載カメラ、接続カメラ、ロボット、航空機、ドローン、無人航空機(UAV)、スマートアプリケーション、ヘルスケア機器、ゲーム機、携帯情報端末(PDA)、セットトップボックス、器具などを含む。電子デバイス102は、1つまたは複数の構成要素または要素を含み得る。構成要素または要素のうちの1つまたは複数は、ハードウェア(たとえば、回路機構)またはハードウェアとソフトウェアの組合せ(たとえば、命令をもつプロセッサ)で実装され得る。
【0023】
[0032]いくつかの構成では、電子デバイス102は、プロセッサ112、メモリ122、ディスプレイ124、1つもしくは複数の画像センサー104、1つもしくは複数の光学システム106、および/または通信インターフェース108を含み得る。プロセッサ112は、メモリ122、ディスプレイ124、画像センサー104、光学システム106、および/または通信インターフェース108に結合され(たとえば、それらと電気通信し)得る。プロセッサ112は、汎用シングルチップマイクロプロセッサまたはマルチチップマイクロプロセッサ(たとえば、ARM)、専用マイクロプロセッサ(たとえば、デジタル信号プロセッサ(DSP))、マイクロコントローラ、プログラマブルゲートアレイなどであり得る。プロセッサ112は、中央処理ユニット(CPU)と呼ばれ得る。単一のプロセッサ112が電子デバイス102内に示されているが、代替の構成では、プロセッサの組合せ(たとえば、ISPとアプリケーションプロセッサ、ARMとDSP、など)が使われてもよい。プロセッサ112は、本明細書で開示する1つまたは複数の方法を実装するように構成され得る。
【0024】
[0033]いくつかの構成では、電子デバイス102は、図2図10のうちの1つまたは複数に関連して説明する機能、手順、方法、ステップなどのうちの1つまたは複数を実施することができる。追加または代替として、電子デバイス102は、図2図10のうちの1つまたは複数に関連して説明する構造のうちの1つまたは複数を含み得る。
【0025】
[0034]通信インターフェース108は、電子デバイス102が1つまたは複数の他の電子デバイスと通信することを可能にし得る。たとえば、通信インターフェース108は、ワイヤードおよび/またはワイヤレス通信のためのインターフェースを提供し得る。いくつかの構成では、通信インターフェース108は、無線周波数(RF)信号を送信および/または受信するために、1つまたは複数のアンテナ110に結合され得る。追加または代替として、通信インターフェース108は、1つまたは複数の種類の有線(たとえば、ユニバーサルシリアルバス(USB)、イーサネット(登録商標)など)通信を可能にし得る。
【0026】
[0035]いくつかの構成では、複数の通信インターフェース108が実装および/または使用され得る。たとえば、1つの通信インターフェース108は、セルラー(たとえば、3G、ロングタームエボリューション(LTE(登録商標))、CDMAなど)通信インターフェース108であってよく、別の通信インターフェース108は、イーサネットインターフェースであってよく、別の通信インターフェース108は、ユニバーサルシリアルバス(USB)インターフェースであってよく、さらに別の通信インターフェース108は、ワイヤレスローカルエリアネットワーク(WLAN)インターフェース(たとえば、米国電気電子技術者協会(IEEE)802.11インターフェース)であってよい。いくつかの構成では、通信インターフェース108は、別のデバイス(たとえば、車両、スマートフォン、カメラ、ディスプレイ、リモートサーバなど)に情報(たとえば、画像情報、サラウンドビュー情報など)を送り、および/またはそこから情報を受信することができる。
【0027】
[0036]電子デバイス102は、1つまたは複数の画像(たとえば、デジタル画像、画像フレーム、フレーム、ビデオなど)を取得し得る。たとえば、電子デバイス102は、画像センサー104と、光学システム106の視野内に位置するシーンおよび/またはオブジェクトの画像を画像センサー104上に集束させる光学システム106(たとえば、レンズ)とを含み得る。カメラ(たとえば、可視スペクトルカメラまたはその他)は、少なくとも1つの画像センサーと、少なくとも1つの光学システムとを含み得る。したがって、電子デバイス102は、1つもしくは複数のカメラであってよく、および/またはいくつかの実装形態では、1つもしくは複数のカメラを含み得る。いくつかの構成では、画像センサー104は、1つまたは複数の画像(たとえば、画像フレーム、ビデオ、静止画像、バーストモード画像など)をキャプチャすることができる。光学システム106は、プロセッサ112に結合され、および/またはそれによって制御され得る。追加または代替として、電子デバイス102は、1つまたは複数の画像を、別のデバイス(たとえば、電子デバイス102に結合された1つまたは複数の外部カメラ、ネットワークサーバ、トラフィックカメラ、ドロップカメラ、車両カメラ、ウェブカメラなど)に対して要求し、および/またはそこから受信し得る。いくつかの構成では、電子デバイス102は、通信インターフェース108を介して1つまたは複数の画像を要求および/または受信し得る。たとえば、電子デバイス102は、カメラ(たとえば、画像センサー104、および/または光学システム106)を含んでも、または含まなくてもよく、1つまたは複数のリモートデバイスから画像を受信し得る。画像(たとえば、画像フレーム)のうちの1つまたは複数は、1つもしくは複数のシーンおよび/または1つもしくは複数のオブジェクトを含み得る。
【0028】
[0037]いくつかの構成では、電子デバイス102は画像データバッファ(図示せず)を含み得る。画像データバッファは、画像センサー104および/または外部カメラからの画像データをバッファリング(たとえば、記憶)することができる。バッファリングされた画像データは、プロセッサ112に提供されてよい。
【0029】
[0038]いくつかの構成では、電子デバイス102は、カメラソフトウェアアプリケーションおよび/または1つもしくは複数のディスプレイ124を含み得る。カメラアプリケーションが稼働しているとき、光学システム106の視野内に位置するオブジェクトの画像が、画像センサー104によってキャプチャされ得る。画像センサー104によってキャプチャされている画像は、ディスプレイ124上に提示されてよい。たとえば、1つまたは複数の画像が、ユーザによる閲覧のために、ディスプレイ124に送られ得る。いくつかの構成では、これらの画像は、前にキャプチャされたシーンの画像データを含み得るメモリ122から再生され得る。電子デバイス102によって取得された1つまたは複数の画像は、1つもしくは複数のビデオフレームおよび/または1つもしくは複数の静止画像であり得る。いくつかの構成では、ディスプレイ124は、画像センサー104の全視野および/またはズーム領域を提示することができる。
【0030】
[0039]プロセッサ112は、画像取得器114を含み、および/または実装することができる。1つまたは複数の画像フレームが、画像取得器114に提供されてよい。たとえば、画像取得器114は、1つまたは複数の画像センサー104から、画像フレームを取得し得る。たとえば、画像取得器114は、1つもしくは複数の画像センサー104から、および/または1つもしくは複数の外部カメラから、画像データを受信し得る。上述したように、画像は、電子デバイス102中に含まれる画像センサー104からキャプチャされてよく、または1つもしくは複数のリモートカメラからキャプチャされてよい。
【0031】
[0040]いくつかの構成では、画像取得器114は、1つまたは複数の画像(たとえば、画像フレームなど)を要求および/または受信し得る。たとえば、画像取得器114は、通信インターフェース108を介して、1つまたは複数の画像を、リモートデバイス(たとえば、外部カメラ、リモートサーバ、リモート電子デバイスなど)に対して要求し、および/またはそこから受信し得る。カメラから取得された画像は、自動ズームを実施するように、プロセッサ112によって処理され得る。
【0032】
[0041]プロセッサ112は、オブジェクト追跡器116を含み、および/または実装することができる。画像フレームのうちの1つまたは複数が、オブジェクト追跡器116に提供されてよい。オブジェクト追跡器116は、1つまたは複数の画像フレーム中で1つまたは複数のオブジェクトを追跡することができる。たとえば、オブジェクト追跡器116は、1つまたは複数のオブジェクトを追跡したことに基づいて、オブジェクト追跡情報を取得することができる。オブジェクト追跡情報は、追跡されるオブジェクト(たとえば、追跡領域、境界領域、境界ボックス、関心領域(ROI)など)に対応するロケーション情報および/またはサイズ情報を含み得る。いくつかの構成では、オブジェクト追跡器116は、タッチツートラック(touch-to-track)技法を実装することができる。たとえば、ユーザインターフェース126が、関心オブジェクトを指示する入力(たとえば、タッチ入力、マウスクリック、ジェスチャーなど)を受信し得る。指示は、オブジェクト追跡器116に提供され得る。オブジェクト追跡器116は、関心オブジェクトを含む追跡領域(たとえば、境界領域、境界ボックス、ROIなど)のロケーションおよび/またはサイズを決定することができる。したがって、オブジェクト追跡器116は、いくつかの構成では、比較的少ないユーザ入力(たとえば、ワンタッチ)に基づいて、追跡領域のロケーションとサイズとを提供し得る。追跡情報に基づいて、ズームコントローラ120(たとえば、自動ズーム)は、ズーム領域のズーミングレベルおよび/またはロケーションを決定することができる。オブジェクト追跡器116のいくつかの例は、光学フローを実装し得る。
【0033】
[0042]いくつかの構成では、オブジェクト追跡器116は、(画像フレームのうちの)現在フレームの追跡領域に基づいてオブジェクト追跡を実施し得る。たとえば、オブジェクト追跡器116は、フレームごとに画像内容(たとえば、オブジェクト)を追跡することを試みてよい。オブジェクト追跡は、後続フレーム中の画像内容の推定ロケーションを提供し得る。いくつかの構成では、オブジェクト追跡器116は、動きに基づくオブジェクト追跡を実施し得る。たとえば、オブジェクト追跡器116は、フレームの間のオブジェクトの動き(たとえば、オブジェクトに対応する動きベクトル)を決定することができる。いくつかの構成では、オブジェクト追跡器116は、追跡のためにフレーム減算手法を使用しなくてよい。たとえば、フレーム減算は通常、正しく機能するために、同じ視点から2つのフレームがとられることを必要とし得る。本明細書で開示するシステムおよび方法のいくつかの構成は、同じ観点から2つのフレームがとられることを想定しなくてよい。たとえば、いくつかの構成では、カメラが動いている場合があると想定され得る。
【0034】
[0043]オブジェクト追跡器116は、オブジェクト追跡に基づいて、(画像フレームのうちの)後続フレームの追跡領域(たとえば、境界領域、境界ボックス、ROIなど)を決定することができる。たとえば、オブジェクト追跡器116は、追跡される画像内容に対応する、後続フレームの追跡領域を(たとえば、追跡されるオブジェクトに対応する動きベクトルに従って)生成し得る。いくつかの構成では、オブジェクト追跡器116は、現在フレーム追跡領域から抽出された1つまたは複数の特徴(たとえば、特徴ベクトル)を、対応する後続フレーム追跡領域を決定するのに使用することができる。たとえば、オブジェクト追跡器116は、追跡領域(たとえば、検出された追跡領域、ユーザ入力に対応する追跡領域など)に基づいて、1つまたは複数の特徴を抽出してよい。
【0035】
[0044]プロセッサ112は、グローバル動き推定器118を含み、および/または実装することができる。たとえば、グローバル動き推定手法が、カメラの動きを推定するのに使用される。グローバル動き推定器118は、フレームの間のグローバル動きを推定する(たとえば、グローバル動き推定を実施する)ことができる。グローバル動きは、フレームの間での内容(たとえば、全内容、または一般に内容)の動きであり得る。グローバル動き情報は、グローバル動きのインジケータおよび/または推定値であってよい。いくつかの構成では、グローバル動き情報を決定することは、フレームの間の1つまたは複数の動きベクトルを(たとえば、光学フローを用いて)計算することを含み得る。たとえば、グローバル動きベクトルは、フレームの大部分にまたがり得る。いくつかの構成では、グローバル動きベクトルは、フレームの特定の割合をカバーし得る。たとえば、グローバル動きベクトルは、画像の90%にまたがり、および/または考慮し得る(また、たとえば、境界線を無視し得る)。いくつかの構成では、グローバル動きベクトルは、画像を覆うグリッドパターンにおいて決定され得る。グローバル動きは、いくつかの手法では、入力画像のみに基づいて(たとえば、加速度計および/またはジャイロのような動きセンサーからの動き情報など、他の入力動き情報なしで)決定され得る。
【0036】
[0045]いくつかの構成では、グローバル動き推定器118は、追加または代替として、(たとえば、画像データに加えて)他の動きセンサーデータに基づいてグローバル動きを推定し得る。たとえば、電子デバイス102は、1つまたは複数の加速度計、ジャイロ、および/または他の動きセンサーを含み得る。動きセンサーによって検知された動きデータは、グローバル動き推定器118に与えられてよい。グローバル動き推定器118は、いくつかの構成では、動きデータに基づいてグローバル動き情報(たとえば、グローバル動き推定値)を決定し得る。いくつかの構成では、グローバル動き情報は、機械制御に依存せずに決定され得る。たとえば、グローバル動き情報は、機械制御信号(たとえば、カメラを動かす(たとえば、パンおよびチルト)ための機械アクチュエータを制御する信号)に基づかなくてよい。たとえば、動き制御信号が既知である場合、グローバル動きを推定することは決定論的でなくてよい。
【0037】
[0046]プロセッサ112は、ズームコントローラ120を含み、および/または実装することができる。ズームコントローラ120は、自動ズームを実施することができる。たとえば、ズームコントローラ120は、ズーム領域のロケーション、動き、動き応答速度、サイズ、および/またはズームレベルを制御することができる。ズーム領域とは、画像センサー104および/またはリモートカメラの全視野内の領域であり得る。たとえば、ズーム領域は、全視野の下位領域であってよい(また、たとえば、全視野に相対してよい)。ズーム領域内の画像内容は、画像内容を拡張するために拡大され(たとえば、デジタルにスケーリングされ、および/または強調され、など)得る。いくつかの構成では、自動ズームを実施することは、グローバル動き情報および/またはオブジェクト追跡情報に基づき得る。ズームコントローラ120は、図2図9のうちの1つまたは複数に関連して記載される1つまたは複数の関数、手順、および/または手法に従って自動ズームを実施することができる。
【0038】
[0047]いくつかの構成では、電子デバイス102は、実世界での、追跡情報、オブジェクト移動、および/またはカメラ移動を決定することが可能であり得る。そのような情報は、ズームロケーション算出および/またはシーン安定性を向上するのに使われ得る。
【0039】
[0048]本明細書で開示するシステムおよび方法は、向上したズーミング戦略の1つまたは複数の側面を使用し得る。たとえば、ズーミング戦略は、関心オブジェクトを追うことが可能な場合があり、および/または全体的シーン移動を安定させることを目指すことができる。たとえば、ズームされる領域は、前景(追跡されるオブジェクト)および/またはグローバル動き(たとえば、カメラの動き)に基づいて決定され得る。追跡領域(たとえば、境界領域、境界ボックスなど)のサイズが変わると、ビューは、関心オブジェクトが妥当な比でズーム領域中に現れるように、平滑に更新され得る。追跡されるオブジェクトがフレーム中で欠落し、または追跡器が追跡できなくなった場合、ズーミング戦略は、元の視野(たとえば、全視野)に平滑にフォールバックすればよく、ここで、品質は、自動ズームが提供されないときよりも悪くならない。
【0040】
[0049]本明細書で開示するシステムおよび方法は、以下の特徴のうちの1つまたは複数を実装することができる。たとえば、電子デバイス102は、追跡に基づく自動ズームを実施し得る。いくつかの構成では、ズームコントローラ120は、追跡(たとえば、関心領域(ROI))駆動ズーミング効果をもつ自動ズームを実施することができる。たとえば、ズーミング効果は、追跡されるオブジェクト(たとえば、追跡領域)の移動、ロケーション、および/またはサイズに基づいて自動的に変えられ得る。いくつかの構成では、オブジェクト追跡は、カメラの全体の視野に作用し(たとえば、それをカバーし)得る。たとえば、オブジェクト追跡は、(たとえば、ズーム領域が全視野を含まないときであっても)カメラ入力の全視野に基づき得る。追加または代替として、ズームコントローラ120は、オブジェクトの動きに基づいて、フレームごとにズームレベルを調節することができる。
【0041】
[0050]いくつかの構成では、最小ユーザ入力が使用され得る。たとえば、オブジェクト追跡(たとえば、オブジェクト追跡器116によるオブジェクト追跡)は、単一のオブジェクト指示(たとえば、単一のピクセルの1つの指示)に基づき得る。たとえば、オブジェクト追跡器116は、受信された入力によって示されたロケーション(たとえば、ピクセル)を使用することができる。いくつかの例では、オブジェクト追跡器116は、関心オブジェクトを選択するのに、ワンタッチ入力を使用することができる。他の手法では、オブジェクト追跡器116は、たとえば、マウスクリック入力、タッチパッドタップ入力、視線追跡ロケーション、またはジェスチャー入力から指示されたロケーション(たとえば、ピクセル)を使うことができる。オブジェクト追跡器116は次いで、プレビューおよび/またはビデオキャプチャ中に関心オブジェクトを自動追跡することができる。
【0042】
[0051]いくつかの構成では、全視野処理および/または表示が実装され得る。たとえば、(たとえば、オブジェクト追跡器116による)オブジェクト追跡は、元のカメラ視野(たとえば、視野を狭めることなく、カメラ(たとえば、画像センサー104および光学システム)によってキャプチャされた画像全体)において稼働し得る。したがって、(拡張され、より焦点の合った視野を有する)ズーム領域がデバイス上で提示および/またはキャプチャされ得る間、関心オブジェクトは、広角視野(カメラセンサーのものと同じであってよい)中で移動し得る。たとえば、ズーム領域は、全視野のサブセットを含み得る。ズーム領域が全視野のサブセットであるときでも、追跡は、全視野に基づいて実施され得る(たとえば、全視野を検討し、処理し、および/または考慮に入れることができる)。ズーム領域動きおよび/またはズーム領域動き応答速度は、全視野に関連し得ることに留意されたい。いくつかの手法では、ズーム領域および全視野は、同じ画像センサー(たとえば、カメラ)から提供され得る。
【0043】
[0052]いくつかの構成では、本明細書で開示するシステムおよび方法(たとえば、ズームコントローラ120)は、向上した安定化を実装することができる。グローバル動き推定を利用することによって、たとえば、1つまたは複数の安定化手法が、動き(たとえば、ユーザ)によって引き起こされるジッタを削減するために適用され得る。したがって、より安定した結果が生成され得る。
【0044】
[0053]いくつかの構成では、本明細書で開示するシステムおよび方法(たとえば、ズームコントローラ120)は、平滑なズーミング比遷移を提供することができる。ズーミング比は、オブジェクトのサイズに関連してよく、および/またはスケーリング履歴に基づいて安定されてよく、これにより、平滑なズーミング比遷移と、良好な視覚効果とが生じ得る。いくつかの構成では、ズーム(たとえば、ズーム率、倍率など)は、追跡領域サイズおよびズーム領域サイズに基づき得る。たとえば、ズームレベルは、追跡領域とズーム領域とのサイズ比に基づき得る。たとえば、ズームコントローラ120は、サイズ比が最小ズーム閾未満である場合にはズームを増大してよい。追加または代替として、ズームコントローラ120は、サイズ比が最大ズーム閾よりも大きい場合にはズームを低下してよい。最大ズーム閾および最小ズーム閾は同じであってもよく、異なってもよい。たとえば、最小ズーム閾と最大ズーム閾との間には、一定の範囲があってよい。ズームを制御する、より具体的な例が、図8に関連して示される。
【0045】
[0054]いくつかの構成では、ズームコントローラ120は、グローバル動き情報に基づいてズーム領域動きを決定することができる。たとえば、フレームの間でのズーム領域の動きまたは(たとえば、現在フレーム中での)ズーム領域のロケーションは、(たとえば、前フレームと現在フレームとの間の)グローバル動きに基づいて決定され得る。いくつかの手法では、ズーム領域動き(たとえば、現在フレームにおけるズーム領域ロケーション)は、現在フレームグローバル動き(たとえば、前フレームから現在フレームへのグローバル動き)に基づき得る。いくつかの手法では、1つまたは複数の前フレームのグローバル動き(たとえば、前フレームと前フレームの前のフレームとの間のグローバル動き、より以前のフレームの間のグローバル動きなど)が、ズーム領域動きを決定するのに使用されてよい。いくつかの手法では、ズームコントローラ120は、グローバル動きと、現在フレームズーム領域アンカーポイントと前フレームズーム領域アンカーポイントとの間の差の和に基づいて、ズーム領域動きを決定することができる。追加または代替として、ズームコントローラ120は、グローバル動き、現在フレームズーム領域アンカーポイントと前フレームズーム領域アンカーポイントとの間の差、前フレームグローバル動き、および前フレームズーム領域アンカーポイントと早期フレームズーム領域アンカーポイントとの間の差に基づいてズーム領域動きを決定することができる。グローバル動き情報に基づいてズーム領域動きを決定する、より多くの具体例が、図4に関連して与えられる。ズームコントローラ120は、ズーム領域動き速度および/またはズーム領域加速度に従ってズーム領域動きを決定する(たとえば、算出する、計算する、など)のに、グローバル動き情報(たとえば、グローバル動き)を使用することができる。いくつかの構成では、ズーム領域動きは、機械的パン、チルト、および/またはズーム(たとえば、パン、チルト、および/またはズームのためのモータ、アクチュエータなど)を駆動しなくてよい。
【0046】
[0055]追加または代替として、ズームコントローラ120は、追跡されるオブジェクト(たとえば、追跡領域、追跡領域アンカーポイントなど)とズーム領域のアンカーポイントとの間の距離に基づいてズーム領域動きを決定することができる。たとえば、ズームコントローラ120は、現在フレームの追跡されるオブジェクト(たとえば、現在フレーム追跡領域アンカーポイント)と、ズーム領域の現在フレームアンカーポイントとの間の距離に基づいて、ズーム領域動きを決定することができる。追跡されるオブジェクトとズーム領域アンカーポイントとの間の距離は、ズームコントローラ120によって決定され得る。いくつかの構成では、ズームコントローラ120は、追加または代替として、前フレームの追跡されるオブジェクト(たとえば、前フレーム追跡領域アンカーポイント)と、ズーム領域の前フレームアンカーポイントとの間の距離に基づいてズーム領域動きを決定することができる。グローバル動き情報に基づいてズーム領域動きを決定する、より多くの具体例が、図4に関連して与えられる。ズームコントローラ120は、追跡領域(たとえば、追跡領域アンカーポイント)とズーム領域アンカーポイントとの間の距離ならびに/または距離の(および/もしくはズーム領域の)変化レートに従ってズーム領域動きを決定する(たとえば、算出する、計算する、など)のに、追跡情報(たとえば、追跡領域アンカーポイント)を使用することができる。
【0047】
[0056]いくつかの構成では、ズームコントローラ120は、ズーム領域が境界線バッファゾーンに入り、追跡されるオブジェクトが画像境界に向かって移動している場合に、グローバル動きを補償することができる。たとえば、ズームコントローラ120は、前フレームズーム領域アンカーポイントおよびグローバル動きに基づいて、現在フレームズーム領域アンカーポイントを決定することができる。この場合にグローバル動きを補償する、より詳細な例が、図7に関連して与えられる。
【0048】
[0057]いくつかの構成では、ズームコントローラ120は、ズーム領域内の追跡されるオブジェクトのロケーションに基づいてズーム領域動き応答速度を決定することができる。たとえば、ズームコントローラ120は、(たとえば、視野内の)ズーム領域の水平および/または垂直並進を制御することができる。いくつかの手法では、領域動き応答速度は、ズーム領域内の追跡されるオブジェクト(たとえば、追跡領域)のロケーションに基づいて変化し得る。たとえば、ズームコントローラ120は、追跡されるオブジェクト(たとえば、追跡領域)とズーム領域の境界線との間の近接度に依存して、ズーム領域動き応答速度(たとえば、並進応答速度)を調節することができる。いくつかの構成では、ズーム領域動き応答速度は、ズーム領域の中心の近くではより遅くてよく、ズーム領域の端の近くではより速くてよい。このようにして、ズーム領域は、追跡されるオブジェクト(たとえば、追跡領域)の動きを、ズーム領域の中心の近くではゆっくりと追うことができる。これは、オブジェクトがズーム領域の中心の近くにある間、平滑な遅い動きを可能にし得る。ズーム領域は、追跡されるオブジェクト(たとえば、追跡領域)の動きを、オブジェクトがズーム領域の端に近づくと、素早く追うことができる。この手法は、オブジェクトが追跡領域の境界線に近づくと、ズーム領域が、追跡されるオブジェクトを素早く追うことができることを保証するのを助け得る。
【0049】
[0058]いくつかの構成では、ズーム領域動き応答速度を決定することは、ズーム領域内の2つ以上のゾーンに基づき得る。各ゾーンは、関連付けられたズーム領域動き応答速度を有し得る。一例では、ズーム領域540は2つのゾーンを含み得る。第1のゾーンは低速応答ゾーンであってよく、第2のゾーンは高速応答ゾーンであってよい。低速応答ゾーンは、ズーム領域の中心に位置し得る。高速応答ゾーンは、ズーム領域の端の近くに位置し得る。たとえば、高速応答ゾーンは、低速応答ゾーンを取り巻き、または取り囲み得る。いくつかの実装形態では、低速応答ゾーンは、ズーム領域の中心にある方形ゾーンであってよく、高速応答ゾーンは、低速応答ゾーンとズーム領域の境界線との間にあってよい。追跡されるオブジェクト(たとえば、追跡領域)が低速応答ゾーン内にある間、ズーム領域は、比較的遅いズーム領域動き応答速度を有し得る。追跡されるオブジェクト(たとえば、追跡領域)が(たとえば、部分的または完全に)高速応答ゾーンに入ると、ズーム領域は、比較的速いズーム領域動き応答速度を有し得る。2つのゾーンの例が、図6に関して説明される。異なる数のゾーンが使用され得ることに留意されたい。たとえば、2つ以上のゾーンは各々、対応するズーム領域動き応答速度(たとえば、1つまたは複数の重み)を有し得る。2つ以上のゾーンは、中心ゾーンを超える各追加ゾーンが(たとえば、円形または方形の「金的」パターンの)最後のゾーンを取り囲み、または取り巻くように並べられ得る。
【0050】
[0059]いくつかの構成では、ズーム領域動き応答速度は、複数の重みで制御され得る。たとえば、1つまたは複数の重みが、応答ゾーンの各々に対応してよく(たとえば、低速応答ゾーン向けに重みの第1のセット、および高速応答ゾーン向けに重みの第2のセット)、ならびに/または特定のズーム領域応答速度を指示することができる。たとえば、ズームコントローラ120は、追跡されるオブジェクト(たとえば、追跡領域)が現在位置するゾーンに対応する1つまたは複数の重みを選択すればよい。選択された重みは、対応するズーム領域応答速度を実装し得る。重みの例は、図4に関連して記載される。
【0051】
[0060]いくつかの構成では、ズーム領域動き応答速度は、ズーム領域に相対した、追跡されるオブジェクト(たとえば、追跡領域)のロケーションの連続関数に基づいて決定され得る。たとえば、連続関数は、追跡されるオブジェクトのロケーションをズーム領域動き応答速度にマップし得る。たとえば、ズーム動き応答速度は、追跡されるオブジェクトがズーム領域の中心に位置するときは0であってよく、追跡されるオブジェクトがズーム領域の中心から離れて移動するのに従って、漸次増大し得る。たとえば、連続関数は、追跡されるオブジェクト(たとえば、追跡領域)のロケーションを、ズーム領域動き応答速度を制御する1つまたは複数の重みにマップし得る。
【0052】
[0061]いくつかの構成では、遷移ゾーンが使用され得る。遷移ゾーンとは、異なるズーム領域動き応答ゾーンの間のゾーンであり得る。遷移ゾーンは、異なるズーム領域応答速度の間のジッタリングおよび/または素早い切替えを防止するのに役立ち得る。たとえば、ズームコントローラ120は、追跡されるオブジェクト(たとえば、追跡領域)が遷移ゾーンを超えるまで、ズーム領域動き応答速度を変えることができない。遷移ゾーンの例が、図6に関して説明される。
【0053】
[0062]プロセッサ112は、ズーム情報(たとえば、ズームされた領域情報、クロップされたズーム領域など)を提供することができる。たとえば、プロセッサ112は、ズーム領域を、表示のためにディスプレイ124に提供し得る。追加または代替として、プロセッサ112は、ズーム領域を(たとえば、通信インターフェース108を介して)別のデバイスに送ってよい。いくつかの構成では、ズーム領域(たとえば、クロップされたズーム領域)が提示され得る。ズーム領域は、いくつかの手法では、ディスプレイ124のビューの一部分のみを占め得る(たとえば、ピクチャインピクチャ(PiP)、ピクチャアンドピクチャなど)。たとえば、ズーム領域は、全視野の上に提示され得る。他の手法では、ズーム領域は、ビュー全体を占め得る。たとえば、ズーム領域がズームインされると、全視野が示されない場合がある。オブジェクト追跡は、全視野が提示されるかどうかにかかわらず、全視野に対して作用し得ることに留意されたい。
【0054】
[0063]本明細書で開示するシステムおよび方法のいくつかの構成は、デジタルズーム手法(たとえば、純粋にデジタルなズーム手法)であり得る。たとえば、自動ズームを実施することは、いくつかの手法では、光学ズーム(たとえば、焦点距離)を変えることを含まない場合がある。したがって、全視野サイズおよび/または光学システム焦点距離は静的であってよい(ただし、視点、カメラの動き、および/またはシーンはフレームごとに変わってよい)。たとえば、自動ズームを実施することは、いくつかの手法では、別個に、および/または光学ズームから独立して遂行され得る(たとえば、焦点距離を使用しなくてよい)。自動ズームを実施することは、いくつかの構成では、光学ズームとともに実施され得ることに留意されたい。
【0055】
[0064]メモリ122は、命令および/またはデータを記憶し得る。プロセッサ112は、メモリ122にアクセスし(たとえば、そこから読み取り、および/またはそこに書き込み)得る。メモリ122によって記憶され得る命令および/またはデータの例は、画像データ(たとえば、ズーム領域データ)、画像取得器114命令、ズームコントローラ120命令、オブジェクト追跡器116命令、および/またはグローバル動き推定器118命令などを含み得る。
【0056】
[0065]メモリ122は、画像と、プロセッサ112による動作を実施するための命令コードとを記憶することができる。メモリ122は、電子情報を記憶することが可能な任意の電子構成要素であってよい。メモリ122は、ランダムアクセスメモリ(RAM)、読取り専用メモリ(ROM)、磁気ディスク記憶媒体、光記憶媒体、RAMのフラッシュメモリデバイス、プロセッサに含まれるオンボードメモリ、EPROMメモリ、EEPROM(登録商標)メモリ、レジスタなど、およびそれらの組合せを含んで具現化され得る。
【0057】
[0066]データおよび命令は、メモリ122に記憶され得る。命令は、本明細書で説明する方法のうちの1つまたは複数を実装するためにプロセッサ112によって実行可能であり得る。命令を実行することは、メモリ122に記憶されたデータの使用を伴い得る。プロセッサ112が命令を実行すると、命令の様々な部分がプロセッサ112上にロードされてよく、様々ないくつかのデータがプロセッサ112上にロードされてよい。
【0058】
[0067]いくつかの構成では、電子デバイス102は、ディスプレイ124上にユーザインターフェース126を提示し得る。たとえば、ユーザインターフェース126は、ユーザが電子デバイス102と対話することを可能にし得る。いくつかの構成では、ユーザインターフェース126は、ユーザが、(追跡および/もしくはズーム用の)オブジェクトを選択し、ならびに/またはズーム挙動についての選好を指示することを可能にし得る。たとえば、ユーザインターフェース126は、タッチ、マウスクリック、ジェスチャーならびに/または追跡および/もしくはズーム用のオブジェクトを識別する何らかの他の指示を受信し得る。
【0059】
[0068]ディスプレイ124は、電子デバイス102の中に統合されてよく、および/または電子デバイス102に結合されてよい。たとえば、電子デバイス102は、統合型ディスプレイをもつスマートフォンであってよい。別の例では、電子デバイス102は、1つもしくは複数のリモートディスプレイ124に、および/または1つもしくは複数のディスプレイ124を含む1つもしくは複数のリモートデバイスに結合され得る。
【0060】
[0069]電子デバイス102(たとえば、プロセッサ112)は、任意選択で、1つまたは複数の種類のデバイスの一部に結合され(たとえば、デバイスに統合され)、デバイスを含み、デバイスを実装し得る。たとえば、電子デバイス102は、カメラを装備するドローンにおいて実装され得る。別の例では、電子デバイス102(たとえば、プロセッサ112)は、アクションカメラにおいて実装され得る。
【0061】
[0070]電子デバイスの要素または構成要素のうちの1つまたは複数は組み合わされ、および/または分割され得ることに留意されたい。たとえば、画像取得器114、ズームコントローラ120、オブジェクト追跡器116および/またはグローバル動き推定器118が組み合わされてよい。追加または代替として、画像取得器114、ズームコントローラ120、オブジェクト追跡器116および/またはグローバル動き推定器118のうちの1つまたは複数は、それらの動作のサブセットを実施する要素または構成要素に分割されてよい。
【0062】
[0071]図2は、自動ズームを実施するための方法200の一構成を示す流れ図である。方法200は、本明細書に記載される電子デバイスのうちの1つまたは複数(たとえば、図1に関連して記載された電子デバイス102)によって実施され得る。電子デバイス102は、202において、複数の画像(たとえば、静止画像、ビデオフレームなど)を取得し得る。これは、図1に関して説明されたように遂行され得る。たとえば、電子デバイス102は、1つもしくは複数の統合型画像センサー(たとえば、カメラ)で複数の画像をキャプチャすることができ、および/またはリモートデバイスから複数の画像を受信することができる。
【0063】
[0072]電子デバイス102は、204において、グローバル動き情報を取得し得る。これは、図1に関して説明されたように遂行され得る。たとえば、電子デバイス102は、(たとえば、光学フローをもつ)後続画像の間の移動に基づいて、および/または1つもしくは複数の動きセンサー動き情報に基づいて、グローバル動き推定値を決定することができる。グローバル動き情報は、カメラおよび/または画像内容が画像の間で移動したかどうか、および/またはどのように移動したかを示し得る。
【0064】
[0073]電子デバイス102は、206において、オブジェクト追跡情報を取得し得る。これは、図1に関して説明されたように遂行され得る。たとえば、電子デバイス102は、画像の間でオブジェクトを追跡することができる。オブジェクト追跡情報は、オブジェクトが画像の間で移動したかどうか、および/またはどのように移動したかを示し得る。たとえば、オブジェクト追跡情報は、現在フレームにおける関心領域、オブジェクトの動きを示す動きベクトルなどを含み得る。
【0065】
[0074]電子デバイス102は、208において、グローバル動き情報およびオブジェクト追跡情報に基づいて自動ズームを実施し得る。これは、図1に関して説明されたように遂行され得る。たとえば、電子デバイス102は、図1および図3図9のうちの1つまたは複数に関連して説明する手順のうちの1つまたは複数を実施し得る。たとえば、電子デバイス102は、ズーム率を調節してよい(または、しなくてよい)。追加または代替として、電子デバイス102は、ズーム領域動き応答速度および追跡されるオブジェクト(たとえば、追跡領域)のロケーションに基づいて、ズーム領域ロケーションを調節してよい(または、しなくてよい)。いくつかの構成では、電子デバイス102は、ズーム領域動き応答速度を決定することができる。たとえば、電子デバイス102は、追跡されるオブジェクトがズーム領域の中心の近くにあるときは比較的遅いズーム領域動き応答速度を決定してよく、追跡されるオブジェクトがズーム領域の境界線または端の近くにあるときは比較的速いズーム領域動き応答速度を決定してよい。208において自動ズームを実施すると、ズーム領域を生じ、および/または更新し得る。
【0066】
[0075]いくつかの構成では、電子デバイス102は、ズーム領域を提示し得る。たとえば、電子デバイス102は、ディスプレイ(たとえば、統合型またはリモートディスプレイ)にズーム領域を提示し得る。
【0067】
[0076]図3は、自動ズームパイプラインの一例を示すブロック図である。具体的には、図3は、グローバル動き推定器318と、オブジェクト追跡器316と、ズームコントローラ320とを示す。グローバル動き推定器318、オブジェクト追跡器316、および/またはズームコントローラ320は、図1および図2のうちの1つまたは複数に関連して記載された対応する要素の例であり得る。
【0068】
[0077]入力画像330(たとえば、入力フレーム)は、グローバル動き推定器318に、オブジェクト追跡器316に、および/またはズームコントローラ320に与えられてよい。グローバル動き推定器318は、カメラの動きおよび/または画像内容を推定することができる。たとえば、グローバル動き推定器318は、画像間(たとえば、フレーム間)カメラ動きを計算することができる。得られたグローバル動き情報は、実世界でのカメラ移動を反映することができ、これは、上述したように、ズームロケーション算出および/またはシーン安定性を向上するのに使用され得る。
【0069】
[0078]オブジェクト追跡器316(たとえば、タッチツートラックオブジェクト追跡器316)は、入力画像330(たとえば、フレーム)におけるオブジェクトの動きと、入力画像330(たとえば、フレーム)におけるオブジェクトサイズとを計算することができる。いくつかの構成では、オブジェクト追跡器316は、タッチツートラック技法を実装することができる。たとえば、最小限のユーザ入力(たとえば、ワンタッチ)で、オブジェクト追跡器116は、関心オブジェクトを含む追跡領域(たとえば、境界領域、境界ボックスなど)のロケーションおよび/またはサイズを決定することができる。追跡情報に基づいて、ズームコントローラ320(たとえば、自動ズーム)は、ズーム領域のズーミングレベルおよび/またはロケーションを決定することができる。
【0070】
[0079]ズームコントローラ320は、クロップされたビデオに対する平滑性制約の下でズーム領域(たとえば、クロップされたフレーム)のロケーションおよび/またはサイズを計算するのに、グローバル動き情報(たとえば、カメラの動きの情報)とオブジェクト追跡情報(たとえば、ターゲットオブジェクト動き情報)とを活用し得る。ズームコントローラ320は、上述した、向上したズーミング戦略の側面のうちの1つまたは複数を実装し得る。たとえば、ズームコントローラ320は、関心オブジェクトを追い、および/または全体的シーン移動を安定させるために、ズーム領域を制御すればよい。追加または代替として、ズームコントローラ320は、(関心オブジェクトを、ズーム領域に対して妥当なサイズ比に保つように)追跡領域のサイズが変わったとき、視野を平滑に更新することができる。追加または代替として、追跡されるオブジェクトが画像(たとえば、フレーム)中で欠落しているとき、および/または追跡が失われたとき、ズームコントローラ320は、元の視野に平滑に戻ることができる。ズームコントローラ320は、クロップされた画像332(たとえば、クロップされたフレーム)を生じ得る。たとえば、ズームコントローラ320は、ズーム領域に従って入力画像330をクロップならびに/またはスケーリングする(および/もしくは別の要素を、クロップおよび/もしくはスケーリングするように制御する)ことができる。たとえば、ズームコントローラ320は、ズーム領域の外にあるどの画像内容もクロップおよび/または破棄してよい。いくつかの構成では、ズームコントローラ320は、クロップされた画像332を特定のサイズ(たとえば、ディスプレイのサイズ、ディスプレイ上のウィンドウのサイズなど)にスケーリングすることができる。
【0071】
[0080]図4は、ズーム領域を決定する例を示す図である。具体的には、図4は、前フレーム434(たとえば、Frame0)と現在フレーム436(たとえば、Frame1)とを示す。図4に示されるように、グローバル動き438(たとえば、前フレーム434と現在フレーム436との間のグローバル動きgn)がフレームの間で起こり得る。たとえば、グローバル動き438は、(たとえば、スマートフォンを携えているユーザの手の移動からの)カメラの移動に起因し得る。図4はまた、前フレームズーム領域440と現在フレームズーム領域442(たとえば、更新されたズーム領域)とを示す。前フレームズーム領域440は、前フレーム追跡領域444(たとえば、ROI、境界ボックスなど)を含み得る。現在フレームズーム領域442は、現在フレーム追跡領域446を含み得る。
【0072】
[0081]図4において、xiは、ズーム領域のズーム領域アンカーポイント(たとえば、中心)ロケーションであり、tiは、追跡(たとえば、追跡領域)の追跡領域アンカーポイント(たとえば、中心)ロケーションであり、未知のパラメータがxn(たとえば、現在の画像またはフレーム向けのズーム領域アンカーポイント)であり、ここで、iはフレームインデックスであり、nは現在フレーム番号である。ズーム領域中のどのポイント(たとえば、アンカーポイント)も、距離を測定するための参照として使用されてよいことに留意されたい。中心ポイントまたはロケーションは、アンカーポイントの一例であり得る。追加または代替として、tiは、いくつかの構成では、追跡領域の中心以外の、追跡領域中のポイントであり得る。ズーム領域中の追跡されるオブジェクトをキャプチャするために、追跡中心およびズームされた領域のアンカーポイントの距離と、その変化レートとを記述するv(x)が公式化され得る。いくつかの構成では、v(x)は、式(1)で与えられるように表され得る。
【0073】
【数1】
【0074】
[0082]ズームされた領域を安定させるために、ズーム領域の動き速度と加速度とを記述するh(x)を公式化することが有益であり得る。いくつかの構成では、h(x)は、式(2)で与えられるように表され得る。グローバル動きgnは、1つまたは複数の次元(たとえば、水平および垂直動き)によって表され得ることに留意されたい。
【0075】
【数2】
【0076】
[0083]ズーム領域は、関数fを最小化するアンカーポイントxnを有し得る。いくつかの構成では、fは、式(3)で与えられるように表され得る。
【0077】
【数3】
【0078】
[0084]4つの係数a0、a1、b0、およびb1は、ズームされた領域がどのように振る舞うかを制御し得る。たとえば、係数は、オブジェクトの動きへの高速応答(たとえば、応答速度)を、ズーム領域をより静的に保つための高慣性状態と交換するように選択され得る。いくつかの構成では、a0+a1+b0+b1=1である。より大きいa値は、ズーム領域動き応答速度を増大することができ(および、たとえばジッタを増大することができ)、より大きいb値は、ズーム領域動き応答速度を低下する(たとえば、平滑性を増大する)ことができる。いくつかの手法では、電子デバイス102は、オブジェクトがズーム領域(たとえば、クロップされたボックス)中のどこにあるかに依存して、応答速度を決定することができる(たとえば、係数を選択することができる)。ズーム領域動き応答速度は、追跡される領域に相対した、ズーム領域の並進(たとえば、垂直および/または水平移動、x−y移動など)を指し得る。たとえば、高いズーム領域動き応答速度が、追跡される領域を密接に追うことになり、低いズーム領域動き応答速度は、追跡される領域に遅れることになる(ただし、たとえば、平滑な動きを呈することになる)。オブジェクトがズーム領域内のどこにあるかによっては、異なる挙動が有益であり得る。
【0079】
[0085]図5は、2つのゾーンを用いる2状態手法の例を示す。具体的には、図5は、フレーム536と、ズーム領域540と、追跡領域546とを示す。この2状態手法では、ズーム領域動き応答速度は、ズーム領域540(たとえば、クロップされた領域)中のオブジェクト(たとえば、追跡領域546)のロケーションに基づいて異なり得る。たとえば、係数aiおよびbiは、ズーム領域540の状態に基づいて(たとえば、ズーム領域540に相対した、追跡領域546のロケーションに基づいて)決定され得る。追跡されるオブジェクトがズーム領域540の低速応答ゾーン548(たとえば、中心エリアを含み得る高慣性ゾーン)内にある(たとえば、その中で移動する)とき、あの、その全体的シーンがより安定するように(たとえば、ズーム領域540が追跡領域546の動きにゆっくり応答するように)、さらなる重みが重みbiに与えられる。
【0080】
[0086]追跡されるオブジェクト(たとえば、追跡領域546)がズーム領域540の高速応答ゾーン中にある(たとえば、低速応答ゾーン548の外に、部分的または完全に移動する)とき、ズーム領域540が、関心オブジェクト(たとえば、追跡領域546)を素早く追い、オブジェクトを低速応答ゾーン548(たとえば、中心ゾーン)に返すことができるように、さらなる重みが重みaiに与えられる。2状態手法は、オブジェクトが低速応答ゾーン548内で移動する(たとえば、小さい、繰り返す動きを有する)とき、ズーム領域540(たとえば、クロップされたフレーム)がジッタリングしないことを確実にし得る。
【0081】
[0087]図6は、遷移ゾーンA〜C652a〜cの例を示す図である。追跡が、異なる応答ゾーン(たとえば、領域)の中に入り、外に出るときにジッタリングをさらに回避するために、複数のゾーンが使用され得る。図6に示されるように、ズーム領域A640aは、3つのゾーン、すなわち、低速応答ゾーンA648a(または内部ゾーン)と、低速応答ゾーンA648aの周りの遷移ゾーンA652a(または中間ゾーン)と、高速応答ゾーンA650a(または外部領域)とを含む。ズーム領域B640bに示されるように、前の状態が、高速応答ゾーンB650bに対応する高速応答状態、(たとえば、追跡されるオブジェクトが、たとえば、高速応答ゾーンB650b中にあったフォロー状態)であるとき、追跡されるオブジェクト(たとえば、追跡領域B646b)は、低速応答状態に変わるために、低速応答ゾーンB648b(または、たとえば内部領域もしくは高慣性ゾーン)に到達しなければならない場合がある。たとえば、追跡領域B646bは、低速応答状態に変わるために、遷移ゾーンB652bを超えなければならない場合がある。ズーム領域C640cに示されるように、追跡されるオブジェクト(たとえば、追跡領域C646c)は、追従するために遷移ゾーンCの外に出なければ(たとえば、高速応答ゾーンC650cに入らなければ)ならない場合がある。たとえば、ズーム領域動き速度(たとえば、状態)は、追跡領域646が遷移ゾーンを出る(または、たとえば超える)まで変わらない場合がある。これは、ジッタ(たとえば、状態の間の素早い切替え)を回避するのを助け得る。
【0082】
[0088]図7は、フレーム境界線バッファリングゾーン754の例を示す図である。フレーム境界線バッファリングゾーン754は、グローバル動きを補償するためのいくつかの手法において使用され得る。図7において、最も外側のボックスは、フレーム736(たとえば、全視野のフレーム)を表す。フレーム境界線バッファリングゾーン754は、フレーム736内の外周に示される。フレーム境界線バッファリングゾーン754は、安定化を強化するのに使用され得る。ズーム領域740(たとえば、クロップされた領域)がフレームバッファリングゾーン754に入ったとき、グローバル動きは、オブジェクトが境界(たとえば、フレーム端)に向かって移動する場合に補償されるだけでよい。このようにして、ジッタが削減され得る。たとえば、ズームコントローラ120は、ズーム領域動きを決定するためにグローバル動きを補償することができる。いくつかの構成では、ズームコントローラ120は、式(4)に従ってグローバル動き補償を実施し得る。
【0083】
【数4】
【0084】
たとえば、式(4)は、式(2)の一部分(たとえば、前半)のみが適用されるときの解を示す。たとえば、ズーム領域がフレーム境界線バッファリングゾーン754に入り、オブジェクトが境界に向かって移動している(たとえば、追跡領域が、フレーム境界に向かう軌道を有する)場合、式(1)および(2)の代わりに、式(4)が適用され得る。
【0085】
[0089]図8は、ズームレベル(たとえば、ズーム率、スケーリング、倍率など)を制御するための手法の例を示す。ターゲットズームレベルは、追跡領域846(たとえば、ROI、追跡ボックス、境界領域、境界ボックスなど)とズーム領域840(たとえば、クロッピング領域)との間のサイズ比に基づいて決定され得る。図8において、最も小さい矩形は追跡領域846(たとえば、ROI、追跡ボックスなど)を表し、外側の(たとえば、最も大きい)矩形はズーム領域840(たとえば、クロッピングボックス)を表す。いくつかの構成では、追跡領域846とズーム領域840との間のサイズ比は、幅と高さとの比の最大であり得る。他のサイズ比が使用されてもよい。サイズ比がズームイン領域858(たとえば、最小ズーム閾)よりも小さい場合、ズームレベルは増大し得る。そうではなく、サイズ比がズームなし領域860(たとえば、最大ズーム閾)よりも大きいか、または、たとえばズームアウト領域856内にある場合、ズームレベルは低下し得る。最小ズーム閾と最大ズーム閾との間には、一定の範囲があってよい。この手法は、安定性を強化することができ、および/またはジッタを回避することができる。
【0086】
[0090]いくつかの構成では、ズームレベルZは、ある範囲(たとえば、[1,max_level])によって境界され得る。ズーミングレベルZは、基準のセットに基づいて決定され得る。たとえば、現在フレームが、オブジェクトを追跡し、領域サイズを提供するとき、現在フレームに先立って、一定の数(たとえば、一定の時間期間)のズーミングレベルを記録するために、ズーミングレベル履歴テーブルHがセットアップされ得る。前のN個のフレームのズームレベルが小さくなっておらず、Zが前のズームレベルZt-1よりも大きい場合、現在のズームレベルはZt=min(Zt-1+1,max_level)であってよく、逆もまた同様である。履歴テーブルは、ズームレベルが劇的に変わって(そうすることによって、不快な視覚効果を生じて)いないことを保証し得る。
【0087】
[0091]現在フレームがオブジェクトを追跡できなくなると、現在の比は、いくつかのフレーム(たとえば、5つのフレーム)について保持されてよく、および/または次いで、全体の視野が示されるまで、平滑にズームアウトしてよい。追加または代替として、追跡できなくなると、シーンは、ズームアウト手順に沿って、ズームされた領域のアンカーポイントを固定することによって安定し得る。
【0088】
[0092]図9は、自動ズームを実施するための方法900の一構成を示す流れ図である。方法900は、たとえば、図1に関して説明した電子デバイス102によって実施され得る。
【0089】
[0093]電子デバイス102は、902において、1つまたは複数の次の画像を取得し得る。たとえば、電子デバイス102は、すでに取得された前の画像に後続する画像を取得し得る。これは、図1図2のうちの1つまたは複数に関して説明したように遂行され得る。
【0090】
[0094]電子デバイス102は、904において、グローバル動き情報を取得し得る。これは、図1図2のうちの1つまたは複数に関して説明したように遂行され得る。
【0091】
[0095]電子デバイスは、906において、オブジェクト追跡情報を取得し得る。これは、図1図2のうちの1つまたは複数に関して説明したように遂行され得る。
【0092】
[0096]電子デバイス102は、908において、ズーム領域内の追跡されるオブジェクトのロケーションに基づいてズーム領域動き応答速度を決定することができる。これは、図1図6のうちの1つまたは複数に関して説明したように遂行され得る。
【0093】
[0097]電子デバイス102は、910において、ズーム領域がフレーム境界線バッファゾーンに入ったかどうかと、追跡されるオブジェクトが画像境界に向かって移動しているかどうかとを決定することができる。これは、図1図2および図7のうちの1つまたは複数に関して説明したように遂行され得る。
【0094】
[0098]ズーム領域がフレーム境界線バッファゾーンに入り、追跡されるオブジェクトが画像境界(たとえば、フレーム境界、視野境界など)に向かって移動している場合、電子デバイス102は、912において、グローバル動きを補償すればよい。これは、図1図2および図7のうちの1つまたは複数に関して説明したように遂行され得る。たとえば、電子デバイス102は、(たとえば、式(1)および/または式(2)の代わりに)式(4)を適用すればよい。
【0095】
[0099]ズーム領域がフレーム境界線バッファゾーンに入っていないか、または追跡されるオブジェクトが画像境界に向かって移動していない場合、電子デバイス102は、914において、グローバル動き情報および追跡されるオブジェクトとズーム領域アンカーポイントとの間の距離に基づいてズーム領域動きを決定することができる。これは、図1図2および図7のうちの1つまたは複数に関して説明したように遂行され得る。たとえば、電子デバイス102は、式(1)、式(2)、および/または式(3)を適用すればよい。
【0096】
[00100]電子デバイス102は、916において、追跡領域とズーム領域とのサイズ比が最小ズーム閾未満であるかどうか決定することができる。これは、図1図2および図8のうちの1つまたは複数に関して説明したように遂行され得る。サイズ比が最小ズーム閾未満である場合、電子デバイス102は、918において、ズームを増大して(例として、たとえば、ズーム率を増大し、倍率を増大し、ズーム領域における画像内容をスケールアップするなどして)よい。これは、図1図2および図8のうちの1つまたは複数に関して説明したように遂行され得る。
【0097】
[00101]サイズ比が最小ズーム閾未満でない場合、電子デバイスは、920において、追跡領域とズーム領域とのサイズ比が最大ズーム閾よりも大きいかどうか決定すればよい。これは、図1図2および図8のうちの1つまたは複数に関して説明したように遂行され得る。サイズ比が最大ズーム閾よりも大きい場合、電子デバイスは、922において、ズームを低下して(例として、たとえば、ズーム率を低下し、倍率を低下し、ズーム領域における画像内容をスケールダウンするなどして)よい。方法900は、1つまたは複数の後のフレームに対して繰り返し得る。
【0098】
[00102]方法900の動作(たとえば、ステップ)のうちの1つまたは複数は、いくつかの構成では任意選択であって(たとえば、実装されなくて)よいことに留意されたい。追加または代替として、方法900の動作(たとえば、ステップ)のうちの1つまたは複数は、異なる順序で並べ替えられてよい。ズーム領域は、912においてグローバル動きを補償し、914においてズーム領域動きを決定し、918においてズームを増大し、および/または922においてズームを低下することによって更新され得ることにも留意されたい。他の場合には、更新されたズーム領域は、前フレームズーム領域と同じであり得る(たとえば、同じ場所に位置し、および/または同じズームを有し得る)。たとえば、更新されたズーム領域は、ズーム領域に変更が行われないとき、ズーム領域動きが0であるとき、および/または決定910、916、920が否定であるときなどに、同じであり得る。
【0099】
[00103]図10は、本明細書に開示されるシステムおよび方法の様々な構成を実装するように構成された電子デバイス1002内に含まれ得るいくつかの構成要素を示す。電子デバイス1002の例は、カメラ、ビデオカムコーダ、デジタルカメラ、セルラー電話、スマートフォン、コンピュータ(たとえば、デスクトップコンピュータ、ラップトップコンピュータなど)、タブレットデバイス、メディアプレーヤ、テレビ、車両、自動車、パーソナルカメラ、ウェアラブルカメラ、仮想現実デバイス(たとえば、ヘッドセット)、拡張現実デバイス(たとえば、ヘッドセット)、複合現実デバイス(たとえば、ヘッドセット)、アクションカメラ、監視カメラ、搭載カメラ、接続カメラ、ロボット、航空機、ドローン、無人航空機(UAV)、スマートアプリケーション、ヘルスケア機器、ゲーム機、携帯情報端末(PDA)、セットトップボックスなどを含み得る。電子デバイス1002は、図1に関して説明した電子デバイス102に従って実装され得る。
【0100】
[00104]電子デバイス1002は、プロセッサ1001を含む。プロセッサ1001は、汎用シングルチップマイクロプロセッサまたはマルチチップマイクロプロセッサ(たとえば、ARM)、専用マイクロプロセッサ(たとえば、デジタル信号プロセッサ(DSP))、マイクロコントローラ、プログラマブルゲートアレイなどであり得る。プロセッサ1001は、中央処理ユニット(CPU)と呼ばれ得る。単一のプロセッサ1001が電子デバイス1002に示されているが、代替の構成では、プロセッサの組合せ(たとえば、ARMとDSP)が実装され得る。
【0101】
[00105]電子デバイス1002は、メモリ1080も含む。メモリ1080は、電子情報を記憶し得る任意の電子構成要素であり得る。メモリ1080は、ランダムアクセスメモリ(RAM)、読取り専用メモリ(ROM)、磁気ディスク記憶媒体、光記憶媒体、RAM中のフラッシュメモリデバイス、プロセッサ内に含まれるオンボードメモリ、EPROMメモリ、EEPROMメモリ、レジスタなど、およびそれらの組合せとして実施され得る。
【0102】
[00106]データ1084aおよび命令1082aが、メモリ1080内に記憶され得る。命令1082aは、本明細書に記載する方法、手順、ステップ、および/または機能のうちの1つまたは複数を実装するように、プロセッサ1001によって実行され得る。命令1082aを実行することは、メモリ1080に記憶されたデータ1084aの使用を伴い得る。プロセッサ1001が命令1082を実行すると、命令1082bの様々な部分がプロセッサ1001上にロードされてよく、および/または様々なデータ1084bがプロセッサ1001上にロードされてよい。
【0103】
[00107]電子デバイス1002はまた、電子デバイス1002への信号の送信、およびそこからの信号の受信を可能にするために、送信機1090および受信機1092を含み得る。送信機1090および受信機1092は、まとめてトランシーバ1094と呼ばれ得る。1つまたは複数のアンテナ1088a〜bが、トランシーバ1094に電気的に結合されてよい。電子デバイス1002はまた、複数の送信機、複数の受信機、複数のトランシーバ、および/または追加のアンテナ(図示せず)を含み得る。
【0104】
[00108]電子デバイス1002はデジタル信号プロセッサ(DSP)1096を含み得る。電子デバイス1002は通信インターフェース1098も含み得る。通信インターフェース1098は、1つまたは複数の種類の入力および/または出力を許可し、および/または可能にすることができる。たとえば、通信インターフェース1098は、他のデバイスを電子デバイス1002にリンクするための1つまたは複数のポートおよび/または通信デバイスを含み得る。いくつかの構成では、通信インターフェース1098は、送信機1090、受信機1092、またはその両方(たとえば、トランシーバ1094)を含み得る。追加または代替として、通信インターフェース1098は、1つまたは複数の他のインターフェース(たとえば、タッチスクリーン、キーパッド、キーボード、マイクロフォン、カメラなど)を含み得る。たとえば、通信インターフェース1098は、ユーザが電子デバイス1002と対話することを可能にし得る。
【0105】
[00109]電子デバイス1002の様々な構成要素は、電力バス、制御信号バス、ステータス信号バス、データバスなどを含み得る、1つまたは複数のバスによって一緒に結合され得る。明快のために、様々なバスがバスシステム1086として図10に示される。
【0106】
[00110]「決定すること」という用語は、様々な行為を包含し、したがって、「決定すること」は、計算すること、算出すること、処理すること、導出すること、調査すること、ルックアップすること(たとえば、テーブル、データベース、または別のデータ構造内でルックアップすること)、確認することなどを含み得る。また、「決定すること」は、受信すること(たとえば、情報を受信すること)、アクセスすること(たとえば、メモリ中のデータにアクセスすること)などを含むことができる。また、「決定すること」は、解決すること、選択すること、選定すること、確立することなどを含むことができる。
【0107】
[00111]「に基づいて」という句は、別段に明示されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という句は、「のみに基づいて」と「に少なくとも基づいて」の両方を表す。
【0108】
[00112]「プロセッサ」という用語は、汎用プロセッサ、中央処理ユニット(CPU)、マイクロプロセッサ、デジタル信号プロセッサ(DSP)、コントローラ、マイクロコントローラ、状態機械などを包含するものと広く解釈されたい。いくつかの状況下では、「プロセッサ」は、特定用途向け集積回路(ASIC)、プログラマブル論理デバイス(PLD)、フィールドプログラマブルゲートアレイ(FPGA)などを指す場合がある。「プロセッサ」という用語は、処理デバイスの組合せ、たとえば、DSPとマイクロプロセッサとの組合せ、複数のマイクロプロセッサ、DSPコアと連携する1つもしくは複数のマイクロプロセッサ、または任意の他のそのような構成を指し得る。
【0109】
[00113]「メモリ」という用語は、電子情報を記憶することが可能な任意の電子構成要素を包含するように広く解釈されるべきである。メモリという用語は、ランダムアクセスメモリ(RAM)、読取り専用メモリ(ROM)、不揮発性ランダムアクセスメモリ(NVRAM)、プログラマブル読取り専用メモリ(PROM)、消去可能プログラマブル読取り専用メモリ(EPROM)、電気的消去可能PROM(EEPROM)、フラッシュメモリ、磁気または光学データストレージ、レジスタなどのような、様々なタイプのプロセッサ可読媒体を指し得る。プロセッサがメモリから情報を読み取り、および/または情報をメモリに書き込むことができる場合、メモリはプロセッサと電子通信していると言われる。プロセッサに一体化されたメモリは、プロセッサと電子通信している。
【0110】
[00114]「命令」および「コード」という用語は、任意のタイプのコンピュータ可読ステートメントを含むように広く解釈されるべきである。たとえば、「命令」および「コード」という用語は、1つまたは複数のプログラム、ルーチン、サブルーチン、関数、手順などを指す場合がある。「命令」および「コード」は、単一のコンピュータ可読ステートメントまたは多くのコンピュータ可読ステートメントを備えることができる。
【0111】
[00115]本明細書で説明された機能は、ハードウェアによって実行されるソフトウェアまたはファームウェアで実装され得る。機能は、コンピュータ可読媒体上に1つまたは複数の命令として記憶され得る。「コンピュータ可読媒体」または「コンピュータプログラム製品」という用語は、コンピュータまたはプロセッサによってアクセスされ得る任意の有形記憶媒体を指す。例として、限定はしないが、コンピュータ可読媒体は、RAM、ROM、EEPROM、CD−ROMもしくは他の光ディスクストレージ、磁気ディスクストレージもしくは他の磁気記憶デバイス、または命令もしくはデータ構造の形で所望のプログラムコードを担持または記憶するために使用されることが可能であり、コンピュータによってアクセスされることが可能である任意の他の媒体を含み得る。本明細書で使用されるディスク(disk)およびディスク(disc)は、コンパクトディスク(disc)(CD)、レーザーディスク(登録商標)(disc)、光ディスク(disc)、デジタル多用途ディスク(disc)(DVD)、フロッピー(登録商標)ディスク(disk)、およびBlu−ray(登録商標)ディスク(disc)を含み、ディスク(disk)は、通常、データを磁気的に再生し、ディスク(disc)は、データをレーザーで光学的に再生する。コンピュータ可読媒体は、有形であり、非一時的であり得ることに留意されたい。「コンピュータプログラム製品」という用語は、コンピューティングデバイスもしくはプロセッサによって実行、処理または計算され得る、コードまたは命令(たとえば、「プログラム」)と組み合わされた、コンピューティングデバイスまたはプロセッサを指す。本明細書で使用される場合、「コード」という用語は、コンピューティングデバイスまたはプロセッサによって実行可能であるソフトウェア、命令、コードまたはデータを指し得る。
【0112】
[00116]ソフトウェアまたは命令はまた、送信媒体を介して送信され得る。たとえば、ソフトウェアが、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線(DSL)、または赤外線、無線、およびマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、または他のリモートソースから送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、DSL、または赤外線、無線、およびマイクロ波などのワイヤレス技術は、伝送媒体の定義に含まれる。
【0113】
[00117]本明細書で開示した方法は、説明した方法を達成するための1つまたは複数のステップまたはアクションを備える。本方法のステップおよび/またはアクションは、特許請求の範囲から逸脱することなく、互いに交換され得る。言い換えれば、説明した方法の適切な動作のためにステップまたはアクションの特定の順序が必要とされない限り、特定のステップおよび/またはアクションの順序および/または使用は、特許請求の範囲を逸脱することなく修正され得る。
【0114】
[00118]さらに、本明細書に記載の方法および技法を実施するためのモジュールおよび/または他の適切な手段は、デバイスによってダウンロードされ、および/または他の方法で取得され得ることを諒解されたい。たとえば、デバイスは、本明細書で説明した方法を実施するための手段の転送を可能にするために、サーバに結合され得る。代替的に、本明細書で説明した様々な方法は、デバイスが、記憶手段をそのデバイスに結合するかまたは与えると様々な方法を取得し得るように、記憶手段(たとえば、ランダムアクセスメモリ(RAM)、読取り専用メモリ(ROM)、コンパクトディスク(CD)またはフロッピーディスクなどの物理記憶媒体など)によって与えられ得る。
【0115】
[00119]特許請求の範囲は、上記で示した厳密な構成および構成要素に限定されないことを理解されたい。特許請求の範囲から逸脱することなく、本明細書で説明されたシステム、方法、および装置の構成、動作および詳細において、様々な修正、変更および変形が行われ得る。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
【手続補正書】
【提出日】2018年5月11日
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
プロセッサを備える電子デバイスであって、前記プロセッサは、
複数の画像を取得することと、
前記複数の画像のうちの少なくとも2つの間のグローバル動きを決定することと、
カメラ入力の全視野に基づいて、前記複数の画像のうちの前記少なくとも2つの間の、追跡されるオブジェクトの動きを決定することと、
前記グローバル動きおよび前記追跡されるオブジェクトの前記動きに基づいて、前記追跡されるオブジェクトを含むデジタルズーム領域を決定することと、ここにおいて、前記デジタルズーム領域は、前記カメラ入力の前記全視野の下位領域である、
提示のために、ディスプレイに前記デジタルズーム領域を提供することと、を行うように構成される、電子デバイス。
【請求項2】
前記プロセッサは、前記デジタルズーム領域内の前記追跡されるオブジェクトのロケーションに基づいて前記デジタルズーム領域の並進速度を決定するように構成される、請求項1に記載の電子デバイス。
【請求項3】
前記プロセッサは、前記グローバル動き情報および追跡されるオブジェクトと前記デジタルズーム領域のアンカーポイントとの間の距離に基づいて前記デジタルズーム領域動きを決定するように構成される、請求項1に記載の電子デバイス。
【請求項4】
前記プロセッサは、前記デジタルズーム領域が境界線バッファゾーンに入り、追跡されるオブジェクトが画像境界に向かって移動している場合には、グローバル動きを補償するように構成される、請求項1に記載の電子デバイス。
【請求項5】
前記プロセッサは、前記デジタルズーム領域中の少なくとも2つのゾーンに基づいて、前記デジタルズーム領域の並進速度を決定するように構成される、請求項1に記載の電子デバイス。
【請求項6】
前記プロセッサは、追跡領域と前記デジタルズーム領域とのサイズ比が最小ズーム閾未満である場合にはズームを増大するように構成される、請求項1に記載の電子デバイス。
【請求項7】
前記プロセッサは、前記サイズ比が最大ズーム閾よりも大きい場合にはズームを低下するように構成される、請求項6に記載の電子デバイス。
【請求項8】
前記最小ズーム閾と前記最大ズーム閾との間には一定の範囲がある、請求項7に記載の電子デバイス。
【請求項9】
前記プロセッサは、履歴テーブルにさらに基づいて前記デジタルズーム領域決定するように構成される、請求項1に記載の電子デバイス。
【請求項10】
前記プロセッサは、前記全視野でのオブジェクトの動きに基づいて、ズームレベルをフレームごとに調節するように構成される、請求項1に記載の電子デバイス。
【請求項11】
複数の画像を取得することと、
前記複数の画像のうちの少なくとも2つの間のグローバル動きを決定することと、
カメラ入力の全視野に基づいて、前記複数の画像のうちの前記少なくとも2つの間の、追跡されるオブジェクトの動きを決定することと、
前記グローバル動きおび前記追跡されるオブジェクトの前記動きに基づいて、前記追跡されるオブジェクトを含むデジタルズーム領域を決定することと、ここにおいて、前記デジタルズーム領域は、前記カメラ入力の前記全視野の下位領域である
提示のために、ディスプレイに前記デジタルズーム領域を提供することと、を備える方法。
【請求項12】
前記デジタルズーム領域内の前記追跡されるオブジェクトのロケーションに基づいて前記デジタルズーム領域の並進速度を決定することをさらに備える、請求項11に記載の方法。
【請求項13】
前記グローバル動き情報および追跡されるオブジェクトと前記デジタルズーム領域のアンカーポイントとの間の距離に基づいて前記デジタルズーム領域動きを決定することをさらに備える、請求項11に記載の方法。
【請求項14】
前記デジタルズーム領域が境界線バッファゾーンに入り、追跡されるオブジェクトが画像境界に向かって移動している場合には、グローバル動きを補償することをさらに備える、請求項11に記載の方法。
【請求項15】
前記デジタルズーム領域の並進速度を決定することは、前記デジタルズーム領域中の少なくとも2つのゾーンに基づく、請求項11に記載の方法。
【請求項16】
追跡領域と前記デジタルズーム領域とのサイズ比が最小ズーム閾未満である場合にはズームを増大することをさらに備える、請求項11に記載の方法。
【請求項17】
前記サイズ比が最大ズーム閾よりも大きい場合にはズームを低下することをさらに備える、請求項16に記載の方法。
【請求項18】
前記最小ズーム閾と前記最大ズーム閾との間には一定の範囲がある、請求項17に記載の方法。
【請求項19】
前記デジタルズーム領域を決定することは履歴テーブルにさらに基づく、請求項11に記載の方法。
【請求項20】
前記全視野でのオブジェクトの動きに基づいて、ズームレベルをフレームごとに調節することをさらに備える、請求項11に記載の方法。
【請求項21】
命令を有する非一時的有形コンピュータ可読媒体を備えるコンピュータプログラム製品であって、前記命令は、
電子デバイスに、複数の画像を取得させるためのコードと、
前記電子デバイスに、前記複数の画像のうちの少なくとも2つの間のグローバル動きを決定させるためのコードと、
前記電子デバイスに、カメラ入力の全視野に基づいて、前記複数の画像のうちの前記少なくとも2つの間の、追跡されるオブジェクトの動きを決定させるためのコードと、
前記電子デバイスに、前記グローバル動きおび前記追跡されるオブジェクトの前記動きに基づいて、前記追跡されるオブジェクトを含むデジタルズーム領域を決定させるためのコードと、ここにおいて、前記デジタルズーム領域は、前記カメラ入力の前記全視野の下位領域である
前記電子デバイスに、提示のために、ディスプレイに前記デジタルズーム領域を提供させるためのコードと、を備える、コンピュータプログラム製品。
【請求項22】
前記電子デバイスに、前記デジタルズーム領域内の前記追跡されるオブジェクトのロケーションに基づいて前記デジタルズーム領域の並進速度を決定させるためのコードをさらに備える、請求項21に記載のコンピュータプログラム製品。
【請求項23】
前記電子デバイスに、前記グローバル動き情報および追跡されるオブジェクトと前記デジタルズーム領域のアンカーポイントとの間の距離に基づいて前記デジタルズーム領域動きを決定させるためのコードをさらに備える、請求項21に記載のコンピュータプログラム製品。
【請求項24】
前記電子デバイスに、前記デジタルズーム領域の並進速度を決定させるための前記コードは、前記デジタルズーム領域中の少なくとも2つのゾーンに基づく、請求項21に記載のコンピュータプログラム製品。
【請求項25】
前記電子デバイスに、追跡領域と前記デジタルズーム領域とのサイズ比が最小ズーム閾未満である場合にはズームを増大させるためのコードをさらに備える、請求項21に記載のコンピュータプログラム製品。
【請求項26】
複数の画像を取得するための手段と、
前記複数の画像のうちの少なくとも2つの間のグローバル動きを決定するための手段と、
カメラ入力の全視野に基づいて、前記複数の画像のうちの前記少なくとも2つの間の、追跡されるオブジェクトの動きを決定するための手段と、
前記グローバル動きおび前記追跡されるオブジェクトの前記動きに基づいて、前記追跡されるオブジェクトを含むデジタルズーム領域を決定するための手段と、ここにおいて、前記デジタルズーム領域は、前記カメラ入力の前記全視野の下位領域である
提示のために、ディスプレイに前記デジタルズーム領域を提供するための手段、を備える装置。
【請求項27】
前記デジタルズーム領域内の前記追跡されるオブジェクトのロケーションに基づいて前記デジタルズーム領域の並進速度を決定するための手段をさらに備える、請求項26に記載の装置。
【請求項28】
前記グローバル動き情報および追跡されるオブジェクトと前記デジタルズーム領域のアンカーポイントとの間の距離に基づいて前記デジタルズーム領域動きを決定するための手段をさらに備える、請求項26に記載の装置。
【請求項29】
前記デジタルズーム領域中の少なくとも2つのゾーンに基づいて、前記デジタルズーム領域の並進速度を決定するための手をさらに備える、請求項26に記載の装置。
【請求項30】
追跡領域と前記デジタルズーム領域とのサイズ比が最小ズーム閾未満である場合にはズームを増大するための手段をさらに備える、請求項26に記載の装置。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】0115
【補正方法】変更
【補正の内容】
【0115】
[00119]特許請求の範囲は、上記で示した厳密な構成および構成要素に限定されないことを理解されたい。特許請求の範囲から逸脱することなく、本明細書で説明されたシステム、方法、および装置の構成、動作および詳細において、様々な修正、変更および変形が行われ得る。
以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
[C1]
プロセッサを備える電子デバイスであって、前記プロセッサは、
複数の画像を取得することと、
前記複数の画像のうちの少なくとも2つの間のグローバル動きを示すグローバル動き情報を取得することと、
前記複数の画像のうちの前記少なくとも2つの間の、追跡されるオブジェクトの動きを示すオブジェクト追跡情報を取得することと、
前記グローバル動き情報および前記オブジェクト追跡情報に基づいて自動ズームを実施することと、ここにおいて、自動ズームを実施することは、前記追跡されるオブジェクトを含むズーム領域を生じ、前記プロセッサは、前記ズーム領域内の前記追跡されるオブジェクトのロケーションに基づいて、前記ズーム領域向けの動き応答速度を決定するように構成される、を行うように構成される、電子デバイス。
[C2]
前記プロセッサは、カメラ入力の全視野に基づいてオブジェクト追跡を実施するように構成される、C1に記載の電子デバイス。
[C3]
前記プロセッサは、前記グローバル動き情報および追跡されるオブジェクトと前記ズーム領域のアンカーポイントとの間の距離に基づいてズーム領域動きを決定するように構成される、C1に記載の電子デバイス。
[C4]
前記プロセッサは、前記ズーム領域が境界線バッファゾーンに入り、追跡されるオブジェクトが画像境界に向かって移動している場合には、グローバル動きを補償するように構成される、C1に記載の電子デバイス。
[C5]
前記プロセッサは、前記ズーム領域中の少なくとも2つのゾーンに基づいて、前記ズーム領域向けの前記動き応答速度を決定するように構成される、C1に記載の電子デバイス。
[C6]
前記プロセッサは、追跡領域と前記ズーム領域とのサイズ比が最小ズーム閾未満である場合にはズームを増大するように構成される、C1に記載の電子デバイス。
[C7]
前記プロセッサは、前記サイズ比が最大ズーム閾よりも大きい場合にはズームを低下するように構成される、C6に記載の電子デバイス。
[C8]
前記最小ズーム閾と前記最大ズーム閾との間には一定の範囲がある、C7に記載の電子デバイス。
[C9]
前記プロセッサは、履歴テーブルに基づいて前記自動ズームを実施するように構成される、C1に記載の電子デバイス。
[C10]
前記プロセッサは、オブジェクトの動きに基づいて、ズームレベルをフレームごとに調節するように構成される、C1に記載の電子デバイス。
[C11]
複数の画像を取得することと、
前記複数の画像のうちの少なくとも2つの間のグローバル動きを示すグローバル動き情報を取得することと、
前記複数の画像のうちの前記少なくとも2つの間の、追跡されるオブジェクトの動きを示すオブジェクト追跡情報を取得することと、
前記グローバル動き情報および前記オブジェクト追跡情報に基づいて自動ズームを実施することと、ここにおいて、自動ズームを実施することは、前記追跡されるオブジェクトを含むズーム領域を生じ、自動ズームを実施することは、前記ズーム領域内の追跡されるオブジェクトのロケーションに基づいて、前記ズーム領域向けの動き応答速度を決定することを備える、を備える方法。
[C12]
カメラ入力の全視野に基づいてオブジェクト追跡を実施することをさらに備える、C11に記載の方法。
[C13]
前記グローバル動き情報および追跡されるオブジェクトと前記ズーム領域のアンカーポイントとの間の距離に基づいてズーム領域動きを決定することをさらに備える、C11に記載の方法。
[C14]
前記ズーム領域が境界線バッファゾーンに入り、追跡されるオブジェクトが画像境界に向かって移動している場合には、グローバル動きを補償することをさらに備える、C11に記載の方法。
[C15]
前記ズーム領域向けの前記動き応答速度を決定することは、前記ズーム領域中の少なくとも2つのゾーンに基づく、C11に記載の方法。
[C16]
追跡領域と前記ズーム領域とのサイズ比が最小ズーム閾未満である場合にはズームを増大することをさらに備える、C11に記載の方法。
[C17]
前記サイズ比が最大ズーム閾よりも大きい場合にはズームを低下することをさらに備える、C16に記載の方法。
[C18]
前記最小ズーム閾と前記最大ズーム閾との間には一定の範囲がある、C17に記載の方法。
[C19]
前記自動ズームを実施することは履歴テーブルに基づく、C11に記載の方法。
[C20]
オブジェクトの動きに基づいて、ズームレベルをフレームごとに調節することをさらに備える、C11に記載の方法。
[C21]
命令を有する非一時的有形コンピュータ可読媒体を備えるコンピュータプログラム製品であって、前記命令は、
電子デバイスに、複数の画像を取得させるためのコードと、
前記電子デバイスに、前記複数の画像のうちの少なくとも2つの間のグローバル動きを示すグローバル動き情報を取得させるためのコードと、
前記電子デバイスに、前記複数の画像のうちの前記少なくとも2つの間の、追跡されるオブジェクトの動きを示すオブジェクト追跡情報を取得させるためのコードと、
前記電子デバイスに、前記グローバル動き情報および前記オブジェクト追跡情報に基づいて自動ズームを実施させるためのコードと、ここにおいて、自動ズームを実施することは、前記追跡されるオブジェクトを含むズーム領域を生じ、前記電子デバイスに、自動ズームを実施させるための前記コードは、前記電子デバイスに、前記ズーム領域内の前記追跡されるオブジェクトのロケーションに基づいて、前記ズーム領域向けの動き応答速度を決定させるためのコードを備える、を備える、コンピュータプログラム製品。
[C22]
前記電子デバイスに、カメラ入力の全視野に基づいてオブジェクト追跡を実施させるためのコードをさらに備える、C21に記載のコンピュータプログラム製品。
[C23]
前記電子デバイスに、前記グローバル動き情報および追跡されるオブジェクトと前記ズーム領域のアンカーポイントとの間の距離に基づいてズーム領域動きを決定させるためのコードをさらに備える、C21に記載のコンピュータプログラム製品。
[C24]
前記電子デバイスに、前記ズーム領域向けの前記動き応答速度を決定させるための前記コードは、前記ズーム領域中の少なくとも2つのゾーンに基づく、C21に記載のコンピュータプログラム製品。
[C25]
前記電子デバイスに、追跡領域と前記ズーム領域とのサイズ比が最小ズーム閾未満である場合にはズームを増大させるためのコードをさらに備える、C21に記載のコンピュータプログラム製品。
[C26]
複数の画像を取得するための手段と、
前記複数の画像のうちの少なくとも2つの間のグローバル動きを示すグローバル動き情報を取得するための手段と、
前記複数の画像のうちの前記少なくとも2つの間の、追跡されるオブジェクトの動きを示すオブジェクト追跡情報を取得するための手段と、
前記グローバル動き情報および前記オブジェクト追跡情報に基づいて自動ズームを実施するための手段と、ここにおいて、自動ズームを実施することは、前記追跡されるオブジェクトを含むズーム領域を生じ、自動ズームを実施するための前記手段は、前記ズーム領域内の前記追跡されるオブジェクトのロケーションに基づいて、前記ズーム領域向けの動き応答速度を決定するための手段を備える、を備える装置。
[C27]
カメラ入力の全視野に基づいてオブジェクト追跡を実施するための手段をさらに備える、C26に記載の装置。
[C28]
前記グローバル動き情報および追跡されるオブジェクトと前記ズーム領域のアンカーポイントとの間の距離に基づいてズーム領域動きを決定するための手段をさらに備える、C26に記載の装置。
[C29]
前記ズーム領域向けの前記動き応答速度を決定するための前記手段は、前記ズーム領域中の少なくとも2つのゾーンに基づく、C26に記載の装置。
[C30]
追跡領域と前記ズーム領域とのサイズ比が最小ズーム閾未満である場合にはズームを増大するための手段をさらに備える、C26に記載の装置。
【国際調査報告】