(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022045887
(43)【公開日】2022-03-22
(54)【発明の名称】撮影方法及び撮影装置、電子機器、記憶媒体
(51)【国際特許分類】
H04N 5/232 20060101AFI20220314BHJP
H04N 5/225 20060101ALI20220314BHJP
G03B 15/00 20210101ALI20220314BHJP
G06T 7/246 20170101ALI20220314BHJP
【FI】
H04N5/232 939
H04N5/225 800
G03B15/00 U
G03B15/00 Q
G06T7/246
【審査請求】有
【請求項の数】22
【出願形態】OL
(21)【出願番号】P 2021073829
(22)【出願日】2021-04-26
(31)【優先権主張番号】202010942772.2
(32)【優先日】2020-09-09
(33)【優先権主張国・地域又は機関】CN
(71)【出願人】
【識別番号】516180667
【氏名又は名称】北京小米移動軟件有限公司
【氏名又は名称原語表記】Beijing Xiaomi Mobile Software Co.,Ltd.
【住所又は居所原語表記】No.018, Floor 8, Building 6, Yard 33, Middle Xierqi Road, Haidian District, Beijing 100085, China
(74)【代理人】
【識別番号】100095407
【弁理士】
【氏名又は名称】木村 満
(74)【代理人】
【識別番号】100132883
【弁理士】
【氏名又は名称】森川 泰司
(74)【代理人】
【識別番号】100148633
【弁理士】
【氏名又は名称】桜田 圭
(74)【代理人】
【識別番号】100147924
【弁理士】
【氏名又は名称】美恵 英樹
(72)【発明者】
【氏名】林 形省
【テーマコード(参考)】
5C122
5L096
【Fターム(参考)】
5C122DA09
5C122EA12
5C122EA42
5C122EA67
5C122FA18
5C122FC05
5C122FH11
5C122FH14
5C122FK28
5C122FK37
5C122FK41
5C122HB01
5L096CA04
5L096CA22
5L096CA24
5L096DA01
5L096FA09
5L096FA10
5L096FA12
5L096HA05
5L096JA11
(57)【要約】 (修正有)
【課題】移動撮影軌跡を低コストで提示する撮影方法、撮影装置、電子機器及び記憶媒体を提供する。
【解決手段】仮想現実シーン内に移動撮影軌跡を表示する撮影方法であって、画像収集起動命令を受信するステップと、電子機器の画像ファインダーフレーム内で、仮想3次元空間内の被写体の位置に対応するARアンカーポイントを作成するステップと、カメラモジュールの現在位置及びARアンカーポイントに基づいて、画像ファインダーフレーム内で、仮想3次元空間内のカメラモジュールの所望の移動経路を表す移動撮影軌跡を生成するステップと、移動撮影軌跡に基づいて被写体を画像収集するステップと、を備える。
【選択図】
図1
【特許請求の範囲】
【請求項1】
撮影方法であって、カメラモジュールが設けられる電子機器に適用され、前記方法は、
画像収集起動命令を受信するステップと、
前記電子機器の画像ファインダーフレーム内で、仮想3次元空間内の被写体の位置に対応するARアンカーポイントを作成するステップと、
前記カメラモジュールの現在位置及び前記ARアンカーポイントに基づいて、前記画像ファインダーフレーム内で、仮想3次元空間内のカメラモジュールの所望の移動経路を表す移動撮影軌跡を生成するステップと、
前記移動撮影軌跡に基づいて前記被写体を画像収集するステップと、を含む、
ことを特徴とする撮影方法。
【請求項2】
前記電子機器の画像ファインダーフレーム内でARアンカーポイントを作成するステップは、
画像ファインダーフレーム内の各オブジェクトの複数の特徴点を取得するステップと、
前記複数の特徴点のうちの1つをARアンカーポイントとして決定し、前記ARアンカーポイントが配置されたオブジェクトを被写体とし、前記ARアンカーポイントの位置が仮想3次元空間内の前記被写体の位置に対応するステップと、を含む、
ことを特徴とする請求項1に記載の撮影方法。
【請求項3】
画像ファインダーフレーム内の各オブジェクトの複数の特徴点を取得するステップは、
画像ファインダーフレーム内のプレビューシーンの平面画像及び深度画像を取得するステップと、
前記深度画像により前記プレビューシーン内の各オブジェクトの複数の特徴点を取得するステップと、を含む、
ことを特徴とする請求項2に記載の撮影方法。
【請求項4】
画像ファインダーフレーム内の各オブジェクトの複数の特徴点を取得するステップは、
画像ファインダーフレーム内のプレビューシーンの平面画像及び深度画像を取得するステップと、
予め設定された特徴点抽出モデルにより前記平面画像内の複数の特徴点を取得するステップと、
前記深度画像に基づいて、各特徴点の深度データを決定し、各オブジェクトの複数の特徴点を取得するステップと、を含む、
ことを特徴とする請求項2に記載の撮影方法。
【請求項5】
前記カメラモジュールの現在位置及び前記ARアンカーポイントに基づいて、前記画像ファインダーフレーム内で移動撮影軌跡を生成するステップは、
予め設定されたテンプレートライブラリから、移動撮影軌跡のターゲット形状、基準ポイント及び移動撮影軌跡の相対位置を含むターゲットテンプレートを取得するステップと、
前記ARアンカーポイントと前記基準ポイントとが重なった場合、前記現在位置を通過し、かつ前記ターゲットの形状にマッチングする移動撮影軌跡を生成するステップと、を含む、
ことを特徴とする請求項1に記載の撮影方法。
【請求項6】
予め設定されたテンプレートライブラリからターゲットテンプレートを取得するステップは、
予め設定されたテンプレートライブラリ内のテンプレートを表示するステップであって、前記テンプレートは、ズームインテンプレート、ズームアウトテンプレート、パン・ティルトテンプレート、トラックテンプレート、ペデスタルテンプレート、ペデスタルダウンテンプレート及びスピンショットテンプレートのうちの少なくとも1つを含むステップと、
テンプレートの選択を示すトリガ操作が検出された場合、前記トリガ操作に対応するテンプレートをターゲットテンプレートとして取得するステップと、を含む、
ことを特徴とする請求項5に記載の撮影方法。
【請求項7】
前記カメラモジュールの現在位置及び前記ARアンカーポイントに基づいて、前記画像ファインダーフレーム内で移動撮影軌跡を生成するステップは、
予め設定された規則に従い、前記ARアンカーポイント及び前記現在位置に基づいて、少なくとも1本の移動撮影軌跡を生成するステップであって、前記移動撮影軌跡は、ズームイン軌跡、ズームアウト軌跡、パン・ティルト軌跡、トラック軌跡、ペデスタル軌跡、ペデスタルダウン軌跡及びスピンショット軌跡のうちの1本以上を含むステップと、
ユーザによって選択された移動撮影軌跡を生成された移動撮影軌跡として決定するステップと、を含む、
ことを特徴とする請求項1に記載の撮影方法。
【請求項8】
移動撮影軌跡を生成した後に、前記方法は、
前記移動撮影軌跡を前記画像ファインダーフレーム内の各オブジェクトの位置と比較するステップと、
前記移動撮影軌跡にオブジェクトが存在する場合、前記移動撮影軌跡が前記オブジェクトから回避するように、前記オブジェクトの周囲における前記移動撮影軌跡の部分を調整するステップと、をさらに含む、
ことを特徴とする請求項1~7のいずれか1項に記載の撮影方法。
【請求項9】
前記移動撮影軌跡に基づいて前記被写体を画像収集するステップは、
カメラモジュールのリアルタイム位置と、前記移動撮影軌跡を生成する時のカメラモジュールの位置を指す初期位置とを取得するステップと、
初期位置、ARアンカーポイントの位置、及び移動撮影軌跡の空間的関係を取得するステップと、
前記空間的関係に従い、前記初期位置に対する前記リアルタイム位置の相対位置に基づいて、前記ARアンカーポイント及び前記移動撮影軌跡を移動させるステップと、を含む、
ことを特徴とする請求項1~7のいずれか1項に記載の撮影方法。
【請求項10】
前記移動撮影軌跡に基づいて前記被写体を画像収集するステップは、
撮影中に、前記移動撮影軌跡にカメラモジュールが位置するか否かを検出するステップと、
前記移動撮影軌跡に前記カメラモジュールが位置していない場合、前記カメラモジュールが前記移動撮影軌跡から外れていることを通知するように、前記移動撮影軌跡の指定パラメータを調整するステップと、を含む、
ことを特徴とする請求項1に記載の撮影方法。
【請求項11】
撮影装置であって、カメラモジュールが設けられる電子機器に適用され、前記装置は、
画像収集起動命令を受信するための命令受信モジュールと、
前記電子機器の画像ファインダーフレーム内で、仮想3次元空間内の被写体の位置に対応するARアンカーポイントを作成するためのアンカーポイント作成モジュールと、
前記カメラモジュールの現在位置及び前記ARアンカーポイントに基づいて、前記画像ファインダーフレーム内で、仮想3次元空間内のカメラモジュールの所望の移動経路を表す移動撮影軌跡を生成するための軌跡生成モジュールと、
前記移動撮影軌跡に基づいて前記被写体を画像収集するための画像収集モジュールと、を含む、
ことを特徴とする撮影装置。
【請求項12】
前記アンカーポイント作成モジュールは、
画像ファインダーフレーム内の各オブジェクトの複数の特徴点を取得するための特徴点の取得ユニットと、
前記複数の特徴点のうちの1つをARアンカーポイントとして決定するために用いられ、前記ARアンカーポイントが配置されたオブジェクトを被写体とし、前記ARアンカーポイントの位置が仮想3次元空間内の前記被写体の位置に対応するアンカーポイント決定ユニットと、を含む、
ことを特徴とする請求項11に記載の撮影装置。
【請求項13】
前記特徴点の取得ユニットは、
画像ファインダーフレーム内のプレビューシーンの平面画像及び深度画像を取得するための画像取得サブユニットと、
前記深度画像により前記プレビューシーン内の各オブジェクトの複数の特徴点を取得するための特徴点の取得サブユニットと、を含む、
ことを特徴とする請求項12に記載の撮影装置。
【請求項14】
前記特徴点の取得ユニットは、
画像ファインダーフレーム内のプレビューシーンの平面画像及び深度画像を取得するための画像取得サブユニットと、
予め設定された特徴点抽出モデルにより前記平面画像内の複数の特徴点を取得するための特徴点抽出サブユニットと、
前記深度画像に基づいて、各特徴点の深度データを決定し、各オブジェクトの複数の特徴点を取得するための特徴点決定サブユニットと、を含む、
ことを特徴とする請求項12に記載の撮影装置。
【請求項15】
前記軌跡生成モジュールは、
予め設定されたテンプレートライブラリから、移動撮影軌跡のターゲット形状、基準ポイント及び移動撮影軌跡の相対位置を含むターゲットテンプレートを取得するためのモジュール取得ユニットと、
前記ARアンカーポイントと前記基準ポイントとが重なった場合、前記現在位置を通過し、かつ前記ターゲットの形状にマッチングする移動撮影軌跡を生成するための軌跡生成ユニットと、を含む、
ことを特徴とする請求項11に記載の撮影装置。
【請求項16】
前記モジュール取得ユニットは、
予め設定されたテンプレートライブラリ内のテンプレートを表示するためのテンプレート表示サブユニットであって、前記テンプレートは、ズームインテンプレート、ズームアウトテンプレート、パン・ティルトテンプレート、トラックテンプレート、ペデスタルテンプレート、ペデスタルダウンテンプレート及びスピンショットテンプレートのうちの少なくとも1つを含むテンプレート表示サブユニットと、
テンプレートの選択を示すトリガ操作が検出された場合、前記トリガ操作に対応するテンプレートをターゲットテンプレートとして取得するためのテンプレート決定サブユニットと、を含む、
ことを特徴とする請求項15に記載の撮影装置。
【請求項17】
前記軌跡生成モジュールは、
予め設定された規則に従い、前記ARアンカーポイント及び前記現在位置に基づいて、少なくとも1本の移動撮影軌跡を生成するための軌跡生成ユニットであって、前記移動撮影軌跡は、ズームイン軌跡、ズームアウト軌跡、パン・ティルト軌跡、トラック軌跡、ペデスタル軌跡、ペデスタルダウン軌跡及びスピンショット軌跡のうちの1本以上を含む軌跡生成ユニットと、
ユーザによって選択された移動撮影軌跡を生成された移動撮影軌跡として決定するための軌跡決定ユニットと、を含む、
ことを特徴とする請求項11に記載の撮影装置。
【請求項18】
前記移動撮影軌跡を前記画像ファインダーフレーム内の各オブジェクトの位置と比較するための位置比較モジュールと、
前記移動撮影軌跡にオブジェクトが存在する場合、前記移動撮影軌跡が前記オブジェクトから回避するように、前記オブジェクトの周囲における前記移動撮影軌跡の部分を調整するための軌跡調整モジュールと、をさらに含む、
ことを特徴とする請求項11~17のいずれか1項に記載の撮影装置。
【請求項19】
前記画像収集モジュールは、
カメラモジュールのリアルタイム位置と、前記移動撮影軌跡を生成する時のカメラモジュールの位置を指す初期位置とを取得するための位置取得ユニットと、
初期位置、ARアンカーポイントの位置、及び移動撮影軌跡の空間的関係を取得するための関係取得ユニットと、
前記空間的関係に従い、前記初期位置に対する前記リアルタイム位置の相対位置に基づいて、前記ARアンカーポイント及び前記移動撮影軌跡を移動させるための軌跡移動ユニットと、を含む、
ことを特徴とする請求項11~17のいずれか1項に記載の撮影装置。
【請求項20】
前記画像収集モジュールは、
撮影中に、前記移動撮影軌跡にカメラモジュールが位置するか否かを検出するための軌跡検出ユニットと、
前記移動撮影軌跡に前記カメラモジュールが位置していない場合、前記カメラモジュールが前記移動撮影軌跡から外れていることを通知するように、前記移動撮影軌跡の指定パラメータを調整するための軌跡調整ユニットと、を含む、
ことを特徴とする請求項11に記載の撮影装置。
【請求項21】
電子機器であって、
カメラと、
プロセッサと、
前記プロセッサによって実行可能なコンピュータプログラムを記憶するためのメモリと、を含み、
ここで、前記プロセッサは、請求項1~10のいずれか1項に記載の方法を実現するように、前記メモリ内のコンピュータプログラムを実行するように構成される、
ことを特徴とする電子機器。
【請求項22】
コンピュータ読み取り可能な記憶媒体であって、前記記憶媒体における実行可能なコンピュータプログラムは、プロセッサによって実行される時、請求項1~10のいずれか1項に記載の方法を実施することができることを特徴とするコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、制御技術の分野に関し、特に、撮影方法及び撮影装置、電子機器、記憶媒体に関する。
【背景技術】
【0002】
現在、映画やテレビの撮影では、特定の効果のある映像を得るために、カメラの位置を移動させたり、レンズの光軸を変化させたり、レンズの焦点距離を変化させたりして撮影を行う移動レンズ(以下、「移動撮影」と呼ぶ)が一般的に用いられる。上記移動撮影の機能を実現するために、専門家による位置選定、レール敷設などの操作に多くの専門知識とハードウェアが必要となり、一般のエンドユーザにとっては、コストが高く、ハードウェアの持ち運びが不便で、学習コストが極めて高いという不便さがある。
【発明の概要】
【発明が解決しようとする課題】
【0003】
本開示は、関連技術の欠点を解消するために、撮影方法及び撮影装置、電子機器、記憶媒体を提供する。
【課題を解決するための手段】
【0004】
本開示の実施例の第1の態様によれば、カメラモジュールが設けられる電子機器に適用される撮影方法を提供し、前記方法は、
画像収集起動命令を受信するステップと、
前記電子機器の画像ファインダーフレーム内で、仮想3次元空間内の被写体の位置に対応するARアンカーポイントを作成するステップと、
前記カメラモジュールの現在位置及び前記ARアンカーポイントに基づいて、前記画像ファインダーフレーム内で、仮想3次元空間内のカメラモジュールの所望の移動経路を表す移動撮影軌跡を生成するステップと、
前記移動撮影軌跡に基づいて前記被写体を画像収集するステップと、を含む。
【0005】
選択的に、前記電子機器の画像ファインダーフレーム内でARアンカーポイントを作成するステップは、
画像ファインダーフレーム内の各オブジェクトの複数の特徴点を取得するステップと、
前記複数の特徴点のうちの1つをARアンカーポイントとして決定し、前記ARアンカーポイントが配置されたオブジェクトを被写体とし、前記ARアンカーポイントの位置が仮想3次元空間内の前記被写体の位置に対応するステップと、を含む。
【0006】
選択的に、画像ファインダーフレーム内の各オブジェクトの複数の特徴点を取得するステップは、
画像ファインダーフレーム内のプレビューシーンの平面画像及び深度画像を取得するステップと、
前記深度画像により前記プレビューシーン内の各オブジェクトの複数の特徴点を取得するステップと、を含む。
【0007】
選択的に、画像ファインダーフレーム内の各オブジェクトの複数の特徴点を取得するステップは、
画像ファインダーフレーム内のプレビューシーンの平面画像及び深度画像を取得するステップと、
予め設定された特徴点抽出モデルにより前記平面画像内の複数の特徴点を取得するステップと、
前記深度画像に基づいて、各特徴点の深度データを決定し、各オブジェクトの複数の特徴点を取得するステップと、を含む。
【0008】
選択的に、前記カメラモジュールの現在位置及び前記ARアンカーポイントに基づいて、前記画像ファインダーフレーム内で移動撮影軌跡を生成するステップは、
予め設定されたテンプレートライブラリから、移動撮影軌跡のターゲット形状、基準ポイント及び移動撮影軌跡の相対位置を含むターゲットテンプレートを取得するステップと、
前記ARアンカーポイントと前記基準ポイントとが重なった場合、前記現在位置を通過し、かつ前記ターゲットの形状にマッチングする移動撮影軌跡を生成するステップと、を含む。
【0009】
選択的に、予め設定されたテンプレートライブラリからターゲットテンプレートを取得するステップは、
予め設定されたテンプレートライブラリ内の、ズームインテンプレート、ズームアウトテンプレート、パン・ティルトテンプレート、トラックテンプレート、ペデスタルテンプレート、ペデスタルダウンテンプレート及びスピンショットテンプレートのうちの少なくとも1つを含むテンプレートを表示するステップと、
テンプレートの選択を示すトリガ操作が検出された場合、前記トリガ操作に対応するテンプレートをターゲットテンプレートとして取得するステップと、を含む。
【0010】
選択的に、前記カメラモジュールの現在位置及び前記ARアンカーポイントに基づいて、前記画像ファインダーフレーム内で移動撮影軌跡を生成するステップは、
予め設定された規則に従い、前記ARアンカーポイント及び前記現在位置に基づいて、ズームイン軌跡、ズームアウト軌跡、パン・ティルト軌跡、トラック軌跡、ペデスタル軌跡、ペデスタルダウン軌跡及びスピンショット軌跡のうちの1本以上を含む少なくとも1本の移動撮影軌跡を生成するステップと、
ユーザによって選択された移動撮影軌跡を生成された移動撮影軌跡として決定するステップと、を含む。
【0011】
選択的に、移動撮影軌跡を生成した後に、前記方法は、
前記移動撮影軌跡を前記画像ファインダーフレーム内の各オブジェクトの位置と比較するステップと、
前記移動撮影軌跡にオブジェクトが存在する場合、前記移動撮影軌跡が前記オブジェクトから回避するように、前記オブジェクトの周囲における前記移動撮影軌跡の部分を調整するステップと、をさらに含む。
【0012】
選択的に、前記移動撮影軌跡に基づいて前記被写体を画像収集するステップは、
カメラモジュールのリアルタイム位置と、前記移動撮影軌跡を生成する時のカメラモジュールの位置を指す初期位置とを取得するステップと、
初期位置、ARアンカーポイントの位置、及び移動撮影軌跡の空間的関係を取得するステップと、
前記空間的関係に従い、前記初期位置に対する前記リアルタイム位置の相対位置に基づいて、前記ARアンカーポイント及び前記移動撮影軌跡を移動させるステップと、を含む。
【0013】
選択的に、前記移動撮影軌跡に基づいて前記被写体を画像収集するステップは、
撮影中に、前記移動撮影軌跡にカメラモジュールが位置するか否かを検出するステップと、
前記移動撮影軌跡に前記カメラモジュールが位置していない場合、前記カメラモジュールが前記移動撮影軌跡から外れていることを通知するように、前記移動撮影軌跡の指定パラメータを調整するステップと、を含む。
【0014】
本開示の実施例の第2の態様によれば、カメラモジュールが設けられる電子機器に適用される撮影装置を提供し、前記装置は、
画像収集起動命令を受信するための命令受信モジュールと、
前記電子機器の画像ファインダーフレーム内で、仮想3次元空間内の被写体の位置に対応するARアンカーポイントを作成するためのアンカーポイント作成モジュールと、
前記カメラモジュールの現在位置及び前記ARアンカーポイントに基づいて、前記画像ファインダーフレーム内で、仮想3次元空間内のカメラモジュールの所望の移動経路を表す移動撮影軌跡を生成するための軌跡生成モジュールと、
前記移動撮影軌跡に基づいて前記被写体を画像収集するための画像収集モジュールと、を含む。
【0015】
選択的に、前記アンカーポイント作成モジュールは、
画像ファインダーフレーム内の各オブジェクトの複数の特徴点を取得するための特徴点の取得ユニットと、
前記複数の特徴点のうちの1つをARアンカーポイントとして決定するために用いられ、前記ARアンカーポイントが配置されたオブジェクトを被写体とし、前記ARアンカーポイントの位置が仮想3次元空間内の前記被写体の位置に対応するアンカーポイント決定ユニットと、を含む。
【0016】
選択的に、前記特徴点の取得ユニットは、
画像ファインダーフレーム内のプレビューシーンの平面画像及び深度画像を取得するための画像取得サブユニットと、
前記深度画像により前記プレビューシーン内の各オブジェクトの複数の特徴点を取得するための特徴点の取得サブユニットと、を含む。
【0017】
選択的に、前記特徴点の取得ユニットは、
画像ファインダーフレーム内のプレビューシーンの平面画像及び深度画像を取得するための画像取得サブユニットと、
予め設定された特徴点抽出モデルにより前記平面画像内の複数の特徴点を取得するための特徴点抽出サブユニットと、
前記深度画像に基づいて、各特徴点の深度データを決定し、各オブジェクトの複数の特徴点を取得するための特徴点決定サブユニットと、を含む。
【0018】
選択的に、前記軌跡生成モジュールは、
予め設定されたテンプレートライブラリから、移動撮影軌跡のターゲット形状、基準ポイント及び移動撮影軌跡の相対位置を含むターゲットテンプレートを取得するためのモジュール取得ユニットと、
前記ARアンカーポイントと前記基準ポイントとが重なった場合、前記現在位置を通過し、かつ前記ターゲットの形状にマッチングする移動撮影軌跡を生成するための軌跡生成ユニットと、を含む。
【0019】
選択的に、前記モジュール取得ユニットは、
予め設定されたテンプレートライブラリ内の、ズームインテンプレート、ズームアウトテンプレート、パン・ティルトテンプレート、トラックテンプレート、ペデスタルテンプレート、ペデスタルダウンテンプレート及びスピンショットテンプレートのうちの少なくとも1つを含むテンプレートを表示するためのテンプレート表示サブユニットと、
テンプレートの選択を示すトリガ操作が検出された場合、前記トリガ操作に対応するテンプレートをターゲットテンプレートとして取得するためのテンプレート決定サブユニットと、を含む。
【0020】
選択的に、前記軌跡生成モジュールは、
予め設定された規則に従い、前記ARアンカーポイント及び前記現在位置に基づいて、ズームイン軌跡、ズームアウト軌跡、パン・ティルト軌跡、トラック軌跡、ペデスタル軌跡、ペデスタルダウン軌跡及びスピンショット軌跡のうちの1本以上を含む少なくとも1本の移動撮影軌跡を生成するための軌跡生成ユニットと、
ユーザによって選択された移動撮影軌跡を生成された移動撮影軌跡として決定するための軌跡決定ユニットと、を含む。
【0021】
選択的に、前記装置は、
前記移動撮影軌跡を前記画像ファインダーフレーム内の各オブジェクトの位置と比較するための位置比較モジュールと、
前記移動撮影軌跡にオブジェクトが存在する場合、前記移動撮影軌跡が前記オブジェクトから回避するように、前記オブジェクトの周囲における前記移動撮影軌跡の部分を調整するための軌跡調整モジュールと、をさらに含む。
【0022】
選択的に、前記画像収集モジュールは、
カメラモジュールのリアルタイム位置と、前記移動撮影軌跡を生成する時のカメラモジュールの位置を指す初期位置とを取得するための位置取得ユニットと、
初期位置、ARアンカーポイントの位置、及び移動撮影軌跡の空間的関係を取得するための関係取得ユニットと、
前記空間的関係に従い、前記初期位置に対する前記リアルタイム位置の相対位置に基づいて、前記ARアンカーポイント及び前記移動撮影軌跡を移動させるための軌跡移動ユニットと、を含む。
【0023】
選択的に、前記画像収集モジュールは、
撮影中に、前記移動撮影軌跡にカメラモジュールが位置するか否かを検出するための軌跡検出ユニットと、
前記移動撮影軌跡に前記カメラモジュールが位置していない場合、前記カメラモジュールが前記移動撮影軌跡から外れていることを通知するように、前記移動撮影軌跡の指定パラメータを調整するための軌跡調整ユニットと、を含む。
【0024】
本開示の実施例の第3の態様にて提供される電子機器は、
カメラと、
プロセッサと、
前記プロセッサによって実行可能なコンピュータプログラムを記憶するためのメモリと、を含み、
ここで、前記プロセッサは、第1の態様による方法を実現するように、前記メモリ内のコンピュータプログラムを実行するように構成される。
【0025】
本開示の実施例の第4の態様にて提供されるコンピュータ読み取り可能な記憶媒体について、前記記憶媒体における実行可能なコンピュータプログラムは、プロセッサによって実行される時、第1の態様による方法を実施することができる。
【発明の効果】
【0026】
本開示の実施例にて提供される技術案は以下の有益な効果を有することができる。
上記実施例から分かるように、本開示の実施例は、画像収集起動命令を受信し、続いて、前記電子機器の画像ファインダーフレーム内で、仮想3次元空間内の被写体の位置に対応するARアンカーポイントを作成し、その後、前記カメラモジュールの現在位置及び前記ARアンカーポイントに基づいて、前記画像ファインダーフレーム内で、仮想3次元空間内のカメラモジュールの所望の移動経路を表す移動撮影軌跡を生成し、最後に、前記移動撮影軌跡に基づいて前記被写体を画像収集することができる。このように、本実施例では、仮想現実シーン内に移動撮影軌跡を表示することで、ユーザが移動撮影軌跡に基づいて移動撮影手法を適用することに利便性を提供し、それにより高品質の映像を取得することができ、それとともに、本実施例では、追加のハードウェアを携帯する必要がなく、コストを削減し、また、ユーザには専門的な移動撮影知識が必要とされず、学習コストを削減し、撮影体験を向上させることにも役立つ。
【0027】
なお、上記一般的な記述及び以下の詳細な記述は、例示的かつ解釈的なものにすぎず、本開示を限定することはできないことを理解されたい。
【図面の簡単な説明】
【0028】
本明細書の図面は、明細書に組み込まれ、本明細書の一部を構成し、本開示による実施例を示し、本明細書とともに、本開示の原理を説明するために使用される。
【
図1】例示的な実施例にて示される撮影方法のフローチャートである。
【
図2】例示的な実施例にて示されるARアンカーポイント決定のフローチャートである。
【
図3】例示的な実施例にて示される仮想現実シーンの効果の概略図である。
【
図4】例示的な実施例にて示される、特徴点を取得するフローチャートである。
【
図5】例示的な実施例にて示される、別の特徴点を取得するフローチャートである。
【
図6】例示的な実施例にて示される移動撮影軌跡の生成のフローチャートである。
【
図7】例示的な実施例にて示される、ターゲットテンプレートを取得するフローチャートである。
【
図8】例示的な実施例にて示されるテンプレート表示の効果の概略図である。
【
図9】例示的な実施例にて示される移動撮影軌跡を表示する効果の概略図である。
【
図10】例示的な実施例にて示される別の移動撮影軌跡の生成のフローチャートである。
【
図11】例示的な実施例にて示される2つの移動撮影軌跡を表示する効果の概略図である。
【
図12】例示的な実施例にて示される別の撮影方法のフローチャートである。
【
図13】例示的な実施例にて示されるさらに別の撮影方法のフローチャートである。
【
図14】例示的な実施例にて示されるさらに別の撮影方法のフローチャートである。
【
図15】例示的な実施例にて示される移動撮影軌跡の指定パラメータを表示する効果の概略図である。
【
図16】例示的な実施例にて示される撮影装置のブロック図である。
【
図17】例示的な実施例にて示される電子機器のブロック図である。
【発明を実施するための形態】
【0029】
例示的な実施例をここで詳細に説明し、その例を図面に示す。以下の記述が図面に言及している場合、特に明記しない限り、異なる図面の同じ番号は、同じ又は類似の要素を示す。以下に記載される例示的な実施例は、本開示と一致するすべての実施例を表すわけではない。むしろ、それらは、添付の特許請求の範囲に詳述されるように、本開示のいくつかの態様と一致する装置の単なる例である。
【0030】
上記技術的課題を解決するために、本開示の実施例は、スマートフォン、タブレットコンピュータ及びスマートヘッドセットなどのカメラモジュールが設けられる電子機器に適用できる撮影方法を提供する。ユーザがカメラモジュールをオンにして撮影する時、電子機器は上記撮影方法を実行することができる。
図1は、例示的な実施例にて示される撮影方法のフローチャートであり、ステップ11~ステップ14を含む。
【0031】
ステップ11では、画像収集起動命令を受信する。
【0032】
本実施例では、カメラモジュールがオンにされた後、電子機器は、表示画面に画像ファインダーフレームを表示し、ユーザは、表示画面にタッチするか、又はボタンを押すことで、画像取得機能を起動することができる。ここで、画像取得機能は、撮像映像機能又は連写画像機能を採用することができる。その後、電子機器内のプロセッサは、表示画面又はボタンを検出して、画像収集起動命令を取得することができる。
【0033】
ステップ12では、前記電子機器の画像ファインダーフレーム内で、仮想3次元空間内の被写体の位置に対応するARアンカーポイントを作成する。
【0034】
本実施例では、
図2を参照すると、ステップ21において、電子機器内のプロセッサは、画像ファインダーフレーム内の各オブジェクトの複数の特徴点を取得することができ、効果は
図3に示される。
図3を参照すると、特徴点20は、画像ファインダーフレームにおける人物の肘及び画像ファインダーフレーム全体における肘の空間的位置(特徴点の座標データ及び他の特徴点との相対位置関係により表される)を表す。
【0035】
ここで、プロセッサが画像ファインダーフレーム内の各オブジェクトの複数の特徴点を取得するステップは、以下を含み得る。
【0036】
一例では、電子機器には通常のカメラと深度カメラが設置され、これにより、通常のカメラは画像ファインダーフレーム内のプレビューシーンの平面画像を取得することができ、深度カメラはプレビューシーンの深度画像を取得することができる。
図4を参照すると、ステップ41において、プロセッサは、通常のカメラ及び深度カメラとそれぞれ通信し、平面画像及び深度画像を取得することができる。ステップ42において、プロセッサは、深度画像及び平面画像に基づいて、プレビューシーンにおける各オブジェクトの複数の特徴点を取得することができ、これらの特徴点は、オブジェクトの輪郭、空間位置など、例えば、人物の頭及び肘、テーブルの足、室内の壁の隅などを反映することができる。なお、各特徴点の属性データは、3次元座標データ、他の特徴点との空間的関係データ、レンズとの空間的関係データなどを含み得て、具体的なシーンに応じて設定してもよいことが理解される。最後に、プロセッサは、複数の特徴点をプレビューシーンのオブジェクト上に挿入することができる。特徴点をプレビューシーンに挿入する過程は、関連技術を参照することができるため、ここではその説明を省略する。
【0037】
別の例では、電子機器には通常のカメラと深度カメラが設置され、これにより、通常のカメラはプレビューシーンの平面画像を取得することができ、深度カメラはプレビューシーンの深度画像を取得することができる。
図5を参照すると、ステップ51において、プロセッサは、プレビューシーンの平面画像及び深度画像を取得することができる。ステップ52において、プロセッサは、予め設定された特徴点抽出モデル、例えばFASTアルゴリズム、SIFTアルゴリズム、SUFRアルゴリズム、ORBアルゴリズム、HARRISアルゴリズムなどを呼び出し、平面画像を当該特徴点抽出モデルに入力することで、平面画像内の複数の特徴点を取得することができる。なお、この場合、各特徴点の属性データは、2次元座標データ、他の特徴点との平面関係データ、レンズとの平面関係データなどを含み得ることが理解される。ステップ53において、プロセッサは、深度画像に基づいて各特徴点の深度データを決定し、さらに平面関係を空間関係に更新してもよく、すなわち、各特徴点が平面座標系から3次元座標系に遷移してもよく、この場合、各特徴点の属性データは、3次元座標データ、他の特徴点との空間的関係データ、レンズとの空間的関係データなどを含み得る。最後に、プロセッサは、複数の特徴点をプレビューシーンのオブジェクトに挿入することができる。
【0038】
なお、本ステップの中核は、画像取得機能がオンにされた後、現在の通常撮影モード(すなわち、プレビューシーンにどのオブジェクトがあればどのオブジェクトを表示する)から仮想3次元空間に自動的に切り替えることによって、
図3に示すような複数の特徴点を含む効果を実現することである。
【0039】
引き続き
図2を参照すると、ステップ22において、前記複数の特徴点のうちの1つをARアンカーポイントとして決定し、前記ARアンカーポイントが配置されたオブジェクトを被写体とし、ARアンカーポイントの位置が仮想3次元空間内の被写体の位置に対応する。本実施例では、電子機器において、プロセッサが表示装置と通信し、上記画像ファインダーフレームを表示するように表示装置を制御することで、複数の特徴点をユーザに示す。ユーザは、例えば
図3の特徴点20をクリックするなど、ボタン又はタッチなどの方式で電子機器をトリガするように操作することができる。これにより、プロセッサは、トリガ操作に応じて、画像ファインダーフレーム内の1つの特徴点をARアンカーポイントとして決定することができる。当該ARアンカーポイントが配置されたオブジェクトを被写体とすることが理解される。又は、ユーザは、ARアンカーポイントを選択することで、仮想3次元空間から1つの被写体を選択した。
【0040】
ステップ13では、前記カメラモジュールの現在位置及び前記ARアンカーポイントに基づいて、前記画像ファインダーフレーム内で、仮想3次元空間内のカメラモジュールの所望の移動経路を表す移動撮影軌跡を生成する。
【0041】
本実施例では、電子機器内のプロセッサが、電子機器内のレンズの現在位置及びARアンカーポイントに基づいて移動撮影軌跡を生成するステップは、以下を含む。
【0042】
一例では、電子機器内にはテンプレートライブラリが予め設置され、当該テンプレートライブラリ内には、移動撮影軌跡のターゲット形状、基準ポイント及び移動撮影軌跡の相対位置を含むターゲットテンプレートのいくつかが含まれる。例えば、テンプレート1は、移動撮影軌跡の形状が円形であり、基準ポイントと移動撮影軌跡との相対位置が半径であることを含み、このテンプレート1は、スピンショットの移動撮影手法に対応する。テンプレート2は、移動撮影軌跡の形状が上から下に向かう垂直線分を含み、基準ポイントは垂直線分の上端点に位置し、このテンプレートはペデスタルダウンの移動撮影手法に対応し、テンプレート2の形状を逆にすれば、アップライトレンズの移動撮影手法に対応する。テンプレート3は、移動撮影の軌跡の形状が左から右への水平線分を含み、基準ポイントは水平線分の左端点であり、このテンプレートはトラックの移動撮影手法に対応する。なお、上記では、いくつかのテンプレートのみを挙げたが、例えば、トラック、パン・ティルト、ズームイン、ズームアウトなどの具体的な移動撮影手法に従って、対応するテンプレートを設定することができ、対応するテンプレートは、本開示の保護範囲に含まれる。
【0043】
図6を参照すると、ステップ61において、プロセッサは、予め設定されたテンプレートライブラリからテンプレートを取得し、ターゲットテンプレートを取得することができ、取得方式は、以下を含み得て、
図7を参照すると、ステップ71において、予め設定されたテンプレートライブラリ内のテンプレートを表示し、前記テンプレートは、ズームインテンプレート、ズームアウトテンプレート、パン・ティルトテンプレート、トラックテンプレート、ペデスタルテンプレート、ペデスタルダウンテンプレート及びスピンショットテンプレートのうちの少なくとも1つを含み、ステップ72において、テンプレートの選択を示すトリガ操作が検出された場合、前記トリガ操作に対応するテンプレートをターゲットテンプレートとして取得する。例えば、ステップ71において、プロセッサがARアンカーポイントを決定した後、ARアンカーポイントの位置又はARアンカーポイントに対応するオブジェクトに基づいて、テンプレートライブラリからいくつかのテンプレートを候補テンプレートとしてマッチングし、ARアンカーポイントの周囲に並列表示することができ、効果は
図8に示され、ユーザ選択を容易にする。当然ながら、マッチング方式は、ランダムにいくつかの候補テンプレートを選択することもでき、ユーザの使用履歴に基づいて使用頻度の高いいくつかの候補テンプレートを選択することもでき、対応する方式は本開示の保護範囲に含まれる。ステップ72において、ユーザが候補テンプレートのうちの1つを操作することをトリガすると、プロセッサは、当該候補テンプレートをターゲットテンプレートとして決定することができる。したがって、ターゲットテンプレートは、移動撮影軌跡のターゲット形状、基準ポイントと移動撮影軌跡との相対位置を含む。
【0044】
ステップ62では、プロセッサは、ARアンカーポイントと基準ポイントとを重ね合わせることで、両者を一致させることができる。ARアンカーポイントと基準ポイントとが一致する場合、プロセッサは、レンズの現在位置を通過し、ターゲット形状にマッチングする移動撮影軌跡を生成することができ、効果は
図9に示される。
図9を参照すると、ユーザが人物上の特徴点20をARアンカーポイントとして選択し、テンプレート3を選択すると、左から右への1本の水平線分21を取得することができ、水平線分21からARアンカーポイントまでの水平距離はd(すなわち、基準ポイントと移動撮影軌跡との相対位置)である。
【0045】
別の例では、電子機器内に予め設定された規則が記憶され、当該予め設定された規則は、移動撮影軌跡を生成するいくつかの規則を含み得る。例えば、ARアンカーポイントを中心として、現在位置を通過する円形、又は、予め設定された半径の円形を生成し、当該円形を移動撮影軌跡とする場合に、スピンショットの移動撮影手法に対応する。また、例えば、水平方向におけるARアンカーポイントからの距離dの基準ポイント又は現在位置を起点として、上から下に向かう垂直線分を生成し、当該垂直線分を移動撮影軌跡とする場合に、ペデスタルダウンの移動撮影手法に対応する。さらに、例えば、水平方向におけるARアンカーポイントからの距離dの基準ポイント又は現在位置を起点として、左から右への水平線分を生成し、当該水平線分を移動撮影軌跡とする場合に、トラックの移動撮影手法に対応する。なお、上記は、ほんの数例のみを挙げたが、例えば、トラック、パン・ティルト、ズームイン、ズームアウトなどの具体的な移動撮影手法に従って、対応する規則を設定することができ、対応する規則は、本開示の保護範囲に含まれる。
【0046】
図10を参照すると、ステップ101において、プロセッサは、予め設定された規則に従い、ARアンカーポイント及び現在位置に基づいて少なくとも1本の移動撮影軌跡を生成することができ、効果は
図11に示される。
図11を参照すると、プロセッサは、移動撮影軌跡21及び移動撮影軌跡22を生成する。ステップ102において、プロセッサは、ユーザのトリガ操作を検出し、ユーザによって選択された移動撮影軌跡を、生成された移動撮影軌跡として決定することができる。
【0047】
実際の応用では、画像ファインダーフレーム内にいくつかのオブジェクトが含まれる場合があり、テンプレート又は予め設定された規則に従って移動撮影軌跡を生成することは、特定のオブジェクトを通過することがあり、そのため、ユーザは、移動撮影の行う過程に危険を起こすことがある。このために、一実施例では、
図12を参照すると、ステップ121において、プロセッサは、移動撮影軌跡と画像ファインダーフレーム内のオブジェクトの位置とを比較することで、移動撮影軌跡にオブジェクトがあるか否かを決定することができる。ステップ122において、移動撮影軌跡にオブジェクトがある場合、プロセッサは、移動撮影軌跡におけるオブジェクトの周囲の部分を調整し、調整して得られた移動撮影軌跡を最終的な移動撮影軌跡としてもよいし、そうでない場合、調整を行わなくてもよい。このように、本実施例では、移動撮影軌跡を適応的に調整することで、移動撮影の撮影を確実に実現しつつ、ユーザの安全を確保することができる。
【0048】
ステップ14では、前記移動撮影軌跡に基づいて前記被写体を画像収集する。
【0049】
本実施例では、ユーザは、移動撮影軌跡の案内に従い、被写体を画像取得し、例えば、映像や連写画像を撮影することができる。
【0050】
実際の応用では、画像ファインダーフレームが生成された後、ユーザは電子機器を動かす可能性があり、その際、
図13を参照すると、ステップ131において、プロセッサはカメラモジュールのリアルタイム位置と、前記移動撮影軌跡を生成する時のカメラモジュールの位置を指す初期位置とを取得することができる。ステップ132において、プロセッサは、初期位置、ARアンカーポイントの位置、及び移動撮影軌跡の空間的関係を取得することができる。なお、移動撮影軌跡を取得する際に、初期位置、ARアンカーポイントの位置と移動撮影軌跡の3者の空間的関係が実際に取得されているので、その後に容易に使用するように、空間的関係を予め算出して指定位置に記憶することができる。ステップ133において、プロセッサは、前期空間的関係に基づいて、リアルタイム位置の初期位置に対する相対位置に従ってARアンカーポイント及び移動撮影軌跡を移動させることで、処理されるデータの数を減少させ、かつ移動撮影軌跡を動的に表示することによりユーザの使用体験を向上させるように、表示画面内の移動撮影軌跡の表示部分を調整することができる。
【0051】
実際の応用では、移動撮影中に、ユーザ又はレンズは、移動撮影軌跡から外れる可能性がある。このため、本実施例では、
図14を参照すると、ステップ141において、プロセッサは、撮影中において移動撮影軌跡にカメラモジュールが位置しているか否かを検出することができる。ステップ142において、移動撮影軌跡にカメラモジュールが位置していない場合、例えば、色、幅、破線実線、移動速度、ストロボなどの移動撮影軌跡の指定パラメータを調整することで、カメラモジュールが移動撮影軌跡から外れていることを気づかせ、効果は
図15に示すとおりであり、ブロック23内の移動撮影軌跡が細くなり、移動撮影軌跡から離れたことをユーザに通知する。これにより、本実施例は、ユーザの正確な移動撮影を保証することができ、高品質の映像を得ることができる。
【0052】
これまで、本実施例では、仮想現実シーン内に移動撮影軌跡を表示することで、ユーザが移動撮影軌跡に基づいて移動撮影手法を適用することに利便性を提供し、それにより高品質の映像を取得することができ、それとともに、本実施例では、追加のハードウェアを携帯する必要がなく、コストを削減し、また、ユーザには専門的な移動撮影知識が必要とされず、学習コストを削減し、撮影体験を向上させることにも役立つ。
【0053】
以下、様々な移動撮影手法と組み合わせて上記撮影方法の1つを説明し、以下を含む。
【0054】
ズームイン又はズームアウト
撮影者が静止したまま、レンズは遠くから被写体へ移動すると表現され、
1.被写体と移動撮影テンプレートを選択し、
2.ARアンカーポイント、被写体を選択し、移動撮影軌跡を生成し、
3.撮影者は、移動撮影軌跡に従って移動して、画像収集を行うことで実現される。
【0055】
パン・ティルト
撮影者が移動し、レンズ位置が固定され、レンズ撮影角度は追従して移動すると表現され、
1.撮影者が被写体と移動撮影テンプレートを選択し、
2.被写体の位置を動的に認識し、位置に基づいてレンズを移動させて画像収集を行うことで実現される。
【0056】
トラック
被写体とレンズとの距離を一定に保ち、レンズが被写体に追従して移動すると表現され、
1.撮影者がARアンカーポイント、被写体、及び移動撮影テンプレートを選択し、
2.ARアンカーポイントの固定距離及び方向で移動撮影軌跡を生成し、
3.映像の各フレームの構図における被写体の位置を検出し、撮影者が平行移動して画像収集を行うことで実現される。
【0057】
ペデスタル
カメラ位置「上から下へ」又は「下から上へ」と表現され、
1.撮影者がARアンカーポイント、被写体、及び移動撮影テンプレートを選択し、
2.上から下又は下から上のいずれかに応じて、ARアンカーポイントの配置された高さが被写体の身長に関連付けられ、
3.固定距離を起点としたカメラ位置と移動撮影軌跡を表示して画像収集を行うことで実現される。
【0058】
上記撮影方法に加えて、本開示の実施例は、カメラモジュールが設けられる電子機器に適合される撮影装置をさらに提供し、
図16を参照すると、前記装置は、
画像収集起動命令を受信するための命令受信モジュール161と、
前記電子機器の画像ファインダーフレーム内で、仮想3次元空間内の被写体の位置に対応するARアンカーポイントを作成するためのアンカーポイント作成モジュール162と、
前記カメラモジュールの現在位置及び前記ARアンカーポイントに基づいて、前記画像ファインダーフレーム内で、仮想3次元空間内のカメラモジュールの所望の移動経路を表す移動撮影軌跡を生成するための軌跡生成モジュール163と、
前記移動撮影軌跡に基づいて前記被写体を画像収集するための画像収集モジュール164と、を含む。
【0059】
一実施例では、前記ARアンカーポイント作成モジュールは、
画像ファインダーフレーム内の各オブジェクトの複数の特徴点を取得するための特徴点の取得ユニットと、
前記複数の特徴点のうちの1つをARアンカーポイントとして決定するために用いられ、前記ARアンカーポイントが配置されたオブジェクトを被写体とし、前記ARアンカーポイントの位置が仮想3次元空間内の前記被写体の位置に対応するアンカーポイント決定ユニットと、を含む。
【0060】
一実施例では、前記特徴点の取得ユニットは、
画像ファインダーフレーム内のプレビューシーンの平面画像及び深度画像を取得するための画像取得サブユニットと、
前記深度画像により前記プレビューシーン内の各オブジェクトの複数の特徴点を取得するための特徴点の取得サブユニットと、を含む。
【0061】
一実施例では、前記特徴点の取得ユニットは、
画像ファインダーフレーム内のプレビューシーンの平面画像及び深度画像を取得するための画像取得サブユニットと、
予め設定された特徴点抽出モデルにより前記平面画像内の複数の特徴点を取得するための特徴点抽出サブユニットと、
前記深度画像に基づいて、各特徴点の深度データを決定し、各オブジェクトの複数の特徴点を取得するための特徴点決定サブユニットと、を含む。
【0062】
一実施例では、前記軌跡生成モジュールは、
予め設定されたテンプレートライブラリから、移動撮影軌跡のターゲット形状、基準ポイント及び移動撮影軌跡の相対位置を含むターゲットテンプレートを取得するためのモジュール取得ユニットと、
前記ARアンカーポイントと前記基準ポイントとが重なった場合、前記現在位置を通過し、かつ前記ターゲットの形状にマッチングする移動撮影軌跡を生成するための軌跡生成ユニットと、を含む。
【0063】
一実施例では、前記モジュール取得ユニットは、
予め設定されたテンプレートライブラリ内の、ズームインテンプレート、ズームアウトテンプレート、パン・ティルトテンプレート、トラックテンプレート、ペデスタルテンプレート、ペデスタルダウンテンプレート及びスピンショットテンプレートのうちの少なくとも1つを含むテンプレートを表示するためのテンプレート表示サブユニットと、
テンプレートの選択を示すトリガ操作が検出された場合、前記トリガ操作に対応するテンプレートをターゲットテンプレートとして取得するためのテンプレート決定サブユニットと、を含む。
【0064】
一実施例では、前記軌跡生成モジュールは、
予め設定された規則に従い、前記ARアンカーポイント及び前記現在位置に基づいて、ズームイン軌跡、ズームアウト軌跡、パン・ティルト軌跡、トラック軌跡、ペデスタル軌跡、ペデスタルダウン軌跡及びスピンショット軌跡のうちの1本以上を含む少なくとも1本の移動撮影軌跡を生成するための軌跡生成ユニットと、
ユーザによって選択された移動撮影軌跡を生成された移動撮影軌跡として決定するための軌跡決定ユニットと、を含む。
【0065】
一実施例では、前記装置は、
前記移動撮影軌跡を前記画像ファインダーフレーム内の各オブジェクトの位置と比較するための位置比較モジュールと、
前記移動撮影軌跡にオブジェクトが存在する場合、前記移動撮影軌跡が前記オブジェクトから回避するように、前記オブジェクトの周囲における前記移動撮影軌跡の部分を調整するための軌跡調整モジュールと、をさらに含む。
【0066】
一実施例では、前記画像収集モジュールは、
カメラモジュールのリアルタイム位置と、前記移動撮影軌跡を生成する時のカメラモジュールの位置を指す初期位置とを取得するための位置取得ユニットと、
初期位置、ARアンカーポイントの位置、及び移動撮影軌跡の空間的関係を取得するための関係取得ユニットと、
前記空間的関係に従い、前記初期位置に対する前記リアルタイム位置の相対位置に基づいて、前記ARアンカーポイント及び前記移動撮影軌跡を移動させるための軌跡移動ユニットと、を含む。
【0067】
一実施例では、前記画像収集モジュールは、
撮影中に、前記移動撮影軌跡にカメラモジュールが位置するか否かを検出するための軌跡検出ユニットと、
前記移動撮影軌跡に前記カメラモジュールが位置していない場合、前記カメラモジュールが前記移動撮影軌跡から外れていることを通知するように、前記移動撮影軌跡の指定パラメータを調整するための軌跡調整ユニットと、を含む。
【0068】
本開示の実施例にて提供される装置は、上記方法に対応し、具体的な内容は、方法の各実施例の内容を参照することができ、ここでその説明を省略することが理解される。
【0069】
図17は、例示的な実施例にて示される電子機器のブロック図である。例えば、電子機器1700は、スマートフォン、コンピュータ、デジタル放送用端末、タブレット機器、医療機器、フィットネス機器、携帯情報端末などであってもよい。
【0070】
図17を参照すると、電子機器1700は、処理コンポーネント1702と、メモリ1704と、電源コンポーネント1706と、マルチメディアコンポーネント1708と、オーディオコンポーネント1710と、入出力(I/O)インタフェース1712と、センサコンポーネント1714と、通信コンポーネント1716と、画像取得コンポーネント1718とのうちの1つ以上を含み得る。
【0071】
処理コンポーネント1702は、一般的に、表示、電話の呼び出し、データ通信、カメラ操作、及び録音操作に関連する操作など、電子機器1700の全体的な操作を制御する。処理コンポーネント1702は、コンピュータプログラムを実行する1つ以上のプロセッサ1710を含み得る。さらに、処理コンポーネント1702は、処理コンポーネント1702と他のコンポーネントとの間の対話を容易にする1つ以上のモジュールを含み得る。例えば、処理コンポーネント1702は、マルチメディアコンポーネント1708と処理コンポーネント1702との間の対話を容易にするためにマルチメディアモジュールを含み得る。
【0072】
メモリ1704は、電子機器1700の操作をサポートするために様々なデータを記憶するように構成される。これらのデータの例は、電子機器1700上で操作するための任意のアプリケーションプログラム又は方法のコンピュータプログラム、連絡先データ、電話帳データ、メッセージ、ピクチャー、映像などを含む。メモリ1704は、スタティックランダムアクセスメモリ(SRAM)、電気的消去可能プログラマブル読み出し専用メモリ(EEPROM)、消去可能プログラマブル読み出し専用メモリ(EPROM)、プログラマブル読み出し専用メモリ(PROM)、読み出し専用メモリ(ROM)、磁気メモリ、フラッシュメモリ、磁気ディスク、又は光ディスクのような任意のタイプの揮発性又は不揮発性記憶機器、又はそれらの組み合わせによって実現され得る。
【0073】
電源コンポーネント1706は、電子機器1700の様々なコンポーネントに電力を供給する。電源コンポーネント1706は、電力管理システム、1つ以上の電源、及び電子機器1700への電力の生成、管理、及び分配に関連する他のコンポーネントを含み得る。電源コンポーネント1706は、コントローラと通信して、電池が主要ボード回路に電力を供給するか、又は供給しないように、スイッチングデバイスをオン又はオフに制御することができる電源チップを含み得る。
【0074】
マルチメディアコンポーネント1708は、電子機器1700とターゲットオブジェクトとの間の出力インタフェースを提供するスクリーンを含む。いくつかの実施例では、スクリーンは、液晶表示画面(LCD)及びタッチパネル(TP)を含み得る。スクリーンがタッチパネルを含む場合、スクリーンは、ターゲットオブジェクトから入力信号を受信するためのタッチスクリーンとして実現され得る。タッチパネルは、タッチ、スライド、及びタッチパネル上のジェスチャを感知するための1つ又は複数のタッチセンサを含む。タッチセンサは、タッチ又はスライド動作の境界を感知するだけでなく、タッチ又はスライド動作に係る継続時間及び圧力を検出することができる。
【0075】
オーディオコンポーネント1710は、オーディオ信号を出力及び/又は入力するように構成される。例えば、オーディオコンポーネント1710は、マイクロフォン(MIC)を含み、電子機器1700が呼び出しモード、録音モード、及び音声認識モードなどの操作モードにある場合に、マイクロフォンは、外部オーディオ信号を受信するように構成される。受信されたオーディオ信号は、メモリ1704にさらに記憶され得るか、又は通信コンポーネント1716を介して送信され得る。いくつかの実施例では、オーディオコンポーネント1710は、オーディオ信号を出力するためのスピーカーをさらに含む。
【0076】
I/Oインタフェース1712は、処理コンポーネント1702と、キーボード、クリックホイール、ボタンなどであり得る周辺インタフェースモジュールとの間のインタフェースを提供する。
【0077】
センサコンポーネント1714は、電子機器1700の様々な態様の状態評価を提供するための1つ以上のセンサを含む。例えば、センサコンポーネント1714は、電子機器1700のオンオフ状態、コンポーネントの相対位置、例えば、コンポーネントが電子機器1700の表示画面及びキーパッドであることを検出することができ、センサコンポーネント1714は、電子機器1700又はコンポーネントの位置の変化、ターゲットオブジェクトが電子機器1700と接触することの有無、電子機器1700の向き又は加速/減速、及び電子機器1700の温度の変化をさらに検出することができる。本実施例で、センサコンポーネント1714は、磁気センサ、ジャイロスコープ、及び磁場センサを含み得て、ここで、磁場センサは、ホールセンサ、薄膜磁気抵抗センサ、及び磁気液体加速度センサのうちの少なくとも1つを含む。
【0078】
通信コンポーネント1716は、電子機器1700と他の機器との間の有線又は無線通信を容易にするように構成される。電子機器1700は、WiFi、2G、3G、4G、5G、又はそれらの組み合わせなどの通信規格に基づくワイヤレスネットワークにアクセスすることができる。例示的な一実施例では、通信コンポーネント1716は、ブロードキャストチャネルを介して外部のブロードキャスト管理システムからブロードキャスト信号又はブロードキャスト関連情報を受信する。例示的な一実施例では、通信コンポーネント1716は、近距離通信を容易にするための近距離無線通信(NFC)モジュールをさらに含む。例えば、NFCモジュールは、無線周波数識別(RFID)技術、赤外線データアソシエーション(IrDA)技術、超広帯域(UWB)技術、ブルートゥース(登録商標)(BT)技術及びその他の技術に基づいて実現され得る。
【0079】
例示的な実施例では、電子機器1700は、1つ以上のアプリケーション特定用途向け集積回路(ASIC)、デジタル信号プロセッサ(DSP)、デジタル信号処理デバイス(DSPD)、プログラマブル論理デバイス(PLD)、フィールドプログラマブルゲートアレイ(FPGA)、コントローラ、マイクロコントローラ、マイクロプロセッサ、又は他の電子デバイスによって実現され得る。
【0080】
例示的な実施例では、例えば、命令を含むメモリ1704などの実行可能なコンピュータプログラムを含む非一時的読み取り可能な記憶媒体をさらに提供し、上記実行可能なコンピュータプログラムは、プロセッサによって実行されて、上記方法を実施することができる。ここで、読み取り可能な記憶媒体は、ROM、ランダムアクセスメモリ(RAM)、CD-ROM、磁気テープ、フロッピーディスク、光データ記憶デバイスなどであってもよい。
【0081】
当業者は、明細書を検討し、本明細書に開示された開示を実施した後、本開示の他の実施形態を容易に想到し得る。本開示は、任意の変形、使用、又は適応的変更を包含することを意図しており、これらの変形、使用、又は適応的変更は本開示の一般原則に従い、本開示に開示されていない技術分野での常識又は慣用されている技術的手段を含む。本明細書及び実施例は、単に例示として見なされるものであり、本開示の真の範囲及び精神は、以下の特許請求の範囲によって示される。
【0082】
本開示は、上記で記述され、図面に示された厳密な構造に限定されず、その範囲から逸脱することなく、様々な修正及び変更がなされ得ることを理解されたい。本開示の範囲は、添付の特許請求の範囲のみによって限定される。
【0083】
(付記)
(付記1)
撮影方法であって、カメラモジュールが設けられる電子機器に適用され、前記方法は、
画像収集起動命令を受信するステップと、
前記電子機器の画像ファインダーフレーム内で、仮想3次元空間内の被写体の位置に対応するARアンカーポイントを作成するステップと、
前記カメラモジュールの現在位置及び前記ARアンカーポイントに基づいて、前記画像ファインダーフレーム内で、仮想3次元空間内のカメラモジュールの所望の移動経路を表す移動撮影軌跡を生成するステップと、
前記移動撮影軌跡に基づいて前記被写体を画像収集するステップと、を含む、
ことを特徴とする撮影方法。
【0084】
(付記2)
前記電子機器の画像ファインダーフレーム内でARアンカーポイントを作成するステップは、
画像ファインダーフレーム内の各オブジェクトの複数の特徴点を取得するステップと、
前記複数の特徴点のうちの1つをARアンカーポイントとして決定し、前記ARアンカーポイントが配置されたオブジェクトを被写体とし、前記ARアンカーポイントの位置が仮想3次元空間内の前記被写体の位置に対応するステップと、を含む、
ことを特徴とする付記1に記載の撮影方法。
【0085】
(付記3)
画像ファインダーフレーム内の各オブジェクトの複数の特徴点を取得するステップは、
画像ファインダーフレーム内のプレビューシーンの平面画像及び深度画像を取得するステップと、
前記深度画像により前記プレビューシーン内の各オブジェクトの複数の特徴点を取得するステップと、を含む、
ことを特徴とする付記2に記載の撮影方法。
【0086】
(付記4)
画像ファインダーフレーム内の各オブジェクトの複数の特徴点を取得するステップは、
画像ファインダーフレーム内のプレビューシーンの平面画像及び深度画像を取得するステップと、
予め設定された特徴点抽出モデルにより前記平面画像内の複数の特徴点を取得するステップと、
前記深度画像に基づいて、各特徴点の深度データを決定し、各オブジェクトの複数の特徴点を取得するステップと、を含む、
ことを特徴とする付記2に記載の撮影方法。
【0087】
(付記5)
前記カメラモジュールの現在位置及び前記ARアンカーポイントに基づいて、前記画像ファインダーフレーム内で移動撮影軌跡を生成するステップは、
予め設定されたテンプレートライブラリから、移動撮影軌跡のターゲット形状、基準ポイント及び移動撮影軌跡の相対位置を含むターゲットテンプレートを取得するステップと、
前記ARアンカーポイントと前記基準ポイントとが重なった場合、前記現在位置を通過し、かつ前記ターゲットの形状にマッチングする移動撮影軌跡を生成するステップと、を含む、
ことを特徴とする付記1に記載の撮影方法。
【0088】
(付記6)
予め設定されたテンプレートライブラリからターゲットテンプレートを取得するステップは、
予め設定されたテンプレートライブラリ内のテンプレートを表示するステップであって、前記テンプレートは、ズームインテンプレート、ズームアウトテンプレート、パン・ティルトテンプレート、トラックテンプレート、ペデスタルテンプレート、ペデスタルダウンテンプレート及びスピンショットテンプレートのうちの少なくとも1つを含むステップと、
テンプレートの選択を示すトリガ操作が検出された場合、前記トリガ操作に対応するテンプレートをターゲットテンプレートとして取得するステップと、を含む、
ことを特徴とする付記5に記載の撮影方法。
【0089】
(付記7)
前記カメラモジュールの現在位置及び前記ARアンカーポイントに基づいて、前記画像ファインダーフレーム内で移動撮影軌跡を生成するステップは、
予め設定された規則に従い、前記ARアンカーポイント及び前記現在位置に基づいて、少なくとも1本の移動撮影軌跡を生成するステップであって、前記移動撮影軌跡は、ズームイン軌跡、ズームアウト軌跡、パン・ティルト軌跡、トラック軌跡、ペデスタル軌跡、ペデスタルダウン軌跡及びスピンショット軌跡のうちの1本以上を含むステップと、
ユーザによって選択された移動撮影軌跡を生成された移動撮影軌跡として決定するステップと、を含む、
ことを特徴とする付記1に記載の撮影方法。
【0090】
(付記8)
移動撮影軌跡を生成した後に、前記方法は、
前記移動撮影軌跡を前記画像ファインダーフレーム内の各オブジェクトの位置と比較するステップと、
前記移動撮影軌跡にオブジェクトが存在する場合、前記移動撮影軌跡が前記オブジェクトから回避するように、前記オブジェクトの周囲における前記移動撮影軌跡の部分を調整するステップと、をさらに含む、
ことを特徴とする付記1~7のいずれか1つに記載の撮影方法。
【0091】
(付記9)
前記移動撮影軌跡に基づいて前記被写体を画像収集するステップは、
カメラモジュールのリアルタイム位置と、前記移動撮影軌跡を生成する時のカメラモジュールの位置を指す初期位置とを取得するステップと、
初期位置、ARアンカーポイントの位置、及び移動撮影軌跡の空間的関係を取得するステップと、
前記空間的関係に従い、前記初期位置に対する前記リアルタイム位置の相対位置に基づいて、前記ARアンカーポイント及び前記移動撮影軌跡を移動させるステップと、を含む、
ことを特徴とする付記1~7のいずれか1つに記載の撮影方法。
【0092】
(付記10)
前記移動撮影軌跡に基づいて前記被写体を画像収集するステップは、
撮影中に、前記移動撮影軌跡にカメラモジュールが位置するか否かを検出するステップと、
前記移動撮影軌跡に前記カメラモジュールが位置していない場合、前記カメラモジュールが前記移動撮影軌跡から外れていることを通知するように、前記移動撮影軌跡の指定パラメータを調整するステップと、を含む、
ことを特徴とする付記1に記載の撮影方法。
【0093】
(付記11)
撮影装置であって、カメラモジュールが設けられる電子機器に適用され、前記装置は、
画像収集起動命令を受信するための命令受信モジュールと、
前記電子機器の画像ファインダーフレーム内で、仮想3次元空間内の被写体の位置に対応するARアンカーポイントを作成するためのアンカーポイント作成モジュールと、
前記カメラモジュールの現在位置及び前記ARアンカーポイントに基づいて、前記画像ファインダーフレーム内で、仮想3次元空間内のカメラモジュールの所望の移動経路を表す移動撮影軌跡を生成するための軌跡生成モジュールと、
前記移動撮影軌跡に基づいて前記被写体を画像収集するための画像収集モジュールと、を含む、
ことを特徴とする撮影装置。
【0094】
(付記12)
前記アンカーポイント作成モジュールは、
画像ファインダーフレーム内の各オブジェクトの複数の特徴点を取得するための特徴点の取得ユニットと、
前記複数の特徴点のうちの1つをARアンカーポイントとして決定するために用いられ、前記ARアンカーポイントが配置されたオブジェクトを被写体とし、前記ARアンカーポイントの位置が仮想3次元空間内の前記被写体の位置に対応するアンカーポイント決定ユニットと、を含む、
ことを特徴とする付記11に記載の撮影装置。
【0095】
(付記13)
前記特徴点の取得ユニットは、
画像ファインダーフレーム内のプレビューシーンの平面画像及び深度画像を取得するための画像取得サブユニットと、
前記深度画像により前記プレビューシーン内の各オブジェクトの複数の特徴点を取得するための特徴点の取得サブユニットと、を含む、
ことを特徴とする付記12に記載の撮影装置。
【0096】
(付記14)
前記特徴点の取得ユニットは、
画像ファインダーフレーム内のプレビューシーンの平面画像及び深度画像を取得するための画像取得サブユニットと、
予め設定された特徴点抽出モデルにより前記平面画像内の複数の特徴点を取得するための特徴点抽出サブユニットと、
前記深度画像に基づいて、各特徴点の深度データを決定し、各オブジェクトの複数の特徴点を取得するための特徴点決定サブユニットと、を含む、
ことを特徴とする付記12に記載の撮影装置。
【0097】
(付記15)
前記軌跡生成モジュールは、
予め設定されたテンプレートライブラリから、移動撮影軌跡のターゲット形状、基準ポイント及び移動撮影軌跡の相対位置を含むターゲットテンプレートを取得するためのモジュール取得ユニットと、
前記ARアンカーポイントと前記基準ポイントとが重なった場合、前記現在位置を通過し、かつ前記ターゲットの形状にマッチングする移動撮影軌跡を生成するための軌跡生成ユニットと、を含む、
ことを特徴とする付記11に記載の撮影装置。
【0098】
(付記16)
前記モジュール取得ユニットは、
予め設定されたテンプレートライブラリ内のテンプレートを表示するためのテンプレート表示サブユニットであって、前記テンプレートは、ズームインテンプレート、ズームアウトテンプレート、パン・ティルトテンプレート、トラックテンプレート、ペデスタルテンプレート、ペデスタルダウンテンプレート及びスピンショットテンプレートのうちの少なくとも1つを含むテンプレート表示サブユニットと、
テンプレートの選択を示すトリガ操作が検出された場合、前記トリガ操作に対応するテンプレートをターゲットテンプレートとして取得するためのテンプレート決定サブユニットと、を含む、
ことを特徴とする付記15に記載の撮影装置。
【0099】
(付記17)
前記軌跡生成モジュールは、
予め設定された規則に従い、前記ARアンカーポイント及び前記現在位置に基づいて、少なくとも1本の移動撮影軌跡を生成するための軌跡生成ユニットであって、前記移動撮影軌跡は、ズームイン軌跡、ズームアウト軌跡、パン・ティルト軌跡、トラック軌跡、ペデスタル軌跡、ペデスタルダウン軌跡及びスピンショット軌跡のうちの1本以上を含む軌跡生成ユニットと、
ユーザによって選択された移動撮影軌跡を生成された移動撮影軌跡として決定するための軌跡決定ユニットと、を含む、
ことを特徴とする付記11に記載の撮影装置。
【0100】
(付記18)
前記移動撮影軌跡を前記画像ファインダーフレーム内の各オブジェクトの位置と比較するための位置比較モジュールと、
前記移動撮影軌跡にオブジェクトが存在する場合、前記移動撮影軌跡が前記オブジェクトから回避するように、前記オブジェクトの周囲における前記移動撮影軌跡の部分を調整するための軌跡調整モジュールと、をさらに含む、
ことを特徴とする付記11~17のいずれか1つに記載の撮影装置。
【0101】
(付記19)
前記画像収集モジュールは、
カメラモジュールのリアルタイム位置と、前記移動撮影軌跡を生成する時のカメラモジュールの位置を指す初期位置とを取得するための位置取得ユニットと、
初期位置、ARアンカーポイントの位置、及び移動撮影軌跡の空間的関係を取得するための関係取得ユニットと、
前記空間的関係に従い、前記初期位置に対する前記リアルタイム位置の相対位置に基づいて、前記ARアンカーポイント及び前記移動撮影軌跡を移動させるための軌跡移動ユニットと、を含む、
ことを特徴とする付記11~17のいずれか1つに記載の撮影装置。
【0102】
(付記20)
前記画像収集モジュールは、
撮影中に、前記移動撮影軌跡にカメラモジュールが位置するか否かを検出するための軌跡検出ユニットと、
前記移動撮影軌跡に前記カメラモジュールが位置していない場合、前記カメラモジュールが前記移動撮影軌跡から外れていることを通知するように、前記移動撮影軌跡の指定パラメータを調整するための軌跡調整ユニットと、を含む、
ことを特徴とする付記11に記載の撮影装置。
【0103】
(付記21)
電子機器であって、
カメラと、
プロセッサと、
前記プロセッサによって実行可能なコンピュータプログラムを記憶するためのメモリと、を含み、
ここで、前記プロセッサは、付記1~10のいずれか1つに記載の方法を実現するように、前記メモリ内のコンピュータプログラムを実行するように構成される、
ことを特徴とする電子機器。
【0104】
(付記22)
コンピュータ読み取り可能な記憶媒体であって、前記記憶媒体における実行可能なコンピュータプログラムは、プロセッサによって実行される時、付記1~10のいずれか1つに記載の方法を実施することができることを特徴とするコンピュータ読み取り可能な記憶媒体。