(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0012】
本発明の実施例は、録画機能をサポートしないベースバンドチップ上で録画機能を実現するための移動端末の録画方法、関連装置及びシステムを提供する。
【0013】
図1を参照するに、本発明の実施例による移動端末の録画方法の一実施例は、次のステップを含む。
【0014】
101:ベースバンドチップは、カメラモジュールが出力したM-JPEGフォーマットのデータ信号を受信する。
【0015】
移動端末は録画機能を実行する時に、ベースバンドチップは、カメラモジュールが出力したM-JPEGフォーマットのデータ信号を受信し、該データ信号の出力時間シーケンスは、YUV信号の出力時間シーケンスとは一致し、該データ信号は、画像信号及び録画信号を含む。
【0016】
YUVモデルでは、"Y"は、輝度(Luminance又はLuma)を表し、即ち、グレースケール値であり、"U"及び"V"が示すのは、クロミナンス(Chrominance又はChroma)であり、その機能は、画像のカラー及び飽和度を表し、画素のカラーを指定するために用いられる。YUV信号の出力時間シーケンスについては、
図2を参照し、YUV信号の出力時間シーケンスは、主に、クロック信号の出力時間シーケンス、行同期信号の出力時間シーケンス、及びフレーム同期信号の出力時間シーケンスを含む。図中では、VSYNC(Vertical Synchronization)信号は、フレームデータを伝送するための同期信号であり、HSYNC(Horizontal Synchronization)信号は、行データを伝送するための同期信号であり、PCLKは、データクロック信号であり、dataは、YUVデータ信号である。データを伝送する時に、各VSYNCは、HSYNC信号を含み、該HSYNC信号の数は、該サイズの解像度の各フレームの画像内における行の数に対応し、各HSYNC信号は、PCLKを含み、該PCLKの数は、該サイズの解像度の各行内における画素の数に対応し、YUVフォーマットのデータは、一つの画素が2個のPCLKを含み、
dataの送信は、PCLK信号のエッジでトリガーされる。320*240の解像度を例とすると、一つのVSYNCは、240個のHSYNCを有し、各HSYNCは、320*2個のPCLK信号を有し、データのサンプリングは、PCLKのエッジで行う。
【0017】
M-JPEGフォーマットは、動的及び静的画像を圧縮するためのフォーマットであり、非線形編集分野に幅広く用い、フレームの編集及び多層画像の処理を正確に行うことができる。そのうち、動的ビデオシーケンスは、連続した静的画像として処理され、このような圧縮方式では、各フレームを単独で完全に圧縮することができ、編集過程では、各フレームをランダムに記憶し、フレームの編集を正確に行うことができ、また、M-JPEGの圧縮及び解凍は、対称的であり、同じハードウェア及びソフトウェアにより実現することができる。
【0018】
本発明の実施例では、カメラモジュールは、画像データを取得した時に、該画像データをM-JPEGフォーマットのデータとして圧縮し、そして、ベースバンドチップに、M-JPEGフォーマットのデータ信号を送信する。
図3を参照するに、図中の"JPEG"は、画像信号を表し、"Video"は、録画信号を表し、M-JPEGフォーマットのデータ信号は、出力時に、連続したフレームにおける画像信号に録画信号が混合され、該録画信号は、YUVのビデオフォーマットを有し、直接再生することができ、該画像信号は、JPEGの画像フォーマットを有し、更に圧縮して再生可能なビデオフォーマットに変換する必要がある。
【0019】
102:ベースバンドチップは、カメラモジュールが出力したデータ信号に対してフォーマットの判別を行う。
【0020】
ベースバンドチップは、カメラモジュールが出力したM-JPEGフォーマットのデータ信号に対してフォーマットの判別を行い、受信したデータ信号が画像信号である場合、ステップ103を行い、受信したデータ信号が録画信号である場合、ステップ104を行う。
【0021】
103:ベースバンドチップは、画像信号に対してビデオコーディングを行う。
【0022】
ベースバンドチップは、順に、受信した画像信号に対してビデオコーディングを行い、そして、コーディング後のビデオ情報を記憶する。
【0023】
受信したM-JPEGデータ信号は画像信号である場合、ベースバンドチップは、該画像信号に対してビデオコーディングを行い、該画像信号を録画用のビデオ情報に変換し、その後、得られたビデオ情報を移動端末の記憶器に記憶させる。コーディング後のビデオ情報は、AVI(Audio Video Interleaved)フォーマットであってもよく、JPEG(Joint Photographic Experts Group)フォーマットであってもよく、また、他の汎用のビデオ再生フォーマットであってもよいので、ここでは、それについて限定しない。
【0024】
104:ベースバンドチップは、表示装置にデコーディング後の録画信号を出力する。
【0025】
ベースバンドチップは、受信した録画信号に対してデコーディングを行い、そして、表示装置にデコーディング後の画像信号を出力し、録画のビデオのプレビューを実現する。
【0026】
受信したM-JPEGデータ信号は録画信号である場合、ベースバンドチップは、直接に該録画信号に対してビデオデコーディングを行い、ユーザが録画を行う同時に、移動端末の表示装置上でリアルタイムのビデオプレビューを実現でき、ユーザの撮影にとって便利である。
【0027】
本発明は、カメラの出力フォーマットを調整することで、ベースバンドチップに、出力時間シーケンスがYUV信号とは同じであるM-JPEGデータ信号を送信し、また、画像信号及び録画信号を交互に出力するM-JPEGデータ信号の特性を用いて、取得した録画信号を録画時のプレビュー画像として表示装置に伝送すると同時に、取得した画像信号を録画データとして記憶し、これにより、録画機能を実現する。本発明は、既存のハードウェアを基に、ソフトウェアによる変調を用いて、低コストで録画機能を実現し、移動端末の製品の競争力を向上させることができる。
【0028】
本発明は、録画機能を実現すると同時に、有声録画を実現することもできる。
図4を参照するに、本発明の実施例による移動端末の録画方法の他の実施例は、次のステップを含む。
【0029】
401:ベースバンドチップは、カメラモジュールが出力したM-JPEGフォーマットのデータ、及び、マイク(microphone)が出力した音声信号を受信する。
【0030】
ベースバンドチップは、同時に、カメラモジュールが出力したM-JPEGフォーマットのデータ信号、及び、マイクが出力した音声信号を受信する。該データ信号の出力時間シーケンスは、YUV信号の出力時間シーケンスとは一致し、該データ信号は、画像信号及び録画信号を含む。
【0031】
カメラモジュールが録画を行うと同時に、移動端末中の音声通路も同時にオープンされ、そして、移動端末のマイクが同時に録音を開始し、録音により得られた音声情報を音声信号に変換してベースバンドチップに送信し、これにより、ベースバンドチップは、有声録画を実現することができる。
【0032】
402:ベースバンドチップは、カメラモジュールが出力したデータ信号に対してフォーマット判別を行う。
【0033】
ベースバンドチップは、カメラモジュールが出力したM-JPEGフォーマットのデータ信号に対してフォーマット判別を行い、受信したデータ信号が画像信号である場合、ステップ403を実行し、受信したデータ信号が録画信号である場合、ステップ404を実行する。
【0034】
403:ベースバンドチップは、画像信号及び音声信号に対してビデオコーディングを行う。
【0035】
ベースバンドチップは、受信した画像信号のクロック情報に基づいて、録画時間が同じである音声信号を抽出し、順に、録画時間が同じである画像信号及び音声信号に同期標識を追加し、該同期標識に基づいて該画像信号及び音声信号に対してビデオコーディングを行い、そして、コーディング後の画像信号及び音声信号を記憶する。
【0036】
受信したM-JPEGデータ信号が画像信号である場合、ベースバンドチップは、該画像信号及び該画像信号に対応する音声信号に基づいてビデオコーディングを行い、該画像信号及びその対応する音声信号を録画用のビデオ情報に変換し、その後、得られたビデオ情報を移動端末の記憶器に記憶させる。コーディング後のビデオ情報は、AVI(Audio Video Interleaved)フォーマットであってもよく、M
-JPEG(
Motion-Joint Photographic Experts Group)フォーマットであってもよく、又は、その他の汎用のビデオ再生フォーマットであってもよいので、ここでは、それについて限定しない。
【0037】
404:ベースバンドチップは、表示装置に、デコーディング後の録画信号を出力する。
【0038】
ベースバンドチップは、受信した録画信号に対してデコーディングを行い、表示装置にデコーディング後の画像信号を出力し、録画のビデオプレビューを実現する。
【0039】
受信したM-JPEGデータ信号が録画信号である場合、ベースバンドチップは、直接該録画信号に対してビデオデコーディングを行い、ユーザが録画を行うと同時に、移動端末の表示装置上でリアルタイムのビデオプレビューを実現でき、ユーザの撮影にとって便利である。
【0040】
本発明の実施例では、移動端末が音声通路(マイク及び音声処理装置を含む)を有する条件の下で、本発明は、更に、有声録画のモードを実現し、これにより、移動端末のメディア機能を豊富にすることができる。
【0041】
以上、ベースバンドチップの角度から、本発明の実施例による移動端末の録画方法について説明したが、以下、カメラモジュールの側面から、本発明の実施例による移動端末の録画方法について説明する。
図5を参照するに、本発明の実施例による移動端末の録画方法の他の実施例は、次のステップを含む。
【0042】
501:カメラモジュールは、録画の画素情報を取得する。
【0043】
カメラモジュールは、ユーザ設置の録画を行う時の画素情報を取得する。該画素情報は、録画時に使用する解像度、例えば、320x240を含む。
【0044】
本発明の実施例では、ユーザが録画を行う時に、移動端末がユーザのために多種の解像度を提供することができ、ユーザがある解像度の選択を確定した後に、カメラモジュールは、ユーザが選択した解像度に基づいて録画を行う。ユーザが録画を選択する前に、解像度選択の操作を行っていない場合、カメラモジュールは、デフォルトの解像度に基づいて録画を行う。移動端末は、解像度の種類及び最高の解像度のサイズ(magnitude)を提供することができ、これは、カメラモジュール及びベースバンドチップのパフォーマンスにより決定されるので、ここでは、それについて具体的に限定しない。
【0045】
502:カメラモジュールは、ベースバンドチップに、M-JPEGフォーマットのデータ信号を出力する。
【0046】
カメラモジュールは、画素情報に基づいてベースバンドチップにM-JPEGフォーマットのデータ信号を出力し、該データ信号の出力時間シーケンスは、YUV信号の出力時間シーケンスと一致し、且つ、該データ信号は、画像信号及び録画信号を含む。
【0047】
録画を行う画素情報を取得した後、カメラモジュールは、撮影を行い、そして、撮影した画像データを取得し、また、該画素情報に基づいて、撮影した画像データに対して画像処理を行い、該画像データを、該画素情報に符合するM-JPEGフォーマットのデータ信号に変換し、その後、該M-JPEGフォーマットのデータ信号をベースバンドチップに出力する。
【0048】
本発明の実施例では、カメラモジュールは、M-JPEGフォーマットのデータ変換をサポートし、実際の応用では、M-JPEGフォーマットのデータ変換をサポートする機能を有するカメラモジュールを選択してもよく、又は、元々M-JPEGフォーマットのデータ変換機能を有しないカメラモジュールに対してソフトウェアをインストールすることで、それに、M-JPEGフォーマットのデータ変換機能を持たせるようにしても良い。
【0049】
実際の応用では、一般的に、M-JPEGフォーマットのデータ信号を出力する時に、画像信号及び録画信号をきちんと交互に出力しなく、これにより、実際に録画を行う時に、プレビューの効果は、最終の録画効果と一致しないようになり、酷い場合、画面に断層が現ることもある。本発明は、カメラモジュールの変調により、フレーム毎に交互に画像信号及び録画信号を出力することができるので、録画の効果は、プレビューの効果とできるだけ一致するようになり、録画の品質を向上することができる。
【0050】
以下、上述の移動端末の録画方法を実行する本発明のベースバンドチップの実施例について説明し、そのロジック構造は、
図6を参照する。本発明の実施例におけるベースバンドチップの一実施例は、次の部品を含む。
【0051】
ビデオ受信ユニット601:カメラモジュールが出力したM-JPEGフォーマットのデータ信号を受信するために用いられ、該データ信号の出力時間シーケンスは、YUV信号の出力時間シーケンスとは一致し、該データ信号は、画像信号及び録画信号を含む。
【0052】
データ認識ユニット602:上述の受信したM-JPEGフォーマットのデータ信号を区別するために用いられ、受信したデータ信号が画像信号である場合、録画記憶ユニット603をトリガーし、受信したデータ信号が録画信号である場合、プレビュー出力ユニット604をトリガーする。
【0053】
録画記憶ユニット603:受信したデータ信号が画像信号である場合、順に、録画信号に対してビデオコーディングを行い、そして、コーディング後のビデオ情報を記憶するために用いられる。
【0054】
プレビュー出力ユニット604:受信したデータ信号が録画信号である場合、該録画信号に対してデコーディングを行い、そして、表示装置にデコーディング後の録画信号を出力するために用いられる。
【0055】
本発明の実施例におけるベースバンドチップは、更に、次の部品をも含んでも良い。
【0056】
音声受信ユニット605:マイクが出力した音声信号を受信するために用いられる。
【0057】
本発明の実施例におけるベースバンドチップの各ユニットの具体的な交互過程は、次のようである。
【0058】
移動端末は録画機能を行う時に、ビデオ受信ユニット601は、カメラモジュールが出力したM-JPEGフォーマットのデータ信号を受信し、該データ信号の出力時間シーケンスは、YUV信号の出力時間シーケンスと一致し、該データ信号は、画像信号及び録画信号を含む。本発明の実施例では、カメラモジュールが画像データを取得した時に、該画像データをM-JPEGフォーマットのデータとして圧縮し、そして、ベースバンドチップにM-JPEGフォーマットのデータ信号を送信する。YUV信号の出力時間シーケンスについては、
図2を参照し、YUV信号の出力時間シーケンスは、主に、クロック信号の出力時間シーケンス、行同期信号の出力時間シーケンス、及びフレーム同期信号の出力時間シーケンスを含む。図中では、VSYNC信号は、フレームデータを伝送するための同期信号であり、HSYNC信号は、行データを伝送するための同期信号であり、PCLKは、データクロック信号であり、dataは、YUVデータ信号である。データを伝送する時に、各VSYNCは、該サイズの解像度の行の数と同じ数のHSYNC信号を含み、各HSYNC信号は、該サイズの解像度の各行内の画素の数に対応する数のPCLKを含み、YUVフォーマットデータは、一つの画素が2個のPCLKを有し、dataデータの送信は、PCLK信号のエッジでトリガーされる。
図3を参照するに、図中の"JPEG"は、画像信号を表し、"Video"は、録画信号を表し、M-JPEGフォーマットのデータ信号は出力される時に、連続したフレーム中の画像信号には録画信号が混合される。該録画信号は、YUVのビデオフォーマットであり、直接再生することができ、該画像信号は、JPEGの画像フォーマットであり、更に圧縮した再生可能なビデオフォーマットに変換する必要がある。
【0059】
オプションで、移動装置は音声通路を有する場合、ビデオ受信ユニット601は作動すると同時に、音声受信ユニット605をトリガーしてマイクが出力した音声信号を受信させるようにすることもできる。
【0060】
上述のデータ信号を取得した後に、データ認識ユニット602は、受信したM-JPEGフォーマットのデータ信号を区別し、受信したデータ信号が画像信号である場合、録画記憶ユニット603をトリガーし、受信したデータ信号が録画信号である場合、プレビュー出力ユニット604をトリガーする。
【0061】
受信したデータ信号が画像信号である場合、録画記憶ユニット603は、該画像信号及び該画像信号に対応する音声信号とともにビデオコーディングを行い、該画像信号及びその対応する音声信号を録画用のビデオ情報に変換し、その後、取得したビデオ情報を移動端末の記憶器に記憶させる。コーディング後のビデオ情報はAVIフォーマットであってもよく、M
-JPEGフォーマットであってもよく、その他の汎用のビデオ播放フォーマットであってもよいので、ここでは、それについて限定しない。
【0062】
受信したM-JPEGデータ信号が録画信号である場合、プレビュー出力ユニット604は、直接に該録画信号に対してビデオデコーディングを行い、ユーザが録画を行うと同時に、移動端末の表示装置上では、リアルタイムのビデオプレビューを実現することができ、これは、ユーザの撮影にとって便利である。
【0063】
以下、上述の移動端末の録画方法を実行するための本発明のカメラモジュールの実施例について説明し、そのロジック構造は
図7を参照する。本発明の実施例におけるカメラモジュールの一実施例は、次の部品を含む。
【0064】
画素取得ユニット701;録画の画素情報を取得するために用いられる。
【0065】
データ出力ユニット702:上述の画素情報に基づいて、ベースバンドチップに、M-JPEGフォーマットのデータ信号を出力し、該データ信号の出力時間シーケンスは、YUV信号の出力時間シーケンスとは一致し、該データ信号は、画像信号及び録画信号を含む。
【0066】
本発明の実施例における
カメラモジュールの各ユニットの具体的な交互過程は、次のようである。
【0067】
画素取得ユニット701
は、ユーザが設定した、録画を行う時の画素情報を取得する。該画素情報は、録画時に使用する解像度、例えば320x240を含む。本発明の実施例では、ユーザは、録画を行う時に、移動端末は、ユーザに、多種の解像度の選択を提供することができ、ユーザは、ある解像度を選択することを確定した後に、カメラモジュールは、ユーザが選択した解像度に基づいて録画を行う。ユーザは、録画を行う前に、解像度選択の操作を行っていない場合、カメラモジュールは、デフォルトの解像度に基づいて録画を行う。移動端末は、また、解像度の種類及び最高の解像度のサイズを提供することがあり、これは、カメラモジュール及びベースバンドチップのパフォーマンスにより決定されるので、ここでは、それについて限定しない。
【0068】
録画を行う画素情報を得た後に、データ出力ユニット702は、ベースバンドチップに、M-JPEGフォーマットのデータ信号を出力し、該データ信号の出力時間シーケンスは、YUV信号の出力時間シーケンスと一致し、且つ該データ信号は、画像信号及び録画信号を含む。実際の応用では、一般的に、M-JPEGフォーマットのデータ信号を出力する時に、きちんと交互に画像信号及び録画信号を出力しなく、これにより、実際に録画を行う時に、プレビューの効果は、最終の録画効果と一致せず、酷い場合、画面に断層が現ることもある。本発明は、カメラモジュールの変調により、カメラモジュールのデータ出力ユニット702は、フレーム毎に交互に画像信号及び録画信号を出力することができるので、録画の効果は、プレビューの効果とできるだけ一致するようになり、録画の品質を向上させることができる。
【0069】
本願に提供する幾つかの実施例では、理解すべきは、開示の装置及び方法は、他の方式で実現することもできるとのことである。例えば、以上に記載の装置の実施例は、例示的なものだけであり、例えば、前記ユニットの区分は、ロジック機能の区分だけであり、実際に実現する時に、他の区分方式を採用してもよく、例えば、複数のユニット又はアセンブリは、互いに組み合わせ又は他のシステムに統合し、或いは、幾つかの特徴は省略し、又は、実行しなくても良い。また、示された又は議論された互いの間の結合又は直接結合又は通信接続は、幾つかのインタフェース、装置又はユニットの間接結合又は通信接続であってもよく、電気的又は機械的又は他の形式であってもよい。
【0070】
また、上述の分離した部件として説明したユニットは、物理上で分離したものであってもよくでなくてもよく、ユニットとして示された部品は、物理的ユニットであってもよくでなくてもよく、即ち、一つの箇所に位置してもよく、又は、複数のネットワークに分布するユニットであっても良い。実際のニーズに基づいて、その一部又は全部のユニットを選択して本実施例の技術案の目的を実現することができる。
【0071】
また、本発明の各実施例における各機能ユニットは、一つの処理ユニットに統合してもよく、各ユニットは単独で物理的に存在してもよく、又は、2個又は2個以上のユニットは一つのユニットに統合しても良い。上述の統合ユニットは、ハードウェアの形式を採用して実現してもよく、ソフトウェアの機能ユニットの形式を採用して実現しても良い。
【0072】
上述の統合ユニットは、ソフトウェアの機能ユニットの形式で実現し、且つ独立した製品として販売又は使用する時に、コンピュータ可読な記録媒体に記憶しても良い。このような理解に基づいて、本発明の技術案は、本質的に、従来技術に対して貢献した部分又は該技術案の全部又は一部をソフトウェア製品の形式で体現することができ、該コンピュータソフトウェア製品は、記録媒体に記憶し、若干の指令を含み、これにより、コンピュータ設備(PC、サーバ、又はネットワーク設備等)に、本発明の各実施例に記載の前記方法の全部又は一部のステップを実行させることができる。前述の記憶媒体は、Uディスク、移動ハードディスク、ROM(Read-Only Memory)、RAM(Random Access Memory)、磁気ディスク、又は、光ディスク等の各種のプログラムコードを記憶可能な媒体であっても良い。
【0073】
以上、本発明の好ましい実施形態を説明したが、本発明はこの実施形態に限定されず、本発明の趣旨を離脱しない限り、本発明に対するあらゆる変更は本発明の技術の範囲に属する。