特許 6843462 イメージ処理装置及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6843462

(24)【登録日】2021年2月26日

(45)【発行日】2021年3月17日

(54)【発明の名称】イメージ処理装置及び方法

(51)【国際特許分類】

   G09C 5/00 20060101AFI20210308BHJP

   G09C 1/00 20060101ALI20210308BHJP

   G06F 21/62 20130101ALI20210308BHJP

【ＦＩ】

   G09C5/00

   G09C1/00 660D

   G06F21/62 309

【請求項の数】15

【全頁数】24

(21)【出願番号】特願2016-186737(P2016-186737)

(22)【出願日】2016年9月26日

(65)【公開番号】特開2017-68255(P2017-68255A)

(43)【公開日】2017年4月6日

【審査請求日】2019年8月2日

(31)【優先権主張番号】10-2015-0136192

(32)【優先日】2015年9月25日

(33)【優先権主張国】KR

(73)【特許権者】

【識別番号】390019839

【氏名又は名称】三星電子株式会社

【氏名又は名称原語表記】Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ．

(74)【代理人】

【識別番号】100133400

【弁理士】

【氏名又は名称】阿部 達彦

(74)【代理人】

【識別番号】100110364

【弁理士】

【氏名又は名称】実広 信哉

(74)【代理人】

【識別番号】100154922

【弁理士】

【氏名又は名称】崔 允辰

(74)【代理人】

【識別番号】100140534

【弁理士】

【氏名又は名称】木内 敬二

(72)【発明者】

【氏名】文 ハンギル

(72)【発明者】

【氏名】李 男淑

【審査官】 宮司 卓佳

(56)【参考文献】

【文献】 特開２００３−１８７０９３（ＪＰ，Ａ）

【文献】 特開平０６−３０１７５４（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１５／００３５９９９（ＵＳ，Ａ１）

【文献】 特開２００５−１２２４５５（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０９Ｃ ５／００

Ｇ０６Ｆ ２１／６２

Ｇ０９Ｃ １／００

(57)【特許請求の範囲】

【請求項1】

マルチメディアデバイスにおけるイメージを処理する方法であって、
イメージフレームに含まれる原本イメージのサムネイルイメージを獲得する動作と、
前記原本イメージを第１の暗号化方式を用いて暗号化する動作と、
前記獲得したサムネイルイメージを含む第１のイメージフィールドと前記第１のイメージフィールドに続く識別フィールドとを含む暗号化イメージフレームを生成する動作と、を有し、
前記識別フィールドにおける表示情報は、前記暗号化イメージフレームが、前記暗号化した原本イメージを含む第２のイメージフィールドを含むか否かを示し、
前記暗号化イメージフレームを生成する動作は、
前記イメージフレームの端(ＥＯＩ:end of image)を表す識別情報が記録されたフィールドを前記識別フィールドで構成する動作と、
前記識別情報が記録されたフィールドの後に前記暗号化した原本イメージを記録した前記第２のイメージフィールドを追加して前記暗号化イメージフレームを生成する動作と、を有することを特徴とするイメージ処理方法。

【請求項2】

前記暗号化イメージフレームを生成する動作は、
前記イメージフレームのペイロードに記録された前記原本イメージの代わりに前記生成したサムネイルイメージを追加して前記第１のイメージフィールドを構成する動作をさらに有し、
前記原本イメージは、予め決定されたイメージ圧縮方式に基づいて生成されたイメージフレームのペイロードから抽出され、前記識別情報は、前記原本イメージの圧縮のために使用されるイメージ圧縮方式に対応して定義されることを特徴とする請求項１に記載のイメージ処理方法。

【請求項3】

前記暗号化イメージフレームを生成する動作は、
前記識別フィールドと前記第２のイメージフィールドとの間に付加フィールドを追加し、前記付加フィールドに前記暗号化した原本イメージの復号化のために必要な情報を記録する動作をさらに有することを特徴とする請求項１に記載のイメージ処理方法。

【請求項4】

前記生成した暗号化イメージフレームをクラウドサーバに伝送する動作と、
イメージ識別情報に対応して前記獲得したサムネイルイメージを格納する動作と、
前記格納したサムネイルイメージが選択される場合、前記選択されたサムネイルイメージを表示する動作と、
前記表示したサムネイルイメージに対応する原本イメージの提供が要請される場合、前記表示したサムネイルイメージに対応して格納されたイメージ識別情報を用いて前記クラウドサーバから暗号化した原本イメージを受信する動作と、
前記受信された暗号化した原本イメージを復号化する動作と、
前記復号化した原本イメージを表示する動作と、をさらに有し、
前記イメージ識別情報は、前記獲得したサムネイルイメージと前記暗号化イメージフレームを通じて前記クラウドサーバに伝送される暗号化した原本イメージをマッチするために定義されることを特徴とする請求項１に記載のイメージ処理方法。

【請求項5】

前記暗号化イメージフレームを生成する動作は、
前記第１のイメージフィールドに記録するサムネイルイメージを第２の暗号化方式により暗号化する動作とをさらに有し、
前記第２の暗号化方式は、前記第１の暗号化方式と異なり、前記第２の暗号化方式の暗号化レベルが前記第１の暗号化方式の暗号化レベルに比べて相対的に低い暗号化レベルを有することを特徴とする請求項１に記載のイメージ処理方法。

【請求項6】

前記生成した暗号化イメージフレームをクラウドサーバに伝送する動作と、
イメージ識別情報に対応して前記獲得したサムネイルイメージを格納する動作と、
前記クラウドサーバにサムネイルイメージを要請する動作と、
前記クラウドサーバから提供されたサムネイルイメージを表示する動作と、
前記表示したサムネイルイメージに対応する原本イメージの提供が要請される場合、前記クラウドサーバに前記表示されたサムネイルイメージに対応する原本イメージを要請する動作と、
前記クラウドサーバから提供される暗号化した原本イメージを復号化する動作と、
前記復号化した原本イメージを表示する動作と、をさらに有し、
前記イメージ識別情報は、前記獲得したサムネイルイメージと前記暗号化イメージフレームを通じて前記クラウドサーバに伝送される暗号化した原本イメージをマッチするために定義されることを特徴とする請求項１に記載のイメージ処理方法。

【請求項7】

前記原本イメージを暗号化する動作は、
前記原本イメージから前記サムネイルイメージと重なるイメージを除去する動作と、
前記重なるイメージが除去された原本イメージを前記第１の暗号化方式により暗号化する動作と、を有することを特徴とする請求項１に記載のイメージ処理方法。

【請求項8】

入力インターフェースと、
前記入力インターフェースにより提供されたイメージフレームに含まれる原本イメージのサムネイルイメージを獲得し、前記原本イメージを第１の暗号化方式を用いて暗号化し、前記獲得したサムネイルイメージを含む第１のイメージフィールドと前記第１のイメージフィールドに続く識別フィールドとを含む暗号化イメージフレームを生成するイメージ処理部と、
前記イメージ処理部により生成された前記暗号化イメージフレームを出力する出力インターフェースと、を含み、
前記識別フィールドにおける表示情報は、前記暗号化イメージフレームが、前記暗号化した原本イメージを含む第２のイメージフィールドを含むか否かを示し、
前記イメージ処理部は、
前記イメージフレームの端(ＥＯＩ: end of image)を表す識別情報が記録されたフィールドを前記識別フィールドでさらに構成し、
前記識別情報が記録されたフィールドの後に前記暗号化した原本イメージを記録した前記第２のイメージフィールドを追加して前記暗号化イメージフレームを生成することを特徴とするイメージ処理装置。

【請求項9】

前記イメージ処理部は、
前記イメージフレームのペイロードに記録された前記原本イメージの代わりに前記生成したサムネイルイメージを追加して前記第１のイメージフィールドを構成し、
前記原本イメージは、予め定められたイメージ圧縮方式により圧縮されて前記イメージフレームのペイロードに記録され、前記識別情報は、前記原本イメージの圧縮のために使用されるイメージ圧縮方式に対応して定義されることを特徴とする請求項８に記載のイメージ処理装置。

【請求項10】

前記イメージ処理部は、
前記識別フィールドと前記第２のイメージフィールドとの間に付加フィールドを追加し、前記付加フィールドに前記暗号化した原本イメージの復号化のために必要な情報を記録することを特徴とする請求項８に記載のイメージ処理装置。

【請求項11】

前記生成した暗号化イメージフレームをクラウドサーバに伝送する伝送部と、
イメージ識別情報に対応して前記獲得したサムネイルイメージを格納するメモリと、をさらに含み、
前記イメージ識別情報は、前記獲得したサムネイルイメージと前記暗号化イメージフレームを通じて前記クラウドサーバに伝送された暗号化した原本イメージをマッチするために定義されることを特徴とする請求項８に記載のイメージ処理装置。

【請求項12】

前記イメージ処理部は、
前記メモリに格納されたサムネイルイメージが選択される場合、前記選択されたサムネイルイメージを表示し、前記表示したサムネイルイメージに対応する原本イメージの提供が要請される場合、前記表示されたサムネイルイメージに対応して前記メモリに格納されたイメージ識別情報を用いて前記クラウドサーバから暗号化した原本イメージを受信し、前記受信した暗号化した原本イメージを復号化し、前記復号化した原本イメージをディスプレイを通じて表示することを特徴とする請求項１１に記載のイメージ処理装置。

【請求項13】

前記イメージ処理部は、
第２の暗号化方式を使用して前記第１のイメージフィールドに記録するサムネイルイメージを暗号化し、
前記第２の暗号化方式は、前記第１の暗号化方式と異なり、前記第２の暗号化方式の暗号化レベルが前記第１の暗号化方式の暗号化レベルに比べて相対的に低い暗号化レベルを有することを特徴とする請求項８に記載のイメージ処理装置。

【請求項14】

前記イメージ処理部は、
前記クラウドサーバにサムネイルイメージを要請し、前記クラウドサーバから提供されたサムネイルイメージをディスプレイを通じて表示し、前記表示されたサムネイルイメージに対応する原本イメージの提供が要請される場合、前記クラウドサーバに前記表示されたサムネイルイメージに対応する原本イメージを受信し、前記クラウドサーバから受信した暗号化した原本イメージを復号化し、前記復号化した原本イメージを前記ディスプレイを通じて表示することを特徴とする請求項１１に記載のイメージ処理装置。

【請求項15】

前記イメージ処理部は、
前記原本イメージから前記サムネイルイメージと重なるイメージを除去し、前記重なったイメージが除去された原本イメージを前記第１の暗号化方式により暗号化し、前記暗号化した原本イメージを前記第２のイメージフィールドに記録することを特徴とする請求項８に記載のイメージ処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、暗号化(encryption)及び復号化(decryption)をサポートするマルチメディアデバイスでイメージを処理する装置及び方法に関する。

【背景技術】

【0002】

近年、放送サービスは、通信サービスとの融合による映像通信サービスが一般化された。映像通信サービスは、速い情報処理が可能なマルチメディアデバイスだけでなく高速の情報伝送を提供する広帯域ネットワークに基づいている。

【0003】

映像通信サービスをサポートするマルチメディアデバイスは、イメージ処理による多くの電力消耗が発生する。特に、処理するイメージの解像度は、ディスプレイの際にマルチメディアデバイスの消費電力を決定する主な要因となり得る。例えば、携帯が可能なマルチメディアデバイス(以下、‘携帯端末’と称する)でディスプレイ時の消費電力は、処理するイメージの解像度に比例して増加できる。

【0004】

イメージ解像度の増加は、処理するイメージに関する情報を伝送するリンク上での帯域幅を増加させる原因となることもある。一例として、一つのマルチメディアデバイスがクラウドサーバ(cloud server）にマルチメディアデータを伝送するために消費する帯域幅は、対象マルチメディアの種類、解像度などに比例して増加できる。他の例として、一つのマルチメディアデバイスがネットワークを介して他のマルチメディアデバイスにマルチメディアデータを伝送する場合、伝送するマルチメディアデータのサイズを決定するタイプ、解像度などに比例して使用する帯域幅を増加できる。

【0005】

このような理由で、大部分のマルチメディアデバイスは、マルチメディアデータの情報量を減少するために、多様な圧縮(encoding)及び圧縮解除(以下、“復元(decoding)“と称する)技術を使用している。圧縮及び復元技術は、記録媒体の容量及び伝送媒体の帯域幅を効率的に使用することができる。

【0006】

マルチメディアデータに対する圧縮及び復元をサポートするコーデック(codec）は、圧縮効率を高めるためにマルチメディアのタイプ別に開発されている。例えば、静止画像のためのコーデックはＪＰＥＧ、ＪＰＥＧ２０００、無損失ＪＰＥＧ、ＰＮＧ、ＰＭＢなどが存在し、動画像のためのコーデックにはモーションＪＰＥＧ、ＭＰＥＧ-１、ＭＰＥＧ-２、ＭＰＥＧ-４、Ｈ.２６３、Ｈ.２６４、ＨＥＶＣなどが存在し、オーディオのためのコーデックにはＭＰＥＧ-１レイヤI、ＭＰＥＧ-１レイヤII、ＭＰＥＧ-１レイヤIII、ＡＡＣ、ＨＥ-ＡＡＣ、ＦＬＡＣなどが存在し、音声のためのコーデックはＧ.７１１、Ｇ.７１８、ＡＭＲ、ＡＭＲ-ＷＢなどが存在する。

【0007】

マルチメディアデバイスは、同一のタイプのメディアであっても圧縮効率を考慮して異なるコーデックを使用する。例えば、第１のマルチメディアデバイスは、静止画像のためのコーデックとしてＪＰＥＧを使用し、第２のマルチメディアデバイスは静止画像のためのコーデックとしてＰＮＧを使用することができる。

【0008】

他の問題として、マルチメディアデバイスは、生成及び消費されるマルチメディアデータに対する保護方式を具備しなければならない。例えば、マルチメディアデバイスは、生成したマルチメディアデータを暗号化するか、あるいは暗号化したマルチメディアデータを消費するために復号化しなければならない。

【0009】

一般に、マルチメディアデバイスで圧縮及び復元技術と暗号化及び復号化技術は、相互互換が容易でないことがある。コーデックとの互換を維持しようとする場合、暗号化及び復号化を圧縮以前レベル(value level)で処理しなければならない。例えば、圧縮されたマルチメディアデータを暗号化する場合、マルチメディアデバイスは、圧縮されたマルチメディアデータをエントロピー(entropy)復元した後に暗号化し、暗号化したマルチメディアデータをエントロピー圧縮すべきである。反対に、暗号化したマルチメディアデータを復元する場合、マルチメディアデバイスは、暗号化したマルチメディアデータをエントロピー復元した後に復号化し、復号化したマルチメディアデータをエントロピー圧縮すべきである。

【0010】

マルチメディアデータが静止画像又は動画像である場合、マルチメディアデバイスは、低解像度イメージを提供できる。低解像度イメージは、サムネイルイメージ(thumbnail image)であり得る。マルチメディアデバイスは、マルチメディアデータの確認のためにサムネイルイメージを利用できる。

【0011】

低解像度イメージは、パーソナルコンピュータ(ＰＣ)、スマートフォン、クラウドサーバなどがそれぞれのポリシーに基づいて静止画像又は動画像情報を用いて生成される。したがって、マルチメディアデータが暗号化される場合、低解像度イメージも暗号化できる。この場合、他のマルチメディアデバイスが低解像度イメージを確認することが制限されるという問題を有する。

【0012】

このような問題を解消するために、より複雑な手順を遂行する必要がある。例えば、暗号化したイメージを復号化し、復号化したイメージから低解像度イメージを生成すべきである。しかしながら、このように生成された低解像度イメージであっても、暗号化した原本イメージと有機的な関係を形成するための方案が要求される。

【発明の概要】

【発明が解決しようとする課題】

【0013】

したがって、本発明は従来技術の問題点に鑑みてなされたものであって、その目的は、デバイスで圧縮及び復元技術と暗号化及び復号化技術との互換性をサポートするイメージ処理装置及び方法を提供することにある。

【0014】

本発明の他の目的は、暗号化及び復号化をサポートするマルチメディアデバイスで復号化がなくても低解像度イメージを容易に確認できるイメージ処理装置及び方法を提供することにある。

【0015】

また、本発明の目的は、マルチメディアデバイスで暗号化及び復号化なしに低解像度イメージの確認が可能なように、イメージに対する暗号化及び復号化を遂行するイメージ処理装置及び方法を提供することにある。

【0016】

本発明の目的は、マルチメディアデバイスで復号化なくても低解像度イメージの確認が容易なように、暗号化によるマルチメディアフレームを構成するイメージ処理装置及び方法を提供することにある。

【0017】

本発明の目的は、マルチメディアデバイスで低解像度イメージを活用してクラウドサーバに格納された原本イメージを確認するイメージ処理装置及び方法を提供することにある。

【0018】

さらに、本発明の目的は、低解像度イメージの共有を通じてクラウドサーバに格納されている原本イメージの確認が可能なマルチメディアデバイス及びこれをサポートする方法を提供することにある。

【課題を解決するための手段】

【0019】

上記のような目的を達成するために、本発明の一態様によれば、マルチメディアデバイスにおけるイメージを処理する方法が提供される。その方法は、原本イメージのサムネイルイメージを獲得するステップと、原本イメージを第１の暗号化方式により暗号化するステップと、獲得したサムネイルイメージを記録した第１のイメージフィールドと暗号化した原本イメージを記録した第２のイメージフィールドとの間に表示情報を記録する識別フィールドを含むように暗号化イメージフレームを生成するステップとを有し、表示情報は、暗号化イメージフレームが第２のイメージフィールドを含むか否かを示す。

【0020】

本発明の他の態様によれば、入力インターフェースと、入力インターフェースにより提供されたイメージフレームに含まれる原本イメージのサムネイルイメージを獲得し、原本イメージを第１の暗号化方式により暗号化し、獲得したサムネイルイメージを記録した第１のイメージフィールドと暗号化した原本イメージを記録した第２のイメージフィールドとの間に表示情報を記録する識別フィールドを含むように暗号化イメージフレームを生成するイメージ処理部と、イメージ処理部により生成された暗号化イメージフレームを出力する出力インターフェースとを含み、表示情報は、暗号化イメージフレームが第２のイメージフィールドを含むか否かを示すイメージ処理装置が提供される。

【発明の効果】

【0021】

本発明は、マルチメディアデバイスで自身が格納している低解像度イメージを用いてイメージの確認に対する便宜を提供しつつ、クラウドサーバに格納されている原本イメージを保護可能にする効果がある。これは、マルチメディアデバイスの格納空間を節約するだけでなくイメージ処理による電力消費を低減することを可能にする。

【図面の簡単な説明】

【0022】

【図1】本発明の多様な実施形態によるマルチメディアデバイスにおいて原本イメージに対して圧縮を実行するイメージ処理装置を示すブロック構成図である。

【図2】本発明の多様な実施形態によるイメージ処理装置で暗号化イメージフレームを構成するためのイメージ処理を概念的に示す図である。

【図3】本発明の多様な実施形態による暗号化イメージフレームの構成に対する一例を示す図である。

【図4】本発明の多様な実施形態による暗号化イメージフレームの構成に対する他の例を示す図である。

【図5A】本発明の多様な実施形態をＪＰＥＧを用いて原本イメージを圧縮するマルチメディアデバイスに適用する場合のイメージフレーム及び暗号化イメージフレームの例を示す図である。

【図5B】本発明の多様な実施形態をＪＰＥＧを用いて原本イメージを圧縮するマルチメディアデバイスに適用する場合のイメージフレーム及び暗号化イメージフレームの例を示す図である。

【図5C】本発明の多様な実施形態をＪＰＥＧを用いて原本イメージを圧縮するマルチメディアデバイスに適用する場合のイメージフレーム及び暗号化イメージフレームの例を示す図である。

【図6】本発明の多様な実施形態により、イメージ処理装置で原本イメージを処理する手順を示す図である。

【図7】本発明の多様な実施形態により、イメージ処理装置で暗号化を実行するための制御手順を示すフローチャートである。

【図8】本発明の多様な実施形態により、イメージ処理装置で復号化を実行するための制御手順を示すフローチャートである。

【図9】本発明の多様な実施形態により、コンテンツデータ処理のための信号処理の一例を概念的に示す図である。

【図10】本発明の多様な実施形態により、コンテンツデータ処理のための信号処理フローの他の例を概念的に示す図である。

【発明を実施するための形態】

【0023】

添付の図面を参照した下記の説明は、特許請求の範囲の記載及びこれと均等なものの範囲内で定められるような本発明の実施形態の包括的な理解を助けるために提供するものであり、この理解を助けるための様々な特定の詳細を含むが、唯一つの実施形態に過ぎない。従って、本発明の範囲及び趣旨を逸脱することなく、ここに説明する実施形態の様々な変更及び修正が可能であるということは、当該技術分野における通常の知識を有する者には明らかである。また、明瞭性と簡潔性の観点から、当業者に良く知られている機能や構成に関する具体的な説明は、省略する。

【0024】

次の説明及び請求項に使用する用語及び単語は、辞典的意味に限定されるものではなく、発明者により本発明の理解を明確かつ一貫性があるようにするために使用する。従って、特許請求の範囲とこれと均等なものに基づいて定義されるものであり、本発明の実施形態の説明が単に実例を提供するためのものであって、本発明の目的を限定するものでないことは、本発明の技術分野における通常の知識を持つ者には明らかである。

【0025】

本明細書において、“有する”、“有することができる”、“含む”又は“含むことができる”のような表現は、該当特徴(例えば、数値、機能、動作、又は構成要素のようなエレメント)の存在を示し、追加的な特徴の存在を排除しない。

【0026】

本明細書において、“Ａ又はＢ”、“Ａ又は/及びＢのうち少なくとも一つ”、又は“Ａ又は/及びＢのうち一つ以上”は、(１)少なくとも一つのＡを包含、(２)少なくとも一つのＢを包含、あるいは(３)少なくとも一つのＡ及び少なくとも一つのＢを両方とも包含のすべてを示す。

【0027】

様々な実施形態で使用される“第１”、“第２”のような序数表現は、多様な構成要素を順序及び/又は重要度に関係なく修飾でき、該当構成要素を限定しない。上記表現は、一つの構成要素を他の構成要素から区別するために使われる。例えば、第１のユーザー機器と第２のユーザー機器は、順序又は重要度に関係なく、異なるユーザー機器を称され得る。 例えば、本発明の権利範囲を外れることなく、第１の構成要素は第２の構成要素と称され、同様に第２の構成要素も第１の構成要素と称され得る。

【0028】

一つの構成要素(例えば、第１の構成要素)が他の構成要素(例えば、第２の構成要素)に“(機能的に又は通信的に)接続され”、あるいは“接続され”と記載される場合には、一つの構成要素が他の構成要素に直接に接続されるか、あるいは他の構成要素(例えば、第３の構成要素)を通して接続できると理解されなければならない。一方、一つの構成要素(例えば、第１の構成要素)が他の構成要素(例えば、第２の構成要素)に“直接連結され”、あるいは“直接接続され”と言及される場合には、一つの構成要素と他の構成要素との間に異なる構成要素(例えば、第３の構成要素)が存在しないと理解されることができる。

【0029】

本明細書で使用された表現“〜するように構成(設定)された”は、状況に応じて、例えば“〜に適合した”、“〜する能力を有する”、“〜するように設計された”、“〜するように変更された”、“〜するように作られた”又は“〜ができる”に変更して使用できる。用語“〜するように構成(又は設定)された”は、ハードウェア的に“特別に設計された”を必ずしも意味するものではない。その代わりに、任意の状況では、“〜するように構成された装置”という表現は、その装置が他の装置又は部品とともに“〜できる”ということを意味する。例えば、文句“Ａ、Ｂ、及びＣを遂行するように構成(又は設定)されたプロセッサ”は、該当動作を遂行するための専用プロセッサ(例えば、埋め込みプロセッサ)、又はメモリ装置に格納された一つ以上のソフトウェアプログラムを実行することにより、該当動作を遂行できる汎用プロセッサ(generic-purpose processor)(例えば、ＣＰＵ又はアプリケーションプロセッサ)を意味する。

【0030】

本明細書で使用される用語は、特定の実施形態を説明するために使用されるもので、他の実施形態の範囲を限定しようとする意図ではない。単数の表現は、文脈上明示されない限り、複数形を含むことができる。技術的又は科学的な用語を含めてここで使用されるすべての用語は、本発明の技術分野における通常の知識を持った者により一般的に理解されることと同一の意味を有することができる。一般的に使用される所定の用語は、関連技術の文脈が有する意味と同一又は類似した意味を有すると解析でき、明らかに定義されない限り、理想的又は過度に形式的な意味として解析さあれない。場合によって、本明細書で定義される用語であっても、本発明の実施形態を排除するように解析することができない。

【0031】

本発明の多様な実施形態野によるマルチメディアデバイスに対応する電子装置は、スマートフォン、タブレットＰＣ、携帯電話、画像電話、電子書籍リーダ、デスクトップＰＣ、ラップトップＰＣ、ネットブックコンピュータ、ワークステーション、サーバ、ＰＤＡ(Personal Digital Assistant)、ＰＭＰ(Portable Multimedia Player)、ＭＰ３プレーヤ、モバイル医療機器、カメラ、又はウェアラブルデバイス(例えば、スマートメガネ、ＨＭＤ(Head-Mounted-Device)、電子衣類、電子ブレース、電子ネックレス、電子アプセサリ、電子タトゥー、スマートミラー、またはスマート時計)のうち少なくとも一つを含むことができる。

【0032】

一実施形態において、電子装置は、スマート家電製品であり得る。スマート家電製品は、例えばテレビ、ＤＶＤ(Digital Video Disk)プレーヤ、オーディオ、冷蔵庫、エアコン、清掃機、オーブン、電子レンジ、洗濯機、空気清浄器、セットトップボックス、ホームオートメーションコントロールパネル、セキュリティコントロールパネル、ＴＶボックス(例えば、Ｓａｍsｕｎｇ ＨｏｍｅＳｙｎｃ(登録商標)、Ａｐｐｌｅ ＴＶ(登録商標)、又はＧｏｏｇｌｅ ＴＶ(登録商標)、ゲームコンソール(例えば、Ｘｂｏｘ(登録商標)、プレイステーション(登録商標))、電子辞典、電子キー、カムコーダ(camcorder)、又は電子フレームのうち少なくとも一つを含むことができる。

【0033】

他の実施形態において、電子装置は、各種医療機器(例えば、各種携帯用医療測定機器(血糖測定器、心拍側定器、血圧測定器、又は体温測定器など)、ＭＲＡ(Magnetic Resonance Angiography)、ＭＲＩ(Magnetic Resonance Imaging)、 ＣＴ(Computed Tomography)、撮影機、又は超音波器など)、ナビゲーション装置、ＧＰＳ(Global Positioning System)受信器、ＥＤＲ(Event Data Recorder)、ＦＤＲ(Flight Data Recorder)、自動車インフォテインメント(infotainment)装置、船舶用電子装備(例えば、船舶用航法装置、ジャイロコンパスなど)、航空電子機器(avionics)、セキュリティ機器、車両用ヘッドユニット、産業用又は家庭用ロボット、金融機関のＡＴＭ(Automatic Teller's Machine)、商店のＰＯＳ(Point Of Sales)、又は事物インターネット装置(例えば、電球、各種センサ、電気又はガスメーター、スプリンクラー装置、火災警報器、温度調節器、街灯、トースタ、運動器具、温水タンク、ヒーター、ボイラーなど)のうち少なくとも一つを含むことができる。

【0034】

一実施形態によると、電子装置は、家具、又はビル/構造の一部、電子ボード、電子署名受信器、プロジェクタ、又は多様な測定装置(例えば、水、電気、ガス、又は電磁波測定装置)のうち少なくとも一つを含むことができる。多様な実施形態において、電子装置は、上記した装置の一つ以上の組み合わせであってもよい。また、本発明の実施形態による電子装置は、上記装置に制限されるものではなく、技術発展による新たな電子装置を含むことができる。

【0035】

本発明で提案する多様な実施形態野において、イメージは、静止画像と動画像を通称する意味として使用する。用語“原本イメージ”は、暗号化などのイメージ処理がなされる前の静止画像又は動画像に対して使用する。また、用語“低解像度イメージ”は、原本イメージを確認し、検索する目的で原本イメージから獲得したサムネイルイメージなどに対して使用する。低解像度イメージは、原本イメージから特定領域のイメージを抽出し、あるいは原本イメージのメタ情報から関連イメージを生成し、又は原本イメージのサイズを変更し、あるいは原本イメージをユーザーが認知するようにブラー処理して変更することにより生成できる。

【0036】

原本イメージは、所定のイメージ圧縮方式により圧縮され、圧縮されたイメージは、所定の圧縮方式に対応する復元方式により原本イメージに復元され得る。圧縮及び復元のためのコーデックは、限定されたメモリの格納領域に効率的にデータを記録するための代表的な技術である。コーデックは、圧縮効率を向上させるためにデータのタイプ別に開発されている。

【0037】

本発明で提案する多様な実施形態において、原本イメージは、所定の暗号化方式により保護できる。暗号化した原本イメージは、所定の暗号化方式に対応する復号化方式により復号化され得る。さらに、低解像度イメージも所定の暗号化方式により保護できる。暗号化した低解像度イメージは、所定の暗号化方式に対応する復号化方式により復号化できる。例えば、低解像度イメージの暗号化のために、暗号化しようとするパラメータを選択し、暗号化しようとするパラメータの特定ビットを選択することができる。この場合、選択されたパラメータ又はパラメータの特定ビットを対象として低解像度イメージに対する暗号化を実行できる。

【0038】

本発明で提案する多様な実施形態では、原本イメージが所定のフォーマットを有するイメージフレームに提供され、原本イメージに対応する低解像度イメージの互換が容易であるように、マルチメディアデバイスがイメージフレームを暗号化イメージフレームで再構成する方案を提供する。その一つの方案で、イメージフレームに含まれた圧縮原本イメージを暗号化して識別情報以後に配置し、識別情報以前に圧縮原本イメージにより生成された低解像度イメージを配置した暗号化イメージフレームを構成できる。この場合、マルチメディアデバイスは、暗号化イメージフレームから低解像度イメージを容易に復元できる。マルチメディアデバイスは、暗号化したイメージフレームに含まれた識別情報によって、その以後には復元対象のデータが存在しないと認知する。

【0039】

暗号化イメージフレームで識別情報以後に配置される圧縮原本イメージの個数は、一個に必ずしも限定されるものではない。例えば、識別情報以後に複数の圧縮原本イメージを配置する場合、複数の圧縮原本イメージの各々に対応する複数のイメージフィールドが追加されてもよい。また、識別情報以前に配置される低解像度イメージの個数も必ずしも一個に限定される必要はない。例えば、複数の低解像度イメージの各々に対応する複数のイメージフィールドが追加されてもよい。

【0040】

識別情報以後に複数の圧縮原本イメージを配置する場合、圧縮原本イメージの間に識別情報を追加できる。追加した識別情報は、前に位置する圧縮原本イメージと後に位置する圧縮原本イメージを区分するために使用され得る。

【0041】

さらに、暗号化イメージフレームで識別情報以後に配置される圧縮原本イメージの個数と識別情報以前に配置される低解像度イメージの個数が必ずしも同一でないこともある。例えば、識別情報以後に一つの圧縮原本イメージが配置されたが、識別情報以前に複数の低解像度イメージが配置されることもある。その反面、識別情報以後に複数の圧縮原本イメージが配置されたが、識別情報以前に一つの低解像度イメージが配置されることもある。

【0042】

その他に、暗号化イメージフレームで含まれた識別情報も圧縮原本イメージの個数及び/又は低解像度イメージの個数に基づいて一個又は複数個で構成できることはもちろんである。

【0043】

暗号化イメージフレームで識別情報以後に配置される圧縮原本イメージは、識別情報以前に配置された低解像度イメージを考慮してそのサイズが調整される。例えば、圧縮原本イメージから低解像度イメージに重なる領域に該当するデータを除去し、圧縮原本イメージから残りの領域に該当するデータのみを識別情報以後に配置できる。

【0044】

本発明で提案する多様な実施形態では、マルチメディアデバイスが所定の圧縮方式による圧縮により生成されたイメージフレームに基づいて再構成した圧縮されたイメージフレームをクラウドサーバに伝送し、イメージフレームに含まれた原本イメージに対応する低解像度イメージを内部に格納する方案に対しても提案する。この場合、マルチメディアデバイスに格納される情報量を減少させつつ、低解像度イメージを用いて原本イメージの検索が可能であり得る。圧縮されたイメージフレームに含まれた原本イメージは、暗号化されないこともある。圧縮されたイメージフレームが暗号化されない原本イメージを含む場合、クラウドサーバは、圧縮されたイメージフレームに含まれた原本イメージを暗号化して格納できる。また、クラウドサーバは、圧縮されたイメージフレームに含まれる原本イメージに対応する低解像度イメージを生成し、これをマルチメディアデバイスに伝送することができる。このために、圧縮されたイメージフレームに含まれた原本イメージが必ずしも暗号化されない必要はない。すなわち、圧縮されたイメージフレームが暗号化した原本イメージを含む場合にもクラウドサーバは、低解像度イメージを生成し、これをマルチメディアデバイスに伝送することに難しさはないであろう。

【0045】

以下、提案される本発明の多様な実施形態について添付の図面を参照して詳細に説明する。

【0046】

図１は、本発明の多様な実施形態によるマルチメディアデバイスで原本イメージに対する圧縮を実行するイメージ処理装置を示すブロック構成図である。

【0047】

図１を参照すると、イメージ処理装置は、入力インターフェース部１１０、イメージ処理部１２０、及び出力インターフェース部１３０を含む。入力インターフェース部１１０は、暗号化のための原本イメージを受信し、受信した原本イメージをイメージ処理部１２０に伝送する。

【0048】

一実施形態によると、原本イメージは、イメージフレームのペイロードに含まれ、入力インターフェース部１１０に入力され得る。イメージフレームのペイロードに含まれる原本イメージは、所定のイメージ圧縮方式により圧縮される。この場合、イメージフレームの構成は、原本イメージの圧縮に使用されるイメージ圧縮方式により決定できる。例えば、イメージ圧縮方式がＪＰＥＧである場合、イメージフレームは、ＪＰＥＧビットストリームの構成を有することができる。
イメージ処理部１２０は、原本イメージを用いて暗号化イメージフレームを構成する。

【0049】

一実施形態によると、イメージ処理部１２０は、入力インターフェース部１１０から入力されたイメージフレームのペイロードに記録された原本イメージを抽出する。抽出した原本イメージが所定のイメージ圧縮方式により圧縮されている場合、イメージ処理部１２０は、圧縮された原本イメージを復元できる。イメージ処理部１２０は、圧縮された原本イメージを復元するために、イメージフレームのヘッダ情報を使用する。

【0050】

イメージ処理部１２０は、原本イメージに対応する低解像度イメージを生成する。例えば、イメージ処理部１２０は、原本イメージの全体領域から特定領域を選択し、選択した領域に対応するイメージを抽出し、抽出したイメージに基づいて低解像度イメージを生成できる。特定領域は、原本イメージの特徴を表す領域、すなわち原本イメージを識別することが容易な領域により設定することが望ましい。イメージ処理部１２０は、原本イメージが有するメタ情報を用いて関連イメージを生成し、生成した関連イメージを低解像度イメージとして使用する。メタ情報を用いて関連イメージを生成する場合にも、原本イメージの識別が容易にする情報が含まれ得る。

【0051】

さらに、イメージ処理部１２０は、原本イメージのサイズを縮小し、サイズが縮小した原本イメージを用いて低解像度イメージを生成するか、あるいは原本イメージをブラー(blur)処理を通じてユーザーが認識できるイメージを生成し、この生成したイメージを低解像度イメージとして使用する。

【0052】

イメージ処理部１２０は、原本イメージを暗号化し、暗号化した原本イメージを生成する。イメージ処理部１２０は、生成した低解像度イメージと生成した暗号化原本イメージを含む暗号化イメージフレームを構成する。低解像度イメージは、伝送フレームを構成するために暗号化され得る。この場合、低解像度イメージを暗号化するための暗号化方式は、原本イメージを暗号化するための暗号化方式と異なることがある。例えば、低解像度イメージを暗号化するための暗号化方式の暗号化レベルは、原本イメージを暗号化するための暗号化方式の暗号化レベルに比べて相対的に低い暗号化レベルを有してもよい。

【0053】

一実施形態によると、イメージ処理部１２０は、低解像度イメージに基づいて暗号化しようとするパラメータを選択し、選択したパラメータを暗号化する。また、イメージ処理部１２０は、低解像度イメージに基づいて暗号化しようとするパラメータを選択し、選択したパラメータの特定ビットを選択して暗号化する。

【0054】

一実施形態によると、暗号化イメージフレームは、第１のイメージフィールド、識別フィールド、及び第２のイメージフィールドなどを含む。イメージ処理部１２０は、低解像度イメージを第１のイメージフィールドに記録し、暗号化した原本イメージを第２のイメージフィールドに記録し、表示情報を識別フィールドに記録する。表示情報は、暗号化イメージフレームが第２のイメージフィールドを含んでいるか否かを示す情報である。

【0055】

一実施形態によると、イメージ処理部１２０は、イメージフレームのペイロードに記録された原本イメージの代わりに低解像度イメージを記録し、イメージフレームの端を表すフィールドに記録された識別情報を表示情報として使用し、表示情報の後に暗号化した原本イメージを記録した第２のイメージフィールドを追加して暗号化イメージフレームを構成できる。イメージフレームの端を表す識別情報は、原本イメージの圧縮のために使用されたイメージ圧縮方式に対応して定義できる。

【0056】

一実施形態によると、暗号化イメージフレームを構成する第１のイメージフィールドは、一つ又は複数の記録領域を有することができる。例えば、第１のイメージフィールドは、必ずしも一つの低解像度イメージを含む必要はない。例えば、複数の低解像度イメージが第１のイメージフィールドに順次に記録されてもよい。この場合、第１のイメージフィールドに記録された複数の低解像度イメージは、所定の情報(ビット値)により区分できる。

【0057】

一実施形態によると、暗号化イメージフレームを構成する第２のイメージフィールドは、一つ又は複数の記録領域を有することができる。例えば、第２のイメージフィールドは、必ずしも一つの圧縮原本イメージが含まれる必要はない。例えば、複数の圧縮原本イメージが第２のイメージフィールドに順次に記録されてもよい。この場合、第２のイメージフィールドに記録された複数の圧縮原本イメージは、所定の情報(ビット値)により区分され得る。所定の情報は、圧縮原本イメージの間に位置し、あるいは予め合意された位置に一括的に追加できる。

【0058】

一実施形態によると、第２のイメージフィールドに配置される圧縮原本イメージの個数と第１のイメージフィールド以前に配置される低解像度イメージの個数が必ずしも同一でないこともある。例えば、第２のイメージフィールドに一つの圧縮原本イメージが配置されるが、第１のイメージフィールドに複数の低解像度イメージが配置されてもよい。一方、第２のイメージフィールドに複数の圧縮原本イメージが配置されたが、第１のイメージフィールドに一つの低解像度イメージが配置されてもよい。

【0059】

一実施形態によると、第２のイメージフィールドに配置される圧縮原本イメージは、第１のイメージフィールドに配置された低解像度イメージを考慮してそのサイズを調整する。例えば、第２のイメージフィールドには、圧縮原本イメージから低解像度イメージに重なる領域に該当するデータを除去し、圧縮原本イメージから残りの領域に該当するデータのみが記録できる。

【0060】

イメージ処理部１２０は、識別フィールドと第２のイメージフィールドとの間に付加フィールド(予備(追加)情報(extra information)フィールド)を追加して暗号化イメージフレームを構成する。付加フィールドには暗号化した原本イメージの復号化のために必要な情報が記録され得る。

【0061】

出力インターフェース部１３０は、イメージ処理部１２０により生成された暗号化イメージフレームを対象ユニットに出力する。対象ユニットは、暗号化イメージフレームの処理方式に対応して決定する。例えば、暗号化イメージフレームを内部に記録しようとする場合、出力インターフェース部１３０は、暗号化イメージフレームを内部記録媒体に出力する。他の例として、暗号化イメージフレームを外部デバイス(例えば、クラウドサーバ）に伝送しようとする場合、出力インターフェース部１３０は、暗号化イメージフレームを伝送部に出力できる。

【0062】

イメージ処理部１２０は、低解像度イメージをイメージ識別情報に対応して記録部(図示せず)に格納する。イメージ識別情報は、低解像度イメージと暗号化イメージフレームを通じて外部デバイス(クラウドサーバなど）に伝送された暗号化した原本イメージをマッチするために定義される。イメージ識別情報は、暗号化イメージフレームの指定されたフィールドに記録されることができる。

【0063】

一実施形態によると、イメージ処理部１２０は、外部要請により記録部に格納された低解像度イメージのうち一つ又は複数の低解像度イメージをディスプレイ部(図示せず)に表示する。

【0064】

一実施形態によると、イメージ処理部１２０は、出力インターフェース部１３０を通じて外部デバイス(クラウドサーバなど）にサムネイルイメージを要請し、これに対する応答で外部デバイスから低解像度イメージを受信する。イメージ処理部１２０は、外部デバイスから受信した低解像度イメージをディスプレイ部(図示せず)に表示する。

【0065】

イメージ処理部１２０は、表示された低解像度イメージに対応する原本イメージの提供が要請される場合、表示された低解像度イメージに対応して格納されたイメージ識別情報を用いて外部デバイス(クラウドサーバなど）に暗号化した原本イメージを要請できる。イメージ処理部１２０は、入力インターフェース部１１０を通じて暗号化した原本イメージを受信する場合、受信した暗号化された原本イメージを復号化できる。イメージ処理部１２０は、復号化した原本イメージをディスプレイ部(図示せず)に表示する。

【0066】

図２は、本発明の多様な実施形態によるイメージ処理装置で暗号化イメージフレームを構成するためのイメージ処理を概念的に示す。

【0067】

図２を参照すると、ステップ２１０において、マルチメディアデバイスは、原本イメージから低解像度イメージを生成する。低解像度イメージは、サムネイルイメージの一例であり得る。マルチメディアデバイスは、原本イメージのポリシーに基づいてサムネイルイメージを生成する。例えば、サムネイルイメージは、原本イメージに対するサイズの再調整(resizing)、量子化レベルの調整、クロッピング(cropping)に基づいて生成できる。その他に、サムネイルイメージは、上記した低解像度イメージと同一の生成方式により生成され得る。

【0068】

サムネイルは、所定の方式に基づいて暗号化される。例えば、サムネイルは、暗号化しようとするパラメータを選択して暗号化し、あるいは暗号化しようとするパラメータの特定ビットを選択して暗号化することができる。

【0069】

マルチメディアデバイスは、ステップ２２０において、所定の暗号化方式を使用して原本イメージに対する暗号化を実行し、暗号化により暗号化した原本イメージを出力する。例えば、原本イメージの特定領域のイメージを用いて低解像度イメージを生成する場合、マルチメディアデバイスは、原本イメージで特定領域のイメージを除いた残りの領域のイメージに対して暗号化を実行できる。

【0070】

マルチメディアデバイスは、暗号化した原本イメージの復号化のために必要な追加情報を備える。例えば、マルチメディアデバイスは、暗号化のために使用したキー(暗号キー)に関する情報、暗号化方式を追加情報として提供し、あるいはこれを考慮して復号化のために必要な情報を追加情報として提供することができる。原本イメージの暗号化が選択的に適用される場合、追加情報は、原本イメージが暗号化されるか否かを示す情報をさらに含むことができる。

【0071】

マルチメディアデバイスは、ステップ２３０において、生成した少なくとも一つの低解像度イメージと暗号化した少なくとも一つの原本イメージにより暗号化イメージフレームを構成する。例えば、暗号化イメージフレームは、ヘッダとペイロードで構成される。ペイロードは、少なくとも一つの低解像度イメージと少なくとも一つの暗号化した原本イメージを含む。ペイロードは、少なくとも一つの暗号化した原本イメージを含むことを指示する表示(marker)を含むことができる。ペイロードで表示が記録される位置は、暗号化した原本イメージが記録される位置に先行する。すなわち、ペイロードは、少なくとも一つの低解像度イメージが記録されるフィールド(例えば、フェイクペイロード)、表示が記録されるフィールド、及び少なくとも一つの暗号化した原本イメージが記録されるフィールドの順に配置可能である。

【0072】

マルチメディアデバイスは、暗号化による追加情報を備える場合、暗号化イメージフレームのペイロードは、備える追加情報を記録するフィールドを含むことができる。例えば、追加情報が記録されたフィールドは、表示が記録されたフィールドと暗号化した原本イメージが記録されたフィールドとの間に配置することができる。

【0073】

マルチメディアデバイスは、暗号化イメージフレームのヘッダに低解像度イメージのための情報を記録する。暗号化イメージフレームのヘッダは、“フェイクヘッダ”となり得る。この場合、マルチメディアデバイスは、暗号化イメージフレームのペイロードに付加ヘッダフィールドを追加できる。マルチメディアデバイスは、付加ヘッダフィールドに少なくとも一つの暗号化した原本イメージのための情報を記録する。マルチメディアデバイスは、付加ヘッダフィールドに記録する少なくとも一つの暗号化した原本イメージのための情報を暗号化できる。この場合、付加ヘッダフィールドは“暗号化ヘッダ”となり得る。

【0074】

図３は、本発明の多様な実施形態による暗号化イメージフレームの構成に対する一例を示す。

【0075】

図３を参照すると、暗号化イメージフレームは、ヘッダ３１０とペイロード３２０を含む。ヘッダ３１０には、暗号化イメージフレームに関する情報が記録される。ヘッダ３１０には、ペイロード３２０に記録されたデータに関する情報が記録される。ペイロード３２０には、少なくとも一つの低解像度イメージと少なくとも一つの暗号化した原本イメージが記録される。

【0076】

一実施形態によると、ペイロード３２０は、第１のイメージフィールド３２２、識別フィールド３２４、及び第２のイメージフィールド３２６を含む。第１のイメージフィールド３２２は、少なくとも一つの低解像度イメージが記録され得る。第１のイメージフィールド３２２に記録された少なくとも一つの低解像度イメージは、所定の暗号化方式により暗号化される。第２のイメージフィールド３２６には、少なくとも一つの原本イメージが記録され得る。第２のイメージフィールド３２６に記録された少なくとも一つの原本イメージは、所定の暗号化方式により暗号化される。

【0077】

低解像度イメージを暗号化するための暗号化方式は、原本イメージを暗号化するための暗号化方式と異なることがある。例えば、低解像度イメージを暗号化するための暗号化方式の暗号化レベルは、原本イメージを暗号化するための暗号化方式の暗号化レベルに比べて相対的に低い暗号化レベルを有することができる。

【0078】

表示情報は、識別フィールド３２４に記録され得る。表示情報は、暗号化イメージフレームが第２のイメージフィールド３２６を含むか否かを示す情報である。表示情報は、第２のイメージフィールド３２６に含んでいる原本イメージが暗号化されたか否かを示す情報としても使用できる。

【0079】

図４は、本発明の多様な実施形態による暗号化イメージフレームの構成に対する他の例を示す。

【0080】

図４に示す暗号化イメージフレームの構成は、図３に示した暗号化イメージフレームの構成に付加フィールド４２６をペイロード４２０に追加したものである。すなわち、暗号化イメージフレームを構成するペイロード４２０は、第１のイメージフィールド４２２、識別フィールド４２４、付加フィールド４２６、及び第２のイメージフィールド４２８を含む。付加フィールド４２６は、暗号化のために使用するキー(暗号キー)に関する情報、暗号化方式などの追加情報が記録される。原本イメージの暗号化が選択的に適用される場合、追加情報は、原本イメージが暗号化されるか否かを示す情報をさらに含むことができる。

【0081】

暗号化イメージフレームのヘッダ４１０には、暗号化イメージフレームのための情報以外に第２のイメージフィールド４２８に記録された暗号化した原本イメージのための情報が記録される。

【0082】

一実施形態によると、暗号化イメージフレームを構成するヘッダ４１０は、暗号化イメージフレームのための情報以外に第１のイメージフィールド４２２に記録された低解像度イメージのための情報がさらに記録され得る。この場合、ペイロード４２０は、付加ヘッダフィールド(図示せず)をさらに含むことができる。付加ヘッダフィールドには、第２のイメージフィールド４２８に記録された暗号化した原本イメージのための情報が記録され得る。例えば、暗号化した原本イメージのための情報は、所定の暗号化方式により暗号化されて付加ヘッダフィールドに記録され得る。

【0083】

図５は、本発明の多様な実施形態を、ＪＰＥＧを用いて原本イメージを圧縮するマルチメディアデバイスに適用した場合のイメージフレーム及び暗号化イメージフレームの例を示す。

【0084】

図５を参照すると、圧縮方式でＪＰＥＧを使用して原本イメージを圧縮する場合に生成されるイメージフレーム(ａ）は、ＳＯＩ(Start Of Image)フィールド、ヘッダ、ペイロード、及びＥＯＩ(End Of Image)フィールドを含む。

【0085】

ＳＯＩフィールドには原本イメージの開始を示す表示情報が記録される。ヘッダは、ＪＰＥＧのコーデック方式、イメージサイズ、量子化テーブル、ハフマンテーブルなどの情報が記録される。ペイロードには実際に圧縮された原本イメージが記録される。ＥＯＩフィールドには原本イメージの端を表示する表示情報が記録される。

【0086】

本発明の一実施形態によると、イメージ処理装置により生成された暗号化イメージフレーム(ｂ）は、ＳＯＩフィールド、ヘッダ、サムネイルフィールド、ＥＯＩフィールド、及び暗号化したペイロードを含む。

【0087】

一実施形態によると、イメージフレーム(ａ）のペイロードに記録された圧縮した原本イメージを復元し、復元した原本イメージからサムネイルイメージを獲得する。サムネイルイメージは、圧縮された原本イメージから直接に獲得することができる。獲得したサムネイルイメージは、イメージフレーム(ａ）のペイロード(暗号化イメージフレーム(ｂ）のサムネイルフィールド)に記録できる。このとき、サムネイルイメージを記録した後に残っている空間は、他の用途として使用するか、あるいはゼロパディング処理を実行できる。この場合、イメージ処理装置は、暗号化イメージフレーム(ｂ）のサムネイルフィールドに記録されたサムネイルイメージを特別な困難さなしに獲得できる。

【0088】

イメージフレーム(ａ）のＥＯＩフィールドに記録された情報は、特定表示情報として使用される。特定表示情報は、ＥＯＩフィールド以後に暗号化したペイロードが追加されたことを示すために使用できる。暗号化したペイロードには所定の暗号化方式により原本イメージを暗号化して獲得した暗号化した原本イメージが記録され得る。

【0089】

この場合、イメージ処理装置は、ＥＯＩフィールドに記録された情報を確認することにより、以後フィールドに記録された原本イメージが所定の暗号化方式により暗号化されることを認知可能になる。

【0090】

また、コーデックは、特定信号(例えば、ＥＯＩフィールドに記録された情報)以後には情報が存在しないと認知して復元しない。したがって、イメージ処理装置で暗号化イメージフレーム(ｂ）を復元する場合、サムネイルイメージのみが復元され得る。

【0091】

このような特性を活用する場合、ＥＯＩフィールドと暗号化したペイロードとの間に追加情報フィールドを追加して暗号化イメージフレーム(ｂ）を構成できる。追加情報フィールドには暗号化有無、暗号化のためのキー(暗号化キー)、暗号化方式などに関する追加情報を記録できる。

【0092】

図６は、本発明の多様な実施形態によりイメージ処理装置で原本イメージを処理する手順を示す。

【0093】

図６参照すると、イメージ処理装置は、ステップ６１０において、１６個のイメージブロックからなる原本イメージを所定の圧縮方式により圧縮し、圧縮した原本イメージによりイメージフレームを構成する。イメージフレームは、ＳＯＩ、ヘッダ、ペイロード、及びＥＯＩにより構成できる。

【0094】

イメージ処理装置は、ステップ６２０において、サムネイル用途の低解像度イメージを生成し、ＡＥＳ技法を使用して圧縮された原本イメージに対する暗号化を実行する。例えば、低解像度イメージは、原本イメージを構成する１６個のイメージブロック各々の一部イメージを抽出して生成できる。

【0095】

イメージ処理装置は、ステップ６３０において、生成した低解像度イメージを、イメージフレームを構成するヘッダとＥＯＩとの間に記録し、ＥＯＩ以後に暗号化した原本イメージを記録することにより、暗号化イメージフレームを構成する。

【0096】

イメージ処理装置は、ステップ６４０において、上記構成した暗号化イメージフレームに記録された低解像度イメージを所定の暗号化方式により暗号化される。このとき、低解像度イメージを暗号化するために使用される暗号化方式は、圧縮原本イメージを暗号化するために使用される暗号化方式と異なることがある。この実施形態に対しては、上記した通りである。

【0097】

図７は、本発明の多様な実施形態によりイメージ処理装置で暗号化を遂行するための制御手順を示すフローチャートである。

【0098】

図７を参照すると、イメージ処理装置は、ステップ７１０において、イメージフレームを受信する。イメージフレームは、所定の圧縮方式をサポートするコーダにより生成され得る。したがって、イメージフレームは、圧縮された原本イメージを含む。イメージフレームの構成は、原本イメージの圧縮のために適用される圧縮方式により定義できる。

【0099】

イメージ処理装置は、ステップ７２０において、受信した少なくとも一つのイメージフレームのペイロードを分析する。イメージ処理装置は、ステップ７３０において、分析結果に基づいて選択した暗号化方式を使用してペイロードに記録された原本イメージに対する暗号化を実行する。このとき、ＡＥＳ方式が暗号化方式として選択され得る。

【0100】

イメージ処理装置は、ステップ７４０において、一つ又は複数の原本イメージの各々に対応するサムネイルイメージである低解像度イメージを生成する。イメージ処理装置は、ステップ７５０において、少なくとも一つの暗号化した原本イメージと少なくとも一つの低解像度イメージを含む暗号化イメージフレームを構成する。暗号化イメージフレームは、少なくとも一つの暗号化した原本イメージと少なくとも一つの低解像度イメージを用いるイメージフレームの再構成により生成できる。

【0101】

イメージ処理装置は、原本イメージに対する暗号化を遂行するために必要な暗号化有無、暗号化キー、暗号化方式などに関する追加情報を生成し、生成した追加情報を原本イメージの暗号化のために活用することもできる。この場合、暗号化イメージフレームにフェイクペイロード(fake payload)を定義し、定義したフェイクペイロードに低解像度イメージを記録することができる。

【0102】

図８は、本発明の多様な実施形態によりイメージ処理装置で復号化を実行するための制御手順を示すフローチャートである。

【0103】

図８を参照すると、イメージ処理装置は、ステップ８１０において、暗号化イメージフレームに含まれた表示情報(例えば、ＥＯＩなど)を分析し、その分析結果に基づいて暗号化イメージフレームを構成する暗号化したペイロードの位置を認知する。

【0104】

イメージ処理装置は、ステップ８２０において、認知した暗号化したペイロードの位置を使用して暗号化イメージフレームの暗号化したペイロードに記録された少なくとも一つの暗号化した原本イメージに対する復号化を実行する。イメージ処理装置は、少なくとも一つの暗号化した原本イメージの復号化を実行するために要求される情報を暗号化イメージフレームの付加フィールドに記録される追加情報又は付加ヘッダ情報から獲得できる。少なくとも一つの暗号化した原本イメージの復号化のために、ＡＥＳ方式が使用される。

【0105】

例えば、イメージ処理装置は、暗号化イメージフレームに含まれた追加情報を抽出し、抽出した追加情報に基づいて暗号化イメージフレームの暗号化したペイロードに記録された少なくとも一つの暗号化した原本イメージに対する復号化を実行できる。

【0106】

イメージ処理装置は、ステップ８３０において、原本イメージの復元のために使用する復元方式を考慮してイメージフレームを構成する。

【0107】

また、本発明では、コンテンツが確認可能な情報をマルチメディアデバイスに格納し、実際に暗号化した大きなサイズの情報はクラウドサーバに格納することにより、ユーザーに使用の便宜性を増加させ、マルチメディアデバイスのメモリサイズを縮小でき、ネットワーク使用量も減少することができる。

【0108】

図９は、本発明の多様な実施形態によるコンテンツデータ処理のための信号処理手順の一例を概念的に示す。すなわち、図９では、マルチメディアデバイスが低解像度イメージを生成し、これを使用してクラウドサーバに格納されたコンテンツ(例えば、原本イメージ)を検索し、検索により所望するコンテンツデータをクラウドサーバから獲得するシナリオを仮定する。下記の説明では、便宜のために、マルチメディアデバイスとクラウドサーバとの間でやり取りするコンテンツを静止画像又は動画像に対応する原本イメージであると仮定して説明する。

【0109】

図９を参照すると、マルチメディアデバイスは、暗号化対象である一つ又は複数のイメージフレームの提供を受信し、受信した一つ又は複数のイメージフレームが含んでいる原本イメージに対応する少なくとも一つの低解像度イメージを生成し、生成した少なくとも一つの低解像度イメージをメモリに格納する(ステップ１)。以下の説明において、便宜のために、一つの原本イメージと一つの低解像度イメージにより暗号化イメージフレームを生成することを仮定する。しかしながら、複数の原本イメージ及び/又は複数の低解像度イメージにより暗号化イメージフレームを生成する場合に対しても、同一に適用できることはもちろんである。

【0110】

低解像度イメージを格納するメモリは、マルチメディアデバイスの内部又はマルチメディアデバイスにより接近が可能な外部に位置する。イメージフレームに含まれた原本イメージは、所定の圧縮方式により圧縮され得る。このとき、圧縮方式が制限的に適用されない。例えば、静止画像又は動画像の圧縮のためのすべての圧縮方式である場合、追加変更なしに適用が可能である。但し、マルチメディアデバイスは、低解像度イメージを生成するときに使用される圧縮方式を考慮することが望ましい。

【0111】

マルチメディアデバイスは、イメージフレームに含まれた原本イメージを所定のフォーマットの伝送フレームを用いてクラウドサーバに送信する(ステップ２)。例えば、伝送フレームは、イメージフレームを再構成した暗号化したイメージフレームであり得る。暗号化したイメージフレームの再構成について説明する。この場合、伝送フレームに含まれた原本イメージに対する暗号化は選択的に適用され得る。伝送フレームに含まれた原本イメージが暗号化されない場合、伝送フレームを受信したクラウドサーバは、伝送フレームに含まれた原本イメージを暗号化できる(ステップ２-１)。

【0112】

マルチメディアデバイスは、原本イメージに対応して生成した低解像度イメージを伝送フレームに必ずしも含める必要はない。伝送フレームに低解像度イメージを含める場合、上記に提案された暗号化したイメージフレームのように互換性を考慮した構成を有することが望ましい。この場合、伝送フレームに含まれた低解像度イメージは、他のマルチメディアデバイスによっても共有が可能である。

【0113】

マルチメディアデバイスは、格納された低解像度イメージを表示し、これに基づいて表示可能な原本イメージに対する検索機能を提供する(ステップ３)。例えば、マルチメディアデバイスは、ユーザーの要請に応答して格納された低解像度イメージを順次に表示し、ユーザーにより表示された低解像度イメージが選択されるか否かをモニタリングできる。低解像度イメージが暗号化されていないので、マルチメディアデバイスは、低解像度イメージの表示のために該当低解像度イメージに対する復号化を遂行しないことがある。

【0114】

表示された低解像度イメージに対応する原本イメージの提供が要請される場合、マルチメディアデバイスは、該当原本イメージの提供をクラウドサーバに要請できる(ステップ４)。例えば、マルチメディアデバイスは、該当原本イメージの提供を要請する場合、クラウドサーバに該当原本イメージを識別する情報を提供できる。そのため、マルチメディアデバイスは、低解像度イメージを格納する場合に識別情報を与え、与えられた識別情報をクラウドサーバに提供できる。識別情報は、原本イメージをクラウドサーバに伝送する場合に共に提供することが望ましい。一実施形態によれば、クラウドサーバは、原本イメージを上記提案した暗号化したイメージフレームを用いてマルチメディアデバイスに送信できる。

【0115】

クラウドサーバは、マルチメディアデバイスの要請に応答して格納された原本イメージを読み取り、読み取られた原本イメージをマルチメディアデバイスに送信する(ステップ５)。格納された原本イメージは暗号化されているため、クラウドサーバは、暗号化した原本イメージに対する復号化を実行する(ステップ４-１)。

【0116】

マルチメディアデバイスは、原本イメージをクラウドサーバから受信する場合、受信した原本イメージを、ディスプレイ手段を通じて表示できる(ステップ６)。このため、マルチメディアデバイスは、所定の復号化方式に基づいて原本イメージに対する復号化を遂行できる。加えて、復号化以後に所定のコーデックを使用して原本イメージに対する復元を実行できる。

【0117】

詳述したように、マルチメディアデバイスは、すべての原本イメージを保管する必要がなく、記録空間を節約するだけでなく、低解像度イメージを用いて原本イメージの検索も容易に遂行することができる。

【0118】

図１０は、本発明の多様な実施形態によるコンテンツデータ処理のための信号処理手順の他の例を概念的に示す。すなわち、図１０は、クラウドサーバがマルチメディアデバイスから提供される原本コンテンツにより生成した低解像度イメージをマルチメディアデバイスに提供するシナリオを仮定する。下記の説明では、便宜のために、マルチメディアデバイスとクラウドサーバとの間でやり取りするコンテンツを静止画像又は動画像に対応する原本イメージであると仮定して説明する。

【0119】

図１０を参照すると、マルチメディアデバイスは、イメージフレームを受信し、イメージフレームに含まれた原本イメージを所定フォーマットの伝送フレームを用いてクラウドサーバに送信できる(ステップ１)。例えば、伝送フレームは、イメージフレームを再構成した暗号化したイメージフレームであり得る。暗号化したイメージフレームの再構成に対しては上記した通りである。この場合、伝送フレームに含まれた原本イメージに対する暗号化は、選択的に適用され得る。伝送フレームに含まれた原本イメージが暗号化されない場合、伝送フレームを受信したクラウドサーバは、伝送フレームに含まれた原本イメージを暗号化できる。

【0120】

クラウドサーバは、マルチメディアデバイスから送信された伝送フレームが含んでいる原本イメージに対応する低解像度イメージを生成し、生成した低解像度イメージをメモリに格納する(ステップ２)。イメージフレームに含まれた原本イメージは、所定の圧縮方式により圧縮され得る。このとき、圧縮方式が制限的に適用されない。すなわち、静止画像又は動画像の圧縮のためのすべての圧縮方式である場合、追加変更を必要とせずに適用が可能である。マルチメディアデバイスは、低解像度イメージを生成するときに使用される圧縮方式を考慮することが望ましい。

【0121】

クラウドサーバは、生成した低解像度イメージをマルチメディアデバイスに伝送する(ステップ３)。クラウドサーバによる低解像度イメージの伝送は、義務的になされ得るが、マルチメディアデバイスの要請に対する応答からなされることもある。クラウドサーバによりマルチメディアデバイスに伝送される低解像度イメージは、暗号化されないことがある。これは、多様なマルチメディアデバイスにより低解像度イメージの共有を可能にする。但し、低解像度イメージが所定の圧縮技術を使用する場合、共有のためのマルチメディアデバイスは、該当圧縮技術に対応するコーデックを具備すべきである。

【0122】

マルチメディアデバイスは、クラウドサーバから提供された低解像度イメージをメモリに格納する(ステップ４)。低解像度イメージを格納するメモリは、マルチメディアデバイスの内部又はマルチメディアデバイスにより接近が可能な外部に位置する。イメージフレームに含まれた原本イメージは、所定の圧縮方式により圧縮され得る。このとき、圧縮方式が制限的に適用されない。例えば、静止画像又は動画像の圧縮のためのすべての圧縮方式である場合、追加変更する必要なしに適用が可能である。

【0123】

マルチメディアデバイスは、格納された低解像度イメージを表示し、これに基づいて表示可能な原本イメージに対する検索機能を提供できる(ステップ５)。例えば、マルチメディアデバイスは、ユーザーの要請に応答して格納された低解像度イメージを順次に表示し、ユーザーにより表示された低解像度イメージが選択されるか否かをモニタリングできる。低解像度イメージは、暗号化されないので、マルチメディアデバイスは、低解像度イメージの表示のために、該当低解像度イメージに対する復号化を実行しない。

【0124】

表示された低解像度イメージに対応する原本イメージの提供が要請される場合、マルチメディアデバイスは、該当原本イメージの提供をクラウドサーバに要請する(ステップ６)。例えば、マルチメディアデバイスは、該当原本イメージの提供を要請する場合、クラウドサーバに該当原本イメージを識別できる情報を提供できる。このため、クラウドサーバは、低解像度イメージを格納する場合に識別情報を与え、与えられた識別情報をマルチメディアデバイスに提供できる。識別情報は、クラウドサーバがマルチメディアデバイスに低解像度イメージを伝送する場合にともに提供することが望ましい。

【0125】

クラウドサーバは、マルチメディアデバイスの要請に応答して格納された原本イメージを読み取り、読み取られた原本イメージをマルチメディアデバイスに伝送する(ステップ７)。格納された原本イメージが暗号化されている場合、クラウドサーバは、暗号化した原本イメージに対する復号化を実行することができる。

【0126】

マルチメディアデバイスは、原本イメージをクラウドサーバから受信する場合、受信した原本イメージをディスプレイ手段を通じて表示する(ステップ８)。そのため、マルチメディアデバイスは、所定の復号化方式に基づいて原本イメージに対する復号化を遂行する。さらに、マルチメディアデバイスは、復号化以後に所定のコーデックを用いて原本イメージに対する復元を実行できる。

【0127】

上記したように、マルチメディアデバイスは、すべての原本イメージを保管する必要がないことで、記録空間を節約できるだけでなく、低解像度イメージを用いて原本イメージの検索も容易に実行できる。

【0128】

以上、本発明の詳細な説明においては具体的な実施形態に関して説明したが、特許請求の範囲を外れない限り、様々な変更が可能であることは、当該技術分野における通常の知識を持つ者には明らかである。したがって、本発明の範囲は、前述の実施形態に限定されるものではなく、特許請求の範囲の記載及びこれと均等なものに基づいて定められるべきである。さらに、このような変形実形態は、本発明の技術的思想と展望から個別に理解してはならない。

【0129】

例えば、上記した本発明の多様な実施形態では暗号化イメージフレームを一つの低解像度イメージ(サムネイルイメージ)と一つの原本イメージのみで構成される場合に限定して説明した。しかしながら、上記したように、本発明で提案した多様な実施形態が必ずしも一つの低解像度イメージ又は一つの原本イメージのみで暗号化イメージフレームが構成されなければならないことではない。すなわち、一つの低解像度イメージと複数の原本イメージにより暗号化イメージフレームが構成されてもよく、あるいは複数の低解像度イメージと一つの原本イメージにより暗号化イメージフレームが構成されてもよい。さらに、複数の低解像度イメージと複数の原本イメージにより暗号化イメージフレームが構成されることもできる。

【符号の説明】

【0130】

１１０ 入力インターフェース部
１２０ イメージ処理部
１３０ 出力インターフェース部
３１０ ヘッダ
３２０ ペイロード
３２２ イメージフィールド
３２４ 識別フィールド
３２６ イメージフィールド
４１０ ヘッダ
４２０ ペイロード
４２２ イメージフィールド
４２４ 識別フィールド
４２６ 付加フィールド
４２８ イメージフィールド

【図1】

【図2】

【図3】

【図4】

【図5A】

【図5B】

【図5C】

【図6】

【図7】

【図8】

【図9】

【図10】