特許 6011185 画像情報処理システム、画像情報処理装置、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6011185

(24)【登録日】2016年9月30日

(45)【発行日】2016年10月19日

(54)【発明の名称】画像情報処理システム、画像情報処理装置、及びプログラム

(51)【国際特許分類】

   G06T 1/00 20060101AFI20161006BHJP

   G06F 17/30 20060101ALI20161006BHJP

   H04N 1/21 20060101ALI20161006BHJP

   H04N 5/76 20060101ALI20161006BHJP

【ＦＩ】

   G06T1/00 200D

   G06F17/30 240A

   H04N1/21

   H04N5/76 B

【請求項の数】6

【全頁数】17

(21)【出願番号】特願2012-203503(P2012-203503)

(22)【出願日】2012年9月14日

(65)【公開番号】特開2014-59658(P2014-59658A)

(43)【公開日】2014年4月3日

【審査請求日】2015年5月18日

(73)【特許権者】

【識別番号】390040187

【氏名又は名称】株式会社バッファロー

(74)【代理人】

【識別番号】100122275

【弁理士】

【氏名又は名称】竹居 信利

(72)【発明者】

【氏名】▲高▼橋 賢治

(72)【発明者】

【氏名】加藤 勇人

(72)【発明者】

【氏名】川▲崎▼ 博章

【審査官】 千葉 久博

(56)【参考文献】

【文献】 特開２００８−２０６１８４（ＪＰ，Ａ）

【文献】 特開２００６−８５２９８（ＪＰ，Ａ）

【文献】 米国特許出願公開第２００３／００６８１００（ＵＳ，Ａ１）

【文献】 中須英輔，”デジタル符号化画像の画質評価技術”，映像情報メディア学会技術報告，日本，（社）映像情報メディア学会，２０００年 ９月２２日，第２４巻, 第５４号，p.7-12

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １／００

Ｇ０６Ｆ １７／３０

Ｈ０４Ｎ １／２１

Ｈ０４Ｎ ５／７６

(57)【特許請求の範囲】

【請求項1】

画像情報処理装置と、画像供給装置とを含み、
前記画像情報処理装置は、
画像データを蓄積して保持する保持手段と、
蓄積の対象となる画像データを受け入れる手段と、
を含み、
前記画像供給装置または画像情報処理装置が、
前記蓄積の対象となる画像データに類似する画像データが、前記保持手段に保持されているか否かを判断する手段と、
保持されていれば、当該互いに類似する画像データについて、それぞれ予め定めた評価値を演算する手段と、
前記蓄積の対象となる画像データが、リサイズが行われた画像データであるか否かにより差し替えの可否を判断する手段と、
当該演算した評価値を比較して、蓄積の対象となった画像データが、それに類似する画像データであって、前記保持手段に保持されている画像データよりも評価が高く、前記保持手段に保持されている画像データが前記差し替えの可否を判断する手段により差し替えが可と判断されたときに、前記保持手段に保持されている画像データを、前記蓄積の対象となる画像データで差し替えるよう制御する手段と、
を含む画像情報処理システム。

【請求項2】

画像データを蓄積して保持する保持手段と通信可能に接続され、
蓄積の対象となる画像データを処理対象として、当該処理対象となる画像データに類似する画像データが、前記保持手段に保持されているか否かを判断する手段と、
保持されていれば、当該互いに類似する画像データについて、それぞれ予め定めた評価値を演算する手段と、
前記蓄積の対象となる画像データが、リサイズが行われた画像データであるか否かにより差し替えの可否を判断する手段と、
当該演算した評価値を比較して、蓄積の対象となった画像データが、それに類似する画像データであって、前記保持手段に保持されている画像データよりも評価が高く、前記保持手段に保持されている画像データが前記差し替えの可否を判断する手段により差し替えが可と判断されたときに、前記保持手段に保持されている画像データを、前記蓄積の対象となる画像データで差し替えるよう制御する手段と、
を含む画像情報処理装置。

【請求項3】

請求項２に記載の画像情報処理装置であって、
前記画像データは、画像を表すデータ本体とともに、リサイズが行われたか否かを表す情報を含み、
リサイズが行われた画像データであるか否かにより差し替えの可否を判断する手段は、当該画像データに、リサイズが行われたことを表す情報が含まれるか否かを判断する画像情報処理装置。

【請求項4】

請求項２または３に記載の画像情報処理装置であって、
前記蓄積の対象となるリサイズが行われた画像データは、リサイズ前の特徴量の情報を含み、
前記蓄積の対象となる画像データに類似する画像データが、前記保持手段に保持されているか否かを判断する手段は、蓄積の対象となる画像データに含まれる特徴量と、前記保持手段に保持されている画像データに基づいて演算される特徴量とを比較して、これらが一致するときに、蓄積の対象となる画像データに類似する画像データが、前記保持手段に保持されていると判断する画像情報処理装置。

【請求項5】

請求項４に記載の画像情報処理装置であって、
前記特徴量は、ハッシュ値である画像情報処理装置。

【請求項6】

画像データを蓄積して保持する保持手段と通信可能に接続されたコンピュータを、
蓄積の対象となる画像データを処理対象として、当該処理対象となる画像データに類似する画像データが、前記保持手段に保持されているか否かを判断する手段と、
保持されていれば、当該互いに類似する画像データについて、それぞれ予め定めた評価値を演算する手段と、
前記蓄積の対象となる画像データが、リサイズが行われた画像データであるか否かにより差し替えの可否を判断する手段と、
当該演算した評価値を比較して、蓄積の対象となった画像データが、それに類似する画像データであって、前記保持手段に保持されている画像データよりも評価が高く、前記保持手段に保持されている画像データが前記差し替えの可否を判断する手段により差し替えが可と判断されたときに、前記保持手段に保持されている画像データを、前記蓄積の対象となる画像データで差し替えるよう制御する手段と、
として機能させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像情報処理システム、画像情報処理装置、及びプログラムに関する。

【背景技術】

【0002】

近年ではカメラのみならず、携帯電話機等、種々の機器にも写真を撮影・閲覧等するための機能が内蔵されており、広く利用されている。こうした機器間で写真の画像データを共有する場合の課題として、同じ写真に係る２以上の画像データが種々の機器に分散して保持されていることがある。また、このように分散して保持された画像データでは、同じ写真であるにも関わらず、画像のサイズや符号化の方法が調整されるなどしている場合もある。

【0003】

そこで例えばカメラからサーバへ画像データを転送する技術であって、転送の対象となった画像データのハッシュ値と、サーバ側で既に保持している画像データのハッシュ値とを生成し、これらを比較して未だサーバ側で保持していない画像データを選択的に転送させる技術が特許文献１に開示されている。

【0004】

また、取得された画像データに対して実質的に同一とみなせる画像データ（関連画像データ）をリンク情報に置き換えて管理する、との技術が特許文献２に、それぞれ開示されている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２００７−２０１８６１号公報

【特許文献2】特開２００６−８１１１９号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら上記従来の技術では、同一の写真に係る複数の画像データであっても、互いにサイズが異ならされていたり、あるいは画質が調整されて異なったものとなっている場合があることが考慮されていない。すなわち画像データはサイズ変更、符号化方法等の相違により、ブロックノイズの量など見た目の評価が異なる画像データが存在し得る。従って画像データを蓄積して保持するサーバや装置において、単に置き換えを行ったり、または単に類似するものがあるために置き換えをしないよう制御するのでは、例えばブロックノイズの量がより少ないなど、見た目の評価がより高いものがあるのに、有効に利用されない結果となる。

【0007】

本発明は上記実情に鑑みてなされたもので、同一の写真に係る複数の画像データのうちには、互いにサイズが異ならされていたり、あるいは画質が調整されて異なったものとなっているものがあることに考慮した処理を行うことのできる画像情報処理システム、画像情報処理装置、及びプログラムを提供することを、その目的の一つとする。

【課題を解決するための手段】

【0008】

上記従来例の問題点を解決するための本発明は、画像情報処理システムであって、画像情報処理装置と、画像供給装置とを含み、前記画像情報処理装置は、画像データを蓄積して保持する保持手段と、蓄積の対象となる画像データを受け入れる手段と、を含み、前記画像供給装置または画像情報処理装置が、前記蓄積の対象となる画像データに類似する画像データが、前記保持手段に保持されているか否かを判断する手段と、保持されていれば、当該互いに類似する画像データについて、それぞれ予め定めた評価値を演算する手段と、当該演算した評価値を比較して、蓄積の対象となった画像データが、それに類似する画像データであって、前記保持手段に保持されている画像データよりも評価が高いならば、前記保持手段に保持されている画像データを、前記蓄積の対象となる画像データで差し替えるよう制御する手段と、を含むこととしたものである。

【0009】

また本発明の一態様に係る画像情報処理装置は、画像データを蓄積して保持する保持手段と通信可能に接続され、蓄積の対象となる画像データを処理対象として、当該処理対象となる画像データに類似する画像データが、前記保持手段に保持されているか否かを判断する手段と、保持されていれば、当該互いに類似する画像データについて、それぞれ予め定めた評価値を取得する手段と、当該取得した評価値を比較して、処理対象となった画像データが、それに類似する画像データであって、前記保持手段に保持されている画像データよりも評価が高いならば、前記保持手段に保持されている画像データを、前記処理対象となる画像データで差し替えるよう制御する手段と、を含むこととしたものである。

【0010】

ここで蓄積の対象となる画像データを供給する画像供給装置から、当該蓄積の対象となる画像データと、当該画像データの評価値とを受け入れてもよいし、蓄積の対象となる画像データを供給する画像供給装置から、当該蓄積の対象となる画像データを受け入れて、当該受け入れた画像データの評価値を演算する手段をさらに含むこととしてもよい。

【0011】

さらに前記評価値は、画像データのサイズ、画像データの画質に関する情報、画像データの内容に基づく評価値、少なくとも一つに基づいて演算されることとしてもよい。また、蓄積の対象となる画像データと、前記保持手段に蓄積されている画像データとのそれぞれについて、予め定めた特徴量の情報を演算する手段をさらに含み、当該演算された特徴量を比較して、蓄積の対象となる画像データに類似する画像データを前記保持手段に保持された画像データのうちから検索することとしてもよい。

【0012】

さらに本発明の別の態様に係るプログラムは、画像データを蓄積して保持する保持手段と通信可能に接続されたコンピュータを、蓄積の対象となる画像データを処理対象として、当該処理対象となる画像データに類似する画像データが、前記保持手段に保持されているか否かを判断する手段と、保持されていれば、当該互いに類似する画像データについて、それぞれ予め定めた評価値を取得する手段と、当該取得した評価値を比較して、処理対象となった画像データが、それに類似する画像データであって、前記保持手段に保持されている画像データよりも評価が高いならば、前記保持手段に保持されている画像データを、前記処理対象となる画像データで差し替えるよう制御する手段と、として機能させることとしたものである。

【発明の効果】

【0013】

本発明によると、同一の写真に係る複数の画像データのうちには、互いにサイズが異ならされていたり、あるいは画質が調整されて異なったものとなっているものがあることに考慮した処理を行うことができる。

【図面の簡単な説明】

【0014】

【図1】本発明の実施の形態に係る画像情報処理システムの構成例を表すブロック図である。

【図2】本発明の実施の形態に係る画像情報処理装置が保持する画像データベースの内容例を表す説明図である。

【図3】本発明の実施の形態に係る画像情報処理装置の例を表す機能ブロック図である。

【図4】本発明の実施の形態に係る画像情報処理装置における処理の一つの例を表すフローチャート図である。

【図5】本発明の実施の形態に係る画像情報処理装置における別の処理の例を表すフローチャート図である。

【図6】本発明の実施の形態に係る画像情報処理装置におけるまた別の処理の例を表すフローチャート図である。

【発明を実施するための形態】

【0015】

本発明の実施の形態に係る画像情報処理システムは、図１に例示するように画像情報処理装置１を含む。この画像情報処理装置１は、画像供給装置２と通信可能に接続される。

【0016】

ここで画像情報処理装置１は、制御部１１と、記憶部１２と、操作部１３と、表示部１４と、通信部１５とを含んで構成される。また画像供給装置２は、制御部２１と、記憶部２２と、操作部２３と、表示部２４と、通信部２５とを含んで構成される。本実施の形態のある例では、画像情報処理装置１の記憶部１２が、画像データを蓄積して保持する保持手段として動作する。

【0017】

画像情報処理装置１の制御部１１は、ＣＰＵ等のプログラム制御デバイスであり、記憶部１２に格納されたプログラムに従って動作する。本実施の形態では、この制御部１１は、記憶部１２に対して通信可能に接続される。また制御部１１は、蓄積の対象となる画像データを受け入れる手段として機能する。本実施の形態のある例では、この制御部１１は、蓄積の対象となる画像データに類似する画像データが、記憶部１２に既に保持されているか否かを判断し、保持されていれば、当該互いに類似する画像データについて、それぞれ予め定めた評価値を演算する。そして制御部１１は、当該演算した評価値を比較して、蓄積の対象となった画像データが、それに類似する画像データであって、記憶部１２に既に蓄積して保持されている画像データよりも評価が高いならば、既に蓄積して保持されている画像データを、蓄積の対象として受け入れた画像データで差し替えるよう制御する。この制御部１１の詳しい処理の内容については、後に述べる。

【0018】

記憶部１２は、メモリデバイスや、ディスクデバイス等であり、制御部１１によって実行されるプログラムを格納している。このプログラムは、ＤＶＤ−ＲＯＭ（Digital Versatile Disc Read Only Memory）等のコンピュータ可読な記録媒体に格納されて提供され、この記憶部１２に格納されたものであってもよい。また、ネットワーク等の通信手段を介して頒布され、この記憶部１２に格納されたものであってもよい。またこの記憶部１２は制御部１１のワークメモリとしても動作する。

【0019】

また既に述べたように、この記憶部１２は、図２に例示するように、画像データを画像データベースに蓄積して保持してする。ここで画像データは、図２に示した例のように、Ｅｘｉｆ（Exchangeable image file format）フォーマットのデータであり、画像を表すデータ本体に対し、撮影日時やＧＰＳ情報を含む。またこの画像データには、利用者が設定した文字列のリスト等、その他のタグ情報が関連付けられていてもよい。

【0020】

操作部１３は、スイッチや、リモートコントローラ等を含む。この操作部１３は、利用者による操作を受け入れて、当該操作の内容を表す信号を、制御部１１に出力する。この信号は制御部１１によってデコードされ、制御部１１は操作の内容を表す情報を得る。表示部１４は、例えば家庭用テレビやディスプレイ装置への出力ポートであり、制御部１１から入力される指示に従って、画面の情報をテレビやディスプレイ装置へ出力する。また、この表示部１４は、ディスプレイ装置そのものであってもよい。

【0021】

通信部１５は、ネットワークインタフェースやブルートゥース（Bluetooth（登録商標））等の回路を備え、ネットワーク等の通信手段を介して受信した画像データ等を制御部１１に出力する。またこの通信部１５は、制御部１１から入力される指示に従い、種々のデータ（要求コマンド等を含む）を、ネットワーク等の通信回線を介して送出している。

【0022】

画像供給装置２の制御部２１は、ＣＰＵ等のプログラム制御デバイスであり、記憶部２２に格納されたプログラムに従って動作する。本実施の形態では、この制御部２１は、利用者の指示に従って、記憶部２２に格納された画像データを通信部２５を介して送信する。

【0023】

記憶部２２は、メモリデバイスや、ディスクデバイス等であり、制御部２１によって実行されるプログラムを格納している。このプログラムは、ＤＶＤ−ＲＯＭ等のコンピュータ可読な記録媒体に格納されて提供され、この記憶部２２に格納されたものであってもよい。また、ネットワーク等の通信回線を介して頒布され、この記憶部２２に格納されたものであってもよい。またこの記憶部２２は、制御部２１のワークメモリとしても動作する。

【0024】

操作部２３は、テンキーや、タッチパネル等を含む。この操作部２３は、利用者の操作を受け入れて、当該操作の内容を表す信号を、制御部２１に出力する。表示部２４は、液晶表示パネル等であり、制御部２１から入力される指示に従い、情報を表示出力する。

【0025】

通信部２５は、ネットワークインタフェースや携帯電話通信部、ブルートゥース（Bluetooth（登録商標））等の通信手段により、ネットワーク回線や携帯電話回線網を介して種々のデータを送受している。この通信部２５は、ネットワーク回線や携帯電話回線網を介して受信したデータを制御部２１に出力し、また制御部２１から入力される指示に従い、ネットワーク回線を介して、指定されたデータを送出する。

【0026】

ここで画像情報処理装置１の制御部１１の動作の例について述べる。本実施の形態の一例では、制御部１１は図３に示すように、機能的に、画像データ受入部３１と、類似画像検索部３２と、画像データ評価部３３と、蓄積制御部３４とを含んで構成される。

【0027】

画像データ受入部３１は、通信部１５を介して画像データを受信し、当該受信した画像データを蓄積の対象となる画像データとして記憶部１２のワークメモリに保持する。

【0028】

類似画像検索部３２は、ワークメモリに保持された、蓄積の対象となる画像データを一つずつ選択し、選択した画像データを注目データとして、この注目データに類似する画像データが既に記憶部１２の画像データベースに保持されているか否かを調べる。具体的に、この処理は次のようなものである。

【0029】

すなわち類似画像検索部３２は、図４に例示するように、ワークメモリに保持された、蓄積の対象となる画像データから未選択のものを一つ選択する（Ｓ１）。ここで選択した画像データを注目データとして、類似画像検索部３２は、この注目データのサイズ比率（幅ｗと高さｈとの比ｒ、例えばｒ＝ｗ／ｈとする）を算出する（Ｓ２）。そして類似画像検索部３２は、記憶部１２の画像データベースに保持されている画像データのうち、サイズ比率Ｒが、この算出した注目データのサイズ比率ｒと同じ、またはその逆数（１／ｒ）となっている画像データを選抜する（Ｓ３）。ここで逆数となっている場合を含めるのは、縦横が回転されている場合を考慮したものである。なお、処理Ｓ２，Ｓ３は、画像データベースに格納されている画像データのうち、以下の処理の対象とする画像データを絞り込むことで処理負荷を軽減させるものであり、ここで述べたようなサイズ比率を利用する方法に代えて、またはこれに加えて、ファイル名を用いたり、撮影日時等のタグ情報を比較するなどして絞り込みを行っても構わない。また、絞り込みを行わず、画像データベースに格納されている画像データをすべて選抜してもよい。

【0030】

類似画像検索部３２は、選抜した画像データのうち、未だ選択されていない画像データを一つ選択する（Ｓ４）。そして当該選択した画像データと、注目データとの少なくとも一方に対して拡大縮小処理を行い、これらの画像データのサイズを同じサイズの画像データに変換する（Ｓ５）。一例としては、処理Ｓ４で選択した画像データと、注目データとのサイズを比較し、いずれか小さいサイズを選択する。選択した画像データと、注目データとのうち、当該選択したサイズではない方の画像データを、選択したサイズに縮小処理する。なお処理Ｓ４で選択した画像データと、注目データとのサイズが同じであれば、拡大縮小処理により変換を行う必要はない。

【0031】

類似画像検索部３２は、処理Ｓ５により同じサイズとなっている選択した画像データと、注目データとの差分画像を生成する（Ｓ６）。ここで差分画像は互いに対応する画素の値の差の絶対値を算出することにより生成できる。なお、ＲＡＷデータ等の場合は、ＲＧＢ値など所定表色系で表現されたビットマップへ変換してから画素の値の差の絶対値を算出すればよい。類似画像検索部３２は、生成した差分画像に含まれる画素の値の総和を算出して（Ｓ７）、この総和が予め定めたしきい値を下回るか否かを判断する（Ｓ８）。ここで、総和が予め定めたしきい値を下回るならば（Yesならば）、類似画像検索部３２は、処理Ｓ４で選択した画像データと、注目データとが類似する画像であると判断する。そして類似画像検索部３２は、当該処理Ｓ４で選択した画像データを特定する情報と注目データを特定する情報とを画像データ評価部３３に出力する（Ｓ９）。そして後に述べる処理Ｓ１２へ移行する。

【0032】

一方、処理Ｓ８において、総和が予め定めたしきい値を下回らなければ（Noならば）、類似画像検索部３２は、処理Ｓ４にて選抜された画像データのうちに選択していない画像データがあるか否かを調べる（Ｓ１０）。ここで未選択の画像データがあれば（Yesならば）、類似画像検索部３２は、処理Ｓ４に戻って、他の画像データを選択する処理から繰り返す。また処理Ｓ１０において、すべての選抜された画像データを選択したならば（Noならば）、類似画像検索部３２は、処理Ｓ１にて選択した画像データを画像データベースに新たに追加するよう、蓄積制御部３４に指示する（Ｓ１１）。

【0033】

そして類似画像検索部３２は、処理Ｓ１にて蓄積の対象としてワークメモリに保持した画像データをすべて注目データとして選択したか否かを判断し（Ｓ１２）、すべてを選択したと判断した場合には（Yesの場合には）、処理を終了する。また、処理Ｓ１２において、未だに選択されていない画像データが蓄積の対象としてワークメモリに保持されていると判断される場合（Noの場合）は、類似画像検索部３２は、処理Ｓ１に戻って処理を続ける（Ａ）。

【0034】

画像データ評価部３３は、類似画像検索部３２から画像データベースに格納されている画像データの一つを特定する情報と、ワークメモリに保持されている蓄積の対象となる画像データの一つを特定する情報とを受け入れる。そして画像データ評価部３３は、これらの情報で特定される二つの画像データのそれぞれを、予め定めた評価基準に基づいて評価し、それぞれの画像データについての評価値を演算する。

【0035】

一例として、ここでの評価値は、評価の対象となる画像データのサイズ、評価の対象となる画像データの画質に関する情報、評価の対象となる画像データの内容の少なくともいずれかに基づくものであってもよい。

【0036】

例えば評価値は、画像データのサイズが大きいほど高い評価となるようにしてもよい。具体例としては画像データの幅ｗと高さｈとを加算した周長の１／２に当たる値ｌ＝ｗ＋ｈを用い、このｌをそのまま評価値Ｖとしてもよい。

【0037】

また別の例では、画像データの画質に関する情報としては、ＪＰＥＧ圧縮時に生じるブロックノイズの量を検出し、ブロックノイズが少ないほど高い評価となるようにしてもよい。具体的には、画像データを空間微分処理して微分データを得、この微分データからインパルス状のパルス信号（微分データの値が予め定めた値より大きくなる部分）を検出して、その数をカウントする方法等がある。この場合、カウント値ｃの逆数（ｃ＝０の場合を考慮して例えば、１／（ｃ＋１）等とする）をそのまま評価値Ｖとしてもよいし、画像データの解像度を考慮して、解像度が高いほど小さくなる値αをカウント値に乗じた上で、その逆数（ｃ＝０の場合を考慮して例えば、１／（α・ｃ＋１）等とする）とすることとしてもよい。また、ＪＰＥＧデータ内に圧縮率に関わる情報が含まれる場合は、当該情報を利用してもよい。

【0038】

さらに別の例として、画像データの内容に基づく評価値を演算してもよい。具体的には目つぶり検知や白飛び・黒潰れ検出等の処理により、目つぶりの検出数ｐや、また白飛びや黒潰れを検出した領域の面積Ａを用い、ｐが少ないほど、またＡが小さいほど評価値が高くなるように、例えばこれらの逆数（１／（ｐ＋１）や１／（Ａ＋１））を、そのまま評価値Ｖとしてもよい。

【0039】

また評価値Ｖは、これら複数の評価基準による評価の値の組み合わせ（例えば重みつき平均）としてもよい。具体的に評価値Ｖを、ここまでのｌ，ｃ，ｐ，Ａを用いて、Ｖ＝αｌ＋β／（ｃ＋１）＋γ／（ｐ＋１）＋ε／（Ａ＋１）などとする。ここでα、β、γ、εはいずれも適宜実験的に定める重みの値とする。

【0040】

画像データ評価部３３は、こうして類似画像検索部３２から入力された各情報で特定される画像データのそれぞれについて評価値を得る。そして画像データ評価部３３は、画像データベースに格納されている画像データの一つについて演算した評価値（既存データの評価値）が、ワークメモリに保持されている蓄積の対象となる画像データの一つについて演算した評価値（受け入れたデータの評価値）よりも高い評価となるか否かを判断する。ここで既存データの評価値が受け入れたデータの評価値と同じ、またはより高い評価と判断される場合は、画像データ評価部３３は処理を終了する。

【0041】

一方画像データ評価部３３は、受け入れたデータの評価値が既存データの評価値より高い評価と判断される場合は、類似画像検索部３２から入力を受けた、画像データベースに格納されている画像データの一つを特定する情報と、ワークメモリに保持されている蓄積の対象となる画像データの一つを特定する情報とともに、既存データを受け入れたデータで差し替えるよう、蓄積制御部３４に指示する。

【0042】

蓄積制御部３４は、類似画像検索部３２が図４に示した処理Ｓ１１において出力した指示を受け入れると、当該指示に従い、指示された画像データを記憶部１２の画像データベースに新たに追加して蓄積する。また、この蓄積制御部３４は、画像データ評価部３３から画像データベースに格納されている画像データの一つを特定する情報と、ワークメモリに保持されている蓄積の対象となる画像データの一つを特定する情報とともに、既存データを受け入れたデータで差し替えるべき旨の指示を受け入れる。すると蓄積制御部３４は、当該入力された情報で特定される、画像データベースに格納されている画像データに差し替えて、当該入力された情報で特定される、ワークメモリに保持されている蓄積の対象となる画像データを、記憶部１２の画像データベースに蓄積する。

【0043】

この際、差し替えられる画像データ（もともと画像データベースに格納されていた画像データ）に撮影日時等のタグ情報が関連付けられている場合は、画像を表すデータ本体と、解像度等、データ本体の置き換えに伴って変化するタグ情報の一部とを、入力された情報で特定される、ワークメモリに保持されている画像データの内容で差し替える。この場合、データ本体の置き換えに伴って変化するタグ情報以外のタグ情報については、もともと画像データベースに格納されていた画像データそのままとなる。

【0044】

つまり、蓄積の対象として受け入れた画像データに類似する画像データが、画像データベースに既に格納されている場合は、受け入れた画像データと、これに類似する既存の画像データとの評価値を演算し、それぞれの評価値を比較し、より高い評価値となっている画像データが画像データベースに格納された状態となるよう制御する。

【0045】

なお、ここでの説明で類似画像検索部３２は、比較の対象となる２つの画像データの差分画像データを生成して、両者を比較することとして説明したが、本実施の形態の類似画像検索部３２は、２つの画像データが類似するか否かを、これとは異なる方法で判断してもよい。例えば本実施の形態の一例では、類似画像検索部３２は、比較の対象となる２つの画像データのそれぞれについて、予め定めた特徴量を演算し、これらの特徴量を比較して両画像データが類似しているか否かを判断してもよい。ここで特徴量は、ＭＤ５等、広く知られたハッシュ関数によるハッシュ値としてもよいし、例えば次のようなものであってもよい。すなわち類似画像検索部３２は、特徴量の演算の対象となる画像データをｎ×ｍのブロックに分割し、各ブロック内で画素値のヒストグラムを生成して、各ブロックにおいて最も出現頻度の高い画素値の範囲を代表画素値としたときの、ｎ×ｍ個の代表画素値を含んだベクトルを特徴量としてもよい。また特徴量はこれ以外にも画像データの類否判断に用いることのできるものが広く知られているので、ここでのさらなる説明を省略する。

【0046】

本実施の形態の画像情報処理システムは以上の構成を備えてなり、次のように動作する。以下の説明では、画像供給装置２は画像情報処理装置１に対し、画像情報処理装置１側で蓄積の対象となる画像データを、電子メールに添付して送信する。つまり、画像情報処理装置１には個々に固有のメールアドレスが予め設定されているものとする。

【0047】

ここでの画像供給装置２は例えば、アップル社のアイフォーン（登録商標）などのいわゆるスマートフォン等であり、カメラ機能を備える。また画像供給装置２は、携帯電話回線ないし無線ＬＡＮネットワークを介して、電子メールを送受信する機能を備える。画像供給装置２は、カメラ機能により撮像した画像データ等をその記憶部２２に格納する。利用者が画像情報処理装置１宛に、この画像データを電子メールで送信する。このとき画像供給装置２は、画像データのサイズを縮小する。つまり、元の画像データのサイズが３２６４×２４４８ピクセルであっても、これを６４０×４８０ピクセル等のサイズに縮小して送信する。

【0048】

画像情報処理装置１は、この画像供給装置２が送信した電子メールを受信し、当該受信した電子メールに添付された画像データを取り出し、蓄積の対象となる画像データとしてワークメモリに格納する。ここでは次の画像データが添付されたものとする。
（１）画像データＡ：サイズ６４０×４８０、品質９０％のＪＰＥＧデータ
（２）画像データＢ：サイズ６４０×４８０、品質９０％のＪＰＥＧデータ
（３）画像データＣ：サイズ６４０×４８０、品質９０％のＪＰＥＧデータ
なお、ここで品質は、０から１００％までの値をとるものとし、圧縮率や量子化の方法を異ならせて、数値が大きいほど圧縮率が低く（従ってより高品質となり）、数値が小さいほど圧縮率が高く（従ってより低品質となる）ように設定されているとする。

【0049】

また画像情報処理装置１の記憶部１２の画像データベースには、次の画像データが蓄積して保持されているものとする。
（１）画像データＢ′：サイズ６４０×４８０、品質７０％のＪＰＥＧデータ
（２）画像データＣ′：サイズ３２６４×２４４８ピクセル、品質９０％のＪＰＥＧデータ
ここで画像データＢと画像データＢ′とは、同じ画像データβから縮小・品質の調整をして得られたものであり、画像データＣは、画像データＣ′を縮小して得たものであるとする。

【0050】

画像情報処理装置１は、ワークメモリに保持した、蓄積の対象となる画像データＡを注目データとして選択し、この注目データに類似する画像データが既に記憶部１２の画像データベースに保持されているか否かを調べる。ここでは、画像データＡに類似する画像データが記憶部１２に保持されていないので、画像情報処理装置１は、当該注目データとして選択した画像データを、記憶部１２の画像データベースに新たに追加する処理を行う。この段階で、画像データベースには、画像データＡ，Ｂ′，Ｃ′が保持されている状態となる。

【0051】

次に画像情報処理装置１は、ワークメモリに保持した画像データのうち、画像データＢを注目データとして選択し、この注目データに類似する画像データが既に記憶部１２の画像データベースに保持されているか否かを調べる。そして画像情報処理装置１は、画像データベースに保持されている、画像データＢ′を見出す。画像情報処理装置１は、画像データＢと、画像データＢ′とのそれぞれについて、予め定めた基準に従って評価値を演算する。ここでは評価値Ｖは、画像データの幅ｗと高さｈとを加算した周長の１／２に当たる値ｌ＝ｗ＋ｈと、ＪＰＥＧ圧縮時に生じるブロックノイズの量ｃとを用いて、
Ｖ＝αｌ＋β／（ｃ＋１）
とする。また、α＝β＝１と、仮にしておく。また一般に、品質が高いほどブロックノイズの量ｃは少なくなる。そこで以下では仮に、品質９０％のときのブロックノイズの量ｃを「１０」、品質７０％のときのブロックノイズの量ｃを「３０」としておく。

【0052】

これによると、
画像データＢの評価値Ｖ1＝１１２０＋１／（１０＋１）＝１１２０．０９、
画像データＢ′の評価値Ｖ2＝１１２０＋１／（３０＋１）＝１１２０．０３
となる。従って、画像データＢの評価値Ｖ1が、画像データＢ′の評価値Ｖ2よりも高くなる。そこで画像情報処理装置１は、画像データベースに格納された画像データＢ′を、評価値のより高い画像データＢに差し替えて、画像データベースを更新する。この段階で、画像データベースには、画像データＡ，Ｂ，Ｃ′が格納されている状態となる。

【0053】

次に画像情報処理装置１は、ワークメモリに保持した画像データのうち、画像データＣを注目データとして選択し、この注目データに類似する画像データが既に記憶部１２の画像データベースに保持されているか否かを調べる。そして画像情報処理装置１は、画像データベースに保持されている、画像データＣ′を見出す。画像情報処理装置１は、画像データＣと、画像データＣ′とのそれぞれについて、予め定めた基準に従って上述同様、評価値を演算する。

【0054】

これによると、
画像データＣの評価値Ｖ1＝１１２０＋１／（１０＋１）＝１１２０．０９、
画像データＣ′の評価値Ｖ2＝５７１２＋１／（１０＋１）＝５７１２．０９
となる。つまり、画像データＣの評価値Ｖ1は、画像データＣ′の評価値Ｖ2よりも高くならない。そこで画像情報処理装置１は、画像データベースに格納された画像データＣ′を、評価値のより高い画像データＣに差し替えることなく、処理を終了する。この段階で、画像データベースには、画像データＡ，Ｂ，Ｃ′が格納されている状態となる。

【0055】

このように本実施の形態によると、同一の写真に係る複数の画像データのうちには、互いにサイズが異ならされていたり、あるいは画質が調整されて異なったものとなっているものがあることに考慮し、予め定めた基準により、より高い評価となる画像データを画像情報処理装置１に蓄積して保持するように制御する。

【0056】

なお、ここまでの説明では、画像情報処理装置１は、処理を行うごとに画像データベースに格納した画像データの評価値を演算することとしていたが、画像データベースに格納する画像データの評価値を例えば格納時点など、図４の処理に先立って行っておき、各画像データの評価値を、それぞれ対応する画像データに関連付けて、画像データベースに記録しておいてもよい。

【0057】

また、ここでは画像供給装置２から受け入れた画像データについても、画像情報処理装置１において評価値を演算するようにしていたが、本実施の形態はこれに限られない。本実施の形態のある例では、画像供給装置２が、予め定められた方法（画像情報処理装置１における評価値の演算方法と同じ方法）で、画像情報処理装置１へ送信する画像データの評価値を演算してもよい。

【0058】

この場合、画像供給装置２は、画像情報処理装置１へ送信する画像データが利用者から指定されると、指定された各画像データについての評価値をそれぞれ演算し、画像データと、当該画像データについての演算によって得られた評価値とを関連付けて、画像情報処理装置１へ送信する。一例としては画像データに含めるタグ情報としてこの評価値を含め、当該評価値を含んだ画像データを送信することとしてもよい。

【0059】

この画像データと評価値とを受け入れた画像情報処理装置１では、当該蓄積の対象となる画像データ、及びその評価値を関連付けて、ワークメモリに保持して処理を行う。そして制御部１１が画像データ評価部３３として機能する際に次のように動作する。すなわち画像データ評価部３３では、類似画像検索部３２から画像データベースに格納されている画像データの一つを特定する情報と、ワークメモリに保持されている蓄積の対象となる画像データの一つを特定する情報とを受け入れる。そして画像データ評価部３３は、当該情報で特定される、画像データベースに格納されている画像データについての評価値を演算する。なお、事前に評価値が演算され、画像データベース内に当該画像データについての評価値が格納されている場合は、演算をせずに画像データベースから当該評価値を取得してもよい。

【0060】

画像データ評価部３３は、画像データベースに格納されている画像データの一つについて演算ないし取得した評価値（既存データの評価値）が、ワークメモリに保持されている蓄積の対象となる画像データに関連付けられた評価値（受け入れたデータの評価値）よりも高い評価となるか否かを判断する。ここで既存データの評価値が受け入れたデータの評価値と同じ、またはより高い評価と判断される場合は、画像データ評価部３３は処理を終了する。

【0061】

一方画像データ評価部３３は、受け入れたデータの評価値が既存データの評価値より高い評価と判断される場合は、類似画像検索部３２から入力を受けた、画像データベースに格納されている画像データの一つを特定する情報と、ワークメモリに保持されている蓄積の対象となる画像データの一つを特定する情報とともに、既存データを受け入れたデータで差し替えるよう、蓄積制御部３４に指示する。

【0062】

なお画像データベースに、評価値が関連付けられている場合は、画像評価部３３は、差し替えの指示を行う際に、受け入れたデータの評価値（画像情報処理装置１で演算されたか画像供給装置２で演算されたかを問わない）を併せて蓄積制御部３４に出力してもよい。蓄積制御部３４では、画像データベースに、受け入れた画像データを差し替えて記録するとともに、当該画像データに関連する評価値として、当該画像データ評価部３３が出力する評価値を画像データベースに記録する。

【0063】

また、さらには画像供給装置２の制御部２１が、類似画像検索部３２、画像データ評価部３３、及び蓄積制御部３４としての処理を行ってもよい。この場合、制御部２１は画像情報処理装置１の制御部１１と通信を行い、記憶部１２に格納されている画像データベースにアクセスして処理を遂行する。

【0064】

さらにここまでの説明では、評価値の演算において、画像データのサイズが大きいほど評価が高いものとしていたが、本実施の形態はこれに限られない。例えば画像情報処理装置１が家庭用のテレビに対して画像を出力している場合、画像情報処理装置１は、当該出力先のテレビの解像度に関する情報を参照し、参照して得た解像度の情報（幅方向の解像度Ｄｗと高さ方向解像度Ｄｈとを含む）と、画像データの幅ｗ及び高さｈとの差が小さいほど評価値が高くなるように基準を定めてもよい。例えば評価値を１／（１＋√（（Ｄｗ−ｗ）²＋（Ｄh−ｈ）²））として演算してもよい。

【0065】

さらに画像データの幅ｗと高さｈとの比が予め定めた比に近いほど評価値が高くなるように基準を定めてもよい。一例としてフルＨＤの比率（Ｄｗ／Ｄｈ）約１．７８に、画像データの比率ｒ（＝ｗ／ｈ）が近いほど評価値を高める。一例として評価値を、１／（１＋（ｒ−１．７８）²）とする。これらによると、出力先の解像度や、画面比率に最も近い画像データが画像情報処理装置１に蓄積されることとなる。なお、縦横が回転している場合に配慮して、ｒ1＝ｗ／ｈ、ｒ2＝ｈ／ｗの２つの比率を算出して、ｒ1がフルＨＤの比率（Ｄｗ／Ｄｈ）約１．７８に近いほど高くなる評価値要素と、ｒ2がフルＨＤの比率（Ｄｗ／Ｄｈ）約１．７８に近いほど高くなる評価値要素とを求め、これら２つの評価値要素の和を、評価値として用いてもよい。

【0066】

また、本実施の形態の画像情報処理装置１は、例えばＳＤメモリカード等のメモリカードその他の画像データを保持するデバイスを接続するＵＳＢ等のインタフェースを備えて、画像供給装置２のみならず、これらのデバイスから蓄積の対象となる画像データを受け入れてもよい。この場合も、画像情報処理装置１は、類似画像検索部３２、画像データ評価部３３、並びに蓄積制御部３４としての処理を行う。つまり、すでに記憶部１２に蓄積して保持している画像データに類似する画像データが蓄積の対象として受け入れられたならば、画像データ評価部３３によりそれぞれの評価値を得て、より評価の高い画像データを選択的に蓄積して保持するようにする。

【0067】

なお、画像供給装置２において、画像データを格納する処理を行うＡＰＩ（Application Program Interface）が、格納の対象となる画像データに対して、リサイズなど所定の画像処理を施す場合がある。この場合、当該画像供給装置２側のリサイズの処理によって、リサイズされた画像データの特徴量であるハッシュ値は変化することになる。このため、類似画像検索部３２が比較の対象となる２つの画像データのそれぞれのハッシュ値を比較して、画像データが同一であるか否かを判断することとしていると次のような問題が生じる。

【0068】

ここで画像情報処理装置１が画像データベース内に蓄積している画像データを、画像供給装置２へ送信して画像供給装置２に格納させる例を考える。この場合、当該画像供給装置２は当該画像データを受け入れ、格納の際にリサイズを行う。そして当該リサイズされた画像データを、画像供給装置２から再度、画像情報処理装置１ヘ送信すると、画像情報処理装置１の画像データベースに蓄積されている元の画像データと、リサイズされた当該画像データとではそれぞれのハッシュ値が互いに異なることから、異なる画像データであると判断され、元の画像データと、リサイズ後の画像データとがともに蓄積されてしまう。
このような場面は、画像供給装置２を画像情報処理装置１のバックアップとして用いる場合や、画像情報処理装置１に蓄積された画像データを、画像供給装置２に保持させて外部へ持ち出す場合に生じる。

【0069】

本実施の形態のある例では、このような場合に備えて、画像情報処理装置１と画像供給装置２との制御部１１、２１がそれぞれ記憶部１２，２２に格納されたプログラムを実行することで、次の図５に示すように機能するようにしてもよい。
すなわち画像供給装置２の制御部２１は、画像データを受け入れたとき（受入元は画像情報処理装置１に限られない）に受け入れた画像データごとに次の処理を行う。画像供給装置２の制御部２１は、当該画像データのハッシュ値等の特徴量を予め定めた方法で演算する（Ｓ２１）。そして制御部２１は、この演算したハッシュ値等の特徴量を、画像データのＥｘｉｆデータに含めるなど、画像データに付加して、記憶部２２に格納する（Ｓ２２）。

【0070】

一方で、画像情報処理装置１の制御部１１は、類似画像検索部３２の処理として、画像供給装置２から蓄積の対象として画像データを受け入れると（Ｓ３１）、記憶部１２に蓄積している各画像データとを比較する。つまり制御部１１は、比較の対象となった、記憶部１２に蓄積している画像データを順次、処理対象データとして選択し（Ｓ３２）、当該処理対象データについて予め定めた方法でハッシュ値等の特徴量を演算する（Ｓ３３）。

【0071】

制御部１１は、画像供給装置２から受け入れた画像データに含まれるＥｘｉｆ情報から取り出したハッシュ値等の特徴量と、処理Ｓ３３で演算した特徴量とを比較し（Ｓ３４）、これらが一致していれば、画像供給装置２から受け入れた画像データを、記憶部１２に蓄積しないように制御して（Ｓ３５）、処理を終了する。

【0072】

一方、処理Ｓ３４において一致していなければ、処理対象データとして選択していない画像データが記憶部１２に蓄積されているか否かを調べ、処理対象データとして選択していない画像データが記憶部１２に蓄積されている場合は、処理Ｓ３２からループして（Ｓ３６）、未選択の画像データを処理対象データとして選択し、処理Ｓ３２以下の処理を繰り返す。

【0073】

また処理対象データとして選択していない画像データが記憶部１２に蓄積されていなければ（Ｓ３６）、受け入れた画像データを記憶部１２に蓄積して（Ｓ３７）、処理を終了する。

【0074】

このように、画像データに（例えばＥｘｉｆ情報に含めるなどして）リサイズ前の特徴量を付加して記録し、この画像データに付加された特徴量を用いて、蓄積している画像データとの比較を行うことで、画像供給装置２において、画像データを格納する際にリサイズが行われる場合であっても、同一の画像データが取り込まれることを防止できる。

【0075】

またここでは、画像供給装置２が画像データを受け入れたときにハッシュ値等の特徴量を演算して、当該画像データに付加することとしたが、本実施の形態はこの例に限られない。例えば、画像供給装置２へ画像データを送信する際に、画像情報処理装置１がハッシュ値等の特徴量を演算して、当該画像データに当該特徴量を（Ｅｘｉｆ情報に含めるなどして）付加し、それから画像供給装置２へ送信してもよい。

【0076】

さらに本実施の形態のこの例においては、画像情報処理装置１の制御部１１は、記憶部１２に格納されたプログラムに従い、次の図６に示すような処理を行ってもよい。すなわち画像情報処理装置１の制御部１１は、画像供給装置２や、その他の画像供給手段（メモリカードリーダ等を含む）から、蓄積の対象として画像データを受け入れると、類似画像検索部３２の処理として、記憶部１２に蓄積している画像データを順次、処理対象データとして選択し（Ｓ４１）、次の処理を行う。

【0077】

制御部１１は、比較の対象である処理対象データに、（Ｅｘｉｆ情報に含まれるなどして）ハッシュ値等の特徴量が付加されているか否かを判断する（Ｓ４２）。ここで特徴量が付加されている場合（Yesの場合）は、当該特徴量を読み出すとともに、差し替えの可否を表す差替可否フラグを「可」にセットする（Ｓ４３）。また、処理対象データに特徴量が付加されていなければ（処理Ｓ４２にてNoならば）、予め定めた方法でハッシュ値等の特徴量を演算するとともに、差替可否フラグを「否」にセットする（Ｓ４４）。これら処理Ｓ４３またはＳ４４により、制御部１１は、記憶部１２から選択した処理対象データについての特徴量を得る。

【0078】

また制御部１１は、画像供給装置２や、その他の画像供給手段から受け入れた蓄積の対象となる画像データについて、（Ｅｘｉｆ情報に含まれるなどして）、ハッシュ値等の特徴量が付加されているか否かを判断する（Ｓ４５）。ここで受け入れた画像データにハッシュ値等の特徴量が付加されている場合（Yesの場合）、制御部１１は、当該付加されている特徴量と、記憶部１２から取り出した画像データについての特徴量とを比較する（Ｓ４６）。このとき制御部１１は、差替可否フラグを「否」にセットしてもよい（先に「可」にセットされていたとしても、ここで「否」にセットし直す。リサイズ前の画像データの取得可能性を残すため）。また、受け入れた画像データに特徴量が付加されていない場合（処理Ｓ４５においてNoの場合）は、予め定めた方法で当該受け入れた画像データについてハッシュ値等の特徴量を演算して（Ｓ４７）、当該演算により得た特徴量と、処理対象データについての特徴量とを比較する（Ｓ４８）。

【0079】

そして制御部１１は、これら処理Ｓ４６，Ｓ４８での比較の結果、受け入れた画像データについてのハッシュ値等の特徴量と、記憶部１２から取り出した画像データについての特徴量とが一致していると判断すると、差替可否フラグを参照して、差替可否フラグが「可」であるか否かを判断する（Ｓ５０）。ここで差替可否フラグが「可」であれば、記憶部１２に格納されている、処理対象データに対応する画像データを、受け入れた画像データで差し替えて（Ｓ５１）、記憶部１２に格納する。また処理Ｓ５０において差替可否フラグが「否」である場合、制御部１１はそのまま処理を終了する。

【0080】

制御部１１は、一方で、処理Ｓ４６，Ｓ４８における比較の結果、受け入れた画像データについてのハッシュ値等の特徴量と、記憶部１２から取り出した画像データについての特徴量とが一致していないと判断すると、処理対象として選択していない画像データが記憶部１２に蓄積されているか否かを調べる。そして制御部１１は、処理対象として選択していない画像データがあればループして（Ｓ４９）、未選択の画像データを処理対象データとして処理Ｓ４１以下の処理を繰り返す。

【0081】

制御部１１は、処理Ｓ４９において、未だ比較していない画像データがないならば、蓄積の対象として受け入れた画像データを記憶部１２に蓄積して（Ｓ５２）、処理を終了する。

【0082】

この例によると、画像供給装置２側でリサイズされていないデータ（特徴量が付加されていない画像データ）が画像情報処理装置１に蓄積されている場合に、特徴量が付加された画像データ（リサイズされた、一般には劣化している画像データ）により差し替えられることがない。また画像供給装置２側でリサイズされた画像データ（特徴量が付加されている画像データ）が画像情報処理装置１に蓄積されている場合に、特徴量が付加されていない画像データ（画像供給側装置２でリサイズされていないデータ）を受け入れると、当該受け入れた画像データで、蓄積している画像データ（リサイズされた画像データ）を差し替えることができる。つまり、特徴量が付加されていることを、リサイズされ、差し替え可能であることとして扱うことにより、より劣化の少ない画像データを蓄積することが可能となる。

【0083】

なお、ここでは特徴量が画像データに付加されているか否かにより差し替え可能であるか否かを判断することとしたが、本実施の形態はこれに限らず、例えばリサイズがされたことを表すフラグを画像データのＥｘｉｆ情報に含めておき、当該Ｅｘｉｆ情報に含まれるフラグを差し替えの可否を表すフラグとして用いることとしてもよい。

【符号の説明】

【0084】

１ 画像情報処理装置、２ 画像供給装置、１１，２１ 制御部、１２，２２ 記憶部、１３，２３ 操作部、１４，２４ 表示部、１５，２５ 通信部、３１ 画像データ受入部、３２ 類似画像検索部、３３ 画像データ評価部、３４ 蓄積制御部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】