特許 7171349 画像処理装置、画像処理方法、プログラムおよび記録媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-11-07

(45)【発行日】2022-11-15

(54)【発明の名称】画像処理装置、画像処理方法、プログラムおよび記録媒体

(51)【国際特許分類】

   G06F 16/58 20190101AFI20221108BHJP

【ＦＩ】

G06F16/58

【請求項の数】 19

(21)【出願番号】P 2018184349

(22)【出願日】2018-09-28

(65)【公開番号】P2020052948

(43)【公開日】2020-04-02

【審査請求日】2020-07-22

【前置審査】

(73)【特許権者】

【識別番号】306037311

【氏名又は名称】富士フイルム株式会社

(74)【代理人】

【識別番号】100152984

【弁理士】

【氏名又は名称】伊東 秀明

(74)【代理人】

【識別番号】100148080

【弁理士】

【氏名又は名称】三橋 史生

(72)【発明者】

【氏名】臼杵 壮也

【審査官】原 秀人

(56)【参考文献】

【文献】特開２０１２－１５５５２４（ＪＰ，Ａ）

【文献】特開２００９－１５７４６０（ＪＰ，Ａ）

【文献】特開２０１３－１４０５２０（ＪＰ，Ａ）

【文献】国際公開第２０１０／０４７３３７（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０１３／０３０４７４３（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ １６／００－１６／９５８

(57)【特許請求の範囲】

【請求項1】

第１ユーザが所有する画像群の入力を受け付ける画像受付部と、
前記画像群に含まれる各々の画像を解析する画像解析部と、
前記各々の画像の解析結果に基づいて、前記各々の画像に付与すべきタグ情報を設定するタグ情報設定部と、
前記各々の画像について、前記画像に付与すべきタグ情報のうち、前記画像群に含まれる全ての画像に付与すべき全てのタグ情報の総出現回数に対する、前記画像に付与すべきタグ情報の出現回数の割合が、第１閾値以上、第２閾値以下であるタグ情報を、主タグ情報として、前記画像に付与するタグ情報付与部と、を備え、
前記タグ情報設定部は、前記各々の画像について、同じカテゴリに含まれ、かつ抽象度が異なる複数のタグ情報のうち、前記抽象度が異なる２以上のタグ情報を、前記画像に付与すべきタグ情報として設定し、
前記タグ情報付与部は、前記画像に付与すべき、前記抽象度が異なる２以上のタグ情報の中に、前記割合が、前記第１閾値以上、前記第２閾値以下である２以上のタグ情報がある場合に、前記割合が、前記第１閾値以上、前記第２閾値以下であるタグ情報を、前記主タグ情報として、前記画像に付与する、画像処理装置。

【請求項2】

さらに、前記画像群に含まれる画像に付与されたタグ情報に基づいて、前記各々の画像に付与されたタグ情報の抽象度を設定する抽象度設定部を備え、
前記抽象度設定部は、第１タグ情報および第２タグ情報が同じカテゴリに含まれるタグ情報であり、前記第１タグ情報が付与された画像には前記第２タグ情報が付与されているのに対して、前記第２タグ情報が付与された画像には前記第１タグ情報が付与されていない場合が閾値以上ある場合に、前記第１タグ情報および前記第２タグ情報の抽象度が異なり、前記第２タグ情報が前記第１タグ情報よりも抽象度が高いタグ情報であると設定し、
前記タグ情報設定部は、前記画像群に含まれる画像に付与され、前記抽象度が設定されたタグ情報を前記抽象度が異なる複数のタグ情報として用いて、前記各々の画像に付与すべきタグ情報を設定する、請求項１に記載の画像処理装置。

【請求項3】

前記タグ情報付与部は、前記各々の画像について、前記画像に付与すべきタグ情報の中に、前記割合が、前記第１閾値以上、前記第２閾値以下である２以上のタグ情報がある場合に、前記割合が、前記第１閾値以上、前記第２閾値以下である２以上のタグ情報を、前記主タグ情報として、前記画像に付与する、請求項１または２に記載の画像処理装置。

【請求項4】

前記タグ情報付与部は、前記各々の画像について、前記画像に付与すべきタグ情報の中に、前記割合が、前記第１閾値以上、前記第２閾値以下である２以上のタグ情報がある場合に、前記割合が、前記第１閾値以上、前記第２閾値以下である２以上のタグ情報のうち、前記抽象度が最大のタグ情報のみを、前記主タグ情報として、前記画像に付与する、請求項１または２に記載の画像処理装置。

【請求項5】

前記タグ情報付与部は、前記各々の画像について、前記画像に付与すべきタグ情報の中に、前記割合が、前記第１閾値以上、前記第２閾値以下である２以上のタグ情報がある場合に、前記割合が、前記第１閾値以上、前記第２閾値以下である２以上のタグ情報のうち、前記割合が最小のタグ情報のみを、前記主タグ情報として、前記画像に付与する、請求項１または２に記載の画像処理装置。

【請求項6】

前記タグ情報付与部は、前記各々の画像について、前記画像に付与すべきタグ情報の中に、前記割合が、前記第１閾値以上、前記第２閾値以下であるタグ情報がない場合に、前記割合が前記第１閾値未満であるタグ情報のうち、前記割合が最大のタグ情報のみを、前記主タグ情報として、前記画像に付与する、請求項１ないし５のいずれか一項に記載の画像処理装置。

【請求項7】

さらに、画像の絞込条件を設定する指示に応じて、前記画像群に含まれる画像の中から、絞込条件に一致する画像グループに絞り込む画像絞込部を備え、
前記タグ情報付与部は、前記画像グループに含まれる各々の画像について、前記画像に付与すべきタグ情報のうち、前記画像グループに含まれる全ての画像に付与すべき全てのタグ情報の総出現回数に対する、前記画像に付与すべきタグ情報の出現回数の割合が、第３閾値以上、第４閾値以下であるタグ情報を、前記主タグ情報として、前記画像に付与する、請求項１ないし６のいずれか一項に記載の画像処理装置。

【請求項8】

前記画像受付部は、さらに、前記第１ユーザが所有する新たな画像の入力を受け付けて前記画像群に加え、
前記画像解析部は、さらに、前記新たな画像を解析し、
前記タグ情報設定部は、さらに、前記新たな画像の解析結果に基づいて、前記新たな画像に付与すべきタグ情報を設定し、
前記タグ情報付与部は、前記新たな画像を含む、前記画像群に含まれる各々の画像について、前記画像に付与すべきタグ情報のうち、前記割合が、前記第１閾値以上、前記第２閾値以下であるタグ情報を、前記主タグ情報として、前記画像に付与する、請求項１ないし７のいずれか一項に記載の画像処理装置。

【請求項9】

さらに、前記第１ユーザと、第２ユーザと、の間で画像を共有する画像共有部を備え、
前記第２ユーザが所有する画像が、前記第１ユーザに対して共有された場合、前記画像受付部は、前記第１ユーザが所有する画像群として、前記共有された画像を含める、請求項１ないし８のいずれか一項に記載の画像処理装置。

【請求項10】

さらに、前記画像群に含まれる少なくとも一部の画像をディスプレイに表示させる画像表示部を備え、
前記画像表示部は、前記ディスプレイに表示された画像に関連付けて、前記ディスプレイに表示された画像に付与された前記主タグ情報を表示させる、請求項１ないし９のいずれか一項に記載の画像処理装置。

【請求項11】

前記タグ情報設定部は、前記各々の画像に写っている人物の感情を表すタグ情報を、前記各々の画像に付与すべきタグ情報として設定する、請求項１ないし１０のいずれか一項に記載の画像処理装置。

【請求項12】

前記タグ情報設定部は、撮影者の感情を設定する指示に応じて、前記各々の画像を撮影した人物の感情を表すタグ情報を、前記各々の画像に付与すべきタグ情報として設定する、請求項１ないし１１のいずれか一項に記載の画像処理装置。

【請求項13】

前記タグ情報付与部は、前記各々の画像について、前記画像に付与すべきタグ情報のうち、前記主タグ情報として前記画像に付与したタグ情報以外のタグ情報を、前記画像に付与する、請求項１ないし１２のいずれか一項に記載の画像処理装置。

【請求項14】

画像受付部が、第１ユーザが所有する画像群の入力を受け付けるステップと、
画像解析部が、前記画像群に含まれる各々の画像を解析するステップと、
タグ情報設定部が、前記各々の画像の解析結果に基づいて、前記各々の画像に付与すべきタグ情報を設定するステップと、
タグ情報付与部が、前記各々の画像について、前記画像に付与すべきタグ情報のうち、前記画像群に含まれる全ての画像に付与すべき全てのタグ情報の総出現回数に対する、前記画像に付与すべきタグ情報の出現回数の割合が、第１閾値以上、第２閾値以下であるタグ情報を、主タグ情報として、前記画像に付与するステップと、を含み、
前記各々の画像について、同じカテゴリに含まれ、かつ抽象度が異なる複数のタグ情報のうち、前記抽象度が異なる２以上のタグ情報を、前記画像に付与すべきタグ情報として設定し、
前記画像に付与すべき、前記抽象度が異なる２以上のタグ情報の中に、前記割合が、前記第１閾値以上、前記第２閾値以下である２以上のタグ情報がある場合に、前記割合が、前記第１閾値以上、前記第２閾値以下であるタグ情報を、前記主タグ情報として、前記画像に付与する、画像処理方法。

【請求項15】

さらに、画像絞込部が、画像の絞込条件を設定する指示に応じて、前記画像群に含まれる画像の中から、絞込条件に一致する画像グループに絞り込むステップを含み、
前記画像グループに含まれる各々の画像について、前記画像に付与すべきタグ情報のうち、前記画像グループに含まれる全ての画像に付与すべき全てのタグ情報の総出現回数に対する、前記画像に付与すべきタグ情報の出現回数の割合が、第３閾値以上、第４閾値以下であるタグ情報を、前記主タグ情報として、前記画像に付与する、請求項１４に記載の画像処理方法。

【請求項16】

前記画像受付部が、さらに、前記第１ユーザが所有する新たな画像の入力を受け付けて前記画像群に加えるステップと、
前記画像解析部が、さらに、前記新たな画像を解析するステップと、
前記タグ情報設定部が、さらに、前記新たな画像の解析結果に基づいて、前記新たな画像に付与すべきタグ情報を設定するステップと、を含み
前記新たな画像を含む、前記画像群に含まれる各々の画像について、前記画像に付与すべきタグ情報のうち、前記割合が、前記第１閾値以上、前記第２閾値以下であるタグ情報を、前記主タグ情報として、前記画像に付与する、請求項１４または１５に記載の画像処理方法。

【請求項17】

さらに、画像表示部が、前記画像群に含まれる少なくとも一部の画像をディスプレイに表示させるステップを含み、
前記ディスプレイに表示された画像に関連付けて、前記ディスプレイに表示された画像に付与された前記主タグ情報を表示させる、請求項１４ないし１６のいずれか一項に記載の画像処理方法。

【請求項18】

請求項１４ないし１７のいずれか一項に記載の画像処理方法の各々のステップをコンピュータに実行させるためのプログラム。

【請求項19】

請求項１４ないし１７のいずれか一項に記載の画像処理方法の各々のステップをコンピュータに実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像群に含まれる各々の画像にタグ情報を付与する画像処理装置、画像処理方法、プログラムおよび記録媒体に関する。

【背景技術】

【0002】

SNS（Social Networking Service：ソーシャル・ネットワーキング・サービス）を利用して、ユーザが所有する画像を、SNSを利用する任意のユーザに公開したり、共有相手のみと共有したりすることが行われている。その際、各々の画像には、タグ情報が付与される場合がある。タグ情報は、画像群の中から所望の画像を検索して表示する、および画像の内容を表す情報として画像に関連付けて表示するなどの目的で利用されている。

【0003】

タグ情報は、各々の画像に写っている被写体等に応じて、SNSのプログラム等によって自動で付与されるか、あるいは各々のユーザが手動で付与することができる。また、各々の画像には、１以上のタグ情報を付与することができる。

【0004】

例えば、電車が写っている画像には、「乗り物」、「電車」および「４０００系の電車」等のタグ情報が付与される。また、電車が写っている画像において、予期せずに、例えば女の子が一緒に写っている場合、「人物」、「子供」および「女の子」等のタグ情報も付与される。このように、各々の画像には、被写体の重要度に関わらず、その画像に写っている被写体に応じて様々なタグ情報が付与される場合がある。

【0005】

ここで、本発明に関連性のある先行技術文献として、特許文献１～３がある。

【0006】

特許文献１には、画像を取得して解析を行い、その解析結果に基づくタグ情報を画像に付与し、複数のユーザが所有する画像における、共通タグ情報の付与率を第１付与率として算出し、各ユーザが所有する画像における、共通タグ情報の付与率を第２付与率として算出し、共通タグ情報の第１付与率と第２付与率との差に基づいて、各ユーザが所有する画像に付与された共通タグ情報の順位を決定することが記載されている。

【0007】

特許文献２には、２つの被写体についての主従関係を決定し、第１の被写体を従とし、第２の被写体を主とする関係が存在する場合に、第１の被写体を従とし第２の被写体を主とする関係が存在しない場合よりも高い主従関係値を算出し、複数の被写体のうち第１の被写体を従とする被写体の数が多いほど低い主従関係値を算出し、主従関係値に基づいて、被写体ごとに被写体評価値を算出する被写体評価システムが記載されている。

【0008】

特許文献３には、画像データを取得してメモリに格納し、メモリに格納された画像データから複数の特徴量を取得し、各特徴量における重要度を決定することが記載されている。また、特許文献３には、重要度の決定手順として、特徴量が数値として取得可能な特徴量の場合に、ヒストグラムを作成して、値の度数（頻度）を求め、度数の高い値を重要度の高い値と決定することが記載されている。

【先行技術文献】

【特許文献】

【0009】

【文献】特開２０１７－０５９１０１号公報

【文献】特開２０１７－０６８４３４号公報

【文献】特開２０１０－２５０６３５号公報

【発明の概要】

【発明が解決しようとする課題】

【0010】

近年、スマートフォンの普及が目覚ましく、SNS等において、公開および共有された画像群の一覧等をスマートフォンのディスプレイに表示させて閲覧するユーザが増えている。しかし、スマートフォンのディスプレイの表示領域は比較的狭く、画像の一覧に含まれる各々の画像に付与された全てのタグ情報を、その画像に関連付けてディスプレイに表示させるのは難しい場合がある。

【0011】

また、画像群を表示させる場合、その画像群の内容に応じて、各々の画像に適したタグ情報を表示させる必要がある。例えば、ユーザが、画像群の中から、電車が写っている画像に絞り込んで表示させた場合、そのユーザは、全ての画像に電車が写っていることを知っている。この場合、「電車」のタグ情報を表示させるよりも、「４０００系の電車」等のタグ情報を表示させる方が望ましい。

【0012】

このように、従来の技術では、画像に写っている被写体等に応じて、様々なタグ情報を画像に付与することはできるが、画像群に含まれる画像を表示させる場合に、各々の画像に関連付けて、そのユーザにとって適したタグ情報を表示させることができなかった。

【0013】

従って、本発明の目的は、画像群に含まれる画像を一覧表示させる場合に、各々の画像に関連付けて、各々の画像に適切なタグ情報を表示させることができる画像処理装置、画像処理方法、プログラムおよび記録媒体を提供することにある。

【課題を解決するための手段】

【0014】

上記目的を達成するために、本発明は、第１ユーザが所有する画像群の入力を受け付ける画像受付部と、
画像群に含まれる各々の画像を解析する画像解析部と、
各々の画像の解析結果に基づいて、各々の画像に付与すべきタグ情報を設定するタグ情報設定部と、
各々の画像について、画像に付与すべきタグ情報のうち、画像群に含まれる全ての画像に付与すべき全てのタグ情報の総出現回数に対する、画像に付与すべきタグ情報の出現回数の割合が、第１閾値以上、第２閾値以下であるタグ情報を、主タグ情報として、画像に付与するタグ情報付与部と、を備える、画像処理装置を提供する。

【0015】

ここで、タグ情報設定部は、各々の画像について、同じカテゴリに含まれ、かつ抽象度が異なる複数のタグ情報のうち、抽象度が異なる２以上のタグ情報を、画像に付与すべきタグ情報として設定し、
タグ情報付与部は、画像に付与すべき、抽象度が異なる２以上のタグ情報のうち、割合が、第１閾値以上、第２閾値以下であるタグ情報を、主タグ情報として、画像に付与することが好ましい。

【0016】

さらに、画像群に含まれる画像に付与されたタグ情報に基づいて、各々の画像に付与されたタグ情報の抽象度を設定する抽象度設定部を備え、
抽象度設定部は、第１タグ情報および第２タグ情報が同じカテゴリに含まれるタグ情報であり、第１タグ情報が付与された画像には第２タグ情報が付与されているのに対して、第２タグ情報が付与された画像には第１タグ情報が付与されていない場合が閾値以上ある場合に、第１タグ情報および第２タグ情報の抽象度が異なり、第２タグ情報が第１タグ情報よりも抽象度が高いタグ情報であると設定し、
タグ情報設定部は、画像群に含まれる画像に付与され、抽象度が設定されたタグ情報を抽象度が異なる複数のタグ情報として用いて、各々の画像に付与すべきタグ情報を設定することが好ましい。

【0017】

また、タグ情報付与部は、各々の画像について、画像に付与すべきタグ情報の中に、割合が、第１閾値以上、第２閾値以下である２以上のタグ情報がある場合に、割合が、第１閾値以上、第２閾値以下である２以上のタグ情報を、主タグ情報として、画像に付与することが好ましい。

【0018】

また、タグ情報付与部は、各々の画像について、画像に付与すべきタグ情報の中に、割合が、第１閾値以上、第２閾値以下である２以上のタグ情報がある場合に、割合が、第１閾値以上、第２閾値以下である２以上のタグ情報のうち、抽象度が最大のタグ情報のみを、主タグ情報として、画像に付与することが好ましい。

【0019】

また、タグ情報付与部は、各々の画像について、画像に付与すべきタグ情報の中に、割合が、第１閾値以上、第２閾値以下である２以上のタグ情報がある場合に、割合が、第１閾値以上、第２閾値以下である２以上のタグ情報のうち、割合が最小のタグ情報のみを、主タグ情報として、画像に付与することが好ましい。

【0020】

また、タグ情報付与部は、各々の画像について、画像に付与すべきタグ情報の中に、割合が、第１閾値以上、第２閾値以下であるタグ情報がない場合に、割合が第１閾値未満であるタグ情報のうち、割合が最大のタグ情報のみを、主タグ情報として、画像に付与することが好ましい。

【0021】

さらに、画像の絞込条件を設定する指示に応じて、画像群に含まれる画像の中から、絞込条件に一致する画像グループに絞り込む画像絞込部を備え、
タグ情報付与部は、画像グループに含まれる各々の画像について、画像に付与すべきタグ情報のうち、画像グループに含まれる全ての画像に付与すべき全てのタグ情報の総出現回数に対する、画像に付与すべきタグ情報の出現回数の割合が、第３閾値以上、第４閾値以下であるタグ情報を、主タグ情報として、画像に付与することが好ましい。

【0022】

画像受付部は、さらに、第１ユーザが所有する新たな画像の入力を受け付けて画像群に加え、
画像解析部は、さらに、新たな画像を解析し、
タグ情報設定部は、さらに、新たな画像の解析結果に基づいて、新たな画像に付与すべきタグ情報を設定し、
タグ情報付与部は、新たな画像を含む、画像群に含まれる各々の画像について、画像に付与すべきタグ情報のうち、割合が、第１閾値以上、第２閾値以下であるタグ情報を、主タグ情報として、画像に付与することが好ましい。

【0023】

さらに、第１ユーザと、第２ユーザと、の間で画像を共有する画像共有部を備え、
第２ユーザが所有する画像が、第１ユーザに対して共有された場合、画像受付部は、第１ユーザが所有する画像群として、共有された画像を含めることが好ましい。

【0024】

さらに、画像群に含まれる少なくとも一部の画像をディスプレイに表示させる画像表示部を備え、
画像表示部は、ディスプレイに表示された画像に関連付けて、ディスプレイに表示された画像に付与された主タグ情報を表示させることが好ましい。

【0025】

また、タグ情報設定部は、各々の画像に写っている人物の感情を表すタグ情報を、各々の画像に付与すべきタグ情報として設定することが好ましい。

【0026】

また、タグ情報設定部は、撮影者の感情を設定する指示に応じて、各々の画像を撮影した人物の感情を表すタグ情報を、各々の画像に付与すべきタグ情報として設定することが好ましい。

【0027】

また、タグ情報付与部は、各々の画像について、画像に付与すべきタグ情報のうち、主タグ情報として画像に付与したタグ情報以外のタグ情報を、画像に付与することが好ましい。

【0028】

また、本発明は、画像受付部が、第１ユーザが所有する画像群の入力を受け付けるステップと、
画像解析部が、画像群に含まれる各々の画像を解析するステップと、
タグ情報設定部が、各々の画像の解析結果に基づいて、各々の画像に付与すべきタグ情報を設定するステップと、
タグ情報付与部が、各々の画像について、画像に付与すべきタグ情報のうち、画像群に含まれる全ての画像に付与すべき全てのタグ情報の総出現回数に対する、画像に付与すべきタグ情報の出現回数の割合が、第１閾値以上、第２閾値以下であるタグ情報を、主タグ情報として、画像に付与するステップと、を含む、画像処理方法を提供する。

【0029】

ここで、各々の画像について、同じカテゴリに含まれ、かつ抽象度が異なる複数のタグ情報のうち、抽象度が異なる２以上のタグ情報を、画像に付与すべきタグ情報として設定し、
画像に付与すべき、抽象度が異なる２以上のタグ情報のうち、割合が、第１閾値以上、第２閾値以下であるタグ情報を、主タグ情報として、画像に付与することが好ましい。

【0030】

さらに、画像絞込部が、画像の絞込条件を設定する指示に応じて、画像群に含まれる画像の中から、絞込条件に一致する画像グループに絞り込むステップを含み、
画像グループに含まれる各々の画像について、画像に付与すべきタグ情報のうち、画像グループに含まれる全ての画像に付与すべき全てのタグ情報の総出現回数に対する、画像に付与すべきタグ情報の出現回数の割合が、第３閾値以上、第４閾値以下であるタグ情報を、主タグ情報として、画像に付与することが好ましい。

【0031】

画像受付部が、さらに、第１ユーザが所有する新たな画像の入力を受け付けて画像群に加えるステップと、
画像解析部が、さらに、新たな画像を解析するステップと、
タグ情報設定部が、さらに、新たな画像の解析結果に基づいて、新たな画像に付与すべきタグ情報を設定するステップと、を含み
新たな画像を含む、画像群に含まれる各々の画像について、画像に付与すべきタグ情報のうち、割合が、第１閾値以上、第２閾値以下であるタグ情報を、主タグ情報として、画像に付与することが好ましい。

【0032】

さらに、画像表示部が、画像群に含まれる少なくとも一部の画像をディスプレイに表示させるステップを含み、
ディスプレイに表示された画像に関連付けて、ディスプレイに表示された画像に付与された主タグ情報を表示させることが好ましい。

【0033】

また、本発明は、上記のいずれかの画像処理方法の各々のステップをコンピュータに実行させるためのプログラムを提供する。

【0034】

また、本発明は、上記のいずれかの画像処理方法の各々のステップをコンピュータに実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体を提供する。

【0035】

また、本発明は、第１ユーザが所有する画像群の入力を受け付ける画像受付部と、
画像群に含まれる各々の画像を解析する画像解析部と、
各々の画像の解析結果に基づいて、各々の画像に付与すべきタグ情報を設定するタグ情報設定部と、
各々の画像について、画像に付与すべきタグ情報のうち、画像群に含まれる全ての画像に付与すべき全てのタグ情報の総出現回数に対する、画像に付与すべきタグ情報の出現回数の割合が、第１閾値以上、第２閾値以下であるタグ情報を、主タグ情報として、画像に付与するタグ情報付与部と、を備え、
画像受付部、画像解析部、タグ情報設定部およびタグ情報付与部は、専用のハードウェアまたはプログラムを実行するプロセッサによって構成される、画像処理装置を提供する。

【0036】

さらに、画像群に含まれる画像に付与されたタグ情報に基づいて、各々の画像に付与されたタグ情報の抽象度を設定する抽象度設定部を備え、
抽象度設定部は、第１タグ情報および第２タグ情報が同じカテゴリに含まれるタグ情報であり、第１タグ情報が付与された画像には第２タグ情報が付与されているのに対して、第２タグ情報が付与された画像には第１タグ情報が付与されていない場合が閾値以上ある場合に、第１タグ情報および第２タグ情報の抽象度が異なり、第２タグ情報が第１タグ情報よりも抽象度が高いタグ情報であると設定し、
タグ情報設定部は、画像群に含まれる画像に付与され、抽象度が設定されたタグ情報を抽象度が異なる複数のタグ情報として用いて、各々の画像に付与すべきタグ情報を設定し、
抽象度設定部は、専用のハードウェアまたはプログラムを実行するプロセッサによって構成されることが好ましい。

【0037】

さらに、画像の絞込条件を設定する指示に応じて、画像群に含まれる画像の中から、絞込条件に一致する画像グループに絞り込む画像絞込部を備え、
タグ情報付与部は、画像グループに含まれる各々の画像について、画像に付与すべきタグ情報のうち、画像グループに含まれる全ての画像に付与すべき全てのタグ情報の総出現回数に対する、画像に付与すべきタグ情報の出現回数の割合が、第３閾値以上、第４閾値以下であるタグ情報を、主タグ情報として、画像に付与し、
画像絞込部は、専用のハードウェアまたはプログラムを実行するプロセッサによって構成されることが好ましい。

【0038】

さらに、第１ユーザと、第２ユーザと、の間で画像を共有する画像共有部を備え、
第２ユーザが所有する画像が、第１ユーザに対して共有された場合、画像受付部は、第１ユーザが所有する画像群として、共有された画像を含め、
画像共有部は、専用のハードウェアまたはプログラムを実行するプロセッサによって構成されることが好ましい。

【0039】

さらに、画像群に含まれる少なくとも一部の画像をディスプレイに表示させる画像表示部を備え、
画像表示部は、ディスプレイに表示された画像に関連付けて、ディスプレイに表示された画像に付与された主タグ情報を表示させ、
画像表示部は、専用のハードウェアまたはプログラムを実行するプロセッサによって構成されることが好ましい。

【発明の効果】

【0040】

本発明によれば、第１ユーザが所有する画像群に含まれる各々の画像について、その画像に付与すべきタグ情報のうち、前述の割合が、第１閾値以上、第２閾値以下であるタグ情報を、主タグ情報として、画像に付与することにより、第１ユーザにとって必要性が高い主タグ情報を画像に付与することができる。
また、各々の画像について、同じカテゴリに含まれ、かつ抽象度が異なる複数のタグ情報のうち、抽象度が異なる２以上のタグ情報を、画像に付与すべきタグ情報として設定することにより、第１ユーザが所有する画像群において、適切な抽象度の主タグ情報を、画像群に含まれる各々の画像に付与することができる。

【図面の簡単な説明】

【0041】

【図1】本発明に係る画像処理システムの構成を表す一実施形態のブロック図である。

【図2】クライアントの構成を表す一実施形態のブロック図である。

【図3】「乗り物」のカテゴリに含まれるタグ情報を表す一実施形態の概念図である。

【図4】画像群に含まれる画像に主タグ情報を付与する場合の画像処理システムの動作を表す一実施形態のフローチャートである。

【図5】画像群の中から、画像グループに絞り込む場合の画像処理システムの動作を表す一実施形態のフローチャートである。

【図6】新たな画像が入力された場合の画像処理システムの動作を表す一実施形態のフローチャートである。

【発明を実施するための形態】

【0042】

以下に、添付の図面に示す好適実施形態に基づいて、本発明の画像処理装置、画像処理方法、プログラムおよび記録媒体を詳細に説明する。

【0043】

図１は、本発明に係る画像処理システムの構成を表す一実施形態のブロック図である。図１に示す画像処理システム１０は、サーバ１２と、ネットワーク１６を介して各々サーバ１２に接続された複数のクライアント１４と、を備えている。

【0044】

サーバ１２は、画像処理システム１０を利用する複数のユーザが所有する画像群を取得し、複数のユーザの各々が所有する画像群に含まれる各々の画像を、任意のユーザに公開する、共有相手のみと共有する、または非公開に設定する機能等を有する。
サーバ１２は、１台に限らず、複数台であってもよく、制御装置、記憶装置および通信装置等を有する、ワークステーション等によって構成される。

【0045】

クライアント１４は、本実施形態の画像処理装置であり、ユーザが所有する画像群に含まれる各々の画像にタグ情報を付与する機能等を有する。
クライアント１４は、制御装置、入力装置、記憶装置、通信装置およびディスプレイ等を有する、デスクトップPC（パーソナルコンピュータ）、ノートPC、タブレットPC、あるいは、携帯電話およびスマートフォン等の携帯端末等によって構成される。

【0046】

図２は、クライアントの構成を表す一実施形態のブロック図である。図２に示すクライアント１４は、指示取得部１８と、画像受付部２０と、画像解析部２２と、タグ情報設定部２４と、タグ情報付与部２６と、抽象度設定部２８と、画像絞込部３０と、画像表示部３２と、画像共有部３４と、通信部３６と、ディスプレイ３８と、を備えている。

【0047】

以下、第１ユーザが所有するクライアント１４について説明する。
第１ユーザは、画像処理システム１０を利用する全てのユーザのうちの任意の一人のユーザである。ユーザとは、画像処理システム１０における１アカウントを使用する者を指し、通常は自然人１人が相当するが、家族で１アカウントを共同利用している際は、自然人２人以上であり得る。本実施形態では、第１ユーザのクライアント１４について説明するが、第１ユーザ以外の他のユーザが所有するクライアント１４についても同様の構成および機能を有する。

【0048】

第１ユーザのクライアント１４において、まず、指示取得部１８は、キーボード、マウス、タッチパネル等の入力装置を利用して第１ユーザから入力される各種の指示を取得する。

【0049】

第１ユーザは、ディスプレイ３８に表示された画面を見ながら、入力装置を用いて指示を入力する。
第１ユーザが入力する指示には、特に制限はないが、画像群を指定する指示、撮影者の感情を設定する指示、閾値を設定する指示、画像の絞込条件を設定する指示、画像を表示する指示、画像群に含まれる画像の中から画像を選択する指示、画像の共有相手を設定する指示、および画像を公開する、共有する、または非公開に設定する指示等が含まれる。

【0050】

続いて、画像受付部２０は、画像群を指定する指示に応じて、第１ユーザが所有する画像群の入力を受け付ける。言い換えると、画像受付部２０は、第１ユーザが所有する画像群を取得する。

【0051】

第１ユーザが所有する画像群には、特に制限はないが、第１ユーザのクライアント１４の記憶装置に格納された画像群、USB（Universal Serial Bus）メモリ、SD（Secure Digital）メモリ、CD（Compact Disc）、DVD（Digital Versatile Disc）およびHD（Hard Disk）等の外部記録媒体に記録された画像群、オンラインストレージに格納された画像群、SNSに投稿された画像群等が含まれる。また、画像には、静止画像だけではなく動画像も含まれる。

【0052】

画像群に含まれる各々の画像には、属性情報およびタグ情報等の付帯情報を付与することができる。

【0053】

属性情報は、画像の属性を表す情報であり、例えばExif（Exchangeable image file format）情報等を例示することができる。Exif情報は、画像の撮影条件に関する情報であり、例えば画像の撮影日時、撮影場所（位置情報）、焦点距離、露出等の情報を含む。Exif情報は、デジタルカメラ等によって撮影された画像（画像データ）のヘッダ情報として付与される。

【0054】

タグ情報は、画像の属性情報、画像に写っている被写体（人物および人物以外のオブジェクト）、および画像から読み取られるシーン、イベント、感情等を表す名称である。
例えば、画像の撮影年が２０１８年である場合、「２０１８年」というタグ情報が画像に付与され、画像の撮影場所が東京である場合、「東京」というタグ情報が画像に付与される。また、被写体として「肉」および複数の「人物」が画像に写っている場合、「肉」、「人物」、「飲み会」および「女子会」等のタグ情報が画像に付与される。画像に写っている「人物」が笑顔であれば、「笑顔」および「楽しい」等のタグ情報が画像に付与される。
また、感情については、ウェアラブル端末における心拍数、呼吸数、血圧、心電図、体温および発汗等の測定および検知、ならびに、ゴーグル型端末における瞳孔の開き具合の測定および検知等から測定することもできる。
タグ情報は、画像の解析結果に基づいて、後述するタグ情報付与部２６によって自動で付与されるか、または、第１ユーザが手動で画像に付与することもできる。

【0055】

続いて、画像解析部２２は、第１ユーザが所有する画像群に含まれる各々の画像を解析する。

【0056】

画像解析は、特に限定されないが、明るさ判定、色評価、ボケブレ評価、属性情報の解析、画像に写っている被写体を認識する被写体認識、シーン認識（夜景、海、砂浜、空、…）、およびイベント検出（運動会、結婚式、卒業式、…）等を含む。
被写体認識は、顔検出、人物認識（顔認識）、およびオブジェクト認識（肉、果物、花、ケーキ、…）等を含む。

【0057】

続いて、タグ情報設定部２４は、各々の画像の解析結果に基づいて、各々の画像に付与すべきタグ情報を設定する。

【0058】

タグ情報設定部２４は、例えば各々の画像の属性情報、各々の画像に写っている被写体、各々の画像のシーン、イベント、および各々の画像に写っている人物の感情を表すタグ情報等を、各々の画像に付与すべきタグ情報として設定することができる。また、タグ情報設定部２４は、撮影者の感情を設定する指示に応じて、各々の画像を撮影した人物の感情を表すタグ情報を、各々の画像に付与すべきタグ情報として設定することもできる。

【0059】

続いて、タグ情報付与部２６は、画像群に含まれる各々の画像について、タグ情報設定部２４によって設定された画像に付与すべきタグ情報のうち、画像群に含まれる全ての画像に付与すべき全てのタグ情報の総出現回数に対する、画像に付与すべきタグ情報の出現回数の割合（画像群におけるタグ情報の付与率）が、第１閾値以上、第２閾値以下であるタグ情報を、主タグ情報として、画像に付与する。また、タグ情報付与部２６は、各々の画像について、画像に付与すべきタグ情報のうち、主タグ情報として画像に付与したタグ情報以外のタグ情報を、画像に付与することもできる。

【0060】

主タグ情報は、画像がディスプレイ３８に表示された場合に、その画像に関連付けて表示されるタグ情報である。また、主タグ情報を含む、画像に付与された全てのタグ情報は、例えば画像の絞り込みを行う際の絞込条件等として使用することができる。

【0061】

前述のように、スマートフォンのディスプレイの表示領域は比較的狭く、画像に付与された全てのタグ情報を、その画像に関連付けてディスプレイに表示させるのが難しい場合がある。これに対し、画像に関連付けて、その画像の主タグ情報のみを表示させることにより、ディスプレイの表示領域が狭い場合であっても、全てのタグ情報を表示させる場合よりも、タグ情報を見やすく表示させることができる。

【0062】

タグ情報のカテゴリとは、例えば「乗り物」、「食べ物」および「飲み物」等のように、同じ特徴を有するタグ情報が含まれる範囲を表す。図３に示すように、例えば「乗り物」のカテゴリのタグ情報には、「電車」、「飛行機」および「自動車」等のタグ情報が含まれる。また、例えば「電車」のカテゴリのタグ情報には、「４０００系の電車」、「３０００系の電車」および「２０００系の電車」等のタグ情報が含まれる。

【0063】

また、タグ情報の抽象度とは、タグ情報の表現が上位概念化されている度合いを表す。例えば、「乗り物」のカテゴリのタグ情報の場合、「乗り物」、「電車」および「４０００系の電車」のタグ情報の抽象度は、それぞれ、大中小となる。言い換えると、「乗り物」、「電車」および「４０００系の電車」のタグ情報は、それぞれ、上位概念、中位概念および下位概念のタグ情報であり、その間には上下関係（包含関係）があるとも言える。

【0064】

第１閾値および第２閾値は、それぞれ、割合の下限値および上限値である。第１閾値および第２閾値は、例えば画像処理システム１０において、あらかじめ設定された値であり、２０％および５０％のように、固定値としてもよいし、画像群に応じて可変値としてもよい。あるいは、閾値を設定する指示に応じて、第１閾値および第２閾値を設定してもよい。第１ユーザは、例えばスライダバーを用いて、第１閾値および第２閾値を設定することができる。後述する、閾値、第３閾値および第４閾値についても同様である。

【0065】

続いて、抽象度設定部２８は、画像群に含まれる画像に付与されたタグ情報に基づいて、各々の画像に付与されたタグ情報の抽象度を設定する。

【0066】

画像処理システム１０において、カテゴリ毎に、抽象度が異なる複数のタグ情報が、あらかじめ用意されていない場合であっても、例えば画像受付部によって受け付けられた画像群に含まれる各々の画像に既にタグ情報が付与されている場合、抽象度設定部２８は、画像群に含まれる画像に既に付与されているタグ情報に基づいて、各々の画像に付与されたタグ情報の抽象度、つまり、タグ情報の上下関係を設定することができる。

【0067】

例えば、「電車」のタグ情報が付与された画像には、高頻度で「乗り物」のタグ情報が付与されていると考えられる。一方、「乗り物」のタグ情報が付与された画像には、必ずしも「電車」のタグ情報が付与されているとは限らず、「飛行機」および「自動車」等のタグ情報が付与されている場合もある。このような状況が多数存在する場合、「電車」よりも「乗り物」の方が、抽象度が高いタグ情報であると言える。

【0068】

これに応じて、抽象度設定部２８は、第１タグ情報および第２タグ情報が、同じカテゴリに含まれるタグ情報であり、第１タグ情報が付与された画像には第２タグ情報が付与されているのに対して、第２タグ情報が付与された画像には第１タグ情報が付与されていない場合が閾値以上ある場合に、第１タグ情報および第２タグ情報の抽象度が異なり、第２タグ情報が第１タグ情報よりも抽象度が高いタグ情報であると設定することができる。
この場合、タグ情報設定部２４は、画像群に含まれる画像に付与され、抽象度設定部２８によって抽象度が設定されたタグ情報を抽象度が異なる複数のタグ情報として用いて、各々の画像に付与すべきタグ情報を設定することができる。

【0069】

続いて、画像絞込部３０は、画像の絞込条件を設定する指示に応じて、画像群に含まれる画像の中から、絞込条件に一致する画像グループに絞り込む。
絞込条件は、任意のキーワード、タグ情報およびExif情報等を含む。また、画像グループには、１の画像のみが含まれていてもよいし、２以上の画像が含まれていてもよい。

【0070】

続いて、画像表示部３２は、画像を表示する指示に応じて、画像群に含まれる少なくとも一部の画像をディスプレイ３８に表示させる。画像表示部３２は、例えば画像群に含まれる画像、または画像絞込部３０によって絞り込まれた画像グループに含まれる画像をディスプレイ３８に表示させる。また、画像表示部３２は、ディスプレイ３８に表示された画像に関連付けて、ディスプレイ３８に表示された画像に付与された主タグ情報を表示させることができる。

【0071】

続いて、画像共有部３４は、第１ユーザと、第２ユーザと、の間で画像を共有する。

【0072】

第２ユーザは、画像処理システム１０を利用する全てのユーザのうち、第１ユーザ以外の任意の一人のユーザまたは複数のユーザである。
画像共有部３４は、画像を公開する、または非公開に設定する指示に応じて、画像を選択する指示によって選択された画像を、任意のユーザに公開する、または非公開に設定する。また、画像共有部３４は、画像を共有する指示に応じて、画像を選択する指示によって選択された画像を、共有相手を設定する指示によって設定された共有相手のみと共有する。

【0073】

続いて、通信部３６は、クライアント１４が有する通信装置であり、サーバ１２が有する通信装置との間で各種のデータの送受信を行う。

【0074】

通信部３６は、例えばクライアント１４の記憶装置に格納された画像（画像データ）を、クライアント１４からネットワーク１６を介してサーバ１２へアップロードしたり、サーバ１２の記憶装置に格納された画像を、サーバ１２からネットワーク１６を介してクライアント１４へダウンロードしたりする。

【0075】

次に、図４に示すフローチャートを参照して、画像群に含まれる画像に主タグ情報を付与する場合の画像処理システム１０の動作を説明する。

【0076】

第１ユーザが所有するクライアント１４において、まず、画像受付部２０により、画像群を指定する指示に応じて、第１ユーザが所有する画像群の入力が受け付けられる（S1）。画像群は、クライアント１４の記憶装置に格納される。また、画像群は、クライアント１４からネットワーク１６を介してサーバ１２へアップロードされ、サーバ１２の記憶装置に格納される。

【0077】

続いて、画像解析部２２により、画像群に含まれる各々の画像の解析が行われる（S2）。

【0078】

続いて、タグ情報設定部２４により、各々の画像の解析結果に基づいて、各々の画像に付与すべきタグ情報が設定される（S3）。

【0079】

続いて、タグ情報付与部２６により、各々の画像について、その画像に付与すべきタグ情報のうち、総出現回数に対する出現回数の割合が、第１閾値以上、第２閾値以下であるタグ情報が、主タグ情報として、その画像に付与される（S4）。

【0080】

これにより、第１ユーザが所有する画像群において、第１ユーザにとって必要性が高い主タグ情報を、画像群に含まれる各々の画像に付与することができる。

【0081】

次に、タグ情報付与部２６による主タグ情報の付与方法について説明する。

【0082】

タグ情報付与部２６は、各々の画像について、画像に付与すべきタグ情報の中に、割合が、第１閾値以上、第２閾値以下である２以上のタグ情報がある場合に、これら２以上のタグ情報の両方を、主タグ情報として、画像に付与することができる。例えば、割合が、第１閾値以上、第２閾値以下である「電車」および「４０００系の電車」のタグ情報がある場合、「電車」および「４０００系の電車」のタグ情報の両方を、主タグ情報として、画像に付与する。

【0083】

また、より抽象度が高いタグ情報を優先する場合、タグ情報付与部２６は、割合が、第１閾値以上、第２閾値以下である２以上のタグ情報のうち、抽象度が最大のタグ情報のみを、主タグ情報として、画像に付与してもよい。同様に、割合が、第１閾値以上、第２閾値以下である「電車」および「４０００系の電車」のタグ情報がある場合、より抽象度が高い「電車」のタグ情報のみを、主タグ情報として、画像に付与する。

【0084】

あるいは、より抽象度が低いタグ情報の方を優先する場合、タグ情報付与部２６は、割合が、第１閾値以上、第２閾値以下である２以上のタグ情報のうち、抽象度が最小のタグ情報のみを、主タグ情報として、画像に付与してもよい。同様に、割合が、第１閾値以上、第２閾値以下である「電車」および「４０００系の電車」のタグ情報がある場合、より抽象度が低い「４０００系の電車」のタグ情報のみを、主タグ情報として、画像に付与する。

【0085】

一方、タグ情報付与部２６は、各々の画像について、画像に付与すべきタグ情報の中に、割合が、第１閾値以上、第２閾値以下であるタグ情報がない場合に、割合が第１閾値未満であるタグ情報のうち、割合が最大のタグ情報のみを、主タグ情報として、画像に付与してもよい。つまり、割合が第１閾値未満のタグ情報の中でも、割合が、より高いタグ情報、つまり、第１ユーザにとっての興味度がより高いタグ情報を、主タグ情報として、画像に付与する。

【0086】

なお、画像受付部２０によって画像群の入力が受け付けられた直後に、画像の解析、タグ情報の設定、およびタグ情報の付与等を行ってもよいし、あるいは画像受付部２０によって画像群の入力が受け付けられた後、画像処理システム１０によって何も処理が行われていない期間、例えば夜間等に、画像の解析、タグ情報の設定、およびタグ情報の付与等を行ってもよい。
また、第１ユーザが所有する画像群だけでなく、画像処理システム１０を利用する２以上のユーザが所有する画像群の入力を受け付け、２以上のユーザが所有する画像群において、画像の解析、タグ情報の設定、および主タグ情報の付与等を行ってもよい。

【0087】

ここで、割合が第１閾値未満のタグ情報が付与された画像は少数であり、第１ユーザにとって、画像群の中では興味度が低い画像と考えられる。従って、割合が第１閾値未満のタグ情報を主タグ情報として画像に付与する必要性は低い。

【0088】

一方、割合が第２閾値を超えるタグ情報が付与された画像は多数であり、第１ユーザにとって、画像群の中では興味度が高い画像と考えられる。しかし、割合が第２閾値を超えるタグ情報は、多数の画像に付与され、かつ第１ユーザにとっても、割合が第２閾値を超えるタグ情報が付与された多数の画像があることは既知と考えられるため、割合が第２閾値を超えるタグ情報を、主タグ情報として、画像に付与する必要性も低い。

【0089】

例えば、第１ユーザが所有する画像群の中に、「乗り物」の画像のみが含まれている場合に、第１ユーザにとって、各々の画像が「乗り物」の画像であることは既知であり、「乗り物」のタグ情報を、主タグ情報として、画像に付与する必要性は低い。言い換えると、第１ユーザにとっては、「乗り物」よりも、「電車」または「４０００系の電車」等のタグ情報を、主タグ情報として、画像に付与する必要性が高い。

【0090】

割合が、第１閾値以上、第２閾値以下であるタグ情報が付与された画像は、第１ユーザにとって、画像群の中では興味度が高い画像と考えられる。また、割合が、第１閾値以上、第２閾値以下であるタグ情報が付与された画像があることは、第１ユーザにとって既知ではないと考えられるため、割合が、第１閾値以上、第２閾値以下であるタグ情報を、主タグ情報として設定することにより、第１ユーザにとって必要性が高い主タグ情報を画像に付与することができる。

【0091】

例えば、第１ユーザが所有する画像群の中に、「乗り物」の画像のみが含まれている場合に、「乗り物」のタグ情報の割合は第２閾値を超え、「電車」のタグ情報の割合は、第１閾値以上、第２閾値以下であり、「４０００系の電車」のタグ情報の割合は第１閾値未満であるとする。この場合、「電車」のタグ情報を、主タグ情報として、画像に付与することにより、第１ユーザにとって必要性が高い主タグ情報を画像に付与することができる。

【0092】

タグ情報設定部２４は、本実施形態の場合、各々の画像について、同じカテゴリに含まれ、かつ抽象度が異なる複数のタグ情報のうち、抽象度が異なる２以上のタグ情報を、画像に付与すべきタグ情報として設定する。
この場合、タグ情報付与部２６は、画像に付与すべき、抽象度が異なる２以上のタグ情報のうち、総出現回数に対する出現回数の割合が、第１閾値以上、第２閾値以下であるタグ情報を、主タグ情報として、画像に付与する。つまり、タグ情報設定部２４は、画像処理システム１０において、あらかじめ用意され、カテゴリ毎に、抽象度が異なる複数のタグ情報の中から、各々の画像に付与すべきタグ情報を設定する。

【0093】

これにより、第１ユーザが所有する画像群において、適切な抽象度の主タグ情報を、画像群に含まれる各々の画像に付与することができる。

【0094】

続いて、画像表示部３２により、画像を表示する指示に応じて、画像群に含まれる画像がディスプレイ３８に表示され、ディスプレイ３８に表示された画像に関連付けて、その画像に付与された主タグ情報が表示される（S5）。

【0095】

これにより、第１ユーザは、画像群に含まれる画像をディスプレイ３８に表示し、ディスプレイ３８に表示された画像、および画像に付与された適切な抽象度の主タグ情報を確認することができる。

【0096】

次に、図５に示すフローチャートを参照して、画像群の中から、画像グープに絞り込む場合の画像処理システム１０の動作を説明する。

【0097】

この場合、画像絞込部３０により、画像の絞込条件を設定する指示に応じて、画像群に含まれる画像の中から、絞込条件に一致する画像グループに絞り込まれる（S6）。

【0098】

続いて、タグ情報付与部２６により、画像グループに含まれる各々の画像について、画像に付与すべきタグ情報のうち、画像グループに含まれる全ての画像に付与すべき全てのタグ情報の総出現回数に対する、画像に付与すべきタグ情報の出現回数の割合が、第３閾値以上、第４閾値以下であるタグ情報が、主タグ情報として、画像に付与される（S7）。

【0099】

これにより、絞り込まれた画像グループにおいて、第１ユーザにとって必要性が高い主タグ情報を、画像グループに含まれる各々の画像に付与することができる。

【0100】

画像グループで用いられる第３閾値および第４閾値は、画像群で用いられる第１閾値および第２閾値に相当するものである。このように、主タグ情報を付与する際に用いられる画像の母集団が変わった場合、母集団に応じて閾値を変えてもよい。また、主タグ情報を付与する際に用いられる画像の母集団が変わった場合、これに応じて、主タグ情報として、各々の画像に付与されるタグ情報も変わる。

【0101】

続いて、画像表示部３２により、画像絞込部３０によって絞り込まれた画像グループに含まれる画像がディスプレイ３８に表示され、ディスプレイ３８に表示された画像に関連付けて、その画像に付与された主タグ情報が表示される（S8）。

【0102】

これにより、第１ユーザは、絞込条件によって絞り込まれた画像グループに含まれる画像をディスプレイ３８に表示し、ディスプレイ３８に表示された画像、および画像に付与された適切な抽象度の主タグ情報を確認することができる。なお図示しないが、第１ユーザが、ディスプレイ３８に表示された１枚の画像を選択し閲覧する場合は、ディスプレイ３８上に表示スペースが比較的残っていると考えられることから、主タグ情報のみならず、他の全てのタグ情報も表示することが好ましい。

【0103】

次に、図６に示すフローチャートを参照して、新たな画像が入力された場合の画像処理システム１０の動作を説明する。

【0104】

この場合、画像受付部２０により、新たな画像の入力が受け付けられて、第１ユーザが所有する画像群に加えられる（S9）。

【0105】

続いて、画像解析部２２により、新たな画像が解析される（S10）。

【0106】

続いて、タグ情報設定部２４により、新たな画像の解析結果に基づいて、新たな画像に付与すべきタグ情報が設定される（S11）。

【0107】

続いて、タグ情報付与部２６により、新たな画像を含む、第１ユーザが所有する画像群に含まれる各々の画像について、画像に付与すべきタグ情報のうち、総出現回数に対する出現回数の割合が、第１閾値以上、第２閾値以下であるタグ情報が、主タグ情報として、画像に付与される（S12）。

【0108】

新たな画像が入力された場合、主タグ情報を付与する際に用いられる画像の母集団が変わるため、これに応じて、主タグ情報として、各々の画像に付与されるタグ情報も変わる。例えば、第１ユーザの趣味が「電車」であり、「電車」の画像が多かったが、趣味が「飛行機」に変わった場合、画像群の中に占める「飛行機」の画像の割合が次第に多くなる。これに応じて、主タグ情報として、各々の画像に付与されるタグ情報も変わる。

【0109】

続いて、画像表示部３２により、新たな画像を含む、第１ユーザが所有する画像群に含まれる画像がディスプレイ３８に表示され、ディスプレイ３８に表示された画像に関連付けて、その画像に付与された主タグ情報が表示される（S13）。

【0110】

これにより、第１ユーザは、新たな画像を含む、第１ユーザが所有する画像群に含まれる画像をディスプレイ３８に表示し、ディスプレイ３８に表示された画像、および画像に付与された適切な抽象度の主タグ情報を確認することができる。

【0111】

また、画像処理システム１０においては、画像共有部３４により、第１ユーザと、第２ユーザと、の間で画像が共有される場合がある。

【0112】

例えば、第２ユーザが所有する画像が、第１ユーザに対して共有された場合、画像受付部２０は、第１ユーザが所有する画像群として、共有された画像を含めることができる。この場合、共有された画像についても、第１ユーザが所有する画像群と同様に扱われ、画像の解析、タグ情報の設定、および主タグ情報の付与、画像および主タグ情報の表示等の処理が行われる。

【0113】

これにより、第１ユーザは、共有された画像を含めて、第１ユーザが所有する画像群に含まれる画像をディスプレイ３８に表示し、ディスプレイ３８に表示された画像、および画像に付与された適切な抽象度の主タグ情報を確認することができる。

【0114】

なお、本発明の画像処理装置をクライアント１４のみで実現することは必須ではなく、クライアント１４が備える複数の構成要素のうちの１以上の構成要素をサーバ１２が備える構成としていてもよい。

【0115】

本発明の装置において、指示取得部１８、画像受付部２０、画像解析部２２、タグ情報設定部２４、タグ情報付与部２６、抽象度設定部２８、画像絞込部３０、画像表示部３２、画像共有部３４、および通信部３６等の各種の処理を実行する処理部（Processing Unit）のハードウェア的な構成は、専用のハードウェアであってもよいし、プログラムを実行する各種のプロセッサまたはコンピュータであってもよい。

【0116】

各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理をさせるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。

【0117】

１つの処理部を、これら各種のプロセッサのうちの１つで構成してもよいし、同種または異種の２つ以上のプロセッサの組み合わせ、例えば、複数のＦＰＧＡの組み合わせ、または、ＦＰＧＡおよびＣＰＵの組み合わせ等によって構成してもよい。また、複数の処理部を、各種のプロセッサのうちの１つで構成してもよいし、複数の処理部のうちの２以上をまとめて１つのプロセッサを用いて構成してもよい。

【0118】

例えば、サーバおよびクライアント等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。また、システムオンチップ（System on Chip：ＳｏＣ）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。

【0119】

さらに、これらの各種のプロセッサのハードウェア的な構成は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（Circuitry）である。

【0120】

また、本発明の方法は、例えば、その各々のステップをコンピュータに実行させるためのプログラムにより実施することができる。また、このプログラムが記録されたコンピュータ読み取り可能な記録媒体を提供することもできる。

【0121】

以上、本発明について詳細に説明したが、本発明は上記実施形態に限定されず、本発明の主旨を逸脱しない範囲において、種々の改良や変更をしてもよいのはもちろんである。

【符号の説明】

【0122】

１０ 画像処理システム
１２ サーバ
１４ クライアント
１６ ネットワーク
１８ 指示取得部
２０ 画像受付部
２２ 画像解析部
２４ タグ情報設定部
２６ タグ情報付与部
２８ 抽象度設定部
３０ 画像絞込部
３２ 画像表示部
３４ 画像共有部
３６ 通信部
３８ ディスプレイ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】