特許 6652911 画像処理装置、画像処理方法、プログラム、及び画像処理システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6652911

(24)【登録日】2020年1月28日

(45)【発行日】2020年2月26日

(54)【発明の名称】画像処理装置、画像処理方法、プログラム、及び画像処理システム

(51)【国際特許分類】

   H04N 5/232 20060101AFI20200217BHJP

   G06T 7/00 20170101ALI20200217BHJP

【ＦＩ】

   H04N5/232 220

   G06T7/00 300F

   H04N5/232 939

【請求項の数】12

【全頁数】17

(21)【出願番号】特願2016-245577(P2016-245577)

(22)【出願日】2016年12月19日

(65)【公開番号】特開2018-101840(P2018-101840A)

(43)【公開日】2018年6月28日

【審査請求日】2018年12月20日

(73)【特許権者】

【識別番号】000208891

【氏名又は名称】ＫＤＤＩ株式会社

(74)【代理人】

【識別番号】100166006

【弁理士】

【氏名又は名称】泉 通博

(74)【代理人】

【識別番号】100124084

【弁理士】

【氏名又は名称】黒岩 久人

(74)【代理人】

【識別番号】100153280

【弁理士】

【氏名又は名称】寺川 賢祐

(72)【発明者】

【氏名】木村 塁

(72)【発明者】

【氏名】内田 祐介

【審査官】 高野 美帆子

(56)【参考文献】

【文献】 特開２０１４−１９７３４２（ＪＰ，Ａ）

【文献】 特開２００８−０３５２４６（ＪＰ，Ａ）

【文献】 国際公開第２０１２／１１１２３６（ＷＯ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２２２−５／２５７

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

処理対象とする写真画像である処理対象画像を取得する画像取得部と、
前記処理対象画像に複数の部分領域を設定する部分領域設定部と、
前記複数の部分領域それぞれについて、写真の構図を表現する特徴量を取得する特徴量取得部と、
前記処理対象画像とは異なる複数の写真画像それぞれの前記構図を表現する特徴量を格納する構図データベースを参照して算出された、当該構図データベースに格納されている複数の特徴量と前記複数の部分領域それぞれの特徴量との類似度を示す類似度指標値を取得する類似度取得部と、
前記複数の部分領域のうち、前記類似度指標値が示す類似度が高い部分領域を、類似度が低い画像よりも優先して表示部に表示させる表示制御部と、
を備える画像処理装置。

【請求項2】

前記部分領域設定部は、前記部分領域のアスペクト比が、前記構図データベースに格納されているいずれかの特徴量に対応する写真画像のアスペクト比と同一となるように、前記部分領域を設定する、
請求項１に記載の画像処理装置。

【請求項3】

前記特徴量取得部は、
あらかじめ定められた複数種類の認識対象それぞれについて、前記処理対象画像に設定された単位領域毎に、当該単位領域に撮像されている被写体が前記認識対象である蓋然性を示す認識指標値を算出する物体認識部と、
前記認識指標値に基づいて特徴量を生成する特徴量生成部と、
を備える請求項１又は２に記載の画像処理装置。

【請求項4】

前記特徴量取得部は、
前記部分領域設定部が設定した複数の部分領域それぞれについて、前記部分領域に含まれる１以上の前記単位領域毎に、前記複数の認識対象に関する認識指標値を並べたベクトルを生成するベクトル生成部をさらに備え、
前記特徴量生成部は、前記ベクトルを、前記部分領域における前記単位領域の存在位置を示す位置情報と関連付けた情報を前記特徴量として生成する、
請求項３に記載の画像処理装置。

【請求項5】

前記複数種類の認識対象それぞれについて算出された認識指標値のうち、所定の閾値を超える認識指標値に対応する認識対象が一種類以下の場合、そのことを通知する通知部をさらに備える、
請求項３又は４に記載の画像処理装置。

【請求項6】

前記表示制御部は、
前記複数の類似度指標値のうち、前記構図データベースに格納されている特徴量との類似度が最も高いことを示す類似度指標値に対応する部分領域を特定する類似部分領域設定部と、
前記類似部分領域設定部が特定した部分領域を、前記処理対象画像において他の領域とは異なる態様とした表示用画像を生成する表示用画像生成部と、
前記表示用画像を前記表示部に出力する画像出力部と、
を備える、請求項１から５のいずれか１項に記載の画像処理装置。

【請求項7】

前記表示制御部は、前記類似部分領域設定部が特定した部分領域を、前記処理対象画像とは異なる新たな画像として記憶部に記憶させる画像保存部をさらに備える、
請求項６に記載の画像処理装置。

【請求項8】

前記画像取得部は、動画像を撮像する撮像部が撮像中の動画像を構成する画像フレームを前記処理対象画像として取得し、
前記表示制御部は、前記動画像を構成する画像フレームのうち、前記画像取得部が前記処理対象画像として取得した画像フレームを前記表示用画像に置換した動画像を、前記表示部に表示させる、
請求項６又は７に記載の画像処理装置。

【請求項9】

プロセッサが、
処理対象とする写真画像である処理対象画像を取得するステップと、
前記処理対象画像に複数の部分領域を設定するステップと、
前記複数の部分領域それぞれについて、写真の構図を表現する特徴量を取得するステップと、
前記処理対象画像とは異なる複数の写真画像それぞれの前記構図を表現する特徴量を格納する構図データベースを参照して算出された、当該構図データベースに格納されている複数の特徴量と前記複数の部分領域それぞれの特徴量との類似度を示す類似度指標値を取得するステップと、
前記複数の部分領域のうち、前記類似度指標値が示す類似度が高い部分領域を、類似度が低い画像よりも優先して表示部に表示させるステップと、
を実行する画像処理方法。

【請求項10】

クラウドコンピューティングの計算リソースが、
処理対象とする写真画像である処理対象画像を取得するステップと、
前記処理対象画像に複数の部分領域を設定するステップと、
前記複数の部分領域それぞれについて、写真の構図を表現する特徴量を取得するステップと、
前記処理対象画像とは異なる複数の写真画像それぞれの前記構図を表現する特徴量を格納する構図データベースを参照して、当該構図データベースに格納されている複数の特徴量と前記複数の部分領域それぞれの特徴量との類似度を示す類似度指標値を算出するステップと、
前記複数の部分領域のうち、前記類似度指標値が示す類似度が高い部分領域を、類似度が低い画像よりも優先して表示部に表示させるステップと、
を実行する画像処理方法。

【請求項11】

コンピュータに、
処理対象とする写真画像である処理対象画像を取得する機能と、
前記処理対象画像に複数の部分領域を設定する機能と、
前記複数の部分領域それぞれについて、写真の構図を表現する特徴量を取得する機能と、
前記処理対象画像とは異なる複数の写真画像それぞれの前記構図を表現する特徴量を格納する構図データベースを参照して算出された、当該構図データベースに格納されている複数の特徴量と前記複数の部分領域それぞれの特徴量との類似度を示す類似度指標値を取得する機能と、
前記複数の部分領域のうち、前記類似度指標値が示す類似度が高い部分領域を、類似度が低い画像よりも優先して表示部に表示させる機能と、
を実現させるプログラム。

【請求項12】

画像処理装置と、
ネットワークを介して前記画像処理装置と通信するサーバと、
を備える情報処理システムであって、
前記画像処理装置は、
画像を撮像する撮像部と、
画像を表示する表示部と、を備え、
前記サーバは、
複数の写真画像それぞれについて、写真の構図を表現する特徴量を対応付けて格納する構図データベースを備え、
前記画像処理装置と前記サーバとの少なくともいずれか一方は、
前記撮像部が撮像した画像を処理対象画像として取得する画像取得部と、
前記処理対象画像に複数の部分領域を設定する部分領域設定部と、
前記複数の部分領域それぞれについて、写真の構図を表現する特徴量を取得する特徴量取得部と、
前記構図データベースを参照して、当該構図データベースに格納されている複数の特徴量と前記部分領域設定部が設定した複数の部分領域それぞれの特徴量との類似度を示す類似度指標値を算出する類似度指標算出部と、
前記複数の部分領域のうち、前記類似度指標値が示す類似度が高い部分領域を、類似度が低い画像よりも優先して表示部に表示させる表示制御部と、を備える、
画像処理システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、画像処理方法、プログラム、及び画像処理システムに関する。

【背景技術】

【0002】

従来、撮影しようとする写真の構図の評価を、撮影時に数値等として把握可能にしたり、撮影後において、撮影した写真からよい構図部分を切出しできるようにしたりする技術が開示されている（特許文献１）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００８−３５２４６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、上記の技術は、撮影者があらかじめ指定した構図と、撮影者が撮影した写真の構図との比較を行うことにより、撮影した写真における構図が評価される。したがって、写真の撮影者が、あらかじめ記憶された構図情報が示す所定の構図と同様の構図となる写真を撮影しないと、よい評価の構図が得られないことになる。つまり、写真の撮影者に一定の写真撮影技術が求められ、そのような技術を持たない一般のユーザでは、よい構図となる写真を撮影するのが難しくなりかねない。

【0005】

そこで、本発明はこれらの点に鑑みてなされたものであり、よい構図となる写真を撮影することを補助する技術におけるユーザビリティを向上させることを目的とする。

【課題を解決するための手段】

【0006】

本発明の第１の態様は、画像処理装置である。この装置は、処理対象とする写真画像である処理対象画像を取得する画像取得部と、前記処理対象画像に複数の部分領域を設定する部分領域設定部と、前記複数の部分領域それぞれについて、写真の構図を表現する特徴量を取得する特徴量取得部と、前記処理対象画像とは異なる複数の写真画像それぞれの前記構図を表現する特徴量を格納する構図データベースを参照して算出された、当該構図データベースに格納されている複数の特徴量と前記複数の部分領域それぞれの特徴量との類似度を示す類似度指標値を取得する類似度取得部と、を備える。

【0007】

前記部分領域設定部は、前記部分領域のアスペクト比が、前記構図データベースに格納されているいずれかの特徴量に対応する写真画像のアスペクト比と同一となるように、前記部分領域を設定してもよい。

【0008】

前記特徴量取得部は、あらかじめ定められた複数種類の認識対象それぞれについて、前記処理対象画像に設定された単位領域毎に、当該単位領域に撮像されている被写体が前記認識対象である蓋然性を示す認識指標値を算出する物体認識部と、前記認識指標値に基づいて特徴量を生成する特徴量生成部と、を備えてもよい。

【0009】

前記特徴量取得部は、前記部分領域設定部が設定した複数の部分領域それぞれについて、前記部分領域に含まれる１以上の前記単位領域毎に、前記複数の認識対象に関する認識指標値を並べたベクトルを生成するベクトル生成部をさらに備えてもよく、前記特徴量生成部は、前記ベクトルを、前記部分領域における前記単位領域の存在位置を示す位置情報と関連付けた情報を前記特徴量として生成してもよい。

【0010】

前記画像処理装置は、前記複数種類の認識対象それぞれについて算出された認識指標値のうち、所定の閾値を超える認識指標値に対応する認識対象が一種類以下の場合、そのことを通知する通知部をさらに備えてもよい。

【0011】

前記画像処理装置は、前記複数の部分領域のうち、前記類似度指標値が示す類似度が高い部分領域を、類似度が低い画像よりも優先して表示部に表示させる表示制御部をさらに備えてもよい。

【0012】

前記表示制御部は、前記複数の類似度指標値のうち、前記構図データベースに格納されている特徴量との類似度が最も高いことを示す類似度指標値に対応する部分領域を特定する類似部分領域設定部と、前記類似部分領域設定部が特定した部分領域を、前記処理対象画像において他の領域とは異なる態様とした表示用画像を生成する表示用画像生成部と、前記表示用画像を前記表示部に出力する画像出力部と、を備えてもよい。

【0013】

前記表示制御部は、前記類似部分領域設定部が特定した部分領域を、前記処理対象画像とは異なる新たな画像として記憶部に記憶させる画像保存部をさらに備えてもよい。

【0014】

前記画像取得部は、動画像を撮像する撮像部が撮像中の動画像を構成する画像フレームを前記処理対象画像として取得してもよく、前記表示制御部は、前記動画像を構成する画像フレームのうち、前記画像取得部が前記処理対象画像として取得した画像フレームを前記表示用画像に置換した動画像を、前記表示部に表示させてもよい。

【0015】

本発明の第２の態様は、画像処理方法である。この方法において、プロセッサが、処理対象とする写真画像である処理対象画像を取得するステップと、前記処理対象画像に複数の部分領域を設定するステップと、前記複数の部分領域それぞれについて、写真の構図を表現する特徴量を取得するステップと、前記処理対象画像とは異なる複数の写真画像それぞれの前記構図を表現する特徴量を格納する構図データベースを参照して算出された、当該構図データベースに格納されている複数の特徴量と前記複数の部分領域それぞれの特徴量との類似度を示す類似度指標値を取得するステップと、を実行する。

【0016】

本発明の第３の態様は、画像処理方法である。この方法において、クラウドコンピューティングの計算リソースが、処理対象とする写真画像である処理対象画像を取得するステップと、前記処理対象画像に複数の部分領域を設定するステップと、前記複数の部分領域それぞれについて、写真の構図を表現する特徴量を取得する機能と、前記処理対象画像とは異なる複数の写真画像それぞれの前記構図を表現する特徴量を格納する構図データベースを参照して、当該構図データベースに格納されている複数の特徴量と前記複数の部分領域それぞれの特徴量との類似度を示す類似度指標値を算出するステップと、を実行する。

【0017】

本発明の第４の態様は、プログラムである。このプログラムは、コンピュータに、処理対象とする写真画像である処理対象画像を取得する機能と、前記処理対象画像に複数の部分領域を設定する機能と、前記複数の部分領域それぞれについて、写真の構図を表現する特徴量を取得する機能と、前記処理対象画像とは異なる複数の写真画像それぞれの前記構図を表現する特徴量を格納する構図データベースを参照して算出された、当該構図データベースに格納されている複数の特徴量と前記複数の部分領域それぞれの特徴量との類似度を示す類似度指標値を取得する機能と、を実現させる。

【0018】

本発明の第５の態様は、画像処理装置と、ネットワークを介して前記画像処理装置と通信するサーバと、を備える情報処理システムである。このシステムにおいて、前記画像処理装置は、画像を撮像する撮像部と、画像を表示する表示部と、を備える。前記サーバは、複数の写真画像それぞれについて、写真の構図を表現する特徴量を対応付けて格納する構図データベースを備える。前記画像処理装置と前記サーバとの少なくともいずれか一方は、前記撮像部が撮像した画像を処理対象画像として取得する画像取得部と、前記処理対象画像に複数の部分領域を設定する部分領域設定部と、前記複数の部分領域それぞれについて、写真の構図を表現する特徴量を取得する特徴量取得部と、前記構図データベースを参照して、当該構図データベースに格納されている複数の特徴量と前記部分領域設定部が設定した複数の部分領域それぞれの特徴量との類似度を示す類似度指標値を算出する類似度指標算出部と、を備える。

【発明の効果】

【0019】

本発明によれば、よい構図となる写真を撮影することを補助する技術におけるユーザビリティを向上させることができる。

【図面の簡単な説明】

【0020】

【図1】実施の形態に係る情報処理システムの構成を模式的に示す図である。

【図2】実施の形態に係る画像処理装置の機能構成を模式的に示す図である。

【図3】実施の形態に係る部分領域設定部が設定する部分領域の一例を模式的に示す図である。

【図4】実施の形態に係る表示制御部の機能構成を模式的に示す図である。

【図5】実施の形態に係る表示用画像生成部が生成した表示用画像の一例を模式的に示す図である。

【図6】実施の形態に係る特徴量取得部の機能構成を模式的に示す図である。

【図7】処理対象画像に設定された単位領域とその認識結果を説明するための図である。

【図8】実施の形態に係る特徴量生成部が生成する特徴量を構成するベクトルのデータ構造を模式的に示す図である。

【図9】実施の形態に係る画像処理装置が実行する画像処理の流れを説明するためのフローチャートである。

【図10】変形例に係る情報処理システムの機能構成を模式的に示す図である。

【発明を実施するための形態】

【0021】

＜実施の形態の概要＞
図１を参照して、実施の形態の概要を述べる。
図１は、実施の形態に係る情報処理システムＳの構成を模式的に示す図である。実施の形態に係る情報処理システムＳは、画像処理装置１、サーバ２、及び構図データベース３を備える。画像処理装置１とサーバ２とは、インターネットや携帯電話通信網等から構成されるネットワークＮを介して互いに通信することができる。画像処理装置１は例えば携帯電話、スマーフォン、タブレットＰＣ（Personal Computer）等の電子機器であり、サーバ２は例えばブレードサーバやクラウドサーバ等の計算機である。

【0022】

以下に記載する（１）から（５）までの流れは、図１中の（１）から（５）の矢印で示す情報の流れに対応する。

【0023】

（１）画像処理装置１のユーザＵは、例えば画像処理装置１の撮像部を用いて撮像し、写真画像を生成する。（２）サーバ２は、写真画像の一部の領域である部分領域の構図を表現する特徴量を取得する。ここでサーバ２は、ネットワークＮを介して画像処理装置１から写真画像をまず取得し、取得した写真画像を解析することで特徴量を取得してもよいし、画像処理装置１が写真画像を解析することで生成した特徴量自体をネットワークＮを介して画像処理装置１から取得してもよい。なお、サーバ２は、写真画像に設定された複数の部分領域それぞれに対応する複数の特徴量を取得する。

【0024】

構図データベース３は、複数の写真画像それぞれの構図を表現する特徴量を格納するデータベースである。構図データベース３は、例えばプロのカメラマンが撮像した、いわば手本となる写真画像の構図を表現する特徴量を格納している。（３）サーバ２は構図データベース３を参照し、写真画像の部分領域の構図を表現する特徴量と構図データベース３に格納されている特徴量との類似度を算出する。これにより、サーバ２は、構図データベース３に格納された手本となる写真画像と構図が類似する部分領域を取得できる。

【0025】

（４）サーバ２は、手本となる写真画像と構図が類似する部分領域を示す情報を、ネットワークＮを介して画像処理装置１に送信する。これにより、画像処理装置１は、撮像して得られた写真画像のうち、手本となる写真画像と構図が類似する部分領域を特定できる。

【0026】

（５）したがって、画像処理装置１は手本となる写真画像と構図が類似する部分領域を切り出したり、その部分のみを表示したりすることにより、ユーザＵに良質な構図の写真を提示することができる。ユーザＵは画像処理装置１で写真を撮りさえすれば、その写真内において良質な構図となる部分が自動で抽出されるので、実施の形態に係る情報処理システムＳは、ユーザＵに写真撮影の技術を要求しない。
以下、実施の形態に係る画像処理装置１の機能構成についてより詳細に説明する。

【0027】

＜画像処理装置１の機能構成＞
図２は、実施の形態に係る画像処理装置１の機能構成を模式的に示す図である。実施の形態に係る画像処理装置１は、通信部１０、記憶部２０、撮像部３０、表示部４０、及び制御部５０を備える。

【0028】

通信部１０は、画像処理装置１が構図データベース３との間で情報を送受信するための通信インタフェースである。通信部１０は、例えばＷｉ−Ｆｉ（登録商標）モジュールや携帯電話通信モジュール等の既知の通信モジュールによって実現される。

【0029】

記憶部２０は、ＯＳ（Operating System）やアプリケーションプログラム等を格納するＲＯＭ（Read Only Memory）や画像処理装置１の作業領域となるＲＡＭ（Random Access Memory）、その他、構図データベース３の一部又は全部等の各種情報を格納するＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等の大容量記憶装置である。

【0030】

撮像部３０は、撮像によって写真画像を生成する。撮像部３０は、例えばＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等、既知の固体撮像素子で実現される。

【0031】

表示部４０は、画像処理装置１が生成した情報をユーザＵに視覚的に通知するためのインタフェースである。撮像部３０は表示領域とタッチパネルとが一体となったタッチスクリーンであってもよく、この場合撮像部３０は画像処理装置１の入力インタフェースとしても機能する。

【0032】

制御部５０は、画像処理装置１のＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等のプロセッサであり、記憶部２０に記憶されたプログラムを実行することによって画像取得部５１、部分領域設定部５２、特徴量取得部５３、類似度取得部５４、表示制御部５５、及び通知部５６として機能する。

【0033】

画像取得部５１は、処理対象とする写真画像である処理対象画像を取得する。画像取得部５１は、例えば画像処理装置１のユーザＵが撮像部３０を用いて撮像した写真画像を処理対象画像として取得する。画像取得部５１はまた、画像処理装置１とは異なる他の装置から処理対象画像を取得してもよい。部分領域設定部５２は、処理対象画像に複数の部分領域を設定する。

【0034】

図３は、実施の形態に係る部分領域設定部５２が設定する部分領域の一例を模式的に示す図である。図３は処理対象画像６０中に設定された３つの部分領域６１（６１ａ、６１ｂ、及び６１ｃ）を示している。なお、部分領域設定部５２が設定する部分領域６１の数は３つに限られず、１つ、又は２つ、あるいは４つ以上であってもよい。

【0035】

図３に示すように、部分領域設定部５２は、処理対象画像６０中の複数の箇所に、種々の大きさ及び形状の部分領域６１を設定する。部分領域設定部５２は、あらかじめ定められた複数の位置にそれぞれ部分領域６１を設定してもよいし、処理対象画像６０中のランダムな位置に部分領域６１を設定してもよい。前者の場合、部分領域設定部５２は記憶部２０に定められた位置を示す情報を参照して部分領域６１を設定する。部分領域６１が矩形領域の場合、記憶部２０は、部分領域６１の対角に位置する２つの頂点の位置に関する処理対象画像６０の相対的な位置座標を格納すればよい。

【0036】

図２の説明に戻る。特徴量取得部５３は、部分領域設定部５２が処理対象画像６０中に設定した複数の部分領域６１それぞれについて、写真の構図を表現する特徴量を取得する。写真の構図を表現する特徴量の詳細は後述するが、写真中にどのような種類の被写体がどのような位置に配置されているかを示す情報である。特徴量のデータサイズは、元となる処理対象画像６０のデータサイズと比較して小さい。具体的には、処理対象画像６０のデータサイズが数メガバイトであるのに対し、一つの部分領域６１の特徴量は大きくて数キロバイト程度である。

【0037】

類似度取得部５４は、特徴量取得部５３から特徴量を取得する。類似度取得部５４は、取得した特徴量を通信部１０及びネットワークＮを介してサーバ２に送信する。上述したように、構図データベース３は、処理対象画像６０とは異なる複数の写真画像それぞれの構図を表現する特徴量を格納するデータベースである。サーバ２は、画像処理装置１から取得した特徴量に基づいて構図データベース３を参照する。サーバ２は、構図データベース３に格納されている複数の特徴量と、画像処理装置１から取得した複数の部分領域それぞれの特徴量との類似度を示す類似度指標値を算出する。サーバ２は、取得した類似度指標値をネットワークＮを介して画像処理装置１に送信する。

【0038】

類似度取得部５４は、サーバ２が算出した類似度指標値を通信部１０から取得する。このように、画像処理装置１が特徴量を算出してからサーバ２に送信する場合は、画像処理装置１が処理対象画像６０自体をサーバ２に送信する場合よりも、ネットワークＮの負荷を抑制し、通信に係るコストを抑えることができる。

【0039】

表示制御部５５は、複数の部分領域のうち、類似度指標値が示す類似度が高い部分領域を、類似度が低い画像よりも優先して表示部４０に表示させる。これにより、画像処理装置１のユーザは表示部４０を見ることにより、撮像部３０を使って撮像した写真画像のうち、構図データベース３に格納されている手本となる写真画像の構図と類似する領域を把握することができる。

【0040】

［表示制御部５５の機能構成］
図４は、実施の形態に係る表示制御部５５の機能構成を模式的に示す図である。表示制御部５５は、類似部分領域設定部５５１、表示用画像生成部５５２、画像出力部５５３、及び画像保存部５５４を含む。

【0041】

類似部分領域設定部５５１は、類似度取得部５４から取得した複数の類似度指標値のうち、構図データベース３に格納されている特徴量との類似度が最も高いことを示す類似度指標値に対応する部分領域を特定する。表示用画像生成部５５２は、類似部分領域設定部５５１が特定した部分領域を、処理対象画像６０において他の領域とは異なる態様とした表示用画像を生成する。

【0042】

画像出力部５５３は、表示用画像を表示部４０に出力する。画像保存部５５４は、類似部分領域設定部５５１が特定した部分領域を、処理対象画像６０とは異なる新たな画像として記憶部２０に記憶させる。これにより、ユーザＵは構図データベース３に格納されている手本となる写真画像の構図と類似する領域のみを切り出した新たな画像データを取得することができる。

【0043】

図５は、実施の形態に係る表示用画像生成部５５２が生成した表示用画像６２の一例を模式的に示す図である。図５に示すように、表示用画像生成部５５２は、類似部分領域設定部５５１が設定した部分領域については処理対象画像６０と同じ輝度を保ちつつ、類似部分領域設定部５５１が設定した部分領域以外の領域は処理対象画像６０と比較して輝度値を下げたり色相を変更したりして表示用画像６２を作成する。これにより、ユーザＵは表示部４０に表示された部分領域６１を一見するだけで、類似部分領域設定部５５１が特定した部分領域６１を把握することができる。

【0044】

なお、実施の形態に係る画像処理装置１の撮像部３０は、動画像を撮像することもできる。このため画像取得部５１は、動画像を撮像する撮像部３０が撮像中の動画像を構成する画像フレームを処理対象画像６０として取得することができる。表示制御部５５は、撮像部３０が撮像した動画像を構成する画像フレームのうち、画像取得部５１が処理対象画像６０として取得した画像フレームを部分領域６１に置換した動画像を、表示部４０に表示させてもよい。これにより、撮像部３０が流し撮りして表示部４０に表示されるいわゆる「ライブビュー」において、ユーザＵは手本となる写真画像と類似する構図をリアルタイムで確認することができるようになる。

【0045】

［構図を表現する特徴量及び類似度指標値］
続いて、特徴量取得部５３が取得する写真の構図を表現する特徴量及び特徴量同士の類似度指標値について図６、図７、及び図８を参照して説明する。

【0046】

図６は、実施の形態に係る特徴量取得部５３の機能構成を模式的に示す図である。特徴量取得部５３は、物体認識部５３１、ベクトル生成部５３２、及び特徴量生成部５３３を含む。物体認識部５３１は、あらかじめ定められた複数種類の認識対象それぞれについて、処理対象画像６０に設定された単位領域毎に、その単位領域に撮像されている被写体が認識対象である蓋然性を示す認識指標値を算出する。

【0047】

図７は、処理対象画像６０に設定された単位領域とその認識結果を説明するための図である。図７に示す単位領域は、処理対象画像６０を縦方向に９分割、横方向に６分割、計５４分割した場合の各領域である。図７に示すように、処理対象画像６０に設定された単位領域と、部分領域設定部５２が設定する部分領域６１とは異なっている。物体認識部５３１は、単位領域毎に、その領域に撮像されている被写体の蓋然性を示す認識指標値を算出する。物体認識部５３１は、例えばニューラルネットワーク、ＳＶＭ（Support Vector Machine）、ブースティング等の既知の教師あり機械学習によって生成した被写体認識エンジンを用いて実現できる。

【0048】

図７において、各部分領域に記載された「空」、「雲」、「塔」、「山」等は、物体認識部５３１が認識した被写体を示す。ベクトル生成部５３２は、部分領域設定部５２が設定した複数の部分領域６１それぞれについて、その部分領域６１に含まれる１以上の単位領域毎に、複数の認識対象に関する認識指標値を並べたベクトルを生成する。

【0049】

特徴量生成部５３３は、認識指標値を並べたベクトルに基づいて、写真の構図を表現する特徴量を生成する。より具体的には、特徴量生成部５３３は、ベクトル生成部５３２が生成したベクトルを、部分領域６１における単位領域の存在位置を示す位置情報と関連付けた情報を、写真の構図を表現する特徴量として生成する。

【0050】

図８は、実施の形態に係る特徴量生成部５３３が生成する特徴量を構成するベクトルのデータ構造を模式的に示す図である。特徴量生成部５３３は、各部分領域６１に含まれる単位領域それぞれを一意に特定するための単位領域番号を、各単位領域に割り振る。例えば図８は、単位領域番号が３−２で特定される単位領域の特徴量を示している。ここで単位領域番号が「３−２」で表されるのは、この単位領域が部分領域６１に含まれる単位領域のうち、左から３番目、上から２番目の単位領域であることを示す。

【0051】

図８に示すように、特徴量生成部５３３が生成するベクトルは、単位領域における被写体に関する認識指標値を並べたベクトルである。したがって、特徴量生成部５３３が生成するベクトルは、物体認識部５３１が認識可能な被写体の種類の数と同じ次元数のベクトルである。限定はしないが、物体認識部５３１が認識可能な被写体の種類は例えば１００種類程度である。またベクトルを構成する要素は被写体の蓋然性を示す割合であるため、０以上１以下の数値である。

【0052】

特徴量生成部５３３は、ベクトル生成部５３２が生成したベクトルと、単位領域番号、すなわち部分領域６１における単位領域の位置を示す情報とを対応付けた情報を、写真の構図を表現する特徴量として生成する。

【0053】

なお、構図データベース３には、手本となる写真画像について、特徴量生成部５３３が生成する特徴量と同様の特徴量が格納されている。サーバ２は、特徴量生成部５３３が生成した特徴量と、構図データベース３に格納されている特徴量とを比較することにより、類似度を算出する。

【0054】

具体的には、サーバ２は、特徴量生成部５３３が生成する特徴量と構図データベース３に格納されている特徴量とについて、それぞれ対応するベクトルの類似度を算出する。サーバ２は、特徴量に含まれるすべてのベクトルの類似度の総和を、特徴量の類似度指標値とすればよい。なお、サーバ２は、ベクトル間の類似度の計算として、一般的な類似画像検索技術で用いられる既知の類似度算出手法（例えばコサイン類似度やベクトルの内積等）を用いればよい。

【0055】

再び図２の説明に戻る。通知部５６は、複数種類の認識対象それぞれについて物体認識部５３１が算出した認識指標値のうち、所定の閾値を超える認識指標値に対応する認識対象が一種類以下の場合、そのことを通知する。ここで「所定の閾値」とは、物体認識部５３１の認識結果が信頼し得るか否かを決定するために通知部５６が参照する「信頼性判定閾値」である。この閾値の具体的な値は物体認識部５３１の認識性能等を考慮して実験により定めればよいが、例えば５０である。

【0056】

物体認識部５３１が算出した認識指標値のうち信頼性判定閾値を超える認識対象が一種類である場合、その部分領域６１には一種類の被写体のみが撮像されていると考えられる。この場合、そのような部分領域６１は「構図」を判断することのメリットが低いため、通知部５６はそのことを通知する。また、物体認識部５３１が算出した認識指標値のうち信頼性判定閾値を超える認識対象が存在しない場合も、そのような部分領域６１について「構図」を判断することのメリットが低い。したがって、通知部５６はそのことを通知する。

【0057】

なお、通知部５６は、例えば構図を特定するメリットが少ないことを示すメッセージを表示部４０に表示させて通知してもよい。これに替えて、あるいはこれに加えて、通知部５６は、音声で通知したり、画像処理装置１のバイブレーション機能を作動させて通知したりしてもよい。

【0058】

ここで、サーバ２において特徴量生成部５３３が生成する特徴量と構図データベース３に格納されている特徴量との類似度を算出する際に、それぞれ対応するベクトルの決定が容易である方が好ましい。そこで部分領域設定部５２は、部分領域６１のアスペクト比が、構図データベース３に格納されているいずれかの特徴量に対応する写真画像のアスペクト比と同一となるように、部分領域６１を設定してもよい。

【0059】

これにより、画像処理装置１は部分領域６１に拡大処理又は縮小処理を施すことにより、構図データベース３に格納されている特徴量と対応する写真画像のサイズ及び形状に部分領域６１のサイズ及び形状を合わせることができる。結果として、特徴量生成部５３３が生成する特徴量と構図データベース３に格納されている特徴量との類似度を算出する際に、サーバ２はそれぞれ対応するベクトルの決定が容易となる。

【0060】

＜画像処理装置１が実行する画像処理の処理フロー＞
図９は、実施の形態に係る画像処理装置１が実行する画像処理の流れを説明するためのフローチャートである。本フローチャートにおける処理は、例えば画像処理装置１の電源が投入されたときに開始する。

【0061】

画像取得部５１は、処理対象とする写真画像である処理対象画像６０を取得する（Ｓ２）。部分領域設定部５２は処理対象画像６０に複数の部分領域６１を設定する（Ｓ４）。物体認識部５３１は、あらかじめ定められた複数種類の認識対象それぞれについて、処理対象画像６０に設定された単位領域毎に、その単位領域に撮像されている被写体が認識対象である蓋然性を示す認識指標値を算出する物体認識を実行する（Ｓ６）。

【0062】

特徴量取得部５３は、算出した認識指標値に基づいて、各部分領域における写真の構図を表現する特徴量を生成する（Ｓ８）。類似度取得部５４は、各部分領域における特徴量と、構図データベース３に格納されている特徴量との類似度を取得する（Ｓ１０）。表示制御部５５は、類似度が高い特徴に対応する部分領域６１を、表示部４０に表示する（Ｓ１２）。

【0063】

表示制御部５５が部分領域６１を表示部４０に表示すると、本フローチャートにおける処理は終了する。画像処理装置１は上記の処理を繰り返すことにより、構図の手本となる写真画像の特徴量との類似度との類似度が高い特徴に対応する部分領域６１を表示部４０に表示する処理を継続する。

【0064】

以上説明したように、実施の形態に係る画像処理装置１によれば、よい構図となる写真を撮影することを補助する技術におけるユーザビリティを向上させることができる。特に、構図データベース３にあらかじめ用意した大量の写真画像を教師データとして、ユーザＵが撮像した新たな写真画像の中から部分画像として適切な構図を切り出すことができる。

【0065】

画像処理装置１は、構図データベース３にあらかじめ格納された大量の写真画像と同じアスペクト比の部分領域を設定することにより、部分画像と構図データベース３にあらかじめ格納された大量の写真画像との比較を容易とすることができる。また、画像処理装置１はユーザＵが撮像した写真画像のうち、よい構図と判断された部分領域を他の領域とは変えて表示することにより、ユーザＵは一見してよい構図となる部分を把握することができる。

【0066】

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。特に、装置の分散・統合の具体的な実施形態は以上に図示するものに限られず、その全部又は一部について、種々の付加等に応じて、又は、機能負荷に応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。以下そのような変形例について説明する。

【0067】

＜変形例＞
上記では図１を参照して、ネットワークＮを介して画像処理装置１とサーバ２とが接続している様子を説明したが、これは現実のシステム構成を模式的に図示するものである。しかしながら、画像処理装置１を利用するユーザＵは、ネットワークＮを含め、サーバ２や構図データベース３等のシステム構成を認識することはあまりない。情報処理システムＳを利用するユーザＵの立場から見ると、サービスの提供を受ける上で情報処理システムＳの物理構成やソフトウェア構成等を理解する必要はなく、あたかもネットワークの雲（Ｃｌｏｕｄ；クラウド）の中から出てきたサービスを利用するかのような印象を受ける。

【0068】

画像処理装置１は、ほとんどの場合ＣＰＵやＧＰＵ等の計算リソースを持っており、アプリケーションの少なくとも一部を画像処理装置１のローカルな環境で実行することも可能である。しかしながら、画像処理装置１を利用するユーザＵにとっては、アプリケーションがローカルな計算リソースで実行されるか、あるいはネットワークＮを介してサーバ２の計算リソースで実行されるかは重要な問題ではなく、サービスを利用できるという点では同じである。したがって、以下本明細書において、「クラウドコンピューティングシステムの計算リソース」あるいは単に「計算リソース」という場合、画像処理装置１の計算リソースとサーバ２の計算リソースの少なくともいずれか一方を意味することとする。

【0069】

図１０は、変形例に係る情報処理システムＳの機能構成を模式的に示す図である。変形例に係る情報処理システムＳは、構図データベース３、撮像部３０、表示部４０、画像取得部５１、部分領域設定部５２、特徴量取得部５３、類似度取得部５４、表示制御部５５、及び通知部５６を含む。ここで、同一符号で示す部材は、実施の形態に係る情報処理システムＳにおいて対応する部材と同様であるため説明を省略する。

【0070】

変形例に係る情報処理システムＳにおいて、画像処理装置１は撮像部３０と表示部４０とを少なくとも備える。画像処理装置１はユーザＵが所持する機器であるため、ユーザＵが写真撮影をするために撮像部３０は画像処理装置１に備えられている。また、ユーザＵが写真画像をはじめとする画像処理装置１が生成する情報を確認するために、表示部４０は画像処理装置１に備えられている。

【0071】

また、構図データベース３は、構図の手本となる複数の写真画像から抽出された特徴量を格納している。構図データベース３は、例えばサーバ２の運用者が維持管理することができれば最新の情報を保つことができる。この構図データベース３を複数の異なる画像処理装置１からアクセスできるようにするために、構図データベース３はオンラインにあることが好ましい。また構図データベース３のデータ量が大きい場合も、各ユーザＵが所持する画像処理装置１が構図データベース３を個別に保持するよりも、ネットワーク上に置かれた方が好ましい。そこで、変形例に係る情報処理システムＳにおいては、構図データベース３はサーバ２に含まれている。

【0072】

これに対し、画像取得部５１、部分領域設定部５２、特徴量取得部５３、類似度取得部５４、表示制御部５５、及び通知部５６の各機能は、画像処理装置１の計算リソースを用いて実現されてもよいし、サーバ２の計算リソースを用いて実現されてもよい。すなわち、画像取得部５１、部分領域設定部５２、特徴量取得部５３、類似度取得部５４、表示制御部５５、及び通知部５６は、画像処理装置１とサーバ２との少なくともいずれか一方が備えていればよい。

【0073】

画像処理装置１とサーバ２とのいずれが画像取得部５１、部分領域設定部５２、特徴量取得部５３、類似度取得部５４、表示制御部５５、及び通知部５６を備えるかは、画像処理装置１及びサーバ２の計算リソースの大きさや、ネットワークＮの通信速度、物体認識部５３１が認識対象とする被写体の種類の数等を考慮して、実験により決めてもよいし、動的に変更されてもよい。すなわち、画像取得部５１、部分領域設定部５２、特徴量取得部５３、類似度取得部５４、表示制御部５５、及び通知部５６は、クラウドコンピューティングシステムの計算システムが実行すればよく、すべてが画像処理装置１又はサーバ２のいずれか一方で実行されてもよい。

【符号の説明】

【0074】

１・・・画像処理装置
２・・・サーバ
３・・・構図データベース
１０・・・通信部
２０・・・記憶部
３０・・・撮像部
４０・・・表示部
５０・・・制御部
５１・・・画像取得部
５２・・・部分領域設定部
５３・・・特徴量取得部
５４・・・類似度取得部
５５・・・表示制御部
５６・・・通知部
５３１・・・物体認識部
５３２・・・ベクトル生成部
５３３・・・特徴量生成部
５５１・・・類似部分領域設定部
５５２・・・表示用画像生成部
５５３・・・画像出力部
５５４・・・画像保存部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】