特許 7128347 画像処理装置、画像処理方法及びプログラム、撮影装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-08-22

(45)【発行日】2022-08-30

(54)【発明の名称】画像処理装置、画像処理方法及びプログラム、撮影装置

(51)【国際特許分類】

   H04N 5/232 20060101AFI20220823BHJP

   G03B 17/18 20210101ALI20220823BHJP

【ＦＩ】

H04N5/232 930

H04N5/232 220

G03B17/18 Z

【請求項の数】 15

(21)【出願番号】P 2021509378

(86)(22)【出願日】2020-03-23

(86)【国際出願番号】 JP2020012668

(87)【国際公開番号】W WO2020196384

(87)【国際公開日】2020-10-01

【審査請求日】2021-10-20

(31)【優先権主張番号】P 2019056587

(32)【優先日】2019-03-25

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】306037311

【氏名又は名称】富士フイルム株式会社

(74)【代理人】

【識別番号】100083116

【弁理士】

【氏名又は名称】松浦 憲三

(74)【代理人】

【識別番号】100170069

【弁理士】

【氏名又は名称】大原 一樹

(74)【代理人】

【識別番号】100128635

【弁理士】

【氏名又は名称】松村 潔

(74)【代理人】

【識別番号】100140992

【弁理士】

【氏名又は名称】松浦 憲政

(72)【発明者】

【氏名】板垣 和幸

(72)【発明者】

【氏名】狩野 喬俊

【審査官】大濱 宏之

(56)【参考文献】

【文献】特開２０１０－１０３６５１（ＪＰ，Ａ）

【文献】特開２００７－２６６７９３（ＪＰ，Ａ）

【文献】特開２００９－８９０７７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／２３２

Ｇ０３Ｂ １７／１８

(57)【特許請求の範囲】

【請求項1】

撮影部によって撮影された時系列の画像群を取得する画像取得部と、
前記画像群のうちの少なくとも１つの画像から文字又は文字列を選択する文字選択部と、
前記画像群から前記文字又は文字列を配置する対象画像を選択する画像選択部と、
前記文字又は文字列の意味に応じて前記対象画像の画像内における前記文字又は文字列のレイアウトを決定するレイアウト決定部と、
前記撮影部による撮影の際の構図決めをアシストする撮影アシスト情報を生成するアシスト情報生成部と、
前記決定したレイアウトに基づいて前記対象画像に前記撮影アシスト情報を合成する合成部と、
前記合成した画像を表示部に表示させる表示制御部と、
を備える画像処理装置。

【請求項2】

前記画像選択部は、前記画像群を対象画像として選択し、
前記表示制御部は、前記撮影アシスト情報が合成された前記画像群の各画像をライブビュー画像として順次表示させる請求項１に記載の画像処理装置。

【請求項3】

前記画像選択部は、前記画像群のうちの１つの画像を対象画像として選択し、
前記表示制御部は、前記画像群の各画像をライブビュー画像として順次表示させ、さらに前記撮影アシスト情報が合成された対象画像を表示させる請求項１に記載の画像処理装置。

【請求項4】

前記撮影アシスト情報は、前記選択された文字又は文字列を含む請求項１から３のいずれか１項に記載の画像処理装置。

【請求項5】

前記撮影アシスト情報は、前記文字又は文字列の配置位置を示す領域表示を含む請求項１から４のいずれか１項に記載の画像処理装置。

【請求項6】

前記レイアウト決定部は、文字又は文字列毎に画像内で配置すべき位置が特定されたテーブルを備える請求項１から５のいずれか１項に記載の画像処理装置。

【請求項7】

前記画像群のうちの少なくとも１つの画像に含まれるオブジェクトを認識する認識部を備え、
前記文字選択部は、前記認識したオブジェクトに応じた前記文字又は文字列を選択する請求項１から６のいずれか１項に記載の画像処理装置。

【請求項8】

前記画像群のうちの少なくとも１つの画像に含まれるオブジェクト毎のスコアを算出するスコア算出部を備え、
前記認識部は、前記スコアからオブジェクトを認識する請求項７に記載の画像処理装置。

【請求項9】

オブジェクト毎に文字又は文字列の複数の候補を記憶する記憶部を備え、
前記文字選択部は、前記認識したオブジェクトに対応する前記複数の候補から前記文字又は文字列を選択する請求項７又は８に記載の画像処理装置。

【請求項10】

前記文字選択部は、１文字の漢字を選択する請求項１から９のいずれか１項に記載の画像処理装置。

【請求項11】

前記時系列の画像群は、一定時間内に撮影された画像群である、請求項１から１０のいずれか１項に記載の画像処理装置。

【請求項12】

請求項１から１１のいずれか１項に記載の画像処理装置と、
時系列の画像群を撮影する撮影部と、
画像を表示する表示部と、
を備える撮影装置。

【請求項13】

撮影部によって撮影された時系列の画像群を取得する画像取得工程と、
前記画像群のうちの少なくとも１つの画像から文字又は文字列を選択する文字選択工程と、
前記画像群から前記文字又は文字列を配置する対象画像を選択する画像選択工程と、
前記文字又は文字列の意味に応じて前記対象画像の画像内における前記文字又は文字列のレイアウトを決定するレイアウト決定工程と、
前記撮影部による撮影の際の構図決めをアシストする撮影アシスト情報を生成するアシスト情報生成工程と、
前記決定したレイアウトに基づいて前記対象画像に前記撮影アシスト情報を合成する合成工程と、
前記合成した画像を表示部に表示させる表示制御工程と、
を備える画像処理方法。

【請求項14】

請求項１３に記載の画像処理方法をコンピュータに実行させるためのプログラム。

【請求項15】

請求項１４に記載のプログラムが記録された非一時的かつコンピュータ読取可能な記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は画像処理装置、画像処理方法及びプログラム、撮影装置に係り、特に画像に文字又は文字列を合成する技術に関する。

【背景技術】

【0002】

画像の撮影シーンや被写体に整合する文字等を画像に合成して、ユーザの感性に合った創造的なデザインの画像を得ることが要望されている。

【0003】

特許文献１には、画像データを見た際に人間が生じる感性に対して良好な整合性を有するテキストを画像データから生成し、画像データとテキストとを合成した新たな画像データを生成する装置が開示されている。例えば、対象となる画像データが人物写真であると判断されると、被写体像である人物の笑顔レベルに応じたテキストが生成される。特許文献１に記載の画像データは画像に相当し、テキストは、文字又は文字列に相当する。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１４－１６５６６６号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１に記載の装置は、メモリカード等に記憶されている画像に対して文字又は文字列を合成している。しかしながら、一般的な写真撮影では、関心のある被写体を画角の中央に配置して撮影する場合が多い。このように被写体が中央に配置されて撮影された画像に文字又は文字列を合成しようとすると、レイアウト的なバランスの制約を受けてしまい、文字又は文字列を合成する領域がなかったり、あるいは構図的に満足する文字又は文字列の合成に至らなかったりする場合がある。

【0006】

また、特許文献１に記載の装置では、画像に合成する文字又は文字列の配置位置について考慮されていない。このため、文字又は文字列が適切な位置に配置されない場合がある。例えば、人物写真の人物の笑顔レベルに応じたテキストの配置位置が、人物とは離れた位置や人物の目の位置に配置されると、ユーザにとって好ましい画像とはならない。

【0007】

本発明はこのような事情に鑑みてなされたもので、文字又は文字列を適切な位置にレイアウトした画像の撮影をアシストする画像処理装置、画像処理方法及びプログラム、撮影装置を提供することを目的とする。

【課題を解決するための手段】

【0008】

上記目的を達成するための画像処理装置の一の態様は、撮影部によって撮影された時系列の画像群を取得する画像取得部と、画像群のうちの少なくとも１つの画像から文字又は文字列を選択する文字選択部と、画像群から文字又は文字列を配置する対象画像を選択する画像選択部と、文字又は文字列の意味に応じて対象画像の画像内における文字又は文字列のレイアウトを決定するレイアウト決定部と、撮影部による撮影の際の構図決めをアシストする撮影アシスト情報を生成するアシスト情報生成部と、決定したレイアウトに基づいて対象画像に撮影アシスト情報を合成する合成部と、合成した画像を表示部に表示させる表示制御部と、を備える画像処理装置である。

【0009】

本態様によれば、文字又は文字列の意味に応じて対象画像の画像内における文字又は文字列のレイアウトを決定し、撮影部による撮影の際の構図決めをアシストする撮影アシスト情報を生成し、決定したレイアウトに基づいて対象画像に撮影アシスト情報を合成し、合成した画像を表示部に表示させるようにしたので、文字又は文字列を適切な位置にレイアウトした画像の撮影をアシストすることができる。

【0010】

画像選択部は、画像群を対象画像として選択し、表示制御部は、撮影アシスト情報が合成された画像群の各画像をライブビュー画像として順次表示させることが好ましい。これにより、文字又は文字列が合成されたライブビュー画像によって撮影をアシストすることができる。

【0011】

画像選択部は、画像群のうちの１つの画像を対象画像として選択し、表示制御部は、画像群の各画像をライブビュー画像として順次表示させ、さらに撮影アシスト情報が合成された対象画像を表示させることが好ましい。これにより、ライブビュー画像と共に表示される画像によって撮影をアシストすることができる。

【0012】

撮影アシスト情報は、選択された文字又は文字列を含むことが好ましい。これにより、撮影を適切にアシストすることができる。

【0013】

撮影アシスト情報は、文字又は文字列の配置位置を示す領域表示を含むことが好ましい。これにより、撮影を適切にアシストすることができる。

【0014】

レイアウト決定部は、文字又は文字列毎に画像内で配置すべき位置が特定されたテーブルを備えることが好ましい。これにより、レイアウトを適切に決定することができる。

【0015】

画像群のうちの少なくとも１つの画像に含まれるオブジェクトを認識する認識部を備え、文字選択部は、認識したオブジェクトに応じた文字又は文字列を選択することが好ましい。これにより、画像に含まれるオブジェクトに応じた文字又は文字列を合成することができる。

【0016】

画像群のうちの少なくとも１つの画像に含まれるオブジェクト毎のスコアを算出するスコア算出部を備え、認識部は、スコアからオブジェクトを認識することが好ましい。これにより、オブジェクトを適切に認識することができる。

【0017】

オブジェクト毎に文字又は文字列の複数の候補を記憶する記憶部を備え、文字選択部は、認識したオブジェクトに対応する複数の候補から文字又は文字列を選択することが好ましい。これにより、文字又は文字列を適切に選択することができる。

【0018】

文字選択部は、１文字の漢字を選択することが好ましい。これにより、１文字の漢字を画像に合成することができる。

【0019】

時系列の画像群は、一定時間内に撮影された画像群であってもよい。

【0020】

上記目的を達成するための撮影装置の一の態様は、上記に記載の画像処理装置と、時系列の画像群を撮影する撮影部と、画像を表示する表示部と、を備える撮影装置である。

【0021】

本態様によれば、文字又は文字列の意味に応じて対象画像の画像内における文字又は文字列のレイアウトを決定し、撮影部による撮影の際の構図決めをアシストする撮影アシスト情報を生成し、決定したレイアウトに基づいて対象画像に撮影アシスト情報を合成し、合成した画像を表示部に表示させるようにしたので、文字又は文字列を適切な位置にレイアウトした画像の撮影をアシストすることができる。

【0022】

上記目的を達成するための画像処理方法の一の態様は、撮影部によって撮影された時系列の画像群を取得する画像取得工程と、画像群のうちの少なくとも１つの画像から文字又は文字列を選択する文字選択工程と、画像群から文字又は文字列を配置する対象画像を選択する画像選択工程と、文字又は文字列の意味に応じて対象画像の画像内における文字又は文字列のレイアウトを決定するレイアウト決定工程と、撮影部による撮影の際の構図決めをアシストする撮影アシスト情報を生成するアシスト情報生成工程と、決定したレイアウトに基づいて対象画像に撮影アシスト情報を合成する合成工程と、合成した画像を表示部に表示させる表示制御工程と、を備える画像処理方法である。

【0023】

本態様によれば、文字又は文字列の意味に応じて対象画像の画像内における文字又は文字列のレイアウトを決定し、撮影部による撮影の際の構図決めをアシストする撮影アシスト情報を生成し、決定したレイアウトに基づいて対象画像に撮影アシスト情報を合成し、合成した画像を表示部に表示させるようにしたので、文字又は文字列を適切な位置にレイアウトした画像の撮影をアシストすることができる。上記の画像処理方法をコンピュータに実行させるためのプログラムも本態様に含まれる。

【発明の効果】

【0024】

本発明によれば、文字又は文字列を適切な位置にレイアウトした画像の撮影をアシストすることができる。

【図面の簡単な説明】

【0025】

【図1】図１は、スマートフォン１０の正面斜視図である。

【図2】図２は、スマートフォン１０の背面斜視図である。

【図3】図３は、スマートフォン１０の電気的構成を示すブロック図である。

【図4】図４は、カメラ２０の内部構成を示すブロック図である。

【図5】図５は、画像処理装置１００の機能構成の一例を示すブロック図である。

【図6】図６は、画像処理方法の各処理を示すフローチャートである。

【図7】図７は、スコア算出部１０６によるスコアの算出の一例を説明するための図である。

【図8】図８は、スコア算出部１０６によるスコアの算出の一例を説明するための図である。

【図9】図９は、候補記憶部１１０に記憶された認識ラベルに対応する漢字候補の対応表の一例を示す図である。

【図10】図１０は、合成画像ＧＳ１の一例を示す図である。

【図11】図１１は、合成画像ＧＳ１がタッチパネルディスプレイ１４に表示されたスマートフォン１０の一例を示す図である。

【図12】図１２は、合成画像ＧＳ２がタッチパネルディスプレイ１４に表示されたスマートフォン１０の一例を示す図である。

【図13】図１３は、合成画像ＧＳ３及び合成画像ＧＳ４の一例を示す図である。

【図14】図１４は、デジタルカメラ１３０の正面斜視図である。

【図15】図１５は、デジタルカメラ１３０の背面斜視図である。

【発明を実施するための形態】

【0026】

以下、添付図面に従って本発明の好ましい実施形態について詳説する。

【0027】

＜携帯端末装置＞
本実施形態に係る画像処理装置は、例えば撮影装置に搭載される。撮影装置の一実施形態である携帯端末装置は、例えば携帯電話機、ＰＨＳ（Personal Handyphone System）、スマートフォン、ＰＤＡ（Personal Digital Assistant）、タブレット型コンピュータ端末、ノート型パーソナルコンピュータ端末、及び携帯型ゲーム機である。以下、スマートフォンを例に挙げ、図面を参照しつつ、詳細に説明する。

【0028】

〔スマートフォンの外観〕
図１は、本実施形態に係るスマートフォン１０の正面斜視図である。図１に示すように、スマートフォン１０は、平板状の筐体１２を有する。スマートフォン１０は、筐体１２の正面にタッチパネルディスプレイ１４、スピーカ１６、マイクロフォン１８、及びカメラ２０を備えている。

【0029】

タッチパネルディスプレイ１４は、画像等を表示するカラーＬＣＤ（Liquid Crystal Display）パネル等のディスプレイ部（表示部の一例）、及びディスプレイ部の前面に配置され、タッチ入力を受け付ける透明電極等のタッチパネル部を備える。

【0030】

タッチパネル部は、光透過性を有する基板本体、基板本体の上に面状に設けられ、光透過性を有する位置検出用電極、及び位置検出用電極上に設けられた絶縁層を有する静電容量式タッチパネルである。タッチパネル部は、ユーザのタッチ操作に対応した２次元の位置座標情報を生成して出力する。

【0031】

スピーカ１６は、音声を出力する音声出力部である。マイクロフォン１８は、音声が入力される音声入力部である。カメラ２０は、動画及び静止画を撮影する撮影部である。

【0032】

図２は、スマートフォン１０の背面斜視図である。図２に示すように、スマートフォン１０は、筐体１２の背面にカメラ２２を備えている。カメラ２２は、動画及び静止画を撮影する撮影部である。

【0033】

さらに、図１及び図２に示すように、スマートフォン１０は、筐体１２の正面及び側面に、それぞれスイッチ２６を備えている。スイッチ２６は、ユーザからの指示を受け付ける入力部である。スイッチ２６は、指等で押下されるとオンとなり、指を離すとバネ等の復元力によってオフ状態となる押しボタン式のスイッチである。

【0034】

なお、筐体１２の構成はこれに限定されず、折り畳み構造又はスライド機構を有する構成を採用してもよい。

【0035】

〔スマートフォンの電気的構成〕
図３は、スマートフォン１０の電気的構成を示すブロック図である。図３に示すように、スマートフォン１０は、前述のタッチパネルディスプレイ１４、スピーカ１６、マイクロフォン１８、カメラ２０、カメラ２２、及びスイッチ２６の他、ＣＰＵ（Central Processing Unit）２８、無線通信部３０、通話部３２、記憶部３４、外部入出力部４０、ＧＰＳ（Global Positioning System）受信部４２、及び電源部４４を備える。また、スマートフォン１０の主たる機能として、基地局装置と移動通信網とを介した移動無線通信を行う無線通信機能を備える。

【0036】

ＣＰＵ２８は、記憶部３４が記憶する制御プログラム及び制御データに従って動作し、スマートフォン１０の各部を統括して制御する。ＣＰＵ２８は、無線通信部３０を通じて音声通信及びデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。

【0037】

また、ＣＰＵ２８は、動画、静止画、及び文字等をタッチパネルディスプレイ１４に表示する画像処理機能を備える。この画像処理機能により、静止画、動画、及び文字等の情報が視覚的にユーザに伝達される。また、ＣＰＵ２８は、タッチパネルディスプレイ１４のタッチパネル部からユーザのタッチ操作に対応した２次元の位置座標情報を取得する。さらに、ＣＰＵ２８は、スイッチ２６からの入力信号を取得する。

【0038】

ＣＰＵ２８のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の機能部として作用する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、画像処理に特化したプロセッサであるＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるＰＬＤ（Programmable Logic Device）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。

【0039】

１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種又は異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、又はＣＰＵとＦＰＧＡの組み合わせ、あるいはＣＰＵとＧＰＵの組み合わせ）で構成されてもよい。また、複数の機能部を１つのプロセッサで構成してもよい。複数の機能部を１つのプロセッサで構成する例としては、第１に、クライアント又はサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の機能部として作用させる形態がある。第２に、ＳｏＣ（System On Chip）等に代表されるように、複数の機能部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の機能部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。

【0040】

さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（circuitry）である。

【0041】

カメラ２０及びカメラ２２は、ＣＰＵ２８の指示に従って、動画及び静止画を撮影する。図４は、カメラ２０の内部構成を示すブロック図である。なお、カメラ２２の内部構成は、カメラ２０と共通している。図４に示すように、カメラ２０は、撮影レンズ５０、絞り５２、撮像素子５４、ＡＦＥ（Analog Front End）５６、Ａ／Ｄ（Analog to Digital）変換器５８、及びレンズ駆動部６０を備える。

【0042】

撮影レンズ５０は、ズームレンズ５０Ｚ及びフォーカスレンズ５０Ｆから構成される。レンズ駆動部６０は、ＣＰＵ２８からの指令に応じて、ズームレンズ５０Ｚ及びフォーカスレンズ５０Ｆを進退駆動してズーム（光学ズーム）調整及びフォーカス調整を行う。また、レンズ駆動部６０は、ＣＰＵ２８からの指令に応じて絞り５２を制御し、露出を調整する。ズームレンズ５０Ｚ及びフォーカスレンズ５０Ｆの位置、絞り５２の開放度等の情報は、ＣＰＵ２８に入力される。

【0043】

撮像素子５４は、多数の受光素子がマトリクス状に配列された受光面を備える。ズームレンズ５０Ｚ、フォーカスレンズ５０Ｆ、及び絞り５２を透過した被写体光は、撮像素子５４の受光面上に結像される。撮像素子５４の受光面上には、Ｒ（赤）、Ｇ（緑）、又はＢ（青）のカラーフィルタが設けられている。撮像素子５４の各受光素子は、受光面上に結像された被写体光をＲ、Ｇ、及びＢの各色の信号に基づいて電気信号に変換する。これにより、撮像素子５４は被写体のカラー画像を取得する。撮像素子５４としては、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）、ＣＣＤ（Charge-Coupled Device）等の光電変換素子を用いることができる。

【0044】

ＡＦＥ５６は、撮像素子５４から出力されるアナログ画像信号のノイズ除去、及び増幅等を行う。Ａ／Ｄ変換器５８は、ＡＦＥ５６から入力されるアナログ画像信号を階調幅があるデジタル画像信号に変換する。なお、撮像素子５４への入射光の露光時間を制御するシャッターは、電子シャッターが用いられる。電子シャッターの場合、ＣＰＵ２８によって撮像素子５４の電荷蓄積期間を制御することで、露光時間（シャッタースピード）を調節することができる。

【0045】

カメラ２０は、撮影した動画及び静止画の画像データをＭＰＥＧ（Moving Picture Experts Group）又はＪＰＥＧ（Joint Photographic Experts Group）等の圧縮した画像データに変換してもよい。

【0046】

図３の説明に戻り、ＣＰＵ２８は、カメラ２０及びカメラ２２が撮影した動画及び静止画を記憶部３４に記憶させる。また、ＣＰＵ２８は、カメラ２０及びカメラ２２が撮影した動画及び静止画を無線通信部３０又は外部入出力部４０を通じてスマートフォン１０の外部に出力してもよい。

【0047】

さらに、ＣＰＵ２８は、カメラ２０及びカメラ２２が撮影した動画及び静止画をタッチパネルディスプレイ１４に表示する。ＣＰＵ２８は、カメラ２０及びカメラ２２が撮影した動画及び静止画をアプリケーションソフトウェア内で利用してもよい。

【0048】

無線通信部３０は、ＣＰＵ２８の指示に従って、移動通信網に収容された基地局装置に対し無線通信を行う。スマートフォン１０は、この無線通信を使用して、音声データ及び画像データ等の各種ファイルデータ、電子メールデータ等の送受信、Ｗｅｂ（World Wide Webの略称）データ及びストリーミングデータ等の受信を行う。

【0049】

通話部３２は、スピーカ１６及びマイクロフォン１８が接続される。通話部３２は、無線通信部３０により受信された音声データを復号してスピーカ１６から出力する。通話部３２は、マイクロフォン１８を通じて入力されたユーザの音声をＣＰＵ２８が処理可能な音声データに変換してＣＰＵ２８に出力する。

【0050】

記憶部３４は、スマートフォン１０に内蔵される内部記憶部３６、及びスマートフォン１０に着脱自在な外部記憶部３８により構成される。内部記憶部３６及び外部記憶部３８は、公知の格納媒体を用いて実現される。

【0051】

記憶部３４は、ＣＰＵ２８の制御プログラム、制御データ、アプリケーションソフトウェア、通信相手の名称及び電話番号等が対応付けられたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータ、及びダウンロードしたコンテンツデータ等を記憶する。また、記憶部３４は、ストリーミングデータ等を一時的に記憶してもよい。

【0052】

外部入出力部４０は、スマートフォン１０に連結される外部機器とのインターフェースの役割を果たす。スマートフォン１０は、外部入出力部４０を介して通信等により直接的又は間接的に他の外部機器に接続される。外部入出力部４０は、外部機器から受信したデータをスマートフォン１０の内部の各構成要素に伝達し、かつスマートフォン１０の内部のデータを外部機器に送信する。

【0053】

通信等の手段は、例えばユニバーサルシリアルバス（ＵＳＢ：Universal Serial Bus）、ＩＥＥＥ（Institute of Electrical and Electronics Engineers）１３９４、インターネット、無線ＬＡＮ（Local Area Network）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＲＦＩＤ（Radio Frequency Identification）、及び赤外線通信である。また、外部機器は、例えばヘッドセット、外部充電器、データポート、オーディオ機器、ビデオ機器、スマートフォン、ＰＤＡ、パーソナルコンピュータ、及びイヤホンである。

【0054】

ＧＰＳ受信部４２は、ＧＰＳ衛星ＳＴ１，ＳＴ２，…，ＳＴｎからの測位情報に基づいて、スマートフォン１０の位置を検出する。

【0055】

電源部４４は、不図示の電源回路を介してスマートフォン１０の各部に電力を供給する電力供給源である。電源部４４は、リチウムイオン二次電池を含む。電源部４４は、外部のＡＣ電源からＤＣ電圧を生成するＡ／Ｄ変換部を含んでもよい。

【0056】

このように構成されたスマートフォン１０は、タッチパネルディスプレイ１４等を用いたユーザからの指示入力により撮影モードに設定され、カメラ２０及びカメラ２２によって動画及び静止画を撮影することができる。

【0057】

スマートフォン１０が撮影モードに設定されると、撮影スタンバイ状態となり、カメラ２０又はカメラ２２によって動画が撮影され、撮影された動画がライブビュー画像としてタッチパネルディスプレイ１４に表示される。

【0058】

ユーザは、タッチパネルディスプレイ１４に表示されるライブビュー画像を視認して、構図を決定したり、撮影したい被写体を確認したり、撮影条件を設定したりすることができる。

【0059】

スマートフォン１０は、撮影スタンバイ状態においてタッチパネルディスプレイ１４等を用いたユーザからの指示入力により撮影が指示されると、ＡＦ（Autofocus）及びＡＥ（Auto Exposure)制御を行い、動画又は静止画の撮影及び記憶を行う。

【0060】

＜画像処理装置＞
本実施形態に係る画像処理装置は、文字又は文字列を適切な位置にレイアウトした画像の撮影をアシストする。図５は、画像処理装置１００の機能構成の一例を示すブロック図である。画像処理装置１００は、画像取得部１０２、認識部１０４、文字選択部１０８、画像選択部１１２、レイアウト決定部１１４、合成部１１８、表示制御部１２０、記憶制御部１２２、及びアシスト情報生成部１２４を備える。画像処理装置１００は、スマートフォン１０に搭載される。画像処理装置１００は、例えばＣＰＵ２８によって実現される。

【0061】

画像取得部１０２は、時系列の画像群を取得する。例えば、画像取得部１０２は、カメラ２０から出力される一定のフレームレートで撮影された画像群（動画）を取得する。画像取得部１０２は、記憶部３４に記憶された画像群を読み出すことで、時系列の画像群を取得してもよいし、無線通信部３０又は外部入出力部４０を介して時系列の画像群を取得してもよい。

【0062】

認識部１０４は、画像取得部１０２が取得した画像群に含まれるオブジェクトを認識する。オブジェクトの例としては、生物（人、魚、犬等）、飲食物（鮨、肉、麺等）、建造物（塔、寺、ビル等）、自然（空、山、木等）があるが、これらに限定されず、スマートフォン１０で撮影可能なオブジェクトであれば何でもよい。

【0063】

認識部１０４は、スコア算出部１０６を備えている。スコア算出部１０６は、画像群に含まれるオブジェクト毎のスコアを算出する。スコア算出部１０６は、画像群の各画像の特徴量を算出し、画像内のオブジェクトの認識処理を行う畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）を含む。ＣＮＮは、オブジェクト毎にオブジェクトが含まれる確率が高いほど相対的に高い値となるスコアを算出する。認識部１０４は、スコア算出部１０６が算出したスコアが最も高いオブジェクトを、画像群に含まれるオブジェクトとして認識する。

【0064】

なお、認識部１０４は、画像群の各画像のオブジェクトの輪郭情報及び色情報等の特徴量を算出し、算出された特徴量を用いて画像内のオブジェクトを認識してもよい。また、オブジェクト毎に予め優先順位を付与しておき、認識部１０４は、認識された複数のオブジェクトのうち最も優先順位の高いオブジェクトを画像群に含まれるオブジェクトとして認識してもよい。

【0065】

文字選択部１０８は、画像取得部１０２が取得した画像群のうち少なくとも１つの画像から文字又は文字列を選択する。文字選択部１０８は、認識部１０４が認識したオブジェクトに対応する漢字を含む文字又は文字列を選択してもよい。漢字とは、日本語、中国語、及び朝鮮語の記述に使用される表語文字である。

【0066】

文字選択部１０８は、候補記憶部１１０を備える。候補記憶部１１０は、オブジェクト毎にオブジェクトに対応する文字又は文字列の複数の候補が記憶されている。文字選択部１０８は、候補記憶部１１０に記憶された候補のうち、認識部１０４が認識したオブジェクトに対応する複数の候補から１つの文字又は文字列を選択する。なお、候補記憶部１１０は、記憶部３４（図３参照）が備えていてもよい。

【0067】

なお、文字選択部１０８として、入力された画像又は画像群の各画像の特徴量を算出し、入力された画像又は画像群を象徴する文字又は文字列の選択処理を行うＣＮＮを用いてもよい。

【0068】

画像選択部１１２は、画像取得部１０２が取得した画像群から文字又は文字列を配置する対象画像を選択する。画像選択部１１２は、認識部１０４が認識したオブジェクトのスコアが相対的に高い画像を対象画像として選択してもよい。

【0069】

レイアウト決定部１１４は、画像選択部１１２が選択した対象画像の画像内における文字又は文字列のレイアウトを決定する。レイアウト決定部１１４は、文字又は文字列の意味に応じてレイアウトを決定する。意味に応じたレイアウトとは、例えば画像内のオブジェクトを象徴する文字又は文字列であれば、そのオブジェクトの近傍の位置、又はそのオブジェクトに重畳する位置に配置するレイアウトである。

【0070】

レイアウト決定部１１４は、テーブル記憶部１１６を備える。テーブル記憶部１１６には、文字又は文字列毎に画像内で配置すべき位置が特定されたテーブルが記憶されている。即ち、テーブル記憶部１１６に記憶されたテーブルには、文字又は文字列毎に、文字又は文字列の意味に応じた配置位置が対応付けられている。レイアウト決定部１１４は、テーブル記憶部１１６から、文字選択部１０８が選択した文字又は文字列に対応する配置位置をテーブル記憶部１１６から読み出し、対象画像における読み出した配置位置に文字又は文字列を配置するレイアウトに決定する。なお、テーブル記憶部１１６は、記憶部３４（図３参照）が備えていてもよい。

【0071】

合成部１１８は、レイアウト決定部１１４が決定したレイアウトに基づいて対象画像に文字又は文字列を合成した合成画像を生成する。

【0072】

表示制御部１２０は、合成部１１８が合成した合成画像をタッチパネルディスプレイ１４に表示させる。また、記憶制御部１２２は、合成部１１８が合成した合成画像を記憶部３４に記憶させる。記憶制御部１２２は、合成画像に代えて、又は合成画像と共に、画像選択部１１２が選択した対象画像、文字選択部１０８が選択した文字又は文字列、及びレイアウト決定部１１４が決定したレイアウトの情報を関連付けて記憶部３４に記憶させてもよい。

【0073】

アシスト情報生成部１２４は、撮影アシスト情報を生成する。撮影アシスト情報は、ユーザが文字又は文字列を合成する画像を撮影する際の構図決めをアシスト（補助）するための情報である。

【0074】

撮影アシスト情報は、例えば、文字選択部１０８によって選択された文字又は文字列を含む情報である。また、撮影アシスト情報は、文字選択部１０８によって選択された文字又は文字列の配置位置を示す領域表示を含む情報であってもよい。

【0075】

合成部１１８は、レイアウト決定部１１４が決定したレイアウトに基づいて、画像選択部１１２が選択した対象画像にアシスト情報生成部１２４が生成したアシスト情報を合成する。表示制御部１２０は、対象画像にアシスト情報が合成された合成画像をタッチパネルディスプレイ１４に表示させる。

【0076】

〔画像処理方法〕
画像処理装置１００を用いた画像処理方法について説明する。スマートフォン１０は、タッチパネルディスプレイ１４等を用いたユーザからの指示入力により、ＣＰＵ２８が記憶部３４に記憶されている画像処理プログラムを読み出し、画像処理プログラムを実行する。これにより、画像処理方法が実施される。本実施形態に係る画像処理方法は、文字又は文字列を適切な位置にレイアウトした画像の撮影をアシストする。

【0077】

図６は、本実施形態に係る画像処理方法の各処理を示すフローチャートである。画像処理方法は、画像取得工程（ステップＳ１）、文字選択工程（ステップＳ２）、画像選択工程（ステップＳ３）、レイアウト決定工程（ステップＳ４）、アシスト情報生成工程（ステップＳ５）、合成工程（ステップＳ６）、撮影アシスト工程（ステップＳ７）、及び静止画撮影工程（ステップＳ８）を含む。

【0078】

ステップＳ１では、画像取得部１０２は、時系列の画像群を取得する。ここでは、ユーザがカメラ２２の撮影スタンバイ状態においてライブビュー画像を撮影しているものとする。したがって、タッチパネルディスプレイ１４には、ユーザが撮影したライブビュー画像が表示されている。画像取得部１０２は、カメラ２２から出力される一定のフレームレートで撮影されたライブビュー画像用の動画を取得する。

【0079】

なお、画像取得部１０２は、時系列の画像群として、ライブビュー画像用の動画を構成する全ての画像からなる画像群を取得するのではなく、最新の一定時間内に撮影された画像群を取得してもよいし、ライブビュー画像のフレームレートよりも粗くサンプリングした画像群を取得してもよい。また、画像取得部１０２は、一定時間内に撮影された画像群を時系列の画像群として取得してもよい。一定時間内に撮影された画像群とは、例えば、画像に付された日付データが一定時間内に含まれる複数の画像からなる画像群や、画像に付された日付データが連続する複数の画像からなる画像群であってもよい。更に、画像取得部１０２は、記憶部３４から読み出した時系列の画像群を取得してもよいし、外部のサーバから無線通信部３０又は外部入出力部４０を介して時系列の画像群を取得してもよい。

【0080】

ステップＳ２では、文字選択部１０８は、ステップＳ１で取得した画像群から文字又は文字列を選択する。ここでは、文字選択部１０８は、認識部１０４が認識したオブジェクトに応じた漢字であって、日本語で使用される１文字の（単一の）漢字を選択する。

【0081】

このために、スコア算出部１０６は、ステップＳ１で取得した画像群に含まれるオブジェクト毎のスコアを算出する。スコア算出部１０６が算出するスコアは、確信度又は信頼度ともいい、オブジェクトが含まれる可能性が高いほど大きい値となる。

【0082】

図７は、スコア算出部１０６によるスコアの算出の一例を説明するための図である。図７に示すＦ７Ａは、ライブビュー画像の撮影のうちのあるタイミングの被写体Ｓとカメラ２２の画角Ａとを示している。被写体Ｓは、神社の鳥居、鳥居の奥の本殿、及び４人の人物である。画角Ａは、破線の矩形の内側の領域である。

【0083】

図７に示すＦ７Ｂは、Ｆ７Ａのタイミングで撮影された画像がタッチパネルディスプレイ１４に表示されたスマートフォン１０を示している。また、図７に示すＦ７Ｃは、Ｆ７Ａのタイミングで撮影された画像の認識結果の認識ラベルと、認識結果のスコアとのペアを示している。

【0084】

Ｆ７Ａ及びＦ７Ｂに示すように、Ｆ７Ａのタイミングで撮影された画像には、被写体Ｓのうち鳥居の上部が画角Ａに含まれていない。また、奥の本殿は隠れずに画角Ａに含まれている。したがって、このタイミングで撮影される画像は、鳥居が含まれないことにより、神社を示す認識ラベル「ｓｈｒｉｎｅ」のスコアが相対的に小さい値となる。また、鳥居のない神社仏閣の建造物が含まれることにより、寺を示す認識ラベル「ｔｅｍｐｌｅ」のスコアが相対的に大きい値となる。

【0085】

ここでは、スコア算出部１０６は、Ｆ７Ｃに示すように、認識ラベル「ｔｅｍｐｌｅ」のスコアを「０．７」、認識ラベル「ｓｈｒｉｎｅ」のスコアを「０．３」と算出している。なお、スコア算出部１０６が算出する各オブジェクトのスコアは、合計で１となる。

【0086】

図８は、スコア算出部１０６によるスコアの算出の他の例を説明するための図である。図８に示すＦ８Ａは、ライブビュー画像の撮影のうちの図７とは異なるタイミングの被写体Ｓとカメラ２２の画角Ａとを示している。被写体Ｓは、神社の鳥居、鳥居の奥の本殿、及び４人の人物であるが、図７Ａに示すタイミングとは人物の配置が異なっている。

【0087】

図８に示すＦ８Ｂは、Ｆ８Ａのタイミングで撮影された画像がタッチパネルディスプレイ１４に表示されたスマートフォン１０を示している。また、図８に示すＦ８Ｃは、Ｆ８Ａのタイミングで撮影された画像の認識結果の認識ラベルと、認識結果のスコアとのペアを示している。

【0088】

Ｆ８Ａ及びＦ８Ｂに示すように、Ｆ８Ａのタイミングで撮影された画像には、被写体Ｓの鳥居の大部分が含まれている。また、被写体Ｓのうち奥の本殿が人物によって隠れているために含まれていない。したがって、このタイミングで撮影される画像は、鳥居が含まれることにより、神社を示す認識ラベル「ｓｈｒｉｎｅ」のスコアが相対的に大きい値となる。また、神社仏閣の建造物が含まれないことにより、寺を示す認識ラベル「ｔｅｍｐｌｅ」のスコアが相対的に小さい値となる。

【0089】

ここでは、スコア算出部１０６は、Ｆ８Ｃに示すように、認識ラベル「ｔｅｍｐｌｅ」のスコアを「０．１」、認識ラベル「ｓｈｒｉｎｅ」のスコアを「０．８」と算出している。

【0090】

認識部１０４は、ステップＳ１で取得した画像群の各画像に対してスコア算出部１０６がそれぞれ算出したオブジェクト毎のスコアから、画像群のオブジェクトに対する最終的な認識ラベルを導き出す。スコア算出部１０６は、画像群の各画像のオブジェクト毎のスコアを算出し、認識部１０４は、オブジェクト毎のスコアの各画像の平均又は総和から画像群に含まれるオブジェクトを認識してもよい。ここでは、認識部１０４は、スコアの各画像の平均が最も大きい認識ラベル「ｓｈｒｉｎｅ」がオブジェクトとして最もふさわしいと判断したものとする。

【0091】

次に、文字選択部１０８は、候補記憶部１１０に記憶された候補のうち、認識部１０４が認識したオブジェクトに対応する複数の候補から１つの文字又は文字列を選択する。即ち、認識ラベル「ｓｈｒｉｎｅ」に対応する複数の候補から１つの漢字を選択する。

【0092】

図９は、候補記憶部１１０に記憶された認識ラベルに対応する漢字候補の対応表の一例を示す図である。候補記憶部１１０には、認識結果ラベル毎に漢字候補が推奨順位の高い順に記憶されている。図９に示すように、認識ラベル「ｔｅｍｐｌｅ」の漢字候補として、「寺」、「仏」、「院」、「堂」、「聖」、…等の漢字が対応して記憶されている。また、認識ラベル「ｓｈｒｉｎｅ」の漢字候補として、「神」、「社」、「宮」、「聖」、「祠」、…等の漢字が対応して記憶されている。

【0093】

ここでは、認識ラベルが「ｓｈｒｉｎｅ」であるので、文字選択部１０８は、「神」、「社」、「宮」、「聖」、「祠」、…等の候補から１つの漢字を選択する。ここでは、文字選択部１０８は、推奨順位が最も高い先頭の「神」を選択したものとする。なお、文字選択部１０８は、画数の多い漢字を選択する態様、画数の少ない漢字を選択する態様、漢字の左右対称性を優先して選択する態様を採用してもよい。

【0094】

ここでは、文字選択部１０８が時系列の画像群から文字又は文字列を選択する例を説明したが、１つの画像から文字又は文字列を選択してもよい。この場合、例えば撮影されたライブビュー画像用の動画のうち最も新しいフレームの画像から判断してもよい。

【0095】

また、認識部１０４は、ステップＳ１で取得した画像群から複数の認識ラベルがオブジェクトとしてふさわしいと判断してもよい。例えば、スコアの各画像の平均が最も大きい認識ラベルのスコアの平均に対して、２番目に大きい認識ラベルのスコアの平均が近い場合に、双方の認識ラベルをオブジェクトとして最もふさわしいと判断してもよい。認識部１０４は、スコアの各画像の平均の差分が所定の閾値以内である場合に、平均が近いと判断することができる。スコアの各画像の平均の差分が所定の閾値以内であれば、スコアの平均が３番目以降に大きい認識ラベルを含めてもよい。ここではスコアの平均が互いに近い場合について説明したが、スコアの総和を用いる場合も同様である。

【0096】

また、文字選択部１０８は、認識部１０４によって複数の認識ラベルがオブジェクトとしてふさわしいと判断された場合であっても、１つの漢字を選択する。複数の認識ラベルから１つの漢字を選択する場合、文字選択部１０８は、複数の認識ラベルについて候補記憶部１１０にそれぞれ記憶されている漢字のうち、それぞれの認識ラベルが共通に持つ漢字を選択してもよい。

【0097】

例えば、スコア算出部１０６が算出したスコアの各画像の平均が、最も大きい認識ラベル「ｓｈｒｉｎｅ」では０．５２であり、２番目に大きい認識ラベル「ｔｅｍｐｌｅ」では０．４８であり、平均が互いに近いと判断する閾値が０．０５であったとする。この場合、認識部１０４は、認識ラベル「ｓｈｒｉｎｅ」のスコアの平均と認識ラベル「ｔｅｍｐｌｅ」のスコアの平均とが近いと判断し、「ｓｈｒｉｎｅ」と「ｔｅｍｐｌｅ」との２つをオブジェクトとしてふさわしい認識ラベルと認識する。

【0098】

これに応じて、文字選択部１０８は、「ｓｈｒｉｎｅ」について候補記憶部１１０が記憶している漢字と「ｔｅｍｐｌｅ」について候補記憶部１１０が記憶している漢字のうち、２つの認識ラベルが共通に持つ漢字である「聖」を選択する。

【0099】

このように、認識部１０４が認識したオブジェクトが複数の場合であっても、文字選択部１０８は、画像群に応じた適切な１文字の漢字を選択することができる。

【0100】

図６の説明に戻り、ステップＳ３では、画像選択部１１２は、ステップＳ１で取得した画像群からステップＳ２で選択した文字又は文字列を配置する対象画像を選択する。ここでは、画像選択部１１２は、認識部１０４が認識したオブジェクトのスコアが最も高い画像（スコアが相対的に高い画像の一例）を対象画像として選択する。この例では、認識部１０４が認識した最終的な認識ラベルは、「ｓｈｒｉｎｅ」であった。したがって、画像選択部１１２は、ステップＳ１で取得した画像群のうち認識ラベル「ｓｈｒｉｎｅ」のスコアが最も高い画像を対象画像として選択する。

【0101】

なお、画像選択部１１２は、人物が多く写っている画像、人物の正面顔が多い画像、手振れが発生していない画像、又は文字を配置しやすい領域（例えば、空等）がある画像を対象画像としてもよい。

【0102】

ステップＳ４では、レイアウト決定部１１４は、画像選択部１１２が選択した対象画像の画像内における文字又は文字列のレイアウトを決定する。ここでは、テーブル記憶部１１６に記憶されたテーブルに基づいてレイアウトを決定する。レイアウト決定部１１４は、テーブル記憶部１１６から、文字選択部１０８が選択した１文字の漢字「神」に対応する配置すべき位置をテーブル記憶部１１６から読み出す。「神」を配置すべき位置は、鳥居の笠木の中央部であるとする。

【0103】

配置すべき位置としては、例えば、認識部１０４が認識したオブジェクトに応じて、人物等のオブジェクトを避ける位置、あるいは、オブジェクトに重ねる位置等であってもよい。

【0104】

また、レイアウト決定部１１４は、文字又は文字列の配置だけでなく、文字又は文字列の色を決定してもよい。レイアウト決定部１１４は、対象画像の配置位置上の周辺画素から背景色を調べたり、対象画像全体から代表色を調べたりしてベースとなる基準色を選択し、文字又は文字列を基準色の補色（反対色）として目立たせてもよい。また、レイアウト決定部１１４は、文字又は文字列を基準色と類似色にして画像になじませてもよいし、文字又は文字列を白として透過度を調整するだけでもよい。

【0105】

レイアウト決定部１１４は、文字又は文字列のフォントを決定してもよい。フォントとしては、漢字であれば明朝体又は教科書体が好ましい。また、レイアウト決定部１１４は、影付きにして文字又は文字列を強調させてもよい。

【0106】

レイアウト決定部１１４は、文字又は文字列、又は文字列を構成する文字の変形を決定してもよい。変形は、大きさ、太さ、傾き、及び縦横比のうち少なくとも１つを含む。また、レイアウト決定部１１４は、文字の数を決定してもよい。

【0107】

レイアウト決定部１１４は、色、フォント、変形、及び数を、認識部１０４が認識したオブジェクトに応じて決定してもよい。また、レイアウト決定部１１４は、色、フォント、変形、及び数を、文字又は文字列の意味に応じて決定してもよい。この場合、文字又は文字列毎に、文字又は文字列の意味に応じた色、フォント、変形、及び数を対応付けたテーブルをテーブル記憶部１１６に記憶させてもよい。また、色、フォント、変形、及び数を、撮影前にユーザが選択可能に構成してもよい。

【0108】

ステップＳ５では、アシスト情報生成部１２４は、カメラ２２による撮影の際の構図決めをアシストする撮影アシスト情報を生成する。ここでは、アシスト情報生成部１２４は、ステップＳ２において選択された１文字の漢字である「神」を撮影アシスト情報として生成する。

【0109】

ステップＳ６では、合成部１１８は、ステップＳ４で決定したレイアウトに基づいてステップＳ３で選択した対象画像にステップＳ２で選択した文字又は文字列を合成して合成画像を生成する。図１０は、合成部１１８によって生成された合成画像ＧＳ１の一例を示す図である。図１０に示すように、合成画像ＧＳ１には、被写体の鳥居の笠木の中央部に重ねて１文字の漢字「神」である撮影アシスト情報Ｃ１が配置されている。この１文字の漢字「神」は、境界をぼかした縁取り付き文字に加工されている。

【0110】

ステップＳ７（表示制御工程の一例）では、表示制御部１２０は、合成画像をタッチパネルディスプレイ１４に表示させる。ここでは、表示制御部１２０は、ステップＳ１で取得した画像群の各画像をタッチパネルディスプレイ１４の全面にライブビュー画像ＧＬとして順次表示させ、かつ合成画像ＧＳ１をライブビュー画像ＧＬの左下部にピクチャーインピクチャーによって表示する。図１１は、合成画像ＧＳ１がタッチパネルディスプレイ１４に表示されたスマートフォン１０の一例を示す図である。

【0111】

スマートフォン１０は、撮影アシスト情報Ｃ１を含む合成画像ＧＳ１をユーザに視認させることで、画像のオブジェクトに整合する文字又は文字列のレイアウトを撮影時に提案し、文字又は文字列を合成した際の仕上がりを撮影前にユーザに確認させ、さらにユーザによる撮影をアシストすることができる。ユーザは、合成画像ＧＳ１を視認しながらライブビュー画像ＧＬの構図を調整することができる。

【0112】

その後、ユーザによる静止画撮影指示が入力されると、ステップＳ８へ移行する。

【0113】

ステップＳ８では、画像取得部１０２は、カメラ２２によって静止画を取得する。画像選択部１１２は、取得した静止画を対象画像として選択する。また、合成部１１８は、この対象画像にステップＳ４で決定したレイアウトに基づいてステップＳ２で選択した文字又は文字列を合成して合成画像を生成する。さらに、記憶制御部１２２は、合成画像を記憶部３４に記憶させる。記憶制御部１２２は、合成画像に代えて、又は合成画像と共に、ステップＳ８で取得した対象画像、ステップＳ４で決定したレイアウトの情報、及びステップＳ２で選択した文字又は文字列を関連付けて記憶部３４に記憶させてもよい。

【0114】

表示制御部１２０は、この合成画像をタッチパネルディスプレイ１４に表示させてもよい。

【0115】

ここでは、撮影アシスト情報が合成された合成画像がピクチャーインピクチャーによってライブビュー画像と共に表示される例を説明したが、ライブビュー画像が合成画像であってもよい。

【0116】

この場合、画像取得部１０２は、ライブビュー画像用の動画を構成する全ての画像からなる画像群を取得する。画像選択部１１２は、画像取得部１０２が取得した画像群の各画像を対象画像として選択する。合成部１１８は、対象画像である画像群の各画像に文字又は文字列を合成して複数の合成画像を生成する。表示制御部１２０は、複数の合成画像である画像群の各画像をライブビュー画像としてタッチパネルディスプレイ１４に順次表示させる。図１２は、撮影アシスト情報Ｃ１が合成された合成画像ＧＳ２がライブビュー画像としてタッチパネルディスプレイ１４に表示されたスマートフォン１０の一例を示す図である。ユーザは、合成画像ＧＳ２であるライブビュー画像ＧＬの構図を調整することができる。

【0117】

撮影アシスト情報は、文字又は文字列の配置位置を示す領域表示を含む情報でもよい。図１３は、ライブビュー画像である合成画像ＧＳ３及び合成画像ＧＳ４の一例を示す図である。

【0118】

図１３に示す例では、侍姿の男性が被写体である。これに対し、認識部１０４は、認識ラベル「ｓａｍｕｒａｉ」がオブジェクトとして最もふさわしいと判断する。文字選択部１０８は、１文字の漢字である「侍」を選択する。また、レイアウト決定部１１４は、「侍」の意味に応じて、「侍」の漢字を刀の左側に配置するレイアウトに決定する。

【0119】

図１３に示すＦ１３Ａでは、合成画像ＧＳ３に撮影アシスト情報Ｃ２が合成されている。撮影アシスト情報Ｃ２は、破線の円であり、破線の円の内側が「侍」の配置位置を示す領域を示している。Ｆ１３Ａでは、破線の円の左側が欠けている。したがって、ユーザは、「侍」を画像内に配置するためにはカメラ２２の光軸をさらに左側に向ける必要があることがわかる。

【0120】

図１３に示すＦ１３Ｂでは、合成画像ＧＳ４に撮影アシスト情報Ｃ３が合成されている。撮影アシスト情報Ｃ３は、破線の円及び「侍」の文字である。合成画像ＧＳ４の対象画像には「侍」の配置位置の領域の全体が画像に含まれているため、アシスト情報生成部１２４は、撮影アシスト情報Ｃ３として破線の円だけでなく破線の円の内側に「侍」の文字を含ませている。ユーザは、この構図の位置で静止画撮影指示を入力することで、侍姿の男性の画像に「侍」の漢字が合成された合成画像を取得することができる。なお、合成画像には「侍」の配置位置を示す破線の円は合成されない。

【0121】

このように、撮影アシスト情報に文字又は文字列の配置位置を示す領域表示を含めることで、スマートフォン１０はカメラ２２による撮影の際の構図決めをアシストすることができる。

【0122】

＜デジタルカメラ＞
本実施形態に係る画像処理装置が搭載される撮影装置は、デジタルカメラであってもよい。デジタルカメラは、レンズを通った光を撮像素子で受け、デジタル信号に変換して動画又は静止画の画像データとして記憶メディアに記憶する撮影装置である。

【0123】

図１４は、デジタルカメラ１３０の正面斜視図である。また、図１５は、デジタルカメラ１３０の背面斜視図である。図１４に示すように、デジタルカメラ１３０は、正面に撮影レンズ１３２、ストロボ１３４が配設され、上面にはシャッタボタン１３６、電源／モードスイッチ１３８、及びモードダイヤル１４０が配設される。また、図１５に示すように、デジタルカメラ１３０は、背面にモニタ（ＬＣＤ)１４２、ズームボタン１４４、十字ボタン１４６、ＭＥＮＵ／ＯＫボタン１４８、再生ボタン１５０、及びＢＡＣＫボタン１５２が配設される。

【0124】

撮影レンズ１３２は、沈胴式のズームレンズで構成されている。撮影レンズ１３２は、電源／モードスイッチ１３８によってカメラの動作モードが撮影モードに設定されると、カメラ本体から繰り出される。ストロボ１３４は、主要被写体にストロボ光を照射する照明部である。

【0125】

シャッタボタン１３６は、いわゆる「半押し」と「全押し」とからなる２段ストローク式のスイッチで構成される。シャッタボタン１３６は、撮影準備指示部、及び画像の撮影指示部として機能する。

【0126】

デジタルカメラ１３０は、撮影モードとして静止画撮影モード又は動画撮影モードが選択されると、撮影スタンバイ状態になる。撮影スタンバイ状態では動画が撮影され、撮影された動画がライブビュー画像としてモニタ１４２に表示される。

【0127】

ユーザは、モニタ１４２に表示されるライブビュー画像を視認して、構図を決定したり、撮影したい被写体を確認したり、撮影条件を設定したりすることができる。

【0128】

デジタルカメラ１３０は、静止画撮影モードの撮影スタンバイ状態においてシャッタボタン１３６が「半押し」されると、ＡＦ及びＡＥ制御を行う撮影準備動作を行う。また、デジタルカメラ１３０は、シャッタボタン１３６が「全押し」されると、静止画の撮影及び記憶を行う。

【0129】

一方、デジタルカメラ１３０は、動画撮影モードの撮影スタンバイ状態においてシャッタボタン１３６が「全押し」されると、動画の本撮影（録画）を開始する。また、デジタルカメラ１３０は、シャッタボタン１３６が再度「全押し」されると、録画を停止して待機状態になる。

【0130】

電源／モードスイッチ１３８は、「ＯＦＦ位置」、「再生位置」、及び「撮影位置」の間をスライド自在に配設されている。デジタルカメラ１３０は、電源／モードスイッチ１３８が「ＯＦＦ位置」に操作されると、電源をＯＦＦにする。また、デジタルカメラ１３０は、電源／モードスイッチ１３８が「再生位置」に操作されると、「再生モード」に設定する。さらに、デジタルカメラ１３０は、電源／モードスイッチ１３８が「撮影位置」に操作されると、「撮影モード」に設定する。

【0131】

モードダイヤル１４０は、デジタルカメラ１３０の撮影モードを設定するモード切替部である。デジタルカメラ１３０は、モードダイヤル１４０の設定位置に応じて様々な撮影モードに設定される。例えば、デジタルカメラ１３０は、モードダイヤル１４０によって、静止画撮影を行う「静止画撮影モード」、及び動画撮影を行う「動画撮影モード」に設定可能である。

【0132】

モニタ１４２は、撮影モード時のライブビュー画像の表示、再生モード時の動画及び静止画の表示を行う表示部である。また、モニタ１４２は、メニュー画面の表示等を行うことでグラフィカルユーザーインターフェースの一部として機能する。

【0133】

ズームボタン１４４は、ズーム指示部である。ズームボタン１４４は、望遠側へのズームを指示するテレボタン１４４Ｔ、及び広角側へのズームを指示するワイドボタン１４４Ｗを備える。デジタルカメラ１３０は、撮影モード時にテレボタン１４４Ｔ及びワイドボタン１４４Ｗが操作されることにより、撮影レンズ１３２の焦点距離を望遠側及び広角側に変更する。また、デジタルカメラ１３０は、再生モード時にテレボタン１４４Ｔ及びワイドボタン１４４Ｗが操作されることにより、再生中の画像を拡大及び縮小する。

【0134】

十字ボタン１４６は、ユーザが上下左右の４方向の指示を入力する操作部である。十字ボタン１４６は、ユーザがメニュー画面から項目を選択したり、各メニューから各種設定項目の選択を指示したりするカーソル移動操作部として機能する。また、十字ボタン１４６の左キー及び右キーは、再生モード時にユーザがそれぞれ順方向及び逆方向のコマ送りを行うコマ送り操作部として機能する。

【0135】

ＭＥＮＵ／ＯＫボタン１４８は、モニタ１４２の画面上にメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定及び実行などを指令するＯＫボタンとしての機能とを兼備した操作部である。

【0136】

再生ボタン１５０は、記憶された動画又は静止画をモニタ１４２に表示させる再生モードに切り替えるための操作部である。

【0137】

ＢＡＣＫボタン１５２は、入力操作のキャンセル又は一つ前の操作状態に戻すことを指示する操作部である。

【0138】

なお、デジタルカメラ１３０において、ボタン及びスイッチに対して固有の部材を設けるのではなく、タッチパネルを設け、タッチパネルを操作することでボタン／スイッチの機能を実現してもよい。

【0139】

このように構成されたデジタルカメラ１３０において、内部構成を示すブロック図は、撮影レンズ５０に代えて撮影レンズ１３２とした図４と同様である。デジタルカメラ１３０は、図５に示す画像処理装置を搭載することができる。また、デジタルカメラ１３０は、画像処理プログラムを実行し、図６に示す画像処理方法を実施することができる。

【0140】

＜その他＞
本実施形態に係る画像処理装置は、撮影装置に搭載される態様に限定されず、図５に示した機能構成を備えていればよい。例えば、撮影機能を有さないパーソナルコンピュータ端末に搭載されてもよい。

【0141】

画像処理方法をコンピュータに実行させる画像処理プログラムは、コンピュータの読取可能な非一時的な記憶媒体に記憶させて提供されてもよい。また、画像処理プログラムは、外部のサーバから無線通信部３０又は外部入出力部４０を介してダウンロード可能なアプリケーションとして提供されてもよい。この場合、スマートフォン１０は、ダウンロードした画像処理プログラムを記憶部３４に記憶させる。候補記憶部１１０及びテーブル記憶部１１６の内容を、画像処理プログラムに含めてもよい。

【0142】

また、候補記憶部１１０及びテーブル記憶部１１６は、外部のサーバに備えられていてもよい。画像処理プログラムの一部の処理をスマートフォン１０又はデジタルカメラ１３０で行い、その他の処理を外部のサーバで行ってもよい。

【0143】

本発明の技術的範囲は、上記の実施形態に記載の範囲には限定されない。各実施形態における構成等は、本発明の趣旨を逸脱しない範囲で、各実施形態間で適宜組み合わせることができる。

【符号の説明】

【0144】

１０…スマートフォン
１２…筐体
１４…タッチパネルディスプレイ
１６…スピーカ
１８…マイクロフォン
２０…カメラ
２２…カメラ
２６…スイッチ
３０…無線通信部
３２…通話部
３４…記憶部
３６…内部記憶部
３８…外部記憶部
４０…外部入出力部
４２…ＧＰＳ受信部
４４…電源部
５０…撮影レンズ
５０Ｆ…フォーカスレンズ
５０Ｚ…ズームレンズ
５４…撮像素子
５８…Ａ／Ｄ変換器
６０…レンズ駆動部
１００…画像処理装置
１０２…画像取得部
１０４…認識部
１０６…スコア算出部
１０８…文字選択部
１１０…候補記憶部
１１２…画像選択部
１１４…レイアウト決定部
１１６…テーブル記憶部
１１８…合成部
１２０…表示制御部
１２２…記憶制御部
１２４…アシスト情報生成部
１３０…デジタルカメラ
１３２…撮影レンズ
１３４…ストロボ
１３６…シャッタボタン
１３８…モードスイッチ
１４０…モードダイヤル
１４２…モニタ
１４４…ズームボタン
１４４Ｔ…テレボタン
１４４Ｗ…ワイドボタン
１４８…ＭＥＮＵ／ＯＫボタン
１５０…再生ボタン
１５２…ＢＡＣＫボタン
Ａ…画角
Ｃ１…撮影アシスト情報
Ｃ２…撮影アシスト情報
Ｃ３…撮影アシスト情報
ＧＬ…ライブビュー画像
ＧＳ１…合成画像
ＧＳ２…合成画像
ＧＳ３…合成画像
ＧＳ４…合成画像
Ｓ…被写体
Ｓ１～Ｓ８…画像処理方法の各ステップ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】