特許 7533011 情報処理装置、プログラム及び情報処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-05

(45)【発行日】2024-08-14

(54)【発明の名称】情報処理装置、プログラム及び情報処理方法

(51)【国際特許分類】

   G06T 7/10 20170101AFI20240806BHJP

【ＦＩ】

G06T7/10

【請求項の数】 9

(21)【出願番号】P 2020139493

(22)【出願日】2020-08-20

(65)【公開番号】P2022035280

(43)【公開日】2022-03-04

【審査請求日】2023-06-26

(73)【特許権者】

【識別番号】000002897

【氏名又は名称】大日本印刷株式会社

(74)【代理人】

【識別番号】100114557

【弁理士】

【氏名又は名称】河野 英仁

(74)【代理人】

【識別番号】100078868

【弁理士】

【氏名又は名称】河野 登夫

(72)【発明者】

【氏名】田中 隆寛

【審査官】淀川 滉也

(56)【参考文献】

【文献】特開２０１２－０１９３８７（ＪＰ，Ａ）

【文献】特開２０１０－０２６６３０（ＪＰ，Ａ）

【文献】特開２０１４－０５３０４０（ＪＰ，Ａ）

【文献】特開２０１４－１４３６７３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／１０

(57)【特許請求の範囲】

【請求項1】

対象物を含む画像を取得する画像取得部と、
前記対象物を表示する表示領域のアスペクト比を取得するアスペクト比取得部と、
前記画像から前記対象物を検出し、検出した前記対象物の領域のアスペクト比及び前記表示領域のアスペクト比を比較する比較部と、
前記対象物の領域のアスペクト比及び前記表示領域のアスペクト比が異なる場合に、前記表示領域のアスペクト比を有する前記対象物の領域を順次切り替える切替部と、
切り替えた領域に基づいて切り出した画像と前記対象物との関連度に基づいて、切り替える領域を特定する特定部と
を備える情報処理装置。

【請求項2】

切り替えた領域に基づいて切り出した画像から、前記対象物の領域を検出する対象物検出部と、
前記切り出した画像に対して、検出した前記対象物の領域の割合に応じたスコアを算出する割合スコア算出部とを備え、
前記特定部は、算出した前記割合に応じたスコアに基づいて、切り替える領域を特定する
請求項１に記載の情報処理装置。

【請求項3】

切り替えた領域に基づいて切り出した画像から、前記対象物の領域を検出する対象物検出部と、
前記切り出した画像に対して、検出した前記対象物の領域の位置に応じたスコアを算出する位置スコア算出部とを備え、
前記特定部は、算出した前記位置に応じたスコアに基づいて、切り替える領域を特定する
請求項１又は２に記載の情報処理装置。

【請求項4】

切り替えた領域に基づいて切り出した画像から、前記対象物の各部位の領域を検出する部位検出部を備え、
前記特定部は、検出した前記対象物の各部位の領域に基づいて、切り替える領域を特定する
請求項１から３までのいずれかひとつに記載の情報処理装置。

【請求項5】

対象物を含む画像に対応するテキストデータを取得するテキスト取得部と、
取得した前記テキストデータに出現する単語が示す対象物を特定する対象物特定部と、
取得した前記画像から、前記テキストデータに出現する対象物を検知する検知部とを備え、
前記比較部は、前記検知部が検知した対象物の領域のアスペクト比及び前記表示領域のアスペクト比を比較する
請求項１から４までのいずれかひとつに記載の情報処理装置。

【請求項6】

前記テキストデータに出現する対象物の出現頻度を算出する出現頻度算出部と、
前記対象物の出現頻度と、切り替えた領域に基づいて切り出した画像に含まれる前記対象物とに基づいて、前記テキストデータに出現する対象物と、切り替えた領域に基づいて切り出した画像との関連度を算出する関連度算出部とを備え、
前記特定部は、算出した関連度に基づいて、切り替える領域を特定する
請求項５に記載の情報処理装置。

【請求項7】

前記対象物の領域のアスペクト比及び前記表示領域のアスペクト比が同じである場合、取得した前記画像から前記対象物の領域を切り出して表示画像を生成する生成部
を備える請求項１から６までのいずれかひとつに記載の情報処理装置。

【請求項8】

対象物を含む画像を取得し、
前記対象物を表示する表示領域のアスペクト比を取得し、
前記画像から前記対象物を検出し、検出した前記対象物の領域のアスペクト比及び前記表示領域のアスペクト比を比較し、
前記対象物の領域のアスペクト比及び前記表示領域のアスペクト比が異なる場合に、前記表示領域のアスペクト比を有する前記対象物の領域を順次切り替え、
切り替えた領域に基づいて切り出した画像と前記対象物との関連度に基づいて、切り替える領域を特定する
処理をコンピュータに実行させるプログラム。

【請求項9】

対象物を含む画像を取得し、
前記対象物を表示する表示領域のアスペクト比を取得し、
前記画像から前記対象物を検出し、検出した前記対象物の領域のアスペクト比及び前記表示領域のアスペクト比を比較し、
前記対象物の領域のアスペクト比及び前記表示領域のアスペクト比が異なる場合に、前記表示領域のアスペクト比を有する前記対象物の領域を順次切り替え、
切り替えた領域に基づいて切り出した画像と前記対象物との関連度に基づいて、切り替える領域を特定する
処理をコンピュータが実行する情報処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、プログラム及び情報処理方法に関する。

【背景技術】

【0002】

特許文献１では、画像の幅、高さ及び解像度に基づいて予め設定されたルールに従ってレイアウト枠のサイズを決定し、決定したレイアウト枠に画像をはめ込むことにより、画像の表示サイズを自動調整する技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特許第３８７０８３４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１に開示された技術では、レイアウト枠のサイズを決定するためのルールを予め設定しておく必要があり、ルールを設定する際の処理負担が大きい。また、画像のアスペクト比とレイアウト枠のアスペクト比とが大きく異なる場合には、レイアウト枠にはめ込んだ画像に違和感が生じる虞がある。

【0005】

本発明は、このような事情に鑑みてなされたものであり、その目的とするところは、処理負担が増大することなく、被写体（対象物）を指定された表示サイズで適切に表示することが可能な情報処理装置等を提供することにある。

【課題を解決するための手段】

【0006】

本発明の一態様に係る情報処理装置は、対象物を含む画像を取得する画像取得部と、前記対象物を表示する表示領域のアスペクト比を取得するアスペクト比取得部と、前記画像から前記対象物を検出し、検出した前記対象物の領域のアスペクト比及び前記表示領域のアスペクト比を比較する比較部と、前記対象物の領域のアスペクト比及び前記表示領域のアスペクト比が異なる場合に、前記表示領域のアスペクト比を有する前記対象物の領域を順次切り替える切替部と、切り替えた領域に基づいて切り出した画像と前記対象物との関連度に基づいて、切り替える領域を特定する特定部とを備える。

【発明の効果】

【0007】

本発明の一態様にあっては、処理負担が増大することなく、被写体（対象物）を指定された表示サイズで適切に表示することができる。

【図面の簡単な説明】

【0008】

【図1】情報処理装置の構成例を示すブロック図ある。

【図2】画像編集処理を説明するための模式図である。

【図3】画像編集処理手順の一例を示すフローチャートである。

【図4】画像編集処理手順の一例を示すフローチャートである。

【図5】画像編集処理を説明するための模式図である。

【図6】画像編集処理を説明するための模式図である。

【図7】画像編集処理を説明するための模式図である。

【図8】画像編集処理手順の他の例を示すフローチャートである。

【図9】画面例を示す模式図である。

【図10】実施形態２のスコア算出処理手順の一例を示すフローチャートである。

【図11】スコア算出処理を説明するための模式図である。

【図12】レイアウト処理を説明するための模式図である。

【図13】レイアウト処理手順の一例を示すフローチャートである。

【図14】レイアウト処理手順の一例を示すフローチャートである。

【図15】レイアウト処理手順の一例を示すフローチャートである。

【図16】レイアウト処理を説明するための模式図である。

【図17】レイアウト処理を説明するための模式図である。

【図18】レイアウト処理を説明するための模式図である。

【図19】レイアウト処理を説明するための模式図である。

【発明を実施するための形態】

【0009】

以下に、本開示の情報処理装置、プログラム及び情報処理方法について、その実施形態を示す図面に基づいて詳述する。

【0010】

（実施形態１）
被写体（対象物）を撮影した画像から、被写体に対する視認性が高い領域を抽出（クリッピング）して投稿用画像を生成する情報処理装置について説明する。図１は情報処理装置の構成例を示すブロック図ある。情報処理装置１０は、種々の情報処理及び情報の送受信が可能な装置であり、例えばスマートフォン、タブレット端末、パーソナルコンピュータ、サーバコンピュータ等である。また情報処理装置１０は、大型計算機上で動作する仮想マシン、クラウドコンピューティングシステム、量子コンピュータ等によって構成されてもよく、専用の端末によって構成されてもよい。本実施形態の情報処理装置１０は、例えばＳＮＳ（Social Networking Service ）に画像（撮影画像）を投稿する際に、画像から、被写体に対する視認性が高い領域をクリッピングして投稿用画像を生成する。なお、処理対象の画像はＳＮＳ投稿用の画像に限定されず、書籍、雑誌、週刊誌、パンフレット、カタログ、新聞、メニュー、チラシ等、任意の媒体用の画像であってもよく、また媒体は、紙媒体であっても、電子書籍等のデジタル型の媒体であってもよい。また、処理対象の画像は写真であっても、イラストであってもよい。

【0011】

情報処理装置１０は、制御部１１、記憶部１２、通信部１３、入力部１４、表示部１５、カメラ１６、読み取り部１７等を含み、これらの各部はバスを介して相互に接続されている。制御部１１は、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）又はＧＰＵ（Graphics Processing Unit）等の１又は複数のプロセッサを含む。制御部１１は、記憶部１２に記憶してある制御プログラム１２Ｐを適宜実行することにより、本開示の情報処理装置が行うべき種々の情報処理及び制御処理を行う。

【0012】

記憶部１２は、ＲＡＭ（Random Access Memory）、フラッシュメモリ、ハードディスク、ＳＳＤ（Solid State Drive）等を含む。記憶部１２は、制御部１１が実行する制御プログラム１２Ｐ及び制御プログラム１２Ｐの実行に必要な各種のデータ等を予め記憶している。また記憶部１２は、制御部１１が制御プログラム１２Ｐを実行する際に発生するデータ等を一時的に記憶する。更に記憶部１２は、画像から投稿用画像を生成するための画像編集アプリケーションプログラム１２ＡＰ（以下では、画像編集アプリ１２ＡＰという）を記憶する。

【0013】

通信部１３は、有線通信又は無線通信によってインターネット等のネットワークに接続するためのインタフェースを有し、ネットワークを介して他の装置との間で情報の送受信を行う。入力部１４は、情報処理装置１０を操作するユーザによる操作入力を受け付け、操作内容に対応した制御信号を制御部１１へ送出する。表示部１５は、液晶ディスプレイ又は有機ＥＬディスプレイ等であり、制御部１１からの指示に従って各種の情報を表示する。入力部１４及び表示部１５は一体として構成されたタッチパネルであってもよい。

【0014】

カメラ１６は、レンズ及び撮像素子等を有する撮像装置であり、レンズを介して被写体像の画像データを取得する。カメラ１６は、制御部１１からの指示に従って撮影を行い、例えば１枚（１フレーム）の画像データ（静止画像）を取得し、取得した画像データを記憶部１２に記憶する。なお、カメラ１６は、情報処理装置１０に内蔵される構成のほかに、情報処理装置１０に外付けされる構成でもよい。この場合、情報処理装置１０は、外部カメラの接続が可能な接続部又は外部カメラとの有線通信又は無線通信を行うためのカメラ通信部を備え、外部カメラが撮影した画像データを接続部又はカメラ通信部を介して取得する。本実施形態の情報処理装置１０は、カメラ１６を備えていなくてもよく、他の情報処理装置又はカメラで撮影された画像データをネットワーク経由又は可搬型記憶媒体１ａ経由で取得する構成でもよい。

【0015】

読み取り部１７は、ＣＤ（Compact Disc）－ＲＯＭ、ＤＶＤ（Digital Versatile Disc）－ＲＯＭ、ＵＳＢ（Universal Serial Bus）メモリ、ＳＤ（Secure Digital）カード等を含む可搬型記憶媒体１ａに記憶された情報を読み取る。記憶部１２に記憶される制御プログラム１２Ｐ、画像編集アプリ１２ＡＰ及び各種のデータは、制御部１１が読み取り部１７を介して可搬型記憶媒体１ａから読み取って記憶部１２に記憶してもよい。また、記憶部１２に記憶される制御プログラム１２Ｐ、画像編集アプリ１２ＡＰ及び各種のデータは、制御部１１が通信部１３を介して他の装置からダウンロードして記憶部１２に記憶してもよい。

【0016】

以下に、本実施形態の情報処理装置１０が画像（撮影画像）から投稿用画像を生成する処理について説明する。図２は画像編集処理を説明するための模式図である。本実施形態の情報処理装置１０は、編集対象の撮影画像と、編集後の投稿用画像のアスペクト比（画像の横方向の長さ：縦方向の長さ）とを入力データとし、撮影画像から、被写体の視認性が良好であり、且つ入力（設定）されたアスペクト比の領域を抽出して投稿用画像（出力データ）を生成する。よって、ユーザが撮影した画像から、被写体が見易い状態で表示される投稿用画像が生成される。

【0017】

図３及び図４は画像編集処理手順の一例を示すフローチャート、図５～図７は画像編集処理を説明するための模式図である。図４に示すスコア算出処理は、図３に示す画像編集処理中の「スコア算出処理」である。以下の処理は、情報処理装置１０の記憶部１２に記憶してある制御プログラム１２Ｐ及び画像編集アプリ１２ＡＰに従って制御部１１によって実行される。以下の処理の一部を専用のハードウェア回路で実現してもよい。

【0018】

本実施形態の情報処理装置１０において、ユーザは、被写体（対象物）を撮影した画像をＳＮＳ等に投稿する際に、入力部１４を介して所定の操作を行い、撮影画像と投稿用画像のアスペクト比とを指定し、投稿用画像の生成処理の実行指示を行う。なお、例えば投稿先のＳＮＳに応じて予め投稿用画像のアスペクト比が設定されている場合、ユーザは、撮影画像のみを指定すればよい。情報処理装置１０の制御部１１（画像取得部）は、入力部１４を介して投稿用画像の生成処理の実行指示を受け付けた場合、指定された撮影画像を取得する（Ｓ１１）。例えば撮影画像が記憶部１２に記憶してある場合、制御部１１は、撮影画像を記憶部１２から読み出す。撮影画像は、カメラ１６で撮影された画像に限定されず、他の装置のカメラで撮影されてネットワーク経由又は可搬型記憶媒体１ａ経由で記憶部１２に記憶された画像であってもよい。図５Ａは撮影画像の一例を示す。なお、制御部１１（アスペクト比取得部）は、入力部１４を介して投稿用画像（画像の表示領域）のアスペクト比が指定された場合、指定された投稿用画像のアスペクト比を取得し、投稿先のＳＮＳに対して投稿用画像のアスペクト比が設定されている場合、投稿先のＳＮＳにおけるアスペクト比を取得する。以下では、投稿用画像のアスペクト比が１：１である場合を例に説明する。

【0019】

次に制御部１１は、取得した撮影画像に対して物体検出処理を行い、画像中の被写体（対象物）を検出する（Ｓ１２）。画像中の物体検出は、Ｒ－ＣＮＮ（Regions with Convolutional Neural Network）、Ｆａｓｔ Ｒ－ＣＮＮ、Ｆａｓｔｅｒ Ｒ－ＣＮＮ、Ｍａｓｋ Ｒ－ＣＮＮ、ＹＯＬＯ（You only Look Once）、ＳＳＤ（Single Shot Multibox Detector）等の学習モデルを用いて行うことができる。具体的には、制御部１１は、上述したような学習モデルに撮影画像を入力し、学習モデルからの出力情報に基づいて、撮影画像中の対象物（被写体）を検出する。なお、学習モデルを用いた物体検出処理は公知であるため、詳細については説明を省略する。上述したような学習モデルは画像編集アプリ１２ＡＰに組み込まれていてもよく、記憶部１２に記憶されていてもよい。図５Ｂでは、図５Ａに示す撮影画像に対して、学習モデルを用いた物体検出によって検出された被写体（ここでは犬）を示すバウンディングボックスが破線にて重畳表示されている。また画像中の物体検出は、テンプレートマッチング技術を用いて行われてもよい。この場合、検出すべき対象物の画像特徴量を示すテンプレートを予め記憶部１２に記憶しておき、制御部１１は、撮影画像中に、いずれかのテンプレートに一致する領域が存在するか否かに応じて、対象物が存在するか否かを検出できる。

【0020】

制御部１１は、撮影画像から検出した被写体に基づいて、撮影画像から抽出すべきクリッピング範囲を設定する（Ｓ１３）。例えば制御部１１は、図５Ｂに破線矩形で示すように、学習モデルを用いて撮影画像から検出した被写体を囲むバウンディングボックス（外接矩形）の領域をクリッピング範囲に設定する。これにより、撮影画像中の被写体（対象物）を含む領域がクリッピング範囲に設定される。なお、制御部１１は、バウンディングボックスを上下及び左右方向にそれぞれ所定領域（所定画素数）拡張した領域をクリッピング範囲に設定してもよい。

【0021】

ユーザは、ＳＮＳに投稿する画像を撮影する場合、１つの被写体が画像中央に写るように撮影することが多い。この場合、制御部１１は撮影画像から１つの被写体を検出するので、１つの被写体を含むクリッピング範囲が設定される。このほかに、撮影画像中に複数の被写体が含まれる場合、制御部１１は撮影画像から複数の被写体を検出する。この場合、制御部１１は、複数の被写体を含む外接矩形の領域をクリッピング範囲に設定してもよい。

【0022】

制御部１１（比較部）は、ステップＳ１３で設定したクリッピング範囲のアスペクト比と、指定された投稿用画像のアスペクト比とを比較し、２つのアスペクト比が一致するか否かを判断する（Ｓ１４）。具体的には、制御部１１は、クリッピング範囲内の画像の左右方向（横方向）の画素数と、上下方向（縦方向）の画素数とを計数し、クリッピング範囲のアスペクト比（左右方向の画素数：上下方向の画素数）を算出する。そして制御部１１は、算出したアスペクト比と投稿用画像のアスペクト比とが一致するか否かを判断する。アスペクト比が一致すると判断した場合（Ｓ１４：ＹＥＳ）、制御部１１（生成部）は、ステップＳ２９の処理に移行し、ステップＳ１１で取得した撮影画像から、ステップＳ１３で設定したクリッピング範囲内の画像（画素）を抽出して投稿用画像（表示画像）を生成する（Ｓ２９）。

【0023】

アスペクト比が一致しないと判断した場合（Ｓ１４：ＮＯ）、制御部１１は、ステップＳ１３で設定したクリッピング範囲の調整方向を特定する（Ｓ１５）。なお、制御部１１は、クリッピング範囲のアスペクト比を、投稿用画像のアスペクト比に一致させるためにクリッピング範囲を調整すべき調整方向を特定する。図６及び図７はクリッピング範囲の調整方向の説明図であり、図６は横長のクリッピング範囲に対する調整方向を示し、図７は縦長のクリッピング範囲に対する調整方向を示す。図６Ａ及び図７ＡはステップＳ１３で設定したクリッピング範囲を破線矩形で示している。図６Ａに示すクリッピング範囲は横方向に３３０画素、縦方向に２７０画素の画像サイズ（330×270画素）を有し、このクリッピング範囲のアスペクト比は１１：９である。このようなクリッピング範囲を１：１のアスペクト比に一致させるためには、上下方向に拡張するか左右方向に縮小することが考えられる。よって、本実施形態では、図６Ｂに示すように、上方向に６０画素拡張、上方向及び下方向にそれぞれ３０画素拡張、及び、下方向に６０画素拡張することによって330×330画素の画像サイズにそれぞれ拡張し、アスペクト比が１：１となるようにクリッピング範囲を調整（拡張）する。なお、このような拡張を行う際に、撮影画像中の画素が存在しない領域が発生した場合、画素が存在しない領域に黒画素を追加し、拡張後のクリッピング範囲の画像を生成してもよい。また、図６Ｃに示すように、左端側を６０画素縮小、左右両端側をそれぞれ３０画素縮小、及び、右端側を６０画素縮小することによって270×270画素の画像サイズにそれぞれ縮小し、アスペクト比が１：１となるようにクリッピング範囲を調整（縮小）する。

【0024】

また、図７Ａに示すクリッピング範囲は横方向に２７０画素、縦方向に３３０画素の画像サイズ（270×330画素）を有し、このクリッピング範囲のアスペクト比は９：１１である。このようなクリッピング範囲を１：１のアスペクト比に一致させるためには、左右方向に拡張するか上下方向に縮小することが考えられる。よって、本実施形態では、図７Ｂに示すように、左方向に６０画素拡張、左右方向にそれぞれ３０画素拡張、及び、右方向に６０画素拡張することによって330×330画素の画像サイズにそれぞれ拡張し、アスペクト比が１：１となるようにクリッピング範囲を調整（拡張）する。また、図７Ｃに示すように、上端側を６０画素縮小、上下両端側をそれぞれ３０画素縮小、及び、下端側を６０画素縮小することによって270×270画素の画像サイズにそれぞれ縮小し、アスペクト比が１：１となるようにクリッピング範囲を調整（縮小）する。

【0025】

制御部１１は、クリッピング範囲の調整方向を特定した場合、特定した調整方向に従って、クリッピング範囲を拡張又は縮小する。これにより、制御部１１（切替部）は、被写体を含み、投稿用画像のアスペクト比を有する領域（調整後のクリッピング範囲）を順次切り替えることができる。制御部１１は、例えばクリッピング範囲を上方向又は左方向に拡張する（Ｓ１６）。ここでは、制御部１１は、クリッピング範囲が横長である場合、図６Ｂの左側に示すように上方向に拡張し、縦長である場合、図７Ｂの左側に示すように左方向に拡張する。そして制御部１１は、拡張後のクリッピング範囲に従って撮影画像から切り出した画像に基づいて、この拡張後のクリッピング範囲に対して被写体との関連度に関するスコアの算出処理を行う（Ｓ１７）。

【0026】

図４に示すスコア算出処理において、制御部１１（割合スコア算出部）は、拡張後（調整後）のクリッピング範囲に基づいて撮影画像から切り出した画像に対する被写体領域の割合に応じたスコアを算出する。具体的には、制御部１１（対象物検出部）は、ステップＳ１２で撮影画像から検出した被写体の領域に基づいて、調整後のクリッピング範囲内の被写体の領域を特定する（Ｓ４１）。図５Ｃの左側に示すクリッピング範囲では、図５Ｃの右側に白抜きで示す犬の領域（被写体領域）が特定されている。そして制御部１１は、特定した被写体領域内の画素数を算出し（Ｓ４２）、調整後のクリッピング範囲内の画素数に対する被写体領域内の画素数の割合を算出することにより、調整後のクリッピング範囲に対する被写体領域の面積に関するスコアを算出する（Ｓ４３）。図５Ｃに示す例では、330×330画素のクリッピング範囲に対して55,806画素の被写体領域が検出されており、面積に関するスコアとして０．５１が算出されている。これにより、クリッピング範囲内の被写体領域が大きいほど、面積に関するスコアとして高いスコアが算出される。

【0027】

次に制御部１１（位置スコア算出部）は、調整後のクリッピング範囲に対する被写体領域の位置に応じたスコアを算出する。具体的には、制御部１１は、調整後のクリッピング範囲の中心（画像中心）の座標値と、ステップＳ４１で特定したクリッピング範囲内の被写体領域の中心（重心）の座標値とを算出する（Ｓ４４）。クリッピング範囲内の各画素の座標値は、例えばクリッピング範囲の左上を原点（０，０）とし、原点から右方向への画素数と原点から下方向への画素数とによって表される。図５Ｄに示す例では、330×330画素のクリッピング範囲に対して、クリッピング範囲の中心（画像中心）の座標値として（165,165）が算出され、被写体領域の中心の座標値として（207,179）が算出されている。なお、被写体領域の中心は、例えば被写体領域内の全画素の座標値の平均値で表されてもよく、被写体領域の左端の画素及び右端の画素における左右方向の中央位置の座標値と、被写体領域の上端及び下端の画素における上下方向の中央位置の座標値とで表されてもよく、被写体領域の輪郭上の各画素の座標値の平均値で表されてもよい。次に制御部１１は、調整後のクリッピング範囲における半対角線の長さを算出する（Ｓ４５）。半対角線は、クリッピング範囲の画像中心とクリッピング範囲の４隅のいずれかとの間の線分であり、図５Ｄに示す例では、半角線の長さとして233.3が算出されている。また制御部１１は、ステップＳ４４で算出したクリッピング範囲の画像中心の座標値と、被写体領域の中心の座標値とに基づいて、クリッピング範囲の画像中心と、被写体領域の中心との距離（中心間距離）を算出する（Ｓ４６）。図５Ｄに示す例では、中心間距離として44.3が算出されている。制御部１１は、半対角線の長さ及び中心間距離に基づいて、調整後のクリッピング範囲に対する被写体領域の位置に関するスコアを算出する（Ｓ４７）。例えば制御部１１は、１．０－（中心間距離）／（半対角線の長さ）によって位置に関するスコアを算出し、図５Ｄに示す例では、位置に関するスコアとして０．８１が算出されている。これにより、被写体領域がクリッピング範囲の中央に近いほど、位置に関するスコアとして高いスコアが算出される。

【0028】

制御部１１は、ステップＳ４３で算出した面積に関するスコアと、ステップＳ４７で算出した位置に関するスコアとを、調整後のクリッピング範囲に対応付けて記憶する（Ｓ４８）。例えば制御部１１は、撮影画像に対する調整後のクリッピング範囲の位置を示す情報に対応付けて、面積に関するスコア及び位置に関するスコアを記憶する。なお、クリッピング範囲の位置は、例えば撮影画像においてクリッピング範囲の４隅の画素の座標値で表され、４隅の画素の座標値は、例えば撮影画像の左上を原点（０，０）とし、原点から右方向への画素数と原点から下方向への画素数とによって表される。また、クリッピング範囲の位置は、撮影画像においてクリッピング範囲の左上の画素の座標値と、クリッピング範囲の画像サイズとで表されてもよい。

【0029】

制御部１１は、図３に示す画像編集処理に戻り、ステップＳ１３で設定したクリッピング範囲に対して、ステップＳ１８～Ｓ１９の処理を行う。具体的には、制御部１１は、ステップＳ１３で設定したクリッピング範囲を上下方向又は左右方向に拡張する（Ｓ１８）。ここでは、制御部１１は、クリッピング範囲が横長である場合、図６Ｂの中央に示すように上方向及び下方向に拡張し、縦長である場合、図７Ｂの中央に示すように左方向及び右方向に拡張する。そして制御部１１は、拡張後のクリッピング範囲に応じて撮影画像から切り出した画像に基づいて、この拡張後のクリッピング範囲に対するスコアの算出処理を行う（Ｓ１９）。ここでのスコア算出処理は、ステップＳ１７と同様の処理であり、図４に示す処理である。これにより、ステップＳ１８で拡張したクリッピング範囲についても面積に関するスコア及び位置に関するスコアが算出されて記憶される。

【0030】

次に制御部１１は、ステップＳ１３で設定したクリッピング範囲に対して、ステップＳ２０～Ｓ２１の処理を行う。具体的には、制御部１１は、ステップＳ１３で設定したクリッピング範囲を下方向又は右方向に拡張する（Ｓ２０）。ここでは、制御部１１は、クリッピング範囲が横長である場合、図６Ｂの右側に示すように下方向に拡張し、縦長である場合、図７Ｂの右側に示すように右方向に拡張する。そして制御部１１は、拡張後のクリッピング範囲内の画像に基づいて、この拡張後のクリッピング範囲に対するスコアの算出処理を行う（Ｓ２１）。これにより、ステップＳ２０で拡張したクリッピング範囲についても面積に関するスコア及び位置に関するスコアが算出されて記憶される。

【0031】

同様に制御部１１は、ステップＳ１３で設定したクリッピング範囲に対して、ステップＳ２２～Ｓ２７の処理を行う。なお、制御部１１は、ステップＳ２２において、クリッピング範囲に対して左側又は上側を縮小する。ここでは、制御部１１は、クリッピング範囲が横長である場合、図６Ｃの左側に示すようにクリッピング範囲の左側を縮小し、縦長である場合、図７Ｃの左側に示すようにクリッピング範囲の上側を縮小する。また、ステップＳ２４において、制御部１１は、クリッピング範囲の左側及び右側、或いは、上側及び下側を縮小する。ここでは、制御部１１は、クリッピング範囲が横長である場合、図６Ｃの中央に示すようにクリッピング範囲の左側及び右側をそれぞれ縮小し、縦長である場合、図７Ｃの中央に示すようにクリッピング範囲の上側及び下側をそれぞれ縮小する。更に、ステップＳ２６において、制御部１１は、クリッピング範囲の右側又は下側を縮小する。ここでは、制御部１１は、クリッピング範囲が横長である場合、図６Ｃの右側に示すようにクリッピング範囲の右側を縮小し、縦長である場合、図７Ｃの右側に示すようにクリッピング範囲の下側を縮小する。制御部１１は、それぞれ縮小後のクリッピング範囲内の画像に基づいて、縮小後のクリッピング範囲に対するスコアの算出処理を行う（Ｓ２３，Ｓ２５，Ｓ２７）。これにより、ステップＳ２２，Ｓ２４，Ｓ２６でそれぞれ縮小したクリッピング範囲について、面積に関するスコア及び位置に関するスコアが算出されて記憶される。

【0032】

上述した処理により、ステップＳ１３で設定したクリッピング範囲に対して、図６Ｂ及び図６Ｃ、或いは、図７Ｂ及び図７Ｃに示すように拡張又は縮小することにより、投稿用画像を生成するためのクリッピング範囲の候補が生成される。そして、それぞれのクリッピング範囲の候補に対して、被写体領域の大きさ及び位置に関するスコアが算出される。制御部１１（特定部）は、上述した処理によって算出したクリッピング範囲の各候補に対するスコアに基づいて、最適な（適切な）クリッピング範囲を特定する（Ｓ２８）。例えば制御部１１は、面積に関するスコアが最高のクリッピング範囲、位置に関するスコアが最高のクリッピング範囲、或いは、面積に関するスコア及び位置に関するスコアが共に最高のクリッピング範囲を最適なクリッピング範囲に特定してもよい。また制御部１１は、面積に関するスコア及び位置に関するスコアのそれぞれに重み付けを行い、両方のスコアを加味した総合スコアを算出し、総合スコアが最高のクリッピング範囲を最適なクリッピング範囲に特定してもよい。最適なクリッピング範囲を特定する際のルールは予め設定されて記憶部１２に記憶されている。

【0033】

制御部１１は、ステップＳ１１で取得した撮影画像から、ステップＳ２８で特定した最適なクリッピング範囲内の画像（画素）を抽出して投稿用画像を生成し（Ｓ２９）、処理を終了する。上述した処理により、撮影画像から、指定されたアスペクト比を有すると共に、被写体の撮影領域がより画像中央に位置し、サイズがより大きい投稿用画像を生成することができる。これにより、被写体を見易い位置及びサイズで表示することができる画像をＳＮＳ等に投稿することが可能となる。また本実施形態では、撮影画像から、被写体が見易い状態の投稿用画像を自動的に生成するので画像編集を行うユーザの作業負担を軽減できる。

【0034】

本実施形態では、撮影画像から検出した被写体に基づいて設定されたクリッピング範囲に対して、図６Ｂ及び図６Ｃ、或いは、図７Ｂ及び図７Ｃに示すように拡張及び縮小を行うことによってクリッピング範囲の候補を生成する構成を例に説明したが、この構成に限定されない。例えば、図６Ａに示すクリッピング範囲に対して、上方向に３０画素拡張し、右側を３０画素縮小することによって300×300画素の画像サイズ（アスペクト比が１：１）のクリッピング範囲の候補を生成してもよい。また、図６Ａに示すクリッピング範囲に対して、上方向及び下方向に１５画素ずつ拡張し、左側及び右側を１５画素ずつ縮小することによって300×300画素の画像サイズ（アスペクト比が１：１）のクリッピング範囲の候補を生成してもよい。このようにクリッピング範囲の候補は、各種の方法で生成することができる。なお、各候補に対して行うスコア算出処理による処理負荷を考慮し、適切な数の候補を生成し、各候補に対するスコアを算出して最適なクリッピング範囲を特定すればよい。

【0035】

本実施形態では、クリッピング範囲の各候補に対するスコアに基づいて最適なクリッピング範囲を所定のルールに従って自動的に特定して投稿用画像を生成する構成を例に説明したが、この構成に限定されない。例えば、スコアが高いクリッピング範囲の候補を複数特定してユーザに提示し、ユーザが複数の候補から最適なクリッピング範囲を選択する構成とすることができる。図８は画像編集処理手順の他の例を示すフローチャート、図９は画面例を示す模式図である。図８に示す処理は、図３に示す処理中のステップＳ２７，Ｓ２８の間にステップＳ５１～Ｓ５３を追加したものである。図３と同じステップについては説明を省略する。なお、図８では、図３中のステップＳ１１～Ｓ２５の図示を省略している。

【0036】

図８に示す画像編集処理では、制御部１１は、ステップＳ２７の処理後、クリッピング範囲の各候補に対して算出したスコアに基づいて、スコアが高い複数のクリッピング範囲の候補を選択する（Ｓ５１）。例えば制御部１１は、面積に関するスコアが高い順に所定数のクリッピング範囲、位置に関するスコアが高い順に所定数のクリッピング範囲、或いは、面積に関するスコア及び位置に関するスコアが共に高い順に所定数のクリッピング範囲を選択してもよい。ここでも制御部１１は、面積に関するスコア及び位置に関するスコアのそれぞれに重み付けを行い、両方のスコアを加味した総合スコアを算出し、総合スコアが高い順に所定数のクリッピング範囲を選択してもよい。スコアが高いクリッピング範囲の候補を選択する際のルールも予め設定されて記憶部１２に記憶されている。

【0037】

制御部１１は、選択した複数のクリッピング範囲の候補を表示し、これらの候補から最適な（適切な）クリッピング範囲の選択を受け付けるための選択画面を生成して表示部１５に表示する（Ｓ５２）。図９は選択画面例を示しており、図９に示す画面は、３つのクリッピング範囲の候補について、それぞれのクリッピング範囲に基づいて生成された投稿用画像を表示する。なお、選択画面は、各クリッピング範囲の候補に対応する投稿用画像に対応付けて、それぞれ算出したスコア（面積に関するスコア及び位置に関するスコア）を表示してもよい。この場合、各クリッピング範囲の候補に対するスコアをユーザに提示でき、ユーザは、スコアに基づいて各投稿用画像の評価を行うことができる。選択画面は、表示された投稿用画像のうちの１つの選択を受け付けるように構成されており、選択された１つの投稿用画像での投稿を指示するための投稿ボタンを有する。なお、図９に示す画面では、左下の投稿用画像（クリッピング範囲）が選択された状態を示している。ユーザは、選択画面に表示された投稿用画像のいずれかを選択して投稿ボタンを操作することにより、選択した投稿用画像での投稿を指示する。

【0038】

制御部１１は、選択画面において入力部１４を介していずれかのクリッピング範囲（投稿用画像）に対する選択を受け付けたか否かを判断しており（Ｓ５３）、受け付けていないと判断した場合（Ｓ５３：ＮＯ）、選択画面の表示を継続して待機する。いずれかのクリッピング範囲に対する選択を受け付けたと判断した場合（Ｓ５３：ＹＥＳ）、制御部１１は、選択されたクリッピング範囲を最適な（適切な）クリッピング範囲に特定し（Ｓ２８）、特定したクリッピング範囲に基づいて投稿用画像を生成する（Ｓ２９）。

【0039】

上述した処理では、撮影画像から投稿用画像を生成するためのクリッピング範囲について、被写体の撮影位置及び撮影サイズに基づいて適切な候補を複数選択してユーザに提示できる。ユーザは、複数のクリッピング範囲（投稿用画像）の候補から任意のクリッピング範囲を選択することができる。よって、指定されたアスペクト比を有すると共に、被写体の撮影領域が画像中央に位置しサイズが大きい投稿用画像の候補から、ユーザの好みの投稿用画像が選択されてＳＮＳ等に投稿することが可能となる。

【0040】

（実施形態２）
被写体（対象物）の撮影画像から投稿用画像を生成するためのクリッピング範囲を設定する際に、クリッピング範囲に含まれる被写体の各部位の領域を考慮する情報処理装置について説明する。本実施形態の情報処理装置は、実施形態１の情報処理装置１０と同様の構成を有するので、構成についての詳細な説明は省略する。なお、本実施形態の情報処理装置１０は、図１に示す実施形態１の構成に加えて、記憶部１２に、被写体となる対象物に対して各対象物の部位に関する情報が登録された辞書ＤＢ（データベース）を記憶している。図示は省略するが、辞書ＤＢは、例えば犬に対して、犬の手足、犬の目、犬の口、犬の鼻等の用語が予め登録されている。

【0041】

本実施形態の情報処理装置１０において、制御部１１は、図３に示す処理と同様の処理を実行する。なお、図３に示す画像編集処理において、スコア算出処理は図４に示す処理と若干異なる。図１０は実施形態２のスコア算出処理手順の一例を示すフローチャート、図１１はスコア算出処理を説明するための模式図である。図１０に示す処理は、図４に示す処理中のステップＳ４１の前にステップＳ６１～Ｓ６２を追加したものである。図４と同じステップについては説明を省略する。

【0042】

本実施形態のスコア算出処理において、制御部１１は、図３中のステップＳ１６，Ｓ１８，Ｓ２０，Ｓ２２，Ｓ２４，Ｓ２６で拡張又は縮小した後のクリッピング範囲（調整後のクリッピング範囲）について、クリッピング範囲に含まれる被写体の各部位に基づくスコアを算出する。具体的には、制御部１１（部位検出部）は、クリッピング範囲内の画像に対してセグメンテーションを行い、被写体の部位毎に領域を分類（クラス分類）する（Ｓ６１）。例えば制御部１１は、図３中のステップＳ１２において、Ｍａｓｋ Ｒ－ＣＮＮを用いて撮影画像から被写体領域を検出すると共に、検出した被写体領域に対してセグメンテーションを行って被写体の部位毎にクラス分類していた場合、クラス分類結果に基づいて、クリッピング範囲内の画像における各部位の領域を特定できる。図１１Ａの左側に示すクリッピング範囲では、図１１Ａの右側に黒色（背景）以外で示す犬の各部位の領域（部位領域）が特定されている。図１１Ａでは、クリッピング範囲内に犬の手足、目、口、鼻、首、顔、胴体が検出されている。

【0043】

制御部１１は、クリッピング範囲内の画像における各部位領域に基づいて、被写体の部位に関するスコアを算出する（Ｓ６２）。例えば制御部１１は、クリッピング範囲に含まれる各部位領域が、辞書ＤＢに被写体（対象物）に対応付けて記憶してある部位であるか否かを判断し、辞書ＤＢに記憶してある部位について１を加算し、辞書ＤＢに記憶されていない部位について１を減算してスコアを算出する。図１１Ａに示す例では、クリッピング範囲内に犬の手足、目、口及び鼻が含まれているので、被写体の部位に関するスコアとして４．０が算出される。図１１Ｂに示す例では、犬の手足、口及び鼻がそれぞれ一部しか含まれておらず、クリッピング範囲内に犬の目のみが含まれているので、被写体の部位に関するスコアとして１．０が算出される。なお、被写体の各部位についてクリッピング範囲に一部しか含まれないか全部含まれているかの判断は、例えばクリッピング範囲の内側及び外側の画像に基づいて行われる。例えばクリッピング範囲の輪郭が、被写体の各部位領域上にある場合、この部位は一部のみがクリッピング範囲に含まれる部位であると判断できる。図１１Ｃに示す例では、犬の手足、目、口及び鼻に加えて、画像の右下の領域（図１１Ｃの右側の画像では閉曲線で囲んだ領域）に被写体（犬）以外のもの（ここでは猫）が含まれているので、被写体の部位に関するスコアとして３．０が算出される。これにより、クリッピング範囲内に含まれる被写体の部位の数が多いほど、また、被写体以外のものが含まれないほど、被写体の部位に関するスコアとして高いスコアが算出される。

【0044】

その後、制御部１１は、図４に示すステップＳ４１～Ｓ４８と同様の処理を行う。これにより、クリッピング範囲の各候補について、被写体の部位に関するスコア、被写体領域の面積に関するスコア、被写体領域の位置に関するスコアが算出される。よって、本実施形態では、制御部１１は、ステップＳ６２で算出した被写体の部位に関するスコアと、ステップＳ４３で算出した面積に関するスコアと、ステップＳ４７で算出した位置に関するスコアとを、調整後のクリッピング範囲に対応付けて記憶する（Ｓ４８）。

【0045】

また本実施形態では、図３中のステップＳ２８において、制御部１１は、クリッピング範囲の各候補に対して算出した、被写体の部位に関するスコア、被写体領域の面積に関するスコア、被写体領域の位置に関するスコアに基づいて、最適な（適切な）クリッピング範囲を特定する（Ｓ２８）。ここでは制御部１１は、被写体の部位に関するスコアが最高のクリッピング範囲、面積に関するスコアが最高のクリッピング範囲、位置に関するスコアが最高のクリッピング範囲、或いは、３つのスコアが共に最高のクリッピング範囲を最適なクリッピング範囲に特定してもよい。また制御部１１は、３つのスコアのそれぞれに重み付けを行い、３つのスコアを加味した総合スコアを算出し、総合スコアが最高のクリッピング範囲を最適なクリッピング範囲に特定してもよい。

【0046】

上述した処理により、本実施形態の情報処理装置１０では、撮影画像から、指定されたアスペクト比を有すると共に、被写体の部位を多く含み、被写体の撮影領域がより画像中央に位置し、サイズがより大きい投稿用画像を生成することができる。これにより、本実施形態においても、被写体を見易い状態で表示することができる画像をＳＮＳ等に投稿することが可能となる。また、本実施形態においても、図８及び図９に示した変形例の適用が可能であり、適用した場合には同様の効果が得られる。

【0047】

本実施形態では、上述した実施形態１と同様の効果が得られる。また本実施形態では、指定されたアスペクト比を有すると共に、被写体に設定された部位をより多く含み、被写体の撮影領域がより画像中央に位置し、サイズがより大きい投稿用画像を生成することができる。よって、被写体の各部位がより見易く表示された画像をＳＮＳ等に投稿することが可能となる。本実施形態においても、上述した各実施形態で適宜説明した変形例の適用が可能である。

【0048】

（実施形態３）
画像（画像データ）及び画像に対応付けられたテキスト（テキストデータ）に基づいて、テキストで述べられている対象物（被写体）に対する視認性が高い領域を画像から抽出（クリッピング）する情報処理装置について説明する。本実施形態の情報処理装置は、実施形態１の情報処理装置１０と同様の構成を有するので、構成についての詳細な説明は省略する。

【0049】

以下に、本実施形態の情報処理装置１０が、画像及びテキストをそれぞれのレイアウト枠にレイアウトしてページレイアウトを生成する処理について説明する。図１２はレイアウト処理を説明するための模式図である。本実施形態の情報処理装置１０は、レイアウト対象の画像及びテキストと、画像及びテキストを配置すべきレイアウト枠がそれぞれ設定されたレイアウトデータとを入力データとする。テキストは、画像の内容に関する情報が記載されたテキストである。本実施形態では、レイアウト対象を２つの画像及び１つのテキストとするが、画像及びテキストの数はこれらに限定されない。本実施形態の情報処理装置１０は、レイアウト対象の画像のそれぞれから、テキストの内容に応じた被写体の視認性が良好であり、且つ、割り当てられたレイアウト枠のアスペクト比と同じアスペクト比の領域を抽出してレイアウト用画像を生成する。これにより、テキストに記載された内容に応じた被写体が見易い状態で表示されるレイアウト用画像が生成される。また情報処理装置１０は、生成したレイアウト用画像とテキストとをそれぞれのレイアウト枠に配置することによりページレイアウト（出力データ）を生成する。よって、画像及びテキストをユーザが読み易い状態で配置したページレイアウトが生成される。

【0050】

図１３～図１５はレイアウト処理手順の一例を示すフローチャート、図１６～図１９はレイアウト処理を説明するための模式図である。図１５に示すスコア算出処理は、図１４に示すレイアウト処理中の「スコア算出処理」である。図１３～図１４に示す処理は、図３に示す画像編集処理中のステップＳ１１の前にステップＳ７１～Ｓ７５を追加し、ステップＳ２９の代わりにステップＳ７６～Ｓ７８を追加したものである。また図１５に示す処理は、図４に示す処理中のステップＳ４１の前にステップＳ８１～Ｓ８２を追加したものである。図１３～図１５に示す処理において、図３～図４と同じステップについては説明を省略する。

【0051】

本実施形態の情報処理装置１０では、ユーザは、画像及びテキストを含むページレイアウトを生成する場合、入力部１４を介して所定の操作を行い、レイアウト対象の画像及びテキストとレイアウトデータとを指定し、ページレイアウトの生成処理の実行指示を行う。情報処理装置１０の制御部１１（テキスト取得部）は、入力部１４を介してページレイアウトの生成処理の実行指示を受け付けた場合、指定されたテキストを取得する（Ｓ７１）。例えばテキストが記憶部１２に記憶してある場合、制御部１１は、テキストを記憶部１２から読み出す。テキストは、入力部１４を介したユーザの操作によって生成されたテキストに限定されず、他の装置からネットワーク経由又は可搬型記憶媒体１ａ経由で記憶部１２に記憶されたテキストであってもよい。

【0052】

制御部１１（出現頻度算出部）は、取得したテキストに出現する各単語の出現頻度をそれぞれ算出する（Ｓ７２）。例えば制御部１１は、形態素解析等の手法を用いてテキストから各単語を抽出し、各単語について出現回数を計数する。そして制御部１１は、各単語について、例えば以下の（１）式を用いて出現頻度を算出する。図１６Ａの上側にはテキストの一例を示しており、図１６Ａの下側にはテキストに含まれる各単語の出現頻度を示すグラフを示している。図１６Ａの下側のグラフの横軸はテキストに含まれる単語を示し、縦軸は各単語の出現頻度を示す。図１６Ａに示す例では、「犬」の出現頻度として０．７が算出され、「飼い主」「草原」「水」の出現頻度として０．１が算出されている。また図１６Ｂに示す例では、「犬」の出現頻度として０．５が算出され、「猫」の出現頻度として０．３が算出され、「飼い主」「水」の出現頻度として０．１が算出されている。

【0053】

単語の出現頻度＝単語の出現回数／全単語の総出現回数 …（１）

【0054】

制御部１１（対象物特定部）は、テキスト中の各単語の出現頻度に基づいて、テキストが示す画像中の対象物（被写体）を特定する（Ｓ７３）。例えば制御部１１は、出現頻度が、予め設定された閾値（例えば０．２８）以上である単語を特定し、特定した単語が示す対象物を特定する。図１６Ａに示す例では、出現頻度が閾値以上である単語（対象物）は「犬」だけであり、制御部１１は、「犬」を特定する。また図１６Ｂに示す例では、出現頻度が閾値以上である単語（対象物）は「犬」及び「猫」であり、制御部１１は「犬」及び「猫」を特定する。

【0055】

また制御部１１は、テキスト中に出現する各単語から、テキストが示す画像に関する用語を生成する（Ｓ７４）。例えば制御部１１は、係り受け解析等の手法を用いて、テキスト中に出現する各単語の内容を考慮して各単語を組み合わせることによって用語を生成する。図１６Ａに示すテキストの例では、図１７に示すように「犬の手足」「犬の目」「犬の口」「犬の鼻」「飼い主」「草原」「水」等の用語が生成される。なお、用語は、例えば実施形態２の情報処理装置１０が使用した辞書ＤＢを用いて生成されてもよい。

【0056】

そして制御部１１は、生成した各用語に対して、各単語の出現頻度に基づく関連度を対応付ける（Ｓ７５）。図１６Ａに示す例では、単語「犬」の出現頻度が０．７であるので、「犬の手足」「犬の目」「犬の口」「犬の鼻」等の犬に関する用語に対しては０．７の関連度を対応付ける。また、単語「飼い主」「草原」「水」の出現頻度はそれぞれ０．１であるので、これらの用語に対しては０．１の関連度を対応付ける。

【0057】

その後、制御部１１は、図３に示すステップＳ１１～Ｓ２８と同様の処理を行う。なお、本実施形態では、ステップＳ１１において、制御部１１は、指定されたレイアウト対象の画像を取得する。またステップＳ１２において、制御部１１（検知部）は、取得した画像に対して物体検出処理を行い、ステップＳ７３で特定した対象物（被写体）を検知する。またステップＳ１３において、制御部１１は、レイアウト対象の画像に対して、ステップＳ１２で検出した対象物を含むクリッピング範囲を設定する。これにより、本実施形態では、テキストの内容に関連する対象物の領域をクリッピング範囲に設定することができる。また本実施形態においても、図５Ｂ中に破線矩形で示すように、画像中の対象物を含む領域がクリッピング範囲に設定される。なお、図１８Ａに示すように、ステップＳ７３で複数の対象物が特定された場合、制御部１１は、図１８Ｂに示すように、複数の対象物を含む外接矩形の領域をクリッピング範囲に設定する。この場合、テキストで述べられている複数の対象物を含む領域をクリッピング範囲に設定できる。またステップＳ１４において、制御部１１は、ステップＳ１３で設定したクリッピング範囲のアスペクト比と、ここでのレイアウト対象の画像に対して指定されたレイアウト枠のアスペクト比とを比較する。

【0058】

図１５に示す本実施形態のスコア算出処理において、制御部１１は、図１４中のステップＳ１６，Ｓ１８，Ｓ２０，Ｓ２２，Ｓ２４，Ｓ２６で拡張又は縮小した後（調整後）のクリッピング範囲について、レイアウト対象のテキストとの関連度に関するスコアを算出する。具体的には、制御部１１は、クリッピング範囲内の画像に対してセグメンテーションを行い、対象物の部位毎に領域を分類（クラス分類）する（Ｓ８１）。ステップＳ８１の処理は、実施形態２で説明した図１０中のステップＳ６１の処理と同様である。

【0059】

そして制御部１１（関連度算出部）は、クリッピング範囲内の画像における各部位領域に基づいて、このクリッピング範囲内の画像とテキストとの関連度に関するスコアを算出する（Ｓ８２）。図１９Ａに示す例では、クリッピング範囲内に犬の手足、目、口及び鼻が含まれており、これらの部位の用語には０．７の関連度が対応付けられているので、図１９Ａに示すクリッピング範囲内の画像とテキストとの関連度に関するスコアとして２．８が算出される。図１９Ｂに示す例では、犬の手足、口及び鼻がそれぞれ一部しか含まれておらず、クリッピング範囲内に犬の目のみが含まれており、「犬の目」の用語には０．７の関連度が対応付けられているので、図１９Ｂに示すクリッピング範囲内の画像とテキストとの関連度に関するスコアとして０．７が算出される。図１９Ｃに示す例では、犬の手足、目、口及び鼻に加えて、画像の右下の領域（図１９Ｃの右側の画像では閉曲線で囲んだ領域）に対象物（犬）以外のもの（ここでは猫）が含まれており、対象物以外のものの用語には－１．０の関連度が対応付けられているので、図１９Ｃに示すクリッピング範囲内の画像とテキストとの関連度に関するスコアとして１．８が算出される。これにより、クリッピング範囲内に含まれる、テキストから生成された用語の数が多いほど、また、対象物以外のものが含まれないほど、クリッピング範囲内の画像とテキストとの関連度に関するスコアとして高いスコアが算出される。

【0060】

その後、制御部１１は、図４に示すステップＳ４１～Ｓ４８と同様の処理を行う。これにより、クリッピング範囲の各候補について、クリッピング範囲内の画像とテキストとの関連度に関するスコア、被写体領域（対象物領域）の面積に関するスコア、被写体領域の位置に関するスコアが算出される。よって、本実施形態では、制御部１１は、ステップＳ８２で算出したテキストとの関連度に関するスコアと、ステップＳ４３で算出した面積に関するスコアと、ステップＳ４７で算出した位置に関するスコアとを、調整後のクリッピング範囲に対応付けて記憶する（Ｓ４８）。

【0061】

また本実施形態では、図１４中のステップＳ２８において、制御部１１は、クリッピング範囲の各候補に対して算出した、テキストとの関連度に関するスコア、被写体領域の面積に関するスコア、被写体領域の位置に関するスコアに基づいて、最適な（適切な）クリッピング範囲を特定する（Ｓ２８）。ここでは制御部１１は、テキストとの関連度に関するスコアが最高のクリッピング範囲、面積に関するスコアが最高のクリッピング範囲、位置に関するスコアが最高のクリッピング範囲、或いは、３つのスコアが共に最高のクリッピング範囲を最適なクリッピング範囲に特定してもよい。また制御部１１は、３つのスコアのそれぞれに重み付けを行い、３つのスコアを加味した総合スコアを算出し、総合スコアが最高のクリッピング範囲を最適なクリッピング範囲に特定してもよい。

【0062】

本実施形態では、ステップＳ２８の処理後、ステップＳ１１で取得したレイアウト対象の画像から、ステップＳ２８で特定した最適なクリッピング範囲内の画像（画素）を抽出してレイアウト用画像を生成する（Ｓ７６）。制御部１１は、生成したレイアウト用画像を記憶部１２に記憶しておく。そして制御部１１は、編集処理が未処理の画像が有るか否かを判断し（Ｓ７７）、未処理の画像が有ると判断した場合（Ｓ７７：ＹＥＳ）、ステップＳ１１の処理に戻り、未処理のレイアウト対象の画像を取得し（Ｓ１１）、取得した画像に対して、ステップＳ１２～Ｓ２８及びＳ７６の処理を行う。これにより、レイアウト対象の画像のそれぞれからレイアウト用画像を生成できる。

【0063】

未処理の画像がないと判断した場合（Ｓ７７：ＮＯ）、制御部１１は、指定されたレイアウトデータに基づいて、レイアウト対象のテキストと、ステップＳ７６で生成したレイアウト用画像とを配置してページレイアウトを生成する（Ｓ７８）。具体的には、制御部１１は、レイアウト用画像のそれぞれを対応するレイアウト枠にはめ込み、レイアウト対象のテキストを対応するレイアウト枠にはめ込むことによりページレイアウトを生成する。なお、テキストを所定のレイアウト枠にはめ込む場合、文字サイズの変更及び改行の挿入等を適宜行ってもよい。

【0064】

上述した処理により、レイアウト対象の画像から、レイアウトデータで指定されたアスペクト比を有すると共に、テキストの内容に関連する対象物（被写体）の領域がより画像中央に位置し、サイズがより大きいレイアウト用画像を生成することができる。これにより、テキストで述べられている対象物が見易い位置及びサイズで表示された画像を生成することができ、このような画像を各種の媒体で使用することにより視認性が高く読み易いページレイアウトを生成することができる。

【0065】

本実施形態では、上述した各実施形態と同様の効果が得られる。また本実施形態では、画像及びテキストを含むページレイアウトを生成する際に、画像から、テキストの内容に沿ったクリッピング範囲のレイアウト用画像を生成することができる。よって、テキストの内容に適した対象物がより見易く表示された画像を各種の媒体で使用することが可能となる。また本実施形態では、レイアウト対象の画像から、対象物が見易い状態のレイアウト用画像を自動的に生成するので画像編集を行うユーザの作業負担を軽減できる。本実施形態においても、上述した各実施形態で適宜説明した変形例の適用が可能である。

【0066】

上述した各実施形態において、情報処理装置１０が画像から投稿用画像又はレイアウト用画像を生成する処理を、ネットワークに接続された所定のサーバで行うように構成してもよい。この場合、情報処理装置１０の制御部１１は、処理対象の画像、或いは、レイアウト対象の画像及びテキストをネットワーク経由で所定のサーバへ送信し、所定のサーバで生成された投稿用画像又はレイアウト用画像を取得してもよい。このような構成におけるサーバは、サーバコンピュータ又はパーソナルコンピュータを用いて実現されてもよく、１台のサーバ内に設けられた複数の仮想マシンを用いて実現されてもよく、クラウドサーバを用いて実現されてもよい。

【0067】

今回開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。

【符号の説明】

【0068】

１０ 情報処理装置
１１ 制御部
１２ 記憶部
１３ 通信部
１４ 入力部
１５ 表示部
１６ カメラ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】