(58)【調査した分野】(Int.Cl.,DB名)
【背景技術】
【0002】
現在、インターネットの広範囲な普及は、有線を越えて無線の移動通信技術への急成長をもたらし、実生活においても、携帯電話、PDA、ハンドヘルド(Hand‐Held)コンピュータなどの携帯用端末を介するインターネット上での情報検索が時間と場所を問わず可能となっている。
【0003】
ウェブ(Web)またはアプリケーション(Application)のデジタル媒体においても、マガジン(magazine)やイーブック(e‐book)のように様々なレイアウト(layout)でコンテンツを消費しようとする要求が存在する。例えば、フリップボードのようなタブレット用アプリケーションでは、イメージをレイアウトとし、既存のウェブコンテンツを消費できるように支援する。
【0004】
この際、ウェブコンテンツに含まれた写真イメージは、レイアウトにおいて重要な役割を行い、原本イメージをサムネイルイメージ形態で露出させるために原本写真イメージの一部をクロップ(crop)するか写真上にテキストまたは他の写真をオーバーレイ(overlay)することで様々なレイアウトを生成する。
【0005】
一方、従来このようなサムネイルイメージを製作する際に、原本イメージの縦横比とサムネイルの縦横比とが一致していない場合、写真の主要領域をサムネイルイメージに含ませるために手作業でサムネイルイメージを生成したり、編集デザイナーが直接イメージを加工して編集することでレイアウトを生成した。このように手作業で製作することなく自動化する場合でも原本写真イメージに単純にリサイジング(re‐sizing)のみを施してコンテンツレイアウトに適用した。
【0006】
サムネイルイメージを製作するにあたり、このように手動で行う編集作業は多くのリソースを必要とするだけでなく、様々なディスプレイ画面においてさらに他の形態、サイズおよび画面比(ratio)(すなわち、縦横比)のサムネイルイメージが必要な場合にすぐ適用することができず、イメージを再編集しなければならないという問題点がある。
【0007】
一方、このような原本イメージからサムネイルなどを自動生成するための技術として、特許文献1には、ビデオから比較的短く低解像度のアニメーション化したビデオサムネイルを生成する方法が開示されている。
【0008】
しかし、このようにイメージを自動リサイジングする場合にはイメージが位置する特定のコンテンツレイアウトの割合が合わないことや、イメージの主要領域がリサイジングされてスマートフォンのような小さい画面では可読性に劣る現象が生じることがある。
【0009】
特に、スマートフォン、タブレット、スマートTVの登場に伴い様々なサイズのスクリーンが登場したため、様々な画面サイズに合う動的なレイアウトを自動生成できる技術の必要性が要求されている。
【発明の概要】
【発明が解決しようとする課題】
【0011】
本発明の目的は、編集対象イメージを分析して主要領域と余白領域とに区分し、主要領域を中心にイメージを自動編集することにより、様々なレイアウト構成に適するイメージを自動生成できるイメージ分析によるイメージ自動編集装置、方法およびコンピュータ読み取り可能な記録媒体を提供することにある。
【0012】
また、本発明の他の目的は、編集対象イメージを分析して主要領域と余白領域とに区分し、主要領域をクロップしてイメージを自動編集することにより、様々なレイアウト構成に適するイメージを自動生成できるイメージ分析によるイメージ自動編集装置、方法およびコンピュータ読み取り可能な記録媒体を提供することにある。
【0013】
また、本発明のさらに他の目的は、編集対象イメージを分析して主要領域と余白領域とに区分し、余白領域にテキストをオーバーレイ(overlay;重ねる)させることにより、様々なレイアウト構成に適するイメージを自動生成できるイメージ分析によるイメージ自動編集装置、方法およびコンピュータ読み取り可能な記録媒体を提供することにある。
【0014】
また、本発明のさらに他の目的は、複数の編集対象イメージを分析して主要領域と余白領域とに区分し、各編集対象イメージの主要領域をクロップした後、複数のクロップしたイメージをオーバーレイさせることにより、様々なレイアウト構成に適するイメージを自動生成できるイメージ分析によるイメージ自動編集装置、方法およびコンピュータ読み取り可能な記録媒体を提供することにある。
【0015】
また、本発明のさらに他の目的は、編集対象イメージに別の余白領域を追加し、追加した余白領域にテキストをオーバーレイさせることにより、様々なレイアウト構成に適するイメージを自動生成できるイメージ分析によるイメージ自動編集装置、方法およびコンピュータ読み取り可能な記録媒体を提供することにある。
【課題を解決するための手段】
【0016】
上記の本発明の目的を果たし、後述する本発明の特有の効果を果たすための、本発明の特徴的な構成は下記のとおりである。
【0017】
本発明の一側面によれば、イメージ分析によるイメージ自動編集装置は、少なくとも一つの編集対象イメージを格納するコンテンツ情報データベースと、コンテンツ情報データベースから少なくとも一つの編集対象イメージの提供を受け、提供された編集対象イメージの全体領域のうち少なくとも一つの主要領域を検出するイメージ分析モジュールと、検出した主要領域を含む編集イメージを自動生成するイメージ編集モジュールと、を含む。
【0018】
好ましくは、編集装置は、編集イメージが配置されるレイアウトの構成情報を格納するイメージ構成情報データベースをさらに含み、イメージ編集モジュールは、イメージ構成情報データベースに格納された構成情報に基づいて編集イメージを自動生成する。
【0019】
好ましくは、イメージ分析モジュールは、編集対象イメージの全体領域のうち少なくとも一つのオブジェクトを検出し、検出したオブジェクトを含む領域を主要領域と判断するオブジェクト検出部を含む。
【0020】
好ましくは、イメージ分析モジュールは、編集対象イメージ内の各ピクセルに対して焦点値および対比値を算出し、算出した焦点値および対比値に基づいて顕著性値を算出し、算出した顕著性値の分布によって少なくとも一つの主要領域を検出するパターン分析部を含む。
【0021】
好ましくは、イメージ分析モジュールは、編集対象イメージの全体領域のうち検出した主要領域以外の領域を余白領域と判断する余白検出部を含む。
【0022】
好ましくは、余白検出部は、検出した主要領域以外の領域を第1余白領域と設定し、第1余白領域において類似したピクセル値を有する複数の領域に画面分割を行い、各分割した領域のうち予め設定した第1しきい値より低いピクセル値の変化率を有し、かつ予め設定した第2しきい値より高い大きさまたは形状を有する領域を第2余白領域と設定する。
【0023】
好ましくは、イメージ編集モジュールは、イメージ分析モジュールで検出した主要領域を編集対象イメージからクロップするイメージクロップ部を含む。
【0024】
好ましくは、イメージ編集モジュールは、余白領域にテキストをオーバーレイさせるテキストオーバーレイ部を含む。
【0025】
好ましくは、イメージ編集モジュールは、主要領域が検出された複数の編集対象イメージに対して第1イメージの余白領域に第2イメージの主要領域をオーバーレイさせるイメージオーバーレイ部を含む。
【0026】
好ましくは、イメージ編集モジュールは、全体領域のうち主要領域でない領域にテキストをオーバーレイする空間が十分でない場合、編集対象イメージに余白領域をさらに追加させる余白追加部を含む。
【0027】
好ましくは、イメージ編集モジュールは、主要領域を含む編集イメージの大きさまたは縦横比を構成情報に応じてリサイジングするイメージリサイジング部を含む。
【0028】
本発明の他の側面によれば、イメージ分析によるイメージ自動編集方法は、イメージ分析モジュールから編集対象イメージの提供を受ける段階と、イメージ分析モジュールから提供された編集対象イメージの全体領域のうち少なくとも一つの主要領域を検出する段階と、イメージ編集モジュールで検出した主要領域を含む編集イメージを自動生成する段階と、を含む。
【0029】
一方、イメージ分析によるイメージ自動編集手順を行うための情報は、サーバコンピュータによって読み取り可能な記録媒体に格納することができる。このような記録媒体は、コンピュータシステムによって実行されるようにプログラム及びデータが格納される全ての種類の記録媒体を含む。その例としては、ROM(Read Only Memory)、RAM(Random Access Memory)、CD(Compact Disk)、DVD(Digital Video Disk)−ROM、磁気テープ、フロッピー(登録商標)ディスク、光データ格納装置などが挙げられ、また、搬送波(carrir wave)(例えば、インターネットを介した伝送)の形態に具現されるものも含まれる。また、このような記録媒体は、ネットワークで接続されたコンピュータシステムに分散され、分散方式でコンピュータ読み取り可能なコードが格納されて実行することができる。
【発明の効果】
【0030】
上述したように、本発明によれば、編集しようとする対象イメージを手作業でなく自動で特定のコンテンツレイアウトに合わせて編集することにより、手作業によるイメージ編集に伴う欠点を解消することができるという利点がある。
【0031】
また、様々な形態、大きさ、縦横比を有するサムネイルイメージが必要な場合、本発明により該条件に適するサムネイルイメージを自動編集することにより、様々な画面サイズに合う動的なレイアウトを自動生成することができるという利点がある。
【0032】
また、本発明によれば、写真イメージの主要領域を自動判断して編集することにより、主要部分が脱落しないとともに、リサイジング後にも可読性に優れたイメージを自動生成することができるという利点がある。
【0033】
また、本発明によれば、写真において重要でない領域を自動分析し、写真や関連コンテンツのキャプション、タイトル(title)、記事内容などを重要でない領域にオーバーレイさせることにより、効果的なサムネイルイメージを自動生成することができるという利点がある。
【0034】
また、本発明によれば、複数の編集対象イメージの主要領域を自動判断し、複数の主要領域をクロップ(crop)して互いにオーバーレイさせることにより、動的なマガジンのような様々なレイアウトを自動生成することができるという利点がある。
【発明を実施するための形態】
【0036】
後述する本発明についての詳細な説明は、本発明が実施できる特定実施形態を例示として示す添付図面を参照する。これらの実施形態は、当業者が本発明を十分に実施することができるように詳細に説明される。本発明の多様な実施形態は、互いに異なるが、相互排他的な必要はないことを理解すべきである。例えば、ここに記載されている特定形状、構造及び特徴は、一実施形態に関連して本発明の思想及び範囲を外れずに他の実施形態に具現されることができる。また、それぞれの開示された実施形態内の個別構成要素の位置または配置は、本発明の思想及び範囲を外れずに変更されることができることを理解すべきである。従って、後述する詳細な説明は限定的な意味で扱うものでなく、本発明の範囲は、適切に説明されるならば、その請求範囲が主張するものと均等な全ての範囲と一緒に、添付した請求範囲によってのみ限定される。図面において、類似した参照符号は、様々な側面にわたって同一または類似した機能を示す。
【0037】
本発明は、写真などのイメージから主要部分の位置を自動検出し、検出した主要部分を中心に所望のレイアウトに合わせてイメージを自動編集できるイメージ分析によるイメージ自動編集装置および方法を開示する。
【0038】
例えば、本発明の実施形態により写真の主要部分の位置を自動検出した後、検出した主要部分をクロップ(crop)し、製作しようとするレイアウトに合わせて縦横比を調節してサムネイルイメージを生成することにより、主要部分が脱落することなく所望のレイアウトのイメージを自動生成することができる。
【0039】
また、本発明の実施形態により写真などのイメージにおいて重要でない領域(例えば、余白領域)を自動分析し、該イメージ関連コンテンツのキャプション(caption)、タイトル(title)、記事内容などを重要でない領域にオーバーレイさせてレイアウトするか、他のイメージとオーバーレイさせることにより、動的なマガジンなどの様々な形態のレイアウトを自動生成することができる。
【0040】
一方、後述する本発明では、自動分析および編集によって所望のイメージ(例えば、サムネイルイメージ)などを生成するための編集対象イメージ(すなわち、編集前のイメージ)を「原本イメージ」とし、原本イメージは写真だけでなく、絵、マンガなどを含む最も広い概念である。
【0041】
また、後述する本発明における「クロップ(crop)」とは、特定のイメージの全体領域から選択された一部領域(例えば、主要領域)を切り取ることを意味し、「オーバーレイ(overlay)」とは、複数のイメージをオーバーレイさせて編集することを意味する。
【0042】
以下、本発明が属する技術分野において通常の知識を有する者が本発明を容易に実施できるようにするために、本発明の好ましい実施形態について添付図面を参照して詳細に説明する。
【0043】
まず、
図1および
図2を参照して本発明の実施形態に係る概略および装置の構造について説明し、次に、
図3を参照して本発明の実施形態に係る手順について詳細に説明する。
【0044】
イメージ自動編集の概略
図1は本発明に係るイメージ分析によるイメージ自動編集の概略を示す図である。
図1を参照すると、ウェブページを構成するイメージの編集のための原本イメージ(すなわち、編集対象イメージ)は、コンテンツ情報(すなわち、アーティクル(article))データベースに格納される。一方、コンテンツ情報データベースには、原本イメージだけでなく、該原本イメージ関連コンテンツのキャプション、タイトル、記事内容などが共にリンクされて格納されてもよい。
【0045】
コンテンツ情報データベースに格納された分析対象コンテンツのイメージの提供(feeding)を受けると、様々な方法でイメージ分析が行われる。この際、本発明の実施形態により原本イメージを分析して、顔または物体などが含まれた主要領域と、主要領域でない余白領域とを検出する。
【0046】
例えば、原本イメージに含まれたオブジェクトを様々な方法で検出し、検出したオブジェクトが含まれた領域を主要領域と設定する。この際、全体イメージのうち主要領域と設定した領域以外の残りの領域は余白領域と設定することができる。一方、このように全体イメージ領域が主要領域と余白領域とに区分されると、主要領域の位置、色、明るさ、最適の縦横比などの情報と、余白領域の位置、色、明るさ、最適の縦横比などの情報が生成されることができる。このように、生成された情報は、その後,イメージ編集をする時に参照することができる。
【0047】
また、主要領域と余白領域とを区分するための他の実施形態としてパターン分析方法を適用することができる。例えば、イメージ内の各ピクセルの焦点値および対比値により顕著性(Saliency)値を算出し、算出した顕著性値の分布により主要領域を検出することができる。
【0048】
一方、余白領域を検出する方法としてのように主要領域を検出した後、残りの領域を余白領域と設定することもでき、後述する方法のように、本発明の実施形態により余白領域を第1余白と第2余白とに区分して、それぞれ異なる編集方法を適用するように具現することもできる。
【0049】
このように、主要領域と余白領域とが区分されると、様々な実施形態によりウェブページなどに適用されるレイアウトに合わせてイメージを編集することができる。したがって、イメージ編集のためにウェブページを構成するレイアウトの情報(例えば、挿入するイメージの大きさ、縦横比、解像度、形状、形態、方向など)を参照して分析されたイメージを編集する。
【0050】
例えば、本発明の第1実施形態により主要領域をクロップしてウェブページに適用するイメージ(例えば、サムネイルイメージ)を製作することができる。この際、クロップしたイメージをさらにリサイジングすることで所望の大きさと割合のイメージを生成することもできる。
【0051】
また、本発明の第2実施形態により分析されたイメージの余白領域にテキストをオーバーレイさせることができる。この際、テキストは、コンテンツ情報データベースに原本イメージとともにリンクされて格納された原本イメージ関連コンテンツのキャプション、タイトル、記事内容などであってもよく、本発明はこれに限定されない。
【0052】
また、本発明の第3実施形態により分析されたイメージの余白領域がテキストをオーバーレイさせるほど十分でない場合、余白領域を自動生成して追加することもできる。したがって、追加した余白領域に第2実施形態と同じテキストまたは異なるテキストなどをオーバーレイさせることで編集イメージを生成することができる。
【0053】
一方、第2および第3実施形態でも、第1実施形態と同様にテキストがオーバーレイされたイメージをリサイジングすることでレイアウトに合う所望の大きさと割合のイメージを生成することができる。
【0054】
また、本発明の第4実施形態により複数の原本イメージを互いにオーバーレイさせることで編集イメージを生成することができる。例えば、二つの原本イメージを互いにオーバーレイさせようとする場合、本発明の実施形態により各原本イメージの主要領域を検出し、各原本イメージの検出した主要領域が重ならないようにして互いにオーバーレイさせることで所望の編集イメージを生成することができる。
【0055】
このように、各実施形態により製作された編集イメージをウェブサーバに伝達し、ウェブサーバで編集イメージをレイアウトに合わせて配置してウェブページを構成する。すなわち、ユーザ端末(例えば、スマートフォン、タブレット、ノートパソコン、PDAなど)の画面サイズに合わせてこれに適するウェブページを構成し、ユーザ端末に提供する。
【0056】
以下、
図2を参照して本発明の実施形態に係る装置について説明し、
図3を参照して本発明の実施形態に係る方法について説明する。
【0057】
<イメージ分析によるイメージ自動編集装置>
図2は本発明の実施形態に係るイメージ分析によるイメージ自動編集装置の詳細構成を示すブロック図である。
図2を参照すると、本発明の実施形態に係るイメージ自動編集装置は、イメージ分析モジュール220と、イメージ編集モジュール230と、を含んで構成されることができる。また、イメージ分析モジュール220は、オブジェクト検出部221と、パターン分析部222と、余白検出部223と、を含んで構成されることができ、イメージ編集モジュール230は、イメージクロップ部231と、テキストオーバーレイ部232と、イメージオーバーレイ部233と、余白追加部234と、イメージリサイジング部235と、を含んで構成されることができる。
【0058】
また、イメージ自動編集装置は、コンテンツ情報データベース210、イメージ構成情報データベース240および編集イメージデータベース250などの少なくとも一つのデータベースを含むことができる。
【0059】
コンテンツ情報データベース210には、編集のための少なくとも一つの原本イメージ(すなわち、編集対象イメージ)が格納され、本発明の実施形態により各原本イメージ関連コンテンツのキャプション、タイトル、記事内容などがともにマッピングされて格納されることもできる。
【0060】
イメージ分析モジュール220では、コンテンツ情報データベース210から編集する原本イメージの提供(feeding)を受け、イメージ分析により全体イメージ領域のうち少なくとも一つの主要領域を検出する機能を行う。この際、本発明の実施形態により選択的に、オブジェクト検出部221によって主要領域を検出してもよく、パターン分析部222によって主要領域を検出してもよい。また、本発明の実施形態により、余白検出部223によって全体イメージ領域のうち少なくとも一つの余白領域を検出してもよい。
【0061】
例えば、イメージ分析モジュール220は、コンテンツ情報データベース210に格納された分析するコンテンツのイメージの提供(feeding)を受けると、後述する様々な方法によってイメージ分析を行う。すなわち、本発明の実施形態により原本イメージを分析して、顔または物体などが含まれた主要領域と主要領域でない余白領域とを検出する。
【0062】
より具体的に説明すると、オブジェクト検出部221では、原本イメージに含まれた少なくとも一つのオブジェクト(例えば、顔、テキスト、物体など)を様々な方法で検出し、検出したオブジェクトが含まれた領域を主要領域と設定する。この際、全体イメージのうち主要領域と設定した領域以外の残りの領域は余白領域と自動設定されるように具現することができる。
【0063】
一方、このように全体イメージ領域が主要領域と余白領域とに区分されると、主要領域の位置、色、明るさ、最適の縦横比などの情報と、余白領域の位置、色、明るさ、最適の縦横比などの情報が生成されることができる。このように、生成された情報は、その後、イメージ編集をする時に参照されることができる。
【0064】
また、主要領域を検出するための他の方法としてパターン分析部222による主要領域検出が行われることもできる。例えば、イメージ内の各ピクセルの焦点値および対比値によって顕著性(Saliency)値を算出し、算出した顕著性値の分布により主要領域を検出することができる。これについては
図5に関する説明部分で後述する。
【0065】
一方、のようにオブジェクト検出部221またはパターン分析部222によって主要領域を検出した後、残りの領域を余白領域と設定することができ、本発明の他の実施形態により余白検出部223によって余白をさらに細分化して検出することもできる。例えば、余白検出部223では、本発明の実施形態により余白領域を第1余白と第2余白とに区分し、第1余白と第2余白がそれぞれ異なる編集方法で編集されるように具現することができる。
【0066】
このように、イメージ分析モジュール220で主要領域と余白領域とが区分されると、イメージ編集モジュール230では、領域が区分された原本イメージを様々な実施形態により(例えば、四つの実施形態により)、ウェブページなどに適用されるレイアウトに合わせてイメージを編集する。すなわち、イメージ編集モジュール230では、イメージ構成情報データベース240に格納されたウェブページを構成するレイアウトの情報(例えば、挿入するイメージの大きさ、縦横比、解像度、形状、形態、方向など)を参照してイメージ分析モジュール220によって分析されたイメージを編集する。
【0067】
例えば、イメージクロップ部231では、本発明の第1実施形態によりイメージ分析モジュール220で区分された主要領域をクロップしてウェブページに適用されるイメージ(例えば、サムネイルイメージ)を製作する。この際、クロップされたイメージをイメージリサイジング部235を介してリサイジングすることで所望の大きさと割合のイメージを生成することもできる。
【0068】
また、テキストオーバーレイ部232では、本発明の第2実施形態によりイメージ分析モジュール220で区分されたイメージの余白領域にテキストをオーバーレイさせることで原本イメージを編集する。この際、テキストは、上述したように、コンテンツ情報データベース210に原本イメージとともにマッピングされて格納された原本イメージ関連コンテンツのキャプション、タイトル、記事内容などであってもよく、本発明はこれに限定されない。
【0069】
また、本発明の第3実施形態により分析されたイメージの余白領域がテキストをオーバーレイさせるほど十分でない場合、余白追加部234では余白領域を自動生成して追加することもできる。これにより、余白追加部234によって追加された余白領域に第2実施形態と同じテキストをオーバーレイさせることで編集イメージを生成することができる。
【0070】
一方、テキストオーバーレイ部232および余白追加部234によって編集されたイメージは、第1実施形態と同様に、イメージリサイジング部235によってリサイジングすることでレイアウトに合う所望の大きさと割合のイメージを生成することができる。
【0071】
また、イメージオーバーレイ部233では、本発明の第4実施形態により複数の原本イメージを互いにオーバーレイさせることで編集イメージを生成することができる。例えば、二つの原本イメージを互いにオーバーレイさせようとする場合、本発明の実施形態により、イメージ分析モジュール220が複数のイメージの提供を受けて各原本イメージの主要領域を検出し、イメージオーバーレイ部233では、各原本イメージの検出した主要領域が互いに重ならないようにしてオーバーレイさせることで所望の編集イメージを生成することができる。
【0072】
このように、各実施形態により、イメージ編集モジュール230によって製作された編集イメージは、編集イメージデータベース250に格納され、格納された編集イメージは、ウェブサーバに適用されて様々な形態のウェブページを構成する。すなわち、上述したように、ユーザ端末(例えば、スマートフォン、タブレット、ノートパソコン、PDAなど)の画面サイズに合わせてこれに適するウェブページを構成し、ユーザ端末に提供することができる。
【0073】
<イメージ分析によるイメージ自動編集方法>
図3は本発明の実施形態に係るイメージ分析によるイメージ自動編集手順を示すフローチャートである。
図3を参照すると、上述したように、本発明の実施形態により提供を受けた原本イメージを分析して主要領域を検出(S301)する。この際、イメージ編集方法として、主要領域をクロップして編集しようとする場合(S302)、検出した主要領域をクロップしてウェブページを構成する該ページのレイアウトに合わせてイメージを生成(S303)する。この際、イメージ生成方法でクロップされた主要領域をリサイジングして生成することもでき、イメージを適用するレイアウトを考慮して主要領域をクロップすることもできる。このように、生成された編集イメージ(例えば、サムネイルイメージ)はウェブページの該レイアウトに適用される。
【0074】
一方、原本イメージをクロップすることなく、上述したように他の実施形態により主要領域でない余白領域にテキストまたはイメージをオーバーレイしてもよい。したがって、後述する様々な方法で主要領域でない余白領域を検出(S304)した後、テキストまたは他のイメージをオーバーレイすることができる。
【0075】
仮に、テキストを余白領域にオーバーレイしようとする場合(S305)、まず、検出した余白領域がテキストをオーバーレイするために十分であるかを判断(S306)する。その判断方法は、オーバーレイするテキストの最小のフォントサイズを考慮してテキスト全体の領域の大きさを算出し、検出した余白領域の大きさと比較してオーバーレイ可能であるかを判断する方法とすることができる。
【0076】
判断の結果、テキストをオーバーレイするための余白領域の大きさが十分でない場合、新しい本発明の実施形態により余白領域を原本イメージまたは主要領域がクロップされたイメージに追加(S307)する。次に、追加された余白領域にテキストをオーバーレイ(S308)させる。
【0077】
判断の結果、テキストをオーバーレイするための余白領域の大きさが十分である場合、検出した余白領域にテキストをオーバーレイ(S308)させる。
【0078】
一方、本発明の他の実施形態により原本イメージに他の少なくとも一つの原本イメージをオーバーレイしようとする場合(S309)、複数のイメージを互いにオーバーレイ(S310)させる。この際、各原本イメージから主要領域を検出し、各原本イメージの主要領域が互いに重ならないようにオーバーレイさせることが好ましい。
【0079】
例えば、第1イメージと第2イメージをレイアウトに合わせてオーバーレイさせようとする場合、第1イメージおよび第2イメージの主要領域および余白領域をそれぞれ検出し、第2イメージの主要領域をクロップして第1イメージの余白領域にオーバーレイさせることができる。このようにすることで、第1イメージの主要領域と第2イメージの主要領域が互いに重ならなくなり、各イメージ上の主要オブジェクトが脱落することなく表示されることができる。また、他の方法として、第1イメージの主要領域と第2イメージの主要領域をそれぞれクロップし、クロップされた各イメージをレイアウトに合わせて再配置することで編集イメージを生成することができる。
【0080】
以下、
図4から
図8を参照して原本イメージから主要領域および余白領域を検出する方法について詳細に説明する。
【0081】
<主要領域検出方法>
図4は本発明の実施形態に係る主要領域検出の詳細手順を示すフローチャートである。
図4を参照すると、編集しようとする原本イメージに含まれたオブジェクトを識別することで識別されたオブジェクトが含まれた領域を主要領域と検出することができる。この際、オブジェクトは、顔、テキスト、その他の主要物体であってもよい。
【0082】
例えば、まず、イメージ内に顔が存在するかを検出(S401)することができる。検出の結果、顔が存在する場合(S402)、検出した顔が含まれた領域を主要領域と判断(S403)することができる。この際、イメージから顔を検出する方法は公知の様々なイメージプロセッシング方法によって具現することができ、その詳細な説明は省略する。一方、顔検出結果、複数個の顔が検出された場合、各顔の重要度(例えば、大きさ、位置、鮮明度などを基準に決定された重要度)を判別して複数の顔のうち重要度の高い顔を含む領域を主要領域と判断するか、検出した複数個の顔全部を含む一つの領域を主要領域と判断することもできる。
【0083】
また、イメージ内にテキストが含まれているかを分析(S404)することで主要領域を判断することができる。この際、イメージからテキストを検出する方法としてOCR(Optical Character Reader)技術を用いて検出してもよい。このように、イメージからテキストが検出(S405)されると、検出したテキスト領域を主要領域と判断(S406)することができる。
【0084】
また、本発明の実施形態により少なくとも一つの予め指定した特定の物体が存在するかを検出(S407)することもできる。検出の結果、予め指定した特定の物体がイメージ内に存在する場合(S408)、検出した物体が含まれた領域を主要領域と判断(S409)することができる。
【0085】
一方、上述したオブジェクト検出方法において、顔、テキスト、その他の主要物体などを検出する各方法は選択的に適用してもよく、本発明は
図4に示された検出順序に限定されない。
【0086】
図5は本発明の実施形態に係るイメージパターン分析による主要領域検出手順を示すフローチャートである。
図5を参照すると、
図4について詳述した方法とは異なり、特定のオブジェクトを検出することなく、イメージ全体のパターンを分析することで主要領域を検出することもできる。
【0087】
すなわち、イメージ内で焦点が合っている部分と合っていない部分が共存する場合、鮮明度分析により鮮明度の平均値が相対的に高い領域を主要領域と判断することもできる。この際、鮮明度分析方法ではイメージ内の特定のピクセルを中心として周辺ピクセル値の変化周期が短いほど高い鮮明度を有するものと判断することができる。
【0088】
また、他の方法として、イメージ内の各ピクセルに対し周辺ピクセルに対する色または明暗の差値を求め、その差値の平均値が相対的に高い領域を主要領域と判断することもできる。
【0089】
さらに他の方法として、上述した焦点値および対比値を組み合わせて主要領域を判断することもできる。すなわち、各ピクセルの焦点値および対比値を算出(S501、S502)し、焦点値および対比値を演算して顕著性(Saliency)値を決定(S503)することができる。例えば、顕著性値は焦点値と対比値を掛け算して算出することができる。
【0090】
このように、各ピクセルに対する顕著性値が算出されると、イメージ内の顕著性値の分布を二次元ガウス分布(gaussian distribution)でモデリング(S504)し、予め設定した値以上の顕著性値が凝集した領域をイメージ内の主要領域と判断(S505)する。この際、イメージ内の顕著性値の分布に応じて、一つの主要領域または二つ以上の複数個の主要領域を検出することができる。
【0091】
このように、本発明の実施形態により抽出した主要領域は、
図6bに示されたように、基本的に主要領域の大きさ、形状、方向などを取り囲む閉曲線(例えば、楕円)の形態620をとることができ、必要に応じて、
図6aに示されたように閉曲線を含む四角形などの図形610に最終決定することができる。
【0092】
<余白領域検出方法>
図7は本発明の実施形態に係る余白領域(Non‐salient Area)を検出する手順を示すフローチャートである。一方、本発明における余白領域は、イメージ内での影響力が相対的に少ない領域を意味し、主要領域と反対の意味を有する。したがって、上述したように決定された主要領域以外の残りの領域を余白領域と決定してもよく、他の方法で余白領域を決定してもよい。一方、で検出した主要領域の形態に応じて主要領域と余白領域の一部が互いに重なっていてもよい。
【0093】
余白領域を抽出するための一つの実施形態として
図7を参照すると、まず、上述したようにイメージの主要領域を検出(S701)する。次に、
図8aに示されたように、主要領域810以外の残りの領域を余白領域の候補領域である第1余白領域820と指定(S702)する。
【0094】
次に、指定された第1余白領域に対して画面分割(image segmentation)を行う(S703)。この際、画面分割は、類似したピクセル値(例えば、焦点値、対比値、顕著性値など)を有する隣接ピクセルをグルーピングして最終的に一つの画面を類似したピクセル値を有する複数の領域に分ける作業である。例えば、第1余白領域の各ピクセルの色または明暗と隣接ピクセルの色または明暗とを比較して、その差が予め設定した基準以下の場合には類似したピクセルとみなし、一つの領域にグルーピングする。次に、各分割した領域のうち予め設定した第1しきい値より低いピクセル値の変化率を有し、かつ予め設定した第2しきい値より高い大きさまたは形状を有する領域を
図8bに示されたように第2余白領域830と設定(S704)する。
【0095】
一方、第1余白領域は、切り取られたり他のイメージと重なって覆われても良い領域を意味し、第2余白領域は、第1余白領域の中でも画面変化率が少なく、平坦なピクセル値を有する領域を意味する。このように決定された各余白領域は、その後のオーバーレイ編集の過程でそれぞれ適用(S705)することができる。例えば、後述する本発明の実施形態において、第1余白領域は、複数のイメージをオーバーレイする場合に使用することができ、第2余白領域は、イメージにテキストをオーバーレイする場合に使用することができる。
【0096】
以上、
図4から
図8を参照して本発明の実施形態に係る主要領域および余白領域を検出する方法について詳細に説明した。次に、
図9から
図14を参照して本発明の各実施形態に係る様々なイメージ編集方法について詳細に説明する。
【0097】
<第1実施形態‐主要領域クロップ>
図9は本発明の第1実施形態に係る原本イメージをクロップする手順を示すフローチャートである。
図9を参照すると、本発明の第1実施形態により原本イメージの主要領域をクロップすることでイメージを編集することができる。
【0098】
すなわち、まず、上述したように原本イメージの主要領域が検出(S901)されると、イメージがウェブページ上でのレイアウトを考慮して、該編集したイメージ(例えば、サムネイルイメージ)が配置される領域の特性値(例えば、イメージ大きさ、縦横比など)の入力(S902)を受ける。次に、入力された特性値に応じて検出した主要領域をクロップし、リサイジング(S903)することでイメージを編集する。また、他の実施形態として、複数個のコンテンツに対するイメージの主要領域に対し最適のクロップの割合および大きさを算出し、該イメージの組み合わせに最も適するコンテンツレイアウトを提案することでウェブページを構成してもよい。
【0099】
一方、本発明の実施形態により決定された主要領域をクロップした後、該大きさまたは縦横比に合わせてリサイジングすることもでき、主要領域をクロップする際に該大きさまたは縦横比を考慮してクロップするように具現することもできる。
【0100】
図10は本発明の第1実施形態に係る原本イメージからクロップしたイメージを示す図である。
図10を参照すると、原本イメージから上述したように主要領域1000をクロップすることでクロップイメージをウェブページなどに配置することができる。例えば、スマートフォンなど相対的に小さい画面に使用するために主要領域を中心にクロップするか、特定のレイアウトのための割合に合わせてクロップすることでイメージを効果的に自動編集することができる。
【0101】
<第2実施形態‐イメージ+テキストオーバーレイ>
図11は本発明の第2実施形態に係る余白領域にテキストをオーバーレイする手順を示すフローチャートである。
図11を参照すると、原本イメージから上述したように主要領域を検出(S1101)し、検出した主要領域以外の残りの領域を余白領域と設定(S1102)する。
【0102】
次に、余白領域の大きさを算出してオーバーレイ可能なテキスト列の長さを判断(S1103)し、該領域に適するテキスト(例えば、アーティクルのタイトル、内容の一部など)を配置して、自動でオーバーレイ(S1106)させる。この際、本発明の実施形態によりテキストがオーバーレイされる余白領域の色を分析(S1104)し、分析された余白領域の色を考慮してテキストの色を決定(S1105)する。例えば、余白領域の色の補色の色をテキストの色と決定することで余白の色に応じてテキストがはっきりと見える色に決定することが好ましい。また、余白領域の色が淡い色の場合にはテキストの色を反対の色のフォントに設定するか、テキストの背景を別の色でボックス処理することができる。
【0103】
すなわち、
図12を参照すると、左側に示された原本イメージから主要領域1200と余白領域1210とを検出し、余白領域1210の大きさと色を分析する。すなわち、余白領域1210の大きさを分析して配置するテキスト列の長さを決定し、余白領域1210の色を分析して配置するテキストの色を決定することができる。
【0104】
したがって、右側に示された編集イメージのように余白領域1210の上端に「新しい春を迎えるインテリアーノーハウ」というテキスト列のヘッドライン1220が余白領域1210の色と反対の色で配置されることができ、下端にはテキストボックス1230形態でテキスト列が配置されることができる。テキストボックス1230は、ボックス内のテキストの色とテキストボックス1230の背景色を互いに反対の色で設定することでテキストの可読性を高めることができる。
【0105】
<第3実施形態‐イメージに余白領域追加>
図13は本発明の第3実施形態に係る原本イメージに余白領域が追加されたイメージを示す図である。
図13を参照すると、原本イメージから余白領域が検出されない場合、原本イメージから検出した主要領域外の背景イメージの複雑度を判別して、イメージ複雑度が低い場合に、該背景の色を分析して基本色を抽出し、抽出した基本色に似合う色(例えば、類似した色、補色、同色、主要領域の色など)の余白領域1310を原本イメージ1300に追加することができる。
【0106】
このように、主要領域外の単純な背景領域でテキストをオーバーレイできる追加のタイトル/キャプション領域を余白領域として生成することができる。これにより、このように原本イメージ1300に余白領域1310が追加された新しいイメージを生成することもでき、イメージ外にHTML/CSSなどを用いて新しいキャプション領域を生成することもできる。
【0107】
<第4実施形態‐イメージ+イメージオーバーレイ>
図14は本発明の第4実施形態に係る複数のイメージがオーバーレイされたイメージを示す図である。ウェブページなどに配置するコンテンツに複数のイメージが存在する場合、本発明の第4実施形態により各イメージの主要領域と余白領域の大きさおよび位置を比較することで複数のイメージをオーバーレイして自動編集することができる。
【0108】
例えば、
図14を参照すると、まず、上述した方法を用いて上に示した第1イメージ1410で主要領域1411を判別し、下に示した第2イメージ1420で主要領域1421を判別する。
【0109】
次に、第1イメージ1410の余白領域に第2イメージ1420の主要領域1421をオーバーレイさせるか、
図14には示されていないが、第2イメージ1420の余白領域に第1イメージ1410の主要領域1411をオーバーレイさせることができる。このようにすることで複数個のイメージの各主要領域が互いに重ならなくてもイメージを自動でオーバーレイすることが可能となる。一方、
図14には二つのイメージをオーバーレイさせる方法を示しているが、同一の方法で3以上のイメージをオーバーレイさせることも可能である。
【0110】
以上、本発明を具体的な構成要素などのような特定事項と限定された実施例及び図面を参照して説明したが、これは本発明のより全体的な理解を容易にするために提供されたものにすぎず、本発明は実施例によって限定されず、本発明が属する分野で通常的な知識を有した者であれば、このような記載から多様な修正及び変形が可能である。
【0111】
従って、本発明の思想は実施例に限定されて決まってはならず、添付する特許請求の範囲だけでなく、特許請求の範囲と均等または等価的に変形された全ては、本発明の思想の範疇に属するとするべきであろう。