(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-03-09
(45)【発行日】2022-03-17
(54)【発明の名称】代表イメージの生成
(51)【国際特許分類】
G06T 7/00 20170101AFI20220310BHJP
G06T 1/00 20060101ALI20220310BHJP
【FI】
G06T7/00 300D
G06T1/00 200E
(21)【出願番号】P 2020538507
(86)(22)【出願日】2018-07-25
(86)【国際出願番号】 KR2018008402
(87)【国際公開番号】W WO2019066231
(87)【国際公開日】2019-04-04
【審査請求日】2020-03-25
(31)【優先権主張番号】10-2017-0124444
(32)【優先日】2017-09-26
(33)【優先権主張国・地域又は機関】KR
(73)【特許権者】
【識別番号】520498343
【氏名又は名称】ネイバーウェブトゥーン リミテッド
(74)【代理人】
【識別番号】100107766
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】パク,ジウン
【審査官】小池 正彦
(56)【参考文献】
【文献】特開2014-038601(JP,A)
【文献】国際公開第2016/043320(WO,A1)
【文献】特開2013-089199(JP,A)
【文献】特開2012-063854(JP,A)
【文献】特開2014-064055(JP,A)
【文献】特開2014-049883(JP,A)
【文献】歌手映像と歌声の解析に基づく音楽動画中の歌唱シーン検出手法の検討,情報処理学会 研究報告 音楽情報科学(MUS) 2014-MUS-103,2014年05月17日
(58)【調査した分野】(Int.Cl.,DB名)
G06T 7/00
G06T 1/00
(57)【特許請求の範囲】
【請求項1】
コンテンツに含まれる少なくとも1つのイメージから
、予め登録された基準データに含まれるキャラクタの顔パターンとのマッチング程度に基づいて、前記コンテンツに含まれる少なくとも1つのイメージ内のオブジェクトを認識する段階、
前記少なくとも1つのイメージから前記認識されるオブジェクトが含まれる領域を抽出して認識結果イメージを生成する段階、および
前記生成される認識結果イメージに基づいて前記コンテンツと関連する代表イメージを生成する段階
を含むことを特徴とする、
代表イメージ生成方法。
【請求項2】
前記オブジェクトを認識する段階は、
前記少なくとも1つのイメージから少なくとも1つのパターンに対応するオブジェクトを認識し、
前記少なくとも1つのパターンは、キャラクタ顔パターン、吹き出しパターン、およびテキストパターンのうちの少なくとも1つを含むことを特徴とする、
請求項1に記載の代表イメージ生成方法。
【請求項3】
前記オブジェクトを認識する段階は、
少なくとも1つのパターン別に
前記基準データの入力を受ける段階、および
前記基準データとのマッチングに基づいて前記少なくとも1つのイメージからオブジェクトを認識する段階を含むことを特徴とする、
請求項1に記載の代表イメージ生成方法。
【請求項4】
前記代表イメージを生成する段階は、
ガイドの形状、サイズ、および整列位置を決定する段階、
該決定される形状およびサイズのガイドを前記整列位置によって前記生成される認識結果イメージに反映し、前記反映されるガイドによって認識される認識領域を抽出する段階、および
前記抽出される認識領域を含むイメージを代表イメージとして生成する段階を含むことを特徴とする、
請求項1に記載の代表イメージ生成方法。
【請求項5】
前記少なくとも1つのイメージから複数の認識結果イメージが生成される場合、前記コンテンツの場面またはカットに対するユーザ反応に基づいて前記複数の認識結果イメージのうちから少なくとも1つの認識結果イメージを選択する段階をさらに含むことを特徴とする、請求項1に記載の代表イメージ生成方法。
【請求項6】
前記コンテンツの場面またはカットに対するユーザ反応の変化に基づいて前記代表イメージを再生成する段階をさらに含むことを特徴とする、請求項1に記載の代表イメージ生成方法。
【請求項7】
前記ユーザ反応は、前記場面またはカットに対するユーザ滞留時間、クリック率、おすすめ数、およびコメント数のうちの少なくとも1つを含むことを特徴とする、請求項5または6に記載の代表イメージ生成方法。
【請求項8】
前記コンテンツは、登録されるウェブトゥーンコンテンツまたは前記ウェブトゥーンコンテンツが含む少なくとも1つのエピソードを含み、
前記生成される代表イメージは、前記ウェブトゥーンコンテンツの代表イメージまたは前記エピソードの代表イメージを含むことを特徴とする、
請求項1に記載の代表イメージ生成方法。
【請求項9】
前記コンテンツをユーザに提供するためのサイトにおいて、前記生成された代表イメージを表示する段階をさらに含むことを特徴とする、請求項1に記載の代表イメージ生成方法。
【請求項10】
コンピュータと結合して請求項1~9のうちのいずれか一項に記載の方法をコンピュータに実行させるためにコンピュータ読み取り可能な記憶媒体に格納された、コンピュータプログラム。
【請求項11】
請求項1~9のうちのいずれか一項に記載の方法をコンピュータに実行させるためのプログラムが格納されていることを特徴とする、コンピュータ読み取り可能な記憶媒体。
【請求項12】
コンピュータ装置であって、
コンピュータ読み取り可能な命令を実行するように実現される少なくとも1つのプロセッサを含み、
該少なくとも1つのプロセッサは、
コンテンツに含まれる少なくとも1つのイメージから
、予め登録された基準データに含まれるキャラクタの顔パターンとのマッチング程度に基づいて、前記コンテンツに含まれる少なくとも1つのイメージ内のオブジェクトを認識し、
前記少なくとも1つのイメージから前記認識されるオブジェクトが含まれる領域を抽出して認識結果イメージを生成し、
該生成される認識結果イメージに基づいて前記コンテンツと関連する代表イメージを生成するように構成されることを特徴とする、
コンピュータ装置。
【請求項13】
前記オブジェクトを認識する段階は、
前記少なくとも1つのイメージから少なくとも1つのパターンに対応するオブジェクトを認識し、
前記少なくとも1つのパターンは、キャラクタ顔パターン、吹き出しパターン、およびテキストパターンのうちの少なくとも1つを含むことを特徴とする、
請求項12に記載のコンピュータ装置。
【請求項14】
前記少なくとも1つのプロセッサは、
前記オブジェクトを認識するために、少なくとも1つのパターン別に
前記基準データの入力を受け、前記基準データとのマッチングに基づいて前記少なくとも1つの対象イメージからオブジェクトを認識するように構成されることを特徴とする、
請求項12に記載のコンピュータ装置。
【請求項15】
前記少なくとも1つのプロセッサは、
前記代表イメージを生成するために、ガイドの形状、サイズ、および整列位置を決定し、前記決定される形状およびサイズのガイドを前記整列位置によって前記生成される認識結果イメージに反映し、前記反映されるガイドによって認識される認識領域を抽出し、前記抽出される認識領域を含むイメージを代表イメージとして生成するように構成されることを特徴とする、
請求項12に記載のコンピュータ装置。
【請求項16】
前記少なくとも1つのプロセッサは、
前記少なくとも1つのイメージから複数の認識結果イメージが生成される場合、前記コンテンツの場面またはカットに対するユーザ反応に基づいて前記複数の認識結果イメージのうちから少なくとも1つの認識結果イメージを選択するように構成されることを特徴とする、
請求項12に記載のコンピュータ装置。
【請求項17】
前記少なくとも1つのプロセッサは、
前記コンテンツの場面またはカットに対するユーザ反応の変化に基づいて前記代表イメージを再生成するように構成されることを特徴とする、
請求項12に記載のコンピュータ装置。
【発明の詳細な説明】
【技術分野】
【0001】
以下の説明は、代表イメージの生成技術に関し、より詳細には、ウェブトゥーン(Webtoon)やイラスト、特定の商品と関連する複数のイメージ、またはユーザのフォトアルバムなどのように、少なくとも1つのイメージを含むコンテンツでオブジェクトを認識し、該当のコンテンツのための代表イメージを自動で生成することができる代表イメージ生成方法、前記代表イメージ生成方法を実行するコンピュータ装置、およびコンピュータと結合して代表イメージ生成方法をコンピュータに実行させるためにコンピュータ読み取り可能な記憶媒体に格納されたコンピュータプログラムとその記憶媒体に関する。
【背景技術】
【0002】
ウェブトゥーンとは、インターネットを意味するウェブ(web)と漫画を意味するカートゥーン(cartoon)を組み合わせた造語である。このようなウェブトゥーンは、ウェブサイトに掲載された縦長のイメージファイル形式の漫画だけでなく、画面に表示されるカット(cut)単位の場面を切り換えながら進んでいく形式の漫画など、多様な形式でサービスされている。
【0003】
また、このようなウェブトゥーンをユーザにサービスするための多様な技術も存在する。例えば、特許文献1は、カートゥーン提供システム、カートゥーン提供装置、およびカートゥーン提供方法に関するものであって、カートゥーン(cartoon)を構成する複数のカットイメージ(cut image)を提供する技術を開示している。
【0004】
このとき、ウェブトゥーンをユーザにサービスするための技術の殆どは、ウェブトゥーンをユーザに紹介するために、ウェブトゥーンの代表イメージを生成して活用する。例えば、ウェブトゥーンは、多様な条件(一例として、掲載曜日、完結の可否、照会順位、タイトル順など)に基づいてウェブサイトやモバイルページなどでユーザに表示されるが、このとき、ウェブトゥーンは、それぞれ、ウェブトゥーンの代表イメージやウェブトゥーンのタイトルなどのような、該当のウェブトゥーンをユーザに識別させるための情報、および/または該当のウェブトゥーンに対してユーザの関心を誘発させるための情報を含んで表示されている。ここで、代表イメージは、1つのウェブトゥーン全体を代表するイメージと、該当のウェブトゥーン内の1つストーリを代表するイメージを含んでよい。
【0005】
ウェブトゥーンをユーザに提供するサービス提供者は、サービスが提供するウェブトゥーンのそれぞれの代表イメージを生成しなければならない。このとき、サービスするウェブトゥーンの件数が多いほど、代表イメージの生成のために多くの費用がかかる。例えば、一日に数十件のウェブトゥーンの新たなストーリが登録されてこれをサービスする場合、サービス提供者は、数十件のウェブトゥーンのそれぞれのストーリ内容をすべて確認してそれぞれのストーリに適した代表イメージを生成しなければならないが、これは極めて多くの時間と労力を要する作業となる。さらに、多数のウェブトゥーンや多数のストーリなどの情報は1つの画面内に収めて表示しなければならないため、代表イメージのサイズは制限的であり、したがって、ウェブトゥーンのカットイメージをそのまま代表イメージとして活用するには無理がある。言い換えれば、代表イメージの生成は、多数のイメージのうちから1つのイメージを選択するという単純な作業ではなく、数多くのイメージから1つのイメージを選択し、さらに選択したイメージから主要部分を選定および抽出するための追加の費用を要する作業なのである。
【0006】
また、ユーザの立場では、多様な特徴が含まれた代表イメージを期待しており、このような期待を満たすためにはさらに多くのリソースが必要となる。例えば、ウェブトゥーンは、掲載曜日やウェブトゥーンのランキング、ウェブトゥーンのジャンルなどのような、多様な条件によって分類されたリストの形態でユーザに表示されるが、上述したように、ウェブトゥーンやストーリごとに代表イメージを生成するだけでも極めて多くのリソースが必要となるため、リストおよび/またはユーザインタフェースごとに特色を考慮しながら多様な代表イメージを多様な比率および/またはサイズで生成したり活用したりするには困難がある。
【0007】
さらに、上述したようなウェブトゥーンだけでなく、イラストやユーザのフォトアルバム、あるいは特定の商品に対して提供される複数のイメージなどのような、特定のコンテンツと関連して代表イメージを選択しなければならない必要も存在する。
【先行技術文献】
【特許文献】
【0008】
【文献】韓国公開特許第10-2014-0040875号
【発明の概要】
【発明が解決しようとする課題】
【0009】
ウェブトゥーンやイラスト、特定の商品と関連する複数のイメージ、またはユーザのフォトアルバムなどのような、少なくとも1つのイメージを含むコンテンツからオブジェクトを認識し、該当のコンテンツのための代表イメージを自動で生成することができる代表イメージ生成方法、前記代表イメージ生成方法を実行するコンピュータ装置、およびコンピュータと結合して代表イメージ生成方法をコンピュータに実行させるためにコンピュータ読み取り可能な記憶媒体に格納されたコンピュータプログラムとその記憶媒体を提供する。
【0010】
イメージマッチングモデルを活用して代表イメージを自動で生成および管理可能なツールを提供することができる代表イメージ生成方法、前記代表イメージ生成方法を実行するコンピュータ装置、およびコンピュータと結合して代表イメージ生成方法をコンピュータに実行させるためにコンピュータ読み取り可能な記憶媒体に格納されたコンピュータプログラムとその記憶媒体を提供する。
【課題を解決するための手段】
【0011】
コンテンツに含まれた少なくとも1つのイメージからオブジェクトを認識する段階、前記少なくとも1つのイメージから前記認識されたオブジェクトが含まれた領域を抽出して認識結果イメージを生成する段階、および前記生成された認識結果イメージに基づいて前記コンテンツと関連する代表イメージを生成する段階を含むことを特徴とする、代表イメージ生成方法を提供する。
【0012】
コンピュータと結合して前記代表イメージ生成方法をコンピュータに実行させるためにコンピュータ読み取り可能な記憶媒体に格納された、コンピュータプログラムを提供する。
【0013】
前記代表イメージ生成方法をコンピュータに実行させるためのプログラムが格納されていることを特徴とする、コンピュータ読み取り可能な記憶媒体を提供する。
【0014】
コンピュータ装置であって、コンピュータ読み取り可能な命令を実行するように実現される少なくとも1つのプロセッサを含み、前記少なくとも1つのプロセッサは、コンテンツに含まれた少なくとも1つのイメージからオブジェクトを認識し、前記少なくとも1つのイメージから前記認識されたオブジェクトが含まれた領域を抽出して認識結果イメージを生成し、前記生成された認識結果イメージに基づいて前記コンテンツと関連する代表イメージを生成することを特徴とする、コンピュータ装置を提供する。
【発明の効果】
【0015】
ウェブトゥーンやイラスト、特定の商品と関連する複数のイメージ、またはユーザのフォトアルバムなどのような、少なくとも1つのイメージを含むコンテンツからオブジェクトを認識し、該当のコンテンツのための代表イメージを自動で生成することができる。
【0016】
イメージマッチングモデルを活用して代表イメージを自動で生成および管理可能なツールを提供することができる。
【図面の簡単な説明】
【0017】
【
図1】本発明の一実施形態における、ネットワーク環境の例を示した図である。
【
図2】本発明の一実施形態における、電子機器およびサーバの内部構成を説明するためのブロック図である。
【
図3】本発明の一実施形態における、代表イメージ生成過程の例を示した図である。
【
図4】本発明の一実施形態における、対象イメージから最終イメージが出力される過程の例を示した図である。
【
図5】本発明の一実施形態における、代表イメージの生成および管理のためのツールの例を示した図である。
【
図6】本発明の一実施形態における、代表イメージの生成および管理のためのツールの例を示した図である。
【
図7】本発明の一実施形態における、代表イメージの生成および管理のためのツールの例を示した図である。
【
図8】本発明の一実施形態における、代表イメージの生成および管理のためのツールの例を示した図である。
【
図9】本発明の一実施形態における、代表イメージ生成方法の例を示したフローチャートである。
【発明を実施するための形態】
【0018】
以下、実施形態について、添付の図面を参照しながら詳しく説明する。
【0019】
本発明の実施形態に係る代表イメージ生成方法は、以下で説明するサーバのようなコンピュータ装置によって実行されてよい。このとき、コンピュータ装置においては、本発明の一実施形態に係るコンピュータプログラムがインストールされて実行されてよく、コンピュータ装置は、実行されるコンピュータプログラムの制御にしたがって本発明の実施形態に係る代表イメージ生成方法を実行してよい。上述したコンピュータプログラムは、コンピュータ装置と結合して代表イメージ生成方法をコンピュータに実行させるためにコンピュータ読み取り可能な記憶媒体に格納されてよい。
【0020】
図1は、本発明の一実施形態における、ネットワーク環境の例を示した図である。
図1のネットワーク環境は、複数の電子機器110、120、130、140、複数のサーバ150、160、およびネットワーク170を含む例を示している。このような
図1は、発明の説明のための一例に過ぎず、電子機器の数やサーバの数が
図1のように限定されることはない。
【0021】
複数の電子機器110、120、130、140は、コンピュータ装置によって実現される固定端末や移動端末であってよい。複数の電子機器110、120、130、140の例としては、スマートフォン、携帯電話、ナビゲーション、PC(personal computer)、ノート型PC、デジタル放送用端末、PDA(Personal Digital Assistant)、PMP(Portable Multimedia Player)、タブレットなどがある。一例として、
図1では、電子機器1(110)の例としてスマートフォンを示しているが、本発明の実施形態において、電子機器1(110)は、実質的に無線または有線通信方式を利用し、ネットワーク170を介して他の電子機器120、130、140および/またはサーバ150、160と通信することのできる、多様な物理的なコンピュータ装置のうちの1つを意味してよい。
【0022】
通信方式が限定されることはなく、ネットワーク170が含むことのできる通信網(一例として、移動通信網、有線インターネット、無線インターネット、放送網)を利用する通信方式だけではなく、機器間の近距離無線通信が含まれてもよい。例えば、ネットワーク170は、PAN(personal area network)、LAN(local area network)、CAN(campus area network)、MAN(metropolitan area network)、WAN(wide area network)、BBN(broadband network)、インターネットなどのネットワークのうちの1つ以上の任意のネットワークを含んでよい。さらに、ネットワーク170は、バスネットワーク、スターネットワーク、リングネットワーク、メッシュネットワーク、スター-バスネットワーク、ツリーまたは階層的ネットワークなどを含む、ネットワークトポロジのうちの任意の1つ以上を含んでもよいが、これらに限定されることはない。
【0023】
サーバ150、160は、それぞれ、複数の電子機器110、120、130、140とネットワーク170を介して通信して命令、コード、ファイル、コンテンツ、サービスなどを提供する1つ以上のコンピュータ装置によって実現されてよい。例えば、サーバ150は、ネットワーク170を介して接続した複数の電子機器110、120、130、140と関連する第1サービスを提供するシステムであってよく、サーバ160もネットワーク170を介して接続した複数の電子機器110、120、130、140と関連する第2サービスを提供するシステムであってよい。より具体的な例として、サーバ150は、ウェブトゥーンサービスを第1サービスとして提供してよい。この場合、サーバ150は、本発明の実施形態に係る代表イメージ生成方法を利用してウェブトゥーンサービスによって表示されるウェブトゥーンの代表イメージを生成および活用してよい。
【0024】
図2は、本発明の一実施形態における、電子機器およびサーバの内部構成を説明するためのブロック図である。
図2では、電子機器に対する例として電子機器1(110)の内部構成およびサーバ150の内部構成について説明する。また、他の電子機器120、130、140やサーバ160も、上述した電子機器1(110)またはサーバ150と同一または類似の内部構成を有してよい。
【0025】
電子機器1(110)およびサーバ150は、メモリ211、221、プロセッサ212、222、通信モジュール213、223、および入力/出力インタフェース214、224を含んでよい。メモリ211、221は、コンピュータ読み取り可能な記憶媒体であって、RAM(random access memory)、ROM(read only memory)、およびディスクドライブのような非一時的大容量記憶装置を含んでよい。ここで、ROMやディスクドライブのような非一時的大容量記憶装置は、メモリ211、221とは区分される別の非一時的記憶装置として電子機器1(110)やサーバ150に含まれてもよい。また、メモリ211、221には、オペレーティングシステムと、少なくとも1つのプログラムコード(一例として、電子機器1(110)においてインストールされて実行されるブラウザや、特定のサービスの提供のために電子機器1(110)にインストールされるアプリケーションなどのためのコード)が格納されてよい。このようなソフトウェア構成要素は、メモリ211、221とは別のコンピュータ読み取り可能な記憶媒体からロードされてよい。このような別のコンピュータ読み取り可能な記憶媒体は、フロッピードライブ、ディスク、テープ、DVD/CD-ROMドライブ、メモリカードなどのコンピュータ読み取り可能な記憶媒体を含んでよい。他の実施形態において、ソフトウェア構成要素は、コンピュータ読み取り可能な記憶媒体ではない通信モジュール213、223を通じてメモリ211、221にロードされてもよい。例えば、少なくとも1つのプログラムは、開発者またはアプリケーションのインストールファイルを配布するファイル配布システム(一例として、上述したサーバ160)がネットワーク170を介して提供するファイルによってインストールされるコンピュータプログラム(一例として、上述したアプリケーション)に基づいてメモリ211、221にロードされてよい。
【0026】
プロセッサ212、222は、基本的な算術、ロジック、および入出力演算を実行することにより、コンピュータプログラムの命令を処理するように構成されてよい。命令は、メモリ211、221または通信モジュール213、223によって、プロセッサ212、222に提供されてよい。例えば、プロセッサ212、222は、メモリ211、221のような記憶装置に格納されたプログラムコードにしたがって受信される命令を実行するように構成されてよい。
【0027】
通信モジュール213、223は、ネットワーク170を介して電子機器1(110)とサーバ150とが互いに通信するための機能を提供してもよいし、電子機器1(110)および/またはサーバ150が他の電子機器(一例として、電子機器2(120))または他のサーバ(一例として、サーバ160)と通信するための機能を提供してもよい。一例として、電子機器1(110)のプロセッサ212がメモリ211のような記憶装置に格納されたプログラムコードにしたがって生成した要求が、通信モジュール213の制御にしたがってネットワーク170を介してサーバ150に伝達されてよい。これとは逆に、サーバ150のプロセッサ222の制御にしたがって提供される制御信号や命令、コンテンツ、ファイルなどが、通信モジュール223とネットワーク170を経て電子機器1(110)の通信モジュール213を通じて電子機器1(110)に受信されてよい。例えば、通信モジュール213を通じて受信されたサーバ150の制御信号や命令、コンテンツ、ファイルなどは、プロセッサ212やメモリ211に伝達されてよく、コンテンツやファイルなどは、電子機器1(110)がさらに含むことのできる記憶媒体(上述した非一時的記憶装置)に格納されてよい。
【0028】
入力/出力インタフェース214は、入力/出力装置215とのインタフェースのための手段であってよい。例えば、入力装置は、キーボードまたはマウスなどの装置を、出力装置は、ディスプレイまたはスピーカなどのような装置を含んでよい。他の例として、入力/出力インタフェース214は、タッチスクリーンのような入力と出力のための機能が1つに統合された装置とのインタフェースのための手段であってもよい。入力/出力装置215は、電子機器1(110)と1つの装置で構成されてもよい。また、サーバ150の入力/出力インタフェース224は、サーバ150に接続するかサーバ150が含むことのできる入力または出力のための装置(図示せず)とのインタフェースのための手段であってよい。より具体的な例として、電子機器1(110)のプロセッサ212がメモリ211にロードされたコンピュータプログラムの命令を処理するにあたり、サーバ150や電子機器2(120)が提供するデータを利用して構成されるサービス画面やコンテンツが、入力/出力インタフェース214を通じてディスプレイに表示されてよい。
【0029】
また、他の実施形態において、電子機器1(110)およびサーバ150は、
図2の構成要素よりも多くの構成要素を含んでもよい。しかし、大部分の従来技術的構成要素を明確に図に示す必要はない。例えば、電子機器1(110)は、上述した入力/出力装置215のうちの少なくとも一部を含むように実現されてもよいし、トランシーバ、GPS(Global Positioning System)モジュール、カメラ、各種センサ、データベースなどのような他の構成要素をさらに含んでもよい。より具体的な例として、電子機器1(110)がスマートフォンである場合、一般的にスマートフォンが含んでいる加速度センサやジャイロセンサ、カメラモジュール、物理的な各種ボタン、タッチパネルを利用したボタン、入力/出力ポート、振動のための振動器などのような多様な構成要素が、電子機器1(110)にさらに含まれるように実現されてよい。
【0030】
図3は、本発明の一実施形態における、代表イメージ生成過程の例を示した図である。
図3は、コンテンツとして1つのウェブトゥーンに対する代表イメージを生成する例について説明する。
【0031】
対象コンテンツ入力過程310は、ウェブトゥーンに含まれた少なくとも1つの対象イメージが入力される過程の例であってよい。このとき、入力された対象イメージのそれぞれに対して次のオブジェクト認識過程320が実行されてよい。例えば、ウェブトゥーンは、1つのエピソードが1つの対象イメージで実現されることもあるし、カット別に区別された複数の対象イメージで実現されることもある。この場合、それぞれの対象イメージに対してオブジェクト認識過程320が実行されてよい。
【0032】
オブジェクト認識過程320は、入力された対象イメージ内からオブジェクトを認識する過程の例であってよい。オブジェクト認識過程320は、オブジェクト認識器321によって実行されてよい。オブジェクト認識器321は、一例として、キャラクタ顔認識器322、吹き出し認識器323、およびテキスト認識器324を含んでよい。
【0033】
キャラクタ顔認識器322は、対象イメージ内からオブジェクトとしてキャラクタの顔を認識してよく、吹き出し認識器323は、対象イメージ内からオブジェクトとして吹き出しを認識してよく、テキスト認識器324は、対象イメージ内からオブジェクトとしてテキストを認識してよい。本実施形態では、認識しようとするオブジェクトのパターンとして、キャラクタの顔、吹き出し、およびテキストを認識する例について説明しているが、オブジェクトのパターンは、人物や動物の形状、および/または自動車や飛行機などのような乗り物の形状などのように、必要によって多様に活用されてよい。
【0034】
それぞれのパターンの認識のためにパターン別学習用データ325が活用されてよい。パターン別学習用データ325は、オブジェクト認識器321の学習のために活用されるか、および/またはイメージから抽出しようとするオブジェクトの基準データとしての役割として活用されてよい。
【0035】
学習の例として、キャラクタ顔認識器322には、多様なキャラクタの顔が含まれたイメージが学習用データとして入力されてよく、吹き出し認識器323には多様な吹き出しが含まれたイメージが、テキスト認識器324にはテキストが、学習用データとしてそれぞれ入力されてよい。このとき、キャラクタ顔認識器322、吹き出し認識器323、およびテキスト認識器324のそれぞれは、入力された学習用データを利用した機械学習(machinelearning)により、それぞれ要求されたパターンの認識のための機能を学習してよい。このような機械学習による認識器の学習および学習された認識器の活用方法については、当業者であれば、機械学習と関連する周知の技術に基づいて容易に理解することができるであろう。
【0036】
基準データの例として、キャラクタ顔認識器322には、認識しようとするオブジェクトの基準となるキャラクタの顔が含まれたイメージが基準データとして入力されてよい。この場合、キャラクタ顔認識器322は、学習用データとして入力されたイメージのキャラクタの顔を基準として対象イメージからキャラクタ顔を認識してよい。同じように、吹き出し認識器323には、認識しようとするオブジェクトの基準となる吹き出しが含まれたイメージが、テキスト認識器324には、認識しようとするオブジェクトの基準となるテキストが、基準データとしてそれぞれ入力されてよい。より具体的な例として、テキスト認識器324は、基準データとしてテキスト「自動車」が入力された場合、対象イメージからテキスト「自動車」が含まれているかを検索してよい。
【0037】
上述したように、対象コンテンツ入力過程310で入力された対象イメージそれぞれに対してオブジェクト認識過程320が実行されてよい。このとき、複数の対象イメージが存在する場合、オブジェクトが認識される対象イメージが存在することもあるし、オブジェクトが認識されない対象イメージが存在することもある。さらに、1つの対象イメージから複数のオブジェクトが認識される場合もある。このとき、オブジェクト認識器321は、対象イメージから認識されたオブジェクトが含まれた領域を抽出し、認識されたオブジェクト別に認識結果イメージを生成してよい。例えば、キャラクタ顔認識器322は、対象イメージから認識されたキャラクタの顔が含まれる領域を抽出し、抽出された領域に対して予め設定されたサイズの認識結果イメージを生成してよい。
【0038】
イメージサイズ選択過程330は、認識結果イメージから抽出しようとする代表イメージのサイズ(一例として、120ピクセル×120ピクセル、または96ピクセル×96ピクセル)を決定する過程の例であってよい。
【0039】
サイズ別オブジェクト位置ガイド選択過程340は、代表イメージでオブジェクトの位置を決定する過程の例であってよい。例えば、
図3では、代表イメージにおいてオブジェクトの位置を、代表イメージの左側、右側、およびセンターのうちの1つに整列してカットするための例341と、上段、中段、および下段のうちの1つに整列してカットするための例342、さらにオブジェクトの位置を拡大あるいは縮小してからカットするための例343を示している。実施形態によって、オブジェクトの位置は、左上段、右下段、左中段に整列してから拡大、右上段に整列してから縮小などのように、より多様なガイドによって決定されてもよい。
【0040】
1次イメージ出力過程350は、認識結果イメージから抽出された代表イメージを出力する過程の例であってよく、運営者点検編集過程360は、出力された代表イメージを運営者が点検および/または編集する過程であってよい。さらに、最終イメージ出力過程370は、運営者が点検および/または編集した代表イメージを出力する過程であってよい。最終イメージは、ウェブトゥーンをユーザに提供するためのサイトで表示されてよい。このとき、1次イメージ出力過程350と運営者点検編集過程360は、実施形態によっては省略されてもよい。この場合、1次イメージ出力過程350は、最終イメージ出力過程370と同じように、認識結果イメージから抽出された代表イメージを、ウェブトゥーンをユーザに提供するためのサイトで表示する過程となってよい。例えば、オブジェクト認識過程320、イメージサイズ選択過程330、およびサイズ別オブジェクト位置ガイド選択過程340をサーバ150が自動で処理できるように学習するための期間が要求されてよい。言い換えれば、サーバ150が、入力される対象コンテンツに適した代表イメージを自動で生成するための学習期間が要求され、このような学習期間が終了する前までは、運営者が生成された代表イメージを直接に点検および/または編集する必要がある。または、運営者の点検および/または編集によって収集されたデータが、学習期間中にサーバ150の代表イメージ生成のための学習データとして活用されてもよい。
【0041】
図4は、本発明の一実施形態における、対象イメージから最終イメージが出力される過程の例を示した図である。
図4は、
図3の対象コンテンツ入力過程310で入力される対象イメージ410の例を示しており、オブジェクト認識過程320において、キャラクタ顔認識器322が基準データとして入力されたイメージ420を利用して対象イメージ410からオブジェクトを認識する例を示している。このとき、
図4の対象イメージ410内に表示された実線で示す円430は、対象イメージ410から認識されたオブジェクトの例を示している。
【0042】
また、
図4は、イメージサイズ選択過程330とサイズ別オブジェクト位置ガイド選択過程340で抽出された1次イメージ440の例を示している。このとき、1次イメージ440は「120ピクセル×120ピクセル」のサイズを有し、オブジェクトが1次イメージ440の上段センターに位置した例を示している。
【0043】
さらに、
図4は、1次イメージ440が運営者によって編集されて最終イメージ450が生成された例を示している。最終イメージ450は、運営者が1次イメージ440でオブジェクト部分を拡大することで生成された例を示している。生成された最終イメージ450は、対象コンテンツのための代表イメージとして活用されてよい。例えば、最終イメージ450がウェブトゥーンの特定のエピソード(特定のストーリ)と対応して出力されたものである場合、最終イメージ450は、該当のウェブトゥーンの特定のエピソード(特定のストーリ)のための代表イメージとして、ウェブトゥーンをサービスするためのサイトで表示されてよい。運営者による点検および/または編集が必要でない場合には最終イメージ450の生成がなされる必要はなく、1次イメージ440が代表イメージとしてウェブトゥーンをサービスするためのサイトで表示されてよい。
【0044】
図5~8は、本発明の一実施形態における、代表イメージの生成および管理のためのツールの例を示した図である。
図5~8は、代表イメージの生成および管理のためのツール(以下、イメージ生成管理ツール500)の画面例を示している。このようなイメージ生成管理ツール500は、運営者のために提供されるものであってよい。
【0045】
図5の第1点線枠510は、代表イメージの生成のための段階を示しており、このとき、
図5は「認識対象およびパターン選択」段階を示している。ここで、段階別自動設定ボタン520は、第1点線枠510に示された段階のうち、自動で処理するための段階を設定するための機能へのリンクが設定されたユーザインタフェースであってよい。例えば、運営者が段階別自動設定ボタン520を押すと、第1点線枠510に示された4つの段階(「認識対象およびパターン選択」段階、「認識結果選択」段階、「ガイド選択」段階、および「生成イメージ確認」段階)のそれぞれに対する自動処理を設定することのできるユーザインタフェースが運営者に提供されてよい。自動処理が設定された段階は、サーバ150により、学習された事項にしたがって該当の段階による処理が自動で実行されてよい。
【0046】
イメージ生成管理ツール500は、複数のウェブトゥーンのうちからいずれか1つのウェブトゥーンを選択するか、またはすべてのウェブトゥーンを選択するための作品選択ボタン531と、選択されたいずれか1つのウェブトゥーンのエピソード(または、ストーリ)を選択するためのエピソード選択ボタン532、さらに選択された作品やエピソードのプレビューのための第1プレビューウィンドウ533を含んでよい。また、イメージ生成管理ツール500は、マッチング基準イメージの入力を受けるためのファイル選択および追加ボタン541と、選択されたファイルのイメージのプレビューのための第2プレビューウィンドウ542をさらに含んでよい。ここで、マッチング基準イメージは、上述した基準データの一例であってよい。
【0047】
また、イメージ生成管理ツール500は、認識パターンの選択を受けるためのボタン551、552、553、554を含んでよい。キャラクタボタン551は、
図3を参照しながら説明したキャラクタ顔認識器322を選択するためのユーザインタフェースであってよく、吹き出しボタン552は、
図3を参照しながら説明した吹き出し認識器323を選択するためのユーザインタフェースであってよい。また、テキストボタン553は、
図3を参照しながら説明したテキスト認識器324を選択するためのユーザインタフェースであってよく、自動ボタン554は、サーバ150が学習された事項にしたがってパターンを自動で選択するように設定するためのユーザインタフェースであってよい。
図5では、キャラクタボタン551が選択された例を示している。
【0048】
また、イメージ生成管理ツール500は、オブジェクトの認識を実行するためのパターン認識ボタン560を含んでよい。
図5の実施形態では、運営者がパターン認識ボタン560を選択した場合、選択されたウェブトゥーン作品「AAA」の対象イメージからキャラクタの顔を認識するための処理が行われてよい。このとき、サーバ150は、マッチング基準イメージ「AAAtitle.jpg」を基準データとして利用して対象イメージからキャラクタの顔を認識してよい。
【0049】
「認識対象およびパターン選択」段階に対して自動処理が設定されている場合、サーバ150は、学習された事項にしたがい、作品および/またはエピソード、パターン、および基準データを選択してオブジェクトの認識を自動で行ってよい。
【0050】
図6は、「認識結果選択」段階のためのイメージ生成管理ツール500の表示例を示している。このとき、第3プレビューウィンドウ610は、実線枠611、612、613のように、認識されたオブジェクトが表示された作品またはエピソードのプレビューを表示してよい。また、第4プレビューウィンドウ620は、認識されたオブジェクトのプレビューを表示してよい。このとき、第4プレビューウィンドウ620に表示されたオブジェクトのうちの少なくとも1つのオブジェクトを運営者が直接設定してよい。または、作品別イメージ自動選択ボタン630を利用して作品に対するオブジェクトを自動で設定するか、またはストーリ別イメージ自動選択ボタン640を利用してエピソード別のオブジェクトを自動で設定してもよい。例えば、ウェブトゥーン「AAA」が対象コンテンツとして選択された場合、ウェブトゥーン「AAA」からオブジェクトが認識されてよい。このとき、ストーリ別イメージ自動選択ボタン640が選択された場合、ウェブトゥーン「AAA」が含むエピソードのそれぞれのためのオブジェクトが認識されたオブジェクトから選択されてよい。例えば、ウェブトゥーン「AAA」においてエピソード別に選択されたオブジェクト「AAA_E1_01」、「AAA_E2_01」、「AAA_E3_01」が存在すると仮定するとき、サーバ150は、エピソード「AAA_E1」に対してはオブジェクト「AAA_E1_01」を、エピソード「AAA_E2」のためにはオブジェクト「AAA_E2_01」を、エピソード「AAA_E3」のためにはオブジェクト「AAA_E3_01」を、それぞれ自動で選択してよい。認識結果適用ボタン650は、作品やエピソードのために選択されたオブジェクトを適用するためのユーザインタフェースであってよい。ここで、オブジェクトの適用とは、作品やエピソードと選択されたオブジェクトのイメージとを関連付けることを意味してよい。
【0051】
「認識結果選択」段階に対して自動処理が設定されている場合、サーバ150は、学習された事項にしたがい、作品および/またはエピソードに対するオブジェクトのイメージを自動で選択して適用してよい。
【0052】
図7は、「ガイド選択」段階のためのイメージ生成管理ツール500の表示例を示している。このとき、第5プレビューウィンドウ710は、
図6の「認識結果選択」段階で選択および適用されたオブジェクトのイメージ720、730のプレビューを表示している。運営者は、このようなオブジェクトのイメージ720、730に対し、ガイドを利用して希望するイメージを抽出してよい。
図7では、96ピクセル×96ピクセルのサイズを有する正方形ガイド740、750がオブジェクトのイメージ720、730のセンター上段に配置された例を示している。運営者は、「ガイド選択」段階により、ガイドの形状(正方形、横型、縦型など)、ガイドの大きさ(サイズ)、ガイドの認識領域整列の位置などを選択し、オブジェクトのイメージ720、730から希望する1次イメージを抽出してよい。例えば、運営者がガイドを選択した後、ガイドを適用してイメージ生成ボタン760を押すと、選択されたガイドが適用され、適用されたガイドにしたがって1次イメージが抽出および生成されてよい。
【0053】
このような「ガイド選択」段階も、自動処理が設定されている場合、サーバ150は、学習された事項にしたがい、ガイドの形状やサイズ、位置などを自動で選択して1次イメージを生成してよい。
【0054】
図8は、「生成イメージ確認」段階のためのイメージ生成管理ツール500の表示例を示している。「生成イメージ確認」段階では、
図7で生成された1次イメージが表示されてよい。
図8は、基準イメージと120ピクセル×120ピクセルのサイズを有する正方形ガイドによって選択された1次イメージの例を示している。運営者が点検および/または編集後イメージ生成ボタン810を押すと、最終イメージ(代表イメージ)が生成されてよい。
【0055】
図5~8では、運営者に提供されるイメージ生成管理ツール500について説明しているが、これは各段階が実行される過程を説明するものであり、発明の理解を助けるための例に過ぎず、実質的に「認識対象およびパターン選択」段階、「認識結果選択」段階、および「ガイド選択」段階のうちの少なくとも1つは、機械学習(machine learning)によって学習されたサーバ150によって自動で実行されてよい。
【0056】
例えば、サーバ150は、認識されたオブジェクトのイメージのうちから基準データとのマッチング程度によって選択されるオブジェクトのイメージを利用して代表イメージを生成してよい。また、サーバ150は、ユーザ滞留時間、イメージクリック率、ユーザのコメントやおすすめなどのようなユーザの反応をさらに利用して代表イメージを生成してよい。例えば、サーバ150は、ウェブサイトに記載された縦長のイメージファイル形式のウェブトゥーンにおいて、ユーザの端末機の画面に表示される場面別の表示時間(上述した、ユーザ滞留時間)を測定および管理してよい。多数のユーザに対して測定されたユーザ滞留時間が長いほど該当の場面に対する人気が高いと判断してよく、該当の場面から抽出されたオブジェクトのイメージが選択される確率を高めてよい。また、カット単位の場面を切り換える形式のウェブトゥーンでは、カット単位でおすすめやコメントを付与することのできる機能が提供されてよい。この場合、カット単位別のおすすめ数やコメント数などを利用して人気の高いカットを設定してよく、該当のカットから抽出されたオブジェクトのイメージが選択される確率を高めてよい。さらに他の例として、ユーザがクリックを多く行った場面を人気の高い場面として決定してもよい。サーバ150は、このようなユーザの反応それぞれを定量化して場面別またはカット別の人気度を計算してよく、計算された人気度に基づき、オブジェクトのイメージを選択するときに、人気度の高い場面やカットから抽出されたオブジェクトのイメージに加重値を付与してよい。
【0057】
以上の実施形態ではウェブトゥーンに対する代表イメージを生成する方法について説明したが、イラスト、特定の商品と関連する複数のイメージ、またはユーザのフォトアルバムなどのような、少なくとも1つのイメージを含むコンテンツであれば、上述した代表イメージ生成方法によって代表イメージを抽出することが可能であることは、当業者であれば容易に理解することができるであろう。
【0058】
図9は、本発明の一実施形態における、代表イメージ生成方法の例を示したフローチャートである。本実施形態に係る代表イメージ生成方法は、上述したサーバ150のようなコンピュータ装置によって実行されてよい。このとき、サーバ150のプロセッサ222は、メモリ221が含むオペレーティングシステムのコードと、少なくとも1つのプログラムのコードとによる制御命令(instruction)を実行するように実現されてよい。ここで、プロセッサ222は、サーバ150に格納されたコードが提供する制御命令にしたがってサーバ150が
図9の代表イメージ生成方法に含まれる段階910~950を実行するように、サーバ150を制御してよい。
【0059】
段階910で、サーバ150は、登録された複数のコンテンツのうちから選択された対象コンテンツの入力を受けてよい。一例として、登録された複数のコンテンツは、登録された複数のウェブトゥーンを含んでよく、対象コンテンツは、1つのウェブトゥーンまたは1つのウェブトゥーンが含む1つのエピソードを含んでよく、生成された代表イメージは、1つのウェブトゥーンの代表イメージまたは1つのエピソードの代表イメージを含んでよい。上述したように、コンテンツがウェブトゥーンに限定されることはなく、複数のイメージ(または複数の場面が連結する1つのイメージ)を含むコンテンツであれば、コンテンツの代表イメージを生成するために本実施形態に係る代表イメージ生成方法が利用されてよい。
【0060】
段階920で、サーバ150は、入力を受けた対象コンテンツに含まれた少なくとも1つの対象イメージから予め設定されたパターンのオブジェクトを認識してよい。上述したように、予め設定されたパターンは、キャラクタの顔パターン、吹き出しパターン、およびテキストパターンのうちの少なくとも1つを含んでよい。また、実施形態によって、予め設定されたパターンは、人物や動物の形状、および/または自動車や飛行機などのような乗り物の形状などのように、必要によって多様に設定および/または学習されてよい。
【0061】
テキストパターンとは、特定の台詞や特定のキーワードに該当するテキストを意味してよく、このようなテキストがオブジェクトとして認識されてよい。このようなテキスト認識は、以後に、コンテンツ内におけるテキスト検索やイメージ検索のために活用されてもよい。例えば、テキスト認識のために、対象コンテンツが含む対象イメージに含まれたテキストが、特定の台詞や特定のキーワードとの比較のためにすべて認識されてよい。このとき、認識されたテキストと該当の対象イメージとは関連付けて格納されてよく、格納されたデータがコンテンツ内におけるテキスト検索やイメージ検索に活用されてよい。より具体的な例として、ウェブトゥーンの場面Aから「比率が違う」というテキストが認識されて場面Aと関連付けて格納される場合が考えられる。この場合、「比率」というキーワードに基づいたテキスト検索により、コンテンツから「比率が違う」というテキストが検索されて提供されるか、または場面Aに対するイメージが検索されて提供されてよい。あるいは、クエリとして入力されるイメージと類似のイメージを提供するために、互いに関連付けて格納されたテキストと対象イメージが活用されてもよい。例えば、比率と関連のあるイメージや、テキスト「比率」が含まれるイメージがクエリとして入力された場合に、場面Aが類似イメージとして提供されてよい。さらに、認識されるテキストは、視覚障害者のためのサブテキスト(subtext)を生成するために活用されてもよい。例えば、場面Aから認識されたテキストを利用して視覚障害者に場面Aを説明するためのサブテキストが生成されてよい。
【0062】
また、サーバ150は、オブジェクトの認識のために基準データを活用してよい。例えば、サーバ150は、段階920で、予め設定されたパターン別の基準データの入力を受け、基準データとのマッチングに基づいて少なくとも1つの対象イメージからオブジェクトを認識してよい。複数のオブジェクトが認識される場合、基準データとのマッチング度が最も高いオブジェクトが選定および活用されてよい。
【0063】
段階930で、サーバ150は、少なくとも1つの対象イメージから認識されたオブジェクトが含まれた、予め設定されたサイズの領域を抽出して認識結果イメージを生成してよい。このとき、予め設定されたサイズの領域は、多角形や円形、楕円形などのように多様な形状であってよい。
【0064】
サーバ150は、少なくとも1つの対象イメージから複数の認識結果イメージが生成される場合、対象コンテンツの場面またはカットに対するユーザ反応に基づき、複数の認識結果イメージから少なくとも1つの認識結果イメージを選択してよい。ここで、ユーザ反応は、対象コンテンツの場面またはカットに対するユーザ滞留時間、クリック率、おすすめ数、およびコメント数のうちの少なくとも1つを含んでよい。
【0065】
ユーザ滞留時間は、ユーザの端末に該当の場面やカットが表示される時間を測定して得られてよい。また、クリック率は、ユーザの端末で該当の場面やカットが選択される回数を測定して得られてよい。
【0066】
段階940で、サーバ150は、生成された認識結果イメージに基づいて対象コンテンツと関連する代表イメージを生成してよい。例えば、サーバ150は、段階940で、ガイドの形状、サイズ、および整列位置を決定し、決定された形状および大きさのガイドを整列位置によって生成された認識結果イメージに反映し、反映されたガイドによって認識される認識領域を抽出し、抽出された認識領域を含むイメージを代表イメージとして生成してよい。このようなガイドの活用については、
図7を参照しながら説明したとおりである。
【0067】
段階950で、サーバ150は、対象コンテンツをユーザに提供するためのサイトにおいて、生成された代表イメージを表示してよい。
図9では、1つの対象コンテンツに対して代表イメージを生成および表示する実施形態について説明したが、このような代表イメージの生成および表示を複数の対象コンテンツに対して実行することにより、多数の対象コンテンツ(一例として、本日アップロードされる複数のウェブトゥーンそれぞれのエピソード)それぞれに対して代表イメージが自動で生成および表示されることが可能であることは、当業者であれば容易に理解することができるであろう。
【0068】
このように、本発明の実施形態によると、ウェブトゥーンやイラスト、特定の商品と関連する複数のイメージ、またはユーザの写真アルバムなどのような、少なくとも1つのイメージを含むコンテンツに対する代表イメージを自動で生成することが可能となる。また、イメージマッチングモデルを活用することで、代表イメージを自動で生成および管理可能なツールを提供することが可能となる。
【0069】
上述したシステムまたは装置は、ハードウェア構成要素、ソフトウェア構成要素、またはハードウェア構成要素とソフトウェア構成要素との組み合わせによって実現されてよい。例えば、実施形態で説明された装置および構成要素は、例えば、プロセッサ、コントローラ、ALU(arithmetic logic unit)、デジタル信号プロセッサ、マイクロコンピュータ、FPGA(field programmable gate array)、PLU(programmable logic unit)、マイクロプロセッサ、または命令を実行して応答することができる様々な装置のような、1つ以上の汎用コンピュータまたは特殊目的コンピュータを利用して実現されてよい。処理装置は、オペレーティングシステム(OS)およびOS上で実行される1つ以上のソフトウェアアプリケーションを実行してよい。また、処理装置は、ソフトウェアの実行に応答し、データにアクセスし、データを格納、操作、処理、および生成してもよい。理解の便宜のために、1つの処理装置が使用されるとして説明される場合もあるが、当業者は、処理装置が複数個の処理要素および/または複数種類の処理要素を含んでもよいことが理解できるであろう。例えば、処理装置は、複数個のプロセッサまたは1つのプロセッサおよび1つのコントローラを含んでよい。また、並列プロセッサのような、他の処理構成も可能である。
【0070】
ソフトウェアは、コンピュータプログラム、コード、命令、またはこれらのうちの1つ以上の組み合わせを含んでもよく、思うままに動作するように処理装置を構成したり、独立的または集合的に処理装置に命令したりしてよい。ソフトウェアおよび/またはデータは、処理装置に基づいて解釈されたり、処理装置に命令またはデータを提供したりするために、いかなる種類の機械、コンポーネント、物理装置、仮想装置、コンピュータ記憶媒体または装置に具現化されてよい。ソフトウェアは、ネットワークによって接続されたコンピュータシステム上に分散され、分散された状態で格納されても実行されてもよい。ソフトウェアおよびデータは、1つ以上のコンピュータ読み取り可能な記憶媒体に格納されてよい。
【0071】
実施形態に係る方法は、多様なコンピュータ手段によって実行可能なプログラム命令の形態で実現されてコンピュータ読み取り可能な媒体に格納されてよい。コンピュータ読み取り可能な媒体は、プログラム命令、データファイル、データ構造などを単独または組み合わせて含んでよい。媒体は、コンピュータ実行可能なプログラムを継続して格納するものであっても、実行またはダウンロードのために一時記憶するものであってもよい。また、媒体は、単一または複数のハードウェアが結合した形態の多様な記憶手段または格納手段であってよく、あるコンピュータシステムに直接接続する媒体に限定されることはなく、ネットワーク上に分散して存在するものであってもよい。媒体の例としては、ハードディスク、フロッピーディスク、および磁気テープのような磁気媒体、CD-ROMおよびDVDのような光媒体、フロプティカルディスク(floptical disk)のような光磁気媒体、およびROM、RAM、フラッシュメモリなどを含み、プログラム命令が格納されるように構成されたものであってよい。また、媒体の他の例として、アプリケーションを配布するアプリケーションストアやその他の多様なソフトウェアを供給または配布するサイト、サーバなどで管理する記憶媒体または格納媒体が挙げられる。プログラム命令の例には、コンパイラによって生成されるもののような機械語コードだけでなく、インタプリタなどを使用してコンピュータによって実行されることのできる高級言語コードが含まれる。
【0072】
以上のように、実施形態を、限定された実施形態および図面に基づいて説明したが、当業者であれば、上述した記載から多様な修正および変形が可能であろう。例えば、説明された技術が、説明された方法とは異なる順序で実行されたり、かつ/あるいは、説明されたシステム、構造、装置、回路などの構成要素が、説明された方法とは異なる形態で結合されたりまたは組み合わされたり、他の構成要素または均等物によって対置されたり置換されたとしても、適切な結果を達成することができる。
【0073】
したがって、異なる実施形態であっても、特許請求の範囲と均等なものであれば、添付される特許請求の範囲に属する。