知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024173423
(43)【公開日】2024-12-12
(54)【発明の名称】情報処理装置、方法およびプログラム
(51)【国際特許分類】
G06V 10/82 20220101AFI20241205BHJP
G06T 7/00 20170101ALI20241205BHJP
G06F 40/169 20200101ALI20241205BHJP
G06F 40/157 20200101ALI20241205BHJP
【ＦＩ】
G06V10/82
G06T7/00 350C
G06F40/169
G06F40/157
【審査請求】未請求
【請求項の数】19
【出願形態】ＯＬ
(21)【出願番号】P 2023091835
(22)【出願日】2023-06-02
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＪＡＶＡＳＣＲＩＰＴ
(71)【出願人】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】110003281
【氏名又は名称】弁理士法人大塚国際特許事務所
(72)【発明者】
【氏名】石田 智也
【テーマコード（参考）】
5B109
5L096
【Ｆターム（参考）】
5B109SA14
5B109TA11
5B109VC03
5L096CA22
5L096CA25
5L096DA04
5L096FA69
5L096HA11
5L096JA11
5L096JA22
5L096KA04
(57)【要約】
【課題】画像からユーザが所望するコメントを適切に生成する情報処理装置を提供する。
【解決手段】情報処理装置は、画像を取得する第１取得手段と、前記第１取得手段により取得された前記画像から特徴部分を抽出する抽出手段と、前記抽出手段により抽出された前記特徴部分に対応するワードを受け付ける受付手段と、前記抽出手段により抽出された前記特徴部分のカテゴリを取得する第２取得手段と、前記第２取得手段により取得された前記カテゴリと関連するワードであり、前記第１取得手段により取得された前記画像に基づき推論手段により推論されたコメントに含まれる当該ワードを、前記受付手段により受け付けたワードに置き換えることにより、前記推論されたコメントを変換する変換手段とを備える。
【選択図】図７
【解決手段】情報処理装置は、画像を取得する第１取得手段と、前記第１取得手段により取得された前記画像から特徴部分を抽出する抽出手段と、前記抽出手段により抽出された前記特徴部分に対応するワードを受け付ける受付手段と、前記抽出手段により抽出された前記特徴部分のカテゴリを取得する第２取得手段と、前記第２取得手段により取得された前記カテゴリと関連するワードであり、前記第１取得手段により取得された前記画像に基づき推論手段により推論されたコメントに含まれる当該ワードを、前記受付手段により受け付けたワードに置き換えることにより、前記推論されたコメントを変換する変換手段とを備える。
【選択図】図７
【特許請求の範囲】
【請求項1】
画像を取得する第１取得手段と、
前記第１取得手段により取得された前記画像から特徴部分を抽出する抽出手段と、
前記抽出手段により抽出された前記特徴部分に対応するワードを受け付ける受付手段と、
前記抽出手段により抽出された前記特徴部分のカテゴリを取得する第２取得手段と、
前記第２取得手段により取得された前記カテゴリと関連するワードであり、前記第１取得手段により取得された前記画像に基づき推論手段により推論されたコメントに含まれる当該ワードを、前記受付手段により受け付けたワードに置き換えることにより、前記推論されたコメントを変換する変換手段と、
を備えることを特徴とする情報処理装置。
前記第１取得手段により取得された前記画像から特徴部分を抽出する抽出手段と、
前記抽出手段により抽出された前記特徴部分に対応するワードを受け付ける受付手段と、
前記抽出手段により抽出された前記特徴部分のカテゴリを取得する第２取得手段と、
前記第２取得手段により取得された前記カテゴリと関連するワードであり、前記第１取得手段により取得された前記画像に基づき推論手段により推論されたコメントに含まれる当該ワードを、前記受付手段により受け付けたワードに置き換えることにより、前記推論されたコメントを変換する変換手段と、
を備えることを特徴とする情報処理装置。
【請求項2】
前記変換手段により変換されたコメントを、前記第１取得手段により取得された前記画像とともに表示する表示手段をさらに備えることを特徴とする請求項１に記載の情報処理装置。
【請求項3】
前記カテゴリと、当該カテゴリと関連するワードと対応づけて記憶する記憶手段をさらに備えることを特徴とする請求項１に記載の情報処理装置。
【請求項4】
前記カテゴリと、当該カテゴリと関連するワードとは類義語もしくは同義語の関係であることを特徴とする請求項３に記載の情報処理装置。
【請求項5】
前記記憶手段は、前記カテゴリと対応づけられた複数のワードを記憶することを特徴とする請求項３に記載の情報処理装置。
【請求項6】
前記複数のワードそれぞれについて、前記推論されたコメントに含まれるか否かを判定する判定手段をさらに備え、
前記判定手段により前記推論されたコメントに含まれると判定された場合、前記変換手段は、当該含まれると判定されたワードを、前記受付手段により受け付けたワードに置き換える、
ことを特徴とする請求項５に記載の情報処理装置。
前記判定手段により前記推論されたコメントに含まれると判定された場合、前記変換手段は、当該含まれると判定されたワードを、前記受付手段により受け付けたワードに置き換える、
ことを特徴とする請求項５に記載の情報処理装置。
【請求項7】
前記複数のワードには優先順位が設定されており、
前記判定手段は、前記優先順位に従って、前記複数のワードそれぞれについて、前記推論されたコメントに含まれるか否かを判定する、
ことを特徴とする請求項６に記載の情報処理装置。
前記判定手段は、前記優先順位に従って、前記複数のワードそれぞれについて、前記推論されたコメントに含まれるか否かを判定する、
ことを特徴とする請求項６に記載の情報処理装置。
【請求項8】
前記第１取得手段により取得された前記画像の第１特徴部分および第２特徴部分それぞれについて前記第２取得手段により取得された前記カテゴリが異なる場合、
前記第１特徴部分のカテゴリに基づき前記判定手段により前記推論されたコメントに含まれると判定された第１ワードは前記受付手段により受け付けた前記第１特徴部分に対応する第２ワードに置き換えられ、
前記第２特徴部分のカテゴリに基づき前記判定手段により前記推論されたコメントに含まれると判定された第３ワードは前記受付手段により受け付けた前記第２特徴部分に対応する第４ワードに置き換えられることを特徴とする請求項６に記載の情報処理装置。
前記第１特徴部分のカテゴリに基づき前記判定手段により前記推論されたコメントに含まれると判定された第１ワードは前記受付手段により受け付けた前記第１特徴部分に対応する第２ワードに置き換えられ、
前記第２特徴部分のカテゴリに基づき前記判定手段により前記推論されたコメントに含まれると判定された第３ワードは前記受付手段により受け付けた前記第２特徴部分に対応する第４ワードに置き換えられることを特徴とする請求項６に記載の情報処理装置。
【請求項9】
前記第１取得手段により取得された前記画像の第３特徴部分および第４特徴部分それぞれについて前記第２取得手段により取得された前記カテゴリが同じ場合、前記判定手段により前記推論されたコメントに含まれると判定された第５ワードは複数形を表していることを特徴とする請求項６に記載の情報処理装置。
【請求項10】
前記第５ワードは、前記受付手段により受け付けた前記第３特徴部分に対応する第６ワードと前記第４特徴部分に対応する第７ワードに置き換えられることを特徴とする請求項９に記載の情報処理装置。
【請求項11】
前記第５ワードは、接続詞を伴って、前記第６ワードと前記第７ワードに置き換えられることを特徴とする請求項１０に記載の情報処理装置。
【請求項12】
前記第１取得手段により取得された前記画像の第５特徴部分および第６特徴部分のそれぞれについて重要度を設定する設定手段をさらに備え、
前記判定手段による判定は、前記設定手段による設定に基づいて実行されることを特徴とする請求項６に記載の情報処理装置。
前記判定手段による判定は、前記設定手段による設定に基づいて実行されることを特徴とする請求項６に記載の情報処理装置。
【請求項13】
前記設定手段により設定された重要度が所定の重要度である場合、当該所定の重要度が設定された特徴部分について前記判定手段による判定は行われず、前記置き換えは行われないことを特徴とする請求項１２に記載の情報処理装置。
【請求項14】
前記第５特徴部分について第１重要度が前記設定手段により設定され、前記第６特徴部分について前記第１重要度より低い第２重要度が前記設定手段により設定された場合、前記判定手段による判定は、前記第６特徴部分より先に前記第５特徴部分について行われることを特徴とする請求項１２に記載の情報処理装置。
【請求項15】
前記特徴部分は、顔であることを特徴とする請求項１に記載の情報処理装置。
【請求項16】
前記受付手段により受け付ける前記特徴部分に対応するワードは人物の固有の名称であり、前記推論されたコメントに含まれるワードは汎用的な名称であり、
前記変換手段は、前記汎用的な名称を前記固有の名称に置き換えることを特徴とする請求項１に記載の情報処理装置。
前記変換手段は、前記汎用的な名称を前記固有の名称に置き換えることを特徴とする請求項１に記載の情報処理装置。
【請求項17】
前記推論手段は、ＬＳＴＭ（Ｌｏｎｇ Ｓｈｏｒｔ－ｔｅｒｍ ｍｅｍｏｒｙ）を用いたモデルであることを特徴とする請求項１に記載の情報処理装置。
【請求項18】
情報処理装置において実行される方法であって、
画像を取得する第１取得工程と、
前記第１取得工程において取得された前記画像から特徴部分を抽出する抽出工程と、
前記抽出工程において抽出された前記特徴部分に対応するワードを受け付ける受付工程と、
前記抽出工程において抽出された前記特徴部分のカテゴリを取得する第２取得工程と、
前記第２取得工程において取得された前記カテゴリと関連するワードであり、前記第１取得工程において取得された前記画像に基づき推論手段により推論されたコメントに含まれる当該ワードを、前記受付工程において受け付けたワードに置き換えることにより、前記推論されたコメントを変換する変換工程と、
を有することを特徴とする方法。
画像を取得する第１取得工程と、
前記第１取得工程において取得された前記画像から特徴部分を抽出する抽出工程と、
前記抽出工程において抽出された前記特徴部分に対応するワードを受け付ける受付工程と、
前記抽出工程において抽出された前記特徴部分のカテゴリを取得する第２取得工程と、
前記第２取得工程において取得された前記カテゴリと関連するワードであり、前記第１取得工程において取得された前記画像に基づき推論手段により推論されたコメントに含まれる当該ワードを、前記受付工程において受け付けたワードに置き換えることにより、前記推論されたコメントを変換する変換工程と、
を有することを特徴とする方法。
【請求項19】
請求項１乃至１７のいずれか１項に記載の情報処理装置の各手段としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、方法およびプログラムに関する。
【背景技術】
【0002】
従来、一枚の画像を入力として、その画像を説明するコメントを自動生成する技術が知られている。特許文献１には、文中から固有名詞を抽出し、その固有名詞をより分かりやすい固有名詞に変換することが記載されている。また、例えばユーザにより撮影された画像から、コメントを自動生成する技術が知られている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１８―１４７２０５号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
画像から自動生成されるコメントは汎用的なものであり、必ずしもユーザが望むものではない場合があり、コメントの自動生成についてさらなる改善が求められている。
【0005】
本発明は、画像からユーザが所望するコメントを適切に生成する情報処理装置、方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
上記課題を解決するため、本発明に係る情報処理装置は、画像を取得する第１取得手段と、前記第１取得手段により取得された前記画像から特徴部分を抽出する抽出手段と、前記抽出手段により抽出された前記特徴部分に対応するワードを受け付ける受付手段と、前記抽出手段により抽出された前記特徴部分のカテゴリを取得する第２取得手段と、前記第２取得手段により取得された前記カテゴリと関連するワードであり、前記第１取得手段により取得された前記画像に基づき推論手段により推論されたコメントに含まれる当該ワードを、前記受付手段により受け付けたワードに置き換えることにより、前記推論されたコメントを変換する変換手段とを備えることを特徴とする。
【発明の効果】
【0007】
本発明によれば、画像からユーザが所望するコメントを適切に生成することができる。
【図面の簡単な説明】
【0008】
【図1】システムの構成を示す図である。
【図2】各装置のハードウェア構成を示す図である。
【図3】ＰＣのソフトウェアの構成を示す図である。
【図4】アプリケーションの構成を示す図である。
【図5】ユーザインタフェース画面を示す図である。
【図6】ユーザインタフェース画面を示す図である。
【図7】情報処理装置における処理を示すフローチャートである。
【図8】情報処理装置における処理を示すフローチャートである。
【図9】画像からコメントを推論するためのモデルを示す図である。
【図10】コメント候補リストを示す図である。
【図11】ユーザインタフェース画面を示す図である。
【図12】ユーザインタフェース画面を示す図である。
【図13】ユーザインタフェース画面を示す図である。
【図14】ユーザインタフェース画面を示す図である。
【図15】ユーザインタフェース画面を示す図である。
【発明を実施するための形態】
【0009】
以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
【0010】
［第１実施形態］
図１は、本実施形態における印刷システムの構成の一例を示す図である。本印刷システムは、クライアントコンピュータ（以下、ＰＣ）１００、ディスプレイ（表示装置）１１０、ルータ１２０、モバイル端末２００、サーバコンピュータ（以下、サーバ）３００、プリンタ４００を含む。ＰＣ１００は、ディスプレイ１１０と通信ケーブルで接続され、ＰＣ１００のユーザに対して各種ユーザインタフェース画面をディスプレイ１１０に表示する。ＰＣ１００自身のみならず、ＰＣ１００とディスプレイ１１０とを含んで情報処理装置と称する場合がある。また、ＰＣ１００は、有線通信もしくは無線通信により、ルータ１２０に接続され、ルータ１２０を介してインターネット１３０を経由して他の通信機器と相互に通信可能である。モバイル端末２００は、無線通信により、ルータ１２０を介してインターネット１３０を経由して他の通信機器と相互に通信可能である。サーバ３００は、例えば、印刷対象のコンテンツデータをユーザが作成／編集可能なＷｅｂアプリケーションを提供するＷｅｂサーバである。サーバ３００は、インターネット１３０を経由して他の通信機器と相互に通信可能である。そして、サーバ３００は、ＰＣ１００やモバイル端末２００で保持されているデータを受信してメモリに保存し、データの加工や、ＰＣ１００等の他の機器へのデータ送信を実行可能である。プリンタ４００は、ＰＣ１００、モバイル端末２００、もしくはサーバ３００に保存されているデータを受信し、印刷用紙等の記録媒体に対して印刷を行う。
図１は、本実施形態における印刷システムの構成の一例を示す図である。本印刷システムは、クライアントコンピュータ（以下、ＰＣ）１００、ディスプレイ（表示装置）１１０、ルータ１２０、モバイル端末２００、サーバコンピュータ（以下、サーバ）３００、プリンタ４００を含む。ＰＣ１００は、ディスプレイ１１０と通信ケーブルで接続され、ＰＣ１００のユーザに対して各種ユーザインタフェース画面をディスプレイ１１０に表示する。ＰＣ１００自身のみならず、ＰＣ１００とディスプレイ１１０とを含んで情報処理装置と称する場合がある。また、ＰＣ１００は、有線通信もしくは無線通信により、ルータ１２０に接続され、ルータ１２０を介してインターネット１３０を経由して他の通信機器と相互に通信可能である。モバイル端末２００は、無線通信により、ルータ１２０を介してインターネット１３０を経由して他の通信機器と相互に通信可能である。サーバ３００は、例えば、印刷対象のコンテンツデータをユーザが作成／編集可能なＷｅｂアプリケーションを提供するＷｅｂサーバである。サーバ３００は、インターネット１３０を経由して他の通信機器と相互に通信可能である。そして、サーバ３００は、ＰＣ１００やモバイル端末２００で保持されているデータを受信してメモリに保存し、データの加工や、ＰＣ１００等の他の機器へのデータ送信を実行可能である。プリンタ４００は、ＰＣ１００、モバイル端末２００、もしくはサーバ３００に保存されているデータを受信し、印刷用紙等の記録媒体に対して印刷を行う。
【0011】
図１の印刷システムでは、ＰＣ１００のユーザは、サーバ３００のＷｅｂアプリケーションを用いて作成したコンテンツをプリンタ４００で印刷することが可能である。また、ＰＣ１００のユーザは、サーバ３００のＷｅｂアプリケーションを用いずに、ＰＣ１００に予めインストールされたネイティブアプリケーションを用いて、印刷対象のコンテンツをプリンタ４００で印刷することが可能である。ＰＣ１００のユーザは、Ｗｅｂアプリケーションとネイティブアプリケーションとを連携可能に予め対応付けておき、Ｗｅｂアプリケーションにより作成されたコンテンツを、ネイティブアプリケーションを介してプリンタ４００で印刷することが可能である。本実施形態では、上記の各形態に関わらず、ユーザがＰＣ１００上でコンテンツを印刷するためのアプリケーションを単に「アプリケーション」と称する。以下、図１の各装置のハードウェア構成を説明する。
【0012】
図２は、図１の印刷システムの各装置のハードウェア構成の一例を示す図である。まず、ＰＣ１００のハードウェア構成について説明する。ＣＰＵ１０１は、中央演算装置であり、情報処理装置であるＰＣ１００を統括的に制御する。ＲＯＭ１０２は、不揮発性のストレージであり、各種データやプログラム、テーブルを保持する。ＲＯＭ１０２には、例えば、基本プログラムや各種アプリケーションプログラムが記憶される。アプリケーションプログラムは例えば、外部のサーバからダウンロードしてインストールされた印刷アプリケーションプログラムや、サーバ３００のＷｅｂアプリケーションにおけるフロントエンドプログラムを含む。ＲＡＭ１０３は、揮発性のストレージであり、プログラムやデータを一時的に保持する。外部記憶装置１０４は、ハードディスクドライブ（ＨＤＤ）やＳｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ（ＳＳＤ）等の不揮発性のストレージであり、プログラムやデータを保持する。ＣＰＵ１０１は、ＲＯＭ１０２、ＲＡＭ１０３、外部記憶装置１０４に保存されているプログラムやデータに基づいて、各種処理を実行する。例えば、本実施形態におけるＰＣ１００の動作は、ＣＰＵ１０１がＲＯＭ１０２に記憶されているプログラムをＲＡＭ１０３に読み出して実行することにより実現される。
【0013】
データ通信インタフェース（Ｉ／Ｆ）１０５は、外部の機器とのデータ通信を実行する。例えば、データ通信Ｉ／Ｆ１０５は、ルータ１２０を介し、サーバ３００及びプリンタ４００との間におけるデータの送受信を制御する。データ通信方式として、例えば、ＵＳＢ、ＩＥＥＥ１３９４、ＬＡＮ等の有線接続方式や、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＷｉＦｉ（登録商標）等の無線接続方式が用いられる。入力デバイス制御部１０６は、入力装置１０７を介して受け付けたユーザ操作に関する情報を取得し、ＣＰＵ１０１にその情報を送信する。入力装置１０７は、キーボード、マウス等のＨＩＤ（Ｈｕｍａｎ Ｉｎｔｅｒｆａｃｅ Ｄｅｖｉｃｅ）である。表示装置制御部１０８は、ユーザインタフェース画面等の画面データを描画用データに変換し、描画用データをディスプレイ１１０に送信して表示させる。ＰＣ１００内の各ブロックは、内部バス１０９を介して相互に接続される。ＰＣ１００の構成は、図２に示す構成に限られず、ＰＣ１００として適用されるデバイスが実行可能な機能に応じた構成を適宜有する。
【0014】
次に、モバイル端末２００のハードウェア構成について説明する。モバイル端末２００は、主に、タブレットコンピュータ、スマートフォンのような情報処理装置の機能を備え、表示および入力Ｉ／Ｆを兼ねるタッチパネルを備えている。ＣＰＵ２０１は、中央演算装置であり、モバイル端末２００を統括的に制御する。ＲＯＭ２０２は、不揮発性のストレージであり、各種データやプログラムを保持する。ＲＯＭ２０２には、例えば、基本プログラムや各種アプリケーションプログラムが記憶される。ＲＡＭ２０３は、揮発性のストレージであり、プログラムやデータを一時的に保持する。外部記憶装置２０４は、ハードディスクドライブ（ＨＤＤ）やＳｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ（ＳＳＤ）等の不揮発性のストレージであり、プログラムやデータを保持する。外部記憶装置２０４は、外付けで構成されても良い。ＣＰＵ２０１は、ＲＯＭ２０２、ＲＡＭ２０３、外部記憶装置２０４に保存されているプログラムやデータに基づいて、各種処理を実行する。例えば、本実施形態におけるモバイル端末２００の動作は、ＣＰＵ２０１がＲＯＭ２０２に記憶されているプログラムをＲＡＭ２０３に読み出して実行することにより実現される。
【0015】
データ通信Ｉ／Ｆ２０５は、外部の機器とのデータ通信を実行する。データ通信方式として、例えば、ＵＳＢ、ＩＥＥＥ１３９４、ＬＡＮ等の有線接続方式や、Ｂｌｕｅｔｏｏｔｈ、ＷｉＦｉ等の無線接続方式が用いられる。入力デバイス制御部２０６は、入力装置２０７を介して受け付けたユーザ操作に関する情報を取得し、ＣＰＵ２０１にその情報を送信する。入力装置２０７は、例えば、タブレットコンピュータやスマートフォンに備えられている表示および入力の機能を備えたタッチパネルのような画面上で入力操作を受付可能な装置である。表示装置制御部２０８は、ユーザインタフェース画面等の画面データを描画用データに変換し、その描画用データを表示装置２０９に表示させる。モバイル端末２００内の各ブロックは、内部バス２１０を介して相互に接続される。モバイル端末２００の構成は、図２に示す構成に限られず、モバイル端末２００として適用されるデバイスが実行可能な機能に応じた構成を適宜有する。
【0016】
次に、サーバ３００のハードウェア構成について説明する。ＣＰＵ３０１は、中央演算装置であり、サーバ３００を統括的に制御する。ＲＯＭ３０２は、不揮発性のストレージであり、各種テーブルデータやプログラムを保持する。ＲＯＭ３０２には、例えば、基本プログラムや各種アプリケーションプログラムが記憶される。アプリケーションプログラムとしては例えば、ユーザがダウンロード可能な印刷アプリケーションが含まれる。ＲＡＭ３０３は、揮発性のストレージであり、プログラムやデータを一時的に保持する。外部記憶装置３０４は、ハードディスクドライブ（ＨＤＤ）やＳｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ（ＳＳＤ）等の不揮発性のストレージであり、プログラムやデータを保持する。例えば、本実施形態におけるサーバ３００の動作は、ＣＰＵ３０１がＲＯＭ３０２に記憶されているプログラムをＲＡＭ３０３に読み出して実行することにより実現される。
【0017】
データ通信Ｉ／Ｆ３０５は、外部の機器とのデータ通信を実行する。例えば、データ通信Ｉ／Ｆ３０５は、ルータ１２０を介し、ＰＣ１００及びプリンタ４００との間におけるデータの送受信を制御する。データ通信方式として、例えば、ＵＳＢ、ＩＥＥＥ１３９４、ＬＡＮ等の有線接続方式や、Ｂｌｕｅｔｏｏｔｈ、ＷｉＦｉ等の無線接続方式が用いられる。サーバ３００内の各ブロックは、内部バス３０６を介して相互に接続される。サーバ３００の構成は、図２に示す構成に限られず、サーバ３００として適用されるデバイスが実行可能な機能に応じた構成を適宜有する。
【0018】
次に、プリンタ４００のハードウェア構成について説明する。データ通信Ｉ／Ｆ４０１は、外部の機器とのデータ通信を実行する。例えば、データ通信Ｉ／Ｆ４０１は、ルータ１２０を介し、ＰＣ１００及びサーバ３００との間におけるデータの送受信を制御する。データ通信方式として、例えば、ＵＳＢ、ＩＥＥＥ１３９４、ＬＡＮ等の有線接続方式や、Ｂｌｕｅｔｏｏｔｈ、ＷｉＦｉ等の無線接続方式が用いられる。
【0019】
プリンタ４００は、ＰＣ１００、モバイル端末２００、サーバ３００で生成された印刷データを受信して記録媒体への印刷を実行可能である。なお、印刷データには、印刷対象の画像データと、印刷設定が規定された印刷設定データとが含まれる。プリンタコントローラ４０２は、外部の機器から受信した印刷データに基づいて、プリンタエンジン４０３の制御を行う。
【0020】
プリンタコントローラ４０２は、例えば、印刷設定データで規定される用紙の種類に応じた色空間変換や色材への色分解処理などを画像データに対して実行し、プリンタエンジン４０３が処理可能な記録データを生成する。また、プリンタコントローラ４０２は、出力階調補正やハーフトーニングといった画像処理を、ルックアップテーブルなどの画像処理用パラメータを用いて実行する。
【0021】
プリンタエンジン４０３は、印刷データの画像データをプリンタ４００内で用いられる各インクのインク色データに変換し、印刷処理を実行する。なお、プリンタエンジン４０３は、プリンタ４００の記録方式に対応した構成を有する。例えば、本実施形態では、プリンタ４００として、インクジェット記録方式により記録媒体への記録が行われるインクジェットプリンタを想定している。その場合、プリンタエンジン４０３は、各インクを貯留するインクタンクや、インク滴を吐出するノズル列が設けられた記録ヘッドを含んで構成される。印刷処理では、記録データに基づいて、記録ヘッドに搭載されたヒータの加熱動作等を制御し、インク滴をノズルから吐出するよう制御する。
【0022】
プリンタ４００の構成は、図２に示す構成に限られず、プリンタ４００として適用されるデバイスが実行可能な機能に応じた構成を適宜有する。また、プリンタ４００は、インクジェット記録方式を用いたプリンタに限られず、電子写真方式等、他の記録方式が用いられたプリンタであっても良い。また、プリンタ４００は、スキャナやファクシミリ等の機能が一体的に構成された複合機（ＭｕｌｔｉＦｕｎｃｔｉｏｎａｌ Ｐｅｒｉｐｈｅｒａｌ（ＭＦＰ））であっても良い。
【0023】
サーバ３００は例えば、印刷対象のコンテンツデータ（例えばポスター画像データ）をユーザが作成・編集可能なＷｅｂアプリケーションを提供するＷｅｂサーバである。その場合、サーバ３００のソフトウェアは、ＰＣ１００等のＷｅｂブラウザの表示制御を行うフロントエンドと、バックエンドとを含んで構成される。フロントエンドは、Ｗｅｂブラウザ上で実行されるプログラム（ＪａｖａＳｃｒｉｐｔ）を管理／保持し、例えばＰＣ１００に送信（ダウンロード）されることで、ＰＣ１００のＷｅｂブラウザで対応した表示が行われる。フロントエンドは例えば、ユーザ認証を行うためのプログラム、コンテンツの作成／編集の処理を行うためのプログラムを含む。なお、フロントエンドのプログラムがＰＣ１００にダウンロードされた状態において、そのプログラムは、ＰＣ１００のソフトウェア構成の一部となる。
【0024】
本実施形態では、コンテンツデータを作成・編集可能なアプリケーションの一例として、ＰＣ１００に予めインストールされたネイティブアプリケーションを想定する。なお、ＰＣ１００には、プリンタ４００に対応するプリンタドライバがインストールされている。しかしながら、ＰＣ１００側のフロントエンドによりポスター等のコンテンツがユーザにより作成／編集され、サーバ３００側のバックエンドによりレンダリング処理が実行される構成でも良い。その場合、フロントエンドは、ユーザからの印刷指示を受け付けると、プリンタドライバに対する印刷設定に基づきバックエンドに印刷を指示するとともに、ユーザにより作成／編集されたコンテンツデータをバックエンドに送信する。バックエンドは、送信されたコンテンツデータに対してレンダリング処理を行ってＰＣ１００に送信する。レンダリング処理が行われたコンテンツデータは、プリンタドライバに対応するプリンタで印刷される。
【0025】
図３は、ＰＣ１００のソフトウェアの構成の一例を示す図である。ＰＣ１００は、ソフトウェア構成として、アプリケーション２、オペレーティングシステム３、モニタドライバ４、プリンタドライバ５を備える。
【0026】
本実施形態では、アプリケーション２は、例えば、ポスターを作成・編集するためのアプリケーションである。なお、アプリケーション２は、ＰＣ１００に予めインストールされたネイティブアプリケーションを想定するが、Ｗｅｂアプリケーションのフロントエンドのプログラムであっても良い。アプリケーション２は、作成・編集等の処理の実行結果を出力するための各種描画処理命令群（イメージ描画命令、テキスト描画命令、またはグラフィクス描画命令等）を発行する。そして、アプリケーション２によって発行された描画命令群は、オペレーティングシステム３を介してモニタドライバ４に入力される。また、描画処理命令群が印刷に関する場合は、アプリケーション２によって発行された描画命令群は、オペレーティングシステム３を介してプリンタドライバ５に入力される。プリンタドライバ５は、入力された描画処理命令群を処理して印刷データを作成し、プリンタ４００に印刷させるためのソフトウェアである。また、モニタドライバ４は、入力された描画処理命令群を処理して表示データを作成し、ディスプレイ１１０に表示させるためのソフトウェアである。
【0027】
アプリケーション２は、文字等のテキストに分類されるテキストデータ、図形等のグラフィクスに分類されるグラフィクスデータ、画像等に分類される画像データを用いて出力画像データを作成する。出力画像データは、ディスプレイ１１０に表示可能である。例えば、アプリケーション２は、ユーザによる作成・編集の対象となる出力画像データのポスター画像をアプリケーション２のユーザインタフェース画面上に表示する。また、アプリケーション２は、ユーザインタフェース画面上でユーザ指示を受け付けて出力画像データに基づく画像を印刷する場合、オペレーティングシステム３に印刷出力を要求する。それらの場合、テキストデータ部分がテキスト描画命令により構成され、グラフィクスデータ部分がグラフィクス描画命令により構成され、画像データ部分がイメージ描画命令により構成される描画処理命令群が、オペレーティングシステム３に対して発行される。
【0028】
図４は、アプリケーション２の構成の一例を示す図である。アプリケーション２は、コメント推論部４１１、顔検出部４１２、カテゴリ検出部４１３、名称設定部４１４、コメント候補リスト取得部４１５、重要度設定部４１６、コメント変換部４１７を含む。以降の説明では、アプリケーション２をポスター作成ソフトウェア５００として説明する。
【0029】
図５は、ポスター作成ソフトウェア５００の編集画面の一例を示す図である。ポスター作成ソフトウェア５００の編集画面５１０は、テンプレート一覧領域５２１、テンプレート編集領域５２２、人物設定領域５２３を含んで構成される。テンプレート一覧領域５２１には、予め用意されたテンプレート５３１、５３２、５３３が表示される。ユーザは、テンプレート一覧領域５２１から所望のテンプレートを選択する。図５では、ユーザがテンプレート５３２を選択し、そのテンプレートが選択状態５４２となっていることを示している。テンプレート一覧５２１で選択されたテンプレート５３２は、テンプレート編集領域５２２に編集対象のテンプレート５５２として表示される。編集対象のテンプレート５５２には、ユーザが画像を設定するための画像設定部５６１と、画像に対するコメントを設定するコメント設定部５６２とが配置されている。
【0030】
図６は、ポスター作成ソフトウェア５００の編集画面５１０で、ユーザの画像を画像設定部５６１に設定した様子を示したものである。ユーザは、自身で撮影するなどして保持している画像（以降、ユーザ画像と呼ぶ）を画像設定部５６１にドラッグ＆ドロップなどの操作によって、そのユーザ画像を画像設定部５６１に設定する。ユーザ画像は、ユーザにより撮影されＰＣ１００に保持されている画像でも良いし、インターネットを経由して取得した画像などであっても良い。ユーザ画像６０１が画像設定部５６１に設定されると、人物設定領域５２３が表示される。人物設定領域５２３には、検出された人物の名前を設定する名前設定部６２０、検出された人物の重要度を設定する重要度設定部６３０が配置されている。名前設定部６２０には、ユーザ画像６０１から特徴部分として検出された顔領域６１１、顔領域６１１に写った人物の名前を設定するためのフィールド６２１（以降、名称設定フィールド６２１と呼ぶ）が配置されている。ユーザは、名称設定フィールド６２１にユーザの名前を入力することが可能である。図６では、ユーザが「Ｏｌｉｖｉａ」という名前を設定している。
【0031】
重要度設定部６３０には、ユーザ画像６０１から検出された顔領域６１１、顔領域６１１に写った人物の重要度を設定するための重要度設定フィールド６３１が表示されている。図６では、「ｍａｉｎ」「ｓｕｂ」「ｏｔｈｅｒ」の３段階で重要度が設定でき、「ｍａｉｎ」が設定されている。「ｍａｉｎ」は重要度が高く、「ｓｕｂ」は重要度が中間程度、「ｏｔｈｅｒ」は重要度が低いことを表している。ユーザは、それらの重要度を選択することが可能である。本例では、３段階で重要度を設定しているが、３段階に限定されるものではなく、重要か否かの２段階で設定しても良いし、４段階以上で重要度を設定するようにしても良い。
【0032】
図７は、本実施形態におけるコメントの表示処理を示すフローチャートである。図７の処理は例えば、ＣＰＵ１０１がＲＯＭ１０２に記憶されたプログラムをＲＡＭ１０３に読み出して実行することにより実現される。また、図７の処理は例えば、ポスター作成ソフトウェア５００が起動された場合に開始する。
【0033】
Ｓ７０１において、ＣＰＵ１０１は、ポスター作成ソフトウェア５００の編集画面５１０を表示する。Ｓ７０２において、ＣＰＵ１０１は、テンプレート一覧領域５２１においてテンプレートの一覧を表示し、ユーザが所望するテンプレートの選択を受け付ける。ユーザによりテンプレートが選択されると、Ｓ７０３において、ＣＰＵ１０１は、テンプレート編集領域５２２の画像設定部５６１で、ユーザからユーザ画像の入力を受け付ける。ユーザ画像が入力されると、Ｓ７０４において、ＣＰＵ１０１は、ユーザ画像を画像設定部５６１に表示する。Ｓ７０５において、ＣＰＵ１０１は、コメント推論部４１１を用いて、ユーザ画像からコメントを推論する。ここで、推論されたコメントを推論コメントと呼ぶ。
【0034】
図９は、画像からコメントを推論するためのモデルを図示したものである。ユーザ画像６０１は例えばフラフープをしている少女の画像であり、ユーザ画像６０１がモデルへ入力される。入力されたユーザ画像６０１は、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）９０１によって、特徴マップに変換される。この特徴マップは、ＬＳＴＭ（Ｌｏｎｇ Ｓｈｏｒｔ－ｔｅｒｍ ｍｅｍｏｒｙ）９０２に入力され、推論コメント９１０が出力される。このようにして、ユーザ画像６０１から推論コメント９１０が生成される。このモデルは、事前に大量の画像とそのコメントのセットによって、学習が行われる。この例では、ＬＳＴＭを使ったモデルについて説明したが、本実施形態ではこのモデルに限定されるもではなく、ＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）など他のネットワークを使っても良く、画像からコメントを推論するモデルであれば良い。
【0035】
Ｓ７０６において、ＣＰＵ１０１は、顔検出部４１２により、ユーザ画像６０１から顔を検出する。Ｓ７０７において、ＣＰＵ１０１は、Ｓ７０６の処理の結果、１つ以上顔を検出したか否かを判定する。顔が１つ以上検出されたと判定された場合、Ｓ７０８において、ＣＰＵ１０１は、カテゴリ検出部４１３により、検出された顔のカテゴリを検出する。検出された顔がないと判定された場合、Ｓ７１６に進む。
【0036】
Ｓ７０６およびＳ７０８の処理については、例えば、Ｒ－ＣＮＮ（Ｒｅｇｉｏｎ Ｂａｓｅ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を用いた手法が用いられる。Ｒ－ＣＮＮは、ＣＮＮをベースとした手法で、入力画像から物体の候補領域を抽出し、その候補領域に対してＣＮＮを適用することにより、特徴マップを抽出してクラス分類を行うものである。ただし、本実施形態は、Ｒ－ＣＮＮの手法に限定されるものではなく、画像の中から物体の位置を特定し、その物体の種類を特定する手法であれば良い。
【0037】
Ｓ７０９において、ＣＰＵ１０１は、名前設定部６２０を表示する。Ｓ７１０において、ＣＰＵ１０１は、名前設定部６２０を介してユーザから、検出された顔に対する名前の入力を受け付ける。
【0038】
Ｓ７１１において、ＣＰＵ１０１は、検出された顔に対して重要度を設定するか否かを判定する。なお、重要度を設定するか否かについては、ポスター作成ソフトウェア５００で予め決められるようにしても良い。また、ポスター作成ソフトウェア５００内で設定可能であっても良い。その場合、Ｓ７１１の判定処理は、ポスター作成ソフトウェア５００の設定内容に基づいて行われる。重要度を設定すると判定された場合、Ｓ７１２において、ＣＰＵ１０１は、重要度設定部６３０を表示する。そして、Ｓ７１３において、ＣＰＵ１０１は、重要度設定部６３０を介してユーザから、重要度の設定を受け付ける。Ｓ７１４において、ＣＰＵ１０１は、コメント候補リスト取得部４１５により、コメント候補リストを取得する。
【0039】
図１０は、コメント候補リストを説明するための図である。コメント候補リストとは、物体検出で得られるカテゴリ（例えば、「ｇｉｒｌ」、「ｂｏｙ」など）に対して、コメント推論部４１１で推論され得るワードをコメント候補のリストとして保持したものである。例えば、少女が写った画像の場合、顔検出部４１２でその少女の顔が検出され、カテゴリ検出部４１３で「ｇｉｒｌ」というカテゴリが検出される。この画像をコメント推論部４１１によりコメントを推論すると、例えば、「Ａ ｌｉｔｔｌｅ ｇｉｒｌ ・・・」や、「Ａ ｃｕｔｅ ｃｈｉｌｄ ・・・」のようなコメントが推論される。その場合、「Ａ ｌｉｔｔｌｅ ｇｉｒｌ」や「Ａ ｃｕｔｅ ｃｈｉｌｄ」がカテゴリ「ｇｉｒｌ」に関連するコメント候補となる。
【0040】
コメント候補の作成方法としては、例えばカテゴリの単語に対して類義語や同義語の関係にあるワードをコメント候補とする方法がある。しかしながら、その方法に限定されず、他の方法が用いられても良い。例えば、推論モデルの学習時に利用したコメントからコメント候補を抽出しても良い。カテゴリに対するコメント候補は複数あるため、リストで保持される。本実施形態では、そのリストをコメント候補リストと呼ぶことにする。また、コメント候補リストはカテゴリごとに存在するので、本実施形態では、そのリストをまとめたものをコメント候補リスト一覧と呼ぶことにする。図１０は、一例として、コメント候補リスト一覧１０１０、１０２０、１０３０、１０４０を示している。
【0041】
コメント候補リスト一覧１０１０には以下のコメント候補リストが含まれる。
【0042】
（１）カテゴリ「ｇｉｒｌ」に対するコメント候補リスト１０１１
（２）カテゴリ「ｂｏｙ」に対するコメント候補リスト１０１２
（３）カテゴリ「ｗｏｍａｎ」に対するコメント候補リスト１０１３
（４）カテゴリ「ｍａｎ」に対するコメント候補リスト１０１４
例えば、コメント候補リスト１０１１は、「＊ ｇｉｒｌ，＊ ｃｈｉｌｄ，＊ ｋｉｄ，＊ ｗｏｍａｎ， ＊ ｐｅｒｓｏｎ」であり、「＊ ｇｉｒｌ」、「＊ ｃｈｉｌｄ」「＊ ｋｉｄ」「＊ ｐｅｒｓｏｎ」という４個のコメント候補を持っていることを意味する。ここで「＊」は正規表現のワイルドカードであり、例えば「＊ ｇｉｒｌ」に対して、「Ａ ｇｉｒｌ」や「Ａ ｌｉｔｔｌｅ ｇｉｒｌ」のような文字列が対応する。ここでは、コメント候補を正規表現で表したが、それに限定されるものではなく、単純に「Ｇｉｒｌ」のような正規表現ではないものであっても良い。
（２）カテゴリ「ｂｏｙ」に対するコメント候補リスト１０１２
（３）カテゴリ「ｗｏｍａｎ」に対するコメント候補リスト１０１３
（４）カテゴリ「ｍａｎ」に対するコメント候補リスト１０１４
例えば、コメント候補リスト１０１１は、「＊ ｇｉｒｌ，＊ ｃｈｉｌｄ，＊ ｋｉｄ，＊ ｗｏｍａｎ， ＊ ｐｅｒｓｏｎ」であり、「＊ ｇｉｒｌ」、「＊ ｃｈｉｌｄ」「＊ ｋｉｄ」「＊ ｐｅｒｓｏｎ」という４個のコメント候補を持っていることを意味する。ここで「＊」は正規表現のワイルドカードであり、例えば「＊ ｇｉｒｌ」に対して、「Ａ ｇｉｒｌ」や「Ａ ｌｉｔｔｌｅ ｇｉｒｌ」のような文字列が対応する。ここでは、コメント候補を正規表現で表したが、それに限定されるものではなく、単純に「Ｇｉｒｌ」のような正規表現ではないものであっても良い。
【0043】
コメント候補リスト一覧１０２０には以下のコメント候補リストが含まれる。
【0044】
（１）カテゴリ「ｇｉｒｌ」に対するコメント候補リスト１０２１
（２）カテゴリ「ｂｏｙ」に対するコメント候補リスト１０２２
（３）カテゴリ「ｗｏｍａｎ」に対するコメント候補リスト１０２３
（４）カテゴリ「ｍａｎ」に対するコメント候補リスト１０２４
例えば、コメント候補リスト１０２１は、「＊ ｇｉｒｌ，＊ ｇｉｒｌｓ，＊ ｃｈｉｌｄ，＊ ｃｈｉｌｄｒｅｎ，＊ ｋｉｄ，＊ ｋｉｄｓ，＊ ｗｏｍａｎ，＊ ｗｏｍｅｎ，＊ ｐｅｒｓｏｎ，＊ ｐｅｏｐｌｅ」であり、８つのコメント候補を持っていることを意味する。コメント候補リスト１０１１と異なるのは、複数系である「＊ ｃｈｉｌｄｒｅｎ, ＊ ｋｉｄｓ, ＊ ｗｏｍｅｎ, ＊ ｐｅｏｐｌｅ」が含まれていることである。コメント推論部４１１で推論されるコメントは、複数系で表現されることもあるため、このような複数形を含むコメント候補を利用しても良い。
（２）カテゴリ「ｂｏｙ」に対するコメント候補リスト１０２２
（３）カテゴリ「ｗｏｍａｎ」に対するコメント候補リスト１０２３
（４）カテゴリ「ｍａｎ」に対するコメント候補リスト１０２４
例えば、コメント候補リスト１０２１は、「＊ ｇｉｒｌ，＊ ｇｉｒｌｓ，＊ ｃｈｉｌｄ，＊ ｃｈｉｌｄｒｅｎ，＊ ｋｉｄ，＊ ｋｉｄｓ，＊ ｗｏｍａｎ，＊ ｗｏｍｅｎ，＊ ｐｅｒｓｏｎ，＊ ｐｅｏｐｌｅ」であり、８つのコメント候補を持っていることを意味する。コメント候補リスト１０１１と異なるのは、複数系である「＊ ｃｈｉｌｄｒｅｎ, ＊ ｋｉｄｓ, ＊ ｗｏｍｅｎ, ＊ ｐｅｏｐｌｅ」が含まれていることである。コメント推論部４１１で推論されるコメントは、複数系で表現されることもあるため、このような複数形を含むコメント候補を利用しても良い。
【0045】
コメント候補リスト一覧１０３０には以下のコメント候補リストが含まれる。
【0046】
（１）カテゴリ「ｇｉｒｌ」に対するコメント候補リスト１０３１
（２）カテゴリ「ｂｏｙ」に対するコメント候補リスト１０３２
（３）カテゴリ「ｗｏｍａｎ」に対するコメント候補リスト１０３３
（４）カテゴリ「ｍａｎ」に対するコメント候補リスト１０３４
例えば、コメント候補リスト１０３１は、「＊ ｇｉｒｌ ＞ ＊ ｃｈｉｌｄ ＞ ＊ ｋｉｄ ＞ ＊ ｗｏｍａｎ ＞ ＊ ｐｅｒｓｏｎ」である。コメント候補は、「＊ ｇｉｒｌ」、「＊ ｃｈｉｌｄ」、「＊ ｋｉｄ」、「＊ ｗｏｍａｎ」、「＊ ｐｅｒｓｏｎ」であり、コメント候補リスト１０１１と同じである。ただし、コメント候補リスト１０３１には優先順位が設定されており、例えば「＊ ｇｉｒｌ」の方が「＊ ｃｈｉｌｄ」よりも優先順位が高い。「＞」の記号は優先順位の大小を示す。優先順位は例えば、カテゴリの単語に対する単語間の類似度で基づいて設定されても良い。例えば、カテゴリ「ｇｉｒｌ」とコメント候補「＊ ｃｈｉｌｄ」の類似度を計算し、その類似度に基づいて優先順位を設定する。類似度の計算時は、「＊」を取り除き、カテゴリの「ｇｉｒｌ」とコメント候補の「ｃｈｉｌｄ」とで単語間の類似度を計算する。具体的な類似度の計算には、例えば、単語をＷｏｒｄ２Ｖｅｃの手法でベクトル表現に変換し、そのコサイン類似度を計算する方法が用いられても良い。このようにして、カテゴリとコメント候補の類似度を計算し、その類似度が高いほど優先順位を高くする。ここでは、類似度の計算については、Ｗｏｒｄ２Ｖｅｃを用いた方法で説明したが、それに限定されるものではなく、他の方法を用いても良い。
（２）カテゴリ「ｂｏｙ」に対するコメント候補リスト１０３２
（３）カテゴリ「ｗｏｍａｎ」に対するコメント候補リスト１０３３
（４）カテゴリ「ｍａｎ」に対するコメント候補リスト１０３４
例えば、コメント候補リスト１０３１は、「＊ ｇｉｒｌ ＞ ＊ ｃｈｉｌｄ ＞ ＊ ｋｉｄ ＞ ＊ ｗｏｍａｎ ＞ ＊ ｐｅｒｓｏｎ」である。コメント候補は、「＊ ｇｉｒｌ」、「＊ ｃｈｉｌｄ」、「＊ ｋｉｄ」、「＊ ｗｏｍａｎ」、「＊ ｐｅｒｓｏｎ」であり、コメント候補リスト１０１１と同じである。ただし、コメント候補リスト１０３１には優先順位が設定されており、例えば「＊ ｇｉｒｌ」の方が「＊ ｃｈｉｌｄ」よりも優先順位が高い。「＞」の記号は優先順位の大小を示す。優先順位は例えば、カテゴリの単語に対する単語間の類似度で基づいて設定されても良い。例えば、カテゴリ「ｇｉｒｌ」とコメント候補「＊ ｃｈｉｌｄ」の類似度を計算し、その類似度に基づいて優先順位を設定する。類似度の計算時は、「＊」を取り除き、カテゴリの「ｇｉｒｌ」とコメント候補の「ｃｈｉｌｄ」とで単語間の類似度を計算する。具体的な類似度の計算には、例えば、単語をＷｏｒｄ２Ｖｅｃの手法でベクトル表現に変換し、そのコサイン類似度を計算する方法が用いられても良い。このようにして、カテゴリとコメント候補の類似度を計算し、その類似度が高いほど優先順位を高くする。ここでは、類似度の計算については、Ｗｏｒｄ２Ｖｅｃを用いた方法で説明したが、それに限定されるものではなく、他の方法を用いても良い。
【0047】
コメント候補リスト一覧１０４０には以下のコメント候補リストが含まれる。
【0048】
（１）カテゴリ「ｇｉｒｌ」に対するコメント候補リスト１０４１
（２）カテゴリ「ｂｏｙ」に対するコメント候補リスト１０４２
（３）カテゴリ「ｗｏｍａｎ」に対するコメント候補リスト１０４３
（４）カテゴリ「ｍａｎ」に対するコメント候補リスト１０４４
コメント候補リスト１０４１、１０４２、１０４３、１０４４は、前述した優先順付きのコメント候補リストに、複数系を含んだ形である。コメント推論部４１１で推論されるコメントは、複数系で表現されることもあるため、このような複数形を含むコメント候補を利用しても良い。
（２）カテゴリ「ｂｏｙ」に対するコメント候補リスト１０４２
（３）カテゴリ「ｗｏｍａｎ」に対するコメント候補リスト１０４３
（４）カテゴリ「ｍａｎ」に対するコメント候補リスト１０４４
コメント候補リスト１０４１、１０４２、１０４３、１０４４は、前述した優先順付きのコメント候補リストに、複数系を含んだ形である。コメント推論部４１１で推論されるコメントは、複数系で表現されることもあるため、このような複数形を含むコメント候補を利用しても良い。
【0049】
Ｓ７１５において、ＣＰＵ１０１は、コメント変換部４１７によりコメント変換処理を実行する。以降の説明では、変換されたコメントを変換コメントと呼ぶことにする。コメント変換処理については、図８を参照して説明する。
【0050】
Ｓ７１６において、ＣＰＵ１０１は、コメント設定部５６２にコメントを表示する。ここで表示されるコメントは、Ｓ７１５でコメント変換処理が行われた場合は変換コメントである。一方、Ｓ７０７で検出された顔がないと判定された場合には、表示されるコメントは推論コメントである。Ｓ７１６の後、図７の処理を終了する。
【0051】
図８は、Ｓ７１５のコメント変換処理を示すフローチャートである。まず、ＣＰＵ１０１は、Ｓ７０６で検出された顔の数分、Ｓ８０１～Ｓ８０７の繰り返し処理を行うようループ処理を実行する。ここでは、このループ処理を第１ループ処理と呼ぶことにする。
【0052】
Ｓ８０２において、ＣＰＵ１０１は、重要度設定部６３０で設定された重要度に基づいて、第１ループ処理で現在着目する顔が名称変換の対象であるか否かを判定する。本実施形態では、検出された顔の重要度設定を行わない場合はＳ８０２の条件判定は常にＹＥＳとなり、Ｓ８０３に進む。重要度設定を行う場合で、その重要度設定に基づいて、名称変換の対象でないと判定された場合、その顔に関しては第１ループ処理をスキップする。例えば、重要度設定部６３０で所定の重要度を表す「ｏｔｈｅｒ」が設定されている場合、名称変換の対象ではないと判定する。
【0053】
Ｓ８０２で名称変換の対象であると判定された場合、ＣＰＵ１０１は、コメント候補リストに含まれるコメント候補の数分、Ｓ８０３～Ｓ８０６の繰り返し処理を行うようにループ処理を実行する。ここでは、このループ処理を第２ループ処理と呼ぶことにする。
【0054】
Ｓ８０４において、ＣＰＵ１０１は、第２ループ処理で現在着目するコメント候補のそれぞれについて、推論コメントに含まれるか否かを判定する。第２ループ処理で現在着目するコメント候補が推論コメントに含まれると判定された場合、Ｓ８０５において、ＣＰＵ１０１は、コメント変換辞書に、推論コメントの中で一致した文字列と変換対象の名称との対の情報（以降、変換情報と呼ぶ）を追加する。コメント変換辞書は、文字列と名称とを変換するための組み合わせを規定したものであり、推論コメントに含まれる文字列の変換に用いられる。コメント変換辞書の例は後述する。コメント変換辞書に変換情報を追加した後、ＣＰＵ１０１は、第２ループ処理を終了する。また、検出された全ての顔に対して処理が終了した場合、ＣＰＵ１０１は、第１ループ処理を終了する。
【0055】
Ｓ８０８において、ＣＰＵ１０１は、コメント変換辞書に変換情報が含まれるか否かを判定する。コメント変換辞書に変換情報が含まれると判定された場合、Ｓ８０９において、ＣＰＵ１０１は、コメント変換辞書に基づいて、推論コメントを変換コメントに変換する。
【0056】
【0057】
図１１は、フラフープをしている少女の画像６０１について、本実施形態を適用した場合の例である。図１１は、Ｓ７０１～Ｓ７０４の処理が実行された状態を示している。ＣＰＵ１０１は、コメント推論部４１１により、ユーザ画像６０１からコメントを推論し、推論コメント「Ａ ｇｉｒｌ ｉｓ ｐｌａｙｉｎｇ ｗｉｔｈ ｈｏｏｐ」を取得する（Ｓ７０５）。次に、ＣＰＵ１０１は、顔検出部４１２により、ユーザ画像６０１から顔を検出し、顔領域６１１を取得する（Ｓ７０６）。次に、ＣＰＵ１０１は、カテゴリ検出部４１３により顔領域６１１のカテゴリ「ｇｉｒｌ」を取得する（Ｓ７０８）。次に、ＣＰＵ１０１は、名称設定部４１４により顔領域６１１の名称設定を行う（Ｓ７０９、Ｓ７１０）。図１１に示すように、名称設定フィールド６２１には「Ｏｌｉｖｉａ」が設定されている。本例では、重要度設定はポスター作成ソフトウェア５００の設定でオフになっており、重要度設定はしないと設定されている。即ち、Ｓ７１１では、重要度を設定しないと判定される。
【0058】
次に、ＣＰＵ１０１は、コメント候補リスト取得部４１５により、コメント候補リスト一覧１０１０を取得する（Ｓ７１４）。本例では、コメント候補リスト一覧１０１０からカテゴリ「ｇｉｒｌ」に対するコメント候補リスト１０１１「＊ ｇｉｒｌ，＊ ｃｈｉｌｄ，＊ ｋｉｄ，＊ ｗｏｍａｎ，＊ ｐｅｒｓｏｎ」を取得する。
【0059】
次に、ＣＰＵ１０１は、検出された顔の数分、コメント変換部４１７によりコメント変換処理を行う（Ｓ７１５）。ユーザ画像６０１の場合、検出された顔が１つであるため、Ｓ８０１～Ｓ８０７の第１ループ処理の実行回数は１回である。本例では、ポスター作成ソフトウェア５００で重要度設定がオフに設定されているため、検出されたすべての顔が名称変換の対象となる（Ｓ８０２でＹＥＳ）。
【0060】
取得されたコメント候補リスト１０１１の要素は５個であるため、Ｓ８０３～Ｓ８０６の第２ループ処理の実行回数は５回である。ＣＰＵ１０１は、コメント候補リスト１０１１に含まれる「＊ ｇｉｒｌ」が推論コメントに含まれるか否かを判定する（Ｓ８０４）。ここで、含まれないと判定された場合、ＣＰＵ１０１は、他のコメント候補である「＊ ｃｈｉｌｄ」が推論コメント「Ａ ｇｉｒｌ ｉｓ ｐｌａｙｉｎｇ ｗｉｔｈ ｈｏｏｐ」に含まれるか否かを判定する。このようにして、ＣＰＵ１０１は、コメント候補リスト１０１１に含まれるコメント候補を１つずつ判定する。本例では、コメント候補「＊ ｇｉｒｌ」が、推論コメントの「Ａ ｇｉｒｌ」の文字列に一致するので、Ｓ８０４からＳ８０５に進む。そして、ＣＰＵ１０１は、一致した文字列と変換する名称との対をコメント変換辞書に追加する（Ｓ８０５）。本例では、コメント変換辞書に「Ａ ｇｉｒｌ」に対して「Ｏｌｉｖｉａ」へ変換するという変換情報（以降、変換情報「Ａ ｇｉｒｌ」－＞「Ｏｌｉｖｉａ」と表す）が追加される。そして、ＣＰＵ１０１は、コメント変換辞書に変換情報が含まれるか否かを判定し（Ｓ８０８）、変換情報が含まれると判定された場合、ＣＰＵ１０１は、コメント変換辞書を用いて、推論コメントを変換コメント「Ｏｌｉｖｉａ ｉｓ ｐｌａｙｉｎｇ ｗｉｔｈ ｈｕｌａ ｈｏｏｐ」に変換する（Ｓ８０９）。そして、ＣＰＵ１０１は、変換コメントをコメント設定部５６２に表示する（Ｓ７１６）。
【0061】
以上のように、本実施形態によれば、画像から検出された顔に基づきカテゴリを抽出する。そして、カテゴリに対応するコメント候補リストが推論コメントに含まれることに基づいて、推論コメントを、ユーザが設定した名称を含む変換コメントに変換する。それにより、汎用的なワードで構成される推論コメントに基づいて、ユーザが所望するコメントを適切に生成することができる。
【0062】
図１２は、少女と男性が本を読んでいる画像１２０１について、本実施形態を適用した場合の例である。図１２は、Ｓ７０１～Ｓ７０４の処理が実行された状態を示している。ＣＰＵ１０１は、コメント推論部４１１により、ユーザ画像１２０１からコメントを推論し、推論コメント「Ａ ｌｉｔｔｌｅ ｃｈｉｌｄ ａｎｄ ａ ｍａｎ ａｒｅ ｒｅａｄｉｎｇ ａ ｂｏｏｋ」を取得する（Ｓ７０５）。次に、ＣＰＵ１０１は、顔検出部４１２により、ユーザ画像１２０１から顔を検出し、顔領域１２１１、１２１２を取得する（Ｓ７０６）。次に、ＣＰＵ１０１は、カテゴリ検出部４１３により顔領域１２１１のカテゴリ「ｇｉｒｌ」、顔領域１２１２のカテゴリ「ｍａｎ」を取得する（Ｓ７０８）。次に、ＣＰＵ１０１は、名称設定部４１４により顔領域１２１１、１２１２の名称設定を行う（Ｓ７０９、Ｓ７１０）。図１２に示すように、本例では、名称設定フィールド１２２１に「Ｏｌｉｖｉａ」、名称設定フィールド１２２２に「Ｃｒａｉｇ」が設定されている。本例では、重要度設定はポスター作成ソフトウェア５００の設定でオフになっており、重要度設定はしないと設定されている。即ち、Ｓ７１１では、重要度を設定しないと判定される。
【0063】
次に、ＣＰＵ１０１は、コメント候補リスト取得部４１５により、コメント候補リスト一覧１０１０を取得する（Ｓ７１４）。本例では、コメント候補リスト一覧１０１０からカテゴリ「ｇｉｒｌ」に対するコメント候補リスト１０１１「＊ ｇｉｒｌ，＊ ｃｈｉｌｄ，＊ ｋｉｄ，＊ ｗｏｍａｎ，＊ ｐｅｒｓｏｎ」を取得する。また、カテゴリ「ｍａｎ」に対するコメント候補リスト１０１４「＊ ｍａｎ，＊ ｍａｌｅ，＊ ｇｕｙ，＊ ｐｅｒｓｏｎ」を取得する。
【0064】
次に、ＣＰＵ１０１は、検出された顔の数分、コメント変換部４１７によりコメント変換処理を行う（Ｓ７１５）。ユーザ画像１２０１の場合、検出された顔が２個であるため、Ｓ８０１～Ｓ８０７の第１ループ処理の実行回数は２回である。本例では、顔領域１２１１から先に第１ループ処理を実施する。
【0065】
顔領域１２１１のカテゴリは「ｇｉｒｌ」であるため、そのコメント候補リストは１０１１である。コメント候補リスト１０１１の要素は５個であるため、顔領域１２１１に対するＳ８０３～Ｓ８０６の第２ループ処理の実行回数は５回である。ＣＰＵ１０１は、コメント候補リスト１０１１に含まれる「＊ ｇｉｒｌ」が推論コメントに含まれるか否かを判定する（Ｓ８０４）。ここで、含まれないと判定された場合、ＣＰＵ１０１は、他のコメント候補である「＊ ｃｈｉｌｄ」が推論コメントに含まれるか否かを判定する。このようにして、ＣＰＵ１０１は、コメント候補リスト１０１１に含まれるコメント候補を１つずつ判定する。本例では、コメント候補「＊ ｃｈｉｌｄ」が、推論コメント「Ａ ｌｉｔｔｌｅ ｃｈｉｌｄ」の文字列に一致するので、Ｓ８０４からＳ８０５に進む。そして、ＣＰＵ１０１は、変換情報「Ａ ｌｉｔｔｌｅ ｃｈｉｌｄ」－＞「Ｏｌｉｖｉａ」をコメント変換辞書に追加する（Ｓ８０５）。
【0066】
次に、ＣＰＵ１０１は、顔画像１２１２に対して第１ループ処理を実施する。顔領域１２１２のカテゴリは「ｍａｎ」であるため、そのコメント候補リストは１０１４である。コメント候補リスト１０１４の要素は４個であるため、顔領域１２１２に対する第２ループ処理の実行回数は４回である。まず、ＣＰＵ１０１は、コメント候補リスト１０１４に含まれる「＊ ｍａｎ」が推論コメントに含まれるか否かを判定する（Ｓ８０４）。ここで、含まれないと判定された場合、ＣＰＵ１０１は、他のコメント候補である「＊ ｍａｌｅ」が推論コメントに含まれるか否かを判定する。このようにして、ＣＰＵ１０１は、コメント候補リスト１０１４に含まれるコメント候補を１つずつ判定する。本例では、コメント候補「＊ ｍａｎ」が、推論コメントの「ａ ｍａｎ」の文字列に一致するので、Ｓ８０４からＳ８０５に進む。そして、ＣＰＵ１０１は、変換情報「ａ ｍａｎ」－＞「Ｃｒａｉｇ」をコメント変換辞書に追加する（Ｓ８０５）。
【0067】
ユーザ画像１２０１の場合は、検出された顔が２個であるため、ここで第１ループ処理は終了する。上記のように、コメント変換辞書への追加が行われているので、Ｓ８０８では、コメント変換辞書に変換情報が含まれると判定される。そして、ＣＰＵ１０１は、コメント変換辞書を用いて、推論コメントを変換コメント「Ｏｌｉｖｉａ ａｎｄ Ｃｒａｉｇ ａｒｅ ｒｅａｄｉｎｇ ａ ｂｏｏｋ」に変換する（Ｓ８０９）。そして、ＣＰＵ１０１は、変換コメントをコメント設定部５６２に表示する（Ｓ７１６）。
【0068】
以上のように、本実施形態によれば、画像から検出された複数の顔がカテゴリが異なる場合、そのようなケースに応じて、画像からユーザが所望するコメントを適切に生成することができる。
【0069】
なお、本例では、少女から先に第１ループ処理を実行するとして説明したが、それに限定されるものではなく、どの順番で変換処理を実施しても良い。また、重要度設定部４１６により設定された重要度の高いものから変換処理を実行するようにしても良い。
【0070】
図１３は、海岸に２人の少女がいる画像１３０１について、本実施形態を適用した場合の例である。図１３は、Ｓ７０１～Ｓ７０４の処理が実行された状態を示している。ＣＰＵ１０１は、コメント推論部４１１により、ユーザ画像１３０１からコメントを推論し、推論コメント「Ａ ｃｏｕｐｌｅ ｏｆ ｐｅｏｐｌｅ ｓｔａｎｄｉｎｇ ｏｎ ｔｏｐ ｏｆ ａ ｓａｎｄｙ ｂｅａｃｈ」を取得する（Ｓ７０５）。次に、ＣＰＵ１０１は、顔検出部４１２により、ユーザ画像１３０１から顔を検出し、顔領域１３１１、１３１２を取得する（Ｓ７０６）。次に、ＣＰＵ１０１は、カテゴリ検出部４１３により顔領域１３１１のカテゴリ「ｇｉｒｌ」、顔領域１３１２のカテゴリ「ｇｉｒｌ」を取得する（Ｓ７０８）。次に、ＣＰＵ１０１は、名称設定部４１４により顔領域１３１１、１３１２の名称設定を行う（Ｓ７０９、Ｓ７１０）。図１３に示すように、本例では、名称設定フィールド１３２１に「Ｏｌｉｖｉａ」、名称設定フィールド１３２２に「Ｅｍｍａ」が設定されている。本例では、重要度設定はポスター作成ソフトウェア５００の設定でオフになっており、重要度設定はしないと設定されている。即ち、Ｓ７１１では、重要度を設定しないと判定される。
【0071】
次に、ＣＰＵ１０１は、コメント候補リスト取得部４１５により、コメント候補リスト一覧１０２０を取得する（Ｓ７１４）。ここで、コメント候補リスト一覧１０２０からコメント候補リストを取得したのは、同じカテゴリ（本例では「ｇｉｒｌ」）が複数検出されたためである。同じカテゴリが複数検出された場合は、コメント推論部４１１によって推論されるコメントに複数系が含まれることが多い。例えば、カテゴリ「ｇｉｒｌ」が複数検出された場合の、推論コメントには「ｇｉｒｌｓ」が含まれることがある。本実施形態では、同じカテゴリが複数検出された場合に、複数系を含むコメント候補リストを使用するが、それに限定されるものでない。同じカテゴリが複数検出された場合でも、単数形だけのコメント候補リストを使用しても良い。また、逆に、あるカテゴリが１つだけ検出された場合でも、複数系を含むコメント候補リストを使用しても良い。本例では、コメント候補リスト一覧１０２０からカテゴリ「ｇｉｒｌ」に対するコメント候補リスト１０２１「＊ ｇｉｒｌ，＊ ｇｉｒｌｓ，＊ ｃｈｉｌｄ，＊ ｃｈｉｌｄｒｅｎ，＊ ｋｉｄ， ＊ ｋｉｄｓ，＊ ｗｏｍａｎ，＊ ｗｏｍｅｎ，＊ ｐｅｒｓｏｎ，＊ ｐｅｏｐｌｅ」を取得する。
【0072】
次に、ＣＰＵ１０１は、検出された顔の数分、コメント変換部４１７によりコメント変換処理を行う（Ｓ７１５）。ユーザ画像１３０１の場合、検出された顔が２個であるため、Ｓ８０１～Ｓ８０７の第１ループ処理の実行回数は２回である。本例では、顔領域１３１１から先に第１ループ処理を実行する。
【0073】
顔領域１３１１のカテゴリは「ｇｉｒｌ」であるため、そのコメント候補リストは１０２１である。コメント候補リスト１０２１の要素は１０個であるため、顔領域１３１１に対するＳ８０３～Ｓ８０６の第２ループ処理の実行回数は１０回である。ＣＰＵ１０１は、コメント候補リスト１０２１に含まれる「＊ ｇｉｒｌ」が推論コメントに含まれるか否かを判定する（Ｓ８０４）。ここで、含まれないと判定された場合、ＣＰＵ１０１は、他のコメント候補である「＊ ｇｉｒｌｓ」が推論コメントに含まれるか否かを判定する。このようにして、ＣＰＵ１０１は、コメント候補リスト１０２１に含まれるコメント候補を１つずつ判定する。本例では、コメント候補「＊ ｐｅｏｐｌｅ」が、推論コメントの「Ａ ｃｏｕｐｌｅ ｏｆ ｐｅｏｐｌｅ」の文字列に一致するので、Ｓ８０４からＳ８０５に進む。そして、ＣＰＵ１０１は、変換情報「Ａ ｃｏｕｐｌｅ ｏｆ ｐｅｏｐｌｅ」－＞「Ｏｌｉｖｉａ」をコメント変換辞書に追加する（Ｓ８０５）。
【0074】
次に、ＣＰＵ１０１は、顔画像１３１２に対して第１ループ処理を実施する。顔領域１３１２のカテゴリは「ｇｉｒｌ」であるため、そのコメント候補リストは１０２１である。コメント候補リスト１０２１の要素は１０個であるため、顔領域１３１２に対する第２ループ処理の実行回数は１０回である。まず、ＣＰＵ１０１は、コメント候補リスト１０２１に含まれる「＊ ｇｉｒｌ」が推論コメントに含まれるか否かを判定する（Ｓ８０４）。ここで、含まれないと判定された場合、ＣＰＵ１０１は、他のコメント候補である「＊ ｇｉｒｌｓ」が推論コメントに含まれるか否かを判定する。このようにして、ＣＰＵ１０１は、コメント候補リスト１０２１に含まれるコメント候補を１つずつ判定する。本例では、コメント候補「＊ ｐｅｏｐｌｅ」が、推論コメントの「Ａ ｃｏｕｐｌｅ ｏｆ ｐｅｏｐｌｅ」の文字列に一致するので、Ｓ８０４からＳ８０５に進む。そして、ＣＰＵ１０１は、変換情報「Ａ ｃｏｕｐｌｅ ｏｆ ｐｅｏｐｌｅ」－＞「Ｅｍｍａ」をコメント変換辞書に追加する（Ｓ８０５）。
【0075】
ユーザ画像１３０１の場合は、検出された顔が２個であるため、ここで第１ループ処理は終了する。上記のように、コメント変換辞書への追加が行われているので、Ｓ８０８では、コメント変換辞書に変換情報が含まれると判定される。そして、ＣＰＵ１０１は、コメント変換辞書を用いて、推論コメントを変換する。本例では、「Ａ ｃｏｕｐｌｅ ｏｆ ｐｅｏｐｌｅ」に対して、２つの変換対象「Ｏｌｉｖｉａ」と「Ｅｍｍａ」があるため、ＣＰＵ１０１は、接続詞「ａｎｄ」で繋げて「Ｏｌｉｖｉａ ａｎｄ Ｅｍｍａ」に変換する（Ｓ８０９）。最終的に、推論コメントは変換コメント「Ｏｌｉｖｉａ ａｎｄ Ｅｍｍａ ｓｔａｎｄｉｎｇ ｏｎ ｔｏｐ ｏｆ ａ ｓａｎｄｙ ｂｅａｃｈ」に変換される。そして、ＣＰＵ１０１は、変換コメントをコメント設定部５６２に表示する（Ｓ７１６）。
【0076】
以上のように、本実施形態によれば、画像から検出された複数の顔が同じカテゴリである場合、そのようなケースに応じて、画像からユーザが所望するコメントを適切に生成することができる。
【0077】
図１４は、テニスをしている画像１４０１について、本実施形態を適用した場合の例である。図１４は、Ｓ７０１～Ｓ７０４の処理が実行された状態を示している。ＣＰＵ１０１は、コメント推論部４１１により、ユーザ画像１４０１からコメントを推論し、推論コメント「ａ ｍａｎ ｔｅａｃｈｉｎｇ ａ ｇｉｒｌ ｔｏ ｐｌａｙ ｔｅｎｎｉｓ」を取得する（Ｓ７０５）。次に、ＣＰＵ１０１は、顔検出部４１２により、ユーザ画像１４０１から顔を検出し、顔領域１４１１、１４１２を取得する（Ｓ７０６）。次に、ＣＰＵ１０１は、カテゴリ検出部４１３により顔領域１４１１のカテゴリ「ｇｉｒｌ」、顔領域１４１２のカテゴリ「ｍａｎ」を取得する（Ｓ７０８）。次に、ＣＰＵ１０１は、名称設定部４１４により顔領域１４１１、１４１２の名称設定を行う（Ｓ７０９、Ｓ７１０）。図１４に示すように、本例では、名称設定フィールド１４２１に「Ｏｌｉｖｉａ」が設定され、名称設定フィールド１４２２には何も設定されていない。本例では、顔領域１４１２の男性は顔領域１４１１の少女にテニスを教えており、顔領域１４１２については、名前を設定せず最終的な変換コメントにも男性の名前を入れないものとする。
【0078】
次に、ＣＰＵ１０１は、コメント候補リスト取得部４１５により、コメント候補リスト一覧１０１０を取得する（Ｓ７１４）。本例では、コメント候補リスト一覧１０１０からカテゴリ「ｇｉｒｌ」に対するコメント候補リスト１０１１「＊ ｇｉｒｌ，＊ ｃｈｉｌｄ，＊ ｋｉｄ，＊ ｗｏｍａｎ，＊ ｐｅｒｓｏｎ」を取得し、カテゴリ「ｍａｎ」に対するコメント候補リスト１０１４「＊ ｍａｎ，＊ ｍａｌｅ，＊ ｇｕｙ，＊ ｐｅｒｓｏｎ」を取得する。
【0079】
次に、ＣＰＵ１０１は、重要度設定部４１６により、人物の重要度を設定する（Ｓ７１２、Ｓ７１３）。重要度設定部６３０では、重要度設定フィールド１４３１と、重要度設定フィールド１４３２が設けられている。本例では、顔領域１４１１に対しては重要度設定フィールド１４３１で重要度「ｍａｉｎ」が設定されている。顔領域１４１２に対しては重要度設定フィールド１４３２で重要度「ｏｔｈｅｒ」が設定されている。
【0080】
次に、ＣＰＵ１０１は、検出された顔の数分、コメント変換部４１７によりコメント変換処理を行う（Ｓ７１５）。ユーザ画像１４０１の場合、検出された顔が２個であるため、Ｓ８０１～Ｓ８０７の第１ループ処理の実行回数は２回である。本例では、重要度設定部４１６で設定された優先度の高いものから順に第１ループ処理を実行する。本例では、顔領域１４１１の方が顔領域１４１２よりも優先順位が高いため、優先順位の高い顔領域１４１１から先に第１ループ処理を実行する。
【0081】
顔領域１４１１のカテゴリーは「ｇｉｒｌ」であるため、そのコメント候補リストは１０１１である。コメント候補リスト１０１１の要素は５個であるため、顔領域１４１１に対するＳ８０３～Ｓ８０６の第２ループ処理の実行回数は５回である。ＣＰＵ１０１は、コメント候補リスト１０１１に含まれる「＊ ｇｉｒｌ」が推論コメントに含まれるか否かを判定する（Ｓ８０４）。ここで、含まれないと判定された場合、ＣＰＵ１０１は、他のコメント候補である「＊ ｃｈｉｌｄ」が推論コメントに含まれるか否かを判定する。このようにして、ＣＰＵ１０１は、コメント候補リスト１０１１に含まれるコメント候補を１つずつ判定する。本例では、コメント候補「＊ ｇｉｒｌ」が、推論コメントの「ａ ｇｉｒｌ」の文字列に一致するので、Ｓ８０４からＳ８０５に進む。そして、ＣＰＵ１０１は、変換情報「ａ ｇｉｒｌ」－＞「Ｏｌｉｖｉａ」をコメント変換辞書に追加する（Ｓ８０５）。
【0082】
次に、ＣＰＵ１０１は、顔画像１４１２に対して第１ループ処理を実施する。上述のように、顔画像１４１２に関しては、重要度がｏｔｈｅｒで設定されている。そのため、顔画像１４１２に関しては、名称変換の対象でないと判断し（Ｓ８０２でＮＯ）、顔画像１４１２に関する名称変換の処理は実行されない。
【0083】
ユーザ画像１４０１の場合は、検出された顔が２個であるため、ここで第１ループ処理は終了する。上記のように、コメント変換辞書への追加が行われているので、Ｓ８０８では、コメント変換辞書に変換情報が含まれると判定される。そして、ＣＰＵ１０１は、コメント変換辞書により、推論コメントを変換コメント「ａ ｍａｎ ｔｅａｃｈｉｎｇ Ｏｌｉｖｉａ ｔｏ ｐｌａｙ ｔｅｎｎｉｓ」に変換する（Ｓ８０９）。そして、ＣＰＵ１０１は、変換コメントをコメント設定部５６２に表示する（Ｓ７１６）。
【0084】
以上のように、本実施形態によれば、画像から検出された複数の顔間で重要度が設定されている場合、そのようなケースに応じて、画像からユーザが所望するコメントを適切に生成することができる。
【0085】
図１５は、ギターを弾いている少女の画像１５０１について、本実施形態を適用した場合の例である。図１５は、Ｓ７０１～Ｓ７０４の処理が実行された状態を示している。ＣＰＵ１０１は、コメント推論部４１１により、ユーザ画像１５０１からコメントを推論し、推論コメント「ａ ｌｉｔｔｌｅ ｇｉｒｌ ｉｓ ｐｌａｙｉｎｇ ｇｕｉｔａｒ ａｎｄ ａ ｗｏｍａｎ ｉｓ ｗａｔｃｈｉｎｇ ｉｔ」を取得する（Ｓ７０５）。次に、ＣＰＵ１０１は、顔検出部４１２により、ユーザ画像１５０１から顔を検出し、顔領域１５１１、１５１２を取得する（Ｓ７０６）。次に、ＣＰＵ１０１は、カテゴリ検出部４１３により顔領域１５１１のカテゴリ「ｇｉｒｌ」、顔領域１５１２のカテゴリ「ｗｏｍａｎ」を取得する（Ｓ７０８）。次に、ＣＰＵ１０１は、名称設定部４１４により顔領域１５１１、１５１２の名称設定を行う（Ｓ７０９、Ｓ７１０）。図１５に示すように、本例では、名称設定フィールド１５２１に「Ｏｌｉｖｉａ」が設定され、名称設定フィールド１５２２に「Ｊｅｎｉｆｅｒ」が設定されている。次に、ＣＰＵ１０１は、コメント候補リスト取得部４１５により、コメント候補リスト一覧１０３０を取得する（Ｓ７１４）。本例では、コメント候補リスト一覧１０３０からカテゴリ「ｇｉｒｌ」に対するコメント候補リスト１０３１「＊ ｇｉｒｌ ＞ ＊ ｃｈｉｌｄ ＞ ＊ ｋｉｄ ＞ ＊ ｗｏｍａｎ ＞ ＊ ｐｅｒｓｏｎ」を取得する。また、カテゴリ「ｗｏｍａｎ」に対するコメント候補リスト１０３３「＊ ｗｏｍａｎ ＞ ＊ ｆｅｍａｌｅ ＞ ＊ ｐｅｒｓｏｎ」を取得する。これらのコメント候補リストは優先順位付のリストである。
【0086】
次に、ＣＰＵ１０１は、重要度設定部４１６により、人物の重要度を設定する（Ｓ７１２、Ｓ７１３）。重要度設定部６３０では、重要度設定フィールド１５３１と、重要度設定フィールド１５３２が設けられている。本例では、顔領域１５１１に対しては重要度設定フィールド１５３１で重要度「ｍａｉｎ」が設定されている。顔領域１５１２に対しては重要度設定フィールド１５３２で重要度「ｓｕｂ」が設定されている。
【0087】
次に、ＣＰＵ１０１は、検出された顔の数分、コメント変換部４１７により、コメント変換処理を行う（Ｓ７１５）。ユーザ画像１５０１の場合、検出された顔が２個であるため、Ｓ８０１～Ｓ８０７の第１ループ処理の実行回数は２回である。本例では、重要度設定部４１６で設定された優先度の高いものから順に第１ループ処理を実行する。本例では、顔領域１５１１の方が顔領域１５１２よりも優先順位が高いため、優先順位の高い顔領域１５１１から先に第１ループ処理を実行する。
【0088】
顔領域１５１１のカテゴリは「ｇｉｒｌ」であるため、そのコメント候補リストは１０３１である。コメント候補リスト１０３１の要素は５個であるため、顔領域１５１１に対するＳ８０３～Ｓ８０６の第２ループ処理の実行回数は５回である。本例では、コメント候補リスト１０３１は優先順位付のリストであるため、第２ループ処理は優先度の高いものから順に行われる。まず、コメント候補リスト１０３１に含まれる「＊ ｇｉｒｌ」が最も優先順位が高いため、ＣＰＵ１０１は、「＊ ｇｉｒｌ」が推論コメントに含まれるか否かを判定する（Ｓ８０４）。ここで、含まれないと判定された場合、ＣＰＵ１０１は、次に優先順位の高いコメント候補である「＊ ｃｈｉｌｄ」が推論コメントに含まれるか否かを判定する。このようにして、ＣＰＵ１０１は、コメント候補リスト１０３１に含まれるコメント候補を優先順位順に１つずつ判定する。本例では、コメント候補「＊ ｇｉｒｌ」が、推論コメントの「ａ ｌｉｔｔｌｅ ｇｉｒｌ」の文字列に一致するので、Ｓ８０４からＳ８０５に進む。そして、ＣＰＵ１０１は、変換情報「ａ ｌｉｔｔｌｅ ｇｉｒｌ」－＞「Ｏｌｉｖｉａ」をコメント変換辞書に追加する（Ｓ８０５）。
【0089】
次に、ＣＰＵ１０１は、顔画像１５１２に対して第１ループ処理を実行する。顔領域１５１２のカテゴリは「ｗｏｍａｎ」であるため、そのコメント候補リストは１０３３である。コメント候補リスト１０３３の要素は３個であるため、顔領域１５１２に対する第２ループ処理の実行回数は３回である。ＣＰＵ１０１は、コメント候補リスト１０３３に含まれる「＊ ｗｏｍａｎ」が推論コメントに含まれるか否かを判定する（Ｓ８０４）。ここで、含まれないと判定された場合、ＣＰＵ１０１は、他のコメント候補である「＊ ｆｅｍａｌｅ」が推論コメントに含まれるか否かを判定する。このようにして、ＣＰＵ１０１は、コメント候補リスト１０３３に含まれるコメント候補を１つずつ判定する。本例では、コメント候補「＊ ｗｏｍａｎ」が、推論コメントの「ａ ｗｏｍａｎ」の文字列に一致するので、Ｓ８０４からＳ８０５に進む。そして、ＣＰＵ１０１は、変換情報「ａ ｗｏｍａｎ」－＞「ｊｅｎｉｆｅｒ」をコメント変換辞書に追加する（Ｓ８０５）。
【0090】
ユーザ画像１５０１の場合は、検出された顔が２個であるため、ここで第１ループ処理は終了する。上記のように、コメント変換辞書への追加が行われているので、Ｓ８０８では、コメント変換辞書に変換情報が含まれると判定される。そして、ＣＰＵ１０１は、コメント変換辞書により、推論コメントを変換コメント「Ｏｌｉｖｉａ ｉｓ ｐｌａｙｉｎｇ ｇｕｉｔａｒ ａｎｄ Ｊｅｎｉｆｅｒ ｉｓ ｗａｔｃｈｉｎｇ ｉｔ」に変換する（Ｓ８０９）。そして、ＣＰＵ１０１は、変換コメントをコメント設定部５６２に表示する（Ｓ７１６）。
【0091】
コメント候補リスト１０３１ではなく、優先順位付きのリストではないコメント候補リスト１０１１を用いた場合、「＊ ｇｉｒｌ」よりも「＊ ｗｏｍａｎ」について先に第２ループ処理が実行される場合があり得る。この場合、「＊ ｗｏｍａｎ」が推論コメントの「ａ ｗｏｍａｎ」に一致するため、最終的な変換コメントが「ａ ｌｉｔｔｌｅ ｇｉｒｌ ｉｓ ｐｌａｙｉｎｇ ｇｕｉｔａｒ ａｎｄ Ｏｌｉｖｉａ ｉｓ ｗａｔｃｈｉｎｇ ｉｔ」となる。この結果、少女がギターを弾いているところを見ていることになり、ユーザ画像１５０１のコメントを正しく表現できていない。本実施形態では、優先順位付きのコメント候補リストを用いることで、正しい変換コメントを生成することができる。
【0092】
本実施形態では、特徴部分として人物の顔を検出することを説明したが、ペットなど動物であっても良い。また、上述の各実施形態では、英語でコメントを推論する例を説明したが、英語に限定されるものではなく、他の言語であっても良い。また、本実施形態では、名称として人物の名前を設定したが、それに限定されるものではなく、人物やペットのあだ名や呼び名であっても良い。本実施形態では、ポスター作成ソフトウェアで説明したが、それに限定されるものではない。フォトアルバム作成ソフトウェアや、はがきを作成するソフトウェアなど、画像に対してコメントを生成するようなソフトウェアであれば良い。
【0093】
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【0094】
本実施形態の開示は、以下の情報処理装置、方法およびプログラムを含む。
（項目１）
画像を取得する第１取得手段と、
前記第１取得手段により取得された前記画像から特徴部分を抽出する抽出手段と、
前記抽出手段により抽出された前記特徴部分に対応するワードを受け付ける受付手段と、
前記抽出手段により抽出された前記特徴部分のカテゴリを取得する第２取得手段と、
前記第２取得手段により取得された前記カテゴリと関連するワードであり、前記第１取得手段により取得された前記画像に基づき推論手段により推論されたコメントに含まれる当該ワードを、前記受付手段により受け付けたワードに置き換えることにより、前記推論されたコメントを変換する変換手段と、
を備えることを特徴とする情報処理装置。
（項目２）
前記変換手段により変換されたコメントを、前記第１取得手段により取得された前記画像とともに表示する表示手段をさらに備えることを特徴とする項目１に記載の情報処理装置。
（項目３）
前記カテゴリと、当該カテゴリと関連するワードと対応づけて記憶する記憶手段をさらに備えることを特徴とする項目１又は２に記載の情報処理装置。
（項目４）
前記カテゴリと、当該カテゴリと関連するワードとは類義語もしくは同義語の関係であることを特徴とする項目３に記載の情報処理装置。
（項目５）
前記記憶手段は、前記カテゴリと対応づけられた複数のワードを記憶することを特徴とする項目３又は４に記載の情報処理装置。
（項目６）
前記複数のワードそれぞれについて、前記推論されたコメントに含まれるか否かを判定する判定手段をさらに備え、
前記判定手段により前記推論されたコメントに含まれると判定された場合、前記変換手段は、当該含まれると判定されたワードを、前記受付手段により受け付けたワードに置き換える、
ことを特徴とする項目５に記載の情報処理装置。
（項目７）
前記複数のワードには優先順位が設定されており、
前記判定手段は、前記優先順位に従って、前記複数のワードそれぞれについて、前記推論されたコメントに含まれるか否かを判定する、
ことを特徴とする項目６に記載の情報処理装置。
（項目８）
前記第１取得手段により取得された前記画像の第１特徴部分および第２特徴部分それぞれについて前記第２取得手段により取得された前記カテゴリが異なる場合、
前記第１特徴部分のカテゴリに基づき前記判定手段により前記推論されたコメントに含まれると判定された第１ワードは前記受付手段により受け付けた前記第１特徴部分に対応する第２ワードに置き換えられ、
前記第２特徴部分のカテゴリに基づき前記判定手段により前記推論されたコメントに含まれると判定された第３ワードは前記受付手段により受け付けた前記第２特徴部分に対応する第４ワードに置き換えられることを特徴とする項目６又は７に記載の情報処理装置。
（項目９）
前記第１取得手段により取得された前記画像の第３特徴部分および第４特徴部分それぞれについて前記第２取得手段により取得された前記カテゴリが同じ場合、前記判定手段により前記推論されたコメントに含まれると判定された第５ワードは複数形を表していることを特徴とする項目６乃至８のいずれか１項に記載の情報処理装置。
（項目１０）
前記第５ワードは、前記受付手段により受け付けた前記第３特徴部分に対応する第６ワードと前記第４特徴部分に対応する第７ワードに置き換えられることを特徴とする項目９に記載の情報処理装置。
（項目１１）
前記第５ワードは、接続詞を伴って、前記第６ワードと前記第７ワードに置き換えられることを特徴とする項目１０に記載の情報処理装置。
（項目１２）
前記第１取得手段により取得された前記画像の第５特徴部分および第６特徴部分のそれぞれについて重要度を設定する設定手段をさらに備え、
前記判定手段による判定は、前記設定手段による設定に基づいて実行されることを特徴とする項目６乃至１１のいずれか１項に記載の情報処理装置。
（項目１３）
前記設定手段により設定された重要度が所定の重要度である場合、当該所定の重要度が設定された特徴部分について前記判定手段による判定は行われず、前記置き換えは行われないことを特徴とする項目１２に記載の情報処理装置。
（項目１４）
前記第５特徴部分について第１重要度が前記設定手段により設定され、前記第６特徴部分について前記第１重要度より低い第２重要度が前記設定手段により設定された場合、前記判定手段による判定は、前記第６特徴部分より先に前記第５特徴部分について行われることを特徴とする項目１２に記載の情報処理装置。
（項目１５）
前記特徴部分は、顔であることを特徴とする項目１乃至１４のいずれか１項に記載の情報処理装置。
（項目１６）
前記受付手段により受け付ける前記特徴部分に対応するワードは人物の固有の名称であり、前記推論されたコメントに含まれるワードは汎用的な名称であり、
前記変換手段は、前記汎用的な名称を前記固有の名称に置き換えることを特徴とする項目１乃至１５のいずれか１項に記載の情報処理装置。
（項目１７）
前記推論手段は、ＬＳＴＭ（Ｌｏｎｇ Ｓｈｏｒｔ－ｔｅｒｍ ｍｅｍｏｒｙ）を用いたモデルであることを特徴とする項目１乃至１６のいずれか１項に記載の情報処理装置。
（項目１８）
情報処理装置において実行される方法であって、
画像を取得する第１取得工程と、
前記第１取得工程において取得された前記画像から特徴部分を抽出する抽出工程と、
前記抽出工程において抽出された前記特徴部分に対応するワードを受け付ける受付工程と、
前記抽出工程において抽出された前記特徴部分のカテゴリを取得する第２取得工程と、
前記第２取得工程において取得された前記カテゴリと関連するワードであり、前記第１取得工程において取得された前記画像に基づき推論手段により推論されたコメントに含まれる当該ワードを、前記受付工程において受け付けたワードに置き換えることにより、前記推論されたコメントを変換する変換工程と、
を有することを特徴とする方法。
（項目１９）
項目１乃至１７のいずれか１項に記載の情報処理装置の各手段としてコンピュータを機能させるためのプログラム。
（項目１）
画像を取得する第１取得手段と、
前記第１取得手段により取得された前記画像から特徴部分を抽出する抽出手段と、
前記抽出手段により抽出された前記特徴部分に対応するワードを受け付ける受付手段と、
前記抽出手段により抽出された前記特徴部分のカテゴリを取得する第２取得手段と、
前記第２取得手段により取得された前記カテゴリと関連するワードであり、前記第１取得手段により取得された前記画像に基づき推論手段により推論されたコメントに含まれる当該ワードを、前記受付手段により受け付けたワードに置き換えることにより、前記推論されたコメントを変換する変換手段と、
を備えることを特徴とする情報処理装置。
（項目２）
前記変換手段により変換されたコメントを、前記第１取得手段により取得された前記画像とともに表示する表示手段をさらに備えることを特徴とする項目１に記載の情報処理装置。
（項目３）
前記カテゴリと、当該カテゴリと関連するワードと対応づけて記憶する記憶手段をさらに備えることを特徴とする項目１又は２に記載の情報処理装置。
（項目４）
前記カテゴリと、当該カテゴリと関連するワードとは類義語もしくは同義語の関係であることを特徴とする項目３に記載の情報処理装置。
（項目５）
前記記憶手段は、前記カテゴリと対応づけられた複数のワードを記憶することを特徴とする項目３又は４に記載の情報処理装置。
（項目６）
前記複数のワードそれぞれについて、前記推論されたコメントに含まれるか否かを判定する判定手段をさらに備え、
前記判定手段により前記推論されたコメントに含まれると判定された場合、前記変換手段は、当該含まれると判定されたワードを、前記受付手段により受け付けたワードに置き換える、
ことを特徴とする項目５に記載の情報処理装置。
（項目７）
前記複数のワードには優先順位が設定されており、
前記判定手段は、前記優先順位に従って、前記複数のワードそれぞれについて、前記推論されたコメントに含まれるか否かを判定する、
ことを特徴とする項目６に記載の情報処理装置。
（項目８）
前記第１取得手段により取得された前記画像の第１特徴部分および第２特徴部分それぞれについて前記第２取得手段により取得された前記カテゴリが異なる場合、
前記第１特徴部分のカテゴリに基づき前記判定手段により前記推論されたコメントに含まれると判定された第１ワードは前記受付手段により受け付けた前記第１特徴部分に対応する第２ワードに置き換えられ、
前記第２特徴部分のカテゴリに基づき前記判定手段により前記推論されたコメントに含まれると判定された第３ワードは前記受付手段により受け付けた前記第２特徴部分に対応する第４ワードに置き換えられることを特徴とする項目６又は７に記載の情報処理装置。
（項目９）
前記第１取得手段により取得された前記画像の第３特徴部分および第４特徴部分それぞれについて前記第２取得手段により取得された前記カテゴリが同じ場合、前記判定手段により前記推論されたコメントに含まれると判定された第５ワードは複数形を表していることを特徴とする項目６乃至８のいずれか１項に記載の情報処理装置。
（項目１０）
前記第５ワードは、前記受付手段により受け付けた前記第３特徴部分に対応する第６ワードと前記第４特徴部分に対応する第７ワードに置き換えられることを特徴とする項目９に記載の情報処理装置。
（項目１１）
前記第５ワードは、接続詞を伴って、前記第６ワードと前記第７ワードに置き換えられることを特徴とする項目１０に記載の情報処理装置。
（項目１２）
前記第１取得手段により取得された前記画像の第５特徴部分および第６特徴部分のそれぞれについて重要度を設定する設定手段をさらに備え、
前記判定手段による判定は、前記設定手段による設定に基づいて実行されることを特徴とする項目６乃至１１のいずれか１項に記載の情報処理装置。
（項目１３）
前記設定手段により設定された重要度が所定の重要度である場合、当該所定の重要度が設定された特徴部分について前記判定手段による判定は行われず、前記置き換えは行われないことを特徴とする項目１２に記載の情報処理装置。
（項目１４）
前記第５特徴部分について第１重要度が前記設定手段により設定され、前記第６特徴部分について前記第１重要度より低い第２重要度が前記設定手段により設定された場合、前記判定手段による判定は、前記第６特徴部分より先に前記第５特徴部分について行われることを特徴とする項目１２に記載の情報処理装置。
（項目１５）
前記特徴部分は、顔であることを特徴とする項目１乃至１４のいずれか１項に記載の情報処理装置。
（項目１６）
前記受付手段により受け付ける前記特徴部分に対応するワードは人物の固有の名称であり、前記推論されたコメントに含まれるワードは汎用的な名称であり、
前記変換手段は、前記汎用的な名称を前記固有の名称に置き換えることを特徴とする項目１乃至１５のいずれか１項に記載の情報処理装置。
（項目１７）
前記推論手段は、ＬＳＴＭ（Ｌｏｎｇ Ｓｈｏｒｔ－ｔｅｒｍ ｍｅｍｏｒｙ）を用いたモデルであることを特徴とする項目１乃至１６のいずれか１項に記載の情報処理装置。
（項目１８）
情報処理装置において実行される方法であって、
画像を取得する第１取得工程と、
前記第１取得工程において取得された前記画像から特徴部分を抽出する抽出工程と、
前記抽出工程において抽出された前記特徴部分に対応するワードを受け付ける受付工程と、
前記抽出工程において抽出された前記特徴部分のカテゴリを取得する第２取得工程と、
前記第２取得工程において取得された前記カテゴリと関連するワードであり、前記第１取得工程において取得された前記画像に基づき推論手段により推論されたコメントに含まれる当該ワードを、前記受付工程において受け付けたワードに置き換えることにより、前記推論されたコメントを変換する変換工程と、
を有することを特徴とする方法。
（項目１９）
項目１乃至１７のいずれか１項に記載の情報処理装置の各手段としてコンピュータを機能させるためのプログラム。
【0095】
発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。
【符号の説明】
【0096】
１００ ＰＣ： ２００ モバイル端末： ３００ サーバ： ４００ プリンタ： １０１、２０１、３０１ ＣＰＵ： １０２、２０２、３０２ ＲＯＭ： １０３、２０３、３０３ ＲＡＭ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】