特許 7547465 画像内容判定装置、画像内容判定装置の作動方法、及び画像内容判定プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-30

(45)【発行日】2024-09-09

(54)【発明の名称】画像内容判定装置、画像内容判定装置の作動方法、及び画像内容判定プログラム

(51)【国際特許分類】

   G06F 16/583 20190101AFI20240902BHJP

   G06F 16/532 20190101ALI20240902BHJP

   G06Q 50/10 20120101ALI20240902BHJP

   G06T 7/00 20170101ALI20240902BHJP

【ＦＩ】

G06F16/583

G06F16/532

G06Q50/10

G06T7/00 660A

【請求項の数】 15

(21)【出願番号】P 2022509272

(86)(22)【出願日】2020-12-21

(86)【国際出願番号】 JP2020047780

(87)【国際公開番号】W WO2021192462

(87)【国際公開日】2021-09-30

【審査請求日】2022-09-08

(31)【優先権主張番号】P 2020058617

(32)【優先日】2020-03-27

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】306037311

【氏名又は名称】富士フイルム株式会社

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(72)【発明者】

【氏名】中川 智洋

【審査官】齊藤 貴孝

(56)【参考文献】

【文献】特表２０１３－５０１９７８（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１７／０３１８０７７（ＵＳ，Ａ１）

【文献】特開２０１６－１７３７９７（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１２／０１５８７００（ＵＳ，Ａ１）

【文献】特開２０１８－０２５９６６（ＪＰ，Ａ）

【文献】特開２０１８－１０９９３５（ＪＰ，Ａ）

【文献】特開２００８－１３１３３０（ＪＰ，Ａ）

【文献】国際公開第２０１６／１３１０８３（ＷＯ，Ａ１）

【文献】特開２０１４－０１６７８５（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１９／０３６２１６９（ＵＳ，Ａ１）

【文献】中国特許出願公開第１０６２０３２９４（ＣＮ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ １６／００－１６／９５８

Ｇ０６Ｑ １０／００－９９／００

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

少なくとも１つのプロセッサを備えており、
前記プロセッサは、
文字と第１人物の顔とを含む第１画像から、前記文字と前記第１人物の顔とを認識する第１認識処理を実行し、
認識した前記文字と前記第１人物の顔とに基づいて、前記第１画像に含まれる前記第１人物に関わる第１人物関連情報を取得する第１取得処理を実行し、
第２人物の顔を含む第２画像から前記第２人物の顔を認識する第２認識処理を実行し、
前記第２画像に含まれる前記第２人物に関わる第２人物関連情報を取得する第２取得処理であって、前記第２人物の顔と類似する前記第１人物の顔を含む前記第１画像に対応する前記第１人物関連情報を利用して、前記第２人物関連情報を取得する第２取得処理を実行し、 前記第２人物関連情報は、前記第２画像内の複数の前記第２人物の関係を示す情報、前記第２人物が関わるイベント、前記第２人物の推定年齢、及び前記第２人物の趣味のうちの少なくとも１つを含む
画像内容判定装置。

【請求項2】

前記第１画像は、前記第１人物の顔が含まれる写真領域と、前記写真領域の輪郭外の余白であって前記文字が配置されている文字領域とを含む文字領域有り画像を含んでおり、
前記第２画像は、前記第２人物の顔が含まれる写真領域のみの文字領域無し画像である請求項１に記載の画像内容判定装置。

【請求項3】

前記第１画像は、挨拶状及び身分証明書のうちの少なくとも１つを表す画像を含む請求項１又は請求項２に記載の画像内容判定装置。

【請求項4】

前記第１画像は、前記第１人物の顔が含まれる写真領域のみの文字領域無し画像であって、かつ、前記写真領域に、前記文字として予め登録された特定ワードが写り込んでいる文字写り込み画像を含む請求項１から請求項３のいずれか一項に記載の画像内容判定装置。

【請求項5】

前記第１画像は、前記文字として予め登録された特定ワードを含んでいる請求項１から請求項４のいずれか一項に記載の画像内容判定装置。

【請求項6】

前記プロセッサは、複数の画像を、前記第１画像と前記第２画像とに分類する分類処理を実行する請求項１又は請求項２に記載の画像内容判定装置。

【請求項7】

前記第１人物関連情報は、前記第２画像と同じ保有者が保有する前記第１画像から取得される請求項１又は請求項２に記載の画像内容判定装置。

【請求項8】

前記第１人物関連情報は、前記第１人物の氏名、住所、電話番号、年齢、生年月日、及び趣味のうちの少なくとも１つを含む請求項１から請求項７のうちいずれか一項に記載の画像内容判定装置。

【請求項9】

前記第１取得処理及び前記第２取得処理のうちの少なくとも一方において、前記プロセッサは、前記第１画像又は前記第２画像に付帯する付帯情報を利用する請求項１から請求項８のうちのいずれか一項に記載の画像内容判定装置。

【請求項10】

前記第２取得処理において、前記プロセッサは、前記第２画像に基づいて前記第２人物関連情報を導出し、前記第１人物関連情報に基づいて、導出した前記第２人物関連情報の妥当性を判定する請求項９に記載の画像内容判定装置。

【請求項11】

前記第１人物関連情報は前記第１画像内の複数の前記第１人物の関係を示す情報を含む請求項１から１０のうちのいずれか一項に記載の画像内容判定装置。

【請求項12】

複数の前記第１人物の関係を示す情報又は複数の前記第２人物の関係を示す情報は、家族関係、親族関係、及び友人関係のうちの少なくとも１つを含む請求項１から請求項１１のうちのいずれか一項に記載の画像内容判定装置。

【請求項13】

前記プロセッサは、前記第２取得処理において、複数の前記第１画像に対応する前記第１人物関連情報を、前記第２人物関連情報の取得に利用する請求項１から請求項１２のいずれか一項に記載の画像内容判定装置。

【請求項14】

少なくとも１つのプロセッサを備えた画像内容判定装置の作動方法であって、
前記プロセッサは、文字と第１人物の顔とを含む第１画像から、前記文字と前記第１人物の顔とを認識する第１認識処理を実行すること、
認識した前記文字と前記第１人物の顔とに基づいて、前記第１画像に含まれる前記第１人物に関わる第１人物関連情報を取得する第１取得処理を実行すること、
第２人物の顔を含む第２画像から前記第２人物の顔を認識する第２認識処理を実行すること、及び
前記第２画像に含まれる前記第２人物に関わる第２人物関連情報を取得する第２取得処理であって、前記第２人物の顔と類似する前記第１人物の顔を含む前記第１画像に対応する前記第１人物関連情報を利用して、前記第２人物関連情報を取得する第２取得処理を実行すること、を含み、
前記第２人物関連情報は、前記第２画像内の複数の前記第２人物の関係を示す情報、前記第２人物が関わるイベント、前記第２人物の推定年齢、及び前記第２人物の趣味のうちの少なくとも１つを含む
画像内容判定装置の作動方法。

【請求項15】

少なくとも１つのプロセッサを含むコンピュータに、
文字と第１人物の顔とを含む第１画像から、前記文字と前記第１人物の顔とを認識する第１認識処理を実行すること、
認識した前記文字と前記第１人物の顔とに基づいて、前記第１画像に含まれる前記第１人物に関わる第１人物関連情報を取得する第１取得処理を実行すること、
第２人物の顔を含む第２画像から前記第２人物の顔を認識する第２認識処理を実行すること、及び、
前記第２画像に含まれる前記第２人物に関わる第２人物関連情報を取得する第２取得処理であって、前記第２人物の顔と類似する前記第１人物の顔を含む前記第１画像に対応する前記第１人物関連情報を利用して、前記第２人物関連情報を取得する第２取得処理を実行することを含む処理を実行させるための画像内容判定プログラムであって、
前記第２人物関連情報は、前記第２画像内の複数の前記第２人物の関係を示す情報、前記第２人物が関わるイベント、前記第２人物の推定年齢、及び前記第２人物の趣味のうちの少なくとも１つを含む
画像内容判定プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示の技術は、画像内容判定装置、画像内容判定装置の作動方法、及び画像内容判定プログラムに関する。

【背景技術】

【0002】

近年、ユーザが保有する写真などの画像のデータをネットワーク経由で配信可能に保管するオンラインストレージサービスが知られている。ユーザは、携帯端末及び／又はＰＣ（Personal Computer）を用いて、ストレージに保存された画像をダウンロードして閲覧することができる。

【0003】

こうしたオンラインストレージサービスにおいて、ストレージに保存された大量の画像の中からユーザが閲覧したい画像を検索しやすいように、ストレージに保存された画像に対して、キーワード検索が可能なタグ情報を付与することが行われている（特表２００９－５２６３０２号及び特開２０１０－０６７０１４号）。

【0004】

特表２００９－５２６３０２号及び特開２０１０－０６７０１４号には、例えば、２つの画像がそれぞれ人物の顔を含み、かつ、一方の画像にユーザの入力によって人物の名前などのタグ情報が付与されている場合において、２つの画像に含まれる顔の類似性に基づいて、一方の画像に付与されているタグ情報を他方の画像にコピーする技術が開示されている。

【発明の概要】

【0005】

しかしながら、特表２００９－５２６３０２号及び特開２０１０－０６７０１４号に記載の技術では、タグ情報のコピー元の画像に対しては、予めユーザによるタグ情報の入力が必要であるため、ユーザの手間が掛かるという問題があった。例えば、ユーザが画像を１枚ずつ見ながら画像内容を確認し、確認した画像内容に応じたタグ情報を付与することは、画像の枚数が多いと煩雑である。

【0006】

そこで、ユーザの手間を掛けずに画像に対してタグ情報を付与する方法として、画像解析を施すことにより、画像内容を判定し、判定結果に基づいてタグ情報を付与する方法が考えられる。画像解析を用いた画像内容の判定方法としては、例えば、画像に含まれる人物の年齢を推定したり、画像に複数の人物が含まれている場合に、各人物の推定年齢から各人物の関係（家族関係など）を推定したりする方法が考えられる。

【0007】

しかしながら、画像解析による画像内容の判定精度にも限界がある。そのため、画像に含まれる人物に関わる情報を推定する場合において、画像内容の判定対象となる画像のデータのみを用いて画像解析をするだけでは、推定によって得られる情報の信頼性が低いという問題があった。

【0008】

上記問題を鑑みて、本開示の技術に係る一つの実施形態は、ユーザの手間を掛けることなく、画像に含まれる人物に関わる情報として信頼性の高い情報を取得することが可能な画像内容判定装置、画像内容判定方法、及び画像内容判定プログラムを提供する。

【課題を解決するための手段】

【0009】

本開示の画像内容判定装置は、少なくとも１つのプロセッサを備えており、プロセッサは、文字と第１人物の顔とを含む第１画像から、文字と第１人物の顔とを認識する第１認識処理を実行し、認識した文字と第１人物の顔とに基づいて、第１画像に含まれる第１人物に関わる第１人物関連情報を取得する第１取得処理を実行し、第２人物の顔を含む第２画像から第２人物の顔を認識する第２認識処理を実行し、第２画像に含まれる第２人物に関わる第２人物関連情報を取得する第２取得処理であって、第２人物の顔と類似する第１人物の顔を含む第１画像に対応する第１人物関連情報を利用して、第２人物関連情報を取得する第２取得処理を実行する。

【0010】

本開示の画像内容判定装置の作動方法は、少なくとも１つのプロセッサを備えた画像内容判定装置の作動方法であって、プロセッサは、文字と第１人物の顔とを含む第１画像から、文字と第１人物の顔とを認識する第１認識処理を実行し、認識した文字と第１人物の顔とに基づいて、第１画像に含まれる第１人物に関わる第１人物関連情報を取得する第１取得処理を実行し、第２人物の顔を含む第２画像から第２人物の顔を認識する第２認識処理を実行し、第２画像に含まれる第２人物に関わる第２人物関連情報を取得する第２取得処理であって、第２人物の顔と類似する第１人物の顔を含む第１画像に対応する第１人物関連情報を利用して、第２人物関連情報を取得する第２取得処理を実行する。

【0011】

本開示の画像内容判定装置の作動プログラムは、少なくとも１つのプロセッサを含むコンピュータを画像内容判定装置として機能させるための作動プログラムであって、文字と第１人物の顔とを含む第１画像から、文字と第１人物の顔とを認識する第１認識処理を実行し、認識した文字と第１人物の顔とに基づいて、第１画像に含まれる第１人物に関わる第１人物関連情報を取得する第１取得処理を実行し、第２人物の顔を含む第２画像から第２人物の顔を認識する第２認識処理を実行し、第２画像に含まれる第２人物に関わる第２人物関連情報を取得する第２取得処理であって、第２人物の顔と類似する第１人物の顔を含む第１画像に対応する第１人物関連情報を利用して、第２人物関連情報を取得する第２取得処理をプロセッサに実行させる。

【図面の簡単な説明】

【0012】

【図1】オンラインストレージサービスの概要を示す説明図である。

【図2】画像内容判定装置のブロック図である。

【図3】画像内容判定装置に備えられたＣＰＵの機能ブロック図である。

【図4】分類部によって行われる分類処理の説明図である。

【図5】第１認識部によって行われる第１認識処理、及び第１取得部によって行われる第１取得処理の説明図である。

【図6】第１取得処理の一例を示す説明図である。

【図7】第１画像情報リストの一例を示す表である。

【図8】第２認識部によって行われる第２認識処理の説明図である。

【図9】第２画像情報リストの一例を示す表である。

【図10】第２取得部によって行われる第２取得処理の説明図である。

【図11】タグ付け部によって行われるタグ付け処理の説明図である。

【図12】第２人物関連情報及びタグ情報を追加した第２画像情報リストの一例を示す説明図である。

【図13】画像内容判定処理のフローチャートである。

【図14】第１実施形態の概要を示す概略図である。

【図15】第２実施形態の概要を示す概略図である。

【図16】第２実施形態の第２取得処理の一例を示す説明図である。

【図17】第３実施形態の第１取得処理の一例を示す説明図である。

【図18】第３実施形態の第２取得処理の一例を示す説明図である。

【図19】第４実施形態の第１取得処理の一例を示す説明図である。

【図20】第４実施形態の第２取得処理の一例を示す説明図である。

【図21】第５実施形態の第１取得処理の一例を示す表である。

【図22】第５実施形態の第２取得処理の一例を示す説明図である。

【図23】特定ワードの有無による分類処理の説明図である。

【図24】記憶媒体に記憶されたプログラムを画像内容判定装置にインストールする一例を示す説明図である。

【発明を実施するための形態】

【0013】

［第１実施形態］
図１において、本開示の技術の一例である画像内容判定装置２は、画像配信システムの一部を構成する。画像配信システムは、ユーザＡ及びユーザＢなどの複数のユーザの画像Ｐをストレージ４に保管し、保管した画像Ｐを各ユーザからの要求に応じて通信ネットワークＮを介して配信するシステムである。画像Ｐは、各ユーザが保有する写真などのデジタルデータである。画像配信システムが提供するサービスは、ユーザから見れば通信ネットワークＮを介したストレージ４に画像を保管するサービスであるため、オンラインストレージサービスなどとも呼ばれる。画像配信システムの利用に当たっては、各ユーザは、画像配信システムを運営する事業者と利用契約を結ぶ。利用契約をしたユーザには、例えば、ユーザ毎のアカウントが作成され、ストレージ４内に各ユーザの画像Ｐを保管する格納領域が割り当てられる。利用契約に当たっては、事業者は、ユーザの氏名及び生年月日などの個人情報の提供を受け、取得した個人情報をユーザのアカウント情報として登録する。

【0014】

ストレージ４は、ハードディスクドライブ又はソリッドステートドライブなどのデータストレージデバイスである。ストレージ４は、画像内容判定装置２と通信可能に接続されており、画像内容判定装置２の外部ストレージとしても機能する。なお、ストレージ４は、ネットワークを介して画像内容判定装置２と接続されていても良く、ネットワークは、インターネット等のＷＡＮ（Wide Area Network）でも、Ｗｉｆｉ（登録商標）等のＬＡＮ（Local Area Network）でも良い。また、ネットワークと画像内容判定装置２との接続は有線でも無線でも良い。さらに、ストレージ４は、画像内容判定装置２にＵＳＢ（Universal Serial Bus）等で直接接続される記録媒体でも良く、画像内容判定装置２に内蔵されていても良い。なお、ストレージ４は、単一の装置に限らず、データ毎及び／又は容量毎に複数の装置で構成されても良い。

【0015】

ユーザＡ及びユーザＢを含む各ユーザは、例えばスマートデバイス６にインストールしたオンラインストレージサービス用のアプリケーションを立ち上げて、スマートデバイス６で撮影した写真の画像データを、通信ネットワークＮを介してストレージ４にアップロードする。また各ユーザは、ＰＣを介してオンラインストレージサービスにアクセスすることができる。各ユーザは、デジタルカメラ８で撮影した写真の画像データを、ＰＣを介してストレージ４にアップロードする。さらに各ユーザは、プリント写真ＰＡをスキャナ１０で読み取り、デジタル化した画像データを、ＰＣ又はスマートデバイス６を介してストレージ４にアップロードすることができる。なお、プリント写真ＰＡは、スキャナ１０でデジタル化される代わりに、スマートデバイス６又はデジタルカメラ８の撮影機能によってデジタル化されてもよい。

【0016】

プリント写真ＰＡには、各ユーザが作成した挨拶状も含まれる。挨拶状としては、年賀状、クリスマスカード、暑中見舞い、及び寒中見舞い等がある。なお、ユーザがプリント写真ＰＡを自らデジタル化して、ストレージ４にアップロードする代わりに、プリント写真ＰＡのデジタル化をオンラインストレージサービスの事業者に委託してもよい。

【0017】

各ユーザによってアップロードされた画像データは、ストレージ４に画像Ｐとして保管される。そして、ストレージ４にアップロードされた画像Ｐに対しては、画像内容判定装置２によるタグ付けが行われる。ストレージ４には、例えば、タグ付けが未処理の画像Ｐが格納される未処理フォルダ１２と、タグ付けが処理済みの画像Ｐが格納される処理済フォルダ１４とが設けられている。

【0018】

未処理フォルダ１２には、例えば、ユーザＡ専用フォルダ１２Ａ及びユーザＢ専用フォルダ１２Ｂというように、ユーザ毎に専用フォルダが設けられ、各ユーザ専用フォルダに各ユーザが保有する画像Ｐが格納される。ユーザＡによってアップロードされた画像データは、未処理フォルダ１２に設けられたユーザＡ専用フォルダ１２Ａに記憶される。ユーザＢによってアップロードされた画像データは、未処理フォルダ１２に設けられたユーザＢ専用フォルダ１２Ｂに記憶される。

【0019】

画像内容判定装置２は、顔認識、文字認識、及び撮影シーン判別などの画像解析技術を用いて画像Ｐの内容を判定する装置である。本例の画像内容判定装置２は、さらに、画像Ｐの内容の判定結果を、画像Ｐをキーワード検索するための検索用のタグ情報として画像Ｐに付与するタグ付けを行う。

【0020】

また、画像Ｐに付与されるタグ情報は、画像Ｐの内容の判定結果以外の情報、例えば画像ＰのＥｘｉｆ（Exchangeable Image File Format）情報等の付帯情報であっても良い。Ｅｘｉｆ情報には、撮影機器メーカ及びモデル名の他、撮影日時、撮影場所を示すＧＰＳ（Global Positioning System）情報などの情報が含まれている。Ｅｘｉｆ情報は既に画像Ｐのファイル内にメタ情報として記録されており、検索用のタグとして利用することが可能である。

【0021】

画像内容判定装置２は、Ｅｘｉｆ情報とは別に、画像Ｐの内容を判定することにより、画像Ｐに含まれる人物に関わる情報をタグ情報として付与する機能を備えている。

【0022】

例えば、画像Ｐが年賀状などの第１画像Ｐ１である場合、年賀状には、家族を構成する複数の人物の顔を含む家族写真が含まれている場合が多い。さらに、年賀状には、家族を構成する複数の人物の氏名、日付などの文字が含まれている。第１画像Ｐ１が年賀状であるということが判別できれば、第１画像Ｐ１内の写真に含まれる複数の人物の関係は家族であり、第１画像Ｐ１に含まれる氏名は、その家族の氏名であると推定することができる。このように年賀状などの挨拶状には、画像Ｐ内に、人物の顔に加えて、人物の名前、などの人物に関わる文字情報が含まれている。

【0023】

また、画像Ｐには、第１画像Ｐ１のように人物の顔と文字とを含む画像の他に、第２画像Ｐ２のように人物の顔を含むが文字を含まない画像もある。画像内容判定装置２は、このような文字を含まない第２画像Ｐ２についても画像内容を解析することより、第２画像Ｐ２に含まれる人物に関わる情報の推定を行う。

【0024】

画像内容判定装置２は、第１画像Ｐ１のように人物の顔と文字とを含む画像Ｐから得た人物に関わる情報を、文字を含まないが人物の顔を含む第２画像Ｐ２の内容の解析に利用する機能を有している。以下、この機能を中心に説明する。

【0025】

画像内容判定装置２は、例えば、ユーザ毎の画像群毎に画像内容の判定を行う。画像内容判定装置２は、例えばユーザＡの画像群の画像内容の判定を行う場合には、未処理フォルダ１２のユーザＡ専用フォルダ１２Ａに格納されたユーザＡの画像Ｐに対して画像内容判定処理を施す。

【0026】

画像Ｐには、第１画像Ｐ１と第２画像Ｐ２とが含まれている。第１画像Ｐ１は、文字と人物の顔とを含む画像である。第１画像Ｐ１に含まれる人物は、本開示の技術に係る第１人物に相当する。第１画像Ｐ１の一例としては文字領域有り画像がある。文字領域有り画像とは、第１人物の顔が含まれる写真領域ＡＰと、写真領域ＡＰの輪郭外の余白であって文字が配置されている文字領域ＡＣとを含む画像である。余白は無地でもよいし、模様などがあってもよい。年賀状などの挨拶状は文字領域有り画像である場合が多い。

【0027】

本例の第１画像Ｐ１は、年賀状であり、かつ、文字領域有り画像である。そのため、第１画像Ｐ１は、家族を構成する複数の第１人物の顔が写っている写真領域ＡＰと、写真領域ＡＰの余白に、「明けましておめでとう」などの新年の挨拶、家族の氏名、住所などの文字が配置されている文字領域ＡＣとを含む画像である。

【0028】

第２画像Ｐ２は、人物の顔を含む画像である。第２画像Ｐ２に含まれる人物は、本開示の技術に係る第２人物に相当する。第２画像Ｐ２の一例としては文字領域無し画像である。文字領域無し画像とは、第２人物の顔が含まれる写真領域ＡＰのみの画像である。第２画像Ｐ２は、第２人物の顔が含まれる写真領域ＡＰ内において第２人物の背景などに写り込む文字を除いて、写真領域ＡＰ以外に文字が配置される文字領域ＡＣを含まない画像である。

【0029】

画像内容判定装置２は、第１画像Ｐ１から第１人物に関わる第１人物関連情報Ｒ１を取得する。そして、第２画像Ｐ２の画像内容を判定する場合に、第２画像Ｐ２に含まれる第２人物に類似する第１人物を含む第１画像Ｐ１を特定する。そして、画像内容判定装置２は、特定した第１画像Ｐ１の第１人物関連情報Ｒ１に基づいて、第２画像Ｐ２の第２人物に関わる第２人物関連情報Ｒ２を取得する。

【0030】

さらに、画像内容判定装置２は、取得した第２人物関連情報Ｒ２に基づいて第２画像Ｐ２にタグ情報を付与するタグ付けを行う。タグ付けが行われた第２画像Ｐ２は、処理済フォルダ１４に格納される。一例として、処理済フォルダ１４も、ユーザ毎に専用フォルダが設けられており、ユーザＡの第２画像Ｐ２は、ユーザＡ専用フォルダ１４Ａに格納され、ユーザＢの第２画像Ｐ２は、ユーザＢ専用フォルダ１４Ｂに格納される。

【0031】

なお、図１において、処理済フォルダ１４には、第２画像Ｐ２のみが格納されているが、第１画像Ｐ１から第１人物関連情報Ｒ１を取得した結果、第１画像Ｐ１についても新たなタグ付けが行われた場合は、第１画像Ｐ１も処理済フォルダ１４に格納される。

【0032】

このようにタグ付けが行われた各ユーザの第１画像Ｐ１及び第２画像Ｐ２は、各ユーザに対して配信可能なフォルダに格納され、各ユーザの閲覧等に供される。この際に、各ユーザは、タグ情報を利用してキーワード検索などを行うことが可能になる。

【0033】

図２に一例として示すように、画像内容判定装置２を構成するコンピュータは、ＣＰＵ（Central Processing Unit）１８、メモリ２０、プログラムメモリ２２、通信Ｉ／Ｆ２４、及び外部機器Ｉ／Ｆ２６を備えている。これらはバスライン２８を介して相互に接続されている。

【0034】

前述のストレージ４は、外部機器Ｉ／Ｆ２６を介して画像内容判定装置２に通信可能に接続されている。画像内容判定装置２を構成するコンピュータ及びストレージ４は、例えば、画像配信システムを構成する他の装置とともに、オンラインストレージサービスを提供する事業者の拠点に配置されている。また通信Ｉ／Ｆ２４は、外部デバイスと各種情報の伝送制御を行うインターフェースである。

【0035】

プログラムメモリ２２には、分類プログラム３０、認識プログラム３１、第１取得プログラム３２、第２取得プログラム３４、及びタグ付けプログラム３５が記憶されている。これらのプログラムのうち、認識プログラム３１、第１取得プログラム３２、及び第２取得プログラム３４は、画像内容判定装置２を構成するコンピュータを本開示の技術に係る「画像内容判定装置」として作動させるためのプログラムである。これらのプログラムは、本開示の技術に係る「画像内容判定プログラム」の一例である。

【0036】

メモリ２０は、ＣＰＵ１８が処理を実行するための作業用メモリと、ＣＰＵ１８が処理を実行するために必要な、後述する辞書データ等のデータ、並びに後述する第１画像情報リスト４８及び第２画像情報リスト５０を記録する保存用メモリとして機能する。ＣＰＵ１８は、プログラムメモリ２２に記憶された分類プログラム３０、認識プログラム３１、第１取得プログラム３２、第２取得プログラム３４、及びタグ付けプログラム３５をメモリ２０にロードする。

【0037】

図３に一例として示すように、ＣＰＵ１８は、分類プログラム３０、認識プログラム３１、第１取得プログラム３２、第２取得プログラム３４、及びタグ付けプログラム３５をメモリ２０上で実行することにより、分類部３６、認識部３８、第１取得部４０、第２取得部４２及びタグ付け部４４として機能する。ＣＰＵ１８は本開示の技術に係る「プロセッサ」の一例である。

【0038】

画像内容判定装置２の処理について、本例においては、ユーザＡの画像Ｐの内容の判定を行う例で説明する。図３において、分類部３６は、ユーザＡの画像Ｐを処理する場合は、ユーザＡ専用フォルダ１２Ａから画像Ｐを読み出す。分類部３６は、読み出した画像Ｐを第１画像Ｐ１及び第２画像Ｐ２に分類する。

【0039】

認識部３８は、第１認識部３８－１と第２認識部３８－２とを含む。第１認識部３８－１は、文字と第１人物の顔とを含む第１画像Ｐ１から、文字と第１人物の顔とを認識する第１認識処理を実行する。具体的には、第１認識部３８－１は、第１画像Ｐ１の写真領域ＡＰから、第１画像Ｐ１に含まれる第１人物の顔を認識し、かつ、文字領域ＡＣから文字を認識する。第２認識部３８－２は、第２画像Ｐ２の写真領域ＡＰから、第２画像Ｐ２に含まれる第２人物の顔を認識する第２認識処理を実行する。

【0040】

第１取得部４０は、第１認識部３８－１が認識した文字と第１人物の顔とに基づいて、第１画像Ｐ１に含まれる第１人物関連情報Ｒ１を取得する第１取得処理を実行する。

【0041】

第２取得部４２は、第２画像Ｐ２に含まれる第２人物に関わる第２人物関連情報Ｒ２を取得する第２取得処理であって、第２人物の顔と類似する第１人物の顔を含む第１画像Ｐ１に対応する第１人物関連情報Ｒ１を利用して、第２人物関連情報Ｒ２を取得する第２取得処理を実行する。タグ付け部４４は、第２人物関連情報Ｒ２に基づいて第２画像Ｐ２にタグ情報を付与する。

【0042】

図４を参照して、分類部３６によって行われる分類処理の一例を説明する。分類部３６は、画像Ｐに写真領域ＡＰと文字領域ＡＣとが含まれるかを判定する。分類部３６は、例えば、画像Ｐについてエッジ検出などの手法により輪郭抽出を行い、抽出された輪郭から、写真領域ＡＰ及び文字領域ＡＣを検出する。また、写真領域ＡＰ及び文字領域ＡＣは、各画素の画素値及び画素値の配列に関する特徴など、相互に他の領域と区別可能な特徴量を有している。分類部３６は、画像Ｐに含まれるこうした特徴量を調べることにより、画像Ｐ内から写真領域ＡＰ及び文字領域ＡＣを検出する。画像Ｐに含まれる文字が印刷や同一のペンによって記載される場合は、画像Ｐに含まれる文字に対応する画素の画素値は一定の範囲内で類似すると考えられる。そこで、例えば、画像Ｐを構成する画素を２次元座標で分析し、第１軸（Ｘ軸）において予め定められた幅以上に予め定められた類似の範囲の画素値を示す画素列が配列され、かつ、第２軸（Ｙ軸）において、当該画素列が予め定められた一定の幅以上に連続して配置されているという特徴を有する場合に文字であると判定し、文字を有する領域を文字領域ＡＣと判定しても良い。

【0043】

文字領域ＡＣに含まれる文字には、漢字、ひらがな、カタカナ、及びアルファベットの他、数字及び記号を含む。文字には、フォントによって規定されたフォント文字に限らず、手書き文字も含まれる。文字領域ＡＣに含まれる文字の認識は、ＯＣＲ（Optical Character Recognition/Reader）等の文字認識技術を用いて行われる。もちろん、機械学習を用いた文字認識技術を利用してもよい。

【0044】

さらに分類部３６は、輪郭抽出及びパターンマッチングなどの顔認識技術を用いて写真領域ＡＰから人物の顔を認識する。もちろん、機械学習を用いた顔認識技術を利用してもよい。分類部３６は、一例として、写真領域ＡＰにおいて認識した顔を示す顔画像ＰＦを検出し、顔画像ＰＦの有無によって、画像Ｐを分類する。

【0045】

図３においては第１画像Ｐ１と第２画像Ｐ２の２種類に分類すると説明したが、より詳細には、図４に示すように、分類部３６は、顔画像ＰＦの有無及び文字領域ＡＣの有無に応じて、画像Ｐを、第１画像Ｐ１、第２画像Ｐ２、及び第３画像Ｐ３の３種類に分類する。具体的には、まず、写真領域ＡＰと文字領域ＡＣとを含み、かつ、写真領域ＡＰが顔画像ＰＦを含む画像Ｐは、第１画像Ｐ１に分類される。そして、写真領域ＡＰを含むが文字領域ＡＣを含まず、かつ、写真領域ＡＰが顔画像ＰＦを含む画像Ｐは、第２画像Ｐ２に分類される。また、写真領域ＡＰを含むが文字領域ＡＣを含まず、かつ、写真領域ＡＰが顔画像ＰＦを含まない画像Ｐは、第３画像Ｐ３に分類される。なお図４の例では第３画像Ｐ３として、文字領域ＡＣを含まない例で説明しているが、第３画像Ｐ３は、写真領域ＡＰが顔画像ＰＦを含まないことが要件であり、文字領域ＡＣを含んでいてもよいし、含んでいなくてもよい。

【0046】

ストレージ４には、分類された第１画像Ｐ１、第２画像Ｐ２、及び第３画像Ｐ３のそれぞれを格納する分類済フォルダ１３が設けられている。分類済フォルダ１３には、ユーザ毎に、第１画像Ｐ１を格納する第１画像フォルダ１３－１、第２画像Ｐ２を格納する第２画像フォルダ１３－２、及び第３画像Ｐ３を格納する第３画像フォルダ１３－３が設けられている。図４の例において、３つの第１画像フォルダ１３－１、第２画像フォルダ１３－２、及び第３画像フォルダ１３－３、は、ユーザＡの専用フォルダである。

【0047】

次に、第１画像に対して行われる第１認識処理及び第１取得処理の一例を、図５～図７を参照して説明する。

【0048】

図５に示すように、第１認識部３８－１は、分類済フォルダ１３の第１画像フォルダ１３－１から第１画像Ｐ１を一枚ずつ順次読み出して第１認識処理を実行する。以下の例において、複数の第１画像Ｐ１のそれぞれを区別する場合には、第１画像Ｐ１－１、第１画像Ｐ１－２のように、符号Ｐ１に「－１」、「－２」及び「－３」の細別符号を付して示す。図５においては、第１画像Ｐ１－４に対して第１認識処理が施される例を示す。第１認識処理は、第１顔認識処理と、文字認識処理と、撮影シーン判別処理とを含む。

【0049】

第１顔認識処理では、第１認識部３８－１は、第１画像Ｐ１－４の写真領域ＡＰに含まれる第１人物Ｍ１の顔を認識する。顔認識技術としては、分類部３６で利用した顔認識技術と同様の技術が利用される。第１認識部３８－１は、例えば、写真領域ＡＰ内で認識した顔を含む矩形の領域を第１顔画像ＰＦ１として抽出する。第１画像Ｐ１－４のように、写真領域ＡＰ内に複数の第１人物Ｍ１の顔が含まれている場合は、すべての第１人物Ｍ１の顔の認識が行われ、認識されたすべての顔について第１顔画像ＰＦ１が抽出される。図５の例では、写真領域ＡＰには第１人物Ｍ１が３人含まれているため、３つの第１顔画像ＰＦ１が抽出される。また、複数の第１人物Ｍ１のそれぞれを区別する必要がある場合は、第１人物Ｍ１Ａ、第１人物Ｍ１Ｂ、及び第１人物Ｍ１Ｃというように、符号Ｍ１にＡ、Ｂ及びＣの細別符号を付して示す。

【0050】

なお、写真領域ＡＰ内に、主要被写体となる第１人物Ｍ１の背景に主要被写体とは考えにくい人物の顔が写り込んでいる場合もある。その場合の対策として、例えば、写真領域ＡＰ内において相対的に小さな顔が含まれている場合は、小さな顔を主要被写体ではないと判定して、抽出対象から除外してもよい。また、例えば、写真領域ＡＰ内に含まれる第１顔画像ＰＦ１の領域の大きさが予め定められた面積以下である場合に除外するとしても良い。

【0051】

文字認識処理では、第１認識部３８－１は、第１画像Ｐ１－４に含まれる文字領域ＡＣから文字列ＣＨを認識する。文字列ＣＨは、複数の文字によって構成されるもので、文字の一例である。文字認識処理では、文字認識技術を利用して、文字領域ＡＣ内において認識した文字列ＣＨをテキストデータに変換する。

【0052】

撮影シーン判別処理では、第１認識部３８－１は、第１画像Ｐ１－４の写真領域ＡＰに示される写真の撮影シーンを判別する。撮影シーンとしては、例えば、ポートレート、風景などがある。風景には、山、海、都市、夜景、室内、屋外、お祭り、式典、及びスポーツ観戦等がある。撮影シーンは、例えばパターンマッチング及び機械学習などを用いた画像解析によって判別される。図５の例では、第１画像Ｐ１－４の撮影シーンは「ポートレート」及び「屋外」であると判別されている。このように撮影シーンの判別結果は複数でもよい。

【0053】

第１取得部４０は、一例として、第１人物Ｍ１の顔を表す第１顔画像ＰＦ１、文字列ＣＨ、及び撮影シーンに基づいて第１取得処理を実行する。第１取得処理は、一次処理と二次処理とを含む。

【0054】

一次処理は、辞書データ４６を用いて文字列ＣＨの意味を判別することにより、判別した意味を一次情報として取得する処理である。一次情報は、ニ次処理における種々の判定の基礎となる基礎情報として用いられる。ニ次処理は、取得した一次情報及び第１顔画像ＰＦ１等に基づいて第１人物関連情報Ｒ１を取得する処理である。

【0055】

第１認識処理及び第１取得処理の結果は、第１画像情報リスト４８に記録される。第１画像情報リスト４８は、第１取得処理において、各第１画像Ｐ１について取得された第１顔画像ＰＦ１、文字列ＣＨに基づいて取得された一次情報、並びに撮影シーン及び第１人物関連情報Ｒ１を含む第１画像情報を記録したファイルである。第１画像情報には、第１取得処理で取得される情報の他に、Ｅｘｉｆ情報など、第１画像Ｐ１に付帯されている付帯情報がある場合は、付帯情報も含まれる。また、第１画像情報には、第１認識処理によって認識された文字列ＣＨも含まれる。付帯情報及び文字列ＣＨも第１画像情報リスト４８に記録される。第１画像情報リスト４８には、複数の第１画像Ｐ１のそれぞれの画像情報が記録されることにより、複数の第１画像４８の画像情報がリスト化される。

【0056】

図６を参照しながら、第１取得処理の一次処理とニ次処理の具体例について説明する。図６に示すように、第１取得部４０は、一次処理において、辞書データ４６を参照して文字列ＣＨの意味を判別する。辞書データ４６には、文字列の複数のパターンとその文字列の意味とが対応付けられたデータが記憶されている。例えば、辞書データ４６には「年始の挨拶」を表す文字列の典型的なパターンが複数種類登録されている。文字列ＣＨが「年始の挨拶」のパターンに合致すると、文字列ＣＨの意味は「年始の挨拶」と判別される。また、辞書データ４６には、「氏名」及び「住所」などを表す文字列の典型的なパターンが複数種類登録されている。文字列ＣＨが「氏名」及び「住所」のパターンに合致すると、文字列ＣＨの意味は「氏名」及び「住所」と判別される。文字列ＣＨの意味としては、氏名及び住所の他に、電話番号、国籍、勤務先、学校名、年齢、生年月日、及び趣味等がある。辞書データ４６にはこれらの文字列の典型的なパターンも登録されており、文字列ＣＨの種々の意味を判別することができる。なお、辞書データ４６は、メモリ２２に記録されているとしたが、これに限らず、ストレージ４に記録されていても良い。

【0057】

図６の例では、「明けましておめでとうございます」の文字列ＣＨは、「年始の挨拶」であると判別される。「２０２０年元旦」の文字列ＣＨは「日付」であると判別される。「東京都○○区××町１－１」の文字列ＣＨは「住所」であると判別される。「山田太郎・花子・一郎」の文字列ＣＨは「氏名」であると判別される。

【0058】

また、一次処理では、例えば、文字列ＣＨの判別された意味に基づいて、第１画像Ｐ１の内容の種別が推定される。第１画像Ｐ１の内容の種別とは、例えば、第１画像Ｐ１が示すものが、年賀状なのかクリスマスカードなのかといった情報である。このように、一次処理においては、「年始の挨拶」、「日付」、「氏名」、「住所」などの文字列ＣＨの判別された意味と、文字列ＣＨの意味に基づいて推定された第１画像Ｐ１の内容の種別（本例では年賀状）とが一次情報として取得される。一次情報は、文字列ＣＨのみから取得される情報であり、一次処理によって判別される文字列ＣＨの意味も一般的な意味である。

【0059】

第１取得部４０は、ニ次処理において、一次情報を基礎情報として、第１画像Ｐ１に含まれる第１人物に関わる第１人物関連情報Ｒ１を取得する。本例において、第１画像Ｐ１－４は年賀状であり、一次情報には、第１画像Ｐ１－４の内容の種別は年賀状であることが含まれている。年賀状の場合、文字領域ＡＣに含まれている「氏名」及び「住所」は、写真領域ＡＰに含まれる第１人物Ｍ１の「住所」及び「氏名」である場合が多い。第１取得部４０は、第１画像Ｐ１－４の一次情報に「年賀状」が含まれているため、一次情報に含まれる「住所」及び「氏名」は、写真領域ＡＰ内の第１人物Ｍ１の「氏名」及び「住所」であると推定する。

【0060】

つまり、一次処理の時点では、「住所」及び「氏名」の文字列ＣＨの意味は、特定の人物と結びついていない一般的な意味として認識されるにすぎない。しかし、ニ次処理においては、文字列ＣＨの意味は、第１画像Ｐ１から顔を認識することによって検出される第１人物Ｍ１の「住所」及び「氏名」を意味するというように、第１人物Ｍ１との関係で決定される具体的な意味となる。第１画像Ｐ１に含まれる「氏名」及び「住所」が、第１画像Ｐ１に含まれる写真領域ＡＰに含まれる第１人物Ｍ１の「氏名」及び「住所」であるという情報は、第１画像Ｐ１から認識された文字と第１人物Ｍ１の顔とに基づいて取得された情報であり、第１人物関連情報Ｒ１の一例である。

【0061】

また、年賀状の場合、写真領域ＡＰに複数の第１人物Ｍ１の顔が含まれている場合は、複数の第１人物Ｍ１の関係は、夫婦又は親子などの家族関係である場合が多い。このため、第１取得部４０は、第１画像Ｐ１－４の一次情報に「年賀状」が含まれているため、写真領域ＡＰ内の複数の第１人物Ｍ１は家族関係であると推定する。第１画像Ｐ１－４には、３人の第１人物Ｍ１が含まれているため、３人の第１人物Ｍ１の関係は３人家族であると推定される。３人の第１人物Ｍ１の関係は親子関係であり、３人家族であるという情報は、第１画像Ｐ１から認識された文字と第１人物Ｍ１の顔とに基づいて取得された情報であり、第１人物関連情報Ｒ１の一例である。

【0062】

さらに、第１取得部４０は、一例として、第１画像Ｐ１－４に含まれる３人の第１人物Ｍ１Ａ、Ｍ１Ｂ及びＭ１Ｃのそれぞれの第１顔画像ＰＦ１を解析して、３人の第１人物Ｍ１Ａ、Ｍ１Ｂ及びＭ１Ｃの性別及び年齢を推定する。本例では、第１人物Ｍ１Ａは３０代の男性であり、第１人物Ｍ１Ｂは３０代の女性であり、第１人物Ｍ１Ｃは１０才未満の子供であると推定される。第１取得部４０は、この推定結果と３人家族という情報に基づいて、第１人物Ｍ１Ａは「夫」かつ「父親」であり、第１人物Ｍ１Ｂは「妻」かつ「母親」であり、第１人物Ｍ１Ｃは第１人物Ｍ１Ａと第１人物Ｍ１Ｂとの子供であるという第１人物関連情報Ｒ１を取得する。

【0063】

このように、第１取得部４０は、第１画像Ｐ１から認識された文字と第１人物Ｍ１の顔とに基づいて、第１人物Ｍ１に関わる第１人物関連情報Ｒ１を取得する。第１取得部４０は、第１画像Ｐ１が複数有る場合は、第１画像Ｐ１毎に、第１認識処理と第１取得処理とを行って、一次情報及び第１人物関連情報Ｒ１を取得する。こうして取得された第１人物関連情報Ｒ１は、第１画像情報リスト４８に記録される。なお、第１画像情報リスト４８は、メモリ２２に記録されているとしたが、これに限らず、ストレージ４に記録されていても良い。

【0064】

図７に一例として示す第１画像情報リスト４８には、ユーザＡが保有する複数の第１画像Ｐ１から取得された、第１顔画像ＰＦ１、撮影シーン、文字列ＣＨ、一次情報及び第１人物関連情報Ｒ１を含む第１画像情報が、第１画像Ｐ１－１、Ｐ１－２、Ｐ１－３、・・の各々と対応付けて記憶されている。第１画像情報リスト４８は、例えば、ストレージ４内において各ユーザに割り当てられた格納領域に、各ユーザの画像Ｐと一緒に格納される。

【0065】

図７に示す第１画像情報リスト４８において、第１画像Ｐ１－２及び第１画像Ｐ１－３には、付帯情報としてＥｘｉｆ情報が記録されているが、第１画像Ｐ１－１及びＰ１－４にはＥｘｉｆ情報が記録されていない。これは、例えば、第１画像Ｐ１－２及び第１画像Ｐ１－３は、撮影時にＥｘｉｆ情報を付加する機能を有するスマートデバイス６又はデジタルカメラ８などで撮影された画像であることを示す。一方、Ｅｘｉｆ情報が記録されていない第１画像Ｐ１－１及びＰ１－４は、プリント写真ＰＡをスキャナ１０などで読み取ってデジタル化した画像であることを示す。

【0066】

また、第１画像Ｐ１－１では、第１人物関連情報Ｒ１として、第１人物Ｍ１のペットが犬であるという情報が含まれている。これは、例えば、第１画像Ｐ１－１に第１人物Ｍ１と一緒に犬が写っていた場合に、その犬は第１人物Ｍ１のペットであるという推定を行って得た情報である。

【0067】

また、図７に例示した第１画像Ｐ１－１から第１画像Ｐ１－４は、「山田太郎」が差出人の年賀状の例である。例えば、「山田太郎」というユーザＡが自ら差出人となる年賀状の第１画像Ｐ１をストレージ４に保存している例である。

【0068】

第１画像Ｐ１－１から第１画像Ｐ１－４は、差出年が年代順に並んでおり、第１画像Ｐ１－１の日付が「２０１０年」で最も古く、第１画像Ｐ１－４の日付が「２０２０年」で最も新しい。第１取得処理においては、第１画像Ｐ１－１から第１画像Ｐ１－４に共通して「山田太郎」という氏名が含まれていることから、第１画像Ｐ１－１から第１画像Ｐ１－４に共通して含まれる第１人物Ｍ１Ａの氏名が「山田太郎」であるという推定を行うことも可能である。また、第１画像情報リスト４８には、第１画像Ｐ１－１から第１画像Ｐ１－４のそれぞれに含まれる第１人物Ｍ１Ａの第１顔画像ＰＦ１と日付とが記録されているため、第１人物Ｍ１Ａの顔の変遷を辿ることも可能である。こうした年代毎の第１人物Ｍ１Ａの顔の変遷も第１人物関連情報Ｒ１に含まれる。言い換えると、第１人物関連情報Ｒ１は、複数の第１画像Ｐ１から取得される情報も含む。

【0069】

第１画像情報リスト４８に記録された第１人物関連情報Ｒ１を含む第１画像情報は、第１画像Ｐ１のタグ情報として利用される他、第２画像Ｐ２に対するタグ付けの前提となる画像内容の判定に利用される。

【0070】

次に、第２画像Ｐ２に対して行われる第２認識処理、第２取得処理、及びタグ付け処理について図８～図１１を参照して説明する。

【0071】

図８に一例として示すように、第２認識部３８－２は、分類済フォルダ１３の第２画像フォルダ１３－２から第２画像Ｐ２を一枚ずつ順次読み出して第２認識処理を実行する。以下の例において、第１画像Ｐ１と同様に、複数の第２画像Ｐ２のそれぞれを区別する場合には、第２画像Ｐ２－１、第２画像Ｐ２－２のように、符号Ｐ２に細別符号を付して示す。図８においては、第２画像Ｐ２－１に対して第２認識処理が施される例を示す。第２認識処理は、第２顔認識処理と、撮影シーン判別処理とを含む。

【0072】

第２顔認識処理では、第２認識部３８－２は、第１認識部３８－１と同様の顔認識技術を用いて、第２画像Ｐ２－１の写真領域ＡＰに含まれる第２人物Ｍ２の顔を認識する。第２認識部３８－２は、例えば、写真領域ＡＰ内で認識した顔を含む矩形の領域を第２顔画像ＰＦ２として抽出する。第２画像Ｐ２－１のように、写真領域ＡＰ内に複数の第２人物Ｍ２が含まれている場合は、すべての第２人物Ｍ２の顔の認識が行われ、認識されたすべての顔について第２顔画像ＰＦ２が抽出される。図８の例では、第２画像Ｐ２－１の写真領域ＡＰには第２人物Ｍ２の顔が３人含まれているため、３つの第２顔画像ＰＦ２が抽出される。第１人物Ｍ１と同様に、第２人物Ｍ２についても、複数の第２人物Ｍ２のそれぞれを区別する必要がある場合は、第２人物Ｍ２Ａ、第２人物Ｍ２Ｂ、及び第２人物Ｍ２Ｃというように、符号Ｍ２にＡ、Ｂ及びＣの細別符号を付して示す。写真領域ＡＰ内に背景として相対的に小さな顔が含まれる場合に、小さな顔を主要被写体でないと判定して、抽出対象から除外する処理も第１認識処理と同様である。

【0073】

撮影シーン判別処理では、第２認識部３８－２は、第２画像Ｐ２－１の写真領域ＡＰに示される写真の撮影シーンを判別する。撮影シーンの判別方法も、第１画像Ｐ１と同様である。図８の例では、撮影シーンは「ポートレート」及び「室内」であると判別されている。第２認識処理の結果は、第２画像情報リスト５０に記録される。なお、第２画像情報リスト５０は、メモリ２２に記録されているとしたが、これに限らず、ストレージ４に記録されていても良い。

【0074】

図９に一例として示すように、第２画像情報リスト５０は、第２認識処理において、第２画像Ｐ２から認識された第２人物Ｍ２の顔を表す第２顔画像ＰＦ２及び撮影シーンを含む第２画像情報を記録したファイルである。第２画像Ｐ２－１及び第２画像Ｐ２－３は、３人の第２人物Ｍ２の顔が含まれているので、第２画像情報として、３つの第２顔画像ＰＦ２が記録されている。第２画像Ｐ２－２は、４人の第２人物Ｍ２の顔が含まれているので、第２画像情報として、４つの第２顔画像ＰＦ２が記録されている。第２画像Ｐ２－４は、２人の第２人物Ｍ２の顔が含まれているので、第２画像情報として、２つの第２顔画像ＰＦ２が記録されている。

【0075】

また、第２画像情報リスト５０において、第２画像Ｐ２－３の撮影シーンとしては、「ポートレート」及び「屋外」の他に、「神社」が記録されている。これは、例えば、第２画像Ｐ２－３の写真領域ＡＰの背景に、神社の社殿（shrine house）又は鳥居（shrine gate）などが含まれていることに基づいて判別された内容である。また、第２画像Ｐ２－４の撮影シーンとしては、「ポートレート」に加えて「海」が記録されている。これは、第２画像Ｐ２－４の写真領域ＡＰの背景に、海及び船が含まれていることに基づいて判別された内容である。

【0076】

また、第２画像情報リスト５０には、第２認識処理で認識される情報の他に、Ｅｘｉｆ情報など、第２画像Ｐ２に付帯されている付帯情報がある場合は、付帯情報も含まれる。第２画像情報リスト５０には、複数の第２画像Ｐ２のそれぞれの画像情報が記録される。第２画像情報リスト５０において、第２画像Ｐ２－１～Ｐ２－４のうち、第２画像Ｐ２－１、第２画像Ｐ２－３、及び第２画像Ｐ２－４には、Ｅｘｉｆ情報が記録されているが、第２画像Ｐ２－２には、Ｅｘｉｆ情報が記録されていない。

【0077】

付帯情報にはＧＰＳ情報が含まれている。第２画像Ｐ２－１のＧＰＳ情報としては、撮影場所がハワイであることを示す情報が記録されている。第２画像Ｐ２－３のＧＰＳ情報としては、撮影場所が東京であることを示す情報が記録されている。また、第２画像Ｐ２－４のＧＰＳ情報としては、撮影場所が東京湾上であることを示す情報が記録されている。

【0078】

図１０に一例として示すように、第２取得部４２は、第２画像Ｐ２に含まれる第２人物Ｍ２に関わる第２人物関連情報Ｒ２を取得する第２取得処理を実行する。第２取得処理は、類似画像検索処理と本処理とを含む。図１０の例は、第２画像Ｐ２－１について第２取得処理を実行する例である。

【0079】

類似画像検索処理では、第２取得部４２は、第２画像情報リスト５０から処理対象の第２画像Ｐ２－１の第２顔画像ＰＦ２を読み出す。そして、第２取得部４２は、第２顔画像ＰＦ２と、同じユーザＡの第１画像Ｐ１に含まれる第１顔画像ＰＦ１とを照合する。そして、複数の第１画像Ｐ１の中から、第２画像Ｐ２－１に含まれる第２顔画像ＰＦ２と類似する第１顔画像ＰＦ１を含む第１画像Ｐ１を検索する。図１０の例では、照合される第１顔画像ＰＦ１と第２顔画像ＰＦ２とは、それぞれ第１画像情報リスト４８及び第２画像情報リスト５０から読み出される。

【0080】

第２取得部４２は、第２画像Ｐ２－１に含まれる第２人物Ｍ２のそれぞれの第２顔画像ＰＦ２毎に、第１顔画像ＰＦ１との照合を行う。第２画像Ｐ２－１には、３人の第２人物Ｍ２が含まれており、３人の第２顔画像ＰＦ２が含まれているため、第２取得部４２は、３つの第２顔画像ＰＦ２のそれぞれと第１顔画像ＰＦ１とを照合する。当然ながら、第１画像Ｐ１においても、第１人物Ｍ１が複数含まれており、第１顔画像ＰＦ１も人数分含まれている場合がある。その場合は、第１顔画像ＰＦ１毎に照合が行われる。

【0081】

本例においては、第２画像Ｐ２－１の３人の第２顔画像ＰＦ２と第１画像Ｐ１－１に含まれる１人の第１顔画像ＰＦ１とが照合される。この場合は、照合する組み合わせは、３×１の３通りとなる。次に、第２画像Ｐ２－１の３人の第２顔画像ＰＦ２と第１画像Ｐ１－２に含まれる２人の第１顔画像ＰＦ１とが照合される。この場合は、照合する組み合わせは、３×２の６通りとなる。次に、第２画像Ｐ２－１の３人の第２顔画像ＰＦ２と第１画像Ｐ１－３に含まれる３人の第１顔画像ＰＦ１とが照合される。この場合は、照合する組み合わせは、３×３の９通りになる。次に、第２画像Ｐ２－１の３人の第２顔画像ＰＦ２と第１画像Ｐ１－４に含まれる３人の第１顔画像ＰＦ１とが照合される。第１画像Ｐ１－３と同様に、第１画像Ｐ１－４にも３人の第１顔画像ＰＦ１が含まれているため、第１画像Ｐ１－４の場合も、照合する組み合わせは、３×３の９通りになる。第１画像Ｐ１の数だけ、こうした照合が行われる。なお、本実施形態において、第１画像Ｐ１に含まれる人物の画像と、第２画像Ｐ２に含まれる人物の画像を総当たりで照合する場合を記載したがこれに限られない。例えば、第２画像Ｐ２に含まれる第２人物Ｍ２Ａについて分析を行い、第１画像Ｐ１－４の第１人物Ｍ１Ａが予め定められたレベル以上に類似する画像である場合、第１画像Ｐ１－４に含まれる第１人物Ｍ１Ａ以外の第１人物Ｍ１（例えば、第１人物Ｍ１Ｂ及び第１人物Ｍ１Ｃ）を優先的に照合しても良い。

【0082】

処理対象の第２画像Ｐ２に含まれる複数の第２顔画像ＰＦ２と複数の第１画像Ｐ１に含まれる複数の第１顔画像ＰＦ１との照合が行われることにより、第２人物Ｍ２の顔と類似する第１人物Ｍ１の顔を含む第１画像Ｐ１が検索される。顔が類似するか否かの判定は、例えば、類似度の評価値が予め設定した閾値以上の場合に類似すると判定される。類似度の評価値は、顔の形態的な特徴を表す特徴量に基づくパターンマッチング及び機械学習などの画像解析技術を利用して算出される。

【0083】

図１０の例では、第２画像Ｐ２－１の３人の第２人物Ｍ２の顔と類似する第１人物Ｍ１の顔を含む第１画像Ｐ１として、４つの第１画像Ｐ１－１、Ｐ１－２、Ｐ１－３、及びＰ１－４が検索される。検索される画像の数が多い場合は、類似度の評価値が高い方から予め設定された数を抽出して、類似度の評価値が低い画像を除外してもよい。

【0084】

第２取得部４２は、検索された第１画像Ｐ１－１から第１画像Ｐ１－４のそれぞれに対応する第１人物関連情報Ｒ１を含む第１画像情報を第１画像情報リスト４８から読み出す。

【0085】

本処理では、第２取得部４２は、第１人物関連情報Ｒ１を含む画像情報を利用して、第２人物関連情報Ｒ２を取得する。先ず第２取得部４２は、第２画像Ｐ２－１内の３人の第２人物Ｍ２Ａ、Ｍ２Ｂ及びＭ２Ｃの顔が、第１画像Ｐ１－４内の３人家族の第１人物Ｍ１Ａ、Ｍ１Ｂ及びＭ１Ｃのそれぞれと類似していることに基づいて、第２画像Ｐ２－１の３人の第２人物Ｍ１は３人家族であると推定する。また、第２画像Ｐ２－１の付帯情報に含まれるＧＰＳ情報が「ハワイ」であり、すなわち第２画像Ｐ２－１の撮影場所が「ハワイ」である。これに対して、第１人物関連情報Ｒ１に含まれる第１人物Ｍ１の住所が「東京都」である。第２取得部４２は、こうした撮影場所と住所とを照合した結果に基づいて、「第２画像Ｐ２－１はハワイ旅行で撮影された家族写真である」と推定する。第２画像Ｐ２－１の「３人の第２人物Ｍ２が家族」と推定されること、及び第２画像Ｐ２－１は「ハワイ旅行で撮影された家族写真」と推定されること、という推定結果を、第２取得部４２は、第２人物Ｍ２に関わる第２人物関連情報Ｒ２として取得する。

【0086】

なお、第２画像Ｐ２－１の第２人物関連情報Ｒ２としては、図１０に例示した情報に加えて、例えば、第１画像Ｐ１－４から取得した第１人物関連情報Ｒ１のように、第２画像Ｐ２－１に含まれる第２人物Ｍ２の顔を含む容姿を画像解析することにより得られる性別及び年齢などを含めてもよい。なお、後述するように、第１人物関連情報Ｒ１を利用して、画像解析により推定した性別及び年齢などの推定結果の妥当性を検証してもよい。

【0087】

第２取得処理によって取得された第２人物関連情報Ｒ２は、第２画像情報リスト５０に記録される（図１２参照）。第２人物関連情報Ｒ２は、第２画像Ｐ２に対するタグ付け処理に用いられる。

【0088】

図１１に一例として示すように、タグ付け部４４は、第２取得部４２によって取得された第２人物関連情報Ｒ２に基づいて、処理対象の第２画像Ｐ２－１に対してタグ付け処理を実行する。タグ付け部４４は、タグ付け処理において、第２人物関連情報Ｒ２から、タグ情報に使用するキーワードを抽出する。例えば、第２人物関連情報Ｒ２が「第２画像Ｐ２－１はハワイ旅行で撮影された家族写真である」の場合には、タグ付け部４４は、タグ情報に使用するキーワードとして、「家族」、「旅行」、及び「ハワイ」を第２人物関連情報Ｒ２から抽出する。なお、タグ情報に使用するキーワードは、第２人物関連情報Ｒ２に含まれる単語そのままでもよいし、実質的な意味に共通性を有する異なる単語でもよい。実質的な意味に共通性を有する異なる単語の例としては、例えば「ハワイ」を地理的に包含する「海外」及び「アメリカ」などが挙げられる。これらの３つの単語は、日本を基点に考えると、すべて「海外」という上位概念で包含することができるため、実質的な意味が共通していると言える。

【0089】

タグ付け部４４は、これらのキーワードをタグ情報として第２画像Ｐ２－１に付与する。タグ付け部４４は、タグ情報を付与した第２画像Ｐ２－１を、処理済フォルダ１４に設けられたユーザＡ専用フォルダ１４Ａに格納する。

【0090】

図１２に一例として示すように、第２取得部４２が取得した第２人物関連情報Ｒ２及びタグ付け部４４が付与したタグ情報は、第２画像Ｐ２－１に対応付けて第２画像情報リスト５０に記録される。第２画像情報リスト５０において、第２人物関連情報Ｒ２及びタグ情報などは、第２画像Ｐ２毎に記録される。

【0091】

次に、上記構成による作用について、図１３のフローチャートを参照して説明する。画像内容判定装置２における第２画像Ｐ２の画像内容判定処理は、一例として図１３に示す手順で行われる。

【0092】

本例では、画像内容判定装置２は、予め設定されたタイミングで各ユーザの画像Ｐ毎に画像内容判定処理を実行する。予め設定されたタイミングとしては、例えば、ユーザからストレージ４にアップロードされる未処理の画像Ｐの数を監視し、未処理の画像Ｐの数が予め設定された数に達した場合である。例えば、ユーザＡによってストレージ４にアップロードされる未処理の画像Ｐの数が予め設定された数に達した場合に、画像内容判定装置２は、ユーザＡの画像Ｐに対して画像内容判定処理を実行する。なお、予め設定されたタイミングとは、ユーザの画像Ｐが新たにアップロードされたタイミングでも良い。以下、ユーザＡの画像Ｐに対して画像内容判定処理を実行する場合を例に説明する。

【0093】

画像内容判定処理において、まず、分類部３６は、図１３のステップＳＴ１０において、分類処理を実行する。分類処理において、図４に一例として示したように、分類部３６は、未処理フォルダ１２からユーザＡの未処理の画像Ｐを読み出す。そして、写真領域ＡＰ内の顔画像ＰＦの有無及び画像Ｐ内の文字領域ＡＣの有無に基づいて、画像Ｐを、第１画像Ｐ１、第２画像Ｐ２及び第３画像Ｐ３のいずれかに分類する。分類部３６は、画像Ｐが写真領域ＡＰと文字領域ＡＣとを含み、かつ、写真領域ＡＰが顔画像ＰＦを含む場合に、画像Ｐを第１画像Ｐ１に分類する。また、分類部３６は、画像Ｐが、顔画像ＰＦを含む写真領域ＡＰを含み、かつ文字領域ＡＣを含まない場合に、画像Ｐを第２画像Ｐ２に分類する。また、分類部３６は、画像Ｐが、顔画像ＰＦを含まない写真領域ＡＰを含む場合、又は、写真領域ＡＰを含まない場合に、画像Ｐを第３画像Ｐ３に分類する。

【0094】

分類部３６は、例えば、各ユーザの未処理の複数の画像Ｐのすべてについて、分類処理を実行する。分類された第１画像Ｐ１、第２画像Ｐ２、及び第３画像Ｐ３のそれぞれは分類済フォルダ１３に格納される。

【0095】

次に、第１認識部３８－１は、図１３のステップＳＴ２０において、第１認識処理を実行する。第１認識処理において、図５に一例として示したように、第１認識部３８－１は、分類済フォルダ１３内の第１画像Ｐ１に対して第１認識処理を実行する。第１認識処理において、第１認識部３８－１は、まず、第１画像Ｐ１の写真領域ＡＰに含まれる第１人物Ｍ１の顔を認識する第１顔認識処理を行う。図５において一例として示す第１画像Ｐ１－４の場合は、写真領域ＡＰに３人の第１人物Ｍ１の顔が含まれているため、第１画像Ｐ１－４からは３人の第１人物Ｍ１の顔が認識される。第１認識部３８－１は、第１画像Ｐ１－４から認識した３人の第１人物Ｍ１の顔を、３つの第１顔画像ＰＦ１として抽出する。

【0096】

続いて第１認識部３８－１は、第１画像Ｐ１に対して文字認識処理を行う。第１認識部３８－１は、第１画像Ｐ１に含まれる文字領域ＡＣから文字列ＣＨを抽出する。図５に示す第１画像Ｐ１－４の場合は、「東京都〇〇区・・・」及び「山田太郎」などの文字列ＣＨが認識される。

【0097】

続いて第１認識部３８－１は、第１画像Ｐ１に対して撮影シーン判別処理を行う。撮影シーン判別処理では、第１認識部３８－１は、「ポートレート」及び「屋外」といった撮影シーンを判別する。

【0098】

次に、第１取得部４０は、図１３のステップＳＴ３０において、第１取得処理を実行する。第１取得処理において、図５に一例として示したように、第１取得部４０は、認識した文字の一例である文字列ＣＨと、第１人物Ｍ１の顔を表す第１顔画像ＰＦ１とに基づいて第１取得処理を実行する。第１取得処理は、一次処理とニ次処理とを含む。

【0099】

一次処理において、第１取得部４０は、辞書データ４６を参照しながら、文字列ＣＨの一般的な意味を判別する。例えば、図６に示したように、「東京都〇〇区・・・」という文字列ＣＨの一般的な意味は住所であると判別される。また、「山田太郎」という文字列ＣＨの一般的な意味は氏名であると判別される。また、「明けましておめでとうございます」という文字列ＣＨの意味は「年始の挨拶」と判別される。さらに、一次処理においては、文字列ＣＨに「年始の挨拶」が含まれていることから、第１画像Ｐ１の内容の種別が「年賀状」であると推定する。これらの情報は一次情報として取得され、二次処理の基礎情報として利用される。

【0100】

第１取得部４０は、ニ次処理において、図６に示したように、一次情報を基礎情報として、第１画像Ｐ１に含まれる第１人物Ｍ１に関わる第１人物関連情報Ｒ１を取得する。図６に示したように、第１画像Ｐ１－４の一次情報は「年賀状」を含んでいるため、第１取得部４０は、一次情報に含まれる「氏名」及び「住所」は、写真領域ＡＰ内の第１人物Ｍ１の「氏名」及び「住所」であると推定する。また、第１取得部４０は、第１画像Ｐ１－４は「年賀状」であるため、写真領域ＡＰ内の３人の第１人物Ｍ１は、３人家族であると推定する。

【0101】

第１取得部４０は、このように推定した情報を第１人物関連情報Ｒ１として取得する。第１取得部４０は、一次処理で得た一次情報と、ニ次処理で得た第１人物関連情報Ｒ１とを第１画像情報リスト４８に記録する。図７に一例として示したように、第１画像情報リスト４８には、一次情報及び第１人物関連情報Ｒ１の他に、付帯情報及び第１顔画像ＰＦ１を含む第１画像情報が記録される。

【0102】

ステップＳＴ１０の分類処理からステップＳＴ３０の第１取得処理は、未処理の第１画像Ｐ１に対して実行される。これにより、第１画像情報リスト４８には、複数の第１画像Ｐ１の画像情報が記録される。

【0103】

次に、第２認識部３８－２は、図１３のステップＳＴ４０において、第２認識処理を実行する。第２認識処理において、図８に一例として示したように、第２認識部３８－２は、分類済フォルダ１３内の第２画像Ｐ２に対して第２認識処理を実行する。第２認識処理において、第２認識部３８－２は、まず、第２画像Ｐ２の写真領域ＡＰに含まれる第２人物Ｍ２の顔を認識する。図８において一例として示す第２画像Ｐ２－１の場合は、写真領域ＡＰに３人の第２人物Ｍ２の顔が含まれているため、第２認識部３８－２は、第２画像Ｐ２－１内の３人の第２人物Ｍ２の顔を認識し、認識した顔を含む領域を３つの第２顔画像ＰＦ２として抽出する。続いて第２認識部３８－２は、第２画像Ｐ２に対して撮影シーンを判別する撮影シーン判別処理を行う。図８の例では、第２画像Ｐ２－１の撮影シーンは「ポートレート」及び「室内」であると判別されている。

【0104】

第２認識部３８－２は、処理対象の第２画像Ｐ２に対して第２認識処理を実行する。図９に一例として示したように、第２画像Ｐ２から認識された第２人物Ｍ２の顔を表す第２顔画像ＰＦ２及び撮影シーンは、第２画像情報リスト５０に記録される。

【0105】

次に、第２取得部４２は、ステップＳＴ５０において、第２取得処理を実行する。第２取得処理は、類似画像検索処理と本処理とを含む。第２取得部４２は、図１０に一例として示したように、まず、第２顔画像ＰＦ２と第１顔画像ＰＦ１とを照合することにより、第２画像Ｐ２－１に含まれる第２人物Ｍ２の顔に類似する第１人物Ｍ１を含む第１画像Ｐ１を検索する類似画像検索処理を行う。図１０の例では、類似画像検索処理によって、第２画像Ｐ２－１に含まれる３人の第２人物Ｍ２の顔のいずれかと類似する第１人物Ｍ１の顔を含む第１画像Ｐ１として、第１画像Ｐ１－１～第１画像Ｐ１－４の４つの第１画像Ｐ１が検索される。第２取得部４２は、検索された第１画像Ｐ１に対応する第１人物関連情報Ｒ１を含む第１画像情報を第１画像情報リスト４８から読み出す。図１０の例のように、検索された第１画像Ｐ１が複数有る場合は、第２取得部４２は、それぞれに対応する第１人物関連情報Ｒ１を含む第１画像情報を第１画像情報リスト４８から読み出す。

【0106】

本処理では、第２取得部４２は、第１人物関連情報Ｒ１を含む第１画像情報に基づいて、第２人物関連情報Ｒ２を取得する。図１０の例では、第１人物関連情報Ｒ１には、第１画像Ｐ１－４内の３人の第１人物Ｍ１は３人家族であるという情報が含まれている。さらに、第２画像Ｐ２－１の３人の第２人物Ｍ２の顔が、第１画像Ｐ１－４の３人の第１人物Ｍ１の顔とすべて類似している。こうした情報に基づいて、第２取得部４２は、第２画像Ｐ２の３人の第２人物Ｍ２が家族であると推定する。さらに、第２画像Ｐ２－１のＧＰＳ情報は、撮影場所が「ハワイ」であることを示している一方、第１画像Ｐ１－４の第１人物関連情報Ｒ１には、３人の家族の住所は「東京都」と記録されている。これらの情報を照合することにより、第２取得部４２は、「第２画像Ｐ２－１はハワイ旅行で撮影された家族写真である」と推定する。第２取得部４２は、こうした推定結果を、第２画像情報リスト５０に記録する（図１２参照）。

【0107】

第２取得部４２は、図１３のステップＳＴ６０において、タグ付け処理を実行する。タグ付け処理において、第２取得部４２は、取得した第２人物関連情報Ｒ２に基づいて、第２画像Ｐ２に対してタグ情報を付す。図１１の例では、図１０の例で取得された第２人物関連情報Ｒ２に基づいて、「家族、旅行、ハワイ、・・・」といったタグ情報が、第２画像Ｐ２－１に付される。

【0108】

第２取得部４２は、図１３のステップＳＴ４０の第２認識処理からステップＳＴ６０のタグ付け処理を、未処理の複数の第２画像Ｐ２に対して実行する。この結果、図１２の第２画像情報リスト５０に一例として示すように、複数の第２画像Ｐ２にタグ情報が付される。タグ情報は、第２画像Ｐ２を検索するためのキーワードとして使用される。

【0109】

以上を要約的に示すと、図１４に示すようになる。すなわち、本例の画像内容判定装置２において、第１認識部３８－１は、第１画像Ｐ１－４のような年賀状など、文字と第１人物の顔とを含む第１画像Ｐ１から、文字列ＣＨを一例として示す文字と第１人物Ｍ１の顔とを認識する第１認識処理を実行する。そして、第１取得部４０は、認識した文字列ＣＨと第１人物Ｍ１の顔とに基づいて、第１画像Ｐ１に含まれる第１人物Ｍ１に関わる第１人物関連情報Ｒ１を取得する第１取得処理を実行する。第１画像Ｐ１－４が年賀状である場合は、第１人物関連情報Ｒ１としては、第１人物Ｍ１の「氏名」及び「住所」が含まれているため、第１人物Ｍ１の「氏名」及び「住所」、さらには複数の第１人物Ｍ１が家族であるという情報が取得される。

【0110】

そして、第２認識部３８－２は、第２人物Ｍ２の顔を含む第２画像Ｐ２から第２人物Ｍ２の顔を認識する第２認識処理を実行する。第２画像Ｐ２が第２画像Ｐ２－１の場合は、３人の第２人物Ｍ２の顔が認識される。そして、第２取得部４２は、第２画像Ｐ２－１に含まれる第２人物Ｍ２に関わる第２人物関連情報Ｒ２を取得する第２取得処理を実行する。第２取得処理は、第２人物Ｍ２の顔と類似する第１人物Ｍ１の顔を含む第１画像Ｐ１に対応する第１人物関連情報Ｒ１を利用して、第２人物関連情報Ｒ２を取得する処理である。図１４の例では、第２取得処理においては、第２画像Ｐ２－１に含まれる３人の第２人物Ｍ２と類似する３人の第１人物Ｍ１を含む第１画像Ｐ１－４に対応する第１人物関連情報Ｒ１が取得される。そして、３人家族という第１人物関連情報Ｒ１を利用して、第２画像Ｐ２－１に含まれる「３人の第２人物Ｍ２は家族」であり、第２画像Ｐ２－１は「ハワイ旅行で撮影された家族写真」といった第２人物関連情報Ｒ２が取得される。

【0111】

挨拶状などの第１画像Ｐ１に含まれる文字列ＣＨは、住所及び氏名などの第１人物Ｍ１の正確な個人情報が記載されている場合が多く、第１人物Ｍ１に関わる第１人物関連情報Ｒ１を取得するための基礎情報として、信頼性が高い。そのため、第１画像Ｐ１に含まれる文字列ＣＨを利用して取得される第１人物関連情報Ｒ１も信頼性が高い情報となる。そして、本例の画像内容判定装置２は、第２画像Ｐ２の画像内容を判定するに際して、第２人物Ｍ２の顔と第１人物Ｍ１の顔との類似性に基づいて、第２画像Ｐ２に関連する第１画像Ｐ１を特定し、特定した第１画像Ｐ１に対応する第１人物関連情報Ｒ１を取得する。そして、第２人物Ｍ２と同一人物の可能性が高い第１人物Ｍ１の第１人物関連情報Ｒ１を、第２人物Ｍ２の第２人物関連情報Ｒ２の取得に利用している。

【0112】

したがって、本例の画像内容判定装置２によれば、例えば、第１画像Ｐ１に対応する第１人物関連情報Ｒ１を利用しない従来と比較して、信頼性が高い第２人物関連情報Ｒ２を、第２画像Ｐ２に含まれる人物Ｍ２に関わる情報として、取得することができる。また、本例の画像内容判定装置２は、第１人物関連情報Ｒ１と第２人物関連情報Ｒ２とを取得する一連の処理をＣＰＵ１８が実行する。そのため、従来のようにユーザの手間が掛かることがない。

【0113】

第２人物関連情報Ｒ２は、一例として第２画像Ｐ２のタグ情報として利用される。このタグ情報は第２人物関連情報Ｒ２から生成される情報であるため、第２画像Ｐ２の画像内容を示す情報として信頼性が高い。そのため、第２画像Ｐ２には画像内容を表す適切なタグ情報が付与されている可能性が高く、第２画像Ｐ２をキーワード検索する場合に、ユーザが所望する第２画像Ｐ２を検索できる可能性も向上する。

【0114】

本例において、第１画像Ｐ１として、第１人物Ｍ１の顔が含まれる写真領域ＡＰと、写真領域ＡＰの輪郭外の余白であって文字が配置されている文字領域ＡＣとを含む文字領域有り画像を例示した。また、第２画像Ｐ２としては、第２人物Ｍ２の顔が含まれる写真領域ＡＰのみの文字領域無し画像を例示した。

【0115】

挨拶状及び身分証明書などは、文字領域有り画像の形式を採用することが比較的多い。第１画像Ｐがこのような文字領域有り画像の場合、文字領域ＡＣに含まれる文字は、写真領域ＡＰに含まれる第１人物Ｍ１に関わる情報を意味する可能性が高い。そのため、文字領域ＡＣ内の文字に基づいて取得される第１人物Ｍ１に関わる第１人物関連情報Ｒ１も、有意かつ信頼性が高い。こうした第１人物関連情報Ｒ１を利用することにより、例えば、第１人物Ｍ１の顔が含まれる写真領域ＡＰのみからなる画像から取得された情報を第１人物関連情報Ｒ１として利用する場合に比べ、第２人物関連情報Ｒ２として、有意かつ信頼性が高い情報を取得しやすい。

【0116】

また、第２画像Ｐ２が文字領域無し画像である場合は、文字領域有り画像である場合と比較して情報が少ないため、画像内容の判定を行う際の手掛かりが乏しい。そのため、文字領域無し画像の第２画像Ｐ２だけから取得できる第２人物関連情報Ｒ２の情報量が少ない。そのため、文字領域有り画像の第１画像Ｐ１の第１人物関連情報Ｒ１を利用することは、こうした第２画像Ｐ２から第２人物関連情報Ｒ２を取得する場合に特に有効である。

【0117】

また、第１画像Ｐ１は、挨拶状及び身分証明書のうちの少なくとも１つを表す画像を含む。挨拶状としては、年賀状及びクリスマスカードなどの他に、暑中見舞いなど季節の挨拶状なども含まれる。また、挨拶状には、子供の誕生を知らせるハガキ、七五三（７才の女児、５才の男児、並びに３才の男児及び女児の成長を祝うイベント）などの子供の行事、入学及び卒業のお知らせの他、転居のお知らせなどが含まれる。身分証明書としては、運転免許証、パスポート、社員証、及び学生証などが含まれる。こうした挨拶状及び身分証明書に記載されている情報は特に正確性が高いため、例えば、第１画像Ｐ１が市販の絵ハガキを表す画像しか含まない場合に比べて、信頼性の高い第１人物関連情報Ｒ１を取得するための第１画像Ｐ１として特に有効である。また、挨拶状には、趣味の話など、人物の多様な情報が含まれている可能性があるため、例えば、第１画像Ｐ１がダイレクトメールを表す画像である場合に比べて、第１人物関連情報Ｒ１として多様な情報を取得できる可能性が高い。

【0118】

本例の画像内容判定装置２において、分類部３６は、第１認識処理及び第２認識処理を実行する前に、複数の画像Ｐを、第１画像Ｐ１と第２画像Ｐ２とに分類する分類処理を実行する。このように、複数の画像Ｐを、予め第１画像Ｐ１と第２画像Ｐ２に分類しておくことで、各認識処理に先だって分類処理を予め行わない場合と比べて、第１人物関連情報Ｒ１及び第２人物関連情報Ｒ２を取得する処理を効率的に行うことができる。

【0119】

本例において、第１人物関連情報Ｒ１は、第２画像Ｐ２と同じ保有者の第１画像Ｐ１から取得される。保有者が同じとは、ストレージ４内において、第１画像Ｐ１と第２画像Ｐ２とが、どちらも同じユーザのアカウントの格納領域に格納されている場合をいう。第１画像Ｐ１の保有者と第２画像Ｐ２の保有者とが同じ場合、第１画像Ｐ１の保有者と第２画像Ｐ２の保有者とが異なる場合に比べて、第１画像Ｐ１に含まれている第１人物Ｍ１と第２画像Ｐ２に含まれている第２人物Ｍ２との共通性が高い。第２画像Ｐ２から第２人物関連情報Ｒ２を取得するに当たって、第２人物Ｍ２と関連性の高い有意な第１人物関連情報Ｒ１を利用することができる。このため、第１画像Ｐ１の保有者と第２画像Ｐ２の保有者とが異なる場合と比べて、取得される第２人物関連情報Ｒ２の信頼性が向上する。また、有意な第１人物関連情報Ｒ１を得やすいということは、言い換えればノイズが少ないとも言える。そのため、第１画像Ｐ１の保有者と第２画像Ｐ２の保有者とが同じ場合は、保有者が異なる場合と比べて、信頼性の高い第２人物関連情報Ｒ２を取得するための処理効率も向上する。

【0120】

なお、第２画像Ｐ２の保有者と異なる人物が保有している第１画像Ｐ１に対応する第１人物関連情報Ｒ１を利用してもよい。理由は次のとおりである。例えば、第１画像Ｐ１の保有者が第２画像Ｐ２の保有者と家族であったり、友人であったり、又は、同じイベントに参加した者同士だったり等、両方の保有者の間に関係がある場合がある。この場合は、第２画像Ｐ２の第２人物関連情報Ｒ２を取得する場合に、異なる保有者の第１画像Ｐ１に対応する第１人物関連情報Ｒ１を利用すると、有意な情報が得られる可能性があるためである。なお、ユーザＡの画像群に基づく第１人物関連情報Ｒ１を利用できるユーザは、予め定められた条件を満たしたユーザに限定されても良い。予め定められた条件とは、例えば、ユーザＡによって指定されることであっても良いし、ユーザＡの画像群に含まれる画像と類似する画像を予め定められた数または割合以上で有することであっても良い。

【0121】

本例において、第１人物関連情報Ｒ１は、例えば、第１人物Ｍ１の氏名、住所、電話番号、年齢、生年月日、及び趣味のうちの少なくとも１つを含む。これらの情報を含む第１人物関連情報Ｒ１は、第２人物関連情報Ｒ２を取得するための手掛かりとして有効である。例えば、第１人物Ｍ１の氏名は、第２人物Ｍ２の氏名を特定するために利用価値が高く、また、第１人物Ｍ１の電話番号は、第２人物Ｍ２の住所を特定するために利用価値が高い。また、住所は、正確な住所でなくてもよく、郵便番号のみでもよいし、都道府県名のみでもよい。また、第１人物関連情報Ｒ１としては、上記以外に、国籍又は所属団体名などのいずれかが含まれていてもよい。所属団体名としては、勤務先、学校名、及びサークル名などがある。これらの情報も、第１人物関連情報Ｒ１及び第２人物関連情報Ｒ２を取得するための手掛かりとして有効である。

【0122】

本例において、第１人物関連情報Ｒ１及び第２人物関連情報Ｒ２には、家族関係が含まれている。家族関係は、第１画像Ｐ１に含まれている複数の第１人物Ｍ１の関係を示す情報又は第２画像Ｐ２に含まれている複数の第２人物Ｍ２の関係を示す情報の一例である。このように、第１画像Ｐ１に第１人物Ｍ１が複数人含まれている場合又は第２画像Ｐ２に第２人物Ｍ２が複数人含まれている場合においては、第１人物関連情報Ｒ１又は第２人物関連情報Ｒ２は、複数の人物の関係を示す情報を含んでもよい。上述した例に示したとおり、複数の第１人物Ｍ１の関係を示す情報は、第１人物Ｍ１と同定される複数の第２人物Ｍ２の関係を推定するために有効である。また、第２人物関連情報Ｒ２に複数の第２人物Ｍ２の関係を示す情報が含まれることによって、第２人物関連情報Ｒ２が複数の第２人物Ｍ２の各々に関する情報のみの場合に比べ、多様なタグ情報を付与することが可能となる。

【0123】

複数の第１人物Ｍ１の関係を示す情報、又は複数の第２人物Ｍ２の関係を示す情報としては、夫婦、親子及び兄弟姉妹などの家族関係の他、祖父及び祖母を含む親族関係、友人関係、及び師弟関係のうちの少なくとも１つを含んでいてもよい。また「複数の第１人物Ｍ１の関係」としては、家族関係及び親族関係に限らず、友人関係又は師弟関係等の人間関係であってもよい。従って、本構成によれば、複数の第１人物Ｍ１の関係を示す情報、又は複数の第２人物Ｍ２の関係を示す情報が家族関係のみを示す情報である場合に比べ、信頼性の高い第１人物関連情報Ｒ１又は第２人物関連情報Ｒ２を取得することができる。

【0124】

本例によれば、第２取得部４２は、第２画像Ｐ２に付帯する付帯情報の一例であるＥｘｉｆ情報のＧＰＳ情報を利用する。Ｅｘｉｆ情報など第２画像Ｐ２の付帯情報には、ＧＰＳ情報など、第２人物関連情報Ｒ２を取得する上で、有用な情報が多い。付帯情報を利用することで、利用しない場合と比べて、より信頼性の高い第２人物関連情報Ｒ２を取得することができる。なお、本例では、第２人物関連情報Ｒ２を取得する第２取得処理において、第２取得部４２が第２画像Ｐ２に付帯する付帯情報を利用する例で説明したが、もちろん、第１人物関連情報Ｒ１を取得する第１取得処理において、第１取得部４０が第１画像Ｐ１に付帯する付帯情報を利用してもよい。

【0125】

上記例においては、年賀状の第１画像Ｐ１－４から取得した第１人物関連情報Ｒ１に基づいて、家族写真の第２画像Ｐ２－１から、「ハワイ旅行で撮影された家族写真である」という第２人物関連情報Ｒ２を取得した例で説明した。上記例以外でも、第１画像Ｐ１及び第２画像Ｐ２は各種有り、どのような第１画像Ｐ１からどのような第１人物関連情報Ｒ１を取得するかの態様については様々な態様が考えられる。また、どのような第２画像Ｐ２から、どのような第１人物関連情報Ｒ１に基づいて、どのような第２人物関連情報Ｒ２を取得するかについても様々な態様が考えられる。こうした各種の態様を、以下の各実施形態で示す。

【0126】

以下の各実施形態においては、画像内容判定装置２の構成は上記第１実施形態と同一であり、かつ、第２人物関連情報Ｒ２を取得するまでに至る基本的な処理手順も図１３で示した処理手順と同様である。相違点は、第１画像Ｐ１及び第２画像Ｐ２の少なくとも一方の種類、第１人物関連情報Ｒ１及び第２人物関連情報Ｒ２の内容等、情報の内容のみである。そのため、以下の各実施形態においては、第１実施形態との相違点を中心に説明する。

【0127】

［第２実施形態］
図１５及び図１６に一例として示す第２実施形態では、第１画像Ｐ１－４を用いて、第２画像Ｐ２－２の第２人物関連情報Ｒ２を取得する。第１画像Ｐ１－４は、上記第１実施形態で説明したものと同じなので、第１画像Ｐ１－４に対して行われる処理については説明を省略する。

【0128】

第２画像Ｐ２－２は、４人の第２人物Ｍ２の顔を含んでいるため、第２認識処理では、第２認識部３８－２は、第２画像Ｐ２－２から４人の第２人物Ｍ２の顔を認識し、認識した４つの第２顔画像ＰＦ２を抽出する。

【0129】

図１６に示す第２取得処理において、類似画像検索処理では、第２取得部４２は、第２画像Ｐ２－２に含まれる４人の第２人物Ｍ２のそれぞれの第２顔画像ＰＦ２と、第１画像Ｐ１に含まれる第１人物Ｍ１のそれぞれの第１顔画像ＰＦ１とを照合することにより、第２人物Ｍ２の顔に類似する第１人物Ｍ１の顔を含む第１画像Ｐ１を検索する。そして、第２取得部４２は、検索した第１画像Ｐ１から第１人物関連情報Ｒ１を第１画像情報リスト４８から取得する。図１６の例でも、第１実施形態の図１０の例と同様に、第１画像Ｐ１として第１画像Ｐ１－１から第１画像Ｐ１－４が検索される。そして、これらの第１人物関連情報Ｒ１が取得される。

【0130】

図１６の例では、第２画像Ｐ２－２内の４人の第２人物Ｍ２Ａ～Ｍ２Ｄのうち、３人の第２人物Ｍ２Ａ～Ｍ２Ｃの顔が、第１画像Ｐ１－４内の３人の第１人物Ｍ１Ａ～Ｍ１Ｃの顔と類似している。本処理では、第２取得部４２は、この照合結果に基づいて、第２画像Ｐ２－２内の４人の第２人物Ｍ２Ａ～Ｍ２Ｄのうち、３人の第２人物Ｍ２Ａ～Ｍ２Ｃは家族であると推定する。第２取得部４２は、さらに、第２画像Ｐ２－２内の残りの第２人物Ｍ２Ｄが誰かを推定する。第２取得部４２は、第２画像Ｐ２－２を画像解析することにより、第２人物Ｍ２Ａ～Ｍ２Ｄの年齢及び性別を推定する。本例では、第２人物Ｍ２Ａ及び第２人物Ｍ２Ｂは３０代男女、第２人物Ｍ２Ｃは１０才未満の子供、第２人物Ｍ２Ｄは６０代女性と推定される。第２取得部４２は、第２人物Ｍ２Ａ及び第２人物Ｍ２Ｂの年齢と、第２人物Ｍ２Ｄの年齢は約２０才以上離れており、かつ、第２人物Ｍ２Ｄは、第１人物関連情報Ｒ１に含まれる親子関係が認定された第１人物Ｍ１Ａ～Ｍ１Ｃと異なるため、第２人物Ｍ２Ｄは、第２人物Ｍ２Ａ及び第２人物Ｍ２Ｂの子供である第２人物Ｍ２Ｃの祖母と推定する。こうした推定により、第２画像Ｐ２－２において、第２人物Ｍ２Ｄは、「６０代女性で、第２人物Ｍ２Ｃである子供の祖母である」、と推定する。第２取得部４２は、こうした推定結果を第２人物関連情報Ｒ２として取得する。

【0131】

第２画像Ｐ２－２の画像解析によっても、４人の第２人物Ｍ２の年齢及び性別を推定することはできる。本例では、第２人物Ｍ２Ａ～第２人物Ｍ２Ｃと類似する第１人物Ｍ１Ａ～第１人物Ｍ１Ｃが３人家族であるという第１人物関連情報Ｒ１を利用して、第２人物関連情報Ｒ２を取得している。このように、第１人物関連情報Ｒ１によって、第２人物Ｍ２Ｄを子供である第２人物Ｍ２Ｃの母親と誤判定することが抑制される。つまり、この場合は、第２取得処理において、第２取得部４２は、第２画像Ｐ２に基づいて第２人物関連情報Ｒ２を導出し、第１人物関連情報Ｒ１に基づいて、導出した第２人物関連情報Ｒ２の妥当性を判定している。これにより、第１人物関連情報Ｒ１は信頼性が高い情報であるため、第１人物関連情報Ｒ１を第２人物関連情報Ｒ２の妥当性の判定に利用することで、導出した第２人物関連情報Ｒ２をそのまま取得する場合に比べ、信頼性の高い第２人物関連情報Ｒ２を取得することができる。

【0132】

本例では、例えば、第２画像Ｐ２－２に「祖母」といったタグ情報を付与することができる。こうしたタグ情報があれば「祖母」の写真を検索したい場合に便利である。

【0133】

［第３実施形態］
図１７及び図１８に一例として示す第３実施形態は、第１画像Ｐ１から取得した第１人物関連情報Ｒ１に加えて、第１画像Ｐ１の保有者であるユーザのアカウント情報を用いて、第２画像Ｐ２に写る第２人物Ｍ２Ａの年齢を推定する。

【0134】

第３実施形態においては、図１８に示すように、処理対象の第２画像Ｐ２は、第１実施形態と同じ第２画像Ｐ２－１であり、類似画像検索処理により検索された第１画像Ｐ１についても、第１実施形態と同じ第１画像Ｐ１－１～Ｐ１－４である（図１０参照）。

【0135】

第１実施形態で説明したとおり、第１画像Ｐ１－１～Ｐ１－４の保有者は、ユーザＡであり、オンラインストレージサービスの利用契約時にはユーザＡのアカウント情報が登録されている。アカウント情報は、例えばストレージ４内のユーザＡに割り当てられた格納領域に格納されている。アカウント情報には、ユーザＡの氏名である「山田太郎」と、生年月日として、例えば、１９８０年４月１日という情報が含まれている。アカウント情報は、ユーザ毎に登録されている情報であり、格納形式としては、Ｅｘｉｆ情報のように各第１画像Ｐ１に与えられていてもよい。また、アカウント情報は、同一ユーザの複数の第１画像Ｐ１に対して１つだけ与えられていてもよい。いずれにしろ、ストレージ４内においては、アカウント情報はユーザ毎に、そのユーザの複数の第１画像Ｐ１と関連付けられている。アカウント情報は、関連付けられているという意味で、Ｅｘｉｆ情報とともに、各第１画像Ｐ１に付帯する付帯情報の一例である。

【0136】

また、図７に示したとおり、第１画像Ｐ１－１～Ｐ１－４はすべて年賀状であり、第１画像Ｐ１－１～Ｐ１－４のすべてには共通して、第１人物Ｍ１Ａの顔と「山田太郎」という文字列ＣＨが含まれている。そして、第１画像Ｐ１－１に含まれる第１人物Ｍ１の顔は第１人物Ｍ１Ａの顔だけであり、第１画像Ｐ１－１に含まれる氏名も「山田太郎」のみである。また、第１画像Ｐ１－１～Ｐ１－４には、文字列ＣＨとして、「２０１０年元旦」及び「２０１４年元旦」というように、写真領域ＡＰのおおよその撮影年として推定可能な日付が含まれている。

【0137】

図１７に示すように、第１人物関連情報Ｒ１を取得するために実行される第１取得処理において、第１取得部４０は、第１画像Ｐ１－１～第１画像Ｐ１－４の文字領域ＡＣに含まれる文字列ＣＨに加えて、ユーザＡのアカウント情報を取得する。第１取得部４０は、第１画像Ｐ１－１～Ｐ１－４のすべてに共通して含まれる第１人物Ｍ１の顔は、第１人物Ｍ１Ａの顔だけであり、すべてに共通して含まれる文字列ＣＨは「山田太郎」だけであるため、第１人物Ｍ１Ａは「山田太郎」と推定する。そして、文字列ＣＨの「山田太郎」と、アカウント情報の氏名「山田太郎」とが一致するため、第１人物Ｍ１ＡがユーザＡであり、第１人物Ｍ１Ａの生年月日は、アカウント情報に含まれる「１９８０年４月１日」であると推定する。

【0138】

また、図１４等にも示したとおり、第１画像Ｐ１－４は「年賀状」であり、第１画像Ｐ１－４には「２０２０年元旦」という日付を意味する文字列ＣＨが含まれている。この日付から、第１取得部４０は、第１画像Ｐ１－４の写真領域ＡＰの撮影年を２０２０年付近と推定する。そして、第１画像Ｐ１－４の写真領域ＡＰの撮影年が２０２０年であるとすると、第１画像Ｐ１－４に含まれる第１人物Ｍ１Ａの生年は１９８０年であるため、第１人物Ｍ１Ａの年齢は、約４０才であると推定される。第１取得部４０は、こうした推定により、第１画像Ｐ１－４の撮影時点の第１人物Ｍ１Ａの年齢を約４０才と推定する。この第１人物Ｍ１Ａの推定年齢は、アカウント情報を用いているものの、第１画像Ｐ１－４から認識される第１人物Ｍ１Ａの顔と「２０２０年元旦」という文字列ＣＨとに基づいて取得される情報であるため、第１人物関連情報Ｒ１の一例である。また、第１取得部４０は、第１画像Ｐ１－１～Ｐ１－３についても同様な推定を行い、各第１画像Ｐ１－１～Ｐ１－３の撮影時点の第１人物Ｍ１Ａの年齢を推定する。

【0139】

図１８に示すように、第２取得部４２は、本処理において、類似画像検索処理の処理結果として、第２画像Ｐ２－１の第２人物Ｍ２Ａの顔は、第１画像Ｐ１－４の第１人物Ｍ１Ａの顔に最も類似するという判定結果を取得する。さらに、第２取得部４２は、第１画像Ｐ１－４の第１人物関連情報Ｒ１から、第１人物Ｍ１Ａの推定年齢は４０才であるという情報を取得する。これらの情報に基づいて、第２取得部４２は、第２画像Ｐ２－１の第２人物Ｍ２Ａの推定年齢は４０才であるという推定結果を、第２人物関連情報Ｒ２として取得する。

【0140】

このように、第３実施形態においては、第２取得部４２は、第２画像Ｐ２－１の第２人物Ｍ２Ａの年齢を推定する場合に、第２画像Ｐ２－１の第２人物Ｍ２Ａと顔が類似する顔を含む第１画像Ｐ１－４を検索し、検索した第１画像Ｐ１－４の第１人物関連情報Ｒ１を利用して、第２人物Ｍ２Ａの推定年齢という第２人物関連情報Ｒ２を取得する。これにより、第２顔画像ＰＦ２から第２人物Ｍ２Ａの年齢を推定する場合に比べ、信頼性の高い第１人物関連情報Ｒ１を利用することにより、推定年齢の信頼性も向上する。

【0141】

なお、推定年齢は、例えば４０代、４０代前半、又は３８才～４２才等ある程度の幅を持ったものでもよい。

【0142】

また、本例においては、第１取得部４０が第１取得処理を実行する際に、アカウント情報を利用する例で説明したが、第２取得部４２が第２取得処理を実行する際にアカウント情報を利用してもよい。例えば、図１８の本処理において、上述のとおり、第２取得部４２から、第２画像Ｐ２－１の第２人物Ｍ２Ａの顔と第１画像Ｐ１－４の第１人物Ｍ１Ａの顔と最も類似するという判定結果を取得する。この判定結果を取得した後に、第２取得部４２が、アカウント情報を利用して、第１画像Ｐ１－４の第１人物Ｍ１Ａの年齢推定、及び第２画像Ｐ２－１の第２人物Ｍ２Ａの年齢推定を行ってもよい。

【0143】

［第４実施形態］
図１９及び図２０に示す第４実施形態では、第１取得部４０は、複数の第１画像Ｐ１から家族の人数が変化した年を判別し、家族の人数変化に関わる第１人物関連情報Ｒ１を取得する。第２取得部４２は、第１人物関連情報Ｒ１を使用して、その年以降に撮影された第２画像Ｐ２に関する第２人物関連情報Ｒ２を取得する。

【0144】

第４実施形態では、例えば図１９に示すように、第１取得部４０は、ユーザＡの複数の第１画像Ｐ１から第１人物Ｍ１Ａの家族の人数の変遷を第１人物関連情報Ｒ１として取得する。第１画像Ｐ１－１～Ｐ１－３は、上記各実施形態において示した第１画像Ｐ１－１～Ｐ１－３と同様である（図７及び図１７参照）。第１画像Ｐ１－１の写真領域ＡＰには「山田太郎」という第１人物Ｍ１Ａが一人で写っており、文字列ＣＨとして２０１０年という日付が含まれている。こうした情報から、第１取得部４０は、第１画像Ｐ１－１から、２０１０年において、第１人物Ｍ１Ａが独身であるという第１人物関連情報Ｒ１を取得する。図７にも示したとおり、第１画像Ｐ１－２からは、２０１４年において第１人物Ｍ１Ａ及びＭ１Ｂが２人家族であるという第１人物関連情報Ｒ１が取得される。第１画像Ｐ１－３からは、２０１５年において、第１人物Ｍ１Ａ、Ｍ１Ｂ、Ｍ１Ｃは３人家族であるという第１人物関連情報Ｒ１が取得される。さらに、第１画像Ｐ１－２の第１人物関連情報Ｒ１を参照すると、１年前の２０１４年１月の時点では、第１人物Ｍ１Ａ及びＭ１Ｂは２人家族であり、第１人物Ｍ１Ｃが存在していないということがわかる。このことから、第１画像Ｐ１－３に含まれる第１人物Ｍ１Ｃは、２０１４年中に誕生した子供であるということがわかる。この情報も第１人物関連情報Ｒ１として取得される。

【0145】

図２０に示すように、第２取得部４２は、第２画像Ｐ２－３の画像内容を判定するに際して、第２画像Ｐ２－３に含まれる第２人物Ｍ２の顔に類似する第１人物Ｍ１の顔を含む第１画像Ｐ１として、第１画像Ｐ１－３を検索する。第２画像Ｐ２－３に含まれる第２人物Ｍ２Ａ及びＭ２Ｂの顔と、第１画像Ｐ１－３に含まれる第１人物Ｍ１Ａ及びＭ１Ｂの顔との類似性に基づいて検索される。そして、第２取得部４２は、第１画像Ｐ１－３に対応する第１人物関連情報Ｒ１を第１画像情報リスト４８から読み出す。

【0146】

第２取得部４２は、本処理において、第１画像Ｐ１－３の第１人物関連情報Ｒ１に含まれる「２０１４年に子供（第１人物Ｍ１Ｃ）誕生」の情報、及び第２画像Ｐ２－３の付帯情報に含まれた撮影年「２０１９年」の情報に基づいて、第２画像Ｐ２－３の撮影時における子供（第２人物Ｍ２Ｃ）の年齢は５才であると推定する。さらに第２取得部４２は、撮影日が「１１月１５日」であること、第２画像Ｐ２－３の撮影シーンが「神社」であることに基づいて、「第２画像Ｐ２－３は七五三（７才の女児、５才の男児、並びに３才の男児及び女児の成長を祝うイベント）で撮影された写真である」と推定する。こうした情報は、第２人物関連情報Ｒ２として取得される。この第２人物関連情報Ｒ２に基づいて、第２画像Ｐ２－３に対しては、例えば「七五三」というタグ情報が付与される。

【0147】

以上説明したように、第４実施形態によれば、第１取得部４０は、複数の第１画像Ｐ１－１～Ｐ１－３に基づいて家族が増えた年を判定し、家族が増えた年を第１人物関連情報Ｒ１として取得する。第２取得部４２は、家族が増えた年を、子供が生まれた年とすることで、その年以降に取得された第２画像Ｐ２－３に写る子供の年齢を推定し、推定した子供の年齢を第２人物関連情報Ｒ２として取得する。従って、本構成によれば、一つの第１画像Ｐ１のみから第１人物関連情報Ｒ１が取得される場合に比べ、多様な情報を第１人物関連情報Ｒ１として取得することでき、ひいては、信頼性の高い情報を第２人物関連情報Ｒ２として取得することができる。

【0148】

さらに、子供の推定年齢及び撮影日などに基づいて、第２画像Ｐ２－３は、例えば七五三などの子供の年齢に応じたイベントにおける記念写真であると推定する。本開示の技術によれば、第１人物関連情報Ｒ１を利用しているため、第２画像Ｐ２についての画像内容だけから第２人物Ｍ２が関わるイベントを推定する場合に比べ、信頼性の高い第２人物関連情報Ｒ２を取得することができる。

【0149】

なお、第２画像Ｐ２にタグ付けされる第２人物Ｍ２に関わるイベントの種類としては、七五三及びお宮参り（乳児の成長を祝うイベント）等の子供の健やかな成長を祝う伝統的なイベントの他に、還暦（６０才の誕生日）及び米寿（８８才の誕生日）等の長寿を祝うイベント、結婚式及び入学式等のライフイベント、並びにお祭り及びコンサート等の企画イベントなどの各種のイベントが含まれる。また、イベントには、運動会及び学芸会といった学校行事なども含まれる。

【0150】

［第５実施形態］
上記各実施形態では、ユーザＡが保有する第１画像Ｐ１として、ユーザＡが差出人となる年賀状を例に説明したが、ユーザＡが保有する第１画像Ｐ１としては、ユーザＡが受取人となる年賀状などの画像であってもよい。

【0151】

図２１及び図２２に示す第５実施形態は、ユーザＡが受取人となる第１画像Ｐ１の第１人物関連情報Ｒ１を利用して、第２画像Ｐ２から第２人物関連情報Ｒ２を取得する例である。

【0152】

図２１に示すように、第１画像Ｐ１－５は、ユーザＡが受取人となる年賀状の画像であり、ユーザＡが差出人となる第１画像Ｐ１－４などとともに、ユーザＡのフォルダである第１画像フォルダ１３－１に格納される。

【0153】

ユーザＡが差出人の第１画像Ｐ１－４には、差出人となるユーザＡの名前である「山田太郎」が含まれているが、ユーザＡが受取人となる第１画像Ｐ１－５には、差出人の名前には「山田太郎」はなく、「佐藤三郎」が含まれている。また、第１画像Ｐ１－５の文字領域ＡＣには、「謹賀新年」及び「今度釣りに行きましょう」という文字列ＣＨが含まれている。

【0154】

第１取得部４０は、第１画像Ｐ１－５に対する第１取得処理において、文字列ＣＨとして、「謹賀新年」が含まれていることから、第１画像Ｐ１－５は「年賀状」であること、さらに、差出人の名前が「佐藤三郎」となっていることから、写真領域ＡＰに含まれる第１人物Ｍ１Ｆの名前が「佐藤三郎」であることを推定する。また、第１取得部４０は、文字列ＣＨとして含まれている「今度釣りに行きましょう」のメッセージに基づいて、第１画像Ｐ１－５の第１人物Ｍ１Ｆの趣味が「釣り」であると推定する。また、第１取得部４０は、第１画像Ｐ１－５が、ユーザＡである「山田太郎」の第１画像Ｐ１－５として格納されていることから、差出人の「佐藤三郎」は、ユーザＡである「山田太郎」の友人であると推定する。第１取得部４０は、これらの情報を第１画像Ｐ１－５の第１人物関連情報Ｒ１として取得する。

【0155】

図２２に示すように、第２取得部４２は、類似画像検索処理において、処理対象の第２画像Ｐ２－４に含まれる第２人物Ｍ２Ｆと第１画像Ｐ１－５に含まれる第１人物Ｍ１Ｆの顔の類似性に基づいて、第１画像Ｐ１－５を検索する。第２取得部４２は、検索した第１画像Ｐ１－５の第１人物関連情報Ｒ１を取得する。

【0156】

第２取得部４２は、本処理において、第１画像Ｐ１－５の第１人物関連情報Ｒ１に「趣味は釣り」の情報があること、かつ第２画像Ｐ２－４の撮影シーンが「海」であること、かつＧＰＳ情報も東京湾であること（図９も参照）に基づいて、「第２画像Ｐ２－４は海釣りで撮影された写真である」という第２人物関連情報Ｒ２を取得する。第２画像Ｐ２－４の撮影シーンが海であり、ＧＰＳ情報も東京湾であり、かつ魚も写っていることから、第２画像Ｐ２－４を画像解析すれば、第２画像Ｐ２－４は、２人の第２人物Ｍ２Ａ及びＭ２Ｆが釣りをしている様子を示していることを推定することができる。第２取得部４２は、この推定結果により２人の第２人物Ｍ２Ａ及びＭ２Ｆの趣味が釣りであるという第２人物関連情報Ｒ２を導出することができる。そして、第２取得部４２は、第１人物関連情報Ｒ１を利用することで、導出した第２人物関連情報Ｒ２の妥当性を判定することができる。このため、第２人物関連情報Ｒ２の信頼性が向上する。

【0157】

この第２人物関連情報Ｒ２に基づいて、例えば、第２画像Ｐ２－４に「海：釣り」というタグ情報が付与される。

【0158】

以上説明したように、第５実施形態では、ユーザＡが受取人の年賀状を第１画像Ｐ１として用いている。第１画像Ｐ１の第１人物Ｍ１として、ユーザＡの友人が写っている場合には、第２取得部４２は、その友人に関する第１人物関連情報Ｒ１を利用して、友人の顔を含む第２画像Ｐ２－４から、友人に関する第２人物関連情報Ｒ２を取得する。従って、本構成によれば、例えば、ユーザＡの第１人物関連情報Ｒ１に基づいて友人に関する第２人物関連情報Ｒ２を取得する場合に比べ、信頼性の高い第２人物関連情報Ｒ２を取得することができる。

【0159】

上記各実施形態においては第１画像Ｐ１としては、写真領域ＡＰと文字領域ＡＣとを有する文字領域有り画像を例に説明した。しかし、第１画像Ｐ１としては、文字領域有り画像に限らず、一例として図２３に示すような文字写り込み画像５２であってもよい。文字写り込み画像５２は、第１人物の顔が含まれる写真領域ＡＰのみの文字領域無し画像であって、写真領域ＡＰに、文字として予め登録された特定ワードが写り込んでいる画像である。

【0160】

本開示の技術において、信頼性の高い第１人物関連情報Ｒ１を取得するためには、第１画像Ｐ１が第１人物Ｍ１に関わる信頼性の高い情報を意味する文字を含んでいることが好ましい。上記各実施形態で説明したとおり、文字領域ＡＣを有する文字領域有り画像は、文字領域無し画像に比べて信頼性の高い情報を意味する文字を含んでいる場合が多いと考えられる。しかし、文字領域ＡＣが無くても、信頼性の高いと考えられる情報を意味する文字が写真領域ＡＰに含まれている場合には、その画像Ｐを第１画像Ｐ１として積極的に利用することが好ましい。

【0161】

第１人物Ｍ１に関わる信頼性の高い情報を意味する特定ワードとしては、例えば、入学式、卒業式、成人式、結婚式、誕生祝等が挙げられる。このような特定ワードは、第１人物に関わるイベントなど、各種の情報を意味するものとして利用できる可能性が高い。例えば、図２３の文字写り込み画像５２のように、「○○大学 卒業式」という文字列が含まれている文字写り込み画像５２を第１画像Ｐ１として使用する場合には、第１取得部４０は、文字写り込み画像５２から、第１画像Ｐ１の第１人物Ｍ１の出身大学を取得することができる。この情報は第１人物関連情報Ｒ１として信頼性が高いと言える。また、図２３に示すように文字として「２０２０年度」といった卒業年度が含まれている場合は、第１取得部４０は、卒業年度を取得し、取得した卒業年度を第１人物Ｍ１のおおよその年齢の推定にも利用可能である。

【0162】

第１実施形態においては、図４に示したように、図２３の文字写り込み画像５２は、文字領域ＡＣが無いため、分類部３６によって第２画像Ｐ２に分類されてしまう。文字写り込み画像５２を第１画像Ｐ１に分類するためには、分類部３６が画像Ｐを第１画像Ｐ１に分類する条件に次の条件を追加する必要がある。すなわち、文字領域ＡＣが無い場合でも、写真領域ＡＰに人物の顔と特定ワードの両方が含まれている画像Ｐについては、第１画像Ｐ１に分類するという条件を追加する。これにより、文字写り込み画像５２が第１画像Ｐ１に分類される。

【0163】

例えば、図２３に示すように、特定ワードである「卒業式」を含む文字写り込み画像５２と、「工事中」という文字が写り込んでいるが特定ワードを含まない文字写り込み画像５３とがある場合を例に説明する。文字写り込み画像５２には文字領域ＡＣが無いが、写真領域ＡＰに人物の顔と特定ワードの両方が含まれているため、分類部３６は、文字写り込み画像５２を第１画像Ｐ１に分類する。一方、文字写り込み画像５３には文字領域ＡＣが無く、かつ、写真領域ＡＰには人物の顔しかなく、特定ワードが含まれていないため、分類部３６は、文字写り込み画像５３を第２画像Ｐ２に分類する。分類部３６は、特定ワードが予め登録された辞書データ４６を参照して、特定ワードの有無の判別を行う。

【0164】

また、特定ワードは、例えば、プリント写真ＰＡ（図１参照）に写し込まれた日付であってもよい。さらに、第１画像は、文字写り込み画像５２に限らず、プリント写真ＰＡの上に手書きで書き込まれた特定ワードを含む画像であってもよい。手書きの特定ワードを含むプリント写真ＰＡとは、例えば、ユーザがプリント写真ＰＡを整理する際に、プリント写真ＰＡの上に、「２０１０年〇月〇日」などの日付及び「〇〇の卒業式」などの特定ワードをボールペンなどで書き込んだプリント写真ＰＡをいう。こうした手書きで書き込まれた情報は、写真に写っている人物に関わる情報を含んでいる場合も多い。このような手書きの特定ワード付き画像Ｐを第１画像Ｐ１として使用することで、手書きの特定ワード付き画像Ｐを第２画像Ｐ２として分類する場合に比べ、多様かつ信頼性の高い第１人物関連情報Ｒ１を取得し、ひいては信頼性の高い第２人物関連情報Ｒ２を取得することができる。

【0165】

また、特定ワードとしては、「明けましておめでとうございます」及び「メリークリスマス」など、挨拶状であることを判別可能なワードなどを含んでもよい。例えば、年賀状又はクリスマスカードなどの挨拶状であっても、写真領域ＡＰと区別された文字領域ＡＣが無い場合もある。この場合は、写真領域ＡＰ内に特定ワードが含まれている場合が多い。特定ワードとして、挨拶状であることを判別可能なワードなどを登録しておけば、写真領域ＡＰのみを有する挨拶状を第１画像Ｐ１として使用することができる。

【0166】

また、図２３においては、文字写り込み画像５２及び５３の文字領域無し画像に対して特定ワードの有無を判別することにより、特定ワードを含む文字写り込み画像５２を第１画像Ｐ１として分類する例を説明した。しかし、文字領域無し画像だけでなく、上記各実施形態で示した年賀状の第１画像Ｐ１－４などの文字領域有り画像についても、特定ワードを判別して、第１画像Ｐ１への分類を行ってもよい。文字領域有り画像についても、すべてが有意な文字情報を有しているとは限らないため、特定ワードの有無の判別によって、有意な文字情報を含まない第１画像Ｐ１を排除することができる。

【0167】

なお、上記実施形態において、画像内容判定装置２に分類部３６を設けた例で説明したが、分類部３６はなくてもよい。例えば、別の装置によって分類済みの第１画像Ｐ１及び第２画像Ｐ２に対して画像内容判定装置２が処理を行うようにしてもよい。

【0168】

上記実施形態において、例えば、画像内容判定装置２の分類部３６、認識部３８、第１取得部４０、第２取得部４２、及びタグ付け部４４の各種の処理を実行するコンピュータのハードウェア的な構造としては、次に示す各種のプロセッサを用いることができる。各種のプロセッサには、ソフトウェア（例えば、分類プログラム３０、認識プログラム３１、第１取得プログラム３２、第２取得プログラム３４、及びタグ付けプログラム３５）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ１８に加えて、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるＰＬＤ（Programmable Logic Device）、および／またはＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。ＦＰＧＡの代わりにＧＰＵ（Graphics Processing Unit）を用いても良い。

【0169】

１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ、および／または、ＣＰＵとＦＰＧＡとの組み合わせもしくはＣＰＵとＧＰＵとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。

【0170】

複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントおよびサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、ＳＯＣ（System On Chip）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。

【0171】

さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路を用いることができる。

【0172】

また、上記第１実施形態では、プログラムメモリ２２に分類プログラム３０、認識プログラム３１、第１取得プログラム３２、第２取得プログラム３４、及びタグ付けプログラム３５を含む各種プログラムが記憶されているが、本開示の技術はこれに限定されない。図２に示すストレージ４と同様に、ＳＳＤ又はＵＳＢ（Universal Serial Bus）メモリなどの任意の可搬型の記憶媒体に各種プログラムが記憶されていてもよい。この場合、一例として図２４に示すように、記憶媒体６０に記憶されている各種プログラムがストレージ４と同様に、画像内容判定装置２に接続されてインストールされる。ＣＰＵ１８は、インストールされた各種プログラムに従って、分類処理、第１認識処理、第１取得処理、第２認識処理、第２取得処理、及びタグ付け処理を実行する。

【0173】

また、ストレージ４と同様に、通信ネットワークＮ（図１参照）を介して画像内容判定装置２に接続される他のコンピュータ又はサーバ装置等の記憶部に各種プログラムを記憶させておき、画像内容判定装置２の要求に応じて各種プログラムが画像内容判定装置２にダウンロードされるようにしてもよい。この場合、ＣＰＵ１８は、ダウンロードされた各種プログラムに従って、分類処理、第１認識処理、第１取得処理、第２認識処理、第２取得処理、及びタグ付け処理を実行する。

【0174】

上記実施形態で説明した通り、本開示の画像内容判定装置は、以下の付記項の内容が追加されてもよい。
［付記項１］
第１画像は、第１人物の顔が含まれる写真領域と、写真領域の輪郭外の余白であって文字が配置されている文字領域とを含む文字領域有り画像を含んでいてもよく、第２画像は、第２人物の顔が含まれる写真領域のみの文字領域無し画像であってもよい。
［付記項２］
第１画像は、挨拶状及び身分証明書のうちの少なくとも１つを表す画像であってもよい。
［付記項３］
第１画像は、第１人物の顔が含まれる写真領域のみの文字領域無し画像であって、かつ、写真領域に、文字として予め登録された特定ワードが写り込んでいる文字写り込み画像を含んでいてもよい。
［付記項４］
第１画像は、文字として予め登録された特定ワードを含んでいてもよい。
［付記項５］
プロセッサは、複数の画像を、第１画像と第２画像とに分類する分類処理を実行してもよい。
［付記項６］
第１人物関連情報は、第２画像と同じ保有者の第１画像から取得されてもよい。
［付記項７］
第１人物関連情報は、第１人物の氏名、住所、電話番号、年齢、生年月日、及び趣味のうちの少なくとも１つを含んでいてもよい。
［付記項８］
第１取得処理及び第２取得処理のうちの少なくとも一方において、プロセッサは、第１画像又は第２画像に付帯する付帯情報を利用してもよい。
［付記項９］
第２取得処理において、プロセッサは、第２画像に基づいて第２人物関連情報を導出し、第１人物関連情報に基づいて、導出した第２人物関連情報の妥当性を判定してもよい。
［付記項１０］
第２人物関連情報は、第２人物が関わるイベント、及び第２人物の推定年齢のうちの少なくとも１つであってもよい。
［付記項１１］
第１画像に第１人物の顔が複数含まれている場合において第１人物関連情報は複数の第１人物の関係を示す情報を含んでいてもよく、及び／又は第２画像に第２人物の顔が複数含まれている場合において第２人物関連情報は複数の第２人物の関係を示す情報を含んでいてもよい。
［付記項１２］
複数の第１人物の関係を示す情報又は複数の第２人物の関係を示す情報は、家族関係、親族関係、及び友人関係のうちの少なくとも１つを含んでいてもよい。
［付記項１３］
プロセッサは、第２取得処理において、複数の第１画像に対応する第１人物関連情報を、第２人物関連情報の取得に利用してもよい。

【0175】

本開示の技術は、上述の種々の実施形態および／または種々の変形例を適宜組み合わせることも可能である。また、上記実施形態に限らず、要旨を逸脱しない限り種々の構成を採用し得ることはもちろんである。さらに、本開示の技術は、プログラムに加えて、プログラムを非一時的に記憶する記憶媒体にもおよぶ。

【0176】

以上に示した記載内容および図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、および効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、および効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容および図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことはいうまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容および図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。

【0177】

本明細書において、「Ａおよび／またはＢ」は、「ＡおよびＢのうちの少なくとも１つ」と同義である。つまり、「Ａおよび／またはＢ」は、Ａだけであってもよいし、Ｂだけであってもよいし、ＡおよびＢの組み合わせであってもよい、という意味である。また、本明細書において、３つ以上の事柄を「および／または」で結び付けて表現する場合も、「Ａおよび／またはＢ」と同様の考え方が適用される。

【0178】

２０２０年３月２７日に出願されたに日本国特許出願２０２０－０５８６１７号の開示はその全体が参照により本明細書に取り込まれる。また、本明細書に記載された全ての文献、特許出願および技術規格は、個々の文献、特許出願および技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】