ホーム > 特許ランキング > 富士フイルム株式会社
特開2022-170739画像解析装置、画像解析方法、コンピュータプログラム、及び記録媒体
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022170739
(43)【公開日】2022-11-10
(54)【発明の名称】画像解析装置、画像解析方法、コンピュータプログラム、及び記録媒体
(51)【国際特許分類】
G06Q 50/10 20120101AFI20221102BHJP
G06T 7/00 20170101ALI20221102BHJP
【ＦＩ】
G06Q50/10
G06T7/00 660Z
【審査請求】有
【請求項の数】13
【出願形態】ＯＬ
(21)【出願番号】P 2022116297
(22)【出願日】2022-07-21
(62)【分割の表示】P 2019132398の分割
【原出願日】2019-07-18
(71)【出願人】
【識別番号】306037311
【氏名又は名称】富士フイルム株式会社
(74)【代理人】
【識別番号】100152984
【弁理士】
【氏名又は名称】伊東 秀明
(74)【代理人】
【識別番号】100148080
【弁理士】
【氏名又は名称】三橋 史生
(72)【発明者】
【氏名】田中 伸也
(72)【発明者】
【氏名】園田 慎一郎
(72)【発明者】
【氏名】吉澤 宏俊
(72)【発明者】
【氏名】松本 徹也
(72)【発明者】
【氏名】山路 啓
(57)【要約】
【課題】解析対象画像に写っている人物間の親密度について、解析対象画像が増えた場合にも適切に評価することが可能な画像解析装置、画像解析方法、プログラム及び記録媒体を提供する。
【解決手段】画像提供者から提供された画像を記憶するステップと、一人の画像提供者から提供されて画像記憶部に記憶された画像を解析対象画像として解析するステップと、を有し、解析対象画像を解析するステップでは、解析対象画像のうち、第１人物が写った第１画像の数Ｎ１、第２人物が写った第２画像の数Ｎ２、並びに、第１人物及び第２人物が一緒に写った共起画像の数Ｎｘをそれぞれ特定し、Ｎｘ個の解析対象画像が共起画像となる事象の起こり難さについての有意確率を、第１画像の数Ｎ１、第２画像の数Ｎ２及び共起画像の数Ｎｘに基づいて算出し、算出した有意確率を用いて、第１人物及び第２人物の間の親密度を評価する。
【選択図】図４
【解決手段】画像提供者から提供された画像を記憶するステップと、一人の画像提供者から提供されて画像記憶部に記憶された画像を解析対象画像として解析するステップと、を有し、解析対象画像を解析するステップでは、解析対象画像のうち、第１人物が写った第１画像の数Ｎ１、第２人物が写った第２画像の数Ｎ２、並びに、第１人物及び第２人物が一緒に写った共起画像の数Ｎｘをそれぞれ特定し、Ｎｘ個の解析対象画像が共起画像となる事象の起こり難さについての有意確率を、第１画像の数Ｎ１、第２画像の数Ｎ２及び共起画像の数Ｎｘに基づいて算出し、算出した有意確率を用いて、第１人物及び第２人物の間の親密度を評価する。
【選択図】図４
【特許請求の範囲】
【請求項1】
画像提供者から提供された画像を記憶する画像記憶部と、
一人の前記画像提供者から提供されて前記画像記憶部に記憶された画像を解析対象画像として解析する画像解析部と、を有し、
前記画像解析部は、
前記解析対象画像のうち、第１人物が写った第１画像の数Ｎ１、第２人物が写った第２画像の数Ｎ２、並びに、前記第１人物及び前記第２人物が一緒に写った共起画像の数Ｎｘをそれぞれ特定し、
Ｎｘ個の前記解析対象画像が前記共起画像となる事象の起こり難さについての有意確率を、前記第１画像の数Ｎ１、前記第２画像の数Ｎ２及び前記共起画像の数Ｎｘに基づいて算出し、
前記有意確率を用いて、前記第１人物及び前記第２人物の間の親密度を評価することを特徴とする画像解析装置。
一人の前記画像提供者から提供されて前記画像記憶部に記憶された画像を解析対象画像として解析する画像解析部と、を有し、
前記画像解析部は、
前記解析対象画像のうち、第１人物が写った第１画像の数Ｎ１、第２人物が写った第２画像の数Ｎ２、並びに、前記第１人物及び前記第２人物が一緒に写った共起画像の数Ｎｘをそれぞれ特定し、
Ｎｘ個の前記解析対象画像が前記共起画像となる事象の起こり難さについての有意確率を、前記第１画像の数Ｎ１、前記第２画像の数Ｎ２及び前記共起画像の数Ｎｘに基づいて算出し、
前記有意確率を用いて、前記第１人物及び前記第２人物の間の親密度を評価することを特徴とする画像解析装置。
【請求項2】
前記画像解析部は、前記解析対象画像の数Ｎａと、前記解析対象画像のうち、前記第１人物及び前記第２人物の双方が写っていない第３画像の数Ｎ３と、をさらに特定し、前記解析対象画像の数Ｎａ、前記第１画像の数Ｎ１、前記第２画像の数Ｎ２、前記第３画像の数Ｎ３、及び前記共起画像の数Ｎｘを用いて、Ｆｉｓｈｅｒの正確確率検定に用いられるｐ値を前記有意確率として算出する、請求項１に記載の画像解析装置。
【請求項3】
前記画像解析部は、前記共起画像の数Ｎｘをａとし、前記第１画像の数Ｎ１と前記共起画像の数Ｎｘとの差をｂとし、前記第２画像の数Ｎ２と前記共起画像の数Ｎｘとの差をｃとし、前記第３画像の数Ｎ３をｄとし、前記解析対象画像の数Ｎａをｎとして下記の式（１）に示すｐを求め、求めたｐから前記ｐ値を算出する請求項２に記載の画像解析装置。
ｐ＝｛（ａ＋ｂ）！（ｃ＋ｄ）！（ａ＋ｃ）！（ｂ＋ｄ）！｝
／｛ａ！ｂ！ｃ！ｄ！ｎ！｝ 式（１）
ｐ＝｛（ａ＋ｂ）！（ｃ＋ｄ）！（ａ＋ｃ）！（ｂ＋ｄ）！｝
／｛ａ！ｂ！ｃ！ｄ！ｎ！｝ 式（１）
【請求項4】
前記画像解析部は、前記解析対象画像の数Ｎａを特定し、前記解析対象画像の数Ｎａに対する前記第１画像の数Ｎ１の比率Ｎ１／Ｎａと、前記解析対象画像の数Ｎａに対する前記第２画像の数Ｎ２の比率Ｎ２／Ｎａとを掛け合わせて標準共起確率Ｐｓを求め、前記解析対象画像の数Ｎａ、前記共起画像の数Ｎｘ及び前記標準共起確率Ｐｓを用いて、二項検定に用いられるｐ値を前記有意確率として算出する、請求項１に記載の画像解析装置。
【請求項5】
前記画像解析部は、少なくとも人物が写った前記解析対象画像の総数を、前記解析対象画像の数Ｎａとして特定する、請求項２乃至４のいずれか一項に記載の画像解析装置。
【請求項6】
前記画像解析部は、前記第１人物にとっての前記第２人物との親密度、及び前記第２人物にとっての前記第１人物との親密度をそれぞれ評価するために、二項検定に用いられるｐ値を、前記有意確率として、前記第１人物及び前記第２人物の各々について算出する、請求項１に記載の画像解析装置。
【請求項7】
前記画像解析部は、
前記解析対象画像の数Ｎａを特定し、
Ｎａ個の前記解析対象画像に写っている人物の数ｍを特定し、
Ｎａ個の前記解析対象画像中、対象人物が他の人物と一緒に写った特定画像の比率を、前記他の人物毎に求め、
前記他の人物毎に求めた前記比率の総和を、前記他の人物の数（ｍ－１）で除することで、前記対象人物についての人物別共起確率を算出し、
Ｎａ個の前記解析対象画像に写っている人物の各人を前記対象人物として、前記各人についての前記人物別共起確率を繰り返し算出し、
前記各人について算出した前記人物別共起確率の総和を、Ｎａ個の前記解析対象画像に写っている人物の数ｍで除することで、全体共起確率Ｐｗを算出し、
前記全体共起確率Ｐｗを用いて、前記第１人物及び前記第２人物の各々について前記ｐ値を算出する、請求項６に記載の画像解析装置。
前記解析対象画像の数Ｎａを特定し、
Ｎａ個の前記解析対象画像に写っている人物の数ｍを特定し、
Ｎａ個の前記解析対象画像中、対象人物が他の人物と一緒に写った特定画像の比率を、前記他の人物毎に求め、
前記他の人物毎に求めた前記比率の総和を、前記他の人物の数（ｍ－１）で除することで、前記対象人物についての人物別共起確率を算出し、
Ｎａ個の前記解析対象画像に写っている人物の各人を前記対象人物として、前記各人についての前記人物別共起確率を繰り返し算出し、
前記各人について算出した前記人物別共起確率の総和を、Ｎａ個の前記解析対象画像に写っている人物の数ｍで除することで、全体共起確率Ｐｗを算出し、
前記全体共起確率Ｐｗを用いて、前記第１人物及び前記第２人物の各々について前記ｐ値を算出する、請求項６に記載の画像解析装置。
【請求項8】
前記画像解析部は、
ランダムに選ばれた１個の前記第１画像が前記共起画像である確率が前記全体共起確率Ｐｗになるという仮定の下で、Ｎ１個の前記第１画像のうち、Ｎｘ個の前記第１画像が前記共起画像となる確率を、前記第１人物についての前記ｐ値として算出し、
ランダムに選ばれた１個の前記第２画像が前記共起画像である確率が前記全体共起確率Ｐｗになるという仮定の下で、Ｎ２個の前記第２画像のうち、Ｎｘ個の前記第２画像が前記共起画像となる確率を、前記第２人物についての前記ｐ値として算出する、請求項７に記載の画像解析装置。
ランダムに選ばれた１個の前記第１画像が前記共起画像である確率が前記全体共起確率Ｐｗになるという仮定の下で、Ｎ１個の前記第１画像のうち、Ｎｘ個の前記第１画像が前記共起画像となる確率を、前記第１人物についての前記ｐ値として算出し、
ランダムに選ばれた１個の前記第２画像が前記共起画像である確率が前記全体共起確率Ｐｗになるという仮定の下で、Ｎ２個の前記第２画像のうち、Ｎｘ個の前記第２画像が前記共起画像となる確率を、前記第２人物についての前記ｐ値として算出する、請求項７に記載の画像解析装置。
【請求項9】
前記解析対象画像に写っている人物が３人以上存在する場合、前記画像解析部は、前記第１人物と前記第２人物との組み合わせを変えて、前記第１人物と前記第２人物との間の親密度を前記組み合わせ毎に評価する、請求項１乃至８のいずれか一項に記載の画像解析装置。
【請求項10】
前記画像提供者から提供される画像を、前記画像提供者の利用端末との通信を通じて取得する画像取得部を有し、
前記画像取得部が画像を取得する都度、前記画像記憶部は、前記画像取得部によって取得された画像を記憶する、請求項１乃至９のいずれか一項に記載の画像解析装置。
前記画像取得部が画像を取得する都度、前記画像記憶部は、前記画像取得部によって取得された画像を記憶する、請求項１乃至９のいずれか一項に記載の画像解析装置。
【請求項11】
前記画像解析部は、前記解析対象画像に写った人物を識別し、それぞれの前記解析対象画像における人物の識別結果に基づいて前記第１画像の数Ｎ１、前記第２画像の数Ｎ２、及び前記共起画像の数Ｎｘをそれぞれ特定する、請求項１乃至１０のいずれか一項に記載の画像解析装置。
【請求項12】
画像記憶部が、画像提供者から提供された画像を記憶するステップと、
画像解析部が、一人の前記画像提供者から提供されて前記画像記憶部に記憶された画像を解析対象画像として解析するステップと、を有し、
前記画像解析部は、前記解析対象画像を解析するステップにおいて、
前記解析対象画像のうち、第１人物が写った第１画像の数Ｎ１、第２人物が写った第２画像の数Ｎ２、並びに、前記第１人物及び前記第２人物が一緒に写った共起画像の数Ｎｘをそれぞれ特定し、
Ｎｘ個の前記解析対象画像が前記共起画像となる事象の起こり難さについての有意確率を、前記第１画像の数Ｎ１、前記第２画像の数Ｎ２及び前記共起画像の数Ｎｘに基づいて算出し、
前記有意確率を用いて、前記第１人物及び前記第２人物の間の親密度を評価することを特徴とする画像解析方法。
画像解析部が、一人の前記画像提供者から提供されて前記画像記憶部に記憶された画像を解析対象画像として解析するステップと、を有し、
前記画像解析部は、前記解析対象画像を解析するステップにおいて、
前記解析対象画像のうち、第１人物が写った第１画像の数Ｎ１、第２人物が写った第２画像の数Ｎ２、並びに、前記第１人物及び前記第２人物が一緒に写った共起画像の数Ｎｘをそれぞれ特定し、
Ｎｘ個の前記解析対象画像が前記共起画像となる事象の起こり難さについての有意確率を、前記第１画像の数Ｎ１、前記第２画像の数Ｎ２及び前記共起画像の数Ｎｘに基づいて算出し、
前記有意確率を用いて、前記第１人物及び前記第２人物の間の親密度を評価することを特徴とする画像解析方法。
【請求項13】
請求項１２に記載の画像解析方法の各々のステップをコンピュータに実行させるためのプログラム。
【請求項14】
請求項１２に記載にした画像解析方法の各々のステップをコンピュータに実行させるためのプログラムが記録された、コンピュータによって読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像解析装置及び画像解析方法に係り、特に、画像提供者が提供した画像に写っている人物間の親密度を評価することが可能な画像解析装置及び画像解析方法に関する。
また、本発明は、コンピュータを上記の画像解析装置として機能させるためのコンピュータプログラム、及び、そのコンピュータプログラムを記録した記録媒体に関する。
また、本発明は、コンピュータを上記の画像解析装置として機能させるためのコンピュータプログラム、及び、そのコンピュータプログラムを記録した記録媒体に関する。
【背景技術】
【0002】
現在では、通信技術の発展により、画像の提供及びユーザ間の共有が頻繁に行われ、各ユーザは、自分が撮影した画像を個人用端末、例えばパソコン、スマートフォン若しくはタブレット端末等にて保管する代わりに、サーバコンピュータ等の外部装置にアップロードして保管させておくことができる。
【0003】
画像を保管するコンピュータの中には、保管中の画像を対象として所定の解析処理を実行するものが存在する。このような画像解析装置の一例としては、画像に写っている人物を識別し、識別した人物が複数いる場合には人物間の親密度を評価するものが挙げられる（例えば、特許文献１及び２参照）。
【0004】
特許文献１に記載の装置（具体的には、パソコン及びサーバ等の電子機器）は、画像提供者から取得した画像を解析し、画像に含まれる人物間の親密度を示す人物関係深度情報を作成することができる。特許文献１において、ある人物と他の人物との親密度は、これら２人の人物が共に写った画像（以下、共起画像とも言う）の数が多いほど高く設定される。
【0005】
特許文献２に記載の装置（具体的には、画像分類装置）は、例えば電子カメラからなり、画像提供者から取得した画像を記憶するものではないが、入力画像に写った人物の顔を識別し、入力画像に写った人物の間の相関値を設定することができる。相関値は、入力画像に写った人物の間の親しさの度合いを表し、一つの画像に一緒に写っている頻度が高くなるほど（換言すると、共起画像の数が多くなるほど）大きくなる。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開２０１３－８１８２号公報
【特許文献2】特開２００８－７１１１２号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかし、特許文献１及び２に記載の技術では、画像提供者から取得した画像の数が時間の経過に伴って増えると、共起画像の数も併せて増える場合がある。例えば、実際には然程親しくない２人の人物Ａ、Ｂの画像が時間の経過とともに増えていくと、その２人の人物Ａ、Ｂが一緒に写っている画像（共起画像）が連動して増えることがある。この場合、共起画像の数が所定数以上に増えると、実際には親しくない間柄であるにも関わらず、人物Ａ、Ｂの間の親密度が高いと誤って判断してしまう虞がある。
【0008】
上記の問題への対応策としては、人物Ａ、Ｂの双方が一緒に写っている共起画像の数をＮｘとし、人物Ａ、Ｂのうちの少なくとも一方が写っている画像の数をＮｙとして、下記の式（ｆ１）に代入して親密度Ａｆｆｉｎｉｔｙ（Ａ，Ｂ）を算出することが考えられる。
Ａｆｆｉｎｉｔｙ（Ａ，Ｂ）＝Ｎｘ／Ｎｙ 式（ｆ１）
上記の式にて算出される値は、Ｔａｎｉｍｏｔｏ係数若しくはＪａｃｃａｒｄ係数と呼ばれ、その値を親密度として採用すれば、単純に共起画像の数のみから親密度を求める場合よりも妥当な親密度が得られる。
Ａｆｆｉｎｉｔｙ（Ａ，Ｂ）＝Ｎｘ／Ｎｙ 式（ｆ１）
上記の式にて算出される値は、Ｔａｎｉｍｏｔｏ係数若しくはＪａｃｃａｒｄ係数と呼ばれ、その値を親密度として採用すれば、単純に共起画像の数のみから親密度を求める場合よりも妥当な親密度が得られる。
【0009】
しかしながら、Ｔａｎｉｍｏｔｏ係数を親密度として算出する場合、上記２種類の画像数Ｎｘ、Ｎｙの割合のみによって算出されるので、特にＮｙが小さい場合には、少数の特異なデータが発生する確率が高まり、その算出結果が妥当性を欠く虞がある。
【0010】
上記の不具合について具体例を挙げて説明すると、極端なケースではあるが、１０００個の解析対象画像のうち、人物Ａ、Ｂが写っている画像の数が１個のみであり、その画像に人物Ａ、Ｂが偶然一緒に写っている場合、Ｎｘ＝Ｎｙ＝１となるので、上記の式（ｆ１）から算出される親密度Ａｆｆｉｎｉｔｙ（Ａ，Ｂ）は、最大値である１となる。かかるケースをＣ１とする。
他方、極端なケースではあるが、１００個の解析対象画像のすべてが共起画像であって各画像に人物Ａ、Ｂの双方が一緒に写っている場合には、Ｎｘ＝Ｎｙ＝１００となるので、この場合にも親密度Ａｆｆｉｎｉｔｙ（Ａ，Ｂ）が１となる。かかるケースをＣ２とする。
他方、極端なケースではあるが、１００個の解析対象画像のすべてが共起画像であって各画像に人物Ａ、Ｂの双方が一緒に写っている場合には、Ｎｘ＝Ｎｙ＝１００となるので、この場合にも親密度Ａｆｆｉｎｉｔｙ（Ａ，Ｂ）が１となる。かかるケースをＣ２とする。
【0011】
ケースＣ２は、１００個の解析対象画像のすべてが共起画像であり、偶然に起こり得るとは考え難いはずであるのに、上記の通り、ケースＣ１、Ｃ２の間で親密度が同一値となってしまう。つまり、人物Ａ、Ｂの間の親密度の算出結果に関しては、本来、ケースＣ１とケースＣ２との間で相違するはずであるのに、上記の式（ｆ１）を用いると同一の親密度となり、妥当な算出結果が得られない虞がある。
【0012】
本発明は、上記の事情に鑑みてなされたものであり、以下に示す目的を解決することを課題とする。
本発明は、上記従来技術の問題点を解決し、解析対象画像に写っている人物間の親密度について、時間経過等に伴って解析対象画像が増えた場合にも適切に評価することが可能な画像解析装置及び画像解析方法を提供することを目的とする。
また、本発明は、コンピュータに実行させることで上記の画像解析方法を実現させるためのコンピュータプログラム、及び、コンピュータプログラムを記録した記録媒体を提供することをも目的とする。
本発明は、上記従来技術の問題点を解決し、解析対象画像に写っている人物間の親密度について、時間経過等に伴って解析対象画像が増えた場合にも適切に評価することが可能な画像解析装置及び画像解析方法を提供することを目的とする。
また、本発明は、コンピュータに実行させることで上記の画像解析方法を実現させるためのコンピュータプログラム、及び、コンピュータプログラムを記録した記録媒体を提供することをも目的とする。
【課題を解決するための手段】
【0013】
上記の目的を達成するために、本発明の画像解析装置は、画像提供者から提供された画像を記憶する画像記憶部と、一人の画像提供者から提供されて画像記憶部に記憶された画像を解析対象画像として解析する画像解析部と、を有し、画像解析部は、解析対象画像のうち、第１人物が写った第１画像の数Ｎ１、第２人物が写った第２画像の数Ｎ２、並びに、第１人物及び第２人物が一緒に写った共起画像の数Ｎｘをそれぞれ特定し、Ｎｘ個の解析対象画像が共起画像となる事象の起こり難さについての有意確率を、第１画像の数Ｎ１、第２画像の数Ｎ２及び共起画像の数Ｎｘに基づいて算出し、有意確率を用いて、第１人物及び第２人物の間の親密度を評価することを特徴とする。
【0014】
上記のように構成された本発明の画像解析装置によれば、解析対象画像のうち、第１画像、第２画像及び共起画像の各々の数を特定し、特定した各画像の数に基づいて、Ｎｘ個の解析対象画像が共起画像となる事象の起こり難さについて、上側及び下側の両方での仮説検定を行って有意確率を算出する。有意確率は、解析対象画像の数の変化（増加）に応じて変わり得るので、有意確率を用いることで、解析対象画像の数が増えた場合にも、第１人物及び第２人物の間の親密度を適切に評価することが可能となる。
【0015】
また、上記の画像解析装置において、画像解析部は、解析対象画像の数Ｎａと、解析対象画像のうち、第１人物及び第２人物の双方が写っていない第３画像の数Ｎ３と、をさらに特定し、解析対象画像の数Ｎａ、第１画像の数Ｎ１、第２画像の数Ｎ２、第３画像の数Ｎ３、及び共起画像の数Ｎｘを用いて、Ｆｉｓｈｅｒの正確確率検定に用いられるｐ値を有意確率として算出してもよい。
より具体的には、画像解析部は、共起画像の数Ｎｘをａとし、第１画像の数Ｎ１と共起画像の数Ｎｘとの差をｂとし、第２画像の数Ｎ２と共起画像の数Ｎｘとの差をｃとし、第３画像の数Ｎ３をｄとし、解析対象画像の数Ｎａをｎとして下記の式（１）に示すｐを求め、求めたｐからｐ値を算出するとよい。
ｐ＝｛（ａ＋ｂ）！（ｃ＋ｄ）！（ａ＋ｃ）！（ｂ＋ｄ）！｝
／｛ａ！ｂ！ｃ！ｄ！ｎ！｝ 式（１）
上記の要領で算出されるｐ値を用いることで、第１人物と第２人物との間の親密度を、解析対象画像の数を踏まえて適切に評価することが可能となる。
より具体的には、画像解析部は、共起画像の数Ｎｘをａとし、第１画像の数Ｎ１と共起画像の数Ｎｘとの差をｂとし、第２画像の数Ｎ２と共起画像の数Ｎｘとの差をｃとし、第３画像の数Ｎ３をｄとし、解析対象画像の数Ｎａをｎとして下記の式（１）に示すｐを求め、求めたｐからｐ値を算出するとよい。
ｐ＝｛（ａ＋ｂ）！（ｃ＋ｄ）！（ａ＋ｃ）！（ｂ＋ｄ）！｝
／｛ａ！ｂ！ｃ！ｄ！ｎ！｝ 式（１）
上記の要領で算出されるｐ値を用いることで、第１人物と第２人物との間の親密度を、解析対象画像の数を踏まえて適切に評価することが可能となる。
【0016】
また、上記の画像解析装置において、画像解析部は、解析対象画像の数Ｎａを特定し、解析対象画像の数Ｎａに対する第１画像の数Ｎ１の比率Ｎ１／Ｎａと、解析対象画像の数Ｎａに対する第２画像の数Ｎ２の比率Ｎ２／Ｎａとを掛け合わせて標準共起確率Ｐｓを求め、解析対象画像の数Ｎａ、共起画像の数Ｎｘ及び標準共起確率Ｐｓを用いて、二項検定に用いられるｐ値を有意確率として算出してもよい。
上記の要領で算出されるp値は、前述したＦｉｓｈｅｒの正確確率検定に用いられるｐ値と同様、解析対象画像の数を反映した値となるので、そのｐ値を用いることで、第１人物と第２人物との間の親密度を適切に評価することが可能となる。
上記の要領で算出されるp値は、前述したＦｉｓｈｅｒの正確確率検定に用いられるｐ値と同様、解析対象画像の数を反映した値となるので、そのｐ値を用いることで、第１人物と第２人物との間の親密度を適切に評価することが可能となる。
【0017】
また、上記の画像解析装置において、画像解析部は、少なくとも人物が写った解析対象画像の総数を、解析対象画像の数Ｎａとして特定するとよい。
上記の構成であれば、風景写真の撮影回数が多くなる等の撮影者の撮影傾向によらず、人物が写っていない画像が解析対象画像から外れるので、解析対象画像の数を踏まえて有意確率を算出すると、人物が写っていない画像を解析対象画像に含める場合と比べて、より妥当な算出結果を得ることが可能である。
上記の構成であれば、風景写真の撮影回数が多くなる等の撮影者の撮影傾向によらず、人物が写っていない画像が解析対象画像から外れるので、解析対象画像の数を踏まえて有意確率を算出すると、人物が写っていない画像を解析対象画像に含める場合と比べて、より妥当な算出結果を得ることが可能である。
【0018】
また、上記の画像解析装置において、画像解析部は、第１人物にとっての第２人物との親密度、及び第２人物にとっての第１人物との親密度をそれぞれ評価するために、二項検定に用いられるｐ値を、有意確率として、第１人物及び第２人物の各々について算出してもよい。
上記の場合、画像解析部は、解析対象画像の数Ｎａを特定し、Ｎａ個の解析対象画像に写っている人物の数ｍを特定し、Ｎａ個の解析対象画像中、対象人物が他の人物と一緒に写った特定画像の比率を、他の人物毎に求め、他の人物毎に求めた比率の総和を、他の人物の数（ｍ－１）で除することで、対象人物についての人物別共起確率を算出し、Ｎａ個の解析対象画像に写っている人物の各人を対象人物として、各人についての人物別共起確率を繰り返し算出し、各人について算出した人物別共起確率の総和を、Ｎａ個の解析対象画像に写っている人物の数ｍで除することで、全体共起確率Ｐｗを算出し、全体共起確率Ｐｗを用いて、第１人物及び第２人物の各々についてｐ値を算出するとよい。
より詳しく説明すると、画像解析部は、ランダムに選ばれた１個の第１画像が共起画像である確率が全体共起確率Ｐｗになるという仮定の下で、Ｎ１個の第１画像のうち、Ｎｘ個の第１画像が共起画像となる確率を、第１人物についてのｐ値として算出し、ランダムに選ばれた１個の第２画像が共起画像である確率が全体共起確率Ｐｗになるという仮定の下で、Ｎ２個の第２画像のうち、Ｎｘ個の第２画像が共起画像となる確率を、第２人物についてのｐ値として算出するとよい。
以上の構成であれば、解析対象画像のうち、第１人物が写った第１画像の数と第２人物が写った第２画像の数とが大きく異なる場合に、第１人物及び第２人物の各々について算出したp値を用いて、各人物にとっての親密度を適切に評価することができる。
上記の場合、画像解析部は、解析対象画像の数Ｎａを特定し、Ｎａ個の解析対象画像に写っている人物の数ｍを特定し、Ｎａ個の解析対象画像中、対象人物が他の人物と一緒に写った特定画像の比率を、他の人物毎に求め、他の人物毎に求めた比率の総和を、他の人物の数（ｍ－１）で除することで、対象人物についての人物別共起確率を算出し、Ｎａ個の解析対象画像に写っている人物の各人を対象人物として、各人についての人物別共起確率を繰り返し算出し、各人について算出した人物別共起確率の総和を、Ｎａ個の解析対象画像に写っている人物の数ｍで除することで、全体共起確率Ｐｗを算出し、全体共起確率Ｐｗを用いて、第１人物及び第２人物の各々についてｐ値を算出するとよい。
より詳しく説明すると、画像解析部は、ランダムに選ばれた１個の第１画像が共起画像である確率が全体共起確率Ｐｗになるという仮定の下で、Ｎ１個の第１画像のうち、Ｎｘ個の第１画像が共起画像となる確率を、第１人物についてのｐ値として算出し、ランダムに選ばれた１個の第２画像が共起画像である確率が全体共起確率Ｐｗになるという仮定の下で、Ｎ２個の第２画像のうち、Ｎｘ個の第２画像が共起画像となる確率を、第２人物についてのｐ値として算出するとよい。
以上の構成であれば、解析対象画像のうち、第１人物が写った第１画像の数と第２人物が写った第２画像の数とが大きく異なる場合に、第１人物及び第２人物の各々について算出したp値を用いて、各人物にとっての親密度を適切に評価することができる。
【0019】
また、上記の画像解析装置において、解析対象画像に写っている人物が３人以上存在する場合、画像解析部は、第１人物と第２人物との組み合わせを変えて、第１人物と第２人物との間の親密度を組み合わせ毎に評価してもよい。
上記の構成であれば、解析対象画像に写っている３人以上の人物について、各人物間の親密度を評価することが可能となる。
上記の構成であれば、解析対象画像に写っている３人以上の人物について、各人物間の親密度を評価することが可能となる。
【0020】
また、上記の画像解析装置において、画像提供者から提供される画像を、画像提供者の利用端末との通信を通じて取得する画像取得部を有し、画像取得部が画像を取得する都度、画像記憶部は、画像取得部によって取得された画像を記憶するとよい。
上記の構成であれば、画像記憶部に記憶される画像が増加していくので、それに伴って、解析対象画像の数も変化する（増加する)場合がある。この場合には、解析対象画像の数が変化した場合にも親密度を適切に評価するという本発明の効果がより有意義なものとなる。
上記の構成であれば、画像記憶部に記憶される画像が増加していくので、それに伴って、解析対象画像の数も変化する（増加する)場合がある。この場合には、解析対象画像の数が変化した場合にも親密度を適切に評価するという本発明の効果がより有意義なものとなる。
【0021】
また、上記の画像解析装置において、画像解析部は、解析対象画像に写った人物を識別し、それぞれの解析対象画像における人物の識別結果に基づいて第１画像の数Ｎ１、第２画像の数Ｎ２、及び共起画像の数Ｎｘをそれぞれ特定するとよい。
上記の構成であれば、解析対象画像に写った人物の識別結果に基づいて各画像の数を適切に特定することが可能となる。
上記の構成であれば、解析対象画像に写った人物の識別結果に基づいて各画像の数を適切に特定することが可能となる。
【0022】
また、前述の目的を達成するために、本発明は、画像記憶部が、画像提供者から提供された画像を記憶するステップと、画像解析部が、一人の画像提供者から提供されて画像記憶部に記憶された画像を解析対象画像として解析するステップと、を有し、画像解析部は、解析対象画像を解析するステップにおいて、解析対象画像のうち、第１人物が写った第１画像の数Ｎ１、第２人物が写った第２画像の数Ｎ２、並びに、第１人物及び第２人物が一緒に写った共起画像の数Ｎｘをそれぞれ特定し、Ｎｘ個の解析対象画像が共起画像となる事象の起こり難さについての有意確率を、第１画像の数Ｎ１、第２画像の数Ｎ２及び共起画像の数Ｎｘに基づいて算出し、有意確率を用いて、第１人物及び第２人物の間の親密度を評価することを特徴とする画像解析方法を提供する。
【0023】
また、本発明は、上記に記載の画像解析方法の各々のステップをコンピュータに実行させるためのプログラムを提供する。
さらに、本発明は、上記に記載の画像解析方法の各々のステップをコンピュータに実行させるためのプログラムが記録された、コンピュータによって読み取り可能な記録媒体を提供する。
さらに、本発明は、上記に記載の画像解析方法の各々のステップをコンピュータに実行させるためのプログラムが記録された、コンピュータによって読み取り可能な記録媒体を提供する。
【0024】
また、本発明は、記憶装置及びプロセッサを備える画像解析装置であって、記憶装置が画像提供者から提供された画像を記憶し、プロセッサが、一人の画像提供者から提供されて記憶装置に記憶された画像を解析対象画像として解析する画像解析部として機能し、画像解析部としてのプロセッサは、解析対象画像のうち、第１人物が写った第１画像の数Ｎ１、第２人物が写った第２画像の数Ｎ２、並びに、第１人物及び第２人物が一緒に写った共起画像の数Ｎｘをそれぞれ特定し、Ｎｘ個の解析対象画像が共起画像となる事象の起こり難さについての有意確率を、第１画像の数Ｎ１、第２画像の数Ｎ２及び共起画像の数Ｎｘに基づいて算出し、有意確率を用いて、第１人物及び第２人物の間の親密度を評価するように構成された画像解析装置を提供する。
【発明の効果】
【0025】
本発明によれば、一人の画像提供者から提供されて画像記憶部に記憶された画像を解析対象画像とし、解析対象画像の数が変化しても、解析対象画像に写った人物間の親密度を適切に評価することができる画像解析装置及び画像解析方法が実現される。
また、本発明によれば、上記の画像解析方法をコンピュータに実行させるためのプログラム、及び、そのプログラムを記録した記録媒体を提供することが可能となる。
また、本発明によれば、上記の画像解析方法をコンピュータに実行させるためのプログラム、及び、そのプログラムを記録した記録媒体を提供することが可能となる。
【図面の簡単な説明】
【0026】
【図1】本発明の画像解析装置を含む画像解析システムの構成例を示すブロック図である。
【図2】本発明の一実施形態に係る画像解析装置が有する機能の説明図である。
【図3】本発明の画像解析方法の手順を示すフロー図である。
【図4】画像解析処理の流れを示す図である。
【図5】解析対象画像の一例を示す図である。
【図6】各解析対象画像と画像中に写った人物との対応関係を示す図である。
【図7】各画像数の特定結果の第１例を示す図である。
【図8】統計言語Ｒにて記述された、ｐ値の算出コードを示す図である。
【図9】各画像数の特定結果の第２例を示す図である。
【図10】各画像数の特定結果の第３例を示す図である。
【図11】変形例に係る画像解析処理の流れを示す図である。
【図12】各画像数の特定結果の第４例を示す図である。
【図13】各画像数の特定結果の第５例を示す図である。
【発明を実施するための形態】
【0027】
以下、本発明の画像解析装置、画像解析方法、プログラム及び記録媒体について、添付の図面に示す好適な実施形態（以下、本実施形態）に基づいて詳細に説明する。
【0028】
なお、以下に説明する実施形態は、本発明を分かり易く説明する目的で挙げた一例にすぎず、本発明を限定するものではない。すなわち、本発明は、以下に説明する実施形態に限られず、本発明の主旨を逸脱しない範囲において種々の改良又は変更され得る。また、当然ながら、本発明には、その等価物が含まれる。
【0029】
＜＜画像解析装置の概要＞＞
本実施形態に係る画像解析装置について、その概要を説明する。本実施形態に係る画像解析装置１０は、図１に示すサーバコンピュータ１２によって構成されている。サーバコンピュータ１２は、本発明のコンピュータに該当し、図１に示すように、ネットワーク１４を介して１台以上の利用端末１６（クライアント）と通信可能に接続されており、各利用端末１６とともに画像解析システム１００を構築している。図１は、本実施形態に係る画像解析装置１０を含む画像解析システム１００を示すブロック図である。なお、図１では、図示の便宜上、利用端末１６の台数を三台としているが、利用端末１６の台数は、任意の台数でよい。
本実施形態に係る画像解析装置について、その概要を説明する。本実施形態に係る画像解析装置１０は、図１に示すサーバコンピュータ１２によって構成されている。サーバコンピュータ１２は、本発明のコンピュータに該当し、図１に示すように、ネットワーク１４を介して１台以上の利用端末１６（クライアント）と通信可能に接続されており、各利用端末１６とともに画像解析システム１００を構築している。図１は、本実施形態に係る画像解析装置１０を含む画像解析システム１００を示すブロック図である。なお、図１では、図示の便宜上、利用端末１６の台数を三台としているが、利用端末１６の台数は、任意の台数でよい。
【0030】
サーバコンピュータ１２は、画像提供者から画像を取得する。画像提供者は、画像解析システム１０の利用ユーザであり、利用端末１６を通じて画像をサーバコンピュータ１２に提供（すなわち、アップロード）する。ここで、画像とは、画像データのことであり、具体的には、ＪＰＥＧ（Joint Photographic Experts Group）形式のような非可逆圧縮の画像データ、ＧＩＦ（Graphics Interchange Format）又はＰＮＧ（Portable Network Graphics）形式のような可逆圧縮の画像データ等が該当する。また、画像データは、静止画像のデータに限られず、動画像のデータを含んでもよい。
【0031】
また、サーバコンピュータ１２は、画像提供者から取得した画像を記憶してストックし、具体的には、サーバコンピュータ１２が有する記憶装置１８に、各画像提供者から取得した画像を画像提供者のアカウント別にストックする。また、サーバコンピュータ１２は、ストックされた画像を管理し、例えば、ある画像提供者から提供された画像を、決められた公開条件に則って公開する。
【0032】
さらに、サーバコンピュータ１２は、本発明の画像解析装置１０として機能し、ストックされた画像を解析することができる。具体的に説明すると、サーバコンピュータ１２は、画像中に写っている人物を識別し、識別した人物が２人いる場合には、人物間の親密度を統計的手法によって評価する。このようなサーバコンピュータ１２の画像解析サービスを利用することにより、各画像提供者は、自分が提供した画像に写っている人物の間の親密度を把握することできる。
【0033】
なお、画像が動画像である場合、サーバコンピュータ１２は、ＫＦＥ（Key Frame Extraction）技術を利用して、動画像から、シーンの変わり目などのキーとなるフレーム画像（静止画像）を抽出し、抽出されたフレーム画像を上記の要領で解析して、フレーム画像に写った人物間の親密度を評価してもよい。
【0034】
サーバコンピュータ１２の更なる機能としては、親密度の評価結果を利用して、親密度が評価された当事者のうちの一方（以下、第１人物と言う。）に関する情報を、もう一方の当事者（以下、第２人物と言う。）に通知することが挙げられる。具体的に説明すると、第1人物が写った画像から第１人物に関する情報、例えば趣味等に関する情報を抽出し、その情報を、第１人物との親密度が高いと評価された第２人物に提案（リコメンド）するという機能がサーバコンピュータ１２に備わってもよい。
【0035】
なお、本実施形態では、サーバコンピュータ１２が一台であるが、これに限定されず、複数のサーバコンピュータ１２が用いられてもよく、その場合には、複数のサーバコンピュータ１２が協働して本発明の画像解析装置１０を構成してもよい。
【0036】
利用端末１６は、画像提供者が利用する通信用の端末であり、前述したように、画像提供者は、例えば、自分が撮影した画像を、利用端末１６を通じてサーバコンピュータ１２に提供（アップロード）することができる。
なお、利用端末１６は、ＰＣ（Personal Computer）、タブレット端末、ＰＤＡ（Personal Data Assistant）、携帯電話及びスマートフォン等の携帯通信機器、並びに通信機能付きのデジタルカメラ等のいずれかによって構成されるが、以下では、利用端末１６がカメラ付きのスマートフォンである場合を例に挙げて説明することとする。
なお、利用端末１６は、ＰＣ（Personal Computer）、タブレット端末、ＰＤＡ（Personal Data Assistant）、携帯電話及びスマートフォン等の携帯通信機器、並びに通信機能付きのデジタルカメラ等のいずれかによって構成されるが、以下では、利用端末１６がカメラ付きのスマートフォンである場合を例に挙げて説明することとする。
【0037】
＜＜本実施形態に係る画像解析装置の構成について＞＞
次に、本実施形態に係る画像解析装置１０の構成について詳しく説明する。本実施形態に係る画像解析装置１０は、前述したように、一台のサーバコンピュータ１２によって構成されている。このサーバコンピュータ１２は、プロセッサ（具体的には、ＣＰＵ（Central Processing Unit））を備えており、プロセッサが画像解析用のプログラム（以下、画像解析プログラム）を読み取って各種のデータ処理を実施することにより、画像解析装置１０としての機能を発揮する。
次に、本実施形態に係る画像解析装置１０の構成について詳しく説明する。本実施形態に係る画像解析装置１０は、前述したように、一台のサーバコンピュータ１２によって構成されている。このサーバコンピュータ１２は、プロセッサ（具体的には、ＣＰＵ（Central Processing Unit））を備えており、プロセッサが画像解析用のプログラム（以下、画像解析プログラム）を読み取って各種のデータ処理を実施することにより、画像解析装置１０としての機能を発揮する。
【0038】
画像解析プログラムは、本発明のプログラムに相当し、サーバコンピュータ１２のメモリに記憶されている。メモリとしては、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（RANDOM Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）、若しくはＳＲＡＭ（Static Random Access Memory）等が利用可能であるが、これら以外の公知のメモリを利用してもよい。
【0039】
また、サーバコンピュータ１２は、内蔵式又は外付け形式の記憶装置１８（ストレージデバイス）を備えており、各利用端末１６から送られてくる画像を画像提供者別（厳密には、画像提供者のアカウント別）に記憶する。より詳しく説明すると、記憶装置１８は、画像提供者のアカウント別に設けられた画像記憶部２２を有しており、ある画像提供者から画像が提供されると、その画像は、その提供元である画像提供者のアカウントと対応する画像記憶部２２に記憶（格納）される。
【0040】
なお、記憶装置１８としては、例えば、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、ＳＤ（Secure Digital）メモリ等の記憶デバイスが利用可能であるが、これら以外の公知の記憶装置（外部記憶装置）を利用してもよい。また、複数のサーバコンピュータによって画像解析装置１０が構成される場合には、画像解析処理を実行するサーバコンピュータ以外のサーバコンピュータに設けられたＨＤＤ等の外部記憶装置を記憶装置１８として利用してもよい。
【0041】
【0042】
画像解析装置１０は、図２に示すように、主な処理部として、画像取得部２１、画像記憶部２２及び画像解析部２３を有する。これらの処理部のうち、画像記憶部２２は、サーバコンピュータ１２の記憶装置１８によって構成されており、画像取得部２１及び画像解析部２３は、サーバコンピュータ１２のハードウェア機器と、サーバコンピュータ１２に格納されたソフトウェアとしての画像解析プログラムとが協働することで実現される。
【0043】
各処理部について付言しておくと、本実施形態では、画像解析装置１０の各処理部（すなわち、画像取得部２１、画像記憶部２２、及び画像解析部２３）を構成するハードウェアが、プログラムを実行する汎用的なプロセッサ、より具体的には、サーバコンピュータ１２が備える１台又は２台以上のＣＰＵ（Central Processing Unit）であるが、これに限定されるものではなく、上記の処理部を構成する専用のハードウェアが用いられてもよい。あるいは、ＣＰＵ以外のプロセッサとして、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、及びＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理をさせるために専用に設計された回路構成を有するプロセッサである専用電気回路等が利用可能である。
また、一つの処理部を、上述した各種プロセッサのうちの一つで構成してもよいし、同種または異種の二つ以上のプロセッサの組み合わせ、例えば、複数のＦＰＧＡの組み合わせ、またはＦＰＧＡ及びＣＰＵの組み合わせ等によって構成してもよい。また、複数の処理部を、各種のプロセッサのうちの一つで構成してもよいし、複数の処理部のうちの二つ以上をまとめて一つのプロセッサを用いて構成してもよい。
また、システムオンチップ（System on Chip：ＳｏＣ）等に代表されるように、複数の処理部を含むシステム全体の機能を一つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。
さらに、上述した各種プロセッサのハードウェア構成は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（Circuitry）である。
また、一つの処理部を、上述した各種プロセッサのうちの一つで構成してもよいし、同種または異種の二つ以上のプロセッサの組み合わせ、例えば、複数のＦＰＧＡの組み合わせ、またはＦＰＧＡ及びＣＰＵの組み合わせ等によって構成してもよい。また、複数の処理部を、各種のプロセッサのうちの一つで構成してもよいし、複数の処理部のうちの二つ以上をまとめて一つのプロセッサを用いて構成してもよい。
また、システムオンチップ（System on Chip：ＳｏＣ）等に代表されるように、複数の処理部を含むシステム全体の機能を一つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。
さらに、上述した各種プロセッサのハードウェア構成は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（Circuitry）である。
【0044】
画像解析装置１０の各処理部について説明すると、画像取得部２１は、画像提供者から提供される画像を、その画像提供者の利用端末１６との通信を通じてネットワーク１４経由で取得する。
【0045】
画像記憶部２２は、画像提供者のアカウント別に設けられ、対応する画像提供者から提供された画像を記憶する。具体的に説明すると、一人の画像提供者から画像が提供されると、その都度、画像取得部２１が画像を取得し、上記の画像提供者のアカウントと対応する画像記憶部２２が、画像取得部２１によって取得された画像を記憶してストックする。
【0046】
画像解析部２３は、一人の画像提供者から提供されて画像記憶部２２に記憶された画像を解析対象画像として解析する。具体的に説明すると、ある画像提供者が過去に提供した画像に対して画像解析を要求した場合、画像解析部２３は、その要求を受け付け、要求を行った画像提供者のアカウントと対応する画像記憶部２２に記憶された画像を解析対象画像として解析する。
【0047】
本実施形態では、人物が写っている画像を解析対象画像としており、人物が写っていない画像（例えば、被写体が風景又は物のみである画像）は、解析対象画像から除かれる。
【0048】
画像解析部２３は、画像解析処理として、人物識別処理、画像数特定処理、及び親密度評価処理を実行する。人物識別処理は、解析対象画像に写った人物を識別する処理である。具体的な人物識別技術については、特に限定されないが、一例を挙げて説明すると、解析対象画像に写っている人物の顔を抽出し、抽出した顔の特徴量を算出し、算出した特徴量を、過去に登録された人物画像の特徴量と照合（パターンマッチング）する。照合の結果、特徴量が一定の精度で一致する場合には、解析対象画像に写った人物が登録済み人物と同一人であると判定する。反対に、特徴量が相違する場合には、顔の特徴量が算出された人物を新たに登録する。このような技術としては、例えば、Google社のGoogle Photo、Apple社のiphoto、Sony社のPicture Motion Browser、Adobe System社のAdobe Photoshop Lightroom等の画像管理ソフトウェアに搭載されている、同一人物が写った写真を抽出する技術と同様の技術を利用することができる。
【0049】
画像数特定処理は、解析対象画像の総数Ｎａを特定し、且つ、それぞれの解析対象画像における人物の識別結果に基づいて、解析対象画像のうち、所定の人物が写った画像の数を特定する処理である。具体的には、その後の親密度評価処理において親密度が評価される２人の人物を第１人物及び第２人物とし、解析対象画像のうち、第１人物が写った第１画像の数Ｎ１、第２人物が写った第２画像の数Ｎ２、並びに、第１人物及び第２人物が一緒に写った共起画像の数Ｎｘを特定する。本実施形態では、さらに、解析対象画像のうち、第１人物及び前記第２人物の双方が写っていない第３画像の数Ｎ３を特定する。
【0050】
親密度評価処理は、解析対象画像に写った人物の間の親密度、より具体的には第１人物及び第２人物の間の親密度を、画像数特定処理にて特定した各種類の画像の数に基づいて評価する処理である。親密度とは、人物同士の間の親しさの度合いであり、親族及び親友等の親しい間柄である場合には親密度が高くなる。
【0051】
また、解析対象画像に写っている人物が３人以上存在する場合、親密度評価処理では、各人物間の親密度をそれぞれ評価する。つまり、上記の場合、画像解析部２３は、第１人物と第２人物との組み合わせを変えて、第１人物と第２人物との間の親密度を組み合わせ毎に評価し、親密度の評価をすべての組み合わせに対して繰り返し行う。
【0052】
親密度評価処理において、画像解析部２３は、第１人物と第２人物との間の親密度を評価するにあたり、Ｎａ個の解析対象画像のうち、Ｎｘ個の解析対象画像が共起画像となる事象（以下、共起事象と言う。）の起こり難さについての有意確率を算出する。り詳しく説明すると、画像解析部２３は、有意確率として、共起事象の起こり難さについてのｐ値を算出する。ｐ値は、統計的仮説検定において、帰無仮説の元で検定統計量がその値となる確率であり、ｐ値が小さいほど、検定統計量がその値となることはあまり起こりえないことを意味する（統計ＷＥＢ『統計用語集』より引用）。なお、ｐ値については、その算出結果が得られればよく、ｐ値の算出結果を用いて仮説検定を行うことまでは必ずしも要しない。
【0053】
本実施形態では、第１画像の数Ｎ１、第２画像の数Ｎ２、第３画像の数Ｎ３及び共起画像の数Ｎｘに基づいて、Ｆｉｓｈｅｒの正確確率検定に用いられるｐ値を算出する。そして、画像解析部２３は、算出したｐ値を用いて、第１人物と第２人物との間の親密度を評価する。これにより、本実施形態では、親密度を適切に評価することができ、具体的には、人が感じ取る親密度と整合するように親密度を評価することができる。
【0054】
より詳しく説明すると、『発明が解決しようとする課題』の項で説明したように、特許文献１及び２等に例示される従来の技術では、解析対象画像に写った人物の間の親密度を、解析対象画像のうちの共起画像の数から評価していた。しかし、時間の経過に伴って画像ストック数が増えた際に、共起画像の数も増える場合があり、例えば、実際には親しくない二人の人物が写った共起画像の数が所定数以上に増えると、それらの人物の間の親密度が高いと誤って判断してしまう虞がある。
【0055】
一方、前述した式（ｆ１）から導出される値、すなわちＴａｎｉｍｏｔｏ係数（Ｊａｃｃａｒｄ係数）から親密度を評価すれば、単純に共起画像の数のみから親密度を求める場合よりも妥当な親密度が得られる。しかしながら、Ｔａｎｉｍｏｔｏ係数（Ｊａｃｃａｒｄ係数）を用いたとしても、解析対象画像の数を考慮しないと、親密度を誤って評価してしまう虞がある。
【0056】
この点に関して一例を挙げて説明すると、１０００個の解析対象画像のうち、人物Ａ、Ｂが写った画像の数が１個のみで、且つ、その画像に人物Ａ、Ｂが一緒に写っている場合、Ｔａｎｉｍｏｔｏ係数は、最大値である１となり、親密度が高いと判断される。また、１００個の解析対象画像のすべてが、人物Ａ、Ｂの双方が一緒に写った共起画像である場合にも、Ｔａｎｉｍｏｔｏ係数が同じく１となる。このように上記２つのケースでは、Ｔａｎｉｍｏｔｏ係数が同一値となるが、後者のケースの方が起こり難いと考えられ、そのことを踏まえて人物Ａ、Ｂの間の親密度を評価すべきである。
【0057】
これに対して、本実施形態では、共起事象の起こり難さについての有意確率を用いて親密度を評価する。ｐ値は、解析対象画像の数を反映しているため、ｐ値を用いて親密度を評価すれば、ｐ値の算出時点での解析対象画像の数を踏まえて適切に評価することが可能である。例えば、解析対象画像が少ない場合であっても、ｐ値を用いることにより、少ないなりに親密度を適切に評価することができ、より詳しくは、有意差が小さくなるので誤判定とはならない。
なお、共起事象の起こり難さについての指標（有意確率）は、頻度主義的なｐ値に限定されず、ｐ値以外の指標、例えば、信頼区間又はベイズ推定の理論を組み合わせてもよく、あるいは、重み付きＤｉｃｅ係数又は相互情報量による補正をさらに適用してもよい。
なお、共起事象の起こり難さについての指標（有意確率）は、頻度主義的なｐ値に限定されず、ｐ値以外の指標、例えば、信頼区間又はベイズ推定の理論を組み合わせてもよく、あるいは、重み付きＤｉｃｅ係数又は相互情報量による補正をさらに適用してもよい。
【0058】
＜＜画像解析装置の動作例について＞＞
次に、画像解析装置１０の動作例として、画像提供者から画像を取得してから画像を解析するまでの流れ（以下、画像解析フローと言う。）について説明する。画像解析フローは、画像解析装置１０を構成するサーバコンピュータ１２により、図３に示す手順に従って進行する。図３は、画像解析フローの手順を示す図である。
次に、画像解析装置１０の動作例として、画像提供者から画像を取得してから画像を解析するまでの流れ（以下、画像解析フローと言う。）について説明する。画像解析フローは、画像解析装置１０を構成するサーバコンピュータ１２により、図３に示す手順に従って進行する。図３は、画像解析フローの手順を示す図である。
【0059】
画像解析フローは、図３に示すように、画像取得ステップＳ００１、画像記憶ステップＳ００２、及び画像解析ステップＳ００３を有する。画像取得ステップＳ００１では、サーバコンピュータ１２（詳しくは、画像取得部２１）が、画像提供者が提供した画像を、画像提供者の利用端末１６との通信を通じて取得する。より詳しく説明すると、画像提供者は、利用端末１６を通じて提供画像を指定し、利用端末１６は、その操作を受け付けると、画像提供者により指定された画像をサーバコンピュータ１２に向けて送信する。画像取得部２１は、利用端末１６から送られてくる画像を、ネットワーク１４を介して取得する。
【0060】
なお、利用端末１６から送られる画像は、利用端末１６のカメラによって撮影された画像でもよく、あるいは、古い写真（アナログ画像）をスキャナ等によって読み取ってデジタル化（データ化）した後に利用端末１６に取り込まれた画像であってもよい。
【0061】
画像記憶ステップＳ００２では、画像提供者から提供された画像が、サーバコンピュータ１２の記憶装置１８において、画像提供者のアカウントと対応する画像記憶部２２に記憶される。画像取得ステップＳ００１及び画像記憶ステップＳ００２は、画像提供者が画像を提供する度に繰り返して実行され、同じ画像提供者により提供される画像が増えるほど、その画像提供者のアカウントと対応する画像記憶部２２に記憶される画像数が増えることになる。
【0062】
画像解析ステップＳ００３では、サーバコンピュータ１２（詳しくは、画像解析部２３）が、一人の画像提供者から提供されて画像記憶部２２に記憶された画像を解析対象画像として解析する。具体的には、ある画像提供者が画像解析を要求すると、その画像提供者のアカウントと対応する画像記憶部２２に記憶された画像を対象として、前述した人物識別処理、画像数特定処理、及び親密度評価処理が実施される。以下、上記３つの処理をまとめて画像解析処理と呼ぶこととする。
【0063】
画像解析ステップＳ００３において、一連の画像解析処理は、図４に示す流れに従って実施される。図４は、本実施形態に係る画像解析処理の流れを示す図である。以下、画像解析処理の流れについて、ある画像提供者Ｘ氏から提供されて画像記憶部２２に記憶された画像を解析対象画像とするケースを例に挙げて具体的に説明する。
【0064】
画像解析処理の実施に際して、画像解析部２３は、Ｘ氏から提供されて画像記憶部２２に記憶された画像のうち、図５のように人物が写った画像を抽出し、抽出した画像を解析対象画像として設定する（Ｓ０１１）。図５は、人物が写った解析対象画像の一例を示す図である。なお、画像中に人物が写っているか否かを判定する技術については、説明を省略するが、公知の画像処理技術が利用可能である。
【0065】
次に、画像解析部２３は、人物識別処理を実施し、前述した手順により、各々の解析対象画像に写っている人物を識別する（Ｓ０１２）。以下、説明をより分かり易くするため、各解析対象画像において識別された人物が図６に示す通りである場合を例に挙げて説明する。図６は、各解析対象画像と画像中に写った人物との対応関係を示す図であり、図中の「Ａ～Ｅ」は、解析対象画像に写った人物を示している。例えば、画像番号［０００１］の解析対象画像には人物Ａ、Ｂ及びＥの３人が写っている。また、図６に示すケースでは、解析対象画像が１０００枚であり、１０００枚の解析対象画像に写っている人物がＡ～Ｅの５人であることとする。
【0066】
次に、画像解析部２３は、画像数特定処理を実施し、各種の画像数を特定する（Ｓ０１３）。画像数特定処理において、画像解析部２３は、解析対象画像の数Ｎａ、厳密には少なくとも人物が写った解析対象画像の総数を特定する。
【0067】
また、画像数特定処理において、画像解析部２３は、解析対象画像に写った人物から第１人物及び第２人物を一人ずつ選び、第１人物と第２人物との組み合わせを設定する。図６のケースでは、解析対象画像に写っている人物がＡ～Ｅの５人であり、組み合わせとしては、Ａ－Ｂ、Ａ－Ｃ、Ａ－Ｄ、Ａ－Ｅ、Ｂ－Ｃ、Ｂ－Ｄ、Ｂ－Ｅ、Ｃ－Ｄ、Ｃ－Ｅ、Ｄ－Ｅの１０通りが考えられる。
【0068】
そして、画像解析部２３は、各組み合わせについて第１画像、第２画像、第３画像及び共起画像の各々の数を特定する。例えば、組み合わせがＡ－Ｂである場合には、Ａを第１人物とし、Ｂを第２人物として上記４種類の画像の数をそれぞれ特定する。このとき、各種類の画像の数は、それぞれの解析対象画像における人物の識別結果（つまり、図６に示す対応関係）に基づいて特定される。
【0069】
各種の画像数を特定した後、画像解析部２３は、親密度評価処理を実施し、各組み合わせに係る人物（例えば、人物Ａ、Ｂ）の間の親密度を評価する。親密度評価処理において、画像解析部２３は、各組み合わせについて前述のｐ値を算出する（Ｓ０１４）。本実施形態では、前のステップＳ０１３で特定した解析対象画像の数Ｎａ、第１画像の数Ｎ１、第２画像の数Ｎ２、第３画像の数Ｎ３、及び共起画像の数Ｎｘを用いて、Ｆｉｓｈｅｒの正確確率検定に用いられるｐ値を算出する。
【0070】
より詳しく説明すると、画像解析部２３は、共起画像の数Ｎｘをａとし、第１画像の数Ｎ１と共起画像の数Ｎｘとの差をｂとし、第２画像の数Ｎ２と共起画像の数Ｎｘとの差をｃとし、第３画像の数Ｎ３をｄとし、解析対象画像の数Ｎａをｎとして下記の式（１）に示すｐを求め、求めたｐからｐ値を算出する。
ｐ＝｛（ａ＋ｂ）！（ｃ＋ｄ）！（ａ＋ｃ）！（ｂ＋ｄ）！｝
／｛ａ！ｂ！ｃ！ｄ！ｎ！｝ 式（１）
ｐ＝｛（ａ＋ｂ）！（ｃ＋ｄ）！（ａ＋ｃ）！（ｂ＋ｄ）！｝
／｛ａ！ｂ！ｃ！ｄ！ｎ！｝ 式（１）
【0071】
上記の式（１）中のパラメータｂは、解析対象画像のうち、第１人物が写っていて第２人物が写っていない画像の数に相当し、パラメータｄは、第２人物が写っていて第１人物が写っていない画像の数に相当する。
【0072】
例えば、組み合わせＡ－Ｂについて特定した各種の画像数が図７に示す結果であるとすると、上記の式（１）中の各パラメータは、以下の通りになる。
ａ＝１０、ｂ＝４０、ｃ＝４０、ｄ＝９１０、ｎ＝１０００
これらのパラメータａ，ｂ，ｃ，ｄ及びｎを式（１）に代入すると、ｐは、０．００００８８１２５０７となる。この値は、実際の観測データから求められるが、ｐ値を算出するには、実際の観測データよりも極端な場合も含めて考えなければならない。すなわち、小計値であるａ＋ｂ、ｃ＋ｄ、ａ＋ｃ、及びｂ＋ｄを観測データと同じにしつつ、観測データよりも極端な場合（上記のケースでは、ａが０以上であり、且つ、１０未満である場合）を想定し、それぞれの場合における式（１）のｐを求め、求めたｐの総和をｐ値とする。
ａ＝１０、ｂ＝４０、ｃ＝４０、ｄ＝９１０、ｎ＝１０００
これらのパラメータａ，ｂ，ｃ，ｄ及びｎを式（１）に代入すると、ｐは、０．００００８８１２５０７となる。この値は、実際の観測データから求められるが、ｐ値を算出するには、実際の観測データよりも極端な場合も含めて考えなければならない。すなわち、小計値であるａ＋ｂ、ｃ＋ｄ、ａ＋ｃ、及びｂ＋ｄを観測データと同じにしつつ、観測データよりも極端な場合（上記のケースでは、ａが０以上であり、且つ、１０未満である場合）を想定し、それぞれの場合における式（１）のｐを求め、求めたｐの総和をｐ値とする。
【0073】
なお、画像解析部２３は、前述したように、サーバコンピュータ１２のハードウェア機器と画像解析プログラムとの協働によって実現されるものであるが、画像解析プログラムが統計解析向けのプログラミング言語であるＲ言語を用いて開発される場合には、Ｆｉｓｈｅｒの正確確率検定を実施するための組み込み関数が予め用意されているので、例えば図８に示す算出コードによってｐ値を算出することができる。図８は、統計言語Ｒにて記述された、ｐ値の算出コードを示す図である。
【0074】
その後、画像解析部２３は、算出したｐ値を用いて、第１人物と第２人物との間の親密度を評価する（Ｓ０１５）。具体的な評価手順について一例を挙げて説明すると、上側検定及び下側検定のそれぞれについてｐ値の逆数の対数値を求める。ここで、上側検定の対数値が比較的小さいときには、下側検定の対数値が大きくなり（１に近くなり）、反対に、下側検定の対数値が比較的小さいときには、上側検定の対数値が大きくなる。そして、上側検定及び下側検定の両方について求めた対数値のうち、より大きい値を採用する。つまり、上側検定及び下側検定のうち、ｐ値の絶対値がより小さくなる（有意である）検定を親和性評価の指標として採用する。例えば、上側検定を採用する場合、ｐ値の逆数の対数値が大きくなるほど親和性が高い（親密度が高い）と評価され、下側検定を採用した場合、ｐ値の逆数の対数値が大きくなるほど排他性が高い（親密度が低い）と評価される。
ここで、下側検定について求めた対数値の正負を逆転させることで、親和性の値（以下、親和度）を無限区間において表現することができ、これにより、親和性を評価することができ、例えば親和度が小さくなるほど親和性が低いと評価され、親和度が大きくなるほど親和度多高くなる。
ここで、下側検定について求めた対数値の正負を逆転させることで、親和性の値（以下、親和度）を無限区間において表現することができ、これにより、親和性を評価することができ、例えば親和度が小さくなるほど親和性が低いと評価され、親和度が大きくなるほど親和度多高くなる。
【0075】
ちなみに、図７に示すケース、つまりｐ値＝０．００００８８１２５０７となるケースでは、Ｎａ個（＝１０００）の解析対象画像のうち、Ｎｘ（＝１０）個の画像が共起画像となることが極めて稀であると言え、第１人物及び第２人物（具体的には、人物ＡとＢ）の間の親密度が高いと評価される。
【0076】
一方、例えば、組み合わせＡ－Ｂについて特定した各種の画像数が図９に示す結果であるとすると、上記の式（１）中の各パラメータは、以下の通りになる。
ａ＝１０、ｂ＝１９０、ｃ＝１９０、ｄ＝６１０、ｎ＝１０００
つまり、図９に示すケースでは、図７に示すケースと解析対象画像の数Ｎａ及び共起画像の数Ｎｘが等しくなっているが、第１画像の数Ｎ１及び第２画像の数Ｎ２が多く、上記のパラメータを式（１）に代入してｐ値を求めると、ｐ値が略１となる。この場合、有意であるとは言えず、第１人物及び第２人物（具体的には、人物ＡとＢ）の間の親密度が高いとは言い切れない。
ａ＝１０、ｂ＝１９０、ｃ＝１９０、ｄ＝６１０、ｎ＝１０００
つまり、図９に示すケースでは、図７に示すケースと解析対象画像の数Ｎａ及び共起画像の数Ｎｘが等しくなっているが、第１画像の数Ｎ１及び第２画像の数Ｎ２が多く、上記のパラメータを式（１）に代入してｐ値を求めると、ｐ値が略１となる。この場合、有意であるとは言えず、第１人物及び第２人物（具体的には、人物ＡとＢ）の間の親密度が高いとは言い切れない。
【0077】
また、例えば、組み合わせＡ－Ｂについて特定した各種の画像数が図１０に示す結果であるとすると、上記の式（１）中の各パラメータは、以下の通りになる。
ａ＝１、ｂ＝４、ｃ＝４、ｄ＝９１、ｎ＝１００
図１０に示すケースでは、各種類の画像の数が、図７に示すケースでの数の１／１０であり、上記のパラメータを式（１）に代入してｐ値を求めると、ｐ値が０．２３０４１となる。この場合、有意であるとは言えず、第１人物及び第２人物（具体的には、人物ＡとＢ）の間の親密度が高いとは言い切れない。
ａ＝１、ｂ＝４、ｃ＝４、ｄ＝９１、ｎ＝１００
図１０に示すケースでは、各種類の画像の数が、図７に示すケースでの数の１／１０であり、上記のパラメータを式（１）に代入してｐ値を求めると、ｐ値が０．２３０４１となる。この場合、有意であるとは言えず、第１人物及び第２人物（具体的には、人物ＡとＢ）の間の親密度が高いとは言い切れない。
【0078】
以上のような要領により、本実施形態では、ｐ値を用いて第１人物と第２人物との間の親密度を評価する。また、本実施形態では、一組の組み合わせについて親密度を評価した後、画像解析部２３が、第１人物と第２人物との組み合わせを変えて、上記のステップＳ０１３～Ｓ０１５を繰り返し実施する。これにより、第１人物と第２人物との間の親密度が組み合わせ毎に評価される。
【0079】
そして、すべての組み合わせについて親密度を評価し終えた時点で（Ｓ０１６でＹｅｓ）、画像解析処理が終了する。
【0080】
以上までに説明してきた画像解析フローでは、本発明の画像解析方法が採用されており、換言すれば、本発明の画像解析方法は、画像解析フローにおける各ステップをコンピュータに実行させるためのプログラム（具体的には、画像解析プログラム）によって実施することができる。
【0081】
また、画像解析プログラムが記録されたコンピュータに読み取り可能な記録媒体を提供することも可能である。記録媒体としては、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ（Digital Versatile Disc）及びＢｌｕ-ｒａｙディスク（登録商標）等の光ディスク、フレキシブルディスク等の磁気ディスク、ＭＯ（Magneto-Optical disk）等の光磁気ディスク、並びにこれら以外のリムーバブルメディア等が挙げられる。なお、例えば不図示のプログラム配信サーバに内蔵された磁気ディスク、光ディスク又は光磁気ディスク等に画像解析プログラムを予め記憶しておき、プログラム配信サーバから通信回線を介して画像解析プログラムを配信してもよい。
【0082】
＜＜第１変形例に係る画像解析処理について＞＞
上述した実施形態では、画像解析処理において親密度を評価する上でｐ値を算出し、具体的には、Ｆｉｓｈｅｒの正確確率検定に用いられるｐ値を、前述の式（１）によって算出することとした。ただし、ｐ値は、上記の方法によって算出されるものには限定されず、他の方法によって算出されるものを採用してもよく、例えば、二項検定に用いられるｐ値を有意確率として算出する例（以下、第１変形例）が考えられる。以下、第１変形例に係る画像解析処理について説明し、特にｐ値の算出方法を詳しく説明する。
上述した実施形態では、画像解析処理において親密度を評価する上でｐ値を算出し、具体的には、Ｆｉｓｈｅｒの正確確率検定に用いられるｐ値を、前述の式（１）によって算出することとした。ただし、ｐ値は、上記の方法によって算出されるものには限定されず、他の方法によって算出されるものを採用してもよく、例えば、二項検定に用いられるｐ値を有意確率として算出する例（以下、第１変形例）が考えられる。以下、第１変形例に係る画像解析処理について説明し、特にｐ値の算出方法を詳しく説明する。
【0083】
第１変形例において、画像解析部２３は、ｐ値を算出するにあたり、解析対象画像の数Ｎａに対する第１画像の数Ｎ１の比率Ｎ１／Ｎａと、解析対象画像の数Ｎａに対する第２画像の数Ｎ２の比率Ｎ２／Ｎａと、を掛け合わせて標準共起確率Ｐｓを求める。図７に示すケースを例に挙げて説明すると、比率Ｎ１／Ｎａ及び比率Ｎ２／Ｎａは、いずれも０．０５（＝５０／１０００）となり、標準共起確率Ｐｓは、０．００２５（＝０．２５％）となる。
【0084】
そして、画像解析部２３は、画像数特定処理において特定した解析対象画像の数Ｎａ及び共起画像の数Ｎｘと、前述した標準共起確率Ｐｓとを用いて、二項検定に用いられるｐ値を算出する。具体的には、ランダムに選ばれた１個の解析対象画像が共起画像である確率が標準共起確率Ｐｓになるという仮定の下で、Ｎａ個の解析対象画像のうち、Ｎｘ個の解析対象画像が共起画像となる確率をｐ値として算出する。より詳しく説明すると、標準共起確率Ｐｓを成功確率ｑとし、解析対象画像の数Ｎａを、成功確率がｑである試行の回数ｎとし、共起画像の数Ｎｘを成功回数ｋとしたときに、ｐ値は、下記の式（２）により算出される。
式（２）
【数1】
式（２）
【0085】
以上までに説明してきたように、第１変形例では、二項検定に用いられるｐ値を算出する。ただし、ｐ値については、上述した式（１）及び（２）から算出されるものとは異なるｐ値であってもよく、例えば、アンケートなどから得られた親密度が既知のデータを用いた機械学習を実施し、解析対象画像の数Ｎａ、共起画像の数Ｎｘ、及び標準共起確率Ｐｓに対してｐ値に相当する親密度を予測するモデルを構築し、そのモデルを用いて上記３つの変数（Ｎａ，Ｎｘ，Ｐｓ）から親密度が未知のｐ値を算出し、親密度を推定してもよい。機械学習に相当する手法としては、頻度主義仮説検定、ベイズ仮説検定、回帰、クラス分類、サポートベクタマシン、及びニューラルネットワークが含まれるが、この限りではない。
【0086】
＜＜第２変形例に係る画像解析処理について＞＞
上述した実施形態の画像解析処理では、組み合わせ一組あたりに、第１人物と第２人物の間の親密度を一回評価することとした。つまり、上述した実施形態では、同じ組み合わせであれば共起画像の数Ｎｘが変わらないため、その組み合わせに属する第１人物及び第２人物の各々から見た親密度が互いに等しい（親密度が対称的である）と言え、組み合わせ一組あたりにｐ値を一回算出することとした。
上述した実施形態の画像解析処理では、組み合わせ一組あたりに、第１人物と第２人物の間の親密度を一回評価することとした。つまり、上述した実施形態では、同じ組み合わせであれば共起画像の数Ｎｘが変わらないため、その組み合わせに属する第１人物及び第２人物の各々から見た親密度が互いに等しい（親密度が対称的である）と言え、組み合わせ一組あたりにｐ値を一回算出することとした。
【0087】
一方、共起画像の数Ｎｘが同じであっても、第１画像の数Ｎ１と第２画像の数Ｎ２とが大きく相違する場合には、第１人物にとっての第２人物との親密度と、第２人物にとっての第１人物との親密度とが異なる（非対称である）と考えるのが妥当である。以下では、第２変形例として、第１人物にとっての第２人物との親密度、及び、第２人物によっての第１人物との親密度をそれぞれ個別に評価する実施形態について説明する。
【0088】
第２変形例は、画像解析フローが図３に示すステップ（すなわち、画像取得ステップ、画像記憶ステップ、及び画像解析ステップ）を有する点では、上述の実施形態と共通する。また、第２変形例に係る画像解析ステップでは、一連の画像解析処理が図１１に示す手順にて進行する。図１１に示すように、第２変形例に係る画像解析ステップにおいても、上述の実施形態と同様、解析対象画像を設定し、解析対象画像中の人物を識別し、各種の画像の数を特定する（Ｓ０２１～０２３）。図１１は、第２変形例に係る画像解析処理の流れを示す図である。
【0089】
また、第２変形例においても、解析対象画像中に写った人物の数が３人以上である場合には、各種の画像数を特定するにあたり、解析対象画像に写った人物から第１人物及び第２人物を一人ずつ選び、第１人物と第２人物との組み合わせを設定する。以下では、第１人物がＡであり、第２人物がＢである組み合わせＡ－Ｂを例に挙げて具体的に説明する。
【0090】
第２変形例の画像解析処理では、人物Ａにとっての人物Ｂとの親密度、及び人物Ｂにとっての人物Ａとの親密度をそれぞれ評価するために、二項検定に用いられるｐ値を、人物Ａ、Ｂの各々について算出する（Ｓ０２４～Ｓ０２５）。画像解析部２３は、ｐ値を算出する前段階において、解析対象画像の数Ｎａ、Ｎａ個の解析対象画像に写っている人物の数ｍ、Ｎａ個の解析対象画像中、Ａが写った画像（第１画像）の数Ｎ１、Ｂが写った画像（第２画像）の数Ｎ２、及び、ＡとＢが一緒に写った共起画像の数Ｎｘをそれぞれ特定する。
【0091】
さらに、画像解析部２３は、解析対象画像に写った人物の一人を対象人物とし、Ｎａ個の解析対象画像中、対象人物が他の人物と一緒に写った特定画像の数Ｎｉをそれぞれ特定し、解析対象画像の数Ｎａに対する特定画像の数Ｎｉの比率Ｎｉ／Ｎａを、他の人物毎に求める。例えば、対象人物をＡとすると、解析対象画像に写った人物のうち、Ａ以外の人物（Ｂ、Ｃ、Ｄ、、、、）が他の人物に該当し、他の人物の数（ｍ－１）と同じ数だけ、上記の比率Ｎｉ／Ｎａを求めることになる。
【0092】
その後、画像解析部２３は、他の人物毎に求めた上記の比率Ｎｉ／Ｎａの総和Σ（Ｎｉ／Ｎａ）を、他の人物の数（ｍ－１）で除することで、対象人物についての人物別共起確率を算出する。例えば、対象人物をＡとしたときの人物別共起確率ＰＡは、下記の式（３）にて求められる。
ＰＡ＝｛１／（ｍ－１）｝×Σ（Ｎｉ／Ｎａ） （３）
上式のＮｉは、前述したように、人物Ａが他の人物ｉ（Ｂ、Ｃ、Ｄ、、、）と一緒に写った特定画像の数である。なお、ＰＡについては、式（３）のように算術平均として求めてもよいが、調和平均として求めてよい。
ＰＡ＝｛１／（ｍ－１）｝×Σ（Ｎｉ／Ｎａ） （３）
上式のＮｉは、前述したように、人物Ａが他の人物ｉ（Ｂ、Ｃ、Ｄ、、、）と一緒に写った特定画像の数である。なお、ＰＡについては、式（３）のように算術平均として求めてもよいが、調和平均として求めてよい。
【0093】
そして、画像解析部２３は、Ｎａ個の解析対象画像に写っている人物の各人を対象人物として、各人（すなわち、人物Ａ、Ｂ、Ｃ、Ｄ、、、、）についての人物別共起確率を繰り返し算出する。
【0094】
その後、画像解析部２３は、解析対象画像全体で任意の人物が平均して他の人物と一緒に写る全体共起確率Ｐｗを算出する。全体共起確率Ｐｗは、下記の式（４）により、各人について算出した人物別共起確率の総和を、Ｎａ個の解析対象画像に写っている人物の数ｍで除することで得られる。
Ｐｗ＝１／ｍ×｛ＰＡ＋ＰＢ＋ＰＣ＋ＰＤ＋・・・｝ （４）
Ｐｗ＝１／ｍ×｛ＰＡ＋ＰＢ＋ＰＣ＋ＰＤ＋・・・｝ （４）
【0095】
そして、画像解析部２３は、上記の全体共起確率Ｐｗを用いて、第１人物Ａ及び第２人物Ｂの各々についてｐ値を算出する。具体的には、ランダムに選ばれた１個の第１画像が共起画像である確率が全体共起確率Ｐｗになるという仮定の下で、Ｎ１個の第１画像のうち、Ｎｘ個の第１画像が共起画像となる確率を、第１人物Ａについてのｐ値として算出する。より詳しく説明すると、全体共起確率Ｐｗを成功確率ｑとし、第１画像の数Ｎ１を、成功確率がｑである試行の回数ｎとし、共起画像の数Ｎｘを成功回数ｋとして、第１人物Ａについてのｐ値を上述の式（２）により算出する。
【0096】
同様に、画像解析部２３は、ランダムに選ばれた１個の第２画像が共起画像である確率が全体共起確率Ｐｗになるという仮定の下で、Ｎ２個の第２画像のうち、Ｎｘ個の第２画像が共起画像となる確率を、第２人物Ｂについてのｐ値として算出する。より詳しく説明すると、全体共起確率Ｐｗを成功確率ｑとし、第２画像の数Ｎ２を、成功確率がｑである試行の回数ｎとし、共起画像の数Ｎｘを成功回数ｋとして、第２人物Ｂについてのｐ値を上述の式（２）により算出する。
【0097】
その後、画像解析部２３は、人物Ａについて算出したｐ値を用いて、人物Ａにとっての人物Ｂとの親密度を評価し、且つ、人物Ｂについて算出したｐ値を用いて、人物Ｂにとっての人物Ａとの親密度を評価する（Ｓ０２６）。以降、上述の実施形態と同様、画像解析部２３が、第１人物と第２人物との組み合わせを変えて、ステップＳ０２３～Ｓ０２６を繰り返し実施し、すべての組み合わせについて親密度を評価し終えた時点で（Ｓ０２７でＹｅｓ）、画像解析処理が終了する。
【0098】
第２変形例における親密度の評価手順について、図１２及び１３に示すケースを例にあげて具体的に説明する。なお、説明を分かり易くするため、図１２及び１３に示すケースでは、解析対象画像に写っている画像が人物Ａ、Ｂの二人のみであり、第１人物と第２人物との組み合わせが一組のみであるとする。
【0099】
図１２に示すケースでは、共起画像の数Ｎｘが２個であり、５個の画像（第１画像）に写った人物Ａにとって人物Ｂは親しい間柄であるが、５０個の画像（第２画像）に写った人物Ｂにとって人物Ａは然程親しい間柄ではないと判断され得る。このことを統計的に検討すると、図１２に示すケースでは、人物Ａについての人物別共起確率ＰＡ、人物Ｂについての人物別共起確率ＰＢ、及び全体共起確率ＰＷが以下の通りになる。
ＰＡ＝２／５
ＰＢ＝２／５０
Ｐｗ＝１１／５０（＝１／２×｛２／５＋２／５０｝）
ＰＡ＝２／５
ＰＢ＝２／５０
Ｐｗ＝１１／５０（＝１／２×｛２／５＋２／５０｝）
【0100】
上記の値を用いて、上述の式（２）により人物Ａ、Ｂの各々についてｐ値を求めると、Ａについてのｐ値が０．３０４１１６９となり、Ｂについてのｐ値が０．９９９９３９となる。この場合、どちらも有意であるとは言えず、人物Ａにとっての人物Ｂとの間の親密度、及び、人物Ｂにとっての人物Ａとの親密度は、いずれも高いとは言えない。要するに、ｐ値の算出結果が上記の値にとなる場合、「人物Ａにとって人物Ｂとの仲が親密であるか否かについて、ｐ値からは断定することができない」と統計的には解釈され得る。
【0101】
図１３に示すケースでは、共起画像の数Ｎｘが２０個であり、５０個の画像（第１画像）に写った人物Ａにとって人物Ｂは親しい間柄であるが、５００個の画像（第２画像）に写った人物Ｂにとって人物Ａは然程親しい間柄ではないと判断され得る。このことを統計的に検討すると、図１３に示すケースでは、人物Ａについての人物別共起確率ＰＡ、人物Ｂについての人物別共起確率ＰＢ、及び全体共起確率ＰＷが以下の通りになる。これらの値は、図１２に示すケースと同値である。
ＰＡ＝２０／５０＝２／５
ＰＢ＝２０／５００＝２／５０
Ｐｗ＝１１／５０（＝１／２×｛２／５＋２／５０｝）
ＰＡ＝２０／５０＝２／５
ＰＢ＝２０／５００＝２／５０
Ｐｗ＝１１／５０（＝１／２×｛２／５＋２／５０｝）
【0102】
上記の値を用いて、上述の式（２）により人物Ａ、Ｂの各々についてｐ値を求めると、Ｂについてのｐ値は、０．９９９９９９９となる。この場合、有意であるとは言えず、人物Ｂにとっての人物Ａとの親密度が高いとは言い切れない。
【0103】
一方で、Ａについてのｐ値は、０．００３１３３０７となる。この場合、有意であると言え、人物Ａにとっての人物Ｂとの間の親密度が高いと判断される。すなわち、ランダムに一つ選んだ画像（第１画像）が共起画像となる確率が２２％（＝１１／５０×１００）である場合に５０個中の２０個が共起画像となることはあり得ず（極めて稀であり）、人物Ａにとって人物Ｂとの仲が親密であるからランダム確率よりも有意に共起している」と解釈され得る。
【0104】
以上のように、第二変形例では、第１人物と第２人物との間の親密度を評価する際に、人物間での非対称性を考慮して二項定理を適用してｐ値を人物毎に算出し、人物毎のｐ値を用いて、各々の人物から見た親密度を人物毎に評価する。これにより、各人物が写った画像の数に基づいて、統計的に有意に親密であると言えるか否かを判断することが可能となる。
【符号の説明】
【0105】
１０ 画像解析装置
１２ サーバコンピュータ
１４ ネットワーク
１６ 利用端末
１８ 記憶装置
２１ 画像取得部
２２ 画像記憶部
２３ 画像解析部
１００ 画像解析システム
１２ サーバコンピュータ
１４ ネットワーク
１６ 利用端末
１８ 記憶装置
２１ 画像取得部
２２ 画像記憶部
２３ 画像解析部
１００ 画像解析システム
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【手続補正書】
【提出日】2022-08-16
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
画像を記憶する画像記憶部と、
前記画像記憶部に記憶された画像を解析対象画像として用いる画像解析部と、を有し、
前記画像解析部は、
前記解析対象画像のうち、第１人物が写った第１画像の数Ｎ１、第２人物が写った第２画像の数Ｎ２、並びに、前記第１人物及び前記第２人物が一緒に写った共起画像の数Ｎｘをそれぞれ特定し、
Ｎｘ個の前記解析対象画像が前記共起画像となる確率を、前記第１画像の数Ｎ１、前記第２画像の数Ｎ２及び前記共起画像の数Ｎｘに基づいて算出し、
前記確率を用いて、前記第１人物及び前記第２人物の間の親密度を評価することを特徴とする画像解析装置。
前記画像記憶部に記憶された画像を解析対象画像として用いる画像解析部と、を有し、
前記画像解析部は、
前記解析対象画像のうち、第１人物が写った第１画像の数Ｎ１、第２人物が写った第２画像の数Ｎ２、並びに、前記第１人物及び前記第２人物が一緒に写った共起画像の数Ｎｘをそれぞれ特定し、
Ｎｘ個の前記解析対象画像が前記共起画像となる確率を、前記第１画像の数Ｎ１、前記第２画像の数Ｎ２及び前記共起画像の数Ｎｘに基づいて算出し、
前記確率を用いて、前記第１人物及び前記第２人物の間の親密度を評価することを特徴とする画像解析装置。
【請求項2】
前記画像解析部は、前記解析対象画像の数Ｎａと、前記解析対象画像のうち、前記第１人物及び前記第２人物の双方が写っていない第３画像の数Ｎ３と、をさらに特定し、前記解析対象画像の数Ｎａ、前記第１画像の数Ｎ１、前記第２画像の数Ｎ２、前記第３画像の数Ｎ３、及び前記共起画像の数Ｎｘを用いて、Ｆｉｓｈｅｒの正確確率検定に用いられるｐ値を前記確率として算出する、請求項１に記載の画像解析装置。
【請求項3】
前記画像解析部は、前記共起画像の数Ｎｘをａとし、前記第１画像の数Ｎ１と前記共起画像の数Ｎｘとの差をｂとし、前記第２画像の数Ｎ２と前記共起画像の数Ｎｘとの差をｃとし、前記第３画像の数Ｎ３をｄとし、前記解析対象画像の数Ｎａをｎとして下記の式（１）に示すｐを求め、求めたｐから前記ｐ値を算出する請求項２に記載の画像解析装置。
ｐ＝｛（ａ＋ｂ）！（ｃ＋ｄ）！（ａ＋ｃ）！（ｂ＋ｄ）！｝
／｛ａ！ｂ！ｃ！ｄ！ｎ！｝ 式（１）
ｐ＝｛（ａ＋ｂ）！（ｃ＋ｄ）！（ａ＋ｃ）！（ｂ＋ｄ）！｝
／｛ａ！ｂ！ｃ！ｄ！ｎ！｝ 式（１）
【請求項4】
前記画像解析部は、前記解析対象画像の数Ｎａを特定し、前記解析対象画像の数Ｎａに対する前記第１画像の数Ｎ１の比率Ｎ１／Ｎａと、前記解析対象画像の数Ｎａに対する前記第２画像の数Ｎ２の比率Ｎ２／Ｎａとを掛け合わせて標準共起確率Ｐｓを求め、前記解析対象画像の数Ｎａ、前記共起画像の数Ｎｘ及び前記標準共起確率Ｐｓを用いて、二項検定に用いられるｐ値を前記確率として算出する、請求項１に記載の画像解析装置。
【請求項5】
前記画像解析部は、少なくとも人物が写った前記解析対象画像の総数を、前記解析対象画像の数Ｎａとして特定する、請求項２乃至４のいずれか一項に記載の画像解析装置。
【請求項6】
前記画像解析部は、前記第１人物にとっての前記第２人物との親密度、及び前記第２人物にとっての前記第１人物との親密度をそれぞれ評価するために、二項検定に用いられるｐ値を、前記確率として、前記第１人物及び前記第２人物の各々について算出する、請求項１に記載の画像解析装置。
【請求項7】
前記画像解析部は、
前記解析対象画像の数Ｎａを特定し、
Ｎａ個の前記解析対象画像に写っている人物の数ｍを特定し、
Ｎａ個の前記解析対象画像中、対象人物が他の人物と一緒に写った特定画像の比率を、前記他の人物毎に求め、
前記他の人物毎に求めた前記比率の総和を、前記他の人物の数（ｍ－１）で除することで、前記対象人物についての人物別共起確率を算出し、
Ｎａ個の前記解析対象画像に写っている人物の各人を前記対象人物として、前記各人についての前記人物別共起確率を繰り返し算出し、
前記各人について算出した前記人物別共起確率の総和を、Ｎａ個の前記解析対象画像に写っている人物の数ｍで除することで、全体共起確率Ｐｗを算出し、
前記全体共起確率Ｐｗを用いて、前記第１人物及び前記第２人物の各々について前記ｐ値を算出する、請求項６に記載の画像解析装置。
前記解析対象画像の数Ｎａを特定し、
Ｎａ個の前記解析対象画像に写っている人物の数ｍを特定し、
Ｎａ個の前記解析対象画像中、対象人物が他の人物と一緒に写った特定画像の比率を、前記他の人物毎に求め、
前記他の人物毎に求めた前記比率の総和を、前記他の人物の数（ｍ－１）で除することで、前記対象人物についての人物別共起確率を算出し、
Ｎａ個の前記解析対象画像に写っている人物の各人を前記対象人物として、前記各人についての前記人物別共起確率を繰り返し算出し、
前記各人について算出した前記人物別共起確率の総和を、Ｎａ個の前記解析対象画像に写っている人物の数ｍで除することで、全体共起確率Ｐｗを算出し、
前記全体共起確率Ｐｗを用いて、前記第１人物及び前記第２人物の各々について前記ｐ値を算出する、請求項６に記載の画像解析装置。
【請求項8】
前記画像解析部は、
ランダムに選ばれた１個の前記第１画像が前記共起画像である確率が前記全体共起確率Ｐｗになるという仮定の下で、Ｎ１個の前記第１画像のうち、Ｎｘ個の前記第１画像が前記共起画像となる確率を、前記第１人物についての前記ｐ値として算出し、
ランダムに選ばれた１個の前記第２画像が前記共起画像である確率が前記全体共起確率Ｐｗになるという仮定の下で、Ｎ２個の前記第２画像のうち、Ｎｘ個の前記第２画像が前記共起画像となる確率を、前記第２人物についての前記ｐ値として算出する、請求項７に記載の画像解析装置。
ランダムに選ばれた１個の前記第１画像が前記共起画像である確率が前記全体共起確率Ｐｗになるという仮定の下で、Ｎ１個の前記第１画像のうち、Ｎｘ個の前記第１画像が前記共起画像となる確率を、前記第１人物についての前記ｐ値として算出し、
ランダムに選ばれた１個の前記第２画像が前記共起画像である確率が前記全体共起確率Ｐｗになるという仮定の下で、Ｎ２個の前記第２画像のうち、Ｎｘ個の前記第２画像が前記共起画像となる確率を、前記第２人物についての前記ｐ値として算出する、請求項７に記載の画像解析装置。
【請求項9】
前記解析対象画像に写っている人物が３人以上存在する場合、前記画像解析部は、前記第１人物と前記第２人物との組み合わせを変えて、前記第１人物と前記第２人物との間の親密度を前記組み合わせ毎に評価する、請求項１乃至８のいずれか一項に記載の画像解析装置。
【請求項10】
前記画像解析部は、前記解析対象画像に写った人物を識別し、それぞれの前記解析対象画像における人物の識別結果に基づいて前記第１画像の数Ｎ１、前記第２画像の数Ｎ２、及び前記共起画像の数Ｎｘをそれぞれ特定する、請求項１乃至９のいずれか一項に記載の画像解析装置。
【請求項11】
画像記憶部が、画像を記憶するステップと、
画像解析部が、前記画像記憶部に記憶された画像を解析対象画像として用いるステップと、を有し、
前記画像解析部は、前記解析対象画像を用いるステップにおいて、
前記解析対象画像のうち、第１人物が写った第１画像の数Ｎ１、第２人物が写った第２画像の数Ｎ２、並びに、前記第１人物及び前記第２人物が一緒に写った共起画像の数Ｎｘをそれぞれ特定し、
Ｎｘ個の前記解析対象画像が前記共起画像となる確率を、前記第１画像の数Ｎ１、前記第２画像の数Ｎ２及び前記共起画像の数Ｎｘに基づいて算出し、
前記確率を用いて、前記第１人物及び前記第２人物の間の親密度を評価することを特徴とする画像解析方法。
画像解析部が、前記画像記憶部に記憶された画像を解析対象画像として用いるステップと、を有し、
前記画像解析部は、前記解析対象画像を用いるステップにおいて、
前記解析対象画像のうち、第１人物が写った第１画像の数Ｎ１、第２人物が写った第２画像の数Ｎ２、並びに、前記第１人物及び前記第２人物が一緒に写った共起画像の数Ｎｘをそれぞれ特定し、
Ｎｘ個の前記解析対象画像が前記共起画像となる確率を、前記第１画像の数Ｎ１、前記第２画像の数Ｎ２及び前記共起画像の数Ｎｘに基づいて算出し、
前記確率を用いて、前記第１人物及び前記第２人物の間の親密度を評価することを特徴とする画像解析方法。
【請求項12】
請求項１１に記載の画像解析方法の各々のステップをコンピュータに実行させるためのプログラム。
【請求項13】
請求項１１に記載にした画像解析方法の各々のステップをコンピュータに実行させるためのプログラムが記録された、コンピュータによって読み取り可能な記録媒体。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】００２４
【補正方法】変更
【補正の内容】
【0024】
また、本発明は、記憶装置及びプロセッサを備える画像解析装置であって、記憶装置が画像提供者から提供された画像を記憶し、プロセッサが、一人の画像提供者から提供されて記憶装置に記憶された画像を解析対象画像として解析する画像解析部として機能し、画像解析部としてのプロセッサは、解析対象画像のうち、第１人物が写った第１画像の数Ｎ１、第２人物が写った第２画像の数Ｎ２、並びに、第１人物及び第２人物が一緒に写った共起画像の数Ｎｘをそれぞれ特定し、Ｎｘ個の解析対象画像が共起画像となる事象の起こり難さについての有意確率を、第１画像の数Ｎ１、第２画像の数Ｎ２及び共起画像の数Ｎｘに基づいて算出し、有意確率を用いて、第１人物及び第２人物の間の親密度を評価するように構成された画像解析装置を提供する。
また、本発明は、画像を記憶する画像記憶部と、画像記憶部に記憶された画像を解析対象画像として用いる画像解析部と、を有し、画像解析部は、解析対象画像のうち、第１人物が写った第１画像の数Ｎ１、第２人物が写った第２画像の数Ｎ２、並びに、第１人物及び第２人物が一緒に写った共起画像の数Ｎｘをそれぞれ特定し、Ｎｘ個の解析対象画像が共起画像となる確率を、第１画像の数Ｎ１、第２画像の数Ｎ２及び共起画像の数Ｎｘに基づいて算出し、確率を用いて、第１人物及び第２人物の間の親密度を評価することを特徴とする画像解析装置を提供する。
また、本発明は、画像を記憶する画像記憶部と、画像記憶部に記憶された画像を解析対象画像として用いる画像解析部と、を有し、画像解析部は、解析対象画像のうち、第１人物が写った第１画像の数Ｎ１、第２人物が写った第２画像の数Ｎ２、並びに、第１人物及び第２人物が一緒に写った共起画像の数Ｎｘをそれぞれ特定し、Ｎｘ個の解析対象画像が共起画像となる確率を、第１画像の数Ｎ１、第２画像の数Ｎ２及び共起画像の数Ｎｘに基づいて算出し、確率を用いて、第１人物及び第２人物の間の親密度を評価することを特徴とする画像解析装置を提供する。