(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-11-08
(45)【発行日】2023-11-16
(54)【発明の名称】画像解析装置、画像解析方法、コンピュータプログラム、及び記録媒体
(51)【国際特許分類】
G06Q 50/10 20120101AFI20231109BHJP
G06T 7/00 20170101ALI20231109BHJP
【FI】
G06Q50/10
G06T7/00 660Z
(21)【出願番号】P 2022116297
(22)【出願日】2022-07-21
(62)【分割の表示】P 2019132398の分割
【原出願日】2019-07-18
【審査請求日】2022-08-16
(73)【特許権者】
【識別番号】306037311
【氏名又は名称】富士フイルム株式会社
(74)【代理人】
【識別番号】100152984
【氏名又は名称】伊東 秀明
(74)【代理人】
【識別番号】100148080
【氏名又は名称】三橋 史生
(72)【発明者】
【氏名】田中 伸也
(72)【発明者】
【氏名】園田 慎一郎
(72)【発明者】
【氏名】吉澤 宏俊
(72)【発明者】
【氏名】松本 徹也
(72)【発明者】
【氏名】山路 啓
【審査官】松尾 真人
(56)【参考文献】
【文献】特開2013-003635(JP,A)
【文献】特開2003-067412(JP,A)
【文献】特開2010-140069(JP,A)
【文献】特開2006-079460(JP,A)
【文献】金 英子,Web上からさまざまなエンティティ同士の社会ネットワーク抽出,2007年度人工知能学会全国大会(第21回)論文集 [CD-ROM],社団法人人工知能学会,2007年06月22日,2F4-7
【文献】モファット ピーター・G,川越敏司(監訳),経済学のための実験統計学,第1版,株式会社勁草書房 井村 寿人,2018年12月20日,pp.52-57,ISBN:978-4-326-50452-7
(58)【調査した分野】(Int.Cl.,DB名)
G06Q 10/00-99/00
G06F 16/00-16/958
G06T 7/00
(57)【特許請求の範囲】
【請求項1】
画像を記憶する画像記憶部と、
前記画像記憶部に記憶された画像を解析対象画像として用いる画像解析部と、を有し、
前記画像解析部は、
前記解析対象画像のうち、第1人物が写った第1画像の数N1、第2人物が写った第2画像の数N2、並びに、前記第1人物及び前記第2人物が一緒に写った共起画像の数Nxをそれぞれ特定し、
Nx個の前記解析対象画像が前記共起画像となる
事象の起こり難さについての確率を、前記第1画像の数N1、前記第2画像の数N2及び前記共起画像の数Nxに基づいて算出し、
前記確率を用いて、前記第1人物及び前記第2人物の間の親密度を評価することを特徴とする画像解析装置。
【請求項2】
前記画像解析部は、前記解析対象画像の数Naと、前記解析対象画像のうち、前記第1人物及び前記第2人物の双方が写っていない第3画像の数N3と、をさらに特定し、前記解析対象画像の数Na、前記第1画像の数N1、前記第2画像の数N2、前記第3画像の数N3、及び前記共起画像の数Nxを用いて、Fisherの正確確率検定に用いられるp値を前記確率として算出する、請求項1に記載の画像解析装置。
【請求項3】
前記画像解析部は、前記共起画像の数Nxをaとし、前記第1画像の数N1と前記共起画像の数Nxとの差をbとし、前記第2画像の数N2と前記共起画像の数Nxとの差をcとし、前記第3画像の数N3をdとし、前記解析対象画像の数Naをnとして下記の式(1)に示すpを求め、求めたpから前記p値を算出する請求項2に記載の画像解析装置。
p={(a+b)!(c+d)!(a+c)!(b+d)!}
/{a!b!c!d!n!} 式(1)
【請求項4】
前記画像解析部は、前記解析対象画像の数Naを特定し、前記解析対象画像の数Naに対する前記第1画像の数N1の比率N1/Naと、前記解析対象画像の数Naに対する前記第2画像の数N2の比率N2/Naとを掛け合わせて標準共起確率Psを求め、前記解析対象画像の数Na、前記共起画像の数Nx及び前記標準共起確率Psを用いて、二項検定に用いられるp値を前記確率として算出する、請求項1に記載の画像解析装置。
【請求項5】
前記画像解析部は、少なくとも人物が写った前記解析対象画像の総数を、前記解析対象画像の数Naとして特定する、請求項2乃至4のいずれか一項に記載の画像解析装置。
【請求項6】
前記画像解析部は、前記第1人物にとっての前記第2人物との親密度、及び前記第2人物にとっての前記第1人物との親密度をそれぞれ評価するために、二項検定に用いられるp値を、前記確率として、前記第1人物及び前記第2人物の各々について算出する、請求項1に記載の画像解析装置。
【請求項7】
前記画像解析部は、
前記解析対象画像の数Naを特定し、
Na個の前記解析対象画像に写っている人物の数mを特定し、
Na個の前記解析対象画像中、対象人物が他の人物と一緒に写った特定画像の比率を、前記他の人物毎に求め、
前記他の人物毎に求めた前記比率の総和を、前記他の人物の数(m-1)で除することで、前記対象人物についての人物別共起確率を算出し、
Na個の前記解析対象画像に写っている人物の各人を前記対象人物として、前記各人についての前記人物別共起確率を繰り返し算出し、
前記各人について算出した前記人物別共起確率の総和を、Na個の前記解析対象画像に写っている人物の数mで除することで、全体共起確率Pwを算出し、
前記全体共起確率Pwを用いて、前記第1人物及び前記第2人物の各々について前記p値を算出する、請求項6に記載の画像解析装置。
【請求項8】
前記画像解析部は、
ランダムに選ばれた1個の前記第1画像が前記共起画像である確率が前記全体共起確率Pwになるという仮定の下で、N1個の前記第1画像のうち、Nx個の前記第1画像が前記共起画像となる確率を、前記第1人物についての前記p値として算出し、
ランダムに選ばれた1個の前記第2画像が前記共起画像である確率が前記全体共起確率Pwになるという仮定の下で、N2個の前記第2画像のうち、Nx個の前記第2画像が前記共起画像となる確率を、前記第2人物についての前記p値として算出する、請求項7に記載の画像解析装置。
【請求項9】
前記解析対象画像に写っている人物が3人以上存在する場合、前記画像解析部は、前記第1人物と前記第2人物との組み合わせを変えて、前記第1人物と前記第2人物との間の親密度を前記組み合わせ毎に評価する、請求項1乃至8のいずれか一項に記載の画像解析装置。
【請求項10】
前記画像解析部は、前記解析対象画像に写った人物を識別し、それぞれの前記解析対象画像における人物の識別結果に基づいて前記第1画像の数N1、前記第2画像の数N2、及び前記共起画像の数Nxをそれぞれ特定する、請求項1乃至9のいずれか一項に記載の画像解析装置。
【請求項11】
画像記憶部が、画像を記憶するステップと、
画像解析部が、前記画像記憶部に記憶された画像を解析対象画像として用いるステップと、を有し、
前記画像解析部は、前記解析対象画像を用いるステップにおいて、
前記解析対象画像のうち、第1人物が写った第1画像の数N1、第2人物が写った第2画像の数N2、並びに、前記第1人物及び前記第2人物が一緒に写った共起画像の数Nxをそれぞれ特定し、
Nx個の前記解析対象画像が前記共起画像となる
事象の起こり難さについての確率を、前記第1画像の数N1、前記第2画像の数N2及び前記共起画像の数Nxに基づいて算出し、
前記確率を用いて、前記第1人物及び前記第2人物の間の親密度を評価することを特徴とする画像解析方法。
【請求項12】
請求項11に記載の画像解析方法の各々のステップをコンピュータに実行させるためのプログラム。
【請求項13】
請求項11に記載にした画像解析方法の各々のステップをコンピュータに実行させるためのプログラムが記録された、コンピュータによって読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像解析装置及び画像解析方法に係り、特に、画像提供者が提供した画像に写っている人物間の親密度を評価することが可能な画像解析装置及び画像解析方法に関する。
また、本発明は、コンピュータを上記の画像解析装置として機能させるためのコンピュータプログラム、及び、そのコンピュータプログラムを記録した記録媒体に関する。
【背景技術】
【0002】
現在では、通信技術の発展により、画像の提供及びユーザ間の共有が頻繁に行われ、各ユーザは、自分が撮影した画像を個人用端末、例えばパソコン、スマートフォン若しくはタブレット端末等にて保管する代わりに、サーバコンピュータ等の外部装置にアップロードして保管させておくことができる。
【0003】
画像を保管するコンピュータの中には、保管中の画像を対象として所定の解析処理を実行するものが存在する。このような画像解析装置の一例としては、画像に写っている人物を識別し、識別した人物が複数いる場合には人物間の親密度を評価するものが挙げられる(例えば、特許文献1及び2参照)。
【0004】
特許文献1に記載の装置(具体的には、パソコン及びサーバ等の電子機器)は、画像提供者から取得した画像を解析し、画像に含まれる人物間の親密度を示す人物関係深度情報を作成することができる。特許文献1において、ある人物と他の人物との親密度は、これら2人の人物が共に写った画像(以下、共起画像とも言う)の数が多いほど高く設定される。
【0005】
特許文献2に記載の装置(具体的には、画像分類装置)は、例えば電子カメラからなり、画像提供者から取得した画像を記憶するものではないが、入力画像に写った人物の顔を識別し、入力画像に写った人物の間の相関値を設定することができる。相関値は、入力画像に写った人物の間の親しさの度合いを表し、一つの画像に一緒に写っている頻度が高くなるほど(換言すると、共起画像の数が多くなるほど)大きくなる。
【先行技術文献】
【特許文献】
【0006】
【文献】特開2013-8182号公報
【文献】特開2008-71112号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかし、特許文献1及び2に記載の技術では、画像提供者から取得した画像の数が時間の経過に伴って増えると、共起画像の数も併せて増える場合がある。例えば、実際には然程親しくない2人の人物A、Bの画像が時間の経過とともに増えていくと、その2人の人物A、Bが一緒に写っている画像(共起画像)が連動して増えることがある。この場合、共起画像の数が所定数以上に増えると、実際には親しくない間柄であるにも関わらず、人物A、Bの間の親密度が高いと誤って判断してしまう虞がある。
【0008】
上記の問題への対応策としては、人物A、Bの双方が一緒に写っている共起画像の数をNxとし、人物A、Bのうちの少なくとも一方が写っている画像の数をNyとして、下記の式(f1)に代入して親密度Affinity(A,B)を算出することが考えられる。
Affinity(A,B)=Nx/Ny 式(f1)
上記の式にて算出される値は、Tanimoto係数若しくはJaccard係数と呼ばれ、その値を親密度として採用すれば、単純に共起画像の数のみから親密度を求める場合よりも妥当な親密度が得られる。
【0009】
しかしながら、Tanimoto係数を親密度として算出する場合、上記2種類の画像数Nx、Nyの割合のみによって算出されるので、特にNyが小さい場合には、少数の特異なデータが発生する確率が高まり、その算出結果が妥当性を欠く虞がある。
【0010】
上記の不具合について具体例を挙げて説明すると、極端なケースではあるが、1000個の解析対象画像のうち、人物A、Bが写っている画像の数が1個のみであり、その画像に人物A、Bが偶然一緒に写っている場合、Nx=Ny=1となるので、上記の式(f1)から算出される親密度Affinity(A,B)は、最大値である1となる。かかるケースをC1とする。
他方、極端なケースではあるが、100個の解析対象画像のすべてが共起画像であって各画像に人物A、Bの双方が一緒に写っている場合には、Nx=Ny=100となるので、この場合にも親密度Affinity(A,B)が1となる。かかるケースをC2とする。
【0011】
ケースC2は、100個の解析対象画像のすべてが共起画像であり、偶然に起こり得るとは考え難いはずであるのに、上記の通り、ケースC1、C2の間で親密度が同一値となってしまう。つまり、人物A、Bの間の親密度の算出結果に関しては、本来、ケースC1とケースC2との間で相違するはずであるのに、上記の式(f1)を用いると同一の親密度となり、妥当な算出結果が得られない虞がある。
【0012】
本発明は、上記の事情に鑑みてなされたものであり、以下に示す目的を解決することを課題とする。
本発明は、上記従来技術の問題点を解決し、解析対象画像に写っている人物間の親密度について、時間経過等に伴って解析対象画像が増えた場合にも適切に評価することが可能な画像解析装置及び画像解析方法を提供することを目的とする。
また、本発明は、コンピュータに実行させることで上記の画像解析方法を実現させるためのコンピュータプログラム、及び、コンピュータプログラムを記録した記録媒体を提供することをも目的とする。
【課題を解決するための手段】
【0013】
上記の目的を達成するために、本発明の画像解析装置は、画像提供者から提供された画像を記憶する画像記憶部と、一人の画像提供者から提供されて画像記憶部に記憶された画像を解析対象画像として解析する画像解析部と、を有し、画像解析部は、解析対象画像のうち、第1人物が写った第1画像の数N1、第2人物が写った第2画像の数N2、並びに、第1人物及び第2人物が一緒に写った共起画像の数Nxをそれぞれ特定し、Nx個の解析対象画像が共起画像となる事象の起こり難さについての有意確率を、第1画像の数N1、第2画像の数N2及び共起画像の数Nxに基づいて算出し、有意確率を用いて、第1人物及び第2人物の間の親密度を評価することを特徴とする。
【0014】
上記のように構成された本発明の画像解析装置によれば、解析対象画像のうち、第1画像、第2画像及び共起画像の各々の数を特定し、特定した各画像の数に基づいて、Nx個の解析対象画像が共起画像となる事象の起こり難さについて、上側及び下側の両方での仮説検定を行って有意確率を算出する。有意確率は、解析対象画像の数の変化(増加)に応じて変わり得るので、有意確率を用いることで、解析対象画像の数が増えた場合にも、第1人物及び第2人物の間の親密度を適切に評価することが可能となる。
【0015】
また、上記の画像解析装置において、画像解析部は、解析対象画像の数Naと、解析対象画像のうち、第1人物及び第2人物の双方が写っていない第3画像の数N3と、をさらに特定し、解析対象画像の数Na、第1画像の数N1、第2画像の数N2、第3画像の数N3、及び共起画像の数Nxを用いて、Fisherの正確確率検定に用いられるp値を有意確率として算出してもよい。
より具体的には、画像解析部は、共起画像の数Nxをaとし、第1画像の数N1と共起画像の数Nxとの差をbとし、第2画像の数N2と共起画像の数Nxとの差をcとし、第3画像の数N3をdとし、解析対象画像の数Naをnとして下記の式(1)に示すpを求め、求めたpからp値を算出するとよい。
p={(a+b)!(c+d)!(a+c)!(b+d)!}
/{a!b!c!d!n!} 式(1)
上記の要領で算出されるp値を用いることで、第1人物と第2人物との間の親密度を、解析対象画像の数を踏まえて適切に評価することが可能となる。
【0016】
また、上記の画像解析装置において、画像解析部は、解析対象画像の数Naを特定し、解析対象画像の数Naに対する第1画像の数N1の比率N1/Naと、解析対象画像の数Naに対する第2画像の数N2の比率N2/Naとを掛け合わせて標準共起確率Psを求め、解析対象画像の数Na、共起画像の数Nx及び標準共起確率Psを用いて、二項検定に用いられるp値を有意確率として算出してもよい。
上記の要領で算出されるp値は、前述したFisherの正確確率検定に用いられるp値と同様、解析対象画像の数を反映した値となるので、そのp値を用いることで、第1人物と第2人物との間の親密度を適切に評価することが可能となる。
【0017】
また、上記の画像解析装置において、画像解析部は、少なくとも人物が写った解析対象画像の総数を、解析対象画像の数Naとして特定するとよい。
上記の構成であれば、風景写真の撮影回数が多くなる等の撮影者の撮影傾向によらず、人物が写っていない画像が解析対象画像から外れるので、解析対象画像の数を踏まえて有意確率を算出すると、人物が写っていない画像を解析対象画像に含める場合と比べて、より妥当な算出結果を得ることが可能である。
【0018】
また、上記の画像解析装置において、画像解析部は、第1人物にとっての第2人物との親密度、及び第2人物にとっての第1人物との親密度をそれぞれ評価するために、二項検定に用いられるp値を、有意確率として、第1人物及び第2人物の各々について算出してもよい。
上記の場合、画像解析部は、解析対象画像の数Naを特定し、Na個の解析対象画像に写っている人物の数mを特定し、Na個の解析対象画像中、対象人物が他の人物と一緒に写った特定画像の比率を、他の人物毎に求め、他の人物毎に求めた比率の総和を、他の人物の数(m-1)で除することで、対象人物についての人物別共起確率を算出し、Na個の解析対象画像に写っている人物の各人を対象人物として、各人についての人物別共起確率を繰り返し算出し、各人について算出した人物別共起確率の総和を、Na個の解析対象画像に写っている人物の数mで除することで、全体共起確率Pwを算出し、全体共起確率Pwを用いて、第1人物及び第2人物の各々についてp値を算出するとよい。
より詳しく説明すると、画像解析部は、ランダムに選ばれた1個の第1画像が共起画像である確率が全体共起確率Pwになるという仮定の下で、N1個の第1画像のうち、Nx個の第1画像が共起画像となる確率を、第1人物についてのp値として算出し、ランダムに選ばれた1個の第2画像が共起画像である確率が全体共起確率Pwになるという仮定の下で、N2個の第2画像のうち、Nx個の第2画像が共起画像となる確率を、第2人物についてのp値として算出するとよい。
以上の構成であれば、解析対象画像のうち、第1人物が写った第1画像の数と第2人物が写った第2画像の数とが大きく異なる場合に、第1人物及び第2人物の各々について算出したp値を用いて、各人物にとっての親密度を適切に評価することができる。
【0019】
また、上記の画像解析装置において、解析対象画像に写っている人物が3人以上存在する場合、画像解析部は、第1人物と第2人物との組み合わせを変えて、第1人物と第2人物との間の親密度を組み合わせ毎に評価してもよい。
上記の構成であれば、解析対象画像に写っている3人以上の人物について、各人物間の親密度を評価することが可能となる。
【0020】
また、上記の画像解析装置において、画像提供者から提供される画像を、画像提供者の利用端末との通信を通じて取得する画像取得部を有し、画像取得部が画像を取得する都度、画像記憶部は、画像取得部によって取得された画像を記憶するとよい。
上記の構成であれば、画像記憶部に記憶される画像が増加していくので、それに伴って、解析対象画像の数も変化する(増加する)場合がある。この場合には、解析対象画像の数が変化した場合にも親密度を適切に評価するという本発明の効果がより有意義なものとなる。
【0021】
また、上記の画像解析装置において、画像解析部は、解析対象画像に写った人物を識別し、それぞれの解析対象画像における人物の識別結果に基づいて第1画像の数N1、第2画像の数N2、及び共起画像の数Nxをそれぞれ特定するとよい。
上記の構成であれば、解析対象画像に写った人物の識別結果に基づいて各画像の数を適切に特定することが可能となる。
【0022】
また、前述の目的を達成するために、本発明は、画像記憶部が、画像提供者から提供された画像を記憶するステップと、画像解析部が、一人の画像提供者から提供されて画像記憶部に記憶された画像を解析対象画像として解析するステップと、を有し、画像解析部は、解析対象画像を解析するステップにおいて、解析対象画像のうち、第1人物が写った第1画像の数N1、第2人物が写った第2画像の数N2、並びに、第1人物及び第2人物が一緒に写った共起画像の数Nxをそれぞれ特定し、Nx個の解析対象画像が共起画像となる事象の起こり難さについての有意確率を、第1画像の数N1、第2画像の数N2及び共起画像の数Nxに基づいて算出し、有意確率を用いて、第1人物及び第2人物の間の親密度を評価することを特徴とする画像解析方法を提供する。
【0023】
また、本発明は、上記に記載の画像解析方法の各々のステップをコンピュータに実行させるためのプログラムを提供する。
さらに、本発明は、上記に記載の画像解析方法の各々のステップをコンピュータに実行させるためのプログラムが記録された、コンピュータによって読み取り可能な記録媒体を提供する。
【0024】
また、本発明は、記憶装置及びプロセッサを備える画像解析装置であって、記憶装置が画像提供者から提供された画像を記憶し、プロセッサが、一人の画像提供者から提供されて記憶装置に記憶された画像を解析対象画像として解析する画像解析部として機能し、画像解析部としてのプロセッサは、解析対象画像のうち、第1人物が写った第1画像の数N1、第2人物が写った第2画像の数N2、並びに、第1人物及び第2人物が一緒に写った共起画像の数Nxをそれぞれ特定し、Nx個の解析対象画像が共起画像となる事象の起こり難さについての有意確率を、第1画像の数N1、第2画像の数N2及び共起画像の数Nxに基づいて算出し、有意確率を用いて、第1人物及び第2人物の間の親密度を評価するように構成された画像解析装置を提供する。
また、本発明は、画像を記憶する画像記憶部と、画像記憶部に記憶された画像を解析対象画像として用いる画像解析部と、を有し、画像解析部は、解析対象画像のうち、第1人物が写った第1画像の数N1、第2人物が写った第2画像の数N2、並びに、第1人物及び第2人物が一緒に写った共起画像の数Nxをそれぞれ特定し、Nx個の解析対象画像が共起画像となる確率を、第1画像の数N1、第2画像の数N2及び共起画像の数Nxに基づいて算出し、確率を用いて、第1人物及び第2人物の間の親密度を評価することを特徴とする画像解析装置を提供する。
【発明の効果】
【0025】
本発明によれば、一人の画像提供者から提供されて画像記憶部に記憶された画像を解析対象画像とし、解析対象画像の数が変化しても、解析対象画像に写った人物間の親密度を適切に評価することができる画像解析装置及び画像解析方法が実現される。
また、本発明によれば、上記の画像解析方法をコンピュータに実行させるためのプログラム、及び、そのプログラムを記録した記録媒体を提供することが可能となる。
【図面の簡単な説明】
【0026】
【
図1】本発明の画像解析装置を含む画像解析システムの構成例を示すブロック図である。
【
図2】本発明の一実施形態に係る画像解析装置が有する機能の説明図である。
【
図3】本発明の画像解析方法の手順を示すフロー図である。
【
図6】各解析対象画像と画像中に写った人物との対応関係を示す図である。
【
図7】各画像数の特定結果の第1例を示す図である。
【
図8】統計言語Rにて記述された、p値の算出コードを示す図である。
【
図9】各画像数の特定結果の第2例を示す図である。
【
図10】各画像数の特定結果の第3例を示す図である。
【
図11】変形例に係る画像解析処理の流れを示す図である。
【
図12】各画像数の特定結果の第4例を示す図である。
【
図13】各画像数の特定結果の第5例を示す図である。
【発明を実施するための形態】
【0027】
以下、本発明の画像解析装置、画像解析方法、プログラム及び記録媒体について、添付の図面に示す好適な実施形態(以下、本実施形態)に基づいて詳細に説明する。
【0028】
なお、以下に説明する実施形態は、本発明を分かり易く説明する目的で挙げた一例にすぎず、本発明を限定するものではない。すなわち、本発明は、以下に説明する実施形態に限られず、本発明の主旨を逸脱しない範囲において種々の改良又は変更され得る。また、当然ながら、本発明には、その等価物が含まれる。
【0029】
<<画像解析装置の概要>>
本実施形態に係る画像解析装置について、その概要を説明する。本実施形態に係る画像解析装置10は、
図1に示すサーバコンピュータ12によって構成されている。サーバコンピュータ12は、本発明のコンピュータに該当し、
図1に示すように、ネットワーク14を介して1台以上の利用端末16(クライアント)と通信可能に接続されており、各利用端末16とともに画像解析システム100を構築している。
図1は、本実施形態に係る画像解析装置10を含む画像解析システム100を示すブロック図である。なお、
図1では、図示の便宜上、利用端末16の台数を三台としているが、利用端末16の台数は、任意の台数でよい。
【0030】
サーバコンピュータ12は、画像提供者から画像を取得する。画像提供者は、画像解析システム10の利用ユーザであり、利用端末16を通じて画像をサーバコンピュータ12に提供(すなわち、アップロード)する。ここで、画像とは、画像データのことであり、具体的には、JPEG(Joint Photographic Experts Group)形式のような非可逆圧縮の画像データ、GIF(Graphics Interchange Format)又はPNG(Portable Network Graphics)形式のような可逆圧縮の画像データ等が該当する。また、画像データは、静止画像のデータに限られず、動画像のデータを含んでもよい。
【0031】
また、サーバコンピュータ12は、画像提供者から取得した画像を記憶してストックし、具体的には、サーバコンピュータ12が有する記憶装置18に、各画像提供者から取得した画像を画像提供者のアカウント別にストックする。また、サーバコンピュータ12は、ストックされた画像を管理し、例えば、ある画像提供者から提供された画像を、決められた公開条件に則って公開する。
【0032】
さらに、サーバコンピュータ12は、本発明の画像解析装置10として機能し、ストックされた画像を解析することができる。具体的に説明すると、サーバコンピュータ12は、画像中に写っている人物を識別し、識別した人物が2人いる場合には、人物間の親密度を統計的手法によって評価する。このようなサーバコンピュータ12の画像解析サービスを利用することにより、各画像提供者は、自分が提供した画像に写っている人物の間の親密度を把握することできる。
【0033】
なお、画像が動画像である場合、サーバコンピュータ12は、KFE(Key Frame Extraction)技術を利用して、動画像から、シーンの変わり目などのキーとなるフレーム画像(静止画像)を抽出し、抽出されたフレーム画像を上記の要領で解析して、フレーム画像に写った人物間の親密度を評価してもよい。
【0034】
サーバコンピュータ12の更なる機能としては、親密度の評価結果を利用して、親密度が評価された当事者のうちの一方(以下、第1人物と言う。)に関する情報を、もう一方の当事者(以下、第2人物と言う。)に通知することが挙げられる。具体的に説明すると、第1人物が写った画像から第1人物に関する情報、例えば趣味等に関する情報を抽出し、その情報を、第1人物との親密度が高いと評価された第2人物に提案(リコメンド)するという機能がサーバコンピュータ12に備わってもよい。
【0035】
なお、本実施形態では、サーバコンピュータ12が一台であるが、これに限定されず、複数のサーバコンピュータ12が用いられてもよく、その場合には、複数のサーバコンピュータ12が協働して本発明の画像解析装置10を構成してもよい。
【0036】
利用端末16は、画像提供者が利用する通信用の端末であり、前述したように、画像提供者は、例えば、自分が撮影した画像を、利用端末16を通じてサーバコンピュータ12に提供(アップロード)することができる。
なお、利用端末16は、PC(Personal Computer)、タブレット端末、PDA(Personal Data Assistant)、携帯電話及びスマートフォン等の携帯通信機器、並びに通信機能付きのデジタルカメラ等のいずれかによって構成されるが、以下では、利用端末16がカメラ付きのスマートフォンである場合を例に挙げて説明することとする。
【0037】
<<本実施形態に係る画像解析装置の構成について>>
次に、本実施形態に係る画像解析装置10の構成について詳しく説明する。本実施形態に係る画像解析装置10は、前述したように、一台のサーバコンピュータ12によって構成されている。このサーバコンピュータ12は、プロセッサ(具体的には、CPU(Central Processing Unit))を備えており、プロセッサが画像解析用のプログラム(以下、画像解析プログラム)を読み取って各種のデータ処理を実施することにより、画像解析装置10としての機能を発揮する。
【0038】
画像解析プログラムは、本発明のプログラムに相当し、サーバコンピュータ12のメモリに記憶されている。メモリとしては、例えば、ROM(Read Only Memory)、RAM(RANDOM Access Memory)、DRAM(Dynamic Random Access Memory)、若しくはSRAM(Static Random Access Memory)等が利用可能であるが、これら以外の公知のメモリを利用してもよい。
【0039】
また、サーバコンピュータ12は、内蔵式又は外付け形式の記憶装置18(ストレージデバイス)を備えており、各利用端末16から送られてくる画像を画像提供者別(厳密には、画像提供者のアカウント別)に記憶する。より詳しく説明すると、記憶装置18は、画像提供者のアカウント別に設けられた画像記憶部22を有しており、ある画像提供者から画像が提供されると、その画像は、その提供元である画像提供者のアカウントと対応する画像記憶部22に記憶(格納)される。
【0040】
なお、記憶装置18としては、例えば、例えば、HDD(Hard Disk Drive)、SSD(Solid State Drive)、SD(Secure Digital)メモリ等の記憶デバイスが利用可能であるが、これら以外の公知の記憶装置(外部記憶装置)を利用してもよい。また、複数のサーバコンピュータによって画像解析装置10が構成される場合には、画像解析処理を実行するサーバコンピュータ以外のサーバコンピュータに設けられたHDD等の外部記憶装置を記憶装置18として利用してもよい。
【0041】
次に、
図2を参照しながら、本実施形態に係る画像解析装置10の構成を機能面から改めて説明する。
図2は、本実施形態に係る画像解析装置10の構成を機能面から説明するための図である。
【0042】
画像解析装置10は、
図2に示すように、主な処理部として、画像取得部21、画像記憶部22及び画像解析部23を有する。これらの処理部のうち、画像記憶部22は、サーバコンピュータ12の記憶装置18によって構成されており、画像取得部21及び画像解析部23は、サーバコンピュータ12のハードウェア機器と、サーバコンピュータ12に格納されたソフトウェアとしての画像解析プログラムとが協働することで実現される。
【0043】
各処理部について付言しておくと、本実施形態では、画像解析装置10の各処理部(すなわち、画像取得部21、画像記憶部22、及び画像解析部23)を構成するハードウェアが、プログラムを実行する汎用的なプロセッサ、より具体的には、サーバコンピュータ12が備える1台又は2台以上のCPU(Central Processing Unit)であるが、これに限定されるものではなく、上記の処理部を構成する専用のハードウェアが用いられてもよい。あるいは、CPU以外のプロセッサとして、FPGA(Field Programmable Gate Array)等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、及びASIC(Application Specific Integrated Circuit)等の特定の処理をさせるために専用に設計された回路構成を有するプロセッサである専用電気回路等が利用可能である。
また、一つの処理部を、上述した各種プロセッサのうちの一つで構成してもよいし、同種または異種の二つ以上のプロセッサの組み合わせ、例えば、複数のFPGAの組み合わせ、またはFPGA及びCPUの組み合わせ等によって構成してもよい。また、複数の処理部を、各種のプロセッサのうちの一つで構成してもよいし、複数の処理部のうちの二つ以上をまとめて一つのプロセッサを用いて構成してもよい。
また、システムオンチップ(System on Chip:SoC)等に代表されるように、複数の処理部を含むシステム全体の機能を一つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。
さらに、上述した各種プロセッサのハードウェア構成は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路(Circuitry)である。
【0044】
画像解析装置10の各処理部について説明すると、画像取得部21は、画像提供者から提供される画像を、その画像提供者の利用端末16との通信を通じてネットワーク14経由で取得する。
【0045】
画像記憶部22は、画像提供者のアカウント別に設けられ、対応する画像提供者から提供された画像を記憶する。具体的に説明すると、一人の画像提供者から画像が提供されると、その都度、画像取得部21が画像を取得し、上記の画像提供者のアカウントと対応する画像記憶部22が、画像取得部21によって取得された画像を記憶してストックする。
【0046】
画像解析部23は、一人の画像提供者から提供されて画像記憶部22に記憶された画像を解析対象画像として解析する。具体的に説明すると、ある画像提供者が過去に提供した画像に対して画像解析を要求した場合、画像解析部23は、その要求を受け付け、要求を行った画像提供者のアカウントと対応する画像記憶部22に記憶された画像を解析対象画像として解析する。
【0047】
本実施形態では、人物が写っている画像を解析対象画像としており、人物が写っていない画像(例えば、被写体が風景又は物のみである画像)は、解析対象画像から除かれる。
【0048】
画像解析部23は、画像解析処理として、人物識別処理、画像数特定処理、及び親密度評価処理を実行する。人物識別処理は、解析対象画像に写った人物を識別する処理である。具体的な人物識別技術については、特に限定されないが、一例を挙げて説明すると、解析対象画像に写っている人物の顔を抽出し、抽出した顔の特徴量を算出し、算出した特徴量を、過去に登録された人物画像の特徴量と照合(パターンマッチング)する。照合の結果、特徴量が一定の精度で一致する場合には、解析対象画像に写った人物が登録済み人物と同一人であると判定する。反対に、特徴量が相違する場合には、顔の特徴量が算出された人物を新たに登録する。このような技術としては、例えば、Google社のGoogle Photo、Apple社のiphoto、Sony社のPicture Motion Browser、Adobe System社のAdobe Photoshop Lightroom等の画像管理ソフトウェアに搭載されている、同一人物が写った写真を抽出する技術と同様の技術を利用することができる。
【0049】
画像数特定処理は、解析対象画像の総数Naを特定し、且つ、それぞれの解析対象画像における人物の識別結果に基づいて、解析対象画像のうち、所定の人物が写った画像の数を特定する処理である。具体的には、その後の親密度評価処理において親密度が評価される2人の人物を第1人物及び第2人物とし、解析対象画像のうち、第1人物が写った第1画像の数N1、第2人物が写った第2画像の数N2、並びに、第1人物及び第2人物が一緒に写った共起画像の数Nxを特定する。本実施形態では、さらに、解析対象画像のうち、第1人物及び前記第2人物の双方が写っていない第3画像の数N3を特定する。
【0050】
親密度評価処理は、解析対象画像に写った人物の間の親密度、より具体的には第1人物及び第2人物の間の親密度を、画像数特定処理にて特定した各種類の画像の数に基づいて評価する処理である。親密度とは、人物同士の間の親しさの度合いであり、親族及び親友等の親しい間柄である場合には親密度が高くなる。
【0051】
また、解析対象画像に写っている人物が3人以上存在する場合、親密度評価処理では、各人物間の親密度をそれぞれ評価する。つまり、上記の場合、画像解析部23は、第1人物と第2人物との組み合わせを変えて、第1人物と第2人物との間の親密度を組み合わせ毎に評価し、親密度の評価をすべての組み合わせに対して繰り返し行う。
【0052】
親密度評価処理において、画像解析部23は、第1人物と第2人物との間の親密度を評価するにあたり、Na個の解析対象画像のうち、Nx個の解析対象画像が共起画像となる事象(以下、共起事象と言う。)の起こり難さについての有意確率を算出する。り詳しく説明すると、画像解析部23は、有意確率として、共起事象の起こり難さについてのp値を算出する。p値は、統計的仮説検定において、帰無仮説の元で検定統計量がその値となる確率であり、p値が小さいほど、検定統計量がその値となることはあまり起こりえないことを意味する(統計WEB『統計用語集』より引用)。なお、p値については、その算出結果が得られればよく、p値の算出結果を用いて仮説検定を行うことまでは必ずしも要しない。
【0053】
本実施形態では、第1画像の数N1、第2画像の数N2、第3画像の数N3及び共起画像の数Nxに基づいて、Fisherの正確確率検定に用いられるp値を算出する。そして、画像解析部23は、算出したp値を用いて、第1人物と第2人物との間の親密度を評価する。これにより、本実施形態では、親密度を適切に評価することができ、具体的には、人が感じ取る親密度と整合するように親密度を評価することができる。
【0054】
より詳しく説明すると、『発明が解決しようとする課題』の項で説明したように、特許文献1及び2等に例示される従来の技術では、解析対象画像に写った人物の間の親密度を、解析対象画像のうちの共起画像の数から評価していた。しかし、時間の経過に伴って画像ストック数が増えた際に、共起画像の数も増える場合があり、例えば、実際には親しくない二人の人物が写った共起画像の数が所定数以上に増えると、それらの人物の間の親密度が高いと誤って判断してしまう虞がある。
【0055】
一方、前述した式(f1)から導出される値、すなわちTanimoto係数(Jaccard係数)から親密度を評価すれば、単純に共起画像の数のみから親密度を求める場合よりも妥当な親密度が得られる。しかしながら、Tanimoto係数(Jaccard係数)を用いたとしても、解析対象画像の数を考慮しないと、親密度を誤って評価してしまう虞がある。
【0056】
この点に関して一例を挙げて説明すると、1000個の解析対象画像のうち、人物A、Bが写った画像の数が1個のみで、且つ、その画像に人物A、Bが一緒に写っている場合、Tanimoto係数は、最大値である1となり、親密度が高いと判断される。また、100個の解析対象画像のすべてが、人物A、Bの双方が一緒に写った共起画像である場合にも、Tanimoto係数が同じく1となる。このように上記2つのケースでは、Tanimoto係数が同一値となるが、後者のケースの方が起こり難いと考えられ、そのことを踏まえて人物A、Bの間の親密度を評価すべきである。
【0057】
これに対して、本実施形態では、共起事象の起こり難さについての有意確率を用いて親密度を評価する。p値は、解析対象画像の数を反映しているため、p値を用いて親密度を評価すれば、p値の算出時点での解析対象画像の数を踏まえて適切に評価することが可能である。例えば、解析対象画像が少ない場合であっても、p値を用いることにより、少ないなりに親密度を適切に評価することができ、より詳しくは、有意差が小さくなるので誤判定とはならない。
なお、共起事象の起こり難さについての指標(有意確率)は、頻度主義的なp値に限定されず、p値以外の指標、例えば、信頼区間又はベイズ推定の理論を組み合わせてもよく、あるいは、重み付きDice係数又は相互情報量による補正をさらに適用してもよい。
【0058】
<<画像解析装置の動作例について>>
次に、画像解析装置10の動作例として、画像提供者から画像を取得してから画像を解析するまでの流れ(以下、画像解析フローと言う。)について説明する。画像解析フローは、画像解析装置10を構成するサーバコンピュータ12により、
図3に示す手順に従って進行する。
図3は、画像解析フローの手順を示す図である。
【0059】
画像解析フローは、
図3に示すように、画像取得ステップS001、画像記憶ステップS002、及び画像解析ステップS003を有する。画像取得ステップS001では、サーバコンピュータ12(詳しくは、画像取得部21)が、画像提供者が提供した画像を、画像提供者の利用端末16との通信を通じて取得する。より詳しく説明すると、画像提供者は、利用端末16を通じて提供画像を指定し、利用端末16は、その操作を受け付けると、画像提供者により指定された画像をサーバコンピュータ12に向けて送信する。画像取得部21は、利用端末16から送られてくる画像を、ネットワーク14を介して取得する。
【0060】
なお、利用端末16から送られる画像は、利用端末16のカメラによって撮影された画像でもよく、あるいは、古い写真(アナログ画像)をスキャナ等によって読み取ってデジタル化(データ化)した後に利用端末16に取り込まれた画像であってもよい。
【0061】
画像記憶ステップS002では、画像提供者から提供された画像が、サーバコンピュータ12の記憶装置18において、画像提供者のアカウントと対応する画像記憶部22に記憶される。画像取得ステップS001及び画像記憶ステップS002は、画像提供者が画像を提供する度に繰り返して実行され、同じ画像提供者により提供される画像が増えるほど、その画像提供者のアカウントと対応する画像記憶部22に記憶される画像数が増えることになる。
【0062】
画像解析ステップS003では、サーバコンピュータ12(詳しくは、画像解析部23)が、一人の画像提供者から提供されて画像記憶部22に記憶された画像を解析対象画像として解析する。具体的には、ある画像提供者が画像解析を要求すると、その画像提供者のアカウントと対応する画像記憶部22に記憶された画像を対象として、前述した人物識別処理、画像数特定処理、及び親密度評価処理が実施される。以下、上記3つの処理をまとめて画像解析処理と呼ぶこととする。
【0063】
画像解析ステップS003において、一連の画像解析処理は、
図4に示す流れに従って実施される。
図4は、本実施形態に係る画像解析処理の流れを示す図である。以下、画像解析処理の流れについて、ある画像提供者X氏から提供されて画像記憶部22に記憶された画像を解析対象画像とするケースを例に挙げて具体的に説明する。
【0064】
画像解析処理の実施に際して、画像解析部23は、X氏から提供されて画像記憶部22に記憶された画像のうち、
図5のように人物が写った画像を抽出し、抽出した画像を解析対象画像として設定する(S011)。
図5は、人物が写った解析対象画像の一例を示す図である。なお、画像中に人物が写っているか否かを判定する技術については、説明を省略するが、公知の画像処理技術が利用可能である。
【0065】
次に、画像解析部23は、人物識別処理を実施し、前述した手順により、各々の解析対象画像に写っている人物を識別する(S012)。以下、説明をより分かり易くするため、各解析対象画像において識別された人物が
図6に示す通りである場合を例に挙げて説明する。
図6は、各解析対象画像と画像中に写った人物との対応関係を示す図であり、図中の「A~E」は、解析対象画像に写った人物を示している。例えば、画像番号[0001]の解析対象画像には人物A、B及びEの3人が写っている。また、
図6に示すケースでは、解析対象画像が1000枚であり、1000枚の解析対象画像に写っている人物がA~Eの5人であることとする。
【0066】
次に、画像解析部23は、画像数特定処理を実施し、各種の画像数を特定する(S013)。画像数特定処理において、画像解析部23は、解析対象画像の数Na、厳密には少なくとも人物が写った解析対象画像の総数を特定する。
【0067】
また、画像数特定処理において、画像解析部23は、解析対象画像に写った人物から第1人物及び第2人物を一人ずつ選び、第1人物と第2人物との組み合わせを設定する。
図6のケースでは、解析対象画像に写っている人物がA~Eの5人であり、組み合わせとしては、A-B、A-C、A-D、A-E、B-C、B-D、B-E、C-D、C-E、D-Eの10通りが考えられる。
【0068】
そして、画像解析部23は、各組み合わせについて第1画像、第2画像、第3画像及び共起画像の各々の数を特定する。例えば、組み合わせがA-Bである場合には、Aを第1人物とし、Bを第2人物として上記4種類の画像の数をそれぞれ特定する。このとき、各種類の画像の数は、それぞれの解析対象画像における人物の識別結果(つまり、
図6に示す対応関係)に基づいて特定される。
【0069】
各種の画像数を特定した後、画像解析部23は、親密度評価処理を実施し、各組み合わせに係る人物(例えば、人物A、B)の間の親密度を評価する。親密度評価処理において、画像解析部23は、各組み合わせについて前述のp値を算出する(S014)。本実施形態では、前のステップS013で特定した解析対象画像の数Na、第1画像の数N1、第2画像の数N2、第3画像の数N3、及び共起画像の数Nxを用いて、Fisherの正確確率検定に用いられるp値を算出する。
【0070】
より詳しく説明すると、画像解析部23は、共起画像の数Nxをaとし、第1画像の数N1と共起画像の数Nxとの差をbとし、第2画像の数N2と共起画像の数Nxとの差をcとし、第3画像の数N3をdとし、解析対象画像の数Naをnとして下記の式(1)に示すpを求め、求めたpからp値を算出する。
p={(a+b)!(c+d)!(a+c)!(b+d)!}
/{a!b!c!d!n!} 式(1)
【0071】
上記の式(1)中のパラメータbは、解析対象画像のうち、第1人物が写っていて第2人物が写っていない画像の数に相当し、パラメータdは、第2人物が写っていて第1人物が写っていない画像の数に相当する。
【0072】
例えば、組み合わせA-Bについて特定した各種の画像数が
図7に示す結果であるとすると、上記の式(1)中の各パラメータは、以下の通りになる。
a=10、b=40、c=40、d=910、n=1000
これらのパラメータa,b,c,d及びnを式(1)に代入すると、pは、0.00008812507となる。この値は、実際の観測データから求められるが、p値を算出するには、実際の観測データよりも極端な場合も含めて考えなければならない。すなわち、小計値であるa+b、c+d、a+c、及びb+dを観測データと同じにしつつ、観測データよりも極端な場合(上記のケースでは、aが0以上であり、且つ、10未満である場合)を想定し、それぞれの場合における式(1)のpを求め、求めたpの総和をp値とする。
【0073】
なお、画像解析部23は、前述したように、サーバコンピュータ12のハードウェア機器と画像解析プログラムとの協働によって実現されるものであるが、画像解析プログラムが統計解析向けのプログラミング言語であるR言語を用いて開発される場合には、Fisherの正確確率検定を実施するための組み込み関数が予め用意されているので、例えば
図8に示す算出コードによってp値を算出することができる。
図8は、統計言語Rにて記述された、p値の算出コードを示す図である。
【0074】
その後、画像解析部23は、算出したp値を用いて、第1人物と第2人物との間の親密度を評価する(S015)。具体的な評価手順について一例を挙げて説明すると、上側検定及び下側検定のそれぞれについてp値の逆数の対数値を求める。ここで、上側検定の対数値が比較的小さいときには、下側検定の対数値が大きくなり(1に近くなり)、反対に、下側検定の対数値が比較的小さいときには、上側検定の対数値が大きくなる。そして、上側検定及び下側検定の両方について求めた対数値のうち、より大きい値を採用する。つまり、上側検定及び下側検定のうち、p値の絶対値がより小さくなる(有意である)検定を親和性評価の指標として採用する。例えば、上側検定を採用する場合、p値の逆数の対数値が大きくなるほど親和性が高い(親密度が高い)と評価され、下側検定を採用した場合、p値の逆数の対数値が大きくなるほど排他性が高い(親密度が低い)と評価される。
ここで、下側検定について求めた対数値の正負を逆転させることで、親和性の値(以下、親和度)を無限区間において表現することができ、これにより、親和性を評価することができ、例えば親和度が小さくなるほど親和性が低いと評価され、親和度が大きくなるほど親和度多高くなる。
【0075】
ちなみに、
図7に示すケース、つまりp値=0.00008812507となるケースでは、Na個(=1000)の解析対象画像のうち、Nx(=10)個の画像が共起画像となることが極めて稀であると言え、第1人物及び第2人物(具体的には、人物AとB)の間の親密度が高いと評価される。
【0076】
一方、例えば、組み合わせA-Bについて特定した各種の画像数が
図9に示す結果であるとすると、上記の式(1)中の各パラメータは、以下の通りになる。
a=10、b=190、c=190、d=610、n=1000
つまり、
図9に示すケースでは、
図7に示すケースと解析対象画像の数Na及び共起画像の数Nxが等しくなっているが、第1画像の数N1及び第2画像の数N2が多く、上記のパラメータを式(1)に代入してp値を求めると、p値が略1となる。この場合、有意であるとは言えず、第1人物及び第2人物(具体的には、人物AとB)の間の親密度が高いとは言い切れない。
【0077】
また、例えば、組み合わせA-Bについて特定した各種の画像数が
図10に示す結果であるとすると、上記の式(1)中の各パラメータは、以下の通りになる。
a=1、b=4、c=4、d=91、n=100
図10に示すケースでは、各種類の画像の数が、
図7に示すケースでの数の1/10であり、上記のパラメータを式(1)に代入してp値を求めると、p値が0.23041となる。この場合、有意であるとは言えず、第1人物及び第2人物(具体的には、人物AとB)の間の親密度が高いとは言い切れない。
【0078】
以上のような要領により、本実施形態では、p値を用いて第1人物と第2人物との間の親密度を評価する。また、本実施形態では、一組の組み合わせについて親密度を評価した後、画像解析部23が、第1人物と第2人物との組み合わせを変えて、上記のステップS013~S015を繰り返し実施する。これにより、第1人物と第2人物との間の親密度が組み合わせ毎に評価される。
【0079】
そして、すべての組み合わせについて親密度を評価し終えた時点で(S016でYes)、画像解析処理が終了する。
【0080】
以上までに説明してきた画像解析フローでは、本発明の画像解析方法が採用されており、換言すれば、本発明の画像解析方法は、画像解析フローにおける各ステップをコンピュータに実行させるためのプログラム(具体的には、画像解析プログラム)によって実施することができる。
【0081】
また、画像解析プログラムが記録されたコンピュータに読み取り可能な記録媒体を提供することも可能である。記録媒体としては、CD-ROM(Compact Disc Read Only Memory)、DVD(Digital Versatile Disc)及びBlu-rayディスク(登録商標)等の光ディスク、フレキシブルディスク等の磁気ディスク、MO(Magneto-Optical disk)等の光磁気ディスク、並びにこれら以外のリムーバブルメディア等が挙げられる。なお、例えば不図示のプログラム配信サーバに内蔵された磁気ディスク、光ディスク又は光磁気ディスク等に画像解析プログラムを予め記憶しておき、プログラム配信サーバから通信回線を介して画像解析プログラムを配信してもよい。
【0082】
<<第1変形例に係る画像解析処理について>>
上述した実施形態では、画像解析処理において親密度を評価する上でp値を算出し、具体的には、Fisherの正確確率検定に用いられるp値を、前述の式(1)によって算出することとした。ただし、p値は、上記の方法によって算出されるものには限定されず、他の方法によって算出されるものを採用してもよく、例えば、二項検定に用いられるp値を有意確率として算出する例(以下、第1変形例)が考えられる。以下、第1変形例に係る画像解析処理について説明し、特にp値の算出方法を詳しく説明する。
【0083】
第1変形例において、画像解析部23は、p値を算出するにあたり、解析対象画像の数Naに対する第1画像の数N1の比率N1/Naと、解析対象画像の数Naに対する第2画像の数N2の比率N2/Naと、を掛け合わせて標準共起確率Psを求める。
図7に示すケースを例に挙げて説明すると、比率N1/Na及び比率N2/Naは、いずれも0.05(=50/1000)となり、標準共起確率Psは、0.0025(=0.25%)となる。
【0084】
そして、画像解析部23は、画像数特定処理において特定した解析対象画像の数Na及び共起画像の数Nxと、前述した標準共起確率Psとを用いて、二項検定に用いられるp値を算出する。具体的には、ランダムに選ばれた1個の解析対象画像が共起画像である確率が標準共起確率Psになるという仮定の下で、Na個の解析対象画像のうち、Nx個の解析対象画像が共起画像となる確率をp値として算出する。より詳しく説明すると、標準共起確率Psを成功確率qとし、解析対象画像の数Naを、成功確率がqである試行の回数nとし、共起画像の数Nxを成功回数kとしたときに、p値は、下記の式(2)により算出される。
【数1】
式(2)
【0085】
以上までに説明してきたように、第1変形例では、二項検定に用いられるp値を算出する。ただし、p値については、上述した式(1)及び(2)から算出されるものとは異なるp値であってもよく、例えば、アンケートなどから得られた親密度が既知のデータを用いた機械学習を実施し、解析対象画像の数Na、共起画像の数Nx、及び標準共起確率Psに対してp値に相当する親密度を予測するモデルを構築し、そのモデルを用いて上記3つの変数(Na,Nx,Ps)から親密度が未知のp値を算出し、親密度を推定してもよい。機械学習に相当する手法としては、頻度主義仮説検定、ベイズ仮説検定、回帰、クラス分類、サポートベクタマシン、及びニューラルネットワークが含まれるが、この限りではない。
【0086】
<<第2変形例に係る画像解析処理について>>
上述した実施形態の画像解析処理では、組み合わせ一組あたりに、第1人物と第2人物の間の親密度を一回評価することとした。つまり、上述した実施形態では、同じ組み合わせであれば共起画像の数Nxが変わらないため、その組み合わせに属する第1人物及び第2人物の各々から見た親密度が互いに等しい(親密度が対称的である)と言え、組み合わせ一組あたりにp値を一回算出することとした。
【0087】
一方、共起画像の数Nxが同じであっても、第1画像の数N1と第2画像の数N2とが大きく相違する場合には、第1人物にとっての第2人物との親密度と、第2人物にとっての第1人物との親密度とが異なる(非対称である)と考えるのが妥当である。以下では、第2変形例として、第1人物にとっての第2人物との親密度、及び、第2人物によっての第1人物との親密度をそれぞれ個別に評価する実施形態について説明する。
【0088】
第2変形例は、画像解析フローが
図3に示すステップ(すなわち、画像取得ステップ、画像記憶ステップ、及び画像解析ステップ)を有する点では、上述の実施形態と共通する。また、第2変形例に係る画像解析ステップでは、一連の画像解析処理が
図11に示す手順にて進行する。
図11に示すように、第2変形例に係る画像解析ステップにおいても、上述の実施形態と同様、解析対象画像を設定し、解析対象画像中の人物を識別し、各種の画像の数を特定する(S021~023)。
図11は、第2変形例に係る画像解析処理の流れを示す図である。
【0089】
また、第2変形例においても、解析対象画像中に写った人物の数が3人以上である場合には、各種の画像数を特定するにあたり、解析対象画像に写った人物から第1人物及び第2人物を一人ずつ選び、第1人物と第2人物との組み合わせを設定する。以下では、第1人物がAであり、第2人物がBである組み合わせA-Bを例に挙げて具体的に説明する。
【0090】
第2変形例の画像解析処理では、人物Aにとっての人物Bとの親密度、及び人物Bにとっての人物Aとの親密度をそれぞれ評価するために、二項検定に用いられるp値を、人物A、Bの各々について算出する(S024~S025)。画像解析部23は、p値を算出する前段階において、解析対象画像の数Na、Na個の解析対象画像に写っている人物の数m、Na個の解析対象画像中、Aが写った画像(第1画像)の数N1、Bが写った画像(第2画像)の数N2、及び、AとBが一緒に写った共起画像の数Nxをそれぞれ特定する。
【0091】
さらに、画像解析部23は、解析対象画像に写った人物の一人を対象人物とし、Na個の解析対象画像中、対象人物が他の人物と一緒に写った特定画像の数Niをそれぞれ特定し、解析対象画像の数Naに対する特定画像の数Niの比率Ni/Naを、他の人物毎に求める。例えば、対象人物をAとすると、解析対象画像に写った人物のうち、A以外の人物(B、C、D、、、、)が他の人物に該当し、他の人物の数(m-1)と同じ数だけ、上記の比率Ni/Naを求めることになる。
【0092】
その後、画像解析部23は、他の人物毎に求めた上記の比率Ni/Naの総和Σ(Ni/Na)を、他の人物の数(m-1)で除することで、対象人物についての人物別共起確率を算出する。例えば、対象人物をAとしたときの人物別共起確率PAは、下記の式(3)にて求められる。
PA={1/(m-1)}×Σ(Ni/Na) (3)
上式のNiは、前述したように、人物Aが他の人物i(B、C、D、、、)と一緒に写った特定画像の数である。なお、PAについては、式(3)のように算術平均として求めてもよいが、調和平均として求めてよい。
【0093】
そして、画像解析部23は、Na個の解析対象画像に写っている人物の各人を対象人物として、各人(すなわち、人物A、B、C、D、、、、)についての人物別共起確率を繰り返し算出する。
【0094】
その後、画像解析部23は、解析対象画像全体で任意の人物が平均して他の人物と一緒に写る全体共起確率Pwを算出する。全体共起確率Pwは、下記の式(4)により、各人について算出した人物別共起確率の総和を、Na個の解析対象画像に写っている人物の数mで除することで得られる。
Pw=1/m×{PA+PB+PC+PD+・・・} (4)
【0095】
そして、画像解析部23は、上記の全体共起確率Pwを用いて、第1人物A及び第2人物Bの各々についてp値を算出する。具体的には、ランダムに選ばれた1個の第1画像が共起画像である確率が全体共起確率Pwになるという仮定の下で、N1個の第1画像のうち、Nx個の第1画像が共起画像となる確率を、第1人物Aについてのp値として算出する。より詳しく説明すると、全体共起確率Pwを成功確率qとし、第1画像の数N1を、成功確率がqである試行の回数nとし、共起画像の数Nxを成功回数kとして、第1人物Aについてのp値を上述の式(2)により算出する。
【0096】
同様に、画像解析部23は、ランダムに選ばれた1個の第2画像が共起画像である確率が全体共起確率Pwになるという仮定の下で、N2個の第2画像のうち、Nx個の第2画像が共起画像となる確率を、第2人物Bについてのp値として算出する。より詳しく説明すると、全体共起確率Pwを成功確率qとし、第2画像の数N2を、成功確率がqである試行の回数nとし、共起画像の数Nxを成功回数kとして、第2人物Bについてのp値を上述の式(2)により算出する。
【0097】
その後、画像解析部23は、人物Aについて算出したp値を用いて、人物Aにとっての人物Bとの親密度を評価し、且つ、人物Bについて算出したp値を用いて、人物Bにとっての人物Aとの親密度を評価する(S026)。以降、上述の実施形態と同様、画像解析部23が、第1人物と第2人物との組み合わせを変えて、ステップS023~S026を繰り返し実施し、すべての組み合わせについて親密度を評価し終えた時点で(S027でYes)、画像解析処理が終了する。
【0098】
第2変形例における親密度の評価手順について、
図12及び13に示すケースを例にあげて具体的に説明する。なお、説明を分かり易くするため、
図12及び13に示すケースでは、解析対象画像に写っている画像が人物A、Bの二人のみであり、第1人物と第2人物との組み合わせが一組のみであるとする。
【0099】
図12に示すケースでは、共起画像の数Nxが2個であり、5個の画像(第1画像)に写った人物Aにとって人物Bは親しい間柄であるが、50個の画像(第2画像)に写った人物Bにとって人物Aは然程親しい間柄ではないと判断され得る。このことを統計的に検討すると、
図12に示すケースでは、人物Aについての人物別共起確率P
A、人物Bについての人物別共起確率P
B、及び全体共起確率PWが以下の通りになる。
P
A=2/5
P
B=2/50
Pw=11/50(=1/2×{2/5+2/50})
【0100】
上記の値を用いて、上述の式(2)により人物A、Bの各々についてp値を求めると、Aについてのp値が0.3041169となり、Bについてのp値が0.999939となる。この場合、どちらも有意であるとは言えず、人物Aにとっての人物Bとの間の親密度、及び、人物Bにとっての人物Aとの親密度は、いずれも高いとは言えない。要するに、p値の算出結果が上記の値にとなる場合、「人物Aにとって人物Bとの仲が親密であるか否かについて、p値からは断定することができない」と統計的には解釈され得る。
【0101】
図13に示すケースでは、共起画像の数Nxが20個であり、50個の画像(第1画像)に写った人物Aにとって人物Bは親しい間柄であるが、500個の画像(第2画像)に写った人物Bにとって人物Aは然程親しい間柄ではないと判断され得る。このことを統計的に検討すると、
図13に示すケースでは、人物Aについての人物別共起確率P
A、人物Bについての人物別共起確率P
B、及び全体共起確率PWが以下の通りになる。これらの値は、
図12に示すケースと同値である。
P
A=20/50=2/5
P
B=20/500=2/50
Pw=11/50(=1/2×{2/5+2/50})
【0102】
上記の値を用いて、上述の式(2)により人物A、Bの各々についてp値を求めると、Bについてのp値は、0.9999999となる。この場合、有意であるとは言えず、人物Bにとっての人物Aとの親密度が高いとは言い切れない。
【0103】
一方で、Aについてのp値は、0.00313307となる。この場合、有意であると言え、人物Aにとっての人物Bとの間の親密度が高いと判断される。すなわち、ランダムに一つ選んだ画像(第1画像)が共起画像となる確率が22%(=11/50×100)である場合に50個中の20個が共起画像となることはあり得ず(極めて稀であり)、人物Aにとって人物Bとの仲が親密であるからランダム確率よりも有意に共起している」と解釈され得る。
【0104】
以上のように、第二変形例では、第1人物と第2人物との間の親密度を評価する際に、人物間での非対称性を考慮して二項定理を適用してp値を人物毎に算出し、人物毎のp値を用いて、各々の人物から見た親密度を人物毎に評価する。これにより、各人物が写った画像の数に基づいて、統計的に有意に親密であると言えるか否かを判断することが可能となる。
【符号の説明】
【0105】
10 画像解析装置
12 サーバコンピュータ
14 ネットワーク
16 利用端末
18 記憶装置
21 画像取得部
22 画像記憶部
23 画像解析部
100 画像解析システム