IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 三菱電機株式会社の特許一覧 ▶ 学校法人東京電機大学の特許一覧

特開2022-64063情報処理装置、撮像装置、評価方法、及び評価プログラム
<>
  • 特開-情報処理装置、撮像装置、評価方法、及び評価プログラム 図1
  • 特開-情報処理装置、撮像装置、評価方法、及び評価プログラム 図2
  • 特開-情報処理装置、撮像装置、評価方法、及び評価プログラム 図3
  • 特開-情報処理装置、撮像装置、評価方法、及び評価プログラム 図4
  • 特開-情報処理装置、撮像装置、評価方法、及び評価プログラム 図5
  • 特開-情報処理装置、撮像装置、評価方法、及び評価プログラム 図6
  • 特開-情報処理装置、撮像装置、評価方法、及び評価プログラム 図7
  • 特開-情報処理装置、撮像装置、評価方法、及び評価プログラム 図8
  • 特開-情報処理装置、撮像装置、評価方法、及び評価プログラム 図9
  • 特開-情報処理装置、撮像装置、評価方法、及び評価プログラム 図10
  • 特開-情報処理装置、撮像装置、評価方法、及び評価プログラム 図11
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022064063
(43)【公開日】2022-04-25
(54)【発明の名称】情報処理装置、撮像装置、評価方法、及び評価プログラム
(51)【国際特許分類】
   G06T 7/00 20170101AFI20220418BHJP
【FI】
G06T7/00 660A
【審査請求】未請求
【請求項の数】18
【出願形態】OL
(21)【出願番号】P 2020172570
(22)【出願日】2020-10-13
(71)【出願人】
【識別番号】000006013
【氏名又は名称】三菱電機株式会社
(71)【出願人】
【識別番号】800000068
【氏名又は名称】学校法人東京電機大学
(74)【代理人】
【識別番号】100116964
【弁理士】
【氏名又は名称】山形 洋一
(74)【代理人】
【識別番号】100120477
【弁理士】
【氏名又は名称】佐藤 賢改
(74)【代理人】
【識別番号】100135921
【弁理士】
【氏名又は名称】篠原 昌彦
(74)【代理人】
【識別番号】100083840
【弁理士】
【氏名又は名称】前田 実
(72)【発明者】
【氏名】皆川 純
(72)【発明者】
【氏名】山▲崎▼ 賢人
(72)【発明者】
【氏名】阿倍 博信
(72)【発明者】
【氏名】久米 孝
【テーマコード(参考)】
5L096
【Fターム(参考)】
5L096CA02
5L096FA14
5L096FA23
5L096HA08
(57)【要約】
【課題】評価値の精度を高めること。
【解決手段】情報処理装置100aは、対象物を撮像することにより得られた画像と、第1の部分の重要度を示す重要度情報とを取得する取得部120aと、画像の中から対象物の第1の部分の領域を抽出する抽出部130aと、抽出された領域が示す対象物の第1の部分が認識される度合である認識度合を評価する評価部140aと、評価された認識度合と重要度情報とに基づいて、画像の評価値を算出する算出部150aと、を有する。
【選択図】図6
【特許請求の範囲】
【請求項1】
対象物を撮像することにより得られた画像と、第1の部分の重要度を示す重要度情報とを取得する取得部と、
前記画像の中から前記対象物の前記第1の部分の領域を抽出する抽出部と、
抽出された領域が示す前記対象物の前記第1の部分が認識される度合である認識度合を評価する評価部と、
評価された認識度合と前記重要度情報とに基づいて、前記画像の評価値を算出する算出部と、
を有する情報処理装置。
【請求項2】
前記評価部は、前記第1の部分が前記画像に現れている度合を、認識度合として、評価する、
請求項1に記載の情報処理装置。
【請求項3】
前記評価部は、前記第1の部分が前記画像内でぼやけている度合に基づいて、認識度合を評価する、
請求項1又は2に記載の情報処理装置。
【請求項4】
前記評価部は、前記画像における前記第1の部分の領域の明るさに基づいて、認識度合を評価する、
請求項1から3のいずれか1項に記載の情報処理装置。
【請求項5】
前記重要度情報は、前記第1の部分を含む複数の部分のそれぞれの重要度を示し、
前記抽出部は、前記画像の中から前記対象物の前記複数の部分の領域である複数の領域を抽出し、
前記評価部は、前記複数の領域が示す前記対象物の前記複数の部分のそれぞれの認識度合を評価し、
前記算出部は、前記複数の部分のそれぞれの認識度合と前記重要度情報とに基づいて、前記画像の評価値を算出する、
請求項1に記載の情報処理装置。
【請求項6】
前記複数の部分は、体の複数の部分であり、
前記算出部は、前記画像における前記体の向きに基づいて、前記評価値を変更する、
請求項5に記載の情報処理装置。
【請求項7】
前記重要度情報は、前記第1の部分の中の第2の部分の重要度を示し、
前記抽出部は、前記画像の中から前記対象物の前記第2の部分の領域を抽出し、
前記評価部は、抽出された領域が示す前記対象物の前記第2の部分が認識される度合である認識度合を評価し、
前記算出部は、評価された認識度合と前記重要度情報とに基づいて、前記画像の評価値を算出する、
請求項1に記載の情報処理装置。
【請求項8】
前記第2の部分は、目であり、
前記算出部は、前記画像における前記目が開いている度合に基づいて、前記評価値を変更する、
請求項7に記載の情報処理装置。
【請求項9】
前記重要度情報は、前記第1の部分の中の複数の部分であり、前記第2の部分を含む前記複数の部分のそれぞれの重要度を示し、
前記抽出部は、前記画像の中から前記対象物の前記複数の部分の領域を抽出し、
前記評価部は、抽出された複数の領域が示す前記対象物の前記複数の部分のそれぞれの認識度合を評価し、
前記算出部は、前記複数の部分のそれぞれの認識度合と前記重要度情報とに基づいて、前記画像の評価値を算出する、
請求項7又は8に記載の情報処理装置。
【請求項10】
前記第1の部分は、顔であり、
前記算出部は、前記画像における前記顔の向きに基づいて、前記評価値を変更する、
請求項7から9のいずれか1項に記載の情報処理装置。
【請求項11】
前記重要度情報は、複数の前記第1の部分のそれぞれを構成する部分の重要度を示し、
前記抽出部は、前記画像の中から、複数の前記第1の部分のそれぞれを構成する部分の領域を抽出し、
前記評価部は、複数の前記第1の部分のそれぞれを構成する部分の領域が示す複数の前記第1の部分のそれぞれを構成する部分ごとに、認識される度合である認識度合を評価し、
前記算出部は、それぞれの認識度合と、前記重要度情報とに基づいて、前記画像の評価値を算出する、
請求項1に記載の情報処理装置。
【請求項12】
前記算出部は、それぞれの認識度合と、前記重要度情報とに基づいて、複数の前記第1の部分のそれぞれの評価値を算出し、複数の前記第1の部分のそれぞれの評価値に基づいて、前記画像の評価値を算出する、
請求項11に記載の情報処理装置。
【請求項13】
複数の前記第1の部分は、顔、胴体、及び四肢であり、
前記重要度情報は、前記顔の部分の重要度、前記胴体の部分の重要度、及び前記四肢の部分の重要度を示し、
前記抽出部は、前記画像の中から、前記対象物の前記顔の部分の領域、前記対象物の前記胴体の部分の領域、及び前記対象物の前記四肢の部分の領域を抽出し、
前記評価部は、前記顔の部分の領域が示す前記顔の部分が認識される度合である顔認識度合、前記胴体の部分の領域が示す前記胴体の部分が認識される度合である胴体認識度合、及び前記四肢の部分の領域が示す前記四肢の部分が認識される度合である四肢認識度合を評価し、
前記算出部は、前記顔認識度合、前記胴体認識度合、前記四肢認識度合、及び前記重要度情報に基づいて、前記画像の評価値を算出する、
請求項11に記載の情報処理装置。
【請求項14】
前記算出部は、前記顔認識度合と前記重要度情報とに基づいて、前記顔に対する評価値である顔評価値を算出し、前記胴体認識度合と前記重要度情報とに基づいて、前記胴体に対する評価値である胴体評価値を算出し、前記四肢認識度合と前記重要度情報とに基づいて、前記四肢に対する評価値である四肢評価値を算出し、前記顔評価値、前記胴体評価値、及び前記四肢評価値に基づいて、前記画像の評価値を算出する、
請求項13に記載の情報処理装置。
【請求項15】
前記算出部は、前記画像における前記対象物の姿勢に基づいて、前記評価値を変更する、
請求項13又は14に記載の情報処理装置。
【請求項16】
撮像部を有する撮像装置であって、
前記撮像部が対象物を撮像することにより得られた画像と、第1の部分の重要度を示す重要度情報とを取得する取得部と、
前記画像の中から前記対象物の前記第1の部分の領域を抽出する抽出部と、
抽出された領域が示す前記対象物の前記第1の部分が認識される度合である認識度合を評価する評価部と、
評価された認識度合と前記重要度情報とに基づいて、前記画像の評価値を算出する算出部と、
を有する撮像装置。
【請求項17】
情報処理装置が、
対象物を撮像することにより得られた画像を取得し、
第1の部分の重要度を示す重要度情報を取得し、前記画像の中から前記対象物の前記第1の部分の領域を抽出し、抽出された領域が示す前記対象物の前記第1の部分が認識される度合である認識度合を評価し、
評価された認識度合と前記重要度情報とに基づいて、前記画像の評価値を算出する、
評価方法。
【請求項18】
情報処理装置に、
対象物を撮像することにより得られた画像を取得し、
第1の部分の重要度を示す重要度情報を取得し、前記画像の中から前記対象物の前記第1の部分の領域を抽出し、抽出された領域が示す前記対象物の前記第1の部分が認識される度合である認識度合を評価し、
評価された認識度合と前記重要度情報とに基づいて、前記画像の評価値を算出する、
処理を実行させる評価プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、情報処理装置、撮像装置、評価方法、及び評価プログラムに関する。
【背景技術】
【0002】
ベストショットを選定する技術が知られている(特許文献1を参照)。例えば、特許文献1の映像監視システムは、ベストショットを選定する。例えば、選定されたベストショットは、駅、店などの監視システムで用いられる。これにより、監視システムは、どのよう人が駅、店などに存在するのかを特定することができる。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2016-165157号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、画像内に存在する対象物の全体が評価される場合がある。そして、評価により、当該画像がベストショットであることを示す評価値が導かれる。しかし、対象物の全体を評価するため、評価値の精度が低かった。
【0005】
本開示の目的は、評価値の精度を高めることである。
【課題を解決するための手段】
【0006】
本開示の一態様に係る情報処理装置が提供される。情報処理装置は、対象物を撮像することにより得られた画像と、第1の部分の重要度を示す重要度情報とを取得する取得部と、前記画像の中から前記対象物の前記第1の部分の領域を抽出する抽出部と、抽出された領域が示す前記対象物の前記第1の部分が認識される度合である認識度合を評価する評価部と、評価された認識度合と前記重要度情報とに基づいて、前記画像の評価値を算出する算出部と、を有する。
【発明の効果】
【0007】
本開示によれば、評価値の精度を高めることができる。
【図面の簡単な説明】
【0008】
図1】実施の形態1の通信システムを示す図である。
図2】実施の形態1の情報処理装置が有するハードウェアを示す図である。
図3】実施の形態1の評価値の算出処理の例を示すフローチャートである。
図4】(A)~(D)は、実施の形態1の評価値の算出処理の具体例を示す図である。
図5】実施の形態1のベストショットの選択処理の例を示すフローチャートである。
図6】実施の形態2の通信システムを示す図である。
図7】実施の形態2の評価値の算出処理の例を示すフローチャートである。
図8】実施の形態2のベストショットの選択処理の例を示すフローチャートである。
図9】実施の形態3の通信システムを示す図である。
図10】実施の形態3の情報処理装置が実行する処理のイメージ図である。
図11】実施の形態4の通信システムを示す図である。
【発明を実施するための形態】
【0009】
以下、図面を参照しながら実施の形態を説明する。以下の実施の形態は、例にすぎず、本開示の範囲内で種々の変更が可能である。
【0010】
実施の形態1.
図1は、実施の形態1の通信システムを示す図である。通信システムは、情報処理装置100と撮像装置200とを含む。また、通信システムは、さらに、端末装置300とディスプレイ400とを含んでもよい。
情報処理装置100は、評価方法を実行する装置である。情報処理装置100は、ネットワークを介して、撮像装置200、端末装置300、及びディスプレイ400と接続する。
【0011】
例えば、撮像装置200は、監視カメラである。例えば、撮像装置200は、駅、店などに設置される。撮像装置200が対象物を撮像することにより得られた画像は、情報処理装置100に格納される。ここで、例えば、対象物は、人、動物、又は機械である。
端末装置300は、管理者が使用する装置である。例えば、端末装置300は、PC(Personal Computer)、スマートフォンなどである。
ディスプレイ400は、情報処理装置100から受信した情報を表示する。
【0012】
ここで、情報処理装置100が有するハードウェアを説明する。
図2は、実施の形態1の情報処理装置が有するハードウェアを示す図である。情報処理装置100は、プロセッサ101、揮発性記憶装置102、不揮発性記憶装置103、及びインタフェース部104を有する。
【0013】
プロセッサ101は、情報処理装置100全体を制御する。例えば、プロセッサ101は、CPU(Central Processing Unit)、FPGA(Field Programmable Gate Array)、GPU(Graphics Processing Unit)などである。プロセッサ101は、マルチプロセッサでもよい。情報処理装置100は、プロセッサ101に変えて、処理回路を有してもよい。処理回路は、単一回路又は複合回路でもよい。
【0014】
揮発性記憶装置102は、情報処理装置100の主記憶装置である。例えば、揮発性記憶装置102は、RAM(Random Access Memory)である。不揮発性記憶装置103は、情報処理装置100の補助記憶装置である。例えば、不揮発性記憶装置103は、HDD(Hard Disk Drive)、又はSSD(Solid State Drive)である。
インタフェース部104は、撮像装置200、端末装置300、及びディスプレイ400と通信する。
【0015】
図1に戻って、情報処理装置100の機能を説明する。
情報処理装置100は、記憶部110、取得部120、抽出部130、評価部140、算出部150、選択部160、及び出力部170を有する。
【0016】
記憶部110は、揮発性記憶装置102又は不揮発性記憶装置103に確保した記憶領域として実現してもよい。
取得部120、抽出部130、評価部140、算出部150、選択部160、及び出力部170の一部又は全部は、処理回路によって実現してもよい。また、取得部120、抽出部130、評価部140、算出部150、選択部160、及び出力部170の一部又は全部は、プロセッサ101が実行するプログラムのモジュールとして実現してもよい。例えば、プロセッサ101が実行するプログラムは、評価プログラムとも言う。例えば、評価プログラムは、記録媒体に記録されている。
【0017】
記憶部110は、撮像装置200が対象物を撮像することにより得られた画像を記憶してもよい。また、記憶部110は、重要度情報を記憶してもよい。重要度情報とは、複数の部分のそれぞれの重要度を示す情報である。当該複数の部分のうちの1つの部分は、第2の部分とも言う。ここで、第2の部分は、第1の部分の中の1つの部分である。例えば、対象物が人である場合、第1の部分は、体のパーツである。例えば、体のパーツは、顔である。第1の部分が顔である場合、第2の部分は、顔のパーツである。例えば、顔のパーツは、鼻である。第1の部分と第2の部分とは、次のように表現してもよい。第1の部分は、予め設定された閾値以上の大きさである。第2の部分は、第1の部分よりも小さい。
【0018】
以下の説明では、対象物は、人とする。第1の部分は、顔とする。後述する認識度合の対象は、顔の中の複数の部分とする。当該複数の部分は、第2の部分を含む複数の部分である。当該複数の部分は、目、鼻、口とする。よって、重要度情報は、目、鼻、口の重要度を示す情報である。
【0019】
取得部120は、人を撮像することにより得られた画像を取得する。例えば、取得部120は、当該画像を撮像装置200から取得する。また、例えば、取得部120は、当該画像を記憶部110から取得する。
【0020】
また、取得部120は、重要度情報を取得する。例えば、取得部120は、重要度情報を記憶部110から取得する。ここで、重要度情報は、情報処理装置100に接続可能な外部装置に格納されてもよい。なお、例えば、外部装置とは、クラウドサーバである。重要度情報が外部装置に格納されている場合、取得部120は、重要度情報を外部装置から取得する。
【0021】
抽出部130は、当該画像の中から顔の領域を抽出する。抽出部130は、顔の領域の中から、目、鼻、口の領域を抽出する。なお、抽出部130は、公知技術を用いて、抽出処理を実行する。例えば、抽出部130は、学習済モデルを用いて、顔の領域、及び目、鼻、口の領域を抽出する。
【0022】
評価部140は、抽出された複数の領域が示す目、鼻、口が認識される度合である認識度合を評価する。なお、当該認識は、当該画像を見た人の認識でもよいし、当該画像に基づく情報処理装置100(すなわち、機械)の認識でもよい。また、評価部140が評価を行う場合、評価部140は、予め設定された基準又は学習済モデルを用いて、認識度合を評価してもよい。さらに、認識度合の上限値は、100に限らない。
また、当該認識度合は、顔認識度合と呼んでもよい。
【0023】
ここで、認識度合を詳細に説明する。評価部140は、目、鼻、口が当該画像に現れている度合を、認識度合として、評価してもよい。例えば、当該画像内の人がサングラスを掛けている場合、目が当該画像に現れていないため、目の認識度合は、低い。
【0024】
また、評価部140は、目、鼻、口が当該画像内でぼやけている度合に基づいて、認識度合を評価してもよい。例えば、目が当該画像内でぼやけている場合、目の認識度合は、低い。
【0025】
評価部140は、当該画像における目、鼻、口の領域の明るさに基づいて、認識度合を評価してもよい。例えば、当該画像における目の領域が影によって暗い場合、目の認識度合は、低い。なお、当該明るさは、輝度値で表現されてもよい。
【0026】
評価部140は、目、鼻、口が当該画像に現れている度合、目、鼻、口が当該画像内でぼやけている度合、及び当該画像における目、鼻、口の領域の明るさを組み合わせることで、認識度合を評価してもよい。
【0027】
算出部150は、認識度合と重要度情報とに基づいて、当該画像の評価値を算出する。言い換えれば、算出部150は、認識度合と重要度情報とに基づいて、当該画像がベストショットであることを示す評価値を算出する。なお、評価値の上限は、100に限らない。
【0028】
算出部150は、当該画像における目が開いている度合に基づいて、評価値を変更してもよい。例えば、算出部150は、予め設定された閾値以上、目が開いている場合、評価値に値を加算する。算出部150は、目が開いている度合が当該閾値未満である場合、評価値に値を減算する。目の開いている度合によって、当該画像がベストショットであるか否かが変わる。そのため、算出部150は、目が開いている度合を考慮することで、評価値の精度を高めることができる。
【0029】
算出部150は、当該画像における顔の向きに基づいて、評価値を変更してもよい。例えば、算出部150は、正面を基準として、当該基準と顔の向きとに基づいて、評価値を変更する。顔の向きによって、当該画像がベストショットであるか否かが変わる。そのため、算出部150は、顔の向きを考慮することで、評価値の精度を高めることができる。
選択部160と出力部170の機能については、後で説明する。
【0030】
次に、情報処理装置100が実行する処理を、フローチャートを用いて、説明する。
図3は、実施の形態1の評価値の算出処理の例を示すフローチャートである。
(ステップS11)取得部120は、人を撮像することにより得られた画像を取得する。
(ステップS12)抽出部130は、取得部120が取得した画像の中から顔の領域を抽出する。抽出部130は、顔の領域の中から、目、鼻、口の領域を抽出する。
【0031】
(ステップS13)評価部140は、目、鼻、口の認識度合を評価する。
(ステップS14)取得部120は、重要度情報を取得する。ここで、ステップS11の後であれば、取得部120は、ステップS14をいつ実行してもよい。
(ステップS15)算出部150は、目、鼻、口の認識度合と目、鼻、口の重要度を示す重要度情報とに基づいて、当該画像の評価値を算出する。
【0032】
(ステップS16)算出部150は、当該顔の領域の画像(以下、顔画像)と当該評価値との組み合わせを記憶部110に格納する。また、算出部150は、当該画像(すなわち、取得部120が取得した画像)と当該評価値との組み合わせを記憶部110に格納してもよい。さらに、算出部150は、当該顔の人が存在する領域の画像(以下、人画像)と当該評価値との組み合わせを記憶部110に格納してもよい。
【0033】
このように、情報処理装置100は、画像を取得する度に、ステップS11~S16を実行する。また、情報処理装置100が複数の画像を一定期間に取得した後、情報処理装置100は、複数の画像のそれぞれに対して、ステップS12~S16を実行してもよい。
【0034】
情報処理装置100は、取得された画像に複数の人が存在する場合、当該画像に基づいて、人ごとに、人が存在する領域の画像を生成し、人ごとの画像を用いて、ステップS12~S16を実行してもよい。人ごとに、画像がベストショットであるか否かを評価するためである。なお、情報処理装置100は、公知技術を用いて、取得された画像に存在する複数の人を検出することができる。例えば、情報処理装置100は、学習済モデルを用いて、当該画像の中から複数の人の領域を検出する。情報処理装置100は、検出された人の領域ごとに、画像を生成する。これにより、人ごとに、画像が生成される。情報処理装置100は、人ごとに生成された画像を評価する。
【0035】
また、情報処理装置100は、画像の中から検出された人を追跡してもよい。追跡する理由は、ある期間内に、ある人物を撮像することにより得られた複数の画像の中からベストショットを判定する場合、当該人物が含まれている複数の画像を得るためである。情報処理装置100は、追跡を実行する場合、顔認証を用いてもよい。例えば、情報処理装置100は、顔が含まれている2つの画像と顔認証とを用いて、2つの画像が同一人物の画像であるかを判定する。また、情報処理装置100は、オプティカルフローを用いて、同一人物の追跡を実行してもよい。
【0036】
次に、評価値の算出処理を具体的に説明する。
図4(A)~(D)は、実施の形態1の評価値の算出処理の具体例を示す図である。図4(A)~(D)の画像は、取得部120が取得した画像である。図4(A)~(D)の重要度マップは、重要度情報の一例である。重要度マップ内の数字は、重要度を示している。例えば、図4の口の重要度は、“7”である。なお、当該数字は、一例である。
【0037】
評価部140は、図4(A)の画像に基づいて、目、鼻、口などの認識度合を評価する。図4(A)の画像では、目、鼻、口などが図4(A)の画像に現れている。そのため、目、鼻、口などの認識度合は、高い。算出部150は、目、鼻、口などの認識度合と、目、鼻、口などの重要度とに基づいて、図4(A)の画像の評価値を算出する。詳細には、算出部150は、目の認識度合と目の重要度とを乗算する。同様に、算出部150は、鼻、口などの認識度合と鼻、口などの重要度とを乗算する。算出部150は、乗算によって、得られた複数の値を加算する。加算により得られた値は、図4(A)の画像の評価値である。このように、評価値“100”が算出される。なお、上記の乗算は、加算でもよい。上記の加算は、乗算でもよい。
【0038】
評価部140は、図4(B)の画像に基づいて、目、鼻、口などの認識度合を評価する。図4(B)の画像に存在する人は、サングラスを掛けている。そのため、目の認識度合は、低い。算出部150は、目、鼻、口などの認識度合と、目、鼻、口などの重要度とに基づいて、図4(B)の画像の評価値を算出する。これにより、評価値“20”が算出される。
【0039】
評価部140は、図4(C)の画像に基づいて、目、鼻、口などの認識度合を評価する。図4(C)の画像に存在する人は、マスクを着けている。そのため、口の認識度合は、低い。算出部150は、目、鼻、口などの認識度合と、目、鼻、口などの重要度とに基づいて、図4(C)の画像の評価値を算出する。これにより、評価値“60”が算出される。
【0040】
評価部140は、図4(D)の画像に基づいて、目、鼻、口などの認識度合を評価する。図4(D)の画像に存在する人の目、頬、口の一部が、遮蔽物によって、隠れている。そのため、目、頬、口の認識度合は、低い。算出部150は、目、鼻、口などの認識度合と、目、鼻、口などの重要度とに基づいて、図4(D)の画像の評価値を算出する。これにより、評価値“50”が算出される。
【0041】
図5は、実施の形態1のベストショットの選択処理の例を示すフローチャートである。図5の処理は、図3の処理の後に実行される。すなわち、顔画像と評価値との1以上の組み合わせが記憶部110に格納されている場合、図5の処理は、実行される。
【0042】
(ステップS21)選択部160は、自動選択を行うか否かを判定する。なお、自動選択は、管理者によって、情報処理装置100に設定される。自動選択を行う場合、処理は、ステップS24に進む。自動選択を行わない場合、処理は、ステップS22に進む。
(ステップS22)出力部170は、顔画像と評価値との1以上の組み合わせを端末装置300に出力する。これにより、管理者は、顔画像と評価値との1以上の組み合わせを確認することができる。
【0043】
管理者は、評価値に基づいて、ベストショットの顔画像を選択する。端末装置300は、選択された顔画像を示す情報を情報処理装置100に送信する。すなわち、端末装置300は、ベストショットを示す情報を情報処理装置100に送信する。
【0044】
(ステップS23)取得部120は、ベストショットを示す情報を取得する。そして、処理は、ステップS25に進む。
(ステップS24)選択部160は、最も高い評価値の顔画像を、ベストショットの顔画像として、選択する。
(ステップS25)出力部170は、端末装置300又はディスプレイ400にベストショットの顔画像を出力する。
【0045】
ベストショットの顔画像が出力されることで、管理者は、ベストショットを探さなくて済む。よって、情報処理装置100は、管理者の作業負担を軽減できる。
出力部170は、ベストショットの顔画像を出力せずに、ベストショットの顔画像を記憶部110に格納してもよい。
【0046】
上記では、評価部140が、顔の複数の部分のそれぞれの認識度合を評価し、算出部150が、複数の部分のそれぞれの認識度合と重要度情報とに基づいて、画像の評価値を算出する場合を説明した。評価部140は、第1の部分の中の1つの部分(すなわち、第2の部分)の認識度合を評価してもよい。そして、算出部150は、当該認識度合と重要度情報とに基づいて、画像の評価値を算出してもよい。
【0047】
実施の形態1によれば、情報処理装置100は、画像内に存在する対象物の部分に基づいて、当該画像の評価値を算出する。ここで、例えば、管理者が当該画像内から当該対象物を特定する場合、当該管理者は、当該対象物の部分によって当該対象物を特定する。そのため、当該画像がベストショットであるか否かは、当該対象物の部分に基づいて、評価することが望ましい。よって、情報処理装置100は、当該画像内に存在する当該対象物の部分に基づいて、当該画像の評価値を算出するため、評価値の精度を高めることができる。
【0048】
また、管理者によって、複数の部分の中で重要である部分は、異なる。実施の形態1によれば、情報処理装置100は、重要度情報が示す重要度を変更することで、管理者が求めるベストショットを提示することができる。なお、例えば、重要度情報は、管理者が情報処理装置100を操作することで、変更される。
【0049】
実施の形態2.
次に、実施の形態2を説明する。実施の形態2では、実施の形態1と相違する事項を主に説明する。そして、実施の形態2では、実施の形態1と共通する事項の説明を省略する。実施の形態2の説明では、図1,2を参照する。
実施の形態1の例では、顔の中の複数の部分に基づいて、評価値が算出された。例えば、実施の形態2では、体の中の複数の部分に基づいて、評価値が算出される場合を説明する。
【0050】
図6は、実施の形態2の通信システムを示す図である。図1に示される構成と同じ図6の構成は、図1に示される符号と同じ符号を付している。通信システムは、情報処理装置100aと撮像装置200とを含む。また、通信システムは、さらに、端末装置300とディスプレイ400とを含んでもよい。
【0051】
情報処理装置100aは、記憶部110a、取得部120a、抽出部130a、評価部140a、算出部150a、選択部160a、及び出力部170aを有する。
【0052】
記憶部110aは、揮発性記憶装置102又は不揮発性記憶装置103に確保した記憶領域として実現してもよい。
取得部120a、抽出部130a、評価部140a、算出部150a、選択部160a、及び出力部170aの一部又は全部は、処理回路によって実現してもよい。また、取得部120a、抽出部130a、評価部140a、算出部150a、選択部160a、及び出力部170aの一部又は全部は、プロセッサ101が実行するプログラムのモジュールとして実現してもよい。例えば、プロセッサ101が実行するプログラムは、評価プログラムとも言う。例えば、評価プログラムは、記録媒体に記録されている。
【0053】
記憶部110aは、撮像装置200が対象物を撮像することにより得られた画像を記憶してもよい。また、記憶部110aは、重要度情報を記憶してもよい。重要度情報とは、複数の部分のそれぞれの重要度を示す情報である。当該複数の部分のうちの1つの部分は、第1の部分とも言う。例えば、対象物が人である場合、第1の部分は、顔である。また、例えば、対象物が車である場合、第1の部分は、エンブレムである。
【0054】
以下の説明では、対象物は、人とする。認識度合の対象は、体の中の複数の部分とする。当該複数の部分は、第1の部分を含む複数の部分である。複数の部分は、顔、腕とする。よって、重要度情報は、顔、腕の重要度を示す情報である。
【0055】
取得部120aは、人を撮像することにより得られた画像を取得する。例えば、取得部120aは、当該画像を撮像装置200から取得する。また、例えば、取得部120aは、当該画像を記憶部110aから取得する。
【0056】
また、取得部120aは、重要度情報を取得する。例えば、取得部120aは、重要度情報を記憶部110aから取得する。また、重要度情報が外部装置に格納されている場合、取得部120aは、重要度情報を外部装置から取得する。
抽出部130aは、当該画像の中から人の領域を抽出する。抽出部130aは、人の領域の中から、顔、腕の領域を抽出する。
【0057】
評価部140aは、抽出された複数の領域が示す顔、腕が認識される度合である認識度合を評価する。認識度合を詳細に説明する。評価部140aは、顔、腕が当該画像に現れている度合を、認識度合として、評価してもよい。評価部140aは、顔、腕が当該画像内でぼやけている度合に基づいて、認識度合を評価してもよい。評価部140aは、当該画像における顔、腕の領域の明るさに基づいて、認識度合を評価してもよい。
【0058】
評価部140aは、顔、腕が当該画像に現れている度合、顔、腕が当該画像内でぼやけている度合、及び当該画像における顔、腕の領域の明るさを組み合わせることで、認識度合を評価してもよい。
【0059】
算出部150aは、認識度合と重要度情報とに基づいて、当該画像の評価値を算出する。言い換えれば、算出部150aは、認識度合と重要度情報とに基づいて、当該画像がベストショットであることを示す評価値を算出する。
【0060】
算出部150aは、当該画像における体の向きに基づいて、評価値を変更してもよい。例えば、算出部150aは、正面を基準として、当該基準と体の向きとに基づいて、評価値を変更する。体の向きによって、当該画像がベストショットであるか否かが変わる。そのため、算出部150aは、体の向きを考慮することで、評価値の精度を高めることができる。
選択部160aと出力部170aの機能については、後で説明する。
【0061】
次に、情報処理装置100aが実行する処理を、フローチャートを用いて、説明する。
図7は、実施の形態2の評価値の算出処理の例を示すフローチャートである。
(ステップS31)取得部120aは、人を撮像することにより得られた画像を取得する。
(ステップS32)抽出部130aは、取得部120aが取得した画像の中から人の領域を抽出する。抽出部130aは、人の領域の中から、顔、腕の領域を抽出する。
【0062】
(ステップS33)評価部140aは、顔、腕の認識度合を評価する。
(ステップS34)取得部120aは、重要度情報を取得する。ここで、ステップS31の後であれば、取得部120aは、ステップS34をいつ実行してもよい。
(ステップS35)算出部150aは、顔、腕の認識度合と、顔、腕の重要度を示す重要度情報とに基づいて、当該画像の評価値を算出する。
【0063】
(ステップS36)算出部150aは、当該人が存在する領域の画像(すなわち、人画像)と当該評価値との組み合わせを記憶部110aに格納する。また、算出部150aは、当該画像(すなわち、取得部120aが取得した画像)と当該評価値との組み合わせを記憶部110aに格納してもよい。
【0064】
このように、情報処理装置100aは、画像を取得する度に、ステップS31~S36を実行する。また、情報処理装置100aが複数の画像を一定期間に取得した後、情報処理装置100aは、複数の画像のそれぞれに対して、ステップS32~S36を実行してもよい。
【0065】
情報処理装置100aは、取得された画像に複数の人が存在する場合、当該画像に基づいて、人ごとに、人が存在する領域の画像を生成し、人ごとの画像を用いて、ステップS32~S36を実行してもよい。
【0066】
図8は、実施の形態2のベストショットの選択処理の例を示すフローチャートである。図8の処理は、図7の処理の後に実行される。すなわち、人画像と評価値との1以上の組み合わせが記憶部110aに格納されている場合、図8の処理は、実行される。
【0067】
(ステップS41)選択部160aは、自動選択を行うか否かを判定する。自動選択を行う場合、処理は、ステップS44に進む。自動選択を行わない場合、処理は、ステップS42に進む。
(ステップS42)出力部170aは、人画像と評価値との1以上の組み合わせを端末装置300に出力する。これにより、管理者は、人画像と評価値との1以上の組み合わせを確認することができる。
【0068】
管理者は、評価値に基づいて、ベストショットの人画像を選択する。端末装置300は、選択された人画像を示す情報を情報処理装置100aに送信する。すなわち、端末装置300は、ベストショットを示す情報を情報処理装置100aに送信する。
【0069】
(ステップS43)取得部120aは、ベストショットを示す情報を取得する。そして、処理は、ステップS45に進む。
(ステップS44)選択部160aは、最も高い評価値の人画像を、ベストショットの人画像として、選択する。
(ステップS45)出力部170aは、端末装置300又はディスプレイ400にベストショットの人画像を出力する。
【0070】
ベストショットの人画像が出力されることで、管理者は、ベストショットを探さなくて済む。よって、情報処理装置100aは、管理者の作業負担を軽減できる。
出力部170aは、ベストショットの人画像を出力せずに、ベストショットの人画像を記憶部110aに格納してもよい。
【0071】
上記では、評価部140aが、体の複数の部分のそれぞれの認識度合を評価し、算出部150aが、複数の部分のそれぞれの認識度合と重要度情報とに基づいて、画像の評価値を算出する場合を説明した。評価部140aは、体の1つの部分(すなわち、第1の部分)の認識度合を評価してもよい。そして、算出部150aは、当該認識度合と重要度情報とに基づいて、画像の評価値を算出してもよい。
【0072】
実施の形態2によれば、情報処理装置100aは、画像内に存在する対象物の部分に基づいて、当該画像の評価値を算出する。そのため、情報処理装置100aは、評価値の精度を高めることができる。
また、管理者によって、複数の部分の中で重要である部分は、異なる。実施の形態2によれば、情報処理装置100aは、重要度情報が示す重要度を変更することで、管理者が求めるベストショットを提示することができる。
【0073】
実施の形態3.
次に、実施の形態3を説明する。実施の形態3では、実施の形態1と相違する事項を主に説明する。そして、実施の形態3では、実施の形態1と共通する事項の説明を省略する。実施の形態3の説明では、図1,2を参照する。
実施の形態1では、画像内の顔の中の複数の部分と重要度情報とに基づいて、顔を含む画像の評価値が算出された。実施の形態3では、対象物を含む画像の評価値が算出される場合を説明する。
【0074】
図9は、実施の形態3の通信システムを示す図である。図1に示される構成と同じ図9の構成は、図1に示される符号と同じ符号を付している。通信システムは、情報処理装置100bと撮像装置200とを含む。また、通信システムは、さらに、端末装置300とディスプレイ400とを含んでもよい。
【0075】
情報処理装置100bは、記憶部110b、取得部120b、抽出部130b、評価部140b、算出部150b、選択部160b、及び出力部170bを有する。
【0076】
記憶部110bは、揮発性記憶装置102又は不揮発性記憶装置103に確保した記憶領域として実現してもよい。
取得部120b、抽出部130b、評価部140b、算出部150b、選択部160b、及び出力部170bの一部又は全部は、処理回路によって実現してもよい。また、取得部120b、抽出部130b、評価部140b、算出部150b、選択部160b、及び出力部170bの一部又は全部は、プロセッサ101が実行するプログラムのモジュールとして実現してもよい。
【0077】
記憶部110bは、撮像装置200が対象物を撮像することにより得られた画像を記憶してもよい。また、記憶部110bは、重要度情報を記憶してもよい。重要度情報は、複数の第1の部分のそれぞれを構成する部分の重要度を示す。例えば、対象物が人又は動物である場合、重要度情報は、顔の部分の重要度、胴体の部分の重要度、及び四肢の部分の重要度を示す。ここで、顔、胴体、及び四肢は、複数の第1の部分とも言う。また、顔の部分とは、目、鼻、口などである。胴体の部分とは、胸、腹、背中などである。四肢の部分とは、腕、手、足である。また、例えば、対象物が機械である場合、重要度情報は、当該機械のある部分(第1の機械部分と呼ぶ)を構成する部分の重要度、当該機械の他の部分(第2の機械部分と呼ぶ)を構成する部分の重要度を示す。ここで、第1の機械部分及び第2の機械部分は、複数の第1の部分とも言う。なお、上記では、機械部分の数が2つである場合を例示した。機械部分の数は、2つに限らない。
【0078】
取得部120bは、対象物を撮像することにより得られた画像を取得する。例えば、取得部120bは、当該画像を撮像装置200から取得する。また、例えば、取得部120bは、当該画像を記憶部110bから取得する。
また、取得部120bは、重要度情報を取得する。例えば、取得部120bは、重要度情報を記憶部110bから取得する。また、重要度情報が外部装置に格納されている場合、取得部120bは、重要度情報を外部装置から取得する。
【0079】
抽出部130bは、当該画像の中から、複数の第1の部分のそれぞれを構成する部分の領域を抽出する。対象物が人である場合における、抽出部130bが実行する処理を説明する。抽出部130bは、当該画像の中から人の領域を抽出する。抽出部130bは、人の領域の中から、顔の部分の領域、胴体の部分の領域、及び四肢の部分の領域を抽出する。
【0080】
評価部140bは、複数の第1の部分のそれぞれを構成する部分の領域が示す複数の第1の部分のそれぞれを構成する部分ごとに、認識される度合である認識度合を評価する。対象物が人である場合における、評価部140bが実行する処理を説明する。評価部140bは、顔認識度合を評価する。顔認識度合は、顔の部分の領域が示す顔の部分が認識される度合である。顔認識度合の評価方法は、実施の形態1で説明した評価方法と同じである。
【0081】
評価部140bは、胴体認識度合を評価する。胴体認識度合は、胴体の部分の領域が示す胴体の部分が認識される度合である。評価部140bは、四肢認識度合を評価する。四肢認識度合は、四肢の部分の領域が示す四肢の部分が認識される度合である。胴体認識度合及び四肢認識度合の評価は、顔認識度合の評価と同様に行われる。
【0082】
算出部150bは、それぞれの認識度合と、重要度情報とに基づいて、画像の評価値を算出する。例えば、算出部150bは、それぞれの認識度合と、重要度情報とに基づいて、複数の第1の部分のそれぞれの評価値を算出し、複数の第1の部分のそれぞれの評価値に基づいて、画像の評価値を算出する。
【0083】
対象物が人である場合における、算出部150bが実行する処理を説明する。算出部150bは、顔認識度合、胴体認識度合、四肢認識度合、及び重要度情報に基づいて、画像の評価値を算出する。算出処理を具体的に説明する。
算出部150bは、顔認識度合と重要度情報とに基づいて、評価値を算出する。例えば、算出部150bは、目、鼻、口の認識度合(すなわち、顔認識度合)と、目、鼻、口の重要度とに基づいて、評価値を算出する。当該評価値の算出方法は、実施の形態1で説明した算出方法と同じである。なお、算出された評価値は、顔評価値と呼ぶ。また、顔評価値は、顔に対する評価値である。
【0084】
算出部150bは、胴体認識度合と重要度情報とに基づいて、評価値を算出する。例えば、算出部150bは、胸、腹の認識度合(すなわち、胴体認識度合)と、胸、腹の重要度とに基づいて、評価値を算出する。当該評価値の算出方法は、顔評価値の算出方法と同じである。なお、算出された評価値は、胴体評価値と呼ぶ。また、胴体評価値は、胴体に対する評価値である。
【0085】
算出部150bは、四肢認識度合と重要度情報とに基づいて、評価値を算出する。例えば、算出部150bは、腕、手、足の認識度合(すなわち、四肢認識度合)と、腕、手、足の重要度とに基づいて、評価値を算出する。当該評価値の算出方法は、顔評価値の算出方法と同じである。なお、算出された評価値は、四肢評価値と呼ぶ。また、四肢評価値は、四肢に対する評価値である。
【0086】
算出部150bは、顔評価値、胴体評価値、及び四肢評価値に基づいて、画像の評価値を算出する。具体的には、算出部150bは、顔評価値、胴体評価値、及び四肢評価値を、加算又は乗算する。加算又は乗算により得られた値は、画像の評価値である。
【0087】
次に、情報処理装置100bが実行する処理のイメージ図を説明する。
図10は、実施の形態3の情報処理装置が実行する処理のイメージ図である。算出部150bは、顔認識度合と重要度情報とに基づいて、顔評価値を算出する。算出部150bは、胴体認識度合と重要度情報とに基づいて、胴体評価値を算出する。算出部150bは、四肢認識度合と重要度情報とに基づいて、四肢評価値を算出する。算出部150bは、顔評価値、胴体評価値、及び四肢評価値に基づいて、画像の評価値を算出する。
【0088】
算出部150bは、人画像と当該評価値との組み合わせを記憶部110bに格納する。また、算出部150bは、取得部120bが取得した画像と当該評価値との組み合わせを記憶部110bに格納してもよい。
選択部160bは、自動選択が行われる場合、最も高い評価値の人画像を、ベストショットの人画像として、選択する。
出力部170bは、端末装置300又はディスプレイ400にベストショットの人画像を出力する。
【0089】
実施の形態3によれば、情報処理装置100bは、顔の画像の評価値、胴体の画像の評価値、及び四肢の画像の評価値に基づいて、画像の評価値を算出する。3つの大きい部分の評価値に基づいて、当該画像が最終的に評価されるため、情報処理装置100bは、当該画像の評価値の精度をより高めることができる。
【0090】
算出部150bは、画像における人の姿勢に基づいて、評価値を変更してもよい。例えば、算出部150bは、画像内の人がしゃがんでいる場合、評価値に値を減算する。また、例えば、算出部150bは、画像内の人が両腕と両足を広げている場合、評価値に値を加算する。ここで、姿勢の特定処理を説明する。例えば、取得部120bは、画像内の人の部分を示す座標を取得する。詳細には、人の部分を示す座標は、胴体の部分を示す座標、及び四肢の部分を示す座標である。胴体の部分を示す座標、及び四肢の部分を示す座標は、モーションキャプチャなどの公知技術を用いて、取得できる。算出部150bは、胴体の部分を示す座標、及び四肢の部分を示す座標に基づいて、画像内の人の姿勢を特定する。なお、算出部150bは、一部の座標を用いて、画像内の人の姿勢を特定してもよい。また、算出部150bは、OpenPoseを用いて、画像内の人の姿勢を特定してもよい。
【0091】
実施の形態4.
次に、実施の形態4を説明する。実施の形態4では、実施の形態1~3と相違する事項を主に説明する。そして、実施の形態4では、実施の形態1~3と共通する事項の説明を省略する。実施の形態4の説明では、図1~10を参照する。
実施の形態4では、撮像装置200が情報処理装置100,100a,100bの機能を有する場合を説明する。
【0092】
図11は、実施の形態4の通信システムを示す図である。通信システムは、撮像装置200と端末装置300とディスプレイ400とを含む。
撮像装置200は、記憶部210、取得部220、抽出部230、評価部240、算出部250、選択部260、出力部270、及び撮像部280を有する。
【0093】
記憶部210は、撮像装置200が有する揮発性記憶装置又は不揮発性記憶装置に確保した記憶領域として実現してもよい。
取得部220、抽出部230、評価部240、算出部250、選択部260、及び出力部270の一部又は全部は、撮像装置200が有する処理回路によって実現してもよい。また、取得部220、抽出部230、評価部240、算出部250、選択部260、及び出力部270の一部又は全部は、撮像装置200が有するプロセッサが実行するプログラムのモジュールとして実現してもよい。
【0094】
記憶部210は、記憶部110,110a,110bと同じ情報を記憶してもよい。すなわち、記憶部210は、撮像部280が対象物を撮像することにより得られた画像を記憶してもよい。また、記憶部210は、重要度情報を記憶してもよい。
取得部220は、取得部120,120a,120bと同じ機能を有する。但し、取得部220が取得する当該画像は、記憶部210に格納されている画像又は撮像部280から取得した画像である。
【0095】
抽出部230は、抽出部130,130a,130bと同じ機能を有する。評価部240は、評価部140,140a,140bと同じ機能を有する。算出部250は、算出部150,150a,150bと同じ機能を有する。選択部260は、選択部160,160a,160bと同じ機能を有する。出力部270は、出力部170,170a,170bと同じ機能を有する。
よって、取得部220、抽出部230、評価部240、算出部250、選択部260、及び出力部270の機能の説明は、省略する。
【0096】
実施の形態4によれば、撮像装置200は、情報処理装置100,100a,100bと同じ効果を有する。
【0097】
以上に説明した各実施の形態における特徴は、互いに適宜組み合わせることができる。
【符号の説明】
【0098】
100,100a,100b 情報処理装置、 101 プロセッサ、 102 揮発性記憶装置、 103 不揮発性記憶装置、 104 インタフェース部、 110,110a,110b 記憶部、 120,120a,120b 取得部、 130,130a,130b 抽出部、 140,140a,140b 評価部、 150,150a,150b 算出部、 160,160a,160b 選択部、 170,170a,170b 出力部、 200 撮像装置、 210 記憶部、 220 取得部、 230 抽出部、 240 評価部、 250 算出部、 260 選択部、 270 出力部、 300 端末装置、 400 ディスプレイ。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11