特許 7010780 物体領域抽出装置及び物体領域抽出方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-01-17

(45)【発行日】2022-01-26

(54)【発明の名称】物体領域抽出装置及び物体領域抽出方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20220119BHJP

   G06T 7/11 20170101ALI20220119BHJP

【ＦＩ】

G06T7/00 350C

G06T7/11

【請求項の数】 16

(21)【出願番号】P 2018130555

(22)【出願日】2018-07-10

(65)【公開番号】P2020009227

(43)【公開日】2020-01-16

【審査請求日】2020-06-26

(73)【特許権者】

【識別番号】000208891

【氏名又は名称】ＫＤＤＩ株式会社

(74)【代理人】

【識別番号】100166006

【弁理士】

【氏名又は名称】泉 通博

(74)【代理人】

【識別番号】100124084

【弁理士】

【氏名又は名称】黒岩 久人

(74)【代理人】

【識別番号】100153280

【弁理士】

【氏名又は名称】寺川 賢祐

(72)【発明者】

【氏名】石川 彰夫

(72)【発明者】

【氏名】服部 元

【審査官】佐藤 実

(56)【参考文献】

【文献】特開２００５－２５０７７３（ＪＰ，Ａ）

【文献】特開２０１８－０９７７６６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ｇ０６Ｔ ７／１１

(57)【特許請求の範囲】

【請求項1】

撮像装置で生成された抽出対象画像を取得する画像取得部と、
前記抽出対象画像に所定の座標変換を施した変換画像を生成する変換画像生成部と、
前記抽出対象画像及び前記変換画像のそれぞれに、入力された画像に基づいて当該画像に含まれる物体の種別を出力可能な機械学習モデルに含まれる処理層であって、それぞれ当該画像に含まれる一以上の画素を示す複数のユニットをそれぞれ含む複数の処理層を伝搬させる伝搬制御部と、
前記複数の処理層から選択した後段処理層、及び前記後段処理層の直前の処理層である前段処理層の両方の処理層において共通に活性化している前記ユニットを示す画像出力であって前記抽出対象画像に基づいて前記後段処理層及び前記前段処理層から出力された前記画像出力である一以上の抽出対象画像出力と前記変換画像に基づいて前記後段処理層及び前記前段処理層から出力された前記画像出力である一以上の変換画像出力とを抽出する抽出部と、
前記一以上の抽出対象画像出力と、前記一以上の変換画像出力とに基づいて、前記抽出対象画像に含まれる特徴点である一以上の抽出対象画像特徴点と、前記変換画像に含まれる特徴点であって前記抽出対象画像特徴点と対応関係にある前記特徴点である一以上の変換画像特徴点とを検出する特徴点検出部と、
前記一以上の抽出対象画像特徴点と前記一以上の変換画像特徴点とに基づいて、前記抽出対象画像における前記物体を含む領域を抽出する領域抽出部と、
を有する物体領域抽出装置。

【請求項2】

前記領域抽出部は、前記抽出対象画像における前記一以上の抽出対象画像特徴点の位置と、前記変換画像における前記一以上の変換画像特徴点の位置との関係、並びに前記抽出対象画像に含まれる各画素の位置と、前記抽出対象画像に含まれる各画素それぞれに対応する前記変換画像に含まれる各画素の位置との関係に基づいて、前記抽出対象画像における前記物体を含む領域を抽出する、
請求項１に記載の物体領域抽出装置。

【請求項3】

前記領域抽出部は、前記抽出対象画像における前記一以上の抽出対象画像特徴点の位置と、前記変換画像における前記一以上の変換画像特徴点の位置との関係、並びに前記変換画像に施された前記所定の座標変換の変換式に基づいて、前記抽出対象画像における前記物体を含む領域を抽出する、
請求項１又は２に記載の物体領域抽出装置。

【請求項4】

前記抽出部は、
前記抽出対象画像が前記複数の処理層の一部である前段処理層及び後段処理層の順に伝搬したことにより前記後段処理層から出力された前記画像出力である複数の後段抽出対象画像出力、及び前記変換画像が前段処理層及び後段処理層の順に伝搬したことにより前記後段処理層から出力された前記画像出力である複数の後段変換画像出力から、共通に活性化している一以上の後段抽出対象画像出力及び一以上の後段変換画像出力を抽出する後段抽出部と、
前記一以上の後段抽出対象画像出力及び前記一以上の後段変換画像出力を活性化させる要因となった前記前段処理層から出力された前記画像出力である複数の前段抽出対象画像出力、及び前記前段処理層から出力された前記画像出力である複数の前段変換画像出力のうち、共通に活性化している一以上の前段抽出対象画像出力及び一以上の前段変換画像出力を抽出する前段抽出部と、
を有する、
請求項１から３のいずれか一項に記載の物体領域抽出装置。

【請求項5】

前記前段抽出部は、前記複数の前段抽出対象画像出力及び前記複数の前段変換画像出力のうち、活性化している大きさに基づいて、前記一以上の前段抽出対象画像出力及び前記一以上の前段変換画像出力を抽出する、
請求項４に記載の物体領域抽出装置。

【請求項6】

前記機械学習モデルは、畳み込みニューラルネットワークを含み、
前記後段処理層は、出力層、全結合層、正規化層、プーリング層、及び畳み込み層のうちのいずれかの層である、
請求項４又は５に記載の物体領域抽出装置。

【請求項7】

前記前段処理層は、全結合層、正規化層、プーリング層、畳み込み層及び入力層のうちのいずれかの層である、
請求項６に記載の物体領域抽出装置。

【請求項8】

前記抽出部は、前記複数の処理層のうち、最後尾の処理層である最後尾層を後段処理層として選択した場合において、前記最後尾層において共通に活性化している前記一以上の抽出対象画像出力及び前記一以上の変換画像出力がない場合、前記最後尾層より前の処理層において共通に活性化している前記一以上の抽出対象画像出力及び前記一以上の変換画像出力を抽出する、
請求項１から７のいずれか一項に記載の物体領域抽出装置。

【請求項9】

前記特徴点検出部が検出した前記一以上の抽出対象画像特徴点及び前記一以上の変換画像特徴点から、相互の対応関係に基づいて一部の抽出対象画像特徴点及び一部の変換画像特徴点を選択する選択部をさらに有し、
前記領域抽出部は、前記一部の抽出対象画像特徴点と前記一部の変換画像特徴点とに基づいて、前記抽出対象画像における前記物体を含む領域を抽出する、
請求項１から８のいずれか一項に記載の物体領域抽出装置。

【請求項10】

前記変換画像生成部は、前記選択部が選択した前記一部の抽出対象画像特徴点及び前記一部の変換画像特徴点と、前記一部の抽出対象画像特徴点以外の一部の抽出対象画像特徴点及び前記一部の変換画像特徴点以外の一部の変換画像特徴点との比率が所定の閾値以下である場合に、前記変換画像に施した前記所定の座標変換を、別の所定の座標変換に切り替える、
請求項９に記載の物体領域抽出装置。

【請求項11】

前記複数の処理層のうち、前記後段処理層として用いる処理層を選択する指示を受け付ける指示受付部をさらに有し、
前記抽出部は、前記指示受付部が受け付けた前記指示が示す前記処理層を、前記後段処理層として使用する、
請求項１から１０のいずれか一項に記載の物体領域抽出装置。

【請求項12】

前記抽出部は、前記複数の処理層のうち一つの層を前記後段処理層として選択して前記一以上の抽出対象画像出力及び前記一以上の変換画像出力を抽出した後に、前記前段処理層として選択した処理層を前記後段処理層として選択して、別の前記一以上の抽出対象画像出力及び前記一以上の変換画像出力を抽出する、
請求項１から１１のいずれか一項に記載の物体領域抽出装置。

【請求項13】

撮像装置で生成された抽出対象画像を取得するステップと、
前記抽出対象画像に所定の座標変換を施した変換画像を生成するステップと、
前記抽出対象画像及び前記変換画像のそれぞれに、入力された画像に基づいて当該画像に含まれる物体の種別を出力可能な機械学習モデルに含まれる処理層であって、それぞれ当該画像に含まれる一以上の画素を示す複数のユニットをそれぞれ含む複数の処理層を伝搬させるステップと、
前記複数の処理層から選択した後段処理層、及び前記後段処理層の直前の処理層である前段処理層の両方の処理層において共通に活性化している前記ユニットを示す画像出力であって前記抽出対象画像に基づいて前記後段処理層及び前記前段処理層から出力された前記画像出力である一以上の抽出対象画像出力と前記変換画像に基づいて前記後段処理層及び前記前段処理層から出力された前記画像出力である一以上の変換画像出力とを抽出するステップと、
前記一以上の抽出対象画像出力と、前記一以上の変換画像出力とに基づいて、前記抽出対象画像に含まれる特徴点である一以上の抽出対象画像特徴点と、前記変換画像に含まれる特徴点であって前記抽出対象画像特徴点と対応関係にある前記特徴点である一以上の変換画像特徴点を検出するステップと、
前記一以上の抽出対象画像特徴点と前記一以上の変換画像特徴点とに基づいて、前記抽出対象画像における前記物体を含む領域を抽出するステップと、
を有する物体領域抽出方法。

【請求項14】

前記抽出するステップは、
前記抽出対象画像が前記複数の処理層の一部である前段処理層及び後段処理層の順に伝搬したことにより前記後段処理層から出力された前記画像出力である複数の後段抽出対象画像出力、及び前記変換画像が前段処理層及び後段処理層の順に伝搬したことにより前記後段処理層から出力された前記画像出力である複数の後段変換画像出力から、共通に活性化している一以上の後段抽出対象画像出力及び一以上の後段変換画像出力を抽出する前段抽出ステップと、
前記一以上の後段抽出対象画像出力及び前記一以上の後段変換画像出力を活性化させる要因となった前記前段処理層から出力された前記画像出力である複数の前段抽出対象画像出力、及び前記前段処理層から出力された前記画像出力である複数の前段変換画像出力のうち、共通に活性化している一以上の前段抽出対象画像出力及び一以上の前段変換画像出力を抽出する後段抽出ステップと、
を有する、請求項１３に記載の物体領域抽出方法。

【請求項15】

前記前段抽出ステップを実行した後に、前記一以上の前段抽出対象画像出力及び前記一以上の前段変換画像出力を、前記複数の後段抽出対象画像出力及び前記複数の後段変換画像出力として、前記後段抽出ステップを実行する、
請求項１４に記載の物体領域抽出方法。

【請求項16】

前記複数の処理層のそれぞれに対して、前記後段抽出ステップ及び前記前段抽出ステップを実行する、
請求項１４又は１５に記載の物体領域抽出方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像に含まれる物体領域を抽出する物体領域抽出装置及び物体領域抽出方法に関する。

【背景技術】

【0002】

従来、画像に含まれる物体領域を抽出する装置が知られている。非特許文献１には、機械学習モデルを用いて、画像に含まれる物体領域を抽出する技術が記載されている。

【先行技術文献】

【非特許文献】

【0003】

【文献】Ｇ．Ｍｏｎｔａｖｏｎ， Ｗ．Ｓａｍｅｋ， ａｎｄ Ｋ．Ｒ．Ｍｕｌｌｅｒ， “Ｍｅｔｈｏｄｓ ｆｏｒ ｉｎｔｅｒｐｒｅｔｉｎｇ ａｎｄ ｕｎｄｅｒｓｔａｎｄｉｎｇ ｄｅｅｐ ｎｅｕｒａｌ ｎｅｔｗｏｒｋs”， Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ， ｖｏｌ．７３， ｐｐ．１－１５， Ｆｅｂ． ２０１８．

【発明の概要】

【発明が解決しようとする課題】

【0004】

非特許文献１のような技術を用いることにより、画像に含まれる物体領域を抽出することができる。しかしながら、非特許文献１においては、１つの画像に基づいて物体領域を抽出するため、精度良く物体領域を抽出することができない場合があった。

【0005】

そこで、本発明はこれらの点に鑑みてなされたものであり、画像に含まれる物体の領域を抽出する精度を向上させることができる物体領域抽出装置及び物体領域抽出方法を提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明の第１の態様に係る物体領域抽出装置は、撮像装置で生成された抽出対象画像を取得する画像取得部と、前記抽出対象画像に所定の座標変換を施した変換画像を生成する変換画像生成部と、前記抽出対象画像及び前記変換画像のそれぞれに、入力された画像に基づいて当該画像に含まれる物体の種別を出力可能な機械学習モデルに含まれる複数の処理層を伝搬させる伝搬制御部と、前記複数の処理層から選択した後段処理層、及び前記後段処理層の直前の処理層である前段処理層の両方の処理層において共通に活性化している、前記抽出対象画像に基づいて前記後段処理層及び前記前段処理層から出力された一以上の抽出対象画像出力と前記変換画像に基づいて前記後段処理層及び前記前段処理層から出力された一以上の変換画像出力とを抽出する抽出部と、前記一以上の抽出対象画像出力に基づいて一以上の抽出対象画像特徴点を検出し、かつ前記一以上の変換画像出力に基づいて一以上の変換画像特徴点を検出する特徴点検出部と、前記一以上の抽出対象画像特徴点と前記一以上の変換画像特徴点とに基づいて、前記抽出対象画像における前記物体を含む領域を抽出する領域抽出部と、を有する。

【0007】

前記領域抽出部は、前記抽出対象画像における前記一以上の抽出対象画像特徴点の位置と、前記変換画像における前記一以上の変換画像特徴点の位置との関係、並びに前記抽出対象画像に含まれる各画素の位置と、前記抽出対象画像に含まれる各画素それぞれに対応する前記変換画像に含まれる各画素の位置との関係に基づいて、前記抽出対象画像における前記物体を含む領域を抽出してもよい。

【0008】

前記領域抽出部は、前記抽出対象画像における前記一以上の抽出対象画像特徴点の位置と、前記変換画像における前記一以上の変換画像特徴点の位置との関係、並びに前記変換画像に施された前記所定の座標変換の変換式に基づいて、前記抽出対象画像における前記物体を含む領域を抽出してもよい。

【0009】

前記抽出部は、前記抽出対象画像が前記複数の処理層の一部である前段処理層及び後段処理層の順に伝搬したことにより前記後段処理層から出力された複数の後段抽出対象画像出力、及び前記変換画像が前段処理層及び後段処理層の順に伝搬したことにより前記後段処理層から出力された複数の後段変換画像出力から、共通に活性化している一以上の後段抽出対象画像出力及び一以上の後段変換画像出力を抽出する後段抽出部と、前記一以上の後段抽出対象画像出力及び前記一以上の後段変換画像出力を活性化させる要因となった前記前段処理層から出力された複数の前段抽出対象画像出力、及び前記前段処理層から出力された複数の前段変換画像出力のうち、共通に活性化している一以上の前段抽出対象画像出力及び一以上の前段変換画像出力を抽出する前段抽出部と、を有してもよい。

【0010】

前記前段抽出部は、前記複数の前段抽出対象画像出力及び前記複数の前段変換画像出力のうち、活性化している大きさに基づいて、前記一以上の前段抽出対象画像出力及び前記一以上の前段変換画像出力を抽出してもよい。

【0011】

前記機械学習モデルは、畳み込みニューラルネットワークを含み、前記後段処理層は、出力層、全結合層、正規化層、プーリング層、及び畳み込み層のうちのいずれかの層であってもよい。
前記前段処理層は、全結合層、正規化層、プーリング層、畳み込み層及び入力層のうちのいずれかの層であってもよい。

【0012】

前記抽出部は、前記複数の処理層のうち、最後尾の処理層である最後尾層を後段処理層として選択した場合において、前記最後尾層において共通に活性化している前記一以上の抽出対象画像出力及び前記一以上の変換画像出力がない場合、前記最後尾層より前の処理層において共通に活性化している前記一以上の抽出対象画像出力及び前記一以上の変換画像出力を抽出してもよい。

【0013】

前記物体領域抽出装置は、前記特徴点検出部が検出した前記一以上の抽出対象画像特徴点及び前記一以上の変換画像特徴点から、相互の対応関係に基づいて一部の抽出対象画像特徴点及び一部の変換画像特徴点を選択する選択部をさらに有し、前記領域抽出部は、前記一部の抽出対象画像特徴点と前記一部の変換画像特徴点とに基づいて、前記抽出対象画像における前記物体を含む領域を抽出してもよい。

【0014】

前記変換画像生成部は、前記選択部が選択した前記一部の抽出対象画像特徴点及び前記一部の変換画像特徴点と、前記一部の抽出対象画像特徴点以外の一部の抽出対象画像特徴点及び前記一部の変換画像特徴点以外の一部の変換画像特徴点との比率が所定の閾値以下である場合に、前記変換画像に施した前記所定の座標変換を、別の所定の座標変換に切り替えてもよい。

【0015】

前記物体領域抽出装置は、前記複数の処理層のうち、前記後段処理層として用いる処理層を選択する指示を受け付ける指示受付部をさらに有し、前記抽出部は、前記指示受付部が受け付けた前記指示が示す前記処理層を、前記後段処理層として使用してもよい。

【0016】

前記抽出部は、前記複数の処理層のうち一つの層を前記後段処理層として選択して前記一以上の抽出対象画像出力及び前記一以上の変換画像出力を抽出した後に、前記前段処理層として選択した処理層を前記後段処理層として選択して、別の前記一以上の抽出対象画像出力及び前記一以上の変換画像出力を抽出してもよい。

【0017】

本発明の第２の態様に係る物体領域抽出方法は、撮像装置で生成された抽出対象画像を取得するステップと、前記抽出対象画像に所定の座標変換を施した変換画像を生成するステップと、前記抽出対象画像及び前記変換画像のそれぞれに、入力された画像に基づいて当該画像に含まれる物体の種別を出力可能な機械学習モデルに含まれる複数の処理層を伝搬させるステップと、前記複数の処理層から選択した後段処理層、及び前記後段処理層の直前の処理層である前段処理層の両方の処理層において共通に活性化している、前記抽出対象画像に基づいて前記後段処理層及び前記前段処理層から出力された一以上の抽出対象画像出力と前記変換画像に基づいて前記後段処理層及び前記前段処理層から出力された一以上の変換画像出力とを抽出するステップと、前記一以上の抽出対象画像出力に基づいて一以上の抽出対象画像特徴点を検出し、かつ前記一以上の変換画像出力に基づいて一以上の変換画像特徴点を検出するステップと、前記一以上の抽出対象画像特徴点と前記一以上の変換画像特徴点とに基づいて、前記抽出対象画像における前記物体を含む領域を抽出するステップと、を有する。

【0018】

前記抽出するステップは、前記抽出対象画像が前記複数の処理層の一部である前段処理層及び後段処理層の順に伝搬したことにより前記後段処理層から出力された複数の後段抽出対象画像出力、及び前記変換画像が前段処理層及び後段処理層の順に伝搬したことにより前記後段処理層から出力された複数の後段変換画像出力から、共通に活性化している一以上の後段抽出対象画像出力及び一以上の後段変換画像出力を抽出する前段抽出ステップと、前記一以上の後段抽出対象画像出力及び前記一以上の後段変換画像出力を活性化させる要因となった前記前段処理層から出力された複数の前段抽出対象画像出力、及び前記前段処理層から出力された複数の前段変換画像出力のうち、共通に活性化している一以上の前段抽出対象画像出力及び一以上の前段変換画像出力を抽出する後段抽出ステップと、を有してもよい。

【0019】

前記前段抽出ステップを実行した後に、前記一以上の前段抽出対象画像出力及び前記一以上の前段変換画像出力を、前記複数の後段抽出対象画像出力及び前記複数の後段変換画像出力として、前記後段抽出ステップを実行してもよい。
前記複数の処理層のそれぞれに対して、前記後段抽出ステップ及び前記前段抽出ステップを実行してもよい。

【発明の効果】

【0020】

本発明によれば、画像に含まれる物体の領域を抽出する精度を向上させることができるという効果を奏する。

【図面の簡単な説明】

【0021】

【図1】領域を抽出する処理の概要を説明するための図である。

【図2】機械学習モデルの構成の一例を示す図である。

【図3】物体領域抽出装置の構成を示す図である。

【図4】抽出部が行う抽出処理について説明するための図である。

【図5】抽出部が行う抽出処理について説明するための図である。

【図6】抽出部が行う抽出処理について説明するための図である。

【図7】抽出部が行う抽出処理について説明するための図である。

【図8】抽出部が行う抽出処理について説明するための図である。

【図9】抽出部が行う抽出処理について説明するための図である。

【図10】物体領域抽出装置が行う処理の流れを示すフローチャートである。

【図11】抽出部が行う処理の流れを示すフローチャートである。

【発明を実施するための形態】

【0022】

［物体領域抽出装置１の概要］
図１は、領域を抽出する処理の概要を説明するための図である。物体領域抽出装置１は、例えばＰＣ（Personal Computer）である。物体領域抽出装置１は、撮像装置で生成された抽出対象画像と、抽出対象画像に所定の座標変換を施した変換画像とに基づいて、機械学習モデルＭを用いて抽出対象画像に写っている物体（被写体）の領域を抽出する装置である。画像は、静止画像又は動画像である。物体領域抽出装置１は、画像が動画像である場合、動画像に含まれるフレームごとに領域を抽出する。

【0023】

物体領域抽出装置１は、撮像装置で生成された抽出対象画像Ａを取得する（図１の（１））。撮像装置は、例えば、カメラである。図１に示す抽出対象画像Ａは、風景写真であり、抽出対象画像Ａの前景には塔Ｔ１が写っている。

【0024】

続いて、物体領域抽出装置１は、抽出対象画像に所定の座標変換を施した変換画像Ｂを生成する（図１の（２））。所定の座標変換は、例えば、平行移動、回転移動、拡大・縮小、アフィン変換、射影変換、一次分数変換、鏡映変換等である。図１に示す変換画像Ｂは、抽出対象画像Ａを鏡映変換した画像であり、変換画像Ｂの前景には塔Ｔ１が反転した塔Ｔ２が写っている。

【0025】

物体領域抽出装置１は、抽出対象画像Ａ及び変換画像Ｂそれぞれを機械学習モデルＭに入力し、当該機械学習モデルＭに含まれる複数の処理層を伝搬させる（図１の（３））。機械学習モデルＭは、入力された画像に基づいて当該画像に含まれる物体の種別を出力するように学習されたモデルである。

【0026】

図２は、機械学習モデルＭの構成の一例を示す図である。機械学習モデルＭは、畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）を含む。この場合において、機械学習モデルＭは、入力層Ｍ１、第１の畳み込み層Ｍ２、第２の畳み込み層Ｍ３、第１のプーリング層Ｍ４、正規化層Ｍ５、第３の畳み込み層Ｍ６、第２のプーリング層Ｍ７、第１の全結合層Ｍ８、第２の全結合層Ｍ９、及び出力層Ｍ１０を有する。本明細書においては、隣接する２つの処理層のうち、抽出対象画像Ａ及び変換画像Ｂが伝搬する際の上流側の処理層を前段処理層と称し、下流側の処理層を後段処理層と称する。

【0027】

後段処理層となり得る処理層は、第１の畳み込み層Ｍ２、第２の畳み込み層Ｍ３、第１のプーリング層Ｍ４、正規化層Ｍ５、第３の畳み込み層Ｍ６、第２のプーリング層Ｍ７、第１の全結合層Ｍ８、第２の全結合層Ｍ９、及び出力層Ｍ１０のうちのいずれかの層である。また、前段処理層となり得る処理層は、入力層Ｍ１、第１の畳み込み層Ｍ２、第２の畳み込み層Ｍ３、第１のプーリング層Ｍ４、正規化層Ｍ５、第３の畳み込み層Ｍ６、第２のプーリング層Ｍ７、第１の全結合層Ｍ８、及び第２の全結合層Ｍ９のうちのいずれかの層である。物体領域抽出装置１は、取得した画像を機械学習モデルＭに入力し、入力層Ｍ１から出力層Ｍ１０までの各処理層を順伝搬させる、すなわち、推論させることにより、画像に写っている物体の種別を出力させる。

【0028】

図１に戻り、物体領域抽出装置１は、機械学習モデルＭが被写体の種別を出力するに至った各処理層における計算結果、すなわち、深層学習による抽象度の高い特徴量を用いて、抽出対象画像Ａ及び変換画像Ｂに共通する特徴点を検出する（図１の（４））。ここで、物体領域抽出装置１は、共通する特徴点の検出を、伝搬させた順序とは逆の順序で行う。このようにすることで、物体領域抽出装置１は、抽象度が高い特徴量に基づく特徴点を検出することができる。

【0029】

物体領域抽出装置１は、共通する特徴点を検出することにより、抽出対象画像Ａに写っている塔Ｔ１と、変換画像Ｂに写っている塔Ｔ２とにそれぞれ対応関係があることを検出する。対応関係は、抽出対象画像の特徴点が示す抽出対象画像に含まれる画素と、変換画像の特徴点が示す変換画像に含まれる画素とが一致又は近似した関係である。

【0030】

そして、物体領域抽出装置１は、検出した対応関係にある抽出対象画像Ａ及び変換画像Ｂそれぞれの特徴点に基づいて、抽出対象画像Ａにおける塔Ｔ１を含む領域を抽出する（図１の（５））。このようにすることで、物体領域抽出装置１は、特定の物体の領域を抽出する精度を向上させることができる。
以下、物体領域抽出装置１の詳細について説明する。

【0031】

［物体領域抽出装置１の構成］
図３は、物体領域抽出装置１の構成を示す図である。物体領域抽出装置１は、操作部１１、記憶部１２、及び制御部１３を有する。

【0032】

操作部１１は、ユーザの操作を受け付ける入力デバイスである。
記憶部１２は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）及びハードディスク等の記憶媒体である。記憶部１２は、制御部１３が実行する各種のプログラムを記憶する。

【0033】

制御部１３は、例えばＣＰＵ（Central Processing Unit）である。制御部１３は、記憶部１２に記憶されているプログラムを実行することにより、物体領域抽出装置１に係る機能を制御する。制御部１３は、プログラムを実行することにより、画像取得部１３１、変換画像生成部１３２、伝搬制御部１３３、抽出部１３４、指示受付部１３７、特徴点検出部１３８、選択部１３９、及び領域抽出部１４０として機能する。

【0034】

画像取得部１３１は、撮像装置で生成された抽出対象画像を取得する。画像取得部１３１は、例えば、記憶部１２に記憶されている抽出対象画像を取得する。画像取得部１３１は、取得した抽出対象画像を、変換画像生成部１３２及び伝搬制御部１３３に入力する。

【0035】

変換画像生成部１３２は、画像取得部１３１が取得した抽出対象画像に所定の座標変換を施した変換画像を生成する。変換画像生成部１３２は、抽出対象画像に対して、任意の座標変換を施してもよいし、抽出対象画像の種類に基づいて決定した座標変換を施してもよいし、ユーザが指定した座標変換を施してもよい。抽出対象画像の種類は、例えば、抽出対象画像が静止画像である場合においては、風景画像又はポートレート画像等であり、抽出対象画像が動画像である場合においては、テレビ会議において用いられるビデオチャットの動画像又はスポーツの試合の動画像等である。

【0036】

変換画像生成部１３２は、画像取得部１３１が取得した抽出対象画像にそれぞれ異なる所定の座標変換を施した複数の変換画像を生成してもよい。変換画像生成部１３２は、例えば、所定の座標変換が平行移動である場合に、抽出対象画像に対して、平行移動量がそれぞれ異なる複数の変換画像を生成する。変換画像生成部１３２は、生成した変換画像を伝搬制御部１３３に入力する。

【0037】

伝搬制御部１３３は、抽出対象画像及び変換画像のそれぞれに、機械学習モデルＭに含まれる複数の処理層を伝搬させる。図２に示す例において、伝搬制御部１３３は、抽出対象画像及び変換画像のそれぞれに、機械学習モデルＭに含まれる入力層Ｍ１から出力層Ｍ１０までの各処理層を、順に伝搬させる。

【0038】

抽出部１３４は、複数の処理層から選択した後段処理層、及び後段処理層の直前の処理層である前段処理層の両方の処理層において共通に活性化している、抽出対象画像に基づいて後段処理層及び前段処理層から出力された一以上の抽出対象画像出力と変換画像に基づいて後段処理層及び前段処理層から出力された一以上の変換画像出力とを抽出する。抽出部１３４が行う抽出処理の詳細については後述するが、抽出部１３４は、後段処理層で共通に活性化している抽出対象画像出力の一部である後段抽出対象画像出力及び変換画像出力の一部である後段変換画像出力を抽出する後段抽出部１３５と、前段処理層で共通に活性化している抽出対象画像出力の一部である前段抽出対象画像出力及び変換画像出力の一部である前段変換画像出力を抽出する前段抽出部１３６とを有する。

【0039】

抽出部１３４が抽出する抽出対象画像出力及び変換画像出力は、処理層に含まれる複数のユニットのうち、活性化しているユニットを示す情報である。ユニットは、画像に含まれる一以上の画素である。活性化の定義は、例えば、ユニットの出力値又はユニットの出力値と当該ユニットの結合の重みとの積が、所定の閾値を超えた場合でもよいし、出力の大きい順に所定の個数又は所定の割合に含まれた場合であってもよい。また、全結合層以外の処理層においては、例えば、チャンネルごとに出力の大きい順に所定の個数又は所定の割合に含まれた場合であってもよい。チャンネルは、フィルタ毎に畳み込み演算した出力である。

【0040】

抽出部１３４は、複数の処理層のうち、最後尾の処理層である最後尾層を後段処理層として選択することが好ましい。しかし、最後尾層において共通に活性化している抽出対象画像出力及び変換画像出力がない場合がある。そこで、抽出部１３４は、複数の処理層のうち、最後尾層を後段処理層として選択した場合において、最後尾層において共通に活性化している一以上の抽出対象画像出力及び一以上の変換画像出力がない場合、最後尾層より前の処理層において共通に活性化している一以上の抽出対象画像出力及び一以上の変換画像出力を抽出してもよい。

【0041】

例えば、抽出部１３４が、最後尾層である出力層Ｍ１０を後段処理層として選択した場合において、出力層Ｍ１０において共通に活性化している一以上の抽出対象画像出力及び一以上の変換画像出力がないとする。この場合において、抽出部１３４は、出力層Ｍ１０より前の各処理層に対して、共通に活性化している一以上の抽出対象画像出力及び一以上の変換画像出力を繰り返し探索する。

【0042】

抽出部１３４は、例えば、出力層Ｍ１０の直前の処理層である第２の全結合層Ｍ９において共通に活性化している一以上の抽出対象画像出力及び一以上の変換画像出力があった場合、第２の全結合層Ｍ９を後段処理層として選択する。そして、抽出部１３４は、後段処理層として選択した第２の全結合層Ｍ９において共通に活性化している一以上の抽出対象画像出力及び一以上の変換画像出力を抽出する。このようにすることで、抽出部１３４は、抽出対象画像と変換画像とで一致する領域が少ない場合であっても、それぞれに写る被写体を対応付けることができる。

【0043】

抽出部１３４は、ユーザによって指定された処理層を後段処理層として選択してもよい。具体的には、まず、指示受付部１３７は、操作部１１を介して、複数の処理層のうち、後段処理層として用いる処理層を選択する指示を受け付ける。そして、抽出部１３４は、指示受付部１３７が受け付けた指示が示す処理層を、後段処理層として使用する。抽出部１３４は、図２に示す例において、ユーザが第２の全結合層Ｍ９を選択した場合に、指示受付部１３７が受け付けた指示が示す第２の全結合層Ｍ９を、後段処理層として使用する。

【0044】

抽出部１３４は、抽出した抽出対象画像出力と変換画像出力とを特徴点検出部１３８に入力する。このように、抽出部１３４は、後段処理層及び前段処理層の両方の処理層において共通に活性化している一以上の抽出対象画像出力及び一以上の変換画像出力を抽出することにより、抽出対象画像に含まれる一以上の物体の領域を抽出し、抽出対象画像を物体の領域ごとに分割することができる。

【0045】

上記において、抽出部１３４が、後段処理層及び前段処理層の両方の処理層において共通に活性化している一以上の抽出対象画像出力及び一以上の変換画像出力を抽出する説明をしたが、これに限らない。抽出部１３４は、後段処理層及び前段処理層の両方の処理層において共通に活性化している一以上の抽出対象画像出力及び一以上の変換画像出力のうち、抽出対象画像に含まれる特定の物体の領域に対応する一以上の抽出対象画像出力及び一以上の変換画像出力を抽出してもよい。

【0046】

例えば、抽出部１３４は、ユーザによって指定された物体の領域に対応する一以上の抽出対象画像出力及び一以上の変換画像出力を抽出してもよい。具体的には、ユーザが抽出対象画像において抽出したい物体を指定する操作を行うと、まず、指示受付部１３７は、操作部１１を介して、抽出対象画像において抽出する物体の領域を指定する指示を受け付ける。そして、抽出部１３４は、後段処理層及び前段処理層の両方の処理層において共通に活性化している一以上の抽出対象画像出力及び一以上の変換画像出力のうち、指示受付部１３７が受け付けた指示が示す特定の物体の領域に対応する一以上の抽出対象画像出力及び一以上の変換画像出力を抽出する。このようにすることで、抽出部１３４は、ユーザが意図した物体のみを抽出することができる。

【0047】

また、例えば、抽出部１３４は、抽出対象画像の種類に基づいて特定した物体の領域に対応する一以上の抽出対象画像出力及び一以上の変換画像出力を抽出してもよい。「抽出対象画像の種類に基づいて特定した物体」は、例えば、抽出対象画像の種類が風景画像である場合はランドマークであり、抽出対象画像の種類がポートレート画像である場合は人物である。

【0048】

ここで、機械学習モデルＭに含まれる処理層には、入力された画像を種類ごとに分類する分類処理層があるとする。この場合において、抽出部１３４は、まず、分類処理層において活性化しているユニットが示す画像の種類に基づいて、入力された画像において抽出する物体を特定する。そして、抽出部１３４は、後段処理層及び前段処理層の両方の処理層において共通に活性化している一以上の抽出対象画像出力及び一以上の変換画像出力のうち、特定した物体の領域に対応する一以上の抽出対象画像出力及び一以上の変換画像出力を抽出する。

【0049】

特徴点検出部１３８は、一以上の抽出対象画像出力に基づいて一以上の抽出対象画像特徴点を検出し、かつ一以上の変換画像出力に基づいて一以上の変換画像特徴点を検出する。具体的には、特徴点検出部１３８は、まず、一以上の抽出対象画像出力及び一以上の変換画像出力に基づいて、対応する特徴点を探索する。そして、特徴点検出部１３８は、対応関係にある一以上の抽出対象画像出力に基づく一以上の抽出対象画像特徴点と、一以上の変換画像出力に基づく一以上の変換画像特徴点とを検出する。特徴点検出部１３８は、検出した抽出対象画像特徴点及び変換画像特徴点を選択部１３９に入力する。

【0050】

選択部１３９は、特徴点検出部１３８が検出した一以上の抽出対象画像特徴点及び一以上の変換画像特徴点から、相互の対応関係に基づいて一部の抽出対象画像特徴点及び一部の変換画像特徴点を選択する。具体的には、選択部１３９は、変換画像生成部１３２が変換画像に施した所定の座標変換の変換式に基づいて、誤検出した対応関係を除去し、除去した後の対応関係に基づく一以上の抽出対象画像特徴点及び一以上の変換画像特徴点を選択する。対応関係の誤検出は、抽出対象画像特徴点及び変換画像特徴点の対応関係に矛盾が生じている状態である。対応関係の誤検出は、例えば、抽出対象画像特徴点に含まれる画素に対して、変換画像生成部１３２が変換画像に施した所定の座標変換と同じ座標変換を施した画素の座標が、対応関係にある変換画像特徴点に含まれる画素の座標と異なっている場合である。

【0051】

例えば、変換画像生成部１３２が、抽出対象画像に、右方向に数十画素分の平行移動を施して変換画像を生成したとする。この場合において、選択部１３９は、まず、特徴点検出部１３８が検出した一以上の抽出対象画像特徴点及び一以上の変換画像特徴点のうち、一以上の抽出対象画像特徴点に含まれる画素に対して右方向に数十画素分の平行移動を施した画素の座標が、対応関係にある変換画像特徴点に含まれる画素の座標と異なっている一以上の抽出対象画像特徴点及び一以上の変換画像特徴点を探索する。そして、選択部１３９は、該当する一以上の抽出対象画像特徴点及び一以上の変換画像特徴点を誤検出として対応関係を除去し、除去した後の対応関係に基づく一以上の抽出対象画像特徴点及び一以上の変換画像特徴点を選択する。

【0052】

また、選択部１３９は、変換画像生成部１３２が変換画像に施した座標変換の変換式に基づいて、抽出部１３４が行う抽出処理で抽出された画像出力の絞り込みを行ってもよい。具体的には、選択部１３９は、まず、抽出部１３４が画像出力を抽出した処理層から逆畳み込みを行い、当該画像出力に対応する画像の領域を特定する。そして、選択部１３９は、特定した領域が座標変換の変換式に基づく関係を満たさない場合に、当該領域に対応する画像出力を、抽出部１３４によって抽出された画像出力から除去する。

【0053】

「座標変換の変換式に基づく関係」は、特定した領域が抽出対象画像出力に対応する画像の領域である場合においては、当該領域に座標変換を施した領域と、対応関係にある変換画像出力に対応する画像の領域とが一致又は近似する関係である。また、「座標変換の変換式に基づく関係」は、特定した領域が変換画像出力に対応する画像の領域である場合においては、当該領域に施された座標変換と反対の座標変換を施した領域と、対応関係にある抽出対象出力に対応する画像の領域とが一致又は近似する関係である。

【0054】

選択部１３９は、例えば、一の抽出対象画像出力に対応する抽出対象画像の領域である抽出対象画像領域を、当該一の抽出対象画像出力が抽出された処理層において逆畳み込みを行うことにより特定する。同様に、選択部１３９は、一の変換画像出力に対応する変換画像の領域である変換画像領域を、当該一の変換画像出力が抽出された処理層において逆畳み込みを行うことにより特定する。

【0055】

選択部１３９は、変換画像生成部１３２が変換画像に施した座標変換の変換式を用いて、変換画像上に変換した抽出対象画像領域に、変換画像領域と共通する部分があるか否かを判定する。同様に、選択部１３９は、変換画像生成部１３２が変換画像に施した座標変換の変換式を用いて抽出対象画像上に逆変換した変換画像領域に、抽出対象画像領域と共通する部分があるか否かを判定する。

【0056】

選択部１３９は、いずれかの判定において共通する部分がないと判定した場合、抽出すべき出力ではないと判断し、当該一の抽出対象画像出力及び当該一の変換画像出力の対応関係を除去する。この場合、抽出部１３４は、選択部１３９が除去した対応関係にある当該一の抽出対象画像出力及び当該一の変換画像出力に基づく抽出処理を中止する。一方、選択部１３９は、２つの判定において共通する部分があると判定した場合、当該一の抽出対象画像出力及び当該一の変換画像出力の対応関係を維持し、次に抽出部１３４が抽出した抽出対象画像出力及び変換画像出力の絞り込みを行う。

【0057】

ところで、選択部１３９が誤検出として対応関係を除去した一以上の抽出対象画像特徴点及び一以上の変換画像特徴点の割合が、選択した一以上の抽出対象画像特徴点及び一以上の変換画像特徴点より多い場合、変換画像生成部１３２が抽出対象画像に施した座標変換が、抽出対象画像に含まれる物体の形状に適していないことが考えられる。例えば、抽出する物体が人間又はランドマーク等の対称性がある形状である場合において、抽出対象画像に鏡映変換を施した場合、正確に物体を抽出することができることが期待される。一方で、抽出する物体が信号機又は文字等の対称性がない形状である場合において、抽出対象画像に鏡映変換を施した場合、正確に物体を抽出することができない場合がある。このように、変換画像生成部１３２は、抽出する物体に応じて、適切な座標変換を選択することが好ましい。

【0058】

そこで、変換画像生成部１３２は、選択部１３９が選択した一部の抽出対象画像特徴点及び一部の変換画像特徴点と、一部の抽出対象画像特徴点以外の一部の抽出対象画像特徴点及び一部の変換画像特徴点以外の一部の変換画像特徴点との比率が所定の閾値以下である場合に、変換画像に施した所定の座標変換を、別の所定の座標変換に切り替えてもよい。

【0059】

変換画像生成部１３２は、例えば、特徴点検出部１３８が検出した一以上の抽出対象画像特徴点及び一以上の変換画像特徴点のうち、選択部１３９が選択した一部の抽出対象画像特徴点及び一部の変換画像特徴点の比率が半数以下である場合に、変換画像に施した所定の座標変換を、別の所定の座標変換に切り替えてもよい。このように、変換画像生成部１３２は、誤検出した対応関係が多い場合に、変換画像に施した座標変換を別の座標変換に切り替えることにより、物体を抽出する精度を向上させることができる。

【0060】

領域抽出部１４０は、一以上の抽出対象画像特徴点と一以上の変換画像特徴点とに基づいて、抽出対象画像における物体を含む領域を抽出する。具体的には、領域抽出部１４０は、抽出対象画像における一以上の抽出対象画像特徴点の位置と、変換画像における一以上の変換画像特徴点の位置との関係、並びに抽出対象画像に含まれる各画素の位置と、抽出対象画像に含まれる各画素それぞれに対応する変換画像に含まれる各画素の位置との関係に基づいて、抽出対象画像における物体を含む領域を抽出する。

【0061】

図１に示す例において、領域抽出部１４０は、まず、抽出対象画像Ａにおいて、特徴点検出部１３８が特定した一以上の変換画像特徴点と対応関係にある一以上の抽出対象画像特徴点を、クラスタリングを行う所定のアルゴリズム（例えば、ｋ平均アルゴリズム又はベクトル量子化アルゴリズム等）を用いて、前景（塔Ｔ１を含む領域）及び背景（塔Ｔ１以外の領域）に分類する。そして、領域抽出部１４０は、前景に分類した抽出対象画像特徴点に含まれる、抽出対象画像における塔Ｔ１を含む前景の領域を抽出する。領域抽出部１４０は、例えば、前景に分類した抽出対象画像特徴点に含まれる、抽出対象画像における塔Ｔ１を含む前景の領域を、ＧｒａｂＣｕｔアルゴリズム等を用いて抽出してもよい。

【0062】

領域抽出部１４０は、抽出対象画像における一以上の抽出対象画像特徴点の位置と、変換画像における一以上の変換画像特徴点の位置との関係、並びに変換画像に施された所定の座標変換の変換式に基づいて、抽出対象画像における物体を含む領域を抽出してもよい。具体的には、領域抽出部１４０は、抽出対象画像における一以上の抽出対象画像特徴点の位置と、変換画像における一以上の変換画像特徴点の位置とが、座標変換の変換式に基づく関係を満たす、抽出対象画像における物体を含む領域を抽出してもよい。

【0063】

領域抽出部１４０は、選択部１３９が選択した一部の抽出対象画像特徴点と一部の変換画像特徴点とに基づいて、抽出対象画像における物体を含む領域を抽出してもよい。領域抽出部１４０は、抽出した領域を記憶部１２に記憶させる。

【0064】

［抽出処理］
続いて、抽出部１３４が行う抽出処理について説明する。上述のとおり、抽出部１３４は、後段抽出部１３５及び前段抽出部１３６を有する。後段抽出部１３５は、抽出対象画像が複数の処理層の一部である前段処理層及び後段処理層の順に伝搬したことにより後段処理層から出力された複数の後段抽出対象画像出力、及び変換画像が前段処理層及び後段処理層の順に伝搬したことにより後段処理層から出力された複数の後段変換画像出力から、共通に活性化している一以上の後段抽出対象画像出力及び一以上の後段変換画像出力を抽出する。

【0065】

前段抽出部１３６は、一以上の後段抽出対象画像出力及び一以上の後段変換画像出力を活性化させる要因となった前段処理層から出力された複数の前段抽出対象画像出力、及び前段処理層から出力された複数の前段変換画像出力のうち、共通に活性化している一以上の前段抽出対象画像出力及び一以上の前段変換画像出力を抽出する。

【0066】

図４から図９は、抽出部１３４が行う抽出処理について説明するための図である。図４から図９は、前段処理層から後段処理層に伝搬させた状態を示している。図４から図９において、実線で示すユニットを結合する結合線は、結合するユニットから出力があったことを示し、破線で示す結合線は、結合するユニットから出力が無かったことを示す。また、結合線を示す線の太さは、結合するユニットからの出力の大きさを示す。

【0067】

図４の場合において、後段処理層は、最後尾層（例えば、出力層又は全結合層等）又は抽出部１３４が選択した最後尾層より前の処理層（全結合層又はプーリング層等）であり、前段処理層は、後段処理層の直前の処理層（例えば、全結合層又はプーリング層等）である。図４においては、後段処理層が出力層Ｍ２０であり、前段処理層が全結合層Ｍ１９であるとして説明する。

【0068】

図４（ａ）は、抽出前の状態であり、図４（ｂ）は抽出後の状態である。抽出対象画像において、出力層Ｍ２０は、ユニットＵ５、Ｕ８が活性化しており、全結合層Ｍ１９は、ユニットＵ２、Ｕ５、Ｕ６、Ｕ７、Ｕ８が活性化している。変換画像において、出力層Ｍ２０は、ユニットＵ３、Ｕ５が活性化しており、全結合層Ｍ１９は、ユニットＵ２、Ｕ４、Ｕ５、Ｕ８が活性化している。

【0069】

この場合において、後段抽出部１３５は、後段処理層である出力層Ｍ２０から出力された後段抽出対象画像出力であるユニットＵ５、Ｕ８、及び出力層Ｍ２０から出力された後段変換画像出力であるユニットＵ３、Ｕ５を比較する。そして、後段抽出部１３５は、共通に活性化している後段抽出対象画像出力のユニットＵ５及び後段変換画像出力のユニットＵ５を抽出する。

【0070】

続いて、前段抽出部１３６は、後段抽出対象画像出力のユニットＵ５を活性化させる要因となった前段処理層である全結合層Ｍ１９から出力された前段抽出対象画像出力であるユニットＵ２、Ｕ５、Ｕ６、及び後段変換画像出力のユニットＵ５を活性化させる要因となった全結合層Ｍ１９から出力された前段変換画像出力であるユニットＵ２、Ｕ５、Ｕ８を比較する。そして、前段抽出部１３６は、共通に活性化している前段抽出対象画像出力のユニットＵ２、Ｕ５、及び前段変換画像出力のユニットＵ２、Ｕ５を抽出する。

【0071】

抽出部１３４は、出力層Ｍ２０から全結合層Ｍ１９までの出力を抽出すると、次の処理層に対する出力を抽出する。具体的には、抽出部１３４は、処理層ごとに、共通に活性化している抽出対象画像出力及び変換画像出力を抽出する処理を、伝搬制御部１３３が伝搬させた順序とは逆の順序で繰り返し行う。より具体的には、抽出部１３４は、複数の処理層のうち一つの層を後段処理層として選択して一以上の抽出対象画像出力及び一以上の変換画像出力を抽出した後に、前段処理層として選択した処理層を後段処理層として選択して、別の一以上の抽出対象画像出力及び一以上の変換画像出力を抽出する。このようにすることで、抽出部１３４は、抽出対象画像及び変換画像に対する比較の精度を高めることができる。

【0072】

図５は、抽出対象画像に基づいて、前段処理層から後段処理層に伝搬させた状態を示している。図６は、変換画像に基づいて、前段処理層から後段処理層に伝搬させた状態を示している。図５及び図６の場合において、後段処理層は、全結合層Ｍ１８であり、前段処理層は、全結合層以外の処理層（例えば、プーリング層又は畳み込み層等）である。図５及び図６においては、前段処理層がプーリング層Ｍ１７であるとして説明する。また、図５及び図６において、前段処理層は、３つのチャンネルを有する。上段の第１チャンネルは、ユニットＵ１１、Ｕ１２、Ｕ１３、Ｕ１４、及びＵ１５を含む。中段の第２チャンネルは、ユニットＵ２１、Ｕ２２、Ｕ２３、Ｕ２４、及びＵ２５を含む。下段の第３チャンネルは、ユニットＵ３１、Ｕ３２、Ｕ３３、Ｕ３４、及びＵ３５を含む。

【0073】

抽出対象画像において、プーリング層Ｍ１７は、第１チャンネルに含まれるユニットＵ１３及び第２チャンネルに含まれるユニットＵ２１、Ｕ２４が活性化している。変換画像において、全結合層Ｍ１８は、第２チャンネルに含まれるユニットＵ２２、Ｕ２４、Ｕ２５及び第３チャンネルに含まれるユニットＵ３２、Ｕ３３が活性化している。

【0074】

前段抽出部１３６は、後段抽出対象画像出力のユニットＵ５を活性化させる要因となった前段処理層であるプーリング層Ｍ１７から出力された前段抽出対象画像出力、及び後段変換画像出力のユニットＵ５を活性化させる要因となったプーリング層Ｍ１７から出力された前段変換画像出力を比較する。前段抽出部１３６は、活性化しているユニットの有無を調べ、活性化している前段抽出対象画像出力の第１チャンネルに含まれるユニットＵ１３及び第２チャンネルに含まれるＵ２１、Ｕ２４と、前段変換画像出力の第２チャンネルに含まれるユニットＵ２２、Ｕ２４、Ｕ２５及び第３チャンネルに含まれるＵ３２、Ｕ３３とに着目する。

【0075】

そして、前段抽出部１３６は、前段抽出対象画像出力と前段変換画像出力との両方において活性化しているユニットが存在しているチャンネルが第２チャンネルであることから、前段抽出対象画像出力の第２チャンネルに含まれるユニットＵ２１、Ｕ２４及び前段変換画像出力の第２チャンネルに含まれるユニットＵ２２、Ｕ２４、Ｕ２５を抽出する。

【0076】

図７の場合において、後段処理層は、プーリング層Ｍ１６であり、前段処理層は、プーリング層以外の処理層（例えば、畳み込み層又は正規化層等）である。図７においては、前段処理層が畳み込み層Ｍ１５であるとして説明する。また、図７において、前段処理層は、チャンネルが１つであるとして説明する。抽出対象画像において、プーリング層Ｍ１６は、ユニットＵ５が活性化しており、畳み込み層Ｍ１５は、ユニットＵ３、Ｕ５が活性化している。変換画像において、プーリング層Ｍ１６は、ユニットＵ３が活性化しており、畳み込み層Ｍ１５は、ユニットＵ３、Ｕ４が活性化している。

【0077】

ここで、抽出部１３４は、画像の圧縮を行うプーリング層においては、直前の処理層からプーリング層に結合している複数のユニットのうち、チャンネルごとに活性化している程度に基づいて出力を抽出する。具体的には、前段抽出部１３６は、複数の前段抽出対象画像出力及び複数の前段変換画像出力のうち、活性化している大きさに基づいて、一以上の前段抽出対象画像出力及び一以上の前段変換画像出力を抽出する。前段抽出部１３６は、例えば、複数の前段抽出対象画像出力及び複数の前段変換画像出力のうち、チャンネルごとに最も大きく活性化している一以上の前段抽出対象画像出力及び一以上の前段変換画像出力を抽出する。

【0078】

この場合において、後段抽出部１３５は、直前の抽出処理において前段処理層として選択したプーリング層Ｍ１６を選択して、プーリング層Ｍ１６から出力された後段抽出対象画像出力のユニットＵ５、及びプーリング層Ｍ１６から出力された後段変換画像出力のユニットＵ３を抽出する。そして、前段抽出部１３６は、後段抽出対象画像出力のユニットＵ３、Ｕ５及び後段変換画像出力のユニットＵ３、Ｕ４のうち、チャンネルごとに最も大きく活性化している前段抽出対象画像出力のユニットＵ５、及び前段変換画像出力のユニットＵ４を抽出する。このようにすることで、前段抽出部１３６は、画像の中で特徴となる領域を特定することができる。

【0079】

図８の場合において、後段処理層は、畳み込み層Ｍ１４であり、前段処理層は、畳み込み層を含む他の処理層（例えば、正規化層又はプーリング層等）である。図８においては、前段処理層が正規化層Ｍ１３であるとして説明する。また、図８において、前段処理層は、チャンネルが１つであるとして説明する。抽出対象画像において、畳み込み層Ｍ１４は、ユニットＵ５が活性化しており、正規化層Ｍ１３は、ユニットＵ３、Ｕ５、Ｕ６が活性化している。変換画像において、畳み込み層Ｍ１４は、ユニットＵ３が活性化しており、正規化層Ｍ１３は、ユニットＵ３、Ｕ４、Ｕ５が活性化している。

【0080】

この場合において、後段抽出部１３５は、直前の抽出処理において前段処理層として選択した畳み込み層Ｍ１４を選択して、畳み込み層Ｍ１４から出力された後段抽出対象画像出力のユニットＵ５、及び畳み込み層Ｍ１４から出力された後段変換画像出力のユニットＵ３を抽出する。

【0081】

続いて、前段抽出部１３６は、後段抽出対象画像出力のユニットＵ５を活性化させる要因となった前段処理層である正規化層Ｍ１３から出力された前段抽出対象画像出力、及び後段変換画像出力のユニットＵ３を活性化させる要因となった前段処理層である正規化層Ｍ１３から出力された前段変換画像出力を比較する。ここで、前段抽出部１３６は、後段処理層が畳み込み層である場合、後段抽出部１３５が後段処理層から抽出したユニットに結合する前段処理層の複数のユニットのうち、前段抽出対象画像出力と前段変換画像出力とにおいて位置が相対的に同じであり、かつチャンネルが共通するユニットを抽出する。この場合、前段抽出部１３６は、前段抽出対象画像出力と前段変換画像出力とにおいて位置が相対的に同じであり、かつチャンネルが共通するユニットとして、前段抽出対象画像出力のユニットＵ５、Ｕ６、及び前段変換画像出力のユニットＵ３、Ｕ４を抽出する。

【0082】

図９の場合において、後段処理層は、正規化層Ｍ１２であり、前段処理層は、正規化層以外の処理層（例えば、畳み込み層又はプーリング層等）である。図９においては、前段処理層がプーリング層Ｍ１１であるとして説明する。また、図９において、前段処理層は、チャンネルが１つであるとして説明する。抽出対象画像において、正規化層Ｍ１２は、ユニットＵ５が活性化している。変換画像において、正規化層Ｍ１２は、ユニットＵ３が活性化している。

【0083】

ここで、抽出部１３４は、画像に対して前処理を行う正規化層においては、後段処理層において活性化しているユニットに結合している前段処理層に含まれる複数のユニットのうち、中心のユニットを抽出する。この場合において、後段抽出部１３５は、後段処理層として選択した正規化層Ｍ１２から出力された後段抽出対象画像出力のユニットＵ５、及び正規化層Ｍ１２から出力された後段変換画像出力のユニットＵ３を抽出する。

【0084】

そして、前段抽出部１３６は、正規化層Ｍ１２から出力された後段抽出対象画像出力のユニットＵ５に結合しているプーリング層Ｍ１１のユニットのうち、中心のユニットＵ５を抽出する。同様に、前段抽出部１３６は、正規化層Ｍ１２から出力された後段変換画像出力のユニットＵ３に結合しているプーリング層Ｍ１１のユニットのうち、中心のユニットＵ３を抽出する。

【0085】

抽出部１３４は、上述の抽出処理を入力層まで繰り返し行うことが好ましい。しかし、抽出部１３４は、抽出処理を最初の処理層まで行わずに、途中の処理層（例えば、プーリング層又は正規化層等）で終了してもよい。このように、抽出部１３４は、伝搬制御部１３３が伝搬させた順序とは逆の順序で抽出処理を行うことにより、抽象度が高い出力を抽出することができる。

【0086】

［物体領域抽出装置１の処理］
続いて、物体領域抽出装置１が行う処理の流れを説明する。図１０は、物体領域抽出装置１が行う処理の流れを示すフローチャートである。本フローチャートは、画像取得部１３１が、記憶部１２に記憶されている抽出対象画像を取得したことを契機として開始する（Ｓ１）。

【0087】

画像取得部１３１は、取得した抽出対象画像を、変換画像生成部１３２及び伝搬制御部１３３に入力する。変換画像生成部１３２は、画像取得部１３１が取得した抽出対象画像に所定の座標変換を施した変換画像を生成する（Ｓ２）。変換画像生成部１３２は、生成した変換画像を伝搬制御部１３３に入力する。伝搬制御部１３３は、抽出対象画像及び変換画像のそれぞれに、機械学習モデルＭに含まれる入力層Ｍ１から出力層Ｍ１０までの複数の処理層を、入力層Ｍ１から順に伝搬させる（Ｓ３）。

【0088】

抽出部１３４は、後段処理層及び前段処理層の両方の処理層において共通に活性化している一以上の抽出対象画像出力及び一以上の変換画像出力を抽出する処理を行う（Ｓ４）。図１１は、抽出部１３４が行う処理の流れを示すフローチャートである。抽出部１３４は、指示受付部１３７が、操作部１１を介して、複数の処理層のうち、後段処理層として用いる処理層を選択する指示を受け付けたか否かを判定する（Ｓ４１）。

【0089】

抽出部１３４は、指示受付部１３７が指示を受け付けたと判定した場合、指示受付部１３７が受け付けた指示が示す処理層を、後段処理層として使用する（Ｓ４２）。抽出部１３４は、例えば、指示受付部１３７が第１の全結合層Ｍ８を示す指示を受け付けたと判定した場合、指示受付部１３７が受け付けた指示が示す第１の全結合層Ｍ８を、後段処理層として選択する。一方、抽出部１３４は、指示受付部１３７が指示を受け付けていないと判定した場合、最後尾層（例えば、出力層Ｍ１０）で共通に活性化している一以上の抽出対象画像出力及び一以上の変換画像出力があるか否かを判定する（Ｓ４３）。

【0090】

抽出部１３４は、出力層Ｍ１０で共通に活性化している一以上の抽出対象画像出力及び一以上の変換画像出力があると判定した場合、最後尾層である出力層Ｍ１０を、後段処理層として使用する（Ｓ４４）。一方、抽出部１３４は、出力層Ｍ１０で共通に活性化している一以上の抽出対象画像出力及び一以上の変換画像出力がないと判定した場合、出力層Ｍ１０より前の各処理層に対して、共通に活性化している一以上の抽出対象画像出力及び一以上の変換画像出力を繰り返し探索する。そして、抽出部１３４は、共通に活性化している一以上の抽出対象画像出力及び一以上の変換画像出力がある処理層（例えば、第２の全結合層Ｍ９）を、後段処理層として使用する（Ｓ４５）。

【0091】

抽出部１３４は、選択した後段処理層、及び前段処理層の両方の処理層において共通に活性化している、抽出対象画像に基づいて後段処理層及び前段処理層から出力された一以上の抽出対象画像出力と変換画像に基づいて後段処理層及び前段処理層から出力された一以上の変換画像出力とを抽出する。

【0092】

具体的には、まず、後段抽出部１３５は、選択した後段処理層から出力された複数の後段抽出対象画像出力、及び選択した後段処理層から出力された複数の後段変換画像出力から、共通に活性化している一以上の後段抽出対象画像出力及び一以上の後段変換画像出力を抽出する（Ｓ４６）。そして、前段抽出部１３６は、後段抽出部１３５が抽出した一以上の後段抽出対象画像出力及び一以上の後段変換画像出力を活性化させる要因となった前段処理層から出力された複数の前段抽出対象画像出力、及び前段処理層から出力された複数の前段変換画像出力のうち、共通に活性化している一以上の前段抽出対象画像出力及び一以上の前段変換画像出力を抽出する（Ｓ４７）。

【0093】

続いて、抽出部１３４は、前段処理層より前に別の処理層があるか否かを判定する（Ｓ４８）。抽出部１３４は、前段処理層（例えば、第２のプーリング層Ｍ７）より前に別の処理層（例えば、第３の畳み込み層Ｍ６）があると判定した場合、第２のプーリング層Ｍ７を後段処理層として使用し（Ｓ４９）、処理をＳ４６に戻す。一方、抽出部１３４は、前段処理層（例えば、入力層Ｍ１）より前に別の処理層がないと判定した場合、抽出した一以上の抽出対象画像出力及び一以上の変換画像出力を特徴点検出部１３８に入力し、抽出処理を終了する。

【0094】

図１０に戻り、特徴点検出部１３８は、一以上の抽出対象画像出力及び一以上の変換画像出力に基づいて、対応する特徴点を探索し、対応関係にある一以上の抽出対象画像出力に基づく一以上の抽出対象画像特徴点と、一以上の変換画像出力に基づく一以上の変換画像特徴点とを検出する（Ｓ５）。続いて、選択部１３９は、特徴点検出部１３８が検出した抽出対象画像特徴点及び変換画像特徴点に不適切な特徴点があるか否かを判定する（Ｓ６）。

【0095】

選択部１３９は、抽出対象画像特徴点及び変換画像特徴点に不適切な特徴点があると判定した場合、不適切な特徴点、すなわち、誤検出した対応関係にある抽出対象画像特徴点及び変換画像特徴点を除去し（Ｓ７）、除去した後の対応関係に基づく一部の抽出対象画像特徴点及び一部の変換画像特徴点を選択する。

【0096】

領域抽出部１４０は、選択部１３９が、抽出対象画像特徴点及び変換画像特徴点に不適切な特徴点がないと判定した場合、又は誤検出した対応関係を除去した後に、一以上の抽出対象画像特徴点と一以上の変換画像特徴点とに基づいて、抽出対象画像における物体を含む領域を抽出する（Ｓ８）。領域抽出部１４０は、抽出した物体の領域を記憶部１２に記憶させる。

【0097】

［実施形態における効果］
以上説明したとおり、物体領域抽出装置１は、取得した抽出対象画像と、当該抽出対象画像に所定の座標変換を施すことによって生成した変換画像とのそれぞれに、機械学習モデルＭに含まれる複数の処理層を伝搬させる。物体領域抽出装置１は、伝搬させた順とは逆の順序で後段処理層及び前段処理層の両方の処理層において共通に活性化している一以上の抽出対象画像出力及び一以上の変換画像出力を、処理層ごとに抽出し、対応関係にある抽出対象画像特徴点及び変換画像特徴点をそれぞれ検出する。そして、物体領域抽出装置１は、検出した一以上の抽出対象画像特徴点と一以上の変換画像特徴点とに基づいて、抽出対象画像における物体を含む領域を抽出する。

【0098】

このように、物体領域抽出装置１は、畳み込みニューラルネットワークを含む機械学習モデルＭを使用し、深層学習による抽象度が高い特徴量を求めることにより、抽出対象画像における物体を含む領域を抽出することができる。その結果、物体領域抽出装置１は、物体の領域を抽出する精度を向上させることができる。

【0099】

物体領域抽出装置１は、例えば、複数のカメラで撮影した動画像それぞれの各画像に表されている物体の領域を抽出することにより、任意の位置から見た映像を再現する自由視点映像システムを実現することができる。また、物体領域抽出装置１は、例えば、テレワーク又はモバイルワークにおけるコミュニケーション手段として用いられるテレビ会議（ビデオチャット）において、個人情報の漏洩を防ぐために、ワーカーを含む領域（前景）以外の領域（背景）に対して、精度高く背景処理を行うことができる。

【0100】

また、深度カメラから得られる距離画像又は３次元スキャナーから得られる点群データにおいては、一般的に用いられているカラー画像と比べると解像度が低いため、カラー画像のように活用することが難しい。しかし、物体領域抽出装置１は、距離画像又は点群データから抽出した物体の領域に基づく情報を利用することで、カラー画像のような超解像化を実現することができる。また、物体領域抽出装置１は、例えば、動画像の圧縮符号化において、動きの少ない背景と動きの多い物体を含む前景とを分離することにより、圧縮効率の改善を実現することができる。

【0101】

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の分散・統合の具体的な実施の形態は、以上の実施の形態に限られず、その全部又は一部について、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を合わせ持つ。

【符号の説明】

【0102】

１ 物体領域抽出装置
１１ 操作部
１２ 記憶部
１３ 制御部
１３１ 画像取得部
１３２ 変換画像生成部
１３３ 伝搬制御部
１３４ 抽出部
１３５ 後段抽出部
１３６ 前段抽出部
１３７ 指示受付部
１３８ 特徴点検出部
１３９ 選択部
１４０ 領域抽出部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】