特許 7565986 画像処理装置およびその制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-03

(45)【発行日】2024-10-11

(54)【発明の名称】画像処理装置およびその制御方法

(51)【国際特許分類】

   G06T 7/143 20170101AFI20241004BHJP

   G06T 7/00 20170101ALI20241004BHJP

【ＦＩ】

G06T7/143

G06T7/00 350C

【請求項の数】 12

(21)【出願番号】P 2022138342

(22)【出願日】2022-08-31

(65)【公開番号】P2024034231

(43)【公開日】2024-03-13

【審査請求日】2023-10-24

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110003281

【氏名又は名称】弁理士法人大塚国際特許事務所

(72)【発明者】

【氏名】齋藤 建志

【審査官】村山 絢子

(56)【参考文献】

【文献】米国特許出願公開第２０２２／０１４７７５１（ＵＳ，Ａ１）

【文献】特開２０２１－１０３３４７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００－７／９０

Ｇ０６Ｔ １／００

Ｈ０４Ｎ ２３／００

Ｈ０４Ｎ ２３／４０－２３／７６

Ｈ０４Ｎ ２３／９０－２３／９５９

Ｈ０４Ｎ ５／２２２－５／２５７

(57)【特許請求の範囲】

【請求項1】

撮像画像を取得する取得手段と、
前記撮像画像の各位置における物体の存在尤度を表す尤度マップを取得する尤度取得手段と、
前記撮像画像の各位置において、それぞれの位置を基準とした物体の位置およびサイズを示す領域テンソルを取得する領域取得手段と、
前記撮像画像に対する第１の位置座標を受け付ける受付手段と、
前記第１の位置座標に基づいてそれぞれが前記領域テンソルにより示される２以上の領域候補に対応する前記尤度マップの尤度と前記領域テンソルとに基づいて、前記第１の位置座標に対応する物体領域を決定する領域決定手段と、
を有することを特徴とする画像処理装置。

【請求項2】

前記領域取得手段は、前記撮像画像をｊ行ｉ列のｊ×ｉ個の小領域に分割した各小領域の位置における領域テンソルを取得し、
前記領域決定手段は、ｊ×ｉ個の小領域のうち前記第１の位置座標に相対的に近い２以上の小領域に対応する２以上の領域候補を選択する
ことを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記領域テンソルは、前記撮像画像の各位置から物体を囲う領域の境界上の複数の点それぞれまでの距離を示すテンソルである
ことを特徴とする請求項１に記載の画像処理装置。

【請求項4】

前記尤度取得手段は、事前に学習された第１の多層ニューラルネットワークを用いて前記尤度マップを取得する
ことを特徴とする請求項１に記載の画像処理装置。

【請求項5】

前記領域取得手段は、事前に学習された第２の多層ニューラルネットワークを用いて前記領域テンソルを取得する
ことを特徴とする請求項１に記載の画像処理装置。

【請求項6】

前記領域決定手段は、前記尤度マップにおける尤度を重みとして、前記２以上の領域候補を加重平均により統合して物体領域を決定する
ことを特徴とする請求項１に記載の画像処理装置。

【請求項7】

前記第１の位置座標に基づいて前記領域決定手段により第１の物体領域を決定させ、該第１の物体領域から決定される第２の位置座標に基づいて前記領域決定手段により第２の物体領域を決定させる制御手段と、
前記尤度マップにおける前記第１の位置座標に対応する第１の尤度値と、前記尤度マップにおける前記領域決定手段で決定した物体領域の中心に対する前記第２の位置座標に対応する第２の尤度値と、の何れが大きいかを判定する判定手段と、
前記判定手段により前記第１の尤度値が前記第２の尤度値より大きいと判定された場合は前記第１の物体領域を外部装置に出力し、前記判定手段により前記第１の尤度値が前記第２の尤度値より小さいと判定された場合は前記第２の物体領域を前記外部装置に出力する、出力手段と、
をさらに有する
ことを特徴とする請求項１に記載の画像処理装置。

【請求項8】

前記制御手段は、さらに、前記第２の物体領域から決定される第３の位置座標に基づいて前記領域決定手段により第３の物体領域を決定させ、
前記判定手段は、さらに、前記第２の尤度値と、前記尤度マップにおける前記第３の位置座標に対応する第３の尤度値と、の何れが大きいかを判定し、
前記出力手段は、前記判定手段により前記第２の尤度値が前記第３の尤度値より大きいと判定された場合は前記第２の物体領域を前記外部装置に出力し、前記判定手段により前記第２の尤度値が前記第３の尤度値より小さいと判定された場合は前記第３の物体領域を前記外部装置に出力する
ことを特徴とする請求項７に記載の画像処理装置。

【請求項9】

前記受付手段は、前記撮像画像を表示するタッチパネルディスプレイであり、
前記第１の位置座標は、前記タッチパネルディスプレイに対するユーザからのタッチ操作に基づき決定される位置座標である
ことを特徴とする請求項１に記載の画像処理装置。

【請求項10】

前記外部装置は、前記撮像画像を撮像した撮像装置のフォーカス制御を行うフォーカス制御装置である
ことを特徴とする請求項７に記載の画像処理装置。

【請求項11】

画像処理装置の制御方法であって、
撮像画像を取得する取得工程と、
前記撮像画像の各位置における物体の存在尤度を表す尤度マップを取得する尤度取得工程と、
前記撮像画像の各位置において、それぞれの位置を基準とした物体の位置およびサイズを示す領域テンソルを取得する領域取得工程と、
前記撮像画像に対する第１の位置座標を受け付ける受付工程と、
前記第１の位置座標に基づいてそれぞれが前記領域テンソルにより示される２以上の領域候補に対応する前記尤度マップの尤度と前記領域テンソルとに基づいて前記第１の位置座標に対応する物体領域を決定する決定工程と、
を含むことを特徴とする制御方法。

【請求項12】

コンピュータを、請求項１乃至１０の何れか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像内の物体領域を指定する方法に関するものである。

【背景技術】

【0002】

コンピュータビジョンはコンピュータに入力された画像を理解し、その画像の様々な特性を認識する技術である。その中で物体検出は、自然画像内に存在する物体の位置と種類を推定するタスクである。非特許文献１には、多層ニューラルネットワークを用いることで物体の中心を示す尤度マップを取得し、尤度マップのピーク点を抽出することにより物体の中心位置を検出する技術が開示されている。

【0003】

物体検出は撮像装置のオートフォーカス（ＡＦ）制御に利用することが可能である。特許文献１には、ユーザの指定座標を受け取り、画像と共に多層ニューラルネットワークに入力することで、ユーザの意図を踏まえた主被写体を特定し、オートフォーカス制御を行う技術が開示されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０２０－１７３６７８号公報

【非特許文献】

【0005】

【文献】Xingyi Zhou et al.，"Objects as Points"，2019

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、特許文献１においては、ユーザの指示した位置が被写体から外れている場合には、ユーザが意図した被写体を特定することは困難である。また、ユーザが指定する物体の種類や大きさ、見え方によっては、ユーザが意図した被写体を特定するのはさらに困難となる。そのため、被写体の存在する尤度の推定の誤りや、被写体までのベクトル推定の誤りにより、ユーザの意図しない他の被写体を特定する結果となる場合がある。

【0007】

本発明は、このような問題に鑑みてなされたものであり、ユーザが意図する被写体領域をより正確に特定可能とする技術を提供することを目的としている。

【課題を解決するための手段】

【0008】

上述の問題点を解決するため、本発明に係る画像処理装置は以下の構成を備える。すなわち、画像処理装置は、
撮像画像を取得する取得手段と、
前記撮像画像の各位置における物体の存在尤度を表す尤度マップを取得する尤度取得手段と、
前記撮像画像の各位置において、それぞれの位置を基準とした物体の位置およびサイズを示す領域テンソルを取得する領域取得手段と、
前記撮像画像に対する第１の位置座標を受け付ける受付手段と、
前記第１の位置座標に基づいてそれぞれが前記領域テンソルにより示される２以上の領域候補に対応する前記尤度マップの尤度と前記領域テンソルとに基づいて、前記第１の位置座標に対応する物体領域を決定する領域決定手段と、
を有する。

【発明の効果】

【0009】

本発明によれば、ユーザが意図する被写体領域をより正確に特定可能とする技術を提供することができる。

【図面の簡単な説明】

【0010】

【図1】第１実施形態に係る画像処理装置の機能構成を示す図である。

【図2】第１実施形態における画像処理装置の処理フローチャートである。

【図3】２つの被写体が写る撮像画像とその尤度マップの例を示す図である。

【図4】物体領域候補の取得（Ｓ２０３）の例を示す図である。

【図5】物体領域候補の選択（Ｓ２０７）の詳細フローチャートである。

【図6】物体領域候補の統合（Ｓ２０９）及び選択位置補正（Ｓ２１０）の例を示す図である。

【図7】第２実施形態に係る画像処理装置の機能構成を示す図である。

【図8】第２実施形態における情報処理装置の処理フローチャートである。

【図9】選択位置補正（Ｓ２１０）における成功と失敗の例を示す図である。

【図10】画像処理装置のハードウェア構成を示す図である。

【発明を実施するための形態】

【0011】

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

【0012】

（第１実施形態）
本発明に係る画像処理装置の第１実施形態として、撮像画像における物体領域を特定する画像処理装置を例に挙げて以下に説明する。

【0013】

＜装置構成＞
図１は、第１実施形態に係る画像処理装置１００の機能構成を示す図である。画像処理装置１００は、撮影装置１１０により得られた撮像画像に対して後述する物体領域の特定処理を行い、特定した物体領域の情報を処理装置１２０に出力する。

【0014】

撮像装置１１０は、光学系、撮像素子などを有し、撮像した画像を画像処理装置１００に出力する。例えば、撮像装置１１０として、ディジタルカメラや監視カメラを用いることができる。また、撮像装置１１０は、ユーザからの入力を受け付けるインタフェースを持ち、当該入力に基づく情報を画像処理装置１００に出力する。例えば、撮像装置１１０は、インタフェースとしてタッチパネルディスプレイを搭載し、ユーザからのタッチ操作結果（タッチされた位置座標）のデータを出力する。

【0015】

外部装置である処理装置１２０は、画像処理装置１００から取得した物体領域の情報を利用した処理（カメラのオートフォーカス機能など）を行う。例えば、物体領域の中から測距点をいくつかサンプリングし、位相差ＡＦに用いることができる。

【0016】

画像処理装置１００は、画像取得部１０１、尤度マップ取得部１０２、候補取得部１０３、指示受付部１０４、選択部１０５、統合部１０６、位置補正部１０７を備える。画像処理装置１００は、ディジタルカメラや監視カメラに含まれてもよいし、独立の処理装置としてもよい。

【0017】

画像取得部１０１は、撮影装置１１０から出力された画像（撮像画像）を取得する。尤度マップ取得部１０２は、取得した画像から尤度マップを算出する。候補取得部１０３は、取得した画像から物体領域候補を算出する。

【0018】

指示受付部１０４は、ユーザ指示を取得する。ここでは、ユーザが撮像装置１１０に対して行ったタッチ操作による指示座標を撮像装置１１０から取得することを想定する。

【0019】

選択部１０５は、尤度マップと指示座標とに基づいて、物体領域候補の中から一つ以上の物体領域候補を選択する。統合部１０６は、選択された物体領域候補を統合し、物体領域を一つ算出する。位置補正部１０７は、算出された「物体領域のみ」もしくは「物体領域と尤度マップの組み合わせ」に基づいて、物体領域候補を再び選択するための選択位置を算出する。

【0020】

図１０は、画像処理装置のハードウェア構成を示す図である。画像処理装置１００は、汎用的な情報処理装置を用いて構成することができ、ＣＰＵ１１０１、メモリ１１０２、入力部１１０３、記憶部１１０４、表示部１１０５、通信部１１０６等を備える。図１に示した画像処理装置１００の各機能部は、ＣＰＵ１１０１が制御プログラムを実行することにより実現される。

【0021】

＜装置の動作＞
図２は、第１実施形態における画像処理装置の処理フローチャートである。まず、全体の概略動作を説明し、各ステップの詳細については後述する。

【0022】

Ｓ２００では、撮像装置１１０は、撮影を開始し画像（動画像を構成するフレーム画像）を出力する。そして、画像処理装置１００の画像取得部１０１は、撮像装置１１０から出力された画像を取得する。

【0023】

Ｓ２０１では、画像取得部１０１は、撮影された画像を所定の解像度に変換する。Ｓ２０２では、尤度マップ取得部１０２は、Ｓ２０２で解像度変換された画像の各位置（小領域）における物体の中心がある尤度算出を行い尤度マップを算出する。Ｓ２０３では、候補取得部１０３は、Ｓ２０２で解像度変換された画像における物体領域候補の領域算出を行う。後述するように、ここでは、物体領域候補をテンソルの形式で算出する。

【0024】

Ｓ２０４では、指示受付部１０４は、ユーザからの座標指示を受け付ける。上述したように、ここでは、指示受付部１０４は、ユーザが撮像装置１１０に対して指示した指示座標を、撮像装置１１０から受信する。Ｓ２０５では、Ｓ２０４における指示の有無に基づき分岐する。指示があった場合はＳ２０６に進み、指示がなかった場合はＳ２１２に進む。

【0025】

Ｓ２０６では、指示受付部１０４は、受け付けた座標指示が示す座標をＳ２０１で変換した解像度の画像に対応する座標に変換する。Ｓ２０７では、選択部１０５は、所与の位置座標（Ｓ２０６で変換された座標、または、１つ前の処理ループのＳ２１０で算出された座標）に基づいて１つ以上の物体領域候補を選択する。Ｓ２０７の詳細については図５を参照して後述する。

【0026】

Ｓ２０８では、選択部１０５は、Ｓ２０７により１つ以上の物体領域候補が選択されているか否かを判定する。選択されている場合はＳ２０９に進み、選択されていない場合はＳ２１２に進む。Ｓ２０９では、統合部１０６は、選択された１つ以上の物体領域候補を１つの領域に統合する。

【0027】

Ｓ２１０では、位置補正部１０７は、Ｓ２０９で統合された領域及びＳ２０２で算出された尤度マップに基づいて、Ｓ２０７での物体領域候補の選択に利用した座標（位置）を補正した選択位置を算出する。

【0028】

Ｓ２１１では、統合部１０６は、位置補正部１０７による選択位置の算出回数が所定の回数未満であるか否かを判定する。所定の回数未満である場合はＳ２０７に進み、補正された選択位置を新たな座標としてＳ２０７～Ｓ２１１の処理ループを再び実行する。一方、所定の回数に達した場合はＳ２１２に進む。

【0029】

Ｓ２１２では、統合部１０６は、Ｓ２０９で統合した領域を処理装置１２０に出力する。なお、Ｓ２０５でＮｏあるいは（Ｓ２０７～Ｓ２１１の１回目の処理ループで）Ｓ２０８でＮｏと判定された場合は「領域なし」として出力する。

【0030】

＜画像変換（Ｓ２０１）の詳細＞
ここでは、Ｓ２００で取得される画像が、例えば幅５０００ピクセル、高さ４０００ピクセルのＲＧＢ画像であるとして説明する。Ｓ２０１では尤度マップや物体領域候補を算出する多層ニューラルネットワークの入力形式に合わせるために、撮像画像を所定のサイズに変換する。

【0031】

本実施形態においては、多層ニューラルネットワークの入力サイズは幅５００ピクセル、高さ４００ピクセルのＲＧＢ画像とする。そのため、本実施形態ではＳ２００で取得した撮像画像を１０分の１に縮小することを想定するが、他の方法で縮小してもよい。たとえば、撮像画像の上下左右の黒画像をパディングし幅６０００ピクセル、高さ４８００ピクセルのＲＧＢ画像を生成した後、１２分の１に縮小してもよい。あるいは、撮像画像から所定の領域を直接切り取ってもよい。変換された画像において、左上隅の頂点が原点座標（０，０）であるとする。座標（ｉ，ｊ）は、画像のｊ行ｉ列の画素の座標を示し、右下隅の頂点の画素は座標（４９９，３９９）となる。以降、変換された画像の座標系を「画像座標系」と呼ぶ。

【0032】

＜尤度マップの取得（Ｓ２０２）の詳細＞
本実施形態では、非特許文献１のように、尤度マップを多層ニューラルネットワークにより算出することを想定する。撮像装置内に有するニューラルネットワークを用いることもできるし、外部の装置に有するニューラルネットワークが算出した尤度マップを、通信ネットワークを介して取得して用いることもできる。上述のように、多層ニューラルネットワークの入力は解像度変換された画像であり、幅５００ピクセル、高さ４００ピクセル、３チャネル（ＲＧＢ）の画像である。多層ニューラルネットワークの出力は１０列８行、１チャネルのテンソル（行列）である。算出されたテンソル（行列）を尤度マップと呼ぶ。尤度マップ（の１チャネル目）において、左上隅の頂点が原点座標（０，０）であるとする。座標（ｉ，ｊ）はｊ行ｉ列の画素の座標を示し、右下隅の頂点の画素は座標（９，７）となる。以降、尤度マップの座標系を「マップ座標系」と呼ぶ。

【0033】

尤度マップを算出する多層ニューラルネットワークは、多数の学習データ（画像と尤度マップの組）を用いて事前に学習しておく。詳細は非特許文献１を参照されたい。本実施形態において尤度マップは、あらゆる物体に対して反応する顕著性マップであることを仮定するが、特定の物体のみに反応する顕著性マップであってもよい。顕著性マップとは、人が注視しやすい部分を画像で表現したマップを意味する。

【0034】

図３は、２つの被写体が写る撮像画像とその尤度マップの例を示す図である。図３（ａ）は画像変換された撮像画像の例を示し、図３（ｂ）はこの撮像画像に対応する尤度マップの例を示している。

【0035】

画像変換された撮像画像３００には、後方（奥側）の被写体３０１と前方（手前側）の被写体３０２の二つの被写体が写っている。尤度マップの各要素領域はその要素領域に対応する箇所の物体の存在尤度を示す。図示の都合上、要素領域としているが、要素領域は画素と対応させることもできる。存在尤度（各要素領域の値）は０から２５５までの値をとり、値が大きいほど存在尤度が高いことを示す。図３（ｂ）の各要素領域は尤度が低いほど白く、尤度が高くなるにつれて黒く示している。尤度マップ３０４は、特に前方の被写体３０２に対する尤度が高く算出されており、座標（６，４）で最大尤度「２０４」をとる。

【0036】

＜物体領域候補の取得（Ｓ２０３）の詳細＞
物体領域候補についても尤度マップと同様に、多層ニューラルネットワークを用いて算出する。撮像装置内に有するニューラルネットワークを用いることもできるし、外部の装置に有するニューラルネットワークが算出した物体領域候補を、通信ネットワークを介して取得して用いることもできる。多層ニューラルネットワークの入力は尤度マップの算出と同様に、解像度変換された画像であり、幅５００ピクセル、高さ４００ピクセル、３チャネルのＲＧＢ画像である。多層ニューラルネットワークの出力は１０列８行の４チャネルのテンソルである。すなわち、解像度変換された画像をｊ行ｉ列のｊ×ｉ個の小領域に分割した各小領域の位置における領域テンソルである（ここではｊ＝１０、ｉ＝８）。

【0037】

領域テンソルの１チャネル目は各要素領域から物体輪郭左端までの距離、同様に２チャネル目は物体輪郭上端までの距離、３チャネル目は物体輪郭左端までの距離、４チャネル目は物体輪郭下端までの距離を示す。以上の計４チャネルの情報から、物体の中心位置と物体のサイズを算出することができる。この領域テンソルを以降では「物体領域候補テンソル」と呼ぶ。

【0038】

また、物体領域候補テンソルに対して更に２チャネル分を追加し、物体中心位置までの横と縦方向それぞれの距離を表すオフセットマップとしてもよい。ただし、本実施形態では後述する選択位置補正によって物体中心位置を算出する手法に主眼を置くため、以後の説明では物体領域候補テンソルは４チャネルのみであるとして説明する。

【0039】

以下の説明では、物体領域候補テンソルの各チャネルは尤度マップと同じ行数と列数を持ち、それらの座標系もマップ座標系であるとする。ただし、物体領域候補テンソルの各チャネルの列数と行数は尤度マップと異なってもよく、異なる場合は補間（例えばバイリニア補間）により行数と列数を一致させてもよい。

【0040】

物体領域候補テンソルを算出する多層ニューラルネットワークは、尤度マップの算出と同様に、多数の学習データ（画像と物体輪郭までの上下左右の距離の組）を用いて事前に学習しておく。本実施形態では４チャネルの情報を同時に出力する多層ニューラルネットワークを想定する。ただし、１チャネル出力する多層ニューラルネットワークを４つ用意し、その結果を結合してもよい。

【0041】

図４は、物体領域候補取得（Ｓ２０３）の例を示す図である。図４（ａ）は画像変換された撮像画像の例を示し、図４（ｂ）～（ｅ）は物体を囲う矩形４００に関する距離マップを示している。より詳細には、図４（ｂ）は矩形４００への上端への距離マップ、図４（ｃ）は矩形４００への下端への距離マップ、図４（ｄ）は矩形４００への右端への距離マップ、図４（ｅ）は矩形４００への左端への距離マップをそれぞれ示している。各要素領域において示される距離（数値）の単位はピクセルである。

【0042】

ここで、図３（ｂ）において尤度が最大となった座標（６，４）に注目する。図４（ｂ）～（ｅ）の白黒反転している要素領域が、対応する注目箇所である。図４（ａ）において、点４０１に示される点がこの注目箇所に対応する画像上の位置である。以下の数式（１）を用いてマップ座標を画像座標に変換することができる。

【0043】

【数1】

【0044】

ここで、Ｉ_ｗ、Ｉ_ｈはそれぞれ画像変換された撮像画像の幅と高さを表し、Ｍ_ｗ、Ｍ_ｈはそれぞれマップの幅と高さを表す。（Ｉ_ｘ，Ｉ_ｙ）は画像座標系の点を、（Ｍ_ｘ，Ｍ_ｙ）はマップ座標系の点を表す。数式（１）によれば、マップ座標の点（６，４）は画像座標に変換すると（３２５，２２５）である。即ち、図４の点４０１の画像座標が（３２５，２２５）である。

【0045】

また、注目箇所における物体を囲う矩形端（上下左右）への距離は、図４（ｂ）～（ｅ）よりそれぞれ「３４４」、「３４８」、「１７８」、「１６６」である。以上より、注目箇所における物体領域候補４００は、画像座標系において座標（３２５，２２５）を基準に、４方向（上下左右）にそれぞれ、「３４４」、「３４８」、「１７８」、「１６６」の距離に位置する４辺の矩形で表現される。

【0046】

本実施形態では、物体領域候補を、矩形端（上下左右）までの距離により表現しているが他の表現方法を用いてもよい。例えば、物体領域候補を、物体を囲う領域の境界上の複数の点４０３を結んだ複数の辺４０４で定義し、各マップ座標に対応する（Ｉ_ｘ，Ｉ_ｙ）から各点までの距離で表現してもよい。

【0047】

＜物体領域候補の選択（Ｓ２０７）の詳細＞
図５は、物体領域候補選択（Ｓ２０７）の詳細フローチャートである。

【0048】

Ｓ５００では、選択部１０５は、各変数を初期化する。ｎ及びｍはカウンタである。Ｎは選択する物体領域候補の数、Ｔは尤度の閾値、Ｄは距離の閾値である。Ｌ_ｉｊはマップ座標系のｊ行ｉ列に対応する尤度、Ｓ_ｉｊはマップ座標系のｊ行ｉ列に対応する物体領域候補である。また、（Ｐ_ｘ，Ｐ_ｙ）は指示受付部１０４で取得した指示座標である。なお、指示座標（Ｐ_ｘ，Ｐ_ｙ）は画像座標系で与えられた指示座標を数式（１）に基づいてマップ座標系に変換したものであり、２次元の実数ベクトルである。

【0049】

Ｓ５０１では、選択部１０５は、すべてのマップ座標の中から指示座標（Ｐ_ｘ，Ｐ_ｙ）にｍ番目に近いマップ座標（ｕ，ｖ）を選択する。（ｕ，ｖ）は２次元の正の整数ベクトルである。

【0050】

Ｓ５０２では、選択部１０５は、（ｕ，ｖ）が存在し、且つ、（Ｐ_ｘ，Ｐ_ｙ）と（ｕ，ｖ）との間の距離が閾値Ｄ以下であるか否かを判定する。ＹｅｓであればＳ５０３に進み、そうでなければ処理を終了する。本実施形態では、距離を導出するための距離関数として数式（２）により示されるユークリッド距離を用いるが、他の距離関数を用いてもよい。

【0051】

【数2】

【0052】

Ｓ５０３では、選択部１０５は、マップ座標（ｕ，ｖ）に対応する位置における尤度マップの値Ｌ_ｕｖを抽出する。

【0053】

Ｓ５０４では、選択部１０５は、Ｌ_ｕｖと尤度の閾値Ｔを比較する。Ｌ_ｕｖがＴ以上であればＳ５０５に進み、Ｌ_ｕｖがＴ未満であればＳ５０９に進みｍをインクリメント（１加算）してＳ５０１に戻る。

【0054】

Ｓ５０５では、選択部１０５は、マップ座標（ｕ，ｖ）に対応する物体領域候補Ｓ_ｕｖを抽出する。

【0055】

Ｓ５０６では、選択部１０５は、現在の尤度Ｌ_ｕｖと物体領域候補Ｓ_ｕｖをそれぞれＬ_ｎ、Ｓ_ｎとして保存する。

【0056】

Ｓ５０７では、選択部１０５は、ｎとＮを比較する。ｎがＮ以上であれば処理を終了する。一方、ｎがＮ未満であれば、Ｓ５０８に進みｎをインクリメント（１加算）し、Ｓ５０９に進みｍをインクリメント（１加算）して、Ｓ５０１に戻る。

【0057】

本実施形態では所定の数Ｎの物体領域候補を選択したが、選択する物体領域候補の個数の決定方法はこれに限らない。例えば、尤度Ｌ_ｎの合計が所定の値以上になるように物体領域候補を選択してもよい。

【0058】

＜物体領域候補の統合（Ｓ２０９）の詳細＞
ここでは、ユーザが図３（ａ）における後方の被写体３０１を選択する場合を想定するが、前方の被写体３０２を選択する場合でも指示座標のみ異なり同様の処理となる。

【0059】

図６（ａ）および図６（ｂ）は、物体領域候補統合（Ｓ２０９）を説明する図である。図６（ａ）に例示的に示されるように、ユーザは、撮像画像３００に対して被写体３０１を選択したい場合、座標６００を（例えばタッチ操作により）指示する。ここでは、指示した座標は画像座標系の（２３５，２４５）であり、数式（１）によりマップ座標系に変換すると（４．２，４．４）である。

【0060】

そのため、前述の物体領域候補の選択処理を行うと、斜線領域６０１が選択される。すなわち、斜線領域６０１は、マップ座標系において（４．２，４．４）から最も近い（４，４）、２番目に近い（４，５）、３番目に近い（５，４）から構成される領域である。従って尤度Ｌ_１、Ｌ_２、Ｌ_３にはそれぞれＬ_４４、Ｌ_４５、Ｌ_５４が保存される。また、物体領域候補Ｓ_１、Ｓ_２、Ｓ_３にはそれぞれＳ_４４、Ｓ_４５、Ｓ_５４が保存される。矩形６０２、６０３、６０４は、それぞれＳ_４４、Ｓ_４５、Ｓ_５４に対応する物体領域候補を図示したものである。

【0061】

図６（ｂ）に示す領域６０５～６０９における値は、それぞれ斜線領域６０１に対応する、「尤度」、「矩形上端への距離」、「矩形下端への距離」、「矩形右端への距離」、「矩形左端への距離」を表す。また、矩形領域６１０は物体領域候補統合（物体領域の領域決定）の結果を示している。

【0062】

物体領域候補統合について、具体的な計算例を用いて説明する。まず、画像座標系における物体領域候補の中心位置を計算する。数式（１）より、マップ座標の（４，４）に対応する画像座標は（２２５，２２５）である。同様にＳ_４５の中心位置、Ｓ_５４の中心位置を算出することができる。

【0063】

物体領域候補の統合には尤度の加重平均を用いる。尤度の加重平均は以下の数式（３）を用いて計算することができる。

【0064】

【数3】

【0065】

ｘ_ｎは加重平均をとる対象の値であり、ｘは加重平均をとった結果である。例えば、統合された物体領域の中心位置のｘ座標を求める場合、Ｓ_ｎに対応する物体領域候補の中心位置のｘ座標をｘ_ｎに代入すればよい。同様にして、中心位置のｙ座標、および、矩形端（上下左右）までのそれぞれの距離を数式（３）に代入すると、統合された物体領域の中心位置（ｘ座標、ｙ座標）、および矩形端（上下左右）までの距離を求めることができる。

【0066】

尤度Ｌ_ｎの初期値に０を代入しておくことで、距離閾値Ｄの範囲内で尤度閾値Ｔを超える物体領域候補が所定個数Ｎに満たない場合でも、数式（３）を用いて統合された物体領域を算出することができる。なお、尤度Ｌ_ｎがすべて０である場合は「物体領域なし」とする。

【0067】

＜選択位置の補正（Ｓ２１０）の詳細＞
図６（ｃ）および図６（ｄ）は、選択位置の補正（Ｓ２１０）を説明する図である。位置補正部１０７では、統合部１０６によって得られた物体領域及び尤度マップを用いてユーザによる指示座標６００を補正する。図６（ｃ）では、指示座標６００を座標６１１に補正する例を示している。

【0068】

補正方法の一つは、統合部１０６によって得られた物体領域の中心を新たな選択位置とする方法である。上述の物体領域候補の算出で説明したように、各物体領域候補の中心はそれぞれのマップ座標系の点を画像座標系の点に変換した（Ｉ_ｘ，Ｉ_ｙ）から算出された「物体を囲う矩形の中心」に相当する。そのため、統合により得られた矩形領域６１０を尤度マップの値で加重平均して得られる座標６１１は、物体尤度に基づいた「物体を囲う矩形の中心」と見なすことが出来る。

【0069】

そのため、物体領域候補Ｓ_１、Ｓ_２、Ｓ_３の何れかが別の物体の領域を含んでいる場合を除けば、指示座標６００から矩形領域６１０の座標６１１へのベクトル６１２は、物体の中心方向へのベクトルとなる。

【0070】

なお、上述の説明では物体統合枠の中心を座標６１１するよう説明したが、他の基準に基づく座標を算出してもよい。他の算出方法について図６（ｄ）を用いて説明する。物体領域候補Ｓ_１、Ｓ_２、Ｓ_３それぞれにおける矩形端（上下左右）への距離マップ値を、物体領域端へのベクトル６１３と見なす。そして、各ベクトル及び尤度マップ値を用いて数式（３）を用いて加重平均したベクトル６１５を指示座標６００に適用し、補正後の座標６１１とする。この場合、物体統合枠の中心を補正後の座標とするときに得られるベクトル６１２よりもノルムが大きくなるため、選択位置の補正効果をより強くすることができる。

【0071】

＜結果の出力（Ｓ２１２）の詳細＞
２回目の処理ループ（Ｓ２０７～Ｓ２１１）では、１回目の処理ループにおいて算出された座標６１１を物体領域候補選択（Ｓ２０７）の指示座標として設定して同様の処理を行う。本実施形態では、処理ループをＮ回（Ｎは１以上の整数）繰り返し、統合部１０６は、第Ｎ回目の物体領域候補統合の結果を処理装置１２０に出力する。

【0072】

＜効果＞
以上説明したとおり第１実施形態によれば、オフセットマップなどの中心位置補正情報を別途学習することなく、ユーザの指示座標を、より物体中心に近い座標へと移動させることが出来る。たとえば、所望の物体の中心位置からずれた位置をユーザが指定した場合であっても、所望の物体の中心位置をより正確に特定することが可能となる。また、算出された座標を用いて物体領域候補の選択および統合を行うことにより、より正確な物体領域を得ることが可能となる。

【0073】

すなわち、オフセットマップ及び尤度マップの学習が困難な被写体や、限られた物体領域候補テンソルのチャネル数の場合であっても、より正確な物体領域を得ることが可能となる。

【0074】

（第２実施形態）
上述の第１実施形態では選択位置の補正回数（ループ回数）は一定としていた。しかし、補正回数が多すぎると、補正された選択位置が、ユーザが意図した被写体の中心から離れてしまう場合がある。例えば、物体領域候補テンソルで表される矩形端への距離マップ値が（例えば隣接物を含んでしまうことにより）不正確である場合に、補正された選択位置が所望の被写体から離れてしまう。また、物体尤度が低いマップ座標に対応する物体領域候補が多い場合にも、補正された選択位置が所望の被写体から離れてしまう。

【0075】

そこで、第２実施形態では、補正された選択位置を評価し処理ループ実行の継続有無を判定する形態について説明する。

【0076】

＜装置構成＞
図７は、第１実施形態に係る画像処理装置７００の機能構成を示す図である。終了判定部７０１を更に有する点が、第１実施形態（図１）と異なる。なお、画像処理装置７００のハードウェア構成は第１実施形態（図１０）と同様であるため説明は省略する。

【0077】

終了判定部７０１は、位置補正部１０７の結果及び尤度マップ取得部１０２の結果を評価し、位置補正部１０７による補正を終了するか否かの判定を行う。補正を終了しない（再度実行する）と判定された場合は、選択部１０５及び統合部１０６、位置補正部１０７の処理を再度実行する。一方、補正を終了すると判断された場合は、統合部１０６は、その時点での物体領域を処理結果として処理装置１２０に出力する。

【0078】

＜装置の動作＞
図８は、第２実施形態における画像処理装置の処理フローチャートである。基本的な処理の流れは第１実施形態（図２）と同様であるが、Ｓ２１１の代わりにＳ８０１およびＳ８０２を実行する点が異なる。

【0079】

Ｓ８０１では、直前の処理ループ（Ｓ２０７～Ｓ２１０）で得られた処理結果（選択位置の補正）を評価し、補正処理（処理ループ）を終了するか否かの判定を行う。例えば、選択位置の補正が成功していた場合は終了しないと判定し、補正が失敗していた場合は終了すると判定する。Ｓ８０２では、Ｓ８０１において終了すると判定された場合はＳ２１２に進み、直前のＳ２０９で得られた物体領域を出力する。一方、Ｓ８０１において終了しないと判定された場合はＳ２０７に戻り、Ｓ２１０で得られた選択位置を指示座標として次の処理ループを実行する。

【0080】

＜補正の終了判定（Ｓ８０１）の詳細＞
終了判定部７０１は、直前に位置補正部１０７によって算出された補正位置（座標６１１）と、マップ座標系の点を画像座標系に変換した各点（Ｉ_ｘ，Ｉ_ｙ）との距離を算出する。そして、補正位置に最も近い点に対応するマップ座標での尤度マップを尤度Ｌ_４とする。また、Ｓ２０９で算出したユーザの指示座標６００（すなわち補正前の座標）に対応する尤度マップ値をＬ_１とする。

【0081】

図９（ａ）は、選択位置の補正（Ｓ２１０）における成功の例を示す図である。図９（ａ）においては、Ｌ_１よりもＬ_４が大きくなり、尤度マップ上では座標６１１が指示座標６００よりも物体の中心らしい位置に存在すると評価できる。すなわち、選択位置の補正は成功したと判定することが出来る。そのため、補正位置に基づく物体領域の決定を継続して行った方がより良い結果が得られると予測される。そこで、終了判定部７０１は、処理ループの実行を終了しない（再度実行する）と判定し、選択部１０５及び統合部１０６、位置補正部１０７の処理を再度実行する。

【0082】

一方、図９（ｂ）は、選択位置の補正（Ｓ２１０）における失敗の例を示す図である。図９（ｂ）においては、Ｌ_１よりもＬ_４が小さくなる。想定される状況は以下の２つの場合である。
・ユーザが意図した被写体（被写体３０１）から離れる方向（ベクトル９０３）に行く場合。
・尤度マップ取得部１０２が誤って低い尤度を算出した場合。

【0083】

いずれの場合においても、Ｌ１とＬ４の差が大きい場合には、座標６１１は、ユーザが指定した被写体（被写体３０１）により近い点を算出したとは言えない。そのため、補正位置に基づく物体領域の決定を継続して行ったとしても良い結果が得られないと予測される。そこで、終了判定部７０１は、処理ループの実行を終了すると判定し、再度の補正処理の実行により、ユーザが指定した被写体から離れるリスクを回避する。

【0084】

＜効果＞
第２実施形態によれば、直前の処理ループで得られた処理結果（選択位置の補正）を評価し、補正処理（処理ループ）を終了するか否かの判定を行う。これにより、過剰な補正回数により発生する選択位置の補正失敗に起因する悪影響（すなわち誤った物体領域の決定）を避けることが可能となる。

【0085】

本明細書の開示は、以下の画像処理装置、制御方法、およびプログラムを含む。
（項目１）
撮像画像を取得する取得手段と、
前記撮像画像の各位置における物体の存在尤度を表す尤度マップを取得する尤度取得手段と、
前記撮像画像の各位置において、それぞれの位置を基準とした物体の位置およびサイズを示す領域テンソルを取得する領域取得手段と、
前記撮像画像に対する第１の位置座標を受け付ける受付手段と、
前記第１の位置座標に基づいてそれぞれが前記領域テンソルにより示される２以上の領域候補に対応する前記尤度マップの尤度と前記領域テンソルとに基づいて、前記第１の位置座標に対応する物体領域を決定する領域決定手段と、
を有することを特徴とする画像処理装置。
（項目２）
前記領域取得手段は、前記撮像画像をｊ行ｉ列のｊ×ｉ個の小領域に分割した各小領域の位置における領域テンソルを取得し、
前記領域決定手段は、ｊ×ｉ個の小領域のうち前記第１の位置座標に相対的に近い２以上の小領域に対応する２以上の領域候補を選択する
ことを特徴とする項目１に記載の画像処理装置。
（項目３）
前記領域テンソルは、前記撮像画像の各位置から物体を囲う領域の境界上の複数の点それぞれまでの距離を示すテンソルである
ことを特徴とする項目１または２に記載の画像処理装置。
（項目４）
前記尤度取得手段は、事前に学習された第１の多層ニューラルネットワークを用いて前記尤度マップを取得する
ことを特徴とする項目１乃至３の何れか１項目に記載の画像処理装置。
（項目５）
前記領域取得手段は、事前に学習された第２の多層ニューラルネットワークを用いて前記領域テンソルを取得する
ことを特徴とする項目１乃至４の何れか１項目に記載の画像処理装置。
（項目６）
前記領域決定手段は、前記尤度マップにおける尤度を重みとして、前記２以上の領域候補を加重平均により統合して物体領域を決定する
ことを特徴とする項目１乃至５の何れか１項目に記載の画像処理装置。
（項目７）
前記第１の位置座標に基づいて前記領域決定手段により第１の物体領域を決定させ、該第１の物体領域から決定される第２の位置座標に基づいて前記領域決定手段により第２の物体領域を決定させる制御手段と、
前記尤度マップにおける前記第１の位置座標に対応する第１の尤度値と、前記尤度マップにおける前記領域決定手段で決定した物体領域の中心に対する前記第２の位置座標に対応する第２の尤度値と、の何れが大きいかを判定する判定手段と、
前記判定手段により前記第１の尤度値が前記第２の尤度値より大きいと判定された場合は前記第１の物体領域を外部装置に出力し、前記判定手段により前記第１の尤度値が前記第２の尤度値より小さいと判定された場合は前記第２の物体領域を前記外部装置に出力する、出力手段と、
をさらに有する
ことを特徴とする項目１乃至６の何れか１項目に記載の画像処理装置。
（項目８）
前記制御手段は、さらに、前記第２の物体領域から決定される第３の位置座標に基づいて前記領域決定手段により第３の物体領域を決定させ、
前記判定手段は、さらに、前記第２の尤度値と、前記尤度マップにおける前記第３の位置座標に対応する第３の尤度値と、の何れが大きいかを判定し、
前記出力手段は、前記判定手段により前記第２の尤度値が前記第３の尤度値より大きいと判定された場合は前記第２の物体領域を前記外部装置に出力し、前記判定手段により前記第２の尤度値が前記第３の尤度値より小さいと判定された場合は前記第３の物体領域を前記外部装置に出力する
ことを特徴とする項目７に記載の画像処理装置。
（項目９）
前記受付手段は、前記撮像画像を表示するタッチパネルディスプレイであり、
前記第１の位置座標は、前記タッチパネルディスプレイに対するユーザからのタッチ操作に基づき決定される位置座標である
ことを特徴とする項目１乃至８の何れか１項目に記載の画像処理装置。
（項目１０）
前記外部装置は、前記撮像画像を撮像した撮像装置のフォーカス制御を行うフォーカス制御装置である
ことを特徴とする項目７に記載の画像処理装置。
（項目１１）
画像処理装置の制御方法であって、
撮像画像を取得する取得工程と、
前記撮像画像の各位置における物体の存在尤度を表す尤度マップを取得する尤度取得工程と、
前記撮像画像の各位置において、それぞれの位置を基準とした物体の位置およびサイズを示す領域テンソルを取得する領域取得工程と、
前記撮像画像に対する第１の位置座標を受け付ける受付工程と、
前記第１の位置座標に基づいてそれぞれが前記領域テンソルにより示される２以上の領域候補に対応する前記尤度マップの尤度と前記領域テンソルとに基づいて前記第１の位置座標に対応する物体領域を決定する決定工程と、
を含むことを特徴とする制御方法。
（項目１２）
コンピュータを、項目１乃至１０の何れか１項目に記載の画像処理装置の各手段として機能させるためのプログラム。

【0086】

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【0087】

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

【符号の説明】

【0088】

１００ 画像処理装置； １０１ 画像取得部； １０２ 尤度マップ取得部； １０３ 候補取得部； １０４ 指示受付部； １０５ 選択部； １０６ 統合部； １０７ 位置補正部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】