(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023133321
(43)【公開日】2023-09-22
(54)【発明の名称】処理装置、演算装置、処理方法、およびプログラム
(51)【国際特許分類】
G06T 7/00 20170101AFI20230914BHJP
G06V 10/82 20220101ALI20230914BHJP
G06T 7/70 20170101ALI20230914BHJP
【ＦＩ】
G06T7/00 350C
G06V10/82
G06T7/70 B
【審査請求】有
【請求項の数】13
【出願形態】ＯＬ
(21)【出願番号】P 2023113464
(22)【出願日】2023-07-11
(62)【分割の表示】P 2018175677の分割
【原出願日】2018-09-20
(71)【出願人】
【識別番号】000005016
【氏名又は名称】パイオニア株式会社
(74)【代理人】
【識別番号】100110928
【弁理士】
【氏名又は名称】速水 進治
(74)【代理人】
【識別番号】100127236
【弁理士】
【氏名又は名称】天城 聡
(72)【発明者】
【氏名】井上 俊明
(57)【要約】
【課題】小さい計算コストで顕著性推定を実現することが一例として挙げられる。
【解決手段】処理装置１０は、入力部１１０、非線形写像部１２０、および出力部１３０を備える。入力部１１０は、画像を写像処理可能な中間データに変換する。非線形写像部１２０は、中間データを写像データに変換する。出力部１３０は、写像データに基づき顕著性分布を示す顕著性推定情報を生成する。そして、非線形写像部１２０は、中間データに対し特徴の抽出を行う特徴抽出部１２１と、特徴抽出部１２１で生成されたデータのアップサンプルを行うアップサンプル部１２２とを備える。
【選択図】図１
【解決手段】処理装置１０は、入力部１１０、非線形写像部１２０、および出力部１３０を備える。入力部１１０は、画像を写像処理可能な中間データに変換する。非線形写像部１２０は、中間データを写像データに変換する。出力部１３０は、写像データに基づき顕著性分布を示す顕著性推定情報を生成する。そして、非線形写像部１２０は、中間データに対し特徴の抽出を行う特徴抽出部１２１と、特徴抽出部１２１で生成されたデータのアップサンプルを行うアップサンプル部１２２とを備える。
【選択図】図１
【特許請求の範囲】
【請求項1】
画像を写像処理可能な中間データに変換する入力部と、
前記中間データを写像データに変換する非線形写像部と、
前記写像データに基づき顕著性分布を示す顕著性推定情報を生成する出力部とを備え、
前記非線形写像部は、前記中間データに対し特徴の抽出を行う特徴抽出部と、前記特徴抽出部で生成されたデータのアップサンプルを行うアップサンプル部とを備え、
前記特徴抽出部と前記アップサンプル部とは、オーバーラッププーリングを行う第２のプーリング部を介して互いに接続されており、
前記顕著性推定情報は、前記画像を見た人の視線がその画像中の各位置に向く確率を示す
処理装置。
前記中間データを写像データに変換する非線形写像部と、
前記写像データに基づき顕著性分布を示す顕著性推定情報を生成する出力部とを備え、
前記非線形写像部は、前記中間データに対し特徴の抽出を行う特徴抽出部と、前記特徴抽出部で生成されたデータのアップサンプルを行うアップサンプル部とを備え、
前記特徴抽出部と前記アップサンプル部とは、オーバーラッププーリングを行う第２のプーリング部を介して互いに接続されており、
前記顕著性推定情報は、前記画像を見た人の視線がその画像中の各位置に向く確率を示す
処理装置。
【請求項2】
請求項１に記載の処理装置において、
前記非線形写像部は、補正情報をさらに用いて前記中間データを前記写像データに変換し、
前記補正情報は、機械学習を用いて修正された情報である処理装置。
前記非線形写像部は、補正情報をさらに用いて前記中間データを前記写像データに変換し、
前記補正情報は、機械学習を用いて修正された情報である処理装置。
【請求項3】
請求項２に記載の処理装置において、
前記画像に対して生成された前記顕著性推定情報と、前記画像に対して実測された顕著性分布を示す顕著性実測情報とを用いて、前記顕著性推定情報が示す顕著性分布と前記顕著性実測情報が示す顕著性分布との誤差を算出する誤差算出部と、
前記誤差に基づいて前記補正情報を修正する修正部とをさらに備える処理装置。
前記画像に対して生成された前記顕著性推定情報と、前記画像に対して実測された顕著性分布を示す顕著性実測情報とを用いて、前記顕著性推定情報が示す顕著性分布と前記顕著性実測情報が示す顕著性分布との誤差を算出する誤差算出部と、
前記誤差に基づいて前記補正情報を修正する修正部とをさらに備える処理装置。
【請求項4】
請求項２または３に記載の処理装置において、
前記非線形写像部は複数のフィルタを含み、
前記複数のフィルタの係数は前記補正情報に基づいて定められる処理装置。
前記非線形写像部は複数のフィルタを含み、
前記複数のフィルタの係数は前記補正情報に基づいて定められる処理装置。
【請求項5】
請求項１から３のいずれか一項に記載の処理装置において、
前記特徴抽出部および前記アップサンプル部の少なくとも一方は、複数の中間層を含むニューラルネットワークを含んで構成される処理装置。
前記特徴抽出部および前記アップサンプル部の少なくとも一方は、複数の中間層を含むニューラルネットワークを含んで構成される処理装置。
【請求項6】
請求項５に記載の処理装置において、
前記複数の中間層のそれぞれは、一または二以上の畳み込み層を含み、
前記畳み込み層では、入力されたデータに対し複数のフィルタによる畳み込みが行われ、前記複数のフィルタの出力に対し活性化処理が施される処理装置。
前記複数の中間層のそれぞれは、一または二以上の畳み込み層を含み、
前記畳み込み層では、入力されたデータに対し複数のフィルタによる畳み込みが行われ、前記複数のフィルタの出力に対し活性化処理が施される処理装置。
【請求項7】
請求項６に記載の処理装置において、
前記特徴抽出部は、
前記複数の中間層を含む前記ニューラルネットワークを含んで構成され、
前記複数の中間層の間に第１のプーリング部を備える処理装置。
前記特徴抽出部は、
前記複数の中間層を含む前記ニューラルネットワークを含んで構成され、
前記複数の中間層の間に第１のプーリング部を備える処理装置。
【請求項8】
請求項７に記載の処理装置において、
第１の前記中間層と、前記第１の中間層の後段に位置する第２の前記中間層とは、前記第１のプーリング部を介して互いに連続しており、
前記第１の中間層は、各チャネルに対する前記フィルタの数がＮ１である前記畳み込み層で構成されており、前記第２の中間層は、各チャネルに対する前記フィルタの数がＮ２である前記畳み込み層で構成されており、
Ｎ２＞Ｎ１が成り立つ処理装置。
第１の前記中間層と、前記第１の中間層の後段に位置する第２の前記中間層とは、前記第１のプーリング部を介して互いに連続しており、
前記第１の中間層は、各チャネルに対する前記フィルタの数がＮ１である前記畳み込み層で構成されており、前記第２の中間層は、各チャネルに対する前記フィルタの数がＮ２である前記畳み込み層で構成されており、
Ｎ２＞Ｎ１が成り立つ処理装置。
【請求項9】
請求項６から８のいずれか一項に記載の処理装置において、
前記アップサンプル部は、
前記複数の中間層を含む前記ニューラルネットワークを含んで構成され、
前記複数の中間層の間にアンプーリング部を備える処理装置。
前記アップサンプル部は、
前記複数の中間層を含む前記ニューラルネットワークを含んで構成され、
前記複数の中間層の間にアンプーリング部を備える処理装置。
【請求項10】
請求項９に記載の処理装置において、
第３の前記中間層と、前記第３の中間層の後段に位置する第４の前記中間層とは、前記アンプーリング部を介して互いに連続しており、
前記第３の中間層は、各チャネルに対する前記フィルタの数がＮ３である前記畳み込み層で構成されており、前記第４の中間層は、各チャネルに対する前記フィルタの数がＮ４である前記畳み込み層で構成されており、
Ｎ４＜Ｎ３が成り立つ処理装置。
第３の前記中間層と、前記第３の中間層の後段に位置する第４の前記中間層とは、前記アンプーリング部を介して互いに連続しており、
前記第３の中間層は、各チャネルに対する前記フィルタの数がＮ３である前記畳み込み層で構成されており、前記第４の中間層は、各チャネルに対する前記フィルタの数がＮ４である前記畳み込み層で構成されており、
Ｎ４＜Ｎ３が成り立つ処理装置。
【請求項11】
請求項２に記載の処理装置で用いられる前記補正情報を生成する演算装置であって、
教師用画像に対して生成された前記顕著性推定情報と、前記教師用画像に対して実測された顕著性分布を示す顕著性実測情報とを用いて、前記顕著性推定情報が示す顕著性分布と前記顕著性実測情報が示す顕著性分布との誤差を算出する誤差算出部と、
前記誤差に基づいて前記補正情報を算出する補正部とを備える演算装置。
教師用画像に対して生成された前記顕著性推定情報と、前記教師用画像に対して実測された顕著性分布を示す顕著性実測情報とを用いて、前記顕著性推定情報が示す顕著性分布と前記顕著性実測情報が示す顕著性分布との誤差を算出する誤差算出部と、
前記誤差に基づいて前記補正情報を算出する補正部とを備える演算装置。
【請求項12】
コンピュータによって実行される処理方法であって、
画像を写像処理可能な中間データに変換する入力ステップと、
前記中間データを写像データに変換する非線形写像ステップと、
前記写像データに基づき顕著性分布を示す顕著性推定情報を生成する出力ステップとを含み、
前記非線形写像ステップは、前記中間データに対し特徴の抽出を行う特徴抽出ステップと、前記特徴抽出ステップで生成されたデータのアップサンプルを行うアップサンプルステップとを含み、
前記特徴抽出ステップと前記アップサンプルステップとの間に、オーバーラッププーリングを行う第２のプーリングステップを含み、
前記顕著性推定情報は、前記画像を見た人の視線がその画像中の各位置に向く確率を示す
処理方法。
画像を写像処理可能な中間データに変換する入力ステップと、
前記中間データを写像データに変換する非線形写像ステップと、
前記写像データに基づき顕著性分布を示す顕著性推定情報を生成する出力ステップとを含み、
前記非線形写像ステップは、前記中間データに対し特徴の抽出を行う特徴抽出ステップと、前記特徴抽出ステップで生成されたデータのアップサンプルを行うアップサンプルステップとを含み、
前記特徴抽出ステップと前記アップサンプルステップとの間に、オーバーラッププーリングを行う第２のプーリングステップを含み、
前記顕著性推定情報は、前記画像を見た人の視線がその画像中の各位置に向く確率を示す
処理方法。
【請求項13】
請求項１２に記載の処理方法の各ステップをコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、処理装置、演算装置、処理方法、およびプログラムに関する。
【背景技術】
【0002】
画像の中の顕著領域を自動で検出する技術が提案されている。このような技術は、自動運転技術等とも関連して重要性が高まっている。
【0003】
特許文献１には、複数の候補領域を設定し、複数の候補領域それぞれの顕著度を計算し、複数の候補領域の顕著度を統合して入力画像の顕著性情報を生成することが記載されている。
【0004】
また、非特許文献１には、入力画像を、畳み込みネットワークの一種であるＤＣＮ（Dilated Convolutional Network）および時系列ネットワークの一種であるＬＳＴＭ（Long Short-Term Memory network）等で処理することが記載されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開２０１７－４４８０号公報
【非特許文献】
【0006】
【非特許文献1】M. Cornia, et. al., "Predicting Human Eye Fixations via an LSTM-based Saliency Attentative Model", arXive:1611.09571v2, 17 Mar. 2017.
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかし、特許文献１および非特許文献１の技術では、顕著性の推定動作にかかる計算コストが大きいという問題があった。
【0008】
本発明が解決しようとする課題としては、小さい計算コストで顕著性推定を実現することが一例として挙げられる。
【課題を解決するための手段】
【0009】
第１の発明は、
画像を写像処理可能な中間データに変換する入力部と、
前記中間データを写像データに変換する非線形写像部と、
前記写像データに基づき顕著性分布を示す顕著性推定情報を生成する出力部とを備え、
前記非線形写像部は、前記中間データに対し特徴の抽出を行う特徴抽出部と、前記特徴抽出部で生成されたデータのアップサンプルを行うアップサンプル部とを備える処理装置である。
画像を写像処理可能な中間データに変換する入力部と、
前記中間データを写像データに変換する非線形写像部と、
前記写像データに基づき顕著性分布を示す顕著性推定情報を生成する出力部とを備え、
前記非線形写像部は、前記中間データに対し特徴の抽出を行う特徴抽出部と、前記特徴抽出部で生成されたデータのアップサンプルを行うアップサンプル部とを備える処理装置である。
【0010】
第２の発明は、
請求項２に記載の処理装置で用いられる前記補正情報を生成する演算装置であって、
教師用画像に対して生成された前記顕著性推定情報と、前記教師用画像に対して実測された顕著性分布を示す顕著性実測情報とを用いて、前記顕著性推定情報が示す顕著性分布と前記顕著性実測情報が示す顕著性分布との誤差を算出する誤差算出部と、
前記誤差に基づいて前記補正情報を算出する補正部とを備える演算装置である。
請求項２に記載の処理装置で用いられる前記補正情報を生成する演算装置であって、
教師用画像に対して生成された前記顕著性推定情報と、前記教師用画像に対して実測された顕著性分布を示す顕著性実測情報とを用いて、前記顕著性推定情報が示す顕著性分布と前記顕著性実測情報が示す顕著性分布との誤差を算出する誤差算出部と、
前記誤差に基づいて前記補正情報を算出する補正部とを備える演算装置である。
【0011】
第３の発明は、
コンピュータによって実行される処理方法であって、
画像を写像処理可能な中間データに変換する入力ステップと、
前記中間データを写像データに変換する非線形写像ステップと、
前記写像データに基づき顕著性分布を示す顕著性推定情報を生成する出力ステップとを含み、
前記非線形写像ステップは、前記中間データに対し特徴の抽出を行う特徴抽出ステップと、前記特徴抽出ステップで生成されたデータのアップサンプルを行うアップサンプルステップとを含む処理方法である。
コンピュータによって実行される処理方法であって、
画像を写像処理可能な中間データに変換する入力ステップと、
前記中間データを写像データに変換する非線形写像ステップと、
前記写像データに基づき顕著性分布を示す顕著性推定情報を生成する出力ステップとを含み、
前記非線形写像ステップは、前記中間データに対し特徴の抽出を行う特徴抽出ステップと、前記特徴抽出ステップで生成されたデータのアップサンプルを行うアップサンプルステップとを含む処理方法である。
【0012】
第４の発明は、
第３の発明に係る処理方法の各ステップをコンピュータに実行させるプログラムである。
第３の発明に係る処理方法の各ステップをコンピュータに実行させるプログラムである。
【図面の簡単な説明】
【0013】
【図1】第１の実施形態に係る処理装置の構成を例示するブロック図である。
【図2】（ａ）は処理装置へ入力する画像を例示する図であり、（ｂ）は（ａ）に対し推定される、顕著性分布を示す画像を例示する図である。
【図3】第１の実施形態に係る処理方法を例示するフローチャートである。
【図4】非線形写像部の構成を詳しく例示する図である。
【図5】中間層の構成を例示する図である。
【図6】（ａ）および（ｂ）はそれぞれ、フィルタで行われる畳み込み処理の例を示す図である。
【図7】（ａ）は、第１のプーリング部の処理を説明するための図であり、（ｂ）は、第２のプーリング部の処理を説明するための図であり、（ｃ）は、アンプーリング部の処理を説明するための図である。
【図8】処理装置を実現するための計算機を例示する図である。
【図9】第２の実施形態に係る処理装置の構成を例示する図である。
【図10】第２の実施形態に係る学習動作を例示するフローチャートである。
【図11】第３の実施形態に係る演算装置の構成および使用環境を例示する図である。
【図12】第４の実施形態に係る処理装置の構成を例示する図である。
【図13】合成部で生成された合成情報が示す画像を例示する図である。
【図14】第５の実施形態に係る処理装置の構成を例示する図である。
【図15】（ａ）は実施例１Ａおよび比較例１Ａにおける入力画像であり、（ｂ）は（ａ）に対する顕著性を、アイトラッカを用いて実測した結果を示す図であり、（ｃ）は比較例１Ａにおける顕著性の推定結果を示す図であり、（ｄ）は実施例１Ａにおける顕著性の推定結果を示す図である。
【図16】（ａ）から（ｃ）は、それぞれ実施例３Ａ、実施例３Ｂ、および実施例３Ｃにおける顕著性の推定結果を示す図である。
【図17】（ａ）は実施例４Ａおよび比較例４Ａにおける入力画像であり、（ｂ）は実施例４Ａにおいて（ａ）に基づき生成された顕著性推定情報であり、（ｃ）は比較例４Ａにおける物体検出結果を示す図であり、（ｄ）は実施例４Ａにおける物体検出結果を示す図である。
【発明を実施するための形態】
【0014】
以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。
【0015】
以下に示す説明において、処理装置１０および演算装置２０の各構成要素は、特に説明する場合を除きハードウエア単位の構成ではなく、機能単位のブロックを示している。処理装置１０および演算装置２０の各構成要素は、任意のコンピュータのＣＰＵ、メモリ、メモリにロードされたプログラム、そのプログラムを格納するハードディスクなどの記憶メディア、ネットワーク接続用インタフェースを中心にハードウエアとソフトウエアの任意の組合せによって実現される。そして、その実現方法、装置には様々な変形例がある。
【0016】
（第１の実施形態）
図１は、第１の実施形態に係る処理装置１０の構成を例示するブロック図である。本実施形態に係る処理装置１０は、入力部１１０、非線形写像部１２０、および出力部１３０を備える。入力部１１０は、画像を写像処理可能な中間データに変換する。非線形写像部１２０は、中間データを写像データに変換する。出力部１３０は、写像データに基づき顕著性分布を示す顕著性推定情報を生成する。そして、非線形写像部１２０は、中間データに対し特徴の抽出を行う特徴抽出部１２１と、特徴抽出部１２１で生成されたデータのアップサンプルを行うアップサンプル部１２２とを備える。以下に詳しく説明する。
図１は、第１の実施形態に係る処理装置１０の構成を例示するブロック図である。本実施形態に係る処理装置１０は、入力部１１０、非線形写像部１２０、および出力部１３０を備える。入力部１１０は、画像を写像処理可能な中間データに変換する。非線形写像部１２０は、中間データを写像データに変換する。出力部１３０は、写像データに基づき顕著性分布を示す顕著性推定情報を生成する。そして、非線形写像部１２０は、中間データに対し特徴の抽出を行う特徴抽出部１２１と、特徴抽出部１２１で生成されたデータのアップサンプルを行うアップサンプル部１２２とを備える。以下に詳しく説明する。
【0017】
図２（ａ）は、処理装置１０へ入力する画像を例示する図であり、図２（ｂ）は、図２（ａ）に対し推定される、顕著性分布を示す画像を例示する図である。本実施形態に係る処理装置１０は、画像における各部分の顕著性を推定する装置である。顕著性とはたとえば、目立ちやすさや視線の集まりやすさを意味する。具体的には顕著性は、確率等で示される。ここで、確率の大小は、たとえばその画像を見た人の視線がその位置に向く確率の大小に対応する。
【0018】
図２（ａ）と図２（ｂ）とは、互いに位置が対応している。そして、図２（ａ）において、顕著性が高い位置ほど、図２（ｂ）において輝度が高く表示されている。図２（ｂ）のような顕著性分布を示す画像は、出力部１３０が出力する顕著性推定情報の一例である。本図の例において、顕著性は、２５６階調の輝度値で可視化されている。出力部１３０が出力する顕著性推定情報の例については詳しく後述する。
【0019】
顕著性分布の推定結果は、たとえば、運転者や歩行者等の交通参加者の視線予測や、交通参加者の見落とし防止、広告媒体などのコンテンツの見栄え評価、視線誘導、スポーツ選手や技能熟練者のノウハウのデータ化、生体の視覚認知の理解など、様々な分野で用いることができる。さらに、本実施形態に係る処理装置１０および処理方法は、自動運転や先進運転支援システム（ＡＤＡＳ）、道路交通システム等のモビリティ分野、仮想現実（ＶＲ）、拡張現実（ＡＲ）、ゲーム等のエンターテインメント分野、ドキュメント、映像コンテンツ、サイネージ等のコンテンツ分野、画像診断、手術支援、介護サービス等の医療分野等への応用が可能である。
【0020】
図３は、第１の実施形態に係る処理方法を例示するフローチャートである。本実施形態に係る処理方法は、コンピュータによって実行される処理方法であって、入力ステップＳ１１０、非線形写像ステップＳ１２０、および出力ステップＳ１３０を含む。入力ステップＳ１１０では、画像が写像処理可能な中間データに変換される。非線形写像ステップＳ１２０では、中間データが写像データに変換される。出力ステップＳ１３０では、写像データに基づき顕著性分布を示す顕著性推定情報が生成される。ここで、非線形写像ステップＳ１２０は、中間データに対し特徴の抽出を行う特徴抽出ステップＳ１２１と、特徴抽出ステップＳ１２１で生成されたデータのアップサンプルを行うアップサンプルステップＳ１２２とを含む。本実施形態に係る処理方法は、実施形態に係る処理装置１０により実現される。
【0021】
図１に戻り、処理装置１０の各構成要素について説明する。入力ステップＳ１１０において入力部１１０は、画像を取得し、中間データに変換する。入力部１１０は、たとえば画像（画像データ）を処理装置１０の外部の装置から取得する。外部の装置はたとえばカメラ等の撮像装置である。また、画像が処理装置１０の内部または外部に設けられた記憶部１９０に保持されており、入力部１１０が記憶部１９０から画像を読み出して取得してもよい。そして入力部１１０は、取得した画像を中間データに変換する。中間データは非線形写像部１２０が受け付け可能なデータであれば特に限定されないが、たとえば高次元テンソルである。また、中間データはたとえば、取得した画像に対し輝度を正規化したデータ、または、取得した画像の各画素を、輝度の傾きに変換したデータである。入力ステップＳ１１０において入力部１１０は、さらに画像のノイズ除去や解像度変換等を行っても良い。
【0022】
非線形写像ステップＳ１２０において、非線形写像部１２０は入力部１１０から中間データを取得する。そして、非線形写像部１２０において中間データが写像データに変換される。ここで、写像データは例えば高次元テンソルである。非線形写像部１２０で中間データに施される写像処理は、たとえばパラメータ等により制御可能な写像処理であり、関数、汎関数、またはニューラルネットワークによる処理であることが好ましい。
【0023】
図４は、非線形写像部１２０の構成を詳しく例示する図であり、図５は、中間層１２３の構成を例示する図である。上記した通り、非線形写像部１２０は、特徴抽出部１２１およびアップサンプル部１２２を備える。特徴抽出部１２１において特徴抽出ステップＳ１２１が行われ、アップサンプル部１２２においてアップサンプルステップＳ１２２が行われる。また、本図の例において、特徴抽出部１２１およびアップサンプル部１２２の少なくとも一方は、複数の中間層１２３を含むニューラルネットワークを含んで構成される。ニューラルネットワークにおいては、複数の中間層１２３が結合されている。
【0024】
特にニューラルネットワークは畳み込みニューラルネットワークであることが好ましい。具体的には、複数の中間層１２３のそれぞれは、一または二以上の畳み込み層１２４を含む。そして、畳み込み層１２４では、入力されたデータに対し複数のフィルタ１２５による畳み込みが行われ、複数のフィルタ１２５の出力に対し活性化処理が施される。
【0025】
図４の例において、特徴抽出部１２１は、複数の中間層１２３を含むニューラルネットワークを含んで構成され、複数の中間層１２３の間に第１のプーリング部１２６を備える。また、アップサンプル部１２２は、複数の中間層１２３を含むニューラルネットワークを含んで構成され、複数の中間層１２３の間にアンプーリング部１２８を備える。さらに、特徴抽出部１２１とアップサンプル部１２２とは、オーバーラッププーリングを行う第２のプーリング部１２７を介して互いに接続されている。
【0026】
なお、本図の例において各中間層１２３は、二以上の畳み込み層１２４からなる。ただし、少なくとも一部の中間層１２３は、一の畳み込み層１２４のみからなってもよい。互いに隣り合う中間層１２３は、第１のプーリング部１２６、第２のプーリング部１２７およびアンプーリング部１２８のいずれかで区切られる。ここで、中間層１２３に二以上の畳み込み層１２４が含まれる場合、それらの畳み込み層１２４におけるフィルタ１２５の数は互いに等しいことが好ましい。
【0027】
本図では、「Ａ×Ｂ」と記された中間層１２３は、Ｂ個の畳み込み層１２４からなり、各畳み込み層１２４は、各チャネルに対しＡ個の畳み込みフィルタを含むことを意味している。このような中間層１２３を以下では「Ａ×Ｂ中間層」とも呼ぶ。たとえば、６４×２中間層１２３は、２個の畳み込み層１２４からなり、各畳み込み層１２４は、各チャネルに対し６４個の畳み込みフィルタを含むことを意味している。
【0028】
本図の例において、特徴抽出部１２１は、６４×２中間層１２３、１２８×２中間層１２３、２５６×３中間層１２３、および、５１２×３中間層１２３をこの順に含む。また、アップサンプル部１２２は、５１２×３中間層１２３、２５６×３中間層１２３、１２８×２中間層１２３、および６４×２中間層１２３をこの順に含む。また、第２のプーリング部１２７は、２つの５１２×３中間層１２３を互いに接続している。なお、非線形写像部１２０を構成する中間層１２３の数は特に限定されず、たとえば画像データの画素数に応じて定めることができる。
【0029】
なお、本図は非線形写像部１２０の構成の一例であり、非線形写像部１２０は他の構成を有していても良い。たとえば、６４×２中間層１２３の代わりに６４×１中間層１２３が含まれても良い。中間層１２３に含まれる畳み込み層１２４の数が削減されることで、計算コストがより低減される可能性がある。また、たとえば、６４×２中間層１２３の代わりに３２×２中間層１２３が含まれても良い。中間層１２３のチャネル数が削減されることで、計算コストがより低減される可能性がある。さらに、中間層１２３における畳み込み層１２４の数とチャネル数との両方を削減しても良い。
【0030】
ここで、特徴抽出部１２１に含まれる複数の中間層１２３においては、第１のプーリング部１２６を経る毎にフィルタ１２５の数が増加することが好ましい。具体的には、第１の中間層１２３ａと第２の中間層１２３ｂとが、第１のプーリング部１２６を介して互いに連続しており、第１の中間層１２３ａの後段に第２の中間層１２３ｂが位置する。そして、第１の中間層１２３ａは、各チャネルに対するフィルタ１２５の数がＮ１である畳み込み層１２４で構成されており、第２の中間層１２３ｂは、各チャネルに対するフィルタ１２５の数がＮ２である畳み込み層１２４で構成されている。このとき、Ｎ２＞Ｎ１が成り立つことが好ましい。また、Ｎ２＝Ｎ１×２が成り立つことがより好ましい。
【0031】
また、アップサンプル部１２２に含まれる複数の中間層１２３においては、アンプーリング部１２８を経る毎にフィルタ１２５の数が減少することが好ましい。具体的には、第３の中間層１２３ｃと第４の中間層１２３ｄとが、アンプーリング部１２８を介して互いに連続しており、第３の中間層１２３ｃの後段に第４の中間層１２３ｄが位置する。そして、第３の中間層１２３ｃは、各チャネルに対するフィルタ１２５の数がＮ３である畳み込み層１２４で構成されており、第４の中間層１２３ｄは、各チャネルに対するフィルタ１２５の数がＮ４である畳み込み層１２４で構成されている。このとき、Ｎ４＜Ｎ３が成り立つことが好ましい。また、Ｎ３＝Ｎ４×２が成り立つことがより好ましい。
【0032】
特徴抽出部１２１では、入力部１１０から取得した中間データから勾配や形状など、複数の抽象度を持つ画像特徴を中間層１２３のチャネルとして抽出する。図５は、６４×２中間層１２３の構成を例示している。本図を参照して、中間層１２３における処理を説明する。本図の例において、中間層１２３は第１の畳み込み層１２４ａと第２の畳み込み層１２４ｂとで構成されており、各畳み込み層１２４は６４個のフィルタ１２５を備える。第１の畳み込み層１２４ａでは、中間層１２３に入力されたデータの各チャネルに対して、フィルタ１２５を用いた畳み込み処理が施される。たとえば入力部１１０へ入力された画像がＲＧＢ画像である場合、３つのチャネルｈ０
ｉ（ｉ＝１．．３）のそれぞれに対して処理が施される。また、本図の例において、フィルタ１２５は６４種の３×３フィルタであり、すなわち合計６４×３種のフィルタである。畳み込み処理の結果、各チャネルｉに対して、６４個の結果ｈ０
ｉ，ｊ（ｉ＝１．．３，ｊ＝１．．６４）が得られる。
【0033】
次に、複数のフィルタ１２５の出力に対し、活性化部１２９において活性化処理が行われる。具体的には、全チャネルの対応する結果ｊについて、対応する要素毎の総和に活性化処理が施される。この活性化処理により、６４チャネルの結果ｈ１
ｉ（ｉ＝１．．６４）、すなわち、第１の畳み込み層１２４ａの出力が、画像特徴として得られる。活性化処理は特に限定されないが、双曲関数、シグモイド関数、および正規化線形関数の少なくともいずれかを用いる処理が好ましい。
【0034】
さらに、第１の畳み込み層１２４ａの出力データを第２の畳み込み層１２４ｂの入力データとし、第２の畳み込み層１２４ｂにて第１の畳み込み層１２４ａと同様の処理を行って、６４チャネルの結果ｈ２
ｉ（ｉ＝１．．６４）、すなわち第２の畳み込み層１２４ｂの出力が、画像特徴として得られる。第２の畳み込み層１２４ｂの出力がこの６４×２中間層１２３の出力データとなる。
【0035】
ここで、フィルタ１２５の構造は特に限定されないが、３×３の二次元フィルタであることが好ましい。また、各フィルタ１２５の係数は独立に設定可能である。本実施形態において、各フィルタ１２５の係数は記憶部１９０に保持されており、非線形写像部１２０がそれを読み出して処理に用いることができる。ここで、複数のフィルタ１２５の係数は機械学習を用いて生成、修正された補正情報に基づいて定められてもよい。たとえば、補正情報は、複数のフィルタ１２５の係数を、複数の補正パラメータとして含む。非線形写像部１２０は、この補正情報をさらに用いて中間データを写像データに変換することができる。記憶部１９０は処理装置１０に備えられていてもよいし、処理装置１０の外部に設けられていてもよい。また、非線形写像部１２０は補正情報を、通信ネットワークを介して外部から取得しても良い。
【0036】
図６（ａ）および図６（ｂ）はそれぞれ、フィルタ１２５で行われる畳み込み処理の例を示す図である。図６（ａ）および図６（ｂ）では、いずれも３×３畳み込みの例が示されている。図６（ａ）の例は、最近接要素を用いた畳み込み処理である。図６（ｂ）の例は、距離が二以上の近接要素を用いた畳み込み処理である。なお、距離が三以上の近接要素を用いた畳み込み処理も可能である。フィルタ１２５は、距離が二以上の近接要素を用いた畳み込み処理を行うことが好ましい。より広範囲の特徴を抽出することができ、顕著性の推定精度をさらに高めることができるからである。
【0037】
以上、６４×２中間層１２３の動作について説明した。他の中間層１２３（１２８×２中間層１２３、２５６×３中間層１２３、および、５１２×３中間層１２３等）の動作についても、畳み込み層１２４の数およびチャネルの数を除いて、６４×２中間層１２３の動作と同じである。また、特徴抽出部１２１における中間層１２３の動作も、アップサンプル部１２２における中間層１２３の動作も上記と同様である。
【0038】
図７（ａ）は、第１のプーリング部１２６の処理を説明するための図であり、図７（ｂ）は、第２のプーリング部１２７の処理を説明するための図であり、図７（ｃ）は、アンプーリング部１２８の処理を説明するための図である。
【0039】
特徴抽出部１２１において、中間層１２３から出力されたデータは、第１のプーリング部１２６においてチャネル毎にプーリング処理が施された後、次の中間層１２３に入力される。第１のプーリング部１２６ではたとえば、非オーバーラップのプーリング処理が行われる。図７（ａ）では、各チャネルに含まれる要素群に対し、２×２の４つの要素３０を１つの要素３０に対応づける処理を示している。第１のプーリング部１２６ではこのような対応づけが全ての要素３０に対し行われる。ここで、２×２の４つの要素３０は互いに重ならないよう選択される。本例では、各チャネルの要素数が４分の１に縮小される。なお、第１のプーリング部１２６において要素数が縮小される限り、対応づける前後の要素３０の数は特に限定されない。
【0040】
特徴抽出部１２１から出力されたデータは、第２のプーリング部１２７を介してアップサンプル部１２２に入力される。第２のプーリング部１２７では、特徴抽出部１２１からの出力データに対し、オーバーラッププーリングが施される。図７（ｂ）では、一部の要素３０をオーバーラップさせながら、２×２の４つの要素３０を１つの要素３０に対応づける処理を示している。すなわち、繰り返される対応づけにおいて、ある対応づけにおける２×２の４つの要素３０のうち一部が、次の対応づけにおける２×２の４つの要素３０にも含まれる。本図のような第２のプーリング部１２７では要素数は縮小されない。なお、第２のプーリング部１２７において対応づける前後の要素３０の数は特に限定されない。
【0041】
第１のプーリング部１２６および第２のプーリング部１２７で行われる各処理の方法は特に限定されないが、たとえば、４つの要素３０の最大値を１つの要素３０とする対応づけ（max pooling）や４つの要素３０の平均値を１つの要素３０とする対応づけ（average pooling）が挙げられる。
【0042】
第２のプーリング部１２７から出力されたデータは、アップサンプル部１２２における中間層１２３に入力される。そして、アップサンプル部１２２の中間層１２３からの出力データはアンプーリング部１２８においてチャネル毎にアンプーリング処理が施された後、次の中間層１２３に入力される。図７（ｃ）では、１つの要素３０を複数の要素３０に拡大する処理を示している。拡大の方法は特に限定されないが、１つの要素３０を２×２の４つの要素３０へ複製する方法が例として挙げられる。
【0043】
アップサンプル部１２２の最後の中間層１２３の出力データは写像データとして非線形写像部１２０から出力され、出力部１３０に入力される。出力ステップＳ１３０において出力部１３０は、非線形写像部１２０から取得したデータに対し、たとえば正規化や解像度変換等を行うことで顕著性推定情報を生成し、出力する。顕著性推定情報はたとえば、図２（ｂ）に例示したような顕著性を輝度値で可視化した画像（画像データ）である。また、顕著性推定情報はたとえば、ヒートマップのように顕著性に応じて色分けされた画像であっても良いし、顕著性が予め定められた基準より高い顕著領域を、その他の位置とは識別可能にマーキングした画像であっても良い。さらに、顕著性推定情報は画像に限定されず、顕著領域を示す情報を列挙したテーブル等であっても良い。
【0044】
出力部１３０から出力された顕著性推定情報に対しては、処理装置１０内、または処理装置１０の外部において、画像分割や物体認識、画像分類などの各種コンピュータビジョン処理が施されても良い。
【0045】
処理装置１０の各機能構成部は、各機能構成部を実現するハードウエア（例：ハードワイヤードされた電子回路など）で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ（例：電子回路とそれを制御するプログラムの組み合わせなど）で実現されてもよい。以下、処理装置１０の各機能構成部がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。
【0046】
図８は、処理装置１０を実現するための計算機１０００を例示する図である。計算機１０００は任意の計算機である。例えば計算機１０００は、SoC（System On Chip）、Personal Computer（PC）、サーバマシン、タブレット端末、又はスマートフォンなどである。計算機１０００は、処理装置１０を実現するために設計された専用の計算機であってもよいし、汎用の計算機であってもよい。
【0047】
計算機１０００は、バス１０２０、プロセッサ１０４０、メモリ１０６０、ストレージデバイス１０８０、入出力インタフェース１１００、及びネットワークインタフェース１１２０を有する。バス１０２０は、プロセッサ１０４０、メモリ１０６０、ストレージデバイス１０８０、入出力インタフェース１１００、及びネットワークインタフェース１１２０が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ１０４０などを互いに接続する方法は、バス接続に限定されない。プロセッサ１０４０は、CPU（Central Processing Unit）、GPU（Graphics Processing Unit）、又は FPGA（Field-Programmable Gate Array）などの種々のプロセッサである。メモリ１０６０は、RAM（Random Access Memory）などを用いて実現される主記憶装置である。ストレージデバイス１０８０は、ハードディスク、SSD（Solid State Drive）、メモリカード、又は ROM（Read Only Memory）などを用いて実現される補助記憶装置である。
【0048】
入出力インタフェース１１００は、計算機１０００と入出力デバイスとを接続するためのインタフェースである。例えば入出力インタフェース１１００には、キーボードなどの入力装置や、ディスプレイ装置などの出力装置が接続される。
【0049】
ネットワークインタフェース１１２０は、計算機１０００をネットワークに接続するためのインタフェースである。この通信網は、例えば LAN（Local Area Network）や WAN（Wide Area Network）である。ネットワークインタフェース１１２０がネットワークに接続する方法は、無線接続であってもよいし、有線接続であってもよい。
【0050】
ストレージデバイス１０８０は、処理装置１０の各機能構成部を実現するプログラムモジュールを記憶している。プロセッサ１０４０は、これら各プログラムモジュールをメモリ１０６０に読み出して実行することで、各プログラムモジュールに対応する機能を実現する。
【0051】
また、記憶部１９０が処理装置１０の内部に設けられる場合、例えば記憶部１９０は、ストレージデバイス１０８０を用いて実現される。
【0052】
以上、本実施形態によれば、非線形写像部１２０は、中間データに対し特徴の抽出を行う特徴抽出部１２１と、特徴抽出部１２１で生成されたデータのアップサンプルを行うアップサンプル部１２２とを備える。したがって、小さな計算コストで、顕著性を推定することができる。
【0053】
（第２の実施形態）
図９は、第２の実施形態に係る処理装置１０の構成を例示する図である。本実施形態に係る処理装置１０は、誤差算出部１４０および修正部１５０をさらに備える点を除いて第１の実施形態に係る処理装置１０と同じである。誤差算出部１４０は、画像に対して生成された顕著性推定情報と、その画像に対して実測された顕著性分布を示す顕著性実測情報とを用いて、顕著性推定情報が示す顕著性分布と顕著性実測情報が示す顕著性分布との誤差を算出する。そして、修正部１５０は、算出された誤差に基づいて補正情報を修正する。
図９は、第２の実施形態に係る処理装置１０の構成を例示する図である。本実施形態に係る処理装置１０は、誤差算出部１４０および修正部１５０をさらに備える点を除いて第１の実施形態に係る処理装置１０と同じである。誤差算出部１４０は、画像に対して生成された顕著性推定情報と、その画像に対して実測された顕著性分布を示す顕著性実測情報とを用いて、顕著性推定情報が示す顕著性分布と顕著性実測情報が示す顕著性分布との誤差を算出する。そして、修正部１５０は、算出された誤差に基づいて補正情報を修正する。
【0054】
本実施形態に係る処理装置１０は、推定動作と、学習動作とを行う。推定動作では、入力された画像に対する顕著性推定情報が生成され、出力される。推定動作は、第１の実施形態で説明した通りの動作である。特に、本実施形態では、非線形写像部１２０は補正情報を用いて中間データを写像データに変換する。一方、学習動作では、教師用画像と教師用画像に対する顕著性実測情報とを用いて機械学習が行われ、補正情報が生成または修正（更新）される。補正情報は、非線形写像部１２０で用いられる情報であり、たとえば複数の補正パラメータを含む。
【0055】
本実施形態において、非線形写像部１２０は、補正情報を用いて中間データを写像データに変換する。補正情報は機械学習を用いて生成および修正の少なくとも一方がされた情報である。具体的には非線形写像部１２０は第１の実施形態で説明した通り複数のフィルタ１２５を含み、複数のフィルタ１２５の係数は補正情報に基づいて定められる。たとえば、補正情報は、複数のフィルタ１２５の係数を、複数の補正パラメータとして含む。
【0056】
本実施形態に係る処理装置１０は、たとえば図８に示したような計算機１０００により実現される。計算機１０００のストレージデバイス１０８０は、誤差算出部１４０および修正部１５０を実現するプログラムモジュールをさらに記憶している。
【0057】
図１０は、第２の実施形態に係る学習動作を例示するフローチャートである。学習動作について以下に詳しく説明する。学習動作のためには、教師用画像と、その教師用画像に対する顕著性実測情報とが準備される。たとえば教師用画像と顕著性実測情報とは互いに関連づけられて記憶部１９０に保持されている。入力部１１０および誤差算出部１４０はこれらの情報を記憶部１９０から読み出して用いることができる。
【0058】
教師用画像は写真等の任意の画像である。そして、顕著性実測情報はたとえば、人が教師用画像を見たときの視線を、アイトラッカを用いて実測した結果に基づき生成される。顕著性実測情報は、顕著性推定情報と同様の形態を有することができる。すなわち、顕著性実測情報は、顕著性を輝度値で可視化した画像であっても良いし、顕著性実測情報はたとえば、ヒートマップのように顕著性に応じて色分けされた画像であっても良い。
【0059】
学習動作では、入力ステップＳ１１０および非線形写像ステップＳ１２０および出力ステップＳ１３０が第１の実施形態に係る入力ステップＳ１１０および非線形写像ステップＳ１２０および出力ステップＳ１３０と同様に行われる。ただし、入力ステップＳ１１０において入力部１１０が取得する画像は教師用画像である。また、非線形写像ステップＳ１２０において非線形写像部１２０は記憶部１９０から補正情報を読み出す。そして、補正情報を用いて中間データを写像データに変換する。なお、非線形写像部１２０は、補正情報を記憶部１９０から読み出す代わりに、修正部１５０から直接取得しても良い。また、初期状態において、補正情報に含まれる補正パラメータは任意の値とすることができる。
【0060】
次いで、誤差算出ステップＳ１４０では、誤差算出部１４０が出力部１３０から顕著性推定情報を取得する。また、誤差算出部１４０はその顕著性推定情報の元となった教師用画像に関連づけられた顕著性実測情報を取得する。そして、誤差算出部１４０は、取得した顕著性推定情報と顕著性実測情報との誤差を算出する。誤差の算出方法は特に限定されないが、たとえばＬ１距離、Ｌ２距離（ユークリッド距離、平均二乗誤差）、Kullback-Leibler距離、Jensen-Shannon距離、およびPearson相関係数の少なくともいずれかを算出することが好ましい。
【0061】
具体的には、ユークリッド距離は以下の式（１）で求められ、Kullback-Leibler距離は以下の式（２）で求められ、Jensen-Shannon距離は以下の式（３）で求められる。ここで、ｐｉは推定結果（顕著性推定情報に基づく値）を示し、ｑｉは真値（顕著性実測情報に基づく値）を示す。
【0062】
【数1】
【数2】
【数3】
【0063】
次いで、修正ステップＳ１５０では、修正部１５０が誤差算出部１４０から誤差を取得し、この誤差が小さくなるように補正パラメータを修正する。そして、記憶部１９０に保持された補正パラメータが修正後の補正パラメータに置き換えられる。ここで、補正パラメータの修正方法は特に限定されないが、たとえば、最小二乗法、２次計画法、stochastic gradient descent（ＳＧＤ）、adaptive moment estimation（ＡＤＡＭ）、および変分法の少なくともいずれかを用いることが好ましい。
【0064】
ここで、修正すべき補正パラメータは多数存在し、それらの値を効率よく確定して高精度に顕著性を推定するためには多数の教師データによる統計的な学習（機械学習）を用いることが好ましい。したがって、学習動作においては、非線形写像部１２０、誤差算出部１４０、および修正部１５０の協働により、機械学習が行われることが好ましい。
【0065】
なお、修正部１５０は、記憶部１９０に保持された補正パラメータを修正後の補正パラメータに置き換える代わりに、修正後の補正パラメータを直接非線形写像部１２０に対し出力しても良い。次の非線形写像ステップＳ１２０において、非線形写像部１２０は修正後の補正パラメータを用いて処理を行う。
【0066】
なお、１つの教師用画像に関連づけられる顕著性実測情報は１つであっても良いし、複数であっても良い。１つの教師用画像に複数の顕著性実測情報が関連づけられる場合、複数の顕著性実測情報は互いに異なる実測結果に基づく情報である。そして、誤差算出部１４０は顕著性推定情報と各顕著性実測情報との誤差を算出する。また、修正部１５０は、たとえば、全ての誤差の合計が小さくなるように補正パラメータを修正する。
【0067】
学習動作は教師用画像と顕著性実測情報との複数の組に対して行われてもよい。学習動作が繰り返されることにより、顕著性の推定精度がさらに向上する。
【0068】
学習動作が行われるタイミングは特に限定されない。たとえば、処理装置１０はユーザによる学習動作を開始する旨の操作を受け付け可能である。そして、学習動作を開始する旨の操作に基づいて、処理装置１０は学習動作を開始することができる。また、処理装置１０は、学習動作を、ユーザによる終了操作または予め定められた終了条件に基づき終了することができる。終了条件としてはたとえば、予め定められた学習動作の反復回数を満たすこと、または、誤差が予め定められた基準値以下となることが挙げられる。
【0069】
以上、本実施形態によれば、第１の実施形態と同様、非線形写像部１２０は、中間データに対し特徴の抽出を行う特徴抽出部１２１と、特徴抽出部１２１で生成されたデータのアップサンプルを行うアップサンプル部１２２とを備える。したがって、小さな計算コストで、顕著性を推定することができる。
【0070】
くわえて、本実施形態によれば、処理装置１０は誤差算出部１４０および修正部１５０を備える。したがって、学習動作により修正された補正情報を用いて、より高精度な顕著性推定が実現する。
【0071】
（第３の実施形態）
図１１は、第３の実施形態に係る演算装置２０の構成および使用環境を例示する図である。本実施形態に係る演算装置２０は、処理装置１０で用いられる補正情報を生成する装置である。演算装置２０は、誤差算出部２４０および補正部２５０を備える。誤差算出部２４０は、教師用画像に対して生成された顕著性推定情報と、教師用画像に対して実測された顕著性分布を示す顕著性実測情報とを用いて、顕著性推定情報が示す顕著性分布と顕著性実測情報が示す顕著性分布との誤差を算出する。補正部２５０は、誤差に基づいて補正情報を算出する。
図１１は、第３の実施形態に係る演算装置２０の構成および使用環境を例示する図である。本実施形態に係る演算装置２０は、処理装置１０で用いられる補正情報を生成する装置である。演算装置２０は、誤差算出部２４０および補正部２５０を備える。誤差算出部２４０は、教師用画像に対して生成された顕著性推定情報と、教師用画像に対して実測された顕著性分布を示す顕著性実測情報とを用いて、顕著性推定情報が示す顕著性分布と顕著性実測情報が示す顕著性分布との誤差を算出する。補正部２５０は、誤差に基づいて補正情報を算出する。
【0072】
本実施形態に係る処理装置１０は、第１の実施形態に係る処理装置１０と同様である。本実施形態に係る処理装置１０は入力部１１０、非線形写像部１２０、および出力部１３０を備える。また、本実施形態に係る処理装置１０は、第２の実施形態で説明した誤差算出部１４０および修正部１５０を備えなくても良い。本実施形態に係る入力部１１０は第１および第２の実施形態の少なくともいずれかに係る入力部１１０と同じであり、本実施形態に係る非線形写像部１２０は第１および第２の実施形態の少なくともいずれかに係る非線形写像部１２０と同じであり、本実施形態に係る出力部１３０は第１および第２の実施形態の少なくともいずれかに係る出力部１３０と同じである。本実施形態に係る誤差算出部２４０の動作は第２の実施形態に係る誤差算出部１４０の動作と同じであり、本実施形態に係る補正部２５０の動作は第２の実施形態に係る修正部１５０の動作と同じである。処理装置１０と演算装置２０とは協働して第２の実施形態において説明した学習動作および推定動作を行う。また、処理装置１０と演算装置２０とは物理的に離れていても良く、たとえば通信ネットワークを介して互いに接続されてもよい。
【0073】
また、本実施形態に係る学習動作においては、非線形写像部１２０、誤差算出部２４０、および補正部２５０の協働により、機械学習が行われることが好ましい。
【0074】
なお、出力部１３０は生成した顕著性推定情報を一旦記憶部１９０に記憶させ、誤差算出部２４０は記憶部１９０に記憶された顕著性推定情報を読み出して用いても良い。
【0075】
本実施形態に係る演算装置２０は、たとえば図８に示したような計算機１０００により実現される。計算機１０００のストレージデバイス１０８０は、演算装置２０の各機能構成部を実現するプログラムモジュールを記憶している。
【0076】
本図の例において記憶部１９０は処理装置１０および演算装置２０とは別途設けられているが本例に限定されず、記憶部１９０は処理装置１０に設けられていても良いし、演算装置２０に設けられていても良い。記憶部１９０が演算装置２０の内部に設けられる場合、例えば記憶部１９０は、演算装置２０を実現する計算機１０００のストレージデバイス１０８０を用いて実現される。また、記憶部１９０は、処理装置１０を実現する計算機１０００のストレージデバイス１０８０と演算装置２０を実現する計算機１０００のストレージデバイス１０８０との協働で成り立っても良い。
【0077】
以上、本実施形態によれば、第１の実施形態と同様、非線形写像部１２０は、中間データに対し特徴の抽出を行う特徴抽出部１２１と、特徴抽出部１２１で生成されたデータのアップサンプルを行うアップサンプル部１２２とを備える。したがって、小さな計算コストで、顕著性を推定することができる。
【0078】
くわえて、本実施形態によれば、演算装置２０は誤差算出部２４０および補正部２５０を備える。したがって、学習動作により修正された補正情報を用いて、より高精度な顕著性推定が実現する。
【0079】
（第４の実施形態）
図１２は、第４の実施形態に係る処理装置１０の構成を例示する図である。本実施形態に係る処理装置１０は、合成部１６０および表示部１８０をさらに備える点を除いて第１および第２の実施形態の少なくともいずれかに係る処理装置１０と同じである。
図１２は、第４の実施形態に係る処理装置１０の構成を例示する図である。本実施形態に係る処理装置１０は、合成部１６０および表示部１８０をさらに備える点を除いて第１および第２の実施形態の少なくともいずれかに係る処理装置１０と同じである。
【0080】
合成部１６０は、顕著性推定情報が示す顕著性分布と、入力部１１０に入力された画像（入力画像）とを合成した合成情報を生成する。具体的には合成部１６０は、出力部１３０から顕著性推定情報を取得し、たとえば記憶部１９０から入力画像を取得する。そして、入力画像と顕著性分布とを合わせて示した合成情報を出力する。合成情報はたとえば処理装置１０に備えられた表示部１８０に出力される。また、合成部１６０から出力された合成情報は、記憶部１９０に保持されたり、外部の装置により取得されたりしても良い。
【0081】
図１３は、合成部１６０で生成された合成情報が示す画像を例示する図である。本図の例において、合成情報は入力画像と顕著性を示すヒートマップを重ねた画像である。なお、合成情報の形式は特に限定されない。合成情報はたとえば、顕著領域を、入力画像において円や四角で囲った画像であってもよい。また、合成手法も特に限定されず、αブレンド等が挙げられる。
【0082】
本実施形態に係る処理装置１０を、たとえば、カメラ等の撮像装置を搭載した携帯端末（スマートフォン、タブレット等）に実装することができる。そうすれば、携帯端末で撮影しながら、顕著性の高い重要物体をその場で抽出すると共に、視認性良く可視化することができる。
【0083】
本実施形態に係る処理装置１０は、たとえば図８に示したような計算機１０００により実現される。計算機１０００のストレージデバイス１０８０は、合成部１６０を実現するプログラムモジュールをさらに記憶している。また、表示部１８０はたとえば入出力インタフェース１１００に接続されたディスプレイ装置である。
【0084】
以上、本実施形態によれば、第１の実施形態と同様、非線形写像部１２０は、中間データに対し特徴の抽出を行う特徴抽出部１２１と、特徴抽出部１２１で生成されたデータのアップサンプルを行うアップサンプル部１２２とを備える。したがって、小さな計算コストで、顕著性を推定することができる。
【0085】
くわえて、本実施形態によれば、処理装置１０は合成部１６０をさらに備える。したがって、画像の各位置における顕著性を視認性良く可視化することができる。
【0086】
（第５の実施形態）
図１４は、第５の実施形態に係る処理装置１０の構成を例示する図である。本実施形態に係る処理装置１０は、マスク画像生成部１７０、領域抽出部１７２、および物体検出部１７４をさらに備える点を除いて第１、第２および第４の実施形態の少なくともいずれかに係る処理装置１０と同じである。
図１４は、第５の実施形態に係る処理装置１０の構成を例示する図である。本実施形態に係る処理装置１０は、マスク画像生成部１７０、領域抽出部１７２、および物体検出部１７４をさらに備える点を除いて第１、第２および第４の実施形態の少なくともいずれかに係る処理装置１０と同じである。
【0087】
マスク画像生成部１７０は、出力部１３０から顕著性推定情報を取得し、マスク画像を生成する。具体的には、マスク画像生成部１７０は顕著性推定情報で示される顕著性分布において、顕著性が予め定められた基準より低い領域をマスク領域とし、顕著性が予め定められた基準以上である領域を非マスク領域としたマスク画像を生成する。すなわち、マスク画像生成部１７０は顕著性分布の二値化を行う。ここで基準は予め設定され、記憶部１９０に保持されており、マスク画像生成部１７０がそれを読み出して用いることができる。
【0088】
領域抽出部１７２は、入力画像とマスク画像を取得する。そして、入力画像にマスク画像を作用させることにより、入力画像から顕著性の高い領域を抽出する。たとえば領域抽出部１７２は、入力画像とマスク画像と論理演算を行うことで、入力画像から顕著性の高い領域を抽出することができる。
【0089】
そして、物体検出部１７４は、領域抽出部１７２で抽出された領域から、物体を検出する。物体の検出方法は特に限定されないが、たとえばSingle Shot Multibox Detector（ＳＳＤ）を用いる方法が挙げられる。本実施形態に係る処理装置１０では予め顕著性が高い領域を抽出し、抽出された領域のみで物体検出が行われるため、誤検出が抑制される。
【0090】
本実施形態に係る処理装置１０はたとえば自動車等の移動体に搭載される。そして、物体検出部１７４による物体の検出結果は自動運転や運転支援に用いることができる。
【0091】
本実施形態に係る処理装置１０は、たとえば図８に示したような計算機１０００により実現される。計算機１０００のストレージデバイス１０８０は、マスク画像生成部１７０、領域抽出部１７２、および物体検出部１７４を実現するプログラムモジュールをさらに記憶している。
【0092】
以上、本実施形態によれば、第１の実施形態と同様、非線形写像部１２０は、中間データに対し特徴の抽出を行う特徴抽出部１２１と、特徴抽出部１２１で生成されたデータのアップサンプルを行うアップサンプル部１２２とを備える。したがって、小さな計算コストで、顕著性を推定することができる。
【0093】
くわえて、本実施形態によれば、処理装置１０はマスク画像生成部１７０、領域抽出部１７２、および物体検出部１７４をさらに備える。したがって、入力画像において高精度の物体検出が行える。
【実施例0094】
以下、上記した実施形態を、実施例を参照して詳細に説明する。なお、実施形態は、これらの実施例の記載に何ら限定されるものではない。
【0095】
（実施例１）
画像の顕著性を、第１の実施形態に係る処理方法で推定し、実施例１Ａとした。具体的には、実施例１Ａでは、図１、図４、図５、図６（ａ）、および図７（ａ）から図７（ｃ）に示した構成を有する処理装置により顕著性を推定した。また、同じ画像の顕著性を非特許文献１に記載の方法で推定し、比較例１Ａとした。
画像の顕著性を、第１の実施形態に係る処理方法で推定し、実施例１Ａとした。具体的には、実施例１Ａでは、図１、図４、図５、図６（ａ）、および図７（ａ）から図７（ｃ）に示した構成を有する処理装置により顕著性を推定した。また、同じ画像の顕著性を非特許文献１に記載の方法で推定し、比較例１Ａとした。
【0096】
非特許文献１の方法では、畳み込みニューラルネットワークの一種であるDilated Convolutional Networkを用いて入力画像から画像特徴を抽出する。そして、時系列ネットワークの一種であるLSTMを流用したAttentive Convolutional LSTMを用いて画像特徴から顕著性の高い特徴のみに選択的に注目する。
【0097】
これに対し、実施例Ａ１では、畳み込みニューラルネットワークの一種をアップサンプル部として用い、画像特徴から顕著性の高い特徴をアップサンプル（高解像度化）することにより、顕著性の抽出精度を高めている。
【0098】
表１は、比較例１Ａと実施例１Ａの各計算コストを示している。くわえて、表１には、比較例１Ａの計算コストを１００％とした場合の計算コストの比率を合わせて示している。なお、本表中、単位Ｍは１０６である。
【0099】
【表1】
【0100】
比較例１Ａでは、Attentive Convolutional LSTMのニューラルネットワーク層が深いため、推定動作の計算コストが大きくなった。これに対し実施例１Ａでは、畳み込みニューラルネットワークによるアップサンプル部を用いることで、計算コストを効果的に削減できた。なお、比較例１Ａおよび実施例１Ａにおいて、中間データサイズは３２０×２４０とし、比較例１Ａの計算コストは公開ソフトウエア（http://saliency.mit.edu/results_cat2000.html）に基づき算出した。
【0101】
図１５（ａ）は、実施例１Ａおよび比較例１Ａにおける入力画像である。図１５（ｂ）は、図１５（ａ）に対する顕著性を、アイトラッカを用いて実測した結果を示す図である。図１５（ｃ）は、比較例１Ａにおける顕著性の推定結果を示す図である。図１５（ｄ）は、実施例１Ａにおける顕著性の推定結果を示す図である。図１５（ｂ）から図１５（ｄ）では、顕著性が高い部分ほど高い輝度で示されている。
【0102】
【0103】
以上の通り、実施例１Ａでは、比較例１Ａよりも低い計算コストで高精度に顕著性を推定できた。
【0104】
（実施例２）
画像の顕著性を、実施例１Ａと同じ処理方法で推定し、実施例２Ａとした。また、同じ画像の顕著性を特許文献１に記載の方法で推定し、比較例２Ａとした。
画像の顕著性を、実施例１Ａと同じ処理方法で推定し、実施例２Ａとした。また、同じ画像の顕著性を特許文献１に記載の方法で推定し、比較例２Ａとした。
【0105】
特許文献１の方法では、ローカル顕著性取得部において、畳み込みニューラルネットワークの一種を用いて、入力画像から局所領域ごとにピクセル単位のローカル顕著性を推定する。そして、グローバル顕著性取得部において、ローカル顕著性および物体候補領域画像から抽出した特徴ベクトルを用いてグローバル顕著性を推定する。
【0106】
これに対し、実施例Ａ２では、畳み込みニューラルネットワークの一種を用いて入力画像から全画像領域の画像特徴を抽出する。そして、畳み込みニューラルネットワークの一種をアップサンプル部として用い、画像特徴から顕著性の高い特徴をアップサンプル（高解像度化）する。そうすることにより、顕著性の抽出精度を高めている。
【0107】
表２は、比較例２Ａと実施例２Ａの各計算コストを示している。くわえて、表２には、比較例２Ａの計算コストを１００％とした場合の計算コストの比率を合わせて示している。なお、本表中、単位Ｍは１０６である。
【0108】
【表2】
【0109】
比較例２Ａでは、ローカル顕著性取得部とグローバル顕著性取得部を構成する畳み込みニューラルネットワークのChannel数、Filterサイズ、およびInputサイズが大きいため、推定動作の計算コストが大きくなった。これに対し実施例２Ａでは、チャネル数およびフィルタサイズの小さな畳み込みニューラルネットワーク構成を用いて特徴抽出部およびアップサンプル部を構成することができ、推定動作の計算コストを効果的に削減できた。なお、比較例２Ａの計算コストは特許文献１の図１および表１に基づいて算出した。また、比較例２Ａおよび実施例２Ａにおいて、中間データサイズはそれぞれ５１×５１および３２０×２４０とした。
【0110】
以上の通り、実施例２Ａでは、比較例２Ａよりも低い計算コストで顕著性を推定できた。
【0111】
（実施例３）
実施例３Ａ、３Ｂおよび３Ｃでは、第２の実施形態で説明した学習動作を行い、算出した補正パラメータを用いて推定動作を行った。学習動作において算出する損失関数（誤差）を、実施例３Ａにおいてユークリッド距離とし、実施例３ＢにおいてKullback-Leibler距離とし、実施例３ＣにおいてJensen-Shannon距離とした。それ以外の条件は実施例３Ａ、３Ｂおよび３Ｃで同じである。なお、実施例３Ｂは実施例１Ａおよび実施例２Ａに対応する。
実施例３Ａ、３Ｂおよび３Ｃでは、第２の実施形態で説明した学習動作を行い、算出した補正パラメータを用いて推定動作を行った。学習動作において算出する損失関数（誤差）を、実施例３Ａにおいてユークリッド距離とし、実施例３ＢにおいてKullback-Leibler距離とし、実施例３ＣにおいてJensen-Shannon距離とした。それ以外の条件は実施例３Ａ、３Ｂおよび３Ｃで同じである。なお、実施例３Ｂは実施例１Ａおよび実施例２Ａに対応する。
【0112】
図１６（ａ）から図１６（ｃ）は、それぞれ実施例３Ａ、実施例３Ｂ、および実施例３Ｃにおける顕著性の推定結果を示す図である。図１６（ａ）から図１６（ｃ）では、顕著性が高い部分ほど高い輝度で示されている。いずれの実施例においても比較例１Ａよりも実測結果に近い推定結果が得られた。
【0113】
（実施例４）
実施例４Ａでは、第５の実施形態で説明した処理方法で入力画像から物体検出を行った。また、比較例４Ａでは、入力画像から直接物体検出を行った。なお、実施例４Ａおよび比較例４Ａにおいて物体検出はＳＳＤにより行った。
実施例４Ａでは、第５の実施形態で説明した処理方法で入力画像から物体検出を行った。また、比較例４Ａでは、入力画像から直接物体検出を行った。なお、実施例４Ａおよび比較例４Ａにおいて物体検出はＳＳＤにより行った。
【0114】
図１７（ａ）は、実施例４Ａおよび比較例４Ａにおける入力画像である。図１７（ａ）は具体的にはドライブレコーダーで取得された画像である。図１７（ｂ）は、実施例４Ａにおいて図１７（ａ）に基づき生成された顕著性推定情報である。本図では、顕著性が高い部分ほど高い輝度で示されている。図１７（ｃ）は、比較例４Ａにおける物体検出結果を示す図である。図１７（ｄ）は、実施例４Ａにおける物体検出結果を示す図である。本図において、黒く塗りつぶされた部分がマスク領域に相当する。
【0115】
図１７（ｃ）に示された比較例４Ａの検出結果では、それぞれ四角で囲われた領域Ａ、領域Ｂ、領域Ｃ、および領域Ｄにおいて物体が検出された。また、図１７（ｄ）に示された実施例４Ａの検出結果では、それぞれ四角で囲われた領域Ｅおよび領域Ｆにおいて物体が検出された。領域Ａは飛行機が検出された領域であり、領域Ｂは列車が検出された領域であり、領域Ｃおよび領域Ｅは車が検出された領域であり、領域Ｄおよび領域Ｆはバスが検出された領域である。
【0116】
図１７（ｃ）から分かるように、比較例４Ａでは車やバスが正しく検出された一方で、道路の領域を飛行機や列車として検出しており、誤検出が発生した。それに対し、図１７（ｄ）から分かるように、実施例４Ａでは、飛行機や列車は検出されず、誤検出が抑制された。
【0117】
以上の通り、実施例４Ａでは比較例４Ａよりも物体検出精度が高かった。
【0118】
以上、図面を参照して実施形態及び実施例について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。
【0119】
以下、参考形態の例を付記する。
１－１． 画像を写像処理可能な中間データに変換する入力部と、
前記中間データを写像データに変換する非線形写像部と、
前記写像データに基づき顕著性分布を示す顕著性推定情報を生成する出力部とを備え、
前記非線形写像部は、前記中間データに対し特徴の抽出を行う特徴抽出部と、前記特徴抽出部で生成されたデータのアップサンプルを行うアップサンプル部とを備える処理装置。
１－２． １－１．に記載の処理装置において、
前記非線形写像部は、補正情報をさらに用いて前記中間データを前記写像データに変換し、
前記補正情報は、機械学習を用いて修正された情報である処理装置。
１－３． １－２．に記載の処理装置において、
前記画像に対して生成された前記顕著性推定情報と、前記画像に対して実測された顕著性分布を示す顕著性実測情報とを用いて、前記顕著性推定情報が示す顕著性分布と前記顕著性実測情報が示す顕著性分布との誤差を算出する誤差算出部と、
前記誤差に基づいて前記補正情報を修正する修正部とをさらに備える処理装置。
１－４． １－２．または１－３．に記載の処理装置において、
前記非線形写像部は複数のフィルタを含み、
前記複数のフィルタの係数は前記補正情報に基づいて定められる処理装置。
１－５． １－１．から１－３．のいずれか一つに記載の処理装置において、
前記特徴抽出部および前記アップサンプル部の少なくとも一方は、複数の中間層を含むニューラルネットワークを含んで構成される処理装置。
１－６． １－５．に記載の処理装置において、
前記複数の中間層のそれぞれは、一または二以上の畳み込み層を含み、
前記畳み込み層では、入力されたデータに対し複数のフィルタによる畳み込みが行われ、前記複数のフィルタの出力に対し活性化処理が施される処理装置。
１－７． １－６．に記載の処理装置において、
前記特徴抽出部は、
前記複数の中間層を含む前記ニューラルネットワークを含んで構成され、
前記複数の中間層の間に第１のプーリング部を備える処理装置。
１－８． １－７．に記載の処理装置において、
第１の前記中間層と、前記第１の中間層の後段に位置する第２の前記中間層とは、前記第１のプーリング部を介して互いに連続しており、
前記第１の中間層は、各チャネルに対する前記フィルタの数がＮ１である前記畳み込み層で構成されており、前記第２の中間層は、各チャネルに対する前記フィルタの数がＮ２である前記畳み込み層で構成されており、
Ｎ２＞Ｎ１が成り立つ処理装置。
１－９． １－６．から１－８．のいずれか一つに記載の処理装置において、
前記アップサンプル部は、
前記複数の中間層を含む前記ニューラルネットワークを含んで構成され、
前記複数の中間層の間にアンプーリング部を備える処理装置。
１－１０． １－９．に記載の処理装置において、
第３の前記中間層と、前記第３の中間層の後段に位置する第４の前記中間層とは、前記アンプーリング部を介して互いに連続しており、
前記第３の中間層は、各チャネルに対する前記フィルタの数がＮ３である前記畳み込み層で構成されており、前記第４の中間層は、各チャネルに対する前記フィルタの数がＮ４である前記畳み込み層で構成されており、
Ｎ４＜Ｎ３が成り立つ処理装置。
１－１１． １－５．から１－１０．のいずれか一つに記載の処理装置において、
前記特徴抽出部と前記アップサンプル部とは、オーバーラッププーリングを行う第２のプーリング部を介して互いに接続されている処理装置。
１－１２． １－２．に記載の処理装置で用いられる前記補正情報を生成する演算装置であって、
教師用画像に対して生成された前記顕著性推定情報と、前記教師用画像に対して実測された顕著性分布を示す顕著性実測情報とを用いて、前記顕著性推定情報が示す顕著性分布と前記顕著性実測情報が示す顕著性分布との誤差を算出する誤差算出部と、
前記誤差に基づいて前記補正情報を算出する補正部とを備える演算装置。
２－１． コンピュータによって実行される処理方法であって、
画像を写像処理可能な中間データに変換する入力ステップと、
前記中間データを写像データに変換する非線形写像ステップと、
前記写像データに基づき顕著性分布を示す顕著性推定情報を生成する出力ステップとを含み、
前記非線形写像ステップは、前記中間データに対し特徴の抽出を行う特徴抽出ステップと、前記特徴抽出ステップで生成されたデータのアップサンプルを行うアップサンプルステップとを含む処理方法。
２－２． ２－１．に記載の処理方法において、
前記非線形写像ステップでは、補正情報をさらに用いて前記中間データを前記写像データに変換し、
前記補正情報は、機械学習を用いて修正された情報である処理方法。
２－３． ２－２．に記載の処理方法において、
前記画像に対して生成された前記顕著性推定情報と、前記画像に対して実測された顕著性分布を示す顕著性実測情報とを用いて、前記顕著性推定情報が示す顕著性分布と前記顕著性実測情報が示す顕著性分布との誤差を算出する誤差算出ステップと、
前記誤差に基づいて前記補正情報を修正する修正ステップとをさらに含む処理方法。
２－４． ２－２．または２－３．に記載の処理方法において、
前記非線形写像ステップでは複数のフィルタによる処理が行われ、
前記複数のフィルタの係数は前記補正情報に基づいて定められる処理方法。
２－５． ２－１．から２－３．のいずれか一つに記載の処理方法において、
前記特徴抽出ステップおよび前記アップサンプルステップの少なくとも一方では、複数の中間層を含むニューラルネットワークを用いて処理される処理方法。
２－６． ２－５．に記載の処理方法において、
前記複数の中間層のそれぞれは、一または二以上の畳み込み層を含み、
前記畳み込み層では、入力されたデータに対し複数のフィルタによる畳み込みが行われ、前記複数のフィルタの出力に対し活性化処理が施される処理方法。
２－７． ２－６．に記載の処理方法において、
前記特徴抽出ステップでは、
前記複数の中間層を含む前記ニューラルネットワークを用いて処理がされ、
前記複数の中間層の処理の間に第１のプーリングステップがさらに含まれる処理方法。
２－８． ２－７．に記載の処理方法において、
第１の前記中間層の処理と、前記第１の中間層の後段に位置する第２の前記中間層の処理とは、前記第１のプーリングステップを介して互いに連続しており、
前記第１の中間層は、各チャネルに対する前記フィルタの数がＮ１である前記畳み込み層で構成されており、前記第２の中間層は、各チャネルに対する前記フィルタの数がＮ２である前記畳み込み層で構成されており、
Ｎ２＞Ｎ１が成り立つ処理方法。
２－９． ２－６．から２－８．のいずれか一つに記載の処理方法において、
前記アップサンプルステップでは、
前記複数の中間層を含む前記ニューラルネットワークを用いて処理がされ、
前記複数の中間層の処理の間にアンプーリングステップが含まれる処理方法。
２－１０． ２－９．に記載の処理方法において、
第３の前記中間層の処理と、前記第３の中間層の後段に位置する第４の前記中間層の処理とは、前記アンプーリングステップを介して互いに連続しており、
前記第３の中間層は、各チャネルに対する前記フィルタの数がＮ３である前記畳み込み層で構成されており、前記第４の中間層は、各チャネルに対する前記フィルタの数がＮ４である前記畳み込み層で構成されており、
Ｎ４＜Ｎ３が成り立つ処理方法。
２－１１． ２－５．から２－１０．のいずれか一つに記載の処理方法において、
前記特徴抽出ステップと前記アップサンプルステップとは、オーバーラッププーリングを行う第２のプーリングステップを介して互いに連続している処理方法。
２－１２． ２－２．に記載の処理方法で用いられる前記補正情報を生成する演算方法であって、
教師用画像に対して生成された前記顕著性推定情報と、前記教師用画像に対して実測された顕著性分布を示す顕著性実測情報とを用いて、前記顕著性推定情報が示す顕著性分布と前記顕著性実測情報が示す顕著性分布との誤差を算出する誤差算出ステップと、
前記誤差に基づいて前記補正情報を算出する補正ステップとを含む演算方法。
３－１． ２－１から２－１１のいずれか１つに記載の処理方法の各ステップをコンピュータに実行させるプログラム。
３－２． ２－１２に記載の演算方法の各ステップをコンピュータに実行させるプログラム。
１－１． 画像を写像処理可能な中間データに変換する入力部と、
前記中間データを写像データに変換する非線形写像部と、
前記写像データに基づき顕著性分布を示す顕著性推定情報を生成する出力部とを備え、
前記非線形写像部は、前記中間データに対し特徴の抽出を行う特徴抽出部と、前記特徴抽出部で生成されたデータのアップサンプルを行うアップサンプル部とを備える処理装置。
１－２． １－１．に記載の処理装置において、
前記非線形写像部は、補正情報をさらに用いて前記中間データを前記写像データに変換し、
前記補正情報は、機械学習を用いて修正された情報である処理装置。
１－３． １－２．に記載の処理装置において、
前記画像に対して生成された前記顕著性推定情報と、前記画像に対して実測された顕著性分布を示す顕著性実測情報とを用いて、前記顕著性推定情報が示す顕著性分布と前記顕著性実測情報が示す顕著性分布との誤差を算出する誤差算出部と、
前記誤差に基づいて前記補正情報を修正する修正部とをさらに備える処理装置。
１－４． １－２．または１－３．に記載の処理装置において、
前記非線形写像部は複数のフィルタを含み、
前記複数のフィルタの係数は前記補正情報に基づいて定められる処理装置。
１－５． １－１．から１－３．のいずれか一つに記載の処理装置において、
前記特徴抽出部および前記アップサンプル部の少なくとも一方は、複数の中間層を含むニューラルネットワークを含んで構成される処理装置。
１－６． １－５．に記載の処理装置において、
前記複数の中間層のそれぞれは、一または二以上の畳み込み層を含み、
前記畳み込み層では、入力されたデータに対し複数のフィルタによる畳み込みが行われ、前記複数のフィルタの出力に対し活性化処理が施される処理装置。
１－７． １－６．に記載の処理装置において、
前記特徴抽出部は、
前記複数の中間層を含む前記ニューラルネットワークを含んで構成され、
前記複数の中間層の間に第１のプーリング部を備える処理装置。
１－８． １－７．に記載の処理装置において、
第１の前記中間層と、前記第１の中間層の後段に位置する第２の前記中間層とは、前記第１のプーリング部を介して互いに連続しており、
前記第１の中間層は、各チャネルに対する前記フィルタの数がＮ１である前記畳み込み層で構成されており、前記第２の中間層は、各チャネルに対する前記フィルタの数がＮ２である前記畳み込み層で構成されており、
Ｎ２＞Ｎ１が成り立つ処理装置。
１－９． １－６．から１－８．のいずれか一つに記載の処理装置において、
前記アップサンプル部は、
前記複数の中間層を含む前記ニューラルネットワークを含んで構成され、
前記複数の中間層の間にアンプーリング部を備える処理装置。
１－１０． １－９．に記載の処理装置において、
第３の前記中間層と、前記第３の中間層の後段に位置する第４の前記中間層とは、前記アンプーリング部を介して互いに連続しており、
前記第３の中間層は、各チャネルに対する前記フィルタの数がＮ３である前記畳み込み層で構成されており、前記第４の中間層は、各チャネルに対する前記フィルタの数がＮ４である前記畳み込み層で構成されており、
Ｎ４＜Ｎ３が成り立つ処理装置。
１－１１． １－５．から１－１０．のいずれか一つに記載の処理装置において、
前記特徴抽出部と前記アップサンプル部とは、オーバーラッププーリングを行う第２のプーリング部を介して互いに接続されている処理装置。
１－１２． １－２．に記載の処理装置で用いられる前記補正情報を生成する演算装置であって、
教師用画像に対して生成された前記顕著性推定情報と、前記教師用画像に対して実測された顕著性分布を示す顕著性実測情報とを用いて、前記顕著性推定情報が示す顕著性分布と前記顕著性実測情報が示す顕著性分布との誤差を算出する誤差算出部と、
前記誤差に基づいて前記補正情報を算出する補正部とを備える演算装置。
２－１． コンピュータによって実行される処理方法であって、
画像を写像処理可能な中間データに変換する入力ステップと、
前記中間データを写像データに変換する非線形写像ステップと、
前記写像データに基づき顕著性分布を示す顕著性推定情報を生成する出力ステップとを含み、
前記非線形写像ステップは、前記中間データに対し特徴の抽出を行う特徴抽出ステップと、前記特徴抽出ステップで生成されたデータのアップサンプルを行うアップサンプルステップとを含む処理方法。
２－２． ２－１．に記載の処理方法において、
前記非線形写像ステップでは、補正情報をさらに用いて前記中間データを前記写像データに変換し、
前記補正情報は、機械学習を用いて修正された情報である処理方法。
２－３． ２－２．に記載の処理方法において、
前記画像に対して生成された前記顕著性推定情報と、前記画像に対して実測された顕著性分布を示す顕著性実測情報とを用いて、前記顕著性推定情報が示す顕著性分布と前記顕著性実測情報が示す顕著性分布との誤差を算出する誤差算出ステップと、
前記誤差に基づいて前記補正情報を修正する修正ステップとをさらに含む処理方法。
２－４． ２－２．または２－３．に記載の処理方法において、
前記非線形写像ステップでは複数のフィルタによる処理が行われ、
前記複数のフィルタの係数は前記補正情報に基づいて定められる処理方法。
２－５． ２－１．から２－３．のいずれか一つに記載の処理方法において、
前記特徴抽出ステップおよび前記アップサンプルステップの少なくとも一方では、複数の中間層を含むニューラルネットワークを用いて処理される処理方法。
２－６． ２－５．に記載の処理方法において、
前記複数の中間層のそれぞれは、一または二以上の畳み込み層を含み、
前記畳み込み層では、入力されたデータに対し複数のフィルタによる畳み込みが行われ、前記複数のフィルタの出力に対し活性化処理が施される処理方法。
２－７． ２－６．に記載の処理方法において、
前記特徴抽出ステップでは、
前記複数の中間層を含む前記ニューラルネットワークを用いて処理がされ、
前記複数の中間層の処理の間に第１のプーリングステップがさらに含まれる処理方法。
２－８． ２－７．に記載の処理方法において、
第１の前記中間層の処理と、前記第１の中間層の後段に位置する第２の前記中間層の処理とは、前記第１のプーリングステップを介して互いに連続しており、
前記第１の中間層は、各チャネルに対する前記フィルタの数がＮ１である前記畳み込み層で構成されており、前記第２の中間層は、各チャネルに対する前記フィルタの数がＮ２である前記畳み込み層で構成されており、
Ｎ２＞Ｎ１が成り立つ処理方法。
２－９． ２－６．から２－８．のいずれか一つに記載の処理方法において、
前記アップサンプルステップでは、
前記複数の中間層を含む前記ニューラルネットワークを用いて処理がされ、
前記複数の中間層の処理の間にアンプーリングステップが含まれる処理方法。
２－１０． ２－９．に記載の処理方法において、
第３の前記中間層の処理と、前記第３の中間層の後段に位置する第４の前記中間層の処理とは、前記アンプーリングステップを介して互いに連続しており、
前記第３の中間層は、各チャネルに対する前記フィルタの数がＮ３である前記畳み込み層で構成されており、前記第４の中間層は、各チャネルに対する前記フィルタの数がＮ４である前記畳み込み層で構成されており、
Ｎ４＜Ｎ３が成り立つ処理方法。
２－１１． ２－５．から２－１０．のいずれか一つに記載の処理方法において、
前記特徴抽出ステップと前記アップサンプルステップとは、オーバーラッププーリングを行う第２のプーリングステップを介して互いに連続している処理方法。
２－１２． ２－２．に記載の処理方法で用いられる前記補正情報を生成する演算方法であって、
教師用画像に対して生成された前記顕著性推定情報と、前記教師用画像に対して実測された顕著性分布を示す顕著性実測情報とを用いて、前記顕著性推定情報が示す顕著性分布と前記顕著性実測情報が示す顕著性分布との誤差を算出する誤差算出ステップと、
前記誤差に基づいて前記補正情報を算出する補正ステップとを含む演算方法。
３－１． ２－１から２－１１のいずれか１つに記載の処理方法の各ステップをコンピュータに実行させるプログラム。
３－２． ２－１２に記載の演算方法の各ステップをコンピュータに実行させるプログラム。
【符号の説明】
【0120】
１０ 処理装置
２０ 演算装置
３０ 要素
１１０ 入力部
１２０ 非線形写像部
１２１ 特徴抽出部
１２２ アップサンプル部
１２３ 中間層
１２４ 畳み込み層
１２５ フィルタ
１２６ 第１のプーリング部
１２７ 第２のプーリング部
１２８ アンプーリング部
１２９ 活性化部
１３０ 出力部
１４０ 誤差算出部
１５０ 修正部
１６０ 合成部
１７０ マスク画像生成部
１７２ 領域抽出部
１７４ 物体検出部
１８０ 表示部
１９０ 記憶部
２４０ 誤差算出部
２５０ 補正部
１０００ 計算機
１０２０ バス
１０４０ プロセッサ
１０６０ メモリ
１０８０ ストレージデバイス
１１００ 入出力インタフェース
１１２０ ネットワークインタフェース
２０ 演算装置
３０ 要素
１１０ 入力部
１２０ 非線形写像部
１２１ 特徴抽出部
１２２ アップサンプル部
１２３ 中間層
１２４ 畳み込み層
１２５ フィルタ
１２６ 第１のプーリング部
１２７ 第２のプーリング部
１２８ アンプーリング部
１２９ 活性化部
１３０ 出力部
１４０ 誤差算出部
１５０ 修正部
１６０ 合成部
１７０ マスク画像生成部
１７２ 領域抽出部
１７４ 物体検出部
１８０ 表示部
１９０ 記憶部
２４０ 誤差算出部
２５０ 補正部
１０００ 計算機
１０２０ バス
１０４０ プロセッサ
１０６０ メモリ
１０８０ ストレージデバイス
１１００ 入出力インタフェース
１１２０ ネットワークインタフェース
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
