知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023056237
(43)【公開日】2023-04-19
(54)【発明の名称】画像処理装置及び画像処理方法
(51)【国際特許分類】
G06T 7/13 20170101AFI20230412BHJP
【ＦＩ】
G06T7/13
【審査請求】未請求
【請求項の数】12
【出願形態】ＯＬ
(21)【出願番号】P 2021165465
(22)【出願日】2021-10-07
(71)【出願人】
【識別番号】000005108
【氏名又は名称】株式会社日立製作所
(74)【代理人】
【識別番号】110001678
【氏名又は名称】藤央弁理士法人
(72)【発明者】
【氏名】藤尾 正和
(72)【発明者】
【氏名】高橋 健太
(72)【発明者】
【氏名】加賀 陽介
(72)【発明者】
【氏名】中村 渉
(72)【発明者】
【氏名】安村 慶子
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096AA02
5L096AA06
5L096DA02
5L096EA33
5L096FA06
5L096FA13
5L096FA25
5L096FA59
5L096FA64
5L096FA67
5L096FA69
5L096GA12
5L096GA32
5L096GA40
5L096GA51
5L096HA11
5L096KA04
(57)【要約】
【課題】画像から対象物の領域を適切に抽出することが可能となるモデルを生成する。
【解決手段】画像処理装置は、画像が入力されると当該画像に含まれる対象物の輪郭を、パラメトリック関数を用いて推定関数として出力し、当該パラメトリック関数のパラメータをモデルパラメータとして含む、モデルと、入力画像と、入力画像に含まれる対象物の輪郭の正解である正解輪郭を示す正解関数を示す教師データと、を保持し、入力画像をモデルに入力することで当該入力画像に含まれる対象物の輪郭の推定関数を取得し、正解関数と、取得した推定関数と、の誤差を算出し、算出した誤差が所定値より大きい場合、当該誤差が小さくなるよう、前記パラメトリック関数のパラメータを更新する。
【選択図】図１
【解決手段】画像処理装置は、画像が入力されると当該画像に含まれる対象物の輪郭を、パラメトリック関数を用いて推定関数として出力し、当該パラメトリック関数のパラメータをモデルパラメータとして含む、モデルと、入力画像と、入力画像に含まれる対象物の輪郭の正解である正解輪郭を示す正解関数を示す教師データと、を保持し、入力画像をモデルに入力することで当該入力画像に含まれる対象物の輪郭の推定関数を取得し、正解関数と、取得した推定関数と、の誤差を算出し、算出した誤差が所定値より大きい場合、当該誤差が小さくなるよう、前記パラメトリック関数のパラメータを更新する。
【選択図】図１
【特許請求の範囲】
【請求項1】
画像処理装置であって、
プロセッサとメモリとを含み、
前記メモリは、
画像が入力されると前記画像に含まれる対象物の輪郭を、パラメトリック関数を用いて推定関数として出力し、前記パラメトリック関数のパラメータをモデルパラメータとして含む、モデルと、
入力画像と、
前記入力画像に含まれる前記対象物の輪郭の正解である正解輪郭を示す正解関数を示す教師データと、を保持し、
前記プロセッサは、
前記入力画像を前記モデルに入力することで当該入力画像に含まれる対象物の輪郭の推定関数を取得し、
前記教師データが示す正解関数と、前記取得した推定関数と、の誤差を算出し、
前記算出した誤差が所定値より大きい場合、前記算出した誤差が小さくなるよう、前記パラメトリック関数のパラメータを更新する、画像処理装置。
プロセッサとメモリとを含み、
前記メモリは、
画像が入力されると前記画像に含まれる対象物の輪郭を、パラメトリック関数を用いて推定関数として出力し、前記パラメトリック関数のパラメータをモデルパラメータとして含む、モデルと、
入力画像と、
前記入力画像に含まれる前記対象物の輪郭の正解である正解輪郭を示す正解関数を示す教師データと、を保持し、
前記プロセッサは、
前記入力画像を前記モデルに入力することで当該入力画像に含まれる対象物の輪郭の推定関数を取得し、
前記教師データが示す正解関数と、前記取得した推定関数と、の誤差を算出し、
前記算出した誤差が所定値より大きい場合、前記算出した誤差が小さくなるよう、前記パラメトリック関数のパラメータを更新する、画像処理装置。
【請求項2】
請求項１に記載の画像処理装置であって、
前記プロセッサは、前記入力画像から背景分離画像を生成し、前記生成した背景分離画像に基づいて、前記正解関数を生成して、前記メモリに格納する、画像処理装置。
前記プロセッサは、前記入力画像から背景分離画像を生成し、前記生成した背景分離画像に基づいて、前記正解関数を生成して、前記メモリに格納する、画像処理装置。
【請求項3】
請求項２に記載の画像処理装置であって、
前記プロセッサは、前記背景分離画像の輪郭を、パラメータと制御点とを用いて定義される関数に変換することで、前記正解関数を生成する、画像処理装置。
前記プロセッサは、前記背景分離画像の輪郭を、パラメータと制御点とを用いて定義される関数に変換することで、前記正解関数を生成する、画像処理装置。
【請求項4】
請求項３に記載の画像処理装置であって、
前記プロセッサは、
前記背景分離画像の輪郭を所定の方法で複数の部分輪郭に分割し、
前記分割した部分輪郭それぞれを、パラメータと制御点とによって定義される関数に変換することで、前記正解関数を生成する、画像処理装置。
前記プロセッサは、
前記背景分離画像の輪郭を所定の方法で複数の部分輪郭に分割し、
前記分割した部分輪郭それぞれを、パラメータと制御点とによって定義される関数に変換することで、前記正解関数を生成する、画像処理装置。
【請求項5】
請求項１に記載の画像処理装置であって、
前記プロセッサは、前記正解関数と前記推定関数とに囲まれる領域の面積に基づいて、前記誤差を算出する、画像処理装置。
前記プロセッサは、前記正解関数と前記推定関数とに囲まれる領域の面積に基づいて、前記誤差を算出する、画像処理装置。
【請求項6】
請求項１に記載の画像処理装置であって、
前記正解関数は、パラメトリック関数であり、
前記プロセッサは、
前記正解関数と前記推定関数のパラメータをサンプリングし、
前記正解関数と前記推定関数において、前記サンプリングしたパラメータが同じ値の座標点の距離の２乗に基づいて、前記誤差を算出する、画像処理装置。
前記正解関数は、パラメトリック関数であり、
前記プロセッサは、
前記正解関数と前記推定関数のパラメータをサンプリングし、
前記正解関数と前記推定関数において、前記サンプリングしたパラメータが同じ値の座標点の距離の２乗に基づいて、前記誤差を算出する、画像処理装置。
【請求項7】
請求項１に記載の画像処理装置であって、
前記プロセッサは、前記正解関数と、前記推定関数を座標変換したあとの変換後推定関数と、に囲まれる領域の面積に基づいて、前記誤差を算出する、画像処理装置。
前記プロセッサは、前記正解関数と、前記推定関数を座標変換したあとの変換後推定関数と、に囲まれる領域の面積に基づいて、前記誤差を算出する、画像処理装置。
【請求項8】
請求項１に記載の画像処理装置であって、
前記プロセッサは、前記推定関数のパラメータをサンプリングして計算した座標点を座標変換したあとの座標点と、前記正解関数のパラメータをサンプリングし計算した座標点と、の距離の２乗に基づいて、前記誤差を算出する、画像処理装置。
前記プロセッサは、前記推定関数のパラメータをサンプリングして計算した座標点を座標変換したあとの座標点と、前記正解関数のパラメータをサンプリングし計算した座標点と、の距離の２乗に基づいて、前記誤差を算出する、画像処理装置。
【請求項9】
請求項１に記載の画像処理装置であって、
前記メモリは、
属性パラメータごとに定義された、複数の前記モデルを保持し、
前記プロセッサは、
前記入力画像の属性パラメータを取得し、
前記入力画像を、前記取得した入力画像の属性パラメータに対応するモデルに入力することで当該入力画像に含まれる対象物の輪郭の推定関数を取得する、画像処理装置。
前記メモリは、
属性パラメータごとに定義された、複数の前記モデルを保持し、
前記プロセッサは、
前記入力画像の属性パラメータを取得し、
前記入力画像を、前記取得した入力画像の属性パラメータに対応するモデルに入力することで当該入力画像に含まれる対象物の輪郭の推定関数を取得する、画像処理装置。
【請求項10】
請求項９に記載の画像処理装置であって、
前記属性パラメータは、前記入力画像の撮影環境を示すパラメータ、前記入力画像に含まれる対象物の色を示すパラメータ、及び前記入力画像の撮影時の照度を示すパラメータの少なくとも１つを含む、画像処理装置。
前記属性パラメータは、前記入力画像の撮影環境を示すパラメータ、前記入力画像に含まれる対象物の色を示すパラメータ、及び前記入力画像の撮影時の照度を示すパラメータの少なくとも１つを含む、画像処理装置。
【請求項11】
請求項９に記載の画像処理装置であって、
入力装置及び表示装置に接続され、
前記プロセッサは、
前記属性パラメータの種類を前記表示装置に表示し、
前記入力装置を介して、前記表示した種類の属性パラメータの値を取得する、画像処理装置。
入力装置及び表示装置に接続され、
前記プロセッサは、
前記属性パラメータの種類を前記表示装置に表示し、
前記入力装置を介して、前記表示した種類の属性パラメータの値を取得する、画像処理装置。
【請求項12】
画像処理装置による画像処理方法であって、
前記画像処理装置は、プロセッサとメモリとを含み、
前記メモリは、
画像が入力されると前記画像に含まれる対象物の輪郭を、パラメトリック関数を用いて推定関数として出力し、前記パラメトリック関数のパラメータをモデルパラメータとして含む、モデルと、
入力画像と、
前記入力画像に含まれる前記対象物の輪郭の正解である正解輪郭を示す正解関数を示す教師データと、を保持し、
前記画像処理方法は、
前記プロセッサが、前記入力画像を前記モデルに入力することで当該入力画像に含まれる対象物の輪郭の推定関数を取得し、
前記プロセッサが、前記教師データが示す正解関数と、前記取得した推定関数と、の誤差を算出し、
前記プロセッサが、前記算出した誤差が所定値より大きい場合、前記算出した誤差が小さくなるよう、前記パラメトリック関数のパラメータを更新する、画像処理方法。
前記画像処理装置は、プロセッサとメモリとを含み、
前記メモリは、
画像が入力されると前記画像に含まれる対象物の輪郭を、パラメトリック関数を用いて推定関数として出力し、前記パラメトリック関数のパラメータをモデルパラメータとして含む、モデルと、
入力画像と、
前記入力画像に含まれる前記対象物の輪郭の正解である正解輪郭を示す正解関数を示す教師データと、を保持し、
前記画像処理方法は、
前記プロセッサが、前記入力画像を前記モデルに入力することで当該入力画像に含まれる対象物の輪郭の推定関数を取得し、
前記プロセッサが、前記教師データが示す正解関数と、前記取得した推定関数と、の誤差を算出し、
前記プロセッサが、前記算出した誤差が所定値より大きい場合、前記算出した誤差が小さくなるよう、前記パラメトリック関数のパラメータを更新する、画像処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置及び画像処理方法に関する。
【背景技術】
【0002】
本技術分野の背景技術として、特開２０１８－１８０６６０号公報（特許文献１）がある。この公報には、「生体認証装置は、環境光の下で指を撮影して少なくとも１つの生体画像を取得する画像入力部と、生体画像を処理する認証処理部と、指から得られる複数の生体特徴のうち少なくとも１つに関する登録情報を記憶する記憶部と、を備える。認証処理部は、記憶部にある登録情報を用い、基準となる生体画像と認証時の生体画像の代表色の色差を最小化する色変換行列を生成し、生成した色変換行列を用いて色変換した生体画像を生成しＳ１１１、特徴量抽出Ｓ１１２して登録情報との類似度を算出して照合を行うＳ１１３。」と記載されている（要約参照）。
【0003】
また、非特許文献１には、看板などの曲線閉領域を抽出する際に、スプライン曲線等で領域をモデル化し、その曲線パラメータを推定する方式を開示している。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２０１８－１８０６６０号公報
【非特許文献】
【0005】
【非特許文献1】Ｙｕｌｉａｎｇ Ｌｉｕ， ｅｔ． ａｌ． “ＡＢＣＮｅｔ： Ｒｅａｌ－ｔｉｍｅ Ｓｃｅｎｅ Ｔｅｘｔ Ｓｐｏｔｔｉｎｇ ｗｉｔｈ Ａｄａｐｔｉｖｅ Ｂｅｚｉｅｒ－Ｃｕｒｖｅ Ｎｅｔｗｏｒｋ”，２０２０年２月
【発明の概要】
【発明が解決しようとする課題】
【0006】
特許文献１に記載の技術は、入力画像の各ピクセルがどのクラスに属するかを推定する必要があり、推定結果の領域形状の妥当性については考慮されていない。また、非特許文献１に記載の技術は、ピクセル単位の推定ではなく、領域境界を直接表現及び推定しているが、領域の形状の違いを推定スコアに反映することはできない。そこで、本発明の一態様は、画像から対象物の領域を適切に抽出することが可能となるモデルを生成する。
【課題を解決するための手段】
【0007】
上記課題を解決するために、本発明の一態様は以下の構成を採用する。画像処理装置は、プロセッサとメモリとを含み、前記メモリは、画像が入力されると前記画像に含まれる対象物の輪郭を、パラメトリック関数を用いて推定関数として出力し、前記パラメトリック関数のパラメータをモデルパラメータとして含む、モデルと、入力画像と、前記入力画像に含まれる前記対象物の輪郭の正解である正解輪郭を示す正解関数を示す教師データと、を保持し、前記プロセッサは、前記入力画像を前記モデルに入力することで当該入力画像に含まれる対象物の輪郭の推定関数を取得し、前記教師データが示す正解関数と、前記取得した推定関数と、の誤差を算出し、前記算出した誤差が所定値より大きい場合、前記算出した誤差が小さくなるよう、前記パラメトリック関数のパラメータを更新する。
【発明の効果】
【0008】
本発明の一態様によれば、画像から対象物の領域を適切に抽出することが可能となるモデルを生成することができる。
【0009】
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
【図面の簡単な説明】
【0010】
【図1】実施例１における画像処理システムの構成例を示すブロック図である。
【図2】実施例１における画像処理システムが背景分離画像をパラメトリック曲線に変換する処理の一例を示すフローチャートである。
【図3】実施例１における画像処理システムによる訓練フェーズの一例を示すフローチャートである。
【図4】実施例１における輪郭曲線の一部を表現するパラメトリック曲線の一例である。
【図5】実施例１における輪郭追跡処理、連結成分抽出処理、及び曲線分割処理の一例を示す説明図である。
【図6】実施例１における輪郭追跡処理、連結成分抽出処理、及び曲線分割処理の別例を示す説明図である。
【図7】実施例１における推定輪郭曲線と正解輪郭曲線の誤差の計算方法の一例を示す説明図である。
【図8】実施例１における曲線誤差計算処理の一例を示すフローチャートである。
【図9】実施例１における推定輪郭曲線と正解輪郭曲線の誤差の計算方法の別例を示す説明図である。
【図10】実施例１における曲線誤差計算処理の別例を示すフローチャートである。
【図11】実施例１における情報処理装置の表示装置に表示される属性パラメータ入力画面の一例である。
【図12】実施例１における推定輪郭曲線と正解輪郭曲線の誤差の計算方法の別例を示す説明図である。
【図13】実施例１における曲線誤差計算処理の一例を示すフローチャートである。
【発明を実施するための形態】
【0011】
以下、添付図面を参照して本発明の実施形態を説明する。本実施形態は本発明を実現するための一例に過ぎず、本発明の技術的範囲を限定するものではないことに注意すべきである。
【実施例0012】
図１は、画像処理システム１０の構成例を示すブロック図である。画像処理システム１０は、車、人、又は看板の他、顔、指、又は手のひらのような対象が撮影された画像から、検知対象物を抽出する。画像処理システム１０は、互いにインターネット等のネットワーク４で接続された撮像装置２、情報処理装置３、及びサーバ５を含む。撮像装置２は、例えば、情報処理装置３に備え付けられていてもよい。なお、図１の例では、画像処理システム１０は、１つの情報処理装置３を含んでいるが複数の情報処理装置３を含んでもよい。
【0013】
画像処理システム１０において、撮像装置２で撮影された静止画又は動画が情報処理装置３に入力され、情報処理装置３は動画処理、撮影画像中の曲線パラメータ抽出、及び輪郭再現を含む一連の処理を行う。情報処理装置３とサーバ５は、ネットワーク４を介して、訓練用データ、練後モデル、及び訓練中のパラメータの送受信に関する処理を行う。情報処理装置３は、撮影が成功したか、及び物体の提示方法に関するガイドを、例えば、情報処理装置３が有する表示装置３６に表示してもよい。
【0014】
情報処理装置３は、例えば、ＣＰＵ３１、メモリ３２、補助記憶装置３３、通信装置３４、入力装置３５、及び表示装置３６を含む計算機によって構成される。ＣＰＵ３１は、プロセッサを含み、メモリ３２に格納されたプログラムを実行する。
【0015】
メモリ３２は、不揮発性の記憶素子であるＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）及び揮発性の記憶素子であるＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）を含む。ＲＯＭは、不変のプログラム（例えば、ＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ／Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ））などを格納する。ＲＡＭは、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）のような高速かつ揮発性の記憶素子であり、ＣＰＵ３１が実行するプログラム及びプログラムの実行時に使用されるデータを一時的に格納する。
【0016】
補助記憶装置３３は、例えば、磁気記憶装置（ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ））、フラッシュメモリ（ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ））等の大容量かつ不揮発性の記憶装置であり、ＣＰＵ３１が実行するプログラム及びプログラムの実行時に使用されるデータを格納する。すなわち、プログラムは、補助記憶装置３３から読み出されて、メモリ３２にロードされて、ＣＰＵ３１によって実行される。
【0017】
なお、本実施形態において、画像処理システム１０が使用する情報は、データ構造に依存せずどのようなデータ構造で表現されていてもよい。例えば、テーブル、リスト、データベース、又はキューから適切に選択したデータ構造体が、情報を格納することができる。
【0018】
入力装置３５は、キーボードやマウスなどの、オペレータからの入力を受ける装置である。表示装置３６は、ディスプレイ装置やプリンタなどの、プログラムの実行結果をオペレータが視認可能な形式で出力する装置である。また、情報処理装置３は、撮像装置２から動画の入力を受け付けるための入力インターフェースを有してもよいし、ネットワーク４を介して撮像装置２から動画を受信してもよい。通信装置３４は、所定のプロトコルに従って、他の装置との通信を制御するネットワークインターフェース装置である。
【0019】
ＣＰＵ３１が実行するプログラムは、非一時的な記憶装置を備えた他の情報処理装置から、非一時的な記憶媒体であるリムーバブルメディア（ＣＤ－ＲＯＭ、フラッシュメモリなど）を介して又はネットワーク４を介して、情報処理装置３に提供され、非一時的記憶媒体である不揮発性の補助記憶装置３３に格納されてもよい。このため、情報処理装置３は、リムーバブルメディアからデータを読み込むインターフェースを有するとよい。これは、サーバ５についても同様である。
【0020】
情報処理装置３は、物理的に一つの計算機上で、又は、論理的又は物理的に構成された複数の計算機上で構成される計算機システムであり、同一の計算機上で別個のスレッドで動作してもよく、複数の物理的計算機資源上に構築された仮想計算機上で動作してもよい。これは、サーバ５についても同様である。
【0021】
ＣＰＵ３１は、例えば、動画入力部３２０、動画処理部３２１、物体検出部３２２を含む。動画入力部３２０は、撮像装置２から動画の入力を受け付ける。動画入力部３２０は、情報処理装置３の一例であるモバイル端末やノート型ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）に予め搭載されている機能部であってもよい。
【0022】
動画処理部３２１は、動画入力部３２０が入力を受け付けた動画を複数の静止画へと変換する。物体検出部３２２は、対象物検知部３２３及び輪郭再現部３２４を含む。対象物検知部３２３は、各静止画から検知対象物を検知して抽出する。輪郭再現部３２４は、曲線のパラメータに基づいて、対象領域の輪郭線を再現する。
【0023】
例えば、ＣＰＵ３１は、メモリ３２にロードされた動画入力プログラムに従って動作することで、動画入力部３２０として機能し、メモリ３２にロードされた動画処理プログラムに従って動作することで、動画処理部３２１として機能する。ＣＰＵ３１に含まれる他の機能部についても、プログラムと機能部の関係は同様である。また、サーバ５が有するＣＰＵ５１に含まれる後述する機能部についても、プログラムと機能部の関係は同様である。
【0024】
なお、ＣＰＵ３１及びＣＰＵ５１に含まれる機能部による機能の一部又は全部が、例えば、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等のハードウェアによって実現されてもよい。
【0025】
補助記憶装置３３は、訓練後モデル３２８及び訓練用データ３３０を保持する。訓練後モデル３２８は、検知対象物が含まれる画像が入力されると当該対象物の輪郭が出力されるモデルであって、訓練が実行された後のモデルである。訓練用データ３３０は、当該モデルの訓練に用いられるデータであり、検知対象物が含まれる画像と、検知対象物の領域を示す情報と、が紐付けられた情報を含む。
【0026】
サーバ５は、例えば、ＣＰＵ５１、メモリ５２、補助記憶装置５３、通信装置５４、入力装置５５、及び表示装置５６を含む計算機によって構成される。ＣＰＵ５１、メモリ５２、補助記憶装置５３、通信装置５４、入力装置５５、及び表示装置５６それぞれのハードウェアとしての説明は、ＣＰＵ３１、メモリ３２、補助記憶装置３３、通信装置３４、入力装置３５、及び表示装置３６それぞれのハードウェアとしての説明と同様であるため、省略する。
【0027】
ＣＰＵ５１は、訓練部１５１及びデータ配信部１５５を含む。訓練部１５１は、訓練用データ１６１を用いてモデルの訓練を行うことで訓練後モデル１６２を生成する。また、訓練部１５１は、輪郭曲線パラメータ抽出部１５２、回帰推定訓練部１５３、及び曲線誤差計算部１５４を含む。
【0028】
輪郭曲線パラメータ抽出部１５２は、訓練用データ１６１の教師データを生成する。一つの入力画像から生成される教師データは、２次元の背景分離画像の輪郭を表現するパラメトリック曲線を示す有限個のベクトル値（制御点座標）に圧縮表現されたものである。
【0029】
背景分離画像は、例えば、入力画像から抽出された対象物領域と、対象物領域から分離された背景画像と、を含む。例えば、背景分離画像は２値画像であって、対象物領域と背景領域とは２値で分離されている。
【0030】
例えば、対象物領域の各画素に１が与えられ、背景領域の各画素に０が与えられる。この背景分離画像から生成される教師データは、例えばベジェ曲線、スプライン曲線、線形補間、及び多項式表現などで表現される場合、パラメトリック曲線を表す有限個のベクトル値で圧縮表現することが可能となる。輪郭曲線パラメータ抽出部１５２は、背景分離画像を、パラメトリック曲線を表す有限個のベクトル値に変換する。
【0031】
回帰推定訓練部１５３は、モデルの訓練フェーズにおいて、訓練用データ１６１を使用してモデルを訓練する。回帰推定訓練部１５３は、入力画像の対象物領域と背景領域とを教師データとして入力し、パラメトリック曲線を表す有限個のベクトル値を生成するモデルを訓練する。
【0032】
また、一般に画像から対象物領域を推定する方式では、照度、照明環境、及び対象物のデフォルト色（例えば、生体情報の場合人種による色の違いなど）に依存して、認証率の劣化が起こりうる。このため、当該モデルの入力データは、画像以外にも照度、照明色、及び対象物のデフォルト色等を属性パラメータとして含んでもよい。
【0033】
訓練時に属性パラメータが追加された場合、輪郭曲線パラメータ抽出部１５２は属性パラメータを入力して推定を行う、または、輪郭曲線パラメータ抽出部１５２は、属性パラメータの値ごと（複数種類の属性パラメータが与えられている場合には、当該複数種類の属性パラメータの値の組み合わせごと）に異なる訓練対象のモデルを学習し、ユーザから入力及び選択された属性パラメータの値に従って訓練対象のモデルを切り替えてもよい。
【0034】
曲線誤差計算部１５４は、訓練フェーズにおいて、推定された曲線と正解曲線との誤差を数値化し、誤差情報として回帰推定訓練部１５３にフィードバックする。データ配信部１５５は、訓練後モデル１６２を情報処理装置３に対して配信する。データ配信部１５５は、情報処理装置３から配信要求を受信したときに、訓練後モデル１６２を当該情報処理装置３に配信してもよい。
【0035】
なお、図１の構成例に限らず、ＣＰＵ３１及びＣＰＵ５１の一方に含まれる機能部による処理が、他方によって実行されてもよいし、双方で分散して実行されてもよい。また、情報処理装置３とサーバ５が一体化していてもよい。
【0036】
補助記憶装置５３は、訓練用データ１６１及び訓練後モデル１６２を保持する。訓練用データ１６１は、訓練後モデル１６２の訓練に用いられるデータであり、入力画像と輪郭曲線パラメータ抽出部１５２により生成される教師データとのセットと、が紐付けられた情報を含む。訓練用データ１６１は、情報処理装置３から収集したデータを含む。訓練用データ１６１の収集対象の情報処理装置３は一つに限らず複数の情報処理装置３であってもよい。訓練後モデル１６２は、検知対象物が含まれる画像が入力されると当該対象物の輪郭が出力されるモデルであって、訓練が実行された後のモデルである。
【0037】
図２は、画像処理システム１０が、背景分離画像を、パラメータｔを媒介変数に持ち、有限個のベクトル値で定義されるパラメトリック曲線（例えば、ベジェ曲線、スプライン曲線、線形補間、又は多項式表現等）に変換する処理の一例を示すフローチャートである。
【0038】
背景分離画像は、入力画像から抽出された対象物領域と、対象物領域から分離された背景画像と、を含む。例えば、背景分離画像は２値画像であって、当該背景分離画像の対象物領域と背景領域とは２値で分離されている（例えば、対象物領域の各画素に１が与えられ、背景領域の各画素に０が与えられる）。本実施例における背景分離処理の対象画像は、検知対象物が撮像された可視光画像である。以下、背景分離処理の対象画像に含まれる検知対象物が、複数の手指である例を説明する。
【0039】
図２の処理が開始する前に、動画入力部３２０は手指が撮影された動画を撮像装置２から受信し、動画処理部３２１が当該動画を複数の静止画に切り出し、対象物検知部３２３は当該複数の静止画を用いて背景と検知対象物とを分離することで背景分離画像を生成し、生成した背景分離画像をサーバ５に送信しているものとする。
【0040】
ステップＳ２０１において、輪郭曲線パラメータ抽出部１５２は、背景分離画像に対して輪郭追跡を行う。一般的に、輪郭追跡の結果は、曲線上の連続する座標点系列として表現される。ステップＳ２０２において、輪郭曲線パラメータ抽出部１５２は、輪郭線を分割することで１以上の連結成分を抽出する。但し、輪郭線が抽出された段階で輪郭線が連結成分ごとに分かれている場合もあり、この場合、ステップＳ２０２の処理が実行されなくてもよい。
【0041】
輪郭線は閉曲線であるため、ステップＳ２０３において、輪郭曲線パラメータ抽出部１５２は、抽出した連結成分のうち未選択の連結成分を１つ選択し、選択した連結成分を、曲線で近似可能な部分曲線に分割する。
【0042】
ステップＳ２０４において、輪郭曲線パラメータ抽出部１５２は、分割された部分曲線それぞれを、パラメトリック曲線で近似する。ステップＳ２０４の近似処理の一例については図４並びに（式１）及び（式２）を用いて後述する。
【0043】
ステップＳ２０５において、輪郭曲線パラメータ抽出部１５２は、ステップＳ２０４で近似した曲線のパラメータを抽出する。ステップ２０６において、輪郭曲線パラメータ抽出部１５２は、全ての連結成分について曲線パラメータを抽出したかを判定する。
【0044】
輪郭曲線パラメータ抽出部１５２は、曲線パラメータを抽出していない連結成分があると判定した場合（Ｓ２０６：ＮＯ）、ステップＳ２０３の処理に戻る。輪郭曲線パラメータ抽出部１５２は、全ての連結成分について曲線パラメータを抽出したと判定した場合（Ｓ２０６：ＹＥＳ）、ステップＳ２０７において、抽出した曲線パラメータの集合と入力画像のペアと、を含む教師データを、訓練用データ１６１の一要素として格納する。また、輪郭曲線パラメータ抽出部１５２は、当該教師データを情報処理装置３に送信して、訓練用データ３３０に格納してもよい。
【0045】
以上により、画像処理システム１０は、指形状の事前知識を反映した指領域推定が可能となる訓練後モデル１６２を生成することができる。また、画像処理システム１０は、指領域が接触している場合などに正しく指領域を分離して抽出することが可能となる訓練後モデル１６２を生成することができる。
【0046】
図３は、画像処理システム１０による訓練フェーズの一例を示すフローチャートである。訓練フェーズにおいて、画像処理システム１０は、ＲＧＢやＹＵＶなどの色空間情報の値の範囲に基づいて、動画フレーム画像の対象物領域と背景領域とを分離し、教師あり学習で使用するための訓練用データ１６１を生成する。さらに、画像処理システム１０は、生成した訓練用データ１６１を使用して機械学習モデル（訓練後モデル１６２）を訓練（生成）する。推定処理において、画像処理システム１０は、生成した機械学習モデルを用いて、動画フレーム画像から対象物領域を抽出する。
【0047】
ステップＳ３００において、情報処理装置３は、例えば入力装置３５を介して、訓練部１５１が用いる、検知対象物が撮影されている処理対象画像（図２の処理が開始する前に取得されている背景分離画像を生成するために用いられた元の画像）及び属性パラメータの入力を受け付け、サーバ５に送信する。一般に画像から対象物領域を推定する方式において、照度や照明環境、対象物のデフォルト色（例えば、生体情報が対象物である場合、人種による色の違いなど）に依存して認証率の劣化が起こりうる。このため、入力データとして処理対象画像以外にも照度、照明色、及び対象物のデフォルト色等が属性パラメータに含まれてもよい。
【0048】
ステップＳ３０１において、対象物検知部３２３は、処理対象画像から抽出対象が写った一定サイズの部分領域を切り出す。対象物検知部３２３は、例えば、画面上に手をかざす位置を示すガイド等を情報処理装置３の表示装置３６に表示して、入力装置３５を介した入力に従って切り出す部分領域の位置を予め設定してもよいし、入力装置オブジェクト検知技術を用いて検知対象物の外接矩形領域を検出してもよい。なお、対象物検知部３２３は、切り出した画像を、サーバ５に送信して、訓練用データ１６１に格納する。
【0049】
ステップＳ３０２において、訓練部１５１は、ステップＳ３０１における検知対象物に対応する背景分離画像（図２の処理が開始する前に取得されている背景分離画像）を取得する。訓練部１５１は、入力装置５５を介して予め人手によって当該背景分離画像を取得してもよいし、既存手法によって自動的に背景分離画像を抽出してもよい。例えば、訓練部１５１は、切り出した部分領域からＲＧＢやＹＵＶなどの色空間情報（例えば、肌の色等の属性パラメータ）に基づき、対象物領域と背景領域とを分離し、背景分離画像を取得する。
【0050】
ステップＳ３０３において、輪郭曲線パラメータ抽出部１５２は、図２で説明した処理に従って、抽出対象領域ごとに曲線パラメータを抽出し、訓練用データ１６１の一部として格納する。ステップＳ３０４において、訓練部１５１は、訓練データのサンプル数が所定数ｎに達したかを判定する。訓練部１５１は、訓練データのサンプル数が所定数ｎに達していないと判定した場合（Ｓ３０４：ＮＯ）、ステップＳ３０１に戻る。訓練部１５１は、訓練データのサンプル数が所定数ｎに達したと判定した場合（Ｓ３０４：ＹＥＳ）、ステップＳ３０５に遷移する。
【0051】
次に、ステップＳ３０５～ステップＳ３１１において、回帰推定訓練部１５３は、蓄積した訓練用データ１６１を用いて、検知対象物を含む画像を入力とし、曲線パラメータを出力する推定モデルを訓練する。
【0052】
まずステップＳ３０５において、画像処理システム１０は、ステップＳ３００の処理と同様に、入力データとして処理対象画像に加えて照度、照明色、対象物のデフォルト色等を属性パラメータとして取得する。
【0053】
ステップＳ３０６において、回帰推定訓練部１５３は、現時点の訓練中モデル１６３（訓練初回時は、ランダムな値で推定モデルのモデルパラメータを初期化しておく。また訓練中モデル１６３はメモリ５２に一時的に格納されている）を用いて、曲線パラメータを推定するステップＳ３０７において、回帰推定訓練部１５３は、推定パラメータを用いて曲線パラメータを推定する。輪郭再現部１５６は推定パラメータを用いて輪郭曲線を再現する。
【0054】
ステップＳ３０８において、曲線誤差計算部１５４は、再現した輪郭曲線である推定輪郭曲線と、訓練用データ１６１に格納された正解輪郭曲線（教師データに含まれる曲線パラメータで与えられる輪郭曲線）と、の誤差（以降、曲線誤差と呼ぶ）を計算する。曲線誤差計算の具体例については図７及び図９を用いて後述する。
【0055】
ステップＳ３０９において、回帰推定訓練部１５３は、曲線誤差が所定閾値δ未満であるかを判定する。回帰推定訓練部１５３は、曲線誤差が所定閾値δ以上であると判定した場合（Ｓ３０９：ＮＯ）、ステップＳ３１０において、誤差が少なくなる方向に訓練中モデル１６３内のモデルパラメータを更新し、ステップＳ３０６に戻る。回帰推定訓練部１５３によるモデルパラメータの修正方法は当該モデルの機械学習手法に依存するが、例えば、深層学習モデルが用いられている場合、確率的勾配降下法（ＳＧＤ）を用いてモデルパラメータを修正することができる。
【0056】
回帰推定訓練部１５３は、曲線誤差が所定閾値δ未満であると判定した場合（Ｓ３０９：ＹＥＳ）、訓練フェーズを終了し、ステップＳ３１１において訓練中モデル１６３を訓練後モデル１６２として保存する。
【0057】
図３の処理により、画像処理システム１０は、指形状事前知識を反映した指領域推定が可能であって、指領域が接触している場合などに正しく指領域を分離して抽出することが可能である、訓練後モデル１６２を生成することができる。また、画像処理システム１０は、例えば、入力画像から指領域を抽出する場合、輪郭線領域を抽出するものの輪郭線領域の内側の画素が背景か否かを推定することはなく、少ない計算量で効率的に対象物領域を抽出することができる。
【0058】
図４は、輪郭曲線の一部を表現するパラメトリック曲線の一例である。パラメータｔを媒介変数として用いたパラメトリック曲線は、例えば、ｎ個の制御点に基づき曲線を描画する（式１）により定義される。（式１）において、パラメータｔの値が０から１まで変化する時、制御点Ｐ０とＰｎ－１を両端とするパラメトリック曲線が得られる。Ｐ０～Ｐｎ－１は、それぞれｘ座標とｙ座標の座標点で表される。
【0059】
【数1】
【0060】
（式１）はパラメータｔのサンプリング数をｋとした場合、ｎ個の変数を持つ、ｋ個の連立１次方程式、又はｋ×ｎ次元の係数行列の積として表現することができる（下記の（式２）及び（式３））。（式２）及び（式３）において、ｘ１～ｘｋおよびｙ１～ｙｋは、近似対象の曲線からサンプリングした点のｘ座標又はｙ座標を表す。輪郭曲線パラメータ抽出部１５２は、（式２）及び（式３）の右辺の疑似逆行列を計算することによって、近似曲線の制御点Ｐ０～Ｐｎ－１を計算することができる（ステップＳ２０５）。
【0061】
【数2】
【0062】
上記手順により計算された制御点Ｐ０～Ｐｎ－１は、訓練用データ１６１に保存され、図３における訓練フェーズで用いられる。
【0063】
なお、曲線４０１は、上記手順により計算された制御点Ｐ０～Ｐ３により表現されたパラメトリック曲線の一例である。上記手順で計算された制御点を初期制御点と呼ぶ。以下、制御点の数が４つである例を用いて説明する。
【0064】
輪郭曲線パラメータ抽出部１５２は、制御点の再帰計算処理において、隣接する全ての制御点ＰｉＰｉ＋１で構成される直線ＰｉＰｉ＋１を、（式１）のパラメータｔを用いてｔ：１－ｔに分割し、新規制御点Ｐｋを計算する。
【0065】
輪郭曲線パラメータ抽出部１５２は、曲線４０１における、新規制御点の１回目の再帰計算において、直線Ｐ０Ｐ１の分割点として新規制御点Ｐ４を計算し、Ｐ１Ｐ２の分割点として制御点Ｐ５を計算し、直線Ｐ２Ｐ３の分割点として制御点Ｐ５を計算する。輪郭曲線パラメータ抽出部１５２は、新規制御点の２回目の再帰計算において、直線Ｐ４Ｐ５の分割点として制御点Ｐ７を計算し、直線Ｐ５Ｐ６の分割点として制御点Ｐ８を計算する。最後に、輪郭曲線パラメータ抽出部１５２は、新規制御点の３回目の再帰計算において、直線Ｐ７Ｐ８の分割点として点Ｐ９を計算する。再帰計算の回数は、例えば、初期制御点の回数－１回である。最後の再帰計算で算出された点Ｐ９が、曲線上の点ｆ（ｔ）を表す。
【0066】
すなわち、輪郭曲線パラメータ抽出部１５２は、制御点Ｐ０～Ｐｎを用いて（式１）のパラメータｔを０～１まで変化させることで、パラメトリック曲線ｆ（ｔ）上の座標点を計算し、曲線４０１を再現することができる。なお、曲線４０２は座標の異なる別の制御点Ｐ０～Ｐ３を用いて上記した同様の処理で計算された曲線の一例である。
【0067】
図５は、図２のステップＳ２０１～Ｓ２０３の輪郭追跡処理、連結成分抽出処理、及び曲線分割処理の一例を示す説明図である。図５の例では、手を撮影した画像を入力とし、４つの指領域の曲線パラメータが抽出されているが、対象物は４つの指に限られない。
【0068】
手領域画像の背景分離画像である背景分離画像５００は、対象物領域５０１、対象物領域５０２、対象物領域５０３、対象物領域５０４を含む。対象物領域５０１、対象物領域５０２、対象物領域５０３、及び対象物領域５０４は、それぞれ、人差し指、中指、薬指、及び小指の対象物領域である。
【0069】
画像５２０は、背景分離画像５００から対象物の輪郭が抽出された画像である。輪郭５０５は、対象物領域５０１の輪郭線である。ステップＳ２０１において、輪郭曲線パラメータ抽出部１５２は、画像処理の一般的な手法により輪郭５０５を抽出することができる。または、輪郭曲線パラメータ抽出部１５２は、入力装置５５を介した入力により、輪郭５０５を取得してもよい。
【0070】
ステップＳ２０２において、輪郭曲線パラメータ抽出部１５２は、一般的には対象物領域から輪郭を、連続する座標点系列として抽出するが、対象物領域５０１、対象物領域５０２、対象物領域５０３、及び対象物領域５０４のように非連結の輪郭線については、これらの対象物領域それぞれから別々の連続座標点データとして輪郭を抽出する。
【0071】
輪郭曲線パラメータ抽出部１５２は、抽出した輪郭線の１つについて、始点と終点を決定する。対象物領域５０１の例では、輪郭曲線パラメータ抽出部１５２は、指又の位置に相当する始点５０６と終点５０７を抽出する。具体的には、例えば、輪郭曲線パラメータ抽出部１５２は、対象物領域５０１の外接矩形座標のうち、左下座標にもっとも近い点を始点として、右下座標に最も近い点を終点として、抽出することができる。
【0072】
また、例えば、輪郭曲線パラメータ抽出部１５２は、輪郭座標を左周り又は右回りに探索し、対象物領域５０１の外接矩形座標下方１/３領域において、進行方向の傾きの変化が大きい座標（例えば３０度以上等）をそれぞれ始点と終点に設定してもよい。曲線５０８は、輪郭曲線パラメータ抽出部１５２が輪郭５０５、始点５０６、及び終点５０７から抽出した曲線の一例である。
【0073】
輪郭曲線パラメータ抽出部１５２は、ステップ２０３において、パラメトリック曲線での近似を容易にするため、抽出した曲線を部分曲線に分割する。図５の例では、輪郭曲線パラメータ抽出部１５２は、曲線５０８を部分曲線５０９と部分曲線５１０とに分割している。
【0074】
輪郭曲線パラメータ抽出部１５２は、図４、（式２）、及び（式３）を用いて前述した手順に従い、パラメトリック曲線の制御点Ｐ１～Ｐ８を、部分曲線５０９及び部分曲線５１０から抽出する。なお、図５の例では、輪郭曲線パラメータ抽出部１５２は、４つの制御点を各部分曲線から抽出しているが、制御点の数はこれに限られない。
【0075】
【0076】
目領域画像の入力虹彩画像６１から得られた背景分離画像６２は、虹彩領域の対象物領域である対象物領域６０１を含む。輪郭６０２及び輪郭６０３は、対象物領域６０１の輪郭線である。ステップＳ２０１において、輪郭曲線パラメータ抽出部１５２は、画像処理の一般的な手法により輪郭６０２及び輪郭６０３を抽出することができる。または、輪郭曲線パラメータ抽出部１５２は、入力装置５５を介した入力により、輪郭６０２及び輪郭６０３を取得してもよい。
【0077】
ステップＳ２０２において、輪郭曲線パラメータ抽出部１５２は、一般的には対象物領域から輪郭６０２及び輪郭６０３を、連続する座標点系列として抽出する。ステップＳ２０３において、輪郭曲線パラメータ抽出部１５２は、パラメトリック曲線での近似を容易にするため、抽出した輪郭６０２及び輪郭６０３をそれぞれ部分曲線に分割する。図６の例では、外輪郭である輪郭６０２を部分曲線６０９と部分曲線６１０の二つに、内輪郭である輪郭６０３を部分曲線６１１と部分曲線６１２の二つに分割する。
【0078】
輪郭曲線パラメータ抽出部１５２は、図４、（式２）、及び（式３）を用いて前述した手順に従い、パラメトリック曲線の制御点Ｐ１～Ｐ４を、部分曲線６０９、部分曲線６１０、部分曲線６１１、及び部分曲線６１２それぞれから抽出する。なお、図５の例では、輪郭曲線パラメータ抽出部１５２は、４つの制御点を各部分曲線から抽出しているが、制御点の数はこれに限られない。
【0079】
【0080】
推定輪郭曲線７０は、訓練中モデル１６３が推定した制御点Ｐ１～Ｐ４を用いて再現された曲線である。また、正解輪郭曲線７１は、正解制御点Ｐ１～Ｐ４を用いて再現された曲線である。例えば、推定輪郭曲線７０と正解輪郭曲線７１の２曲線間の領域面積によって、推定輪郭曲線７０と正解輪郭曲線７１の２曲線の誤差が定義される。
【0081】
曲線誤差計算部１５４は、２曲線に共通して存在する区間については各曲線の積分値の差を計算し、一方の曲線しか存在しない区間については、他方の曲線のＹ座標を端点座標の固定値として伸ばして積分値の差を計算する。
【0082】
図７の例では、曲線誤差計算部１５４は、指の長軸方向をＸ軸、指の長軸方向に垂直な方向をＹ軸として、２曲線が交点するＸ座標で区間を分割し、それぞれの区間で領域面積を求めている。図７の例では、推定輪郭曲線７０と正解輪郭曲線７１が交点７０１で交わるため、曲線誤差計算部１５４は、区間ｘ１～ｘｉと、区間ｘｉ～ｘｎと、に分けて積分の差を計算する。下記の（式４）は、（式１）の曲線をパラメータｔについて区間ａ～ｂで積分するための式である。
【0083】
【数3】
【0084】
また、下記の（式５）は、（式４）の（ａ）を算出するための式である。
【0085】
【数4】
【0086】
（式５）の最後の等式には、ベータ関数の積分公式が用いられている。上記の式により、曲線誤差計算部１５４は、推定輪郭曲線７０と正解輪郭曲線７１のうちＹの値が大きい曲線の積分からＹの値が小さい方の曲線の積分を引くことにより、２曲線間の領域面積を、制御点Ｐｉの１次式として記述することができる。また、２曲線のＹ軸上の上下関係は、２曲線の交点を区切りとする区間ごとに決定することができる。
【0087】
曲線誤差計算部１５４は、推定輪郭曲線７０と正解輪郭曲線７１の交点を、Ｂｅｚｉｅｌ Ｃｌｉｐｉｎｇ法等を用いて算出することができる。また、曲線誤差計算部１５４は、補正項として、推定輪郭曲線７０又は正解輪郭曲線７１のはみ出した部分の積分量を誤差項に加えてもよい。
【0088】
図７の例では、曲線誤差計算部１５４は、ｘ０～ｘ１区間について、推定輪郭曲線７０の（式４）を用いた積分と、正解輪郭曲線７１の端点ｘ０におけるＹ座標固定値とした矩形エリアの面積と、を計算し、その差分を曲線誤差に加える。同様に、曲線誤差計算部１５４は、区間ｘｎ～ｘｎ＋１についても、正解輪郭曲線７１の（式４）を用いた積分と、推定輪郭曲線７０の端点ｘｎ＋１のＹ座標固定値とした矩形エリアの面積と、を計算し、その差分を曲線誤差に加える。
【0089】
以上により、本実施例の画像処理システム１０は、指形状事前知識を反映した指領域推定が可能となる訓練後モデル１６２を生成することができる。また、画像処理システム１０は、指領域が接触している場合などに正しく指領域を分離して抽出することが可能となる訓練後モデル１６２を生成することができる。また、画像処理システム１０は、訓練中モデル１６３に輪郭形状の誤差を直接反映させることができる。
【0090】
【0091】
ステップＳ８０１において、曲線誤差計算部１５４は、推定輪郭曲線７０と正解輪郭曲線７１の積分領域の開始点ｘ座標（ｘ１）を求める。具体的には、例えば、曲線誤差計算部１５４は、推定輪郭曲線７０と正解輪郭曲線７１の左端のＸ座標のうち大きい方を、開始点に決定する。
【0092】
ステップＳ８０２において、曲線誤差計算部１５４は、推定輪郭曲線７０と正解輪郭曲線７１の積分領域の終了点のｘ座標（ｘｎ）を求める。具体的には、例えば、曲線誤差計算部１５４は、推定輪郭曲線７０と正解輪郭曲線７１の右端のＸ座標のうち小さい方を、終了点に決定する。
【0093】
ステップＳ８０３において、曲線誤差計算部１５４は、推定輪郭曲線７０及び正解輪郭曲線７１の左端のＸ座標のうち小さい方（ｘ０）を求める。また、曲線誤差計算部１５４は、区間ｘ０～ｘ１について、推定輪郭曲線７０又は正解輪郭曲線７１の一方（区間ｘ０～ｘ１までのＹ座標の値が定義されていた曲線）の積分と、他方の曲線の左端点のＹ座標と区間ｘ０～ｘ１で構成される矩形面積と、の差を曲線誤差として計算する。
【0094】
ステップＳ８０４において、曲線誤差計算部１５４は、推定輪郭曲線７０又は正解輪郭曲線７１の右端のＸ座標のうち大きい方（ｘｎ＋１）を求める。曲線誤差計算部１５４は、区間ｘｎ～ｘｎ＋１について、推定輪郭曲線７０又は正解輪郭曲線７１の一方（区間ｘｎ～ｘｎ＋１までのＹ座標の値が定義されていた曲線）の積分と、他方の曲線の右端点のＹ座標と区間ｘｎ～ｘｎ＋１で構成される矩形面積と、の差を曲線誤差として計算する。
【0095】
ステップＳ８０５において、曲線誤差計算部１５４は、推定輪郭曲線７０と正解輪郭曲線７１の交点を算出し、交点のＸ座標を分割点としてＸ軸のｘ０～ｘｎまでの区間を部分区間に分割する。曲線誤差計算部１５４は、例えば、Ｂｅｚｉｅｌ Ｃｌｉｐｉｎｇ法を用いて、２曲線の交点を算出する。
【0096】
ステップＳ８０６において、曲線誤差計算部１５４は、未選択の、分割された部分区間を選択し、選択した部分区間について、図７を用いて説明した手順に従い、曲線間の領域面積を計算する。ステップＳ８０７において、曲線誤差計算部１５４は、全ての部分区間の曲線間の領域面積を計算したかを判定する。曲線誤差計算部１５４は、曲線間の領域面積を計算していない部分区間があると判定した場合（Ｓ８０７：ＮＯ）、ステップＳ８０６に戻る。
【0097】
曲線誤差計算部１５４は、全ての部分区間の曲線間の領域面積を計算したと判定した場合（Ｓ８０７：ＹＥＳ）、ステップＳ８０８において、全区間の曲線間の領域面積の総和を計算する。以上により、曲線誤差計算部１５４は、曲線誤差を計算し、曲線誤差を訓練中モデル１６３にフィードバックすることができる。
【0098】
以上により、本実施例の画像処理システム１０は、指形状事前知識を反映した指領域推定が可能となる訓練後モデル１６２を生成することができる。また、画像処理システム１０は、指領域が接触している場合などに正しく指領域を分離して抽出することが可能となる訓練後モデル１６２を生成することができる。また、画像処理システム１０は、訓練中モデル１６３に輪郭形状の誤差を直接反映させることができる。
【0099】
【0100】
推定輪郭曲線９０は、訓練中モデル１６３が推定した制御点Ｐ１～Ｐ４を用いて再現された曲線である。また、正解輪郭曲線９１は、正解制御点Ｐ１～Ｐ４を用いて再現された曲線である。例えば、推定輪郭曲線９０と正解輪郭曲線９１の２つのパラメトリック曲線間の二つのパラメトリック曲線の有限個のサンプリング点に基づく２乗誤差によって、２曲線の誤差が定義される。
【0101】
推定輪郭曲線９０上の点９０１～点９０９は、（式１）のパラメータｔが、０～１の区間で、等間隔でサンプリング（図９の例では９座標が用いられた８等分）されたときのｆ（ｔ）の値（各点の座標）を示す。
【0102】
正解輪郭曲線９１上の点９１１～点９１９は、（式１）のパラメータｔが、０～１の区間で、等間隔でサンプリングされたとき（図９の例では９座標が用いられた８等分）のｆ（ｔ）の値（各点の座標）を示す。
【0103】
曲線誤差計算部１５４は、点９０１～点９０９及び点９１１～点９１９間の下記の誤差Ｄ（２乗誤差）を用いて、訓練中モデル１６３の更新時に必要な誤差関数を計算することができる。下記の関数ｆｐ（ｔ）は、推定輪郭曲線９０を表す。下記の関数ｆｇ（ｔ）は、正解輪郭曲線９１を表す。下記の関数Ｊの定義は（式１）における関数Ｊと同じである。下記のＰｔ及びＰＳは、それぞれ、推定輪郭曲線９０の制御点座標、正解輪郭曲線９１の制御点座標を表す。
【0104】
【数5】
【0105】
以上により、本実施例の画像処理システム１０は、指形状事前知識を反映した指領域推定が可能となる訓練後モデル１６２を生成することができる。また、画像処理システム１０は、指領域が接触している場合などに正しく指領域を分離して抽出することが可能となる訓練後モデル１６２を生成することができる。また、画像処理システム１０は、訓練中モデル１６３に輪郭形状の誤差を直接反映させることができる。
【0106】
【0107】
ステップＳ１００１において、曲線誤差計算部１５４は、誤差計算用のサンプリング点のサンプル数ｍを設定する。なお、曲線誤差計算部１５４は、例えば、入力装置５５を介した入力に従ってサンプル数ｍを設定してもよいし、パラメータｔの定義域の広さ、値域の広さ、又は正解曲線の全長に応じて（例えば、正解曲線の全長／サンプル数ｍ、が所定範囲に含まれる値になるように）サンプル数ｍを設定してもよい。
【0108】
ステップＳ１００２において、曲線誤差計算部１５４は、推定輪郭曲線９０のパラメータｔを０～１の区間について等間隔でｍ点サンプリングする。ステップＳ１００３において、曲線誤差計算部１５４は、正解輪郭曲線９１の媒介変数ｔを０～１の区間について等間隔でｍ点サンプリングする。ステップＳ１００４において、曲線誤差計算部１５４は、推定輪郭曲線９０と正解輪郭曲線９１のサンプリング点のうち、媒介変数ｔの値が等しいサンプリング点間の平均２乗誤差を、曲線誤差として計算する。
【0109】
以上により、本実施例の画像処理システム１０は、指形状事前知識を反映した指領域推定が可能となる訓練後モデル１６２を生成するこができる。また、画像処理システム１０は、指領域が接触している場合などに正しく指領域を分離して抽出することが可能となる訓練後モデル１６２を生成することができる。また、画像処理システム１０は、訓練中モデル１６３に輪郭形状の誤差を直接反映させることができる。
【0110】
図１１は、ステップＳ３００で情報処理装置３の表示装置３６に表示される属性パラメータ入力画面の一例である。図１１の例では、情報処理装置３がスマートフォンであり、表示装置３６が入力装置３５を兼ねるタッチパネルである。
【0111】
表示装置３６には、例えば、利用環境選択ボックス１１０１、対象色選択ボックス１１０２、及び照度選択ボックス１１０３が表示される。利用環境選択ボックス１１０１において、入力画像が撮影される利用環境を選択可能である。利用環境は属性パラメータの一例であり、例えば、自宅、屋外、又はオフィス等の環境属性を選択可能である。
【0112】
対象色選択ボックス１１０２において、入力画像に含まれる対象物の色である対象色を選択可能である。対象色は属性パラメータの一例である。照度選択ボックス１１０３において、入力画像が撮影される利用環境の照度を選択可能である。
【0113】
図１１の属性パラメータ入力画面により、画像処理システム１０は画像だけでなく照度、照明色、及び対象物のデフォルト色等の属性パラメータの入力を受け付けることができ、属性パラメータを考慮した指領域推定が可能となる。
【0114】
【0115】
正解中心輪郭曲線１２０１は訓練用データ１６１に格納された正解輪郭曲線（教師データに含まれる曲線パラメータで与えられる輪郭曲線）の一例である。正解中心輪郭曲線１２０１は、複数の指種（人差指、中指、薬指、小指等）のどの指の正解輪郭曲線であってもよいが、ここでは中指の正解輪郭曲線であるものとしている。
【0116】
輪郭曲線１２０２は、指の推定輪郭５０５が、パラメータθで決定される座標変換を用いて変換された座標変換後の推定輪郭曲線の一例である。パラメータθで決定される座標返還として、例えばアフィン変換や射影変換を用いることができる。アフィン変換及び射影変換は、例えば、３×３の行列によって表現することができる。
【0117】
図１３は、ステップＳ３０８における曲線誤差計算処理の一例を示すフローチャートである。以下では、図１２の座標変換後の輪郭曲線１２０２と正解中心輪郭曲線１２０１に対する曲線誤差計算の例を説明する。図１３の例では上記したθが、パラメトリック曲線関数におけるパラメータ（即ち訓練後モデル１６２及び訓練中モデル１６３のモデルパラメータ）である。図１３の例では上記したθは、複数の指種（人差指、中指、薬指、小指等）のいずれかの指の正解輪郭曲線を用いて独立に予め学習され、パラメトリック曲線関数におけるパラメータ（即ち訓練後モデル１６２及び訓練中モデル１６３のモデルパラメータ）の学習時には、固定パラメータとしておいてもよい。
【0118】
ステップＳ１３０１において、曲線誤差計算部１５４は、正解中心輪郭曲線１２０１を選択する。ステップＳ１３０２において、曲線誤差計算部１５４は、訓練中モデル１６３の中のパラメータθを用いて、推定輪郭５０５の座標を輪郭曲線１２０２に座標変換する。
【0119】
ステップ１３０３において、曲線誤差計算部１５４は、座標変換後の輪郭曲線１２０２と正解中心輪郭曲線１２０１の誤差を求める。曲線誤差計算部１５４は、図８又は図１０で示した手順を用いて誤差を計算してもよいし、輪郭曲線を２次元ベクトル（輪郭のある位置を１としそれ以外を０とする）で表現し、座標変換後の輪郭曲線１２０２の２次元ベクトルと、正解中心輪郭曲線１２０１の２次元ベクトルと、の間のクロスエントロピー、又はＩＯＵ（Ｉｎｔｅｒｓｅｃｔｉｏｎ ｏｖｅｒ ｕｎｉｏｎ）を用いて誤差を計算してもよい。
【0120】
ステップ１３０４において、回帰推定訓練部１５３は、曲線誤差が所定閾値δ未満であるかを判定する。回帰推定訓練部１５３は、曲線誤差が所定閾値δ以上であると判定した場合（Ｓ１３０４：ＮＯ）、ステップＳ１３０６において、誤差が少なくなる方向に訓練中モデル１６３内のモデルパラメータを更新し、ステップＳ３０６に戻る。回帰推定訓練部１５３によるモデルパラメータの修正方法は、当該モデルの機械学習手法に依存するが、例えば、深層学習モデルが用いられている場合、確率的勾配降下法（ＳＧＤ）を用いてモデルパラメータを修正することができる。
【0121】
なお、ステップＳ１３０２において、座標変換対象となる入力は輪郭線に限るものではなく、曲線上の端点や分岐点などサンプリングした特徴点のみであってもよい。また入力データは画像（２次元データ）に限るものではなく、（ｘ，ｙ，ｚ）等の３次元以上のデータを対象としてもよい。
【0122】
回帰推定訓練部１５３は、曲線誤差が所定閾値δ未満であると判定した場合（Ｓ１３０４：ＹＥＳ）、訓練フェーズを終了し、ステップＳ１３０５において訓練中モデル１６３を訓練後モデル１６２として保存する。
【0123】
図１３の処理により、画像処理システム１０は、複数輪郭領域の相対的位置関係を考慮した、訓練後モデル１６２を生成することができる。また、画像処理システム１０は、例えば、入力画像から指領域を抽出する場合、輪郭線領域を抽出するものの輪郭線領域の内側の画素が背景か否かを推定することはなく、少ない計算量で効率的に対象物領域を抽出することができる。
【0124】
なお、本発明は上記した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明したすべての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
【0125】
また、上記の各構成・機能・処理部等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記録装置、または、ＩＣカード、ＳＤカード等の記録媒体に置くことができる。
【0126】
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしもすべての制御線や情報線を示しているとは限らない。実際には殆どすべての構成が相互に接続されていると考えてもよい。
【符号の説明】
【0127】
３ 情報処理装置、５ サーバ、１０ 画像処理システム、３１ ＣＰＵ、３２ メモリ、３３ 補助記憶装置、３４ 通信装置、３５ 入力装置、３６ 表示装置、５１ ＣＰＵ、５２ メモリ、５３ 補助記憶装置、５４ 通信装置、５５ 入力装置、５６ 表示装置、１５１ 訓練部、１５２ 輪郭曲線パラメータ抽出部、１５３ 回帰推定訓練部、１５４ 曲線誤差計算部、１５６ 輪郭再現部、１６１ 訓練用データ、１６２ 訓練後モデル
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】