特許 7250924 目標対象認識方法、装置、及びシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-03-24

(45)【発行日】2023-04-03

(54)【発明の名称】目標対象認識方法、装置、及びシステム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20230327BHJP

   G06V 20/64 20220101ALI20230327BHJP

【ＦＩ】

G06T7/00 300F

G06V20/64

【請求項の数】 10

(21)【出願番号】P 2021523386

(86)(22)【出願日】2020-10-30

(65)【公表番号】

(43)【公表日】2022-11-10

(86)【国際出願番号】 IB2020060203

(87)【国際公開番号】W WO2022029478

(87)【国際公開日】2022-02-10

【審査請求日】2021-04-28

(31)【優先権主張番号】10202007347V

(32)【優先日】2020-08-01

(33)【優先権主張国・地域又は機関】SG

(73)【特許権者】

【識別番号】520238082

【氏名又は名称】商▲湯▼国▲際▼私人有限公司

【氏名又は名称原語表記】ＳＥＮＳＥＴＩＭＥ ＩＮＴＥＲＮＡＴＩＯＮＡＬ ＰＴＥ． ＬＴＤ．

【住所又は居所原語表記】７５００Ａ Ｂｅａｃｈ Ｒｏａｄ， ＃０５－３１８，Ｔｈｅ Ｐｌａｚａ １９９５９１ Ｓｉｎｇａｐｏｒｅ Ｓｉｎｇａｐｏｒｅ

(74)【代理人】

【識別番号】110000729

【氏名又は名称】弁理士法人ユニアス国際特許事務所

(72)【発明者】

【氏名】▲呉▼ ▲進▼

(72)【発明者】

【氏名】▲陳▼ ▲凱▼歌

(72)【発明者】

【氏名】伊 ▲帥▼

【審査官】千葉 久博

(56)【参考文献】

【文献】特開２００９－２４５２２６（ＪＰ，Ａ）

【文献】米国特許出願公開第２００５／００５１９６５（ＵＳ，Ａ１）

【文献】米国特許出願公開第２００３／０２２０１３６（ＵＳ，Ａ１）

【文献】国際公開第２０１９／０６８１４１（ＷＯ，Ａ１）

【文献】中国特許出願公開第１１１０６２２３７（ＣＮ，Ａ）

【文献】中国特許出願公開第１０８２２８７０３（ＣＮ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ｇ０６Ｖ ２０／６４

(57)【特許請求の範囲】

【請求項1】

目標対象認識方法であって、
収集された画像から、積層された複数の認識待ちの目標対象を含む目標画像を切り出すことと、
前記目標画像の高さを所定高さに調整することと、
前記調整された目標画像の特徴マップを抽出することと、
前記特徴マップを前記目標画像の高さ方向に対応する次元に沿ってセグメント分けして、所定数のセグメントの特徴を取得することと、
前記所定数のセグメントの特徴のうちの各セグメントの特徴に基づいて目標対象の認識を行うことと、を含み、
前記目標画像の高さを前記所定高さに調整することは、
スケーリング後の目標画像の幅が所定幅になるまで、前記目標画像の高さおよび幅を等比率でスケーリングすることと、
前記スケーリング後の目標画像の高さが前記所定高さよりも大きい場合に、縮小後の目標画像の高さが前記所定高さに等しくなるまで、前記スケーリング後の目標画像の高さおよび幅を等比率で縮小することと、
前記スケーリング後の目標画像の高さが前記所定高さよりも小さい場合に、第１画素を利用して前記スケーリング後の目標画像に対して充填を行うことにより、充填された目標画像の高さが前記所定高さになるようにすることと、を含み、
前記目標画像の高さ方向は、前記複数の認識待ちの目標対象が積層された方向であり、
前記所定数は、認識待ちの目標対象の最大数であり、前記所定幅は、前記目標対象の平均幅に応じて設定され、前記所定高さは、前記目標対象の平均高さと認識待ちの目標対象の最大数とに応じて設定されている、
ことを特徴とする目標対象認識方法。

【請求項2】

前記目標画像内の認識待ちの目標対象は、シート状物体であり、各認識待ちの目標対象の厚さは、等しく、前記複数の認識待ちの目標対象は、厚さ方向に沿って積層され、且つ、
前記所定高さは、前記厚さの整数倍である
ことを特徴とする請求項１に記載の目標対象認識方法。

【請求項3】

前記特徴マップの抽出と目標対象の認識とは、何れもニューラルネットワークによって実行され、前記ニューラルネットワークは、サンプル画像とそのラベル情報とを用いてトレーニングされたものである
ことを特徴とする請求項１または２に記載に記載の目標対象認識方法。

【請求項4】

前記サンプル画像のラベル情報は、前記サンプル画像内の各目標対象のラベルタイプを含み、
前記ニューラルネットワークは、
サイズ調整後のサンプル画像に対して特徴抽出を行い、前記サイズ調整後のサンプル画像の特徴マップを取得することと、
前記特徴マップをセグメント分けして得た各セグメントの特徴に基づいて、サンプル画像内の目標対象の認識を行い、サンプル画像内の各目標対象の予測タイプを取得することと、
前記サンプル画像内の各目標対象の予測タイプと前記サンプル画像内の各目標対象のラベルタイプとに基づいて、前記ニューラルネットワークのパラメータ値を調整することと、によってトレーニングされたものである
ことを特徴とする請求項３に記載の目標対象認識方法。

【請求項5】

前記サンプル画像のラベル情報は、各ラベルタイプの目標対象の数を更に含み、
前記ニューラルネットワークのパラメータ値を調整することは、
前記サンプル画像内の各目標対象の予測タイプと、前記サンプル画像内の各目標対象のラベルタイプと、前記サンプル画像における各ラベルタイプの目標対象の数と、前記サンプル画像における各予測タイプの目標対象の数とに基づいて、前記ニューラルネットワークのパラメータ値を調整することを含む
ことを特徴とする請求項４に記載の目標対象認識方法。

【請求項6】

前記サンプル画像のラベル情報は、前記サンプル画像内の目標対象の総数を更に含み、
前記ニューラルネットワークのパラメータ値を調整することは、
前記サンプル画像内の各目標対象の予測タイプと、前記サンプル画像内の各目標対象のラベルタイプと、前記サンプル画像における各予測タイプの目標対象の数の和と、前記サンプル画像内の目標対象の総数とに基づいて、前記ニューラルネットワークのパラメータ値を調整することを含む
ことを特徴とする請求項４に記載の目標対象認識方法。

【請求項7】

トレーニングされた前記ニューラルネットワークをテストすることと、
前記テストの結果に基づいて、前記ニューラルネットワークに応じて各タイプの目標対象の認識精度を並べ替え、認識精度の並べ替え結果を取得することと、
前記テストの結果に基づいて、前記ニューラルネットワークに応じて各タイプの目標対象の誤認識率を並べ替え、誤認識率の並べ替え結果を取得することと、
前記認識精度の並べ替え結果と前記誤認識率の並べ替え結果とに基づいて、前記ニューラルネットワークを更にトレーニングすることと、を更に含む
ことを特徴とする請求項３に記載の目標対象認識方法。

【請求項8】

目標対象認識装置であって、
収集された画像から、積層された複数の認識待ちの目標対象を含む目標画像を切り出すための取得ユニットと、
前記目標画像の高さを所定高さに調整するための調整ユニットと、
前記調整された目標画像の特徴マップを抽出するための抽出ユニットと、
前記特徴マップを前記目標画像の高さ方向に対応する次元に沿ってセグメント分けして、所定数のセグメントの特徴を取得するためのセグメント分けユニットと、
前記所定数のセグメントの特徴のうちの各セグメントの特徴に基づいて目標対象の認識を行うための認識ユニットと、を備え、
前記調整ユニットは、
スケーリング後の目標画像の幅が所定幅になるまで、前記目標画像の高さおよび幅を等比率でスケーリングし、且つ、
前記スケーリング後の目標画像の高さが前記所定高さよりも大きい場合に、縮小後の目標画像の高さが前記所定高さに等しくなるまで、前記スケーリング後の目標画像の高さおよび幅を等比率で縮小し、
前記スケーリング後の目標画像の高さが前記所定高さよりも小さい場合に、第１画素を利用して前記スケーリング後の目標画像に対して充填を行うことにより、充填された目標画像の高さが前記所定高さになるようにし、
前記目標画像の高さ方向は、前記複数の認識待ちの目標対象が積層された方向であり、
前記所定数は、認識待ちの目標対象の最大数であり、前記所定幅は、前記目標対象の平均幅に応じて設定され、前記所定高さは、前記目標対象の平均高さと認識待ちの目標対象の最大数とに応じて設定されている、
ことを特徴とする目標対象認識装置。

【請求項9】

電子デバイスであって、
プロセッサと、
プロセッサ実行可能指令を記憶するためのメモリと、を備え、
前記プロセッサは、前記指令を実行することにより、請求項１から７の何れか一項に記載の目標対象認識方法を実施するように構成される
ことを特徴とする電子デバイス。

【請求項10】

コンピュータ可読記憶媒体であって、
前記コンピュータ可読記憶媒体には、コンピュータプログラム指令が記憶され、前記コンピュータプログラム指令がプロセッサによって実行されたときに、請求項１から７の何れか一項に記載の目標対象認識方法は、実施される
ことを特徴とするコンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

＜関連出願の相互引用＞
本発明は、２０２０年８月１日に提出された、発明名称が「目標対象認識方法、装置、及びシステム」であり、出願番号が１０２０２００７３４７Ｖであるシンガポール特許出願の優先権を主張し、当該出願の全ての内容が援用により本発明に組み入れられる。
本発明は、コンピュータビジョン技術分野に関し、特に目標対象認識方法、装置およびシステムに関する。

【背景技術】

【0002】

日常生産および生活では、通常、幾つかの目標対象を認識する必要がある。デスクトップゲームという娯楽場面を例とすると、幾つかのデスクトップゲームにおいて、ゲームコインの種類および数の情報が取得されるように、デスクトップ上のゲームコインを認識する必要がある。しかし、伝統的な認識方式では、認識正確率が低い。

【発明の概要】

【0003】

本発明の一態様は、目標対象認識方法を提供する。前記目標対象認識方法は、収集された画像から、積層された複数の認識待ちの目標対象を含む目標画像を切り出すことと、前記目標画像の高さを所定高さに調整することと、前記調整された目標画像の特徴マップを抽出することと、前記特徴マップを前記目標画像の高さ方向に対応する次元に沿ってセグメント分けして、所定数のセグメントの特徴を取得することと、前記所定数のセグメントの特徴のうちの各セグメントの特徴に基づいて目標対象の認識を行うことと、を含み、前記目標画像の高さ方向は、前記複数の認識待ちの目標対象が積層された方向である。

【0004】

本発明に係る何れか１つの実施形態を参照すると、前記目標画像の高さを前記所定高さに調整することは、スケーリング後の目標画像の幅が所定幅になるまで、前記目標画像の高さおよび幅を等比率でスケーリングすることと、前記スケーリング後の目標画像の高さが前記所定高さよりも大きい場合に、縮小後の目標画像の高さが前記所定高さに等しくなるまで、前記スケーリング後の目標画像の高さおよび幅を等比率で縮小することと、を含む。

【0005】

本発明に係る何れか１つの実施形態を参照すると、前記目標画像の高さを前記所定高さに調整することは、スケーリング後の目標画像の幅が所定幅になるまで、前記目標画像の高さおよび幅を等比率でスケーリングすることと、前記スケーリング後の目標画像の高さが前記所定高さよりも小さい場合に、第１画素を利用して前記スケーリング後の目標画像に対して充填を行うことにより、充填された目標画像の高さが前記所定高さになるようにすることと、を含む。

【0006】

本発明に係る何れか１つの実施形態を参照すると、前記目標画像内の認識待ちの目標対象は、シート状物体であり、各認識待ちの目標対象の厚さは、等しく、前記複数の認識待ちの目標対象は、厚さ方向に沿って積層され、且つ、前記所定高さは、前記厚さの整数倍である。

【0007】

本発明に係る何れか１つの実施形態を参照すると、前記特徴マップの抽出と目標対象の認識とは、何れもニューラルネットワークによって実行され、前記ニューラルネットワークは、サンプル画像とそのラベル情報とを用いてトレーニングされたものである。

【0008】

本発明に係る何れか１つの実施形態を参照すると、前記サンプル画像のラベル情報は、前記サンプル画像内の各目標対象のラベルタイプを含み、前記ニューラルネットワークは、サイズ調整後のサンプル画像に対して特徴抽出を行い、前記サイズ調整後のサンプル画像の特徴マップを取得することと、前記特徴マップをセグメント分けして得た各セグメントの特徴に基づいて、サンプル画像内の目標対象の認識を行い、サンプル画像内の各目標対象の予測タイプを取得することと、前記サンプル画像内の各目標対象の予測タイプと前記サンプル画像内の各目標対象のラベルタイプとに基づいて、前記ニューラルネットワークのパラメータ値を調整することと、によってトレーニングされたものである。

【0009】

本発明に係る何れか１つの実施形態を参照すると、前記サンプル画像のラベル情報は、各ラベルタイプの目標対象の数を更に含み、前記ニューラルネットワークのパラメータ値を調整することは、前記サンプル画像内の各目標対象の予測タイプと、前記サンプル画像内の各目標対象のラベルタイプと、前記サンプル画像における各ラベルタイプの目標対象の数と、前記サンプル画像における各予測タイプの目標対象の数とに基づいて、前記ニューラルネットワークのパラメータ値を調整することを含む。

【0010】

本発明に係る何れか１つの実施形態を参照すると、前記サンプル画像のラベル情報は、前記サンプル画像内の目標対象の総数を更に含み、前記ニューラルネットワークのパラメータ値を調整することは、前記サンプル画像内の各目標対象の予測タイプと、前記サンプル画像内の各目標対象のラベルタイプと、前記サンプル画像における各予測タイプの目標対象の数の和と、前記サンプル画像内の目標対象の総数とに基づいて、前記ニューラルネットワークのパラメータ値を調整することを含む。

【0011】

本発明に係る何れか１つの実施形態を参照すると、前記目標対象認識方法は、トレーニングされた前記ニューラルネットワークをテストすることと、前記テストの結果に基づいて、前記ニューラルネットワークに応じて各タイプの目標対象の認識精度を並べ替え、認識精度の並べ替え結果を取得することと、前記テストの結果に基づいて、前記ニューラルネットワークに応じて各タイプの目標対象の誤認識率を並べ替え、誤認識率の並べ替え結果を取得することと、前記認識精度の並べ替え結果と前記誤認識率の並べ替え結果とに基づいて、前記ニューラルネットワークを更にトレーニングすることと、を更に含む。

【0012】

本発明の一態様は、目標対象認識装置を提供する。前記目標対象認識装置は、収集された画像から、積層された複数の認識待ちの目標対象を含む目標画像を切り出すための取得ユニットと、前記目標画像の高さを所定高さに調整するための調整ユニットと、調整された目標画像の特徴マップを抽出するための抽出ユニットと、前記特徴マップを前記目標画像の高さ方向に対応する次元に沿ってセグメント分けして、所定数のセグメントの特徴を取得するためのセグメント分けユニットと、前記所定数のセグメントの特徴のうちの各セグメントの特徴に基づいて目標対象の認識を行うための認識ユニットと、を備え、前記目標画像の高さ方向は、前記複数の認識待ちの目標対象が積層された方向である。

【0013】

本発明に係る何れか１つの実施形態を参照すると、前記調整ユニットは、スケーリング後の目標画像の幅が所定幅になるまで、前記目標画像の高さおよび幅を等比率でスケーリングし、且つ、前記スケーリング後の目標画像の高さが前記所定高さよりも大きい場合に、縮小後の目標画像の高さが前記所定高さに等しくなるまで、前記スケーリング後の目標画像の高さおよび幅を等比率で縮小する。

【0014】

本発明に係る何れか１つの実施形態を参照すると、前記調整ユニットは、スケーリング後の目標画像の幅が所定幅になるまで、前記目標画像の高さおよび幅を等比率でスケーリングし、且つ、前記スケーリング後の目標画像の高さが前記所定高さよりも小さい場合に、第１画素を利用してスケーリング後の目標画像に対して充填を行うことにより、充填された目標画像の高さが前記所定高さになるようにする。

【0015】

本発明に係る何れか１つの実施形態を参照すると、前記目標画像内の認識待ちの目標対象は、シート状物体であり、各認識待ちの目標対象の厚さは、等しく、複数の認識待ちの目標対象は、厚さ方向に沿って積層され、且つ、前記所定高さは、前記厚さの整数倍である。

【0016】

本発明に係る何れか１つの実施形態を参照すると、前記特徴マップの抽出と目標対象の認識とは、何れもニューラルネットワークによって実行され、前記ニューラルネットワークは、サンプル画像とそのラベル情報とを用いてトレーニングされたものである。

【0017】

本発明に係る何れか１つの実施形態を参照すると、前記サンプル画像のラベル情報は、前記サンプル画像内の各目標対象のラベルタイプを含み、前記目標対象認識装置は、トレーニングユニットを更に備え、前記トレーニングユニットは、サイズ調整後のサンプル画像に対して特徴抽出を行い、前記サイズ調整後のサンプル画像の特徴マップを取得することと、前記特徴マップをセグメント分けして得た各セグメントの特徴に基づいて、サンプル画像内の目標対象の認識を行い、サンプル画像内の各目標対象の予測タイプを取得することと、前記サンプル画像内の各目標対象の予測タイプと前記サンプル画像内の各目標対象のラベルタイプとに基づいて、前記ニューラルネットワークのパラメータ値を調整することとにより、前記ニューラルネットワークをトレーニングする。

【0018】

本発明に係る何れか１つの実施形態を参照すると、前記サンプル画像のラベル情報は、各ラベルタイプの目標対象の数を更に含み、前記トレーニングユニットは、前記サンプル画像内の各目標対象の予測タイプと、前記サンプル画像内の各目標対象のラベルタイプと、前記サンプル画像における各ラベルタイプの目標対象の数と、前記サンプル画像における各予測タイプの目標対象の数とに基づいて、前記ニューラルネットワークのパラメータ値を調整する。

【0019】

本発明に係る何れか１つの実施形態を参照すると、前記サンプル画像のラベル情報は、前記サンプル画像内の目標対象の総数を更に含み、前記トレーニングユニットは、前記サンプル画像内の各目標対象の予測タイプと、前記サンプル画像内の各目標対象のラベルタイプと、前記サンプル画像における各予測タイプの目標対象の数の和と、前記サンプル画像内の目標対象の総数とに基づいて、前記ニューラルネットワークのパラメータ値を調整する。

【0020】

本発明に係る何れか１つの実施形態を参照すると、前記目標対象認識装置は、テストユニットを更に備え、前記テストユニットは、トレーニングされた前記ニューラルネットワークをテストし、前記テストの結果に基づいて、前記ニューラルネットワークに応じて各タイプの目標対象の認識精度を並べ替え、認識精度の並べ替え結果を取得し、前記テストの結果に基づいて、前記ニューラルネットワークに応じて各タイプの目標対象の誤認識率を並べ替え、誤認識率の並べ替え結果を取得し、前記認識精度の並べ替え結果と前記誤認識率の並べ替え結果とに基づいて、前記ニューラルネットワークを更にトレーニングする。

【0021】

本発明の一態様は、電子デバイスを提供する。前記電子デバイスは、プロセッサと、プロセッサ実行可能指令を記憶するためのメモリと、を備え、前記プロセッサは、前記メモリに記憶された指令を呼び出すことにより、本発明の何れか１つの実施形態に記載の目標対象認識方法を実施するように構成される。

【0022】

本発明の一態様は、コンピュータ可読記憶媒体を提供する。前記コンピュータ可読記憶媒体には、コンピュータプログラム指令が記憶され、前記コンピュータプログラム指令がプロセッサによって実行されたときに、本発明の何れか一項に記載の目標対象認識方法は、実施される。

【0023】

本発明の１つまたは複数の実施例に係る目標対象認識方法、装置、電子デバイスおよび記憶媒体では、収集された画像から取り出された目標画像の高さを所定高さに調整し、調整後の目標画像の特徴マップを抽出し、前記特徴マップを前記目標画像の高さ方向に対応する次元に沿ってセグメント分けして、所定数のセグメントの特徴を取得することにより、前記所定数のセグメントの特徴のうちの各セグメントの特徴に基づいて目標対象の認識を行う。セグメント分けして得たセグメントの特徴が各目標対象の特徴マップに対応するため、セグメント分け特徴に基づいて目標対象の認識を行うことによって目標対象の数が認識正確性へ影響することは、回避され、目標対象の認識正確性は、向上する。

【0024】

上述した一般的な記述と後文の詳細記述は、単に例示的なものおよび解釈的なものであり、本発明を制限するためのものではないことは、理解すべきである。

【図面の簡単な説明】

【0025】

ここでの図面は、明細書に組み込まれて明細書の一部を構成する。これらの図面は、本発明に合致する実施例を示しつつ、明細書の記載とともに本発明の解決ユニットを解釈するために用いられる。

【図1】本発明の少なくとも１つの実施例に係る目標対象認識方法のフローチャートである。

【図2A】本発明の少なくとも１つの実施例に係る目標対象認識方法において直立で積載された複数の目標対象の模式図である。

【図2B】本発明の少なくとも１つの実施例に係る目標対象認識方法において横立ちで積載された複数の目標対象の模式図である。

【図3】本発明の少なくとも１つの実施例に係る目標対象認識装置のブロック図である。

【図4】本発明の少なくとも１つの実施例に係る電子デバイスのブロック図である。

【発明を実施するための形態】

【0026】

本発明が当業者によってより良好に理解されるように、以下では、図面を組み合わせて本発明の幾つかの実施例を明瞭で完全に記述する。明らかに、記述される実施例は、単に本発明の一部の可能な実施例である。本発明の１つまたは複数の実施例に基づいて当業者が進歩性に値する労働を掛けずに得た全ての他の実施例は、何れも本発明の保護範囲に含まれるべきである。

【0027】

本発明で使用される用語は、単に特定の実施例を記述する目的であり、本発明を制限するためのものではない。本発明および添付する特許請求の範囲で使用される単数形式の「一種」、「前記」および「当該」も、文脈から他の意味を明瞭で分かる場合でなければ、複数の形式を含むことを意図する。理解すべきことは、本文で使用される用語「および／または」が、１つまたは複数の関連する列挙項目を含む如何なる或いは全ての可能な組み合わせを指す。また、本文における用語「少なくとも１種」は、複数種のうちの何れか１種または複数種のうちの少なくとも２種の任意の組み合わせを指す。

【0028】

理解すべきことは、本発明において第１、第２、第３等という用語を用いて各種の情報を記述するが、これらの情報は、これらの用語に限定されるものではない。これらの用語は、単に同一のタイプの情報同士を区分するために用いられる。例えば、本発明の範囲を逸脱しない限り、第１情報が第２情報と呼称されてもよく、類似的に、第２情報が第１情報と呼称されてもよい。これは、コンテキストに依存する。例えば、ここで使用される言葉「場合」は、「…とき」や「…ときに」あるいは「特定の状況に応じて」として解釈されてもよい。

【0029】

図１は、本発明の少なくとも１つの実施例に係る目標対象認識方法のフローチャートである。図１に示すように、当該方法は、ステップ１０１～１０５を含んでもよい。

【0030】

ステップ１０１では、収集された画像から目標画像を切り出し、前記目標画像は、積層された複数の認識待ちの目標対象を含む。

【0031】

幾つかのよく見られる状況において、認識待ちの目標対象は、各種形状のシート状物体、例えば、ゲームコインであり、且つ各目標対象の厚さ（高さ）は、通常、同じである。複数の認識待ちの目標対象は、通常、厚さ方向に沿って積層される。図２Ａに示すように、複数のゲームコインは、鉛直方向に沿って積層（直立（ｓｔａｎｄ）積載）され、目標画像の高さ方向（Ｈ）は、鉛直方向であり、目標画像の幅方向（Ｗ）は、目標画像の高さ方向（Ｈ）に垂直な方向である。図２Ｂに示すように、複数のゲームコインは、水平方向に沿って積層（横立ち（ｆｌｏａｔ）積載）されてもよく、目標画像の高さ方向（Ｈ）は、水平方向であり、目標画像の幅方向（Ｗ）は、目標画像の高さ方向（Ｈ）に垂直な方向である。

【0032】

認識待ちの目標対象は、目標領域に置かれた目標対象であってもよい。前記目標領域は、平面（例えば、デスクトップ）、容器（例えば、ボックス）等であってもよい。目標領域付近の画像収集装置、例えばカメラまたはカメラヘッドを介して、前記目標領域の画像を収集してもよい。

【0033】

本発明の実施例において、ディープラーニングネットワーク、例えばＲＣＮＮ（Ｒｅｇｉｏｎ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を利用し、収集された画像を検出して目標対象検出結果を取得してもよく、前記検出結果は、検出フレームであってもよい。検出フレームによって、前記収集された画像から、積層された複数の認識待ちの目標対象を含む目標画像を切り出してもよい。当業者であれば理解できるように、ＲＣＮＮは、単に例示であり、他のディープラーニングネットワークを採用して目標検出を行ってもよく、本発明ではこれについて限定しない。

【0034】

ステップ１０２では、前記目標画像の高さを所定高さに調整する。

【0035】

ただし、前記目標画像の高さ方向は、前記複数の認識待ちの目標対象が積層された方向である。前記所定高さは、前記認識待ちの目標対象の厚さの整数倍であってもよい。図２Ａおよび図２Ｂに示す積載されたゲームコインを例とし、図２Ａおよび図２Ｂで示されたゲームコインの積層方向を前記目標画像の高さ方向として確定することができる。これに応じて、前記ゲームコインの径方向を前記目標画像の幅方向として確定する。

【0036】

ステップ１０３では、調整された目標画像の特徴マップを抽出する。

【0037】

調整後の目標画像について、予めトレーニングされた特徴抽出ネットワークを利用して、前記調整後の目標画像の特徴マップを取得してもよい。ただし、前記特徴抽出ネットワークは、複数の畳み込み層、または複数の畳み込み層とプーリング層等を含んでもよい。複数層の特徴抽出により、徐々に低レベル特徴を中レベルまたは高レベル特徴に変換して、前記目標画像に対する表現力を向上させ、後段の処理に有利になる。

【0038】

ステップ１０４では、前記特徴マップを前記目標画像の高さ方向に沿ってセグメント分けして、所定数のセグメントの特徴を取得する。

【0039】

前記特徴マップを目標画像の高さ方向においてセグメント分けすることにより、所定数のセグメントの特徴を取得することができる。ただし、各セグメントの特徴は、１つの目標対象に対応するものとして考えられてもよい。ただし、前記所定数は、認識待ちの目標対象の最大数でもある。

【0040】

一例において、前記特徴マップは、複数の次元、例えば、チャンネル次元、高さ次元、幅次元、バッチ（ｂａｔｃｈ）次元等を含んでもよく、前記特徴マップのフォーマットは、例えば、[Ｂ Ｃ Ｈ Ｗ]と表現され得る。ただし、Ｂは、バッチ次元を示し、Ｃは、チャンネル次元を示し、Ｈは、高さ次元を示し、Ｗは、幅次元を示す。ただし、前記特徴マップの高さ次元と幅次元とで指示される方向は、目標画像の高さ方向および幅方向に基づいて確定されてもよい。

【0041】

ステップ１０５では、前記所定数のセグメントの特徴のうちの各セグメントの特徴に基づいて目標対象の認識を行う。

【0042】

各セグメントの特徴が１つの目標対象に対応するため、各セグメントごとに特徴目標対象の認識を行うことは、直接目標画像の特徴マップを利用して目標認識を行うことよりも、目標対象の数による影響を解消し、目標画像内の目標対象の認識正確性を向上させる。

【0043】

幾つかの実施例において、目標領域側面に設けられた画像収集装置を介して、直立の複数の目標対象を含む目標画像（側面視画像と呼称）を撮影してもよく、または、目標領域上方に設けられた画像収集装置を介して、横立の複数の目標対象を含む目標画像（平面図像と呼称）を撮影してもよい。

【0044】

幾つかの実施例において、以下の方法で前記目標画像の高さを調整してもよい。

【0045】

まず、前記目標画像に対応する所定高さおよび所定幅を取得し、前記目標画像に対してサイズ変換を行うことに用いる。ただし、前記所定幅は、目標対象の平均幅に応じて設定されてもよく、前記所定高さは、前記目標対象の平均高さと認識待ちの目標対象の最大数とに応じて設定されてもよい。

【0046】

一例において、前記目標画像の幅が所定幅になるまで、前記目標画像の高さおよび幅を等比率でスケーリングしてもよい。ただし、等比率でスケーリングするとは、前記目標画像の高さと幅との間の比率を維持したまま、前記目標画像に対して拡大または縮小を行うことを指す。ただし、前記所定幅および所定高さの単位は、画素であってもよく、他の単位であってもよいが、本発明では、これについて限定しない。

【0047】

スケーリング後の目標画像の幅が所定幅に達したが、スケーリング後の目標画像の高さが所定高さよりも大きい場合に、縮小後の目標画像の高さが所定高さに等しくなるまで、前記スケーリング後の目標画像の高さおよび幅を等比率で縮小する。

【0048】

例を挙げると、前記目標対象がゲームコインであるとすれば、ゲームコインの平均幅に基づいて、所定幅を２２４ｐｉｘ（画素）に設定してもよく、ゲームコインの平均高さと認識待ちのゲームコインの最大数例えば７２とに基づいて、所定高さを１３４４ｐｉｘに設定してもよい。まず、目標画像の幅を２２４ｐｉｘに調整し、前記目標画像の高さを等比率で調整してもよい。調整後の高さが１３４４ｐｉｘよりも大きい場合に、調整後の目標画像の高さを再度調整して前記目標画像の高さを１３４４ｐｉｘにさせるとともに、前記目標画像の幅を等比率で調整することにより、前記目標画像の高さを所定高さ１３４４ｐｉｘに調整することを図る。調整後の高さが１３４４ｐｉｘに等しい場合に、再度調整を必要とせず、前記目標画像の高さを所定高さ１３４４ｐｉｘに調整する。

【0049】

一例において、前記目標画像の幅が所定幅になるまで、前記目標画像の高さおよび幅を等比率でスケーリングする。スケーリング後の目標画像の幅が所定幅に達したが、スケーリング後の目標画像の高さが所定高さよりも小さい場合に、第１画素を利用してスケーリング後の目標画像に対して充填することにより、充填後の目標画像の高さが所定高さになるようにする。

【0050】

ただし、前記第１画素は、画素値がゼロの画素、即ち、黒色画素であってもよい。前記第１画素は、他の画素値と設定されてもよい。具体的な画素値は、本発明の実施例の効果へ影響しない。

【0051】

相変わらず前記目標対象がゲームコインであり、所定幅を２２４ｐｉｘ、所定高さを１３４４ｐｉｘ、最大数を７２とすることを例とし、まず、目標画像の幅を２２４ｐｉｘまでスケーリングし、前記目標画像の高さを等比率でスケーリングしてもよい。スケーリング後の目標画像の高さが１３４４ｐｉｘよりも小さい場合に、１３４４ｐｉｘ未満である高さの部分に黒色画素を充填することにより、充填後の目標画像の高さが１３４４ｐｉｘになるようにする。充填後の目標画像の高さが１３４４ｐｉｘに等しい場合に、充填を必要とせずに、前記目標画像の高さを所定高さ１３４４ｐｉｘに調整することを実現する。

【0052】

前記目標画像の高さを所定高さに調整した後、調整後の目標画像の特徴マップを前記目標画像の高さ方向に対応する次元に沿ってセグメント分けして所定数のセグメントの特徴を取得してもよい。

【0053】

特徴マップ[Ｂ Ｃ Ｈ Ｗ]を例とし、例えば、所定数、即ち、認識待ちの目標対象の最大数である７２に基づいて、特徴マップ[Ｂ Ｃ Ｈ Ｗ]をＨ次元（高さ次元）においてセグメント分けする。調整後の目標画像の高さが所定高さよりも小さい場合に、目標画像に対して充填を行って高さが所定高さに達するようにする。調整後の目標画像の高さが所定高さよりも大きい場合に、等比率縮小によって目標画像の高さを所定高さに調整するため、前記目標画像の特徴マップは、何れも所定高さの目標画像に基づいて取得されたものとなる。また、前記所定高さが認識待ちの目標対象の最大数に応じて設定されるため、前記最大数に応じて前記特徴マップをセグメント分けして、取得された各セグメントの特徴マップを各目標対象に関連付けさせ、各セグメントの特徴マップに基づいて目標対象の認識を行うことにより、目標対象の数による影響を低減可能であり、各目標対象認識の正確性を向上させる。

【0054】

幾つかの実施例において、前記充填後の目標画像における、前記充填後の目標画像をセグメント分けして得た所定数のセグメント特徴について、前記セグメント特徴を分類するときに、前記第１画素で充填された領域に対応するセグメントの特徴の分類結果は、空となる。例えば、黒色画素で充填された領域に対応するセグメントの特徴について、これらのセグメントの特徴に対応する分類結果が空であると確定可能である。目標対象の最大数と空である分類結果の数との差により、目標画像に含まれる非空である分類結果の数を確定してもよく、または、目標対象に対応するセグメント特徴の非空である分類結果の数を直接認識してもよい。こうようにすることによって、取得された非空である分類結果の数に基づいて、目標画像に含まれる目標対象の数を確定することができる。

【0055】

認識待ちの目標対象の最大数を７２とすれば、目標画像の特徴マップを７２セグメントに分け、各セグメントの特徴マップに基づいて目標対象の認識を行うと、７２個の分類結果を取得可能である。目標画像が黒色画素充填領域を含む場合に、当該充填領域のセグメントの特徴マップに対応する分類結果は、空となる。例えば、空である分類結果を１６個取得した場合に、非空である分類結果が５６個取得される。こうようにすることによって、目標画像が５６個の目標対象を含むと確定可能である。

【0056】

当業者であれば理解できるように、以上の所定幅パラメータ、所定高さパラメータ、認識待ちの目標対象の最大数パラメータは、何れも例示であり、これらのパラメータの具体的な数値は、実際の需要に応じて具体的に設定されてもよい。本発明の実施例では、これについて限定しない。

【0057】

幾つかの実施例において、特徴マップの抽出と目標対象の認識とは、何れもニューラルネットワークによって実行され、前記ニューラルネットワークは、サンプル画像とそのラベル情報とを用いてトレーニングされたものである。前記ニューラルネットワークは、特徴抽出ネットワークおよび分類ネットワークを含んでもよい。ただし、前記特徴抽出ネットワークは、サイズ調整後の目標画像の特徴マップを抽出し、前記分類ネットワークは、所定数のセグメントの特徴のうちの各セグメントの特徴に基づいて目標対象の認識を行う。ただし、前記サンプル画像は、複数の目標対象を含む。

【0058】

一例において、前記サンプル画像のラベル情報は、前記サンプル画像内の各目標対象のラベルタイプを含み、前記ニューラルネットワークは、以下の操作によってトレーニングされたものである。前記操作は、サイズ調整後のサンプル画像に対して特徴抽出を行い、前記サイズ調整後のサンプル画像の特徴マップを取得することと、前記特徴マップをセグメント分けして得た各セグメントの特徴に基づいて、サンプル画像内の目標対象の認識を行い、サンプル画像内の各目標対象の予測タイプを取得することと、前記サンプル画像内の各目標対象の予測タイプと前記サンプル画像内の各目標対象のラベルタイプとに基づいて、前記ニューラルネットワークのパラメータ値を調整することとである。

【0059】

ゲームコインを例とすると、各ゲームコインのタイプが額面に関連し、同じ額面のゲームコインは、同一のタイプに属する。直立で積載された複数のゲームコインを含むサンプル画像について、前記サンプル画像に各ゲームコインの額面をラベリングされている。額面がラベリングされたサンプル画像に基づいて、目標対象を認識するためのニューラルネットワークをトレーニングする。前記ニューラルネットワークは、サンプル画像に基づいて、予測によって各ゲームコインの額面を取得し、予測タイプとラベルタイプとの間の差により、例えば、前記特徴抽出ネットワークのパラメータ値と前記分類ネットワークのパラメータ値とを含む前記ニューラルネットワークのパラメータ値を調整し、予測タイプとラベルタイプとの間の差が設定閾値より小さくなるときに、または、反復回数が設定回数に達するときに、トレーニングを完了する。

【0060】

一例において、前記サンプル画像のラベル情報は、各ラベルタイプの目標対象の数を更に含む。このような場合に、前記サンプル画像内の各目標対象の予測タイプと、前記サンプル画像内の各目標対象のラベルタイプと、前記サンプル画像における各ラベルタイプの目標対象の数と、前記サンプル画像における各予測タイプの目標対象の数とに基づいて、前記ニューラルネットワークのパラメータ値を調整する。

【0061】

依然として直立で積載された複数のゲームコインを例とすると、前記サンプル画像には、各ゲームコインの額面情報、および各額面のゲームコインの数情報がラベリングされている。上記情報がラベリングされたサンプル画像に基づいて、目標対象を認識するためのニューラルネットワークをトレーニングする。前記ニューラルネットワークは、サンプル画像に基づいて、予測によって各ゲームコインの額面および同一額面のゲームコインの数を取得する。予測結果とラベル情報との間の差に基づいて、前記ニューラルネットワークのパラメータ値を調整する。

【0062】

一例において、前記サンプル画像のラベル情報は、前記サンプル画像内の目標対象の総数を更に含む。このような場合に、前記サンプル画像内の各目標対象の予測タイプと、前記サンプル画像内の各目標対象のラベルタイプと、前記サンプル画像における各予測タイプの目標対象の数の和と、前記サンプル画像内の目標対象の総数とに基づいて、前記ニューラルネットワークのパラメータ値を調整する。

【0063】

依然として直立で積載された複数のゲームコインを例とすると、前記サンプル画像には、各ゲームコインの額面情報およびゲームコインの総数情報がラベリングされている。上記情報がラベリングされたサンプル画像に基づいて、目標対象を認識するためのニューラルネットワークをトレーニングする。前記ニューラルネットワークは、サンプル画像に基づいて、予測によって、各ゲームコインの額面、およびゲームコインの総数（つまり、予測結果）を取得する。予測結果とラベル情報との間の差に基づいて、前記ニューラルネットワークのパラメータ値を調整する。

【0064】

一例において、前記サンプル画像のラベル情報は、前記サンプル画像内の各目標対象のラベルタイプ、前記サンプル画像における各ラベルタイプの目標対象の数目、前記サンプル画像内の目標対象の総数を含む。このような場合に、前記サンプル画像内の各目標対象の予測タイプと、前記サンプル画像内の各目標対象のラベルタイプと、前記サンプル画像における各ラベルタイプの目標対象の数と、前記サンプル画像における各予測タイプの目標対象の数と、前記サンプル画像における各予測タイプの目標対象の数の和および前記サンプル画像内の目標対象の総数とに基づいて、前記ニューラルネットワークのパラメータ値を調整する。

【0065】

依然として直立で積載された複数のゲームコインを例とすると、前記サンプル画像には、各ゲームコインの額面情報、各種の額面のゲームコインの数情報およびゲームコインの総数情報がラベリングされている。上記情報がラベリングされたサンプル画像に基づいて、目標対象を認識するためのニューラルネットワークをトレーニングする。前記ニューラルネットワークは、サンプル画像に基づいて、予測によって各ゲームコインの額面、各種の額面のゲームコインの数、およびゲームコインの総数を取得する。予測結果とラベル情報との間の差に基づいて、前記ニューラルネットワークのパラメータ値を調整する。

【0066】

本発明の実施例において、前記ニューラルネットワークをトレーニングするのに用いられる損失関数は、交差エントロピー損失、各タイプの目標対象の数損失、前記目標対象の総数損失のうちの少なくとも一項を含む。つまり、前記損失関数が、交差エントロピー損失の他に、各タイプの目標対象の数損失および前記目標対象の総数損失も含むことができるため、目標対象の数に対する認識能力を向上させる。

【0067】

幾つかの実施例において、ニューラルネットワークをトレーニングする際に、トレーニングデータを拡張することによって、本発明の実施例に係る目標対象のタイプおよび数を認識するためのニューラルネットワークが実際の場面により良好に適用するようにしてもよい。例えば、前記サンプル画像を水平反転させること、前記サンプル画像を設定角度で回転させること、前記サンプル画像に対して色変換を行うことと、前記サンプル画像に対して輝度変換を行うこと等のうちの何れか一項または複数項を採用してデータ拡張を行ってもよい。

【0068】

本発明の複数の実施例に係る目標対象認識方法は、複数種のタイプの目標対象を認識するために用いられてもよく、セグメント分けされた特徴マップを利用して目標対象を認識することにより、各タイプの目標対象の認識精度がタイプ種類の増加につれて劣化されることはない。

【0069】

幾つかの実施例において、トレーニングされた前記ニューラルネットワークをテストし、前記テストの結果に基づいて、前記ニューラルネットワークに応じて各タイプの目標対象の認識精度を並べ替え、認識精度の並べ替え結果を取得し、前記テストの結果に基づいて、前記ニューラルネットワークに応じて各タイプの目標対象の誤認識率を並べ替え、誤認識率の並べ替え結果を取得し、前記認識精度の並べ替え結果と前記誤認識率の並べ替え結果とに基づいて、前記ニューラルネットワークを更にトレーニングしてもよい。

【0070】

各タイプの目標対象の認識精度の並べ替え結果および誤認識率の並べ替え結果について、二次元テーブルを利用して記憶してもよい。例えば、認識精度の並べ替え結果を上から下への順番でテーブルに記憶し、誤認識率の並べ替え結果を左から右への順番でテーブルに記憶してもよい。前記表格における設定範囲内のタイプ、例えば、前記テーブルにおける、第３行に位置する前３列の範囲内のタイプについて、更にトレーニングすることにより、ニューラルネットワークのこれらのタイプに対する認識精度および正確率を向上させる。

【0071】

図３は、本発明の少なくとも１つの実施例に係る目標対象認識装置のブロック図である。図３に示すように、前記装置は、収集された画像から、積層された複数の認識待ちの目標対象を含む目標画像を切り出すための取得ユニット３０１と、前記目標画像の高さを所定高さに調整するための調整ユニット３０２と、前記調整された目標画像の特徴マップを抽出するための抽出ユニット３０３と、前記特徴マップを前記目標画像の高さ方向に対応する次元に沿ってセグメント分けして、所定数のセグメントの特徴を取得するためのセグメント分けユニット３０３と、前記所定数のセグメントの特徴のうちの各セグメントの特徴に基づいて目標対象の認識を行うための認識ユニット３０５と、を備え、ここで、前記目標画像の高さ方向は、前記複数の認識待ちの目標対象が積層された方向である。

【0072】

幾つかの実施例において、前記調整ユニット３０２は、スケーリング後の目標画像の幅が所定幅になるまで、前記目標画像の高さおよび幅を等比率でスケーリングし、スケーリング後の目標画像の幅が所定幅に達したが、スケーリング後の目標画像高さが所定高さよりも大きい場合に、縮小後の目標画像の高さが所定高さに等しくなるまで、前記スケーリング後の目標画像の高さおよび幅を等比率で縮小する。

【0073】

幾つかの実施例において、前記調整ユニット３０２は、スケーリング後の目標画像の幅が所定幅になるまで、前記目標画像の高さおよび幅を等比率でスケーリングし、スケーリング後の目標画像の幅が所定幅に達したが、スケーリング後の目標画像の高さが所定高さよりも小さい場合に、第１画素を利用してスケーリング後の目標画像に対して充填することにより、充填後の目標画像の高さが所定高さになるようにする。

【0074】

幾つかの実施例において、前記目標画像内の認識待ちの目標対象は、シート状物体であり、各認識待ちの目標対象の厚さは、等しく、前記複数の認識待ちの目標対象は、その厚さ方向に沿って積層され、所定高さは、前記認識待ちの目標対象の厚さの整数倍である。

【0075】

幾つかの実施例において、特徴マップの抽出と目標対象の認識とは、何れもニューラルネットワークによって実行され、前記ニューラルネットワークは、サンプル画像とそのラベル情報とを用いてトレーニングされたものである。

【0076】

幾つかの実施例において、前記サンプル画像のラベル情報は、前記サンプル画像内の各目標対象のラベルタイプを含み、前記装置は、トレーニングユニットを更に備え、前記トレーニングユニットは、サイズ調整後のサンプル画像に対して特徴抽出を行い、前記サイズ調整後のサンプル画像の特徴マップを取得することと、前記特徴マップをセグメント分けして得た各セグメントの特徴に基づいて、サンプル画像内の目標対象の認識を行い、サンプル画像内の各目標対象の予測タイプを取得することと、前記サンプル画像内の各目標対象の予測タイプと前記サンプル画像内の各目標対象のラベルタイプとに基づいて、前記ニューラルネットワークのパラメータ値を調整することとにより、前記ニューラルネットワークをトレーニングする。

【0077】

幾つかの実施例において、前記サンプル画像のラベル情報は、各ラベルタイプの目標対象の数を更に含み、前記トレーニングユニットは、前記サンプル画像内の各目標対象の予測タイプと前記サンプル画像内の各目標対象のラベルタイプとに基づいて、前記ニューラルネットワークのパラメータ値を調整するときに、具体的に、前記サンプル画像内の各目標対象の予測タイプと、前記サンプル画像内の各目標対象のラベルタイプと、前記サンプル画像における各ラベルタイプの目標対象の数と、前記サンプル画像における各予測タイプの目標対象の数とに基づいて、前記ニューラルネットワークのパラメータ値を調整する。

【0078】

幾つかの実施例において、前記サンプル画像のラベル情報は、前記サンプル画像内の目標対象の総数を更に含み、前記トレーニングユニットは、前記サンプル画像内の各目標対象の予測タイプと前記サンプル画像内の各目標対象のラベルタイプとに基づいて、前記ニューラルネットワークのパラメータ値を調整するときに、前記サンプル画像内の各目標対象の予測タイプと、前記サンプル画像内の各目標対象のラベルタイプと、前記サンプル画像における各予測タイプの目標対象の数の和と、前記サンプル画像内の目標対象の総数とに基づいて、前記ニューラルネットワークのパラメータ値を調整する。

【0079】

幾つかの実施例において、前記装置は、テストユニットを更に備え、前記テストユニットは、トレーニングされた前記ニューラルネットワークをテストし、前記テストの結果に基づいて、前記ニューラルネットワークに応じて各タイプの目標対象の認識精度を並べ替え、認識精度の並べ替え結果を取得し、前記テストの結果に基づいて、前記ニューラルネットワークに応じて各タイプの目標対象の誤認識率を並べ替え、誤認識率の並べ替え結果を取得し、前記認識精度の並べ替え結果と前記誤認識率の並べ替え結果とに基づいて、前記ニューラルネットワークを更にトレーニングする。

【0080】

図４は、本発明の少なくとも１つの実施例に係る電子デバイスのブロック図である。図４に示すように、前記電子デバイスは、プロセッサと、プロセッサ実行可能指令を記憶するためのメモリとを備えてもよい。ただし、前記プロセッサは、前記指令を実行することにより、本発明の何れか１つの実施形態に記載の目標対象認識方法を実施する。

【0081】

本発明の少なくとも１つの実施例は、コンピュータ可読記憶媒体を更に提供する。前記コンピュータ可読記憶媒体には、コンピュータプログラム指令が記憶され、前記プログラム指令がプロセッサによって実行されたときに、本発明の何れか１つの実施形態に記載の目標対象認識方法は、実施される。

【0082】

当業者であれば理解できるように、本発明の１つまたは複数の実施例は、方法、システムまたはコンピュータプログラム製品として提供され得る。したがって、本発明の１つまたは複数の実施例は、完全なハードウェアの実施例、完全なソフトウェアの実施例、またはソフトウェアとハードウェアとを組み合わせた態様の実施例の形式を採用してもよい。また、本発明の１つまたは複数の実施例は、１つまたは複数の、コンピュータ利用可能なプログラムコードを含むコンピュータ利用可能な記憶媒体（磁気ディスクメモリ、ＣＤ－ＲＯＭ、光学メモリ等を含むが、それらに限定されない）で実施されるコンピュータプログラム製品の形式を採用してもよい。

【0083】

本発明における「および／または」は、両者のうちの１つを少なくとも含むことを示す。例えば、「Ａおよび／またはＢ」は、Ａ、Ｂ、および「ＡとＢ」という３つの形態を含む。

【0084】

本発明における各実施例は、何れも漸進の方式で記述され、各実施例は、他の実施例との相違点を重点的に説明し、各実施例同士の同じまたは類似する部分が互いに参照すればよい。特にデータ処理デバイスの実施例は、方法実施例に基本的に類似するため、記述が相対的に簡単であり、関連箇所が方法実施例の部分の説明を参照すればよい。

【0085】

以上は、本発明の特定の実施例について記述した。他の実施例は、添付する特許請求の範囲のスコープ内に含まれる。幾つかの場合において、特許請求の範囲に記載の挙動またはことは、実施例における順番と異なる順番で実行可能であり、且つ依然として所望の結果を得ることができる。また、図面に描かれた手順は、示された特定の順番または連続順番でないと所望の結果を得られないことを要求するとは限らない。幾つかの実施形態において、マルチタスク処理および並行処理も、実行可能であり、または有利なものである。

【0086】

本発明に記述されたテーマおよび機能操作の実施例は、デジタル電子回路、有形的に体現されたコンピュータソフトウェア若しくはファームウェア、本発明に開示された構造およびその構造的均等物を含むコンピュータハードウェア、またはそれらのうちの１つまたは複数の組み合わせにおいて実現され得る。本発明に記述されたテーマの実施例は、１つまたは複数のコンピュータプログラム、即ち、有形の非一時的なプログラムキャリア上にコーディングされることでデータ処理装置によって実行されまたはデータ処理装置の操作を制御されるコンピュータプログラム指令における１つまたは複数のモジュールとして実現され得る。代替的にまたは追加的に、プログラム指令は、人工で生成された伝送信号、例えばデバイスで生成された電気、光または電磁的信号にコーディングされてもよい。当該信号は、生成されることで情報を符号化して適切な受信機装置へ伝送されてデータ処理装置に実行させる。コンピュータ記憶媒体は、デバイス読み取り可能な記憶デバイス、デバイス読み取り可能な記憶基板、ランダム若しくはシリアルアクセスメモリデバイス、またはそれらのうちの１つ若しくは複数の組み合わせであってもよい。

【0087】

本発明に記述された処理および論理フローは、１つまたは複数のコンピュータプログラムを実行する１つまたは複数のプログラマブルコンピュータによって実施されて、入力データに応じて操作を行って出力を生成して対応する機能を実行させてもよい。前記処理および論理フローは、専用論理回路、例えばＦＰＧＡ（フィールドプログラマブルゲートアレイ）またはＡＳＩＣ（特定用途向け集積回路）によって実行されてもよく、装置も専用論理回路として実現されてもよい。

【0088】

コンピュータプログラムの実行に適するコンピュータは、例えば、汎用および／または専用マイクロプロセッサ、または如何なる他のタイプの中央処理装置を含む。通常、中央処理装置は、読み出し専用メモリおよび／またはランダムアクセスメモリから指令およびデータを受信する。コンピュータの基本ユニットは、指令を実施や実行するための中央処理装置と、指令およびデータを記憶するための１つまたは複数のメモリデバイスとを備える。通常、コンピュータは、更に、データを記憶するための１つまたは複数の大容量記憶デバイス、例えば、磁気ディスク、光磁気ディスクまたは光ディスク等を含み、または、コンピュータは、この大容量記憶デバイスに操作可能にカップリングされてそれからデータを受信したりそれへデータを伝送したりし、または、２種の状況を兼ね備える。しかし、コンピュータは、このようなデバイスを必ず有するとは限らない。また、コンピュータは、別のデバイス、例えば、携帯電話、パーソナルデジタルアシスタント（ＰＤＡ）、モバイルオーディオまたはビデオプレーヤ、ゲームコンソール、全地球測位システム（ＧＰＳ）受信機、または、例えばユニバーサルシリアルバス（ＵＳＢ）フラッシュメモリドライバの携帯型記憶デバイスに組み込まれてもよい。以上は、単に幾つかの例である。

【0089】

コンピュータプログラム指令およびデータを記憶するのに適するコンピュータ可読媒体は、あらゆる形態の不揮発性メモリ、メディアとメモリデバイスを含み、例えば、半導体メモリデバイス（例えば、ＥＰＲＯＭ、ＥＥＰＲＯＭとフラッシュメモリデバイス）、磁気ディスク（例えば、内部ハードディスクまたはリムーバブルディスク）、光磁気ディスクおよびＣＤ ＲＯＭとＤＶＤ－ＲＯＭディスクを含む。プロセッサとメモリは、専用論理回路によって補充されまたは専用論理回路に統合されてもよい。

【0090】

本発明が大量の具体的な実施詳細を含むが、これらの詳細は、本発明を制限するとは解釈すべきではなく、主に本発明の具体的な実施例の特徴を記述するために用いられる。本発明の複数の実施例に記述された幾つかの特徴は、単一の実施例において組み合わせて実施されてもよい。その一方、単一の実施例に記述された各種の特徴は、複数の実施例に分けて実施され、または、如何なる適切なサブ組み合わせとして実施されてもよい。また、特徴が上記のように幾つかの組み合わせにおいて役割を果たし、ひいてはこのように保護するように要求されてもよいが、保護請求される組み合わせからの１つまたは複数の特徴は、幾つかの場合において当該組み合わせから除去されてもよく、更に、保護請求される組み合わせは、サブ組み合わせまたはサブ組み合わせの変形を指してもよい。

【0091】

類似的に、図面に特定の順番で操作が描かれたが、これらの操作が示された特定の順番で実行されまたは順に実行されまたは全ての例示の操作が実行されて所望の結果を得ることを要求するとして理解すべきではない。幾つかの場合に、マルチタスクおよび並行処理は、有利である可能性がある。また、上記実施例における各種のシステムモジュールとユニットの分離は、全ての実施例においてこのような分離を必要とすると理解すべきではない。更に、理解できるように、記述されるプログラムユニットおよびシステムは、通常、単一のソフトウェア製品に統合されてもよく、または複数のソフトウェア製品としてカプセル化されてもよい。

【0092】

このように、テーマの特定実施例が記述された。他の実施例は、添付する特許請求の範囲のスコープ内に含まれる。幾つかの場合において、特許請求の範囲に記載の動作は、異なる順番で実行可能であり、且つ依然として所望の結果を得ることができる。また、図面に描かれた処理が必ずしも示された特定の順番または連続順番で所望の結果を得るとは限らない。幾つかの実施形態において、マルチタスク処理および並行処理は、有利である可能性がある。

【0093】

上述したのは、本発明の幾つかの実施例であり、本発明を制限するためのものではない。本発明の精神および原則内でなされた如何なる変更、均等物による置換、改良等も、本発明の範囲内に含まれるべきである。

【図1】

【図2A】

【図2B】

【図3】

【図4】