特許 7024812 画像処理方法、装置及びコンピュータ読み取り可能な記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-02-15

(45)【発行日】2022-02-24

(54)【発明の名称】画像処理方法、装置及びコンピュータ読み取り可能な記憶媒体

(51)【国際特許分類】

   G06T 7/00 20170101AFI20220216BHJP

   G06T 3/00 20060101ALI20220216BHJP

【ＦＩ】

G06T7/00 350C

G06T3/00 730

【請求項の数】 10

(21)【出願番号】P 2020036057

(22)【出願日】2020-03-03

(65)【公開番号】P2020144864

(43)【公開日】2020-09-10

【審査請求日】2020-03-03

(31)【優先権主張番号】201910170972.8

(32)【優先日】2019-03-07

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】000006747

【氏名又は名称】株式会社リコー

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(72)【発明者】

【氏名】ハイジン ジィア

(72)【発明者】

【氏名】ホォン イ

(72)【発明者】

【氏名】リイェヌ リィウ

(72)【発明者】

【氏名】ウェイ ワン

【審査官】小池 正彦

(56)【参考文献】

【文献】国際公開第２０１１／１０７４４８（ＷＯ，Ａ２）

【文献】米国特許出願公開第２０１９／００６６２７６（ＵＳ，Ａ１）

【文献】特開２００５－０１０５２１（ＪＰ，Ａ）

【文献】特開２０１９－１４９０９９（ＪＰ，Ａ）

【文献】特開２００５－３１１８７５（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１５／０２７８９８８（ＵＳ，Ａ１）

【文献】関 海克，新西 誠人，魚眼カメラによる職場作業者認識および位置測定，ＳＳＩＩ２０１８ Ｔｈｅ ２４ｔｈ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｓｅｎｓｉｎｇ ｖｉａ Ｉｍａｇｅ Ｉｎｆｏｒｍａｔｉｏｎ ［ＵＳＢ］，日本，画像センシング技術研究会，2018年12月31日

【文献】Zhe Cao et al，Realtime Multi-person 2D Pose Estimation Using Part Affinity Fields，2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)，米国，IEEE，2017年07月26日，1302-1310，https://ieeexplore.ieee.org/document/8099626

【文献】一原 賢吾，竹内 健，金井 謙治，甲藤 二郎，姿勢推定技術に基づく機械学習を活用した人物の不審動作認識手法の精度評価，電子情報通信学会技術研究報告，日本，一般社団法人電子情報通信学会，2018年03月01日，Ｖｏｌ．１１７ Ｎｏ．４８５，89～94

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ｇ０６Ｔ ３／００

(57)【特許請求の範囲】

【請求項1】

元の画像を取得するステップと、
前記元の画像を第１部分と第２部分に分割し、前記元の画像の第１部分における少なくとも一部の画像のディストーションが所定閾値より小さく、前記元の画像の第２部分における少なくとも一部の画像のディストーションが所定閾値以上であるステップと、
前記元の画像の第２部分に対して補正を行い、前記第２部分に対応するディストーション補正画像を取得するステップと、
前記元の画像の第１部分及び前記ディストーション補正画像に対して認識処理を行い、前記元の画像における対象を認識するステップと、を含み、
前記元の画像は正距円筒図であり、
前記元の画像を第１部分と第２部分に分割するステップは、
前記正距円筒図を取得するためのパノラマカメラの地面からの高さに基づいて、前記元の画像を第１部分と第２部分とに分割する、ことを特徴とする画像処理方法。

【請求項2】

前記元の画像の第２部分に対して補正を行い、前記第２部分に対応するディストーション補正画像を取得するステップは、
前記元の画像の第２部分に対して投影変換を行い、前記ディストーション補正画像を取得する、ことを特徴とする請求項１に記載の画像処理方法。

【請求項3】

前記元の画像の第１部分及び前記ディストーション補正画像に対して認識処理を行うことは、
前記元の画像の第１部分及び前記ディストーション補正画像に対して特徴点の認識及び／又は特徴点連結関係の認識を行うことと、
前記元の画像の第１部分に対する認識結果に基づき、前記元の画像の第１部分の特徴点及び／又は特徴点連結関係を取得することと、
前記ディストーション補正画像の認識結果に基づき、前記ディストーション補正画像の特徴点及び／又は特徴点連結関係を取得することと、を含むことを特徴とする請求項１に記載の画像処理方法。

【請求項4】

前記元の画像の第１部分及び前記ディストーション補正画像に対して特徴点の認識及び／又は特徴点連結関係の認識を行うことは、
トレーニングデータに基づき、ニューラルネットワークによって前記元の画像の第１部分及び前記ディストーション補正画像の特徴点信頼度及び／又は特徴点連結ベクトル場を取得し、前記トレーニングデータは前記対象の特徴点及び／又は特徴点連結関係のデータである、ことを特徴とする請求項３に記載の画像処理方法。

【請求項5】

前記元の画像の第１部分及び前記ディストーション補正画像に対して認識処理を行い、前記元の画像における対象を認識するステップは、さらに、
前記ディストーション補正画像の特徴点信頼度及び／又は特徴点連結ベクトル場を前記元の画像の第２部分の特徴点信頼度及び／又は特徴点連結ベクトル場にマッピングする、ことを特徴とする請求項４に記載の画像処理方法。

【請求項6】

前記元の画像の第１部分及び前記ディストーション補正画像に対して認識処理を行い、前記元の画像における対象を認識するステップは、さらに、
前記元の画像の第１部分及び第２部分の特徴点信頼度及び／又は特徴点接続ベクトル場に基づいて前記元の画像における対象を認識する、ことを特徴とする請求項５に記載の画像処理方法。

【請求項7】

元の画像を取得する取得ユニットと、
前記元の画像を第１部分と第２部分に分割し、前記元の画像の第１部分における少なくとも一部の画像のディストーションが所定閾値より小さく、前記元の画像の第２部分における少なくとも一部の画像のディストーションが所定閾値以上である分割ユニットと、
前記元の画像の第２部分に対して補正を行い、前記第２部分に対応するディストーション補正画像を取得する補正ユニットと、
前記元の画像の第１部分及び前記ディストーション補正画像に対して認識処理を行い、前記元の画像における対象を認識する認識ユニットと、を含み、
前記元の画像は正距円筒図であり、
前記元の画像を第１部分と第２部分に分割するステップは、
前記正距円筒図を取得するためのパノラマカメラの地面からの高さに基づいて、前記元の画像を第１部分と第２部分とに分割する、ことを特徴とする画像処理装置。

【請求項8】

プロセッサーと、
コンピュータプログラムコマンドが格納されているメモリと、を含み、
前記コンピュータプログラムコマンドは、前記プロセッサーにより実行される時に、前記プロセッサーに、請求項１ないし６のいずれか１項に記載の画像処理方法を実行させる、ことを特徴とする画像処理装置。

【請求項9】

コンピュータに、請求項１ないし６のいずれか１項に記載の画像処理方法を実行させるためのプログラム。

【請求項10】

請求項９に記載のプログラムを記憶したコンピュータ読み取り可能な記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は画像処理分野に関し、特に画像処理方法、装置及びコンピュータ読み取り可能な記憶媒体に関する。

【背景技術】

【0002】

正距円筒図法(360度パノラマ画像から変換された平面画像)のような画像の作像過程において、画像サンプリング方法、作像透視誤差又は画像変換方法等の要因により、ねじれ、伸張、押圧等の変形を有するディストーション画像を形成する可能性がある。ディストーション画像は補正することによりディストーションを除去することができ、補正された画像をさらに利用して人や物体に対する対象認識過程を行うことができる。

【0003】

通常のディストーション画像補正及び対象認識過程においては、一般的にディストーション画像全体を補正する必要があり、その後、補正した画像により認識される対象に基づいて検出枠を取得し、当該検出枠をディストーション画像にマッピング且つ再配置して、最終、重ね合った検出枠を処理することで、最終的な対象認識結果を取得する。しかし、このような画像補正及び対象認識の方法では、認識する物体の検出枠に対して複数回の融合と処理を行う必要があり、これによって処理ステップが煩雑になり、対象認識精度が高くないという問題を生じる。それに、ディストーション画像を補正せずに対象認識を直接行うと、対象認識の精度が低すぎることになる。

【発明の概要】

【発明が解決しようとする課題】

【0004】

このため、対象認識の精度をさらに向上でき、画像処理ステップを簡略化できる画像処理方法および装置が望まれている。

【課題を解決するための手段】

【0005】

上記課題を解決するために、本発明の一側面により画像処理方法が提供され、元の画像を取得するステップと、前記元の画像を第1部分と第2部分に分割し、前記元の画像の第1部分における少なくとも一部の画像のディストーションが所定閾値より小さく、前記元の画像の第2部分における少なくとも一部の画像のディストーションが所定閾値以上であるステップと、前記元の画像の第2部分に対して補正を行い、前記第2部分に対応するディストーション補正画像を取得するステップと、前記元の画像の第1部分及び前記ディストーション補正画像を認識し、前記元の画像における対象を認識するステップと、を含む。

【0006】

本発明の他の側面は画像処理装置を提供し、前記装置は、元の画像を取得する取得ユニットと、前記元の画像を第1部分と第2部分に分割し、前記元の画像の第1部分における少なくとも一部の画像のディストーションが所定閾値より小さく、前記元の画像の第2部分における少なくとも一部の画像のディストーションが所定閾値以上である分割ユニットと、前記元の画像の第2部分に対して補正を行い、前記第2部分に対応するディストーション補正画像を取得する補正ユニットと、前記元の画像の第1部分及び前記ディストーション補正画像を認識し、前記元の画像における対象を認識する認識ユニットと、を含む。

【0007】

本発明の他の側面によれば、プロセッサーと、コンピュータプログラムコマンドが格納されているメモリと、を含む画像処理装置が提供され、前記コンピュータプログラムコマンドが前記プロセッサーにより実行される時に、前記プロセッサーに、元の画像を取得するステップと、前記元の画像を第1部分と第2部分に分割し、前記元の画像の第1部分における少なくとも一部の画像のディストーションが所定閾値より小さく、前記元の画像の第2部分における少なくとも一部の画像のディストーションが所定閾値以上であるステップと、前記元の画像の第2部分に対して補正を行い、前記第2部分に対応するディストーション補正画像を取得するステップと、前記元の画像の第1部分及び前記ディストーション補正画像を認識し、前記元の画像における対象を認識するステップと、を実行させる。

【0008】

本発明の他の側面によれば、コンピュータプログラムが格納されているコンピュータ読み取り可能な記憶媒体が提供され、前記コンピュータプログラムはプロセッサーによって実行される時に、プロセッサーに、元の画像を取得するステップと、前記元の画像を第1部分と第2部分に分割し、前記元の画像の第1部分における少なくとも一部の画像のディストーションが所定閾値より小さく、前記元の画像の第2部分における少なくとも一部の画像のディストーションが所定閾値以上であるステップと、前記元の画像の第2部分に対して補正を行い、前記第2部分に対応するディストーション補正画像を取得するステップと、前記元の画像の第1部分及び前記ディストーション補正画像を認識し、前記元の画像における対象を認識するステップと、を実行させる。

【0009】

本発明に係る上記画像処理方法、装置およびコンピュータ読み取り可能な記憶媒体によれば、取得された元の画像を分割でき、かつ当該元の画像内の第2部分のみを補正して、後続の対象認識過程に供することができる。このような画像処理方法、装置およびコンピュータ読み取り可能な記憶媒体は、画像補正の処理ステップを削減することができ、画像処理する効率を向上させ、対象認識の精度を向上させることができる。

【0010】

また、本発明の実施例に係る画像処理方法、装置およびコンピュータ読み取り可能な記憶媒体によれば、画像を対象認識時の検出枠の融合及び処理過程を用いることと違って、トレーニングデータを利用し、ニューラルネットワークによってきめ細かいベクトルレベルで物体を認識することで、対象認識する精度をさらに向上させる。

【図面の簡単な説明】

【0011】

図示とあわせて本願の実施例をより詳しく説明することによって、本願の上記内容および目的、特徴、そして長所がより明白になる。

【図1】本願の一実施例に係る画像処理方法のフローチャートである。

【図2a】本願の一実施例によるパノラマカメラの地面からの高さの例示図である。

【図2b】本発明の一実施例においてパノラマカメラの位置によって元の画像を分割する例示図である。

【図3】本願の一実施例においてパノラマ画像を透視投影変換する例示図である。

【図4】本願の一実施例においてパノラマ画像を小遊星投影変換する例示図である。

【図5】本発明の一実施例に係る元の画像の第1部分とディストーション補正画像とスティッチングしてできた処理待ちの画像の例示である。

【図6】本発明の一実施例において、元の画像の第1部分とディストーション補正画像とスティッチングした画像におけるある関節点を元の画像にマッピングする例示図である。

【図7】ディストーション補正画像から得た関節点連結ベクトル場に示される1つの関節点連結ベクトルを示す図である。

【図8】図7に示したベクトルに対して構築された検索グリッドの一例示図である。

【図9】本発明の一実施例において、ディストーション補正画像にある一つの関節点連結ベクトルを元の画像にマッピングする第2部分の図示である。

【図10a】本発明の一実施例において、取得された元の画像における候補関節点の集合を示す図である。

【図10b】図10aを元に、関節点連結関係の信頼度を取得する図である。

【図10c】確定された関節点連結関係の図である。

【図10d】元の画像の対象に対する認識結果を示す図である。

【図11】本発明の一実施例に係る画像処理装置のブロック図である。

【図12】本発明の一実施例に係る画像処理装置のブロック図である。

【発明を実施するための形態】

【0012】

以下、図面を参照して本発明の実施例に係わる画像処理方法、装置とコンピュータ読み取り可能な記憶媒体を説明する。図面には、同じ番号は同じ要素を終始に示す。ここで記述された実施例は説明のみに用いられて、本発明の範囲を制限するものではないことが自明である。

【0013】

以下、図1を参照して、本発明の実施例に係る画像処理方法について説明する。本発明の実施例に係る画像処理方法は静的画像に適用できるが、時間につれて変化するビデオ中のビデオフレーム等にも適用でき、ここでは制限されない。図1は、当該画像処理方法100のフローチャートを示す。

【0014】

図1に示すように、ステップS101では、元の画像を取得する。

【0015】

本ステップにおいて、取得された元の画像はカメラ、ビデオカメラ等の画像採集装置により取得された2次元画像又はビデオから切り取った2次元フレーム画像であることが可能である。好ましくは、前記画像採集装置がパノラマカメラであって、取得された画像が360度パノラマ画像である場合、前記元の画像は当該パノラマ画像が座標変換によってマッピングされた2次元画像であることが可能である。例えば、ここでの元の画像は前記パノラマ画像が緯度経度座標系の変換によってマッピングされた正距円筒図であることが可能である。

【0016】

ステップS102において、前記元の画像を第1部分と第2部分に分割して、前記元の画像の第1部分における少なくとも一部の画像のディストーションが所定閾値より小さく、前記元の画像の第2部分における少なくとも一部の画像のディストーションが所定閾値以上である。

【0017】

本ステップにおいて、前記所定閾値に基づいて元の画像を第1部分と第2の部分とに分割することができる。前記所定閾値は元の画像の撮像シーン又は認識が必要とする対象のタイプ等に基づいて設定することができる。一例では、前記元の画像内の第1と第2の部分とが互いに重なり合わないことも可能である。別の例では、前記元の画像内の第1部分と第2部分とが互いに部分的に重なり合ってもよく、あるいは、重なり合う部分は非常に小さく、例えば、いくつかの線またはいくつかの点のみであってもよい。さらに、一実施例において、元の画像は、互いに重なり合わないか又はわずかの部分が重なり合う前記第1部分と第2部分とのみを含むことが可能である。他の例示において、元の画像は第1部分と第2部分とともに重なり合わないか又はわずかの部分のみが重なり合う第3部分等をさらに含むことができ、例えば、前記第3部分に認識する必要のある対象が含まれなくてもよく、それによって第3部分に対して後続の対象認識の処理を行う必要がなく、画像処理の計算ステップを更に減少させ、画像処理効率を向上させることができる。

【0018】

例えば、前記元の画像が正距円筒図である場合、前記正距円筒図を取得するためのパノラマカメラの位置に基づいて、前記元の画像を第1部分と第2部分とに分割することができる。図2aは、本願の一実施例によるパノラマカメラの地面からの高さの例示であり、図2aにおいて、パノラマカメラの地面からの高さHがそれぞれH1とH2とであることが可能、かつ高さH1は高さH2よりも小さい。図2bは、パノラマカメラの位置によって元の画像を分割する例示である。図2bに示すパノラマカメラにより取得された正距円筒図において、縦座標は緯度を示し、範囲が-90°から90°まで、横座標は経度を示し、範囲が-180°から180°までである。図2bにおいて、地面からパノラマカメラの高さが図2aに示す高さH1以下である場合、当該正距円筒図における緯度u°及びそれ以上(例えば90°まで)の部分を元の画像の第2部分に分割して、元の画像の残り部分を元の画像の第1部分に分割することができる。地面からパノラマカメラの高さが図2aに示す高さH2以上である場合、当該正距円筒図における緯度v°及びそれ以下(例えば-90°まで)の部分を元の画像の第2部分に分割して、元の画像の残り部分を元の画像の第1部分に分割することができる。ここで、H1、H2はパノラマカメラの配置位置に基づいて予め入力されることができ、u、vは入力された高さに基づいて計算されることができる。別の例示では、パノラマカメラの高さを予め入力する必要がなく、パノラマカメラの高さを推定するように、パノラマカメラによって、例えば、ランプやテーブルの特定対象のパノラマ画像における位置を認識することも可能である。上記元の画像の第1部分と第2部分に関する分割方法によって、元の画像の第1部分における少なくとも一部の画像のディストーションが所定閾値より小さくなり、前記元の画像の第2部分における少なくとも一部の画像のディストーションが所定閾値以上になることができる。本例では、パノラマカメラの高さが異なる場合、認識する必要のある対象(例えば地上に立つ人)の正距円筒図における分布位置(例えば正距円筒図における高さ)の違いが考慮されたため、パノラマ画像に対する異なる分割方式を利用して、画像処理リソースをできるだけ節約し、処理効率を向上させることができる。上記パノラマカメラの高さによって元の画像を分割する実施形態は例示的なものに過ぎず、実際の応用において、他の基準(例えばパノラマカメラの分布方式、認識対象のタイプ、関心領域の位置等)によって元の画像を分割することもでき、ここでは制限されない。

【0019】

ステップS103において、前記元の画像の第2部分に対して補正を行って、前記第2部分に対応するディストーション補正画像を取得する。

【0020】

本ステップにおいて、前記元の画像の第2部分に対して投影変換を行って、前記ディストーション補正画像を取得することができる。あるいは、前記元の画像の第2部分に対して透視投影変換を行って、相応するパノラマ透視図を取得することもできる。図3に示す例において、まず、前記元の画像の第2部分を緯度経度座標系から球中心がC、半径がRである球座標系に還元し、かつ当該球座標系にある点Pを任意の経線垂直の平面に投影することができる。具体的には、所定点O(図3において、O点と球の中心C点と重なる)と球面上の点Pとを連結し、且つO'が所在する平面まで延伸した点P'を対応する透視点とすることができる。ここで、図3に示すように、点O'は球面上に位置することができる。

【0021】

また、前記元の画像の第2部分を小遊星投影変換によって、対応する小遊星投影図をディストーション補正画像として取得することができる。図4は本願の一実施例においてパノラマ画像に小遊星投影変換を行う例示図である。図4に示す例において、まず、前記元の画像の第2部分を緯度経度座標系から球中心がC、半径が同じくRである球座標系に還元し、かつ当該球座標系にある点Pを任意の点Q’が所在する平面に投影することができる。小遊星投影変換においては、図4に示すように、点Q'が球座標系における一つの極点であることができる。具体的には、所定点Oと球面上のある点とを連結し、からQ'が所在する平面(即ち、当該球座標系の一つの極点を通る平面)まで延伸する点を、対応する透視点とすることができる。図4において、例えば、球座標系における点M₂の投影点がE₂で、球座標系における点S₂の投影点がI₂で、球座標系における点R₂の投影点がJ₂で、球座標系における点L₂の投影点がP₂であることができる。

【0022】

前記元の画像の第2の部分に対して投影変換を行ってディストーション補正画像を得る上記方法は例示に過ぎない。実際の応用において、元の画像の第2部分に対して投影変換を行ういかなる方法を採用することができ、ここでは限定されない。

【0023】

ステップS104において、前記元の画像の第1部分及び前記ディストーション補正画像を認識して、前記元の画像における対象を認識する。

【0024】

本ステップにおいて、選択できるように、前記元の画像の第1部分と前記ディストーション補正画像とにそれぞれ前記元の画像内の対象を認識することができる。あるいは、前記元の画像の第1部分と前記ディストーション補正画像とをスティッチングして、スティッチング画像を取得し、且つ取得されたスティッチング画像に前記元の画像における対象を認識することができ、この認識方法は対象認識に必要なステップをさらに減少することができる。

【0025】

具体的には、前記元の画像の第1部分及び前記ディストーション補正画像を認識する前記方法は以下を含むことができ、即ち、前記元の画像の第1部分及び前記ディストーション補正画像に対して特徴点の認識及び/又は特徴点連結関係の認識を行うことと、前記元の画像の第1部分の認識結果に基づき、前記元の画像の第1部分の特徴点及び/又は特徴点連結関係を取得することと、前記ディストーション補正画像の認識結果に基づき、前記ディストーション補正画像の特徴点及び/又は特徴点連結関係を取得することと、を含む。上記内容に基づき、ディストーション補正画像の特徴点信頼度及び/又は特徴点連結ベクトル場を取得した後に、更に取得したディストーション補正画像の特徴点信頼度及び/又は特徴点連結ベクトル場を、前記元の画像の第2部分にマッピング戻すことができて、対応する元の画像の第2部分の特徴点信頼度及び/又は特徴点連結ベクトル場を取得する。

【0026】

ここで、前記元の画像の第1部分及び前記ディストーション補正画像に対する特徴点の認識及び/又は特徴点連結関係の認識はさらに以下を含むことができ、即ち、トレーニングデータに基づき、ニューラルネットワークによって前記元の画像の第1部分及び前記ディストーション補正画像の特徴点信頼度及び/又は特徴点連結ベクトル場を取得して、前記トレーニングデータは前記対象の特徴点及び/又は特徴点連結関係のデータである。

【0027】

最後に、元の画像の第1部分及び第2部分の特徴点信頼度及び/又は特徴点連結ベクトル場をそれぞれ得た後、それによって元の画像内の対象を認識することができる。例えば、元の画像における対象の検出枠(例えば、顔認識枠、人体認識枠、物体認識枠等)を生成することができる。

【0028】

本発明の一実施例によれば、元の画像内に認識する必要のある対象は、画像内の人またはものであってもよい。例えば、認識する必要のある対象が様々な関節点と関節点の対応する連結関係を含む人、ロボット又は動物である場合、選択可能に、本発明の実施例における特徴点が関節点で、特徴点連結関係が関節点連結関係であることができる。以下、これを例にして、元の画像が正距円筒図である場合に、元の画像内の人に対して対象認識を行う具体的な方法を説明する。

【0029】

具体的な認識過程において、人の関節点と関節点連結関係のデータをトレーニングデータとして利用することができ、ニューラルネットワークを用いて元の画像の第1部分及びディストーション補正画像の関節点信頼度及び関節点連結ベクトル場を取得する。図5は本発明の一実施例に係る元の画像の第1部分とディストーション補正画像とスティッチングしてできた処理待ちの画像の例示である。図5において、スティッチングされた左側部分は補正を必要としない元の画像の第1部分であり、スティッチングされた右側部分は元の画像の第2部分に対して投影変換した後のディストーション補正画像である。選択可能に、認識待ちの人の関節点を予め設定して以下を含むことができ、即ち、首、左肩、右肩、左肘、右肘、左手首、右手首、左股、右胯の全9種類の関節である。認識待ちの人の関節点連結関係は以下を含み、即ち、首-左肩、首-右肩、左肩-左肘、右肩-右肘、左肘-左手首、右肘-右手首、首-左股、首-右股の全8種類の関節点連結関係であり、つまり8種類の関節点連結ベクトルが生成される。その分、ニューラルネットワークを利用して関節点と関節点連結関係の認識を行う場合、採用されるトレーニングデータは予め採集と取得された人の上記9種類の関節、8種類の関節点連結関係のトレーニングデータであることができる。即ち、採用されたトレーニングデータと認識の結果において、関節点の種類Num_joint=9であり、関節点連結種類Num_connections=8である。

【0030】

前記トレーニングデータによってニューラルネットワークをトレーニングした後に、トレーニングされたニューラルネットワークによって元の画像の第1部分及びディストーション補正画像を特徴点の認識及び/又は特徴点連結関係の認識を行って、元の画像の第1部分及びディストーション補正画像の関節点信頼度と関節点連結ベクトルとからなる関節点連結ベクトル場を取得することができる。例えば、取得された関節点信頼度は行列
（外１）

として表すことができ、関節点連結ベクトルからなる関節点連結ベクトル場は行列
（外２）

として表すことができる。ここで、関節点連結ベクトル場における各関節点連結ベクトルに2次元表示が存在することを考慮したので、対応する表示行列において関節点連結種類の2倍の行列次元で関節点連結ベクトル場を表すこともできる。例えば、8種類の関節点連結種類が存在する場合、各種類の関節点連結ベクトルに対して2次元の関節点連結ベクトルの表現行列を記憶(例えば、そのうちの1次元表示行列を利用して、x方向のベクトル座標を記憶して、他の1次元表示行列を利用して、y方向のベクトル座標を記憶)できて、8種類の関節点連結ベクトルを16次元の表示行列として記憶することが可能である。言うまでもなく、上記関節点信頼度と関節点連結ベクトルの記憶方式は例示に過ぎず、ここでは制限されない。一例では、関節点連結ベクトルの長さで対応する関節点連結関係の信頼度を表すことができ、例えば、関節点連結ベクトルが長い場合、対応する関節点連結関係の信頼度が高いことを示すことができ、逆に、関節点連結ベクトルが短い場合、対応する関節点連結関係の信頼度が低いことを示すことができる。また、上記行列において、HとWは、それぞれ、対象認識を行う必要のある画像の高さと幅であることができる。例えば、図5に示す元の画像の第1部分とディストーション補正画像とがスティッチングされた画像を処理する場合、H及びWはそれぞれこのスティッチングされた画像の高さ及び幅であることができ、元の画像の第1部分及びディストーション補正画像をそれぞれ処理する場合、元の画像の第1部分及びディストーション補正画像にそれぞれ対応する関節点信頼度行列と関節点連結ベクトルの表現行列を有することができ、行列にもそれぞれ対応する異なるH及びWを有することもできる。

【0031】

ディストーション補正画像の関節点信頼度と関節点連結ベクトル場を取得した後に、さらに取得されたディストーション補正画像の関節点信頼度と関節点連結ベクトル場を、前記元の画像の第2部分にマッピングし戻して、対応する元の画像の第2部分の関節点信頼度と関節点連結ベクトル場を取得することができる。具体的には、ディストーション補正画像と元の画像の第2部分のマッピング関係に基づいて、ディストーション補正画像の関節点信頼度を元の画像の第2部分にマッピングし戻すことができる。図6は、本発明の一実施例において、元の画像の第1の部分とディストーション補正画像とをスティッチングした後の画像内の一種の関節点(左肩)を元の画像にマッピングし戻す図であり、マッピング過程は白抜き矢印で示す。ここで、元の画像の第1部分について、投影変換が行われていないので、元の画像の第1部分で取得された関節点信頼度に変化がない。そして、ディストーション補正画像について、ディストーション補正画像と元の画像の第2部分のマッピング関係に基づき、ディストーション補正画像の左肩の関節点信頼度を元の画像の第2部分にマッピングし戻すことができ、取得された全元の画像中の左肩関節点の概略は黒点で示される。

【0032】

図7は、ディストーション補正画像から得た関節点連結ベクトル場に示される1つの関節点連結ベクトルを示す図である。図7に示すベクトルvecは、ディストーション補正画像の画素位置Ap(i,j)から開始(i、jはそれぞれij座標系におけるi方向とj方向に沿う画素の絶対座標である)して、図7に示す（vec_x,vec_y）方向に延伸する。本発明の実施例によると、図7のディストーション補正画像の関節点連結ベクトルvecは、元の画像の第2の部分にマッピングし戻す必要がある。マッピング過程において、Ap(i,j)を原点とし、図7におけるx軸及びy軸を座標軸として、まずベクトルvecとx軸方向との夾角θ及び長さｌを計算することができ、具体的には以下のように示される。

【数1】

【0033】

ここで、vec_xはAp(i,j)を原点とした時に、関節点連結ベクトルvecがx方向における投影距離を表し、即ちx方向の画素座標値になり、vec_yはAp(i,j)を原点とした時に、関節点連結ベクトルvecがy方向における投影距離であって、即ちy方向における画素座標値になる。

【0034】

その後、Ap(i,j)を原点としてから、検索グリッドを構築することができる。検索グリッドは任意の形状であることが可能で、例えば長方形グリッドでも、正方形グリッドであってもよい。検索グリッドの具体的な作成過程では、選択可能に、関節点連結ベクトルが第1象限(即ち関節点連結ベクトルがx方向とy方向における画素座標値がいずれも正の値である)にある場合、Ap(i,j)を左上角に配置して検索グリッドを作成、関節点連結ベクトルが第2象限(即ち関節点連結ベクトルがx方向における画素座標値が負の値で、y方向における画素座標値が正の値である)にある場合、Ap(i,j)を右上角に配置して検索グリッドを作成、関節点連結ベクトルが第3象限(即ち関節点連結ベクトルがx方向とy方向における画素座標値がいずれも負の値である)にある場合、Ap(i,j)を右下角に配置して検索グリッドを作成、関節点連結ベクトルが第4象限(即ち関節点連結ベクトルがx方向における画素座標値が正の値で、y方向における画素座標値が負の値である)にある場合、Ap(i,j)を左下角に配置して検索グリッドを作成することができる。図8には、図7に示されたベクトルvecに対して、Ap(i,j)を原点とし、長さがk画素である正方形の検索グリッドの一例を示しており、ここで、kは正の整数であり、各グリッドは1個の画素点を表す。この検索グリッドにおいて、ベクトルvecが第1象限にあることを考慮して、Ap(i,j)を左上角に配置して検索グリッドを生成することができる。本実施例では、原点Ap(i,j)がxy座標系における画素座標をAp(0,0)に表示すると、それとx方向において隣接する右側画素点を例えば(0,1)に表し、それとy方向において隣接する下側画素点を例えば(1,0)に表すことができて、残りの画素点の表示方法は順に類推する。

【0035】

図8に作成された検索グリッドから、ベクトルApBpの夾角が図7に示すθに最も近づけるように、1個の画素点Bp(i_BP,j_BP)を見つけることができる。画素点Bp(i_BP,j_BP)を確定する過程において、選択可能に、Ap(i,j)点の付近の画素領域に1つの画素点を見つけ、且つベクトルApBpとx軸との夾角を計算して、当該夾角をθ値に最も接近させることができる。例えば、Ap(i,j)点付近の特定画素領域内の全ての画素点を遍歴し、且つ遍歴された各画素点とAp(i,j)点とからなるベクトルとx軸との夾角の値をそれぞれ計算し、且つ夾角とθ値との差を最小にすることができる。

【0036】

本発明の一実施例において、検索グリッド内で画素点Bp(i_BP,j_BP)を検索する具体的なステップを以下にて詳細に説明する。

【0037】

まず、Ap(i,j)点から検索グリッドにおける任意の画素点の位置に指向するベクトルとx方向との夾角を(k-1)×(k-1)の行列Theta_templateに保存し、且つこの行列を検索グリッドのテンプレートであると理解することができる。

【数2】

【0038】

式(3)において、行列Theta_templateの各要素における添え字は検索待ちの各画素点と原点Ap(i,j)とがそれぞれ横軸xと縦軸yにおける画素距離を表し、例えばθ_1,1は画素点（1,1）、（-1,1）、（1,-1）、（-1,-1）のいずれかと原点Ap(0,0)との間の夾角を表すことができる。上記(k-1)×(k-1)行列において、ベクトルvecが横軸又は縦軸(即ち夾角が0°、90°、180°又は270°である場合)に沿うと、一般的に、式(3)の行列によって検索する必要がなく、このベクトルの始点と終点の画素位置を直接確定することができるので、検索待ちの画素点が横軸x又は縦軸y上に位置しない場合のみを考慮した。

【0039】

その後、もう一つの行列thetaを作成でき、かつその次元を行列Theta_templateと同じにすることができる(即ち、同じく(k-1)×(k-1)行列である)。例えば、式(3)によって行列Theta_templateを例示した本発明の実施例において、関節点連結ベクトルvecが図8に示す第一象限に、あるいは例えば第3象限にある時、行列thetaのすべての要素をθに割り当てることができ、関節点連結ベクトルvecが第2又は第4象限にある時に、行列thetaのすべての要素を-θに割り当てることができる。

【0040】

その後、行列(Theta_template-theta)から行列内に絶対値が最も小さいある要素を見つけ、且つこの画素点が全検索グリッドにおける対応する行インデックスnと列インデックスmを得ることができる。

【0041】

上記検索グリッド作成及び画素点検索過程はいずれもAp(i,j)をxy座標系の原点として構築される。実際の応用では、行列内に絶対値が最も小さい要素の対応画素点Bp(i_BP,j_BP)を取得して、i、jを座標軸とするij座標系における絶対的な画素座標を取得する必要がある。選択可能に、上記取得された行インデックスnと列インデックスmとに基づいて、画素点Bp(i_BP,j_BP)の絶対的な画素座標を計算することができ、具体的な方法は以下である。

【0042】

前記関節点連結ベクトルが第1象限にある場合、Bp(i_BP,j_BP)の画素座標は以下である。

【数3】

【0043】

さらに、他の実施例では、関節点連結ベクトルが第2象限にある場合、Bp(i_BP,j_BP)の画素座標は以下である。

【数4】

【0044】

関節点連結ベクトルが第3象限にある場合、Bp(i_BP,j_BP)の画素座標は以下である。

【数5】

【0045】

関節点連結ベクトルが第4象限にある場合、Bp(i_BP,j_BP)の画素座標は以下である。

【数6】

【0046】

また、対応する行列(Theta_template-theta)における要素の最小絶対値を等しくするような2個以上の画素点が存在する場合、この行列において行インデックス及び/又は列インデックスが大きい要素を選択し、且つ対応する画素点を得て画素点Bp(i_BP,j_BP)とすることができる。

【0047】

最後に、ディストーション補正画像における画素点Bp(i_BP,j_BP)及びそれに代表される関節点連結ベクトルを取得した後、対応する元の画像の第2部分の関節点連結ベクトルを取得するように、取得されたディストーション補正画像の関節点連結ベクトルを前記元の画像の第2部分にマッピングし戻すことができる。ディストーション補正画像の関節点連結ベクトルを元の画像の第2部分にマッピングし戻す時、関節点連結ベクトルの長さｌが関節点連結関係の信頼度を表す場合、同じ関節点連結関係の信頼度を表すように、マッピング前後の関節点連結ベクトルの長さを同じにすることができる。例えば、ディストーション補正画像における画素点Ap(i,j)、Bp(i_BP,j_BP)に基づいて、元の画像にマッピングし戻った第2部分の対応する画素点Ae(i_Ae,j_Ae)及びBe(i_Be,j_Be)を計算することができ、且つ対応する元の画像の第2部分における関節点連結ベクトルを取得して、当該ベクトルの方向をAe(i_Ae,j_Ae)からBe(i_Be,j_Be)に指向させ、長さをｌと同じさせる。このようにして、マッピングし得た元の画像の第2の部分中の関節点連結ベクトルに同じ信頼度に維持させることができる。

【0048】

図9は、本発明の一実施例に基づき、ディストーション補正画像内の1つの関節点連結ベクトル(中間の人の左肩から左肘まで)を元の画像の第2の部分にマッピングし戻す図であり、マッピング過程は中抜き矢印で示す。ここで、ディストーション補正画像と元の画像の第2部分とのマッピング関係に基づいて、ディストーション補正画像の左肩から左肘までの関節点連結ベクトルを元の画像の第2部分にマッピングし戻すことができ、取得された関節点連結ベクトルは画像内の黒矢印で示す。

【0049】

上記の過程によって、元の画像の第1部分及び第2部分の関節点信頼度と関節点連結ベクトル場をそれぞれ得た後、それによって元の画像内の人を認識することができる。例えば、まず取得された元の画像の第1部分及び第2部分の関節点信頼度に対して、非最大抑制処理を行うことで、元の画像における離散的な候補関節点の集合を取得することができる。その後、現在の実施例に係るすべての関節点の種類及び関節点連結ベクトルの種類に対して、得られた元の画像における候補関節点の集合に、全ての可能な関節点連結関係を表示することができる。また、取得された元の画像の第1部分と第2部分の関節点連結ベクトルに基づいて元の画像の関節点連結関係を確定することができる。例えば、取得された元の画像の対応する関節点連結ベクトルの長さに基づいて、各関節点連結関係の信頼度を決定できることで、信頼度がある特定閾値より高い関節点連結関係を保留して、信頼度が低い関節点連結関係を除去することができる。最後に、得られた元の画像の各関節点連結関係に基づいて、一つの対象に対応する可能な一連の関節点及びその連結関係を判断し、且つ元の画像における対象を認識することができる。

【0050】

図10は、本発明の一実施例に係る対象認識過程を示す図である。ここで、図10aは取得された元の画像における2種類の候補関節点の集合を示す、図10aに示す元の画像において、それぞれ2個の左肩関節点と2個の左肘関節点を含む。それに、図10aはさらに採用した左肩‐左肘の関節点連結ベクトルの種類によって、黒線で表示された全ての可能な左肩‐左肘の関節点連結関係を示す。図10bは図10aで取得された元の画像の候補関節点の集合及び対応するすべての関節点連結関係に基づき、各関節点連結関係の信頼度を確定するように、関節点連結関係に信頼度の計算を行うことを示す。具体的には、取得された元の画像における対応する種類の関節点連結ベクトルの長さに基づき、全ての左肩-左肘の連結方向に沿って対応する関節点連結ベクトルに線積分をすることで、各関節点連結関係の信頼度を得ることができる。図10bに示すように、それぞれ連続した二つの長い矢印で示された左肩-左肘の関節点連結関係の信頼度が高く、他の関節点連結関係の相応する矢印が短く、対応する信頼度が低いので、信頼度の高い関節点連結関係を保留できて、図10cに示す左肩-左肘の連結関係図を得ることができる。よって、図10cに示した2つの左肩‐左肘の関節点連結関係は、異なる2つの対象、即ち異なる2人を表すことが分かる。最後に、他の種類の関節点及び関節点連結関係に対して類似する計算を行うことができ、且つ図10dに示す元の画像の対象の認識結果を描いて、2つの対象(二人)の各関節及びその連結に対応して、元の画像の対象の認識結果を得ることができる。選択可能に、この二人をそれぞれ検出枠によって選択して、対象認識結果を表示することもできる。

【0051】

本発明に係る上記画像処理方法によれば、取得された元の画像を分割でき、かつ当該元の画像内の第2部分のみを補正して、後続の対象認識過程に供することができる。このような画像処理方法および装置は、画像補正の処理ステップを削減することができ、画像処理する効率を向上させ、対象認識の精度を向上させることができる。

【0052】

また、本発明の実施例に係る画像処理方法によれば、画像を対象認識時の検出枠の融合及び処理過程を用いることと違って、トレーニングデータを利用し、ニューラルネットワークによってきめ細かいベクトルレベルで物体を認識することで、対象認識する精度をさらに向上させる。

【0053】

以下、図11を参照して本発明の実施例に係る画像処理装置について説明する。図11本発明の実施例に係る画像処理装置1100のブロック図である。図11に示すように、画像処理装置1100は取得ユニット1110、分割ユニット1120、補正ユニット1130および認識ユニット1140を含む。これらのユニットのほか、画像処理装置1100はさらにほかの部材も含むことができるが、これらの部材は本発明の実施例の内容と関係がないため、ここでその図示および記述を省略する。それに、本発明の実施例に係わる画像処理装置1100によって行う下記操作の具体的な細部が上記図1-図10に記載された細部と同じであるため、重複を回避するために、同じ細部に対する重複した記述を省略する。

【0054】

図11における画像処理装置1100の取得ユニット1110は、元の画像を取得する。

【0055】

取得ユニット1110に取得された元の画像はカメラ、ビデオカメラ等の画像採集装置により取得された2次元画像又はビデオから切り取った2次元フレーム画像であることが可能である。好ましくは、前記画像採集装置がパノラマカメラであって、取得された画像が360度パノラマ画像である場合、前記元の画像は当該パノラマ画像が座標変換によってマッピングされた2次元画像であることが可能である。例えば、ここでの元の画像は前記パノラマ画像が緯度経度座標系の変換によってマッピングされた正距円筒図であることが可能である。

【0056】

分割ユニット1120は前記元の画像を第1部分と第2部分に分割して、前記元の画像の第1部分における少なくとも一部の画像のディストーションが所定閾値より小さく、前記元の画像の第2部分における少なくとも一部の画像のディストーションが所定閾値以上である。

【0057】

分割ユニット1120は前記所定閾値に基づいて元の画像を第1部分と第2の部分とに分割することができる。前記所定閾値は元の画像の撮像シーン又は認識が必要とする対象のタイプ等に基づいて設定することができる。一例では、前記元の画像内の第1と第2の部分とが互いに重なり合わないことも可能である。別の例では、前記元の画像内の第1部分と第2部分とが互いに部分的に重なり合ってもよく、あるいは、重なり合う部分は非常に小さく、例えば、いくつかの線またはいくつかの点のみであってもよい。さらに、一実施例において、元の画像は、互いに重なり合わないか又はわずかの部分が重なり合う前記第1部分と第2部分とのみを含むことが可能である。他の例示において、元の画像は第1部分と第2部分とともに重なり合わないか又はわずかの部分のみが重なり合う第3部分等をさらに含むことができ、例えば、前記第3部分に認識する必要のある対象が含まれなくてもよく、それによって第3部分に対して後続の対象認識の処理を行う必要がなく、画像処理の計算ステップを更に減少させ、画像処理効率を向上させることができる。

【0058】

例えば、前記元の画像が正距円筒図である場合、分割ユニット1120は前記正距円筒図を取得するためのパノラマカメラの位置に基づいて、前記元の画像を第1部分と第2部分とに分割することができる。 図2aは、本願の一実施例によるパノラマカメラの地面からの高さの例示であり、図2aにおいて、パノラマカメラの地面からの高さHがそれぞれH1とH2とであることが可能、かつ高さH1は高さH2よりも小さい。図2bは、パノラマカメラの位置によって元の画像を分割する例示である。図2bに示すパノラマカメラにより取得された正距円筒図において、縦座標は緯度を示し、範囲が-90°から90°まで、横座標は経度を示し、範囲が-180°から180°までである。図2bにおいて、地面からパノラマカメラの高さが図2aに示す高さH1以下である場合、分割ユニット1120は当該正距円筒図における緯度u°及びそれ以上(例えば90°まで)の部分を元の画像の第2部分に分割して、元の画像の残り部分を元の画像の第1部分に分割することができる。地面からパノラマカメラの高さが図2aに示す高さH2以上である場合、分割ユニット1120は当該正距円筒図における緯度v°及びそれ以下(例えば-90°まで)の部分を元の画像の第2部分に分割して、元の画像の残り部分を元の画像の第1部分に分割することができる。ここで、H1、H2はパノラマカメラの配置位置に基づいて予め入力されることができ、u、vは入力された高さに基づいて計算されることができる。別の例示では、パノラマカメラの高さを予め入力する必要がなく、パノラマカメラの高さを推定するように、パノラマカメラによって、例えば、ランプやテーブルの特定対象のパノラマ画像における位置を認識することも可能である。上記元の画像の第1部分と第2部分に関する分割方法によって、元の画像の第1部分における少なくとも一部の画像のディストーションが所定閾値より小さくなり、前記元の画像の第2部分における少なくとも一部の画像のディストーションが所定閾値以上になることができる。本例では、パノラマカメラの高さが異なる場合、認識する必要のある対象(例えば地上に立つ人)の正距円筒図における分布位置(例えば正距円筒図における高さ)の違いが考慮されたため、パノラマ画像に対する異なる分割方式を利用して、画像処理リソースをできるだけ節約し、処理効率を向上させることができる。上記パノラマカメラの高さによって元の画像を分割する実施形態は例示的なものに過ぎず、実際の応用において、他の基準(例えばパノラマカメラの分布方式、認識対象のタイプ、関心領域の位置等)によって元の画像を分割することもでき、ここでは制限されない。

【0059】

補正ユニット1130は前記元の画像の第2部分に対して補正を行って、前記第2部分に対応するディストーション補正画像を取得する。

【0060】

補正ユニット1130は前記元の画像の第2部分に対して投影変換を行って、前記ディストーション補正画像を取得することができる。選択可能に、前記元の画像の第2部分に対して透視投影変換を行って、相応するパノラマ透視図を取得することもできる。図3に示す例において、まず、前記元の画像の第2部分を緯度経度座標系から球中心がC、半径がRである球座標系に還元し、かつ当該球座標系にある点Pを任意の経線垂直の平面に投影することができる。具体的には、所定点O(図3において、O点と球の中心C点と重なる)と球面上の点Pとを連結し、且つO'が所在する平面まで延伸した点P'を対応する透視点とすることができる。ここで、図3に示すように、点O'は球面上に位置することもできる。

【0061】

また、前記元の画像の第2部分を小遊星投影変換によって、対応する小遊星投影図をディストーション補正画像として取得することができる。図4は本願の一実施例においてパノラマ画像に小遊星投影変換を行う例示図である。図4に示す例において、まず、前記元の画像の第2部分を緯度経度座標系から球中心がC、半径が同じくRである球座標系に還元し、かつ当該球座標系にある点Pを任意の点Q’が所在する平面に投影することができる。小遊星投影変換においては、図4に示すように、点Q'が球座標系における一つの極点であることができる。具体的には、所定点Oと球面上のある点とを連結し、からQ'が所在する平面(即ち、当該球座標系の一つの極点を通る平面)まで延伸する点を、対応する透視点とすることができる。図4において、例えば、球座標系における点M2の投影点がE2で、球座標系における点S2の投影点がI2で、球座標系における点R2の投影点がJ2で、球座標系における点L2の投影点がP2であることができる。

【0062】

前記元の画像の第2の部分に対して投影変換を行ってディストーション補正画像を得る上記方法は例示に過ぎない。実際の応用において、元の画像の第2部分に対して投影変換を行ういかなる方法を採用することができ、ここでは限定されない。

【0063】

認識ユニット1140は前記元の画像の第1部分及び前記ディストーション補正画像を認識して、前記元の画像における対象を認識する。

【0064】

選択可能に、認識ユニット1140は前記元の画像の第1部分と前記ディストーション補正画像とにそれぞれ前記元の画像内の対象を認識することができる。選択可能に、認識ユニット1140は前記元の画像の第1部分と前記ディストーション補正画像とをスティッチングして、スティッチング画像を取得し、且つ取得されたスティッチング画像に前記元の画像における対象を認識することができ、この認識方法は対象認識に必要なステップをさらに減少することができる。

【0065】

具体的に、認識ユニット1140は前記元の画像の第1部分及び前記ディストーション補正画像に対して特徴点の認識及び/又は特徴点連結関係の認識を行うことと、前記元の画像の第1部分の認識結果に基づき、前記元の画像の第1部分の特徴点及び/又は特徴点連結関係を取得することと、前記ディストーション補正画像の認識結果に基づき、前記ディストーション補正画像の特徴点及び/又は特徴点連結関係を取得することと、を含む。上記内容に基づき、ディストーション補正画像の特徴点信頼度及び/又は特徴点接続ベクトル場を取得した後に、更に取得したディストーション補正画像の特徴点信頼度及び/又は特徴点接続ベクトル場を、前記元の画像の第2部分にマッピング戻すことができて、対応する元の画像の第2部分の特徴点信頼度及び/又は特徴点接続ベクトル場を取得する。

【0066】

ここで、前記元の画像の第1部分及び前記ディストーション補正画像に対する特徴点の認識及び/又は特徴点連結関係の認識はさらに以下を含むことができる:トレーニングデータに基づき、ニューラルネットワークによって前記元の画像の第1部分及び前記ディストーション補正画像の特徴点信頼度及び/又は特徴点連結ベクトル場を取得して、前記トレーニングデータは前記対象の特徴点及び/又は特徴点連結関係のデータである。

【0067】

最後に、元の画像の第1部分及び第2部分の特徴点信頼度及び/又は特徴点接続ベクトル場をそれぞれ得た後、それによって元の画像内の対象を認識することができる。例えば、元の画像における対象の検出枠(例えば、顔認識枠、人体認識枠、物体認識枠等)を生成することができる。

【0068】

本発明の一実施例によれば、元の画像内に認識する必要のある対象は、画像内の人またはものであってもよい。例えば、認識する必要のある対象が様々な関節点と関節点の対応する連結関係を含む人、ロボット又は動物である場合、選択可能に、本発明の実施例における特徴点が関節点で、特徴点連結関係が関節点連結関係であることができる。以下、これを例にして、元の画像が正距円筒図である場合に、元の画像内の人に対して対象認識を行う具体的な方法を説明する。

【0069】

具体的な認識過程において、人の関節点と関節点連結関係のデータを訓練データとして利用することができ、ニューラルネットワークを用いて元の画像の第1部分及びディストーション補正画像の関節点信頼度及び関節点連結ベクトル場を取得する。図5は本発明の一実施例に係る元の画像の第1部分とディストーション補正画像とスティッチングしてできた処理待ちの画像の例示である。図5において、スティッチングされた左側部分は補正を必要としない元の画像の第1部分であり、スティッチングされた右側部分は元の画像の第2部分に対して投影変換した後のディストーション補正画像である。選択可能に、認識待ちの人の関節点を予め設定して以下を含むことができ、即ち、首、左肩、右肩、左肘、右肘、左手首、右手首、左股、右胯の全9種類の関節である。認識待ちの人の関節点連結関係は以下を含み、即ち、:首-左肩、首-右肩、左肩-左肘、右肩-右肘、左肘-左手首、右肘-右手首、首-左股、首-右股の全8種類の関節点連結関係であり、つまり8種類の関節点連結ベクトルが生成される。その分、ニューラルネットワークを利用して関節点と関節点連結関係の認識を行う場合、採用されるトレーニングデータは予め採集と取得された人の上記9種類の関節、8種類の関節点連結関係のトレーニングデータであることができる。即ち、採用されたトレーニングデータと認識の結果において、関節点の種類Num_joint=9であり、関節点連結種類Num_connections=8である。

【0070】

前記トレーニングデータによってニューラルネットワークをトレーニングした後に、トレーニングされたニューラルネットワークによって元の画像の第1部分及びディストーション補正画像を特徴点の認識及び/又は特徴点連結関係の認識を行って、元の画像の第1部分及びディストーション補正画像の関節点信頼度と関節点連結ベクトルとからなる関節点連結ベクトル場を取得することができる。例えば、取得された関節点信頼度は行列
（外３）

として表すことができ、関節点連結ベクトルからなる関節点連結ベクトル場は行列
（外４）

として表すことができる。ここで、関節点連結ベクトル場における各関節点連結ベクトルに2次元表示が存在することを考慮したので、対応する表示行列において関節点連結種類の2倍の行列次元で関節点連結ベクトル場を表すこともできる。例えば、8種類の関節点連結種類が存在する場合、各種類の関節点連結ベクトルに対して2次元の関節点連結ベクトルの表現行列を記憶(例えば、そのうちの1次元表示行列を利用して、x方向のベクトル座標を記憶して、他の1次元表示行列を利用して、y方向のベクトル座標を記憶)できて、8種類の関節点連結ベクトルを16次元の表示行列として記憶することが可能である。言うまでもなく、上記関節点信頼度と関節点連結ベクトルの記憶方式は例示に過ぎず、ここでは制限されない。一例では、関節点連結ベクトルの長さは対応する関節点連結関係の信頼度を表すことができ、例えば、関節点連結ベクトルが長い場合、対応する関節点連結関係の信頼度が高いことを示すことができる;逆に、関節点連結ベクトルが短い場合、対応する関節点連結関係の信頼度が低いことを示すことができる。また、上記行列において、HとWは、それぞれ、対象認識を行う必要のある画像の高さと幅であることができる。例えば、図5に示す元の画像の第1部分とディストーション補正画像とがスティッチングされた画像を処理する場合、H及びWはそれぞれこのスティッチングされた画像の高さ及び幅であることができ、元の画像の第1部分及びディストーション補正画像をそれぞれ処理する場合、元の画像の第1部分及びディストーション補正画像にそれぞれ対応する関節点信頼度行列と関節点連結ベクトルの表現行列を有することができ、行列にもそれぞれ対応する異なるH及びWを有することもできる。

【0071】

ディストーション補正画像の関節点信頼度と関節点連結ベクトル場を取得した後に、さらに取得されたディストーション補正画像の関節点信頼度と関節点連結ベクトル場を、前記元の画像の第2部分にマッピングし戻して、対応する元の画像の第2部分の関節点信頼度と関節点連結ベクトル場を取得することができる。具体的には、ディストーション補正画像と元の画像の第2部分のマッピング関係に基づいて、ディストーション補正画像の関節点信頼度を元の画像の第2部分にマッピングし戻すことができる。図6は、本発明の一実施例において、元の画像の第1の部分とディストーション補正画像とをスティッチングした後の画像内の一種の関節点(左肩)を元の画像にマッピングし戻す図であり、マッピング過程は白抜き矢印で示す。ここで、元の画像の第1部分について、投影変換が行われていないので、元の画像の第1部分で取得された関節点信頼度に変化がない。そして、ディストーション補正画像について、ディストーション補正画像と元の画像の第2部分のマッピング関係に基づき、ディストーション補正画像の左肩の関節点信頼度を元の画像の第2部分にマッピングし戻すことができ、取得された全元の画像中の左肩関節点の概略は黒点で示される。

【0072】

図7は、ディストーション補正画像から得た関節点連結ベクトル場に示される1つの関節点連結ベクトルを示す図である。図7に示すベクトルvecは、ディストーション補正画像の画素位置Ap(i,j)から開始(i、jはそれぞれij座標系におけるi方向とj方向に沿う画素の絶対座標である)して、図7に示す（vec_x,vec_y）方向に延伸する。本発明の実施例によると、図7のディストーション補正画像の関節点連結ベクトルvecは、元の画像の第2の部分にマッピングし戻す必要がある。マッピング過程において、Ap(i,j)を原点とし、図7におけるx軸及びy軸を座標軸として、まずベクトルvecとx軸方向との夾角θ及び長さｌを計算することができ、具体的には上式(1)と(2)に示す。

【0073】

ここで、vec_xはAp(i,j)を原点とした時に、関節点連結ベクトルvecがx方向における投影距離を表し、即ちx方向の画素座標値になり、vec_yはAp(i,j)を原点とした時に、関節点連結ベクトルvecがy方向における投影距離であって、即ちy方向における画素座標値になる。

【0074】

その後、Ap(i,j)を原点としてから、検索グリッドを構築することができる。検索グリッドは任意の形状であることが可能で、例えば長方形グリッドでも、正方形グリッドであってもよい。検索グリッドの具体的な作成過程では、選択可能に、関節点連結ベクトルが第1象限(即ち関節点連結ベクトルがx方向とy方向における画素座標値がいずれも正の値である)にある場合、Ap(i,j)を左上角に配置して検索グリッドを作成、関節点連結ベクトルが第2象限(即ち関節点連結ベクトルがx方向における画素座標値が負の値で、y方向における画素座標値が正の値である)にある場合、Ap(i,j)を右上角に配置して検索グリッドを作成、関節点連結ベクトルが第3象限(即ち関節点連結ベクトルがx方向とy方向における画素座標値がいずれも負の値である)にある場合、Ap(i,j)を右下角に配置して検索グリッドを作成、関節点連結ベクトルが第4象限(即ち関節点連結ベクトルがx方向における画素座標値が正の値で、y方向における画素座標値が負の値である)にある場合、Ap(i,j)を左下角に配置して検索グリッドを作成することができる。図8には、図7に示されたベクトルvecに対して、Ap(i,j)を原点とし、長さがk画素である正方形の検索グリッドの一例を示しており、ここで、kは正の整数であり、各グリッドは1個の画素点を表す。この検索グリッドにおいて、ベクトルvecが第1象限にあることを考慮して、Ap(i,j)を左上角に配置して検索グリッドを生成することができる。本実施例では、原点Ap(i,j)がxy座標系における画素座標をAp(0,0)に表示すると、それとx方向において隣接する右側画素点を例えば(0,1)に表し、それとy方向において隣接する下側画素点を例えば(1,0)に表すことができて、残りの画素点の表示方法は順に類推する。

【0075】

図8に作成された検索グリッドから、ベクトルApBpの夾角が図7に示すθに最も近づけるように、1個の画素点Bp(iBP,jBP)を見つけることができる。画素点Bp(iBP,jBP)を確定する過程において、選択可能に、Ap(i,j)点の付近の画素領域に1つの画素点を見つけ、且つベクトルApBpとx軸との夾角を計算して、当該夾角をθ値に最も接近させることができる。例えば、Ap(i,j)点付近の特定画素領域内の全ての画素点を遍歴し、且つ遍歴された各画素点とAp(i,j)点とからなるベクトルとx軸との夾角の値をそれぞれ計算し、且つ夾角とθ値との差を最小にすることができる。

【0076】

本発明の一実施例において、検索グリッド内で画素点Bp(iBP,jBP)を検索する具体的なステップを以下にて詳細に説明する。

【0077】

まず、Ap(i,j)点から検索グリッドにおける任意の画素点の位置に指向するベクトルとx方向との夾角を(k-1)×(k-1)の行列Theta_templateに保存し、且つこの行列を検索グリッドのテンプレートであると理解することができる。行列の具体的な表示方法は前式(3)に示す。

【0078】

式(3)において、行列Theta_templateの各要素における添え字は検索待ちの各画素点と原点Ap(i,j)とがそれぞれ横軸xと縦軸yにおける画素距離を表し、例えばθ_1,1は画素点（1,1）、（-1,1）、（1,-1）、（-1,-1）のいずれかと原点Ap(0,0)との間の夾角を表すことができる。上記(k-1)×(k-1)行列において、ベクトルvecが横軸又は縦軸(即ち夾角が0°、90°、180°又は270°である場合)に沿うと、一般的に、式(3)の行列によって検索する必要がなく、このベクトルの始点と終点の画素位置を直接確定することができるので、検索待ちの画素点が横軸x又は縦軸y上に位置しない場合のみを考慮した。

【0079】

その後、もう一つの行列thetaを作成し、かつその次元を行列Theta_templateと同じにすることができる(即ち、同じく(k-1)×(k-1)行列である)。例えば、式(3)によって行列Theta_templateを例示した本発明の実施例において、関節点連結ベクトルvecが図8に示す第一象限に、あるいは例えば第3象限にある時、行列thetaのすべての要素をθに割り当てることができ、関節点連結ベクトルvecが第2又は第4象限にある時に、行列thetaのすべての要素を-θに割り当てることができる。

【0080】

その後、行列(Theta_template-theta)から行列内に絶対値が最も小さいある要素を見つけ、且つこの画素点が全検索グリッドにおける対応する行インデックスnと列インデックスmを得ることができる。

【0081】

上記検索グリッド作成及び画素点検索過程はいずれもAp(i,j)をxy座標系の原点として構築される。実際の応用では、行列内に絶対値が最も小さい要素の対応画素点Bp(i_BP,j_BP)を取得して、i、jを座標軸とするij座標系における絶対的な画素座標を取得する必要がある。選択可能に、上記取得された行インデックスnと列インデックスmとに基づいて、画素点Bp(i_BP,j_BP)の絶対的な画素座標を計算することができ、具体的な方法は以下である。

【0082】

上記関節点連結ベクトルが第1象限にある場合、Bp(i_BP,j_BP)の画素座標を前記式(4)に表すことができ、それに、他の実施例において、関節点連結ベクトルが第2象限にある場合、Bp(i_BP,j_BP)の画素座標を前記式(5)に、関節点連結ベクトルが第3象限にある場合、Bp(i_BP,j_BP)の画素座標を前記式(6)に、関節点連結ベクトルが第4象限にある場合、Bp(i_BP,j_BP)の画素座標を前記式(7)に表すことができる。

【0083】

また、対応する行列(Theta_template-theta)における要素の最小絶対値を等しくするような2個以上の画素点が存在する場合、この行列において行インデックス及び/又は列インデックスが大きい要素を選択し、且つ対応する画素点を得て画素点Bp(i_BP,j_BP)とすることができる。

【0084】

最後に、ディストーション補正画像における画素点Bp(i_BP,j_BP)及びそれに代表される関節点連結ベクトルを取得した後、対応する元の画像の第2部分の関節点連結ベクトルを取得するように、取得されたディストーション補正画像の関節点連結ベクトルを前記元の画像の第2部分にマッピングし戻すことができる。ディストーション補正画像の関節点連結ベクトルを元の画像の第2部分にマッピングし戻す時、関節点連結ベクトルの長さｌが関節点連結関係の信頼度を表す場合、同じ関節点連結関係の信頼度を表すように、マッピング前後の関節点連結ベクトルの長さを同じにすることができる。例えば、ディストーション補正画像における画素点Ap(i,j)、Bp(i_BP,j_BP)に基づいて、元の画像にマッピングし戻った第2部分の対応する画素点Ae(i_Ae,j_Ae)及びBe(i_Be,j_Be)を計算することができ、且つ対応する元の画像の第2部分における関節点連結ベクトルを取得して、当該ベクトルの方向をAe(i_Ae,j_Ae)からBe(i_Be,j_Be)に指向させ、長さをｌと同じさせる。このようにして、マッピングし得た元の画像の第2の部分中の関節点連結ベクトルに同じ信頼度に維持させることができる。

【0085】

図9は、本発明の一実施例に基づき、ディストーション補正画像内の1つの関節点連結ベクトル(中間の人の左肩から左肘まで)を元の画像の第2の部分にマッピングし戻す図であり、マッピング過程は中抜き矢印で示す。ここで、ディストーション補正画像と元の画像の第2部分とのマッピング関係に基づいて、ディストーション補正画像の左肩から左肘までの関節点連結ベクトルを元の画像の第2部分にマッピングし戻すことができ、取得された関節点連結ベクトルは画像内の黒矢印で示す。

【0086】

上記の過程によって、元の画像の第1部分及び第2部分の関節点信頼度と関節点連結ベクトル場をそれぞれ得た後、それによって元の画像内の人を認識することができる。例えば、まず取得された元の画像の第1部分及び第2部分の関節点信頼度に対して、非最大抑制処理を行うことで、元の画像における離散的な候補関節点の集合を取得することができる。その後、現在の実施例に係るすべての関節点の種類及び関節点連結ベクトルの種類に対して、得られた元の画像における候補関節点の集合に、全ての可能な関節点連結関係を表示することができる。また、取得された元の画像の第1部分と第2部分の関節点連結ベクトルに基づいて元の画像の関節点連結関係を確定することができる。例えば、取得された元の画像の対応する関節点連結ベクトルの長さに基づいて、各関節点連結関係の信頼度を決定できることで、信頼度がある特定閾値より高い関節点連結関係を保留して、信頼度が低い関節点連結関係を除去することができる。最後に、得られた元の画像の各関節点連結関係に基づいて、一つの対象に対応する可能な一連の関節点及びその連結関係を判断し、且つ元の画像における対象を認識することができる。

【0087】

図10は、本発明の一実施例に係る対象認識過程を示す図である。ここで、図10aは取得された元の画像における2種類の候補関節点の集合を示す、図10aに示す元の画像において、それぞれ2個の左肩関節点と2個の左肘関節点を含む。それに、図10aはさらに採用した左肩‐左肘の関節点連結ベクトルの種類によって、黒線で表示された全ての可能な左肩‐左肘の関節点連結関係を示す。図10bは図10aで取得された元の画像の候補関節点の集合及び対応するすべての関節点連結関係に基づき、各関節点連結関係の信頼度を確定するように、関節点連結関係に信頼度の計算を行うことを示す。具体的には、取得された元の画像における対応する種類の関節点連結ベクトルの長さに基づき、全ての左肩-左肘の連結方向に沿って対応する関節点連結ベクトルに線積分をすることで、各関節点連結関係の信頼度を得ることができる。図10bに示すように、それぞれ連続した二つの長い矢印で示された左肩-左肘の関節点連結関係の信頼度が高く、他の関節点連結関係の相応する矢印が短く、対応する信頼度が低いので、信頼度の高い関節点連結関係を保留できて、図10cに示す左肩-左肘の連結関係図を得ることができる。よって、図10cに示した2つの左肩‐左肘の関節点連結関係は、異なる2つの対象、即ち異なる2人を表すことが分かる。最後に、他の種類の関節点及び関節点連結関係に対して類似する計算を行うことができ、且つ図10dに示す元の画像の対象の認識結果を描いて、2つの対象(二人)の各関節及びその連結に対応して、元の画像の対象の認識結果を得ることができる。選択可能に、この二人をそれぞれ検出枠によって選択して、対象認識結果を表示することもできる。

【0088】

本発明に係る上記画像処理装置によれば、取得された元の画像を分割でき、かつ当該元の画像内の第2部分のみを補正して、後続の対象認識過程に供することができる。このような画像処理方法および装置は、画像補正の処理ステップを削減することができ、画像処理する効率を向上させ、対象認識の精度を向上させることができる。

【0089】

また、本発明の実施例に係る画像処理装置によれば、画像を対象認識時の検出枠の融合及び処理過程を用いることと違って、トレーニングデータを利用し、ニューラルネットワークによってきめ細かいベクトルレベルで物体を認識することで、対象認識する精度をさらに向上させる。

【0090】

以下、図12を参照して本発明の実施例に係る画像処理装置について説明する。図12は本発明の実施例に係る画像処理装置1200のブロック図である。図12に示すように、当該装置1200はコンピュータまたはサーバであることが可能である。

【0091】

図12に示すように、画像処理装置1200は、1つまたは複数のプロセッサ1210とメモリ1220とを備えているが、これらに加えて、画像処理装置1200は、バスシステムおよび/または他の形式の接続機構を介して相互接続することができる入力装置、出力装置(図示せず)などを含むことができる。なお、図12に示した画像処理装置1200のコンポーネントや構成は例示的のみであって、制限されるものではなく、必要に応じて、画像処理装置1200は他のコンポーネントや構成を有することもできる。

【0092】

プロセッサー1210は中央プロセスユニット（CPU）またはデータ処理能力と/またはコマンド執行能力を有するほかの形式のプロセスユニットであってもよく、かつメモリ1220内に記憶されたコンピュータプログラムコマンドを用いて所望の機能を実行できるが、以下を含み、即ち、元の画像を取得することと、前記元の画像を第1部分と第2部分に分割して、前記元の画像の第1部分における少なくとも一部の画像のディストーションが所定閾値より小さく、前記元の画像の第2部分における少なくとも一部の画像のディストーションが所定閾値以上であることと、前記元の画像の第2部分に対して補正を行って、前記第2部分に対応するディストーション補正画像を取得することと、前記元の画像の第1部分及び前記ディストーション補正画像を認識して、前記元の画像における対象を認識することと、を含む。

【0093】

メモリ1220は、1つまたは複数のコンピュータプログラムプロダクトを含むことができ、前記コンピュータプログラムプロダクトは、例えば、揮発性メモリおよび/または不揮発性メモリのような各種形式のコンピュータ読み出し可能な記録媒体を含むことができる。前記コンピュータ読み出し可能な記録媒体において一つまたは複数のコンピュータプログラムコマンドをメモリーでき、プロセッサー1210は前記プログラムコマンドを実行することで、上記本発明の実施例の画像処理装置の機能及び／又ほかの所望の機能、かつ／または、本発明の実施例の画像処理方法を実行できる。前記コンピュータ読み出し可能な記録媒体において各種アプリケーションプログラムと各種データを格納することも可能である。

【0094】

以下、本発明の実施例に係りコンピュータプログラムが格納されるコンピュータ読み取り可能な記憶媒体を説明して、前記コンピュータプログラムはプロセッサーによって以下のステップを実現でき、即ち、元の画像を取得するステップと、前記元の画像を第1部分と第2部分に分割して、前記元の画像の第1部分における少なくとも一部の画像のディストーションが所定閾値より小さく、前記元の画像の第2部分における少なくとも一部の画像のディストーションが所定閾値以上であるステップと、 前記元の画像の第2部分に対して補正を行って、前記第2部分に対応するディストーション補正画像を取得するステップと、前記元の画像の第1部分及び前記ディストーション補正画像を認識して、前記元の画像における対象を認識するステップと、を含む。

【0095】

勿論、上記具体的な実施例は例示のみであり、制限されたものではなく、かつ、当業者は本発明の思想に基づき上記分けて記述された各実施例から一部のステップと装置を合併および組み合わせて本発明の効果を実施できる。この種の合併と組合せによる実施例も本発明に含まれ、ここでは一々記述しない。

【0096】

本発明に言及された優位点、メリット、効果などは例示的なもののみで、制限されたものではなく、これらの優位点、メリット、効果は本発明の各実施例に必須であることではない。また、上記より公開発明された具体的な細部は例示の作用と理解しやすいためのみであり、制限されたものではない。上記の細部は以下を制限するものではない。つまり、本発明を実現するために、上記の具体的な細部を用いることは必須である。

【0097】

本発明に係る部材、装置、設備、システムのブロック図は例示的なものに過ぎなく、かつ必ずブロック図に示す方法で接続、レイアウト、配置するように要求または示唆しない。当業者に自明のように、任意の方法でこれらの部材、装置、設備、システムを接続、レイアウト、配置することが可能である。「包括」、「含む」、「具有」などの字句は開放的な単語であり、「含むが限定されない」を指し、かつ交換して使用することが可能である。ここで使用した単語の「或いは」と「と」は単語の「と/或いは」を指し、前後文に明確指示されないかぎり、交換して使用することが可能である。ここで使用した単語の「例えば」は、「例えが限定されない」を指し、かつ交換して使用することが可能である。

【0098】

本発明におけるステップフローチャートおよび上記説明は例示的なものに過ぎなく、かつ必ず示された順番で各実施例のステップを行うように要求または示唆を意図しない当業者に認知されたように、上記実施例内のステップの順番を任意の順序で行うことが可能である。「その後」、「以後」、「その次」などの単語はステップの順序を意図的に限定するものではない。これらの単語は読者にこれらの方法の説明を読むことにガイドさせるもののみである。それに、冠詞の「一個」、「一」または「当該」を用いて単数の要素に対するいかなる引用は当該要素を単数に制限するものではない。

【0099】

また、本明細書の各実施例におけるステップと装置はある実施例での実行に限られず、実際では、本発明の思想に基づき本明細書の各実施例の関係する一部のステップと装置と結合して新しい実施例を構築することができ、そして、これらの新しい実施例も本発明の範囲内に含まれる。

【0100】

上記記述された方法における各操作は対応する機能を実行できるいかなる適切な手段によって実施することが可能である。当該手段は各種のハードウェアと/或いはソフトウェアコンポーネントと/或いはモジュールを含み、回路、特定用途向け集積回路（ＡＳＩＣ）またはプロセッサーを含むが、限られるではない。

【0101】

ここで記述された機能を行うために設計された汎用プロセッサー、デジタル信号プロセッサー（DSP）、特定用途向け集積回路（ASIC）、フィールドプログラマブルゲートアレイ（FPGA）或いはほかのプログラマブル論理デバイス（PLD）、離散ゲートまたはトランジスタ論理、離散ハードウェアコンポーネント、または、それらの任意の組み合わせを用いて、各例示の論理ブロック、モジュール、回路などを実施または述べることができる。汎用プロセッサーはマイクロプロセッサーでもよいが、代替としては、当該プロセッサーがいかなるビジネスにおいて取得できるプロセッサー、コントローラ、マイクロコントローラまたは状態機械でもよい。プロセッサーはさらに計算装置の組合せとして実施できる。例えば、ＤＳＰとマイクロプロセッサーとの組合せ、複数のマイクロプロセッサー、ＤＳＰコアーと提携するひとつまたは複数のマイクロプロセッサー或いはいかなるこのようなほかの配置でも良い。

【0102】

本発明に記述された方法またはアルゴリズムを結合したステップは直接的にハードウェアに、プロセッサーにより実行されるソフトウェアモジュールまたはこの二種の組合せに嵌め込むことが可能である。ソフトウェアモジュールはいかなう形式の有形記録媒体に格納することができる。使用可能な記録媒体は、例えば、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、快速フラッシュメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリ、レジスタ、ハードディスク、移動可能なディスク、CD-ROMなどを含む。記録媒体は、プロセッサーが当該記録媒体から情報と読み取り、および当該記録媒体に情報を記入するように、プロセッサーにカップリングされる。代替方式では、記録媒体がプロセッサーと一体になる。ソフトウェアモジュールはシングルコマンドまたは多数コマンドでもよく、かついくつかの異なるコード セグメント上、異なるプログラムの間および複数の記録媒体を跨って分布することが可能である。

【0103】

ここで発明された方法は述べた方法を実現するためのひとつまたは複数の動作を含む。方法と/或いは動作は請求項から離脱せずに互いに互換できる。言い換えれば、動作の具体的な順序を指定した場合を除き、請求項から離脱せずに具体的な動作の順序と/或いは実行を変更することが可能である。

【0104】

前記機能はハードウェア、ソフトウェア、ファームウェアまたはその任意の組合せによって実施できる。ソフトウェアによって実施する場合、機能はひとつ或いは複数のコマンドとしてコンピュータの読取り可能媒体に格納できる。記録媒体はコンピュータにアクセスされることのできるいかなる使用可能な媒体でも良い。以下の例は制限されたものではない。このようなコンピュータ読取り可能媒体はＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ－ＲＯＭまたはほかの光ディスク格納、磁気ディスク格納またはほかの磁気メモリあるいはコマンドまたはデータ構造形式の所望のプログラムコードを携帯または格納し、かつコンピュータにアクセスできるいかならほかの確実な媒体を含むことができる。ここで使用されたディスク（disc）は、コンパクトディスク（CD）、レーザーディスク(登録商標)、光ディスク、デジタル汎用ディスク（DVD）、ソフト磁気ディスクとブルーレイディスクを含む。

【0105】

このため、コンピュータプログラムプロダクトはここで記述された操作を実行できる。例えば、このようなコンピュータプログラムプロダクトはその上に有形に格納（と/或いはエンコード）されるコマンドを有するコンピュータに読み取り可能な有形媒体であり、当該コマンドはここで記述された操作を行うようにひとつまたは複数のプロセッサーによって実行される。コンピュータプログラムプロダクトはパッケージ材を含むことが可能である。

【0106】

ソフトウェアまたはコマンドは伝送媒体によって伝送されることも可能である。例えば、同軸ケーブル、光ファイバー、ツイストペアケーブル、デジタル加入者線（ＤＳＬ）または赤外、無線あるいはマイクロ波の無線技術の伝送媒体によってウェブサイト、サーバまたはほかのリモートソースからソフトウェアを伝送することが可能である。

【0107】

この他、ここで記述された方法と技術を行うためのモジュールと/或いはほかの適切な手段は適切なときに、ユーザ端末と/或いはベースステーションによりダウンロードと/或いはほかの方法で得ることが可能である。例えば、このようなデバイスはサーバにカップリングすることで、ここで記述された方法を行うための手段の伝送を促す。または、ここで記述された各種方法はユーザ端末と/或いはベースステーションが当該デバイスにカップリングされ、または当該デバイスに記憶部材を提供する時に各種方法を取得するように、記憶部材（例えば、ＲＡＭ、ＲＯＭ、ＣＤ或いはソフト磁気ディスクなどの物理記録媒体）により提供されることが可能である。この他、ここで記述された方法と技術をデバイスに提供するためのいかなるほかの適切な技術を利用することも可能である。

【0108】

ほかの例と実施方法は本発明と請求項および主旨内にある。例えば、ソフトウェアの性質により、以上記述された機能はプロセッサー、ハードウェア、ファームウェア、ハード・ワイヤードまたはこれらの任意の組合せによって実行されるソフトウェアを用いて実施できる。機能を実施する特徴も物理的に各位置に配置することが可能で、機能の部分が異なる物理的な位置において実施されるように分配されることも含む。しかも、ここで使用され、かつ請求項に使用されるのを含み、「少なくともひとつ」をはじめとした列挙に使われた「或いは」は分離の列挙を意味する。即ち、「Ａ、Ｂ或いはＣの少なくともひとつ」のような列挙はＡ或いはＢ或いはＣ、またはＡＢ或いはＡＣ或いはＢＣ、またはＡＢＣ（即ちＡとＢとＣ）を意味する。それに、「例示的」の用語は記述された例が最適またはほかの例よりも良いことを意味していない。

【0109】

請求項に教示された技術を離脱せずに、ここで記述された技術を各種変更、取替えおよび修正を行うことができる。それに、本発明の請求項は上記の処理、機器、製造、イベントの構成、手段、方法および動作の具体的な内容に限られない。ここで記述された内容とほご同じ機能を実行またはほぼ同じ結果を実施して既存または開発される処理、機器、製造、イベントの構成、手段、方法または動作を利用することができる。したがって、請求項はその範囲内にあるこのような処理、機器、製造、イベントの構成、手段、方法または動作を含む。

【0110】

提供された上記の発明内容は当業者に本発明を作成または使用させることができる。これらの方案の各種の補正は当業者にとって自明であり、かつここで定義した一般原理は本発明の範囲を逸脱せずにほかに応用されることも可能である。したがって、本発明はここで示した方案に限定されるものではなく、ここで発明された原理と新規の特徴と一致する最も広い範囲に従うものである。

【0111】

上記の記述は例示および記述のためになされたものである。そして、この記述は本発明の実施例をここで発明された形式に制限する意図がない。上記、複数の例示と実施例を検討したが、当業者にとって、それのある変形、補正、修正、追加とサブ組合せのことが自明である。

【図1】

【図2a】

【図2b】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10a】

【図10b】

【図10c】

【図10d】

【図11】

【図12】