特許 7256086 無人車内の乗客状態の識別方法、装置、機器及び記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-04-03

(45)【発行日】2023-04-11

(54)【発明の名称】無人車内の乗客状態の識別方法、装置、機器及び記憶媒体

(51)【国際特許分類】

   G08G 1/16 20060101AFI20230404BHJP

   G06T 7/20 20170101ALI20230404BHJP

【ＦＩ】

G08G1/16 F

G06T7/20 300Z

【請求項の数】 4

(21)【出願番号】P 2019130227

(22)【出願日】2019-07-12

(65)【公開番号】P2020042785

(43)【公開日】2020-03-19

【審査請求日】2019-07-12

【審判番号】

【審判請求日】2021-11-22

(31)【優先権主張番号】201811050981.5

(32)【優先日】2018-09-10

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】321009845

【氏名又は名称】アポロ インテリジェント ドライビング テクノロジー（ペキン）カンパニー リミテッド

(74)【代理人】

【識別番号】100106297

【弁理士】

【氏名又は名称】伊藤 克博

(72)【発明者】

【氏名】チェン、 ユーハン

【合議体】

【審判長】山本 信平

【審判官】鈴木 充

【審判官】木村 麻乃

(56)【参考文献】

【文献】特開２０１０－１２８９２０（ＪＰ，Ａ）

【文献】特開２０１７－１８８１２７（ＪＰ，Ａ）

【文献】特開２０１６－１０３１７８（ＪＰ，Ａ）

【文献】特開２００９－３０１４５７（ＪＰ，Ａ）

【文献】国際公開第２０１８／０４７３９２（ＷＯ，Ａ１）

【文献】特開平４－３０５７５９（ＪＰ，Ａ）

【文献】特表２０１５－５３２７４３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

G08G 1/00-99/00

G06T 7/00- 7/60

(57)【特許請求の範囲】

【請求項1】

無人車内の乗客状態の識別方法であって、
乗客が無人車を利用する間の異なる次元の監視データを取得することと、
前記異なる次元の監視データに対し特徴抽出を行うことにより、異なる次元の特徴データを生成することと、
前記異なる次元の特徴データに基づき、前記乗客状態に対して識別を行うことと、を含み、
前記乗客状態は危険状態又は安全状態であり、
乗客が無人車を利用する間の異なる次元の監視データを取得することは、具体的に、
無人車内に設けられた各種センサを用いて乗客が無人車を利用する間の対応する次元の監視データをリアルタイムに収集することを含み、
前記センサは、少なくとも内部カメラ、マイクロフォン、バイタルサインセンサ、衝突センサを含み、
無人車内に設けられた各種センサを用いて乗客が無人車を利用する間の対応する次元の監視データをリアルタイムに収集することは、具体的に、
前記内部カメラを用いて乗客が無人車を利用する間の表情監視データ及び身体動作監視データを収集することと、
前記マイクロフォンを用いて乗客が無人車を利用する間の音声監視データを収集することと、
前記バイタルサインセンサを用いて乗客が無人車を利用する間のバイタルサイン監視データを収集することと、
前記衝突センサを用いて乗客が無人車を利用する間に車体又は座席に衝突する時の衝突データを収集することと、を含み、
前記異なる次元の監視データに対し特徴抽出を行うことにより、異なる次元の特徴データを生成することは、具体的に、
それぞれの次元の監視データに対し対応する特徴抽出アルゴリズムを用いて特徴抽出を行うことにより、対応する次元の特徴データを生成することを含み、
前記それぞれの次元の監視データに対し対応する特徴抽出アルゴリズムを用いて特徴抽出を行うことにより、対応する次元の特徴データを生成することは、具体的に、
前記表情監視データに対して、表情特徴抽出アルゴリズムを用いて特徴抽出を行い、表情特徴データを生成することであって、前記表情特徴抽出アルゴリズムは、主成分分析（ＰＣＡ）による特徴抽出アルゴリズム又は独立成分分析（ＩＣＡ）による特徴抽出アルゴリズムである、ことと、
前記身体動作監視データに対して、身体動作特徴抽出アルゴリズムを用いて特徴抽出を行い、身体動作特徴データを生成することと、
前記音声監視データに対して、音声特徴抽出アルゴリズムを用いて特徴抽出を行い、音声特徴データを生成することであって、前記音声特徴抽出アルゴリズムは、メルフィルタバンク（ｍｅｌｆｉｌｔｅｒｂａｎｋ）による特徴抽出アルゴリズム又はメル周波数ケプストラム係数（ｍｆｃｃ）による特徴抽出アルゴリズムである、ことと、
前記バイタルサイン監視データに対して、バイタルサイン特徴抽出アルゴリズムを用いて特徴抽出を行い、バイタルサイン特徴データを生成することと、
前記衝突データに対して、衝突特徴抽出アルゴリズムを用いて特徴抽出を行い、衝突特徴データを生成することと、を含み、
前記異なる次元の特徴データに基づき、前記乗客状態に対して識別を行うことは、
第１のトレーニングサンプル及び第１のテストサンプルを取得することと、
前記第１のトレーニングサンプルを用いて第１の識別アルゴリズムに対してトレーニングを行い、前記第１のテストサンプルを用いて前記第１の識別アルゴリズムに対してテストを行い、前記第１の識別アルゴリズムは最適であるか否かを判断し、最適でない場合、前記第１の識別アルゴリズムが収束して最適の第１の識別アルゴリズムになるまで、引き続き前記第１の識別アルゴリズムのモデルに対してトレーニングを行うことと、
前記最適の第１の識別アルゴリズムを用いて、前記異なる次元の特徴データに基づき、前記乗客状態に対して識別を行うことと、を含み、
前記第１の識別アルゴリズムはそれぞれの次元の前記特徴データに対応する乗客状態の確率データを確定するアルゴリズムであり、前記第１の識別アルゴリズムは、前記表情特徴データに対応する乗客状態の確率データを確定する識別アルゴリズムと、前記身体動作特徴データに対応する乗客状態の確率データを確定する識別アルゴリズムと、前記音声特徴データに対応する乗客状態の確率データを確定する識別アルゴリズムと、前記バイタルサイン特徴データに対応する乗客状態の確率データを確定する識別アルゴリズムと、前記衝突特徴データに対応する乗客状態の確率データを確定する識別アルゴリズムと、を含み、
前記表情特徴データに対応する乗客状態の確率データを確定する識別アルゴリズムに対して、前記第１のトレーニングサンプル及び前記第１のテストサンプルは、それぞれの乗客の表情特徴データであり、前記身体動作特徴データに対応する乗客状態の確率データを確定する識別アルゴリズムに対して、前記第１のトレーニングサンプル及び前記第１のテストサンプルは、それぞれの乗客の身体動作特徴データであり、前記音声特徴データに対応する乗客状態の確率データを確定する識別アルゴリズムに対して、前記第１のトレーニングサンプル及び前記第１のテストサンプルは、それぞれの乗客の音声特徴データであり、前記バイタルサイン特徴データに対応する乗客状態の確率データを確定する識別アルゴリズムに対して、前記第１のトレーニングサンプル及び前記第１のテストサンプルは、それぞれの乗客のバイタルサイン特徴データであり、前記衝突特徴データに対応する乗客状態の確率データを確定する識別アルゴリズムに対して、前記第１のトレーニングサンプル及び前記第１のテストサンプルは、それぞれの乗客の衝突特徴データであり、
前記異なる次元の特徴データに基づき前記乗客状態に対して識別を行うことは、具体的に、
それぞれの次元の特徴データを対応する第１の識別アルゴリズムに入力して、それぞれの次元の特徴データに対応する乗客状態の確率データを出力することと、
それぞれの次元の乗客状態の確率データに対応する重み値を取得することと、
前記それぞれの次元の乗客状態の確率データに対し加重加算演算を行って、乗客状態の総確率データを取得することと、
前記乗客状態の総確率データ及び予め設定された閾値に基づき前記乗客状態を確定することと、を含み、
前記対応する第１の識別アルゴリズムは前記最適の第１の識別アルゴリズムである、ことを特徴とする無人車内の乗客状態の識別方法。

【請求項2】

無人車内の乗客状態の識別装置であって、
乗客が無人車を利用する間の異なる次元の監視データを取得するために用いられるデータ取得モジュールと、
前記異なる次元の監視データに対し特徴抽出を行うことにより、異なる次元の特徴データを生成するために用いられる特徴抽出モジュールと、
前記異なる次元の特徴データに基づき前記乗客状態に対して識別を行うために用いられる状態識別モジュールと、
第１のトレーニングサンプル及び第１のテストサンプルを取得するために用いられるサンプル取得モジュールと、
前記第１のトレーニングサンプルを用いて第１の識別アルゴリズムに対してトレーニングを行い、前記第１のテストサンプルを用いて前記第１の識別アルゴリズムに対してテストを行い、前記第１の識別アルゴリズムは最適であるか否かを判断し、最適でない場合、前記第１の識別アルゴリズムが収束して最適の識別アルゴリズムになるまで、引き続き前記第１の識別アルゴリズムのモデルに対してトレーニングを行うために用いられる最適化モジュールと、を含み、
前記乗客状態は危険状態又は安全状態であり、
前記状態識別モジュールは、前記最適の第１の識別アルゴリズムを用いて、前記異なる次元の特徴データに基づき、前記乗客状態に対して識別を行い、
前記データ取得モジュールは、具体的に、
無人車内に設けられた各種センサを用いて乗客が無人車を利用する間の対応する次元の監視データをリアルタイムに収集するために用いられ、
前記センサは、少なくとも内部カメラ、マイクロフォン、バイタルサインセンサ、衝突センサを含み、
前記データ取得モジュールは、具体的に、
前記内部カメラを用いて乗客が無人車を利用する間の表情監視データ及び身体動作監視データを収集し、前記マイクロフォンを用いて乗客が無人車を利用する間の音声監視データを収集し、前記バイタルサインセンサを用いて乗客が無人車を利用する間のバイタルサイン監視データを収集し、前記衝突センサを用いて乗客が無人車を利用する間に車体又は座席に衝突する時の衝突データを収集するために用いられ、
前記特徴抽出モジュールは、具体的に、
それぞれの次元の監視データに対し対応する特徴抽出アルゴリズムを用いて特徴抽出を行うことにより、対応する次元の特徴データを生成するために用いられ、
前記特徴抽出モジュールは、具体的に、
前記表情監視データに対して、表情特徴抽出アルゴリズムを用いて特徴抽出を行い、表情特徴データを生成することであって、前記表情特徴抽出アルゴリズムは、主成分分析（ＰＣＡ）による特徴抽出アルゴリズム又は独立成分分析（ＩＣＡ）による特徴抽出アルゴリズムである、ことと、
前記身体動作監視データに対して、身体動作特徴抽出アルゴリズムを用いて特徴抽出を行い、身体動作特徴データを生成することと、
前記音声監視データに対して、音声特徴抽出アルゴリズムを用いて特徴抽出を行い、音声特徴データを生成することであって、前記音声特徴抽出アルゴリズムは、メルフィルタバンク（ｍｅｌｆｉｌｔｅｒｂａｎｋ）による特徴抽出アルゴリズム又はメル周波数ケプストラム係数（ｍｆｃｃ）による特徴抽出アルゴリズムである、ことと、
前記バイタルサイン監視データに対して、バイタルサイン特徴抽出アルゴリズムを用いて特徴抽出を行い、バイタルサイン特徴データを生成することと、
前記衝突データに対して、衝突特徴抽出アルゴリズムを用いて特徴抽出を行い、衝突特徴データを生成することと、に用いられ、
前記第１の識別アルゴリズムはそれぞれの次元の前記特徴データに対応する乗客状態の確率データを確定するアルゴリズムであり、前記第１の識別アルゴリズムは、前記表情特徴データに対応する乗客状態の確率データを確定する識別アルゴリズムと、前記身体動作特徴データに対応する乗客状態の確率データを確定する識別アルゴリズムと、前記音声特徴データに対応する乗客状態の確率データを確定する識別アルゴリズムと、前記バイタルサイン特徴データに対応する乗客状態の確率データを確定する識別アルゴリズムと、前記衝突特徴データに対応する乗客状態の確率データを確定する識別アルゴリズムと、を含み、
前記表情特徴データに対応する乗客状態の確率データを確定する識別アルゴリズムに対して、前記第１のトレーニングサンプル及び前記第１のテストサンプルは、それぞれの乗客の表情特徴データであり、前記身体動作特徴データに対応する乗客状態の確率データを確定する識別アルゴリズムに対して、前記第１のトレーニングサンプル及び前記第１のテストサンプルは、それぞれの乗客の身体動作特徴データであり、前記音声特徴データに対応する乗客状態の確率データを確定する識別アルゴリズムに対して、前記第１のトレーニングサンプル及び前記第１のテストサンプルは、それぞれの乗客の音声特徴データであり、前記バイタルサイン特徴データに対応する乗客状態の確率データを確定する識別アルゴリズムに対して、前記第１のトレーニングサンプル及び前記第１のテストサンプルは、それぞれの乗客のバイタルサイン特徴データであり、前記衝突特徴データに対応する乗客状態の確率データを確定する識別アルゴリズムに対して、前記第１のトレーニングサンプル及び前記第１のテストサンプルは、それぞれの乗客の衝突特徴データであり、
前記状態識別モジュールは、具体的に、
それぞれの次元の特徴データを対応する第１の識別アルゴリズムに入力して、それぞれの次元の特徴データに対応する乗客状態の確率データを出力し、次に、それぞれの次元の乗客状態の確率データに対応する重み値を取得し、そして、前記それぞれの次元の乗客状態の確率データに対し加重加算演算を行って、乗客状態の総確率データを取得し、最後に、前記乗客状態の総確率データ及び予め設定された閾値に基づき前記乗客状態を確定するために用いられ、
前記対応する第１の識別アルゴリズムは前記最適の第１の識別アルゴリズムである、
ことを特徴とする無人車内の乗客状態の識別装置。

【請求項3】

端末機器であって、
１つ以上のプロセッサと、
１つ以上のプログラムを記憶するために用いられる記憶装置と、
異なる次元の監視データを収集するために用いられるデータ収集装置と、を含み、
前記１つ以上のプログラムが前記１つ以上のプロセッサにより実行されることで、前記１つ以上のプロセッサは請求項１に記載の無人車内の乗客状態の識別方法を実現することを特徴とする端末機器。

【請求項4】

コンピュータ読み取り可能な記憶媒体であって、プロセッサにより実行されて、請求項１に記載の無人車内の乗客状態の識別方法を実現するためのコンピュータプログラムが記憶されることを特徴とするコンピュータ読み取り可能な記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本願の実施例は、無人運転技術分野に関し、より詳しくは、無人車内の乗客状態の識別方法、装置、機器及び記憶媒体に関する。

【背景技術】

【0002】

インターネットと経済の発展に伴い、人々の移動のニーズを満たすための無人運転技術も、飛躍的な発展を遂げている。無人運転車はスマートカーの一種であり、車輪移動ロボットとも称され、主には、車内に設けられたコンピュータシステムを中心とするスマートパイロットにより無人運転の目的を達成するものである。

【0003】

無人車内には運転者がいないので、乗客が無人車を利用して移動する場合、乗客の状態を全方位に監視して、乗客の人身安全及び財産安全を確保することは極めて重要である。

【0004】

従来技術において、主に、乗客が携帯している装置、例えば、スマートブレスレットにより、乗客の身体を監視し、乗客の人身安全が危険にさらされる時、スマートブレスレット又は携帯電話により報告を行っている。しかしながら、このような方式では乗客の人身安全及び財産安全に対して全方位の監視を行うことができないため、無人車を利用する乗客の安全を効果的に確保することはできない。

【発明の概要】

【発明が解決しようとする課題】

【0005】

本願の実施例は、無人車内の乗客状態の識別方法、装置、機器及び記憶媒体を提供する。従来技術による乗客状態の識別方法は、乗客の人身安全及び財産安全に対して全方位の監視ができず、無人車を利用する乗客の安全を効果的に確保することはできないという技術的課題を解決する。

【課題を解決するための手段】

【0006】

本願の実施例の第１の態様として、無人車内の乗客状態の識別方法を提供し、当該方法は、乗客が無人車を利用する間の異なる次元の監視データを取得することと、前記異なる次元の監視データに対し特徴抽出を行うことにより、異なる次元の特徴データを生成することと、前記異なる次元の特徴データに基づき前記乗客状態に対して識別を行うこととを含む。

【0007】

本願の実施例の第２の態様として、無人車内の乗客状態の識別装置を提供し、当該装置は、乗客が無人車を利用する間の異なる次元の監視データを取得するために用いられるデータ取得モジュールと、前記異なる次元の監視データに対し特徴抽出を行うことにより、異なる次元の特徴データを生成するために用いられる特徴抽出モジュールと、前記異なる次元の特徴データに基づき前記乗客状態に対して識別を行うために用いられる状態識別モジュールとを含む。

【0008】

本願の実施例の第３の態様として、端末機器を提供し、当該機器は、１つ以上のプロセッサと、１つ以上のプログラムを記憶するために用いられる記憶装置と、異なる次元の監視データを収集するために用いられるデータ収集装置とを含み、前記１つ以上のプログラムが前記１つ以上のプロセッサにより実行されることで、前記１つ以上のプロセッサは上記第１の態様に記載の方法を実現する。

【0009】

本願の実施例の第４の態様として、コンピュータ読み取り可能な記憶媒体を提供し、当該媒体には、プロセッサにより実行されて、上記第１の態様に記載の方法を実現するためのコンピュータプログラムが記憶される。

【発明の効果】

【0010】

上述した各態様によれば、本願の実施例は、乗客が無人車を利用する間の異なる次元の監視データを取得し、次に、異なる次元の監視データに対し特徴抽出を行うことにより、異なる次元の特徴データを生成し、そして、異なる次元の特徴データに基づき乗客状態に対して識別を行うように構成される。乗客が無人車を利用する間の様々な次元の監視データを取得して乗客の状態を識別することにより、乗客の人身安全及び財産安全に対して全方位の監視を行い、無人車を利用する乗客の安全を効果的に確保することができる。

【0011】

なお、上記発明の概要の部分に記載されている内容は、本願の実施例の肝要な特徴又は重要な特徴を限定するものでもなければ、本願の範囲を限定するためのものでもない。本願のその他の特徴は、以下の説明により分かりやすくなるであろう。

【図面の簡単な説明】

【0012】

【図1】本願の実施例１に係る無人車内の乗客状態の識別方法のフローチャートである。

【図2】本願の実施例２に係る無人車内の乗客状態の識別方法のフローチャートである。

【図3】本願の実施例３に係る無人車内の乗客状態の識別方法のフローチャートである。

【図4】本願の実施例４に係る無人車内の乗客状態の識別装置の構造模式図である。

【図5】本願の実施例５に係る無人車内の乗客状態の識別装置の構造模式図である。

【図6】本願の実施例６に係る端末機器の構造模式図である。

【発明を実施するための形態】

【0013】

以下、関連する各図を参照しながら、本願の実施例を詳細に説明する。関連する各図では本願のいくつかの実施例を示しているが、本願は様々な形態により実現することができ、ここに記載されている実施例に限られるように解釈されるべきはなく、むしろこれらの実施例を挙げるのは本願をより明瞭で且つ完全に理解するためであり、なお理解すべきなのは、本願に関連する各図及び実施例は、例示的に挙げられるものに過ぎず、本願の保護範囲を限定するためのものではない。

【0014】

本願の実施例において、明細書及び特許請求の範囲及び上述した各図に用いられる「第１」、「第２」、「第３」、「第４」等（該当記載がある場合）の用語は、特定の順序又は前後関係を示すために用いられるものではなく、類似する対象を区別するためのものである。なお、このような文脈の中で使用される数字は、ここに記載されている本願の実施例は図示又は記載されている内容とは異なる順序で実施してもよいことを表すために、場合によってはこれらの数字を互いに入れ替えることもできる。また、「含む」、「有する」及びこれらに準ずるその他の用語は、非排他的に含む場合も含むという意味で使用される。例えば、一連のステップ又はユニットを含むプロセス、方法、システム、製品又は機器は、明記されているステップ又はユニットに限られるわけではなく、明記されていない又はこれらのプロセス、方法、製品又は機器に固有のその他のステップ又はユニットを含んでもよい。

【0015】

本願に係る各発明を分かりやすく説明するために、以下、本願に関連する専門用語について解釈する。
無人運転車：無人運転車は、車載センサシステムにより道路環境を検知し、走行ルートを自動的に計画するとともに、車両が所定の場所にたどり着くよう制御するスマートカーである。それは、車載センサを利用して車両の周囲環境を検知するとともに、検知した道路、車両位置及び障害物情報に基づき、車両の走行方向及び速度を制御することにより、車両は道路において安全で且つ確実に走行するようにする。自動制御、システム構成、人工知能、ビジュアルコンピューティング等様々な技術を統合しており、コンピュータ技術、パターン識別及びスマート制御技術の高度に発展した産物であり、国の科学研究の実力と産業レベルを評価する上で重要な指標でもあり、国防と国民経済の分野において幅広く利用される見込みがある。本願の実施例において、無人運転車は無人車と略称される。

【0016】

以下、関連する各図を参照しながら、本願の実施例を具体的に説明する。

【0017】

「実施例１」
図１は、本願の実施例１に係る無人車内の乗客状態の識別方法のフローチャートであり、図１に示すとおり、本願の実施例の実行主体は無人車内の乗客状態の識別装置であり、当該無人車内の乗客状態の識別装置は、端末機器の中に集積されてもよい。端末機器は無人車内の車載端末機器であり、本実施例に係る無人車内の乗客状態の識別方法は、以下のステップ１０１～ステップ１０３を含む。

【0018】

ステップ１０１において、乗客が無人車を利用する間の異なる次元の監視データを取得する。

【0019】

具体的には、本実施例において、無人車内の乗客状態の識別装置と無人車内の各種のセンサとの通信を行い、乗客が無人車を利用する間の異なる次元の監視データを取得してもよければ、無人車内の各種センサにより、乗客が無人車を利用する間の対応する次元の監視データを直接収集してもよい。

【0020】

ただし、無人車内の各種的センサは、内部カメラ、マイクロフォン、バイタルサインセンサ、衝突センサ等を含んでもよい。対応するように、異なる次元の監視データは、表情監視データ、身体動作監視データ、音声監視データ、バイタルサイン監視データ、車体又は座席に衝突する衝突データ等を含んでもよい。

【0021】

ステップ１０２において、異なる次元の監視データに対し特徴抽出を行うことにより、異なる次元の特徴データを生成する。

【0022】

さらに、本実施例において、それぞれの次元の監視データに対し、対応する特徴抽出アルゴリズムを用いて特徴抽出を行うことにより、それぞれの次元の特徴データを生成してもよい。

【0023】

異なる次元の監視データに対し特徴抽出を行うことにより、異なる次元の特徴データを生成することについて例示的に説明する。表情監視データに対し、表情特徴抽出アルゴリズムを用いて特徴抽出を行い、表情特徴抽出アルゴリズムは主成分分析（ＰＣＡ）による特徴抽出アルゴリズム、独立成分分析（ＩＣＡ）による特徴抽出アルゴリズム等であってもよい。音声監視データに対し、音声特徴抽出アルゴリズムを用いて特徴抽出を行い、音声特徴抽出アルゴリズムはメルフィルタバンク（ｍｅｌｆｉｌｔｅｒｂａｎｋ）による特徴抽出アルゴリズム、メル周波数ケプストラム係数（ｍｆｃｃ）による特徴抽出アルゴリズム等であってもよい。

【0024】

ステップ１０３において、異なる次元の特徴データに基づき乗客状態に対して識別を行う。

【0025】

具体的には、本実施例において、全ての異なる次元の特徴データを統合識別アルゴリズムに入力して、乗客状態に対して識別を行ってもよければ、それぞれの次元の特徴データを対応する識別アルゴリズムに入力して、それぞれの次元の特徴データに対応する乗客状態の確率データを出力し、次に、予め設定されたそれぞれの次元の乗客状態の確率データの重みに基づきそれぞれの次元の乗客状態の確率データに対し加重加算演算を行って、乗客状態の総確率データを取得し、乗客状態の総確率データ及び予め設定された閾値に基づき乗客の最終状態を確定してもよい。

【0026】

なお、本実施例において、異なる次元の特徴データに基づき乗客状態に対して識別を行う方法はその他の方法であってもよく、本実施例では、これについて限定しない。

【0027】

ただし、識別された乗客状態は危険状態又は安全状態であってもよい。

【0028】

本実施例に係る無人車内の乗客状態の識別方法は、乗客が無人車を利用する間の異なる次元の監視データを取得し、次に、異なる次元の監視データに対し特徴抽出を行うことにより、異なる次元の特徴データを生成し、そして、異なる次元の特徴データに基づき乗客状態に対して識別を行うように構成される。乗客が無人車を利用する間の様々な次元の監視データを取得して乗客の状態を識別することにより、乗客の人身安全及び財産安全に対して全方位の監視を行い、無人車を利用する乗客の安全を効果的に確保することができる。

【0029】

「実施例２」
図２は、本願の実施例２に係る無人車内の乗客状態の識別方法のフローチャートであり、図２に示すとおり、本実施例に係る無人車内の乗客状態の識別方法は、本願の実施例１に係る無人車内の乗客状態の識別方法をベースにして、ステップ１０１～ステップ１０３をより細かくするものであり、本実施例に係る無人車内の乗客状態の識別方法は、以下のステップ２０１～ステップ２０８を含む。

【0030】

ステップ２０１において、無人車内に設けられた各種センサを用いて乗客が無人車を利用する間の対応する次元の監視データをリアルタイムに収集する。

【0031】

さらに、本実施例において、前記センサは、少なくとも内部カメラ、マイクロフォン、バイタルサインセンサ、衝突センサを含む。

【0032】

ただし、内部カメラは、乗客が座るエリアに設けられ、乗客の映像又は画像を収集する。マイクロフォンも乗客が座るエリアに設けることができ、乗客の音声又はその他の音を収集する。バイタルサインセンサはシートベルトに設けられてもよく、その場合、乗客が無人車を利用する間、前記シートベルトを着用することにより、又は乗客バイタルサインセンサ付きの機器を着用することにより、乗客のバイタルサインを監視する。衝突センサは車体の内側又は乗客座席の背後に設けられ、乗客が車体の内側又は座席の背後に衝突する時、衝突データを収集する。

【0033】

好ましくは、本実施例において、無人車内に設けられた各種センサを用いて乗客が無人車を利用する間の対応する次元の監視データをリアルタイムに収集することは、具体的に、以下を含む。
まず、内部カメラを用いて乗客が無人車を利用する間の表情監視データ及び身体動作監視データを収集する。

【0034】

さらに、本実施例において、内部カメラは１つ以上であってもよく、内部カメラが複数である場合、内部カメラのそれぞれを乗客が座るエリアに異なる方向に設ける。そのうちの１つ以上の内部カメラを用いて乗客の顔の映像及び画像を収集し、乗客の顔の映像及び画像から乗客の表情監視データを取得する。且つ、その他の１つ以上の内部カメラを用いて乗客の全身の映像及び画像を収集し、全身の映像及び画像から身体動作監視データを取得する。

【0035】

次に、マイクロフォンを用いて乗客が無人車を利用する間の音声監視データを収集する。

【0036】

さらに、本実施例において、マイクロフォンは１つ以上であってもよく、マイクロフォンが複数である場合、乗客が座るエリアの異なる方向に設けて、マイクロフォンにより乗客の音声及び無人車内のその他の音を収集して、音声監視データを生成する。

【0037】

そして、バイタルサインセンサを用いて乗客が無人車を利用する間のバイタルサイン監視データを収集する。

【0038】

さらに、本実施例において、バイタルサインセンサで収集する乗客が無人車を利用する間のバイタルサイン監視データは、体温データ、心拍数データ、血圧データ等を含んでもよい。

【0039】

最後に、衝突センサを用いて乗客が無人車を利用する間に車体又は座席に衝突する時の衝突データを収集する。

【0040】

さらに、本実施例において、車体の内側及び座席の背後にはいずれも衝突センサが装着され、乗客が車体の内側又は座席の背後に衝突する時、衝突センサは衝突データを収集する。

【0041】

理解できるように、それぞれのセンサは、乗客が乗車してから下車するまでの間に対応する次元の監視データをリアルタイムに収集することができる。

【0042】

説明する必要があるのは、本実施例において、ステップ２０１は、本願の実施例１に係る無人車内の乗客状態の識別方法のステップ１０１をより細かくしている。

【0043】

ステップ２０２において、それぞれの次元の監視データに対し対応する特徴抽出アルゴリズムを用いて特徴抽出を行うことにより、対応する次元の特徴データを生成する。

【0044】

本実施例において、それぞれの次元の監視データには、いずれも対応する特徴抽出アルゴリズムがある。例えば、表情監視データの場合、対応する特徴抽出アルゴリズムは主成分分析（ＰＣＡ）による特徴抽出アルゴリズム、独立成分分析（ＩＣＡ）による特徴抽出アルゴリズム等であってもよい。音声監視データの場合、対応する特徴抽出アルゴリズムはメルフィルタバンク（ｍｅｌｆｉｌｔｅｒｂａｎｋ）による特徴抽出アルゴリズム、メル周波数ケプストラム係数（ｍｆｃｃ）による特徴抽出アルゴリズム等であってもよい。

【0045】

さらに、本実施例において、表情特徴抽出アルゴリズムを用いて表情監視データに対し特徴抽出を行うことより、表情特徴データを生成する。身体動作特徴抽出アルゴリズムを用いて身体動作監視データに対し特徴抽出を行うことにより、身体動作特徴データを生成する。音声特徴抽出アルゴリズムを用いて音声監視データに対し特徴抽出を行うことにより、声音特徴データを生成する。バイタルサイン特徴抽出アルゴリズムを用いてバイタルサイン監視データに対し特徴抽出を行うことにより、バイタルサイン特徴データを生成する。衝突特徴抽出アルゴリズムを用いて衝突データに対し特徴抽出を行うことにより、衝突特徴データを生成する。

【0046】

ステップ２０３において、第１のトレーニングサンプル及び第１のテストサンプルを取得する。

【0047】

ただし、第１のトレーニングサンプル及び第１のテストサンプルはそれぞれの乗客の同一次元の特徴データである。第１のトレーニングサンプル及び第１のテストサンプルは複数である。

【0048】

さらに、本実施例において、それぞれの次元の特徴データを対応する第１の識別アルゴリズムに入力して、それぞれの次元の特徴データに対応する乗客状態の確率データを出力する前は、第１の識別アルゴリズムに対して最適化を行うことにより、最適化された第１の識別アルゴリズムを生成する必要がある。

【0049】

ただし、第１の識別アルゴリズムはそれぞれの次元の特徴データに対応する乗客状態の確率データを確定するアルゴリズムである。第１の識別アルゴリズムはディープラーニングアルゴリズムであり、例えば、畳み込みニューラルネットワークモデルアルゴリズム、ディープニューラルネットワークモデルアルゴリズム等であってもよい。

【0050】

本実施例において、第１のトレーニングサンプル及び第１のテストサンプルは第１の識別アルゴリズムに対応するトレーニングサンプル及びテストサンプルである。ただし、第１のトレーニングサンプル及び第１のテストサンプルは既に生成されたそれぞれの乗客の同一次元の特徴データであってもよい。例えば、表情特徴データに基づき乗客状態の確率を識別する識別アルゴリズムの場合、そのトレーニングサンプル及びテストサンプルは既に生成されたそれぞれの乗客の表情特徴データである。また、音声特徴データに基づき乗客状態の確率を識別する識別アルゴリズムの場合、そのトレーニングサンプル及びテストサンプルは既に生成されたそれぞれの乗客の音声特徴データである。

【0051】

ステップ２０４において、第１のトレーニングサンプルを用いて第１の識別アルゴリズムに対してトレーニングを行うとともに、第１の識別アルゴリズムが収束するまで、第１のテストサンプルを用いて第１の識別アルゴリズムに対してテストを行う。

【0052】

さらに、本実施例において、それぞれの第１のトレーニングサンプルを第１の識別アルゴリズムに入力して、第１の識別アルゴリズムのモデルに対してトレーニングを行い、パラメータに対して最適化を行うとともに、それぞれの第１のテストサンプルを最適化された第１の識別アルゴリズムに入力して、第１の識別アルゴリズムのモデルは最適であるか否かを判断し、最適でない場合、第１の識別アルゴリズムのモデルが収束して最適になるまで、引き続き第１の識別アルゴリズムのモデルに対してトレーニングを行う。

【0053】

理解できるように、第１の識別アルゴリズムが最適化された識別アルゴリズムになると、乗客の状態識別を行うたびにステップ２０３～ステップ２０４を実行する必要はない。

【0054】

ステップ２０５において、それぞれの次元の特徴データを対応する第１の識別アルゴリズムに入力して、それぞれの次元の特徴データに対応する乗客状態の確率データを出力する。

【0055】

本実施例において、それぞれの次元の特徴データを対応する第１の識別アルゴリズムに入力し、ただし当該第１の識別アルゴリズムはトレーニング－テストのプロセスを経て最適化された第１の識別アルゴリズムであり、第１の識別アルゴリズムは対応する次元の特徴データに基づき乗客状態に対して識別を行い、対応する乗客状態の確率データを出力する。

【0056】

ただし、乗客状態の確率データは乗客が危険状態にある確率データ又は乗客が安全状態にある確率データであり、本実施例では、これについて限定しない。

【0057】

ステップ２０６において、それぞれの次元の乗客状態の確率データに対応する重み値を取得する。

【0058】

さらに、本実施例において、それぞれの次元の乗客状態の確率データに対応する重み値を予め定義し記憶し、記憶エリアから、それぞれの次元の乗客状態の確率データに対応する重み値を取得する。

【0059】

ステップ２０７において、それぞれの次元の乗客状態の確率データに対し加重加算演算を行って、乗客状態の総確率データを取得する。

【0060】

さらに、本実施例において、それぞれの次元の乗客状態の確率データと対応する重み値との乗算演算を行うとともに、乗算して得られた結果の総和演算を行って、取得された結果はすなわち乗客状態の総確率データである。それぞれの次元の乗客状態の確率データが、乗客が危険状態にある確率データである場合、乗客状態の総確率データは乗客が危険状態にある総確率データである。それぞれの次元の乗客状態の確率データが、乗客が安全状態にある確率データである場合、乗客状態の総確率データは乗客が安全状態にある総確率データである。

【0061】

ステップ２０８において、乗客状態の総確率データ及び予め設定された閾値に基づき乗客状態を確定する。

【0062】

さらに、本実施例において、乗客が危険状態にある総確率に対応する危険確率閾値、及び乗客が安全状態にある総確率に対応する安全確率閾値を予め定義している。

【0063】

ただし、危険確率閾値及び安全確率閾値の具体的な値は、本実施例において限定されない。

【0064】

乗客が危険状態にある総確率データに対応する値が予め設定された危険確率閾値より大きい場合、乗客状態を危険状態に確定し、乗客が危険状態にある総確率データに対応する値が予め設定された危険確率閾値以下である場合、乗客状態を安全状態に確定する。又は、乗客が安全状態にある総確率データに対応する値が予め設定された安全確率閾値より大きい場合、乗客状態を安全状態に確定し、乗客が安全状態にある総確率データに対応する値が予め設定された安全確率閾値以下である場合、乗客状態を危険状態に確定する。

【0065】

本実施例に係る無人車内の乗客状態の識別方法は、無人車内に設けられた各種センサを用いて乗客が無人車を利用する間の対応する次元の監視データをリアルタイムに収集し、次に、それぞれの次元の監視データに対し対応する特徴抽出アルゴリズムを用いて特徴抽出を行うことにより、対応する次元の特徴データを生成し、そして、それぞれの次元の特徴データを対応する第１の識別アルゴリズムに入力して、それぞれの次元の特徴データに対応する乗客状態の確率データを出力し、さらに、それぞれの次元の乗客状態の確率データに対応する重み値を取得し、そして、それぞれの次元の乗客状態の確率データに対し加重加算演算を行って、乗客状態の総確率データを取得し、最後に、乗客状態の総確率データ及び予め設定された閾値に基づき乗客状態を確定するように構成される。乗客の人身安全及び財産安全に対して全方位の監視を行うことができるだけでなく、最適化されたディープラーニングアルゴリズムを用いて乗客の状態に対して識別を行うことにより、乗客状態の識別の正確性を効果的に向上させることもできる。

【0066】

「実施例３」
図３は、本願の実施例３に係る無人車内の乗客状態の識別方法のフローチャートであり、図３に示すとおり、本実施例に係る無人車内の乗客状態の識別方法は、本願の実施例１に係る無人車内の乗客状態の識別方法をベースにして、ステップ１０１～ステップ１０３をより細かくするものであり、本実施例に係る無人車内の乗客状態の識別方法は、以下のステップ３０１～ステップ３０６を含む。

【0067】

ステップ３０１において、無人車内に設けられた各種センサを用いて乗客が無人車を利用する間の対応する次元の監視データをリアルタイムに収集する。

【0068】

ステップ３０２において、それぞれの次元の監視データに対し、対応する特徴抽出アルゴリズムを用いて特徴抽出を行うことにより、対応する次元の特徴データを生成する。

【0069】

本実施例において、ステップ３０１～ステップ３０２の実現形態は、本願の実施例２に係る無人車内の乗客状態の識別方法におけるステップ２０１～ステップ２０２の実現形態と同じであるため、ここにおいてその説明は省略される。

【0070】

ステップ３０３において、第２のトレーニングサンプル及び第２のテストサンプルを取得する。

【0071】

ただし、第２のトレーニングサンプル及び第２のテストサンプルは、それぞれの乗客の異なる次元の特徴データである。

【0072】

さらに、本実施例において、異なる次元の特徴データを第２の識別アルゴリズムに入力して、第２の識別アルゴリズムにより乗客状態に対して識別を行う前は、第２の識別アルゴリズムに対して最適化を行って、最適化された第２の識別アルゴリズムを生成する必要がある。

【0073】

ただし、第２の識別アルゴリズムは、全ての次元の特徴データにより乗客状態を識別するアルゴリズムである。第２の識別アルゴリズムはディープラーニングアルゴリズムであり、例えば、畳み込みニューラルネットワークモデルアルゴリズム、ディープニューラルネットワークモデルアルゴリズム等であってもよい。

【0074】

本実施例において、第２のトレーニングサンプル及び第２のテストサンプルは、第２の識別アルゴリズムに対応するトレーニングサンプル及びテストサンプルである。ただし、第２のトレーニングサンプル及び第２のテストサンプルはいずれも既に生成されたそれぞれの乗客の全ての次元の特徴データである。

【0075】

ステップ３０４において、第２のトレーニングサンプルを用いて第２の識別アルゴリズムに対してトレーニングを行うとともに、第２の識別アルゴリズムが収束するまで、第２のテストサンプルを用いて第２の識別アルゴリズムに対してテストを行う。

【0076】

さらに、本実施例において、それぞれの第２のトレーニングサンプルを第２の識別アルゴリズムに入力して、第２の識別アルゴリズムのモデルに対してトレーニングを行い、パラメータに対して最適化を行い、そしてそれぞれの第２のテストサンプルを最適化された第２の識別アルゴリズムに入力し、第２の識別アルゴリズムのモデルは最適であるか否かを判断し、最適でない場合、第２の識別アルゴリズムのモデルが収束して最適になるまで、引き続き第２の識別アルゴリズムのモデルに対してトレーニングを行う。

【0077】

理解できるように、第２の識別アルゴリズムが最適化された識別アルゴリズムになると、乗客状態の識別を行うたびにステップ３０３～ステップ３０４を実行する必要はない。

【0078】

ステップ３０５において、異なる次元の特徴データを第２の識別アルゴリズムに入力して、第２の識別アルゴリズムにより乗客状態に対して識別を行う。

【0079】

ステップ３０６において、乗客状態を出力する。

【0080】

さらに、本実施例において、監視して得た乗客の全ての次元の特徴データを第２の識別アルゴリズムに入力して、第２の識別アルゴリズムは全ての次元の特徴データに基づき乗客状態に対して識別を行い、乗客状態を出力する。なお、全ての次元の特徴データに基づき乗客が危険状態にあることを識別した場合、乗客は危険状態にある旨出力し、全ての次元の特徴データに基づき乗客が安全状態にあることを識別した場合、乗客は安全状態にある旨出力する。

【0081】

理解できるように、無人車には、乗客の個人情報及び家族の連絡先が予め記憶されているため、乗客状態が危険状態である場合、通信モジュールにより、乗客の個人情報及び家族の連絡先とともに、乗客が危険状態にある旨サーバに報告することにより、サーバは乗客の個人情報及び家族の連絡先を通じて乗客の家族に知らせるようにする。又は無人車にＧＰＳモジュールを装着し、ＧＰＳモジュールにより無人車の位置を確定してもよく、そして、無人車の位置をサーバに送信することにより、サーバは乗客が乗っている無人車の位置を取得し、即時乗客の救助を行うようにする。

【0082】

本実施例に係る無人車内の乗客状態の識別方法は、無人車内に設けられた各種センサを用いて乗客が無人車を利用する間の対応する次元の監視データをリアルタイムに収集し、次に、それぞれの次元の監視データに対し対応する特徴抽出アルゴリズムを用いて特徴抽出を行うことにより、対応する次元の特徴データを生成し、そして、第２のトレーニングサンプル及び第２のテストサンプルを取得し、第２のトレーニングサンプルを用いて第２の識別アルゴリズムに対してトレーニングを行い、さらに、第２の識別アルゴリズムが収束するまで、第２のテストサンプルを用いて第２の識別アルゴリズムに対してテストを行い、そして、異なる次元の特徴データを第２の識別アルゴリズムに入力して、第２の識別アルゴリズムにより乗客状態に対して識別を行い、最後に、乗客状態を出力するように構成される。乗客の人身安全及び財産安全に対して全方位の監視を行うことができるだけでなく、最適化されたディープラーニングアルゴリズムを用いて乗客の状態に対して識別を行うことにより、乗客状態の識別の正確性を効果的に向上させることもできる。

【0083】

「実施例４」
図４は、本願の実施例４に係る無人車内の乗客状態の識別装置の構造模式図であり、図４に示すとおり、本実施例に係る無人車内の乗客状態の識別装置４０は、データ取得モジュール４１と、特徴抽出モジュール４２と、状態識別モジュール４３とを含む。

【0084】

ただし、データ取得モジュール４１は、乗客が無人車を利用する間の異なる次元の監視データを取得するために用いられる。特徴抽出モジュール４２は、異なる次元の監視データに対し特徴抽出を行うことにより、異なる次元の特徴データを生成するために用いられる。状態識別モジュール４３は、異なる次元の特徴データに基づき乗客状態に対して識別を行うために用いられる。

【0085】

本実施例に係る無人車内の乗客状態の識別装置は、図１に示される方法の実施例に係る発明を実行することができ、その実現原理及び技術的効果は類似するため、ここにおいてその説明は省略される。

【0086】

「実施例５」
図５は、本願の実施例５に係る無人車内の乗客状態の識別装置の構造模式図であり、図５に示すとおり、本実施例に係る無人車内の乗客状態の識別装置５０は、本願の実施例４に係る無人車内の乗客状態の識別装置をベースにして、第１のサンプル取得モジュール５１と、第１の最適化モジュール５２と、第２のサンプル取得モジュール５３と、第２の最適化モジュール５４とをさらに含む。

【0087】

さらに、データ取得モジュール４１は、具体的に、無人車内に設けられた各種センサを用いて乗客が無人車を利用する間の対応する次元の監視データをリアルタイムに収集するために用いられる。

【0088】

さらに、前記センサは、少なくとも内部カメラ、マイクロフォン、バイタルサインセンサ、衝突センサを含む。

【0089】

さらに、データ取得モジュール４１は、具体的に、内部カメラを用いて乗客が無人車を利用する間の表情監視データ及び身体動作監視データを収集し、マイクロフォンを用いて乗客が無人車を利用する間の音声監視データを収集し、バイタルサインセンサを用いて乗客が無人車を利用する間のバイタルサイン監視データを収集し、衝突センサを用いて乗客が無人車を利用する間に車体又は座席に衝突する時の衝突データを収集するために用いられる。

【0090】

さらに、特徴抽出モジュール４２は、具体的に、それぞれの次元の監視データに対し対応する特徴抽出アルゴリズムを用いて特徴抽出を行うことにより、対応する次元の特徴データを生成するために用いられる。

【0091】

任意選択可能に、状態識別モジュール４３は、具体的に、それぞれの次元の特徴データを対応する第１の識別アルゴリズムに入力して、それぞれの次元の特徴データに対応する乗客状態の確率データを出力し、次に、それぞれの次元の乗客状態の確率データに対応する重み値を取得し、そして、それぞれの次元の乗客状態の確率データに対し加算演算を行って、乗客状態の総確率データを取得し、最後に、乗客状態の総確率データ及び予め設定された閾値に基づき乗客状態を確定するために用いられる。

【0092】

任意選択可能に、状態識別モジュール４３は、具体的に、異なる次元の特徴データを第２の識別アルゴリズムに入力して、第２の識別アルゴリズムにより乗客状態に対して識別を行い、次に、乗客状態を出力するために用いられる。

【0093】

任意選択可能に、第１の識別アルゴリズムはディープラーニングアルゴリズムである。第１のサンプル取得モジュール５１は、第１のトレーニングサンプル及び第１のテストサンプルを取得するために用いられ、ただし、第１のトレーニングサンプル及び第１のテストサンプルはそれぞれの乗客の同一次元の特徴データである。第１の最適化モジュール５２は、第１のトレーニングサンプルを用いて第１の識別アルゴリズムに対してトレーニングを行うとともに、第１の識別アルゴリズムが収束するまで、第１のテストサンプルを用いて第１の識別アルゴリズムに対してテストを行うために用いられる。

【0094】

任意選択可能に、第２の識別アルゴリズムはディープラーニングアルゴリズムである。第２のサンプル取得モジュール５３は、第２のトレーニングサンプル及び第２のテストサンプルを取得するために用いられ、ただし、第２のトレーニングサンプル及び第２のテストサンプルはそれぞれの乗客の異なる次元の特徴データである。第２の最適化モジュール５４は、第２のトレーニングサンプルを用いて第２の識別アルゴリズムに対してトレーニングを行うとともに、第２の識別アルゴリズムが収束するまで、第２のテストサンプルを用いて第２の識別アルゴリズムに対してテストを行うために用いられる。

【0095】

本実施例に係る無人車内の乗客状態の識別装置は、図２又は図３に示される方法の実施例に係る各発明を実行することができ、その実現原理及び技術的効果は類似するため、ここにおいてその説明は省略される。

【0096】

「実施例６」
図６は、本願の実施例６に係る端末機器の構造模式図であり、図６に示すとおり、本実施例に係る端末機器６０は、１つ以上のプロセッサ６１と、記憶装置６２と、データ収集装置６３とを含む。

【0097】

ただし、記憶装置６２は、１つ以上のプログラムを記憶するために用いられる。データ収集装置６３は、異なる次元の監視データを収集するために用いられる。１つ以上のプログラムが１つ以上のプロセッサにより実行されることで、１つ以上のプロセッサは本願の実施例１に係る無人車内の乗客状態の識別方法又は本願の実施例２に係る無人車内の乗客状態の識別方法又は本願の実施例３に係る無人車内の乗客状態の識別方法を実現する。

【0098】

関連する説明は、図１ないし図３におけるステップに対応する関連説明及び効果を参照して理解できるため、ここにおいてその説明は省略される。

【0099】

「実施例７」
本願の実施例７は、コンピュータ読み取り可能な記憶媒体を提供し、当該記憶媒体には、プロセッサにより実行されて、本願の実施例１に係る無人車内の乗客状態の識別方法又は本願の実施例２に係る無人車内の乗客状態の識別方法又は本願の実施例３に係る無人車内の乗客状態の識別方法を実現するためのコンピュータプログラムが記憶される。

【0100】

なお、本願に係るいくつかの実施例により開示されている装置及び方法は、その他の形態により実現することもできる。例えば、上記装置の実施例は例示的なものに過ぎず、例えば、モジュールの設定は、論理機能上の設定に過ぎず、実際に実現させる際、その他の方式で設定してもよい。例えば、複数のモジュール又はコンポーネントは、互いに組み合わせるか、もう１つのシステムに集積されるか、又はその一部の特徴を無視したり実行しなかったりしてもよい。また、記載又は説明されている要素間の接続、又は直接的な接続若しくは通信的接続は、いくつかのインタフェース、装置又はモジュールによる間接的な接続又は通信的接続であってもよく、電気的形式、機械的形式又はその他の形式であってもよい。

【0101】

分離している部品として説明されるモジュールは、物理的に分離するものでもよければ、分離していないものでもよく、モジュールとして表示される部品は、物理的なモジュールであってもよければそうでなくてもよく、すなわち同一の場所に配置されてもよければ、又は複数のネットワークモジュールに分散されてもよい。実際のニーズに応じて、そのうちから一部又は全てのモジュールを選択して、本実施例に係る発明の目的を達成してもよい。

【0102】

また、本願の実施例のそれぞれに係る機能モジュールのそれぞれは、１つの処理モジュールに集積されてもよければ、モジュールのそれぞれは別々に物理的に存在してもよく、又は２つ以上のモジュールは１つのモジュールに集積されてもよい。上記集積されているモジュールは、ハードウェアの形態で実現されてもよければ、ハードウェア及びソフトウェアによる機能モジュールを組み合わせた形態で実現されてもよい。

【0103】

本願に係る方法を実施するためのプログラムコードは、１種以上のプログラミング言語の任意の組み合わせにより書くことができる。これらのプログラムコードは汎用コンピュータ、専用コンピュータ又はその他のプログラマブルなデータ処理装置のプロセッサ若しくはコントローラに提供することにより、前記プログラムコードがプロセッサ又はコントローラにより実行される時、フローチャート及び／又はブロック図に記載の機能／操作を実施する。前記プログラムコードは全てが機器において実行されるか、一部が機器において実行されるか、独立するソフトウェアパッケージとして、一部が機器において実行されるとともにもう一部が遠隔機器において実行されるか、又はその全てが遠隔機器若しくはサーバにおいて実行されてもよい。

【0104】

本願の記載において、機器読み取り可能な媒体は、具体的な形を有する媒体であってもよく、当該媒体には、コマンド実行システム、装置又は機器に使用されるか、又はコマンド実行システム、装置又は機器と組み合わせて使用されるプログラムが含まれるか又は記憶される。機器読み取り可能な媒体は、機器読み取り可能な信号媒体又は機器読み取り可能な記憶媒体であってもよい。機器読み取り可能な媒体は電子形式、磁気形式、光学形式、電磁形式、赤外形式、又は半導体システム、装置若しくは機器、又は上記装置のあらゆる適切な組み合わせを含むが、これらに限定されない。機器読み取り可能な記憶媒体の具体例として、１つ以上のバスに基づく電気的接続、ポータブルコンピュータ用ディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリーメモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバー、ポータブル式コンパクトリードオンリーメモリ（ＣＤ－ＲＯＭ）、光学メモリ、磁気メモリ、又は上記装置のあらゆる適切な組み合わせが挙げられる。

【0105】

また、関連する操作のそれぞれを特定の順で説明しているが、かかる操作は説明されている特定の順番により又は順に実行すべきであるか、又は所望の結果を得るには、各図に示される操作を実行する必要があるというふうに理解されるべきである。特定の環境において、マルチタスク及び並列処理が好適である場合もある。同様に、上記説明において本発明の実現に関するいくつかの具体的な詳細が含まれているが、これらは本願の範囲に対する限定として解釈されるべきではない。特定の実施例の文脈の中において記載されているいくつかの特徴は、組み合わせて一つの実施形態として実現されてもよい。なお、一つの実施形態の文脈の中において記載されている様々な特徴は、単独で又はその一部を適切に組み合わせる形態で複数の実施形態として実現されてもよい。

【0106】

構造上の特徴及び／又は方法としての論理的動作に特化される文言で本発明の主旨を説明しているが、添付の特許請求の範囲において限定される主旨は、必ずしも上記の記載における特定の特徴又は動作に限られるものではないように理解されたい。なお、上述した特定の特徴又は動作は、特許請求の範囲を実現するための例示的な形態に過ぎない。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】