(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024141599
(43)【公開日】2024-10-10
(54)【発明の名称】学習モデル及び識別装置
(51)【国際特許分類】
G06N 3/0464 20230101AFI20241003BHJP
【FI】
G06N3/0464
【審査請求】未請求
【請求項の数】10
【出願形態】OL
(21)【出願番号】P 2023053338
(22)【出願日】2023-03-29
(71)【出願人】
【識別番号】000108085
【氏名又は名称】セコム株式会社
(74)【代理人】
【識別番号】100103850
【弁理士】
【氏名又は名称】田中 秀▲てつ▼
(74)【代理人】
【識別番号】100114177
【弁理士】
【氏名又は名称】小林 龍
(74)【代理人】
【識別番号】100066980
【弁理士】
【氏名又は名称】森 哲也
(72)【発明者】
【氏名】村井 陽介
(72)【発明者】
【氏名】糸賀 健
(57)【要約】
【課題】ニューラルネットワーク(CNN:Convolutional Neural Network)を有する学習モデルのプーリング層の性能を向上する。
【解決手段】入力データの特徴量を算出する学習モデル1は、畳み込み層11bと、同一の畳み込み層11bからの出力信号に対して複数の異なるプーリング処理をそれぞれ施す複数のプーリング層(11c1~11cN)と、を備える。学習モデル1は、複数のプーリング層(11c1~11cN)の各々の出力信号が重み係数で重み付けされた重み付け和に基づいて入力データの特徴量を算出する。
【選択図】
図2
【特許請求の範囲】
【請求項1】
入力データの特徴量を算出する学習モデルであって、
畳み込み層と、
同一の前記畳み込み層からの出力信号に対して複数の異なるプーリング処理をそれぞれ施す複数のプーリング層と、
を備え、前記複数のプーリング層の各々の出力信号が重み係数で重み付けされた重み付け和に基づいて前記入力データの前記特徴量を算出することを特徴とする学習モデル。
【請求項2】
請求項1に記載の学習モデルと、
前記特徴量に基づいて前記入力データのクラスを識別する識別部と、
前記識別部の識別結果に基づいて前記重み係数を機械学習する学習部と、
を備えることを特徴とする識別装置。
【請求項3】
請求項1に記載の学習モデルと、
前記重み係数の設定入力をユーザから受け付ける入力受付部と、
を備えることを特徴とする識別装置。
【請求項4】
請求項1に記載の学習モデルと、
識別対象を検出した前記入力データから算出した前記特徴量に基づいて、前記識別対象のクラスを識別する識別部と、
前記識別対象の属性の傾向の候補値データと、前記重み係数と、の間の対応関係を予め記憶する記憶部と、
前記学習モデルが適用される環境における前記識別対象の属性の実際の傾向の情報をユーザから受け付ける入力受付部と、
前記記憶部に記憶された前記対応関係と、前記入力受付部からの入力値と、に基づいて前記重み係数を設定する前記重み係数設定部と、
を備えることを特徴とする識別装置。
【請求項5】
請求項1に記載の学習モデルと、
前記学習モデルを適用する環境の属性の候補値データ、前記学習モデルを適用する環境の属性の傾向の候補値データ、前記入力データを生成するセンサの属性の候補値データ、及び前記入力データを生成するセンサの属性の傾向の候補値データのうち少なくとも一つの候補値データと、当該候補値データに対応する前記重み係数と、の間の対応関係を記憶する記憶部と、
前記学習モデルが適用される環境の実際の属性、前記学習モデルが適用される環境の属性の実際の傾向、前記入力データを生成するセンサの実際の属性、及び前記入力データを生成するセンサの属性の実際の傾向のうち少なくとも一つの情報を、ユーザから受け付ける入力受付部と、
前記記憶部に記憶された前記対応関係と、前記入力受付部からの入力値と、に基づいて前記重み係数を設定する前記重み係数設定部と、
を備えることを特徴とする識別装置。
【請求項6】
請求項1に記載の学習モデルと、
識別対象を検出した前記入力データから算出した前記特徴量に基づいて、前記識別対象のクラスを識別する識別部と、
前記識別対象の属性の傾向の候補値データと、前記重み係数と、の間の対応関係を予め記憶する記憶部と、
前記学習モデルが適用される環境における前記識別対象の属性の実際の傾向を推定する属性傾向推定部と、
前記記憶部に記憶された前記対応関係と、前記属性傾向推定部による推定値と、に基づいて前記重み係数を設定する前記重み係数設定部と、
を備えることを特徴とする識別装置。
【請求項7】
請求項1に記載の学習モデルと、
前記学習モデルを適用する環境の属性の傾向の候補値データ及び前記入力データを生成するセンサの属性の傾向の候補値データのうち少なくとも一つの候補値データと、当該候補値データに対応する前記重み係数と、の間の対応関係を記憶する記憶部と、
前記学習モデルが適用される環境の属性の実際の傾向、又は前記入力データを生成するセンサの属性の実際の傾向を推定する属性傾向推定部と、
前記記憶部に記憶された前記対応関係と、前記属性傾向推定部による推定値と、に基づいて前記重み係数を設定する前記重み係数設定部と、
を備えることを特徴とする識別装置。
【請求項8】
前記重み係数設定部は、前記識別部が識別に失敗した前記識別対象の属性の傾向に基づいて前記重み係数を設定することを特徴とする請求項6に記載の識別装置。
【請求項9】
前記重み係数設定部は、前記識別部による識別成功率が閾値以下となった場合に前記属性傾向推定部が推定した前記識別対象の属性の傾向に基づいて前記重み係数を設定することを特徴とする請求項6に記載の識別装置。
【請求項10】
前記重み係数設定部は、前記属性傾向推定部が推定した前記識別対象の属性の傾向の変化を検知した場合に、前記属性傾向推定部が推定した前記識別対象の属性の傾向に基づいて前記重み係数を設定することを特徴とする請求項6に記載の識別装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、入力データの特徴量を算出する学習モデル及び識別装置に関する。
【背景技術】
【0002】
入力データの特徴量を算出する学習モデルとして畳み込みニューラルネットワーク(CNN:Convolutional Neural Network)が知られている。CNNでは、畳み込み層で得られた特徴マップの情報を集約して重要な情報を抽出するためにプーリング層が用いられている(例えば下記特許文献1)。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
プーリング層におけるプーリング手法にはいくつかの手法が存在するが、従来のCNNのネットワーク構成では、CNNの設計時に定めた特定のプーリング手法のみを使用していた。しかしながら、CNNへの入力データの特性はCNNの使用環境によって異なるため、どのプーリング手法が効果的であるかはCNNの使用環境に依存する。
本発明は、上記の問題点を鑑みてなされたものであり、CNNを有する学習モデルのプーリング層の性能を向上することを目的とする。
【課題を解決するための手段】
【0005】
本発明の一形態によれば、入力データの特徴量を算出する学習モデルが与えられる。学習モデルは、畳み込み層と、同一の畳み込み層からの出力信号に対して複数の異なるプーリング処理をそれぞれ施す複数のプーリング層と、を備える。学習モデルは、複数のプーリング層の各々の出力信号が重み係数で重み付けされた重み付け和に基づいて入力データの特徴量を算出する。
【発明の効果】
【0006】
本発明によれば、CNNの使用環境に応じて容易にプーリング層の特性を変更できるため、CNNを有する学習モデルのプーリング層の性能を向上できる。
【図面の簡単な説明】
【0007】
【
図1】実施形態の識別装置のハードウエア構成例を示す概略図である。
【
図2】第1実施形態の識別装置1Aの機能構成の一例のブロック図である。
【
図3】第1実施形態のデータ識別方法の一例のフローチャートである。
【
図4】第2実施形態の識別装置1Bの機能構成の一例のブロック図である。
【
図5】第3実施形態の識別装置1Cの機能構成の一例のブロック図である。
【
図6】第4実施形態の識別装置1Dの機能構成の一例のブロック図である。
【
図7】第5実施形態の識別装置1Eの機能構成の一例のブロック図である。
【
図8】第6実施形態の識別装置1Fの機能構成の一例のブロック図である。
【
図9】第7及び第8実施形態の識別システムの全体構成の一例の概略図である。
【
図10】第7実施形態のセンタ装置30の機能構成の一例のブロック図である。
【
図11】第8実施形態のセンタ装置30の機能構成の一例のブロック図である。
【発明を実施するための形態】
【0008】
以下において、図面を参照して本発明の実施形態を説明する。なお、以下に示す本発明の実施形態は、本発明の技術的思想を具体化するための装置や方法を例示するものであって、本発明の技術的思想は、構成部品の構造、配置等を下記のものに特定するものではない。本発明の技術的思想は、特許請求の範囲に記載された請求項が規定する技術的範囲内において、種々の変更を加えることができる。
【0009】
(構成)
図1は、以下に説明する第1~第6実施形態の識別装置1A~1Fのハードウエア構成例を示す概略図である。以下の説明において識別装置1A~1Fを総称して「識別装置1」と表記することがある。
識別装置1は、識別対象を検出した入力データを取得して識別対象のクラスを識別する。例えば識別装置1は、入力データとして画像データを入力して、画像データに写っている識別対象のクラスを識別してもよい。また例えば識別装置1は、入力データとして音声データを入力して、発話した話者を識別してもよい。
【0010】
識別装置1は、操作入力部2、ファイル入出力部3、記憶部4、制御部5、出力部6及び入力データ生成部7からなる。これらのうちのファイル入出力部3、記憶部4および制御部5はいわゆるコンピュータで実現でき、操作入力部2、出力部6および入力データ生成部7は当該コンピュータの周辺機器として実現できる。
【0011】
操作入力部2は、キーボード、マウス等のユーザインターフェースであり、ユーザに操作されてデータの入力等に用いられる。操作入力部2は、制御部5に接続され、ユーザの操作を操作信号に変換して制御部5に出力する。
【0012】
ファイル入出力部3は、DVD(Digital Versatile Disc)ドライブ、USB(Universal Serial Bus)インターフェース、ネットワークインターフェース等であり、一方が不図示の外部機器、記録メディア、ネットワーク等に接続され、他方が制御部5に接続され、データをファイルとして制御部5に入力し、およびデータをファイルとして制御部5から出力する。
【0013】
記憶部4は、ROM(Read Only Memory)、RAM(Random Access Memory)等のメモリ装置であり、各種プログラムや各種データを記憶する。記憶部4は、制御部5と接続されて制御部5との間でこれらの情報を入出力する。
【0014】
制御部5は、CPU(Central Processing Unit)、DSP(Digital Signal Processor)、MCU(Micro Control Unit)等の演算装置で構成される。制御部5は、記憶部4と接続され、記憶部4からプログラムを読み出して実行することにより各種処理部として動作し、各種データを記憶部4に記憶させ、読み出す。また、制御部5は、操作入力部2、ファイル入出力部3および出力部6とも接続され、ユーザが操作入力部2を操作して入力されたデータを取得し、ファイル入出力部3を介して外部からファイルとしてデータを取得および出力し、所得したデータに基づいた演算結果のデータファイルとしてファイル入出力部3から出力させ、および/または演算結果のデータを出力部6から出力する。
【0015】
出力部6は、制御部5による演算結果を出力する液晶ディスプレイ又はCRT(Cathode Ray Tube)ディスプレイ等のディスプレイ装置、プロジェクタ、プリンタなどである。
入力データ生成部7は、識別対象を検出した入力データを生成するセンサである。例えば入力データとして画像データを生成する場合、入力データ生成部7は、撮像装置(カメラ)であってよい。また例えば入力データとして音声データを生成する場合、入力データ生成部7は、マイクロフォンであってよい。
なお、制御部5は、識別対象を検出した入力データを、ファイル入出力部3を介して外部からファイルとして取得してもよく、この場合には入力データ生成部7を省略してもよい。
【0016】
(第1実施形態)
図2は、第1実施形態の識別装置1Aの機能構成の一例のブロック図である。識別装置1Aは、入力データ取得手段10と、CNN11と、識別結果出力部12とを備える。CNN11は特許請求の範囲に記載の「学習モデル」の一例である。
図1のファイル入出力部3又は入力データ生成部7は、入力データ取得手段10として機能する。制御部5は、CNN11として機能する。ファイル入出力部3又は出力部6は識別結果出力部12として機能する。
【0017】
入力データ取得手段10は、識別対象を検出した入力データを取得してCNN11へ入力する。CNN11は入力データから識別対象のクラスを識別して識別結果を出力する。識別結果出力部12は、CNN11による識別結果を出力部6のディスプレイ装置、プロジェクタ、プリンタに出力したり、ファイル入出力部3からデータファイルとして出力する。
【0018】
後述するようにCNN11はプーリング層を有する。プーリング層で行われるプーリング処理の手法には、例えば平均プーリング(Average Pooling)や、最大値プーリング(Max Pooling)、フラクショナルマックスプーリング(Fractional Max Pooling)、スペクトラルプーリング(spectral pooling)など、様々なプーリング手法が存在する。
これに対して、識別装置1により識別すべき識別対象の特性は、識別装置1が適用される設置環境によって異なる。このため、どのようなプーリング手法が効果的であるかは識別装置1が適用される環境(すなわち設置及び運用される環境)によって異なる。
【0019】
例えば識別装置1による識別タスクが人物の識別である場合(すなわち識別対象が人物である場合)には、「私服姿の人物」が多い環境では、服装全体の大域的な情報を重視したプーリング手法(例えば平均プーリング)を採用するのが好適である。一方で「スーツ姿の人物」が多い環境では、顔やネクタイなどの局所情報を重視したプーリング手法(例えば最大値プーリング)を採用するのが好適である。
【0020】
このため、CNNの設計時に決定したプーリング手法のみを用いた従来のネットワーク設計では、識別装置1が適用される環境によっては期待した識別性能を発揮できない場面が生じていた。
そこで本発明では、同一の畳み込み層からの出力信号に対して複数の異なるプーリング処理をそれぞれ施す複数のプーリング層を設け、複数のプーリング層の各々の出力信号が重み係数で重み付けされた重み付け和に基づいて入力データの特徴量を算出する。
【0021】
これにより、識別装置1が適用される環境に合わせて重み係数を調整することで、各々の環境に応じて複数の異なるプーリングを使い分けることが可能になる。この結果、識別装置1が適用される環境に存在する識別対象の識別に適した特徴量を取得できる。
【0022】
図2のCNN11は、入力層11aと、畳み込み層11bと、同一の階層に並列に配列された複数のプーリング層11c1~11cNと、重み付け演算部11dと、全結合層11eと、出力層11fを備える。
なお、以下の説明においてプーリング層11c1~11cNを総称して「プーリング層11c」と表記することがある。また、全結合層11eと出力層11fは、特許請求の範囲に記載の「識別部」の一例である。
【0023】
入力層11aでは、入力データ取得手段10からの入力データをCNN11への入力として受信する。
畳み込み層11bでは、入力データに対して畳み込み処理を行うことにより入力データの特徴マップ(特徴量)Mcを抽出し、抽出した特徴マップMcを出力信号として複数のプーリング層11c1~11cNへ出力する。
【0024】
プーリング層11cは、畳み込み層11bにより抽出された特徴マップMcに対してプーリング処理を行って、元の特徴マップMcの情報を集約することにより特徴マップMcから重要な情報が抽出された特徴マップを生成する。
本発明のCNN11は、畳み込み層11bの後段のプーリング層11cとして、同一の階層に並列に配列された複数のプーリング層11c1~11cNを有する。
【0025】
複数のプーリング層11c1~11cNは、同一の畳み込み層11bにより抽出された同一の特徴マップMcに対してそれぞれ異なる手法のプーリング処理を行うことにより、元の特徴マップMcの情報が集約された特徴マップMp1~MpNをそれぞれ生成する。複数のプーリング層11c1~11cNによるプーリング処理は、例えば、平均プーリング、最大値プーリング、フラクショナルマックスプーリング、スペクトラルプーリングなどであってよい。
【0026】
重み付け演算部11dは、プーリング層11cと全結合層11eとの間に配置され、複数のプーリング層11c1~11cNからそれぞれ出力される特徴マップMp1~MpNをそれぞれ重み係数w1~wNで重み付けされた重み付け和Mw=w1×Mp1+w2×Mp2+…+wN×MpNを、入力データの特徴マップ(特徴量)として算出する。
【0027】
全結合層11eは、特徴マップMwを一つのノードに結合して特徴変数を出力する。
出力層11fは、全結合層11eが出力した特徴変数に基づいてソフトマックス関数を用いて確率に変換することにより、入力データがどのクラスに属するかクラス毎の確率を算出し、確率が最大値となるクラスを識別結果として出力する。
【0028】
なお
図2は、識別装置1Aが全結合層11eと出力層11fとを備える構成を例示しているが、本発明はこのような構成に限定されない。全結合層11eと出力層11fとに代えて、識別装置1Aは、予め用意したテンプレート特徴量と、重み付け演算部11dが出力した特徴量との間の類似度に基づいて入力データを識別するマッチング処理部を備えてもよい。このようなマッチング処理部は人物同定(Re-Identification:ReID)や顔認証などの識別タスクに好適であり、識別すべき既知の対象の特徴量を予め用意してテンプレート特徴量としてマッチング処理部に記憶しておく。
【0029】
例えばマッチング処理部は、重み付け演算部11dが出力した特徴マップを、平坦化(Flatten)処理等によって特徴量(特徴ベクトル)に変換し、変換後の特徴量とテンプレート特徴量との類似度を計算する。例えばマッチング処理部は、入力データの特徴量とテンプレート特徴量との内積を類似度として算出してよい。類似度が閾値以上である場合に、テンプレート特徴量を求めた識別対象と入力データの識別対象とが同一であると判定し、類似度が閾値未満である場合には同一でないと判定してよい。
【0030】
また
図2は、識別装置1Aが、畳み込み層11bとプーリング層11cの組合せを1段のみ有している構成を例示しているが、本発明はこのような構成に限定されない。
識別装置1Aは、複数段の畳み込み層11bとプーリング層11cの組合せを、直列接続した構成を備えてもよい。複数段のプーリング層11cのうちの一部の段のプーリング層11cを複数のプーリング層11c1~11cNで構成してもよく、全ての段のプーリング層11cを複数のプーリング層11c1~11cNで構成してもよい。
【0031】
図3は、第1実施形態のデータ識別方法の一例のフローチャートである。
ステップS1において入力データ取得手段10とCNN11の入力層11aは、入力データを取得する。
ステップS2において畳み込み層11bは、入力データに対して畳み込み処理を行うことにより入力データの特徴マップMcを抽出する。
【0032】
ステップS3において複数のプーリング層11c1~11cNは、同一の畳み込み層11bにより抽出された同一特徴マップMcに対して、それぞれ異なる手法のプーリング処理を行って、特徴マップMcから重要な情報が集約された特徴マップMp1~MpNをそれぞれ生成する。
【0033】
ステップS4において重み付け演算部11dは、複数のプーリング層11c1~11cNからそれぞれ出力される特徴マップMp1~MpNの重み付け和Mw=w1×Mp1+w2×Mp2+…+wN×MpNを算出する。
ステップS5において全結合層11eは、重み付け和Mwに基づいて識別対象のクラスを識別する。その後に処理は終了する。
【0034】
(第2実施形態)
図4は、第2実施形態の識別装置1Bの機能構成の一例のブロック図である。第2実施形態の識別装置1Bは、識別装置1Bによる識別対象のクラスの識別結果に基づいて重み係数w1…wNと全結合層11eとを機械学習する。
第2実施形態の識別装置1Bの構成要素のうち第1実施形態の識別装置1Aの構成要素と同一又は類似の構成要素には、同じ参照符号を付与する。
【0035】
識別装置1Bは、識別結果判定手段20と、重み係数学習手段21とを備える。
図1の制御部5は、識別結果判定手段20及び重み係数学習手段21として機能する。
識別結果判定手段20は、識別装置1Bによって識別された識別対象のクラスが正解クラスであるか否かを判定する。例えば、識別結果判定手段20と、既知の識別対象の入力データに対する識別装置1Bの識別結果が正解であるか否かを判定してよい。
重み係数学習手段21は、識別装置1Bによる識別結果の正解率が高くなるように、重み係数w1…wNと全結合層11eとを機械学習する。
なお、重み係数学習手段21は、重み係数w1…wNと全結合層11eとを機械学習するのに合わせて、識別装置1Bによる識別結果の正解率が高くなるように畳み込み層11bとプーリング層11cも機械学習してもよい。
【0036】
(第3実施形態)
図5は、第3実施形態の識別装置1Cの機能構成の一例のブロック図である。第3実施形態の識別装置1Cは、ユーザからの入力に基づいて重み係数w1…wNを設定する。
第3実施形態の識別装置1Cの構成要素のうち第1実施形態の識別装置1Aの構成要素と同一又は類似の構成要素には、同じ参照符号を付与する。
第3実施形態の識別装置1Cは、全結合層11eと出力層11fとに代えてマッチング処理部11gを備える。マッチング処理部11gは、上記のとおり予め用意したテンプレート特徴量と、重み付け演算部11dが出力した特徴量との間の類似度に基づいて入力データを識別する。
【0037】
識別装置1Cは、ユーザ入力受付手段22を備える。
図1の操作入力部2は、ユーザ入力受付手段22として機能する。ユーザ入力受付手段22は、重み係数w1…wNの設定入力をユーザから受け付ける。
重み付け演算部11dは、ユーザにより設定された重み係数w1…wNに基づいて、上記の重み付け和Mw=w1×Mp1+w2×Mp2+…+wN×MpNを算出する。
【0038】
(第4実施形態)
図6は、第4実施形態の識別装置1Dの機能構成の一例のブロック図である。第4実施形態の識別装置1Dも、ユーザからの入力に基づいて重み係数w1…wNを設定する。
第4実施形態の識別装置1Dの構成要素のうち第1実施形態の識別装置1Aの構成要素と同一又は類似の構成要素には、同じ参照符号を付与する。
【0039】
識別装置1Dは、ユーザ入力受付手段22と、重み係数記憶手段23と、重み係数設定手段24とを備える。
図1の操作入力部2は、ユーザ入力受付手段22として機能する。記憶部4は、重み係数記憶手段23として機能する。制御部5は、重み係数設定手段24として機能する。
ユーザ入力受付手段22は、識別装置1が適用される環境における識別対象の属性の実際の傾向の情報をユーザから受け付ける。
【0040】
識別対象の属性とは、例えば識別装置1による識別タスクが人物の識別である場合には、人物の服装の種別や色あい、人物の性別、年齢、身長、体格などであってよい。
また属性の傾向とは、例えば、識別装置1が適用される環境に現れる識別対象がそれぞれ有する属性のうち、これらの属性がそれぞれ占める構成比であってもよい。また例えば属性の傾向は、最も大きな割合を占める属性や、閾値よりも大きな割合を占める属性であってよい。
【0041】
重み係数記憶手段23は、識別対象の属性の傾向の候補値データと重み係数との間の対応関係を予め記憶する。
重み係数設定手段24は、重み係数記憶手段23に記憶された対応関係と、ユーザ入力受付手段22からの入力値(識別対象の属性の傾向)と、に基づいて重み係数w1…wNを設定する。
【0042】
(変形例)
重み係数記憶手段23は、識別対象の属性の傾向の候補に代えて又は加えて、識別装置1を適用する環境の属性の候補値データ、識別装置1を適用する環境の属性の傾向の候補値データ、入力データを生成するセンサの属性の候補値データ、及び入力データを生成するセンサの属性の傾向の候補値データのうち少なくとも一つの候補値データと、当該候補値データの各々に対応する重み係数と、の間の対応関係を記憶してもよい。
例えば識別装置1を適用する環境の属性として、識別装置1を適用する環境が屋外であるか屋内であるか各々の場合における重み係数を記憶してもよい。
【0043】
また例えば識別装置1を適用する環境の属性の傾向として、識別装置1を適用する環境の明るさの傾向の候補値データと、各々の候補値データに対する重み係数と、の間の対応関係を記憶してもよい。
また例えば、入力データを生成するセンサの属性として、センサの解像度やセンサの設置位置(高さや光軸方向など)の候補値データと、各々の候補値データに対する重み係数と、の間の対応関係を記憶してもよい。
また例えば、入力データを生成するセンサの属性の傾向として、センサからの出力値に現れるノイズの傾向の候補値データと、各々の候補値データに対する重み係数と、の間の対応関係を記憶してもよい。
【0044】
ユーザ入力受付手段22は、識別装置1が適用される環境の実際の属性、識別装置1が適用される環境の属性の実際の傾向、入力データを生成するセンサの実際の属性、又は入力データを生成するセンサの属性の実際の傾向の情報をユーザから受け付ける。
重み係数設定手段24は、重み係数記憶手段23に記憶された対応関係と、ユーザ入力受付手段22からの入力値(識別装置1が適用される環境の実際の属性、入力データを生成するセンサの実際の属性、これらの実際の傾向)と、に基づいて重み係数w1…wNを設定する。
【0045】
(第5実施形態)
図7は、第5実施形態の識別装置1Eの機能構成の一例のブロック図である。第5実施形態の識別装置1Eは、識別装置1が適用される環境における識別対象の属性の傾向を推定し、識別対象の属性の傾向の推定結果に基づいて重み係数w1…wNを設定する。
第5実施形態の識別装置1Eの構成要素のうち第4実施形態の識別装置1Dの構成要素と同一又は類似の構成要素には、同じ参照符号を付与する。
【0046】
識別装置1Eは、重み係数記憶手段23と、重み係数設定手段24と、属性傾向推定手段25と、を備える。
図1の記憶部4は、重み係数記憶手段23として機能する。制御部5は、重み係数設定手段24及び属性傾向推定手段25として機能する。
属性傾向推定手段25は、識別装置1が適用される環境における識別対象の属性の実際の傾向を推定する。
【0047】
例えば属性傾向推定手段25は、識別対象を検出した入力データから識別対象の属性を推定する識別器や学習モデルを備えてよい。属性傾向推定手段25は、識別対象の属性の推定結果の履歴に基づいて識別対象の属性の傾向を推定してよい。
重み係数設定手段24は、重み係数記憶手段23に記憶された対応関係と、属性傾向推定手段25の推定結果と、に基づいて重み係数w1…wNを設定する。
【0048】
(変形例)
第4実施形態の変形例と同様に、重み係数記憶手段23は、識別装置1を適用する環境の属性の傾向の候補値データ、及び入力データを生成するセンサの属性の傾向の候補値データのうち少なくとも一つの候補値データと、当該候補値データの各々に対応する重み係数と、の間の対応関係を記憶してもよい。
属性傾向推定手段25は、識別装置1が適用される環境の属性の実際の傾向、又は入力データを生成するセンサの属性の実際の傾向を推定する。
重み係数設定手段24は、重み係数記憶手段23に記憶された対応関係と、属性傾向推定手段25の推定結果と、に基づいて重み係数w1…wNを設定する。
【0049】
(第6実施形態)
図8は、第6実施形態の識別装置1Fの機能構成の一例のブロック図である。第6実施形態の識別装置1Fは、識別装置1Fが識別に失敗した識別対象の属性の傾向に基づいて重み係数w1…wNを設定する。
第6実施形態の識別装置1Fの構成要素のうち第5実施形態の識別装置1Dの構成要素と同一又は類似の構成要素には、同じ参照符号を付与する。
【0050】
識別装置1Fは、識別結果判定手段20と、重み係数記憶手段23と、重み係数設定手段24と、属性傾向推定手段25と、を備える。
図1の記憶部4は、重み係数記憶手段23として機能する。制御部5は、識別結果判定手段20、重み係数設定手段24及び属性傾向推定手段25として機能する。
【0051】
識別結果判定手段20は、識別装置1Fによって識別された識別対象のクラスが正解クラスであるか否かを判定する。言い換えれば、識別装置1Fが識別対象のクラスの識別を失敗したか否かを判定する。
属性傾向推定手段25は、識別装置1Fによる識別が失敗した識別対象の属性の傾向を推定する。例えば属性傾向推定手段25は、識別装置1Fによる識別が失敗した識別対象の属性を推定して、推定結果を蓄積してよい。
【0052】
属性傾向推定手段25は、蓄積した推定結果の履歴から識別装置1Fによる識別が失敗した識別対象の属性の傾向を推定してよい。
重み係数設定手段24は、重み係数記憶手段23に記憶された対応関係と、属性傾向推定手段25の推定結果と、に基づいて重み係数w1…wNを設定する。
【0053】
(第7実施形態)
図9は、第7及び第8実施形態の識別システム100の全体構成の一例の概略図である。識別システム100は、複数の環境にそれぞれ設置された(適用された)第5実施形態の識別装置1E又は第6実施形態の識別装置1Fと、構内LAN又はインターネット等の通信ネットワークを介して識別装置1E又は1Fと接続されて識別装置1E又は1Fを管理するセンタ装置30と、を備える。
なお、第7実施形態及び後述の第8実施形態の説明では、用語「識別装置1」は、第5実施形態の識別装置1E又は第6実施形態の識別装置1Fを意味する。
【0054】
センタ装置30は、例えばサーバ等であり、入力部31と、通信部32と、記憶部33と、制御部34とを備える。これらのうちの制御部34及び記憶部33はコンピュータで実現でき、入力部31及び通信部32は当該コンピュータの周辺機器として実現できる。
入力部31は、例えばタッチパネル、マウス、キーボード等であり、センタ装置30が設けられた管理センタの管制員による操作を受け付け、受け付けた操作に応じた信号を制御部34に送る。
【0055】
通信部32は、有線通信又は無線通信によりセンタ装置30と識別装置1との間でデータの送受信を行うネットワークインターフェース等を含む。
記憶部33は、ROM、RAM等のメモリ装置であり、各種プログラムや各種データを記憶する。
制御部34は、CPU、DSP、MCU等の演算装置で構成される。制御部34は、記憶部33と接続され、記憶部33からプログラムを読み出して実行することにより各種処理部として動作し、各種データを記憶部33に記憶させ、読み出す。以下に説明するセンタ装置30の機能は、記憶部33に記憶されたコンピュータプログラムを制御部34が実行することにより実現される。また、制御部34は入力部31とも接続され、管制員が入力部31を操作して入力されたデータを取得する。
【0056】
図10は、第7実施形態のセンタ装置30の機能構成の一例のブロック図である。第7実施形態のセンタ装置30は、複数の環境にそれぞれ設置された識別装置1による識別対象の識別結果の識別率(識別成功率、誤識別率、失識別率)を算出及び運用する。センタ装置30は、ある識別装置1による識別成功率が悪くなった場合(例えば識別成功率が閾値以下となった場合)に、この識別装置1の重み付け演算部の重み係数w1…wNを自動的に調整する。
【0057】
第7実施形態のセンタ装置30は、識別結果取得手段40と、識別成功率算出手段41と、指令信号生成手段42を備える。
識別結果取得手段40は、第5実施形態(
図7)又は第6実施形態(
図8)の識別装置1の識別結果出力部12から識別装置1の識別結果を取得する。
識別成功率算出手段41は、識別結果取得手段40が取得した識別結果の識別成功率を算出する。
【0058】
例えば、識別装置1を管理する管制員によって、識別結果取得手段40により取得した各識別装置1の識別結果の誤識別や失識別の発生を監視し、これらの誤識別、失識別の発生を入力部31からセンタ装置30に入力してよい。識別成功率算出手段41は、これらの誤識別、失識別の発生件数に基づいて、識別装置1毎に識別成功率を算出してよい。
指令信号生成手段42は、ある識別装置1の識別成功率が閾値以下となった場合に、重み付け演算部の重み係数w1…wNの調整を実行することを指示する重み係数調整指令信号を生成して、当該の識別装置1に送信する。
【0059】
重み係数調整指令信号を受信した識別装置1の属性傾向推定手段25(
図7、
図8)は、識別装置1が適用される環境における識別対象の属性の現在の傾向を推定する。
重み係数設定手段24は、重み係数記憶手段23に記憶された対応関係と、属性傾向推定手段25の推定結果と、に基づいて重み係数w1…wNを設定する。
【0060】
(第8実施形態)
図11は、第8実施形態のセンタ装置30の機能構成の一例のブロック図である。第8実施形態のセンタ装置30は、識別装置1がそれぞれ設置された複数の環境における識別対象の属性の傾向を収集し、各々の環境における識別対象の属性の傾向の変化を判定する(例えば、季節の変化などに伴う服装の傾向の変化などを判定する)。
センタ装置30は、ある環境において識別対象の属性の傾向が変化したと判定した場合、この環境に設置された識別装置1の重み付け演算部の重み係数w1…wNを自動的に調整する。
【0061】
第8実施形態のセンタ装置30は、属性傾向取得手段43と、傾向変化検知手段44と、指令信号生成手段42を備える。
属性傾向取得手段43は、第5実施形態(
図7)又は第6実施形態(
図8)の識別装置1の属性傾向推定手段25から、それぞれの識別装置1が適用された環境における識別対象の属性の傾向を取得する。
【0062】
傾向変化検知手段44は、属性傾向取得手段43が取得した識別対象の属性の傾向が変化したか否かを判定する。
指令信号生成手段42は、ある環境における識別対象の属性の傾向が変化したと判定した場合に、この環境に配置された識別装置1の重み付け演算部の重み係数w1…wNの調整を実行することを指示する重み係数調整指令信号を生成して、当該の識別装置1に送信する。
【0063】
重み係数調整指令信号を受信した識別装置1の属性傾向推定手段25(
図7、
図8)は、識別装置1が適用される環境における識別対象の属性の現在の傾向を推定する。
重み係数設定手段24は、重み係数記憶手段23に記憶された対応関係と、属性傾向推定手段25の推定結果と、に基づいて重み係数w1…wNを設定する。
【0064】
(実施形態の効果)
(1)入力データの特徴量を算出するCNN11は、畳み込み層11bと、同一の畳み込み層11bからの出力信号に対して複数の異なるプーリング処理をそれぞれ施す複数のプーリング層11c1~11cNと、を備える。識別装置1は、複数のプーリング層11c1~11cNの各々の出力信号が重み係数で重み付けされた重み付け和に基づいて入力データの特徴量を算出する。
これにより、識別装置1が適用される環境に合わせて重み係数を調整することで、各々の環境に応じて複数の異なるプーリングを使い分けることが可能になる。この結果、識別装置1が適用される環境に存在する識別対象の識別に適した特徴量を取得できる。
【0065】
(2)識別装置1は、CNN11と、特徴量に基づいて入力データのクラスを識別する識別部としての全結合層11e及び出力層11fと、識別部の識別結果に基づいて重み係数を機械学習する重み係数学習手段21と、を備えてもよい。
これにより、識別装置1の識別率が向上するように重み係数を自動的に学習できる。
【0066】
(3)識別装置1は、CNN11と、重み係数の設定入力をユーザから受け付けるユーザ入力受付手段22を備えてもよい。
これにより、ユーザの判断に基づいて手動で重み係数を設定して識別装置1の識別率をさせることができる。
【0067】
(4)識別装置1は、CNN11と、識別対象の属性の傾向の候補値データ、と重み係数と、の間の対応関係を予め記憶する重み係数記憶手段23と、識別装置1が適用される環境における識別対象の属性の実際の傾向の情報をユーザから受け付けるユーザ入力受付手段22と、重み係数記憶手段23に記憶された対応関係と、ユーザ入力受付手段22からの入力値と、に基づいて重み係数を設定する重み係数設定手段24と、を備えてもよい。
これにより、識別装置1が適用される環境における識別対象の属性の傾向をユーザが判断して、その判断結果に基づいて重み係数を設定して識別装置1の識別率をさせることができる。
【0068】
なお、重み係数記憶手段23は、識別装置1を適用する環境の属性の候補値データ、識別装置1を適用する環境の属性の傾向の候補値データ、入力データを生成するセンサの属性の候補値データ、及び入力データを生成するセンサの属性の傾向の候補値データのうち少なくとも一つの候補値データと、当該候補値データに対応する重み係数と、の間の対応関係を記憶してもよい。ユーザ入力受付手段22は、識別装置1が適用される環境の実際の属性、識別装置1が適用される環境の属性の実際の傾向、入力データを生成するセンサの実際の属性、及び入力データを生成するセンサの属性の実際の傾向のうち少なくとも一つの情報をユーザから受け付けてもよい。
【0069】
(5)識別装置1は、CNN11と、識別対象の属性の傾向の候補値データと、重み係数と、の間の対応関係を予め記憶する重み係数記憶手段23と、識別装置1が適用される環境における識別対象の属性の実際の傾向を推定する属性傾向推定手段25と、重み係数記憶手段23に記憶された対応関係と、属性傾向推定手段25による推定値と、に基づいて重み係数を設定する重み係数設定手段24と、を備えてもよい。
これにより、識別装置1が適用される環境に適応するように重み係数を設定できる。
【0070】
なお、重み係数記憶手段23は、識別装置1を適用する環境の属性の傾向の候補値データ、及び入力データを生成するセンサの属性の傾向の候補値データのうち少なくとも一つの候補値データと、当該候補値データに対応する重み係数と、の間の対応関係を記憶してもよい。属性傾向推定手段25は、識別装置1が適用される環境の属性の実際の傾向、又は入力データを生成するセンサの属性の実際の傾向を推定してもよい。
【0071】
(6)重み係数設定手段24は、識別装置1が識別に失敗した識別対象の属性の傾向に基づいて重み係数を設定してもよい。
これにより、識別装置1が識別に失敗し易い識別対象の識別精度を向上するように、重み係数を設定できる。
【0072】
(7)重み係数設定手段24は、識別装置1による識別成功率が閾値以下となった場合に属性傾向推定手段25が推定した識別対象の属性の傾向に基づいて重み係数を設定してもよい。
これにより、識別対象の属性の傾向の変化によって識別成功率が低下した識別装置1の識別精度を向上させることができる。
【0073】
(8)重み係数設定手段24は、属性傾向推定手段25が推定した識別対象の属性の傾向の変化を検知した場合に、属性傾向推定手段25が推定した識別対象の属性の傾向に基づいて重み係数を設定してもよい。
これにより、識別対象の属性の傾向の変化による識別成功率の低下を抑制できる。
【符号の説明】
【0074】
1、1A~1F…識別装置、2…操作入力部、3…ファイル入出力部、4…記憶部、5…制御部、6…出力部、7…入力データ生成部、10…入力データ取得手段、11a…入力層、11b…畳み込み層、11c、11c1~11cN…プーリング層、11d…重み付け演算部、11e…全結合層、11f…出力層、11g…マッチング処理部、12…識別結果出力部、20…識別結果判定手段、21…重み係数学習手段、22…ユーザ入力受付手段、23…重み係数記憶手段、24…重み係数設定手段、25…属性傾向推定手段、30…センタ装置、31…入力部、32…通信部、33…記憶部、34…制御部、40…識別結果取得手段、41…識別成功率算出手段、42…指令信号生成手段、43…属性傾向取得手段、44…傾向変化検知手段