特許 7431093 検出装置及び検知システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-02-05

(45)【発行日】2024-02-14

(54)【発明の名称】検出装置及び検知システム

(51)【国際特許分類】

   H04N 7/18 20060101AFI20240206BHJP

   G08B 25/00 20060101ALI20240206BHJP

   G06Q 50/26 20240101ALN20240206BHJP

【ＦＩ】

H04N7/18 D

G08B25/00 510M

G06Q50/26 300

【請求項の数】 4

(21)【出願番号】P 2020069869

(22)【出願日】2020-04-08

(65)【公開番号】P2021166367

(43)【公開日】2021-10-14

【審査請求日】2022-12-19

【新規性喪失の例外の表示】特許法第３０条第２項適用 研究集会名 日本鉄道車両機械技術協会ポスターセッション 主催者 一般社団法人日本鉄道車両機械技術協会 開催日 令和１年６月１３日 ［刊行物等］ 研究集会名 ＪＲ西日本グループ技術開発成果発表会２０１９ 主催者 西日本旅客鉄道株式会社 開催日 令和１年８月８日

(73)【特許権者】

【識別番号】509335144

【氏名又は名称】株式会社ＪＲ西日本テクシア

(74)【代理人】

【識別番号】100113712

【弁理士】

【氏名又は名称】野口 裕弘

(72)【発明者】

【氏名】末廣 和弥

(72)【発明者】

【氏名】天野 勝裕

【審査官】秦野 孝一郎

(56)【参考文献】

【文献】国際公開第２０１６／１３９８７０（ＷＯ，Ａ１）

【文献】特開２０１５－１０４０１６（ＪＰ，Ａ）

【文献】特開２０１６－１０６３０１（ＪＰ，Ａ）

【文献】国際公開第２０１８／２３５２７９（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１８

Ｇ０８Ｂ ２５／００

Ｇ０６Ｑ ５０／００

(57)【特許請求の範囲】

【請求項1】

特定の種類に属する検出対象を検出するための検出装置であって、
画像が入力される入力部と、
前記入力部に入力された画像を所定の処理実行間隔ごとに処理する処理部と、
検出対象が検出されたことを通知する通知部とを備え、
前記処理部は、前記画像を解析する解析部と、前記解析部の出力を受ける判定部とを有し、
前記解析部は、前記画像内に前記特定の種類に属する検出対象が写っていると判断したとき、その検出対象の種類を示す検出ラベル及び判断の信頼度を前記判定部に出力し、
同じ検出ラベルで示される検出対象が、所定の検出判定期間に所定回数以上、前記信頼度が所定の信頼度閾値以上で写っていたと前記解析部が出力したとき、前記判定部は、前記検出ラベルで示される検出対象を検出したと判定し、その検出対象が検出されたことを前記通知部に通知させ、
前記判定部は、前記検出ラベルで示される検出対象が検出されたことを前記通知部に通知させた後、所定の通知禁止期間に、その同じ検出ラベルで示される検出対象を検出したと判定したとき、その検出対象が検出されたことを前記通知部に通知させないことを特徴とする検出装置。

【請求項2】

前記通知禁止期間内に、同じ前記検出ラベルで示される検出対象が写っていると前記解析部が所定の通知禁止強制解除期間に連続して出力しないとき、前記判定部は、その検出対象に対する前記通知禁止期間を終わらせることを特徴とする請求項１に記載の検出装置。

【請求項3】

前記特定の種類は、犬又は車椅子を含むことを特徴とする請求項１又は請求項２に記載の検出装置。

【請求項4】

請求項１乃至請求項３のいずれか一項に記載の検出装置を有する検知システムであって、
画像を撮像して前記検出装置の入力部に送信するカメラと、
前記検出装置の通知部から通知を受ける端末とを備えることを特徴とする検知システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、補助犬や車椅子等を検出するための検出装置及びその検出装置を有する検知システムに関する。

【背景技術】

【0002】

公共交通機関等を利用する場合において身体障害者補助犬（盲導犬、介助犬、聴導犬）を同伴することができるようにするための措置を講ずることが求められている（身体障害者補助犬法）。また、公共交通機関等において、高齢者、障害者等（移動制約者）の移動上安全性の向上の促進を図ることが求められている（高齢者、障害者等の移動等の円滑化の促進に関する法律）。

【0003】

従来から、カメラで撮像した画像を処理して人を検出するシステムが知られている（例えば、特許文献１参照）。しかし、そのようなシステムは、人を検出することはできるが、検出した人が障がい者や移動制約者であるか否かを判断することはできない。

【0004】

公共交通機関等の利用において、障がい者が補助犬を同伴する場合や、移動制約者が車椅子等の移動補助具を使用する場合がある。

【0005】

データの分類結果とその信頼度を出力するニューラルネットワークが知られている（例えば、特許文献２参照）。このような技術を利用して、撮像した画像から犬や車椅子等を検出するニューラルネットワークを作ることは技術的に可能であるが、１００％の信頼度で検出することは難しく、誤検出が生じる。

【先行技術文献】

【特許文献】

【0006】

【文献】特開２０１７－９０９５３号公報

【文献】特開平６－１６１９７９号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

本発明は、上記問題を解決するものであり、撮像した画像からの検出対象の検出において、誤検出を防止することを目的とする。

【課題を解決するための手段】

【0008】

本発明の検出装置は、特定の種類に属する検出対象を検出するための装置であって、画像が入力される入力部と、前記入力部に入力された画像を所定の処理実行間隔ごとに処理する処理部と、検出対象が検出されたことを通知する通知部とを備え、前記処理部は、前記画像を解析する解析部と、前記解析部の出力を受ける判定部とを有し、前記解析部は、前記画像内に前記特定の種類に属する検出対象が写っていると判断したとき、その検出対象の種類を示す検出ラベル及び判断の信頼度を前記判定部に出力し、同じ検出ラベルで示される検出対象が、所定の検出判定期間に所定回数以上、前記信頼度が所定の信頼度閾値以上で写っていたと前記解析部が出力したとき、前記判定部は、前記検出ラベルで示される検出対象を検出したと判定し、その検出対象が検出されたことを前記通知部に通知させることを特徴とする。

【0009】

この検出装置において、前記判定部は、前記検出ラベルで示される検出対象が検出されたことを前記通知部に通知させた後、所定の通知禁止期間に、その同じ検出ラベルで示される検出対象を検出したと判定したとき、その検出対象が検出されたことを前記通知部に通知させないことが好ましい。

【0010】

この検出装置において、前記通知禁止期間内に、同じ前記検出ラベルで示される検出対象が写っていると前記解析部が所定の通知禁止強制解除期間に連続して出力しないとき、前記判定部は、その検出対象に対する前記通知禁止期間を終わらせることが好ましい。

【0011】

この検出装置において、前記特定の種類は、犬又は車椅子を含むことが好ましい。

【0012】

本発明の検知システムは、前記検出装置を有するシステムであって、画像を撮像して前記検出装置の入力部に送信するカメラと、前記検出装置の通知部から通知を受ける端末とを備えることを特徴とする。

【発明の効果】

【0013】

本発明の検出装置及び検知システムによれば、同じ検出ラベルで示される検出対象が、所定の検出判定期間に所定回数以上、信頼度が所定の信頼度閾値以上で写っていたとき、その検出対象が検出されたと判定することにより、１００％に近い信頼度を確保できなくても誤検出が防止される。

【図面の簡単な説明】

【0014】

【図1】本発明の一実施形態に係る検出装置及び検知システムの構成図。

【図2】同検出装置の解析部が出力するログの例を示す図。

【図3】同装置における通知アルゴリズムを説明するための例を示す表。

【図4】同装置における図３に対応する画像を時系列順に示す図。

【図5】同装置における通知禁止アルゴリズムを説明するための例を示す表。

【図6】同装置における図５に対応する画像を時系列順に示す図。

【図7】同装置における通知禁止強制解除アルゴリズムを説明するための例を示す表。

【図8】同装置における図７に対応する画像を時系列順に示す図。

【発明を実施するための形態】

【0015】

本発明の一実施形態に係る検出装置及び検知システムを図１乃至図８を参照して説明する。図１に示すように、検知システム１は、検出装置２と、カメラ３と、端末４とを有する。

【0016】

検出装置２は、特定の種類に属する検出対象を検出するための装置である。本実施形態では、特定の種類は、犬又は車椅子を含む。特定の種類は、犬、車椅子以外であってもよい。

【0017】

検出装置２は、入力部５と、処理部６と、通知部７とを備える。入力部５は、画像が入力される。処理部６は、入力部５に入力された画像を所定の処理実行間隔ごとに処理する。通知部７は、検出対象が検出されたことを通知する。

【0018】

カメラ３は、画像を撮像して、検出装置２の入力部５に送信する。端末４は、検出装置２の通知部７から通知を受ける。

【0019】

処理部６は、解析部６１と判定部６２とを有する。

【0020】

検知システム１及び検出装置２の各構成をさらに詳述する。

【0021】

カメラ３は、ネットワーク８を介して検出装置２に接続される。ネットワーク８は、本実施形態ではインターネットであり、専用線であってもよい。端末４は、ネットワーク８を介して無線等で検出装置２に接続される。

【0022】

検出装置２は、例えば、画像解析機能を有するアプリケーションサーバであり、サーバルーム又はクラウドに収容される。アプリケーションサーバとは、アプリケーションソフトウェアを実行することを専門とするコンピュータネットワーク上のサーバコンピュータである。

【0023】

検出装置２の入力部５は、入力インタフェースを有し、ネットワーク８に接続される。

【0024】

検出装置２の処理部６は、ＣＰＵ、メモリ等のハードウェアを有し、ソフトウェアを実行することによって動作する。処理部６を構成する解析部６１及び判定部６２は、特定の機能を有するソフトウェアを実行する機能部分である。なお、それらの各部は、専用のハードウェアによって機能するように構成してもよい。カメラ３が複数台ある場合、処理部６は、複数のカメラ３が撮像した画像を並列処理する。各々のカメラ３にそれぞれ処理部６を設けてもよい。

【0025】

処理部６の解析部６１は、学習済みニューラルネットワークを有する。その学習済みニューラルネットワークは、入力された画像から特定の種類に属する検出対象（例えば、犬）が写っていることの判断、及びその判断の信頼度を出力するように予め学習済みである。解析部６１は、複数の学習済みニューラルネットワークを用いて、複数の種類に属する検出対象（例えば、犬と車椅子）に対応するように構成してもよい。

【0026】

処理部６の判定部６２は、後述する通知アルゴリズム、通知禁止アルゴリズム、及び通知禁止強制解除アルゴリズムの実行において通知に関する判定を行う部分である。

【0027】

検出装置２の通知部７は、出力インタフェースを有し、ネットワーク８に接続される。入力部５及通知部７が、同一の入出力インタフェースを共有してもよい。通知部７は、通知先の複数の端末４の管理、及び通知内容の生成等に処理部６のハードウェアを利用する。通知部７が端末４の管理等に専用のハードウェアを有してもよい。

【0028】

カメラ３は、ＣＣＤ等の撮像素子で動画を撮像し、ネットワーク８を介して動画を送信するネットワークカメラ（ＩＰカメラ）である。図１に示す例では、カメラは、複数の駅（Ａ駅及びＢ駅）に設けられる。

【0029】

本実施形態では、端末４は、データ通信機能を有する端末であり、例えば、スマートフォンやタブレット端末である。端末４は、ＰＣであってもよい。端末４は、操作するための入力装置や、通知等を表示するための表示装置を有する。入力装置及び表示装置は、例えば、スマートフォンやタブレット端末のタッチパネルである。端末４は、例えば、管理箇所に所属する係員によって用いられる。管理箇所は、例えば、駅の事務室や、複数駅を集中して遠隔監視するセンターである。

【0030】

上記のように構成された検知システム１及び検出装置２の動作について説明する。

【0031】

処理部６の解析部６１は、入力部５から入力された画像を所定の処理実行間隔ごとに解析する。解析部６１は、画像内に特定の種類に属する検出対象が写っていると判断したとき、その検出対象の種類を示す検出ラベル及び判断の信頼度を判定部６２に出力する。

【0032】

解析部６１による解析結果は、ログとして出力される。そのログは、「ラベル検出対象ログ」と呼ばれ、図２に例示するように、時刻（ＹＹＹＹＭＭＤＤｈｈｍｍｓｓ）、検出対象が写っている画像の画像名（画像ファイル名）、検出対象の種類を示す検出ラベルの名称（ラベル名）、判断の信頼度を含む。画像内における検出対象の座標をそのログにさらに含んでもよい。処理実行間隔は、例えば１秒である。なお、処理実行間隔は、１秒に限定されない。

【0033】

図２の例では、２０１９年３月７日１６時２７分３２秒に検出対象が写っていると判断され、その画像名はｔｅｓｔ１．ｊｐｇであり、検出ラベルは犬を示すｄｏｇであり、判断の信頼度は０．７５０（７５％）であることがログに記録されている。そして、１秒後の２０１９年３月７日１６時２７分３３秒に検出対象が写っていると判断され、その画像名はｔｅｓｔ２．ｊｐｇであり、検出ラベルはｄｏｇであり、判断の信頼度は０．８００（８０％）であることがログに記録されている。その後も同様にログが記録される。

【0034】

図３及び図４に示す例に基づき、検出装置２における通知アルゴリズムを説明する。図３の表に示すように、処理実行間隔の１秒ごとの解析結果等に時系列順に項番を付している。図３の各項番に対応する画像の概略を図４に示す。

【0035】

項番１において、解析開始時刻の画像が撮像され、検出対象が写っていると判断され、検出ラベルはｄｏｇ、信頼度は７５％である。その検出ラベル（ｄｏｇ）で示される検出対象は犬である。カメラ３の撮像範囲が補助犬（盲導犬等）以外の犬が入れないエリアであれば、写っていると判断された犬は補助犬である。この例では、信頼度閾値は７５％である。検出対象（犬）が信頼度閾値以上で写っていると解析部６１が１回判断しただけでは、判定部６２は、その検出対象（犬）を検出したと判定しない（検出欄が×）。通知部７は、検出対象が検出されたと通知しない（通知欄が×）。

【0036】

項番２において、項番１の１秒後の画像が撮像され、検出ラベルはｄｏｇ、信頼度は３０％（信頼度閾値未満）である。判定部６２は、その検出対象（犬）を検出したと判定しない（検出欄が×）。通知部７は、検出対象が検出されたと通知しない（通知欄が×）。

【0037】

項番３において、項番１の２秒後の画像が撮像され、検出ラベルはｄｏｇ、信頼度は５０％（信頼度閾値未満）である。判定部６２は、その検出対象（犬）を検出したと判定しない（検出欄が×）。通知部７は、検出対象が検出されたと通知しない（通知欄が×）。

【0038】

項番４において、項番１の３秒後の画像が撮像され、検出ラベルはｄｏｇ、信頼度は７５％であり、解析開始後２回目の信頼度閾値以上である。判定部６２は、その検出対象（犬）を検出したと判定しない（検出欄が×）。通知部７は、検出対象が検出されたと通知しない（通知欄が×）。

【0039】

項番５において、項番１の４秒後の画像が撮像され、検出ラベルはｄｏｇ、信頼度は５５％（信頼度閾値未満）である。判定部６２は、その検出対象（犬）を検出したと判定しない（検出欄が×）。通知部７は、検出対象が検出されたと通知しない（通知欄が×）。

【0040】

項番６において、項番１の５秒後の画像が撮像され、検出ラベルはｄｏｇ、信頼度は６０％（信頼度閾値未満）である。判定部６２は、その検出対象（犬）を検出したと判定しない（検出欄が×）。通知部７は、検出対象が検出されたと通知しない（通知欄が×）。

【0041】

項番７において、項番１の６秒後の画像が撮像され、検出ラベルはｄｏｇ、信頼度は７５％であり、解析開始後３回目の信頼度閾値以上である。判定部６２は、その検出対象（犬）を検出したと判定しない（検出欄が×）。通知部７は、検出対象が検出されたと通知しない（通知欄が×）。

【0042】

項番８において、項番１の７秒後の画像が撮像され、検出ラベルはｄｏｇ、信頼度は７０％（信頼度閾値未満）である。判定部６２は、その検出対象（犬）を検出したと判定しない（検出欄が×）。通知部７は、検出対象が検出されたと通知しない（通知欄が×）。

【0043】

項番９において、項番１の８秒後の画像が撮像され、検出ラベルはｄｏｇ、信頼度は７５％であり、解析開始後４回目の信頼度閾値以上である。判定部６２は、その検出対象（犬）を検出したと判定しない（検出欄が×）。通知部７は、検出対象が検出されたと通知しない（通知欄が×）。

【0044】

項番１０において、項番１の９秒後の画像が撮像され、検出ラベルはｄｏｇ、信頼度は７５％であり、解析開始後５回目の信頼度閾値以上である。判定部６２は、その検出対象（犬）を検出したと判定し（検出欄が○）、検出対象が検出されたことを通知部７に通知させる（通知欄が○）。

【0045】

すなわち、同じ検出ラベル（ｄｏｇ）で示される検出対象（犬）が、所定の検出判定期間（１秒×１０回＝１０秒）に所定回数（５回）以上、信頼度が所定の信頼度閾値（７５％）以上で写っていたと解析部６１が出力したとき、判定部６２は、検出ラベル（ｄｏｇ）で示される検出対象（犬）を検出したと判定し、その検出対象が検出されたことを通知部７に通知させる。検出判定期間は、時間（１０秒）で規定しても、回数（１０回）で規定してもよい。なお、この段落において（）内の記載は一例であり、これらに限定されない。

【0046】

このように、同じ検出ラベルで示される検出対象が、所定の検出判定期間に所定回数以上、信頼度が所定の信頼度閾値以上で写っていたとき、その検出対象が検出されたと判定することにより、１００％に近い信頼度を確保できなくても誤検出が防止される。

【0047】

次に、図５及び図６に示す例に基づき、検出装置２における通知禁止アルゴリズムを説明する。図５の表に示すように、処理実行間隔の１秒ごとの解析結果等に時系列順に項番を付している。図５の各項番に対応する画像の概略を図６に示す。

【0048】

項番１～４において、検出ラベルはｄｏｇ、信頼度は７５％である（信頼度閾値以上）。判定部６２は、その検出対象（犬）を検出したと判定しない（検出欄が×）。通知部７は、検出対象が検出されたと通知しない（通知欄が×）。

【0049】

項番５において、検出ラベルはｄｏｇ、信頼度は７５％である（信頼度閾値以上）。同じ検出ラベル（ｄｏｇ）で示される検出対象（犬）が、所定回数（５回）、信頼度が信頼度閾値（７５％）以上で写っていたので、判定部６２は、検出ラベル（ｄｏｇ）で示される検出対象（犬）を検出したと判定し（検出欄が○）、その検出対象が検出されたことを通知部７に通知させる（通知欄が○）。この通知は、前述した通知アルゴリズムによる動作である。

【0050】

項番６～１７において、検出ラベルはｄｏｇ、信頼度は７５％である（信頼度閾値以上）。検出判定期間（１秒×１０回＝１０秒）に所定回数（５回）以上、信頼度が信頼度閾値（７５％）以上であるので、判定部６２は、その検出対象（犬）を検出したと判定する（検出欄が○）。判定部６２は、その検出対象が検出されたことを通知部７に通知させない（通知欄が×）。この動作は、通知禁止アルゴリズムによる動作である。

【0051】

通知禁止期間は、項番６～１７（１秒×１２回＝１２秒）である（図６、図７参照）。項番１７で通知禁止が解除される。項番１８において、判定部６２は、検出ラベル（ｄｏｇ）で示される検出対象（犬）を検出したと判定し（検出欄が○）、その検出対象が検出されたことを通知部７に通知させている（通知欄が○）。項番１８での通知に対応する検出判定期間は、項番１４から始まっていることになる。

【0052】

すなわち、判定部６２は、検出ラベル（ｄｏｇ）で示される検出対象（犬）が検出されたことを通知部７に通知させた後、所定の通知禁止期間（１秒×１２回＝１２秒）に、その同じ検出ラベル（ｄｏｇ）で示される検出対象（犬）を検出したと判定したとき、その検出対象（犬）が検出されたことを通知部７に通知させない。通知禁止期間は、時間（１２秒）で規定しても、回数（１２回）で規定してもよい。なお、この段落において（）内の記載は一例であり、これらに限定されない。

【0053】

これにより、同じ検出対象が検出されたことが何度も続けて通知されることが防止される。

【0054】

次に、図７及び図８に示す例に基づき、検出装置２における通知禁止強制解除アルゴリズムを説明する。図７の表に示すように、処理実行間隔の１秒ごとの解析結果等に時系列順に項番を付している。図７の各項番に対応する画像の概略を図８に示す。

【0055】

項番１～７は、検出判定期間内である。同じ検出ラベル（ｄｏｇ）で示される検出対象（犬）が、５回、信頼度が信頼度閾値（７５％）以上で写っていたので、項番７において、判定部６２は、検出ラベル（ｄｏｇ）で示される検出対象（犬）を検出したと判定し（検出欄が○）、その検出対象が検出されたことを通知部７に通知させる（通知欄が○）。この通知は、前述した通知アルゴリズムによる動作である。

【0056】

そして、通知禁止期間が開始する。判定部６２は、項番７で、検出ラベル（ｄｏｇ）で示される検出対象（犬）が検出されたことを通知部７に通知させた後、通知禁止期間内である項番８～１２に、その同じ検出ラベル（ｄｏｇ）で示される検出対象（犬）を検出したと判定しても（検出欄が○）、その検出対象（犬）が検出されたことを通知部７に通知させない（通知欄が×）。この通知禁止は、前述した通知禁止アルゴリズムによる動作である。

【0057】

項番１１～１３は、通知禁止期間内であり（通知欄が×）、通知禁止強制解除期間である（信頼度の出力無し）。項番１３において、通知禁止アルゴリズムが強制解除され、検出判定期間が新たに開始している（検出欄が×、通知欄が×）。項番１４～１５において、検出ラベル（ｄｏｇ）で示される検出対象（犬）が写っているが、その犬は、項番７で通知された犬とは別であると判断されたことになる。

【0058】

すなわち、通知禁止期間内に、同じ検出ラベル（ｄｏｇ）で示される検出対象（犬）が写っていると解析部６１が所定の通知禁止強制解除期間（１秒×３回＝３秒）に連続して出力しないとき、判定部６２は、その検出対象（犬）に対する通知禁止期間を終わらせる。すなわち、判定部６２は、その検出対象が検出されたことを通知部７に通知させないことを強制解除する。このため、判定部６２は、その検出ラベル（ｄｏｇ）で示される検出対象（犬）に対する検出判定期間を新たに開始することになる。通知禁止強制解除期間は、時間（３秒）で規定しても、回数（３回）で規定してもよい。なお、この段落において（）内の記載は一例であり、これらに限定されない。

【0059】

これにより、検出されたと通知された検出対象がしばらく写っていない場合、同じ検出ラベルで示される検出対象が別のものであると判定されることになる。

【0060】

なお、本発明は、上記の実施形態の構成に限られず、発明の要旨を変更しない範囲で種々の変形が可能である。例えば、検知システム１及び検出装置２を駅以外で用いてもよい。

【符号の説明】

【0061】

１ 検知システム
２ 検出装置
３ カメラ
４ 端末
５ 入力部
６ 処理部
６１ 解析部
６２ 判定部
７ 通知部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】