(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-03-14
(54)【発明の名称】画像検出方法及び装置、電子機器並びに記憶媒体
(51)【国際特許分類】
B66B 25/00 20060101AFI20230307BHJP
G06T 7/194 20170101ALI20230307BHJP
G06T 7/136 20170101ALI20230307BHJP
G06T 7/11 20170101ALI20230307BHJP
G06V 10/26 20220101ALI20230307BHJP
G06V 10/75 20220101ALI20230307BHJP
G06V 10/764 20220101ALI20230307BHJP
G06V 20/52 20220101ALI20230307BHJP
B66B 27/00 20060101ALI20230307BHJP
B66B 31/00 20060101ALI20230307BHJP
【ＦＩ】
B66B25/00 B
G06T7/194
G06T7/136
G06T7/11
G06V10/26
G06V10/75
G06V10/764
G06V20/52
B66B27/00 B
B66B31/00 C
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2022532078
(86)(22)【出願日】2021-06-22
(85)【翻訳文提出日】2022-05-30
(86)【国際出願番号】 CN2021101619
(87)【国際公開番号】W WO2022134504
(87)【国際公開日】2022-06-30
(31)【優先権主張番号】202011559951.4
(32)【優先日】2020-12-25
(33)【優先権主張国・地域又は機関】CN
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＳＭＡＬＬＴＡＬＫ
(71)【出願人】
【識別番号】520180323
【氏名又は名称】上▲海▼商▲湯▼智能科技有限公司
【氏名又は名称原語表記】ＳＨＡＮＧＨＡＩ ＳＥＮＳＥＴＩＭＥ ＩＮＴＥＬＬＩＧＥＮＴ ＴＥＣＨＮＯＬＯＧＹ ＣＯ．， ＬＴＤ．
【住所又は居所原語表記】Ｒｏｏｍ １６０５Ａ， Ｂｕｉｌｄｉｎｇ ３， ３９１ Ｇｕｉｐｉｎｇ Ｒｏａｄ， Ｘｕｈｕｉ Ｄｉｓｔｒｉｃｔ， Ｓｈａｎｇｈａｉ ２００２３３ Ｃｈｉｎａ
(74)【代理人】
【識別番号】100078282
【弁理士】
【氏名又は名称】山本 秀策
(74)【代理人】
【識別番号】100113413
【弁理士】
【氏名又は名称】森下 夏樹
(74)【代理人】
【識別番号】100181674
【弁理士】
【氏名又は名称】飯田 貴敏
(74)【代理人】
【識別番号】100181641
【弁理士】
【氏名又は名称】石川 大輔
(74)【代理人】
【識別番号】230113332
【弁護士】
【氏名又は名称】山本 健策
(72)【発明者】
【氏名】林少波
(72)【発明者】
【氏名】▲曾▼星宇
(72)【発明者】
【氏名】▲趙▼瑞
【テーマコード（参考）】
3F321
5L096
【Ｆターム（参考）】
3F321AA04
3F321DC03
3F321EA02
3F321EB07
3F321EC06
3F321FB17
3F321GA31
5L096BA02
5L096CA02
5L096DA03
5L096EA39
5L096FA69
5L096FA76
5L096GA51
5L096JA11
5L096MA07
(57)【要約】
本願は、画像検出方法及び装置、電子機器並びに記憶媒体に関する。前記方法は、エスカレーターの第１画像を取得することと、前記第１画像に対して領域検出を行い、前記第１画像における前記エスカレーターの第１領域を決定することと、前記第１領域に対応する第１領域画像に対してエスカレーターの状態識別を行い、前記エスカレーターの少なくとも１つの状態識別結果を決定することであって、前記状態識別結果は、前記エスカレーターが空き状態にあること又は非空き状態にあることを含む、ことと、前記少なくとも１つの状態識別結果に基づいて、前記エスカレーターの状態を決定することと、を含む。
【特許請求の範囲】
【請求項1】
画像検出方法であって、エスカレーターの第１画像を取得することと、
前記第１画像に対して領域検出を行い、前記第１画像における前記エスカレーターの第１領域を決定することと、
前記第１領域に対応する第１領域画像に対してエスカレーターの状態識別を行い、前記エスカレーターの少なくとも１つの状態識別結果を決定することであって、前記状態識別結果は、前記エスカレーターが空き状態にあること又は非空き状態にあることを含む、ことと、
前記少なくとも１つの状態識別結果に基づいて、前記エスカレーターの状態を決定することと、を含む、画像検出方法。
【請求項2】
前記少なくとも１つの状態識別結果に基づいて、前記エスカレーターの状態を決定することは、前記状態識別結果が複数である場合、複数の状態識別結果及び前記複数の状態識別結果の重みに基づいて、前記エスカレーターの状態判別値を決定することと、
前記状態判別値が第１閾値以上である場合、前記エスカレーターが空き状態にあると決定することと、を含むことを特徴とする
請求項１に記載の方法。
【請求項3】
前記状態識別結果は、第１状態識別結果を含み、前記第１領域に対応する第１領域画像に対してエスカレーターの状態識別を行い、前記エスカレーターの少なくとも１つの状態識別結果を決定することは、
前記第１領域画像に対して分類処理を行い、前記エスカレーターの第１状態識別結果を得ることを含むことを特徴とする
請求項１又は２に記載の方法。
【請求項4】
前記状態識別結果は、第２状態識別結果を含み、前記第１領域に対応する第１領域画像に対してエスカレーターの状態識別を行い、前記エスカレーターの少なくとも１つの状態識別結果を決定することは、
前記第１領域画像に対して分割を行い、前記第１領域画像を背景領域と前記エスカレーターの所在する前景領域に分割することと、
前記背景領域の画素値に対して調整を行い、調整後の第２領域画像を得ることと、
前記第２領域画像に対して分類処理を行い、前記エスカレーターの第２状態識別結果を得ることと、を含むことを特徴とする
請求項１～３のうちいずれか一項に記載の方法。
【請求項5】
前記状態識別結果は、第３状態識別結果を含み、前記第１領域に対応する第１領域画像に対してエスカレーターの状態識別を行い、前記エスカレーターの少なくとも１つの状態識別結果を決定することは、
前記第１領域画像と所定の参照画像に対して画素マッチングを行い、前記第１領域画像と前記参照画像とのマッチング領域の割合を決定することであって、前記参照画像は、空き状態にあるエスカレーターに対応する領域画像を含む、ことと、
前記マッチング領域の割合が第２閾値以上である場合、前記第３状態識別結果が前記エスカレーターが空き状態にあることであると決定することと、を含むことを特徴とする
請求項１～４のうちいずれか一項に記載の方法。
【請求項6】
前記状態識別結果は、第４状態識別結果を含み、前記第１領域に対応する第１領域画像に対してエスカレーターの状態識別を行い、前記エスカレーターの少なくとも１つの状態識別結果を決定することは、
前記第１領域画像に対して第１目標検出を行い、前記第１領域画像に第１目標が存在するかどうかを決定することと、
前記第１領域画像に第１目標が存在しない場合、前記第４状態識別結果が前記エスカレーターが空き状態にあることであると決定することと、を含むことを特徴とする
請求項１～５のうちいずれか一項に記載の方法。
【請求項7】
前記方法は、前記エスカレーターが空き状態にある場合、エスカレーター停止信号を送信することであって、前記エスカレーター停止信号は、運転を停止するよう前記エスカレーターに指示するためのものである、ことを更に含むことを特徴とする
請求項１～６のうちいずれか一項に記載の方法。
【請求項8】
前記方法は、前記エスカレーターが非空き状態にあり、且つ前記エスカレーターの運転が既に停止された場合、エスカレーター起動信号を送信することであって、前記エスカレーター起動信号は、運転するよう前記エスカレーターに指示するためのものである、ことを更に含むことを特徴とする
請求項１～７のうちいずれか一項に記載の方法。
【請求項9】
前記方法は、前記第１画像に対して第２目標検出を行い、前記第１画像における第２目標の第３領域を決定することと、
前記第１領域と前記第３領域との位置関係に基づいて、前記第２目標の検出結果を決定することであって、前記検出結果は、前記第２目標が前記エスカレーター上に位置すること又は前記エスカレーター上に位置しないことを含む、ことと、を更に含むことを特徴とする
請求項１～８のうちいずれか一項に記載の方法。
【請求項10】
前記第１領域と前記第３領域との位置関係に基づいて、前記第２目標の検出結果を決定することは、第４領域と前記第３領域との面積比が第３閾値以上である場合、前記検出結果が前記第２目標が前記エスカレーター上に位置することであると決定することであって、前記第４領域は、前記第１領域と前記第３領域との共通領域を含む、ことを含むことを特徴とする
請求項９に記載の方法。
【請求項11】
前記第２目標は、エスカレーターへの持ち込み禁止物品を含み、前記方法は、前記第２目標が前記エスカレーター上に位置する場合、警告情報を送信することを更に含むことを特徴とする
請求項９又は１０に記載の方法。
【請求項12】
画像検出装置であって、エスカレーターの第１画像を取得するように構成される画像取得モジュールと、
前記第１画像に対して領域検出を行い、前記第１画像における前記エスカレーターの第１領域を決定するように構成される領域検出モジュールと、
前記第１領域に対応する第１領域画像に対してエスカレーターの状態識別を行い、前記エスカレーターの少なくとも１つの状態識別結果を決定するように構成される状態識別モジュールであって、前記状態識別結果は、前記エスカレーターが空き状態にあること又は非空き状態にあることを含む、状態識別モジュールと、
前記少なくとも１つの状態識別結果に基づいて、前記エスカレーターの状態を決定するように構成される状態決定モジュールと、を備える、画像検出装置。
【請求項13】
前記状態決定モジュールは、前記状態識別結果が複数である場合、複数の状態識別結果及び前記複数の状態識別結果の重みに基づいて、前記エスカレーターの状態判別値を決定するように構成される判別値決定サブモジュールと、
前記状態判別値が第１閾値以上である場合、前記エスカレーターが空き状態にあると決定するように構成される状態決定サブモジュールと、を備えることを特徴とする
請求項１２に記載の装置。
【請求項14】
前記状態識別結果は、第１状態識別結果を含み、前記状態識別モジュールは、前記第１領域画像に対して分類処理を行い、前記エスカレーターの第１状態識別結果を得るように構成される第１結果決定サブモジュールを備えることを特徴とする
請求項１２又は１３に記載の装置。
【請求項15】
前記状態識別結果は、第２状態識別結果を含み、前記状態識別モジュールは、前記第１領域画像に対して分割を行い、前記第１領域画像を背景領域と前記エスカレーターの所在する前景領域に分割するように構成される分割サブモジュールと、
前記背景領域の画素値に対して調整を行い、調整後の第２領域画像を得るように構成される画素調整サブモジュールと、
前記第２領域画像に対して分類処理を行い、前記エスカレーターの第２状態識別結果を得るように構成される第２結果決定サブモジュールと、を備えることを特徴とする
請求項１２～１４のうちいずれか一項に記載の装置。
【請求項16】
前記状態識別結果は、第３状態識別結果を含み、前記状態識別モジュールは、前記第１領域画像と所定の参照画像に対して画素マッチングを行い、前記第１領域画像と前記参照画像とのマッチング領域の割合を決定するように構成される画素マッチングサブモジュールであって、前記参照画像は、空き状態にあるエスカレーターに対応する領域画像を含む、画素マッチングサブモジュールと、
前記マッチング領域の割合が第２閾値以上である場合、前記第３状態識別結果が前記エスカレーターが空き状態にあることであると決定するように構成される第３結果決定サブモジュールと、を備えることを特徴とする
請求項１２～１５のうちいずれか一項に記載の装置。
【請求項17】
前記状態識別結果は、第４状態識別結果を含み、前記状態識別モジュールは、前記第１領域画像に対して第１目標検出を行い、前記第１領域画像に第１目標が存在するかどうかを決定するように構成される検出サブモジュールと、
前記第１領域画像に第１目標が存在しない場合、前記第４状態識別結果が前記エスカレーターが空き状態にあることであると決定するように構成される第４結果決定サブモジュールと、を備えることを特徴とする
請求項１２～１６のうちいずれか一項に記載の装置。
【請求項18】
前記装置は、前記エスカレーターが空き状態にある場合、エスカレーター停止信号を送信するように構成される停止信号送信モジュールであって、前記エスカレーター停止信号は、運転を停止するよう前記エスカレーターに指示するためのものである、停止信号送信モジュールを更に備えることを特徴とする
請求項１２～１７のうちいずれか一項に記載の装置。
【請求項19】
前記装置は、前記エスカレーターが非空き状態にあり、且つ前記エスカレーターの運転が既に停止された場合、エスカレーター起動信号を送信するように構成される起動信号送信モジュールであって、前記エスカレーター起動信号は、運転するよう前記エスカレーターに指示するためのものである、起動信号送信モジュールを更に備えることを特徴とする請求項１２～１８のうちいずれか一項に記載の装置。
【請求項20】
前記装置は、前記第１画像に対して第２目標検出を行い、前記第１画像における第２目標の第３領域を決定するように構成される目標検出モジュールと、
前記第１領域と前記第３領域との位置関係に基づいて、前記第２目標の検出結果を決定するように構成される検出結果決定モジュールであって、前記検出結果は、前記第２目標が前記エスカレーター上に位置すること又は前記エスカレーター上に位置しないことを含む、検出結果決定モジュールと、を更に備えることを特徴とする
請求項１２～１９のうちいずれか一項に記載の装置。
【請求項21】
前記検出結果決定モジュールは、第４領域と前記第３領域との面積比が第３閾値以上である場合、前記検出結果が前記第２目標が前記エスカレーター上に位置することであると決定するように構成される決定サブモジュールであって、前記第４領域は、前記第１領域と前記第３領域との共通領域を含む、決定サブモジュールを備えることを特徴とする
請求項２０に記載の装置。
【請求項22】
前記第２目標は、エスカレーターへの持ち込み禁止物品を含み、前記装置は、前記第２目標が前記エスカレーター上に位置する場合、警告情報を送信するように構成される警告情報送信モジュールを更に備えることを特徴とする
請求項２０又は２１に記載の装置。
【請求項23】
電子機器であって、プロセッサと、
プロセッサによる実行可能な命令を記憶するように構成されるメモリと、を備え、
前記プロセッサは、前記メモリに記憶されている命令を呼び出し、請求項１～１１のうちいずれか一項に記載の方法を実行するように構成される、電子機器。
【請求項24】
コンピュータ可読記憶媒体であって、前記コンピュータ可読記憶媒体にはコンピュータプログラム命令が記憶されており、前記コンピュータプログラム命令がプロセッサにより実行される時、請求項１～１１のうちいずれか一項に記載の方法を実現する、コンピュータ可読記憶媒体。
【請求項25】
コンピュータプログラムであって、前記コンピュータプログラムは、コンピュータ可読コードを含み、コンピュータ可読コードが電子機器において実行される時、前記電子機器におけるプロセッサは、請求項１～１１のうちいずれか一項に記載の方法を実行するコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
（関連出願の相互参照）
本願は、２０２０年１２月２５日に提出された、出願番号が２０２０１１５５９９５１．４である中国特許出願に基づく優先権を主張し、該中国特許出願の全内容が参照として本願に組み込まれる。
本願は、２０２０年１２月２５日に提出された、出願番号が２０２０１１５５９９５１．４である中国特許出願に基づく優先権を主張し、該中国特許出願の全内容が参照として本願に組み込まれる。
【0002】
本願は、画像検出技術分野、コンピュータビジョン技術分野に関し、特に画像検出方法及び装置、電子機器並びに記憶媒体に関する。
【背景技術】
【0003】
経済の成長及びインフラ整備の継続的な改良に伴い、エスカレーターは、売場、オフィスビル、公共交通などの場面への応用もますます広くなっている。エスカレーターの日常運転期間において、人々は、エスカレーターの運転を保障し、意外事故の発生を避けるために、エスカレーターの所在領域に対して厳格な管理を行う必要がある。関連技術において、エスカレーター領域に対する自動検出方案は、一般的には、赤外線感知又は重力感知によってエスカレーターの起動停止を実現させるため、誤識別が発生しやすく、検出効果が低い。
【発明の概要】
【課題を解決するための手段】
【0004】
本願の実施例は、画像検出の技術的解決手段を提供する。
【0005】
本願の実施例の一態様によれば、画像検出方法を提供する。前記方法は、エスカレーターの第１画像を取得することと、前記第１画像に対して領域検出を行い、前記第１画像における前記エスカレーターの第１領域を決定することと、前記第１領域に対応する第１領域画像に対してエスカレーターの状態識別を行い、前記エスカレーターの少なくとも１つの状態識別結果を決定することであって、前記状態識別結果は、前記エスカレーターが空き状態にあること又は非空き状態にあることを含む、ことと、前記少なくとも１つの状態識別結果に基づいて、前記エスカレーターの状態を決定することと、を含む。
【0006】
可能な実現形態において、前記少なくとも１つの状態識別結果に基づいて、前記エスカレーターの状態を決定することは、前記状態識別結果が複数である場合、複数の状態識別結果及び前記複数の状態識別結果の重みに基づいて、前記エスカレーターの状態判別値を決定することと、前記状態判別値が第１閾値以上である場合、前記エスカレーターが空き状態にあると決定することと、を含む。
【0007】
可能な実現形態において、前記状態識別結果は、第１状態識別結果を含み、前記第１領域に対応する第１領域画像に対してエスカレーターの状態識別を行い、前記エスカレーターの少なくとも１つの状態識別結果を決定することは、前記第１領域画像に対して分類処理を行い、前記エスカレーターの第１状態識別結果を得ることを含む。
【0008】
可能な実現形態において、前記状態識別結果は、第２状態識別結果を含み、前記第１領域に対応する第１領域画像に対してエスカレーターの状態識別を行い、前記エスカレーターの少なくとも１つの状態識別結果を決定することは、前記第１領域画像に対して分割を行い、前記第１領域画像を背景領域と前記エスカレーターの所在する前景領域に分割することと、前記背景領域の画素値に対して調整を行い、調整後の第２領域画像を得ることと、前記第２領域画像に対して分類処理を行い、前記エスカレーターの第２状態識別結果を得ることと、を含む。
【0009】
可能な実現形態において、前記状態識別結果は、第３状態識別結果を含み、前記第１領域に対応する第１領域画像に対してエスカレーターの状態識別を行い、前記エスカレーターの少なくとも１つの状態識別結果を決定することは、前記第１領域画像と所定の参照画像に対して画素マッチングを行い、前記第１領域画像と前記参照画像とのマッチング領域の割合を決定することであって、前記参照画像は、空き状態にあるエスカレーターに対応する領域画像を含む、ことと、前記マッチング領域の割合が第２閾値以上である場合、前記第３状態識別結果が前記エスカレーターが空き状態にあることであると決定することと、を含む。可能な実現形態において、前記状態識別結果は、第４状態識別結果を含み、前記第１領域に対応する第１領域画像に対してエスカレーターの状態識別を行い、前記エスカレーターの少なくとも１つの状態識別結果を決定することは、前記第１領域画像に対して第１目標検出を行い、前記第１領域画像に第１目標が存在するかどうかを決定することと、前記第１領域画像に第１目標が存在しない場合、前記第４状態識別結果が前記エスカレーターが空き状態にあることであると決定することと、を含む。
【0010】
可能な実現形態において、前記方法は、前記エスカレーターが空き状態にある場合、エスカレーター停止信号を送信することであって、前記エスカレーター停止信号は、運転を停止するよう前記エスカレーターに指示するためのものである、ことを更に含む。
【0011】
可能な実現形態において、前記方法は、前記エスカレーターが非空き状態にあり、且つ前記エスカレーターの運転が既に停止された場合、エスカレーター起動信号を送信することであって、前記エスカレーター起動信号は、運転するよう前記エスカレーターに指示するためのものである、ことを更に含む。
【0012】
可能な実現形態において、前記方法は、前記第１画像に対して第２目標検出を行い、前記第１画像における第２目標の第３領域を決定することと、前記第１領域と前記第３領域との位置関係に基づいて、前記第２目標の検出結果を決定することであって、前記検出結果は、前記第２目標が前記エスカレーター上に位置すること又は前記エスカレーター上に位置しないことを含む、ことと、を更に含む。可能な実現形態において、前記第１領域と前記第３領域との位置関係に基づいて、前記第２目標の検出結果を決定することは、第４領域と前記第３領域との面積比が第３閾値以上である場合、前記検出結果が前記第２目標が前記エスカレーター上に位置することであると決定することであって、前記第４領域は、前記第１領域と前記第３領域との共通領域を含む、ことを含む。
【0013】
可能な実現形態において、前記第２目標は、エスカレーターへの持ち込み禁止物品を含み、前記方法は、前記第２目標が前記エスカレーター上に位置する場合、警告情報を送信することを更に含む。本願の実施例の一態様によれば、画像検出装置を提供する。前記装置は、エスカレーターの第１画像を取得するように構成される画像取得モジュールと、前記第１画像に対して領域検出を行い、前記第１画像における前記エスカレーターの第１領域を決定するように構成される領域検出モジュールと、前記第１領域に対応する第１領域画像に対してエスカレーターの状態識別を行い、前記エスカレーターの少なくとも１つの状態識別結果を決定するように構成される状態識別モジュールであって、前記状態識別結果は、前記エスカレーターが空き状態にあること又は非空き状態にあることを含む、状態識別モジュールと、前記少なくとも１つの状態識別結果に基づいて、前記エスカレーターの状態を決定するように構成される状態決定モジュールと、を備える。
【0014】
本願の実施例の一態様によれば、電子機器を提供する。前記電子機器は、プロセッサと、プロセッサによる実行可能な命令を記憶するように構成されるメモリと、を備え、前記プロセッサは、前記メモリに記憶されている命令を呼び出し、上記方法を実行するように構成される。
【0015】
本願の実施例の一態様によれば、コンピュータ可読記憶媒体を提供する。該コンピュータ可読記憶媒体にはコンピュータプログラム命令が記憶されており、前記コンピュータプログラム命令がプロセッサにより実行される時、上記方法を実現する。
【0016】
本願の実施例の一態様によれば、コンピュータプログラム製品を提供する。前記コンピュータプログラムは、コンピュータ可読コードを含み、前記コンピュータ可読コードが機器において実行される時、前記電子機器におけるプロセッサは、上記方法を実行する。
【0017】
本願の実施例によれば、画像におけるエスカレーターの所在領域を検出し、エスカレーターの領域画像に基づいて、少なくとも１つの状態識別結果を識別し、少なくとも１つの状態識別結果に基づいて、エスカレーターの空き状態又は非空き状態を決定することができ、エスカレーターの領域の位置決めの正確性を向上させ、エスカレーターの運転状態の識別の正確率を向上させることができる。
【0018】
上記の一般的な説明及び後述する細部に関する説明は、例示及び説明のためのものに過ぎず、本願を限定するものではないことが理解されるべきである。本願の他の特徴及び態様は、下記の図面に基づく例示的な実施例の詳細な説明を参照すれば明らかになる。
【図面の簡単な説明】
【0019】
【図1】本願の実施例による画像検出方法のフローチャートを示す。
【図2a】本願の実施例による画像検出方法の領域検出の概略図を示す。
【図2b】本願の実施例による画像検出方法の領域検出の概略図を示す。
【図3】本願の実施例による第１領域の概略図を示す。
【図4a】本願の実施例による第２目標の概略図を示す。
【図4b】本願の実施例による第２目標の概略図を示す。
【図5】本願の実施例による画像検出方法の処理プロセスの概略図を示す。
【図6】本願の実施例による画像検出装置のブロック図を示す。
【図7】本願の実施例による電子機器のブロック図を示す。
【図8】本願の実施例による電子機器のブロック図を示す。
【発明を実施するための形態】
【0020】
ここで添付した図面は、明細書に引き入れて本明細書の一部を構成し、これらの図面は、本願に適合する実施例を示し、かつ、明細書とともに本願の技術的解決手段を解釈することに用いられる。
【0021】
以下、図面を参照しながら本出願の実施例の種々の例示的な実施例、特徴及び態様を詳しく説明する。図面における同一の符号は、同一または類似する機能を有する要素を示す。図面は、実施例の種々の態様を示しているが、特別な説明がない限り、必ずしも比率どおりの図面ではない。
【0022】
ここで使用した「例示的」という用語は「例、実施例として用いられるか、または説明のためのものである」ことを意味する。ここで、「例示的なもの」として説明される如何なる実施例は、他の実施例より好適または有利であると必ずしも解釈されるべきではない。
【0023】
本明細書において、用語「及び／又は」は、関連対象の関連関係を説明するためのものであり、３通りの関係が存在することを表す。例えば、Ａ及び／又はＢは、Ａのみが存在すること、ＡとＢが同時に存在すること、Ｂのみが存在するという３つの場合を表す。また、本明細書において、用語「少なくとも１つ」は、複数のうちのいずれか１つ又は複数のうちの少なくとも２つの任意の組み合わせを表す。例えば、Ａ、Ｂ、Ｃのうちの少なくとも１つを含むことは、Ａ、Ｂ及びＣからなる集合から選ばれるいずれか１つ又は複数の要素を含むことを表す。
【0024】
なお、本出願をより良く説明するために、以下の具体的な実施形態において具体的な細部を多く記載した。当業者は、これら具体的な詳細に関わらず、本開示は同様に実施可能であると理解すべきである。本発明の主旨を明確にするために、一部の実例において、当業者に熟知されている方法、手段、素子及び回路については詳しく説明しないことにする。
【0025】
近年では、深層学習に基づく人工智能の潮流に伴い、産業＋人工智能（ＡＩ：Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）は、新時代における産業発展の目標の１つとなる。スマート工場、スマートストア、スマート農業などの新たな分野は、絶えず現れている。そのうち、ＡＩを防犯に用いるという産業上の応用は、スマート防犯と呼ばれ、このような応用は、特に盛んに行われている。公衆安全分野において、エスカレーターは、現代生活における一般的な歩行に代える工具であり、厳格な規制によって管理される必要がある公衆場所である。スマートエスカレーターの目的は、管理部門の作業効率を向上させると共に、エスカレーターの日常運転に対するモニタリングと管理を補強することである。関連技術において、一般的には、エスカレーターに対する一部の検出機能のみを実現させることができ、完全なスマートエスカレーターの解決手段がない。
【0026】
本願の実施例による画像検出方法は、売場、オフィスビル、公共交通などの場面に用いられてもよい。該方法は、深層学習の方式に基づいて、場面におけるエスカレーターの所在領域の画像又はビデオストリームに対して処理と分析を行うことによって、エスカレーター領域の位置決め、エスカレーターの空きエスカレーターと非空き状態の判別、及びキー目標（例えば、ベビーカー、車椅子、手荷物ケースなどの物体）の検出と識別などの機能を実現させることができ、それによって完全なスマートエスカレーターの解決手段を構築し、検出効果を向上させ、エスカレーターの運転コストを低減させ、安全上の事故の発生リスクを低減させる。
【0027】
【0028】
ステップＳ１１において、エスカレーターの第１画像を取得する。
【0029】
ステップＳ１２において、前記第１画像に対して領域検出を行い、前記第１画像における前記エスカレーターの第１領域を決定する。
【0030】
ステップＳ１３において、前記第１領域に対応する第１領域画像に対してエスカレーターの状態識別を行い、前記エスカレーターの少なくとも１つの状態識別結果を決定し、前記状態識別結果は、前記エスカレーターが空き状態にあること又は非空き状態にあることを含む。
【0031】
ステップＳ１４において、前記少なくとも１つの状態識別結果に基づいて、前記エスカレーターの状態を決定する。
【0032】
可能な実現形態において、前記画像検出方法は、端末機器又はサーバなどの電子機器により実行されてもよい。端末機器は、ユーザ機器（Ｕｓｅｒ Ｅｑｕｉｐｍｅｎｔ：ＵＥ）、携帯機器、ユーザ端末、端末、ハンドヘルド機器、コンピューティング機器、車載機器、ウェアラブル機器などであってもよく、前記方法は、プロセッサによりメモリに記憶されたコンピュータ可読命令を呼び出すことで実現してもよい。又は、サーバによって前記方法を実行してもよい。
【0033】
例えば、検出対象エスカレーターの所在位置に少なくとも１つの画像収集機器を設けてもよく、例えば、エスカレーターに向かう少なくとも１つのカメラを設け、それによってエスカレーターのビデオストリームを収集し、ビデオストリーム画面におけるエスカレーター、エスカレーターに乗る目標（例えば、通行者、通行者が持っている物品など）に対して検出を行う。本願の実施例は、画像収集機器の取り付け位置、ビデオストリームの収集方式及びビデオストリームに対応する領域をいずれも限定しない。
【0034】
可能な実現携帯において、ステップＳ１１では、エスカレーターの第１画像を取得してもよい。ビデオストリームの各画像フレームを第１画像としてもよく、一定の時間間隔でビデオストリームに対してサンプリングを行い、サンプリングされた画像フレームを第１画像としてもよく、ビデオストリームにおけるキーフレームを第１画像として取得してもよい。本願の実施例は、第１画像の取得方式を限定しない。
【0035】
可能な実現携帯において、ステップＳ１２では、訓練された領域検出ネットワークによって、第１画像に対して領域検出を行い、第１画像におけるエスカレーターの第１領域を決定してもよい。該領域検出ネットワークは、例えば、畳み込みニューラルネットワークであってもよく、本願の実施例は、領域検出ネットワークのネットワーク構造及び訓練方式をいずれも限定しない。
【0036】
【0037】
可能な実現形態において、領域検出ネットワークは、目標検出モデル又は領域分割モデルを用いてもよい。目標検出モデルを用いる場合、検出された第１領域は、エスカレーターの所在領域の矩形検出枠、例えば、図２ｂにおける検出枠２１であってもよい。領域分割モデルを用いる時、検出された第１領域は、エスカレーターの所在する不規則な領域、例えば、図２ｂにおける領域２２であってもよい。本願の実施例は、領域検出ネットワークに用いられるネットワークモデルを限定しない。
【0038】
目標検出モデルを用いて処理を行う時、検出枠に完全なエスカレーター領域を含まれると共に、背景面積を最大限減少させることによって、背景雑音による後続の処理プロセスへの影響を減少させることができる。図２ｂに示すように、エスカレーターの向きが左側にずれる場合、濃色のエスカレーター領域の左下隅を基準として、検出枠２１の左下頂点座標とし、濃色のエスカレーター領域の右上隅を基準として、検出枠２１の右上頂点座標とする。領域分割モデルを用いて処理を行う時、検出枠内の濃色のエスカレーター領域を分割によって取得し、エスカレーターのハンドレールを境界として多辺形を描画してもよく、例えば、図２ｂにおける領域２２に示すとおりである。
【0039】
可能な実現形態において、第１領域を得た後、ステップＳ１３において、第１画像から、前記第１領域に対応する第１領域画像を切り出し、第１領域画像に基づいて、エスカレーターの状態を識別し、即ち、エスカレーターが空き状態にあるかそれとも非空き状態にあるかを識別してもよい。エスカレーターに通行者及び／又は物品が存在しない場合、空き状態にあり、エスカレーターに通行者及び／又は物品が存在する場合、非空き状態にある。
【0040】
可能な実現形態において、少なくとも１つの識別方式によって、それぞれ、第１領域画像に対して識別を行い、対応する状態識別結果を得ることができる。識別方式は、例えば、第１領域画像に対して直接的に分類を行うことと、第１領域画像における背景領域の画素値を調整し、調整された画像に対して分類を行うことと、第１領域画像を空きエスカレーターの参照画像と比較することと、エスカレーター上に通行者などの目標があるかどうかを検出することと、のうちの少なくとも１つを含んでもよい。本願の実施例は、用いられる識別方式をいずれも限定しない。
【0041】
可能な実現形態において、ステップＳ１４において、少なくとも１つの状態識別結果に基づいて、エスカレーターの状態を決定してもよい。例えば、投票メカニズムを参照しながら、各状態識別結果の値及び重みに基づいて、エスカレーターの状態を総合的に判定する。状態識別結果が空き状態である全体的重みがより高い時、エスカレーターが空き状態にあると判定し、逆に、エスカレーターが非空き状態にあると判定する。
【0042】
可能な実現形態において、エスカレーターが空き状態にある場合、エスカレーター停止信号を送信し、運転を停止するようエスカレーターに指示してもよい。エスカレーターが非空き状態にあり、且つ運転が既に停止された場合、エスカレーター起動信号を送信し、運転を開始するよう前記エスカレーターに指示してもよい。本願の実施例は、異なるエスカレーターの状態で実行される操作を限定しない。
【0043】
本願の実施例の画像検出方法によれば、画像におけるエスカレーターの所在領域を検出し、エスカレーターの領域画像に基づいて、少なくとも１つの状態識別結果を識別し、少なくとも１つの状態識別結果に基づいて、エスカレーターの空き状態又は非空き状態を決定することができ、エスカレーターの領域の位置決めの正確性を向上させ、エスカレーターの運転状態の識別の正確率を向上させることができる。
【0044】
以下、本願の実施例による画像検出方法を詳しく説明する。
【0045】
前述したように、カメラによって、エスカレーターの所在領域のビデオストリームを収集し、収集されたビデオストリームをローカルフロントサーバ又はクラウドサーバなどの電子機器に伝送してもよい。電子機器は、ビデオストリームに対して復号を行い、復号されたビデオストリームを得ることができる。
【0046】
ステップＳ１１において、エスカレーターの第１画像を取得してもよい。該第１画像は、復号されたビデオストリームの画像フレームであってもよい。ステップＳ１２において、訓練された領域検出ネットワークによって、第１画像に対して領域検出を行い、第１画像におけるエスカレーターの第１領域、例えば、エスカレーターの所在領域の検出枠を決定する。
【0047】
ステップＳ１３において、第１画像から、前記第１領域に対応する第１領域画像を切り出し、少なくとも１つの識別方式で、それぞれ、第１領域画像に対して識別を行い、少なくとも１つの状態識別結果を得てもよい。
【0048】
図３は、本願の実施例による第１領域の概略図を示す。図３に示すように、第１画像に、２つのエスカレーターの第１領域３１と３２が含まれる。第１領域３１と３２に対応する第１領域画像をそれぞれ切り出し、２つの第１領域画像に対して識別を行うことによって、処理効率を向上させることができる。
【0049】
可能な実現形態において、該状態識別結果は、第１状態識別結果を含む。ステップＳ１３は、
前記第１領域画像に対して分類処理を行い、前記エスカレーターの第１状態識別結果を得ることを含んでもよい。
前記第１領域画像に対して分類処理を行い、前記エスカレーターの第１状態識別結果を得ることを含んでもよい。
【0050】
つまり、訓練された分類ネットワーク（ここで、第１分類ネットワークと呼ばれる）によって、第１領域に対して直接的に分類を行ってもよい。該第１分類ネットワークは、例えば、畳み込み層、全結合層、活性化層などを含む畳み込みニューラルネットワークであってもよく、本願の実施例は、第１分類ネットワークのネットワーク構造及び訓練方式をいずれも限定しない。
【0051】
可能な実現形態において、第１領域画像を第１分類ネットワークに入力し、第１状態識別結果を出力し、エスカレーターが空き状態にあるか又は非空き状態にあるかを指示してもよく、例えば、エスカレーターが空き状態にある場合、１を出力し、非空き状態にある場合、０を出力する。このような方式で、エスカレーターの状態を簡単かつ効果的に識別することができる。
【0052】
可能な実現形態において、該状態識別結果は、第２状態識別結果を含む。ステップＳ１３は、
前記第１領域画像に対して分割を行い、前記第１領域画像を背景領域と前記エスカレーターの所在する前景領域に分割することと、
前記背景領域の画素値に対して調整を行い、調整後の第２領域画像を得ることと、
前記第２領域画像に対して分類処理を行い、前記エスカレーターの第２状態識別結果を得ることと、を含んでもよい。
前記第１領域画像に対して分割を行い、前記第１領域画像を背景領域と前記エスカレーターの所在する前景領域に分割することと、
前記背景領域の画素値に対して調整を行い、調整後の第２領域画像を得ることと、
前記第２領域画像に対して分類処理を行い、前記エスカレーターの第２状態識別結果を得ることと、を含んでもよい。
【0053】
例えば、第１領域が矩形検出枠である場合、訓練された分割ネットワークによって、第１領域に対応する第１領域画像に対して分割を行い、第１領域画像を背景領域と前記エスカレーターの所在する前景領域に分割することができる。該分割ネットワークは、例えば、畳み込み層、全結合層、活性化層などを含む畳み込みニューラルネットワークであってもよく、本願の実施例は、該分類ネットワークのネットワーク構造及び訓練方式をいずれも限定しない。
【0054】
可能な実現形態において、第１領域がエスカレーターの所在する不規則な領域である場合、第１領域の外接矩形枠に対応する領域画像を第１領域画像としてもよい。直接的に第１領域を前景領域とし、第１領域画像における第１領域以外の領域を背景領域とすることで、第１領域画像の分割を実現させることができる。
【0055】
可能な実現形態において、背景領域における画素の画素値に対して調整を行い、例えば、背景領域の画素値をいずれもゼロ（黒色）に調整し、調整後の第２領域画像を得てもよい。背景領域の画素値を他の値に調整してもよい。本願の実施例は、これを限定しない。
【0056】
可能な実現形態において、訓練された分類ネットワーク（ここで、第２分類ネットワークと呼ばれる）によって、第２領域画像に対して分類を行ってもよい。該第２分類ネットワークは、例えば、畳み込み層、全結合層、活性化層などを含む畳み込みニューラルネットワークであってもよく、該第２分類ネットワークと第１分類ネットワークとは、ネットワーク構造が同じであるが、ネットワークパラメータが異なってもよい。本願の実施例は、第２分類ネットワークのネットワーク構造及び訓練方式をいずれも限定しない。
【0057】
可能な実現形態において、第２領域画像を第２分類ネットワークに入力し、第２状態識別結果を出力し、エスカレーターが空き状態にあるか又は非空き状態にあるかを指示してもよく、例えば、エスカレーターが空き状態にある場合、１を出力し、非空き状態にある場合、０を出力する。このように、画像分割を組み合わせ、画素調整後の第２領域画像に対して分類処理を行うことによって、エスカレーターの状態識別の正確率を向上させることができる。
【0058】
可能な実現形態において、該状態識別結果は、第３状態識別結果を含む。ステップＳ１３は、
前記第１領域画像と所定の参照画像に対して画素マッチングを行い、前記第１領域画像と前記参照画像とのマッチング領域の割合を決定することであって、前記参照画像は、空き状態にあるエスカレーターに対応する領域画像を含む、ことと、
前記マッチング領域の割合が第２閾値以上である場合、前記第３状態識別結果が前記エスカレーターが空き状態にあることであると決定することと、を含んでもよい。
前記第１領域画像と所定の参照画像に対して画素マッチングを行い、前記第１領域画像と前記参照画像とのマッチング領域の割合を決定することであって、前記参照画像は、空き状態にあるエスカレーターに対応する領域画像を含む、ことと、
前記マッチング領域の割合が第２閾値以上である場合、前記第３状態識別結果が前記エスカレーターが空き状態にあることであると決定することと、を含んでもよい。
【0059】
例えば、エスカレーターが空き状態にある場合、エスカレーターに対応する単一又は複数の領域画像を取得してもよい。例えば、カメラによってエスカレーターの画像を収集し、画像に対して領域検出を行い、領域画像を得る。
【0060】
可能な実現形態において、単一の領域画像を取得すれば、該領域画像を参照画像としてもよい。複数の領域画像を取得すれば、複数の領域画像を融合し、参照画像（空きエスカレーターテンプレート）を得てもよい。例えば、１～２日間の長時間画像収集によって、分割モデルを用いて、エスカレーター領域における全ての画素のラベルを得て、更に、ガウス混合モデルによって、空きエスカレーターテンプレートを得る。本願の実施例は、参照画像の生成方式を限定しない。
【0061】
可能な実現形態において、参照画像をデータベースに記憶してもよい。エスカレーターの状態識別を行う場合、第１領域画像と参照画像に対して画素マッチングを行い、マッチングした画素の数を決定し、マッチングした画素の数と画素の総数との比に基づいて、第１領域画像と参照画像とのマッチング領域の割合を決定してもよい。
【0062】
可能な実現形態において、該マッチング領域の割合が第２閾値以上であれば、第３状態識別結果がエスカレーターが空き状態にあることであると決定してもよい。逆に、該マッチング領域の割合が第２閾値よりも小さければ、第３状態識別結果がエスカレーターが非空き状態にあることであると決定してもよい。当業者は、実際の状況に応じて第２閾値を設定してもよく、例えば、０．８に設定する。本願の実施例は、第２閾値の実際の値を限定しない。
【0063】
画素マッチングの方式によって、エスカレーターの状態識別の効率を向上させることができる。
【0064】
可能な実現形態において、該状態識別結果は、第４状態識別結果を含む。ステップＳ１３は、
前記第１領域画像に対して第１目標検出を行い、前記第１領域画像に第１目標が存在するかどうかを決定することと、
前記第１領域画像に第１目標が存在しない場合、前記第４状態識別結果が前記エスカレーターが空き状態にあることであると決定することと、を含んでもよい。
前記第１領域画像に対して第１目標検出を行い、前記第１領域画像に第１目標が存在するかどうかを決定することと、
前記第１領域画像に第１目標が存在しない場合、前記第４状態識別結果が前記エスカレーターが空き状態にあることであると決定することと、を含んでもよい。
【0065】
例えば、訓練された目標検出ネットワーク（第１検出ネットワークと呼ばれてもよい）によって、第１領域画像に対して第１目標検出を行い、第１領域画像に第１目標が存在するかどうかを決定してもよい。該第１目標は、例えば、通行者、物品などを含んでもよく、本願の実施例は、これを限定しない。
【0066】
可能な実現形態において、第１検出ネットワークは、例えば、畳み込みニューラルネットワークであってもよく、本願の実施例は、第１検出ネットワークのネットワーク構造及び訓練方式をいずれも限定しない。
【0067】
可能な実現形態において、第１領域画像に第１目標が存在すれば、第４状態識別結果が前記エスカレーターが非空き状態にあることであると決定してもよい。逆に、第１領域画像に第１目標が存在しなければ、第４状態識別結果が前記エスカレーターが空き状態にあることであると決定してもよい。第１目標を設定し、第１領域画像に対して目標検出を行うことによって、エスカレーターの状態識別方式の多様性を向上させることができる。
【0068】
各状態識別結果を決定した後、ステップＳ１４において、各状態識別結果に基づいて、エスカレーターの状態を決定してもよい。ステップＳ１４は、前記状態識別結果が複数である場合、複数の状態識別結果及び前記複数の状態識別結果の重みに基づいて、前記エスカレーターの状態判別値を決定することと、
前記状態判別値が第１閾値以上である場合、前記エスカレーターが空き状態にあると決定することと、を含んでもよい。
前記状態判別値が第１閾値以上である場合、前記エスカレーターが空き状態にあると決定することと、を含んでもよい。
【0069】
例えば、状態識別結果が１つであれば、該状態識別結果に基づいて、エスカレーターの状態を直接的に決定してもよい。状態識別結果が複数であれば、複数の状態識別結果に基づいて、エスカレーターの状態を総合的に判定してもよい。
【0070】
可能な実現形態において、各状態識別結果の重みを予め設定し、正確率が高い状態識別結果の重みを高く設定し、正確率が低い状態識別結果を低く設定し、各状態識別結果の重みの和は１である。
【0071】
可能な実現形態において、投票メカニズムを参照しながら、複数の状態識別結果及び前記複数の状態識別結果の重みに基づいて、前記エスカレーターの状態判別値を決定してもよい。状態識別結果は、上記第１、第２、第３及び第４状態識別結果のうちの少なくとも２つを含んでもよい。
【0072】
例えば、状態識別結果が上記第１状態識別結果ａ１、第２状態識別結果ａ２、第３状態識別結果ａ３及び第４状態識別結果ａ４を含む場合、第１、第２、第３及び第４状態識別結果の重みをそれぞれｗ１、ｗ２、ｗ３及びｗ４とすれば、状態判別値＝ｗ１＊ａ１＋ｗ２＊ａ２＋ｗ３＊ａ３＋ｗ４＊ａ４である。ここで、ｗ１＋ｗ２＋ｗ３＋ｗ４＝１であり、ａ１、ａ２、ａ３、ａ４は、エスカレーターが空き状態にある場合、１を出力し、非空き状態にある場合、０を出力する。
【0073】
可能な実現形態において、状態判別値が所定の第１閾値以上であれば、エスカレーターが空き状態にあると見なし、逆に、状態判別値が所定の第１閾値よりも小さければ、エスカレーターが非空き状態にあると見なしてもよい。図３に示すように、領域３１のエスカレーターは空き状態にあり、領域３２のエスカレーターは非空き状態にある。
【0074】
当業者は、実際の状況に応じて第１閾値を設定してもよく、例えば、０．５に設定する。本願の実施例は、第１閾値の値を限定しない。
【0075】
上述した、投票メカニズムによる判定の方式で、エスカレーターの運転状態を正確に識別し、エスカレーターの状態の判断の誤り率を著しく低減させることができる。
【0076】
可能な実現形態において、本願の実施例による画像検出方法は、
前記エスカレーターが空き状態にある場合、エスカレーター停止信号を送信し、前記エスカレーター停止信号は、運転を停止するよう前記エスカレーターに指示するためのものである、ことを更に含んでもよい。
前記エスカレーターが空き状態にある場合、エスカレーター停止信号を送信し、前記エスカレーター停止信号は、運転を停止するよう前記エスカレーターに指示するためのものである、ことを更に含んでもよい。
【0077】
つまり、ステップＳ１４において、エスカレーターが空き状態にあると判定すれば、エスカレーター停止信号を生成して送信し、運転を停止するようエスカレーターに指示してもよい。例えば、エスカレーター停止信号をエスカレーター制御機器に送信する。それによってエスカレーター制御機器は、運転を停止するようにエスカレーターを制御する。更に、エスカレーター停止信号を作業者に送信してもよい。それによって作業者は、運転を停止するようにエスカレーターを制御する。本願の実施例は、エスカレーター停止信号のタイプ及び送信方式を限定しない。
【0078】
このような方式によって、エスカレーターが空き状態にある場合に運転を停止することができ、それによってエスカレーターの運転コストを低減させる。
【0079】
可能な実現形態において、本願の実施例による画像検出方法は、
前記エスカレーターが非空き状態にあり、且つ前記エスカレーターの運転が既に停止された場合、エスカレーター起動信号を送信し、前記エスカレーター起動信号は、運転するよう前記エスカレーターに指示するためのものである、ことを更に含んでもよい。
前記エスカレーターが非空き状態にあり、且つ前記エスカレーターの運転が既に停止された場合、エスカレーター起動信号を送信し、前記エスカレーター起動信号は、運転するよう前記エスカレーターに指示するためのものである、ことを更に含んでもよい。
【0080】
つまり、ステップＳ１４において、エスカレーターが非空き状態にあり、且つエスカレーターの運転が既に停止されたと判定し、即ち停止期間ではエスカレーターに乗る人がいると判定すれば、エスカレーター起動信号を生成して送信し、運転するようエスカレーターに指示してもよい。上記方式と同様に、エスカレーター起動信号をエスカレーター制御機器に送信してもよい。それによってエスカレーター制御機器は、運転するようにエスカレーターを制御する。更に、エスカレーター起動信号を作業者に送信してもよい。それによって作業者は、運転するようにエスカレーターを制御する。本願の実施例は、エスカレーター起動信号のタイプ及び送信方式を限定しない。
【0081】
このような方式で、エスカレーターに乗る人がいるが、エスカレーターの運転が停止された場合に、エスカレーターを起動することによって、エスカレーターの正常な使用を確保することができる。
【0082】
可能な実現形態において、本願の実施例による画像検出方法は、
前記第１画像に対して第２目標検出を行い、前記第１画像における第２目標の第３領域を決定することと、
前記第１領域と前記第３領域との位置関係に基づいて、前記第２目標の検出結果を決定することであって、前記検出結果は、前記第２目標が前記エスカレーター上に位置すること又は前記エスカレーター上に位置しないことを含む、ことと、を更に含んでもよい。
前記第１画像に対して第２目標検出を行い、前記第１画像における第２目標の第３領域を決定することと、
前記第１領域と前記第３領域との位置関係に基づいて、前記第２目標の検出結果を決定することであって、前記検出結果は、前記第２目標が前記エスカレーター上に位置すること又は前記エスカレーター上に位置しないことを含む、ことと、を更に含んでもよい。
【0083】
例えば、ステップＳ１１において、エスカレーターの第１画像を取得した後、更に、訓練された目標検出ネットワーク（第２検出ネットワークと呼ばれてもよい）によって、第１画像に対して第２目標検出を行い、第１画像に第２目標が存在するかどうかを決定してもよい。該第２目標は、エスカレーターへの持ち込み禁止物品、例えば、ベビーカー、車椅子、大きな手荷物ケースなどを含んでよく、本願の実施例は、第２目標のタイプを限定しない。
【0084】
可能な実現形態において、第２検出ネットワークは、例えば、畳み込みニューラルネットワークであってもよく、本願の実施例は、第２検出ネットワークのネットワーク構造及び訓練方式をいずれも限定しない。
【0085】
可能な実現形態において、第１画像に第２目標が存在すれば、第２検出ネットワークは、第１画像における第２目標の領域（第３領域と呼ばれてもよい）を決定することができる。図４ａと図４ｂは、本願の実施例による第２目標の概略図を示す。図４ａにおける第２目標は、ベビーカー４１であり、図４ｂにおける第２目標は、手荷物ケース４２である。図４ａと図４ｂに示すように、第２目標の所在する検出枠、即ち第３領域を決定することができる。
【0086】
可能な実現形態において、第１画像におけるエスカレーターの第１領域に基づいて、第１領域と第３領域との位置関係によって、第２目標の検出結果を決定してもよい。即ち、位置関係に基づいて、第２目標がエスカレーター上に位置するかどうかを判断する。
【0087】
可能な実現形態において、前記第１領域と前記第３領域との位置関係に基づいて、前記第２目標の検出結果を決定するステップは、
第４領域と前記第３領域との面積比が第３閾値以上である場合、前記検出結果が前記第２目標が前記エスカレーター上に位置することであると決定することであって、前記第４領域は、前記第１領域と前記第３領域との共通領域を含む、ことを含んでもよい。
第４領域と前記第３領域との面積比が第３閾値以上である場合、前記検出結果が前記第２目標が前記エスカレーター上に位置することであると決定することであって、前記第４領域は、前記第１領域と前記第３領域との共通領域を含む、ことを含んでもよい。
【0088】
つまり、重なりの割合（Ｉｎｔｅｒｓｅｃｔｉｏｎ－ｏｖｅｒ－Ｕｎｉｏｎ：ＩＯＵ）を求めるという考え方によって判断を行ってもよい。第４領域が第１領域と第３領域との共通領域を含むとすれば、第４領域と第３領域との面積比、即ち、第２目標の所在領域とエスカレーター領域との共通領域の面積と第２目標の所在領域の面積との比を求めてもよい。
【0089】
可能な実現形態において、該面積比が所定の第３閾値以上であれば、検出結果が第２目標がエスカレーター上に位置することであると決定してもよい。逆に、該面積比が所定の第３閾値よりも小さければ、検出結果が第２目標がエスカレーター上に位置しないことであると決定してもよい。当業者は、実際の状況に応じて第３閾値を設定してもよく、例えば、０．６に設定する。本願の実施例は、第３閾値の値を限定しない。
【0090】
このような方式によって、第２目標の所在領域の判断を実現させることができる。
【0091】
可能な実現形態において、第２検出ネットワークは、エスカレーター領域の第１領域画像に対して第２目標検出を直接的に行い、第１領域画像に第２目標が存在するかどうかを決定してもよい。第１領域画像に第２目標が存在すれば、第２目標がエスカレーター上に位置すると決定してもよい。本願の実施例は、用いられる処理方式を限定しない。
【0092】
可能な実現形態において、前記第２目標は、エスカレーターへの持ち込み禁止物品を含み、本願の実施例による画像検出方法は、前記第２目標が前記エスカレーター上に位置する場合、警告情報を送信することを更に含んでもよい。
【0093】
つまり、エスカレーターへの持ち込み禁止物品について、前記ステップにおいて該第２目標がエスカレーター上に位置すると決定すれば、警告情報を送信し、リマインドを行うか、又は、直接的に運転を停止するようにエスカレーターを制御してもよい。
【0094】
例えば、警告情報をモニタ室におけるエスカレーターモニタリング機器及び／又は作業者に送信してもよい。それによって作業者は、運転を停止するようにエスカレーターを制御し、及び／又は、エスカレーターに行って処理を行う。警告情報をエスカレーター制御機器に送信してもよい。それによってエスカレーター制御機器は、運転を停止するようにエスカレーターを制御する。本願の実施例は、警告情報のタイプ及び送信方式を限定しない。
【0095】
可能な実現形態において、第２目標が初めてエスカレーター上に出現することに応答して警告を行い、後続で、連続して出現する第２目標に対して、所定の時間間隔で警告を繰り返して行い、警告情報の送信が頻繁になりすぎることを回避することができる。
【0096】
このような方式で、エスカレーターへの持ち込み禁止物品がエスカレーターに入る時、警告をタイムリーに行うことができ、それによって安全上の事故の発生リスクを低減させる。
【0097】
図５は、本願の実施例による画像検出方法の処理プロセスの概略図を示す。図５に示すように、処理プロセスにおいて、画像入力ステップ５１で、エスカレーターの画像を入力し、画像に対して、エスカレーター位置決めステップ５２とキー目標検出ステップ５３をそれぞれ行い、事象の処理効率を向上させる。エスカレーター位置決めステップ５２によって、画像におけるエスカレーター領域５４を決定する。更に、空きエスカレーター判別ステップ５５によって、エスカレーターが空き／非空き５７であると決定し、更に、対応する処理を実行する。
【0098】
例において、キー目標検出ステップ５３によって、画像におけるキー目標位置５６を決定し、キー目標は、エスカレーターへの持ち込み禁止物品（不正物品）である。エスカレーター領域５４とキー目標位置５６に基づいて、キー目標がエスカレーター上に位置するかどうかを決定する。キー目標がエスカレーター上に位置すれば、不正物品警告５８を行う。このように、本願の実施例による画像検出方法の処理プロセス全体を実現させることができる。
【0099】
エスカレーター位置決めステップ５２において、図２ａに示すようなエスカレーター、即ちエレベーターの第１画像を入力し、深層学習アルゴリズムに基づいて、目標検出又は領域分割モデルを構築し、図２ｂに示すエスカレーターの検出枠２１を出力し、又は、図２ｂに示す領域２２の分割結果を出力する。
【0100】
目標検出方法は、検出枠がエスカレーター領域を含むと共に背景面積を最大限減少させることを確保し、背景雑音による後続のエスカレーターの作動への干渉を防止する必要がある。従って、図２ｂにおけるエスカレーターの境界枠を検出枠２１と定義する。それと同時に、エスカレーターが向かう位置に注意を払う。図２ｂにおいて、左側にずれており、エスカレーター領域の左下隅を基準とし（境界枠の左下座標はこれによって決定される）、右側境界は、エスカレーター領域の右上隅を基準とする。分割モデルを用いてより精確なエスカレーター領域位置決めモジュールを構築すれば、エスカレーター領域は、検出枠２１内のエスカレーター領域と定義され、エスカレーターのハンドレールを境界として多辺形を描画し、例えば、図２ｂにおける領域２２に示すとおりである。
【0101】
空きエスカレーター判別ステップ５５において、深層学習に基づいて、多重並行型エスカレーターの状態分類モデルを構築し、エスカレーター位置決めモジュールの処理結果（検出結果を例とする）を受信し、複数の技術的解決手段によって同時にデータ処理を行い、最後に、結果の融合を行い、エスカレーターの空き状態を決定し、即ち、空きエスカレーターであること又は非空きエスカレーターであることを決定する。図３に示すように、左側のエスカレーター３１は空き状態にあり、右側のエスカレーター３２は非空き状態にある。該プロセスは、以下の複数の方式によって実現してもよい。
【0102】
方式１において、検出枠領域を抽出し、分類ネットワークモデルによって、エスカレーターの状態を出力する。
【0103】
方式２において、検出枠領域を抽出し、分割領域を参照しながら、検出枠内の背景領域の画素値を０（黒色）に設定し、分類ネットワークモデルによって、エスカレーターの状態を出力する。
【0104】
方式３において、テンプレートマッチングの方法に基づいて、入力とデータベースにおける空きエスカレーターテンプレートに対してマッチングを行い、マッチング領域の割合を出力し、マッチング割合がＴ（第２閾値に相当し、Ｔ≧０．８である）を超えると、入力されたエスカレーターが空きエスカレーターであると決定し、そうでなければ、非空きエスカレーターであると決定する。１～２日間の長時間データ収集を行った後、分割モデルを用いて、全てのエスカレーター領域における全ての画素のラベルを得て、最後に、ガウス混合モデルによって、空きエスカレーターテンプレート（参照画像に相当する）を得る。マッチング領域の割合は、同画素数／画素総数の比によって得られる。
【0105】
方式４において、通行者及びキー目標検出モデルに基づいて、エスカレーター領域を入力とする。エスカレーター領域内に関心目標が存在しなければ、出力は、空きエスカレーターであり、そうでなければ、非空きエスカレーターである。
【0106】
最終的な結果は、投票メカニズムに応じて決定される。方式１から方式４の重みは、それぞれｗ１、ｗ２、ｗ３及びｗ４であり、ここで、ｗ１＋ｗ２＋ｗ３＋ｗ４＝１である。上記投票メカニズムによれば、エスカレーターの種別の判断の誤り率を大幅に低減させることができる。空き状態がより高い重みを得ると、情報通告メカニズムをトリガーする。
【0107】
キー目標位置決定ステップＳ５６において、ベビーカー、車椅子、手荷物ケースなどのキー目標の検出をサポートし、複数の事象に対する警告をサポートする。モデルの出力結果は、図４ａに示すベビーカー４１の検出目標（第２目標に相当する）及び図４ｂに示す手荷物ケース４２の検出目標（第２目標に相当する）である。最後に、エスカレーター位置決めステップ５２の処理結果を組み合わせ、検出目標がエスカレーター領域に存在するかどうか判断することによって、警告を行う。検出目標がエスカレーター領域に存在するかどうかに関わる演算方法は、重なりの割合＝検出目標とエスカレーター領域の共通面積／検出目標の面積である。重なりの割合がＴ（０＜Ｔ＜１であり、一般的には、０．５～１とする）よりも大きければ、警告メカニズムをトリガーする。目標追跡によって、単一の目標が出現する場合にのみ警告を行うことを実現させ、後続で連続して出現した同一の目標について、指定の時間間隔で繰り返して警告を行う。
【0108】
本願の実施例による画像検出方法は、エスカレーター領域位置決めに基づいて、スマートエスカレーターの解決手段の入口を構築し、エスカレーター領域内に、複数の並行した空きエスカレーター判別方法及び結果投票メカニズムを利用して、エスカレーターが空きエスカレーターであるかどうかを判断し、空きエスカレーターの予測の正確度を向上させ、エスカレーターに対する警告によって、エスカレーターの運転速度を低減さて、ひいては運転を停止するように管理部門を導き、エネルギー消費を低減させると共に、外出の安全性と利便性を確保し、目標検出アルゴリズムに基づいて、エスカレーター領域内のキー目標を位置決めし、不正物件に対して警告を行い、管理部門のモニタリングと管理を補強することができる。
【0109】
本願の実施例による画像検出方法は、深層学習の目標検出／分割モデルの方式に基づいて、エスカレーター領域の位置決めを行い、マルチ目標検出によって複数のエスカレーター領域を同時に位置決めすることをサポートすることができる。そして、該方法で提出された２つの領域定義方法は、エスカレーター領域を完全にカバーすることを確保すると共に、背景雑音による干渉を減少させることができる。関連技術のスマートエスカレーターの解決手段において、エスカレーターの位置決めに係る方案が全くない。
【0110】
本願の実施例による画像検出方法は、複数の並行した空き状態判別方法に基づいて、結果投票メカニズムを組み合わせ、エスカレーターが空きであるかどうかを判断することができ、出力結果の誤り率を大幅に低減させると共に、複数の領域に対する並行分類をサポートすることもできる。関連技術の方案において、一般的には、単一の方法でエスカレーターの空き状態を判断し、正確率が低い。
【0111】
本願の実施例による画像検出方法は、深層ニューラルネットワークを訓練することによって、特定の不正物品を検出し、視野範囲内の全てのキー目標を識別する。関連技術において、ベビーカー、車椅子、大きな手荷物ケースなどの不正物品を検出できないという問題を解決し、且つ、エスカレーター領域及びキー目標領域に基づいて、特定のＩＯＵ演算方法を用いて、不正物品がエスカレーターに乗っているかどうかを判断することによって、判断の正確率を向上させる。
【0112】
本願の実施例による画像検出方法は、自動位置決め及びキー目標検出に基づくスマートエスカレーターシステムを提供する。完全且つ安定する１セットのスマートエスカレーターの解決手段を形成することができ、現在の全ての公衆エスカレーター場面に適用することができる。
【0113】
該方法は、スマートカメラに適用し、エスカレーター場面に対してエスカレーター領域位置決め及び空きエスカレーター判別を行い、エスカレーターが空き状態にある場合、エネルギー消費を低減し、エスカレーターの運転が停止される前にエスカレーターが空き状態にあることを確保し、管理部門の作業効率を向上させることができる。エスカレーター場面に対して、エスカレーター領域位置決め及びキー目標検出を行い、エスカレーター上の不正物品に対して警告を行い、管理部門のモニタリングと管理を補強する。
【0114】
本出願に言及した上記各方法の実施例は、原理や論理から逸脱しない限り、互いに組み合わせることで組み合わせた実施例を構成することができ、紙数に限りがあるため、本出願において逐一説明しないことが理解されるべきである。具体的な実施形態の上記方法において、各ステップの具体的な実行順番はその機能及び考えられる内在的論理により決まることは、同業者であれば理解すべきである。
【0115】
なお、本願の実施例は、画像検出装置、電子機器、コンピュータ可読記憶媒体、プログラムを更に提供する。上記はいずれも本願の実施例によるいずれか１つの画像検出方法の実現に用いられてもよく、関連する技術的解決手段及び記述は、方法に関する記載を参照し、ここで説明を省略する。
【0116】
図６は、本願の実施例による画像検出装置のブロック図を示す。図６に示すように、前記装置は、
エスカレーターの第１画像を取得するように構成される画像取得モジュール６１と、
前記第１画像に対して領域検出を行い、前記第１画像における前記エスカレーターの第１領域を決定するように構成される領域検出モジュール６２と、
前記第１領域に対応する第１領域画像に対してエスカレーターの状態識別を行い、前記エスカレーターの少なくとも１つの状態識別結果を決定するように構成される状態識別モジュール６３であって、前記状態識別結果は、前記エスカレーターが空き状態にあること又は非空き状態にあることを含む、状態識別モジュール６３と、
前記少なくとも１つの状態識別結果に基づいて、前記エスカレーターの状態を決定するように構成される状態決定モジュール６４と、を備える。
エスカレーターの第１画像を取得するように構成される画像取得モジュール６１と、
前記第１画像に対して領域検出を行い、前記第１画像における前記エスカレーターの第１領域を決定するように構成される領域検出モジュール６２と、
前記第１領域に対応する第１領域画像に対してエスカレーターの状態識別を行い、前記エスカレーターの少なくとも１つの状態識別結果を決定するように構成される状態識別モジュール６３であって、前記状態識別結果は、前記エスカレーターが空き状態にあること又は非空き状態にあることを含む、状態識別モジュール６３と、
前記少なくとも１つの状態識別結果に基づいて、前記エスカレーターの状態を決定するように構成される状態決定モジュール６４と、を備える。
【0117】
可能な実現形態において、前記状態決定モジュールは、前記状態識別結果が複数である場合、複数の状態識別結果及び前記複数の状態識別結果の重みに基づいて、前記エスカレーターの状態判別値を決定するように構成される判別値決定サブモジュールと、前記状態判別値が第１閾値以上である場合、前記エスカレーターが空き状態にあると決定するように構成される状態決定サブモジュールと、を備える。
【0118】
可能な実現形態において、前記状態識別結果は、第１状態識別結果を含み、前記状態識別モジュールは、前記第１領域画像に対して分類処理を行い、前記エスカレーターの第１状態識別結果を得るように構成される第１結果決定サブモジュールを備える。
【0119】
可能な実現形態において、前記状態識別結果は、第２状態識別結果を含み、前記状態識別モジュールは、前記第１領域画像に対して分割を行い、前記第１領域画像を背景領域と前記エスカレーターの所在する前景領域に分割するように構成される分割サブモジュールと、前記背景領域の画素値に対して調整を行い、調整後の第２領域画像を得るように構成される画素調整サブモジュールと、前記第２領域画像に対して分類処理を行い、前記エスカレーターの第２状態識別結果を得るように構成される第２結果決定サブモジュールと、を備える。
【0120】
可能な実現形態において、前記状態識別結果は、第３状態識別結果を含み、前記状態識別モジュールは、前記第１領域画像と所定の参照画像に対して画素マッチングを行い、前記第１領域画像と前記参照画像とのマッチング領域の割合を決定するように構成される画素マッチングサブモジュールであって、前記参照画像は、空き状態にあるエスカレーターに対応する領域画像を含む、画素マッチングサブモジュールと、前記マッチング領域の割合が第２閾値以上である場合、前記第３状態識別結果が前記エスカレーターが空き状態にあることであると決定するように構成される第３結果決定サブモジュールと、を備える。
【0121】
可能な実現形態において、前記状態識別結果は、第４状態識別結果を含み、前記状態識別モジュールは、前記第１領域画像に対して第１目標検出を行い、前記第１領域画像に第１目標が存在するかどうかを決定するように構成される検出サブモジュールと、前記第１領域画像に第１目標が存在しない場合、前記第４状態識別結果が前記エスカレーターが空き状態にあることであると決定するように構成される第４結果決定サブモジュールと、を備える。
【0122】
可能な実現形態において、前記装置は、前記エスカレーターが空き状態にある場合、エスカレーター停止信号を送信するように構成される停止信号送信モジュールであって、前記エスカレーター停止信号は、運転を停止するよう前記エスカレーターに指示するためのものである、停止信号送信モジュールを更に備える。
【0123】
可能な実現形態において、前記装置は、前記エスカレーターが非空き状態にあり、且つ前記エスカレーターの運転が既に停止された場合、エスカレーター起動信号を送信するように構成される起動信号送信モジュールであって、前記エスカレーター起動信号は、運転するよう前記エスカレーターに指示するためのものである、起動信号送信モジュールを更に備える。
【0124】
可能な実現形態において、前記装置は、前記第１画像に対して第２目標検出を行い、前記第１画像における第２目標の第３領域を決定するように構成される目標検出モジュールと、前記第１領域と前記第３領域との位置関係に基づいて、前記第２目標の検出結果を決定するように構成される検出結果決定モジュールであって、前記検出結果は、前記第２目標が前記エスカレーター上に位置すること又は前記エスカレーター上に位置しないことを含む、検出結果決定モジュールと、を更に備える。
【0125】
可能な実現形態において、前記検出結果決定モジュールは、第４領域と前記第３領域との面積比が第３閾値以上である場合、前記検出結果が前記第２目標が前記エスカレーター上に位置することであると決定するように構成される決定サブモジュールであって、前記第４領域は、前記第１領域と前記第３領域との共通領域を含む、決定サブモジュールを備える。
【0126】
可能な実現形態において、前記第２目標は、エスカレーターへの持ち込み禁止物品を含み、前記装置は、前記第２目標が前記エスカレーター上に位置する場合、警告情報を送信するように構成される警告情報送信モジュールを更に備える。
【0127】
幾つかの実施例において、本出願の実施例で提供される装置における機能及びモジュールは、上記方法実施例に記載の方法を実行するために用いられ、具体的な実現形態は上記方法実施例の説明を参照されたい。
【0128】
本願の実施例はコンピュータ可読記憶媒体を更に提供する。該コンピュータ可読記憶媒体にはコンピュータプログラム命令が記憶されており、前記コンピュータプログラム命令がプロセッサにより実行される時、上記方法を実現する。コンピュータ可読記憶媒体は不揮発性コンピュータ可読記憶媒体であってもよい。
【0129】
本願の実施例は電子機器を更に提供する。該電子機器は、プロセッサと、プロセッサによる実行可能な命令を記憶するように構成されるメモリとを備え、そのうち、前記プロセッサは、前記メモリに記憶された命令を呼び出し、上記方法を実行するように構成される。
【0130】
本願の実施例は、コンピュータプログラム製品を更に提供する。前記コンピュータプログラム製品は、コンピュータ可読コードを含み、コンピュータ可読コードが機器において実行される時、機器におけるプロセッサは、上記いずれか１つの実施例による画像検出方法を実現するための命令を実行する。
【0131】
本願の実施例は、別のコンピュータプログラム製品を更に提供する。前記コンピュータプログラム製品は、コンピュータ可読命令を記憶するように構成され、命令が実行される時、コンピュータに上記いずれか１つの実施例による画像検出方法の操作を実行させる。
【0132】
電子機器は、端末、サーバ又は他の形態の機器として提供されてもよい。
【0133】
図７は本願の実施例による電子機器８００のブロック図を示す。例えば、電子機器８００は、携帯電話、コンピュータ、デジタル放送端末、メッセージング装置、ゲームコンソール、タブレットデバイス、医療機器、フィットネス機器、パーソナルデジタルアシスタントなどの端末であってもよい。
【0134】
図７を参照すると、電子機器８００は、処理ユニット８０２、メモリ８０４、電源ユニット８０６、マルチメディアユニット８０８、オーディオユニット８１０、入力／出力（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ：Ｉ／Ｏ）インタフェース８１２、センサユニット８１４及び通信ユニット８１６のうちの１つ又は複数を備えてもよい。
【0135】
処理ユニット８０２は一般的には、電子機器８００の全体操作を制御する。例えば、表示、通話呼、データ通信、カメラ操作及び記録操作に関連する操作を制御する。処理ユニット８０２は、指令を実行するための１つ又は複数のプロセッサ８２０を備えてもよい。それにより上記方法の全て又は一部のステップを実行する。なお、処理ユニット８０２は、他のユニットとのインタラクションのために、１つ又は複数のモジュールを備えてもよい。例えば、処理ユニット８０２はマルチメディアモジュールを備えることで、マルチメディアユニット８０８と処理ユニット８０２とのインタラクションに寄与する。
【0136】
メモリ８０４は、各種のデータを記憶することで電子機器８００における操作をサポートするように構成される。これらのデータの例として、電子機器８００上で操作れる如何なるアプリケーション又は方法の命令、連絡先データ、電話帳データ、メッセージ、イメージ、ビデオ等を含む。メモリ８０４は任意のタイプの揮発性または不揮発性記憶装置、あるいはこれらの組み合わせにより実現される。例えば、スタティックランダムアクセスメモリ（ＳＲＡＭ：Ｓｔａｔｉｃ Ｒａｎｄｏｍ－Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、電気的消去可能なプログラマブル読み出し専用メモリ（ＥＥＰＲＯＭ：Ｓｔａｔｉｃ Ｒａｎｄｏｍ－Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、電気的に消去可能なプログラマブル読出し専用メモリ（ＥＰＲＯＭ：Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、プログラマブル読出し専用メモリ（ＰＲＯＭ：Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、読出し専用メモリ（ＲＯＭ：Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、磁気メモリ、フラッシュメモリ、磁気もしくは光ディスクを含む。
【0137】
電源ユニット８０６は電子機器８００の様々なユニットに電力を提供する。電源ユニット８０６は、電源管理システム、１つ又は複数の電源、及び電子機器８００のための電力生成、管理、分配に関連する他のユニットを備えてもよい。
【0138】
マルチメディアユニット８０８は、上記電子機器８００とユーザとの間に出力インタフェースを提供するためのスクリーンを備える。幾つかの実施例において、スクリーンは、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）及びタッチパネル（ＴＰ：Ｔｏｕｃｈ Ｐａｎｅｌ）を含む。スクリーンは、タッチパネルを含むと、タッチパネルとして実現され、ユーザからの入力信号を受信する。タッチパネルは、タッチ、スライド及びパネル上のジェスチャを感知する１つ又は複数のタッチセンサを備える。上記タッチセンサは、タッチ又はスライド動作の境界を感知するだけでなく、上記タッチ又はスライド操作に関連する持続時間及び圧力を検出することもできる。幾つかの実施例において、マルチメディアユニット８０８は、フロントカメラ及び／又はリアカメラを備える。電子機器８００が、撮影モード又はビデオモードのような操作モードであれば、フロントカメラ及び／又はリアカメラは外部からのマルチメディアデータを受信することができる。各フロントカメラ及びリアカメラは固定した光学レンズシステム又は焦点及び光学ズーム能力を持つものであってもよい。
【0139】
オーディオユニット８１０は、オーディオ信号を出力／入力するように構成される。例えば、オーディオユニット８１０は、マイクロホン（ＭＩＣ：Ｍｉｃｒｏｐｈｏｎｅ）を備える。電子機器８００が、通話モード、記録モード及び音声識別モードのような操作モードであれば、マイクロホンは、外部からのオーディオ信号を受信するように構成される。受信したオーディオ信号を更にメモリ８０４に記憶するか、又は通信ユニット８１６を経由して送信することができる。幾つかの実施例において、オーディオユニット８１０は、オーディオ信号を出力するように構成されるスピーカーを更に備える。
【0140】
Ｉ／Ｏインタフェース８１２は、処理ユニット８０２と周辺インタフェースモジュールとの間のインタフェースを提供する。上記周辺インタフェースモジュールは、キーボード、クリックホイール、ボタン等であってもよい。これらのボタンは、ホームボダン、ボリュームボタン、スタートボタン及びロックボタンを含むが、これらに限定されない。
【0141】
センサユニット８１４は、１つ又は複数のセンサを備え、電子機器８００のために様々な状態の評価を行うように構成される。例えば、センサユニット８１４は、電子機器８００のオン／オフ状態、ユニットの相対的な位置決めを検出することができる。例えば、上記ユニットが電子機器８００のディスプレイ及びキーパッドである。センサユニット８１４は電子機器８００又は電子機器８００における１つのユニットの位置の変化、ユーザと電子機器８００との接触の有無、電子機器８００の方位又は加速／減速及び電子機器８００の温度の変動を検出することもできる。センサユニット８１４は近接センサを備えてもよく、いかなる物理的接触もない場合に周囲の物体の存在を検出するように構成される。センサユニット８１４は、相補型金属酸化膜半導体（ＣＭＯＳ：Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ－Ｏｘｉｄｅ－Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）又は荷電結合素子（ＣＣＤ：Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）画像センサのような光センサを備えてもよく、結像に適用されるように構成される。幾つかの実施例において、該センサユニット８１４は、加速度センサ、ジャイロセンサ、磁気センサ、圧力センサ又は温度センサを備えてもよい。
【0142】
通信ユニット８１６は、電子機器８００と他の機器との有線又は無線方式の通信に寄与するように構成される。電子機器８００は、無線ネットワーク（ＷｉＦｉＷｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ）、第２世代移動通信技術（２Ｇ：Ｔｈｅ ２ｎｄ Ｇｅｎｅｒａｔｉｏｎ）又は第３世代移動通信技術（３Ｇ：Ｔｈｅ ３ｎｄ Ｇｅｎｅｒａｔｉｏｎ）、又はそれらの組み合わせのような通信規格に基づいた無線ネットワークにアクセスできる。一例示的な実施例において、通信ユニット８１６は放送チャネルを経由して外部放送チャネル管理システムからの放送信号又は放送関連する情報を受信する。一例示的な実施例において、上記通信ユニット８１６は、近接場通信（ＮＦＣ：Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）モジュールを更に備えることで近距離通信を促進する。例えば、ＮＦＣモジュールは、無線周波数識別（ＲＦＩＤ：Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）技術、赤外線データ協会（ＩｒＤＡ：Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ）技術、超広帯域（ＵＷＢ：Ｕｌｔｒａ Ｗｉｄｅ Ｂａｎｄ）技術、ブルートゥース（登録商標）（ＢＴ：Ｂｌｕｅ Ｔｏｏｔｈ）技術及び他の技術に基づいて実現される。
【0143】
例示的な実施例において、電子機器８００は、１つ又は複数の特定用途向け集積回路（ＡＳＩＣ：Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、デジタル信号プロセッサ（ＤＳＰ：Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、デジタル信号処理機器（ＤＳＰＤ：Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｄｅｖｉｃｅ）、プログラマブルロジックデバイス（ＰＬＤ：Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ：Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、コントローラ、マイクロコントローラ、マイクロプロセッサ又は他の電子素子により実現され、上記方法を実行するように構成されてもよい。
【0144】
例示的な実施例において、コンピュータプログラム命令を記憶したメモリ８０４のような非一時的コンピュータ可読記憶媒体を更に提供する。上記コンピュータプログラム命令は、電子機器８００のプロセッサ８２０により実行され上記方法を遂行する。
【0145】
図８は、本出願の実施例による別の電子機器１９００を示すブロック図である。例えば、電子機器１９００は、サーバとして提供されてもよい。図８を参照すると、電子機器１９００は、処理ユニット１９２２を備える。それは１つ又は複数のプロセッサと、メモリ１９３２で表されるメモリリソースを更に備える。該メモリリースは、アプリケーションプログラムのような、処理ユニット１９２２により実行される命令を記憶するためのものである。メモリ１９３２に記憶されているアプリケーションプログラムは、それぞれ一組の命令に対応する１つ又は１つ以上のモジュールを含んでもよい。なお、処理ユニット１９２２は、命令を実行して、上記方法を実行するように構成される。
【0146】
電子機器１９００は、電子機器１９００の電源管理を実行するように構成される電源ユニット１９２６と、電子機器１９００をネットワークに接続するように構成される有線又は無線ネットワークインタフェース１９５０と、入力出力（Ｉ／Ｏ）インタフェース１９５８を更に備えてもよい。電子機器１９００は、マイクロソフトサーバオペレーティングシステム（Ｗｉｎｄｏｗｓ（登録商標） ＳｅｒｖｅｒＴＭ）、アップル社により提供されたグラフィクスに基づくユーザインタフェースオペレーティングシステム（Ｍａｃ ＯＳ ＸＴＭ）、マルチユーザマルチプロセスのコンピュータオペレーティングシステム（Ｕｎｉｘ（登録商標））、フリーオープンソースコード型Ｕｎｉｘ（登録商標）と類似したオペレーティングシステム（Ｕｉｎｕｘ）、オープンソースコード型Ｕｎｉｘ（登録商標）と類似したオペレーティングシステム（ＦｒｅｅＢＳＤＴＭ）又は類似したもののような、メモリ１９３２に記憶されているオペレーティングシステムを実行することができる。
【0147】
例示的な実施例において、例えば、コンピュータプログラム命令を含むメモリ１９３２のような不揮発性コンピュータ可読記憶媒体を更に提供する。上記コンピュータプログラム命令は、電子機器１９００の処理ユニット１９２２により実行されて上記方法を遂行する。
【0148】
本願は、システム、方法及び／又はコンピュータプログラム製品であってもよい。コンピュータプログラム製品は、コンピュータ可読記憶媒体を備えてもよく、プロセッサに本出願の各態様を実現させるためのコンピュータ可読プログラム命令がそれに記憶されている。
【0149】
コンピュータ可読記憶媒体は、命令実行装置に用いられる命令を保持又は記憶することができる有形装置であってもよい。コンピュータ可読記憶媒体は、例えば、電気記憶装置、磁気記憶装置、光記憶装置、電磁記憶装置、半導体記憶装置又は上記の任意の組み合わせであってもよいが、これらに限定されない。コンピュータ可読記憶媒体は、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ：Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、読み出し専用メモリ、消去可能なプログラマブル読み出し専用メモリ（ＥＰＲＯＭ又はフラッシュ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ポータブルコンパクトディスク読み出し専用メモリ（ＣＤ－ＲＯＭ：Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、デジタル多目的ディスク（ＤＶＤ：Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｄｉｓｃ）、メモリスティック、フレキシブルディスク、命令が記憶されているパンチカード又は凹溝内における突起構造のような機械的符号化装置、及び上記任意の適切な組み合わせを含む。ここで用いられるコンピュータ可読記憶媒体は、電波もしくは他の自由に伝搬する電磁波、導波路もしくは他の伝送媒体を通って伝搬する電磁波（例えば、光ファイバケーブルを通過する光パルス）、または、電線を通して伝送される電気信号などの、一時的な信号それ自体であると解釈されるべきではない。
【0150】
ここで説明されるコンピュータ可読プログラム命令を、コンピュータ可読記憶媒体から各コンピューティング／処理機器にダウンロードすることができるか、又は、インターネット、ローカルエリアネットワーク、ワイドエリアネットワーク及び／又は無線ネットワークのようなネットワークを経由して外部コンピュータ又は外部記憶装置にダウンロードすることができる。ネットワークは、伝送用銅線ケーブル、光ファイバー伝送、無線伝送、ルータ、ファイアウォール、交換機、ゲートウェイコンピュータ及び／又はエッジサーバを含んでもよい。各コンピューティング／処理機器におけるネットワークインターフェースカード又はネットワークインタフェースは、ネットワークからコンピュータ可読プログラム命令を受信し、該コンピュータ可読プログラム命令を転送し、各コンピューティング／処理機器におけるコンピュータ可読記憶媒体に記憶する。
【0151】
本願の操作を実行するためのコンピュータ可読プログラム命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ：Ｉｎｄｕｓｔｒｙ Ｓｔａｎｄａｒｄ Ａｒｃｈｉｔｅｃｔｕｒｅ）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、又は１つ又は複数のプログラミング言語で記述されたソースコード又は目標コードであってもよい。前記プログラミング言語は、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などのようなオブジェクト指向プログラミング言語と、「Ｃ」プログラミング言語又は類似したプログラミング言語などの従来の手続型プログラミング言語とを含む。コンピュータ可読プログラム命令は、ユーザコンピュータ上で完全に実行してもよいし、ユーザコンピュータ上で部分的に実行してもよいし、独立したソフトウェアパッケージとして実行してもよいし、ユーザコンピュータ上で部分的に実行してリモートコンピュータ上で部分的に実行してもよいし、又はリモートコンピュータ又はサーバ上で完全に実行してもよい。リモートコンピュータの場合に、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ：Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やワイドエリアネットワーク（ＷＡＮ：Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）を含む任意の種類のネットワークを通じてユーザのコンピュータに接続するか、または、外部のコンピュータに接続することができる（例えばインターネットサービスプロバイダを用いてインターネットを通じて接続する）。幾つかの実施例において、コンピュータ可読プログラム命令の状態情報を利用して、プログラマブル論理回路、フィールドプログラマブルゲートアレイ又はプログラマブル論理アレイのような電子回路をカスタマイズする。該電子回路は、コンピュータ可読プログラム命令を実行することで、本出願の各態様を実現させることができる。
【0152】
ここで、本出願の実施例の方法、装置（システム）及びコンピュータプログラム製品のフローチャート及び／又はブロック図を参照しながら、本出願の各態様を説明する。フローチャート及び／又はブロック図の各ブロック及びフローチャート及び／又はブロック図における各ブロックの組み合わせは、いずれもコンピュータ可読プログラム命令により実現できる。
【0153】
これらのコンピュータ可読プログラム命令は、汎用コンピュータ、専用コンピュータまたはその他プログラマブルデータ処理機器のプロセッサに提供でき、それによって機器を生み出し、これら命令はコンピュータまたはその他プログラマブルデータ処理機器のプロセッサにより実行される時、フローチャート及び／又はブロック図における１つ又は複数のブロック中で規定している機能／操作を実現する装置を生み出した。これらのコンピュータ可読プログラム命令をコンピュータ可読記憶媒体に記憶してもよい。これらの命令によれば、コンピュータ、プログラマブルデータ処理機器及び／又は他の装置は特定の方式で動作する。従って、命令が記憶されているコンピュータ可読記憶媒体は、フローチャート及び／又はブロック図おける１つ又は複数のブロック中で規定している機能／操作を実現する各態様の命令を含む製品を備える。
【0154】
コンピュータ可読プログラム命令をコンピュータ、他のプログラマブルデータ処理機器又は他の装置にロードしてもよい。これにより、コンピュータ、他のプログラマブルデータ処理機器又は他の装置で一連の操作の工程を実行して、コンピュータで実施されるプロセスを生成する。従って、コンピュータ、他のプログラマブルデータ処理機器又は他の装置で実行される命令により、フローチャート及び／又はブロック図における１つ又は複数のブロック中で規定している機能／操作を実現させる。
【0155】
図面におけるフローチャート及びブック図は、本出願の複数の実施例によるシステム、方法及びコンピュータプログラム製品の実現可能なアーキテクチャ、機能および操作を例示するものである。この点で、フローチャート又はブロック図における各ブロックは、１つのモジュール、プログラムセグメント又は命令の一部を表すことができる。前記モジュール、プログラムセグメント又は命令の一部は、１つまたは複数の所定の論理機能を実現するための実行可能な命令を含む。いくつかの取り替えとしての実現中に、ブロックに表記される機能は図面中に表記される順序と異なる順序で発生することができる。例えば、二つの連続するブロックは実際には基本的に並行して実行でき、場合によっては反対の順序で実行することもでき、これは関係する機能から確定する。ブロック図及び／又はフローチャートにおける各ブロック、及びブロック図及び／又はフローチャートにおけるブロックの組み合わせは、所定の機能又は操作を実行するための専用ハードウェアベースシステムにより実現するか、又は専用ハードウェアとコンピュータ命令の組み合わせにより実現することができる。
【0156】
該コンピュータプログラム製品は、ハードウェア、ソフトウェア又はその組み合わせにより実現してもよい。１つの選択的な実施例において、前記コンピュータプログラム製品は、コンピュータ記憶媒体として具現化されてもよく、別の選択的な実施例において、コンピュータプログラム製品は、例えば、ソフトウェア開発キット（Ｓｏｆｔｗａｒｅ Ｄｅｖｅｌｏｐｍｅｎｔ Ｋｉｔ：ＳＤＫ）等のようなソフトウェア製品として具現化されてもよい。
【0157】
以上は本発明の各実施例を説明したが、前記説明は例示的なものであり、網羅するものではなく、且つ開示した各実施例に限定されない。説明した各実施例の範囲と趣旨から脱逸しない場合、当業者にとって、多くの修正及び変更は容易に想到しえるものである。本明細書に用いられる用語の選択は、各実施例の原理、実際の応用、或いは市場における技術への改善を最もよく解釈すること、或いは他の当業者が本明細書に開示された各実施例を理解できることを目的とする。
【産業上の利用可能性】
【0158】
本願の実施例において、エスカレーターの第１画像を取得し、前記第１画像に対して領域検出を行い、前記第１画像における前記エスカレーターの第１領域を決定し、前記第１領域に対応する第１領域画像に対してエスカレーターの状態識別を行い、前記エスカレーターの少なくとも１つの状態識別結果を決定し、前記状態識別結果は、前記エスカレーターが空き状態にあること又は非空き状態にあることを含み、前記少なくとも１つの状態識別結果に基づいて、前記エスカレーターの状態を決定する。このように、エスカレーターの運転状態識別の正確率を向上させることができ、完全且つ安定する１セットのスマートエスカレーターの解決手段を形成することができ、現在の全ての公衆エスカレーター場面に適用することができる。
【図1】
【図2a】
【図2b】
【図3】
【図4a】
【図4b】
【図5】
【図6】
【図7】
【図8】
【手続補正書】
【提出日】2022-05-30
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
画像検出方法であって、エスカレーターの第１画像を取得することと、
前記第１画像に対して領域検出を行い、前記第１画像における前記エスカレーターの第１領域を決定することと、
前記第１領域に対応する第１領域画像に対してエスカレーターの状態識別を行い、前記エスカレーターの少なくとも１つの状態識別結果を決定することであって、前記状態識別結果は、前記エスカレーターが空き状態にあること又は非空き状態にあることを含む、ことと、
前記少なくとも１つの状態識別結果に基づいて、前記エスカレーターの状態を決定することと、を含む、画像検出方法。
【請求項2】
前記少なくとも１つの状態識別結果に基づいて、前記エスカレーターの状態を決定することは、前記状態識別結果が複数である場合、複数の状態識別結果及び前記複数の状態識別結果の重みに基づいて、前記エスカレーターの状態判別値を決定することと、
前記状態判別値が第１閾値以上である場合、前記エスカレーターが空き状態にあると決定することと、を含むことを特徴とする
請求項１に記載の方法。
【請求項3】
前記状態識別結果は、第１状態識別結果を含み、前記第１領域に対応する第１領域画像に対してエスカレーターの状態識別を行い、前記エスカレーターの少なくとも１つの状態識別結果を決定することは、
前記第１領域画像に対して分類処理を行い、前記エスカレーターの第１状態識別結果を得ることを含むことを特徴とする
請求項１又は２に記載の方法。
【請求項4】
前記状態識別結果は、第２状態識別結果を含み、前記第１領域に対応する第１領域画像に対してエスカレーターの状態識別を行い、前記エスカレーターの少なくとも１つの状態識別結果を決定することは、
前記第１領域画像に対して分割を行い、前記第１領域画像を背景領域と前記エスカレーターの所在する前景領域に分割することと、
前記背景領域の画素値に対して調整を行い、調整後の第２領域画像を得ることと、
前記第２領域画像に対して分類処理を行い、前記エスカレーターの第２状態識別結果を得ることと、を含むことを特徴とする
請求項１～３のうちいずれか一項に記載の方法。
【請求項5】
前記状態識別結果は、第３状態識別結果を含み、前記第１領域に対応する第１領域画像に対してエスカレーターの状態識別を行い、前記エスカレーターの少なくとも１つの状態識別結果を決定することは、
前記第１領域画像と所定の参照画像に対して画素マッチングを行い、前記第１領域画像と前記参照画像とのマッチング領域の割合を決定することであって、前記参照画像は、空き状態にあるエスカレーターに対応する領域画像を含む、ことと、
前記マッチング領域の割合が第２閾値以上である場合、前記第３状態識別結果が前記エスカレーターが空き状態にあることであると決定することと、を含むことを特徴とする
請求項１～４のうちいずれか一項に記載の方法。
【請求項6】
前記状態識別結果は、第４状態識別結果を含み、前記第１領域に対応する第１領域画像に対してエスカレーターの状態識別を行い、前記エスカレーターの少なくとも１つの状態識別結果を決定することは、
前記第１領域画像に対して第１目標検出を行い、前記第１領域画像に第１目標が存在するかどうかを決定することと、
前記第１領域画像に第１目標が存在しない場合、前記第４状態識別結果が前記エスカレーターが空き状態にあることであると決定することと、を含むことを特徴とする
請求項１～５のうちいずれか一項に記載の方法。
【請求項7】
前記方法は、前記エスカレーターが空き状態にある場合、エスカレーター停止信号を送信することであって、前記エスカレーター停止信号は、運転を停止するよう前記エスカレーターに指示するためのものである、ことを更に含み、
前記方法は、
前記エスカレーターが非空き状態にあり、且つ前記エスカレーターの運転が既に停止された場合、エスカレーター起動信号を送信することであって、前記エスカレーター起動信号は、運転するよう前記エスカレーターに指示するためのものである、ことを更に含むことを特徴とする
請求項１～６のうちいずれか一項に記載の方法。
【請求項8】
前記方法は、前記第１画像に対して第２目標検出を行い、前記第１画像における第２目標の第３領域を決定することと、
前記第１領域と前記第３領域との位置関係に基づいて、前記第２目標の検出結果を決定することであって、前記検出結果は、前記第２目標が前記エスカレーター上に位置すること又は前記エスカレーター上に位置しないことを含む、ことと、を更に含むことを特徴とする
請求項１～７のうちいずれか一項に記載の方法。
【請求項9】
前記第１領域と前記第３領域との位置関係に基づいて、前記第２目標の検出結果を決定することは、第４領域と前記第３領域との面積比が第３閾値以上である場合、前記検出結果が前記第２目標が前記エスカレーター上に位置することであると決定することであって、前記第４領域は、前記第１領域と前記第３領域との共通領域を含む、ことを含み、
前記第２目標は、エスカレーターへの持ち込み禁止物品を含み、前記方法は、
前記第２目標が前記エスカレーター上に位置する場合、警告情報を送信することを更に含むことを特徴とする
請求項８に記載の方法。
【請求項10】
画像検出装置であって、エスカレーターの第１画像を取得するように構成される画像取得モジュールと、
前記第１画像に対して領域検出を行い、前記第１画像における前記エスカレーターの第１領域を決定するように構成される領域検出モジュールと、
前記第１領域に対応する第１領域画像に対してエスカレーターの状態識別を行い、前記エスカレーターの少なくとも１つの状態識別結果を決定するように構成される状態識別モジュールであって、前記状態識別結果は、前記エスカレーターが空き状態にあること又は非空き状態にあることを含む、状態識別モジュールと、
前記少なくとも１つの状態識別結果に基づいて、前記エスカレーターの状態を決定するように構成される状態決定モジュールと、を備える、画像検出装置。
【請求項11】
電子機器であって、プロセッサと、
プロセッサによる実行可能な命令を記憶するように構成されるメモリと、を備え、
前記プロセッサは、前記メモリに記憶されている命令を呼び出し、請求項１～９のうちいずれか一項に記載の方法を実行するように構成される、電子機器。
【請求項12】
コンピュータ可読記憶媒体であって、前記コンピュータ可読記憶媒体にはコンピュータプログラム命令が記憶されており、前記コンピュータプログラム命令がプロセッサに、請求項１～９のうちいずれか一項に記載の方法を実行させる、コンピュータ可読記憶媒体。
【請求項13】
コンピュータプログラムであって、前記コンピュータプログラムは、電子機器におけるプロセッサに、請求項１～９のうちいずれか一項に記載の方法を実行させるコンピュータプログラム。【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】００１７
【補正方法】変更
【補正の内容】
【0017】
本願の実施例によれば、画像におけるエスカレーターの所在領域を検出し、エスカレーターの領域画像に基づいて、少なくとも１つの状態識別結果を識別し、少なくとも１つの状態識別結果に基づいて、エスカレーターの空き状態又は非空き状態を決定することができ、エスカレーターの領域の位置決めの正確性を向上させ、エスカレーターの運転状態の識別の正確率を向上させることができる。
例えば、本願は以下の項目を提供する。
（項目１）
画像検出方法であって、
エスカレーターの第１画像を取得することと、
前記第１画像に対して領域検出を行い、前記第１画像における前記エスカレーターの第１領域を決定することと、
前記第１領域に対応する第１領域画像に対してエスカレーターの状態識別を行い、前記エスカレーターの少なくとも１つの状態識別結果を決定することであって、前記状態識別結果は、前記エスカレーターが空き状態にあること又は非空き状態にあることを含む、ことと、
前記少なくとも１つの状態識別結果に基づいて、前記エスカレーターの状態を決定することと、を含む、画像検出方法。
（項目２）
前記少なくとも１つの状態識別結果に基づいて、前記エスカレーターの状態を決定することは、
前記状態識別結果が複数である場合、複数の状態識別結果及び前記複数の状態識別結果の重みに基づいて、前記エスカレーターの状態判別値を決定することと、
前記状態判別値が第１閾値以上である場合、前記エスカレーターが空き状態にあると決定することと、を含むことを特徴とする
項目１に記載の方法。
（項目３）
前記状態識別結果は、第１状態識別結果を含み、
前記第１領域に対応する第１領域画像に対してエスカレーターの状態識別を行い、前記エスカレーターの少なくとも１つの状態識別結果を決定することは、
前記第１領域画像に対して分類処理を行い、前記エスカレーターの第１状態識別結果を得ることを含むことを特徴とする
項目１又は２に記載の方法。
（項目４）
前記状態識別結果は、第２状態識別結果を含み、
前記第１領域に対応する第１領域画像に対してエスカレーターの状態識別を行い、前記エスカレーターの少なくとも１つの状態識別結果を決定することは、
前記第１領域画像に対して分割を行い、前記第１領域画像を背景領域と前記エスカレーターの所在する前景領域に分割することと、
前記背景領域の画素値に対して調整を行い、調整後の第２領域画像を得ることと、
前記第２領域画像に対して分類処理を行い、前記エスカレーターの第２状態識別結果を得ることと、を含むことを特徴とする
項目１～３のうちいずれか一項に記載の方法。
（項目５）
前記状態識別結果は、第３状態識別結果を含み、
前記第１領域に対応する第１領域画像に対してエスカレーターの状態識別を行い、前記エスカレーターの少なくとも１つの状態識別結果を決定することは、
前記第１領域画像と所定の参照画像に対して画素マッチングを行い、前記第１領域画像と前記参照画像とのマッチング領域の割合を決定することであって、前記参照画像は、空き状態にあるエスカレーターに対応する領域画像を含む、ことと、
前記マッチング領域の割合が第２閾値以上である場合、前記第３状態識別結果が前記エスカレーターが空き状態にあることであると決定することと、を含むことを特徴とする
項目１～４のうちいずれか一項に記載の方法。
（項目６）
前記状態識別結果は、第４状態識別結果を含み、
前記第１領域に対応する第１領域画像に対してエスカレーターの状態識別を行い、前記エスカレーターの少なくとも１つの状態識別結果を決定することは、
前記第１領域画像に対して第１目標検出を行い、前記第１領域画像に第１目標が存在するかどうかを決定することと、
前記第１領域画像に第１目標が存在しない場合、前記第４状態識別結果が前記エスカレーターが空き状態にあることであると決定することと、を含むことを特徴とする
項目１～５のうちいずれか一項に記載の方法。
（項目７）
前記方法は、
前記エスカレーターが空き状態にある場合、エスカレーター停止信号を送信することであって、前記エスカレーター停止信号は、運転を停止するよう前記エスカレーターに指示するためのものである、ことを更に含むことを特徴とする
項目１～６のうちいずれか一項に記載の方法。
（項目８）
前記方法は、
前記エスカレーターが非空き状態にあり、且つ前記エスカレーターの運転が既に停止された場合、エスカレーター起動信号を送信することであって、前記エスカレーター起動信号は、運転するよう前記エスカレーターに指示するためのものである、ことを更に含むことを特徴とする
項目１～７のうちいずれか一項に記載の方法。
（項目９）
前記方法は、
前記第１画像に対して第２目標検出を行い、前記第１画像における第２目標の第３領域を決定することと、
前記第１領域と前記第３領域との位置関係に基づいて、前記第２目標の検出結果を決定することであって、前記検出結果は、前記第２目標が前記エスカレーター上に位置すること又は前記エスカレーター上に位置しないことを含む、ことと、を更に含むことを特徴とする
項目１～８のうちいずれか一項に記載の方法。
（項目１０）
前記第１領域と前記第３領域との位置関係に基づいて、前記第２目標の検出結果を決定することは、
第４領域と前記第３領域との面積比が第３閾値以上である場合、前記検出結果が前記第２目標が前記エスカレーター上に位置することであると決定することであって、前記第４領域は、前記第１領域と前記第３領域との共通領域を含む、ことを含むことを特徴とする
項目９に記載の方法。
（項目１１）
前記第２目標は、エスカレーターへの持ち込み禁止物品を含み、前記方法は、
前記第２目標が前記エスカレーター上に位置する場合、警告情報を送信することを更に含むことを特徴とする
項目９又は１０に記載の方法。
（項目１２）
画像検出装置であって、
エスカレーターの第１画像を取得するように構成される画像取得モジュールと、
前記第１画像に対して領域検出を行い、前記第１画像における前記エスカレーターの第１領域を決定するように構成される領域検出モジュールと、
前記第１領域に対応する第１領域画像に対してエスカレーターの状態識別を行い、前記エスカレーターの少なくとも１つの状態識別結果を決定するように構成される状態識別モジュールであって、前記状態識別結果は、前記エスカレーターが空き状態にあること又は非空き状態にあることを含む、状態識別モジュールと、
前記少なくとも１つの状態識別結果に基づいて、前記エスカレーターの状態を決定するように構成される状態決定モジュールと、を備える、画像検出装置。
（項目１３）
前記状態決定モジュールは、
前記状態識別結果が複数である場合、複数の状態識別結果及び前記複数の状態識別結果の重みに基づいて、前記エスカレーターの状態判別値を決定するように構成される判別値決定サブモジュールと、
前記状態判別値が第１閾値以上である場合、前記エスカレーターが空き状態にあると決定するように構成される状態決定サブモジュールと、を備えることを特徴とする
項目１２に記載の装置。
（項目１４）
前記状態識別結果は、第１状態識別結果を含み、前記状態識別モジュールは、
前記第１領域画像に対して分類処理を行い、前記エスカレーターの第１状態識別結果を得るように構成される第１結果決定サブモジュールを備えることを特徴とする
項目１２又は１３に記載の装置。
（項目１５）
前記状態識別結果は、第２状態識別結果を含み、前記状態識別モジュールは、
前記第１領域画像に対して分割を行い、前記第１領域画像を背景領域と前記エスカレーターの所在する前景領域に分割するように構成される分割サブモジュールと、
前記背景領域の画素値に対して調整を行い、調整後の第２領域画像を得るように構成される画素調整サブモジュールと、
前記第２領域画像に対して分類処理を行い、前記エスカレーターの第２状態識別結果を得るように構成される第２結果決定サブモジュールと、を備えることを特徴とする
項目１２～１４のうちいずれか一項に記載の装置。
（項目１６）
前記状態識別結果は、第３状態識別結果を含み、前記状態識別モジュールは、
前記第１領域画像と所定の参照画像に対して画素マッチングを行い、前記第１領域画像と前記参照画像とのマッチング領域の割合を決定するように構成される画素マッチングサブモジュールであって、前記参照画像は、空き状態にあるエスカレーターに対応する領域画像を含む、画素マッチングサブモジュールと、
前記マッチング領域の割合が第２閾値以上である場合、前記第３状態識別結果が前記エスカレーターが空き状態にあることであると決定するように構成される第３結果決定サブモジュールと、を備えることを特徴とする
項目１２～１５のうちいずれか一項に記載の装置。
（項目１７）
前記状態識別結果は、第４状態識別結果を含み、前記状態識別モジュールは、
前記第１領域画像に対して第１目標検出を行い、前記第１領域画像に第１目標が存在するかどうかを決定するように構成される検出サブモジュールと、
前記第１領域画像に第１目標が存在しない場合、前記第４状態識別結果が前記エスカレーターが空き状態にあることであると決定するように構成される第４結果決定サブモジュールと、を備えることを特徴とする
項目１２～１６のうちいずれか一項に記載の装置。
（項目１８）
前記装置は、
前記エスカレーターが空き状態にある場合、エスカレーター停止信号を送信するように構成される停止信号送信モジュールであって、前記エスカレーター停止信号は、運転を停止するよう前記エスカレーターに指示するためのものである、停止信号送信モジュールを更に備えることを特徴とする
項目１２～１７のうちいずれか一項に記載の装置。
（項目１９）
前記装置は、前記エスカレーターが非空き状態にあり、且つ前記エスカレーターの運転が既に停止された場合、エスカレーター起動信号を送信するように構成される起動信号送信モジュールであって、前記エスカレーター起動信号は、運転するよう前記エスカレーターに指示するためのものである、起動信号送信モジュールを更に備えることを特徴とする
項目１２～１８のうちいずれか一項に記載の装置。
（項目２０）
前記装置は、
前記第１画像に対して第２目標検出を行い、前記第１画像における第２目標の第３領域を決定するように構成される目標検出モジュールと、
前記第１領域と前記第３領域との位置関係に基づいて、前記第２目標の検出結果を決定するように構成される検出結果決定モジュールであって、前記検出結果は、前記第２目標が前記エスカレーター上に位置すること又は前記エスカレーター上に位置しないことを含む、検出結果決定モジュールと、を更に備えることを特徴とする
項目１２～１９のうちいずれか一項に記載の装置。
（項目２１）
前記検出結果決定モジュールは、
第４領域と前記第３領域との面積比が第３閾値以上である場合、前記検出結果が前記第２目標が前記エスカレーター上に位置することであると決定するように構成される決定サブモジュールであって、前記第４領域は、前記第１領域と前記第３領域との共通領域を含む、決定サブモジュールを備えることを特徴とする
項目２０に記載の装置。
（項目２２）
前記第２目標は、エスカレーターへの持ち込み禁止物品を含み、前記装置は、
前記第２目標が前記エスカレーター上に位置する場合、警告情報を送信するように構成される警告情報送信モジュールを更に備えることを特徴とする
項目２０又は２１に記載の装置。
（項目２３）
電子機器であって、
プロセッサと、
プロセッサによる実行可能な命令を記憶するように構成されるメモリと、を備え、
前記プロセッサは、前記メモリに記憶されている命令を呼び出し、項目１～１１のうちいずれか一項に記載の方法を実行するように構成される、電子機器。
（項目２４）
コンピュータ可読記憶媒体であって、前記コンピュータ可読記憶媒体にはコンピュータプログラム命令が記憶されており、前記コンピュータプログラム命令がプロセッサにより実行される時、項目１～１１のうちいずれか一項に記載の方法を実現する、コンピュータ可読記憶媒体。
（項目２５）
コンピュータプログラムであって、前記コンピュータプログラムは、コンピュータ可読コードを含み、コンピュータ可読コードが電子機器において実行される時、前記電子機器におけるプロセッサは、項目１～１１のうちいずれか一項に記載の方法を実行するコンピュータプログラム。
例えば、本願は以下の項目を提供する。
（項目１）
画像検出方法であって、
エスカレーターの第１画像を取得することと、
前記第１画像に対して領域検出を行い、前記第１画像における前記エスカレーターの第１領域を決定することと、
前記第１領域に対応する第１領域画像に対してエスカレーターの状態識別を行い、前記エスカレーターの少なくとも１つの状態識別結果を決定することであって、前記状態識別結果は、前記エスカレーターが空き状態にあること又は非空き状態にあることを含む、ことと、
前記少なくとも１つの状態識別結果に基づいて、前記エスカレーターの状態を決定することと、を含む、画像検出方法。
（項目２）
前記少なくとも１つの状態識別結果に基づいて、前記エスカレーターの状態を決定することは、
前記状態識別結果が複数である場合、複数の状態識別結果及び前記複数の状態識別結果の重みに基づいて、前記エスカレーターの状態判別値を決定することと、
前記状態判別値が第１閾値以上である場合、前記エスカレーターが空き状態にあると決定することと、を含むことを特徴とする
項目１に記載の方法。
（項目３）
前記状態識別結果は、第１状態識別結果を含み、
前記第１領域に対応する第１領域画像に対してエスカレーターの状態識別を行い、前記エスカレーターの少なくとも１つの状態識別結果を決定することは、
前記第１領域画像に対して分類処理を行い、前記エスカレーターの第１状態識別結果を得ることを含むことを特徴とする
項目１又は２に記載の方法。
（項目４）
前記状態識別結果は、第２状態識別結果を含み、
前記第１領域に対応する第１領域画像に対してエスカレーターの状態識別を行い、前記エスカレーターの少なくとも１つの状態識別結果を決定することは、
前記第１領域画像に対して分割を行い、前記第１領域画像を背景領域と前記エスカレーターの所在する前景領域に分割することと、
前記背景領域の画素値に対して調整を行い、調整後の第２領域画像を得ることと、
前記第２領域画像に対して分類処理を行い、前記エスカレーターの第２状態識別結果を得ることと、を含むことを特徴とする
項目１～３のうちいずれか一項に記載の方法。
（項目５）
前記状態識別結果は、第３状態識別結果を含み、
前記第１領域に対応する第１領域画像に対してエスカレーターの状態識別を行い、前記エスカレーターの少なくとも１つの状態識別結果を決定することは、
前記第１領域画像と所定の参照画像に対して画素マッチングを行い、前記第１領域画像と前記参照画像とのマッチング領域の割合を決定することであって、前記参照画像は、空き状態にあるエスカレーターに対応する領域画像を含む、ことと、
前記マッチング領域の割合が第２閾値以上である場合、前記第３状態識別結果が前記エスカレーターが空き状態にあることであると決定することと、を含むことを特徴とする
項目１～４のうちいずれか一項に記載の方法。
（項目６）
前記状態識別結果は、第４状態識別結果を含み、
前記第１領域に対応する第１領域画像に対してエスカレーターの状態識別を行い、前記エスカレーターの少なくとも１つの状態識別結果を決定することは、
前記第１領域画像に対して第１目標検出を行い、前記第１領域画像に第１目標が存在するかどうかを決定することと、
前記第１領域画像に第１目標が存在しない場合、前記第４状態識別結果が前記エスカレーターが空き状態にあることであると決定することと、を含むことを特徴とする
項目１～５のうちいずれか一項に記載の方法。
（項目７）
前記方法は、
前記エスカレーターが空き状態にある場合、エスカレーター停止信号を送信することであって、前記エスカレーター停止信号は、運転を停止するよう前記エスカレーターに指示するためのものである、ことを更に含むことを特徴とする
項目１～６のうちいずれか一項に記載の方法。
（項目８）
前記方法は、
前記エスカレーターが非空き状態にあり、且つ前記エスカレーターの運転が既に停止された場合、エスカレーター起動信号を送信することであって、前記エスカレーター起動信号は、運転するよう前記エスカレーターに指示するためのものである、ことを更に含むことを特徴とする
項目１～７のうちいずれか一項に記載の方法。
（項目９）
前記方法は、
前記第１画像に対して第２目標検出を行い、前記第１画像における第２目標の第３領域を決定することと、
前記第１領域と前記第３領域との位置関係に基づいて、前記第２目標の検出結果を決定することであって、前記検出結果は、前記第２目標が前記エスカレーター上に位置すること又は前記エスカレーター上に位置しないことを含む、ことと、を更に含むことを特徴とする
項目１～８のうちいずれか一項に記載の方法。
（項目１０）
前記第１領域と前記第３領域との位置関係に基づいて、前記第２目標の検出結果を決定することは、
第４領域と前記第３領域との面積比が第３閾値以上である場合、前記検出結果が前記第２目標が前記エスカレーター上に位置することであると決定することであって、前記第４領域は、前記第１領域と前記第３領域との共通領域を含む、ことを含むことを特徴とする
項目９に記載の方法。
（項目１１）
前記第２目標は、エスカレーターへの持ち込み禁止物品を含み、前記方法は、
前記第２目標が前記エスカレーター上に位置する場合、警告情報を送信することを更に含むことを特徴とする
項目９又は１０に記載の方法。
（項目１２）
画像検出装置であって、
エスカレーターの第１画像を取得するように構成される画像取得モジュールと、
前記第１画像に対して領域検出を行い、前記第１画像における前記エスカレーターの第１領域を決定するように構成される領域検出モジュールと、
前記第１領域に対応する第１領域画像に対してエスカレーターの状態識別を行い、前記エスカレーターの少なくとも１つの状態識別結果を決定するように構成される状態識別モジュールであって、前記状態識別結果は、前記エスカレーターが空き状態にあること又は非空き状態にあることを含む、状態識別モジュールと、
前記少なくとも１つの状態識別結果に基づいて、前記エスカレーターの状態を決定するように構成される状態決定モジュールと、を備える、画像検出装置。
（項目１３）
前記状態決定モジュールは、
前記状態識別結果が複数である場合、複数の状態識別結果及び前記複数の状態識別結果の重みに基づいて、前記エスカレーターの状態判別値を決定するように構成される判別値決定サブモジュールと、
前記状態判別値が第１閾値以上である場合、前記エスカレーターが空き状態にあると決定するように構成される状態決定サブモジュールと、を備えることを特徴とする
項目１２に記載の装置。
（項目１４）
前記状態識別結果は、第１状態識別結果を含み、前記状態識別モジュールは、
前記第１領域画像に対して分類処理を行い、前記エスカレーターの第１状態識別結果を得るように構成される第１結果決定サブモジュールを備えることを特徴とする
項目１２又は１３に記載の装置。
（項目１５）
前記状態識別結果は、第２状態識別結果を含み、前記状態識別モジュールは、
前記第１領域画像に対して分割を行い、前記第１領域画像を背景領域と前記エスカレーターの所在する前景領域に分割するように構成される分割サブモジュールと、
前記背景領域の画素値に対して調整を行い、調整後の第２領域画像を得るように構成される画素調整サブモジュールと、
前記第２領域画像に対して分類処理を行い、前記エスカレーターの第２状態識別結果を得るように構成される第２結果決定サブモジュールと、を備えることを特徴とする
項目１２～１４のうちいずれか一項に記載の装置。
（項目１６）
前記状態識別結果は、第３状態識別結果を含み、前記状態識別モジュールは、
前記第１領域画像と所定の参照画像に対して画素マッチングを行い、前記第１領域画像と前記参照画像とのマッチング領域の割合を決定するように構成される画素マッチングサブモジュールであって、前記参照画像は、空き状態にあるエスカレーターに対応する領域画像を含む、画素マッチングサブモジュールと、
前記マッチング領域の割合が第２閾値以上である場合、前記第３状態識別結果が前記エスカレーターが空き状態にあることであると決定するように構成される第３結果決定サブモジュールと、を備えることを特徴とする
項目１２～１５のうちいずれか一項に記載の装置。
（項目１７）
前記状態識別結果は、第４状態識別結果を含み、前記状態識別モジュールは、
前記第１領域画像に対して第１目標検出を行い、前記第１領域画像に第１目標が存在するかどうかを決定するように構成される検出サブモジュールと、
前記第１領域画像に第１目標が存在しない場合、前記第４状態識別結果が前記エスカレーターが空き状態にあることであると決定するように構成される第４結果決定サブモジュールと、を備えることを特徴とする
項目１２～１６のうちいずれか一項に記載の装置。
（項目１８）
前記装置は、
前記エスカレーターが空き状態にある場合、エスカレーター停止信号を送信するように構成される停止信号送信モジュールであって、前記エスカレーター停止信号は、運転を停止するよう前記エスカレーターに指示するためのものである、停止信号送信モジュールを更に備えることを特徴とする
項目１２～１７のうちいずれか一項に記載の装置。
（項目１９）
前記装置は、前記エスカレーターが非空き状態にあり、且つ前記エスカレーターの運転が既に停止された場合、エスカレーター起動信号を送信するように構成される起動信号送信モジュールであって、前記エスカレーター起動信号は、運転するよう前記エスカレーターに指示するためのものである、起動信号送信モジュールを更に備えることを特徴とする
項目１２～１８のうちいずれか一項に記載の装置。
（項目２０）
前記装置は、
前記第１画像に対して第２目標検出を行い、前記第１画像における第２目標の第３領域を決定するように構成される目標検出モジュールと、
前記第１領域と前記第３領域との位置関係に基づいて、前記第２目標の検出結果を決定するように構成される検出結果決定モジュールであって、前記検出結果は、前記第２目標が前記エスカレーター上に位置すること又は前記エスカレーター上に位置しないことを含む、検出結果決定モジュールと、を更に備えることを特徴とする
項目１２～１９のうちいずれか一項に記載の装置。
（項目２１）
前記検出結果決定モジュールは、
第４領域と前記第３領域との面積比が第３閾値以上である場合、前記検出結果が前記第２目標が前記エスカレーター上に位置することであると決定するように構成される決定サブモジュールであって、前記第４領域は、前記第１領域と前記第３領域との共通領域を含む、決定サブモジュールを備えることを特徴とする
項目２０に記載の装置。
（項目２２）
前記第２目標は、エスカレーターへの持ち込み禁止物品を含み、前記装置は、
前記第２目標が前記エスカレーター上に位置する場合、警告情報を送信するように構成される警告情報送信モジュールを更に備えることを特徴とする
項目２０又は２１に記載の装置。
（項目２３）
電子機器であって、
プロセッサと、
プロセッサによる実行可能な命令を記憶するように構成されるメモリと、を備え、
前記プロセッサは、前記メモリに記憶されている命令を呼び出し、項目１～１１のうちいずれか一項に記載の方法を実行するように構成される、電子機器。
（項目２４）
コンピュータ可読記憶媒体であって、前記コンピュータ可読記憶媒体にはコンピュータプログラム命令が記憶されており、前記コンピュータプログラム命令がプロセッサにより実行される時、項目１～１１のうちいずれか一項に記載の方法を実現する、コンピュータ可読記憶媒体。
（項目２５）
コンピュータプログラムであって、前記コンピュータプログラムは、コンピュータ可読コードを含み、コンピュータ可読コードが電子機器において実行される時、前記電子機器におけるプロセッサは、項目１～１１のうちいずれか一項に記載の方法を実行するコンピュータプログラム。
【国際調査報告】