(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-12-14
(45)【発行日】2023-12-22
(54)【発明の名称】遺留対象検出
(51)【国際特許分類】
G08B 21/24 20060101AFI20231215BHJP
B60R 11/04 20060101ALI20231215BHJP
G08B 21/02 20060101ALI20231215BHJP
H04N 7/18 20060101ALI20231215BHJP
G06T 7/00 20170101ALI20231215BHJP
G06T 7/70 20170101ALI20231215BHJP
【ＦＩ】
G08B21/24
B60R11/04
G08B21/02
H04N7/18 D
G06T7/00 650Z
G06T7/70 A
G06T7/00 350C
【請求項の数】
15
(21)【出願番号】P 2021540530
(86)(22)【出願日】2020-05-28
(65)【公表番号】
(43)【公表日】2022-06-29
(86)【国際出願番号】 CN2020093003
(87)【国際公開番号】W WO2021189641
(87)【国際公開日】2021-09-30
【審査請求日】2021-07-13
(31)【優先権主張番号】202010217625.9
(32)【優先日】2020-03-25
(33)【優先権主張国・地域又は機関】CN
(73)【特許権者】
【識別番号】521098397
【氏名又は名称】上海臨港絶影智能科技有限公司
【氏名又は名称原語表記】Ｓｈａｎｇｈａｉ Ｌｉｎｇａｎｇ Ｊｕｅｙｉｎｇ Ｉｎｔｅｌｌｉｇｅｎｔ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ．
(74)【代理人】
【識別番号】110000729
【氏名又は名称】弁理士法人ユニアス国際特許事務所
(72)【発明者】
【氏名】何 任▲東▼
(72)【発明者】
【氏名】▲劉▼ ▲衛▼▲龍▼
(72)【発明者】
【氏名】▲呉▼ ▲陽▼平
(72)【発明者】
【氏名】伍 俊
(72)【発明者】
【氏名】范 亦卿
【審査官】綿引 隆
(56)【参考文献】
【文献】特開２００１－２８５８４２（ＪＰ，Ａ）
【文献】特開２００２－０６３６６８（ＪＰ，Ａ）
【文献】特開２０１８－１７３７５６（ＪＰ，Ａ）
【文献】特開２００５－１１５９１１（ＪＰ，Ａ）
【文献】特開２０１９－１６８８１５（ＪＰ，Ａ）
【文献】特開２０１５－０４１３４４（ＪＰ，Ａ）
【文献】特開２００７－２６９２６８（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｂ６０Ｒ ９／００ － Ｂ６０Ｒ １１／０６
Ｇ０６Ｔ ７／００ － Ｇ０６Ｔ ７／９０
Ｇ０６Ｖ １０／００ － Ｇ０６Ｖ ２０／９０
Ｇ０６Ｖ ３０／４１８
Ｇ０６Ｖ ４０／１６
Ｇ０６Ｖ ４０／２０
Ｇ０８Ｂ １９／００ － Ｇ０８Ｂ ３１／００
Ｈ０４Ｎ ７／１８
(57)【特許請求の範囲】
【請求項1】
遺留対象検出方法であって、交通手段のキャビン内に遺留対象がない場合の前記キャビン内の参考画像を取得することと、
人員が前記交通手段に乗り込んでいる場合の前記キャビン内の第２画像を収集することと、
前記人員が前記交通手段から離れた場合の前記キャビン内の第１画像を収集することと、
前記参考画像および前記第２画像に基づいて、検出待ちの遺留対象の前記第１画像における位置を確定することと、
前記検出待ちの遺留対象の前記第１画像における位置に基づいて、前記第１画像内の検出待ちの遺留対象の中から前記人員が前記交通手段から離れるときの前記キャビン内の遺留対象を検出することと、を含み、
前記参考画像および前記第２画像に基づいて、検出待ちの遺留対象の前記第１画像における位置を確定することは、
前記参考画像および複数フレームの前記第２画像に基づいて、検出待ちの遺留対象に対して目標追跡を実行することと、
目標追跡の結果に基づいて前記検出待ちの遺留対象の前記第１画像における位置を確定することと、を含む
ことを特徴とする遺留対象検出方法。
【請求項2】
前記交通手段のキャビン内に遺留対象がない場合の前記キャビン内の参考画像を取得することは、前記人員が前記交通手段に入る前に前記キャビン内の目標画像を収集し、前記目標画像を前記参考画像として確定することを含む
ことを特徴とする請求項１に記載の遺留対象検出方法。
【請求項3】
前記第２画像と前記参考画像との間の差異に基づいて検出待ちの遺留対象を確定することをさらに含むことを特徴とする請求項１または２に記載の遺留対象検出方法。
【請求項4】
前記第２画像と前記参考画像との間の差異に基づいて検出待ちの遺留対象を確定することは、前記第２画像および前記参考画像の中の目標対象情報をそれぞれ取得することと、
前記第２画像には含まれているが前記参考画像には含まれていない少なくとも１つの目標対象を、検出待ちの前記遺留対象として確定することと、を含む
ことを特徴とする請求項３に記載の遺留対象検出方法。
【請求項5】
遺留対象確認命令を受信し、前記遺留対象確認命令に従って前記第１画像から非遺留対象を除外すること、または、前記遺留対象が検出された場合に、前記遺留対象の前記キャビンにおける位置および／または前記遺留対象の種類を確定すること、または、
前記遺留対象が検出された場合に、前記交通手段および／または予め設定された通信端末に第１通知メッセージを送信することをさらに含む
ことを特徴とする請求項１乃至４の中のいずれか１項に記載の遺留対象検出方法。
【請求項6】
前記遺留対象が検出された場合に、前記遺留対象の種類に基づいて、前記交通手段に前記キャビン内の環境パラメータを調節するための第１制御情報を送信することをさらに含むことを特徴とする請求項１乃至５の中のいずれか１項に記載の遺留対象検出方法。
【請求項7】
前記遺留対象の種類に基づいて、前記交通手段に前記キャビン内の環境パラメータを調節するための第１制御情報を送信することは、前記遺留対象の種類が生体であることが検出された場合、前記交通手段に前記キャビン内の環境パラメータを調節するための第１制御情報を送信することを含む
ことを特徴とする請求項６に記載の遺留対象検出方法。
【請求項8】
前記交通手段に前記キャビン内の環境パラメータを調節するための第１制御情報を送信することは、前記交通手段に窓開放制御情報および／またはエアコン運行制御情報を送信することを含む
ことを特徴とする請求項６または７に記載の遺留対象検出方法。
【請求項9】
前記遺留対象が検出された場合に、前記遺留対象が前記キャビン内から取り出されたか否かを確定することと、前記遺留対象が前記キャビン内から取り出されたとして確定された場合、特定の操作を実行することと、をさらに含み、
前記特定の操作は、
前記遺留対象が前記キャビン内から取り出された時間を記録することと、
前記遺留対象を取り出した人員の身分情報を記録することと、
前記キャビン内の環境パラメータを調節するための第２制御情報を前記交通手段に送信することと、
予め設定された通信端末に第２通知メッセージを送信することと、の中の少なくとも１つを含む
ことを特徴とする請求項１乃至８の中のいずれか１項に記載の遺留対象検出方法。
【請求項10】
前記遺留対象が前記キャビン内から取り出されたか否かを確定することは、前記人員が前記交通手段から離れた後の所定の時間帯内の前記キャビン内の第３画像を取得することと、
前記第３画像および前記参考画像に基づいて前記遺留対象が前記キャビン内から取り出されたか否かを確定することと、を含み、
および／または、
前記遺留対象検出方法は、前記交通手段が始動されるときに、前記交通手段上の画像収集装置を起動することをさらに含み、
および／または、
前記遺留対象検出方法は、前記遺留対象が前記キャビン内から取り出されたとして確定された場合、前記画像収集装置をオフにすることをさらに含む
ことを特徴とする請求項９に記載の遺留対象検出方法。
【請求項11】
遺留対象検出装置であって、交通手段のキャビン内に遺留対象がない場合の前記キャビン内の参考画像を取得するための第１取得モジュールと、
人員が前記交通手段に乗り込んでいる場合の前記キャビン内の第２画像を収集するための第２取得モジュールと、
人員が前記交通手段から離れた場合の前記キャビン内の第１画像を収集するための第１収集モジュールと、
検出モジュールであって、
前記参考画像および前記第２画像に基づいて、検出待ちの遺留対象の前記第１画像における位置を確定するための第２確定ユニットと、
前記検出待ちの遺留対象の前記第１画像における位置に基づいて、前記第１画像内の検出待ちの遺留対象の中から前記人員が前記交通手段から離れるときの前記キャビン内の遺留対象を検出するための検出ユニットと、を含む検出モジュールと、を備え、
前記第２確定ユニットは、
前記参考画像および複数フレームの前記第２画像に基づいて、検出待ちの遺留対象に対して目標追跡を実行するための追跡サブユニットと、
目標追跡の結果に基づいて検出待ちの遺留対象の前記第１画像における位置を確定するための確定サブユニットと、を備える
ことを特徴とする遺留対象検出装置。
【請求項12】
メモリとプロセッサとを備え、前記メモリには、コンピュータプログラムが記憶されており、前記コンピュータプログラムは、前記プロセッサ上で運行可能であり、コンピュータデバイスであって、
前記プロセッサが前記プログラムを実行するときに、請求項１乃至１０の中のいずれか１項に記載の方法が実現される
ことを特徴とするコンピュータデバイス。
【請求項13】
交通手段であって、前記交通手段のキャビン内には、画像収集装置と、前記画像収集装置と通信可能に接続された請求項１１前記の遺留対象検出装置または請求項１２前記のコンピュータデバイスと、が設けられている
ことを特徴とする交通手段。
【請求項14】
コンピュータプログラムが記憶されているコンピュータ可読記録媒体であって、当該プログラムがプロセッサによって実行されると、請求項１乃至１０の中のいずれか１項に記載の方法が実現される
ことを特徴とするコンピュータ可読記録媒体。
【請求項15】
コンピュータ可読コードを含むコンピュータプログラムであって、当前記コンピュータ可読コードが電子デバイスで運行されるときに、前記電子デバイス中のプロセッサが請求項１乃至１０の中のいずれか１項に記載の方法を実行する
ことを特徴とするコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
＜関連出願の互いに引用＞
本発明は、出願日が２０２０年３月２５日であり、出願番号が２０２０１０２１７６２５.９である中国特許出願の優先権を主張し、当該中国特許出願の全ての内容が参照として本願に組み入れられる。
本発明は、コンピュータビジョン技術分野に関し、特に、遺留対象検出方法、装置、及び交通手段に関する。
本発明は、出願日が２０２０年３月２５日であり、出願番号が２０２０１０２１７６２５.９である中国特許出願の優先権を主張し、当該中国特許出願の全ての内容が参照として本願に組み入れられる。
本発明は、コンピュータビジョン技術分野に関し、特に、遺留対象検出方法、装置、及び交通手段に関する。
【背景技術】
【0002】
人々は交通手段を利用するとき、彼らはしばしば品物（たとえば、財布、鍵など）、あるいは生体（たとえば、ペット、子供など）さえも車両に遺留し、物的損害を引き起こし、さらには車両に遺留された生体の生命にも危険がある。したがって、交通手段内の遺留対象を検出することによって、検出結果に従って対策を講じ、損失やリスクを低減する必要がある。
【発明の概要】
【0003】
本発明は、遺留対象検出方法、装置、及び交通手段を提供する。
【0004】
本発明の実施例に係る第１態様によると、遺留対象検出方法を提供し、前記方法は、交通手段のキャビン内に遺留対象がない場合の前記キャビン内の参考画像を取得することと、人員が前記交通手段から離れた場合の前記キャビン内の第１画像を収集することと、前記第１画像および参考画像に基づいて前記人員が前記交通手段から離れるときの前記キャビン内の遺留対象を検出することと、を含む。
【0005】
本発明の実施例に係る第２態様によると、遺留対象検出装置を提供し、前記装置は、交通手段のキャビン内に遺留対象がない場合の前記キャビン内の参考画像を取得するための第１取得モジュールと、人員が前記交通手段から離れた場合の前記キャビン内の第１画像を収集するための第１収集モジュールと、前記第１画像および参考画像に基づいて前記人員が前記交通手段から離れるときの前記キャビン内の遺留対象を検出するための検出モジュールと、を備える。
【0006】
本発明の実施例に係る第３態様によると、コンピュータデバイスを提供し、当該コンピュータデバイスは、メモリとプロセッサとを備え。前記メモリには、コンピュータプログラムが記憶されており、前記コンピュータプログラムは、前記プロセッサによって実行されることによって、任意の実施例に記載の方法が実現される。
【0007】
本発明の実施例に係る第４態様によると、交通手段を提供し、前記交通手段のキャビン内には、画像収集装置と、前記画像収集装置と通信可能に接続された本発明の任意の実施例に記載の遺留対象検出装置または本発明の任意の実施例に記載のコンピュータデバイスと、が設けられている。
【0008】
本発明の実施例に係る第５態様によると、コンピュータプログラムが記憶されているコンピュータ可読記録媒体を提供し、当該プログラムがプロセッサによって実行されると、任意の実施例に記載の方法が実現される。
【0009】
本発明の実施例に係る第６態様によると、コンピュータプログラム製品を提供し、前記コンピュータプログラム製品がコンピュータによって読み取られて実行されるときに、任意の実施例に記載の方法が実現される。
【0010】
本発明の実施例に係る第７態様によると、コンピュータ可読コードを含むコンピュータプログラムを提供し、前記コンピュータ可読コードが電子デバイスで運行されるときに、前記電子デバイス中のプロセッサによって本発明の任意の実施例に記載の方法が実行される。
【0011】
本発明の実施例によると、交通手段のキャビン内に遺留対象がない場合の前記キャビン内の参考画像を取得し、人員が交通手段から離れた場合の前記キャビン内の第１画像を収集し、前記第１画像および参考画像に基づいて前記人員が前記交通手段から離れるときの前記キャビン内の遺留対象を検出する。上記の方式は、生命のある生体だけでなく、生命がない品物の検出も可能であり、方法が簡単で、適用範囲が広く、検出の正確率が高い。
【0012】
上記の一般的な叙述と以下の細部の叙述は、例示的および解釈的なもの過ぎず、本発明に対する限定ではないことを理解すべきである。
【図面の簡単な説明】
【0013】
ここでの図面は、明細書に組み込まれて、本明細書の一部を構成する。これら図面は、本発明に合致する実施例を示し、明細書とともに本発明の実施例を説明するために用いられる。
【図1】本発明の実施例の遺留対象検出方法フローチャートである。
【図2A】本発明の実施例の第１画像の模式図である。
【図2B】本発明の実施例の参考画像の模式図である。
【図3】本発明の実施例の機械学習モデルと画像収集装置との関係の模式図である。
【図4】本発明の実施例の通信端末のメッセージ通知インターフェースの模式図である。
【図5】本発明の実施例の遺留対象検出装置のブロック図である。
【図6】本発明の実施例のコンピュータデバイスの模式図である。
【図7】本発明の実施例の交通手段の模式図である。
【図8A】本発明の実施例の画像収集装置の分布の模式図である。
【図8B】本発明の実施例の画像収集装置のもう１分布の模式図である。
【発明を実施するための形態】
【0014】
ここで例示的な実施例を詳細に説明し、その例を図面に示す。以下の説明が図面を言及している場合、特に明記しない限り、異なる図面における同一の数字は、同一または類似な要素を示す。以下の例示的な実施例で叙述される実施形態は、本発明と一致するすべての実施形態を代表しない。逆に、それらは、添付された特許請求の範囲に記載された、本発明のいくつかの態様と一致する装置及び方法の例に過ぎない。
【0015】
本発明で使用される用語は、特定の実施例を説明することのみを目的としており、本発明を限定することを意図するものではない。本発明および添付の特許請求の範囲で使用される「一種」、「前記」、「当該」などの単数形は、文脈が他の意味を明確に示さない限り、複数形を含むことを意図している。本明細書で使用される「および／または」という用語は、１つまたは複数の関連するリストされたアイテムの任意の１つまたはすべての可能な組み合わせを含むことを指すことを理解すべきである。また、本明細書での「少なくとも１つの」という用語は、複数種類の中の任意の一種または複数種類の中の少なくとも２つの任意の組み合わせを意味する。
【0016】
本発明では、第１、第２、第３などの用語を使用して様々な情報を記述することがあるが、これら情報はこれら用語によって限制されるべきではないことを理解すべきである。これら用語は、同じ種類の情報を互いに区別するためにのみ使用される。たとえば、本開示の範囲から逸脱することなく、第１の情報は、第２の情報とも呼ばれ得、同様に、第２の情報は、第１の情報とも呼ばれ得る。文脈に応じて、本明細書で使用される「もし」という単語は、「…場合」、「…すると」、または、「…ことに応答して」と解釈することができる。
【0017】
以下、当業者が本発明の実施例の技術的解決策をより良く理解し、本発明の実施例の上記の目的、特徴、および、利点をより明白かつ理解可能にするために、図面を参照して本発明の実施例の技術的解決策をさらに詳細に説明する。
【0018】
本発明の実施例は、交通手段内遺留対象検出方法を提供し、図１に示したように、前記方法は、以下のステップ１０１～１０３を含み得る。
【0019】
ステップ１０１において、交通手段のキャビン内に遺留対象がない場合の前記キャビン内の参考画像を取得する。
【0020】
ステップ１０２において、人員が前記交通手段から離れた場合の前記キャビン内の第１画像を収集する。
【0021】
ステップ１０３において、前記第１画像および参考画像に基づいて前記人員が前記交通手段から離れるときの前記キャビン内の遺留対象を検出する。
【0022】
本発明の実施例において、前記交通手段は、自家用車、バス、スクールバス、トラック、汽車などの車両であってもよいし、船または飛行機などの人または貨物を運ぶために使用される手段であってもよい。これに応じて、前記交通手段のキャビンは、車両のキャビン、船のキャビンまたは、飛行機のキャビンなどであり得る。以下、前記交通手段が車両であり、前記キャビンが車両のキャビンの例を挙げて、本発明の実施例の解決策を説明する。他のタイプの交通手段の遺留対象検出技術の実現も同様であり、繰り返して説明しない。
【0023】
ステップ１０１において、車両キャビン内に遺留対象がない場合の前記車両キャビン内の参考画像を取得することができる。ここで、前記車両キャビン内の参考画像内には、前記車両キャビン内の固有の対象（たとえば、座席、ステアリングホイール、車両トリムなど）のみが含まれ、遺留対象は含まれない。前記参考画像は、車両キャビン内に遺留対象がないときに収集して記憶することができ、１回または複数回使用することができ、たとえば複数回の遺留対象検出を実行する必要がある場合に繰り返して使用することができる。たとえば、車両を出荷する前に車両上の画像収集装置を利用して収集して車両の記憶ユニットに記憶することができ、または、ユーザが車両キャビン内に遺留対象がないとして確認したときにユーザにより車両上の画像収集装置を利用して収集することができ、または、ユーザ端末（たとえば、携帯電話、タブレットコンピュータ、カメラなど）を利用して収集して車両の記憶ユニットに記憶することができる。さらに、収集された前記キャビン内の元の画像に対して画像圧縮処理を実行し、圧縮した後の画像を背景画像として記憶することによって、保存スペースを削減し、画像処理効率を向上させることができる。
【0024】
参考画像を１回収集し、収集した参考画像を、毎回遺留対象検出を実行するときの参考画像として使用することができる。または、特定の方法に従って前記参考画像を更新することができる。前記特定の方法に従って前記参考画像を更新することは、一定の間隔（たとえば、１日または１週間など）で前記参考画像を更新することであってもよいし、特定のイベントのトリガに応答して前記参考画像を更新することであってもよい。前記特定のイベントは、遺留対象が検出されて、参考画像更新命令が受信されたことであり得、たとえば、車両キャビン内の背景が変化されたか、または、人員が交通手段のキャビン内に入ろうとしている（たとえば、車両のロックが解除されている）ことが検出されると、参考画像の更新をトリガする。
【0025】
前記背景画像は、車両キャビン全体の背景画像であってもよいし、車両キャビン内の特定または特定のエリア（たとえば、運転エリア、副操縦士エリア、後部座席、チャイルドシート、愛の座席エリア、トランクエリア、ラゲッジエリアなどの中の少なくとも１つ）の背景画像であってもよい。車両キャビン全体の画像が収集された後、直接収集された画像を背景画像として使用してもよいし、必要に応じて前記画像をカッティングし、カッティングした後の画像を背景画像として使用してもよい。背景画像の数は、１つまたは複数であり得る。たとえば、車両キャビン内に１つの画像収集装置が含まれている場合、前記背景画像は、前記画像収集装置によって収集された１つの画像であり得る。車両キャビン内に複数の画像収集装置が含まれている場合、前記背景画像の数は１よりも大きく、各背景画像はその中の１つの画像収集装置によって収集される。
【0026】
実際のアプリケーションでは、人員が車から降りた後、車両キャビン内に遺留対象がないと、車両キャビン内の画像を撮影して記憶することによって、次の１回の人員が交通手段から離れた場合の遺留対象検出を実行するための参考画像として使用することができる。または、人員が交通手段に入る前に前記キャビン内の目標画像を収集して、前記人員が前記交通手段から離れた場合に遺留対象検出を実行するための参考画像として使用することができる。遺留対象は、財布、鍵、携帯電話、傘、ブリーフケース、スーツケースなどの品物を含み得、さらに、人、ペットなどの生体を含み得る。人は、子供、高齢者、眠っている人、身体の不自由な人などの、様々な車内に遺留される可能性がある人であり得る。
【0027】
ステップ１０２において、前記人員は、たとえば運転手、乗務員、乗客などの、交通手段内の任意の人員を含み得る。交通手段のキャビンドアの開放状況、交通手段の運行状況、人員の移動軌跡、および、特定の命令の中の少なくとも１つに基づいて、人員が前記交通手段から離れたか否かを確定することができる。たとえば、キャビンドアの開放または人員のシートベルトが外れていることが検出された場合、人員が車から降りているとして確定することができる。また、たとえば、車両の電源がオフになり、またキャビンドアが開放されたことが検出された場合、人員が車から降りているとして確定することができる。また、たとえば、人員の移動軌跡がキャビン内からキャビンであることが検出された場合、人員が車から降りているとして確定することができる。また、たとえば、行程終了の確認命令が検出された場合、人員が車から降りているとして確定することができる。これ以外に、他の方式に従って人員が前記交通手段から離れたか否かを確定することができ、ここでは繰り返して説明しない。
【0028】
前記キャビン内の第１画像は、１つの画像を含んでもよいし、複数の画像を含んでもよい。各第１画像は、車両キャビン内の１つの画像収集装置によって収集されることができ、たとえば、前記画像収集装置を利用して収集したビデオストリームから１つの画像または複数の画像を前記第１画像として取得することができる。
【0029】
ステップ１０３において、前記第１画像および参考画像に基づいて前記人員が前記交通手段から離れるときの前記キャビン内の遺留対象を検出することができる。ここで、遺留対象は、前記人員によって前記キャビン内に運ばれ、前記人員が前記交通手段から離れるときに前記キャビン内に忘れられた生体および／または品物であり得る。第１画像および参考画像の数量がいずれも１よりも大きい場合、各第１画像および対応される１つの参考画像にそれぞれ基づいて、前記人員が前記交通手段から離れるときの前記キャビン内の遺留対象を検出することができる。たとえば、ｉ番目の第１画像およびｉ番目の参考画像がいずれもキャビン内の第ｉサブエリアに対応する画像であると、ｉ番目の第１画像およびｉ番目の参考画像に基づいて前記人員が前記交通手段から離れるときの前記キャビン内の第ｉサブエリアの遺留対象を検出することができる。ここで、遺留対象を検出するたびに、すべてのサブエリアに対して遺留対象検出を実行してもよいし、その中の一部のサブエリアに対して遺留対象検出を実行してもよい。
【0030】
遺留対象を検出する操作は、常に実行してもよいし、特定の場合にトリガされて実行してもよい。たとえば、交通手段によってトリガされることができる。また、たとえば、交通手段と事前に通信接続を構築したユーザ端末によって受動的トリガされることもできる。ユーザ端末によって検出トリガ命令を送信し、前記検出トリガ命令が受信された後に、遺留対象検出を実行する操作を始めることができる。前記検出トリガ命令には、目標検出種類がさらに含まれてもよく、前記処理待ち画像内に特定種類の遺留対象が含まれているか否かを確定することができる。たとえば、ユーザは車を降りた後に鍵が紛失していることに気付く場合がある。このとき、携帯電話を介して「鍵」の種類を含む検出トリガ命令を送信して、「鍵」の種類の遺留対象を検出するようにトリガすることができる。
【0031】
いくつかの実施例において、前記第１画像と参考画像との間の差異に基づいて、前記人員が前記交通手段から離れるときの前記キャビン内の遺留対象を検出することができる。たとえば、前記第１画像には含まれているが前記参考画像に含まれていない少なくとも１つの目標対象を、前記遺留対象として確定することができる。図２Ａに示したように、前記第１画像には、携帯電話、子供、座席、および、枕が含まれているが、図２Ｂに示したように、前記参考画像には、座席および枕が含まれており、第１画像には含まれているが参考画像には含まれていないものが携帯電話および子供であり、携帯電話および／または子供を前記人員が前記交通手段から離れるときの前記キャビン内の遺留対象として確定することができる。このような方式によって、遺留対象をより直感的に検出することができ、実装が簡単で、実現コストが低い。
【0032】
ここで、参考画像の中の目標対象は、前記参考画像をラベリングする方法によって取得してもよいし、前記参考画像を検出する方法によって取得してもよい。前記第１画像と参考画像との間の差異を確定するたびに、参考画像から目標対象を１回検出してもよいし、過去に検出された目標対象を直接目標対象として採用してもよい。
【0033】
いくつかの実施例において、前記人員が前記交通手段に入る場合の前記キャビン内の第２画像を収集し、前記第２画像と前記参考画像との間の差異に基づいて検出待ちの遺留対象を確定することができる。前記人員が前記交通手段に入る場合は、人員が前記交通手段に入っているときの場合を含んでもよいし、人員が前記交通手段に入った後に前記交通手段から離れる前の場合を含んでもよい。たとえば、前記交通手段が目的地に到着しようとする場合に前記第２画像を収集することができる。実際のアプリケーションでは、前記交通手段上のスマート端末上で運行されるアプリケーションプログラム（たとえば、地図アプリケーションプログラムまたはネットワーク車両予約アプリケーションプログラムなど）に従って前記交通手段が目的地に到着しようとしているか否かを確定することができ。このような方法によって、特定の人員に関連されている検出待ちの遺留対象を確定することによって、特定の人員に関連されている検出待ちの遺留対象のみに対して遺留対象検出を実行して、検出精度を向上させ、検出リソース消費を削減した。
【0034】
いくつかの実施例において、前記第２画像には含まれているが前記参考画像には含まれていない少なくとも１つの目標対象を、検出待ちの前記遺留対象として確定することができる。このような方法によって、遺留対象と人員との間の関連を構築して、特定の人員に関連されている遺留対象のみを検出することができる。交通手段に入る人員に身分情報を割り当てて、前記人員が前記交通手段に入る場合に確定された検出待ちの遺留対象と前記人員の身分情報とをバインディングすることによって、前記関連を構築することができる。これに基づいて、前記人員が前記交通手段から離れた場合、前記人員に関連する検出待ちの遺留対象のみから遺留対象を確定し、その他の人員が交通手段内に遺留された遺留対象を前記人員の遺留対象として確定する確率を低下した。
【0035】
たとえば、人員Ａが車に乗るときに撮影された第２画像には携帯電話が含まれており、人員Ａが車に乗る前に車両内に一連の鍵があるため、携帯電話のみを人員Ａに対応する検出待ちの遺留対象として確認する。人員がＡ車を降りるときに撮影された第１画像に携帯電話が含まれていると、人員がＡ車を降りるときに車内に遺留対象があると確定する。人員Ａ車を降りるときに撮影された第１画像に携帯電話が含まれていないと、人員Ａが車を降りたときに車内に遺留対象がないとして確定する。
【0036】
キャビン内に入る人員が複数いる場合、各人員が前記交通手段に入る場合の前記キャビン内の第２画像をそれぞれ収集し、各人員に対応する第２画像と前記参考画像との間の差異に基づいて、前記各人員の検出待ちの遺留対象を確定することができる。
【0037】
もういくつかの実施例において、前記人員が前記交通手段に入る場合の前記キャビン内の第２画像を収集し、前記参考画像および前記第２画像に基づいて、検出待ちの遺留対象の前記第１画像における位置を確定し、前記検出待ちの遺留対象の前記第１画像における位置に基づいて、前記第１画像内の検出待ちの遺留対象の中から前記遺留対象を検出することができる。このようにすることによって、まず検出待ちの遺留対象の位置を大まかに確定し、次に前記位置に基づいて遺留対象検出を実行することによって、検出効率を向上させた。
【0038】
ここで、第２画像および参考画像を事前にトレーニングされた第１機械学習モデルに入力し、前記第１機械学習モデルの結果に基づいて検出待ちの遺留対象（疑似遺留対象と呼ぶ）および前記疑似遺留対象の前記第２画像における位置を確定し、次に、前記疑似遺留対象の前記第２画像における位置に基づいて前記疑似遺留対象の前記第１画像における位置を確定することができる。前記機械学習モデルは、ニューラルネットワークを採用することができ、または、前記機械学習モデルは、ニューラルネットワークと従来の視覚アルゴリズム（たとえば、オプティカルフロー法、画像シャープニング法、画像差分アルゴリズム、またはカーター追跡アルゴリズム）とを組み合わせたモデルを採用することができる。本発明の実施例のニューラルネットワークは、入力層、少なくとも１つの中間層、および、出力層を含み得、前記入力層、少なくとも１つの中間層、および、出力層は、いずれも、１つまたは複数のニューロンを含む。ここで、前記中間層は、通常、隠れ層などの、入力層と出力層との間に位置する層を指す。１つのオプションの例において、前記ニューラルネットワークの中間層は、畳み込み層、ＲｅＬＵ（Ｒｅｃｔｉｆｉｅｄ Ｌｉｎｅａｒ Ｕｎｉｔｓ、修正線性ユニット）層などの中の少なくとも１つを含み得るが、これらに限定されない。前記ニューラルネットワークに含まれている中間層の数が多いほど、ネットワークが深くなる。前記ニューラルネットワークは、具体的に、ディープニューラルネットワークまたは畳み込みニューラルネットワークであり得る。
【0039】
たとえば、前記参考画像および複数フレームの前記第２画像に基づいて、検出待ちの遺留対象に対して目標追跡を実行し、目標追跡の結果に基づいて検出待ちの遺留対象の前記第１画像における位置を確定することができる。このような方法によって、まずキャビン内に忘れられる可能性のある対象（すなわち疑似遺留対象）を確定し、疑似遺留対象の位置をより正確に確定し、次に疑似遺留対象の位置に基づいて遺留対象を検出することによって、検出効率および精度を向上させた。
【0040】
図３に示したように、第２画像をキャビン内の複数の画像収集装置を利用して収集する場合、各画像収集装置は１つの機械学習モデルに対応され、各機械学習モデルは１つの画像収集装置によって収集された第２画像を検出するために使用される。たとえば、キャビン内にＮ個の画像収集装置が含まれている場合、画像収集装置１によって収集された第２画像および背景画像を機械学習モデル１に入力して、画像収集装置１によって収集された第２画像から疑似遺留対象を検出し、画像収集装置２によって収集された第２画像および背景画像を機械学習モデル２に入力して、画像収集装置２によって収集された第２画像から疑似遺留対象を検出し、…、このように類推する。機械学習モデルを共有して、複数の異なる画像収集装置によって収集された画像を検出してもよく、本発明はこれに対して限定しない。
【0041】
いくつかの実施例において、前記第１画像および参考画像に基づいて前記人員が前記交通手段から離れるときの前記キャビン内の遺留対象を検出する前に、まず前記第１画像から非遺留対象を除外することができる。前記非遺留対象は、人員によって前記キャビン内に運ばれ、前記キャビン内にとどまることが予想される品物であり、たとえば、枕または、カーアクセサリーなどを含み得る。たとえば、遺留対象確認命令を受信し、前記遺留対象確認命令に従って前記第１画像から非遺留対象を除外することができる。１つの実現方式として、人員が前記交通手段から離れる前に前記交通手段のキャビン内の第３画像を撮影し、前記第３画像を表示デバイス（たとえば、車両の中央制御画面またはユーザ端末の表示インターフェース）に送信して表示させ、人員によりユーザ端末または中央制御画面を利用して遺留対象確認命令を送信することができる。また、たとえば、遺留対象の過去処理結果を取得することができる。特定の対象の過去検出過程で遺留対象として確定されたが、長期間または何度も処理されなかった場合（たとえば、前記キャビン内から取り出さなかった）、前記対象を非遺留対象として確定する。このような方法によって、上記の人員によって前記キャビン内に運ばれ、前記キャビン内にとどまることが予想される品物などの非遺留対象を遺留対象として誤判断する確率を減らし、誤検出を減らすことができる。
【0042】
前記遺留対象が検出された場合に、前記遺留対象の前記キャビンにおける位置および／または前記遺留対象の種類を確定することができる。前記位置は、副操縦士座席、後部座席のような大まかな位置であってもよいし、より精確な位置情報であってもよく、たとえば、遺留対象の前記キャビンにおける座標である。前記遺留対象の種類は、簡単に、生体種類と品物種類に分類され得、各種類はさらにより細かいサブ種類に分類され得る。たとえば、生体種類をペット種類と子供種類とに分類し、品物種類を、鍵種類、財布種類、および。携帯電話種類などに分類することができる。遺留対象の位置および／または種類を確定することによって、前記遺留対象の位置および／または種類に基づいて後続の操作を容易に実行することができ、たとえば、通知メッセージを送信して、キャビン内の環境パラメータの制御によって、遺留対象のセキュリティ問題の確率を低減することができる。
【0043】
前記第１画像を事前にトレーニングされた第２機械学習モデルに入力し、前記第２機械学習モデルの出力結果に基づいて前記遺留対象の位置および／または種類を得ることができる。前記第２機械学習モデルと前述第１機械学習モデルとは、同じモデルであってもよいし、異なるモデルであってもよい。さらに、前記第２機械学習モデルは、第１サブモデルと第２サブモデルを含み得、ここで、前記第１サブモデルは、生体対象を検出し、第２サブモデルは、品物対象を検出する。ここで、前記第１サブモデルは、生体対象のサンプル画像によって事前にトレーニングされ、前記第２サブモデルは、品物対象のサンプル画像によって事前にトレーニングされ得る。サンプル画像は、さまざまな光強度およびさまざまなシーンで撮影された画像を含み得、トレーニングされた対象認識モデルの正確性を向上させる。
【0044】
いくつかの実施例において、前記遺留対象が検出された場合に、前記交通手段および／または予め設定された通信端末に第１通知メッセージを送信することができる。第１通知メッセージを送信することによって、人員が遺留対象を見つけて、遺留対象の迅速に取り出すのに役立つ。前記第１通知メッセージは、現在遺留対象が存在することを示すためのプロンプト情報を含み得る。さらに、前記第１通知メッセージは、前記遺留対象を遺留した時間、前記遺留対象の種類および／または位置をさらに含む。前記交通手段に第１通知メッセージを送信した後に、前記交通手段は、プロンプト情報を出力することができ、前記プロンプト情報は、カーオーディオまたはホーンを介して出力されるサウンドプロンプト情報および／または車両ライトを介して出力されるライトプロンプト情報を含む。さらに、異なる音声プロンプト情報を出力したり、異なる位置にある発光デバイスを介して光プロンプト情報を出力したりすることによって、遺留対象の異なる位置を示すことができる。
【0045】
前記通信端末は、モバイルデータ接続、ブルートゥース（登録商標）接続、ＷｉＦｉ接続などの任意の接続方法を介して交通手段と通信接続を構築することができ、前記通信端末は、携帯電話、タブレットコンピュータ、スマートウォッチ、および、ノートコンピュータなどのスマート端末であり得る。前記通信端末に第１通知メッセージを送信した後に、前記通信端末は、プロンプト情報を出力することができ、図４に示したように、プロンプト情報は、テキストプロンプト情報および画像プロンプト情報の中の少なくとも１つを含む。テキストプロンプト情報は、「車の後部座席に遺留品物がある」、または、「車内に子供がいる」などの形のテキスト内容であり得る。遺留対象が検出された時間をさらに含み得、たとえば、「時間：２０２０年２月１３日１８:３５；位置：車の後部座席；遺留対象種類：財布」などのテキスト内容であり得る。画像プロンプト情報は、第１画像を含んでもよいし、第１画像からカッティングした遺留対象の画像のみを含んでもよい。カッティングした遺留対象の画像を送信することによって、データ伝送量を減らすことができる。
【0046】
前記遺留対象が検出された場合に、前記遺留対象の種類に基づいて、前記交通手段に前記キャビン内の環境パラメータを調節するための第１制御情報を送信することによって、遺留対象に対してより快適なキャビン内の環境を提供することができる。たとえば、前記遺留対象の種類が生体種類である場合、前記交通手段に前記キャビン内の環境パラメータを調節するための第１制御情報を送信することができ、たとえば、窓開放制御情報および／またはエアコン運行制御情報を送信することによって、キャビン内のより悪い環境（たとえば、温度が高すぎるか、または、酸素含有量が低い）による生体種類の遺留対象に危険が発生される確率を減らすことができる。具体的には、前記遺留対象の種類が生体種類である場合、前記交通手段に窓開放制御情報を送信して、前記交通手段の窓を開放する。
【0047】
前記窓開放制御情報は、開放待ちの窓の数量情報、位置情報、および／または、開放程度情報などを含むが、これらに限定されない。選択的に、遺留対象の位置、前記キャビン内の環境パラメータ、および、キャビン外の環境パラメータの中の少なくとも１つに基づいて、前記窓開放制御情報を生成することができる。たとえば、遺留対象が車両後座に位置している場合、車両後部の１つの窓を開放するように制御する。また、たとえば、キャビン内酸素含有量が所定の閾値よりも低い場合、車両後部の２つの窓を開放するように制御する。前記開放程度は、事前に設定することができ、たとえば、窓開放の移動距離を５ｃｍに固定的に設定することができ、このようにすることによって、キャビン内の酸素含有量が必要な範囲内にあるように維持すると同時に、キャビン外の人員が遺留対象に対して害を及ぼしたり、遺留対象が窓の外に出たり、することを防止して、遺留対象の安全を確保することができる。前記開放程度は、キャビン外の環境パラメータに従って動的に設定することができ、たとえば、キャビン外の環境温度が所定の範囲外の場合、前記開放程度をより小さく設定し（たとえば、５ｃｍ）、逆の場合は、前記開放程度をより大きく設定することができる（たとえば、８ｃｍ）。このようにすることによって、キャビン外の環境の遺留対象に対する影響を軽減することができる。
【0048】
前記遺留対象の種類が生体種類である場合、前記交通手段にエアコン運行制御情報を前記交通手段のエアコンを送信して、さらに、前記エアコンの温度および／または運行モード（たとえば、冷房または暖房）を制御することができる。窓および／またはエアコンを制御することによって、キャビン内の温度が高すぎたり、酸素含有量が不足したりする確率を減らして、生体種類の遺留対象に危険が発生される確率を減らすことができる。
【0049】
１例において、遺留対象が検出された場合に、直接前記第１制御情報を送信することができ、たとえば、前記交通手段にエアコン運行制御情報を送信することによって、エアコンが生体に適切な温度／湿度制御モードで運行するようにすることができ、または、前記交通手段に窓開放制御情報を送信することによって、窓の開放程度を制御することができる。たとえば、窓を制御して、すべて開放することではなく隙間を開けて、交通手段内の空気環境を改善する同時に、車両キャビン内の生体が車両キャビン内から出たり、車両キャビンの外からの脅威を受けたりすることを避けるようにする。
【0050】
もう１例において、まず前記キャビン内の環境パラメータを検出し、前記環境パラメータが所定の範囲を超えた場合にのみ前記第１制御情報を送信することができる。たとえば、キャビン内の温度が高すぎたり、低すぎたりすることが検出された場合、前記交通手段にエアコン運行制御情報を送信することができる。キャビン内温度が適切になった後、エアコンを制御して再びオフにするようにすることができる。また、たとえば、キャビン内の酸素含有量が低すぎることが検出されたときに、前記交通手段に窓開放制御情報を送信して、窓を制御して隙間を開けるようにすることができる。
【0051】
いくつかの実施例において、前記遺留対象が検出された場合に、前記遺留対象が前記キャビン内から取り出されたか否かを確定することができる。前記遺留対象が前記キャビン内から取り出されたとして確定された場合、特定の操作を実行することができ、前記特定の操作は、前記遺留対象が前記キャビン内から取り出された時間および／または前記遺留対象を取り出した人員の身分情報を記録することと、前記キャビン内の環境パラメータを調節するための第２制御情報を前記交通手段に送信することと、予め設定された通信端末に第２通知メッセージを送信することと、の中の少なくとも１つを含む。たとえば、「２０２０年３月２２日１９:００:３５に、ＩＤがＸＸＸであるユーザがペットを取り出した」と記録することができる。その前に交通手段に前記キャビン内の環境パラメータを調節するための第１制御情報を送信した場合、前記キャビン内の環境パラメータを調節するための第２制御情報を前記交通手段に送信することができ、たとえば、前記交通手段に窓閉鎖制御情報および／またはエアコン閉鎖制御情報を送信することによって、交通手段の窓および／またはエアコンを閉鎖することができる。このようにして、交通手段のエネルギー消費を低減し、人員の手動操作を低減することができ、操作の複雑度を低減することができる。記録した情報に基づいて第２通知メッセージを生成して通信端末に送信することができ、ここで、第２通知メッセージは、取り出された遺留対象の名称、種類、取り出された時間、取り出した人員の身分情報などの中の少なくとも１つを含み得る。このようにして、遺留対象が取り出されたときに通知を迅速に送信して、誤った取り出しの可能性を減らすことができる。
【0052】
選択的に、前記乗客が前記交通手段から離れた後の所定の時間帯内の前記キャビン内の第３画像を取得するし、前記第３画像および前記参考画像に基づいて前記遺留対象が前記キャビン内から取り出されたか否かを確定することができる。具体的には、第３画像と参考画像との間の差異に基づいて、前記遺留対象が前記キャビン内から取り出されたか否かを確定することができる。第３画像には含まれているが前記参考画像には含まれていない少なくとも１つの目標対象が存在すると、取り出されなかった遺留対象が存在するとして確定する。第３画像には含まれているが前記参考画像には含まれていない少なくとも１つの目標対象が存在しないと、遺留対象がすべて取り出されたとして確定する。画像を取得することによって遺留対象が取り出されたか否かを検出し、実装が簡単で、検出コストが低い。
【0053】
選択的に、前記乗客が前記交通手段から離れた後の所定の時間帯内の前記キャビン内の第３画像を取得し、前記第３画像および前記第１画像に基づいて前記遺留対象が前記キャビン内から取り出されたか否かを確定することができる。具体的には、第３画像と第１画像との間の差異に基づいて、前記遺留対象が前記キャビン内から取り出されたか否かを確定することができる。第３画像には含まれているが前記第１画像には含まれていない少なくとも１つの目標対象が存在すると、遺留対象が取り出されたとして確定する。第３画像には含まれているが前記第１画像には含まれていない少なくとも１つの目標対象が存在しないと、遺留対象が取り出されなかったとして確定する。
【0054】
いくつかの実施例において、遺留対象が検出された場合、遺留対象の情報をデータベースに記憶することができる。前記遺留対象の情報は、遺留対象の画像、位置、種類、遺留時間、遺留対象が属している人員、遺留対象を取り出した人員などの情報の中の少なくとも１つを含み得る。データベースを構築することによって、遺留対象の情報の照会が便利である。
【0055】
上記の実施例において、画像を収集する必要がある場合に交通手段上の画像収集装置（たとえば、カメラ）を起動して画像を収集することができ、さらに、画像を収集する必要がない場合に前記画像収集装置をオフにすることができる。このようにすることによって、画像収集装置が常に作業状態にある必要がなく、エネルギー消費を削減することができる。たとえば、前記交通手段が始動されるときに、前記交通手段上の画像収集装置を起動する。または、人員が前記交通手段に入ったことが確定された場合に、前記交通手段上の画像収集装置を起動する。または、人員が前記交通手段から離れようとしていることが確定された場合、前記交通手段上の画像収集装置を起動する。また、たとえば、前記遺留対象が前記キャビン内から取り出されたか否かを検出する必要がある場合に、前記遺留対象が前記キャビン内から取り出されたとして確定された場合、前記画像収集装置をオフにする。遺留対象を検出することのみが必要であると、人員が前記交通手段から離れた場合、前記画像収集装置をオフにする。
【0056】
本発明の実施例の遺留対象検出方式は、生体だけでなく、静的物体も検出することができ、また検出正確率が高い。本発明の実施例は、自家用車、ネットワーク予約車両、または、スクールバスなどの異なるアプリケーションシナリオで使用することができ、適用範囲が広い。ここで、人員の車への乗り降りは、実際のシーンに応じて異なる方法で確定することができる。たとえば、自家用車のシナリオでは、運転手の通信端末と車両との間の通信接続の信号の強さに基づいて、運転手が車に乗ったか否かおよび車を降りたか否かを、確定することができる。ネットワーク予約車両のシナリオでは、運転手がネットワーク予約車両アプリケーションプログラム中の操作（たとえば、乗客を受けたことを確認する操作または目的地に到着したことを確認する操作）に基づいて、乗客が車に乗ったか否かおよび車を降りたか否かを、確定することができる。
【0057】
当業者は、具体的な実施形態の上記の方法において、各ステップの説明順序は、厳密な実行順序を意味して実施過程に対する制限を構成するではなく、各ステップの具体的な実行順序は、その機能および可能の内部ロジックによって決定されるべきであることを理解できる。
【0058】
図５に示したように、本発明は、遺留対象検出装置をさらに提供し、前記装置は、第１取得モジュール５０１と、第１収集モジュール５０２と、検出モジュール５０３と、備える。
【0059】
第１取得モジュール５０１は、交通手段のキャビン内に遺留対象がない場合の前記キャビン内の参考画像を取得する。
【0060】
第１収集モジュール５０２は、人員が前記交通手段から離れた場合の前記キャビン内の第１画像を収集する。
【0061】
検出モジュール５０３は、前記第１画像および参考画像に基づいて前記人員が前記交通手段から離れるときの前記キャビン内の遺留対象を検出する。
【0062】
いくつかの実施例において、前記第１取得モジュール５０１は、前記人員が前記交通手段に入る前に前記キャビン内の目標画像を収集し、ここで、前記目標画像は、前記参考画像であり、前記検出モジュールは、前記第１画像と参考画像との間の差異に基づいて、前記人員が前記交通手段から離れるときの前記キャビン内の遺留対象を検出する。
【0063】
いくつかの実施例において、前記装置は、前記人員が前記交通手段に入る場合の前記キャビン内の第２画像を収集するための第２収集モジュールと、前記第２画像と前記参考画像との間の差異に基づいて検出待ちの遺留対象を確定するための第１確定モジュールと、をさらに備える。
【0064】
いくつかの実施例において、前記第１確定モジュールは、前記第２画像および参考画像の目標対象情報をそれぞれ取得するための第１取得ユニットと、前記第２画像には含まれているが前記参考画像には含まれていない少なくとも１つの目標対象を、検出待ちの前記遺留対象として確定するための第１確定ユニットと、を備える。
【0065】
いくつかの実施例において、前記検出モジュール５０３は、前記人員が前記交通手段に入る場合の前記キャビン内の第２画像を収集するための第１収集ユニットと、前記参考画像および前記第２画像に基づいて、検出待ちの遺留対象の前記第１画像における位置を確定するための第２確定ユニットと、前記検出待ちの遺留対象の前記第１画像における位置に基づいて、前記第１画像内の検出待ちの遺留対象の中から前記遺留対象を検出するための検出ユニットと、を備える。
【0066】
いくつかの実施例において、前記第２確定ユニットは、前記参考画像および複数フレームの前記第２画像に基づいて、検出待ちの遺留対象に対して目標追跡を実行するための追跡サブユニットと、目標追跡の結果に基づいて検出待ちの遺留対象の前記第１画像における位置を確定するための確定サブユニットと、を備える。
【0067】
いくつかの実施例において、前記装置は、前記第１画像および参考画像に基づいて前記人員が前記交通手段から離れるときの前記キャビン内の遺留対象を検出する前に、遺留対象確認命令を受信するための受信モジュールと、前記遺留対象確認命令に従って前記第１画像から非遺留対象を除外するための除外モジュールと、をさらに備える。
【0068】
いくつかの実施例において、前記装置は、前記遺留対象が検出された場合に、前記遺留対象の前記キャビンにおける位置および／または前記遺留対象の種類を確定するための第２確定モジュールをさらに備える。
【0069】
いくつかの実施例において、前記装置は、前記遺留対象が検出された場合に、前記交通手段および／または予め設定された通信端末に第１通知メッセージを送信するための第１送信モジュールをさらに備える。
【0070】
いくつかの実施例において、前記装置は、前記遺留対象が検出された場合に、前記遺留対象の種類に基づいて、前記交通手段に前記キャビン内の環境パラメータを調節するための第１制御情報を送信するための第２送信モジュールをさらに備える。
【0071】
いくつかの実施例において、前記第２送信モジュールは、前記遺留対象の種類が生体種類である場合、前記交通手段に前記キャビン内の環境パラメータを調節するための第１制御情報を送信する。
【0072】
いくつかの実施例において、前記第２送信モジュールは、前記交通手段に窓開放制御情報および／またはエアコン運行制御情報を送信する。
【0073】
いくつかの実施例において、前記装置は、前記遺留対象が検出された場合に、前記遺留対象が前記キャビン内から取り出されたか否かを確定するための第３確定モジュールと、前記遺留対象が前記キャビン内から取り出されたとして確定された場合、特定の操作を実行するための実行モジュールと、をさらに備え、前記特定の操作は、前記遺留対象が前記キャビン内から取り出された時間、および／または、前記遺留対象を取り出した人員の身分情報を記録することと、前記キャビン内の環境パラメータを調節するための第２制御情報を前記交通手段に送信することと、予め設定された通信端末に第２通知メッセージを送信することと、の中の少なくとも１つを含む。
【0074】
いくつかの実施例において、前記第３確定モジュールは、前記乗客が前記交通手段から離れた後の所定の時間帯内の前記キャビン内の第３画像を取得するための第２取得ユニットと、前記第３画像および前記参考画像に基づいて前記遺留対象が前記キャビン内から取り出されたか否かを確定するための第３確定ユニットと、を備える。
【0075】
いくつかの実施例において、前記装置は、前記交通手段が始動されるときに、前記交通手段上の画像収集装置を起動するための起動モジュールをさらに備える。
【0076】
いくつかの実施例において、前記装置は、前記遺留対象が前記キャビン内から取り出されたとして確定された場合、前記画像収集装置をオフにするためのオフモジュールをさらに備える。
【0077】
本発明の実施例によって提供される装置に含まれる機能または含まれるモジュールは、上記の方法の実施例に記述された方法を実行することができ、その具体的な実装は上記の方法の実施例の記述を参照することができ、簡潔化のために、ここでは繰り返して説明しない。
【0078】
本発明の実施例は、コンピュータデバイスをさらに含み、当該コンピュータデバイスは、メモリとプロセッサとを備え。前記メモリには、コンピュータプログラムが記憶されており、前記コンピュータプログラムが前記プロセッサによって実行されると、任意の実施例に記載の方法が実現される。
【0079】
図６は、本明細書の実施例によって提供されるさらに具体的なコンピュータデバイスのハードウェア構成の模式図であり、当該デバイスは、プロセッサ６０１と、メモリ６０２と、入出力インターフェース６０３と、通信インターフェース６０４と、バス６０５と、を備え得る。ここで、プロセッサ６０１、メモリ６０２、入出力インターフェース６０３、および、通信インターフェース６０４は、バス６０５を介してデバイス内の相互の通信接続を実現する。
【0080】
プロセッサ６０１は、一般的なＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、中央処理装置）、マイクロプロセッサ、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ、ＡＳＩＣ）、または、１つまたは複数の集積回路などによって実装され得、当該プロセッサ６０１は、関連されるプログラムを実行することによって、本明細書の実施例によって提供される技術的解決策を実装する。
【0081】
メモリ６０２は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ、読み取り専用メモリ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ランダムアクセスメモリ）、静的記憶デバイス、動的記憶デバイスなどによって実装され得る。メモリ６０２は、オペレーティングシステムおよび他のアプリケーションプログラムを記憶することができる。ソフトウェアまたはファームウェアを利用して本明細書の実施例によって提供される技術的解決策を実装する場合、関連するプログラムコードはメモリ６０２に格納され、プロセッサ６０１によって呼び出して実行される。
【0082】
入出力インターフェース６０３は、入出力モジュールに接続されることによって、情報の入力と出力を実現する。入出力モジュールは、構成要素としてデバイス内に配置されてもよいし（図示せず）、デバイスに接続されて該当する機能を提供してもよい。ただし、入力デバイスは、キーボード、マウス、タッチスクリーン、マイクロフォン、様々なセンサなどを含み得、出力デバイスは、ディスプレイ、スピーカー、バイブレータ、インジケータライトなどを含み得る。
【0083】
通信インターフェース６０４は、通信モジュール（図示せず）に接続されることによって、本デバイスとその他のデバイスとの間の通信インタラクティブを実現する。ただし、通信モジュールは、有線手段（たとえばＵＳＢ、ネットワークケーブルなど）で通信を実現してもよいし、無線手段（たとえばモバイルネットワーク、ＷＩＦＩ、ブルートゥース（登録商標）など）で通信を実現してもよい。
【0084】
バス６０５は、１つの経路を含み、デバイスの各構成要素（たとえばプロセッサ６０１、メモリ６０２、入出力インターフェース６０３、および、通信インターフェース６０４）間で情報を伝送する。
【0085】
上記のデバイスに対して、プロセッサ６０１、メモリ６０２、入出力インターフェース６０３、通信インターフェース６０４、および、バス６０５のみを示したが、具体的な実施過程において、当該デバイスは正常的な運行を実現するために必要な他の構成要素をさらに含み得ることを説明する必要がある。なお、当業者は、上記のデバイスは本明細書の実施例の解決策を実現するために必要な構成要素のみを含み得、図面に示したすべての構成要素を含む必要がないことを理解すべきである。
【0086】
図７に示したように、本発明の実施例は、交通手段をさらに提供し、前記交通手段のキャビン内には、画像収集装置と、前記画像収集装置と通信可能に接続された本発明の任意の実施例に記載の遺留対象検出装置または本発明の任意の実施例に記載のコンピュータデバイスと、が設けられている。
【0087】
前記画像収集装置は、前記第１画像を取得するために使用される。前記画像収集装置は、人員がキャビン内に入ってから始めて、前記人員が前記キャビン内から離れるまで、前記キャビン内の処理待ち画像を撮影してもよいし、人員がキャビン内に入って一定の期間が過ぎた後に前記キャビン内の処理待ち画像の撮影を始めてもよい。
【0088】
いくつかの実施例において、前記画像収集装置は、前記キャビン内の上部に配置され得る。キャビン内の画像収集装置の数は、１つまたは複数であり得る。画像収集装置の数が１つである場合、当該画像収集装置を利用してキャビン全体の処理待ち画像を収集する。画像収集装置の数が１よりも大きい場合、各画像収集装置を利用してキャビン内の１つのサブエリアの処理待ち画像をそれぞれ収集する。画像収集装置の数、位置、および、キャビン内の分布は、キャビン内の形状とサイズ、および、画像収集装置の視野範囲に従って確定することができる。たとえば、図８Ａに示したように、車両のような狭くて長いエリアの場合、車両の上部（内側の上部）の中心に１つの画像収集装置を配置することができ、図８Ｂに示したように、各列の座席の上方にそれぞれ１つの画像収集装置を配置することもできる。複数の画像収集装置を配置することによって、撮影されたエリアがより全面的になるようにする。
【0089】
いくつかの実施例において、画像収集装置によって収集された第１画像に対して、フレームごとに検出することができ、もういくつかの実施例において、画像収集装置によって収集された画像のフレームレートがしばしば比較的大きいので、たとえば、毎秒数十フレームの画像が収集されるので、第１画像に対してフレームスキップ検出を実行してもよく、たとえば、撮影された１番目、３番目、５番目のフレームの第１画像のみを検出してもよい。フレームスキップステップ（すなわち、検出する隣接された画像フレーム間のフレーム番号の間隔）は、実際のシーンに応じて決定できる。たとえば、光が弱いし、検出対象がより多いし、撮影された第１画像の解像度がより低い場合、フレームスキップステップを小さく設定することができ、光が良いし、検出対象がより少ないし、撮影された第１画像の解像度がより高い場合、フレームスキップステップをより大きく設定することができる。
【0090】
画像収集装置の視野は、より大きい可能性があり、遺留対象が現れる可能性が高いエリアと、一般的に遺留対象が現れないエリアとを含む。したがって、前記第１画像で前記キャビン内の潜在的な遺留対象を検出するときに、まず前記第１画像内の関心エリアを確定してから、関心エリア内で遺留対象を検出することができる。たとえば、車のキャビンの座席に遺留対象が現れる可能性が高く、センターコンソールには一般的に遺留対象が現れないため、座席が関心エリアである。
【0091】
本明細書の実施例は、コンピュータプログラムが記憶されているコンピュータ可読記録媒体をさらに提供し、当該プログラムがプロセッサによって実行されると前述した任意の実施例に記載の方法が実現される。
【0092】
コンピュータ可読媒体は、永続的および非永続的、リムーバブルおよび非リムーバブルメディアが含み、任意の方法または技術によって情報の記憶を実現することができる。情報は、コンピュータ可読命令、データ構造、プログラムモジュール、または、その他のデータであり得る。コンピュータ記録媒体の例は、位相変化メモリ（ＰＲＡＭ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、動的ランダムアクセスメモリ（ＤＲＡＭ）、他のタイプのランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、電気的に消去可能なプログラム可能な読み取り専用メモリ（ＥＥＰＲＯＭ）、フラッシュメモリまたはその他のメモリテクノロジ、読み取り専用光ディスク読み取り専用メモリＣＤ-ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）またはその他の光ストレージ、磁気カセットテープ、磁気テープストレージまたは他の磁気記憶装置または他の非送信媒体を含むが、これらに限定されないし、計算デバイスによってアクセスされる情報を記憶することができる。本明細書の定義によると、コンピュータ可読媒体は、変調されたデータ信号や搬送波などの一時的なコンピュータ可読媒体（ｔｒａｎｓｉｔｏｒｙ ｍｅｄｉａ）を含まない。
【0093】
以上の実施形態の記述から分かるように、当業者は、本明細書の実施例がソフトウェアおよび必要な一般的なハードウェアプラットフォームによって実施され得ることを明確に了解できる。このような理解に基づいて、本明細書の実施例の技術的解決策は、本質的にソフトウェア製品の形で具体化することができるか、または、先行技術に寄与する部分がソフトウェア製品の形で具体化することができる。当該コンピュータソフトウェア製品は、ＲＯＭ／ＲＡＭ、磁気ディスク、光ディスクなどの、記録媒体に記憶されることができ、いくつかの命令を含むことによって、コンピュータデバイス（パーソナルコンピュータ、サーバ、または、ネットワークデバイスなどであり得る）が本明細書の各実施例または実施例の一部に記載の方法を実行するようにする。
【0094】
上記の実施例に示されるシステム、装置、モジュール、または、ユニットは、コンピュータチップまたはエンティティによって具体的に実装され得るか、または特定の機能を備えた製品によって実装され得る。典型的な実装デバイスは、コンピュータであり、コンピュータの具体的な形態は、パーソナルコンピュータ、ラップトップコンピュータ、携帯電話、カメラ電話、スマートフォン、パーソナルデジタルアシスタント、マルチメディアプレーヤー、ナビゲーションデバイス、電子メールの送受信デバイス、およびゲームコントロール、タブレットコンピュータ、ウェアラブルデバイス、またはこれらのデバイスのいずれかの組み合わせであり得る。
【0095】
本明細書の様々な実施例は漸進的に説明され、様々な実施例間の同じまたは類似の部分を互いに参照することができる。各実施例は、他の実施例との違いに焦点を合わせている。特に、装置の実施例については、基本的に方法の実施例と同様であるため、説明が比較的簡単であり、関連部分については、方法の実施例の説明の一部を参照されたい。上記の装置の実施例は、単に模式的なものである。前記の分離された部品として説明されたモジュールは、物理的に分離されてもされなくてもよく、本明細書の実施例の解決策を実施するときに、各モジュールの機能を１つまたは複数のソフトウェアおよび／またはハードウェアで実装され得る。また、実際の必要によってその中の一部またはすべてのモジュールを選択して本実施例の解決策の目的を実現することができる。当業者は、創造的な作業なしで理解し、実施することができる。
【図1】
【図2A】
【図2B】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8A】
【図8B】
