特許 7543677 所有物離脱防止装置、及び所有物離脱防止プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-26

(45)【発行日】2024-09-03

(54)【発明の名称】所有物離脱防止装置、及び所有物離脱防止プログラム

(51)【国際特許分類】

   G08B 21/24 20060101AFI20240827BHJP

   H04N 7/18 20060101ALI20240827BHJP

【ＦＩ】

G08B21/24

H04N7/18 D

【請求項の数】 7

(21)【出願番号】P 2020061085

(22)【出願日】2020-03-30

(65)【公開番号】P2021162904

(43)【公開日】2021-10-11

【審査請求日】2022-11-07

(73)【特許権者】

【識別番号】000004260

【氏名又は名称】株式会社デンソー

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(72)【発明者】

【氏名】佐川 美也子

【審査官】吉村 伊佐雄

(56)【参考文献】

【文献】特開２０１５－０２３４５９（ＪＰ，Ａ）

【文献】特開２０２０－００４２５２（ＪＰ，Ａ）

【文献】特開２００１－２８５８４２（ＪＰ，Ａ）

【文献】特開２００８－２６２４５９（ＪＰ，Ａ）

【文献】特許第６５１６９４３（ＪＰ，Ｂ１）

【文献】米国特許出願公開第２０１９／０２５１３７６（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｑ１０／００－１０／１０

３０／００－３０／０８

５０／００－５０／２０

５０／２６－９９／００

Ｇ０６Ｔ７／００－７／９０

Ｇ０６Ｖ１０／００－２０／９０

３０／４１８

４０／１６

４０／２０

Ｇ０８Ｂ１９／００－３１／００

Ｇ１６Ｚ９９／００

Ｈ０４Ｎ７／１８

(57)【特許請求の範囲】

【請求項1】

第１検出部（１０２）と、登録部（１０３）と、追跡部（１０４）と、第２検出部（１０５）と、距離算出部（１０６）と、危険度算出部（１０７）と、警告部（１０８）と、を含み、
前記第１検出部は、取得した車両内部の情報から、人と物体とを検出し、
前記登録部は、検出した物体の各々について、検出した人のうち、前記物体に最初に最も近い人を前記物体の所有者として登録し、
前記追跡部は、所定のタイミングで、検出された人の各々と、検出された物体の各々との前記車両内部の位置を追跡し、
前記第２検出部は、検出した物体の各々について、前記物体の所有者から前記物体の方向と、前記物体の所有者の顔の向きとのなす角を検出し、
前記距離算出部は、前記検出した物体の各々について、前記物体と、前記物体の所有者との距離を算出し、
前記危険度算出部は、前記検出した物体の各々について、前記物体が所有者の支配範囲から離脱する危険度を示す離脱危険度であって、前記なす角を入力した場合に、所有者の顔の向きが所有物の方向を向く頻度を出力する頻度関数の値が低くなるほど大きくなり、かつ、前記距離が遠くなるほど大きくなる前記離脱危険度を算出し、
前記警告部は、前記検出した物体のうち、前記離脱危険度が所定の第１閾値よりも大きい物体がある場合、前記車両内部に注意喚起を行う
所有物離脱防止装置。

【請求項2】

前記危険度算出部は、さらに、前記所有者が最後に前記物体の方向を向いてから現在までの時間が大きくなるほど大きくなる前記離脱危険度を算出する
請求項１記載の所有物離脱防止装置。

【請求項3】

前記危険度算出部は、さらに、前記所有者が最後に前記物体の方向を向いてから現在までの時間である第１時間と、前記物体が検出されてから現在までの時間である第２時間とに基づいて、前記第２時間のうち前記第１時間の割合が高くなるほど大きくなる前記離脱危険度を算出する
請求項１記載の所有物離脱防止装置。

【請求項4】

前記警告部は、前記検出した物体のうち、前記離脱危険度が前記第１閾値よりも大きい物体があり、かつ、前記車両の出口が開放されている場合、前記車両内部に警告を行う
請求項１～請求項３の何れか１項記載の所有物離脱防止装置。

【請求項5】

前記距離算出部は、前記検出した物体の各々について、前記物体の所有者と、前記車両の出入口との距離である第２距離を算出し、
前記危険度算出部は、前記検出した物体の各々について、前記第２距離に基づいて、前記物体の前記離脱危険度に対して重み付けをする
請求項１～請求項４の何れか１項記載の所有物離脱防止装置。

【請求項6】

前記警告部は、前記検出した物体のうち、前記危険度算出部により重み付けされた前記離脱危険度が前記第１閾値より大きい第２閾値よりも大きい物体があり、かつ、前記車両の出口が開放されている場合、前記車両内部及び車両外部に警告を行う
請求項５記載の所有物離脱防止装置。

【請求項7】

第１検出部が、取得した車両内部の情報から、人と物体とを検出し、
登録部が、検出した物体の各々について、検出した人のうち、前記物体に最初に最も近い人を前記物体の所有者として登録し、
追跡部が、所定のタイミングで、検出された人の各々と、検出された物体の各々との前記車両内部の位置を追跡し、
第２検出部が、検出した物体の各々について、前記物体の所有者から前記物体の方向と、前記物体の所有者の顔の向きとのなす角を検出し、
距離算出部が、前記検出した物体の各々について、前記物体と、前記物体の所有者との距離を算出し、
危険度算出部が、前記検出した物体の各々について、前記物体が所有者の支配範囲から離脱する危険度を示す離脱危険度であって、前記なす角を入力した場合に、所有者の顔の向きが所有物の方向を向く頻度を出力する頻度関数の値が低くなるほど大きくなり、かつ、前記距離が遠くなるほど大きくなる前記離脱危険度を算出し、
警告部が、前記検出した物体のうち、前記離脱危険度が所定の第１閾値よりも大きい物体がある場合、前記車両内部に注意喚起を行う
ことを含む処理をコンピュータに実行させるための所有物離脱防止プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、所有物離脱防止装置、及び所有物離脱防止プログラムに関する。

【背景技術】

【0002】

バス等の人を運ぶ車両において、人が所有物を忘れる場合がある。乗務員がいるバスでは、通常乗務員が忘れ物を注意したり、運行終了後に預かっておいたりする。従来から、このような忘れ物に対して、注意喚起や忘れ物を検知する研究がなされている（例えば、特許文献１～３）。

【0003】

特許文献１では、乗客の降車後画像と基準画像とを比較して、忘れ物を乗務員又は乗客に通知する。特許文献２では、乗客の降車後画像と基準画像を比較してリストに登録されている物品が検出された場合に忘れ物として所有者に通知する。特許文献３では、赤外線画像を使って、降車後画像と基準画像を比較して忘れ物を乗務員に通知する。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２００６－３３８５３５号公報

【文献】特開２０１２－１２３４９１号公報

【文献】特開２０１５－０４１３４４号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかし、上記特許文献１～３の手法では、バス等の乗り合い車両においては乗客が入れ替わり乗降するため、忘れ物をした乗客の降車時に他の乗客が車内に存在し空車状態でない場合、基準画像との比較は困難である。このため、忘れ物を検知及び判断するためには、車両が空車になる必要がある、という問題があった。

【0006】

本開示は上記の点に鑑みてなされたものであり、車両が空車にならずとも、忘れ物を検知することができる所有物離脱防止装置、及び所有物離脱防止プログラムを提供することを目的とする。

【課題を解決するための手段】

【0007】

本開示に係る所有物離脱防止装置は、第１検出部と、登録部と、追跡部と、第２検出部と、距離算出部と、危険度算出部と、警告部と、を含み、前記第１検出部は、取得した車両内部の情報から、人と物体とを検出し、前記登録部は、検出した物体の各々について、検出した人のうち、前記物体に最初に最も近い人を前記物体の所有者として登録し、前記追跡部は、所定のタイミングで、検出された人の各々と、検出された物体の各々との前記車両内部の位置を追跡し、前記第２検出部は、検出した物体の各々について、前記物体の所有者から前記物体の方向と、前記物体の所有者の顔の向きとのなす角を検出し、前記距離算出部は、前記検出した物体の各々について、前記物体と、前記物体の所有者との距離を算出し、前記危険度算出部は、前記検出した物体の各々について、前記物体が所有者の支配範囲から離脱する危険度を示す離脱危険度であって、前記なす角を入力した場合に、所有者の顔の向きが所有物の方向を向く頻度を出力する頻度関数の値が低くなるほど大きくなり、かつ、前記距離が遠くなるほど大きくなる前記離脱危険度を算出し、前記警告部は、前記検出した物体のうち、前記離脱危険度が所定の第１閾値よりも大きい物体がある場合、前記車両内部に注意喚起を行う。

【0008】

また、本開示に係る所有物離脱防止プログラムは、第１検出部が、取得した車両内部の情報から、人と物体とを検出し、登録部が、検出した物体の各々について、検出した人のうち、前記物体に最初に最も近い人を前記物体の所有者として登録し、追跡部が、所定のタイミングで、検出された人の各々と、検出された物体の各々との前記車両内部の位置を追跡し、第２検出部が、検出した物体の各々について、前記物体の所有者から前記物体の方向と、前記物体の所有者の顔の向きとのなす角を検出し、距離算出部が、前記検出した物体の各々について、前記物体と、前記物体の所有者との距離を算出し、危険度算出部が、前記検出した物体の各々について、前記物体が所有者の支配範囲から離脱する危険度を示す離脱危険度であって、前記なす角を入力した場合に、所有者の顔の向きが所有物の方向を向く頻度を出力する頻度関数の値が低くなるほど大きくなり、かつ、前記距離が遠くなるほど大きくなる前記離脱危険度を算出し、警告部が、前記検出した物体のうち、前記離脱危険度が所定の第１閾値よりも大きい物体がある場合、前記車両内部に注意喚起を行うことを含む処理をコンピュータに実行させるためのプログラムである。

【0009】

本開示に係る所有物離脱防止装置、及び所有物離脱防止プログラムによれば、第１検出部が、取得した車両内部の情報から、人と物体とを検出し、登録部が、検出した物体の各々について、検出した人のうち、当該物体に最初に最も近い人を当該物体の所有者として登録し、追跡部が、所定のタイミングで、検出された人の各々と、検出された物体の各々との車両内部の位置を追跡する。

【0010】

そして、第２検出部が、検出した物体の各々について、当該物体の所有者から当該物体の方向と、当該物体の所有者の顔の向きとのなす角を検出し、距離算出部が、検出した物体の各々について、当該物体と、当該物体の所有者との距離を算出し、危険度算出部が、検出した物体の各々について、なす角と、距離とに基づいて、物体が所有者の支配範囲から離脱する危険度を示す離脱危険度を算出し、警告部が、前記検出した物体のうち、前記離脱危険度が所定の第１閾値よりも大きい物体がある場合、前記車両内部に注意喚起を行う。

【0011】

このように、車両内部の情報から検出した物体の各々について、当該物体の所有者から当該物体の方向と当該物体の所有者の顔の向きとのなす角と、当該物体と当該物体に最初に最も近い人である所有者との距離とに基づいて、当該物体が所有者の支配範囲から離脱する危険度を示す離脱危険度を算出し、離脱危険度が所定の第１閾値よりも大きい物体がある場合、車両内部に注意喚起を行うことにより、車両が空車にならずとも、忘れ物を検知することができる。

【発明の効果】

【0012】

本開示の所有物離脱防止装置、及び所有物離脱防止プログラムによれば、車両が空車にならずとも、忘れ物を検知することができる。

【図面の簡単な説明】

【0013】

【図1】所有物離脱防止装置のハードウェア構成を示すブロック図である。

【図2】所有物離脱防止装置の機能構成を示すブロック図である。

【図3】物体の所有者から当該物体の方向と、当該物体の所有者の顔の向きとのなす角の一例を示す図である。

【図4】頻度関数の一例を示す図である。

【図5】車内監視処理ルーチンを示すフローチャートである。

【発明を実施するための形態】

【0014】

以下、本開示の実施形態について図面を用いて説明する。
＜所有物離脱防止装置の構成＞
所有物離脱防止装置は、バスやタクシー等の車両に搭載される。図１は、本実施形態に係る所有物離脱防止装置１０のハードウェア構成を示すブロック図である。図１に示すように、所有物離脱防止装置１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３、ストレージ１４、入力部１５、表示部１６及び通信インターフェース（Ｉ／Ｆ）１７を有する。各構成は、バス１９を介して相互に通信可能に接続されている。また、所有物離脱防止装置１０は、カメラ２０と接続されている。

【0015】

カメラ２０は、車両内部を撮影するカメラである。車両内部を漏れなく撮影するために、カメラ２０は複数台用意してもよい。本実施形態では、説明を明確にするため、カメラ２０が一台の場合を例に説明する。

【0016】

ＣＰＵ１１は、中央演算処理ユニットであり、各種プログラムを実行したり、各部を制御したりする。すなわち、ＣＰＵ１１は、ＲＯＭ１２又はストレージ１４からプログラムを読み出し、ＲＡＭ１３を作業領域としてプログラムを実行する。ＣＰＵ１１は、ＲＯＭ１２又はストレージ１４に記憶されているプログラムに従って、上記各構成の制御及び各種の演算処理を行う。本実施形態では、ＲＯＭ１２又はストレージ１４には、車内監視処理を実行するための所有物離脱防止プログラムが記憶されている。

【0017】

ＲＯＭ１２は、各種プログラム及び各種データを記憶する。ＲＡＭ１３は、作業領域として一時的にプログラム又はデータを記憶する。ストレージ１４は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）又はＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）により構成され、オペレーティングシステムを含む各種プログラム、及び各種データを記憶する。

【0018】

入力部１５は、マウス等のポインティングデバイス、キーボード、及び音声入力デバイスを含み、各種の入力を行うために使用される。表示部１６は、例えば、液晶ディスプレイ又はスピーカーであり、各種の情報を表示又は再生する。表示部１６は、タッチパネル方式を採用して、入力部１５として機能しても良い。

【0019】

通信インターフェース１７は、他の機器と通信するためのインターフェースであり、例えば、イーサネット（登録商標）、ＦＤＤＩ、ＬＴＥ、５Ｇ、Ｗｉ－Ｆｉ（登録商標）等の規格が用いられる。通信インターフェース１７は、無線通信を行う場合、図示しないアンテナと接続される。

【0020】

図２は、本実施形態に係る所有物離脱防止装置１０の機能構成を示すブロック図である。図２に示すように、本実施形態に係る所有物離脱防止装置１０は、取得部１０１と、第１検出部１０２と、登録部１０３と、追跡部１０４と、第２検出部１０５と、距離算出部１０６と、危険度算出部１０７と、警告部１０８と、通信部１０９とを備えて構成される。

【0021】

取得部１０１は、カメラ２０から、車両内部の情報を取得する。そして、取得部１０１は、取得した情報を、第１検出部１０２に渡す。

【0022】

第１検出部１０２は、取得した車両内部の情報から、人と物体とを検出する。

【0023】

具体的には、第１検出部１０２は、本実施形態では、車両内部の情報は画像であるので、画像に対し画像認識処理を行い、車両内部の人と物体とを検出する。このとき、第１検出部１０２は、検出した人及び物体の各々の位置情報も検出する。

【0024】

そして、第１検出部１０２は、検出した車両内部の人と物体と、位置情報を、登録部１０３、追跡部１０４、第２検出部１０５、及び距離算出部１０６に渡す。

【0025】

登録部１０３は、検出した物体の各々について、検出した人のうち、当該物体に最初に最も近い人を物体の所有者として登録する。

【0026】

具体的には、登録部１０３は、まず、第１検出部１０２により検出された人及び物が、初回検出か否かを判定する。登録部１０３は、初回検出時である人及び物のそれぞれに、識別ＩＤを付与する。次に、登録部１０３は、検出した物体の各々について、人及び物位置情報を用いて、初回検出時である当該物体に最も近い、又は当該物体を把持等により接触している人を、当該物体の所有者とする。

【0027】

このとき、登録部１０３は、当該物体に当該所有者情報（当該人の識別ＩＤ）を付与することにより、当該物体と所有者とを紐づけて登録する。なお、登録部１０３は、車両が運行開始から運行終了までの間に、物体又は人が第１検出部１０２により検出されない、又は追跡部１０４により消滅したと判断されるまで、当該物体又は当該人の情報を保持しておく。また、登録部１０３は、物体又は人が第１検出部１０２により検出されない、又は追跡部１０４により消滅したと判断された場合、当該物体又は当該人の情報を破棄する。

【0028】

追跡部１０４は、所定のタイミングで、検出された人の各々と、検出された物体の各々との車両内部の位置を追跡する。

【0029】

具体的には、追跡部１０４は、任意の追跡（トラッキング）手法により、検出された人の各々と、検出された物体の各々とが、車両内部のどこにいるか、位置を追跡する例えば、前のタイミングによる車両内部の情報と、現在のタイミングによる車両内部の情報とを比較して追跡する方法がる。

【0030】

そして、追跡部１０４は、追跡結果を第２検出部１０５に渡す。

【0031】

第２検出部１０５は、検出した物体の各々について、当該物体の所有者から当該物体の方向と、当該物体の所有者の顔の向きとのなす角を検出する。

【0032】

具体的には、第２検出部１０５は、まず、車両内部の情報に基づいて、検出した物体の各々の所有者の顔の向きを検出する。例えば、公知の顔認識技術を用いることにより、検出すればよい。

【0033】

次に、第２検出部１０５は、検出した物体の各々について、当該物体の所有者から当該物体の方向と、当該物体の所有者の顔の向きとのなす角を検出する。図３は、物体の所有者から当該物体の方向と、当該物体の所有者の顔の向きとのなす角の一例を示す図である。図３に示すように、第２検出部１０５は、物体ａの所有者から当該物体の方向を基準として、当該所有者の顔の向きとのなす角θ_ａを求める。なお、顔の向きを基準として求めてもよい。

【0034】

そして、第２検出部１０５は、検出した物体の各々について、当該物体のなす角θ_ａを危険度算出部１０７に渡す。

【0035】

距離算出部１０６は、検出した物体の各々について、当該物体と、当該物体の所有者との距離を算出する。具体的には、距離算出部１０６は、第１検出部１０２により検出された物体及び人の位置情報を用いて、検出した物体の各々について、当該物体と当該物体の所有者との距離ｒを算出する。

【0036】

そして、距離算出部１０６は、検出した物体の各々について算出した距離ｒを、危険度算出部１０７に渡す。

【0037】

危険度算出部１０７は、検出した物体の各々について、なす角θ_ａと、距離ｒとに基づいて、物体ａが所有者の支配範囲から離脱する危険度を示す離脱危険度Ａ_ａを算出する。

【0038】

具体的には、危険度算出部１０７は、距離ｒと、なす角θ_ａを用いて物体の所有者が物体を見る頻度を表す頻度関数ｆとを用いて、離脱危険度Ａ_ａを算出する。頻度関数ｆは、なす角θ_ａを入力した場合に、所有者の顔の向きが所有物の方向を向いた頻度を出力する関数である。図４は、頻度関数の一例を示す図である。図４に示すように、頻度関数ｆは、なす角θ_ａを入力した際に、頻度を確率として表す確率密度関数として表現することができる。これは、なす角θ_ａが所定の範囲内である場合に、当該物体の所有者が、当該物体を見たと判断することができることによる。この範囲は、例えば±５度程度である。なす角θ_ａが±５度に近ければ近いほど、所有者が物体を見る頻度が高いと考えられる。なお、危険度算出部１０７は、このような確率密度関数を予め定義、又は実験データにより学習して、準備しておく。

【0039】

離脱危険度Ａ_ａは、大きな値となるほど、物体ａが忘れ物となる危険度が増す事を表す。離脱危険度Ａ_ａは、所有者と物体ａとの距離ｒが遠くなるほど大きくなるという性質（性質１）を持つ。また、離脱危険度Ａ_ａは、所有者が物体ａの方向を向く頻度が低くなるほど大きくなるという性質（性質２）を持つ。例えば、離脱危険度Ａ_ａは、下記式（１）を用いて表すことができる。

【0040】

【数1】

【0041】

ここで、上記式（１）において、距離ｒの２乗としている理由は、性質１を表すためであり、これに限定されるものではない。性質１を満たすような表現であれば何でもよい。また、上記式（１）において、頻度関数ｆの逆数を取る理由は、上記性質２を表すためである。

【0042】

＜＜他の離脱危険度算出方法１＞＞
また、危険度算出部１０７は、なす角θ_ａと、距離ｒと、所有者が最後に物体ａの方向を向いてから現在までの時間ｔとに基づいて、離脱危険度Ａ_ａを算出する構成とすることもできる。この場合、ｔが大きくなるほど、離脱危険度Ａ_ａも大きくなるという性質（性質３）を持つこととなる。この場合、危険度算出部１０７は、例えば下記式（２）を用いて離脱危険度Ａ_ａを算出すればよい。

【0043】

【数2】

【0044】

なお、ｔの開始時期は、なす角θ_ａが所定の範囲（例えば±５度）外となった時刻とすればよい。また、なす角θ_ａが範囲内にある場合には、上記式（１）を用いればよい（また、上記式（２）においてｔ＝１とすればよい）。

【0045】

＜＜他の離脱危険度算出方法１＞＞
また、危険度算出部１０７は、なす角θ_ａと、距離ｒと、所有者が物体ａの方向を向いてから現在までの時間である第１時間ｔと、物体ａが第１検出部１０２により検出されてから現在までの時間である第２時間Ｔとに基づいて、離脱危険度Ａ_ａを算出する構成とすることもできる。

【0046】

物ａが最初に検出されてから現在までの第２時間Ｔのうち、直近でどれくらい所有者が物ａを見てないかを表す第１時間ｔの割合を使うこととなる。この割合が高ければ、物ａが忘れ物となる可能性が高いと判断することができる。この場合、危険度算出部１０７は、例えば下記式（３）を用いて離脱危険度Ａ_ａを算出すればよい。

【0047】

【数3】

【0048】

そして、危険度算出部１０７は、算出した危険度Ａ_ａを、警告部１０８に渡す。

【0049】

警告部１０８は、検出した物体のうち、離脱危険度が所定の第１閾値よりも大きい物体がある場合、車両内部に注意喚起を行う。

【0050】

具体的には、警告部１０８は、検出した物体の各々について、算出した当該物体の離脱危険度Ａ_ａが第１閾値よりも大きいか否かを判定する。離脱危険度Ａ_ａが第１閾値よりも大きい物体がある場合、車両内部に注意喚起を行う。注意喚起を行う方法としては、忘れ物に注意すべきメッセージの表示、音声出力等の方法を採用することができる。

【0051】

また、警告部１０８は、検出した物体のうち、離脱危険度が所定の第１閾値よりも大きい物体があり、かつ、車両の出口が開放されている場合、車両内部に警告を行う。

【0052】

具体的には、警告部１０８は、離脱危険度Ａ_ａが第１閾値よりも大きい物体がある場合において、車両の出口が解放されているか否かを判定する。車両の出口の開放の有無は、車両のドア制御装置等から情報を取得することができるようにしておく。車両の出口が解放されている場合には、車両内部に対して、警告（アラート）を行う。警告は、忘れ物があることを示唆するメッセージの表示、音声出力、照明の変更等の手法を用いることができる。

【0053】

なお、注意喚起を行う場合は、警告を行う場合よりも低い離脱危険度で行いたい場合がある。そこで、警告の場合、（１）距離ｒが予め定めた距離閾値よりも大きい場合に警告する、（２）離脱危険度が、第１閾値より大きい閾値よりも大きい場合に警告する、という手法を採用することができる。特に、（１）の場合、距離ｒが大きければ、忘れ物をしたという蓋然性が高いため、有用である。また、（１）又は（２）を満たす場合、所有者が車外へ出たことが想定される。この場合に、車両外部にも警告を行う。

【0054】

また、警告部１０８は、警告後に、警告対象の物体が車両内部にある場合、当該物体の情報及び当該物体の所有者の情報を、通信部１０９に渡す。

【0055】

また、警告部１０８は、離脱危険度が第１閾値よりも高い物体がある場合、当該物体の情報を、通信部１０９に渡す。

【0056】

通信部１０９は、物体の情報及び当該物体の所有者の情報を、図示しない運行監視センタに、ネットワークを介して送信する。運行監視センタには、遠隔ＯＰ（オペレータ）がいる。すなわち、通信部１０９は、遠隔ＯＰに、忘れ物があったことを通知するのである。

【0057】

通信部１０９は、離脱危険度が第１閾値よりも高い物体がある場合、当該物体の存在する旨を、運行監視センタに送信する。なお、通信部１０９は、当該物体の存在する旨を、運行終了後に送信する構成としてもよい。

【0058】

＜所有物離脱防止装置の作用＞
図５は、本開示の第１実施形態に係る所有物離脱防止装置１０の所有物離脱防止処理ルーチンを示すフローチャートである。処理の開始のタイミングは、例えば運行開始である。

【0059】

ステップＳ１０１において、取得部１０１は、カメラ２０から、車両内部の情報を取得する。

【0060】

ステップＳ１０２において、第１検出部１０２は、取得した車両内部の情報から、人と物体とを検出する。

【0061】

ステップＳ１０３において、登録部１０３は、検出した物体の各々について、検出した人のうち、当該物体に最初に最も近い人を物体の所有者として登録する。

【0062】

ステップＳ１０４において、追跡部１０４は、所定のタイミングで、検出された人の各々と、検出された物体の各々との車両内部の位置を追跡する。

【0063】

ステップＳ１０５において、第２検出部１０５は、検出した物体の各々について、当該物体の所有者から当該物体の方向と、当該物体の所有者の顔の向きとのなす角を検出する。

【0064】

ステップＳ１０６において、距離算出部１０６は、検出した物体の各々について、当該物体と、当該物体の所有者との距離を算出する。

【0065】

ステップＳ１０７において、危険度算出部１０７は、検出した物体の各々について、なす角θ_ａと、距離ｒとに基づいて、物体ａが所有者の支配範囲から離脱する危険度を示す離脱危険度Ａ_ａを算出する。

【0066】

ステップＳ１０８において、警告部１０８は、検出した物体の各々について、算出した当該物体の離脱危険度Ａ_ａが第１閾値よりも大きいか否かを判定する。

【0067】

離脱危険度Ａ_ａが第１閾値よりも大きい物体がない場合（上記ステップＳ１０８のＮＯ）、ステップＳ１０１に戻る。

【0068】

一方、離脱危険度Ａ_ａが第１閾値よりも大きい物体がある場合（上記ステップＳ１０８のＹＥＳ）、ステップＳ１０９において、警告部１０８は、車両内部に注意喚起を行う。

【0069】

ステップＳ１１０において、警告部１０８は、車両の出口が解放されており、かつ、距離ｒが予め定めた距離閾値よりも大きいか否かを判定する。

【0070】

上記ステップＳ１１０の条件を満たさない場合（上記ステップＳ１１０のＮＯ）、ステップＳ１０１に戻る。

【0071】

上記ステップＳ１１０の条件を満たす場合（上記ステップＳ１１０のＹＥＳ）、ステップＳ１１１において、警告部１０８は、車両内部に対して、警告を行う。

【0072】

ステップＳ１１２において、警告部１０８は、運行終了したか否かを判定する。

【0073】

運行終了でない場合（上記ステップＳ１１２のＮＯ）、ステップＳ１０１に戻る。ステップＳ１０１に戻るタイミングでは、次の時点での画像が入力されることとなる。

【0074】

一方、運行終了である場合（上記ステップＳ１１２のＹＥＳ）、処理を終了する。

【0075】

なお、忘れ物がある場合、通信部１０９は、物体の情報及び当該物体の所有者の情報を、図示しない運行監視センタに、ネットワークを介して送信する。

【0076】

以上説明したように、本開示の実施形態に係る所有物離脱防止装置によれば、車両内部の情報から検出した物体の各々について、当該物体の所有者から当該物体の方向と当該物体の所有者の顔の向きとのなす角と、当該物体と当該物体に最初に最も近い人である所有者との距離とに基づいて、当該物体が所有者の支配範囲から離脱する危険度を示す離脱危険度を算出し、離脱危険度が所定の第１閾値よりも大きい物体がある場合、車両内部に注意喚起を行うことにより、車両が空車にならずとも、忘れ物を検知することができる。

【0077】

また、注意喚起を行うことから、忘れ物を防止することができる。特に、スマートフォン等の小物については、所有者が顔を向ける頻度が高い。このため、本開示の実施形態に係る所有物離脱防止装置では、特に小物の忘れ物を防止する効果が高い。

【0078】

＜変形例＞
次に、上記実施形態の変形例について説明する。出入口近くの物体の所有者は、警告する時には既に車両の外に出てしまっている場合が想定する。本変形例では、この場合、予め出入口付近に所有者がいる物体について、予め離脱危険度を上げておくこととする。なお、上記実施形態と同一の構成については、同一の符号を付して説明を省略する。

【0079】

距離算出部１０６は、検出した物体の各々について、当該物体の所有者と、当該車両の出入口との距離である第２距離ｒ_２を算出する。

【0080】

危険度算出部１０７は、検出した物体の各々について、第２距離ｒ_２に基づいて、当該物体の離脱危険度Ａ_ａに対して重み付けをする。具体的には、第２距離ｒ_２が短ければ短いほど、離脱危険度Ａ_ａが大きくなるように重み付けを行う。

【0081】

警告部１０８は、検出した物体のうち、危険度算出部１０７により重み付けされた離脱危険度Ａ_ａが第２閾値よりも大きい物体があり、かつ、車両の出口が開放されている場合、車両内部及び車両外部に警告を行う。第２閾値は、第１閾値より大きい値である。

【0082】

離脱危険度Ａ_ａが第２閾値よりも大きい場合、車両内部及び車両外部に警告を行うことにより、出入口付近の所有者が車両外部に出た場合でも、車両が空車にならずとも、忘れ物を検知することができる。

【0083】

なお、本開示は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。

【0084】

上記実施形態では、カメラが画像を撮影する場合を例に説明したが、これに限定されるものではない。物と人とを検知することができるセンサであれば、カメラの代わりに、ＬｉＤＡＲ等の他のセンサを用いることも可能である。この場合、取得部は、センサから、センサに応じたセンサ情報を取得すればよい。

【0085】

また、上記実施形態では、所有物離脱防止装置が、バスやタクシー等の車両に搭載される場合を例に説明したが、これに限定されるものではない。所有物離脱防止装置を車外に設置してもよい。この場合、車両内部の情報を、通信を介して所有物離脱防止装置に送信する構成とすればよい。また、この場合、所有物離脱防止装置が注意喚起又は警告すべきことを、車両に搭載された車載器に送信する。そして、車載器の出力部が、注意喚起又は警告をアナウンス等すればよい。

【0086】

なお、注意喚起アナウンスを行う場合、物体検知などの処理の周期を短くしても良い。また、カメラ映像を運行監視センタにリアルタイム配信する構成としても良い。

【0087】

また、上記実施形態では、忘れ物の対象を物体としたが、画像認識により子供（乳児～１２歳程度）を対象としてもよい。この場合、所有者を保護者として扱い、迷子・置き去り防止に応用することもできる。所有者の更新をしないようにすることで、連れ去りの早期発見に寄与することも可能である。

【0088】

なお、上記実施形態でＣＰＵがソフトウェア（プログラム）を読み込んで実行したプログラムを、ＣＰＵ以外の各種のプロセッサが実行してもよい。この場合のプロセッサとしては、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の製造後に回路構成を変更可能なＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、及びＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が例示される。また、上記各プログラムを、これらの各種のプロセッサのうちの１つで実行してもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡ、及びＣＰＵとＦＰＧＡとの組み合わせ等）で実行してもよい。また、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。

【0089】

また、上記各実施形態では、プログラムがＲＯＭ１２又はストレージ１４に予め記憶（インストール）されている態様を説明したが、これに限定されない。プログラムは、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ－ＲＯＭ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、及びＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリ等の非一時的（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ）記憶媒体に記憶された形態で提供されてもよい。また、上記各プログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。

【0090】

以上の実施形態に関し、更に以下の付記を開示する。
（付記項１）
車両に搭載された所有物離脱防止装置であって、
メモリと、
前記メモリに接続された少なくとも１つのプロセッサと、
を含み、
前記プロセッサは、
取得した車両内部の情報から、人と物体とを検出し、
検出した物体の各々について、検出した人のうち、前記物体に最初に最も近い人を前記物体の所有者として登録し、
所定のタイミングで、検出された人の各々と、検出された物体の各々との前記車両内部の位置を追跡し、
検出した物体の各々について、前記物体の所有者から前記物体の方向と、前記物体の所有者の顔の向きとのなす角を検出し、
前記検出した物体の各々について、前記物体と、前記物体の所有者との距離を算出し、
前記検出した物体の各々について、前記物体が所有者の支配範囲から離脱する危険度を示す離脱危険度であって、前記なす角を入力した場合に、所有者の顔の向きが所有物の方向を向く頻度を出力する頻度関数の値が低くなるほど大きくなり、かつ、前記距離が遠くなるほど大きくなる前記離脱危険度を算出し、
前記検出した物体のうち、前記離脱危険度が所定の第１閾値よりも大きい物体がある場合、前記車両内部に注意喚起を行う
ように構成されている所有物離脱防止装置。

【0091】

（付記項２）
取得した車両内部の情報から、人と物体とを検出し、
検出した物体の各々について、検出した人のうち、前記物体に最初に最も近い人を前記物体の所有者として登録し、
所定のタイミングで、検出された人の各々と、検出された物体の各々との前記車両内部の位置を追跡し、
検出した物体の各々について、前記物体の所有者から前記物体の方向と、前記物体の所有者の顔の向きとのなす角を検出し、
前記検出した物体の各々について、前記物体と、前記物体の所有者との距離を算出し、
前記検出した物体の各々について、前記物体が所有者の支配範囲から離脱する危険度を示す離脱危険度であって、前記なす角を入力した場合に、所有者の顔の向きが所有物の方向を向く頻度を出力する頻度関数の値が低くなるほど大きくなり、かつ、前記距離が遠くなるほど大きくなる前記離脱危険度を算出し、
前記検出した物体のうち、前記離脱危険度が所定の第１閾値よりも大きい物体がある場合、前記車両内部に注意喚起を行う
ことをコンピュータに実行させる所有物離脱防止プログラムを記憶した非一時的記憶媒体。

【符号の説明】

【0092】

１０ 所有物離脱防止装置
１１ ＣＰＵ
１２ ＲＯＭ
１３ ＲＡＭ
１４ ストレージ
１５ 入力部
１６ 表示部
１７ 通信インターフェース
１９ バス
２０ カメラ
１０１ 取得部
１０２ 第１検出部
１０３ 登録部
１０４ 追跡部
１０５ 第２検出部
１０６ 距離算出部
１０７ 危険度算出部
１０８ 警告部
１０９ 通信部

【図1】

【図2】

【図3】

【図4】

【図5】