特開 2024-171715 情報処理装置及び情報処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024171715

(43)【公開日】2024-12-12

(54)【発明の名称】情報処理装置及び情報処理方法

(51)【国際特許分類】

   G06V 10/22 20220101AFI20241205BHJP

   G06T 7/00 20170101ALI20241205BHJP

   G06V 20/59 20220101ALI20241205BHJP

   G06T 7/174 20170101ALI20241205BHJP

【ＦＩ】

G06V10/22

G06T7/00 650Z

G06T7/00 660Z

G06V20/59

G06T7/174

【審査請求】未請求

【請求項の数】14

【出願形態】ＯＬ

(21)【出願番号】P 2023088873

(22)【出願日】2023-05-30

(71)【出願人】

【識別番号】000003997

【氏名又は名称】日産自動車株式会社

(74)【代理人】

【識別番号】100083806

【弁理士】

【氏名又は名称】三好 秀和

(74)【代理人】

【識別番号】100111235

【弁理士】

【氏名又は名称】原 裕子

(74)【代理人】

【識別番号】100170575

【弁理士】

【氏名又は名称】森 太士

(72)【発明者】

【氏名】中島 祐樹

(72)【発明者】

【氏名】魚住 哲生

(72)【発明者】

【氏名】兼松 春奈

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096BA04

5L096DA03

5L096EA37

5L096FA02

5L096FA69

(57)【要約】

【課題】車両内に変化があったか否かを判断する際に、画像処理にかかる時間を短縮する。
【解決手段】情報処理装置２０の取得部２１１は、車両１００内の映像データを取得する。検出部２１３は、映像データを画像処理することにより、車両１００に乗車している乗客の手の位置を検出する。領域設定部２１４は、映像データ内に、検出部２１３が乗客の手の位置を検出した範囲を含む第１画像処理領域を設定する。判断部２１５は、車両１００が目的地に到着した後の映像データである第１映像データにおける第１画像処理領域内の画像に基づいて、車両１００内に変化があったか否かを判断する。
【選択図】図４

【特許請求の範囲】

【請求項1】

車両内の映像データを取得する取得部と、
前記映像データを画像処理することにより、前記車両に乗車している乗客の手の位置を検出する検出部と、
前記映像データ内に、前記検出部が前記乗客の手の位置を検出した範囲を含む第１画像処理領域を設定する領域設定部と、
前記車両が目的地に到着した後の前記映像データである第１映像データにおける前記第１画像処理領域内の画像に基づいて、前記車両内に変化があったか否かを判断する判断部と、
を備える
情報処理装置。

【請求項2】

前記判断部は、前記第１映像データにおける前記第１画像処理領域内で物体を検出した場合に、前記車両内に変化があったと判断する
請求項１に記載の情報処理装置。

【請求項3】

前記判断部は、前記第１映像データにおける前記第１画像処理領域内の画像と、前記乗客が乗車する前の前記映像データである第２映像データにおける前記第１画像処理領域内の画像とを比較して、前記車両内に変化があったか否かを判断する
請求項１に記載の情報処理装置。

【請求項4】

前記検出部は、前記映像データを画像処理することにより、前記乗客が手に物体を持っているか否かを検出し、
前記領域設定部は、前記検出部が、前記乗客が手に物体を持っていることを検出した場合の前記第１画像処理領域の範囲を、前記検出部が、前記乗客が手に物体を持っていることを検出しない場合の第１画像処理領域の範囲より大きく設定する
請求項１～３のいずれか１項に記載の情報処理装置。

【請求項5】

前記領域設定部は、前記検出部が前記乗客の手の位置を検出した範囲が前記車両の座面より高い位置に位置する場合には、前記乗客の手の位置を検出した範囲の下方に位置する前記座面上の範囲を更に含むように前記第１画像処理領域を設定する
請求項１又は２に記載の情報処理装置。

【請求項6】

前記判断部は、前記第１画像処理領域の画像処理を、前記第１画像処理領域以外の領域の画像処理より高い精度で行う
請求項１又は２に記載の情報処理装置。

【請求項7】

前記判断部は、前記第１映像データにおける前記第１画像処理領域のみに画像処理を行う
請求項１又は２に記載の情報処理装置。

【請求項8】

前記判断部は、前記第１画像処理領域以外の領域の前記第１映像データの画像ピクセルに情報が無いものとして画像処理を行う
請求項７に記載の情報処理装置。

【請求項9】

前記判断部は、前記第１映像データにおける前記第１画像処理領域以外の領域の画像データを圧縮して画像処理を行う
請求項１又は２に記載の情報処理装置。

【請求項10】

前記判断部は、前記第１画像処理領域のうち、前記車両内の部材に近接する範囲の画像処理を、前記第１画像処理領域以外の領域より高い精度で行う
請求項１又は２に記載の情報処理装置。

【請求項11】

前記判断部が前記車両内に変化があったと判断した場合に、前記車両内に忘れ物が無いかを注意喚起する情報を表示装置に出力する出力部
を更に備える請求項１又は２に記載の情報処理装置。

【請求項12】

前記出力部は、前記検出部が、前記乗客が着席していた前記車両のシート以外の範囲で前記乗客の手を検出した場合、又は、前記検出部が、前記車両内の所定の領域内で前記乗客の手を検出した場合に、前記車両内に忘れ物が無いかを注意喚起する情報を表示装置に出力する
請求項１１に記載の情報処理装置。

【請求項13】

前記判断部が前記車両内に変化があったと判断した場合に、前記車両内に忘れ物が無いかを注意喚起する音声データを報知装置に出力する出力部を更に備える請求項１又は２に記載の情報処理装置。

【請求項14】

車両に搭載された情報処理装置による情報処理方法であって、
車両内の映像データを取得し、
前記映像データを画像処理することにより、前記車両に乗車している乗客の手の位置を検出し、
前記映像データ内に、前記乗客の手の位置を検出した範囲を含む第１画像処理領域を設定し、
前記車両が目的地に到着した後の前記映像データである第１映像データにおける前記第１画像処理領域内の画像に基づいて、前記車両内に変化があったか否かを判断する
情報処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置及び情報処理方法に関するものである。

【背景技術】

【0002】

特許文献１には、第１の時刻における自動車内の第１映像データと、第１の時刻より後の第２の時刻における自動車内の第２映像データとに基づいて、第１の時刻と第２の時刻との間で、自動車内に変化があったか否かを判断する情報処理装置が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】国際公開第２０１９／１８０９８５号

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１に記載された技術によれば、情報処理装置は、第１及び第２の時刻における２つの映像データに映し出されている全範囲を画像処理して比較することにより、自動車内に変化があったか否かを判断している。しかしながら、映像データには光や影などのノイズが含まれているため、精度よく自動車内の変化を検出するためには、高精度な画像処理が必要となる。このため、処理を完了するまでに時間がかかってしまうという問題がある。

【0005】

本発明は、上記問題に鑑みてなされたものである。その目的とするところは、車両内に変化があったか否かを判断する際に、画像処理にかかる時間を短縮することができる情報処理方法及び情報処理装置を提供することにある。

【課題を解決するための手段】

【0006】

本発明の一態様に係わる情報処理装置及び情報処理方法は、車両内の映像データを画像処理することにより、車両に乗車している乗客の手の位置を検出し、乗客の手の位置を検出した範囲を含む第１画像処理領域を設定し、車両が目的地に到着した後の映像データである第１映像データにおける第１画像処理領域内の画像に基づいて、車両内に変化があったか否かを判断する。

【発明の効果】

【0007】

本発明によれば、車両内に変化があったか否かを判断する際に、画像処理にかかる時間を短縮することができる。

【図面の簡単な説明】

【0008】

【図1】図１は、一実施形態に係る情報処理装置と周辺装置とを含む車両の構成例を示すブロック図である。

【図2】図２は、検出部が車両に乗車している乗客の手の位置を検出した範囲を模式的に示す図である。

【図3】図３は、図２において検出された範囲に基づいて設定される第１画像処理領域を模式的に示す図である。

【図4】図４は、第１画像処理領域の一例を示す図である。

【図5】図５は、第１画像処理領域の他の例を示す図である。

【図6】図６は、一実施形態に係る情報処理装置の処理の一例を示すフローチャートである。

【発明を実施するための形態】

【0009】

図面を参照して、実施形態を説明する。図面の記載において同一部分には同一符号を付して説明を省略する。

【0010】

［情報処理装置の構成］
図１を参照して一実施形態に係る情報処理装置２０の構成例を説明する。情報処理装置２０は、図１に示すように、車両１００に搭載される。情報処理装置２０は、車両１００に搭載された車内カメラ１１、ドアセンサ１２、シートベルトセンサ１３、ナビゲーション装置１４、車内用モニタ１５、車外用モニタ１６、車外スピーカ１７と接続される。

【0011】

車両１００は、自動運転機能を有する車両であってもよく、自動運転機能を有しない車両であってもよい。また、車両１００は、自動運転と手動運転とを切り替えることが可能な車両であってもよい。車両１００は、例えば、自動運転機能を有するタクシー等の車両であり、運転手が不在の状態で乗客を目的地まで運ぶことができる車両であってもよい。

【0012】

車内カメラ１１は、車両１００の車室内に設置される。車内カメラ１１の設置場所は特に限定されないが、一例として車両１００の天井における前席乗客用シート上方近傍に複数設けられ、更に天井におけるサイドウィンドウ近傍に複数設けられる。車内カメラ１１は、例えば広角のデジタルカメラまたはビデオカメラであり、死角が生じないように車両１００内の映像データを撮像する。車内カメラ１１は、撮像した映像データを情報処理装置２０に出力する。

【0013】

ドアセンサ１２は、車両１００の前方ドア及び後方ドアの開閉を検出する。ドアセンサ１２は、車両１００の各ドアの開閉を検出すると、その旨を示す情報を情報処理装置２０へ出力する。シートベルトセンサ１３は、車両１００の各座席のシートベルトが着用されているか否かを検出する。シートベルトセンサ１３は、車両１００の各座席のシートベルトが着用から非着用になったことを検出すると、その旨を示す情報を情報処理装置２０へ出力する。ナビゲーション装置１４は、車両１００が目的地に到着したと判定した場合に、その旨を示す情報を情報処理装置２０へ出力する。

【0014】

情報処理装置２０は、コントローラ２１と、車内カメラ１１から取得された映像データを記憶する記憶装置２２とを備える。コントローラ２１はＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、メモリ、記憶部、入出力部などを備える汎用のコンピュータである。コントローラ２１は車内カメラ１１、ドアセンサ１２、シートベルトセンサ１３及びナビゲーション装置１４から取得したデータを処理し、車内用モニタ１５、車外用モニタ１６及び車外スピーカ１７を制御する。

【0015】

具体的には、ＣＰＵは記憶部に記憶されている様々なプログラムをメモリに読み込んで、プログラムに含まれる各種の命令を実行する。これによりコントローラ２１は情報処理装置２０が備える複数の情報処理回路として機能する。コントローラ２１は複数の情報処理回路として、取得部２１１、第１判断部２１２、検出部２１３、領域設定部２１４、第２判断部２１５、出力部２１６を備える。

【0016】

取得部２１１は、車内カメラ１１により撮像された、車両１００内の映像データを取得する。取得部２１１は、取得した車両１００内の映像データを記憶装置２２に格納する。取得部２１１は、ドアセンサ１２から車両１００の各ドアの開閉状態を示す情報を取得し、シートベルトセンサ１３から車両１００の各座席のシートベルトが着用状態を示す情報を取得する。また、取得部２１１は、ナビゲーション装置１４から、車両１００が目的地に到着したことを示す情報を取得する。

【0017】

第１判断部２１２は、取得部２１１がドアセンサ１２、シートベルトセンサ１３、ナビゲーション装置１４から取得した情報に基づいて、車両１００が目的地に到着したか否かを判断する。また、第１判断部２１２は、取得部２１１がドアセンサ１２、シートベルトセンサ１３、ナビゲーション装置１４から取得した情報に基づいて、車両１００に乗客が乗車したか否か、及び車両１００から乗客が降車したか否かをそれぞれ判断する。第１判断部２１２は、車両１００が目的地に到着したと判断した場合又は車両１００から乗客が降車したと判断した場合に、処理を開始する指示信号を検出部２１３、領域設定部２１４、第２判断部２１５に送信する。

【0018】

検出部２１３は、第１判断部２１２から指示信号を受信した場合に、記憶装置２２から、乗客が乗車している間の車両１００内の映像データを取得する。すなわち、検出部２１３は、乗客が車両１００に乗車してから、第１判断部２１２から指示信号を受信するまでの間の車両１００内の映像データを取得する。検出部２１３は、取得した映像データを画像処理することにより、車両１００に乗車している乗客の手の位置を検出する。図２に示す例では、検出部２１３は、乗客の手の位置を検出し、乗客の手が範囲３１～３３の範囲で動いたことを検出する。車両１００に乗車中に乗客が手を動かすことで、範囲３１～３３は、乗客の手に対応したものとなる。なお、検出部２１３は、乗客が車両１００に乗車している間に、車内カメラ１１からリアルタイムに映像データを取得し、取得した映像データをリアルタイムに画像処理することにより、乗客の手の位置を検出してもよい。

【0019】

また、検出部２１３は、取得した映像データを画像処理することにより、乗客が手に物体を持っているか否かを検出する。図２に示す例では、検出部２１３は、範囲３１、３２において、乗客が手に物体を持っていることを検出し、範囲３３において、乗客が手に物体を持っていることを検出しない。

【0020】

領域設定部２１４は、第１判断部２１２から指示信号を受信した場合に、映像データ内に、検出部２１３が乗客の手の位置を検出した範囲を含む領域である第１画像処理領域を設定する。

【0021】

（第１画像処理領域の設定方法）
図２～図４を参照して、第１画像処理領域の設定方法について説明する。図３に示す例では、領域設定部２１４は、図２において検出部２１３が乗客の手の位置を検出した範囲３１～３３を含む領域である第１画像処理領域４１を設定する。検出部２１３が乗客の手を検出した範囲３１～３３は、乗客の手が検出されない範囲よりも、乗客が物体を落としたり置き忘れたりする可能性が高い範囲であると言える。したがって、映像データにおいて範囲３１～３３を含む第１画像処理領域４１を高精度に画像処理することによって、車両１００内の忘れ物を効率的に検出できる。

【0022】

また、領域設定部２１４は、検出部２１３が、乗客が手に物体を持っていることを検出した場合、第１画像処理領域の範囲を、検出部２１３が乗客が手に物体を持っていることを検出しない場合より大きく設定する。図２においては、検出部２１３が乗客が手に物体を持っていることを検出した範囲３１、３２は、乗客が手に物体を持っていることを検出しない範囲３３よりも更に、乗客が物体を落としたり置き忘れたりする可能性が高い範囲であると言える。したがって、乗客が手に物体を持っていることを検出した場合に第１画像処理領域の範囲をより大きく設定することで、より確実に車両１００内の忘れ物を検出できる。

【0023】

また、領域設定部２１４は、検出部２１３が乗客の手の位置を検出した範囲が車両１００の各座席の座面より高い位置に位置する場合には、乗客の手の位置を検出した範囲の下方に位置する座面上の範囲を更に含むように第１画像処理領域を設定してもよい。

【0024】

例えば図４において、領域設定部２１４は、検出部２１３が乗客の手の位置を検出した範囲３４～３６を含む第１画像処理領域４２、４３を設定する。図４において、領域設定部２１４は、検出部２１３が乗客の手の位置を検出した範囲３４～３６が車両１００の座席５０の座面５１より高い位置に位置する場合には、範囲３４～３６の下方に位置する座面上の範囲４４、４５を第１画像処理領域に含めてもよい。

【0025】

第２判断部２１５は、車両１００が目的地に到着した後の映像データである第１映像データにおける第１画像処理領域内の画像に基づいて、車両１００内に変化があったか否かを判断する。具体的には、第２判断部２１５は、第１判断部２１２から指示信号を受信した場合に、乗客が乗車している間の車両１００内の映像データから、車両１００が目的地に到着した後の映像データである第１映像データを抽出する。第２判断部２１５は、抽出した第１映像データを画像処理することにより、第１映像データにおける第１画像処理領域内に存在する物体を検出する。

【0026】

第２判断部２１５は、第１映像データにおける第１画像処理領域内で物体を検出した場合に、車両１００内に変化があったと判断する。一方、第２判断部２１５は、第１映像データにおける第１画像処理領域内で物体を検出しない場合には、車両１００内に変化がないと判断する。

【0027】

（第２判断部が行う画像処理方法）
図４及び図５を参照して、第２判断部２１５が行う画像処理方法について説明する。第２判断部２１５は、第１映像データにおける第１画像処理領域に対して、第１画像処理領域以外の領域とは異なる画像処理を行う。具体的には、第２判断部２１５は、第１画像処理領域の画像処理を、第１画像処理領域以外の領域の画像処理より高い精度で行う。第２判断部２１５は、例えば、後述する第１及び第２の画像処理方法のいずれかの画像処理方法により、物体を検出するための高精度な画像処理を行う範囲を限定することができる。

【0028】

まず、第１の画像処理方法について説明する。例えば図４において、第２判断部２１５は、第１映像データにおける第１画像処理領域４２～４５のみに画像処理を行う。或いは、第２判断部２１５は、第１映像データの（Ａ＋ｎ）×（Ｂ＋ｎ）個の画像ピクセルのうち、第１画像処理領域４２～４５以外の領域の画像ピクセルに情報が無いものとして画像処理を行ってもよい。これにより、第２判断部２１５は、物体を検出するための高精度な画像処理を行う範囲を実質的に第１画像処理領域４２～４５に限定することができる。

【0029】

次に、第２の画像処理方法について説明する。例えば図４において、第２判断部２１５は、第１映像データにおける第１画像処理領域４２～４５以外の領域の画像データを圧縮して画像処理を行う。この場合、第２判断部２１５は、第１映像データにおける第１画像処理領域４２～４５の画像データは圧縮せずに画像処理を行う。第１画像処理領域４２～４５以外の領域の画像データが圧縮されることにより、第１画像処理領域４２～４５以外の領域に対する画像処理の精度は、第１映像データにおける第１画像処理領域４２～４５に対する画像処理の精度よりも実質的に低くなる。第２判断部２１５は、物体を検出するための高精度な画像処理を行う際に、処理にかかる負荷及び時間を軽減することができる。

【0030】

これら第１及び第２の画像処理方法で画像処理を行うにあたり、第２判断部２１５は、第１画像処理領域に対する画像処理を、以下のような手法で行ってもよい。例えば図５に示すように、第２判断部２１５は、第１映像データにおける第１画像処理領域４２～４５のうち、車両１００内の部材に近接する範囲の画像処理を、第１画像処理領域４２～４５以外の領域より高い精度で行う。ここで言う車両１００内の部材とは、車両１００内に設置されている部材であって、例えば図５においては、座面５１、背もたれ部５２、ヘッドレスト５３とを含む座席５０である。

【0031】

図５において、第２判断部２１５は、第１画像処理領域４２～４５のうち、車両１００内の座面５１、背もたれ部５２、ヘッドレスト５３の少なくともいずれかに近接する範囲の画像処理を、第１画像処理領域以外の領域より高い精度で行う。換言すれば、第２判断部２１５は、第１画像処理領域４２～４５のうち、座面５１、背もたれ部５２、ヘッドレスト５３のいずれにも近接しない範囲４６、４７を除いた領域の画像処理を、第１画像処理領域以外の領域より高い精度で行う。すなわち、第２判断部２１５は、第１画像処理領域４２～４５のうち、座面５１、背もたれ部５２、ヘッドレスト５３のいずれにも近接しない範囲４６、４７では、第１画像処理領域以外の領域と同程度の精度で画像処理を行う。これにより、第２判断部２１５は、物体を検出するための高精度な画像処理を行う範囲を第１画像処理領域４２～４５から更に限定することができる。

【0032】

出力部２１６は、第２判断部２１５が車両１００内に変化があったと判断した場合に、車内用モニタ１５又は車外用モニタ１６に、車両１００内の物体が検出された場所に忘れ物が無いかを注意喚起する情報を出力する。出力部２１６は、例えば、車両１００が目的地に到着し、乗客が車両１００を降車する前に第２判断部２１５が車両１００内に変化があったと判断した場合には車内用モニタ１５に、乗客が車両１００を降車した後に第２判断部２１５が車両１００内に変化があったと判断した場合には車外用モニタ１６に、忘れ物が無いかを注意喚起する情報を出力する。

【0033】

なお、出力部２１６は、検出部２１３が、乗客が着席していた座席以外の範囲で乗客の手を検出した場合、又は、検出部２１３が、車両の小物入れ、ドリンクホルダーなどの忘れ物をしやすいような車両１００内の所定の領域内で乗客の手を検出した場合には、第２判断部２１５の判断結果に関わらず、車両１００内の乗客が着席していた座席以外の範囲又は所定の領域内に忘れ物が無いかを注意喚起する情報を車内用モニタ１５又は車外用モニタ１６に出力してもよい。

【0034】

また、出力部２１６は、第２判断部２１５が車両１００内に変化があったと判断した場合に、車両１００内に忘れ物が無いかを注意喚起する音声データを車外スピーカ１７に出力してもよい。

【0035】

車内用モニタ１５は、情報処理装置２０から出力された情報に基づいて、物体が検出された場所に忘れ物が無いかを注意喚起する画像を表示する。車内用モニタ１５は、車両１００の車室内に設置される。車内用モニタ１５は、車両１００の各座席から視認可能な位置に設置されればよく、車内用モニタ１５の設置場所及び設置台数は特に限定されない。車内用モニタ１５は、例えばＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）や有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）であってもよく、タッチパネルであってもよい。車内用モニタ１５は、例えば、車両１００が目的地に到着し、乗客が車両１００を降車する前に、第２判断部２１５が車両１００内に変化があったと判断した場合に、物体が検出された場所に忘れ物が無いかを注意喚起する画像を表示する。

【0036】

車外用モニタ１６は、情報処理装置２０から出力された情報に基づいて、物体が検出された場所に忘れ物が無いかを注意喚起する画像を表示する。車外用モニタ１６は、車両１００の車室内に設置される。車外用モニタ１６は、車両１００を降車した乗客が視認可能な位置に設置されればよく、車外用モニタ１６の設置場所及び設置台数は特に限定されない。車外用モニタ１６は、例えばＬＣＤや有機ＥＬであってもよい。車外用モニタ１６は、例えば、乗客が車両１００を降車した後に第２判断部２１５が車両１００内に変化があったと判断した場合に、物体が検出された場所に忘れ物が無いかを注意喚起する画像を表示する。

【0037】

車外スピーカ１７は、情報処理装置２０から出力された情報に基づいて、忘れ物が無いかを乗客に注意喚起する音声データを出力する。車外スピーカ１７は、車両１００の車室外に設置される。車外スピーカ１７の設置場所及び設置台数は特に限定されない。

【0038】

［情報処理装置の動作］
次に、図６を参照して、一実施形態に係る情報処理装置２０による処理の一例を説明する。ステップＳ１において、取得部２１１は、車内カメラ１１により撮像された、車両１００内の映像データを取得する。取得部２１１は、取得した車両１００内の映像データを記憶装置２２に格納する。また、取得部２１１は、ドアセンサ１２から車両１００の各ドアの開閉状態を示す情報を取得し、シートベルトセンサ１３から車両１００の各座席のシートベルトが着用状態を示す情報を取得し、ナビゲーション装置１４から、車両１００が目的地に到着したことを示す情報を取得する。

【0039】

処理はステップＳ２に進み、第１判断部２１２は、第１判断部２１２は、取得部２１１がドアセンサ１２、シートベルトセンサ１３、ナビゲーション装置１４から取得した情報に基づいて、車両１００が目的地に到着したか否か又は車両１００から乗客が降車したか否かを判断する。車両１００が目的地に到着した場合又は車両１００から乗客が降車した場合（ステップＳ２でＹＥＳ）には、第１判断部２１２は、処理を開始する指示信号を検出部２１３、領域設定部２１４、第２判断部２１５に送信する。その後、処理はステップＳ３に進む。一方、車両１００が目的地に到着していない場合且つ車両１００から乗客が降車した場合（ステップＳ２でＮＯ）には、処理はステップＳ１に戻る。

【0040】

ステップＳ３において、検出部２１３は、記憶装置２２から、乗客が乗車している間の車両１００内の映像データを取得する。検出部２１３は、取得した映像データを画像処理することにより、車両１００に乗車している乗客の手の位置を検出する。また、検出部２１３は、取得した映像データを画像処理することにより、乗客が手に物体を持っているか否かを検出する。

【0041】

処理はステップＳ４に進み、領域設定部２１４は、映像データ内に、検出部２１３が乗客の手の位置を検出した範囲を含む領域である第１画像処理領域を設定する。

【0042】

処理はステップＳ５に進み、第２判断部２１５は、乗客が乗車している間の車両１００内の映像データから、車両１００が目的地に到着した後の映像データである第１映像データを抽出する。

【0043】

処理はステップＳ６に進み、第２判断部２１５は、抽出した第１映像データを画像処理することにより、第１映像データにおける第１画像処理領域内に存在する物体を検出する。第２判断部２１５は、第１画像処理領域の画像処理を、第１画像処理領域以外の領域の画像処理より高い精度で行う。第２判断部２１５は、例えば、第１及び第２の画像処理方法のいずれかの画像処理方法により、第１映像データにおける第１画像処理領域内に存在する物体を検出する。

【0044】

処理はステップＳ７に進み、第２判断部２１５は、車両１００が目的地に到着した後の映像データである第１映像データにおける第１画像処理領域内の画像に基づいて、車両１００内に変化があったか否かを判断する。第２判断部２１５は、第１映像データにおける第１画像処理領域内で物体を検出した場合に、車両１００内に変化があったと判断する。第２判断部２１５が車両１００内に変化があったと判断した場合（ステップＳ７でＹＥＳ）には、処理はステップＳ８に進む。一方、第２判断部２１５が車両１００内に変化がないと判断した場合（ステップＳ７でＮＯ）には、情報処理装置２０は図６の処理を終了する。

【0045】

ステップＳ８において、出力部２１６は、物体が検出された場所に忘れ物が無いかを注意喚起する情報を車内用モニタ１５又は車外用モニタ１６に出力する。車外スピーカ１７に出力してもよい。出力部２１６は、例えば、車両１００が目的地に到着し、乗客が車両１００を降車する前に第２判断部２１５が車両１００内に変化があったと判断した場合には車内用モニタ１５に、乗客が車両１００を降車した後に第２判断部２１５が車両１００内に変化があったと判断した場合には車外用モニタ１６に、忘れ物が無いかを注意喚起する情報を出力する。その後、情報処理装置２０は図６の処理を終了する。

【0046】

［作用効果］
以上説明したように、一実施形態に係る情報処理装置２０は、取得部２１１と、検出部２１３と、領域設定部２１４と、判断部（第２判断部）２１５と、を備える。取得部２１１は、車両１００内の映像データを取得する。検出部２１３は、映像データを画像処理することにより、車両１００に乗車している乗客の手の位置を検出する。領域設定部２１４は、映像データ内に、検出部２１３が乗客の手の位置を検出した範囲を含む第１画像処理領域を設定する。判断部２１５は、車両１００が目的地に到着した後の映像データである第１映像データにおける第１画像処理領域内の画像に基づいて、車両１００内に変化があったか否かを判断する。

【0047】

また、一実施形態に係る情報処理装置２０の判断部２１５は、第１映像データにおける第１画像処理領域内で物体を検出した場合に、車両１００内に変化があったと判断する。

【0048】

情報処理装置２０は、第１映像データ全体ではなく、第１映像データにおいて乗客の手を検出した範囲を含む第１画像処理領域内の画像に対してのみ高精度な画像処理を行うことができる。このため、車両１００内に変化があったか否かを判断する際に、画像処理にかかる時間を短縮することができる。車両１００に乗車している乗客の手の位置を検出した範囲を第１画像処理領域として設定することにより、第１映像データにおいて、乗客が手に持っていた物体が忘れ物として車両１００内に残っている可能性がより高い範囲のみを高精度に画像処理することができる。これにより、車両１００内に変化があったことを効率的に判断できる。

【0049】

また、一実施形態に係る情報処理装置２０の検出部２１３は、映像データを画像処理することにより、乗客が手に物体を持っているか否かを検出する。領域設定部２１４は、検出部２１３が、乗客が手に物体を持っていることを検出した場合の第１画像処理領域の範囲を、検出部２１３が、乗客が手に物体を持っていることを検出しない場合の第１画像処理領域の範囲より大きく設定する。

【0050】

情報処理装置２０は、第１映像データにおいて乗客が手に持っていた物体が忘れ物として車両１００内に残っている可能性がより高い範囲を、より大きな第１画像処理領域として設定できる。乗客が手に持っていた物体が忘れ物として車両１００内に残っている可能性がより高い範囲に対してより確実に、高精度な画像処理を行うことができる。

【0051】

また、一実施形態に係る情報処理装置２０の領域設定部２１４は、検出部２１３が乗客の手の位置を検出した範囲が車両１００の座面より高い位置に位置する場合には、乗客の手の位置を検出した範囲の下方に位置する座面５１上の範囲を更に含むように第１画像処理領域を設定してもよい。

【0052】

情報処理装置２０は、乗客が手に持っていた物体を座面５１上に落とした可能性が高い領域に対しても、第１画像処理領域以外の領域より高い精度で画像処理を行うことができる。第１映像データにおいて、乗客が手に持っていた物体が忘れ物として車両１００内に残っている可能性が高い範囲を高精度に画像処理することができる。これにより、車両１００内に変化があったか否かをより正確に判断できる。

【0053】

また、一実施形態に係る情報処理装置２０の判断部２１５は、第１画像処理領域の画像処理を、第１画像処理領域以外の領域の画像処理より高い精度で行う。

【0054】

例えば、一実施形態に係る情報処理装置２０の判断部２１５は、第１映像データにおける第１画像処理領域のみに画像処理を行う。或いは判断部２１５は、第１画像処理領域以外の領域の第１映像データの画像ピクセルに情報が無いものとして画像処理を行ってもよい。

【0055】

情報処理装置２０は、高精度な画像処理を行う範囲を第１映像データ全体ではなく第１画像処理領域のみに限定することができる。

【0056】

また、一実施形態に係る情報処理装置２０の判断部２１５は、第１映像データにおける第１画像処理領域以外の領域の画像データを圧縮して画像処理を行ってもよい。これにより、情報処理装置２０の第２判断部２１５は、物体を検出するための高精度な画像処理を行う際に、処理にかかる負荷及び時間を軽減することができる。

【0057】

また、一実施形態に係る情報処理装置２０の判断部２１５は、第１画像処理領域のうち、車両１００内の部材に近接する範囲の画像処理を、第１画像処理領域以外の領域より高い精度で行ってもよい。

【0058】

情報処理装置２０は、乗客の手を検出した範囲のうち、車両のシートなどの部材に近接する範囲に対してのみ、第１画像処理領域以外の領域より高い精度で画像処理を行うことができる。第１映像データにおいて、乗客が手に持っていた物体が忘れ物として車両１００内に残っている可能性がより高い範囲のみを高精度に画像処理することができる。これにより、車両１００内に変化があったことをより効率的に判断できる。

【0059】

また、一実施形態に係る情報処理装置２０は、判断部２１５が車両１００内に変化があったと判断した場合に、車両１００内に忘れ物が無いかを注意喚起する情報を表示装置に出力する出力部をさらに備える。

【0060】

情報処理装置２０は、車両１００の乗客に物体が検出された場所に忘れ物が無いかを注意喚起する情報を表示することにより、車両１００内の忘れ物を抑制できる。

【0061】

また、一実施形態に係る情報処理装置２０の出力部２１６は、検出部２１３が、乗客が着席していた車両１００のシート以外の範囲で乗客の手を検出した場合、又は、検出部２１３が、車両１００内の所定の領域内で乗客の手を検出した場合に、車両１００内に忘れ物が無いかを注意喚起する情報を表示装置（車内用モニタ１５又は車外用モニタ１６）に出力してもよい。

【0062】

情報処理装置２０は、乗客が着席していた車両１００のシート以外の範囲、又は、車両１００の小物入れ、ドリンクホルダーなどの忘れ物をしやすいような車両１００内の所定の領域に手を移動させた場合に、これらの場所に忘れ物が無いか乗客に注意喚起することができる。これにより、車両１００内の忘れ物を抑制できる。

【0063】

また、一実施形態に係る情報処理装置２０の出力部２１６は、判断部２１５が車両１００内に変化があったと判断した場合に、車両１００内に忘れ物が無いかを注意喚起する音声データを報知装置（車外スピーカ１７）に出力してもよい。

【0064】

情報処理装置２０は、車両１００の乗客に物体が検出された場所に忘れ物が無いかを音声により報知することにより、車両１００内の忘れ物を抑制できる。

【0065】

上記のように、本発明の実施形態を記載したが、この開示の一部をなす論述及び図面はこの発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態、実施例及び運用技術が明らかとなろう。

【0066】

例えば、一実施形態に係る情報処理装置２０では、第２判断部２１５は、車両１００が目的地に到着した後の映像データである第１映像データのみから、車両１００内に変化があったか否かを判断した。しかしながら、第２判断部２１５は、第１映像データにおける第１画像処理領域内の画像と、乗客が乗車する前の映像データである第２映像データにおける第１画像処理領域内の画像とを比較する画像処理を行って、車両１００内に変化があったか否かを判断してもよい。乗客が乗車した後の第１映像データと、乗客が乗車する前の第２映像データとを比較することにより、情報処理装置２０は、車両内に変化があったか否かをより正確に判断できる。

【符号の説明】

【0067】

２０ 情報処理装置
４１～４５ 第１画像処理領域
１００ 車両
２１１ 取得部
２１３ 検出部
２１４ 領域設定部
２１５ 第２判断部（判断部）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】