IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ソフトバンクモバイル株式会社の特許一覧

特許7462714情報処理装置、情報処理プログラム及び情報処理方法
<>
  • 特許-情報処理装置、情報処理プログラム及び情報処理方法 図1
  • 特許-情報処理装置、情報処理プログラム及び情報処理方法 図2
  • 特許-情報処理装置、情報処理プログラム及び情報処理方法 図3
  • 特許-情報処理装置、情報処理プログラム及び情報処理方法 図4
  • 特許-情報処理装置、情報処理プログラム及び情報処理方法 図5
  • 特許-情報処理装置、情報処理プログラム及び情報処理方法 図6
  • 特許-情報処理装置、情報処理プログラム及び情報処理方法 図7
  • 特許-情報処理装置、情報処理プログラム及び情報処理方法 図8
  • 特許-情報処理装置、情報処理プログラム及び情報処理方法 図9
  • 特許-情報処理装置、情報処理プログラム及び情報処理方法 図10
  • 特許-情報処理装置、情報処理プログラム及び情報処理方法 図11
  • 特許-情報処理装置、情報処理プログラム及び情報処理方法 図12
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-03-28
(45)【発行日】2024-04-05
(54)【発明の名称】情報処理装置、情報処理プログラム及び情報処理方法
(51)【国際特許分類】
   B61D 37/00 20060101AFI20240329BHJP
   G08B 21/24 20060101ALI20240329BHJP
   G06T 7/254 20170101ALI20240329BHJP
【FI】
B61D37/00 G
B61D37/00 Z
G08B21/24
G06T7/254 Z
【請求項の数】 12
(21)【出願番号】P 2022144120
(22)【出願日】2022-09-09
(65)【公開番号】P2024039511
(43)【公開日】2024-03-22
【審査請求日】2023-03-30
(73)【特許権者】
【識別番号】501440684
【氏名又は名称】ソフトバンク株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】工藤 剛史
(72)【発明者】
【氏名】廣瀬 徹弥
(72)【発明者】
【氏名】川上 夏実
【審査官】山本 賢明
(56)【参考文献】
【文献】特許第7100326(JP,B1)
【文献】特開2022-012950(JP,A)
【文献】特開2021-132289(JP,A)
【文献】特開2019-175175(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
B61D 37/00
G08B 21/24
G06T 7/254
(57)【特許請求の範囲】
【請求項1】
鉄道車両に搭載された端末装置の位置情報に基づいて、前記鉄道車両が到着する終着駅または車庫から第1の範囲内のエリアに前記鉄道車両が侵入したことを検出した場合に、前記鉄道車両の内部に対応する画像である車両画像に対する画像解析の解析結果に関する解析情報を取得する取得部と、
前記解析情報に基づいて、前記鉄道車両を識別可能な車両識別情報と、前記鉄道車両の内部に残留する残留物又は残留者に関する残留物情報とを対応付けた通知情報を生成する生成部と、
を備える情報処理装置。
【請求項2】
鉄道車両が到着する終着駅または車庫から第1の範囲内に設置された近距離無線通信の受信機が、前記鉄道車両に搭載された前記近距離無線通信の送信機から送信された信号を受信した場合に、前記鉄道車両の内部に対応する画像である車両画像に対する画像解析の解析結果に関する解析情報を取得する取得部と、
前記解析情報に基づいて、前記鉄道車両を識別可能な車両識別情報と、前記鉄道車両の内部に残留する残留物又は残留者に関する残留物情報とを対応付けた通知情報を生成する生成部と、
を備える情報処理装置。
【請求項3】
連結部により連結された複数の鉄道車両それぞれの内部に対応する画像である車両画像に対する画像解析の解析結果に関する解析情報を取得する取得部と、
前記解析情報に基づいて、前記複数の鉄道車両の運行を管理する管理者によって使用される端末装置の出力部に表示される操作画面に含まれる操作ボタンであって、前記複数の鉄道車両それぞれを選択可能な操作ボタンの中から前記端末装置の入力部を介して選択操作を受け付けた操作ボタンに対応する前記鉄道車両を識別可能な車両識別情報と、前記選択操作を受け付けた操作ボタンに対応する前記鉄道車両の内部に残留する残留物又は残留者に関する残留物情報とを対応付けた通知情報であって、前記端末装置の出力部に表示される通知情報を生成する生成部と、
を備える情報処理装置。
【請求項4】
前記取得部は、
前記鉄道車両に搭載された端末装置の位置情報に基づいて、前記鉄道車両が到着する終着駅または車庫から第1の範囲内のエリアに前記鉄道車両が侵入したことを検出した場合に、前記解析情報を取得する、
請求項3に記載の情報処理装置。
【請求項5】
前記取得部は、
前記鉄道車両が到着する終着駅または車庫から第2の範囲内に設置された近距離無線通信の受信機が、前記鉄道車両に搭載された前記近距離無線通信の送信機から送信された信号を受信した場合に、前記解析情報を取得する、
請求項3に記載の情報処理装置。
【請求項6】
前記鉄道車両の運行を管理する管理者によって使用される端末装置に対して前記通知情報を送信する通知部をさらに備える、
請求項1~3のいずれか1つに記載の情報処理装置。
【請求項7】
鉄道車両に搭載された端末装置の位置情報に基づいて、前記鉄道車両が到着する終着駅または車庫から第1の範囲内のエリアに前記鉄道車両が侵入したことを検出した場合に、前記鉄道車両の内部に対応する画像である車両画像に対する画像解析の解析結果に関する解析情報を取得する取得手順と、
前記解析情報に基づいて、前記鉄道車両を識別可能な車両識別情報と、前記鉄道車両の内部に残留する残留物又は残留者に関する残留物情報とを対応付けた通知情報を生成する生成手順と、
をコンピュータに実行させる情報処理プログラム。
【請求項8】
鉄道車両が到着する終着駅または車庫から第1の範囲内に設置された近距離無線通信の受信機が、前記鉄道車両に搭載された前記近距離無線通信の送信機から送信された信号を受信した場合に、前記鉄道車両の内部に対応する画像である車両画像に対する画像解析の解析結果に関する解析情報を取得する取得手順と、
前記解析情報に基づいて、前記鉄道車両を識別可能な車両識別情報と、前記鉄道車両の内部に残留する残留物又は残留者に関する残留物情報とを対応付けた通知情報を生成する生成手順と、
をコンピュータに実行させる情報処理プログラム。
【請求項9】
連結部により連結された複数の鉄道車両それぞれの内部に対応する画像である車両画像に対する画像解析の解析結果に関する解析情報を取得する取得手順と、
前記解析情報に基づいて、前記複数の鉄道車両の運行を管理する管理者によって使用される端末装置の出力部に表示される操作画面に含まれる操作ボタンであって、前記複数の鉄道車両それぞれを選択可能な操作ボタンの中から前記端末装置の入力部を介して選択操作を受け付けた操作ボタンに対応する前記鉄道車両を識別可能な車両識別情報と、前記選択操作を受け付けた操作ボタンに対応する前記鉄道車両の内部に残留する残留物又は残留者に関する残留物情報とを対応付けた通知情報であって、前記端末装置の出力部に表示される通知情報を生成する生成手順と、
をコンピュータに実行させる情報処理プログラム。
【請求項10】
撮像システムと、情報処理装置と、を含む情報処理システムが実行する情報処理方法であって、
前記撮像システムは、
鉄道車両の内部に対応する画像である車両画像を撮像し、前記車両画像に基づいて、前記鉄道車両の内部に残留する残留物又は残留者に関する残留物情報を推定し、
前記情報処理装置は、
前記鉄道車両に搭載された端末装置の位置情報に基づいて、前記鉄道車両が到着する終着駅または車庫から第1の範囲内のエリアに前記鉄道車両が侵入したことを検出した場合に、前記車両画像に対する画像解析の解析結果に関する解析情報を取得し、前記解析情報に基づいて、前記鉄道車両を識別可能な車両識別情報と、前記残留物情報とを対応付けた通知情報を生成し、前記鉄道車両の運行を管理する管理者に前記通知情報を通知する、
情報処理方法。
【請求項11】
撮像システムと、情報処理装置と、を含む情報処理システムが実行する情報処理方法であって、
前記撮像システムは、
鉄道車両の内部に対応する画像である車両画像を撮像し、前記車両画像に基づいて、前記鉄道車両の内部に残留する残留物又は残留者に関する残留物情報を推定し、
前記情報処理装置は、
前記鉄道車両が到着する終着駅または車庫から第1の範囲内に設置された近距離無線通信の受信機が、前記鉄道車両に搭載された前記近距離無線通信の送信機から送信された信号を受信した場合に、前記車両画像に対する画像解析の解析結果に関する解析情報を取得し、前記解析情報に基づいて、前記鉄道車両を識別可能な車両識別情報と、前記残留物情報とを対応付けた通知情報を生成し、前記鉄道車両の運行を管理する管理者に前記通知情報を通知する、
情報処理方法。
【請求項12】
撮像システムと、情報処理装置と、を含む情報処理システムが実行する情報処理方法であって、
前記撮像システムは、
連結部により連結された複数の鉄道車両それぞれの内部に対応する画像である車両画像を撮像し、前記複数の鉄道車両それぞれの前記車両画像に基づいて、前記複数の鉄道車両それぞれの内部に残留する残留物又は残留者に関する残留物情報を推定し、
前記情報処理装置は、
前記複数の鉄道車両それぞれの前記車両画像に対する画像解析の解析結果に関する解析情報を取得し、前記解析情報に基づいて、前記複数の鉄道車両の運行を管理する管理者によって使用される端末装置の出力部に表示される操作画面に含まれる操作ボタンであって、前記複数の鉄道車両それぞれを選択可能な操作ボタンの中から前記端末装置の入力部を介して選択操作を受け付けた操作ボタンに対応する前記鉄道車両を識別可能な車両識別情報と、前記選択操作を受け付けた操作ボタンに対応する前記鉄道車両の前記残留物情報とを対応付けた通知情報であって、前記端末装置の出力部に表示される通知情報を生成し、前記鉄道車両の運行を管理する管理者に前記通知情報を通知する、
情報処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、情報処理プログラム及び情報処理方法に関する。
【背景技術】
【0002】
従来、車両の内外に置き去りにされた物や人物を検知する技術が知られている。例えば、カメラを用いて、乗車時の車室内の状況と降車時の車室内の状況をそれぞれ撮影し、乗車時の車室内の状況と降車時の車室内の状況とを比較して忘れ物の有無を判定する技術が知られている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開2005-115911号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上記の従来技術では、一つの車室を備える乗用車等の自動車における忘れ物の有無を判定するにすぎず、鉄道車両の内部に残留する残留物又は残留者の確認業務における業務負担を軽減可能とすることができるとは限らない。
【0005】
そこで、本開示では、鉄道車両の内部に残留する残留物又は残留者の確認業務における業務負担を軽減可能とすることができる情報処理装置、情報処理プログラム及び情報処理方法を提供することを目的とする。
【課題を解決するための手段】
【0006】
本願に係る情報処理装置は、鉄道車両の内部に対応する画像である車両画像に対する画像解析の解析結果に関する解析情報を取得する取得部と、前記解析情報に基づいて、前記鉄道車両を識別可能な車両識別情報と、前記鉄道車両の内部に残留する残留物又は残留者に関する残留物情報とを対応付けた通知情報を生成する生成部と、を備える。
【0007】
前記取得部は、前記解析情報として、前記残留物及び前記残留者が存在しない前記鉄道車両の内部に対応する画像である正解車両画像と、前記車両画像との差分を抽出した差分画像に関する情報を取得し、前記生成部は、前記差分画像に関する情報に基づいて、前記通知情報を生成する。
【0008】
前記取得部は、前記解析情報として、前記車両画像に対する機械学習モデルを用いた画像認識処理の処理結果に関する情報を取得し、前記生成部は、前記処理結果に関する情報に基づいて、前記通知情報を生成する。
【0009】
前記生成部は、前記車両識別情報と、前記残留物又は前記残留者の有無を示す情報である前記残留物情報とを対応付けた前記通知情報を生成する。
【0010】
前記生成部は、前記車両識別情報と、前記鉄道車両の内部における前記残留物又は前記残留者の位置を示す情報である前記残留物情報とを対応付けた前記通知情報を生成する。
【0011】
前記取得部は、前記鉄道車両の運行を管理する管理者によって使用される端末装置から前記鉄道車両の内部の状況確認に関する要求情報を受信した場合に、前記解析情報を取得する。
【0012】
前記取得部は、前記鉄道車両に搭載された端末装置の位置情報に基づいて、特定の位置に対応する位置座標から第1の範囲内のエリアに前記鉄道車両が侵入したことを検出した場合に、前記解析情報を取得する。
【0013】
前記取得部は、特定の位置に設置された近距離無線通信の受信機が、前記鉄道車両に搭載された前記近距離無線通信の送信機から送信された信号を受信した場合に、前記解析情報を取得する。
【0014】
前記特定の位置は、前記鉄道車両が到着する駅または車庫から第2の範囲内に位置する。
【0015】
前記取得部は、前記鉄道車両の内部の異なる場所それぞれに対応する画像である前記車両画像に対する画像解析の解析結果に関する情報である前記解析情報を取得し、前記生成部は、前記解析情報に基づいて、前記鉄道車両の内部の異なる場所それぞれを識別可能な場所識別情報と、前記鉄道車両の内部の異なる場所それぞれに残留する残留物又は残留者に関する情報である前記残留物情報とを対応付けた前記通知情報を生成する。
【0016】
前記車両画像は、前記鉄道車両の内部の異なる場所それぞれに対応する前記鉄道車両の位置に配置された複数の撮像装置それぞれによって撮影された画像である。
【0017】
前記取得部は、連結された複数の前記鉄道車両それぞれの内部に対応する画像である前記車両画像に対する画像解析の解析結果に関する情報である前記解析情報を取得し、前記生成部は、前記解析情報に基づいて、前記連結された複数の前記鉄道車両それぞれを識別可能な前記車両識別情報と、前記連結された複数の前記鉄道車両それぞれの内部に残留する残留物又は残留者に関する情報である前記残留物情報とを対応付けた前記通知情報を生成する。
【0018】
前記車両画像は、前記連結された複数の前記鉄道車両それぞれに配置された複数の撮像装置それぞれによって撮影された画像である。
【0019】
前記鉄道車両の運行を管理する管理者によって使用される端末装置に対して前記通知情報を送信する通知部をさらに備える。
【0020】
本願に係る撮像システムは、1又は連結された複数の鉄道車両内に設けられた撮像システムであって、鉄道車両の内部に対応する画像である車両画像を撮像する撮像部と、前記車両画像に基づいて、前記鉄道車両の内部に残留する残留物又は残留者に関する残留物情報を推定する推定部と、を備える。
【0021】
前記推定部は、前記残留物及び前記残留者が存在しない前記鉄道車両の内部に対応する画像である正解車両画像と、前記車両画像との差分を抽出した差分画像に基づいて、前記残留物情報を推定する。
【0022】
前記推定部は、前記車両画像に対する機械学習モデルを用いた画像認識処理の処理結果に基づいて、前記残留物情報を推定する。
【0023】
前記推定部は、前記残留物情報として、前記残留物又は前記残留者の有無を示す情報を推定する。
【0024】
前記推定部は、前記残留物情報として、前記鉄道車両の内部における前記残留物又は前記残留者の位置を示す情報を推定する。
【0025】
前記撮像部は、灯具又はランプをさらに備える。
【0026】
本願に係る情報処理プログラムは、鉄道車両の内部に対応する画像である車両画像に対する画像解析の解析結果に関する解析情報を取得する取得手順と、前記解析情報に基づいて、前記鉄道車両を識別可能な車両識別情報と、前記鉄道車両の内部に残留する残留物又は残留者に関する残留物情報とを対応付けた通知情報を生成する生成手順と、をコンピュータに実行させる。
【0027】
本願に係る情報処理プログラムは、鉄道車両の内部に対応する画像である車両画像を撮像する撮像手順と、前記車両画像に基づいて、前記鉄道車両の内部に残留する残留物又は残留者に関する残留物情報を推定する推定手順と、をコンピュータに実行させる。
【0028】
本願に係る鉄道車両は、前記撮像システムを備える。
【0029】
本願に係る情報処理方法は、撮像システムと、情報処理装置と、を含む情報処理システムが実行する情報処理方法であって、前記撮像システムは、鉄道車両の内部に対応する画像である車両画像を撮像し、前記車両画像に基づいて、前記鉄道車両の内部に残留する残留物又は残留者に関する残留物情報を推定し、前記情報処理装置は、前記鉄道車両を識別可能な車両識別情報と、前記残留物情報とを対応付けた通知情報を生成し、前記鉄道車両の運行を管理する管理者に前記通知情報を通知する。
【発明の効果】
【0030】
実施形態の一態様によれば、鉄道車両の内部に残留する残留物又は残留者の確認業務における業務負担を軽減可能とすることができる。
【図面の簡単な説明】
【0031】
図1図1は、電車と他の公共交通機関との相違点について説明するための図である。
図2図2は、実施形態に係る鉄道車両における撮像装置の配置例を示す図である。
図3図3は、第1の実施形態に係る情報処理の概要を示す図である。
図4図4は、第1の実施形態に係る端末装置の構成例を示す図である。
図5図5は、第1の実施形態に係る情報処理装置の構成例を示す図である。
図6図6は、第1の実施形態に係る撮像装置の構成例を示す図である。
図7図7は、第1の実施形態に係る解析装置の構成例を示す図である。
図8図8は、第1の実施形態に係る操作画面の一例を示す図である。
図9図9は、第1の実施形態に係る通知画面の一例を示す図である。
図10図10は、第2の実施形態に係る情報処理の概要を示す図である。
図11図11は、第2の実施形態に係る撮像装置の構成例を示す図である。
図12図12は、情報処理装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。
【発明を実施するための形態】
【0032】
以下に、本願に係る情報処理装置、撮像システム、情報処理プログラム、撮像プログラム、鉄道車両及び情報処理方法を実施するための形態(以下、「実施形態」と呼ぶ)について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る情報処理装置、撮像システム、情報処理プログラム、撮像プログラム、鉄道車両及び情報処理方法が限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。
【0033】
〔1.はじめに〕
図1は、電車と他の公共交通機関との相違点について説明するための図である。図1では、他の公共交通機関の一例であるバスと電車との相違点について説明する。図1に示すように、一般的に、バスは一両編成であり、運転席と一つの車室(客室ともいう)を備える。また、一般的に、バスの客室の幅は一定なので、座席以外に視界を遮る遮蔽物がなく、見通しが効きやすい特徴がある。そのため、バスの乗務員は、バスの客室の内部に残留する残留物又は残留者の確認を、短時間での目視によって行うことができる。なお、バス以外の乗用車についても同様である。すなわち、乗用車の運転手や乗員は、乗用車の客室の内部に残留する残留物又は残留者の確認を、短時間での目視によって行うことができる。
【0034】
これに対し、一般的に、電車は、乗務員室と複数の鉄道車両(以下、車両ともいう)を連結して構成される。また、一般的に、鉄道車両を連結する連結部の通路は、鉄道車両の幅よりも狭く設計されている。そのため、所定の車両から隣の車両を目視により確認しようとすると、連結部により、視界の一部が遮られるという特徴がある。また、電車は複数車両編成のため、電車の乗務員は、複数の車両それぞれの内部に残留する残留物又は残留者を確認するため時間を要するという特徴がある。また、他の公共交通機関と比べると、電車における残留物又は残留者の確認には時間を要するにもかかわらず、終着駅からの折り返し運転、または、車庫への入構運転までに使える時間は非常に短いという特徴がある。このように、他の公共交通機関と比べると、鉄道車両の内部に残留する残留物又は残留者の確認業務における業務負担は、重いと考えられる。
【0035】
そこで、本実施形態に係る情報処理システムは、1又は連結された複数の鉄道車両内に設けられた撮像システムと、情報処理装置と、を含む。例えば、撮像システムは、1又は連結された複数の鉄道車両に設けられた複数の撮像装置を含む。撮像システムは、鉄道車両の内部に対応する画像である車両画像を撮像する。情報処理装置は、車両画像に対する画像解析の解析結果に関する解析情報を取得し、取得した解析情報に基づいて、鉄道車両を識別可能な車両識別情報と、鉄道車両の内部に残留する残留物又は残留者に関する残留物情報とを対応付けた通知情報を生成する。これにより、情報処理システムは、例えば、鉄道車両の運行を管理する管理者に通知情報を通知することにより、管理者が複数の車両それぞれの内部に残留する残留物又は残留者を確認するために要する時間を短縮することができる。したがって、情報処理システムは、鉄道車両の内部に残留する残留物又は残留者の確認業務における業務負担を軽減可能とすることができる。
【0036】
図2は、実施形態に係る鉄道車両における撮像装置の配置例を示す図である。図2は、3つの車両10~30が連結部により連結された3両編成の電車の内部(客室ともいう)を上面から見た図を示す。なお、図2では、乗務員室を省略するが、例えば、乗務員室(図示略)は、車両10の左側の連結部により車両10と連結されてよい。
【0037】
撮像装置300は、1又は連結された複数の鉄道車両に設けられる。具体的には、電車が1両編成である場合は、1つの鉄道車両に複数の撮像装置300が設けられる。また、電車が連結された複数の鉄道車両による編成である場合は、複数の鉄道車両それぞれに複数の撮像装置300がそれぞれ設けられる。図2では、連結された3つの車両10~30それぞれに8台の撮像装置300がそれぞれ配置される様子を示す。また、撮像装置300は、1つの鉄道車両の内部の異なる場所それぞれに対応する位置に配置される。図2では、各車両の内部の8つの異なる場所をそれぞれ撮影可能な位置に8台の撮像装置300がそれぞれ配置される様子を示す。図2では、撮像システム(図示略)は、連結された3つの車両10~30内に設けられた24台の撮像装置300を含む。
【0038】
また、各車両に配置される複数の撮像装置300は、各車両の内部の空間を網羅的に撮影する位置にそれぞれ配置される。例えば、各車両に配置される複数の撮像装置300は、電車の進行方向(各車両の通路方向ともいう)に対して左右対称な位置にそれぞれ配置される。また、各車両に配置される複数の撮像装置300は、各車両において等間隔に配置される。また、各車両に配置される複数の撮像装置300は、各車両の客室の床面(通路ともいう)から所定の高さの位置(客室の天井を含む)にそれぞれ配置される。
【0039】
ここから、図2に示す車両10を例に挙げて、各車両に配置された8台の撮像装置300の各車両における位置について詳しく説明する。図2では、車両10を上面から見ると、車両10の客室は、電車の進行方向に対して長い長方形である。また、車両10の客室は、電車の進行方向に対して一方の側に対応する側壁に4つの扉D1-1~D1-4を備え、4つの扉D1-1~D1-4それぞれの間に3つの着座シートE2-1~E2-3をそれぞれ備える。例えば、4つの扉D1-1~D1-4および3つの着座シートE2-1~E2-3は、それぞれ等間隔に配置される。また、車両10の客室は、電車の進行方向に対して他方の側に対応する側壁に4つの扉D1-5~D1-8を備え、4つの扉D1-5~D1-8それぞれの間に3つの着座シートE2-4~E2-6をそれぞれ備える。例えば、4つの扉D1-5~D1-8および3つの着座シートE2-4~E2-6は、それぞれ等間隔に配置される。図2では、車両10に配置された8台の撮像装置300-11~300-18のうち、4台の撮像装置300-11~300-14は、電車の進行方向に対して一方の側の客室の側壁から所定の範囲内に位置する天井に配置される。例えば、4台の撮像装置300-11~300-14は、それぞれ等間隔に配置される。また、8台の撮像装置300-11~300-18のうち、残りの4台の撮像装置300-15~300-18は、電車の進行方向に対して他方の側の客室の側壁から所定の範囲内に位置する天井に配置される。例えば、4台の撮像装置300-15~300-18は、それぞれ等間隔に配置される。
【0040】
なお、車両10に設けられた8台の撮像装置300-11~300-18は、車両10の客室の床面から所定の高さの位置に配置されれば、天井以外の位置に配置されてもよい。例えば、4台の撮像装置300-11~300-14は、電車の進行方向に対して一方の側の客室の側壁であって、車両10の客室の床面から所定の高さの位置に配置されてもよい。また、4台の撮像装置300-15~300-18は、電車の進行方向に対して他方の側の客室の側壁であって、車両10の客室の床面から所定の高さの位置に配置されてもよい。
【0041】
また、各車両に配置される複数の撮像装置300が電車の進行方向に対して左右対称な位置にそれぞれ配置される場合、電車の進行方向に対して一方の側の客室の側壁から所定の範囲内に配置された撮像装置300は、電車の進行方向に対して他方の側の客室の通路、着座シート(座席の上側および下側を含む)、荷物棚(荷物棚の上側を含む)、窓、扉、側壁もしくは天井を撮影可能な車両10の位置に配置されてよい。
【0042】
例えば、撮像装置300-11は、車両10の内部の扉D1-8および着座シートE2-6から所定の範囲内の場所を撮影可能な車両10の位置に配置される。より具体的には、撮像装置300-11は、扉D1-8から所定の範囲内に位置する車両10の内部の通路、扉D1-8、側壁もしくは天井、および、着座シートE2-6から所定の範囲内に位置する車両10の内部の通路、着座シートE2-6(座席の上側および下側を含む)、着座シートE2-6の上部に位置する荷物棚(荷物棚の上側を含む)、窓、側壁もしくは天井を撮影可能な車両10の位置に配置される。
【0043】
また、撮像装置300-12は、車両10の内部の扉D1-7、着座シートE2-6および着座シートE2-5から所定の範囲内の場所を撮影可能な車両10の位置に配置される。より具体的には、撮像装置300-12は、扉D1-7から所定の範囲内に位置する車両10の内部の通路、扉D1-7、側壁もしくは天井、および、着座シートE2-6もしくは着座シートE2-5から所定の範囲内に位置する車両10の内部の通路、着座シートE2-6もしくは着座シートE2-5(座席の上側および下側を含む)、着座シートE2-6もしくは着座シートE2-5の上部に位置する荷物棚(荷物棚の上側を含む)、窓、側壁もしくは天井を撮影可能な車両10の位置に配置される。
【0044】
また、撮像装置300-13は、車両10の内部の扉D1-6、着座シートE2-5および着座シートE2-4から所定の範囲内の場所を撮影可能な車両10の位置に配置される。より具体的には、撮像装置300-13は、扉D1-6から所定の範囲内に位置する車両10の内部の通路、扉D1-6、側壁もしくは天井、および、着座シートE2-5もしくは着座シートE2-4から所定の範囲内に位置する車両10の内部の通路、着座シートE2-5もしくは着座シートE2-4(座席の上側および下側を含む)、着座シートE2-5もしくは着座シートE2-4の上部に位置する荷物棚(荷物棚の上側を含む)、窓、側壁もしくは天井を撮影可能な車両10の位置に配置される。
【0045】
また、撮像装置300-14は、車両10の内部の着座シートE2-4および扉D1-5から所定の範囲内の場所を撮影可能な車両10の位置に配置される。より具体的には、撮像装置300-14は、着座シートE2-4から所定の範囲内に位置する車両10の内部の通路、着座シートE2-4(座席の上側および下側を含む)、着座シートE2-4の上部に位置する荷物棚(荷物棚の上側を含む)、窓、側壁もしくは天井、および、扉D1-5から所定の範囲内に位置する車両10の内部の通路、扉D1-5、側壁もしくは天井を撮影可能な車両10の位置に配置される。
【0046】
また、撮像装置300-15は、車両10の内部の扉D1-4および着座シートE2-3から所定の範囲内の場所を撮影可能な車両10の位置に配置される。より具体的には、撮像装置300-15は、扉D1-4から所定の範囲内に位置する車両10の内部の通路、扉D1-4、側壁もしくは天井、および、着座シートE2-3から所定の範囲内に位置する車両10の内部の通路、着座シートE2-3(座席の上側および下側を含む)、着座シートE2-3の上部に位置する荷物棚(荷物棚の上側を含む)、窓、側壁もしくは天井を撮影可能な車両10の位置に配置される。
【0047】
また、撮像装置300-16は、車両10の内部の扉D1-3、着座シートE2-3および着座シートE2-2から所定の範囲内の場所を撮影可能な車両10の位置に配置される。より具体的には、撮像装置300-16は、扉D1-3から所定の範囲内に位置する車両10の内部の通路、扉D1-3、側壁もしくは天井、および、着座シートE2-3もしくは着座シートE2-2から所定の範囲内に位置する車両10の内部の通路、着座シートE2-3もしくは着座シートE2-2(座席の上側および下側を含む)、着座シートE2-3もしくは着座シートE2-2の上部に位置する荷物棚(荷物棚の上側を含む)、窓、側壁もしくは天井を撮影可能な車両10の位置に配置される。
【0048】
また、撮像装置300-17は、車両10の内部の扉D1-2、着座シートE2-2および着座シートE2-1から所定の範囲内の場所を撮影可能な車両10の位置に配置される。より具体的には、撮像装置300-17は、扉D1-2から所定の範囲内に位置する車両10の内部の通路、扉D1-2、側壁もしくは天井、および、着座シートE2-2もしくは着座シートE2-1から所定の範囲内に位置する車両10の内部の通路、着座シートE2-2もしくは着座シートE2-1(座席の上側および下側を含む)、着座シートE2-2もしくは着座シートE2-1の上部に位置する荷物棚(荷物棚の上側を含む)、窓、側壁もしくは天井を撮影可能な車両10の位置に配置される。
【0049】
また、撮像装置300-18は、車両10の内部の着座シートE2-1および扉D1-1から所定の範囲内の場所を撮影可能な車両10の位置に配置される。より具体的には、撮像装置300-18は、着座シートE2-1から所定の範囲内に位置する車両10の内部の通路、着座シートE2-1(座席の上側および下側を含む)、着座シートE2-1の上部に位置する荷物棚(荷物棚の上側を含む)、窓、側壁もしくは天井、および、扉D1-1から所定の範囲内に位置する車両10の内部の通路、扉D1-1、側壁もしくは天井を撮影可能な車両10の位置に配置される。
【0050】
なお、各車両に配置される複数の撮像装置300が電車の進行方向に対して左右対称な位置にそれぞれ配置される場合に、電車の進行方向に対して一方の側の客室の側壁から所定の範囲内に配置された撮像装置300は、電車の進行方向に対して一方の側の客室の通路、着座シート(座席の上側および下側を含む)、荷物棚(荷物棚の上側を含む)、窓、扉、側壁もしくは天井を撮影可能な車両10の位置に配置されてもよい。
【0051】
上述したように、図2では、撮像システム(図示略)は、8台の撮像装置300-11~300-18を車両10の内部の8つの異なる位置にそれぞれ配置することにより、死角が存在しないように、車両10の内部の空間を網羅的に撮影することができる。また、撮像システム(図示略)は、連結された3つの車両10~30それぞれに8台の撮像装置300をそれぞれ配置することにより、死角が存在しないように、連結された3つの車両10~30それぞれの内部の空間を網羅的に撮影することができる。
【0052】
なお、図2では、各車両に8台の撮像装置300をそれぞれ配置する場合について説明したが、各車両に配置される撮像装置300の数は9台以上であってもよく、7台以下であってもよい。
【0053】
〔2.第1の実施形態〕
図3は、第1の実施形態に係る情報処理の概要を示す図である。図3に示すように、情報処理システム1は、端末装置100と情報処理装置200と撮像装置300と解析装置400とを含む。端末装置100と情報処理装置200と撮像装置300と解析装置400とは、ネットワーク(図示略)を介して有線又は無線で互いに通信可能に接続される。
【0054】
端末装置100は、鉄道車両の運行を管理する管理者A1(以下、管理者A1)によって使用される情報処理装置である。例えば、端末装置100は、スマートフォンやタブレット端末等のスマートデバイス、フィーチャーフォン、PC(Personal Computer)、PDA(Personal Digital Assistant)、通信機能を備えたAV機器、カーナビゲーションシステム、スマートウォッチやヘッドマウントディスプレイ等のウェアラブルデバイス(Wearable Device)、スマートグラス等である。また、端末装置100は、IOT(Internet of Things)に対応した電子機器等であってもよい。
【0055】
なお、鉄道車両の運行を管理する管理者には、鉄道車両の乗務員(例えば、車掌など)および乗務員の役割を果たす人(例えば、終着駅の駅員など)が含まれる。
【0056】
情報処理装置200は、鉄道車両の内部に対応する画像である車両画像(以下、車両画像ともいう)に対する画像解析の解析結果に関する解析情報を取得し、解析情報に基づいて、鉄道車両を識別可能な車両識別情報と、鉄道車両の内部に残留する残留物又は残留者に関する残留物情報とを対応付けた通知情報を生成する情報処理装置である。なお、以下では、各車両の内部に対応する画像である車両画像のことを、各車両の車両画像と記載する場合がある。情報処理装置200は、複数のサーバ装置及び複数のストレージ装置が協働して動作するクラウドシステムにより実現される。なお、情報処理装置200は、単独のサーバ装置により実現されてもよい。
【0057】
撮像装置300は、車両画像を撮像する情報処理装置である。撮像装置300は、1又は連結された複数の鉄道車両内に複数設けられる。また、撮像装置300は、ネットワーク(図示略)を介して、情報処理装置200と通信する機能を備える。なお、撮像装置300は、灯具(例えば、Light Emitting Diode蛍光灯、以下「LED蛍光灯」)又はランプを備えてよい。例えば、撮像装置300は、灯具又はランプと一体化されたLED蛍光灯一体型の防犯カメラであってもよい。
【0058】
解析装置400は、車両画像に基づいて、鉄道車両の内部に残留する残留物又は残留者に関する残留物情報を推定する情報処理装置である。解析装置400は、複数のサーバ装置及び複数のストレージ装置が協働して動作するクラウドシステムにより実現される。なお、解析装置400は、単独のサーバ装置により実現されてもよい。
【0059】
図3の説明に戻る。図3では、端末装置100は、管理者A1から鉄道車両の内部の状況確認に関する操作(以下、確認操作ともいう)を受け付ける(ステップS11)。端末装置100は、確認操作を受け付けた場合、鉄道車両の内部の状況確認に関する要求情報を情報処理装置200に対して送信する(ステップS12)。
【0060】
情報処理装置200は、鉄道車両の内部の状況確認に関する要求情報を端末装置100から受信した場合、車両画像の送信要求に関する要求情報を撮像装置300に対して送信する(ステップS13)。撮像装置300は、車両画像の送信要求に関する要求情報を情報処理装置200から受信した場合、各車両に対応する車両画像を情報処理装置200に対して送信する(ステップS14)。情報処理装置200は、各車両に対応する車両画像を撮像装置300から受信した場合、各車両に対応する車両画像を解析装置400に対して送信する(ステップS15)。また、情報処理装置200は、各車両に対応する車両画像とともに、各車両の内部に残留物及び残留者が存在しない状態で撮影された各車両の内部に対応する画像である正解車両画像を解析装置400に対して送信する。なお、以下では、各車両の内部に対応する画像である正解車両画像のことを、各車両の正解車両画像と記載する場合がある。
【0061】
ここで、残留物とは、鉄道車両の内部に残留する物を指す。例えば、残留物は、乗客または乗務員が鉄道車両の内部に忘れたり落としたりした物(遺失物ともいう)を含む。また、残留者とは、鉄道車両の内部に残留する人を指す。例えば、残留者は、鉄道車両の内部に残っている乗客または乗務員を含む。
【0062】
解析装置400は、各車両の車両画像を情報処理装置200から受信した場合、各車両の車両画像に対する画像解析を行う(ステップS16)。具体的には、解析装置400は、各車両の正解車両画像と、各車両の車両画像との差分を抽出した差分画像に関する情報を生成する。続いて、解析装置400は、各車両の差分画像に関する情報に基づいて、各車両の内部に残留する残留物又は残留者に関する残留物情報を推定する。例えば、解析装置400は、残留物情報として、各車両の内部に残留する残留物又は残留者の有無を示す情報を推定する。続いて、解析装置400は、各車両の車両画像に対する画像解析の解析結果に関する情報である解析情報を情報処理装置200に対して送信する(ステップS17)。例えば、解析装置400は、解析情報として、各車両の内部に残留する残留物又は残留者に関する残留物情報を送信する。
【0063】
情報処理装置200は、各車両の車両画像に対する画像解析の解析結果に関する情報である解析情報を解析装置400から取得する。例えば、情報処理装置200は、解析情報として、各車両の内部に残留する残留物又は残留者に関する残留物情報を取得する。続いて、情報処理装置200は、解析情報に基づいて、各車両を識別可能な車両識別情報と、各車両の内部に残留する残留物又は残留者に関する残留物情報とを対応付けた通知情報を生成する(ステップS18)。続いて、情報処理装置200は、通知情報を生成した場合、生成した通知情報を端末装置100に対して送信する(ステップS19)。
【0064】
端末装置100は、情報処理装置200から通知情報を受信した場合、通知情報を画面に表示する(ステップS110)。
【0065】
〔2-1.端末装置の構成〕
図4は、第1の実施形態に係る端末装置の構成例を示す図である。図4に示すように、端末装置100は、通信部110と、記憶部120と、センサ部130と、入力部140と、出力部150と、制御部160を有する。
【0066】
(通信部110)
通信部110は、ネットワークと有線または無線で接続され、情報処理装置200との間で情報の送受信を行う。例えば、通信部110は、NIC(Network Interface Card)やアンテナ等によって実現される。
【0067】
(記憶部120)
記憶部120は、種々の情報を記憶する。例えば、記憶部120は、鉄道車両の内部の状況確認に関する操作を行うための操作画面および情報処理装置200から受信した通知情報を表示するためのアプリケーションAP1に関する情報を記憶する。記憶部120は、例えば、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。
【0068】
(センサ部130)
センサ部130は、端末装置100に搭載または接続される各種のセンサを含む。なお、接続は、有線接続、無線接続を問わない。例えば、センサ類は、ウェアラブルデバイスやワイヤレスデバイス等、端末装置100以外の検知装置であってもよい。
【0069】
(入力部140)
入力部140は、管理者A1から各種操作を受け付ける入力デバイスである。例えば、入力部140は、文字や数字等を入力するためのボタン等を有する。なお、入力部140は、入出力ポート(I/O port)やUSB(Universal Serial Bus)ポート等であってもよい。また、出力部150がタッチパネル式のディスプレイである場合、出力部150の一部が入力部140として機能する。また、入力部140は、管理者A1から音声入力を受け付けるマイク等であってもよい。マイクはワイヤレスであってもよい。
【0070】
(出力部150)
出力部150は、各種情報を表示する表示デバイスである。例えば、出力部150は、液晶ディスプレイ(LCD:Liquid Crystal Display)や有機ELディスプレイ(Organic Electro-Luminescent Display)等によって実現される表示画面である。出力部150は、制御部160の制御に従って、各種情報を表示する。例えば、出力部150は、鉄道車両の内部の状況確認に関する操作を行うための操作画面および受信部163が受信した通知情報を表示する。なお、端末装置100にタッチパネルが採用される場合には、入力部140と出力部150とは一体化される。また、以下の説明では、出力部150を画面と記載する場合がある。
【0071】
(制御部160)
制御部160は、コントローラ(controller)であり、例えば、CPU(Central Processing Unit)やMPU(Micro Processing Unit)等によって、端末装置100内部の記憶装置に記憶されている各種プログラムがRAMを作業領域として実行されることにより実現される。また、制御部160は、コントローラであり、例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路により実現される。
【0072】
制御部160は、受付部161と、送信部162と、受信部163を機能部として有し、以下に説明する情報処理の作用を実現または実行してよい。なお、制御部160の内部構成は、図4に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。また、各機能部は、制御部160の機能を示したものであり、必ずしも物理的に区別されるものでなくともよい。
【0073】
(受付部161)
受付部161は、管理者A1から鉄道車両の内部の状況確認に関する操作(確認操作ともいう)を受け付ける。具体的には、受付部161は、入力部140を介して、管理者A1から確認操作を受け付ける。
【0074】
より具体的には、受付部161は、入力部140を介して、管理者A1からアプリケーションAP1の起動操作を受け付ける。出力部150は、受付部161がアプリケーションAP1の起動操作を受け付けた場合、鉄道車両の内部の状況確認に関する操作を行うための操作画面を表示する。図8は、第1の実施形態に係る操作画面の一例を示す図である。図8に示す例では、出力部150は、受付部161がアプリケーションAP1の起動操作を受け付けた場合、確認したい車両を選択する操作を行うための操作画面を表示する。例えば、出力部150は、1号車を選択する際に選択する操作ボタンB1、2号車を選択する際に選択する操作ボタンB2、3号車を選択する際に選択する操作ボタンB3、および、4号車以後の車両を選択する際に選択する操作ボタンB4を含む操作画面を表示する。受付部161は、確認操作の一例として、入力部140を介して、管理者A1から確認したい車両に対応する操作ボタンを選択する選択操作を受け付ける。例えば、受付部161は、操作ボタンB1を選択する選択操作を受け付ける。
【0075】
また、図8に示す例では、出力部150は、車両の編成を確認する際に選択する操作ボタンB5を含む操作画面を表示する。受付部161は、確認操作の一例として、入力部140を介して、操作ボタンB5を選択する操作を受け付けてもよい。出力部150は、受付部161が操作ボタンB5を選択する操作を受け付けた場合、電車を構成する車両の編成を確認できる編成画面を表示する。例えば、出力部150は、各車両を示すブロックと、各車両を識別可能な車両識別情報とを対応付けた編成画面を表示する。例えば、出力部150は、電車が10両編成である場合、1号車~10号車を示す10個のブロックと、1号車~10号車を識別可能な番号(例えば、1~10の番号など)とをそれぞれ対応付けた編成画面を表示する。受付部161は、確認操作の一例として、入力部140を介して、管理者A1から確認したい車両に対応するブロックを選択する選択操作を受け付ける。
【0076】
また、受付部161は、確認操作の一例として、複数の操作ボタンを同時に選択する操作を受け付けてもよい。例えば、受付部161は、操作ボタンB1~B3を同時に選択する操作を受け付けてもよい。
【0077】
(送信部162)
送信部162は、受付部161が確認操作を受け付けた場合、鉄道車両の内部の状況確認に関する要求情報を情報処理装置200に対して送信する。具体的には、送信部162は、通信部110を介して、受付部161が受け付けた選択操作によって選択された操作ボタンに対応する車両の内部の状況確認に関する要求情報を送信する。例えば、送信部162は、受付部161が操作ボタンB1を選択する選択操作を受け付けた場合、操作ボタンB1に対応する1号車の内部の状況確認に関する要求情報を送信する。
【0078】
また、送信部162は、通信部110を介して、受付部161が受け付けた選択操作によって選択された編成画面のブロックに対応する車両の内部の状況確認に関する要求情報を送信する。例えば、送信部162は、受付部161が編成画面の中の5号車に対応するブロックを選択する選択操作を受け付けた場合、5号車の内部の状況確認に関する要求情報を送信する。
【0079】
また、送信部162は、受付部161が複数の操作ボタンを同時に選択する操作を受け付けた場合、複数の操作ボタンそれぞれに対応する複数の車両それぞれの内部の状況確認に関する要求情報を送信してよい。例えば、送信部162は、受付部161が操作ボタンB1~B3を同時に選択する操作を受け付けた場合、操作ボタンB1~B3それぞれに対応する1号車~3号車それぞれの内部の状況確認に関する要求情報を送信する。
【0080】
(受信部163)
受信部163は、鉄道車両を識別可能な車両識別情報と、鉄道車両の内部に残留する残留物又は残留者に関する残留物情報とを対応付けた通知情報を情報処理装置200から受信する。具体的には、受信部163は、送信部162が送信した要求情報に対応する各車両を識別可能な車両識別情報と、送信部162が送信した要求情報に対応する各車両に残留する残留物又は残留者に関する残留物情報とを対応付けた通知情報を受信する。
【0081】
図9は、第1の実施形態に係る通知画面の一例を示す図である。図9では、送信部162が、あらかじめ、図8に示す操作ボタンB1~B3それぞれに対応する1号車~3号車それぞれの内部の状況確認に関する要求情報を送信した場合を示す。受信部163は、送信部162が送信した要求情報に対応する1号車~3号車それぞれを識別可能な車両識別情報と、送信部162が送信した要求情報に対応する1号車~3号車それぞれに残留する残留物又は残留者に関する残留物情報とをそれぞれ対応付けた通知情報を受信する。例えば、受信部163は、車両識別情報の一例として、1号車~3号車それぞれを識別可能な文字である「1号車」~「3号車」と、残留物情報の一例として、1号車~3号車それぞれの内部に対応する車両画像G1~G3とをそれぞれ対応付けた通知情報を受信する。
【0082】
出力部150は、受信部163が受信した通知情報を表示する。出力部150は、受信部163が受信した通知情報に対応する通知画面を表示する。具体的には、出力部150は、送信部162が送信した要求情報に対応する各車両を識別可能な車両識別情報と、送信部162が送信した要求情報に対応する各車両に残留する残留物又は残留者に関する残留物情報とをそれぞれ対応付けた通知画面を表示する。図9では、出力部150は、受信部163が受信した1号車~3号車それぞれを識別可能な文字である「1号車」~「3号車」と、受信部163が受信した1号車~3号車それぞれの内部に対応する車両画像G1~G3とをそれぞれ対応付けた通知画面を表示する。例えば、出力部150は、3つの車両画像G1~G3が画面上に並べて表示された通知画面を表示する。
【0083】
また、出力部150は、複数の車両画像を画面上に並べて表示する場合、残留物および残留者が存在しない車両の車両画像よりも、残留物または残留者が存在する車両の車両画像を視覚的に強調して表示してよい。例えば、出力部150は、残留物および残留者が存在しない車両の車両画像の表示領域よりも、残留物または残留者が存在する車両の車両画像の表示領域の面積を大きくしてよい。図9では、1号車および2号車には残留物および残留者が存在せず、3号車には残留物および残留者が存在した。このとき、出力部150は、残留物および残留者が存在しない1号車および2号車の車両画像G1およびG2の表示領域よりも、残留物および残留者が存在する3号車の車両画像G3の表示領域の面積を大きくする。
【0084】
また、出力部150は、残留物または残留者が存在する車両の車両画像を表示する場合、残留物を含む領域または残留者を含む領域を視覚的に強調して表示してよい。図9では、出力部150は、残留物を含む領域G31および残留者を含む領域G32をそれぞれ拡大表示し、さらに、残留物を含む領域G31および残留者を含む領域G32をそれぞれ太枠で囲むことにより、視覚的に強調して表示する。また、出力部150は、残留物を含む領域または残留者を含む領域を視覚的に強調したうえで、残留物または残留者が存在する車両の車両画像の表示領域に重畳して表示してよい。図9では、出力部150は、残留物を含む領域G31および残留者を含む領域G32を視覚的に強調したうえで、車両画像G3の表示領域に重畳して表示する。
【0085】
〔2-2.情報処理装置の構成〕
図5は、第1の実施形態に係る情報処理装置の構成例を示す図である。図5に示すように、情報処理装置200は、通信部210と、記憶部220と、制御部230を有する。
【0086】
(通信部210)
通信部210は、ネットワークと有線または無線で接続され、端末装置100や撮像装置300や解析装置400との間で情報の送受信を行う。例えば、通信部210は、NICやアンテナ等によって実現される。
【0087】
(記憶部220)
記憶部220は、種々の情報を記憶する。具体的には、記憶部220は、撮像装置300から受信した各車両に対応する車両画像に関する情報を記憶する。例えば、記憶部220は、車両画像と、車両画像を撮像した撮像装置300を識別可能なカメラ識別情報とを対応付けた情報を記憶する。また、記憶部220は、撮像装置300を識別可能なカメラ識別情報と、撮像装置300が設置されている鉄道車両を識別可能な車両識別情報と、撮像装置300によって撮影可能な車両内の場所を識別可能な場所識別情報とを紐づけた情報を記憶する。また、記憶部220は、解析装置400から取得した解析結果に関する情報を記憶する。記憶部220は、例えば、RAM、フラッシュメモリ等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。
【0088】
(制御部230)
制御部230は、コントローラであり、例えば、CPUやMPU等によって、情報処理装置200内部の記憶装置に記憶されている各種プログラム(情報処理プログラムの一例)がRAMを作業領域として実行されることにより実現される。また、制御部230は、コントローラであり、例えば、ASICやFPGA等の集積回路により実現される。
【0089】
制御部230は、取得部231と、生成部232と、通知部233を機能部として有し、以下に説明する情報処理の作用を実現または実行してよい。なお、制御部230の内部構成は、図5に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。また、各機能部は、制御部230の機能を示したものであり、必ずしも物理的に区別されるものでなくともよい。
【0090】
(取得部231)
取得部231は、通信部210を介して、鉄道車両の内部の状況確認に関する要求情報を端末装置100から受信する。取得部231は、鉄道車両の内部の状況確認に関する要求情報を受信した場合、車両画像の送信要求に関する要求情報を撮像装置300に対して送信する。
【0091】
また、取得部231は、通信部210を介して、各車両に対応する車両画像を撮像装置300から受信する。取得部231は、各車両に対応する車両画像を受信した場合、各車両に対応する車両画像を解析装置400に対して送信する。また、取得部231は、各車両に対応する車両画像とともに、各車両の内部に残留物及び残留者が存在しない状態で撮影された各車両の内部に対応する画像である正解車両画像を解析装置400に対して送信する。なお、取得部231は、各車両に対応する車両画像を送信する前に、あらかじめ、各車両の正解車両画像を解析装置400に対して送信しておいてもよい。
【0092】
また、取得部231は、通信部210を介して、鉄道車両の内部に対応する画像である車両画像に対する画像解析の解析結果に関する解析情報を解析装置400から取得する。具体的には、取得部231は、鉄道車両の運行を管理する管理者A1によって使用される端末装置100から鉄道車両の内部の状況確認に関する要求情報を受信した場合に、解析情報を取得する。
【0093】
また、取得部231は、解析情報として、残留物及び残留者が存在しない鉄道車両の内部に対応する画像である正解車両画像と、車両画像との差分を抽出した差分画像に関する情報を取得する。具体的には、取得部231は、解析情報として、解析装置400により各車両の差分画像に関する情報に基づいて推定された各車両の内部に残留する残留物又は残留者に関する残留物情報を取得する。なお、以下では、各車両の内部に残留する残留物又は残留者に関する残留物情報のことを、各車両の残留物情報と記載する場合がある。より具体的には、取得部231は、解析情報として、各車両の残留物情報と、各車両の車両画像を撮像した撮像装置300を識別可能なカメラ識別情報とを対応付けた情報を取得する。
【0094】
また、取得部231は、連結された複数の鉄道車両それぞれの内部に対応する画像である車両画像に対する画像解析の解析結果に関する情報である解析情報を取得する。取得部231は、解析情報として、連結された複数の鉄道車両それぞれの正解車両画像と、連結された複数の鉄道車両それぞれの車両画像との差分をそれぞれ抽出した差分画像に関する情報をそれぞれ取得する。具体的には、取得部231は、解析情報として、解析装置400により、連結された複数の鉄道車両それぞれの差分画像に関する情報に基づいて推定された連結された複数の鉄道車両それぞれの内部に残留する残留物又は残留者に関する残留物情報をそれぞれ取得する。より具体的には、取得部231は、解析情報として、連結された複数の鉄道車両それぞれの残留物情報と、連結された複数の鉄道車両それぞれの車両画像をそれぞれ撮像した複数の撮像装置300それぞれを識別可能な複数のカメラ識別情報それぞれとを対応付けた情報を取得する。
【0095】
また、取得部231は、鉄道車両の内部の異なる場所それぞれに対応する画像である車両画像に対する画像解析の解析結果に関する情報である解析情報を取得する。ここで、鉄道車両の内部の異なる場所それぞれに対応する画像である車両画像とは、鉄道車両の内部の異なる場所それぞれを撮影する位置に配置された複数の撮像装置300それぞれによって撮影された車両画像のことを指す。また、以下では、鉄道車両の内部の異なる場所それぞれに対応する画像である車両画像のことを、鉄道車両の内部の異なる場所それぞれの車両画像と記載する場合がある。また、以下では、鉄道車両の内部の異なる場所それぞれに対応する画像である正解車両画像のことを、鉄道車両の内部の異なる場所それぞれの正解車両画像と記載する場合がある。取得部231は、解析情報として、解析装置400により、鉄道車両の内部の異なる場所それぞれの正解車両画像と、鉄道車両の内部の異なる場所それぞれの車両画像との差分をそれぞれ抽出した差分画像に関する情報をそれぞれ取得する。具体的には、取得部231は、解析情報として、解析装置400により、鉄道車両の内部の異なる場所それぞれの差分画像に関する情報に基づいて推定された鉄道車両の内部の異なる場所それぞれに残留する残留物又は残留者に関する残留物情報をそれぞれ取得する。
【0096】
(生成部232)
生成部232は、解析情報に基づいて、鉄道車両を識別可能な車両識別情報と、鉄道車両の内部に残留する残留物又は残留者に関する残留物情報とを対応付けた通知情報を生成する。具体的には、生成部232は、取得部231が取得した解析情報に基づいて、通知情報を生成する。より具体的には、生成部232は、取得部231が取得した各車両の内部に残留する残留物又は残留者に関する残留物情報に基づいて、通知情報を生成する。例えば、生成部232は、取得部231が取得した各車両の残留物情報と各車両の車両画像を撮像した撮像装置300を識別可能なカメラ識別情報とを対応付けた情報に基づいて、通知情報を生成する。例えば、生成部232は、記憶部220を参照して、取得部231が取得した各車両の車両画像を撮像した撮像装置300を識別可能なカメラ識別情報と紐づけられた車両識別情報を特定する。続いて、生成部232は、各車両の車両画像を撮像した撮像装置300を識別可能なカメラ識別情報と紐づけられた車両識別情報と、各車両の内部に残留する残留物又は残留者に関する残留物情報とを対応付けた通知情報を生成する。
【0097】
また、生成部232は、解析情報に基づいて、連結された複数の鉄道車両それぞれを識別可能な車両識別情報と、連結された複数の鉄道車両それぞれの内部に残留する残留物又は残留者に関する情報である残留物情報とを対応付けた通知情報を生成する。例えば、生成部232は、記憶部220を参照して、取得部231が取得した連結された複数の鉄道車両それぞれの車両画像を撮像した複数の撮像装置300それぞれを識別可能な複数のカメラ識別情報それぞれと紐づけられた車両識別情報を特定する。続いて、生成部232は、連結された複数の鉄道車両それぞれの車両画像を撮像した複数の撮像装置300それぞれを識別可能な複数のカメラ識別情報それぞれと紐づけられた車両識別情報と、連結された複数の鉄道車両それぞれの内部に残留する残留物又は残留者に関する情報である残留物情報とを対応付けた通知情報を生成する。
【0098】
また、生成部232は、解析情報に基づいて、鉄道車両の内部の異なる場所それぞれを識別可能な場所識別情報と、鉄道車両の内部の異なる場所それぞれに残留する残留物又は残留者に関する情報である残留物情報とを対応付けた通知情報を生成する。例えば、生成部232は、記憶部220を参照して、取得部231が取得した各車両の車両画像を撮像した撮像装置300を識別可能なカメラ識別情報と紐づけられた車両識別情報および場所識別情報を特定する。続いて、生成部232は、各車両の車両画像を撮像した撮像装置300を識別可能なカメラ識別情報と紐づけられた車両識別情報および場所識別情報と、各車両の内部の異なる場所それぞれに残留する残留物又は残留者に関する情報である残留物情報とを対応付けた通知情報を生成する。
【0099】
また、生成部232は、車両識別情報の一例として、各車両を識別可能な文字または数字と、残留物情報の一例として、各車両の車両画像とをそれぞれ対応付けた通知情報を生成する。また、生成部232は、残留物情報の一例として、各車両の内部に残留する残留物又は残留者の有無を示す文字情報と、車両識別情報とをそれぞれ対応付けた通知情報を生成してもよい。また、生成部232は、残留物情報の一例として、各車両の内部に残留する残留物又は残留者の位置を示す文字情報と、車両識別情報および場所識別情報とをそれぞれ対応付けた通知情報を生成してもよい。
【0100】
(通知部233)
通知部233は、通信部210を介して、端末装置100に対して生成部232が生成した通知情報を送信する。
【0101】
〔2-3.撮像装置の構成〕
図6は、第1の実施形態に係る撮像装置の構成例を示す図である。図6に示すように、撮像装置300は、通信部310と、記憶部320と、撮像部330と、制御部340を有する。
【0102】
(通信部310)
通信部310は、ネットワークと有線または無線で接続され、情報処理装置200との間で情報の送受信を行う。例えば、通信部310は、NICやアンテナ等によって実現される。
【0103】
(記憶部320)
記憶部320は、種々の情報を記憶する。具体的には、記憶部320は、撮像部330によって撮像された画像に関する情報を記憶する。例えば、記憶部320は、撮像部330によって撮像された画像と、撮像装置300を識別可能なカメラ識別情報とを対応付けた情報を記憶する。また、記憶部320は、撮像装置300を識別可能なカメラ識別情報と、撮像装置300が設置されている鉄道車両を識別可能な車両識別情報と、撮像装置300によって撮影可能な車両内の場所を識別可能な場所識別情報とを紐づけた情報を記憶する。例えば、RAM、フラッシュメモリ等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。
【0104】
(撮像部330)
撮像部330は、被写体を撮影する画像センサ(カメラ)である。具体的には、撮像部330は、鉄道車両の内部に対応する画像である車両画像を撮像する。例えば、撮像部330は、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサやCCD(Charge-Coupled Device)イメージセンサ等によって実現される。なお、撮像部330は、内蔵カメラに限らず、撮像装置300と通信可能なワイヤレスカメラや、Webカメラなどの外付けカメラであってもよい。
【0105】
(制御部340)
制御部340は、コントローラであり、例えば、CPUやMPU等によって、撮像装置300内部の記憶装置に記憶されている各種プログラムがRAMを作業領域として実行されることにより実現される。また、制御部340は、コントローラであり、例えば、ASICやFPGA等の集積回路により実現される。
【0106】
制御部340は、受信部341と、送信部342を機能部として有し、以下に説明する情報処理の作用を実現または実行してよい。なお、制御部340の内部構成は、図6に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。また、各機能部は、制御部340の機能を示したものであり、必ずしも物理的に区別されるものでなくともよい。
【0107】
(受信部341)
受信部341は、通信部310を介して、車両画像の送信要求に関する要求情報を情報処理装置200から受信する。
【0108】
(送信部342)
送信部342は、受信部341が車両画像の送信要求に関する要求情報を受信した場合、通信部310を介して、各車両に対応する車両画像を情報処理装置200に対して送信する。例えば、送信部342は、記憶部320を参照して、受信部341が受信した要求情報に対応する車両の車両画像を送信する。
【0109】
〔2-4.解析装置の構成〕
図7は、第1の実施形態に係る解析装置の構成例を示す図である。図7に示すように、解析装置400は、通信部410と、記憶部420と、制御部430を有する。
【0110】
(通信部410)
通信部410は、ネットワークと有線または無線で接続され、情報処理装置200との間で情報の送受信を行う。例えば、通信部410は、NICやアンテナ等によって実現される。
【0111】
(記憶部420)
記憶部420は、種々の情報を記憶する。例えば、記憶部420は、情報処理装置200から取得した画像に関する情報を記憶する。記憶部420は、例えば、RAM、フラッシュメモリ等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。
【0112】
(制御部430)
制御部430は、コントローラであり、例えば、CPUやMPU等によって、解析装置400内部の記憶装置に記憶されている各種プログラムがRAMを作業領域として実行されることにより実現される。また、制御部430は、コントローラであり、例えば、ASICやFPGA等の集積回路により実現される。
【0113】
制御部430は、取得部431と、推定部432と、送信部433を機能部として有し、以下に説明する情報処理の作用を実現または実行してよい。なお、制御部430の内部構成は、図7に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。また、各機能部は、制御部430の機能を示したものであり、必ずしも物理的に区別されるものでなくともよい。
【0114】
(取得部431)
取得部431は、通信部410を介して、各車両の車両画像を情報処理装置200から受信する。具体的には、取得部431は、各車両の車両画像と、各車両の車両画像を撮像した撮像装置300を識別可能なカメラ識別情報とを対応付けた情報を取得する。
【0115】
(推定部432)
推定部432は、取得部431が各車両の車両画像を受信した場合、各車両の車両画像に対する画像解析を行う。具体的には、推定部432は、各車両の正解車両画像と、各車両の車両画像との差分を抽出した差分画像に関する情報を生成する。続いて、推定部432は、各車両の車両画像に対する画像解析の解析結果に関する情報である解析情報として、各車両の差分画像に関する情報に基づいて、各車両の内部に残留する残留物又は残留者に関する残留物情報を推定する。
【0116】
より具体的には、推定部432は、残留物情報の一例として、各車両の内部に残留する残留物又は残留者の有無を示す情報を推定する。例えば、推定部432は、各車両の差分画像の中に、各車両の正解車両画像と各車両の車両画像との差分に相当する領域(以下、差分領域ともいう)が存在するか否かを判定する。推定部432は、各車両の差分画像の中に差分領域が存在すると判定した場合、各車両の内部に残留物又は残留者が存在すると推定する。一方、推定部432は、各車両の差分画像の中に差分領域が存在しないと判定した場合、各車両の内部に残留物および残留者が存在しないと推定する。
【0117】
また、推定部432は、残留物情報の一例として、鉄道車両の内部における残留物又は残留者の位置を示す情報を推定する。例えば、推定部432は、特定の車両の内部に残留物又は残留者が存在すると推定した場合、特定の車両の差分画像における差分領域の位置を推定する。例えば、推定部432は、特定の車両の差分画像における差分領域の位置を示す2次元座標を特定する。また、推定部432は、特定の車両の正解車両画像における各対象物の領域の位置を示す2次元座標を推定する。例えば、推定部432は、特定の車両の正解車両画像における客室の通路、着座シート、荷物棚、窓、扉、側壁もしくは天井の領域の位置を示す2次元座標を推定する。
【0118】
続いて、推定部432は、特定の車両の差分画像における差分領域の位置を示す2次元座標と、特定の車両の正解車両画像における各対象物の領域の位置を示す2次元座標との比較に基づいて、特定の車両の差分画像における差分領域に含まれる残留物又は残留者の特定の車両における3次元の位置を推定する。例えば、特定の車両の差分画像における差分領域の位置を示す2次元座標が、特定の車両の正解車両画像における客室の着座シートの座席の領域の位置を示す2次元座標と一致する場合、推定部432は、特定の車両の差分画像における差分領域に含まれる残留物又は残留者が、特定の車両における客室の着座シートの座席の位置にあると推定する。
【0119】
(送信部433)
送信部433は、通信部410を介して、推定部432による各車両の車両画像に対する画像解析の解析結果に関する情報である解析情報を情報処理装置200に対して送信する。具体的には、送信部433は、解析情報として、推定部432が推定した各車両の内部に残留する残留物又は残留者に関する残留物情報と、各車両の車両画像を撮像した撮像装置300を識別可能なカメラ識別情報とを対応付けた情報を送信する。
【0120】
〔3.第2の実施形態〕
ここから、第2の実施形態について説明する。第2の実施形態では、撮像装置300が、解析装置400の推定部432に相当する機能を備える場合について説明する。なお、第1の実施形態と同様の点については、適宜説明を省略する。
【0121】
図10は、第2の実施形態に係る情報処理の概要を示す図である。図10に示す情報処理システム1Aは、解析装置400を含まない点が図3に示す情報処理システム1と異なる。図10に示すように、情報処理システム1Aは、端末装置100と情報処理装置200と撮像装置300とを含む。端末装置100と情報処理装置200と撮像装置300とは、ネットワーク(図示略)を介して有線又は無線で互いに通信可能に接続される。
【0122】
撮像装置300Aは、車両画像を撮像し、車両画像に基づいて、鉄道車両の内部に残留する残留物又は残留者に関する残留物情報を推定する情報処理装置である。撮像装置300Aは、1又は連結された複数の鉄道車両内に複数設けられる。また、撮像装置300Aは、ネットワーク(図示略)を介して、情報処理装置200と通信する機能を備える。なお、撮像装置300Aは、灯具(例えば、LED蛍光灯)又はランプを備えてよい。例えば、撮像装置300Aは、灯具又はランプと一体化されたLED蛍光灯一体型の防犯カメラであってもよい。
【0123】
また、撮像システムは、少なくとも1台の撮像装置300Aを含む。例えば、撮像システムは、少なくとも1台の撮像装置300Aと、複数の撮像装置300を含む。なお、撮像システムは、複数の撮像装置300Aを含んでもよい。
【0124】
図10の説明に戻る。図10では、端末装置100は、管理者A1から鉄道車両の内部の状況確認に関する操作(以下、確認操作ともいう)を受け付ける(ステップS21)。端末装置100は、確認操作を受け付けた場合、鉄道車両の内部の状況確認に関する要求情報を情報処理装置200に対して送信する(ステップS22)。
【0125】
情報処理装置200は、鉄道車両の内部の状況確認に関する要求情報を端末装置100から受信した場合、鉄道車両の内部の状況確認に関する要求情報を撮像装置300Aに対して送信する(ステップS23)。撮像装置300Aは、鉄道車両の内部の状況確認に関する要求情報を情報処理装置200から受信した場合、図3で説明した解析装置400と同様にして、各車両の車両画像に対する画像解析を行う(ステップS24)。続いて、撮像装置300Aは、各車両の車両画像に対する画像解析の解析結果に関する情報である解析情報を情報処理装置200に対して送信する(ステップS25)。
【0126】
情報処理装置200は、各車両の車両画像に対する画像解析の解析結果に関する情報である解析情報を撮像装置300Aから取得する。続いて、情報処理装置200は、解析情報に基づいて、各車両を識別可能な車両識別情報と、各車両の内部に残留する残留物又は残留者に関する残留物情報とを対応付けた通知情報を生成する(ステップS26)。続いて、情報処理装置200は、通知情報を生成した場合、生成した通知情報を端末装置100に対して送信する(ステップS27)。
【0127】
端末装置100は、情報処理装置200から通知情報を受信した場合、通知情報を画面に表示する(ステップS28)。
【0128】
〔3-1.撮像装置の構成〕
図11は、第2の実施形態に係る撮像装置の構成例を示す図である。図11に示すように、撮像装置300Aは、通信部310と、記憶部320と、撮像部330と、制御部340Aを有する。なお、撮像装置300Aにおいて、撮像装置300と同様の点は適宜説明を省略する。
【0129】
(制御部340A)
制御部340Aは、コントローラであり、例えば、CPUやMPU等によって、撮像装置300A内部の記憶装置に記憶されている各種プログラムがRAMを作業領域として実行されることにより実現される。また、制御部340Aは、コントローラであり、例えば、ASICやFPGA等の集積回路により実現される。
【0130】
制御部340Aは、受信部341と、送信部342と、推定部343Aを機能部として有し、以下に説明する情報処理の作用を実現または実行してよい。なお、制御部340Aの内部構成は、図11に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。また、各機能部は、制御部340Aの機能を示したものであり、必ずしも物理的に区別されるものでなくともよい。
【0131】
(受信部341)
受信部341は、通信部310を介して、鉄道車両の内部の状況確認に関する要求情報を情報処理装置200から受信する。
【0132】
(送信部342)
送信部342は、通信部310を介して、各車両の車両画像に対する画像解析の解析結果に関する情報である解析情報を情報処理装置200に対して送信する。
【0133】
(推定部343A)
推定部343Aは、第1の実施形態に係る推定部432と同様にして、車両画像に基づいて、鉄道車両の内部に残留する残留物又は残留者に関する残留物情報を推定する。具体的には、推定部343Aは、受信部341が鉄道車両の内部の状況確認に関する要求情報を受信した場合、残留物情報を推定する。例えば、推定部343Aは、残留物及び残留者が存在しない鉄道車両の内部に対応する画像である正解車両画像と、車両画像との差分を抽出した差分画像に基づいて、残留物情報を推定する。また、推定部343Aは、残留物情報として、残留物又は残留者の有無を示す情報を推定する。また、推定部343Aは、残留物情報として、鉄道車両の内部における残留物又は残留者の位置を示す情報を推定する。
【0134】
なお、上述した撮像装置300Aは、灯具(例えば、LED蛍光灯)又はランプをさらに備えてよい。例えば、撮像装置300Aは、灯具又はランプと一体化されたLED蛍光灯一体型の防犯カメラであってもよい。
【0135】
〔4.変形例〕
第1~第2の実施形態では、処理の一例について説明した。しかしながら、各実施形態は、これに限定されるものではない。以下、処理の変形例等について説明する。
【0136】
〔4-1.画像認識処理に基づく残留物情報の推定〕
上述した第1~第2の実施形態では、推定部432または推定部343Aが、正解車両画像と車両画像との差分を抽出した差分画像に基づいて、残留物情報を推定する場合について説明した。変形例では、推定部432または推定部343Aが、車両画像に対する画像認識処理の処理結果に関する情報に基づいて、残留物情報を推定する場合について説明する。
【0137】
具体的には、推定部432または推定部343Aは、車両画像に対する機械学習モデルを用いた画像認識処理の処理結果に基づいて、残留物情報を推定する。例えば、推定部432または推定部343Aは、物体検出の技術やセグメンテーションの技術を用いて、車両画像に含まれる対象物を検出する。例えば、推定部432または推定部343Aは、画像が入力情報として入力された場合に、画像に含まれる対象物のクラスおよび位置に関する情報を出力情報として出力するよう学習された第1の機械学習モデルを用いて、車両画像に含まれる対象物のクラスおよび位置を推定する。例えば、推定部432または推定部343Aは、第1の機械学習モデルを用いて、車両画像に含まれる客室の通路、着座シート、荷物棚、窓、扉、側壁、天井、残留物または残留者を検出する。続いて、推定部432または推定部343Aは、車両画像に含まれる対象物が検出された場合、車両画像に含まれる対象物の中から、客室の通路、着座シート、荷物棚、窓、扉、側壁または天井を除いた対象物を特定する。続いて、推定部432または推定部343Aは、特定した対象物を残留物または残留者と推定する。
【0138】
〔4-2.トリガーの自動化〕
上述した第1~第2の実施形態では、端末装置100が管理者A1から鉄道車両の内部の状況確認に関する操作を受け付けたことを契機として、情報処理装置200が解析情報を取得する場合について説明した。変形例では、情報処理装置200が解析情報を取得するためのトリガーを自動化する場合について説明する。これにより、情報処理システム1は、管理者A1の負担をさらに軽減することができる。
【0139】
〔4-2-1.位置情報の活用(ジオフェンス)〕
具体的には、あらかじめ、特定の位置に対応する位置座標から第1の範囲内のエリアにジオフェンスを設定する。例えば、特定の位置は、鉄道車両が到着する駅または車庫から第2の範囲内に位置する。
【0140】
また、端末装置100は、GPS(Global Positioning System)などを利用して、自己位置を特定する機能を備える。例えば、端末装置100のセンサ部130は、GNSS(Global Navigation Satellite System)を備える。GNSSセンサは、GNSSを利用して、航法衛星から送信された測位用データを含む電波を受信する。当該測位用データは、緯度及び経度情報等から端末装置100の絶対的な位置を検出するために用いられる。なお、利用されるGNSSは、例えば、GPSであってもよいし、他のシステムであっても構わない。また、センサ部130は、GNSSセンサが生成した測位用データを制御部160に出力する。制御部160は、測位用データに基づいて、端末装置100の自己位置を特定する。
【0141】
また、端末装置100は、鉄道車両に搭載される。例えば、端末装置100は、鉄道車両の先頭付近(例えば、乗務員室)に設置される。このとき、鉄道車両が特定の位置に対応する位置座標から第1の範囲内のエリアに侵入すると、端末装置100も特定の位置に対応する位置座標から第1の範囲内のエリアに侵入する。端末装置100は、自己位置を特定した場合、自己位置の位置情報を情報処理装置200に対して送信する。情報処理装置200の取得部231は、鉄道車両に搭載された端末装置100の位置情報を取得する。取得部231は、端末装置100の位置情報を取得した場合、鉄道車両に搭載された端末装置100の位置情報に基づいて、特定の位置に対応する位置座標から第1の範囲内のエリアに鉄道車両が侵入したことを検出する。取得部231は、特定の位置に対応する位置座標から第1の範囲内のエリアに鉄道車両が侵入したことを検出した場合、解析情報を取得する。
【0142】
〔4-2-2.センサの活用〕
具体的には、端末装置100のセンサ部130は、近距離無線通信に対応した送信機または受信機を備える。例えば、センサ部130は、無線LAN(Local Area Network)通信または無線PAN(Personal Area Network)通信に対応した送信機または受信機を備える。例えば、センサ部130は、Bluetooth(登録商標)、ZigBee(登録商標))、IrDA(Infrared Data Association)等の近距離無線通信方式の送信機を備え、鉄道車両が到着する駅または車庫から所定の範囲内(例えば、駅のホームまたは車庫の先端等)に設置されたBluetooth(登録商標)、ZigBee(登録商標))、IrDA等の近距離無線通信方式の受信機と接続する。あるいは、センサ部130は、Bluetooth(登録商標)、ZigBee(登録商標))、IrDA等の近距離無線通信方式の受信機を備え、鉄道車両が到着する駅または車庫から所定の範囲内(例えば、駅のホームまたは車庫の先端等)に設置されたBluetooth(登録商標)、ZigBee(登録商標))、IrDA等の近距離無線通信方式の送信機と接続してもよい。
【0143】
また、端末装置100は、鉄道車両に搭載される。例えば、端末装置100は、鉄道車両の先頭付近(例えば、乗務員室)に設置される。このとき、鉄道車両が特定の位置に対応する位置座標から第1の範囲内のエリアに侵入すると、端末装置100も特定の位置に対応する位置座標から第1の範囲内のエリアに侵入する。例えば、鉄道車両が到着する駅または車庫から所定の範囲内に設置されたBluetooth(登録商標)、ZigBee(登録商標))、IrDA等の近距離無線通信方式の受信機は、端末装置100が備えるBluetooth(登録商標)、ZigBee(登録商標))、IrDA等の近距離無線通信方式の送信機からBluetooth(登録商標)、ZigBee(登録商標))、IrDA等の近距離無線通信の電波を受信する。Bluetooth(登録商標)、ZigBee(登録商標))、IrDA等の近距離無線通信方式の受信機は、端末装置100からBluetooth(登録商標)、ZigBee(登録商標))、IrDA等の近距離無線通信の電波を受信した場合、端末装置100からBluetooth(登録商標)、ZigBee(登録商標))、IrDA等の近距離無線通信の電波を受信したことを示す情報を情報処理装置200に対して送信する。情報処理装置200の取得部231は、Bluetooth(登録商標)、ZigBee(登録商標))、IrDA等の近距離無線通信方式の受信機からBluetooth(登録商標)、ZigBee(登録商標))、IrDA等の近距離無線通信の電波を受信したことを示す情報を受信する。取得部231は、Bluetooth(登録商標)、ZigBee(登録商標))、IrDA等の近距離無線通信の電波を受信したことを示す情報を受信した場合、解析情報を取得する。
【0144】
このように、取得部231は、特定の位置に設置された近距離無線通信の受信機が、鉄道車両に搭載された近距離無線通信の送信機から送信された信号を受信した場合に、解析情報を取得する。例えば、特定の位置は、鉄道車両が到着する駅または車庫から第2の範囲内に位置する。
【0145】
〔4-3.教師データの更新〕
上述した第1~第2の実施形態で説明した正解車両画像は、定期的に更新されてよい。例えば、撮像装置300は、鉄道車両の出庫時または端末装置100の起動時に、鉄道車両の内部に対応する画像である車両画像を撮像する。撮像装置300または解析装置400は、鉄道車両の出庫時または端末装置100の起動時に撮像された車両画像に対する画像解析を行う。撮像装置300または解析装置400は、画像解析の結果、鉄道車両の内部に残留物および残留者が存在しないと判定した場合、鉄道車両の内部に残留物および残留者が存在しないと判定された車両画像を新たな正解車両画像とする。
【0146】
また、撮像装置300は、車内広告の取り換え頻度に応じて、鉄道車両の内部に対応する画像である車両画像を撮像する。撮像装置300または解析装置400は、車内広告の取り換え頻度に応じて撮像された車両画像に対する画像解析を行う。撮像装置300または解析装置400は、画像解析の結果、鉄道車両の内部に残留物および残留者が存在しないと判定した場合、鉄道車両の内部に残留物および残留者が存在しないと判定された車両画像を新たな正解車両画像とする。
【0147】
また、撮像装置300または解析装置400は、日中に撮像された正解車両画像と、夜間に撮像された正解車両画像とを使い分けてもよい。例えば、撮像装置300または解析装置400は、日中(夜間)に撮像された車両画像については、日中(夜間)に撮像された正解車両画像との差分を抽出した差分画像に関する情報に基づいて、残留物情報を推定する。
【0148】
〔5.効果〕
上述したように、第1の実施形態に係る情報処理装置200は、取得部231と生成部232を備える。取得部231は、鉄道車両の内部に対応する画像である車両画像に対する画像解析の解析結果に関する解析情報を取得する。生成部232は、解析情報に基づいて、鉄道車両を識別可能な車両識別情報と、鉄道車両の内部に残留する残留物又は残留者に関する残留物情報とを対応付けた通知情報を生成する。
【0149】
これにより、情報処理装置200は、例えば、鉄道車両の運行を管理する管理者に通知情報を通知することにより、管理者が複数の車両それぞれの内部に残留する残留物又は残留者を確認するために要する時間を短縮することができる。したがって、情報処理装置200は、鉄道車両の内部に残留する残留物又は残留者の確認業務における業務負担を軽減可能とすることができる。また、情報処理装置200は、鉄道車両の内部に残留する残留物又は残留者の確認業務における業務負担を軽減可能とすることができるため、持続可能な開発目標(SDGs)の目標9「産業と技術革新の基盤をつくろう」の達成に貢献できる。
【0150】
また、取得部231は、解析情報として、残留物及び残留者が存在しない鉄道車両の内部に対応する画像である正解車両画像と、車両画像との差分を抽出した差分画像に関する情報を取得する。生成部232は、差分画像に関する情報に基づいて、通知情報を生成する。
【0151】
これにより、情報処理装置200は、差分画像に関する情報に基づいて適切に推定された残留物情報に基づく通知情報を生成することができる。
【0152】
また、取得部231は、解析情報として、車両画像に対する機械学習モデルを用いた画像認識処理の処理結果に関する情報を取得する。生成部232は、処理結果に関する情報に基づいて、通知情報を生成する。
【0153】
これにより、情報処理装置200は、画像認識処理の処理結果に関する情報に基づいて適切に推定された残留物情報に基づく通知情報を生成することができる。
【0154】
また、生成部232は、車両識別情報と、残留物又は残留者の有無を示す情報である残留物情報とを対応付けた通知情報を生成する。
【0155】
これにより、情報処理装置200は、鉄道車両の運行を管理する管理者に対して、複数の車両のどの車両の内部に残留物又は残留者が存在するか(または存在しないか)を通知可能とすることができる。したがって、情報処理装置200は、管理者が複数の車両それぞれの内部に残留する残留物又は残留者を確認するために要する時間を短縮することができる。
【0156】
また、生成部232は、車両識別情報と、鉄道車両の内部における残留物又は残留者の位置を示す情報である残留物情報とを対応付けた通知情報を生成する。
【0157】
これにより、情報処理装置200は、鉄道車両の運行を管理する管理者に対して、各車両の内部のどの位置に残留物又は残留者が存在するかを通知可能とすることができる。したがって、情報処理装置200は、管理者が各車両の内部に残留する残留物又は残留者を確認するために要する時間を短縮することができる。
【0158】
また、取得部231は、鉄道車両の運行を管理する管理者によって使用される端末装置100から鉄道車両の内部の状況確認に関する要求情報を受信した場合に、解析情報を取得する。
【0159】
これにより、情報処理装置200は、鉄道車両の運行を管理する管理者に対して、管理者が所望するタイミングで通知情報を通知可能とすることができる。
【0160】
また、取得部231は、鉄道車両に搭載された端末装置100の位置情報に基づいて、特定の位置に対応する位置座標から第1の範囲内のエリアに鉄道車両が侵入したことを検出した場合に、解析情報を取得する。
【0161】
これにより、情報処理装置200は、鉄道車両の運行を管理する管理者の手を煩わせることなく、自動的に通知情報を生成可能とすることができる。したがって、情報処理装置200は、鉄道車両の内部に残留する残留物又は残留者の確認業務における業務負担をさらに軽減することができる。
【0162】
また、取得部231は、特定の位置に設置された近距離無線通信の受信機が、鉄道車両に搭載された近距離無線通信の送信機から送信された信号を受信した場合に、解析情報を取得する。
【0163】
これにより、情報処理装置200は、鉄道車両の運行を管理する管理者の手を煩わせることなく、自動的に通知情報を生成可能とすることができる。したがって、情報処理装置200は、鉄道車両の内部に残留する残留物又は残留者の確認業務における業務負担をさらに軽減することができる。
【0164】
また、特定の位置は、鉄道車両が到着する駅または車庫から第2の範囲内に位置する。
【0165】
これにより、情報処理装置200は、鉄道車両が到着する駅または車庫に鉄道車両が近づいたタイミングで、自動的に通知情報を生成可能とすることができる。したがって、情報処理装置200は、終着駅からの折り返し運転、または、車庫への入構運転までに使える短い時間の中で、管理者が各車両の内部に残留する残留物又は残留者を確認するために要する時間を短縮することができる。
【0166】
また、取得部231は、鉄道車両の内部の異なる場所それぞれに対応する画像である車両画像に対する画像解析の解析結果に関する情報である解析情報を取得する。生成部232は、解析情報に基づいて、鉄道車両の内部の異なる場所それぞれを識別可能な場所識別情報と、鉄道車両の内部の異なる場所それぞれに残留する残留物又は残留者に関する情報である残留物情報とを対応付けた通知情報を生成する。
【0167】
これにより、情報処理装置200は、鉄道車両の運行を管理する管理者に対して、各車両の内部のどの位置に残留物又は残留者が存在するかを通知することができる。したがって、情報処理装置200は、管理者が各車両の内部に残留する残留物又は残留者を確認するために要する時間を短縮することができる。
【0168】
また、車両画像は、鉄道車両の内部の異なる場所それぞれに対応する鉄道車両の位置に配置された複数の撮像装置300それぞれによって撮影された画像である。
【0169】
これにより、情報処理装置200は、例えば、死角が生じないように、一つの車両の内部の空間を網羅的に撮影した複数の車両画像に基づいて、適切な通知情報を生成可能とすることができる。
【0170】
また、取得部231は、連結された複数の鉄道車両それぞれの内部に対応する画像である車両画像に対する画像解析の解析結果に関する情報である解析情報を取得する。生成部232は、解析情報に基づいて、連結された複数の鉄道車両それぞれを識別可能な車両識別情報と、連結された複数の鉄道車両それぞれの内部に残留する残留物又は残留者に関する情報である残留物情報とを対応付けた通知情報を生成する。
【0171】
これにより、情報処理装置200は、鉄道車両の運行を管理する管理者に対して、複数の車両の内部の空間をそれぞれ網羅的に撮影した複数の車両画像に基づいて、適切な通知情報を通知可能とすることができる。
【0172】
また、車両画像は、連結された複数の鉄道車両それぞれに配置された複数の撮像装置300それぞれによって撮影された画像である。
【0173】
これにより、情報処理装置200は、複数の車両の内部の空間をそれぞれ網羅的に撮影した複数の車両画像に基づいて、適切な通知情報を生成可能とすることができる。
【0174】
また、情報処理装置200は、通知部233をさらに備える。通知部233は、鉄道車両の運行を管理する管理者によって使用される端末装置100に対して通知情報を送信する。
【0175】
これにより、情報処理装置200は、鉄道車両の運行を管理する管理者に対して、複数の車両のどの車両の内部に残留物又は残留者が存在するか(または存在しないか)を通知することができる。
【0176】
また、第2の実施形態に係る撮像システム(第2の実施形態では、撮像装置300A)は、1又は連結された複数の鉄道車両内に設けられ、撮像部(第2の実施形態では、撮像部330)と推定部(第2の実施形態では、推定部343A)を備える。撮像部は、鉄道車両の内部に対応する画像である車両画像を撮像する。推定部は、車両画像に基づいて、鉄道車両の内部に残留する残留物又は残留者に関する残留物情報を推定する。
【0177】
これにより、撮像システムは、1又は連結された複数の鉄道車両内に設けられたシステムにおいて、鉄道車両の内部に残留する残留物又は残留者に関する残留物情報を適切に推定することができる。また、撮像システムは、例えば、鉄道車両の運行を管理する管理者に残留物情報を通知可能とすることができる。また、撮像システムは、例えば、鉄道車両の運行を管理する管理者に残留物情報を通知することにより、管理者が複数の車両それぞれの内部に残留する残留物又は残留者を確認するために要する時間を短縮することを可能とすることできる。したがって、撮像システムは、鉄道車両の内部に残留する残留物又は残留者の確認業務における業務負担を軽減可能とすることができる。また、撮像システムは、鉄道車両の内部に残留する残留物又は残留者の確認業務における業務負担を軽減可能とすることができるため、持続可能な開発目標(SDGs)の目標9「産業と技術革新の基盤をつくろう」の達成に貢献できる。
【0178】
また、推定部は、残留物及び残留者が存在しない鉄道車両の内部に対応する画像である正解車両画像と、車両画像との差分を抽出した差分画像に基づいて、残留物情報を推定する。
【0179】
これにより、撮像システムは、差分画像に関する情報に基づいて、残留物情報を適切に推定することができる。
【0180】
また、推定部は、車両画像に対する機械学習モデルを用いた画像認識処理の処理結果に基づいて、残留物情報を推定する。
【0181】
これにより、撮像システムは、画像認識処理の処理結果に基づいて、残留物情報を適切に推定することができる。
【0182】
また、推定部は、残留物情報として、残留物又は残留者の有無を示す情報を推定する。
【0183】
これにより、撮像システムは、複数の車両のどの車両の内部に残留物又は残留者が存在するか(または存在しないか)を推定することができる。
【0184】
また、推定部は、残留物情報として、鉄道車両の内部における残留物又は残留者の位置を示す情報を推定する。
【0185】
これにより、撮像システムは、各車両の内部のどの位置に残留物又は残留者が存在するかを推定することができる。
【0186】
また、撮像部は、灯具又はランプをさらに備える。
【0187】
これにより、撮像システムは、灯具又はランプと一体化されたLED蛍光灯一体型の防犯カメラを用いることができる。
【0188】
また、第2の実施形態に係る鉄道車両は、撮像システムを備える。
【0189】
これにより、鉄道車両は、撮像システムにより、鉄道車両の内部に残留する残留物又は残留者に関する残留物情報を適切に推定することができる。
【0190】
また、第2の実施形態に係る情報処理方法は、撮像システムと、情報処理装置200と、を含む情報処理システム(第2の実施形態では、情報処理システム1A)が実行する。撮像システムは、鉄道車両の内部に対応する画像である車両画像を撮像し、車両画像に基づいて、鉄道車両の内部に残留する残留物又は残留者に関する残留物情報を推定する。情報処理装置200は、鉄道車両を識別可能な車両識別情報と、残留物情報とを対応付けた通知情報を生成し、鉄道車両の運行を管理する管理者に通知情報を通知する。
【0191】
これにより、情報処理方法は、例えば、鉄道車両の運行を管理する管理者に通知情報を通知することにより、管理者が複数の車両それぞれの内部に残留する残留物又は残留者を確認するために要する時間を短縮することができる。したがって、情報処理方法は、鉄道車両の内部に残留する残留物又は残留者の確認業務における業務負担を軽減可能とすることができる。また、情報処理方法は、鉄道車両の内部に残留する残留物又は残留者の確認業務における業務負担を軽減可能とすることができるため、持続可能な開発目標(SDGs)の目標9「産業と技術革新の基盤をつくろう」の達成に貢献できる。
【0192】
〔6.ハードウェア構成〕
また、上述してきた第1~第2の実施形態に係る情報処理装置200、第2の実施形態に係る撮像装置300A等の情報処理装置は、例えば図12に示すような構成のコンピュータ1000によって実現される。以下、第1~第2の実施形態に係る情報処理装置200を例に挙げて説明する。図12は、情報処理装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。コンピュータ1000は、CPU1100、RAM1200、ROM1300、HDD1400、通信インターフェイス(I/F)1500、入出力インターフェイス(I/F)1600、及びメディアインターフェイス(I/F)1700を備える。
【0193】
CPU1100は、ROM1300またはHDD1400に格納されたプログラムに基づいて動作し、各部の制御を行う。ROM1300は、コンピュータ1000の起動時にCPU1100によって実行されるブートプログラムや、コンピュータ1000のハードウェアに依存するプログラム等を格納する。
【0194】
HDD1400は、CPU1100によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を格納する。通信インターフェイス1500は、所定の通信網を介して他の機器からデータを受信してCPU1100へ送り、CPU1100が生成したデータを所定の通信網を介して他の機器へ送信する。
【0195】
CPU1100は、入出力インターフェイス1600を介して、ディスプレイやプリンタ等の出力装置、及び、キーボードやマウス等の入力装置を制御する。CPU1100は、入出力インターフェイス1600を介して、入力装置からデータを取得する。また、CPU1100は、生成したデータを入出力インターフェイス1600を介して出力装置へ出力する。
【0196】
メディアインターフェイス1700は、記録媒体1800に格納されたプログラムまたはデータを読み取り、RAM1200を介してCPU1100に提供する。CPU1100は、かかるプログラムを、メディアインターフェイス1700を介して記録媒体1800からRAM1200上にロードし、ロードしたプログラムを実行する。記録媒体1800は、例えばDVD(Digital Versatile Disc)、PD(Phase change rewritable Disk)等の光学記録媒体、MO(Magneto-Optical disk)等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
【0197】
例えば、コンピュータ1000が第1の実施形態に係る情報処理装置200として機能する場合、コンピュータ1000のCPU1100は、RAM1200上にロードされたプログラムを実行することにより、制御部230の機能を実現する。コンピュータ1000のCPU1100は、これらのプログラムを記録媒体1800から読み取って実行するが、他の例として、他の装置から所定の通信網を介してこれらのプログラムを取得してもよい。
【0198】
以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
【0199】
〔7.その他〕
また、上記実施形態及び変形例において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
【0200】
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。
【0201】
また、上述してきた実施形態及び変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
【符号の説明】
【0202】
100 端末装置
110 通信部
120 記憶部
130 センサ部
140 入力部
150 出力部
160 制御部
161 受付部
162 送信部
163 受信部
200 情報処理装置
210 通信部
220 記憶部
230 制御部
231 取得部
232 生成部
233 通知部
300 撮像装置
310 通信部
320 記憶部
330 撮像部
340 制御部
341 受信部
342 送信部
400 解析装置
410 通信部
420 記憶部
430 制御部
431 取得部
432 推定部
433 送信部
300A 撮像装置
343A 推定部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12