特許 7521619 情報処理装置、情報処理方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-16

(45)【発行日】2024-07-24

(54)【発明の名称】情報処理装置、情報処理方法およびプログラム

(51)【国際特許分類】

   B61L 25/02 20060101AFI20240717BHJP

   G06T 7/00 20170101ALI20240717BHJP

   G06T 7/60 20170101ALI20240717BHJP

【ＦＩ】

B61L25/02 A

G06T7/00 650Z

G06T7/00 660Z

G06T7/60 110

【請求項の数】 10

(21)【出願番号】P 2022579348

(86)(22)【出願日】2021-11-18

(86)【国際出願番号】 JP2021042464

(87)【国際公開番号】W WO2022168402

(87)【国際公開日】2022-08-11

【審査請求日】2023-07-25

(31)【優先権主張番号】P 2021016968

(32)【優先日】2021-02-04

(33)【優先権主張国・地域又は機関】JP

【前置審査】

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100103894

【弁理士】

【氏名又は名称】家入 健

(72)【発明者】

【氏名】佐藤 大地

(72)【発明者】

【氏名】北裏 篤史

(72)【発明者】

【氏名】向井 康晃

(72)【発明者】

【氏名】武内 信

(72)【発明者】

【氏名】チョウ ショウソ

(72)【発明者】

【氏名】川崎 大輔

(72)【発明者】

【氏名】山根 薫

【審査官】冨永 達朗

(56)【参考文献】

【文献】特開２０２１－００３９７２（ＪＰ，Ａ）

【文献】特開２００７－２９０５７４（ＪＰ，Ａ）

【文献】特開２０２０－１４９７１０（ＪＰ，Ａ）

【文献】特開２０１８－０４２０４９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ６１Ｌ ２５／０２

Ｇ０６Ｔ ７／００

Ｇ０６Ｔ ７／６０

(57)【特許請求の範囲】

【請求項1】

車両の内部を撮影するカメラが生成した画像データを取得する画像データ取得部と、
前記画像データにかかる乗降口付近を含む画像を複数の領域に分割し、対象領域を抽出する領域設定部と、
複数の前記領域のうちの前記対象領域に存在する人物の数をカウントするカウント部と、
前記人物の数に基づいて前記車両の混雑度を判定する混雑度判定部と、
前記混雑度に関する情報を出力する出力部と、を備え、
前記カウント部は、前記車両の内部の所定の広告領域をカウントの前記対象領域から除外する、
情報処理装置。

【請求項2】

前記画像データ取得部は、前記車両の上部に設置された前記カメラが前記人物を俯瞰するように撮影した前記画像にかかる前記画像データを取得する、
請求項１に記載の情報処理装置。

【請求項3】

前記画像データ取得部は、前記車両の乗降口を含む前記画像にかかる前記画像データを取得する、
請求項１または２に記載の情報処理装置。

【請求項4】

前記領域設定部は、前記車両の乗降口付近を含む前記画像を前記対象領域に設定する、
請求項１～３のいずれか一項に記載の情報処理装置。

【請求項5】

前記カウント部は、前記人物の頭部を認識し、前記対象領域において認識した前記頭部の数をカウントする、
請求項１～４のいずれか一項に記載の情報処理装置。

【請求項6】

前記混雑度判定部は、前記人物の数が第１値の場合における第１混雑度が、前記第１値より少ない第２値における第２混雑度より大きくなるように前記混雑度を判定する、
請求項１～５のいずれか一項に記載の情報処理装置。

【請求項7】

前記混雑度判定部は、前記対象領域における複数の前記人物の互いの距離である人物間距離の統計値に基づいて前記混雑度を判定する、
請求項１～５のいずれか一項に記載の情報処理装置。

【請求項8】

前記領域設定部は、前記対象領域として、前記車両の乗降口付近を含む第１領域と、前記第１領域と異なる部分を含む第２領域とをそれぞれ設定し、
前記混雑度判定部は、前記第１領域と前記第２領域とに異なる重みづけを設定したうえで前記混雑度を判定する、
請求項１～５のいずれか一項に記載の情報処理装置。

【請求項9】

コンピュータが、
車両の内部を撮影するカメラが生成した画像データを取得し、
前記画像データにかかる乗降口付近を含む画像を複数の領域に分割して対象領域を抽出し、
複数の前記領域のうちの前記対象領域に存在する人物の数をカウントし、
前記人物の数に基づいて前記車両の混雑度を判定し、
前記混雑度に関する情報を出力し、
前記車両の内部の所定の広告領域をカウントの前記対象領域から除外する、
情報処理方法。

【請求項10】

コンピュータが、
車両の内部を撮影するカメラが生成した画像データを取得し、
前記画像データにかかる乗降口付近を含む画像を複数の領域に分割して対象領域を抽出し、
複数の前記領域のうちの前記対象領域に存在する人物の数をカウントし、
前記人物の数に基づいて前記車両の混雑度を判定し、
前記混雑度に関する情報を出力し、
前記車両の内部の所定の広告領域をカウントの前記対象領域から除外する、
情報処理方法を、コンピュータに実行させる
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は情報処理装置、情報処理方法およびコンピュータ可読媒体に関する。

【背景技術】

【0002】

列車等の車両の混雑状態を把握したいという要求が高まっている。

【0003】

特許文献１に記載の車両混雑状況通知システムは、乗車人数検出装置が列車の車両ごとに設置されていて、列車が発車したときに車両に乗車している人数を検出し、検出した乗車人数のデータをサーバ装置に送信する。車両混雑状況通知システムを構成するカメラは、車両の車内の上部である天井に光軸を下方に向け設置され、車両の長手方向に複数台設置されていて、車両に乗車しているすべての利用者の検出をカバーするようにしている。

【0004】

列車混雑度通知システムは、列車設備として、列車内のドア付近を撮影するカメラと、カメラによって取得された映像データに基づいて列車内の混雑度を算出するデータ処理部と、データ処理部から出力される混雑度情報と、を有している。またこのシステムは、列車を特定する列車特定情報と、列車内におけるカメラによる撮影位置を示す撮影位置情報とを含む混雑状況データを送信する送信部とを有し、混雑状況を情報センタに保存させ、駅の表示部に表示させる。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１９－０５９３１５号公報

【文献】特開２００７－２９０５７４号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

車両の混雑度を判定するには、車両内に存在する人物の数や状態などを認識する必要がある。しかしながら、車両内の全ての人物や空席を検出すると非常に煩雑なシステムとなり好ましくない。一方、簡易な構成であっても混雑状態を適切に判定したい。

【0007】

本開示はこのような課題を鑑みてなされたものであり、簡易な構成で精度よく混雑度を判定する情報処理装置等を提供することを目的とする。

【課題を解決するための手段】

【0008】

本開示の１実施形態にかかる情報処理装置は、画像データ取得部、領域設定部、カウント部、混雑度判定部および出力部を有している。画像データ取得部は、車両の内部を撮影するカメラが生成した画像データを取得する。領域設定部は、画像データにかかる画像を複数の領域に分割する。カウント部は、複数の領域のうちの対象領域に存在する人物の数をカウントする。混雑度判定部は、人物の数に基づいて車両の混雑度を判定する。出力部は、混雑度に関する情報を出力する。

【0009】

本開示の１実施形態にかかる情報処理方法は、以下の方法をコンピュータが実行する。コンピュータは、車両の内部を撮影するカメラが生成した画像データを取得する。コンピュータは、画像データにかかる画像を複数の領域に分割する。コンピュータは、複数の前記領域のうちの対象領域に存在する人物の数をカウントする。コンピュータは、人物の数に基づいて前記車両の混雑度を判定する。コンピュータは、混雑度に関する情報を出力する。

【0010】

本開示の１実施形態にかかるプログラムは、コンピュータに、以下のステップを実行させるものである。コンピュータは、コンピュータは、車両の内部を撮影するカメラが生成した画像データを取得する。コンピュータは、画像データにかかる画像を複数の領域に分割する。コンピュータは、複数の前記領域のうちの対象領域に存在する人物の数をカウントする。コンピュータは、人物の数に基づいて前記車両の混雑度を判定する。コンピュータは、混雑度に関する情報を出力する。

【発明の効果】

【0011】

本開示によれば、簡易な構成で精度よく混雑度を判定する情報処理装置等を提供することができる。

【図面の簡単な説明】

【0012】

【図1】実施の形態１にかかる情報処理装置のブロック図である。

【図2】実施の形態１にかかる情報処理方法のフローチャートである。

【図3】実施の形態２にかかる情報処理システムのブロック図である。

【図4】実施の形態２にかかる撮影装置のブロック図である。

【図5】実施の形態２にかかる情報提供装置のブロック図である。

【図6】車両内の状況の例を示す図である。

【図7】実施の形態２にかかる混雑度を判定するための条件の例を示す図である。

【図8】実施の形態２にかかる画像の例を示す第１の図である。

【図9】実施の形態２にかかる画像の例を示す第２の図である。

【図10】コンピュータのハードウェア構成を例示するブロック図である。

【発明を実施するための形態】

【0013】

以下、発明の実施の形態を通じて本発明を説明するが、特許請求の範囲にかかる発明を以下の実施形態に限定するものではない。また、実施形態で説明する構成の全てが課題を解決するための手段として必須であるとは限らない。説明の明確化のため、以下の記載および図面は、適宜、省略、および簡略化がなされている。なお、各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。

【0014】

＜実施の形態１＞
以下、図面を参照して本発明の実施の形態について説明する。図１は、実施の形態１にかかる情報処理装置１０のブロック図である。図１に示す情報処理装置１０は、所定の交通機関に設けられたカメラが撮影した画像から、かかる交通機関の混雑度を判定して出力する。本開示における所定の交通機関とは例えば、列車、トラム、トロリーまたはバスなど複数の人物が搭乗する交通機関である。図１に示す情報処理装置１０は主な構成として、画像データ取得部１１１、領域設定部１１２、カウント部１１３、混雑度判定部１１４および出力部１１５を有している。

【0015】

画像データ取得部１１１は、車両の内部を撮影するカメラが生成した画像データを取得する。画像データ取得部１１１は、予め設定された期間ごとに画像データを取得しても良い。予め設定された期間とは例えば２分、５分、１０分などである。画像データ取得部１１１は受け取った画像データを領域設定部１１２に供給する。なお、画像データ取得部１１１が一回に受け取る画像データは１フレーム分の静止画像データであってもよいし、連続した数フレーム分の動画像データであってもよい。動画像データは例えば毎秒３０フレームや毎秒１５フレームの画像データである。動画像データは例えば、ＭＰＥＧ（Moving Picture Experts Group）、モーションＪＰＥＧ（Joint Photographic Experts Group）またはＡＶＩ（Audio Video Interleave）等の規格に沿ったものであってもよい。

【0016】

領域設定部１１２は、画像データ取得部１１１から受け取った画像データにかかる画像を複数の領域に分割する。領域設定部１１２が行う画像の分割にかかる領域は予め設定されたものであってもよいし、所定の条件に応じて変化するものであっても良い。所定の条件とは例えば情報処理装置１０の管理者がおこなう操作によって設定されるものであってもよいし、時刻や車両の運行状態などに応じて変更されるものであってもよい。領域設定部１１２が行う分割は、例えば画像データを分割にかかる複数の画像データに分離してもよいし、分割にかかる領域の境界を示す情報を生成するものであってもよい。領域設定部１１２は画像を分割すると、分割した画像にかかる画像データをカウント部１１３に供給する。

【0017】

カウント部１１３は、領域設定部１１２から分割した画像にかかる画像データを受け取り、分割にかかる複数の領域のうちの対象領域に存在する人物の数をカウントする。ここで対象領域とは、予め設定されたものであって、情報処理装置１０が混雑度を判定する際の処理の対象となる領域を指す。カウント部１１３は、対象領域に存在する人物の数をカウントすると、カウントした数にかかる情報を混雑度判定部１１４に供給する。

【0018】

混雑度判定部１１４は、カウント部１１３がカウントした人物の数にかかる情報を受け取り、受け取った情報から対象領域にかかる車両の混雑度を判定する。対象領域における人物の数と混雑度との関係は、予め設定されたものである。ただし混雑度判定部１１４は混雑度を判定する際に、対象領域における人物の数に加えて、他の要素を加味することもできる。他の要素とは例えば人物が存在する位置にかかる情報や、人物同士の距離に関する情報などである。混雑度判定部１１４は、混雑度を判定すると、判定した混雑度に関する情報を生成し、生成した情報を出力部１１５に供給する。判定した混雑度に関する情報は、混雑度の他に、判定した車両の識別情報が含まれる。

【0019】

出力部１１５は、混雑度判定部１１４から混雑度に関する情報を受け取ると、受け取った情報を、所定の出力先へ出力する。所定の出力先とは例えば上述の判定にかかる車両を利用する利用者や、かかる車両の運行を管理している運行管理者である。

【0020】

次に、図２を参照して、情報処理装置１０が行う情報管理方法について説明する。図２は、実施の形態１にかかる情報管理方法を示すフローチャートである。図２に示すフローチャートは、例えば情報処理装置１０を起動することにより開始される。

【0021】

まず、画像データ取得部１１１は、車両の内部を撮影するカメラが生成した画像データを取得する（ステップＳ１１）。

【0022】

領域設定部１１２は、画像データにかかる画像を複数の領域に分割する（ステップＳ１２）。

【0023】

カウント部１１３は、複数の前記領域のうちの対象領域に存在する人物の数をカウントする（ステップＳ１３）。

【0024】

混雑度判定部１１４は、人物の数に基づいて前記車両の混雑度を判定する（ステップＳ１４）。

【0025】

出力部１１５は、混雑度に関する情報を出力し（ステップＳ１５）、一連の処理を終了する。なお、上述の情報処理方法は、情報処理装置１０が画像データを取得する度に実行されてもよい。また上述の情報処理方法は、予め設定された期間ごとに実行されてもよい。

【0026】

以上、実施の形態１にかかる情報処理装置および情報処理方法について説明した。尚、情報処理装置１０は、図示しない構成としてプロセッサ及び記憶装置を有するものである。情報処理装置１０が有する記憶装置は、例えばフラッシュメモリやＳＳＤ（Solid State Drive）などの不揮発性メモリを含む記憶装置を含む。この場合に、情報処理装置１０が有する記憶装置は、上述の画像処理方法を実行するためのコンピュータプログラム（以降、単にプログラムとも称する）を記憶している。またプロセッサは、記憶装置からコンピュータプログラムをＤＲＡＭ（Dynamic Random Access Memory）等のバッファメモリへ読み込ませ、当該プログラムを実行する。

【0027】

情報処理装置１０が有する各構成は、それぞれが専用のハードウェアで実現されていてもよい。また、各構成要素の一部又は全部は、汎用または専用の回路（circuitry）、プロセッサ等やこれらの組合せによって実現されてもよい。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。各装置の各構成要素の一部又は全部は、上述した回路等とプログラムとの組合せによって実現されてもよい。また、プロセッサとして、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（field-programmable gate array）等を用いることができる。なお、ここに説明した構成に関する説明は、本開示において以下に説明するその他の装置またはシステムにおいても、適用され得る。

【0028】

また、情報処理装置１０の各構成要素の一部又は全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は、集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。また、情報処理装置１０の機能がＳａａＳ（Software as a Service）形式で提供されてもよい。

【0029】

以上、実施の形態１について説明した。実施の形態１によれば、簡易な構成で精度よく混雑度を判定する情報処理装置等を提供することができる。

【0030】

＜実施の形態２＞
次に、実施の形態２について説明する。図３は、実施の形態２にかかる情報処理システム１のブロック図である。図３に示す情報処理システム１は主な構成として、情報処理装置１０および撮影装置３１０を含む。また情報処理システム１は情報提供装置４００を含んでもよい。情報処理システム１はさらにユーザ端末９００を含んでもよい。

【0031】

本実施形態における情報処理装置１０は、ネットワークＮ１を介して撮影装置３１０と通信可能に接続している。情報処理装置１０は撮影装置３１０から車両３００の内部を撮影した画像にかかる画像データを取得する。情報処理装置１０は撮影装置３１０から取得した画像データから混雑度を判定する。情報処理装置１０はまた、ネットワークＮ１を介して情報提供装置４００と通信可能に接続している。情報処理装置１０は撮影装置３１０から取得した画像データから混雑度を判定すると、車両３００の混雑度に関する情報を情報提供装置４００に出力する。

【0032】

本実施の形態における画像データ取得部１１１は、車両３００の上部に設置された撮影装置３１０が人物を俯瞰するように撮影した画像にかかる画像データを取得する。また上述のように撮影装置３１０は車両３００の乗降口付近に設置されている。そのため画像データ取得部１１１は、車両３００の乗降口を含む画像にかかる画像データを取得する。

【0033】

本実施の形態における領域設定部１１２は、車両３００の乗降口付近を含む画像を対象領域に設定する。

【0034】

本実施の形態におけるカウント部１１３は、撮影装置３１０から取得した画像データから人物の頭部を認識する。すなわちカウント部１１３は取得した画像データのうちの対象領域において認識した頭部の数をカウントする。カウント部１１３は頭部を認識する手段として、例えば画像データをＣＮＮ（Convolutional Neural Network）による畳み込み処理を利用してもよい。またカウント部１１３は頭部のサンプル画像を学習した学習器を利用して頭部を認識してもよい。機械学習を利用することにより、カウント部１１３は頭部の認識精度を向上させることができる。

【0035】

撮影装置３１０は、車両３００の天井に設置され、車両３００の上部から車両３００の内部の人物を俯瞰するように撮影する。撮影装置３１０は車両３００の乗降口付近の天井に設置されるのが好ましい。撮影装置３１０が車両３００の乗降口付近に設置されることにより、情報処理システム１は、車両３００の混雑度を好適に判定できる。撮影装置３１０は、車両３００の内部の風景を撮影して画像データを生成する。撮影装置３１０は、ネットワークＮ１を介して、生成した画像データを情報処理装置１０に供給する。なお、車両３００に設置される撮影装置３１０は１つでもよいし、複数でもよい。

【0036】

情報提供装置４００は、ネットワークＮ１を介して情報処理装置１０から車両３００の混雑度に関する情報を受け取る。情報提供装置４００はまた、ネットワークＮ１を介してユーザ端末９００に通信可能に接続している。情報提供装置４００は、車両３００の混雑度に関する情報をユーザ端末９００に提供する。ユーザ端末９００は例えばスマートフォンである。ユーザ端末９００は、ネットワークＮ１を介して情報提供装置４００から車両３００の混雑度を受け取る。これによりユーザＵは、自身の端末であるユーザ端末９００を操作して車両３００の混雑度を把握できる。なおユーザ端末９００はタブレット端末、パーソナルコンピュータ等であってもよい。

【0037】

次に図４を参照して撮影装置３１０の詳細について説明する。図４は、実施の形態２にかかる撮影装置３１０のブロック図である。撮影装置３１０は主な構成として、カメラ３１１、通信部３１２、制御部３１３および記憶部３２０を有している。

【0038】

カメラ３１１は、車両３００の内部の風景を撮影して画像データを生成する。カメラ３１１は、対物レンズ、撮像素子、光電変換部および画像生成部等を含む。

【0039】

通信部３１２は、撮影装置３１０をネットワークＮ１に通信可能に接続するためのインタフェースである。通信部３１２は、カメラ３１１が生成した画像データ等を、ネットワークＮ１を介して情報処理装置１０に供給する。また通信部３１２は、ネットワークＮ１を介して情報処理装置１０からの画像データ要求に関する信号を受け取っても良い。

【0040】

制御部３１３は、例えばＣＰＵまたはＭＰＵ等の演算装置であって、撮影装置３１０が有する各構成を制御する。また制御部３１３は記憶部３２０が記憶しているプログラム３２１を実行する。より具体的には例えば制御部３１３は、予め設定されたプログラムに従い、所定の期間ごとにカメラ３１１が生成した画像データと固有識別データとを情報処理装置１０に提供する処理を実行する。

【0041】

記憶部３２０は、不揮発性メモリを含む記憶装置である。記憶部３２０は例えば、撮影装置３１０の制御を司るプログラム３２１を記憶している。また記憶部３２０は例えば撮影装置３１０に設定されている固有識別データを記憶している。

【0042】

次に、図５を参照して情報提供装置４００について説明する。図５は、実施の形態２にかかる情報提供装置４００のブロック図である。情報提供装置４００は主な構成として、混雑度取得部４１１、提供情報生成部４１２、通信部４１３、制御部４１４および記憶部４２０を有している。

【0043】

混雑度取得部４１１は、情報処理装置１０から混雑度に関する情報を受け取る。より詳細には、混雑度取得部４１１は、情報処理装置１０から撮影装置３１０の固有識別データとともに、これに対応する混雑度を含む情報を受け取る。

【0044】

提供情報生成部４１２は、ユーザＵに提供する情報を生成する。ユーザＵに提供する情報には、例えば、車両３００にかかる列車の運行状況とともに、情報処理装置１０から受け取った混雑度が含まれる。

【0045】

通信部４１３は、情報提供装置４００と情報処理装置１０との通信および情報提供装置４００とユーザ端末９００との通信を行うためのインタフェースである。

【0046】

制御部４１４は、ＣＰＵ等の演算装置を含み、情報提供装置４００の各構成を制御する。制御部４１４は記憶部４２０からプログラム４２１を読み取り、読み取ったプログラムにしたがって、本実施形態にかかる所定の機能を実現する。

【0047】

記憶部４２０は不揮発性メモリを含む記憶装置であって、情報提供装置４００に本実施の形態における機能を実現させるためのプログラム４２１を記憶している。

【0048】

次に、車両３００における撮影装置３１０の位置、撮影装置３１０が撮影する領域および混雑度を判定するための対象領域の例について説明する。

【0049】

図６は、車両内の状況の例を示す図である。図６は、車両３００の内部を上方から下方に向かって観察した状態を模式的に示している。図６に示す車両３００は、右側ドア３０１Ｒおよび左側ドア３０１Ｌを含む。車両３００内には人物Ｐ１０～Ｐ４０が搭乗している。図に示す円形はそれぞれの人物の頭部を示している。人物Ｐ１０～Ｐ３０は、右側ドア３０１Ｒと左側ドア３０１Ｌとの間に立っている。また人物Ｐ４０は右側ドア３０１Ｒ付近の座席に座っている。

【0050】

車両３００は右側ドア３０１Ｒの近傍の天井と左側ドア３０１Ｌの近傍の天井それぞれに、撮影装置３１０がそれぞれ設置されている。情報処理装置１０はこれら２つの撮影装置３１０のいずれからの画像データを取得してもよいし、いずれか一方の撮影装置３１０から画像データを取得するものであってもよい。撮影装置３１０は右側ドア３０１Ｒまたは左側ドア３０１Ｌの近傍から周辺の風景を俯瞰するように撮影する。すなわち撮影装置３１０は車両３００に存在する人物の頭部を上方から撮影する。

【0051】

右側ドア３０１Ｒと左側ドア３０１Ｌとの間に太字の二点鎖線により示された矩形は、対象領域Ａ３１０である。情報処理装置１０の領域設定部１１２は車両３００の画像からこの対象領域Ａ３１０を抽出できるように設定される。すなわち情報処理装置１０は、対象領域を車両３００の乗降口付近を含む領域に設定することにより混雑度を判定する。図において、人物Ｐ１０～Ｐ３０は、対象領域Ａ３１０に含まれる。一方、人物Ｐ４０は対象領域Ａ３１０に含まれない。そのため図６の例の場合において、カウント部１１３は人数を３とカウントする。

【0052】

なお、車両３００において撮影装置３１０が上述のように構成されているのは、次の２つの理由による。すなわち１つ目の理由は、車両３００において元々防犯または防災を目的として乗降口付近に監視カメラが設置されることがある。情報処理装置１０はこのような防犯または防災を目的とした監視カメラの画像を取得して利用することにより、車両３００に新たにカメラを設置する必要がなくなり、情報処理システム１の構成を簡易にすることができる。２つめの理由は、車両３００の混雑度を判定する場合に、車両３００の全ての空間における混雑状況を把握してもよいが、乗降口付近の混雑状況を把握することにより、車両全体のおおよその混雑度が把握できる。以上の理由から、情報処理システム１においては、撮影装置３１０を車両３００の上部且つ乗降口付近に設置する。

【0053】

図７は、実施の形態２にかかる混雑度を判定するための条件の例を示す図である。図７には、表Ｔ１０が示されている。表Ｔ１０は、混雑度１～４と、それぞれの混雑度に対応した判定のための条件が示されている。表Ｔ１０には判定のための条件の具体例として、対象領域の人数Ｎが示されている。混雑度１における対象領域の人数Ｎは０以上５未満である。混雑度２における対象領域の人数Ｎは５以上１０未満である。混雑度３における対象領域の人数Ｎは１０以上１４未満である。混雑度４における対象領域の人数Ｎは１４以上である。このように、混雑度判定部１１４は、人数が例えば第１値（５以上１０未満）の場合における第１混雑度（２）が、前記第１値より少ない第２値（０以上５未満）における第２混雑度（１）より大きくなるように混雑度を判定するものであってもよい。

【0054】

なお、混雑度の設定は、上述の例に限られない。図７に示す表Ｔ１０は、混雑度の判定のための条件として、対象領域の人数に加えて、人物間距離の標準偏差と、対象領域の設定と、が示されている。

【0055】

すなわち混雑度の判定において、例えば、混雑度判定部１１４は、対象領域における複数の人物の互いの距離である人物間距離を測定し、さらに人物間距離の統計値を算出し、この統計値を加味して混雑度を判定してもよい。例えば図６において、人物Ｐ１０と人物Ｐ２０と間は距離Ｄ１２である。また人物Ｐ２０と人物Ｐ３０と間は距離Ｄ２３である。人物Ｐ１０と人物Ｐ３０と間は距離Ｄ１３である。混雑度判定部１１４は、距離Ｄ１２、距離Ｄ２３および距離１３から、人物間距離の平均値や標準偏差を算出し、これらの値から混雑度を判定してもよい。このような手法を採用することにより、人物同士が密集している空間を含む場合には混雑度を比較的に高く判定できる。

【0056】

また混雑度の判定に際し、領域設定部１１２は、対象領域として、車両３００の乗降口付近を含む第１領域と、第１領域と異なる部分を含む第２領域とをそれぞれ設定でし得る。そして、混雑度判定部１１４は、この第１領域と第２領域とに異なる重みづけを設定したうえで、混雑度を判定してもよい。

【0057】

またその他にも、領域設定部１１２は、時間帯や車両３００の運行区間などに応じて領域の設定を行ってもよい。領域設定部１１２が複数の領域を設定する場合、複数の領域は互いに重なり合っていてもよいし、離れていてもよい。領域設定部１１２が設定する領域は、予め座標が設定されていてもよいし、画像を認識することにより設定されてもよい。

【0058】

図８は、実施の形態２にかかる画像の例を示す第１の図である。図８は、撮影装置３１０が撮影した第１画像Ｆ１０１である。第１画像Ｆ１０１は、右側ドア３０１Ｒおよび左側ドア３０１Ｌを含み、さらに床３０２および乗降口付近の座席３０３が含まれる。また撮影装置３１０は天井に設置されているため、第１画像Ｆ１０１は、車両３００の上部に設置されている手摺り３０４や車内広告３０５も含む。

【0059】

図８の第１画像Ｆ１０１において、太字の二点鎖線により示された３つの矩形は、左側からそれぞれ第１座席領域Ａ１０１、乗降口領域Ａ１０２および第２座席領域Ａ１０３である。第１座席領域Ａ１０１は、座席３０３、手摺り３０４および車内広告３０５の画像を含む。乗降口領域Ａ１０２は主に、床３０２、右側ドア３０１Ｒおよび左側ドア３０１Ｌの画像を含む。第２座席領域Ａ１０３は、床３０２、座席３０３および手摺り３０４を含む。

【0060】

図８に示す例において、情報処理装置１０の領域設定部１１２は、上述のように、第１画像Ｆ１０１を、３つの領域に分割する。そして、カウント部１１３は、分割した領域の内の乗降口領域Ａ１０２内に存在する人物の頭部を認識してカウントする。

【0061】

次に、図９を参照して領域の設定についてさらに説明する。図９は、実施の形態２にかかる画像の例を示す第２の図である。図９には、第２画像Ｆ１０２が示されている。第２画像Ｆ１０２は、領域の設定が、図８に示した第１画像Ｆ１０１と異なる。

【0062】

図９において、第１座席領域Ａ１０１の内側には、太字の点線により示された広告領域Ａ１０６が示されている。広告領域Ａ１０６は画像の殆どの領域に車内広告が写り込んでいる。乗降口領域Ａ１０２の内側には、太字の点線により示された右側ドア領域Ａ１０４と、左側ドア領域Ａ１０５とが示されている。右側ドア領域Ａ１０４は、右側ドア３０１Ｒの画像を含み、右側ドア３０１Ｒから車両３００の中央に向かって７０センチメートル程度の幅を有する。左側ドア領域Ａ１０５は、左側ドア３０１Ｌの画像を含み、左側ドア３０１Ｌから車両３００の中央に向かって７０センチメートル程度の幅を有する。

【0063】

図９に示す例において、領域設定部１１２は、対象領域として、乗降口領域Ａ１０２に加えて、右側ドア領域Ａ１０４および左側ドア領域Ａ１０５を設定する。そしてカウント部１１３は、乗降口領域Ａ１０２における人物をカウントするとともに、右側ドア領域Ａ１０４および左側ドア領域Ａ１０５における人物をそれぞれカウントする。そして混雑度判定部１１４は、乗降口領域Ａ１０２、右側ドア領域Ａ１０４および左側ドア領域Ａ１０５のそれぞれの数から混雑度を判定する。混雑度判定部１１４は、乗降口領域Ａ１０２における人物の数が例えばＮ２であった場合に、右側ドア領域Ａ１０４および左側ドア領域Ａ１０５における人物の数が比較的に多い状態の方が、右側ドア領域Ａ１０４および左側ドア領域Ａ１０５における人物の数が比較的に少ない状態に比べて混雑度を高いと判定する。

【0064】

情報処理装置１０は、上述の例の他にも様々な手法により混雑度を判定できる。例えばカウント部１１３は、時間帯や運行状況により、第１座席領域Ａ１０１や第２座席領域Ａ１０３の人物の数をカウントしてもよい。この場合に、カウント部１１３は、広告領域Ａ１０６をカウントの対象領域から除外することができる。車内広告は様々なイラストや写真等が掲載され得る。そのため、車内広告に人物の頭部が表示されていた場合には、カウント部１１３が誤検出してしまう虞がある。そのため、予め広告領域Ａ１０６を対象領域から除外することにより、情報処理装置１０は混雑度の判定制度の低下を抑制できる。なお、広告領域は予め設定されていてもよいし、領域設定部１１２が広告の有無を自動判別することにより設定してもよい。

【0065】

カウント部１１３は、車両３００が駅に停止してドアを開いているタイミングで車両３００に出入りしている人物のカウントを行ってもよい。この場合、カウント部１１３は例えば、人物の顔の向きを検出し、車両に乗り込む方向に向いている人物を加算し、車両から降りる方向に向いている人物を減算する。このような構成により情報処理装置１０は人物が乗降中であっても混雑度の判定を行うことができる。

【0066】

以上、実施の形態２について説明した。実施の形態２にかかる情報処理システム１または情報処理装置１０によれば、簡易な構成で精度よく混雑度を判定する情報処理装置等を提供することができる。

【0067】

＜ハードウェア構成の例＞
以下、本開示における情報処理装置の各機能構成がハードウェアとソフトウェアとの組み合わせで実現される場合の例について説明する。

【0068】

図１０は、コンピュータのハードウェア構成を例示するブロック図である。本開示における情報処理装置は、図に示すハードウェア構成を含むコンピュータ５００により上述の機能を実現できる。コンピュータ５００は、スマートフォンやタブレット端末などといった可搬型のコンピュータであってもよいし、ＰＣなどの据え置き型のコンピュータであってもよい。コンピュータ５００は、各装置を実現するために設計された専用のコンピュータであってもよいし、汎用のコンピュータであってもよい。コンピュータ５００は、所定のアプリケーションをインストールされることにより、所望の機能を実現できる。

【0069】

コンピュータ５００は、バス５０２、プロセッサ５０４、メモリ５０６、ストレージデバイス５０８、入出力インタフェース（Ｉ／Ｆ）５１０およびネットワークインタフェース（Ｉ／Ｆ）５１２を有する。バス５０２は、プロセッサ５０４、メモリ５０６、ストレージデバイス５０８、入出力インタフェース５１０、及びネットワークインタフェース５１２が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ５０４などを互いに接続する方法は、バス接続に限定されない。

【0070】

プロセッサ５０４は、ＣＰＵ、ＧＰＵまたはＦＰＧＡなどの種々のプロセッサである。メモリ５０６は、ＲＡＭ（Random Access Memory）などを用いて実現される主記憶装置である。

【0071】

ストレージデバイス５０８は、ハードディスク、ＳＳＤ、メモリカード、又はＲＯＭ（Read Only Memory）などを用いて実現される補助記憶装置である。ストレージデバイス５０８は、所望の機能を実現するためのプログラムが格納されている。プロセッサ５０４は、このプログラムをメモリ５０６に読み出して実行することで、各装置の各機能構成部を実現する。

【0072】

入出力インタフェース５１０は、コンピュータ５００と入出力デバイスとを接続するためのインタフェースである。例えば入出力インタフェース５１０には、キーボードなどの入力装置や、ディスプレイ装置などの出力装置が接続される。ネットワークインタフェース５１２は、コンピュータ５００をネットワークに接続するためのインタフェースである。

【0073】

以上、本開示における情報処理装置の各機能構成がハードウェアとソフトウェアとの組み合わせで実現される場合の例について説明した。

【0074】

なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。

【0075】

プログラムは、コンピュータに読み込まれた場合に、実施形態で説明された１又はそれ以上の機能をコンピュータに行わせるための命令群（又はソフトウェアコード）を含む。プログラムは、非一時的なコンピュータ可読媒体又は実体のある記憶媒体に格納されてもよい。限定ではなく例として、コンピュータ可読媒体又は実体のある記憶媒体は、random-access memory（RAM）、read-only memory（ROM）、フラッシュメモリ、solid-state drive（SSD）又はその他のメモリ技術、CD-ROM、digital versatile disc（DVD）、Blu-ray（登録商標）ディスク又はその他の光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ又はその他の磁気ストレージデバイスを含む。プログラムは、一時的なコンピュータ可読媒体又は通信媒体上で送信されてもよい。限定ではなく例として、一時的なコンピュータ可読媒体又は通信媒体は、電気的、光学的、音響的、またはその他の形式の伝搬信号を含む。

【0076】

この出願は、２０２１年２月４日に出願された日本出願特願２０２１－０１６９６８を基礎とする優先権を主張し、その開示の全てをここに取り込む。

【符号の説明】

【0077】

１ 情報処理システム
１０ 情報処理装置
１１１ 画像データ取得部
１１２ 領域設定部
１１３ カウント部
１１４ 混雑度判定部
１１５ 出力部
３００ 車両
３０１Ｒ 右側ドア
３０１Ｌ 左側ドア
３０２ 床
３０３ 座席
３０４ 手摺り
３０５ 車内広告
３１０ 撮影装置
３１１ カメラ
３１２ 通信部
３１３ 制御部
３２０ 記憶部
４００ 情報提供装置
４１１ 混雑度取得部
４１２ 提供情報生成部
４１３ 通信部
４１４ 制御部
４２０ 記憶部
５００ コンピュータ
５０２ バス
５０４ プロセッサ
５０６ メモリ
５０８ ストレージデバイス
５１０ 出入力Ｉ／Ｆ
５１２ ネットワークＩ／Ｆ
９００ ユーザ端末

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】