特許 7514739 乗降判定装置および乗降判定方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-03

(45)【発行日】2024-07-11

(54)【発明の名称】乗降判定装置および乗降判定方法

(51)【国際特許分類】

   B60N 5/00 20060101AFI20240704BHJP

   G06T 7/00 20170101ALI20240704BHJP

   G06T 7/20 20170101ALI20240704BHJP

   B60N 2/90 20180101ALI20240704BHJP

【ＦＩ】

B60N5/00

G06T7/00 660Z

G06T7/20 300A

B60N2/90

【請求項の数】 6

(21)【出願番号】P 2020190445

(22)【出願日】2020-11-16

(65)【公開番号】P2022079320

(43)【公開日】2022-05-26

【審査請求日】2023-09-29

(73)【特許権者】

【識別番号】000237592

【氏名又は名称】株式会社デンソーテン

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】加茂 麻由

(72)【発明者】

【氏名】片岡 智春

(72)【発明者】

【氏名】▲濱▼上 斉

【審査官】永冨 宏之

(56)【参考文献】

【文献】特開２０１４－１０３５２１（ＪＰ，Ａ）

【文献】特開２０１４－２１９９１３（ＪＰ，Ａ）

【文献】特開２０１３－０２５５２３（ＪＰ，Ａ）

【文献】特開２００５－２３５１０４（ＪＰ，Ａ）

【文献】特開２００７－２７２８７７（ＪＰ，Ａ）

【文献】特開２０１３－１６２２６８（ＪＰ，Ａ）

【文献】特開平１１－１７５７８２（ＪＰ，Ａ）

【文献】米国特許第０４５２８６７９（ＵＳ，Ａ）

【文献】独国特許出願公開第１０２０１６１０７６７５（ＤＥ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ６０Ｎ ５／００

Ｇ０６Ｔ ７／００

Ｇ０６Ｔ ７／２０

Ｂ６０Ｎ ２／９０

(57)【特許請求の範囲】

【請求項1】

制御部を有する乗降判定装置であって、
前記制御部は、
乗り物の乗降口であって、かつ、前記乗り物の中に設けられるカメラによって撮像された、前記乗り物の乗降口付近に存在する人物の撮像画像に基づいて、前記人物の頭の位置および顔の大きさを検出し、
前記人物の頭の位置が前記人物の移動前後において相対的に上がった後に、前記人物の顔の大きさが前記人物の移動前後において相対的に大きくなった場合、前記人物が前記乗り物に乗車したと判定し、
前記人物の頭の位置が前記人物の移動前後において相対的に上がった後に、前記人物の頭の位置が前記人物の移動前後において相対的に下がり、かつ、前記人物の顔の大きさが前記人物の移動前後において相対的に小さくなった場合、前記人物は前記乗り物に乗車していないと判定する、
乗降判定装置。

【請求項2】

前記制御部は、
前記人物の頭の位置が前記人物の移動前後において相対的に下がった場合、前記人物が前記乗り物から降車したと判定する、
請求項１に記載の乗降判定装置。

【請求項3】

乗り物に乗降する人物の撮像画像に基づいて、前記人物の頭の位置および顔の大きさを検出し、
乗降する前記人物の前記頭の位置が上がった後に下がり、かつ、前記顔の大きさが小さくなった場合、前記人物は前記乗り物に乗車していないと判定する制御部を有する、
乗降判定装置。

【請求項4】

前記制御部は、
前記人物の前記頭の位置が上がった後に、前記顔の大きさが大きくなった場合、前記人物が前記乗り物に乗車したと判定する、
請求項３に記載の乗降判定装置。

【請求項5】

前記制御部は、
乗降する前記人物の前記頭の位置が下がった場合、前記人物が前記乗り物から降車したと判定する、
請求項３または４に記載の乗降判定装置。

【請求項6】

乗り物の乗降口であって、かつ、前記乗り物の中に設けられるカメラによって撮像された、前記乗り物の乗降口付近に存在する人物の撮像画像に基づいて、前記人物の頭の位置および顔の大きさを検出し、
前記人物の頭の位置が前記人物の移動前後において相対的に上がった後に、前記人物の顔の大きさが前記人物の移動前後において相対的に大きくなった場合、前記人物が前記乗り物に乗車したと判定し、
前記人物の頭の位置が前記人物の移動前後において相対的に上がった後に、前記人物の頭の位置が前記人物の移動前後において相対的に下がり、かつ、前記人物の顔の大きさが前記人物の移動前後において相対的に小さくなった場合、前記人物は前記乗り物に乗車していないと判定する、
乗降判定装置が行う乗降判定方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、乗降判定装置および乗降判定方法に関する。

【背景技術】

【0002】

従来、例えばバスなどの乗り物において、乗降した乗客の人数を算出する技術が種々提案されている（例えば、特許文献１参照）。従来技術にあっては、乗り口および降り口にそれぞれカメラが設置され、かかるカメラによって撮像された乗客の撮像画像を用いて乗客の人数（乗客数）を算出するようにしている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１４－２１９９１３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上記した撮像画像には、例えば乗り物の乗り口の外側に立っているだけで実際には乗車しない人物などが写り込むことがある。従来技術にあっては、かかる人物を乗り物に乗車する乗客として誤判定するおそれがあり、改善の余地があった。なお、乗り物の降り口側でも、実際には降車しない乗客を乗り物から降車したと誤判定することが起こりうる。

【0005】

本発明は、上記に鑑みてなされたものであって、乗り物の乗降口付近に存在する人物の乗り物に対する乗降を精度よく判定することができる乗降判定装置および乗降判定方法を提供することを目的とする。

【課題を解決するための手段】

【0006】

上記課題を解決し、目的を達成するために、本発明は、乗降判定装置において、検出部と、判定部とを備える。検出部は、乗り物の乗降口付近に存在する人物の頭の位置を検出する。判定部は、前記検出部によって検出された前記人物の頭の位置に基づいて前記人物の前記乗り物に対する乗降を判定する。

【発明の効果】

【0007】

本発明によれば、乗り物の乗降口付近に存在する人物の乗り物に対する乗降を精度よく判定することができる。

【図面の簡単な説明】

【0008】

【図1】図１は、実施形態に係る乗降判定方法の概要を示す図である。

【図2】図２は、バス端末装置を備えた情報処理システムの構成例を示すブロック図である。

【図3】図３は、乗り口端末装置の構成例を示すブロック図である。

【図4】図４は、乗車者情報の一例を示す図である。

【図5A】図５Ａは、乗車の判定処理を説明するための図である。

【図5B】図５Ｂは、乗車の判定処理を説明するための図である。

【図6】図６は、降り口端末装置の構成例を示すブロック図である。

【図7】図７は、降車者情報の一例を示す図である。

【図8】図８は、管理サーバの構成例を示すブロック図である。

【図9】図９は、情報処理システムが実行する処理シーケンスの一例を示す図である。

【図10】図１０は、変形例に係る降り口端末装置の構成例を示すブロック図である。

【図11】図１１は、降車の判定処理を説明するための図である。

【発明を実施するための形態】

【0009】

以下、添付図面を参照して、本願の開示する乗降判定装置および乗降判定方法の実施形態を詳細に説明する。なお、以下に示す実施形態によりこの発明が限定されるものではない。

【0010】

＜乗降判定装置による乗降判定方法の概要＞
以下では先ず、実施形態に係る乗降判定装置による乗降判定方法の概要について図１を参照して説明する。図１は、実施形態に係る乗降判定方法の概要を示す図である。

【0011】

実施形態に係る乗降判定方法は、例えば乗り物の乗降口付近に存在する人物の乗り物に対する乗降の判定などを行うことができる。上記した乗降口は、乗り物の乗り口２ａおよび降り口２ｂの一方あるいは両方を含むものとする。なお、以下では、乗降判定方法が、例えば乗り物の乗り口２ａ付近に存在する人物の乗り物に対する乗車の判定を行う場合を例に挙げて説明する。

【0012】

また、ここでは乗り物の一例としてバス１を挙げて説明するが、乗り物の種類はこれに限定されるものではない。すなわち、乗り物は、例えば鉄道車両や航空機、船舶などその他の種類の乗り物であってもよい。

【0013】

図１に示すように、バス１には、バス端末装置１０が搭載され、かかるバス端末装置１０が乗降判定装置として機能する。具体的に説明すると、バス端末装置１０は、乗り口端末装置１０ａと、降り口端末装置１０ｂとを備える。

【0014】

乗り口端末装置１０ａは、バス１の乗り口２ａに設置される。乗り口端末装置１０ａは、第１カメラ１１ａを備える。例えば、第１カメラ１１ａは、バス１の乗り口２ａであって、かつ、バス１の中（バス車内）に設けられる。第１カメラ１１ａは、乗り口２ａ付近に存在する人物Ｐの撮像画像Ａを撮像する。なお、図１では、最初に撮像された人物Ｐを実線で示し、その後人物Ｐが移動した後に撮像された人物Ｐを破線で示している。

【0015】

乗り口端末装置１０ａは、第１カメラ１１ａから撮像画像Ａを取得し、撮像画像Ａから乗り口２ａ付近に存在する人物Ｐの頭Ｐａの位置を検出する（ステップＳ１）。次いで、乗り口端末装置１０ａは、検出された人物Ｐの頭Ｐａの位置に基づいて人物Ｐのバス１に対する乗車を判定する（ステップＳ２）。これにより、乗り口端末装置１０ａは、人物Ｐのバス１に対する乗車を精度よく判定することができる。

【0016】

詳しく説明すると、例えば人物Ｐがバス１の車外から車内に入って乗車する場合、バス１の乗り口２ａにある段差３を上る必要があるため、人物Ｐの頭Ｐａの位置は、人物Ｐの移動前後で相対的に上がる。そこで、本実施形態に係る乗り口端末装置１０ａにあっては、人物Ｐの頭Ｐａの位置が、矢印Ｄで示すように、人物Ｐの移動前後において相対的に上がった場合、人物Ｐがバス１に乗車したと判定するようにした。

【0017】

これにより、乗り口端末装置１０ａは、人物Ｐのバス１に対する乗車を精度よく判定することができる。言い換えると、乗り口端末装置１０ａは、例えばバス１の乗り口２ａの外側に立っているだけで実際には乗車しない人物が撮像画像に写り込んだ場合であっても、人物の頭の位置は相対的に上がらないため、バス１に乗車したと判定しない。これにより、乗り口端末装置１０ａは、乗り口２ａの外側に立っているだけの人物をバス１に乗車する乗客として誤判定してしまうことを抑制することができる。

【0018】

なお、本実施形態にあっては、乗り口端末装置１０ａによって人物Ｐがバス１に乗車したと判定した場合、人物Ｐは乗車者となることから、かかる乗車者（人物Ｐ）が撮像された撮像画像を乗車者撮像画像として、乗客数の算出などの処理に利用する。

【0019】

なお、降り口端末装置１０ｂは、バス１の降り口２ｂに設置される。降り口端末装置１０ｂは、第２カメラ１１ｂを備える。例えば、第２カメラ１１ｂは、バス１の降り口２ｂであって、かつ、バス１の中（バス車内）に設けられる。

【0020】

＜情報処理システムの構成＞
次に、実施形態に係るバス端末装置（乗降判定装置）１０を備えた情報処理システムの構成について、図２を用いて説明する。図２は、バス端末装置１０を備えた情報処理システム１００の構成例を示すブロック図である。

【0021】

図２に示すように、情報処理システム１００は、上記したバス端末装置１０と、管理サーバ２００と、バス事業者端末装置３００と、ユーザ端末装置４００とを含み、これらはインターネット網などの通信ネットワークＮを介して通信可能に接続される。

【0022】

バス端末装置１０は、上記したように、乗り口端末装置１０ａおよび降り口端末装置１０ｂを備える。乗り口端末装置１０ａと降り口端末装置１０ｂとは、例えばＷｉ－Ｆｉ（登録商標）などの近距離無線通信を介して通信可能に接続されるが、これに限られず、近距離無線通信に加えて、あるいは代えて通信ネットワークＮなどを介して通信可能に接続されてもよい。なお、乗り口端末装置１０ａの詳細な構成については、図３等を用いて後述する。また、降り口端末装置１０ｂの詳細な構成については、図６等を用いて後述する。

【0023】

管理サーバ２００は、バス端末装置１０から送信される乗車者情報や降車者情報（いずれも後述）、バス１の乗客数の情報を含む乗客情報などを管理するサーバ装置である。管理サーバ２００は、乗客情報などをバス事業者端末装置３００へ提供することができる。また、管理サーバ２００は、バス１の乗客数の情報に基づいてバス１の混雑度を算出し、算出された混雑度を示す混雑度情報をユーザ端末装置４００へ提供することができる。なお、管理サーバ２００の詳細な構成については、図８を用いて後述する。

【0024】

バス事業者端末装置３００は、バス１を運行するバス事業者が使用する端末装置である。バス事業者端末装置３００としては、例えばＰＣ（Personal Computer）、スマートフォンやタブレット端末などを用いることができるが、これに限定されるものではない。かかるバス事業者端末装置３００には、管理サーバ２００から乗客情報などが送信されて表示される。これにより、バス事業者は、例えば乗客情報などに応じたバス１の運行計画を立てることが可能になる。

【0025】

ユーザ端末装置４００は、バス１を利用するユーザ、正確にはバス１をこれから利用するユーザが使用する端末装置である。なお、ユーザ端末装置４００としては、例えばスマートフォンやタブレット端末、ＰＣなどを用いることができるが、これに限定されるものではない。かかるユーザ端末装置４００には、管理サーバ２００からバス１の混雑度情報が送信されて表示される。これにより、ユーザは、例えばバス１の混雑度を乗車前に確認することが可能になる。なお、図２では、図示の簡略化のため、ユーザ端末装置４００を２つ示したが、これに限られず、１つであっても３つ以上であってもよい。

【0026】

＜乗り口端末装置の構成＞
次いで、乗り口端末装置１０ａの構成について図３等を参照して説明する。図３は、乗り口端末装置１０ａの構成例を示すブロック図である。なお、図３を含む各ブロック図では、本実施形態の特徴を説明するために必要な構成要素のみを機能ブロックで表しており、一般的な構成要素についての記載を省略している。

【0027】

換言すれば、図３等のブロック図に図示される各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。例えば、各機能ブロックの分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することが可能である。

【0028】

図３に示すように、乗り口端末装置１０ａは、第１カメラ１１ａと、測位部１２ａと、制御部２０ａと、記憶部３０ａとを備える。なお、乗り口端末装置１０ａとしては、スマートフォンやタブレット端末などを用いることができるが、これに限定されるものではない。

【0029】

第１カメラ１１ａは、例えばレンズと、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子とを備えるカメラである。第１カメラ１１ａは、バス１の乗り口２ａ（図１参照）であって、かつ、バス１の中（バス車内）に設けられる。詳しくは、第１カメラ１１ａは、少なくとも乗り口２ａから乗車する乗車者（乗客）の顔を含む範囲をバス車内から撮像可能な位置に設けられる。第１カメラ１１ａは、乗り口２ａ付近に存在する人物（乗車者を含む）の撮像画像を撮像し、撮像された撮像画像を制御部２０ａへ出力する。

【0030】

測位部１２ａは、バス１の位置情報（例えば、緯度および経度）を取得する。例えば、測位部１２ａは、ＧＰＳ（Global Positioning System）衛星から送出される電波を受信し、受信した電波に基づいてバス１の位置情報を取得し、取得された位置情報を制御部２０ａへ出力する。なお、測位部１２ａは、バス１が停留所に停止しているときに取得されたバス１の位置情報を、バス１が停止している停留所の位置情報として出力してもよい。

【0031】

制御部２０ａは、取得部２１ａと、検出部２２ａと、判定部２３ａと、登録部２４ａと、出力部２５ａとを備え、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、入出力ポートなどを有するコンピュータや各種の回路を含む。

【0032】

コンピュータのＣＰＵは、例えば、ＲＯＭに記憶されたプログラムを読み出して実行することによって、制御部２０ａの取得部２１ａ、検出部２２ａ、判定部２３ａ、登録部２４ａおよび出力部２５ａとして機能する。

【0033】

また、制御部２０ａの取得部２１ａ、検出部２２ａ、判定部２３ａ、登録部２４ａおよび出力部２５ａの少なくともいずれか一部または全部をＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアで構成することもできる。

【0034】

また、記憶部３０ａは、例えば、不揮発性メモリやデータフラッシュといった記憶デバイスで構成される記憶部である。かかる記憶部３０ａには、乗車者情報３１ａおよび各種プログラムなどが記憶される。

【0035】

乗車者情報３１ａは、乗車者に関する情報である。ここで、図４を用いて、乗車者情報３１ａについて説明する。図４は、乗車者情報３１ａの一例を示す図である。図４に示すように、乗車者情報３１ａには、「乗車者ＩＤ」、「乗車者画像」、「特徴点」、「性別」、「年齢」、「年齢層」および「乗車した停留所」等の項目が含まれ、各項目は互いに関連付けられている。

【0036】

「乗車者ＩＤ」は、乗車者を識別する識別情報である。「乗車者画像」は、乗車者撮像画像の情報である。乗車者撮像画像は、上記したように、乗り口端末装置１０ａによって、乗り口２ａ付近に存在する人物がバス１に乗車したと判定された場合に、かかる人物（乗車者）が写っている撮像画像である。なお、図４に示す例では、便宜上、「乗車者画像」を「画像Ｅ０１」といったように抽象的な記載とするが、「画像Ｅ０１」には具体的な情報が記憶されるものとする。以下、他の情報についても抽象的に記載する場合がある。

【0037】

「特徴点」は、乗車者撮像画像に写った乗車者の顔の特徴点情報であり、顔情報の一例である。特徴点情報には、例えば乗車者撮像画像に写った乗車者の顔における目（目頭、目尻など）、鼻や口などの特徴点の位置などが含まれるが、これに限定されるものではない。

【0038】

「性別」は、乗車者撮像画像に写った乗車者の性別を示す情報である。「年齢」は、乗車者撮像画像に写った乗車者の年齢を示す情報であり、「年齢層」は、かかる乗車者の年齢層を示す情報である。なお、上記した性別や年齢、年齢層などの情報は、乗車者の属性情報の一例である。「乗車した停留所」は、乗車者が乗車した停留所を示す情報である。

【0039】

図４に示す例では、乗車者ＩＤ「Ｐ０１」で識別される乗車者のデータは、乗車者画像が「画像Ｅ０１」、特徴点が「特徴点Ｆ０１」、性別が「男性」、年齢が「年齢Ｇ０１」、年齢層が「大人」、乗車した停留所が「停留所Ｈ０１」であることを示している。

【0040】

図３の説明に戻ると、制御部２０ａの取得部２１ａは、第１カメラ１１ａから、バス１の乗り口２ａ付近に存在する人物（乗車者を含む）の撮像画像を取得する。例えば、取得部２１ａは、バス１が停留所で停止しているときに撮像画像を取得するが、取得のタイミングはこれに限定されるものではない。取得部２１ａは、取得された撮像画像を検出部２２ａへ出力する。

【0041】

検出部２２ａは、撮像画像に基づいて、バス１の乗り口２ａ付近に存在する人物の頭の位置を検出する。なお、頭の位置は、任意に設定可能であり、例えば頭全体の位置、頭の中心位置、頭の上端の位置や下端の位置など頭の種々の部位に設定可能である。さらに、検出部２２ａは、撮像画像に基づいて、バス１の乗り口２ａ付近に存在する人物の顔の大きさを検出する。検出部２２ａは、検出された頭の位置を示す情報および顔の大きさを示す情報を判定部２３ａへ出力する。

【0042】

また、検出部２２ａは、撮像画像に写っている人物が乗車者であった場合、撮像画像である乗車者撮像画像から乗車者の顔情報（詳しくは顔の特徴点情報）を検出する。例えば、検出部２２ａは、乗車者撮像画像から、目（目頭、目尻など）、鼻や口、輪郭などの特徴点を抽出し、抽出された特徴点の位置を特徴点情報として検出する。

【0043】

検出部２２ａは、乗車者撮像画像から乗車者の性別や年齢、年齢層などの属性情報を検出する。なお、特徴点情報および属性情報の検出手法は、任意に設定可能である。検出部２２ａは、検出された特徴点情報および属性情報を登録部２４ａへ出力する。

【0044】

判定部２３ａは、撮像画像に写った人物のバス１に対する乗車を判定する。この乗車の判定処理について、図５Ａおよび図５Ｂを参照しつつ説明する。図５Ａおよび図５Ｂは、乗車の判定処理を説明するための図である。

【0045】

なお、図５Ａでは、撮像画像Ａ１を示し、図５Ｂでは、撮像画像Ａ１より後に撮像された撮像画像Ａ２を示している。また、図５Ａでは、図１と同様、最初に撮像された人物Ｐを実線で示し、その後人物Ｐが移動した後に撮像された人物Ｐを破線で示している。図５Ｂでは、図５Ａにおいて破線で示されていた人物Ｐが、さらに移動した後に撮像された人物Ｐを一点鎖線あるいは二点鎖線で示している。

【0046】

図５Ａに示すように、判定部２３ａは、検出された人物Ｐの頭Ｐａの位置に基づいて人物Ｐのバス１に対する乗車を判定する。例えば、判定部２３ａは、人物Ｐの頭Ｐａの位置が、矢印Ｄ１で示すように、人物Ｐの移動前後において相対的に上がった場合、人物Ｐがバス１に乗車したと判定するようにした。これにより、本実施形態にあっては、人物Ｐのバス１に対する乗車を精度よく判定することができることは、既に述べた通りである。

【0047】

例えば、判定部２３ａは、実線で示す人物Ｐの移動前の頭Ｐａの位置が、所定値以上上がって、破線で示す人物Ｐの移動後の頭Ｐａの位置になった場合、人物Ｐがバス１に乗車したと判定してもよい。ここで、所定値は、例えばバス１が停車している路面から段差３（図１参照）までの高さに応じて設定される。これにより、人物Ｐが段差３を上ってバス１に乗車したことを精度よく判定することが可能になる。なお、上記では、所定値が段差３の高さに応じて設定されるようにしたが、これは例示であって限定されるものではなく、任意の値に設定されてもよい。

【0048】

また、図５Ｂに示すように、判定部２３ａは、破線で示される人物Ｐのように、頭Ｐａの位置が人物の移動前後において相対的に上がった後に、一点鎖線で示される人物Ｐのように、顔の大きさが人物Ｐの移動前後において相対的に大きくなった場合、人物Ｐがバス１に乗車したと判定してもよい（矢印Ｄ２参照）。

【0049】

このように、顔の大きさが人物Ｐの移動前後において相対的に大きくなったということは、人物Ｐがバス１の中に設けられた第１カメラ１１ａに近づき、バス１に乗車したことを示していることから、判定部２３ａは、人物Ｐのバス１に対する乗車をより精度よく判定することができる。

【0050】

なお、判定部２３ａは、人物Ｐの顔の大きさが人物Ｐの移動前後において相対的に大きくなった後、さらに人物Ｐが撮像画像Ａ２からフェードアウトした場合に、人物Ｐがバス１に乗車したと判定してもよい。

【0051】

一方、判定部２３ａは、破線で示される人物Ｐのように、頭Ｐａの位置が人物の移動前後において相対的に上がった後に、二点鎖線で示される人物Ｐのように、頭の位置が人物の移動前後において相対的に下がり、かつ、人物Ｐの顔の大きさが人物Ｐの移動前後において相対的に小さくなった場合、人物Ｐはバス１に乗車していないと判定してもよい（矢印Ｄ３参照）。

【0052】

これにより、バス１に乗車しない人物Ｐを乗車者（乗客）として誤判定してしまうことを抑制することができる。すなわち、二点鎖線で示される人物Ｐの動作は、例えばバス１の車内に一旦入ったものの、バス１の行先が所望する行先と違っていたなどの理由でバス１から降りるような動作である。

【0053】

判定部２３ａは、かかる動作を行った人物Ｐについてバス１に乗車していないと判定することから、バス１の車内に一旦入ったものの、実際にはバス１に乗車しない人物Ｐを乗車者（乗客）として誤判定してしまうことを抑制することができる。

【0054】

図３の説明を続けると、判定部２３ａは、判定結果を登録部２４ａに出力する。登録部２４ａは、乗り口２ａ付近に存在する人物がバス１に乗車したと判定された場合に、かかる人物（乗車者）が写っている撮像画像を乗車者撮像画像とする。そして、登録部２４ａは、乗車者撮像画像を含む各種の情報（特徴点情報や属性情報）を記憶部３０ａに乗車者情報３１ａ（図４参照）として登録する。このとき、登録部２４ａは、測位部１２ａのバス１の位置情報に基づいて、乗車者撮像画像が撮像された停留所、すなわち、乗車者が乗車した停留所の情報を乗車者情報３１ａに付加してもよい。

【0055】

出力部２５ａは、記憶部３０ａにアクセスし、乗車者情報３１ａを降り口端末装置１０ｂへ出力する。これにより、本実施形態に係る乗り口端末装置１０ａにあっては、実際に乗車した乗車者に即した乗車者情報３１ａ、すなわち正確な乗車者情報３１ａを降り口端末装置１０ｂへ出力することができる。

【0056】

なお、出力部２５ａは、バス１が停留所を出発してから次の停留所に到着するまでの間に出力処理を実行するが、出力のタイミングはこれに限定されるものではない。

【0057】

＜降り口端末装置の構成＞
次いで、降り口端末装置１０ｂの構成について図６等を参照して説明する。図６は、降り口端末装置１０ｂの構成例を示すブロック図である。

【0058】

図６に示すように、降り口端末装置１０ｂは、第２カメラ１１ｂと、測位部１２ｂと、制御部２０ｂと、記憶部３０ｂとを備える。なお、降り口端末装置１０ｂとしては、スマートフォンやタブレット端末などを用いることができるが、これに限定されるものではない。

【0059】

第２カメラ１１ｂは、例えばレンズと、ＣＣＤやＣＭＯＳなどの撮像素子とを備えるカメラである。第２カメラ１１ｂは、バス１の降り口２ｂ（図１参照）であって、かつ、バス１の中（バス車内）に設けられる。詳しくは、第２カメラ１１ｂは、少なくとも降り口２ｂから降車する降車者（乗客）の顔を含む範囲をバス車内から撮像可能な位置に設けられる。第２カメラ１１ｂは、降車者の降車者撮像画像を撮像し、撮像された降車者撮像画像を制御部２０ｂへ出力する。

【0060】

測位部１２ｂは、例えばＧＰＳ衛星から送出される電波に基づいてバス１の位置情報を取得し、取得された位置情報を制御部２０ｂへ出力する。なお、測位部１２ｂは、バス１が停留所に停止しているときに取得されたバス１の位置情報を、バス１が停止している停留所の位置情報として出力してもよい。

【0061】

制御部２０ｂは、取得部２１ｂと、検出部２２ｂと、登録部２３ｂと、照合部２４ｂと、算出部２５ｂと、送信部２６ｂとを備え、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、入出力ポートなどを有するコンピュータや各種の回路を含む。

【0062】

コンピュータのＣＰＵは、例えば、ＲＯＭに記憶されたプログラムを読み出して実行することによって、制御部２０ｂの取得部２１ｂ、検出部２２ｂ、登録部２３ｂ、照合部２４ｂ、算出部２５ｂおよび送信部２６ｂとして機能する。

【0063】

また、制御部２０ｂの取得部２１ｂ、検出部２２ｂ、登録部２３ｂ、照合部２４ｂ、算出部２５ｂおよび送信部２６ｂの少なくともいずれか一部または全部をＡＳＩＣやＦＰＧＡ等のハードウェアで構成することもできる。

【0064】

また、記憶部３０ｂは、例えば、不揮発性メモリやデータフラッシュといった記憶デバイスで構成される記憶部である。かかる記憶部３０ｂには、乗車者情報３１ｂ、降車者情報３２ｂ、乗降カウンタ３３ｂおよび各種プログラムなどが記憶される。

【0065】

乗車者情報３１ｂは、乗り口端末装置１０ａから出力された乗車者情報３１ａと同じ情報であるため、ここでの説明を省略する（図４参照）。

【0066】

降車者情報３２ｂは、降車者に関する情報である。ここで、図７を用いて、降車者情報３２ｂについて説明する。図７は、降車者情報３２ｂの一例を示す図である。図７に示すように、降車者情報３２ｂには、「降車者ＩＤ」、「降車者画像」、「特徴点」、「性別」、「年齢」、「年齢層」、「降車した停留所」および「照合結果」等の項目が含まれ、各項目は互いに関連付けられている。

【0067】

「降車者ＩＤ」は、降車者を識別する識別情報である。「降車者画像」は、降車者撮像画像の情報である。「特徴点」は、顔の特徴点情報である。かかる特徴点情報には、例えば降車者撮像画像に写った降車者の顔における目、鼻や口などの特徴点の位置などが含まれるが、これに限定されるものではない。

【0068】

「性別」は、降車者撮像画像に写った降車者の性別を示す情報である。「年齢」は、降車者撮像画像に写った降車者の年齢を示す情報であり、「年齢層」は、かかる降車者の年齢層を示す情報である。

【0069】

「降車した停留所」は、降車者が乗車した停留所を示す情報である。「照合結果」は、後述する照合部２４ｂによって乗車者情報３１ｂと降車者情報３２ｂとが照合されたときの照合結果を示す情報である。「照合結果」には、例えば降車者情報３２ｂと一致した乗車者情報３１ｂの乗車者ＩＤに関する情報が含まれるが、これに限定されるものではない。

【0070】

図７に示す例では、降車者ＩＤ「Ｑ０１」で識別される降車者のデータは、降車者画像が「画像Ｅ１１」、特徴点が「特徴点Ｆ０１」、性別が「男性」、年齢が「年齢Ｇ０１」、年齢層が「大人」、降車した停留所が「停留所Ｈ１１」、照合結果が「乗車者ＩＤ［Ｐ０１］と一致」であることを示している。

【0071】

図６の説明に戻ると、乗降カウンタ３３ｂは、バス１の現在の乗客数をカウントするカウンタである。

【0072】

制御部２０ｂの取得部２１ｂは、第２カメラ１１ｂから、バス１から降車する人物（降車者）が撮像された降車者撮像画像を取得する。例えば、取得部２１ｂは、バス１が停留所で停止しているときに降車者撮像画像を取得するが、取得のタイミングはこれに限定されるものではない。取得部２１ｂは、取得された降車者撮像画像を検出部２２ｂへ出力する。

【0073】

また、取得部２１ｂは、乗り口端末装置１０ａから出力された乗車者情報を取得し、記憶部３０ｂに乗車者情報３１ｂ（図４参照）として登録する。

【0074】

検出部２２ｂは、降車者撮像画像から降車者の顔情報（詳しくは顔の特徴点情報）を検出する。例えば、検出部２２ｂは、降車者撮像画像から、目、鼻や口、輪郭などの特徴点を抽出し、抽出された特徴点の位置を特徴点情報として検出する。

【0075】

検出部２２ｂは、降車者撮像画像から降車者の性別や年齢、年齢層などの属性情報を検出する。検出部２２ｂは、検出された特徴点情報および属性情報を降車者撮像画像とともに、登録部２３ｂへ出力する。

【0076】

登録部２３ｂは、降車者撮像画像、特徴点情報および属性情報を含む各種の情報を記憶部３０ｂに降車者情報３２ｂ（図７参照）として登録する。このとき、登録部２３ｂは、測位部１２ｂのバス１の位置情報に基づいて、降車者撮像画像が撮像された停留所、すなわち、降車者が降車した停留所の情報を降車者情報３２ｂに付加してもよい。

【0077】

照合部２４ｂは、乗車者情報３１ｂと降車者情報３２ｂとを照合する。例えば、照合部２４ｂは、記憶部３０ｂの乗車者情報３１ｂと降車者情報３２ｂにアクセスし、降車者の特徴点情報や属性情報が、乗車者の特徴点情報や属性情報と一致あるいは略一致するか否かの照合を行う。照合部２４ｂは、降車者の特徴点情報等が乗車者の特徴点情報等と一致あるいは略一致する場合、かかる照合結果を、降車者情報３２ｂ（図７参照）の「照合結果」に登録する。ここでは、照合部２４ｂは、降車者ＩＤ「Ｑ０１」の降車者の特徴点情報や属性情報が、乗車者ＩＤ「Ｐ０１」の情報の特徴点情報や属性情報と一致したことを示している。

【0078】

算出部２５ｂは、乗車者情報３１ｂと降車者情報３２ｂとに基づいてバス１の乗客数を算出する。例えば、算出部２５ｂは、乗車者情報３１ｂに乗車者の顔情報や属性情報が新たに登録されたときに乗車者の人数を１人加算する、詳しくは乗降カウンタ３３ｂをインクリメントする。

【0079】

また、算出部２５ｂは、降車者情報３２ｂに、乗車者の特徴点情報や属性情報と一致あるいは略一致する降車者の情報が登録された場合に、かかる特徴点情報等の乗客がバス１から降車したと推定し、乗車者の人数から降車者を１人減算して得た値をバス１の現在の乗客数として算出する、詳しくは乗降カウンタ３３ｂをデクリメントする。

【0080】

このように、算出部２５ｂは、正確な乗車者情報３１ｂを用いることから、バス１の乗客数を精度よく算出することができる。なお、算出部２５ｂは、バス１が停留所を出発して次の停留所に到着するまでの間に算出処理を実行するが、算出のタイミングはこれに限定されるものではない。

【0081】

送信部２６ｂは、乗車者情報３１ｂや降車者情報３２ｂの一部あるいは全部と、乗降カウンタ３３ｂの値であるバス１の乗客数の情報とを含む乗客情報を、管理サーバ２００へ送信する。

【0082】

なお、送信部２６ｂは、バス１が停留所を出発して算出部２５ｂでの算出処理等が完了してから次の停留所に到着するまでの間に送信処理を実行するが、送信のタイミングはこれに限定されるものではない。

【0083】

＜管理サーバの構成＞
次いで、管理サーバ２００の構成について図８を参照して説明する。図８は、管理サーバ２００の構成例を示すブロック図である。

【0084】

図８に示すように、管理サーバ２００は、通信部２０１と、制御部２１０と、記憶部２２０とを備える。通信部２０１は、通信ネットワークＮに双方向通信可能に接続する通信インターフェイスであり、バス端末装置１０やバス事業者端末装置３００、ユーザ端末装置４００等との間で情報の送受信を行う。

【0085】

制御部２１０は、取得部２１１と、混雑度算出部２１２と、提供部２１３とを備え、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、入出力ポートなどを有するコンピュータや各種の回路を含む。

【0086】

コンピュータのＣＰＵは、例えば、ＲＯＭに記憶されたプログラムを読み出して実行することによって、制御部２１０の取得部２１１、混雑度算出部２１２および提供部２１３として機能する。

【0087】

また、制御部２１０の取得部２１１、混雑度算出部２１２および提供部２１３の少なくともいずれか一部または全部をＡＳＩＣやＦＰＧＡ等のハードウェアで構成することもできる。

【0088】

また、記憶部２２０は、例えば、不揮発性メモリやデータフラッシュといった記憶デバイスで構成される記憶部である。かかる記憶部２２０には、乗客情報２２１、バス情報２２２および各種プログラムなどが記憶される。

【0089】

乗客情報２２１は、降り口端末装置１０ｂから送信された、バス１の乗客に関する情報である。乗客情報２２１には、上記したように、乗車者情報３１ｂや降車者情報３２ｂの一部あるいは全部と、乗降カウンタ３３ｂの値であるバス１の乗客数の情報とが含まれる。

【0090】

バス情報２２２は、バス１に関する情報である。バス情報２２２には、例えばバス１の定員を示す定員情報などが含まれるが、これに限られず、バス１の運行計画情報などその他の情報が含まれてもよい。なお、バス情報２２２は、予め記憶部２２０に記憶されるが、これに限定されるものではなく、例えばバス事業者端末装置３００など外部端末から送信されて記憶部２２０に記憶されてもよい。

【0091】

制御部２１０の取得部２１１は、降り口端末装置１０ｂから送信された情報を取得し、取得された情報を記憶部２２０に乗客情報２２１として記憶させる。

【0092】

混雑度算出部２１２は、バス１の混雑度、詳しくはバス１の現在の混雑度を算出する。混雑度は、バス１の混雑状況の度合いを示す指標値であり、例えばバス１の定員に対する乗客数等に応じた数段階のレベルで示される値である。

【0093】

例えば、混雑度算出部２１２は、乗客情報２２１に含まれるバス１の現在の乗客数の情報と、バス情報２２２に含まれるバス１の定員情報とに基づいて、バス１の現在の混雑度を算出する。混雑度算出部２１２は、算出された混雑度を示す混雑度情報を提供部２１３へ出力する。

【0094】

提供部２１３は、かかる混雑度情報を通信部２０１を介して、例えばユーザ端末装置４００やバス事業者端末装置３００へ提供することができる。また、提供部２１３は、乗客情報２２１を通信部２０１を介して、例えばバス事業者端末装置３００へ提供することができる。

【0095】

＜実施形態に係る情報処理システムの制御処理＞
次に、実施形態に係るバス端末装置１０を含む情報処理システム１００が実行する処理手順について、図９を用いて説明する。図９は、実施形態に係るバス端末装置１０を含む情報処理システム１００が実行する処理シーケンスの一例を示す図である。

【0096】

図９に示すように、先ず乗り口端末装置１０ａは、第１カメラ１１ａから、バス１の乗り口２ａ付近に存在する人物の撮像画像を取得する（ステップＳ１０）。次いで、乗り口端末装置１０ａは、撮像画像に写った人物の頭の位置に基づいて人物のバス１に対する乗車を判定する（ステップＳ１１）。

【0097】

乗り口端末装置１０ａは、バス１に乗車したと判定された人物が写った撮像画像（乗車者撮像画像）を含む乗車者情報を記憶部３０ａに登録する（ステップＳ１２）。そして、乗り口端末装置１０ａは、乗車者情報を降り口端末装置１０ｂへ出力する（ステップＳ１３）。

【0098】

降り口端末装置１０ｂは、第２カメラ１１ｂから降車者撮像画像を取得する（ステップＳ１４）。次いで、降り口端末装置１０ｂは、降車者撮像画像を含む降車者情報を記憶部３０ｂに登録する（ステップＳ１５）。ここで、記憶部３０ｂには、以前の処理で乗り口端末装置１０ａから出力された乗車者情報が登録されているものとする。

【0099】

次いで、降り口端末装置１０ｂは、乗車者情報と降車者情報とを照合する（ステップＳ１６）。例えば、降り口端末装置１０ｂは、降車者情報における降車者の特徴点情報や属性情報が、乗車者情報における乗車者の特徴点情報や属性情報と一致あるいは略一致するか否かの照合を行う。

【0100】

降り口端末装置１０ｂは、乗車者情報、降車者情報および照合結果などに基づいて、バス１の乗客数を算出する（ステップＳ１７）。また、降り口端末装置１０ｂは、乗り口端末装置１０ａから乗車者情報が新たに出力された場合、記憶部３０ｂの乗車者情報を更新する（ステップＳ１８）。

【0101】

そして、降り口端末装置１０ｂは、乗車者情報や降車者情報、バス１の乗客数などを含む乗客情報を管理サーバ２００へ送信する（ステップＳ１９）。

【0102】

管理サーバ２００は、バス１の乗客数の情報などに基づいてバス１の混雑度を算出する（ステップＳ２０）。そして、管理サーバ２００は、混雑度情報や乗客情報などを、バス事業者端末装置３００やユーザ端末装置４００へ提供する（ステップＳ２１）。

【0103】

上述してきたように、実施形態に係るバス端末装置１０（乗降判定装置の一例）は、検出部２２ａと、判定部２３ａとを備える。検出部２２ａは、バス１の乗降口（乗り口２ａ）付近に存在する人物の頭の位置を検出する。判定部２３ａは、検出部２２ａによって検出された人物の頭の位置に基づいて人物の乗り物に対する乗降を判定する。これにより、実施形態にあっては、乗り物の乗降口付近に存在する人物の乗り物に対する乗降を精度よく判定することができる。

【0104】

＜変形例＞
次に、変形例について説明する。変形例では、降り口端末装置１０ｂが、例えばバス１の降り口２ｂ（図１参照）付近に存在する人物の乗り物からの降車の判定を行うようにした。

【0105】

図１０は、変形例に係る降り口端末装置１０ｂの構成例を示すブロック図である。なお、以下においては、実施形態と共通の構成については、同一の符号を付して説明を省略する。

【0106】

図１０に示すように、変形例に係る降り口端末装置１０ｂの制御部２０ｂは、判定部２７ｂをさらに備える。

【0107】

制御部２０ｂの取得部２１ｂは、第２カメラ１１ｂから、バス１の降り口２ｂ付近に存在する人物（降車者を含む）の撮像画像を取得する。取得部２１ｂは、取得された撮像画像を検出部２２ｂへ出力する。

【0108】

検出部２２ｂは、撮像画像に基づいて、バス１の降り口２ｂ付近に存在する人物の頭の位置を検出する。検出部２２ｂは、検出された頭の位置を示す情報を判定部２７ｂへ出力する。

【0109】

判定部２７ｂは、撮像画像に写った人物のバス１からの降車を判定する。この降車の判定処理について、図１１を参照しつつ説明する。図１１は、降車の判定処理を説明するための図である。なお、図１１では、撮像画像Ｂ１を示し、最初に撮像された人物Ｐを実線で示し、その後人物Ｐが移動した後に撮像された人物Ｐを破線で示している。

【0110】

図１１に示すように、判定部２７ｂは、検出された人物Ｐの頭Ｐｂの位置に基づいて人物Ｐのバス１からの降車を判定する。例えば、判定部２７ｂは、人物Ｐの頭Ｐｂの位置が、矢印Ｄ４で示すように、人物Ｐの移動前後において相対的に下がった場合、人物Ｐがバス１から降車したと判定するようにした。これにより、変形例にあっては、人物Ｐのバス１からの降車を精度よく判定することができる。

【0111】

詳しく説明すると、例えば人物Ｐがバス１の車内から車外に降りて降車する場合、バス１の降り口２ｂにある段差４（図１参照）を下りる必要があるため、人物Ｐの頭Ｐｂの位置は、人物Ｐの移動前後で相対的に下がる。そこで、変形例に係る降り口端末装置１０ｂにあっては、人物Ｐの頭Ｐｂの位置が、人物Ｐの移動前後において相対的に下がった場合、人物Ｐがバス１から降車したと判定するようにした。

【0112】

これにより、変形例に係る降り口端末装置１０ｂは、人物Ｐのバス１からの降車を精度よく判定することができる。言い換えると、降り口端末装置１０ｂは、例えば降り口２ｂ付近に立っているだけで実際には降車しない人物が撮像画像に写り込んだ場合であっても、人物の頭の位置は相対的に下がらないため、バス１から降車したと判定しない。これにより、降り口端末装置１０ｂは、降り口２ｂ付近に立っているだけの人物をバス１から降車する降車者として誤判定してしまうことを抑制することができる。

【0113】

例えば、判定部２７ｂは、実線で示す人物Ｐの移動前の頭Ｐｂの位置が、第２所定値以上下がって、破線で示す人物Ｐの移動後の頭Ｐｂの位置になった場合、人物Ｐがバス１から降車したと判定してもよい。ここで、第２所定値は、例えばバス１が停車している路面から段差４（図１参照）までの高さに応じて設定される。これにより、人物Ｐが段差４を下りてバス１から降車したことを精度よく判定することが可能になる。なお、上記では、第２所定値が段差４の高さに応じて設定されるようにしたが、これは例示であって限定されるものではなく、任意の値に設定されてもよい。

【0114】

なお、登録部２３ｂは、降り口２ｂ付近に存在する人物がバス１から降車したと判定された場合に、かかる人物（降車者）が写っている撮像画像を降車者撮像画像とする。そして、登録部２４ａは、降車者撮像画像を含む各種の情報（特徴点情報や属性情報）を記憶部３０ｂに降車者情報３２ｂとして登録する。

【0115】

なお、上記した変形例では、判定部２７ｂは、人物の頭の位置に基づいて人物の降車を判定するようにしたが、これに限定されるものではなく、頭の位置に加え、あるいは代えて人物の顔の大きさに基づいて人物の降車を判定してもよい。すなわち、図示は省略するが、判定部２７ｂは、頭の位置が人物の移動前後において相対的に下がった後に、顔の大きさが人物の移動前後において相対的に小さくなった場合、人物がバス１に降車したと判定してもよい。このように、顔の大きさが人物の移動前後において相対的に小さくなったということは、人物がバス１の中に設けられた第２カメラ１１ｂから離れ、バス１から降車したことを示していることから、判定部２７ｂは、人物のバス１からの降車をより精度よく判定することができる。

【0116】

なお、バス端末装置１０は、上記した乗車の判定および降車の判定の両方を行ってもよいし、いずれか一方を行ってもよい。

【0117】

なお、上記した実施形態および変形例において、乗り口端末装置１０ａ、降り口端末装置１０ｂおよび管理サーバ２００がそれぞれ、各種の処理を行うようにしたが、各種の処理が行われる装置は、上記に限定されるものではない。

【0118】

すなわち、乗り口端末装置１０ａで行われる処理の一部あるいは全部が、降り口端末装置１０ｂあるいは管理サーバ２００で行われるようにしてもよい。また、降り口端末装置１０ｂで行われる処理の一部あるいは全部が、乗り口端末装置１０ａあるいは管理サーバ２００で行われるようにしてもよい。また、管理サーバ２００で行われる処理の一部あるいは全部が、乗り口端末装置１０ａあるいは降り口端末装置１０ｂで行われるようにしてもよい。

【0119】

さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。

【符号の説明】

【0120】

１ バス
１０ バス端末装置
１０ａ 乗り口端末装置
１０ｂ 降り口端末装置
１１ａ 第１カメラ
１１ｂ 第２カメラ
２２ａ 検出部
２３ａ 判定部
１００ 情報処理システム
２００ 管理サーバ

【図1】

【図2】

【図3】

【図4】

【図5A】

【図5B】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】