知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024121867
(43)【公開日】2024-09-09
(54)【発明の名称】乗降者カウントプログラムおよび情報処理装置
(51)【国際特許分類】
G06T 7/60 20170101AFI20240902BHJP
G06T 7/20 20170101ALI20240902BHJP
G06V 10/762 20220101ALI20240902BHJP
G06V 20/54 20220101ALI20240902BHJP
【ＦＩ】
G06T7/60 110
G06T7/20 300Z
G06V10/762
G06V20/54
【審査請求】未請求
【請求項の数】11
【出願形態】ＯＬ
(21)【出願番号】P 2023029075
(22)【出願日】2023-02-28
(71)【出願人】
【識別番号】000005223
【氏名又は名称】富士通株式会社
(74)【代理人】
【識別番号】110002918
【氏名又は名称】弁理士法人扶桑国際特許事務所
(72)【発明者】
【氏名】松下 輝
(72)【発明者】
【氏名】小山 周治
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096BA02
5L096BA04
5L096CA04
5L096FA10
5L096FA13
5L096FA52
5L096FA66
5L096FA67
5L096FA69
5L096GA51
5L096HA05
5L096MA07
(57)【要約】
【課題】車両の乗降者のカウント精度を向上させる。
【解決手段】情報処理装置１０は、車両と車両の外を移動する複数の人とを写した画像データ１３を取得する。情報処理装置１０は、画像データ１３から、複数の人の移動経路を示す軌跡１４ａ，１４ｂ，１４ｃを検出する。情報処理装置１０は、画像データ１３の画像領域に設定されたカウント線１５と軌跡１４ａ，１４ｂ，１４ｃとが交差する複数の交点のクラスタに基づいて、カウント線１５の範囲１６を特定する。情報処理装置１０は、軌跡１４ａ，１４ｂ，１４ｃのうち範囲１６内でカウント線１５と交差する軌跡の個数に基づいて、車両の乗車人数および降車人数の少なくとも一方を算出する。
【選択図】図１
【解決手段】情報処理装置１０は、車両と車両の外を移動する複数の人とを写した画像データ１３を取得する。情報処理装置１０は、画像データ１３から、複数の人の移動経路を示す軌跡１４ａ，１４ｂ，１４ｃを検出する。情報処理装置１０は、画像データ１３の画像領域に設定されたカウント線１５と軌跡１４ａ，１４ｂ，１４ｃとが交差する複数の交点のクラスタに基づいて、カウント線１５の範囲１６を特定する。情報処理装置１０は、軌跡１４ａ，１４ｂ，１４ｃのうち範囲１６内でカウント線１５と交差する軌跡の個数に基づいて、車両の乗車人数および降車人数の少なくとも一方を算出する。
【選択図】図１
【特許請求の範囲】
【請求項1】
車両と前記車両の外を移動する複数の人とを写した画像データを取得し、
前記画像データから、前記複数の人の移動経路を示す複数の軌跡を検出し、
前記画像データの画像領域に設定されたカウント線と前記複数の軌跡とが交差する複数の交点のクラスタに基づいて、前記カウント線の範囲を特定し、
前記複数の軌跡のうち前記特定された範囲内で前記カウント線と交差する軌跡の個数に基づいて、前記車両の乗車人数および降車人数の少なくとも一方を算出する、
処理をコンピュータに実行させる乗降者カウントプログラム。
前記画像データから、前記複数の人の移動経路を示す複数の軌跡を検出し、
前記画像データの画像領域に設定されたカウント線と前記複数の軌跡とが交差する複数の交点のクラスタに基づいて、前記カウント線の範囲を特定し、
前記複数の軌跡のうち前記特定された範囲内で前記カウント線と交差する軌跡の個数に基づいて、前記車両の乗車人数および降車人数の少なくとも一方を算出する、
処理をコンピュータに実行させる乗降者カウントプログラム。
【請求項2】
前記特定は、前記複数の交点を前記画像領域内の座標に基づいて複数のクラスタに分類し、前記複数のクラスタのうち交点の個数が閾値を超えるクラスタに基づいて、前記車両が備えるドアの位置を前記範囲として推定する処理を含む、
請求項１記載の乗降者カウントプログラム。
請求項１記載の乗降者カウントプログラム。
【請求項3】
前記特定は、１つの軌跡が前記カウント線と複数回交差する場合、前記１つの軌跡の移動方向に基づいて高々１つの交点を選択する処理を含む、
請求項１記載の乗降者カウントプログラム。
請求項１記載の乗降者カウントプログラム。
【請求項4】
前記検出は、前記画像データから前記車両が写った車両領域を検出する処理を含み、
前記特定は、前記１つの軌跡の始点および終点がそれぞれ前記車両領域に含まれるか否かに基づいて、前記移動方向を判定する処理を含む、
請求項３記載の乗降者カウントプログラム。
前記特定は、前記１つの軌跡の始点および終点がそれぞれ前記車両領域に含まれるか否かに基づいて、前記移動方向を判定する処理を含む、
請求項３記載の乗降者カウントプログラム。
【請求項5】
前記検出は、前記複数の人それぞれが写った人領域を検出し、前記画像領域の縦方向の位置と前記人領域の高さとの関係に基づいて、前記複数の人のうち一部の人の前記人領域を補正し、前記補正された人領域に基づいて前記複数の軌跡を検出する処理を含む、
請求項１記載の乗降者カウントプログラム。
請求項１記載の乗降者カウントプログラム。
【請求項6】
前記特定された範囲に基づいて前記画像領域にドア領域を設定し、
前記複数の軌跡のうち、前記カウント線と交差せず、始点または終点が前記ドア領域に含まれる軌跡の個数に基づいて、前記乗車人数または前記降車人数を増やす、
処理を前記コンピュータに更に実行させる請求項１記載の乗降者カウントプログラム。
前記複数の軌跡のうち、前記カウント線と交差せず、始点または終点が前記ドア領域に含まれる軌跡の個数に基づいて、前記乗車人数または前記降車人数を増やす、
処理を前記コンピュータに更に実行させる請求項１記載の乗降者カウントプログラム。
【請求項7】
前記複数の軌跡のうち、前記画像領域に設定された周辺領域と前記車両が写った車両領域との一方から他方へ移動する軌跡の個数に基づいて、前記車両の他の乗車人数および他の降車人数の少なくとも一方を算出し、
前記乗車人数および前記他の乗車人数を含む複数の乗車人数が算出された場合、前記複数の乗車人数のうちの最大値を選択し、前記降車人数および前記他の降車人数を含む複数の降車人数が算出された場合、前記複数の降車人数のうちの最大値を選択する、
処理を前記コンピュータに更に実行させる請求項１記載の乗降者カウントプログラム。
前記乗車人数および前記他の乗車人数を含む複数の乗車人数が算出された場合、前記複数の乗車人数のうちの最大値を選択し、前記降車人数および前記他の降車人数を含む複数の降車人数が算出された場合、前記複数の降車人数のうちの最大値を選択する、
処理を前記コンピュータに更に実行させる請求項１記載の乗降者カウントプログラム。
【請求項8】
前記他の乗車人数および前記他の降車人数の少なくとも一方の算出は、前記複数の軌跡のうち、始点または終点が前記周辺領域および前記車両領域の何れにも含まれない軌跡を除外する処理を含む、
請求項７記載の乗降者カウントプログラム。
請求項７記載の乗降者カウントプログラム。
【請求項9】
前記画像データに含まれる複数のフレームそれぞれから前記車両を示す境界ボックスを判定し、前記画像領域内での前記境界ボックスの位置が特定の条件を満たすか否かに基づいて、前記複数のフレームのうち前記車両が停車している停車期間を判定する処理を前記コンピュータに更に実行させ、
前記複数の軌跡は、前記停車期間に含まれるフレームから検出される、
請求項１記載の乗降者カウントプログラム。
前記複数の軌跡は、前記停車期間に含まれるフレームから検出される、
請求項１記載の乗降者カウントプログラム。
【請求項10】
車両と前記車両の外を移動する複数の人とを写した画像データを取得し、
前記画像データから、前記複数の人の移動経路を示す複数の軌跡を検出し、
前記複数の軌跡のうち、前記画像データの画像領域に設定された周辺領域と前記車両が写った車両領域との一方から他方へ移動する軌跡の個数に基づいて、前記車両の乗車人数および降車人数の少なくとも一方を算出する、
処理をコンピュータに実行させる乗降者カウントプログラム。
前記画像データから、前記複数の人の移動経路を示す複数の軌跡を検出し、
前記複数の軌跡のうち、前記画像データの画像領域に設定された周辺領域と前記車両が写った車両領域との一方から他方へ移動する軌跡の個数に基づいて、前記車両の乗車人数および降車人数の少なくとも一方を算出する、
処理をコンピュータに実行させる乗降者カウントプログラム。
【請求項11】
車両と前記車両の外を移動する複数の人とを写した画像データを記憶する記憶部と、
前記画像データから、前記複数の人の移動経路を示す複数の軌跡を検出し、前記画像データの画像領域に設定されたカウント線と前記複数の軌跡とが交差する複数の交点のクラスタに基づいて、前記カウント線の範囲を特定し、前記複数の軌跡のうち前記特定された範囲内で前記カウント線と交差する軌跡の個数に基づいて、前記車両の乗車人数および降車人数の少なくとも一方を算出する処理部と、
を有する情報処理装置。
前記画像データから、前記複数の人の移動経路を示す複数の軌跡を検出し、前記画像データの画像領域に設定されたカウント線と前記複数の軌跡とが交差する複数の交点のクラスタに基づいて、前記カウント線の範囲を特定し、前記複数の軌跡のうち前記特定された範囲内で前記カウント線と交差する軌跡の個数に基づいて、前記車両の乗車人数および降車人数の少なくとも一方を算出する処理部と、
を有する情報処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は乗降者カウントプログラムおよび情報処理装置に関する。
【背景技術】
【0002】
コンピュータは、車両の停車時に撮像された画像データに基づいて、車両に乗った乗車者および車両から降りた降車者の少なくとも一方をカウントしたいことがある。
なお、カメラの画像から継続的に人を検出し、同一人の移動軌跡が判定ラインを通過した場合に通過人数を加算する入退場者数管理システムが提案されている。また、停車中の列車のドア周辺を撮像し、画像からドア毎の乗降者をカウントし、駅間で乗降人数を通知して現在の乗客数を推定する監視システムが提案されている。
なお、カメラの画像から継続的に人を検出し、同一人の移動軌跡が判定ラインを通過した場合に通過人数を加算する入退場者数管理システムが提案されている。また、停車中の列車のドア周辺を撮像し、画像からドア毎の乗降者をカウントし、駅間で乗降人数を通知して現在の乗客数を推定する監視システムが提案されている。
【0003】
また、車両内に設置されたカメラにより継続的に乗降口を撮像し、画像から人を検出して追跡し、乗降口を通過する乗降者をカウントする乗降者カウント装置が提案されている。また、車両の乗降口を継続的に撮像し、画像から人を検出して追跡し、乗降口の手前に設定された２つのカウント線それぞれを人が通過したか否かに基づいて乗降人数を算出する乗降人数算出システムが提案されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開平１０－４９７１８号公報
【特許文献2】特開２０１４－５４８９９号公報
【特許文献3】特開２０１４－２１９９１３号公報
【特許文献4】特開２０２２－１４９０２７号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
コンピュータは、車両が停車する停車場を撮像した画像データから、カウント線を通過した人をカウントすることで、乗車人数および降車人数の少なくとも一方を算出することが考えられる。しかし、バスのように、画像領域内で乗降口の写る位置が、車両の停車毎に変わることがある。また、トランクの荷物の出し入れなど、乗降以外の理由で人が車両に近付くこともある。このため、カウント線を用いた単純なカウント方法では、カウント精度が低くなることがある。そこで、１つの側面では、本発明は、車両の乗降者のカウント精度を向上させることを目的とする。
【課題を解決するための手段】
【0006】
１つの態様では、以下の処理をコンピュータに実行させる乗降者カウントプログラムが提供される。車両と車両の外を移動する複数の人とを写した画像データを取得する。画像データから、複数の人の移動経路を示す複数の軌跡を検出する。画像データの画像領域に設定されたカウント線と複数の軌跡とが交差する複数の交点のクラスタに基づいて、カウント線の範囲を特定する。複数の軌跡のうち特定された範囲内でカウント線と交差する軌跡の個数に基づいて、車両の乗車人数および降車人数の少なくとも一方を算出する。また、１つの態様では、記憶部と処理部とを有する情報処理装置が提供される。
【0007】
また、１つの態様では、以下の処理をコンピュータに実行させる乗降者カウントプログラムが提供される。車両と車両の外を移動する複数の人とを写した画像データを取得する。画像データから、複数の人の移動経路を示す複数の軌跡を検出する。複数の軌跡のうち、画像データの画像領域に設定された周辺領域と車両が写った車両領域との一方から他方へ移動する軌跡の個数に基づいて、車両の乗車人数および降車人数の少なくとも一方を算出する。
【発明の効果】
【0008】
１つの側面では、車両の乗降者のカウント精度が向上する。
【図面の簡単な説明】
【0009】
【図1】第１の実施の形態の情報処理装置を説明するための図である。
【図2】第２の実施の形態の情報処理装置を説明するための図である。
【図3】第３の実施の形態の情報処理システムの例を示す図である。
【図4】情報処理装置のハードウェア例を示す図である。
【図5】画像データから乗降者をカウントする流れの例を示す図である。
【図6】ロジックおよび検知モードによる乗降者数の違いの例を示す図である。
【図7】バスの境界ボックスの異常例を示す図である。
【図8】フレーム番号とＩｏＵの関係例を示すグラフである。
【図9】追跡ＩＤの共通化の第１の例を示す図である。
【図10】追跡ＩＤの共通化の第２の例を示す図である。
【図11】追跡ＩＤの共通化の第３の例を示す図である。
【図12】フレーム内の許容領域の例を示す図である。
【図13】バスの境界ボックスから算出されるバス領域の例を示す図である。
【図14】人の境界ボックスから算出される軌跡の例を示す図である。
【図15】低域通過フィルタによる軌跡の平準化例を示す図である。
【図16】人の境界ボックスのＹ座標と高さの関係例を示すグラフである。
【図17】人の境界ボックスの高さを補正する補正関数の例を示すグラフである。
【図18】位置分析の設定テーブルの例を示す図である。
【図19】カウント線ロジックによる乗降者カウントの例を示す図である。
【図20】カウント線と軌跡の交点の例を示す図である。
【図21】クラスタから判定される乗車口と降車口の例を示す図である。
【図22】乗降モードにおける降車期間と乗車期間の判定例を示すグラフである。
【図23】ドア領域を用いたカウント追加の例を示す図である。
【図24】カウント線ロジックの設定テーブルの例を示す図である。
【図25】周辺領域ロジックによる乗降者カウントの例を示す図である。
【図26】軌跡毎のカウントの増減例を示す図である。
【図27】情報処理装置の機能例を示すブロック図である。
【図28】停車期間検出の手順例を示すフローチャートである。
【図29】停車期間検出の手順例を示すフローチャート（続き１）である。
【図30】停車期間検出の手順例を示すフローチャート（続き２）である。
【図31】位置分析の手順例を示すフローチャートである。
【図32】位置分析の手順例を示すフローチャート（続き）である。
【図33】カウント線ロジックの手順例を示すフローチャートである。
【図34】カウント線ロジックの手順例を示すフローチャート（続き１）である。
【図35】カウント線ロジックの手順例を示すフローチャート（続き２）である。
【図36】カウント線ロジックの手順例を示すフローチャート（続き３）である。
【図37】周辺領域ロジックの手順例を示すフローチャートである。
【発明を実施するための形態】
【0010】
以下、本実施の形態を図面を参照して説明する。
［第１の実施の形態］
第１の実施の形態を説明する。
［第１の実施の形態］
第１の実施の形態を説明する。
【0011】
図１は、第１の実施の形態の情報処理装置を説明するための図である。
第１の実施の形態の情報処理装置１０は、画像データを分析して車両の乗降者をカウントする。情報処理装置１０は、クライアント装置でもよいしサーバ装置でもよい。情報処理装置１０が、コンピュータまたは乗降者カウント装置と呼ばれてもよい。
第１の実施の形態の情報処理装置１０は、画像データを分析して車両の乗降者をカウントする。情報処理装置１０は、クライアント装置でもよいしサーバ装置でもよい。情報処理装置１０が、コンピュータまたは乗降者カウント装置と呼ばれてもよい。
【0012】
情報処理装置１０は、記憶部１１および処理部１２を有する。記憶部１１は、ＲＡＭ（Random Access Memory）などの揮発性半導体メモリでもよいし、ＨＤＤ（Hard Disk Drive）やフラッシュメモリなどの不揮発性ストレージでもよい。
【0013】
処理部１２は、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）などのプロセッサである。ただし、処理部１２が、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などの電子回路を含んでもよい。プロセッサは、例えば、ＲＡＭなどのメモリ（記憶部１１でもよい）に記憶されたプログラムを実行する。プロセッサの集合が、マルチプロセッサまたは単に「プロセッサ」と呼ばれてもよい。
【0014】
記憶部１１は、画像データ１３を記憶する。画像データ１３には、車両と車両の外を移動する複数の人とが写っている。画像データ１３には、例えば、車両が停車する停車場が写っている。画像データ１３は、停車場に設定された定点カメラから受信されてもよい。停車場は、車両が停車する停車区画と人が歩行する歩行区画とを含んでもよい。車両には２以上の人が乗車可能であり、停車場から見た車両のドアの位置は停車毎に変わる。例えば、車両はバスであり、停車場はバス停である。ただし、車両はバスに限定されない。
【0015】
画像データ１３は、撮像場所が同じで撮像時刻の異なる複数のフレームを含む。画像データ１３が動画像データと呼ばれてもよい。フレーム間隔は１０ｆｐｓのように一定であってもよく、フレームの解像度は１９２０×１０８０のように一定であってもよい。
【0016】
処理部１２は、画像データ１３から、複数の人の移動経路を示す複数の軌跡を検出する。例えば、処理部１２は、画像データ１３から、車両の停車期間における異なる人の移動経路を示す軌跡１４ａ，１４ｂ，１４ｃを検出する。
【0017】
このとき、処理部１２は、訓練済みの機械学習モデルである画像認識モデルを用いて、画像データ１３の各フレームに写った人を認識してもよい。また、処理部１２は、機械学習モデルを用いて、異なるフレームで認識された人の同一性を判定してもよい。また、処理部１２は、同一人の座標を列挙することで軌跡を算出してもよい。
【0018】
処理部１２は、画像データ１３の画像領域に対してカウント線１５を設定する。カウント線１５は、カメラの設置位置や車両が停車し得る停車区画を考慮して、画像データ１３が取得される前に設定されてもよい。例えば、カウント線１５は、歩行区画の端など、乗車者および降車者が通過すると想定される位置に設定される。
【0019】
処理部１２は、軌跡１４ａ，１４ｂ，１４ｃなどの複数の軌跡それぞれとカウント線１５とが交差する交点を検出する。１つの軌跡がカウント線１５と２回以上交差する場合、処理部１２は、その軌跡の移動方向に応じて、それら２以上の交点のうち高々１つの交点を選択して他の交点を削除してもよい。
【0020】
処理部１２は、複数の軌跡に対応する複数の交点のクラスタに基づいて、カウント線１５上の範囲１６を特定する。例えば、処理部１２は、ｋ－ｍｅａｎｓ法などのクラスタリングアルゴリズムを用いて、複数の交点を画像領域上の座標に基づいて複数のクラスタに分類する。処理部１２は、交点の個数が閾値を超えるクラスタなど、密度が高いクラスタに含まれる交点の分布から範囲１６を特定する。処理部１２は、カウント線１５上の範囲１６を、車両のドアがある区間と推定してもよい。
【0021】
処理部１２は、検出された複数の軌跡のうち、範囲１６の中でカウント線１５と交差する軌跡をカウントする。このとき、処理部１２は、範囲１６の外でカウント線１５と交差する軌跡をカウント対象から除外してもよい。例えば、軌跡１４ａ，１４ｂは範囲１６の中でカウント線１５と交差し、軌跡１４ｃは範囲１６の外でカウント線１５と交差する。この場合、軌跡１４ｃはカウント対象から除外される。
【0022】
処理部１２は、カウントされた個数に基づいて、車両の乗車人数および降車人数の少なくとも一方を算出する。このとき、処理部１２は、軌跡がカウント線１５を通過する方向に基づいて、乗車者の軌跡と降車者の軌跡とを区別してもよい。処理部１２は、カウント線１５を下から上に通過する軌跡を乗車者の軌跡と判定してもよく、カウント線１５を上から下に通過する軌跡を降車者の軌跡と判定してもよい。また、処理部１２は、乗車者の軌跡の交点と降車者の軌跡の交点とを分けてクラスタに分類することで、車両が備える乗車口と降車口とを区別して推定してもよい。
【0023】
処理部１２は、算出された人数を出力する。処理部１２は、人数を不揮発性ストレージに記録してもよく、表示装置に表示してもよく、他の情報処理装置に送信してもよい。
以上説明したように、第１の実施の形態の情報処理装置１０は、車両と車両の外を移動する複数の人とを写した画像データ１３を取得する。情報処理装置１０は、画像データ１３から、複数の人の移動経路を示す複数の軌跡を検出する。情報処理装置１０は、画像データ１３の画像領域に設定されたカウント線１５と複数の軌跡とが交差する複数の交点のクラスタに基づいて、カウント線１５の範囲１６を特定する。情報処理装置１０は、複数の軌跡のうち範囲１６内でカウント線１５と交差する軌跡の個数に基づいて、車両の乗車人数および降車人数の少なくとも一方を算出する。
以上説明したように、第１の実施の形態の情報処理装置１０は、車両と車両の外を移動する複数の人とを写した画像データ１３を取得する。情報処理装置１０は、画像データ１３から、複数の人の移動経路を示す複数の軌跡を検出する。情報処理装置１０は、画像データ１３の画像領域に設定されたカウント線１５と複数の軌跡とが交差する複数の交点のクラスタに基づいて、カウント線１５の範囲１６を特定する。情報処理装置１０は、複数の軌跡のうち範囲１６内でカウント線１５と交差する軌跡の個数に基づいて、車両の乗車人数および降車人数の少なくとも一方を算出する。
【0024】
これにより、情報処理装置１０は、車両が備えるドアの位置を推定することができ、ドア位置を考慮して乗降者をカウントすることができる。よって、車両の停車位置が停車毎にずれる場合であっても、乗降者のカウント精度が向上する。また、荷物の出し入れなど乗降以外の理由で車両に近づく人を誤って乗降者としてカウントすることが抑制され、乗降者のカウント精度が向上する。
【0025】
なお、情報処理装置１０は、複数の交点を画像領域内の座標に基づいて複数のクラスタに分類してもよく、交点の個数が閾値を超えるクラスタに基づいてドア位置を推定してもよい。これにより、車両のドア位置が精度よく推定される。
【0026】
また、情報処理装置１０は、１つの軌跡がカウント線１５と複数回交差する場合、その軌跡の移動方向に基づいて高々１つの交点を選択してもよい。これにより、乗車前の荷物の積み込みや降車後の荷物の引き取りなど、乗降以外の理由でカウント線１５を跨いだ人の重複カウントが抑制される。また、情報処理装置１０は、画像データ１３から車両が写った車両領域を検出してもよく、軌跡の始点および終点がそれぞれ車両領域に含まれるか否かに基づいて軌跡の移動方向を判定してもよい。これにより、１つの軌跡から検出された複数の交点の中から、乗車点または降車点が精度よく判定される。
【0027】
また、情報処理装置１０は、複数の人それぞれが写った人領域を検出してもよく、画像領域の縦方向の位置と人領域の高さとの関係に基づいて、一部の人の人領域の高さを補正してもよい。これにより、画像データ１３に複数の人が重なって写っている場合であっても、複数の人の軌跡が精度よく検出される。
【0028】
また、情報処理装置１０は、範囲１６に基づいて画像領域にドア領域を設定してもよく、カウント線１５と交差せず、始点または終点がドア領域に含まれる軌跡の個数に基づいて、算出される乗車人数または降車人数を増やしてもよい。これにより、車両のドア周辺に人が密集して人の移動経路の認識精度が低い場合であっても、乗降者の見逃しが抑制されて乗降者のカウント精度が向上する。
【0029】
【0030】
第２の実施の形態の情報処理装置２０は、第１の実施の形態と同様に、画像データを分析して車両の乗降者をカウントする。情報処理装置２０は、第１の実施の形態の情報処理装置１０に対応する。情報処理装置１０と情報処理装置２０とが同一であってもよい。
【0031】
情報処理装置２０は、記憶部２１および処理部２２を有する。記憶部２１は、第１の実施の形態の記憶部１１に対応する。処理部２２は、第１の実施の形態の処理部１２に対応する。記憶部２１は、画像データ２３を記憶する。画像データ２３は、第１の実施の形態の画像データ１３に対応する。処理部２２は、第１の実施の形態と同様に、画像データ２３から、複数の人の移動経路を示す複数の軌跡を検出する。例えば、処理部２２は、画像データ２３から軌跡２４ａ，２４ｂ，２４ｃを検出する。
【0032】
処理部２２は、画像データ２３の画像領域に周辺領域２５を設定する。周辺領域２５は、例えば、停車場の出入口など、乗車者が停車場に入る際に通過する歩行区画や、降車者が停車場から出る際に通過する歩行区画を示す。周辺領域２５は、カメラの設置位置や停車場の構造を考慮して、画像データ２３が取得される前に設定されてもよい。また、処理部２２は、画像データ２３から、車両が写った車両領域２６を検出する。車両領域２６は、車両の停車毎に異なってもよい。
【0033】
処理部２２は、複数の人に対応する複数の軌跡のうち、設定された周辺領域２５と検出された車両領域２６との一方から他方へ移動する軌跡をカウントする。処理部２２は、カウントされた個数に基づいて、車両の乗車人数および降車人数の少なくとも一方を算出する。このとき、処理部２２は、始点および終点の少なくとも一方が、周辺領域２５および車両領域２６の何れにも含まれない軌跡を、カウント対象から除外してもよい。
【0034】
処理部２２は、周辺領域２５から車両領域２６に移動する軌跡の個数から、乗車人数を算出してもよい。また、処理部２２は、車両領域２６から周辺領域２５に移動する軌跡の個数から、降車人数を算出してもよい。また、処理部２２は、周辺領域２５から車両領域２６に移動する軌跡の個数と、車両領域２６から周辺領域２５に移動する軌跡の個数との差から、乗車人数および降車人数の何れか一方のみを算出してもよい。
【0035】
処理部２２は、算出された人数を出力する。処理部２２は、人数を不揮発性ストレージに記録してもよく、表示装置に表示してもよく、他の情報処理装置に送信してもよい。
以上説明したように、第２の実施の形態の情報処理装置２０は、車両と車両の外を移動する複数の人とを写した画像データ２３を取得する。情報処理装置２０は、画像データ２３から、複数の人の移動経路を示す複数の軌跡を検出する。情報処理装置２０は、複数の軌跡のうち、画像データ２３の画像領域に設定された周辺領域２５と車両が写った車両領域２６との一方から他方へ移動する軌跡の個数に基づいて、車両の乗車人数および降車人数の少なくとも一方を算出する。
以上説明したように、第２の実施の形態の情報処理装置２０は、車両と車両の外を移動する複数の人とを写した画像データ２３を取得する。情報処理装置２０は、画像データ２３から、複数の人の移動経路を示す複数の軌跡を検出する。情報処理装置２０は、複数の軌跡のうち、画像データ２３の画像領域に設定された周辺領域２５と車両が写った車両領域２６との一方から他方へ移動する軌跡の個数に基づいて、車両の乗車人数および降車人数の少なくとも一方を算出する。
【0036】
これにより、情報処理装置２０は、停車場への進入経路や停車場からの退出経路など、乗降者が車両から離れた区画を移動した際の移動経路の情報を利用して、乗降者をカウントすることができる。よって、車両のドア周辺が混雑して人の認識精度が低い場合であっても、乗降者のカウント精度が向上する。
【0037】
なお、情報処理装置２０は、第１の実施の形態のカウント方法を併用してもよい。例えば、情報処理装置２０は、第１の実施の形態のカウント方法と第２の実施の形態のカウント方法とで異なる乗車人数が算出された場合、何れか大きい方を選択してもよい。また、情報処理装置２０は、第１の実施の形態のカウント方法と第２の実施の形態のカウント方法とで異なる降車人数が算出された場合、何れか大きい方を選択してもよい。
【0038】
また、情報処理装置２０は、人の軌跡のうち、始点または終点が周辺領域２５および車両領域２６の何れにも含まれない軌跡を、カウント対象から除外してもよい。これにより、停車場を通過したに過ぎない通行者がカウントされず、カウント精度が向上する。
【0039】
【0040】
第３の実施の形態の情報処理システムは、複数のバス停それぞれから画像データを収集し、収集した画像データを分析して各バス停の乗車人数および降車人数を算出する。情報処理システムは、カメラ３５，３６および情報処理装置１００を含む。カメラ３５，３６および情報処理装置１００は、ネットワーク３０に接続されている。ネットワーク３０は、例えば、インターネットなどの広域データ通信ネットワークである。
【0041】
カメラ３５は、バス停３１に設置されており、バス停３１に到着したバスおよび歩道を歩道側から撮像する。バス停３１には、バス３３など１日に１台以上のバスが停車する。バス３３は左側に乗降口を備えるため、カメラ３５はバス３３を左側から撮像する。カメラ３６は、バス停３２に設置されており、バス停３２に到着したバスおよび歩道を歩道側から撮像する。バス停３２には、バス３４など１日に１台以上のバスが停車する。バス３４は左側に乗降口を備えるため、カメラ３６はバス３４を左側から撮像する。バス停３１，３２は、バース（Berth）と呼ばれることがある。
【0042】
カメラ３５，３６は、撮像方向が固定された定点カメラであり、監視カメラと呼ばれてもよい。カメラ３５，３６は、一定の解像度および一定のフレームレートをもつ画像データを、情報処理装置１００に継続的に送信する。解像度は、例えば、幅１９２０×高さ１０８０である。フレームレートは、例えば、１０フレーム毎秒（ｆｐｓ）である。
【0043】
情報処理装置１００は、カメラ３５，３６から画像データを受信して分析するサーバコンピュータである。情報処理装置１００は、画像データから、バス停３１，３２を歩行する人やバス３３，３４を認識する。情報処理装置１００は、画像認識結果に基づいて、バス停３１，３２それぞれの乗車人数および降車人数を算出する。情報処理装置１００は、乗降者カウント装置または画像認識装置と呼ばれてもよい。情報処理装置１００は、第１の実施の形態の情報処理装置１０や第２の実施の形態の情報処理装置２０に対応する。
【0044】
第３の実施の形態では、バス停３１，３２を管理するバス停管理会社が、バス３３，３４を運行するバス運行会社と異なる。バス運行会社はバス停毎の乗降者数の情報をもっているものの、乗降者数の情報がバス運行会社からバス停管理会社にリアルタイムに報告されるわけではない。そのため、バス停管理会社は、カメラ３５，３６の画像データを利用して、乗降者数を迅速に知りたいことがある。乗降者数の情報は、バス停位置の変更や清掃作業員の確保など、バス停３１，３２の管理に利用され得る。
【0045】
そこで、例えば、情報処理装置１００は、バス停３１，３２に到着したバスそれぞれの乗降者数を示す報告データを、１日に１回など定期的に生成して出力する。報告データは、不揮発性ストレージに記憶されてもよいし、表示装置に表示されてもよいし、他の情報処理装置に送信されてもよい。なお、情報処理装置１００は、カメラ３５，３６から受信された画像データをリアルタイムに分析してもよいし、蓄積した画像データを１日に１回など定期的にバッチ処理として分析してもよい。
【0046】
バスの種類として、ハイデッカーバス、ダブルデッカーバスおよびコミュニティバスがある。ハイデッカーバスは、客席の床が高いバスであり、前方に１つのドアを備える。ダブルデッカーバスは、二階建てバスであり、前方に運転手用ドアを備え、中央に乗客用ドアを備える。ただし、終点のバス停では、乗客が前方のドアから降車することもある。コミュニティバスは、客席の床が低いバスであり、前方に乗車用ドアを備え、中央に降車用ドアを備える。ただし、終点のバス停では、乗客が前方のドアから降車することもある。
【0047】
バス停の種類として、乗車専用のバス停、降車専用のバス停、および、乗降兼用のバス停がある。乗車専用のバス停では、停車する全てまたは大部分のバスについて、バスから降りる降車者がいない。降車専用のバス停では、停車する全てまたは大部分のバスについて、バスに乗る乗車者がいない。乗降兼用のバス停では、停車する全てまたは大部分のバスについて、乗車者と降車者の両方がいる可能性がある。
【0048】
図４は、情報処理装置のハードウェア例を示す図である。
情報処理装置１００は、バスに接続されたＣＰＵ１０１、ＲＡＭ１０２、ＨＤＤ１０３、ＧＰＵ１０４、入力インタフェース１０５、媒体リーダ１０６および通信インタフェース１０７を有する。ＣＰＵ１０１は、第１の実施の形態の処理部１２および第２の実施の形態の処理部２２に対応する。ＲＡＭ１０２またはＨＤＤ１０３は、第１の実施の形態の記憶部１１および第２の実施の形態の記憶部２１に対応する。
情報処理装置１００は、バスに接続されたＣＰＵ１０１、ＲＡＭ１０２、ＨＤＤ１０３、ＧＰＵ１０４、入力インタフェース１０５、媒体リーダ１０６および通信インタフェース１０７を有する。ＣＰＵ１０１は、第１の実施の形態の処理部１２および第２の実施の形態の処理部２２に対応する。ＲＡＭ１０２またはＨＤＤ１０３は、第１の実施の形態の記憶部１１および第２の実施の形態の記憶部２１に対応する。
【0049】
ＣＰＵ１０１は、プログラムの命令を実行するプロセッサである。ＣＰＵ１０１は、ＨＤＤ１０３に記憶されたプログラムおよびデータをＲＡＭ１０２にロードし、プログラムを実行する。情報処理装置１００は、複数のプロセッサを有してもよい。
【0050】
ＲＡＭ１０２は、ＣＰＵ１０１で実行されるプログラムおよびＣＰＵ１０１で演算に使用されるデータを一時的に記憶する揮発性半導体メモリである。情報処理装置１００は、ＲＡＭ以外の種類の揮発性メモリを有してもよい。
【0051】
ＨＤＤ１０３は、オペレーティングシステム（ＯＳ：Operating System）やミドルウェアやアプリケーションソフトウェアなどのソフトウェアのプログラムと、データとを記憶する不揮発性ストレージである。情報処理装置１００は、フラッシュメモリやＳＳＤ（Solid State Drive）などの他の種類の不揮発性ストレージを有してもよい。
【0052】
ＧＰＵ１０４は、ＣＰＵ１０１と連携して画像処理を行い、情報処理装置１００に接続された表示装置１１１に画像を出力する。表示装置１１１は、例えば、ＣＲＴ（Cathode Ray Tube）ディスプレイ、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイまたはプロジェクタである。情報処理装置１００に、プリンタなどの他の種類の出力デバイスが接続されてもよい。
【0053】
また、ＧＰＵ１０４は、ＧＰＧＰＵ（General Purpose Computing on Graphics Processing Unit）として使用されてもよい。ＧＰＵ１０４は、ＣＰＵ１０１からの指示に応じてプログラムを実行し得る。情報処理装置１００は、ＲＡＭ１０２以外の揮発性半導体メモリをＧＰＵメモリとして有してもよい。
【0054】
入力インタフェース１０５は、情報処理装置１００に接続された入力デバイス１１２から入力信号を受け付ける。入力デバイス１１２は、例えば、マウス、タッチパネルまたはキーボードである。情報処理装置１００に複数の入力デバイスが接続されてもよい。
【0055】
媒体リーダ１０６は、記録媒体１１３に記録されたプログラムおよびデータを読み取る読み取り装置である。記録媒体１１３は、例えば、磁気ディスク、光ディスクまたは半導体メモリである。磁気ディスクには、フレキシブルディスク（ＦＤ：Flexible Disk）およびＨＤＤが含まれる。光ディスクには、ＣＤ（Compact Disc）およびＤＶＤ（Digital Versatile Disc）が含まれる。媒体リーダ１０６は、記録媒体１１３から読み取られたプログラムおよびデータを、ＲＡＭ１０２やＨＤＤ１０３などの他の記録媒体にコピーする。読み取られたプログラムは、ＣＰＵ１０１によって実行されることがある。
【0056】
記録媒体１１３は、可搬型記録媒体であってもよい。記録媒体１１３は、プログラムおよびデータの配布に用いられることがある。また、記録媒体１１３およびＨＤＤ１０３が、コンピュータ読み取り可能な記録媒体と呼ばれてもよい。
【0057】
通信インタフェース１０７は、ネットワーク３０を介してカメラ３５，３６と通信する。通信インタフェース１０７は、スイッチやルータなどの有線通信装置に接続される有線通信インタフェースでもよいし、基地局やアクセスポイントなどの無線通信装置に接続される無線通信インタフェースでもよい。
【0058】
次に、乗降者のカウントの流れについて説明する。
図５は、画像データから乗降者をカウントする流れの例を示す図である。
情報処理装置１００は、フレーム１３１－１～１３１－５を含む画像データを受信する。情報処理装置１００は、画像データに対して、物体認識１４１、物体追跡１４２、停車期間検出１４３および乗降者カウント１４４を順に実行する。そして、情報処理装置１００は、到着時刻、出発時刻、乗車人数および降車人数を示すデータ１３２を出力する。
図５は、画像データから乗降者をカウントする流れの例を示す図である。
情報処理装置１００は、フレーム１３１－１～１３１－５を含む画像データを受信する。情報処理装置１００は、画像データに対して、物体認識１４１、物体追跡１４２、停車期間検出１４３および乗降者カウント１４４を順に実行する。そして、情報処理装置１００は、到着時刻、出発時刻、乗車人数および降車人数を示すデータ１３２を出力する。
【0059】
フレーム１３１－１は、バスがバス停に進入中であり停車していない時刻の画像である。フレーム１３１－２は、バスが停車したものの人の乗り降りが始まっていない時刻の画像である。フレーム１３１－３は、バスが停車中であり人の乗り降りが始まった時刻の画像である。フレーム１３１－４は、バスが停車中でありフレーム１３１－３より後の時刻の画像である。フレーム１３１－３，１３１－４には、人が写っている。フレーム１３１－５は、バスがバス停から出発した時刻の画像である。
【0060】
物体認識１４１は、フレーム１３１－１～１３１－５それぞれから物体を検出する。物体認識１４１は、物体が写った矩形領域を示す境界ボックス（Bounding Box）を生成し、物体のクラスを示すラベルを境界ボックスに付与する。例えば、物体認識１４１は、フレーム１３１－１～１３１－５からバスを検出し、バスクラスを示すラベルが付与された境界ボックスを生成する。また、物体認識１４１は、フレーム１３１－３，１３１－４から人を検出し、人クラスを示すラベルが付与された境界ボックスを生成する。
【0061】
物体追跡１４２は、物体認識１４１の出力に基づいて、異なるフレームに含まれる境界ボックスが同一の物体を表しているか判定する。物体追跡１４２は、隣接するフレームの間で、同じクラスが付与された２つの境界ボックスの距離と当該クラスから、境界ボックスの位置変化が物体の正常な動きを表しているか判定する。物体追跡１４２は、同一の物体を表す境界ボックスに、同じ追跡ＩＤ（トラックＩＤ）を付与する。
【0062】
例えば、物体追跡１４２は、フレーム１３１－１～１３１－５に含まれるバスの境界ボックスに、同じ追跡ＩＤを付与する。また、物体追跡１４２は、フレーム１３１－３，１３１－４に含まれる人の境界ボックスに、同一の追跡ＩＤを付与する。
【0063】
情報処理装置１００は、物体認識１４１および物体追跡１４２に機械学習モデルを用いてもよい。物体認識１４１に関しては、例えば、次の非特許文献に記載がある。Zheng Ge, Songtao Liu, Feng Wang, Zeming Li and Jian Sun, "YOLOX: Exceeding YOLO Series in 2021", arXiv:2107.08430, July 2021。物体追跡１４２に関しては、例えば、次の非特許文献に記載がある。Yifu Zhang, Peize Sun, Yi Jiang, Dongdong Yu, Zehuan Yuan, Ping Luo, Wenyu Liu and Xinggang Wang, "ByteTrack: Multi-Object Tracking by Associating Every Detection Box", arXiv:2110.06864, October 2021。
【0064】
停車期間検出１４３は、物体追跡１４２の出力に基づいて、バスがバス停に停車している停車期間を検出し、画像データの中から停車期間に属するフレームを抽出する。このとき、停車期間検出１４３は、同じ追跡ＩＤをもつバスの境界ボックスそれぞれの位置が、バス停毎に事前に設定された許容領域の中にあるか判定する。停車期間検出１４３は、境界ボックスの位置が許容領域に入ったフレームの時刻を到着時刻と判定し、境界ボックスの位置が許容領域から出たフレームの時刻を出発時刻と判定する。
【0065】
到着時刻から出発時刻までの期間が、バスがバス停に停車していた停車期間である。例えば、停車期間検出１４３は、フレーム１３１－２の時刻を到着時刻と判定し、フレーム１３１－４の時刻を出発時刻と判定する。そして、停車期間検出１４３は、画像データからフレーム１３１－２～１３１－４を抽出する。
【0066】
乗降者カウント１４４は、停車期間検出１４３の出力に基づいて、停車期間に停車していたバスの乗車人数および降車人数を算出する。ただし、バス停の種類やバスの種類によっては、乗車人数と降車人数の一方が０に固定されることがある。
【0067】
乗降者カウント１４４は、同じ追跡ＩＤをもつ人の境界ボックスの座標を抽出し、抽出された座標を時系列に並べることで人の移動経路を示す軌跡を算出する。これにより、乗降者カウント１４４は、停車期間中に撮像された複数の人に対応する複数の軌跡を算出する。乗降者カウント１４４は、停車中のバスが存在するバス領域と複数の軌跡との関係に基づいて、乗車者および降車者をカウントする。
【0068】
なお、情報処理装置１００による乗降者カウントの精度は、例えば、次のような指標で評価される。１－（｜ｃ１－ｄ１｜＋｜ｃ２－ｄ２｜）/（ｃ１＋ｃ２）。ｃ１は、人が目視で確認した正解の乗車人数である。ｃ２は、人が目視で確認した正解の降車人数である。ｄ１は、情報処理装置１００が算出した乗車人数である。ｄ２は、情報処理装置１００が算出した降車人数である。上記の指標は、乗降者数の誤差の割合を１から引いた正答率を表し、値が大きいほど精度が高いことを表す。例えば、ｃ１＝１００，ｃ２＝１０，ｄ１＝９８，ｄ２＝１５の場合、精度は約９３．６％である。
【0069】
図６は、ロジックおよび検知モードによる乗降者数の違いの例を示す図である。
情報処理装置１００は、乗降者カウント１４４のアルゴリズムとして、カウント線ロジックおよび周辺領域ロジックを実行することができる。第３の実施の形態では、カウント線ロジックと周辺領域ロジックが併用される。ただし、設定により、情報処理装置１００は、カウント線ロジックと周辺領域ロジックの何れか一方のみを実行してもよい。また、情報処理装置１００は、カウント線ロジックまたは周辺領域ロジックを、異なる設定値を用いて複数通り実行してもよい。
情報処理装置１００は、乗降者カウント１４４のアルゴリズムとして、カウント線ロジックおよび周辺領域ロジックを実行することができる。第３の実施の形態では、カウント線ロジックと周辺領域ロジックが併用される。ただし、設定により、情報処理装置１００は、カウント線ロジックと周辺領域ロジックの何れか一方のみを実行してもよい。また、情報処理装置１００は、カウント線ロジックまたは周辺領域ロジックを、異なる設定値を用いて複数通り実行してもよい。
【0070】
カウント線ロジックは、人の境界ボックスの軌跡と、バス停毎に画像領域上に事前に設定されたカウント線（Count Line）との交点に基づいて、乗車人数および降車人数を算出する。カウント線ロジックは、乗車者と降車者とを区別してカウントすることができる。車両の乗降口付近の混雑が軽度である場合、カウント線ロジックのカウント精度は高い。なお、情報処理装置１００は、同一の画像データに対して、カウント線が異なる複数通りのカウント線ロジックを実行することもできる。
【0071】
周辺領域ロジックは、画像領域上でバスが存在するバス領域と、画像領域上に事前に設定された周辺領域との間を移動する軌跡を検出して、乗車人数または降車人数を算出する。周辺領域ロジックは、乗車と降車を相殺するため、乗車人数と降車人数の何れか一方が０になる。周辺領域ロジックは、車両の乗降口付近における人の追跡精度が低い場合であっても、比較的高精度に乗車人数または降車人数を算出できる。人の追跡精度が低下する場合として、例えば、乗降者が多いために乗降口付近にいる複数の乗降者が重なって写っている場合や、乗降口の横に運転手が立って乗降者が隠れてしまう場合が挙げられる。
【0072】
テーブル１３３に示すように、情報処理装置１００は、カウント線ロジック１、カウント線ロジック２および周辺領域ロジックそれぞれで、乗車人数および降車人数を算出する。カウント線ロジック１とカウント線ロジック２とは、設定値が異なる。例えば、カウント線ロジック１とカウント線ロジック２とは、カウント線が異なる。
【0073】
情報処理装置１００は、カウント線ロジック１の乗車人数と、カウント線ロジック２の乗車人数と、周辺領域ロジックの乗車人数の中から、乗車人数の最大値を選択する。図６の例では、カウント線ロジック２で算出された６人が採用される。また、情報処理装置１００は、カウント線ロジック１の降車人数と、カウント線ロジック２の降車人数と、周辺領域ロジックの降車人数の中から、降車人数の最大値を選択する。図６の例では、周辺領域ロジックで算出された７人が採用される。
【0074】
前述のように、バス停の種類には、乗車専用のバス停、降車専用のバス停および乗降兼用のバス停がある。そこで、テーブル１３４に示すように、各バス停に対して検知モードが設定される。検知モードは、乗車（Get On）モード、降車（Get Off）モード、自動（Auto）モードおよび乗降（Both）モードの中から選択される。
【0075】
乗車モードは、上記ロジックの実行結果に関係なく降車人数を０とみなす検知モードであり、乗車専用のバス停に対して設定されることが想定される。降車モードは、上記ロジックの実行結果に関係なく乗車人数を０とみなす検知モードであり、降車専用のバス停に対して設定されることが想定される。自動モードは、乗車人数と降車人数のうち小さい方を０とみなす検知モードである。乗車人数と降車人数が等しい場合、降車人数が０とみなされる。乗降モードは、乗車人数と降車人数の両方が０でないことを許容する。
【0076】
ここで、上記のように乗車人数が６人、降車人数が７人と算出されたとする。検知モードが乗車モードのバス停の場合、情報処理装置１００は、最終的に乗車人数を６人、降車人数を０人と決定する。検知モードが降車モードのバス停の場合、情報処理装置１００は、最終的に乗車人数を０人、降車人数を７人と決定する。検知モードが自動モードのバス停の場合、情報処理装置１００は、最終的に乗車人数を０人、降車人数を７人と決定する。検知モードが乗降モードのバス停の場合、情報処理装置１００は、最終的に乗車人数を６人、降車人数を７人と決定する。
【0077】
次に、停車期間検出について説明する。
図７は、バスの境界ボックスの異常例を示す図である。
情報処理装置１００は、追跡ＩＤが付与されたバスの境界ボックスに基づいて停車期間を判定する。ただし、前段処理である物体認識および物体追跡の精度には限界があるため、異常な境界ボックスが生成されていることがある。そこで、情報処理装置１００は、異常な境界ボックスを検出して修正する。
図７は、バスの境界ボックスの異常例を示す図である。
情報処理装置１００は、追跡ＩＤが付与されたバスの境界ボックスに基づいて停車期間を判定する。ただし、前段処理である物体認識および物体追跡の精度には限界があるため、異常な境界ボックスが生成されていることがある。そこで、情報処理装置１００は、異常な境界ボックスを検出して修正する。
【0078】
境界ボックスの異常は、２台のバスが写ったフレームで発生することがある。例えば、フレームｔから境界ボックス２０１，２０２が検出される。境界ボックス２０１には、クラス＝バスおよび追跡ＩＤ＝１が付与されている。境界ボックス２０２には、クラス＝バスおよび追跡ＩＤ＝２が付与されている。境界ボックス２０１，２０２は、それぞれ１台のバスを正しく示している。
【0079】
このとき、フレームｔの次のフレームｔ＋１から、車両に関して境界ボックス２０３のみが検出されることがある。境界ボックス２０３には、クラス＝バスおよび追跡ＩＤ＝１が付与されている。よって、追跡ＩＤ＝２の境界ボックスが消失している。境界ボックス２０３は、２台のバスに跨がっており、特定のバスを正しく示していない。
【0080】
また、フレームｔ＋１から、車両に関して境界ボックス２０４のみが検出されることもある。境界ボックス２０４には、クラス＝バスおよび追跡ＩＤ＝２が付与されている。よって、追跡ＩＤ＝１の境界ボックスが消失している。境界ボックス２０４は、２台のバスに跨がっており、特定のバスを正しく示していない。このような異常は、２台のバスの間に人などの他の物体が存在する場合に発生することがある。
【0081】
そこで、情報処理装置１００は、以下のように境界ボックスを修正する。情報処理装置１００は、隣接するフレームの間で、車両に関するクラスをもつ境界ボックスであって同じ追跡ＩＤをもつ２つの境界ボックスのＩｏＵ（Intersection over Union）を算出する。ＩｏＵは、２つの領域の論理和に対する２つの領域の論理積（共通領域）の割合である。２つの領域の重複が大きいほどＩｏＵが大きい。
【0082】
情報処理装置１００は、ＩｏＵが閾値未満の境界ボックスを含むフレームのペアを検出する。短時間に物体が大きく移動することは、異常である可能性が高いためである。閾値は、例えば、０．８である。情報処理装置１００は、ペアのうちの前フレームが車両に関して２つの追跡ＩＤを含み、ペアのうちの後フレームが一方の追跡ＩＤを含まない（一方の追跡ＩＤが消失している）か判定する。この条件を満たす場合、情報処理装置１００は、後フレームの境界ボックスを異常と判定する。
【0083】
後フレームが、車両に関して前フレームに存在しない新追跡ＩＤを含む場合、情報処理装置１００は、前フレームの２つの境界ボックスと後フレームの２つの境界ボックスとの間で、位置が近い境界ボックス同士を対応付ける。情報処理装置１００は、対応付けた境界ボックスが同じ車両を示すとみなし、追跡ＩＤを共通化する。例えば、情報処理装置１００は、後フレーム以降の追跡ＩＤを前フレームの追跡ＩＤに置換する。
【0084】
一方、後フレームが車両に関して新追跡ＩＤを含まない場合、情報処理装置１００は、図７の例のように、後フレームの境界ボックスの信頼性が低いと判断する。この場合、情報処理装置１００は、後フレームに含まれる車両の境界ボックスを削除し、前フレームに含まれる２つの境界ボックスをコピーする。
【0085】
図８は、フレーム番号とＩｏＵの関係例を示すグラフである。
曲線２１０は、隣接するフレームに含まれる追跡ＩＤが同じ境界ボックスのＩｏＵを示す。隣接するフレームの経過時間は微少であるため、各境界ボックスが同じバスを正しく示している場合、ＩｏＵは１に近い。ただし、点２１１，２１２のように、ＩｏＵが一時的に低下することがある。ＩｏＵが低下したフレームでは、バス周辺を移動する人の影響で、バスが正しく認識されていないことがある。特に、ＩｏＵが大きく低下した点２１２のフレームでは、境界ボックスが大きく移動しており、認識異常が発生している。
曲線２１０は、隣接するフレームに含まれる追跡ＩＤが同じ境界ボックスのＩｏＵを示す。隣接するフレームの経過時間は微少であるため、各境界ボックスが同じバスを正しく示している場合、ＩｏＵは１に近い。ただし、点２１１，２１２のように、ＩｏＵが一時的に低下することがある。ＩｏＵが低下したフレームでは、バス周辺を移動する人の影響で、バスが正しく認識されていないことがある。特に、ＩｏＵが大きく低下した点２１２のフレームでは、境界ボックスが大きく移動しており、認識異常が発生している。
【0086】
次に、情報処理装置１００は、境界ボックスに付与されたクラスを修正する。物体認識では、バスが、トラックや列車など車両に関する他のクラスに誤って分類されることがある。一方、バス停の画像データに写る大型車両は、通常はバスのみである。そこで、情報処理装置１００は、バス以外の車両のクラスをバスのクラスとみなす。ただし、同一の車両に対して、クラスが異なる複数の境界ボックスが生成されることがある。その場合、情報処理装置１００は、一部の境界ボックスを削除して重複を解消する。
【0087】
情報処理装置１００は、車両に関するクラスに、優先度を示すスコアを付与しておく。例えば、情報処理装置１００は、バスのスコアを１．０、トラックおよび列車のスコアを０．５と決定する。次に、情報処理装置１００は、同一フレームが車両に関するクラスの境界ボックスを２以上含む場合、それら境界ボックスの間でＩｏＵを算出する。
【0088】
情報処理装置１００は、算出されたＩｏＵとクラスに付与されたスコアに基づいて、非極大値抑制（ＮＭＳ：Non Maximum Suppression）を実行する。ＮＭＳは、ＩｏＵが閾値を超える２つの境界ボックスがある場合、スコアが低い方の境界ボックスを削除する。これにより、実質的に同じバスを示す冗長な境界ボックスが削除される。情報処理装置１００は、残った境界ボックスのクラスをバスとみなす。
【0089】
次に、情報処理装置１００は、同じバスを示す異なる追跡ＩＤを検出し、それら異なる追跡ＩＤを共通化する。物体認識は、あるフレームでバスの認識を失敗することがある。その場合、物体追跡は、そのフレームの前後のフレームに含まれるバスの境界ボックスの連続性を判定できず、追跡ＩＤが変わってしまうことがある。
【0090】
そこで、情報処理装置１００は、以下に説明する３つのアルゴリズムによって、追跡ＩＤを共通化する。３つのアルゴリズムは、第１アルゴリズム、第２アルゴリズムおよび第３アルゴリズムの優先度で使用される。例えば、ある境界ボックスが第１アルゴリズムと第２アルゴリズムの両方の条件に適合する場合、第１アルゴリズムのみが使用される。
【0091】
図９は、追跡ＩＤの共通化の第１の例を示す図である。
フレーム２２１は、追跡ＩＤ＝１のバスの境界ボックス２２４を含む。フレーム２２１は、例えば、追跡ＩＤ＝１が出現する最後のフレームである。フレーム２２３は、フレーム２２１の後のフレームであり、フレーム２２１からＴフレーム以内のフレームである。フレーム２２３は、追跡ＩＤ＝２のバスの境界ボックス２２５を含む。フレーム２２３は、例えば、追跡ＩＤ＝２が出現する最初のフレームである。
フレーム２２１は、追跡ＩＤ＝１のバスの境界ボックス２２４を含む。フレーム２２１は、例えば、追跡ＩＤ＝１が出現する最後のフレームである。フレーム２２３は、フレーム２２１の後のフレームであり、フレーム２２１からＴフレーム以内のフレームである。フレーム２２３は、追跡ＩＤ＝２のバスの境界ボックス２２５を含む。フレーム２２３は、例えば、追跡ＩＤ＝２が出現する最初のフレームである。
【0092】
フレーム２２１とフレーム２２３の間には、バスの境界ボックスを含まない１以上のフレームが存在することがある。例えば、フレーム２２１とフレーム２２３の間に、バスの境界ボックスを含まないフレーム２２２が存在する。
【0093】
この場合、情報処理装置１００は、境界ボックス２２４の重心と境界ボックス２２５の重心を算出する。重心は、例えば、境界ボックスが示す領域の中心点である。情報処理装置１００は、２つの重心の距離が閾値未満であるか判断する。重心の距離が閾値未満の場合、情報処理装置１００は、旧追跡ＩＤと新追跡ＩＤを共通化する。例えば、情報処理装置１００は、追跡ＩＤ＝２を追跡ＩＤ＝１に置換する。
【0094】
図１０は、追跡ＩＤの共通化の第２の例を示す図である。
フレーム２３１は、追跡ＩＤ＝１のバスの境界ボックス２３５を含む。フレーム２３２は、フレーム２３１の次のフレームであり、追跡ＩＤ＝１のバスの境界ボックス２３６を含む。フレーム２３３は、フレーム２３２より後のフレームであり、追跡ＩＤ＝１のバスの境界ボックス２３７を含む。フレーム２３３は、例えば、追跡ＩＤ＝１が出現する最後のフレームである。フレーム２３１からフレーム２３３の区間にＮ個のフレームがある。Ｎは、例えば、５秒間のフレーム数である。
フレーム２３１は、追跡ＩＤ＝１のバスの境界ボックス２３５を含む。フレーム２３２は、フレーム２３１の次のフレームであり、追跡ＩＤ＝１のバスの境界ボックス２３６を含む。フレーム２３３は、フレーム２３２より後のフレームであり、追跡ＩＤ＝１のバスの境界ボックス２３７を含む。フレーム２３３は、例えば、追跡ＩＤ＝１が出現する最後のフレームである。フレーム２３１からフレーム２３３の区間にＮ個のフレームがある。Ｎは、例えば、５秒間のフレーム数である。
【0095】
フレーム２３４は、フレーム２３３より後のフレームであり、追跡ＩＤ＝２のバスの境界ボックス２３８を含む。フレーム２３４は、例えば、追跡ＩＤ＝２が出現する最初のフレームである。フレーム２３４は、フレーム２３３の次のフレームでもよい。また、フレーム２３４は、フレーム２３３からＴフレーム以内のフレームでもよい。フレーム２３３とフレーム２３４の間に、バスの境界ボックスを含まないフレームがあってもよい。
【0096】
この場合、情報処理装置１００は、フレーム２３１からフレーム２３３までのＮ個のフレームから、追跡ＩＤ＝１の境界ボックスを平均化した境界ボックス２３９を算出する。平均化では、情報処理装置１００は、左上座標、左下座標、右上座標および右下座標それぞれの平均を算出し、４つの平均座標で規定される矩形を境界ボックス２３９とみなす。
【0097】
情報処理装置１００は、境界ボックス２３８の重心が境界ボックス２３９の中にあるか判断する。重心が境界ボックス２３９の中にある場合、情報処理装置１００は、旧追跡ＩＤと新追跡ＩＤを共通化する。例えば、情報処理装置１００は、追跡ＩＤ＝２を追跡ＩＤ＝１に置換する。上記の条件を満たす新追跡ＩＤが複数ある場合、情報処理装置１００は、重心が境界ボックス２３９の重心に最も近いものを選択する。
【0098】
図１１は、追跡ＩＤの共通化の第３の例を示す図である。
フレーム２４１は、追跡ＩＤ＝１のバスの境界ボックス２４５を含む。フレーム２４２は、フレーム２４１の次のフレームであり、追跡ＩＤ＝１のバスの境界ボックス２４６を含む。フレーム２４３は、フレーム２４２より後のフレームであり、追跡ＩＤ＝１のバスの境界ボックス２４７と、追跡ＩＤ＝２のバスの境界ボックス２４８とを含む。フレーム２４１からフレーム２４３の区間にＮ個のフレームがある。
フレーム２４１は、追跡ＩＤ＝１のバスの境界ボックス２４５を含む。フレーム２４２は、フレーム２４１の次のフレームであり、追跡ＩＤ＝１のバスの境界ボックス２４６を含む。フレーム２４３は、フレーム２４２より後のフレームであり、追跡ＩＤ＝１のバスの境界ボックス２４７と、追跡ＩＤ＝２のバスの境界ボックス２４８とを含む。フレーム２４１からフレーム２４３の区間にＮ個のフレームがある。
【0099】
フレーム２４３は、例えば、追跡ＩＤ＝１が出現する最後のフレームである。追跡ＩＤ＝２が最初に出現するフレームは、追跡ＩＤ＝１が最初に出現するフレームよりも後である。例えば、フレーム２４３は、追跡ＩＤ＝２が出現する最初のフレームである。フレーム２４３には１つのバスが写っているものの、前のフレームまでは正しく生成されていた境界ボックスが２つに分割されている。フレーム２４４は、フレーム２４３より後のフレームであり、追跡ＩＤ＝２のバスの境界ボックスを含む。フレーム２４４は、例えば、フレーム２４３の次のフレームである。
【0100】
この場合、情報処理装置１００は、フレーム２４１からフレーム２４３までのＮ個のフレームから、追跡ＩＤ＝１の境界ボックスを平均化した境界ボックス２４９を算出する。情報処理装置１００は、境界ボックス２４８の重心が境界ボックス２４９の中にあるか判断する。重心が境界ボックス２４９の中にある場合、情報処理装置１００は、旧追跡ＩＤと新追跡ＩＤを共通化する。例えば、情報処理装置１００は、追跡ＩＤ＝２を追跡ＩＤ＝１に置換する。上記の条件を満たす新追跡ＩＤが複数ある場合、情報処理装置１００は、重心が境界ボックス２４９の重心に最も近いものを選択する。
【0101】
次に、情報処理装置１００は、追跡ＩＤが同じバスの境界ボックスの位置を時系列に走査することで、バスの停車期間を判定する。ここで、バス停毎に事前に、境界ボックスの左端座標、右端座標、上端座標、下端座標および重心座標の少なくとも一部に対して、許容領域が設定されている。情報処理装置１００は、境界ボックスの位置が条件を満たした最初のフレームの時刻を、バスの到着時刻と判定する。
【0102】
また、情報処理装置１００は、境界ボックスの位置が条件を満たさない状態が一定時間継続した時点、または、追跡ＩＤが消滅して一定時間経過した時点を、バスの出発時刻と判定する。ただし、到着時刻から出発時刻までの停車時間が閾値未満である場合、情報処理装置１００は、乗客の乗り降りが行われていない可能性が高いため、その停車期間を無視する。停車時間の閾値は、例えば、４０秒である。
【0103】
図１２は、フレーム内の許容領域の例を示す図である。
フレーム２５０は、バスの境界ボックス２５１を含む。また、このバス停では、画像領域に対して、境界ボックスの重心が満たすべき重心許容領域２５２と、境界ボックスの左端が満たすべき左端許容領域２５３とが設定されている。境界ボックス２５１の重心は、重心許容領域２５２の中にある。また、境界ボックス２５１の左端は、左端許容領域２５３の中にある。よって、フレーム２５０は停車期間に含まれる。
フレーム２５０は、バスの境界ボックス２５１を含む。また、このバス停では、画像領域に対して、境界ボックスの重心が満たすべき重心許容領域２５２と、境界ボックスの左端が満たすべき左端許容領域２５３とが設定されている。境界ボックス２５１の重心は、重心許容領域２５２の中にある。また、境界ボックス２５１の左端は、左端許容領域２５３の中にある。よって、フレーム２５０は停車期間に含まれる。
【0104】
次に、乗降者カウントうち、２つのロジックに共通する処理について説明する。情報処理装置１００は、停車期間のフレームから、画面領域上でバスが存在するバス領域を検出する。また、情報処理装置１００は、人の移動経路を示す軌跡を検出する。
【0105】
図１３は、バスの境界ボックスから算出されるバス領域の例を示す図である。
情報処理装置１００は、停車期間に属するフレームに含まれるバスの境界ボックスを、追跡ＩＤ毎に平均化する。情報処理装置１００は、バスに関して２以上の追跡ＩＤがある場合、平均の境界ボックスのうち重心が重心許容領域の外にある境界ボックスを除外する。２以上の境界ボックスが残った場合、情報処理装置１００は、設定に従って、統合（Merge）、右選択（Right）または左選択（Left）を行い、境界ボックスを１つにする。
情報処理装置１００は、停車期間に属するフレームに含まれるバスの境界ボックスを、追跡ＩＤ毎に平均化する。情報処理装置１００は、バスに関して２以上の追跡ＩＤがある場合、平均の境界ボックスのうち重心が重心許容領域の外にある境界ボックスを除外する。２以上の境界ボックスが残った場合、情報処理装置１００は、設定に従って、統合（Merge）、右選択（Right）または左選択（Left）を行い、境界ボックスを１つにする。
【0106】
統合は、２以上の境界ボックスを囲む最小の矩形領域を、正しい境界ボックスとみなす。右選択は、２以上の境界ボックスのうち最も右側にある境界ボックスを選択する。左選択は、２以上の境界ボックスのうち最も左側にある境界ボックスを選択する。統合、右選択および左選択のうちの１つが、バス停の構造やカメラの位置に応じて事前に指定される。これにより、境界ボックス２６１が決定される。
【0107】
次に、情報処理装置１００は、バス停毎に事前に設定された右マージンＭｒｉｇｈｔ、左マージンＭｌｅｆｔ、上マージンＭｔｏｐおよび下マージンＭｂｏｔｔｏｍに従って、境界ボックス２６１を拡大した拡大領域２６２を算出する。
【0108】
拡大領域２６２の右辺は、境界ボックス２６１の右辺よりも、境界ボックス２６１の幅Ｗに右マージンＭｒｉｇｈｔを乗じた分だけ右にある。拡大領域２６２の左辺は、境界ボックス２６１の左辺よりも、幅Ｗに左マージンＭｌｅｆｔを乗じた分だけ左にある。拡大領域２６２の上辺は、境界ボックス２６１の上辺よりも、境界ボックス２６１の高さＨに上マージンＭｔｏｐを乗じた分だけ上にある。拡大領域２６２の下辺は、境界ボックス２６１の下辺よりも、高さＨに下マージンＭｂｏｔｔｏｍを乗じた分だけ下にある。
【0109】
また、バス停毎に画像領域には、停車中のバスが写る可能性があるバス候補領域２６３が設定されている。バス候補領域２６３は、矩形でない多角形であってもよい。情報処理装置１００は、拡大領域２６２とバス候補領域２６３との共通部分をバス領域２６４として算出する。バス領域２６４は、停車中のバスが存在する画像領域上の区画である。バス領域２６４は、矩形でない多角形であってもよい。なお、画像領域上に事前に設定される領域が、注目領域（ＲＯＩ：Region of Interest）と呼ばれることがある。
【0110】
図１４は、人の境界ボックスから算出される軌跡の例を示す図である。
情報処理装置１００は、停車期間に属するフレームに含まれる人の境界ボックスから、代表座標を抽出する。第３の実施の形態では、代表座標は下辺中央の座標である。情報処理装置１００は、追跡ＩＤが同じ境界ボックスの代表座標を時系列に並べることで、同じ人の移動経路を示す軌跡を算出する。
情報処理装置１００は、停車期間に属するフレームに含まれる人の境界ボックスから、代表座標を抽出する。第３の実施の形態では、代表座標は下辺中央の座標である。情報処理装置１００は、追跡ＩＤが同じ境界ボックスの代表座標を時系列に並べることで、同じ人の移動経路を示す軌跡を算出する。
【0111】
例えば、境界ボックス２７１は、追跡ＩＤ＝１の人の境界ボックスである。境界ボックス２７２は、追跡ＩＤ＝１の人の境界ボックスであり、境界ボックス２７１の後のフレームに含まれる。境界ボックス２７３は、追跡ＩＤ＝１の人の境界ボックスであり、境界ボックス２７２の後のフレームに含まれる。情報処理装置１００は、境界ボックス２７１～２７３の下辺中央の座標を結合することで、軌跡２７４を算出する。
【0112】
ただし、境界ボックスの位置は、認識精度の限界から、フレーム間で微細にぶれることがある。また、人の大まかな移動経路を把握するという目的に鑑みて、人の細かな動きが軌跡に反映されていない方が分析が容易になる。そこで、情報処理装置１００は、低域通過フィルタを用いて人の軌跡を平準化する。
【0113】
図１５は、低域通過フィルタによる軌跡の平準化例を示す図である。
曲線２７５は、低域通過フィルタを適用する前の軌跡を画像領域上にプロットしたものである。曲線２７６は、低域通過フィルタを適用した後の軌跡を画像領域上にプロットしたものである。低域通過フィルタとしては、例えば、バターワース（Butterworth）フィルタが用いられる。バターワースフィルタは、通過帯域ができる限り平坦な周波数特性をもつよう設計されたフィルタ回路である。
曲線２７５は、低域通過フィルタを適用する前の軌跡を画像領域上にプロットしたものである。曲線２７６は、低域通過フィルタを適用した後の軌跡を画像領域上にプロットしたものである。低域通過フィルタとしては、例えば、バターワース（Butterworth）フィルタが用いられる。バターワースフィルタは、通過帯域ができる限り平坦な周波数特性をもつよう設計されたフィルタ回路である。
【0114】
次に、情報処理装置１００は、一部の人の境界ボックスの高さを補正し、補正後の境界ボックスを用いて軌跡を再度算出する。画像領域上では、複数の人が重なることで一部の人の足下が写らないことがある。その場合、一部の人の境界ボックスの高さが短くなり、不正確な軌跡が算出されることがある。そこで、情報処理装置１００は、人の境界ボックスの高さを分析し、高さが短すぎる境界ボックスの下辺を下方向に伸ばす。
【0115】
図１６は、人の境界ボックスのＹ座標と高さの関係例を示すグラフである。
ここでは、画像領域の左上が原点であり、原点から右方向がＸ軸であり、原点から下方向がＹ軸であるとする。情報処理装置１００は、停車期間における人の境界ボックスそれぞれから、上辺のＹ座標Ｙｔｏｐと境界ボックスの高さＬとを抽出し、点（Ｙｔｏｐ，Ｌ）を生成する。情報処理装置１００は、生成された点を、横軸がＹｔｏｐであり縦軸がＬである平面にプロットする。グラフ２８０は、このような平面を表す。
ここでは、画像領域の左上が原点であり、原点から右方向がＸ軸であり、原点から下方向がＹ軸であるとする。情報処理装置１００は、停車期間における人の境界ボックスそれぞれから、上辺のＹ座標Ｙｔｏｐと境界ボックスの高さＬとを抽出し、点（Ｙｔｏｐ，Ｌ）を生成する。情報処理装置１００は、生成された点を、横軸がＹｔｏｐであり縦軸がＬである平面にプロットする。グラフ２８０は、このような平面を表す。
【0116】
なお、ここで使用するＹｔｏｐおよびＬは、低域通過フィルタを適用した後の値である。情報処理装置１００は、境界ボックスの上辺中央の座標を時系列に並べて低域通過フィルタを適用することで、平準化後の各時刻のＹｔｏｐを算出する。また、情報処理装置１００は、境界ボックスの下辺中央の座標を時系列に並べて低域通過フィルタを適用することで、平準化後の各時刻のＹｂｏｔｔｏｍを算出する。情報処理装置は、ＹｂｏｔｔｏｍからＹｔｏｐを引くことで、平準化後の各時刻の高さＬを算出する。
【0117】
情報処理装置１００は、グラフ２８０からＹｔｏｐの最小値Ｍｉｎ（Ｙｔｏｐ）を探す。情報処理装置１００は、Ｍｉｎ（Ｙｔｏｐ）からＹ１＝Ｍｉｎ（Ｙｔｏｐ）＋ΔＹの範囲で、グラフ２８０からＬの最大値Ｌ１を探す。ΔＹは、事前に設定されるパラメータである。情報処理装置１００は、点Ｐ１＝（Ｙ１，Ｌ１）を生成する。
【0118】
また、情報処理装置１００は、ＹｔｏｐがＭａｘＨｅｉｇｈｔ以下の範囲で、グラフ２８０からＹｔｏｐの最大値Ｍａｘ（Ｙ’ｔｏｐ）を探す。ＭａｘＨｅｉｇｈｔは、事前に設定されるパラメータである。情報処理装置１００は、Ｙ２＝Ｍａｘ（Ｙ’ｔｏｐ）－ΔＹからＭａｘ（Ｙ’ｔｏｐ）の範囲で、グラフ２８０からＬの最大値Ｌ２を探す。情報処理装置１００は、点Ｐ２＝（Ｙ２，Ｌ２）を生成する。
【0119】
図１７は、人の境界ボックスの高さを補正する補正関数の例を示すグラフである。
情報処理装置１００は、上記の点Ｐ１，Ｐ２から、補正関数Ｆ（Ｙｔｏｐ）＝Ｃｏｅｆ×ｆ（Ｙｔｏｐ）を生成する。Ｃｏｅｆは、事前に設定されるパラメータであり、０以上１以下の数値である。関数ｆ（Ｙｔｏｐ）は、ＹｔｏｐがＹ１未満の場合はＬ１を返し、ＹｔｏｐがＹ２を超える場合はＬ２を返し、ＹｔｏｐがＹ１以上Ｙ２以下の場合は（Ｌ２－Ｌ１）／（Ｙ２－Ｙ１）×（Ｙｔｏｐ－Ｙ１）＋Ｌ１を返す。曲線２８１は関数ｆ（Ｙｔｏｐ）を表す。曲線２８２は補正関数Ｆ（Ｙｔｏｐ）を示す。
情報処理装置１００は、上記の点Ｐ１，Ｐ２から、補正関数Ｆ（Ｙｔｏｐ）＝Ｃｏｅｆ×ｆ（Ｙｔｏｐ）を生成する。Ｃｏｅｆは、事前に設定されるパラメータであり、０以上１以下の数値である。関数ｆ（Ｙｔｏｐ）は、ＹｔｏｐがＹ１未満の場合はＬ１を返し、ＹｔｏｐがＹ２を超える場合はＬ２を返し、ＹｔｏｐがＹ１以上Ｙ２以下の場合は（Ｌ２－Ｌ１）／（Ｙ２－Ｙ１）×（Ｙｔｏｐ－Ｙ１）＋Ｌ１を返す。曲線２８１は関数ｆ（Ｙｔｏｐ）を表す。曲線２８２は補正関数Ｆ（Ｙｔｏｐ）を示す。
【0120】
情報処理装置１００は、各境界ボックスについて、Ｌ’＝Ｆ（Ｙｔｏｐ）を算出し、Ｙ’ｂｏｔｔｏｍ＝Ｙｔｏｐ＋Ｌ’を算出する。情報処理装置１００は、ＹｂｏｔｔｏｍがＹ’ｂｏｔｔｏｍより小さい境界ボックスの下辺を、Ｙ座標がＹ’ｂｏｔｔｏｍになるよう下げる。これにより、高さＬの下限がＦ（Ｙｔｏｐ）になるように人の境界ボックスが補正され、グラフ２８０で曲線２８２より下方にある点が曲線２８２の上に移動する。情報処理装置１００は、補正された境界ボックスを用いて人の軌跡を修正する。
【0121】
なお、曲線２８１は、画像領域の上側に写る奥側の人ほど高さが短く、画像領域の下側に写る手前側の人ほど高さ長いことを示している。曲線２８２より下の点は、画像領域のＹ座標と人の高さとの関係を考慮して、不自然に高さが短い人を表している。
【0122】
次に、情報処理装置１００は、軌跡に含まれる座標を画像領域の範囲にクリップする。境界ボックスの拡張や低域通過フィルタの適用によって、軌跡が画像領域外の座標を含むことがある。例えば、解像度が１９２０×１０８０の場合に、０未満または１９２０超のＸ座標や、０未満または１０８０超のＹ座標が、軌跡に含まれる可能性がある。
【0123】
そこで、情報処理装置１００は、画像領域外の座標を画像領域内の座標に置換する。例えば、情報処理装置１００は、１未満のＸ座標を１に置換し、１９１９を超えるｘ座標を１９１９に置換する。また、情報処理装置１００は、１未満のＹ座標を１に置換し、１０７９を超えるＹ座標を１０７９に置換する。
【0124】
図１８は、位置分析の設定テーブルの例を示す図である。
以上説明した共通処理では、設定テーブル１３５に示す設定値が用いられる。設定テーブル１３５は、バス停毎に作成されて情報処理装置１００に記憶される。
以上説明した共通処理では、設定テーブル１３５に示す設定値が用いられる。設定テーブル１３５は、バス停毎に作成されて情報処理装置１００に記憶される。
【0125】
重心許容領域は、バスの境界ボックスの重心の許容範囲を示すＲＯＩであり、端点の座標によって特定される。バス候補領域は、バス領域を算出するためのＲＯＩであり、端点の座標によって特定される。右マージンは、バスの境界ボックスから拡大領域の右辺を決定するためのパラメータである。左マージンは、バスの境界ボックスから拡大領域の左辺を決定するためのパラメータである。上マージンは、バスの境界ボックスから拡大領域の上辺を決定するためのパラメータである。下マージンは、バスの境界ボックスから拡大領域の下辺を決定するためのパラメータである。
【0126】
境界ボックス選択は、バスに関する２以上の境界ボックスから１つの境界ボックスを得る方法を示し、統合（Merge）、右選択（Right）または左選択（Left）である。フィルタ次数、サンプリング周波数およびカットオフ周波数は、低域通過フィルタの挙動を調整するパラメータである。補正係数は、人の境界ボックスの高さを補正する補正関数に含まれる係数である。Ｙ座標幅は、補正関数を生成する際に用いられるΔＹである。最大Ｙ座標は、補正関数を生成する際に用いられるＭａｘＨｅｉｇｈｔである。
【0127】
次に、カウント線ロジックについて説明する。
図１９は、カウント線ロジックによる乗降者カウントの例を示す図である。
カウント線ロジックは、事前に設定されたカウント線と停車期間における人の軌跡との交点に基づいて、乗車人数および降車人数を算出する。ただし、バスの停車位置は厳密に決まっているとは限らない。また、バスによって乗降口の位置が異なることがある。また、人の軌跡は、乗降以外の理由でカウント線を跨ぐことがある。そこで、カウント線ロジックは、複数の人の軌跡からバスの乗降口を推定し、推定した乗降口を通過する軌跡をカウントすることで、乗降者のカウント精度を向上させる。
図１９は、カウント線ロジックによる乗降者カウントの例を示す図である。
カウント線ロジックは、事前に設定されたカウント線と停車期間における人の軌跡との交点に基づいて、乗車人数および降車人数を算出する。ただし、バスの停車位置は厳密に決まっているとは限らない。また、バスによって乗降口の位置が異なることがある。また、人の軌跡は、乗降以外の理由でカウント線を跨ぐことがある。そこで、カウント線ロジックは、複数の人の軌跡からバスの乗降口を推定し、推定した乗降口を通過する軌跡をカウントすることで、乗降者のカウント精度を向上させる。
【0128】
カウント線ロジックを利用する場合、バス停毎に、まずカウント線として線分が設定される。カウント線は、例えば、歩道の端や歩道と車道の間など、乗客が通過する位置に設定される。カウント精度の向上のため、複数のカウント線が設定されてもよい。その場合、カウント線毎に乗車人数および降車人数が算出され、最大値が算出されたカウント線が採用される。カウント線が設定されると、次に、前述のバス領域がカウント線を含むように、右マージン、左マージン、上マージンおよび下マージンが設定される。そして、バス領域がカウント線を含むように、バス候補領域が設定される。
【0129】
情報処理装置１００は、画像データから軌跡３０２～３０５を検出する。すると、情報処理装置１００は、カウント線３０１と軌跡３０２～３０５それぞれとの交点を特定する。情報処理装置１００は、カウント線３０１から交点が密集している範囲を探し、交点が密集している範囲を乗降口と判定する。そして、情報処理装置１００は、軌跡３０２～３０５のうち乗降口の範囲内でカウント線３０１と交差する軌跡をカウントする。
【0130】
軌跡３０２～３０４は、乗降口の範囲内でカウント線３０１と交差しており、乗降者を表す。よって、軌跡３０２～３０４は、乗車人数または降車人数としてカウントされる。一方、軌跡３０５は、乗降口の範囲外でカウント線３０１と交差しており、乗降者を表さない。よって、軌跡３０５は、乗車人数または降車人数としてカウントされない。以下、上記の処理について更に詳細に説明する。
【0131】
図２０は、カウント線と軌跡の交点の例を示す図である。
情報処理装置１００は、１つの軌跡がカウント線と複数回交差する場合、交点を高々１つに絞り混む。乗車または降車は１回のみの行為だからである。まず、情報処理装置１００は、軌跡とカウント線との交点を全て検出し、各交点を乗車点候補または降車点候補に分類する。軌跡がカウント線を下から上に通過する場合、交点は乗車点候補である。軌跡がカウント線を上から下に通過する場合、交点は降車点候補である。
情報処理装置１００は、１つの軌跡がカウント線と複数回交差する場合、交点を高々１つに絞り混む。乗車または降車は１回のみの行為だからである。まず、情報処理装置１００は、軌跡とカウント線との交点を全て検出し、各交点を乗車点候補または降車点候補に分類する。軌跡がカウント線を下から上に通過する場合、交点は乗車点候補である。軌跡がカウント線を上から下に通過する場合、交点は降車点候補である。
【0132】
次に、情報処理装置１００は、画像領域上で、隣接する乗車点候補と降車点候補の距離が閾値未満である場合、その乗車点候補と降車点候補を両方とも削除する。これは、トランクへの荷物の積み込みまたはトランクからの荷物の引き出しのために、人が一時的にバスに近づいたに過ぎない可能性が高いためである。情報処理装置１００は、削除した交点がある場合、削除した交点の中心から一定距離以内の他の交点も削除する。同様の理由で、同じ人がバスに複数回近づくことがあるためである。
【0133】
次に、情報処理装置１００は、軌跡の終点が前述のバス領域の外にある場合、軌跡内の乗車点候補を全て削除する。その軌跡は乗車者を表していないためである。また、情報処理装置１００は、軌跡の始点がバス領域の外にある場合、軌跡内の降車点候補を全て削除する。その軌跡は降車者を表していないためである。
【0134】
１以上の乗車点候補が残っている場合、情報処理装置１００は、末尾の乗車点候補を乗車点として選択する。軌跡が乗車者を示す場合、最後にカウント線を跨いだときにバスに乗車したと考えられるためである。また、１以上の降車点候補が残っている場合、情報処理装置１００は、先頭の降車点候補を降車点として選択する。軌跡が降車者を示す場合、最初にカウント線を跨いだときにバスから降車したと考えられるためである。
【0135】
次に、情報処理装置１００は、バス領域外にある乗車点および降車点を削除する。結果として、このような乗車点はバスへの乗車を表しておらず、このような降車点はバスからの降車を表していないためである。最後に、人の追跡の失敗によって同じ人の移動経路が２以上の軌跡に分割されていることがあり、軌跡内に乗車点と降車点の両方がまだ残っていることがある。この場合、情報処理装置１００は、乗車点と降車点を適切に処理する。
【0136】
時系列として乗車点の後に降車点がある場合、そのような軌跡は異常であるため、情報処理装置１００は、乗車点と降車点の両方を削除する。時系列として降車点の後に乗車点がある場合、乗降口は左寄りにあることが多いため、情報処理装置１００は、乗車点と降車点のうち右側の交点を削除する。
【0137】
例えば、情報処理装置１００は、画像データからバス領域３１１を検出する。また、情報処理装置１００は、カウント線３１２と軌跡３１３の交点３１４～３１８を検出する。交点３１４，３１６，３１８は、カウント線３１２を下から上に通過する乗車点候補である。交点３１５，３１７は、カウント線３１２を上から下に通過する降車点候補である。
【0138】
乗車点候補である交点３１６と降車点候補である交点３１７とは、距離が閾値未満の隣接する交点である。よって、情報処理装置１００は、交点３１６，３１７を削除する。また、軌跡３１３の始点がバス領域３１１の外にあるため、情報処理装置１００は、降車点候補である交点３１５を削除する。そして、情報処理装置１００は、乗車点候補である交点３１４，３１８のうち、末尾の乗車点候補である交点３１８を選択する。
【0139】
図２１は、クラスタから判定される乗車口と降車口の例を示す図である。
情報処理装置１００は、複数の軌跡から複数の乗車点が特定された場合、それら乗車点をクラスタリングアルゴリズムを用いて複数のクラスタに分類する。また、情報処理装置１００は、複数の軌跡から複数の降車点が特定された場合、それら降車点をクラスタリングアルゴリズムを用いて複数のクラスタに分類する。クラスタリングアルゴリズムは、例えば、ｋ－ｍｅａｎｓ＋＋法である。
情報処理装置１００は、複数の軌跡から複数の乗車点が特定された場合、それら乗車点をクラスタリングアルゴリズムを用いて複数のクラスタに分類する。また、情報処理装置１００は、複数の軌跡から複数の降車点が特定された場合、それら降車点をクラスタリングアルゴリズムを用いて複数のクラスタに分類する。クラスタリングアルゴリズムは、例えば、ｋ－ｍｅａｎｓ＋＋法である。
【0140】
ｋ－ｍｅａｎｓ＋＋法は、点の集合を座標に基づいてｋ個のクラスタに分類するクラスタリングアルゴリズムである。クラスタ数ｋは、最初に指定される。ｋ－ｍｅａｎｓ＋＋法は、ｋ個のクラスタそれぞれの中心点を算出し、各点を中心点が最も近いクラスタに再分類することを繰り返す反復アルゴリズムである。ｋ－ｍｅａｎｓ＋＋法は、初期のｋ個のクラスタの中心点を、できる限り相互に離れるように選択する。
【0141】
乗車点の集合および降車点の集合それぞれについて、情報処理装置１００は、まずｋ＝ｎ（ｎは２以上の整数）でクラスタリングを行う。２つのクラスタの中心点間の距離が閾値未満である場合、情報処理装置１００は、クラスタが多すぎると判断し、クラスタ数ｋを減らしてクラスタリングを再度行う。情報処理装置１００は、あるクラスタの要素数に係数を乗じた値が、最も大きいクラスタの要素数未満である場合、その小さいクラスタを削除する。
【0142】
情報処理装置１００は、乗車点のクラスタが複数ある場合、その中で最も左側のクラスタを残して他のクラスタを削除する。また、情報処理装置１００は、降車点のクラスタが複数ある場合、その中で最も左側のクラスタを残して他のクラスタを削除する。
【0143】
情報処理装置１００は、乗車点のクラスタについて、クラスタに含まれる乗車点のうち左端の乗車点のＸ座標と右端の乗車点のＸ座標とを抽出する。情報処理装置１００は、カウント線のうち、抽出した２つのＸ座標で挟まれる範囲を乗車口と判定する。ただし、バスが備えるドアの幅は、物理的に決まっている。そこで、情報処理装置１００は、判定した乗車口の幅が上限値を超える場合は、幅が上限値になるように乗車口の範囲を縮小する。また、情報処理装置１００は、判定した乗車口の幅が下限値を下回る場合は、幅が下限値になるように乗車口の範囲を拡張する。
【0144】
同様に、情報処理装置１００は、降車点のクラスタについて、クラスタに含まれる降車点のうち左端の降車点のＸ座標と右端の降車点のＸ座標とを抽出する。情報処理装置１００は、カウント線のうち、抽出した２つのＸ座標で挟まれる範囲を降車口と判定する。ただし、情報処理装置１００は、判定した降車口の幅が上限値を超える場合は、幅が上限値になるように降車口の範囲を縮小する。また、情報処理装置１００は、判定した降車口の幅が下限値を下回る場合は、幅が下限値になるように乗車口の範囲を拡張する。
【0145】
例えば、情報処理装置１００は、カウント線３２１上の乗車点をクラスタ３２２，３２３に分類する。また、情報処理装置１００は、カウント線３２１上の降車点をクラスタ３２４，３２５に分類する。クラスタ３２４はクラスタ３２５と比べて過小なクラスタであるため、情報処理装置１００は、クラスタ３２４を削除する。また、情報処理装置１００は、クラスタ３２２より右側のクラスタ３２３を削除する。情報処理装置１００は、クラスタ３２２から乗車口を判定し、クラスタ３２５から降車口を判定する。
【0146】
情報処理装置１００は、乗車口の範囲でカウント線３２１と交差する軌跡を検出して、交点を乗車点と降車点とに分類する。また、情報処理装置１００は、降車口の範囲でカウント線３２１と交差する軌跡を検出して、交点を乗車点と降車点とに分類する。ここでの乗車点と降車点の特定には、図２０で説明した方法が用いられてもよい。また、乗車口や降車口の判定に用いられた乗車点および降車点の情報が利用されてもよい。ただし、図２０で説明した手順のうち、隣接する乗車点候補と降車点候補とが削除された場合に一定距離以内の他の交点を削除する処理は、ここでは実行されない。
【0147】
情報処理装置１００は、乗車口にある乗車点の個数から乗車口にある降車点の個数を引くことで、乗車人数を算出する。また、情報処理装置１００は、降車口にある降車点の個数から降車口にある乗車点の個数を引くことで、降車人数を算出する。これは、運転手や乗客が一時的に下車することがあるためである。
【0148】
情報処理装置１００は、バス停毎に設定される検知モードに応じて、算出された乗車人数および降車人数を修正する。乗車モードの場合、情報処理装置１００は、降車人数を０に書き換える。降車モードの場合、情報処理装置１００は、乗車人数を０に書き換える。自動モードの場合、情報処理装置１００は、乗車人数が降車人数以上の場合は降車人数を０に書き換え、乗車人数が降車人数未満の場合は乗車人数を０に書き換える。
【0149】
乗降モードの場合、情報処理装置１００は、算出された乗車人数および降車人数を原則として維持する。ただし、カウント線ロジックにおいては、複数の人の乗降口の通過時刻が一定条件を満たす場合のみ、乗降モードが有効になる。乗降口の通過時刻が一定条件を満たさない場合、乗降モードに代えて自動モードが適用される。
【0150】
図２２は、乗降モードにおける降車期間と乗車期間の判定例を示すグラフである。
情報処理装置１００は、複数の軌跡それぞれについて、軌跡が乗車口を通過したフレームを特定し、（フレーム番号，＋１）という点を生成する。また、情報処理装置１００は、複数の軌跡それぞれについて、軌跡が降車口を通過したフレームを特定し、（フレーム番号，－１）という点を生成する。情報処理装置１００は、横軸がフレーム番号を表し縦軸が整数を表す平面に、これらの点をプロットする。
情報処理装置１００は、複数の軌跡それぞれについて、軌跡が乗車口を通過したフレームを特定し、（フレーム番号，＋１）という点を生成する。また、情報処理装置１００は、複数の軌跡それぞれについて、軌跡が降車口を通過したフレームを特定し、（フレーム番号，－１）という点を生成する。情報処理装置１００は、横軸がフレーム番号を表し縦軸が整数を表す平面に、これらの点をプロットする。
【0151】
情報処理装置１００は、このように生成されたグラフから、降車期間３３１および乗車期間３３２を判定する。乗車期間３３２は、降車期間３３１の後の期間である。このとき、情報処理装置１００は、フレーム番号がＣ未満の場合は－１を返し、フレーム番号がＣ以上の場合は＋１を返すというステップ関数を、点の集合にフィッティングする。
【0152】
パラメータＣを変化させることで、ステップ関数のフィッティング精度が変化する。ステップ関数のフィッティング精度は、フレーム番号がＣ未満の点のうち値が－１の点の割合である降車期間精度と、フレーム番号がＣ以上の点のうち値が＋１の点の割合である乗車期間精度のうちの何れか低い方である。情報処理装置１００は、精度が最大になるパラメータＣの値を特定し、精度が最大値付近でほぼ変化しないパラメータＣの範囲を特定する。これにより、情報処理装置１００は、降車点が密集する降車期間３３１の末尾のフレームと、乗車点が密集する乗車期間３３２の先頭のフレームを判定する。
【0153】
情報処理装置１００は、降車期間３３１と乗車期間３３２の間の時間である乗降間隔が閾値を超えるか判断する。また、情報処理装置１００は、ステップ関数のフィッティング精度が閾値を超えるか判断する。乗降間隔が閾値を超え、かつ、フィッティング精度が閾値を超える場合、情報処理装置１００は、乗降モードを有効にする。乗降間隔が閾値を超えないか、または、フィッティング精度が閾値を超えない場合、情報処理装置１００は、乗降モードを無効にして自動モードを有効にする。
【0154】
次に、追加カウントがＯＮに設定されているバス停について、情報処理装置１００は、乗車人数と降車人数の何れか一方を増やす追加カウントを実行する。一部のバス停では、乗降口周辺を多数の人が歩行するため、乗降口周辺で人の移動が正確に追跡されず、カウント線と交差しない断片的な軌跡が生成されることがある。そこで、情報処理装置１００は、このような断片的な軌跡を分析して、カウントから漏れた乗客を推定する。
【0155】
図２３は、ドア領域を用いたカウント追加の例を示す図である。
情報処理装置１００は、前述のように判定されたカウント線３２１上の乗降口の上側に、矩形のドア領域３２６を設定する。ドア領域３２６の下辺は、乗車口または降車口を示すカウント線３２１上の線分である。ドア領域３２６の上辺は、下辺と平行で下辺より上側の線分である。ドア領域３２６の右辺および左辺は、カウント線３２１と垂直な線分である。ドア領域３２６の高さは、事前に設定される。
情報処理装置１００は、前述のように判定されたカウント線３２１上の乗降口の上側に、矩形のドア領域３２６を設定する。ドア領域３２６の下辺は、乗車口または降車口を示すカウント線３２１上の線分である。ドア領域３２６の上辺は、下辺と平行で下辺より上側の線分である。ドア領域３２６の右辺および左辺は、カウント線３２１と垂直な線分である。ドア領域３２６の高さは、事前に設定される。
【0156】
情報処理装置１００は、以下のような条件を満たす軌跡３２７を検出する。軌跡３２７の始点または終点は、ドア領域３２６の中にある。軌跡３２７は、カウント線３２１より下の点を含まない。軌跡３２７の長さは、閾値を超えない。軌跡３２７の点のうちＸ座標が最も小さい左端点は、軌跡３２７の始点または終点である。軌跡３２７の点のうちＸ座標が最も大きい右端点は、軌跡３２７の始点または終点である。軌跡３２７の点のうちＹ座標が最も小さい上端点は、軌跡３２７の始点または終点である。軌跡３２７の点のうちＹ座標が最も大きい下端点は、軌跡３２７の始点または終点である。よって、軌跡３２７は、カウント線３２１と交差せず十分に短い断片的な軌跡である。
【0157】
情報処理装置１００は、軌跡３２７の乗降方向を判定する。このとき、情報処理装置１００は、軌跡３２７の始点から終点に向かうベクトルと、カウント線３２１の上を左側から右側に向かうベクトルとの外積を算出する。外積が正である場合は軌跡３２７は乗車方向を表し、外積が負である場合は軌跡３２７は降車方向を表す。
【0158】
情報処理装置１００は、乗車方向の軌跡の個数から降車方向の軌跡の個数を引いて、追加乗車人数を算出する。追加カウント前の乗車人数が正であり、かつ、追加乗車人数が正である場合、情報処理装置１００は、乗車人数に追加乗車人数を加算する。追加カウント前の降車人数が正であり、かつ、追加乗車人数が負である場合、情報処理装置１００は、降車人数に追加乗車人数の絶対値を加算する。
【0159】
図２４は、カウント線ロジックの設定テーブルの例を示す図である。
以上説明したカウント線ロジックでは、設定テーブル１３６に示す設定値が用いられる。設定テーブル１３６は、バス停毎に作成されて情報処理装置１００に記憶される。
以上説明したカウント線ロジックでは、設定テーブル１３６に示す設定値が用いられる。設定テーブル１３６は、バス停毎に作成されて情報処理装置１００に記憶される。
【0160】
カウント線は、画像領域上に設定された線分であり、左端の座標と右端の座標とで表現される。点間最小距離は、隣接する乗車点候補と降車点候補を削除するか否か判断するための距離の閾値である。ドア領域高さは、追加カウントで設定されるドア領域の高さである。ドア領域高さが０の場合、追加カウントは行われない。最大軌跡長は、追加カウントの対象となる軌跡の長さの上限である。軌跡の長さは、例えば、フレーム数で表現される。Ｘ座標制約は、追加カウントにおいて、右端点および左端点を始点または終点に限定するか否かを示すフラグである。Ｙ座標制約は、追加カウントにおいて、上端点および下端点を始点または終点に限定するか否かを示すフラグである。
【0161】
最大クラスタ数は、乗車点および降車点をクラスタに分類する際のクラスタ数ｋの初期値である。クラスタ間最小距離は、クラスタ数ｋを減らすか否か判断するためのクラスタ間距離の閾値である。クラスタサイズ係数は、あるクラスタのサイズが過小か否か判断する際に、当該クラスタの要素数に乗じる係数である。最大ドア幅は、カウント線上で乗車口または降車口として判定される範囲の幅の上限である。最小ドア幅は、カウント線上で乗車口または降車口として判定される範囲の幅の下限である。
【0162】
降車最小点数は、乗降モードの有効性を判断する際に、降車期間に含まれる点の個数の下限である。降車期間に含まれる点の個数が降車最小点数未満である場合、ステップ関数のフィッティングが失敗したと判断され、乗降モードが無効になる。乗車最小点数は、乗車期間に含まれる点の個数の下限である。乗車期間に含まれる点の個数が乗車最小点数未満である場合、ステップ関数のフィッティングが失敗したと判断され、乗降モードが無効になる。精度閾値は、許容されるフィッティング精度の下限である。乗降間隔閾値は、降車期間と乗車期間の間の乗降間隔の下限である。
【0163】
次に、周辺領域ロジックについて説明する。
図２５は、周辺領域ロジックによる乗降者カウントの例を示す図である。
周辺領域ロジックは、事前に設定された周辺領域３４２と前述のように算出されたバス領域３４１との間の人の移動に基づいて、乗降人数を算出する。ただし、乗降兼用のバス停であっても、算出される乗降人数は乗車人数と降車人数の差であり、出力される乗車人数および降車人数の何れか一方は０である。
図２５は、周辺領域ロジックによる乗降者カウントの例を示す図である。
周辺領域ロジックは、事前に設定された周辺領域３４２と前述のように算出されたバス領域３４１との間の人の移動に基づいて、乗降人数を算出する。ただし、乗降兼用のバス停であっても、算出される乗降人数は乗車人数と降車人数の差であり、出力される乗車人数および降車人数の何れか一方は０である。
【0164】
周辺領域ロジックを利用する場合、バス停毎に、画像領域の中でバスに乗る直前の乗車者やバスから降りた直後の降車者が存在し得る領域が、バス候補領域として事前に設定される。また、そのような乗車者や降車者が拡大領域に含まれるように、右マージン、左マージン、上マージンおよび下マージンが事前に設定される。
【0165】
また、バス停毎に、周辺領域３４２のような周辺領域が事前に設定される。周辺領域３４２は、バス停の出入口に相当し、通常はバス領域３４１と離れている。乗車者は、バス停の外から周辺領域３４２に進入し、周辺領域３４２を通ってバスの乗車口に移動する。よって、乗車者の移動経路は、周辺領域３４２の中の点からバス領域３４１の中の点へ向かう軌跡で表現される。降車者は、バスの降車口から周辺領域３４２に移動し、周辺領域３４２を通ってバス停の外に退出する。よって、降車者の移動経路は、バス領域３４１の中の点から周辺領域３４２の中の点へ向かう軌跡で表現される。
【0166】
情報処理装置１００は、軌跡の移動方向に基づいて、軌跡が乗車者を表すか降車者を表すか判定する。周辺領域３４２の後にバス領域３４１を通る軌跡は、原則として乗車者を表す。ただし、始点が周辺領域３４２の外にあるか、終点がバス領域３４１の外にある軌跡は、バス停を通過しただけであり除外される。バス領域３４１の後に周辺領域３４２を通る軌跡は、原則として降車者を表す。ただし、始点がバス領域３４１の外にあるか、終点が周辺領域３４２の外にある軌跡は、バス停を通過しただけであり除外される。
【0167】
情報処理装置１００は、検出された乗車者の軌跡１つにつきカウントを１だけ増やし、検出された降車者の軌跡１つにつきカウントを１だけ減らす。最終的にカウントが正である場合、情報処理装置１００は、カウントを乗車人数と判定し、降車人数を０と判定する。最終的にカウントが負である場合、情報処理装置１００は、カウントの絶対値を降車人数と判定し、乗車人数を０と判定する。
【0168】
そして、情報処理装置１００は、設定された検知モードに応じて、乗車人数および降車人数を修正して出力する。ただし、カウント線ロジックの場合と異なり、情報処理装置１００は、乗降モードの有効性を判断しない。周辺領域ロジックは、バスの乗降口から離れた場所での人の移動経路の情報も利用するため、乗降口付近が非常に混雑する場合であっても、乗降者のカウント漏れを減らしてカウント精度を改善することができる。
【0169】
例えば、情報処理装置１００は、異なる人の軌跡３４３～３４５を検出する。軌跡３４３～３４５は、一方の端点がバス領域３４１の中にあり、他方の端点が周辺領域３４２の中にある軌跡である。よって、情報処理装置１００は、軌跡３４３～３４５それぞれの移動方向に応じて、乗車人数および降車人数を算出する。
【0170】
図２６は、軌跡毎のカウントの増減例を示す図である。
軌跡３４６は、始点が周辺領域３４２の中にあり、終点がバス領域３４１の中にある軌跡である。よって、情報処理装置１００は、軌跡３４６からカウントを１だけ増やす。軌跡３４７は、始点がバス領域３４１の中にあり、終点が周辺領域３４２の中にある軌跡である。よって、情報処理装置１００は、軌跡３４７からカウントを１だけ減らす。
軌跡３４６は、始点が周辺領域３４２の中にあり、終点がバス領域３４１の中にある軌跡である。よって、情報処理装置１００は、軌跡３４６からカウントを１だけ増やす。軌跡３４７は、始点がバス領域３４１の中にあり、終点が周辺領域３４２の中にある軌跡である。よって、情報処理装置１００は、軌跡３４７からカウントを１だけ減らす。
【0171】
軌跡３４８は、周辺領域３４２を通ってバス領域３４１に移動しているものの、始点が周辺領域３４２の外にある軌跡である。よって、情報処理装置１００は、軌跡３４８からカウントを増減させない。軌跡３４９は、バス領域３４１を通って周辺領域３４２に移動しているものの、始点がバス領域３４１の外にある軌跡である。よって、情報処理装置１００は、軌跡３４９からカウントを増減させない。なお、軌跡３４８，３４９は、バスの運行またはバス停の運用を補助するスタッフの軌跡である可能性がある。
【0172】
次に、情報処理装置１００の機能および処理手順について説明する。
図２７は、情報処理装置の機能例を示すブロック図である。
情報処理装置１００は、画像記憶部１２１、モデル記憶部１２２、設定記憶部１２３および乗降人数記憶部１２４を有する。これらの記憶部は、例えば、ＲＡＭ１０２またはＨＤＤ１０３を用いて実装される。また、情報処理装置１００は、画像受信部１２５、物体認識部１２６、物体追跡部１２７、停車期間検出部１２８および乗降者カウント部１２９を有する。これらの処理部は、例えば、ＣＰＵ１０１、ＧＰＵ１０４、通信インタフェース１０７およびプログラムを用いて実装される。
図２７は、情報処理装置の機能例を示すブロック図である。
情報処理装置１００は、画像記憶部１２１、モデル記憶部１２２、設定記憶部１２３および乗降人数記憶部１２４を有する。これらの記憶部は、例えば、ＲＡＭ１０２またはＨＤＤ１０３を用いて実装される。また、情報処理装置１００は、画像受信部１２５、物体認識部１２６、物体追跡部１２７、停車期間検出部１２８および乗降者カウント部１２９を有する。これらの処理部は、例えば、ＣＰＵ１０１、ＧＰＵ１０４、通信インタフェース１０７およびプログラムを用いて実装される。
【0173】
画像記憶部１２１は、各バス停の画像データを記憶する。画像データは、一定の解像度および一定のフレームレートをもつ動画像データである。モデル記憶部１２２は、物体認識および物体追跡に用いられる画像認識モデルを記憶する。画像認識モデルは、訓練済みの機械学習モデルである。画像認識モデルは、ニューラルネットワークでもよい。
【0174】
設定記憶部１２３は、停車期間検出および乗降者カウントの挙動を制御するパラメータの値を記憶する。パラメータの値は、バス停毎に設定される。前述の設定テーブル１３５，１３６が、設定記憶部１２３に記憶される。乗降人数記憶部１２４は、情報処理装置１００によって生成されたカウントデータを記憶する。カウントデータは、バス停、到着時刻、出発時刻、乗車人数および降車人数を対応付ける。
【0175】
画像受信部１２５は、複数のバス停それぞれのカメラから画像データを継続的に受信する。画像受信部１２５は、受信した画像データを画像記憶部１２１に保存する。
物体認識部１２６は、画像記憶部１２１から画像データを読み出し、モデル記憶部１２２から画像認識モデルを読み出し、画像データに含まれる各フレームを画像認識モデルに入力する。物体認識部１２６は、画像認識モデルによって出力された１以上の境界ボックスそれぞれの座標およびクラスラベルを、フレームに付加する。
物体認識部１２６は、画像記憶部１２１から画像データを読み出し、モデル記憶部１２２から画像認識モデルを読み出し、画像データに含まれる各フレームを画像認識モデルに入力する。物体認識部１２６は、画像認識モデルによって出力された１以上の境界ボックスそれぞれの座標およびクラスラベルを、フレームに付加する。
【0176】
物体追跡部１２７は、物体認識部１２６から境界ボックスを含むフレームを取得し、モデル記憶部１２２から画像認識モデルを読み出す。物体追跡部１２７は、画像認識モデルに従って、隣接フレーム間での境界ボックスの移動を検知し、同一の物体を表す可能性が高い境界ボックスに同一の追跡ＩＤを付与する。
【0177】
停車期間検出部１２８は、物体追跡部１２７から追跡ＩＤが付与された境界ボックスを含むフレームを取得し、設定記憶部１２３からパラメータの値を読み出す。停車期間検出部１２８は、異常な境界ボックスの削除や追跡ＩＤの修正を行い、同じ追跡ＩＤをもつバスの境界ボックスを走査して当該バスの停車期間を検出する。
【0178】
乗降者カウント部１２９は、停車期間検出部１２８から停車期間に属するフレームを取得し、設定記憶部１２３からパラメータの値を読み出す。乗降者カウント部１２９は、停車期間中にバスが存在したバス領域を検出し、停車期間中の人の移動経路を示す軌跡を検出する。乗降者カウント部１２９は、バス領域と軌跡から乗降者をカウントする。
【0179】
このとき、乗降者カウント部１２９は、カウント線ロジックおよび周辺領域ロジックそれぞれで乗降者をカウントする。乗降者カウント部１２９は、２つのロジックで算出された乗車人数および降車人数を合成して、最終的な乗車人数および降車人数を決定する。乗降者カウント部１２９は、算出された乗車人数および降車人数を示すカウントデータを生成して乗降人数記憶部１２４に保存する。なお、乗降者カウント部１２９は、カウントデータを表示装置１１１に表示してもよいし、他の情報処理装置に送信してもよい。
【0180】
図２８は、停車期間検出の手順例を示すフローチャートである。
（Ｓ１０）停車期間検出部１２８は、車両に関する境界ボックスを２以上含むフレームを検出し、次のフレームとの間で、追跡ＩＤが同じ境界ボックスのＩｏＵを算出する。
（Ｓ１０）停車期間検出部１２８は、車両に関する境界ボックスを２以上含むフレームを検出し、次のフレームとの間で、追跡ＩＤが同じ境界ボックスのＩｏＵを算出する。
【0181】
（Ｓ１１）停車期間検出部１２８は、ＩｏＵが閾値未満で、かつ、前フレームに含まれる何れかの追跡ＩＤが後フレームで欠落しているか判断する。条件を満たす場合はステップＳ１２に処理が進み、条件を満たさない場合はステップＳ１５に処理が進む。
【0182】
（Ｓ１２）停車期間検出部１２８は、後フレームが、車両に関する追跡ＩＤであって前フレームに含まれない新追跡ＩＤを含むか判断する。新追跡ＩＤを含む場合はステップＳ１３に処理が進み、新追跡ＩＤを含まない場合はステップＳ１４に処理が進む。
【0183】
（Ｓ１３）停車期間検出部１２８は、前フレームと後フレームの間で境界ボックスの位置を比較し、位置が近い境界ボックス同士を対応付ける。停車期間検出部１２８は、対応付けた境界ボックスの間で追跡ＩＤを共通化する。例えば、停車期間検出部１２８は、新追跡ＩＤを前フレームの旧追跡ＩＤに置換する。そして、ステップＳ１５に処理が進む。
【0184】
（Ｓ１４）停車期間検出部１２８は、後フレームから車両に関する境界ボックスを削除し、前フレームの境界ボックスを後フレームにコピーする。これにより、後フレームの境界ボックスが前フレームのものに置換される。
【0185】
（Ｓ１５）停車期間検出部１２８は、車両に関するクラスに、優先度に応じたスコアを付与する。車両に関するクラスには、例えば、バスやトラックや列車が含まれる。
（Ｓ１６）停車期間検出部１２８は、車両に関する境界ボックスを２以上含むフレームを検出し、同一フレームの境界ボックスの間でＩｏＵを算出する。
（Ｓ１６）停車期間検出部１２８は、車両に関する境界ボックスを２以上含むフレームを検出し、同一フレームの境界ボックスの間でＩｏＵを算出する。
【0186】
（Ｓ１７）停車期間検出部１２８は、ステップＳ１６で算出されたＩｏＵが閾値を超えるか判断する。ＩｏＵが閾値を超える場合はステップＳ１８に処理が進み、ＩｏＵが閾値を超えない場合はステップＳ１９に処理が進む。
【0187】
（Ｓ１８）停車期間検出部１２８は、ステップＳ１６の２以上の境界ボックスのうち、スコアが最大の境界ボックスを残し、スコアが最大でない境界ボックスを削除する。
（Ｓ１９）停車期間検出部１２８は、残った境界ボックスについて、車両に関するクラスをバスとみなす。よって、トラックと認識された境界ボックスや列車と認識された境界ボックスが、バスの境界ボックスとみなされることがある。
（Ｓ１９）停車期間検出部１２８は、残った境界ボックスについて、車両に関するクラスをバスとみなす。よって、トラックと認識された境界ボックスや列車と認識された境界ボックスが、バスの境界ボックスとみなされることがある。
【0188】
図２９は、停車期間検出の手順例を示すフローチャート（続き１）である。
（Ｓ２０）停車期間検出部１２８は、バスの境界ボックスについて、旧追跡ＩＤが消失してＴフレーム以内に新追跡ＩＤが出現したことを検出する。
（Ｓ２０）停車期間検出部１２８は、バスの境界ボックスについて、旧追跡ＩＤが消失してＴフレーム以内に新追跡ＩＤが出現したことを検出する。
【0189】
（Ｓ２１）停車期間検出部１２８は、旧追跡ＩＤをもつ最後の境界ボックスの重心と、新追跡ＩＤをもつ最初の境界ボックスの重心とを算出する。
（Ｓ２２）停車期間検出部１２８は、ステップＳ２１で算出された２つの重心の間の距離が閾値未満であるか判断する。重心間距離が閾値未満の場合はステップＳ２８に処理が進み、重心間距離が閾値未満でない場合はステップＳ２３に処理が進む。
（Ｓ２２）停車期間検出部１２８は、ステップＳ２１で算出された２つの重心の間の距離が閾値未満であるか判断する。重心間距離が閾値未満の場合はステップＳ２８に処理が進み、重心間距離が閾値未満でない場合はステップＳ２３に処理が進む。
【0190】
（Ｓ２３）停車期間検出部１２８は、旧追跡ＩＤが消失する直前のＮフレームから旧追跡ＩＤをもつ境界ボックスを抽出し、抽出した境界ボックスの時間平均を算出する。
（Ｓ２４）停車期間検出部１２８は、新追跡ＩＤをもつ最初の境界ボックスの重心が、ステップＳ２３で算出された平均境界ボックスの中にあるか判断する。条件を満たす場合はステップＳ２８に処理が進み、条件を満たさない場合はステップＳ２５に処理が進む。
（Ｓ２４）停車期間検出部１２８は、新追跡ＩＤをもつ最初の境界ボックスの重心が、ステップＳ２３で算出された平均境界ボックスの中にあるか判断する。条件を満たす場合はステップＳ２８に処理が進み、条件を満たさない場合はステップＳ２５に処理が進む。
【0191】
（Ｓ２５）停車期間検出部１２８は、旧追跡ＩＤが含まれる最後のフレームに新追跡ＩＤが含まれることを検出し、新追跡ＩＤをもつ境界ボックスを抽出する。
（Ｓ２６）停車期間検出部１２８は、旧追跡ＩＤが消失する直前のＮフレームについて、旧追跡ＩＤをもつ境界ボックスの時間平均を算出する。
（Ｓ２６）停車期間検出部１２８は、旧追跡ＩＤが消失する直前のＮフレームについて、旧追跡ＩＤをもつ境界ボックスの時間平均を算出する。
【0192】
（Ｓ２７）停車期間検出部１２８は、ステップＳ２５で抽出された境界ボックスの重心が、平均境界ボックスの中にあるか判断する。条件を満たす場合はステップＳ２８に処理が進み、条件を満たさない場合はステップＳ２９に処理が進む。
【0193】
（Ｓ２８）停車期間検出部１２８は、旧追跡ＩＤと新追跡ＩＤとを共通化する。例えば、停車期間検出部１２８は、新追跡ＩＤを旧追跡ＩＤに置換する。
図３０は、停車期間検出の手順例を示すフローチャート（続き２）である。
図３０は、停車期間検出の手順例を示すフローチャート（続き２）である。
【0194】
（Ｓ２９）停車期間検出部１２８は、各フレームからバスの境界ボックスを選択する。
（Ｓ３０）停車期間検出部１２８は、境界ボックスの重心および端点の少なくとも一部について許容領域が設定されている場合、該当する点が許容領域内にあるか判定する。
（Ｓ３０）停車期間検出部１２８は、境界ボックスの重心および端点の少なくとも一部について許容領域が設定されている場合、該当する点が許容領域内にあるか判定する。
【0195】
（Ｓ３１）停車期間検出部１２８は、追跡ＩＤ毎に、境界ボックスがステップＳ３０の許容領域の条件を最初に満たした時刻を到着時刻と判定する。
（Ｓ３２）停車期間検出部１２８は、追跡ＩＤが消失して一定時間経過した時刻を出発時刻と判定する。または、停車期間検出部１２８は、追跡ＩＤが消失して一定時間経過した時刻と、許容領域の条件を満たさなくなって一定時間経過した時刻の何れか早い方を、出発時刻と判定する。何れの方法を使用するかは、設定値によって指定されてもよい。
（Ｓ３２）停車期間検出部１２８は、追跡ＩＤが消失して一定時間経過した時刻を出発時刻と判定する。または、停車期間検出部１２８は、追跡ＩＤが消失して一定時間経過した時刻と、許容領域の条件を満たさなくなって一定時間経過した時刻の何れか早い方を、出発時刻と判定する。何れの方法を使用するかは、設定値によって指定されてもよい。
【0196】
（Ｓ３３）停車期間検出部１２８は、ステップＳ３２の出発時刻からステップＳ３１の到着時刻を引くことで、到着時刻から出発時刻までの停車時間を算出する。
（Ｓ３４）停車期間検出部１２８は、ステップＳ３３で算出された停車時間が閾値を超えるか判断する。停車時間が閾値を超える場合はステップＳ３５に処理が進み、停車時間が閾値を超えない場合は処理が終了する。
（Ｓ３４）停車期間検出部１２８は、ステップＳ３３で算出された停車時間が閾値を超えるか判断する。停車時間が閾値を超える場合はステップＳ３５に処理が進み、停車時間が閾値を超えない場合は処理が終了する。
【0197】
（Ｓ３５）停車期間検出部１２８は、停車期間中の境界ボックスの端点の最頻値を算出し、最頻値がステップＳ３０の許容領域内にあるか判断する。最頻値が許容領域内にある場合はステップＳ３６に処理が進み、それ以外の場合は処理が終了する。
【0198】
（Ｓ３６）停車期間検出部１２８は、停車期間に属するフレームを抽出する。
図３１は、位置分析の手順例を示すフローチャートである。
（Ｓ４０）乗降者カウント部１２９は、停車期間に属するフレームからバスの境界ボックスを抽出し、追跡ＩＤが同じ境界ボックスを平均化する。
図３１は、位置分析の手順例を示すフローチャートである。
（Ｓ４０）乗降者カウント部１２９は、停車期間に属するフレームからバスの境界ボックスを抽出し、追跡ＩＤが同じ境界ボックスを平均化する。
【0199】
（Ｓ４１）乗降者カウント部１２９は、平均化された境界ボックスそれぞれの重心を算出し、重心が許容領域外にある境界ボックスを削除する。
（Ｓ４２）乗降者カウント部１２９は、複数の境界ボックスが残っているか判断する。複数の境界ボックスが残っている場合はステップＳ４３に処理が進み、１つの境界ボックスのみ残っている場合はステップＳ４４に処理が進む。
（Ｓ４２）乗降者カウント部１２９は、複数の境界ボックスが残っているか判断する。複数の境界ボックスが残っている場合はステップＳ４３に処理が進み、１つの境界ボックスのみ残っている場合はステップＳ４４に処理が進む。
【0200】
（Ｓ４３）乗降者カウント部１２９は、設定に応じて、残っている複数の境界ボックスに対して統合、右選択または左選択を行い、１つの境界ボックスを得る。
（Ｓ４４）乗降者カウント部１２９は、設定されたマージンに基づいて、ステップＳ４３で得られたバスの境界ボックスを拡大した拡大領域を算出する。
（Ｓ４４）乗降者カウント部１２９は、設定されたマージンに基づいて、ステップＳ４３で得られたバスの境界ボックスを拡大した拡大領域を算出する。
【0201】
（Ｓ４５）乗降者カウント部１２９は、ステップＳ４４で算出された拡大領域と設定されたバス候補領域とが重なるバス領域を算出する。
（Ｓ４６）乗降者カウント部１２９は、停車期間に属するフレームから人の境界ボックスを抽出し、抽出した境界ボックスの下辺中点を基準点として選択する。
（Ｓ４６）乗降者カウント部１２９は、停車期間に属するフレームから人の境界ボックスを抽出し、抽出した境界ボックスの下辺中点を基準点として選択する。
【0202】
（Ｓ４７）乗降者カウント部１２９は、同じ追跡ＩＤをもつ人の境界ボックスの基準点を時系列に並べることで、各人の軌跡を算出する。
（Ｓ４８）乗降者カウント部１２９は、ステップＳ４７で算出された軌跡を低域通過フィルタに入力することで、平準化された軌跡を得る。
（Ｓ４８）乗降者カウント部１２９は、ステップＳ４７で算出された軌跡を低域通過フィルタに入力することで、平準化された軌跡を得る。
【0203】
図３２は、位置分析の手順例を示すフローチャート（続き）である。
（Ｓ４９）乗降者カウント部１２９は、人の境界ボックスから上辺のＹ座標Ｙｔｏｐおよび高さＬを抽出し、点（Ｙｔｏｐ，Ｌ）を算出して平面にプロットする。
（Ｓ４９）乗降者カウント部１２９は、人の境界ボックスから上辺のＹ座標Ｙｔｏｐおよび高さＬを抽出し、点（Ｙｔｏｐ，Ｌ）を算出して平面にプロットする。
【0204】
（Ｓ５０）乗降者カウント部１２９は、ステップＳ４９の平面から、横軸の範囲［Ｍｉｎ（Ｙｔｏｐ），Ｙ１］における最大値Ｌ１を検索する。
（Ｓ５１）乗降者カウント部１２９は、ステップＳ４９の平面から、横軸の範囲［Ｙ２，Ｍａｘ（Ｙ’ｔｏｐ）］における最大値Ｌ２を検索する。
（Ｓ５１）乗降者カウント部１２９は、ステップＳ４９の平面から、横軸の範囲［Ｙ２，Ｍａｘ（Ｙ’ｔｏｐ）］における最大値Ｌ２を検索する。
【0205】
（Ｓ５２）乗降者カウント部１２９は、点（Ｙ１，Ｌ１），（Ｙ２，Ｌ２）から、上限値および下限値をもつ線形関数を補正関数Ｆ（Ｙｔｏｐ）として生成する。
（Ｓ５３）乗降者カウント部１２９は、ステップＳ５２で生成された補正関数Ｆ（Ｙｔｏｐ）を用いて、人の境界ボックスそれぞれについてＹ’ｂｏｔｔｏｍを算出する。
（Ｓ５３）乗降者カウント部１２９は、ステップＳ５２で生成された補正関数Ｆ（Ｙｔｏｐ）を用いて、人の境界ボックスそれぞれについてＹ’ｂｏｔｔｏｍを算出する。
【0206】
（Ｓ５４）乗降者カウント部１２９は、境界ボックスの下辺のＹ座標ＹｂｏｔｔｏｍがステップＳ５３のＹ’ｂｏｔｔｏｍより小さいか判断する。Ｙｂｏｔｔｏｍ＜Ｙ’ｂｏｔｔｏｍの場合はステップＳ５５に処理が進み、それ以外の場合はステップＳ５６に処理が進む。
【0207】
（Ｓ５５）乗降者カウント部１２９は、ステップＳ５４に該当する境界ボックスの下辺のＹ座標をＹ’ｂｏｔｔｏｍまで伸ばすことで、境界ボックスを補正する。乗降者カウント部１２９は、補正された境界ボックスを用いて人の軌跡を修正する。
【0208】
（Ｓ５６）乗降者カウント部１２９は、修正後の軌跡に含まれる点の座標を、画像領域の解像度の範囲内に収まるようにクリッピングする。
図３３は、カウント線ロジックの手順例を示すフローチャートである。
図３３は、カウント線ロジックの手順例を示すフローチャートである。
【0209】
（Ｓ６０）乗降者カウント部１２９は、軌跡それぞれについて、設定されたカウント線との交点を検出する。乗降者カウント部１２９は、軌跡がカウント線を通過する方向に基づいて、各交点を乗車点候補または降車点候補に分類する。
【0210】
（Ｓ６１）乗降者カウント部１２９は、軌跡それぞれについて、隣接する乗車点候補と降車点候補のうち距離が閾値未満のペアを削除する。
（Ｓ６２）乗降者カウント部１２９は、ステップＳ６１で削除された交点の集合の中心から一定距離以内にある他の交点を削除する。
（Ｓ６２）乗降者カウント部１２９は、ステップＳ６１で削除された交点の集合の中心から一定距離以内にある他の交点を削除する。
【0211】
（Ｓ６３）乗降者カウント部１２９は、軌跡の終点がバス領域の外にあるか判断する。終点がバス領域の外にある場合はステップＳ６４に処理が進み、終点がバス領域の中にある場合はステップＳ６５に処理が進む。
【0212】
（Ｓ６４）乗降者カウント部１２９は、該当する軌跡の乗車点候補を全て削除する。
（Ｓ６５）乗降者カウント部１２９は、軌跡の始点がバス領域の外にあるか判断する。始点がバス領域の外にある場合はステップＳ６６に処理が進み、始点がバス領域の中にある場合はステップＳ６７に処理が進む。
（Ｓ６５）乗降者カウント部１２９は、軌跡の始点がバス領域の外にあるか判断する。始点がバス領域の外にある場合はステップＳ６６に処理が進み、始点がバス領域の中にある場合はステップＳ６７に処理が進む。
【0213】
（Ｓ６６）乗降者カウント部１２９は、該当する軌跡の降車点候補を全て削除する。
（Ｓ６７）乗降者カウント部１２９は、軌跡内に１以上の乗車点候補が残っているか判断する。乗車点候補が残っている場合はステップＳ６８に処理が進み、乗車点候補が残っていない場合はステップＳ６９に処理が進む。
（Ｓ６７）乗降者カウント部１２９は、軌跡内に１以上の乗車点候補が残っているか判断する。乗車点候補が残っている場合はステップＳ６８に処理が進み、乗車点候補が残っていない場合はステップＳ６９に処理が進む。
【0214】
（Ｓ６８）乗降者カウント部１２９は、末尾の乗車点候補を乗車点として選択する。
（Ｓ６９）乗降者カウント部１２９は、軌跡内に１以上の降車点候補が残っているか判断する。降車点候補が残っている場合はステップＳ７０に処理が進み、降車点候補が残っていない場合はステップＳ７１に処理が進む。
（Ｓ６９）乗降者カウント部１２９は、軌跡内に１以上の降車点候補が残っているか判断する。降車点候補が残っている場合はステップＳ７０に処理が進み、降車点候補が残っていない場合はステップＳ７１に処理が進む。
【0215】
（Ｓ７０）乗降者カウント部１２９は、先頭の降車点候補を降車点として選択する。
図３４は、カウント線ロジックの手順例を示すフローチャート（続き１）である。
（Ｓ７１）乗降者カウント部１２９は、バス領域外の乗車点および降車点を削除する。
図３４は、カウント線ロジックの手順例を示すフローチャート（続き１）である。
（Ｓ７１）乗降者カウント部１２９は、バス領域外の乗車点および降車点を削除する。
【0216】
（Ｓ７２）乗降者カウント部１２９は、同一の軌跡について乗車点と降車点の両方が残っており、乗車点の後に降車点があるか判断する。条件を満たす場合はステップＳ７３に処理が進み、条件を満たさない場合はステップＳ７４に処理が進む。
【0217】
（Ｓ７３）乗降者カウント部１２９は、該当する軌跡の乗車点と降車点を両方とも削除する。そして、ステップＳ７６に処理が進む。
（Ｓ７４）乗降者カウント部１２９は、同一の軌跡について乗車点と降車点の両方が残っており、降車点の後に乗車点があるか判断する。条件を満たす場合はステップＳ７５に処理が進み、条件を満たさない場合はステップＳ７６に処理が進む。
（Ｓ７４）乗降者カウント部１２９は、同一の軌跡について乗車点と降車点の両方が残っており、降車点の後に乗車点があるか判断する。条件を満たす場合はステップＳ７５に処理が進み、条件を満たさない場合はステップＳ７６に処理が進む。
【0218】
（Ｓ７５）乗降者カウント部１２９は、該当する軌跡の乗車点と降車点のうち右側にある点、すなわち、Ｘ座標が大きい方の点を削除する。
（Ｓ７６）乗降者カウント部１２９は、複数の軌跡から特定された複数の乗車点をクラスタに分類し、複数の軌跡から特定された複数の降車点をクラスタに分類する。
（Ｓ７６）乗降者カウント部１２９は、複数の軌跡から特定された複数の乗車点をクラスタに分類し、複数の軌跡から特定された複数の降車点をクラスタに分類する。
【0219】
（Ｓ７７）乗降者カウント部１２９は、複数の乗車点クラスタの中に、中心間距離が閾値未満の乗車点クラスタのペアがあるか判断する。また、乗降者カウント部１２９は、複数の降車点クラスタの中に、中心間距離が閾値未満の降車点クラスタのペアがあるか判断する。該当する乗車点クラスタのペアまたは降車点クラスタのペアがある場合、ステップＳ７８に処理が進む。それ以外の場合、ステップＳ７９に処理が進む。
【0220】
（Ｓ７８）乗降者カウント部１２９は、クラスタ数を１つ減らす。そして、ステップＳ７６に処理が戻り、減少したクラスタ数でクラスタリングが行われる。なお、再クラスタリングは、乗車点と降車点のうち中心間距離が閾値未満であった方に対してのみ行われてもよいし、乗車点と降車点の両方に対して行われてもよい。
【0221】
（Ｓ７９）乗降者カウント部１２９は、複数の乗車点クラスタのうち、最大サイズの乗車点クラスタと比べて過小サイズの乗車点クラスタを削除する。また、乗降者カウント部１２９は、複数の降車点クラスタのうち、最大サイズの降車点クラスタと比べて過小サイズの降車点クラスタを削除する。
【0222】
（Ｓ８０）乗降者カウント部１２９は、複数の乗車点クラスタが残っている場合、最も左側の乗車点クラスタを選択する。また、乗降者カウント部１２９は、複数の降車点クラスタが残っている場合、最も左側の降車点クラスタを選択する。
【0223】
（Ｓ８１）乗降者カウント部１２９は、乗車点クラスタに含まれる乗車点のＸ座標の分布から乗車口を判定する。また、乗降者カウント部１２９は、降車点クラスタに含まれる降車点のＸ座標の分布から降車口を判定する。
【0224】
図３５は、カウント線ロジックの手順例を示すフローチャート（続き２）である。
（Ｓ８２）乗降者カウント部１２９は、乗車口の範囲で軌跡と交差する乗車点および降車点を検出する。乗車点および降車点の検出には、ステップＳ６０～Ｓ７５と同様の方法が用いられる。ただし、ステップＳ６２に相当する処理は行われない。
（Ｓ８２）乗降者カウント部１２９は、乗車口の範囲で軌跡と交差する乗車点および降車点を検出する。乗車点および降車点の検出には、ステップＳ６０～Ｓ７５と同様の方法が用いられる。ただし、ステップＳ６２に相当する処理は行われない。
【0225】
（Ｓ８３）乗降者カウント部１２９は、ステップＳ８２で検出された乗車点の個数から降車点の個数を引くことで、乗車人数を算出する。
（Ｓ８４）乗降者カウント部１２９は、降車口の範囲で軌跡と交差する降車点および乗車点を検出する。降車点および乗車点の検出には、ステップＳ６０～Ｓ７５と同様の方法が用いられる。ただし、ステップＳ６２に相当する処理は行われない。
（Ｓ８４）乗降者カウント部１２９は、降車口の範囲で軌跡と交差する降車点および乗車点を検出する。降車点および乗車点の検出には、ステップＳ６０～Ｓ７５と同様の方法が用いられる。ただし、ステップＳ６２に相当する処理は行われない。
【0226】
（Ｓ８５）乗降者カウント部１２９は、ステップＳ８４で検出された降車点の個数から乗車点の個数を引くことで、降車人数を算出する。
（Ｓ８６）乗降者カウント部１２９は、検知モードが乗降（Both）モードであるか判断する。検知モードが乗降モードである場合はステップＳ８７に処理が進み、検知モードが乗降モードでない場合はステップＳ９１に処理が進む。
（Ｓ８６）乗降者カウント部１２９は、検知モードが乗降（Both）モードであるか判断する。検知モードが乗降モードである場合はステップＳ８７に処理が進み、検知モードが乗降モードでない場合はステップＳ９１に処理が進む。
【0227】
（Ｓ８７）乗降者カウント部１２９は、乗降口の範囲内の乗車点に対応する乗車時刻を特定し、点（乗車時刻，＋１）を生成する。また、乗降者カウント部１２９は、降車口の範囲内の降車点に対応する降車時刻を特定し、点（降車時刻，－１）を生成する。乗降者カウント部１２９は、生成された点を平面にプロットする。
【0228】
（Ｓ８８）乗降者カウント部１２９は、ステップＳ８７で生成された点の集合に対してステップ関数をフィッティングすることで、降車に関する点が密集する降車期間と、乗車に関する点が密集する乗車期間とを判定する。
【0229】
（Ｓ８９）乗降者カウント部１２９は、フィッティング精度が閾値を超えており、かつ、降車期間と乗車期間の間の乗降間隔が閾値を超えているか判断する。条件を満たす場合はステップＳ９１に処理が進み、条件を満たさない場合はステップＳ９０に処理が進む。
【0230】
（Ｓ９０）乗降者カウント部１２９は、検知モードを自動（Auto）モードと見なす。
（Ｓ９１）乗降者カウント部１２９は、検知モードに応じて、ステップＳ８３で算出された乗車人数およびＳ８５で算出された降車人数の一方を０に修正する。ただし、検知モードが乗降モードの場合は修正は不要である。
（Ｓ９１）乗降者カウント部１２９は、検知モードに応じて、ステップＳ８３で算出された乗車人数およびＳ８５で算出された降車人数の一方を０に修正する。ただし、検知モードが乗降モードの場合は修正は不要である。
【0231】
図３６は、カウント線ロジックの手順例を示すフローチャート（続き３）である。
（Ｓ９２）乗降者カウント部１２９は、乗車口を基準としてバス側にドア領域を生成する。また、乗降者カウント部１２９は、降車口を基準としてバス側にドア領域を生成する。なお、ここでは、設定により追加カウントが有効になっている場合を想定する。
（Ｓ９２）乗降者カウント部１２９は、乗車口を基準としてバス側にドア領域を生成する。また、乗降者カウント部１２９は、降車口を基準としてバス側にドア領域を生成する。なお、ここでは、設定により追加カウントが有効になっている場合を想定する。
【0232】
（Ｓ９３）乗降者カウント部１２９は、検出されている複数の軌跡の中から、始点または終点がドア領域内にある軌跡を検索する。
（Ｓ９４）乗降者カウント部１２９は、カウント線より下の点を含む軌跡を除外する。
（Ｓ９４）乗降者カウント部１２９は、カウント線より下の点を含む軌跡を除外する。
【0233】
（Ｓ９５）乗降者カウント部１２９は、長さが閾値を超える軌跡を除外する。
（Ｓ９６）乗降者カウント部１２９は、Ｘ座標が最も小さい左端点が始点でも終点でもない軌跡を除外する。また、乗降者カウント部１２９は、Ｘ座標が最も大きい右端点が始点でも終点でもない軌跡を除外する。
（Ｓ９６）乗降者カウント部１２９は、Ｘ座標が最も小さい左端点が始点でも終点でもない軌跡を除外する。また、乗降者カウント部１２９は、Ｘ座標が最も大きい右端点が始点でも終点でもない軌跡を除外する。
【0234】
（Ｓ９７）乗降者カウント部１２９は、Ｙ座標が最も小さい上端点が始点でも終点でもない軌跡を除外する。また、乗降者カウント部１２９は、Ｙ座標が最も大きい下端点が始点でも終点でもない軌跡を除外する。
【0235】
（Ｓ９８）乗降者カウント部１２９は、残った軌跡それぞれの乗降方向を判定する。例えば、乗降者カウント部１２９は、軌跡の始点から終点に向かうベクトルとカウント線のベクトルとの外積を算出し、外積の正負に基づいて乗降方向を判定する。
【0236】
（Ｓ９９）乗降者カウント部１２９は、乗車方向の軌跡の個数から降車方向の軌跡の個数を引いた追加乗車人数を算出する。追加乗車人数は、負になることもある。
（Ｓ１００）乗降者カウント部１２９は、ステップＳ９１の修正後の乗車人数が正であり、かつ、追加乗車人数が正であるか判断する。条件を満たす場合はステップＳ１０１に処理が進み、条件を満たさない場合はステップＳ１０２に処理が進む。
（Ｓ１００）乗降者カウント部１２９は、ステップＳ９１の修正後の乗車人数が正であり、かつ、追加乗車人数が正であるか判断する。条件を満たす場合はステップＳ１０１に処理が進み、条件を満たさない場合はステップＳ１０２に処理が進む。
【0237】
（Ｓ１０１）乗降者カウント部１２９は、乗車人数に追加乗車人数を加算する。そして、処理が終了する。
（Ｓ１０２）乗降者カウント部１２９は、ステップＳ９１の修正後の降車人数が正であり、かつ、追加乗車人数が負であるか判断する。条件を満たす場合はステップＳ１０３に処理が進み、条件を満たさない場合は処理が終了する。
（Ｓ１０２）乗降者カウント部１２９は、ステップＳ９１の修正後の降車人数が正であり、かつ、追加乗車人数が負であるか判断する。条件を満たす場合はステップＳ１０３に処理が進み、条件を満たさない場合は処理が終了する。
【0238】
（Ｓ１０３）乗降者カウント部１２９は、降車人数に追加乗車人数の絶対値（追加乗車人数の正負を反転させた数）を加算する。
図３７は、周辺領域ロジックの手順例を示すフローチャートである。
図３７は、周辺領域ロジックの手順例を示すフローチャートである。
【0239】
（Ｓ１１０）乗降者カウント部１２９は、バス領域および設定された周辺領域の両方を通る軌跡を検索する。乗降者カウント部１２９は、検索された軌跡それぞれについて、バス領域および周辺領域を通る順序を判定する。
【0240】
（Ｓ１１１）乗降者カウント部１２９は、周辺領域からバス領域に移動する軌跡があるか判断する。該当する軌跡がある場合はステップＳ１１２に処理が進み、該当する軌跡がない場合はステップＳ１１４に処理が進む。
【0241】
（Ｓ１１２）乗降者カウント部１２９は、ステップＳ１１１に該当する軌跡のうち、始点が周辺領域の外であるか、終点がバス領域の外である軌跡を除外する。
（Ｓ１１３）乗降者カウント部１２９は、残った軌跡の数だけカウントを増やす。
（Ｓ１１３）乗降者カウント部１２９は、残った軌跡の数だけカウントを増やす。
【0242】
（Ｓ１１４）乗降者カウント部１２９は、バス領域から周辺領域に移動する軌跡があるか判断する。該当する軌跡がある場合はステップＳ１１５に処理が進み、該当する軌跡がない場合はステップＳ１１７に処理が進む。
【0243】
（Ｓ１１５）乗降者カウント部１２９は、ステップＳ１１４に該当する軌跡のうち、始点がバス領域の外であるか、終点が周辺領域の外である軌跡を除外する。
（Ｓ１１６）乗降者カウント部１２９は、残った軌跡の数だけカウントを減らす。
（Ｓ１１６）乗降者カウント部１２９は、残った軌跡の数だけカウントを減らす。
【0244】
（Ｓ１１７）乗降者カウント部１２９は、カウントが正である場合、カウントを乗車人数とし、降車人数を０にする。乗降者カウント部１２９は、カウントが負である場合、カウントの絶対値を降車人数とし、乗車人数を０にする。
【0245】
（Ｓ１１８）乗降者カウント部１２９は、検知モードに応じて、ステップＳ１１７で算出された乗車人数および降車人数の一方を０に修正する。ただし、検知モードが自動モードまたは乗降モードの場合は修正は不要である。
【0246】
以上説明したように、第３の実施の形態の情報処理装置１００は、バス停に設定されたカメラの画像データを分析して、バス毎の乗車人数および降車人数を推定する。これにより、バス停の管理に有用な情報がリアルタイムに生成される。
【0247】
また、情報処理装置１００は、バスの近くに設定されるカウント線と人の移動経路を示す軌跡との交点から、乗車人数および降車人数を算出する。これにより、高いカウント精度が達成される。また、カウント線を軌跡が跨ぐ方向に基づいて乗車者と降車者とが区別され、乗車人数と降車人数とが分けて算出される。また、情報処理装置１００は、複数の人の軌跡からバスの乗車口および降車口を推定し、乗車口および降車口の範囲内でカウント線と交差する軌跡をカウントする。これにより、乗降以外の理由でカウント線を跨ぐ人を誤ってカウントすることが抑制され、カウント精度が向上する。
【0248】
また、情報処理装置１００は、カウント線ロジックとは別に、バス領域とバスから離れた周辺領域との両方を通る軌跡を検出して、乗車人数および降車人数を算出する。これにより、情報処理装置１００は、乗降口周辺における人の軌跡の検出精度が低い場合であっても、乗車人数および降車人数を算出することができる。
【0249】
また、情報処理装置１００は、カウント線ロジックと周辺領域ロジックとを併用し、乗車人数として算出された２以上の推定値のうちの最大値と、降車人数として算出された２以上の推定値のうちの最大値とを採用する。これにより、２つのロジックの長所が活用され、カウント漏れが抑制される。
【符号の説明】
【0250】
１０，２０ 情報処理装置
１１，２１ 記憶部
１２，２２ 処理部
１３，２３ 画像データ
１４ａ，１４ｂ，１４ｃ，２４ａ，２４ｂ，２４ｃ 軌跡
１５ カウント線
１６ 範囲
２５ 周辺領域
２６ 車両領域
１１，２１ 記憶部
１２，２２ 処理部
１３，２３ 画像データ
１４ａ，１４ｂ，１４ｃ，２４ａ，２４ｂ，２４ｃ 軌跡
１５ カウント線
１６ 範囲
２５ 周辺領域
２６ 車両領域
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】
【図35】
【図36】
【図37】