IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ セーフィー株式会社の特許一覧

特許7516644情報処理システム、情報処理方法及びプログラム
<>
  • 特許-情報処理システム、情報処理方法及びプログラム 図1
  • 特許-情報処理システム、情報処理方法及びプログラム 図2
  • 特許-情報処理システム、情報処理方法及びプログラム 図3
  • 特許-情報処理システム、情報処理方法及びプログラム 図4
  • 特許-情報処理システム、情報処理方法及びプログラム 図5
  • 特許-情報処理システム、情報処理方法及びプログラム 図6
  • 特許-情報処理システム、情報処理方法及びプログラム 図7
  • 特許-情報処理システム、情報処理方法及びプログラム 図8
  • 特許-情報処理システム、情報処理方法及びプログラム 図9
  • 特許-情報処理システム、情報処理方法及びプログラム 図10
  • 特許-情報処理システム、情報処理方法及びプログラム 図11
  • 特許-情報処理システム、情報処理方法及びプログラム 図12
  • 特許-情報処理システム、情報処理方法及びプログラム 図13
  • 特許-情報処理システム、情報処理方法及びプログラム 図14
  • 特許-情報処理システム、情報処理方法及びプログラム 図15
  • 特許-情報処理システム、情報処理方法及びプログラム 図16
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2024-07-05
(45)【発行日】2024-07-16
(54)【発明の名称】情報処理システム、情報処理方法及びプログラム
(51)【国際特許分類】
   G08G 1/01 20060101AFI20240708BHJP
   H04N 7/18 20060101ALI20240708BHJP
【FI】
G08G1/01 C
H04N7/18 D
【請求項の数】 16
(21)【出願番号】P 2023209725
(22)【出願日】2023-12-12
【審査請求日】2023-12-14
【早期審査対象出願】
(73)【特許権者】
【識別番号】515029558
【氏名又は名称】セーフィー株式会社
(74)【代理人】
【識別番号】110002789
【氏名又は名称】弁理士法人IPX
(72)【発明者】
【氏名】菅原 宏明
(72)【発明者】
【氏名】今田 大聖
(72)【発明者】
【氏名】玉▲崎▼ あかね
(72)【発明者】
【氏名】澁谷 海
【審査官】佐藤 吉信
(56)【参考文献】
【文献】特開2010-282390(JP,A)
【文献】特開2001-155291(JP,A)
【文献】特開2020-038486(JP,A)
【文献】特開2014-052860(JP,A)
【文献】特開2008-299799(JP,A)
【文献】特開2012-084024(JP,A)
【文献】特開2014-052861(JP,A)
【文献】特開2019-207651(JP,A)
【文献】特開2021-082116(JP,A)
【文献】特開2023-002274(JP,A)
【文献】特開2023-032438(JP,A)
【文献】特開2023-147828(JP,A)
【文献】韓国公開特許第10-2009-0130977(KR,A)
【文献】国際公開第2020/189475(WO,A1)
【文献】ICT・AIの活用について,日本,国土交通省,2022年04月23日,1,4-7頁,https://www.kkr.mlit.go.jp/kyoto/project/kyougikaiiinkai/jyutaitaisaku/clscsr00000025ck-att/r03_con01_02.pdf
(58)【調査した分野】(Int.Cl.,DB名)
G08G 1/00-99/00
H04N 7/18
(57)【特許請求の範囲】
【請求項1】
動画を解析する情報処理システムであって、
前記動画における複数の検知エリアを設定し、
前記複数の検知エリアの中から第1の検知エリア及び第2の検知エリアを選択し、
前記第1の検知エリアから前記第2の検知エリアへ移動したオブジェクトの数に対応する第1の数、及び前記第2の検知エリアから前記第1の検知エリアへ移動したオブジェクトの数に対応する第2の数をカウントし
第1の数と、前記第1の検知エリアから前記第2の検知エリアへの移動を示す第1の情報と対応付けて表示前記第2の数と、前記第2の検知エリアから前記第1の検知エリアへの移動を示す第2の情報とを対応付けて表示する、
情報処理システム。
【請求項2】
請求項1に記載の情報処理システムにおいて、
前記検知エリアを設定するための指示をユーザーから受け付ける、
情報処理システム。
【請求項3】
請求項1に記載の情報処理システムにおいて、
前記第1の検知エリア及び前記第2の検知エリアを自動的に選択する、
情報処理システム。
【請求項4】
請求項1に記載の情報処理システムにおいて、
前記第1の検知エリア及び前記第2の検知エリアを選択するための指示をユーザーから受け付ける、
情報処理システム。
【請求項5】
請求項2に記載の情報処理システムにおいて、
前記動画を再生しながら、前記指示を受け付ける、
情報処理システム。
【請求項6】
請求項5に記載の情報処理システムにおいて、
前記動画に含まれるオブジェクトを検出し、
前記動画を再生する際に、前記オブジェクトと共に前記オブジェクトを検出したことを示す情報を表示する、
情報処理システム。
【請求項7】
請求項1に記載の情報処理システムにおいて、
前記動画を選択するための指示をユーザーから受け付ける、
情報処理システム。
【請求項8】
請求項7に記載の情報処理システムにおいて、
撮影装置を選択するための指示をユーザーから受け付け、
前記撮影装置で撮影された複数の動画の中から、前記動画を選択可能にする、
情報処理システム。
【請求項9】
請求項1に記載の情報処理システムにおいて、
前記オブジェクトの前記検知エリア内における滞在時間を示す情報を表示する、
情報処理システム。
【請求項10】
請求項9に記載の情報処理システムにおいて、
前記滞在時間が閾値以上である場合、前記情報を強調表示する、
情報処理システム。
【請求項11】
請求項1に記載の情報処理システムにおいて、
前記オブジェクトは車両である、
情報処理システム。
【請求項12】
動画を解析する情報処理システムであって、
前記動画における複数の検知ラインを設定し、
前記複数の検知ラインの中から第1の検知ラインと第2の検知ラインを選択し、
前記第1の検知ラインから前記第2の検知ラインへ移動したオブジェクトの数に対応する第1の数、及び前記第2の検知ラインから前記第1の検知ラインへ移動したオブジェクトの数に対応する第2の数をカウントし
第1の数と、前記第1の検知ラインから前記第2の検知ラインへの移動を示す情報と対応付けて表示前記第2の数と、前記第2の検知ラインから前記第1の検知ラインへの移動を示す第2の情報とを対応付けて表示する、
情報処理システム。
【請求項13】
動画を解析する情報処理システムであって、
前記動画におけるオブジェクトの移動に対応する複数の第1の跡を表示し、前記第1の軌跡のうち同じ軌跡と見なせるものをまとめて第2の軌跡として表示し、
少なくとも前記第2の軌跡を含む複数の軌跡の中から検知基準とすべき第3の軌跡を選択し、
前記第3の軌跡に沿って移動したオブジェクトの数をカウントし、
前記オブジェクトの数を前記第3の軌跡を示す情報と対応付けて表示する、
情報処理システム。
【請求項14】
請求項13に記載の情報処理システムにおいて、
前記第2の軌跡を、前記第1の軌跡と識別可能な態様で表示する、
情報処理システム
【請求項15】
動画を解析する情報処理システムが実行する情報処理方法であって、
前記動画における複数の検知エリアを設定し、
前記複数の検知エリアの中から第1の検知エリア及び第2の検知エリアを選択し、
前記第1の検知エリアから前記第2の検知エリアへ移動したオブジェクトの数に対応する第1の数、及び前記第2の検知エリアから前記第1の検知エリアへ移動したオブジェクトの数に対応する第2の数をカウントし、
前記第1の数と、前記第1の検知エリアから前記第2の検知エリアへの移動を示す第1の情報と対応付けて表示前記第2の数と、前記第2の検知エリアから前記第1の検知エリアへの移動を示す第2の情報とを対応付けて表示する、
情報処理方法。
【請求項16】
プログラムであって、
コンピュータを、
請求項1から請求項1までの何れか1項に記載の情報処理システムとして機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理システム、情報処理方法及びプログラムに関する。
【背景技術】
【0002】
特許文献1には撮像画像に通過線を設定し、通過線を跨いだ車両の台数を計測すると共に、通過線を跨いだ車両の車種を推定し、車種別の交通量を計測する装置が開示されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特許第6891253号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1に記載の装置では動画に含まれる複数の検知エリアに関してどの検知エリアからどの検知エリアへ動画に含まれるオブジェクトが移動したのかを把握することはできない問題があった。
【課題を解決するための手段】
【0005】
本発明の一態様によれば、動画を解析する情報処理システムが提供される。この情報処理システムは、動画における複数の検知エリアを設定する。複数の検知エリアの中から第1の検知エリア及び第2の検知エリアを選択する。第1の検知エリアから第2の検知エリアへ移動したオブジェクトの数をカウントする。オブジェクトの数を第1の検知エリア及び第2の検知エリアを示す情報と対応付けて表示する。
【図面の簡単な説明】
【0006】
図1図1は、情報処理システムのシステム構成の一例を示す図である。
図2図2は、サーバー装置のハードウェア構成の一例を示す図である。
図3図3は、クライアント装置のハードウェア構成の一例を示す図である。
図4図4は、情報処理システムにおける情報処理の一例を示すシーケンス図である。
図5図5は、クライアント装置に表示された交通量調査画面の一例を示す図である。
図6図6は、カメラ選択領域の詳細を説明するための図である。
図7図7は、動画選択領域の詳細を説明するための図である。
図8図8は、検知エリア選択領域の詳細を説明するための図である。
図9図9は、表示領域の詳細を説明するための図である。
図10図10は、解析領域の詳細を説明するための図である。
図11図11は、解析動画の一例を示す図である。
図12図12は、解析領域の一例を示す図である。
図13図13は、結果表示領域に表示された解析結果を示す図(その1)である。
図14図14は、結果表示領域に表示された解析結果を示す図(その2)である。
図15図15は、結果表示領域に表示された解析結果を示す図(その3)である。
図16図16は、軌跡情報が表示された動画の一例を示す図である。
【発明を実施するための形態】
【0007】
以下、図面を用いて実施形態について説明する。以下に示す実施形態(以下に示す変形例も含む。以下において同様である。)中で示した各種特徴事項は、互いに組み合わせ可能である。
【0008】
明細書において「部」とは、例えば、広義の回路によって実施されるハードウェア資源と、これらのハードウェア資源によって具体的に実現されうるソフトウェアの情報処理とを合わせたものも含みうる。また、実施形態1においては様々な情報を取り扱うが、これら情報は、0又は1で構成される2進数のビット集合体として信号値の高低によって表されるか、信号値の物理的な数値によって表されるか、又は量子的な重ね合わせによって表されるかによらず、広義の回路上で通信・演算が実行されうる。
【0009】
また、広義の回路とは、回路(Circuit)、回路類(Circuitry)、プロセッサ(Processor)、及びメモリ(Memory)等を少なくとも適当に組み合わせることによって実現される回路である。すなわち、特定用途向け集積回路(Application Specific Integrated Circuit:ASIC)、プログラマブル論理デバイス(例えば、単純プログラマブル論理デバイス(Simple Programmable Logic Device:SPLD)、複合プログラマブル論理デバイス(Complex Programmable Logic Device:CPLD)、及びフィールドプログラマブルゲートアレイ(Field Programmable Gate Array:FPGA))等を含むものである。
【0010】
また、実施形態中に登場するソフトウェアを実現するためのプログラムは、サーバーからダウンロード可能な態様で実施してもよいし、クラウドコンピュータ上でプログラムの実行がなされてもよいし、不揮発性又は揮発性の非一時的な記憶媒体に記憶させて頒布されてもよい。
【0011】
<実施形態1>
1.システム構成
図1は、情報処理システム1000のシステム構成の一例を示す図である。図1に示されるように、情報処理システム1000は、システム構成として、サーバー装置100と、クライアント装置110と、カメラ120と、を含む。サーバー装置100と、クライアント装置110と、カメラ120と、はネットワーク150を介して通信可能に接続されている。なお、サーバー装置100はクラウドシステムで実現されてもよい。カメラ120は、撮影装置の一例である。
【0012】
クライアント装置110は、サーバー装置100にアクセスし、後述する画面等を表示部に表示させ、クライアント装置110の操作者(以下、単に操作者という)の操作に応じて、例えば、動画に含まれるオブジェクトをカウントする。カメラ120は、例えばネットワークカメラであって、道路等を撮影し、撮影データ(動画)をサーバー装置100に送信する。サーバー装置100は、カメラ120から送信された撮影データを所定の記憶領域に記憶したり、クライアント装置110からの要求に応じて画面をクライアント装置110に表示させたりする。より具体的には、サーバー装置100は、以下に示す実施形態の処理を実行する。図1では簡略化のためカメラ120は1台しか図示していないが、情報処理システム1000には複数のカメラ120が含まれてもよい。但し、以下では説明の簡略化のため、1台のカメラ120を例に説明を行う。同様に、図1では簡略化のためクライアント装置110は1台しか図示していないが、情報処理システム1000には複数のクライアント装置110が含まれてもよい。但し、以下では説明の簡略化のため、1台のクライアント装置110を例に説明を行う。
【0013】
また、図1では、クライアント装置110の例としてPC(Personal Computer)を示しているが、PCに限定されるものではなく、タブレット型コンピュータ等であってもよい。クライアント装置110は、後述する画面を表示したり、画面を介して入力を受け付けたりすることができればどのようなものであってもよい。但し、以下では説明の簡略化のため、クライアント装置110としてPCを例に説明を行う。
【0014】
ここで、特許請求の範囲に記載の情報処理システムは、複数の装置で構成されてもよいし、一つの装置で構成されてもよい。特許請求の範囲に記載の情報処理システムが一つの装置で構成される場合、その装置の一例はサーバー装置100である。特許請求の範囲に記載の情報処理システムが複数の装置で構成される場合、複数の装置の一例は、サーバー装置100及びクライアント装置110、又はサーバー装置100の機能を提供するクラウドシステムである。クラウドシステムは、例えば複数のサーバー装置から構成される。
【0015】
2.ハードウェア構成
(サーバー装置100のハードウェア構成)
図2は、サーバー装置100のハードウェア構成の一例を示す図である。サーバー装置100は、ハードウェア構成として、制御部210と、記憶部220と、通信部230と、を含む。
【0016】
制御部210は、CPU(Central Processing Unit)等であって、サーバー装置100の全体を制御する。
記憶部220は、HDD(Hard Disk Drive)、ROM(Read Only Memory)、RAM(Random Access Memory)、SSD(Solid State Drive)の何れか、又はこれらの任意の組み合わせであって、プログラム及び制御部210がプログラムに基づき処理を実行する際に利用するデータ(例えば、撮影データ、学習済みモデル)等を記憶する。制御部210が、記憶部220に記憶されているプログラムに基づき、処理を実行することによって、後述する図4に示されるシーケンス図のサーバー装置100の処理及びサーバー装置100の機能が実現される。記憶部220は、記憶媒体の一例である。なお、実施形態1では制御部210がプログラムに基づき処理を実行する際に利用するデータは記憶部220に記憶されるものとして説明するが、サーバー装置100と通信可能な他の装置の記憶部等に記憶されていてもよい。すなわち、データは、制御部210が参照可能であればどの装置の記憶部に記憶されていてもよい。
通信部230は、NIC(Network Interface Card)等であって、サーバー装置100をネットワーク150に接続し、他の装置との通信を司る。
【0017】
(クライアント装置110のハードウェア構成)
図3は、クライアント装置110のハードウェア構成の一例を示す図である。クライアント装置110は、ハードウェア構成として、制御部310と、記憶部320と、入力部330と、出力部340と、通信部350と、を含む。
【0018】
制御部310は、CPU等であって、クライアント装置110の全体を制御する。
記憶部320は、HDD、ROM、RAM、SSDの何れか、又はこれらの任意の組み合わせであって、プログラム、制御部310がプログラムに基づき処理を実行する際に利用するデータ等を記憶させる。制御部310が、記憶部320に記憶されているプログラムに基づき、処理を実行することによって、クライアント装置110の機能等が実現される。
入力部330は、キーボード及びマウス等であって、操作者の操作に基づき操作情報等を入力する。
出力部340は、ディスプレイ等であって入力部330によって入力された情報を出力したり、制御部310の処理の結果等を出力したりする。
通信部350は、クライアント装置110をネットワーク150に接続し、他の装置との通信を司る。
【0019】
3.情報処理
以下、実施形態1に係る情報処理を説明する。
(処理の概要)
サーバー装置100の制御部210は、動画に含まれる1以上のオブジェクトを検知する。制御部210は、動画に関する複数の検知エリアの選択を受け付ける。制御部210は、動画に基づき1以上のオブジェクトの複数の検知エリアに関する動きを解析する。制御部210は、解析の結果が表示されるよう制御する。解析の結果には、1以上のオブジェクトが複数の検知エリアのうちどの検知エリアからどの検知エリアへ移動したかの情報が含まれる。
このような構成によれば、動画に含まれる複数の検知エリアに関してどの検知エリアからどの検知エリアへ動画に含まれるオブジェクトが移動したのかを把握することができる。
なお、オブジェクトとの例としては乗り物がある。乗り物とは、人を乗せて移動可能なものをいう。乗り物には、例えば、トラック、バス、車、バイク等の車両が含まれる。実施形態1では、オブジェクトの例として車両を例に説明を行う。
【0020】
(処理の詳細)
図4は、情報処理システム1000における情報処理の一例を示すシーケンス図である。
シーケンスSQ401において、所定の位置に設置されたカメラ120は、撮影範囲に含まれる道路等を撮影する。
シーケンスSQ402において、カメラ120は、撮影した撮影データをサーバー装置100に送信する。
カメラ120は、常時、シーケンスSQ401及びシーケンスSQ402の処理を繰り返す。なお、カメラ120は、設定された時間情報に基づき、時間情報で示される時間、シーケンスSQ401及びシーケンスSQ402の処理を繰り返すようにしてもよい。その場合、時間情報としては、例えば、6:00~18:00、8:00~12:00等である。時間情報は、サーバー装置100を介してクライアント装置110より設定することもできる。
【0021】
撮影データをカメラ120より受信すると、シーケンスSQ403において、サーバー装置100の制御部210は、受信した撮影データを記憶部220等に記憶させる。
【0022】
シーケンスSQ404において、制御部210は、クライアント装置110からの交通量調査画面の表示要求に基づいて、交通量調査画面をクライアント装置110に送信する。
交通量調査画面をサーバー装置100より受信すると、シーケンスSQ405において、制御部310は、受信した交通量調査画面を出力部340等に表示させる。
【0023】
実施形態1では、サーバー装置100が画面を生成し、クライアント装置110に送信する。そして、クライアント装置110が受信した画面を表示するものとして説明を行う。ただし、他の例として、サーバー装置100が画面の生成に必要なデータをクライアント装置110に送信する。そして、クライアント装置110が受信したデータに基づき画面を生成し、表示するようにしてもよい。この様な処理の場合も、画面に必要なデータをクライアント装置110に送信する処理は、画面の表示制御の処理の一例である。
【0024】
図5は、クライアント装置110に表示された交通量調査画面500の一例を示す図である。図5に示されるように、交通量調査画面500には、カメラ選択領域510と、動画選択領域520と、検知エリア選択領域530と、解析領域540と、結果表示領域550と、が含まれる。カメラ選択領域510は、カメラ120を選択する領域である。動画選択領域520は、動画を選択する領域である。検知エリア選択領域530は、検知エリアを選択する領域である。解析領域540は、解析の指示を入力等する領域である。結果表示領域550は、解析の結果等が表示される領域である。各領域の詳細は、後述する図6図16等を用いて説明する。なお、後述する画面の表示、遷移等は制御部210が行う。
【0025】
図6は、カメラ選択領域510の詳細を説明するための図である。カメラ選択領域510においてボタン610が選択されると、制御部210は、情報処理システム1000に含まれるカメラの一覧を選択可能に表示する。操作者は、表示されたカメラの一覧から所望のカメラを選択することができる。図6の例ではカメラAが選択されている。ボタン620が選択されると、制御部210は、プルダウンメニュー630が表示されるよう制御する。操作者はプルダウンメニュー630に含まれるカメラに関する処理の一覧から所望の処理を選択することができる。処理の一覧には、カメラを追加する、カメラの名前を変更する、カメラを削除する、カメラ一覧を更新する等が含まれる。プルダウンメニュー630から「カメラの名前を変更する」が選択されると、制御部210は、ポップアップウィンドウ640を表示させる。操作者は、ポップアップウィンドウ640において、新しいカメラ名を入力することができる。
【0026】
カメラ選択領域510においてカメラが選択されると、シーケンスSQ406において、選択されたカメラを識別する識別情報がクライアント装置110からサーバー装置100に送信される。カメラの識別情報を受け取ると、制御部210は、カメラの識別情報で識別されるカメラで撮影された撮影データを動画選択領域520において選択可能に表示する。これらの処理は、画面を介して撮影装置の選択を受け付ける。そして選択された撮影装置で撮影された動画を、画面を介して選択可能にする処理の一例である。
【0027】
図7は、動画選択領域520の詳細を説明するための図である。動画情報一覧710には、カメラ選択領域510で選択されたカメラの撮影データの一覧が表示される。カメラの撮影データはサーバー装置100の記憶部220等に記憶されているので、制御部210は、選択されたカメラの撮影データの一覧を動画情報一覧710に表示させるよう制御する。これら撮影データは、例えばビューアのムービークリップ機能等を用いて、カメラにより撮影された映像の中から一部時間帯の映像を切り出すことにより作成可能である。なお、図7の例では、1つの撮影データのみが動画情報一覧710に表示されているが、複数の撮影データが存在する場合には当然それらが表示される。操作者は動画情報一覧710から1つの撮影データを選択してもよいし、後述するようにクライアント装置110に保存されている撮影データ等をサーバー装置100にアップロードすることで撮影データを選択してもよい。アップロードボタン720が選択されると、制御部210は、プルダウンメニュー730が表示されるよう制御する。プルダウンメニュー730から「PCから動画ファイルを入れる」が選択されると、制御部210は、ポップアップウィンドウ740を表示させる。例えばクライアント装置110の記憶部320等に保存されている撮影データが選択され、ポップアップウィンドウ740の所定のエリアにドラッグアンドドロップで持ってこられたことを検知すると、制御部210は、撮影データをサーバー装置100にアップロードする。ただし、以下では説明の簡略化のため、操作者は動画情報一覧710から1つの撮影データを選択するものとして説明を行うが、複数の設営データが選択されてもよい。
【0028】
動画情報一覧710から1つの撮影データが選択されると、シーケンスSQ407において、選択された動画(撮影データ)を識別する識別情報がクライアント装置110からサーバー装置100に送信される。撮影データの識別情報を受け取ると、シーケンスSQ408において、制御部210は、識別情報で識別される撮影データから車両を検知し、検知した車両の動きを追跡する。例えば、制御部210は、撮影データを学習済みモデルに入力する。学習済みモデルは、撮影データを入力データ、撮影データに含まれる車両の検知結果、及び、検知した車両の動きを示す追跡データを出力データとして学習された学習済みモデルである。制御部210は、学習済みモデルより出力された検知結果及び追跡データを取得する。シーケンスSQ407の処理は、制御部210が画面を介して動画の選択を受け付ける処理の一例である。またシーケンスSQ408の処理は、選択された動画に含まれる1以上のオブジェクトを検知する処理の一例である。本実施形態において、オブジェクトとは、主に車両を例に説明するが、例えば人や動物等といった他の対象物であってもよい。
なお、車両を検知する他の例として、制御部210は、画像解析の技術を利用して時系列的に連続するフレーム画像より車両を抽出し、抽出した車両を追跡した結果を出力するようにしてもよい。
【0029】
図8は、検知エリア選択領域530の詳細を説明するための図である。ボタン810が選択されると、制御部210は、プルダウンメニュー820が表示されるよう制御する。操作者はプルダウンメニュー820に表示されているメニューから所望のメニューを選択する。例えば、「プリセットを編集する」が選択されると、制御部210は、表示領域830にカメラ120によって取得された静止画上にプリセットの検知エリアが重畳して表示されるよう制御する。プリセットの検知エリアとは、カメラごとに前もって設定された検知エリアのことである。
【0030】
図9は、表示領域830の詳細を説明するための図である。図9の例では、検知エリア910と、検知エリア920と、検知エリア930とがプリセットとして予め設定されているものとする。操作者は、入力部330等を操作して、表示領域830において新しい検知エリア(図9の例では検知エリア940)を設定することができる。複数の検知エリアのそれぞれは多角形のエリアである。多角形の作成は、例えばマウスで頂点に対応する位置をクリックしていき、最後の位置でダブルクリックする等の操作により行われる。なお、本実施形態において、検知エリア(2次元の領域)の代わりに検知ライン(1次元の線分)を採用し、同様の制御を行ってもよい。また、検知ラインを採用する際には、それに直行する2つの方向それぞれを例えばIN/OUT等として自動的に設定又はユーザーが任意に設定可能とし、それぞれの方向に通過した物体を分けてカウントしてもよい。その場合、後述する検知エリアのIN/OUTと同様に、制御部210は、この検知ラインのIN/OUTに係る制御を行ってもよい。
【0031】
表示領域830において新しい検知エリアが入力され、ボタン840が選択されると、シーケンスSQ409において、制御部210は、選択されたプリセットに新しく入力された検知エリアを上書き保存する処理を実行する。この処理は、画面を介して動画に関する複数の検知エリアの選択を受け付ける処理の一例である。
ボタン840が選択されると、制御部210は、ポップアップウィンドウ850が表示されるよう制御する。ポップアップウィンドウ850にはプリセットの検知エリアと共に、操作者が入力した検知エリアが表示される。操作者は、ポップアップウィンドウ850においてプリセット名等を変更することができる。ボタン860が選択されると、制御部210は、選択されたプリセットに新しく入力された検知エリア上書きしたものを新しいプリセットとして記憶部220等にデータを保存する。なお、プリセットを複数併存させ、後でそれらを一覧表示したうえでその中から所望のものを選択可能としてもよい。
【0032】
なお、プリセットに新たな検知エリアを追加する例を用いて説明を行ったが、操作者はプリセットを編集するのではなく、表示領域830に表示された静止画像に対して、新たに複数の検知エリアを設定し、例えば新しいプリセットとして登録するよう操作してもよい。これらの操作を受け付けると、制御部210は、新たに設定された複数の検知エリアをプリセットとして記憶部220等に登録する。
【0033】
また他の例として、制御部210は、検知エリア選択領域530の表示領域830にカメラ120によって取得された動画を再生させるようにしてもよい。そして、制御部210は、再生されている動画上において複数の検知エリアの選択を受け付けるようにしてもよい。これらの処理は、画面において動画を再生させ、再生されている動画上において複数の検知エリアの選択を受け付ける処理の一例である。このような構成とすることによって、操作者は、実際の車両の動きを見ながら確認したい領域を検知エリアとして選択することができる。
なお、画像解析等により検知エリアに相応しい候補を表示し、その中から所望の検知エリアを選択可能としてもよい。その候補は、例えば横断歩道や一時停止線に対応する画像の部分等とすればよい。
【0034】
図10は、解析領域540の詳細を説明するための図である。解析領域540には、ボタン1010と、ボタン1020と、が含まれる。ボタン1010は、撮影データに含まれる車両のカウント等の開始を指示する際に選択されるボタンである。ボタン1020は、撮影データに基づく解析動画の生成等の開始を指示する際に選択されるボタンである。
【0035】
ボタン1010が選択されたことを検知すると、シーケンスSQ410において、制御部210は、撮影データとシーケンスSQ408の検知の結果と選択された複数の検知エリアとに基づき複数の検知エリアに関する車両の動きを解析する。検知エリアに関する動きとは、例えば、複数の検知エリアのうちどの検知エリアからどの検知エリアへ移動したか等の動き等がある。
例えば、制御部210は、撮影データと車両の検知の結果と選択された複数の検知エリアとを学習済みモデルに入力する。学習済みモデルは、撮影データと車両の検知の結果と選択された複数の検知エリアとを入力データ、複数の検知エリアに関する車両の動きに関する解析結果を出力データとして学習された学習済みモデルである。制御部210は、学習済みモデルから出力された解析結果を取得する。
ここで解析結果としては、車両がどの検知エリアからどの検知エリアへ移動したのかの情報、車両の種類の識別結果、所定時間ごとの撮影データに含まれる車両の種類の識別結果、検知された車両が入ったエリアの日時情報、エリアから出た日時情報、検知された車両の大きさを示す情報(例えば、後述するバウンディングボックスの大きさの情報)等が含まれる。
なお、解析の他の例として、制御部210は、画像解析の技術を利用して上述した解析結果を得るようにしてもよい。
【0036】
図10のボタン1020が選択されたことを検知すると、制御部210は、撮影データ等に基づき解析動画を生成し、交通量調査画面500の所定のエリア等に解析動画が表示されるよう制御する。
図11は、解析動画の一例を示す図である。解析動画では、シーケンスSQ408で検知された車両と車両が検知されたことを示す最小の境界矩形(例えば、図11のバウンディングボックス1120)が含まれている。また、解析動画では、検知された車両の中心点を示すオブジェクト(図11の例では丸で示されるオブジェクト1130)が含まれている。制御部210は、この車両の中心点が検知エリアに入った場合、車両が検知エリアに入ったと解析し、この車両の中心点が検知エリアから出た場合、車両が検知エリアから出たと解析する。
【0037】
図12は、解析領域540の一例を示す図である。制御部210の制御により解析領域540に処理の進行状況を示す情報が表示される。情報1210は、撮影データのアップロード状況を示す情報である。情報1210は0%から100%まで変化する。情報1220は、撮影データで示される映像内の車両検知の処理(シーケンスSQ408の処理)の進行状況を示す情報である。情報1220は0%から100%まで変化する。情報1230は、撮影データで示される映像内の車両カウントの処理(シーケンスSQ410の処理の一部)の進行状況を示す情報である。情報1230は、0%から100%まで変化する。情報1240は、解析動画の作成状況を示す情報である。情報1240は、0%から100%まで変化する。
【0038】
図4のシーケンスSQ411において、制御部210は、解析結果をクライアント装置110に送信する。
解析結果をサーバー装置100より受信すると、シーケンスSQ412において、制御部310は、解析結果を結果表示領域550に反映させた交通量調査画面を出力部340等に表示させる。
【0039】
図13は、結果表示領域550に表示された解析結果を示す図(その1)である。
図13では解析結果のサマリーが表示されている。
図13の結果表示領域550では、車両がどの検知エリアから(From)どの検知エリアへ(To)移動したのかの情報ごとに、車両の種類の識別結果等が表示されている。実施形態1の特徴の一つは、ここで検知エリアが複数設定されると、その中から2つを選択しFrom/Toとしてセットする工程を、全ての組み合わせパターンについて自動的に行う点である。なお、From/Toの組み合わせは、ユーザーにより任意に設定可能としてもよい。また、From/Toの組み合わせごとに、ルート名を自動的に設定、又はユーザーにより任意に設定可能としてもよい。
例えば、図13の1行目は検知エリア0から検知エリア1へ移動した車両として、トラックが4台、バスが0台、車が12台、バイクが2台、合計18台が存在することが示されている。
このような解析結果を確認することによって、操作者は、動画に含まれる複数の検知エリアに関してどの検知エリアからどの検知エリアへ動画に含まれる車両が移動したのか、移動した車両の種類、合計等をすぐに把握することができる。
図13では検知エリア(From)から検知エリア(To)へ移動したオブジェクトの数が検知エリア(From)及び検知エリア(To)を示す情報と対応付けて表示されている。
【0040】
図14は、結果表示領域550に表示された解析結果を示す図(その2)である。
図14では時間ごとの解析結果が表示されている。各列は、図13の経路それぞれについて、車両種別の結果を示している。例えば「0-1_TRUCK」という列は、From:0/To:1という経路を通過した、TRUCK(トラック)の車種について、車両数をカウントしたものである。図14の結果表示領域550では、時間ごとの解析結果が表示されている。なお、図14の例では1分ごとの解析結果が表示されているが、何分ごとの解析結果を表示するかは、操作者が画面を介して指定することができる。
【0041】
図15は、結果表示領域550に表示された解析結果を示す図(その3)である。
図15では撮影データから検知された車両の検知ログが表示されている。
検知ログには、タイムスタンプ(事象が生じた日時情報)、検知された車両を識別するID、車両のタイプ(トラックか、バスか、車か、バイクか等の車両の種別)、エリアに入ったのか、エリアから出たのかの情報(In、Out)、検知エリアを識別するエリア名等が含まれる。なお、事象とは、検知エリアに入ったこと、又は検知エリアから出たこと等である。
【0042】
ここで、制御部210は、検知ログに含まれるタイムスタンプ及びエリアに入ったのか、エリアから出たのかの情報に基づいて、車両が検知エリアに滞在した時間を求め、検知ログに含めるようにしてもよい。このようにすることによって、解析の結果には、1以上の車両が複数の検知エリア内にどれだけ滞在していたかを示す情報が含まれることになる。制御部210は、検知エリア内に滞在した時間が閾値以上の車両を抽出するようにしてもよい。そして、制御部210は、検知エリアに滞在している時間が閾値以上の車両が存在する場合、この車両の情報を強調表示するようにしてもよい。
【0043】
実施形態1の処理によれば、動画に含まれる複数の検知エリアに関してどの検知エリアからどの検知エリアへ動画に含まれるオブジェクトが移動したのかを把握することができる。また、検知エリアが選択される前に動画に含まれるオブジェクトを検知する処理を実行しておくことによって、検知エリアが選択されてから解析処理を実行し、解析結果を出力するまでの時間を短縮させることができる。すなわち、
【0044】
(変形例1)
実施形態1の変形例1を説明する。変形例1では、実施形態1の処理の一部の他の例を説明する。すなわち、変形例1は実施形態1に含まれるものであって、実施形態1と異なる実施形態ではない。
【0045】
変形例1の制御部210(以下、単に制御部210という)は、検知エリア選択領域530に例えば、動画1600に示されるような動画を表示するよう制御する。検知エリア選択領域530に表示される動画は、動画選択領域520において選択された動画である。制御部210は、シーケンスSQ408の処理で検知された1以上の車両の動きを示す軌跡情報を動画上に重畳して表示させるよう制御する。図16は、軌跡情報が表示された動画の一例を示す図である。図16の例では4本の軌跡情報(軌跡1~4)が表示されている。ここで、各軌跡は、例えば交差点において、ある車道/車線から、異なる車道/車線への車両の動きに対応したものである。ユーザビリティーの観点から、同じ軌跡と見なせるものは、まとめて1つの軌跡として表示した方がよい。このとき、同じ軌跡と見なした数が多いほど、例えば軌跡の幅をより太くしたり、軌跡の色をより目立つようにしたりすると、ユーザビリティーが向上する。なお、制御部210は、車両と軌跡情報とが交わる箇所では軌跡情報を車両の下に回り込ませて表示するよう制御するようにしてもよい。そして、ユーザーが軌跡1~4の候補の中から軌跡を選択すると(複数選択可)、その軌跡を解析に用いる基準として設定し、軌跡ごとに、その上をなぞる形で移動した(軌跡に対応する動きをした)と見なせる車両数をカウントし、出力する。なお、ある軌跡が選択されたら、その軌跡上の各進行方向(正/負)の両方を自動的に設定し、それぞれについて車両数を自動的に分けてカウントし、互いに識別可能に表示すればよい。又は、軌跡を選択した後に進行方向を更に選択可能としたり、軌跡の候補を進行方向ごとに分けて表示したうえで選択可能としたりして、軌跡と進行方向を個別に設定してもよい。カウントされた車両数の出力形態としては、例えば図13においてFrom/Toが軌跡名や進行方向に置き換わるイメージである。又は、From/Toと軌跡名や進行方向を併記してもよい。このとき、From/Toは、例えば選択された軌跡や進行方向に対応して交わる車道/車線の停止線付近や横断歩道付近のエリアを、映像解析等により自動的に設定すればよい。なお、実施形態1において、これとは逆の方法をもちいることにより、図13でFrom/Toと軌跡名や進行方向を併記してもよい。
【0046】
また、制御部210は、軌跡情報に基づき複数の検知エリアを自動で選択するようにしてもよい。このような処理によって、例えば、制御部210は、車両の軌跡情報が相対的に多い箇所の入口と出口とに検知エリアを自動で設定することができる。
【0047】
また、制御部210は、軌跡情報に基づき複数の検知エリアの候補を示す情報を動画に重畳して表示させるよう制御するようにしてもよい。このような処理によって、ユーザーは、車両の軌跡情報や候補としてサジェストされた複数の検知エリアの情報を確認しながら、複数の検知エリアを選択することができる。
【0048】
また、制御部210は、動画において複数のオブジェクトが移動した複数の軌跡を表示し、複数の軌跡の中から検知基準とすべき第1の軌跡を選択し、第1の軌跡に沿って移動したオブジェクトの数をカウントし、オブジェクトの数を第1の軌跡を示す情報と対応付けて表示するようにしてもよい。制御部210は、第1の軌跡を選択するための指示をユーザーから受け付ける。
【0049】
また、制御部210は、動画において複数のオブジェクトが移動した複数の軌跡を表示し、複数の軌跡の中から検知基準とすべき第1の軌跡を選択し、第1の軌跡に沿って移動したオブジェクトの数をカウントし、オブジェクトの数を第1の軌跡を示す情報と対応付けて表示するようにしてもよい。制御部210は、第1の軌跡を選択するための指示をユーザーから受け付ける。
【0050】
さらに、次に記載の各態様で提供されてもよい。
【0051】
(1)動画を解析する情報処理システムであって、前記動画における複数の検知エリアを設定し、前記複数の検知エリアの中から第1の検知エリア及び第2の検知エリアを選択し、前記第1の検知エリアから前記第2の検知エリアへ移動したオブジェクトの数をカウントし、前記オブジェクトの数を前記第1の検知エリア及び前記第2の検知エリアを示す情報と対応付けて表示する、情報処理システム。
【0052】
(2)上記(1)に記載の情報処理システムにおいて、前記検知エリアを設定するための指示をユーザーから受け付ける、情報処理システム。
【0053】
(3)上記(1)に記載の情報処理システムにおいて、前記第1の検知エリア及び前記第2の検知エリアを自動的に選択する、情報処理システム。
【0054】
(4)上記(1)に記載の情報処理システムにおいて、前記第1の検知エリア及び前記第2の検知エリアを選択するための指示をユーザーから受け付ける、情報処理システム。
【0055】
(5)上記(2)に記載の情報処理システムにおいて、前記動画を再生しながら、前記指示を受け付ける、情報処理システム。
【0056】
(6)上記(5)に記載の情報処理システムにおいて、前記動画に含まれるオブジェクトを検出し、前記動画を再生する際に、前記オブジェクトと共に前記オブジェクトを検出したことを示す情報を表示する、情報処理システム。
【0057】
(7)上記(1)に記載の情報処理システムにおいて、前記動画を選択するための指示をユーザーから受け付ける、情報処理システム。
【0058】
(8)上記(7)に記載の情報処理システムにおいて、撮影装置を選択するための指示をユーザーから受け付け、前記撮影装置で撮影された複数の動画の中から、前記動画を選択可能にする、情報処理システム。
【0059】
(9)上記(1)に記載の情報処理システムにおいて、前記オブジェクトの前記検知エリア内における滞在時間を示す情報を表示する、情報処理システム。
【0060】
(10)上記(9)に記載の情報処理システムにおいて、前記滞在時間が閾値以上である場合、前記情報を強調表示する、情報処理システム。
【0061】
(11)上記(1)から(10)までの何れか1つに記載の情報処理システムにおいて、前記オブジェクトは車両である、情報処理システム。
【0062】
(12)動画を解析する情報処理システムであって、前記動画における複数の検知ラインを設定し、前記複数の検知ラインの中から第1の検知ラインと第2の検知ラインを選択し、前記第1の検知ラインから前記第2の検知ラインへ移動したオブジェクトの数をカウントし、前記オブジェクトの数を前記第1の検知ライン及び前記第2の検知ラインを示す情報と対応付けて表示する、情報処理システム。
【0063】
(13)動画を解析する情報処理システムであって、前記動画において複数のオブジェクトが移動した複数の軌跡を表示し、前記複数の軌跡の中から検知基準とすべき第1の軌跡を選択し、前記第1の軌跡に沿って移動したオブジェクトの数をカウントし、前記オブジェクトの数を前記第1の軌跡を示す情報と対応付けて表示する、情報処理システム。
【0064】
(14)動画を解析する情報処理システムが実行する情報処理方法であって、前記動画における複数の検知エリアを設定し、前記複数の検知エリアの中から第1の検知エリア及び第2の検知エリアを選択し、前記第1の検知エリアから前記第2の検知エリアへ移動したオブジェクトの数をカウントし、前記オブジェクトの数を前記第1の検知エリア及び前記第2の検知エリアを示す情報と対応付けて表示する、情報処理方法。
【0065】
(15)プログラムであって、コンピュータを、上記(1)から(13)までの何れか1つに記載の情報処理システムとして機能させるためのプログラム。
もちろん、この限りではない。
【0066】
例えば、上述したサーバー装置100の処理の一部、又は全てをカメラ120で実行するようにしてもよい。
上述した実施形態及び変形例は任意に組み合わせて実施してもよい。
【0067】
最後に、本発明に係る種々の実施形態を説明したが、これらは、例として提示したものであり、発明の範囲を限定することは意図していない。新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。実施形態やその変形は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【0068】
100 :サーバー装置
110 :クライアント装置
120 :カメラ
150 :ネットワーク
210 :制御部
220 :記憶部
230 :通信部
310 :制御部
320 :記憶部
330 :入力部
340 :出力部
350 :通信部
500 :交通量調査画面
510 :カメラ選択領域
520 :動画選択領域
530 :検知エリア選択領域
540 :解析領域
550 :結果表示領域
610 :ボタン
620 :ボタン
630 :プルダウンメニュー
640 :ポップアップウィンドウ
710 :動画情報一覧
720 :アップロードボタン
730 :プルダウンメニュー
740 :ポップアップウィンドウ
810 :ボタン
820 :プルダウンメニュー
830 :表示領域
840 :ボタン
850 :ポップアップウィンドウ
860 :ボタン
910 :検知エリア
920 :検知エリア
930 :検知エリア
940 :検知エリア
1000 :情報処理システム
1010 :ボタン
1020 :ボタン
1120 :バウンディングボックス
1130 :オブジェクト
1210 :情報
1220 :情報
1230 :情報
1240 :情報
【要約】      (修正有)
【課題】動画を解析する情報処理システム、情報処理方法及びプログラムを提供する。
【解決手段】情報処理システム1000において、サーバ装置100は、所定の位置に設置されたカメラ120が撮影した動画における複数の検知エリアを設定し、複数の検知エリアの中から第1の検知エリア及び第2の検知エリアを選択する。第1の検知エリアから第2の検知エリアへ移動したオブジェクトの数をカウントする。オブジェクトの数を第1の検知エリア及び第2の検知エリアを示す情報と対応付けてクライアント装置110に表示させる。
【選択図】図1
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16