IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 日本電気株式会社の特許一覧

特許7444272画像処理システム、通信装置、方法、及びプログラム
<>
  • 特許-画像処理システム、通信装置、方法、及びプログラム 図1
  • 特許-画像処理システム、通信装置、方法、及びプログラム 図2
  • 特許-画像処理システム、通信装置、方法、及びプログラム 図3
  • 特許-画像処理システム、通信装置、方法、及びプログラム 図4
  • 特許-画像処理システム、通信装置、方法、及びプログラム 図5
  • 特許-画像処理システム、通信装置、方法、及びプログラム 図6
  • 特許-画像処理システム、通信装置、方法、及びプログラム 図7
  • 特許-画像処理システム、通信装置、方法、及びプログラム 図8
  • 特許-画像処理システム、通信装置、方法、及びプログラム 図9
  • 特許-画像処理システム、通信装置、方法、及びプログラム 図10
  • 特許-画像処理システム、通信装置、方法、及びプログラム 図11
  • 特許-画像処理システム、通信装置、方法、及びプログラム 図12
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-02-27
(45)【発行日】2024-03-06
(54)【発明の名称】画像処理システム、通信装置、方法、及びプログラム
(51)【国際特許分類】
   G08G 1/00 20060101AFI20240228BHJP
   G08G 1/127 20060101ALI20240228BHJP
   G07C 9/00 20200101ALI20240228BHJP
   H04N 7/18 20060101ALI20240228BHJP
【FI】
G08G1/00 D
G08G1/127 B
G07C9/00
H04N7/18 D
【請求項の数】 8
(21)【出願番号】P 2022553316
(86)(22)【出願日】2020-09-30
(86)【国際出願番号】 JP2020037192
(87)【国際公開番号】W WO2022070322
(87)【国際公開日】2022-04-07
【審査請求日】2023-03-13
(73)【特許権者】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100103894
【弁理士】
【氏名又は名称】家入 健
(72)【発明者】
【氏名】柳原 裕一
【審査官】藤村 泰智
(56)【参考文献】
【文献】特開2017-117194(JP,A)
【文献】特開2016-062414(JP,A)
【文献】特開2007-131382(JP,A)
【文献】特開2012-146022(JP,A)
【文献】特開2019-219899(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G08G 1/00 ~ 1/16
G07C 9/00
H04N 7/18
(57)【特許請求の範囲】
【請求項1】
映像に対して画像処理を行う1以上の画像処理装置と、
前記画像処理装置と通信を行う1以上の通信装置とを備え、
前記通信装置は、
移動体が所定の運行状況にあることを判定する運行状況判定手段と、
前記移動体が前記所定の運行状況にあると判定された場合、前記移動体に搭載された1以上のカメラの映像を、前記画像処理装置に送信する映像送信手段と
前記移動体の乗車率を取得する乗車率取得手段とを備え、
前記映像送信手段は、前記移動体が前記所定の運行状況にあると判定され、かつ前記乗車率が第1のしきい値以上の場合、前記1以上のカメラの映像を前記画像処理装置に送信し、
前記移動体には複数のカメラが搭載されており、
前記映像送信手段は、前記乗車率に応じて、前記複数のカメラで撮影された映像のうち、前記画像処理装置に送信する映像を決定する、画像処理システム。
【請求項2】
前記複数のカメラは、前記移動体の車室内を撮影する第1のカメラと、前記移動体の車室内を前記第1のカメラの撮影範囲より狭い範囲で撮影する第2のカメラとを含み、
前記映像送信手段は、前記乗車率が、前記第1のしきい値より大きい第2のしきい値以上の場合、前記第1のカメラ及び第2のカメラの映像を前記画像処理装置に送信する映像として決定し、前記乗車率が、前記第1のしきい値以上で、かつ第2のしきい値より低い場合、前記第1のカメラの映像を前記画像処理装置に送信する映像として決定する、請求項に記載の画像処理システム。
【請求項3】
複数の前記通信装置を有し、
前記複数の通信装置は、複数の前記移動体のそれぞれに搭載され、
前記複数の通信装置から送信された映像を、前記1以上の画像処理装置の何れかに割り当てる割当装置を更に有する、請求項1又は2に記載の画像処理システム。
【請求項4】
前記運行状況判定手段は、前記移動体に乗車している乗客に危険が生じ得る状況を、特定の運行状況として判定する請求項1から何れか1項に記載の画像処理システム。
【請求項5】
移動体が所定の運行状況にあることを判定する運行状況判定手段と、
前記移動体が前記所定の運行状況にあると判定された場合、前記移動体に搭載された1以上のカメラの映像を、映像に対して画像処理を行う画像処理装置に送信する映像送信手段と
前記移動体の乗車率を取得する乗車率取得手段とを備え、
前記映像送信手段は、前記移動体が前記所定の運行状況にあると判定され、かつ前記乗車率が第1のしきい値以上の場合、前記1以上のカメラの映像を前記画像処理装置に送信し、
前記移動体には複数のカメラが搭載されており、
前記映像送信手段は、前記乗車率に応じて、前記複数のカメラで撮影された映像のうち、前記画像処理装置に送信する映像を決定する、通信装置。
【請求項6】
複数のカメラが搭載される移動体が所定の運行状況にあることを判定し、
前記移動体の乗車率を取得し、
前記移動体が前記所定の運行状況にあると判定され、かつ前記乗車率が第1のしきい値以上の場合、前記乗車率に応じて、前記複数のカメラで撮影された映像のうち、画像処理装置に送信する映像を決定し、該決定された映像を前記画像処理装置に送信し、
前記画像処理装置において前記カメラの映像に対して画像処理を行う画像処理方法。
【請求項7】
複数のカメラが搭載される移動体が所定の運行状況にあることを判定し、
前記移動体の乗車率を取得し、
前記移動体が前記所定の運行状況にあると判定され、かつ前記乗車率が第1のしきい値以上の場合、前記乗車率に応じて、前記複数のカメラで撮影された映像のうち、映像に対して画像処理を行う1以上の画像処理装置に送信する映像を決定し、該決定された映像を前記画像処理装置に送信する通信方法。
【請求項8】
複数のカメラが搭載される移動体が所定の運行状況にあることを判定し、
前記移動体の乗車率を取得し、
前記移動体が前記所定の運行状況にあると判定され、かつ前記乗車率が第1のしきい値以上の場合、前記乗車率に応じて、前記複数のカメラで撮影された映像のうち、映像に対して画像処理を行う1以上の画像処理装置に送信する映像を決定し、該決定された映像を前記画像処理装置に送信する処理をプロセッサに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、画像処理システム、通信装置、画像処理方法、通信方法、及びコンピュータ可読媒体に関する。
【背景技術】
【0002】
一般に、バスなどの移動体では、乗客の安全を守ることが重要である。移動体において、運転手は、車内での転倒事故防止のため、乗客の状況を目視で確認している。しかしながら、目視による確認では限界がある。
【0003】
関連技術として、特許文献1は車両に設けられる安全走行システムを開示する。特許文献1に記載の安全走行システムにおいて、カメラは自動車やバスの車室内の映像を撮影する。安全性判定部は、カメラが撮影した画像に基づいて乗員の状態を検出し、乗員の衝撃に対する安全性を判定する。安全性判定部は、例えば、乗員全員が着座しており、かつシートベルトをしていない場合は安全性をレベル1と判定する。安全性判定部は、乗員の中に立っている人がいており、かつ人が固定具をつかんでいる場合は安全性をレベル2と判定する。安全性判定部は、乗員の中に立っている人がおり、かつ人が無防備な場合は安全性をレベル3と判定する。
【0004】
別の関連技術として、特許文献2は、エレベータの内部やバスの車室などの特定のエリアを監視する監視装置を開示する。特許文献2において、監視カメラは、特定のエリアを撮影する。映像送信装置は、監視カメラの映像を外部に送信する。監視装置は、監視カメラの映像に基づいて、特定エリア内に存在する人の数、及び人の位置の偏り度を算出する。監視装置は、算出した人数及び偏り度に基づいて、映像の記録密度、及び映像送信装置の通信頻度を調整する。
【0005】
具体的に、監視装置は、乗客の数が乗客の数が3名以上で、かつ乗客が特定の位置に集中している場合、危険な事象が発生する可能性が高い、別の言い方をすると重要度が高いと判定する。監視装置は、乗客が特定の位置に集中していない場合、危険な事象が発生する可能性が低い、別の言い方をすると重要度が低いと判定する。監視装置は、重要度が高いと判定した場合、画質及び送信頻度を「高レベル」に決定する。監視装置は、重要度が低いと判定した場合は、画質及び送信頻度を「低レベル」に決定する。
【0006】
更なる関連技術として、特許文献3は、車両用の画像処理装置を開示する。特許文献3に記載の画像処理装置は、複数のカメラに対応した複数のバッファを有する。複数のカメラは、例えば4台の近距離カメラと、2台の遠距離カメラとを含む。画像処理装置において、プロセッサは、単位時間当たりに所定数の画像データに対して画像処理を実行する。プロセッサは、車速が低速の場合、4台の近距離カメラに対応する4つのバッファを順次選択し、画像処理を行う。プロセッサは、速度がしきい値以上の場合、車両の前方を撮影する特定の近距離カメラに対応するバッファのみを選択し、画像処理を行う。
【先行技術文献】
【特許文献】
【0007】
【文献】特開2018-062197号公報
【文献】国際公開第2017/212568号
【文献】特開2020-64341号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
特許文献1では、安全性判定部を構成する画像処理装置が各車両に搭載される。一般に、画像解析には高性能な画像処理装置が要求され、そのような画像処理装置は高価である。特許文献1は、各車両に高価な画像処理装置を搭載する必要があるため、コストが高いという問題がある。また、特許文献1において、車両は、複数台のカメラを有し得る。その場合において、複数台のカメラに対応して複数の画像処理装置が車両に搭載される場合、コストは更に増大する。
【0009】
特許文献2に記載の監視装置は、重要度に応じて画質及び送信頻度を切り替えることで、外部に送信するデータの量を削減し、通信コストを下げることができる。しかしながら、監視装置がタクシーやバスなどの車両に用いられる場合、映像送信装置は、車両の走行中、映像データを常に外部装置に送信する。車両と外部装置との間の通信に無線通信網が用いられる場合、通信料は送信データ量の増加に伴って増加し、映像データが常に外部装置に送信される場合、コストが増大する。
【0010】
特許文献3に記載の画像処理装置は、複数のバッファを切り替えることで、複数カメラの映像を1つのプロセッサで処理することができる。しかしながら、画像処理装置において、複数カメラの映像を常にプロセッサで解析する場合、プロセッサには高い処理能力が求められる。特許文献3は、複数カメラの映像を複数のプロセッサで処理する場合に比べてコストを低減できるものの、コスト低減の効果は限定的である。
【0011】
本開示は、上記事情に鑑み、上記したコストの少なくとも一部を削減可能な画像処理システム、通信装置、画像処理方法、通信方法、及びコンピュータ可読媒体を提供することを目的とする。
【課題を解決するための手段】
【0012】
上記目的を達成するために、本開示は、第1の態様として、画像処理システムを提供する。画像処理システムは、映像に対して画像処理を行う1以上の画像処理装置と、前記画像処理装置と通信を行う1以上の通信装置とを備える。通信装置は、移動体が所定の運行状況にあることを判定する運行状況判定手段と、前記移動体が前記所定の運行状況にあると判定された場合、前記移動体に搭載された1以上のカメラの映像を、前記画像処理装置に送信する映像送信手段とを備える。
【0013】
本開示は、第2の態様として、通信装置を提供する。通信装置は、移動体が所定の運行状況にあることを判定する運行状況判定手段と、前記移動体が前記所定の運行状況にあると判定された場合、前記移動体に搭載された1以上のカメラの映像を、映像に対して画像処理を行う画像処理装置に送信する映像送信手段とを備える。
【0014】
本開示は、第3の態様として、画像処理方法を提供する。画像処理方法は、移動体が所定の運行状況にあることを判定し、前記移動体が前記所定の運行状況にあると判定された場合、前記移動体に搭載された1以上のカメラの映像を画像処理装置に送信し、前記画像処理装置において前記1以上のカメラの映像に対して画像処理を行うことを含む。
【0015】
本開示は、第4の態様として、通信方法を提供する。通信方法は、移動体が所定の運行状況にあることを判定し、前記移動体が前記所定の運行状況にあると判定された場合、前記移動体に搭載された1以上のカメラの映像を、映像に対して画像処理を行う1以上の画像処理装置に送信することを含む。
【0016】
本開示は、第5の態様として、コンピュータ可読媒体を提供する。コンピュータ可読媒体は、移動体が所定の運行状況にあることを判定し、前記移動体が前記所定の運行状況にあると判定された場合、前記移動体に搭載された1以上のカメラの映像を、映像に対して画像処理を行う1以上の画像処理装置に送信する処理をプロセッサに実行させるためのプログラムを格納する。
【発明の効果】
【0017】
本開示に係る画像処理システム、通信装置、画像処理方法、通信方法、及びコンピュータ可読媒体は、画像処理に要するコストを削減することができる。
【図面の簡単な説明】
【0018】
図1】本開示に係る画像処理システムを概略的に示すブロック図。
図2】本開示の第1実施形態に係る画像解析システムを示すブロック図。
図3】移動体の構成例を示すブロック図。
図4】画像解析装置の構成例を示すブロック図。
図5】移動体から取得される複数の映像と解析処理との関係を示す図。
図6】遠隔監視装置の構成例を示すブロック図。
図7】画像解析システムの動作手順を示すフローチャート。
図8】本開示の第2実施形態に係る画像解析システムを示すブロック図。
図9】移動体から取得される複数の映像と解析処理との関係を示す図。
図10】移動体から取得される複数の映像と解析処理との関係を示す図。
図11】マイクロコンピュータの構成例を示すブロック図。
図12】コンピュータ装置の構成例を示すブロック図。
【発明を実施するための形態】
【0019】
本開示の実施の形態の説明に先立って、本開示の概要を説明する。図1は、本開示に係る画像処理システムを概略的に示す。画像処理システム10は、通信装置20と画像処理装置30とを有する。画像処理装置30は、映像に対して画像処理を行う。通信装置20は、画像処理装置30と通信を行う。なお、図1には、通信装置20と画像処理装置30とが1つずつ図示されているが、画像処理システム10は、複数の通信装置20と、複数の画像処理装置30とを含み得る。
【0020】
通信装置20は、運行状況判定手段21と、映像送信手段22とを有する。運行状況判定手段21は、移動体の状況が所定の運行状況にあることを判定する。カメラ40は、移動体に搭載される。移動体には、複数のカメラ40が搭載され得る。映像送信手段22は、移動体の状況が所定の運行状況にあると判定された場合、カメラ40の映像を、画像処理装置30に送信する。画像処理装置30は、送信された映像に対して画像処理を行う。
【0021】
本開示では、映像送信手段22は、移動体の状況が所定の運行状況にあると判定された場合に、カメラ40の映像を画像処理装置30に送信する。本開示では、画像処理装置30は、所定の運行状況にある移動体から送信された、カメラ40の映像に対して、画像処理を行う。本開示では、常に画像処理装置30を使用せずに、特定の運行状況において、画像処理装置30を使用することができる。このようにすることで、画像処理装置30を効率的に使用することができ、常に画像処理装置30でカメラ40の映像を画像処理する場合に比べて、画像処理装置30の使用に関するコストを低減できる。
【0022】
以下、本開示の実施の形態を詳細に説明する。図2は、本開示の第1実施形態に係る画像解析システムを示す。画像解析システム100は、画像解析装置110、遠隔監視装置120、及び監視対象の1以上の移動体150を有する。移動体150は、ネットワーク130を介して、画像解析装置110、及び遠隔監視装置120に接続される。ネットワークは、例えば、LTE(Long Term Evolution)などの通信回線規格を用いたネットワークを含む。ネットワーク130は、WiFi(登録商標)又は第5世代移動通信システムなどの無線通信網を含んでいてもよい。画像解析システム100は、図1に示される画像処理システム10に対応する。
【0023】
移動体150は、例えばバス、又は列車などの乗客を乗せて走行する車両として構成される。移動体150は、移動体に搭載されるセンサの情報に基づいて自動運転(自律運転)が可能に構成されていてもよい。以下の説明では、主に移動体150が道路上の走行するバスである例が説明される。
【0024】
図3は、移動体150の構成を示す。移動体150は、通信装置200、及び、カメラ301-1から301-3を有する。カメラ301-1から301-3は、移動体150の内部を撮影するカメラである。カメラ301-1から301-3は、特に乗客が乗車するエリアを撮影する。カメラ301-1から301-3は、例えば車室内の相互に異なる部分を撮影する。例えば、カメラ(第1のカメラ)301-1は、車室内全体を撮影する。カメラ(第2のカメラ)301-2及びカメラ301-2は、車室内の特定の部分を撮影する。カメラ301-2及び301-3の撮影範囲は、カメラ301-1の撮影範囲より狭いものとする。
【0025】
なお、図3では、移動体150がカメラを3台有する例が示されているが、カメラの台数は特に3台には限定されない。以下の説明において、カメラ301-1から301-3は、特にそれらを区別する必要がない場合は、カメラ301とも呼ばれる。カメラ301は、図1に示されるカメラ40に対応する。
【0026】
通信装置200は、移動体150とネットワーク130(図2を参照)との間で無線通信を行う装置として構成される。通信装置200は、ネットワーク130を介して、画像解析装置110と通信する。通信装置200は、遠隔監視装置120を更に介して、画像解析装置110と通信してもよい。
【0027】
通信装置200は、運行状況判定部201、乗車率取得部202、及び映像送信部203を有する。なお、図3では省略されているが、通信装置200は、無線通信用アンテナ、送信機、及び受信機なども含む。運行状況判定部201、乗車率取得部202、及び映像送信部203の機能は、例えば、メモリに記憶された制御プログラムをプロセッサで実行することにより実現される。通信装置200は、図1に示される通信装置20に対応する。
【0028】
運行状況判定部201は、移動体150の特定の運行状況を判定する。運行状況判定部201は、例えば、着席していない乗客に転倒などの危険が生じ得る状況を、特定の運行状況として判定する。運行状況判定部201は、例えば、移動体150が停留所に停車する状況、及び移動体150が停留所から発車する状況を、特定の運行状況と判定する。また、運行状況判定部201は、加速度センサなどを用いて計測された移動体150の前後左右方向の加速度が所定の値以上である状況を、特定の運行状況として判定する。
【0029】
運行状況判定部201は、移動体150において、停留所の案内などを行う自動車内放送装置から運行状況を示す情報を取得し、特定の運行状況を判定してもよい。運行状況判定部201は、例えば停留所への到着を知らせるためのアナウンスがされた後、乗降口の扉が開くまでの間の期間を、停留所に到着する状況と判定してもよい。運行状況判定部201は、上記アナウンスがされた場合でも、降車ボタンが扱われておれず、次の停留所で降車する人がいない場合、運行状況は、移動体150が停留所に停車する状況ではないと判定してもよい。
【0030】
また、運行状況判定部201は、停留所への停車後、ドアの開閉を示す情報と、ブレーキペダルの操作情報とを用いて、移動体150が停留所から発車する状況を判定してもよい。運行状況判定部201は、乗降口の扉が閉まってから、又は停車してから、ブレーキが解除されるまでの期間を、移動体150が停留所から発車する状況と判定してもよい。運行状況判定部201が特定の運行状況を判定する手法は任意であり、上記したものには限定されない。運行状況判定部201は、図1に示される運行状況判定手段21に対応する。
【0031】
乗車率取得部(乗車率取得手段)202は、移動体150の乗車率を取得する。乗車率取得部202は、例えば非接触IC(Integrated Circuit)カードや乗車券(整理券)などを用いて客の乗車や降車を検知する既存の乗降者検知システムを利用して、乗車率を取得してもよい。
【0032】
映像送信部203は、運行状況判定部201が移動体150の運行状況が特定の運行状況であると判定した場合、カメラ301が撮影した映像を、ネットワーク130(図2を参照)を介して画像解析装置110に送信する。映像送信部203は、例えばカメラ301-1から301-3が撮影した3つの車内映像を画像解析装置110に送信する。映像送信部203は、カメラ301の映像を常に遠隔監視装置120に送信してもよい。映像送信部203は、運行状況が特定の運行状況の場合は、カメラ301-1の映像を画像解析装置110と遠隔監視装置120とに送信してもよい。映像送信部203は、図1に示される映像送信手段22に対応する。
【0033】
映像送信部203は、乗車率取得部202から乗車率を取得する。映像送信部203は、移動体150の運行状況が特定の運行状況であると判定され、かつ乗車率が第1のしきい値以上の場合、カメラ301の映像を送信する。映像送信部203は、乗車率が第1のしきい値より低い場合は、移動体150の運行状況が特定の運行状況であると判定された場合でも、カメラ301の映像を送信しない。
【0034】
さらに、映像送信部203は、乗車率に応じて送信対象のカメラ301の映像を決定してもよい。映像送信部203は、例えば乗車率が、第1のしきい値より大きい第2のしきい値以上の場合、3つのカメラ301の映像の全てを送信対象の映像として決定してもよい。映像送信部203は、乗車率が、第1のしきい値以上で、かつ第2のしきい値より低い場合、3つのカメラのうち、車室内全体を撮影するカメラ301-1の映像を送信対象の映像として決定してもよい。
【0035】
なお、移動体150は、図3には図示されてない、移動体150の周辺状況を監視する周辺監視センサを有していてもよい。周辺監視センサは、例えばカメラ、レーダ、及びLiDAR(Light Detection and Ranging)などを含む。周辺監視センサは、例えば車両の前方、後方、右側方、及び左側方を撮影する複数のカメラを含んでいてもよい。通信装置200は、遠隔監視装置120に、周辺監視センサが取得したセンサ情報を送信してもよい。
【0036】
画像解析装置110は、移動体150から受信した映像に対して画像処理を実施する。画像処理は、例えば、画像を解析し、バスの車内において不安定な体勢の乗客を検出する処理を含む。画像処理(画像解析処理)では、例えば座席に座っていない乗客、及び手すりなどにつかまっていない乗客などが検出される。画像解析装置110において実施される画像解析処理は特に上記したものには限定されない。画像解析装置110は、例えばクラウドサーバ(クラウドGPU(Graphics Processing Unit))して構成される。例えば、画像解析装置110は、1時間などの単位時間あたりの使用料が設定され、画像解析装置110の使用料は、使用時間に応じて決定される。画像解析装置110は、遠隔監視装置120が設置される遠隔監視センタに設置されるサーバであってもよい。画像解析装置110は、図1に示される画像処理装置30に対応する。
【0037】
図4は、画像解析装置110の構成例を示す。画像解析装置110は、複数のバッファ111と、処理実行部112とを有する。画像解析装置110は、1つ又は複数の移動体150から、複数の映像を受信する。複数のバッファ111は、受信される複数の映像に対応して配置される。各バッファ111は、受信された、対応する映像を一時的に記憶する。例えば、画像解析装置110は、1秒間などの所定期間に、所定数N(Nは2以上の整数)の映像に対して画像解析が可能に構成される。その場合、画像解析装置110は、N個のバッファ111を有する。
【0038】
処理実行部112は、映像に対して画像解析処理を実行する。処理実行部112は、例えばプロセッサを含む。処理実行部112は、複数の映像に対して、画像解析処理を時分割で逐次的に実行する。処理実行部112は、処理対象の映像を記憶するバッファ111を選択し、選択したバッファ111から映像を取得し、取得した映像に対して画像解析処理を実行する。
【0039】
画像解析装置110は、画像解析処理の結果を遠隔監視装置120に送信する。画像解析装置110は、例えば、検出された、不安定な体勢の乗客の位置などを示す情報を、画像解析処理の結果として遠隔監視装置120に送信する。画像解析装置110は、画像解析処理の結果を移動体150に送信してもよい。移動体150において、画像解析処理の結果は、運転手などの移動体150の乗員に通知されてもよい。
【0040】
図5は、移動体から取得される複数の映像と解析処理との関係を示す。図5において、バス(バスA)150A、バス(バスB)150B、及びバス(バスC)150Cは、それぞれ複数のカメラを有する。バス150AはカメラA-Cを有し、バス150BはカメラD-Fを有し、バス150CはカメラG-Iを有する。バス150A-150Cは、図2に示される移動体150に対応する。カメラA-Iは、図3に示されるカメラ301に対応する。
【0041】
画像解析装置110は、所定の処理期間、例えば1秒間に最大で9つの映像を解析可能であるとする。その場合、画像解析装置110は、9つのバッファ111(図4を参照)を有する。画像解析装置110の処理実行部112は、例えば1秒間を9つの単位期間に分割し、各単位期間において映像を画像解析する。
【0042】
図5の例では、画像解析装置110は、バス150Aから受信するカメラA-Cの各フレーム画像に対して画像解析処理を行い、その後、バス150Bから受信するカメラD-Fの各フレーム画像に対して画像解析処理を行う。さらに、画像解析装置110は、バス150Cから受信するカメラG-Iの各フレーム画像に対して画像解析処理を行う。画像解析装置110は、このような時分割逐次処理を繰り返し実施する。このようにすることで、1つの画像解析装置110を用いて、複数の映像を画像解析することができる。
【0043】
図2に戻り、遠隔監視装置120は、移動体150を監視するために使用される装置である。遠隔監視装置120は、例えば移動体150を遠隔で監視する監視センタに配置される。本実施形態において、移動体150は、自律走行する車両、又は運転手が運転する車両として構成される。監視員は、遠隔監視装置120を用いて、移動体150の運行を監視する。遠隔監視装置120は、移動体150を遠隔で制御可能に構成されていてもよい。
【0044】
図6は、遠隔監視装置120の構成例を示す。遠隔監視装置120は、映像受信部121、及び監視画面表示部122を有する。映像受信部121は、移動体150から送信された映像を、ネットワークを介して受信する。映像受信部121は、移動体150から、カメラ301(図3を参照)を用いて撮影された車室内の映像を受信する。映像受信部121は、画像解析装置110を介して車室内の映像を受信してもよい。映像受信部121は、移動体150から、移動体の外部を撮影することで得られた映像を更に受信してもよい。
【0045】
監視画面表示部122は、映像受信部121が受信した映像を表示画面上に表示する。また、監視画面表示部122は、画像解析装置110から画像解析処理の結果を受信した場合、画像解析処理の結果を表示画面上に表示する。監視者は、表示画面を見ることで、移動体150の車室内の状況を監視することができる。
【0046】
なお、遠隔監視装置120は、例えば、移動体の車速、方向指示器の作動状態、ドアの開閉状態、信号機の灯火状態、位置情報、及び他の車両との距離などの情報を移動体150から受信してもよい。監視画面表示部122は、映像受信部121が受信した映像に加えて、移動体150から受信した各種情報の少なくとも一部を表示画面上に表示してもよい。
【0047】
続いて動作手順を説明する。図7は、画像解析システム100の動作手順(画像処理方法)を示す。移動体150に搭載される通信装置200(図3を参照)において、運行状況判定部201は、移動体150の運行状況が特定の運行状況であるか否かを判定する(ステップS1)。運行状況判定部201は、運行状況が特定の運行状況であると判定した場合、その旨を映像送信部203に通知する。
【0048】
乗車率取得部202は、移動体150の乗車率を取得する。映像送信部203は、運行状況が特定の運行状況であると判定された場合、乗車率取得部202が取得した乗車率が第1のしきい値より低いか否かを判断する(ステップS2)。映像送信部203は、乗車率が第1のしきい値より低くないと判断した場合、移動体150のカメラ301のうち、送信対象のカメラを決定する(ステップS3)。映像送信部203は、ステップS3では、例えば乗車率に基づいて解析対象のカメラを決定する。映像送信部203は、送信対象のカメラの映像を画像解析装置110に送信する(ステップS4)。ステップS1からステップS4は、通信装置200で実施される通信方法に対応する。
【0049】
画像解析装置110は、複数の移動体150のうち、運行状況が特定の運行状況と判定された移動体150から解析対象のカメラの映像を受信する。画像解析装置110は、受信した映像に対して画像解析処理を実施する(ステップS5)。画像解析装置110は、ステップS5では、例えば複数の移動体150から受信した複数の映像に対し、画像解析処理を時分割で逐次的に実施する。画像解析装置110は、画像解析処理を実施することで、例えば移動体150の車内において不安定な体勢の乗客を検出する。画像解析装置110は、画像解析の結果を遠隔監視装置120に送信する。
【0050】
遠隔監視装置120は、画像解析装置110から画像解析処理の結果を受信した場合、画像解析処理の結果を表示画面上に表示する(ステップS6)。画像解析装置110は、ステップS6では、例えば移動体150の車室内の映像において不安定な体勢の乗客の部分を赤枠で囲むなどして、不安定な体勢の乗客の部分を強調して表示する。監視者は、表示画面を見ることで、移動体150の車室内の状況を監視する。
【0051】
本実施形態では、通信装置200の映像送信部203は、運行状況判定部201で移動体150の運行状況が特定の運行状況であると判定された場合、カメラ301の映像を画像解析装置110に送信する。このようにすることで、画像解析装置110において、特定の運行状況と判定された移動体150について、画像解析処理を実施できる。また、本実施形態は、移動体150から常に映像が送信され、画像解析装置110において常に画像解析処理が実施される場合に比べて、画像解析装置110の使用時間を短縮することができる。本実施形態において、画像解析システム100は、例えば画像解析装置110の使用料が使用時間に応じて変わる場合に、画像解析装置110の使用料を抑えることができる。
【0052】
本実施形態では、上記したように、映像送信部203は、特定の運行状況であると判定された場合、カメラ301の映像を画像解析装置110に送信する。このようにすることで、ネットワーク130を介して移動体150から画像解析装置110へ送信される映像データの通信量を削減できる。ネットワーク130において、通信料がデータ量に応じて決定される場合、常に映像が送信される場合に比べて、通信料を削減できる効果もある。
【0053】
さらに、本実施形態では、映像送信部203は、乗車率が低い場合は、カメラ301の映像を送信しない。このようにすることで、例えばほとんど乗客が乗っていない場合に、映像送信及び画像解析処理を省略できる。画像解析処理が省略される場合、遠隔監視装置120にカメラ301の映像を表示し、監視者が目視で車室内を監視してもよい。
【0054】
また、本実施形態では、映像送信部203は、乗車率に応じて、複数のカメラ301の映像のうち、送信対象のカメラの映像を決定する。映像送信部203は、例えば、乗車率が高く、車室内が混んでいる場合は、3つのカメラ301の映像を画像解析装置110で画像解析する。このようにすることで、車室内が混んでいる場合に、多くの映像を用いて、乗客の安全性を詳細に解析できる。一方、乗車率がそこまで高くない場合は、一部の映像の画像解析処理を省略することで、ネットワーク130における通信量などを削減できる。
【0055】
続いて、本開示の第2実施形態を説明する。図8は、本開示の第2実施形態に係る画像解析システムを示す。本実施形態に係る画像解析システム100aは、割当装置140を更に有する点で、図2に示される第1実施形態に係る画像解析システム100と相違する。割当装置140は、遠隔監視装置120が設置される遠隔監視センタに設置されていてもよい。割当装置140は、遠隔監視装置120の一部であってもよい。
【0056】
また、本実施形態において、画像解析システム100aは、画像解析装置(第1の画像解析装置)110-1及び画像解析装置(第2の画像解析装置)110-2を含む。画像解析装置110の数は2つには限定されず、画像解析システム100aは3つ以上の画像解析装置110を含んでいてもよい。他の構成は、第1実施形態において説明された構成と同様でよい。
【0057】
本実施形態において、割当装置140は、移動体150から送信された映像を、画像解析装置110-1又は110-2に割り当てる。割当装置140は、各画像解析装置110の処理能力を監視する。割当装置140は、新たに運行状況が特定の運行状況と判定された移動体150から映像を受信した場合、その映像を画像解析装置110-1で処理可能か否かを判断する。割当装置140は、受信した映像を画像解析装置110-1で処理可能と判断した場合、受信した映像を画像解析装置110-1に割り当てる。割当装置140は、受信した映像を画像解析装置110-1で処理できないと判断した場合、受信した映像を画像解析装置110-2に割り当てる。割当装置140は、受信した映像を割り当てた画像解析装置110に送信する。
【0058】
例えば、何れの移動体150も映像を送信していない場合、画像解析装置110-1及び110-2は休止している。割当装置140は、移動体(第1の移動体)150から映像を受信した場合、画像解析装置110-1を稼働させ、画像解析装置110-1に映像を送信する。割当装置140は、別の移動体(第2の移動体)150から映像を更に受信した場合、画像解析装置110-1の処理能力の余力を判断する。例えば、画像解析装置110-1は、所定数Nの映像に対して画像解析が可能に構成されている。割当装置140は、画像解析装置110-1が第2の移動体150から受信した映像を解析した場合に、画像解析装置110-1が解析する映像の数がNを超えるか否かを判断する。割当装置140は、画像解析装置110-1が解析する映像の数がNを超えない場合、画像解析装置110-1に余力があると判断する。割当装置140は、画像解析装置110-1に余力がある場合と判断した場合、第2の移動体150から受信した映像を画像解析装置110-1に割り当てる。その場合、割当装置140は、第2の移動体150から受信した映像を画像解析装置110-1に送信する。
【0059】
割当装置140は、更に別の移動体(第3の移動体)150から映像を受信した場合、画像解析装置110-1の余力を判断する。割当装置140は、画像解析装置110-1が第3の移動体150から受信した映像を解析した場合に、画像解析装置110-1が解析する映像の数がNを超えるか否かを判断する。割当装置140は、画像解析装置110-1が解析する映像の数がNを超える場合、画像解析装置110-1に余力がないと判断する。割当装置140は、画像解析装置110-1に余力がないと判断した場合、画像解析装置110-2を稼働させ、第3の移動体150から受信した映像を画像解析装置110-2に割り当てる。その場合、割当装置140は、第3の移動体150から受信した映像を画像解析装置110-2に送信する。
【0060】
例えば、ある時点において、割当装置140は、図5に示されるように、バス150A-150Cから受信した映像を、画像解析装置110-1に割り当てたとする。画像解析装置110-1は、単位時間(例えば1秒)あたり、9つの映像を解析可能であるとする。つまり、画像解析装置110-1が解析可能な映像の上限は9であるとする。図5の例において、画像解析装置110-1は1秒間に9つの映像に対して解析処理を実施しており、画像解析装置110-1は、更に別の映像を処理することができない状態である。割当装置140は、他の移動体150から新たに映像を受信した場合、画像解析装置110-1に余力はないと判断し、画像解析装置110-2を稼働させて、他の移動体150から受信した映像を画像解析装置110-2に送信する。
【0061】
図9は、別の時点における移動体から取得される複数の映像と解析処理との関係を示す。図9の例において、バス150Cは、例えばバス停から発車し、カメラG-Iの映像の送信を停止する。その場合、画像解析装置110-1が解析する映像の数は9から6に減る。バス150Cが映像の送信を停止した後、画像解析装置110-1には、映像3つ分の余力が生じる。
【0062】
図10は、更に別の時点における移動体から取得される複数の映像と解析処理との関係を示す。割当装置140は、バス150Cが映像の送信を停止した後、別のバス(バスD)150DからカメラJ-Lの映像を受信したとする。その場合、割当装置140は、画像解析装置110-1がバス150Dから受信した映像を解析可能であることから、バス150Dから受信した映像を、画像解析装置110-1に割り当てる。この場合、画像解析装置110-2を稼働させる必要がない。
【0063】
本実施形態では、割当装置140は、移動体150から映像を受信した場合、稼働中の画像解析装置110において受信した映像の解析が可能であるか否かを判断する。割当装置140は、稼働中の画像解析装置110において受信した映像の解析が可能であると判断した場合、受信した映像を、稼働中の画像解析装置110に割り当てる。例えば、移動体150と画像解析装置110との対応関係が固定的に決定される場合を考える。その場合、ある画像解析装置110において1台の移動体150から受信した映像に対する画像解析処理が実施され、別の画像解析装置110において他の1台の移動体150から受信した映像に対する画像解析処理が実施される場合がある。その場合、画像解析装置110を2つ使用する必要がある。本実施形態では、移動体150と画像解析装置110との関係を固定せず、移動体150から受信した映像の画像解析処理に、余力がある画像解析装置110が使用される。このようにすることで、画像解析装置110を効率的に使用することができる。また、使用される画像解析装置110の数を削減することで、画像解析装置110の使用料を低減することができる。
【0064】
なお、上記実施形態において、画像解析装置110は、移動体150の車室内を撮影するカメラ301の映像に対して画像解析処理を実施する例を説明したが、本開示はこれには限定されない。画像解析装置110は、移動体150から送信される映像に対して画像解析処理を行えばよく、画像解析処理の対象の映像は、必ずしも車室内の映像である必要はない。
【0065】
上記実施形態において、通信装置200の機能は、マイクロコンピュータを使用して実現され得る。図11は、通信装置200に用いられ得るマイクロコンピュータの構成例を示す。マイクロコンピュータ500は、プロセッサ510、及びメモリ520を有する。マイクロコンピュータ500において、プロセッサ510とメモリ520とは、バスを介して相互に接続される。マイクロコンピュータ500は、図示は省略するが、周辺回路、及びインタフェース回路などの他の回路を含み得る。
【0066】
メモリ520は、不揮発性の記憶装置、及び/又は、揮発性の記憶装置を含む。メモリ520は、プロセッサ510が実行するプログラムを格納する。プロセッサ510は、メモリ520に格納されたプログラムを読み出し、読み出したプログラムを実行する。プロセッサ510がプログラムを実行することで、通信装置200内の各部の機能が実現され得る。
【0067】
また、本開示において、画像解析装置110、遠隔監視装置120、及び割当装置140は、コンピュータ装置(サーバ装置)として構成され得る。図12は、画像解析装置110などとして用いられ得るコンピュータ装置の構成例を示す。コンピュータ装置600は、制御部(CPU:Central Processing Unit)610、記憶部620、ROM(Read Only Memory)630、RAM(Random Access Memory)640、通信インタフェース(IF:Interface)650、及びユーザインタフェース660を有する。
【0068】
通信インタフェース650は、有線通信手段又は無線通信手段などを介して、コンピュータ装置600と通信ネットワークとを接続するためのインタフェースである。ユーザインタフェース660は、例えばディスプレイなどの表示部を含む。また、ユーザインタフェース660は、キーボード、マウス、及びタッチパネルなどの入力部を含む。
【0069】
記憶部620は、各種のデータを保持できる補助記憶装置である。記憶部620は、必ずしもコンピュータ装置600の一部である必要はなく、外部記憶装置であってもよいし、ネットワークを介してコンピュータ装置600に接続されたクラウドストレージであってもよい。
【0070】
ROM630は、不揮発性の記憶装置である。ROM630には、例えば比較的容量が少ないフラッシュメモリなどの半導体記憶装置が用いられる。CPU610が実行するプログラムは、記憶部620又はROM630に格納され得る。記憶部620又はROM630は、例えば画像解析装置110、遠隔監視装置120、又は割当装置140内の各部の機能を実現するための各種プログラムを記憶する。
【0071】
RAM640は、揮発性の記憶装置である。RAM640には、DRAM(Dynamic Random Access Memory)又はSRAM(Static Random Access Memory)などの各種半導体メモリデバイスが用いられる。RAM640は、データなどを一時的に格納する内部バッファとして用いられ得る。CPU610は、記憶部620又はROM630に格納されたプログラムをRAM640に展開し、実行する。CPU610がプログラムを実行することで、画像解析装置110、遠隔監視装置120、又は割当装置140内の各部の機能が実現され得る。CPU610は、データなどを一時的に格納できる内部バッファを有してもよい。
【0072】
上述プログラムは、様々なタイプの非一時的なコンピュータ可読媒体を用いて格納され、マイクロコンピュータ500及びコンピュータ装置600に供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記憶媒体を含む。非一時的なコンピュータ可読媒体の例は、例えばフレキシブルディスク、磁気テープ、又はハードディスクなどの磁気記録媒体、例えば光磁気ディスクなどの光磁気記録媒体、CD(compact disc)、又はDVD(digital versatile disk)などの光ディスク媒体、及び、マスクROM、PROM(programmable ROM)、EPROM(erasable PROM)、フラッシュROM、又はRAMなどの半導体メモリを含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体を用いてコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバなどの有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
【0073】
以上、本開示の実施形態を詳細に説明したが、本開示は、上記した実施形態に限定されるものではなく、本開示の趣旨を逸脱しない範囲で上記実施形態に対して変更や修正を加えたものも、本開示に含まれる。
【0074】
例えば、上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
【0075】
[付記1]
映像に対して画像処理を行う1以上の画像処理装置と、
前記画像処理装置と通信を行う1以上の通信装置とを備え、
前記通信装置は、
移動体が所定の運行状況にあることを判定する運行状況判定手段と、
前記移動体が前記所定の運行状況にあると判定された場合、前記移動体に搭載された1以上のカメラの映像を、前記画像処理装置に送信する映像送信手段とを備える、画像処理システム。
【0076】
[付記2]
前記通信装置が、前記移動体の乗車率を取得する乗車率取得手段を更に有し、
前記映像送信手段は、前記移動体が前記所定の運行状況にあると判定され、かつ前記乗車率が第1のしきい値以上の場合、前記1以上のカメラの映像を前記画像処理装置に送信する付記1に記載の画像処理システム。
【0077】
[付記3]
前記移動体には複数のカメラが搭載されており、
前記映像送信手段は、前記乗車率に応じて、前記複数のカメラで撮影された映像のうち、前記画像処理装置に送信する映像を決定する付記2に記載の画像処理システム。
【0078】
[付記4]
前記複数のカメラは、前記移動体の車室内を撮影する第1のカメラと、前記移動体の車室内を前記第1のカメラの撮影範囲より狭い範囲で撮影する第2のカメラとを含み、
前記映像送信手段は、前記乗車率が、前記第1のしきい値より大きい第2のしきい値以上の場合、前記第1のカメラ及び第2のカメラの映像を前記画像処理装置に送信する映像として決定し、前記乗車率が、前記第1のしきい値以上で、かつ第2のしきい値より低い場合、前記第1のカメラの映像を前記画像処理装置に送信する映像として決定する付記3に記載の画像処理システム。
【0079】
[付記5]
前記画像処理装置は、複数のカメラで撮影された複数の映像を時分割で逐次的に解析するように構成される付記1から4何れか1つに記載の画像処理システム。
【0080】
[付記6]
複数の前記通信装置を有し、
前記複数の通信装置は、複数の前記移動体のそれぞれに搭載される付記1から5何れか1つに記載の画像処理システム。
【0081】
[付記7]
前記複数の通信装置から送信された映像を、前記1以上の画像処理装置の何れかに割り当てる割当装置を更に有する付記6に記載の画像処理システム。
【0082】
[付記8]
前記1以上の画像処理装置は第1の画像処理装置及び第2の画像処理装置を含み、かつ、前記第1の画像処理装置は、単位時間あたり所定数の映像に対して画像処理を実施可能であり、
前記割当装置は、前記通信装置から前記1以上のカメラの映像を受信し、該受信した前記1以上のカメラの映像が前記第1の画像処理装置で画像処理された場合、前記第1の画像処理装置が単位時間あたりに画像処理する映像の数が前記所定数を超えるか否かを判断し、前記画像処理する映像の数が前記所定数を超えないと判断した場合、前記受信した前記1以上のカメラの映像を、前記第1の画像処理装置に割り当てる付記7に記載の画像処理システム。
【0083】
[付記9]
前記割当装置は、前記画像処理する映像の数が前記所定数を超えると判断した場合、前記受信した前記1以上のカメラの映像を、前記第2の画像処理装置に割り当てる付記8に記載の画像処理システム。
【0084】
[付記10]
前記運行状況判定手段は、前記移動体に乗車している乗客に危険が生じ得る状況を、特定の運行状況として判定する付記1から9何れか1つに記載の画像処理システム。
【0085】
[付記11]
前記乗客に危険が生じ得る状況は、前記移動体が停留所に停車する状況、前記移動体が停留所から発車する状況、及び前記移動体の前後左右方向の加速度が所定の値以上である状況の少なくとも1つを含む付記10に記載の画像処理システム。
【0086】
[付記12]
移動体が所定の運行状況にあることを判定する運行状況判定手段と、
前記移動体が前記所定の運行状況にあると判定された場合、前記移動体に搭載された1以上のカメラの映像を、映像に対して画像処理を行う画像処理装置に送信する映像送信手段とを備える通信装置。
【0087】
[付記13]
前記移動体の乗車率を取得する乗車率取得手段を更に有し、
前記映像送信手段は、前記移動体が前記所定の運行状況にあると判定され、かつ前記乗車率が第1のしきい値以上の場合、前記カメラの映像を前記画像処理装置に送信する付記12に記載の通信装置。
【0088】
[付記14]
前記移動体には複数のカメラが搭載されており、
前記映像送信手段は、前記乗車率に応じて、前記複数のカメラで撮影された映像のうち、前記画像処理装置に送信する映像を決定する付記13に記載の通信装置。
【0089】
[付記15]
前記前記移動体に搭載される付記12から14何れか1つに記載の通信装置。
【0090】
[付記16]
前記運行状況判定手段は、前記移動体に乗車している乗客に危険が生じ得る状況を、特定の運行状況として判定する付記12から15何れか1つに記載の通信装置。
【0091】
[付記17]
移動体が所定の運行状況にあることを判定し、
前記移動体が前記所定の運行状況にあると判定された場合、前記移動体に搭載された1以上のカメラの映像を画像処理装置に送信し、
前記画像処理装置において前記1以上のカメラの映像に対して画像処理を行う画像処理方法。
【0092】
[付記18]
移動体が所定の運行状況にあることを判定し、
前記移動体が前記所定の運行状況にあると判定された場合、前記移動体に搭載された1以上のカメラの映像を、映像に対して画像処理を行う1以上の画像処理装置に送信する通信方法。
【0093】
[付記19]
移動体が所定の運行状況にあることを判定し、
前記移動体が前記所定の運行状況にあると判定された場合、前記移動体に搭載された1以上のカメラの映像を、映像に対して画像処理を行う1以上の画像処理装置に送信する処理をプロセッサに実行させるためのプログラムを格納する非一時的なコンピュータ可読媒体。
【符号の説明】
【0094】
10:画像処理システム
20:通信装置
21:運行状況判定手段
22:映像送信手段
30:画像処理装置
40:カメラ
100:画像解析システム
110:画像解析装置
111:バッファ
112:処理実行部
120:遠隔監視装置
121:映像受信部
122:監視画面表示部
130:ネットワーク
140:割当装置
200:通信装置
201:運行状況判定部
202:乗車率取得部
203:映像送信部
301:カメラ
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12