IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ソフトバンクモバイル株式会社の特許一覧

特開2022-185634端末装置、情報処理装置、情報処理方法、情報処理プログラムおよび情報処理システム
<>
  • 特開-端末装置、情報処理装置、情報処理方法、情報処理プログラムおよび情報処理システム 図1
  • 特開-端末装置、情報処理装置、情報処理方法、情報処理プログラムおよび情報処理システム 図2
  • 特開-端末装置、情報処理装置、情報処理方法、情報処理プログラムおよび情報処理システム 図3
  • 特開-端末装置、情報処理装置、情報処理方法、情報処理プログラムおよび情報処理システム 図4
  • 特開-端末装置、情報処理装置、情報処理方法、情報処理プログラムおよび情報処理システム 図5
  • 特開-端末装置、情報処理装置、情報処理方法、情報処理プログラムおよび情報処理システム 図6
  • 特開-端末装置、情報処理装置、情報処理方法、情報処理プログラムおよび情報処理システム 図7
  • 特開-端末装置、情報処理装置、情報処理方法、情報処理プログラムおよび情報処理システム 図8
  • 特開-端末装置、情報処理装置、情報処理方法、情報処理プログラムおよび情報処理システム 図9
  • 特開-端末装置、情報処理装置、情報処理方法、情報処理プログラムおよび情報処理システム 図10
  • 特開-端末装置、情報処理装置、情報処理方法、情報処理プログラムおよび情報処理システム 図11
  • 特開-端末装置、情報処理装置、情報処理方法、情報処理プログラムおよび情報処理システム 図12
  • 特開-端末装置、情報処理装置、情報処理方法、情報処理プログラムおよび情報処理システム 図13
  • 特開-端末装置、情報処理装置、情報処理方法、情報処理プログラムおよび情報処理システム 図14
  • 特開-端末装置、情報処理装置、情報処理方法、情報処理プログラムおよび情報処理システム 図15
  • 特開-端末装置、情報処理装置、情報処理方法、情報処理プログラムおよび情報処理システム 図16
  • 特開-端末装置、情報処理装置、情報処理方法、情報処理プログラムおよび情報処理システム 図17
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022185634
(43)【公開日】2022-12-15
(54)【発明の名称】端末装置、情報処理装置、情報処理方法、情報処理プログラムおよび情報処理システム
(51)【国際特許分類】
   G06Q 10/00 20120101AFI20221208BHJP
【FI】
G06Q10/00
【審査請求】有
【請求項の数】22
【出願形態】OL
(21)【出願番号】P 2021093375
(22)【出願日】2021-06-03
(71)【出願人】
【識別番号】501440684
【氏名又は名称】ソフトバンク株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】前田 哲汰
(72)【発明者】
【氏名】五十嵐 達郎
(72)【発明者】
【氏名】細川 裕司
(72)【発明者】
【氏名】鳩 康彦
【テーマコード(参考)】
5L049
【Fターム(参考)】
5L049AA00
(57)【要約】
【課題】撮像画像に対するエッジデバイス側での推論から、推論された結果が利用者に提供されるまでの一連の処理が適切に行われるよう最適化すること。
【解決手段】本願に係る端末装置は、所定の撮像手段と、所定の撮像手段により撮像された撮像画像に対する分析結果に応じた情報提供を行うサーバ装置との間を中継する端末装置である。また、端末装置は、画像取得部と、出力部とを有する。画像取得部は、端末装置に導入されるアプリケーションであって、学習済のモデルを用いて画像を分析するアプリケーションからの要求に応じて、所定の撮像手段により撮像された撮像画像を取得する。出力部は、画像取得部により取得された撮像画像を分析するようアプリケーションに対して出力する。
【選択図】図2
【特許請求の範囲】
【請求項1】
所定の撮像手段と、前記所定の撮像手段により撮像された撮像画像に対する分析結果に応じた情報提供を行うサーバ装置との間を中継する端末装置であって、
前記端末装置に導入されるアプリケーションであって、学習済のモデルを用いて画像を分析するアプリケーションからの要求に応じて、前記所定の撮像手段により撮像された撮像画像を取得する画像取得部と、
前記画像取得部により取得された撮像画像を分析するよう前記アプリケーションに対して出力する出力部と
を有することを特徴とする端末装置。
【請求項2】
前記所定の撮像手段のうち、前記端末装置に紐付けられた紐付け済の撮像手段の特徴を示す特徴情報を取得する情報取得部と、
前記情報取得部により取得された特徴情報と、導入候補のアプリケーションに適用可能な撮像手段の条件を示す条件情報とに基づいて、前記紐付け済の撮像手段の中から前記導入候補のアプリケーションに応じた撮像手段を選択する選択部と、
前記選択部により選択された撮像手段を、前記導入候補のアプリケーションに適用可能な撮像手段として前記サーバ装置に通知する通知部と
をさらに有する
ことを特徴とする請求項1に記載の端末装置。
【請求項3】
前記情報取得部は、前記特徴情報として、前記紐付け済の撮像手段が有する機能を示す機能情報を取得する
ことを特徴とする請求項2に記載の端末装置。
【請求項4】
前記情報取得部は、前記特徴情報として、前記紐付け済の撮像手段が有する機能に応じて設定されている設定内容を取得する
ことを特徴とする請求項2または3に記載の端末装置。
【請求項5】
前記設定内容が、前記条件情報が示す条件を満たしているか否かを判定し、満たしていないと判定した場合には、当該条件を満たすように前記設定内容を変更するよう前記紐付け済の撮像手段に対して要求する変更要求部をさらに有する
ことを特徴とする請求項4に記載の端末装置。
【請求項6】
前記情報取得部は、前記特徴情報として、前記紐付け済の撮像手段がどのような対象を撮像することを目的として設置されているか設置目的を示す目的情報を取得する
ことを特徴とする請求項2~5のいずれか1つに記載の端末装置。
【請求項7】
前記紐付け済の撮像手段により撮像された撮像画像に基づいて、当該紐付け済の撮像手段による撮像対象を推定する推定部をさらに有し、
前記情報取得部は、前記紐付け済の撮像手段が、前記推定部により推定された撮像対象を撮像することを目的として設置されていることを示す前記目的情報を取得する
ことを特徴とする請求項6に記載の端末装置。
【請求項8】
前記推定部は、複数の撮像手段が紐付けられている場合には、前記紐付け済の撮像手段それぞれが撮像した撮像画像に基づいて、前記紐付け済の撮像手段ごとに当該紐付け済の撮像手段による撮像対象を推定する
ことを特徴とする請求項7に記載の端末装置。
【請求項9】
前記推定部は、前記紐付け済の撮像手段を識別する識別情報に対して、前記紐付け済の撮像手段について推定した前記撮像対象を示す情報をタグ付けする
ことを特徴とする請求項7または8に記載の端末装置。
【請求項10】
前記情報取得部は、前記紐付け済の撮像手段ごとに前記特徴情報が対応付けられたデータベースから、前記紐付け済の撮像手段と前記特徴情報との組を取得し、
前記選択部は、前記情報取得部により取得された組のうち、前記条件情報を満たす特徴情報を含む組を特定することで、特定した組に含まれる前記紐付け済の撮像手段を、前記導入候補のアプリケーションに応じた撮像手段として選択する
ことを特徴とする請求項2~9のいずれか1つに記載の端末装置。
【請求項11】
前記画像取得部により取得された撮像画像に対して、当該撮像画像が撮像された日時のタイムスタンプを付与する付与部をさらに有し、
前記出力部は、前記付与部により前記タイムスタンプが付与された付与済の撮像画像を分析するよう要求元の前記アプリケーションに対して出力する
ことを特徴とする請求項1~10のいずれか1つに記載の端末装置。
【請求項12】
前記出力部は、前記付与済の撮像画像を複製し、複製した一方の撮像画像を前記アプリケーションに対して出力するとともに、複製した他方の撮像画像を所定のバッファに格納する
ことを特徴とする請求項11に記載の端末装置。
【請求項13】
前記出力部により複製された撮像画像が出力された出力先の前記アプリケーションから、録画要求が受け付けられた場合に、受け付けられた録画要求に含まれる録画範囲であって、前記タイムスタンプを用いて当該アプリケーションにより指定された録画範囲に対応する撮像画像を動画像として録画する録画部と、
前記録画部により録画された動画像を、当該動画像の取得を要求した要求元に送信する送信部と
をさらに有する
ことを特徴とする請求項12に記載の端末装置。
【請求項14】
前記アプリケーションは、前記録画範囲を用いて前記録画要求するとともに、当該録画範囲を前記サーバ装置に送信し、
前記録画部は、前記録画要求に応じて、前記所定のバッファにおいて一時保存されている撮像画像のうち、前記録画要求に含まれる前記録画範囲に対応する撮像画像を動画像として録画し、
前記送信部は、前記アプリケーションを送信元とする前記録画範囲を含む取得要求が前記サーバ装置から受け付けられた場合には、前記録画部により録画された動画像のうち、当該取得要求に含まれる前記録画範囲に対応する動画像を抽出し、抽出した動画像を前記サーバ装置に送信する
ことを特徴とする請求項13に記載の端末装置。
【請求項15】
前記送信部は、前記録画範囲を含む取得要求が前記アプリケーションから受け付けられた場合には、前記録画部により録画された動画像のうち、当該取得要求に含まれる前記録画範囲に対応する動画像を抽出し、抽出した動画像を前記アプリケーションに送信する
ことを特徴とする請求項13に記載の端末装置。
【請求項16】
前記アプリケーションは、前記送信部により抽出された動画像を前記サーバ装置に送信する
ことを特徴とする請求項15に記載の端末装置。
【請求項17】
所定の撮像手段により撮像された撮像画像に対する分析結果に応じた情報提供を行うとともに、端末装置によって前記所定の撮像手段との間を仲介される情報処理装置であって、
前記所定の撮像手段のうち、前記端末装置に紐付けられた紐付け済の撮像手段の特徴を示す特徴情報を前記端末装置から取得する第2取得部と、
前記第2取得部により取得された特徴情報と、前記端末装置に導入される導入候補のアプリケーションに適用可能な撮像手段の条件を示す条件情報とに基づいて、前記紐付け済の撮像手段の中から前記導入候補のアプリケーションに応じた撮像手段を選択する第2選択部と、
前記第2選択部により選択された撮像手段を、前記導入候補のアプリケーションに適用可能な撮像手段として利用者に提案する提案部と
を有することを特徴とする情報処理装置。
【請求項18】
前記第2取得部は、前記特徴情報として、前記紐付け済の撮像手段がどのような対象を撮像することを目的として設置されているかを示す目的情報を取得する
ことを特徴とする請求項17に記載の情報処理装置。
【請求項19】
前記紐付け済の撮像手段により撮像された撮像画像を前記端末装置から取得し、取得した動画像に基づいて、当該紐付け済の撮像手段による撮像対象を推定する第2推定部をさらに有し、
前記第2取得部は、前記紐付け済の撮像手段が、前記第2推定部により推定された撮像対象を撮像することを目的として設置されていることを示す前記目的情報を取得する
ことを特徴とする請求項18に記載の情報処理装置。
【請求項20】
所定の撮像手段と、前記所定の撮像手段により撮像された撮像画像に対する分析結果に応じた情報提供を行うサーバ装置との間を中継する端末装置が実行する情報処理方法であって、
前記端末装置に導入されるアプリケーションであって、学習済のモデルを用いて画像を分析するアプリケーションからの要求に応じて、前記所定の撮像手段により撮像された撮像画像を取得する画像取得工程と、
前記画像取得工程により取得された撮像画像を分析するよう前記アプリケーションに対して出力する出力工程と
を含むことを特徴とする情報処理方法。
【請求項21】
所定の撮像手段と、前記所定の撮像手段により撮像された撮像画像に対する分析結果に応じた情報提供を行うサーバ装置との間を中継する端末装置によって実行される情報処理プログラムであって、
前記端末装置が備えるコンピュータを、
前記端末装置に導入されるアプリケーションであって、学習済のモデルを用いて画像を分析するアプリケーションからの要求に応じて、前記所定の撮像手段により撮像された撮像画像を取得する画像取得手順と、
前記画像取得手順により取得された撮像画像を分析するよう前記アプリケーションに対して出力する出力手順と
として機能させることを特徴とする情報処理プログラム。
【請求項22】
所定の撮像手段と、前記所定の撮像手段により撮像された撮像画像に対する分析結果に応じた情報提供を行うサーバ装置と、前記所定の撮像手段と前記サーバ装置との間を中継する端末装置とを含む情報処理システムであって、
前記端末装置は、
前記端末装置に導入されるアプリケーションであって、学習済のモデルを用いて画像を分析するアプリケーションからの要求に応じて、前記所定の撮像手段により撮像された撮像画像を取得する画像取得部と、
前記画像取得部により取得された撮像画像を分析するよう前記アプリケーションに対して出力する出力部と
を有することを特徴とする情報処理システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、端末装置、情報処理装置、情報処理方法、情報処理プログラムおよび情報処理システムに関する。
【背景技術】
【0002】
従来、防犯カメラや監視カメラに関する様々な技術が提案されている。例えば、店舗設置型の防犯カメラ装置に関する技術や、監視カメラ装置および監視カメラ装置に用いられるプログラムに関する技術が提案されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2020-102846号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上記の従来技術では、撮像画像に対するエッジデバイス側での推論から、推論された結果が利用者に提供されるまでの一連の処理が適切に行われるよう最適化することができるとはいえない場合がある。
【0005】
例えば、上記の従来技術で提案される自己発展型カメラは、オペレーティングシステムと通信機能とを備えることで、インターネット上に公開されたアプリケーションプログラムを選択してインストールする。また、自己発展型カメラは、オペレーティングシステムやアプリケーションプログラムを、随時、最新の状態に保つことに加えて、撮像情報を外部出力する機能を有する。
【0006】
このような上記の従来技術によれば、自己発展型カメラだけで多くの処理を完結させることができるため、設置やシステム構築に係る利便性や汎用性を実現できる可能性がある。一方で、例えば、自己発展型カメラは、自装置に適したアプリケーションを選択することができるとは限らない。このようなことから、上記の従来技術では、撮像画像に対してエッジデバイス側で適切に推論することができるとは限らないため、利用者の求める精度よい推論結果を提供することができない場合がある。
【0007】
本願は、上記に鑑みてなされたものであって、撮像画像に対するエッジデバイス側での推論から、推論された結果が利用者に提供されるまでの一連の処理が適切に行われるよう最適化することができる端末装置、情報処理装置、情報処理方法、情報処理プログラムおよび情報処理システムを提供することを目的とする。
【課題を解決するための手段】
【0008】
本願に係る端末装置は、所定の撮像手段と、前記所定の撮像手段により撮像された撮像画像に対する分析結果に応じた情報提供を行うサーバ装置との間を中継する端末装置であって、前記端末装置に導入されるアプリケーションであって、学習済のモデルを用いて画像を分析するアプリケーションからの要求に応じて、前記所定の撮像手段により撮像された撮像画像を取得する画像取得部と、前記画像取得部により取得された撮像画像を分析するよう前記アプリケーションに対して出力する出力部とを有することを特徴とする。
【発明の効果】
【0009】
実施形態の一態様によれば、例えば、撮像画像に対するエッジデバイス側での推論から、推論された結果が利用者に提供されるまでの一連の処理が適切に行われるよう最適化することができるという効果を奏する。
【図面の簡単な説明】
【0010】
図1図1は、実施形態に係るシステムの一例を示す図である。
図2図2は、第1の実施形態に係る端末装置の構成例を示す図である。
図3図3は、第1の実施形態に係るアプリ情報データベースの一例を示す図である。
図4図4は、第1の実施形態に係るコンテンツバッファの一例を示す図である。
図5図5は、第1の実施形態に係るフィルタリング処理の一例を示す図である。
図6図6は、フィルタリング結果に応じた情報提案の一例を示す図である。
図7図7は、第1の実施形態に係るタグ付け処理の一例を示す図である。
図8図8は、第1の実施形態に係るタグ付け処理の変形例を示す図である。
図9図9は、第1の実施形態に係る設定内容変更処理の一例を示す図である。
図10図10は、映像管理機能によって実現される情報処理の一例(1)を示す図である。
図11図11は、映像管理機能によって実現される情報処理の一例(2)を示す図である。
図12図12は、映像管理機能によって実現される情報処理の一例(3)を示す図である。
図13図13は、映像管理機能によって実現される情報処理の一例(4)を示す図である。
図14図14は、第2の実施形態に係る情報処理装置の構成例を示す図である。
図15図15は、第2の実施形態に係るフィルタリング処理の一例を示す図である。
図16図16は、第2の実施形態に係るタグ付け処理の一例を示す図である。
図17図17は、端末装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。
【発明を実施するための形態】
【0011】
以下に、本願に係る端末装置、情報処理装置、情報処理方法、情報処理プログラムおよび情報処理システムを実施するための形態(以下、「実施形態」と呼ぶ)について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る端末装置、情報処理装置、情報処理方法、情報処理プログラムおよび情報処理システムが限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略する。
【0012】
〔1.はじめに〕
クラウド側に存在するソフトウェア等をインターネットを介して利用するクラウドコンピューティングに対して、近年、パソコンやスマートフォン等の端末装置側(エッジデバイス側)でデータ処理を行うエッジコンピューティングのニーズが高まっている。
【0013】
例えば、エッジコンピューティングにより、利用者およびサービス提供者の双方にとって様々なメリットを生む出すことができる。この一例として、エッジコンピューティングでは、ネットワーク接続し、リクエストを送信し、レスポンスを待つというデータの流れが不要となるため遅延時間(レイテンシ)を短縮させることができる。また、エッジコンピューティングでは、圏外エリアでもアプリケーションの実行が可能、データ転送が不要となることからプライバシーを担保可能、サービス提供のため新たなサーバ装置の導入が不要と、サーバ装置を用いる場合でもサーバ装置への負荷を軽減させることが可能等といったメリットもある。
【0014】
ここで、本願は、エッジデバイス側にAI(人工知能)を導入することで、撮像画像に対するエッジデバイス側での推論を行うというサービスを提供することを目的とする。具体的には、人によって行われていた業務を、AIが導入されたエッジデバイスに置き換えることで、生産性向上による人手不足を解消するためのプラットフォームを提供することを目的とする。
【0015】
例えば、ソーシャルディスタンスを確保するという業務を例に挙げると、従来であれば、監視カメラによる映像に対する目視により人が監視を行うしかなかった。しかしながら、上記のようなプラットフォームでは、監視しながらAIによる映像解析ができるような仕組みを導入することができるようになる。また、この結果、例えば、監視者に対して混雑しているエリア、空いているエリアを容易に可視化することができるため、業務遂行を適切にサポートすることができるようになる。
【0016】
なお、このようなプラットフォームの実現においては、IPカメラ(例えば、監視カメラ)と、プラットフォームに対応するサーバ装置との間において、これらを仲介する役割のエッジデバイス(具体的には、AIを用いた推論を行うエッジデバイス)が導入されることとなる。
【0017】
この具体的なイメージについて、店舗に設置される監視カメラを例に説明する。例えば、監視カメラにエッジデバイス(後述する端末装置)が組み合わされた状態で、クラウドに存在するサーバ装置は、エッジデバイスに対して任意のAIアプリケーションを配信しAIアプリケーションを導入させる。この結果、エッジデバイスは、AIアプリケーションの機能に応じた分析(推論)を監視カメラによる撮像画像に対して行い、分析結果(推論結果)をサーバ装置に返す。利用者(例えば、監視カメラの映像を介して監視を行う監視者)は、サーバ装置にアクセスすることで(すなわち、プラットフォームを介して)、店舗における混雑しているエリアや空いているエリアを容易に把握することができるようになる。
【0018】
このように、IPカメラと、エッジデバイスと、サーバ装置とを含むシステムにおいては、撮像画像に対するエッジデバイス側での推論から、推論された結果が利用者に提供されるまでの一連の処理が行われるが、一連の処理が実現されるにあたって、利用者は、AIアプリケーションの配信や、IPカメラとエッジデバイスとの接続に関して、手作業による登録作業等を求められる場合がある。例えば、利用者は、AIアプリケーションの機能とIPカメラの性能と考慮して、AIアプリケーションに対してより最適なIPカメラを適用する作業を求められるが場合があるが、係る作業は容易ではなく、また、店舗に設置されるIPカメラの台数が多いほど作業の負担は大きくなり煩雑さが増すこととなる。
【0019】
AIアプリケーションに対して最適なIPカメラを適用することができないと、一連の処理が適切に行われなくなる恐れがある。このため、本願では、一連の処理が適切に行われるよう最適化するための情報処理が実現される。係る情報処理を実施形態に係る情報処理として以下で詳細に説明する。なお、実施形態に係る情報処理の少なくとも一部は、IPカメラの付近でデータ処理(エッジ処理)を行うエッジコンピュータ(エッジデバイス)によって行われてもよいし、クラウド側に存在するとともに実施形態に係るプラットフォームに対応するクラウドコンピュータ(サーバ装置)によって行われてもよい。
【0020】
したがって、実施形態に係る情報処理であって、エッジコンピュータによって行われるデータ処理については第1の実施形態として説明する。一方、実施形態に係る情報処理であって、クラウドコンピュータによって行われるデータ処理については第2の実施形態として説明する。
【0021】
〔2.システム〕
第1の実施形態、および、第2の実施形態の説明に先立って、まずは、図1を用いて、実施形態に係るシステム構成について説明する。図1は、実施形態に係るシステムの一例を示す図である。図1には、実施形態に係るシステムの一例として、情報処理システム1が示される。
【0022】
図1の例では、情報処理システム1には、端末装置10と、IPカメラ20と、情報処理装置100とが含まれる。また、端末装置10と、IPカメラ20と、情報処理装置100とは所定のネットワークNを介して、有線または無線により通信可能に接続される。なお、情報処理システム1には、任意の数の端末装置10と、任意の数のIPカメラ20と、任意の数の情報処理装置100とが含まれてもよい。
【0023】
また、情報処理システム1において、端末装置10およびIPカメラ20は、エッジ側に存在し、情報処理装置100は、クラウド側に存在する。また、情報処理システム1に示すように、端末装置10は、エッジ側とクラウド側とをつなぐ役割を有する。具体的には、端末装置10は、IPカメラ20と、情報処理装置100との間を仲介する役割を有する。
【0024】
情報処理システム1に含まれる上記の各装置についてより具体的に説明する。端末装置10は、IPカメラ20に接続されるエッジデバイスに対応し、例えば、IPカメラ20とともに所定の施設に設置される。例えば、IPカメラ20を店舗に設置される(または、店舗に設置される予定の)監視カメラであるとすると、端末装置10は、IPカメラ20とともにこの店舗の任意の場所に設置されてよい。
【0025】
また図2で説明するが、端末装置10は、カメラ管理機能および映像管理機能を有する。また、端末装置10は、IPカメラ20によって撮像された撮像画像を分析することで推論(例えば、ソーシャルディスタンスの推定や、不審な行動等の各種イベントの検出)を行うAIアプリケーションが導入される。例えば、AIアプリケーションは、学習済のモデルを用いて撮像画像を分析することで撮像画像から各種の推論を行うことができる。このようなことから、端末装置10は、AIアプリケーションに関する制御を行う制御機能をさらに有してよい。例えば、端末装置10は、AIアプリケーションからの要求に応じて、データの取得や、AIアプリケーションに対するデータの出力等を行うことができる。
【0026】
なお、以下の実施形態では、図1に示すように、端末装置10を端末装置10-1~10-Nのように区別して説明する場合があるが、特に区別なく説明する場合には端末装置10と記載する。
【0027】
また、AIアプリケーションについてはAIアプリと略表記する場合がある。例えば、端末装置10に導入されるAIアプリとしては、防犯対策(不審者検知)用のアプリケーション、人流分析(来店者カウント)用のアプリケーション、コロナウイルス分析(ソーシャルディスタンス/検温/マスク検知)用のアプリケーション等が挙げられる。もちろん、実施形態に係るAIアプリは、これらの例に限定されるものではない。
【0028】
IPカメラ20は、所定の撮像手段の一例であり、撮像で得られた撮像画像を端末装置10に出力する。例えば、IPカメラ20は、端末装置10からのアクセスに応じて撮像画像を出力する。以下の実施形態では、図1に示すように、IPカメラ20をIPカメラ20-11~20-NXのように区別して説明する場合があるが、特に区別なく説明する場合にはIPカメラ20と記載する。
【0029】
情報処理装置100は、クラウドコンピュータ(サーバ装置)に相当し、IPカメラ20により撮像された撮像画像に対する分析結果に応じた情報提供を行う。具体的には、情報処理装置100は、IPカメラ20により撮像された撮像画像についてAIアプリが推論した推論結果に応じた情報を利用者に提供するプラットフォームに対応する。すなわち、情報処理装置100は、プラットフォームサーバともいえる。以下、このような実施形態に係るプラットフォームを、プラットフォームPFとして説明する。
【0030】
例えば、プラットフォームPFを介して提供されるサービスとしては、推論結果に応じた情報提供以外にも例えば次のようなものが挙げられる。例えば、プラットフォームでは、端末装置10とIPカメラ20とを紐付ける紐付操作、紐付け済のIPカメラ20のうちどのIPカメラ20をAIアプリに適用させるかを選択する選択操作、端末装置10にAIアプリをインストールするため導入操作、等といった設定作業を利用者に行わせるためのコンテンツが提供される。なお、ここでいう利用者とは、例えば、店舗のオーナーや、店舗の従業員等であってよい。
【0031】
ここで、各AIアプリには、適用可能なIPカメラ20の条件が定められている。この点について、夜間においてレジ付近を監視するという目的で使用されるアプリケーションであるAIアプリAP1を例に説明する。例えば、AIアプリAP1には、どのような特徴(性能)のIPカメラ20を適用可能かといったカメラ条件として、解像度「HD以上」(解像度「HD」以上のカメラを適用することが好ましい)、暗視機能「○」(暗視機能を有するカメラを適用することが好ましい)、設置目的「レジ」(レジ周辺を撮像する目的で設置されているカメラを適用すべき)、が定められる。
【0032】
したがって、利用者は、例えば、端末装置10にAIアプリAP1を導入したい場合、AIアプリAP1に定められる上記カメラ条件と、店舗に設置するIPカメラ20の特徴(性能)とを比較しながら、AIアプリAP1に対してより最適なIPカメラ20を選択することでこれをAIアプリAP1に適用するという設定作業が必要となる。
【0033】
しかしながら、この作業は時として容易ではなく、また、状況によっては煩雑さも増すこととなる。そこで、この作業にかかる作業負担を軽減するための情報処理が、実施形態に係る情報処理の1つとして、図1に示す情報処理システム1の中で実現される。
【0034】
なお、設定作業を行わせるためのコンテンツは、例えば、プラットフォームPF管理Webといった形で提供される。そして、ここでは利用者は、例えば、アカウント(利用者情報)管理、カメラ(IPカメラ20)管理、デバイス(端末装置10)管理、アルゴリズム(APアプリケーション)管理、システム(情報処理システム1)管理等に関する設定作業を行うことができる。
【0035】
図1の説明に戻る。図1に示す情報処理システム1では、端末装置10-1に対して、IPカメラ20-11、IPカメラ20-12、・・・、IPカメラ20-1Xが接続されている。係る例は、端末装置10-1に対して、IPカメラ20-11、IPカメラ20-12、・・・、IPカメラ20-1Xが紐付けられている例を示す。
【0036】
〔3.実施形態に係る情報処理〕
さて、ここまで図1を用いて、第1の実施形態、および、第2の実施形態の双方に共通する前提内容について説明してきた。ここからは、第1の実施形態にかかる情報処理、第2の実施形態にかかる情報処理それぞれに着目してより具体的に説明する。
【0037】
〔3-1.第1の実施形態〕
第1の実施形態に係る情報処理は、端末装置10を中心として情報処理システム1の中で実行される。以下では、第1の実施形態に係る情報処理について図2図13を用いて説明する。
【0038】
〔3-1-1.端末装置の構成〕
まず、図2を用いて、第1の実施形態に係る端末装置10について説明する。図2は、第1の実施形態に係る端末装置10の構成例を示す図である。図2に示すように、端末装置10は、通信部11と、記憶部12と、アプリケーションAPx、制御部13とを有する。
【0039】
(通信部11について)
通信部11は、例えば、NIC等によって実現される。そして、通信部11は、ネットワークNと有線または無線で接続され、例えば、IPカメラ20、情報処理装置100との間で情報の送受信を行う。
【0040】
(記憶部12について)
記憶部12は、例えば、RAM(Random Access Memory)、フラッシュメモリ等の半導体メモリ素子またはハードディスク、光ディスク等の記憶装置によって実現される。記憶部12は、カメラ情報データベース12aと、アプリ情報データベース12bと、コンテンツバッファ12cとを有する。
【0041】
(カメラ情報データベース12aについて)
カメラ情報データベース12aは、IPカメラ20に関する各種情報を記憶する。カメラ情報データベース12aの内部構成の一例については後述する。
【0042】
(アプリ情報データベース12bについて)
アプリ情報データベース12bは、AIアプリに関する各種情報を記憶する。ここで、図3に第1の実施形態に係るアプリ情報データベース12bの一例を示す。図3の例では、アプリ情報データベース12bは、「アプリID」、「使用用途」、「条件情報」、「適用カメラID」といった項目を有する。
【0043】
「アプリID」は、自装置に導入されているAIアプリを識別する識別情報を示す。「使用用途」は、「アプリID」で識別されるAIアプリがどのような目的で使用されるかを示す情報である。例えば、図3の例では、アプリID「AP1」に対して使用用途「防犯対策」が対応付けられている。係る例は、アプリID「AP1」で識別されるAIアプリ(AIアプリAP1)は、防犯対策用として、モデルを用いた不審者検知を行うアプリケーションである例を示す。
【0044】
「条件情報」は、「アプリID」で識別されるAIアプリに適用可能なIPカメラ20の条件(カメラ条件)を示す。具体的には、「条件情報」は、「アプリID」で識別されるAIアプリには、どのような特徴(性能)のIPカメラ20を適用可能であるかを条件付ける条件情報に相当する。例えば、図3の例では、アプリID「AP1」に対して条件情報「条件情報♯1」が対応付けられている。係る例は、AIアプリAP1には「条件情報♯1」が示すカメラ条件が定められている例を示す。
【0045】
なお、図3では説明を簡単にするために「♯1」を用いて条件情報を概念的に示しているが、実際には、例えば、解像度「HD以上」、暗視機能「○」、設置目的「レジ」といった内容のカメラ条件が定められる。もちろん条件情報は、係る例に限定されず、例えば「使用用途」に応じたものが予め定められてよい。また、「条件情報」は、例えば、AIアプリの開発者によって定められてよい。
【0046】
「適用カメラID」は、自装置に紐付けられているIPカメラ20のうち、「アプリID」で識別されるAIアプリに対して実際に適用されたIPカメラ20を識別する識別情報を示す。例えば、図3の例では、アプリID「AP1」に対して適用カメラID「20-11」が対応付けられている。係る例は、AIアプリAP1には、カメラID「20-11」で識別されるIPカメラ(IPカメラ20-11)が適用(インストール)されている例を示す。すなわち、係る例は、AIアプリAP1が、IPカメラ20-11による撮像画像を用いて推論を行うよう、AIアプリAP1とIPカメラ20-11とが対応付けられている例を示す。
【0047】
(コンテンツバッファ12cについて)
コンテンツバッファ12cは、IPカメラ20によって撮像された撮像画像が一時的にバッファリングされるデータベースである。ここで、図4に第1の実施形態に係るコンテンツバッファ12cの一例を示す。図4の例では、コンテンツバッファ12cは、「カメラID」、「撮像画像」、「タイムスタンプ」といった項目を有する。
【0048】
「カメラID」は、自装置に紐付けられているIPカメラ20を識別する識別情報を示す。「撮像画像」は、「カメラID」で識別されるIPカメラ20によって撮像された撮像画像を示す。例えば、図4の例では、カメラID「20-11」に対して撮像画像「撮像画像♯111」が対応付けられている。係る例は、カメラID「20-11」で識別されるIPカメラ(IPカメラ20-11)が、撮像により撮像画像♯111を取得した例を示す。
【0049】
「タイムスタンプ」は、対応する「撮像画像」が撮像された日時を示す情報である。例えば、図4の例では、「撮像画像♯111」に対して「タイムスタンプ♯111」が対応付けられている。係る例は、「撮像画像♯111」に対して、撮像日時を示す情報が「タイムスタンプ♯111」として付与されている例を示す。なお、タイムスタンプの付与は、端末装置10の映像管理機能によって行われる。
【0050】
(アプリケーションAPxについて)
図2に戻り、アプリケーションAPxは、端末装置10に導入されている任意のAIアプリを示す。図2の例は、端末装置10にAIアプリAP1、AIアプリAP2、AIアプリAP3等が導入されている例を示す。また、係る例に合わせて、図3に示すアプリ情報データベース12bでは、アプリID「AP1」、アプリID「AP2」、アプリID「AP3」・・・が登録されている。
【0051】
また、アプリケーションAPx(AIアプリAPx)は、端末装置10に対して、撮像画像を提供するよう取得要求したり、タイムスタンプを用いた録画範囲で録画するよう録画要求したりすることができる。また、アプリケーションAPxは、この録画範囲で録画された動画像を提供するよう取得要求することもできる。また、アプリケーションAPxは、タイムスタンプを用いて指定した録画範囲を情報処理装置100に送信することもできる。
【0052】
(制御部13について)
制御部13は、CPU(Central Processing Unit)やMPU(Micro Processing Unit)等によって、端末装置10内部の記憶装置に記憶されている各種プログラム(例えば、第1の実施形態に係る情報処理プログラム)がRAMを作業領域として実行されることにより実現される。また、制御部13は、例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路により実現される。
【0053】
また、図3に示すように、制御部13は、カメラ管理機能と、映像管理機能とに分けられてよい。
【0054】
(カメラ管理機能について)
カメラ管理機能は、図2に示すように、紐付部14aと、情報取得部14bと、アプリ制御部14cと、選択部14dと、通知部14eと、推定部14fと、変更要求部14gとを有する。
【0055】
(紐付部14aについて)
紐付部14aは、IPカメラ20との紐付けを行う。例えば、紐付部14aは、利用者により指定されたIPカメラ20と端末装置10との紐付けを行う。例えば、紐付部14aは、プラットフォームPFでの紐付操作により紐付対象のIPカメラ20が選択された場合には、紐付対象のIPカメラ20を示す紐付情報をプラットフォームPFから取得する。そして、紐付部14aは、紐付情報で示されるIPカメラ20と端末装置10とを紐付ける。
【0056】
また、紐付部14aは、紐付けに応じて、カメラ情報データベース12aにおける「カメラID」の更新も行ってよい。また、紐付部14aは、紐付けが完了した旨をプラットフォームPFに通知してよい。これにより利用者は、プラットフォームPFを介して自身の紐付操作に応じた紐付けが正当に行われたことを把握することができるようになる。
【0057】
(情報取得部14bについて)
情報取得部14bは、IPカメラ20のうち、端末装置10に紐付けられた紐付け済のIPカメラ20の特徴を示す特徴情報を取得する。例えば、情報取得部14bは、特徴情報として、紐付け済のIPカメラ20が有する機能を示す機能情報を取得する。また、例えば、情報取得部14bは、特徴情報として、紐付け済のIPカメラ20が有する機能に応じて設定されている設定内容を取得してもよい。
【0058】
また、例えば、情報取得部14bは、特徴情報として、紐付け済のIPカメラ20がどのような対象を撮像することを目的として設置されているか設置目的を示す目的情報を取得してもよい。ここで、後述する推定部14fは、紐付け済のIPカメラ20により撮像された撮像画像に基づいて、当該紐付け済のIPカメラ20による撮像対象を推定することができる。このため、情報取得部14bは、紐付け済のIPカメラ20が、推定部14fにより推定された撮像対象を撮像することを目的として設置されていることを示す目的情報を取得してもよい。
【0059】
また、情報取得部14bは、カメラ情報データベース12aから特徴情報を取得してよい。例えば、カメラ情報データベース12aでは、紐付け済のIPカメラ20ごとに特徴情報が対応付けられてよく、情報取得部14bは、紐付け済のIPカメラ20と、このIPカメラ20の特徴情報との組を取得する。
【0060】
(アプリ制御部14cについて)
アプリ制御部14cは、自装置に対して利用者が導入しようとしている導入候補のAIアプリに関する制御処理を行う。例えば、アプリ制御部14cは、プラットフォームPFでの利用者の導入操作に応じて、利用者が導入しようとしている導入候補のAIアプリを認識する。また、アプリ制御部14cは、導入候補のAIアプリを認識すると、このAIアプリに適用可能なIPカメラ20の条件であるカメラ条件を示す条件情報を取得する。例えば、アプリ制御部14cは、アプリ情報データベース12bから条件情報を取得する。
【0061】
また、ここで、選択部14dによって導入候補のAIアプリに応じたIPカメラ20が条件情報に基づき選択される。選択されたIPカメラ20は、プラットフォームPFを介して利用者に提案される。提案されたIPカメラ20の中から適用対象のIPカメラ20がプラットフォームPF上で利用者により指定されたとすると、導入候補のAIアプリがプラットフォームPFから配信される。よって、アプリ制御部14cは、例えば、配信されてきたAIアプリを端末装置10に導入してよい。
【0062】
また、アプリ制御部14cは、導入したAIアプリに対して、適用対象のIPカメラ20を適用する。例えば、アプリ制御部14cは、導入したAIアプリが、適用対象のIPカメラ20による撮像画像を用いて推論を行うよう、AIアプリとIPカメラ20とを対応付ける。また、アプリ制御部14cは、対応付けた結果をアプリ情報データベース12bに登録する。
【0063】
(選択部14dについて)
選択部14dは、紐付け済のIPカメラ20の中から、AIアプリに適用可能なIPカメラ20をフィルタリングするためのフィルタリング処理を行う。例えば、選択部14dは、情報取得部14bにより取得された特徴情報と、導入候補のAIアプリに定められるカメラ条件を示す条件情報とに基づいて、紐付け済のIPカメラ20の中から導入候補のAIアプリに応じたIPカメラ20を選択する。
【0064】
具体的な一例としては、例えば、情報取得部14bは、紐付け済のIPカメラ20ごとに特徴情報が対応付けられたカメラ情報データベース12aから、紐付け済のIPカメラ20と特徴情報との組を取得する。選択部14dは、情報取得部14bにより取得された組のうち、カメラ条件を示す条件情報を満たす特徴情報を含む組を特定することで、特定した組に含まれる紐付け済のIPカメラ20を、導入候補のAIアプリに応じたIPカメラ20として選択する。
【0065】
(通知部14eについて)
通知部14eは、選択部14dにより選択されたIPカメラ20を、導入候補のAIアプリに適用可能なIPカメラ20としてプラットフォームPF(情報処理装置100)に通知する。プラットフォームPFでは、選択部14dにより選択されたIPカメラ20が、導入候補のAIアプリに適用可能なIPカメラ20として利用者に提案される。例えば、プラットフォームPFでは、選択部14dにより選択されたIPカメラ20のうち、いずれかのIPカメラ20を利用者が指定できるよう指定可能な状態で、このIPカメラ20が候補として一覧表示される。なお、通知部14eは、係る例以外の通知も行ってよい。
【0066】
(推定部14fについて)
推定部14fは、紐付け済のIPカメラ20がどのような対象を撮像することを目的として設置されているか設置目的を示す目的情報をタグ付けするタグ付け処理を行う。例えば、推定部14fは、紐付け済のIPカメラ20により撮像された撮像画像に基づいて、当該紐付け済のIPカメラ20による撮像対象を推定する。例えば、推定部14fは、紐付け済のIPカメラ20により撮像された撮像画像に対してAI(人工知能)を用いた画像処理を行うことで、当該紐付け済のIPカメラ20による撮像対象を推定する。
【0067】
例えば、推定部14fは、複数のIPカメラ20が紐付けられている場合には、紐付け済のIPカメラ20それぞれが撮像した撮像画像に基づいて、紐付け済のIPカメラ20ごとに当該紐付け済のIPカメラ20による撮像対象を推定することができる。
【0068】
また、推定部14fは、紐付け済のIPカメラ20を識別する識別情報(カメラID)に対して、このIPカメラ20について推定した撮像対象を示す情報をタグ付けする。例えば、推定部14fは、カメラ情報データベース12aにおいて係るタグ付けを行う。
【0069】
(変更要求部14gについて)
変更要求部14gは、IPカメラ20に設定されている設定内容がカメラ条件を満たすよう変更させる設定内容変更処理を行う。例えば、変更要求部14gは、紐付け済のIPカメラ20に対して設定されている設定内容が、カメラ条件を満たしているか否かを判定し、満たしていないと判定した場合には、このカメラ条件を満たすように設定内容を変更するようIPカメラ20に対して要求する。
【0070】
(映像管理機能について)
映像管理機能は、図2に示すように、画像取得部15aと、付与部15bと、出力部15cと、録画部15dと、送信部15eとを有する。
【0071】
(画像取得部15aについて)
画像取得部15aは、端末装置10に導入されるアプリケーションであって、学習済のモデルを用いて画像を分析するアプリケーション(すなわち、AIアプリ)からの要求に応じて、IPカメラ20により撮像された撮像画像を取得する。画像取得部15aは、AIアプリからの要求に応じて、IPカメラ20から直接撮像画像を取得してもよいし、撮像画像が所定の記憶部に格納される場合にはそこから撮像画像を取得してもよい。
【0072】
(付与部15bについて)
付与部15bは、画像取得部15aにより取得された撮像画像に対して、当該撮像画像が撮像された日時のタイムスタンプを付与する。例えば、付与部15bは、撮像画像に対して、撮像時刻のタイムスタンプを付与する。
【0073】
(出力部15cについて)
出力部15cは、画像取得部15aにより取得された撮像画像を分析するよう、要求元のAIアプリに対して撮像画像を出力する。例えば、出力部15cは、付与部15bによりタイムスタンプが付与された付与済の撮像画像を分析するよう要求元のアプリに対して出力する。より具体的には、出力部15cは、付与済の撮像画像を複製し、複製した一方の撮像画像をAIアプリに対して出力するとともに、複製した他方の撮像画像をコンテンツバッファ12cに格納する。
【0074】
(録画部15dについて)
録画部15dは、出力部15cにより複製された撮像画像が出力された出力先のAIアプリ(要求元のAIアプリ)から、録画要求が受け付けられた場合に、受け付けられた録画要求に含まれる録画範囲であって、タイムスタンプを用いてこのAIアプリが指定した録画範囲に対応する撮像画像を動画像として録画する。例えば、録画部15dは、録画要求に応じて、コンテンツバッファ12cにおいて一時保存されている撮像画像のうち、録画要求に含まれる録画範囲に対応する撮像画像を動画像として録画する。
【0075】
(送信部15eについて)
送信部15eは、録画部15dにより録画された動画像を、当該動画像の取得を要求した要求元に送信する。
【0076】
ここで、上記の通り、AIアプリは、タイムスタンプを用いて指定した録画範囲を情報処理装置100に送信することができる。したがって、送信部15eは、AIアプリを送信元とするこの録画範囲を含む取得要求が情報処理装置100から受け付けられた場合には、録画部15dにより録画された動画像のうち、取得要求に含まれる録画範囲に対応する動画像を抽出し、抽出した動画像を情報処理装置100に送信する。
【0077】
一方、送信部15eは、録画範囲を含む取得要求がAIアプリから受け付けられた場合には、録画部15dにより録画された動画像のうち、当該取得要求に含まれる録画範囲に対応する動画像を抽出し、抽出した動画像をAIアプリに送信してもよい。
【0078】
〔3-1-2.フィルタリング処理〕
続いて、図5を用いて、選択部14dによって行われるフィルタリング処理の具体例について説明する。図5は、第1の実施形態に係るフィルタリング処理の一例を示す図である。図5では、所定の店舗の従業員である利用者U1が、端末装置10-1にAIアプリAP1を導入しようとしている(すなわち、AIアプリAP1は、導入候補のAIアプリ)ことに応じて、AIアプリAP1に応じたIPカメラ20が紐付け済のIPカメラ20の中から選択される場面が示される。また、図5の例によれば、端末装置10-1に紐付けられている紐付け済のIPカメラ20は、IPカメラ20-11、IPカメラ20-12、IPカメラ20-13、IPカメラ20-14である例が示される。
【0079】
まず、端末装置10が有するカメラ情報データベース12aについて説明する。図5の例では、カメラ情報データベース12aは、「カメラID」、「特徴情報」といった項目を有する。また、「特徴情報」には、「解像度設定値」、「暗視機能」、「設置目的」といった項目が含まれる。
【0080】
「カメラID」は、端末装置10-1に紐付けられているIPカメラ20を識別する識別情報を示す。したがって、図5の例では、カメラID「20-11」、「20-12」、「20-13」、「20-14」が登録されている。
【0081】
「特徴情報」は、紐付け済のIPカメラ20が有する機能を示す機能情報であってよい。また、「特徴情報」は、紐付け済のIPカメラ20が有する機能に応じて設定されている設定内容であってよい。また、「特徴情報」は、紐付け済のIPカメラ20がどのような対象を撮像することを目的として設置されているか設置目的を示す目的情報であってよい。
【0082】
また、「特徴情報」の具体的な一例としては次のようなものが挙げられる。例えば、「特徴情報」としては、コーデック設定値、解像度設定値、フレームレート設定値、圧縮率設定値、ビットレート設定値、音声機能有無、音声機能「ON/OF」、PTZ(パンチルトズーム)有無、PTZ機能「ON/OFF」、WDR(ワイドダイナミックレンジ)機能有無、WDR機能「ON/OFF」、暗視機能有無、暗視機能「ON/OFF」、といったものが挙げられる。
【0083】
図5に示すカメラ情報データベース12aの例では、カメラID「20-11」に対して、「特徴情報」として、解像度設定値「フルHD」、暗視機能「-」、設置目的「レジ」が対応付けられている例が示される。係る例は、IPカメラ20-11は、解像度設定値が「フルHDに対応する値」に設定され、暗視機能は「無し」であり、また、「レジを撮像する目的(撮像対象「レジ」)」で設置されている、という特徴にある例を示す。
【0084】
また、図5に示すカメラ情報データベース12aの例では、カメラID「20-12」に対して、「特徴情報」として、解像度設定値「フルHD」、暗視機能「○」、設置目的「レジ」が対応付けられている例が示される。係る例は、IPカメラ20-12は、解像度設定値が「フルHDに対応する値」に設定され、暗視機能は「有り」であり、また、「レジを撮像する目的(撮像対象「レジ」)」で設置されている、という特徴にある例を示す。
【0085】
IPカメラ20-13、IPカメラ20-14については、上記例に倣って説明可能であることから詳細な説明を省略する。
【0086】
次に、導入候補のAIアプリAP1に定められる条件情報について説明する。ここでいう条件情報とは、AIアプリAP1に適用可能なIPカメラ20の条件であるカメラ条件を示すものである。具体的には、条件情報は、AIアプリAP1には、どのような特徴(性能)のIPカメラ20を適用可能であるかを条件付ける条件情報に相当する。図5の例では、AIアプリAP1に「HD以上」、「暗視機能」、「レジ向け」といったカメラ条件が定められている。係る例は、AIアプリAP1が、撮影画像から適切に推論を行うには、解像度設定値「HDに対応する値以上」、暗視機能「有り」、設置目的「レジ」という特徴のIPカメラ20を適用させることが条件である例を示す。
【0087】
このような状態において、例えば、情報取得部14bにより図5のような特徴情報が取得されると、選択部14dは、導入候補のAIアプリAP1に定められるカメラ条件と、情報取得部14bにより取得された特徴情報が示すカメラ特徴とに基づいて、IPカメラ20-11、IPカメラ20-12、IPカメラ20-13、IPカメラ20-14の中からAIアプリAP1に応じたIPカメラ20を選択する。具体的には、選択部14dは、AIアプリAP1に定められるカメラ条件と、IPカメラ20-11、IPカメラ20-12、IPカメラ20-13、IPカメラ20-14それぞれのカメラ特徴とのマッチングにより、カメラ条件を満たす特徴を有するIPカメラ20を選択する。
【0088】
図5の例によれば、選択部14dは、IPカメラ20-11、IPカメラ20-12、IPカメラ20-13、IPカメラ20-14の中から、IPカメラ20-12およびIPカメラ20-13を選択することができる。
【0089】
〔3-1-3.フィルタリング結果に応じた提案〕
次に、図6を用いて、フィルタリング結果に応じた情報提案について説明する。図6は、フィルタリング結果に応じた情報提案の一例を示す図である。図6で説明する情報処理は、図5のフィルタリング処理に引き続き行われるものであってよい。
【0090】
また、図5では、利用者U1を従業員とする店舗に設置される端末装置10のうち、端末装置10-1のみに着目してフィルタリング処理を説明した。これに対して、図6には、端末装置10-1だけでなく、端末装置10-2、端末装置10-3についてもそれぞれフィルタリング処理が行われた結果が示される。
【0091】
具体的には、図6の例では、端末装置10-1には、IPカメラ20-11、IPカメラ20-12、IPカメラ20-13、IPカメラ20-14が紐付けられており、この中からIPカメラ20-12およびIPカメラ20-13が選択された例が示される。係る例は図5の通りである。また、図6の例では、端末装置10-2には、IPカメラ20-21、IPカメラ20-22、IPカメラ20-23、IPカメラ20-24が紐付けられており、この中からIPカメラ20-22およびIPカメラ20-23が選択された例が示される。また、図6の例では、端末装置10-3には、IPカメラ20-31、IPカメラ20-32、IPカメラ20-33、IPカメラ20-34が紐付けられており、この中からIPカメラ20-32およびIPカメラ20-33が選択された例が示される。
【0092】
このような状態において、情報処理装置100は、カメラ情報を提供するよう端末装置10-1、10-2および10-3それぞれに対して取得要求する。ここでいうカメラ情報とは、フィルタリング処理により選択されたIPカメラ20を示す情報(例えば、カメラID)であってよい。
【0093】
端末装置10-1は、フィルタリング処理によりIPカメラ20-12およびIPカメラ20-13を選択している。このため、端末装置10-1の通知部14eは、情報処理装置100からの取得要求に応じて、例えば、カメラID「20-12」およびカメラID「20-13」を含むカメラ情報を情報処理装置100に送信する。
【0094】
また、端末装置10-2は、フィルタリング処理によりIPカメラ20-22およびIPカメラ20-23を選択している。このため、端末装置10-2の通知部14eは、情報処理装置100からの取得要求に応じて、例えば、カメラID「20-22」およびカメラID「20-23」を含むカメラ情報を情報処理装置100に送信する。
【0095】
また、端末装置10-3は、フィルタリング処理によりIPカメラ20-32およびIPカメラ20-33を選択している。このため、端末装置10-3の通知部14eは、情報処理装置100からの取得要求に応じて、例えば、カメラID「20-32」およびカメラID「20-33」を含むカメラ情報を情報処理装置100に送信する。
【0096】
情報処理装置100は、各端末装置10からカメラ情報を取得すると、取得したカメラ情報で示されるIPカメラ20(すなわち、各端末装置10がフィルタリング処理で選択したIPカメラ20)を、導入候補のAIアプリAP1に適用可能なIPカメラ20として利用者U1に提案する。例えば、情報処理装置100は、図6に示すように、カメラ情報で示されるIPカメラ20のうち、いずれかのIPカメラ20を利用者U1が指定できるよう指定可能な状態で、このIPカメラ20を候補として一覧表示させる。例えば、情報処理装置100は、利用者U1が有するスマートフォンT1に対して、候補のIPカメラ20を一覧表示させることができる。
【0097】
ここで、利用者U1は、提案された候補のIPカメラ20の中から、適用対象のIPカメラ20として例えばIPカメラ20-12、IPカメラ20-22およびIPカメラ20-32を指定したとする。係る場合、情報処理装置100は、IPカメラ20-12、IPカメラ20-22およびIPカメラ20-32が指定されたことを示す指定情報を受け付ける。
【0098】
そして、情報処理装置100は、受け付けた指定情報に基づいて、AIアプリAP1を端末装置10-1、10-2および10-3それぞれに配信する。例えば、情報処理装置100は、IPカメラ20-12を識別するカメラIDとともにAIアプリAP1を端末装置10-1に配信する。また、情報処理装置100は、IPカメラ20-22を識別するカメラIDとともにAIアプリAP1を端末装置10-2に配信する。また、情報処理装置100は、IPカメラ20-32を識別するカメラIDとともにAIアプリAP1を端末装置10-1に配信する。
【0099】
端末装置10-1のアプリ制御部14cは、情報処理装置100から配信されたAIアプリAP1が受け付けられると、AIアプリAP1を端末装置10-1に導入する。また、アプリ制御部14cは、導入したAIアプリAP1に対して、利用者U1が指定した適用対象のIPカメラ20-12を適用する。
【0100】
同様に、端末装置10-2のアプリ制御部14cは、情報処理装置100から配信されたAIアプリAP1が受け付けられると、AIアプリAP1を端末装置10-2に導入する。また、アプリ制御部14cは、導入したAIアプリAP1に対して、利用者U1が指定した適用対象のIPカメラ20-22を適用する。
【0101】
また、端末装置10-3のアプリ制御部14cは、情報処理装置100から配信されたAIアプリAP1が受け付けられると、AIアプリAP1を端末装置10-3に導入する。そして、アプリ制御部14cは、導入したAIアプリAP1に対して、利用者U1が指定した適用対象のIPカメラ20-32を適用する。
【0102】
〔3-1-4.タグ付け処理〕
次に、図7を用いて、推定部14fによって行われるタグ付け処理の具体例について説明する。図7は、第1の実施形態に係るタグ付け処理の一例を示す図である。図7に示すタグ付け処理は、例えば、図5に示したフィルタリング処理が行われるよりも前に事前処理として実行されてよい。したがって、図7では、端末装置10-1が、図5のフィルタリング処理に対する事前処理として、タグ付け処理を行う場面が示される。
【0103】
例えば、推定部14fは、端末装置10-1に対してIPカメラ20-11、IPカメラ20-12、IPカメラ20-13、IPカメラ20-14が紐付けられていることに応じて、これら各IPカメラ20によって撮像された撮像画像を取得する。図7には、推定部14fが、IPカメラ20-11から撮像画像♯111を取得し、IPカメラ20-12から撮像画像♯121を取得し、IPカメラ20-13から撮像画像♯131を取得し、IPカメラ20-14から撮像画像♯141を取得した例が示される。
【0104】
そして、推定部14fは、取得した撮像画像に基づいて、各IPカメラ20による撮像対象を推定する。具体的には、推定部14fは、撮像画像♯111に対してAIを用いた画像処理を行うことで、IPカメラ20-11による撮像対象を推定する。また、推定部14fは、撮像画像♯121に対してAIを用いた画像処理を行うことで、IPカメラ20-12による撮像対象を推定する。また、推定部14fは、撮像画像♯131に対してAIを用いた画像処理を行うことで、IPカメラ20-13による撮像対象を推定する。また、推定部14fは、撮像画像♯141に対してAIを用いた画像処理を行うことで、IPカメラ20-14による撮像対象を推定する。
【0105】
図7の例では、推定部14fは、IPカメラ20-11による撮像対象は「レジ」であると推定し、IPカメラ20-12による撮像対象は「レジ」であると推定し、IPカメラ20-13による撮像対象は「レジ」であると推定し、IPカメラ20-14による撮像対象は「入り口」であると推定したとする。係る例では、推定部14fは、IPカメラ20-11を識別するカメラIDに対して、撮像対象「レジ」を示す情報を目的情報としてタグ付けする。また、推定部14fは、IPカメラ20-12を識別するカメラIDに対して、撮像対象「レジ」を示す情報を目的情報としてタグ付けする。また、推定部14fは、IPカメラ20-13を識別するカメラIDに対して、撮像対象「レジ」を示す情報を目的情報としてタグ付けする。また、推定部14fは、IPカメラ20-14を識別するカメラIDに対して、撮像対象「入り口」を示す情報を目的情報としてタグ付けする。なお、このようなタグ付けは、図7に示すように、端末装置10-1が有するカメラ情報データベース12a内で行われてよい。
【0106】
〔3-1-5.タグ付け処理の変形例〕
続いて、図7で説明したタグ付け処理の変形例について図8を用いて説明する。図8は、第1の実施形態に係るタグ付け処理の変形例を示す図である。図8にて変形例として示すタグ付け処理では、撮像対象の推定自体は図7と同様に端末装置10-1側で行われる一方で、推定結果に応じたタグ付けは情報処理装置100が有するカメラ情報データベース121内で行われる点が異なる。
【0107】
情報処理装置100が有するカメラ情報データベース121の内部構成は、カメラ情報データベース12aと同様であってよく詳細な説明については省略する。なお、カメラ情報データベース121には、各端末装置10のカメラ情報データベース12aが含まれる。例えば、図6の例を用いると、カメラ情報データベース121には、端末装置10-1のカメラ情報データベース12a、端末装置10-2のカメラ情報データベース12a、端末装置10-3のカメラ情報データベース12aがそれぞれ含まれる。
【0108】
図8の例について具体的に説明する。図7の例と同様に、推定部14fは、IPカメラ20-11による撮像対象は「レジ」であると推定し、IPカメラ20-12による撮像対象は「レジ」であると推定し、IPカメラ20-13による撮像対象は「レジ」であると推定し、IPカメラ20-14による撮像対象は「入り口」であると推定したとする。
【0109】
そうすると、推定部14fは、カメラ情報データベース121にアクセスし、IPカメラ20-11を識別するカメラIDに対して、撮像対象「レジ」を示す情報を設置目的として対応付けて登録する。また、推定部14fは、IPカメラ20-12を識別するカメラIDに対して、撮像対象「レジ」を示す情報を設置目的として対応付けて登録する。また、推定部14fは、IPカメラ20-13を識別するカメラIDに対して、撮像対象「レジ」を示す情報を設置目的として対応付けて登録する。また、推定部14fは、IPカメラ20-14を識別するカメラIDに対して、撮像対象「入り口」を示す情報を設置目的として対応付けて登録する。
【0110】
〔3-1-6.設定内容変更処理〕
続いて、図9を用いて、変更要求部14gによって行われる設定内容変更処理の具体例について説明する。図9は、第1の実施形態に係る設定内容変更処理の一例を示す図である。図9に示す設定内容変更処理は、例えば、図5に示したフィルタリング処理が行われるよりも前に事前処理として実行されてよい。したがって、図8では、端末装置10-1が、図5のフィルタリング処理に対する事前処理として、設定内容変更処理を行う場面が示される。なお、図9では、説明を簡単にするために、端末装置10-1に紐付けられているIPカメラ20のうち、IPカメラ20-12に着目した例を用いて説明することにする。
【0111】
例えば、変更要求部14gは、IPカメラ20-12に対して現在設定されている設定内容と、AIアプリAP1に定められるカメラ条件とに基づいて、設定内容がカメラ条件を満たしているか否かを判定する。図9の例では、変更要求部14gは、IPカメラ20-12の設定内容として解像度設定値「SD」と、カメラ条件「HD以上」とを比較し、解像度設定値「SD」がカメラ条件「HD以上」を満たしているか否かを判定する。係る例では、変更要求部14gは、設定内容がカメラ条件を満たしていないと判定する。
【0112】
また、このように判定した場合、変更要求部14gは、カメラ条件を満たすよう設定内容を変更することを、IPカメラ20-12に対して要求する。具体的には、変更要求部14gは、解像度設定値を変更するようIPカメラ20-12に対して要求する。より具体的には、変更要求部14gは、現在の解像度設定値「SD」を例えば「HD」へと変更するよう要求する。
【0113】
ここで、例えば、変更要求部14gは、IPカメラ20-12が解像度設定値を「SDに対応する値」から「HDに対応する値」へと変更したことを認識すると、図9に示すように、カメラ情報データベース12aに登録されている設定内容(解像度設定値)を、IPカメラ20-12による変更結果に応じて更新する。
【0114】
〔3-1-7.映像管理機能の具体例〕
ここからは、端末装置10が有する映像管理機能の具体例について、図10図13を用いて説明する。映像管理機能では、AIアプリからの要求に応じて撮像画像が取得され、取得された撮像画像がAIアプリに出力される。また、映像管理機能では、出力された撮像画像に対してAIアプリが推論した推論結果が、プラットフォームPFを介して利用者に提供されるための処理が行われる。図10図13では、これらの一連の処理について手順を追って説明する。
【0115】
なお、図10図13では、IPカメラ20-12と、端末装置10-1と、端末装置10-1に導入されているAIアプリとを例に用いて、映像管理機能を説明する。
【0116】
まず、図10に示される情報処理について説明する。図10は、映像管理機能によって実現される情報処理の一例(1)を示す図である。例えば、画像取得部15aは、AIアプリからの要求に応じて、IPカメラ20-12によって撮像された撮像画像を取得する(ステップS101)。図10の例によれば、画像取得部15aは、AIアプリAP1、AIアプリAP2それぞれからの要求に応じて、IPカメラ20-12によって撮像された撮像画像を取得することができる。
【0117】
付与部15bは、画像取得部15aにより撮像画像が取得されると、取得された撮像画像が撮像された時刻である撮像時刻を検出する(ステップS102)。そして、付与部15bは、検出した撮像時刻のタイムスタンプを撮像画像に付与する(ステップS103)。
【0118】
次に、出力部15cは、タイムスタンプが付与された付与済の撮像画像を複製する(ステップS104)。そして、出力部15cは、複製した一方の撮像画像(コピー画像)をAIアプリに対して出力する(ステップS105)。図10の例では、出力部15cは、AIアプリAP1、AIアプリAP2それぞれに対して、コピー画像を出力することができる。また、出力部15cは、複製したもう一方の撮像画像(コピー画像)をコンテンツバッファ12cに格納する(ステップS106)。
【0119】
コンテンツバッファ12cでは、これまでに格納されたコピー画像のうち、最新の所定期間分のコピー画像が保持される(ステップS107)。具体的には、コンテンツバッファ12cでは、最新のコピー画像から遡って過去所定期間分のコピー画像が保持されるよう、撮像時刻が古いコピー画像が順次削除されてゆく。
【0120】
次に、図11に示される情報処理について説明する。図11は、映像管理機能によって実現される情報処理の一例(2)を示す図である。図11に示される情報処理は、図10の情報処理に引き続き行われる。例えば、AIアプリ(AIアプリAP1、AP2)は、学習済のモデルを用いてコピー画像に対する推論を行う(ステップS111)ことで、所定のイベントを検出する(ステップS112)。例えば、AIアプリは、防犯対策(不審者検知)用のアプリケーションであるとすると、コピー画像に写される人物ごとに不審な行動を行っているか否か推論し、推論結果に応じて不審者を検出する。
【0121】
AIアプリは、所定のイベントを検出すると、このイベントが検出されたコピー画像に付与されるタイムスタンプに基づき録画範囲を指定し、指定した録画範囲で録画するよう映像管理機能に対して録画要求する(ステップS113)。図11には、AIアプリが録画範囲「XX:XX:XX - YY:YY:YY」を指定した例が示される。
【0122】
録画部15dは、映像管理機能により録画要求が受け付けられると、コンテンツバッファ12cに格納されるコピー画像のうち、録画要求に含まれる録画範囲に対応するコピー画像を動画像として録画する(ステップS114)。図11には、録画部15dが録画により動画像VD1を生成した例が示される。
【0123】
また、AIアプリは、ステップS112で所定のイベントを検出したことに応じて、ステップS113で指定した録画範囲を情報処理装置100に送信する(ステップS115)。これによりAIアプリは、イベントの発生を情報処理装置100に通知する。
【0124】
次に、図12に示される情報処理について説明する。図12は、映像管理機能によって実現される情報処理の一例(3)を示す図である。図12に示される情報処理は、図11の情報処理に引き続き行われる。
【0125】
まず、図11のステップS115によれば、情報処理装置100は、AIアプリから録画範囲(録画範囲「XX:XX:XX - YY:YY:YY」)を受け付けている。したがって、係る録画範囲は、AIアプリを送信元とする録画範囲に相当する。
【0126】
このような状態において、情報処理装置100は、AIアプリを送信元とするこの録画範囲を用いて、この録画範囲で録画された動画像(すなわち、動画像VD1)を提供するよう端末装置10-1に対して取得要求する(ステップS121)。ここで、プラットフォームPFに対応する情報処理装置100は、イベントの状況が映された動画像を提供するよう要求する提供要求を利用者から受け付けることができる。したがって、情報処理装置100は、例えば、利用者から提供要求を受け付けた場合に、端末装置10-1に対して取得要求してよい。
【0127】
送信部15eは、AIアプリを送信元とする録画範囲を含む取得要求が情報処理装置100から受け付けられた場合には、録画部15dにより録画された動画像のうち、当該取得要求に含まれる録画範囲に対応する動画像である動画像VD1を抽出し、抽出した動画像VD1を情報処理装置100に送信する(ステップS122)。
【0128】
ここで、図12では、情報処理装置100が端末装置10に対して取得要求することで、送信部15eがこの取得要求に応じて動画像を送信する例を示した。しかしながら、AIアプリが、映像管理機能に対して直接取得要求することで動画像を取得し、取得した動画像を情報処理装置100にプッシュ通知してもよい。この点について、図13を用いて説明する。図13は、映像管理機能によって実現される情報処理の一例(4)を示す図である。
【0129】
例えば、AIアプリは、ステップS113(図11)で指定した録画範囲を用いて、この録画範囲で録画された動画像(すなわち、動画像VD1)を提供するよう映像管理機能に対して取得要求する(ステップS131)。
【0130】
送信部15eは、取得要求がAIアプリから受け付けられた場合には、録画部15dにより録画された動画像のうち、当該取得要求に含まれる録画範囲に対応する動画像である動画像VD1を抽出し、抽出した動画像VD1を情報処理装置100に送信する(ステップS132)。
【0131】
AIアプリは、動画像VD1を取得すると、取得した動画像VD1を情報処理装置100に対してプッシュ通知する(ステップS133)。情報処理装置100は、プッシュ通知された動画像VD1を所定の記憶部に格納しておき、例えば、利用者から提供要求を受け付けた場合には、動画像VD1を利用者に提供することができる。
【0132】
〔3-1-8.まとめ〕
第1の実施形態に係る端末装置10は、IPカメラ20と、IPカメラ20により撮像された撮像画像に対する分析結果に応じた情報提供を行う情報処理装置100との間を中継するエッジデバイスである。そして、端末装置10は、自装置に導入されるAIアプリ(すなわち、学習済のモデルを用いて画像を分析するアプリケーション)からの要求に応じて、IPカメラ20により撮像された撮像画像を取得、取得した撮像画像を分析するようAIアプリに対して出力する。
【0133】
このような第1の実施形態に係る端末装置10によれば、撮像画像に対するエッジデバイス側での推論から、推論された結果が利用者に提供されるまでの一連の処理が適切に行われるよう最適化することができる。
【0134】
〔3-2.第2の実施形態〕
以下では、第2の実施形態について説明する。第2の実施形態では、端末装置10側で行われるものとして説明した処理の一部が情報処理装置100側で行われてもよい点で第1の実施形態とは異なる。
【0135】
〔3-2-1.情報処理装置の構成〕
まず、図14を用いて、第2の実施形態に係る情報処理装置100について説明する。図14は、第2の実施形態に係る情報処理装置100の構成例を示す図である。図14に示すように、情報処理装置100は、通信部110と、記憶部120と、制御部130とを有する。
【0136】
(通信部110について)
通信部110は、例えば、NIC等によって実現される。そして、通信部110は、ネットワークNと有線または無線で接続され、例えば、IPカメラ20、端末装置10との間で情報の送受信を行う。
【0137】
(記憶部12について)
記憶部12は、例えば、RAM(Random Access Memory)、フラッシュメモリ等の半導体メモリ素子またはハードディスク、光ディスク等の記憶装置によって実現される。記憶部12は、少なくともカメラ情報データベース121を有する。
【0138】
(カメラ情報データベース121について)
カメラ情報データベース121は、IPカメラ20に関する各種情報を記憶する。カメラ情報データベース121の内部構成は、図6等に示すカメラ情報データベース12aの内部構成の同様であってよい。ただし、カメラ情報データベース121には、各端末装置10のカメラ情報データベース12aが含まれてよい。例えば、図6の例を用いると、カメラ情報データベース121には、端末装置10-1のカメラ情報データベース12a、端末装置10-2のカメラ情報データベース12a、端末装置10-3のカメラ情報データベース12aがそれぞれ含まれてよい。
【0139】
(制御部130について)
制御部130は、CPUやMPU等によって、端末装置10内部の記憶装置に記憶されている各種プログラム(例えば、第2の実施形態に係る情報処理プログラム)がRAMを作業領域として実行されることにより実現される。また、制御部130は、例えば、ASICやFPGA等の集積回路により実現される。
【0140】
図14に示すように、制御部130は、情報取得部131bと、アプリ制御部131cと、選択部131dと、推定部131fと、表示制御部131hとを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部130の内部構成は、図14に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。また、制御部130が有する各処理部の接続関係は、図14に示した接続関係に限られず、他の接続関係であってもよい。
【0141】
なお、図14では不図示であるが、制御部130は、例えば、図10図13において情報処理装置100が行うものとして説明した処理を実現する処理部がさらに含まれてよい。
【0142】
また、情報取得部131bは、端末装置10の情報取得部14bに対応する処理部である。また、アプリ制御部131cは、アプリ制御部14cに対応する処理部である。また、選択部131dは、端末装置10の選択部14dに対応する処理部である。また、推定部131fは、端末装置10の推定部14fに対応する処理部である。
【0143】
(情報取得部131bについて)
情報取得部131bは、第2取得部に相当する処理部であり、端末装置10に紐付けられた紐付け済のIPカメラ20の特徴を示す特徴情報を端末装置10から取得する。例えば、情報取得部131bは、特徴情報として、紐付け済のIPカメラ20が有する機能を示す機能情報を取得する。また、例えば、情報取得部131bは、特徴情報として、紐付け済のIPカメラ20が有する機能に応じて設定されている設定内容を取得してもよい。
【0144】
また、例えば、情報取得部131bは、特徴情報として、紐付け済のIPカメラ20がどのような対象を撮像することを目的として設置されているか設置目的を示す目的情報を取得してもよい。ここで、後述する推定部131fは、紐付け済のIPカメラ20により撮像された撮像画像に基づいて、当該紐付け済のIPカメラ20による撮像対象を推定することができる。このため、情報取得部131bは、紐付け済のIPカメラ20が、推定部131fにより推定された撮像対象を撮像することを目的として設置されていることを示す目的情報を取得してもよい。
【0145】
また、情報取得部131bは、カメラ情報データベース121から特徴情報を取得してよい。例えば、カメラ情報データベース121では、紐付け済のIPカメラ20ごとに特徴情報が対応付けられてよく、情報取得部131bは、紐付け済のIPカメラ20と、このIPカメラ20の特徴情報との組を取得する。
【0146】
(アプリ制御部131cについて)
アプリ制御部131cは、利用者が導入しようとしている導入候補のAIアプリに関する制御処理を行う。例えば、アプリ制御部131cは、利用者の導入操作に応じて、利用者が導入しようとしている導入候補のAIアプリを認識する。また、アプリ制御部131cは、導入候補のAIアプリを認識すると、このAIアプリに適用可能なIPカメラ20の条件であるカメラ条件を示す条件情報を取得する。例えば、アプリ制御部131cは、対応する端末装置10が有するアプリ情報データベース12bから条件情報を取得する。
【0147】
また、ここで、選択部131dによって導入候補のAIアプリに応じたIPカメラ20が条件情報に基づき選択される。選択されたIPカメラ20は、プラットフォームPFを介して利用者に提案される。提案されたIPカメラ20の中から適用対象のIPカメラ20がプラットフォームPF上で利用者により指定されたとすると、アプリ制御部131cは、導入候補のAIアプリを端末装置10に配信する。
【0148】
(選択部131dについて)
選択部131dは、第2選択部に相当する処理部であり、紐付け済のIPカメラ20の中から、AIアプリに適用可能なIPカメラ20をフィルタリングするためのフィルタリング処理を行う。例えば、選択部131dは、情報取得部131bにより取得された特徴情報と、導入候補のAIアプリに定められるカメラ条件を示す条件情報とに基づいて、紐付け済のIPカメラ20の中から導入候補のAIアプリに応じたIPカメラ20を選択する。
【0149】
具体的な一例としては、例えば、情報取得部131bは、紐付け済のIPカメラ20ごとに特徴情報が対応付けられたカメラ情報データベース121から、紐付け済のIPカメラ20と特徴情報との組を取得する。選択部131dは、情報取得部131bにより取得された組のうち、カメラ条件を示す条件情報を満たす特徴情報を含む組を特定することで、特定した組に含まれる紐付け済のIPカメラ20を、導入候補のAIアプリに応じたIPカメラ20として選択する。
【0150】
(推定部131fについて)
推定部131fは、紐付け済のIPカメラ20がどのような対象を撮像することを目的として設置されているか設置目的を示す目的情報をタグ付けするタグ付け処理を行う。例えば、推定部131fは、紐付け済のIPカメラ20により撮像された撮像画像に基づいて、当該紐付け済のIPカメラ20による撮像対象を推定する。例えば、推定部131fは、紐付け済のIPカメラ20により撮像された撮像画像に対してAI(人工知能)を用いた画像処理を行うことで、当該紐付け済のIPカメラ20による撮像対象を推定する。
【0151】
例えば、推定部131fは、複数のIPカメラ20が紐付けられている場合には、紐付け済のIPカメラ20それぞれが撮像した撮像画像に基づいて、紐付け済のIPカメラ20ごとに当該紐付け済のIPカメラ20による撮像対象を推定することができる。
【0152】
また、推定部131fは、紐付け済のIPカメラ20を識別する識別情報(カメラID)に対して、このIPカメラ20について推定した撮像対象を示す情報をタグ付けする。例えば、推定部131fは、カメラ情報データベース121において係るタグ付けを行う。
【0153】
(表示制御部131hについて)
表示制御部131hは、提案部に相当する処理部であり、選択部131dにより選択されたIPカメラ20を、導入候補のAIアプリに適用可能なIPカメラ20として利用者に提案する。
【0154】
〔3-2-2.フィルタリング処理〕
図5では、端末装置10の選択部14dがフィルタリング処理を行う例を示した。しかしながら、情報処理装置100の選択部131dによってフィルタリング処理が行われてもよい。この点について、図15を用いて説明する。図15は、第2の実施形態に係るフィルタリング処理の一例を示す図である。
【0155】
図15では、所定の店舗の従業員である利用者U1が、端末装置10-1にAIアプリAP1を導入しようとしている(すなわち、AIアプリAP1は、導入候補のAIアプリ)ことに応じて、AIアプリAP1に応じたIPカメラ20が紐付け済のIPカメラ20の中から選択される場面が示される。より具体的には、図15には、端末装置10-1、端末装置10-2、および、端末装置10-3が店舗に設置されており、これらに紐付けられているIPカメラ20の中からAIアプリAP1に応じたIPカメラ20が選択される場面が示される。
【0156】
図15の例によれば、まず、情報取得部131bは、特徴情報を提供するよう端末装置10-1、10-2および10-3それぞれに対して取得要求する。
【0157】
端末装置10-1は、IPカメラ20-11およびIPカメラ20-12が紐付けられていることに応じて、図6に示すようなカメラ情報データベース12aを有する。このため、例えば、端末装置10-1の通知部14eは、情報取得部131bからの取得要求に応じて、IPカメラ20-11およびIPカメラ20-12それぞれの特徴情報をカメラ情報データベース12aから取得し情報処理装置100に送信する。
【0158】
また、端末装置10-2は、IPカメラ20-23が紐付けられていることに応じて、図6に示すようなカメラ情報データベース12aを有する。このため、例えば、端末装置10-2の通知部14eは、情報取得部131bからの取得要求に応じて、IPカメラ20-23の特徴情報をカメラ情報データベース12aから取得し情報処理装置100に送信する。
【0159】
また、端末装置10-3は、IPカメラ20-34が紐付けられていることに応じて、図6に示すようなカメラ情報データベース12aを有する。このため、例えば、端末装置10-3の通知部14eは、情報取得部131bからの取得要求に応じて、IPカメラ20-34の特徴情報をカメラ情報データベース12aから取得し情報処理装置100に送信する。
【0160】
情報取得部131bは、取得要求により各端末装置10から特徴情報を取得すると、取得した特徴情報をカメラ情報データベース121に格納する。すなわち、図15に示すカメラ情報データベース121によれば、端末ID「10-1」に対してカメラID「20-11」および「20-12」が対応付けられるとともに、それぞれのカメラIDに対して端末装置10-1から取得された特徴情報が対応付けられる。また、図15に示すカメラ情報データベース121によれば、端末ID「10-2」に対してカメラID「20-23」が対応付けられるとともに、このカメラIDに対して端末装置10-2から取得された特徴情報が対応付けられる。また、図15に示すカメラ情報データベース121によれば、端末ID「10-3」に対してカメラID「20-34」が対応付けられるとともに、このカメラIDに対して端末装置10-3から取得された特徴情報が対応付けられる。
【0161】
したがって、図15に示すカメラ情報データベース121の例では、選択部131dは、IPカメラ20-11、IPカメラ20-12、IPカメラ20-23、IPカメラ20-34の中からAIアプリAP1に応じたIPカメラ20を選択するというフィルタリング処理を行う。
【0162】
例えば、選択部131dは、導入候補のAIアプリAP1に定められるカメラ条件と、情報取得部131bにより取得された特徴情報が示すカメラ特徴とに基づいて、IPカメラ20-11、IPカメラ20-12、IPカメラ20-23、IPカメラ20-34の中からAIアプリAP1に応じたIPカメラ20を選択する。具体的には、選択部131dは、AIアプリAP1に定められるカメラ条件と、IPカメラ20-11、IPカメラ20-12、IPカメラ20-23、IPカメラ20-34それぞれのカメラ特徴とのマッチングにより、カメラ条件を満たす特徴を有するIPカメラ20を選択する。
【0163】
図15の例によれば、選択部131dは、IPカメラ20-11、IPカメラ20-12、IPカメラ20-23、IPカメラ20-34の中から、IPカメラ20-12およびIPカメラ20-23を選択することができる。
【0164】
〔3-2-3.フィルタリング結果に応じた提案〕
引き続き、図15を用いて、フィルタリング結果に応じた情報提案について説明する。
【0165】
表示制御部131hは、選択部131dがフィルタリング処理で選択したIPカメラ20を、導入候補のAIアプリAP1に適用可能なIPカメラ20として利用者U1に提案する。例えば、表示制御部131hは、図15に示すように、選択部131dにより選択されたIPカメラ20のうち、いずれかのIPカメラ20を利用者U1が指定できるよう指定可能な状態で、これらIPカメラ20を候補として一覧表示させる。例えば、表示制御部131hは、利用者U1が有するスマートフォンT1に対して、候補のIPカメラ20を一覧表示させることができる。図15で説明したフィルタリング結果によれば、表示制御部131hは、IPカメラ20-12およびIPカメラ20-23を一覧表示させることで、利用者U1からの指定を受け付ける。
【0166】
ここで、利用者U1は、提案された候補のIPカメラ20の中から、適用対象のIPカメラ20として、IPカメラ20-12およびIPカメラ20-23の双方を指定したとする。係る場合、表示制御部131hは、IPカメラ20-12およびIPカメラ20-23が指定されたことを示す指定情報を受け付ける。
【0167】
アプリ制御部131cは、受け付けられた指定情報に基づいて、AIアプリAP1を端末装置10-1および10-2それぞれに配信する。例えば、アプリ制御部131cは、IPカメラ20-12を識別するカメラIDとともにAIアプリAP1を端末装置10-1に配信する。また、アプリ制御部131cは、IPカメラ20-23を識別するカメラIDとともにAIアプリAP1を端末装置10-2に配信する。
【0168】
端末装置10-1のアプリ制御部14cは、アプリ制御部131cから配信されたAIアプリAP1が受け付けられると、AIアプリAP1を端末装置10-1に導入する。また、アプリ制御部14cは、導入したAIアプリAP1に対して、利用者U1が指定した適用対象のIPカメラ20-12を適用する。
【0169】
同様に、端末装置10-2のアプリ制御部14cは、アプリ制御部131cから配信されたAIアプリAP1が受け付けられると、AIアプリAP1を端末装置10-2に導入する。また、アプリ制御部14cは、導入したAIアプリAP1に対して、利用者U1が指定した適用対象のIPカメラ20-23を適用する。
【0170】
〔3-2-4.タグ付け処理〕
図7および図8では、端末装置10の推定部14fがタグ付け処理を行う例を示した。しかしながら、情報処理装置100の推定部131fによってタグ付け処理が行われてもよい。この点について、図16を用いて説明する。図16は、第2の実施形態に係るタグ付け処理の一例を示す図である。
【0171】
図16に示すタグ付け処理は、例えば、図15に示したフィルタリング処理が行われるよりも前に事前処理として実行されてよい。また、図16では、タグ付け処理の対象となる端末装置10として端末装置10-1に着目して説明するが、他の端末装置10についても同様内容でタグ付け処理が行われてよい。
【0172】
端末装置10-1は、図16に示すように、IPカメラ20-11、IPカメラ20-12、IPカメラ20-13、IPカメラ20-14が紐付けられていることに応じて、これら各IPカメラ20によって撮像された撮像画像を取得する。例えば、端末装置10-1は、情報処理装置100からの要求に応じて撮像画像を取得する。図16には、端末装置10-1が、IPカメラ20-11から撮像画像♯111を取得し、IPカメラ20-12から撮像画像♯121を取得し、IPカメラ20-13から撮像画像♯131を取得し、IPカメラ20-41から撮像画像♯141を取得した例が示される。
【0173】
また、端末装置10-1は、取得した撮像画像♯111、撮像画像♯121、撮像画像♯131および撮像画像♯141を情報処理装置100に送信する。これにより、情報処理装置100の推定部131fは、端末装置10-1から撮像画像♯111、撮像画像♯121、撮像画像♯131および撮像画像♯141を取得する。
【0174】
推定部131fは、取得した撮像画像に基づいて、各IPカメラ20による撮像対象を推定する。具体的には、推定部131fは、撮像画像♯111に対してAIを用いた画像処理を行うことで、IPカメラ20-11による撮像対象を推定する。また、推定部131fは、撮像画像♯121に対してAIを用いた画像処理を行うことで、IPカメラ20-12による撮像対象を推定する。また、推定部131fは、撮像画像♯131に対してAIを用いた画像処理を行うことで、IPカメラ20-13による撮像対象を推定する。また、推定部131fは、撮像画像♯141に対してAIを用いた画像処理を行うことで、IPカメラ20-14による撮像対象を推定する。
【0175】
図16の例では、推定部131fは、IPカメラ20-11による撮像対象は「レジ」であると推定し、IPカメラ20-12による撮像対象は「レジ」であると推定し、IPカメラ20-13による撮像対象は「レジ」であると推定し、IPカメラ20-14による撮像対象は「入り口」であると推定したとする。係る例では、推定部131fは、IPカメラ20-11を識別するカメラIDに対して、撮像対象「レジ」を示す情報を目的情報としてタグ付けする。また、推定部131fは、IPカメラ20-12を識別するカメラIDに対して、撮像対象「レジ」を示す情報を目的情報としてタグ付けする。また、推定部131fは、IPカメラ20-13を識別するカメラIDに対して、撮像対象「レジ」を示す情報を目的情報としてタグ付けする。また、推定部131fは、IPカメラ20-14を識別するカメラIDに対して、撮像対象「入り口」を示す情報を目的情報としてタグ付けする。なお、このようなタグ付けは、図16に示すように、情報処理装置100が有するカメラ情報データベース121内で行われてよい。
【0176】
〔3-2-5.まとめ〕
第2の実施形態に係る情報処理装置100は、IPカメラ20により撮像された撮像画像に対する分析結果に応じた情報提供を行うとともに、端末装置10によってIPカメラ20との間を仲介されるクラウド側のサーバ装置である。そして、情報処理装置100は、前記所定の撮像手段のうち、端末装置10に紐付けられた紐付け済のIPカメラ20の特徴を示す特徴情報を端末装置10から取得し、取得した特徴情報と、端末装置10に導入される導入候補のAIアプリに適用可能なIPカメラ20の条件を示す条件情報とに基づいて、紐付け済のIPカメラ20の中から導入候補のAIアプリに応じたIPカメラ20を選択する。また、情報処理装置100は、選択したIPカメラ20を、導入候補のAIアプリに適用可能な撮像手段として利用者に提案する。
【0177】
このような第2の実施形態に係る情報処理装置100によれば、利用者は、端末装置10に導入したAIアプリの機能に対してより適したIPカメラ20がどれであるかを適切に把握することができるようになるため、AIアプリに適用するIPカメラを検討する際の煩雑さが解消される。
【0178】
〔4.ハードウェア構成〕
また、上述してきた端末装置10、情報処理装置100は、例えば、図17に示すような構成のコンピュータ1000によって実現される。以下、端末装置10を例に挙げて説明する。図17は、端末装置10の機能を実現するコンピュータの一例を示すハードウェア構成図である。コンピュータ1000は、CPU1100、RAM1200、ROM1300、HDD1400、通信インターフェイス(I/F)1500、入出力インターフェイス(I/F)1600、及びメディアインターフェイス(I/F)1700を有する。
【0179】
CPU1100は、ROM1300またはHDD1400に格納されたプログラムに基づいて動作し、各部の制御を行う。ROM1300は、コンピュータ1000の起動時にCPU1100によって実行されるブートプログラムや、コンピュータ1000のハードウェアに依存するプログラム等を格納する。
【0180】
HDD1400は、CPU1100によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を格納する。通信インターフェイス1500は、所定の通信網を介して他の機器からデータを受信してCPU1100へ送り、CPU1100が生成したデータを所定の通信網を介して他の機器へ送信する。
【0181】
CPU1100は、入出力インターフェイス1600を介して、ディスプレイやプリンタ等の出力装置、及び、キーボードやマウス等の入力装置を制御する。CPU1100は、入出力インターフェイス1600を介して、入力装置からデータを取得する。また、CPU1100は、生成したデータを入出力インターフェイス1600を介して出力装置へ出力する。
【0182】
メディアインターフェイス1700は、記録媒体1800に格納されたプログラムまたはデータを読み取り、RAM1200を介してCPU1100に提供する。CPU1100は、かかるプログラムを、メディアインターフェイス1700を介して記録媒体1800からRAM1200上にロードし、ロードしたプログラムを実行する。記録媒体1800は、例えばDVD(Digital Versatile Disc)、PD(Phase change rewritable Disk)等の光学記録媒体、MO(Magneto-Optical disk)等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
【0183】
例えば、コンピュータ1000が端末装置10として機能する場合、コンピュータ1000のCPU1100は、RAM1200上にロードされたプログラムを実行することにより、制御部13の機能を実現する。コンピュータ1000のCPU1100は、これらのプログラムを記録媒体1800から読み取って実行するが、他の例として、他の装置から所定の通信網を介してこれらのプログラムを取得してもよい。
【0184】
また、例えば、コンピュータ1000が情報処理装置100として機能する場合、コンピュータ1000のCPU1100は、RAM1200上にロードされたプログラムを実行することにより、制御部130の機能を実現する。
【0185】
〔5.その他〕
また、上記各実施形態において説明した処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
【0186】
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。
【0187】
また、上記各実施形態は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
【0188】
以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
【0189】
また、上述してきた「部(section、module、unit)」は、「手段」や「回路」などに読み替えることができる。例えば、選択部は、選択手段や選択回路に読み替えることができる。
【符号の説明】
【0190】
1 情報処理システム
10 端末装置
12 記憶部
12a カメラ情報データベース
12b アプリ情報データベース
12c コンテンツバッファ
13 制御部
14a 紐付部
14b 情報取得部
14c アプリ制御部
14d 選択部
14e 通知部
14f 推定部
14g 変更要求部
15a 画像取得部
15b 付与部
15c 出力部
15d 録画部
15e 送信部
100 情報処理装置
120 記憶部
121 カメラ情報データベース
130 制御部
131b 情報取得部
131c アプリ制御部
131d 選択部
131f 推定部
131h 表示制御部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17