(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023081101
(43)【公開日】2023-06-09
(54)【発明の名称】情報処理システム、撮像装置、方法、およびプログラム
(51)【国際特許分類】
H04N 23/60 20230101AFI20230602BHJP
H04L 67/06 20220101ALI20230602BHJP
H04N 23/65 20230101ALI20230602BHJP
【FI】
H04N5/232 300
H04L67/06
H04N5/232 411
【審査請求】未請求
【請求項の数】7
【出願形態】OL
(21)【出願番号】P 2021194802
(22)【出願日】2021-11-30
(71)【出願人】
【識別番号】000006747
【氏名又は名称】株式会社リコー
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(72)【発明者】
【氏名】勝又 基至
【テーマコード(参考)】
5C122
【Fターム(参考)】
5C122EA42
5C122GC13
5C122GC14
5C122GC36
5C122GC52
5C122GC58
5C122GF02
5C122HA13
5C122HB05
(57)【要約】
【課題】撮像装置が撮影した未転送の画像を転送する。
【解決手段】本発明の一実施形態である情報処理システムは、通信機能を備えた撮像装置とサーバとを含む情報処理システムであって、前記撮像装置は、前記撮像装置が撮影した画像が未転送であることを示す情報を管理する画像状態管理部と、再転送の複数のトリガーのうちのいずれかに応じて、未転送の画像を前記サーバへ再転送するよう制御する画像転送制御部と、を備える。
【選択図】
図5
【特許請求の範囲】
【請求項1】
通信機能を備えた撮像装置とサーバとを含む情報処理システムであって、
前記撮像装置は、
前記撮像装置が撮影した画像が未転送であることを示す情報を管理する画像状態管理部と、
再転送の複数のトリガーのうちのいずれかに応じて、未転送の画像を前記サーバへ再転送するよう制御する画像転送制御部と
を備えた、情報処理システム。
【請求項2】
前記再転送のトリガーは、次回撮影時、次回プラグイン起動時、ネットワーク接続検知時、前記撮像装置の操作時、前記撮像装置の画像記憶部の残量が閾値を下回った時、前記サーバからの転送要求を受信した時である、請求項1の情報処理システム。
【請求項3】
前記撮像装置は、前記撮像装置の電池残量が閾値を下回った場合に、画像の撮影後の転送を行わない撮影優先モードで動作する、請求項1または2に記載の情報処理システム。
【請求項4】
前記撮影優先モードへ移行する条件がユーザによって設定される、請求項3に記載の情報処理システム。
【請求項5】
撮像装置が撮影した画像が未転送であることを示す情報を管理する画像状態管理部と、
再転送の複数のトリガーのうちのいずれかに応じて、未転送の画像を再転送するよう制御する画像転送制御部と
を備えた撮像装置。
【請求項6】
撮像装置が実行する方法であって、
前記撮像装置が撮影した画像が未転送であることを示す情報を管理するステップと、
再転送の複数のトリガーのうちのいずれかに応じて、未転送の画像を再転送するよう制御するステップと
を含む方法。
【請求項7】
撮像装置を
前記撮像装置が撮影した画像が未転送であることを示す情報を管理する画像状態管理部、
再転送の複数のトリガーのうちのいずれかに応じて、未転送の画像を再転送するよう制御する画像転送制御部
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理システム、撮像装置、方法、およびプログラムに関する。
【背景技術】
【0002】
従来、撮影した画像を外部の装置へ転送することができる撮像装置が知られている。このような撮像装置において、画像の転送ができないことがある。例えば、特許文献1では、ファイルの送信中に電池の出力電圧が所定の電圧以下であることが検出されると、未送信の画像データを保存後に電源を切断し、電源が再投入された際に、保存された未送信の画像データを送信することが記載されている。
【発明の概要】
【発明が解決しようとする課題】
【0003】
しかしながら、撮像装置が画像を転送することができない事由は様々であり、如何なる事由であっても画像を再転送できることが望まれていた。
【0004】
そこで、本発明では、撮像装置が撮影した未転送の画像を転送することを目的とする。
【課題を解決するための手段】
【0005】
本発明の一実施形態である情報処理システムは、通信機能を備えた撮像装置とサーバとを含む情報処理システムであって、前記撮像装置は、前記撮像装置が撮影した画像が未転送であることを示す情報を管理する画像状態管理部と、再転送の複数のトリガーのうちのいずれかに応じて、未転送の画像を前記サーバへ再転送するよう制御する画像転送制御部と、を備える。
【0006】
本発明によれば、撮像装置が撮影した未転送の画像を転送することができる。
【図面の簡単な説明】
【0007】
【
図1】本発明の一実施形態に係るサービスの概要を説明するための図である。
【
図2】本発明の一実施形態に係る全体の構成図である。
【
図3】本発明の一実施形態に係る情報処理装置(サーバ)のハードウェア構成図である。
【
図4】本発明の一実施形態に係るデバイス(全天球撮像装置)のハードウェア構成図である。
【
図5】本発明の一実施形態に係るサーバおよびデバイスの機能ブロック図である。
【
図6】本発明の一実施形態に係るデバイスとアプリケーションの紐づけ処理のシーケンス図である。
【
図7】本発明の一実施形態に係る基本動作に関する処理のシーケンス図である。
【
図8】本発明の一実施形態に係る画像の転送・未転送の状態の管理処理のシーケンス図である。
【
図9】本発明の一実施形態に係る再転送のトリガーの発生時の再転送処理のシーケンス図である。
【
図10】本発明の一実施形態に係る撮影優先モードに関する処理のシーケンス図である。
【
図11】本発明の一実施形態に係る画面の一例である。
【発明を実施するための形態】
【0008】
以下、図面に基づいて本開示の実施の形態を説明する。
【0009】
図1は、本発明の一実施形態に係るサービスの概要を説明するための図である。ユーザ(顧客の利用者、
図1のA1)は、デバイス20を用いて、サーバ11~15(以下、サーバ10ともいう)が提供するクラウドサービスを利用する。また、デバイスパートナー(
図1のB)は、ユーザが所属するテナント(クラウドサービスを利用するデバイスのグループ)にワークフロー(WF)アプリケーションを登録する。また、ワークフロー(WF)アプリケーションの開発者(
図1のC(クラウドサービスパートナー))は、WFアプリ開発ツールで、QRコード(登録商標)連携設定の許可と入力可能なデータ種別(静止画または動画など)を設定したワークフロー(WF)アプリケーションを開発する。A2は、顧客の管理者であり、Dは、デバイスの販売会社である。なお、以下ではデバイス20に対してネットワークを経由して提供されるサービスとしてサーバ10が提供するクラウドサービスを例にして説明する。ただし、デバイス20が利用するサービスはこれに限定されず、ネットワークを経由して提供される機能を利用するサービスであればよい。例えば、デバイス20と同じネットワーク内にサーバ10を設置することで、サーバ10は、デバイス20に対してオンプレミスサービスを提供してもよい。
【0010】
<システム構成>
図2は、本発明の一実施形態に係る全体の構成図である。システム(情報処理システムともいう)1は、サーバ10と、デバイス20と、を含む。サーバ10とデバイス20は、通信ネットワークNを介して通信可能に接続されている。以下、それぞれについて説明する。
【0011】
<<サーバ>>
サーバ(情報処理装置の一例である)10は、クラウドサービスで提供されるアプリケーションとデバイス20とを紐づける処理を行う。
【0012】
実施例に記載された装置群は、本明細書に開示された実施形態を実施するための複数のコンピューティング環境のうちの1つを示すものにすぎない。ある実施形態では、サーバ10は、サーバクラスタといった複数のコンピューティングデバイスを含む。複数のコンピューティングデバイスは、ネットワークや共有メモリなどを含む任意のタイプの通信リンクを介して互いに通信するように構成されており、本明細書に開示された処理を実施する。
【0013】
<<デバイス>>
デバイス20は、通信機能を備えた撮像装置である。デバイス20は、クラウドサービスを利用するユーザが用いるデバイスである。例えば、デバイス20は、撮影機能を有し、かつ、表示機能を有さないデバイス(例えば、全天球撮像装置)である。
【0014】
なお、デバイス20は、通信機能を備えた装置であれば、全天球撮像装置に限られない。デバイス20は、例えば、PJ(Projector:プロジェクタ)、IWB(Interactive White Board:相互通信が可能な電子式の黒板機能を有する白板)、デジタルサイネージ等の出力装置、HUD(Head Up Display)装置、産業機械、撮像装置、集音装置、医療機器、ネットワーク家電、自動車(Connected Car)、ノートPC(Personal Computer)、携帯電話、スマートフォン、タブレット端末、ゲーム機、PDA(Personal Digital Assistant)、デジタルカメラ、ウェアラブルPCまたはデスクトップPC等であってもよい。
【0015】
<ハードウェア構成>
図3は、本発明の一実施形態に係る情報処理装置(サーバの場合)10のハードウェア構成図である。
【0016】
図3に示されているように、サーバ10は、コンピュータによって構築されており、
図3に示されているように、CPU1001、ROM1002、RAM1003、HD1004、HDD(Hard Disk Drive)コントローラ1005、ディスプレイ1006、外部機器接続I/F(Interface)1007、ネットワークI/F1008、データバス1009、キーボード1010、ポインティングデバイス1011、DVD-RW(Digital Versatile Disk Rewritable)ドライブ1013、メディアI/F1015を備えている。
【0017】
これらのうち、CPU1001は、サーバ10全体の動作を制御する。ROM1002は、IPL等のCPU1001の駆動に用いられるプログラムを記憶する。RAM1003は、CPU1001のワークエリアとして使用される。HD1004は、プログラム等の各種データを記憶する。HDDコントローラ1005は、CPU1001の制御にしたがってHD1004に対する各種データの読み出し又は書き込みを制御する。ディスプレイ1006は、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示する。外部機器接続I/F1007は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、USB(Universal Serial Bus)メモリやプリンタ等である。ネットワークI/F1008は、通信ネットワークNを利用してデータ通信をするためのインターフェースである。バスライン1009は、
図3に示されているCPU1001等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
【0018】
また、キーボード1010は、文字、数値、各種指示などの入力のための複数のキーを備えた入力手段の一種である。ポインティングデバイス1011は、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行う入力手段の一種である。DVD-RWドライブ1013は、着脱可能な記録媒体の一例としてのDVD-RW1012に対する各種データの読み出し又は書き込みを制御する。なお、DVD-RWに限らず、DVD-R等であってもよい。メディアI/F1015は、フラッシュメモリ等の記録メディア1014に対するデータの読み出し又は書き込み(記憶)を制御する。
【0019】
図4は、本発明の一実施形態に係るデバイス(全天球撮像装置の場合)20のハードウェア構成図である。
【0020】
以下では、全天球撮影装置20は、2つの撮像素子を使用した全天球(全方位)全天球撮影装置とするが、撮像素子は2つ以上いくつでもよい。また、必ずしも全方位撮影専用の装置である必要はなく、通常のデジタルカメラやスマートフォン等に後付けの全方位の撮像ユニットを取り付けることで、実質的に全天球撮影装置20と同じ機能を有するようにしてもよい。
【0021】
図4に示されているように、全天球撮影装置20は、撮像ユニット2001、画像処理ユニット2004、撮像制御ユニット2005、マイク2006、音処理ユニット2007、CPU(Central Processing Unit)2009、ROM(Read Only Memory)2010、SRAM(Static Random Access Memory)2011、DRAM(Dynamic Random Access Memory)2012、操作部2013、外部機器接続I/F2014、通信部2015、アンテナ2015a、電子コンパス、ジャイロセンサ、加速度センサ、及びMicro USB用の凹状の端子によって構成されている。
【0022】
このうち、撮像ユニット2001は、各々半球画像を結像するための180°以上の画角を有する広角レンズ(いわゆる魚眼レンズ)2002a,2002bと、各広角レンズに対応させて設けられている2つの撮像素子2003a,2003bを備えている。撮像素子2003a,2003bは、魚眼レンズ2002a,2002bによる光学像を電気信号の画像データに変換して出力するCMOS(Complementary Metal Oxide Semiconductor)センサやCCD(Charge Coupled Device)センサなどの画像センサ、この画像センサの水平又は垂直同期信号や画素クロックなどを生成するタイミング生成回路、この撮像素子の動作に必要な種々のコマンドやパラメータなどが設定されるレジスタ群などを有している。
【0023】
撮像ユニット2001の撮像素子2003a,2003bは、各々、画像処理ユニット2004とパラレルI/Fバスで接続されている。一方、撮像ユニット2001の撮像素子2003a,2003bは、撮像制御ユニット2005とは、シリアルI/Fバス(I2Cバス等)で接続されている。画像処理ユニット2004、撮像制御ユニット2005及び音処理ユニット2007は、バス2008を介してCPU2009と接続される。さらに、バス2008には、ROM2010、SRAM2011、DRAM2012、操作部2013、外部機器接続I/F(Interface)2014、通信部2015、及び加速度・方位センサ2016なども接続される。
【0024】
画像処理ユニット2004は、撮像素子2003a,2003bから出力される画像データをパラレルI/Fバスを通して取り込み、それぞれの画像データに対して所定の処理を施した後、これらの画像データを合成処理して、正距円筒射影画像のデータを作成する。
【0025】
撮像制御ユニット2005は、一般に撮像制御ユニット2005をマスタデバイス、撮像素子2003a,2003bをスレーブデバイスとして、I2Cバスを利用して、撮像素子2003a,2003bのレジスタ群にコマンド等を設定する。必要なコマンド等は、CPU2009から受け取る。また、撮像制御ユニット2005は、同じくI2Cバスを利用して、撮像素子2003a,2003bのレジスタ群のステータスデータ等を取り込み、CPU2009に送る。
【0026】
また、撮像制御ユニット2005は、操作部2013のシャッターボタンが押下されたタイミングで、撮像素子2003a,2003bに画像データの出力を指示する。全天球撮影装置20によっては、ディスプレイ(例えば、スマートフォンのディスプレイ)によるプレビュー表示機能や動画表示に対応する機能を持つ場合もある。この場合は、撮像素子2003a,2003bからの画像データの出力は、所定のフレームレート(フレーム/分)によって連続して行われる。
【0027】
また、撮像制御ユニット2005は、後述するように、CPU2009と協働して撮像素子2003a,2003bの画像データの出力タイミングの同期をとる同期制御手段としても機能する。なお、本実施形態では、全天球撮影装置20にはディスプレイが設けられていないが、表示部を設けてもよい。
【0028】
マイク2006は、音を音(信号)データに変換する。音処理ユニット2007は、マイク2006から出力される音データをI/Fバスを通して取り込み、音データに対して所定の処理を施す。
【0029】
CPU2009は、全天球撮影装置20の全体の動作を制御すると共に必要な処理を実行する。ROM2010は、CPU2009のための種々のプログラムを記憶している。SRAM2011及びDRAM2012はワークメモリであり、CPU2009で実行するプログラムや処理途中のデータ等を記憶する。特にDRAM2012は、画像処理ユニット2004での処理途中の画像データや処理済みの正距円筒射影画像のデータを記憶する。
【0030】
操作部2013は、シャッターボタンなどの操作ボタンの総称である。ユーザは操作部2013を操作することで、種々の撮影モードや撮影条件などを入力する。
【0031】
外部機器接続I/F2014は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、USB(Universal Serial Bus)メモリやPC(Personal Computer)等である。DRAM2012に記憶された正距円筒射影画像のデータは、このネットワークI/F2014を介して外付けのメディアに記録されたり、必要に応じてネットワークI/F2014を介してスマートフォン等の外部端末(装置)に送信されたりする。
【0032】
通信部2015は、全天球撮影装置20に設けられたアンテナ2015aを介して、Wi-Fi、NFC(Near Field Communication)やBluetooth(登録商標)等の近距離無線通信技術によって、スマートフォン等の外部端末(装置)と通信を行う。この通信部2015によっても、正距円筒射影画像のデータをスマートフォン等の外部端末(装置)に送信することができる。
【0033】
加速度・方位センサ2016は、地球の磁気から全天球撮影装置20の方位を算出し、方位情報を出力する。この方位情報はExifに沿った関連情報(メタデータ)の一例であり、撮影画像の画像補正等の画像処理に利用される。なお、関連情報には、画像の撮影日時、及び画像データのデータ容量の各データも含まれている。また、加速度・方位センサ2016は、全天球撮影装置20の移動に伴う角度の変化(Roll角、Pitch角、Yaw角)を検出するセンサである。角度の変化はExifに沿った関連情報(メタデータ)の一例であり、撮像画像の画像補正等の画像処理に利用される。更に、加速度・方位センサ2016は、3軸方向の加速度を検出するセンサである。全天球撮影装置20は、加速度・方位センサ2016が検出した加速度に基づいて、自装置(全天球撮影装置20)の姿勢(重力方向に対する角度)を算出する。全天球撮影装置20に、加速度・方位センサ2016が設けられることによって、画像補正の精度が向上する。
【0034】
<機能ブロック>
図5は、本発明の一実施形態に係るサーバ10およびデバイス20の機能ブロック図である。
【0035】
<<サーバ>>
サーバ10は、アプリ設定部101と、デバイス登録部102と、連携部103と、記憶部104と、WFアプリケーション105と、を備える。また、サーバ10は、プログラムを実行することで、アプリ設定部101、デバイス登録部102、連携部103、WFアプリケーション105として機能する。
【0036】
アプリ設定部101は、WFアプリケーション105の設定を行う。例えば、アプリ設定部101は、オンラインストレージサービスにログインするためのアカウント設定等を行う。
【0037】
デバイス登録部102は、デバイス20を他のデバイスやクラウドサービスに接続するサービスを提供する。
【0038】
連携部103は、WFアプリケーション105とデバイス20との紐づけを管理し、デバイス20からのWF(ワークフロー)ジョブの実行の要求を受けて、WFアプリケーション105にジョブの実行を要求する。
【0039】
記憶部104は、一時的に画像が記憶されるストレージである。
【0040】
WF(ワークフロー)アプリケーション105は、機能を組み合わせてワークフローを実現するアプリケーションである。どのような入力をどのように処理してどのように出力するかという定義が定められている。
【0041】
<<デバイス>>
デバイス20は、撮影部201と、画像記憶部202と、画像転送制御部203と、画像状態管理部204と、通信部205と、設定値記憶部206と、を備える。また、デバイス20は、プログラムを実行することで、撮影部201、画像転送制御部203、画像状態管理部204、通信部205として機能する。
【0042】
撮影部201は、デバイス20のシャッターボタンが押下されると撮影を行う。
【0043】
画像記憶部202は、撮影部201が撮影した画像を保存するための記憶部である。なお、サーバ10に転送された画像は削除される。
【0044】
画像転送制御部203は、画像の転送を制御する。具体的には、画像転送制御部203は、再転送の複数のトリガーのうちのいずれかに応じて、未転送の画像をサーバ10へ再転送するよう制御する。
【0045】
画像状態管理部204は、画像記憶部202に記憶されている画像(つまり、撮像装置20が撮影した画像)が未転送であることを示す情報を管理する。
【0046】
通信部205は、画像転送制御部203からの要求に応じて、画像を転送したり、画像の転送の終了を通知したりする。
【0047】
設定値記憶部206は、プラグインの動作の設定値(具体的には、撮影優先モードのONとOFFを切り替える閾値)を記憶する記憶部である。
【0048】
<処理方法>
図6は、本発明の一実施形態に係るデバイスとアプリケーションの紐づけ処理のシーケンス図である。<WFアプリ登録フェーズ>と<WFアプリ実行フェーズ>に分けて説明する。
【0049】
<WFアプリ登録フェーズ>
クラウドサービスで提供されるワークフロー(WF)アプリケーション105をデバイス20に紐づけて登録する処理について説明する。なお、ワークフロー(WF)アプリケーション105は、サーバ10にある予め決められた処理を行うアプリケーションである。
【0050】
なお、WFアプリケーション105の開発者(
図1のC(クラウドサービスパートナー))は、WFアプリ開発ツールで、QRコード連携設定の許可と入力可能なデータ種別(静止画または動画など)を設定したWFアプリケーション105を開発しているものとする。また、デバイスパートナー(
図1のB)は、ユーザが所属するテナント(クラウドサービスを利用するデバイスのグループ)にWFアプリケーション105を登録する。
【0051】
ステップ11(S11)において、サーバ(アプリ設定部)10は、クラウドサービスで提供されるアプリケーションに関する情報およびデバイスの登録に用いられる情報が含まれるコード(例えば、QRコード)を生成して配信する。
【0052】
具体的には、ユーザは、PC(パーソナルコンピュータ)で、アプリケーションの設定を行うサイト(
図1のIoTサイト)にログインし、デバイス20(
図1のデバイスのプラグイン)と連携させるWFアプリケーション105を選択し、QRコードを発行させる。
【0053】
ステップ12(S12)において、デバイス20のシャッターボタンが押下されたとする。
【0054】
ステップ13(S13)において、デバイス20は、S11でサーバ(アプリ設定部)10が配信してPC上に表示されたQRコードを読み取る。
【0055】
ステップ14(S14)において、デバイス20は、QRコードに含まれている、デバイスを識別するための情報を取得するためのサイトの接続先と、サイトにアクセスするためのトークン(アクセストークン)と、アプリケーションに関する情報(例えば、アプリケーションID(ここでは"アプリ1"とする)および入力種別(ここでは"静止画"とする))と、を取得する。
【0056】
ステップ15(S15)において、デバイス20は、サーバ(デバイス登録部)10に対して、デバイス20を登録するよう要求する。具体的には、デバイス20は、S14でコードを読み取ることにより取得したデバイスの登録に用いられる情報をサーバ10に通知する(詳細には、接続先にアクセストークンを用いてデバイス20のシリアル番号を送る)。
【0057】
ステップ16(S16)において、サーバ(デバイス登録部)10は、デバイスを識別するための情報(デバイスID(ここでは"デバイスA"とする))および証明書を、デバイス20に通知する。
【0058】
ステップ17(S17)において、デバイス20は、サーバ(連携部)10に対して、アプリケーションにデバイス20を紐づけて登録するよう要求する。具体的には、デバイス20は、アプリケーションID(つまり、"アプリ1")および入力種別(つまり、"静止画")およびデバイスID(つまり、"デバイスA")を、S16の証明書と共にサーバ(連携部)10に通知する。その後、サーバ(連携部)10は、アプリケーションIDと入力種別とデバイスIDとを紐づけて登録する。
【0059】
<WFアプリ実行フェーズ>
ワークフロー(WF)アプリケーションを実行する処理について説明する。
【0060】
ステップ21(S21)において、デバイス20のシャッターボタンが押下されたとする。
【0061】
ステップ22(S22)において、デバイス20は、URL(Uniform Resource Locator)を取得する。具体的には、デバイス20は、サーバ(デバイス登録部)10からURLを取得する。
【0062】
ステップ23(S23)において、デバイス20は、S22のURLにS21で撮影された画像をアップロードする。
【0063】
ステップ24(S24)において、デバイス20は、サーバ(デバイス登録部)10に撮影を通知する。具体的には、デバイス20は、デバイスID(つまり、"デバイスA")およびURLを、サーバ(デバイス登録部)10に通知する。
【0064】
ステップ25(S25)において、サーバ(デバイス登録部)10は、S24で取得したデバイスIDおよびURLをサーバ(連携部)10へ送る。
【0065】
ステップ26(S26)において、サーバ(連携部)10は、S25で取得したURLにアップロードされている画像をダウンロードする。
【0066】
ステップ27(S27)において、サーバ(連携部)10は、ワークフロー(WF)アプリケーションにジョブを実行させる。具体的には、サーバ(連携部)10は、デバイスIDに紐づけられているアプリケーション(つまり、"アプリ1")に入力種別(つまり、"静止画")を通知する。
【0067】
ステップ28(S28)において、WFアプリケーション105は、オンラインストレージサービスに画像をアップロードする。なお、オンラインストレージサービスへ画像のアップロードおよび保存は、ネットワークを経由して提供されるサービスの一例である。
【0068】
図7は、本発明の一実施形態に係る基本動作に関する処理のシーケンス図である。
【0069】
ステップ101(S101)において、デバイス20のシャッターボタンが押下されると、デバイス20の撮影部201は、撮影を行う。
【0070】
ステップ102(S102)において、デバイス20の撮影部201は、S101で撮影が行われた画像をデバイス20の画像記憶部202に保存する。
【0071】
ステップ103(S103)において、デバイス20の撮影部201は、撮影が行われたことをデバイス20の画像転送制御部203に通知する。具体的には、撮影部201は、画像IDを画像転送制御部203に通知する。
【0072】
ステップ104(S104)において、デバイス20の画像転送制御部203は、S103の通知に応じて、画像の転送をデバイス20の通信部205に要求する。具体的には、画像転送制御部203は、ファイル名を通信部205に通知する。
【0073】
ステップ105(S105)において、デバイス20の通信部205は、画像のアップロード先のURLの取得をサーバ10のデバイス登録部102に要求する。
【0074】
ステップ106(S106)において、デバイス20の通信部205は、S105にて要求したURLを取得する。
【0075】
ここで、画像のアップロード先のURLについて説明する。デバイス20の通信部205は、画像のファイル名を指定してURLを取得する。つまり、アップロードする画像のファイルごとにURLが取得される。画像のアップロード先のURLは、テンポラリー領域であり、一定期間が経過すると無効なURLとなり、画像がアップロードされていた場合には削除される。
【0076】
ステップ107(S107)において、デバイス20の通信部205は、サーバ10の記憶部104(S106のURL)に画像をアップロードする。
【0077】
ステップ108(S108)において、S107のアップロードが完了すると、デバイス20の画像転送制御部203は、WF(ワークフロー)ジョブの実行をデバイス20の通信部205に要求する。具体的には、画像転送制御部203は、URLを通信部205に通知する。
【0078】
ステップ109(S109)において、デバイス20の通信部205は、WF(ワークフロー)ジョブの実行をサーバ10のデバイス登録部102に要求する。具体的には、通信部205は、URLおよびデバイスIDをデバイス登録部102に通知する。
【0079】
ステップ110(S110)において、サーバ10のデバイス登録部102は、WF(ワークフロー)ジョブの実行をサーバ10の連携部103に要求する。具体的には、デバイス登録部102は、URLおよびデバイスIDを連携部103に通知する。
【0080】
ステップ111(S111)において、サーバ10の連携部103は、WF(ワークフロー)ジョブの実行の要求のパラメータであるURLから画像をダウンロードする。
【0081】
ステップ112(S112)において、サーバ10の連携部103は、WFアプリケーション105にジョブの実行を要求する。具体的には、連携部103は、アプリIDおよび画像をWFアプリケーション105に通知する。
【0082】
サーバ10の連携部103は、
図6の<WFアプリ登録フェーズ>で実施されたアプリ紐づけ登録により、どのデバイス20とどのWF(ワークフロー)アプリケーションとが紐づいているかを管理しており、WF(ワークフロー)ジョブの実行を要求してきたデバイス20に紐づけられたWF(ワークフロー)アプリケーションを実行させる。
【0083】
ステップ113(S113)において、WFアプリケーション105は、デバイス20からの画像を受信したらオンラインストレージサービスに画像をアップロードするというワークフローにしたがって、デバイス20からの画像をオンラインストレージサービスにアップロードする。
【0084】
ステップ114(S114)において、サーバ10の連携部103は、WF(ワークフロー)ジョブの実行の受付が成功したか否かを示すWFジョブ受付応答を返す。受付が成功した場合には、ジョブを特定するためのジョブIDがパラメータとして通知される。
【0085】
ステップ115(S115)において、サーバ10のデバイス登録部102は、WFジョブ受付応答をデバイス20の通信部205に通知する。
【0086】
ステップ116(S116)において、デバイス20の通信部205は、WFジョブ受付応答をデバイス20の画像転送制御部203に通知する。
【0087】
ステップ117(S117)において、デバイス20の画像転送制御部203は、WFジョブ受付応答に応じて、WFアプリケーション105に対して、ジョブの状態を取得する要求を任意の間隔で行い、ジョブが正常に完了することを監視する。具体的には、画像転送制御部203は、ジョブIDをWFアプリケーション105に通知する。
【0088】
ステップ118(S118)において、デバイス20の画像転送制御部203は、ジョブの状態を取得する。ジョブが完了するまで、S117~S118が繰り返される。
【0089】
図8は、本発明の一実施形態に係る画像の転送・未転送の状態の管理処理のシーケンス図である。
【0090】
ステップ201(S201)において、デバイス20のシャッターボタンが押下されると、デバイス20の撮影部201は、撮影を行う。
【0091】
ステップ202(S202)において、デバイス20の撮影部201は、S201で撮影が行われた画像をデバイス20の画像記憶部202に保存する。
【0092】
ステップ203(S203)において、デバイス20の撮影部201は、撮影が行われたことをデバイス20の画像転送制御部203に通知する。具体的には、撮影部201は、画像IDを画像転送制御部203に通知する。
【0093】
ステップ204(S204)において、デバイス20の画像転送制御部203は、画像の転送・未転送の状態の管理をデバイス20の画像状態管理部204に要求する。具体的には、画像転送制御部203は、画像IDを画像状態管理部204に通知する。
【0094】
ステップ205(S205)において、デバイス20の画像状態管理部204は、未転送の画像の一覧にS204の画像IDを追加する。
【0095】
ステップ206(S206)において、デバイス20の画像転送制御部203は、S203の通知に応じて、画像の転送をデバイス20の通信部205に要求する。具体的には、画像転送制御部203は、ファイル名を通信部205に通知する。
【0096】
ステップ207(S207)において、デバイス20の通信部205は、画像のアップロード先のURLの取得をサーバ10のデバイス登録部102に要求する。
【0097】
ステップ208(S208)において、デバイス20の通信部205は、S207にて要求したURLを取得する。
【0098】
ここで、画像のアップロード先のURLについて説明する。デバイス20の通信部205は、画像のファイル名を指定してURLを取得する。つまり、アップロードする画像のファイルごとにURLが取得される。画像のアップロード先のURLは、テンポラリー領域であり、一定期間が経過すると無効なURLとなり、画像がアップロードされていた場合には削除される。
【0099】
ステップ209(S209)において、デバイス20の通信部205は、サーバ10の記憶部104(S208のURL)に画像をアップロードする。
【0100】
ステップ210(S210)において、S209のアップロードが完了すると、デバイス20の画像転送制御部203は、WF(ワークフロー)ジョブの実行をデバイス20の通信部205に要求する。具体的には、画像転送制御部203は、URLを通信部205に通知する。
【0101】
ステップ211(S211)において、デバイス20の通信部205は、WF(ワークフロー)ジョブの実行をサーバ10のデバイス登録部102に要求する。具体的には、通信部205は、URLおよびデバイスIDをデバイス登録部102に通知する。
【0102】
ステップ212(S212)において、サーバ10のデバイス登録部102は、WF(ワークフロー)ジョブの実行をサーバ10の連携部103に要求する。具体的には、デバイス登録部102は、URLおよびデバイスIDを連携部103に通知する。
【0103】
ステップ213(S213)において、サーバ10の連携部103は、WF(ワークフロー)ジョブの実行の要求のパラメータであるURLから画像をダウンロードする。
【0104】
ステップ214(S214)において、サーバ10の連携部103は、WFアプリケーション105にジョブの実行を要求する。具体的には、連携部103は、アプリIDおよび画像をWFアプリケーション105に通知する。
【0105】
サーバ10の連携部103は、
図6の<WFアプリ登録フェーズ>で実施されたアプリ紐づけ登録により、どのデバイス20とどのWF(ワークフロー)アプリケーションとが紐づいているかを管理しており、WF(ワークフロー)ジョブの実行を要求してきたデバイス20に紐づけられたWF(ワークフロー)アプリケーションを実行させる。
【0106】
ステップ215(S215)において、WFアプリケーション105は、デバイス20からの画像を受信したらオンラインストレージサービスに画像をアップロードするというワークフローにしたがって、デバイス20からの画像をオンラインストレージサービスにアップロードする。
【0107】
ステップ216(S216)において、サーバ10の連携部103は、WF(ワークフロー)ジョブの実行の受付が成功したか否かを示すWFジョブ受付応答を返す。受付が成功した場合には、ジョブを特定するためのジョブIDがパラメータとして通知される。
【0108】
ステップ217(S217)において、サーバ10のデバイス登録部102は、WFジョブ受付応答をデバイス20の通信部205に通知する。
【0109】
ステップ218(S218)において、デバイス20の通信部205は、WFジョブ受付応答をデバイス20の画像転送制御部203に通知する。
【0110】
ステップ219(S219)において、デバイス20の画像転送制御部203は、WFジョブ受付応答に応じて、WFアプリケーション105に対して、ジョブの状態を取得する要求を任意の間隔で行い、ジョブが正常に完了することを監視する。具体的には、画像転送制御部203は、ジョブIDをWFアプリケーション105に通知する。
【0111】
ステップ220(S220)において、デバイス20の画像転送制御部203は、ジョブの状態を取得する。ジョブが完了するまで、S219~S220が繰り返される。
【0112】
ステップ221(S221)において、デバイス20の画像転送制御部203は、WF(ワークフロー)ジョブの実行が正常に終了すると、ジョブの対象となる画像を、未転送の画像の一覧から削除するよう画像状態管理部204に要求する。
【0113】
ステップ222(S222)において、デバイス20の画像状態管理部204は、S221の要求に応じて、画像を未転送の画像の一覧から削除する。なお、ネットワークのエラー、障害、クラウドサービス側でのエラー、障害等によりWF(ワークフロー)ジョブの実行が正常に終了しなかった場合には、未転送の画像の一覧からの削除が行われず、未転送という状態が保持される。
【0114】
図9は、本発明の一実施形態に係る再転送のトリガーの発生時の再転送処理のシーケンス図である。
【0115】
ステップ301(S301)において、再転送のトリガーが発生したとする。
【0116】
ここで、再転送のトリガーについて説明する。例えば、再転送のトリガーは、次回撮影時(つまり、未転送の画像が生じた後に撮影される時)、次回プラグイン起動時(つまり、未転送の画像が生じた後にプラグインが起動される時)、ネットワーク接続検知時(つまり、未転送の画像が生じた後にネットワークとデバイス20との接続が検知された時)、撮像装置20の操作時(つまり、未転送の画像が生じた後に撮像装置20が操作された時)、撮像装置20の画像記憶部202の残量が閾値を下回った時(つまり、未転送の画像が生じた後に画像記憶部202の残量が閾値を下回った時)、サーバ10からの転送要求を受信した時(つまり、未転送の画像が生じた後にサーバ10からの転送要求を受信した時)である。
【0117】
ステップ302(S302)において、デバイス20の画像転送制御部203は、未転送の画像の一覧の取得を画像状態管理部204に要求する。
【0118】
ステップ303(S303)において、デバイス20の画像転送制御部203は、未転送の画像の一覧を取得する。
【0119】
以下、ステップ304~ステップ320が、未転送の画像分だけ繰り返され、未転送の画像が順次転送される。
【0120】
ステップ304(S304)において、デバイス20の画像転送制御部203は、画像の転送をデバイス20の通信部205に要求する。具体的には、画像転送制御部203は、ファイル名をデバイス20通信部205に通知する。
【0121】
ステップ305(S305)において、デバイス20の通信部205は、画像のアップロード先のURLの取得をサーバ10のデバイス登録部102に要求する。
【0122】
ステップ306(S306)において、デバイス20の通信部205は、S305にて要求したURLを取得する。
【0123】
ここで、画像のファイルのアップロード先のURLについて説明する。デバイス20の通信部205は、画像のファイル名を指定してURLを取得する。つまり、アップロードする画像のファイルごとにURLが取得される。画像のアップロード先のURLは、テンポラリー領域であり、一定期間が経過すると無効なURLとなり、画像がアップロードされていた場合には削除される。
【0124】
ステップ307(S307)において、デバイス20の通信部205は、サーバ10の記憶部104(S306のURL)に画像をアップロードする。
【0125】
ステップ308(S308)において、S107のアップロードが完了すると、デバイス20の画像転送制御部203は、WF(ワークフロー)ジョブの実行をデバイス20の通信部205に要求する。具体的には、画像転送制御部203は、URLを通信部205に通知する。
【0126】
ステップ309(S309)において、デバイス20の通信部205は、WF(ワークフロー)ジョブの実行をサーバ10のデバイス登録部102に要求する。具体的には、通信部205は、URLおよびデバイスIDをデバイス20のデバイス登録部102に通知する。
【0127】
ステップ310(S310)において、サーバ10のデバイス登録部102は、WF(ワークフロー)ジョブの実行をサーバ10の連携部103に要求する。具体的には、デバイス登録部102は、URLおよびデバイスIDを連携部103に通知する。
【0128】
ステップ311(S311)において、サーバ10の連携部103は、WF(ワークフロー)ジョブの実行の要求のパラメータであるURLから画像をダウンロードする。
【0129】
ステップ312(S312)において、サーバ10の連携部103は、WFアプリケーション105にジョブの実行を要求する。具体的には、連携部103は、アプリIDおよび画像をWFアプリケーション105に通知する。
【0130】
サーバ10の連携部103は、
図6の<WFアプリ登録フェーズ>で実施されたアプリ紐づけ登録により、どのデバイス20とどのWF(ワークフロー)アプリケーションとが紐づいているかを管理しており、WF(ワークフロー)ジョブの実行を要求してきたデバイス20に紐づけられたWF(ワークフロー)アプリケーションを実行させる。
【0131】
ステップ313(S313)において、WFアプリケーション105は、デバイス20からの画像を受信したらオンラインストレージサービスに画像をアップロードするというワークフローにしたがって、デバイス20からの画像をオンラインストレージサービスにアップロードする。
【0132】
ステップ314(S314)において、サーバ10の連携部103は、WF(ワークフロー)ジョブの実行の受付が成功したか否かを示すWFジョブ受付応答を返す。受付が成功した場合には、ジョブを特定するためのジョブIDがパラメータとして通知される。
【0133】
ステップ315(S315)において、サーバ10のデバイス登録部102は、WFジョブ受付応答をデバイス20の通信部205に通知する。
【0134】
ステップ316(S316)において、デバイス20の通信部205は、WFジョブ受付応答をデバイス20の画像転送制御部203に通知する。
【0135】
ステップ317(S317)において、デバイス20の画像転送制御部203は、WFジョブ受付応答に応じて、WFアプリケーション105に対して、ジョブの状態を取得する要求を任意の間隔で行い、ジョブが正常に完了することを監視する。具体的には、画像転送制御部203は、ジョブIDをWFアプリケーション105に通知する。
【0136】
ステップ318(S318)において、デバイス20の画像転送制御部203は、ジョブの状態を取得する。ジョブが完了するまで、S317~S318が繰り返される。
【0137】
ステップ319(S319)において、デバイス20の画像転送制御部203は、WF(ワークフロー)ジョブの実行が正常に終了すると、ジョブの対象となる画像を、未転送の画像の一覧から削除するよう画像状態管理部204に要求する。
【0138】
ステップ318(S318)において、デバイス20の画像転送制御部203は、S319の要求に応じて、画像を未転送の画像の一覧から削除する。
【0139】
図10は、本発明の一実施形態に係る撮影優先モード(画像の撮影後の転送を行わないモード)に関する処理のシーケンス図である。
【0140】
ステップ401(S401)において、デバイス20のシャッターボタンが押下されると、デバイス20の撮影部201は、撮影を行う。
【0141】
ステップ402(S402)において、デバイス20の撮影部201は、S401で撮影が行われた画像をデバイス20の画像記憶部202に保存する。
【0142】
ステップ403(S403)において、デバイス20の撮影部201は、撮影が行われたことをデバイス20の画像転送制御部203に通知する。具体的には、撮影部201は、画像IDを画像転送制御部203に通知する。
【0143】
ステップ404(S404)において、デバイス20の画像転送制御部203は、画像の転送・未転送の状態の管理をデバイス20の画像状態管理部204に要求する。具体的には、画像転送制御部203は、画像IDを画像状態管理部204に通知する。
【0144】
ステップ405(S405)において、デバイス20の画像状態管理部204は、未転送の画像の一覧にS404の画像IDを追加する。
【0145】
ステップ406(S406)において、デバイス20の画像転送制御部203は、デバイス20の電池残量を参照する。
【0146】
ステップ407(S407)において、デバイス20の画像転送制御部203は、撮影優先モードの閾値の設定値(なお、デバイス20は、電池残量が閾値を下回った場合には撮影優先モードで動作し、充電により電池残量が閾値を上回った場合には未転送の画像を転送する)の取得を設定値記憶部206に要求する。
【0147】
ステップ408(S408)において、デバイス20の画像転送制御部203は、撮影優先モードの閾値の設定値を取得する。
【0148】
ステップ409(S409)において、デバイス20の画像転送制御部203は、S406で参照した電池残量と、S408で取得した撮影優先モードの閾値の設定値と、を比較する。
【0149】
ステップ410(S410)において、S409の比較により撮影優先モードではない場合には、デバイス20の画像転送制御部203は、画像の転送をデバイス20の通信部205に要求する(以降は、
図8で説明したように動作する)。一方、S409の比較により撮影優先モードである場合には、画像の転送が行われず、未転送という状態が保持される。
【0150】
<画面例>
図11は、本発明の一実施形態に係る画面の一例である。
図11は、画像を撮影して、ワークフローを実行するプラグインの設定画面である。デバイス20と無線(LAN、Bluetooth等)等で接続されたスマートフォン、タブレット等のアプリケーションから設定が行われる。アプリケーションで設定された値(閾値の設定値)は、デバイス20内に設けられた設定値記憶部206に保存される。
【0151】
ユーザは、
図11に示される画面で、撮影優先モードの閾値(つまり、撮影優先モードへ移行する条件)を設定することができる。デバイス20は、電池残量が閾値を下回った場合には撮影優先モードで動作し、充電により電池残量が閾値を上回った場合には未転送の画像を転送する。
【0152】
<効果>
このように、本発明の一実施形態では、撮像装置は、何らかの事由により転送できなかった画像を、ユーザが所望するタイミングで(例えば、複数の再転送のトリガーのうちのいずれかのトリガーの発生に応じて(つまり、画像の転送ができなかった原因が解消すると))再転送することができる。
【0153】
上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP(digital signal processor)、FPGA(field programmable gate array)や従来の回路モジュール等のデバイスを含むものとする。
【0154】
なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせ等、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。
【符号の説明】
【0155】
1 システム
10 サーバ
20 デバイス
101 アプリ設定部
102 デバイス登録部
103 連携部
104 記憶部
105 WFアプリ
201 撮影部
202 画像記憶部
203 画像転送制御部
204 画像状態管理部
205 通信部
206 設定値記憶部
【先行技術文献】
【特許文献】
【0156】