特開2024-136274情報処理装置、インターホンシステムの子機、情報処理方法、及びプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024136274
(43)【公開日】2024-10-04
(54)【発明の名称】情報処理装置、インターホンシステムの子機、情報処理方法、及びプログラム
(51)【国際特許分類】
H04M 9/00 20060101AFI20240927BHJP
H04N 7/18 20060101ALI20240927BHJP
G06T 7/00 20170101ALI20240927BHJP
G06V 10/82 20220101ALI20240927BHJP
【ＦＩ】
H04M9/00 B
H04N7/18 H
H04N7/18 K
G06T7/00 350C
G06V10/82
【審査請求】未請求
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2023047349
(22)【出願日】2023-03-23
(71)【出願人】
【識別番号】000006507
【氏名又は名称】横河電機株式会社
(74)【代理人】
【識別番号】100147485
【弁理士】
【氏名又は名称】杉村 憲司
(74)【代理人】
【識別番号】230118913
【弁護士】
【氏名又は名称】杉村 光嗣
(74)【代理人】
【識別番号】100169823
【弁理士】
【氏名又は名称】吉澤 雄郎
(74)【代理人】
【識別番号】100202326
【弁理士】
【氏名又は名称】橋本 大佑
(72)【発明者】
【氏名】和田 篤士
(72)【発明者】
【氏名】小嶋 修
【テーマコード（参考）】
5C054
5K038
5L096
【Ｆターム（参考）】
5C054CA04
5C054CC02
5C054CD06
5C054FC01
5C054FC12
5C054HA22
5K038AA06
5K038DD15
5L096BA02
5L096CA04
5L096EA03
5L096FA16
5L096FA69
5L096HA11
5L096KA04
(57)【要約】
【課題】インターホンシステムを利用するユーザの利便性を向上させることが可能な情報処理装置を提供する。
【解決手段】本開示に係る情報処理装置１０は、インターホンシステム２の子機２０が有する撮像部２１を用いて撮像された画像を取得し、取得された画像に含まれる、訪問者の服装情報及び訪問者により配達された配達物の置き配情報のうちの少なくとも一方に応じてユーザへの通知処理を実行する制御部１３、を備える。
【選択図】図２
【解決手段】本開示に係る情報処理装置１０は、インターホンシステム２の子機２０が有する撮像部２１を用いて撮像された画像を取得し、取得された画像に含まれる、訪問者の服装情報及び訪問者により配達された配達物の置き配情報のうちの少なくとも一方に応じてユーザへの通知処理を実行する制御部１３、を備える。
【選択図】図２
【特許請求の範囲】
【請求項1】
インターホンシステムの子機が有する撮像部を用いて撮像された画像を取得し、取得された前記画像に含まれる、訪問者の服装情報及び前記訪問者により配達された配達物の置き配情報のうちの少なくとも一方に応じてユーザへの通知処理を実行する制御部、
を備える、
情報処理装置。
を備える、
情報処理装置。
【請求項2】
請求項１に記載の情報処理装置であって、
前記制御部は、前記撮像部に含まれる、前記訪問者の全身から前記子機の直下の地面までを画角に含む広角カメラにより撮像された前記画像を取得する、
情報処理装置。
前記制御部は、前記撮像部に含まれる、前記訪問者の全身から前記子機の直下の地面までを画角に含む広角カメラにより撮像された前記画像を取得する、
情報処理装置。
【請求項3】
請求項２に記載の情報処理装置であって、
前記服装情報は、配送業者の配達人としての前記訪問者が着用している全身の制服の情報を含み、
前記制御部は、前記制服の情報から画像解析により前記訪問者を前記配達人として検知する、
情報処理装置。
前記服装情報は、配送業者の配達人としての前記訪問者が着用している全身の制服の情報を含み、
前記制御部は、前記制服の情報から画像解析により前記訪問者を前記配達人として検知する、
情報処理装置。
【請求項4】
請求項２又は３に記載の情報処理装置であって、
前記置き配情報は、前記配達物が前記地面に置かれたことを第１情報として含み、
前記制御部は、前記第１情報から画像解析により前記配達物が置き配されたことを検知する、
情報処理装置。
前記置き配情報は、前記配達物が前記地面に置かれたことを第１情報として含み、
前記制御部は、前記第１情報から画像解析により前記配達物が置き配されたことを検知する、
情報処理装置。
【請求項5】
請求項２又は３に記載の情報処理装置であって、
前記置き配情報は、前記地面に置かれた前記配達物の外観を第２情報として含み、
前記制御部は、前記第２情報から画像解析により前記配達物の種類を検知する、
情報処理装置。
前記置き配情報は、前記地面に置かれた前記配達物の外観を第２情報として含み、
前記制御部は、前記第２情報から画像解析により前記配達物の種類を検知する、
情報処理装置。
【請求項6】
請求項２又は３に記載の情報処理装置であって、
前記制御部は、前記画像から前記訪問者の顔の位置を画像解析により検知し、前記顔を含む領域を拡大して前記インターホンシステムの親機に表示させる、
情報処理装置。
前記制御部は、前記画像から前記訪問者の顔の位置を画像解析により検知し、前記顔を含む領域を拡大して前記インターホンシステムの親機に表示させる、
情報処理装置。
【請求項7】
請求項３に記載の情報処理装置であって、
前記制御部は、ニューラルネットワークを用いた深層学習を含む機械学習に基づき構築されたアプリケーションを用いて前記画像解析を実行する、
情報処理装置。
前記制御部は、ニューラルネットワークを用いた深層学習を含む機械学習に基づき構築されたアプリケーションを用いて前記画像解析を実行する、
情報処理装置。
【請求項8】
請求項１乃至３のいずれか１項に記載の情報処理装置を備える、インターホンシステムの子機。
【請求項9】
インターホンシステムの子機が有する撮像部を用いて撮像された画像を取得するステップと、
取得された前記画像に含まれる、訪問者の服装情報及び前記訪問者により配達された配達物の置き配情報のうちの少なくとも一方に応じてユーザへの通知処理を実行するステップと、
を含む、
情報処理方法。
取得された前記画像に含まれる、訪問者の服装情報及び前記訪問者により配達された配達物の置き配情報のうちの少なくとも一方に応じてユーザへの通知処理を実行するステップと、
を含む、
情報処理方法。
【請求項10】
情報処理装置に、
インターホンシステムの子機が有する撮像部を用いて撮像された画像を取得するステップと、
取得された前記画像に含まれる、訪問者の服装情報及び前記訪問者により配達された配達物の置き配情報のうちの少なくとも一方に応じてユーザへの通知処理を実行するステップと、
を含む動作を実行させる、
プログラム。
インターホンシステムの子機が有する撮像部を用いて撮像された画像を取得するステップと、
取得された前記画像に含まれる、訪問者の服装情報及び前記訪問者により配達された配達物の置き配情報のうちの少なくとも一方に応じてユーザへの通知処理を実行するステップと、
を含む動作を実行させる、
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、情報処理装置、インターホンシステムの子機、情報処理方法、及びプログラムに関する。
【背景技術】
【0002】
従来、インターホンシステムに関連する技術が知られている。例えば、特許文献１には、宅配物の配達人が来た際に、居住者が応答することなく配達人であることを認識できるインターホンシステムが開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０２２－０７０６８３号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
従来のインターホンシステムでは、子機の撮像部により撮像された画像から訪問者の顔に基づいて認証処理を行うことも可能であるが、訪問者の服装及び置き配の有無などのより広範囲な情報に基づく処理については十分に検討されていなかった。これにより、インターホンシステムを利用するユーザの利便性が低下していた。
【0005】
本開示は、インターホンシステムを利用するユーザの利便性を向上させることが可能な情報処理装置、インターホンシステムの子機、情報処理方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
幾つかの実施形態に係る情報処理装置は、インターホンシステムの子機が有する撮像部を用いて撮像された画像を取得し、取得された前記画像に含まれる、訪問者の服装情報及び前記訪問者により配達された配達物の置き配情報のうちの少なくとも一方に応じてユーザへの通知処理を実行する制御部、を備える。
【0007】
これにより、インターホンシステムを利用するユーザの利便性を向上させることが可能である。情報処理装置は、訪問者の服装情報及び訪問者により配達された配達物の置き配情報のうちの少なくとも一方に応じてユーザへの通知処理を実行する。したがって、情報処理装置は、訪問者の顔のみに基づいて処理を実行する従来技術と比較して、訪問者の服装及び置き配の有無などのより広範囲な情報に基づいて処理を実行可能である。結果として、情報処理装置は、図３を用いて説明するような、よりバリエーションに富んだ検知処理などを実行可能であり、ユーザの利便性の向上に寄与する。
【0008】
一実施形態における情報処理装置では、前記制御部は、前記撮像部に含まれる、前記訪問者の全身から前記子機の直下の地面までを画角に含む広角カメラにより撮像された前記画像を取得してもよい。
【0009】
これにより、情報処理装置は、訪問者の全身から子機の直下の地面までを画角に含む画像に基づいて処理を実行可能である。従来のインターホンシステムのカメラは、顔を映すことを主目的に装備されている。したがって、カメラの画角が狭く、映される画像の範囲が狭すぎる。結果として、服装情報などが画像に含まれない。例えば、従来のカメラは、５０度から７０度の画角を有するのが一般的である。これに対し、撮像部に含まれる広角カメラは、１２０度以上のより広い画角を有し、訪問者の全身及び置き配された配達物を確認できる程度の広範囲な画像を撮像可能である。
【0010】
一実施形態における情報処理装置では、前記服装情報は、配送業者の配達人としての前記訪問者が着用している全身の制服の情報を含み、前記制御部は、前記制服の情報から画像解析により前記訪問者を前記配達人として検知してもよい。
【0011】
これにより、情報処理装置は、様々な訪問者の中から配送業者の配達人を区別して、特定の通知処理を実行することも可能である。例えば、情報処理装置は、配送業者の配達人の訪問に対しては、一般の呼び出し音と異なる呼び出し音にてユーザに通知することにより、ユーザによる他の訪問者との区別を容易にする。ユーザは、呼び出し音に基づいて配送業者の配達人と他の訪問者とを容易に区別可能である。したがって、インターホンシステムを利用するユーザの利便性が向上する。
【0012】
一実施形態における情報処理装置では、前記置き配情報は、前記配達物が前記地面に置かれたことを第１情報として含み、前記制御部は、前記第１情報から画像解析により前記配達物が置き配されたことを検知してもよい。
【0013】
これにより、情報処理装置は、配達物の置き配を訪問者の訪問と区別して、特定の通知処理を実行することも可能である。例えば、情報処理装置は、配達物の置き配に対しては、訪問者の訪問に関する呼び出し音と異なる呼び出し音にてユーザに通知することにより、ユーザによる訪問者の訪問との区別を容易にする。このときの呼び出し音は、例えば、訪問者による呼び出しボタンの押下ではなく、情報処理装置による置き配の検知を契機として情報処理装置の制御部による自律的な動作で鳴ってもよい。ユーザは、配達物の置き配が行われたことを、呼び出し音に基づいて認知することが可能になる。したがって、インターホンシステムを利用するユーザの利便性が向上する。
【0014】
一実施形態における情報処理装置では、前記置き配情報は、前記地面に置かれた前記配達物の外観を第２情報として含み、前記制御部は、前記第２情報から画像解析により前記配達物の種類を検知してもよい。
【0015】
これにより、情報処理装置は、配達物の種類を区別して、その種類ごとに特定の通知処理を実行することも可能である。例えば、情報処理装置は、ダンボール箱の配達物に対しては、他の種類の配達物に関する呼び出し音と異なる呼び出し音にてユーザに通知することにより、ユーザによる他の種類の配達物との区別を容易にする。ユーザは、呼び出し音に基づいてダンボール箱の配達物と他の種類の配達物とを容易に区別可能である。したがって、インターホンシステムを利用するユーザの利便性が向上する。
【0016】
一実施形態における情報処理装置では、前記制御部は、前記画像から前記訪問者の顔の位置を画像解析により検知し、前記顔を含む領域を拡大して前記インターホンシステムの親機に表示させてもよい。
【0017】
これにより、情報処理装置は、ユーザによる訪問者の顔の識別を容易にする。ユーザは、親機に表示された画像に基づいて、訪問者の顔を容易に識別可能である。したがって、インターホンシステムを利用するユーザの利便性が向上する。
【0018】
一実施形態における情報処理装置では、前記制御部は、ニューラルネットワークを用いた深層学習を含む機械学習に基づき構築されたアプリケーションを用いて前記画像解析を実行してもよい。
【0019】
これにより、情報処理装置は、画像解析を用いた種々の検知処理をより精度良く実行可能である。したがって、情報処理装置は、検知処理に続く通知処理もより正確に実行可能である。ユーザは、インターホンシステムからより正確な通知を受けることができる。
【0020】
幾つかの実施形態に係るインターホンシステムの子機は、上記のいずれかに記載の情報処理装置を備える。
【0021】
これにより、インターホンシステムを利用するユーザの利便性を向上させることが可能である。情報処理装置は、訪問者の服装情報及び訪問者により配達された配達物の置き配情報のうちの少なくとも一方に応じてユーザへの通知処理を実行する。したがって、情報処理装置は、訪問者の顔のみに基づいて処理を実行する従来技術と比較して、訪問者の服装及び置き配の有無などのより広範囲な情報に基づいて処理を実行可能である。結果として、情報処理装置は、図３を用いて説明するような、よりバリエーションに富んだ検知処理などを実行可能であり、ユーザの利便性の向上に寄与する。
【0022】
幾つかの実施形態に係る情報処理方法は、インターホンシステムの子機が有する撮像部を用いて撮像された画像を取得するステップと、取得された前記画像に含まれる、訪問者の服装情報及び前記訪問者により配達された配達物の置き配情報のうちの少なくとも一方に応じてユーザへの通知処理を実行するステップと、を含む。
【0023】
これにより、インターホンシステムを利用するユーザの利便性を向上させることが可能である。情報処理方法を実行する情報処理装置は、訪問者の服装情報及び訪問者により配達された配達物の置き配情報のうちの少なくとも一方に応じてユーザへの通知処理を実行する。したがって、情報処理装置は、訪問者の顔のみに基づいて処理を実行する従来技術と比較して、訪問者の服装及び置き配の有無などのより広範囲な情報に基づいて処理を実行可能である。結果として、情報処理装置は、図３を用いて説明するような、よりバリエーションに富んだ検知処理などを実行可能であり、ユーザの利便性の向上に寄与する。
【0024】
幾つかの実施形態に係るプログラムは、情報処理装置に、インターホンシステムの子機が有する撮像部を用いて撮像された画像を取得するステップと、取得された前記画像に含まれる、訪問者の服装情報及び前記訪問者により配達された配達物の置き配情報のうちの少なくとも一方に応じてユーザへの通知処理を実行するステップと、を含む動作を実行させる。
【0025】
これにより、インターホンシステムを利用するユーザの利便性を向上させることが可能である。情報処理装置は、訪問者の服装情報及び訪問者により配達された配達物の置き配情報のうちの少なくとも一方に応じてユーザへの通知処理を実行する。したがって、情報処理装置は、訪問者の顔のみに基づいて処理を実行する従来技術と比較して、訪問者の服装及び置き配の有無などのより広範囲な情報に基づいて処理を実行可能である。結果として、情報処理装置は、図３を用いて説明するような、よりバリエーションに富んだ検知処理などを実行可能であり、ユーザの利便性の向上に寄与する。
【発明の効果】
【0026】
本開示によれば、インターホンシステムを利用するユーザの利便性を向上させることが可能な情報処理装置、インターホンシステムの子機、情報処理方法、及びプログラムを提供可能である。
【図面の簡単な説明】
【0027】
【図1】本開示の一実施形態に係る情報処理システムの構成の一例を示す構成図である。
【発明を実施するための形態】
【0028】
以下では、添付図面を参照しながら本開示の一実施形態について主に説明する。
【0029】
図１は、本開示の一実施形態に係る情報処理システム１の構成の一例を示す構成図である。図１を参照しながら、本開示の一実施形態に係る情報処理システム１の概要について主に説明する。情報処理システム１は、インターホンシステム２と、サーバ装置４０と、端末装置５０とを有する。インターホンシステム２は、情報処理装置１０と、情報処理装置１０を内部に有する子機２０と、親機３０とを有する。
【0030】
図１では説明の簡便のため、情報処理装置１０を有するインターホンシステム２について１つのみ図示しているが、情報処理システム１が有するインターホンシステム２の数は２つ以上であってもよい。１つのインターホンシステム２において、子機２０及び親機３０の一対一の組み合わせが複数含まれていてもよいし、１つの子機２０に対して複数の親機３０が組み合わされていてもよいし、１つの親機３０に対して複数の子機２０が組み合わされていてもよい。子機２０の数に合わせて、情報処理装置１０の数も２つ以上であってもよい。１つの子機２０に少なくとも１つの情報処理装置１０が配置されている。
【0031】
図１では説明の簡便のため、サーバ装置４０について１つのみ図示しているが、情報処理システム１が有するサーバ装置４０の数は２つ以上であってもよい。同様に、端末装置５０について１つのみ図示しているが、情報処理システム１が有する端末装置５０の数は２つ以上であってもよい。
【0032】
子機２０に含まれる情報処理装置１０、親機３０、サーバ装置４０、及び端末装置５０のそれぞれは、移動体通信網及びインターネットなどを含むネットワーク６０と通信可能に接続されている。
【0033】
一実施形態の概要として、情報処理装置１０は、インターホンシステム２の子機２０が有する後述の撮像部２１を用いて撮像された画像を取得する。情報処理装置１０は、訪問者が呼び出しボタンを押してからカメラが撮像を開始する従来のインターホンシステムと異なり、子機２０の撮像部２１により画像を常時撮像して、当該画像を常時取得してもよい。
【0034】
本開示において、「画像」は、静止画又は動画を含む。画像は、例えば、撮像部２１に含まれる、訪問者の全身から子機２０の直下の地面までを画角に含む広角カメラにより撮像された画像を含む。
【0035】
本開示において、「訪問者」は、ユーザとしての居住者が居住する住宅に所定の目的で訪問してきた者などを含む。訪問者は、配達物を配達する目的で当該住宅に訪問してきた配送業者の配達人、営業目的で当該住宅に訪問してきたセールスマン、及びユーザとのコミュニケーションを目的として当該住宅に訪問してきたユーザの知人などを含む。本開示において、「住宅」は、インターホンシステム２が備え付けられている住宅であって、一戸建て及び集合住宅などを含む。
【0036】
情報処理装置１０は、取得された画像に含まれる、訪問者の服装情報及び訪問者により配達された配達物の置き配情報のうちの少なくとも一方に応じて居住者としてのユーザへの通知処理を実行する。
【0037】
本開示において、「服装情報」は、訪問者が着用している服装の情報を含む。服装情報は、配送業者の配達人が着用している全身の制服の情報、セールスマンが着用している全身のスーツの情報、及びユーザの知人が着用している全身の私服の情報などを含む。「配達物」は、ユーザへ送り届ける任意の物を内包するダンボール箱、書籍及び書類などを内包するケース、及び置き配により届ける食品を内包する、保温シートがかかったコンテナなどを含む。
【0038】
本開示において、「置き配情報」は、例えば、配達物が子機２０の直下の地面に置かれたことを第１情報として含み、当該地面に置かれた配達物の外観を第２情報として含む。「置き配」は、例えば、配達先の受取人としてのユーザが不在などの理由により配達物を直接受け取ることができないときに、玄関先などの所定の場所に配達人が当該配達物を置くことを意味する。
【0039】
本開示において、「通知処理」は、例えば、訪問者が訪問していること及び配達物が置き配されたことの少なくとも一方を、情報処理装置１０を有する子機２０から通知する処理を含む。通知処理は、親機３０及び端末装置５０の少なくとも一方に対し実行される。例えば、子機２０は、インターホンシステム２が備え付けられている住宅に居住者として居住しているユーザが使用する端末装置５０に、ネットワーク６０を介して、メール及びその他のメッセージング機能などの方法で通知処理を実行してもよい。通知処理は、居住者としてのユーザの聴覚及び視覚の少なくとも一方に作用する出力などを含む。当該出力は、チャイム、ブザー、ベル、及びメロディなどの呼び出し音の出力、訪問者及び置き配された配達物などの画像の出力、並びに訪問者及び置き配された配達物などの内容を示すメッセージの視覚的及び聴覚的な出力などを含む。呼び出し音は、訪問者による呼び出しボタンの押下などの、後述する子機２０の入力部２２を用いた訪問者の入力操作によって鳴る音などを含む。
【0040】
情報処理装置１０は、ユーザの住宅に備え付けられたインターホンシステム２の子機２０に搭載された状態で、子機２０の動作を制御する装置を含む。情報処理装置１０は、子機２０において画像を必要な情報として取得し、子機２０の動作として通知処理を親機３０及び端末装置５０の少なくとも一方に対し実行する。
【0041】
子機２０は、インターホンシステム２の一部としてユーザの住宅に備え付けられる装置を含む。子機２０は、例えば、ユーザが居住者として居住している一戸建ての玄関先又は集合住宅のエントランス内に備え付けられ、訪問者が自身の訪問をユーザに伝えるために使用される装置を含む。
【0042】
親機３０は、インターホンシステム２の一部としてユーザの住宅に備え付けられる装置を含む。親機３０は、例えば、ユーザが居住者として居住している一戸建ての居室内又は集合住宅の居室内に備え付けられ、子機２０と連携しながら、訪問者が訪問してきたことをユーザに通知するために使用される装置を含む。
【0043】
サーバ装置４０は、１つ又は互いに通信可能な複数の装置を含む。サーバ装置４０は、ＰＣ（Personal Computer）及びスマートフォンなどの任意の汎用の電子機器を含んでもよいし、情報処理システム１に専用の他の電子機器を含んでもよい。サーバ装置４０は、インターホンシステム２を用いた画像に基づく通知処理のサービスをユーザに提供する事業者などにより管理される。
【0044】
端末装置５０は、スマートフォン、スマートウォッチなどのウェアラブルデバイス、ＰＣ、及びタブレットＰＣなどの汎用の電子機器を含む。端末装置５０は、インターホンシステム２が備え付けられている住宅に居住者として居住しているユーザが使用する電子機器である。端末装置５０は、これらに限定されず、ユーザが使用する１つ又は互いに通信可能な複数のサーバ装置を含んでもよいし、情報処理システム１に専用の他の電子機器を含んでもよい。
【0045】
図２は、図１に示される各装置の構成の一例を示すブロック図である。図２を参照しながら、情報処理システム１に含まれる情報処理装置１０、子機２０、親機３０、サーバ装置４０、及び端末装置５０のそれぞれの構成の一例について主に説明する。
【0046】
図２に示されるように、子機２０に備わる情報処理装置１０は、通信部１１、記憶部１２、及び制御部１３を有する。
【0047】
通信部１１は、１つ以上の通信インタフェースを含む。当該通信インタフェースは、ネットワーク６０に接続可能である。当該通信インタフェースは、例えば、４Ｇ（4th Generation）及び５Ｇ（5th Generation）などの移動体通信規格、有線ＬＡＮ（Local Area Network）規格、又は無線ＬＡＮ規格に対応するが、これらに限定されず任意の通信規格に対応してもよい。加えて、当該通信インタフェースは、子機２０と親機３０との間の通信接続を可能にする所定の通信規格にも対応する。一実施形態において、情報処理装置１０は、通信部１１を介してネットワーク６０及び親機３０に通信可能に接続されている。
【0048】
記憶部１２は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）、ＲＯＭ（Read-Only Memory）、及びＲＡＭ（Random Access Memory）などの記憶装置を含む。記憶部１２は、情報処理装置１０の動作を実現するために必要な情報を記憶する。記憶部１２は、情報処理装置１０の動作によって得られた情報を記憶する。例えば、記憶部１２は、システムプログラム、アプリケーションプログラム、及び通信などの任意の手段で取得される各種データなどを記憶する。
【0049】
記憶部１２は、主記憶装置、補助記憶装置、又はキャッシュメモリとして機能してもよい。記憶部１２は、情報処理装置１０に内蔵されているものに限定されず、ＵＳＢ（Universal Serial Bus）などのデジタル入出力ポートなどによって接続されている外付け型の記憶装置を含んでもよい。
【0050】
制御部１３は、１つ以上のプロセッサを含む。本開示において、「プロセッサ」は、汎用のプロセッサ、又は特定の処理に特化した専用のプロセッサであるが、これらに限定されない。制御部１３は、情報処理装置１０を構成する各構成部と通信可能に接続され、情報処理装置１０全体の動作を制御する。
【0051】
情報処理システム１に含まれるインターホンシステム２の子機２０の構成について主に説明する。図２に示されるように、子機２０は、情報処理装置１０、撮像部２１、入力部２２、及び出力部２３を有する。
【0052】
撮像部２１は、訪問者の全身から子機２０の直下の地面までを画角に含む広角カメラを含む。当該広角カメラは、例えば、１２０度以上の画角を有する。撮像部２１は、訪問者の服装情報及び訪問者により配達された配達物の置き配情報のうちの少なくとも一方を含む画像を撮像し、情報処理装置１０の制御部１３に出力する。
【0053】
入力部２２は、訪問者が自身の訪問をユーザに伝えようとするときに、訪問者による入力操作を受け付ける１つ以上の入力インタフェースを含む。当該入力インタフェースは、呼び出しボタン、集合住宅におけるユーザの部屋番号を入力するための物理キー及び静電容量キー、並びに訪問者の音声入力を受け付けるマイクロフォンなどを含む。
【0054】
出力部２３は、入力部２２を用いた訪問者による入力操作に対するユーザからの応答を訪問者に出力する１つ以上の出力インタフェースを含む。当該出力インタフェースは、ユーザからの応答を音声として出力するスピーカなどを含む。
【0055】
情報処理システム１に含まれるインターホンシステム２の親機３０の構成について主に説明する。図２に示されるように、親機３０は、通信部３１、記憶部３２、入力部３３、出力部３４、及び制御部３５を有する。
【0056】
通信部３１は、１つ以上の通信インタフェースを含む。当該通信インタフェースは、ネットワーク６０に接続可能である。当該通信インタフェースは、例えば、４Ｇ及び５Ｇなどの移動体通信規格、有線ＬＡＮ規格、又は無線ＬＡＮ規格に対応するが、これらに限定されず任意の通信規格に対応してもよい。加えて、当該通信インタフェースは、親機３０と子機２０との間の通信接続を可能にする所定の通信規格にも対応する。一実施形態において、親機３０は、通信部３１を介してネットワーク６０及び子機２０に通信可能に接続されている。
【0057】
記憶部３２は、ＨＤＤ、ＳＳＤ、ＥＥＰＲＯＭ、ＲＯＭ、及びＲＡＭなどの記憶装置を含む。記憶部３２は、親機３０の動作を実現するために必要な情報を記憶する。記憶部３２は、親機３０の動作によって得られた情報を記憶する。例えば、記憶部３２は、システムプログラム、アプリケーションプログラム、及び通信などの任意の手段で取得される各種データなどを記憶する。
【0058】
記憶部３２は、主記憶装置、補助記憶装置、又はキャッシュメモリとして機能してもよい。記憶部３２は、親機３０に内蔵されているものに限定されず、ＵＳＢなどのデジタル入出力ポートなどによって接続されている外付け型の記憶装置を含んでもよい。
【0059】
入力部３３は、ユーザ入力を検出して、ユーザの操作に基づく入力情報を取得する１つ以上の入力インタフェースを含む。当該入力インタフェースは、物理キー、静電容量キー、出力部３４のディスプレイと一体的に設けられたタッチスクリーン、及び音声入力を受け付けるマイクロフォンなどを含む。
【0060】
出力部３４は、情報を出力してユーザに通知する１つ以上の出力インタフェースを含む。当該出力インタフェースは、情報を画像で出力するディスプレイ及び情報を音で出力するスピーカなどを含む。
【0061】
制御部３５は、１つ以上のプロセッサを含む。制御部３５は、親機３０を構成する各構成部と通信可能に接続され、親機３０全体の動作を制御する。
【0062】
情報処理システム１に含まれるサーバ装置４０の構成について主に説明する。図２に示されるように、サーバ装置４０は、通信部４１、記憶部４２、及び制御部４３を有する。
【0063】
通信部４１は、ネットワーク６０に接続する１つ以上の通信インタフェースを含む。当該通信インタフェースは、例えば、４Ｇ及び５Ｇなどの移動体通信規格、有線ＬＡＮ規格、又は無線ＬＡＮ規格に対応するが、これらに限定されず任意の通信規格に対応してもよい。一実施形態において、サーバ装置４０は、通信部４１を介してネットワーク６０に通信可能に接続されている。通信部４１は、ネットワーク６０を介して多様な情報を送信及び受信する。
【0064】
記憶部４２は、ＨＤＤ、ＳＳＤ、ＥＥＰＲＯＭ、ＲＯＭ、及びＲＡＭなどの記憶装置を含む。記憶部４２は、サーバ装置４０の動作を実現するために必要な情報を記憶する。記憶部４２は、サーバ装置４０の動作によって得られた情報を記憶する。例えば、記憶部４２は、システムプログラム、アプリケーションプログラム、及び通信などの任意の手段で取得される各種データなどを記憶する。
【0065】
記憶部４２は、主記憶装置、補助記憶装置、又はキャッシュメモリとして機能してもよい。記憶部４２は、サーバ装置４０に内蔵されているものに限定されず、ＵＳＢなどのデジタル入出力ポートなどによって接続されている外付け型の記憶装置を含んでもよい。
【0066】
制御部４３は、１つ以上のプロセッサを含む。制御部４３は、サーバ装置４０を構成する各構成部と通信可能に接続され、サーバ装置４０全体の動作を制御する。
【0067】
情報処理システム１に含まれる端末装置５０の構成について主に説明する。図２に示されるように、端末装置５０は、通信部５１、記憶部５２、入力部５３、出力部５４、及び制御部５５を有する。
【0068】
通信部５１は、ネットワーク６０に接続する１つ以上の通信インタフェースを含む。当該通信インタフェースは、例えば、４Ｇ及び５Ｇなどの移動体通信規格、有線ＬＡＮ規格、又は無線ＬＡＮ規格に対応するが、これらに限定されず任意の通信規格に対応してもよい。一実施形態において、端末装置５０は、通信部５１を介してネットワーク６０に通信可能に接続されている。通信部５１は、ネットワーク６０を介して多様な情報を送信及び受信する。
【0069】
記憶部５２は、ＨＤＤ、ＳＳＤ、ＥＥＰＲＯＭ、ＲＯＭ、及びＲＡＭなどの記憶装置を含む。記憶部５２は、端末装置５０の動作を実現するために必要な情報を記憶する。記憶部５２は、端末装置５０の動作によって得られた情報を記憶する。例えば、記憶部５２は、システムプログラム、アプリケーションプログラム、及び通信などの任意の手段で取得される各種データなどを記憶する。
【0070】
記憶部５２は、主記憶装置、補助記憶装置、又はキャッシュメモリとして機能してもよい。記憶部５２は、端末装置５０に内蔵されているものに限定されず、ＵＳＢなどのデジタル入出力ポートなどによって接続されている外付け型の記憶装置を含んでもよい。
【0071】
入力部５３は、ユーザ入力を検出して、ユーザの操作に基づく入力情報を取得する１つ以上の入力インタフェースを含む。当該入力インタフェースは、物理キー、静電容量キー、出力部５４のディスプレイと一体的に設けられたタッチスクリーン、カメラなどの撮像モジュール、及び音声入力を受け付けるマイクロフォンなどを含む。
【0072】
出力部５４は、情報を出力してユーザに通知する１つ以上の出力インタフェースを含む。当該出力インタフェースは、情報を画像で出力するディスプレイ、情報を音で出力するスピーカ、及び情報を振動で出力するバイブレータなどを含む。
【0073】
制御部５５は、１つ以上のプロセッサを含む。制御部５５は、端末装置５０を構成する各構成部と通信可能に接続され、端末装置５０全体の動作を制御する。
【0074】
【0075】
ステップＳ１０１では、サーバ装置４０の制御部４３は、教師データを取得する。本開示において、「教師データ」は、インターホンシステム２の子機２０にインストールされるアプリケーションを制御部４３が機械学習により構築するときに用いられるデータを含む。「アプリケーション」は、子機２０が後述する画像解析を実行するためのソフトウェアを含む。教師データは、訪問者が着用する服装の情報と当該訪問者の種類とを互いに関連付けたデータ、配達物が置き配されたときの様子を示す画像と置き配ありという情報とを互いに関連付けたデータ、配達物の外観の情報と当該配達物の種類とを互いに関連付けたデータ、及び訪問者の画像と画像における訪問者の顔とを互いに関連付けたデータなどを含む。
【0076】
このような教師データは、例えば、サーバ装置４０を管理する事業者の担当ユーザによりサーバ装置４０に提供される。例えば、全国でサービスを提供している大手配送業者の制服が変更された場合などにおいて、サーバ装置４０を管理する事業者が大手配送業者から新しい制服を識別するための教師データを受け取ってもよい。そして、当該教師データは、サーバ装置４０を管理する事業者にてサーバ装置４０に提供されてもよい。制御部４３は、例えば、上記の担当ユーザが自身の端末装置を用いて入力した教師データを、ネットワーク６０及び通信部４１を介して当該端末装置から受信する。図１及び図２では説明の簡便のため、当該端末装置の図示を省略しているが、情報処理システム１は、インターホンシステム２、サーバ装置４０、及び端末装置５０に加えて、サーバ装置４０を管理する事業者の担当ユーザが使用する上記の端末装置もさらに有してもよい。
【0077】
ステップＳ１０２では、サーバ装置４０の制御部４３は、ステップＳ１０１において取得された教師データに基づいて機械学習を実行する。本開示において、「機械学習」は、アプリケーションを制御部４３が構築するための学習処理を含む。機械学習は、ニューラルネットワークを用いた深層学習などを含む。
【0078】
ステップＳ１０３では、サーバ装置４０の制御部４３は、ステップＳ１０２における機械学習処理により構築されたアプリケーションをインターホンシステム２の子機２０に提供する。制御部４３は、当該アプリケーションを、通信部４１及びネットワーク６０を介して子機２０に送信する。子機２０が有する情報処理装置１０の制御部１３は、ネットワーク６０及び通信部１１を介して当該アプリケーションをサーバ装置４０からダウンロードし、インストールする。
【0079】
ステップＳ１０４では、情報処理装置１０の制御部１３は、インターホンシステム２の子機２０が有する撮像部２１を用いて撮像された画像を取得する。例えば、制御部１３は、撮像部２１に含まれる、訪問者の全身から子機２０の直下の地面までを画角に含む広角カメラにより撮像された画像を取得する。
【0080】
ステップＳ１０５では、情報処理装置１０の制御部１３は、例えば、ステップＳ１０４において取得された画像に、配送業者の配達人としての訪問者が着用している全身の制服の情報が服装情報として含まれていると、当該制服の情報から画像解析により訪問者を配送業者の配達人として検知する。画像解析は、ステップＳ１０３において子機２０にインストールされたアプリケーションを用いて実行される。
【0081】
ステップＳ１０６では、情報処理装置１０の制御部１３は、例えば、ステップＳ１０４において取得された画像に、配達物が子機２０の直下の地面に置かれたことを示す第１情報が置き配情報として含まれていると、第１情報から画像解析により配達物が置き配されたことを検知する。画像解析は、ステップＳ１０３において子機２０にインストールされたアプリケーションを用いて実行される。
【0082】
ステップＳ１０７では、情報処理装置１０の制御部１３は、例えば、ステップＳ１０４において取得された画像に、子機２０の直下の地面に置かれた配達物の外観を示す第２情報が置き配情報として含まれていると、第２情報から画像解析により配達物の種類を検知する。画像解析は、ステップＳ１０３において子機２０にインストールされたアプリケーションを用いて実行される。
【0083】
ステップＳ１０８では、情報処理装置１０の制御部１３は、ステップＳ１０４において取得された画像に含まれる、訪問者の服装情報及び訪問者により配達された配達物の置き配情報のうちの少なくとも一方に応じてユーザへの通知処理を実行する。例えば、制御部１３は、親機３０及び端末装置５０の少なくとも一方に対して、通信部１１及びネットワーク６０を介して通知処理を実行する。
【0084】
例えば、制御部１３は、ステップＳ１０５の画像解析によって画像の服装情報から配送業者を検知すると、配送業者の配達人が訪問者として訪問していることをユーザに通知する。例えば、制御部１３は、親機３０の出力部３４から、呼び出し音を出力させたり、訪問者の画像を出力させたり、訪問者が配達人であることを示すメッセージを視覚的及び聴覚的に出力させたりする。例えば、制御部１３は、端末装置５０の出力部５４から、呼び出し音を出力させたり、訪問者の画像を出力させたり、訪問者が配達人であることを示すメッセージを視覚的及び聴覚的に出力させたりする。
【0085】
例えば、制御部１３は、ステップＳ１０６の画像解析によって画像の置き配情報から置き配を検知すると、配達物が置き配されたことをユーザに通知する。例えば、制御部１３は、親機３０の出力部３４から、呼び出し音を出力させたり、置き配された配達物の画像を出力させたり、配達物が置き配されたことを示すメッセージを視覚的及び聴覚的に出力させたりする。例えば、制御部１３は、端末装置５０の出力部５４から、呼び出し音を出力させたり、置き配された配達物の画像を出力させたり、配達物が置き配されたことを示すメッセージを視覚的及び聴覚的に出力させたりする。
【0086】
例えば、制御部１３は、ステップＳ１０７の画像解析によって画像の置き配情報から置き配された配達物の種類を検知すると、配達物の種類をユーザに通知する。例えば、制御部１３は、親機３０の出力部３４から、所定の音を出力させたり、置き配された配達物の画像を出力させたり、配達物の種類を示すメッセージを視覚的及び聴覚的に出力させたりする。例えば、制御部１３は、端末装置５０の出力部５４から、所定の音を出力させたり、置き配された配達物の画像を出力させたり、配達物の種類を示すメッセージを視覚的及び聴覚的に出力させたりする。
【0087】
制御部１３は、ステップＳ１０８の通知処理において、ステップＳ１０８よりも前の画像解析により検知された内容に従い通知の態様を決定してもよい。制御部１３は、検知された内容ごとに、視覚的な出力及び聴覚的な出力のうちの異なる出力態様を決定してもよい。
【0088】
例えば、制御部１３は、検知された訪問者の種類ごとに、呼び出し音の音色を変化させてもよい。例えば、制御部１３は、配送業者の配達人、セールスマン、及び知人ごとに異なる音色で呼び出し音を出力させてもよい。制御部１３は、配達物が置き配されたことを示す特定の音色の呼び出し音を出力させてもよい。制御部１３は、検知された配達物の種類ごとに、呼び出し音の音色を変化させてもよい。例えば、制御部１３は、ダンボール箱、書籍及び書類など配達するためのケース、及び食品を置き配するための保温シートがかかったコンテナごとに異なる音色で所定の音を出力させてもよい。
【0089】
以上のような複数の呼び出し音は、例えば、親機３０にプレインストールされる。ユーザは、出力部３４の表示画面を確認しながら入力部３３を操作し、子機２０により検知される内容ごとに対応する呼び出し音を親機３０上で設定する。同様に、複数の呼び出し音は、例えば、端末装置５０にプレインストールされる。ユーザは、出力部５４の表示画面を確認しながら入力部５３を操作し、子機２０により検知される内容ごとに対応する呼び出し音を端末装置５０上で設定する。
【0090】
ステップＳ１０９では、情報処理装置１０の制御部１３は、ステップＳ１０４において取得された画像から訪問者の顔の位置を画像解析により検知し、顔を含む領域を画像上で拡大する。画像解析は、ステップＳ１０３において子機２０にインストールされたアプリケーションを用いて実行される。
【0091】
以上のように、情報処理装置１０の制御部１３は、ニューラルネットワークを用いた深層学習を含む機械学習に基づき構築されたアプリケーションを用いて各種の画像解析を実行する。制御部１３は、上述したとおり、子機２０の入力部２２に対する操作が訪問者などにより行われていない状況下で撮像部２１による画像の撮像及び各種の画像解析を常時実行してもよい。これに限定されず、制御部１３は、呼び出しボタンを押すなどの、子機２０の入力部２２に対する操作を訪問者が行ったことをトリガーとして撮像部２１による画像の撮像及び各種の画像解析を実行してもよい。
【0092】
ステップＳ１１０では、情報処理装置１０の制御部１３は、ステップＳ１０９において訪問者の顔を含む領域を拡大した拡大画像を、インターホンシステム２の親機３０に表示させる。例えば、制御部１３は、親機３０の出力部３４に対して、通信部１１及びネットワーク６０を介して当該拡大画像を表示させる表示処理を実行する。
【0093】
ステップＳ１１１では、端末装置５０の制御部５５は、入力部５３を用いてユーザにより新たに入力された画像データを取得する。本開示において、「画像データ」は、ユーザが子機２０による検知を所望する特定の個人が着用する服装の情報を示す画像などを含む。制御部５５は、画像データと共に、特定の個人を示す情報も、入力部５３を用いたユーザ入力により取得する。
【0094】
ステップＳ１１２では、端末装置５０の制御部５５は、ステップＳ１１１において取得された画像データを、特定の個人を示す情報と共に、通信部５１及びネットワーク６０を介してサーバ装置４０に送信する。サーバ装置４０の制御部４３は、ネットワーク６０及び通信部４１を介して画像データ及び特定の個人を示す情報を端末装置５０から受信する。
【0095】
ステップＳ１１３では、サーバ装置４０の制御部４３は、ステップＳ１１２において取得された画像データ及び特定の個人を示す情報を教師データとしてステップＳ１０２と同様に機械学習を再度実行する。制御部４３は、ステップＳ１１２において取得された画像データ及び特定の個人を示す情報に基づいてアプリケーションを更新する。
【0096】
ステップＳ１１４では、サーバ装置４０の制御部４３は、ステップＳ１１３における機械学習処理により更新されたアプリケーションをインターホンシステム２の子機２０に提供する。制御部４３は、当該アプリケーションを、通信部４１及びネットワーク６０を介して子機２０に送信する。子機２０が有する情報処理装置１０の制御部１３は、ネットワーク６０及び通信部１１を介して更新版のアプリケーションをサーバ装置４０からダウンロードし、インストールする。
【0097】
ユーザは、例えば、地元地域の食品配送業者などの特定の個人の制服の情報のように、個別に検知を望む制服の情報を有しているのであれば、その制服の情報を画像データとして自身の端末装置５０からネットワーク６０を介してサーバ装置４０に提供する。例えば、サーバ装置４０は、教師データとしてそのような画像データのアップロードをユーザから受け付けるＷｅｂページを設けてもよい。サーバ装置４０は、端末装置５０からアップロードされてきた画像データに基づいてアプリケーションを機械学習により更新する。上記のユーザが居住する住宅に備え付けられている子機２０は、アプリケーションの更新版をサーバ装置４０からダウンロードし、インストールする。
【0098】
例えば、全国でサービスを提供している大手配送業者の制服の情報などは、ステップＳ１０１において教師データとしてサーバ装置４０に予め提供され、ステップＳ１０３においてアプリケーションとして子機２０にプレインストールされている。ステップＳ１１４では、ユーザが個別に検知を望む制服の情報などが追加情報として子機２０にインストールされる。
【0099】
図４は、図２の情報処理装置１０が実行する処理の一例を説明するための模式図である。図４は、インターホンシステム２の子機２０が有する撮像部２１の広角カメラにより撮像された画像の一例を示す。撮像部２１の広角カメラは、その広い画角により訪問者の全身を撮像可能である。加えて、当該広角カメラは、その広い画角により子機２０の直下の地面を撮像可能である。図４に示される画像には、訪問者の服装情報及び訪問者により配達された配達物の置き配情報の両方が含まれている。
【0100】
情報処理装置１０の制御部１３は、図４の画像の略全体に示されている訪問者の全身の制服の情報に基づいて、画像解析により図３のステップＳ１０５の処理を実行する。このとき、制御部１３は、画像解析において、訪問者の全身像の画角内での位置を特定し、それにより定まる、独特な色及び形状などを有する着用済みの訪問者の制服の位置を画像上で認識して、当該制服を検知し、配送業者を検知する。
【0101】
制御部１３は、図４の画像の領域Ｒ１において配達物が地面の上に置かれていることから、画像解析により図３のステップＳ１０６の処理を実行する。このとき、制御部１３は、所定の方法で置き配を検知する。所定の方法は、例えば、訪問者の行動を画像解析により解析することで、訪問者が物を配達物として地面に置いたことを検知する方法を含む。所定の方法は、例えば、平常時は物が置かれていない玄関先の地面において、置き配として想定される形状の物を配達物として画像解析により検知する方法を含む。
【0102】
制御部１３は、領域Ｒ１に含まれる配達物の外観に基づいて、画像解析により図３のステップＳ１０７の処理を実行する。制御部１３は、図３のステップＳ１０８の通知処理において、親機３０の出力部３４及び端末装置５０の出力部５４の少なくとも一方に対し、図４に示される画像をそのまま表示させてもよい。
【0103】
一方で、配達物を配達する配送業者とは異なる他の訪問者に対しては、ユーザは、全身よりも顔を中心に識別したいと望むのが通常である。しかしながら、広角カメラの広い画角により訪問者の全身が撮像されると、親機３０の出力部３４及び端末装置５０の出力部５４の少なくとも一方に表示される訪問者の顔が画像上で小さくなりすぎてユーザが識別できなくなるようなことも想定される。
【0104】
したがって、このような場合に、情報処理装置１０の制御部１３は、図３のステップＳ１０９及びステップＳ１１０の処理を実行する。例えば、制御部１３は、図４に示される画像から訪問者の顔の位置を画像解析により検知し、顔を含む領域Ｒ２を拡大してインターホンシステム２の親機３０に表示させる。より具体的には、制御部１３は、画像解析により訪問者の顔を人間の顔として検知し、画角内の顔の位置を特定する。制御部１３は、顔の位置を特定できれば、当該位置を中心に顔全体と胸から上あたりが映る程度に画像を拡大して、親機３０の出力部３４に表示させる。
【0105】
以上のような一実施形態に係る情報処理装置１０によれば、インターホンシステム２を利用するユーザの利便性を向上させることが可能である。情報処理装置１０は、訪問者の服装情報及び訪問者により配達された配達物の置き配情報のうちの少なくとも一方に応じてユーザへの通知処理を実行する。したがって、情報処理装置１０は、訪問者の顔のみに基づいて処理を実行する従来技術と比較して、訪問者の服装及び置き配の有無などのより広範囲な情報に基づいて処理を実行可能である。結果として、情報処理装置１０は、図３を用いて説明したような、よりバリエーションに富んだ検知処理などを実行可能であり、ユーザの利便性の向上に寄与する。
【0106】
情報処理装置１０は、子機２０の撮像部２１に含まれる広角カメラにより撮像された画像を取得することで、訪問者の全身から子機２０の直下の地面までを画角に含む画像に基づいて処理を実行可能である。従来のインターホンシステムのカメラは、顔を映すことを主目的に装備されている。したがって、カメラの画角が狭く、映される画像の範囲が狭すぎる。結果として、服装情報などが画像に含まれない。例えば、従来のカメラは、５０度から７０度の画角を有するのが一般的である。これに対し、撮像部２１に含まれる広角カメラは、１２０度以上のより広い画角を有し、訪問者の全身及び置き配された配達物を確認できる程度の広範囲な画像を撮像可能である。
【0107】
情報処理装置１０は、制服の情報から画像解析により訪問者を配達人として検知することで、様々な訪問者の中から配送業者の配達人を区別して、特定の通知処理を実行することも可能である。例えば、情報処理装置１０は、配送業者の配達人の訪問に対しては、一般の呼び出し音と異なる呼び出し音にてユーザに通知することにより、ユーザによる他の訪問者との区別を容易にする。ユーザは、呼び出し音に基づいて配送業者の配達人と他の訪問者とを容易に区別可能である。したがって、インターホンシステム２を利用するユーザの利便性が向上する。
【0108】
情報処理装置１０は、第１情報から画像解析により配達物が置き配されたことを検知することで、配達物の置き配を訪問者の訪問と区別して、特定の通知処理を実行することも可能である。例えば、情報処理装置１０は、配達物の置き配に対しては、訪問者の訪問に関する呼び出し音と異なる呼び出し音にてユーザに通知することにより、ユーザによる訪問者の訪問との区別を容易にする。このときの呼び出し音は、例えば、訪問者による呼び出しボタンの押下ではなく、情報処理装置１０による置き配の検知を契機として情報処理装置１０の制御部１３による自律的な動作で鳴ってもよい。ユーザは、配達物の置き配が行われたことを、呼び出し音に基づいて認知することが可能になる。したがって、インターホンシステム２を利用するユーザの利便性が向上する。
【0109】
情報処理装置１０は、第２情報から画像解析により配達物の種類を検知することで、配達物の種類を区別して、その種類ごとに特定の通知処理を実行することも可能である。例えば、情報処理装置１０は、ダンボール箱の配達物に対しては、他の種類の配達物に関する呼び出し音と異なる呼び出し音にてユーザに通知することにより、ユーザによる他の種類の配達物との区別を容易にする。ユーザは、呼び出し音に基づいてダンボール箱の配達物と他の種類の配達物とを容易に区別可能である。したがって、インターホンシステム２を利用するユーザの利便性が向上する。
【0110】
情報処理装置１０は、画像から訪問者の顔の位置を画像解析により検知し、顔を含む領域Ｒ２を拡大してインターホンシステム２の親機３０に表示させることで、ユーザによる訪問者の顔の識別を容易にする。ユーザは、親機３０に表示された画像に基づいて、訪問者の顔を容易に識別可能である。したがって、インターホンシステム２を利用するユーザの利便性が向上する。
【0111】
情報処理装置１０は、ニューラルネットワークを用いた深層学習を含む機械学習に基づき構築されたアプリケーションを用いて画像解析を実行することで、画像解析を用いた種々の検知処理をより精度良く実行可能である。したがって、情報処理装置１０は、検知処理に続く通知処理もより正確に実行可能である。ユーザは、インターホンシステム２からより正確な通知を受けることができる。
【0112】
本開示を諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形及び改変を行うことが可能であることに注意されたい。したがって、これらの変形及び改変は本開示の範囲に含まれることに留意されたい。例えば、各構成又は各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の構成又はステップなどを１つに組み合わせたり、或いは分割したりすることが可能である。
【0113】
例えば、スマートフォン又はコンピュータなどの汎用の電子機器を、上述した一実施形態に係る情報処理装置１０として機能させることも可能である。具体的には、一実施形態に係る情報処理装置１０の各機能を実現する処理内容を記述したプログラムを、電子機器のメモリに格納し、電子機器のプロセッサにより当該プログラムを読み出して実行させる。したがって、本開示は、プロセッサが実行可能なプログラムとしても実現可能である。
【0114】
又は、本開示は、一実施形態に係る情報処理装置１０などに各機能を実行させるために１つ又は複数のプロセッサにより実行可能なプログラムを記憶した非一時的なコンピュータ読取可能な媒体としても実現し得る。本開示の範囲には、これらも包含されると理解されたい。
【0115】
例えば、上述した一実施形態で情報処理装置１０において実行される少なくとも一部の処理動作がサーバ装置４０又は親機３０において実行されてもよい。例えば、情報処理装置１０は、子機２０に備わるのではなく、サーバ装置４０自体として構成されてもよい。このとき、子機２０は、その内部に情報処理装置１０を有するのではなく、サーバ装置４０としての情報処理装置１０と通信可能に接続されていてもよい。
【0116】
逆に、サーバ装置４０において実行される少なくとも一部の処理動作が、子機２０が有する情報処理装置１０において実行されてもよい。例えば、サーバ装置４０において実行されていた機械学習に関する処理が情報処理装置１０において実行されてもよい。
【0117】
上記実施形態では、情報処理装置１０は、撮像部２１に含まれる、訪問者の全身から子機２０の直下の地面までを画角に含む広角カメラにより撮像された画像を取得すると説明したが、これに限定されない。撮像部２１は、訪問者の服装情報及び訪問者により配達された配達物の置き配情報のうちの少なくとも一方を画像に含めることが可能であれば、広角カメラに代えて、例えば画角が１２０度よりも小さい他のカメラを含んでもよい。このとき、撮像部２１は、当該他のカメラの上下方向の向きを変えて撮像範囲を自在に変更可能に構成されてもよい。
【0118】
情報処理装置１０は、画像に含まれる配達物の伝票を画像解析により検知してもよい。情報処理装置１０は、伝票に記載されている物品名などを文字認識により読み取って、配達物に内包されている物の情報を取得してもよい。情報処理装置１０は、取得された物の情報を通知処理に含めてもよい。
【0119】
上記実施形態では、情報処理装置１０は、制服の情報から画像解析により訪問者を配達人として検知すると説明したが、これに限定されない。情報処理装置１０は、このような検知処理を実行せずに、取得された画像に含まれる訪問者の制服の情報に応じてユーザへの通知処理を直接実行してもよい。
【0120】
上記実施形態では、情報処理装置１０は、第１情報から画像解析により配達物が置き配されたことを検知すると説明したが、これに限定されない。情報処理装置１０は、このような検知処理を実行せずに、取得された画像に含まれる第１情報に応じてユーザへの通知処理を直接実行してもよい。
【0121】
上記実施形態では、情報処理装置１０は、第２情報から画像解析により配達物の種類を検知すると説明したが、これに限定されない。情報処理装置１０は、このような検知処理を実行せずに、取得された画像に含まれる第２情報に応じてユーザへの通知処理を直接実行してもよい。
【0122】
上記実施形態において説明した通知処理の具体例に加えて、又は代えて、情報処理装置１０は、任意の他の態様で通知処理を実行してもよい。例えば、情報処理装置１０は、配送業者の配達人などの特定の訪問者に限定して通知処理を実行し、他の訪問者に対しては通知処理を実行しなくてもよい。例えば、情報処理装置１０は、置き配に関する通知処理については親機３０ではなく端末装置５０に対してのみ実行してもよい。
【0123】
上記実施形態では、情報処理システム１において子機２０からユーザに対し一方的に通知がなされると説明したが、これに限定されない。例えば、情報処理装置１０が配送業者の配達人に限定して端末装置５０に通知処理を実行するような場合、情報処理システム１は、端末装置５０、ネットワーク６０、及び子機２０を介してユーザと配達人との間の双方向のコミュニケーションを可能にしてもよい。ユーザは、自身の端末装置５０に通知処理がなされると訪問者が配達人に限定されるので、配達人とのコミュニケーションを開始する前の通知を受けた時点で状況をある程度理解でき、当該コミュニケーションを円滑に開始することができる。
【0124】
上記実施形態では、情報処理装置１０は、画像から訪問者の顔の位置を画像解析により検知し、顔を含む領域Ｒ２を拡大してインターホンシステム２の親機３０に表示させると説明したが、これに限定されない。情報処理装置１０は、このような処理を実行しなくてもよい。
【0125】
上記実施形態では、情報処理装置１０は、ニューラルネットワークを用いた深層学習を含む機械学習に基づき構築されたアプリケーションを用いて画像解析を実行すると説明したが、これに限定されない。アプリケーションは、サポートベクターマシン及びランダムフォレストなどの他の手法を用いた機械学習に基づき構築されてもよい。
【0126】
情報処理装置１０は、上記実施形態で説明した処理に加えて、来訪する日時を予め特定している配送業者を登録し、訪問者が訪問してきたときに、当該配送業者による予定どおりの訪問であるのか、又は予定されていなかった他の訪問であるのかを区別してもよい。情報処理装置１０は、区別された結果に応じて通知処理を実行してもよい。
【0127】
情報処理装置１０は、上記実施形態で説明した処理に加えて、置き配が行なわれる日時を予め登録し、配達物が置き配されたときに、予定どおりの配達物が置き配されたのか、又は予定されていなかった他の配達物が置き配されたのかを区別してもよい。情報処理装置１０は、区別された結果に応じて通知処理を実行してもよい。
【0128】
情報処理装置１０は、上記実施形態で説明した処理に加えて、撮像部２１により撮像された画像に対する顔認証の機能をアプリケーションにより実現し、訪問者が誰であるのかを具体的に検知してもよい。
【0129】
以下に本開示の実施形態の一部について例示する。しかしながら、本開示の実施形態はこれらに限定されない点に留意されたい。
［付記１］
インターホンシステムの子機が有する撮像部を用いて撮像された画像を取得し、取得された前記画像に含まれる、前記訪問者の服装情報及び前記訪問者により配達された配達物の置き配情報のうちの少なくとも一方に応じてユーザへの通知処理を実行する制御部、
を備える、
情報処理装置。
［付記２］
付記１に記載の情報処理装置であって、
前記制御部は、前記撮像部に含まれる、前記訪問者の全身から前記子機の直下の地面までを画角に含む広角カメラにより撮像された前記画像を取得する、
情報処理装置。
［付記３］
付記２に記載の情報処理装置であって、
前記服装情報は、配送業者の配達人としての前記訪問者が着用している全身の制服の情報を含み、
前記制御部は、前記制服の情報から画像解析により前記訪問者を前記配達人として検知する、
情報処理装置。
［付記４］
付記２又は３に記載の情報処理装置であって、
前記置き配情報は、前記配達物が前記地面に置かれたことを第１情報として含み、
前記制御部は、前記第１情報から画像解析により前記配達物が置き配されたことを検知する、
情報処理装置。
［付記５］
付記２乃至４のいずれか１つに記載の情報処理装置であって、
前記置き配情報は、前記地面に置かれた前記配達物の外観を第２情報として含み、
前記制御部は、前記第２情報から画像解析により前記配達物の種類を検知する、
情報処理装置。
［付記６］
付記２乃至５のいずれか１つに記載の情報処理装置であって、
前記制御部は、前記画像から前記訪問者の顔の位置を画像解析により検知し、前記顔を含む領域を拡大して前記インターホンシステムの親機に表示させる、
情報処理装置。
［付記７］
付記３乃至６のいずれか１つに記載の情報処理装置であって、
前記制御部は、ニューラルネットワークを用いた深層学習を含む機械学習に基づき構築されたアプリケーションを用いて前記画像解析を実行する、
情報処理装置。
［付記８］
付記１乃至７のいずれか１つに記載の情報処理装置を備える、インターホンシステムの子機。
［付記９］
インターホンシステムの子機が有する撮像部を用いて撮像された画像を取得するステップと、
取得された前記画像に含まれる、前記訪問者の服装情報及び前記訪問者により配達された配達物の置き配情報のうちの少なくとも一方に応じてユーザへの通知処理を実行するステップと、
を含む、
情報処理方法。
［付記１０］
情報処理装置に、
インターホンシステムの子機が有する撮像部を用いて撮像された画像を取得するステップと、
取得された前記画像に含まれる、前記訪問者の服装情報及び前記訪問者により配達された配達物の置き配情報のうちの少なくとも一方に応じてユーザへの通知処理を実行するステップと、
を含む動作を実行させる、
プログラム。
［付記１］
インターホンシステムの子機が有する撮像部を用いて撮像された画像を取得し、取得された前記画像に含まれる、前記訪問者の服装情報及び前記訪問者により配達された配達物の置き配情報のうちの少なくとも一方に応じてユーザへの通知処理を実行する制御部、
を備える、
情報処理装置。
［付記２］
付記１に記載の情報処理装置であって、
前記制御部は、前記撮像部に含まれる、前記訪問者の全身から前記子機の直下の地面までを画角に含む広角カメラにより撮像された前記画像を取得する、
情報処理装置。
［付記３］
付記２に記載の情報処理装置であって、
前記服装情報は、配送業者の配達人としての前記訪問者が着用している全身の制服の情報を含み、
前記制御部は、前記制服の情報から画像解析により前記訪問者を前記配達人として検知する、
情報処理装置。
［付記４］
付記２又は３に記載の情報処理装置であって、
前記置き配情報は、前記配達物が前記地面に置かれたことを第１情報として含み、
前記制御部は、前記第１情報から画像解析により前記配達物が置き配されたことを検知する、
情報処理装置。
［付記５］
付記２乃至４のいずれか１つに記載の情報処理装置であって、
前記置き配情報は、前記地面に置かれた前記配達物の外観を第２情報として含み、
前記制御部は、前記第２情報から画像解析により前記配達物の種類を検知する、
情報処理装置。
［付記６］
付記２乃至５のいずれか１つに記載の情報処理装置であって、
前記制御部は、前記画像から前記訪問者の顔の位置を画像解析により検知し、前記顔を含む領域を拡大して前記インターホンシステムの親機に表示させる、
情報処理装置。
［付記７］
付記３乃至６のいずれか１つに記載の情報処理装置であって、
前記制御部は、ニューラルネットワークを用いた深層学習を含む機械学習に基づき構築されたアプリケーションを用いて前記画像解析を実行する、
情報処理装置。
［付記８］
付記１乃至７のいずれか１つに記載の情報処理装置を備える、インターホンシステムの子機。
［付記９］
インターホンシステムの子機が有する撮像部を用いて撮像された画像を取得するステップと、
取得された前記画像に含まれる、前記訪問者の服装情報及び前記訪問者により配達された配達物の置き配情報のうちの少なくとも一方に応じてユーザへの通知処理を実行するステップと、
を含む、
情報処理方法。
［付記１０］
情報処理装置に、
インターホンシステムの子機が有する撮像部を用いて撮像された画像を取得するステップと、
取得された前記画像に含まれる、前記訪問者の服装情報及び前記訪問者により配達された配達物の置き配情報のうちの少なくとも一方に応じてユーザへの通知処理を実行するステップと、
を含む動作を実行させる、
プログラム。
【符号の説明】
【0130】
１ 情報処理システム
２ インターホンシステム
１０ 情報処理装置
１１ 通信部
１２ 記憶部
１３ 制御部
２０ 子機
２１ 撮像部
２２ 入力部
２３ 出力部
３０ 親機
３１ 通信部
３２ 記憶部
３３ 入力部
３４ 出力部
３５ 制御部
４０ サーバ装置
４１ 通信部
４２ 記憶部
４３ 制御部
５０ 端末装置
５１ 通信部
５２ 記憶部
５３ 入力部
５４ 出力部
５５ 制御部
６０ ネットワーク
Ｒ１ 領域
Ｒ２ 領域
２ インターホンシステム
１０ 情報処理装置
１１ 通信部
１２ 記憶部
１３ 制御部
２０ 子機
２１ 撮像部
２２ 入力部
２３ 出力部
３０ 親機
３１ 通信部
３２ 記憶部
３３ 入力部
３４ 出力部
３５ 制御部
４０ サーバ装置
４１ 通信部
４２ 記憶部
４３ 制御部
５０ 端末装置
５１ 通信部
５２ 記憶部
５３ 入力部
５４ 出力部
５５ 制御部
６０ ネットワーク
Ｒ１ 領域
Ｒ２ 領域
【図1】
【図2】
【図3】
【図4】