[go: up one dir, main page]

JP7200030B2 - Learning device, imaging device, learning system, AI information providing device, learning method and learning program - Google Patents

Learning device, imaging device, learning system, AI information providing device, learning method and learning program Download PDF

Info

Publication number
JP7200030B2
JP7200030B2 JP2019068725A JP2019068725A JP7200030B2 JP 7200030 B2 JP7200030 B2 JP 7200030B2 JP 2019068725 A JP2019068725 A JP 2019068725A JP 2019068725 A JP2019068725 A JP 2019068725A JP 7200030 B2 JP7200030 B2 JP 7200030B2
Authority
JP
Japan
Prior art keywords
learning
inference
inference model
request data
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019068725A
Other languages
Japanese (ja)
Other versions
JP2020166744A (en
Inventor
浩一 新谷
憲 谷
伸祐 本間
修 野中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2019068725A priority Critical patent/JP7200030B2/en
Publication of JP2020166744A publication Critical patent/JP2020166744A/en
Application granted granted Critical
Publication of JP7200030B2 publication Critical patent/JP7200030B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Studio Devices (AREA)
  • Image Analysis (AREA)

Description

本発明は、利用条件との整合性に留意した学習依頼装置、学習装置、推論モデル利用装置、推論モデル利用方法、推論モデル利用プログラム及び撮像装置に関する。 TECHNICAL FIELD The present invention relates to a learning request device, a learning device, an inference model utilization device, an inference model utilization method, an inference model utilization program, and an imaging device, which pay attention to consistency with usage conditions.

近年、デジタルカメラなどの撮影機能付き携帯機器(撮影機器)が普及している。この種の撮影機器においては、撮影時の種々の設定が自動化されたものがある。例えば、デジタルカメラ等には、ピント合わせを自動化したAF機能や、露出を自動化した自動露出(AE)機能を搭載したものがある。また、撮影を連続的に行う、所謂連写機能を備えた撮影機器も普及している。 2. Description of the Related Art In recent years, portable devices (photographing devices) with photographing functions such as digital cameras have become widespread. Some of this type of photographing equipment have automated various settings at the time of photographing. For example, some digital cameras are equipped with an AF function that automates focusing and an automatic exposure (AE) function that automates exposure. In addition, photographing equipment having a so-called continuous shooting function, in which photographs are taken continuously, has become widespread.

ところで、このような撮影機器によって取得した撮像画像に対する機械学習によって所望の推論結果を得るAI(人工知能)が開発されている。機械学習は、既知の入力情報についてその特徴、時系列情報、空間情報等を学習し、学習結果に基づいて推論を行うことで、未知の事柄についての推論結果を得るものである。即ち、機械学習では、先ず特定の入力情報から、判定可能な出力結果を推論可能にするための学習済みモデルを得る。 By the way, AI (artificial intelligence) is being developed that obtains desired inference results by machine learning on captured images acquired by such imaging equipment. Machine learning obtains inference results about unknown matters by learning the characteristics, time-series information, spatial information, etc. of known input information and inferring based on the learning results. That is, in machine learning, first, a trained model is obtained from specific input information so that a determinable output result can be inferred.

高い信頼性で推論結果が得られるように、学習済みモデルの生成に際して、入力と出力との関係が既知の大量の情報が学習用データとして用いられる。例えば、深層学習においては、大量の学習用データを用いて既知の入力に対して期待される出力が得られるようにネットワークのデザイン設計が行われる。このようなプロセスで得られた学習済モデル(以下、推論モデルともいう)は、学習を行ったネットワークから独立して利用可能である。 A large amount of information with known relationships between inputs and outputs is used as learning data when generating a trained model so that inference results can be obtained with high reliability. For example, in deep learning, a network is designed using a large amount of training data so that an expected output can be obtained for a known input. A trained model obtained by such a process (hereinafter also referred to as an inference model) can be used independently of the network that performed the training.

特許文献1においては、汎用環境の学習用データを用いて機械学習して得た推論モデルを、特定の環境下に適応させる適応化装置が提案されている。例えば、画像に含まれる人の数を推定する汎用の推定モデルを、駅の通路等を撮像した画像から通行者の数を推定する推定システムに適応させる場合、適応化装置は、駅の通路等に設置された撮像装置により撮像された画像を用いて、汎用の推定モデルを修正する。このような適応化技術は、例えば、ドメインアダプテーション、転移学習またはノウレッジトランスファー等と呼ばれる。 Patent Document 1 proposes an adaptation device that adapts an inference model obtained by machine learning using learning data in a general-purpose environment to a specific environment. For example, when adapting a general-purpose estimation model for estimating the number of people included in an image to an estimation system for estimating the number of passers-by from an image of a station passage, etc., the adaptation device The general-purpose estimation model is modified using the image captured by the imaging device installed in the . Such adaptation techniques are called, for example, domain adaptation, transfer learning, or knowledge transfer.

特開2018-5405号公報Japanese Patent Application Laid-Open No. 2018-5405

ところで、推論モデルを利用する装置においては、推論モデルに対応したハードウェア構成を備える必要がある。従って、異なるハードウェア構成を有する装置において、推論モデルを共用することは困難であり、同様の推論結果を得ることは期待できない。なお、特許文献1の装置を用いたとしても、ハードウェア構成が異なる複数の装置において利用できる推論モデルへの変換を行うことはできない。 By the way, a device using an inference model needs to have a hardware configuration corresponding to the inference model. Therefore, it is difficult to share an inference model among devices having different hardware configurations, and similar inference results cannot be expected. Note that even if the apparatus of Patent Document 1 is used, conversion into an inference model that can be used in a plurality of apparatuses with different hardware configurations cannot be performed.

本発明は、所定の装置において利用可能な推論モデルをハードウェア構成が異なる他の装置において利用可能にすることができる学習装置、撮像装置、学習システム、AI情報提供装置、学習方法及び学習プログラムを提供することを目的とする。 The present invention provides a learning device, an imaging device, a learning system, an AI information providing device, a learning method, and a learning program that can make an inference model that can be used in a given device available in another device with a different hardware configuration. intended to provide

本発明の一態様による学習装置は、第1装置により取得された画像及び上記第1装置の第1推論エンジンに関する情報を含む第1学習依頼データが与えられ、上記画像に基づく教師データを用いた学習により上記第1装置の第1推論エンジンにおいて利用可能な第1推論モデルを作成する第1推論モデル作成部と、第2装置の第2推論エンジンに関する情報を含む第2学習依頼データが与えられ、上記第1推論モデルを上記第2装置の第2推論エンジンに適応した第2推論モデルを作成する第2推論モデル作成部とを具備する。 A learning device according to an aspect of the present invention is provided with first learning request data including information about an image acquired by a first device and a first inference engine of the first device, and uses teacher data based on the image. A first inference model creating unit for creating a first inference model that can be used by the first inference engine of the first device by learning, and second learning request data including information on the second inference engine of the second device are given. and a second inference model creating unit for creating a second inference model by adapting the first inference model to a second inference engine of the second device.

本発明の一態様による撮像装置は、撮像部と、推論エンジンと、上記推論エンジンに用いる推論モデルの作成を依頼するためのデータであって、上記撮像部により撮像された画像のうちユーザが選択した画像及び上記推論エンジンに関する情報を含む第1学習依頼データ、又は上記推論エンジンに関する情報を含む第2学習依頼データを作成する学習依頼情報生成部と、上記第1学習依頼データ又は第2学習依頼データを送信する通信部と、上記ユーザが選択した画像を記録する記録領域を有する記録部と、を具備し、上記学習依頼情報生成部は、上記記録領域から読み出した画像により上記第1学習依頼データを生成する。 An image capturing apparatus according to an aspect of the present invention includes an image capturing unit, an inference engine, and data for requesting creation of an inference model used in the inference engine, which is selected by a user from images captured by the image capturing unit. a learning request information generating unit that creates first learning request data including information about the image and the inference engine, or second learning request data including information about the inference engine; and the first learning request data or the second learning request. a communication unit for transmitting data ; and a recording unit having a recording area for recording the image selected by the user. Generate data.

本発明の一態様による学習システムは、撮像装置と学習装置とにより構成される学習システムであって、上記撮像装置は、撮像部と、推論エンジンと、上記推論エンジンに用いる推論モデルの作成を依頼するためのデータであって、上記撮像部により撮像された画像のうちユーザが選択した画像及び上記推論エンジンに関する情報を含む第1学習依頼データ、又は上記推論エンジンに関する情報を含む第2学習依頼データを作成する学習依頼情報生成部と、上記第1学習依頼データ又は第2学習依頼データを送信する通信部とを具備し、上記学習装置は、上記第1学習依頼データ又は第2学習依頼データを受信する通信部と、上記第1学習依頼データが与えられ、上記画像に基づく教師データを用いた学習により上記第1学習依頼データに基づく推論エンジンにおいて利用可能な第1推論モデルを作成する第1推論モデル作成部と、上記第2学習依頼データが与えられ、上記第1推論モデルを上記第2学習依頼データに基づく推論エンジンに適応させた第2推論モデルを作成する第2推論モデル作成部とを具備する。 A learning system according to one aspect of the present invention is a learning system including an imaging device and a learning device, wherein the imaging device includes an imaging unit, an inference engine, and a request for creation of an inference model used in the inference engine. which is data selected by the user from among the images captured by the imaging unit and first learning request data including information about the inference engine, or second learning request data including information about the inference engine and a communication unit that transmits the first learning request data or the second learning request data, and the learning device transmits the first learning request data or the second learning request data. A first communication unit that receives the first learning request data and creates a first inference model that can be used in an inference engine based on the first learning request data by learning using the teacher data based on the image. an inference model creation unit that is supplied with the second learning request data and creates a second inference model by adapting the first inference model to an inference engine based on the second learning request data; Equipped with

本発明の一態様によるAI情報提供装置は、第1装置により取得された画像及び上記第1装置の第1推論エンジンに関する情報を含む第1学習依頼データが与えられ、上記画像に基づく教師データを用いた学習により上記第1装置の第1推論エンジンにおいて利用可能な第1推論モデルを作成する第1推論モデル作成部と、上記第1推論モデルに関する情報を展示する展示処理部と、第2装置の第2推論エンジンに関する情報及び上記第1推論モデルの提供を要求する情報を含む第2学習依頼データが与えられ、上記第1推論モデルを上記第2装置の第2推論エンジンに適応した第2推論モデルを作成する第2推論モデル作成部と、上記第1及び第2推論モデルをそれぞれ上記第1装置又は上記第2装置に送信する通信部とを具備する。 An AI information providing device according to one aspect of the present invention is provided with first learning request data including information about an image acquired by a first device and a first inference engine of the first device, and generates teacher data based on the image. a first inference model creation unit that creates a first inference model that can be used in the first inference engine of the first device by learning using the first inference model; an exhibition processing unit that displays information about the first inference model; second learning request data including information on the second inference engine of the device and information requesting provision of the first inference model, and the first inference model adapted to the second inference engine of the second device A second inference model creating unit that creates an inference model, and a communication unit that transmits the first and second inference models to the first device or the second device, respectively.

本発明の一態様による学習方法は、第1装置により取得された画像及び上記第1装置の第1推論エンジンに関する情報を含む第1学習依頼データが与えられ、上記画像に基づく教師データを用いた学習により上記第1装置の第1推論エンジンにおいて利用可能な第1推論モデルを作成し、第2装置の第2推論エンジンに関する情報を含む第2学習依頼データが与えられ、上記第1推論モデルを上記第2装置の第2推論エンジンに適応した第2推論モデルを作成する。 A learning method according to an aspect of the present invention is provided with first learning request data including information about an image acquired by a first device and a first inference engine of the first device, and uses teacher data based on the image. creating a first inference model that can be used in a first inference engine of the first device by learning, receiving second learning request data including information about a second inference engine of the second device, and using the first inference model; A second inference model adapted to a second inference engine of the second device is created.

本発明の一態様による学習プログラムは、コンピュータに、第1装置により取得された画像及び上記第1装置の第1推論エンジンに関する情報を含む第1学習依頼データが与えられ、上記画像に基づく教師データを用いた学習により上記第1装置の第1推論エンジンにおいて利用可能な第1推論モデルを作成し、第2装置の第2推論エンジンに関する情報を含む第2学習依頼データが与えられ、上記第1推論モデルを上記第2装置の第2推論エンジンに適応した第2推論モデルを作成する手順を実行させる。 In the learning program according to one aspect of the present invention, a computer is provided with first learning request data including information about an image acquired by a first device and a first inference engine of the first device, and teacher data based on the image is provided. to create a first inference model that can be used in the first inference engine of the first device by learning using A procedure for creating a second inference model adapted to the second inference engine of the second device is executed.

本発明によれば、所定の装置において利用可能な推論モデルをハードウェア構成が異なる他の装置において利用可能にすることができるという効果を有する。 According to the present invention, there is an effect that an inference model that can be used in a given device can be used in another device with a different hardware configuration.

本発明の一実施の形態に係る学習システムを示すブロック図。1 is a block diagram showing a learning system according to one embodiment of the present invention; FIG. 表示部14の表示画面14a上に表示される学習依頼作成表示DMの一例を示す説明図。4 is an explanatory diagram showing an example of a learning request creation display DM displayed on a display screen 14a of a display unit 14; FIG. 学習装置20による学習を説明するための説明図。FIG. 2 is an explanatory diagram for explaining learning by the learning device 20; 学習装置20による学習の結果得られる推論モデルを説明するための説明図。FIG. 4 is an explanatory diagram for explaining an inference model obtained as a result of learning by the learning device 20; 最適なタイミングの画像として鳥が飛び立つ瞬間の画像を含む一連の画像を示す説明図。Explanatory drawing which shows a series of images containing the image of the moment when a bird takes off as an image of optimal timing. 表示部14の表示画面14a上の表示例を示す説明図。4 is an explanatory diagram showing a display example on a display screen 14a of the display unit 14; FIG. 第1装置である撮像装置10からの学習依頼データの他の例を示す説明図。FIG. 5 is an explanatory diagram showing another example of learning request data from the imaging device 10, which is the first device; カメラ制御を説明するためのフローチャート。4 is a flowchart for explaining camera control; 学習装置20が提供するAI情報サーバの制御を説明するためのフローチャート。4 is a flowchart for explaining control of an AI information server provided by the learning device 20; 第1装置である撮像装置10による撮影の様子を示す説明図。FIG. 2 is an explanatory diagram showing how an imaging device 10, which is a first device, shoots. 画像の選択の様子を示す説明図。FIG. 4 is an explanatory diagram showing how an image is selected; 推論モデルの利用のための操作の様子を示す説明図。Explanatory drawing which shows the state of operation for utilization of an inference model. 推論モデルを利用した検出の例を示す説明図。Explanatory diagram showing an example of detection using an inference model.

以下、図面を参照して本発明の実施の形態について詳細に説明する。 BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.

図1は本発明の一実施の形態に係る学習システムを示すブロック図である。本実施の形態は機械学習による推論モデルを有効に活用する一例として、推論モデルを利用する装置として、例えばネットワーク等のハードウェアの構成が異なる複数の装置を想定する。そして、そのうちの1台の装置が教師データの元となるデータを学習装置に提供することで学習装置において推論モデルを構築すると共に、この学習装置は、他の装置のハードウェア構成に適応させた推論モデルを再構築する。こうして、例えば、あるユーザが撮像装置を用いて撮像して得た画像に基づいて作成された推論モデルを、他のユーザの他の撮像装置において利用可能にすることができる。 FIG. 1 is a block diagram showing a learning system according to one embodiment of the invention. As an example of effectively using an inference model based on machine learning, this embodiment assumes a plurality of devices having different hardware configurations, such as networks, as devices using the inference model. Then, one of the devices provides the learning device with data that is the source of the teacher data, thereby constructing an inference model in the learning device, and this learning device is adapted to the hardware configuration of the other devices. Rebuild the inference model. In this way, for example, an inference model created based on an image captured by a user using an imaging device can be made available to other imaging devices of other users.

また、推論モデルを機械学習によって得る場合、推論モデル利用時のハードウェア構成等の制約条件を十分に考慮した学習のステップが重要であると同時に、この学習に必要な教師データを用意する必要がある。一般ユーザの撮影によって得られた画像を教師データに利用することで、学習装置は、教師データの元となる豊富なデータの提供を受ける可能性があり、しかもユーザが利用したいと考える様々な推論モデルの構築及び提供が可能となる。本実施の形態においては、このような一般ユーザによる学習装置に対する学習の依頼を容易にするインタフェースについても提供する。 In addition, when obtaining an inference model by machine learning, it is important to have a learning step that fully considers constraints such as the hardware configuration when using the inference model, and at the same time, it is necessary to prepare the teacher data necessary for this learning. be. By using images taken by general users as training data, the learning device may be provided with a wealth of data that is the source of training data, and various inferences that users want to use. Models can be constructed and provided. In the present embodiment, an interface is also provided that makes it easier for a general user to request learning to the learning device.

なお、以下の説明では、教師データの元となる画像を学習装置に提供する装置を第1装置とする。また、この提供に基づいて学習装置が作成した推論モデルの提供を受ける他の装置を第2装置とする。 In the following description, a first device is a device that provides the learning device with an image that is the source of teacher data. Further, another device that receives the provision of the inference model created by the learning device based on this provision is referred to as a second device.

図1の撮像装置10は、推論を行う推論エンジン17を備える。撮像装置10は、被写体を撮像して得た画像を記録する。撮像装置10としては、デジタルカメラやビデオカメラだけでなく、スマートフォンやタブレット端末に内蔵されるカメラを採用してもよい。 The imaging device 10 of FIG. 1 includes an inference engine 17 that performs inference. The imaging device 10 records an image obtained by imaging a subject. As the imaging device 10, not only a digital camera or a video camera but also a camera built into a smartphone or a tablet terminal may be adopted.

撮像装置10は、撮像装置10の各部を制御する制御部11を備えている。制御部11は、CPU(Central Processing Unit)やFPGA(Field Programmable Gate Array)等を用いたプロセッサによって構成されていてもよく、図示しないメモリに記憶されたプログラムに従って動作して各部を制御するものであってもよいし、ハードウェアの電子回路で機能の一部又は全部を実現するものであってもよい。 The imaging device 10 includes a control section 11 that controls each section of the imaging device 10 . The control unit 11 may be configured by a processor using a CPU (Central Processing Unit), FPGA (Field Programmable Gate Array), or the like, and operates according to a program stored in a memory (not shown) to control each unit. Alternatively, some or all of the functions may be realized by electronic circuits of hardware.

撮像装置10の撮像部12は、撮像素子12a及び光学系12bを有している。光学系12bは、ズームやフォーカシングのための図示しないレンズや絞り等を備えている。光学系12bは、これらのレンズを駆動する図示しないズーム(変倍)機構、ピント及び絞り機構を備えている。 The imaging unit 12 of the imaging device 10 has an imaging element 12a and an optical system 12b. The optical system 12b includes a lens, a diaphragm, and the like (not shown) for zooming and focusing. The optical system 12b includes a zoom (variable magnification) mechanism, focus and diaphragm mechanism (not shown) for driving these lenses.

撮像素子12aは、CCDやCMOSセンサ等によって構成されており、光学系12bによって被写体光学像が撮像素子12aの撮像面に導かれるようになっている。撮像素子12aは、被写体光学像を光電変換して被写体の撮像画像(撮像信号)を取得する。 The imaging device 12a is composed of a CCD, CMOS sensor, or the like, and an optical image of a subject is guided to an imaging surface of the imaging device 12a by an optical system 12b. The imaging device 12a photoelectrically converts the subject optical image to acquire a captured image (image capturing signal) of the subject.

制御部11の撮像制御部11aは、光学系12bのズーム機構、ピント機構及び絞り機構を駆動制御して、ズーム、絞り及びピントを調節することができるようになっている。撮像部12は、撮像制御部11aに制御されて撮像を行い、撮像画像(動画像及び静止画像)の撮像信号を制御部11に出力する。 The imaging control unit 11a of the control unit 11 drives and controls the zoom mechanism, focus mechanism, and aperture mechanism of the optical system 12b to adjust zoom, aperture, and focus. The imaging unit 12 performs imaging under the control of the imaging control unit 11 a and outputs an imaging signal of the captured image (moving image and still image) to the control unit 11 .

撮像装置10には操作部13が設けられている。操作部13は、図示しないレリーズボタン、ファンクションボタン、撮影モード設定、パラメータ操作等の各種スイッチ、ダイヤル、リング部材等を含み、ユーザ操作に基づく操作信号を制御部11に出力する。制御部11は、操作部13からの操作信号に基づいて、各部を制御するようになっている。 An operation unit 13 is provided in the imaging device 10 . The operation unit 13 includes a release button (not shown), function buttons, various switches such as shooting mode setting and parameter operation, dials, ring members, and the like, and outputs operation signals to the control unit 11 based on user operations. The control section 11 controls each section based on an operation signal from the operation section 13 .

制御部11は、撮像部12からの撮像画像(動画像及び静止画像)を取込む。制御部11の画像処理部11bは、取込んだ撮像画像に対して、所定の信号処理、例えば、色調整処理、マトリックス変換処理、ノイズ除去処理、その他各種の信号処理を行う。 The control unit 11 captures captured images (moving images and still images) from the imaging unit 12 . The image processing unit 11b of the control unit 11 performs predetermined signal processing such as color adjustment processing, matrix conversion processing, noise removal processing, and other various signal processing on the captured image.

撮像装置10には表示部14が設けられており、制御部11には、表示制御部11fが設けられている。表示部14は、例えば、LCD(液晶表示装置)等の表示画面を有する表示器であり、表示画面は撮像装置10の例えば筐体背面等に設けられる。表示制御部11fは、画像処理部11bによって信号処理された撮像画像を表示部14に表示させるようになっている。また、表示制御部11fは、撮像装置10の各種メニュー表示や警告表示等を表示部14に表示させることもできるようになっている。 The imaging device 10 is provided with a display section 14, and the control section 11 is provided with a display control section 11f. The display unit 14 is, for example, a display device having a display screen such as an LCD (liquid crystal display device). The display control unit 11f causes the display unit 14 to display the picked-up image signal-processed by the image processing unit 11b. The display control unit 11f can also cause the display unit 14 to display various menu displays, warning displays, and the like of the imaging device 10. FIG.

なお、表示部41の表示画面上には、図示しないタッチパネルが設けられていてもよい。操作部13の一例であるタッチパネルは、ユーザが指で指し示した表示画面上の位置に応じた操作信号を発生することができる。この操作信号は、制御部11に供給される。これにより、制御部11は、ユーザがタッチした表示画面上の位置やユーザが表示画面上を指でスライドさせるスライド操作を検出することができ、ユーザ操作に対応した処理を実行することができるようになっている。 A touch panel (not shown) may be provided on the display screen of the display unit 41 . A touch panel, which is an example of the operation unit 13, can generate an operation signal corresponding to a position on the display screen pointed by the user's finger. This operation signal is supplied to the control section 11 . As a result, the control unit 11 can detect the position on the display screen touched by the user and the slide operation of sliding the user's finger on the display screen, and can execute processing corresponding to the user operation. It has become.

撮像装置10には通信部15が設けられており、制御部11には、通信制御部11eが設けられている。通信部15は、通信制御部11eに制御されて、学習装置20及びデータベース(DB)装置30との間で情報を送受することができるようになっている。通信部15は、例えば、ブルートゥース(登録商標)等の近距離無線による通信及び例えば、Wi-Fi(登録商標)等の無線LANによる通信が可能である。なお、通信部15は、ブルートゥースやWi-Fiに限らず、各種通信方式での通信を採用することが可能である。通信制御部11eは、通信部15を介して、学習装置20から推論モデルの情報(AI情報)を受信することができる。この推論モデル情報は、推論エンジン17のネットワーク17aにより所望の推論モデルを構築するためのものである。 The imaging device 10 is provided with a communication section 15, and the control section 11 is provided with a communication control section 11e. The communication unit 15 is controlled by the communication control unit 11 e so that information can be transmitted and received between the learning device 20 and the database (DB) device 30 . The communication unit 15 is capable of short-range wireless communication such as Bluetooth (registered trademark) and wireless LAN communication such as Wi-Fi (registered trademark). It should be noted that the communication unit 15 is not limited to Bluetooth and Wi-Fi, and can employ various communication methods. The communication control unit 11 e can receive information (AI information) on the inference model from the learning device 20 via the communication unit 15 . This inference model information is for constructing a desired inference model by the network 17 a of the inference engine 17 .

制御部11には記録制御部11cが設けられている。記録制御部11cは、信号処理後の撮像画像を圧縮処理し、圧縮後の画像を記録部16に与えて記録させることができる。記録部16は、所定の記録媒体によって構成されて、制御部11から与えられた情報を記録すると共に、記録されている情報を制御部11に出力することができる。また、記録部16としては、例えばカードインターフェースを採用してもよく、この場合には記録部16はメモリカード等の記録媒体に画像データを記録可能である。 The control unit 11 is provided with a recording control unit 11c. The recording control unit 11c can compress the picked-up image after the signal processing, and supply the compressed image to the recording unit 16 for recording. The recording unit 16 is composed of a predetermined recording medium, and can record information given from the control unit 11 and output the recorded information to the control unit 11 . For example, a card interface may be used as the recording unit 16. In this case, the recording unit 16 can record image data on a recording medium such as a memory card.

記録部16は、画像データ記録領域16aを有しており、記録制御部11cは、画像データを画像データ記録領域16aに記録するようになっている。また、記録制御部11cは、記録部16に記録されている情報を読み出して再生することも可能である。 The recording section 16 has an image data recording area 16a, and the recording control section 11c records image data in the image data recording area 16a. The recording control unit 11c can also read and reproduce information recorded in the recording unit 16. FIG.

また、記録部16は、仕様データ記録領域16bを有しており、制御部11は、仕様設定部11gを有している。仕様設定部11gは、撮像装置10の仕様に関するデータ(仕様データ)を記録部16の仕様データ記録領域16bに記録することができるようになっている。仕様データは、推論エンジン17を構成するネットワーク17aの構成や、撮像装置10の各部の仕様等のハードウェア構成に関するデータであって、推論モデルの構築に利用するデータである。 The recording section 16 has a specification data recording area 16b, and the control section 11 has a specification setting section 11g. The specification setting section 11g can record data (specification data) regarding the specification of the imaging device 10 in the specification data recording area 16b of the recording section 16. FIG. The specification data is data relating to hardware configuration such as the configuration of the network 17a that configures the inference engine 17 and the specifications of each part of the imaging device 10, and is data used for constructing the inference model.

記録部16の学習依頼データ記録領域16cは、推論モデルの構築に用いる教師データ等の学習依頼データを記録する領域である。制御部11には、依頼情報生成部11dが設けられている。依頼情報生成部11dは、画像データ記録領域16aに記録する画像のうち、例えば、ユーザが指定した写りの良い画像を、写りの良い画像というアノテーションを自動的に付加して教師データに設定して学習依頼データ記録領域16cに記録する。また、依頼情報生成部11dは、仕様データを読み出して、学習依頼データに付加する。また、依頼情報生成部11dは、その他学習に必要と考えられる各種情報をユーザ操作に基づいて作成して、学習依頼データに付加する。また、依頼情報生成部11dは、学習依頼データとして、教師データと同時にあるいは教師データに代えて、撮像によって得た画像に基づくテストデータを用いるようになっていてもよい。依頼情報生成部11dは、生成した学習依頼データを通信部15を介して学習装置20に送信するようになっている。 The learning request data recording area 16c of the recording unit 16 is an area for recording learning request data such as teacher data used for constructing an inference model. The control unit 11 is provided with a request information generation unit 11d. The request information generation unit 11d automatically adds an annotation of a good image specified by the user among the images to be recorded in the image data recording area 16a, for example, to the teacher data. Record in the learning request data recording area 16c. Further, the request information generation unit 11d reads the specification data and adds it to the learning request data. In addition, the request information generation unit 11d creates various kinds of information considered necessary for learning based on the user's operation, and adds them to the learning request data. Further, the request information generation unit 11d may use test data based on an image obtained by imaging as the learning request data at the same time as or instead of the teacher data. The request information generation unit 11 d transmits the generated learning request data to the learning device 20 via the communication unit 15 .

推論エンジン17は、ネットワーク17aを有している。ネットワーク17aは、通信部15において受信された推論モデルの情報が制御部11から供給され、この情報に基づいて推論モデルを構築する。ネットワーク17aは、撮像部12からの撮像画像が入力されて、推論結果を出力する。 The inference engine 17 has a network 17a. The network 17a is supplied with the information of the inference model received by the communication unit 15 from the control unit 11, and constructs the inference model based on this information. The network 17a receives the captured image from the imaging unit 12 and outputs an inference result.

なお、図1では、撮像装置10により構成される第1装置又は第2装置の一方のみを示したが、第1装置と第2装置とは相互に同一の構成である。第1装置と第2装置とでは、例えば推論エンジン17のネットワーク17aの構成等のハードウェア構成が異なり、仕様データ記録領域16bに記録される仕様データが異なる。また、第1装置の依頼情報生成部11dは、学習依頼データ記録領域16cに記録されている、教師データ又はテストデータの元となる画像(以下、学習元画像という)を学習依頼データに含めて送信するのに対し、第2装置の依頼情報生成部11dは、学習元画像を含まない学習依頼データを送信する。 Note that although FIG. 1 shows only one of the first device and the second device configured by the imaging device 10, the first device and the second device have the same configuration. The hardware configuration such as the network 17a configuration of the inference engine 17 is different between the first device and the second device, and the specification data recorded in the specification data recording area 16b is different. In addition, the request information generation unit 11d of the first device includes an image that is the source of the teacher data or test data (hereinafter referred to as a learning source image) recorded in the learning request data recording area 16c in the learning request data. In contrast to transmission, the request information generation unit 11d of the second device transmits learning request data that does not include the learning source image.

図2は表示部14の表示画面14a上に表示される学習依頼作成表示DMの一例を示す説明図である。図2の学習依頼作成表示DMは、第1装置における依頼情報生成部11dが表示制御部11fに依頼することで表示されたものであり、ユーザ操作に基づいて学習依頼データを作成するためのものである。 FIG. 2 is an explanatory diagram showing an example of a learning request creation display DM displayed on the display screen 14a of the display unit 14. As shown in FIG. The learning request creation display DM in FIG. 2 is displayed when the request information generation unit 11d in the first device requests the display control unit 11f to create learning request data based on the user's operation. is.

図2の学習依頼作成表示DMは、6個の仕様項目が含まれるが、仕様項目は適宜設定可能である。図2の例は画像中から所定の検出対象である猫を検出するための推論モデルの作成を依頼するための学習依頼データの仕様項目を示している。 The learning request creation display DM in FIG. 2 includes six specification items, and the specification items can be set as appropriate. The example of FIG. 2 shows specification items of learning request data for requesting creation of an inference model for detecting a cat, which is a predetermined detection target, from an image.

ハードウェア情報項目は、ハードウェアの仕様、即ち推論モデルを使用する機器に関する情報を示し、機器名、GPU(Graphic Processing Unit)の有無、推論モデル専用回路の有無、ネットワークの層数、クロック周波数及びメモリ容量等を指定するものである。この項目は、依頼情報生成部11dが仕様データ記録領域16bに記録された仕様データを元に生成する。図2の例では、ハードウェア情報項目には、種別がタイプAの機器で、クロック周波数及びメモリ容量の情報が含まれる。 The hardware information item indicates hardware specifications, that is, information about the device that uses the inference model. It specifies the memory capacity and the like. This item is generated by the request information generator 11d based on the specification data recorded in the specification data recording area 16b. In the example of FIG. 2, the hardware information item is a device of type A and includes information on clock frequency and memory capacity.

本実施の形態においては、学習依頼データにはAIタイトル項目が含まれる。AIタイトル項目は、学習依頼データに基づいて作成された推論モデルの他の装置での利用を想定して、推論モデルの識別のためにユーザが付与するタイトルである。図2の例ではAIタイトルとして「ファニーキャット」が指定されている。 In this embodiment, the learning request data includes an AI title item. The AI title item is a title given by the user for identifying the inference model, assuming that the inference model created based on the learning request data will be used in other devices. In the example of FIG. 2, "Funny Cat" is specified as the AI title.

教師データ項目は、教師データの元となる画像(学習元画像)の格納フォルダを指定するものであり、テストサンプル項目は、テストデータの格納フォルダを指定するものである。図2の例では、教師データの元となる画像は「フォルダ1」、テストデータは「フォルダ2」に格納されていることが分かる。 The training data item specifies the storage folder of the image (learning source image) that is the source of the training data, and the test sample item specifies the storage folder of the test data. In the example of FIG. 2, it can be seen that the original images of the training data are stored in "folder 1" and the test data are stored in "folder 2".

図2の学習依頼作成表示DMでは、「フォルダ1」に格納されている画像のサムネイル画像が表示される。図2の例では、「フォルダ1」には4枚の猫の画像が含まれ、「フォルダ2」には1枚の猫の画像が含まれている。 Thumbnail images of images stored in "folder 1" are displayed in the learning request creation display DM in FIG. In the example of FIG. 2, "Folder 1" contains four cat images, and "Folder 2" contains one cat image.

本実施の形態においては、例えばユーザが撮影して取得した画像のうち、出来映えが良いと考えた画像を「フォルダ1」に格納しておくことで、教師データの元となる画像を指定することが可能である。この場合には、ユーザは、特にアノテーションを付す必要はなく、「フォルダ1」に格納された全ての画像について例えば「出来映えが良い画像」というアノテーションが自動付与される。また、ユーザは、自分で好みのアノテーションを付加してもよい。例えば、画像中の任意の部分(猫の顔の部分など)を囲む枠を付加する操作を行うことで、撮像時に猫の顔の部分に枠が表示される推論モデルを構築することが可能である。 In the present embodiment, for example, among the images acquired by the user, by storing in "folder 1" an image that the user considers to be of good quality, the image to be the source of the training data can be specified. is possible. In this case, the user does not need to annotate the images, and all the images stored in the "folder 1" are automatically annotated with, for example, "images of good quality". Also, the user may add their own favorite annotations. For example, by adding a frame around any part of the image (such as the cat's face), it is possible to build an inference model that displays a frame around the cat's face when the image is captured. be.

また、図2の例では、教師データの元となる画像として4枚の猫の画像が登録されている例を示したが、本実施の形態においては、学習装置20において用いる教師データの全てを第1装置である撮像装置10から学習装置20に提供するようにしてもよい。また、撮像装置10からは一部の学習元画像のみを学習装置20に出力し、学習装置20においてこの学習元画像を元に教師データを作成するようになっていてもよい。 In the example of FIG. 2, four images of cats are registered as the original images of the teacher data. The information may be provided from the imaging device 10 as the first device to the learning device 20 . Alternatively, the imaging device 10 may output only some of the learning source images to the learning device 20, and the learning device 20 may create teacher data based on these learning source images.

テストデータは、推論モデルのテスト用の画像である。学習装置20にテストデータを提供しない場合もある。また、図2では、教師データの元となる「フォルダ1」の画像を学習元画像として学習装置20に送信する例を説明したが、「フォルダ1」の画像を省略し、「フォルダ2」のテスト用のテストデータのみを学習元画像として学習装置20に送信するようになっていてもよい。この場合においても、学習装置20において、テストデータを元に教師データを作成することが可能である。 Test data is an image for testing the inference model. In some cases, no test data is provided to the learning device 20 . Also, in FIG. 2, an example in which the image of "folder 1", which is the source of the training data, is transmitted to the learning device 20 as the learning source image has been described. Only test data for testing may be transmitted to the learning device 20 as the learning source image. In this case as well, the learning device 20 can create teacher data based on the test data.

応答時間項目は、画像入力から推論出力までの時間を指定するものである。図2の例では、0.1秒が設定されていることを示している。対象の撮像装置の構成で応答時間を満たす推論モデルを構築し、例えばシャッターチャンスを逃さない目的を持つ。 The response time item specifies the time from image input to inference output. The example in FIG. 2 indicates that 0.1 second is set. The purpose is to build an inference model that satisfies the response time with the configuration of the target imaging device, for example, not to miss a photo opportunity.

依頼情報生成部11dは、学習依頼作成表示DMに対するユーザ操作に基づいて学習依頼データを作成する。依頼情報生成部11dは、通信部15を介して学習依頼データを学習装置20に送信することができるようになっている。 The request information generation unit 11d creates learning request data based on a user's operation on the learning request creation display DM. The request information generation unit 11 d can transmit learning request data to the learning device 20 via the communication unit 15 .

撮像装置10から教師データの元となる大量の画像が学習装置20に供給される場合には、学習装置20は、撮像装置10からの画像のみを教師データとして用いて推論モデルを構築することも可能である。また、学習装置20は、撮像装置10から推論モデルの構築に必要な十分な数の画像が得られない場合には、撮像装置10からの学習元画像に基づいてDB装置30から、教師データとなる画像を取得する。 When a large number of images serving as the source of training data are supplied from the imaging device 10 to the learning device 20, the learning device 20 may construct an inference model using only the images from the imaging device 10 as training data. It is possible. In addition, when a sufficient number of images required for constructing an inference model cannot be obtained from the imaging device 10, the learning device 20 acquires teacher data from the DB device 30 based on the learning source images from the imaging device 10 to get a different image.

DB装置30は、通信部32を有しており、学習装置20は通信部22,26を有している。これらの通信部22,26,32は、通信部15と同様の構成を有しており、通信部15,26相互間、通信部15,32相互間及び通信部22,32相互間において通信が可能である。 The DB device 30 has a communication unit 32 and the learning device 20 has communication units 22 and 26 . These communication units 22, 26, and 32 have the same configuration as the communication unit 15, and communication is performed between the communication units 15 and 26, between the communication units 15 and 32, and between the communication units 22 and 32. It is possible.

DB装置30は、DB装置30の各部を制御する制御部31を有しており、学習装置20は学習装置20の各部を制御する制御部21を有している。制御部21,31は、CPUやFPGA等を用いたプロセッサによって構成されていてもよく、図示しないメモリに記憶されたプログラムに従って動作して各部を制御するものであってもよいし、ハードウェアの電子回路で機能の一部又は全部を実現するものであってもよい。 The DB device 30 has a control unit 31 that controls each part of the DB device 30 , and the learning device 20 has a control part 21 that controls each part of the learning device 20 . The control units 21 and 31 may be configured by a processor using a CPU, FPGA, or the like, may operate according to a program stored in a memory (not shown) to control each unit, or may be implemented by hardware. A part or all of the functions may be realized by an electronic circuit.

なお、学習部20全体が、CPU、GPU、FPGA等を用いたプロセッサによって構成されて、図示しないメモリに記憶されたプログラムに従って動作して学習を制御するものであってもよいし、ハードウェアの電子回路で機能の一部又は全部を実現するものであってもよい。 Note that the learning unit 20 as a whole may be configured by a processor using a CPU, GPU, FPGA, or the like, and may operate according to a program stored in a memory (not shown) to control learning. A part or all of the functions may be realized by an electronic circuit.

DB装置30は、大量の学習用データを記録した画像分類記録部33を有している。画像分類記録部33は、ハードディスクやメモリ媒体等の図示しない記録媒体により構成されており、複数の画像を画像中に含まれる対象物の種類毎に分類して記録する。図1の例では、画像分類記録部33は、対象物画像群34を記憶しており、対象物画像群34は、対象物の種類毎に教師データ34a及びテストデータ34bを含む。制御部31は、学習装置20からの要求に従い、通信部32を制御して、教師データ34a及びテストデータ34bを学習装置20に送信する。なお、テストデータ34bは教師データ34aに類似するデータであり、学習装置20の学習の結果得られた推論モデルのテストに用いるものである。 The DB device 30 has an image classification recording section 33 that records a large amount of learning data. The image classification recording unit 33 is composed of a recording medium (not shown) such as a hard disk or a memory medium, and classifies and records a plurality of images according to the types of objects included in the images. In the example of FIG. 1, the image classification recording unit 33 stores a target object image group 34, and the target object image group 34 includes teacher data 34a and test data 34b for each type of target object. The control unit 31 controls the communication unit 32 in accordance with a request from the learning device 20 to transmit teacher data 34 a and test data 34 b to the learning device 20 . The test data 34b is data similar to the teacher data 34a, and is used for testing the inference model obtained as a result of learning by the learning device 20. FIG.

本実施の形態においては、DB装置30には推論モデル及びユーザデータ記録部31aが設けられている。学習装置20は、撮像装置10からの画像を含む学習依頼データをDB装置30に送信して記録させる。制御部31は、学習装置20から学習元画像を含む学習依頼データが与えられると、これらのデータを推論モデル及びユーザデータ記録部35に記録するようになっている。また、推論モデル及びユーザデータ記録部35には、学習装置20において生成された推論モデルも記録される。制御部31は、学習装置20からの推論モデルに、ユーザが指定したAIタイトルを付加すると共に、学習依頼データを関連付けて記録するようになっている。 In this embodiment, the DB device 30 is provided with an inference model and user data recording unit 31a. The learning device 20 transmits the learning request data including the image from the imaging device 10 to the DB device 30 for recording. When receiving learning request data including a learning source image from the learning device 20 , the control unit 31 records these data in the inference model and user data recording unit 35 . An inference model generated by the learning device 20 is also recorded in the inference model and user data recording unit 35 . The control unit 31 adds the AI title specified by the user to the inference model from the learning device 20, and records the data in association with the learning request data.

学習部20の母集合作成部24は、撮像装置10からの学習元画像やDB装置30から送信された教師データを教師データ記録部23に記録する。母集合作成部24は、入力データ設定部24a及び出力項目設定部24bを有している。入力データ設定部24aは学習に用いる入力データを設定し、出力項目設定部24bは推論の結果得られるべき出力を設定する。入力データ設定部24a及び出力項目設定部24bの設定は、撮像装置10から受信した学習依頼データに基づいて行われる。 The mother set creation unit 24 of the learning unit 20 records the learning source image from the imaging device 10 and the teacher data transmitted from the DB device 30 in the teacher data recording unit 23 . The mother set creating unit 24 has an input data setting unit 24a and an output item setting unit 24b. The input data setting unit 24a sets input data used for learning, and the output item setting unit 24b sets outputs to be obtained as a result of inference. The settings of the input data setting unit 24a and the output item setting unit 24b are performed based on the learning request data received from the imaging device 10. FIG.

入出力モデル化部25は、大量の教師データにより期待される出力が得られるように、ネットワークデザインを決定し、その設定情報である推論モデル情報を生成する。入出力モデル化部25には仕様照合部25aが設けられている。仕様照合部25aは、学習依頼データを記憶する図示しないメモリを有しており、入出力モデル化部25により求められた推論モデルが学習依頼データに対応するものとなっているか否かを判定する。入出力モデル化部25は、推論モデルが学習依頼データに対応するものとなるまで、ネットワークデザインの構築を行う。 The input/output modeling unit 25 determines a network design so as to obtain an expected output from a large amount of teacher data, and generates inference model information as its setting information. The input/output modeling unit 25 is provided with a specification matching unit 25a. The specification matching unit 25a has a memory (not shown) for storing learning request data, and determines whether or not the inference model obtained by the input/output modeling unit 25 corresponds to the learning request data. . The input/output modeling unit 25 constructs the network design until the inference model corresponds to the learning request data.

図3は学習装置20による学習を説明するための説明図である。図4は学習装置20による学習の結果得られる推論モデルを説明するための説明図である。 FIG. 3 is an explanatory diagram for explaining learning by the learning device 20. As shown in FIG. FIG. 4 is an explanatory diagram for explaining an inference model obtained as a result of learning by the learning device 20. FIG.

図3に示すように、入出力モデル化部25により、所定のネットワークN1には入力及び出力に対応する大量の画像が教師データとして与えられる。図3の例では、教師データとして、各種猫の画像が入力される。この場合の猫の画像には、例えば顔部分を破線枠で囲むようにアノテーションが設定されていてもよい。 As shown in FIG. 3, the input/output modeling unit 25 provides a predetermined network N1 with a large number of images corresponding to inputs and outputs as training data. In the example of FIG. 3, images of various cats are input as teacher data. In this case, the image of the cat may be annotated, for example, by enclosing its face with a dashed frame.

大量の教師データによる学習を行うことで、ネットワークN1は、入力に対応する出力が得られるように、ネットワークデザインが決定される。即ち、図3の例では、猫の画像が入力されると、撮像タイミングになったことを示す「チャンス情報」を表示したり、猫の顔の画像部分を囲む位置に破線枠(強調枠表示)を表示したりするための情報が信頼度の情報と共に得られる。また、「チャンス情報」の出力をきっかけに撮影処理を行ってもよい。即ち、図3の例では、猫の画像(特に顔部)を検出する推論モデルが構築される。 By performing learning using a large amount of teacher data, the network design is determined so that the network N1 can obtain an output corresponding to the input. That is, in the example of FIG. 3, when an image of a cat is input, "chance information" indicating that it is time to take an image is displayed, or a dashed frame (highlighted frame display) is displayed around the image portion of the cat's face. ) is obtained together with the reliability information. Further, the shooting process may be performed triggered by the output of the "chance information". That is, in the example of FIG. 3, an inference model for detecting an image of a cat (particularly the face) is constructed.

例えば、図3の推論モデルをネットワーク17aに設定した場合、撮像装置10の撮像部12によって図4に示す画像P1が撮像されると、ネットワーク17aは、画像P1中に猫の画像部分を検出し、猫の顔部分に強調枠表示P2aを付加した画像P2を出力する。この画像P2が表示部14において表示されることで、例えば、ユーザは猫の撮影に適したタイミングがなったことを認識することが可能である。 For example, when the inference model of FIG. 3 is set in the network 17a, when the image P1 shown in FIG. , an image P2 in which an emphasis frame display P2a is added to the cat's face is output. By displaying this image P2 on the display unit 14, for example, the user can recognize that the timing suitable for photographing the cat has come.

なお、図3及び図4は猫の画像部分(特に顔部)の検出を行う推論モデルを構築する例を説明したが、撮像装置10から提供される学習元画像には、撮影時に取得された各種パラメータ、例えば、撮影日時、絞り、ズーム倍率、焦点距離、明るさナンバー、アスペクト比、露出、絞り、ISO感度、ホワイトバランス、シャッタ速度、測光及びフォーカス制御等の各パラメータや、HDRや深度合成等のモードに関するパラメータ等の情報を含んでおり、対象物の検出と同時に、これらのパラメータを撮像装置10の各部に設定するものであってもよい。この場合には、ユーザは、猫に視野範囲に含めるだけで、猫の撮影に最適な設定を得ることができ、設定を自動化することも可能であり、更に、撮影を自動化することも可能である。 3 and 4 illustrate an example of constructing an inference model for detecting an image portion (especially a face portion) of a cat. Various parameters such as shooting date, aperture, zoom magnification, focal length, brightness number, aspect ratio, exposure, aperture, ISO sensitivity, white balance, shutter speed, photometry and focus control, HDR and depth composition It may include information such as parameters related to modes such as , and these parameters may be set in each unit of the imaging apparatus 10 at the same time as the object is detected. In this case, the user can obtain the optimum settings for photographing the cat by simply including the cat in the visual range, and it is also possible to automate the settings, and furthermore, it is also possible to automate the photographing. be.

なお、深層学習(ディープ・ラーニング)」は、ニューラル・ネットワークを用いた「機械学習」の過程を多層構造化したものである。情報を前から後ろに送って判定を行う「順伝搬型ニューラル・ネットワーク」が代表的なものである。これは、最も単純なものでは、N1個のニューロンで構成される入力層、パラメータで与えられるN2個のニューロンで構成される中間層、判別するクラスの数に対応するN3個のニューロンで構成される出力層の3層があればよい。そして、入力層と中間層、中間層と出力層の各ニューロンはそれぞれが結合加重で結ばれ、中間層と出力層はバイアス値が加えられることで、論理ゲートの形成が容易である。簡単な判別なら3層でもよいが、中間層を多数にすれば、機械学習の過程において複数の特徴量の組み合わせ方を学習することも可能となる。近年では、9層~152層のものが、学習にかかる時間や判定精度、消費エネルギーの関係から実用的になっている。 “Deep learning” is a multi-layered process of “machine learning” using neural networks. A typical example is a "forward propagation neural network" that sends information from front to back and makes decisions. In the simplest case, it consists of an input layer consisting of N1 neurons, an intermediate layer consisting of N2 neurons given by parameters, and N3 neurons corresponding to the number of classes to be discriminated. It suffices if there are three output layers. The neurons of the input layer and the intermediate layer, and the neurons of the intermediate layer and the output layer are respectively connected by a connection weight, and the intermediate layer and the output layer are added with a bias value, thereby facilitating the formation of logic gates. Three layers may be sufficient for simple discrimination, but if a large number of intermediate layers are used, it becomes possible to learn how to combine a plurality of feature quantities in the process of machine learning. In recent years, those with 9 to 152 layers have become practical due to the relationship between the time required for learning, judgment accuracy, and energy consumption.

機械学習に採用するネットワークN1としては、公知の種々のネットワークを採用してもよい。例えば、CNN(Convolution Neural Network)を利用したR-CNN(Regions with CNN features)やFCN(Fully Convolutional Networks)等を用いてもよい。これは、画像の特徴量を圧縮する、「畳み込み」と呼ばれる処理を伴い、最小限処理で動き、パターン認識に強い。また、より複雑な情報を扱え、順番や順序によって意味合いが変わる情報分析に対応して、情報を双方向に流れる「再帰型ニューラル・ネットワーク」(全結合リカレントニューラルネット)を利用してもよい。 Various known networks may be employed as the network N1 employed for machine learning. For example, R-CNN (Regions with CNN features) using CNN (Convolution Neural Network) or FCN (Fully Convolutional Networks) may be used. It involves a process called "convolution" that compresses image features, works with minimal processing, and is robust to pattern recognition. In addition, a "recurrent neural network" (fully-connected recurrent neural network), which can handle more complicated information and can handle information analysis whose meaning changes depending on the order and order, may be used in which information flows in both directions.

これらの技術の実現のためには、CPUやFPGAといったこれまでの汎用的な演算処理回路などを使ってもよいが、ニューラル・ネットワークの処理の多くが行列の掛け算であることから、行列計算に特化したGPUやTensor Processing Unit(TPU)と呼ばれるものが利用される場合もある。近年ではこうした人工知能(AI)専用ハードの「ニューラル・ネットワーク・プロセッシング・ユニット(NPU)」がCPUなどその他の回路とともに集積して組み込み可能に設計され、処理回路の一部になっている場合もある。 In order to realize these technologies, conventional general-purpose arithmetic processing circuits such as CPUs and FPGAs may be used. A specialized GPU or something called a Tensor Processing Unit (TPU) may be used. In recent years, artificial intelligence (AI) dedicated hardware "neural network processing unit (NPU)" is designed to be integrated and embedded with other circuits such as CPU, and it may be part of the processing circuit. be.

また、深層学習に限らず、公知の各種機械学習の手法を採用して推論モデルを取得してもよい。例えば、サポートベクトルマシン、サポートベクトル回帰という手法もある。ここでの学習は、識別器の重み、フィルター係数、オフセットを算出するもので、他には、ロジスティック回帰処理を利用する手法もある。機械に何かを判定させる場合、人間が機械に判定の仕方を教える必要があり、今回の実施例では、画像の判定を、機械学習により導出する手法を採用したが、そのほか、特定の判断を人間が経験則・ヒューリスティクスによって獲得したルールを適応するルールベースの手法を応用して用いてもよい。 In addition, the inference model may be acquired by employing not only deep learning but also various known machine learning techniques. For example, there are methods such as support vector machines and support vector regression. The learning here is to calculate the classifier weights, filter coefficients, and offsets, and there is also a method using logistic regression processing. When a machine judges something, a human needs to teach the machine how to judge something. A rule-based technique that applies rules acquired by humans through empirical rules and heuristics may be applied and used.

本実施の形態においては、制御部21は、入出力モデル化部25において作成された推論モデルの情報(AI情報)を通信部15を介して撮像装置10に送信するようになっている。また、制御部21は、生成した推論モデルをDB装置30に与えて記録させる。上述したように、この推論モデルは撮像装置10からの学習依頼データが関連付けられて、推論モデル及びユーザデータ記録部35に記録される。なお、学習装置20が撮像装置10から提供された学習元画像を用いて作成した推論モデルを基本推論モデルというものとする。 In the present embodiment, the control unit 21 transmits information (AI information) of the inference model created by the input/output modeling unit 25 to the imaging device 10 via the communication unit 15 . Further, the control unit 21 provides the generated inference model to the DB device 30 to record it. As described above, this inference model is associated with the learning request data from the imaging device 10 and recorded in the inference model and user data recording unit 35 . An inference model created by the learning device 20 using the learning source image provided from the imaging device 10 is called a basic inference model.

本実施の形態においては、AI情報提供装置としての学習装置20には展示処理部27が設けられている。展示処理部27は、生成した推論モデルに関する情報を展示するための展示情報を生成する。展示処理部27は、生成した展示情報を通信部22を介して図示しないインターネット等のネットワーク上の公開サーバに送信する。これにより、ネットワーク上の公開サーバによって、生成された推論モデルに関する情報がサイト上に展示される。なお、この場合には、推論モデルはユーザが付加したAIタイトルによって識別される。 In this embodiment, an exhibition processing unit 27 is provided in the learning device 20 as an AI information providing device. The display processing unit 27 generates display information for displaying information about the generated inference model. The exhibition processing unit 27 transmits the generated exhibition information to a public server on a network such as the Internet (not shown) via the communication unit 22 . This allows information about generated inference models to be exhibited on the site by a public server on the network. Note that in this case, the inference model is identified by the AI title added by the user.

本実施の形態においては、学習装置20は、上述した公開サーバを介して又は第2装置である撮像装置10からの直接の要求によって、既に生成されている基本推論モデルの提供の依頼を受けることができる。例えば、第2装置である撮像装置10は、依頼情報生成部11dによって生成された学習依頼データを学習装置20に送信することで、基本推論モデルの提供を要求する。この場合の学習依頼データとしては、図2に示す学習依頼作成表示DMによって示されるデータと同様のデータであって、学習元画像を有していないデータを採用してもよい。AIタイトルとしては、既存の基本推論モデルに付されたAIタイトルが指定される。 In this embodiment, the learning device 20 receives a request to provide an already generated basic inference model via the above-described public server or by a direct request from the imaging device 10, which is the second device. can be done. For example, the imaging device 10, which is the second device, transmits learning request data generated by the request information generating unit 11d to the learning device 20, thereby requesting provision of the basic inference model. As the learning request data in this case, data similar to the data indicated by the learning request creation display DM shown in FIG. 2 and having no learning source image may be employed. As the AI title, an AI title given to an existing basic inference model is designated.

本実施の形態においては、学習装置20の制御部21は、第2装置からの学習依頼データを受信すると、当該学習依頼データをDB装置30に与えて推論モデル及びユーザデータ記録部35に記憶させると共に、推論モデル及びユーザデータ記録部35に記憶されている推論データをAIタイトルによって特定し、特定した推論データに関連付けて記録されている学習依頼データを読み出す。制御部21は、第2装置からの学習依頼データと推論モデル及びユーザデータ記録部35から読み出した第1装置による学習依頼データとを比較し、ハードウェア構成等が一致しているか否かを判定する。両者のハードウェア構成等が一致している場合には、既に作成されている第1装置用の基本推論モデルを第2装置においても有効に利用することが可能であるので、制御部21は、学習依頼データによって指定されている基本推論モデルを推論モデル及びユーザデータ記録部35から読み出して、通信部26を介して第2装置の撮像装置10に送信する。 In the present embodiment, when receiving learning request data from the second device, the control unit 21 of the learning device 20 supplies the learning request data to the DB device 30 to store it in the inference model and user data recording unit 35. At the same time, the inference data stored in the inference model and user data recording unit 35 is specified by the AI title, and the learning request data recorded in association with the specified inference data is read. The control unit 21 compares the learning request data from the second device with the learning request data from the first device read from the inference model and the user data recording unit 35, and determines whether or not the hardware configuration etc. match. do. If the hardware configurations of both devices match, the basic inference model that has already been created for the first device can also be effectively used in the second device. The basic inference model specified by the learning request data is read from the inference model and user data recording unit 35 and transmitted to the imaging device 10 of the second device via the communication unit 26 .

なお、制御部21は、基本推論モデルを利用可能であるか否かの判定を、ハードウェア構成のみに基づいて行ってもよく、また、ハードウェア構成と正解率、信頼性、応答時間等の情報に基づいて行ってもよい。 Note that the control unit 21 may determine whether or not the basic inference model can be used based only on the hardware configuration. It can be informed.

制御部21は、両者のハードウェア構成等が不一致の場合には、既に作成されている第1装置用の基本推論モデルは第2装置において有効に利用することができないものと判定して、読み出した学習依頼データに含まれる学習元画像を用いた学習により、推論モデルを再構築する。即ち、制御部21は、基本推論モデル作成時と同様の処理により、第2装置のハードウェア構成等に合わせて、読み出した学習依頼データの学習元画像に基づいて教師データを作成し、入力データの設定及び出力の設定を行った後、入出力モデル化部25において学習を行う。 If the hardware configurations of the two do not match, the control unit 21 determines that the already created basic inference model for the first device cannot be effectively used in the second device, and reads the model. The inference model is reconstructed by learning using the learning source image included in the learning request data. That is, the control unit 21 creates teacher data based on the learning source image of the read learning request data according to the hardware configuration of the second device, etc., by the same processing as when creating the basic inference model, and inputs the input data. and the output are set, learning is performed in the input/output modeling unit 25 .

なお、この場合には、仕様照合部25aは、第2装置からの学習依頼データをメモリに記憶し、入出力モデル化部25により求められた推論モデル情報が第2装置からの学習依頼データに対応するものとなっているか否かを判定する。入出力モデル化部25は、推論モデル情報が学習依頼データに対応するものとなるまで、ネットワークデザインの構築を行う。制御部21は、こうして生成された推論モデル(以下、適応推論モデルともいう)の情報(AI情報)を通信部26を介して第2装置である撮像装置10に送信する。なお、制御部21は、必要に応じて、適応推論モデル及び対応する学習依頼データを、推論モデル及びユーザデータ記録部35に与えて記録するようになっていてもよい。 In this case, the specification matching unit 25a stores the learning request data from the second device in the memory, and the inference model information obtained by the input/output modeling unit 25 is used as the learning request data from the second device. It is determined whether or not they correspond. The input/output modeling unit 25 constructs the network design until the inference model information corresponds to the learning request data. The control unit 21 transmits information (AI information) of the inference model thus generated (hereinafter also referred to as adaptive inference model) to the imaging device 10 as the second device via the communication unit 26 . Note that the control unit 21 may provide the adaptive inference model and the corresponding learning request data to the inference model and user data recording unit 35 and record them as necessary.

(学習依頼データの他の例)
図5から図7は第1装置である撮像装置10からの学習依頼データの他の例を示す説明図である。上記図2の例では、画像中の対象物を検出する場合の学習依頼データについて説明した。これに対し、図5から図7の例は、一連の画像中において、最適なタイミングの画像を取得することを可能にする推論モデルの学習を要求するためのものである。また、この例では、教師データの元となる画像については提供せず、テストデータのみを学習元画像として提供する例を示している。
(Another example of learning request data)
5 to 7 are explanatory diagrams showing other examples of learning request data from the imaging device 10, which is the first device. In the example of FIG. 2, learning request data for detecting an object in an image has been described. On the other hand, the examples of FIGS. 5 to 7 are for requesting learning of an inference model that makes it possible to acquire an image with optimal timing in a series of images. Also, this example shows an example in which only the test data is provided as the learning source image, without providing the image that is the source of the teacher data.

図5は最適なタイミングの画像として鳥が飛び立つ瞬間の画像を含む一連の画像を示している。例えば、第1装置である撮像装置10によって飛び立とうとしている鳥を撮影するものとする。対象物である鳥が視野範囲に入るように撮像装置10を構える。表示部14の表示画面14aには鳥の画像41を含むライブビュー画像が表示される。操作部13を構成するシャッタボタンを操作することで、鳥の撮影が可能である。 FIG. 5 shows a series of images including an image of the moment the bird takes off as an image of optimal timing. For example, assume that a bird about to take off is photographed by the imaging device 10, which is the first device. The imaging device 10 is set up so that the bird, which is the object, is within the field of view. A live view image including a bird image 41 is displayed on the display screen 14 a of the display unit 14 . A bird can be photographed by operating a shutter button that constitutes the operation unit 13 .

いま、撮像装置10は、鳥が飛び立つまでの一連の様子を撮像するものとする。例えば、撮像装置10が連写機能を有している場合には連写機能を用いて、鳥が止まっている状態から飛び立つまでの一連の様子を所定の時間間隔で撮像して一連の画像として取得することができる。また、撮像装置10が動画の撮像機能を有している場合には、鳥が止まっている状態から飛び立つまでの一連の様子を動画撮影した動画像を取得してもよい。また、撮像装置10のシャッタボタンを所定の時間間隔で操作することで、鳥が止まっている状態から飛び立つまでの一連の様子を所定の時間間隔で撮像して離散的に静止画像を取得してもよい。また、撮像装置10がシャッタボタンの操作前の所定タイミング以降の画像を自動記録する機能(キャプチャ機能)を有する場合には、このキャプチャ機能を利用することで図5の一連の画像P11~P15を撮像してもよい。 Now, it is assumed that the imaging device 10 captures a series of images until the bird takes off. For example, when the imaging device 10 has a continuous shooting function, the continuous shooting function is used to capture a series of images at predetermined time intervals from a resting state of a bird to its flight, and produce a series of images. can be obtained. In addition, if the imaging device 10 has a moving image capturing function, a moving image obtained by capturing a series of situations from a resting state to a flight of the bird may be acquired. Further, by operating the shutter button of the imaging device 10 at predetermined time intervals, a series of states from the resting state to the flight of the bird are captured at predetermined time intervals, and still images are acquired discretely. good too. If the imaging apparatus 10 has a function (capture function) for automatically recording images after a predetermined timing before the shutter button is operated, the series of images P11 to P15 in FIG. 5 can be captured by using this capture function. You can take an image.

図5の例は、このキャプチャ機能を利用して得たものであってもよい。例えば、画像P11~P13のタイミングにおいて撮影者は確認を行い、画像P14のタイミングを狙って撮影しようとした結果、画像P15において撮影が行われた場合の例である。 The example of FIG. 5 may have been obtained using this capture function. For example, this is an example of a case where the photographer checks at the timing of images P11 to P13 and, as a result of trying to shoot at the timing of image P14, image P15 is shot.

いま、ユーザが最も撮影したい画像が、鳥が正に飛び立とうとしている瞬間の画像を含む画像P14であるものとする。キャプチャ機能を利用することで、画像P14を撮影結果の画像として記録部16に記録することができる。制御部11は、キャプチャ機能によって取得した一連の画像を表示部14の表示画面14a上に表示する。 Assume that the image that the user most wants to shoot is the image P14 that includes the image of the moment when the bird is about to take off. By using the capture function, the image P14 can be recorded in the recording unit 16 as an image of the imaging result. The control unit 11 displays a series of images acquired by the capture function on the display screen 14 a of the display unit 14 .

図6はこの場合の表示例を示す説明図であり、シャッタボタンの操作の所定時間からシャッタボタンの操作までの期間の一連の画像群45が表示される。ユーザは所望の画像を指定することで、撮影結果としてユーザが指定した画像を記録することができる。図6の例では、太枠によって、ユーザが画像45aを選択したことを示している。 FIG. 6 is an explanatory diagram showing an example of display in this case, in which a series of images 45 are displayed during the period from the predetermined time of the shutter button operation to the shutter button operation. By specifying a desired image, the user can record the image specified by the user as the photographed result. In the example of FIG. 6, the thick frame indicates that the user has selected the image 45a.

本実施の形態においては、これらの画像群45及びユーザによる選択操作の情報を学習依頼データに含めることで、鳥が飛び立つ瞬間の画像タイミングでの撮影を可能にする推論モデルの構築が可能である。 In the present embodiment, by including the information of the image group 45 and the user's selection operation in the learning request data, it is possible to construct an inference model that enables shooting at the moment the bird takes off. .

図7はこの場合の学習依頼データの作成のための学習依頼作成表示DMの一例を示している。 FIG. 7 shows an example of a learning request creation display DM for creating learning request data in this case.

図7の例は一連の画像中から所望のタイミングの画像を検出するための推論モデルを作成するための学習依頼データの仕様項目を示している。図7においては、教師データは省略されており、テストデータのみが登録されている。このテストデータは、一連の画像から鳥が飛び立つ瞬間の画像を抽出するためのものであり、太枠はその抽出タイミングを示している。 The example of FIG. 7 shows specification items of learning request data for creating an inference model for detecting an image at a desired timing from a series of images. In FIG. 7, teacher data is omitted and only test data is registered. This test data is for extracting an image at the moment when a bird takes off from a series of images, and the thick frame indicates the extraction timing.

依頼情報生成部11dは、学習依頼作成表示DMに対するユーザ操作に基づいて学習依頼データを作成する。図7の例では、学習依頼データには、テストデータが含まれており、依頼情報生成部11dは、通信部15を介して学習依頼データを学習装置20に送信する。 The request information generation unit 11d creates learning request data based on a user's operation on the learning request creation display DM. In the example of FIG. 7 , the learning request data includes test data, and the request information generation unit 11 d transmits the learning request data to the learning device 20 via the communication unit 15 .

第1装置のユーザは、学習元画像を、適応推論モデルの作成時に利用してもよいか否かを学習装置20に示すことができる。利用可能とする場合には、利用の対価として課金を希望するようになっていてもよく、図7の例では、テストデータの提供に際して課金を希望することを示す表示が行われている。 The user of the first device can indicate to the learning device 20 whether or not the learning source image can be used when creating the adaptive inference model. If the test data is made available, the user may wish to be charged for the use of the test data. In the example of FIG. 7, a display indicating that the test data is requested to be charged is displayed.

学習装置20は、受信した学習依頼データに含まれるテストデータに基づく教師データをDB装置30から取得する。図5に示すように、鳥は、飛び立つ前の所定時間に、曲げていた足を伸ばし、翼を広げようとする予備動作を行うことがある。例えば、種類が異なる鳥の場合、サイズが異なる鳥の場合、或いは、獲物を狙っているか否か等に応じて、予備動作の仕方は多少異なるものと考えられるが、鳥の飛び立ちに関する膨大な画像について学習を行えば、飛び立つ前の様子から飛び立つ瞬間の時間を予測することが可能であると考えられる。 The learning device 20 acquires teacher data based on the test data included in the received learning request data from the DB device 30 . As shown in FIG. 5, a bird may make a preparatory motion to straighten its bent legs and spread its wings at a predetermined time before taking off. For example, in the case of birds of different types, in the case of birds of different sizes, or depending on whether they are aiming at prey or not, the method of preparatory movement is considered to be somewhat different. It is thought that it is possible to predict the time of the moment of flight from the state before flight by learning about.

学習装置20は、作成した基本推論モデルを第1装置である撮像装置10に送信する。また、第2装置から適応推論モデルの提供の依頼があった場合には、テストデータに基づく教師データを用いて、第2装置に関する情報に基づいて学習を行い、適応推論モデルを作成する。 The learning device 20 transmits the created basic inference model to the imaging device 10, which is the first device. Also, when a request for provision of an adaptive inference model is received from the second device, learning is performed based on information on the second device using teacher data based on test data, and an adaptive inference model is created.

次に、このように構成された実施の形態の動作について図8から図13を参照して説明する。図8はカメラ制御を説明するためのフローチャートであり、図9は学習装置20が提供するAI情報サーバの制御を説明するためのフローチャートである。図10は第1装置である撮像装置10による撮影の様子を示す説明図である。図11は画像の選択の様子を示す説明図である。図12は推論モデルの利用のための操作の様子を示す説明図である。図13は推論モデルを利用した検出の例を示す説明図である。 Next, the operation of the embodiment configured in this manner will be described with reference to FIGS. 8 to 13. FIG. FIG. 8 is a flowchart for explaining camera control, and FIG. 9 is a flowchart for explaining control of the AI information server provided by the learning device 20. As shown in FIG. FIG. 10 is an explanatory diagram showing how an image is captured by the imaging device 10, which is the first device. FIG. 11 is an explanatory diagram showing how images are selected. FIG. 12 is an explanatory diagram showing how the inference model is used. FIG. 13 is an explanatory diagram showing an example of detection using an inference model.

いま、ユーザ41が図10に示す撮影を行うものとする。図10の例では、被写体はブロック塀55の上にいる猫56である。ユーザ51は、右手52の人差し指53でレリーズスイッチ13aを押下することで撮影を行う。例えば、ユーザ51は、猫56を複数回撮影するものとする。図11はこの場合においてユーザが写りが良いと考える画像を選択するための表示を示している。図11の例では、猫56を被写体とする4枚の撮像画像を含む選択表示61が表示画面14a上に表示されている。ユーザ51は、写りが良いと考える撮像画像が存在する場合には、その撮像画像を選択する。ユーザ51は、例えば、指63によって選択する撮像画像の表示上をタッチする。図11では、太枠で囲むことにより、ユーザ51が撮像画像62を選択したことを示している。なお、選択された撮像画像62は、学習依頼データ記録領域16c中の図2の学習依頼作成表示DMにおける教師データを格納する「フォルダ1」に移動又はコピーされる。 Assume now that the user 41 performs the photographing shown in FIG. In the example of FIG. 10, the subject is a cat 56 on top of a block wall 55 . The user 51 takes an image by pressing the release switch 13a with the index finger 53 of the right hand 52 . For example, user 51 is assumed to photograph cat 56 multiple times. FIG. 11 shows a display for selecting an image that the user thinks looks good in this case. In the example of FIG. 11, a selection display 61 including four captured images with a cat 56 as a subject is displayed on the display screen 14a. If there is a captured image that the user 51 thinks looks good, the user 51 selects that captured image. The user 51 touches the display of the captured image to be selected with the finger 63, for example. FIG. 11 shows that the user 51 has selected the captured image 62 by enclosing it with a thick frame. Note that the selected captured image 62 is moved or copied to the "folder 1" storing the teacher data in the learning request creation display DM of FIG. 2 in the learning request data recording area 16c.

図11の例では4枚の撮像画像から1枚の撮像画像を選択する例を説明したが、実際にはユーザ51は、色々な場面で多くの猫の写真を撮影している。撮像画像62のように、構図や、ピントや、色合いや、明るさ等の様々な観点から写りが良い撮像画像の撮影は比較的容易ではないと考えられる。そこで、ユーザは、猫の撮影に際して、撮像画像62と同様に写りの良い画像の撮影を容易にするために、撮像画像62のような撮像画像を得るための推論モデルの作成を依頼する。 In the example of FIG. 11, an example of selecting one captured image from four captured images has been described, but in reality the user 51 takes many pictures of cats in various situations. Like the captured image 62, it is considered relatively difficult to capture a captured image that looks good from various viewpoints such as composition, focus, color, and brightness. Therefore, the user requests creation of an inference model for obtaining a captured image such as the captured image 62 in order to facilitate capturing of a good image similar to the captured image 62 when photographing the cat.

図8のステップS1において、撮像装置10の制御部11は、撮影モードが指定されているか否かを判定する。撮影モードが指定されていない場合には、制御部11は、ステップS21において推論モデルの依頼モードであるか否かを判定する。ユーザ51が推論モデル依頼モードを指定すると、制御部11の学習依頼情報生成部11dは、表示画面14aに学習依頼作成表示DMを表示して、ユーザ操作を受け付ける(ステップS22)。例えば、図2の学習依頼作成表示DMの例では、ユーザが選択した撮像画像62が「フォルダ1」に格納される。 At step S1 in FIG. 8, the control unit 11 of the imaging device 10 determines whether or not a shooting mode has been specified. If the photographing mode is not specified, the control unit 11 determines in step S21 whether or not it is the request mode of the inference model. When the user 51 designates the inference model request mode, the learning request information generation unit 11d of the control unit 11 displays a learning request creation display DM on the display screen 14a and receives user operation (step S22). For example, in the example of the learning request creation display DM in FIG. 2, the captured image 62 selected by the user is stored in "Folder 1".

学習依頼情報生成部11dは、ステップS23において設定が終了したか否かを判定する。ユーザ51は、設定が終了すると、学習依頼作成表示DMに対応する学習依頼データの送信操作を行う。これにより、学習依頼情報生成部11dは、生成した学習依頼データを学習装置20に送信する。なお、この学習依頼データには、仕様データ記録領域16bに記録された仕様データに基づく撮像装置10のハードウェア構成に関する情報及び学習元画像が含まれる。 The learning request information generation unit 11d determines whether or not the setting has been completed in step S23. After completing the setting, the user 51 performs an operation to transmit learning request data corresponding to the learning request creation display DM. As a result, the learning request information generation unit 11 d transmits the generated learning request data to the learning device 20 . The learning request data includes information about the hardware configuration of the imaging device 10 based on the specification data recorded in the specification data recording area 16b and the learning source image.

なお、図8のフローチャートは第1装置及び第2装置のいずれにも適用可能であり、第2装置ついては、ステップS24において送信する学習依頼データには、学習元画像は含まれない。 Note that the flowchart of FIG. 8 can be applied to both the first device and the second device, and for the second device, the learning request data transmitted in step S24 does not include the learning source image.

また、学習依頼データの送信は、学習装置20が提供するAI情報提供サーバを利用してもよい。図9は学習装置20が提供するこのAI情報提供サーバの制御を示しており、制御部21が展示処理部27と協働して処理を行うことで実現するものである。 Also, the AI information providing server provided by the learning device 20 may be used to transmit the learning request data. FIG. 9 shows the control of this AI information providing server provided by the learning device 20, which is realized by the control unit 21 performing processing in cooperation with the exhibition processing unit 27. FIG.

展示処理部27は、ステップS31においてアクセスの待機状態である。アクセスが発生すると、展示処理部27は、ステップS32においてトップ画面を表示する。なお、このトップ画面は、撮像装置10の表示部14の表示画面14a上において表示可能である。 The exhibition processing unit 27 is in an access standby state in step S31. When access occurs, the exhibition processing unit 27 displays the top screen in step S32. Note that this top screen can be displayed on the display screen 14 a of the display unit 14 of the imaging device 10 .

また、撮像装置10は、図示しないタブレット端末に接続可能であり、このタブレット端末によって撮像装置10の操作等を含むユーザインタフェースが提供可能である。展示処理部27によるトップ画面は、このようなタブレット端末等のディスプレイ上のブラウザ画面にも表示可能である。 Further, the imaging device 10 can be connected to a tablet terminal (not shown), and the tablet terminal can provide a user interface including operations of the imaging device 10 . The top screen by the display processing unit 27 can also be displayed on the browser screen on the display of such a tablet terminal or the like.

図9の例では、トップ画面には、画像投稿モード、画像観賞モード、展示AI依頼モード及び学習依頼モードの4つのモードのいずれかを選択する選択表示が表示される。ユーザ51は学習依頼データを送信するために、学習依頼モードを選択する。展示処理部27は、ステップS33,S35,S38,S51において、それぞれ画像投稿モード、画像観賞モード、展示AI依頼モード及び学習依頼モードのいずれのモードが指定されたかを判定している。学習依頼モードが指定されると、展示処理部27は、処理をステップS52に移行して、学習依頼データを受信し、要求された仕様(ハードウェア構成)や課金条件等を取得する。 In the example of FIG. 9, the top screen displays a selection display for selecting one of four modes: an image posting mode, an image viewing mode, an exhibition AI request mode, and a learning request mode. The user 51 selects a learning request mode in order to send learning request data. At steps S33, S35, S38, and S51, the exhibition processing unit 27 determines which of the image posting mode, image viewing mode, exhibition AI request mode, and learning request mode is specified. When the learning request mode is specified, the display processing unit 27 shifts the process to step S52, receives the learning request data, and acquires the requested specifications (hardware configuration), billing conditions, and the like.

図7の学習依頼作成表示DMに示すように、ユーザは学習元画像についての他者の利用を許可してもよく、他者の利用に際して課金する条件を指定してもよい。なお、学習装置20に送信する学習依頼データの他者の利用を許可する場合には、学習装置20が学習元画像についてDB装置30に記録するようになっていてもよい。また、第2装置からの学習依頼の場合には、課金条件は存在しない。第2装置のユーザは学習結果の受信について対価を支払う必要がある場合がある。 As shown in the learning request creation display DM in FIG. 7, the user may allow others to use the learning source image, and may specify conditions for charging others for their use. It should be noted that, when permitting others to use the learning request data transmitted to the learning device 20 , the learning device 20 may record the learning source image in the DB device 30 . Also, in the case of a learning request from the second device, there is no billing condition. The user of the second device may need to pay for receiving the learning results.

展示処理部27は、ステップS53において、学習依頼データに基づいて、第1装置からの依頼(教師データ付きの依頼)であるか、第2装置からの依頼であるかを判定する。第1装置からの依頼の場合には、制御部21は、学習依頼データに含まれる学習元画像を取得する(ステップS54)。制御部21は、必要に応じてDB装置30を参照して、教師データを追加する。なお、第1装置のユーザ51によって学習依頼データの利用が許可されている場合には、制御部21は、学習依頼データをDB装置30に与えて推論モデル及びユーザデータ記録部35に記録させる。また、第2装置からの依頼の場合には、制御部21は、DB装置30を参照して、第1装置において提供された画像を元に、第2装置の仕様及び必要性に応じて、教師データを作成する(ステップS55)。 In step S53, the exhibition processing unit 27 determines whether the request is from the first device (request with teacher data) or from the second device, based on the learning request data. In the case of the request from the first device, the control unit 21 acquires the learning source image included in the learning request data (step S54). The control unit 21 adds teacher data by referring to the DB device 30 as necessary. When the user 51 of the first device permits the use of the learning request data, the control unit 21 supplies the learning request data to the DB device 30 and causes the inference model and user data recording unit 35 to record the learning request data. Further, in the case of a request from the second device, the control unit 21 refers to the DB device 30, and based on the image provided by the first device, according to the specifications and necessity of the second device, Teacher data is created (step S55).

制御部21は、ステップS55において、母集合作成部24及び入出力モデル化部25により、作成した教師データを用いて推論モデルを作成する。仕様照合部25aは、ステップS56において、作成された推論モデルが学習依頼データに応じた要求仕様を満足しているか否かの確認を行う。完全に満足する必要はかならずしもなく、要求を満たさない事を情報として添付して送るようにしてもよい。満足していない場合には、制御部21は、ステップS57において、教師データの再設定等を行って処理をステップS55に戻す。仕様確認の結果が良好な場合には、制御部21は、作成した推論モデルをDB装置30に与えて基本推論モデルとして推論モデル及びユーザデータ記録部35に記録させる(ステップS58)。なお、記録する基本推論モデルには、AIタイトルが付加され、学習依頼データが関連付けられる。また、展示処理部27は、推論モデルが作成されたことを示す表示を、ブラウザ画面上に表示する。ここで、確認用に推論モデルの性能の限界(想定する仕様シーンを教師データから推測して表示するとか、推論エンジンの差異なども含み)の情報などを表示(学習装置自身に表示してもよいし、依頼元に表示できるように制御してもよい)させるような工夫があってもよい。高速で推論が出来ないような推論モデルであれば、高速移動の対象物には使わないで欲しいというニュアンスのアドバイスができる。 In step S<b>55 , the control unit 21 creates an inference model using the teacher data created by the population creating unit 24 and the input/output modeling unit 25 . In step S56, the specification checking unit 25a confirms whether or not the created inference model satisfies the required specifications corresponding to the learning request data. It is not always necessary to completely satisfy the request, and it is possible to attach information about the non-satisfaction of the request and send it. If not satisfied, the controller 21 resets the teacher data in step S57, and returns the process to step S55. If the result of the specification confirmation is satisfactory, the control unit 21 gives the created inference model to the DB device 30 and records it in the inference model and user data recording unit 35 as a basic inference model (step S58). The basic inference model to be recorded is added with an AI title and associated with learning request data. In addition, the display processing unit 27 displays a display indicating that the inference model has been created on the browser screen. Here, for confirmation, information such as the performance limit of the inference model (including the difference in the inference engine, etc., such as inferring the assumed specification scene from the teacher data and displaying it) is displayed (even if it is displayed on the learning device itself) Alternatively, it may be controlled so that it can be displayed by the requester). If it is an inference model that cannot be inferred at high speed, we can give nuanced advice not to use it for fast-moving objects.

制御部21は、作成された推論モデルを通信部26,15を介して撮像装置10の制御部11に出力するが、ここで仕様情報や性能情報や限界情報などを一緒に送信して、ユーザが誤った使い方をしないような工夫もできる(ステップS59)。撮像装置10の制御部11は、ステップS26において推論モデルを受信したか否かを判定しており、受信された推論モデルを取得して(ステップS27)、推論エンジン17に設定する。こうして、推論エンジン17のネットワーク17aによって、要求した推論モデルが構築される。 The control unit 21 outputs the created inference model to the control unit 11 of the image capturing apparatus 10 via the communication units 26 and 15. Here, the specification information, performance information, limit information, etc. It is also possible to devise a way to prevent wrong usage (step S59). The control unit 11 of the imaging device 10 determines whether or not the inference model has been received in step S26, acquires the received inference model (step S27), and sets it in the inference engine 17. FIG. Thus, the network 17a of inference engines 17 builds the requested inference model.

次に、第2装置のユーザにおいて、推論モデルの利用が検討されるものとする。第2装置の制御部11は、ステップS21~S23において、学習依頼データを作成する。第2装置のユーザ71は、図12に示すように、端末73を指72で操作することによって、AI情報提供サーバである外部サーバ75にアクセスする。端末73は、第2装置である撮像装置10であってもよく、撮像装置10の操作等のユーザインタフェースを提供する装置であってもよく、撮像装置10とは独立した装置であってもよい。例えば、端末73としては、スマートフォンやタブレット端末等を採用してもよい。外部サーバ75は、学習装置20により提供されるAI情報提供サーバである。 Next, it is assumed that the user of the second device considers using the inference model. The control unit 11 of the second device creates learning request data in steps S21 to S23. A user 71 of the second device accesses an external server 75, which is an AI information providing server, by operating a terminal 73 with a finger 72, as shown in FIG. The terminal 73 may be the imaging device 10 that is the second device, may be a device that provides a user interface for operating the imaging device 10, or may be a device that is independent of the imaging device 10. . For example, the terminal 73 may be a smart phone, a tablet terminal, or the like. The external server 75 is an AI information providing server provided by the learning device 20 .

展示処理部27は、図9のステップS32においてトップ画面を表示する。ユーザ71は、端末73を操作して、展示AI依頼モードを選択する。展示処理部27は、ステップS38において、展示AI依頼モードが選択されたものを判定すると、例えば、図12に示す展示AI依頼画面76を、端末73の表示画面上に表示させる。 The exhibition processing unit 27 displays the top screen in step S32 of FIG. The user 71 operates the terminal 73 to select the exhibition AI request mode. When the exhibition processing unit 27 determines in step S38 that the exhibition AI request mode is selected, for example, the exhibition AI request screen 76 shown in FIG. 12 is displayed on the display screen of the terminal 73. FIG.

図12の展示AI依頼画面76は、新たに作成された新着AIを表示していることを示す表示77a、新たに作成された推論モデルに付されたAIタイトルが、「ファニーキャット」であることを示す表示77b及び「鳥の飛び立ち」であることを示す表示77c、星印の数によってユーザ評価(上位)を示す表示77dを含む。ここで、ユーザ71が、表示77bを選択するものとする。この選択によって、AIタイトルが「ファニーキャット」の推論モデルの要求が学習装置20の展示処理部27に送信される。また、この選択によって、第2装置である撮像装置10の学習依頼情報生成部11dは、作成した学習依頼データを学習装置20に送信する。 The exhibition AI request screen 76 in FIG. 12 has a display 77a indicating that a newly created new AI is being displayed, and that the AI title given to the newly created inference model is "Funny Cat". , a display 77c indicating "bird takes off", and a display 77d indicating the user evaluation (higher rank) by the number of asterisks. Here, it is assumed that the user 71 selects the display 77b. By this selection, a request for an inference model whose AI title is “Funny Cat” is sent to the exhibition processing unit 27 of the learning device 20 . Also, by this selection, the learning request information generation unit 11 d of the imaging device 10 as the second device transmits the created learning request data to the learning device 20 .

展示処理部27は、ステップS39において、受信した学習依頼データに基づいて、第2装置のハードウェア構成等の仕様設定、課金等の条件を判定する。展示処理部27は仕様を満足する推論モデルが存在するか否かを判定する(ステップS40)。例えば、第1装置の撮像装置10と第2装置の撮像装置10とが同一タイプの機器である場合には、ハードウェア構成、特に推論エンジン17の構成が同一である。この場合には、第2装置において第1装置用に作成された推論モデルをそのまま利用可能であるので、制御部21は、利用機器(第2装置)に、指定された推論モデルの情報(AI情報)を送信する。 In step S39, the exhibition processing unit 27 determines the specification settings such as the hardware configuration of the second device and conditions such as charging based on the received learning request data. The display processing unit 27 determines whether or not there is an inference model that satisfies the specifications (step S40). For example, when the image capturing device 10 of the first device and the image capturing device 10 of the second device are of the same type, the hardware configuration, particularly the configuration of the inference engine 17 is the same. In this case, the second device can use the inference model created for the first device as it is. information).

本実施の形態においては、第2装置のハードウェア構成と第1装置のハードウェア構成とが相違し、第1装置用に作成した推論モデルを第2装置においてそのまま利用することができない場合には、制御部21は、処理をステップS40からステップS51に移行して、基本推論モデル作成時と同様の処理を行う。この場合には、基本推論モデル作成時に用いた学習元画像は、既に推論モデル及びユーザデータ記録部35に記録されているので、制御部21は、推論モデル及びユーザデータ記録部35から読み出した画像を元に、ステップS55において教師データを作成する。他の処理は基本推論モデル作成時と同様である。こうして、ステップS55において、基本推論モデルを第2装置のハードウェア構成に応じて適応した推論モデル(適応推論モデル)が生成される。この適応推論モデルが、ステップS59において、第2装置の撮像装置10に送信される。 In this embodiment, if the hardware configuration of the second device and the hardware configuration of the first device are different and the inference model created for the first device cannot be used as it is in the second device, , the control unit 21 shifts the process from step S40 to step S51, and performs the same process as when creating the basic inference model. In this case, since the learning source image used when creating the basic inference model is already recorded in the inference model and user data recording unit 35, the control unit 21 reads the image read from the inference model and user data recording unit 35. Based on this, teacher data is created in step S55. Other processing is the same as when creating the basic inference model. Thus, in step S55, an inference model (adaptive inference model) is generated by adapting the basic inference model according to the hardware configuration of the second device. This adaptive reasoning model is sent to the imaging device 10 of the second device in step S59.

なお、例えば、第1装置が上位機種で、第2装置が下位機種で合った場合には、ハードウェアの制限から、適応推論モデルは、第2機種において必要な仕様を満足しない場合等が考えられる。例えば、応答時間の要求を満足しない場合も考えられる。そこで、このような場合には、推論モデルの信頼性に関する情報を付加したAI情報を第2装置に送信するようになっていてもよい。これに応じて、第2装置は、推論モデルの利用時に応答性等の制限に関するコメントを表示するようにしてもよい。 For example, if the first device is a high-end model and the second device is a low-end model, the adaptive inference model may not satisfy the specifications required for the second model due to hardware limitations. be done. For example, it is conceivable that the response time requirements may not be met. Therefore, in such a case, AI information to which information on the reliability of the inference model is added may be transmitted to the second device. In response, the second device may display comments regarding limitations such as responsiveness when using the inference model.

第2装置の撮像装置10は、ステップS27において、基本推論モデル又は適応推論モデルを取得して推論エンジン17を設定する。こうして、ネットワーク17aにより基本推論モデル又は適応推論モデルが構築される。この時、要求仕様をすべて満たすモデルが得られるとは限らず、スピードや精度など性能が不十分である場合は、当初の要求が満たせなかったという情報を同時に受け取ってもよい。このように第2の装置用の第2推論モデルが当初の要求仕様を満たしたかどうかの情報を同時に生成して、上記第2装置に送信可能とすることによって、ユーザに使う時の注意点にしてもらうことが出来る。 The imaging device 10 of the second device acquires the basic inference model or the adaptive inference model and sets the inference engine 17 in step S27. Thus, a basic inference model or an adaptive inference model is constructed by the network 17a. At this time, it is not always possible to obtain a model that satisfies all the required specifications, and if performance such as speed and accuracy is insufficient, information may be received at the same time that the initial requirements could not be met. In this way, by simultaneously generating information as to whether the second inference model for the second device satisfies the initial required specifications and making it possible to transmit the information to the second device, it is possible for the user to be careful when using the model. You can get it.

次に、適応推論モデルの利用時の動作について説明する。 Next, the operation when using the adaptive inference model will be described.

いま、第2装置の撮像装置10に設定された適応推論モデルが、第1装置による図11の撮像画像62又はこれに類似する画像を教師データとして作成された基本推論モデルに基づいて作成されたものであるものとする。この場合において、ユーザ71が、第2装置である撮像装置10を用いて、被写体である猫を撮影するものとする。なお、以下の説明は、基本推論モデルが設定された第1装置の撮像装置10における動作と同様である。 Now, the adaptive inference model set in the imaging device 10 of the second device is created based on the basic inference model created using the captured image 62 of FIG. 11 by the first device or an image similar thereto as teacher data. shall be a thing. In this case, it is assumed that the user 71 uses the imaging device 10, which is the second device, to photograph the subject, the cat. Note that the following description is the same as the operation of the imaging device 10 of the first device in which the basic inference model is set.

図8のステップS1において、制御部11は、撮影モードが指定されているものと判定すると、ステップS2において、撮像画像を取り込む(画像入力)。撮像部12からの撮像画像は制御部11に与えられると共に、推論エンジン17にも与えられる。表示制御部11fは、撮像部12からの撮像画像を表示部14に与えてライブビュー画像を表示させる。ユーザ71は、撮影操作を行う前に、構図等の設定のために、撮像装置10を把持して、表示部14の表示画面14a上のライブビュー画像を見ながら、被写体を視野範囲に捉えた状態を維持する。 In step S1 of FIG. 8, when the control unit 11 determines that the photographing mode is designated, in step S2, a captured image is captured (image input). A captured image from the imaging unit 12 is provided to the control unit 11 and also to the inference engine 17 . The display control unit 11f gives the captured image from the imaging unit 12 to the display unit 14 to display a live view image. The user 71 holds the imaging device 10 in order to set the composition, etc., and captures the subject within the visual field range while viewing the live view image on the display screen 14a of the display unit 14 before performing the photographing operation. maintain state.

図13はこの場合に表示画面14a上に表示されるライブビュー画像を示している。即ち、図13の例は、ユーザ71がブロック塀上の猫の撮影を試みる状態において、時間の経過と共に順次撮像されてライブビュー表示される画像のうちの画像P21~P25を示している。画像P21は、比較的広い範囲を撮像して得られたものであり、ブロック塀の画像P21a及びブロック塀上の猫の画像P21bを含む。ユーザ71は、視野範囲内に主に猫のみが撮影されるように、ズーム操作を行うものとする。画像P22以降の画像はこの状態でのライブビュー画像を示している。 FIG. 13 shows a live view image displayed on the display screen 14a in this case. That is, the example of FIG. 13 shows images P21 to P25 among the images sequentially captured over time and displayed in live view while the user 71 is attempting to capture a cat on a block wall. The image P21 is obtained by imaging a relatively wide range, and includes an image P21a of a block wall and an image P21b of a cat on the block wall. It is assumed that the user 71 performs a zoom operation so that mainly only the cat is photographed within the range of field of view. Images after the image P22 show live view images in this state.

推論エンジン17は、ライブビュー画像中に推論対象が存在するか否か、その推論対象の推論が可能であるか否かを判定し、判定結果を制御部11に出力する(ステップS3,S4)。推論が可能である場合には、ステップS5において、制御部11の表示制御部11fは、推論エンジン17を動作させて猫の画像の検出を行っていることを示す「AI推論」の発動表示P22aを表示画面14a上に表示させる。なお、画像P22は左隅に猫の画像P22bを含む。ここで、後述のS27で得ることとなる推論モデルの性能の限界の情報などを表示してもよい。高速で推論が出来ないような推論モデルであれば、高速移動の対象物には使わないでおくといった工夫ができるようにする。 The inference engine 17 determines whether or not an inference target exists in the live view image and whether or not the inference target can be inferred, and outputs the determination result to the control unit 11 (steps S3 and S4). . If inference is possible, in step S5, the display control unit 11f of the control unit 11 operates the inference engine 17 to display an activation display P22a of "AI inference" indicating that the image of the cat is being detected. is displayed on the display screen 14a. Note that the image P22 includes a cat image P22b in the left corner. Here, information such as the performance limit information of the inference model that will be obtained in S27, which will be described later, may be displayed. If it is an inference model that cannot be inferred at high speed, it should be devised so that it is not used for objects that move at high speed.

推論エンジン17は、推論を行い、推論結果を信頼性の情報と共に制御部11に出力する。制御部11は、推論エンジン17から所定の閾値よりも高い信頼性の推論結果が与えられるか否かを判定する(ステップS6)。所定の閾値よりも高い信頼性の推論結果が得られない場合には、処理をステップS8に移行し、所定の閾値よりも高い信頼性の推論結果が得られた場合には、処理をステップS9に移行して推論結果を表示する。 The inference engine 17 makes an inference and outputs the inference result to the control unit 11 together with reliability information. The control unit 11 determines whether or not the inference engine 17 provides an inference result with reliability higher than a predetermined threshold (step S6). If an inference result with reliability higher than the predetermined threshold is not obtained, the process proceeds to step S8, and if an inference result with reliability higher than the predetermined threshold is obtained, the process proceeds to step S9. to view the inference results.

画像P23は、猫の画像P23bが画像P23の中央に位置する。また、画像P24も、猫の画像P24bが画像P24の中央に位置する。推論エンジン17は、猫の画像部分のサイズや画像中の位置や、全体の構図等により、シャッタチャンスが近づいているものと判定し、そのことを示す情報を制御部11に出力する。制御部11は、この情報を受信すると、表示制御部11fによって、シャッタチャンスが近づいていることを示す「注意」の文字による注意表示P23a,P23bを表示する。 In the image P23, the image P23b of the cat is positioned in the center of the image P23. Also, in the image P24, the image P24b of the cat is positioned in the center of the image P24. The inference engine 17 determines that a photo opportunity is approaching based on the size of the image portion of the cat, the position in the image, the overall composition, etc., and outputs information indicating this to the control unit 11 . When receiving this information, the control unit 11 causes the display control unit 11f to display warning displays P23a and P23b using characters of "caution" indicating that a photo opportunity is approaching.

画像P25は中央に猫の画像P25bを含む。猫の画像P25bは、猫が撮像装置10側を向いて、猫の顔を正面から撮像したものである。推論エンジン17は、このときの猫の画像は、図11の撮像画像62に類似していると判定し、信頼性の情報と共に、推論結果であるシャッタチャンスであることを示す情報を制御部11に出力する(ステップS7)。これにより、制御部11は「チャンス」の文字により、シャッタチャンスであることを示す表示P25aを表示画面14a上に表示させる。 Image P25 includes cat image P25b in the center. The image P25b of the cat is an image of the cat's face taken from the front with the cat facing the imaging device 10 side. The inference engine 17 determines that the cat image at this time is similar to the captured image 62 of FIG. (step S7). As a result, the control unit 11 causes the display screen 14a to display a display P25a indicating that it is a photo opportunity using the characters "chance".

こうして、ユーザ71は、第1装置の撮像によって得られた基本推論モデルを第2装置用に適応した適応推論モデルを用いて、第1装置のユーザが撮影して得た写りのよい画像に類似した画像を得るシャッタチャンスを容易に認識することが可能である。なお、第1装置において、基本推論モデルを用いた撮影時においても、上記説明と同様の動作が行われる。 In this way, the user 71 uses the adaptive inference model obtained by adapting the basic inference model obtained by the imaging of the first device to the second device to obtain an image similar to the good-looking image obtained by the user of the first device. Therefore, it is possible to easily recognize a shutter chance to obtain a sharp image. In addition, in the first device, the same operation as described above is performed even when photographing using the basic inference model.

制御部11は、ステップS8において、動画撮影操作又は静止画撮影操作が行われたか否かを判定する。これらの操作が行われた場合には、撮影や記録を行う(ステップS9)。なお、動画撮影時には、動画撮影の終了操作によって、撮像画像がファイル化される。撮影操作が行われていない場合には、制御部11は処理をステップS1に戻す。 In step S8, the control unit 11 determines whether or not a moving image shooting operation or a still image shooting operation has been performed. When these operations are performed, shooting and recording are performed (step S9). It should be noted that, at the time of moving image shooting, the captured image is made into a file by the end operation of moving image shooting. If the shooting operation has not been performed, the control unit 11 returns the process to step S1.

制御部11は、ステップS10において、ユーザが撮像画像を教師データに反映させる操作を行ったか否かを判定する。この操作が行われた場合には、制御部11は、撮像画像を画像データ記録領域16aから学習依頼データ記録領域16c中の「フォルダ1」内に移動又はコピーする。 In step S10, the control unit 11 determines whether or not the user has performed an operation to reflect the captured image in the teacher data. When this operation is performed, the control unit 11 moves or copies the captured image from the image data recording area 16a to the "folder 1" in the learning request data recording area 16c.

なお、図13では、推論結果としてシャッタチャンスになったことを示す表示を行う例を説明したが、推論結果として、撮影パラメータ等を制御部11に与えて、撮像制御部11aによる推論結果に基づく撮影パラメータを与えて自動的に撮影を行うことも可能である。この場合には、ユーザは被写体を視野範囲に捉えた状態で構えるだけで、基本推論モデル又は適応推論モデルによる推論に従って、写りの良い画像を自動的に撮影して記録することが可能である。 Note that FIG. 13 illustrates an example in which an inference result indicating that a photo opportunity has been reached is displayed. It is also possible to automatically perform photographing by giving photographing parameters. In this case, the user can automatically capture and record a good image according to inference from the basic inference model or the adaptive inference model simply by holding the subject in the field of view.

なお、ユーザ71が操作する端末73のブラウザ画面において、画像投稿モードが指定されると、展示処理部27は、図9のステップS33から処理をステップS34に移行して、端末73から送信された画像を受信して整理し、記録を行う。また、ブラウザ画面において、画像観賞モードが指定されると、展示処理部27は、ステップS35から処理をステップS36に移行して、端末73から送信されたキーワード等に基づく画像(関連画像)をブラウザ画面上に表示させる。また、展示処理部27は、ステップS37において、人気投票画面を表示する。この人気投票画面によって選択された画像には、選択数順に順位が与えられ、順位に応じた表示を行うこともできる。また、人気投票画面によって選択された画像が推論モデルを用いて生成された画像である場合には、使用された推論モデルについての順位が付与され、順位に応じて図12の表示77dが行われる。 Note that when the image posting mode is designated on the browser screen of the terminal 73 operated by the user 71, the display processing unit 27 shifts the process from step S33 in FIG. Receive, organize, and record images. Further, when the image viewing mode is specified on the browser screen, the exhibition processing unit 27 shifts the process from step S35 to step S36, and displays images (related images) based on the keywords or the like transmitted from the terminal 73 in the browser. display on the screen. Further, the exhibition processing section 27 displays a popularity vote screen in step S37. The images selected on the popularity voting screen are ranked according to the number of selections, and the images can be displayed according to the ranking. Also, when the image selected by the popularity vote screen is an image generated using the inference model, the used inference model is ranked, and the display 77d of FIG. 12 is performed according to the ranking. .

このように本実施の形態においては、第1装置が教師データやテストデータの元となる学習元画像を学習装置に提供することで学習装置において基本推論モデルを作成し、作成した基本推論モデルを第1装置に提供する。更に、学習装置は、AI情報提供装置として機能し、第2装置から基本推論モデルの提供を依頼されると、第1装置が提供した学習元画像を利用して、基本推論モデルを第2装置のハードウェア構成等に応じて適応した適応推論モデルを作成して第2装置に提供する。こうして、例えば、あるユーザが撮像装置を用いて撮像して得た画像に基づいて作成された推論モデルを、他のユーザの他の撮像装置において利用可能にすることができる。また、推論モデルの提供を依頼するための学習依頼データは、学習依頼作成表示を利用して容易に作成することが可能である。また、第1装置は、教師データの元となる画像に意図的にアノテーションを付加する必要はなく、写りの良いと思われる画像を所定のフォルダに記録することで、教師データの元となる画像を学習装置に送信することができ、簡単な操作により推論モデルの提供のための依頼を行うことができる。 As described above, in the present embodiment, the first device provides the learning source image, which is the source of teacher data and test data, to the learning device to create a basic inference model, and the created basic inference model is used in the learning device. Provided to the first device. Furthermore, the learning device functions as an AI information providing device, and when requested by the second device to provide the basic inference model, the learning device uses the learning source image provided by the first device to provide the basic inference model to the second device. An adaptive inference model adapted according to the hardware configuration of is created and provided to the second device. In this way, for example, an inference model created based on an image captured by a user using an imaging device can be made available to other imaging devices of other users. Learning request data for requesting provision of an inference model can be easily created using the learning request creation display. In addition, the first device does not need to intentionally add annotations to the original image of the training data, and records the image that is considered to be good in a predetermined folder, so that the original image of the training data is recorded. can be sent to the learning device, and a request for provision of the inference model can be made by a simple operation.

例えば、昆虫の撮影では、深度合成を行うなど、写りのよい画像を得るための撮影の設定は比較的煩雑である。しかし、第1装置からの学習装置に提供される画像には、これらの撮影の設定情報も含めることも可能であり、第2装置のユーザは、適応推論モデルを利用することで、煩雑な設定操作を行うことなく、比較的容易に写りのよい昆虫の撮像画像を取得することができる。 For example, in photographing insects, photographing settings for obtaining a good image, such as focus stacking, are relatively complicated. However, the image provided to the learning device from the first device can also include these shooting setting information. It is possible to relatively easily acquire a captured image of an insect with good quality without performing any operation.

また、上記説明では、第1装置から学習装置に提供される学習元画像についてはDB装置に記録するものとして説明したが、この記録を行うことなく、適応推論モデルの作成時に第1装置から再度受信するようにしてもよい。 Further, in the above description, the learning source image provided from the first device to the learning device is recorded in the DB device. You may make it receive.

上記実施の形態においては、撮像のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラでもよく、さらに、携帯電話やスマートフォンなど携帯情報端末(PDA:Personal Digital Assist)等に内蔵されるカメラでも勿論構わない。 In the above embodiments, a digital camera was used as a device for imaging, but the camera may be a digital single-lens reflex camera, a compact digital camera, a video camera, a movie camera, or a mobile phone. A camera built in a personal digital assistant (PDA: Personal Digital Assist) such as a smart phone may be used.

更に、撮像のための機器としては、内視鏡、顕微鏡のような産業用、医療用の光学機器でもよく、監視カメラや車載用カメラ、据え置き型のカメラ、例えば、テレビジョン受信機やパーソナルコンピュータ等に取り付けられているカメラであってもよい。例えば、医療分野に適用した場合には、専門家にしか発見できない特徴ある細胞の画像等を素人によって検出することも可能である。例えば、専門家によって撮像されたIPS細胞やがん細胞等を教師データの元となる画像として学習装置に送信することで、IPS細胞やがん細胞等を容易に検出できる基本推論モデルの構築が可能であり、更に、この基本推論モデルから適応推論モデルを作成することで、専門家以外の素人が操作する第2装置においても、IPS細胞やがん細胞等を簡単に検出することが可能となる。 Furthermore, as equipment for imaging, industrial and medical optical equipment such as endoscopes and microscopes may be used. It may be a camera attached to a camera or the like. For example, when applied to the medical field, it is possible for an amateur to detect characteristic cell images that can only be found by specialists. For example, a basic inference model that can easily detect IPS cells, cancer cells, etc. can be constructed by sending images of IPS cells, cancer cells, etc. taken by experts to the learning device as images that are the basis of training data. Furthermore, by creating an adaptive inference model from this basic inference model, it is possible to easily detect IPS cells, cancer cells, etc. even in the second device operated by non-experts. Become.

本発明は、上記各実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記各実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。 The present invention is not limited to the above-described embodiments as they are, and can be embodied by modifying the constituent elements without departing from the scope of the present invention at the implementation stage. Also, various inventions can be formed by appropriate combinations of the plurality of constituent elements disclosed in the above embodiments. For example, some components of all components shown in the embodiments may be omitted. Furthermore, components across different embodiments may be combined as appropriate.

なお、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。また、これらの動作フローを構成する各ステップは、発明の本質に影響しない部分については、適宜省略も可能であることは言うまでもない。 Regarding the operation flow in the claims, the specification, and the drawings, even if explanations are made using "first," "next," etc. for the sake of convenience, it is essential to implement them in this order. does not mean Further, it goes without saying that each step constituting these operation flows can be appropriately omitted as long as it does not affect the essence of the invention.

なお、ここで説明した技術のうち、主にフローチャートで説明した制御に関しては、プログラムで設定可能であることが多く、記録媒体や記録部に収められる場合もある。この記録媒体、記録部への記録の仕方は、製品出荷時に記録してもよく、配布された記録媒体を利用してもよく、インターネットを介してダウンロードしたものでもよい。 It should be noted that, among the techniques described here, the control described mainly in the flow charts can often be set by a program, and may be stored in a recording medium or a recording unit. The method of recording in the recording medium and the recording unit may be recorded at the time of product shipment, using a distributed recording medium, or downloading via the Internet.

なお、実施例中で、「部」(セクションやユニット)として記載した部分は、専用の回路や、複数の汎用の回路を組み合わせて構成してもよく、必要に応じて、予めプログラムされたソフトウェアに従って動作を行うマイコン、CPUなどのプロセッサ、あるいはFPGAなどシーケンサを組み合わせて構成されてもよい。また、その制御の一部または全部を外部の装置が引き受けるような設計も可能で、この場合、有線や無線の通信回路が介在する。通信は、ブルートゥースやWiFi、電話回線などで行えばよく、USBなどで行っても良い。専用の回路、汎用の回路や制御部を一体としてASICとして構成してもよい。 It should be noted that, in the embodiments, portions described as "parts" (sections or units) may be configured by combining a dedicated circuit or a plurality of general-purpose circuits, and if necessary, pre-programmed software A processor such as a microcomputer, a CPU, or a sequencer such as an FPGA may be combined to operate according to the above. It is also possible to design a part or all of the control by an external device, in which case a wired or wireless communication circuit is interposed. Communication may be performed by Bluetooth, WiFi, telephone line, or the like, and may be performed by USB or the like. A dedicated circuit, a general-purpose circuit, and a control unit may be integrated into an ASIC.

10…撮像装置、11…制御部、11a…撮像制御部、11b…画像処理部、11c…記録制御部、11d…学習依頼情報生成部、11e…通信制御部、11f…表示制御部、11g…仕様設定部、12…撮像部、12a…撮像素子、12b…光学系、13…操作部、14…表示部、14a…表示画面、15,22,26,32…通信部、16…記録部、16a…画像データ記録領域、16b…仕様データ記録領域、16c…学習依頼データ記録領域、17…推論エンジン、17a…ネットワーク、20…学習装置、21…制御部、23…教師データ記録部、24…母集合作成部、24a…入力データ設定部、24b…出力項目設定部、25…入出力モデル化部、25a…仕様照合部、27…展示処理部、30…DB装置、31…制御部、33…画像分類記録部、34…対象物画像群、34a…教師データ、34b…テストデータ、35…推論モデル及びユーザデータ記録部。 DESCRIPTION OF SYMBOLS 10... Imaging apparatus 11... Control part 11a... Imaging control part 11b... Image processing part 11c... Recording control part 11d... Learning request information generation part 11e... Communication control part 11f... Display control part 11g... Specification setting unit 12 Imaging unit 12a Imaging element 12b Optical system 13 Operation unit 14 Display unit 14a Display screen 15, 22, 26, 32 Communication unit 16 Recording unit 16a... Image data recording area 16b... Specification data recording area 16c... Learning request data recording area 17... Inference engine 17a... Network 20... Learning device 21... Control unit 23... Teacher data recording unit 24... Mother set creation unit 24a Input data setting unit 24b Output item setting unit 25 Input/output modeling unit 25a Specification matching unit 27 Exhibition processing unit 30 DB device 31 Control unit 33 . . Image classification recording unit 34 .

Claims (13)

第1装置により取得された画像及び上記第1装置の第1推論エンジンに関する情報を含む第1学習依頼データが与えられ、上記画像に基づく教師データを用いた学習により上記第1装置の第1推論エンジンにおいて利用可能な第1推論モデルを作成する第1推論モデル作成部と、
第2装置の第2推論エンジンに関する情報を含む第2学習依頼データが与えられ、上記第1推論モデルを上記第2装置の第2推論エンジンに適応した第2推論モデルを作成する第2推論モデル作成部とを具備することを特徴とする学習装置。
First learning request data including information about an image acquired by a first device and a first inference engine of the first device is given, and a first inference of the first device is performed by learning using teacher data based on the image. a first inference model creation unit that creates a first inference model that can be used in the engine;
A second inference model for creating a second inference model by applying second learning request data including information about a second inference engine of a second device and adapting the first inference model to the second inference engine of the second device. A learning device, comprising: a creating unit.
上記第2推論モデル作成部は、上記第1装置により取得された画像に基づく教師データを用いた上記第2学習依頼データに応じた学習によって、上記第2推論モデルを作成することを特徴とする請求項に記載の学習装置。 The second inference model creation unit creates the second inference model by learning according to the second learning request data using teacher data based on the image acquired by the first device. A learning device according to claim 1 . 上記第1装置からの上記第1学習依頼データは、上記第1装置で撮像した画像に対する所定の評価情報を含むことを特徴とする請求項に記載の学習装置。 2. The learning device according to claim 1 , wherein said first learning request data from said first device includes predetermined evaluation information for an image taken by said first device. 上記第1推論モデル作成部は、上記第1学習依頼データに含まれる上記第1推論エンジンのハードウェア構成に応じた上記第1推論モデルを作成することを特徴とする請求項に記載の学習装置。 2. The learning according to claim 1 , wherein the first inference model creation unit creates the first inference model according to the hardware configuration of the first inference engine included in the first learning request data. Device. 上記第2推論モデル作成部は、上記第2学習依頼データに含まれる上記第2推論エンジンのハードウェア構成に応じた上記第2推論モデルを作成することを特徴とする請求項に記載の学習装置。 2. The learning according to claim 1 , wherein the second inference model creation unit creates the second inference model according to the hardware configuration of the second inference engine included in the second learning request data. Device. 上記第1推論モデル作成部は、作成した上記第1推論モデルと上記第1学習依頼データとを関連付けて記録し、
上記第2推論モデル作成部は、記録された上記第1学習依頼データ及び上記第2学習依頼データに含まれる上記第2推論エンジンのハードウェア構成に応じて上記第2推論モデルを作成することを特徴とする請求項に記載の学習装置。
The first inference model creation unit associates and records the created first inference model and the first learning request data,
The second inference model creation unit creates the second inference model according to the hardware configuration of the second inference engine included in the recorded first learning request data and the second learning request data. 2. A learning device according to claim 1 .
撮像部と、
推論エンジンと、
上記推論エンジンに用いる推論モデルの作成を依頼するためのデータであって、上記撮像部により撮像された画像のうちユーザが選択した画像及び上記推論エンジンに関する情報を含む第1学習依頼データ、又は上記推論エンジンに関する情報を含む第2学習依頼データを作成する学習依頼情報生成部と、
上記第1学習依頼データ又は第2学習依頼データを送信する通信部と、
上記ユーザが選択した画像を記録する記録領域を有する記録部と、を具備し、
上記学習依頼情報生成部は、上記記録領域から読み出した画像により上記第1学習依頼データを生成することを特徴とす撮像装置。
an imaging unit;
an inference engine;
Data for requesting creation of an inference model used in the inference engine, the first learning request data including an image selected by a user from among the images captured by the imaging unit and information about the inference engine; or a learning request information generation unit that creates second learning request data including information about the inference engine;
a communication unit that transmits the first learning request data or the second learning request data;
a recording unit having a recording area for recording the image selected by the user;
The imaging apparatus, wherein the learning request information generation unit generates the first learning request data from an image read from the recording area.
撮像装置と学習装置とにより構成される学習システムであって、
上記撮像装置は、
撮像部と、
推論エンジンと、
上記推論エンジンに用いる推論モデルの作成を依頼するためのデータであって、上記撮像部により撮像された画像のうちユーザが選択した画像及び上記推論エンジンに関する情報を含む第1学習依頼データ、又は上記推論エンジンに関する情報を含む第2学習依頼データを作成する学習依頼情報生成部と、
上記第1学習依頼データ又は第2学習依頼データを送信する通信部とを具備し、
上記学習装置は、
上記第1学習依頼データ又は第2学習依頼データを受信する通信部と、
上記第1学習依頼データが与えられ、上記画像に基づく教師データを用いた学習により上記第1学習依頼データに基づく推論エンジンにおいて利用可能な第1推論モデルを作成する第1推論モデル作成部と、
上記第2学習依頼データが与えられ、上記第1推論モデルを上記第2学習依頼データに基づく推論エンジンに適応させた第2推論モデルを作成する第2推論モデル作成部とを具備することを特徴とする学習システム。
A learning system comprising an imaging device and a learning device,
The imaging device is
an imaging unit;
an inference engine;
Data for requesting creation of an inference model used in the inference engine, the first learning request data including an image selected by a user from among the images captured by the imaging unit and information about the inference engine; or a learning request information generation unit that creates second learning request data including information about the inference engine;
A communication unit that transmits the first learning request data or the second learning request data,
The above learning device
a communication unit that receives the first learning request data or the second learning request data;
a first inference model creation unit that is given the first learning request data and creates a first inference model that can be used in an inference engine based on the first learning request data by learning using the image-based teacher data;
a second inference model creating unit that is given the second learning request data and creates a second inference model by adapting the first inference model to an inference engine based on the second learning request data. learning system.
上記第2推論モデル作成部は、上記第1学習依頼データに含まれる画像に基づく教師データを用い上記第2学習依頼データに応じた学習によって、上記第2推論モデルを作成することを特徴とする請求項に記載の学習システム。 The second inference model creation unit creates the second inference model by learning according to the second learning request data using teacher data based on the image included in the first learning request data. A learning system according to claim 8 . 第1装置により取得された画像及び上記第1装置の第1推論エンジンに関する情報を含む第1学習依頼データが与えられ、上記画像に基づく教師データを用いた学習により上記第1装置の第1推論エンジンにおいて利用可能な第1推論モデルを作成する第1推論モデル作成部と、
上記第1推論モデルに関する情報を展示する展示処理部と、
第2装置の第2推論エンジンに関する情報及び上記第1推論モデルの提供を要求する情報を含む第2学習依頼データが与えられ、上記第1推論モデルを上記第2装置の第2推論エンジンに適応した第2推論モデルを作成する第2推論モデル作成部と、
上記第1及び第2推論モデルをそれぞれ上記第1装置又は上記第2装置に送信する通信部とを具備することを特徴とするAI情報提供装置。
First learning request data including information about an image acquired by a first device and a first inference engine of the first device is given, and a first inference of the first device is performed by learning using teacher data based on the image. a first inference model creation unit that creates a first inference model that can be used in the engine;
a display processing unit that displays information about the first inference model;
Second learning request data including information about a second inference engine of a second device and information requesting provision of the first inference model is provided, and the first inference model is applied to the second inference engine of the second device. a second inference model creation unit that creates a second inference model that
and a communication unit that transmits the first and second inference models to the first device or the second device, respectively.
第1装置により取得された画像及び上記第1装置の第1推論エンジンに関する情報を含む第1学習依頼データが与えられ、上記画像に基づく教師データを用いた学習により上記第1装置の第1推論エンジンにおいて利用可能な第1推論モデルを作成し、
第2装置の第2推論エンジンに関する情報を含む第2学習依頼データが与えられ、上記第1推論モデルを上記第2装置の第2推論エンジンに適応した第2推論モデルを作成することを特徴とする学習方法。
First learning request data including information about an image acquired by a first device and a first inference engine of the first device is given, and a first inference of the first device is performed by learning using teacher data based on the image. making a first inference model available in the engine;
Second learning request data including information about a second inference engine of a second device is given, and a second inference model is created by adapting the first inference model to the second inference engine of the second device. How to learn.
上記第2推論モデルが当初の要求仕様を満たしたかどうかの情報を同時に生成して、上記第2装置に送信可能とする
ことを特徴とする請求項11に記載の学習方法。
12. The learning method according to claim 11 , wherein information as to whether the second inference model satisfies the initial required specifications is generated at the same time and can be transmitted to the second device.
コンピュータに、
第1装置により取得された画像及び上記第1装置の第1推論エンジンに関する情報を含む第1学習依頼データが与えられ、上記画像に基づく教師データを用いた学習により上記第1装置の第1推論エンジンにおいて利用可能な第1推論モデルを作成し、
第2装置の第2推論エンジンに関する情報を含む第2学習依頼データが与えられ、上記第1推論モデルを上記第2装置の第2推論エンジンに適応した第2推論モデルを作成する手順を実行させるための学習プログラム。
to the computer,
First learning request data including information about an image acquired by a first device and a first inference engine of the first device is given, and a first inference of the first device is performed by learning using teacher data based on the image. making a first inference model available in the engine;
Second learning request data including information about the second inference engine of the second device is given, and a procedure is executed to create a second inference model adapted to the second inference engine of the second device from the first inference model. study program for
JP2019068725A 2019-03-29 2019-03-29 Learning device, imaging device, learning system, AI information providing device, learning method and learning program Active JP7200030B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019068725A JP7200030B2 (en) 2019-03-29 2019-03-29 Learning device, imaging device, learning system, AI information providing device, learning method and learning program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019068725A JP7200030B2 (en) 2019-03-29 2019-03-29 Learning device, imaging device, learning system, AI information providing device, learning method and learning program

Publications (2)

Publication Number Publication Date
JP2020166744A JP2020166744A (en) 2020-10-08
JP7200030B2 true JP7200030B2 (en) 2023-01-06

Family

ID=72715244

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019068725A Active JP7200030B2 (en) 2019-03-29 2019-03-29 Learning device, imaging device, learning system, AI information providing device, learning method and learning program

Country Status (1)

Country Link
JP (1) JP7200030B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7555526B1 (en) * 2024-02-28 2024-09-24 三菱電機株式会社 Learning device, industrial system, inference device, learning method, and inference method

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013080428A (en) 2011-10-05 2013-05-02 Nikon Corp Program and information conversion device
JP2016058079A (en) 2014-09-04 2016-04-21 ゼロックス コーポレイションXerox Corporation Domain adaptation for image classification using class prior probability

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013080428A (en) 2011-10-05 2013-05-02 Nikon Corp Program and information conversion device
JP2016058079A (en) 2014-09-04 2016-04-21 ゼロックス コーポレイションXerox Corporation Domain adaptation for image classification using class prior probability

Also Published As

Publication number Publication date
JP2020166744A (en) 2020-10-08

Similar Documents

Publication Publication Date Title
JP6431231B1 (en) Imaging system, learning apparatus, and imaging apparatus
US8726324B2 (en) Method for identifying image capture opportunities using a selected expert photo agent
JP7064346B2 (en) Image pickup device, information terminal, control method of image pickup device, and control method of information terminal
US11281940B2 (en) Image file generating device and image file generating method
JP2019211969A (en) Learning management device, learning management server, and learning management method
JP2021515347A (en) Neural network model training, time-lapse video generation methods and equipment
CN109495681A (en) The method and apparatus for obtaining image
US11436470B2 (en) Generating simulated image training data
Yang et al. Personalized exposure control using adaptive metering and reinforcement learning
JP2019146022A (en) Imaging device and imaging method
KR20090083594A (en) Apparatus and method for learning photography profile of digital imaging equipment for personal lifetime recording
US20200412982A1 (en) Laminated image pickup device, image pickup apparatus, image pickup method, and recording medium recorded with image pickup program
CN110581950B (en) Camera, system and method for selecting camera settings
CN113989387A (en) Camera shooting parameter adjustment method, device and electronic device
JP7200030B2 (en) Learning device, imaging device, learning system, AI information providing device, learning method and learning program
CN114424518A (en) Information processing device, electronic apparatus, terminal device, information processing system, information processing method, and program
JP7152244B2 (en) LEARNING DEVICE, LEARNING METHOD AND PROGRAM
JP2019153874A (en) Information recording device, image recording device, operation auxiliary device, operation auxiliary system, information recording method, image recording method, and operation auxiliary method
CN109151300A (en) camera system
JP7166951B2 (en) Learning request device, learning device, inference model utilization device, inference model utilization method, inference model utilization program, and imaging device
JP2020137050A (en) Imaging device, imaging method, imaging program, and learning device
JP2008078836A (en) Camera, blog search system, and program
JP2019191933A (en) Learning device, imaging device, image processing device, and learning method
JP2020194472A (en) Server, display method, creation method, and program
JP2020005190A (en) Imaging apparatus, control method and program of imaging apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210714

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220622

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220628

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220727

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221221

R151 Written notification of patent or utility model registration

Ref document number: 7200030

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151