[go: up one dir, main page]

WO2022107330A1 - 状態判定装置、状態判定システム、状態判定方法、及び、記録媒体 - Google Patents

状態判定装置、状態判定システム、状態判定方法、及び、記録媒体 Download PDF

Info

Publication number
WO2022107330A1
WO2022107330A1 PCT/JP2020/043471 JP2020043471W WO2022107330A1 WO 2022107330 A1 WO2022107330 A1 WO 2022107330A1 JP 2020043471 W JP2020043471 W JP 2020043471W WO 2022107330 A1 WO2022107330 A1 WO 2022107330A1
Authority
WO
WIPO (PCT)
Prior art keywords
road
state
determination
state determination
image
Prior art date
Application number
PCT/JP2020/043471
Other languages
English (en)
French (fr)
Inventor
奈々 十文字
学 中野
千里 菅原
洋介 木村
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to PCT/JP2020/043471 priority Critical patent/WO2022107330A1/ja
Priority to JP2022563539A priority patent/JPWO2022107330A5/ja
Priority to US18/036,354 priority patent/US20230419687A1/en
Publication of WO2022107330A1 publication Critical patent/WO2022107330A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles

Definitions

  • the present invention relates to the processing of information related to the road, and particularly to the determination of the state of the road.
  • Patent Document 1 In local governments, etc., managing the roads that are in charge requires a lot of labor and cost. Therefore, a device for collecting road information has been proposed (see, for example, Patent Document 1).
  • the road measuring device described in Patent Document 1 determines the degree of deterioration of the road using image data of the surface of the road, and outputs a map in which the degree of deterioration and the presented value of the reward are mapped.
  • the road measuring device described in Patent Document 1 uses a determination model in which image data is input for determining deterioration. This judgment model is constructed by a machine learning method.
  • the image of the road was taken outdoors, and it was taken in various weather and time. Therefore, the captured image is an image captured under various shooting conditions.
  • the judgment model executes learning before judgment.
  • a judgment model learned using an image in fine weather can appropriately judge an image in fine weather.
  • the determination model learned using the image in fine weather cannot always appropriately determine the image taken in cloudy weather and rainy weather.
  • the judgment model learned using images of multiple weather conditions such as sunny weather, cloudy weather, and rainy weather can be judged with a certain degree of accuracy for the images in each weather.
  • Patent Document 1 uses one determination model. Therefore, the technique described in Patent Document 1 has a problem that it is difficult to improve the accuracy of determining the state of the road.
  • An object of the present invention is to provide a state determination device or the like that solves the above-mentioned problems and improves the accuracy of state determination regarding a road.
  • the state determination device which is one embodiment of the present invention, is Multiple judgment models learned using teacher data in which at least one of the state of a moving object equipped with a photographing device for acquiring an image of a road, the state of a road, and the external environment is different, Includes an output summing means that sums the outputs from multiple decision models for the input road image.
  • the state determination system in one embodiment of the present invention is with the above state judgment device, An imaging device that acquires an image to be judged and outputs the image to a state judgment device, and / or a storage device that stores the image to be judged. Includes a display device that displays the road status output by the status determination device.
  • the state determination method in one embodiment of the present invention is A state judgment device including a plurality of judgment models learned using teacher data in which at least one of the state of a moving object, the state of the road, and the external environment, which is equipped with a photographing device for acquiring an image of the road, is different. , Add up the outputs from multiple judgment models for the input road image.
  • the state determination method in one embodiment of the present invention is The state determination device executes the state determination method described above, and the state determination device executes the method.
  • the photographing device acquires the image to be judged and outputs it to the state judgment device, and / or the storage device saves the image to be judged.
  • the display device displays the state of the road output by the state determination device.
  • the recording medium in one embodiment of the present invention is A computer containing multiple decision models, each trained using different teacher data for at least one of the condition of a moving object, the condition of the road, and the external environment equipped with a photographing device that acquires an image of the road. Record a program that executes the process of adding up the outputs from multiple judgment models for the input road image.
  • FIG. 1 is a block diagram showing an example of the configuration of the state determination device according to the first embodiment.
  • FIG. 2 is a diagram showing an example of weight.
  • FIG. 3 is a flow chart showing an example of the operation of the learning phase of the determination model.
  • FIG. 4 is a flow chart showing an example of the operation of the determination phase of the state determination device according to the first embodiment.
  • FIG. 5 is a block diagram showing an example of the hardware configuration of the state determination device.
  • FIG. 6 is a block diagram showing an example of the configuration of a state determination system including the state determination device according to the first embodiment.
  • FIG. 7 is a block diagram showing an example of the configuration of the state determination device according to the second embodiment.
  • FIG. 1 is a block diagram showing an example of the configuration of the state determination device according to the first embodiment.
  • FIG. 2 is a diagram showing an example of weight.
  • FIG. 3 is a flow chart showing an example of the operation of the learning phase of the determination model.
  • FIG. 4 is a
  • FIG. 8 is a flow chart showing an example of the operation of the determination phase of the state determination device according to the second embodiment.
  • FIG. 9 is a block diagram showing an example of the configuration of the state determination device according to the third embodiment.
  • FIG. 10 is a flow chart showing an example of the operation of the learning phase of the weight determination unit according to the third embodiment.
  • FIG. 11 is a block diagram showing an example of the configuration of the state determination device according to the fourth embodiment.
  • FIG. 12 is a flow chart showing an example of the operation of the learning phase of the weight determination unit according to the fourth embodiment.
  • FIG. 13 is a block diagram showing an example of the configuration of a state determination system including the state determination device according to the fourth embodiment.
  • FIG. 14 is a block diagram showing an example of the configuration of the state determination device according to the fifth embodiment.
  • FIG. 15 is a diagram showing an example of a case where a plurality of drive recorders are used as a photographing device.
  • FIG. 16 is a diagram showing an example of display.
  • FIG. 17 is a diagram showing an example of display of a plurality of states.
  • a “moving body” is a moving body equipped with a photographing device that captures an image of a road.
  • the moving body is arbitrary.
  • the moving body may be a vehicle (four-wheeled vehicle or two-wheeled vehicle) equipped with a photographing device, or a drone.
  • the moving body may be a person who moves while holding the photographing device.
  • the "moving body state” is the state or characteristic of the moving body related to the captured image.
  • the vehicle model equipped with the photographing device is an example of the characteristics of the moving body.
  • a two-wheeled vehicle has a larger change in the inclination of the vehicle body than a four-wheeled vehicle. Therefore, the number of wheels is an example of the characteristics of a moving body.
  • the moving object when the moving object is moving at high speed, the object in the captured image may become unclear (for example, motion blur may occur).
  • the determination using such an image reduces the accuracy of the determination. That is, the speed of the moving body affects the state of the image used for the determination. As described above, the moving speed of the moving body is an example of the state of the moving body.
  • the acceleration and vibration of the moving object at the time of shooting affect the image to be shot. Therefore, the acceleration and vibration of the moving body are examples of the state of the moving body.
  • “Road” is not limited to roads through which vehicles and people pass, but also includes structures related to roads.
  • a “road” may include signs, white lines, guardrails, reflectors, traffic lights, and / or luminaires.
  • the "road” is not limited to a road through which vehicles and people pass, but may be a passage through which other objects pass.
  • the "road” may be a runway, a taxiway, and an apron through which an airplane travels.
  • the "road condition” is the condition of the road to be determined and the condition of the road that affects the determination.
  • the road conditions to be determined include deterioration of the road surface (cracks (vertical, horizontal, or hexagonal), ruts, and / or potholes, etc.), deterioration of the road surface seal, and Types of road degradation, such as fraying around the seal, may be used.
  • the condition of the road to be judged is not limited to the deterioration of the road surface.
  • the deterioration of the structure related to the road for example, the white line on the road surface and the blurring of the road marking and / or the damage of the sign
  • the condition of the road to be determined. good even if the deterioration of the structure related to the road (for example, the white line on the road surface and the blurring of the road marking and / or the damage of the sign) is determined as the condition of the road to be determined. good.
  • condition of the road to be judged is not limited to the deterioration of the road and the structures related to the road.
  • white lines and road markings on the road surface are constructed so that they can be seen as reflected at night. Therefore, in each embodiment, the state of reflection of the white line and the road marking may be determined as the state of the road to be determined.
  • each embodiment may determine the lighting state of the lighting installed on the road, the brightness of the lighting, or the illuminance of the road surface.
  • the classification of roads living roads, city roads, prefectural roads, national roads, expressways, etc.
  • the number of lanes affect the amount of vehicles traveling on the road surface. Therefore, in each embodiment, the road classification and the number of lanes may be used as the road conditions that affect the determination.
  • the type of pavement on the road, the shape of the pavement material, and the condition of the road surface affect the captured image. Therefore, in each embodiment, the type of pavement of the road, the shape of the material of the pavement, and the condition of the road surface may be used as the condition of the road that affects the determination.
  • the type of road pavement is asphalt, concrete, stone, brick, or gravel.
  • the type of pavement may include a pavement construction method such as drainage pavement.
  • the material of the pavement that affects the image is grain roughness and / or color.
  • the reflection in the image of the manhole differs between a sunny day and a rainy day.
  • the degree of wetness of the road surface due to rain changes the state of the captured image.
  • rainfall affects the size of the puddle that obscures the condition of the road surface.
  • the dryness and wetness of the road surface affects the image.
  • the processing of the surface of the road surface eg, a straight groove for drainage or a circular groove for non-slip on a slope
  • the dryness and wetness of the road surface and the processing of the surface affect the image. Therefore, in each embodiment, the dryness and wetness of the road surface and / or the processing of the surface may be used as the state of the road that affects the image.
  • the “external environment” is information that excludes the above-mentioned state of the moving body and the state of the road from the information that affects the judgment using the image of the road.
  • the shooting conditions for example, the time zone and weather of shooting the image (sunny, cloudy, rainy, after rain, and snow)
  • the external environment may include shooting conditions (for example, shooting time zone and weather).
  • the ambient sound at the time of shooting becomes loud when the road is congested.
  • Road congestion affects the progress of deterioration.
  • vibration sound the sound generated by the vibration during movement
  • the amount of rainfall affects the image to be taken.
  • the sound of rain in rainy weather is proportional to the amount of rainfall to some extent.
  • the external environment may include sounds (eg, ambient sounds, vibration sounds, or rain sounds).
  • the image quality and size of the image are one of the factors that influence the judgment.
  • the frame rate affects the image. Therefore, the external environment may include image specifications such as image quality, size, and frame rate.
  • the external environment is the structures installed around the road (eg, advertising signs, signs, trees around the road, and / or mid-to-high-rise buildings (buildings and bridges) installed on the side of the road). ) May be included.
  • the condition of moving objects, the condition of roads, and the external environment include many things. Therefore, the user or the like may appropriately select information to be used as the state of the moving object, the state of the road, and the external environment in consideration of the determination target.
  • the terms related to weather are as follows. However, these terms may differ from the strict meteorological terms.
  • the determination may be made in consideration of the effectiveness and convenience in operation as appropriate.
  • “Sunny weather” is the weather including “clear weather” with a cloud cover of 1 or less and “sunny” with a cloud cover of 2 or more and 8 or less.
  • Cloudy weather is the weather with cloud cover of 9 or more and no precipitation.
  • the amount of clouds is the ratio of clouds that cover the sky, and is an integer that is 0 when there are no clouds and 10 when the clouds cover the entire sky.
  • FIG. 1 is a block diagram showing an example of the configuration of the state determination device 10 according to the first embodiment.
  • the state determination device 10 includes a plurality of determination models 110, an output summing unit 120, and a state determination unit 130.
  • the number of determination models 110 included in the state determination device 10 is not particularly limited as long as it is a plurality.
  • the determination model 110 includes a model for determining the state of the road using the input image of the road. For example, the determination model 110 outputs the position of deterioration of the road and its score by using the image of the road.
  • the determination model 110 is a trained model that has been previously learned using artificial intelligence (AI) or machine learning.
  • AI artificial intelligence
  • the determination model 110 is a trained model in which the road condition is learned using the teacher data including the image of the road photographed and the correct answer label of the road condition by using a technique such as AI or machine learning. ..
  • the stage of learning a model (for example, the determination model 110) using the teacher data is referred to as a "learning phase”.
  • a learned model for example, determination model 110
  • the state of the road for example, the position and score of road deterioration
  • the determination result is output.
  • the stage is called the "judgment phase”.
  • the determination model 110 is a trained model in which the determination is learned in the learning phase before operating in the actual determination phase.
  • the determination model 110 may have a structure different from that of the other determination model 110.
  • at least a part of the determination model 110 may include a neural network having a structure different from that of other determination models 110.
  • all determination models 110 may have the same structure.
  • Each of the determination models 110 determines the road condition in the learning phase using teacher data containing images in which any one of the moving body condition, the road condition, and at least one of the external environments is different from each other. Be learned.
  • the teacher data may be in different states of the moving body.
  • the teacher data may differ from each other in road conditions.
  • the teacher data may have different external environments from each other.
  • the teacher data may differ from each other in any two of the state of the moving body, the state of the road, and the external environment.
  • the teacher data may be different from each other in the state of the moving object, the state of the road, and the external environment.
  • the points that the images are different may be different.
  • one teacher data may be different from other teacher data in the state of the moving object, and may be different from other teacher data in the state of the road.
  • the determination model 110 is a trained model learned using teacher data different from each other in this way.
  • each of the determination models 110 uses teacher data including images in which any one of the state of the moving body, the state of the road, and at least one of the external environments is different from each other as described above. , Learn to judge the condition of the road.
  • the determination of the road condition is learned by using the teacher data including the images in which the states of the moving objects are different. Then, in the learning phase, the other determination model 110 learns the determination of the road condition by using the teacher data including the images having different external environments.
  • a plurality of images including an image in which any one of the state of a moving object, the state of a road, and at least one of the external environments is different from each other as teacher data.
  • Prepare the teacher data of For example, each group in which the image prepared by the user as teacher data is divided into groups in which one of the state of the moving object, the state of the road, and at least the external environment is different from each other is labeled. It may be used as teacher data.
  • the part of the images included in the teacher data may be the same as the other images.
  • the amount of images used for teacher data may be the same for each group, and the amount of images of teacher data of at least some groups may be different from the amount of images of teacher data of other groups. ..
  • the state determination device 10 executes the learning phase of the determination model 110 so that each determination model 110 learns using different teacher data.
  • the learning timing of each determination model 110 is arbitrary.
  • the state determination device 10 may execute the learning of the determination model 110 continuously or in parallel.
  • the state determination device 10 may perform discrete learning on at least a part of the determination models 110.
  • a device different from the state determination device 10 may execute at least a part of the learning of the determination model 110.
  • the state determination device 10 may acquire the learned determination model 110 from another device (not shown) as at least a part of the determination model 110.
  • the state determination device 10 does not have to include the function of the learning phase.
  • state determination device 10 may execute additional learning for at least a part of the determination models 110.
  • the state determination device 10 is a plurality of determination models trained using teacher data including images in which any one of the state of the moving body, the state of the road, and at least one of the external environments is different from each other. Includes 110.
  • the determination model 110 is assumed to have been learned, except for the explanation of the learning phase in the determination model 110.
  • the determination model 110 determines the state of the road using the images of the input roads, and outputs and sums the determined road conditions, specifically, the deterioration of the road and its score. Output to unit 120.
  • the output summing unit 120 acquires outputs from a plurality of determination models 110. Then, the output summing unit 120 sums the outputs of the plurality of determination models 110 by using a predetermined method.
  • the output summing unit 120 may store weights for each output of the plurality of determination models 110 in advance, and add up the outputs of the determination model 110 using the stored weights.
  • the output summing unit 120 stores the weights for each determination model 110 in advance. Then, the determination model 110 outputs, for example, the position of deterioration of the road and its score by using AI for object detection. In this case, the output summing unit 120 outputs, as a result of the summing, the position of deterioration output by the determination model 110 and its score, multiplied by a weight for each of the determination models 110, and then added.
  • the output summing unit 120 may store a plurality of weights instead of one weight as the weight for each determination model 110.
  • the output summing unit 120 may store a plurality of weights (for example, weights for fine weather, cloudy weather, and rainy weather) corresponding to the state (for example, weather) at the time of shooting the image to be determined.
  • the state determination device 10 includes the following three models as the determination model 110.
  • Judgment model 110 (hereinafter referred to as “fine weather model”) learned using teacher data in fine weather
  • Judgment model 110 hereinafter referred to as “cloudy weather model”
  • Judgment model 110 (hereinafter referred to as “rainy weather model”) learned using teacher data in rainy weather.
  • the output summing unit 120 determines the weight using the cloud cover and the precipitation amount.
  • FIG. 2 is a diagram showing an example of weight.
  • the output summing unit 120 stores the weight shown in FIG. 2 in advance. Then, the output summing unit 120 sums the outputs of the determination model 110 as follows.
  • the output summing unit 120 acquires the amount of clouds and the amount of precipitation of the image to be determined. For example, the output summing unit 120 acquires the cloud cover and the precipitation amount from the source of the image to be determined.
  • the method of acquiring the amount of rainfall and the amount of precipitation in the output summing unit 120 is arbitrary.
  • the output summing unit 120 may acquire the shooting position and the shooting date and time of the image, and may acquire the cloud cover and the precipitation amount at the acquired position and date and time from a company or the like that provides the meteorological data.
  • the output summing unit 120 may estimate the amount of clouds and the amount of precipitation using the measurement data of the sensors mounted on the moving body (for example, the illuminance sensor and the humidity sensor).
  • the output summing unit 120 may apply a predetermined image analysis method to the image to be determined to estimate the amount of clouds and the amount of precipitation.
  • the output summing unit 120 is used as a weight for the determination model 110 from among the weights shown in FIG. 2 based on the cloud cover and the precipitation amount when the image to be determined is taken. Select a weight.
  • the column marked "-" in FIG. 2 indicates that it is not considered in the selection of weights. For example, when the cloud cover is 1 to 8, the output summing unit 120 determines the weight without considering the amount of precipitation. Further, the output summing unit 120 compares the amount of precipitation with a predetermined threshold value to determine the amount of precipitation.
  • the output summing unit 120 selects "0.7” as the weight for the sunny weather model, "0.3” as the weight for the cloudy weather model, and "0.0" as the weight for the rainy weather model. ..
  • the output summing unit 120 sums the outputs of the sunny weather model, the cloudy weather model, and the rainy weather model using the weight.
  • the output summing unit 120 sums the determination results of the plurality of determination models 110 using a predetermined method.
  • the weight "0.0" for the rainy weather model when the cloud cover is 6 means that the output of the rainy weather model is not used for the summation in the output summarizing unit 120. In this way, the output summing unit 120 does not have to sum the outputs of some of the determination models 110.
  • the output summing unit 120 calculates the value obtained by dividing the added value by the number of the determination models 110 (that is, the weighted average value) as the summing result. You may.
  • the output summing unit 120 may use a weight considering the accuracy of the determination model 110.
  • the output summing unit 120 sums the outputs (judgment results) of the plurality of determination models 110 by using a predetermined method.
  • the method of adding up the outputs is not limited to the above, and is arbitrary.
  • the user of the state determination device 10 may select a method of adding up the outputs based on his / her knowledge and the like.
  • the output summing unit 120 may output a position determined by the determination model 110 to be a deteriorated position as a result of the summing as a “deteriorated position”.
  • the output summing unit 120 may use the summing method learned using AI.
  • the output summing unit 120 outputs the summing result to the state determination unit 130.
  • the state determination unit 130 determines the state of the road in the image to be determined based on the result of the total in the output total unit 120.
  • Each determination model 110 determines the state of the road. Therefore, the result of the summation in the output summarization unit 120 is the determination of the state of the road. Therefore, the user of the state determination device 10 may use the result of the summation in the output summarization unit 120.
  • the road condition required by the user may be determined by using the summing result in addition to the summing result.
  • the determination model 110 outputs the position and type of deterioration
  • the result of the summation in the output summing unit 120 is the position and type of deterioration. Therefore, the user can grasp the position and type of deterioration.
  • the state determination unit 130 may determine the degree of deterioration (hereinafter referred to as "deterioration degree”) based on the output position and type of deterioration as the state of the road. In this way, the state determination unit 130 determines the state of the road using the result of the summation in the output summarization unit 120.
  • the method for determining the condition of the road in the condition determination unit 130 is arbitrary.
  • the state determination unit 130 may determine the state of the road by using a general image processing method.
  • the state determination unit 130 may include information acquired from the output totaling unit 120 (for example, the position and type of deterioration) in the state of the road to be output.
  • the state determination unit 130 outputs the state of the road, which is the result of the determination, to a predetermined device. For example, the state determination unit 130 outputs the determination result to a device that displays the state of the road.
  • the state determination unit 130 may store the state of the road, which is the result of the determination, in a predetermined storage device.
  • the state determination unit 130 may output an image used for the determination in addition to the state of the road.
  • the state determination device 10 may determine the state of the road by using a plurality of images (a plurality of still images or moving images) instead of one image.
  • FIG. 3 is a flow chart showing an example of the operation of the learning phase of the determination model 110.
  • the state determination device 10 has previously acquired a plurality of teacher data in which at least one of the state of the moving body, the state of the road, and the external environment, which is equipped with the photographing device for acquiring the image of the road, is different. ..
  • the state determination device 10 executes the following operations for all the determination models 110.
  • the state determination device 10 selects one determination model 110 from the unlearned determination model 110 (step S401).
  • the state determination device 10 selects one teacher data from the teacher data not used for learning (step S402).
  • the state determination device 10 executes learning of the selected determination model 110 using the selected teacher data (step S403).
  • the determination model 110 may use general machine learning as learning.
  • the state determination device 10 repeats the above operation until the unlearned determination model 110 disappears.
  • FIG. 4 is a flow chart showing an example of the operation of the determination phase of the state determination device 10 according to the first embodiment.
  • the determination model 110 has already been learned in the determination phase.
  • the state determination device 10 acquires an image of the road to be determined from a predetermined device (step S411). For example, the state determination device 10 acquires an image of a road taken by a photographing device (not shown). Alternatively, the state determination device 10 acquires an image of the road stored by a storage device (not shown).
  • each of the determination models 110 determines the state of the road using the image of the road (step S412). For example, the determination model 110 determines the deterioration of the road (for example, the position and type of deterioration), respectively. Then, the determination model 110 outputs the determination result to the output summing unit 120.
  • the output summing unit 120 sums the outputs (judgment results) of the determination model 110 (step S413). Then, the output summing unit 120 outputs the summed result to the state determination unit 130.
  • the state determination unit 130 determines the state of the road (for example, the degree of deterioration) using the total result in the output total unit 120 (step S414).
  • the state determination unit 130 outputs the state of the road (for example, the degree of deterioration) to a predetermined device (step S415).
  • the state determination unit 130 may include the total result (for example, the position and type of deterioration) of the output total unit 120 in the road condition.
  • the state determination device 10 can obtain the effect of improving the accuracy of the determination of the state related to the road.
  • the state determination device 10 includes a plurality of determination models 110 and an output summing unit 120.
  • the determination model 110 is a determination model learned by using teacher data in which at least one of the state of a moving body, the state of the road, and the external environment, which is equipped with a photographing device for acquiring an image of the road, is different.
  • the output summing unit 120 sums the outputs from the plurality of determination models for the input road image.
  • the state determination device 10 adds up the determination results of the plurality of determination models 110 that have executed learning using the teacher data in which the states of the moving objects are different from each other. Therefore, the state determination device 10 can improve the accuracy of determination for the input road image.
  • “Sunny” includes cloud cover up to 8.
  • “cloudy weather” has a cloud cover of 9 or more.
  • the actual cloud cover may be between 8 and 9 of the cloud cover. In such a case, it is assumed that the judgment corresponding to the actual cloud cover is performed by using the judgment result of both of the fine weather model and the cloudy weather model rather than using the judgment result.
  • the output summing unit 120 sums the judgment results of the plurality of determination models 110 by using a predetermined method (for example, weight). Therefore, the result of the summation of the output summarization unit 120 is a determination with higher accuracy than the determination of one model.
  • the state determination device 10 includes a state determination unit 130.
  • the state determination unit 130 determines and outputs the state of the road based on the result of the total in the output total unit 120. As a result, the state determination unit 130 determines the state of the road by using the result of adding up the determinations of the plurality of determination models 110, that is, the result with higher accuracy.
  • the state determination device 10 can improve the accuracy of the determination of the state related to the road as compared with the determination using one determination model.
  • the accuracy of each of the determination models 110 may differ. In such a case, the method of simply using any one of the plurality of determination models 110 for the determination cannot ensure the accuracy of the determination.
  • a device using any one of the models includes a sunny weather model, a cloudy weather model, and a rainy weather model. Then, it is assumed that the related device selects and determines the model according to the weather.
  • the accuracy of the rainy weather model is lower than the accuracy of the sunny weather model and the cloudy weather model.
  • the related device uses a rainy weather model for the rainy weather image. Therefore, the related device cannot ensure the accuracy of the determination in rainy weather.
  • the state determination device 10 includes an output totaling unit 120. Then, the output summing unit 120 may sum the outputs in consideration of the accuracy of the plurality of determination models 110. Therefore, even if the accuracy of some of the determination models 110 is low, the state determination device 10 can improve the accuracy of the determination by using the total result of the determinations of the other determination models 110.
  • Each component of the state determination device 10 may be configured by a hardware circuit.
  • each component may be configured by using a plurality of devices connected via a network.
  • the state determination device 10 may be configured by using cloud computing.
  • a plurality of components may be configured by one piece of hardware.
  • the state determination device 10 may be realized as a computer device including a Central Processing Unit (CPU), a Read Only Memory (ROM), and a Random Access Memory (RAM).
  • the state determination device 10 may be realized as a computer device including a network interface circuit (Network Interface Circuit (NIC)).
  • NIC Network Interface Circuit
  • FIG. 5 is a block diagram showing an example of the hardware configuration of the state determination device 10.
  • the state determination device 10 includes a CPU 610, a ROM 620, a RAM 630, a storage device 640, and a NIC 650, and constitutes a computer device.
  • the CPU 610 reads the program from the ROM 620 and / or the storage device 640. Then, the CPU 610 controls the RAM 630, the storage device 640, and the NIC 650 based on the read program. Then, the computer including the CPU 610 controls these configurations and realizes each function as the determination model 110, the output summing unit 120, and the state determination unit 130 shown in FIG.
  • the CPU 610 may use the RAM 630 or the storage device 640 as a temporary storage medium for the program when realizing each function.
  • the CPU 610 may read the program included in the recording medium 690 that stores the program so that it can be read by a computer by using a recording medium reading device (not shown).
  • the CPU 610 may receive a program from an external device (not shown) via the NIC 650, store the program in the RAM 630 or the storage device 640, and operate based on the stored program.
  • ROM 620 stores programs executed by CPU 610 and fixed data.
  • the ROM 620 is, for example, a Programmable-ROM (P-ROM) or a flash ROM.
  • the RAM 630 temporarily stores the program and data executed by the CPU 610.
  • the RAM 630 is, for example, a Dynamic-RAM (D-RAM).
  • D-RAM Dynamic-RAM
  • the storage device 640 stores data and programs stored in the state determination device 10 for a long period of time. Further, the storage device 640 may operate as a temporary storage device of the CPU 610.
  • the storage device 640 is, for example, a hard disk device, a magneto-optical disk device, a Solid State Drive (SSD), or a disk array device.
  • the ROM 620 and the storage device 640 are non-volatile recording media.
  • the RAM 630 is a volatile recording medium. Then, the CPU 610 can operate based on the program stored in the ROM 620, the storage device 640, or the RAM 630. That is, the CPU 610 can operate using a non-volatile recording medium or a volatile recording medium.
  • the NIC650 relays data exchange with an external device (for example, a source of an image for determination and an output destination device of a road condition) via a network.
  • the NIC650 is, for example, a Local Area Network (LAN) card. Further, the NIC650 is not limited to wired, and wireless may be used.
  • LAN Local Area Network
  • the state determination device 10 of FIG. 5 configured in this way can obtain the same effect as the state determination device 10 of FIG.
  • the reason is that the CPU 610 of the state determination device 10 of FIG. 5 can realize each function of the state determination device 10 of FIG. 1 based on the program.
  • FIG. 6 is a block diagram showing an example of the configuration of the state determination system 50 including the state determination device 10 according to the first embodiment.
  • the state determination system 50 includes a state determination device 10, a photographing device 20, and / or an image storage device 25, and a display device 30.
  • the photographing device 20 is mounted on the moving body to acquire teacher data and / or an image to be determined, and outputs the image to the state determination device 10. Alternatively, the photographing device 20 may acquire the teacher data and / or the image to be determined and store it in the image storage device 25.
  • the photographing device 20 is, for example, a camera or a drive recorder.
  • the number of photographing devices 20 may be one or a plurality.
  • FIG. 15 is a diagram showing an example of a case where a plurality of drive recorders 820 are used as a photographing device.
  • FIG. 15 shows a vehicle 810 as an example of a moving body.
  • the network 850 is a communication path to which the state determination device 10 is connected.
  • the wireless communication path 830 connects the drive recorder 820 and the wireless base station 840.
  • the radio base station 840 relays between the network 850 to which the state determination device 10 is connected and the radio communication path 830.
  • the vehicle 810 is equipped with a drive recorder 820 and travels on the road.
  • the drive recorder 820 is mounted on the vehicle 810 and captures an image of the road on which the mounted vehicle 810 travels. Note that FIG. 15 shows the drive recorder 820 adjacent to the outside of the vehicle 810 in order to make it easy to understand.
  • the drive recorder 820 transmits the captured image to the state determination device 10 via the wireless communication path 830, the wireless base station 840, and the network 850.
  • the wireless communication path 830, the wireless base station 840, and the network 850 are examples of communication paths between the drive recorder 820 and the state determination device 10.
  • the drive recorder 820 may be connected to the state determination device 10 by a device or route different from that shown in FIG.
  • the vehicle 810, drive recorder 820, wireless communication path 830, wireless base station 840, and network 850 are not particularly limited.
  • the state determination device 10 may be mounted on a moving body. In this case, the state determination device 10 may acquire an image for determination from the photographing device 20 directly or via a communication path in the moving body.
  • the image storage device 25 stores teacher data and / or an image to be determined. Then, the image storage device 25 outputs the teacher data and / or the image to be determined to the state determination device 10.
  • the image storage device 25 is, for example, a hard disk device, a magneto-optical disk device, an SSD, or a disk array device.
  • the image storage device 25 receives the teacher data and / or the image to be determined from the photographing device 20. However, the image storage device 25 may receive the teacher data and / or the image to be determined from a device (not shown) different from the photographing device 20.
  • the user may appropriately determine whether the state determination device 10 acquires the teacher data and the image to be determined from the photographing device 20 or the image storage device 25.
  • the state determination device 10 may acquire teacher data from the image storage device 25 and acquire the image to be determined from the photographing device 20.
  • the state determination device 10 operates as described above and executes the learning phase using the teacher data.
  • the state determination device 10 operates as described above, determines the state of the road using the image to be determined as the determination phase, and outputs the determined road condition.
  • the display device 30 displays the determination result (road condition) output by the status determination device 10.
  • the display device 30 is, for example, a liquid crystal display, an organic electroluminescence display, or an electronic paper.
  • the display on the display device 30 is arbitrary.
  • the user may display the road condition on the display device 30 as needed.
  • FIG. 16 is a diagram showing an example of display.
  • FIG. 16 shows the position of deterioration using a rectangular frame in the image of the road to be determined. Further, FIG. 16 highlights (hatched lines) the positions determined by the state determination device 10 as “high degree of deterioration”.
  • the display device 30 may collectively display the state of a plurality of roads instead of one as the display of the state of the road determined by the state determination device 10.
  • FIG. 17 is a diagram showing an example of display of a plurality of states.
  • FIG. 17 shows the portion of the road in a predetermined area where deterioration is determined by using an arrow. Further, in FIG. 17, the “large degree of deterioration” is highlighted (black). The direction of the arrow in FIG. 17 is the traveling direction of the vehicle on the road.
  • FIG. 7 is a block diagram showing an example of the configuration of the state determination device 11 according to the second embodiment.
  • the state determination device 11 includes a plurality of determination models 110, an output totaling unit 121, a state determination unit 130, and a weight determination unit 140.
  • the determination model 110 and the state determination unit 130 are the same as the determination model 110 and the state determination unit 130 of the first embodiment. Therefore, these detailed explanations will be omitted.
  • the state determination device 11 may be configured by using the computer shown in FIG. Alternatively, the state determination system 50 may include the state determination device 11 instead of the state determination device 10.
  • the output summing unit 121 sums up the determination results of the determination model 110 using the weights determined by the weight determination unit 140. For example, when the state determined by the determination model 110 is the deterioration position and the score, the output summing unit 121 uses the weight determined by the weight determination unit 140 to determine the deterioration position and the score output by the determination model 110. To add up.
  • the output summing unit 121 operates in the same manner as the output summing unit 120 of the first embodiment, except that the weight determined by the weight determining unit 140 is used.
  • the weight determination unit 140 determines the weight to be used when the output summing unit 121 sums the determination model 110 using the image to be determined.
  • the weight determination unit 140 stores in advance a mechanism for determining weights using an image (for example, an equation for calculating weights or a determinant).
  • the mechanism for determining the weight is referred to as a "weight determination formula".
  • the weight determination formula is not limited to a simple scalar formula.
  • the weight determination formula may be an equation, a vector formula, a determinant, a function, or a combination thereof.
  • the weight determination formula may include a function including a conditional statement.
  • the operation of the weight determination unit 140 will be described using a simple example.
  • Equation (1) is a weight determination equation representing the summation in the output summarization unit 121.
  • Y a 1 (p) X 1 (p) + a 2 (p) X 2 (p) + ... + an (p) X n ( p) ...
  • p is an image to be determined (specifically, for example, the value of the pixel of the image).
  • n is the number of determination models 110.
  • Y is the result of the summation.
  • the data format such as the variable of the equation (1) may be appropriately selected from a scalar, a vector, a matrix, a function, or a combination thereof.
  • the coefficient of the function ai (p) is an example of the parameter of the weight determination formula.
  • the weight determination unit 140 applies the image p to the function ai (p) to determine the weight. Further, the determination model 110 uses the image p to calculate "X i (p)" which is the result of the determination. Then, the output summing unit 120 is the result of summarizing using the weight ( ai (p)) determined by the weight determining unit 140 and the determination result (X i (p)) output by the determination model 110. Calculate "Y".
  • the weight determination formula is stored in the state determination device 11 in advance.
  • the configuration for storing the weight determination formula is arbitrary.
  • the state determination device 11 may store the weight determination formula in a storage unit (not shown).
  • the weight determination unit 140 acquires the weight determination formula stored by the storage unit, applies the image to the weight determination formula to determine the weight, and provides the determined weight to the output summing unit 121. do.
  • the weight determination unit 140 may store the weight determination formula.
  • the weight determination unit 140 may acquire the weight determination formula from a device that stores the weight determination formula (not shown) when the weight is determined.
  • the weight determination unit 140 may use a weight determination formula that has been learned in advance by using a predetermined method such as AI.
  • the weight determination unit 140 may use a weight determination formula in which a parameter (coefficient of ai (p)) is learned using predetermined teacher data for weight learning.
  • FIG. 8 is a flow chart showing an example of the operation of the determination phase of the state determination device 11 according to the second embodiment.
  • the determination model 110 has already been learned.
  • the state determination device 11 acquires an image of the road to be determined from a predetermined device (step S411). For example, the state determination device 11 may acquire an image of the road taken by the photographing device 20. Alternatively, the state determination device 11 may acquire an image of the road stored by the image storage device 25.
  • each of the determination models 110 determines the state of the road using the image of the road (step S412). For example, the determination model 110 determines the deterioration of the road (for example, the position and type of deterioration), respectively. Then, the determination model 110 outputs the determination result to the output summing unit 120.
  • the weight determination unit 140 determines the weight using the image (step S416).
  • the output summing unit 121 sums the outputs (judgment results) of the determination model 110 using the determined weights (step S417). Then, the output summing unit 121 outputs the summed result to the state determination unit 130.
  • the state determination unit 130 determines the state of the road using the total result in the output total unit 121 (step S414).
  • the state determination unit 130 outputs the state of the road (for example, the degree of deterioration) to a predetermined device (step S415).
  • the state determination unit 130 may include the total result (for example, the position and type of deterioration) of the output total unit 121 in the road condition.
  • the state determination device 11 according to the second embodiment can obtain the same effect as the state determination device 10 according to the first embodiment.
  • state determination device 11 can obtain the effect of further improving the accuracy of determination.
  • the weight determination unit 140 determines the weight used by the output summing unit 121 based on the image to be determined. That is, the weight determination unit 140 determines the weight corresponding to the image to be determined.
  • the output summing unit 121 sums the outputs of the determination model 110 using the weight corresponding to the image to be determined. That is, the output summing unit 121 can execute a more appropriate summing.
  • the state determination device 11 can further improve the accuracy of determining the state of the road.
  • FIG. 9 is a block diagram showing an example of the configuration of the state determination device 12 according to the third embodiment.
  • the state determination device 12 includes a plurality of determination models 110, an output totaling unit 121, a state determination unit 130, a weight determination unit 141, a loss calculation unit 150, and a parameter correction unit 160.
  • the state determination device 12 may be configured by using the computer shown in FIG. Alternatively, the state determination system 50 may include the state determination device 12 instead of the state determination devices 10 and 11.
  • the determination model 110 and the state determination unit 130 are the same as the determination model 110 and the state determination unit 130 of the first embodiment and the second embodiment. Further, the output summing unit 121 is the same as the output summing unit 121 of the second embodiment.
  • the loss calculation unit 150 and the parameter correction unit 160 operate in the weight learning phase in the weight determination unit 141. Further, the weight determination unit 141 operates in the same manner as the weight determination unit 140 except that the weight is learned in cooperation with the loss calculation unit 150 and the parameter correction unit 160.
  • the loss calculation unit 150 includes data indicating the correct answer to the teacher data for weight learning (for example, the position of deterioration in each image and its score, hereinafter referred to as “correct answer label”) and the result of summing up the output summing unit 121. Calculate the difference (loss).
  • the data indicating the correct answer is referred to as a "correct answer label”.
  • the loss calculated by the loss calculation unit 150 is referred to as “total loss” or "first loss”.
  • the configuration for saving the correct answer label is arbitrary.
  • the loss calculation unit 150 may store the correct answer label corresponding to the teacher data for weight learning in advance.
  • the state determination device 12 may store the correct answer label in a storage unit (not shown).
  • the loss calculation unit 150 may acquire the correct answer label from the device or configuration for storing the teacher data for weight learning in the loss calculation.
  • the parameter correction unit 160 corrects the parameters of the weight determination formula used by the weight determination unit 140 (for example, the coefficient of the function ai (p) of the equation (1)) based on the loss calculated by the loss calculation unit 150. ..
  • FIG. 10 is a flow chart showing an example of the operation of the learning phase of the weight determination unit 141 according to the third embodiment.
  • the weight determination unit 141 has a predetermined weight determination formula (for example, a weight determination formula in which the coefficient of the function ai (p) is a predetermined value) as an initial value of the weight before the operation of the learning phase. Is saved.
  • a predetermined weight determination formula for example, a weight determination formula in which the coefficient of the function ai (p) is a predetermined value
  • the state determination device 12 acquires an image as teacher data for weight learning (step S421).
  • the state determination device 12 selects one image from the teacher data for weight learning. Then, each of the plurality of determination models 110 determines the state of the road using the selected image (step S422). Then, the determination model 110 outputs the determination result to the output summing unit 121.
  • the weight determination unit 141 applies the selected image to the weight determination formula to determine the weight (step S423).
  • the output summing unit 121 sums the outputs of the determination model 110 using the weight determined by the weight determining unit 141 (step S424).
  • the loss calculation unit 150 calculates the loss (total loss) between the correct label and the total result of the output total unit 121 (step S425).
  • the parameter correction unit 160 corrects the parameters of the weight determination formula (for example, the coefficient of the function ai (p)) based on the loss (total loss) calculated by the loss calculation unit 150 (step S426).
  • the state determination device 12 determines whether or not learning is completed (step S427). Specifically, the state determination device 12 determines whether or not a predetermined end condition (for example, the loss value is smaller than the threshold value, the execution is performed a predetermined number of times, or the end of the teacher data for weight learning) is satisfied. do.
  • a predetermined end condition for example, the loss value is smaller than the threshold value, the execution is performed a predetermined number of times, or the end of the teacher data for weight learning
  • step S427 If the end condition is not satisfied (No in step S427), the state determination device 12 returns to step S422.
  • step S427 the state determination device 12 ends the learning phase.
  • the state determination device 12 learns the weight (for example, the parameter of the weight determination formula) determined by the weight determination unit 141 using the teacher data for weight learning.
  • the state determination device 12 operates in the same manner as the state determination device 11 of the second embodiment in the determination phase. That is, in the determination phase, the state determination device 12 determines the state of the road by using the determination model 110, the output summing unit 121, the state determination unit 130, and the weight determination unit 141.
  • the state determination device 12 acquires an image of the road to be determined from the predetermined device (step S411).
  • the determination model 110 outputs the state of the road using the image of the road (step S412).
  • the weight determination unit 141 applies a road image to the learned weight determination formula to determine the weight (step S416).
  • the output summing unit 121 sums the outputs of the determination model 110 using the determined weights (step S417).
  • the state determination unit 130 determines the state of the road using the total result (step S414).
  • the state determination unit 130 outputs the determination result (road condition) to a predetermined device (step S415).
  • the state determination device 12 according to the third embodiment can obtain the effect of further improving the accuracy of determination in addition to the effects of the first embodiment and the second embodiment.
  • the weight determination unit 141 learns weights using teacher data for weight learning in the learning phase. Then, the weight determination unit 141 determines the weight using the learned weight determination formula in the determination phase.
  • the output summing unit 121 sums the outputs of the determination model 110 using the determined weights. That is, the output summing unit 121 sums the outputs using the weights learned by using the teacher data for weight learning. Therefore, the output summing unit 121 can execute a more appropriate summing.
  • the state determination device 12 can further improve the accuracy of determining the state of the road.
  • FIG. 11 is a block diagram showing an example of the configuration of the state determination device 13 according to the fourth embodiment.
  • the state determination device 13 includes a plurality of determination models 110, an output summing unit 121, a state determination unit 130, a weight determination unit 142, a loss calculation unit 150, a parameter correction unit 161 and an external environment loss calculation unit 170. including.
  • the state determination device 13 may be configured by using the computer shown in FIG.
  • the determination model 110 and the state determination unit 130 are the same as the determination model 110 and the state determination unit 130 of the first embodiment to the third embodiment. Further, the output summing unit 121 is the same as the output summing unit 121 of the second embodiment and the third embodiment.
  • the loss calculation unit 150 is the same as the loss calculation unit 150 of the third embodiment.
  • the loss calculation unit 150, the parameter correction unit 161 and the external environment loss calculation unit 170 operate in the weight learning phase of the weight determination unit 142. Further, the weight determination unit 142 operates in the same manner as the weight determination unit 141, except for the operation of learning the weight in the learning phase.
  • the weight determination unit 142 determines the weight using the image of the teacher data for weight learning, similarly to the weight determination unit 141. Further, the weight determination unit 142 estimates the external environment using an image, and outputs the estimated external environment to the external environment loss calculation unit 170.
  • the weight determination unit 142 standardizes at least a part of the processing in the calculation of the weight and the estimation of the external environment.
  • the weight determination unit 142 may share the lower layer of the deep neural network and specialize the upper layer for weight calculation and estimation of the external environment. In this case, the weight determination unit 142 shares a part of the parameter for determining the weight and the parameter for estimating the external environment. In this case, the learning in the weight determination unit 142 is so-called multi-task learning.
  • the weight determination unit 142 uses a deep neural network in which a part is shared in the calculation of the weight and the estimation of the external environment, the weights for the determination model 110 learned using the similar external environment are similar. It tends to be a weight. As a result, the state determination device 13 can obtain the effect of stabilizing the learning in the weight determination unit 142.
  • the weight determination unit 142 may use different processes in the calculation of the weight and the estimation of the external environment.
  • the external environment loss calculation unit 170 acquires the external environment related to the image of the teacher data for weight learning.
  • the acquisition source of the external environment is arbitrary.
  • the external environment loss calculation unit 170 may acquire the external environment related to the image of the teacher data for weight learning from the provider of the teacher data for weight learning.
  • the external environment loss calculation unit 170 may acquire the external environment from a device (not shown) with reference to the teacher data for weight learning.
  • the external environmental loss calculation unit 170 may acquire meteorological data such as the weather from a company or the like that provides the meteorological data by referring to the shooting date and time and place of the image of the teacher data for weight learning.
  • the external environment loss calculation unit 170 calculates the difference (loss) between the acquired external environment and the external environment estimated by the weight determination unit 142.
  • the loss calculated by the external environment loss calculation unit 170 is referred to as “external environment loss” or “second loss”.
  • the external environment loss calculation unit 170 outputs the calculated loss (external environment loss) to the parameter correction unit 161.
  • the parameter correction unit 161 is used by the weight determination unit 142 to calculate the weight based on the loss (total loss) calculated by the loss calculation unit 150 and the loss (external environment loss) calculated by the external environment loss calculation unit 170. Correct the parameters of the weight determination formula.
  • FIG. 12 is a flow chart showing an example of the operation of the learning phase of the weight determination unit 142 according to the fourth embodiment.
  • the weight determination unit 142 saves a predetermined weight determination formula as an initial value of the weight before the operation of the learning phase.
  • steps S421 to S425 and S427 are the same operations as in FIG.
  • the state determination device 13 acquires an image as teacher data for weight learning (step S421).
  • the state determination device 13 selects one image from the teacher data for weight learning. Then, each of the plurality of determination models 110 determines the state of the road using the selected image (step S422). Then, the determination model 110 outputs the determination result to the output summing unit 121.
  • the weight determination unit 142 applies the selected image to the weight determination formula to determine the weight (step S423).
  • the output summing unit 121 sums the outputs of the determination model 110 using the weight determined by the weight determining unit 141 (step S424).
  • the loss calculation unit 150 calculates the loss (total loss) between the correct label and the total result of the output total unit 121 (step S425).
  • the weight determination unit 142 estimates the environment using the image (step S431).
  • the external environment loss calculation unit 170 calculates the external environment loss (step S432).
  • the parameter correction unit 161 is used by the weight determination unit 142 to calculate the weight based on the loss (total loss) calculated by the loss calculation unit 150 and the loss (external environment loss) calculated by the external environment loss calculation unit 170.
  • the parameter of the weight determination formula is modified (step S433).
  • the state determination device 13 determines whether or not learning is completed (step S427). Specifically, the state determination device 13 satisfies a predetermined end condition (for example, the value of either loss or both losses is smaller than the threshold value, the execution is performed a predetermined number of times, or the end of the teacher data for weight learning). Determine if you are satisfied.
  • a predetermined end condition for example, the value of either loss or both losses is smaller than the threshold value, the execution is performed a predetermined number of times, or the end of the teacher data for weight learning.
  • step S427 If the end condition is not satisfied (No in step S427), the state determination device 13 returns to step S422.
  • step S427 the state determination device 13 ends the learning phase.
  • state determination device 13 may change the order of execution of the operations from steps S422 to S425 and the operations from S431 to S432.
  • the state determination device 13 may execute at least a part of the operations from steps S422 to S425 and the operations from S431 to S432 in parallel.
  • the state determination device 13 learns the weight determined by the weight determination unit 142 by using the teacher data for weight learning and the external environment.
  • the state determination device 13 operates in the same manner as the state determination device 11 of the second embodiment and the state determination device 12 of the third embodiment. That is, in the determination phase, the state determination device 13 determines the state of the road by using the determination model 110, the output summing unit 121, the state determination unit 130, and the weight determination unit 142.
  • the state determination device 13 acquires an image of the road to be determined from the predetermined device (step S411).
  • the determination model 110 outputs the state of the road using the image of the road (step S412).
  • the weight determination unit 142 applies a road image to the learned weight determination formula to determine the weight (step S412).
  • the output summing unit 121 sums the outputs of the determination model 110 using the determined weights (step S417).
  • the state determination unit 130 determines the state of the road using the total result (discard S414).
  • the state determination unit 130 outputs the determination result (road condition) to a predetermined device (step S415).
  • the state determination device 13 according to the fourth embodiment can obtain the effect of further improving the accuracy of determination in addition to the effects of the first embodiment to the third embodiment.
  • the weight determination unit 142 learns the parameters of the weight determination formula using the external environment in addition to the teacher data for weight learning. Then, the weight determination unit 142 determines the weight using the learned weight determination formula in the determination phase.
  • the output summing unit 121 sums the outputs of the determination model 110 using the determined weights. That is, the output summing unit 121 sums the outputs using the weights learned using the external environment in addition to the teacher data for weight learning. Therefore, the output summing unit 121 can execute a more appropriate summing.
  • the state determination device 13 can further improve the accuracy of determining the state of the road.
  • FIG. 13 is a block diagram showing an example of the configuration of the state determination system 51 including the state determination device 13 according to the fourth embodiment.
  • the state determination system 51 includes a state determination device 13, a photographing device 20, and / or an image storage device 25, a display device 30, and an information providing device 40.
  • the photographing device 20, the image storage device 25, and the display device 30 are the same as those in the first embodiment. Therefore, detailed description thereof will be omitted.
  • the information providing device 40 outputs the external environment to the state determination device 13.
  • the photographing device 20 may output at least a part of the external environment to the state determination device 13.
  • the user or the like may appropriately determine whether the state determination device 13 acquires the external environment from the information providing device 40 or the photographing device 20.
  • the state determination device 13 operates as described above, and outputs the state of the road to the display device 30 as a result of the determination.
  • FIG. 14 is a diagram showing an example of the configuration of the state determination device 14 according to the fifth embodiment.
  • the state determination device 14 includes a plurality of determination models 110 and an output summing unit 120.
  • the determination model 110 is the same as the determination model 110 of the first embodiment to the fourth embodiment.
  • the output summing unit 120 is the same as the output summing unit 120 of the first embodiment.
  • Each configuration of the state determination device 14 operates in the same manner as the corresponding configuration in the state determination device 10 or the like of the first embodiment.
  • the state determination device 14 may be configured by using the computer shown in FIG. Alternatively, the state determination system 50 may include the state determination device 14 instead of the state determination devices 10 to 12.
  • the state determination device 14 has the effect of improving the accuracy of determining the state of the road.
  • the state determination device 14 includes a plurality of determination models 110 and an output summing unit 120.
  • the determination model 110 is a determination model learned by using teacher data in which at least one of the state of a moving body, the state of the road, and the external environment, which is equipped with a photographing device for acquiring an image of the road, is different.
  • the output summing unit 120 sums the outputs from the plurality of determination models for the input road image.
  • each configuration of the state determination device 14 operates in the same manner as the corresponding configuration in the state determination device 10 or the like of the first embodiment. That is, the output summing unit 120 of the state determination device 14 sums the determination results of the plurality of determination models 110 by using a predetermined method. Therefore, the state determination device 14 can output a more accurate road state as compared with the case of using one model.
  • the user may use the summation result of the output summarization unit 120 in the state determination device 14 as the state of the road.
  • the user may provide the output of the state determination device 14 to a device (not shown) for determining the state of the road in detail to determine the state of the road.
  • the state determination device 14 according to the fifth embodiment has the minimum configuration in each embodiment.
  • a state determination device including an output summing means for summing the outputs from multiple determination models for an input road image.
  • Appendix 2 The state determination device according to Appendix 1, which includes a state determination means for determining and outputting the state of the road based on the result of the addition in the output totaling means.
  • Appendix 3 The state determination device according to Appendix 1 or 2, wherein a plurality of judgment models are trained using a plurality of teacher data including images of a moving object, a road condition, and a road in which at least one of the external environments is different from each other. ..
  • Appendix 4 It further includes weight determining means for determining the weights used to sum the outputs of multiple decision models in response to the input road image.
  • the state determination device according to any one of Supplementary note 1 to 3, wherein the output summing means sums the outputs of a plurality of determination models using the determined weights.
  • Appendix 5 The state determination device according to Appendix 4, wherein the weight determining means learns parameters for determining weights using teacher data for weight learning.
  • Appendix 6 The state determination device according to Appendix 5, wherein the weight determination means further learns parameters for determining weights in response to an external environment.
  • the state determination device according to any one of Supplementary note 1 to 5 and the state determination device.
  • An imaging device that acquires an image of the road to be determined and outputs it to the state determination device, and / or a storage device that stores an image of the road to be determined.
  • a state judgment system including a display device that displays the state of the road output by the state judgment device.
  • Appendix 8 The state determination device described in Appendix 6 and An imaging device that captures an image of the road to be determined and outputs it to the state determination device, and / or a storage device that stores an image of the road to be determined.
  • An information providing device that outputs the external environment to the status judgment device, and A state judgment system including a display device that displays the state of the road output by the state judgment device.
  • a state judgment device including a plurality of judgment models learned using teacher data in which at least one of the state of a moving object, the state of the road, and the external environment, which is equipped with a photographing device for acquiring an image of the road, is different.
  • a state judgment method that adds up the outputs from multiple judgment models for the input road image.
  • Appendix 10 The condition determination method according to Appendix 9, which determines the condition of the road based on the result of the summation.
  • Appendix 11 The state determination method according to Appendix 9 or 10, wherein a plurality of judgment models are trained using a plurality of teacher data including images of a moving body, a road condition, and a road in which at least one of the external environments is different from each other. ..
  • Appendix 13 The state determination method according to Appendix 12, which learns parameters for determining weights using teacher data for weight learning.
  • Appendix 14 Further, the state determination method according to Appendix 13, which learns parameters for determining weights in response to an external environment.
  • the state determination device executes the state determination method according to any one of the appendices 9 to 13 and performs the state determination method.
  • the photographing device acquires the image to be judged and outputs it to the state judgment device, and / or the storage device saves the image to be judged.
  • a state judgment method in which the display device displays the state of the road output by the state judgment device.
  • the state determination device executes the state determination method described in Appendix 14,
  • the photographing device acquires an image of the road to be determined and outputs it to the state determination device, and / or the storage device saves the image to be determined.
  • the information providing device outputs the external environment to the status judgment device, A state judgment method in which the display device displays the state of the road output by the state judgment device.
  • Appendix 17 A computer containing multiple decision models, each trained using different teacher data for at least one of the condition of a moving object, the condition of the road, and the external environment equipped with a photographing device that acquires an image of the road.
  • a recording medium that records a program that executes a process that adds up the outputs from multiple judgment models for an input road image.
  • Appendix 18 The recording medium according to Appendix 17, which records a program that causes a computer to execute a process of determining a road condition based on the total result.
  • Appendix 19 Record a program that causes a computer to perform a process that trains multiple decision models using multiple teacher data, including images of moving objects, road conditions, and roads where at least one of the external environments is different from each other.
  • Appendix 21 The recording medium according to Appendix 20, which records a program that causes a computer to execute a process of learning parameters for determining weights using teacher data for weight learning.
  • Appendix 22 Further, the recording medium according to Appendix 21 for recording a program that causes a computer to execute a process of learning parameters for determining weights in response to an external environment.
  • State judgment device 11 State judgment device 12 State judgment device 13 State judgment device 20 Imaging device 25 Image storage device 30 Display device 40 Information providing device 50 State judgment system 51 State judgment system 110 Judgment model 120 Output summing unit 121 Output summing unit 130 Status determination unit 140 Weight determination unit 141 Weight determination unit 142 Weight determination unit 150 Loss calculation unit 160 Parameter correction unit 161 Parameter correction unit 170 External environment loss calculation unit 610 CPU 620 ROM 630 RAM 640 storage device 650 NIC 690 Recording medium 810 Vehicle 820 Drive recorder 830 Wireless communication path 840 Wireless base station 850 Network

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

道路に関する状態の判定の精度を向上するため、本発明の状態判定装置は、道路の画像を取得する撮影装置を搭載した移動体の状態、道路の状態、及び、外部環境の少なくともいずれか一つが異なる教師データを用いてそれぞれ学習された複数の判定モデルと、入力された道路の画像に対する複数の判定モデルからの出力を合算する出力合算手段とを備える。

Description

状態判定装置、状態判定システム、状態判定方法、及び、記録媒体
　本発明は、道路に関連する情報の処理の関し、特に道路の状態の判定に関連する。
　地方自治体などにおいて、主管となっている道路の管理には、多くの手間及び費用が必要である。そこで、道路の情報を収集する装置が提案されている（例えば、特許文献１を参照）。
　特許文献１に記載の道路測定装置は、道路の表面の画像データを用いて道路の劣化度を判定し、劣化度と報酬の提示値とをマッピングした地図を出力する。なお、特許文献１に記載の道路測定装置は、劣化の判定に、画像データを入力とした判定モデルを用いる。この判定モデルは、機械学習の手法によって構築される。
特開２０１９－０７９１６６号公報
　道路の画像の撮影は、野外での撮影であり、また、さまざまな天気及び時間での撮影である。そのため、撮影された画像は、いろいろな撮影条件において撮影された画像となる。
　いろいろな撮影条件において撮影された画像を、一つの判定モデルを用いて判定しようとする場合、判定の精度を確保することが難しい。
　撮影条件の一例として、天気を用いて、この理由を説明する。
　判定モデルは、判定の前に、学習を実行する。
　例えば、晴天のときの画像を用いて学習した判定モデルは、晴天の画像については適切に判定できる。しかし、晴天のときの画像を用いて学習した判定モデルは、曇天及び雨天のときに撮影された画像については適切に判定できるとは限らない。
　あるいは、晴天、曇天、及び雨天など複数の天気の画像を用いて学習した判定モデルは、各天気における画像に対して、ある程度の精度で判定できる。しかし、すべての天気の画像に対しての判定の精度を向上することは、このような判定モデルを用いても難しい。
　このように、一つの判定モデルを用いてすべての天気における画像を判定する場合、判定の精度を向上することが難しい。
　特許文献１に記載の技術は、一つの判定モデルを用いる。そのため、特許文献１に記載の技術は、道路に関する状態の判定の精度を向上することが難しいという問題点があった。
　本発明の目的は、上記の問題点を解決し、道路に関する状態の判定の精度を向上する状態判定装置などを提供することにある。
　本発明の一形態である状態判定装置は、
　道路の画像を取得する撮影装置を搭載した移動体の状態、道路の状態、及び、外部環境の少なくともいずれか一つが異なる教師データを用いてそれぞれ学習された複数の判定モデルと、
　入力された道路の画像に対する複数の判定モデルからの出力を合算する出力合算手段と
　を含む。
　本発明の一形態における状態判定システムは、
　上記の状態判定装置と、
　判定対象の画像を取得して状態判定装置に画像を出力する撮影装置、及び／又は、判定対象の画像を保存する記憶装置と、
　状態判定装置が出力する道路の状態を表示する表示装置と
　を含む。
　本発明の一形態における状態判定方法は、
　道路の画像を取得する撮影装置を搭載した移動体の状態、道路の状態、及び、外部環境の少なくともいずれか一つが異なる教師データを用いてそれぞれ学習された複数の判定モデルを含む状態判定装置が、
　入力された道路の画像に対する複数の判定モデルからの出力を合算する。
　本発明の一形態における状態判定方法は、
　状態判定装置が、上記の記載の状態判定方法を実行し、
　撮影装置が、判定対象の画像を取得して状態判定装置に出力し、及び／又は、記憶装置が、判定対象の画像を保存し、
　表示装置が、状態判定装置が出力する道路の状態を表示する。
　本発明の一形態における記録媒体は、
　道路の画像を取得する撮影装置を搭載した移動体の状態、道路の状態、及び、外部環境の少なくともいずれか一つが異なる教師データを用いてそれぞれ学習された複数の判定モデルを含むコンピュータに、
　入力された道路の画像に対する複数の判定モデルからの出力を合算する処理
　を実行させるプログラムを記録する。
　本発明に基づけば、道路に関する状態の判定の精度を向上するとの効果を奏することができる。
図１は、第１の実施形態にかかる状態判定装置の構成の一例を示すブロック図である。 図２は、重みの一例を示す図である。 図３は、判定モデルの学習フェーズの動作の一例を示すフロー図である。 図４は、第１の実施形態にかかる状態判定装置の判定フェーズの動作の一例を示すフロー図である。 図５は、状態判定装置のハードウェア構成の一例を示すブロック図である。 図６は、第１の実施形態にかかる状態判定装置を含む状態判定システムの構成の一例を示すブロック図である。 図７は、第２の実施形態にかかる状態判定装置の構成の一例を示すブロック図である。 図８は、第２の実施形態にかかる状態判定装置の判定フェーズの動作の一例を示すフロー図である。 図９は、第３の実施形態にかかる状態判定装置の構成の一例を示すブロック図である。 図１０は、第３の実施形態にかかる重み決定部の学習フェーズの動作の一例を示すフロー図である。 図１１は、第４の実施形態にかかる状態判定装置の構成の一例を示すブロック図である。 図１２は、第４の実施形態にかかる重み決定部の学習フェーズの動作の一例を示すフロー図である。 図１３は、第４の実施形態にかかる状態判定装置を含む状態判定システムの構成の一例を示すブロック図である。 図１４は、第５の実施形態にかかる状態判定装置の構成の一例を示すブロック図である。 図１５は、撮影装置として複数台のドライブレコーダーを用いる場合の一例を示す図である。 図１６は、表示の一例を示す図である。 図１７は、複数の状態の表示の一例を示す図である。
　次に、本発明における実施形態について図面を参照して説明する。
　各図面は、実施形態を説明するためのものである。ただし、各実施形態は、図面の記載に限られるわけではない。また、各図面における同様の構成には、同じ番号を付し、その繰り返しの説明を、省略する場合がある。
　また、以下の説明に用いる図面において、各実施形態の説明において、本発明の課題の解決に関係しない部分の構成については、記載を省略し、図示しない場合もある。
　各実施形態の説明の前に、まず、以下の説明における用語について整理する。
　「移動体」とは、道路の画像を撮影する撮影装置を搭載して移動するものである。
　なお、各実施形態において、移動体は、任意である。例えば、移動体は、撮影装置を設置した車両（四輪車、又は、二輪車）、又は、ドローンでもよい。あるいは、移動体は、撮影装置を保持して移動する人でもよい。
　「移動体の状態」とは、撮影される画像に関連する移動体の状態又は特徴である。
　例えば、車両の種類（車種）が異なると、撮影装置の搭載位置、角度、及び、進行方向に対する向きが異なる場合がある。そのため、撮影装置を搭載している車種は、移動体の特徴の一例である。
　あるいは、二輪車は、四輪車に比べ、車体の傾きの変化が大きい。そのため、車輪の数は、移動体の特徴の一例である。
　あるいは、移動体が高速で移動している場合、撮影された画像内の物体が不鮮明となる場合（例えば、モーションブラー（ｍｏｔｉｏｎ　ｂｌｕｒ）の発生）がある。このような画像を用いた判定は、判定の精度が低下する。つまり、移動体の速度は、判定に用いる画像の状態に影響を与える。このように、移動体の移動速度は、移動体の状態の一例である。
　あるいは、撮影時の移動体の加速度及び振動は、撮影される画像に影響を与える。そのため、移動体の加速度及び振動は、移動体の状態の一例である。
　「道路」とは、車両及び人が通行する道路に限らず、道路に関連する構造物を含む。例えば、「道路」は、標識、白線、ガードレール、反射鏡、信号機、及び／又は、照明器具を含んでいてもよい。さらに、以下の説明において、「道路」は、車両及び人が通行する道路に限られず、他の物が通行する通路でもよい。例えば、各実施形態において、「道路」は、飛行機が通行する滑走路、誘導路、及び、エプロンでもよい。
　「道路の状態」とは、判定の対象となる道路の状態、及び、判定に影響する道路の状態である。
　例えば、各実施形態は、判定の対象となる道路の状態として、路面の劣化（ひび割れ（縦、横、又は亀甲）、わだち、及び／又は、ポットホールなど）、路面のシールの劣化、及び、シールの周辺部のほつれのような、道路の劣化の種別を用いてもよい。
　なお、判定の対象となる道路の状態は、路面の劣化に限られない。例えば、各実施形態は、判定の対象となる道路の状態として、道路に関連する構造物の劣化（例えば、路面の白線及び路面標識のカスレ、及び／又は、標識の破損）を判定してもよい。
　また、判定の対象となる道路の状態は、道路及び道路に関連する構造物の劣化に限定されない。例えば、路面に付された白線及び路面標識は、夜間において反射して見えるように施工されている。そこで、各実施形態は、判定の対象となる道路の状態として、白線及び路面標識の反射の状態を判定してもよい。
　あるいは、各実施形態は、道路に設置された照明の点灯状態、照明の輝度、又は、路面の照度を判定してもよい。
　あるいは、道路の区分（生活道路、市道、県道、国道、高速道路など）、及び、車線数は、路面を走行する車両の量などに影響する。そのため、各実施形態は、判定に影響する道路の状態として、道路の区分、及び、車線数を用いてもよい。
　あるいは、道路の舗装の種類、舗装の材質の形状、及び、路面の状態は、撮影される画像に影響を与える。そのため、各実施形態は、判定に影響する道路の状態として、道路の舗装の種類、舗装の材質の形状、及び、路面の状態を用いてもよい。
　なお、道路の舗装の種類は、アスファルト、コンクリート、石、レンガ、又は、砂利などである。なお、舗装の種類は、排水性舗装などの舗装の施工手法を含んでもよい。また、画像に影響を与える舗装の材質は、粒の荒さ、及び／又は、色などである。
　あるいは、マンホールは、晴れた日と雨の日とでは、画像における映り込みが異なる。あるいは、雨による路面の濡れ具合は、撮影される画像の状態を変化させる。さらに、雨量は、路面の状態を覆い隠す水溜まりの大きさに影響する。このように、路面の表面の乾湿は、画像に影響する。また、路面の表面の加工（例えば、排水用の直線の溝（ｇｒｏｏｖｅ）、又は、坂でのすべり止めの円形の溝）は、画像に影響する。つまり、路面の乾湿、及び、表面の加工は、画像に影響を与える。そのため、各実施形態は、画像に影響を与える道路の状態として、路面の乾湿、及び／又は、表面の加工を用いてもよい。
　なお、以下の説明では、判定対象となる「道路の状態」の一例として、「道路の劣化」を用いる。
　「外部環境」とは、道路の画像を用いた判定に影響する情報の中で、上記の移動体の状態及び道路の状態を除いた情報である。
　例えば、撮影条件（例えば、画像の撮影の時間帯及び天気（晴れ、曇り、雨、雨上がり、及び、雪など））は、画像を用いた判定に影響する。そのため、外部環境は、撮影条件（例えば、撮影の時間帯及び天気）を含んでいてもよい。
　あるいは、撮影時の周辺音は、道路が混雑している場合に大きくなる。道路の混雑は、劣化の進行に影響する。
　あるいは、路面が劣化している場合、車両などの移動体において、移動に伴う振動が多くなる。そのため、路面が劣化している場合、車両のような移動体において、移動時の振動に伴って発生する音（以下、「振動音」と呼ぶ）が大きくなる。
　あるいは、雨量は、撮影される画像に影響する。そして、雨天時の雨音は、ある程度、雨量に比例する。
　このように、音は、道路の劣化の判定に有効な情報の一つである。そのため、外部環境は、音（例えば、周辺音、振動音、又は、雨音）を含んでいてもよい。
　あるいは、画像の画質及びサイズなどは、判定の影響を与える要因の一つである。あるいは、動画の場合、フレームレートは、画像に影響を与える。そのため、外部環境は、画像の画質、サイズ、及び、フレームレートなどのような、画像の仕様を含んでもよい。
　あるいは、道路の周辺に設置されている構造物は、影などが路面の画像に移りこむ場合がある。このような影は、画像を用いた判定に影響を与える。そのため、外部環境は、道路の周辺に設置された構造物（例えば、道路脇に設置された広告用の看板、標識、道路の周辺の樹木、及び／又は、中高層の建築物（ビルディング及び橋））を含んでもよい。
　このように、移動体の状態、道路の状態、及び、外部環境は、多くのものを含む。そこで、利用者などが、判定対象を考慮して、適宜、移動体の状態、道路の状態、及び、外部環境として用いる情報を選択すればよい。
　なお、以下の説明において、天気に関する用語は、次の通りとする。ただし、これらの用語は、厳密な意味での気象上の用語と異なっていてもよい。利用者が、モデルに適用する画像を分類する場合などにおいて、適宜、運用上での有効性及び利便性を考慮して決定すればよい。
　「晴天」とは、空における雲量が１以下の「快晴」と、雲量が２以上８以下の「晴れ」とを含む天気である。
　「曇天」とは、雲量が９以上で、降水がない天気である。
　「雨天」とは、降水がある天気である。
　なお、雲量とは、空を覆う雲の割合であり、全く雲がないときを０とし、雲が全天を覆うときを１０とする整数である。
　＜第１の実施形態＞
　次に、図面を参照して、第１の実施形態について説明する。
　［構成の説明］
　まず、第１の実施形態にかかる状態判定装置１０の構成について、図面を参照して説明する。
　図１は、第１の実施形態にかかる状態判定装置１０の構成の一例を示すブロック図である。
　状態判定装置１０は、複数の判定モデル１１０と、出力合算部１２０と、状態判定部１３０とを含む。なお、状態判定装置１０に含まれる判定モデル１１０の数は、複数であれば、特に制限はない。
　判定モデル１１０は、入力された道路の画像を用いて道路の状態を判定するモデルを含む。例えば、判定モデル１１０は、道路の画像を用いて、道路の劣化の位置と、そのスコアを出力する。
　判定モデル１１０は、予め、人工知能（Ａｒｔｉｆｉｃｉａｌ　Ｉｎｔｅｌｌｉｇｅｎｃｅ（ＡＩ））又は機械学習を用いて学習された学習済みモデルである。例えば、判定モデル１１０は、ＡＩ又は機械学習などの手法を利用して、道路を撮影した画像及び道路の状態の正解ラベルを含む教師データを用いて道路の状態の学習された学習済みモデルである。
　なお、以下の説明において、教師データを用いてモデル（例えば、判定モデル１１０）を学習する段階を、「学習フェーズ」と呼ぶ。
　また、判定対象の道路の画像を入力して、学習済みモデル（例えば、判定モデル１１０）を用いて道路の状態（例えば、道路の劣化の位置とスコア）を判定し、判定の結果を出力する段階を、「判定フェーズ」を呼ぶ。
　つまり、判定モデル１１０は、実際の判定フェーズにおいて動作する前に、学習フェーズにおいて、判定を学習されている学習済みモデルである。
　なお、少なくとも一部の判定モデル１１０が、他の判定モデル１１０と異なる構造を備えていてもよい。例えば、判定モデル１１０の少なくとも一部は、他の判定モデル１１０と異なる構造のニューラルネットワークを備えていてもよい。ただし、すべての判定モデル１１０が、同じ構造を備えてもよい。
　図１に示す複数の判定モデル１１０の学習フェーズを説明する。
　判定モデル１１０のそれぞれは、学習フェーズにおいて、移動体の状態、道路の状態、及び、外部環境の少なくとのいずれか一つが相互に異なる画像を含む教師データを用いて、道路の状態の判定を学習される。
　例えば、教師データは、相互に、移動体の状態が異なっていてもよい。あるいは、教師データは、相互に、道路の状態が異なっていてもよい。あるいは、教師データは、相互に、外部環境が異なっていてもよい。あるいは、教師データは、相互に、移動体の状態、道路の状態、及び、外部環境のいずれか２つが異なっていてもよい。あるいは、教師データは、相互に、移動体の状態、道路の状態、及び、外部環境のすべてが異なっていてもよい。
　また、３つ以上の教師データにおいて、画像が異なる点がそれぞれ違っていてもよい。例えば、ある教師データは、他の教師データと移動体の状態が異なり、別の他の教師データとは、道路の状態が異なっていてもよい。
　判定モデル１１０は、このように相互の異なる教師データを用いて学習された学習済みモデルである。
　そして、判定モデル１１０のそれぞれは、学習フェーズにおいて、上記のように、移動体の状態、道路の状態、及び、外部環境の少なくとのいずれか一つが相互に異なる画像を含む教師データを用いて、道路の状態の判定を学習される。
　例えば、ある判定モデル１１０は、学習フェーズにおいて、移動体の状態が異なる画像を含む教師データを用いて、道路の状況の判定を学習される。そして、他の判定モデル１１０は、学習フェーズにおいて、外部環境が異なる画像を含む教師データを用いて、道路の状態の判定を学習される。
　例えば、状態判定装置１０の利用者が、学習を実行する前に、教師データとして、移動体の状態、道路の状態、及び、外部環境の少なくとのいずれか一つが相互に異なる画像を含む複数の教師データを用意する。例えば、利用者が、教師データとして用意した画像を、移動体の状態、道路の状態、及び、外部環境の少なくとのいずれか一つが相互に異なるグループに分けてラベル付けした、それぞれのグループを教師データとしてもよい。
　なお、教師データに含まれる少なくとも一部の画像が、教師データに含まれる他の画像と相互に異なれば、教師データに含まれる一部の画像が、他の画像と同じでもよい。
　また、グループごとに、教師データに用いられる画像の量は、同じでもよく、少なくとも一部のグループの教師データの画像の量が、他のグループの教師データの画像の量と異なっていてもよい。
　例えば、状態判定装置１０は、それぞれの判定モデル１１０が相互に異なる教師データを用いて学習するように、判定モデル１１０の学習フェーズを実行する。
　なお、状態判定装置１０において、各判定モデル１１０の学習のタイミングは、任意である。例えば、状態判定装置１０は、連続的又は並列に、判定モデル１１０の学習を実行してもよい。あるいは、状態判定装置１０は、少なくとも一部の判定モデル１１０について、離散的に学習を実行してもよい。
　なお、状態判定装置１０とは異なる装置が、判定モデル１１０の学習の少なくとも一部を実行してもよい。例えば、状態判定装置１０は、少なくとも一部の判定モデル１１０として、図示しない他の装置から、学習済みの判定モデル１１０を取得してもよい。
　なお、他の装置からすべての学習済みの判定モデル１１０を取得する場合、状態判定装置１０は、学習フェーズの機能を含まなくてもよい。
　さらに、状態判定装置１０は、少なくとも一部の判定モデル１１０について、追加の学習を実行してもよい。
　このように、状態判定装置１０は、移動体の状態、道路の状態、及び、外部環境の少なくとのいずれか一つが相互に異なる画像を含む教師データを用いてそれぞれ学習された複数の判定モデル１１０を含む。
　なお、以下の説明において、判定モデル１１０における学習フェーズの説明を除き、判定モデル１１０は、学習済みとする。
　判定モデル１１０は、判定フェーズにおいて、それぞれ、入力された道路を撮影した画像を用いて道路の状態を判定し、判定した道路の状態、具体的には道路の劣化と、そのスコアとを出力合算部１２０に出力する。
　出力合算部１２０は、複数の判定モデル１１０からの出力を取得する。そして、出力合算部１２０は、複数の判定モデル１１０の出力を所定の手法を用いて合算する。
　例えば、出力合算部１２０は、予め、複数の判定モデル１１０のそれぞれの出力に対する重みを保存し、保存している重みを用いて判定モデル１１０の出力を合算してよい。
　重みを用いた合算の動作の一例を説明する。
　出力合算部１２０は、予め、各判定モデル１１０に対する重みを保存している。そして、判定モデル１１０は、例えば、物体検知用のＡＩを用いて道路の劣化の位置と、そのスコアとを出力する。この場合、出力合算部１２０は、合算の結果として、判定モデル１１０が出力した劣化の位置とそのスコアとに、判定モデル１１０それぞれに対する重みを掛けてから加算した結果を出力する。
　なお、出力合算部１２０は、各判定モデル１１０に対する重みとして、一つの重みではなく、複数の重みを保存してもよい。例えば、出力合算部１２０は、判定対象の画像の撮影時の状態（例えば、天気）に対応した複数の重み（例えば、晴天、曇天、及び雨天用の重み）を保存してもよい。
　出力合算部１２０が複数の重みを用いる場合の例を説明する。
　状態判定装置１０は、判定モデル１１０として、次の３つのモデルを含むとする。
（１）晴天の教師データを用いて学習した判定モデル１１０（以下、「晴天モデル」）、
（２）曇天の教師データを用いて学習した判定モデル１１０（以下、「曇天モデル」）、
（３）雨天の教師データを用いて学習した判定モデル１１０（以下、「雨天モデル」）。
　そして、出力合算部１２０は、雲量と降水量とを用いて、重みを決定するとする。
　図２は、重みの一例を示す図である。
　出力合算部１２０は、予め、図２に示されている重みを保存する。そして、出力合算部１２０は、次のように、判定モデル１１０の出力を合算する。
　出力合算部１２０は、判定対象の画像の雲量と降水量と取得する。例えば、出力合算部１２０は、判定対象の画像の送信元などから、雲量と降水量とを取得する。
　出力合算部１２０における雨量と降水量との取得方法は、任意である。例えば、出力合算部１２０は、画像の撮影位置及び撮影日時を取得し、気象データを提供する企業などから、取得した位置及び日時における雲量及び降水量を取得してもよい。あるいは、出力合算部１２０は、移動体に搭載されたセンサ（例えば、照度センサ及び湿度センサ）の測定データを用いて雲量及び降水量を推定してもよい。あるいは、出力合算部１２０は、判定対象の画像に所定の画像解析手法を適用して、雲量及び降水量を推定してもよい。
　そして、出力合算部１２０は、判定モデル１１０に対する重みとして、判定対象の画像が撮影されたときの雲量と降水量とに基づいて、図２に示されている重みの中から、合算に使用する重みを選択する。
　なお、図２において「－」となっている欄は、重みの選択において考慮しないことを示す。例えば、雲量が１から８の場合、出力合算部１２０は、降水量を考慮しないで重みを決定する。また、出力合算部１２０は、降水量を所定の閾値と比較して、降水量の多少を判定する。
　例えば、雲量が６の場合、出力合算部１２０は、晴天モデルに対する重みとして「０．７」、曇天モデルに対する重みとして「０．３」、雨天モデルの対する重みとして「０．０」を選択する。
　そして、出力合算部１２０は、重みを用いて、晴天モデルと、曇天モデルと、雨天モデルとの出力を合算する。
　このように、出力合算部１２０は、複数の判定モデル１１０の判定の結果を、所定の手法を用いて合算する。
　なお、図２において、雲量が６の場合における雨天モデルの対する重みの「０．０」は、出力合算部１２０において、雨天モデルの出力を、合算に使用しないことを意味する。このように、出力合算部１２０は、一部の判定モデル１１０の出力を合算しなくてもよい。
　また、重みの合計が「１」となっていない場合、出力合算部１２０は、合算の結果として、加算した値を、判定モデル１１０の数で割った値（つまり、加重平均値）を算出してもよい。
　あるいは、判定モデル１１０の判定の精度が異なる場合、出力合算部１２０は、判定モデル１１０の精度を考慮した重みを用いてもよい。
　このように、出力合算部１２０は、所定の手法を用いて、複数の判定モデル１１０の出力（判定の結果）を合算する。
　ただし、出力を合算する手法は、上記に限定されず、任意である。状態判定装置１０の利用者が、知見などに基づいて、出力を合算する手法を選択すればよい。
　例えば、出力合算部１２０は、合算の結果として、閾値より多くの判定モデル１１０が劣化の位置と判定した位置を、「劣化の位置」として出力してもよい。
　あるいは、出力合算部１２０は、ＡＩを用いて学習した合算の手法を用いてもよい。
　図１を参照した説明に戻る。
　出力合算部１２０は、合算の結果を、状態判定部１３０に出力する。
　状態判定部１３０は、出力合算部１２０における合算の結果に基づいて、判定対象の画像における道路の状態を判定する。
　なお、各判定モデル１１０は、道路の状態を判定する。そのため、出力合算部１２０における合算の結果は、道路の状態の判定となっている。そこで、状態判定装置１０の利用者は、出力合算部１２０における合算の結果を用いてもよい。
　ただし、利用者が必要とする道路の状態は、このような合算の結果に加え、合算の結果を用いて判定した状態となる場合もある。
　例えば、判定モデル１１０が劣化の位置と種類とを出力する場合、出力合算部１２０における合算の結果は、劣化の位置と種類となる。そのため、利用者は、劣化の位置と種類とを把握できる。
　しかし、例えば、修繕の要否を判定する場合、利用者は、劣化の位置及び種類に加え、劣化の程度を必要とする。そこで、状態判定部１３０は、道路の状態として、出力された劣化の位置と種類とに基づいて、劣化の程度（以下、「劣化度」と呼ぶ）を判定してもよい。このように、状態判定部１３０は、出力合算部１２０における合算の結果を用いて、道路の状態を判定する。
　状態判定部１３０における道路の状態の判定手法は、任意である。例えば、状態判定部１３０は、一般的な画像処理の手法を用いて道路の状態を判定してもよい。
　なお、状態判定部１３０は、出力する道路の状態に、出力合算部１２０から取得した情報（例えば、劣化の位置及び種類）を含めてもよい。
　そして、状態判定部１３０は、判定の結果である道路の状態を所定の装置に出力する。例えば、状態判定部１３０は、道路の状態を表示する装置に、判定の結果を出力する。
　状態判定部１３０は、判定の結果である道路の状態を、所定の記憶装置に保存してもよい。
　なお、状態判定部１３０は、道路の状態に加えて、判定に用いた画像を出力してもよい。
　また、状態判定装置１０は、一つの画像ではなく、複数の画像（複数の静止画、又は、動画）を用いて、道路の状態を判定してもよい。
　［動作の説明］
　次に、状態判定装置１０に関連する動作について、図面を参照して説明する。
　（１）学習フェーズ
　まず、判定モデル１１０の学習フェーズの動作について説明する。
　図３は、判定モデル１１０の学習フェーズの動作の一例を示すフロー図である。
　なお、状態判定装置１０は、予め、道路の画像を取得する撮影装置を搭載した移動体の状態、道路の状態、及び、外部環境の少なくともいずれか一つが異なる複数の教師データを取得済みとする。
　状態判定装置１０は、以下の動作を、すべての判定モデル１１０に対して実行する。
　まず、状態判定装置１０は、未学習の判定モデル１１０から、判定モデル１１０を一つ選択する（ステップＳ４０１）。
　状態判定装置１０は、学習に使用していない教師データから、教師データを一つ選択する（ステップＳ４０２）。
　そして、状態判定装置１０は、選択した教師データを用いて、選択した判定モデル１１０の学習を実行する（ステップＳ４０３）。なお、判定モデル１１０は、学習として、一般的な機械学習を用いればよい。
　状態判定装置１０は、未学習の判定モデル１１０がなくなるまで、上記の動作を繰り返す。
　（２）判定フェーズ
　次に、状態判定装置１０における判定フェーズの動作を説明する。
　図４は、第１の実施形態にかかる状態判定装置１０の判定フェーズの動作の一例を示すフロー図である。
　なお、判定モデル１１０は、判定フェーズにおいて、学習済みである。
　状態判定装置１０は、所定の装置から、判定の対象の道路の画像を取得する（ステップＳ４１１）。例えば、状態判定装置１０は、図示しない撮影装置が撮影した道路の画像を取得する。あるいは、状態判定装置１０は、図示しない記憶装置が保存している道路の画像を取得する。
　そして、判定モデル１１０は、それぞれ、道路の画像を用いて、道路の状態を判定する（ステップＳ４１２）。例えば、判定モデル１１０は、それぞれ、道路の劣化（例えば、劣化の位置と種類）を判定する。そして、判定モデル１１０は、判定の結果を出力合算部１２０に出力する。
　出力合算部１２０は、判定モデル１１０の出力（判定の結果）を合算する（ステップＳ４１３）。そして、出力合算部１２０は、合算した結果を状態判定部１３０に出力する。
　状態判定部１３０は、出力合算部１２０において合算された結果を用いて、道路の状態（例えば、劣化度）を判定する（ステップＳ４１４）。
　そして、状態判定部１３０は、道路の状態（例えば、劣化度）を所定の装置に出力する（ステップＳ４１５）。状態判定部１３０は、道路の状態に、出力合算部１２０の合算の結果（例えば、劣化の位置と種類）を含めてもよい。
　［効果の説明］
　次に、第１の実施形態にかかる状態判定装置１０の効果について説明する。
　第１の実施形態かかる状態判定装置１０は、道路に関する状態の判定の精度を向上するとの効果を得ることができる。
　その理由は、次のとおりである。
　状態判定装置１０は、複数の判定モデル１１０と、出力合算部１２０とを含む。判定モデル１１０は、道路の画像を取得する撮影装置を搭載した移動体の状態、道路の状態、及び、外部環境の少なくともいずれか一つが異なる教師データを用いてそれぞれ学習された判定モデルである。出力合算部１２０は、入力された道路の画像に対する複数の判定モデルからの出力を合算する。
　このように、状態判定装置１０は、それぞれ移動体の状態などが異なる教師データを用いて学習を実行した複数の判定モデル１１０の判定の結果を合算する。そのため、状態判定装置１０は、入力された道路の画像に対する判定の精度を向上できる。
　一例として、天気に関連する場合について説明する。
　「晴天」は、雲量が８までを含む。一方、「曇天」は、雲量９以上である。しかし、実際の雲量は、雲量の８と９との間の場合もある。このような場合の判定は、晴天モデルと曇天モデルとのどちらか判定の結果を用いるより、両方を判定の結果を用いた方が、実際の雲量に対応した判定となると想定される。
　このように、天気によっては、複数の判定モデル１１０の出力を考慮した方が、道路の状態の判定の精度を向上できる。
　そこで、出力合算部１２０は、所定の手法（例えば、重み）を用いて、複数の判定モデル１１０の判定の結果を合算する。そのため、出力合算部１２０の合算の結果は、一つのモデルの判定に比べ、より精度の高い判定となる。
　さらに、状態判定装置１０は、状態判定部１３０を含む。状態判定部１３０は、出力合算部１２０における合算の結果に基づいて道路の状態を判定して出力する。その結果、状態判定部１３０は、複数の判定モデル１１０の判定を合算した結果、つまり、より精度の高い結果を用いて、道路の状態を判定する。
　そのため、状態判定装置１０は、一つの判定モデルを用いた判定に比べ、道路に関する状態の判定の精度を向上できる。
　なお、判定モデル１１０は、それぞれの精度が異なる場合もある。このような場合、単に、複数の判定モデル１１０のいずれか一つを判定に用いる手法は、判定の精度を確保できない。
　例えば、いずれか一つのモデルを用いる装置（以下、「関連装置」と呼ぶ）が、晴天モデルと、曇天モデルと、雨天モデルとを備えとする。そして、関連装置が、天気に合わせて、モデルを選択して判定するとする。
　ただし、例えば、雨天モデルの精度が、晴天モデル及び曇天モデルの精度より低いとする。
　この場合、関連装置は、雨天の画像に対して、雨天モデルを用いる。そのため、関連装置は、雨天での判定の精度を確保できない。
　一方、状態判定装置１０は、出力合算部１２０を備える。そして、出力合算部１２０は、複数の判定モデル１１０の精度を考慮して、出力を合算してもよい。そのため、状態判定装置１０は、一部の判定モデル１１０の精度が低い場合でも、他の判定モデル１１０の判定の結果と合算した結果を用いて、判定の精度を向上することができる。
　［ハードウェア構成］
　次に、状態判定装置１０のハードウェア構成について説明する。
　状態判定装置１０の各構成部は、ハードウェア回路で構成されてもよい。
　あるいは、状態判定装置１０において、各構成部は、ネットワークを介して接続した複数の装置を用いて、構成されてもよい。例えば、状態判定装置１０は、クラウドコンピューティングを利用して構成されてもよい。
　あるいは、状態判定装置１０において、複数の構成部は、１つのハードウェアで構成されてもよい。
　あるいは、状態判定装置１０は、Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ（ＣＰＵ）と、Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ（ＲＯＭ）と、Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ（ＲＡＭ）とを含むコンピュータ装置として実現されてもよい。状態判定装置１０は、上記構成に加え、さらに、ネットワークインターフェース回路（Ｎｅｔｗｏｒｋ　Ｉｎｔｅｒｆａｃｅ　Ｃｉｒｃｕｉｔ（ＮＩＣ））を含むコンピュータ装置として実現されてもよい。
　図５は、状態判定装置１０のハードウェア構成の一例を示すブロック図である。
　状態判定装置１０は、ＣＰＵ６１０と、ＲＯＭ６２０と、ＲＡＭ６３０と、記憶装置６４０と、ＮＩＣ６５０とを含み、コンピュータ装置を構成している。
　ＣＰＵ６１０は、ＲＯＭ６２０及び／又は記憶装置６４０からプログラムを読み込む。そして、ＣＰＵ６１０は、読み込んだプログラムに基づいて、ＲＡＭ６３０と、記憶装置６４０と、ＮＩＣ６５０とを制御する。そして、ＣＰＵ６１０を含むコンピュータは、これらの構成を制御し、図１に示されている、判定モデル１１０と、出力合算部１２０と、状態判定部１３０としての各機能を実現する。
　ＣＰＵ６１０は、各機能を実現する際に、ＲＡＭ６３０又は記憶装置６４０を、プログラムの一時的な記憶媒体として使用してもよい。
　また、ＣＰＵ６１０は、コンピュータで読み取り可能にプログラムを記憶した記録媒体６９０が含むプログラムを、図示しない記録媒体読み取り装置を用いて読み込んでもよい。あるいは、ＣＰＵ６１０は、ＮＩＣ６５０を介して、図示しない外部の装置からプログラムを受け取り、ＲＡＭ６３０又は記憶装置６４０に保存して、保存したプログラムを基に動作してもよい。
　ＲＯＭ６２０は、ＣＰＵ６１０が実行するプログラム及び固定的なデータを記憶する。ＲＯＭ６２０は、例えば、Ｐｒｏｇｒａｍｍａｂｌｅ－ＲＯＭ（Ｐ－ＲＯＭ）又はフラッシュＲＯＭである。
　ＲＡＭ６３０は、ＣＰＵ６１０が実行するプログラム及びデータを一時的に記憶する。ＲＡＭ６３０は、例えば、Ｄｙｎａｍｉｃ－ＲＡＭ（Ｄ－ＲＡＭ）である。
　記憶装置６４０は、状態判定装置１０が長期的に保存するデータ及びプログラムを記憶する。また、記憶装置６４０は、ＣＰＵ６１０の一時記憶装置として動作してもよい。記憶装置６４０は、例えば、ハードディスク装置、光磁気ディスク装置、Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ（ＳＳＤ）、又は、ディスクアレイ装置である。
　ＲＯＭ６２０と記憶装置６４０とは、不揮発性（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ）の記録媒体である。一方、ＲＡＭ６３０は、揮発性（ｔｒａｎｓｉｔｏｒｙ）の記録媒体である。そして、ＣＰＵ６１０は、ＲＯＭ６２０、記憶装置６４０、又は、ＲＡＭ６３０に記憶されているプログラムを基に動作可能である。つまり、ＣＰＵ６１０は、不揮発性記録媒体又は揮発性記録媒体を用いて動作可能である。
　ＮＩＣ６５０は、ネットワークを介して、図示しない外部の装置（例えば、判定用の画像の送信元、及び、道路の状態の出力先装置）とのデータのやり取りを中継する。ＮＩＣ６５０は、例えば、Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ（ＬＡＮ）カードである。さらに、ＮＩＣ６５０は、有線に限らず、無線を用いてもよい。
　このように構成された図５の状態判定装置１０は、図１の状態判定装置１０と同様の効果を得ることができる。
　その理由は、図５の状態判定装置１０のＣＰＵ６１０が、プログラムに基づいて、図１の状態判定装置１０の各機能を実現できるためである。
　［システムの構成］
　図６は、第１の実施形態にかかる状態判定装置１０を含む状態判定システム５０の構成の一例を示すブロック図である。
　状態判定システム５０は、状態判定装置１０と、撮影装置２０及び／又は画像保存装置２５と、表示装置３０とを含む。
　撮影装置２０は、移動体に搭載されて教師データ及び／又は判定対象の画像を取得し、状態判定装置１０に出力する。あるいは、撮影装置２０は、教師データ及び／又は判定対象の画像を取得し、画像保存装置２５に保存してもよい。撮影装置２０は、例えば、カメラ又はドライブレコーダーである。
　なお、撮影装置２０は、１台でもよく、複数台でもよい。
　図１５は、撮影装置として複数台のドライブレコーダー８２０を用いる場合の一例を示す図である。図１５は、移動体の例として、車両８１０を示している。
　ネットワーク８５０は、状態判定装置１０が接続している通信路である。
　無線通信路８３０は、ドライブレコーダー８２０と無線基地局８４０とを接続する。
　無線基地局８４０は、状態判定装置１０が接続しているネットワーク８５０と、無線通信路８３０とを中継する。
　車両８１０は、ドライブレコーダー８２０を搭載して、道路を走行する。
　ドライブレコーダー８２０は、車両８１０に搭載され、搭載されている車両８１０が走行する道路の画像を撮影する。なお、図１５は、ドライブレコーダー８２０を分かりやすくするため、車両８１０の外部に隣接して示している。
　そして、ドライブレコーダー８２０は、無線通信路８３０、無線基地局８４０、及び、ネットワーク８５０を介して、状態判定装置１０に撮影した画像を送信する。なお、無線通信路８３０、無線基地局８４０、及び、ネットワーク８５０は、ドライブレコーダー８２０と、状態判定装置１０との通信路の一例である。ドライブレコーダー８２０は、状態判定装置１０と、図１５とは異なる装置又は経路で接続されていてもよい。
　車両８１０、ドライブレコーダー８２０、無線通信路８３０、無線基地局８４０、及び、ネットワーク８５０は、特に制限などはない。車両８１０、ドライブレコーダー８２０、無線通信路８３０、無線基地局８４０、及び、ネットワーク８５０としては、一般的に販売されている製品が用いられてもよい。そのため、これらの詳細な説明を省略する。
　なお、状態判定装置１０は、移動体に搭載されてもよい。この場合、状態判定装置１０は、直接的、又は、移動体内の通信路を介して、撮影装置２０から判定用の画像を取得してもよい。
　図６を参照した説明に戻る。
　画像保存装置２５は、教師データ及び／又は判定対象の画像を保存する。そして、画像保存装置２５は、状態判定装置１０に、教師データ及び／又は判定対象の画像を出力する。画像保存装置２５は、例えば、ハードディスク装置、光磁気ディスク装置、ＳＳＤ、又は、ディスクアレイ装置である。
　画像保存装置２５は、撮影装置２０から、教師データ及び／又は判定対象の画像を受信する。ただし、画像保存装置２５は、撮影装置２０とは異なる装置（図示せず）から教師データ及び／又は判定対象の画像を受信してもよい。
　状態判定装置１０が教師データ及び判定対象の画像を撮影装置２０及び画像保存装置２５のどちらから取得するかは、利用者が、適宜決定すればよい。例えば、状態判定装置１０は、画像保存装置２５から教師データを取得し、撮影装置２０から判定対象の画像を取得してもよい。
　状態判定装置１０は、すでに説明したように動作し、教師データを用いて学習フェーズを実行する。
　さらに、状態判定装置１０は、すでに説明したように動作し、判定フェーズとして、判定対象の画像を用いて道路の状態を判定し、判定した道路の状態を出力する。
　表示装置３０は、状態判定装置１０が出力する判定の結果（道路の状態）を表示する。表示装置３０は、例えば、液晶ディスプレイ、有機エレクトロルミネッセンス・ディスプレイ、又は、電子ペーパである。
　表示装置３０における表示は、任意である。利用者が、適宜、必要に応じて、道路の状態を、表示装置３０に表示すればよい。
　図１６は、表示の一例を示す図である。
　図１６は、判定対象の道路の画像において、矩形の枠を用いて劣化の位置を示している。さらに、図１６は、状態判定装置１０が「劣化度大」と判定した位置を強調（斜線）表示している。
　なお、表示装置３０は、状態判定装置１０が判定した道路の状態の表示として、一つではなく複数の道路の状態をまとめて表示してもよい。
　図１７は、複数の状態の表示の一例を示す図である。
　図１７は、所定の領域の道路において劣化がある判定された部分を、矢印を用いて示している。さらに、図１７は、「劣化度大」のところを強調（黒色）表示している。なお、図１７における矢印の向きは、道路における車両の進行方向である。
　＜第２の実施形態＞
　次に、図面を参照して、第２の実施形態について説明する。
　［構成の説明］
　図７は、第２の実施形態にかかる状態判定装置１１の構成の一例を示すブロック図である。
　状態判定装置１１は、複数の判定モデル１１０と、出力合算部１２１と、状態判定部１３０と、重み決定部１４０とを含む。判定モデル１１０及び状態判定部１３０は、第１の実施形態の判定モデル１１０及び状態判定部１３０と同様である。そのため、これらの詳細な説明を省略する。
　なお、状態判定装置１１は、図５に示されているコンピュータを用いて構成されてもよい。あるいは、状態判定システム５０は、状態判定装置１０に替えて、状態判定装置１１を含んでもよい。
　出力合算部１２１は、重み決定部１４０が決定した重みを用いて、判定モデル１１０の判定結果を合算する。例えば、判定モデル１１０が判定する状態が劣化の位置とスコアとの場合、出力合算部１２１は、重み決定部１４０が決定した重みを用いて、判定モデル１１０が出力した劣化の位置とそのスコアとを合算する。
　出力合算部１２１は、重み決定部１４０が決定した重みを用いる点を除いて、第１の実施形態の出力合算部１２０と同様に動作する。
　重み決定部１４０は、判定対象の画像を用いて、出力合算部１２１が判定モデル１１０を合算するときに用いる重みを決定する。
　そのため、重み決定部１４０は、予め、画像を用いて重みを決定する仕組み（例えば、重みを算出する等式、又は、行列式）を保存しておく。なお、以下の説明において、重みを決定する仕組みを「重み決定式」と呼ぶ。ただし、重み決定式は、単なるスカラーの数式に限られない。例えば、重み決定式は、等式、ベクトル式、行列式、関数、又は、これらの組合せでもよい。なお、重み決定式は、条件文を含む関数を含んでいてもよい。
　簡単な例を用いて、重み決定部１４０の動作を説明する。
　例えば、次の等式（１）が、出力合算部１２１における合算を表す重み決定式とする。
Ｙ＝ａ１（ｐ）Ｘ１（ｐ）＋ａ２（ｐ）Ｘ２（ｐ）＋…＋ａｎ（ｐ）Ｘｎ（ｐ）　…　（１）
上記の等式（１）において、ｐは、判定対象の画像（具体的には、例えば、画像の画素の値）である。ｎは、判定モデル１１０の数である。ｉは、判定モデル１１０の示す変数である（ｉ＝１、２、…、ｎ）。Ｙは、合算の結果である。ａｉ（ｐ）（ｉ＝１、２、…、ｎ）は、画像ｐのときの各判定モデル１１０に対する重みを決定する関数である。Ｘｉ（ｐ）（ｉ＝１、２、…、ｎ）は、判定モデル１１０の出力である。
　等式（１）の変数などのデータ形式は、適宜、スカラー、ベクトル、行列、関数、又は、それらの組合せから選択されればよい。なお、関数ａｉ（ｐ）の係数が、重み決定式のパラメータの一例である。
　この場合、重み決定部１４０は、画像ｐを関数ａｉ（ｐ）に適用して重みを決定する。また、判定モデル１１０は、画像ｐを用いて、判定の結果である「Ｘｉ（ｐ）」を算出する。そして、出力合算部１２０は、重み決定部１４０が決定した重み（ａｉ（ｐ））と、判定モデル１１０が出力した判定の結果（Ｘｉ（ｐ））と用いて、合算の結果である「Ｙ」を算出する。
　重み決定式は、予め、状態判定装置１１に保存されている。
　重み決定式を保存する構成は、任意である。状態判定装置１１は、図示しない記憶部に重み決定式を保存してもよい。この場合、重み決定部１４０は、必要に応じて、記憶部が保存する重み決定式を取得し、画像を重み決定式に適用して重みを決定し、決定した重みを出力合算部１２１に提供する。あるいは、重み決定部１４０が、重み決定式を保存してもよい。あるいは、重み決定部１４０は、重みを決定するときに、図示しない重み決定式を保存する装置から、重み決定式を取得してもよい。
　なお、重み決定部１４０は、予め、ＡＩなどの所定の手法を用いて学習済みの重み決定式を用いてもよい。例えば、重み決定部１４０は、所定の重み学習用の教師データを用いてパラメータ（ａｉ（ｐ）の係数）を学習した重み決定式を用いてもよい。
　［動作の説明］
　次に、第２の実施形態にかかる状態判定装置１１における判定フェーズの動作について、図面を参照して説明する。
　図８は、第２の実施形態にかかる状態判定装置１１の判定フェーズの動作の一例を示すフロー図である。
　なお、判定モデル１１０は、学習済みである。
　状態判定装置１１は、所定の装置から、判定の対象の道路の画像を取得する（ステップＳ４１１）。例えば、状態判定装置１１は、撮影装置２０が撮影した道路の画像を取得してもよい。あるいは、状態判定装置１１は、画像保存装置２５が保存している道路の画像を取得してもよい。
　そして、判定モデル１１０は、それぞれ、道路の画像を用いて、道路の状態を判定する（ステップＳ４１２）。例えば、判定モデル１１０は、それぞれ、道路の劣化（例えば、劣化の位置と種類）を判定する。そして、判定モデル１１０は、判定の結果を出力合算部１２０に出力する。
　重み決定部１４０は、画像を用いて、重みを決定する（ステップＳ４１６）。
　出力合算部１２１は、決定された重みを用いて、判定モデル１１０の出力（判定の結果）を合算する（ステップＳ４１７）。そして、出力合算部１２１は、合算した結果を状態判定部１３０に出力する。
　状態判定部１３０は、出力合算部１２１において合算された結果を用いて、道路の状態を判定する（ステップＳ４１４）。
　そして、状態判定部１３０は、道路の状態（例えば、劣化度）を所定の装置に出力する（ステップＳ４１５）。状態判定部１３０は、道路の状態に、出力合算部１２１の合算の結果（例えば、劣化の位置と種類）を含めてもよい。
　［効果の説明］
　次に第２の実施形態にかかる状態判定装置１１の効果について説明する。
　第２の実施形態にかかる状態判定装置１１は、第１の実施形態の状態判定装置１０と同様の効果を得ることができる。
　その理由は、次のとおりである。
　出力合算部１２１が、重み決定部１４０が決定した重みを用いて、出力合算部１２０と同様に動作するためである。
　さらに、第２の実施形態にかかる状態判定装置１１は、判定の精度を、より向上するとの効果を得ることできる。
　その理由は、次の通りである。
　重み決定部１４０は、判定対象の画像に基づいて、出力合算部１２１が利用する重みを決定する。つまり、重み決定部１４０は、判定対象の画像に対応して重みを決定する。
　そして、出力合算部１２１は、判定対象の画像に対応した重みを用いて、判定モデル１１０の出力を合算する。つまり、出力合算部１２１は、より適切な合算を実行できる。
　その結果、状態判定装置１１は、道路の状態の判定の精度をより向上できる。
　＜第３の実施形態＞
　次に、図面を参照して、第３の実施形態について説明する。
　［構成の説明］
　図９は、第３の実施形態にかかる状態判定装置１２の構成の一例を示すブロック図である。
　状態判定装置１２は、複数の判定モデル１１０と、出力合算部１２１と、状態判定部１３０と、重み決定部１４１と、ロス算出部１５０と、パラメータ修正部１６０とを含む。
　なお、状態判定装置１２は、図５に示されているコンピュータを用いて構成されてもよい。あるいは、状態判定システム５０は、状態判定装置１０及び１１に替えて、状態判定装置１２を含んでもよい。
　判定モデル１１０及び状態判定部１３０は、第１の実施形態及び第２の実施形態の判定モデル１１０及び状態判定部１３０と同様である。また、出力合算部１２１は、第２の実施形態の出力合算部１２１と同様である。
　そこで、第１の実施形態及び第２の実施形態と同様の構成及び動作の詳細な説明を省略し、第３の実施形態に特有の構成及び動作について説明する。
　ロス算出部１５０及びパラメータ修正部１６０は、重み決定部１４１における重みの学習フェーズにおいて動作する。また、重み決定部１４１は、ロス算出部１５０及びパラメータ修正部１６０と協働して、重みを学習する点を除いて、重み決定部１４０と同様に動作する。
　そこで、重み決定部１４１における学習フェーズに関連する構成を説明する。
　ロス算出部１５０は、重み学習用の教師データに対する正解を示すデータ（例えば、各画像における劣化の位置とそのスコア、以下「正解ラベル」と呼ぶ）と、出力合算部１２１の合算の結果との差（ロス）を算出する。なお、以下の説明において、正解を示すデータを「正解ラベル」と呼ぶ。また、以下の説明において、ロス算出部１５０が算出するロスを、「合算ロス」又は「第１のロス」と呼ぶ。
　なお、正解ラベルを保存する構成は、任意である。ロス算出部１５０が、予め、重み学習用の教師データに対応した正解ラベルを保存していてもよい。あるいは、状態判定装置１２は、図示しない記憶部に正解ラベルを保存してもよい。あるいは、ロス算出部１５０が、ロスの算出において、重み学習用の教師データを保存する装置又は構成から正解ラベルを取得してもよい。
　パラメータ修正部１６０は、ロス算出部１５０が算出したロスに基づいて、重み決定部１４０が用いる重み決定式のパラメータ（例えば、等式（１）の関数ａｉ（ｐ）の係数）を修正する。
　［動作の説明］
　次に、第３の実施形態にかかる状態判定装置１２の動作について、図面を参照して説明する。
　図１０は、第３の実施形態にかかる重み決定部１４１の学習フェーズの動作の一例を示すフロー図である。
　なお、重み決定部１４１は、学習フェーズの動作の前に、重みの初期値として、所定の重み決定式（例えば、関数ａｉ（ｐ）の係数が所定の値となっている重み決定式）を保存している。
　状態判定装置１２は、重み学習用の教師データとして画像を取得する（ステップＳ４２１）。
　状態判定装置１２は、重み学習用の教師データの中から、一つの画像を選択する。そして、複数の判定モデル１１０は、それぞれ、選択された画像を用いて道路の状態を判定する（ステップＳ４２２）。そして、判定モデル１１０は、判定の結果を出力合算部１２１に出力する。
　重み決定部１４１は、選択された画像を重み決定式に適用して、重みを決定する（ステップＳ４２３）。
　出力合算部１２１は、重み決定部１４１が決定した重みを用いて、判定モデル１１０の出力を合算する（ステップＳ４２４）。
　ロス算出部１５０は、正解ラベルと、出力合算部１２１の合算の結果とのロス（合算ロス）を算出する（ステップＳ４２５）。
　パラメータ修正部１６０は、ロス算出部１５０が算出したロス（合算ロス）に基づいて、重み決定式のパラメータ（例えば、関数ａｉ（ｐ）の係数）を修正する（ステップＳ４２６）。
　状態判定装置１２は、学習が終了であるか否かを判定する（ステップＳ４２７）。具体的には、状態判定装置１２は、所定の終了条件（例えば、ロスの値が閾値より小さい、所定回数の実行、又は、重み学習用の教師データの終了）を満足しているか否か判定する。
　終了条件を満足していない場合（ステップＳ４２７でＮｏ）、状態判定装置１２は、ステップＳ４２２に戻る。
　終了条件を満足している場合（ステップＳ４２７でＹｅｓ）、状態判定装置１２は、学習フェーズを終了する。
　このように、状態判定装置１２は、重み学習用の教師データを用いて、重み決定部１４１が決定する重み（例えば、重み決定式のパラメータ）を学習する。
　状態判定装置１２は、判定フェーズにおいては、第２の実施形態の状態判定装置１１と同様に動作する。すなわち、状態判定装置１２は、判定フェーズにおいては、判定モデル１１０と、出力合算部１２１と、状態判定部１３０と、重み決定部１４１とを用いて、道路の状態を判定する。
　図８を参照して、状態判定装置１２の判定フェーズの動作を説明する。
　状態判定装置１２は、所定の装置から、判定の対象の道路の画像を取得する（ステップＳ４１１）。
　判定モデル１１０は、道路の画像を用いて道路の状態を出力する（ステップＳ４１２）。
　重み決定部１４１は、学習済みの重み決定式に道路の画像を適用して重みを決定する（ステップＳ４１６）。
　出力合算部１２１は、決定された重みを用いて判定モデル１１０の出力を合算する（ステップＳ４１７）。
　状態判定部１３０は、合算の結果を用いて、道路の状態を判定する（ステップＳ４１４）。
　状態判定部１３０は、判定の結果（道路の状態）を所定の装置に出力する（ステップＳ４１５）。
　［効果の説明］
　次に、第３の実施形態にかかる状態判定装置１２の効果について説明する。
　第３の実施形態にかかる状態判定装置１２は、第１の実施形態及び第２の実施形態の効果に加え、判定の精度をさらに向上するとの効果を得ることができる。
　その理由は、次のとおりである。
　重み決定部１４１は、学習フェーズにおいて、重み学習用の教師データを用いて重みを学習する。そして、重み決定部１４１は、判定フェーズにおいて、学習した重み決定式を用いて重みを決定する。
　出力合算部１２１は、決定された重みを用いて、判定モデル１１０の出力を合算する。つまり、出力合算部１２１は、重み学習用の教師データを用いて学習された重みを用いて出力を合算する。そのため、出力合算部１２１は、より適切な合算を実行できる。
　その結果は、状態判定装置１２は、道路の状態の判定の精度をより向上できる。
　＜第４の実施形態＞
　次に、図面を参照して、第４の実施形態について説明する。
　［構成の説明］
　図１１は、第４の実施形態にかかる状態判定装置１３の構成の一例を示すブロック図である。
　状態判定装置１３は、複数の判定モデル１１０と、出力合算部１２１と、状態判定部１３０と、重み決定部１４２と、ロス算出部１５０と、パラメータ修正部１６１と、外部環境ロス算出部１７０とを含む。
　なお、状態判定装置１３は、図５に示されているコンピュータを用いて構成されてもよい。
　判定モデル１１０及び状態判定部１３０は、第１の実施形態ないし第３の実施形態の判定モデル１１０及び状態判定部１３０と同様である。また、出力合算部１２１は、第２の実施形態及び第３の実施形態の出力合算部１２１と同様である。ロス算出部１５０は、第３の実施形態のロス算出部１５０と同様である。
　そこで、第１の実施形態ないし第３の実施形態と同様の構成及び動作の詳細な説明を省略し、第４の実施形態に特有の構成及び動作について説明する。
　ロス算出部１５０、パラメータ修正部１６１、及び、外部環境ロス算出部１７０は、重み決定部１４２における重みの学習フェーズにおいて動作する。また、重み決定部１４２は、学習フェーズにおける重みの学習の動作を除いて、重み決定部１４１と同様に動作する。
　そこで、重み決定部１４２における学習フェーズに関連する構成を説明する。
　重み決定部１４２は、重み決定部１４１と同様に、重み学習用の教師データの画像を用いて重みを決定する。さらに、重み決定部１４２は、画像を用いて外部環境の推定し、推定した外部環境を外部環境ロス算出部１７０に出力する。
　なお、重み決定部１４２は、重みの算出と、外部環境の推定とにおいて、少なくとも一部の処理を共通化することの望ましい。
　例えば、重み決定部１４２がディープニューラルネットワークを用いる場合、重み決定部１４２は、ディープニューラルネットワークの下位層を共通化し、上位層を重みの算出及び外部環境の推定に特化させてもよい。この場合、重み決定部１４２は、重みを決定するためのパラメータと、外部環境を推定するためのパラメータとの、一部を共通化することとなる。なお、この場合、重み決定部１４２における学習は、いわゆる、マルチタスク学習と呼ばれる学習となる。
　そして、重み決定部１４２が、重みの算出と外部環境の推定とにおいて、一部を共通化したディープニューラルネットワークを用いるため、類似した外部環境を用いて学習した判定モデル１１０に対する重みは、類似した重みとなりやすくなる。その結果、状態判定装置１３は、重み決定部１４２における学習を安定させるとの効果を得ることができる。
　ただし、重み決定部１４２は、重みの算出と、外部環境の推定とにおいて、異なる処理を用いてもよい。
　外部環境ロス算出部１７０は、重み学習用の教師データの画像に関連する外部環境を取得する。なお、外部環境の取得元は、任意である。外部環境ロス算出部１７０は、重み学習用の教師データの提供元から、重み学習用の教師データの画像に関連する外部環境を取得してもよい。
　あるいは、外部環境ロス算出部１７０は、重み学習用の教師データを参照して、図示しない装置から外部環境を取得してもよい。例えば、外部環境ロス算出部１７０は、重み学習用の教師データの画像の撮影日時及び場所を参照して、気象データを提供する企業などから天気などの気象データを取得してもよい。
　そして、外部環境ロス算出部１７０は、取得した外部環境と、重み決定部１４２が推定した外部環境との差（ロス）を算出する。なお、以下の説明において、外部環境ロス算出部１７０が算出するロスを、「外部環境ロス」又は「第２のロス」と呼ぶ。
　そして、外部環境ロス算出部１７０は、算出したロス（外部環境ロス）をパラメータ修正部１６１に出力する。
　パラメータ修正部１６１は、ロス算出部１５０が算出したロス（合算ロス）と、外部環境ロス算出部１７０が算出したロス（外部環境ロス）とに基づいて、重み決定部１４２が重みの算出に用いる重み決定式のパラメータを修正する。
　［動作の説明］
　次に、第４の実施形態にかかる状態判定装置１３の動作について、図面を参照して説明する。
　図１２は、第４の実施形態にかかる重み決定部１４２の学習フェーズの動作の一例を示すフロー図である。
　なお、重み決定部１４２は、学習フェーズの動作の前に、重みの初期値として、所定の重み決定式を保存する。
　なお、ステップＳ４２１からＳ４２５、及びＳ４２７は、図１０と同様の動作である。
　状態判定装置１３は、重み学習用の教師データとして画像を取得する（ステップＳ４２１）。
　状態判定装置１３は、重み学習用の教師データの中から、一つの画像を選択する。そして、複数の判定モデル１１０は、それぞれ、選択された画像を用いて道路の状態を判定する（ステップＳ４２２）。そして、判定モデル１１０は、判定の結果を出力合算部１２１に出力する。
　重み決定部１４２は、選択された画像を重み決定式に適用して、重みを決定する（ステップＳ４２３）。
　出力合算部１２１は、重み決定部１４１が決定した重みを用いて、判定モデル１１０の出力を合算する（ステップＳ４２４）。
　ロス算出部１５０は、正解ラベルと、出力合算部１２１の合算の結果とのロス（合算ロス）を算出する（ステップＳ４２５）。
　さらに、重み決定部１４２は、画像を用いて、環境を推定する（ステップＳ４３１）。
　外部環境ロス算出部１７０は、外部環境ロスを算出する（ステップＳ４３２）。
　パラメータ修正部１６１は、ロス算出部１５０が算出したロス（合算ロス）と、外部環境ロス算出部１７０が算出したロス（外部環境ロス）とに基づいて、重み決定部１４２が重みの算出に用いる重み決定式のパラメータを修正する（ステップＳ４３３）。
　状態判定装置１３は、学習が終了であるか否かを判定する（ステップＳ４２７）。具体的には、状態判定装置１３は、所定の終了条件（例えば、いずれかのロス又は両方のロスの値が閾値より小さい、所定回数の実行、又は、重み学習用の教師データの終了）を満足しているか否か判定する。
　終了条件を満足していない場合（ステップＳ４２７でＮｏ）、状態判定装置１３は、ステップＳ４２２に戻る。
　終了条件を満足している場合（ステップＳ４２７でＹｅｓ）、状態判定装置１３は、学習フェーズを終了する。
　なお、状態判定装置１３は、ステップＳ４２２からＳ４２５までの動作と、Ｓ４３１からＳ４３２までの動作との実行の順番を入れ替えてもよい。あるいは、状態判定装置１３は、ステップＳ４２２からＳ４２５までの動作と、Ｓ４３１からＳ４３２までの動作との少なくとも一部を並列に実行してもよい。
　このように、状態判定装置１３は、重み学習用の教師データと外部環境とを用いて、重み決定部１４２が決定する重みを学習する。
　状態判定装置１３は、判定フェーズにおいては、第２の実施形態の状態判定装置１１及び第３の実施形態の状態判定装置１２と同様に動作する。すなわち、状態判定装置１３は、判定フェーズにおいて、判定モデル１１０と、出力合算部１２１と、状態判定部１３０と、重み決定部１４２とを用いて、道路の状態を判定する。
　図８を参照して、状態判定装置１３の判定フェーズの動作を説明する。
　状態判定装置１３は、所定の装置から、判定の対象の道路の画像を取得する（ステップＳ４１１）。
　判定モデル１１０は、道路の画像を用いて道路の状態を出力する（ステップＳ４１２）。
　重み決定部１４２は、学習済みの重み決定式に道路の画像を適用して重みを決定する（ステップＳ４１２）。
　出力合算部１２１は、決定された重みを用いて判定モデル１１０の出力を合算する（ステップＳ４１７）。
　状態判定部１３０は、合算の結果を用いて、道路の状態を判定する（捨てプＳ４１４）。
　状態判定部１３０は、判定の結果（道路の状態）を所定の装置に出力する（ステップＳ４１５）。
　［効果の説明］
　次に、第４の実施形態にかかる状態判定装置１３の効果について説明する。
　第４の実施形態にかかる状態判定装置１３は、第１の実施形態ないし第３の実施形態の効果に加え、判定の精度をさらに向上するとの効果を得ることができる。
　その理由は、次のとおりである。
　重み決定部１４２は、学習フェーズにおいて、重み学習用の教師データに加え、外部環境を用いて、重み決定式のパラメータを学習する。そして、重み決定部１４２は、判定フェーズにおいて、学習した重み決定式を用いて重みを決定する。
　出力合算部１２１は、決定された重みを用いて、判定モデル１１０の出力を合算する。つまり、出力合算部１２１は、重み学習用の教師データに加え、外部環境を用いて学習された重みを用いて出力を合算する。そのため、出力合算部１２１は、より適切な合算を実行できる。
　その結果、状態判定装置１３は、道路の状態の判定の精度をより向上できる。
　［システム］
　図１３は、第４の実施形態にかかる状態判定装置１３を含む状態判定システム５１の構成の一例を示すブロック図である。
　状態判定システム５１は、状態判定装置１３と、撮影装置２０及び／又は画像保存装置２５と、表示装置３０と、情報提供装置４０とを含む。
　撮影装置２０、画像保存装置２５、及び、表示装置３０は、第１の実施形態と同様である。そのため、それらの詳細な説明を省略する。
　情報提供装置４０は、外部環境を、状態判定装置１３に出力する。なお、撮影装置２０が、少なくとも一部の外部環境を、状態判定装置１３に出力してもよい。
　状態判定装置１３が、外部環境を、情報提供装置４０及び撮影装置２０のどちらから取得するかは、利用者などが、適宜決定すればよい。
　そして、状態判定装置１３は、すでに説明したように動作し、判定の結果として道路の状態を表示装置３０に出力する。
　＜第５の実施形態＞
　図面を参照して、第５の実施形態を説明する。
　［構成の説明］
　図１４は、第５の実施形態にかかる状態判定装置１４の構成の一例を示す図である。
　状態判定装置１４は、複数の判定モデル１１０と、出力合算部１２０とを含む。判定モデル１１０は、第１の実施形態ないし第４の実施形態の判定モデル１１０と同様である。出力合算部１２０は、第１の実施形態の出力合算部１２０と同様である。
　状態判定装置１４の各構成は、第１の実施形態の状態判定装置１０などにおける対応する構成と同様に動作する。
　なお、状態判定装置１４は、図５に示されているコンピュータを用いて構成されてもよい。あるいは、状態判定システム５０は、状態判定装置１０ないし１２に替えて、状態判定装置１４を含んでもよい。
　［効果の説明］
　状態判定装置１４は、道路に関する状態の判定の精度を向上するとの効果を奏する。
　その理由は、次の通りである。
　状態判定装置１４は、複数の判定モデル１１０と、出力合算部１２０とを含む。判定モデル１１０は、道路の画像を取得する撮影装置を搭載した移動体の状態、道路の状態、及び、外部環境の少なくともいずれか一つが異なる教師データを用いてそれぞれ学習された判定モデルである。出力合算部１２０は、入力された道路の画像に対する複数の判定モデルからの出力を合算する。
　このように、状態判定装置１４の各構成は、第１の実施形態の状態判定装置１０などにおける対応する構成と同様に動作する。すなわち、状態判定装置１４の出力合算部１２０は、所定の手法を用いて、複数の判定モデル１１０の判定の結果を合算する。そのため、状態判定装置１４は、一つのモデルを用いる場合に比べ、より精度の高い道路の状態を出力できる。
　なお、利用者は、道路の状態として、状態判定装置１４における出力合算部１２０の合算結果を用いてもよい。あるいは、利用者は、道路の状態を詳細に判定する図示しない装置に、状態判定装置１４の出力を提供して、道路の状態を判定してもよい。
　なお、第５の実施形態にかかる状態判定装置１４は、各実施形態における最小構成である。
　上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
　（付記１）
　道路の画像を取得する撮影装置を搭載した移動体の状態、道路の状態、及び、外部環境の少なくともいずれか一つが異なる教師データを用いてそれぞれ学習された複数の判定モデルと、
　入力された道路の画像に対する複数の判定モデルからの出力を合算する出力合算手段と
　を含む状態判定装置。
　（付記２）
　出力合算手段における合算の結果に基づいて道路の状態を判定して出力する状態判定手段
　を含む付記１に記載の状態判定装置。
　（付記３）
　移動体の状態、道路の状態、及び、外部環境の少なくとも一つが相互に異なる道路の画像を含む複数の教師データを用いて複数の判定モデルをそれぞれ学習させる
　付記１又は２に記載の状態判定装置。
　（付記４）
　入力された道路の画像に対応して、複数の判定モデルの出力を合算するために用いる重みを決定する重み決定手段をさらに含み、
　出力合算手段が、決定された重みを用いて複数の判定モデルの出力を合算する
　付記１ないし３のいずれか１項に記載の状態判定装置。
　（付記５）
　重み決定手段が、重み学習用の教師データを用いて、重みを決定するためのパラメータを学習する
　付記４に記載の状態判定装置。
　（付記６）
　重み決定手段が、さらに、外部環境に対応して、重みを決定するパラメータを学習する
　付記５に記載の状態判定装置。
　（付記７）
　付記１ないし５のいずれか１項に記載の状態判定装置と、
　判定対象の道路の画像を取得して状態判定装置に出力する撮影装置、及び／又は、判定対象の道路の画像を保存する記憶装置と、
　状態判定装置が出力する道路の状態を表示する表示装置と
　を含む状態判定システム。
　（付記８）
　付記６に記載の状態判定装置と、
　判定対象の道路の画像を撮影して状態判定装置に出力する撮影装置、及び／又は、判定対象の道路の画像を保存する記憶装置と、
　状態判定装置に外部環境を出力する情報提供装置と、
　状態判定装置が出力する道路の状態を表示する表示装置と
　を含む状態判定システム。
　（付記９）
　道路の画像を取得する撮影装置を搭載した移動体の状態、道路の状態、及び、外部環境の少なくともいずれか一つが異なる教師データを用いてそれぞれ学習された複数の判定モデルを含む状態判定装置が、
　入力された道路の画像に対する複数の判定モデルからの出力を合算する
　状態判定方法。
　（付記１０）
　合算の結果に基づいて道路の状態を判定する
　付記９に記載の状態判定方法。
　（付記１１）
　移動体の状態、道路の状態、及び、外部環境の少なくとも一つが相互に異なる道路の画像を含む複数の教師データを用いて複数の判定モデルをそれぞれ学習させる
　付記９又は１０に記載の状態判定方法。
　（付記１２）
　入力された道路の画像に対応して、複数の判定モデルの出力を合算するために用いる重みを決定し、
　決定された重みを用いて複数の判定モデルの出力を合算する
　付記９ないし１１のいずれか１項に記載の状態判定方法。
　（付記１３）
　重み学習用の教師データを用いて、重みを決定するためのパラメータを学習する
　付記１２に記載の状態判定方法。
　（付記１４）
　さらに、外部環境に対応して、重みを決定するパラメータを学習する
　付記１３に記載の状態判定方法。
　（付記１５）
　状態判定装置が、付記９ないし１３のいずれか１項に記載の状態判定方法を実行し、
　撮影装置が、判定対象の画像を取得して状態判定装置に出力し、及び／又は、記憶装置が、判定対象の画像を保存し、
　表示装置が、状態判定装置が出力する道路の状態を表示する
　状態判定方法。
　（付記１６）
　状態判定装置が、付記１４に記載の状態判定方法を実行し、
　撮影装置が、判定対象の道路の画像を取得して状態判定装置に出力し、及び／又は、記憶装置が、判定対象の画像を保存し、
　情報提供装置が、状態判定装置に外部環境を出力し、
　表示装置が、状態判定装置が出力する道路の状態を表示する
　状態判定方法。
　（付記１７）
　道路の画像を取得する撮影装置を搭載した移動体の状態、道路の状態、及び、外部環境の少なくともいずれか一つが異なる教師データを用いてそれぞれ学習された複数の判定モデルを含むコンピュータに、
　入力された道路の画像に対する複数の判定モデルからの出力を合算する処理
　を実行させるプログラムを記録する記録媒体。
　（付記１８）
　合算の結果に基づいて道路の状態を判定する処理
　をコンピュータに実行させるプログラムを記録する付記１７に記載の記録媒体。
　（付記１９）
　移動体の状態、道路の状態、及び、外部環境の少なくとも一つが相互に異なる道路の画像を含む複数の教師データを用いて複数の判定モデルをそれぞれ学習させる処理
　をコンピュータに実行させるプログラムを記録する付記１７又は１８に記載の記録媒体。
　（付記２０）
　入力された道路の画像に対応して、複数の判定モデルの出力を合算するために用いる重みを決定する処理と、
　決定された重みを用いて複数の判定モデルの出力を合算する処理と
　をコンピュータに実行させるプログラムを記録する付記１７ないし１９のいずれか１項に記載の記録媒体。
　（付記２１）
　重み学習用の教師データを用いて、重みを決定するためのパラメータを学習する処理
　をコンピュータに実行させるプログラムを記録する付記２０に記載の記録媒体。
　（付記２２）
　さらに、外部環境に対応して、重みを決定するパラメータを学習する処理
　をコンピュータに実行させるプログラムを記録する付記２１に記載の記録媒体。
　以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる
１０　状態判定装置
１１　状態判定装置
１２　状態判定装置
１３　状態判定装置
２０　撮影装置
２５　画像保存装置
３０　表示装置
４０　情報提供装置
５０　状態判定システム
５１　状態判定システム
１１０　判定モデル
１２０　出力合算部
１２１　出力合算部
１３０　状態判定部
１４０　重み決定部
１４１　重み決定部
１４２　重み決定部
１５０　ロス算出部
１６０　パラメータ修正部
１６１　パラメータ修正部
１７０　外部環境ロス算出部
６１０　ＣＰＵ
６２０　ＲＯＭ
６３０　ＲＡＭ
６４０　記憶装置
６５０　ＮＩＣ
６９０　記録媒体
８１０　車両
８２０　ドライブレコーダー
８３０　無線通信路
８４０　無線基地局
８５０　ネットワーク

Claims (22)

  1. 　道路の画像を取得する撮影装置を搭載した移動体の状態、道路の状態、及び、外部環境の少なくともいずれか一つが異なる教師データを用いてそれぞれ学習された複数の判定モデルと、
    　入力された道路の画像に対する複数の前記判定モデルからの出力を合算する出力合算手段と
    　を含む状態判定装置。
  2. 　前記出力合算手段における合算の結果に基づいて道路の状態を判定して出力する状態判定手段
    　を含む請求項１に記載の状態判定装置。
  3. 　移動体の状態、道路の状態、及び、外部環境の少なくとも一つが相互に異なる道路の画像を含む複数の教師データを用いて複数の前記判定モデルをそれぞれ学習させる
    　請求項１又は２に記載の状態判定装置。
  4. 　入力された道路の画像に対応して、複数の前記判定モデルの出力を合算するために用いる重みを決定する重み決定手段をさらに含み、
    　前記出力合算手段が、決定された前記重みを用いて複数の前記判定モデルの出力を合算する
    　請求項１ないし３のいずれか１項に記載の状態判定装置。
  5. 　前記重み決定手段が、前記重み学習用の教師データを用いて、前記重みを決定するためのパラメータを学習する
    　請求項４に記載の状態判定装置。
  6. 　前記重み決定手段が、さらに、外部環境に対応して、前記重みを決定する前記パラメータを学習する
    　請求項５に記載の状態判定装置。
  7. 　請求項１ないし５のいずれか１項に記載の状態判定装置と、
    　判定対象の道路の画像を取得して前記状態判定装置に出力する撮影装置、及び／又は、判定対象の道路の画像を保存する記憶装置と、
    　前記状態判定装置が出力する道路の状態を表示する表示装置と
    　を含む状態判定システム。
  8. 　請求項６に記載の状態判定装置と、
    　判定対象の道路の画像を撮影して前記状態判定装置に出力する撮影装置、及び／又は、判定対象の道路の画像を保存する記憶装置と、
    　前記状態判定装置に外部環境を出力する情報提供装置と、
    　前記状態判定装置が出力する道路の状態を表示する表示装置と
    　を含む状態判定システム。
  9. 　道路の画像を取得する撮影装置を搭載した移動体の状態、道路の状態、及び、外部環境の少なくともいずれか一つが異なる教師データを用いてそれぞれ学習された複数の判定モデルを含む状態判定装置が、
    　入力された道路の画像に対する複数の前記判定モデルからの出力を合算する
    　状態判定方法。
  10. 　合算の結果に基づいて道路の状態を判定する
    　請求項９に記載の状態判定方法。
  11. 　移動体の状態、道路の状態、及び、外部環境の少なくとも一つが相互に異なる道路の画像を含む複数の教師データを用いて複数の前記判定モデルをそれぞれ学習させる
    　請求項９又は１０に記載の状態判定方法。
  12. 　入力された道路の画像に対応して、複数の前記判定モデルの出力を合算するために用いる重みを決定し、
    　決定された前記重みを用いて複数の前記判定モデルの出力を合算する
    　請求項９ないし１１のいずれか１項に記載の状態判定方法。
  13. 　前記重み学習用の教師データを用いて、前記重みを決定するためのパラメータを学習する
    　請求項１２に記載の状態判定方法。
  14. 　さらに、外部環境に対応して、前記重みを決定する前記パラメータを学習する
    　請求項１３に記載の状態判定方法。
  15. 　状態判定装置が、請求項９ないし１３のいずれか１項に記載の状態判定方法を実行し、
    　撮影装置が、判定対象の画像を取得して前記状態判定装置に出力し、及び／又は、記憶装置が、判定対象の画像を保存し、
    　表示装置が、前記状態判定装置が出力する道路の状態を表示する
    　状態判定方法。
  16. 　状態判定装置が、請求項１４に記載の状態判定方法を実行し、
    　撮影装置が、判定対象の道路の画像を取得して前記状態判定装置に出力し、及び／又は、記憶装置が、判定対象の画像を保存し、
    　情報提供装置が、前記状態判定装置に外部環境を出力し、
    　表示装置が、前記状態判定装置が出力する道路の状態を表示する
    　状態判定方法。
  17. 　道路の画像を取得する撮影装置を搭載した移動体の状態、道路の状態、及び、外部環境の少なくともいずれか一つが異なる教師データを用いてそれぞれ学習された複数の判定モデルを含むコンピュータに、
    　入力された道路の画像に対する複数の前記判定モデルからの出力を合算する処理
    　を実行させるプログラムを記録する記録媒体。
  18. 　合算の結果に基づいて道路の状態を判定する処理
    　をコンピュータに実行させるプログラムを記録する請求項１７に記載の記録媒体。
  19. 　移動体の状態、道路の状態、及び、外部環境の少なくとも一つが相互に異なる道路の画像を含む複数の教師データを用いて複数の前記判定モデルをそれぞれ学習させる処理
    　をコンピュータに実行させるプログラムを記録する請求項１７又は１８に記載の記録媒体。
  20. 　入力された道路の画像に対応して、複数の前記判定モデルの出力を合算するために用いる重みを決定する処理と、
    　決定された前記重みを用いて複数の前記判定モデルの出力を合算する処理と
    　をコンピュータに実行させるプログラムを記録する請求項１７ないし１９のいずれか１項に記載の記録媒体。
  21. 　前記重み学習用の教師データを用いて、前記重みを決定するためのパラメータを学習する処理
    　をコンピュータに実行させるプログラムを記録する請求項２０に記載の記録媒体。
  22. 　さらに、外部環境に対応して、前記重みを決定する前記パラメータを学習する処理
    　をコンピュータに実行させるプログラムを記録する請求項２１に記載の記録媒体。
PCT/JP2020/043471 2020-11-20 2020-11-20 状態判定装置、状態判定システム、状態判定方法、及び、記録媒体 WO2022107330A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2020/043471 WO2022107330A1 (ja) 2020-11-20 2020-11-20 状態判定装置、状態判定システム、状態判定方法、及び、記録媒体
JP2022563539A JPWO2022107330A5 (ja) 2020-11-20 状態判定装置、状態判定システム、状態判定方法、及び、プログラム
US18/036,354 US20230419687A1 (en) 2020-11-20 2020-11-20 State determination device, state determination method and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/043471 WO2022107330A1 (ja) 2020-11-20 2020-11-20 状態判定装置、状態判定システム、状態判定方法、及び、記録媒体

Publications (1)

Publication Number Publication Date
WO2022107330A1 true WO2022107330A1 (ja) 2022-05-27

Family

ID=81708704

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/043471 WO2022107330A1 (ja) 2020-11-20 2020-11-20 状態判定装置、状態判定システム、状態判定方法、及び、記録媒体

Country Status (2)

Country Link
US (1) US20230419687A1 (ja)
WO (1) WO2022107330A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04328669A (ja) * 1991-04-26 1992-11-17 Toyo Electric Mfg Co Ltd 統合ニューラルネットワーク及びその学習方式
JP2007136430A (ja) * 2005-11-22 2007-06-07 Kochi Univ Of Technology いりこ等の選別方法とその装置
JP2009282783A (ja) * 2008-05-22 2009-12-03 Fuji Heavy Ind Ltd リスク融合認識システム
JP2018147261A (ja) * 2017-03-06 2018-09-20 Kddi株式会社 モデル統合装置、モデル統合システム、方法およびプログラム
JP2020013537A (ja) * 2018-04-25 2020-01-23 トヨタ自動車株式会社 路面状態推定装置及び路面状態推定方法
JP2020147961A (ja) * 2019-03-12 2020-09-17 東芝インフラシステムズ株式会社 道路維持管理システム、舗装種別判定装置、舗装劣化判定装置、修繕優先度判定装置、道路維持管理方法、舗装種別判定方法、舗装劣化判定方法、修繕優先度判定方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04328669A (ja) * 1991-04-26 1992-11-17 Toyo Electric Mfg Co Ltd 統合ニューラルネットワーク及びその学習方式
JP2007136430A (ja) * 2005-11-22 2007-06-07 Kochi Univ Of Technology いりこ等の選別方法とその装置
JP2009282783A (ja) * 2008-05-22 2009-12-03 Fuji Heavy Ind Ltd リスク融合認識システム
JP2018147261A (ja) * 2017-03-06 2018-09-20 Kddi株式会社 モデル統合装置、モデル統合システム、方法およびプログラム
JP2020013537A (ja) * 2018-04-25 2020-01-23 トヨタ自動車株式会社 路面状態推定装置及び路面状態推定方法
JP2020147961A (ja) * 2019-03-12 2020-09-17 東芝インフラシステムズ株式会社 道路維持管理システム、舗装種別判定装置、舗装劣化判定装置、修繕優先度判定装置、道路維持管理方法、舗装種別判定方法、舗装劣化判定方法、修繕優先度判定方法

Also Published As

Publication number Publication date
JPWO2022107330A1 (ja) 2022-05-27
US20230419687A1 (en) 2023-12-28

Similar Documents

Publication Publication Date Title
US10453256B2 (en) Lane boundary detection data generation in virtual environment
US11263726B2 (en) Method, apparatus, and system for task driven approaches to super resolution
EP3706072B1 (en) Method, apparatus, and system for detecting degraded ground paint in an image
CN110155053A (zh) 提供用于驾驶车辆的信息的方法和设备
US9823085B2 (en) System for calculating routes
CN115686005A (zh) 训练自动驾驶系统的虚拟模型的系统及计算机执行方法
CN109644144A (zh) 无线网络优化
US20120271864A1 (en) Method for assisted road extrapolation from imagery
JP2019196680A (ja) 舗装情報収集点検システム、舗装情報収集点検方法、及びプログラム
US11182607B2 (en) Method, apparatus, and system for determining a ground control point from image data using machine learning
CN108831183A (zh) 基于机器视觉的停车场管理系统
JP5500388B2 (ja) 撮影位置特定システム、撮影位置特定プログラム、及び撮影位置特定方法
WO2021186989A1 (ja) 劣化診断装置、劣化診断システム、劣化診断方法、及び、記録媒体
US12202472B2 (en) Apparatus and methods for predicting a state of visibility for a road object based on a light source associated with the road object
Neuhold et al. Predicting and optimizing traffic flow at toll plazas
WO2019239477A1 (ja) 地図生成装置および地図生成システム
US20230360407A1 (en) Method, apparatus, and computer program product for map data generation from probe data imagery
KR102227649B1 (ko) 자율주행 기능 검증을 위한 데이터베이스를 이용한 자율주행 검증장치 및 방법
CN106504210A (zh) 一种modis影像数据缺失修复方法
WO2022107330A1 (ja) 状態判定装置、状態判定システム、状態判定方法、及び、記録媒体
US10489923B2 (en) Estimating conditions from observations of one instrument based on training from observations of another instrument
Burghardt et al. Contrast ratio of road markings in Poland-evaluation for machine vision applications based on naturalistic driving study
JP7468711B2 (ja) 教師データ生成装置、教師データ生成方法、及び、プログラム
CN114252085A (zh) 一种导航处理方法、装置以及设备
US20230358564A1 (en) Method, apparatus, and computer program product for probe data-based geometry generation

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20962492

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022563539

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 18036354

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20962492

Country of ref document: EP

Kind code of ref document: A1