KR102198296B1 - 자동으로 사고 차량의 파손 정도를 산출하는 장치, 방법 및 컴퓨터 프로그램 - Google Patents

Abstract

본 명세서에 따르면, 장치가 라벨링되어 입력된 하나 이상의 이미지 세트를 통해서 학습된 알고리즘을 이용하여, 사고 차량을 촬영한 하나 이상의 이미지를 사고 차량의 파손 부위와 대응되는 객체 영역들을 검출하는 단계; 상기 장치가 사고 차량의 각 부품과 대응되어 검출된 객체 영역들의 라벨을 결정하고, 라벨링 하는 단계; 상기 장치가 라벨링된 각 객체영역을 CNN(Convolutional neural network) 레이어를 통해서 채택된 방법으로 필터링하고, 필터링된 이미지들을 기초로 결과 데이터인 파손 정도로부터 추론된 파손 레벨 및 매칭 확률의 크기 순서로 배열된 파손 레벨 리스트를 생성하는 단계; 상기 파손 레벨 리스트에서 가장 높은 순위에 있는 파손 레벨로 결정하는 단계;를 포함하는 자동으로 사고 차량의 파손 정도를 산출하는 방법을 개시한다.

Description

자동으로 사고 차량의 파손 정도를 산출하는 장치, 방법 및 컴퓨터 프로그램{APPARATUS, METHOD AND COMPUTER PROGRAM FOR AUTOMATICALLY CALCULATING THE DAMAGE}

본 발명의 실시예는 자동으로 사고 차량의 파손 정도를 산출하는 장치, 방법 및 컴퓨터 프로그램에 관한 것이다.

최근 들어, 자동차는 사람들의 이동수단, 운송수단 및 생활공간으로써 자동차의 활용도가 높아지고 있다. 과거에는 단순 이동 및 운송수단으로서의 기능을 하는 자동차의 형태였다면, 최근에는 생활공간으로서의 기능을 하는 자동차의 형태로 변화하고 있다. 이를 통해 도시공간의 활용도를 높일 수 있으며, 대표적인 예로는 캠핑카, 푸드트럭 등이 있다.

또한, 한 가구당 한 대 또는 한 대 이상의 차량을 보유하는 경우가 빈번해지고 있다. 이에 따라 자동차의 사용량이 크게 증가하여, 편리성의 증대와 함께 사고 보상의 중요성이 대두되고 있다.

자동차 사고가 발생되면, 자동차를 수리하는 공업사의 확인을 통해서 사고에 대한 손해가 산정되는 것이 일반적이다.

파손된 차량을 공업사로 이동시키고 견적 시스템을 통해 수리비를 청구하고, 손해 사정 담당자가 일일이 청구 내역, 손상 사진, 수리중 사진, 수리 완료 사진 등을 확인하여 손해 사정을 진행하고, 최종적으로 손해사정내역을 전산 시스템으로 전송하여 수리비를 지급한 후 종결하였다. 이 과정에서 발생한 손해사정 내역 및 이미지 파일은 서버에 별도로 저장되어 둘 사이의 상관 관계를 알 수 없었다.

본 발명의 실시예들에 따르면, 이미지로부터 차량 부위 및 차량 부위 별 파손 레벨을 산출하는 알고리즘을 업데이트함으로써, 파손 정도의 정확도를 높이는 자동으로 사고 차량의 파손 정도를 산출하는 장치, 방법 및 컴퓨터 프로그램이 제공될 수 있다.

본 발명의 실시예들에 따른 자동 손해 산정 방법은 자동 손해 산정 장치가 사용자 단말기로부터 사고 차량을 촬영한 전체 이미지 및 사고 부위를 촬영한 부분 이미지를 수신하는 단계; 상기 전체 이미지 및 기 저장된 표준 차량 이미지들을 이용하여, 상기 사고 차량의 차종 및 연식을 결정하는 단계; 부분 검출 알고리즘을 이용하여 상기 전체 이미지 및 상기 부분 이미지에 포함된 파손 부위들을 검출하는 단계; 파손 결정 알고리즘을 이용하여 상기 파손 부위 각각에 대한 파손 레벨을 결정하는 단계; 및 기 저장된 테이블을 이용하여 상기 파손 부위 및 파손 부위 별 파손 레벨, 상기 차명, 상기차량 모델, 상기 연식, 상기 도장 코트 등을 고려하여 상기 사고 차량에 대한 작업 정보들을 생성하고, 상기 작업 정보들과 관련된 세부 작업들을 획득하고, 상기 세부 작업들의 표준화된 작업시간 적용 및 업체별 개별 계약으로 이루어진 정비수가를 반영하여 자동 견적서를 생성하고, 상기 자동 견적서를 상기 사용자 단말기로 제공하는 단계;를 포함할 수 있다.

상기 자동 손해 산정 방법은 상기 자동 견적서를 상기 사고 차량이 이동된 공업사 단말기로 전달하는 단계;를 더 포함할 수 있다.

상기 자동 손해 산정 방법은 상기 자동 견적서에 대한 적합성, 상기 자동 견적서에 포함된 세부 작업에 대한 적합성, 상기 세부 작업의 비용에 대한 적합성을 수신 받는 단계; 및 수신한 적합성들을 고려하여, 자동 견적서를 생성하는 로직을 수정하는 단계;를 포함할 수 있다.

상기 자동 손해 산정 방법은 상기 사용자 단말기의 식별 정보를 기초로 상기 사용자 단말기의 소유 차량 정보를 획득하고, 상기 소유 차량 정보와 촬영된 이미지를 통해 획득된 차종 및 연식 사이의 일치 여부를 판단하고, 일치한 경우에만 자동 견적서를 생성하도록 제어하는 점을 특징으로 할 수 있다.

상기 자동 손해 산정 방법은 상기 촬영된 이미지를 통해서 결정된 하나 이상의 파손 부위 중에서, 사고 시점 이전에 촬영된 이미지에서 발견된 제1 파손 부위가 검출된 경우, 제1 파손 부위에 대한 추가 검증을 요청하는 점을 특징으로 할 수 있다.

상기 추가 검증은 1차적으로는 차량 소유주의 단말기 또는 차량의 보험사 직원의 단말기로 전달되며, 제1 파손 부위가 소유주의 부주의로 된 것으로 판단된 경우, 제1 파손 부위에 대한 수리 견적을 상기 자동 견적서에서 제외하도록 하는 점을 특징으로 할 수 있다.

상기 자동 손해 산정 장치는 자동적으로 인식된 파손 레벨에 따른 수리가 이루어질 수 있도록 공업사의 단말기로 작업 내역들을 상세 리스트를 제공하는 점을 특징으로 할 수 있다.

상기 부분 검출 알고리즘 또는 상기 파손 결정 알고리즘은 외부의 관리 서버에 의해 업데이트되며, 관리 서버에서 전송된 신호에 의해 갱신되는 점을 특징으로 할 수 있다.

상기 자동 견적서는 표준 수리인정기준에 의해 결정될 수 있으며, 표준 수리인정기준은 사용자 단말기들 중 적어도 하나 이상의 단말기로부터 다수의 정정 요청들이 수신된 경우, 소정의 정정 절차를 통해 갱신되도록 설정되는 점을 특징으로 할 수 있다.

본 발명의 실시예들에 따른 자동으로 파손 정도를 산출하는 방법은 라벨링되어 입력된 하나 이상의 이미지 세트를 통해서 학습된 알고리즘을 이용하여, 사고 차량을 촬영한 하나 이상의 이미지를 사고 차량의 파손 부위와 대응되는 객체 영역들을 검출하는 단계; 사고 차량의 각 부품과 대응되어 검출된 객체 영역들의 라벨을 결정하고, 라벨링 하는 단계; 라벨링된 각 객체영역을 CNN 레이어를 통해서 채택된 방법으로 필터링하고, 필터링된 이미지들을 기초로 결과 데이터인 파손 정도로부터 추론된 파손 레벨 및 매칭 확률의 크기 순서로 배열된 파손 레벨 리스트를 생성하는 단계; 상기 파손 레벨 리스트에서 가장 높은 순위에 있는 파손 레벨로 결정하는 단계;를 포함할 수 있다.

상기 객체 영역들을 검출하는 단계는 상기 하나 이상의 이미지 세트에서, 상기 사고 차량의 범퍼, 휀더, 도어로 인식되는 영역들을 포함하도록 객체 영역들을 검출하되, 범퍼, 휀더, 및 도어의 불규칙한 경계선과 일치하도록 검출되는 점을 특징으로 할 수 있다.

상기 라벨링된 객체 영역은 소벨 마스크 또는 canny edge detector 중 적어도 하나의 필터로 필터링되는 점을 특징으로 할 수 있다.

상기 라벨링된 객체 영역은 필터링 후에, 균일화 알고리즘에 의해서 명암도가 균일화되는 점을 특징으로 할 수 있다.

각 객체 영역의 파손 레벨은 정상, 판금 0.5, 판금 1, 판금 1.5, 판금 2, 교환 중 하나로 설정되나 이에 한정되지 않는다. 상기 파손 레벨 리스트는 정상, 판금 0.5, 판금 1, 판금 1.5, 판금 2, 교환에 대한 매칭 확률의 크기 순서로 배열되며, 가장 높은 매칭 확률을 가지는 파손 레벨을 최선순위로 제공하는 점을 특징으로 할 수 있다.

본 발명의 실시예들에 따른 자동으로 파손 정도를 산출하는 방법은 입력된 하나 이상의 이미지에 대한 파손 부위의 에러 여부를 산출하고, 에러 정도가 기 설정된 제1 값을 초과하는 경우, 사고 차량의 이미지를 라벨링하여 다시 학습 시키는 단계;를 더 포함할 수 있다.

본 발명의 실시예들에 따른 자동으로 파손 정도를 산출하는 방법은 파손 레벨의 에러 정도를 입력 받고, 상기 에러 정도가 기 설정된 제2 값을 초과하는 경우, 파손된 부분과 대응되는 객체 영역 및 파손 레벨을 다시 학습시키는 단계;를 더 포함할 수 있다.

본 발명의 실시예에 따른 컴퓨터 프로그램은 컴퓨터를 이용하여 본 발명의 실시예에 따른 자동으로 사고 차량의 파손 정도를 산출하는 방법 중 어느 하나의 방법을 실행시키기 위하여 매체에 저장될 수 있다.

이 외에도, 본 발명을 구현하기 위한 다른 방법, 다른 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 컴퓨터 판독 가능한 기록 매체가 더 제공된다.

전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해 질 것이다.

본 발명의 실시예들에 따르면, 이미지로부터 차량 부위 및 차량 부위 별 파손 레벨을 산출하는 알고리즘을 업데이트함으로써, 파손 정도의 정확도를 높이는 자동으로 사고 차량의 파손 정도를 산출할 수 있다.

도 1은 본 발명의 실시예들에 따른 자동 손해 산정 시스템의 구조를 나타내는 블록도이다.
도 2는 본 발명의 실시예들에 따른 자동 손해 산정 장치의 구조를 나타내는 블록도이다.
도 3은 파손 레벨 결정부의 구조를 나타내는 블록도이다.
도 4는 본 발명의 실시예들에 따른 관리 서버의 구조를 나타내는 도면이다.
도 5는 본 발명의 실시예들에 따른 자동 손해 산정 방법의 흐름도이다.
도 6 내지 도 8는 본 발명의 실시예들에 따른 파손 레벨 결정 방법의 흐름도들이다.
도 9는 자동 손해 산정 장치에 의해 인식된 파손 부분들을 표현한 예시 도면이다.
도 10은 본 발명의 실시예들에 따른 자동 손해 산정 장치에서 제공하는 파손 레벨 리스트의 예시 도면이다.
도 11 및 도 12은 자동 손해 산정 장치의 파손 레벨 결정부에서 수행되는 이미지 전처리 과정을 설명하는 도면이다.
도 13은 자동 손해 산정 장치에 의해 자동 생성된 견적서 및 공업사 실제 견적서를 비교한 화면의 예시 도면이다.
도 14은 이미지를 통해서 획득된 결과 데이터의 예시 도면이다.
도 15a, 도 15b, 도 15c는 자동 손해 산정 장치에서 이용하는 표준 수리인정기준의 예시 도면이다.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 본 발명의 효과 및 특징, 그리고 그것들을 달성하는 방법은 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있다.

본 발명의 실시예들에 따르면, 자동 손해 산정 시스템은 사고 차량의 이미지를 분석하여 자동적으로 수리비를 산정하여 자동 견적서를 생성할 수 있다. 자동 손해 산정 시스템은 이미지 인식 기술 및 표준 수리인정기준에 따라서 사고 차량을 인도 받은 공업사의 단말기로 자동 견적서를 전송함으로써 과도한 수리 내역의 추가가 발생되지 않도록 할 수 있다. 사고 차량에 대한 표준 수리 내역을 제공함으로써, 자동차 보험료의 증가를 제한할 수 있다. 자동 손해 산정 시스템은 사고 차량의 이미지 만으로, 차량 부위 및 차량 부위 별 파손 레벨 등을 정확하게 검출할 수 있다. 자동 손해 산정 시스템은 자동차 보험사와 연계하여 사고 처리를 하도록 도와준다. 자동 손해 산정 시스템은 육안으로 판단되던 파손 정도 및 파손에 따른 견적을 사고 차량의 이미지를 통해 자동적으로 생성하여 제공할 수 있다. 표준화된 사고 차량의 수리 견적서가 생성되어 비용이 예측 불가능하게 청구되는 것을 방지할 수 있다.

도 1은 본 발명의 실시예들에 따른 자동 손해 산정 시스템의 구조를 나타내는 블록도이다.

자동 손해 산정 시스템(10)은 사용자 단말기(100, 400), 자동 손해 산정 장치(200), 관리 서버(300)를 포함할 수 있다.

자동 손해 산정 장치(200)는 사고 차량의 소유자 또는 보험사 직원의 단말기(100)로부터 자동 견적서 요청 신호를 수신하게 되면, 사고 차량을 촬영하는 기능이 자동적으로 실행되도록 제어할 수 있다. 자동 손해 산정 시스템(10)은 카메라의 미리 보기 화면에서, 사고 차량을 스캔하는 과정을 수행하고, 스캔하는 과정에서 이미지들을 촬영하여 수신할 수 있다.

자동 손해 산정 장치(200)는 사용자의 자동 견적서 요청 신호에 따라 사고 차량의 자동 견적서를 생성할 수 있다. 자동 손해 산정 장치(200)는 사고 차량 및 사고 차량의 이미지들로부터 차종, 연식, 사고 부위, 차량 부위를 판단하고, 최종적으로 사고 차량의 파손 레벨을 산출하게 된다. 자동 손해 사정 장치(200)는 사고 차량의 파손 레벨을 기초로 자동 견적서를 생성할 수 있다. 생성된 자동 견적서는 사고 차량의 처리 및 이력 관리를 위해서 관리 서버(300)로 제공되거나 사고 차량이 적정한 손해 사정으로 처리하기 위해서 공업사의 단말기(400)로 제공할 수 있다.

자동 손해 사정 장치(200)는 손해사정 담당자들에 의해 이루어진 종결된 내역을 이용하여 파손레벨 결정부 또는 자동견적서 생성부를 학습시킬 수 있다.

사용자 단말기(100, 400)는 차량 소유자, 보험사 직원, 공업사의 단말기 등과 같이 사고 차량과 관련된 사용자가 구비하고 있는 전자 장치로서, 통신망(network)를 통해 자동 손해 산정 장치(200) 및 관리 서버(300)와 연결될 수 있다. 사용자 단말기(100, 400)는 자동 손해 산정 장치(200)에 의해 처리된 정보를 제공 받을 수 있고, 관리 서버(300)로 데이터를 입력할 수 있다.

사고 차량(101)의 블랙박스 또는 센서에 의해 충격 등과 함께 사고가 감지되면, 사고 감지 신호가 사용자 단말기(100)에 의해 생성되고, 사용자 단말기(100)는 사고 감지 신호를 자동 손해 산정 장치(200)로 전달할 수 있다. 이와 같은 과정으로 사고 감지 신호를 수신한 자동 손해 산정 장치(200)는 사용자 단말기를 통해서 사고 차량의 이미지를 획득할 수 있다.

도 1에는 사용자 단말기(100, 400)이 각각 단수로 도시되어 있으나, 복수개의 사용자 단말기들이 자동 손해 산정 장치(200) 및 관리 서버(300)와 연결될 수 있다.

사용자 단말기(100, 400)는 유무선 통신 환경에서 데이터를 송수신할 수 있는 통신 단말기를 의미한다. 여기서, 사용자 단말기(100, 400)는 사용자의 퍼스널 컴퓨터 일 수도 있고, 사용자의 휴대용 단말기일 수도 있다. 도 1에서는 휴대용 단말기가 스마트폰으로 도시되었지만 본 발명의 사상은 이에 제한되지 아니하며 상술한 바와 같이 통신망과 연결이 가능한 프로그램이 탑재되거나 통신 모듈과 연결된 단말은 제한 없이 차용될 수 있다.

이를 더욱 상세히 설명하면, 사용자 단말기(100, 400)들은 컴퓨터(예를 들면, 데스크톱, 랩톱, 태블릿 등), 미디어 컴퓨팅 플랫폼(예를 들면, 케이블, 위성 셋톱박스, 디지털 비디오 레코더), 핸드헬드 컴퓨팅 디바이스(예를 들면, PDA, 이메일 클라이언트 등), 핸드폰의 임의의 형태 또는 다른 종류의 컴퓨팅 또는 커뮤니케이션 플랫폼의 임의의 형태를 포함할 수 있으나, 본 발명이 이에 한정되는 것은 아니다.

자동 손해 산정 장치(200)는 사고 차량의 이미지들로부터 각 사고의 차량의 차량 부위를 검출하고, 차량 부위 별 파손 레벨을 추론하고, 추론된 내용들을 표준 수리인정 기준에 적용하여 자동 견적서를 산출할 수 있다.

종래의 자동 손해 사정 장치(200)는 범퍼 교환, 범퍼 판급 2시간, 휀더 교환 등의 손해 사정 기준 인정 내역을 키워드로 해당 이미지 데이터를 추출한 후 손해 사정 전문가가 일일이 정상, 스크래치, 소손상, 중 손상, 대손상 등으로 라벨링하는 방식으로 파손 레벨을 결정하거나 동일한 손상으로 분류된 데이터로 학습한 알고리즘을 이용하여 파손 레벨을 결정하였다. 그러나, 부위당 5 만건 정도의 학습 데이터를 이용하여 생성된 알고리즘을 이용하였음에도, 인식 정확도는 일정 정도 이상으로 증가하지 않는 한계점이 발생되었다. 인식 정확도가 낮은 이유에 대해서 분석한 결과, 부위 별로 최소한 10만 건의 데이터를 이용하여 학습할 필요성이 대두되었다.

관리 서버(300)는 좀더 정확한 차량 부위 및 차량 부위 별 파손 레벨을 추론하기 위한 알고리즘을 업데이트하는 기능을 수행한다. 업데이트된 알고리즘은 자동 손해 산정 장치(200)로 주기적으로 제공될 수 있다. 관리 서버(300)는 실제 사고 차량의 이미지, 해당 사고에 대한 실제 견적서 등을 수신 받고, 사고 차량의 관계자(보험사 직원, 공업사 직원 등)에 의해 자동 산출을 위한 모델링 데이터를 수정하게 된다. 모델링 데이터는 부분 검출 알고리즘, 파손 결정 알고리즘 등을 구성하는 명령어들을 말하며, 차량 부분 검출, 파손 정도 결정을 위해서 공개된 알고리즘을 에 적용되는 부분 알고리즘들을 재 조정하는데 이용될 수 있다.

통신망(500)은 복수 개의 사용자 단말기(100, 400)들, 자동 손해 산정 장치(200), 관리 서버(300)를 연결시켜 준다. 즉, 통신망(500)은 사용자 단말기(100, 400)들이 자동 손해 산정 장치(200), 관리 서버(300)에 접속한 후 데이터를 송수신할 수 있도록 접속 경로를 제공하는 통신망을 의미한다. 통신망(400)은 예컨대 LANs(Local Area Networks), WANs(Wide Area Networks), MANs(Metropolitan Area Networks), ISDNs(Integrated Service Digital Networks) 등의 유선 네트워크나, 무선 LANs, CDMA, 블루투스, 위성 통신 등의 무선 네트워크를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.

도 2는 본 발명의 실시예들에 따른 자동 손해 산정 장치(200)의 구조를 나타내는 블록도이다.

도 2에 도시된 바와 같이, 자동 손해 산정 장치(200)는 자동 견적서를 산출하기 위해서, 프로세서(210), 메모리(220), 통신부(230)를 포함할 수 있다.

프로세서(210)는 통상적으로 장치(200)의 전반적인 동작을 제어한다. 예를 들어, 프로세서(210)는 메모리(220)에 저장된 프로그램들을 실행함으로써, 통신부(230) 등을 전반적으로 제어할 수 있다.

통신부(230)는 사용자 단말기(100, 400), 관리 서버(300)들과 자동 손해 산정 장치(200) 간의 통신을 가능하게 하는 하나 이상의 구성요소를 포함할 수 있다. 통신부(230)는 블루투스 통신부, BLE(Bluetooth Low Energy) 통신부, 근거리 무선 통신부(Near Field Communication unit), WLAN(와이파이) 통신부, 지그비(Zigbee) 통신부, 적외선(IrDA, infrared Data Association) 통신부, WFD(Wi-Fi Direct) 통신부, UWB(ultra wideband) 통신부, Ant+ 통신부 등의 근거리 통신부, 이동통신 망을 포함할 수 있다.

메모리(220)는 통신부(230)를 통해 수신한 데이터를 수신하는 수신부(221), 수신된 데이터를 분석하여 파손 레벨을 결정하는 파손 레벨 결정부(240), 파손 레벨 및 기 저장된 표준 수리 인정 기준을 고려하여 작업 정보를 생성하는 작업 정보 생성부(222), 작업 정보 및 현재의 임금 등을 고려하여 자동 견적서를 생성하는 자동 견적서 생성부(223)를 포함하고, 자동 견적서 생성 외에 피드백을 수신하는 피드백 수신부(224), 파손 레벨 알고리즘을 업데이트하는 로직 최적화부(225)를 포함할 수 있다.

수신부(221)는 사용자 단말기(100)로부터 차량 사고가 접수되면, 사고 차량의 이미지들을 수신 받게 된다. 수신부(221)는 소유주의 부주의로 인해서 발생된 이전 파손 내역이 추가적으로 수리되는 것을 방지하기 위해서 제3자를 통해 파손 부위를 특정한 정보를 더 수신 받을 수 있다.

보험 사고의 오 신고를 방지하기 위해서, 수신부(221)는 사고 차량이 사용자의 차량과 일치하는지 여부를 식별하여 다른 사고 차량의 파손을 산출하는 것을 방지할 수 있다. 수신부(221)는 사용자 단말기의 식별 정보를 이용하여 등록된 차량(차종, 연식 등) 정보를 이미지를 통해 획득된 차종, 연식 등과 비교함으로써, 사고 차량의 일치 여부를 판단하고, 일치한다고 판단된 경우에 한해서, 자동 견적서 생성을 시작하게 된다. 이때, 이미지를 통해 획득된 차량 번호를 포함하는 차량 정보 요청 신호를 통해 차종, 연식 등의 정보가 획득할 수 있다.

파손 레벨 결정부(240)는 사고 차량을 촬영한 이미지들로부터 차량 부위를 검출하고, 검출된 차량 부위 별 파손 레벨을 결정할 수 있다. 파손 레벨 결정부(240)는 사고 차량을 촬영한 이미지들을 부분 검출 알고리즘을 이용하여 차량 부위의 불규칙 경계선에 따라서 검출될 수 있다. 부분 검출 알고리즘은 이미지 인식 알고리즘을 이용하여, 표준화된 알고리즘인 YOLO, SSD, R CNN, MASK R CNN, TEST R CNN 등의 다양한 방법 중 하나의 방법이 사용되나 이에 한정되지 않으며, 부분적으로 또는 전체적으로 자유롭게 변경될 수 있다. 부분 검출 알고리즘은 관리 서버(300)에 의해 모델링되며, 사고 차량의 이미지에서 차량 부위를 정확하게 검출하는 비율을 기초로 선택된 알고리즘을 따르게 된다.

차량 부위는 차종 별로 구분되어 인식될 수 있다. 예를 들어, SUV 차종과 세단 차종의 외관 및 각 차량 부위가 다르게 인식될 수 있다. 본 실시예에서, 차량 부위는 앞범퍼, 좌휀더, 헤드램프좌, 우휀더, 헤드램프우, 좌도어, 우도어, 좌뒷도어, 우뒷도어, 좌뒷휀더, 리어컴비램프, 우뒷휀더, 리어컴비, 트렁크리드, 리어범퍼, 후드 등 중 적어도 하나를 포함할 수 있다.

파손 부위를 정확하게 결정하기 위해서, 차종 별 차량 부위 마다 표준 차량 이미지가 관리될 수 있다. 촬영된 이미지에 포함된 차량 부위들을 해당 차종의 차량 부위 별 표준 차량 이미지와 비교함으로써 차종에 따른 차량 부위가 결정될 수 있다.

파손 레벨 결정부(240)는 차량 부위 별로 검출된 객체 영역들 각각을 분석하여, 파손 레벨을 결정할 수 있다. 파손 레벨 결정부(240)는 관리 서버(300)에서 모델링된 파손 결정 알고리즘을 이용할 수 있다. 파손 결정 알고리즘은 사고 차량의 이미지 및 파손 레벨의 데이터 셋트를 반복적으로 학습하여 획득된 이미지들의 속성들과 파손 레벨 사이의 대응 관계를 포함하게 된다. 파손 결정 알고리즘에는 이미지 인식 알고리즘이며, 표준화된 모델인 ResNet, Inception, Inception-ReNnet 등과 같이 다양한 방법이 사용될 수 있으나 이에 한정되지 않는다.

작업 정보 생성부(222)는 사고 차량의 이미지로부터 획득된 차량 부위 및 차량 부위 별 파손 레벨들을 차종 및 연식에 따라 규정된 표준 수리인정기준에 적용함으로써, 사고 차량의 작업 정보를 생성할 수 있다.

사고 차량의 작업 정보는 부수 작업을 포함하는데 부수 작업 중에서 표준 수리인정기준에 의해서 인정작업의 범위를 결정하게 된다. 본 실시예에 의해서 제공되는 작업 정보의 예시는 앞범퍼 교환, 앞범퍼 수리, 좌휀더 교환, 좌휀더 판금, 헤드램프좌교환, 우휀더 교환, 우휀더 판금, 헤드램프 우교환, 좌도어 교환, 좌도어 판금, 우도어 교환, 우도어 판금, 좌뒷도어교환, 좌뒷도어판금, 위뒷도어교환, 위뒷도어판금, 좌뒷휀더 교환, 좌뒷휀더 판금, 리어컴비램프(좌), 우뒷휀더교환, 우뒷휀더 판금, 리어컴비램프(우), 트렁크리드 교환, 트렁크리드 판금, 리어범퍼교환, 리어범퍼판금, 후드교환, 후드 판금 중 하나 일 수 있다. 이때, 판금으로 판정된 경우, 판금의 시간을 0.5, 1, 1.5, 2 등으로 추가적으로 더 표시할 수 있다.

여기서, 표준 수리인정기준은 차종, 연식, 도장코트, 공장 M/H, 수리 방법 등에 따른 구별되는 수리비들을 포함할 수 있다. 표준 수리인정기준에 등록된 차종으로는 nf 소나타, 소나타트랜스폼, yf 소나타, if 소나타, 뉴모닝, 올뉴모닝, 올뉴모닝, 싼타페, 스포티지, SM5, 스타렉스, 카니발, 쏘렌토, 투싼, K5 등이 있을 수 있다.

자동 견적서 생성부(223)는 사고 차량의 작업 정보를 기초로 자동 견적서를 생성한다. 사고 차량의 차종, 연식을 고려하여 작업 정보에 포함된 인정작업 각각의 수리비를 추출하고, 인정작업 내역 및 수리비를 포함하는 자동 견적서를 생성할 수 있다.

피드백 수신부(224)는 생성된 자동 견적서에 대한 피드백을 수신하게 된다. 이때, 피드백 수신부(224)는 자동 견적서에 인정 작업의 적합성, 파손 부위의 적합성, 파손 레벨의 적합성, 인정작업 각각의 수리비의 적합성을 실제 수리하는 공업사의 단말기로부터 수신 받게 된다. 공업사로부터 수신된 피드백은 기 저장된 표준 수리인정기준의 인정작업의 범위 및 각 인정작업의 수리비를 갱신하는데 이용될 수 있다. 또한, 피드백은 관리 서버(300)로 전달되어 부분 검출 알고리즘, 파손 결정 알고리즘의 업데이트에 이용될 수 있다.

로직 최적화부(225)는 자동 견적서를 생성하는데 이용되는 표준 수리인정기준을 최적화하는 기능을 수행한다. 로직 최적화부(225)는 새로운 연식의 차종이 출현한 경우, 차량 제조사의 차량 부위별 가격을 기초로 표준 수리인정기준을 업데이트하게 된다.

로직 최적화부(225)는 단종된 차량이 발생된 경우, 단종된 차량의 사고 견적서를 자동 견적 불가하도록 처리하고 공업사의 단말기로 실제 견적서를 요청할 수 있다.

로직 최적화부(225)는 전체 파손된 사고 차량 이미지가 수신된 경우, 자동 견적서 생성을 중단하고, 보험사 또는 공업사의 단말기를 통해서 실제 처리 견적서를 요청할 수 있다.

이를 통해 본 발명의 실시예들에 따른 자동 손해 산정 장치(200)는 사고 차량의 파손 레벨을 자동으로 추론하여 공업사의 입고 없이 자동 견적서를 생성할 수 있다. 자동 손해 산정 장치(200)는 파손 정도를 초과하는 수리 과정의 발생을 억제하고 손해 사정의 오류를 줄일 수 있다. 자동 손해 산정 장치(200)는 사용자의 입력을 최소화하는 이미지의 입력 만으로 견적서를 자동으로 생성할 수 있다. 자동 손해 산정 장치(200)는 사용자가 소지한 단말기를 통해 간단히 사고의 접수 및 간략한 손해 사정을 제공할 수 있다. 자동 손해 산정 장치(200)는 이미지로부터 차량 부위 및 차량 부위 별 파손 레벨을 산출하는 알고리즘을 업데이트함으로써, 파손 정도의 정확도를 높일 수 있다.

도 3은 파손 레벨 결정부(240)의 구조를 나타내는 블록도이다.

도 3에 도시된 바와 같이, 파손 레벨 결정부(240)는 파손된 차량 부위를 검출하는 파손 부위 추론부(241), 파손 부위 별 파손 레벨을 확률적으로 추론하는 파손 레벨 추론부(242)를 포함할 수 있다.

파손 부위 추론부(241)는 라벨링되어 입력된 하나 이상의 이미지 세트를 통해서 학습된 알고리즘을 이용하여 사고 차량을 촬영한 하나 이상의 이미지로부터 사고 차량의 파손 부위와 대응되는 객체 영역들을 검출할 수 있다. 이때, 학습된 알고리즘은 다량의 사고 차량 이미지들 및 파손 레벨 정보를 이용하여 학습되며, 학습된 이후에 양질의 데이터를 통해 강화 학습될 수 있다. 알고리즘의 학습 과정은 도 6 내지 도 8에 대한 설명에서 하겠다.

파손 부위 추론부(241)는 파손 부위와 대응되는 객체 영역들 각각에 파손 라벨을 포함시켜 표현할 수 있다.

파손 부위 추론부(241)는 수신된 하나 이상의 이미지 세트에서 사고 차량의 범퍼, 휀더, 도어로 인식되는 영역들을 포함하는 객체 영역들을 검출하되, 범퍼, 휀더, 및 도어의 불규칙한 경계선과 일치하도록 검출될 수 있다.

파손 레벨 추론부(242)는 파손 레벨 결정 알고리즘인 파손 레벨 결정 모델을 이용하여 파손 부위와 대응되는 객체 영역에 대한 파손 정보를 획득하고, 파손 정보로부터 추론된 하나 이상의 파손 레벨 및 파손 레벨 별 매칭 확률의 크기 순서로 배열된 파손 레벨 리스트를 생성할 수 있다. 파손 레벨 추론부(242)는 구체적으로 라벨링된 각 객체 영역을 CNN(Convolutional neural network 레이어)를 통해서 채택된 방법으로 필터링하고 필터링된 이미지들을 기초로 결과 데이터인 파손 정보로부터 추론된 하나 이상의 파손 레벨 및 파손 레벨 별 매칭 확률의 크기 순서로 배열된 파손 레벨 리스트를 생성할 수 있다. CNN 레이어는 이미지에 포함된 속성(feature)들 중에서, 파손 레벨과 연관된 속성들을 필터링하는 필터링 방법을 선별하는 기능을 수행할 수 있다. 라벨링된 객체 영역은 소벨 마스크 또는 canny edge detector 중 적어도 하나의 필터로 필터링될 수 있다. 객체 영역은 필터링 후에 균일화 알고리즘에 의해서 명암도가 균일화되는 점을 특징으로 한다. 각 객체 영역의 파손 레벨은 정상, 판금 0.5, 판금 1, 판금 1.5, 판금 2, 교환 중 하나로 설정될 수 있다. 파손 레벨 리스트는 정상, 판금, 0.5, 판금 1, 판금 1.5, 판금 2, 교환에 대한 매칭 확률의 크기 순서로 배열되며 가장 높은 매칭 확률을 가지는 파손 레벨을 최선순위로 제공할 수 있다.

파손 레벨 추론부(242)는 가장 높은 순위에 있는 파손 레벨을 해당 파손 부위에 대한 파손 레벨로 결정하게 된다.

파손 부위 추론부(241)는 입력된 하나 이상의 이미지에 대한 파손 부위의 에러 여부를 산출하고 에러 정도가 기 설정된 제1 값을 초과하는 경우, 사고 차량의 이미지를 라벨링하여 다시 학습되도록 관리 서버로 전송하는 기능을 수행할 수 있다. 파손 부위 값의 정확도가 50프로 미만인 경우, 검출된 파손 부위를 에러로 판단할 수 있다. 파손 부위 값의 정확도는 부분 검출 알고리즘에서 제공하는 정보를 통해서 획득될 수 있다.

파손 레벨 추론부(242)는 파손 레벨의 에러 정도를 입력 받고, 상기 에러 정도가 기 설정된 제2 값을 초과하는 경우 파손된 부분과 대응되는 객체 영역 및 파손 레벨을 다시 학습되도록 관리 서버로 전송하는 기능을 수행할 수 있다. 파손 레벨의 매칭 확률이 50프로 미만인 경우, 추론된 파손 레벨을 에러로 판단할 수 있다. 파손 레벨 값의 정확도는 파손 결정 알고리즘에 의해 제공된 파손 레벨 리스트에 의해서 획득될 수 있다.

도 4는 본 발명의 실시예들에 따른 관리 서버의 구조를 나타내는 도면이다.

관리 서버(300)는 파손 레벨 결정 모델을 구축하기 위해서 프로세서(310), 메모리(320), 통신부(330)를 포함할 수 있다. 관리 서버(300)는 기 종결된 데이터를 이용하여 파손 레벨 결정 모델을 학습 시킨다. 관리 서버(300)는 파손 레벨 결정 모델을 평가하여 일정 수준 이상의 정확도를 가지는지 여부를 판단할 수 있다.

프로세서(310)는 통상적으로 관리 서버(300)의 전반적인 동작을 제어한다. 예를 들어, 프로세서(310)는 메모리(320)에 저장된 프로그램들을 실행함으로써, 통신부(330) 등을 전반적으로 제어할 수 있다.

통신부(330)는 사용자 단말기(100, 400), 자동 손해 산정 장치(200)와 관리 서버(300) 간의 통신을 가능하게 하는 하나 이상의 구성요소를 포함할 수 있다. 통신부(330)는 블루투스 통신부, BLE(Bluetooth Low Energy) 통신부, 근거리 무선 통신부(Near Field Communication unit), WLAN(와이파이) 통신부, 지그비(Zigbee) 통신부, 적외선(IrDA, infrared Data Association) 통신부, WFD(Wi-Fi Direct) 통신부, UWB(ultra wideband) 통신부, Ant+ 통신부 등의 근거리 통신부, 이동통신 망을 포함할 수 있다.

메모리(320)는 데이터 입력부(321), 속성 추출부(322), 함수 적용부(323), 수집부(324), 제거부(325), 모델 구축부(326)를 포함할 수 있다.

데이터 입력부(321)는 구축할 파손 레벨 결정 모델을 위한 데이터를 입력하는 기능을 수행한다. 데이터 입력부(321)는 파손 레벨 결정 모델에 필요한 데이터를 획득할 수 있다. 데이터 입력부(321)는 사고 차량의 이미지들, 파손 레벨 값, 파손 레벨과 대응되는 견적 금액 등을 획득할 수 있다.

속성 추출부(322)는 획득된 데이터를 전처리할 수 있다. 속성 추출부(322)는 전처리된 데이터를 기 설정된 포맷으로 가공할 수 있다. 속성 추출부(322)는 입력된 이미지의 해상도를 소정의 비율로 높이거나 낮추면서 리사이징(resize)하는 등의 전처리 과정을 수행할 수 있다. 속성 추출부(322)는 전처리된 데이터 중에서 파손 레벨 결정 모델에 필요한 데이터를 선택할 수 있다. 예를 들어, 속성 추출부(322)는 전처리된 이미지에 포함된 다양한 속성들(픽셀 별 컬러값, 밝기값, 투명도, 선명도 등)을 추출함으로써, 파손 레벨 결정 모델에 필요한 데이터를 선택할 수 있다. 속성 추출부(322)는 이미지로부터 가능한한 많은 속성들을 추출하게 된다. 속성 추출부(322)는 속성들의 양을 줄이는 샘플링 과정을 추가적으로 더 수행할 수 있다. 속성 추출부(322)는 학습에 필요한 데이터를 함수 적용부(323)에 제공할 수 있다.

함수 적용부(323)는 입력된 데이터를 이용하여 파손 레벨 결정 모델을 학습시킬 수 있다. 이 경우, 파손 레벨 결정 모델은 인공 신경망 알고리즘을 이용하여 학습하는 모델일 수 있다. 예를 들어, 사고 차량을 촬영한 이미지들, 손해사정 담당자로부터 입력된 파손 레벨 정보가 이용될 수 있다. 함수 적용부(323)는 입력된 데이터들의 속성들 사이의 대응 관계를 계층적으로 생성함으로써, 파손 레벨 결정 모델을 생성할 수 있다. 함수 적용부(323)는 입력된 이미지들 및 파손 레벨을 입력 받음에 따라 속성들 사이의 대응 관계를 계층적으로 생성하고, 이미지의 속성들이 파손 레벨과 대응되도록 대응 관계를 추론하고, 대응 관계의 정확도를 입력된 데이터들을 통해 산출하는 과정을 반복함으로써, 이미지들의 속성들 및 파손 레벨사이의 모델링을 구축할 수 있다.

모델 구축부(324)는 속성 추출부, 함수 적용부를 반복적으로 수행함으로써, 입력된 데이터들에 가장 높은 정확도를 가지는 파손 레벨 결정 모델을 구축하게 된다.

파손 레벨 결정 모델은 인식 모델의 적용 분야, 학습의 목적 또는 장치의 컴퓨터 성능 등을 고려하여 구축될 수 있다. 파손 레벨 결정 모델은, 예를 들어, 신경망(Neural Network)을 기반으로 하는 모델일 수 있다. 예컨대, DNN(Deep Neural Network), RNN(Recurrent Neural Network), BRDNN(Bidirectional Recurrent Deep Neural Network)과 같은 모델이 파손 레벨 결정 모델로서 사용될 수 있으나, 이에 한정되지 않는다.

모델 구축부(324)는 입력된 학습 데이터를 입력 값으로 하는 지도 학습(supervised learning)을 통하여 파손 레벨 결정 모델을 학습시킬 수 있다. 또한, 모델 구축부(324)는 예를 들어 별다른 지도 없이 파손 레벨 결정을 위해 필요한 데이터의 종류를 스스로 학습함으로써, 파손 레벨 결정을 위한 기준을 발견하는 비지도 학습을 통하여 파손 레벨 결정 모델을 학습시킬 수 있다. 모델 구축부(324)는 학습에 따른 파손 레벨 결정의 결과가 올바른지에 대한 피드백을 이용하는 강화 학습(reinforcement learning)을 통하여 파손 레벨 결정 모델을 학습시킬 있다.

파손 레벨 결정 모델이 학습되면 모델 구축부(324)는 학습된 파손 레벨 결정 모델을 저장할 수 있다. 이 경우, 모델 구축부(324)는 학습된 파손 레벨 결정 모델을 자동 손해 사정 장치(200)의 메모리에 저장할 수 있다.

모델 평가부(325)는 파손 레벨 결정 모델에 평가 데이터를 입력하고 평가 데이터로부터 출력되는 인식 결과가 소정 기준을 만족하지 못하는 경우, 모델 구축부(324)로 하여금 다시 학습하도록 할 수 있다. 이 경우, 평가 데이터는 파손 레벨 결정 모델을 평가하기 위한 기 설정된 데이터일 수 있다.

예를 들어, 모델 평가부(325)는 평가 데이터에 대한 학습된 파손 레벨 결정 모델의 인식 결과 중에서, 파손 레벨 결정 결과가 정확하지 않은 평가 데이터의 개수 또는 비율이 미리 설정된 임계치를 초과하는 경우 소정 기준을 만족하지 못한 것으로 평가할 수 있다.

한편, 학습된 파손 레벨 결정 모델이 복수 개가 존재하는 경우, 모델 평가부(325)는 각각의 학습된 파손 레벨 결정 모델에 대하여 소정 기준을 만족하는지를 평가하고 소정 기준을 만족하는 모델을 파손 레벨 결정 모델로서 결정할 수 있다. 이 경우, 소정 기준을 만족하는 모델이 복수 개인 경우, 모델 평가부(325)는 평가 점수가 높은 순으로 미리 설정된 어느 하나 또는 소정 개수의 모델을 파손 레벨 결정 모델로서 결정할 수 있다.

도 5는 본 발명의 실시예들에 따른 자동 손해 산정 방법의 흐름도이다.

S110에서는 자동 손해 산정 장치(200)는 사고 차량을 촬영한 이미지 셋트를 수신한다. 사고 차량을 촬영한 이미지 셋트는 자동 손해 산정 장치에 의해 제어되어 촬영될 수 있다. 예를 들어, 차량의 블랙박스를 통해서 사고 발생이 감지되면, 소유주의 단말기의 카메라가 자동적으로 실행되어 사고 차량이 인식되는 순간에 캡쳐가 되도록 제어될 수 있다.

S120에서는 자동 손해 산정 장치(200)는 이미지 셋트를 고려하여 사고 차량의 차종 및 연식을 결정할 수 있다. 자동 손해 산정 장치는 사고 차량의 차종 및 연식은 이미지를 기초로 결정되기도 하지만, 자동차 보험 가입시 입력된 가입 정보를 기초로 결정될 수 있다.

S130에서는 자동 손해 산정 장치(200)는 이미지 셋트에서, 차량 부위와 대응되는 객체 영역들을 인스턴트 세그멘테이션(instance segmentation)으로 검출할 수 있다.

S140에서는 자동 손해 산정 장치(200)는 파손 레벨 알고리즘인 파손 레벨 결정 모델을 이용하여 객체 영역들로부터 추출된 특징들을 이용하여 파손된 정도를 산출하고, 파손된 정도로부터 추론되는 하나 이상의 파손 레벨을 매칭 확률의 크기 순서로 배열한 파손 레벨 리스트를 생성할 수 있다.

S150에서는 자동 손해 산정 장치(200)는 매칭 확률이 가장 큰 파손 레벨을 객체 영역의 파손 레벨로 결정한다.

S160에서는 자동 손해 산정 장치(200)는 객체 영역들의 파손 레벨들에 따른 작업 정보로 변환, 자동 손해 산정 장치는 표준 수리인정기준을 이용하여 작업 정보에 포함된 세부 작업들로부터 발생되는 비용들을 산출할 수 있다.

S170에서는 자동 손해 산정 장치(200)는 산출된 비용들을 종합하여 자동 견적서를 생성할 수 있다.

자동 손해 산정 장치(200)는 해당 차량 사고에서 발생되지 않은 파손이 수리되는 것을 방지하기 위해서, 파손된 차량 부위에 대한 제3자 확인 절차를 수행할 수 있다.

도 6 내지 도 8은 본 발명의 실시예들에 따른 파손 레벨 결정부에 포함된 알고리즘인 파손 레벨 결정 모델을 학습시키는 방법들의 흐름도들이다.

도 6에 도시된 바와 같이, 관리 서버(300)는 사고 차량의 이미지들, 파손 부위 및 파손 정도를 포함하는 파손 레벨 정보 등의 입력 데이터를 이용하여 파손 레벨 결정 모델을 학습시킨다. 도 1에서는 자동 손해 사정 장치(200) 및 관리 서버(300)가 별개의 전자 장치로 도시되어 있으나, 이에 한정되지 않고 하나의 전자 장치 내에 포함되어 구현될 수 있다. 도 6의 설명에서는 1회의 입력 데이터를 처리하는 과정을 설명하고 있으나, S210 내지 S260 단계들은 입력 데이터의 수에 따라서 반복적으로 수행될 수 있다. 관리 서버(300)는 다량의 데이터를 입력 받아 학습 함으로써, 파손 레벨의 정확도가 높은 모델을 완성할 수 있다.

S210에서는 관리 서버(300)는 사고 차량의 이미지들(차량 손상 사진, 작업 사진, 완료 사진, 사고와 관련 없는 차량 사진, 차량 외 사진 등), 파손 부위 및 파손 정도를 포함하는 파손 라벨 정보 등의 입력 데이터를 수신한다.

S220에서는 관리 서버(300)는 입력 데이터를 전처리하여 학습 데이터를 생성한다. 학습 데이터를 모델 구축부(254)로 전달되어 모델을 학습할 수 있다.

S230에서는 관리 서버(300)는 학습 데이터를 이용하여 파손 레벨 결정 모델을 학습시킨다.

S240에서는 관리 서버(300)는 학습된 파손 레벨 결정 모델을 통해 사고 차량의 파손 부위들, 파손 부위들에 대한 파손 정도, 파손 정도에 따른 라벨 정보를 출력할 수 있다.

S250에서는 관리 서버(300)는 모델을 통해 출력된 파손 부위들에 대한 파손 정도에 따른 파손 라벨 정보 및 실제 손해 사정된 파손 라벨 정보를 비교하여 파손 라벨 결정 모델을 평가한다. 예를 들어, 파손 라벨 결정 모델에 의해 산출된 파손 라벨 정보가 실제 손해 사정된 파손 라벨 정보와 기 설정된 값 이상의 차이가 없는 경우에는 파손 라벨 결정 모델의 평가를 높게 한다.

S260에서는 관리 서버(300)는 소정의 평가 기준을 만족하는 파손 레벨 결정 모델을 메모리에 저장한다.

관리 서버(300)는 사고 차량과 관련된 이미지들, 실제 발생된 파손 부위, 파손 정도를 포함하는 파손 라벨 정보를 이용하여 파손 레벨 결정 모델을 학습시킨다.

도 7에 도시된 바와 같이, S220 단계는 세부적으로 복수의 단계들을 포함할 수 있다.

S221에서는 관리 서버(300)는 보험금 지급이 종결된 내역의 입력 데이터(차량 사진, 파손 사진, 수리 중 사진, 수리 완료 사진, 차량 외 사진 등 사고 차량 및 공업사 등으로부터 수집한 이미지들을 포함)로부터 주작업 판단 내용을 추출한다. 주작업 판단 내용은 손해 사정 담당자에 의해 등록될 수 있다.

S222에서는 관리 서버(300)는 주작업 판단 내용 중에서, 제1 주작업 판단 내용과 관련하여 입력된 이미지들 중에서, 차량 사진과 차량 외 사진으로 분류할 수 있다. 차량 사진 및 차량외 사진을 분류하는데 Inception v4 등의 알고리즘을 이용할 수 있다.

S223에서는 관리 서버(300)는 Mask R-CNN, Yolo 중 하나의 알고리즘을 이용하여 차량 사진 내에 포함된 하나 이상의 차량 부위를 검출한다. 차량 부위를 검출하는데 Mask R-CNN, Yolo에 한정되지 않고 다른 알고리즘이 이용될 수 있다.

S224에서는 관리 서버(300)는 차량 사진 중에서, 파손된 차량 부위를 포함하는 파손 사진을 선별한다.

S225에서는 관리 서버(300)는 파손 사진 내에서, 실제 손해 사정시 인정된 내용을 기초로 파손 라벨 정보를 각각의 차량 부위와 대응하여 저장하고 수리 완료 사진을 파손 사진에 대한 정상 사진으로 연결하여 등록시킨다.

S226에서는 관리 서버(300)는 파손 레벨을 포함한 파손 사진을 학습 데이터로 적재시킨다.

이와 같이, 관리 서버(300)는 파손 부위 및 파손 부위에 대한 파손 정도를 나타내는 파손 레벨 정보를 추출하고, 이를 파손 레벨 결정 모델을 학습 시키는데 활용한다. 이와 같은 과정을 통해, 관리 서버(300)는 입력된 데이터들 중에서, 차량 및 차량 파손과 관련된 이미지들을 정확하게 선별하고, 파손 부위와 관련된 이미지로부터 파손 레벨을 결정하는 정확도를 높일 수 있다.

파손 레벨 정보는 파손 부위 및 파손을 수리하는데 필요한 항목 등의 정보로 구성될 수 있다. 예를 들어, 범퍼 교환, 범퍼 판금 2시간, 휀더 교환 등과 같이 설정되게 된다.

도 8의 흐름도는 파손 레벨 결정 모델을 강화학습 시키는 방법을 나타낸다.

도 8에 도시된 바와 같이, 관리 서버(300)는 일정 기준을 만족하는 양질의 이미지 셋트를 이용하여 파손 레벨 결정 모델을 계속적으로 반복 학습 시킬 수 있다.

S310에서는 관리 서버(300)는 사고 차량을 촬영한 이미지 셋트를 수신한다.

S320에서는 관리 서버(300)는 수신된 이미지 셋트를 파손 레벨 결정 모델에 적용하여 파손 부위 및 파손 부위에 따른 제1 파손 레벨 정보를 획득한다.

S330에서는 관리 서버(300)는 제1 파손 레벨 정보 및 손해 사정 담당자를 통해 입력된 제2 파손 레벨 정보 사이의 유사도를 판단할 수 있다. 유사도는 제1 파손 레벨 정보 및 제2 파손 레벨 정보 사이의 차분 값으로 결정될 수 있다. 제1 파손 레벨 정보 및 제2 파손 레벨 정보 사이의 차분 값이 기 설정된 기준 차분값 이하인 경우, 유사도가 높은 것으로 결정되고, 그렇지 않으면 유사도가 낮은 것으로 결정될 수 있다.

S340에서는 관리 서버(300)는 파손 레벨 결정 모델을 이용하여 자동 손해 산정 장치의 파손 레벨 결정부를 업데이트할 수 있다.

이를 통해, 파손 레벨 결정 모델의 정확도는 올라가며, 손해 사정 담당자 없이 파손 레벨 정보가 정확하게 결정될 수 있다.

도 6의 방법으로 학습된 파손 레벨 결정 모델은 도 8의 방법으로 강화학습 할 수 있다. 강화 학습된 파손 레벨 결정 모델은 주기적으로 자동 손해 산정 장치로 전달되어 파손 레벨 결정에 이용된다.

또한, 자동 손해 산정 장치는 새로 등록된 사고에 대한 사고 차량 데이터들을 관리 서버로 전달하게 된다. 관리 서버는 자동 손해 산정 장치 또는 사용자 단말기로부터 사고 차량 데이터(사고 차량 이미지들, 실제 손해 사정된 내역들)을 수신 받아 파손 레벨 결정 모델을 학습 시킬 수 있다.

도 9는 자동 손해 산정 장치에 의해 인식된 파손 부분들을 표현한 예시 도면이다.

자동 손해 산정 장치의 파손 레벨 결정부는 사고 차량을 촬영한 이미지에 포함된 차량 부위와 대응되는 객체 영역들을 검출한다. 파손 레벨 결정부는 사고 차량의 앞범퍼, 앞휀더L, 앞휀더R, 앞도어L, 앞도어R 등과 대응되는 객체 영역을 검출한다. 이때, 검출된 객체 영역들은 서로 겹치지 않고 정확한 파손 부위 명칭을 획득하기 위해서, 해당 부분을 직접 감싸는 불규칙한 경계를 가질 수 있다. 도 9에 도시된 바와 같이, 파손 레벨 결정부는 촬영 각도, 이미지 해상도 등에 상관없이 앞범퍼 영역(FBP), 앞휀더R 영역(FFR), 앞도어R 영역(FDR), 뒷도어R 영역(RDR), 뒷휀더R 영역(RFR)을 사고 차량 이미지에서 검출하여 라벨링하여 제공할 수 있다. 파손 레벨 결정부는 관리 서버의 모델링에 의해서 다양한 촬영 각도, 및 이미지 해상도에 따라서 촬영된 이미지들을 통해서 차량 부위를 인식함에 따라 이미지 촬영 방법에 구애받지 않고 파손 부위를 인식하게 된다.

도 10은 본 발명의 실시예들에 따른 자동 손해 산정 장치에서 제공하는 파손 레벨 정보의 예시 도면이다.

자동 손해 산정 장치는 인식된 차량 부위의 파손 정도에 따른 파손 레벨을 대손 레벨, 중손 레벨, 소손 레벨, 교환 레벨 중 하나로 설정할 수 있다. 이때, 자동 손해 산정 장치는 각 파손 부위에 대해서, 파손 레벨 및 매칭 확률을 추론하며 매칭 확률이 가장 큰 파손 레벨을 해당 파손 부위의 파손 레벨로 결정할 수 있다. 도 10에 도시된 바와 같이, FFR 영역은 중손 레벨이 가장 높은 확률을 가지고, FDR 영역은 대손 레벨이 가장 높은 확률을 가지고, FBP 영역은 중손 레벨이 가장 높은 확률을 가지는 리스트가 제공될 수 있다. 이에 따라 자동 손해 산정 장치는 FFR 영역에 대해서 중손 레벨로, FDR 영역에 대해서 대손 레벨로, FBP 영역에 대해서 중손 레벨로 결정하게 된다.

결정된 파손 레벨은 차량의 소유자, 사고 차량의 담당 사정인, 사고 차량의 공업사 서버 등으로 제공될 수 있다.

도 11 및 도 12는 자동 손해 산정 장치의 파손 레벨 결정부(240)에서 수행되는 이미지 전처리 과정을 설명하는 도면이다.

도 11은 전처리 이전의 이미지들의 예시이며, 도 12는 전처리 과정을 통해서 처리된 이미지들의 예시 도면이다.

파손 레벨 결정부(240)가 이용하는 각 차량 부위 별 파손 레벨을 결정하는 파손 결정 알고리즘은 사고 차량에서의 차량 부위의 이미지(image) 및 차량 부위에 대한 파손 레벨(lvl)을 입력 받고 이미지에 포함된 특정되지 않은 속성(feature)들 사이의 대응에 따른 분류 과정을 통해서 파손 레벨(lvl)과의 관계를 무작위적으로 결정할 수 있다. 파손 레벨 결정 알고리즘은 양질의 데이터, 즉 이미지(image) 및 이미지에 따른 정확한 파손 레벨(lvl)들을 통해 학습함으로써 프로그래밍되지 않은 이미지(image)의 속성들과 파손 레벨 사이의 연관성을 직관적으로 학습하고, 학습된 직관을 통해서 파손 레벨(lvl)을 추론할 수 있게 된다. 또한, 파손 레벨 결정 알고리즘은 기존에 공개된 전처리 방법들 중에서, 파손 레벨(lvl)을 추론하는 정확도를 높이는 이미지(image)의 전처리 방법을 선택하는 과정을 자체적으로 수행하기도 한다. 도 11 및 도 12에 도시된 바와 같이, 파손 레벨 결정 알고리즘은 구체적으로 소벨 마스크, canny edge detector 필터 및 명암 균일화 알고리즘을 이용하여 이미지(image)를 전처리할 수 있다.

Img11, img 21, img31, img41, img51, img61, img71, img81, img91을 파손 결정 알고리즘에 의해 선택된 방법으로 전처리하면, 원하는 정보들이 더 명확하게 드러나도록 img 12, img22, img32, img42, img52, img62, img72, img82, img92가 생성되게 된다.

도 13은 자동 손해 산정 장치에 의해 자동 생성된 견적서 및 공업사 실제 견적서를 비교한 화면의 예시 도면이다.

자동 손해 산정 장치는 사용자의 요청에 의해 사고 차량의 손해를 산정하고 그에 따라 자동 견적서를 제공할 수 있고, 제공된 자동 견적서를 공업사에 의해서 생성된 실제 견적서를 비교하는 과정을 더 수행할 수 있다. 자동 손해 산정 장치는 자동 견적서 및 실제 견적서를 비교하여, 사고 차량의 이미지로부터 자동적으로 산출된 파손 레벨 등과 공업사에 의해 특정된 파손 레벨 사이의 차이가 큰지 작은지 여부를 판단하는 과정을 수행함으로써, 자동적으로 산출된 파손 레벨의 정확도를 평가할 수 있다. 자동적으로 산출된 파손 레벨 등과 공업사에 의해 특정된 파손 레벨 사이의 차이가 크지 않은 경우, 해당 사고 차량의 데이터를 관리 서버로 전달하여 파손 레벨 결정 모델의 강화 학습에 이용한다.

도 13에 도시된 바와 같이 자동 손해 산정 장치는 파손 레벨 결정 모델을 이용하여 검출된 차량 부위 및 각 차량 부위에 대한 파손 레벨이 결정되면, 차종, 차명, 연식, 도장코트, 차량 부위 별 파손 레벨을 고려하여 작업 내역들을 자동 생성할 수 있다. 예를 들어, 범퍼 판금 및 도장이 필요한 경우, 파손 레벨에 따라서 범퍼 판금에 소요되는 시간을 산출하고, 소요되는 시간에 현재 기술자들의 시간당 임금을 적용하여 공임비를 산출하고, 도장 작업에 포함되는 도장 작업, 건조 작업 등을 세부적으로 생성하게 된다.

이때, 차량 부위 별 파손 레벨에 따른 기 설정된 표준 수리 인정 기준에 따라서 작업 내역을 생성하고, 작업 내역에 포함된 세부 작업 내역을 추출하게 된다.

자동 견적서는 파손 부위를 원복시키는 비용 뿐만 아니라 차량 수리를 위해 대기하는 시간, 도장 후 건조 시간, 범퍼 교환 시 타 부품들의 탈부착 시간 등의 부수 작업을 고려하여 자동 견적서를 생성할 수 있다.

도 14은 이미지를 통해서 획득된 결과 데이터의 예시 도면이다. 차종, 연식, 도장, 수리부위 별로 관리 번호를 부여하고, 관리 번호와 대응시켜 부수작업 중 인정작업 범위를 설정하여 저장할 수 있다. 본 발명의 실시예들에 따른 자동 손해 산정 장치는 검출된 차량 부위와 대응되는 관리 번호를 검색하고, 해당 관리 번호에 포함된 파손 레벨 별 인정 작업 범위를 추출할 수 있다. 인정 작업 범위 및 각 작업에 대한 수리비를 리스팅하여 자동 견적서를 생성할 수 있다.

인정 작업 범위는 피드백되는 공업사의 실제 견적서를 통해 수정될 수 있다. 예를 들어, 인정 작업 범위는 도장 시간이 3시간 이였으나, 공업사의 실제 견적서에 따르면 도장 시간이 4시간으로 늘어나는 경우 늘어난 시간의 50퍼센트인 30분을 인정 작업 범위로 추가할 수 있다. 또한, 데이터베이스는 수리비 및 손해사정 인정 기준을 표준화하여 저장할 수 있다.

도 15a, 도 15b, 도 15c는 자동 손해 산정 장치에서 이용하는 표준 수리인정기준의 예시 도면이다. 자동 손해 산정 장치는 이미지를 통해서 획득된 파손 부위 별 파손 레벨과 대응되는 코드를 검색하고, 해당 코드에 대한 작업 내역 및 작업 내역 별 공임액을 획득할 수 있다.

도 15a 및 도 15b에 도시된 바와 같이, 차종을 세분화하여 식별하는 코드 리스트, 차종의 각 차량 부위를 식별하는 코드 리스트를 제공할 수 있다.

차종을 세분화하여 식별하는 코드는 동일 차종이라고 하더라도 옵션, 연식 등으로 세부적으로 아반떼 HD, 아반떼 MD, 아반떼 하이브리드 LPi, 아반떼 AD 등으로 등록되어 관리될 수 있다.

각 차량 부위를 식별하는 코드는 앞범퍼 교환, 앞범퍼 수리, 좌휀더 교환, 좌휀더 판금, 헤드램프 좌교환, 우휀더 교환, 우휀더 판금, 헤드램프 우교환, 좌도어 교환, 좌도어 판금, 우도어 교환, 우도어 판금, 좌뒷도어 교환, 좌뒷도어 판금, 우뒷도어 교환, 우뒷도어 판금, 좌뒷휀더 교환, 좌뒷휀더 판금, 리어컴비램프, 우뒷휀더 교환, 우뒷휀더 판금 등등 도시된 바와 같을 수 있다.

도 15c에 도시된 바와 같이, 피해물명, 차종, 내역, 작업 종류, 부품액, 공임액, 주작업 코드, 보조 작업 코드를 포함하는 표로 사고 차량의 자동 견적서가 생성될 수 있다.

등록된 차량 사고 별로 부여되는 식별 코드(rcp_nv_seqno)에 의해 사고 차량에 실행되어야 하는 작업 내역들이 후론트범퍼 사이드브라켓(좌), 후론트범퍼, 가열건조비, 후론트범퍼 사이드브라켓(우), 라디에터그릴, 앞범퍼교환, 고통 작업 시간이 포함될 수 있다.

각 작업 내역은 주작업 또는 보조 작업으로 분류되며, 00001 사건의 파손 레벨 및 표준 수리인정기준에 의해 획득된 표준 작업시간에 따라서 작업 시간이 결정되게 된다. 예를 들어, 해당 사건의 파손 정도로 볼 때, 후론트 범퍼 교환은 1.91 시간이 소요된다. 앞범퍼 교환의 도장은 1.98 시간이 소요되는 것으로 책정되고 그에 기반하여 자동 견적서가 생성될 수 있다.

이를 통해 이미지 인식 기술을 통해서, 파손 부위 및 파손 레벨이 결정되면 차종, 연식, 파손 부위, 파손 레벨을 표준 수리인정기준에 적용하여 해당 사고 차량을 수리하는 견적서가 자동적으로 생성될 수 있다.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

10: 자동 손해 산정 시스템
100, 400: 사용자 단말기
101: 사고 차량
200: 자동 손해 산정 장치
300: 관리 서버

Claims (7)

1. 장치가 라벨링되어 입력된 하나 이상의 이미지 세트를 통해서 학습된 알고리즘을 이용하여, 사고 차량을 촬영한 하나 이상의 이미지를 사고 차량의 파손 부위와 대응되는 객체 영역들을 검출하는 단계;
   상기 장치가 사고 차량의 각 부품과 대응되어 검출된 객체 영역들의 라벨을 결정하고, 라벨링 하는 단계;
   상기 장치가 라벨링된 각 객체영역을 CNN(Convolutional neural network) 레이어를 통해서 채택된 방법으로 필터링하고, 필터링된 이미지들을 기초로 결과 데이터인 파손 정도로부터 추론된 파손 레벨 및 매칭 확률의 크기 순서로 배열된 파손 레벨 리스트를 생성하는 단계;
   상기 파손 레벨 리스트에서 가장 높은 순위에 있는 파손 레벨로 결정하는 단계;를 포함하고
   상기 학습된 알고리즘은
   보험금 지급이 종결된 내역의 입력 데이터로부터 주작업 판단 내용을 추출하고,
   상기 주작업 판단 내용 중에서, 제1 주작업 판단 내용과 관련하여 상기 입력 데이터를 차량 사진과 차량 외 사진으로 분류하고,
   Mask R-CNN, Yolo 중 하나의 알고리즘을 이용하여 차량 사진 내에 포함된 차량 부위를 검출하고,
   상기 차량 사진 중에서, 파손된 차량 부위를 포함하는 파손 사진을 선별하고,
   상기 파손 사진 내에서, 실제 손해 사정 시 인정된 내용을 기초로 파손 라벨 정보를 각각의 차량 부위와 대응하여 저장하고,
   상기 입력 데이터 중에서, 수리 완료 사진을 상기 파손 사진에 대한 정상 사진으로 연결하여 등록하고,
   상기 파손 라벨 정보를 포함한 파손 사진을 학습 데이터로 학습되는 점을 특징으로 하는, 자동으로 사고 차량의 파손 정도를 산출하는 방법.
2. 제1항에 있어서,
   상기 객체 영역들을 검출하는 단계는
   상기 하나 이상의 이미지 세트에서, 상기 사고 차량의 범퍼, 휀더, 도어로 인식되는 영역들을 포함하도록 객체 영역들을 검출하되, 범퍼, 휀더, 및 도어의 불규칙한 경계선과 일치하도록 검출되는 점을 특징으로 하는, 자동으로 사고 차량의 파손 정도를 산출하는 방법.
   
3. 삭제
4. 라벨링되어 입력된 하나 이상의 이미지 세트를 통해서 학습된 알고리즘을 이용하여, 사고 차량을 촬영한 하나 이상의 이미지를 사고 차량의 파손 부위와 대응되는 객체 영역들을 검출하고, 사고 차량의 각 부품과 대응되어 검출된 객체 영역들의 라벨을 결정하고, 라벨링 하는 파손 부위 추출부; 및
   라벨링된 각 객체영역을 CNN 레이어를 통해서 채택된 방법으로 필터링하고, 필터링된 이미지들을 기초로 결과 데이터인 파손 정도로부터 추론된 파손 레벨 및 매칭 확률의 크기 순서로 배열된 파손 레벨 리스트를 생성하고,
   상기 파손 레벨 리스트에서 가장 높은 순위에 있는 파손 레벨로 결정하는 파손 레벨 추론부;를 포함하고
   상기 학습된 알고리즘은
   보험금 지급이 종결된 내역의 입력 데이터로부터 주작업 판단 내용을 추출하고,
   상기 주작업 판단 내용 중에서, 제1 주작업 판단 내용과 관련하여 상기 입력 데이터를 차량 사진과 차량 외 사진으로 분류하고,
   Mask R-CNN, Yolo 중 하나의 알고리즘을 이용하여 차량 사진 내에 포함된 차량 부위를 검출하고,
   상기 차량 사진 중에서, 파손된 차량 부위를 포함하는 파손 사진을 선별하고,
   상기 파손 사진 내에서, 실제 손해 사정 시 인정된 내용을 기초로 파손 라벨 정보를 각각의 차량 부위와 대응하여 저장하고,
   상기 입력 데이터 중에서, 수리 완료 사진을 상기 파손 사진에 대한 정상 사진으로 연결하여 등록하고,
   상기 파손 라벨 정보를 포함한 파손 사진을 학습 데이터로 학습되는 점을 특징으로 하는, 자동으로 사고 차량의 파손 정도를 산출하는 장치.
5. 제4항에 있어서,
   상기 파손 부위 추출부는
   상기 하나 이상의 이미지 세트에서, 상기 사고 차량의 범퍼, 휀더, 도어로 인식되는 영역들을 포함하도록 객체 영역들을 검출하되, 범퍼, 휀더, 및 도어의 불규칙한 경계선과 일치하도록 검출되는 점을 특징으로 하는, 자동으로 사고 차량의 파손 정도를 산출하는 장치.
   
6. 삭제
7. 컴퓨터를 이용하여 제1항 내지 제2항 중 어느 한 항의 방법을 실행시키기 위하여 컴퓨터 판독 가능한 저장 매체에 저장된 컴퓨터 프로그램.

Images