자율주행 인지 심화

1.자율 주행 통합 인지 시스템 심화

1.자율주행 통합 인지시스템 구성

센서:카메라, 라이다, 레이더, 초음파

차량 네트워크

자율주행 컴퓨터:범용 계산을 위한 gpu,npu

인지 소프트웨어:주변 환경 이해를 위한 알고리즘

2.자율주행 통합 인지 기능

센서 데이터의 전처리 및 동기화

동적 객체 검출, 동적 객체 추적, 동적 객체의 의도 및 미래 위치 예측

주행 관련 정적 객체 검출

차선, 도로 등의 영역 검출

전방 영역 또는 장애물 등의 거리지도 생성

3.센서별 인지 기술

카메라 기반의 인지 기술: 주로 cnn 등의 딥러닝 모델을 카메라 영상에 적용→동적객체와 정적객체의 검출, 최근에는 카메라 영상 기반의 거리추정 기술을 적용한다(스테레오 카메라 사용)

레이더 기반의 물체 검출:수신된 전자기 신호 분석, 조감도 영역에서 동적 객체의 위치와 속도 측정,

검출 알고리즘은 물체와 클러터에 의한 허상을 구분할 수 있어야 함

라이다 기반의 물체 검출: 포인트 클라우드 데이터를 취득하여 분석→3차원 영역에서 동적 객체의 위치 검출, 추적.

센서 융합 기반의 물체 검출: 각 센서들의 단점을 보완하기 위한 기술

                                                      2.자율주행 인지를 위한 ai기술 심화

1.자율주행 인지를 위한 딥러닝

딥러닝:복잡한 입력과 출력과의 관계를 근사화하기 위한 모델

딥러닝의 학습 과정:트레이닝, 인퍼런스

센서 데이터 처리를 위한 기본적인 딥러닝 모델

-CNN:2차원 영상 데이터로부터 유용한 특징값을 뽑아내기 위한 뉴럴 네트워크 구조

-RNN:시간적인 시계열 데이터로부터 유용한 특징값을 뽑아내기 위한 뉴럴 네트워크 구조

-포인트넷:순서가 없는 점의 집합으로 되어 있는 데이터로부터 유용한 특징값을 뽑아내기 위한 뉴럴네트워크 구조

2.자율주행 인지를 위합 딥러닝

기본적인 딥러닝 모델을 이용하여 특징값을 추출하고 추가적인 뉴럴네트워크를 적용하여 검출, 영역 분할, 거리 추정등의 복잡한 작업 수행

자율주행에서는 센서 데이터의 차수가 높고 복잡한 작업을 수행해야 하므로 파라미터 수가 많은 딥러닝 모델 사용

트레이닝하기 위한 대용량의 학습 데이터 구축 필요

                                              3.자율주행 대규모 인지 데이터 관리 기술

1.자율주행 대규모 인지 데이터 관리 기술 개요

자율주행 인지를 위한 딥러닝 모델을 학습시키기 위해서 엄청난 양의 트레이닝 데이터 필요

머신러닝 기술의 성능은 더 많은 수의 다양한 학습 데이터가 주어질 수록 향상됨

지속적인 인지 기술의 개선과 안전성 확보를 위해서는 데이터 취득, 라벨링, 학습, 검증, 탑재에 이르는 반복적인 데이터 관리 프로세스를 수행하는 플랫폼 필요

2.대규모 인지 데이터 관리 기술 소개

자율주행 데이터 수집(데이터 취득 및 라벨링):전용 차량, 자율주행차, 인프라, 엣지를 이용한 데이터 취득

학습(트레이닝):클라우드에서 딥러닝 전용 하드웨어를 사용하여 인지 모델 학습

검증 및 테스트:테스트 데이터, 실도로 , 시뮬레이터에서 인지모델 검증

탑재: 학습된 모델을 OTA를 통해 각 자율주행차로 전송하여 지속적으로 업데이트한다.

데이터 관리를 위한 플랫폼 구축: 클라우드를 중심으로 실시간으로 수젭되는 데이터를 관리

                                                 4.카메라 캘리브레이션 심화

1.카메라 캘리브레이션 : 월드좌표계의 3차원 점과 대응하는 영상의 2차원 픽셀로의 변환 행렬 모델을 찾는 과정

월드 좌표계의 3차원 점을 2차원 영상의 픽셀의 좌표로 변환하는 수학적 모델

핀홀 카메라 행렬 모델은 내부 파라미터와 외부 파라미터로 구성

2.카메라 캘리브레이션 과정

외부 파라미터: 3차원 월드 좌표계에서 3차원 카메라 좌표계로 변환하는 과정을 표현

내부 파라미터: 3차원 카메라 좌표계에서 2차원 픽셀 좌표계로 변환하는 과정을 표현

실제 렌즈 카메라에서는 렌즈의 왜곡을 보정하기 위한 캘리브레이션이 수행되어야함

캘리브레이션 과정: 카메라 캘리브레이션 툴 사용→영상에서 체커보드의 코너점 파악→외부 파라미터와 내부 파라미터 계산

                                                    5.카메라 기반 물체 검출 기술 심화

1.카메라 기반 물체 검출 기술 개요

카메라 영상에서 단일, 혹은 다중의 물체의 종류와 위치를 추정하는 기술

CNN을 백본 네트워크로 사용하여 추상화된 특징 지도를 추출하고 각 원소마다 앵커 박스를 이용하여 이에 대한 상대 변위 추정 및 물체 분류 수행

1차 검출기(yolo,ssd, retina net): 백본 네트워크를 통해 나오는 특징 지도로부터 바로 검출 결과를 얻어냄

2차 검출기(faster rcnn, mask r-cnnm cascade r-cnn ): 백본 네트워크를 통해 얻어진 특징 지도를 이용해 RPN을 이용해 물체의 존재 유무만을 판별한 뒤, 두 번째 단계에서는 그 영역의 특징값을 추출((ROI Pooling))하여 보정 네트어크(Refinement Network)를 적용하여 최종 검출 결과를 얻음

2.카메라 기반 물체 검출 딥러닝 기술

-물체 검출 딥러닝 모델의 트레이닝 과정: 물체의 바운딩박스 라벨링이 되어 있는 트레이닝 데이터를 이용하여 손실함수를 최소가 되도록 종단간(end-to-end)학습 수행

Back propation 이라는 방법을 이용해 손실함수의 지역적 최소값을 찾아감

학습해야 하는 파라미터 수에 비해 데이터의 수가 모자랄 때 ‘data augmentation기법(트레이닝 데이터를 인공적으로 가공하여 추가적인 데이터셋 생성)’ 사용

-물체 검출기 성능 평가: 정답 박스와 출력 박스 사이에 겹치는 면적을 기반으로 판별한다.

물체검출기의 성능은 mean average precision(map)을 기준으로 판별(겹치는 비율이 0.5 이상이어야 한다.)

                                            6.카메라 기반 물체 추적 딥러닝 기술 심화

1.카메라 기반 물체 추적 딥러닝 기술 개요

물체 추적 기술은 각 비디오 프레임에서 얻어진 물체 검출 결과를 추가적으로 처리하는 과정

각 프레임에서 얻은 물체 검출 결과 연결

-서로 인접한 프레임의 검출 결과를 같은 물체에 대해 연결하여 시간에 따른 물체의 움직임 추적

-추적하는 물체에 대해 트랙 id부과

연결된 검출 결과의 필터링 및 예측

-이전 프레임까지 추적하고 있는 물체 위치의 시퀀스인 트랙에 연결된 검출 결과를 추가하여 필터링 수행

-다음 프레임에서의 검출 결과 연결에 활용하기 위해 다음 프레임에 해당하는 물체 위치 예측

과거에 딥러닝 모델은 대부분 물체 검출에만 적용되었으나 최근에는 물체 추적에도 활용되는 추세

딥러닝 기반의 미래 물체 위치 예측

-기존 방법의 칼만필터 대신 딥러닝 모델을 사용하여 다음 프레임에서의 물체 필터링 및 예측

딥러닝을 이용한 물체 검출 결과 사이의 유사도 측정

-현재 물체 정보와 과거 물체 검출 결과를 딥뉴럴 네트워크를 통해 두 검출 결과의 유사성 판단

-딥러닝의 입력으로 검출 결과에 해당하는 특징값 및 박스 좌표 등 사용 가능

2.검출 결과 예측

현재 프레임의 영상에 CNN을 적용하여 얻은 특징값을 이용하여 이전 프레임의 박스 위치를 기준으로 변화량을 예측

3.유사도 측정

Seamese 네트워크를 사용하여 과거 검출 결과와 현재 검출 결과의 쌍 사이의 유사도를 0과 1사이로 표현

4.헝가리안 알고리즘

이전 프레임과 현재 프레임의 모든 겸출결과의 쌍에 대해 측정된 유사도를 기반으로 검출결과 연결

                                             7.카메라 기반 차선, 영역 검출 딥러닝 기술 심화

1.카메라 기반 영역 검출 개요

자율주행 중 동적 객체 검출 및 차선, 도로 , 횡단보도 등 형태가 분명하지 않는 객체에 대한 인식도 필요

semantic 영역 분할:카메라 영상 내에 있는 물체들을 의미 있는 단위로 분할하는 방법

-픽셀 기준의 영역 분할과 객채 기준의 영역 분할 기술로 나누어짐

영역 분할은 영상 또는 물체를 이루는 각 픽셀 단위의 차선, 도로 , 횡단보도 등의 검출 가능

카메라 영상에 cnn을 적용하여 특징값을 추출하고 각 픽셀의 카테고리 판별

영상에서 특정 공간에서의 픽셀이 어떤 카테고리에 속하는지에 대한 추상적인 정보 추출 중요

FCN: Convolutiinal layers만을 적용하여 추상적인 공간 정보 생성

U-Net, DeepLAB: 인코더 디코더 구조를 사용하여, 인코더 구조에서 CNN을 이용해 추상화된 특징 지도를 추출하고 디코더 구조에서 Upsampling 또는 Deconvolution 과정을 통해 특징 지도의 크기 복원

2.딥러닝 기반 차선 검출

차선 정보는 주행을 위한 정보로 사용 및 고정밀 지도 기반의 맵매칭을 위해 사용

차선 정보가 중간에 소실되거나 보이지 않는 경우에도 신뢰성 있는 차선 정보를 제공할 수 있어야 함

기존에는 RANSAC 과 같은 고전적인 비전 알고리즘 적용

최근에는 CNN기반 차선 검출 방법의 활발한 연구

-FCN과 같이 카메라 영상에 Convolutional layers를 적용하여 차선에 대한 픽셀 별 특징값 추출

-로컬하게 표현된 특징값들을 이용하여 차선에 대한 Curve fitting 수행

-3차원에서의 도로 영역으로 Curve fitting한 결과를 투영하여 최종적인 차선 검출 결과 도출

3.딥러닝 기반 도로 검출

도로 검출 기술: 안전 주행을 위한 도로 정보 제공 및 고정밀 지도에서의 측위를 위한 맵매칭에 사용

Semantic 영역 분할을 적용하여 운전 가능한 도로 영역 검출

                                                      8.차세대 레이터 센서 기술 소개

1.차세대 레이더 센서 기술의 필요성

기존 레이더 센서의 장점

-전자기파의 특성으로 인해 주변의 환경 변화에 강인함

-저렴한 가격으로 정확한 거리 정보 획득 가능

기존 레이더 센서의 단점

-횡방향의 해상도가 높지 않음

-주변 장애물에 의한 반사로 인해 발생하는 클러터 현상→ 오탐률이 다른 센서에 비해 높음

차세대 레이더 센서 개발의 필요성

-고해상도의 라이다 센서를 사용하면 레이더 센서의 단점이 극복되지만, 가격이 높다.

-3단계 조건부 자율주행에서는 고가의 라이다를 장착하기 부담스러움

-문제점을 해결하기 위한 두가지 전략: 레이더의 해상도 및 성능 개선, 라이다의 바용 절감

-국내외 많은 회사가 새루운 타입의 레이더 센서 개발에 적극적으로 뛰어들고 있음

2.차세대 레이더 센서 기술

고해상도 레이더

-많은 수의 배열 안테나를 수직, 수평 방향으로 장착하는 MIMO기술 사용

-4D 이미지 레이더: 물체에 대한 4차원 정보(3차원 위치와 속도)를 포인트 클라우드의 형태로 제공

-기존 저해상도 레이더는 물체의 검출 결과 및 신호를 조감도 영역에서만 표현하는 한계 있음

-고해상도 레이더는 라이다 정도의 높은 해상도는 아니지만, 기존 레이더의 단점 극복할 수 있음

-저렴한 가격과 물체의 속도 정보 제공

차세대 레이더 기술 연구 이슈

-안테나 원소들의 배열 및 배치, 설계 기술

-Multi dimension의 신호를 효과적으로 처리하기 위한 고속 신호처리 기술

-배열 안테나를 작게 구현할 수 있는 소형화 기술

-포인트 클라우드 형식의 데이터를 활용한 딥러닝 기반의 고성능 인지기술 개발

                                                   9.레이더 기반 인지를 위한 딥러닝 기술 심화

1.레이더 센서 기반 인지 기술

기존에는 대부분 레이더 제조업체마다 고유의 인지를 위한 신호처리 기술에 대한 솔루션을 갖고 있음

최근에 고해상도 레이더 가 개발되면서 딥러닝 기술을 이용한 인지 기술 연구

딥러닝을 이용한 카메라와 레이더와의 센서융합 기술 중요

2.레이더 센서 기반 딥러닝 기술

물체 검출을 위해 딥러닝을 적용하는 두가지 접근 방법

-거리,도플러 영상을 기반으로 한 2차원 물체 검출

-포인트 클라우드 데이터를 이용한 3차원 물체 검출

레이더 센서 기반 인지 연구를 위한 데이터 셋

-nuScenes: 1대의 32채널 라이다, 5대의 레이더, 6대의 카메라, IMU, GPS 센서

               Continental ARS 레이더 사용(77 ghz)

                1000개 종류의 배경에서  140만 장의 카메라 영상과 레이더 데이터 제공

                23개 종류의 물체에 대한 3차원 박스가 라벨링 되어 있음

               0.5초마다 6.5번의 레이더 스캐닝을 누적해서 포이트 클라우드 데이터 제공

-ASTYX HiRES2019: Astyx 레이더, 2048x618 Point Grey 카메라, 벨로다인 16채널 라이다

                               6개 종류의 물체에 대한 3차원 박스 라벨링 제공

                               레이더 데어터를 이용한 학습을 위한 데이터셋

딥러닝 기반 3차원 물체 검출 기술

-복셀 기반의 방법: 3차원 영역을 작은 복셀 구조로 나누어 복셀 안의 포인트 데이터로부터 특징값 추출 후 3차원 CNN을 적용하여 물체 검출

-2차원 투영기반의 방법: 포인트 데이터를 전방 또는 조감도 영역의 다양한 영역으로 투영 후 3차원 CNN 모델을 적용하여 물체 검출

-포인트넷 기반의 방법: 포인트 클라우드 데이터를 직접 처리할 수 있는 포인트넷으로 물체 검출

카메라, 레이더 센서 융합 방법

-카메라를 위주로 하여 물체 검출을 한 후 레이더 정보를 추가로 가져와서 거리 추정

-카메라 영상과 레이더 센서로부터 딥러닝 모델을 적용해서 각각의 특징값을 추출한 후 직접 결합하고 추가적인 딥러닝을 적용해서 물체 검출→센서 융합에 의한 높은 성능 개선 가능

                                                        10.라이다 센서 심화

1.라이다 센서 개요

물체 주변에 고출력 레이저를 송수신하여 지연시간을 측정하여 거리 추정

주변 환경에 대한 3차원의 정밀한 스캐닝 작업 수행

습도에 대한 강인성을 높이기 위해 1550mm파장의 광원을 사용하는 라이다를 개발 중

라이다 센서의 종류

-기계식 라이다: 라이다의 몸체 또는 부분을 전기 모터를 사용하여 기계식으로 회전시켜 360도, 장거리에 대한 환경인지 가능

-솔리드 스테이트 라이다: optical phased array 라고 불리는 배열 안테나 구조를 사용하여 기계적 회전 없이 배열 안테나 조절, 위상 조절을 통해 특정 방향으로 레이저 발사 및 송신

고정식이고 거리가 짧은 것이 단점이다.

-MEMS 라이다: MEMS 기술을 이용하여 반사 거울을 전자식으로 제어해서 넓은 영역 스캐닝(진동, 저온에 취약)

2.라이다 센서 데이터 기반 인지

라이다 센서 데이터는 물체 표면을 나타내는 3차원 점의 집합이 포인트 클라우드로 표현

최근 라이다 포인트 클라우드 데이터를 처리하여 물체 검출 및 환경 인지하는 딥러닝 기법 활발히 연구

라이다 기반 인지에서는 포인트 클라우드 데이터를 처리하여 3차원 환경정보를 얻어냄

-3차원 동적물체, 정적물체 검출, 추적

-차량 전방 등의 환경에 대한 거리 측정

-고정밀 지도 생성 및 맵매칭 기반 측위

2012년에 공개된 KITTI 데이터셋을 시작으로 다양한 데이터셋 공개

제품 개발이나 상용화된 알고리즘을 만들기 위해서는 자체적인 데이터셋 수집 필요

                                       11.라이다 기반 3차원 물체 검출 딥러닝 기술 심화

1.라이다 기반 3차원 물체 검출 기술 개요

3차원 물체 검출 : 물체의 3차원 위치 정보 제공

3차원 물체 검출의 출력 형태

-3차원 바운딩 박스 형태로 제공: 3차원 박스 형태의 좌표 및 (X,Y)축의 회전 각도 제공

-조감도 영역에서의 2차원 박스 형태로 제공: 박스의 회전 각도 제공

자율주행의 경로 계획 및 판단 시 정확한 3차원 동적 개체의 위치 정보 제공

카메라와 달리 라이다는 3차원 측정 정보를 제공하기 때문에 정확한 3차원 물체 검출 가능

라이다를 사용한 3차원 물체의 검출 원리

-포인트 클라우드 데이터는 2차원 배열로 이루어진 데이터와 다른 구조를 가지고 있어

CNN구조를 이용하기에 적합하지 않음

-포인트 클라우드 데이터로부터 특징값을 추출한 후 특징값을 이용해서 물체의 검출을 해야함

2.라이다 기반 3차원 물체 검출 기술

2차원 평면 투영 방법

-포인트들을 전방 또는 조감도 영역으로 직접 투영하여 새로운 2차원 데이터를 맨들어냄

-양자화로 인한 성능 저하 때문에 최근에는 많이 사용되지는 않음

복셀 기반 표현 방법

-3차원 공간을 작은 복셀로 나눈 후에 각 복셀에 들어있는 포인트들을 포인트넷을 적용하여 인코딩

-인베딩 벡터(3차원 복셀 구조안에 인코딩된 벡터)가 포함되어 있는 형태로 포인트 클라우드를 표현

포인트넷 사용 방법

-전체의 포인트 클라우드에 집합된 포인트넷을 적용

-배경에 해당하는 포인트와 물체에 대한 포인트 분리

-물체에 해당하는 포인트들을 선택해내서 물체에 대한 특징값 추출

-복잡도가 높지만 정보의 손실 없이 모든 포인트 클라우드 데이터를 이용하여 정확한 검출 가능

3.라이다 기반 3차원 물체 검출 기술 사례

복셀 기반의 방법 사례: 세컨드, 포인트필라

-복셀 구조를 기반으로 포인트 데이터를 인코딩한 뒤 3차원 CNN이라는 구조를 적용해서 조감도 영역에서의 특징 지도 추출

-조감도 영역에서의 특징 지도를 기반으로 3차원 박스 검출

포인트넷 기반의 방법 사례: 포인트 RCNN

-1단계 검출: 물체와 배경에 해당하는 포인트를 구분한 후 물체의 대략적인 위치 검출

-2단계 검출: 대략적인 위치에 해당하는 포인트들을 다시 추출하여 1단계 물체 검출 결과의 정확도 향상

복셀과 포인트넷의 혼합방법 사례: PV-RCNN

-복셀 기반의 방법과 포인트넷 기반의 방법을 혼합하여 라이다 데이터의 풍부한 표현방식 제공

                                         12.라이다 기반 3차원 물체 추적 딥러닝 기술 심화

1.라이다 기반 3차원 물체 추적 기술 개요

3차원 물체 검출 결과를 같은 물체에 대해 연결하여 물체의 움직임을 시간에 따라 추적하는 기술

3차원 공간에서 새롭게 검출된 물체와 추적하고 있는 물체의 집합들의 유사성을 판단해서 물체 추적을 수행하고 물체 id부여

물체 추적 문제의 핵심은 다른 시간에 얻은 물체 검출 결과에서 같은 물체에 해당하는 검출 결과를 연결하는 Association 문제→두 개의 검출 결과에 대해 쌍에 대한 유사도 판별이 가능해야함

라이다 기반 3차원 물체 추적 과정

-물체 추적을 수행하기 위하여 새로 검출한 물체의 바운딩 박스와 이전 프레임까지 추적 중인 물체의 바운딩 박스 안에 있는 라이다 포인트 데이터 추출

-추출된 라이다 포인트 데이터로부터 특징값 추출 후 딥러닝을 이용한 유사도를 측정하고 물체 id부여

2.라이다 기반 3차원 물체 추적 기술

라이다 데이터의 특징 추출 방법

-새로 검출된 물체와 추적하고 있던 물체로부터 추출된 3차원 라이다 포인트 클라우드 정보를 포인트넷 기반의 딥러닝 모델을 이용하여 특징값 추출

-포인트넷 기반의 딥러닝 모델은 정보의 손실 없이 모든 포인트 클라우드 데이터를 사용하여 유용한 특징값 추출 가능

유사도 측정 및 검출 결과 연결

-전체적인 물체 연결 과정은 2차원 물체 추적 기술과 유사

-Seamese 딥러닝 모델을 사용해서 새로 검출된 물체의 특징값을 추적중인 물체의 특징값을 비교하고 두 벡터의 거리를 계산하여 유사도 평가

-검출 결과의 모든 쌍에 대해 유사도를 계산한 후 헝가리안 알고리즘을 적용하여 연결 결과 출력

3.라이다 기반 3차원 물체 추적 기술 사례

mmMOT 방법

-검출된 물체와 추적 중인 물체의 라이다 포인트 데이터를 추출 후 포인트넷을 적용해서 특징값 추출

-CNN 네트워크를 적용해서 두 물체의 유사도를 판별하고 선형 프로그램의 최적화 기법을 적용해서 검출 결과 연결

GNN3CMOT 방법

-검출 결과에 대한 특징을 추출하기 위해 포인트넷을 적용했을 때 얻은 특징뿐만 아니라

그 물체의 시간적인 움직임 정보도 LSTM네트워크를 통해 추출해서 추가적으로 사용

-헝가리안 알고리즘 대신 그래프 뉴럴 네트워크 모델(GNN)을 사용해서 더 정확한 검출 결과 연결 수행

                                                         13.3차원 물체 검출/추적 기술 심화

1.3차원 물체 검출/추적 통합 기술 개요

기존의 인지 기술에서는 물체 검출과 추적 기술을 별도로 설계

-물체 검출에서는 센서 데이터의 공간적 정보 활용, 물체 추적 기술에서는 시간적 정보 활용

환경의 시공간적 정보를 동시에 활용하여 검출/추적 기술의 통합설계 필요

-물체 검출에서의 물체의 ‘시간적’ 움직임 정보 활용

-물체 추적에서의 물체의 ‘공간적’ 특징 정보 활용

-물체 검출, 추적 기술의 서로 정보 교환이나 및 통합 최적화

2.3차원 물체 검출/추적 통합 기술

물체 검출에서의 시간적 정보 활용

-카메라 영상을 CNN에 통과하여 나온 특징값을 사용해서 각각의 입력 영상에 대해 검출 결과를 얻게 됨

-비디오 영상을 한꺼번에 처리하여 시공간적 정보를 활용해서 검출 성능 개선

시간적 정보를 활용하는 두가지 전략

-비디오 영상에서 물체 움직임에 의해 발생하는 다양한 왜곡 발생

:시간적으로 얻은 특징값들을 융합하여 특정 영상 프레임의 퀄리티 저하에도 강인한 검출 결과 달성

-물체의 움직임 패턴을 분석하여 물체 검출의 성능 향상

:RNN이나 LSTM모델을 사용하여 특징값을 추출한 후 물체 검출에 활용

물체 검출에서의 공간적 특징 정보 활용

-물체 검출 시 CNN을 이용하여 특징값을 추출하여 물체 추적의 연결 수행에 재사용

2.3차원 물체 검출/추적 통합 기술

센서 융합을 통해 물체 검출을 수행한 경우 다중 센서로부터 추출했던 특징값들을 추적에 사용하여 연결 성능 개선

물체 검출과 물체 추적 기술이 서로 유용한 정보 교환

물체 검출에서 사용했던 공간적인 정보들이 추적에서 활용 가능

물체 추적에서 사용했던 시간적 정보들이 다시 정확한 물체 검출을 수행하는데 사용

물체 검출과 추적을 통합하는 딥러닝 모델의 종단간 학습을 통해 최적의 인지 성능 달성

                                       14.카메라 기반 거리 추정 기술

1.카메라 기반 거리 추정 기술 개요

거리 추정: 2차원 카메라 영상을 입력으로 받아 3차원 공간에서의 거리 값을 알아내는 기술

고전적으로 스테레오 비전 기술을 이용한 방법이 많이 사용되어 왔음

스테레오 비전 기술: 두 개 이상의 카메라 영상을 이용하여 각 픽셀에 대한 거리 정보를 알아냄

최근 딥러닝 기술이 거리 추정 문제에 도입되면서 스테레오 카메라 뿐만 아니라 단일 카메라에 대해서도 거리 추정 기술의 정확도가 크게 향상

스테레오 비전 기법 개요

-한장의 카메라 영상으로는 정확한 거리를 알 수 없기 때문에 좌우에 배치된 두대의 카메라로부터 얻은 2차원의 영상들을 이용하여 3차원의 거리를 추정

-출력으로 각 픽셀의 거리를 나타내는 깊이지도 생성

-두 카메라를 보정하여 두 카메라의 좌표계를 확립 후, 두 영상에서 대응점을 찾아내는 스테레오 정합 적용

-두 대응점 사이의 Disparuty(두 대응 점 사이의 위치 차이)계산하여 거리 추정

2.스테레오 영상 기반 거리 추정 딥러닝 기술

CNN 모델을 적용하여 Disparity 지도를 직접 생성하는 방식으로 설계

CNN 구조를 이용하여 얻은 Disparity 지도와 실제 알고 있는 정답 Disparity와의 차이를 나타내는 손실 함수를 최소화하여 모델을 훈련

좌우 두 이미지의 기하학적 상관관계를 데이터를 통해 학습하여 거리 추정 가능

기존의 스테레오 방식은 카메라의 보정 오차에 대해 민감

딥러닝 기반의 방법은 보정 오차에 대해 더 강인한 성능을 보임

3.단일 영상 기반 거리 추정 딥러닝 기술

사람은 물체에 대한 사전 지식을 사용하면 한쪽 눈만을 사용해서 거리 판별 가능

딥러닝 모델을 사용하면, 대규모 영상으로부터 물체의 크기 등에 대한 사전 지식을 학습하여 단일 영상으로부터 거리 추정 가능

단일 영상 기반 거리 추정 딥러닝 기법

-CNN 모델을 이용하여 단일 영상으로부터 거리 지도 생성

-RGB-D 카메라 센서를 이용하여 카메라 영상과 거리값을 동시에 취득하고 트레이닝 데이터셋 구축

-딥러닝 모델로부터 얻은 거리 추정값과 정답에 해당하는 정답 거리 지도와의 차이를 최소화 하도록 딥러닝 모델 훈련

-최근에는 단일 영상으로부터 스테레오를 가정해서, 단일 영상이 왼쪽 영상이라고 가정하고 오른쪽 영상을 직접 생성해내서 생성해낸 좌우 영상을 이용해서 거리 추정 방법도 제안

                                                   15.카메라, 레이더 센서 융합 딥러닝 기술 심화

1.카메라, 레이더 센서융합 딥러닝 기술 개요

레이더는 자율주행에서 많이 사용되고 있으나 높은 오탐률이 단점

딥러닝이 적용되면서 최근 카메라 영상 기반의 물체 검출 기술의 성능이 급속도로 발전

카메라, 레이더 센서는 라이다 센서에 비해 가격이 저렵하여 현재 2단계 수준의 자율주행 기능에서 사용

카메라 센서가 제공하는 영상 정보와 레이더 센서가 제공하는 측정 정보를 융합하여 신뢰성 높은 물체 검출 가능

-카메라, 레이더 센서 융합 전략: 카메라로 2차원 물체 검출 결과를 생성해 내고 레이더 센서 정보를 읽어서 가져와서 정밀한 거리 정보 제공

-레이더 센서 중심의 융합 방법: 레이더 센서를 이용하여 조감도 영역에서 무체를 검출한 후 카메라 정보를 이용하여 레이더 검출 결과의 오류 수정

카메라 레이더 센서 융합 전략

-특징값 중심의 융합 방법: 4D 이미지 레이더와 같은 고해상도 레이더의 경우에 주로 적용

                                       레이더 데이터로 부터 추출한 특징값을 카메라로 도출된 CNN특징값과

                                        융합된 특징값을 이용하여 물체를 검출

                                         카메라, 라이더 센서 융합 전략과 유사

2.카메라, 레이더 센서융합 딥러닝 기술 사례

2019년 ‘EuRAD’라는 학회에서 발표: 카메라, 레이더 융합을 통한 3차원 물체 검출 방법

-딥러닝을 적용하여 카메라,레이더 센서 융합 수행

-레이더 포인트 클라우드 데이터를 조감도 영역에서의 특징 지도로 변환 후 조감도 영역에서 융합 수행

-융합된 특징값을 기반으로 추가적인 뉴럴 네트워크 구조를 적용하여 3차원 물체 검출 수행

                                            16.카메라, 라이다 센서융합 딥러닝 기술 심화

1.카메라, 라이다 센서융합 딥러닝 기술 개요

3단계 이상의 자율주행에서 카메라와 라이다 센서는 인지를 위한 핵심 센서로 간주되고 있음

두 센서의 당잔점을 보완하기 위해 카메라, 라이다 센서 융합 기술이 필요

-카메라:물체를 인식하기 위한 풍부한 정보 제공, 거리 정보 부정확

-라이다: 정확한 거리 정보 제공, 해상도가 카메라만큼 높지 않음

최근 카메라, 라이다 센서 융합을 위한 다양한 딥러닝 기법이 연구되고 있음

2.카메라, 라이다 센서융합 접근 방법

카메라 중심의 센서융합 기술

:카메라를 주센서로 사용하고 라이다 정보를 부가적으로 융합하는 기법

-카메라 영상에 CNN기반의 딥러닝 모델을 적용하여 물체에 대한 2차원 박스 검출

-카메라 영상의 2차원 박스에 해당하는 3차원 공간의 영역을 프러스텀이라고 부름

-검출된 2차원 박스에 해당하는 프러스텀에 존재하는 라이다 포인트들을 추출

-추출된 라이다 포인트들을 포인트넷으로 처리하여 3차원 검출 정보를 얻어냄

카메라 중심의 센서융합 기술 사례

-프로스텀 포인트넷 방법: 카메라 영상에 2D CNN 물체 검출 기법을 적용하여 2차원 영역 추출한 후 2차원 영역을 3차원으로 변환하여 프러스텀 안에 있는 포인트들에 대해 3차원 영역 분할 수행

물체가 아닌 배경을 마스킹하고 물체 부분에 포인트넷을 적용하여 3차원 박스 추정

2.카메라, 라이다 센서융합 접근 방법

카메라, 라이다 특징값 융합 기술

-카메라와 라이다 센서 각각으로부터 물체에 대한 특징값을 추출한 후 융합하여 물체 검출

-카메라 영상에 CNN을 적용하여 특징값 추출

-라이다 포인트 클라우드를 3차원 복셀 구조를 기반으로 인코딩

-앵커박스를 기반으로 융합하는 방법과, CNN으로 얻은 2차원 카메라 특징 지도를 3차원 공간으로 투영하여 융합하는 방법이 있음 EX)AVOD(IROS 18), Cont-Fuse(ECCV 18), MMF(CVPR 19), 3D_CVF(ECCV 20)

카메라, 라이다 특징값 융합 기술 사례

-3D-CVF 방법: 카메라 센서 데이터를 CNN을 적용하여 2차원 특징 지도 도출

                     2차원 특징 지도를 3차원 복셀 구조로 투영하여 새로운 3차원 특징지도 구성

                    라이다 데이터를 인코딩하여 얻은 특징지도와 융합 후 새로운 특징값으로 3차원                                    

                     물체 인식 수행

                                          

                                                    17.AI기반 하드웨어 플랫폼 기술 심화

1.AI기반 인지 하드웨어 플랫폼 개요

자율주행 컴퓨터: 카메라, 라이다, 레이더 등의 센서 신호를 가져와서 자율주행 인지 기능을 직접 수행하기 위한 하드웨어

자울주행을 위한 하드웨어의 사양은 인지 기능의 실시간 계산이 가능해야 하고 전력 소모가 낮아야함

차량 또는 엣지에서 AI를 수행하기 위한 하드웨어 칩셋 필요

-고속 계산 및 저전력을 위한 가속기 필요

-센서 데이터를 입출력 인터페이스, 전처리/후처리 등을 위한 범용 CPU/GPU 필요

클라우드 서버에서의 학습을 위한 가속기 및 GPU 서버 하드웨어 필요

2.AI기반 인지 하드웨어 플랫폼 기술

딥러닝 가속기 기술: 딥러닝에 자주 사용되는 연산을 가속화하여 빠른 시간 안에 적은 전력으로 계산

-성능 저하 없이 8비트 이하의 연산 수행 가능

가속기 구성

-GEMM:딥러닝에서 가장 계산량이 많은 행렬 곱을 수행

-SRAM: 딥뉴럴 네트워크의 가중치 또는 활성화값을 저장하기 위한 로컬 메모리

-DRAM: 딥뉴럴 네트워크의 입출력 등을 저장하기 위한 메모리

-Interconnect/fabric: 서로 다른 처리 유닛이나 메모리를 연결하는 로직

-콘트롤러: 제어나 통신을 위한 명령어 수행

아키텍처 경량화

-딥러닝 모델 압축, 노드 프루닝, 채널 프루닝

-신경망 가중치, 활성화값의 양자화를 통해 계산량을 줄임

컴파일러

-pytorch 나 tensorflow의 라이브러리를 이용해 작성된 고수준의 코드를 명령어셋으로 변환

3.AI기반 인지를 위한 자율주행 컴퓨터

테슬라 FSD컴퓨터

-NNA:72TOPs 연산 속도 제공

-cpu: 주로 오토파일럿을 위한 제어 기능 수행

-isp,비디오 인코더:카메라 영상 입력 처리

-memory: 중간 결과들은 sram에 저장, 최종 결과는 dram에 저장

-신뢰성을 보장하기 위해 두개의 칩을 서로 다른 파워 서플라이를 사용하여 장착

                                              18.고성능 센서 차량 네트워크 기술

1.고성능 센서 차량 네트워크 기술 개요

CAN/CAN-FD: 1Mbps, 현재 가장 많이 사용하는 차량 네트워크, Bus토폴로지 방식

FlexRay: 10Mbps, 고속 데이터 전송, Bus토폴로지 방식

MOST: 24Mbps, 멀티미디어 전용,Bus 토폴로지 방식

Twisted Pair 이더넷: 100Mbps-10Gbps(P2P),10mbps

2.초고속 차량 네트워크 기술

차량 내 고속 데이터 통신을 지원하기 위해 이더넷 기술 도입 예정

자율주행 센서로부터 유입되는 데이터량 증가

-고해상도 카메라 영상, 고해상도 라이다 데이터로부터 발생되는 트래픽을 관리할 수 있는 네트워크 필요

-CAN ECU와 이더넷 ECU를 통합 관리할 수 있는 기술 필요

-BUS기반 이더넷과 P2P 기반 Serdes 방식이 혼합된 형태로 표준화 진행

Serdes(p2p방식)

-링크 기반의 고속 차량 통신 기술

-기존의 고해상도 display 등의 통신에 사용

-고해상도 카메라 센서로부터 얻은 비디오 데이터 전송을 위해 고려 중

-최대 16g bps까지 전송 속도 지원

차량 네트워크 발전 방향

-고속 bus 네트워크 전송 기술(100Mbps 이상 지원)

-p2p 고속 데이터 전송 기술→혼합 사용 및 호환성 지원에 대한 연구 필요

                                        19.고정밀 지도 관리 기술 심화

1.고정밀 지도 기술 개요

자율주행을 위해서는 cm수준의 정확도를 갖는 고정밀 지도 필요

사전에 MMS차량을 이용하여 고정밀 지도를 제작

-지형 지도: 주변 지형의 형태를 직접 센서데이터를 사용하여 구성

-시맨틱 지도: 측위에 관련된 특정 지형, 도로 정보, 랜드마크 등을 지형 지도에 추가해 놓은 형태

자율주행차량은 측위 기술을 수행하여 고정밀 지도에서의 자신의 위치를 추정

-Odometry 기술

-맵매칭 기술

2.고정밀 지도 구성

고정밀 지도 구성

-도로의 구조 및 공간적 구성(예:주행차로, 교차로, 차로분기점, 차로합류점 등)

-차량의 주행공간에 대한 정보

-도로의 내부 및 주변에 존재하는 다양한 형태의 표시

-표지 및 시설물

표준화

-iso tc 204: 지능형 교통 체계 분야에 요구되는 아키텍처, 통신 및 서비스에 대한 표준화를 논의하는 기구, 자율주행, 협력주행을 위한 지도에 대한 표준화 진행 중

ogc:정밀 지도 관련 다수의 표준화 진행 중

nda: 차량 oem회사, 지도 공급자 및 내비게이션 서비스 업체들이 모인 그룹으로 asasis라는 자율주행을 위한 지도 표준 발표

-국내에서는 현대앰엔소프트,skt등에서 자체 모델을 구축하고 있고 국토지리정보원에서도 고정밀 지도에 대한 표준화 진행중

3.고정밀 지도 관리 기술

LDM 동적 정보 시스템

고정밀 지도의 갱신 및 관리

-시간에 따른 환경 변화로 갱신과 관리 필요

-클라우드 기반 지도 관리 플랫폼 요구됨

-자율주행차, 인프라, 엣지 등에서 수집한 환경 정보를 온라인으로 갱신하는 기술 필요

-업데이트된 고정밀 지도를 V2X등의 통신 방법을 사용하여 자율주행차에 전달

시맨틱 지도 관리

-AI기술이 측위에도 적용되면서, 딥러닝의 출력을 시맨틱 지도의 임베딩 데이터로 활용하는 연구 진행중

                                     20.고정밀 지도 기반 측위를 위한 딥러닝 기술 심화

1.고정밀 지도 기반 측위 기술 개요

고정밀 지도 기반의 측위 기술

-고정밀 지도의 정보와 차량이 실시간으로 수집한 정보를 이용하여 차량의 현재 위치를 알아내는 기술

측위 기술의 구성

-Odometry 기술: 차량의 이전의 위치에서부터 상대적으로 얼마만큼 이동했는지를 측정하는 방법

-맵매칭 기술: 차량 센서 데이터와 지도 데이터를 정합하여 지도 위의 차량 위치를 추정하는 방법

기존 측위 기술의 한계

-기존의 모델 기반의 방법들은 이상적인 상황에서는 센서정보를 이용하여 정확하게 자신의 위치를 추정할 수 있음

-실제로는 부정확한 센서 측정값, 실제와 잘 맞지 않는 시스템 모델, 복잡한 환경의 다이내믹스, 제약사항 등이 측위 기술의 성능에 영향을 미침

-odometry 추정: 저가 관성항법장치의 오차가 크고 시간에 따라 누적, visual odometry의 고전적인 기법들은 카메라 영상의 취득 퀄리티에 영향을 받음

-맵매칭:부정확한 센서 데이터와 주변 환경의 변화로 인해 측위 정확도가 저하되는 문제 발생

2.측위를 위한 딥러닝 기술

딥러닝 기술

-데이터 기반의 접근 방법, 수많은 데이터를 사용하여 복잡한 입출력 관계를 모델링

-데이터를 활용하기 때문에 새로운 환경에 대해 측위 알고리즘의 자연스러운 진화가 가능

딥러닝 기반 odometry 기술

-visual odometry 기술: 카메라 영상으로부터 카메라의 움직임을 추적하여 차량의 위치 상태를 추정

-라이다 odometry 기술: 라이타 포인트 클라우드 데이터의 움직임을 추적하여 위치의 변화를 추정

딥러닝 기반 맵매칭 기술

-이미 생성된 지도 정보와 센서를 정합

-디스크립터 매칭 기술: 센서데이터로부터 특징접들을 검출한 후 주변 환경을 압축하여 표현하는 표현자를 추출

센서로부터 얻은 표현자와 지도에 임베딩된 표현자를 정합하여 차량 위치 추정

                                               21.자율주행을 위한 예측 기술 심화 

1.고전 예측 기술의 한계

경로 예측 기술

-자율주행차가 안전한 주행을 하기 위하여 동적 객체들의 과거 경로와 주변 상황들을 반영하여 의도나 미래의 거동을 예측하는 기술

고전적인 예측 기술

-등속도 또는 등가속도 모델에 의한 예측

-선형보간법에 의한 예측 기법

-칼만필터와 같은 통계적 예측 모델 사용

고전 예측 기술의 한계

-동적 객체들의 거동은 객체들의 의도, 주변의 도로/주행 상황, 객체간 상호작용 등의 다양한 요소에 의해 영향을 받음

-예측 결과는 하나의 최적의 경로로 출력되기 보다는 여러 개의 가능 경로가 확률과 함께 나타나는 것이 합리적임

-고전 예측 기술에서는 이러한 문맥적 정보들의 활용이 어렵고 하나 이상의 다양한 예측 결과를 도출하기 어려운 문제점이 있음

2.딥러닝 기반 차량 경로 예측 기술

RNN에기반한 차량 경로 예측

-순차적인 시계열 데이터를 해석하기 위한 RNN 또는 LSTM 모델을 이용하여 과거의 차량 경로 데이터를 입력받아 미래의 차량 경로 데이터를 생성

-인코더-디코더 구조로 구성

-딥러닝의 뛰어난 표현력을 이용하여 기존의 칼만필터 등에 비해 개선된 예측 정확도를 달성

동적 객체 간의 상호작용을 고려한 차량 경로 예측

-타켓 차량과 주변 동적 차량들의 과거 경로들을 딥러닝 모델에 입력하여 상호작용을 고려한 예측 결과를 출력

주변 도로, 정적 환경을 고려한 차량 경로 예측

-주변의 도로나 정적 환경을 2차원 영상으로 구성하여 특징값을 추출하고 이를 차량 경로의 특징값과 융합하여 경로 예측을 수행

                                                  22.상황 예측을 위한 딥러닝 기술 심화

1.자율주행을 위한 상황 예측의 필요성

자율주행차가 위험이나 충돌을 방지하기 위해서는 미래에 나타날 상황을 예측해야함

휴먼 운전자는 본능적으로 주변에 대한 인지 결과를 바탕으로 미래에 일어날 상황을 예측하여 대응

자율주행의 안정성 향상을 위해 다양한 종류의 동적 객체들의 움직임 예측을 기반으로 다양한 주행 상황에 대한 예측이 필요

2.딥러닝 기반 상황 예측

딥러닝 기술을 사용하여 센서 데이터로부터 동적 객체의 위치 뿐만 아니라 상태 정보도 추출

카메라 영상에 CNN을 적용하여 보행자의 자율주행차 주시 여부 또는 전방 차량의 방향지시등 상태 등 파악 가능

RNN이나 LSTM 모델을 이용하여 동적 객체의 위치, 상태등의 순차적인 변화를 분석하여 미래의 주행 상황 예측

보행자 거동 예측을 위한 딥러닝 기술

-비디오 영상을 분석하여 휴먼의 행동을 분류하고 예측하는 딥러닝 모델

-카메라 영상으로 휴먼의 중요 관절에 해당하는 키포인트를 추출하는 자세추정 딥러닝 모델

-과거의 휴먼의 자세와 상태 정보로 부터 미래의 휴먼의 자세와 상태 정보를 예측하는 딥러닝 모델

2.딥러닝 기반 상황 예측

비디오 예측 기술

-동영상의 다음 프레임을 직접 예측하는 기술

-가까운 미래에 대한 예측은 가능하나 먼 미래에 대한 경우 동적 객체들의 움직임 등에 대한 시맨틱 정보들을 활용해야 정확한 예측이 가능

-포즈의 정답에 주어지지 않는 비지도 학습 방법에 대한 연구가 활발함

의도 예측

-동적 객체 움직임의 목표 또는 의도를 예측하는 직업

-동적객체의 실제 경로를 예측하는 것 보다 동적 객체의 목표 방향 또는 의도를 예측하게 되면 예측 작업의 복잡도를 간소화시킬 수 있는 장점

-의도 예측 결과를 조건으로 하여 경로를 예측하여 더 높은 예측 정확도 달성 가능