자율주행 인지 기초

자율주행 인지 기초

                                                 1.자율주행 자동차의 센서 구성

1.카메라 센서

빛을 전기적 신호로 변환하여 주변에 대한 정보를 2차원 배열 형태로 제공하는 자율주행 센서

장점:CCD또는 CMOS센서 사용(해상도가 높다), 주변 환경에 대한 색상, 형태 정보 제공, 가격이 저렴

단점: 날씨, 밝기 변화에 민감, 밤에 성능 저하,정확한 거리, 속도 정보를 제공하지 못함, 높은 해상도(센서 신호 처리시 계산량이 많음)

2.레이더 센서

전자기파인 RF신호를 송출하고 목표물에 반사하는 수신파를 분석하여 물체의 거리,각도, 속도 등의 정보를 얻어냄

장점:환경 변화에 강함, 거리 측정 정확도가 높음, 상대적으로 가격이 저렴

단점: 횡방향 물체 위치 측정 정보가 정확하지 않음(클러터 현상으로 오탐률이 높다)

3.라이다 센서

고출력의 펄스레이저를 송출하여 물체에서 반사되어 오는 시간차를 분석하여 3차원 공간을 스캐닝함

장점: 거리, 각도 측정 정확도가 높음, 날씨,습도 , 조도변화에 강인하다.

단점:비싸다, 습기가 있을경우 수신신호의 세기가 약해짐

                                                            2.  자율주행 인지 기술 개념

1.동적 객체의 검출 및 추적

센서 신호를 분석하여 다수의 주변 동적 객체를 검출하고 , 매 시점마다 얻은 검출 결과를 시간적으로 연결하여 추적

2.동적 객체의 거동 예측

동적 객체의 시간적인 움직임을 분석하여 미래의 움직임 추정

3.정적 객체의 검출,인식

정적 환경 객체의 위치와 종류를 식별

도로 구조 및 환경을 이해하여 안전한 주항을 가능하게 함

                                                       3. 자율주행 인지 기술의 도전적 과제

1.인지의 강인성과 정확도 향상

다양한 환경 변화에 강인한 인지 정확도 달성

교통상황, 도로상황과 같은 문맥적 정보 이해

2.동적 객체의 다양한 행동 분석 및 환경 변화 적응

주변 동적 객체의 다양한 행동패턴과 의도를 분석, 예측

새로운 객체와 변화하는 환경에 적응

3.인지기능의 통합 설계 및 실시간 하드웨어 구현

검출/추적/예측의 인지 기능의 통합 설계 및 최적화

                                                              4. 인지를 위한 AI기술

1.AI기술

사람이 갖고 있는 지능을 기계로 구현하기 위한 기술

2.머신러닝

데이터를 통해 학습하는 방식으로 지능을 구현하는 기술

3.딥러닝

머신러닝 기술을 하기 위해 필요한 모델 중 하나

사람의 누런을 모사하는 신경망 구조를 갖고있음

                                                               5.인지를 위한 딥러닝 기술 개요

1.딥러닝 모델의 신경망 구조

딥러닝:센서 데이터를 입력받아 원하는 결과를 출력

FEED_FORWARD 신경망 구조

2.딥러닝의 학습 과정

트레이닝:수많은 학습 데이터를 보여주면서 주어진 데이터에 대해 정답을 맞추도록 신경망의 연결 여부를 결정해주는 과정

인퍼런스:자율주행차에 탑재하여 실제 인지 기능 수행

3.인지를 위한 딥러닝 기술

CNN:카메라 영상을 입력으로 하여 원하는 결과를 얻어냄,2차원 배열 데이터를 처리하는데 유리

카메라 영상을 기반으로 동적객체와 정적 객체를 구분한다.

RNN:시간적으로 순차적으로 들어오는 데이터를 입력으로 하여 원하는 출력을 얻어냄,자율주행차에서는 주변 동적 객체의 과거 경로로부터 미래 경로 예측(LSTM모델이 가장 유명하다.)

                                                    6.딥러닝 기반의 인지 시스템 사례

1.테슬라의 자율 주행 기술 사례

라이다를 사용하지 않고 카메라와 레이더만으로 자율 주행을 하는 기술

최근 오토파일럿에서 FSD 기술로 진화

무선 통신을 통한 지속적인 소프트웨어 업데이트

2.구글 웨이모의 자율 주행 기술 사례

라이다를 적극적으로 활용하는 자율주행 기술

무인 택시 등의 서비스에 사용

라이다 센서를 직접 설계하여 사용

                                                      7.카메라 센서 개요

1.카메라 센서 원리

카메라 렌즈를 통해 들어온 빛을 전기적인 신호로 변환해서 주변에 대한 정보 제공

2.카메라 구조

핀홀 카메라:핀홀, 즉 작은 구멍을 통해서 빛을 받아들임

렌즈 카메라: 렌즈의 빛의 굴절 특성 이용

3.영상의 표현 방법

X,Y축의 2차원 배열로 표현

프레임 비율:1초동안 보여주는 영상 프레임 수

영상의 색상 표현:적색,녹색,청색(적녹청)

‘일반적으로 각 색상의 밝기를 8비트(0~255)로 표현

                                                    8.카메라 캘리브레이션(보정) 기술

1.카메라 좌표계

카메라에서 물체를 표현하는 좌표계

2.카메라 내부 파라미터

카메라 영상 좌표계와 3차원 월드 좌표계 변환을 위한 카메라 내부의 기계적인 셋팅에 관련된 파라미터

초점거리:렌즈의 중심과 이미지 센서(CMOS OR CCD)와의 거리,픽셀 단위로 표현

주점:렌즈의 중심에서 이미지 센서에 수직으로 내린 점의 영상 좌표, 픽셀 단위로 표현

비대칭 계수:이미지 센서의 CELL ARRAY의 Y축이 기울어진 정도

3.카메라 캘리브레이션

카메라 영상 좌표계와 3차원 월드 좌표계 사이의 변환 행렬을 알아내고 카메라 렌즈에 의해 생긴 왜곡을 보정하는 과정,자율주행차가 카메라의 영상을 인식하기 위해서는 캘리브레이션이 이루어져야 한다.

-반복적인 패턴이 있는 체커보드를 카메라로 촬영→영상에서 체커보드의 코너점들을 검출

→결과를 이용하여 카메라의 내부 파라미터값 계산

                                                    9.카메라 기반 물체 검출/추적 기술

1.물체 검출 기술

카메라 영상을 받아서 물체의 위치와 종류를 추정

2.딥러닝 기반 물체 검출 기술

CNN딥러닝 모델을 이용하여 물체에 대한 특징값 추출

1단계 검출 기법(YOLO,SSD,RetinaNet): 신경망을 적용하여 물체에 대한 특징 추출

                                                           물체의 위치&종류 동시 판별         

                                                           간단한 구조로 인해 계산시간이 빠름           

2단계 검출 기법(Faster RCNN,Mask RCNN): 신경망을 적용하여 물체의 존재 여부만을 검출

                                                                   보다 정밀한 물체 위치 파악&물체 종류 인식

                                                                   복잡도가 높은 대신 검출 정확도가 더 높음

3.카메라 기반 물체 추적 기술

같은 물체에 대한 검출 결과를 시간적으로 연결하고 연결된 물체에 대해 물체 ID부여

                                                     10.카메라 기반 영역 분할 기술

1.자율주행차의 검출 대상

차량,보행자와 같이 몸체가 있는 물체

차로,도로와 같이 몸체의 형태가 분명하지 않은 객체

2.Semantic 영역 분할 기술

카메라 영상에서 같은 종류에 해당하는 영역을 분할하고 그 영역의 종류를 분류하는 방법

3.차로, 도로 영역 검출

카메라 영상에서 차로,도로에 해당하는 영역을 픽셀별로 라벨링 해놓은 학습 데이터를 이용하여 딥러닝 모델을 트레이닝

                                                       11.레이더 센서 종류 및 작동원리

1.레이더 센서 종류

주파수 대역에 따라24gh와 77ghz레이더로 구분

신호 송신 방식에 따라 펄스 레이더, 연속파 레이더로 구분

2.펄스 레이더(근거리 차량용)

짧은 펄스 신호를 송신

송수신 신호 간의 전파지연 시간을 측정하여 상대 차량과의 거리 추정

3.FMCW(연속파) 레이더(중장거리 차량용)

주파수가 선형적으로 변하는 연속파 신호 송신

송신 신호와 수신 신호를 곱하여 비트 신호를 추출하여 목표와의 거리 및 상대 속도 측정

                                                   12.레이더 신호 특성

1.레이더 신호 특성

주로 24GHZ와 77GHZ대역을 사용

77GHZ장점: 안테나 묘듈 크기를 작게 만들 수 있어 자율주행 구현에 유리

                지향성이 더 좋고 인체에 비교적 무해(그래서 요즘은 다 77을 쓴다)

물체와 관계 없는 장애물에 의한 클러터 방해 신호 존재

크러터 문제를 해결하기 위한 고성능 신호처리 알고리즘이 필요

2.레이더 신호를 이용한 물체 검출

수신된 레이더 신호의 주파수 분석 수행(수신 신호에 고속 퓨리에 번환(FFT)기법 적용 → 시간에 따른 주파수의 변화 분석→물체 검출)

CFAR 검출 방법을 적용하여 일관된 오탐률을 유지

3.배열 안테나를 이용한 각도 측정

수신된 신호의 위상 차이를 이용하여 수신 신호의 각도 추정

안테나 원소의 수가 늘어날수록 각도 해상도 향상

                                                          13.레이더 송수신기 구성

1.디처핑 과정

송신 신호와 수신 신호를 곱한 후 저대역 필터를 통과

주파수의 차에 해당하는 비트신호 생성

2.고속 퓨리에 변환

비트 신호를 디지털 신호로 변환한 후 고속 퓨리에 변환 적용

비트 신호의 주파수 성분 분석

3.CFAR 검출(오탐률 검출)

주파수 성분을 임계값과 비교하여 물체 검출

임계값을 주변 잡음에 따라 적응적으로 조절

                                                 14.레이더 기반 물체 검출 기술

1.송신 신호 웨이브폼

펄스 레이더 송신 신호 파형

FMCW 레이더 송신 신호 주파수 파형

2.셀-평균 CFAR 검출기

잡음의 세기를 주변 셀에서의 신호 에너지의 평균을 취하여 계산

3.배열 안테나를 이용한 방향 측정

위상 차이를 분석하여 신호의 입사 방향 측정

                                                  15.라이다 센서 종류 및 개요

1.라이다 센서의 특징

고출력 펄스 레이저를 사용하기 때문에 정확한 거리 측정이 가능

2.회전형 라이다

센서를 직접 기계적으로 회전하여 360도 전방위 환경 정보 획득

가격이 높고 내구성이 약한 단점

3.고정형 라이다

환경 정보를 획득하고자 하는 각도에 설치하여 운용

가격이 저렴하나 화각이 제한되는 단점이 있음

1. 라이다의 구현 방식

기계식 라이다: 기계적인 모터를 사용하여 주변 영역을 스캐닝

MEMS 라이다: MEMS 기술을 이용하여 작은 반사 거울을 제어하여 주변 영역을 스캐닝

플래시 라이다: 단일 레이저 빔을 광 시야각으로 확장하여 송신하고 반사되는 레이저 빔을 다중 배열 수신 소자를 통하여 수신

FMCW 라이다: 레이더에 사용되는 FMCW신호 분석 원리를 적용

                      거리 뿐만 아니라 속도 측정도 가능

                                  

                                                   16.라이다 센서특성 및 데이터

1.라이다 센서

라이다에서 발사한 레이저가 물체에 반사되어 돌아오는 지연 시간으로부터 물체까지의 거리 측정

기존에는 905nm파장 사용(습도의 영향으로 수신파워 감소)했으니 최근에는 1550파장 개발중

단점:반사체의 반사율이 낮을 경우 반사되어 돌아오는 신호 성분 약화(검출 가능한 거리가 줄어듬)

2.라이다 데이터 표현 방식

신호가 반사되어 돌아온 물체 위치를 3차원 좌표 (x,y,z)와 세기 i로 구성된 4차원 데이터 (x,y,z,i)로 표현

3.포인트 클라우드 데이터

라이다 포인트의 집합(3차원 공간에서 점들의 집합)

특징:정해진 순서 없이 포인트 처리

    채널 수 , 회전 속도 등에 의해 해상도 변화

라이다를 여러개 장착하는 경우 스캐닝의 주기와 동기화를 맞춰주어야 한다.

                                                        17.라이다 기반 물체 검출 기술

1.라이다 기반 물체 검출 기술

라이다 센서 데이터를 분석하여 물체의 위치와 종류 추정

포인트 클라우드 데이터를 분석하여 동적 객체 분류

2.3차원 영역의 물체 검출

3차원 영역에 물체를 포함하는 3차원 박스로 물체의 위치 표현

3.조감도 영역의 물체 검출

주변을 위에서 내려다보는 방향에서 물체를 2차원 박스로 표현

4.라이다 데이터 전처리 방식에 따른 분류

복셀 기반 라이다 처리: 3차원 공간을 복셀이라고 불리는 작은 3차원 블럭으로 나눈 후 각 복셀 안에 있는 라이다 포인트 클라우드를 처리하여 물체에 대한 정보 추출

라이다 포인트 클라우드를 직접 처리방식 : 포인트넷(딥러닝 방식) 적용(포인트 클라우드에서 정보 추출,포인트 수가 많은 경우 계산량을 줄이기 위한 방법 필요)

                                                        18. 라이다 기반 물체 추적 기술

1.라이다 기반 물체 추적 기술

라이다 센서를 통해 얻은 검출 결과들을 시간적으로 연결하고 연결된 검출 결과에 물체 id를 부여하는 작업

2.라이다 기반 물체 추적 기술 동향

최근 딥러닝 기술이 물체 검출 기술뿐만 아니라 물체 추적에도 적용되는 추세

딥러닝에서 추출된 특징값을 사용해 트랙과 물체의 유사도 측정

트랙과 검출결과의 관계 파악을 위해 그래프 구조의 최신 딥러닝 구조 사용

필터링에도 LSTM,RNN등의 딥러닝 모델 사용

3.물체 검출과 추적 기술의 통합 설계

물체 검출, 추적을 통합적으로 설계하여 보다 좋은 인지 성능 달성 가능

                                                              19.복합 센서 적용 기술

1.센서

측정 대상물로부터 외부 물리적 신호들의 정보를 측정하여 기계가 이해할 수 있는 신호로 변환하는 소자 또는 장치

2.자율주행차에 장착 되는 대표 센서

카메라

장점:해상도가 높다,.색상,형태 등의 정보 수집 가능

단점:날씨, 조도 등에약하다. 거리측정 정확도가 높지 않다.

레이더

단점:클러터 등으로 인한 오탐률이 높음. 횡방향 측정 정확도가 낮음

장점:날씨, 조도 변화등에 강함

라이다 센서

단점:가격이 높다. 습도 에 약하다.

장점:거리측정 정확도가 높다. 조도 변화에 대한 영향은 없다. 고가 라이다의 경우 해상도가 높다.

3.센서융합 기술

하나 이상의 복합 센서를 사용하여 주변 정보를 취득하고 이를 융합하여 인지 수행

카메라+레이더: 2,3단계 자율주행에 적합

라이다 구성: 4단계 이상의 자율주행에 적합

초기 융합

장점: 인지 처리를 한번만 수행하면 된다.

단점: 데이터의 분포가 확연히 다를 경우 융합에 의한 성능 이득이 낮다.

후기 융합

장점: 최종 단계에서 융합하기 때문에 센서 오작동에 대한 분석 가능

단점: 모든 센서 데이터에 대해 인지 처리를 수행해야함.

중기 융합: 초기 융합과 후기 융합을 합친 것으로 최근 딥러닝 기술이 인지에 적용되면서 선호되고 있다.

                                                            20. 센서 융합 기술 사례

1.카메라, 레이더 센서 융합

카메라(2차원 좌표계),레이더(3차원 좌표계)를 융합하는 캘리브레이션 적용

2.카메라, 라이다 센서 융합

카메라, 라이다 캘리브레이션 적용

카메라 중심 융합기술과 라이다 중심 융합기술 존재

1)카메라 중심의 융합: 카메라를 통한 검출이 메인이 되고 라이다 포인트 데이터는 보조적으로 사용

2)라이다 중심의 융합: 라이다 데이터의 해상도가 높은 경우 라이다 포인트 클라우드를 이용한 3차원 또는 조감도 영역에서의 물체 검출이 가능하므로, 카메라를 통한 검출 결과는 보조적으로 사용

3.카메라,레이더,라이다 센서 융합

인지의 높은 신뢰성이 요구되는 레벨4 이상의 자율주행을 위해 필요

복합센서에서 제공되는 정보의 최적 융합 전략 필요

실시간 센서융합 처리를 위한 알고리즘, 하드웨어 구현 필요

                                    21.고성능 인지를 위한 하드웨어/소프트웨어/통신 플랫폼

1.고성능 인지를 위한 하드웨어

고성능 컴퓨팅을 수행하기 위한 차량용 반도체 프로세서로의 진화 필요

고성능 인지 요구사항: 대용량의 데이터를 실시간으로 처리할 수 있는 능력,

인지를 위한 물체 검출, 추적, 예측 등의 기능들을 통합적으로 처리하고 결과를 주고받을 수 있는 능력

대용량의 데이터를 수집, 저장, 송신할 수 있는 능력

고신뢰성, 저전력 요구 사항을 만족할 수 있는 능력

하드웨어, 소프트웨어의 오류에 대한 강인성과 오류 검출 능력

인지 정보를 주변 차량, 보행자, 인프라와 무선으로 주고 받을 수 있는 능력

뉴럴 네트워크 연산을 수행하기위한 가속기 및 병렬처리 프로세서 필요

오류의 강인성을 확보하기 위한 듀얼 프로세서 탑재

2.고성능 인지를 위한 소프트웨어

안드로이드와 같은 오픈 소프트웨어 플랫폼 필요

ai를 처리할 수 있는 소프트웨어 필요

개발, 시뮬레이션, 테스트, 구현 단계까지 연결하여 설계 가능한 개발자 소프트웨어 플랫폼 필요

딥러닝 모델의 모델 압축, 고정소수점 구현을 통한 하드웨어 경량화를 지원하는 설계 소프트웨어 필요

3.고성능 인지를 위한 통신 플랫폼

자율주행 통신 플랫폼: v2x기술, ota기술

통신 플랫폼 사용 시 정보 보안 및 개인정보 보호 기술 중요, 초저지연 통신 기술 필요

                                                22.AI기반 인지시스템을 위한 지능형 반도체 기술

1.그래픽 프로세싱 유닛(GPU),뉴럴 프로세싱 유닛(NPU)

그래픽 프로세싱 유닛(GPU):병렬처리에 특화된 범용 프로세서

뉴럴 프로세싱 유닛(NPU): 딥러닝에 많이 사용되는 계산을 빠르게 저전력으로 사용하는 가속기

2.뉴럴 프로세싱 유닛

엣지나 디바이스에서 사용하기 위한 저전력,고속 AI반도체 칩셋

3.AI기반 인지를 위한 지능형 반도체 사례

테슬라 FSD컴퓨터:칩셋과 파워서플라이를 여분으로 2개 사용(고장이나 오류시의 신뢰성 향상)

센서 정보를 수신할 수 있는 인터페이스 장착

40와트 이하의 전력 소모량

가속기를 장착하여 뉴럴 네트워크 연산을 50테라 초당 명령 수 속도로 수행 가능

일반적인 전차리, 후처리 등의 범용 계산을 위해 GPU와 CPU 장착

고성능 영상처리칩과 비디오 인코더 장착

구글 TPU:가격이 저렴하다, 8비트 연산 기반의 딥러닝 모델 설계 지원

엔비디아 GPU V100보다 27배 연산속도가 빠름

최근 V3버젼은 1024개의 코어 사용

                                                 23.고정밀 지도 기반 자율주행 개요

1.고정밀 지도 기반 자율주행의 필요성

차량 주위의 정적 환경에 대한 정밀한 정보를 제공함으로써 자율주행의 안전성 향상

고정밀 지도의 장점: 정확한 정적환경 정보로 인한 자율주행의 안정성 향상

                            주행 교통상황의 대한 빠르고 정확한 판단 가능

                            센서 데이터로부터 도로정보로부터 도로 정보를 정확히 얻기 위한 인지 기술의                   

                             부담을 덜어줌          

1. 자율주행차 측위

고정밀 지도를 활용하기 위해서 자율주행차의 지도상 위치를 정확히 파악하는 기술

3.LDM 동적 정보 시스템

인프라,엣지,자율주행차 등으로부터 얻은 동적 객체들의 위치와 상태를 고정밀 지도 위에 표현

                                                          24.고정밀 지도 및 측위 기술

1.기존의 측위 기술

GPS 위성 신호를 수신하여 위치 추정

RTK기술: 정밀한 위치를 확보한 기준점의 반송파 오차 보정치를 적용하여 수 CM의 정밀도를 표현하는 고정밀 이동측량 기법

관성항법 창치: IMU등 관성 센서 정보를 활용하는 장치

2.고정밀 지도 기반 측위 기술

SLAM기술: 로봇이 스스로 측위를 하는 동시에 지도를 생성하는 기술

자율주행에서는 MMS기술을 이용하여 고정밀 지도를 미리 생성

맵매칭 방식의 측위 기술: 인지 기술을 통해 얻은 주변의 정적 환경 정보를 고정밀 지도에 포함된 환경 정보와 매칭하여 측위 수행

고정밀 지도 기반 측위를 위한 두가지 단계

-1단계(odometyr 기술): 차량이 과거 위치에서부터 얼마만큼 움직였는지 측정

-2단계(맵매칭 기술): 센서 정보를 활용하여 맵매칭을 통해 고정밀 지도 위에 정확한 위치 측정

                                                   25. MMS기반 고정밀 지도 구축 기술

1.MMS의 개념

Mobile Mapping System 의 약자

주행 중인 차량에 장착된 다양한 센서를 이용하여 세밀한 저형정보를 획득하여 지도 구축하는 시스템

MMS차량의 구성

DGPS: 2개 이상의 GPS 수신 신호를 이용하여 정밀도가 높은 측정 가능

IMU: 음영지역에서도 움직임에 대한 상대위치 변화 측정이 가능한 관성센서 장치

라이다: 1초당 100만여개의 레이저를 발사하여 3차원 공간 스캐닝

DMI: 바퀴 회전 수 측정을 통해 주행거리 측정

INS(관성항법장치): 자이로스코프를 통해 가속도를 구해 속도를 적분하여 이동거리를 계산하는 장치)

2.MMS기반 고정밀 지도 구축 과정

작업 계획 수립 - MMS 시스템 구축 - 기준점 선점 및 측량 - MMS 표준자료 제작 - 포인트 클라우드 데이터 후처리 및 보정 - 객체 추출 후 품질검사, 벡터 데이터 상대정확도 검증 - 편집 및 정리 점검

                                                   26.AI기반 측위 기술

1.자율주행을 위한 측위 기술

Odometry 기술: 과거의 위치로부터 얼마만큼 움직였는지 상대 위치 측정

맵매칭 기술: 센서 신호와 고정밀 지도를 매칭하여 지도 위에 차량의 위치 측정

시맨틱 지도: 지형 지도에 랜드마크 또는 도로 정보들을 추가하여 만든 지도,맵매칭 등의 측위에 사용

고정밀 지도의 정보를 자율주행에 활용하기 위해서는 자율주행차량의 위치를 알아내는 측위기술 필요

자율주행을 위한 측위의 정확도 향상을 위해 환경 인지 센서에 대한 활용이 고려되고 있음

AI 기술을 적용함으로써 Odometry 기술, 맵매칭 기술의 정확도와 신뢰성이 향상될 것으로 기대측위

2.측위를 위한 AI기술

카메라 Visual Odometry 기술:카메라의 움직임에 의한 영상 프레임 사이의 변화를 분석하여 차량의 이동 위치를 추정하는 기술

라이다 Odometry 기술: 라이다 포인트 데이터의 움직임을 분석하여 Odometry 수행

통합 Odometry 기술: 관성항법장치와 카메라 또는 라이다 센서데이터 정보를 융합하여 Odometry 수행

지형 지도 기반 측위: 카메라 혹은 레이더 센서 데이터와 지형 지도의 정보를 비교하여 위치 정보 추정

시맨틱 지도 기반 측위: 정적 주행 환경 객체를 검출하여 지도에 포함된 랜드마크 정보들과 정합하여 위치 추정