센서 시뮬레이션

카메라, 레이더, LIDAR 및 초음파 센서를 위한 가상 센서를 사용한 ADAS용 환경 인식

주변 환경 인식은 주행 보조 및 자율 주행(ADAS/AD)의 기반을 마련합니다. 주행 기능의 개발 및 평가를 위해, 차량 및 환경 시뮬레이션 소프트웨어인 DYNA4는 카메라, 레이더, LIDAR 및 초음파 센서에 대한 검증된 모델을 제공합니다. 

다양한 추상화 수준

Sensor-Simulation_DYNA4.png

가상 시승 소프트웨어인 DYNA4는 다양한 추상화 수준의 시뮬레이션된 센서 입력을 제공합니다. 사용사례와 테스트 대상 시스템의 제약 조건에 따라 서로 다른 수준 간에 전환할 수 있습니다.


  • 물리 기반 원시 데이터를 제공하는 센서: 가상으로 생성된 카메라 이미지 또는 LIDAR 포인트 클라우드를 사용하여 인식 알고리즘을 평가합니다

  • 탐지 수준의 센서: 레이더, 카메라, LIDAR 등 여러 센서의 탐지 결과를 활용하여 저수준 센서 융합 알고리즘을 평가합니다
  • 센서 출력에서
    생성된 객체 목록: 레이더 및 카메라와 같은 여러 센서에서 생성된 객체 목록을 사용하여 고수준 센서 융합 알고리즘을 평가합니다
  • 융합된 객체 목록
    : 융합된 객체 목록을 입력으로 사용하여 ADAS/AD 기능을 평가합니다

가상 센서의 장점

  • 전체 차량 평가
    : 기록된 데이터를 사용하는 설정과 달리, 일관된 피드백을 바탕으로 지각 및 제어 기능을 평가하기 위한 폐쇄 루프 시뮬레이션
  • 초기 개발 단계에서의 유연성: 실제 센서 설치 초기 설정이 아직 완전히 확정되지 않은 상황에서 가상 센서를
    통해 다양한 매개변수를 변경할 수 있음
  • 위험 없는 평가
    : 현실에서는 관찰하기 어렵거나 안전 위험을 초래하는 까다로운 시나리오를 가상 환경에서 손쉽게 재현

  • 정확히 적합한 입력 원시 센서 데이터부터 완전히 이상화된 객체 목록에 이르기까지, System Under Test의 입력에 맞는 추상화 수준을 선택할 수 있습니다
  • 효율성 향상 및 수작업
    감소: 실제 데이터(ground truth) 정보를 완전히 활용할 수 있어 수동 라벨링이 불필요해집니다

대표적인 사용사례

Testing BASELABS Dynamic Grid with Virtual Test Drives in DYNA4
  • 개발 초기 단계에서 센서 구성을
    결정한다 
  • 기능 평가
    : 예를 들어, NCAP 충돌 시나리오에서 도출된 물체 목록을 입력으로 사용하여 자동 긴급 제동 알고리즘을 평가하되, 인식의 영향을 의도적으로 배제
  • 견고성 테스트
    : 예를 들어, 렌즈 오염으로 인해 화질이 저하된 카메라 프레임을 사용하여 자동 주차 기능의 성능을 평가
  • 성능 테스트
    : 예를 들어, HIL 환경에서 인위적으로 주입된 카메라 영상 및 레이더 감지 데이터를 활용하여 자율 주행 기능의 기능성 및 타이밍을 평가
  • 현실에서는 관찰하기 어렵거나 위험한 시나리오, 물체 및 환경적 요인을 포함하여 AI 기반 인식 알고리즘의 학습 및 평가를 위한 데이터셋 보강

객체 수준의 센서 입력

  • DYNA4의 의미론적 이미지 분할을 활용한 객체 목록
  • 센서별 객체 목록 또는 융합 객체 목록
  • 이상화된 그라운드 트루 정보 또는 가림 현상 고려
  • 바운딩 박스를 기반으로 한 고효율 계산 또는 정확한 기하학적 구조를 고려한 시맨틱 이미지 세그먼트
  • System Under Test 시스템과의 손쉬운 통합을 위해 ASAM OSI 포맷의 시뮬레이션된 센서 데이터 제공

시뮬레이션 센서: 카메라, 레이더, LIDAR, 초음파

Testing Camera-Based ADAS Functions with DYNA4

카메라

  • 최대 360°의 개방각을 지원하는 구성 가능한 카메라
  • 피쉬아이, OpenCV, Scaramuzza 또는 Kannala-Brandt 매개변수를 이용한 왜곡 매개변수화
  • filter: 렌즈 오염, 그레이스케일, 베이어(Bayer) 등
  • 스테레오 카메라의 경우에도 이미지 주입을 위해 별도의 출력으로 RGB 이미지 스트림 전송
  • ADAS 제어 장치에 영상 주입을 위한 RGB 카메라 이미지 스트리밍
  • MiL(알고리즘 개발)부터 HIL(ECU에 대한 이미지 주입)까지 폭넓게 활용 가능
     

레이더

  • 물체당 여러 번의 레이더 탐지 결과가 거리, 방사속도, RCS와 같은 레이더별 데이터와 함께 OSI 센서 데이터로 제공됩니다
  • 도플러 효과와 고속 푸리에 변환(FFT) 처리에 기반한 모델링 및 그에 따른 빈닝
  • 다른 물체에 의한 가림 현상, 안테나 패턴, 주기당 탐지 횟수 제한, 각도 및 속도 모호성 등 일반적인 현상을 포괄
  • Persival의 전문 지식을 바탕으로 개발된 계산 효율이 높은 현상론적 모델

LIDAR

  • 레이저 빔과 물체 표면 사이의 각도 및 물체의 속성에 기반한 반사 강도
  • 회전식 및 비회전식 LIDAR 센서의 사용 가능 여부
  • 개방각 및 시그널 분해능 조절 가능
  • DDS 또는 UDP를 통해 Velodyne 포맷으로 ROS 토픽 형태의 3D 포인트 클라우드 출력
 초음파

초음파

  • 전파 및 대기 감쇠에 대한 고려 
  • 물체의 형상 및 재료 속성에 기반한 흡수 및 반사
  • 조절 가능한 개구각 및 시그널 분해능
  • 강도-깊이 히스토그램 출력
귀하의 사용사례에 대해 함께 논의해 봅시다
Felix Beygang
ADAS 솔루션 전문가
귀하의 사용사례에 대해 함께 논의해 봅시다
ADAS 테스트 시스템, 물리적 시뮬레이션 모델 또는 가상 주행 테스트에 대해 궁금한 점이 있으시면, 저에게 연락 주시면 적합한 해결책을 찾아드리겠습니다.