기계 시각 3차원 영상 기술 소개 (1)

3D 이미징 기술 개요

3차원 영상은 전통적인 2차원 영상을 기초로 심도 있는 정보를 추가하여 더 높은 정밀도의 위치, 식별 및 검측 임무를 감당할 수 있으며, 현재 이미 소비자 전자, 의약 및 공업 분야에 광범위하게 응용되고 있다.

데이터를 얻는 방식에 따라 접촉식과 비접촉식 두 가지로 나눌 수 있다.접촉식은 손상 유무에 따라 측정 대상이 무손상과 유손 두 종류로 나눌 수 있다.비접촉식은 신호의 사용 방식에 따라 전송식과 반사식으로 나눌 수 있다.반사식은 더 나아가 광학과 비광학 두 종류로 나눌 수 있다.광학식은 필요에 따라 인공 광원을 추가하는 주동식과 피동식의 두 가지 유형으로 나눌 수 있다.패시브 비주얼 이미징은 카메라가 수신하는 대상 장면에서 발생하는 광선 복사 정보에만 의존하며, 이 복사 정보는 2D 이미지 픽셀 그레이스케일 값을 통해 측정된다.

피동적인 시각은 실내, 목표 장면의 복사 동적 범위가 크지 않고 가리개가 없으며 장면 표면이 매끄럽지 않고 무늬나 기하학적 특징이 뚜렷하여 입체적인 매칭을 통해 일치점을 찾기 쉽다.능동 입체 시각은 광변조 (예를 들어 인코딩 구조 광, 레이저 변조 등) 를 이용하여 목표 장면을 비추고 목표 장면 표면의 점을 인코딩하여 표시한 다음 획득한 장면 이미지를 디코딩하여 이미지 간의 일치점을 신뢰할 수 있도록 한 다음 삼각법을 통해 장면의 3차원 정보를 구한다.능동 입체 시각의 장점은 방해에 대한 저항성이 강하고 환경에 대한 요구가 높지 않다는 것이다 (예를 들어 필터를 통해 환경 광간섭을 제거한다). 3차원 측정의 정밀도, 중복성과 신뢰성이 높으며 구조가 복잡한 장면에 대해 가리기 문제가 발생하기 쉽다는 단점이 있다.다음 그림과 같이 이미징 원리에 따라 더 세분화할 수 있습니다.

접촉식은 프로브나 탐침으로 피측물 표면을 따라 이동해야 하기 때문에 크기가 제한되고 피측물을 긁기 쉬우며 정밀도도 비교적 떨어진다.3좌표 측정기 (Coordinate Measuring Machine, CMM) 와 같은 것은 탐지기와 물체 표면의 이산점을 통해 측정된 대상의 3차원 정보를 측정하는 것이다.현재 3차원 영상은 대부분 광학 원리를 이용한 비접촉식을 위주로 하여 더욱 안전하고 더욱 효율적이며 더욱 정확하다.직관적인 실례는 이전에 도로시공일군이 움푹 패인 도로를 보수할 때 직척과 류사한 금속봉을 사용하여 깊이를 측정하였는데 줄곧 경제적이고 능률적인 해결방안이 없었지만 3차원광학영상기술의 응용에 따라 이미 이 과정을 개변시켰다.

이 글은 주로 기계 시각 분야의 주류인 3차원 영상 기술을 토론하는데, 비행 시간, 구조 광, 레이저 삼각, 두 눈 입체 시각 및 광장 영상 기술을 포함하며, 마지막으로 밀리미터파 레이더와 레이저 레이더 및 각 3차원 영상 방안의 응용 장면과 정밀도 수준 대비를 보충 소개할 것이다.

비행시간법

비행시간(Time of Flight, ToF), 발광다이오드(Light Emitting Diode, LED) 또는 라듐다이오드(Laser Diode, LD)를 이용해 적외선 신호를 발사해 신호 송출과 귀환의 시간차를 토대로 센서와 피측물 간 거리를 측정한다.ToF 카메라는 레이저와 같은 변조 광원을 사용하여 피측물을 능동적으로 비춘 다음 레이저 파장에 민감한 센서로 반사광을 포착하여 거리를 측정합니다.센서는 카메라의 머리카락에서 빛을 쏘고 카메라에서 송신광을 받는 사이의 시간 지연 t를 측정한다. 시간 지연은 카메라와 물체 사이의 두 배 거리(왕복)와 정비례한다.따라서 거리는 깊이 = cμt/2로 추산할 수 있으며 여기서 c는 광속을 나타냅니다.이 과정은 초음파와 유사하며, 후자는 빛이 아닌 소리를 통해 거리를 측정하고, 레이더는 무선 전파를 통해 거리를 측정한다.초음파에 비해 비행시간 (ToF) 카메라는 높은 (깊이) 정밀도를 가진 고해상도 심도 그래프 (공간 해상도가 RGB 카메라와 비슷함) 를 더 빨리 생성할 수 있고, 더 큰 범위를 커버할 수 있다. 결국 빛의 속도는 음속보다 훨씬 크다.레이더의 탐지 거리는 더 멀지만 비행시간 (ToF) 의 정확성과 해상도는 모두 yi보다 높다.

현재 여러 가지 다른 측정 방법이 존재하는데, 그 중 두 가지가 가장 자주 사용된다: 연속파 (CW) 방법과 펄스 방법.간혹 간접비행시간(iToF)이라고도 불리는 연속파(CW) 방법은 송·수신되는 광펄스 사이의 상이를 측정한다.펄스 방법, 때로는 발사 된 펄스와 수신 된 광 펄스 사이의 경과 시간을 측정하는 직접 비행 시간 (dToF)이라고도 합니다.이 방법은 3D 레이저 센서의 원리와 거의 유사하다. 다만 3D 레이저 센서는 점별로 스캔하고 ToF 카메라는 전체 이미지의 깊이 정보를 동시에 얻는다.특히 현재 구현되어 시중에 판매되고 있는 대부분의 연속파 ToF 시스템은 CMOS 센서를 사용하고 있으며, 펄스 ToF 시스템은 비CMOS 센서 (특히 CCD) 를 사용하고 있다.CW iToF 이미지 센서를 사용하는 장점 중 하나: 전통적인 반도체 인프라를 기반으로 대규모 양산을 진행하여 경제적인 비용으로 고화소 밀도의 단거리 이미지를 구현할 수 있습니다.iToF 또는 dToF 딥 이미징 시스템을 선택하는 것은 결국 응용 프로그램 요구 사항과 사용 환경에 달려 있습니다.iToF는 고공간 해상도가 필요한 단거리 영상(0.5m, 5m, 10m)에 적용된다.dToF는 공간 해상도가 높지 않은 원거리 이미징에 더 적합합니다.인공지능 (AI) 과 광학 시스템 설계로 iToF 기술과 dToF 기술을 선택하는 경계선이 더 이상 명확하지 않다.환경을 감지할 수 있는 스마트 에지 시스템에서 iToF와 dToF 센서는 모두 RGB 이미지와 관성 센서와 통합되어 AI의 조력으로 성능을 향상시키고 가짜를 제거한다.

마우스가 컴퓨터 인터렉션을 바꾸고 터치스크린 기술이 스마트폰과 태블릿PC의 보급을 추진한 것처럼 비행시간(ToF) 기술은 비접촉식 3D 인터렉션을 실현하는 데 힘을 보태고 있다.인더스트리 4.0의 발전을 추진하는 데 있어서 비행시간 (ToF) 기술은 비슷한 효용을 가지고 있다.품질 검사에 사용되는 산업 기계 시각에서 자산 관리에 사용되는 체적 검사, 자체 (장비) 생산을 추진하는 네비게이션 기술에 이르기까지 제조 산업은 이러한 센싱 기술을 채택하기 시작했으며 열악한 산업 환경에 적합한 고해상도 시스템으로 점차 전환했습니다.현재 우리 주변에는 자동차 곤돌라 안전부터 홈 스포츠 장비, 게임과 화면이 사실적인 3D 원격 협업에 이르기까지 비행시간 (ToF) 기술의 응용이 속출하고 있다.심지어 창고, 통, 대형 저장탱크의 저장량 검측에도 광범위하게 응용된다.비행시간 (ToF) 기술의 미래 응용 프로그램 중 하나는 레이더, LIDAR 및 기타 심도 센서의 보충으로 자동 운전 자동차입니다.

현재 소비자용 ToF 딥 카메라는 마이크로소프트의 Kinect 2, MESA의 SR4000, Google Project Tango에 사용되는 PMD Tech의 ToF 딥 카메라 등이 있다.이 제품들은 이미 체감 인식, 제스처 인식, 환경 모델링 등 방면에서 비교적 많은 응용을 얻었는데, 가장 전형적인 것이 바로 마이크로소프트의 Kinect 2이다.

ToF 이미징은 큰 시야, 원거리, 낮은 정밀도, 낮은 비용의 3D 이미지 수집에 사용할 수 있으며, 탐지 속도가 빠르고 시야 범위가 크며 작업 거리가 멀고 가격이 저렴하지만 정밀도가 낮아 환경 빛에 쉽게 방해되는 것이 특징이다.매끄러운 물체 (반사광이 다른 방향으로 향함) 나 협각이 있는 물체 (여러 번 반사됨) 의 경우 비행시간 영상정밀도가 영향을 받는다.

일반 카메라와 마찬가지로 ToF 카메라 칩의 전면에는 빛을 수집하는 렌즈가 필요합니다.그러나 일반 광학 렌즈와 달리 여기에는 광원 파장과 같은 빛만 들어갈 수 있도록 통과 필터를 추가해야 한다.

ToF의 장점: 비행 시간은 능동 광원으로 피측물을 비추기 때문에 환경 조명이 없는 ji단 상황에서도 정상적으로 작동할 수 있다.입체 카메라나 삼각 측정 시스템에 비해 ToF 카메라는 크기가 작고 무게가 가벼워 일반 카메라 크기와 거의 차이가 없어 가볍고 작은 크기의 카메라가 필요한 경우에 적합하다.비행시간 알고리즘의 원리는 상대적으로 간단하기 때문에 ToF 카메라는 실시간으로 깊이 정보를 빠르게 계산하여 수십 ~100fps에 달할 수 있다.반면 두 눈 입체 카메라는 복잡한 관련성 알고리즘을 사용해야 하기 때문에 처리 속도가 느리다.ToF의 깊이 계산은 물체 표면의 회색조와 특징의 영향을 받지 않아 3차원 탐지를 매우 정확하게 할 수 있다.반면 양안 입체 카메라는 목표가 좋은 특징 변화를 가져야 한다. 그렇지 않으면 깊이 계산을 할 수 없다.빛의 속도가 매우 빠르기 때문에 ToF 카메라는 복잡한 설계가 있어야만 왕복 신호 시간차의 검측을 실현할 수 있다. 제조가 상대적으로 어렵다. ToF 카메라의 깊이 계산 정밀도는 거리의 변화에 따라 변하지 않는다. 전체 측정 범위 내에서 기본적으로 cm급으로 안정될 수 있다. 이는 일부 광범위한 운동의 응용 장소에 매우 의미가 있다.구조광 카메라에 비해 10m 범위 내에서 ToF 카메라는 정밀도가 더 낮고 10m 밖에서는 정밀도가 더 높다.ToF 카메라의 현저한 장점은 작업 거리가 비교적 넓어 0.5미터에서 10미터의 범위를 커버할 수 있다는 것이다. 정밀도 요구가 높지 않은 장면은 어떤 것은 심지어 수백 미터에 달한다. 이 장면에서 일반 조사 단위는 레이저가 아닌 적외선 LED를 사용하여 눈을 해치지 않는다.구조광 카메라의 영상 범위는 2~3미터에 불과하지만 정밀도는 더 높다.따라서 ToF 카메라는 비교적 짧은 거리에서 작동할 수 있지만 일정한 정밀도 요구가 필요할 때 좋은 선택이 아니다.

TOF 심도 카메라는 시간 측정의 정밀도를 많이 요구하기 때문에 펄스를 발사하는 데 매우 짧은 시간(피초급)이어야 하며, 최고 정밀도의 전자 부품을 사용해도 밀리미터급 정밀도를 달성하기 어렵다.따라서 근접 측정 분야, 특히 1m 범위 내에서 TOF 깊이 카메라의 정밀도는 다른 깊이 카메라에 비해 큰 차이가 있으며, 이는 근접 고정밀 분야에서의 응용을 제한한다.ToF 카메라는 원거리 거리 측정에서 어느 정도 유리하지만 가격이 상대적으로 비싸고 색상 정보가 없다.

ToF 카메라의 정밀도는 대부분 거리와 관련되어 있으며, 일반적으로 1% 의 영상 거리를 통해 추산할 수 있다고 생각하기 때문에 측정된 물건이 5m 거리라면 ToF 카메라는 5cm의 정밀도를 달성할 수 있다.그러나 두 눈 입체 카메라의 정밀도는 대략 5-10% 의 영상 거리이며, 구조 광 카메라는 정밀도가 가장 높아 1mm에 달할 수 있다.

연장: 광학 레이더는 비행 시간 유형에 속하는가

광학 레이더 (Light Detection and Ranging, LiDAR) 는 비행시간 레이저 스캐너 (ToF Laser Scanner) 라고도 하며, 때로는 레이저 레이더 (Laser Radars) 라고도 하며, 주변 환경에 레이저 펄스를 다각도로 발사하여 비행시간에 따라 측정된 물체의 거리를 측정한다.또한 광학 레이더는 심도 그래프에 피측물의 더 많은 세부 사항을 반영하기 위해 반사광 강도도 측정한다.또한 3D ToF는 일종의 무스캐너 LiDAR 기술로도 볼 수 있다.

SICK는Visionary-T 미니3D 카메라

SICK Visionary-T Mini 3D 카메라는 3D 비행시간(TOF) 기술로 컴팩트한 케이스와 뛰어난 데이터 품질 로봇 기술, 운송차 및 물류의 자동화 응용을 실현하기 위해 정확하고 신뢰할 수 있는 2D 및 3D 거리 측정 데이터를 빼놓을 수 없다.또한 설치 공간이 좁더라도 시각 시스템은 적절한 기계 설계에 쉽게 통합될 수 있어야 합니다.SICK Visionary-T Mini 3D 카메라 제품군은 고성능과 컴팩트한 패브릭 설계 및 높은 비용 효율성을 결합합니다.또한 3D 시각 센서는 데이터 분석에 고화소 밀도의 상세 2D 및 3D 산점 그래프를 제공합니다.자동 작동 모드는 시스템 통합을 단순화하고 더욱 간편한 작동을 보장합니다.

호아이지능에 관하여

하오아이지능은 독일 SICK의 중국 3D 시각 분야 전문 대리상이다.

하오아이지능은 3D 기계 시각 전체 솔루션을 제공하는 데 집중하여 중국 스마트 제조 수준의 향상과 산업 업그레이드를 돕는다!

현재, 우리는 자질이 높은 3D 기계 시각 응용 엔지니어와 알고리즘 연구 개발 엔지니어를 보유하고 있으며, 완비된 기계 시각 프로젝트 평가 능력과 하부 핵심 알고리즘 개발 능력을 가지고 있다.우리의 3D 기계 시각 전체 솔루션은 동력 전지, 자동차 업계, 소비자 전자, 백색 가전, 궤도 교차 검측 등 여러 분야에서 성공적으로 실시되어 풍부한 3D 기계 시각 프로젝트 응용과 소프트웨어 개발 경험을 쌓았다!

하오아이 스마트 주요 영업 제품: 3D 기계 시각 전체 솔루션, 구조광 3D 카메라, 레이저 와이어 스캔 카메라, SICK 3D 와이어 레이저 윤곽 센서, TOF 카메라, 고정밀 3D 측정 시스템, 시각 유도 위치 시스템, 무질서 캡처 시스템 등을 포함하며, 평면도, 고도 차, 위치도 측정, 범프 결함 검측, 시각 유도 로봇 연마, 시각 유도 로봇 부품 위치 추적 기능 등을 실현할 수 있다.