iniVation – neuromorficzne kamery Event-Based Vision

Zapytaj o cenę i dostępność na info(@)pronetkrakow.com.pl

Producent: iniVation AG, Szwajcaria

iniVation – neuromorficzne kamery Event-Based Vision

iniVation to rodzina zaawansowanych kamer neuromorficznych wykorzystujących technologię DVS – Dynamic Vision Sensor. W przeciwieństwie do klasycznej kamery, która rejestruje całe obrazy w określonych odstępach czasu, sensor DVS niezależnie wykrywa zmiany jasności na poziomie pojedynczych pikseli i przesyła wyłącznie informacje o tych zmianach jako tzw. zdarzenia – events.

Takie rozwiązanie umożliwia obserwację bardzo szybkich zjawisk przy niewielkim opóźnieniu, wysokim zakresie dynamiki oraz znacznie mniejszej ilości generowanych danych niż w przypadku klasycznych kamer pracujących z bardzo wysoką liczbą klatek na sekundę.

Kamery iniVation przeznaczone są do badań naukowych, robotyki, autonomicznych systemów wizyjnych, szybkiego śledzenia obiektów, analizy ruchu, SLAM, automatyki przemysłowej oraz projektowania i testowania algorytmów event-based computer vision.

Najważniejsze cechy technologii

technologia neuromorficzna Event-Based Vision
sensory DVS – Dynamic Vision Sensor
asynchroniczna detekcja zmian jasności na poziomie pojedynczych pikseli
bardzo małe opóźnienie – typowo poniżej 1 ms
wysoka rozdzielczość czasowa
zakres dynamiki do około 120 dB w zależności od modelu
rejestracja szybkiego ruchu bez konieczności generowania tysięcy pełnych klatek obrazu
ograniczenie ilości przesyłanych danych dzięki transmisji wyłącznie informacji o zmianach w obrazie
możliwość pracy w warunkach dużych różnic oświetlenia
wbudowany 6-osiowy IMU w głównych modelach kamer
IMU obejmuje 3-osiowy akcelerometr i 3-osiowy żyroskop
możliwość sprzętowej synchronizacji wielu kamer w wybranych modelach
możliwość synchronizacji danych obrazu i IMU
komunikacja USB 3.0 / USB 3.1 zależnie od modelu
możliwość pracy z systemami Windows, Linux i macOS poprzez oprogramowanie DV
dostępne interfejsy programistyczne C++, Python i C
integracja z ROS – Robot Operating System
możliwość tworzenia własnych algorytmów przetwarzania Event-Based Vision
możliwość rejestracji danych do formatu AEDAT4
możliwość filtrowania, rekonstrukcji obrazów, śledzenia cech, kalibracji, estymacji głębi i kompensacji ruchu za pomocą bibliotek producenta

Dostępne modele

DVXplorer

DVXplorer to wysokiej rozdzielczości kamera DVS przeznaczona do wymagających zastosowań badawczych, przemysłowych i robotycznych. Sensor generuje strumień zdarzeń o rozdzielczości VGA 640 × 480 pikseli i może obsługiwać do 165 milionów zdarzeń na sekundę.

rozdzielczość DVS: 640 × 480 px
typ sensora: DVS, event-only
technologia sensora: 90 nm BSI CIS
rozdzielczość czasowa: 200 µs
typowe opóźnienie: <1 ms
maksymalna przepustowość: 165 MEPS – milionów zdarzeń na sekundę
zakres dynamiki: do około 110 dB
czułość kontrastowa: około 13% przy 50% aktywnych pikseli
wbudowany IMU 6DoF
żyroskop: do 3,2 kHz
akcelerometr: do 1,6 kHz
sprzętowa synchronizacja wielu kamer
możliwość zewnętrznego wprowadzania zdarzeń synchronizujących
interfejs: USB 3.0 Micro-B z zabezpieczeniem śrubowym
izolowane wejście i wyjście synchronizacji
mocowanie obiektywu: CS-mount
obudowa: anodowane aluminium
wymiary: około 40 × 60 × 25 mm
masa: około 100 g bez obiektywu
pobór prądu: poniżej 140 mA przy 5 V
certyfikacja CE

DVXplorer Micro

DVXplorer Micro to kompaktowa i lekka wersja kamery event-based przeznaczona m.in. do robotyki mobilnej, dronów oraz projektów, w których istotne są niewielkie wymiary i masa urządzenia.

rozdzielczość DVS: 640 × 480 px
typ sensora: DVS, event-only
technologia sensora: 90 nm BSI CIS
rozdzielczość czasowa: 200 µs
typowe opóźnienie: <1 ms
maksymalna przepustowość: 450 MEPS
zakres dynamiki: do około 110 dB
czułość kontrastowa: około 13% przy 50% aktywnych pikseli
wbudowany IMU 6DoF
żyroskop: do 3,2 kHz
akcelerometr: do 1,6 kHz
interfejs: USB 3.1 Type-C z zabezpieczeniem śrubowym
mocowanie obiektywu: S-mount / M12
wymiary: około 24 × 27,5 × 29,7 mm
masa: około 16 g bez obiektywu
pobór prądu: poniżej 140 mA przy 5 V
kompaktowa obudowa
w zestawie standardowo 3 obiektywy M12

DVXplorer Micro wyróżnia się najwyższą przepustowością strumienia zdarzeń spośród standardowych kamer DVS znajdujących się obecnie w sklepie iniVation – do 450 milionów zdarzeń na sekundę.

DVXplorer Lite

DVXplorer Lite jest ekonomicznym modelem przeznaczonym do rozpoczęcia pracy z technologią Event-Based Vision, dydaktyki, badań oraz prototypowania algorytmów.

rozdzielczość DVS: 320 × 240 px
typ sensora: DVS, event-only
technologia sensora: 90 nm BSI CIS
rozdzielczość czasowa: 200 µs
typowe opóźnienie: <1 ms
maksymalna przepustowość: 100 MEPS
zakres dynamiki: do około 110 dB
czułość kontrastowa: około 13% przy 50% aktywnych pikseli
wbudowany IMU 6DoF
żyroskop: do 3,2 kHz
akcelerometr: do 1,6 kHz
sprzętowa synchronizacja wielu kamer
możliwość zewnętrznej synchronizacji
interfejs: USB 3.0 Micro-B
zabezpieczenie złącza USB śrubami
izolowane złącza synchronizacji
mocowanie obiektywu: CS-mount
wymiary: około 40 × 60 × 25 mm
masa: około 75 g bez obiektywu
certyfikacja CE

DAVIS346

DAVIS346 łączy w jednym sensorze dwa sposoby rejestracji obrazu: klasyczne klatki oraz asynchroniczne zdarzenia DVS. Dzięki temu podczas jednego eksperymentu można otrzymywać jednocześnie tradycyjny obraz oraz dane event-based.

DAVIS oznacza Dynamic and Active-pixel Vision Sensor.

rozdzielczość zdarzeń DVS: 346 × 260 px
rozdzielczość klasycznego obrazu: 346 × 260 px
równoczesne generowanie klatek i zdarzeń z jednego sensora
częstotliwość klasycznych klatek: do 40 FPS
rozdzielczość czasowa zdarzeń: 1 µs
typowe opóźnienie: <1 ms
maksymalna przepustowość zdarzeń: 12 MEPS
zakres dynamiki DVS: około 120 dB
zakres dynamiki obrazu klatkowego: około 55 dB
wbudowany IMU 6DoF
częstotliwość próbkowania IMU: do 8 kHz
sprzętowa synchronizacja wielu kamer
możliwość zewnętrznego wprowadzania zdarzeń synchronizacyjnych
interfejs: USB 3.0 Micro-B
zabezpieczenie złącza USB śrubami
izolowane wejścia/wyjścia synchronizacji
mocowanie obiektywu: CS-mount
obudowa z anodowanego aluminium
wymiary: około 40 × 60 × 25 mm
masa: około 100 g bez obiektywu
pobór prądu: poniżej 180 mA przy 5 V
certyfikacja CE

Warianty DAVIS346

DAVIS346 MONO

monochromatyczny sensor zdarzeń i klasycznych klatek
jednoczesny obraz grayscale i Event-Based Vision

DAVIS346 Color

kolorowy sensor wykorzystujący filtr Bayer RGGB
kolorowe klatki obrazu
możliwość pracy z kolorową informacją pochodzącą z sensora
możliwość uzyskania danych RAW i rekonstrukcji RGB w oprogramowaniu

DAVIS346 AER

DAVIS346 AER jest rozszerzoną wersją DAVIS346 wyposażoną w sprzętowy interfejs AER – Address Event Representation, umożliwiający bezpośrednie wyprowadzenie strumienia zdarzeń poza standardowy interfejs USB.

Rozwiązanie przeznaczone jest przede wszystkim do eksperymentalnych systemów neuromorficznych, integracji sprzętowej, FPGA i specjalistycznych platform przetwarzania zdarzeń.

rozdzielczość DVS: 346 × 260 px
rozdzielczość klatek: 346 × 260 px
równoczesny strumień klatek i zdarzeń przez USB
osobne wyjście zdarzeń poprzez AER
rozdzielczość czasowa: 1 µs
typowe opóźnienie: <1 ms
maksymalna przepustowość: 12 MEPS
zakres dynamiki DVS: około 120 dB
klasyczne klatki do 40 FPS
IMU 6DoF do 8 kHz
USB 3.0 Micro-B
złącze AER
mocowanie obiektywu CS-mount
wymiary: około 40 × 78,8 × 28,5 mm
masa: około 100 g bez obiektywu

Dostępne warianty:

DAVIS346 AER MONO
DAVIS346 AER COLOR

Stereo Kits

Zestawy Stereo Kit umożliwiają równoczesne wykorzystanie dwóch kamer event-based i prowadzenie zsynchronizowanych pomiarów stereowizyjnych.

Dostępne konfiguracje:

Stereo Kit DVXplorer
Stereo Kit DVXplorer Lite
Stereo Kit DAVIS346 MONO
Stereo Kit DAVIS346 Color

Typowy zestaw Stereo Kit zawiera:

2 kamery iniVation
2 przewody USB
2 obiektywy
elementy montażowe
płytki umożliwiające konfigurację stereo
przewód synchronizacyjny
statywy
walizki transportowe

Zestawy umożliwiają prowadzenie badań m.in. nad stereowizją, estymacją głębi, rekonstrukcją 3D oraz algorytmami lokalizacji i nawigacji.

Dodatkowy model – DVXplorer S Duo

W aktualnej dokumentacji producenta jako bieżący produkt znajduje się również DVXplorer S Duo. Model nie jest jednak obecnie wyszczególniony w głównym katalogu internetowego sklepu iniVation, dlatego jego dostępność należy potwierdzić przed zamówieniem.

Jest to autonomiczna, wbudowana platforma łącząca kamerę event-based z klasyczną kamerą kolorową i komputerem NVIDIA Jetson Nano.

sensor DVS: 640 × 480 px
kolorowy sensor global shutter OnSemi AR0234: 1920 × 1200 px
procesor: NVIDIA Jetson Nano
CPU: 4 × ARM Cortex-A57 do 1,43 GHz
GPU: NVIDIA Maxwell, 128 rdzeni CUDA
pamięć RAM: 4 GB DDR4
pamięć eMMC: 16 GB
około 6 GB przestrzeni dostępnej na dane użytkownika i nagrania
IMU Bosch BMI160
3-osiowy akcelerometr
3-osiowy żyroskop
Gigabit Ethernet
Power over Ethernet – PoE 802.3af
USB 3.0 Type-C
Mini-HDMI 1.4
interfejsy SPI, GPIO i PWM
2 mocowania obiektywów M12
wymiary: około 32 × 80 × 92 mm
masa: około 220 g bez obiektywów
wbudowany system Linux oparty na Yocto
wbudowany DV-SDK Runtime
możliwość lokalnego wykonywania własnych modułów przetwarzania danych

Oprogramowanie wymagane do działania

DV

Podstawowym środowiskiem producenta przeznaczonym do pracy z kamerami jest DV – otwarte oprogramowanie do konfiguracji, wizualizacji, rejestrowania i przetwarzania danych z kamer event-based.

DV umożliwia:

wykrywanie i obsługę podłączonych kamer iniVation
podgląd danych event-based w czasie rzeczywistym
podgląd klasycznych klatek w przypadku DAVIS
wizualizację danych IMU
konfigurację parametrów kamery
konfigurację parametrów sensora DVS
nagrywanie danych
odtwarzanie zapisanych eksperymentów
zapisywanie danych w formacie AEDAT4
kalibrację kamer
konstruowanie procesów przetwarzania za pomocą modułów DV
przetwarzanie danych w czasie rzeczywistym

DV dostępne jest dla:

Windows 64-bit
macOS Intel
macOS Apple Silicon / ARM
Linux

DV-Processing

Biblioteka programistyczna przeznaczona do tworzenia własnych aplikacji wykorzystujących kamery event-based.

Obsługiwane języki:

C++
Python

DV-Processing umożliwia m.in.:

bezpośrednią komunikację z kamerami iniVation
przechwytywanie zdarzeń
odczyt i zapis plików
filtrowanie zdarzeń
rekonstrukcję obrazów ze zdarzeń
kalibrację kamer
wykrywanie cech
śledzenie cech
analizę ruchu
grupowanie zdarzeń
kompensację ruchu
estymację głębi
pracę z geometrią kamer
implementację własnych algorytmów Event-Based Vision

DV-SDK

Zestaw programistyczny pozwalający rozszerzać funkcjonalność środowiska DV.

tworzenie własnych modułów DV
integracja własnych algorytmów
przetwarzanie strumieni zdarzeń
integracja z istniejącymi systemami computer vision
praca z DV-Runtime

DV-Runtime

Środowisko wykonawcze odpowiedzialne za:

uruchamianie modułów DV
zarządzanie wątkami
zarządzanie pamięcią
wymianę danych pomiędzy modułami
budowę własnych potoków przetwarzania danych

DV-ROS

Integracja kamer iniVation z ROS – Robot Operating System.

dostęp do kamer z poziomu ROS
publikowanie danych event-based jako ROS topics
integracja z systemami robotycznymi
gotowe algorytmy przetwarzania zdarzeń dostępne jako ROS nodes
możliwość wykorzystania kamer w projektach autonomicznych robotów i systemów SLAM

libcaer

Niskopoziomowa biblioteka C/C++ umożliwiająca bezpośrednią komunikację z urządzeniami iniVation.

Przeznaczona jest przede wszystkim dla użytkowników tworzących własne, niestandardowe systemy i wymagających bezpośredniego dostępu do sprzętu.

Do typowego użytkowania kamery nie jest konieczne programowanie. Oprogramowanie DV zapewnia graficzny interfejs pozwalający konfigurować kamerę, wizualizować, nagrywać i odtwarzać dane. Biblioteki DV-Processing, DV-SDK, DV-ROS i libcaer są przeznaczone do bardziej zaawansowanych integracji i tworzenia własnych aplikacji.

Zastosowanie

Event-Based Vision
neuromorphic vision
computer vision
machine vision
badania naukowe nad widzeniem maszynowym
robotyka
robotyka mobilna
autonomiczne roboty
drony i UAV
bardzo szybkie śledzenie obiektów
motion tracking
feature tracking
wykrywanie i analiza szybkiego ruchu
analiza trajektorii
visual odometry
SLAM – Simultaneous Localization and Mapping
Visual-Inertial Odometry
nawigacja autonomiczna
lokalizacja i pozycjonowanie
detekcja przeszkód
systemy wizyjne o małych opóźnieniach
sterowanie robotami w czasie rzeczywistym
automatyka przemysłowa
szybkie systemy kontroli
monitoring procesów przemysłowych
badanie szybko poruszających się elementów
analiza drgań i wibracji
śledzenie obiektów w trudnych warunkach oświetleniowych
systemy HDR
stereowizja
estymacja głębi
rekonstrukcja 3D
badania nad fuzją danych z kamer i IMU
badania nad sztuczną inteligencją
sieci neuronowe
Spiking Neural Networks
neuromorphic computing
Edge AI
rozwój algorytmów C++ i Python
projekty ROS
badania nad autonomicznymi pojazdami
systemy automotive i ADAS
systemy AR/VR/XR
szybkie systemy śledzenia pozycji
laboratoria robotyki i automatyki
uczelnie i jednostki badawcze
projekty badawczo-rozwojowe R&D
dydaktyka Event-Based Vision i neuromorphic computing