Lidar v vsak žep
Novejši pametni telefoni so sprva dobili kamere ToF, ki okolico osvetlijo z infrardečim pulzom in zaznajo oddaljenosti predmetov z merjenjem zakasnitve pri odboju pulza. Novejši pa imajo pravcate lidarje – laserske ekvivalente radarskega principa –, ki omogočajo izdelavo tridimenzionalnih modelov prostora. Obljubljajo več kot zgolj boljše selfije in ostrejše posnetke.
Hippolyte Fizeau je sredi 19. stoletja s petodstotno natančnostjo izmeril hitrost svetlobe, s čimer ni bil niti prvi niti najnatančnejši. Fizeau je sodeloval še pri marsikaterem drugem pomemben odkritju, denimo rdečega premika in dopplerjevega pojava, a na tem mestu poudarimo njegov predlog, da bi hitrost svetlobnih valov lahko uporabili kot standard za merjenje razdalj. Od leta 1983 je meter v resnici definiran s hitrostjo svetlobe, isti koncept pa uporabljajo tudi – novi telefoni.
Pompozno je Apple najavil tehnologijo lidar v novem iPhonu 12, ki da predstavlja še eno revolucionarno novost. Resda gre za novost, ki v telefonih še ni samoumevna, a sorodno tehnologijo so imeli posamezni androidni telefoni že pred časom. Sam lidar sega v 60. leta prejšnjega stoletja, ko je posebej zanimal vojsko. Danes pa v naša življenja najbolj trka iz avtonomnih vozil.
Laserski radar je lidar
Radarje so tik pred drugo svetovno vojno razvili v več državah, izraz pa sega v leto 1940. Ameriška vojaška mornarica je skovala kratico radar (radio detection and ranging), ki pomeni radijsko zaznavanje in rangiranje. Radar ima oddajnik, ki oddaja radijske valove v natančno določeno smer (zato se običajne izvedbe vrtijo). Ko ti radijski valovi zadenejo ob predmet, ki ga tu mislimo v najabstraktnejšem pomenu besede, saj vremenski radarji lahko zaznavajo tudi padavine, se odbijejo. Iz zamika, jakosti in smeri odbitega valovanja je mogoče izračunati, kako daleč in v kateri smeri je predmet pa tudi njegovo približno velikost in obliko. Hitrost predmetov pa lahko ugotovimo iz dopplerjevega pojava, saj bo imelo odbito valovanje nekoliko drugačno frekvenco zaradi premikanja tarče. Po domače povedano: če se predmet približuje, bodo odbiti valovi prihajali bolj zgoščeno, zato bomo zaznali višjo frekvenco, in obratno.
Hitrost svetlobe
Svetloba v vakuumu potuje s hitrostjo 299,792.458 metrov na sekundo. Ker je od leta 1983 meter definiran s hitrostjo svetlobe, je ta po definiciji konstanta in največja mogoča hitrost v vesolju. Einstein pa nas je s teorijo relativnosti naučil, da je absolutna ne glede na opazovalni sistem. Mirujoči, premikajoči se, vrteči se, pospešujoči in vsi ostali opazovalci ne glede na medsebojne hitrosti in pozicije hitrost svetlobe vedno izmerijo drugače (kar seveda pomeni, da mora zanje čas teči drugače).
V različnih medijih – zraku, vodi, steklu – pa je hitrost svetlobe manjša. V zraku je 0,03 odstotka manjša, v vodi 25 odstotkov in steklu tretjino. Nič ne more potovati hitreje od svetlobe v vakuumu, medtem ko so v posameznem mediju predmeti lahko hitrejši od svetlobe v tem mediju – v nekaterih jedrskih reaktorjih elektroni po vodi švigajo z nadsvetlobno hitrostjo, kar vidimo kot sevanje čerenkova. TOF oziroma lidarji na splošno, ki delujejo v zraku, za hitrost svetlobe privzamejo kar vrednost v vakuumu in se pri tem praktično nič ne zmotijo.
Radijski valovi so le ena vrst elektromagnetnih valovanj, podobno kot vidna svetloba. Že v 60. letih so raziskovalci ugotovili, da lahko namesto radijskih valov uporabimo laser in rodil se je lidar (light detection and ranging). V misiji Apollo 15 so z lidarjem natančno izmerili površje Meseca, že prej pa so ga meteorologi uporabljali za meritve oblakov. Danes so poleg meteorologije, raziskav ozračja, mapiranja površja in morskega dna ter sledenja letalom in satelitom prav avtonomna vozila novo pomembno področje, kjer izkoriščajo lidarje. Svoj lonček pa pristavljajo tudi proizvajalci pametnih telefonov.
Shema delovanja lidarja. Slika: Preethi Padmanabhan et al., Modeling and Analysis of a Direct Time-of-Flight Sensor Architecture for LiDAR Applications, Sensors, 2019
Odboj ali sipanje
Lidarji uporabljajo lasersko svetlobo, ki lahko obsega ultravijolični, vidni ali infrardeči del spektra. Ker je laserski vir bistveno bolj koherenten od radarskega valovanja, je tudi ločljivost lidarja večja. Ker se »vidna« svetloba odbija od večine predmetov, lahko dobro zaznavamo tudi neprevodnike (beton, kamenje, zemljo, vodo, aerosole, oblake itd.), radar pa najbolje zaznava kovinske predmete. Pri tem moramo pravilno razumeti, kaj pomeni »odboj« svetlobe od objekta. Običajno ne gre za klasičen odboj, kot si ga predstavljamo na zrcalu, temveč lidar izkorišča različne vrste povratnega sipanja (backscattering).
Lidar potrebuje naslednje sestavne dele: (pulzni) laser, detekcijski sistem (senzor), ojačevalnik signala in sistem za obdelavo. Laser je pulzni, kjer je ključni podatek dolžina pulza, saj je s tem povezana ločljivost. Tipične dolžine pulzov so nekaj nanosekund, a je treba za natančno informacijo meritev večkrat ponoviti (repetition rate). Laserji imajo valovno dolžino med 300 in 1.500 nm.
Laserji proizvajajo usmerjene snope svetlobe. Če želimo z lidarjem prečesati širše območje, moramo vir seveda ustrezno usmeriti. V praksi obstajata dva načina: fazni niz (phased array) in mikroelektromehanični sistem (MEMS). Fazni niz sestavljajo majhni viri svetlobe, ki vsak posebej ustvarijo snop svetlobe. Z modulacijo faznega zamika ga lahko z izkoriščanjem konstruktivne in destruktivne interference usmerimo v prostoru, ne da bi fizično premikali vir. Tak sistem uporablja tudi iPhone 12. MEMS pa so majhne elektronske komponente, in sicer zrcala, ki usmerijo laser. Seveda obstaja še tretji, klasični način, to je vrteči lidar, ki smo jih videvali na Googlovih avtonomnih vozilih, medtem ko za pametne telefone to ni uporabno.
Merjenje hitrosti – radar in lidar
Radar in lidar se lahko uporabljata tudi za merjenje hitrosti, a izrabljata različna principa. Radarski merilniki hitrosti izkoriščajo dopplerjev pojav, ki opisuje spremembo frekvence valovanja, ki ga oddajajo (ali odbijajo) premikajoči se predmeti. Laserski (lidar) merilniki pa merijo čas, v katerem se vrne več oddanih pulzov, in iz tega izračunajo hitrost.
Senzorski del radarja je prav tako pomemben za ločljivost, saj mora biti sposoben hitro zaznavati in posredovati v obdelavo prejete signale. Svetlobna hitrost je velika (300.000 km/s), zato bodo časi kratki.
Androidi proti Applu
Applov iPhone 12 ni bil prvi. Že iz iste hiše ga je prehitel iPad Pro četrte generacije, predstavljen marca lani, ki je imel lidar. Namenjen je obogateni resničnosti (augmented reality), saj za točnejšo postavitev potrebuje tridimenzionalno informacijo o okolici. Ta je prvi uporabil besedico lidar, sicer pa so imeli že starejši modeli iphonov, ipadov in tudi androidnih telefonov senzorje za globino. Če ste se kdaj vprašali, kako lahko v načinu portret tako dobro zameglijo ozadje – ker izmerijo, kaj je ozadje. Tehnologija se imenuje ToF (time of flight) in je v konceptu podobna lidarju, izvedba pa je drugačna. ToF si lahko predstavljamo kot cenejšo in enostavnejšo različico lidarja.
Obe tehniki spremljata, koliko časa potrebuje oddana svetloba, da se odbije od predmeta in vrne. V androidnih telefonih je sistem, ki uporablja fleš in nima skenerja (flash-based scannerless). Z enim infrardečim pulzom osvetli prostor. Senzor ima več tipal (podobno kot običajna kamera) in zazna vse odbite signale, ki jih analizira in izdela tridimenzionalni model okolice. Vsak piksel na tem senzorju, ki je preprostejši od običajne kamere, mora zaznavati le eno valovno dolžino. Globino posredno merimo s časom, ki ga je pulz potreboval, da se je vrnil do senzorja. Če merimo neposredno čas, je to direktni ToF (dTOF), če pa merimo fazno razliko, govorimo o indirektnem ToF (iToF).
Prednost takšnega sistema je zanesljivejša informacija v smislu, da ni treba zlagati posameznih sličic (frames), saj dobimo vso informacijo hkrati. Hkrati je bolj odporen na motnje zaradi premikajočih se predmetov. Takšni oddajniki (illuminator) in senzorji (TOF camera) so tudi poceni, zato je to v telefonih že precej razširjena tehnologija, ki se je uveljavila leta 2019 – Huawei, LG, Samsung, Google in drugi so vsi uporabljali to tehnologijo. Ni pa to še zdaleč prva komercialna uporaba, saj je že Xbox Kinect leta 2013 uporabljal ToF.
Lidar na iphonu z več pulzi premeri okolico. Slika: Apple
Apple pa je v iPad Pro in iphone vgradil pravcati lidar, ki ne odda enega pulza (scannerless/flash lidar), temveč »preskenira« celotno okolico piksel za pikslom (scanning lidar). Ta način je natančnejši, ker je bolj odporen na kompleksne odboje. Nastajajo namreč posredni in večkratni odboji ter ostale nepravilnosti, ki povečujejo šum. Algoritmi za zmanjševanje tega šuma obstajajo, a je iz enkratnega pulza v vse smeri teže odstraniti ves šum kakor iz več zaporednih meritev posameznih smeri. Zaradi tega je Applov lidar boljša rešitev od običajnega ToF, je pa seveda dražja in kompleksnejša. Obe izvedbi sta trenutno omejeni na približno pet metrov, čeprav je z lidarjem lažje doseči več.
Na iPhonu 12 vidimo odprtino za lidar. Slika: Bloomberg
Možnosti
Vgradnja lidarja v pametne telefone odpira številne možnosti. Najočitnejša uporaba je obogatena resničnost (augmented reality), kjer lidar poskrbi, da ima telefon res dober tridimenzionalni model prostora, v katerega potem postavi virtualne objekte. Ker pozna razdalje in medsebojne položaje, jih lahko pravilno postavi tudi tako, da so delno skriti za bližnjimi predmeti. Google je že razvil programske knjižnice ARCore, ki so namenjene prav razvoju aplikacij z obogateno resničnostjo. Applov SDK pa se imenuje ARKit in razvijalcem omogoča uporabo lidarja v ipadu in iphonu. Druga nečimrna možnost so boljši selfiji, zlasti ko je svetlobe manj. Lidar omogoča hitrejšo in boljšo izostritev, kar iphone že izkorišča (Night mode). Rezultati kažejo, da so fotografije resnično osupljive.
To so novosti, ki so na voljo tu in zdaj. Stopimo še na polje špekulacij, kaj bi se še dalo storiti. Lidar je bil razvit za mapiranje in tudi pametni telefoni bi ga lahko uporabili v ta namen. Lahko bi jih uporabljali kot orodje, torej za merjenje razdalj, denimo kvadrature stanovanja ob nakupu, ali pa za boljšo navigacijo v zaprtih prostorih (Google Maps na letališču). Nekateri telefoni, denimo Pixel 4, imajo tudi možnost krmiljenja s kretnjami (Motion Sense). Ta za zdaj uporablja primitivni radar, a bi lahko z lidarjem deloval bistveno bolje.
Tridimenzionalni model sobe, posnet z lidarjem na iPadu Pro in aplikacijo Occipital Canvas. Slika: Occipital
Mobilni operacijski sistemi ne tečejo zgolj na telefonih, temveč tudi na drugih napravah. Droni, ki jih poganja Android, bi z lidarjem leteli varneje. Domači roboti, alarmne naprave in pomočniki bi z lidarjem dobili nov par oči.
Zanimivo pa je, da Apple svojega lidarja ne uporablja za Face ID. Razlog je preprost. Vgrajeni lidar ima namreč prenizko ločljivost, ki za merjenje sobe zadostuje, za obrazne poteze pa ne. TrueDepth, ki ga uporablja Face ID, namreč obraze prepoznava z več kot 30.000 točkami infrardeče svetlobe v jasnem vzorcu, potem pa vidi popačitev, iz česar izračuna tridimenzionalno strukturo (structured light). To je tudi razlog, da z lidarjem pridobljenega modela predmeta še ne moremo poslati na 3D-tiskalnik za reprodukcijo. Nekoč – pa bo šlo. Za zdaj torej lidar omogoča: boljše posnetke v mraku, boljše meritve (aplikacija Measure) in boljšo obogateno resničnost.
Kaj pa samovozeči avtomobili
Če se telefoni še sramežljivo spoznavajo z lidarjem, ga samovozeči avtomobili že redno uporabljajo. Elon Musk je sicer odločno proti in se je zaklel, da Tesla nikoli ne bo uporabljala lidarja, a številni strokovnjaki in konkurenti ne delijo tega mnenja. Navsezadnje je Waymo (Googlova divizija za avtonomna vozila) s svojimi avtomobili prevozil že več kot 10 milijonov kilometrov z zgolj nekaj praskami, kjer je bil lidar pomemben del vozil.
Prva generacija Googlovih samovozečih avtomobilov je imela okorne in drage (75.000 dolarjev) lidarje. Slika: Kathryn Myronuk, Forbes
Waymo je prvi, ki je svojo tehnologijo lidarja ponudil tudi komercialno. Za zdaj le podjetjem, ki se ne ukvarjajo z avtomobili ali vozili, ponuja Laser Bear Honeycomb. Lidar ima 95-stopinjski vertikalni in 360-stopinjski horizontalni zorni kot. Ko so ga leta 2019 začeli prodajati, je stal 7.500 dolarjev, kar je desetkrat manj kot osem let pred tem, ko so začeli delati prve lastne lidarje. Danes Waymo ni več edini, saj več deset zagonskih podjetij razvija majhne in velike, poceni in drage lidarje. Seveda je lidar v pametnih telefonih bistveno bolj omejen in cenejši, a logika je enaka.
Moderni Googlov/Waymov lidar je cenejši in kompaktnejši. Slika: Google
Na avtomobilih gre tudi brez lidarja, saj lahko uporabljamo tudi kamere, radarje in ultrazvočne detektorje. Vprašanje pa je, zakaj bi se prostovoljno odpovedali eni izmed tehnologij, kot se je Musk. Navsezadnje tudi lidar ni vsemogočna tehnologija. Nesreča Uberjevega avtonomnega vozila pred tremi leti, ki je do smrti povozilo peško sredi cestišča, to dokazuje. Njihov volvo je imel en sam lidar na strehi, a vzrok za nesrečo ni bil v (ne)delovanju lidarja, temveč celotnega sistema za odzivanje in nadzor.
VCSEL in SPAD
Applova iPhone 12 in iPad Pro uporabljata tehnologijo VCSEL (vertical cavity surface-emitting lasers) podjetja Lumentum. Gre za diode, ki oddajajo lasersko svetlobo pravokotno na zgornjo površino, medtem ko običajni polprevodniški laserji sevajo s strani silicijeve rezine (edge-emitting). V preteklosti so bili ti močnejši in boljši viri, medtem ko so bili VCSEL omejeni na računalniške miške ipd. A razvoj je napredoval in danes so VCSEL že povsem spodobni za uporabo v telefonih.
Sestavljajo jih kovinski priključek, n-dopiran substrat, n-porazdeljen braggov reflektor, aktivno področje s kvantnimi jamami, p-porazdeljen braggov reflektor, p-dopiran substrat in kovinski priključek. Substrat je običajno galijev arzenid, posamezne plasti pa imajo še aluminij in indij.
Odbito svetlobo pa zaznavajo s SPAD (single-photon avalanche diodes), ki jih proizvaja Sony. Te plazovne diode so dovolj občutljive, da lahko zaznajo posamezne vpadle fotone. Glavna prednost tako VCSEL kakor SPAD je konvencionalna polprevodniška proizvodnja, zaradi česar so cene lahko nizke. Laserske diode, ki svetijo s strani, je treba posamič odrezati iz rezin, kar oteži in podraži proizvodnjo, medtem ko lahko VCSEL izdelajo več sto ali tisoč na isti rezini.
Številni telefoni že imajo VCSEL (proizvajalcev Lumentum, Princeton Optronics ali Philips Photonics), ki jih uporabljajo za ToF ali strukturirano svetlobo. Applov iPhone 12 pa je prvi, ki jih bo uporabljal za lidar.
Da razumemo, zakaj Musk meni, da lidar ni potreben, moramo poznati nekaj zgodovine. Ko je Tesla začela prodajati svoja vozila, primernega lidarja ni bilo mogoče kupiti. In tako še danes vsi asistenčni sistemi v Teslinih vozilih uporabljajo zgolj osem kamer (tri spredaj, po dve na vsaki strani, eno zadaj).
Toda ljudje znamo voziti, pa nimamo lidarja, temveč zgolj oči. Elon Musk stavi na razvoj računalniškega vida in sposobnosti procesiranja, ki bo kmalu podobno človeškemu. Lidar je neumna naprava, ki sicer pozna razdaljo do vsake točke, a nima pojma, kaj te točke predstavljajo. Musk pa meni, da je pravilnejša druga pot, kjer bodo algoritmi razumeli, kaj je pred njimi. Človek vidi dvodimenzionalno sliko, ki jo potem možgani prevedejo v tridimenzionalni model z uporabo vizualne informacije in predhodnega znanja. Vemo, kako veliki so avtomobili, kako hitro se po navadi gibljejo, kam padajo sence, kaj je perspektiva itd. Če k temu dodamo še dejstvo, da vidimo dve sliki, ki sta malo zamaknjeni (imamo par oči), je rezultat povsem zadovoljiv za vsakdanje življenje. Musk želi to naučiti tudi računalnike. Tesla zato razmišlja dolgoročno. Če bo v naslednjih letih lidar zaradi razvoja računalniškega vida postal nepotreben, je škoda vsakega dolarja, ki gre v njegov razvoj – z vidika podjetja. A ne pozabimo – Tesla je za zdaj osamljena v tem pogledu.
Prihodnost je laserska
Pričakovati je, da bo v prihodnjih letih lidar našel pot v čedalje več pametnih telefonov. V samovozečih avtomobilih in dronih je skorajda nujen, v telefonih pa je razlog drugačen. Proizvajalci morajo, če želijo prodajati nove modele, vanje vgrajevati čedalje več in novejše. Pri ločljivosti zaslona nadaljnje izboljšave niso smiselne, desetkrat zmogljivejših baterij nimamo, čitalniki prstnih odtisov so že samoumevni, kamere pa dovolj dobre za povprečnega uporabnika. Lidar pa je lahko tista naslednja novost, ki jo bodo jeli vgrajevati v svoje telefone in promovirati na plakatih. In če nam bo to prineslo kakšno dodatno funkcionalnost, zakaj pa ne?
Polprevodniški laser. Slika: Franc Smole, Polprevodniška elektronika, UL FE
