Az alábbi oldalon olvashatsz bővebben a kutatási témáinkról, és az azokhoz kapcsolódó publikációkról.
Főbb kutatási eredményeink elérhetők a GitHub oldalunkon.
Kutatási témák
Közösségi térképkészítés és -menedzsment
A közúti járművekben megtalálható, szélvédőre szerelt kamerák által készített képek crowdsourcincg-jellegű felhasználásával olyan részletes háromdimenziós modellek készíthetők, melyek az úthálózat gyakran használt részeinek, valamint azok környezetének leírására alkalmasak. A nagy számú adatszolgáltatót és a modern képfeldolgozás eszközeit egyesítő rendszerben a cél egy autonóm járművek pályatervezését és navigációját támogató térképadatbázis létrehozása. Ezzel foglalkozunk a CrowdMapping projekt kereteiben.
Nagy számú adatszolgáltató közreműködő bevonhatóságának egyik alapfeltétele, hogy az adatszolgáltatás által igénybe vett hálózati kapacitás minimális legyen. Képi adatok gyűjtését feltételezve elengedhetetlen azok előszűrése. A feladat megoldására hibrid (modern és klasszikus eszközkészlettel dolgozó) képfeldolgozási algoritmusokat fejlesztünk.
Az egyes adatszolgáltatók járműveiben, vagyis a hálózat szélén található kamerák és beágyazott eszközök, valamint a távoli szerverszámítógépeken, illetve a felhőben a térképek felépítését és menedzsmentjét végző algoritmusok működtetése egyaránt a kutatási projekt részét képzik. Az így kialakítható edge-cloud struktúra számos gépi látáshoz kapcsolható, illetve infrastrukturális kérdést vet fel, melyek megoldásán a projekt keretein belül foglalkozunk.
A létrehozott térképi adatbázis a közösség résztvevőinek adatai alapján naprakészen tartható. Ez bizonyos feltételek mellett akár tizedmásodperces késleltetéseket, illetve valós idejű adatfrissítést is lehetővé tesz. Az autonóm járművek pályatervezése és navigációja során ez a megoldás biztonságosabb, pontosabb és gyorsabb algoritmusok működését eredményezi. A hibrid közlekedésben ezt a jelenséget az időjárási körülmények változásai, valamint az összekapcsolt és autonóm járművek pályatervezésének optimalizálási lehetőségei mentén vizsgáltuk.
Robusztus és hatékony látórendszerek
Egyes modern 3D modellező környezetek fel vannak készítve a modellezett objektumok renderelésének bizonyos paraméterek szerinti differenciálására. Objektumokat és a renderelés nézőpontját meghatározó kamerát tartalmazó környezet esetén ilyen paraméter például a kamera pozíciója. Az objektumok kitakarásának minimalizálása így felfogható egy paraméteroptimalizációs feladatnak, melyre remek megoldást adnak a gépi tanuláson alapuló megoldások. A környezetet és a betanított hálókat megvalósító rendszerünk elérhető az OcclusionEnv GitHub oldalon.
Autonóm járművekben alkalmazott látórendszerek esetében különösen kritikus a rendszer felkészítése különböző, látást nehezítő körülményekre (pl. köd, hó, eső). Mivel azonban ilyen példák gyűjtése a valóságban körülményes és költséges, ezért célravezető lehet ilyen zavarásokkal terhelt szimulált képek létrehozása. A kutatás keretében újszerű megoldásokat fejlesztünk köd szimulációjára képeken, valamint megvizsgálunk különböző módszereket a köd automatikus eltávolítására a képekről.
Az objektumdetektálás és szegmentálás a számítógépes látás egyik alapvető feladata, melyre számos neurális háló alapú state-of-the-art módszer létezik. Napjainkban egyre nagyobb hangsúly kerül arra, hogy ezek a módszerek milyen sebességgel képesek különböző alacsony fogyasztású, beágyazott eszközökben (pl. mobil eszközök és robotok) futni. Kutatásunkban kifejlesztettük az első olyan end-to-end neurális hálózat alapú látórendszereket, amelyek képesek voltak valós időben futni a RoboCup Standard Platform League robotjain.
A neurális hálók alkalmazhatóságának egyik limitációja a futtató környezet adottságainak korlátossága. E probléma kiküszöbölése érdekében olyan eljárásokat kutatunk, melyek a hatékonysági mutatók romlása nélkül a felesleges paraméterek számát – és így a hálózat méretét – automatizáltan képesek csökkenteni. A kutatásaink eredményeként létrehozott megerősítéses tanuláson alapuló hálóritkítási megoldással kiváló eredményeket tudunk elérni.
Autonóm járművek
A modern képfeldolgozási megoldások és különösen a egyik jelentős követelménye a nagy mennyiségű és kellően változatos információt tartalmazó adatbázisok megléte. Egy széles körben használatos megközelítésben ezt az igényt szimulált 3D-s városi térképek létrehozásával, valamint valószerű közlekedési helyzetek és környezetek renderelésével oldják meg. Csoportunkban ilyen autonóm járműszimulátoros környezetek felhasználhatóságának vizsgálatával, valamint tanítóadatbázisok szintézisével foglalkozunk.
A szimulációs környezetben jól teljesítő algoritmusok esetén nem garantált, hogy a való életben is hatékonyan tudnak működni. Ennek oka, hogy a szimulátor által generált adatok nem elég valószerűek. E probléma kiküszöbölését célozzák egyes Sim2Real (szimulációból valóságba) eljárások. Csapatunk egyik lényeges kutatási területe a szintetizált adatok valószerű doménbe átültetésének megoldása az általunk fejlesztett Label-Consistent Swapping Autoencoder architektúra segítségével.
Autonóm járművek alkalmazási területén a környezetben lévő objektumok pontos detektálása kritikus feladat, melyet különösen megnehezítenek a részleges, vagy teljes kitakarások, melyek következtében fontos objektumok (pl. gyalogosok) elveszhetnek, ami balesethez vezethet. Lehetőség nyílik azonban arra, hogy több autonóm jármű megossza egymással a látás eredményeit, ezáltal egy adott jelenetet több nézőpontból is megvizsgáljon. Új kutatásunkban azt vizsgáljuk, hogy az újdonságnak számító NeRF (Neural Radiance Fields) alapú megoldások hatékony megoldást jelenthetnek-e erre a problémára.
A több autonóm ágens együttműködésével megvalósítható feladatok során felmerülő problémák megoldását célzó RoboCup nemzetközi AI verseny résztvevőjeként csoportunk olyan érzékelés-akció algoritmusok megvalósíthatóságát kutatja, melyek a modern képfeldolgozás eszközrendszerét használják ki. A kutatásaink során olyan eljárásokat fejlesztünk, melyek az ágensek szintjén létrehozott beágyazott környezetben elérhető korlátos számítási kapacitást optimálisan kihasználva képesek hatékony objektumdetekciót megvalósítani. Az ezen érzékelések alapján végzett akciók képesek javítani a robotok kooperatív és kompetitív feladatokban elérhető eredményeket.
Orvosi látórendszerek
A retina vérereinek szegmentálása a szemek romlásával összefüggő betegség korai diagnózisának egyik legfontosabb lépése. Az ilyen jellegű szegmentálás elvégzésére nagyszámú gépi tanulást alkalmazó képfeldolgozási eljárás alkalmazható. E technikák vizsgálata és további fejlesztése a csapatunk egy fontos kutatási célját jelenti. Ilyen újszerű hálózati struktúra a SA-UNet és a CAR-UNet, melyek fejlesztésében csapatunk is részt vett.
Az orvosi döntéshozás automatikus módszerekkel történő segítése egy rendkívül nagy társadalmi hasznossággal bíró kutatási terület. Éppen ezért laborunkban számos olyan látórendszerrel foglalkoztunk, melyek képesek rosszindulatú bőrelváltozások automatikus érzékelésére, ezzel támogatva a bőrgyógyászok munkáját.
Az állattenyésztésben fontos a tenyészállatok fizikai paramétereinek mérésére és jegyzésére, ami viszont költséges, és bizonyos esetekben balesetveszélyes folyamat. Az Állatorvostudományi Egyetemmel közös projektünkben egy olyan szoftver fejlesztését végezzük, amely oldalsó és felülnézeti kameraképek segítségével automatikusan képes megbecsülni egyes állatok orvosok és tenyésztők számára fontos anatómiai pontjait, ezáltal elősegítve a hatékony munkát.
Okos város és térinformatikai alkalmazások
Az okos város alkalmazások rendkívül fontosak kutatócsoportunk számára. Ennek fényében részt vettünk a BME és az Nemzeti Közszolgálati Egyetem együttműködésében megvalósult Okos Város – Okos Közigazgatás projektben. Ennek keretében több oktatási anyagot is készítettünk, melyek nyilvánosan elérhetők.
Kutatócsoportunk egyik fontos küldetése a különböző mesterséges intelligencia módszerek fenntarthatósági szempontból kritikus alkalmazásainak kutatása. Éppen ezért aktív együttműködést létesítettünk a BKK és a BME Környezetgazdaságtan tanszéke közreműködésével, melynek keretében a Budapesti BuBi hálózat lehetséges fejlesztéseinek hatásait vizsgáljuk neurális hálózat alapú predikciók segtségével.
Az okos városokhoz tartozó fejlesztések egyik legfontosabb iránya a modern közlekedésirányítási rendszereket lehetővé tevő technikákat érinti. Ehhez kapcsolódóan a közúti járművek automatizált azonosítása kiemelt fontosságú feladat. A rendszámok képfeldolgozáson alapuló felismerésére számos megoldás áll rendelkezésre, melyek fejlesztésében az új lehetőségek kiaknázásán dolgozunk.
Modern lokalizáció és térképezés az autonóm közlekedésben
A szimultán lokalizáció és térképezés (SLAM) feladat megoldására a csapatunk egy új keretrendszert fejlesztett, mely kiemelkedően moduláris összetételének köszönhetően hatékonyan támogatja a gépi tanulást alkalmazó képfeldolgozási eljárásokat. Az ATDN vSLAM keretrendszer fejlesztése során számos modern képfeldolgozási problémára keressük a megoldást.
A vizuális odometria a vSLAM eljárások első és egyik legfontosabb lépése. Az ATDN keretrendszerben olyan megoldásokat alkalmazunk az ágensek pozíciójának és orientációjának meghatározására, melyek új, mély neurális hálókat tartalmazó algoritmusokra épülnek.
A térképezés alrendszer feladata az adatgyűjtő ágens által már bejárt részek kompakt reprezentációjának létrehozása. E feladat megoldására egy gépi tanulással támogatott algoritmust fejlesztünk, mely népszerű tanulóeljárások segítségével egy neurális alapú, általános térképet hoz létre.
