Sztuczna inteligencja oferuje bardzo dobrze rozwinięte narzędzia służące do przetwarzania danych o ustalonym wymiarze, np. obrazów czy wektorów liczb. Jednak wiele istotnych problemów wymaga przetwarzania ciągów obiektów o nieznanej z góry długości, czyli sekwencji, lub ciągów obiektów ze wskazanymi relacjami między nimi, czyli grafów. Sekwencjami są np. zdania języka naturalnego, a grafami - projekty budynków. Wiedząc o tym, naukowcy z Wydziału Elektroniki i Technik Informacyjnych PW postanowili skupić się na stworzeniu architektur i metod uczenia sieci neuronowych służących do przetwarzania danych sekwencyjnych i grafowych.

Neuronowe sieci grafowe

Sieci neuronowe są dobrze ugruntowanymi narzędziami do przetwarzania danych o ustalonym wymiarze. Obecnie wykorzystywane metody, które pozwalają na generowanie tego rodzaju danych, nie są na tyle „kreatywne”, ograniczając się do wektorów liczbowych o określonych wymiarach. Są zatem bezużyteczne do zastosowań interesujących politechnicznych naukowców.

– Celem jest wypracowanie metody, dzięki której neuronowe sieci po otrzymaniu grafu reprezentującego daną rzecz, na przykład budynek, stworzą graf reprezentujący instalację elektryczną wewnątrz tego budynku – wyjaśnia dr hab. inż. Paweł Wawrzyński, kierownik projektu. – Projekt jest odpowiedzią na zapotrzebowanie zgłaszane przez przedsiębiorców – dodaje.

Naukowcy stworzyli już sieć, która potrafi zamienić graf w wektor liczb o ustalonym wymiarze i na podstawie tego wektora odtwarza ten graf. To punkt wyjścia do kolejnego etapu, tzn. zmieniania wektora o pewnej długości na inne wektory liczb.

– „Nasz” wektor liczb, reprezentujący dom, zmieniamy w wektor liczb reprezentujący instalację, a potem z tego wektora nasza sieć neuronowa buduję instalację – mówi dr Wawrzyński. – Problemem jest to, że grafy mają różne rozmiary, więc nie mogą być reprezentowane jako konkretny zestaw liczb – wyjaśnia.

By rozwiązać ten problem została stworzona unikalna architektura, opierają się na rekursji, czyli na tworzeniu grafu na podstawie innego, stanowiącego złożenie następujących operacji:

graf źródłowy → stałowymiarowa reprezentacja → przekształcenie reprezentacji → graf docelowy

– Najpierw sieć zamienia mały fragment grafu na wektor liczb o ustalonej wielkości – mówi dr Wawrzyński. – Potem „dokleja” do tego wektora, czy modyfikuje ten wektor w taki sposób, aby ten uwzględniał kolejną wersję tego grafu, potem modyfikuje go tak, aby odzwierciedlał graf powiększony o kolejne i kolejne porcje, aż wektor będzie uwzględniał pełny graf, cały czas o tej samej wielkości wektora liczbowego – wyjaśnia.

Rekurencyjne sieci neuronowe

Ludzka świadomość i rekurencyjna sieć neuronowa działają na podobnych zasadach. Obie otrzymują stale informacje, które przetwarzają i na ich podstawie przewidują niedaleką przyszłość. Obie często się mylą.

– W ramach realizacji tego zadania zaproponowaliśmy model Deep Memory Unit (DMU), który utrzymuje pewien stan świadomości i na podstawie bieżącej obserwacji sieć uczy się identyfikować ten fragment stanu świadomości, który wymaga zmiany, aby dobrze pamiętać co wydarzyło się do tej pory i go zmienić – wyjaśnia dr Wawrzyński. – Działając w ten sposób osiągamy bardzo dobre wyniki i to nawet lepsze wyniki niż przy zastosowaniu architektur, które dominują w podobnych zastosowaniach, czyli LSTM i GRU - dodaje.

-

Projekt „Rekurencyjne sieci neuronowe do przetwarzania danych sekwencyjnych i grafowych” jest finansowany z grantu badawczego Centrum Badawczego POB Sztuczna inteligencja i robotyka programu Inicjatywa Doskonałości - Uczelnia Badawcza, który realizowany jest na Politechnice Warszawskiej.

Skład zespołu badawczego:
dr hab. inż. Paweł Wawrzyński, mgr inż. Łukasz Lepak, mgr inż. Adam Małkowski, mgr inż. Łukasz Neumann, inż. Grzegorz Rypeść (student), inż. Jakub Grzechociński (student)