– Nasza grupa Ilościowego Obrazowania Optycznego pracująca w Instytucie Mikromechaniki i Fotoniki w Zakładzie Inżynierii Fotonicznej na Wydziale Mechatroniki Politechniki Warszawskiej zajmuje się wykorzystaniem optycznych metod pomiarowych do badania obiektów w mikroskali – mówi dr Maciej Trusiak. – Zainspirowani pracami grupy profesor Małgorzaty Kujawińskiej, głównie badamy obiekty przezroczyste, które nie absorbują światła, a takimi są w większości obiekty biologiczne i część obiektów technicznych – wyjaśnia.

W związku z brakiem możliwości zaobserwowania gołym okiem, czy kamerą badanych obiektów, naukowcy do ich podglądania wykorzystują mikroskopię fazową, pozwalającą na zwiększenie kontrastu, poprzez wyczulenie na załamanie światła, a nie jego absorpcję przez próbki. Dzięki temu można podglądać obiekty, bez konieczności ingerencji w nie, np. poprzez zabarwianie fluorescencyjne. Wynalazcą tej metody jest noblista Frits Zernike. Badacze z PW wykorzystują nowoczesną ilościową wersję klasycznej mikroskopii fazowej.

– Jesteśmy w stanie, wykorzystując techniki interferometrii i holografii cyfrowej, bardzo precyzyjnie zmierzyć opóźnienie fazowe wprowadzane przez próbkę. Zatem to, co daje nam endogenny czynnik kontrastowy to rozkład współczynnika załamania w połączeniu z grubością optyczną badanego obiektu – wyjaśnia dr Trusiak.

Etap przejściowy

Aby przejść z dziedziny intensywności do dziedziny wysoko-kontrastowego opóźnienia fazowego należy zarejestrować obraz prążkowy. W jego kształcie zakodowana jest informacja o poszukiwanym rozkładzie fazy. Im bardziej lokalnie prążek jest zagięty, tym większa jest zmiana fazowa. Naukowcy z Wydziału Mechatroniki PW pracują nad zwiększeniem przepustowości dekodowania tych informacji.

– Metoda ilościowej mikroskopii fazowej jest ograniczona fizycznie i numerycznie (komputerowo) – wyjaśnia dr Trusiak. –  Walcząc o jak najlepszą rozdzielczość obrazowania fazowego musimy uwzględnić rozdzielczość fizyczną i przepustowość numerycznego odzyskiwania fazy. W naszej pracy skupiamy się głównie na aspekcie numerycznym zwiększenia przepustowości obrazowania fazy, tak aby móc obrazować najdrobniejsze szczegóły badanych obiektów – dodaje.

Grupa naukowców w swojej pracy wykorzystuje metodę transformacji Hilberta, która dobrze radzi sobie z nakładającym się widmem, pozwalając na większą szczegółowość wynikowego obrazu fazowego. Metoda wymaga przetwarzania wstępnego rozkładu prążkowego. Naukowcy PW realizują to na dwa sposoby.

–  Naszym celem była poprawa jakości przewarzania wstępnego, przy jednoczesnym wykorzystaniu nowoczesnych sieci neuronowych i metod dekompozycji obrazu. Na obu płaszczyznach działamy wprowadzając nowinki algorytmiczne – mówi dr Trusiak.

Praca na algorytmie

Jednoramkowy algorytm analizy obrazów prążkowych - Varitional Hilbert Quantitative Phase Imaging.

By osiągnąć zamierzony cel, naukowcy wyznaczyli m.in. mapę gęstości i orientacji prążków (niezbędne do poprawnego zastosowania transformacji Hilberta) w oparciu o konwolucyjne sieci neuronowe. W przypadku działań prowadzonych przez grupę z Wydziału Mechatroniki zastosowano, co jest rzadkością w dziedzinie odzyskiwania fazy, zbiór uczący, oparty wyłącznie na symulacjach komputerowych.

–  Zasymulowany rozkład fazowy był nam znany, więc wiedzieliśmy, jak powinno wyglądać wyjście sieci neuronowej – tłumaczy doktorantka mgr inż. Maria Cywińska. – Mając dobrze zdefiniowane wejście i wyjście sieci neuronowej, w procesie uczenia, zamiast z góry znać zależność pomiędzy obrazem prążkowym i mapą gęstości, czy też orientacji, możemy wykorzystać sieć, która pełniąc rolę „programisty”, definiuje jak wygląda ta zależność – wyjaśnia.

Przykład analizy danych rzeczywistych (górny prostokąt) i uzyskanych map gęstości prążków przez sieć neuronową (dolny prostokąt) w procesie uczenia na symulacjach.

By tak mogło się stać zadaniem naukowców było zdefiniowanie architektury splotowej sieci neuronowej, która pozwoliłaby jej nauczyć się funkcjonowania na bazie mniejszych „bloczków”, rozkładając obraz na mniejsze części. 

Architektura sieci

–  Nasza sieć nie szła po jednym torze w procesie uczenia. Rozdzieliliśmy ją na kilka ścieżek, zmienialiśmy wymiarowość obrazu i w ten sposób pozwoliliśmy sieci, aby w trakcie uczenia się, rozkładała duży „problem” na mniejsze „problemy”. Dzięki temu w każdej z gałęzi sieć mogła skupić się na innych obszarach badanego obrazu – wyjaśnia.

Tak nauczone sieci można wykorzystać do filtracji obrazu prążkowego: redukowany jest szum, ekstrahowany koherentny człon prążkowy i usuwane tło niekoherentne, które stanowi sumę intensywności dwóch wiązek, wykorzystywanych do wytworzenia obrazu prążkowego. Do usuwania tła wykorzystywana jest metoda dekompozycji wariacyjnej, której autorką jest mgr inż. Maria Cywińska. Na czym ona polega?

–  Z iteracji na iterację zbliżamy się do rozwiązania, którego szukamy. W zależności od zmiany charakteru obrazów prążkowych, liczba iteracji, którą potrzebujemy policzyć, aby wyodrębnić te prążki od tła i od szumu, również się zmienia – wyjaśnia doktorantka. – Do tej pory do tych obliczeń wykorzystywaliśmy kryterium stopu. Niestety, ono drastycznie wydłużona czas obliczeń.

Do analizy mgr Cywińska postanowiła wykorzystać sieć, poprzez nauczenie jej mapowania zachowania kryterium stopu w zbiorze obrazów prążkowych.

–  Raz nauczona sieć w przyszłych zastosowaniach będzie wyznaczała liczbę niezbędnych iteracji w ułamku sekundy i będzie pozwalała znacznie przyspieszyć te obliczenia – mówi mgr Cywińska.

Jak podają naukowcy z Wydziału Mechatroniki PW nowa metoda pozwala na skrócenie czasu filtracji nawet o 80%.

W obliczeniach z wykorzystaniem sieci widać przeszacowanie w liczbie iteracji. Jednak przy tak dużej liczbie iteracji zjawisko to nie ma wpływu na jakość filtracji.

Obserwacja ryb

Naukowcy z Wydziału Mechatroniki swoim doświadczeniem i wiedzą mogli podzielić się z badaczami z grupy prof. Balpreeta Ahluwalii z The Arctic University of Norway w Tromso, którzy w swoich pracach obserwują komórki ryb, między innymi pod kątem tego jak się poruszają i jak wpływa na nie skażenie mikroplastikiem.

Do tej pory uważano, że komórki ryb poruszają się po torze przypominającym zagarnianie wody. Dzięki tej współpracy udało się obalić te twierdzenie. Poprzez uzyskanie dynamicznego obrazu fazowego, naukowcy mogli podglądać zachowanie komórek i podczas tej obserwacji nie stwierdzili tego typu ruchów. Z ich obserwacji wynika, że ruch komórek ryb przypomina dryfowanie.

Kontynuacja prac

Naukowcy w dalszym ciągu rozwijają sieci neuronowe, zarówno od strony teoretycznej, jak i architektury oraz nowych zastosowań. Skupiają się także na ulepszaniu metod dekompozycji od strony matematycznych podstaw po numeryczną implementację do zastosowań w mikroskopii fazowej.

–  Wszystko po to, aby móc więcej zobaczyć w mikroskopach fazowych, w zasadzie ich fizycznie nie zmieniając – mówi dr Maciej Trusiak. –  Lubimy myśleć, że tworzymy takie w pełni numeryczne nakładki, które zwiększają przepustowość informacyjną mikroskopów fazowych bez ingerencji w nie. Algorytmicznie zwiększamy ich możliwości, co jest podstawowym założeniem dynamicznie rozwijającej się dziedziny mikroskopii obliczeniowej – tłumaczy naukowiec.

Komórki z nabłonka policzka – ta sama próbka. Po lewej: zbliżenie z ograniczeniem rozdzielczości. Po prawej: zbliżenie pod mikroskopem z algorytmicznie zwiększonymi możliwościami. Zdjęcia pochodzą z mikroskopu obliczeniowego wykorzystującego metodę fourierowskiej ptychografii.

To jednak nie wszystko nad czym pracują członkowie zespołu badawczego. Doktorant mgr inż. Mikołaj Rogalski i adiunkt dr inż. Piotr Zdańkowski zbudowali układ mikroskopu ptychograficznego i napisali dla niego specjalne oprogramowanie – Dzięki temu nie tylko możemy wprowadzić ilościowy kontrast fazowy, ale także zwiększamy jego rozdzielczość poprzez oświetlenie próbki z wielu kątów i numeryczne „zszycie” wszystkich informacji – wyjaśnia dr Trusiak.

Naukowcy planują rozwijać metody sieci neuronowych i metody dekompozycji obrazu, aby pozwolić na szybszą i dokładniejszą rekonstrukcję w mikroskopii ptychograficznej – Obecnie jest to jedno z największych wyzwań w mikroskopii obliczeniowej i ma bezpośredni związek z przepustowością informacji, którą zajmowaliśmy się w ramach grantu badawczego, zdobytego w konkursie FOTECH-1 – mówi dr Trusiak.

-

Projekt "DEEPCOMPOSITION: Zaawansowane metody dekompozycji danych wspomagane specjalizowanymi sieciami neuronowymina potrzeby zwiększenia przepustowości informacyjnej wybranych polowych optycznych metod pomiarowych." jest finansowany w ramach grantu badawczego Centrum Badawczego POB Technologie fotoniczne programu Inicjatywa Doskonałości - Uczelnia Badawcza, który realizowany jest na Politechnice Warszawskiej.

Skład zespołu badawczego:

dr inż. Maciej Trusiak, prof. dr hab. inż. Krzysztof Patorski, dr inż. Piotr Zdańkowski, dr inż. Julianna Winnik, mgr inż. Maria Cywińska, mgr inż. Mikołaj Rogalski, mgr inż. Filip Brzeski, inż. Wiktor Krajnik