Coraz większym wyzwaniem, przed którym stoją zarządcy danych przestrzennych, jest potrzeba harmonizacji danych z innymi podmiotami. Pod pojęciem harmonizacji należy rozumieć zapewnienie spójności sposobu modelowania obiektów przestrzennych w poszczególnych bazach umożliwiające wzajemną wymianę danych przestrzennych pomiędzy tymi bazami. Celem procesu harmonizacji jest integracja z jednoczesnym zachowaniem pewnej autonomiczności ścieżek rozwojowych istniejących rozwiązań. Projektowanie i realizacja harmonizacji jest złożonym zagadnieniem ze względu na potrzebę uwzględnienia określonych uwarunkowań prawnych, organizacyjnych, technicznych i ekonomicznych. Aby odpowiedzieć na te wyzwania, Globema przygotowała uniwersalną platformę analityczną wspierającą proces harmonizacji i konsolidacji danych opisowych i przestrzennych. Rozwiązanie oparte jest o oprogramowanie FME oraz autorskie algorytmy analityczne.
Zewnętrzne i wewnętrzne potrzeby przedsiębiorstwa w zakresie harmonizacji danych przestrzennych.
Szczególnym wyzwaniem harmonizacji danych przestrzennych jest obsługa duplikacji informacji o położeniu i wynikający z tego problem tożsamości istnienia obiektów w różnych bazach danych, które są prowadzone przez niezależne podmioty. Przykładem może być każde przedsiębiorstwo sieciowe posiadające własny GIS’owy system paszportyzacyjny oraz niezależnie prowadzona przez starostwa baza danych o sieciach uzbrojenia terenu, tzw. GESUT. Dla obu wymienionych podmiotów kluczową informacją jest geograficzne położenie obiektów w terenie. Istnieje jednak diametralna różnica w kontekście biznesowego zastosowania danych. To właśnie biznesowe zastosowanie danych wpływa na to, w jaki sposób dane są gromadzone i implementowane w systemach informatycznych. Dla przedsiębiorstw sieciowych istotna jest możliwość odwzorowania technicznych aspektów posiadanej infrastruktury, jakimi są m.in. symulacje i analizy sieciowe, na przykład analiza obwodów energetycznych i zasilania awaryjnego, analizy skutków awarii na sieci ciepłowniczej czy analizy dostępności usług telekomunikacyjnych. Te uwarunkowania biznesowe nakładają szczególne wymagania jakościowe oraz strukturalne – jakość danych opisujących infrastrukturę, zdefiniowana granulacja obiektowości, wielokontekstowa dokładność, reprezentacja geometryczna i implementacja topologii pozwalającej odwzorować fizyczne zachowanie sieci. Potrzeba biznesu w zakresie oczekiwań funkcjonalnych systemów GIS’owych powoduje, że założenia co do jakości i postaci danych o sieci są zupełnie inne od założeń jakimi kierował się ustawodawca definiując przestrzenny standard danych GESUT. Głównym powodem takie stanu rzeczy są różnice w założeniach biznesowych oraz uwarunkowaniach prawnych. Natomiast rzeczywistym i zarazem naturalnym efektem jest to, że przedsiębiorstwa i „geodezja” prowadzą ewidencję sieci niezależnie .
Potrzeby przedsiębiorstwa w zakresie harmonizacji danych mogą wynikać zarówno z aspektów mających swoje źródło wewnątrzorganizacyjne, jak i zewnętrzne. Przykładem wewnętrznej, operacyjnej potrzeby może być budowa bazy adresowej, która w drodze integracji jest wykorzystywana przez różne systemy informatyczne, jako jednolite, referencyjne źródło informacji opisowej i lokalizacyjnej punktów adresowych. Podczas tworzenia takiego rozwiązania należy uwzględnić różne źródła i jakość danych adresowych: istniejące w organizacji systemy informatyczne, adresy udostępnianie przez agencje rządowe oraz dane od komercyjnych dostawców. Proces harmonizacji musi obsłużyć utrzymanie złożonej zgodności ze stosowanymi wewnętrznie rozwiązaniami, a jednocześnie umożliwiać sprawną synchronizację i zgodność z zewnętrznymi, istotnymi – np. państwowymi – rejestrami.
Przykładem potrzeb harmonizacji mogą być zewnętrzne okoliczności wynikające ze zobowiązań, jakie na organizację nakłada aktualnie stosowane prawo. Dla przedsiębiorstw sieciowych mogą to być zobowiązania wobec urzędów regulacyjnych (np. UKE, URE), ale także obowiązki związane z koniecznością współdziałania ze starostami w procesie zakładania i prowadzenia ewidencji sieci uzbrojenia terenu.
Przykłady potrzeb harmonizacji baz danych przedsiębiorstwa sieciowego w ujęciu operacyjnym (problem budowy korporacyjnej bazy adresowej) oraz biznesowo-prawnym (obowiązki wobec urzędów regulacyjnych oraz w zakresie budowy bazy GESUT).
Globema przygotowała uniwersalną platformę analityczną wspierającą proces harmonizacji i konsolidacji danych opisowych i przestrzennych. Rozwiązanie oparte jest o oprogramowanie FME oraz autorskie algorytmy analityczne. Wybór FME jako środowiska bazowego dla platformy analitycznej podyktowany był uniwersalnością tego oprogramowania, na którą wpływa szeroki zakres wspieranych formatów danych (ponad 400), możliwość uzyskania szybkiego efektu poprzez dostępność gotowych funkcji, które mogły zostać bezpośrednio wykorzystane w celu projektowania procesu walidacyjnego danych oraz interfejsy programistyczne gwarantujące jeszcze większą uniwersalność. Dodatkowym atutem FME jest wyjątkowa wydajność w zakresie przetwarzania danych, możliwości wymuszania równoległych procesów przetwarzania, możliwości optymalizacyjne pozwalające na maksymalne wykorzystanie zasobów maszyny obliczeniowej oraz łatwa skalowalność rozwiązania, nawet do rozwiązań klasy Enterprise i przenoszenia przetwarzania na maszyny obliczeniowe umieszczone w chmurze.
Przykład możliwości parametryzowania skryptu oraz konfiguracji przetwarzania równoległego.
Harmonizacja formatów danych
Proces projektowania harmonizacji danych rozpoczyna analiza i opis zasobów istniejących. Niezbędne jest przy tym porównanie modeli danych (metadane, schematy aplikacyjne). FME posiada adaptery czytające różne formaty danych przestrzennych, poprzez bazodanowe rozwiązania komercyjne (np. GE Smallworld GIS, Oracle, Bentley, Autodesk, Esri, Intergraph), rozwiązania open-source (PostGIS), aż po popularne formaty wymiany plikowej (GML, Esri Shape, KML). FME potrafi odczytać w szczegółowy sposób model danych wskazanego źródła, jednocześnie podając użytkownikowi oprócz informacji o nazwach atrybutów także informacje o typie danych (zależnie od formatu źródłowego) oraz długości i precyzji pól.
Przykład odczytania przez FME modelu danych kolekcji ‘przewód gazowy’ z pliku źródłowego GML GESUT.
Harmonizacja modelu danych (metadanych)
Harmonizacja modelu w danych w zakresie zawartości opisowej/alfanumerycznej to element tzw. transformacji semantycznej. FME posiada zestaw gotowych funkcji wspierających ten proces, poczynając od prostej zmiany nazw atrybutów, poprzez mapowanie wartości i działania na tekstach (dzielenie, łączenie, wydobywanie fragmentów) po obsługę wartości pustych.
Przykład funkcji służącej do mapowania wartości (AttributeValueMapper).
Harmonizacja słowników danych i wartości
Niezbędnym krokiem harmonizacji jest unifikacja stosowanych wspólnych wykazów słownikowych oraz jednolity sposób interpretacji wartości, np. posługiwanie się tą samą jednostką miary. Innym zagadnieniem transformacji semantycznej jest obsługa wstępnej walidacji w przypadku występowania różnych założeń jakościowych co do danych i atrybutów zidentyfikowanych jako współistniejące w dwóch autonomicznie prowadzonych bazach danych. W FME można wówczas skorzystać z multizadaniowej funkcji AttributeValidator. Dzięki niej w jednym miejscu możliwa jest wszechstronna weryfikacja danych: sprawdzanie typu danych, zawierania się w podanym zakresie, zgodności z określonym szablonem/maską wartości, kontrola liczby znaków, unikalność, wartość pusta czy nieokreślona.
Funkcja AttributeValidator.
Harmonizacja danych przestrzennych
W zakresie harmonizacji przestrzennej FME również dostarcza szereg gotowych narzędzi wspierających ten proces. Podstawową możliwością jest m.in. odczyt danych zdefiniowanych w polskich państwowych układach współrzędnych – popularny 1992, układ 2000, układ 1965 oraz transformacja współrzędnych pomiędzy tymi układami. Ogólnie wspieranych jest ponad 400 układów z całego świata.
Lista polskich układów współrzędnych wspieranych przez FME.
FME posiada szereg funkcji, które analizują i przetwarzają geometrię w różnym kontekście. Lista tych funkcji jest długa, szczególnie przydatne jednak okazują się: filtrowanie względem rodzaju geometrii, filtrowanie przestrzenne, tworzenie buforów, analizy przestrzenne nakładania się i sąsiedztwa.
Wyciąg z dokumentu „Przewodnik po funkcjach FME Desktop ” dotyczący funkcji LineJoiner oraz LineOnAreaOverlayer.
Jednym z zagadnień harmonizacji przestrzennej jest dostosowanie obiektów z różnych źródeł do spójnie interpretowalnej reprezentacji geometrycznej. W jednej bazie danych ta sama kolekcja obiektu może być ewidencjonowana za pomocą linii w innej zaś za pomocą obszaru. W FME można posłużyć się narzędziami z grupy Coerce, powodującymi wymuszanie zmiany reprezentacji geometrycznej, np. konwersję obszarów do postaci liniowej.
Zasadniczy wpływ na skomplikowanie zadania harmonizacji danych przestrzennych ma fakt, że w przypadku braku zbieżnej identyfikacji opisowej podstawową cechą pozwalającą porównać dwa obiekty z różnych źródeł jest podobieństwo położenia przestrzennego.
Zamodelowanie algorytmu weryfikacji przestrzennej polegało na zaprojektowaniu zestawu funkcji pozwalających określić miarę zgodności tożsamości geometrycznej. Podstawą algorytmu są parametryzowane analizy buforowe wraz z zaawansowanymi funkcjami weryfikującymi podobieństwo geometryczne, analizą liczności geometrii oraz porównania atrybutów opisowych.
Przykładowy wynik parametryzowanych analiz przestrzennych w wykrywaniu rozbieżności pomiędzy branżową bazą a danymi GESUT pochodzącymi z powiatowego zasobu geodezyjnego.
Aplikacja wspierająca harmonizację danych GIS z bazą GESUT
Ostania nowelizacja w prawie geodezyjnym nałożyła na podmioty władające sieciami obowiązek „współdziałania ze starostami w procesie zakładania i prowadzenia ewidencji sieci uzbrojenia terenu”. Przedsiębiorstwa zostały postawione przed realnym problemem – skomplikowanym i bardzo pracochłonnym weryfikowaniem elementów infrastruktury. W wyniku weryfikacji przedsiębiorstwo jest zobligowane potwierdzić istnienie, prawidłowy przebieg w terenie oraz skrócony opis techniczny podstawowych elementów sieci uzbrojenia. Opinia taka musi zawierać wykaz rozbieżności w zakresie danych opisujących elementy sieci oraz różnice przebiegów.
Aby wspomóc operatorów sieci w wypełnieniu tych obowiązków, Globema przygotowała dedykowane narzędzie składające się z 3 komponentów:
- Moduł podstawowy do obsługi danych GESUT i wyników analizy zgodności (na rys. jako „1. Moduł podstawowy X.GIS GESUT”)
- Moduł dodatkowy – generyczny automat analityczny, wykonujący analizę porównawczą danych branżowych oraz danych GESUT. Moduł produkuje wyniki, które są podstawą przygotowania raportu zgodności. (na rys. jako „3. Moduł dodatkowy – automat analityczny”)
- Moduł dodatkowy – automat aktualizacyjny, potrafiący uzupełnić danymi GESUT branżową bazę GIS (na rys. jako „2. Moduł dodatkowy – automat aktualizacyjny”).
Architektura rozwiązania do harmonizacji danych GESUT.
Cechą modułu analitycznego jest generyczna obsługa wszystkich kolekcji zdefiniowanych w modelu danych GESUT. Wynikiem analizy jest obiekt ‘Niezgodności’. Każda niezgodność ma określony obszar oraz rodzaj, który może mieć jedną z trzech wartości:
- brak w branży
- brak w GESUT
- rozbieżność.
Moduł analityczny potrafi szczegółowo wyznaczyć różnice pomiędzy dwoma źródłami danych. Fakt identyfikacji sytuacji problemowej jest sygnalizowany poprzez następujące flagi:
- rozbieżność geometrii
- rozbieżność liczności
- rozbieżność władającego
- rozbieżność źródła danych
- rozbieżność innych atrybutów.
Wynik automatycznej analizy niezgodności ciepłowniczych danych branżowych i danych GESUT. Podgląd na dane początkowe branży i GESUT oraz wynik zaprezentowany w systemie Smallworld EC.GIS. Bufory wokół przewodów to zidentyfikowane rozbieżności.
Obszary problemowe są głównym elementem raportu zgodności, który może być w łatwy sposób wygenerowany i przekazany ośrodkowi geodezyjnemu w dowolnym formacie obsługiwanym przez FME, w tym oczywiście w GML. Dodatkowo moduł utrzymuje informacje o tożsamych elementach i fragmentach infrastruktury poprzez zapis natywnych identyfikatorów. Spełnienie tego warunku jest podstawą do późniejszej automatycznej harmonizacji i przyspiesza proces wykrywania sytuacji rozbieżnych wymagających obustronnego uzgodnienia. Aktualna wersja oprogramowania wspiera proces harmonizacji danych GESUT dla infrastruktury elektroenergetycznej oraz ciepłowniczej. Modułowo-generyczna budowa rozwiązania pozwala na sprawne jego wdrożenie także w innych branżach sieciowych.
Chcesz wiedzieć więcej? Skontaktuj się z nami.
