Sztuczna inteligencja w archiwach i zarządzaniu dokumentacją

Informatec Digital » Zasoby » Sztuczna inteligencja w archiwach i zarządzaniu dokumentacją

Sztuczna inteligencja zastosowana w zarządzaniu plikami i dokumentami w chmurze fundamentalnie zmienia sposób, w jaki pracujemy z plikami, archiwami, dokumentacją administracyjną i wszelkiego rodzaju dokumentami. Codziennie w firmach, na uniwersytetach i w administracji publicznej tworzone są setki, a nawet tysiące dokumentów, które bez dobrego systemu mogą łatwo przekształcić się w chaotyczny bałagan, uniemożliwiający korzystanie z nich.

Co ciekawe, dzięki sztucznej inteligencji dokumenty te przestają być jedynie zapisanymi plikami, a stają się aktywnymi źródłami informacji do podejmowania decyzji . Technologie takie jak optyczne rozpoznawanie znaków (OCR), przetwarzanie języka naturalnego i uczenie maszynowe umożliwiają lepszą lokalizację treści, automatyzację żmudnych zadań i dostęp do plików znacznie szerszemu gronu odbiorców.

Archiwistyka w erze sztucznej inteligencji

Archiwistyka, rozumiana jako dyscyplina zajmująca się pełnym zarządzaniem cyklem życia dokumentów (tworzeniem, porządkowaniem, długoterminowym przechowywaniem i dostępem), stopniowo włączyła informatykę i obecnie doświadcza skoku jakościowego dzięki sztucznej inteligencji. Nie chodzi tu tylko o digitalizację, ale o rzeczywiste wykorzystanie treści dokumentów.

W ostatnich latach opublikowano systematyczne badania dotyczące wpływu sztucznej inteligencji na archiwa , analizujące literaturę naukową w bazach danych, takich jak Scopus, SciELO, LISA i Google Scholar, z wykorzystaniem metodologii takich jak PICOC i PRISMA. Badania te pokazują, że chociaż wśród wielu specjalistów wciąż brakuje świadomości, praktyczne zastosowania są już bardzo namacalne.

Do najistotniejszych wkładów sztucznej inteligencji w archiwistykę należą wspomagane przechowywanie cyfrowe, automatyczne generowanie metadanych oraz rozpoznawanie pisma odręcznego (HTR) . Uzupełniają je aplikacje uczenia maszynowego i przetwarzania języka naturalnego, które usprawniają wyszukiwanie i wyszukiwanie informacji, wspierając bardziej demokratyczny dostęp do zbiorów archiwalnych.

Chociaż sztuczna inteligencja rozwija się dynamicznie, nie wszystkie instytucje w pełni wykorzystują jej potencjał . Wiele archiwów nadal stosuje procedury wysoce manualne, czy to z powodu braku zasobów, braku świadomości dostępnych narzędzi, czy też niechęci do zmiany procesów i dostosowania się do norm ISO 27000.

Obserwatorium Sztucznej Inteligencji w Archiwach

Na tle krajobrazu Hiszpanii wyróżnia się Obserwatorium Sztucznej Inteligencji w Archiwach , grupa robocza złożona z ekspertów z różnych wspólnot autonomicznych i organizacji, która ściśle monitoruje, w jaki sposób sztuczna inteligencja jest stosowana w tej dziedzinie i promuje dobre praktyki.

Obserwatorium składa się ze specjalistów z regionu Murcji, Uniwersytetu w Santiago de Compostela, Wspólnoty Walenckiej, Balearów, Rady Miasta Sant Cugat del Vallès, Wspólnoty Madrytu, Wspólnoty Nawarry, Katalonii, Kraju Basków, Kastylii i León, Generalnej Dyrekcji Archiwów Państwowych oraz innych podmiotów . Ta różnorodność terytorialna i organizacyjna pozwala na bardzo szerokie spojrzenie na potrzeby i projekty.

Grupą kieruje Désirée Domínguez Pallas, dyrektor Archiwum Uniwersytetu w Santiago de Compostela , która promuje wymianę doświadczeń i refleksję na temat wyzwań technicznych, etycznych i organizacyjnych związanych z wykorzystaniem inteligentnych systemów w zarządzaniu archiwami.

Tego typu inicjatywy zachęcają do wdrażania sztucznej inteligencji nie w sposób odizolowany i niezorganizowany, ale raczej do dzielenia się kryteriami technicznymi, przykładami ze świata rzeczywistego i wspólnymi liniami pracy , co jest podstawą spójnego rozwoju archiwów publicznych.

Kluczowe koncepcje sztucznej inteligencji w zarządzaniu dokumentami

Mówiąc o sztucznej inteligencji stosowanej w dokumentach i plikach, mamy na myśli kilka technologii, które, połączone, pozwalają nam czytać, rozumieć, klasyfikować i wykorzystywać informacje zawarte w dokumentach . Najważniejsze z nich to OCR, przetwarzanie języka naturalnego i uczenie maszynowe, a także wyszukiwarki takie jak Elasticsearch.

Optyczne rozpoznawanie znaków (OCR) konwertuje obrazy dokumentów (skany, zdjęcia, pliki PDF z obrazami) na edytowalny i przetwarzalny tekst cyfrowy. Obecne silniki OCR potrafią obsługiwać złożone czcionki, a nawet niektóre pisma odręczne, co otwiera drzwi do przetwarzania dużych zbiorów historycznych.

Przetwarzanie języka naturalnego (NLP) pozwala maszynom analizować i rozumieć język ludzki. Dzięki tym technikom możliwe jest usprawnienie wyszukiwania, wyodrębnianie jednostek (osób, miejsc, dat), streszczanie dokumentów, tłumaczenie tekstów i generowanie automatycznych opisów, a także wiele innych funkcji.

Z drugiej strony, uczenie maszynowe opiera się na modelach, które uczą się na przykładach. W dziedzinie archiwów umożliwia ono trenowanie systemów, które rozróżniają typy dokumentów, wykrywają wzorce w danych lub przewidują, do której serii należy dokument na podstawie jego zawartości, ucząc się na zbiorach już sklasyfikowanych przez specjalistów i przechowywanych w różnych typach baz danych.

Wiele rozwiązań wykorzystuje również wizję komputerową , która analizuje obrazy wykraczające poza sam tekst. Jest to szczególnie przydatne w zarządzaniu historycznymi fotografiami, planami, rysunkami technicznymi lub starymi dokumentami zeskanowanymi w niskiej jakości, gdzie konieczna jest identyfikacja obszarów zainteresowania przed zastosowaniem innych technik.

Jak działa system zarządzania dokumentami oparty na sztucznej inteligencji

W codziennej działalności nowoczesny system zarządzania dokumentami ze sztuczną inteligencją zazwyczaj rozpoczyna się od fazy digitalizacji i przechwytywania . Chociaż znaczna część dzisiejszej produkcji dokumentów powstaje cyfrowo, nadal istnieje znaczna ilość materiałów papierowych i zeskanowanych, które wymagają zaawansowanego OCR.

Wydrukowane dokumenty lub obrazy PDF są przesyłane do narzędzi OCR, które rozpoznają tekst i konwertują go na treść indeksowalną . Wiele nowoczesnych kserokopiarek jest już wyposażonych w ten typ mechanizmu, a dostępne są również rozwiązania dedykowane do skanowania dużych ilości dokumentów.

Po przekształceniu treści w tekst, do gry wchodzą modele przetwarzania języka naturalnego i uczenia maszynowego . Analizują one dokument, identyfikują jego temat, wyodrębniają kluczowe dane (np. nazwiska, numery akt, daty, kwoty) i klasyfikują go w ramach schematu klasyfikacji organizacji lub systemu zarządzania dokumentami.

Dzięki tym informacjom system może automatycznie przypisywać metadane, proponować serie dokumentów, wiązać dokumenty ze sobą i ułatwiać znacznie bogatsze wyszukiwanie , łącząc dowolne terminy, filtrując według dat, typów, tematów lub miejsc.

Wielką wartością dodaną jest to, że systemy te uczą się w trakcie użytkowania : w miarę jak pracownicy archiwów poprawiają, sprawdzają lub dostosowują propozycje klasyfikacji, modele stają się coraz dokładniejsze i oferują wyniki lepiej dostosowane do kontekstu danego archiwum lub instytucji.

Praktyczne zastosowania sztucznej inteligencji w zarządzaniu plikami

W praktyce sztuczna inteligencja może interweniować na niemal każdym etapie zarządzania dokumentami, pomagając ograniczyć powtarzalność zadań, zminimalizować liczbę błędów i wykorzystać dokumenty jako strategiczne źródło informacji . Niektóre zastosowania są szczególnie istotne w sektorze publicznym i prywatnym.

Jedną z najpowszechniejszych jest automatyczna klasyfikacja dokumentów według zawartości, typu lub formatu. Zamiast ręcznego etykietowania każdego dokumentu, system sugeruje lub przypisuje kategorie, serie lub pliki, znacznie przyspieszając proces i ułatwiając przestrzeganie przepisów.

Sztuczna inteligencja służy również do pozyskiwania istotnych informacji , takich jak imiona i nazwiska osób, adresy, daty, odniesienia prawne czy numery akt. Informacje te są następnie przechowywane w bazach danych lub na pulpitach nawigacyjnych, co ułatwia dalsze konsultacje i analizy.

Kolejnym istotnym zastosowaniem jest automatyczne generowanie podsumowań i raportów z dużych zbiorów dokumentów. Narzędzia oparte na języku, takie jak niektórzy asystenci konwersacyjni czy usługi typu ChatPDF, pozwalają niemal natychmiastowo syntetyzować kluczowe punkty pliku, umowy lub zestawu raportów.

Zaawansowane wyszukiwanie dokumentów to kolejny obszar, w którym skok jakościowy jest wyraźnie widoczny. Wewnętrzne wyszukiwarki oparte na sztucznej inteligencji pozwalają użytkownikom znaleźć informacje, nawet jeśli nie pamiętają dokładnego tytułu dokumentu lub używają innych słów niż w tekście oryginalnym, dzięki wyszukiwaniu semantycznemu, które jest znacznie bliższe językowi naturalnemu.

W sektorach regulowanych wiele organizacji wykorzystuje sztuczną inteligencję (AI) do wzmocnienia zgodności z przepisami i wykrywania poufnych informacji . Systemy mogą identyfikować dane osobowe, informacje poufne, okresy przechowywania lub zbliżające się terminy ważności licencji, pomagając zapobiegać niezgodnościom i lepiej zarządzać ryzykiem.

Równolegle pojawia się pomysł wspomaganego inteligentnego archiwum , w którym system nie tylko przechowuje i porządkuje, ale także pomaga w przygotowywaniu dokumentów, prezentacji czy odpowiedzi, automatycznie lokalizując najistotniejsze informacje dla każdego przypadku użycia.

Modele i platformy AI dla dokumentów

Ekosystem narzędzi wykorzystywanych w zarządzaniu dokumentami obejmuje zarówno wysoce wyspecjalizowane silniki, jak i najnowocześniejsze modele językowe . Każdy z nich obejmuje część procesu, a razem tworzą niezwykle wydajne rozwiązania.

W dziedzinie OCR, jednym z najbardziej znanych silników jest Tesseract , szeroko rozpowszechniony projekt open source do konwersji obrazów na tekst. Wiele komercyjnych rozwiązań integruje go lub opiera się na podobnych technologiach dostosowanych do rękopisów i dokumentów historycznych.

W dziedzinie przetwarzania języka naturalnego modele takie jak BERT i różne rodziny GPT okazały się przełomowe, umożliwiając kontekstowe rozumienie tekstu, które jest znacznie bliższe temu, jak ludzie czytają. Modele te służą do klasyfikowania dokumentów, generowania podsumowań, wyodrębniania encji i odpowiadania na zapytania dotyczące treści.

Co więcej, wiele organizacji decyduje się na trenowanie niestandardowych modeli uczenia maszynowego z wykorzystaniem własnej dokumentacji. Pozwala im to dostosować się do swojej terminologii, struktury organizacyjnej i regulacji wewnętrznych, osiągając poziom dokładności klasyfikacji lub wykrywania wzorców, który nie byłby możliwy w przypadku modeli generycznych.

Ta podstawa technologiczna służy do tworzenia zintegrowanych rozwiązań obejmujących systemy zarządzania dokumentami, przepływy pracy, audyty, podpisy elektroniczne i narzędzia do współpracy , wszystkie połączone z możliwościami analitycznymi i sztuczną inteligencją.

Rozwiązania do zarządzania dokumentami wykorzystujące sztuczną inteligencję

Zakres opcji rozciąga się od gigantów technologicznych po projekty oprogramowania typu open source, a propozycje mają na celu usprawnienie sposobu, w jaki organizacje zarządzają swoimi plikami.

Firmy takie jak Google i IBM , z platformami takimi jak Google Cloud i Watson, oferują usługi klasyfikacji, analizy i ekstrakcji danych, które można zintegrować z istniejącymi systemami zarządzania dokumentami. Co więcej, firmy koncentrujące się na automatyzacji procesów, takie jak UiPath i Automation Anywhere, stworzyły roboty programowe zdolne do zarządzania całym obiegiem dokumentów.

Spośród rozwiązań ukierunkowanych na zarządzanie dokumentami , OpenKM wyróżnia się jako menedżer dokumentów typu open source, który łączy w sobie inteligentną klasyfikację, ekstrakcję metadanych oraz wyszukiwanie semantyczne oparte na sztucznej inteligencji. Jego otwartoźródłowy charakter pozwala na wysoki stopień personalizacji i adaptacji do potrzeb każdej organizacji.

Kolejnym istotnym narzędziem jest R2 Docuo , ukierunkowane zarówno na zarządzanie dokumentami, jak i przepływy pracy. Platforma ta obiecuje znacząco zredukować nakład pracy związany z tworzeniem, kontrolowaniem, rozpowszechnianiem i podpisywaniem dokumentów, automatyzując wszystko – od generowania szablonów, przez zatwierdzanie, po ostateczną archiwizację.

W dziedzinie korporacyjnego oprogramowania open source, Alfresco ugruntowało swoją pozycję lidera w dziedzinie zarządzania treścią i plikami. Umożliwia ono personalizację procesów, dodawanie modułów i integrację z zewnętrznymi usługami AI, co czyni je elastyczną podstawą do realizacji ambitnych projektów w dużych instytucjach.

Google Document AI i inteligentne przetwarzanie dokumentów

Jednym z najwyraźniejszych przykładów wyspecjalizowanej platformy jest Google Document AI , usługa oparta na chmurze, zaprojektowana do automatyzacji klasyfikacji, ekstrakcji i analizy dokumentów na dużą skalę. Jest ona skierowana zarówno do firm prywatnych, jak i organizacji publicznych, które przetwarzają duże ilości formularzy, faktur, plików lub umów.

Sztuczna inteligencja dokumentów (Document AI) łączy uczenie maszynowe, przetwarzanie języka naturalnego (NLP) i wizję komputerową, aby identyfikować istotne pola w każdym dokumencie, niezależnie od tego, czy pochodzi on ze skanu, pliku PDF, czy zrzutu ekranu. Potrafi uczyć się popularnych formatów dokumentów w danej branży i ponownie wykorzystywać tę wiedzę w nowych zastosowaniach.

Ponieważ jest to usługa dostępna w chmurze, tego typu rozwiązanie jest szczególnie interesujące dla organizacji, które muszą szybko skalować swoją moc przetwarzania bez konieczności inwestowania we własny sprzęt lub utrzymywania skomplikowanej infrastruktury.

W rezultacie wiele zadań, które wcześniej wymagały wielu godzin ręcznego przeglądu, można teraz rozwiązać w ciągu kilku minut, a zespół ludzki może poświęcić się walidacji i podejmowaniu decyzji o większej wartości dodanej zamiast wprowadzaniu danych.

Zastosowanie sztucznej inteligencji w administracji publicznej

Administracje publiczne znajdują sojusznika w sztucznej inteligencji, aby efektywniej i bardziej transparentnie zarządzać dokumentacją . Od rad miejskich po ministerstwa, coraz więcej projektów wdraża systemy automatycznej klasyfikacji, analizy plików i zaawansowanego wyszukiwania.

Wiele samorządów lokalnych i regionalnych wdraża systemy zarządzania dokumentami oparte na sztucznej inteligencji, aby uporządkować pliki elektroniczne, przyspieszyć procedury poprzez cyfrowe podpisywanie dokumentów i poprawić dostęp obywateli do informacji publicznej . Skraca to czas reakcji i ułatwia wewnętrzną kontrolę procedur.

Konkretnym przykładem jest wykorzystanie platformy Alfresco w Radzie Miasta Tomelloso do zarządzania i udostępniania dokumentacji wewnętrznej. Chociaż jej pełny potencjał nie jest jeszcze w pełni wykorzystywany, podjęto inicjatywy mające na celu dzielenie się wiedzą, takie jak przechowywanie szkoleń dostępnych dla wszystkich pracowników, co stanowi podwaliny dynamicznego archiwum cyfrowego.

Systemy sztucznej inteligencji służą również do wykrywania wzorców w dokumentacji , które mogą sugerować nieprawidłowości, nieefektywność lub konieczność przeglądu polityki publicznej, co pomaga w lepszym kierowaniu strategicznymi decyzjami administracji.

Ponadto sektor publiczny stoi przed wyzwaniem pogodzenia tych innowacji z wymogami prawnymi dotyczącymi ochrony danych, przejrzystości i długoterminowego przechowywania , co sprawia, że ​​rola archiwistów i ekspertów prawnych jest kluczowa w projektowaniu i wdrażaniu tych rozwiązań.

Projekt Carabela: sztuczna inteligencja dla historycznych archiwów rękopisowych

W dziedzinie dziedzictwa historycznego sztuczna inteligencja otwiera możliwości, które jeszcze kilka lat temu wydawały się science fiction. Dobrym przykładem jest projekt Carabela , który koncentruje się na probabilistycznym indeksowaniu zbiorów rękopisów związanych z podwodnym dziedzictwem historycznym.

Projekt ten, promowany przez Andaluzyjski Instytut Dziedzictwa Historycznego za pośrednictwem jego Centrum Archeologii Podwodnej i kierowany przez Centrum Badań nad Rozpoznawaniem Wzorców i Technologii Języka Ludzkiego (PRHLT) Politechniki w Walencji, wykorzystuje zaawansowane techniki rozpoznawania wzorców i języka w celu lokalizowania i badania zdigitalizowanej dokumentacji rękopisu.

Dzięki sztucznej inteligencji możliwe jest identyfikowanie wzmianek, szlaków, statków lub wydarzeń związanych z dziedzictwem podwodnym bez konieczności ręcznego czytania tysięcy stron, co zwiększa możliwości zespołów badawczych w zakresie odkrywania istotnych informacji.

Projekt Carabela zaprezentowano na specjalnych warsztatach skierowanych do badaczy i profesjonalistów z branży archiwistycznej , skupiając się na tym, w jaki sposób techniki te można zastosować w innych kolekcjach historycznych rękopisów i jak mogą one służyć jako model dla nowych projektów w dziedzinie nauk humanistycznych w formie cyfrowej.

Wdrażanie inicjatyw takich jak Carabela pokazuje, że sztuczna inteligencja nie tylko usprawnia procedury administracyjne, ale także wspiera badania historyczne i ochronę dziedzictwa , otwierając nowe pytania i kierunki badań.

Szkolenia, kursy i uznanie akademickie

Włączenie sztucznej inteligencji do archiwistyki przyczynia się również do powstawania coraz większej liczby kursów, konferencji i publikacji naukowych , które analizują jej wpływ, umożliwiają wymianę doświadczeń i eksplorację zaawansowanych zastosowań w różnych kontekstach.

Organizowane są szkolenia obejmujące moduły dotyczące celów, prelegentów, profilu studenta, uznawania punktów uniwersyteckich, procedur oceny i możliwości zakwaterowania , co wskazuje, że nie są to jednorazowe warsztaty, lecz programy o pewnej treści akademickiej.

Jednocześnie specjalistyczne czasopisma poświęcone bibliotekoznawstwu, dokumentacji i archiwistyce publikują artykuły, w których systematycznie omawiane są najnowsze publikacje naukowe na temat sztucznej inteligencji i archiwów, ze szczególnym uwzględnieniem zarówno najbardziej popularnych zastosowań, jak i luk w wiedzy, które wciąż wymagają uzupełnienia.

Połączenie praktycznego szkolenia z produkcją naukową pomaga archiwistom, dokumentalistom i pracownikom IT posługiwać się wspólnym językiem , co jest niezbędne do opracowywania realistycznych i dobrze ukierunkowanych projektów w każdej instytucji.

Ponadto promowane są kursy online skupiające się na zwiększaniu produktywności dzięki wykorzystaniu sztucznej inteligencji w administracji , które w praktyczny sposób wyjaśniają, w jaki sposób można zintegrować te narzędzia z codziennym funkcjonowaniem biur, działów i archiwów.

Zarządzanie dokumentami w chmurze i jego wpływ na archiwa

Rozwój sztucznej inteligencji w archiwizacji jest ściśle powiązany z rozwojem zarządzania dokumentami w chmurze . Wiele usług opartych na uczeniu głębokim wymaga znacznej mocy obliczeniowej, zwłaszcza w zakresie procesorów graficznych (GPU), co jest trudne i kosztowne w utrzymaniu w tradycyjnych infrastrukturach lokalnych.

W modelu oprogramowania jako usługi (SaaS) aplikacje do zarządzania dokumentacją oraz silniki sztucznej inteligencji znajdują się na serwerach zewnętrznych , co pozwala organizacjom skalować zasoby na żądanie, płacić wyłącznie za użytkowanie i nie martwić się o fizyczną konserwację sprzętu.

Prawdą jest, że przechowywanie dokumentów na zewnętrznych serwerach, zlokalizowanych niekiedy poza granicami kraju, budzi pewne wątpliwości, jednak korzyści w zakresie skalowalności, bezpieczeństwa, tworzenia kopii zapasowych i zdalnego dostępu są oczywiste, pod warunkiem, że wybierzemy dostawców spełniających rygorystyczne europejskie przepisy dotyczące ochrony danych.

Dla działów IT takie podejście oparte na chmurze oznacza mniejsze obciążenie administracyjne systemem , ponieważ nie ma potrzeby instalowania ani aktualizowania oprogramowania na każdej stacji roboczej, ani dostosowywania rozmiaru sprzętu do szczytowych obciążeń, które zdarzają się tylko sporadycznie.

Dla archiwów chmura otwiera możliwość udostępniania szerokiej gamy zdigitalizowanej dokumentacji społeczeństwu , uzupełnioną o inteligentne wyszukiwarki, bez konieczności ograniczania wewnętrznej infrastruktury jako wąskiego gardła.

Cały ten ekosystem obserwatoriów, projektów badawczych, rozwiązań komercyjnych i platform chmurowych kształtuje scenariusz, w którym sztuczna inteligencja staje się codziennym narzędziem archiwistów i zarządców dokumentacji , a nie odosobnionym eksperymentem. Wraz z coraz głębszym poznaniem jej możliwości i ograniczeń, mnożą się przypadki użycia, które zwiększają produktywność, rozszerzają dostęp do informacji i wzmacniają ochronę dziedzictwa dokumentacyjnego dla przyszłych pokoleń. Co więcej, wyszukiwarki i techniki przeszukiwania archiwów same w sobie pomagają maksymalizować wartość repozytoriów cyfrowych.