Umjetna inteligencija u arhivima i upravljanju dokumentima

Informatec Digital » Resursi » Umjetna inteligencija u arhivima i upravljanju dokumentima

Vještačka inteligencija primijenjena na upravljanje datotekama i dokumentima u oblaku fundamentalno mijenja način na koji radimo s datotekama, historijskim zapisima, administrativnom dokumentacijom i svim vrstama zapisa. Stotine ili hiljade dokumenata se kreiraju svakodnevno u kompanijama, univerzitetima i javnim upravama, a bez dobrog sistema, oni lako mogu postati haotičan nered koji je nemoguće koristiti.

Zanimljivo je da, zahvaljujući umjetnoj inteligenciji, ovi dokumenti prestaju biti samo pohranjene datoteke i postaju aktivni izvori informacija za donošenje odluka . Tehnologije poput optičkog prepoznavanja znakova, obrade prirodnog jezika i strojnog učenja omogućuju bolje lociranje sadržaja, automatizaciju zamornih zadataka i pristup datotekama za mnogo širu publiku.

Arhivska nauka u doba vještačke inteligencije

Arhivistika, shvaćena kao disciplina koja se bavi upravljanjem cjelokupnim životnim ciklusom dokumenata (stvaranje, organizacija, dugoročno očuvanje i pristup), progresivno je uključila računarstvo i sada doživljava kvalitativni skok s umjetnom inteligencijom. Ne radi se samo o digitalizaciji, već o istinskom iskorištavanju sadržaja dokumenata.

Posljednjih godina objavljene su sistematske studije koje preispituju utjecaj umjetne inteligencije na arhive , analizirajući akademsku literaturu u bazama podataka kao što su Scopus, SciELO, LISA i Google Scholar koristeći metodologije poput PICOC i PRISMA. Ove studije otkrivaju da, iako još uvijek postoji određeni nedostatak svijesti među mnogim stručnjacima, praktične primjene su već vrlo opipljive.

Među najjasnijim doprinosima vještačke inteligencije arhivskoj nauci su potpomognuto digitalno očuvanje, automatsko generiranje metapodataka i prepoznavanje rukom pisanog teksta (HTR) . Ovo je dopunjeno mašinskim učenjem i aplikacijama za obradu prirodnog jezika koje poboljšavaju pretraživanje i pronalaženje informacija, podstičući demokratskiji pristup arhivskim zbirkama.

Iako umjetna inteligencija brzo napreduje, ne iskorištavaju sve institucije u potpunosti njen potencijal . Mnogi arhivi i dalje koriste visoko ručne procedure, bilo zbog nedostatka resursa, nedostatka svijesti o dostupnim alatima ili nevoljkosti da promijene svoje procese i usklade se sa standardima ISO 27000.

Opservatorija umjetne inteligencije u arhivu

U španskom okruženju, ističe se Opservatorij vještačke inteligencije u arhivima , radna grupa sastavljena od stručnjaka iz različitih autonomnih zajednica i organizacija koja pomno prati kako se vještačka inteligencija primjenjuje u ovoj oblasti i promoviše dobre prakse.

Opservatorij se sastoji od stručnjaka iz regije Murcia, Univerziteta Santiago de Compostela, Valencijske zajednice, Balearskih ostrva, Gradskog vijeća Sant Cugat del Vallès, Zajednice Madrida, Regije Navarra, Katalonije, Baskije, Kastilje i Leóna, Generalne direkcije državnih arhiva i drugih subjekata . Ova teritorijalna i organizacijska raznolikost omogućava vrlo široku perspektivu potreba i projekata.

Grupu koordinira Désirée Domínguez Pallas, direktorica Arhiva Univerziteta u Santiago de Composteli , koja promovira razmjenu iskustava i razmišljanje o tehničkim, etičkim i organizacijskim izazovima povezanim s korištenjem inteligentnih sistema u upravljanju arhivima.

Ove vrste inicijativa podstiču usvajanje vještačke inteligencije ne na izolovan i neorganizovan način, već na razmjenu tehničkih kriterija, primjera iz stvarnog svijeta i zajedničkih linija rada , što je od fundamentalnog značaja za koherentan napredak javnih arhiva.

Ključni koncepti umjetne inteligencije u upravljanju dokumentima

Kada govorimo o vještačkoj inteligenciji primijenjenoj na dokumente i datoteke, u igru ​​stupa nekoliko tehnologija koje nam, zajedno, omogućavaju čitanje, razumijevanje, klasifikaciju i korištenje informacija sadržanih u dokumentima . Glavne su OCR, obrada prirodnog jezika i mašinsko učenje, kao i pretraživači poput Elasticsearcha.

Optičko prepoznavanje znakova (OCR) pretvara slike dokumenata (skenirane dokumente, fotografije, PDF-ove generirane slikama) u digitalni tekst koji se može uređivati ​​i obrađivati. Trenutni OCR programi mogu raditi sa složenim fontovima, pa čak i određenim rukom pisanim tekstovima, otvarajući vrata obradi velikih historijskih zbirki.

Obrada prirodnog jezika (NLP) omogućava mašinama da analiziraju i razumiju ljudski jezik. Pomoću ovih tehnika moguće je poboljšati pretrage, izdvojiti entitete (ljude, mjesta, datume), sažeti dokumente, prevesti tekstove i generirati automatske opise, između mnogih drugih funkcija.

Mašinsko učenje, s druge strane, zasniva se na modelima koji uče iz primjera. U arhivskoj oblasti, ono omogućava obuku sistema koji razlikuju tipove dokumenata, otkrivaju obrasce u podacima ili predviđaju kojoj seriji dokument pripada na osnovu njegovog sadržaja, učeći iz kolekcija koje su već klasifikovali profesionalci i koje su pohranjene u različitim tipovima baza podataka.

Mnoga rješenja također uključuju kompjuterski vid , koji analizira slike izvan samog teksta. Ovo je posebno korisno za upravljanje historijskim fotografijama, planovima, tehničkim crtežima ili starim dokumentima skeniranim s niskim kvalitetom, gdje je potrebno identificirati područja interesa prije primjene drugih tehnika.

Kako funkcioniše sistem za upravljanje dokumentima zasnovan na vještačkoj inteligenciji

U svakodnevnom poslovanju, moderni sistem upravljanja dokumentima sa vještačkom inteligencijom obično počinje fazom digitalizacije i snimanja . Iako se veliki dio današnje produkcije dokumenata rađa u digitalnom obliku, još uvijek postoji značajna količina papira i skeniranog materijala koji treba obraditi naprednim OCR-om.

Ispisani dokumenti ili PDF slike se šalju OCR alatima koji prepoznaju tekst i pretvaraju ga u indeksirani sadržaj . Mnogi moderni kopirni aparati već imaju ugrađenu ovu vrstu mehanizma, a postoje i specifična rješenja za skeniranje velikih količina.

Nakon što se sadržaj transformiše u tekst, na scenu stupaju NLP i modeli mašinskog učenja . Oni analiziraju dokument, identifikuju njegovu temu, izdvajaju ključne podatke (npr. imena, brojeve datoteka, datume, iznose) i klasifikuju ga unutar klasifikacijske sheme organizacije ili sistema upravljanja dokumentima.

S tim informacijama, sistem može automatski dodijeliti metapodatke, predložiti serije dokumenata, povezati dokumente jedne s drugima i omogućiti mnogo bogatije pretrage , kombinirajući slobodne pojmove, filtrirajući po datumima, vrstama, temama ili mjestima.

Velika dodatna vrijednost je što ovi sistemi uče kroz upotrebu : kako arhivsko osoblje ispravlja, potvrđuje ili prilagođava prijedloge klasifikacije, modeli poboljšavaju svoju tačnost i nude rezultate koji su prilagođeniji kontekstu svakog arhiva ili institucije.

Praktična primjena umjetne inteligencije u upravljanju datotekama

U praksi, umjetna inteligencija može intervenirati u gotovo svakoj fazi upravljanja dokumentima, pomažući u smanjenju ponavljajućeg rada, minimiziranju grešaka i iskorištavanju dokumenata kao strateškog izvora informacija . Neke upotrebe su posebno značajne u javnom i privatnom sektoru.

Jedna od najrasprostranjenijih je automatska klasifikacija dokumenata prema sadržaju, vrsti ili formatu. Umjesto ručnog označavanja svakog dokumenta, sistem predlaže ili dodjeljuje kategorije, serije ili datoteke, što znatno ubrzava proces i olakšava usklađenost s propisima.

Vještačka inteligencija se također koristi za izdvajanje relevantnih informacija , kao što su imena ljudi, adrese, datumi, regulatorne reference ili brojevi predmeta. Ove informacije se zatim pohranjuju u baze podataka ili kontrolne ploče kako bi se olakšale daljnje konsultacije i analize.

Još jedna jasna primjena je automatsko generiranje sažetaka i izvještaja iz velikih skupova dokumenata. Alati zasnovani na jezicima, kao što su neki konverzacijski asistenti ili usluge tipa ChatPDF, mogu gotovo trenutno sintetizirati ključne tačke datoteke, ugovora ili skupa izvještaja.

Napredno pretraživanje dokumenata je još jedno područje gdje je kvalitativni skok jasno vidljiv. Interne tražilice pokretane umjetnom inteligencijom omogućavaju korisnicima da pronađu informacije čak i ako se ne sjećaju tačnog naslova dokumenta ili koriste riječi koje se razlikuju od onih u originalnom tekstu, zahvaljujući semantičkim pretragama koje su mnogo bliže prirodnom jeziku.

U reguliranim sektorima, mnoge organizacije koriste umjetnu inteligenciju kako bi ojačale usklađenost s propisima i otkrile osjetljive informacije . Sistemi mogu identificirati lične podatke, povjerljive informacije, periode čuvanja ili licence kojima se bliži istek, pomažući u sprječavanju neusklađenosti i boljem upravljanju rizikom.

Paralelno s tim, pojavljuje se ideja o potpomognutoj inteligentnoj arhivi , gdje sistem ne samo da pohranjuje i organizira, već i pomaže u pripremi dokumenata, prezentacija ili odgovora, automatski pronalazeći najrelevantnije informacije za svaki slučaj upotrebe.

AI modeli i platforme za dokumente

Ekosistem alata koji se koriste u upravljanju dokumentima kreće se od visoko specijaliziranih alata do najsavremenijih jezičkih modela . Svaki od njih pokriva dio procesa, a zajedno formiraju vrlo moćna rješenja.

U oblasti OCR-a, jedan od najpoznatijih programa je Tesseract , široko prihvaćeni projekat otvorenog koda za pretvaranje slika u tekst. Mnoga komercijalna rješenja ga integrišu ili se oslanjaju na slične tehnologije prilagođene rukopisima i istorijskim dokumentima.

Za obradu prirodnog jezika, modeli poput BERT-a i raznih GPT porodica promijenili su pravila igre, omogućavajući kontekstualno razumijevanje teksta koje je mnogo bliže načinu na koji ljudi čitaju. Ovi modeli se koriste za klasifikaciju dokumenata, generiranje sažetaka, izdvajanje entiteta i odgovaranje na upite o sadržaju.

Nadalje, mnoge organizacije se odlučuju za obuku prilagođenih modela mašinskog učenja koristeći vlastitu dokumentaciju. To im omogućava da se prilagode svojoj terminologiji, organizacijskoj strukturi i internim propisima, postižući nivo tačnosti u klasifikaciji ili detekciji obrazaca koji ne bi bio moguć sa generičkim modelima.

Ova tehnološka osnova se koristi za izgradnju integriranih rješenja koja uključuju sisteme za upravljanje dokumentima, tokove rada, reviziju, elektronske potpise i alate za saradnju , a sve je povezano s analitičkim mogućnostima i mogućnostima vještačke inteligencije.

Rješenja za upravljanje dokumentima koja uključuju umjetnu inteligenciju

Raspon opcija kreće se od tehnoloških giganata do projekata softvera otvorenog koda, a prijedlozi imaju za cilj poboljšanje načina na koji organizacije upravljaju svojim datotekama.

Kompanije poput Googlea i IBM-a , sa platformama kao što su Google Cloud i Watson, nude usluge klasifikacije, analize i ekstrakcije podataka koje se mogu integrirati u postojeće sisteme za upravljanje dokumentima. Nadalje, kompanije fokusirane na automatizaciju procesa, kao što su UiPath i Automation Anywhere, kreirale su softverske robote sposobne za upravljanje cijelim radnim procesima dokumenata.

Među rješenjima posebno usmjerenim na upravljanje dokumentima , OpenKM se ističe kao upravitelj dokumenata otvorenog koda koji uključuje inteligentnu klasifikaciju, ekstrakciju metapodataka i semantičku pretragu pokretanu umjetnom inteligencijom. Njegova priroda otvorenog koda omogućava visok stepen prilagođavanja i prilagođavanja potrebama svake organizacije.

Još jedan relevantan alat je R2 Docuo , usmjeren i na upravljanje dokumentima i na radne procese. Ova platforma obećava značajno smanjenje napora potrebnog za kreiranje, kontrolu, cirkulaciju i potpisivanje dokumenata, automatizirajući sve, od generiranja predložaka do odobrenja i konačnog arhiviranja.

U oblasti softvera otvorenog koda za preduzeća, Alfresco se etablirao kao vodeća opcija za upravljanje sadržajem i datotekama. Omogućava prilagođavanje procesa, dodavanje modula i integraciju sa eksternim AI servisima, što ga čini fleksibilnom osnovom za izgradnju ambicioznih projekata u velikim institucijama.

Google Document AI i inteligentna obrada dokumenata

Jedan od najjasnijih primjera specijalizirane platforme je Google Document AI , usluga zasnovana na oblaku dizajnirana za automatizaciju klasifikacije, ekstrakcije i analize dokumenata u velikim razmjerima. Namijenjena je i privatnim kompanijama i javnim organizacijama koje obrađuju velike količine obrazaca, faktura, datoteka ili ugovora.

Umjetna inteligencija za dokumente kombinuje mašinsko učenje, NLP i računarski vid kako bi identifikovala relevantna polja unutar svakog dokumenta, bez obzira da li potiče iz skeniranja, PDF-a ili snimka ekrana. Može naučiti uobičajene formate dokumenata u datoj industriji i ponovo upotrijebiti to znanje za nove aplikacije.

Budući da je dostupna kao usluga u oblaku, ova vrsta rješenja je posebno zanimljiva za organizacije kojima je potrebno brzo skaliranje kapaciteta obrade podataka bez potrebe za ulaganjem u vlastiti hardver ili održavanjem složene infrastrukture.

Rezultat je da se mnogi zadaci koji su ranije zahtijevali sate ručnog pregleda mogu riješiti za nekoliko minuta, pri čemu je ljudski tim posvećen validaciji i odlukama s većom dodanom vrijednošću umjesto unosu podataka.

Primjena umjetne inteligencije u javnoj upravi

Javne uprave pronalaze saveznika u vještačkoj inteligenciji za efikasnije i transparentnije upravljanje dokumentacijom . Od gradskih vijeća do ministarstava, sve veći broj projekata uključuje automatsku klasifikaciju, analizu datoteka i napredne sisteme pretraživanja.

Mnoge lokalne i regionalne uprave primjenjuju sisteme za upravljanje dokumentima zasnovane na vještačkoj inteligenciji kako bi organizirale elektronske datoteke, ubrzale procedure digitalnim potpisivanjem dokumenata i poboljšale pristup građana javnim informacijama . To smanjuje vrijeme odziva i olakšava internu kontrolu procesa.

Konkretan primjer je korištenje Alfresca u Gradskom vijeću Tomellosa za upravljanje i dijeljenje interne dokumentacije. Iako se njegov puni potencijal još ne koristi, pokrenute su inicijative za dijeljenje znanja, kao što je pohranjivanje kurseva obuke dostupnih svim zaposlenicima, čime se postavljaju temelji za dinamičnu digitalnu arhivu.

Sistemi umjetne inteligencije se također koriste za otkrivanje obrazaca u dokumentaciji koji mogu ukazivati ​​na nepravilnosti, neefikasnosti ili potrebu za pregledom javnih politika, pomažući u boljem usmjeravanju strateških odluka administracija.

Nadalje, javni sektor se suočava s izazovom usklađivanja ovih inovacija sa zakonskim zahtjevima za zaštitu podataka, transparentnost i dugoročno očuvanje , što ulogu arhivista i pravnih stručnjaka čini ključnom u dizajniranju i implementaciji ovih rješenja.

Carabela Project: Vještačka inteligencija za historijske rukom pisane arhive

U oblasti historijskog naslijeđa, vještačka inteligencija otvara mogućnosti koje su prije samo nekoliko godina izgledale kao naučna fantastika. Dobar primjer je projekat Carabela , koji se fokusira na vjerovatnosno indeksiranje rukopisnih zbirki vezanih za podvodno historijsko naslijeđe.

Ovaj projekat, koji promovira Andaluzijski institut za historijsko naslijeđe putem svog Centra za podvodnu arheologiju , a vodi ga Istraživački centar za prepoznavanje obrazaca i tehnologiju ljudskog jezika (PRHLT) Politehničkog univerziteta u Valenciji, primjenjuje napredne tehnike prepoznavanja obrazaca i jezika kako bi se locirala i istražila digitalizirana rukom pisana dokumentacija.

Zahvaljujući vještačkoj inteligenciji, moguće je identificirati spominjanja, rute, plovila ili događaje vezane za podvodnu baštinu bez potrebe za ručnim čitanjem hiljada stranica, što umnožava sposobnost istraživačkih timova da otkriju relevantne informacije.

Projekt Carabela predstavljen je na posebnim radionicama namijenjenim istraživačima i arhivskim stručnjacima , s fokusom na to kako se ove tehnike mogu proširiti na druge zbirke historijskih rukopisa i poslužiti kao model za nove projekte u digitalnim humanističkim naukama.

Implementacija inicijativa poput Carabele pokazuje da umjetna inteligencija ne služi samo za pojednostavljenje administrativnih postupaka, već i promoviše historijska istraživanja i očuvanje baštine , otvarajući nova pitanja i pravce istraživanja.

Obuka, kursevi i akademsko priznavanje

Uključivanje umjetne inteligencije u arhivistiku također generira sve veću ponudu kurseva, konferencija i akademskih publikacija koje analiziraju njen utjecaj, dijele iskustva i istražuju napredne upotrebe u različitim kontekstima.

Organizirane su aktivnosti obuke koje uključuju module o ciljevima, govornicima, profilu studenata, priznavanju univerzitetskih kredita, postupcima evaluacije i mogućnostima smještaja , što ukazuje na to da se ne radi o jednokratnim radionicama, već o programima s određenim akademskim sadržajem.

Paralelno s tim, specijalizirani časopisi iz bibliotekarstva, dokumentacije i arhivistike objavljuju članke koji sistematski pregledavaju nedavnu naučnu literaturu o umjetnoj inteligenciji i arhivima, ističući i najpoznatije primjene i praznine u znanju koje još treba popuniti.

Ova kombinacija praktične obuke i naučne produkcije pomaže arhivistima, dokumentaristima i IT osoblju da govore zajedničkim jezikom , što je ključno za dizajniranje realističnih i dobro fokusiranih projekata u svakoj instituciji.

Osim toga, promoviraju se online kursevi usmjereni na poboljšanje produktivnosti pomoću umjetne inteligencije u administrativnoj oblasti , koji na primijenjen način objašnjavaju kako se ovi alati mogu integrirati u svakodnevno poslovanje ureda, odjela i arhiva.

Upravljanje dokumentima u oblaku i njegov utjecaj na arhive

Širenje umjetne inteligencije u arhiviranju usko je povezano s rastom upravljanja dokumentima u oblaku . Mnoge usluge zasnovane na dubokom učenju zahtijevaju značajnu računarsku snagu, posebno u smislu grafičkih procesora (GPU), što je teško i skupo održavati u tradicionalnim lokalnim infrastrukturama.

S modelom softvera kao usluge (SaaS), aplikacije za upravljanje dokumentima i AI mehanizmi nalaze se na eksternim serverima , što organizacijama omogućava skaliranje resursa po zahtjevu, plaćanje samo za korištenje i ne brigu o fizičkom održavanju opreme.

Istina je da postoje rezerve prema pohranjivanju dokumenata na eksternim serverima, ponekad smještenim izvan zemlje, ali prednosti u smislu skalabilnosti, sigurnosti, sigurnosnih kopija i udaljenog pristupa su jasne, pod uvjetom da se odaberu provajderi koji se pridržavaju zahtjevnih evropskih propisa o zaštiti podataka.

Za IT odjele, ovaj cloud pristup znači manje opterećenje sistemske administracije , jer nije potrebno instalirati ili ažurirati softver na svakoj radnoj stanici, niti dimenzionirati hardver za vršne količine korištenja koje se javljaju samo povremeno.

Za arhive, oblak otvara mogućnost da velike količine digitalizirane dokumentacije budu dostupne javnosti , uz dodatak inteligentnih pretraživača, bez da interna infrastruktura postane usko grlo.

Cijeli ovaj ekosistem opservatorija, istraživačkih projekata, komercijalnih rješenja i cloud platformi oblikuje scenarij u kojem umjetna inteligencija postaje svakodnevni alat za arhiviste i upravitelje zapisa , a ne izolirani eksperiment. Kako se profesionalci sve više upoznaju s njenim mogućnostima i ograničenjima, množe se slučajevi upotrebe koji poboljšavaju produktivnost, proširuju pristup informacijama i jačaju očuvanje dokumentarne baštine za buduće generacije. Nadalje, pretraživači i tehnike za pretraživanje samih arhiva pomažu u maksimiziranju vrijednosti digitalnih repozitorija.