Umetna inteligenca v arhivih in upravljanju dokumentov

Informatec Digital » Viri » Umetna inteligenca v arhivih in upravljanju dokumentov

Umetna inteligenca, uporabljena v upravljanju datotek in dokumentov v oblaku , temeljito spreminja način dela z datotekami, zgodovinskimi zapisi, administrativno dokumentacijo in vsemi vrstami zapisov. V podjetjih, univerzah in javnih upravah se vsak dan ustvari na stotine ali tisoče dokumentov, ki brez dobrega sistema zlahka postanejo kaotična zmešnjava, ki je nemogoče uporabljati.

Zanimivo je, da zaradi umetne inteligence ti dokumenti niso več zgolj shranjene datoteke in postanejo aktivni viri informacij za odločanje . Tehnologije, kot so optično prepoznavanje znakov, obdelava naravnega jezika in strojno učenje, omogočajo boljše lociranje vsebine, avtomatizacijo dolgočasnih opravil in dostop do datotek za veliko širše občinstvo.

Arhivska znanost v dobi umetne inteligence

Arhivistika, ki se ukvarja s celotnim upravljanjem življenjskega cikla dokumentov (ustvarjanje, organizacija, dolgoročno hramba in dostop), je postopoma vključevala računalništvo in zdaj z umetno inteligenco doživlja kvalitativni preskok. Ne gre le za digitalizacijo, temveč za resnično izkoriščanje vsebine dokumentov.

V zadnjih letih so bile objavljene sistematične študije, ki pregledujejo vpliv umetne inteligence na arhive , pri čemer analizirajo akademsko literaturo v podatkovnih bazah, kot so Scopus, SciELO, LISA in Google Scholar, z uporabo metodologij, kot sta PICOC in PRISMA. Te študije kažejo, da so praktične aplikacije že zelo oprijemljive, čeprav med številnimi strokovnjaki še vedno obstaja nekaj pomanjkanja ozaveščenosti.

Med najjasnejšimi prispevki umetne inteligence k arhivski znanosti so podprto digitalno ohranjanje, samodejno ustvarjanje metapodatkov in prepoznavanje rokopisnega besedila (HTR) . Te dopolnjujejo strojno učenje in aplikacije za obdelavo naravnega jezika, ki izboljšujejo iskanje in pridobivanje informacij ter spodbujajo bolj demokratičen dostop do arhivskih zbirk.

Čeprav umetna inteligenca hitro napreduje, vse institucije še ne izkoriščajo njenega potenciala v celoti . Mnogi arhivi še vedno uporabljajo zelo ročne postopke, bodisi zaradi pomanjkanja virov, pomanjkanja ozaveščenosti o razpoložljivih orodjih bodisi zaradi nepripravljenosti za spremembo svojih procesov in skladnost s standardi ISO 27000.

Observatorij umetne inteligence v arhivu

V španski krajini izstopa Observatorij umetne inteligence v arhivih , delovna skupina, sestavljena iz strokovnjakov iz različnih avtonomnih skupnosti in organizacij, ki pozorno spremljajo uporabo umetne inteligence na tem področju in spodbujajo dobre prakse.

Observatorij sestavljajo strokovnjaki iz regije Murcia, Univerze v Santiagu de Composteli, Valencijske skupnosti, Balearskih otokov, mestnega sveta Sant Cugat del Vallès, skupnosti Madrid, Regije Navarra, Katalonije, Baskije, Kastilje in Leóna, Generalnega direktorata državnih arhivov in drugih subjektov . Ta teritorialna in organizacijska raznolikost omogoča zelo širok pogled na potrebe in projekte.

Skupino koordinira Désirée Domínguez Pallas, direktorica arhiva Univerze v Santiagu de Composteli , ki spodbuja izmenjavo izkušenj in razmislek o tehničnih, etičnih in organizacijskih izzivih, povezanih z uporabo inteligentnih sistemov pri upravljanju arhivov.

Tovrstne pobude spodbujajo sprejemanje umetne inteligence ne na izoliran in neorganiziran način, temveč izmenjavo tehničnih meril, primerov iz resničnega sveta in skupnih delovnih področij , kar je bistveno za skladen napredek javnih arhivov.

Ključni koncepti umetne inteligence pri upravljanju dokumentov

Ko govorimo o umetni inteligenci, ki se uporablja za dokumente in datoteke, pride v poštev več tehnologij, ki nam skupaj omogočajo branje, razumevanje, razvrščanje in uporabo informacij, ki jih vsebujejo dokumenti . Glavne so OCR, obdelava naravnega jezika in strojno učenje, pa tudi iskalniki, kot je Elasticsearch.

Optično prepoznavanje znakov (OCR) pretvarja slike dokumentov (skenirane slike, fotografije, PDF-je, ustvarjene s slikami) v digitalno besedilo, ki ga je mogoče urejati in obdelati. Trenutni programi OCR lahko delajo s kompleksnimi pisavami in celo z nekaterimi ročno napisanimi besedili, kar odpira vrata obdelavi velikih zgodovinskih zbirk.

Obdelava naravnega jezika (NLP) omogoča strojem analizo in razumevanje človeškega jezika. S temi tehnikami je mogoče izboljšati iskanja, izluščiti entitete (ljudi, kraje, datume), povzeti dokumente, prevesti besedila in ustvariti samodejne opise, med številnimi drugimi funkcijami.

Strojno učenje pa temelji na modelih, ki se učijo iz primerov. Na področju arhiviranja omogoča učenje sistemov, ki razlikujejo vrste dokumentov, zaznavajo vzorce v podatkih ali napovedujejo, kateri seriji dokument pripada na podlagi njegove vsebine, pri čemer se učijo iz zbirk, ki so jih strokovnjaki že razvrstili in so shranjene v različnih vrstah podatkovnih baz.

Številne rešitve vključujejo tudi računalniški vid , ki analizira slike in ne le besedilo. To je še posebej uporabno za upravljanje zgodovinskih fotografij, načrtov, tehničnih risb ali starih dokumentov, skeniranih z nizko kakovostjo, kjer je treba pred uporabo drugih tehnik prepoznati področja zanimanja.

Kako deluje sistem za upravljanje dokumentov, ki ga poganja umetna inteligenca

V vsakodnevnem poslovanju se sodoben sistem za upravljanje dokumentov z umetno inteligenco običajno začne s fazo digitalizacije in zajemanja . Čeprav je velik del današnje produkcije dokumentov nastajal digitalno, je še vedno veliko papirja in skeniranega gradiva, ki ga je treba obdelati z naprednim optičnim prepoznavanjem znakov (OCR).

Natisnjeni dokumenti ali slike PDF se pošljejo orodjem za optično prepoznavanje znakov (OCR), ki prepoznajo besedilo in ga pretvorijo v indeksirano vsebino . Številni sodobni kopirni stroji že imajo vgrajen tovrstni mehanizem, obstajajo pa tudi posebne rešitve za skeniranje velikih količin dokumentov.

Ko je vsebina pretvorjena v besedilo, pridejo v poštev modeli NLP in strojnega učenja . Ti analizirajo dokument, prepoznajo njegovo zadevo, izluščijo ključne podatke (npr. imena, številke datotek, datume, zneske) in ga razvrstijo v klasifikacijski sistem organizacije ali sistem za upravljanje dokumentov.

S temi informacijami lahko sistem samodejno dodeli metapodatke, predlaga serije dokumentov, poveže dokumente med seboj in omogoči veliko bogatejše iskanje , kombinira proste izraze, filtrira po datumih, vrstah, temah ali krajih.

Velika dodana vrednost teh sistemov je, da se učijo z uporabo : ko arhivsko osebje popravlja, potrjuje ali prilagaja predloge za klasifikacijo, modeli izboljšajo svojo natančnost in ponujajo rezultate, ki so bolj prilagojeni kontekstu posameznega arhiva ali institucije.

Praktična uporaba umetne inteligence pri upravljanju datotek

V praksi lahko umetna inteligenca poseže v skoraj vsako fazo upravljanja dokumentov, kar pomaga zmanjšati ponavljajoče se delo, zmanjšati število napak in izkoristiti dokumente kot strateški vir informacij . Nekatere uporabe so še posebej omembe vredne v javnem in zasebnem sektorju.

Ena najbolj razširjenih je samodejno razvrščanje dokumentov po vsebini, vrsti ali obliki. Namesto ročnega označevanja vsakega dokumenta sistem predlaga ali dodeli kategorije, serije ali datoteke, kar močno pospeši postopek in olajša skladnost s predpisi.

Umetna inteligenca se uporablja tudi za pridobivanje ustreznih informacij , kot so imena ljudi, naslovi, datumi, regulativne reference ali številke spisov. Te informacije se nato shranijo v podatkovne baze ali nadzorne plošče, da se olajša nadaljnje iskanje in analiza.

Druga jasna uporaba je samodejno ustvarjanje povzetkov in poročil iz velikih naborov dokumentov. Jezikovna orodja, kot so nekateri pogovorni pomočniki ali storitve tipa ChatPDF, lahko skoraj v trenutku sintetizirajo ključne točke datoteke, pogodbe ali nabora poročil.

Napredno iskanje dokumentov je še eno področje, kjer je kvalitativni preskok jasno očiten. Notranji iskalniki, ki jih poganja umetna inteligenca, uporabnikom omogočajo iskanje informacij, tudi če se ne spomnijo natančnega naslova dokumenta ali uporabljajo drugačne besede od tistih v izvirnem besedilu, zahvaljujoč semantičnim iskanjem, ki so veliko bližje naravnemu jeziku.

V reguliranih sektorjih številne organizacije uporabljajo umetno inteligenco za krepitev skladnosti s predpisi in odkrivanje občutljivih informacij . Sistemi lahko prepoznajo osebne podatke, zaupne informacije, obdobja hrambe ali licence, ki se bližajo izteku, kar pomaga preprečevati neskladnost in bolje obvladovati tveganja.

Vzporedno se pojavlja ideja o podprtem inteligentnem arhivu , kjer sistem ne le shranjuje in organizira, temveč tudi pomaga pri pripravi dokumentov, predstavitev ali odgovorov, pri čemer samodejno poišče najustreznejše informacije za vsak primer uporabe.

Modeli in platforme umetne inteligence za dokumente

Ekosistem orodij, ki se uporabljajo pri upravljanju dokumentov, sega od visoko specializiranih orodij do najsodobnejših jezikovnih modelov . Vsako od njih pokriva del procesa in skupaj tvorijo zelo zmogljive rešitve.

Na področju optičnega prepoznavanja znakov (OCR) je eden najbolj znanih programov Tesseract , široko sprejet odprtokodni projekt za pretvorbo slik v besedilo. Številne komercialne rešitve ga integrirajo ali pa se zanašajo na podobne tehnologije, prilagojene za rokopise in zgodovinske dokumente.

Za obdelavo naravnega jezika so modeli, kot sta BERT in različne družine GPT , spremenili pravila igre, saj omogočajo kontekstualno razumevanje besedila, ki je veliko bližje načinu, kako ga berejo ljudje. Ti modeli se uporabljajo za razvrščanje dokumentov, ustvarjanje povzetkov, ekstrakcijo entitet in odgovarjanje na poizvedbe o vsebini.

Poleg tega se številne organizacije odločijo za učenje modelov strojnega učenja po meri z uporabo lastne dokumentacije. To jim omogoča, da se prilagodijo svoji terminologiji, organizacijski strukturi in notranjim predpisom, s čimer dosežejo raven natančnosti pri klasifikaciji ali zaznavanju vzorcev, ki je z generičnimi modeli ne bi bilo mogoče doseči.

Ta tehnološka osnova se uporablja za gradnjo integriranih rešitev, ki vključujejo sisteme za upravljanje dokumentov, delovne tokove, revidiranje, elektronske podpise in orodja za sodelovanje , vse povezano z analitičnimi zmogljivostmi in zmogljivostmi umetne inteligence.

Rešitve za upravljanje dokumentov, ki vključujejo umetno inteligenco

Možnosti sega od tehnoloških velikanov do projektov odprtokodne programske opreme, predlogi pa so namenjeni izboljšanju načina, kako organizacije upravljajo svoje datoteke.

Podjetja, kot sta Google in IBM , s platformami, kot sta Google Cloud in Watson, ponujajo storitve klasifikacije, analize in ekstrakcije podatkov, ki jih je mogoče integrirati v obstoječe sisteme za upravljanje dokumentov. Poleg tega so podjetja, osredotočena na avtomatizacijo procesov, kot sta UiPath in Automation Anywhere, ustvarila programske robote, ki so sposobni upravljati celotne delovne tokove dokumentov.

Med rešitvami, posebej namenjenimi upravljanju dokumentov , izstopa OpenKM kot odprtokodni upravljalnik dokumentov, ki vključuje inteligentno klasifikacijo, ekstrakcijo metapodatkov in semantično iskanje s pomočjo umetne inteligence. Njegova odprtokodna narava omogoča visoko stopnjo prilagajanja potrebam vsake organizacije.

Drugo pomembno orodje je R2 Docuo , ki je namenjeno tako upravljanju dokumentov kot delovnim procesom. Ta platforma obljublja znatno zmanjšanje napora, potrebnega za ustvarjanje, nadzor, kroženje in podpisovanje dokumentov, saj avtomatizira vse od ustvarjanja predlog do odobritve in končnega arhiviranja.

Na področju odprtokodne programske opreme za podjetja se je Alfresco uveljavil kot vodilna možnost za upravljanje vsebin in datotek. Omogoča prilagajanje procesov, dodajanje modulov in integracijo z zunanjimi storitvami umetne inteligence, zaradi česar je prilagodljiva osnova za gradnjo ambicioznih projektov v velikih institucijah.

Google Document AI in inteligentna obdelava dokumentov

Eden najjasnejših primerov specializirane platforme je Google Document AI , storitev v oblaku, zasnovana za avtomatizacijo razvrščanja, ekstrakcije in analize dokumentov v velikem obsegu. Namenjena je tako zasebnim podjetjem kot javnim organizacijam, ki obravnavajo velike količine obrazcev, računov, datotek ali pogodb.

Umetna inteligenca za dokumente združuje strojno učenje, NLP in računalniški vid za prepoznavanje ustreznih polj v vsakem dokumentu, ne glede na to, ali prihaja iz skeniranja, PDF-ja ali posnetka zaslona. Nauči se lahko običajnih formatov dokumentov v določeni panogi in to znanje ponovno uporabi za nove aplikacije.

Ker je ta vrsta rešitve na voljo kot storitev v oblaku, je še posebej zanimiva za organizacije, ki morajo hitro povečati svojo procesno zmogljivost, ne da bi morale vlagati v lastno strojno opremo ali vzdrževati kompleksno infrastrukturo.

Posledica tega je, da je mogoče številne naloge, ki so prej zahtevale ure ročnega pregledovanja, rešiti v nekaj minutah, pri čemer se človeška ekipa namesto vnosa podatkov posveti potrjevanju in odločitvam z višjo dodano vrednostjo .

Uporaba umetne inteligence v javni upravi

Javne uprave iščejo zaveznika v umetni inteligenci za učinkovitejše in preglednejše upravljanje dokumentacije . Od mestnih svetov do ministrstev vse več projektov vključuje samodejno klasifikacijo, analizo datotek in napredne sisteme iskanja.

Številne lokalne in regionalne oblasti uvajajo sisteme za upravljanje dokumentov, ki jih poganja umetna inteligenca, za organizacijo elektronskih datotek, pospešitev postopkov z digitalnim podpisovanjem dokumentov in izboljšanje dostopa državljanov do javnih informacij . To skrajša odzivni čas in olajša notranji nadzor procesov.

Konkreten primer je uporaba sistema Alfresco v mestnem svetu Tomelloso za upravljanje in deljenje interne dokumentacije. Čeprav njegov polni potencial še ni izkoriščen, so bile uvedene pobude za deljenje znanja, kot je shranjevanje tečajev usposabljanja, dostopnih vsem zaposlenim, s čimer so postavljeni temelji za dinamičen digitalni arhiv.

Sistemi umetne inteligence se uporabljajo tudi za odkrivanje vzorcev v dokumentaciji , ki lahko kažejo na nepravilnosti, neučinkovitost ali potrebo po pregledu javne politike, kar pomaga pri boljšem usmerjanju strateških odločitev uprav.

Poleg tega se javni sektor sooča z izzivom usklajevanja teh inovacij z zakonskimi zahtevami glede varstva podatkov, preglednosti in dolgoročnega hrambe , zaradi česar je vloga arhivistov in pravnih strokovnjakov ključna pri oblikovanju in izvajanju teh rešitev.

Projekt Carabela: Umetna inteligenca za zgodovinske rokopisne arhive

Na področju zgodovinske dediščine umetna inteligenca odpira možnosti, ki so se še pred nekaj leti zdele kot znanstvena fantastika. Dober primer je projekt Carabela , ki se osredotoča na verjetnostno indeksiranje rokopisnih zbirk, povezanih s podvodno zgodovinsko dediščino.

Ta projekt, ki ga spodbuja Andaluzijski inštitut za zgodovinsko dediščino prek svojega Centra za podvodno arheologijo in ga vodi Raziskovalni center za prepoznavanje vzorcev in tehnologijo človeškega jezika (PRHLT) Politehnične univerze v Valencii, uporablja napredne tehnike prepoznavanja vzorcev in jezika za iskanje in raziskovanje digitalizirane ročno napisane dokumentacije.

Zahvaljujoč umetni inteligenci je mogoče prepoznati omembe, poti, plovila ali dogodke, povezane s podvodno dediščino, ne da bi bilo treba ročno prebrati na tisoče strani, kar pomnoži sposobnost raziskovalnih skupin, da odkrijejo ustrezne informacije.

Projekt Carabela je bil predstavljen na posebnih delavnicah, namenjenih raziskovalcem in arhivskim strokovnjakom , s poudarkom na tem, kako je mogoče te tehnike razširiti na druge zbirke zgodovinskih rokopisov in služiti kot model za nove projekte v digitalni humanistiki.

Izvajanje pobud, kot je Carabela, dokazuje, da umetna inteligenca ne služi le poenostavitvi upravnih postopkov, temveč tudi spodbuja zgodovinske raziskave in ohranjanje dediščine , kar odpira nova vprašanja in smeri študija.

Usposabljanje, tečaji in akademsko priznavanje

Vključevanje umetne inteligence v arhivistiko ustvarja tudi vse več tečajev, konferenc in akademskih publikacij , ki analizirajo njen vpliv, delijo izkušnje in raziskujejo napredne uporabe v različnih kontekstih.

Organizirane so izobraževalne dejavnosti, ki vključujejo module o ciljih, govorcih, profilu študenta, priznavanju univerzitetnih kreditnih točk, postopkih ocenjevanja in možnostih nastanitve , kar kaže, da ne gre za enkratne delavnice, temveč za programe z določeno akademsko vsebino.

Vzporedno s tem specializirane revije s področja knjižničarstva, dokumentarizma in arhivistike objavljajo članke, ki sistematično pregledujejo novejšo znanstveno literaturo o umetni inteligenci in arhivih, pri čemer poudarjajo tako najbolj uveljavljene aplikacije kot tudi vrzeli v znanju, ki jih je še treba zapolniti.

Ta kombinacija praktičnega usposabljanja in znanstvene produkcije pomaga arhivistom, dokumentalistom in IT-osebjem govoriti skupni jezik , kar je bistveno za oblikovanje realističnih in dobro osredotočenih projektov v vsaki ustanovi.

Poleg tega se spodbujajo spletni tečaji, osredotočeni na izboljšanje produktivnosti z umetno inteligenco na upravnem področju , ki na uporaben način pojasnjujejo, kako je mogoče ta orodja vključiti v vsakodnevno poslovanje pisarn, oddelkov in arhivov.

Upravljanje dokumentov v oblaku in njegov vpliv na arhive

Širitev umetne inteligence v arhiviranju je tesno povezana z rastjo upravljanja dokumentov v oblaku . Številne storitve, ki temeljijo na globokem učenju, zahtevajo veliko računalniško moč, zlasti kar zadeva grafične procesorje, ki jih je v tradicionalnih infrastrukturah na lokaciji težko in drago vzdrževati.

Z modelom programske opreme kot storitve (SaaS) se aplikacije za upravljanje dokumentov in mehanizmi umetne inteligence nahajajo na zunanjih strežnikih , kar organizacijam omogoča, da po potrebi prilagajajo vire, plačujejo le za uporabo in se jim ni treba ukvarjati s fizičnim vzdrževanjem opreme.

Res je, da obstajajo zadržki glede shranjevanja dokumentov na zunanjih strežnikih, ki se včasih nahajajo zunaj države, vendar so prednosti glede skalabilnosti, varnosti, varnostnih kopij in oddaljene dostopnosti očitne, če so izbrani ponudniki, ki upoštevajo zahtevne evropske predpise o varstvu podatkov.

Za IT oddelke ta pristop v oblaku pomeni manjše breme sistemske administracije , saj ni treba nameščati ali posodabljati programske opreme na vsaki delovni postaji niti dimenzionirati strojne opreme za občasne konice uporabe.

Za arhive oblak odpira možnost, da se velike količine digitalizirane dokumentacije dajo na voljo javnosti , dopolnjene z inteligentnimi iskalniki, ne da bi notranja infrastruktura postala ozko grlo.

Celoten ekosistem observatorijev, raziskovalnih projektov, komercialnih rešitev in platform v oblaku oblikuje scenarij, v katerem umetna inteligenca postaja vsakdanje orodje za arhiviste in upravljavce evidenc , ne pa osamljen eksperiment. Ko se strokovnjaki bolj seznanjajo z njenimi možnostmi in omejitvami, se množijo primeri uporabe, ki izboljšujejo produktivnost, širijo dostop do informacij in krepijo ohranjanje dokumentarne dediščine za prihodnje generacije. Poleg tega iskalniki in tehnike iskanja po arhivih sami pomagajo povečati vrednost digitalnih repozitorijev.