Kunstig intelligens i arkiv- og dokumenthåndtering

Informatec Digital » Ressurser » Kunstig intelligens i arkiver og dokumenthåndtering

Kunstig intelligens brukt i skybasert fil- og dokumenthåndtering endrer fundamentalt hvordan vi jobber med filer, historiske poster, administrativ dokumentasjon og alle typer poster. Hundrevis eller tusenvis av dokumenter opprettes hver dag i bedrifter, universiteter og offentlige forvaltninger, og uten et godt system kan de lett bli et kaotisk rot som er umulig å bruke.

Det interessante er at takket være kunstig intelligens slutter disse dokumentene å være bare lagrede filer og blir til aktive informasjonskilder for beslutningstaking . Teknologier som optisk tegngjenkjenning, naturlig språkbehandling og maskinlæring muliggjør bedre innholdslokalisering, automatisering av kjedelige oppgaver og tilgang til filer for et mye bredere publikum.

Arkivvitenskap i kunstig intelligens' tidsalder

Arkivvitenskap, forstått som disiplinen som omhandler hele livssyklushåndteringen av dokumenter (oppretting, organisering, langsiktig bevaring og tilgang), har i økende grad innlemmet informatikk og opplever nå et kvalitativt sprang med AI. Det handler ikke bare om digitalisering, men om å virkelig utnytte innholdet i dokumentene.

I de senere årene har det blitt publisert systematiske studier som har vurdert virkningen av kunstig intelligens på arkiver , og analysert akademisk litteratur i databaser som Scopus, SciELO, LISA og Google Scholar ved hjelp av metoder som PICOC og PRISMA. Disse studiene viser at selv om det fortsatt er en viss mangel på bevissthet blant mange fagfolk, er de praktiske anvendelsene allerede svært håndgripelige.

Blant de tydeligste bidragene fra kunstig intelligens til arkivvitenskap er assistert digital bevaring, automatisk generering av metadata og håndskrevet tekstgjenkjenning (HTR) . Disse suppleres av maskinlæring og applikasjoner for naturlig språkbehandling som forbedrer informasjonssøk og -gjenfinning, og fremmer mer demokratisk tilgang til arkivsamlinger.

Selv om kunstig intelligens utvikler seg raskt, utnytter ikke alle institusjoner potensialet fullt ut ennå . Mange arkiver fortsetter å bruke svært manuelle prosedyrer, enten på grunn av mangel på ressurser, manglende bevissthet om tilgjengelige verktøy eller motvilje mot å endre prosessene sine og overholde ISO 27000-standardene.

Observatoriet for kunstig intelligens i arkivene

Innenfor det spanske landskapet skiller Observatoriet for kunstig intelligens i arkiver seg ut , en arbeidsgruppe bestående av fagfolk fra ulike autonome regioner og organisasjoner som nøye overvåker hvordan kunstig intelligens brukes på dette feltet og fremmer god praksis.

Observatoriet består av spesialister fra Murcia-regionen, Universitetet i Santiago de Compostela, Valencia, Balearene, bystyret i Sant Cugat del Vallès, Madrid-regionen, Navarra-regionen, Catalonia, Baskerland, Castilla y León, Statsarkivets generaldirektorat og andre enheter . Dette territoriale og organisatoriske mangfoldet gir et svært bredt perspektiv på behov og prosjekter.

Gruppen koordineres av Désirée Domínguez Pallas, direktør for arkivet ved Universitetet i Santiago de Compostela , som fremmer utveksling av erfaringer og refleksjon rundt de tekniske, etiske og organisatoriske utfordringene knyttet til bruk av intelligente systemer i arkivforvaltningen.

Denne typen initiativer oppmuntrer til bruk av kunstig intelligens, ikke på en isolert og uorganisert måte, men snarere til deling av tekniske kriterier, eksempler fra den virkelige verden og felles arbeidslinjer , noe som er grunnleggende for at offentlige arkiver skal kunne bevege seg sammenhengende fremover.

Viktige AI-konsepter i dokumenthåndtering

Når vi snakker om kunstig intelligens brukt på dokumenter og filer, kommer flere teknologier inn i bildet som, kombinert, lar oss lese, forstå, klassifisere og bruke informasjonen i dokumentene . De viktigste er OCR, naturlig språkbehandling og maskinlæring, samt søkemotorer som Elasticsearch.

Optisk tegngjenkjenning (OCR) konverterer bilder av dokumenter (skanninger, fotografier, bildegenererte PDF-er) til redigerbar og prosesserbar digital tekst. Nåværende OCR-motorer kan jobbe med komplekse fonter og til og med visse håndskrevne skrifttyper, noe som åpner døren for behandling av store historiske samlinger.

Naturlig språkbehandling (NLP) lar maskiner analysere og forstå menneskelig språk. Med disse teknikkene er det mulig å forbedre søk, trekke ut enheter (personer, steder, datoer), oppsummere dokumenter, oversette tekster og generere automatiske beskrivelser, blant mange andre funksjoner.

Maskinlæring, derimot, er basert på modeller som lærer av eksempler. Innen arkivfeltet tillater det trening av systemer som skiller mellom dokumenttyper, oppdager mønstre i data eller forutsier hvilken serie et dokument tilhører basert på innholdet, og lærer fra samlinger som allerede er klassifisert av fagfolk og lagret i forskjellige typer databaser.

Mange løsninger inkluderer også datasyn , som analyserer bilder utover bare teksten. Dette er spesielt nyttig for å håndtere historiske fotografier, planer, tekniske tegninger eller gamle dokumenter skannet med lav kvalitet, der det er nødvendig å identifisere interesseområder før man bruker andre teknikker.

Hvordan et AI-drevet dokumenthåndteringssystem fungerer

I den daglige driften starter et moderne dokumenthåndteringssystem med kunstig intelligens vanligvis med en digitaliserings- og opptaksfase . Selv om mye av dagens dokumentproduksjon er digitalisert, er det fortsatt en betydelig mengde papir og skannet materiale som må behandles med avansert OCR.

Trykte dokumenter eller PDF-bilder sendes til OCR-verktøy som gjenkjenner teksten og konverterer den til indekserbart innhold . Mange moderne kopimaskiner har allerede denne typen motor, og det finnes også spesifikke løsninger for skanning av store volumer.

Når innholdet er omgjort til tekst, kommer NLP og maskinlæringsmodeller i spill . Disse analyserer dokumentet, identifiserer emnet, trekker ut nøkkeldata (f.eks. navn, filnumre, datoer, beløp) og klassifiserer det innenfor organisasjonens klassifiseringssystem eller dokumenthåndteringssystem.

Med den informasjonen kan systemet automatisk tilordne metadata, foreslå dokumentserier, relatere dokumenter til hverandre og legge til rette for mye rikere søk , kombinere gratis termer og filtrere etter datoer, typer, emner eller steder.

Den store merverdien er at disse systemene lærer ved bruk : etter hvert som arkivansatte korrigerer, validerer eller justerer klassifiseringsforslagene, forbedrer modellene nøyaktigheten og tilbyr resultater som er bedre skreddersydd for konteksten til hvert arkiv eller hver institusjon.

Praktiske anvendelser av AI i filhåndtering

I praksis kan AI gripe inn i nesten alle faser av dokumenthåndtering, og bidra til å redusere repeterende arbeid, minimere feil og utnytte dokumenter som en strategisk informasjonskilde . Noen bruksområder er spesielt bemerkelsesverdige i offentlig og privat sektor.

En av de mest utbredte er automatisk klassifisering av dokumenter etter innhold, type eller format. I stedet for å merke hvert dokument manuelt, foreslår eller tildeler systemet kategorier, serier eller filer, noe som fremskynder prosessen betraktelig og letter samsvar med regelverk.

AI brukes også til å trekke ut relevant informasjon , som for eksempel personers navn, adresser, datoer, regulatoriske referanser eller filnumre. Denne informasjonen lagres deretter i databaser eller dashbord for å legge til rette for videre konsultasjon og analyse.

En annen tydelig anvendelse er automatisk generering av sammendrag og rapporter fra store dokumentsett. Språkbaserte verktøy, som noen samtaleassistenter eller ChatPDF-lignende tjenester, kan syntetisere hovedpunktene i en fil, kontrakt eller et sett med rapporter nesten umiddelbart.

Avansert dokumentgjenfinning er et annet område der det kvalitative spranget er tydelig. Interne søkemotorer drevet av AI lar brukere finne informasjon selv om de ikke husker den nøyaktige tittelen på dokumentet eller bruker andre ord enn de i originalteksten, takket være semantiske søk som er mye nærmere naturlig språk.

I regulerte sektorer bruker mange organisasjoner kunstig intelligens for å styrke samsvar med regelverk og oppdage sensitiv informasjon . Systemer kan identifisere personopplysninger, konfidensiell informasjon, oppbevaringsperioder eller lisenser som nærmer seg utløp, noe som bidrar til å forhindre manglende samsvar og bedre håndtere risiko.

Parallelt dukker ideen om et assistert intelligent arkiv opp , der systemet ikke bare lagrer og organiserer, men også hjelper til med å utarbeide dokumenter, presentasjoner eller svar, og automatisk finner den mest relevante informasjonen for hvert brukstilfelle.

AI-modeller og plattformer for dokumenter

Økosystemet av verktøy som brukes i dokumenthåndtering spenner fra svært spesialiserte motorer til toppmoderne språkmodeller . Hver av dem dekker en del av prosessen, og sammen danner de svært kraftige løsninger.

Innen OCR er en av de mest kjente motorene Tesseract , et bredt tatt i bruk åpen kildekode-prosjekt for å konvertere bilder til tekst. Mange kommersielle løsninger integrerer det eller er avhengige av lignende teknologier tilpasset for manuskripter og historiske dokumenter.

For naturlig språkbehandling har modeller som BERT og de ulike GPT- familiene vært banebrytende, og muliggjort en kontekstuell forståelse av tekst som er mye nærmere hvordan mennesker leser. Disse modellene brukes til å klassifisere dokumenter, generere sammendrag, trekke ut enheter og svare på spørsmål om innholdet.

Videre velger mange organisasjoner å trene tilpassede maskinlæringsmodeller ved hjelp av sin egen dokumentasjon. Dette lar dem tilpasse seg sin terminologi, organisasjonsstruktur og interne forskrifter, og oppnå et nøyaktighetsnivå i klassifisering eller mønsterdeteksjon som ikke ville være mulig med generiske modeller.

Dette teknologiske fundamentet brukes til å bygge integrerte løsninger som inkluderer dokumenthåndteringssystemer, arbeidsflyter, revisjon, elektroniske signaturer og samarbeidsverktøy , alt koblet til analytiske og kunstig intelligens-funksjoner.

Dokumenthåndteringsløsninger som inkluderer AI

Utvalget av alternativer strekker seg fra teknologigiganter til programvareprosjekter med åpen kildekode, og forslagene tar sikte på å forbedre måten organisasjoner administrerer filene sine på.

Selskaper som Google og IBM , med plattformer som Google Cloud og Watson, tilbyr dataklassifisering, analyse og utvinningstjenester som kan integreres i eksisterende dokumenthåndteringssystemer. Videre har selskaper som fokuserer på prosessautomatisering, som UiPath og Automation Anywhere, laget programvareroboter som er i stand til å administrere hele dokumentarbeidsflyter.

Blant løsningene som er spesielt rettet mot dokumenthåndtering , skiller OpenKM seg ut som en dokumentbehandler med åpen kildekode som inkluderer intelligent klassifisering, metadatautvinning og AI-drevet semantisk søk. Dens åpen kildekode-natur gir mulighet for en høy grad av tilpasning til behovene til hver organisasjon.

Et annet relevant verktøy er R2 Docuo , rettet mot både dokumenthåndtering og arbeidsflyter. Denne plattformen lover å redusere arbeidet med å opprette, kontrollere, sirkulere og signere dokumenter betydelig, og automatisere alt fra malgenerering til godkjenning og endelig arkivering.

Innenfor åpen kildekode-programvare for bedrifter har Alfresco etablert seg som et ledende alternativ for innholds- og filhåndtering. Det muliggjør prosesstilpasning, tillegg av moduler og integrering med eksterne AI-tjenester, noe som gjør det til et fleksibelt grunnlag for å bygge ambisiøse prosjekter i store institusjoner.

Google Document AI og intelligent dokumentbehandling

Et av de tydeligste eksemplene på en spesialisert plattform er Google Document AI , en skybasert tjeneste utviklet for å automatisere klassifisering, uttrekk og analyse av dokumenter i stor skala. Den er rettet mot både private selskaper og offentlige organisasjoner som håndterer store mengder skjemaer, fakturaer, filer eller kontrakter.

Dokument-AI kombinerer maskinlæring, NLP og datasyn for å identifisere relevante felt i hvert dokument, uavhengig av om det kommer fra en skanning, en PDF eller et skjermbilde. Den kan lære de vanlige dokumentformatene i en gitt bransje og gjenbruke denne kunnskapen til nye applikasjoner.

Siden den er tilgjengelig som en skytjeneste, er denne typen løsning spesielt interessant for organisasjoner som raskt trenger å skalere prosesseringskapasiteten sin uten å måtte investere i egen maskinvare eller vedlikeholde komplekse infrastrukturer.

Resultatet er at mange oppgaver som tidligere krevde timevis med manuell gjennomgang, kan løses på få minutter, med det menneskelige teamet dedikert til validering og beslutninger med høyere verdiskaping i stedet for dataregistrering.

Anvendelse av AI i offentlig forvaltning

Offentlige forvaltninger finner en alliert innen kunstig intelligens for å håndtere dokumentasjon mer effektivt og transparent . Fra byråd til departementer inkluderer et økende antall prosjekter automatisk klassifisering, filanalyse og avanserte søkesystemer.

Mange lokale og regionale myndigheter tar i bruk AI-drevne dokumenthåndteringssystemer for å organisere elektroniske filer, fremskynde prosedyrer ved å signere dokumenter digitalt og forbedre innbyggernes tilgang til offentlig informasjon . Dette reduserer responstider og forenkler intern kontroll av prosesser.

Et konkret eksempel er bruken av Alfresco i Tomelloso bystyre for å administrere og dele intern dokumentasjon. Selv om potensialet ennå ikke er utnyttet fullt ut, er det lansert initiativer for å dele kunnskap, som å lagre opplæringskurs som er tilgjengelige for alle ansatte, og dermed legge grunnlaget for et dynamisk digitalt arkiv.

AI-systemer brukes også til å oppdage mønstre i dokumentasjon som kan tyde på uregelmessigheter, ineffektivitet eller behov for gjennomgang av offentlig politikk, noe som bidrar til å bedre veilede strategiske beslutninger fra administrasjoner.

Videre står offentlig sektor overfor utfordringen med å forene disse innovasjonene med juridiske krav til databeskyttelse, åpenhet og langsiktig bevaring , noe som gjør arkivarer og juridiske eksperters rolle avgjørende i utformingen og implementeringen av disse løsningene.

Carabela-prosjektet: AI for historiske håndskrevne arkiver

Innen historisk kulturarv åpner kunstig intelligens opp muligheter som virket som science fiction for bare noen få år siden. Et godt eksempel er Carabela-prosjektet , som fokuserer på probabilistisk indeksering av manuskriptsamlinger knyttet til historisk kulturarv under vann.

Dette prosjektet, promotert av det andalusiske instituttet for historisk kulturarv gjennom sitt senter for undervannsarkeologi og ledet av forskningssenteret for mønstergjenkjenning og menneskelig språkteknologi (PRHLT) ved Polytekniske universitetet i Valencia, anvender avanserte mønster- og språkgjenkjenningsteknikker for å finne og undersøke digitalisert håndskrevet dokumentasjon.

Takket være kunstig intelligens er det mulig å identifisere omtaler, ruter, fartøy eller hendelser knyttet til undervannsarv uten å måtte lese tusenvis av sider manuelt, noe som mangedobler forskerteamenes evne til å oppdage relevant informasjon.

Carabela-prosjektet har blitt presentert på spesifikke workshops rettet mot forskere og arkivfagfolk , med fokus på hvordan disse teknikkene kan skaleres opp til andre samlinger av historiske manuskripter og tjene som en modell for nye prosjekter innen digital humaniora.

Implementeringen av initiativer som Carabela viser at kunstig intelligens ikke bare tjener til å effektivisere administrative prosedyrer, men også fremmer historisk forskning og bevaring av kulturarv , noe som åpner for nye spørsmål og studieretninger.

Opplæring, kurs og akademisk anerkjennelse

Integreringen av kunstig intelligens i arkivvitenskap genererer også et økende tilbud av kurs, konferanser og akademiske publikasjoner som analyserer dens innvirkning, deler erfaringer og utforsker avanserte bruksområder i ulike kontekster.

Det organiseres opplæringsaktiviteter som inkluderer moduler om mål, foredragsholdere, studentprofil, godkjenning av universitetspoeng, evalueringsprosedyrer og tilretteleggingsmuligheter , noe som indikerer at dette ikke er engangsworkshops, men programmer med et visst akademisk innhold.

Parallelt publiserer spesialiserte tidsskrifter innen bibliotekvitenskap, dokumentasjon og arkivvitenskap artikler som systematisk gjennomgår nyere vitenskapelig litteratur om kunstig intelligens og arkiver, og fremhever både de mest etablerte bruksområdene og kunnskapshullene som fortsatt må fylles.

Denne kombinasjonen av praktisk opplæring og vitenskapelig produksjon hjelper arkivarer, dokumentarister og IT-ansatte med å snakke et felles språk , noe som er avgjørende for å utforme realistiske og velfokuserte prosjekter i hver institusjon.

I tillegg promoteres nettkurs med fokus på å forbedre produktiviteten med AI innen administrasjon , som på en praktisk måte forklarer hvordan disse verktøyene kan integreres i den daglige driften av kontorer, avdelinger og arkiver.

Dokumenthåndtering i skyen og dens innvirkning på arkiver

Utvidelsen av kunstig intelligens innen arkivering er nært knyttet til veksten av skybasert dokumenthåndtering . Mange tjenester basert på dyp læring krever betydelig datakraft, spesielt når det gjelder GPU-er, noe som er vanskelig og dyrt å vedlikeholde i tradisjonelle lokale infrastrukturer.

Med programvare som en tjeneste (SaaS)-modellen ligger dokumenthåndteringsapplikasjoner og AI-motorer på eksterne servere , slik at organisasjoner kan skalere ressurser på forespørsel, kun betale for bruk og ikke bekymre seg for fysisk vedlikehold av utstyr.

Det er sant at det finnes reservasjoner mot å lagre dokumenter på eksterne servere, noen ganger plassert utenfor landet, men fordelene når det gjelder skalerbarhet, sikkerhet, sikkerhetskopiering og ekstern tilgang er klare, forutsatt at det velges leverandører som overholder de strenge europeiske personvernforskriftene.

For IT-avdelinger betyr denne skybaserte tilnærmingen mindre systemadministrasjonsbyrde , siden det ikke er nødvendig å installere eller oppdatere programvare på hver arbeidsstasjon, og heller ikke å dimensjonere maskinvaren for brukstopper som bare oppstår av og til.

For arkiver åpner skyen opp muligheten til å gjøre store mengder digitalisert dokumentasjon tilgjengelig for publikum , supplert med intelligente søkemotorer, uten at den interne infrastrukturen blir en flaskehals.

Hele dette økosystemet av observatorier, forskningsprosjekter, kommersielle løsninger og skyplattformer former et scenario der kunstig intelligens blir et hverdagsverktøy for arkivarer og arkivforvaltere , ikke et isolert eksperiment. Etter hvert som fagfolk blir mer kjent med mulighetene og begrensningene, mangedobles brukstilfeller som forbedrer produktiviteten, utvider tilgangen til informasjon og styrker bevaringen av dokumentararv for fremtidige generasjoner. Videre bidrar søkemotorer og teknikker for å søke i arkiver til å maksimere verdien av digitale arkiver.