Kunstig intelligens i arkiv- og dokumenthåndtering

Informatic Digital » Recursos » Kunstig intelligens i arkiv- og dokumenthåndtering

Kunstig intelligens anvendt til cloudbaseret fil- og dokumenthåndtering ændrer fundamentalt den måde, vi arbejder med filer, historiske optegnelser, administrativ dokumentation og alle typer optegnelser på. Hundredvis eller tusindvis af dokumenter oprettes hver dag i virksomheder, universiteter og offentlige forvaltninger, og uden et godt system kan de nemt blive et kaotisk rod, der er umuligt at bruge.

Det interessante er, at takket være kunstig intelligens (AI) ophører disse dokumenter med at være blot lagrede filer og bliver til aktive informationskilder til beslutningstagning . Teknologier som optisk tegngenkendelse, naturlig sprogbehandling og maskinlæring muliggør bedre indholdslokalisering, automatisering af kedelige opgaver og adgang til filer for et langt bredere publikum.

Arkivvidenskab i kunstig intelligens' tidsalder

Arkivvidenskab, forstået som den disciplin, der beskæftiger sig med den komplette livscyklusstyring af dokumenter (oprettelse, organisering, langtidsbevaring og adgang), har i stigende grad indarbejdet datalogi og oplever nu et kvalitativt spring med AI. Det handler ikke kun om digitalisering, men om virkelig at udnytte dokumenternes indhold.

I de senere år er der blevet offentliggjort systematiske studier, der har gennemgået AI's indflydelse på arkiver , og analyseret akademisk litteratur i databaser som Scopus, SciELO, LISA og Google Scholar ved hjælp af metoder som PICOC og PRISMA. Disse studier afslører, at selvom der stadig er en vis mangel på bevidsthed blandt mange fagfolk, er de praktiske anvendelser allerede meget håndgribelige.

Blandt de tydeligste bidrag fra kunstig intelligens til arkivvidenskab er assisteret digital bevaring, automatisk generering af metadata og håndskrevet tekstgenkendelse (HTR) . Disse suppleres af maskinlæring og applikationer til behandling af naturligt sprog, der forbedrer informationssøgning og -hentning og fremmer mere demokratisk adgang til arkivsamlinger.

Selvom kunstig intelligens udvikler sig hurtigt, udnytter ikke alle institutioner dens potentiale fuldt ud endnu . Mange arkiver bruger fortsat meget manuelle procedurer, enten på grund af manglende ressourcer, manglende kendskab til tilgængelige værktøjer eller en modvilje mod at ændre deres processer og overholde ISO 27000-standarderne.

Observatorium for kunstig intelligens i arkiverne

I det spanske landskab skiller Observatoriet for Kunstig Intelligens i Arkiver sig ud , en arbejdsgruppe bestående af fagfolk fra forskellige autonome samfund og organisationer, der nøje overvåger, hvordan AI anvendes på dette område, og fremmer god praksis.

Observatoriet består af specialister fra Murcia-regionen, Universitetet i Santiago de Compostela, Valenciaregionen, De Baleariske Øer, Sant Cugat del Vallès byråd, Madrid-regionen, Navarra-regionen, Catalonien, Baskerlandet, Castilla y León, Statsarkivernes generaldirektorat og andre enheder . Denne territoriale og organisatoriske mangfoldighed giver mulighed for et meget bredt perspektiv på behov og projekter.

Gruppen koordineres af Désirée Domínguez Pallas, direktør for arkivet ved Universitetet i Santiago de Compostela , som fremmer udveksling af erfaringer og refleksion over de tekniske, etiske og organisatoriske udfordringer forbundet med brugen af ​​intelligente systemer i forvaltningen af ​​arkiver.

Denne type initiativer tilskynder til ikke at anvende kunstig intelligens på en isoleret og uorganiseret måde, men snarere til at dele tekniske kriterier, eksempler fra den virkelige verden og fælles arbejdslinjer , hvilket er fundamentalt for, at offentlige arkiver kan bevæge sig fremad på en sammenhængende måde.

Nøgle AI-koncepter i dokumenthåndtering

Når vi taler om kunstig intelligens anvendt på dokumenter og filer, kommer flere teknologier i spil, som tilsammen giver os mulighed for at læse, forstå, klassificere og anvende informationen i dokumenterne . De vigtigste er OCR, naturlig sprogbehandling og maskinlæring, samt søgemaskiner som Elasticsearch.

Optisk tegngenkendelse (OCR) konverterer billeder af dokumenter (scanninger, fotografier, billedgenererede PDF'er) til redigerbar og bearbejdningsbar digital tekst. Nuværende OCR-motorer er i stand til at arbejde med komplekse skrifttyper og endda visse håndskrevne skrifttyper, hvilket åbner døren for behandling af store historiske samlinger.

Natural Language Processing (NLP) gør det muligt for maskiner at analysere og forstå menneskeligt sprog. Med disse teknikker er det muligt at forbedre søgninger, udtrække enheder (personer, steder, datoer), opsummere dokumenter, oversætte tekster og generere automatiske beskrivelser, blandt mange andre funktioner.

Maskinlæring er derimod baseret på modeller, der lærer af eksempler. Inden for arkivområdet muliggør det træning af systemer, der skelner mellem dokumenttyper, registrerer mønstre i data eller forudsiger, hvilken serie et dokument tilhører baseret på dets indhold, ved at lære af samlinger, der allerede er klassificeret af fagfolk og lagret i forskellige typer databaser.

Mange løsninger inkorporerer også computer vision , som analyserer billeder ud over blot teksten. Dette er især nyttigt til håndtering af historiske fotografier, planer, tekniske tegninger eller gamle dokumenter scannet med lav kvalitet, hvor det er nødvendigt at identificere interesseområder, før andre teknikker anvendes.

Sådan fungerer et AI-drevet dokumenthåndteringssystem

I den daglige drift begynder et moderne dokumenthåndteringssystem med kunstig intelligens typisk med en digitaliserings- og indfangningsfase . Selvom en stor del af nutidens dokumentproduktion er digitaliseret, er der stadig en betydelig mængde papir og scannet materiale, der skal behandles med avanceret OCR.

Trykte dokumenter eller PDF-billeder sendes til OCR-værktøjer, der genkender teksten og konverterer den til indekserbart indhold . Mange moderne kopimaskiner har allerede denne type maskine, og der findes også specifikke løsninger til scanning af store mængder.

Når indholdet er omdannet til tekst, kommer NLP og maskinlæringsmodeller i spil . Disse analyserer dokumentet, identificerer dets emne, udtrækker nøgledata (f.eks. navne, filnumre, datoer, beløb) og klassificerer det inden for organisationens klassifikationssystem eller dokumenthåndteringssystem.

Med disse oplysninger kan systemet automatisk tildele metadata, foreslå dokumentserier, relatere dokumenter til hinanden og muliggøre langt mere omfattende søgninger ved at kombinere frie termer og filtrere efter datoer, typer, emner eller steder.

Den store merværdi ligger i, at disse systemer lærer under brug : Efterhånden som arkivpersonalet korrigerer, validerer eller justerer klassifikationsforslagene, forbedrer modellerne deres nøjagtighed og tilbyder resultater, der er mere skræddersyet til konteksten for hvert arkiv eller institution.

Praktiske anvendelser af AI i filhåndtering

I praksis kan AI gribe ind i næsten alle faser af dokumenthåndtering, hvilket bidrager til at reducere gentaget arbejde, minimere fejl og udnytte dokumenter som en strategisk informationskilde . Nogle anvendelser er særligt bemærkelsesværdige i den offentlige og private sektor.

En af de mest udbredte er automatisk klassificering af dokumenter efter indhold, type eller format. I stedet for manuelt at mærke hvert dokument foreslår eller tildeler systemet kategorier, serier eller filer, hvilket i høj grad fremskynder processen og letter overholdelsen af ​​lovgivningen.

AI bruges også til at udtrække relevante oplysninger , såsom personers navne, adresser, datoer, lovgivningsmæssige referencer eller sagsnumre. Disse oplysninger gemmes derefter i databaser eller dashboards for at lette yderligere konsultation og analyse.

En anden klar anvendelse er automatisk generering af resuméer og rapporter fra store dokumentsæt. Sprogbaserede værktøjer, såsom nogle samtaleassistenter eller ChatPDF-lignende tjenester, kan syntetisere hovedpunkterne i en fil, kontrakt eller et sæt rapporter næsten øjeblikkeligt.

Avanceret dokumentsøgning er et andet område, hvor det kvalitative spring er tydeligt. Interne søgemaskiner drevet af AI giver brugerne mulighed for at finde information, selvom de ikke kan huske dokumentets nøjagtige titel eller bruger andre ord end dem i originalteksten, takket være semantiske søgninger, der er meget tættere på naturligt sprog.

I regulerede sektorer bruger mange organisationer kunstig intelligens til at styrke overholdelse af lovgivningen og registrere følsomme oplysninger . Systemer kan identificere personoplysninger, fortrolige oplysninger, opbevaringsperioder eller licenser, der nærmer sig udløb, hvilket hjælper med at forhindre manglende overholdelse og bedre styre risici.

Parallelt hermed opstår ideen om det assisterede intelligente arkiv , hvor systemet ikke blot lagrer og organiserer, men også hjælper med at forberede dokumenter, præsentationer eller svar, og automatisk finder de mest relevante oplysninger til hver enkelt anvendelse.

AI-modeller og platforme til dokumenter

Økosystemet af værktøjer, der bruges i dokumenthåndtering, spænder fra højt specialiserede motorer til avancerede sprogmodeller . Hvert værktøj dækker en del af processen, og sammen danner de meget kraftfulde løsninger.

Inden for OCR er en af ​​de mest kendte motorer Tesseract , et bredt anvendt open source-projekt til konvertering af billeder til tekst. Mange kommercielle løsninger integrerer det eller er afhængige af lignende teknologier tilpasset til manuskripter og historiske dokumenter.

For behandling af naturligt sprog har modeller som BERT og de forskellige GPT- familier været revolutionerende og muliggjort en kontekstuel forståelse af tekst, der er meget tættere på, hvordan mennesker læser. Disse modeller bruges til at klassificere dokumenter, generere resuméer, udtrække enheder og besvare spørgsmål om indholdet.

Derudover vælger mange organisationer at træne brugerdefinerede maskinlæringsmodeller ved hjælp af deres egen dokumentation. Dette giver dem mulighed for at tilpasse sig deres terminologi, organisationsstruktur og interne regler og opnå et niveau af nøjagtighed i klassificering eller mønsterdetektion, der ikke ville være muligt med generiske modeller.

Dette teknologiske fundament bruges til at bygge integrerede løsninger, der omfatter dokumentstyringssystemer, arbejdsgange, revision, elektroniske signaturer og samarbejdsværktøjer , alt sammen forbundet med analytiske og kunstig intelligens-funktioner.

Dokumenthåndteringsløsninger, der inkorporerer AI

Udvalget af muligheder spænder fra teknologigiganter til open source-softwareprojekter, og forslagene har til formål at forbedre den måde, organisationer administrerer deres filer på.

Virksomheder som Google og IBM tilbyder med platforme som Google Cloud og Watson dataklassificering, analyse og udtrækningstjenester, der kan integreres i eksisterende dokumenthåndteringssystemer. Derudover har virksomheder med fokus på procesautomatisering, såsom UiPath og Automation Anywhere, skabt softwarerobotter, der er i stand til at styre hele dokumentarbejdsgange.

Blandt de løsninger, der specifikt er rettet mod dokumenthåndtering , skiller OpenKM sig ud som en open source-dokumenthåndtering, der inkorporerer intelligent klassificering, metadataudtrækning og AI-drevet semantisk søgning. Dens open source-natur giver mulighed for en høj grad af tilpasning til hver enkelt organisations behov.

Et andet relevant værktøj er R2 Docuo , der er rettet mod både dokumenthåndtering og arbejdsgange. Denne platform lover at reducere indsatsen forbundet med at oprette, kontrollere, cirkulere og underskrive dokumenter betydeligt, og automatiserer alt fra skabelongenerering til godkendelse og endelig arkivering.

Inden for open source-software til virksomheder har Alfresco etableret sig som en førende løsning til indholds- og filhåndtering. Det muliggør procestilpasning, tilføjelse af moduler og integration med eksterne AI-tjenester, hvilket gør det til et fleksibelt fundament for at bygge ambitiøse projekter i store institutioner.

Google Document AI og intelligent dokumentbehandling

Et af de klareste eksempler på en specialiseret platform er Google Document AI , en cloudbaseret tjeneste designet til at automatisere klassificering, udtræk og analyse af dokumenter i stor skala. Den er rettet mod både private virksomheder og offentlige organisationer, der håndterer store mængder formularer, fakturaer, filer eller kontrakter.

Dokument-AI kombinerer maskinlæring, NLP og computer vision for at identificere relevante felter i hvert dokument, uanset om det kommer fra en scanning, en PDF eller et skærmbillede. Den kan lære de almindelige dokumentformater i en given branche at kende og genbruge denne viden til nye applikationer.

Da denne type løsning er tilgængelig som en cloud-tjeneste, er den især interessant for organisationer, der har brug for hurtigt at skalere deres processorkapacitet uden at skulle investere i deres egen hardware eller vedligeholde komplekse infrastrukturer.

Resultatet er, at mange opgaver, der tidligere krævede timevis af manuel gennemgang, kan løses på få minutter, hvor det menneskelige team er dedikeret til validering og beslutninger med højere værdiskabelse i stedet for dataindtastning.

Anvendelse af AI i offentlig forvaltning

Offentlige forvaltninger finder en allieret i kunstig intelligens til at håndtere dokumentation mere effektivt og transparent . Fra byråd til ministerier inkorporerer et stigende antal projekter automatisk klassificering, filanalyse og avancerede søgesystemer.

Mange lokale og regionale myndigheder implementerer AI-drevne dokumenthåndteringssystemer til at organisere elektroniske filer, fremskynde procedurer ved digital underskrift af dokumenter og forbedre borgernes adgang til offentlige oplysninger . Dette reducerer svartider og letter intern kontrol af processer.

Et konkret eksempel er brugen af ​​Alfresco i Tomelloso byråd til at administrere og dele intern dokumentation. Selvom dets fulde potentiale endnu ikke udnyttes fuldt ud, er der blevet iværksat initiativer til at dele viden, såsom lagring af kurser, der er tilgængelige for alle medarbejdere, hvilket lægger grundlaget for et dynamisk digitalt arkiv.

AI-systemer bruges også til at opdage mønstre i dokumentation , der kan tyde på uregelmæssigheder, ineffektivitet eller behovet for gennemgang af den offentlige politik, hvilket hjælper med bedre at vejlede forvaltningernes strategiske beslutninger.

Derudover står den offentlige sektor over for udfordringen med at forene disse innovationer med lovkrav om databeskyttelse, gennemsigtighed og langsigtet bevaring , hvilket gør arkivarers og juridiske eksperters rolle afgørende i design og implementering af disse løsninger.

Carabela-projektet: AI til historiske håndskrevne arkiver

Inden for historisk kulturarv åbner kunstig intelligens op for muligheder, der for bare få år siden virkede som science fiction. Et godt eksempel er Carabela-projektet , der fokuserer på probabilistisk indeksering af manuskriptsamlinger relateret til historisk kulturarv under vandet.

Dette projekt, der promoveres af det andalusiske institut for historisk kulturarv gennem dets Center for Undervandsarkæologi og ledes af Forskningscentret for Mønstergenkendelse og Menneskelig Sprogteknologi (PRHLT) ved Polyteknisk Universitet i Valencia, anvender avancerede mønster- og sproggenkendelsesteknikker til at lokalisere og undersøge digitaliseret håndskrevet dokumentation.

Takket være kunstig intelligens er det muligt at identificere omtaler, ruter, fartøjer eller begivenheder relateret til undervandsarv uden at skulle læse tusindvis af sider manuelt, hvilket mangedobler forskerholds evne til at finde relevante oplysninger.

Carabela-projektet er blevet præsenteret på specifikke workshops rettet mod forskere og arkivprofessionelle med fokus på, hvordan disse teknikker kan skaleres op til andre samlinger af historiske manuskripter og tjene som model for nye projekter inden for digital humaniora.

Implementeringen af ​​initiativer som Carabela viser, at kunstig intelligens ikke blot tjener til at strømline administrative procedurer, men også fremmer historisk forskning og bevaring af kulturarv , hvilket åbner op for nye spørgsmål og studieretninger.

Uddannelse, kurser og akademisk anerkendelse

Integrationen af ​​kunstig intelligens i arkivvidenskab genererer også et voksende udbud af kurser, konferencer og akademiske publikationer , der analyserer dens indflydelse, deler erfaringer og udforsker avancerede anvendelser i forskellige sammenhænge.

Der organiseres træningsaktiviteter, der omfatter moduler om mål, talere, studerendes profil, anerkendelse af universitetskreditter, evalueringsprocedurer og indkvarteringsmuligheder , hvilket indikerer, at der ikke er tale om enkeltstående workshops, men programmer med et bestemt akademisk indhold.

Parallelt udgiver specialiserede tidsskrifter inden for biblioteksvidenskab, dokumentation og arkivvidenskab artikler, der systematisk gennemgår nyere videnskabelig litteratur om kunstig intelligens og arkiver, og fremhæver både de mest etablerede anvendelser og de videnshuller, der stadig skal udfyldes.

Denne kombination af praktisk træning og videnskabelig produktion hjælper arkivarer, dokumentarister og IT-personale med at tale et fælles sprog , hvilket er afgørende for at designe realistiske og velfokuserede projekter i hver institution.

Derudover promoveres onlinekurser med fokus på at forbedre produktiviteten med AI inden for det administrative område , som på en praktisk måde forklarer, hvordan disse værktøjer kan integreres i den daglige drift på kontorer, afdelinger og arkiver.

Dokumenthåndtering i skyen og dens indvirkning på arkiver

Udbredelsen af ​​kunstig intelligens inden for arkivering er tæt forbundet med væksten inden for cloudbaseret dokumenthåndtering . Mange tjenester baseret på deep learning kræver betydelig computerkraft, især med hensyn til GPU'er, hvilket er vanskeligt og dyrt at vedligeholde i traditionelle lokale infrastrukturer.

Med Software as a Service (SaaS)-modellen ligger dokumenthåndteringsapplikationer og AI-motorer på eksterne servere , hvilket giver organisationer mulighed for at skalere ressourcer efter behov, kun betale for brug og ikke bekymre sig om den fysiske vedligeholdelse af udstyr.

Det er sandt, at der er forbehold over for lagring af dokumenter på eksterne servere, nogle gange placeret uden for landet, men fordelene med hensyn til skalerbarhed, sikkerhed, sikkerhedskopiering og fjernadgang er klare, forudsat at der vælges udbydere, der overholder de strenge europæiske databeskyttelsesregler.

For IT-afdelinger betyder denne cloud-tilgang en mindre byrde for systemadministration , da det ikke er nødvendigt at installere eller opdatere software på hver arbejdsstation, og heller ikke at dimensionere hardware til spidsbelastninger, der kun opstår lejlighedsvis.

For arkiver åbner skyen muligheden for at stille store mængder digitaliseret dokumentation til rådighed for offentligheden , suppleret af intelligente søgemaskiner, uden at den interne infrastruktur bliver en flaskehals.

Hele dette økosystem af observatorier, forskningsprojekter, kommercielle løsninger og cloudplatforme former et scenarie, hvor kunstig intelligens bliver et hverdagsværktøj for arkivarer og arkivforvaltere , ikke et isoleret eksperiment. Efterhånden som fagfolk bliver mere fortrolige med dens muligheder og begrænsninger, mangedobles antallet af use cases, der forbedrer produktiviteten, udvider adgangen til information og styrker bevaringen af ​​dokumentarisk arv for fremtidige generationer. Desuden hjælper søgemaskiner og teknikker til at søge i arkiver med at maksimere værdien af ​​digitale arkiver.