Kunstmatige intelligentie in archieven en documentbeheer

Informatec Digital » Bronnen » Kunstmatige intelligentie in archief- en documentbeheer

Kunstmatige intelligentie toegepast op cloudgebaseerd bestands- en documentbeheer verandert fundamenteel de manier waarop we werken met bestanden, historische documenten, administratieve documentatie en allerlei soorten archiefmateriaal. Honderden of duizenden documenten worden dagelijks aangemaakt in bedrijven, universiteiten en overheidsinstellingen, en zonder een goed systeem kunnen ze gemakkelijk een chaotische bende worden die onbruikbaar is.

Wat interessant is, is dat deze documenten dankzij AI niet langer louter opgeslagen bestanden zijn, maar actieve informatiebronnen voor besluitvorming . Technologieën zoals optische tekenherkenning, natuurlijke taalverwerking en machinaal leren maken het mogelijk om content beter te lokaliseren, saaie taken te automatiseren en bestanden toegankelijk te maken voor een veel breder publiek.

Archiefwetenschap in het tijdperk van kunstmatige intelligentie

Archiefwetenschap, opgevat als de discipline die zich bezighoudt met het volledige levenscyclusbeheer van documenten (creatie, organisatie, langdurige bewaring en toegang), heeft steeds meer informatica geïntegreerd en maakt nu een kwalitatieve sprong voorwaarts met AI. Het gaat niet alleen om digitalisering, maar om het daadwerkelijk benutten van de inhoud van de documenten.

De afgelopen jaren zijn er systematische studies gepubliceerd die de impact van AI op archieven onderzoeken . Hierbij wordt academische literatuur in databases zoals Scopus, SciELO, LISA en Google Scholar geanalyseerd met behulp van methodologieën zoals PICOC en PRISMA. Deze studies tonen aan dat, hoewel er bij veel professionals nog steeds een gebrek aan bewustzijn bestaat, de praktische toepassingen al zeer tastbaar zijn.

Een van de duidelijkste bijdragen van kunstmatige intelligentie aan de archiefwetenschap is de ondersteuning bij digitale conservering, het automatisch genereren van metadata en de herkenning van handgeschreven tekst (HTR) . Deze worden aangevuld door toepassingen van machine learning en natuurlijke taalverwerking die het zoeken en ophalen van informatie verbeteren en zo een meer democratische toegang tot archiefcollecties bevorderen.

Hoewel AI zich snel ontwikkelt, benutten nog niet alle instellingen het volledige potentieel ervan . Veel archieven maken nog steeds gebruik van grotendeels handmatige procedures, hetzij door een gebrek aan middelen, een gebrek aan kennis van beschikbare tools, of een terughoudendheid om hun processen te veranderen en te voldoen aan de ISO 27000-normen.

Observatorium voor kunstmatige intelligentie in archieven

Binnen het Spaanse landschap springt het Observatorium voor Kunstmatige Intelligentie in Archieven eruit . Deze werkgroep, bestaande uit professionals van verschillende autonome regio's en organisaties, houdt nauwlettend in de gaten hoe AI op dit gebied wordt toegepast en bevordert goede praktijken.

Het Observatorium bestaat uit specialisten uit de regio Murcia, de Universiteit van Santiago de Compostela, de regio Valencia, de Balearen, de gemeente Sant Cugat del Vallès, de regio Madrid, de regio Navarra, Catalonië, Baskenland, Castilië en León, het directoraat-generaal van het Staatsarchief en andere instanties . Deze territoriale en organisatorische diversiteit zorgt voor een zeer breed perspectief op behoeften en projecten.

De groep wordt gecoördineerd door Désirée Domínguez Pallas, directeur van het archief van de Universiteit van Santiago de Compostela , die de uitwisseling van ervaringen en reflectie bevordert over de technische, ethische en organisatorische uitdagingen die gepaard gaan met het gebruik van intelligente systemen in het archiefbeheer.

Dit soort initiatieven stimuleert de toepassing van AI niet op een geïsoleerde en ongeorganiseerde manier, maar juist door het delen van technische criteria, praktijkvoorbeelden en gemeenschappelijke werkwijzen . Dit is essentieel voor een coherente ontwikkeling van openbare archieven.

Belangrijkste AI-concepten in documentbeheer

Wanneer we het hebben over kunstmatige intelligentie toegepast op documenten en bestanden, spelen verschillende technologieën een rol die, in combinatie, ons in staat stellen de informatie in de documenten te lezen, te begrijpen, te classificeren en te gebruiken . De belangrijkste zijn OCR, natuurlijke taalverwerking en machine learning, evenals zoekmachines zoals Elasticsearch.

Optische tekenherkenning (OCR) zet afbeeldingen van documenten (scans, foto's, van afbeeldingen gegenereerde PDF's) om in bewerkbare en verwerkbare digitale tekst. Moderne OCR-systemen kunnen overweg met complexe lettertypen en zelfs bepaalde handgeschreven teksten, waardoor de verwerking van grote historische collecties mogelijk wordt.

Natuurlijke taalverwerking (NLP) stelt machines in staat om menselijke taal te analyseren en te begrijpen. Met deze technieken is het mogelijk om zoekopdrachten te verbeteren, entiteiten (personen, plaatsen, datums) te extraheren, documenten samen te vatten, teksten te vertalen en automatische beschrijvingen te genereren, naast vele andere functies.

Machine learning is daarentegen gebaseerd op modellen die leren van voorbeelden. In de archiefwereld maakt het de training mogelijk van systemen die documenttypen onderscheiden, patronen in data detecteren of voorspellen tot welke reeks een document behoort op basis van de inhoud ervan. Dit gebeurt door te leren van collecties die al door professionals zijn geclassificeerd en in verschillende soorten databases zijn opgeslagen.

Veel oplossingen integreren ook computervisie , waarmee beelden worden geanalyseerd die verder gaan dan alleen de tekst. Dit is vooral handig voor het beheren van historische foto's, plattegronden, technische tekeningen of oude documenten die met een lage kwaliteit zijn gescand, waarbij het nodig is om interessante gebieden te identificeren voordat andere technieken worden toegepast.

Hoe een op AI gebaseerd documentbeheersysteem werkt

In de dagelijkse praktijk begint een modern documentbeheersysteem met kunstmatige intelligentie doorgaans met een digitaliserings- en vastleggingsfase . Hoewel een groot deel van de huidige documentproductie digitaal is, is er nog steeds een aanzienlijke hoeveelheid papier en gescand materiaal dat door geavanceerde OCR moet worden verwerkt.

Geprinte documenten of PDF-afbeeldingen worden naar OCR-tools gestuurd die de tekst herkennen en omzetten in indexeerbare inhoud . Veel moderne kopieerapparaten beschikken al over dit type engine, en er zijn ook specifieke oplossingen voor het scannen van grote hoeveelheden.

Zodra de inhoud is omgezet in tekst, komen NLP- en machine learning- modellen in actie . Deze analyseren het document, identificeren het onderwerp, extraheren belangrijke gegevens (bijv. namen, bestandsnummers, datums, bedragen) en classificeren het binnen het classificatieschema of documentbeheersysteem van de organisatie.

Met die informatie kan het systeem automatisch metadata toewijzen, documentreeksen voorstellen, documenten aan elkaar relateren en veel uitgebreidere zoekopdrachten mogelijk maken door vrije zoektermen te combineren met filters op datum, type, onderwerp of locatie.

De grote meerwaarde is dat deze systemen leren door gebruik : naarmate archiefmedewerkers de classificatievoorstellen corrigeren, valideren of aanpassen, verbeteren de modellen hun nauwkeurigheid en bieden ze resultaten die beter zijn afgestemd op de context van elk archief of elke instelling.

Praktische toepassingen van AI in bestandsbeheer

In de praktijk kan AI ingrijpen in vrijwel elke fase van documentbeheer, waardoor repetitief werk wordt verminderd, fouten worden geminimaliseerd en documenten als strategische informatiebron worden ingezet . Sommige toepassingen zijn met name opmerkelijk in de publieke en private sector.

Een van de meest voorkomende toepassingen is de automatische classificatie van documenten op basis van inhoud, type of formaat. In plaats van elk document handmatig te labelen, suggereert of wijst het systeem categorieën, reeksen of bestanden toe, waardoor het proces aanzienlijk wordt versneld en de naleving van regelgeving wordt vergemakkelijkt.

AI wordt ook gebruikt om relevante informatie te verzamelen , zoals namen, adressen, data, wettelijke referenties of dossiernummers van personen. Deze informatie wordt vervolgens opgeslagen in databases of dashboards om verder overleg en analyse te vergemakkelijken.

Een andere duidelijke toepassing is het automatisch genereren van samenvattingen en rapporten uit grote hoeveelheden documenten. Taalgebaseerde tools, zoals sommige spraakassistenten of diensten zoals ChatPDF, kunnen de belangrijkste punten van een bestand, contract of reeks rapporten vrijwel direct samenvatten.

Geavanceerde documentzoekfuncties vormen een ander gebied waar de kwalitatieve sprong duidelijk zichtbaar is. Interne zoekmachines, aangedreven door AI, stellen gebruikers in staat informatie te vinden, zelfs als ze de exacte titel van het document niet meer weten of andere woorden gebruiken dan in de originele tekst. Dit is mogelijk dankzij semantische zoekopdrachten die veel dichter bij natuurlijke taal liggen.

In gereguleerde sectoren gebruiken veel organisaties AI om de naleving van wet- en regelgeving te versterken en gevoelige informatie te detecteren . Systemen kunnen persoonsgegevens, vertrouwelijke informatie, bewaartermijnen of bijna verlopen vergunningen identificeren, waardoor niet-naleving wordt voorkomen en risico's beter worden beheerd.

Parallel daaraan ontstaat het idee van het ondersteunde intelligente archief , waarbij het systeem niet alleen documenten, presentaties of antwoorden opslaat en organiseert, maar ook helpt bij de voorbereiding ervan door automatisch de meest relevante informatie voor elk gebruiksscenario te vinden.

AI-modellen en platforms voor documenten

Het ecosysteem van tools dat wordt gebruikt in documentbeheer varieert van zeer gespecialiseerde engines tot geavanceerde taalmodellen . Elk van deze tools bestrijkt een deel van het proces en samen vormen ze zeer krachtige oplossingen.

Op het gebied van OCR is Tesseract een van de bekendste engines. Het is een veelgebruikt open-sourceproject voor het omzetten van afbeeldingen naar tekst. Veel commerciële oplossingen integreren Tesseract of maken gebruik van vergelijkbare technologieën die zijn aangepast voor manuscripten en historische documenten.

Voor natuurlijke taalverwerking zijn modellen zoals BERT en de verschillende GPT- families een ware doorbraak geweest. Ze maken een contextueel begrip van tekst mogelijk dat veel dichter bij de manier ligt waarop mensen lezen. Deze modellen worden gebruikt om documenten te classificeren, samenvattingen te genereren, entiteiten te extraheren en vragen over de inhoud te beantwoorden.

Bovendien kiezen veel organisaties ervoor om aangepaste machine learning-modellen te trainen met behulp van hun eigen documentatie. Hierdoor kunnen ze de modellen aanpassen aan hun terminologie, organisatiestructuur en interne regelgeving, waardoor een nauwkeurigheid in classificatie of patroonherkenning wordt bereikt die met generieke modellen niet mogelijk zou zijn.

Deze technologische basis wordt gebruikt om geïntegreerde oplossingen te bouwen die documentbeheersystemen, workflows, auditing, elektronische handtekeningen en samenwerkingstools omvatten , allemaal gekoppeld aan analytische en kunstmatige intelligentiemogelijkheden.

Documentbeheeroplossingen die AI integreren

De opties variëren van technologiegiganten tot open-source softwareprojecten, en de voorstellen zijn erop gericht de manier waarop organisaties hun bestanden beheren te verbeteren.

Bedrijven zoals Google en IBM bieden met platforms als Google Cloud en Watson diensten aan voor dataclassificatie, -analyse en -extractie die kunnen worden geïntegreerd in bestaande documentbeheersystemen. Daarnaast hebben bedrijven die zich richten op procesautomatisering, zoals UiPath en Automation Anywhere, softwarerobots ontwikkeld die complete documentworkflows kunnen beheren.

OpenKM onderscheidt zich van andere oplossingen die specifiek gericht zijn op documentbeheer als een open-source documentmanager die intelligente classificatie, metadata-extractie en AI-gestuurd semantisch zoeken combineert. Dankzij het open-source karakter is het platform in hoge mate aanpasbaar aan de specifieke behoeften van elke organisatie.

Een andere relevante tool is R2 Docuo , gericht op zowel documentbeheer als workflows. Dit platform belooft de inspanning die nodig is voor het maken, beheren, verspreiden en ondertekenen van documenten aanzienlijk te verminderen, door alles te automatiseren, van het genereren van sjablonen tot goedkeuring en uiteindelijke archivering.

Binnen de wereld van open-source bedrijfssoftware heeft Alfresco zich gevestigd als een toonaangevende optie voor content- en bestandsbeheer. Het biedt mogelijkheden voor procesaanpassing, het toevoegen van modules en integratie met externe AI-diensten, waardoor het een flexibele basis vormt voor het bouwen van ambitieuze projecten in grote organisaties.

Google Document AI en intelligente documentverwerking

Een van de duidelijkste voorbeelden van een gespecialiseerd platform is Google Document AI , een cloudservice die is ontworpen om de classificatie, extractie en analyse van documenten op grote schaal te automatiseren. Het is gericht op zowel particuliere bedrijven als overheidsorganisaties die grote hoeveelheden formulieren, facturen, bestanden of contracten verwerken.

Document AI combineert machine learning, NLP en computervisie om relevante velden in elk document te identificeren, ongeacht of het afkomstig is van een scan, een PDF of een schermafbeelding. Het kan de gangbare documentformaten in een bepaalde branche leren en die kennis hergebruiken voor nieuwe toepassingen.

Doordat deze oplossing als cloudservice beschikbaar is, is ze met name interessant voor organisaties die hun verwerkingscapaciteit snel willen opschalen zonder te hoeven investeren in eigen hardware of complexe infrastructuren te onderhouden.

Het resultaat is dat veel taken die voorheen uren handmatige controle vereisten, nu in minuten kunnen worden afgehandeld. Het team kan zich dan richten op validatie en waardevollere beslissingen in plaats van op gegevensinvoer.

Toepassing van AI in het openbaar bestuur

Overheidsinstanties vinden in kunstmatige intelligentie een bondgenoot voor efficiënter en transparanter documentbeheer . Van gemeenteraden tot ministeries, steeds meer projecten integreren automatische classificatie, bestandsanalyse en geavanceerde zoeksystemen.

Veel lokale en regionale overheden zetten AI-gestuurde documentbeheersystemen in om elektronische bestanden te ordenen, procedures te versnellen door documenten digitaal te ondertekenen en de toegang van burgers tot openbare informatie te verbeteren . Dit verkort de reactietijden en vergemakkelijkt de interne controle van processen.

Een concreet voorbeeld is het gebruik van Alfresco bij de gemeente Tomelloso voor het beheren en delen van interne documentatie. Hoewel het volledige potentieel nog niet wordt benut, zijn er initiatieven genomen om kennis te delen, zoals het opslaan van trainingscursussen die toegankelijk zijn voor alle medewerkers, waarmee de basis wordt gelegd voor een dynamisch digitaal archief.

AI-systemen worden ook gebruikt om patronen in documentatie te detecteren die kunnen wijzen op onregelmatigheden, inefficiënties of de noodzaak tot herziening van het overheidsbeleid, waardoor overheden betere strategische beslissingen kunnen nemen.

Bovendien staat de publieke sector voor de uitdaging om deze innovaties te verzoenen met wettelijke vereisten voor gegevensbescherming, transparantie en langdurige bewaring , waardoor de rol van archivarissen en juridische experts cruciaal is bij het ontwerpen en implementeren van deze oplossingen.

Carabela Project: AI voor historische handgeschreven archieven

Op het gebied van historisch erfgoed opent AI mogelijkheden die een paar jaar geleden nog sciencefiction leken. Een goed voorbeeld is het Carabela-project , dat zich richt op de probabilistische indexering van manuscriptcollecties met betrekking tot onderwaterhistorisch erfgoed.

Dit project, dat wordt bevorderd door het Andalusisch Instituut voor Historisch Erfgoed via zijn Centrum voor Onderwaterarcheologie en geleid door het Onderzoekscentrum voor Patroonherkenning en Menselijke Taaltechnologie (PRHLT) van de Polytechnische Universiteit van Valencia, past geavanceerde patroon- en taalherkenningstechnieken toe om gedigitaliseerde handgeschreven documenten te lokaliseren en te onderzoeken.

Dankzij AI is het mogelijk om vermeldingen, routes, schepen of gebeurtenissen met betrekking tot onderwatererfgoed te identificeren zonder duizenden pagina's handmatig te hoeven lezen, waardoor onderzoeksteams veel sneller relevante informatie kunnen vinden.

Het Carabela-project is gepresenteerd tijdens specifieke workshops voor onderzoekers en archiefmedewerkers , waarbij de nadruk lag op hoe deze technieken kunnen worden opgeschaald naar andere collecties historische manuscripten en als model kunnen dienen voor nieuwe projecten in de digitale geesteswetenschappen.

De implementatie van initiatieven zoals Carabela toont aan dat kunstmatige intelligentie niet alleen dient om administratieve procedures te stroomlijnen, maar ook historisch onderzoek en het behoud van erfgoed bevordert , waardoor nieuwe vragen en onderzoekslijnen ontstaan.

Opleidingen, cursussen en academische erkenning

De integratie van AI in de archiefwetenschap leidt ook tot een groeiend aanbod van cursussen, conferenties en wetenschappelijke publicaties die de impact ervan analyseren, ervaringen delen en geavanceerde toepassingen in verschillende contexten onderzoeken.

De trainingsactiviteiten omvatten modules over doelstellingen, sprekers, studentenprofiel, erkenning van studiepunten, evaluatieprocedures en accommodatiemogelijkheden . Dit geeft aan dat het geen losse workshops zijn, maar programma's met een zekere academische inhoud.

Tegelijkertijd publiceren gespecialiseerde tijdschriften op het gebied van bibliotheekwetenschap, documentatiewetenschap en archiefwetenschap artikelen die een systematisch overzicht geven van recente wetenschappelijke literatuur over AI en archieven, waarbij zowel de meest gevestigde toepassingen als de kennislacunes die nog moeten worden opgevuld, worden belicht.

Deze combinatie van praktische training en wetenschappelijke productie helpt archivarissen, documentalisten en IT-medewerkers een gemeenschappelijke taal te spreken , wat essentieel is voor het ontwerpen van realistische en doelgerichte projecten binnen elke instelling.

Daarnaast worden online cursussen aangeboden die zich richten op het verbeteren van de productiviteit met behulp van AI in de administratieve sector . Deze cursussen leggen op een praktische manier uit hoe deze tools kunnen worden geïntegreerd in de dagelijkse werkzaamheden van kantoren, afdelingen en archieven.

Documentbeheer in de cloud en de impact ervan op archieven

De uitbreiding van AI in archivering is nauw verbonden met de groei van cloudgebaseerd documentbeheer . Veel op deep learning gebaseerde diensten vereisen aanzienlijke rekenkracht, met name in de vorm van GPU's, wat lastig en kostbaar is om te onderhouden in traditionele on-premises infrastructuren.

Bij het Software as a Service (SaaS)-model bevinden documentbeheerapplicaties en AI-engines zich op externe servers , waardoor organisaties resources naar behoefte kunnen schalen, alleen betalen voor gebruik en zich geen zorgen hoeven te maken over het fysieke onderhoud van apparatuur.

Het klopt dat er bedenkingen bestaan ​​bij het opslaan van documenten op externe servers, die zich soms buiten het land bevinden, maar de voordelen op het gebied van schaalbaarheid, beveiliging, back-ups en toegang op afstand zijn duidelijk, mits er providers worden gekozen die voldoen aan de strenge Europese regelgeving inzake gegevensbescherming.

Voor IT-afdelingen betekent deze cloudbenadering een lagere systeembeheerlast , omdat het niet nodig is om software op elk werkstation te installeren of bij te werken, noch om hardware te dimensioneren voor gebruikspieken die slechts af en toe voorkomen.

Voor archieven biedt de cloud de mogelijkheid om grote hoeveelheden gedigitaliseerde documentatie openbaar beschikbaar te stellen , aangevuld met intelligente zoekmachines, zonder dat de interne infrastructuur een knelpunt vormt.

Dit complete ecosysteem van observatoria, onderzoeksprojecten, commerciële oplossingen en cloudplatformen creëert een scenario waarin kunstmatige intelligentie een alledaags hulpmiddel wordt voor archivarissen en documentbeheerders , in plaats van een geïsoleerd experiment. Naarmate professionals meer vertrouwd raken met de mogelijkheden en beperkingen ervan, nemen de toepassingsmogelijkheden toe die de productiviteit verhogen, de toegang tot informatie vergroten en het behoud van documentair erfgoed voor toekomstige generaties versterken. Bovendien dragen zoekmachines en zoektechnieken in archieven zelf bij aan het maximaliseren van de waarde van digitale archieven.