Typer metadata: en komplett guide til å forstå og utnytte dem

Informatec Digital » Databaser » Typer metadata: en komplett guide til å forstå og utnytte dem

På dette tidspunktet etterlater nesten alt vi gjør seg digitale spor: en e-post, et bilde, en rapport, en video eller et enkelt innlegg på sosiale medier. Sammen med dette innholdet følger et mindre synlig, men viktig lag: metadata . Dette fungerer som en etikett som forklarer hva hver ressurs er, hvor den kommer fra og hvordan den bør forvaltes.

Den underliggende ideen er enkel: de er detaljer som beskriver andre data . Noen ganger presenteres de som separate detaljer fra hovedinnholdet, for eksempel hvem som eier en tabell, hvilket format en fil har, eller når den ble endret. Andre ganger er de så integrerte at det er vanskelig å skille mellom hvor dataene slutter og hvor beskrivelsen begynner.

Hva er metadata, og hvorfor er det viktig?

Det finnes ingen universelt akseptert definisjon. Den mest utbredte definisjonen sier at de er data som beskriver andre data , men de formuleres også som informasjon om data, data om informasjon eller informasjon om informasjon. Innen tekniske felt, som telekommunikasjon og informatikk, forstås de som informasjon som vanligvis ikke er relevant for sluttbrukeren, selv om den er viktig for systemet som ber om, oppdaterer eller administrerer informasjonen. Innen biologi brukes de for eksempel som standardiserte beskrivelser av egenskapene til et datasett , inkludert konteksten de ble samlet inn i og standardene som ble brukt.

Grensen mellom data og metadata er ikke alltid klar. Et dikt kan være hovedinnholdet og samtidig bli metadata hvis det er knyttet til en sang som tekst. Noe lignende skjer med tittelen på en tekst: den er en del av verket og beskriver det også. Det er derfor vi til og med kan snakke om metadata , noe som høres rart ut, men som for eksempel hjelper å vite hvor hver informasjonsblokk kommer fra når man slår sammen to bilder med deres respektive beskrivelser.

Deres betydning har vokst med mengden data som organisasjoner håndterer. Når de administreres godt, forbedrer de tilgjengeligheten og navigasjonen gjennom store datalagre, transformerer rådata til nyttig kunnskap og lar brukere finne spesifikke data uten å gjennomgå hele datasettet. En detaljhandelsbedrift kan finne en måneds salgstall, filtrert etter kategori og region, uten å manuelt søke gjennom alle postene. Gartner anslo at selskaper som ikke tar i bruk en metadatadrevet tilnærming til modernisering av IT-systemet sitt, kan bruke opptil 40 % mer på datahåndtering.

Databaser, innholdsstyringssystemer og digitale biblioteker er avhengige av dem for å organisere, hente og administrere informasjon. Når data er godt organisert, kan bedrifter bedre utnytte forretningsintelligens, kunstig intelligens og maskinlæringsinitiativer. Videre opprettholder data datakvalitet, integritet og avstamning , og legger til rette for samsvar med forskrifter som GDPR, CCPA, ISO 27001, HIPAA og LGPD.

Hva brukes de til i hverdagen?

Å organisere og finne informasjon er en av de mest kjente oppgavene: det lar brukere klassifisere dokumenter, bilder eller filer og øke hastigheten på interne søk. Det gjør det også mulig å automatisere prosesser , som dokumentklassifisering med kunstig intelligens, noe som reduserer tid og menneskelige feil ved merking av sensitive materialer.

Når det gjelder regelverk, bidrar de til å identifisere hvor personopplysninger lagres og hvordan de håndteres, noe som kreves av rammeverk som GDPR, ISO 27001 og HIPAA. De muliggjør mer presis revisjonsforberedelse og unngåelse av straffer. Videre tilbyr de sporbarhet og versjonskontroll : hvem som fikk tilgang til dataene, hva som ble endret og når, noe som gir åpenhet i samarbeidende eller strengt regulerte miljøer.

Innen sikkerhet brukes de til å definere tilgangspolicyer, oppdage kritiske dokumenter og forhindre uautorisert tilgang. AI-baserte løsninger, som Kriptos, utnytter denne informasjonen til å forhindre datalekkasjer og automatisk klassifisere informasjon i henhold til sensitivitet. Andre mindre åpenbare bruksområder inkluderer forbedring av søkemotorsøk, brobygging av semantiske gap, representasjon av kunnskap, tilrettelegging av arbeidsflyter på tvers av formater, forbedring av videokomprimering og tilpasning av innholdspresentasjon for mobile enheter og synshemmede brukere.

Hovedklassifisering etter funksjon

Den vanligste inndelingen skiller mellom beskrivende, administrative og strukturelle metadata. Deskriptive metadata identifiserer og beskriver ressursen slik at den kan finnes og forstås: tittel, forfatter, sammendrag, nøkkelord, emner som dekkes, opprettelsesdato, filstørrelse og språk. Dette er vanligvis elementene bak et effektivt dokumentsøk.

Administrativt personale fokuserer på ressursforvaltning. Dette inkluderer teknisk personale, som dekoder og representerer filer, og spesifiserer filtype, størrelse, oppløsning, programvare for opprettelse og modifiseringsdato. Det finnes også rettighetspersonell, som registrerer forfatterskap, bruksbegrensninger, kommersielle lisenser og Creative Commons-lisenser, og bevaringspersonell, som støtter langsiktig bevaring; PREMIS-standarden er en referanse på dette området.

Strukturmarkører forklarer hvordan delene av en ressurs er organisert: kapitler i en bok, sider i et dokument, mappehierarkier eller lenker mellom komponenter. Disse kompletteres av markupspråk, som integrerer metadata med strukturelle eller semantiske markører i selve innholdet.

I noen tilnærminger inkluderer administrative parametere også brukertillatelser, oppbevaringsregler, brukslisenser og bevaringsregler. Bruksparametere beskriver hvordan en fil har blitt brukt: antall tilganger, bruker som åpnet den eller dato for siste tilgang. Dette laget er svært nyttig for revisjon, måling av popularitet og oppdagelse av glemte ressurser.

Andre måter å klassifisere dem på

Basert på innholdet kan metadata deles inn i de som beskriver ressursen som helhet og de som beskriver innholdet. Med andre ord beskriver noen selve objektet, mens andre beskriver emnet. Dette skillet er enkelt, men veldig praktisk for utforming av kataloger og søkesystemer.

Basert på variasjonen deres kan metadata være uforanderlige , som ikke endres uavhengig av hvilken del av ressursen som vises, for eksempel et filnavn, eller muterbare , som varierer avhengig av plassering eller synlig del, for eksempel innholdet i en video. Denne klassifiseringen bidrar til å bestemme hvilke beskrivelser som bør fikses og hvilke som bør oppdateres over tid.

Det finnes en annen funksjonell tilnærming, delt inn i tre lag: subsymbolske data, som ikke iboende gir mening; symbolske data, som beskriver førstnevnte og legger til mening; og logiske data, som indikerer hvordan man bruker de symbolske dataene til å trekke konklusjoner. Dette synet kobler metadata med kunnskapsrepresentasjon og med maskiners evne til å resonnere automatisk.

Strukturerte og ustrukturerte metadata

Strukturerte filer følger et forhåndsdefinert format, for eksempel XML, JSON eller CSV. De er standardiserte og lette å tolke av systemer, noe som gir automatisk behandling, interoperabilitet og konsistent validering. Ustrukturerte filer følger ikke et ensartet skjema: de vises i fritekst, notater, kommentarer eller uformelle tagger, og er vanskeligere å bruke i stor skala.

Denne forskjellen forklarer hvorfor mange organisasjoner prøver å konvertere spredte beskrivelser til standardiserte poster. Når metadata er godt modellert, kan de deles på tvers av plattformer, sammenlignes på tvers av databaser og gjenbrukes i forskjellige tjenester uten å måtte gjøre arbeidet på nytt fra bunnen av.

Praktiske eksempler på metadata

Et forretningsdokument inneholder tittel, forfatter, opprettelsesdato, nøkkelord og konfidensialitetsnivå; for eksempel en finansrapport for andre kvartal, signert av Ana Torres, med begreper som budsjett, inntekter og saldo, og høy konfidensialitet. Et digitalt bilde inneholder oppløsning, GPS-koordinater, dato og opptaksenhet, for eksempel et bilde på 4032×3024 piksler tatt med en Samsung Galaxy S23.

En institusjonell video kan inkludere varighet, MP4-format, redigeringsprogramvare som Adobe Premiere, spansk språk og undertekster. I en e-post inkluderer metadata avsender, mottakere, emne, dato, klokkeslett og vedlegg. I en relasjonsdatabase kan kundetabellen beskrives med felt som navn, e-post, risikonivå og land, i tillegg til siste oppdateringsdato.

Sosiale medier trives også på dette usynlige laget: hver LinkedIn-forbindelse, Facebook-vennskap eller Spotify-avspilling genererer relasjoner og mønstre som analyseres for å anbefale innhold og vise annonsering. Word-, PDF- og JPG-filer lagrer egenskaper som forfatter, opprettelsesdato og størrelse, noe som er nyttig for søk etter dato eller forfatter. I HTML gir generelle metatagger forfatter, beskrivelse, nøkkelord og siste revisjon, mens HTTP-tagger kan endre overskrifter med handlinger som å oppdatere siden, lagre en informasjonskapsel eller angi dokumenttypen.

Metadata innen databehandling, nett og læring

Innen databehandling brukes de til å strukturere relasjonsdatabaser, berike nettinnhold med SEO og Schema.org, legge til rette for interoperabilitet mellom systemer og beskytte informasjon i skyen. I filsystemer, som HFS eller ReiserFS, og i intelligente søkemotorer som Beagle eller Spotlight, hjelper de med å indeksere og finne ressurser. De vises også i bildeorganisatorer som F-Spot, Picasa eller iPhoto, og i musikkbehandlingsprogramvare som leser ID3-tagger på MP3-er eller CD-er, som iTunes og Rhythmbox.

I e-læring beskrives pedagogiske objekter og ressurser for å forenkle søk i arkiver. IEEE LOM-standarden definerer ni kategorier som gjør det mulig å beskrive en ressurs fra både et pedagogisk og teknisk perspektiv, noe som forbedrer gjenbruk, gjenfinning, interoperabilitet, livssyklushåndtering og beskyttelse av immaterielle rettigheter. En ressurs med god pedagogisk design er ikke nok: hvis metadataene er dårlige, mister den verdi som et læringsobjekt.

Paradata er et annet relatert konsept. Det genereres når en bruker samhandler med en utdanningsressurs eller -tjeneste, og registreres vanligvis som en kombinasjon av bruker, tid, tjeneste, ressurs og resultat. Analyse av paradata muliggjør opprettelse av anbefalinger, omdømmeordninger, interaksjonsvisualiseringer og identifisering av problemer eller muligheter for forbedring. Noen ganger lagres det i ressursens metadata, i brukerens profil eller, mer vanlig, i en separat tabell eller database.

Livssyklus, oppretting og lagring

Metadata-livssyklusen omfatter opprettelse, manipulering og destruksjon. Metadata kan genereres manuelt, halvautomatisk eller automatisk. Manuell generering er arbeidskrevende og avhenger av format og volum, og blir noen ganger upraktisk. Automatisk generering har som mål at programvare skal innhente informasjonen uten ekstern hjelp, selv om det fortsatt er komplekst å utvinne alt maskinelt. Derfor anses halvautomatisk generering som realistisk: algoritmer opererer, og en person avklarer tvil eller foreslår data som systemet ikke kan utvinne.

Eksperter anbefaler å ikke vente med metadatagenerering til slutten, men heller integrere dem under ressursopprettelsen, arkivere metadata så snart de oppstår, og utnytte ressursskaperens kunnskap. Hvis dataene endres, må også metadataene endres; noen modifikasjoner er automatiserte, men andre krever menneskelig inngripen. Metaproduksjon – det vil si å gjenbruke deler av ressurser for å lage andre – kompliserer metadatasammenslåing, spesielt når digitale rettigheter er involvert. Sletting krever også nøye vurdering: noen ganger er det best å slette metadata sammen med ressursen, og andre ganger å beholde dem for å overvåke endringer.

Det finnes to måter å lagre metadata på: i selve dokumentet eller i en ekstern ressurs. I starten var intern lagring foretrukket for bedre administrasjon, men i dag foretrekkes ekstern lagring fordi den konsoliderer metadata og optimaliserer søk. Utfordringen ligger i å koble ressursen og beskrivelsen; mange standarder bruker URI-er, men spørsmålet gjenstår om hva man skal gjøre med dokumenter som mangler en URI. Formater har utviklet seg fra ren tekst eller binær til XML, som kan leses av både mennesker og maskiner, selv om det tar mer plass og det ikke alltid er enkelt å konvertere trestrukturen til en datastrøm. Derfor finnes det verktøy for å konvertere mellom XML og binær.

For å sikre ensartethet anbefales kontrollerte vokabularer, som definerer begrepene i et felt og forhindrer at en søkemotor finner «español» (spansk), men ikke «española» (spansk). Ontologier går lenger og definerer forhold mellom begreper, slik at en maskin forstår at Van Gogh var en nederlandsk maler selv om brukeren søker etter «pintores náuticos» (nederlandske malere). Folkesonomier er like, men de er laget av brukerne selv snarere enn av eksperter.

Vanlige utfordringer, kritikk og problemer

Det er ikke bare fordeler. Noen kritiserer metadata for å være dyre, trege å produsere, og for at bedrifter ikke alltid ser nok etterspørsel. Det sies også at det er komplisert, at folk ikke tar i bruk standarder fordi de ikke forstår dem, og at det avhenger av perspektiv og kontekst: to personer kan beskrive den samme ressursen på forskjellige måter. Videre anses det som ubegrenset, fordi flere lag alltid kan legges til, og noen ser det som overflødig i møte med stadig kraftigere søkemotorer og søketeknikker, for eksempel.

I praksis oppstår problemer som ufullstendighet, siden det er kjedelig og ofte gjøres ufullstendig å fylle ut poster når det er tusenvis av objekter eller for mange felt. Interoperabilitet er komplisert fordi hver institusjon kan bruke forskjellige vokabularer for samme element. Det er også semantiske inkonsekvenser, ufullstendig informasjon og beskrivelser skrevet for mennesker som maskiner sliter med å behandle. Likevel er mange metadataformater populære og viser sin nytte når de er godt utformet.

De mest kjente standardene og formatene

Vanlige formater og standarder inkluderer ID3 for MP3-lyd, MPEG-7, MPEG-21, TV-Anytime, EXIF ​​for bilder, Dublin Core, LOM for læringsobjekter, RDF, RDF Schema, OWL, NewsML, SportsML, ONIX for bøker i forlagsbransjen og ISO 19115 for geografisk informasjon. Hver av dem dekker spesifikke behov og har vanligvis sitt opphav i fellesskap som krever felles regler for utveksling av metadata.

Formålet med multimedieteknikker er å beskrive spesifikke ressurser, mens det semantiske nettet har som mål å beskrive typer ressurser og koble kunnskap sammen. Denne forskjellen former hvordan vokabularer, ontologier og spørresystemer utformes.

Sikkerhet, samsvar og moderne verktøy

Metadata er en strategisk ressurs for cybersikkerhet og samsvar. Det muliggjør lokalisering av personopplysninger, merking av dokumenter i henhold til sensitivitet, anvendelse av tilgangspolicyer, generering av revisjonsrapporter og forebygging av datainnbrudd. Kriptos bruker for eksempel kunstig intelligens til å klassifisere sensitive dokumenter basert på metadataanalyse, identifisere skjult kritisk informasjon, automatisk merke dem, forhindre lekkasjer, lage regulatoriske rapporter og gi fullstendig innsikt i informasjonsøkosystemet.

Sammenlignet med tradisjonelle verktøy som regneark, grunnleggende dokumenthåndteringssystemer eller manuelle prosesser, automatiserer en moderne plattform generering og analyse, reduserer feil og skjevheter, sentraliserer synlighet, håndhever forretningstilpassede policyer og implementerer beskyttelse, kryptering, sletting eller dekryptering. Samsvar blir proaktivt, ikke en kostbar manuell revisjon. Videre skalerer den for å analysere millioner av filer på få minutter, uavhengig av opprinnelse eller format, og tilpasser seg nye policyer uten komplekse omkonfigureringer.

Når det gjelder sikkerhet, er forskjellen tydelig: tradisjonelle metoder tillater ikke alltid deteksjon av sensitive dokumenter eller begrensning av tilgang basert på konfidensialitetsnivåer, noe som øker risikoen for interne lekkasjer. Avkastningen på investeringen forbedres også ved å redusere driftstider, minimere feil, automatisere kritiske oppgaver og forhindre hendelser som kan skade omdømmet eller føre til straffer. Manuell klassifisering kan virke billig, men de skjulte kostnadene ved feil, manglende overholdelse, tapt tid og cybersikkerhetsrisikoer er ofte mye høyere i det lange løp.

Metadata er mye mer enn tekniske etiketter: det er kompasset som lar oss forstå, organisere og beskytte digital informasjon. Å klassifisere dem etter funksjon, innhold eller variasjon bidrar til å designe bedre systemer, og intelligent bruk forbedrer søkbarhet, interoperabilitet, samsvar med regelverk, sikkerhet og beslutningstaking. I et miljø der data stadig vokser, utgjør det å mestre dette usynlige laget forskjellen mellom å samle informasjon og å transformere den til reell verdi.