Kecerdasan buatan dalam pengurusan arkib dan dokumen

Informatec Digital » Sumber » Kecerdasan Buatan dalam arkib dan pengurusan dokumen

Kecerdasan buatan yang digunakan pada pengurusan fail dan dokumen berasaskan awan secara asasnya mengubah cara kita bekerja dengan fail, rekod sejarah, dokumentasi pentadbiran dan semua jenis rekod. Beratus-ratus atau ribuan dokumen dicipta setiap hari dalam syarikat, universiti dan pentadbiran awam, dan tanpa sistem yang baik, ia boleh menjadi kucar-kacir dan tidak dapat digunakan.

Apa yang menarik ialah, hasil daripada AI, dokumen-dokumen ini tidak lagi sekadar fail yang disimpan dan menjadi sumber maklumat aktif untuk membuat keputusan . Teknologi seperti pengecaman aksara optik, pemprosesan bahasa semula jadi dan pembelajaran mesin membolehkan lokasi kandungan yang lebih baik, automasi tugas yang membosankan dan akses kepada fail untuk khalayak yang lebih luas.

Sains arkib pada zaman kecerdasan buatan

Sains arkib, yang difahami sebagai disiplin yang berkaitan dengan pengurusan kitaran hayat dokumen yang lengkap (penciptaan, organisasi, pemeliharaan jangka panjang dan akses), telah secara progresif menggabungkan sains komputer dan kini mengalami lonjakan kualitatif dengan AI. Ia bukan sekadar tentang pendigitalan, tetapi tentang benar-benar memanfaatkan kandungan dokumen.

Dalam beberapa tahun kebelakangan ini, kajian sistematik telah diterbitkan yang mengkaji kesan AI terhadap arkib , menganalisis literatur akademik dalam pangkalan data seperti Scopus, SciELO, LISA dan Google Scholar menggunakan metodologi seperti PICOC dan PRISMA. Kajian-kajian ini mendedahkan bahawa, walaupun masih terdapat sedikit kekurangan kesedaran dalam kalangan ramai profesional, aplikasi praktikalnya sudah sangat ketara.

Antara sumbangan paling jelas kecerdasan buatan kepada sains arkib ialah pemeliharaan digital berbantu, penjanaan metadata automatik dan pengecaman teks tulisan tangan (HTR) . Ini dilengkapi dengan pembelajaran mesin dan aplikasi pemprosesan bahasa semula jadi yang meningkatkan carian dan pencarian maklumat, sekali gus memupuk akses yang lebih demokratik kepada koleksi arkib.

Walaupun AI berkembang pesat, belum semua institusi memanfaatkan sepenuhnya potensinya . Banyak arkib terus menggunakan prosedur yang sangat manual, sama ada disebabkan oleh kekurangan sumber, kekurangan kesedaran tentang alat yang tersedia, atau keengganan untuk mengubah proses mereka dan mematuhi piawaian ISO 27000.

Balai Cerap Kecerdasan Buatan dalam Arkib

Dalam landskap Sepanyol, Balai Cerap Kecerdasan Buatan dalam Arkib menonjol , sebuah kumpulan kerja yang terdiri daripada profesional daripada pelbagai komuniti dan organisasi autonomi yang memantau dengan teliti bagaimana AI digunakan dalam bidang ini dan menggalakkan amalan baik.

Balai Cerap ini terdiri daripada pakar dari Wilayah Murcia, Universiti Santiago de Compostela, Komuniti Valencia, Kepulauan Balearic, Majlis Bandaraya Sant Cugat del Vallès, Komuniti Madrid, Komuniti Bertauliah Navarre, Catalonia, Negara Basque, Castile dan León, Direktorat Jeneral Arkib Negeri dan entiti lain . Kepelbagaian wilayah dan organisasi ini membolehkan perspektif yang sangat luas tentang keperluan dan projek.

Kumpulan ini diselaraskan oleh Désirée Domínguez Pallas, pengarah Arkib Universiti Santiago de Compostela , yang menggalakkan pertukaran pengalaman dan refleksi mengenai cabaran teknikal, etika dan organisasi yang berkaitan dengan penggunaan sistem pintar dalam pengurusan arkib.

Inisiatif seperti ini menggalakkan penggunaan AI bukan secara terasing dan tidak teratur, tetapi sebaliknya perkongsian kriteria teknikal, contoh dunia sebenar dan bidang kerja yang sama , yang merupakan asas bagi arkib awam untuk bergerak maju secara koheren.

Konsep AI utama dalam pengurusan dokumen

Apabila kita bercakap tentang kecerdasan buatan yang digunakan pada dokumen dan fail, beberapa teknologi akan digunakan yang, jika digabungkan, membolehkan kita membaca, memahami, mengklasifikasikan dan menggunakan maklumat yang terkandung dalam dokumen tersebut . Teknologi utama ialah OCR, pemprosesan bahasa semula jadi dan pembelajaran mesin, serta enjin carian seperti Elasticsearch.

Pengecaman Aksara Optik (OCR) menukar imej dokumen (imbasan, gambar, PDF yang dijana imej) kepada teks digital yang boleh diedit dan diproses. Enjin OCR semasa mampu berfungsi dengan fon kompleks dan juga skrip tulisan tangan tertentu, membuka pintu untuk memproses koleksi sejarah yang besar.

Pemprosesan Bahasa Semula Jadi (NLP) membolehkan mesin menganalisis dan memahami bahasa manusia. Dengan teknik ini, adalah mungkin untuk menambah baik carian, mengekstrak entiti (orang, tempat, tarikh), meringkaskan dokumen, menterjemah teks dan menjana penerangan automatik, antara banyak fungsi lain.

Pembelajaran mesin, sebaliknya, adalah berdasarkan model yang belajar daripada contoh. Dalam bidang arkib, ia membolehkan latihan sistem yang membezakan jenis dokumen, mengesan corak dalam data atau meramalkan siri mana dokumen tergolong berdasarkan kandungannya, belajar daripada koleksi yang telah dikelaskan oleh profesional dan disimpan dalam pelbagai jenis pangkalan data.

Banyak penyelesaian juga menggabungkan visi komputer , yang menganalisis imej melangkaui teks sahaja. Ini amat berguna untuk mengurus gambar sejarah, pelan, lukisan teknikal atau dokumen lama yang diimbas dengan kualiti rendah, di mana perlu mengenal pasti bidang yang diminati sebelum menggunakan teknik lain.

Cara sistem pengurusan dokumen berkuasa AI berfungsi

Dalam operasi harian, sistem pengurusan dokumen moden dengan kecerdasan buatan biasanya bermula dengan fasa pendigitalan dan penangkapan . Walaupun kebanyakan pengeluaran dokumen hari ini dilahirkan secara digital, masih terdapat sejumlah besar kertas dan bahan yang diimbas yang perlu diproses oleh OCR lanjutan.

Dokumen bercetak atau imej PDF dihantar ke alat OCR yang mengecam teks dan menukarnya kepada kandungan yang boleh diindeks . Banyak mesin fotokopi moden sudah menggabungkan enjin jenis ini dan terdapat juga penyelesaian khusus untuk pengimbasan volum tinggi.

Sebaik sahaja kandungan diubah menjadi teks, model NLP dan pembelajaran mesin akan digunakan . Model ini menganalisis dokumen, mengenal pasti subjeknya, mengekstrak data penting (cth., nama, nombor fail, tarikh, jumlah) dan mengklasifikasikannya dalam skim klasifikasi organisasi atau sistem pengurusan dokumen.

Dengan maklumat tersebut, sistem boleh menetapkan metadata secara automatik, mencadangkan siri dokumen, mengaitkan dokumen antara satu sama lain dan memudahkan carian yang lebih kaya , menggabungkan istilah percuma, penapis mengikut tarikh, jenis, subjek atau tempat.

Nilai tambah yang hebat ialah sistem ini belajar dengan penggunaannya : apabila kakitangan arkib membetulkan, mengesahkan atau melaraskan cadangan pengelasan, model tersebut meningkatkan ketepatannya dan menawarkan hasil yang lebih disesuaikan dengan konteks setiap arkib atau institusi.

Aplikasi praktikal AI dalam pengurusan fail

Dalam praktiknya, AI boleh campur tangan dalam hampir setiap fasa pengurusan dokumen, membantu mengurangkan kerja berulang, meminimumkan ralat dan memanfaatkan dokumen sebagai sumber maklumat strategik . Sesetengah kegunaan amat penting dalam sektor awam dan swasta.

Salah satu yang paling meluas ialah pengelasan dokumen secara automatik mengikut kandungan, jenis atau format. Sistem ini mencadangkan atau menetapkan kategori, siri atau fail daripada melabel setiap dokumen secara manual, sekali gus mempercepatkan proses dan memudahkan pematuhan peraturan.

AI juga digunakan untuk mengekstrak maklumat yang berkaitan , seperti nama, alamat, tarikh, rujukan kawal selia atau nombor fail orang ramai. Maklumat ini kemudiannya disimpan dalam pangkalan data atau papan pemuka untuk memudahkan perundingan dan analisis lanjut.

Satu lagi aplikasi yang jelas ialah penjanaan ringkasan dan laporan secara automatik daripada set dokumen yang besar. Alat berasaskan bahasa, seperti beberapa pembantu perbualan atau perkhidmatan jenis ChatPDF, boleh mensintesis perkara utama fail, kontrak atau set laporan hampir serta-merta.

Pengambilan dokumen lanjutan merupakan satu lagi bidang di mana lonjakan kualitatif jelas kelihatan. Enjin carian dalaman yang dikuasakan oleh AI membolehkan pengguna mencari maklumat walaupun mereka tidak mengingati tajuk dokumen yang tepat atau menggunakan perkataan yang berbeza daripada yang terdapat dalam teks asal, hasil carian semantik yang lebih hampir dengan bahasa semula jadi.

Dalam sektor yang dikawal selia, banyak organisasi menggunakan AI untuk mengukuhkan pematuhan peraturan dan mengesan maklumat sensitif . Sistem boleh mengenal pasti data peribadi, maklumat sulit, tempoh pengekalan atau lesen yang hampir tamat tempoh, membantu mencegah ketidakpatuhan dan mengurus risiko dengan lebih baik.

Secara selari, idea arkib pintar berbantu muncul , di mana sistem bukan sahaja menyimpan dan menganjurkan, tetapi juga membantu menyediakan dokumen, pembentangan atau jawapan, secara automatik mencari maklumat yang paling relevan untuk setiap kes penggunaan.

Model dan platform AI untuk dokumen

Ekosistem alatan yang digunakan dalam pengurusan dokumen terdiri daripada enjin yang sangat khusus hinggalah model bahasa yang canggih . Setiap satu merangkumi sebahagian daripada proses, dan bersama-sama ia membentuk penyelesaian yang sangat berkuasa.

Dalam bidang OCR, salah satu enjin yang paling terkenal ialah Tesseract , projek sumber terbuka yang digunakan secara meluas untuk menukar imej kepada teks. Banyak penyelesaian komersial mengintegrasikannya atau bergantung pada teknologi serupa yang disesuaikan untuk manuskrip dan dokumen sejarah.

Bagi pemprosesan bahasa semula jadi, model seperti BERT dan pelbagai keluarga GPT telah menjadi pengubah keadaan, membolehkan pemahaman kontekstual teks yang lebih hampir dengan cara manusia membaca. Model ini digunakan untuk mengklasifikasikan dokumen, menjana ringkasan, mengekstrak entiti dan menjawab pertanyaan tentang kandungan.

Tambahan pula, banyak organisasi memilih untuk melatih model pembelajaran mesin tersuai menggunakan dokumentasi mereka sendiri. Ini membolehkan mereka menyesuaikan diri dengan terminologi, struktur organisasi dan peraturan dalaman mereka, mencapai tahap ketepatan dalam pengelasan atau pengesanan corak yang tidak mungkin dilakukan dengan model generik.

Asas teknologi ini digunakan untuk membina penyelesaian bersepadu yang merangkumi sistem pengurusan dokumen, aliran kerja, pengauditan, tandatangan elektronik dan alat kolaborasi , semuanya berkaitan dengan keupayaan analitikal dan kecerdasan buatan.

Penyelesaian pengurusan dokumen yang menggabungkan AI

Pelbagai pilihan terdiri daripada syarikat gergasi teknologi hinggalah projek perisian sumber terbuka, dan cadangan tersebut bertujuan untuk menambah baik cara organisasi menguruskan fail mereka.

Syarikat seperti Google dan IBM , dengan platform seperti Google Cloud dan Watson, menawarkan perkhidmatan pengelasan, analisis dan pengekstrakan data yang boleh diintegrasikan ke dalam sistem pengurusan dokumen sedia ada. Tambahan pula, syarikat yang menumpukan pada automasi proses, seperti UiPath dan Automation Anywhere, telah mencipta robot perisian yang mampu mengurus keseluruhan aliran kerja dokumen.

Antara penyelesaian yang khusus ditujukan kepada pengurusan dokumen , OpenKM menonjol sebagai pengurus dokumen sumber terbuka yang menggabungkan pengelasan pintar, pengekstrakan metadata dan carian semantik berkuasa AI. Sifat sumber terbukanya membolehkan penyesuaian dan penyesuaian tahap tinggi kepada keperluan setiap organisasi.

Satu lagi alat yang berkaitan ialah R2 Docuo , yang ditujukan kepada pengurusan dokumen dan aliran kerja. Platform ini menjanjikan untuk mengurangkan usaha yang terlibat dalam mencipta, mengawal, mengedarkan dan menandatangani dokumen dengan ketara, mengautomasikan segala-galanya daripada penjanaan templat kepada kelulusan dan pengarkiban akhir.

Dalam bidang perisian sumber terbuka perusahaan, Alfresco telah mengukuhkan kedudukannya sebagai pilihan utama untuk pengurusan kandungan dan fail. Ia membolehkan penyesuaian proses, penambahan modul dan penyepaduan dengan perkhidmatan AI luaran, menjadikannya asas yang fleksibel untuk membina projek yang bercita-cita tinggi di institusi besar.

AI Dokumen Google dan pemprosesan dokumen pintar

Salah satu contoh paling jelas bagi platform khusus ialah Google Document AI , perkhidmatan berasaskan awan yang direka untuk mengautomasikan pengelasan, pengekstrakan dan analisis dokumen secara besar-besaran. Ia ditujukan kepada syarikat swasta dan organisasi awam yang mengendalikan sejumlah besar borang, invois, fail atau kontrak.

Document AI menggabungkan pembelajaran mesin, NLP dan visi komputer untuk mengenal pasti medan yang berkaitan dalam setiap dokumen, tidak kira sama ada ia datang daripada imbasan, PDF atau tangkapan skrin. Ia boleh mempelajari format dokumen biasa dalam industri tertentu dan menggunakan semula pengetahuan tersebut untuk aplikasi baharu.

Memandangkan penyelesaian jenis ini tersedia sebagai perkhidmatan awan, ia amat menarik untuk organisasi yang perlu meningkatkan kapasiti pemprosesan mereka dengan cepat tanpa perlu melabur dalam perkakasan mereka sendiri atau menyelenggara infrastruktur yang kompleks.

Hasilnya ialah banyak tugasan yang sebelum ini memerlukan semakan manual selama berjam-jam boleh diselesaikan dalam beberapa minit, dengan pasukan manusia didedikasikan untuk pengesahan dan keputusan nilai tambah yang lebih tinggi dan bukannya kemasukan data.

Aplikasi AI dalam Pentadbiran Awam

Pentadbiran awam sedang mencari sekutu dalam kecerdasan buatan untuk mengurus dokumentasi dengan lebih cekap dan telus . Daripada majlis bandar hinggalah kementerian, semakin banyak projek yang menggabungkan pengelasan automatik, analisis fail dan sistem carian lanjutan.

Banyak kerajaan tempatan dan serantau sedang menggunakan sistem pengurusan dokumen berkuasa AI untuk mengatur fail elektronik, mempercepatkan prosedur dengan menandatangani dokumen secara digital dan meningkatkan akses rakyat kepada maklumat awam . Ini mengurangkan masa tindak balas dan memudahkan kawalan dalaman proses.

Satu contoh konkrit ialah penggunaan Alfresco di Majlis Bandaraya Tomelloso untuk mengurus dan berkongsi dokumentasi dalaman. Walaupun potensi penuhnya belum digunakan, inisiatif telah dilancarkan untuk berkongsi pengetahuan, seperti menyimpan kursus latihan yang boleh diakses oleh semua kakitangan, meletakkan asas untuk arkib digital yang dinamik.

Sistem AI juga digunakan untuk mengesan corak dalam dokumentasi yang mungkin menunjukkan penyelewengan, ketidakcekapan atau keperluan untuk semakan dasar awam, membantu membimbing keputusan strategik pentadbiran dengan lebih baik.

Tambahan pula, sektor awam menghadapi cabaran untuk menyelaraskan inovasi ini dengan keperluan undang-undang untuk perlindungan data, ketelusan dan pemeliharaan jangka panjang , menjadikan peranan arkivis dan pakar undang-undang penting dalam mereka bentuk dan melaksanakan penyelesaian ini.

Projek Carabela: AI untuk arkib tulisan tangan sejarah

Dalam bidang warisan sejarah, AI membuka kemungkinan yang kelihatan seperti fiksyen sains beberapa tahun yang lalu. Satu contoh yang baik ialah Projek Carabela , yang menumpukan pada pengindeksan kebarangkalian koleksi manuskrip yang berkaitan dengan warisan sejarah bawah air.

Projek ini, yang dipromosikan oleh Institut Warisan Sejarah Andalusia melalui Pusat Arkeologi Bawah Air dan diketuai oleh Pusat Penyelidikan untuk Pengecaman Corak dan Teknologi Bahasa Manusia (PRHLT) di Universiti Politeknik Valencia, menggunakan teknik pengecaman corak dan bahasa lanjutan untuk mencari dan menyiasat dokumentasi tulisan tangan digital.

Hasil daripada AI, adalah mungkin untuk mengenal pasti sebutan, laluan, kapal atau peristiwa yang berkaitan dengan warisan bawah air tanpa perlu membaca beribu-ribu halaman secara manual, sekali gus menggandakan keupayaan pasukan penyelidikan untuk menemui maklumat yang berkaitan.

Projek Carabela telah dibentangkan di bengkel khusus yang ditujukan kepada penyelidik dan profesional arkib , dengan memberi tumpuan kepada bagaimana teknik ini dapat ditingkatkan kepada koleksi manuskrip sejarah yang lain dan berfungsi sebagai model untuk projek baharu dalam kemanusiaan digital.

Pelaksanaan inisiatif seperti Carabela menunjukkan bahawa kecerdasan buatan bukan sahaja berfungsi untuk memperkemas prosedur pentadbiran, tetapi juga menggalakkan penyelidikan sejarah dan pemeliharaan warisan , membuka persoalan dan bidang kajian baharu.

Latihan, kursus dan pengiktirafan akademik

Penggabungan AI ke dalam sains arkib juga menjana bekalan kursus, persidangan dan penerbitan akademik yang semakin meningkat yang menganalisis impaknya, berkongsi pengalaman dan meneroka kegunaan lanjutan dalam konteks yang berbeza.

Aktiviti latihan dianjurkan yang merangkumi modul mengenai objektif, penceramah, profil pelajar, pengiktirafan kredit universiti, prosedur penilaian dan pilihan penginapan , yang menunjukkan bahawa ini bukanlah bengkel sekali sahaja, tetapi program dengan bahan akademik tertentu.

Secara selari, jurnal khusus dalam sains perpustakaan, dokumentasi dan sains arkib menerbitkan artikel yang mengulas secara sistematik kesusasteraan saintifik terkini tentang AI dan arkib, menonjolkan kedua-dua aplikasi yang paling mantap dan jurang pengetahuan yang masih perlu diisi.

Gabungan latihan praktikal dan penerbitan saintifik ini membantu arkivis, dokumentari dan kakitangan IT untuk bertutur dalam bahasa yang sama , yang penting untuk mereka bentuk projek yang realistik dan tertumpu dengan baik di setiap institusi.

Di samping itu, kursus dalam talian yang tertumpu pada peningkatan produktiviti dengan AI dalam bidang pentadbiran sedang dipromosikan , yang menerangkan secara aplikasi bagaimana alat ini dapat diintegrasikan ke dalam operasi harian pejabat, jabatan dan arkib.

Pengurusan dokumen dalam awan dan kesannya pada arkib

Perkembangan AI dalam pengarkiban berkait rapat dengan pertumbuhan pengurusan dokumen berasaskan awan . Banyak perkhidmatan berasaskan pembelajaran mendalam memerlukan kuasa pengkomputeran yang ketara, terutamanya dari segi GPU, yang sukar dan mahal untuk diselenggara dalam infrastruktur di premis tradisional.

Dengan model Perisian sebagai Perkhidmatan (SaaS), aplikasi pengurusan dokumen dan enjin AI berada pada pelayan luaran , yang membolehkan organisasi meningkatkan sumber apabila diminta, hanya membayar untuk penggunaan dan tidak perlu risau tentang penyelenggaraan fizikal peralatan.

Memang benar terdapat keraguan tentang penyimpanan dokumen pada pelayan luaran, yang kadangkala terletak di luar negara, tetapi kelebihan dari segi skalabiliti, keselamatan, sandaran dan aksesibiliti jarak jauh adalah jelas, dengan syarat penyedia dipilih yang mematuhi peraturan perlindungan data Eropah yang mendesak.

Bagi jabatan IT, pendekatan awan ini bermakna beban pentadbiran sistem yang lebih rendah , memandangkan tidak perlu memasang atau mengemas kini perisian pada setiap stesen kerja, mahupun mengukur saiz perkakasan untuk puncak penggunaan yang hanya berlaku sekali-sekala.

Bagi arkib, awan membuka kemungkinan untuk menyediakan dokumentasi digital dalam jumlah besar kepada orang ramai , dilengkapi dengan enjin carian pintar, tanpa infrastruktur dalaman menjadi penghalang.

Keseluruhan ekosistem balai cerap, projek penyelidikan, penyelesaian komersial dan platform awan ini sedang membentuk senario di mana kecerdasan buatan menjadi alat harian untuk arkib dan pengurus rekod , bukan eksperimen terpencil. Apabila golongan profesional menjadi lebih biasa dengan kemungkinan dan batasannya, kes penggunaan semakin berganda yang meningkatkan produktiviti, meluaskan akses kepada maklumat dan mengukuhkan pemeliharaan warisan dokumentari untuk generasi akan datang. Tambahan pula, enjin carian dan teknik untuk mencari arkib itu sendiri membantu memaksimumkan nilai repositori digital.