Штучний інтелект в архівах та управлінні документами

Інформатек Діджитал » Ресурси » Штучний інтелект в архівах та управлінні документами

Штучний інтелект, застосований до хмарного управління файлами та документами, докорінно змінює те, як ми працюємо з файлами, історичними записами, адміністративною документацією та всіма типами записів. Сотні або тисячі документів створюються щодня в компаніях, університетах та державних адміністраціях, і без хорошої системи вони можуть легко перетворитися на хаотичний безлад, який неможливо використовувати.

Цікаво, що завдяки штучному інтелекту ці документи перестають бути просто збереженими файлами та стають активними джерелами інформації для прийняття рішень . Такі технології, як оптичне розпізнавання символів, обробка природної мови та машинне навчання, дозволяють краще знаходити контент, автоматизувати виснажливі завдання та надати доступ до файлів набагато ширшій аудиторії.

Архівна наука в епоху штучного інтелекту

Архівна справа, що розуміється як дисципліна, що займається повним управлінням життєвим циклом документів (створення, організація, довгострокове зберігання та доступ), поступово інтегрувала інформатику та зараз переживає якісний стрибок зі штучним інтелектом. Йдеться не лише про оцифрування, а й про справжнє використання змісту документів.

В останні роки було опубліковано систематичні дослідження, що розглядають вплив штучного інтелекту на архіви , аналізуючи академічну літературу в таких базах даних, як Scopus, SciELO, LISA та Google Scholar, з використанням таких методологій, як PICOC та PRISMA. Ці дослідження показують, що, хоча серед багатьох фахівців все ще існує певна недостатня обізнаність, практичне застосування вже є дуже відчутним.

Серед найяскравіших внесків штучного інтелекту в архівну науку – допоміжне цифрове збереження, автоматична генерація метаданих та розпізнавання рукописного тексту (HTR) . Вони доповнюються машинним навчанням та програмами обробки природної мови, які покращують пошук та отримання інформації, сприяючи більш демократичному доступу до архівних колекцій.

Хоча штучний інтелект стрімко розвивається, не всі установи ще повною мірою використовують його потенціал . Багато архівів продовжують використовувати переважно ручні процедури через брак ресурсів, недостатню обізнаність про доступні інструменти або небажання змінювати свої процеси та дотримуватися стандартів ISO 27000.

Обсерваторія штучного інтелекту в архівах

В іспанському ландшафті виділяється Обсерваторія штучного інтелекту в архівах – робоча група, що складається з фахівців з різних автономних спільнот та організацій, яка уважно стежить за застосуванням штучного інтелекту в цій галузі та пропагує передовий досвід.

Обсерваторія складається з фахівців з регіону Мурсія, Університету Сантьяго-де-Компостела, Валенсійської спільноти, Балеарських островів, міської ради Сант-Кугат-дель-Вальєс, спільноти Мадрид, Чартерної спільноти Наварра, Каталонії, Країни Басків, Кастилії і Леона, Генерального директорату державних архівів та інших установ . Таке територіальне та організаційне розмаїття дозволяє отримати дуже широкий погляд на потреби та проекти.

Координатором групи є Дезіре Домінгес Паллас, директор Архіву Університету Сантьяго-де-Компостела , яка сприяє обміну досвідом та роздумам про технічні, етичні та організаційні проблеми, пов'язані з використанням інтелектуальних систем в управлінні архівами.

Такі ініціативи заохочують впровадження штучного інтелекту не ізольовано та неорганізовано, а радше шляхом обміну технічними критеріями, реальними прикладами та спільними напрямками роботи , що є основоположним для злагодженого розвитку публічних архівів.

Ключові концепції штучного інтелекту в управлінні документами

Коли ми говоримо про штучний інтелект, застосований до документів і файлів, в гру вступають кілька технологій, які разом дозволяють нам читати, розуміти, класифікувати та використовувати інформацію, що міститься в документах . Основними з них є оптичне розпізнавання символів (OCR), обробка природної мови та машинне навчання, а також пошукові системи, такі як Elasticsearch.

Оптичне розпізнавання символів (OCR) перетворює зображення документів (скани, фотографії, PDF-файли, згенеровані на основі зображень) на редагований та оброблюваний цифровий текст. Сучасні системи OCR здатні працювати зі складними шрифтами та навіть деякими рукописними текстами, що відкриває можливості для обробки великих історичних колекцій.

Обробка природної мови (NLP) дозволяє машинам аналізувати та розуміти людську мову. За допомогою цих методів можна покращити пошук, витягувати об'єкти (людей, місця, дати), узагальнювати документи, перекладати тексти та створювати автоматичні описи, серед багатьох інших функцій.

Машинне навчання, з іншого боку, базується на моделях, які навчаються на прикладах. В архівній галузі воно дозволяє навчати системи, які розрізняють типи документів, виявляють закономірності в даних або прогнозують, до якої серії належить документ на основі його вмісту, навчаючись на колекціях, які вже класифіковані фахівцями та зберігаються в різних типах баз даних.

Багато рішень також включають комп'ютерний зір , який аналізує зображення не лише з тексту. Це особливо корисно для роботи з історичними фотографіями, планами, технічними кресленнями або старими документами, відсканованими з низькою якістю, де необхідно визначити області інтересу, перш ніж застосовувати інші методи.

Як працює система управління документами на базі штучного інтелекту

У повсякденній діяльності сучасна система управління документами зі штучним інтелектом зазвичай починається з етапу оцифрування та захоплення . Хоча значна частина сучасного документообігу створюється в цифровому вигляді, все ще існує значна кількість паперових та сканованих матеріалів, які потребують обробки за допомогою вдосконаленого оптичного розпізнавання символів (OCR).

Роздруковані документи або зображення PDF надсилаються до інструментів оптичного розпізнавання символів (OCR), які розпізнають текст і перетворюють його на індексований контент . Багато сучасних копіювальних апаратів вже включають цей тип механізму, а також існують спеціальні рішення для сканування великих обсягів.

Після перетворення контенту на текст у дію вступають моделі NLP та машинного навчання . Вони аналізують документ, визначають його тему, витягують ключові дані (наприклад, імена, номери файлів, дати, суми) та класифікують його в рамках схеми класифікації або системи управління документами організації.

За допомогою цієї інформації система може автоматично призначати метадані, пропонувати серії документів, пов’язувати документи один з одним та сприяти набагато розширеному пошуку , поєднуючи вільні терміни, фільтруючи за датами, типами, темами чи місцями.

Великою додатковою цінністю є те, що ці системи навчаються в процесі використання : у міру того, як архівні працівники виправляють, перевіряють або коригують пропозиції щодо класифікації, моделі підвищують свою точність і пропонують результати, більш адаптовані до контексту кожного архіву чи установи.

Практичне застосування штучного інтелекту в управлінні файлами

На практиці, штучний інтелект може втручатися майже на кожному етапі управління документами, допомагаючи зменшити повторювану роботу, мінімізувати помилки та використовувати документи як стратегічне джерело інформації . Деякі способи використання особливо варті уваги в державному та приватному секторах.

Однією з найпоширеніших є автоматична класифікація документів за змістом, типом або форматом. Замість ручного маркування кожного документа система пропонує або призначає категорії, серії чи файли, що значно пришвидшує процес і сприяє дотриманню нормативних вимог.

Штучний інтелект також використовується для вилучення відповідної інформації , такої як імена людей, адреси, дати, нормативні посилання або номери файлів. Потім ця інформація зберігається в базах даних або на інформаційних панелях для полегшення подальшого консультування та аналізу.

Ще одним очевидним застосуванням є автоматична генерація зведень та звітів з великих наборів документів. Інструменти на основі мов програмування, такі як деякі розмовні помічники або сервіси типу ChatPDF, можуть майже миттєво синтезувати ключові моменти файлу, договору або набору звітів.

Розширений пошук документів – це ще одна сфера, де чітко видно якісний стрибок. Внутрішні пошукові системи на базі штучного інтелекту дозволяють користувачам знаходити інформацію, навіть якщо вони не пам’ятають точної назви документа або використовують слова, що відрізняються від слів в оригінальному тексті, завдяки семантичному пошуку, який набагато ближчий до природної мови.

У регульованих секторах багато організацій використовують штучний інтелект для посилення дотримання нормативних вимог та виявлення конфіденційної інформації . Системи можуть ідентифікувати персональні дані, конфіденційну інформацію, терміни зберігання або ліцензії, термін дії яких наближається до закінчення, допомагаючи запобігати недотриманню вимог та краще керувати ризиками.

Паралельно виникає ідея асистивного інтелектуального архіву , де система не лише зберігає та упорядковує, але й допомагає готувати документи, презентації чи відповіді, автоматично знаходячи найбільш релевантну інформацію для кожного випадку використання.

Моделі та платформи штучного інтелекту для документів

Екосистема інструментів, що використовуються в управлінні документами, варіюється від вузькоспеціалізованих механізмів до найсучасніших мовних моделей . Кожен з них охоплює частину процесу, а разом вони утворюють дуже потужні рішення.

У сфері оптичного розпізнавання символів (OCR) одним із найвідоміших рушіїв є Tesseract , широко поширений проект з відкритим кодом для перетворення зображень у текст. Багато комерційних рішень інтегрують його або покладаються на аналогічні технології, адаптовані для рукописів та історичних документів.

Для обробки природної мови такі моделі, як BERT та різні сімейства GPT, стали революційними, дозволяючи контекстуальне розуміння тексту, яке набагато ближче до того, як читають люди. Ці моделі використовуються для класифікації документів, створення резюме, вилучення об'єктів та відповідей на запити щодо контенту.

Крім того, багато організацій обирають навчання власних моделей машинного навчання, використовуючи власну документацію. Це дозволяє їм адаптуватися до своєї термінології, організаційної структури та внутрішніх правил, досягаючи рівня точності класифікації або виявлення закономірностей, який був би неможливий із універсальними моделями.

Ця технологічна основа використовується для створення інтегрованих рішень, що включають системи управління документами, робочі процеси, аудит, електронні підписи та інструменти для співпраці , всі вони пов'язані з аналітичними можливостями та можливостями штучного інтелекту.

Рішення для управління документами, що включають штучний інтелект

Спектр варіантів охоплює як технологічні гіганти, так і проекти з відкритим кодом, а пропозиції спрямовані на покращення способу управління файлами організаціями.

Такі компанії, як Google та IBM , з такими платформами, як Google Cloud та Watson, пропонують послуги класифікації, аналізу та вилучення даних, які можна інтегрувати в існуючі системи управління документами. Крім того, компанії, що зосереджені на автоматизації процесів, такі як UiPath та Automation Anywhere, створили програмних роботів, здатних керувати всіма робочими процесами з документами.

Серед рішень, спеціально орієнтованих на управління документами , OpenKM виділяється як менеджер документів з відкритим кодом, який включає інтелектуальну класифікацію, вилучення метаданих та семантичний пошук на основі штучного інтелекту. Його відкритий код дозволяє високий ступінь налаштування та адаптації до потреб кожної організації.

Ще одним важливим інструментом є R2 Docuo , орієнтований як на управління документами, так і на робочі процеси. Ця платформа обіцяє значно скоротити зусилля, пов'язані зі створенням, контролем, розповсюдженням та підписанням документів, автоматизуючи все: від створення шаблонів до затвердження та остаточного архівування.

У сфері корпоративного програмного забезпечення з відкритим кодом Alfresco зарекомендував себе як провідний варіант для управління контентом і файлами. Він дозволяє налаштовувати процеси, додавати модулі та інтегруватися із зовнішніми сервісами штучного інтелекту, що робить його гнучкою основою для створення амбітних проектів у великих установах.

Штучний інтелект Google Document та інтелектуальна обробка документів

Одним із найяскравіших прикладів спеціалізованої платформи є Google Document AI , хмарний сервіс, розроблений для автоматизації класифікації, вилучення та аналізу документів у великих масштабах. Він орієнтований як на приватні компанії, так і на державні організації, які обробляють великі обсяги форм, рахунків-фактур, файлів або контрактів.

Штучний інтелект для документів поєднує машинне навчання, NLP та комп'ютерний зір для визначення відповідних полів у кожному документі, незалежно від того, чи походить він зі сканованого файлу, PDF-файлу чи знімка екрана. Він може вивчати поширені формати документів у певній галузі та повторно використовувати ці знання для нових застосувань.

Будучи доступним у вигляді хмарного сервісу, цей тип рішення особливо цікавий для організацій, яким потрібно швидко масштабувати свої обчислювальні потужності без необхідності інвестувати у власне обладнання чи підтримувати складну інфраструктуру.

У результаті багато завдань, які раніше вимагали годин ручної перевірки, можна вирішити за лічені хвилини, а команда людей займатиметься перевіркою та прийняттям рішень з вищою доданою вартістю, а не введенням даних.

Застосування штучного інтелекту в державному управлінні

Державні адміністрації знаходять союзника у штучному інтелекті для ефективнішого та прозорішого управління документацією . Від міських рад до міністерств, дедалі більше проектів включають автоматичну класифікацію, аналіз файлів та розширені системи пошуку.

Багато місцевих та регіональних органів влади впроваджують системи управління документами на базі штучного інтелекту для впорядкування електронних файлів, пришвидшення процедур шляхом цифрового підпису документів та покращення доступу громадян до публічної інформації . Це скорочує час реагування та полегшує внутрішній контроль процесів.

Конкретним прикладом є використання Alfresco в міській раді Томельйосо для управління внутрішньою документацією та її обміну. ​​Хоча його повний потенціал ще не використовується, було започатковано ініціативи щодо обміну знаннями, такі як зберігання навчальних курсів, доступних для всіх співробітників, що закладає основу для динамічного цифрового архіву.

Системи штучного інтелекту також використовуються для виявлення закономірностей у документації , які можуть свідчити про порушення, неефективність або необхідність перегляду державної політики, допомагаючи краще керувати стратегічними рішеннями адміністрацій.

Крім того, державний сектор стикається з проблемою узгодження цих інновацій із законодавчими вимогами щодо захисту даних, прозорості та довгострокового зберігання , що робить роль архівістів та експертів з права вирішальною у розробці та впровадженні цих рішень.

Проєкт Карабела: Штучний інтелект для історичних рукописних архівів

У сфері історичної спадщини штучний інтелект відкриває можливості, які ще кілька років тому здавалися науковою фантастикою. Гарним прикладом є проєкт Carabela , який зосереджений на ймовірнісному індексуванні колекцій рукописів, пов'язаних з підводною історичною спадщиною.

Цей проєкт, що просувається Андалузьким інститутом історичної спадщини через його Центр підводної археології та очолюється Дослідницьким центром розпізнавання образів та технологій людської мови (PRHLT) Політехнічного університету Валенсії, застосовує передові методи розпізнавання образів та мови для пошуку та дослідження оцифрованої рукописної документації.

Завдяки штучному інтелекту можна ідентифікувати згадки, маршрути, судна або події, пов'язані з підводною спадщиною, без необхідності вручну читати тисячі сторінок, що багаторазово збільшує можливості дослідницьких груп знаходити відповідну інформацію.

Проєкт «Карабела» був представлений на спеціальних семінарах, орієнтованих на дослідників та фахівців з архівної справи , зосереджених на тому, як ці методи можна масштабувати на інші колекції історичних рукописів та служити моделлю для нових проєктів у сфері цифрових гуманітарних наук.

Впровадження таких ініціатив, як Carabela, демонструє, що штучний інтелект не лише служить для оптимізації адміністративних процедур, але й сприяє історичним дослідженням та збереженню спадщини , відкриваючи нові питання та напрямки дослідження.

Навчання, курси та академічне визнання

Впровадження штучного інтелекту в архівну науку також призводить до зростання кількості курсів, конференцій та академічних публікацій , які аналізують його вплив, діляться досвідом та досліджують передові способи його використання в різних контекстах.

Організовано навчальні заходи, що включають модулі щодо цілей, доповідачів, профілю студента, визнання університетських кредитів, процедур оцінювання та варіантів проживання , що свідчить про те, що це не разові семінари, а програми з певним академічним змістом.

Паралельно, спеціалізовані журнали з бібліотечної справи, документознавства та архівної справи публікують статті, які систематично оглядають новітню наукову літературу про штучний інтелект та архіви, висвітлюючи як найбільш усталені застосування, так і прогалини в знаннях, які ще потребують заповнення.

Таке поєднання практичної підготовки та наукової продукції допомагає архівістам, документалістам та ІТ-персоналу розмовляти спільною мовою , що є важливим для розробки реалістичних та цілеспрямованих проектів у кожній установі.

Крім того, просуваються онлайн-курси, спрямовані на підвищення продуктивності за допомогою штучного інтелекту в адміністративній сфері , які на прикладі пояснюють, як ці інструменти можна інтегрувати в щоденну роботу офісів, відділів та архівів.

Управління документами в хмарі та його вплив на архіви

Розширення штучного інтелекту в архівуванні тісно пов'язане зі зростанням хмарного управління документами . Багато сервісів на основі глибокого навчання потребують значної обчислювальної потужності, особливо з точки зору графічних процесорів, які складно та дорого обслуговувати в традиційних локальних інфраструктурах.

Завдяки моделі «Програмне забезпечення як послуга» (SaaS) програми для управління документами та механізми штучного інтелекту розміщуються на зовнішніх серверах , що дозволяє організаціям масштабувати ресурси на вимогу, платити лише за використання та не турбуватися про фізичне обслуговування обладнання.

Це правда, що існують застереження щодо зберігання документів на зовнішніх серверах, які іноді розташовані за межами країни, але переваги з точки зору масштабованості, безпеки, резервного копіювання та віддаленого доступу очевидні, за умови, що обрані постачальники відповідають вимогливим європейським правилам захисту даних.

Для ІТ-відділів такий хмарний підхід означає менше навантаження на системне адміністрування , оскільки не потрібно встановлювати або оновлювати програмне забезпечення на кожній робочій станції, а також розраховувати розмір обладнання з урахуванням пікових навантажень, які трапляються лише зрідка.

Для архівів хмара відкриває можливість зробити великі обсяги оцифрованої документації доступними для громадськості , доповненими інтелектуальними пошуковими системами, без того, щоб внутрішня інфраструктура ставала вузьким місцем.

Уся ця екосистема обсерваторій, дослідницьких проектів, комерційних рішень та хмарних платформ формує сценарій, у якому штучний інтелект стає повсякденним інструментом для архівістів та менеджерів документації , а не ізольованим експериментом. Оскільки фахівці все більше знайомляться з його можливостями та обмеженнями, множаться варіанти використання, які підвищують продуктивність, розширюють доступ до інформації та зміцнюють збереження документальної спадщини для майбутніх поколінь. Крім того, пошукові системи та методи пошуку в архівах самі по собі допомагають максимізувати цінність цифрових репозиторіїв.