- Еволюція зберігання даних пройшла шлях від перфокарт та магнітних стрічок до жорстких дисків, оптичних приводів та дедалі компактнішої та дешевшої флеш-пам'яті.
- Поєднання високошвидкісних мереж і великих центрів обробки даних сприяло розвитку хмарних технологій, озер даних і розподіленого масивного сховища для великих даних.
- Поточні виклики зосереджені на довговічності, безпеці та управлінні експоненціальним зростанням даних, досліджуючи такі технології, як голографічна пам'ять та зберігання ДНК.
Протягом історії людство винаходило всілякі хитрощі та пристрої для зберігання інформації : від глиняних табличок та перфокартонних карток до хмар даних, поширених по всьому світу. Обсяг даних, які ми генеруємо сьогодні, настільки вражає, що наш мозок, як би не був розвинений, не вистачає і потребує технологічної допомоги.
Розуміння того, як ми перейшли від кількох кілобайтів у металевій шафі до терабайтів у кишенях та зеттабайтів у розподілених центрах обробки даних, — це не просто історичний курйоз: воно пояснює, чому ми працюємо так, як ми працюємо, як ми споживаємо цифрові розваги та з якими ризиками ми стикаємося, втрачаючи спогади, документи чи знання, якщо ми оберемо неправильний носій інформації.
Від людської пам'яті до перших пристроїв для зберігання даних
Перш ніж обговорювати диски, стрічки чи хмари, варто пам'ятати, що першим пристроєм зберігання інформації є людський мозок з його обмеженою та недосконалою біологічною пам'яттю . Еволюція збільшила його розмір та ємність: такі види, як Australopithecus afarensis, мали мозок об'ємом близько 400-500 см³, Homo habilis досягав 600-700 см³, Homo erectus досягав 800-1100 см³, а неандертальці - близько 1200-1600 см³ . Сучасні люди, Homo sapiens, мають мозок об'ємом близько 1230 см³.
Цей стрибок дозволив нам виготовляти інструменти, створювати культури, ритуали та складні мови , але пам'ять залишається крихкою: ми забуваємо, спотворюємо спогади та не в змозі впоратися з поточною лавиною даних. Звідси й потреба розробити зовнішні пристрої, які стабільно зберігають інформацію , не залежачи від наших нейронів.
Перфокарти: мова дірок
Першим значним кроком у напрямку цифрового зберігання даних був механічний: перфокарти . У 1725 році француз Базіль Бушон розробив систему перфорованих карток для керування ткацькими верстатами. Це не було обчислювальною технікою в сучасному розумінні, але це був метод кодування та повторного використання інструкцій.
У 1837 році британський математик Чарльз Беббідж розробив свою знамениту Аналітичну машину — обчислювальну машину з рухомими частинами, яка використовувала перфокарти як для команд, так і для результатів. Отвори діяли як перемикачі , передбачаючи двійковий код.
Пізніше американець Герман Голлерит втілив цю ідею на практиці у своїй «Аналітичній машині для перепису»: перфоровані отвори представляли інструкції, а також дані, які машина могла зчитувати автоматично. Протягом десятиліть перфокарти були стандартним носієм інформації для програм і даних у багатьох комп’ютерах.
З 60-х років їх почали витісняти магнітні технології, хоча вони продовжували використовуватися аж до 80-х років для таких завдань, як стандартизовані тести або електронне голосування на перфорованому папері.
Початки магнетизму: стрічки, барабани та сердечники
У 50-х роках світ обчислювальної техніки прийняв магнетизм для зберігання інформації. Основна ідея проста: покрити носій намагніченим матеріалом та організувати його в крихітні домени (диполі), які представляють біти.
У 1928 році німецький інженер Фріц Пфлеймер запатентував магнітну стрічку , натхненний магнітним кабелем Вальдемара Польсена. У 1965 році компанія Mohawk Data Sciences представила кодер магнітної стрічки, призначений для поступової заміни перфокарт . Стрічки пропонували більшу ємність за нижчою ціною, хоча доступ залишався послідовним.
У 1932 році австрієць Густав Таушек винайшов магнітний барабан – циліндр, покритий матеріалом, що намагнічується. Ці барабани могли зберігати близько десяти тисяч слів і були прямими попередниками сучасних жорстких дисків, пропонуючи швидший доступ, ніж стрічка.
Приблизно в той же час з'явилися технології основної пам'яті. Між кінцем 40-х і 50-ми роками була розроблена пам'ять на магнітному осерді , яку також називають тороїдною пам'яттю: невеликі кільця з феромагнітного матеріалу, перетинані струмопровідними дротами. Кожне осердя зберігало один біт , а його магнітний стан можна було швидко зчитувати та записувати.
У 1953 році Массачусетський технологічний інститут придбав патент і створив комп'ютер Whirlwind , піонер у використанні пам'яті на магнітному сердечнику як оперативної пам'яті. Він був набагато швидшим і надійнішим, ніж перфокарти, але його виробництво було складним і дорогим , що вимагало дуже точного та трудомісткого складання.
Електронні пам'яті: від лампи Вільямса до напівпровідника
Перш ніж транзистори революціонізували все, існували проміжні електронні рішення для зберігання даних. У 1946 році професор Фредерік К. Вільямс і Том Кілберн розробили так звану трубку Вільямса в Манчестерському університеті. Це була модифікована електронно-променева трубка, яка дозволяла зберігати двійкові дані у вигляді зарядових шаблонів на екрані . Вона використовувалася як оперативна пам'ять у ранніх комп'ютерах із збереженою програмою.
У 1948 році з'явилася ще одна незвичайна технологія: Selectron , термоемісний вентиль, здатний функціонувати як пам'ять з довільним доступом . Його розробив Ян А. Райхман та його команда в Radio Corporation of America (RCA). Хоча технічно він був цікавим, його складність та вартість значно обмежували його впровадження.
У 1949 році була представлена пам'ять із затримкою , заснована на використанні часу, необхідного для поширення сигналу через фізичне середовище (наприклад, ртуть або кварц). Біти кодувалися як імпульси, що безперервно циркулювали через середовище; це було геніальне рішення, але не дуже гнучке порівняно з пізнішою оперативною пам'яттю.
Наприкінці 50-х років пам'ять на магнітних сердечниках стала домінуючою оперативною пам'яттю, аж до появи напівпровідників у 60-х і 70-х роках . У 1966 році новостворена компанія Intel почала продавати 2000-бітні напівпровідникові мікросхеми пам'яті , де кожна комірка містила мініатюрні транзистори або конденсатори.
У 1966 році також з'явилася DRAM (динамічна пам'ять з довільним доступом) . В DRAM кожен біт зберігається як електричний заряд у конденсаторі . Це енергозалежна пам'ять: якщо живлення відключається, інформація втрачається. Однак вона дуже щільна та недорога, тому стала стандартною основною пам'яттю в персональних комп'ютерах та серверах.
На відміну від цього, ROM (пам'ять лише для читання) програмується постійно та зберігає дані навіть тоді, коли пристрій вимкнено, що дуже корисно для зберігання прошивки та процедур завантаження.
Передові магнітні інновації: Twistor та Bubble Memory
У 1957 році дослідник Ендрю Бобек винайшов твісторну пам'ять у лабораторіях Bell . Ця технологія обмотувала магнітну стрічку навколо струмопровідного дроту замість використання тороїдальних сердечників, що зменшило вагу, споживання енергії та виробничі витрати.
Bell Labs представила Twistor як кращу альтернативу магнітним осердям: дешевшу, легшу та простішу у виробництві . Однак його комерційне вікно було коротким, оскільки невдовзі з'явилися більш компактні та масштабовані напівпровідникові мікросхеми оперативної пам'яті.
На основі цього дослідження Бобек у 1980 році розробив відому технологію «Бульбашкова пам'ять». Ця технологія використовувала дуже тонку плівку магнітного матеріалу, в якій формувалися невеликі намагнічені ділянки, «бульбашки» , кожна з яких представляла біт. Вона була енергонезалежною та досить міцною , хоча її було важко виготовити у великих масштабах.
Магнітні диски та стрічки: від IBM 350 до дискети
Великий стрибок до того, що ми знаємо сьогодні, відбувся з появою магнітних дисків . У 1951 році UNIVAC I вже містив стрічкові накопичувачі, здатні зберігати до 128 слів на дюйм. Але королем сучасної вечірки став жорсткий диск.
У 1956 році IBM випустила IBM 350 , який вважається першим сучасним жорстким диском. Він мав ємність близько 4,4 МБ , складався з п'ятдесяти 24-дюймових пластин, що оберталися зі швидкістю 1200 об/хв, і був розміром приблизно з холодильник, вагою понад тонну. Незважаючи на це, він пропонував дуже швидкий випадковий доступ порівняно зі стрічками.
З часом удосконалення технології магнітного запису призвело до збільшення ємності жорстких дисків, зниження ціни та мініатюризації , що зрештою призвело до появи сучасних жорстких дисків для настільних комп'ютерів та ноутбуків ємністю кілька терабайт у форматах 3,5 або 2,5 дюйма, рішення, яке зараз порівнюють з SSD та зовнішнім HDD.
Поряд із великими жорсткими дисками (HDD), IBM також просувала дискети . У 1971-1972 роках з'явилися 8-дюймові дискети , початкова ємність яких становила близько 80 КБ. Вони складалися з диска з гнучкого матеріалу, покритого магнітним оксидом, всередині захисної оболонки.
У 1975 році Аллан Шугарт розробив 5,25-дюймову дискету , яка була зручнішою для персональних комп'ютерів. Ці диски мали ємність близько 110 КБ у своїх ранніх версіях і були швидшими та дешевшими, ніж 8-дюймові диски. До 1978 року вже було близько десяти виробників, які виробляли 5,25-дюймові диски.
На початку 80-х років на сцену увірвався класичний 3,5-дюймовий дискетний диск з жорстким корпусом та металевим виступом, що захищав магнітну поверхню. Він був міцнішим, компактнішим та мав більшу ємність, ніж його попередники. Він став настільки популярним, що навіть сьогодні в багатьох програмах значок «Зберегти» все ще відображає дискету.
Незважаючи на те, що деякі критичні інфраструктури, такі як певні військові чи ядерні системи, практично застаріли в побутовій сфері, вони зберігають дисководи для гнучких дисків протягом напрочуд багатьох років, саме завдяки їхній простоті та ізоляції, що пов'язано зі зберіганням старих ПК.
Магнітна стрічка в обчислювальній техніці: від резервного копіювання до довговічності
Хоча послідовний доступ до магнітної стрічки робить її повільнішою за диски, низьке співвідношення вартості/ємності та довговічність зробили її головним носієм для масивних резервних копій.
У 80-х роках з'явилися такі формати, як аудіокасета , адаптована для даних, що широко використовувалася в домашніх мікрокомп'ютерах, а пізніше специфічні резервні стрічки, такі як DAT (цифрова аудіокасета) , розроблена Sony у 1987 році. Це була перероблена касета з 4-міліметровою стрічкою в компактному картриджі.
У 1989 році компанії Sony та Hewlett-Packard запустили стандарт DDS (Digital Data Storage) , який став еволюцією DAT, орієнтованого на зберігання комп'ютерних даних. Він пропонував зростаючу ємність у відносно невеликих форматах , що ідеально підходило для бізнесу.
Оптичні диски: CD, DVD та Blu-ray
Поки домінував магнітний запис, формувався інший революційний підхід: оптичне зберігання даних за допомогою лазерів . У 60-х роках винахідник Джеймс Т. Рассел працював над ідеєю використання світла для запису та відтворення музики. Роками це вважалося не більш ніж новинкою.
У 1975 році Sony та Philips інвестували значні кошти в його проєкт та фінансували його розробку. Результатом став компакт-диск (CD) , комерційно запущений у 1980 році. Для аудіо він міг зберігати близько 700 МБ даних у комп'ютерному форматі, що на той час було величезним обсягом порівняно з дискетами.
У 1984 році з'явився CD-ROM (компакт-диск, пам'ять лише для читання) , який використовував той самий фізичний формат, що й аудіо-CD, але закодував комп'ютерні дані. На пластиковій поверхні диска витравлюються мікроямки та плоскі ділянки (lands) , які лазер інтерпретує як біти.
Пізніше з'явилися варіанти з можливістю запису: CD-R лише для запису та CD-RW з можливістю перезапису , представлені в 1995 році. Це дозволяло будь-якому користувачеві записувати та стирати дані кілька разів на одному диску.
У 1995 році з'явився DVD (цифровий універсальний диск) , який суттєво збільшив ємність сховища даних. Одношаровий DVD вміщував 4,7 ГБ , а двошарові — вдвічі більше. Він став стандартом для домашнього відео та розповсюдження великого програмного забезпечення.
Як спроба конкуренції, формат HD-DVD з'явився у 2005 році , просуваний компаніями Toshiba, NEC та Sanyo. Він пропонував високу чіткість, але комерційну битву зрештою виграв Blu-ray , запущений у 2003 році та заснований на коротшому синьо-фіолетовому лазері , що дозволяє зберігати більше інформації в тому ж фізичному просторі.
Blu-ray зарекомендував себе як носій для відео високої чіткості та зберігання високої щільності , з ємністю 25 ГБ на шар, а багатошарові варіанти досягають десятків гігабайт на диск.
Магнітооптичні носії та гібридні формати
Між чистим магнетизмом та оптичними дисками виникла гібридна родина: магнітооптичні диски . З'явившись приблизно у 1990 році, вони поєднували магнітні та оптичні методи для зберігання та зчитування даних.
Ці диски, часто розміром 3,5 або 5,25 дюйма в картриджах, використовували лазер для локального нагрівання поверхні та магнітне поле для орієнтації пластин. Зчитування базувалося на змінах поляризації відбитого світла (ефект Керра) . Вони пропонували хорошу довговічність і можливості перезапису , хоча були дорожчими та складнішими, ніж компакт-диски або DVD-диски.
У 90-х роках також з'явилися деякі недовговічні, але цікаві формати. У 1992 році Sony випустила MiniDisc , призначений для заміни аудіокасет , а також для зберігання даних (у версіях MD Data), ємністю близько 140 МБ. У 1994 році Iomega випустила Zip , а пізніше Jaz , знімні диски високої ємності на той час (від 100 МБ до 1 ГБ), які намагалися заповнити прогалину між дискетою та першими зовнішніми жорсткими дисками.
Флеш-пам'ять та USB-накопичувачі: великий стрибок у сфері портативності
Наприкінці 90-х років відбулася тиха революція: флеш-пам'ять , тип енергонезалежного електронного накопичувача. Хоча спочатку вона була розроблена для камер та портативних пристроїв , вона незабаром поширилася на все.
У 1993 році була представлена CompactFlash (CF) – карта, яка інтегрувала флеш-пам'ять у надійний формат. Вона широко використовувалася як внутрішня пам'ять у цифрових камерах та деяких вбудованих комп'ютерах . Невдовзі після цього з'явилися SmartMedia (Toshiba, 1995) та Multimedia Card (MMC) від Siemens та SanDisk у 1997 році.
У 1999 році IBM випустила Microdrive , міні-жорсткий диск розміром з компактну картку, а в 2000 році стали популярними картки Secure Digital (SD) із вбудованим шифруванням та стандартними розмірами 32 x 32 x 2,1 мм. SD-карти стали фактичним стандартом для мобільних телефонів, камер та безлічі портативних пристроїв.
Головним поворотним моментом для пересічного користувача став USB-флеш-накопичувач . Приблизно у 2000 році сінгапурська компанія Trek 2000 International представила ThumbDrive , який вважається першим комерційно успішним USB-флеш-накопичувачем. Він використовував флеш-пам'ять NAND та підключався безпосередньо до USB-порту без потреби в зовнішньому живленні чи складних контролерах, хоча іноді корисно знати про потенційні проблеми з USB-концентраторами . Ці накопичувачі, які також називають флеш-накопичувачами, USB-флешками або флеш-накопичувачами , пропонували ємність від кількох мегабайт і незабаром зросла до десятків гігабайт. Вони не мали рухомих частин, могли витримувати тисячі циклів запису та були дуже стійкими до ударів та електромагнітних перешкод . Завдяки цьому вони замінили дискети та почали затьмарювати компакт-диски та DVD-диски як носій інформації.
Твердотільні накопичувачі (SSD) та SMR: прискорення та збільшення ємності
Та сама технологія флеш-пам'яті призвела до появи твердотільних накопичувачів (SSD) . Ці пристрої функціонують як жорсткі диски з точки зору операційної системи, але внутрішньо вони являють собою взаємопов'язані набори флеш-чіпів , без пластин або головок читання/запису; якщо вас цікавить різниця з іншими технологіями, такими як NVMe-накопичувачі , вона досить показова.
Перші комерційно успішні SSD-накопичувачі були розроблені такими компаніями, як SanDisk , і швидко поширилися на ноутбуки та настільні комп'ютери, витісняючи жорсткі диски, де ключовими є швидкість доступу та знижене енергоспоживання . Їхні чіпи відрізняються від тих, що зазвичай використовуються в USB-флеш-накопичувачах, пропонуючи вищу продуктивність, довговічність та зносостійкість , що призводить до вищої ціни за гігабайт.
Тим часом традиційні жорсткі диски продовжують розвиватися. Однією з нових технологій є магнітний запис з шинкою (SMR) . Замість того, щоб записувати окремі доріжки, вони частково перекриваються, як черепиця , обрізаючи доріжки без втрати відповідного вмісту.
Це дозволяє збільшити ємність у тому ж фізичному просторі , зберігаючи низькі витрати та використовуючи існуючу інфраструктуру жорстких дисків. SMR вже присутній у багатьох сучасних жорстких дисках, особливо у високоємних діапазонах, призначених для масового зберігання та архівування.
Від фізичного складу до центру обробки даних: силоси, озера та великі дані
Вибухове зростання цифрової інформації спонукало організації створювати великі логічні системи зберігання даних. Це призвело до появи силосів даних – наборів інформації, що зберігається для певного відділу чи системи, несумісних або важко інтегрованих з рештою компанії.
Спочатку ці силоси розглядалися як дивні острови даних; з часом вони стали цінним джерелом інформації для великих даних , що дозволило поєднувати та аналізувати великі обсяги історичних даних. Пізніше виникла концепція озера даних.
Озеро даних зберігає інформацію в її оригінальному, необробленому форматі , зазвичай керовану за допомогою баз даних NoSQL. Ці системи приймають структуровані, напівструктуровані та неструктуровані дані, що дозволяє аналітикам та алгоритмам штучного інтелекту обробляти інформацію на вимогу.
Згідно з такими ініціативами, як BBVA OpenMind, озера даних використовують плоску архітектуру без жорстких ієрархічних структур, щоб полегшити гнучкий доступ і знизити витрати. Вони стали важливими компонентами для проектів великих даних та штучного інтелекту.
Хмара та онлайн-сховище: дані всюди
Наступним важливим зрушенням став не стільки новий фізичний носій, скільки зміна моделі завдяки високошвидкісним мережам . Покращена пропускна здатність та дешевший дисковий простір дозволили побудувати величезні центри обробки даних, доступні через Інтернет.
Так народилися хмарні обчислення , а разом з ними й хмарне сховище . З точки зору користувача, хмара пропонує практично необмежену ємність, доступну з будь-якого пристрою та місця розташування , за певну плату або навіть безкоштовно, якщо прийняті обмеження.
На практиці «хмара» — це величезна колекція серверів, дискових масивів, SSD-накопичувачів, стрічок та внутрішніх мереж . Вона використовується як для резервного копіювання , так і для основного зберігання документів, фотографій та відео . Якщо ви користуєтеся електронною поштою, соціальними мережами або потоковими сервісами, ви вже щодня використовуєте хмарне сховище.
Постачальникам довелося посилити безпеку за допомогою шифрування, автентифікації та контролю доступу, оскільки спільна архітектура створює проблеми конфіденційності. Такі сектори, як банківська справа, підпадають під суворі правила для зменшення цих ризиків.
Окрім універсальних онлайн-сховищ, існують спеціалізовані бездротові рішення для домашнього зберігання даних . Історичним прикладом є Apple AirPort Time Capsule , пристрій Wi-Fi, який об’єднував маршрутизатор і жорсткий диск об’ємом до 3 ТБ, призначений для автоматичного резервного копіювання та бездротового доступу до даних із пристроїв Apple.
Нові рубежі: голограми, ДНК та надміцні матеріали
Зіткнувшись із цунамі даних, яке очікується в найближчі десятиліття, дослідження в галузі зберігання даних досліджують шляхи, дуже відмінні від дисків чи флеш-накопичувачів. Одним із них є голографічна пам'ять , яка зберігає цифрові дані в об'ємі матеріалу, такого як кристали чи фотополімери , а не обмежується його поверхнею.
Великою перевагою голографічної пам'яті є те, що вона може використовувати товщину носія інформації для зберігання інформації у 3D (об'єм Брегга), досягаючи величезної щільності. Хоча прототипи існують, ця технологія ще не є широко використовуваною, але вона стає одним із можливих довгострокових рішень для архівування з дуже високою щільністю.
Ще однією захопливою галуззю є зберігання ДНК . ДНК, молекула життя, може кодувати вражаючу кількість інформації: приблизно 2,2 петабайта на грам . Теоретично, всі дані, згенеровані людством, могли б поміститися в ложку ДНК.
Крім того, ДНК є надзвичайно довговічним носієм , здатним зберігати інформацію протягом тисяч років за умови правильного зберігання. Поточна проблема полягає у вартості та швидкості: кодування даних обсягом менше 100 КБ може коштувати близько 1500 доларів, а процеси синтезу та секвенування залишаються повільними.
Використання штучної ДНК або модифікованих біомолекул досліджується для зниження вартості та швидкості цих операцій, але це все ще перебуває на експериментальній стадії. Однак ідея зрозуміла: перейти від дисків та чіпів до справді молекулярного зберігання.
Паралельно з цим, нанотехнології відкривають двері для таких застосувань, як використання ізотопів вуглецю (наприклад, атомів вуглецю-12 для «0» та атомів вуглецю-13 для «1») або особливо стабільних мінеральних матеріалів. У 2023 році компанія Cerabyte анонсувала систему, яка використовує лазер для гравірування тривимірних масивів даних, подібних до QR-кодів, на мінеральній підкладці , стійкій до екстремальних температур, пожеж, повеней та перепадів напруги, з розрахунковим терміном служби понад 5000 років.
Надійність, пошкодження бітів та копії: менш приваблива сторона зберігання даних
Незалежно від носія інформації, усі вони мають одну спільну проблему: вони мають обмежений термін служби та схильні до поломок . Жорсткі диски можуть бути пошкоджені внаслідок ударів, стрічки можуть розмагнічуватися, оптичні диски можуть деградувати, а флеш-пам'ять може з часом втрачати заряд.
Часто згадуваним явищем є бітове руйнування , тобто тиха деградація, при якій деякі біти змінюють значення, непомітно для себе . Це особливо впливає на носії довготривалої інформації, такі як старі жорсткі диски, стрічки або флеш-накопичувачі, які багато років не зчитуються.
Тому рекомендується періодично отримувати доступ до носіїв інформації (наприклад, час від часу зчитувати дані з USB-накопичувача) та копіювати інформацію на новий носій кожні кілька років. Такі системи, як RAID з кодами виправлення помилок, дозволяють відновлювати пошкоджені дані шляхом впровадження надмірності, але вони ніколи повністю не усувають ризик.
Щодо класифікації, ми зазвичай розрізняємо первинне сховище (оперативна пам'ять, кеш), яке є надшвидким, але енергозалежним і безпосередньо доступним для процесора, та вторинне сховище (диски, SSD, стрічки, хмарне сховище), яке повільніше, але енергонезалежне. У рамках вторинного сховища ми також розрізняємо послідовний доступ (стрічки) та випадковий доступ (диски, SSD, флеш-накопичувачі), залежно від того, чи можемо ми безпосередньо перейти до потрібних нам даних, чи нам доводиться сканувати всі дані з самого початку.
Незалежно від технології, єдиним реальним захистом від втрати даних залишається надмірність та добре сплановані резервні копії . А при роботі з конфіденційною інформацією в гру вступає криптографія , як з відкритим ключем (RSA тощо), так і з симетричним ключем (AES, DES), що особливо актуально в контексті хмарного сховища.
Загалом, історія зберігання даних пройшла шлях від величезних машин ємністю кілька кілобайт до крихітних чіпів, здатних обробляти терабайти, та розподілених систем, що керують зетабайтами; і все ж ми продовжуємо шукати нові, щільніші, довговічніші та безпечніші носії інформації , від голограм до ДНК чи екзотичних мінеральних матеріалів. Все свідчить про те, що, як і досі, наступні кроки поєднуватимуть фізичні інновації з дедалі інтелектуальнішими мережевими архітектурами, щоб продовжувати дозволяти нам зберігати та отримувати, майже не усвідомлюючи цього, величезну кількість даних, які ми створюємо щодня.
