- Эволюция технологий хранения данных прошла путь от перфокарт и магнитных лент до жестких дисков, оптических приводов и все более компактной и дешевой флэш-памяти.
- Сочетание высокоскоростных сетей и крупных центров обработки данных способствовало развитию облачных вычислений, хранилищ данных и распределенных систем хранения больших объемов данных.
- В настоящее время основные задачи сосредоточены на обеспечении надежности, безопасности и управлении экспоненциальным ростом объёма данных, в связи с чем изучаются такие технологии, как голографическая память и хранение данных в ДНК.
На протяжении всей истории человечество изобрело всевозможные уловки и устройства для хранения информации : от глиняных табличек и перфорированных картонных карт до облачных хранилищ данных, разбросанных по всему миру. Объём данных, которые мы генерируем сегодня, настолько огромен, что наш мозг, как бы он ни был развит, не справляется и нуждается в технологической помощи.
Понимание того, как мы прошли путь от нескольких килобайт в металлическом шкафу до терабайтов в наших карманах и зеттабайтов в распределенных центрах обработки данных, — это не просто историческая любопытность: это объясняет, почему мы работаем так, как работаем, как потребляем цифровые развлечения и с какими рисками потери воспоминаний, документов или знаний мы сталкиваемся, если выберем неправильный носитель информации.
От человеческой памяти до первых устройств хранения данных
Прежде чем говорить о дисках, лентах или облачных хранилищах, стоит помнить, что первым устройством хранения данных был человеческий мозг с его ограниченной и несовершенной биологической памятью . В процессе эволюции его размер и объем увеличились: у таких видов, как Australopithecus afarensis , объем мозга составлял около 400-500 см³, у Homo habilis — 600-700 см³, у Homo erectus — 800-1100 см³, а у неандертальцев — около 1200-1600 см³ . У современных людей, Homo sapiens, объем мозга составляет около 1230 см³.
Этот скачок позволил нам создавать инструменты, формировать культуры, ритуалы и сложные языки , но память остается хрупкой: мы забываем, искажаем воспоминания и не можем справиться с нынешним потоком данных. Отсюда и необходимость разработки внешних устройств, которые стабильно хранят информацию , не завися от наших нейронов.
Перфокарты: язык отверстий
Первый крупный шаг к цифровому хранению данных был механическим: перфокарты . В 1725 году француз Базиль Бушон разработал систему перфорированных карт для управления ткацкими станками. Это не были вычисления в современном понимании, но это был метод кодирования и повторного использования инструкций.
В 1837 году британский математик Чарльз Бэббидж разработал свою знаменитую аналитическую машину — вычислительную машину с движущимися частями, которая использовала перфокарты как для команд, так и для результатов. Отверстия служили переключателями «вкл/выкл» , предвосхищая двоичный код.
Позже американец Герман Холлерит воплотил эту идею в жизнь с помощью своей аналитической машины для переписи населения: перфорированные отверстия представляли собой инструкции, а также данные, которые машина могла считывать автоматически. В течение десятилетий перфокарты были стандартным носителем для хранения программ и данных во многих компьютерах.
Начиная с 60-х годов, их стали вытеснять магнитные технологии, хотя они продолжали использоваться вплоть до 80-х годов для таких задач, как стандартизированные тесты или электронное голосование на перфорированной бумаге.
Истоки магнетизма: ленты, барабаны и сердечники.
В 50-х годах мир вычислительной техники начал использовать магнетизм для хранения информации. Основная идея проста: покрыть носитель намагничиваемым материалом и организовать его в крошечные домены (диполи), которые представляют собой биты.
В 1928 году немецкий инженер Фриц Пфлюмер запатентовал магнитную ленту , вдохновившись магнитным кабелем Вальдемара Поульсена. В 1965 году компания Mohawk Data Sciences представила кодировщик магнитной ленты, предназначенный для постепенной замены перфокарт . Ленты обеспечивали большую емкость по более низкой цене, хотя доступ к данным оставался последовательным.
В 1932 году австриец Густав Таушек изобрел магнитный барабан — цилиндр, покрытый намагничиваемым материалом. Эти барабаны могли хранить около десяти тысяч слов и стали прямыми предшественниками современных жестких дисков, обеспечивая более быстрый доступ, чем ленточные накопители.
Примерно в то же время появились технологии для основной памяти. В период с конца 40-х по 50-е годы была разработана память на магнитных сердечниках , также называемая тороидальной памятью: небольшие кольца из ферромагнитного материала, через которые проходили проводящие провода. Каждый сердечник хранил один бит , и его магнитное состояние можно было быстро считывать и записывать.
В 1953 году Массачусетский технологический институт приобрел патент и создал компьютер Whirlwind , пионер в использовании магнитной памяти в качестве оперативной памяти. Он был намного быстрее и надежнее перфокарт, но его производство было сложным и дорогостоящим , требуя очень точной и трудоемкой сборки.
Электронные запоминающие устройства: от трубки Уильямса до полупроводника
До того, как транзисторы произвели революцию во всем, существовали промежуточные решения для электронного хранения данных. В 1946 году профессор Фредерик К. Уильямс и Том Килберн разработали так называемую трубку Уильямса в Манчестерском университете. Это была модифицированная электронно-лучевая трубка, которая позволяла хранить двоичные данные в виде зарядовых паттернов на экране . Она использовалась в качестве оперативной памяти в ранних компьютерах с хранимой программой.
В 1948 году появилась ещё одна необычная технология: Selectron , термоэлектронная лампа, способная функционировать как оперативная память . Она была разработана Яном А. Райхманом и его командой в компании Radio Corporation of America (RCA). Несмотря на техническую привлекательность, её сложность и стоимость значительно ограничили её распространение.
В 1949 году была представлена память с задержкой , основанная на использовании времени, необходимого для распространения сигнала через физическую среду (например, ртуть или кварц). Биты кодировались в виде импульсов, непрерывно циркулирующих в среде; это было остроумное решение, но не очень гибкое по сравнению с более поздними ОЗУ.
В конце 50-х годов магнитная память на сердечниках стала доминирующим типом оперативной памяти, пока в 60-х и 70-х годах не начали появляться полупроводники . В 1966 году недавно образованная компания Intel начала продавать 2000-битные полупроводниковые микросхемы памяти , где каждая ячейка содержала миниатюрные транзисторы или конденсаторы.
В 1966 году появилась также DRAM (динамическая оперативная память) . В DRAM каждый бит хранится в виде электрического заряда в конденсаторе . Это энергозависимая память: при отключении питания информация теряется. Однако она очень плотная и недорогая, поэтому стала стандартной оперативной памятью в персональных компьютерах и серверах.
В отличие от этого, ПЗУ (постоянная память) программируется постоянно и сохраняет данные даже при выключении устройства, что очень полезно для хранения прошивки и загрузочных процедур.
Передовые магнитные инновации: твисторная и пузырьковая память.
В 1957 году исследователь Эндрю Бобек изобрел твисторную память в лаборатории Bell Labs . Эта технология предполагала наматывание магнитной ленты на проводящий провод вместо использования тороидальных сердечников, что позволило снизить вес, энергопотребление и себестоимость производства.
Компания Bell Labs представила Twistor как превосходную альтернативу магнитным сердечникам: более дешевую, легкую и простую в производстве . Однако коммерческий период был недолгим, поскольку вскоре появились более компактные и масштабируемые полупроводниковые микросхемы оперативной памяти.
На основе этих исследований в 1980 году Бобек разработал знаменитую пузырьковую память. В этой технологии использовалась очень тонкая пленка магнитного материала, в которой образовывались небольшие намагниченные области, «пузырьки» , каждый из которых представлял собой бит. Она была энергонезависимой и достаточно надежной , хотя и сложной в производстве в больших масштабах.
Магнитные диски и ленты: от IBM 350 до дискет.
Большой скачок к тому, что мы знаем сегодня, произошел с появлением магнитных дисков . В 1951 году в UNIVAC I уже использовались ленточные накопители, способные хранить до 128 слов на дюйм. Но королем современной техники был жесткий диск.
В 1956 году компания IBM выпустила IBM 350 , считающийся первым современным жестким диском. Он имел емкость около 4,4 МБ , состоял из пятидесяти 24-дюймовых пластин, вращающихся со скоростью 1200 об/мин, и по размерам был примерно как холодильник, веся более тонны. Тем не менее, он обеспечивал очень быстрый произвольный доступ по сравнению с лентами.
Со временем усовершенствования в технологии магнитной записи привели к увеличению емкости жестких дисков, снижению их цены и миниатюризации , что в конечном итоге привело к появлению современных жестких дисков для настольных компьютеров и ноутбуков, вмещающих несколько терабайт данных в 3,5- или 2,5-дюймовом формате. Это решение сейчас сравнивают с сравнением SSD-накопителей и внешних жестких дисков.
Наряду с большими жесткими дисками, IBM также продвигала дискеты . В 1971-1972 годах появились 8-дюймовые дискеты с первоначальной емкостью около 80 КБ. Они представляли собой диск из гибкого материала, покрытого магнитным оксидом, внутри защитной оболочки.
В 1975 году Аллан Шугарт разработал 5,25-дюймовую дискету , которая была более удобна для персональных компьютеров. В ранних версиях эти диски имели емкость около 110 КБ и были быстрее и дешевле, чем 8-дюймовые диски. К 1978 году уже около десяти производителей выпускали 5,25-дюймовые дисководы.
В начале 80-х годов на сцену вышла классическая 3,5-дюймовая дискета с жестким корпусом и металлическим язычком, защищающим магнитную поверхность. Она была более прочной, компактной и обладала большей емкостью, чем ее предшественницы. Она стала настолько популярной, что даже сегодня во многих программах значок «Сохранить» по-прежнему представляет собой дискету.
Несмотря на то, что в быту дисководы для гибких дисков практически устарели, некоторые объекты критической инфраструктуры, такие как определенные военные или ядерные системы, удивительно долгое время продолжают использоваться именно из-за их простоты и изолированности — практика, схожая с хранением старых персональных компьютеров.
Магнитная лента в вычислительной технике: от резервного копирования до долговечности.
Хотя последовательный доступ к данным на магнитной ленте делает её медленнее, чем диски, низкое соотношение цены и емкости, а также долговечность сделали её одним из лучших носителей для масштабных резервных копий.
В 80-х годах появились такие форматы, как аудиокассета, адаптированная для хранения данных, широко используемая в домашних микрокомпьютерах, а позже — специальные резервные ленты, такие как DAT (цифровая аудиокассета) , разработанная компанией Sony в 1987 году. Это была переработанная кассета с 4-миллиметровой лентой в компактном картридже.
В 1989 году компании Sony и Hewlett-Packard запустили стандарт DDS (Digital Data Storage) , являющийся развитием стандарта DAT и ориентированный на хранение компьютерных данных. Он предлагал всё большую емкость в относительно небольших форматах , идеально подходящих для бизнеса.
Оптические диски: CD, DVD и Blu-ray
В то время как магнитная запись доминировала, формировался другой революционный подход: оптическое хранение данных с использованием лазеров . В 60-х годах изобретатель Джеймс Т. Рассел работал над идеей использования света для записи и воспроизведения музыки. Долгие годы это считалось не более чем диковинкой.
В 1975 году компании Sony и Philips вложили значительные средства в его проект и профинансировали его разработку. Результатом стал компакт-диск (CD) , поступивший в коммерческую продажу в 1980 году. Для хранения аудиоданных он мог вмещать около 700 МБ данных в компьютерном формате, что по тем временам было огромным объемом по сравнению с дискетами.
В 1984 году появился CD-ROM (Compact Disc Read-Only Memory) , который использовал тот же физический формат, что и аудио CD, но кодировал компьютерные данные. На пластиковой поверхности диска вытравлены микроямки и плоские участки (площадки) , которые лазер интерпретирует как биты.
Позже появились записываемые варианты: CD-R только для записи и перезаписываемый CD-RW , представленный в 1995 году. Это позволило любому пользователю записывать и стирать данные несколько раз на одном и том же диске.
В 1995 году появился DVD (цифровой универсальный диск) , существенно увеличивший объем памяти для хранения данных. Однослойный DVD вмещал 4,7 ГБ , а двухслойные — вдвое больше. Он стал стандартом для домашнего видео и распространения большого количества программного обеспечения.
В качестве попытки составить конкуренцию в 2005 году появился формат HD-DVD , продвигаемый компаниями Toshiba, NEC и Sanyo. Он предлагал высокое разрешение, но коммерческую победу в конечном итоге одержал Blu-ray , выпущенный в 2003 году и основанный на сине-фиолетовом лазере с более короткой длиной волны , что позволяет хранить больше информации в том же физическом пространстве.
Blu-ray зарекомендовал себя как носитель для видео высокой четкости и хранения данных высокой плотности , с емкостью 25 ГБ на слой и многослойными вариантами, достигающими десятков гигабайт на диск.
Магнитооптические среды и гибридные форматы
Между чистым магнетизмом и оптическими дисками возникло гибридное семейство: магнитооптические диски . Представленные примерно в 1990 году, они объединяли магнитные и оптические методы для хранения и считывания данных.
Эти диски, часто размером 3,5 или 5,25 дюйма в картриджах, использовали лазер для локального нагрева поверхности и магнитное поле для ориентации пластин. Считывание основывалось на изменениях поляризации отраженного света (эффект Керра) . Они отличались хорошей долговечностью и возможностью перезаписи , хотя были дороже и сложнее, чем CD или DVD.
В 90-е годы также появились несколько недолговечных, но интересных форматов. В 1992 году Sony выпустила MiniDisc , предназначенный для замены аудиокассет и хранения данных (в версиях MD Data), емкостью около 140 МБ. В 1994 году Iomega выпустила Zip , а позже Jaz — высокоемкие для того времени съемные диски (от 100 МБ до 1 ГБ), которые пытались заполнить пробел между дискетами и первыми внешними жесткими дисками.
Флеш-память и USB-накопители: великий скачок в развитии портативных устройств.
В конце 90-х годов произошла тихая революция: флэш-память — тип энергонезависимого электронного накопителя. Хотя изначально она была разработана для фотоаппаратов и портативных устройств , вскоре она распространилась повсюду.
В 1993 году была представлена CompactFlash (CF) — карта памяти, интегрировавшая флэш-память в надежный формат. Она широко использовалась в качестве внутреннего хранилища в цифровых камерах и некоторых встроенных компьютерах . Вскоре после этого появились SmartMedia (Toshiba, 1995) и мультимедийные карты (MMC) от Siemens и SanDisk в 1997 году.
В 1999 году IBM выпустила Microdrive — миниатюрный жесткий диск размером с компактную карту, а в 2000 году стали популярны карты Secure Digital (SD) со встроенным шифрованием и стандартными размерами 32 x 32 x 2,1 мм. SD-карты стали де-факто стандартом для мобильных телефонов, фотоаппаратов и множества портативных устройств.
Главным поворотным моментом для обычного пользователя стали USB-флеш-накопители . Примерно в 2000 году сингапурская компания Trek 2000 International представила ThumbDrive , считающийся первым коммерчески успешным USB-флеш-накопителем. Он использовал флэш-память NAND и подключался напрямую к USB-порту , без необходимости внешнего питания или сложных контроллеров, хотя иногда полезно знать о потенциальных проблемах с USB-концентраторами . Эти накопители, также называемые флеш-накопителями, USB-стиками или флеш-накопителями , предлагали емкость от нескольких мегабайт и вскоре выросли до десятков гигабайт. Они не имели движущихся частей, выдерживали тысячи циклов записи и были очень устойчивы к ударам и электромагнитным помехам . Таким образом, они заменили дискеты и начали вытеснять CD и DVD в качестве носителя информации.
Твердотельные накопители (SSD) и SMR: ускорение и сокращение емкости.
Та же технология флэш-памяти дала начало твердотельным накопителям (SSD) . С точки зрения операционной системы эти устройства функционируют как жесткие диски, но внутри они представляют собой взаимосвязанные наборы флэш-чипов , без пластин или считывающих/записывающих головок; если вас интересует разница с другими технологиями, такими как NVMe-накопители , это весьма показательно.
Первые коммерчески успешные SSD-накопители появились у таких компаний, как SanDisk , и быстро распространились в ноутбуках и настольных компьютерах, вытеснив HDD, где ключевыми факторами являются скорость доступа и снижение энергопотребления . Их чипы отличаются от тех, что обычно используются в USB-флеш-накопителях, предлагая более высокую производительность, долговечность и износостойкость , что приводит к более высокой цене за гигабайт.
Тем временем традиционные жесткие диски продолжают развиваться. Одна из последних технологий — черепичная магнитная запись (SMR) . Вместо записи отдельных дорожек, они частично перекрываются, как черепица на крыше , что позволяет обрезать дорожки без потери важного содержимого.
Это позволяет увеличить емкость на том же физическом пространстве , сохраняя при этом низкие затраты и используя существующую инфраструктуру жестких дисков. Технология SMR уже присутствует во многих современных жестких дисках, особенно в моделях большой емкости, предназначенных для массового хранения и архивирования данных.
От физического склада до центра обработки данных: хранилища, хранилища и большие данные.
Стремительный рост объёма цифровой информации привёл к тому, что организации стали создавать крупные логические системы хранения данных. Это привело к появлению информационных разрозненных хранилищ — наборов информации, хранящихся для конкретного отдела или системы, несовместимых или трудно интегрируемых с остальной частью компании.
Первоначально эти хранилища воспринимались как странные островки данных; со временем они стали ценным источником информации для больших данных , позволяя объединять и анализировать большие объемы исторических данных. Позже появилась концепция озера данных (Data Lake ).
Озеро данных хранит информацию в ее исходном, необработанном формате , как правило, управляемом с помощью баз данных NoSQL. Эти системы принимают структурированные, полуструктурированные и неструктурированные данные, позволяя аналитикам и алгоритмам искусственного интеллекта обрабатывать информацию по запросу.
Согласно таким инициативам, как BBVA OpenMind, хранилища данных используют плоскую архитектуру , без жестких иерархических структур, что обеспечивает гибкий доступ и снижает затраты. Они стали важными компонентами для проектов в области больших данных и искусственного интеллекта.
Облачное и онлайн-хранилище: данные повсюду
Следующим крупным сдвигом стало не столько появление нового физического носителя, сколько изменение модели благодаря высокоскоростным сетям . Улучшенная пропускная способность и удешевление дискового пространства позволили создавать огромные центры обработки данных, доступные через интернет.
Таким образом, зародились облачные вычисления , а вместе с ними и облачное хранилище . С точки зрения пользователя, облако предлагает практически неограниченную емкость, доступную с любого устройства и из любого места , за определенную плату или даже бесплатно, если принимаются ограничения.
На практике «облако» — это огромная совокупность серверов, дисковых массивов, SSD-накопителей, лент и внутренних сетей . Оно используется как для резервного копирования , так и для основного хранения документов, фотографий и видео . Если вы пользуетесь электронной почтой, социальными сетями или потоковыми сервисами, вы уже ежедневно используете облачное хранилище.
Поставщикам услуг пришлось усилить безопасность за счет шифрования, аутентификации и контроля доступа, поскольку архитектура с общим доступом создает проблемы с конфиденциальностью. Такие сектора, как банковское дело, подлежат строгим нормативным требованиям для снижения этих рисков.
Помимо универсальных онлайн-хранилищ, существуют специальные беспроводные решения для домашнего хранения данных . Историческим примером является Apple AirPort Time Capsule — устройство Wi-Fi, объединяющее маршрутизатор и жесткий диск объемом до 3 ТБ, предназначенное для автоматического резервного копирования и беспроводного доступа к данным с устройств Apple.
Новые горизонты: голограммы, ДНК и сверхпрочные материалы.
В условиях ожидаемого в ближайшие десятилетия цунами данных исследования в области хранения информации идут по пути, существенно отличающимся от дисковых накопителей или флеш-накопителей. Одним из таких путей является голографическая память , которая хранит цифровые данные внутри объема материала, такого как кристаллы или фотополимеры , а не ограничивается его поверхностью.
Главное преимущество голографической памяти заключается в том, что она может использовать толщину носителя информации для хранения данных в 3D (объем Брэгга), достигая огромной плотности. Хотя прототипы уже существуют, эта технология пока не получила широкого распространения, но она становится одним из возможных долгосрочных решений для архивирования данных с очень высокой плотностью.
Ещё одна захватывающая область — хранение информации в ДНК . ДНК, молекула жизни, может кодировать ошеломляющее количество информации: по оценкам, 2,2 петабайта на грамм . Теоретически, все данные, сгенерированные человечеством, могли бы поместиться в ложке ДНК.
Кроме того, ДНК — это чрезвычайно долговечный носитель , способный сохранять информацию в течение тысяч лет при правильном хранении. В настоящее время проблема заключается в стоимости и скорости: кодирование менее 100 КБ данных может стоить около 1500 долларов, а процессы синтеза и секвенирования остаются медленными.
В настоящее время исследуется возможность использования искусственной ДНК или модифицированных биомолекул для снижения стоимости и ускорения этих операций, но это пока находится на экспериментальной стадии. Однако идея ясна: перейти от дисков и чипов к истинно молекулярному хранению данных.
Параллельно нанотехнологии открывают двери для таких применений, как использование изотопов углерода (например, атомов углерода-12 для «0» и атомов углерода-13 для «1») или особо стабильных минеральных материалов. В 2023 году компания Cerabyte анонсировала систему, использующую лазер для гравировки трехмерных массивов данных, подобных QR-кодам, на минеральной подложке , устойчивой к экстремальным температурам, огню, наводнениям и скачкам напряжения, с предполагаемым сроком службы более 5000 лет.
Надежность, повреждение данных и копирование: менее привлекательная сторона хранения информации.
Независимо от носителя информации, у всех них есть одна общая проблема: ограниченный срок службы и подверженность отказам . Жесткие диски могут быть повреждены ударами, ленты могут размагнититься, оптические диски могут выйти из строя, а флэш-память со временем может потерять заряд.
Часто упоминается явление «битового старения» — незаметное ухудшение качества, при котором некоторые биты изменяют свое значение, не будучи сразу заметными . Это особенно затрагивает долговременные носители информации, такие как старые жесткие диски, ленты или флеш-накопители, которые много лет не считываются.
Поэтому рекомендуется периодически обращаться к носителям информации (например, время от времени считывать данные с USB-накопителя) и копировать информацию на новые носители каждые несколько лет. Системы, такие как RAID с кодами коррекции ошибок, позволяют восстанавливать поврежденные данные за счет создания избыточности, но они никогда полностью не исключают риск.
Что касается классификации, мы обычно различаем первичную память (ОЗУ, кэш), которая является сверхбыстрой, но энергозависимой и напрямую доступна процессору, и вторичную память (диски, SSD, ленты, облачное хранилище), которая является более медленной, но энергонезависимой. Внутри вторичной памяти мы дополнительно различаем последовательный доступ (ленты) и произвольный доступ (диски, SSD, флэш-накопители), в зависимости от того, можем ли мы сразу перейти к нужным данным или должны сканировать все данные с самого начала.
Независимо от технологии, единственной реальной защитой от потери данных остается избыточность и хорошо спланированное резервное копирование . А при работе с конфиденциальной информацией вступает в игру криптография , как с открытым ключом (RSA и др.), так и с симметричным ключом (AES, DES), что особенно актуально в контексте облачного хранения.
В целом, история развития технологий хранения данных прошла путь от огромных машин с емкостью в несколько килобайт до крошечных чипов, способных обрабатывать терабайты, и распределенных систем, управляющих зеттабайтами; и все же мы продолжаем искать новые, более плотные, более долговечные и более безопасные носители информации , от голограмм до ДНК или экзотических минеральных материалов. Все указывает на то, что, как и прежде, следующие прорывы будут сочетать физические инновации с все более интеллектуальными сетевыми архитектурами, чтобы и дальше позволять нам хранить и извлекать, почти не осознавая этого, огромные объемы данных, которые мы производим каждый день.
