Дорогу маленьким!
Никита Расторгуев
«Экспресс-Электроника» #7(116)/2004
C распространением практики местной сборки ноутбуков, пользователь получил возможность «тонкого» подбора конфигурации приобретаемой системы. Впрочем, определение скорости «мобильных» комплектующих актуально и по другой причине. Скажем, «мобильные» процессоры и портативные жесткие диски все чаще находят применение в blade-серверах. Но если рынок процессоров ограничен двумя-тремя линейками решений, то портативных винчестеров сегодня предлагается значительно больше. И потому есть смысл присмотреться к ним повнимательнее.
Для начала отметим, что рынок портативных жестких дисков, равно как и рынок мобильных компьютеров, переживает небывалый подъем. По данным аналитической компании iSuppli, в 2003 году объем продаж данных устройств достиг 18,7% от общего числа продаж на рынке HDD и составил не менее 41 млн штук. Аналитики предсказывают этому рынку еще более впечатляющий прирост в ближайшие годы. К примеру, по прогнозу Gartner, 2,5-дюймовый форм-фактор к 2007 году станет доминирующим и в многопользовательских средах. Кроме того, многие производители серверов уже обратили внимание на 2,5-дюймовые накопители на жестких дисках, а с широким распространением интерфейса Serial Attached SCSI «мобильные» винчестеры должны стать основным решением для данной сферы. Ведь не секрет, что компактность сервера становится все более желанным параметром. А значит, новые приводы, которые выгодно отличаются от 3,5-дюймовых аналогов уменьшенными на 70% размерами, массой (в среднем на 0,5 кг), энергопотреблением (до 40%), а также временем поиска (на 15%), представляются более актуальным решением. Нельзя не сказать, что первые шаги в этом направлении уже сделаны. Так, на Intel Developer Forum ‘2004 в Сан-Франциско компания Seagate Technology представила Savvio – первую в мире линейку 2,5-дюймовых накопителей на жестких дисках со скоростью вращения шпинделя 10 тыс.
об/мин и весьма высоким показателем времени наработки на отказ (MTBF) — до 1,4 млн часов. Эти устройства выпускаются в вариантах с одной и двумя пластинами, емкостью 36 и 72 Гбайт, с одним из трех интерфейсов: Fibre Channel, Ultra320 SCSI или Serial Attached SCSI.
Интересно, что Seagate Savvio не единственное компактное решение для рынка серверов. О планах выпуска подобных накопителей недавно объявили и другие участники рынка, в частности Western Digital и Hitachi Global Storage Technologies. Сейчас на рынке портативных жестких дисков пять игроков. После Seagate, вернувшейся сюда в прошлом году, новичком стала компания Samsung. Пожалуй, в скором времени можно ожидать анонсов 2,5-дюймовых жестких дисков и от других производителей.
Что касается разделения рынка портативных устройств, игрок номер один здесь – Hitachi Global Storage Technologies, владеющий 44,7% рынка. Второе место за Toshiba, доля которой на мировом рынке составляет 29,6%. Замыкает тройку лидеров Fujitsu (18,5%). Оставшуюся долю рынка делят между собой более мелкие игроки.
Для тестирования нам удалось достать решения каждого из участников рынка. Таким образом, в обзоре приняли участие устройства с частотой вращения 4200, 5400 и 7200 об/мин, выполненные в 2,5-дюймовых конструктивах. Рассмотрим их поближе.
Fujitsu
Компания Fujitsu долгое время производит жесткие диски, ориентированные на применение в серверах и мобильных компьютерах. Но тот факт, что новая линейка накопителей этой компании – MHTххххAT, использует стеклянные пластины стало для нас открытием. История использования этой технологии в жестких дисках компании IBM известна многим. Так что будем надеяться, что она не повторится.
Отметим также, что Fujitsu первой на рынке начала серийное производство жестких дисков емкостью 100 Гбайт для портативных компьютеров. Винчестеры с кодовым обозначением MHU2100AT имеют скорость вращения шпинделя 4200 об/мин и оснащены параллельным АТА-интерфейсом. Презентация этих накопителей, напомним, состоялась в марте, и с тех пор ограниченные партии жестких дисков поставляются корпорациям Dell и Hewlett-Packard. К сожалению, на российском рынке такие устройства пока не доступны.
По поводу тестового экземпляра отметим: Fujitsu MHT2080AT является старшим представителем линейки винчестеров форм-фактора 2,5 дюйма с частотой вращения 4200 об/мин (есть и более «оборотистые» устройства). В ней использованы две пластины и четыре головки. Объем кэш-буфера всех без исключения устройств линейки MHТххххАТ (есть модели с емкостями 20, 30, 40, 60 и 80 Гбайт) составляет 2 Мбайт. Скорость вращения шпинделя равна 4200 об/мин. В жестких дисках серии S, помимо привычных электродвигателей на гидродинамических подшипниках, реализована интеллектуальная технология управления энергосбережением на основе разработок LSI, автоматически регулирующая уровень потребляемой мощности. По паспорту же потребляемая мощность этих устройств равна 2-2,1 Вт при чтении/записи и 0,65 Вт в состоянии ожидания. Заявленная максимальная нагрузка в выключенном состоянии – 900 g, при включенном состоянии – 225 g (оба значения даны для времени воздействия не более 2 мс).
Hitachi
Компания Hitachi Global Storage Technologies присутствовала на рынке портативных жестких дисков и до слияния с IBM. Возможно, поэтому сегодня в линейке японского производителя содержатся как устройства собственной разработки (5K80, 7K60), так и доставшиеся ей «в наследство» от IBM (Travelstar 80GN, 5K80).
Еще недавно емкость попавшего к нам на тестирование накопителя Travelstar 80GN была наибольшей на рынке, а сегодня уже доступны и 100-Гбайтовые устройства. В винчестере Travelstar 80GN объем 80 Гбайт достигается за счет использования двух пластин с плотностью записи по 40 Гбайт (применяются четыре головки). При этом скорость вращения шпинделя составляет 4200 об/мин. Объем кэш-буфера равен 8 Мбайт, что наряду с высокой плотностью записи, а также фирменными технологиями упреждающего чтения может дать фору любому конкуренту. Благодаря технологии Partial Response Maximum Likelihood достигаются более высокие скорости передачи данных, меньшее количество программных ошибок на единицу данных, а также фильтрация сигнала, считываемого с диска. В Travelstar 80GN применяется традиционный для современных накопителей двигатель на гидродинамических подшипниках. Для повышения стабильности работы механики использована технология head load/unload, при которой головки в нерабочем состоянии паркуются за пределами рабочей поверхности (вне пластин). За счет этого достигается устойчивость по отношению к ударным нагрузкам и уменьшенное потребление энергии — такая технология теоретически позволяет в устройствах использовать пластины более высокой плотности. Отметим, что две младшие модели этого семейства объемом 40 и 20 Гбайт имеют емкость буфера 2 Мбайт.
Модель Travelstar 5K80 является представителем линейки устройств Hitachi с частотой вращения шпинделя 5200 об/мин. Набор технологий, применяемый в нем, полностью аналогичен тому, что используется в Travelstar 80GN. Вообще в линейку 5K80 входят четыре модели приводов емкостью 20, 40 (в нашем случае), 60 и 80 Гбайт.
Объем буфера этих накопителей составляет 8 Мбайт. Среднее время поиска равно 12 мс.
Наиболее интересное устройство в тестировании – Travelstar 7K60. Этот накопитель стал первым на рынке мобильных жестких дисков с частотой вращения шпинделя 7200 об/мин. Его емкость – 60 Гбайт. В накопителе используются две пластины с плотностью записи 30 Гбайт и четыре головки. Объем буфера равен 8 Мбайт. Среднее время поиска составляет 10 мс. По заявлению разработчика, благодаря скорости вращения шпинделя 7200 об/мин удалось добиться существенного прогресса в рабочих характеристиках по сравнению с накопителями, использующими скорость вращения 5400 об/мин. В частности, заявлено увеличение скорости передачи данных на 15%, меньшая на 20% латентность и на 20% улучшенное среднее время поиска. Кроме того, в жестком диске используется технология IBM Adaptive Battery Life Extender (ABLE) 3.0, призванная уменьшить потребление энергии. С этой целью предусмотрены четыре режима для нерабочего состояния.
Результаты тестирования и выводы
Таблица 2. Результаты комплексного теста Winbench 99 2.0
Главный вывод, который можно сделать по итогам тестирования — скорость вращения шпинделя для мобильного жесткого диска остается одним из основных факторов, определяющих его скоростные характеристики. Как видно по результатам, грань между разными классами устройств прослеживается довольно четко. Лидер обоих подтестов – «семитысячник» Hitachi Travelstar 7K60, за ним расположились «пятитысячники». Ведущий среди них — новый жесткий диск производства Samsung. Согласитесь, дебют нового продукта корейской компании оказался очень удачным. Особенно если учесть, что модель SpinPoint M40 показалась нам еще и самой тихой. (Очевидно, здесь сказывается оригинальная технология SilentSeek.) Неплохо себя показал и другой новичок рынка — Seagate Momentus, который хоть и уступил в подтесте High-End Disk WinMark другому представителю класса устройств с частотой вращения шпинделя 5400 об/мин — Hitachi Travelstar 5K80, — опередил его по результатам Business Disk WinMark.
Накопитель Toshiba MK6028GAX с частотой вращения 5400 об/мин даже на фоне менее «оборотистых» устройств показал не лучший результат, причем объем его кэш-буфера составляет рекордные 16 Мбайт. На наш взгляд, такой результат можно объяснить солидным возрастом линейки, в которую входит модель, а также не самой высокой среди конкурентных решений плотностью записи.
Сравнительно плохие результаты тестирования накопителей со скоростью вращения шпинделя 4200 об/мин вполне объяснимы: по скоростным показателям они заметно уступают более «оборотистым» устройствам. В целом же их результаты близки, явного лидера нет.
Подводя итог, скажем, что каждый волен делать выводы самостоятельно. Как видно, различие в производительности между разными классами устройств довольно существенное. Что же касается устройств одной скоростной группы, их превосходство/отставание друг от друга минимально, а потому едва ли стоит отказываться от покупки того или иного ноутбука из-за использования в нем неприглянувшегося винчестера. К тому же вне нашего тестирования остались такие параметры, как шум и нагрев, которые, скажем, для субноутбуков, могут быть куда более важными, чем собственно производительность.
Samsung
Компания Samsung новичок не только на рынке 2,5-дюймовых винчестеров, но и накопителей на магнитных жестких дисках вообще. Однако, учитывая, что современные «настольные» серии устройств этого производителя весьма удачны, от новинки в сфере мобильных решений также можно ожидать прекрасных характеристик. Надо сказать, что отличий 2,5-дюймовой линейки устройств Samsung от «настольной» немного — сниженные нормы энергопотребления и механизм SilentSeek, призванный уменьшить шум работы шагового двигателя держателя магнитной головки, на который подаются управляющие импульсы оптимизированной формы. Кроме того, использована новая механическая платформа, позволяющая минимизировать силу внешних воздействий на устройство, а следовательно, повысить противоударные свойства жестких дисков серии SpinPoint M.
В остальном, жесткие диски SpinPoint M – вполне стандартные современные решения для ноутбуков. В модельный ряд входят диски емкостью от 30 до 80 Гбайт с кэш-памятью объемом 8 Мбайт и скоростью вращения шпинделя 5400 об/мин.
Seagate
На рынок мобильных жестких дисков компания Seagate первоначально вышла с двумя устройствами: емкостью 20 и 40 Гбайт и с частотой вращения шпинделя 5400 об/мин. Впрочем, сегодня уже доступна модель с частотой вращения 4200 об/мин, а недавно объявлена более «оборотистая» модель (7200 об/мин).
В нашем тестировании принял участие диск Seagate Momentus объемом 40 Гбайт. Он укомплектован 8 Мбайт кэш-памяти (есть устройства и с 2 Мбайт кэша). Устройства совместимы со стандартом UltraATA/100. Как и в накопителях, выпущенных компаниями-конкурентами, в устройствах от Seagate реализованы технологии, обеспечивающие существенное снижение уровня рабочего шума. Интересной особенностью данных накопителей является сравнительно высокая стойкость к ударам, составляющая 800 g в нерабочем состоянии и 225 g — в рабочем (оба значения даны для времени воздействия не более 2 мс). Заявлено довольно-таки низкое энергопотребление для столь «расторопного» устройства: максимальный ток – 0,47-0,72 А при напряжении питания +5 В (2,35-3,6 Вт). Высота накопителей Seagate Momentus составляет стандартные 9,5 мм. По заявлению производителя, накопители данного семейства обладают улучшенными энергосберегающими способностями. В частности, заявленная потребляемая мощность не превосходит ту, что требуется для работы жестким дискам со скоростью вращения шпинделя 4200 об/мин.
Table1.shtml
Таблица 1. Участники тестирования
| Hitachi Travelstar 80GN | Hitachi Travelstar 5K80 | Hitachi Travelstar 7K60 | Fujitsu MHT2080AT | Toshiba MK6028GAX | Toshiba MK6021GAS | Seagate Momentus ST94811A | Samsung SpinPoint M40 | |
| еНЛПУФШ, зВБКФ | 80 | 30 | 60 | 80 | 60 | 60 | 40 | 40 |
| лПМЙЮЕУФЧП РМБУФЙО | 2 | 1 | 2 | 2 | 2 | 2 | 1 | 1 |
| лПМЙЮЕУФЧП ЗПМПЧПЛ | 4 | 2 | 4 | 4 | 4 | 4 | 2 | 2 |
| пВЯЕН ВХЖЕТБ, нВБКФ | 8 | 8 | 8 | 2 | 16 | 2 | 8 | 8 |
| уЛПТПУФШ ЧТБЭЕОЙС ЫРЙОДЕМС, ПВ/НЙО. | 4200 | 5200 | 7200 | 4200 | 5400 | 4200 | 5400 | 5400 |
| MTBF, ФЩУ. ЮБУ | 40000 ГЙЛМПЧ УФБТФ/УФПР | 300 | 300 | 300 | 330 | 300 | 330 | 330 |
Тестовая система и методика
В качестве тестовой системы мы взяли ноутбук HP Compaq nc6000, позволяющий производить замену жесткого диска без вскрытия корпуса системы. Для этого 2,5-дюймовые жесткие диски можно просто вставить в специализированный боковой разъем компьютера. Использованный нами экземпляр основан на процессоре Pentium M 1,4 ГГц, оснащен 256 Мбайт оперативной памяти. В качестве операционной системы, которую нам пришлось зеркалировать на каждый тестовый образец, применялась Windows XP SP1. Для ее нужд создавался отдельный раздел объемом 15 Гбайт. Тестирование пакетом Winbench проводилось во втором разделе дисков, который форматировался под NTFS.
Здесь следует прояснить, почему для тестирования нами был выбран один тестовый пакет. Причина такова. Хотя в blade-серверах и существует тенденция использования 2,5-дюймовых накопителей, нельзя сказать, будто она уже приобрела массовый характер. Да, подобные решения присутствуют на рынке, но их не много. Дело в том, что современным накопителям еще далеко до обеспечения всего набора необходимых серверу функций. И дело даже не в заведомо (пока) меньшей их скорости по сравнению с 3,5-дюймовыми аналогами. Просто, если обратиться к таблице их технических характеристик (см. табл. 1), можно заметить, во-первых, значительно меньший ресурс наработки на отказ, что критично для любого сервера, а во-вторых, отсутствие функций, присущих SCSI-накопителям. Эти функции появятся в 2,5-дюймовых устройствах с распространением Serial Attached SCSI. Поэтому пока 2,5-дюймовый жесткий диск как решение для сервера, скорее, исключение. Именно поэтому мы отказались от теста IOMeter.
Что же до Winbench, он был выбран потому, что позволяет отследить общий уровень производительности устройств, чего на наш взгляд для данной группы устройств вполне достаточно. Все-таки далеко не каждый производитель ноутбука предоставляет возможность выбора жесткого диска. С другой стороны, узнать производительность уже установленного решения всегда интересно, равно как и оценить его перспективы. Ведь по большому счету апгрейд жесткого диска (наряду с оперативной памятью) — единственный вариант увеличения производительности мобильной системы.
Toshiba
Тот факт, что при создании своих мобильных винчестеров компания Toshiba использует комплектующие производства сторонних компаний, видимо, и объясняет ограниченный объем информации, которая содержится на сайте производителя. Впрочем, кое-что об этих устройствах все же можно сказать.
Линейка MKххххGAX — наиболее производительные устройства компании Toshiba, отличающиеся от прочих увеличенным до 16 Мбайт кэш-буфером. Таких характеристик не встретишь даже в настольных накопителях. В винчестере используются четыре головки и две пластины. В остальном накопитель, попавший к нам на тестирование, имел емкость 60 Гбайт, скорость вращения шпинделя 5400 об/мин. В модельном ряду также присутствуют накопители с емкостью 20 и 40 Гбайт. Предельные нагрузки составляют 800 и 200 g во выключенном и рабочем состоянии соответственно.
Линейка устройств MKххххGAS — менее производительный аналог предыдущей серии. Частота вращения ее шпинделя равна 4200 об/мин, а объем кэш-буфера — 2 Мбайт. Протестированное нами устройство имело емкость 60 Гбайт (плотность записи – 30 Гбайт на пластину), из-за чего оно из ряда накопителей, использующих пластины емкостью 40 Гбайт.
Храните свои терабайты в ящике
Эрнст Долгий
«Экспресс-Электроника» #8(117)/2004
О мудрец! Если тот или этот дурак
Называет рассветом полуночный мрак –
Притворись дураком и не спорь с дураками
Каждый, кто не дурак, - вольнодумец и враг!
Омар Хайям
В последнее время системы хранения информации развиваются только экстенсивно – с годами растет не только их емкость, но и количество, и сложность составляющих их элементов. Видимо, утверждение, что стоимость корпоративной информации многократно превышает цену любой, пусть даже самой дорогостоящей системы хранения, возымело действие, и сегодня очень многие компании готовы платить любые деньги за надежность и безопасность своих данных. Но давайте абстрагируемся от навеваемых маркетинговыми уловками «истин» и попробуем представить высокопроизводительную систему, которая имеет петагигабайтную емкость, высокую надежность и при этом функционирует на базе стандартных комплектующих для настольных ПК.
Чтобы развенчать все сомнения в том, что система хранения информации может быть устойчивой даже при использовании компонентов с ограниченной надежностью, приведем пример сети Интернет. Согласитесь, чего-то более надежного из саморегулирующихся механизмов, чем Всемирная паутина, представить сложно. Ведь выход из строя любого узла глобальной сети никак не скажется на функциональности всей системы. Подобная идея лежит и в основе проекта IBM — Collective Intelligent Bricks (CIB), первые практические результаты которого были продемонстрированы на CeBIT ‘2004. Об этом и пойдет наш рассказ.
Подсистемы хранения данных
Устройство жесткого диска
Артём Рубцов, R.LAB
Закись азота для ПК: Intel Turbo Memory
Евгений Патий, "Экспресс Электроника"
Хранение данных: задачи, решения, перспективы
Семен Горотов, "Экспресс Электроника"
eSATA: ком, хотевший быть блином
Евгений Патий, "Экспресс Электроника"
Индустрия жестких дисков: дальше - больше
Данил Анисимов, Евгений Патий, "Экспресс Электроника"
Голографическая запись
Евгений Патий, "Экспресс Электроника"
Современные технологии записи на ленту
Дмитрий Залужный, Денис Ладошкин, "Экспресс Электроника"
Современные системы хранения данных
Игорь Сюртуков, Тестовая лаборатория Ferra
Как продлить срок службы современных накопителей
Илья Зайдель, Центр восстановления данных R.LAВ
«Перпендикулярный» моментус
Евгений Патий, "Экспресс Электроника"
Винчестер без единого гвоздя
Евгений Патий, "Экспресс Электроника"
Serial Attached SCSI - время пришло?
Валентин Седых, "Экспресс-электроника"
Индустриальное распространение SAS
Евгений Патий, "IT News"
Seagate Momentus 5400.2 и 7200.1
Евгений Патий, "Экспресс-электроника"
Вторая скорость SerialATA
Евгений Патий, "Экспресс-электроника", #12/2005
147 Гбайт: последний оплот Ultra 320 SCSI
Евгений Патий, "Экспресс-электроника", #08/2005
Твердотельные диски как метод минимизации TCO
Александр Горловой, "Экспресс-электроника", #04/2005
Что вслед за флэш?
Николай Печерица, «Экспресс-Электроника», #6/2005
Системы хранения данных на магнитных лентах
Д. Залужный, руководитель отдела систем резервного копирования, компания Транс-Америтек
по материалам Quantum, Sony, HP, Certance, OnStream, IBM, и информационного портала IXBT.
RAID-массивы начального уровня
Владимир Барановский, Издательский Дом "КОМИЗДАТ"
Новые SerialATA-винчестеры
Владимир Барановский, Издательский Дом "КОМИЗДАТ"
Карман для сервера
Николай Ткаченко, Издательский Дом "КОМИЗДАТ"
Эффективность встроенных RAID
Сергей Антончук, "Комиздат"
Дорогу маленьким!
Никита Расторгуев, «Экспресс-Электроника» #7(116)/2004
Храните свои терабайты в ящике
Эрнст Долгий, «Экспресс-Электроника» #8(117)/2004
Тестирование контроллеров iSCSI
Александр Горловой, «Экспресс-Электроника» #8(117)/2004
Жесткие диски: любимая емкость
Сергей Грицачук, "Компьютеры + Программы"
Обзор внешних жестких дисков
Елена Полонская, Издательский Дом "КОМИЗДАТ"
На грани прорыва
Эрнст Долгий, "Экспресс-Электроника" , # 5/2004
Вести с магнитных полей
Олеся Нагорная
«Экспресс-Электроника», #1/2004
Методы построения систем хранения данных
А.К. Лобанов, Эксперт департамента системных решений, Компания IBS
Опубликовано в информационном бюллетене Jet Info Online №7/2003
Правильный выбор (о технологиях хранения данных)
Эрнст Долгий, "Экспресс-Электроника" #11/2003
Технологии хранения сетевой эпохи
Эрнст Долгий, «Экспресс-Электроника» #11/2003
Забег на скорости 15 000 об/мин (обзор SCSI-накопителей)
Рольф Ричардсон, «Экспресс-Электроника» #11/2003
Почти все о SCSI
Анатолий Коляденко, ООО "ЕПОС"
Интерфейс IDE
Электронная библиотека компании BiLiM Ltd.
Super-AIT - прорыв в области наклонно-строчной записи
Александр Горловой, «Экспресс-Электроника», #10/2003
Эволюция и перспективы резервного копирования данных
Александр Горловой, «Экспресс-Электроника», #06/2003
Магнитные ленты, из прошлого в будущее
Леонид Черняк, Открытые системы, #03/2003
Постановка задачи
Когда новая система хранения информации, более известная под кодовым названием IBM IceCube («ледяной куб») только задумывалась, перед разработчиками была поставлена задача создать надежное решение, гибко масштабируемое, легко управляемое и имеющее емкость в сотни раз большую, чем у существующих систем. В идеале новая система хранения информации должна была работать автономно, то есть без присутствия администратора.
Надо отдать должное разработчикам — к решению поставленной задачи они подошли творчески, применив законы и следствия теории перколяции (протекания). Основываясь на ней, разработчики построили трехмерный массив (куб), состоящий из соединенных между собой элементов-кирпичиков, каждый из которых содержит несколько жестких дисков, процессор, сетевые интерфейсы и собственную систему охлаждения. Даже не вникая в тонкости теории протекания, можно понять, что такая схема позволила изначально не задумываться о решении таких проблем, как локализации данных внутри куба – этот вопрос попросту потерял свою актуальность. Кроме того, применение законов и следствий теории протекания дало возможность на уровне обслуживающего систему ПО решить такие задачи, как рассредоточение, репликация и резервирование данных между кирпичиками-элементами системы. Как следствие, созданная система требует минимального вмешательства обслуживающего персонала. Если какие-то из «кирпичиков» выходят из строя, они могут совершенно безболезненно оставаться внутри системы, нисколько не мешая работе последней. Система автоматически перекроит свою маршрутную таблицу, удалив из нее поврежденный элемент. При этом репликация данных и переконфигурирование системы происходит автономно. Если есть необходимость повысить надежность системы до начального уровня, вышедший из строя куб просто изымается и заменяется новым.
К устройству «кирпичиков» мы еще вернемся, а сейчас перейдем к ознакомлению с теорией, позволившей создать систему хранения с принципиально новыми свойствами.
Предложенное решение
«Кирпичик» системы хранения информации IBM CIB получил форму куба со стороной 15 см. В нем расположились 12 жестких дисков объемом 100 Гбайт, которые управляются трехканальным дисковым контроллером. Вычислительные мощности системы базируются на процессорах Intel Pentium (точную модель разработчик не называет), сетевые – на восьмипортовом Ethernet-коммутаторе. Последний подключается к емкостным соединителям, располагающимся на гранях куба и являющимся сетевыми интерфейсами. Через них осуществляется передача данных со скоростью до 10 Гбайт/с, при этом не нужно ни кабелей, ни патч-кордов. Таким образом, суммарная пропускная способность одного «кирпичика» составляет 60 Гбайт/с. Питаются «кирпичики» от источника постоянного тока с напряжением 48 В, которое подается через соединитель, совмещенный с сетевым разъемом. Охлаждение «кирпичей» централизированное – в каждом из них имеется вертикальный патрубок, стыкуемый с патрубком стоящего над ним куба. Патрубки замыкаются в контур системы водяного охлаждения, от него внутрь «кирпичиков» к наиболее горячим элементам подводятся тепловые трубки, хорошо известные по ноутбукам.
Продемонстрированный на CeBIT ‘2004 прототип состоял из 27 модулей-кирпичиков, каждый из которых имеет емкость около 1,2 Тбайт. Из них на стенде компании IBM была смонтирована готовая система, вмещающая около 26 Тбайт информации, чего, кстати, достаточно для размещения всех текстов Библиотеки конгресса США – самого большого хранилища книг в мире. Сейчас в лабораториях IBM тестируется система размером 3 м3, емкость накопителей составляет 1,2 Пбайт. Поражает также «выходная» скорость продемонстрированной на CeBIT ’2004 системы. Если допустить, что каждый «кирпич» оснащен внешним портом Gigabit Ethernet, то только одна его грань способна обеспечить пропускную способность порядка 10 Гбит/с.
Что касается надежности системы, как и в случае с системами хранения информации на основе RAID-массивов, данные в середине IceCube дублируются, а для возможности повторной репликации при выходе из строя какого-либо из элементов системы, она никогда полностью не заполняется данными. (Отсюда и заниженный объем готовой системы по сравнению с реальным – 1,2 Тбайт по 27 не равно 26 Тбайт.) При этом репликация данных производится не в середине «кирпичиков», а на дисках соседних модулей.
То есть дублируются не дисковые накопители, а содержимое целых «кирпичиков». Это гарантирует, что даже при полном отказе одного из элементов конструкции, информация будет сохранена на одном из элементов, а значит, степень надежности такого решения значительно выше, чем у существующих систем. При этом информация сохраняется автоматически и нецентрализованно, то есть не требует использования выделенной логики, а потому не зависит от ее работоспособности. Здесь сети SAN и NAS также проигрывают, поскольку их работа конфигурируется централизованно — центральным сервером сети.
Что же произойдет при выходе из строя одного из «кирпичиков» такой системы? Понятно, что если «кирпич» находится на верхнем стеллаже куба, его можно просто отключить и заменить новым. А если расположение вышедшего из строя «кирпичика» внутреннее и без выключения и перезапуска всей системы не обойтись, то согласно теории протекания, проблема приобретает характер третьей задачи – ячеечной перколяции. В итоге из-за того, что каждый «кирпичик» имеет сетевой концентратор с разъемами во всех шести плоскостях, целостность системы не нарушится и связь между элементами поврежденного кластера куба разорвана не будет. Ведь согласно теории перколяции, порог протекания для кубической решетки составляет 0,21 и вряд ли будет достигнут мгновенно. Впрочем, даже в этом случае (выход из строя 80% «кирпичиков») целостность данных и функциональность системы окажется нормальной! Снизится лишь скорость обмена данными с внешним миром.
Если же откажет не весь «кирпич» целиком, а только его начинка, скажем, один из дисков или один из шести сетевых интерфейсов, задача примет характер задачи узлов или связей, соответственно. И снижение степени надежности всей системы окажется еще менее заметным.
Напомним, что на практике надежность такой системы хранения будет повышаться одновременно с ее объемом. (Тогда как в классических системах все происходит с точностью до наоборот.) Ведь при рассмотрении теории перколяции мы отталкивались от условий, что решетка имеет бесконечные размеры.
Следовательно, чем больше «кирпичиков» составляет систему, тем выше ее надежность. Кроме того, уже при переходе числа «кирпичиков» через сотню, в конструктиве системы могут применяться обычные жесткие диски с IDE-интерфейсом. В этом случае, учитывая их время наработки на отказ, только через пять лет с допустимой степенью вероятности не более чем 5% «кирпичиков» выйдет из строя, следовательно, связность между элементами конструкции гарантировано сохранится. При этом экономия средств при создании такой системы достигнет весьма ощутимых значений, ведь если взять аналогичную по параметрам систему производства ЕМС или Hitachi Data Systems на базе привычных SCSI-дисков, то только ее себестоимость превысит цену аналогичной по объему IBM IceCube как минимум в пять раз.
Но, как известно, в каждой бочке меда найдется своя ложка дегтя. В случае с IceCube это сравнительно невысокое быстродействие таких систем, а следовательно, и невысокая скорость работы установленных в ней накопителей. С другой стороны, у IBM есть планы по встраиванию в серийные образцы «кирпичиков» RAID-контроллеров уровня 1. В этом случае скорость системы существенно увеличится, а ее надежность все равно останется более высокой, чем у аналогов на базе зеркалирующих RAID-массивов. К тому же с ростом производительности Serial ATA-дисков и поголовной реализации в них логики NCQ, скорость IBM IceCube может не только достичь скорости работы конкурентных разработок, но и превзойти их.
Рынок преодолевает петабайты
По данным IDC, объем продаж внешних дисковых систем составил в I квартале текущего года $3,5 млрд, что на 6,5% превышает показатели того же периода прошлого года. В отчете Worldwide Quarterly Disk Storage Systems Tracker указывается, что показатели предыдущих лет превышаются уже в течение трех последовательных кварталов. Рост рынка дисковых систем всех типов в I квартале составил 3,5%. В то же время увеличение емкости проданных накопителей значительно превысило показатели продаж и в I квартале достигло 39,5%, при увеличении поставок до 247 Пбайт. В сегменте внешних систем компании EMC удалось вытеснить HP с первого места. Теперь ей принадлежит 20,2% объема продаж. Доля HP составляет 18%, третье место у IBM (12%). Высокие показатели роста продемонстрировали Network Appliance и Dell — 22,3 и 21,5% соответственно. RAID-массивы составляют более 90% рынка внешних систем. В этой области первое и второе места по продажам также за EMC (22%) и HP (16,9%). При этом EMC продолжает лидировать и в сегменте сетевых дисковых систем, где ей принадлежит 28,5% продаж. Доля HP и IBM — 22,8% и 10,5% соответственно. Лидером продаж накопителей всех типов стала компания НР, которой принадлежит 23,2% рынка. Далее следуют IBM с 19,7% и EMC с 13,9%.
Решение на бумаге
Сама по себе теория протекания довольно-таки молода по меркам современной науки. Основные ее идеи были сформулированы в 1957 году при изучении явления прохождения газов через угольный фильтр, но со временем выяснилось, что новая теория способна описать широчайший круг явлений из таких областей, как физика и химия. Поэтому в настоящем теория перколяции получила весьма широкое распространение. Например, в контексте исследуемой нами темы эта теория позволяет определить характер состояния системы из большого числа связей, при условии, что они носят случайный характер, то есть могут быть заданы при помощи генератора случайных чисел.
Для того чтобы яснее представить обоснование предложенной учеными IBM схемы, обратимся к решению трех классических задач теории протекания. Две из них были приведены и практически доказаны в 1974 году американцами Б. Уотсоном (B. Watson) и П. Лизом (P. Leath).
Первый эксперимент американских ученых производился с экранной сеткой, состоящей из 137х137 узлов с расстоянием 6,35 мм, которые были припаяны к источнику постоянного тока и омметру. Путем поочередного разрезания контакта в узлах (рис. 1) решетки, инициированного случайным образом, исследователи добивались постоянного увеличения сопротивления сетки, таким образом, что в последний момент оно стало бесконечным. То есть связь между положительным и отрицательным зажимом генератора тока исчезла. Эта ситуация была названа порогом протекания. Если определить порог протекания как отношение количества разрезанных узлов к их общему числу, то при бесконечно большой решетке он будет равен 0,59. При условии использования трехмерной решетки порог протекания приобретает значение 0,31.
Эта задача получила название задачи узлов. Если же в исследуемой решетке перерезать не узлы, а их соединения (рис. 2), то задача преобразится в задачу связей. Ее решением для бесконечно двумерной решетки с бесконечно большим числом узлов является порог протекания, равный 0,5. Если же обратиться к трехмерной решетке, то ее порог протекания составит 0,25.
Третья задача самая сложная, поскольку наиболее реально отображает исследуемую нами систему и предполагает возможность исчезновения связи как в узлах, так и в их соединениях. Вновь представим себе квадратную решетку и предположим, что каждый квадрат этой решетки, или ячейка, может находиться в двух состояниях — «работы» или «поломки». При этом каждая ячейка занимается с вероятностью р независимо от состояния соседних ячеек. Эта модель называется ячеечной перколяцией. Занятые ячейки либо изолированы друг от друга, либо образуют группы, состоящие из ближайших соседей. Кластер – группа занятых ячеек решетки, связанных с ближайшим соседом по стороне ячейки. Две занятые ячейки принадлежат одному кластеру, если они соединены путем, состоящим из занятых ячеек (рис. 3), в ином случае кластер не существует (рис. 4). Занятым ячейкам соответствуют красные клетки, свободным – синие.
Один из простых способов изучения перколяции основан на использовании генератора случайных чисел. Вычислительная процедура при этом сводится к генерации случайного числа и его сравнению с некоторым порогом р (ячейка решетки считается «рабочей», если случайное число меньше р). Если вероятность рабочего состояния ячейки мала, можно ожидать, что будут присутствовать только небольшие, изолированные кластеры. По сравнению с этим, если р
~ 1, то можно ожидать, что большинство работающих ячеек образуют один большой кластер, который протянется от одной стороны решетки до другой. О таком кластере говорят, что он «перекидывается» через решетку, и называют соединяющим кластером. В нашем случае это обязательное условие для вертикальных стоек ячеек, так как «кубики» не могут висеть в воздухе и должны опираться друг на друга.
В пределе бесконечной решетки существует вполне определенная «пороговая вероятность» р такая, что для р> рс
существует один соединяющий кластер или путь; для р < рс
нет ни одного соединяющего кластера и все кластеры конечны.
С физической точки зрения переход из состояния, в котором существует соединяющий кластер, в состояние, в котором данного кластера не образуется, является математической моделью. Для конечной решетки со стороной n всегда существует ненулевая вероятность того, что будет появляться соединяющий кластер, связывающий одну сторону решетки с другой. Для малых значений р эта вероятность составляет порядка рn. По мере увеличения n данная величина стремится к нулю, и для достаточно малых значений р будут существовать только конечные кластеры. Поскольку нам необходимо применить правило протекания для конечной решетки, мы определим рс(n) как такое значение р,, при котором впервые появляется соединяющий кластер. Для конечной решетки определение протекания произвольно, следовательно, вычисленное выражение рс зависит от критерия протекания. Не особо углубляясь в алгоритм решения этой задачи, скажем, что порог протекания для двумерного массива ячеек составляет 0,34, и всего 0,21 — для трехмерного.
Теперь, вооружившись теорией, мы можем перейти к описанию проекта IBM CIB.
Результаты, полученные при соотношении
Результаты двунаправленных тестов представлены на рис. 1. Видно, что из всех трех контроллеров максимальной пропускной способностью обладает Alacritech SES1001T с пиковой пропускной способностью 211,6 Mбайт/с при запросах ввода/вывода 64 кбайт. Наименьшую пиковую пропускную способность 129,1 Mбайт/с показал контроллер Intel PRO/1000T при запросах передачи 32 кбайт. Adaptec iSCSI Card 7211C показал пиковую пропускную способность 134,4 Mбайт/с при запросах передачи 128 кбайт.
С точки зрения пропускной способности измерения в двунаправленном режиме показали 64%-е превосходство контроллеров Alacritech SES1001T над контроллерами Intel PRO/1000T IP Storage Adapter и 57%-е превосходство над контроллерами Adaptec iSCSI Card 7211C.
Представленные на рис. 2 результаты измерений в двунаправленном режиме свидетельствуют о том, что контроллер Alacritech выполняет больше операций ввода/вывода в единицу времени (за секунду), чем другие тестируемые контроллеры. Максимальное количество операций ввода/вывода за секунду для контроллера Alacritech составило 47690,5 при запросах передачи 512 байт. Максимальный показатель контроллера Adaptec составил 10728,2 при запросах передачи 512 байт. Еще меньший показатель у контроллера Intel – 14486,9 при запросах передачи 512 байт.
С точки зрения пикового количества операций ввода/вывода за секунду контроллер Alacritech показал 345%-е превосходство над контроллером Adaptec и 226%-е превосходство над контроллером Intel.
Результаты, полученные только на операциях чтения (100% операций чтения) в однонаправленном режиме
На рис. 3 представлены результаты измерения пропускной способности на операциях чтения в однонаправленном режиме. Видно, что максимальной пропускной способностью обладает контроллер Alacritech – 113,1 Mбайт/с (пиковая величина) при запросах передачи 256 кбайт. Самая маленькая в тесте пиковая пропускная способность 76,4 Mбайт/с при запросах передачи 256 кбайт оказалась у контроллера Intel, а пиковая пропускная способность контроллера Adaptec оказалась чуть выше 93,7 Mбайт/с при запросах передачи 512, 256, 128 и 64 кбайт.
С точки зрения пропускной способности при однонаправленном режиме работы (чтении) преимущество контроллера Alacritech перед контроллером Intel составляет 48%, а перед контроллером Adaptec – 21%.
На рис. 4 показаны результаты измерения количества операций ввода/вывода за секунду в однонаправленном режиме (чтение) работы. Лучший результат (46001,5 операций ввода/вывода за секунду при запросе передачи 512 байт) снова показал контроллер Alacritech.
На втором месте (14491,7 операций ввода/вывода за секунду при запросе передачи 512 байт) – контроллер Intel, а на третьем (11657,2 операций ввода/вывода за секунду при запросе передачи 512 байт) — контроллер Adaptec.
С точки зрения количества операций ввода/вывода за единицу времени (то есть производительности системы ввода/вывода) преимущество контроллера Alacritech над контроллером Adaptec составляет 295%, а над контроллером Intel – 217%.
Результаты, полученные только на операциях записи (100% операций записи) в однонаправленном режиме
На рис. 5 представлены результаты измерения пропускной способности контроллеров при однонаправленном режиме работы и выполнении только операций записи. Лучший показатель (правда, с небольшим отрывом) — 113,2 Mбайт/с при запросах записи 512, 256, 128 и 64 кбайт снова у контроллера Alacritech. Самая маленькая пропускная способность 109,9 Mбайт/с при запросах записи 256, 128 и 64 кбайт у контроллера Adaptec. Пропускная способность контроллера Intel составляет 113,1 Mбайт/с при запросах записи 1 Mбайт, а также 512, 256, 128 и 64 кбайт.
С точки зрения пропускной способности преимущество контроллера Alacritech над контроллером Adaptec составляет 3%. По сравнению с Intel разница совсем незначительна.
Результаты измерения производительности системы ввода/вывода при однонаправленном режиме работы (количество операций ввода/вывода за секунду) и только на операциях записи представлены на рис. 6.
Максимальное пиковое количество операций ввода/вывода за секунду (23733) показал контроллер Alacritech при запросах записи 512 байт. На втором месте контроллер Intel (16992,3 операций ввода/вывода за секунду при запросах записи 512 байт), а наименьший результат у контроллера Adaptec (9354 операций ввода/вывода за секунду при запросах записи 512 байт).
С позиции пиковой производительности системы ввода/вывода при однонаправленном режиме работы и выполнении только операций записи преимущество контроллера Alacritech над контроллером Adaptec составляет 154%, а над контроллером Intel – 40%.
В результате тестирования выяснилось, что контроллер Alacritech обладает наибольшими возможностями для управления при подключении по iSCSI.
Тестирование контроллеров iSCSI
Александр Горловой
«Экспресс-Электроника» #8(117)/2004
Протокол iSCSI появился не так давно и его аппаратных реализаций пока немного. Соответственно, мало и опыта применения iSCSI. В данной статье представлены результаты тестирования и измерения производительности трех контроллеров iSCSI от компаний Adaptec, Alacritech, Intel. Надеемся, этот материал поможет читателям сделать выбор в пользу новой технологии.
Измерялась производительность трех контроллеров iSCSI: SES1001T iSCSI Accelerator от Alacritech, 7211C iSCSI Card от Adaptec и Intel PRO/1000T IP Storage Adapter. Для оценки и измерения производительности указанных контроллеров использовался стандартный для этих целей инструментарий, Iometer (специальный программный продукт, который инсталлируется и запускается на сервере, предназначенном исключительного для этих целей). Поскольку еще нет аналогичного устоявшегося термина для обозначения данного инструментария, далее по тексту мы будем использовать оригинальное написание — Iometer.
Производительность контроллеров измерялась в количестве операций ввода/вывода за одну секунду (IOPs) и в количестве переданных за секунду мегабайт (Mбайт/с). То есть оценивались два параметра: производительность и пропускная способность.
Все три карты являются контроллерами iSCSI с «медным» подключением и во всех использована аппаратная разгрузка TCP/IP центрального процессора сервера. Технология эта называется TOE – TCP Offload Engine, а соответствующие контроллеры имеют индекс TOE.
Карта Intel PRO/1000T IP Storage Adapter содержит процессор Intel 80200, на котором и реализовано аппаратное ускорение TCP/IP. Карты же Adaptec и Alacritech построены на специализированных заказных процессорах. Для обработки пакетов iSCSI в контроллере 7211C установлен специализированный процессор Adaptec SPA (Storage Protocol Accelerator).
Контроллер Alacritech SES1001T iSCSI построен на специализированном процессоре TOE Alacritech IPP (Internet Protocol Processor).
Кроме того, если в системе применяется два и более контроллера iSCSI, входящее в комплект управляющее ПО Alacritech предоставляет большую гибкость, удобство управления и наилучшую устойчивость.
Цель работы — сравнение пропускной способности и количества операций ввода/вывода в единицу времени контроллеров iSCSI при помощи инструментария Iometer как в полудуплексной (однонаправленной), так и в дуплексной (двунаправленной) конфигурациях. Дополнительно оценивались возможности управления и устойчивости на базе IP для всех рассматриваемых контроллеров.
В качестве управляющей системы использовался сервер Supermicro с двумя процессорами Intel Pentium 4 с частотой 3,06 ГГц, оперативной памятью 2 Гбайт, одним жестким диском емкостью 76 Гбайт (файловая система NTFS) и операционной системой Windows Server 2003 Standard Edition. На сервер была установлена версия Iometer 2003.12.16 win32.
При проведении каждого теста соответствующий контроллер вставляли в управляющий сервер Iometer, потом подключали к управляемому коммутатору Dell PowerConnect 5224 (одиночное подключение при помощи медного кабеля Gigabit Ethernet). Затем этот коммутатор подсоединялся оптическими кабелями к коммутатору McData IPS3300 Internetworking Switch. И наконец, коммутатор McData четырьмя оптическими кабелями Fibre Channel был подключен к дисковой системе LSI Logic ProFibre DF4000R.
Во время испытаний Iometer генерировал нагрузку с разным процентным соотношением последовательной записи и чтения, при этом размер запроса чтения или записи составлял от 251 байт до 1 Мбайт.
Каждый продукт подвергся следующим испытаниям:
Кэшируемые двунаправленные операции с соотношением чтение/запись 50:50. Общее количество сгенерированных запросов ввода/вывода поровну поделено между операциями чтения и записи. Тестируемое устройство сконфигурировано для работы в полнодуплексном режиме.
Кэшируемые однонаправленные операции чтения (100% операций чтения). Все сгенерированные запросы ввода/вывода являются запросами чтения, а тестируемое устройство (контроллер) сконфигурировано на работу в полудуплексном режиме.
Кэшируемые однонаправленные операции записи (100% операций записи). Все сгенерированные запросы ввода/вывода являются запросами записи, а тестируемое устройство сконфигурировано для работы в полудуплексном режиме.
Каждый тест проводился в течение 60 секунд, причем отсчет времени начинался не сразу, а через 20 секунд работы системы (чтобы прошли установочные процессы).
Тесты на устойчивость
Наилучшей устойчивостью обладает контроллер Alacritech, поскольку лишь этот контроллер сумел сохранить нормальную пропускную способность при введении неисправности кабельного соединения между контроллером и управляемым коммутатором Dell PowerConnect 5224.
Ни контроллеру Adaptec, ни контроллеру Intel не удалось поддержать нормальную пропускную способность в этих условиях. Более того, контроллер Alacritech не выдал сообщения об ошибках при введении неисправности кабеля. Не обладающим функцией устойчивости контроллерам Adaptec и Intel не удалось сохранить нормальное функционирование в этих условиях.
Данные тесты были проведены для того, чтобы выяснить, работают ли контроллеры устойчиво при разрыве кабельного соединения. Под устойчивостью понимают способность контроллера к восстановлению при ошибке или сбое в сетевом соединении. Для этого два одинаковых контроллера, установленных в сервере, были сконфигурированы таким образом, чтобы оба использовали одно сетевое подключение к коммутатору Dell PowerConnect 5224 (так называемое объединение контроллеров). С этой целью проводилась соответствующая настройка контроллеров при помощи функции агрегации соединений у коммутатора Dell. Затем контроллеры были объединены при помощи соответствующего ПО. После этого проводили тестирование устойчивости работы контроллеров. Возможность объединения у контроллеров Adaptec и Intel не поддерживается, поэтому контроллеры были сконфигурированы в режим балансировки нагрузки.
Для тестирования устойчивости было запущено приложение Iometer, которое, в свою очередь, инициировало обмен с дисковой системой при помощи двух установленных контроллеров. По истечении двух минут работы фиксировали пропускную способность, количество операций ввода/вывода за секунду и количество ошибок. Эти результаты рассматривались потом как нормальные значения. Затем отключили кабель Ethernet от порта 1 коммутатора Dell (имитация возникновения обрыва кабеля, рис. 8), ждали еще минуту и снова фиксировали показания Iometer.
И наконец, выждав еще две минуты, восстановили разорванное соединение. Далее, через 10 секунд (чтобы дать контроллеру время восстановить соединение) отключили кабель от порта 2 коммутатора Dell (смоделировали обрыв соединения второго контроллера с коммутатором, рис. 9). Через 10 секунд снова зафиксировали показания Iometer (пропускная способность, число операций ввода/вывода за секунду и количество ошибок).
Из результатов видно, что контроллер iSCSI Alacritech SES1001T обладает наибольшей устойчивостью параметров при введении отказа кабельного соединения (то есть разрыва кабеля) между контроллером и коммутатором.
Контроллер Alacritech действительно поддерживает неизменный трафик данных (пропускная способность и количество операций ввода/вывода за секунду) при разрыве одного из соединительных кабелей. Контроллер Adaptec сразу после разрыва кабеля начал выдавать ошибки, а производительность снизилась (до 2%). Производительность и пропускная способность контроллера Intel снизилась примерно вдвое. Можно сказать, что контроллеры Adaptec и Intel не прошли тест на устойчивость, ввиду отсутствия поддержки этой функции.
После того как первое соединение первого контроллера с коммутатором (порт 1) было восстановлено и в течение 10 секунд восстановилось логическое соединение, было разорвано соединение между вторым контроллером и коммутатором. Точно так же контроллер Alacritech не показал ошибок передачи, и, соответственно, ни пропускная способность, ни производительность не изменились. Контроллер Adaptec сразу же показал наличие ошибок, пропускная способность и производительность упали до нуля. Такая же ситуация происходила и с контроллером Intel.
| Контроллер | Пропускная способность (Mбайт/с) | Производительность (число операций ввода/вывода за секунду) | Число ошибок |
| Alacritech | 18,53 | 37954,57 | 0 |
| Adaptec | 11,63 | 23814,59 | 0 |
| Intel | 16,33 | 33435,95 | 0 |
| Контроллер | Пропускная способность (Mбайт/с) | Производительность (число операций ввода/вывода за секунду) | Число ошибок |
| Alacritech | 18,85 | 38596,54 | 0 |
| Adaptec | 0,24 | 498,66 | 530 |
| Intel | 8,25 | 16887,85 | 0 |
/p> Таблица 2. Результаты после 1 минуты работы с разорванным соединением между первым контроллером и коммутатором
| Контроллер | Пропускная способность (Mбайт/с) | Производительность (число операций ввода/вывода за секунду) | Число ошибок |
| Alacritech | 18,44 | 37764,92 | 0 |
| Adaptec | 0 | 0 | 540 |
| Intel | 0 | 0 | 0 |
Подведем итоги. Преимущества контроллеров Alacritech во всех тестах обусловлены, по всей вероятности, применением более эффективного специализированного процессора. Стоимость же продукции Alacritech, по крайней мере, не выше, чем у конкурирующих изделий. Кроме того, можно предположить — и полученные результаты косвенно об этом свидетельствуют — что механизм TOE у контроллера Alacritech действует более эффективно, чем у других участников теста.
