Экспериментальные методы оценки.

Экспериментальные методы широко используются не только для оценки производительности ЭВМ и систем и, в частности, для оценки их памяти. Суть экспериментальных методов сводится к измерению той или иной характеристики действующей ЭВМ при выполнении на ней какой-либо работы (решении задачи или набора задач). Эти методы позволяют получить непосредственные значения интересующих величин с относительно малыми затратами, так как время измерения обычно невелико (от нескольких секунд до нескольких часов). Используя экспериментальные методы, следует учитывать, что процесс вычислений на ЭВМ имеет скорее стохастический, чем детерминированный характер (в отдельной ЭВМ – это псевдослучайный процесс, а в сервере, обслуживающем различных клиентов – уже чисто случайный) и получаемые результаты измерений представляют собой либо отдельные реализации случайной величины, либо некоторые усредненные значения. Поэтому, при относительной простоте и дешевизне этих методов, точность полученных оценок будет определяться - во-первых, степенью приближенности выполняемой при измерениях вычислительной работы к реальной нагрузке ЭВМ при ее эксплуатации или, как иначе говорят, репрезентативностью измерительной нагрузки; - а во-вторых, количеством реализаций (прогонов) выполняемой задачи или теста, по которому производится усреднение оценки.

С точки зрения характера вычислительной нагрузки, используемой для измерения интересующих характеристик, можно избрать один из следующих подходов: а) использовать в качестве такой нагрузки реальную задачу, которая будет решаться на ЭВМ; б) написать собственную программу, характер операций в которой близок к желаемому; в) использовать некоторую стандартную задачу или тестовую программу. Каждый из этих путей имеет свои достоинства и недостатки. В первом случае выполняемая ЭВМ работа наиболее близка к действительной, однако, во-первых, довольно редко предполагается использовать ЭВМ для одной задачи или узкого круга задач, а во-вторых, необходимо каким-либо образом измерить интересующую характеристику в процессе решения задачи. Это может потребовать значительных усилий или быть вообще нереализуемо. Ведь если речь идет о готовой (купленной) программе и измеряться должно не общее время ее решения, а, например, время выполнения операций по обмену данными с жестким диском, то выполнение соответствующих измерений может оказаться невыполнимым или неоправданно дорогим. Написание собственной измерительной программы представляется целесообразным только в тех случаях, когда это либо имеет некоторые очевидные преимущества перед существующими, в частности возможность получения каких-нибудь специальных характеристик, либо когда особенности вычислительных процессов, для которых требуется провести измерения, настолько специфичны, что имеющиеся программы не отображают их адекватно. Кроме того, написание подобных программ обычно предполагает достаточной высокую квалификацию программиста, его умение программировать на низком уровне. Стандартные тестовые программы (более точно название программы для оценки производительности, или benchmark programs/utilities, так как тестирование обычно предполагает просто проверку работоспособности) являются наиболее распространенным вариантом получения характеристик производительности для типовых применений ЭВМ, в особенности для сравнения различных моделей ЭВМ одного класса или близких классов. В частности, такие программы широко используются для оценки характеристик ПЭВМ. Однако общий характер таких программ делает их оценки не слишком близкими к конкретной ситуации. При этом возможны следующие разновидности таких программ: - программы, оценивающие временные характеристики отдельно взятых устройств памяти, чаще всего, кэш-памяти, оперативной памяти, и жестких дисков на основе измерения времени передачи блоков данных различной длины (например, SiSoft SANDRA, Speed System Test, Dr. Hardware и др.). Эти программы часто дают и общие индексы производительности для процессора с памятью; - программы, оценивающие характеристики всей системы в целом для различных типов задач и показывающие относительные индексы производительности памяти (например, ZIFF Davis WinBench, 3DMark, SYSmark и др.). Причем такие программы могут либо предлагать на выбор несколько различных классов задач для оценки: дисковые приложения, графику, мультимедийные и игровые пакеты, либо быть узконаправленными, проводящими оценку только для одного типа задач.

Основной особенностью всех программ оценки производительности является то, что сравнение различных аппаратных конфигураций (системы памяти, ЭВМ в целом) можно производить только на одной и той же программе. Это вызвано тем, что, даже если программа определяет абсолютные значения характеристик, эти значения для различных программ, как правило, не совпадают, причем это несовпадение может быть весьма существенным.