Технология проверки решений задач

Проверка решения задачи заключается в последовательном запуске проверяемой программы на каждом тесте из заданного комплекта тестов для этой задачи. Муниципальнаяя ПМК предусматривает автоматизацию процесса проверки решений участников при помощи специализированной системы проведения соревнований ejudge. В процессе проверки решений участников, представленных в текстовом виде ответ принимается на проверку в автоматизированную систему и оценивается в соответствии с критериями оценки. По таким задача до окончания тура участникам не сообщается – какое количество баллов набирает их решение.

В процессе проверки решений участников, представленных в виде программ, система ejudge последовательно выполняет следующие действия:

1) компилирует программу участника, используя приведенную в Памятке участника команду для соответствующего языка программирования. Если компиляция программы участника завершается неудачно, участнику сообщается результат «Ошибка компиляции». Возможно предоставление участнику вывода компилятора в стандартный поток вывода и стандартный поток ошибок. Если компиляция завершилась успешно, программа проверяется на тестах из примера;

2) осуществляет проверку программы участника на всех тестах из примера. Программа участника запускается, и проверяющая система отслеживает соблюдение программой существующих ограничений, связанных с запретом на создание каталогов и временных файлов при работе программы, а также любое использование сетевых средств и выполнение других действий, нарушающих работу самой проверяющей системы;

3) обеспечивает контроль времени работы программы участника и объема используемой памяти. Если время работы программы превысило ограничение, указанное в условии задачи, выполнение программы участника прерывается и участнику отправляется сообщение «Превышено время работы». Если количество используемой памяти превысило ограничение, указанное в условии задачи, то выполнение программы участника также прерывается и участнику отправляется сообщение «Превышен максимальный объем используемой памяти»;

4) проверяет случай, когда программа участника создала и самостоятельно не обработала исключительную ситуацию. В этом случае выполнение программы участника прерывается и участнику отправляется сообщение «Ошибка времени исполнения»;

5) проверяет, завершила ли программа участника работу с нулевым кодом возврата. Если программа участника завершила работу с ненулевым кодом возврата, участнику отправляется сообщение «Ошибка времени исполнения»;

6) проверяет, создала ли программа участника в каталоге, в котором она была запущена, выходной файл с именем, указанным в условии задачи, если программа участника завершила работу за отведенный период времени, не превысила максимальный объем памяти и завершила работу с нулевым кодом возврата. Если файл с указанным именем не найден, участнику отправляется сообщение «Ошибка формата выходных данных». Если выходной файл создан, то осуществляется проверка его корректности. Для этого используется соответствующая проверяющая программа;

7) сообщает участнику о результатах проверки его программы. по результатам окончательной проверки система начисляет участнику баллы за успешно пройденные тесты. Если в процессе подготовки и использования во время соревнований системы автоматической проверки решений задач у членов жюри возникают вопросы к комплектам тестов и проверяющим программам, то они должны быть сразу адресованы членам муниципальной предметно-методической комиссии любым доступным способом. Эта комиссия должна в кратчайшие сроки рассмотреть поступившие в ее адрес вопросы и дать окончательное решение по ним. Не допускается внесение каких-либо изменений в систему оценивания со стороны жюри без согласования с муниципальной предметно-методической комиссией по Информатике и ИКТ.