Рабочие результаты тестирования системы

Каждый тест системы предоставляет рабочий продукт, который включает детальные и суммарные (итоговые) результаты выполнения соответствующих испытаний.

Итоговые результаты

Для каждого тестирования системы итоговый результат должен считается как:

• общее количество замечаний по видам испытаний;
• общее количество замечаний для теста в целом.

Следующая информация будет включена в итоговый результат по видам испытаний

По сценариям тестирования:

• количество пройденных шагов;
• количество не пройденных шагов по причине ошибок;
• время выполнения шагов
• количество пропущенных шагов;
• количество завершенных шагов;
• количество добавленных шагов (в т. ч. для следующих испытаний):
• % завершенных;
• % пройденных из завершенных.

Следующая информация будет включена в итоговый результат по тестам системы в целом:

• количество пройденных сценариев;
• количество не пройденных сценариев по причине ошибок;
• количество пропущенных сценариев;
• количество завершенных сценариев;
• количество добавленных сценариев (в т. ч. для следующих испытаний):
  • % завершенных;
  • % пройденных из завершенных.

Детальные результаты

Детальные результаты фиксируются для каждого сценария тестирования. В итоге по каждому тестовому сценарию должна быть отражена следующая информация:

• пройденные шаги;
• не пройденные шаги по причине ошибок;
• пропущенные шаги;
• завершенные шаги;
• добавленные шаги (в т. ч. для следующих испытаний).

В конце каждого испытания по сценарию тестирования необходимо посчитать процент законченных шагов (по сравнению с числом шагов, включенных в сценарий (и добавленных в ходе испытаний)) и пройденных из завершенных.

Регистрация дефектов

Дефекты должны быть зарегистрированы для каждого шага, где есть несоответствие между фактическими и ожидаемыми результатами.

Для каждого дефекта должна быть зафиксирована следующая информация:

• Информация о тесте системы (вид, номер);
• Дата записи;
• Кто обнаружил;
• Испытательная среда (версия конфигурации ППО и оборудования);
• Сценарий и Шаг, на котором обнаружен дефект;
• Тестируемый элемент;
• Тип дефекта (Ошибка в программе, Ошибка в программной документации, Ошибка в данных, Замечания по эргономике интерфейса, Замечания по производительности, Расширение возможностей программных средств и т.п.);
• Статус дефекта (Новый);
• Уровень (категория);
• Описание дефекта:
  • Какие действия были выполнены;
  • Ожидаемый результат;
  • Фактический результат;
  • Влияние дефекта (бизнес и/или техническая область);
  • Предполагаемая причина возникновения.

Тестируемые элементы

Следующие элементы будут проверены во время системного и интеграционного тестирования, проводимого на фазе Построение

Системный тест:

• Возможности изменения модели построения Бюджетирования.
• Ввод начальных данных.
• Процесс сбора значений критериев распределения.
• Процедура выверки данных ВГО
• Процедуры аллокации и консолидации данных.
• Процесс построения регламентированной отчетности.
• Возможности построения нерегламентированной отчетности.
• Безопасность и разграничение доступа. 
• Подготовка данных для экспорта в другие системы.

Характеристики, которые должны быть проверены

Должны быть выполнены следующие Сценарии системного и интеграционного тестирования:

• Загрузка данных бюджетирования
• Актуализация справочников системы бюджетирования
• Права доступа
• Функциональность и работоспособность Формы Расходы
• Функциональность и работоспособность Формы Капитальные вложения
• Функциональность и работоспособность Формы Проекты
• Функциональность и работоспособность Форм Доходов
• Ввод и редактирование критериев распределения
• Выполнение бизнес правил системы Разделение ВГО
• Выполнение аллокаций
• Формирование Итоговых отчетов
• Формирование и экспорт данных во внешние системы

Тестирование производительности

Тестирование Производительности будет произведено с целью определения, насколько быстро работают система автоматического бюджетирования и ее составные части. Для исполнения сценариев тестирования в качестве данных будет использован реальный объем данных введенных в рамках бюджетирования, все операции вычислений, требующих большого объема, будут производится на реальных данных и в объемах, покрывающих потребности заказчика.

При выполнении тестов будет фиксироваться продолжительность выполнения сценариев. Фиксация времени выполнения будет производиться на всех сценариях, не требующих ручных действий.