Проблемы тестирования: почему 100% покрытие кода это плохо Хабр

Главное — это имплементация функциональности приложения согласно требованиям. Юнит-тестирование, скорее всего, будет не очень эффективным без покрытия как минимум основных сценариев, пользовательских путей, и негативных тест-кейсов. Метрики покрытия дают понимание, что в коде еще не проверено, где еще могут быть дефекты.

В области юнит-тестирования достаточно тяжело определить какие-то границы. Если взять тест, который выполняется за секунду – быстро это или медленно? Всё зависит от того, что это за тест, какие требования к нему. В нашей команде мы опираемся на субъективное восприятие скорости – если, по нашему мнению, тесты проходят быстро – этого достаточно. Если 80 тестов написано и всего 6 требований «отработаны» ими — то, хотя 80% объема тестирования выполнено, 4 требования остались не покрыты.

OpenShift Express: развертывание приложения Java EE (с поддержкой AS

Если в проекте тестов не было вообще, то эта статистика начинает быстро расти. А вот дальше, ближе к 90 процентам, придется бороться за каждую строчку кода. Охват операторов — это метод проектирования теста белого ящика, который включает в себя выполнение всех исполняемых операторов в исходном коде как минимум один раз. Он используется для вычисления и измерения количества операторов в исходном коде, которые могут быть выполнены с учетом требований. Само по себе покрытие не гарантирует, что код работает правильно во всех ситуациях.

В подобных проектах и 30% покрытия кода будет выглядеть неплохим результатом. Юнит-тестирование повышает уверенность разработчиков, что в их коде отсутствуют дефекты на фундаментальном уровне (уровне юнитов кода). Проджект-менеджеры стремятся повысить покрытие кода, комбинируя разные методы оценки этого покрытия.

Покрытие ветвей (branch coverage)

Для Python есть Coverage.py, тоже открытый и бесплатный.

• Тестовое покрытие — это метрика, используемая для измерения качества тестирования программного обеспечения.
• Важно дать команде время подумать о тестировании с точки зрения пользователя, чтобы тесты не выполнялись лишь путем просмотра строк кода.
• Условное покрытие или покрытие выражений покажет, как оцениваются переменные или подвыражения в условном выражении.
• И по графикам видно, что с хорошими тестами увеличение времени достаточно линейно.
• Также увеличивается время прохождения тестов и уменьшается желание их часто запускать.

Та же база данных может быть как совместной, так и приватной зависимостью. Совместной она может выступать, когда все тесты работают с одной базой. Приватной зависимостью база данных может выступать в случае, когда для каждого теста поднимается отдельная база данных, например в docker-контейнере. В этом случае тесты не смогут повлиять друг на друга через базу.

Покрытие рисков

Однако важно понимать, что высокий процент покрытия не гарантирует полное отсутствие ошибок, а лишь указывает на уровень тестирования кода. В тестировании часто используют метрику code coverage — это покрытие кода тестами. Исходя из этого, стоит оценивать покрытие кода тестами с точки зрения его жизненного цикла. Если продукт одноразовый, маленький, короткий, который мы написали и потом через какое-то время он будет не нужен, то и, возможно, уровень покрытия тестами нужен достаточно низкий. Важно также учитывать, что высокий процент покрытия кода не всегда гарантирует высокое качество программы. Эффективные тесты должны покрывать разнообразные сценарии использования и учитывать различные граничные случаи.

Вы узнаете, что сломалось, когда получите сборку с ошибкой, но вам будет сложно понять, какие компоненты успешно прошли тестирование. Во-первых, польза от юнит-тестов неизвестна, пока неизвестно их покрытие. Зная показатель покрытия, можно приблизительно знать, какая часть кода (уже) проверена. В следующей части будет рассмотрена структура юнит-теста, поделюсь тем, какие подходы используются у нас в команде. Расскажу про стили юнит-тестирования, принципы рефакторинга для эффективных юнит-тестов, рассмотрю некоторые антипаттерны при написании тестов.

Юнит-тесты. Очень глубокое погружение

Что касается того, как мы его используем – code coverage – это один из наших критериев выхода на каждый этап. У нас на самом деле есть три метрики code coverage – покрытие из юнит-тестов (из команды разработчиков), scenario tests (из команды разработчиков) и комбинированное покрытие. Нужно поделить второе на первое и умножить на 100. Эта простая «древняя» формула дает понятие о тестовом покрытии.

Лучший показатель — это то, насколько хорошо тесты обнаруживают дефекты и как хорошо они охватывают функциональность программы. После всех тестов Pytest выводит сводную таблицу по каждому файлу. Также хочу предостеречь от попыток тотального покрытия кода тестами. Стоит помнить о том, что тесты так же, как и основной код, имеют свою стоимость.

Какой тип покрытия кода выбрать

Другими словами, покрытие кода показывает, какая часть кода приложения была проверена при выполнении (автоматизированных) тестов. Тривиальные тесты покрытие множественных условий могут быть устойчивы к рефакторингу и иметь быструю обратную связь. Например тест, написанный на getter – метод получения значения приватного поля.

Покрытие операторов (statement coverage)

Например, если есть 100 строчек кода компонента, и 50 строчек покрыты имеющимися тест кейсами, тестовое покрытие составляет 50%. Обычно исходный код снабжается тестами, которые регулярно выполняются. Полученный отчёт анализируется с целью выявить невыполнявшиеся области кода, набор тестов обновляется, пишутся тесты для непокрытых областей. Цель состоит в том, чтобы получить набор тестов для регрессионного тестирования, тщательно проверяющих весь исходный код. Ну и в-третьих, 100%-ное покрытие кода вовсе не гарантирует качества — все зависит от подходов и метрик. Кроме того, функции могут не иметь багов, и быть отлично протестированными, но работать некорректно совсем по другим причинам.