Джеймс Бах: Исследовательское тестирование. Часть 2

/Джеймс Бах: Исследовательское тестирование. Часть 2

Джеймс Бах: Исследовательское тестирование. Часть 2

Исследовательское тестирование сейчас тема как никогда актуальная. По миру шагают скорость и гибкие методологии. Статья была написана ооооооочень и очень давно, первый раз опубликована в 2002 году. Статья большая — перевод буду выкладывать частями. Приятного чтения.

Оригинал статьи можно найти вот ТУТ.

Начало перевода вот ТУТ.

Продолжим ) Часть 2. Перевод версии 1.3.

Определение исследовательского тестирования, наконец-то )

Я попробовал на вкус разные определения исследовательского тестирования. Самое популярное среди моих коллег:

Исследовательское тестирование – одновременно обучение, дизайн тестов и выполнение тестов.

Другими словами: исследовательское тестирование – это в принципе любое тестирование с условием, что тестировщик активно контролирует разработку тестов во время того, как тесты исполняются и использует информацию, полученную во время тестирования, чтобы разработать новые и лучшие тесты.

С такой точки зрения, все тестирование, выполняемое представителем человеческой расы, до некоторой степени является исследовательским.  Такая точка взгляда ставит исследовательское тестирование в один ряд с мыслительным процессом, который происходит у всех хороших тестировщиков. Исследовательское тестирование это континуум между чистым тестирование по сценариям (каждый тест описан весьма и весьма детально) и чистым исследовательским тестированием (идеи тестирования возникают во время выполнения тестов). А так как это континуум, то вопрос «А делаете ли вы исследовательское тестирование?» лучше перефразировать в «А каким образом и в какой степени ваше тестирование является исследовательским?»

Когда я упоминаю термин исследовательского тестирования(ИТ) в данной статье, я подразумеваю более близкий термин к чистом ИТ, чем к чистому тестированию по сценариям. Другими словами, в большей степени для меня исследовательское тестирование соответствует описанию выше. Когда я хочу сказать о чистом, или близком к чистому, исследовательскому тестированию, без даже отдаленно напоминающих последовательностей шагов, так вот такое тестирование я называю – фристайл исследовательское тестирование.

Исследовательское тестирование – крайне ситуационная практика

Вы когда-либо собирали пазл? Если да, то вы практиковали исследовательское тестирование. Обдумайте, что происходит в процессе. Вы берете кусочек, анализируете кучу несоединенных кусочков, ищите тот самый, с которым можно будет соединить. Каждый взгляд на новый кусочек – это тестовый сценарий («Этот кусочек соединяется с этим кусочком? Нет? А если я его поверну? Хорошо, кусочек почти подходит, но картинка не собирается…») Вы можете более строго подойти к процессу сбора пазла, например, начать собирать сначала граничную линию, или собирать какие то формы или ориентировать на картинку на коробке. А можете ли вы представить как это все будет выглядеть, если вы будете стараться записать всю последовательность действий, прежде чем начнете сборку, или прежде чем поймете, что за картинку формирует пазл?

Когда я собираю пазл, я меняю свой подход к работе по ходу изучения пазла и того, какая картинка формируется. Если я заметил большое пятно краски, я могу решить собрать все кусочки такого цвета в одну кучку. Если я обнаружу кусочки похожей формы, я могу их собрать в одну кучку. Если я выполняю один вид тестирования, я могу переключиться на другой вид, чтобы держать мой мозг незамутненным. Если у меня собрался достаточно большой кусок картинки, я могу определить ее местоположение и соединять с остальным. Иногда кажется, что я не организован, и когда это происходит, я делаю шаг назад, проанализировать ситуацию и выработать план. Обратить внимание как идет процесс, как он продолжается непрерывно, каждый момент, под контролем. Это похоже на сбор пазла, правда? И возможно вы согласитесь, было бы абсурдным аккуратно задокументировать мысленный процесс на будущее. Ограничивая эту активность до следования точной инструкции приведет к замедлению нашей работы.

 

Это главный урок пазла: процесс изменяет процесс. Каждый кусочек меняет тактику решения пазла. Это и есть сакральная суть исследовательского расследования, что для тестирования, что для разработки, или даже для научной работы и детективной работы.

 

Что же за специфика влияет на исследовательское тестирование? Вот некоторые примеры:

  • Миссия проекта тестирования;
  • Миссия конкретной сессии тестирования;
  • Роль тестировщика;
  • Тестировщик (навыки, таланты и предпочтения);
  • Доступные инструменты и средства;
  • Доступное время;
  • Доступные тестовые данные и материалы;
  • Доступная помощь от других людей;
  • Требования по отчетности;
  • Ценности для клиентов;
  • Текущая стратегия тестирования;
  • Статус активностей по тестированию продукта;
  • Продукт как таковой:
    • Пользовательский интерфейс;
    • Поведение;
    • Текущий статус разработки;
    • Дефекты;
    • Тестопригодность;
    • Цель продукта;
  • Что тестировщик знает о продукте:
    • Что только что случилось на прошлом тесте;
    • Известные проблемы;
    • Прошлые проблемы;
    • Сильные стороны и слабые;
    • Области риска и восприятия риска;
    • Последние изменения;
    • Прямое наблюдение;
    • Слухи;
    • Кто есть пользователи и как они себя ведут;
    • Как это вообще должно работать;
    • Как это собрали вместе;
    • На что это похоже и как это отличается от других продуктов;
  • Что тестировщик хотел бы знать о продукте.

 

Вместо того, чтобы спрашивать какие тесты нужно выполнить, тестировщик-исследователь спрашивает какой лучший тест я сейчас могу провести, вот прямо сейчас? Любое из соображений описанных выше может повлиять на то, какой же тест нужен сейчас. Действительность меняется непрерывно с ходом проекта, да вообще от момента к моменту по ходу итерации тестирования. И в отличии от тестовых сценариев, исследовательское тестирование оптимизируется в процессе тестирования. Тестовые сценарии «портятся» по многим причинам, но основная в том, что если сценарий выполнен, и не нашел проблем, вероятность того, что он найдет проблему в следующий раз, в большинстве случаев, сильно меньше, чем при выполнении другого теста.

 

Продолжение следует…

By | 2017-11-27T23:04:27+00:00 Ноябрь 27th, 2017|Переводы, Профессия|0 Comments

About the Author:

Leave A Comment