Джеймс Бах: Исследовательское тестирование. Часть 1

/Джеймс Бах: Исследовательское тестирование. Часть 1

Джеймс Бах: Исследовательское тестирование. Часть 1

Исследовательское тестирование сейчас тема как никогда актуальная. По миру шагают скорость и гибкие методологии. Статья была написана ооооооочень и очень давно, первый раз опубликована в 2002 году. Статья большая — перевод буду выкладывать частями. Приятного чтения.

Оригинал статьи можно найти вот ТУТ.

Начнем ) Часть 1. Перевод версии 1.3.

Объяснение исследовательского тестирования

Джеймс Бах, аж в апреле 2003 года.

Исследовательское тестирование «изм есть» весьма мощный подход, но пока (хотя и было это написано в 2003 году, ситуация не особо изменилась) не понят, да и не принят, этот подход в широких массах. В некоторых ситуациях, оно (исследовательское тестирование) может дать огромную фору милым добрым сценариям тестирования. Все тестировщики в той или иной мере используют исследовательское тестирование, ну либо просто вообще не разрабатывают тесты. Но изучают подход исследовательского тестирования мало кто, да и нет должного уважения сему подходу. Такое отношение начинает меняться по ходу желания компаний использовать более гибкие и экономически эффективные методы разработки программного обеспечения.

Объяснить то, что все итак уже знают очень сложно. Все мы знаем как слышать, читать, думать, как рассказывать анекдоты про свою жизнь. Мы взрослые и делаем эти вещи каждый день. Однако, уровень этих навыков у отдельно взятой персоны в некоторых особых ситуациях, может быть явно недостаточен. Психотерапевты – эксперты в «слышать», юристы – эксперты в «читать»; научный исследователь должен очистить свое мышление от ошибок, а журналисты пишут статьи, которые находятся на грани.

Итак, что же такое исследовательское тестирование: одновременное обучение, тест дизайн и тестирование. Очень простая концепция. И из-за того, что это описывается одним предложением, складывается впечатление, что и не стоит об этом вообще писать. А то, что вещь это весьма ситуационно-контекстная, то стороннему наблюдателю кажется, что вообще исследовательское тестирование никакой структурностью не обладает. И видимо поэтому многие книги по тестированию, за небольшим исключением, либо вообще не упоминают исследовательское тестирование, либо упоминают как практику нестоящую, ничтожную и вообще, ой все…

Исследовательское тестирование также знают как adhoc тестирование (это когда без всего, взяли и протестировали, и exploratory и adhoc на русский обычно переводят одинаково — исследовательское). Но ad-hoc (не буду я его переводить, давайте так его и запомним, есть вот такой метод – ad-hoc тестирование) обычно синоним неряшливой работы. Поэтому в начале 1990х группа методологов (которая сейчас себя называет Контекстная школа) начала использовать термин «exploratory», то бишь «исследовательское».  И вот так вот с новым термином, впервые упомянутым Кемом Канером в книге «Тестирование ПО», те самые методологи хотели (ну и в общем-то сделали) выделить, что в тестирование без сценариев вовлечен он «мозг» (или мыслительный процесс, как вам больше нравится), а из этого начали разрабатывать уже «цельную» учебную дисциплину. Действительно, исследовательское тестирование может быть весьма и весьма дисциплинированной интеллектуальной активностью. Например, «мелкомягкие» практикуют  формальный процесс исследовательского тестирования с целью сертификации ПО для «винды», сделанного третьей стороной (http://www.satisfice.com/tools/procedure.pdf),  а еще… А еще практикуют такую штуку: управление тестированием на основе сессий (http://www.satisfice.com/sbtm, надо-надо и это перевести и прикопать ))), и сей метод специально придуман для того, чтобы обложить метриками и померять исследовательское тестирование.

Наше использование термина “исследовательское тестирование” вообще ни разу не эвфемистическое (да я сама удивилась этому слову, вот же вверули то )), а вообще используют эвфемизм, чтобы смягчить выражение, например, “устранить” вместо “убить”). Мы используем термин в самом что ни на есть прямом словарном смысле, только прикладываем это к тестированию.

Наше использование «Исследовательское» в принципе схоже тому, как это используется в географии. Исследователи Королевского Географического общества, в 18 и 19 веках, испытывали такие же методологические проблемы:

«Чтобы путешествие было признано исследованием, оно должно заслуживать доверия, должно быть трудным и рисковым, должно включать инновации и открытия. Соответственно, как и крикет, исследование было чем-то сложным для объяснения непосвященным. Но был один существенный момент. И он то и отличал эру исследований от эры открытий. Этот самый момент и повлек за собой необходимость использования слова «исследование». Это очень простой момент: уважение к науке»

-Джон Киай,  Книга Исследование

Звезда кажется тусклой в спектре видимого света, но тем не менее, в инфракрасном спектре горит ярко. Также и идея исследовательского тестирования становится интересной и сложной если посмотреть на нее в спектре навыков. Рассмотрим шахматы. Методика игры не так интересна как навыки. Никто не говорит как чудесно Эмануэель Ласкер (немецкий шахматист и математик, второй чемпион мира по шахматам) следовал методики игры в шахматы когда он победил Вильгельма Стейница (австрийский и американский шахматист, чемпион мира по шахматам с 1886 по 1894 годы) в 1894 году. Методика игры в шахматы неизменна, а вот выбор хода, и навыки игроков, которые выбирают ход – это дело совсем другое. Что делает исследовательское тестирование интересным, и по моему скромному мнению весьма важным, так то, что когда у тестировщика есть навыки слушать, читать, думать и отчитываться, досконально и по существу, без записанных инструкций, исследовательский подход к тестированию может быть существенно продуктивнее (в смысле обнаружения важной информации) записанного ряда. А если исследовательское тестирование проводится под правильным контролем, даже тестировщики без особых навыков могут выдать полезный результат, который не дадут тестовые сценарии. И снова хочу провести историческую аналогию, захватывающая удача экспедиции Льюиса и Кларка, отличный пример как важен навык исследования:

«Льюис был дипломатом с коммерческой жилкой, Кларк был переговорщиком. Льюис специально поехал в Филадельфию изучать ботанику, зоологию, навигацию по звездам, в общем ученый. Кларк – инженер и географ, в общем мастер пограничных дел… Оба – люди потрясающих умственных способностей, выдающихся. Во всей истории исследований Северной Америки не было равных им интеллектов».

  • Бернард де Вото, Журнал Льюиса и Кларка

Конечно тесты иногда стоит облечь в форму повторяемых сценариев по многим убедительным причинам. Может быть у вас есть потребность в специальной отчетности, и возможно есть тесты, которые нужно повторять тем же самым образом каждый раз. Исследовательское тестирование вообще-то не против идеи сценариев. В некоторых ситуация обязательно применять более жесткий сценарный подход, в других случаях лучше более гибко подходить к сценариям, менять их по ходу выполнения. Я обнаружил, что в большинстве ситуаций лучше всего использовать сочетание сценариев и исследовательские подходы.

Продолжение следует…

By | 2017-11-25T15:42:13+00:00 Ноябрь 25th, 2017|Переводы, Профессия|0 Comments

About the Author:

Leave A Comment