Показаны сообщения с ярлыком Обзор. Показать все сообщения
Показаны сообщения с ярлыком Обзор. Показать все сообщения

среда, 10 июля 2013 г.

Обзор 5. Джеймс Бах "Идем неуклюжим, неровным шагом"

Продолжаю серию постов-обзоров, на этот раз "внеплановый" доклад от Джеймса Баха "Идем неуклюжим, неровным шагом" (James Bach - A Galumping We Go).

Как я когда-то писал в своем первом обзоре этой серии, этот доклад однозначно нужно хорошо просмотреть-прочитать-прочувствовать-пробовать на себе. И, самое интересное, возможно и вы уже использовали в своей практике, но не задумывались - метод Galumphing. В переводе - неуклюжий, неровный, нелогичный (на первый взгляд), прерывистый шаг.

You all do a galumphing, but probably none of you had a word for it or an explanation, why you do it.

Как часто мы пробуем только простые, линейные тесты на проверку функционала? Да, они находят очевидные и очень важные баги. И только. Можно делать одну и ту же вещь, но по-разному. Первый способ - прямые, отточенные до автоматизма движения, с применением минимально возможного набора сил и средств, как прямая между пунктами A и B - кратчайшее расстояние между двумя точками. Второй - тот же путь из А в B, но "неправильный", на первый взгляд: непонятый, непоследовательный. Вопрос: зачем нужен второй способ, если есть "эффективный" первый? Возможно, при поездке да, но не в тестировании. Джеймс Бах отвечает на этот вопрос определением ниже ( в своих лекциях, заметках, книгах, Бах не раз говорит о том, что тестирование ПО - это не только набор исчерпывающих тестовых процедур  как, например, проверка заявленного спецификацией цвета: можно сказать словами Майкла Болтона: Testing Dominates Checking)

Galumphing – A style of test design and execution whereby inert variations in test procedure are used to find unanticipated and potentially important bugs.
(перевод: Galumphing - метод тест-дизайна и выполнения тестов, при котором малые вариации выполнения тестов используются для нахождения непредвиденных и потенциально важных багов)

Доклад - просто must see для тех, кто не только пишет и выполняет тесты, но и исследует свой продукт, находит новые баги в старых кейсах, пробуя сделать что-то "не так".

Видео доклада:

Конспект:

  • You all do a galumphing but probably none of you had a word for it or an explanation, why you do it.
  • "Only variety can destroy variety" Ashby's law -> for testing purposes "Only variety can explore variety"
  • Lack of variety = Lack of control
  • Testers are all about exploring the leaky abstractions called specifications
  • If you only have a push button you have to introduce complexity some other way
  • Ways to insert variety injection: micro-behaviors, randomness, data substitution, platform substitution, time/concurrency varations, scenario variation, state pollution, sensitivities and expectations (18:54)
  • The requisite variety that opens up our expressive possibilities comes from practice, play, exercise, exploration, experiment.
  • If you are trying to test an actual product of a kind we test, no explicit set of procedures can ever be enough. That's why we must explicit Ashby's law to inject variety not only of intended kind but of unintended kind.
Ссылки на обзоры этого выступления в других блогах:

пятница, 5 июля 2013 г.

Обзор 4. Никита Постолакий "Разработка тест кейсов по методике pairwise"

И опять - продолжение серии постов-обзоров. Доклады в подборке получаются разноплановые: были на русском и на английском, доклад-пазл с набором фишек для тест-менеджера, классический от гуру, story-telling... Теперь посмотрим мастер-класс по тест-дизайну с конференции SQA Days 11.

Сегодня у нашей рубрики виртуально в гостях Никита Постолакий "Разработка тест кейсов по методике pairwise". Pairwise testing или техника тестирования попарных комбинаций - один из методов черного ящика, применим для оптимизации количества проводимых тестов.

Однозначно must see для тест-дизайнеров, отличный доклад, будет полезен для ознакомления с этим замечательным методом, его применением и использованием одной из возможных бесплатной специальной тулы для моделирования тестов по pariwise - PICT. Полный список тулов для pairwise можно найти, например, здесь.

Еще к плюсам выступления Никиты можно отнести подачу материала в доступной форме, с ответами на вопросы прямо по ходу доклада. И еще, кроме самого pairwise, интересен сам процесс программирования модели из полученных входных данных.

Pairwise использует предположение (по докладу - исследование IBM), что к 97%  ошибок в ПО приводит взаимодействие всего двух параметров между собой. Поэтому, в случае если у вас, например, 3 параметра, у каждого из них 4, 5, 7 возможных значений соответственно, то не всегда имеет смысл проводить полный перебор всех возможных триад-комбинаций, количество которых в нашем примере равно 4 * 5 * 7 = 140. А что, если параметров не 3, а намного больше? А если увеличить не только количество параметров, но и возможных значений? Полный перебор займет очень много времени, и будет не очень эффективен в плане нахождения всех ошибок, так как...


Но я уже потихоньку начинаю пересказывать содержимое мастер-класса :) Чтобы не лишать вас этого удовольствия, рекомендую к просмотру. А под видео помещаю свой конспект, для того, чтобы восстановить в памяти ключевые моменты лекции.

В заключение, я дам вам еще несколько полезных ссылок на источники по pairwise-тестированию:

  • http://www.amibugshare.com/pict/help.html - инструкция по PICT
  • Доклад Алексея Баранцева на осенней Confet&QA-2012
  • Книга Рекса Блэка "Advanced Software Testing - Vol. 1", раздел 4.3.
  • http://hexawise.com - Сайт для генерации тестов по pairwise, довольно удобная альтернатива PICT. Очень удобная встроенная система обучения пользованию этим сайтом, рекомендую к прохождению.


Видео доклада:

Конспект:


  • "К 97%  ошибок в ПО приводит взаимодействие всего двух параметров между собой" - исследование IBM
  • Предварительная оптимизация данных: классы эквивалентности + граничные значения
  • При добавлении сложных условий для пар - используем тулы (автоматизируем генерацию пар)
  • Алгоритм разработки модели pairwise: сбор входных данных, оптимизация данных, описание зависимостей, автоматическая генерация тестов
  • Требования к pairwise-инструменту: условия, типы данных, алиасы, негативные тесты, приоритизация (предпочтительные значения, наиболее приоритетные для проверки), регрессионные наборы (повторное использование при расширении набора)
  • PICT, построение модели

Презентация доклада:

четверг, 13 июня 2013 г.

Обзор 3. Гойко Аджич "Изобретаем качество"

Продолжаем традиционную серию постов-обзоров. На этот раз я взял панорамный доклад в формате "рассказ историй" (story telling).

Итак, Гойко Аджич "Изобретаем качество" (Gojko Adjic - Reinventing Software Quality). В интернете есть несколько видеоверсий доклада (а общее число выступлений Гойко с этой темой - более двухсот), в каждой новой версии автор что-то изменяет, дополняет. Но общая канва остается. Как и формат - отличные живые истории с долей юмора, которые показывают неразрывную взаимосвязь тестирования и реальной жизни и их взаимное влияние друг на друга.

Гойко Аджич предлагает новый взгляд на привычные вещи, видео смотрится легко, и заставляет задуматься о качестве программ. Затронуты темы качества со стороны бизнеса, сокращения итераций и соответственно времени на тестирование одной версии, тестирования как информационного искусства преподнесения нужной информации, проблема релевантности, использование метрик, пирамида потребностей по Маслоу и ее проекция на пирамиду качества.

Рекомендую этот доклад тем, кто смотрит вперед, кому небезразлично, как и зачем он тестирует (а не просто "что-то проверил и написал отчет").

Видео доклада:

Конспект:

  • В 2004-м году потери на проектах ПО составили 1,4 млрд $
  • качество ПО означает абсолютно разные вещи для разных людей.
  • Пример: Англия, банкомат Deutsche Bank'а, вначале заблокировавший карточку, затем он выдал деньги, без транзакции на счету
  • Итерация цикла качества - измерять, обеспечивать, улучшать - за последние 10 лет сократилась с одного года до двух недель в agile. Вопрос, что тестировать и не тестировать в цейтноте времени.
  • Пример одного проекта, в котором автотесты были написаны ровно до того момента, на котором они все вернули passed, затем они были выключены.
  • Пример: GPS -  "нет нужды в GPS, когда он отключился и я заблудился, мне нужен GPS для того, чтобы он не допускал, что я заблудился".
  • Качество ПО - это информационное искусство, зеркало команды.
  • Пример: друг, который подбирал туфли (аналогия - улучшал часть процесса), хотя сам был похож на тролля (аналогия - весь процесс уродлив, нужно изменять его целиком).
  • ART (искусство) как акроним аккуратности (accurate), релевантности (relevant), своевременности (timely). 
  • Мы научились быстро и аккуратно считать (A + T done), но у нас остались проблемы с релевантностью (R). 
  • "Ценность метрики - это в своей основе, ценность информации, которую эта метрика приносит." Даг Хаббард
    Пример: инфомационное табло аэропорта в Хитроу (Англия). Какие выводы мы можем сделать из полученных метрик?
  • В переводе с языка QA на язык бизнеса, качество = стоимость (QA = cost)
  • Пример: книга самого докладчика, ошибки в переводе: Гойко потратил немало времени на внимательное перечитывание своей книги и нашел 27 опечаток наивысшего приоритета (например, заглавная буква в середине слова и т.п.), а всего 159 опечаток. Затем посмотрел отзывы о книге - все 21 отзыва - "пять звезд". Nobody cares about such mistakes. Вывод - инвестируем время в качество более продуктивно.
  • Пример, когда пробный выпуск продукта может стоить дешевле, чем прогон всех регрессионных тестов. "больше не значит лучше"
  • Пирамида Маслоу и ее проекция на пирамиду качества от Гойко Аджича:
  1. развертываемая функциональность исправна (deployable functionality OK)
  2. производительность, безопасность (performant and secure)
  3. удобство использования (usable)
  4. полезность (useful)
  5. успешность - бизнес-ценность (successful)
Подумайте над тем:
  • Как эта пирамида будет выглядеть для вашего ПО?
  • Что вам следует измерять?
  • В какие области обеспечения качества вы можете инвестировать (свое время)?

"Если вы знаете, что нужно начать измерять, просто начнить измерять что-либо, и это даст вам информацию, что вам действительно нужно измерять.
Дуглас Хаббард.

Презентация доклада:

пятница, 24 мая 2013 г.

Обзор 2. Игорь Любин "Тестирование по жесткой схеме или 27 + 2 фишки в построении процесса тестирования"

Продолжить серию постов-обзоров я хочу конспектом доклада Игоря Любина "Тестирование по жесткой схеме или 27 + 2 фишки в построении процесса тестирования", прошедшего в Минске на SQA Days-12. Рекомендую к просмотру.

Почему я выбрал именно его? Есть несколько причин.

Во-первых, это практический доклад из серии "большой путь начинается с одного шага". Мне очень нравится идея тайм-менеджмента, подхваченная из одной идеи - хронометража времени, развитая набором легких для понимания и внедрения инструментов, которые "просто работают" и затем выводят вас на более глубокий уровень осознания, "а зачем это мне нужно", к миссии, делу всей жизни для каждого. В этом докладе вы тоже получаете набор простых инструментов, которые, если вас заинтересует тема управления, выведет вас на постановку процессов, применению и адаптации инструментов, методов управления к отрасли ИТ.

Во-вторых, несмотря, на слово "жесткий", в докладе много идей непрерывного улучшения процесса управления командой и ее работы, что характерно и для гибкого подхода. Доклад - отличный чек-лист для тест-лида, тест-менеджера. Выберите себе 2-3 цели на месяц и выполняйте. Затем выбираем еще 2-3 цели на следующий месяц, и так далее.

В-третьих, это отличный доклад о проактивной жизненной позиции. Не ждите, пока все решат за вас, начните сами действовать!

Видео доклада:


Презентация доклада:



Все 29 фишек от автора:
  1. Тестирование начинается с прихода в компанию. Вопросы на интервью. Определяем, что мы хотим, как будем измерять, как будем достигать, какой результат мы получим и к какому времени.
  2. Горячие точки. Поговорить с ключевыми участниками, составить список горячих точек. 3 цели на месяц. Далее – 3 цели на след месяц.
  3. Фишкинг - процесс сбора всех полезных практик, идей, мыслей, «фишек», которые использовали с успехом для себя другие команды по тестированию, и которые могли бы применяться и у вас. Пообщаться с командой, собирать идеи.
  4. SMART-анализ целей (горячие точки, фишки). Выписать цели, выбрать цели на месяц.
  5. Добиться прозрачности. TOP-5 задач на неделю. Таблица: Задача, исполнитель, срок, комментарий. Тестирования. Выписать в понедельник 5 топ-задач, вычеркивать их по мере выполнения, отслеживать прогресс.
  6. Устроить День Золотого Духа. Влиться в проект и стать джуниором на 1 день и увидеть те проблемы, которые существуют у вас на проекте.
  7. Собрать Feedback. Взять обработку отзывов от пользователей в свои руки. Получить от пользователей, что им действительно важно.
  8. Разделение обязанностей. Мотивация: выявить, кто на проекте чем интересуется, и предложить тестировщикам задачи по специализации.
  9. Методика «Функциональные карты». Сделать тест-анализ по модели Объект-Действие-Параметр-Значение (ОДПЗ). Выявить основной функционал, приоритезировать, оценить покрытие.
  10. Особенности платформы. Усилить покрытие. Провести анализ особенностей платформы.
  11. Чит-листы (не чек-листы)- набор готовых проверок, их масса в сети, не надо придумывать самим.
  12. http://sitechko.ru - много готовых чит-листов. 
  13. Понятие критического бага. Необходимо составить критерии, согласовать. Желательно разобраться с критикал-багом за день.
  14. Критерии выпуска версии. Получить критерии от всех участников: разработчиков, тестировщиков, дизайнеров и т.д. Согласовать с директорами. Процесс тестирования на выпуске.
  15. Build Verification Test. Составляем, прогоняем регулярно, проверяем только Critical.
  16. Волны тестирования. Соорганизоваться, продумать итерации тестирования.
  17. Стратегия тестирования. Сделать маленький компактный документ на одну страницу.
  18. Шаблон баг-репорта. Взять в свои руки и сделать. Обучить всех пользоваться.
  19. Анти “Протестируйте”. Организовать процесс передачи версии в тестирование. Антипаттерн: разработчик собирает билд, пишет "протестируйте" - тестировщик день нечто делал, пишет “протестировано” - получается "выпущено", пользователь собирает баги. Нужны новости версии и понимание, что трогали.
  20. Ежедневные статус-репорты о тестировании. А еженедельно - сообщать о наших успехах.
  21. Post-mortem. Ретроспектива после выпуска версии - провести анализ, выявить сильные и слабые стороны.
  22. Минутки встреч. Записывать ключевые моменты на каждой встрече, разослать всем участникам и другим заинтересованным.
  23. Полчаса на автоматизацию. Выделять каждый день. Пусть одному человеку из команды. В день получаем один тест, за месяц  - уже 20.
  24. Все в Teamcity (Jenkins или другой аналог). Организовать запуск всех автотестов на регулярной основе.
  25. Инженерные практики. Быть QA. Поговорить с разработчиками о качестве, об используемых практиках.
  26. Roadmap тестирования. Выписать даты выпуска версий, нарисовать большую карту, отмечать с помощью стикеров, где мы сейчас находимся.
  27. Трындеть. Никогда не кушать в одиночку. Ежедневно общаться с разными коллегами.
  28. Сплотить команду. Поддерживать ритуалы в команде.
  29. Начинаем рабочий день. Никогда с утра не открывайте почту! Первый час - для разумного планирования и общения.

вторник, 22 января 2013 г.

Обзор 1. Размышления о регрессионном тестировании от Майкла Болтона, или "все могло быть гораздо хуже".

Открываю серию постов-обзоров, постов-конспектов по очень полезным материалам по тестированию, которые, на мой взгляд, просто НУЖНО просмотреть-прочитать-прочувствовать и много других "про-" начинающему и не очень тестировщику.

Начну с темы, которая сейчас наиболее для меня актуальна - регрессионное тестирование. Автор - Майкл Болтон. Лекция "Things Could Get Worse: Ideas About Regression Testing" и презентация.



Почему регрессионное тестирование важно? 

С ростом проекта мы получаем рост сложности, функционала, числа тест-кейсов, которые нам необходимо будет запускать каждый раз. Растет объем регрессионного тестирования, проверок и тестирования, которые нам будет необходимо выполнять (в чем разница между тестированием и проверкой - "testing vs checking" - здесь). Времени на регрессионное тестирование не увеличивается, а если и увеличивается, то незначительно, недостаточно, чтобы выполнить его в том всевозрастающем с каждой итерацией объеме, котором нам нужно. А ошибки в регрессионном тестировании и обходятся "дороже", и иногда не настолько очевидны из-за сложности продукта.

Что же делать, как правильно распределить усилия на этом этапе?
Давайте посмотрим, что нам советует Майкл Болтон (далее ниже синим шрифтом - выдержки из лекции Майкла Болтона, черным стандартным - мои комментарии).

Начнем с определения: "Регрессионные тесты - тесты, которые мы выполняли ранее и запускаем после изменений в программе". Тесты мы запускаем для того, чтобы убедиться, что качество программы не ухудшилось.

Хорошее знание вашего продукта и взаимодействия модулей внутри программы поможет вам правильно выбрать тот набор кейсов, который позволит минимизировать риск регрессионной зависимости. Но как же его выбрать?

Помню себя, начинающего тестировщика, с четырьмя месяцами опыта за спиной, который уже научился прогонять кейсы отдельной компоненты по тест-сету, заносить баги, волею ситуации на проекте (засобирался уходить начальник по тестированию, а о "передаче знаний" речи не шло, потому что не знал я на тот момент такого умного слова, что было передано, и ладно :) ). Но, считаю, что именно когда тебе поручают составить план регрессионного тестирования функционала, начинаешь понимать, что самое сложное и самое интересное - это не "навороченная" фича, а именно взаимозависимости в проекте...

Тестирование против проверки (Проверка - процесс подтверждения, верификации и валидации. Тестирование - процесс поиска новой информации, это исследование, открытие, изучение).

Проверки хороши для одних вещей и неприменимы для других. Автоматические проверки (автотесты) хороши для ожидаемых рисков, верификации и валидации, доказательства функциональной корректности. И только тестирование (только хардкор) - при исследовательском тестировании, качественной оценке билда, рефлексии, нахождения и проверки большинства багов (парадокс пестицида, почему невозможно полностью протестировать программу - все это я рассказываю новичкам-студентам уже на первом занятии, а кто бы мне это все рассказал немного раньше? :)

Вместо того, чтобы думать, прошел тест или нет (Pass или Fail), опытные тестировщики задают вопрос "Есть ли здесь (в этом функционале) проблема?"

"Замыливание взгляда", характерное для регрессионного тестирования (ну сколько можно уже это проверять, оно и так работает), усугубляется еще недостатком времени в конце итерации.
И времени на то, чтобы разбираться в "этом минорном баге", нет. Но порой получается так, что  незначительный видимый нам баг - только вершина айсберга, а последствия бага более критичны.

Если в регрессионном тестировании вы выделите недостаточно времени на проверки, это может привести к тому, что
- риски будут не обнаружены
- проблемы будут не обнаружены
- программа будет недостаточно изучена

Исследование айсберга приводит к нахождению причин проблемы, зависимости между модулями, а следовательно, и лучшему пониманию программы.

"Тестирование важнее проверок" (дословно - "Testing Dominates checking") (c) Майкл Болтон

Проверки - это "пестициды", а тестирование - это нестандартные ходы. Пока не изобретено универсального пестицида от всех багов (а будет ли оно вообще изобретено?), тестирование просто необходимо, и без него не обойтись.

Функциональность - должна быть проверена. Производительность, масштабируемость, надежность, инсталляция - может быть проверена. Удобство использования, безопасность, совместимость, поддерживаемость, тестирумость - должна быть протестирована.

Выводы для себя: учимся писать автотесты для проверки и большего покрытия проверками функционала. То, что должно быть протестировано, нужно изучать и приобретать практику в изучении (удобство использования, безопасность).

Риск регрессионной зависимости - самый большой проектный риск? Нет, только в 6-15% случаях (опрос тест менеджеров).
Риск регрессионной зависимости - эмоциональный страх.

Мы боимся того, чего не понимаем, и регрессионное тестирование иногда выглядит как инквизиция, карающая нас за предыдущие ошибки в прошлой жизни или за то, что мы не протестировали или не проверили, потому и страх преувеличен.

Способы снижения риска регрессионной зависимости в Agile:  разработка через тесты (Test Driven Development), модульные тесты (Unit Tests), парное тестирование, непрерывная интеграция (Continious Integration), контроль сборок и версий (Version and Build Control).

Оставим эту тему для отдельного озбора, вместе с ролью QA в Aglie-команде.

Даже самый лучший вратарь пропускает "неберущиеся" мячи. Даже самый лучший вратарь не спасет вас, если у вас слабая защита.

Тренируйте защиту, внедряйте проверки, и тренируйтесь сами как вратарь - "ближний угол вратаря", "20 копеек - это всегда обидно" и другие базовые навыки.

Как выбрать то, что нужно протестировать в регрессионном тестировании. Карен Джонсон, эвристика RCRCRC + автоматизированные проверки в регрессионном тестировании, Майкл Келли.

Это общая эвристическая модель, на вашем проекте многое зависит и от вашего опыта, предыдущих регрессий. Используйте ретроспективные митинги, чтобы не повторять прошлых ошибок, регулярно обновляйте тест-кейсы, матрицу трассируемости (Traceability Matrix). И я бы сюда еще добавил саморазвитие: регрессионное тестирование у вас будет повторяться в каждой итерации, применяйте полученные знания и внедряйте опыт.

Стратегические идеи во время регрессионного тестирования (по клику начинается просмотр видео со слайда презентации).

На чем важно сфокусироваться, выполняя ту или иную активность. На этом месте можно вставить притчу о трех каменотесах. В тестировании то же самое: то, как вы воспринимаете свою работу, так вы ее и выполняете.

На этом все. Спасибо за внимание, и успехов вам в регрессионном тетсировании!