четверг, 29 мая 2014 г.

Книжная полка. Graham Bath, Judy McKay "The Software Test Engineer's Handbook"

После небольшого перерыва - очередной экземпляр на моей книжной полке. Это книга Graham Bath, Judy McKay "The Software Test Engineer's Handbook". Уникальная книга, которую "нельзя просто так взять и прочитать". Для продвинутых тестировщиков и тех, кто считает себя таковыми, - must read. Подробности - ниже.

Технико-тактические характеристики:
Год издания: 2011
Страниц: 397
Формат: 205*290 мм
ISBN: 978-1933952246
Язык - английский
Скорость чтения - ниже среднего
Ориентировочное время на прочтение: 14-18 часов
Полезность - высокая

Эта книга оказалась для меня уникальной по нескольким причинам. Первое - скорость чтения на "не родном языке" упала где-то в два раза. Второе - книга и сама по себе нелегкая в понимании, но при этом - нисколько не сложная и не занудная. Авторам удалось пройти по лезвию бритвы между тем объемом информации, которая заложена в книге, и вниманием читателя, чтобы читатель не бросил читать книгу как "слишком заумную и непонятную". В первую очередь, благодаря многочисленным примерам из своего опыта (так называемым "war stories") и увлекательному повествовательному стилю.

Вряд ли вы прочитаете ее одним залпом. Лично я читал книгу почти 3 месяца, небольшими порциями, с начала и до конца. Как вариант, можете читать только интересующие вас главы. Особенно, если вы по этой книге будете готовиться к экзаменам ISTQB Advanced Level Test Analyst и Technical Test Analyst, о которых вы можете почитать в моем блоге, или вы просто ищете информацию по какой-то одной конкретной теме из нескольких источников. Здесь вы не найдете примеры заданий, как в серии "Advanced Software Testing" Рекса Блэка, но книга Бэт и Маккей проще для восприятия, при этом оба автора входят в число составителей силлабуса ISTQB, так что формулировки и используемые определения очень близки к силлабусу.

О структуре книги. Как обычно, первая глава - введение, о чем и зачем эта книга, вторая глава - описание тестового проекта, на примере которого и будут рассмотрены две большие части этой книги:
  • Первая часть - функциональное тестирование, техники. В нее входят главы про 
  1. техники тестирования черного ящика (Specification-Based Testing Techniques)
  2. техники тестирования белого ящика (Structure-Based Testing Techniques)
  3. техники тестирования, основанные на дефектах (Defect Based Testing Techniques)
  4. техники тестирования, основанные на опыте (Experience Based Testing Techniques)
  5. аналитические техники - статический и динамический анализ (Analysis Techniques)
  • Вторая часть - атрибуты качества функционального и нефункционального тестирования
  1. Для функционального тестирования - аккуратность (Accuracy), пригодность (Suitability), взаимодействие (Interoperability), функциональная безопасность (Functional security)
  2. Для нефункционального тестирования - удобство использования (Usability), доступность (Accessibility), эффективность (Efficiency, включает в себя производительность , масштабируемость и использование ресурсов), безопасность (Security), надежность (Reliability), сопроводимость (Maintainability), портативность (Portability).
И последние главы: про ревью, концепцию использования инструментов и коммуникационные навыки.

На мой взгляд, первая часть описана довольно хорошо. Про техники черного ящика, если вы читали книги Коупленда, Майерса или Канера, вы вряд ли найдете много нового, но "козырная карта" данной книги Бэт и МакКей - техники белого ящика: примеры, описания покрытий кода даны просто отлично, и при этом достаточно понятно. Дается разбор не только покрытия состояний  (statement coverage) и покрытия ветвей/решений (branch/decision coverage) - вопросы уровня ISTQB Foundation Level - но и покрытия условий (condition coverage), множественного покрытия ветвей (multiple condition coverage), тестирования циклов (loop testing, LCSAJ). Также в книге описывается различие и сравнение данных покрытий.

Вторая часть менее техническая и больше "философская", читается сложнее, но примеры достаточно интересны. Если про удобство использования, эффективность (включающую тестирование производительности) еще можно почитать в других книгах, то с другими характеристиками (например, надежность, сопроводимость) я в проектах не встречался и в книгах не читал.

Последние 3 главы написаны достаточно кратко и обзорно. Если вы готовитесь к экзаменам ISTQB Advanced Level, то рекомендую почитать про ревью дополнительно, например, в упомянутой серии книг Рекса Блэка, так как вопросы на эту тему достаточно сложные. А про коммуникативные навыки более подробно можно ознакомиться как в силлабусе для тест-менеджера, так и в других книгах по управлению. В экзамене на тест-аналитика всего один вопрос по коммуникациям, а на технического тест-аналитика - ни одного.

Общий вывод: хорошая, полезная книга в оригинале на английском, если вы готовитесь к экзамену ISTQB AL TA или TTA, то читать обязательно. Для остальных тоже достаточно полезна в качестве чтения либо целиком, либо отдельных глав по интересующим вопросам. Достаточно полно и доступно освещена тема техник тестирования белого ящика, а также будет интересно почитать про атрибуты качества для расширения общего кругозора.

четверг, 15 мая 2014 г.

Посчитаем баллы. ISTQB Advanced Level Technical Test Analyst экзамен.

Завершим трилогию про ISTQB Advanced Level уровни рассказом про экзамен на технического тест-аналитика -  ISTQB Advanced Level Technical Test Analyst.

Мои предыдущие обзоры:
Первое отличие экзамена Technical Test Analyst - в регламенте. На экзамен выделяется 2 часа для native-speaker'ов, плюс time bonus 30 минут, если в вашей стране английский не является официальным языком. Итого 2 часа 30 минут, против 3 часов 45 минут на тест-аналитика или тест-менеджера. 

Соответственно, количество вопросов уменьшается: 45 вопросов вместо 65 на аналитика и менеджера. Максимальное количество баллов, которые можно получить, равно 80, проходной балл - 65 процентов от максимума, или 52 балла.

Вопросы оцениваются по-разному: вопросы уровня К2 (понимать) - 1 или 2 балла, уровня K3 (применять) - 2 балла, K4 (анализировать) - 2 или 3 балла. В вопросах, которых правильных ответов не один, а несколько (multiple choice answers), как и для всех экзаменов уровня Advanced, указано, сколько вариантов ответа являются правильными (по умолчанию, если не указано иное - только один). В multiple choice answers обычно не 4 варианта ответа, а 5, поэтому надо выбрать 2 или 3 (как указано в вопросе) из 5.

Для подготовки к экзамену на технического тест-аналитика силлабус - необходимое, но явно не достаточное условие: как и в случае с экзаменом на тест-аналитика (Test Analyst), вам понадобится дополнительная литература, и в первую очередь - по вопросам с тестированием белого ящика. Рекомендую следующие книги:
  • Rex Black, Jamie Mitchell "Advanced Software Testing Vol.3. Guide to the ISTQB Advanced Certification as an Advanced Technical Test Analyst", 2011 год - книга написана по разделам старого силлабуса Advanced Level за 2008 год. Можно читать по необходимым разделам, которые вам нужны из нового силлабуса. От начала и до конца читается тяжело: книга составлена по старому , общему для всех трех уровней Advanced, силлабусу 2007 года. Из-за этого некоторые главы и даже части глав относятся к тест-менеджеру, другие - к тест-аналитику и/или техническому тест-аналитику - поэтому книга напоминает сборник глав для прочтения без взаимосвязи  и с размытой общей картиной по всему силлабусу для всех уровней. 
  • Graham Bath, Judy McKay "The software test engineer's handbook. 
  • A Study Guide for the ISTQB Test Analyst and 
  • Technical Test Analyst Advanced Level Certificates
  • ", 2011 год. Книга написана соавторами ISTQB и очень близко к темам экзамена, с большим количеством примеров из жизни, разбором практического кейса на основе проекта в конце каждой главы. Читается легче, чем предыдущая книга, более структурирована: решена проблема единого силлабуса, вместо которого теперь 3 силлабуса, каждый отдельный для одного уровня. Больше внимания уделено нефункциональным характеристикам ПО, да и примеры покрытий (statement coverage, decision coverage, condition coverage и т.д.) разобраны очень хорошо. Темы тест-аналитика - черный ящик - тоже разобрана подробно и достаточно ясно.
А теперь давайте посмотрим на составные части силлабуса для технического тест-аналитика. Сначала посчитаем время, необходимое на подготовку к экзамену, и "вес" каждого раздела (последний силлабус тот же, за октябрь 2012 года, который можно скачать здесь) :
  • Часть 1. Задача технического тест-аналитика в тестировании, основанном на рисках - 30 минут, или 2,35%
  • Часть 2. Структурное тестирование - 225 минут, или 17,65%
  • Часть 3. Аналитические техники - 255 минут, или 20%
  • Часть 4. Качественные характеристики для технического тестирования - 405 минут, или 31,76%
  • Часть 5. Ревью - 165 минут, или 12,95%
  • Часть 6. Инструменты для тестирования, автоматизация - 195 минут, или 15,29%
  • Общее рекомендуемое время для подготовки к экзамену = 1275 минут, или 100%
Рис 1. Рекомендуемое количество времени для подготовки по каждому разделу

В отличие от экзаменов Test Analyst и Test Manager, явного раздела-фаворита не наблюдается. Нужно одинаково хорошо отвечать на вопросы по всем главам, поэтому советую обратить внимание на следующее.

Для ответа на вопросы 2 и 3 части (про структурное тестирование и аналитические техники) вам дополнительно понадобятся базовые знания языка программирования - примеры кода в вопросах написаны на С++. Часть 4 - качественные характеристики - достаточно объемная, но вопросы не очень трудные. Довольно специфичная часть 5 - Ревью: на трех страницах силлабуса информации явно недостаточно, поэтому обязательно посмотрите главу Reviews в книгах, указанных выше. Для меня этот раздел оказался самым сложным: у меня не так много опыта именно в технических ревью. А вот шестая часть по автоматизации, на мой взгляд, несложная: достаточно базовых знаний и понимания того, как организовывать этот процесс, какие грабли нужно обходить стороной.

Теперь приведу статистику по количеству вопросов в каждом разделе.
  • Часть 1. Задача технического тест-аналитика в тестировании, основанном на рисках - 2 вопроса, или 4,44%
  • Часть 2. Структурное тестирование - 9 вопросов, или 20,00%
  • Часть 3. Аналитические техники - 7 вопросов, или 15,56%
  • Часть 4. Качественные характеристики для технического тестирования - 12 вопросов, или 26,67%
  • Часть 5. Ревью - 5 вопросов, или 11,11%
  • Часть 6. Инструменты для тестирования, автоматизация - 10 вопросов, или 22,22%
  • Всего 45 вопросов, или 100%
Рис 2. Количество вопросов по каждому разделу

И, наконец, статистика по количеству баллов для технического тест-аналитика. 
  • Часть 1. Задача технического тест-аналитика в тестировании, основанном на рисках - 2 балла, или 2,50%
  • Часть 2. Структурное тестирование -17 баллов, или 21,25%
  • Часть 3. Аналитические техники - 13 баллов, или 16,25%
  • Часть 4. Качественные характеристики для технического тестирования - 24 балла, или 30,00%
  • Часть 5. Ревью - 13 баллов, или 16,25%
  • Часть 6. Инструменты для тестирования, автоматизация - 11 баллов, или 13,75%
  • Общее количество = 80 баллов, или 100%
Рис 3. Количество баллов по каждому разделу

На этом я завершаю обзор, если есть вопросы по экзаменам ISTQB Advanced Level - спрашивайте в форуме или пишите мне. Можете спрашивать как про сам экзамен, так и про разделы силлабуса. В Advanced Level очень много интересных вещей, к которым можно обращаться на своей практике, делиться в статьях и на конференции. Вполне возможно, что продолжение и по мотивам наиболее интересующих вас вопросов следует. Спасибо за внимание, оставайтесь с Qastugama!

четверг, 1 мая 2014 г.

Рубрика "ПочитайQA". Полезные ссылки за апрель-2014

Всем привет! Как обычно, первого числа каждого месяца - рубрика "ПочитайQA", или список ссылок, на этот раз все самое интересное за апрель.

Апрель, как и прошедший март,  для меня тоже был очень интенсивным, плотно упакованным на события:

  •  внутренний тренинг в компании с игровыми элементами, тут пригодились и мои знания по геймификации. Пилотный запуск оказался успешным, продолжение следует.
  • Участие и выступление в конференции SQA Days-15, обзор уже писал: первый день и второй день
  • Участие в тренинге Майкла Болтона "Критическое мышление для тестировщиков". Обзор и конспект можно почитать здесь - http://qastugama.blogspot.com/2014/04/training-michael-bolton-critical-thinking.html
  • С 21 апреля прохожу курс BBST:Foundations, нагрузка получается 10-12 часов в неделю, много практических заданий, самостоятельного чтения, работы в группах, и все это в условиях довольно жестких сроков для каждого задания. 
Так как сейчас практически все "свободное" время у меня уходит на обучение BBST, то в конце мая планирую написать о курсе и впечатлениях, а пока, если будет время - продолжу серию про экзамены ISTQB и пополню  коллекцию - Книжную Полку (прочитанные книги есть, дело за обзорами).


Теперь к ссылкам. Разбиение на группы остается прежним-традиционным:

QA Quality Assurance, обеспечение качества, все грани со всего мира. Наиболее заинтересовавшие меня статьи по профильной теме за месяц.
STU Studying, образование и самообразование, обучение.
GA Gamification, или геймификация тестирования, обучения, управления - всех составляющих Qastugama.
MA Management and leadership - управление командой, людьми, лидерство. Все составляющие Management.
+
Books - обзоры прочитанных и/или рекомендованных книг.
+
Other - "сборный раздел". То, что не относится к предыдущим четырем темам, но то, чем я хотел бы с вами поделиться.
+
Bonus.Fun. - (не)серьезно о тестировании и вообще об IT.


Quality Assurance.

Studying.

Gamification.

Management.

Books.

Other.

Bonus. Fun.

До встречи в мае, оставайтесь с Qastugama!