Книжная полка. Rex Black, Leo van der Aalst, James L. Rommens "The Expert Test Manager"

Сегодня на книжной полке будет профильный обзор книги по тест-менеджменту, которую я рассматриваю не как этап для подготовки к экзамену ISTQB Expert Level Test Management, а как книгу для руководителя отдела тестирования - Rex Back, Leo van Der Aalst, James Rommens "The Expert Test Manager".

Да, книга позиционируется как "Guide to the ISTQB Expert Level Certification", но экспертный уровень имеет ограничения:

• срок действия ограничен 5 годами, дальше - подтверждать или набирать баллы
• цена экзамена 650 евро + поездка сдавать в другую страну (я нашел ближайший вариант в Германии компании Gasq и не нашел ни одного варианта сдачи экзамена онлайн)

Поэтому, несмотря на репутационные и другие плюсы экспертного сертификата, плюсы пригодятся консультанту по тестированию глобально, и на 5 лет. Поэтому, если надо по работе (заказчик или партнер требует подтверждения высшего уровня) или вы консультируете проекты, которые запрашивают награды и достижения, имеет смысл подумать о сертификате. Для руководства отделом тестирования и консультирования в нашем регионе смысла сдавать данный сертификат пока не вижу.

Вернемся к книге, она хороша и без необходимости проходить сертификацию. Разберем структуру и главы, и сделаем выводы.

Технико-тактические характеристики:

Год издания: 2017 ( "Rocky Nook")

Страниц: 500

Скорость чтения - 3 из 5 (средняя)

Время на прочтение:  12-18 часов
Полезность - 4 из 5 (выше средней)

Силлабус экспертного тест менеджера, состоит из 3 больших тем, разбитых на части-главы из книги Рекса Блэка:

1. Стратегический менеджмент
• Миссия, политики, стратегия и цели
• Оценка эффективности и действенности (метрики эффективности, действенности, удовлетворенности клиента)
• Управление в организации (интеграция инструментов, управление качеством и тестирование)
• Управление внешними связями
• Доменные и проектные факторы
2. Операционный тест-менеджмент
• Управление внешними связями
• Основы проектного менеджмента
• Оценка и отчетность тестирования в проекте
• Доменные и проектные факторы (релизы)
• Оценка эффективности и действенности (ретроспективы)
3. Управление командой тестирования
• Построение, развитие и управление командой
• Управление тестированием в организации: защита команды тестирования, место команды тестирования в организации, построение внешних взаимоотношений со стейкхолдерами, этические моменты)

Мы видим, что есть перекрытие по темам главы. Например, доменные и проектные факторы, управление внешними связями, оценка эффективности и действенности относятся одновременно к блокам 1 и 2 (стратегический менеджмент и операционный тест-менеджмент), а управление внешними связями - к блокам 1 и 3. Все главы и взаимосвязи с частями я объединил в таблице.

Глава книги | Тема ISTQB EL	Стратегический менеджмент	Операционный тест-менеджмент	Управление командой
1. Миссия тестирования, политики, стратегии и цели
2. Управление командой тестирования
3. Управление внешними связями
4. Управление в организации
5. Основы проектного менеджмента
6. Оценка тестового проекта, отчетность
7. Доменные и проектные факторы, влияющие на тестирование
8. Оценка эффективности и действенности

Пример. Если изучаете только стратегический менеджмент - читайте главы, выделенные зеленым: 1, 3, 4, 7 и 8.

Первая глава "Миссия тестирования, стратегия и цели" начинается с определения миссии, политики (policy) - почему мы тестируем, стратегии - как мы тестируем. По Рексу Блэку, тестовая стратегия может включать следующие разделы: 

• техники анализа и документации тестовых спецификаций, как генерируются тесты
• Объем и независимость тестирования
• Тестовые окружения
• Тестовые данные
• Автоматизация
• Регрессионное тестирование
• Нефункциональное тестирование
• Управление конфигурациями
• Контроль процесса тестирования
• Метрики тестирования и отчетность
• Управление дефектами>
• Инструменты
• Стандарты
• Интеграционное тестирование

Далее переходим к тестовым стратегиям: аналитическим, реактивным, на основе модели, методическим, консультационным, на основе стандартов, автоматизации. Все перечисленные и следующие определения смотрите в силлабусе тест-менеджера. И заканчивается глава взаимосвязью и выравниванием тестовой политики с тестовой стратегией.

Вторая глава "Управление командой тестирования" рассказывает об управлении командой тестирования, начиная от построения команды - найм, описание вакансии, чтение резюме, собеседование, выбор, онбординг в команду и увольнение. В каждом этапе автор дает список вопросов или пунктов, на которые надо обратить внимание, и приводит практические рекомендации. Например, некоторые из них:

• в описании вакансии - не использовать описание вакансии другой позиции (например, разбавлять вакансию разработчика навыками тестировщика)
• в собеседовании - использовать несколько раундов интервью, смешанную команду собеседующих. Во время собеседования обращать внимание не только на технические наыки и навыки тестирования плюс релевантный опыт, но и навыки решения проблем, наличие критического мышления, коммуникационные навыки, командная работа, любознательность
• в увольнении - действовать в зависимости от причины: плохая личная производительность, изменение бизнес-фокуса или процесса, закрытие бизнеса. При плохой личной производительности - документировать проблемы, обратиться в HR-отдел

"Как тест-менеджер, поддерживать развитие недостаточно, требуйте." Развитие команды в книге включает: 

• индивидуальное развитие (тренинги, книги, самообучение, курсы-университеты, применение новых навыков на практике), 
• постановка целей (цели по SMART на ближайший период - полгода-год, групповые цели), 
• использование навыков (делятся на профессиональные, технические, бизнес-доменные и навыки тестирования) 
• оценка не только индивидуальных навыков, но и групповых (чего не хватает всей команде)
• роли в команде (использование матрицы RACI и типологии Майерс-Бриггс)
• тренинги и менторство
• оценка производительности и обратная связь (360-ревью).

"Лидство" команды тестирования включает:

• обмен информацией и коммуникация (какие митинги и для чего использовать)
• поощрения лояльности и доверия
• тим-билдинг
• мотивация команды
• управление удаленными командами

Третья глава "Управление внешними связями" рассматривает внешние связи и влияние на команду: например, если разработка полностью или частично выполняется другой компанией, если тестирование выполняет другая команда, если вы выполняете только "внутреннее" тестирование того, что сами разработали. Также рассказывается о контрактных проблемах, стратегиях коммуникации, использование компонент, разработанных третьим участником и сочетанием тестовых стратегий. Заканчивается глава примером формулировки входных и выходных критериев для каждого уровня тестирования, когда разрешено переходить к следующему уровню тестирования - бывает полезным составить такую таблицу не только для нескольких компаний, но и внутри своей компании.

Четвертая глава "Управление в организации" (Managing Across the Organization) описывает взаимодействие отдела тестирования с другими отделами. Это самая большая глава книги (68 страниц), которая включает и стратегические, и операционные аспекты. К стратегическим относятся: интеграция инструментов в организации, система контроля качества и тестирование. К операционным - типы внешних взаимодействий, контрактные вопросы, стратегии коммуникаций. Некоторые выдержки из главы:

• работа тест-менеджера включает промоушн команды тестирования и её ценности в организации
• роль тест-менеджера включает "защиту" команды тестирования и расширение ее роли
• тест-менеджер всегда должен находить пути, чтобы позиционировать тестирование как конструктивное и приносящее ценность
• четыре элемента маркетинга и "продажи" тестирования - демострировать преимущества, подчеркивать успех, сообщать о предстоящих изменениях, признавать и исправлять ошибки
• пять элементов поддержки уровня группы тестирования (как в оригинале, без перевода): adequately staffed, well-trained, properly resourced, well-informed, respected
• три элемента "защиты" команды - открытые коммуникации, хорошая документация, сильные процессы
• независимость (группы тестирования) означает, что цепочка отчетности команды тестирования ведет к высшему или исполнительному руководству, а не к продуктовым, проектным, программным или операционным менеджерам
• построение отношений, идеи - общие обеды, приглашение стейкхолдеров на общие митинги, празднование успехов

Пятая глава "Основы проектного менеджмента" включает его основы и обзорно описывает:

• Задачи проектного менеджмента: эстимации (техники) и факторы влияющие на них, составление расписания, управление бюджетом и ресурсами, управление проектом и метрики (количество спроектированных тестов, цена качества, эффективность тестирования, количество найденных VS ожидаемых дефектов, прогресс выполнения тестов), треугольник качества, управление изменениями, управление временем
• Управление проектными рисками
• Система менеджмента качества и тестирование (QM = QA + QC)

Шестая глава "Оценка тестового проекта, отчетность" начинается с формулировки и различия понятий метрик, шкалы измерения, измерения. Далее идут требования к метрикам: объективность, информативность, понятность, простота сбора данных, и затем - перечисление самих метрик. Внешняя отчетность включает:

• дэшборды, показывающие текущий статус по тестам и по дефектам
• отчеты по ресурсам и бюджету
• таблица митигации рисков
• таблица покрытия тестами
• тренды по дефектам
• индикаторы здоровья проекта ("светофор" - зеленый-желтый-красный)
• прогнозирующие метрики
• рекомендации "go-no go"

Далее приводятся метрики по каждой из фаз проекта по ISTQB: планирование и контроль, анализ и дизайн, внедрение и выполнение, оценка критерия выхода и отчетность, активности по завершению тестирования.

Седьмая глава "Доменные и проектные факторы, влияющие на тестирование" начинает рассказ с моделей жизненного цикла, их влияния на тестирования, преимуществ каждой из них: от каскадной модели до гибких методологий. Далее Рекс Блэк рассказывает о влияние на тестирование в "неполных" (partial) проектах: интеграции, сопровождении, проектах связанных с тестированием "железа" и embedded проектах, проектах, связанных с жизнью людей (safety lifecycle projects).

Восьмая глава "Оценка эффективности и действенности" перечисляет метрики, позволяющие "посчитать" эффективность, действенность, и рассказывает, как составить опросник (survey) для стейкхолдеров. Заканчивается глава обзором проведения ретроспективы проекта.

Как и любая "сертификационная" обзорная литература, еще и на не родном английском языке, читается книга не меньше месяца с перерывами на осмысление. Если вы хотите "сократить" и взять только нужное здесь и сейчас, обратитесь к таблице выше, выберите один блок и читайте выборочно выделенные главы. Если вы работаете независимым тест-менеджером в компании, то рекомендую читать книгу от начала до конца: и работа с командой, и операционный тест-менеджмент, и стратегический менеджмент - ваши задачи.

Вывод: Обстоятельная, обзорная, книга с примерами из практики тест-менеджера - руководителя отдела, полезна любому начинающему и продолжающему строить отдел тестирования. При обзорности, свойственной книге по сертификации, нюансы каждой темы учтены и описаны, для более глубоких нюансов (например, в управлении проектами) необходимы специализированные книги. В книге есть вопросы с разбором и ответами из экзамена ISTQB EL Test Management, для знакомства и самопроверки. Рекомендую читать и планировать свой todo-лист по рекомендациям в книге, если вы возглавили отдел тестирования в компании.

Посчитаем баллы. ISTQB Advanced Level Technical Test Analyst экзамен.

Завершим трилогию про ISTQB Advanced Level уровни рассказом про экзамен на технического тест-аналитика -  ISTQB Advanced Level Technical Test Analyst.

Мои предыдущие обзоры:

• Advanced Level - общая информация - http://qastugama.blogspot.com/2013/11/istqb-advanced-level-general-info.html
• Advanced Level Test Analyst - http://qastugama.blogspot.com/2013/11/istqb-al-ta-points.html
• Advanced Level Test Manager - http://qastugama.blogspot.com/2013/11/istqb-al-tm-points.html

Первое отличие экзамена Technical Test Analyst - в регламенте. На экзамен выделяется 2 часа для native-speaker'ов, плюс time bonus 30 минут, если в вашей стране английский не является официальным языком. Итого 2 часа 30 минут, против 3 часов 45 минут на тест-аналитика или тест-менеджера. 

Соответственно, количество вопросов уменьшается: 45 вопросов вместо 65 на аналитика и менеджера. Максимальное количество баллов, которые можно получить, равно 80, проходной балл - 65 процентов от максимума, или 52 балла.

Вопросы оцениваются по-разному: вопросы уровня К2 (понимать) - 1 или 2 балла, уровня K3 (применять) - 2 балла, K4 (анализировать) - 2 или 3 балла. В вопросах, которых правильных ответов не один, а несколько (multiple choice answers), как и для всех экзаменов уровня Advanced, указано, сколько вариантов ответа являются правильными (по умолчанию, если не указано иное - только один). В multiple choice answers обычно не 4 варианта ответа, а 5, поэтому надо выбрать 2 или 3 (как указано в вопросе) из 5.

Для подготовки к экзамену на технического тест-аналитика силлабус - необходимое, но явно не достаточное условие: как и в случае с экзаменом на тест-аналитика (Test Analyst), вам понадобится дополнительная литература, и в первую очередь - по вопросам с тестированием белого ящика. Рекомендую следующие книги:

• Rex Black, Jamie Mitchell "Advanced Software Testing Vol.3. Guide to the ISTQB Advanced Certification as an Advanced Technical Test Analyst", 2011 год - книга написана по разделам старого силлабуса Advanced Level за 2008 год. Можно читать по необходимым разделам, которые вам нужны из нового силлабуса. От начала и до конца читается тяжело: книга составлена по старому , общему для всех трех уровней Advanced, силлабусу 2007 года. Из-за этого некоторые главы и даже части глав относятся к тест-менеджеру, другие - к тест-аналитику и/или техническому тест-аналитику - поэтому книга напоминает сборник глав для прочтения без взаимосвязи  и с размытой общей картиной по всему силлабусу для всех уровней. 
• Graham Bath, Judy McKay "The software test engineer's handbook. 
• A Study Guide for the ISTQB Test Analyst and 
• Technical Test Analyst Advanced Level Certificates
", 2011 год. Книга написана соавторами ISTQB и очень близко к темам экзамена, с большим количеством примеров из жизни, разбором практического кейса на основе проекта в конце каждой главы. Читается легче, чем предыдущая книга, более структурирована: решена проблема единого силлабуса, вместо которого теперь 3 силлабуса, каждый отдельный для одного уровня. Больше внимания уделено нефункциональным характеристикам ПО, да и примеры покрытий (statement coverage, decision coverage, condition coverage и т.д.) разобраны очень хорошо. Темы тест-аналитика - черный ящик - тоже разобрана подробно и достаточно ясно.

А теперь давайте посмотрим на составные части силлабуса для технического тест-аналитика. Сначала посчитаем время, необходимое на подготовку к экзамену, и "вес" каждого раздела (последний силлабус тот же, за октябрь 2012 года, который можно скачать здесь) :

• Часть 1. Задача технического тест-аналитика в тестировании, основанном на рисках - 30 минут, или 2,35%
• Часть 2. Структурное тестирование - 225 минут, или 17,65%
• Часть 3. Аналитические техники - 255 минут, или 20%
• Часть 4. Качественные характеристики для технического тестирования - 405 минут, или 31,76%
• Часть 5. Ревью - 165 минут, или 12,95%
• Часть 6. Инструменты для тестирования, автоматизация - 195 минут, или 15,29%
• Общее рекомендуемое время для подготовки к экзамену = 1275 минут, или 100%

Рис 1. Рекомендуемое количество времени для подготовки по каждому разделу

В отличие от экзаменов Test Analyst и Test Manager, явного раздела-фаворита не наблюдается. Нужно одинаково хорошо отвечать на вопросы по всем главам, поэтому советую обратить внимание на следующее.

Для ответа на вопросы 2 и 3 части (про структурное тестирование и аналитические техники) вам дополнительно понадобятся базовые знания языка программирования - примеры кода в вопросах написаны на С++. Часть 4 - качественные характеристики - достаточно объемная, но вопросы не очень трудные. Довольно специфичная часть 5 - Ревью: на трех страницах силлабуса информации явно недостаточно, поэтому обязательно посмотрите главу Reviews в книгах, указанных выше. Для меня этот раздел оказался самым сложным: у меня не так много опыта именно в технических ревью. А вот шестая часть по автоматизации, на мой взгляд, несложная: достаточно базовых знаний и понимания того, как организовывать этот процесс, какие грабли нужно обходить стороной.

Теперь приведу статистику по количеству вопросов в каждом разделе.

• Часть 1. Задача технического тест-аналитика в тестировании, основанном на рисках - 2 вопроса, или 4,44%
• Часть 2. Структурное тестирование - 9 вопросов, или 20,00%
• Часть 3. Аналитические техники - 7 вопросов, или 15,56%
• Часть 4. Качественные характеристики для технического тестирования - 12 вопросов, или 26,67%
• Часть 5. Ревью - 5 вопросов, или 11,11%
• Часть 6. Инструменты для тестирования, автоматизация - 10 вопросов, или 22,22%
• Всего 45 вопросов, или 100%

Рис 2. Количество вопросов по каждому разделу

И, наконец, статистика по количеству баллов для технического тест-аналитика. 

• Часть 1. Задача технического тест-аналитика в тестировании, основанном на рисках - 2 балла, или 2,50%
• Часть 2. Структурное тестирование -17 баллов, или 21,25%
• Часть 3. Аналитические техники - 13 баллов, или 16,25%
• Часть 4. Качественные характеристики для технического тестирования - 24 балла, или 30,00%
• Часть 5. Ревью - 13 баллов, или 16,25%
• Часть 6. Инструменты для тестирования, автоматизация - 11 баллов, или 13,75%
• Общее количество = 80 баллов, или 100%

Рис 3. Количество баллов по каждому разделу

На этом я завершаю обзор, если есть вопросы по экзаменам ISTQB Advanced Level - спрашивайте в форуме или пишите мне. Можете спрашивать как про сам экзамен, так и про разделы силлабуса. В Advanced Level очень много интересных вещей, к которым можно обращаться на своей практике, делиться в статьях и на конференции. Вполне возможно, что продолжение и по мотивам наиболее интересующих вас вопросов следует. Спасибо за внимание, оставайтесь с Qastugama!

Посчитаем баллы. ISTQB Advanced Level Test Manager экзамен.

В предыдущей статье мы считали баллы тест-аналитика. Перейдем к экзамену ISTQB Advanced Level Test Manager.

Немного про сам экзамен, то, чего я не говорил в общих вещах про ISTQB Advanced Level .

Первое, хорошая новость для тех, кто предпочитает "великий и могучий": экзамен Advanced Level Test Manager можно сдавать на русском языке (и только менеджера; языки экзамена на тест-аналитика и технического тест-аналитика - английский и немецкий). Спасибо Elena Kostina за наводку.

Второе, тема управления тестированием довольно объемна, поэтому советую готовиться по силлабусу. И при ответе на вопросы - сначала попытайтесь вспомнить, что вам говорит силлабус, а затем уже обращайтесь к собственному опыту, а не наоборот. Дополнительных знаний PMBOK Guide или других PM-учебников и руководств не нужно. По крайней мере, для Advanced Level'а. Если вы планируете идти на Expert Level, то в программе подготовки к экспертному уровню есть главы и книги, посвященные именно управлению проектами.

В целом, силлабус продвинутого уровня для тест-менеджера - это НЕ серебряная пуля в любой ситуации (он для этого и не задумывался). Это, скорее, как введение в процесс управления тестированием. То есть, вы можете использовать силлабус для получения общих знаний по тест-менеджменту (рассматривается без привязки к какой-либо конкретной методологии, в силлабусе есть примеры, как описанный кейс реализуется в V-модели, либо в сессионном тестировании, либо в аджайле), либо, если вы уже являетесь тест-менеджером, для расширения своего кругозора о том, как "можно по-другому". В конце силлабуса приводится список книг по тест-менеджменту, по которым вы можете подготовиться более основательно. Выделю две:

• Рекс Блэк "Ключевые процессы тестирования" - очень подробно и досконально разобран весь процесс тестирования от настоящего гуру: планирование, подготовка, проведение и совершенствование процесса. Читается довольно трудно (признаюсь, я книгу полностью не осилил с первой попытки, отложил на некоторое время), в каждой главе есть примеры абстрактной компании, но все равно, эти примеры будут нуждаться в вашей доработке на вашем проекте.
• Лиза Криспин "Гибкое тестирование" - если вы работает по аджайлу - читать обязательно. Подробный отзыв по этой книге в блоге - ставлю в свой ToDo-лист.

Теперь давайте посмотрим на составные части силлабуса. Сначала посчитаем время, необходимое на подготовку к экзамену, и "вес" каждого раздела (как обычно, берем рекомендуемое время для подготовки из последнего - за октябрь 2012 года, который можно скачать здесь) :

• Часть 1. Процесс тестирования - 420 минут, или 21,2%
• Часть 2. Управление тестированием - 750 минут, или 37,9%
• Часть 3. Ревью - 180 минут, или  9,1%
• Часть 4. Управление дефектами - 150 минут, или 7,6%
• Часть 5. Улучшаем процесс тестирования - 135 минут, или 6,8%
• Часть 6. Инструменты для тестирования, автоматизация - 135 минут, или 6,8%
• Часть 7. Навыки людей - построение команды - 210 минут, или 10,6%
• Общее рекомендуемое время для подготовки к экзамену = 1980 минут, или 100%

Рис 1. Рекомендуемое количество времени по каждому разделу

Явные фавориты- первый и второй разделы - "Процесс тестирования" и "Управление тестированием", по рекомендуемому для подготовки времени и (как мы увидим позже) по количеству баллов на экзамене. Получаем не совсем обычную картину экзамена: вначале нет "втягивающих" вопросов (к которым можно отнести "Основы тестирования" для Foundation Level, к примеру), вся соль, все ключевые вопросы - в первых двух главах, поэтому обратите особое внимание на эти разделы и при подготовке, и на экзамене.

Замечу, что формулировки вопросов по этим разделам соответствующие: подробно, почти на страницу формата А4, описываются кейсы, затем вопрос и 4 варианта ответа. Некоторые детали в кейсе важны, некоторые - нет: дело в том, что для нескольких вопросов различных разделов кейсы повторяются, поэтому кейсы и будут дублироваться слово-в-слово. Поэтому, столкнувшись с такой подробной формулировкой, читайте внимательно, в полном осознании кейса может заключаться успех при ответе не только на текущий, но и на последующие вопросы. В ваших ответах на вопросы первых двух глав - больше чем половина вашего успеха на экзамене.

Тема "Навыки людей - построение команды" - на мой взгляд, самая простая. Несколько вопросов в ней - по матрице компетенций выбрать исполнителя, как это делается - можете посмотреть здесь.

По остальным разделам (3-6) - вполне достаточно прочитать силлабус и разобрать вопросы из примерного экзамена.

Теперь приведу статистику по количеству вопросов в каждом разделе.

• Часть 1. Процесс тестирования - 14 вопросов минут, или 21,6%
• Часть 2. Управление тестированием - 26 вопросов, или 40%
• Часть 3. Ревью - 6 вопросов, или 9,2%
• Часть 4. Управление дефектами - 3 вопроса, или 4,6%
• Часть 5. Улучшаем процесс тестирования - 3 вопроса, или 4,6%
• Часть 6. Инструменты для тестирования, автоматизация - 6 вопросов, или 9,2%
• Часть 7. Навыки людей - построение команды - 7 вопросов, или 10,8%
• Всего 65 вопросов или 100%

Рис 2. Количество вопросов по каждому разделу

И, наконец, статистика по количеству баллов для тест-менеджера. Обратите внимание, что максимальное число баллов, которое можно получить на экзамене, - 115, в отличие от 100 баллов тест-аналитика. Соответственно проходной балл - 65 процентов от максимума, или 75 баллов. 

• Часть 1. Процесс тестирования - 30 баллов, или 26,1%
• Часть 2. Управление тестированием - 44 балла, или 38,3%
• Часть 3. Ревью - 12 баллов, или 10,4%
• Часть 4. Управление дефектами - 4 балла, или 3,5%
• Часть 5. Улучшаем процесс тестирования - 6 баллов, или 5,2%
• Часть 6. Инструменты для тестирования, автоматизация - 7 баллов, или 6,1%
• Часть 7. Навыки людей - построение команды - 12 баллов, или 10,4%
• Общее количество баллов = 115 баллов, или 100%

Рис 3. Количество баллов по каждому разделу

В итоге, мы поговорили об экзаменах Foundation Level, Advanced Level Test Analyst, Advanced Level Test Manager, посчитали баллы за разделы, выбрали самые "ценные". В проекте следующих статей по ISTQB - рассмотрим экзамен Technical Test Analyst, разберем некоторые разделы по программе, соберем литературу и ссылки по экзаменам (что еще можно посмотреть-почитать в дополнение или вместо рекомендованных в силлабусе книг и ссылок). Спасибо за внимание, оставайтесь с Qastugama!

Посчитаем баллы. ISTQB Advanced Level Test Analyst экзамен.

В прошлой статье я рассказал общие вещи про ISTQB Advanced Level. Рассмотрим подробнее экзамен ISTQB AL Test Analyst, на какие разделы следует обратить внимание.

Давайте, как и в случае со статьей про Foundation Level, посчитаем время, необходимое на подготовку к экзамену, и "вес" каждого раздела (рекомендуемое время для подготовки взято из последнего силлабуса, который можно скачать здесь) :

• Часть 1. Процесс тестирования - 300 минут, или 18%
• Часть 2. Управление тестированием: обязанности тест-аналитика - 90 минут, или 5,4%
• Часть 3. Техники тестирования - 825 минут, или 49,6%
• Часть 4. Характеристики управления качеством - 120 минут, или 7,2%
• Часть 5. Ревью - 165 минут, или 9,9%
• Часть 6. Управление дефектами - 120 минут, или 7,2%
• Часть 7. Инструменты для тестирования, автоматизация - 45 минут, или 2,7%
• Общее рекомендуемое время для подготовки к экзамену = 1665 минут, или 100%

Рис 1. Рекомендуемое количество времени по каждому разделу

В отличие от Foundation Level, где баллы были распределены между разделами относительно равномерно, в AL TA экзамене есть явный "фаворит" - техники тестирования. Поэтому изучаем тест-дизайн, решаем задачи на граничные значения, эквивалентные классы, таблицы решений, диаграммы переходов, считаем покрытие кода... Довольно практический и интересный, на мой взгляд, раздел, это уже не сухая теория из Foundation. Да и вопросы из других разделов будут посложнее, уже нет явного ответа в силлабусе (страница 5, второй абзац, строчка 4), и метод исключения тоже работает далеко не всегда.

На мой взгляд, если вы проектируете тесты, то вы просто обязаны разбираться в тест-дизайне, поэтому рекомендую если не сдавать экзамен, то хотя бы ознакомиться со всеми этими техниками. Альтернативой данному материалу может быть курс по тест-дизайну от BBST - http://www.testingeducation.org/BBST/testdesign/ - созданный Сэмом Канером и Джеймсом Бахом. Материал тоже бесплатный. Если вы не хотите получать сертификат - и для ISTQB, и для BBST вы можете ничего не платить :)

В одной из следующих статей я поделюсь материалами по тест-дизайну, которые мне удалось найти при подготовке по тест-дизайну. Очень радует, что тема тест-дизайна присутствует и на конференциях, я когда-то писал про выступление Никиты Постолакого, "Разработка-тест кейсов по методике Pairwise", на одной из Fun ConfeT&QA Наталья Руколь замечательно рассказывала про диаграммы переходов... Впрочем, это тема отдельной статьи - список ссылок для подготовки к экзамену ISTQB AL TA.

Вернемся к результатам ISTQB AL TA. Мне удалось по полученной статистике экзамена за август 2012 (моя) и октябрь 2012 года (мой коллега) составить таблицы количества вопросов по каждому разделу и общего количества баллов за каждый раздел.

Количество вопросов по каждому разделу:

• Часть 1. Процесс тестирования - 7 вопросов, или 10,8%
• Часть 2. Управление тестированием: обязанности тест-аналитика - 4 вопроса, или 6,2%
• Часть 3. Техники тестирования - 33 вопроса, или 50,8%
• Часть 4. Характеристики управления качеством - 8 вопросов, или 12,3%
• Часть 5. Ревью - 5 вопросов, или 7,7%
• Часть 6. Управление дефектами - 4 вопроса, или 6,1%
• Часть 7. Инструменты для тестирования, автоматизация - 3 вопроса, или 4,6%
• Часть 8. Навыки людей - построение команды - 1 вопрос, или 1,5%
• Всего 65 вопросов, или 100%

Рис 2. Количество вопросов по каждому разделу

Количество баллов по каждому разделу:

• Часть 1. Процесс тестирования - 9 баллов, или 9%
• Часть 2. Управление тестированием: обязанности тест-аналитика - 5 баллов, или 5%
• Часть 3. Техники тестирования - 52 балла, или 52%
• Часть 4. Характеристики управления качеством - 14 баллов, или 14%
• Часть 5. Ревью - 8 баллов, или 8%
• Часть 6. Управление дефектами - 8 баллов, или 8%
• Часть 7. Инструменты для тестирования, автоматизация - 3 балла, или 3%
• Часть 8. Навыки людей - построение команды - 1 балл, или 1%
• Всего 100 баллов, или 100%

Рис 3. Количество баллов по каждому разделу

Об особой ценности раздела "Техники тестирования" мы говорили. Обратите внимание, что добавился раздел восьмой "Навыки людей - построение команды", которого нет в силлабусе для тест-аналитика. Да, раздела нет, но один вопрос на экзамене есть :) Это небольшой баг, незначительный (всего 1 балл из 100 возможных). Впрочем, могу дать совет: в силлабусе за 2007 год этот  раздел 10.6 - Коммуникация, объем для прочтения - 3 обычных абзаца, и по нему будет 1 вопрос. 

Что касается остальных вопросов, то если вы будете сдавать экзамен, обратите внимание на часть 1 - "Процесс тестирования" - вопросы и ответы довольно специфичны, советую внимательно почитать и рассмотреть примеры из упомянутой книги - Rex Black "Advanced Software Testing", 2009 - Vol. 1 - Test Analyst. Очень мало, на мой взгляд, выделено на часть 7 - "Инструменты для тестирования и автоматизация". Впрочем, экзамен на Technical Test Analyst, делает акцент и углубление знаний тест-аналитика именно в этой области.

Вот мы и разобрались с вотчиной тест-аналитика, в следующей статье мы посчитаем баллы у тест-менеджера. Спасибо за внимание, и оставайтесь с Qastugama!