Книжная полка. Rex Black, Leo van der Aalst, James L. Rommens "The Expert Test Manager"

Сегодня на книжной полке будет профильный обзор книги по тест-менеджменту, которую я рассматриваю не как этап для подготовки к экзамену ISTQB Expert Level Test Management, а как книгу для руководителя отдела тестирования - Rex Back, Leo van Der Aalst, James Rommens "The Expert Test Manager".

Да, книга позиционируется как "Guide to the ISTQB Expert Level Certification", но экспертный уровень имеет ограничения:

• срок действия ограничен 5 годами, дальше - подтверждать или набирать баллы
• цена экзамена 650 евро + поездка сдавать в другую страну (я нашел ближайший вариант в Германии компании Gasq и не нашел ни одного варианта сдачи экзамена онлайн)

Поэтому, несмотря на репутационные и другие плюсы экспертного сертификата, плюсы пригодятся консультанту по тестированию глобально, и на 5 лет. Поэтому, если надо по работе (заказчик или партнер требует подтверждения высшего уровня) или вы консультируете проекты, которые запрашивают награды и достижения, имеет смысл подумать о сертификате. Для руководства отделом тестирования и консультирования в нашем регионе смысла сдавать данный сертификат пока не вижу.

Вернемся к книге, она хороша и без необходимости проходить сертификацию. Разберем структуру и главы, и сделаем выводы.

Технико-тактические характеристики:

Год издания: 2017 ( "Rocky Nook")

Страниц: 500

Скорость чтения - 3 из 5 (средняя)

Время на прочтение:  12-18 часов
Полезность - 4 из 5 (выше средней)

Силлабус экспертного тест менеджера, состоит из 3 больших тем, разбитых на части-главы из книги Рекса Блэка:

1. Стратегический менеджмент
• Миссия, политики, стратегия и цели
• Оценка эффективности и действенности (метрики эффективности, действенности, удовлетворенности клиента)
• Управление в организации (интеграция инструментов, управление качеством и тестирование)
• Управление внешними связями
• Доменные и проектные факторы
2. Операционный тест-менеджмент
• Управление внешними связями
• Основы проектного менеджмента
• Оценка и отчетность тестирования в проекте
• Доменные и проектные факторы (релизы)
• Оценка эффективности и действенности (ретроспективы)
3. Управление командой тестирования
• Построение, развитие и управление командой
• Управление тестированием в организации: защита команды тестирования, место команды тестирования в организации, построение внешних взаимоотношений со стейкхолдерами, этические моменты)

Мы видим, что есть перекрытие по темам главы. Например, доменные и проектные факторы, управление внешними связями, оценка эффективности и действенности относятся одновременно к блокам 1 и 2 (стратегический менеджмент и операционный тест-менеджмент), а управление внешними связями - к блокам 1 и 3. Все главы и взаимосвязи с частями я объединил в таблице.

Глава книги | Тема ISTQB EL	Стратегический менеджмент	Операционный тест-менеджмент	Управление командой
1. Миссия тестирования, политики, стратегии и цели
2. Управление командой тестирования
3. Управление внешними связями
4. Управление в организации
5. Основы проектного менеджмента
6. Оценка тестового проекта, отчетность
7. Доменные и проектные факторы, влияющие на тестирование
8. Оценка эффективности и действенности

Пример. Если изучаете только стратегический менеджмент - читайте главы, выделенные зеленым: 1, 3, 4, 7 и 8.

Первая глава "Миссия тестирования, стратегия и цели" начинается с определения миссии, политики (policy) - почему мы тестируем, стратегии - как мы тестируем. По Рексу Блэку, тестовая стратегия может включать следующие разделы: 

• техники анализа и документации тестовых спецификаций, как генерируются тесты
• Объем и независимость тестирования
• Тестовые окружения
• Тестовые данные
• Автоматизация
• Регрессионное тестирование
• Нефункциональное тестирование
• Управление конфигурациями
• Контроль процесса тестирования
• Метрики тестирования и отчетность
• Управление дефектами>
• Инструменты
• Стандарты
• Интеграционное тестирование

Далее переходим к тестовым стратегиям: аналитическим, реактивным, на основе модели, методическим, консультационным, на основе стандартов, автоматизации. Все перечисленные и следующие определения смотрите в силлабусе тест-менеджера. И заканчивается глава взаимосвязью и выравниванием тестовой политики с тестовой стратегией.

Вторая глава "Управление командой тестирования" рассказывает об управлении командой тестирования, начиная от построения команды - найм, описание вакансии, чтение резюме, собеседование, выбор, онбординг в команду и увольнение. В каждом этапе автор дает список вопросов или пунктов, на которые надо обратить внимание, и приводит практические рекомендации. Например, некоторые из них:

• в описании вакансии - не использовать описание вакансии другой позиции (например, разбавлять вакансию разработчика навыками тестировщика)
• в собеседовании - использовать несколько раундов интервью, смешанную команду собеседующих. Во время собеседования обращать внимание не только на технические наыки и навыки тестирования плюс релевантный опыт, но и навыки решения проблем, наличие критического мышления, коммуникационные навыки, командная работа, любознательность
• в увольнении - действовать в зависимости от причины: плохая личная производительность, изменение бизнес-фокуса или процесса, закрытие бизнеса. При плохой личной производительности - документировать проблемы, обратиться в HR-отдел

"Как тест-менеджер, поддерживать развитие недостаточно, требуйте." Развитие команды в книге включает: 

• индивидуальное развитие (тренинги, книги, самообучение, курсы-университеты, применение новых навыков на практике), 
• постановка целей (цели по SMART на ближайший период - полгода-год, групповые цели), 
• использование навыков (делятся на профессиональные, технические, бизнес-доменные и навыки тестирования) 
• оценка не только индивидуальных навыков, но и групповых (чего не хватает всей команде)
• роли в команде (использование матрицы RACI и типологии Майерс-Бриггс)
• тренинги и менторство
• оценка производительности и обратная связь (360-ревью).

"Лидство" команды тестирования включает:

• обмен информацией и коммуникация (какие митинги и для чего использовать)
• поощрения лояльности и доверия
• тим-билдинг
• мотивация команды
• управление удаленными командами

Третья глава "Управление внешними связями" рассматривает внешние связи и влияние на команду: например, если разработка полностью или частично выполняется другой компанией, если тестирование выполняет другая команда, если вы выполняете только "внутреннее" тестирование того, что сами разработали. Также рассказывается о контрактных проблемах, стратегиях коммуникации, использование компонент, разработанных третьим участником и сочетанием тестовых стратегий. Заканчивается глава примером формулировки входных и выходных критериев для каждого уровня тестирования, когда разрешено переходить к следующему уровню тестирования - бывает полезным составить такую таблицу не только для нескольких компаний, но и внутри своей компании.

Четвертая глава "Управление в организации" (Managing Across the Organization) описывает взаимодействие отдела тестирования с другими отделами. Это самая большая глава книги (68 страниц), которая включает и стратегические, и операционные аспекты. К стратегическим относятся: интеграция инструментов в организации, система контроля качества и тестирование. К операционным - типы внешних взаимодействий, контрактные вопросы, стратегии коммуникаций. Некоторые выдержки из главы:

• работа тест-менеджера включает промоушн команды тестирования и её ценности в организации
• роль тест-менеджера включает "защиту" команды тестирования и расширение ее роли
• тест-менеджер всегда должен находить пути, чтобы позиционировать тестирование как конструктивное и приносящее ценность
• четыре элемента маркетинга и "продажи" тестирования - демострировать преимущества, подчеркивать успех, сообщать о предстоящих изменениях, признавать и исправлять ошибки
• пять элементов поддержки уровня группы тестирования (как в оригинале, без перевода): adequately staffed, well-trained, properly resourced, well-informed, respected
• три элемента "защиты" команды - открытые коммуникации, хорошая документация, сильные процессы
• независимость (группы тестирования) означает, что цепочка отчетности команды тестирования ведет к высшему или исполнительному руководству, а не к продуктовым, проектным, программным или операционным менеджерам
• построение отношений, идеи - общие обеды, приглашение стейкхолдеров на общие митинги, празднование успехов

Пятая глава "Основы проектного менеджмента" включает его основы и обзорно описывает:

• Задачи проектного менеджмента: эстимации (техники) и факторы влияющие на них, составление расписания, управление бюджетом и ресурсами, управление проектом и метрики (количество спроектированных тестов, цена качества, эффективность тестирования, количество найденных VS ожидаемых дефектов, прогресс выполнения тестов), треугольник качества, управление изменениями, управление временем
• Управление проектными рисками
• Система менеджмента качества и тестирование (QM = QA + QC)

Шестая глава "Оценка тестового проекта, отчетность" начинается с формулировки и различия понятий метрик, шкалы измерения, измерения. Далее идут требования к метрикам: объективность, информативность, понятность, простота сбора данных, и затем - перечисление самих метрик. Внешняя отчетность включает:

• дэшборды, показывающие текущий статус по тестам и по дефектам
• отчеты по ресурсам и бюджету
• таблица митигации рисков
• таблица покрытия тестами
• тренды по дефектам
• индикаторы здоровья проекта ("светофор" - зеленый-желтый-красный)
• прогнозирующие метрики
• рекомендации "go-no go"

Далее приводятся метрики по каждой из фаз проекта по ISTQB: планирование и контроль, анализ и дизайн, внедрение и выполнение, оценка критерия выхода и отчетность, активности по завершению тестирования.

Седьмая глава "Доменные и проектные факторы, влияющие на тестирование" начинает рассказ с моделей жизненного цикла, их влияния на тестирования, преимуществ каждой из них: от каскадной модели до гибких методологий. Далее Рекс Блэк рассказывает о влияние на тестирование в "неполных" (partial) проектах: интеграции, сопровождении, проектах связанных с тестированием "железа" и embedded проектах, проектах, связанных с жизнью людей (safety lifecycle projects).

Восьмая глава "Оценка эффективности и действенности" перечисляет метрики, позволяющие "посчитать" эффективность, действенность, и рассказывает, как составить опросник (survey) для стейкхолдеров. Заканчивается глава обзором проведения ретроспективы проекта.

Как и любая "сертификационная" обзорная литература, еще и на не родном английском языке, читается книга не меньше месяца с перерывами на осмысление. Если вы хотите "сократить" и взять только нужное здесь и сейчас, обратитесь к таблице выше, выберите один блок и читайте выборочно выделенные главы. Если вы работаете независимым тест-менеджером в компании, то рекомендую читать книгу от начала до конца: и работа с командой, и операционный тест-менеджмент, и стратегический менеджмент - ваши задачи.

Вывод: Обстоятельная, обзорная, книга с примерами из практики тест-менеджера - руководителя отдела, полезна любому начинающему и продолжающему строить отдел тестирования. При обзорности, свойственной книге по сертификации, нюансы каждой темы учтены и описаны, для более глубоких нюансов (например, в управлении проектами) необходимы специализированные книги. В книге есть вопросы с разбором и ответами из экзамена ISTQB EL Test Management, для знакомства и самопроверки. Рекомендую читать и планировать свой todo-лист по рекомендациям в книге, если вы возглавили отдел тестирования в компании.