четверг, 15 мая 2014 г.

Посчитаем баллы. ISTQB Advanced Level Technical Test Analyst экзамен.

Завершим трилогию про ISTQB Advanced Level уровни рассказом про экзамен на технического тест-аналитика -  ISTQB Advanced Level Technical Test Analyst.

Мои предыдущие обзоры:
Первое отличие экзамена Technical Test Analyst - в регламенте. На экзамен выделяется 2 часа для native-speaker'ов, плюс time bonus 30 минут, если в вашей стране английский не является официальным языком. Итого 2 часа 30 минут, против 3 часов 45 минут на тест-аналитика или тест-менеджера. 

Соответственно, количество вопросов уменьшается: 45 вопросов вместо 65 на аналитика и менеджера. Максимальное количество баллов, которые можно получить, равно 80, проходной балл - 65 процентов от максимума, или 52 балла.

Вопросы оцениваются по-разному: вопросы уровня К2 (понимать) - 1 или 2 балла, уровня K3 (применять) - 2 балла, K4 (анализировать) - 2 или 3 балла. В вопросах, которых правильных ответов не один, а несколько (multiple choice answers), как и для всех экзаменов уровня Advanced, указано, сколько вариантов ответа являются правильными (по умолчанию, если не указано иное - только один). В multiple choice answers обычно не 4 варианта ответа, а 5, поэтому надо выбрать 2 или 3 (как указано в вопросе) из 5.

Для подготовки к экзамену на технического тест-аналитика силлабус - необходимое, но явно не достаточное условие: как и в случае с экзаменом на тест-аналитика (Test Analyst), вам понадобится дополнительная литература, и в первую очередь - по вопросам с тестированием белого ящика. Рекомендую следующие книги:
  • Rex Black, Jamie Mitchell "Advanced Software Testing Vol.3. Guide to the ISTQB Advanced Certification as an Advanced Technical Test Analyst", 2011 год - книга написана по разделам старого силлабуса Advanced Level за 2008 год. Можно читать по необходимым разделам, которые вам нужны из нового силлабуса. От начала и до конца читается тяжело: книга составлена по старому , общему для всех трех уровней Advanced, силлабусу 2007 года. Из-за этого некоторые главы и даже части глав относятся к тест-менеджеру, другие - к тест-аналитику и/или техническому тест-аналитику - поэтому книга напоминает сборник глав для прочтения без взаимосвязи  и с размытой общей картиной по всему силлабусу для всех уровней. 
  • Graham Bath, Judy McKay "The software test engineer's handbook. 
  • A Study Guide for the ISTQB Test Analyst and 
  • Technical Test Analyst Advanced Level Certificates
  • ", 2011 год. Книга написана соавторами ISTQB и очень близко к темам экзамена, с большим количеством примеров из жизни, разбором практического кейса на основе проекта в конце каждой главы. Читается легче, чем предыдущая книга, более структурирована: решена проблема единого силлабуса, вместо которого теперь 3 силлабуса, каждый отдельный для одного уровня. Больше внимания уделено нефункциональным характеристикам ПО, да и примеры покрытий (statement coverage, decision coverage, condition coverage и т.д.) разобраны очень хорошо. Темы тест-аналитика - черный ящик - тоже разобрана подробно и достаточно ясно.
А теперь давайте посмотрим на составные части силлабуса для технического тест-аналитика. Сначала посчитаем время, необходимое на подготовку к экзамену, и "вес" каждого раздела (последний силлабус тот же, за октябрь 2012 года, который можно скачать здесь) :
  • Часть 1. Задача технического тест-аналитика в тестировании, основанном на рисках - 30 минут, или 2,35%
  • Часть 2. Структурное тестирование - 225 минут, или 17,65%
  • Часть 3. Аналитические техники - 255 минут, или 20%
  • Часть 4. Качественные характеристики для технического тестирования - 405 минут, или 31,76%
  • Часть 5. Ревью - 165 минут, или 12,95%
  • Часть 6. Инструменты для тестирования, автоматизация - 195 минут, или 15,29%
  • Общее рекомендуемое время для подготовки к экзамену = 1275 минут, или 100%
Рис 1. Рекомендуемое количество времени для подготовки по каждому разделу

В отличие от экзаменов Test Analyst и Test Manager, явного раздела-фаворита не наблюдается. Нужно одинаково хорошо отвечать на вопросы по всем главам, поэтому советую обратить внимание на следующее.

Для ответа на вопросы 2 и 3 части (про структурное тестирование и аналитические техники) вам дополнительно понадобятся базовые знания языка программирования - примеры кода в вопросах написаны на С++. Часть 4 - качественные характеристики - достаточно объемная, но вопросы не очень трудные. Довольно специфичная часть 5 - Ревью: на трех страницах силлабуса информации явно недостаточно, поэтому обязательно посмотрите главу Reviews в книгах, указанных выше. Для меня этот раздел оказался самым сложным: у меня не так много опыта именно в технических ревью. А вот шестая часть по автоматизации, на мой взгляд, несложная: достаточно базовых знаний и понимания того, как организовывать этот процесс, какие грабли нужно обходить стороной.

Теперь приведу статистику по количеству вопросов в каждом разделе.
  • Часть 1. Задача технического тест-аналитика в тестировании, основанном на рисках - 2 вопроса, или 4,44%
  • Часть 2. Структурное тестирование - 9 вопросов, или 20,00%
  • Часть 3. Аналитические техники - 7 вопросов, или 15,56%
  • Часть 4. Качественные характеристики для технического тестирования - 12 вопросов, или 26,67%
  • Часть 5. Ревью - 5 вопросов, или 11,11%
  • Часть 6. Инструменты для тестирования, автоматизация - 10 вопросов, или 22,22%
  • Всего 45 вопросов, или 100%
Рис 2. Количество вопросов по каждому разделу

И, наконец, статистика по количеству баллов для технического тест-аналитика. 
  • Часть 1. Задача технического тест-аналитика в тестировании, основанном на рисках - 2 балла, или 2,50%
  • Часть 2. Структурное тестирование -17 баллов, или 21,25%
  • Часть 3. Аналитические техники - 13 баллов, или 16,25%
  • Часть 4. Качественные характеристики для технического тестирования - 24 балла, или 30,00%
  • Часть 5. Ревью - 13 баллов, или 16,25%
  • Часть 6. Инструменты для тестирования, автоматизация - 11 баллов, или 13,75%
  • Общее количество = 80 баллов, или 100%
Рис 3. Количество баллов по каждому разделу

На этом я завершаю обзор, если есть вопросы по экзаменам ISTQB Advanced Level - спрашивайте в форуме или пишите мне. Можете спрашивать как про сам экзамен, так и про разделы силлабуса. В Advanced Level очень много интересных вещей, к которым можно обращаться на своей практике, делиться в статьях и на конференции. Вполне возможно, что продолжение и по мотивам наиболее интересующих вас вопросов следует. Спасибо за внимание, оставайтесь с Qastugama!

4 комментария:

  1. что проще сдавать test analyst или technical test analyst?

    ОтветитьУдалить
    Ответы
    1. субъективно, технического тест-аналитика мне было сдавать проще.

      Возможно, потому что в техническом тест-аналитике много задачек по коду на С++, на котором я начинал работу в ИТ программистом.

      Да и по времени (3 часа 45 минут у ТА против 2 часов 30 минут у ТТА), и по количеству вопросов (65 и 45 соответственно), технический тест-аналитик будет полегче.

      Где-то видел статистику (найду ссылку - добавлю к ответу), что и общий процент сдавших тест-аналитика ниже, чем процент сдавших ТМ и ТТА.

      Удалить
  2. Андрей, как считаете, трудно ли будет сдать ТТА если нет опыта программирования на С++, но был когда-то давно базовый курс в университете?

    ОтветитьУдалить
    Ответы
    1. Никита, все зависит от курса в университете. Если это был курс Java или C, тогда достаточно.

      Если нет - тут посложнее. Я бы попробовал порешать тестовые задания с сайта ISTQB, попробовать "прочитать" примеры кода. Если трудно - тогда надо брать книжку по С++ (покороче, чтобы быстрее вникнуть, достаточно знаний базовых операторов + выделение памяти) и читать.

      Удалить