BBST: Foundations - обзор курса

Как я уже говорил и обещал, в апреле-мае я закончил онлайн-обучение по курсу BBST: Foundations. На днях мне пришло письмо об успешном окончании курса и диплом, и теперь я могу с полным правом выполнить свое обещание: написать о курсе подробнее.

Ранее я уже публиковал перевод статьи Сэма Канера "Неудача Udacity", об онлайн-образовании, о том, как сделать его более эффективным, что для этого необходимо. Мне было интересно сопоставить мнение Канера с тем, как он решал проблемы, обозначенные в статье, в своих онлайн-курсах.

BBST: Foundations - первый из серии курсов серии Сэма Канера, рассказывает, как ясно из названия, о базовых вещах в тестировании. Обязателен для прохождения, если вы планируете изучать следующие курсы. На текущий момент "следующими" ступенями являются курсы:

• BBST: Bug Advocacy - оттачиваем навыки написания баг-репортов: начиная от определений бага, дефекта, жизненного цикла отчета, воспроизведения и исследования бага до написания хорошо структурированного отчета;
• BBST: Test Design - от определения тест-дизайна и техник до их практического применения и эвристической модели тестовой стратегии (Heuristic Test Strategy Model)
• BBST: Instructor Course - для тех, кто хочет стать инструкторами курсов BBST, либо для компании, либо как независимый консультант. 

Стоимость курса BBST: Foundations - 125 долларов + будет необходимо оплатить членский взнос за вступление в AST - сообщество (насколько я помню, это 20$ за год как студент). Курсы по Bug Advocacy и Test Design стоят уже 200 долларов, а курс инструкторов - бесплатный.

Курс длится 4 недели: 3 недели на темы + 1 неделя на подготовку и сдачу экзамена.  Рекомендуемое время для изучения - 12-14 часов в неделю. По своему опыту скажу, что у меня где-то так по времени и получалось. Одна деталь: это число "чистых" часов, без отвлечений. Желательно распланировать загрузку более равномерно в течение всей недели. Так как тем в курсе шесть, то получается по 2 темы на семь дней.

Темы курса BBST: Foundations:

• Общий обзор курса и базовые понятия (компьютерная программа, баг, тестирование ПО, "ящики", виды тестирования и т. д.);
• Стратегия тестирования (определение тестирования, миссия, цели тестирования, стратегия, дизайн, контекст, техники);
• Использование эвристик и оракулов (определения оракулов, тестируемой системы, эвристик и их оценки, оракулы соответствия и оракулы Хоффмана)
• Основы программирования и покрытие (вычисления, системы счисления, представления чисел в памяти, типы переменных, структуры данных, покрытия состояний и ветвей
• Невозможность полного тестирования (покрытие, полное тестирование и примеры его невозможности
• Измерения (основы измерений, параметры измерений, модель Вейбулла, искажения и дисфункции

Для курса вам понадобится достаточно хороший английский (мое мнение, не ниже уровня Intermediate - B1) - для чтения литературы, понимания лекций, комментирования своих и чужих ответов. В моей группе было 2 индуса, один белорус (это я), немец, португалец, остальные 12 человек - native-speaker'ы (UK, US, Canada, New Zealand). Так что только с "Ландан из зэ кэпитал оф Грэйт Бритэйн" и гугл-транслейтом будет тяжеловато.

Курс включает в себя:

• Лекции (доступны в бесплатном доступе - http://www.testingeducation.org/BBST/foundations/);
• Презентация - одна на весь курс, тоже в бесплатном доступе с лекциями;
• Материал для чтения: обязательный и дополнительный. Я прочитал весь обязательный, дополнительный - что больше было для меня актуально на тот момент.
• Тесты для самопроверки (quiz) - всего их 5, по одному к каждой теме. Для ответов можно пользоваться чем угодно (open book), авторы курса советуют проходить тест параллельно с просмотром лекций для лучшего понимания и закрепления материала. Каждый тест имеет жесткий дэдлайн, после которого ответы не принимаются и тест считается не пройденным.
  Всего в каждом тесте порядка 10-12 вопросов, ответы с множественным выбором. Интересная схема оценки правильности ответа: полностью правильный ответ - 1 балл, частично правильный (если в вашем ответе выделенные ответы являются правильными, но ответ не полон. Например, если вы выбрали варианты A и B, а в правильном ответе должны быть варианты A, B, C, то ваш ответ будет частично правильным), то вы получите 0.25 балла, во всех других случаях (неправильный ответ или даже "частично неправильный") вы получаете 0 баллов за вопрос.
  Еще один усложняющий момент теста - вы должны отвечать "According to the lecture", как хотите. В общем, у меня редко получалось набрать в тесте больше 70% от максимума.
• Домашние задания: упражнения, которые нужно выполнить перед просмотром лекции (для того, чтобы оценить свой текущий уровень знаний и сравнить его с тем, что вы услышите на лекциях), командные задания (работа в группе из 4-5 человек по заданной теме, обсуждение в форуме, общий результат обсуждения оформляется в Вики), оценка работы коллег и других команд (peer evaluation). Именно командная работа и оценки коллег - одна из самых сильных частей данного курса. Небольшая ложка дегтя - хотелось бы еще больше фидбэка от инструкторов курса. Комментарии инструкторов есть, но их мало.
• Вопросы для тренировки перед экзаменом: 10 "коротких" и 10 "длинных" (в зависимости от объема ответа, который от вас требуется: например, короткий - это пару абзацев, длинный - развернутое эссе, порядка 5 абзацев). Это отличная возможность поупражняться в своих ответах, оценить других и самому получить оценку.
• Итоговый экзамен (Closed Book Exam - ничем нельзя пользоваться, так обучение онлайн, конечно, никто над вами не стоит, но если вас заподозрят в списывании - курс засчитывается как Failed без возможности пересдачи). Экзамен состоит из 3 "длинных" и "коротких" случайных вопроса из пула вопросов для тренировки перед экзаменом. Очень важно отвечать на вопрос кратко и по существу, не отвлекаясь на то, что не спрашивается в вопросе, так как это трактуется как неумение выделить только самое главное и/или незнание, а вследствие - желание написать все подряд "для объема". Лучше отвечать меньше, но качественнее, при этом вы должны показать, что поняли тему вопроса и знаете то, о чем пишете.
  После итогового экзамена, вы будете должны оценить работы 2 коллег, а также поставить себе оценки за каждый вопрос. 

У домашних заданий и тестов установлены дэдлайны, поэтому желательно, конечно, позаботиться о том, чтобы у вас было как минимум время и онлайн-доступ с возможностью работать с материалом (особенно актуально летом в период отпусков). Так как есть групповые домашние задания, то из-за разницы в часовых поясах лучше работать оперативно, не откладывать все на последний вечер.

Из 12 рекомендованных часов у меня выходило порядка 2-4 часов на теорию (лекции + материалы) и тест по теме, остальные 8-10 часов - на домашние задания. По этим данным можете судить сами, насколько курс Foundations практический.

В целом, курс однозначно стоит порекомендовать тем, кто уже обладает некоторым опытом в тестировании: вы получите структурированные знания, расширите свой кругозор и примените это сначала на практике в домашних заданиях, а затем и на проекте. На мой взгляд, это лучший курс как баланс между теорией и практикой. Сам рекомендую данный курс, и ставлю в свой дальнейший план прохождение курсов Bug Advocacy и Test Design.

На этом все. Если есть еще вопросы по BBST - пишите в комментариях, отвечу.

Хэб Схотс "Эвристики для распознания тестировщиков-профессионалов" - перевод

Продолжаю серию переводов статей по тестированию. Статья Хэба Схотса расскажет вам об эвристиках для распознавания тестировщиков-профессионалов. Если вас интересует данная тема, из самого свежего также порекомендую доклад Алексея Лянгузова "Успешный тестировщик. Путь профессионала" на SQA Days-15, о котором я писал в обзоре первого дня конференции.

Ссылка на оригинал  -  http://www.huibschoots.nl/wordpress/?p=1666
Формат текста (выделение терминов, курсив, цитирование) и ссылки на другие статьи из текста взяты с оригинала "как есть".

Helena Jeret-Mae задала вопрос в твиттере: "Какие ваши критерии профессионализма тестировщиков и CDT-комьюнити?" Позже в емейле она уточнила свой вопрос: "Обновленная версия моего вопроса: какие по-вашему мнению существуют эвристики распознавания профессионального тестировщика? Я заменила "критерии" на "эвристики", этот термин менее категоричный. И я оставила термин "профессионализм" на ваше усмотрение - я не знаю точно, что вы подразумеваете под ним".

В своем выступлении "Как стать великолепным тестировщиком" на конференции ContextCopengagen в январе 2014 года я говорил о тестировщиках и их навыках. Я говорил, что многие тестировщики не знают, что они делают, и не могут доходчиво объяснить, какую ценность они вносят в проект. Я повидал много тестировщиков, которые раз за разом используют один и тот же подход. Если я спрашиваю, какие тестовые техники им известны, они называют совсем немного. Если я прошу их объяснить мне техники или показать, как они работают, у них нет ответа. Для меня это шок, и я не могу объяснить, почему тестировщики, называющие себя профессионалами, знают так мало про свое ремесло и совсем не обучаются ему.

Вот почему я делаю различие между тестировщиками-профессионалами (которых я считаю очень мало) и тестировщиками по профессии. Конечно, я знаю и понимаю, что всегда будут люди с менталитетом "с 9 утра до 5 вечера", которые не читают книги или блоги и которые только хотят проходить курсы, если начальство их оплачивает. Я принимаю это как данность, но это не значит, что я хочу работать с такими тестировщиками!

Но достаточно разглагольствований, давайте я отвечу на вопрос.

Профессионализм - это быть профессионалом и быть в курсе ожиданий от профессионала. Професииональное тестирование сложное и многообразное, оно имеет несколько измерений: знания, навыки, опыт, отношение, этика и ценности. Я написал пост в своем блоге "Что делает тестировщика хорошим" в 2011-м году на эту тему, и сейчас мне есть что добавить, хотя все, что я написал тогда, тоже верно. В моих более ранних постах я не упоминал ценности и этику, и сейчас я нахожу их крайне важными. Джеймс Бах написал о них в заметке "Размышления об этике в тестировании" и "темы Быстрого Тестирования", которые упоминаются на слайдах презентации "Быстрое тестирование ПО".

Довольно трудно распознать профессионального тестировщика. Каждый тестировщик уникален и имеет неповторимые черты характера. Проекты тоже разные, и чтобы быть успешным в поиске походящего тестировщика-профессионала для вашего проекта, одни характеристики будут более важными, чем другие. Можно вспомнить много характеристик, поэтому чтобы распознавать хорошего тестировщика, я буду использовать эвристики. Эвристики - методы, подверженные ошибкам, предназначенные для решения проблем или принятия решений, наиболее рациональные способы для упрощения сложной проблемы или эмпирические правила.Они используются для определения  достаточно хороших способов решения за разумное время. В Википедии я нашел такое определение: "Эвристики - техники, основанные на опыте, для решения проблем, обучения, открытий, которое не обязательно будет наилучшим. Там, где полный поиск непрактичен, эвристические методы используются для ускорения процесса поиска удовлетворяющего решения благодаря ментальным образам для уменьшения когнитивной нагрузки при принятии решений."

Мои эвристики для того, чтобы распознать тестировщиков-професионалов:

1. У них есть парадигма тестирования, и они могут объяснить свой подход в той или иной ситуации.
Профессиональные тестировщики могут объяснить, что такое тестирование, какую ценность они приносят и как они будут тестировать в данной ситуации.

2.  Они действительно любят то, что они делают, и увлечены своим ремеслом.
Тестирование - трудная вещь, и чтобы быть успешным, тестировщику необходимо быть упорными в обучении и в своей работе. Страсть помогает им стать настоящими профессионалами. Посмотрите это видео, в котором Стив Джобс говорит о страсти.

3. Они постоянно и в первую очередь учитывают контекст.
Чтобы быть эффективным, тестировщики должны выбрать цели тестирования, техники и, в первую очередь, посмотреть  на детали конкретной ситуации. Они признают, что нет "лучших практик", есть только хорошие практики в данном контексте.

4. Они рассматривают тестирование как человеческую активность для решения комплексных и трудных проблем, которая требует хороших навыков.
Тестировщики признают, что тестирование - не техническая профессия. Тестирование включает в себя знания из социальных наук, так как программное обеспечение разрабатывается людьми для людей.

5. Они знают, что разработка и тестирование ПО - командный вид спорта.
Ключ к сотрудничеству - становиться все более эффективным и продуктивным в тестировании. Разработка ПО  - командный спорт: люди, работающие вместе, наиболее важная часть любого контекста проекта. Тестировщик-профессионал знает, как работать с разработчиками и другими участниками проекта в любой ситуации.

6. Они знают, что все может быть по-другому.
Тестировщики-профессионалы используют эвристики, практическое критическое мышление, которые и являются эмпирическим. Они знают, что время для тестирования ограничено, системы становятся все более сложными и помнить обо всем трудно. Поэтому эвристики являются очень полезными "инструментами" для тестировщиков. Они также знают, что собственные предубеждения и логические ошибки могут обмануть их. Они практикуют критическое мышление, чтобы уверенно и вдумчиво работать в трудных и сложных ситуациях. Тестировщики должны признавать и работать с неопределенностью, возможными специфичными результатами и неполными ответами.

7. Они задают вопросы, прежде чем cделать что-либо.
Тестирование зависит от многих вещей, и от видимого нам контекста. Что такое информация, которую мы должны найти? Что такое миссия тестирования? Это можно легко проверить, если дать тестировщику упражение на интервью. Если он или она начинает работу над упражнением или отвечает, не задавая вопросы, это о чем-то говорит.

8. Они используют разнообразные подходы.
Не существует подхода или техники, которая найдет все виды багов и выполнит все цели тестирования. Различные техники находят различные баги. Для того, чтобы найти баги, тестировщики должны знать много техник и подходов. Для этого нужны тренировки, практика и еще раз практика.

9. Они знают, что эстимации (оценки) - это переговоры.
Обратите внимание на эти статьи в блоге Майкла Болтона:

• Быстрый путь оценки тестирования проекта
• Оценка тестирования - это переговоры
• Почему тестирование занимает так много времени
• Проектные оценки и черные лебеди

10. Они используют тест-кейсы и тестовую документацию с умом.
Контекст определяет, какую тестовую документацию вы должны создать и какой вид документации полезен. Совсем недавно отличная (и объемная) статья Джеймса Баха и Аарона Ходдера была опубликована в Testing Trapeze "Тест-кейсы не тестируют: на пути к культуре производительности тестирования". Также Фиона Чарльз поделилась своими интересными мыслями о тестовой документации в статье "Разрушаем Тиранию Форм".

11. Они непрерывно изучают свое ремесло, много тренируются и практикуют "осознанную практику".
Осознанная практика - структурированная активность с целью улучшения производительности. Андерс Эрикссон выделяет четыре основные компоненты осознанной практики. Она должна быть намеренной, направленной на улучшение производительности, предназначенной для вашего текущего уровня квалификации, сочетающая мгновенную обратную связь и повторения.

12. Они отказываются делать работу плохо, никогда не мошенничают, имеют мужество, чтобы сказать своим клиентам и коллегам о своих ценностях и этике.
Тестирование часто недооценивается, и многие уверены, что "любой может тестировать". В моих командах были опытные менеджеры проектов, которые говорили мне как работать. Профессиональные тестировщики знают как сдвинуть сроки и могут объяснить, почему они делают то, что делают.

13. Они любознательны и любят изучать новые вещи.
Тестировщики получают удовольствие от выяснения сути вещей. О любознательном поведении хорошо написал Гай Мейсон: "Любознательный ум можно описать как активный, вовлеченный, пытливый. Такой склад ума часто находится в поисках новой информации, получает удовольствие от исследований того, что есть и наслаждается процессом, сопровождающим процесс достижения этой цели".

14. Они могут обладать нижеперечисленными навыками межличностного общения. Как я упоминал ранее, от контекста зависит, какие навыки наиболее важны.

• Письменные навыки (отчетности, сообщения, краткие сообщения)
• Коммуникативные навыки (умение слушать, рассказывать истории, готовить презентации, умение говорит "нет", устный отчет, умение аргументировать и договариваться)
• Социальные и эмоциональные навыки (эмпатия, умение вдохновлять, нетворкинг, управление конфликтами и консалтинг)
• Навыки решения проблем
• Навыки принятия решений
• Навыки обучения и изучения
• Быть проактивным и уверенным в себе

15. Они великолепно владеют навыками тестировщика:

• Навыки мышления (критическое, латеральное, креативное, системное мышление)
• Аналитические навыки
• Моделирование
• Анализ рисков
• Планирование и оценка
• Умение применять различные тестовые техники
• Исследование
• Проектирование эксперимента
• Наблюдение

В приложении "Динамика исследовательского тестирования" к документу "Быстрое тестирование ПО" вы можете найти списки навыков.

16. Они обладают достаточными техническими навыками.
Есть много технических навыков, которыми должен обладать тестировщик, к примеру уметь использовать тулы, обладать навыками кодирования или желанием изучать техническую структуру приложения, которое он тестирует. Навыки автоматизации, такие как написание скриптов, знание SQL для работы с базами данных, быть способным сконфигурировать и установить ПО. знания и навыки работы с платформой, на которую устанавливается тестируемая система (Windows, Linux, мобайл, и т.д.)

Возможно, это список не полон. Вполне может быть, что я допустил ошибки. Поэтому, если хотите внести свою лепту или улучшить список, пожалуйста, дайте мне знать. Также я хочу сказать, что быть профессионалом не означает быть экспертом во всех упомянутых навыках. Если хотите узнать больше про уровень эксперта, советую посмотреть модель Дрейфуса. Настоящий профессионал знает, что он или она может сделать и когда надо попросить о помощи. Они не боятся учиться и не боятся сделать ошибку. Я считаю, это должен быть семнадцатый пункт в списке эвристик.

Между прочим, я погуглил запрос "кодекс этики тестирования ПО" и обнаружил Кодекс Этики ISTQB для тестировщиков-профессионалов. Мне интересно, знают ли о нем люди, которые сдавали экзамен И, что более важно, используют его в своей практике. А вы используете?

Хэб Схотс, 23 марта 2014 года.

P.S. Для дальнейшего улучшения качества переводов буду рад редакторской помощи: вы получите первым вариант статьи и сможете внести свои улучшения перед окончательной публикацией в блоге. Вы также будете включены в список благодарностей под каждым переводом со ссылкой (если пожелаете) на ваш профайл или сайт.
Если вы обладаете хорошим английским и русским, видите несовершенства данного перевода и желаете сделать будущие переводы лучше - пишите мне - www.google.com/+ЛадутькоАндрей

Посчитаем баллы. ISTQB Advanced Level Technical Test Analyst экзамен.

Завершим трилогию про ISTQB Advanced Level уровни рассказом про экзамен на технического тест-аналитика -  ISTQB Advanced Level Technical Test Analyst.

Мои предыдущие обзоры:

• Advanced Level - общая информация - http://qastugama.blogspot.com/2013/11/istqb-advanced-level-general-info.html
• Advanced Level Test Analyst - http://qastugama.blogspot.com/2013/11/istqb-al-ta-points.html
• Advanced Level Test Manager - http://qastugama.blogspot.com/2013/11/istqb-al-tm-points.html

Первое отличие экзамена Technical Test Analyst - в регламенте. На экзамен выделяется 2 часа для native-speaker'ов, плюс time bonus 30 минут, если в вашей стране английский не является официальным языком. Итого 2 часа 30 минут, против 3 часов 45 минут на тест-аналитика или тест-менеджера. 

Соответственно, количество вопросов уменьшается: 45 вопросов вместо 65 на аналитика и менеджера. Максимальное количество баллов, которые можно получить, равно 80, проходной балл - 65 процентов от максимума, или 52 балла.

Вопросы оцениваются по-разному: вопросы уровня К2 (понимать) - 1 или 2 балла, уровня K3 (применять) - 2 балла, K4 (анализировать) - 2 или 3 балла. В вопросах, которых правильных ответов не один, а несколько (multiple choice answers), как и для всех экзаменов уровня Advanced, указано, сколько вариантов ответа являются правильными (по умолчанию, если не указано иное - только один). В multiple choice answers обычно не 4 варианта ответа, а 5, поэтому надо выбрать 2 или 3 (как указано в вопросе) из 5.

Для подготовки к экзамену на технического тест-аналитика силлабус - необходимое, но явно не достаточное условие: как и в случае с экзаменом на тест-аналитика (Test Analyst), вам понадобится дополнительная литература, и в первую очередь - по вопросам с тестированием белого ящика. Рекомендую следующие книги:

• Rex Black, Jamie Mitchell "Advanced Software Testing Vol.3. Guide to the ISTQB Advanced Certification as an Advanced Technical Test Analyst", 2011 год - книга написана по разделам старого силлабуса Advanced Level за 2008 год. Можно читать по необходимым разделам, которые вам нужны из нового силлабуса. От начала и до конца читается тяжело: книга составлена по старому , общему для всех трех уровней Advanced, силлабусу 2007 года. Из-за этого некоторые главы и даже части глав относятся к тест-менеджеру, другие - к тест-аналитику и/или техническому тест-аналитику - поэтому книга напоминает сборник глав для прочтения без взаимосвязи  и с размытой общей картиной по всему силлабусу для всех уровней. 
• Graham Bath, Judy McKay "The software test engineer's handbook. 
• A Study Guide for the ISTQB Test Analyst and 
• Technical Test Analyst Advanced Level Certificates
", 2011 год. Книга написана соавторами ISTQB и очень близко к темам экзамена, с большим количеством примеров из жизни, разбором практического кейса на основе проекта в конце каждой главы. Читается легче, чем предыдущая книга, более структурирована: решена проблема единого силлабуса, вместо которого теперь 3 силлабуса, каждый отдельный для одного уровня. Больше внимания уделено нефункциональным характеристикам ПО, да и примеры покрытий (statement coverage, decision coverage, condition coverage и т.д.) разобраны очень хорошо. Темы тест-аналитика - черный ящик - тоже разобрана подробно и достаточно ясно.

А теперь давайте посмотрим на составные части силлабуса для технического тест-аналитика. Сначала посчитаем время, необходимое на подготовку к экзамену, и "вес" каждого раздела (последний силлабус тот же, за октябрь 2012 года, который можно скачать здесь) :

• Часть 1. Задача технического тест-аналитика в тестировании, основанном на рисках - 30 минут, или 2,35%
• Часть 2. Структурное тестирование - 225 минут, или 17,65%
• Часть 3. Аналитические техники - 255 минут, или 20%
• Часть 4. Качественные характеристики для технического тестирования - 405 минут, или 31,76%
• Часть 5. Ревью - 165 минут, или 12,95%
• Часть 6. Инструменты для тестирования, автоматизация - 195 минут, или 15,29%
• Общее рекомендуемое время для подготовки к экзамену = 1275 минут, или 100%

Рис 1. Рекомендуемое количество времени для подготовки по каждому разделу

В отличие от экзаменов Test Analyst и Test Manager, явного раздела-фаворита не наблюдается. Нужно одинаково хорошо отвечать на вопросы по всем главам, поэтому советую обратить внимание на следующее.

Для ответа на вопросы 2 и 3 части (про структурное тестирование и аналитические техники) вам дополнительно понадобятся базовые знания языка программирования - примеры кода в вопросах написаны на С++. Часть 4 - качественные характеристики - достаточно объемная, но вопросы не очень трудные. Довольно специфичная часть 5 - Ревью: на трех страницах силлабуса информации явно недостаточно, поэтому обязательно посмотрите главу Reviews в книгах, указанных выше. Для меня этот раздел оказался самым сложным: у меня не так много опыта именно в технических ревью. А вот шестая часть по автоматизации, на мой взгляд, несложная: достаточно базовых знаний и понимания того, как организовывать этот процесс, какие грабли нужно обходить стороной.

Теперь приведу статистику по количеству вопросов в каждом разделе.

• Часть 1. Задача технического тест-аналитика в тестировании, основанном на рисках - 2 вопроса, или 4,44%
• Часть 2. Структурное тестирование - 9 вопросов, или 20,00%
• Часть 3. Аналитические техники - 7 вопросов, или 15,56%
• Часть 4. Качественные характеристики для технического тестирования - 12 вопросов, или 26,67%
• Часть 5. Ревью - 5 вопросов, или 11,11%
• Часть 6. Инструменты для тестирования, автоматизация - 10 вопросов, или 22,22%
• Всего 45 вопросов, или 100%

Рис 2. Количество вопросов по каждому разделу

И, наконец, статистика по количеству баллов для технического тест-аналитика. 

• Часть 1. Задача технического тест-аналитика в тестировании, основанном на рисках - 2 балла, или 2,50%
• Часть 2. Структурное тестирование -17 баллов, или 21,25%
• Часть 3. Аналитические техники - 13 баллов, или 16,25%
• Часть 4. Качественные характеристики для технического тестирования - 24 балла, или 30,00%
• Часть 5. Ревью - 13 баллов, или 16,25%
• Часть 6. Инструменты для тестирования, автоматизация - 11 баллов, или 13,75%
• Общее количество = 80 баллов, или 100%

Рис 3. Количество баллов по каждому разделу

На этом я завершаю обзор, если есть вопросы по экзаменам ISTQB Advanced Level - спрашивайте в форуме или пишите мне. Можете спрашивать как про сам экзамен, так и про разделы силлабуса. В Advanced Level очень много интересных вещей, к которым можно обращаться на своей практике, делиться в статьях и на конференции. Вполне возможно, что продолжение и по мотивам наиболее интересующих вас вопросов следует. Спасибо за внимание, оставайтесь с Qastugama!

SQA Days-15 в Москве. День первый.

SQA Days-15 в Москве. И я там был, с докладом выступил, пиво пил, на Болтона ходил, знаний и знакомств новых получил.

Два раза в год случается это замечательное событие: SQA Days - самая массовая конференция для QA-специалистов, на которую ноги сами несут, чтобы снова встретиться с коллегами, прослушать замечательные доклады... Не хватит слов, чтобы описать, надо просто побывать.

На этот раз юбилейная, пятнадцатая конференция прошла в Москве, а козырной картой SQA Days был Майкл Болтон. Поэтому мы с коллегами-докладчиками Игорем Бондаренко и Сергеем Остапенковым (кто не знает, Игорь еще по совместительству входит в Программный комитет конференции) начали готовить не только доклады заранее, но и зондировать почву у начальства для посещения тренинга Болтона "Критическое мышление для тестировщиков". В итоге наша заявка на тренинг была одобрена, и мы задержались в Москве аж на 3 дня!  

Организация, как всегда, на самом высшем уровне. Мы прибыли заранее, благополучно миновав утренние пробки, и понаблюдали за слаженной подготовкой команды к первому дню, за тем, как прибывают первые коллеги и докладчики. По традиции, конференция проходила в 3 потока: 2 сессионных (доклады на 40 минут) + 1 блиц. И как всегда, сколько ни дай места на блиц, все равно будет мало. Чтобы прослушать блицы, иногда приходилось либо занимать места у стенки, либо на корточках в "нулевом" ряду. 

Кузьмичев Андрей: "Узнаю старый добрый #sqadays.
Ссылка - https://twitter.com/camelot_first/status/457063748415799296

Опять же, сложно сравнивать доклады предыдущих конференций с данной, но, на мой взгляд, уровень докладов выровнялся, плюс вырос уровень преподнесения материала: "типичных ошибок презентаций", о которых говорили раньше, стало намного меньше. И еще для тех, кто не знает, какой доклад выбрать, даю маленькую подсказку: спрашивайте у коллег из программного комитета: они вам помогут в нелегком выборе (Игорь, спасибо тебе!). Еще одно пожелание к выступающим - сделайте и носите с собой визитки: конечно, при желании можно поискать ваши контакты на презентации, но во время доклада презентаций нет, а вот визитки - под рукой. 

А теперь о докладах, в хронологическом порядке.

Очир Абушинов "Особенности тестирования облачных сервисов". Хороший обзорный доклад об облаках из серии "Good to know" - продемонстрированы особенности тестирования облачных сервисов, грабли и уроки, которые получил докладчик. К сожалению, Очир половину доклада простоял спиной к слушателям и лицом к экрану, словно разговаривая с презентацией, чем смазал впечатление.

Наталья Брич  "Невыносимая переносимость кроссплатформенных приложений на примере десктопных приложений". Красивая девушка рассказала о кроссплатформенности. Это как аксиома. Но вот по содержанию остались вопросы. С инсталляционным тестированием все понятно - прогоняем на всех платформах. А вот по тестированию функциональному - "На первой ОС проводится полное тестирование. Время экономится на второй и последующих ОС, где в первую очередь проверяются не прошедшие ранее тесты." (процитировано у Натальи Савастюк - ссылка). Это как? Что если найденные баги из первой версии некритичны? Как мы распределяем платформы (аналогия с браузерами, как в докладе у Дмитрия Штепуры, здесь не пройдет), какая будет первая, какая - вторая? Вобщем, надо пересмотреть видео доклада. Может, что-то прояснится.

Сергей Михалев "Подход доктора Хауса в тестировании оптимизации запросов (5 серия)".

Великолепный по форме и содержанию доклад, заслуженно завоевавший серебряную медаль. Практика и только практика, в занимательной юмористической форме с докторской тематикой о том, как правильно тестировать оптимизацию SQL-запросов. Вначале Сергей дал общие советы по тестированию оптимизации, затем - проводил анализ по алгоритму "экспресс-анализ изменений (было-стало) - запуск тестовых трейсов запросов - сбор метрик". Всего было 3 сессии анализа:

• применение "cross apply" - общее время обработки запросов уменьшилось, но появился пик для других запросов. Практически невозможно ускорить все характеристики, плюс универсальность запроса - причина его будущей замедленности.
• "кластерный индекс" - время снова уменьшилось, но CPU и время на модификацию выросли. Попробуем еще поискать.
• "ничего не поменялось" - значит, поменялись индексы или структура базы. Время снова уменьшилось (и намного), но немного увеличилось время на модификацию. При индексах функциональное тестирование обычно не требуется.

Инна Смирнова "Исследование багов: учимся у Шерлока Холмса!" (блиц).
Еще один отличный доклад, "бронзовый" призер, будет очень полезен новичкам. Прекрасные красочные слайды, оформление и очень хорошая подача.
Сам подход:

• генерируем гипотезы
• сортируем их по степени вероятности
• придумываем тесты для подтверждения гипотезы
• придумываем тесты для опровержения гипотезы
• возвращаемся к первому шагу.

Вдобавок в докладе были приведены некоторые правила вывода, рассмотрена работа с пользовательскими багами, и некоторые другие принципы. Очень насыщенно для 20 минут блица.

Дмитрий Штепура "Кроссбраузерное тестирование с популяризацией HTML5 и CSS3. Internet Explorer, не такой как все".
Мегаполезный практический доклад - победитель конференции. Для тех, кто тестирует под IE, просто MUST HEAR. В докладе собраны атрибуты IE, которые будут работать не во всех версиях:

• Placeholder - только с версии IE10. В IE8 и IE9 замена ему - Javascript. Возможны проблемы с цветом, шрифтом и размером текста, а также с тем, что текст может исчезать или, наоборот, исчезнуть;
• Border-radius - только с версии IE9. В более ранних - картинки (могут выявиться при масштабировании)
• Text-shadow - только с версии IE10.
• Box-shadow - только с версии IE9
• Text-overflow

Также Дмитрий не рекомендовал использовать эмуляторы, а если без них никак, то IE Collection Pack или XP Mode for Windows. И если вам нужно тестировать приложение в нескольких версиях IE, начинайте с наиболее старой (чаще всего это 8я, т.к. Microsoft уже официально прекратила поддержку 6-й, а пользователям 7-й версии предлагают проапдейтиться до 8-й).

Получился идеальный блиц с материалом, который и крайне полезен, и крайне непросто найти в интернете.

Алексей Лянгузов "Успешный тестировщик. Путь профессионала".
Философский доклад на основе выборочного анкетирования участников конференции на тему "Кто такой профессионал и кто может считать себя профессионалом". Алексей довольно опытный, зрелый докладчик и тестировщик, это чувствовалось. Один из немногих докладов, который я тщательно конспектировал, записывал ссылки на интересные книги, и буду все равно ждать в записи - выступление того стоит. Ниже - мой конспект:
Успех - это

• доход
• интересные задачи
• уважение
• ценность (востребованность на рынке труда)

Профессионализм - это:

• Опыт + Специализация (отлично подобранные открытки с atkrytka.com)

По аналогии с молотком, опыт = держало, специализация = ударяло. Но есть и незаметная часть молотка, без которой он не будет работать: клин. И "клином" выступает то, что профессионал должен вести себя соответствуя данному гордому званию.

Ссылка - книга "The clean coder", Robert C. Martin.

Качества, присущие профессионалу:

• Преданность
• Ошибкоустойчивость ("мне стыдно за мои ошибки, но мне не стыдно их исправлять" - в цитаты)
• Ответственность (ДБЧО - давать больше чем ожидают)
• Устремленность
• Уверенность (я знаю, когда нужно сказать НЕТ)
• Продуктивность

Профессионализм - это талант вкладывать душу в то, что ты делаешь здесь и сейчас.

Сергей Остапенков "Обеспечение качества: Практические советы".
О, про этот доклад могу рассказать много :) Сергей - мой коллега, и мне повезло прослушать три версии этого доклада. Последняя, третья, и была на конференции, и получилась самой короткой из-за лимита времени. Изначальный вариант в час-полтора был срезан до 30 чистых минут выступления (+10 минут на вопросы), и была проделана колоссальная работа, чтобы оставить в докладе только самое важное и не рассказанное ранее другими докладчиками. Сложно было "резать по живому" опыту Сергея на проекте - 8 лет, поэтому накопилось немало практических советов. Но даже в урезанном варианте получилось здорово, после доклада Сергея завалили вопросами и разобрали все визитки. Из плюсов доклада выделю нумерацию слайдов (для некоторых докладов она просто необходима, чтобы вложиться в лимит времени, когда каждая минута на счету) и "сквозная" нумерация всех советов в докладе - можно удобно отметить для себя номера полезных советов, а потом обратиться к слайдам.
По содержанию доклада я как-нибудь обязательно поговорю в одной из следующих статей, доклад того заслуживает. А пока презентация от Сергея. 

Катерина Овеченко "Безопасность сессий в веб-приложениях: практическое применение".
Мастер-класс по тестированию безопасности на полтора часа. Но он того стоил! Немного теории про веб-сессии, затем - практическая часть с разбором того, что можно нехорошего с ними сделать:

• Перехват сессии
• Фиксирование сессии
• Подделка межсайтовых запросов
• Фишинг

Для каждого примера - практические кейсы с видеорядом, рекомендации, как можно данной угрозы избежать. В конце доклада - обзор инструментов для тестирования безопасности и полезная литература для дальнейшего совершенствования. Рекомендую!

Вот так насыщенно и информативно прошел первый день. На очереди репортаж со второго дня конференции. Посещайте SQA Days, делитесь докладами и отзывами, оставайтесь с Qastugama!

Книжная полка. Брайан Коул Миллер "Как добиться от сотрудников максимальных результатов"

Ставим еще одну прочитанную книгу на нашу книжную полку. Рубрика самая читаемая, и полагаю, ожидаемая: сразу две книги - Гленфорда Майерса и Андре Кукла - прочно удерживают лидерство в популярных сообщениях моего блога.

С удовольствием пополняю коллекцию, и сегодня я расскажу вам про книгу Брайан Коул Миллер "Как добиться от сотрудников максимальных результатов".  

Технико-тактические характеристики:

Год издания: 2007

Страниц: 192

Формат: 84х108/32 (130х205 мм, стандартный)

ISBN: 978-5-98124-263-2

Скорость чтения - выше среднего

Ориентировочное время на прочтение: 2,5 - 3,5 часа

Книга с длинным названием и небольшим по объему содержанием. Ключ к максимальным результатом подчиненных - предложенная автором модель-акроним SIMPLE из 6 составляющих - 6 частей книги, по одной на каждую компоненту:
- S (Set expectations) - обозначьте свои ожидания
- I (Invite commitment) - добейтесь стремления к работе
- M (Measure results) - оцените результаты
- P (Provide feedback) - обеспечьте обратную связь
- L (Link to consequences) - учитывайте последствия
- E (Evaluate efectiveness) - оцените эффективность

Каждая компонента (каждый этап) - состоит из шагов, каждый формулируется одной фразой. Далее, к каждому шагу автор прилагает аргументы в пользу шага и детали. Таким образом, данные в книге подаются по правилу пирамиды -  в начале блока помещается вывод (шаг), который затем раскрывается деталями. Это позволяет быстро читать книгу: при чтении либо более подробно рассматриваем шаг, либо, если все известно и понятно, переходим к следующему.

При этом, автор опускает теоретические рассуждения, почему выбирается конкретный шаг, теории совсем немного, к каждой главе-компоненте приводится полезный практический пример, плюс книга написана простым языком.

Общий вывод: очень легкая в прочтении книга, содержание которой построено по правилу пирамиды, рекомендую к прочтению начинающим тест-лидам и тест-менеджерам, более опытных менеджеров, которые уже знакомы с описанными шагами и примерами, может заинтересовать сама структуризация SIMPLE поставленной задачи, предложенная автором.

Ниже - моя карта памяти по книге.

Ссылка на карту памяти - https://dl.dropboxusercontent.com/u/81883673/Miller-keeping-employees-accountable-for-results.png

Книжная полка. Андре Кукла "Ментальные ловушки"

После небольшого перерыва продолжаем пополнять книжную полку. Сегодня я расскажу вам про книгу Андре Кукла "Ментальные ловушки".  

Технико-тактические характеристики:

Год издания: 2012

Страниц: 152

Формат: 60х90/16 (145х215 мм, стандартный)

ISBN: 978-5-9614-2206-1

Скорость чтения - выше среднего

Ориентировочное время на прочтение: 2 - 3 часа

Книга, как вы догадались (ваш К.О.), о привычных нам путях, по которым "мучительно и безрезультатно движется наша мысль, сжигая невероятные объемы нашего времени, высасывая энергию и не создавая никаких ценностей". Очень легко читается, буквально за один вечер, хорошо подходит и как аудиокнига, а можно еще читать по 10 минут каждый день по одной главе и сразу применять прочитанное к своему опыту.

Книга состоит из 13 глав. Первая - Введение, затем следующие 11 глав - это соответственно, 11 ловушек, в которые мы попадаем каждый день: упорство, амплификация, фиксация, реверсия, опережение, противление, затягивание, разделение, ускорение, регулирование, формулирование. Последняя, тринадцатая, - это практические советы автора, как избегать данных ловушек, и плюс Приложение - практикум наблюдения за мыслью.

Авторские примеры ловушек просты, наглядны, с долей юмора и иронии. Сами ловушки взаимосвязаны и структурированы. Ответ, как избежать ловушек, автор прямо не дает, направляя читателя к собственной практике и работе над собой.

Чем же книга будет полезна тестировщикам? Те, кто был в ноябре на SQA Days-14 на докладе Натальи Руколь и Артема Чаплыгина "Ментальные ловушки в тестировании", уже слышали об этой книге и (надеюсь) избегают описанных в книге и докладе ловушек на практике. Для тех, кто не был на докладе, пока не размещено видео, доступна презентация:

Презентация доклада (ссылка - http://www.slideshare.net/VLDCORP/ss-28199422):

Общий вывод: легкая в прочтении и осознании, небольшая по объему книга, рекомендую к прочтению начинающим и продолжающим тестировщикам, и в целом IT-специалистам. Есть спорные вещи (например, про планирование), но, прочитав книгу, как минимум несколько раз попробовать применить наблюдение за мыслью и анализ ловушек стоит.

Ниже - моя карта памяти по книге.

Ссылка на карту памяти - https://dl.dropboxusercontent.com/u/81883673/Kukla-mental-traps-mindmap.png

Посчитаем баллы. ISTQB Advanced Level Test Manager экзамен.

В предыдущей статье мы считали баллы тест-аналитика. Перейдем к экзамену ISTQB Advanced Level Test Manager.

Немного про сам экзамен, то, чего я не говорил в общих вещах про ISTQB Advanced Level .

Первое, хорошая новость для тех, кто предпочитает "великий и могучий": экзамен Advanced Level Test Manager можно сдавать на русском языке (и только менеджера; языки экзамена на тест-аналитика и технического тест-аналитика - английский и немецкий). Спасибо Elena Kostina за наводку.

Второе, тема управления тестированием довольно объемна, поэтому советую готовиться по силлабусу. И при ответе на вопросы - сначала попытайтесь вспомнить, что вам говорит силлабус, а затем уже обращайтесь к собственному опыту, а не наоборот. Дополнительных знаний PMBOK Guide или других PM-учебников и руководств не нужно. По крайней мере, для Advanced Level'а. Если вы планируете идти на Expert Level, то в программе подготовки к экспертному уровню есть главы и книги, посвященные именно управлению проектами.

В целом, силлабус продвинутого уровня для тест-менеджера - это НЕ серебряная пуля в любой ситуации (он для этого и не задумывался). Это, скорее, как введение в процесс управления тестированием. То есть, вы можете использовать силлабус для получения общих знаний по тест-менеджменту (рассматривается без привязки к какой-либо конкретной методологии, в силлабусе есть примеры, как описанный кейс реализуется в V-модели, либо в сессионном тестировании, либо в аджайле), либо, если вы уже являетесь тест-менеджером, для расширения своего кругозора о том, как "можно по-другому". В конце силлабуса приводится список книг по тест-менеджменту, по которым вы можете подготовиться более основательно. Выделю две:

• Рекс Блэк "Ключевые процессы тестирования" - очень подробно и досконально разобран весь процесс тестирования от настоящего гуру: планирование, подготовка, проведение и совершенствование процесса. Читается довольно трудно (признаюсь, я книгу полностью не осилил с первой попытки, отложил на некоторое время), в каждой главе есть примеры абстрактной компании, но все равно, эти примеры будут нуждаться в вашей доработке на вашем проекте.
• Лиза Криспин "Гибкое тестирование" - если вы работает по аджайлу - читать обязательно. Подробный отзыв по этой книге в блоге - ставлю в свой ToDo-лист.

Теперь давайте посмотрим на составные части силлабуса. Сначала посчитаем время, необходимое на подготовку к экзамену, и "вес" каждого раздела (как обычно, берем рекомендуемое время для подготовки из последнего - за октябрь 2012 года, который можно скачать здесь) :

• Часть 1. Процесс тестирования - 420 минут, или 21,2%
• Часть 2. Управление тестированием - 750 минут, или 37,9%
• Часть 3. Ревью - 180 минут, или  9,1%
• Часть 4. Управление дефектами - 150 минут, или 7,6%
• Часть 5. Улучшаем процесс тестирования - 135 минут, или 6,8%
• Часть 6. Инструменты для тестирования, автоматизация - 135 минут, или 6,8%
• Часть 7. Навыки людей - построение команды - 210 минут, или 10,6%
• Общее рекомендуемое время для подготовки к экзамену = 1980 минут, или 100%

Рис 1. Рекомендуемое количество времени по каждому разделу

Явные фавориты- первый и второй разделы - "Процесс тестирования" и "Управление тестированием", по рекомендуемому для подготовки времени и (как мы увидим позже) по количеству баллов на экзамене. Получаем не совсем обычную картину экзамена: вначале нет "втягивающих" вопросов (к которым можно отнести "Основы тестирования" для Foundation Level, к примеру), вся соль, все ключевые вопросы - в первых двух главах, поэтому обратите особое внимание на эти разделы и при подготовке, и на экзамене.

Замечу, что формулировки вопросов по этим разделам соответствующие: подробно, почти на страницу формата А4, описываются кейсы, затем вопрос и 4 варианта ответа. Некоторые детали в кейсе важны, некоторые - нет: дело в том, что для нескольких вопросов различных разделов кейсы повторяются, поэтому кейсы и будут дублироваться слово-в-слово. Поэтому, столкнувшись с такой подробной формулировкой, читайте внимательно, в полном осознании кейса может заключаться успех при ответе не только на текущий, но и на последующие вопросы. В ваших ответах на вопросы первых двух глав - больше чем половина вашего успеха на экзамене.

Тема "Навыки людей - построение команды" - на мой взгляд, самая простая. Несколько вопросов в ней - по матрице компетенций выбрать исполнителя, как это делается - можете посмотреть здесь.

По остальным разделам (3-6) - вполне достаточно прочитать силлабус и разобрать вопросы из примерного экзамена.

Теперь приведу статистику по количеству вопросов в каждом разделе.

• Часть 1. Процесс тестирования - 14 вопросов минут, или 21,6%
• Часть 2. Управление тестированием - 26 вопросов, или 40%
• Часть 3. Ревью - 6 вопросов, или 9,2%
• Часть 4. Управление дефектами - 3 вопроса, или 4,6%
• Часть 5. Улучшаем процесс тестирования - 3 вопроса, или 4,6%
• Часть 6. Инструменты для тестирования, автоматизация - 6 вопросов, или 9,2%
• Часть 7. Навыки людей - построение команды - 7 вопросов, или 10,8%
• Всего 65 вопросов или 100%

Рис 2. Количество вопросов по каждому разделу

И, наконец, статистика по количеству баллов для тест-менеджера. Обратите внимание, что максимальное число баллов, которое можно получить на экзамене, - 115, в отличие от 100 баллов тест-аналитика. Соответственно проходной балл - 65 процентов от максимума, или 75 баллов. 

• Часть 1. Процесс тестирования - 30 баллов, или 26,1%
• Часть 2. Управление тестированием - 44 балла, или 38,3%
• Часть 3. Ревью - 12 баллов, или 10,4%
• Часть 4. Управление дефектами - 4 балла, или 3,5%
• Часть 5. Улучшаем процесс тестирования - 6 баллов, или 5,2%
• Часть 6. Инструменты для тестирования, автоматизация - 7 баллов, или 6,1%
• Часть 7. Навыки людей - построение команды - 12 баллов, или 10,4%
• Общее количество баллов = 115 баллов, или 100%

Рис 3. Количество баллов по каждому разделу

В итоге, мы поговорили об экзаменах Foundation Level, Advanced Level Test Analyst, Advanced Level Test Manager, посчитали баллы за разделы, выбрали самые "ценные". В проекте следующих статей по ISTQB - рассмотрим экзамен Technical Test Analyst, разберем некоторые разделы по программе, соберем литературу и ссылки по экзаменам (что еще можно посмотреть-почитать в дополнение или вместо рекомендованных в силлабусе книг и ссылок). Спасибо за внимание, оставайтесь с Qastugama!

Посчитаем баллы. ISTQB Advanced Level Test Analyst экзамен.

В прошлой статье я рассказал общие вещи про ISTQB Advanced Level. Рассмотрим подробнее экзамен ISTQB AL Test Analyst, на какие разделы следует обратить внимание.

Давайте, как и в случае со статьей про Foundation Level, посчитаем время, необходимое на подготовку к экзамену, и "вес" каждого раздела (рекомендуемое время для подготовки взято из последнего силлабуса, который можно скачать здесь) :

• Часть 1. Процесс тестирования - 300 минут, или 18%
• Часть 2. Управление тестированием: обязанности тест-аналитика - 90 минут, или 5,4%
• Часть 3. Техники тестирования - 825 минут, или 49,6%
• Часть 4. Характеристики управления качеством - 120 минут, или 7,2%
• Часть 5. Ревью - 165 минут, или 9,9%
• Часть 6. Управление дефектами - 120 минут, или 7,2%
• Часть 7. Инструменты для тестирования, автоматизация - 45 минут, или 2,7%
• Общее рекомендуемое время для подготовки к экзамену = 1665 минут, или 100%

Рис 1. Рекомендуемое количество времени по каждому разделу

В отличие от Foundation Level, где баллы были распределены между разделами относительно равномерно, в AL TA экзамене есть явный "фаворит" - техники тестирования. Поэтому изучаем тест-дизайн, решаем задачи на граничные значения, эквивалентные классы, таблицы решений, диаграммы переходов, считаем покрытие кода... Довольно практический и интересный, на мой взгляд, раздел, это уже не сухая теория из Foundation. Да и вопросы из других разделов будут посложнее, уже нет явного ответа в силлабусе (страница 5, второй абзац, строчка 4), и метод исключения тоже работает далеко не всегда.

На мой взгляд, если вы проектируете тесты, то вы просто обязаны разбираться в тест-дизайне, поэтому рекомендую если не сдавать экзамен, то хотя бы ознакомиться со всеми этими техниками. Альтернативой данному материалу может быть курс по тест-дизайну от BBST - http://www.testingeducation.org/BBST/testdesign/ - созданный Сэмом Канером и Джеймсом Бахом. Материал тоже бесплатный. Если вы не хотите получать сертификат - и для ISTQB, и для BBST вы можете ничего не платить :)

В одной из следующих статей я поделюсь материалами по тест-дизайну, которые мне удалось найти при подготовке по тест-дизайну. Очень радует, что тема тест-дизайна присутствует и на конференциях, я когда-то писал про выступление Никиты Постолакого, "Разработка-тест кейсов по методике Pairwise", на одной из Fun ConfeT&QA Наталья Руколь замечательно рассказывала про диаграммы переходов... Впрочем, это тема отдельной статьи - список ссылок для подготовки к экзамену ISTQB AL TA.

Вернемся к результатам ISTQB AL TA. Мне удалось по полученной статистике экзамена за август 2012 (моя) и октябрь 2012 года (мой коллега) составить таблицы количества вопросов по каждому разделу и общего количества баллов за каждый раздел.

Количество вопросов по каждому разделу:

• Часть 1. Процесс тестирования - 7 вопросов, или 10,8%
• Часть 2. Управление тестированием: обязанности тест-аналитика - 4 вопроса, или 6,2%
• Часть 3. Техники тестирования - 33 вопроса, или 50,8%
• Часть 4. Характеристики управления качеством - 8 вопросов, или 12,3%
• Часть 5. Ревью - 5 вопросов, или 7,7%
• Часть 6. Управление дефектами - 4 вопроса, или 6,1%
• Часть 7. Инструменты для тестирования, автоматизация - 3 вопроса, или 4,6%
• Часть 8. Навыки людей - построение команды - 1 вопрос, или 1,5%
• Всего 65 вопросов, или 100%

Рис 2. Количество вопросов по каждому разделу

Количество баллов по каждому разделу:

• Часть 1. Процесс тестирования - 9 баллов, или 9%
• Часть 2. Управление тестированием: обязанности тест-аналитика - 5 баллов, или 5%
• Часть 3. Техники тестирования - 52 балла, или 52%
• Часть 4. Характеристики управления качеством - 14 баллов, или 14%
• Часть 5. Ревью - 8 баллов, или 8%
• Часть 6. Управление дефектами - 8 баллов, или 8%
• Часть 7. Инструменты для тестирования, автоматизация - 3 балла, или 3%
• Часть 8. Навыки людей - построение команды - 1 балл, или 1%
• Всего 100 баллов, или 100%

Рис 3. Количество баллов по каждому разделу

Об особой ценности раздела "Техники тестирования" мы говорили. Обратите внимание, что добавился раздел восьмой "Навыки людей - построение команды", которого нет в силлабусе для тест-аналитика. Да, раздела нет, но один вопрос на экзамене есть :) Это небольшой баг, незначительный (всего 1 балл из 100 возможных). Впрочем, могу дать совет: в силлабусе за 2007 год этот  раздел 10.6 - Коммуникация, объем для прочтения - 3 обычных абзаца, и по нему будет 1 вопрос. 

Что касается остальных вопросов, то если вы будете сдавать экзамен, обратите внимание на часть 1 - "Процесс тестирования" - вопросы и ответы довольно специфичны, советую внимательно почитать и рассмотреть примеры из упомянутой книги - Rex Black "Advanced Software Testing", 2009 - Vol. 1 - Test Analyst. Очень мало, на мой взгляд, выделено на часть 7 - "Инструменты для тестирования и автоматизация". Впрочем, экзамен на Technical Test Analyst, делает акцент и углубление знаний тест-аналитика именно в этой области.

Вот мы и разобрались с вотчиной тест-аналитика, в следующей статье мы посчитаем баллы у тест-менеджера. Спасибо за внимание, и оставайтесь с Qastugama!

ISTQB Advanced Level экзамены - общая информация.

Продолжаю рассказ про ISTQB Foundation Level экзамен и подсчет баллов, переходим к более сложному и интересному уровню - Advanced Level.

Сам Advanced Level уровень состоит из трех частей, каждая часть - отдельный экзамен:

• Тест-аналитик (ISTQB Advanced Level Test Analyst, или сокращенно CTAL-TA)
• Тест-менеджер (ISTQB Advanced Level Test Manager, или сокращенно CTAL-TM)
• Технический тест-аналитик (ISTQB Advanced Level Technical Test Analyst, или сокращенно CTAL-TTA)

Если сказать совсем упрощенно, то в экзамене на тест-менеджера основные темы - управление командой и процессом, на тест-аналитика- техники тест-дизайна - черный и белый ящики, на технического тест-аналитика - углубление знаний аналитика: техники тест-дизайна - белый ящик, и нефункциональное тестирование. Сдавать данные экзамены можно в любом порядке.

Начальные требования к экзамену уровня Advanced: вы успешно сдали Foundation Level Exam и у вас есть опыт работы 18 месяцев как тестировщика (доказательств предоставлять не придется).

Так как экзамен на русском не предусмотрен, то далее я буду рассказывать про экзамен на английском, для других возможных языков, на которых может проходить экзамен, ситуация аналогична.

Далее, желательно как минимум за 10 рабочих дней выслать следующие документы: скан вашего сертификата Foundation Level, скан последней страницы паспорта, скан заполненной формы регистрации (можно взять здесь). В моем случае и у моих коллег, документы заапрувили быстро, за 1-2 дня.

Время на экзамен - 3 часа для native-speaker'ов, если в вашей стране английский не является официальным языком, то вы можете получить дополнительных 45 минут на экзамен, выслав скан паспорта - это так называемый time bonus.

Регистрация на Advanced Level завершается приблизительно за неделю до начала экзамена. При оплате карточкой деньги снимаются не сразу, а либо за день-два до экзамена, либо после экзамена одновременно с результатом экзамена на почтовый ящик.

Если есть большое желание и возможности, как у вас, так и у организации в вашем регионе, где вы будете сдавать экзамен, можете сдать 2 и даже 3 экзамена в один день. Знаю успешные примеры таких уникумов, возможно и вы в будущем попадете в их число :) Хотя это не самоцель. Главное - получить необходимые знания по той области, которую вам интересна и вы выберете, если есть возможность - пробуйте на практике, а затем уже готовьтесь и сдавайте экзамен.

В экзамене 65 вопросов, оцениваются они по-разному: вопросы уровня К2 (понимать) - один балл, уровня K3 (применять) и K4 (анализировать) - два балла. В отличие от Foundation Level, нет вопросов уровня К1 (запомнить). Субъективно, некоторые вопросы К2 будут посложнее некоторых К3 и К4, так как последние более практические, а К2 - на применение терминов, а в деталях некоторых терминов можно запутаться.

Приблизительно половина из вопросов будет по специализации, по которой вы сдаете экзамен: Test Analyst, Test Manager, Technical Test Analyst. По специализированным темам вдобавок к силлабусу я бы посоветовал почитать книгу, на выбор:

• Graham Bath, Judy McKay "The Software Test Engineer's Handbook", 2011 - для подготовки к экзаменам AL TA и AL TTA.
• Rex Black "Advanced Software Testing", 2009 - Vol. 1 - Test Analyst, Vol. 2 - Test Manager, Vol. 3 - Technical Test Analyst - для подготовки к соответствующей части - своя книга. К сожалению, базируется на силлабусе 2007 года (последний, по которому сейчас проходит экзамен - октябрь 2012 года), хотя изменения между силлабусами по содержанию небольшие, но нумерация разделов нарушена, не такая как в последнем.

Более подробно по списку литературы я дам в дальнейшем, для каждого уровня свой список.

Вопросы читайте очень внимательно, английский действительно проще, чем Foundation, так как описываются ситуации. Возможен вариант, когда вопрос - описание кейса на страницу, затем несколько вопросов подряд по этому кейсу.

Метод исключения, по которому так любят объяснять как отвечать на вопросы в книгах по Foundation Level, здесь проходит не всегда, в некоторых ситуациях ответ менее логичен.

Максимальное количество баллов, которые можно получить, было 100 для Тест-Аналитика и 115 - для Тест-Менеджера. Проходной балл - 65 процентов от максимума.

И еще одно отличие от Foundation Level. Есть вопросы, в которых правильных ответов не один, а несколько (multiple choice answers), но в этом случае в вопросе указано, сколько вариантов ответа являются правильными (по умолчанию, если не указано иное - только один).

Что можно почитать в интернете по общим вопросам к ISTQB Advanced Level:

• Общая статья на Хабре, про которую я упоминал в предыдущем посте - http://habrahabr.ru/company/luxoft/blog/146064/
• Дмитрий Поляруш, ISTQB сертификация на Украине, вопрос-ответ - http://poliarush.com/working/testing/istqb.html
• BySTQB, сертификация в Беларуси, информация - http://bystqb.org/index.php/procedure-of-registration
• Официальный сайт ISTQB, Advanced Level in a Nutshell - http://www.istqb.org/certification-path-root/advanced-level/advanced-level-in-a-nutshell.html

Итак, мы разобрались с общими правилами ISTQB Advanced Level, поговорили про общие детали. В следующей части поговорим про экзамен Advanced Level Test Analyst. Оставайтесь с qastugama!

Посчитаем баллы. ISTQB Foundation Level экзамен.

Выполняю данное мной обещание, начинаю рассказывать о том, как считаются баллы на экзамене ISTQB. Вначале я расскажу про Foundation Level.

ISTQB Foundation Level (далее - просто ISTQB FL) - это первая ступенька, первый уровень, который вы можете преодолеть. Для сдачи экзамена базового уровня требований к опыту работы не предъявляется. Вот как выглядит сам сертификат (последняя версия).

Есть мнение, что сдать экзамен с меньшим опытом работы проще, потому что вы еще не запомнили "неправильно", и учить термины силлабуса (программы, по которой будет происходить подготовка) легче, чем переучиваться. С другой стороны, человеку без опыта вряд ли нужно сразу сдавать на этот сертификат, потому что никаким преимуществом при приеме на работу вы обладать не будете. Так что, сертификация - дело абсолютно добровольное :) И нужна для подтверждения, что ваши знания соответствуют определенному уровню. Но, как я уже и говорил, ваш практический опыт и продемонстрированные навыки QA Engineer'а будут цениться больше. Поэтому, применяйте полученные знания на практике, в том числе - и знания данного экзамена, чтобы расти как специалист.

Чтобы не копипастить то, что уже хорошо сказано и описано про ISTQB FL, советую вначале прочитать следующий материал по ссылке - http://habrahabr.ru/company/luxoft/blog/146064/

Время на экзамен достаточно жестко ограничено - 1 час 15 минут для теста на английском или 1 час ровно для теста на русском. Мое мнение, лучше сдавать все-таки на английском, так как "трудности перевода" терминов и формулировок вам не страшны. Кроме того, если вы после экзамена ISTQB FL рассчитываете сдавать ISTQB Advanced Level, без иностранного языка вам не обойтись, так как экзамена на русском языке не будет предусмотрено. Ключевое - иностранный. точно знаю, что есть Advanced Level экзамен на английском и на немецком.

А теперь - то, про что вы точно не прочитаете :) Как вам уже известно, после экзамена (в течение недели), вы получаете письмо с результатом экзамена.

Congratulations!

Dear <имя>!

You have successfully passed the examination to ISTQB® Certified Tester, Foundation Level.

You scored <x> of 40 possible credits.
This equals <x/40 * 100> %! In order to successfully pass the exam, a minimum of 65% is necessary!

Your score in answering the questions:
In part one “Fundamentals of testing“ x1%,
in part two “Testing throughout the software lifecycle“ x2%,
in part three “Static techniques“ x3%,
in part four “Test design techniques” x4%,
in part five “Test management” x5% and
in part six “Tool support for testing” x6%.

За дополнительную плату в 60 евро предлагают ознакомиться с теми вопросами, на которые вы ответили неправильно, но только в течение 30 дней после экзамена и лично в офисе компании (в Германии).

Но! Некоторые вещи вы можете подсчитать бесплатно. Например:

• По времени на обучение вы можете узнать, сколько приблизительно БУДЕТ вопросов на экзамене, что поможет вам лучше подготовиться по определенным разделам и сделать упор на них. Для каждой главы силлабуса предусмотрено время на обучение, по которому вы можете подсчитать, насколько важен этот раздел и сколько приблизительно будет вопросов на экзамене по данному разделу. Количество вопросов на экзамене из данного раздела приблизительно (с некоторой погрешностью) прямо пропорционально времени, которое предусмотрено на обучение.
• по результатам экзамена вы можете узнать, сколько БЫЛО вопросов на экзамене по каждому разделу (да, вам приходят только проценты, но по ним путем несложных математических вычислений, вы можете подсчитать и количество вопросов, и количество баллов).

Первый пункт тривиален - берем силлабус, записываем время на подготовку каждого раздела, считаем суммарное рекомендуемое время на подготовку, считаем "вес" в процентах каждого раздела как время на его подготовку, разделенное на общее время.

• Часть 1. Основы Тестирования - 155 минут, или 17,9%
• Часть 2. Тестирование как часть жизненного цикла ПО - 115 минут, или 13,3%
• Часть 3. Статические техники - 60 минут, или 6,9%
• Часть 4. Техники тест-дизайна - 285 минут, или 32,9%
• Часть 5. Управление тестированием - 170 минут, или 19,7%
• Часть 6. Инструменты для тестирования - 80 минут, или 9,3%
• Общее рекомендуемое время для подготовки к экзамену = 865 минут, или 100%

Теперь нас интересует второй пункт, обратимся к результатам. Так как вопросов в Foundation всего 40, а процентов 100, то каждый вопрос "весит" 2,5 процента от общей суммы за экзамен - все вопросы "весят" одинаково для ISTQB FL.

Для экзаменов, проходивших в декабре 2011 года (моя статистика) и в августе 2012 года (статистика моего коллеги), количество вопросов по каждой части силлабуса было одинаково. Более свежую статистику за 2013 год я выдам чуть позднее, но можно пользоваться и этой, так как силлабус не изменялся с 2011 года, поэтому время на обучение разделов осталось то же, а следовательно, можно полагать, что и количество вопросов по каждому разделу - практически то же, или изменилось незначительно.

Математические вычисления опускаем, я привожу лишь общее количество вопросов по каждому разделу.

• Часть 1. Основы Тестирования - 7 вопросов, или 17,5%
• Часть 2. Тестирование как часть жизненного цикла ПО - 6 вопросов, или 15%
• Часть 3. Статические техники - 3 вопроса, или 7,5%
• Часть 4. Техники тест-дизайна - 12 вопросов, или 30%
• Часть 5. Управление тестированием - 8 вопросов, или 20%
• Часть 6. Инструменты для тестирования - 4 вопроса, или 10%
• Всего в экзамене 40 вопросов, или 100%

C небольшими погрешностями, цифры практически совпадают.

Для наглядности, представим результат в виде двух круговых диаграмм, по количеству вопросов данного раздела и по "весу" данного раздела в силлабусе.

рис 1. Круговая диаграмма по количеству вопросов в каждом разделе

рис 2. Круговая диаграмма по количеству процентов в итоговой сумме экзамена 

по каждому разделу

Все вопросы в Foundation Level, как я уже упоминал, "стоят" одинаково (1 балл), то и диаграммы получились одинаковыми. В дальнейшем на примере Advanced Level, в котором вопросы различаются по количеству баллов, мы увидим, что и диаграммы будут отличаться.

Итак, теперь вы знаете, как можно рассчитать "весомость" каждого раздела при подготовке к экзамену ISTQB Foundation Level. В дальнейшем мы рассмотрим экзамены ISTQB Advanced Level Test Analyst и Test Manager. Оставайтесь с Qastugama!