тестирование – последние статьи и новости

Озан Варол – бывший инженер NASA, писатель и профессор права. В своей книге «Думай как Илон Маск. И другие простые стратегии для гигантского скачка в работе и жизни» он раскрыл девять простых стратегий, которыми пользуются астронавты и новаторы. Эти стратегии помогут запустить проект без проблем, ускорить и масштабировать его, изучить новый навык и создать прорывной продукт. MC.today публикует сокращенную главу из этой книги о том, как тестировать продукт так, чтобы еще до запуска предотвратить максимум проблем. Эта стратегия называется «тестируй так, будто уже летишь, лети так, будто еще тестируешь». Заказать книгу можно здесь. Ракеты и веб-сайты – это не одно и то же, но у них есть по крайней мере одна общая черта. Они потерпят неудачу, если вы не будете следовать краеугольному принципу ракетостроения, называемому «тестируй так, будто уже летишь, лети так, будто еще тестируешь». Проблема с тестами Большинство наших жизненных решений основаны не на тестах, а на догадках и ограниченной информации. Мы запускаем новый продукт, меняем карьеру или пробуем новый маркетинговый подход – и все это без единого эксперимента. Мы виним в отсутствии тестов недостаток ресурсов, но не признаем затраты на новые подходы, которые в конечном итоге терпят неудачу. Даже проводя тесты, мы выполняем поверхностные репетиции, которые вдобавок являются частью самообмана. Мы проводим тесты не для того, чтобы доказать свою неправоту, а для того, чтобы подтвердить то, что мы считаем истинным. Мы корректируем условия тестирования или интерпретируем неоднозначные результаты так, чтобы подтвердить свои предубеждения. Профессора Гарварда и Уортонской школы бизнеса опросили 32 передовые розничные компании, чтобы изучить их практику тестирования. Исследователи обнаружили, что 78% фирм тестировали новые продукты в магазинах перед их запуском. Впечатляющее число, но не условия тестирования. По словам исследователей, компании считали, «что их продукция будет хорошо продаваться, несмотря на неприятные результаты испытаний», и обвиняли «погоду (плохую или хорошую), плохой выбор тестовых площадок, плохое проведение тестов и другие факторы менее выгодных продаж». Другими словами, ретейлеры сделали все, чтобы тест соответствовал их ожиданиям, а не корректировали свои ожидания в соответствии с результатами теста. В хорошо продуманном тесте результаты не предопределены заранее. Вы должны быть готовы потерпеть неудачу. Тест должен проводиться, чтобы пролить свет на неопределенность, а не подтвердить предубеждения. Самообман – лишь часть проблемы. Другая ее часть – разрыв между реальностью и условиями тестирования. Фокус-группы и группы испытуемых часто помещают в искусственные условия и задают им вопросы, которые никогда в реальной жизни. В результате этих «экспериментов» получаются отшлифованные и в корне неверные выводы. Ракетостроение же предлагает путь вперед с обманчиво простым принципом: тестируй так, будто уже летишь, лети так, будто еще тестируешь. Согласно этому принципу эксперименты на Земле должны в максимально возможной степени имитировать условия полета. Ракетостроители проверяют космический аппарат так, словно он уже запущен. Если испытание проходит успешно, полет должен проходить в аналогичных условиях. Любое существенное отклонение между тестированием и полетом может привести к катастрофе – будь то ракета, государственный сайт, собеседование или ваш следующий продукт. При правильном тестировании цель состоит не в том, чтобы обнаружить все, что может пойти правильно. Напротив, цель в том, чтобы найти все, что может пойти не так, и найти предел прочности. Заказать книгу «Думай как Илон Маск. И другие простые стратегии для гигантского скачка в работе и жизни» можно здесь на русском и здесь на украинском языке. Предел прочности Лучший способ определить предел прочности объекта – сломать его, Ракетостроители пытаются сломать космический аппарат на Земле, выявить все его недостатки – прежде, чем они проявятся в космосе. Для этого необходимо подвергнуть каждый компонент, вплоть до винтов, воздействию тех же ударов, вибраций и экстремальных температур, которые ждут их в космосе. Ученые и инженеры должны продумать все способы, которыми можно обмануть эти компоненты и строки компьютерного кода, чтобы обнаружить возможные фатальные ошибки. И, возвращаясь к предыдущей главе, этот подход помогает избавиться от сомнений. Тестирование может помочь превратить неизвестное в известное. Каждое испытание, проводимое в тех же условиях, что и полет, может рассказать ракетостроителям что-то новое о космическом корабле и побудить их изменить оборудование или программное обеспечение. Но даже в ракетостроении условия испытаний часто не совпадают с реальным запуском. Есть некоторые вещи, которые физически нельзя проверить на Земле. Например, невозможно сымитировать силы, испытываемые ракетой при запуске, или полностью смоделировать перемещение по Марсу. Но можно попытаться к этому приблизиться. Когда в 2003 году я работал над программой Mars Exploration Rovers, мы периодически устраивали испытания перемещения марсохода по вымышленному Марсу – площадки в ЛРД размером с теннисный корт, заполненный теми же камнями, которые можно найти на Красной планете. Испытательный аппарат был с любовью назван FIDO, сокращенно от Field Integrated Design and Operations (комплексное проектирование и эксплуатация). Также мы возили FIDO в такие места, как вершина гор Блэк-Рок в Неваде и Грей Маунтин в Аризоне. Мы провели марсоход шаг за шагом, чтобы убедиться, что он способен делать все необходимое: избегать опасностей, сверлить скалы, фотографировать и тому подобное. Одно дело – управлять марсоходом на Земле. И совсем другое – на Марсе, где все, от плотности атмосферы до поверхностной гравитации, отличается от Земли. Ближе всего к Марсу на Земле можно подойти в Сандаски, в штате Огайо. Этот городок может похвастаться Space Power Facility НАСА – самой большой в мире вакуумной космической камерой. Она может имитировать условия космического полета, включая высокий вакуум, низкое давление и огромные температурные колебания. Камера представляла собой идеальную среду для испытания подушек безопасности, которые планировалось использовать для посадки марсоходов. Для проведения испытаний в Сандаски направилась группа ученых ВСП (вхождение, спуск, посадка). Они поместили запасной аппарат в подушки безопасности, накачали вакуумную камеру до давления и температуры Марса, положили несколько как бы марсианских камней на дно камеры и стали ждать. И дождались. Камни разорвали подушки безопасности, которые сразу сдулись. Образовавшиеся отверстия были такими большими, что и них мог поместиться человек. Первый же тест показал, что подушки безопасности, которые мы собирались использовать, никуда не годились. Один камень, который тоже назвали зловещим именем Блэк-Рок, доказал, что он является идеальным врагом. Инженер Адам Штельцнер описывал камень, как «кусок коровьей печени, с тонким хребтом на вершине. На первый взгляд он не казался очень опасным, но «он проник внутрь и разорвал подушки безопасности». И вместо того чтобы считать Блэк-Рок аномалией – камень, с которым мы вряд ли столкнемся на Марсе, – команда поступила наоборот. Они изолировали эту проблему, а затем усилили условия. Они сделали копии Блэк-Рока, разбросали их по всей камере и начали швырять в них подушки безопасности. Наша команда не могла рассчитывать на удачу и должна была предположить худшее: что на Марсе есть куча камней Блэк-Рок, готовых разорвать наши подушки безопасности в клочья. Заказать книгу «Думай как Илон Маск. И другие простые стратегии для гигантского скачка в работе и жизни» можно здесь на русском и здесь на украинском языке. Исправление пришло, откуда его совсем не ждали: от велосипедов. Большинство велосипедных шин имеют два слоя – наружный слой и внутреннюю трубку. Даже если внешний слой будет пробит дорожным мусором, внутренняя труба останется целой. Команда сравнила эти совершенно разные вещи, скопировав эту конструкцию для наших подушек безопасности и разработав двойной слой для двойной защиты. Даже если внешний слой повредится, подушка безопасности (а значит, и корабль) уцелеет. Новая конструкция тестировалась снова и снова, пока подушки безопасности не выдержали нагрузку. Вам же не нужны ни огромная вакуумная камера, ни большой бюджет, чтобы найти предел прочности ваших приспособлений. Вы можете тестировать свои устройства на прототипах или предварительных версиях ваших продуктов или услуг, используя репрезентативную группу клиентов. Все, что для этого требуется, – готовность разработать тесты для наихудшего, а не для наилучшего сценария развития событий. Чудовище Франкенштейна В каком-то смысле космический корабль ничем не отличается от вашего бизнеса, тела или любимой спортивной команды. Все это представляет собой систему, состоящую из взаимосвязанных подсистем, взаимодействующих друг с другом и влияющих на работу друг друга. Тестировать так, будто уже летишь, требует многоуровневого подхода. Ракетостроители начинают тестирование с субкомпонентов, например, отдельных камер, которые будут формировать систему обзора марсохода, или кабелей и разъемов. После того как камеры будут полностью собраны, систему обзора снова тестируют целиком. Причина такого подхода хорошо изложена в суфийском учении: вы думаете, что если вы понимаете что-то «одно», то должны понимать и «второе», потому что один и один равняются двум. Но вы забываете, что также должны понимать и «второе». Компоненты, которые правильно функционируют по отдельности, могут не сработаться после сборки. Другими словами, система может производить эффекты, отличные от ее отдельных компонентов. Эти системные эффекты могут быть катастрофическими. Само по себе лекарство может приносить потрясающие результаты, но оказаться смертельным во взаимодействии с другими препаратами. Плагины на вашем сайте могут хорошо работать порознь, но вызвать катастрофу, находясь в системе. Спортсмены могут быть талантливы поодиночке, но плохо работать в команде. Мы можем назвать эту проблему чудовищем Франкенштейна, собранного из человеческих тел. Но когда они собираются вместе, результат становится совсем не человеческим. Озон Варило Рассмотрим пример другого монстра. Когда Адольф Гитлер пришел к власти, немецкая конституция была одной из самых «изощренных» в мире. В ней содержались два, казалось бы, безвредных положения. Одно из них позволяло рейхспрезиденту объявить чрезвычайное положение, которое парламент мог бы отменить простым большинством голосов. Другое позволяло ему же распустить парламент и назначить новые выборы. Немецкие парламентарии имели привычку делиться на два лагеря при встрече с тупиковой ситуацией, поэтому второе положение и было призвано решить эту проблему. Хотя по отдельности оба они казались мудрыми, но вместе оказались злонамеренными, или, как называет это исследователь конституционного права Ким Лейн Шеппели, «Франкенштейном». В начале 1930-х годов Пауль фон Гинденбург воспользовался свое и конституционной властью, чтобы распустить зашедший в тупик парламент. Перед выборами Гинденбург по настоянию канцлера Гитлера ввел чрезвычайное положение. Этот указ приостановил действие почти всех гражданских свобод в Германии. Хотя парламент и обладал конституционным правом отменить чрезвычайное положение, теперь в стране не оказалось законодательного органа, способного воспользоваться этим правом. Штурмовики и эсэсовцы немедленно начали широкомасштабную чистку всех противников нацизма. Используя в качестве предлога чрезвычайное положение, нацисты усилили контроль над страной и усилили однопартийную диктатуру во главе с Гитлером. Одно из самых ужасных государств в мире возникло без единого нарушения конституции. Заказать книгу «Думай как Илон Маск. И другие простые стратегии для гигантского скачка в работе и жизни» можно здесь на русском и здесь на украинском языке. В ракетостроении есть еще один элемент, который нужно протестировать перед взлетом. Он гораздо непредсказуемее всего космического корабля. Он паникует. Он многое забывает. Он может столкнуться с другими объектами или случайно нажать не на ту кнопку. Он может впасть в гнев, заболеть или пренебречь важной работой, чтобы насладиться космическим пейзажем. Разумеется, речь о людях на борту. Парни что надо Правило «тестируй так, будто уже летишь» объясняет, почему мы отправили наших ближайших собратьев в космос раньше, чем людей. Поскольку мы мало знали о влиянии невесомости на человеческое тело, первым «американцем» в космосе был шимпанзе Хэм. Хэм был обучен выполнять такие основные задачи, как нажимания рычагов, которые он успешно воспроизвел во время своего шестнадцатиминутного полета. Хотя полет Хэма и был успешным, он нанес удар хрупкому самолюбию астронавтов «Меркурия», которые быстро поняли, что у них с шимпанзе одинаковая квалификация для этой работы. Когда четырехлетняя дочь президента Кеннеди, Кэролайн, встретила астронавта Джона Гленна, расстроенная, она разочарованно спросила: «А где же обезьянка?» Методы изменились, но лежащая в основе приверженность правилу «тестируй так, будто уже летишь» остается неизменной. Повседневная реальность жизни астронавта сильно отличается от той, которую вы видите в голливудских фильмах. Астронавты – это рабочие лошадки, а не космические искатели приключений. Они не летают в космос, чтобы заработать себе на жизнь. Они тренируются и готовятся к космическим полетам, чтобы заработать себе на жизнь. «Я стал астронавтом шесть лет назад и за все это время провел в космосе только восемь дней», – говорил Крис Хэдфилд. Остальное время тратится на подготовку. К тому времени, когда астронавты отправляются в полет, они бессчетное количество раз проходили его на тренажерах. Например, макет космического корабля оснащен точно так же, как настоящий, с идентичными дисплеями и панелью управления. Астронавты управляют симулятором космического корабля так же, как управляли бы реальным космическим кораблем, прорабатывая различные этапы пути, от запуска до стыковки и посадки. Показатели на мониторах тренажера те же, что астронавты увидят и в полете, а скрытые громкоговорители создают те же звуки, включая вибрацию, пиротехнические взрывы и использование двигателей, которые они услышат в полете. Тестирование так, будто уже летишь, требует максимально возможного сокращения времени на реакцию. Для полетов на космических шаттлах эта подготовка означала проработку примерно 6800 сценариев неисправностей со всеми воображаемыми неприятностями – компьютерными сбоями, неполадками в двигателях и взрывами. Как объясняет писатель Роберт Курсон, во время подготовки астронавтов «Аполлона» эти симуляции длились несколько дней подряд. «Чем больше неполадок астронавты встретят на Земле, тем лучше, так как заучивание движений позволит выработать инстинкт выживания, ведь именно смерть помогла людям научиться выживать». Повторная проработка проблем придает астронавтам уверенность в способности решить практически любую из них. Когда физика подкидывает им неожиданный поворот событий, они на нем учатся. После того как Хэдфилд вернулся на Землю после завершения миссии, его спросили, все ли прошло по плану. «Дело в том, что все пошло не так, как мы планировали, – ответил он, – но все было в рамках того, к чему мы готовились». Заказать книгу «Думай как Илон Маск. И другие простые стратегии для гигантского скачка в работе и жизни» можно здесь на русском и здесь на украинском языке. Ракетостроение общественного мнения Если бы Apple нарушила правило «тестируй так, будто уже летишь», мир бы не увидел айфон. Айфон, один из самых прибыльных потребительских товаров в современной истории, проваливался во всех опросах, проведенных до его выпуска. Когда людей спрашивали, нравится ли им «идея иметь одно портативное устройство» для удовлетворения всех их потребностей, только 30% американцев, японцев и немцев ответили «да». Похоже, они предпочитали носить с собой отдельный телефон, отдельную камеру и отдельный плеер вместо одного устройства, которое могло бы выполнять все три эти функции. Глядя на результаты опроса, генеральный директор Microsoft Стив Балмер сказал: «Никаких шансов, что айфон получит значительную долю рынка. Никаких шансов». Айфон не доказал, что опрос был ошибочным. Как объясняет автор исследования Дерек Томпсон, опрос точно измерил «безразличие участников к продукту, который они не видели и не понимали». Другими словами, опрос не соответствовал правилу «тестируй так, будто уже летишь». Думать о гипотетическом айфоне – совсем не то же, что видеть его вживую. Как только потребители увидели айфон в магазинах, как только они познакомились с брендом и подержали в руках новое революционное устройство, они не смогли его отпустить. Их безразличие быстро стало желанием. Вопрос, который обычно задают компании клиентам в экспериментах по ценообразованию: сколько бы вы заплатили за эту пару обуви? Подумайте об этом. Когда в последний раз вам задавали этот вопрос в реальной жизни? Думаю, никогда. Одно дело, когда клиенты говорят, что они купят гипотетическую обувь по гипотетической цене. Но совсем другое – когда они лезут в свой бумажник, вытаскивают оттуда с трудом заработанные деньги и отдают их кассиру. Обувной компании намного проще сшить настоящий прототип обуви, положить пару в настоящий магазин и продать реальному покупателю – то есть тестировать так, будто уже летит. Заказать книгу «Думай как Илон Маск. И другие простые стратегии для гигантского скачка в работе и жизни» можно здесь на русском и здесь на украинском языке. Эффект наблюдателя Эффект наблюдателя одно из самых ошибочно понимаемых понятий в науке. Он породил псевдонаучные утверждения о том, что сознательный разум может, как по волшебству, менять реальность и заставлять ложку двигаться но столу. Но научная концепция проста. Наблюдая явление, вы можете на него повлиять. Подумайте об этом, как о монете, застрявшей между подушками дивана. Любая попытка достать монету лишь толкает ее еще глубже. На людей же акт наблюдения действует иначе. Когда люди знают, что за ними наблюдают, они ведут себя по-другому. Возьмем, к примеру, коня Умного Ганса. Ганс был животным, которое подошло к ракетостроителю ближе остальных. Он прославился на весь мир благодаря своей способности производить математические операции. Его владелец Вильгельм фон Остин просил аудиторию задать математическую задачку. Кто-то кричал: «Сколько будет шесть плюс четыре?» – и Ганс стучал копытом десять раз. Его способности выходили за рамки простого сложения. Он умел вычитать, умножать и даже делить. Люди подозревали мошенничество, но независимые исследователи не нашли никакого подвоха. Но молодой студент-психолог по имени Оскар Пфунгст понял, что происходит на самом деле. Ганс мог дать правильный ответ, только если видел человека, задавшего вопрос. Математический гений исчезал, если на коне были шоры или он не видел человека. Как оказалось, люди, задающие вопросы, сами невольно подавали коню сигналы. Как пишет Стюарт Фаерштейн: «Люди напрягали мышцы тела и лица, когда Ганс начинал отвечать, и расслаблялись, когда он достигал правильного числа ударов копыт». Примечательно, что, даже раскрыв секрет Ганса, Пфунгст не мог удержаться, чтобы бессознательно не подать знак коню. Поведение Пфунгста невольно менялось, когда Ганс подходил к нужному числу ударов копыт. Один из способов ослабить этот эффект – надеть шоры и на человека, задающего вопросы, и на коня, проведя так называемое двойное слепое исследование. Например, при тестировании лекарств и участники исследования, и проводящие его ученые остаются в неведении – то есть дважды слепы – о том, получают ли участники настоящий препарат или поддельный, называемый плацебо. Без двойного слепого метода ученые могут вложить в исследование свои надежды и предубеждения, по-разному обращаясь с участниками или бессознательно подталкивая их, как люди, обращавшиеся к Гансу. Заказать книгу «Думай как Илон Маск. И другие простые стратегии для гигантского скачка в работе и жизни» можно здесь на русском и здесь на украинском языке. Многократное тестирование Фейсбук был разработан в 2006 году, когда «текст веб-сайта был тяжелым для восприятия», как сказала мне Джули Чжо, вице-президент по дизайну продуктов Facebook. С появлением телефонов с камерами компания захотела создать более визуальный опыт. После полугода работы разработчики Фейсбука создали инновационный и ультрасовременный сайт. Они протестировали его внутри компании, и все было хорошо. Запустив сайт, все стали ждать похвалы. Но их ждало грубое разочарование. Метрики показали, что редизайн обернулся колоссальным провалом. «Люди стали меньше пользоваться Фейсбуком. Они стали меньше комментировать и общаться», – объяснила мне Чжо. Разработчикам потребовалось несколько месяцев исследований, чтобы понять, что пошло не так. Они тестировали новый сайт на высокотехнологичных компьютерах в офисах Facebook. Но у подавляющего большинства пользователей нет доступа к первоклассному оборудованию, поэтому они заходили на сайт со старых компьютеров, не поддерживавших утяжеленные изображения, которые принес редизайн. Иными словами, для большинства пользователей полет Фейсбука сильно отличался от тестирования. Только когда разработчики сменили свои инструменты тестирования и использовали низко-, а не высокотехнологичное оборудование, они создали дизайн, который подошел их пользователям. *** Каждый из нас может вынести из этих примеров важный урок. Относитесь к своим инструментам тестирования как к инвестициям и диверсифицируйте их. Если вы создаете сайт, протестируйте его на разных браузерах и на разных компьютерах. Если вы разрабатываете детскую зубную щетку, понаблюдайте за тем, как чистят зубы множество детей, иначе вы получите одного чудо-ребенка, который использует зубную щетку как взрослый. Если вы решаете, какое предложение работы принять, используйте несколько калибровочных мишеней. Мнение одного человека может дать вам лишь нечеткую перспективу. Только благодаря независимой оценке и множеству источников тестирования вы приблизитесь к идеальному зрению. Заказать книгу «Думай как Илон Маск. И другие простые стратегии для гигантского скачка в работе и жизни» можно здесь на русском и здесь на украинском языке.