Секреты успешного тестирования идей
«Тестируй так, будто уже летишь, лети так, будто уже тестируешь», — следовать этому принципу советует бывший инженер НАСА и автор книги «Думай как Илон Маск. И другие простые стратегии для гигантского скачка в работе и в жизни» Озан Варол. Он рассказывает о стратегиях, которыми пользуются астронавты и такие новаторы, как Илон Маск, и объясняет, как их использовать в жизни. Ведь порой старт нового проекта, знакомство с кем-то, переезд могут быть похожи на запуск ракеты. Те, кто может справиться с возникающими задачами самостоятельно и точно в срок, пользуются огромным преимуществом. Публикуем отрывок из книги Озана Варола, где автор делится секретами по проведению успешных тестирований идей.
.disclamer { display: block; background-color:#f3f9f9; font-family:sans-serif; font-size: smaller; text-align: left; padding: 10px; } .marker { background: #FFE3E0; background: linear-gradient(180deg,rgba(255,255,255,0) 45%, #FFE3E0 55%); }
Думай как Илон Маск. И другие простые стратегии для гигантского скачка в работе и жизни
Озан Варол
Издательство Бомбора, 2021
Миллионы американцев ждали этого момента. Обещание, данное молодым президентом, революция космических масштабов, вот-вот должно было осуществиться. Запуск космического корабля сильно отставал от графика. За несколько месяцев до запуска высказывались опасения о его готовности. Однако власти закрывали на это глаза и надеялись, что очевидные проблемы решатся сами собой. Им посоветовали отложить или вообще отменить его, но они отказались. Проверка на прочность, проведенная всего за день до запуска, выявила недостаток, который мог поставить под угрозу всю миссию.
Но результаты проверки проигнорировали, и на спусковой крючок нажимали в спешке, чтобы уложиться в сжатые сроки. Когда же начали поступать данные, экраны инженеров показали быстро разворачивающуюся историю жизни и смерти. Уронив челюсти, они смотрели, как мониторы становятся красными. Случилась катастрофа. Вскоре после старта корабль разбился и сгорел.
Но это не был запуск ракеты. Это был запуск healthcare.gov — центрального звена в законе о защите пациентов и доступном здравоохранении — знакового законодательного акта, принятого при президенте Бараке Обаме, чтобы обеспечить американцам доступную медицинскую страховку. Проект закона был обещанием, а веб-сайт — его исполнением, или должен был им быть. Американцы должны были использовать его для оформления и покупки страховки.
Но из-за технических проблем сайт рухнул сразу после запуска. Пользователи не могли выполнять даже такие основные операции, как создание новых учетных записей. Сайт неправильно рассчитывал субсидии на медицинское страхование, и пользователи не могли с ним справиться. В первый день работы сайта на получение страховки смогли зарегистрироваться только шесть человек.
Каким образом healthcare.gov, столь важный для успеха закона о защите пациентов и доступном здравоохранении, потерпел такую неудачу? Почему платформа, стоившая почти два миллиарда долларов, не справилась с основными командами? Ракеты и веб-сайты — это не одно и то же, но у них есть по крайней мере одна общая черта.
Они потерпят неудачу, если вы не будете следовать краеугольному принципу ракетостроения, называемому «тестируй так, будто уже летишь, лети так, будто еще тестируешь»
Именно этому принципу и посвящена эта глава. Я объясню, как вы можете использовать этот принцип, чтобы проверить идеи, сгенерированные вами в первой части этой книги («Запуск»), и убедиться, что у них есть хорошие шансы на осуществление.
Вы узнаете, почему мы обманываем себя, когда проводим тесты и генеральные репетиции, и что с этим делать. Я покажу, что вы можете узнать из дефекта, который испортил космический телескоп «Хаббл», стоящий полтора миллиарда долларов, и почему один из самых популярных потребительских продуктов всех времен почти не производился. Вы узнаете, почему успешный комик регулярно наведывается в крошечные комедийные клубы и как известный адвокат и всемирно известный участник соревнования по преодолению препятствий используют одну и ту же стратегию из сферы ракетостроения, чтобы преуспеть в своих областях.
Мы корректируем условия тестирования или интерпретируем неоднозначные результаты так, чтобы подтвердить свои предубеждения.
Проблема с тестами
Большинство наших жизненных решений основаны не на тестах, а на догадках и ограниченной информации. Мы запускаем новый продукт, меняем карьеру или пробуем новый маркетинговый подход — и все это без единого эксперимента. Мы виним в отсутствии тестов недостаток ресурсов, но не признаем затраты на новые подходы, которые в конечном итоге терпят неудачу.
Даже проводя тесты, мы выполняем поверхностные репетиции, которые вдобавок являются частью самообмана. Мы проводим тесты не для того, чтобы доказать свою неправоту, а для того, чтобы подтвердить то, что мы считаем истинным. Мы корректируем условия тестирования или интерпретируем неоднозначные результаты так, чтобы подтвердить свои предубеждения.
Профессора Гарварда и Уортонской школы бизнеса опросили 32 передовые розничные компании, чтобы изучить их практику тестирования. Исследователи обнаружили, что 78% фирм тестировали новые продукты в магазинах перед их запуском. Впечатляющее число, но не условия тестирования. По словам исследователей, компании считали, «что их продукция будет хорошо продаваться, несмотря на неприятные результаты испытаний», и обвиняли «погоду (плохую или хорошую), плохой выбор тестовых площадок, плохое проведение тестов и другие факторы менее выгодных продаж». Другими словами, ретейлеры сделали все, чтобы тест соответствовал их ожиданиям, а не корректировали свои ожидания в соответствии с результатами теста.
В хорошо продуманном тесте результаты не предопределены заранее. Вы должны быть готовы потерпеть неудачу. Тест должен проводиться, чтобы пролить свет на неопределенность, а не подтвердить предубеждения. Об этом очень удачно выразился Фейнман: «Если что-то противоречит условиям эксперимента — это неправильно. В этом простом утверждении — ключ к науке. Не важно, насколько идеальна ваша догадка, насколько вы умны, кто сделал эту догадку или как его зовут, — если это не согласуется с экспериментом, все это неправильно».
Самообман — лишь часть проблемы. Другая ее часть — разрыв между реальностью и условиями тестирования
Фокус-группы и группы испытуемых часто помещают в искусственные условия и задают им вопросы, которые они никогда не слышали в реальной жизни. В результате этих «экспериментов» получаются отшлифованные и в корне неверные выводы.
Ракетостроение же предлагает путь вперед с обманчиво простым принципом: тестируй так, будто уже летишь, лети так, будто еще тестируешь. Согласно этому принципу эксперименты на Земле должны в максимально возможной степени имитировать условия полета. Ракетостроители проверяют космический аппарат так, словно он уже запущен. Если испытание проходит успешно, полет должен проходить в аналогичных условиях. Любое существенное отклонение между тестированием и по- летом может привести к катастрофе — будь то ракета, государственный сайт, собеседование или ваш следующий продукт.
При правильном тестировании цель состоит не в том, чтобы обнаружить все, что может пойти правильно. Напротив, цель в том, чтобы найти все, что может пойти не так, и найти предел прочности.
Чудовище Франкенштейна
В каком-то смысле космический корабль ничем не отличается от вашего бизнеса, тела или любимой спортивной команды. Все это представляет собой систему, состоящую из взаимосвязанных подсистем, взаимодействующих друг с другом и влияющих на работу друг друга.
Тестировать так, будто уже летишь, требует многоуровневого подхода. Ракетостроители начинают тестирование с субкомпонентов, например, отдельных камер, которые будут формировать систему обзора марсохода, или кабелей и разъемов. После того как камеры будут полностью собраны, систему обзора снова тестируют целиком.
Причина такого подхода хорошо изложена в суфийском учении: «Вы думаете, что если вы понимаете что-то «одно», то должны понимать и «второе», потому что один и один равняются двум. Но вы забываете, что также должны понимать “и”». Компоненты, которые правильно функционируют по отдельности, могут не сработаться после сборки. Другими словами, система может производить эффекты, отличные от ее отдельных компонентов.
Эти системные эффекты могут быть катастрофическими. Само по себе лекарство может приносить потрясающие результаты, но оказаться смертельным во взаимодействии с другими препаратами. Плагины на вашем сайте могут хорошо работать порознь, но вызвать катастрофу, находясь в системе. Спортсмены могут быть талантливы поодиночке, но плохо работать в команде. Мы можем назвать эту проблему чудовищем Франкенштейна, собранного из человеческих тел. Но когда они собираются вместе, результат становится совсем не человеческим.
Рассмотрим пример другого монстра. Когда Адольф Гитлер пришел к власти, немецкая конституция была одной из самых «изощренных» в мире. В ней содержались два, казалось бы, безвредных положения. Одно из них позволяло рейхспрезиденту объявить чрезвычайное положение, которое парламент мог бы отменить простым большинством голосов. Другое позволяло ему же распустить парламент и назначить новые выборы. Немецкие парламентарии имели привычку делиться на два лагеря при встрече с тупиковой ситуацией, поэтому второе положение и было призвано решить эту проблему. Хотя по отдельности оба они казались мудрыми, но вместе оказались злонамеренными, или, как называет это исследователь конституционного права Ким Лейн Шеппели, «Франкенштейном».
В начале 1930-х годов Пауль фон Гинденбург воспользовался своей конституционной властью, чтобы распустить зашедший в тупик парламент. Перед выборами Гинденбург по настоянию канцлера Гитлера ввел чрезвычайное положение. Этот указ приостановил действие почти всех гражданских свобод в Германии. Хотя парламент и обладал конституционным правом отменить чрезвычайное положение, теперь в стране не оказалось законодательного органа, способного воспользоваться этим правом. Штурмовики и эсэсовцы немедленно начали широкомасштабную чистку всех противников нацизма. Используя в качестве предлога чрезвычайное положение, нацисты усилили контроль над страной и установили однопартийную диктатуру во главе с Гитлером. Одно из самых ужасных государств в мире возникло без единого нарушения конституции.
Подобная ошибка проектирования также была возможной причиной крушения Mars Polar Lander в 1999 году. Когда аппарат приближался к поверхности Марса на своих ракетных двигателях, три его подушки безопасности раскрылись в 1500 метрах над поверхностью. Хотя мы и не знаем наверняка, что произошло, возможно, аппарат неправильно интерпретировал толчок от раскрытия подушки безопасности как приземление на поверхность. Но аппарат еще не приземлился — он только опускался. А компьютер преждевременно отключил спусковые двигатели и отправил корабль в роковое падение.
Команда Mars Polar Lander проверила посадку, включая раскрытие подушек безопасности. Во время первого испытания электрический выключатель на подушках был подключен неправильно и не издавал сигнала. Члены команды обнаружили осечку и провели тест еще раз. Но из-за того, что они выбились из графика, они сосредоточились только на самом приземлении и пропустили проверку раскрытия подушек безопасности, которое должно было произойти до приземления. Хотя проверка показала, что переключатели были подключены правильно, роковая ошибка в раскрытии подушек безопасности осталась неисправленной. НАСА так и не провело повторных испытаний этой фазы с внесенными изменениями, и в результате на поверхности Марса появилась дымящаяся дыра.
Как показывают эти примеры, отказ от системного тестирования может привести к непредсказуемым последствиям. Когда вы вносите изменения в продукт в последнюю минуту и завершаете над ним работу, не проверяя все заново, вы рискуете столкнуться с катастрофой. Когда вы вносите изменения в раздел юридического обоснования, не изучая, как они взаимодействуют со всей системой, вы сталкиваетесь с недобросовестностью. Когда вы заключаете субподрядный договор на разработку крупной правительственной программы с шестьюдесятью подрядчиками, но не испытываете комбинированную систему — как это было с healthcare.gov, — вы приближаете катастрофу.
В ракетостроении есть еще один элемент, который нужно протестировать перед взлетом. Он гораздо непредсказуемее всего космического корабля. Он паникует. Он многое забывает. Он может столкнуться с другими объектами или случайно нажать не на ту кнопку. Он может впасть в гнев, заболеть или пренебречь важной работой, чтобы насладиться космическим пейзажем.
Разумеется, речь о людях на борту.
В рубрике «Открытое чтение» мы публикуем отрывки из книг в том виде, в котором их предоставляют издатели. Незначительные сокращения обозначены многоточием в квадратных скобках. Мнение автора может не совпадать с мнением редакции.