@seeallochnaya TG
Sierra AI, стартап одного из директоров OpenAI (да, так бывает — они ещё и партнёрятся), написали блогпост о том, как они изменили собеседования программистов в эпоху AI. Про необходимость такого изменения я говорил уже давно, ещё до агентов (потому что старые модели всё равно хорошо справлялись с Leetcode-like задачами).
Итак:
— раньше было 2 кодинг интервью и по одному на ML-алгоритмы, дизайн систем и соответствие культуре команды. Такой подход используется много где.
— теперь первые 3 собеседования заменили на одно. Сессия начинается с определения продукта, который необходимо разработать. Кандидат управляет процессом генерации идей, а интервьюеры задают дополнительные вопросы для углубления. Идеи продукта могут быть разными, и компания старается фокусироваться на области компетенции кандидата, чтобы увидеть его продуктовое мышление в действии.
— далее интервьюер выходит, а кандидат в течение 2 часов воплощает свою идею в жизнь, используя ИИ-инструменты и фреймворки по своему выбору. После этого собеседующий подключается обратно и смотрит презентацию от кандидата. Обсуждаются ключевые этапы разработки продукта и принятые решения; анализируют код, чтобы понять их техническое совершество (модель данных, абстракции, расширяемость и т. д.); и обсуждают путь к масштабированию.
— Почему так? По мнению компании, с которым я согласен, это не только лучше отражает суть работы, но и дает более четкий сигнал. Гораздо проще оценить инициативность (меняют ли кандидаты направление, когда заходят в тупик?) и способность принимать взвешенные решения (как они определяют объем работы в рамках временных ограничений?).
— Это также делает процесс более увлекательным, даже если кандидаты поначалу нервничают. Чтобы обозначить ожидания, компания заранее отправляет критерии оценки и советы. Например, вполне допустимо сокращать объем работ по мере их выполнения.
— кроме этого, перед основными собеседованиями раньше был удалённый этап по видео-созвону. Но его переделали — теперь для отбора проводят собеседование по добавлению и отладке фичи. Кандидатам предоставляется кодовая база среднего размера и черновик с готовым кодом от коллеги, который вводит новую функциональность. Задача — загрузить и запустить код, изучить результат и доработать его.
— тут самое сложное это придумать задачу, которая не решается сходу агентами, и в то же время чтобы цикл не сводился к 10-минутному ожиданию ответа от агента. Так что пока компания экспериментирует с тем, какой уровень использования ИИ считать разумным.
Таким образом, первое интервью проверяет, как человек может работать в уже существующей среде, а главное второе собеседование — как человек креативит и создаёт концепты с нуля.
По итогам вышло так: «Мы просим каждого кандидата оставить отзыв, и многие говорят, что это было самое веселое собеседование, в котором они когда-либо участвовали...Этот формат не лишен недостатков. Он открытый, что затрудняет его стандартизацию. Чтобы смягчить это, мы разработали набор критериев оценки, которые не зависят от того, что создаст кандидат, и проводим собеседования в парах для улучшения калибровки. Мы также обсуждали, применим ли этот подход к инженерам инфраструктуры, и пришли к выводу, что да».
В общем звучит клёво, мне нравится. А вам как?
Итак:
— раньше было 2 кодинг интервью и по одному на ML-алгоритмы, дизайн систем и соответствие культуре команды. Такой подход используется много где.
— теперь первые 3 собеседования заменили на одно. Сессия начинается с определения продукта, который необходимо разработать. Кандидат управляет процессом генерации идей, а интервьюеры задают дополнительные вопросы для углубления. Идеи продукта могут быть разными, и компания старается фокусироваться на области компетенции кандидата, чтобы увидеть его продуктовое мышление в действии.
— далее интервьюер выходит, а кандидат в течение 2 часов воплощает свою идею в жизнь, используя ИИ-инструменты и фреймворки по своему выбору. После этого собеседующий подключается обратно и смотрит презентацию от кандидата. Обсуждаются ключевые этапы разработки продукта и принятые решения; анализируют код, чтобы понять их техническое совершество (модель данных, абстракции, расширяемость и т. д.); и обсуждают путь к масштабированию.
— Почему так? По мнению компании, с которым я согласен, это не только лучше отражает суть работы, но и дает более четкий сигнал. Гораздо проще оценить инициативность (меняют ли кандидаты направление, когда заходят в тупик?) и способность принимать взвешенные решения (как они определяют объем работы в рамках временных ограничений?).
— Это также делает процесс более увлекательным, даже если кандидаты поначалу нервничают. Чтобы обозначить ожидания, компания заранее отправляет критерии оценки и советы. Например, вполне допустимо сокращать объем работ по мере их выполнения.
— кроме этого, перед основными собеседованиями раньше был удалённый этап по видео-созвону. Но его переделали — теперь для отбора проводят собеседование по добавлению и отладке фичи. Кандидатам предоставляется кодовая база среднего размера и черновик с готовым кодом от коллеги, который вводит новую функциональность. Задача — загрузить и запустить код, изучить результат и доработать его.
— тут самое сложное это придумать задачу, которая не решается сходу агентами, и в то же время чтобы цикл не сводился к 10-минутному ожиданию ответа от агента. Так что пока компания экспериментирует с тем, какой уровень использования ИИ считать разумным.
Таким образом, первое интервью проверяет, как человек может работать в уже существующей среде, а главное второе собеседование — как человек креативит и создаёт концепты с нуля.
По итогам вышло так: «Мы просим каждого кандидата оставить отзыв, и многие говорят, что это было самое веселое собеседование, в котором они когда-либо участвовали...Этот формат не лишен недостатков. Он открытый, что затрудняет его стандартизацию. Чтобы смягчить это, мы разработали набор критериев оценки, которые не зависят от того, что создаст кандидат, и проводим собеседования в парах для улучшения калибровки. Мы также обсуждали, применим ли этот подход к инженерам инфраструктуры, и пришли к выводу, что да».
В общем звучит клёво, мне нравится. А вам как?
⭐ 4 ❤🔥 306 👍 188 🔥 51 👎 19 👨💻 7 
6 🤔 5 🤡 4 💩 2
6 🤔 5 🤡 4 💩 2 