70% of machine learning engineering candidates I interviewed failed in the same round. And the thing is, it's actually really easy to pass. All you need to know is what you're doing.

Having worked at companies like Adobe, Twitter, and Meta, I spent the last 10 years on both sides of this interview and realized it all comes down to acing these six things.

So in this video, I'll reveal what kinds of questions I had to answer to land a job at Meta, share my system for answering any machine learning design questions your interviewer might throw at you, and I'll even give you one stellar strategy to prepare in less than a day.

But before I can share my system with you, you first need to realize that you're preparing for your interview all wrong.

If you're spending the hours leading up to your interview reading up on loss functions, then you're wasting your time. The thing that trips up most candidates has nothing to do with their ML knowledge.

I played a lot of Microsoft Flight Simulator when I was in college. I know where every button and instrument gauge is on a Cessna 150.

Recently, I had a chance to take a yoke of an actual plane, and, uh, well, my friend had to take over to keep us both safe.

The things that keep you from landing your dream job are not about the buttons, but the feel of the interview.

Specifically, insufficient understanding of the question, confusing your interviewer, and poor time management. And that's where my system comes in. Using this system allowed me to prepare for my interview at Meta in half a day, and the interviewer was so impressed that I got an up-level from the senior position I was interviewing for to staff.

Interviewing at FAANG companies, especially at senior levels, is like shooting for the moon. Say you were actually to be tasked with that.

I give you unlimited funding and say, "Fly to the moon! It's up there," and vaguely point up in the sky.

This is sort of what the ML design interviewers do. They give you a generic question and then sit back watching your space-faring dreams sail by.

Being off by even half a degree on your course to the moon already assures you will never get there. If you don't fully understand the problem, you might overcomplicate the solution or fall short of addressing it fully.

Make sure you take 5 minutes or so to really understand the question.

You sound a lot more competent when you make assumptions than when you pester your interviewer with questions. So limit the amount of clarifying questions you ask, and instead of panicking about details like exactly how many users do Facebook have, just say, "Facebook has about 3 billion users." This next stage should take you about 6 minutes, but if you neglect it, you will spend much more time in back-and-forth explanations with your interviewer.

Sadly, too many ML interviews fail because they use this stage as the opportunity to dive deep into rabbit holes, showing complete inability to do the high-level design and wasting precious time, making it impossible to recover.

Instead, you need a rocket blueprint. You need to be very deliberate about building a very high-level system diagram with barely enough detail to address main requirements of the problem.

So instead of XGBoost, you need to think "model" and leave the specifics to a later stage.

Doing this avoids most miscommunications between you and your interviewer. Be familiar with whiteboarding software you will use in the interview.

You do not want three out of six minutes in this stage to go to figuring out how to draw a square.

While having a good plan goes a long way toward clearing this interview, this next part is the second largest component of your score. Everything you have done in the first 11 minutes is a great setup for a successful interview, but this stage is where ignition happens.

The rocket lifts off the launchpad. The objective of the next stage is to pick up speed and not experience a rapid unscheduled disassembly.

I know I have experienced a few of those in my interviews over the years.

How about you? Let me know in the comments. If you have done the pre-work, this is the fun part.

Of course, I'm talking about data considerations, and there are a lot of data questions to consider. To get this pace, you must at least understand what your labels are and where they will be coming from.

Understand what your features are and how to translate them into numbers. Understand how to normalize those numbers.

Understand how to split your data set. Are your data imbalanced? They almost always are. How will you address that? This part should take you about 8 to 9 minutes.

Note that this is a lot of ground to cover in a short amount of time. You should not discuss every feature, just a few representative ones.

Congratulations, you're in low Earth orbit, but this next boost will get you all the way to the moon. This section covers the most important thing your interviewer is looking for.

The next 15 to 16 minutes are critical. This is no longer time for clarification. You need to make the most out of your time.

Your task in this stage is to talk about modeling metrics and training, as well as overfitting and other issues that may come up like cold start and time travel problems, and propose solutions to them.

This is where you demonstrate your machine learning knowledge targeted to the scenario your interviewer actually cares.

about, while this is a lot of material and you may be asked a wide range of questions, don't panic. At its core, almost all of machine learning is either about classification or regression.

And in fact, many problems can be solved with either. Once you define your problem as one of those, there are standard paths that will keep you safe.

Congratulations, you're now as successful as Apollo 13. Wait, no, that's a bad one. Apollo 8. Both were piloted by Jim Lovell. Anyway, Apollo 8 is a pretty good comparison here.

Though it was a test mission that went around the Moon without landing earlier in the Apollo program. If you're early in your career, you may already have it in the bag, but just to be sure, or if you're looking at more senior jobs, let's land on the Moon.

Stage five. You have 5 minutes to knock the interviewer's socks off. Your one small step. Interviewers will sometimes focus on how to launch and operate a machine learning system in production.

But if you are an expert in training parallelization or online evaluation techniques, this is your time to shine.

There are often multiple ways to solve the problems you will find in this section. At least once, you should come up with trade-offs between two or more reasonable solutions and make strong recommendations for one of them.

Wait, I thought you told me there were six stages. Indeed. While the rest of the world was rooting for Neil Armstrong to step on the Moon, I am sure his family would not have liked the mission as much if he didn't land safely.

It would be a big bummer to break into the company that breaks your will to be in the industry. So use the remaining time to ask the interviewer questions about working at the company.

You only have time for one or two questions here, so make them count. If you follow these steps with more or less suggested timing, you will ace your ML design interview no matter what question is asked.

But you want to know what questions are usually asked, don't you?

Well, I have some good news for you. The great majority of the questions for machine learning design interview come from just a couple of areas of machine learning.

And even if these are not your area, you can get up to speed on these by reading just a few papers and blog posts linked in the description.

Most big tech companies focus on only two types of questions for their generalist positions.

These two question types are popular because they test a broad swath of machine learning knowledge and the interviewer can dive into a lot of places to understand what you know.

The second most common type of question for this interview is harmful content or inappropriate content, something like detecting a firearm in an Amazon listing or nudity in a social media post.

This is the type of question I got asked that sealed the E6 Meta offer for me.

But even more common is the question I asked as an interviewer in big tech: design a recommender system, something like Twitter timeline or Amazon product recommendation.

For specialized roles and in smaller companies, the questions tend to be very targeted to what your role will be.

If you are a vision specialist, expect to design a vision system. While machine learning is a very deep field, a handful of areas are overrepresented in ML design questions.

However, you should never assume that you will get one of those problems. Instead, let's talk about how you would study so it doesn't matter what questions you get asked.

Machine Learning System Design Round is one of the many interviews you're preparing for on top of all the other things you're doing.

How do you prepare for it fast and without sacrificing sleep? Luckily, in addition to my experience applying to Meta, I have since helped dozens of people get into FAANG companies at levels from new grad to principal engineer with this advice.

And you already know the first step from earlier in this video.

There's an apocryphal story of Charles Proteus Steinmetz, a renowned electrical engineer, who was called to fix a generator for Henry Ford.

After marking a spot with chalk and instructing the engineers to make specific adjustments, he charged $10,000: $1, as he said, for the chalk mark and $9,999 for knowing where to place it.

Understanding the six stages of the interview is the absolute prerequisite to doing this efficiently. Pick one of the questions I mentioned in this video and go through how you would answer each stage in brief.

If you know offline metrics really well, just check them off your list.

This is your $9,999 task: figure out where to place your efforts. Then you read up on topics you identified as weak spots.

Utilize resources in the description when you need them. Skip the ones you already know. At this point, you have learned to swim by reading a book.

Well, remember when you tried to learn how to swim using the internet? I did learn how to swim on the floor.

The skills are transferable. I just have no interest in going in the water. Kudos. However, a real pool full of water may present some different challenges.

Whatever else you do, plan to do two full mock interviews. You can do a paid mock, just be very careful to look through reviews, or just buddy up with a friend who is at a similar level.

I will walk you through how to conduct a mock interview in a future video on this channel.

If you apply what you learned in this video, do a few hours of additional research to fill the gaps in your understanding, and do two mock interviews, you will be perfectly positioned to ace your ML system design interview.

Getting through the ML design round is only part of what it takes to have a stellar career in big Tech.

To learn more about what it takes to be an MLE, hit subscribe so you won't miss my future videos.

This ML Design Interview strategy got me into Meta

MLEpath

제가 인터뷰했던 머신러닝 엔지니어링 지원자 중 70%가 똑같은 단계에서 탈락했습니다. 사실 통과하기는 정말 쉽습니다. 무엇을 하고 있는지 알기만 하면 됩니다.

어도비, 트위터, 메타 같은 회사에서 일하면서 지난 10년간 인터뷰를 하는 사람과 받는 사람 모두의 입장이 되어보니 결국 이 6가지 사항을 잘 해내는 데 달려 있다는 것을 깨달았습니다.

그래서 이 비디오에서는 메타에서 일자리를 얻기 위해 제가 답해야 했던 질문의 종류를 밝히고, 면접관이 던질 수 있는 머신러닝 설계 질문에 답하는 저만의 시스템을 공유하고, 하루도 안 되는 시간에 대비할 수 있는 훌륭한 전략도 알려드리겠습니다.

하지만 제 시스템을 공유하기 전에 먼저 인터뷰 준비를 잘못하고 있다는 것을 알아야 합니다.

인터뷰 직전에 손실 함수를 읽으면서 시간을 보내고 있다면 시간을 낭비하는 것입니다. 대부분의 지원자를 넘어뜨리는 것은 ML 지식과는 아무 관련이 없습니다.

저는 대학 시절에 Microsoft Flight Simulator를 많이 했습니다. Cessna 150의 모든 버튼과 계기판이 어디에 있는지 알고 있습니다.

최근에 실제 비행기의 조종간을 잡을 기회가 있었는데, 음, 제 친구가 우리 둘 다 안전하게 지키기 위해 조종간을 넘겨받아야 했습니다.

꿈의 직업을 얻지 못하게 하는 것은 버튼에 관한 것이 아니라 인터뷰의 느낌에 관한 것입니다.

구체적으로 질문에 대한 불충분한 이해, 면접관을 혼란스럽게 하는 것, 시간 관리 부족입니다. 그리고 바로 여기에 제 시스템이 있습니다. 이 시스템을 사용하면 반나절 만에 메타 인터뷰를 준비할 수 있었고, 면접관은 제가 인터뷰를 보던 선임 직책에서 스태프 직책으로 승진할 정도로 깊은 인상을 받았습니다.

FAANG 회사, 특히 고위직에서의 인터뷰는 달을 향해 쏘는 것과 같습니다. 실제로 그러한 임무를 맡게 되었다고 가정해 보겠습니다.

무제한 자금을 제공하고 "달로 날아가세요! 저기 있어요."라고 말하며 하늘을 막연하게 가리킵니다.

이것이 ML 설계 인터뷰 담당자가 하는 일과 같습니다. 그들은 일반적인 질문을 던지고 여러분의 우주 비행 꿈이 실현되는 것을 지켜봅니다.

달로 가는 코스에서 반도만 벗어나도 결코 그곳에 도착할 수 없습니다. 문제를 완전히 이해하지 못하면 해결책을 지나치게 복잡하게 만들거나 완전히 해결하지 못할 수 있습니다.

질문을 제대로 이해하는 데 5분 정도 시간을 할애하세요.

면접관에게 질문을 퍼붓는 것보다 가정을 할 때 훨씬 더 유능하게 들립니다. 따라서 명확하게 묻는 질문의 양을 제한하고, 페이스북 사용자 수가 정확히 몇 명인지와 같은 세부 사항에 대해 당황하는 대신 "페이스북 사용자 수는 약 30억 명입니다."라고 말하세요. 다음 단계는 약 6분 정도 걸리지만, 소홀히 하면 면접관과 앞뒤로 설명하는 데 훨씬 더 많은 시간을 할애하게 될 것입니다.

안타깝게도 너무 많은 ML 면접이 이 단계를 토끼굴에 깊숙이 빠져드는 기회로 활용하여 고차원 설계를 수행하는 능력이 완전히 부족함을 보여주고 귀중한 시간을 낭비하여 회복이 불가능하게 만듭니다.

대신 로켓 청사진이 필요합니다. 문제의 주요 요구 사항을 해결하기에 충분한 세부 사항만으로 매우 높은 수준의 시스템 다이어그램을 구축하는 데 매우 신중해야 합니다.

따라서 XGBoost 대신 "모델"이라고 생각하고 구체적인 내용은 나중 단계로 미루어야 합니다.

이렇게 하면 면접관과의 대부분의 오해를 피할 수 있습니다. 면접에서 사용할 화이트보드 소프트웨어에 익숙해지세요.

이 단계에서 6분 중 3분을 사각형을 그리는 방법을 알아내는 데 쓰고 싶지는 않을 것입니다.

좋은 계획을 세우는 것이 이 면접을 통과하는 데 큰 도움이 되지만, 다음 부분은 점수의 두 번째로 큰 구성 요소입니다. 처음 11분 동안 수행한 모든 작업은 성공적인 면접을 위한 훌륭한 준비이지만, 이 단계는 점화가 일어나는 곳입니다.

로켓이 발사대에서 이륙합니다. 다음 단계의 목표는 속도를 높이고 계획되지 않은 빠른 해체를 경험하지 않는 것입니다.

지난 몇 년 동안 면접에서 몇 번 경험했습니다.

여러분은 어떠신가요? 댓글로 알려주세요. 사전 작업을 완료했다면 재미있는 부분입니다.

물론 데이터 고려 사항에 대해 이야기하고 있으며 고려해야 할 데이터 질문이 많이 있습니다. 이 속도를 얻으려면 최소한 레이블이 무엇인지, 어디에서 가져올 것인지 이해해야 합니다.

특징이 무엇인지, 숫자로 변환하는 방법을 이해합니다. 해당 숫자를 정규화하는 방법을 이해합니다.

데이터 세트를 분할하는 방법을 이해합니다. 데이터가 불균형한가요? 거의 항상 그렇습니다. 어떻게 해결하시겠습니까? 이 부분은 약 8~9분 정도 걸립니다.

이 점을 명심하세요. 짧은 시간 안에 다뤄야 할 내용이 많습니다. 모든 기능을 다 설명할 필요는 없고, 몇 가지 대표적인 기능만 설명하면 됩니다.

축하합니다. 이제 저궤도에 진입했지만, 다음 단계에서는 달까지 갈 수 있습니다. 이 섹션에서는 면접관이 가장 중요하게 생각하는 부분을 다룹니다.

앞으로 15~16분이 매우 중요합니다. 더 이상 설명을 들을 시간이 없습니다. 시간을 최대한 활용해야 합니다.

이 단계에서는 모델링 지표 및 학습, 과적합, 콜드 스타트 및 시간 여행 문제와 같이 발생할 수 있는 기타 문제에 대해 이야기하고 이에 대한 해결책을 제시해야 합니다.

이것은 면접관이 실제로 관심을 갖는 시나리오에 맞춰 머신 러닝 지식을 보여주는 단계입니다.

이것은 많은 자료이고 광범위한 질문을 받을 수 있지만 당황하지 마세요. 핵심적으로 머신 러닝의 거의 모든 것은 분류 또는 회귀에 관한 것입니다.

사실 많은 문제는 둘 중 하나로 해결할 수 있습니다. 문제를 둘 중 하나로 정의하면 안전하게 진행할 수 있는 표준 경로가 있습니다.

축하합니다. 이제 아폴로 13호만큼 성공했습니다. 잠깐, 그건 안 좋은 예시네요. 아폴로 8호입니다. 둘 다 짐 러벨이 조종했습니다. 어쨌든 아폴로 8호가 여기서 비교하기에 꽤 좋습니다.

아폴로 계획 초기에 달에 착륙하지 않고 달 주위를 돌았던 시험 임무였습니다. 경력이 짧다면 이미 합격했을 수도 있지만, 확실히 하거나 더 높은 직책을 노리고 있다면 달에 착륙해 봅시다.

5단계입니다. 면접관을 감동시킬 시간이 5분 있습니다. 여러분의 작은 발걸음입니다. 면접관은 때때로 머신 러닝 시스템을 생산 환경에서 시작하고 운영하는 방법에 초점을 맞출 것입니다.

하지만 훈련 병렬화 또는 온라인 평가 기술 전문가라면 지금이 바로 빛을 발할 때입니다.

이 섹션에서 발견할 수 있는 문제를 해결하는 방법은 여러 가지인 경우가 많습니다. 적어도 한 번 이상 두 개 이상의 합리적인 해결책 간의 장단점을 파악하고 그중 하나를 강력하게 추천해야 합니다.

잠깐, 6단계가 있다고 하지 않았나요? 맞습니다. 전 세계가 닐 암스트롱이 달에 발을 디디기를 응원했지만, 그가 안전하게 착륙하지 못했다면 그의 가족은 그 임무를 그다지 좋아하지 않았을 것입니다.

6단계는 여러분만을 위한 것입니다.

회사에 어렵게 들어갔는데, 그 회사 때문에 업계에 대한 의지가 꺾이면 정말 안타까울 겁니다. 그러니 남은 시간을 활용해서 면접관에게 회사에 대해 질문하세요.

여기서는 한두 질문 정도밖에 할 시간이 없으니, 신중하게 질문해야 합니다. 제시된 시간 배분과 절차를 따르면 어떤 ML 디자인 면접 질문에도 잘 대처할 수 있을 겁니다.

어떤 질문이 주로 나오는지 궁금하시죠?

좋은 소식이 있습니다. 머신러닝 디자인 면접 질문의 대부분은 몇 가지 머신러닝 분야에서 나옵니다.

본인 전문 분야가 아니더라도, 영상 설명란에 링크된 논문과 블로그 글 몇 개만 읽으면 금방 따라갈 수 있습니다.

대부분의 빅테크 기업은 제너럴리스트 포지션 채용 시 두 가지 유형의 질문에 집중합니다.

이 두 가지 질문 유형은 머신러닝 지식 전반을 테스트할 수 있고, 면접관이 지원자의 지식 수준을 파악하기 위해 다양한 부분을 깊이 있게 파고들 수 있기 때문에 인기가 많습니다.

이 면접에서 두 번째로 흔한 질문 유형은 유해하거나 부적절한 콘텐츠, 예를 들어 아마존 상품 목록에서 총기류를 감지하거나 소셜 미디어 게시물에서 노출을 감지하는 것과 관련된 질문입니다.

이 질문 덕분에 E6 직급으로 메타에서 오퍼를 받을 수 있었습니다.

하지만 제가 빅테크 면접관으로서 더 많이 했던 질문은 트위터 타임라인이나 아마존 상품 추천과 같은 추천 시스템을 설계하는 것이었습니다.

전문 분야 채용이나 소규모 회사의 경우, 질문이 지원자의 역할에 맞춰 매우 구체적인 경향이 있습니다.

비전 전문가라면 비전 시스템 설계 질문을 받을 가능성이 높습니다. 머신러닝은 매우 심오한 분야이지만, ML 디자인 질문에서는 몇몇 분야가 지나치게 많이 나옵니다.

하지만 특정 문제가 나올 거라고 가정해서는 안 됩니다. 대신 어떤 질문을 받더라도 상관없이 공부하는 방법에 대해 이야기해 봅시다.

머신러닝 시스템 설계 면접은 다른 여러 면접과 병행해서 준비해야 하는 면접 중 하나입니다.

잠도 줄이지 않고 빠르게 준비하려면 어떻게 해야 할까요? 다행히도 메타 지원 경험 외에도, 이 조언을 통해 수십 명의 사람들이 신입부터 주요 엔지니어 직급으로 FAANG 기업에 합격하도록 도왔습니다.

그리고 이 비디오 앞부분에서 첫 번째 단계가 무엇인지 이미 아실 겁니다.

찰스 프로테우스 스타인메츠라는 유명한 전기 엔지니어에 대한 일화가 있습니다. 헨리 포드가 발전기 수리를 위해 그를 불렀다고 합니다.

그는 분필로 한 곳을 표시하고 엔지니어들에게 특정 조정을 지시한 후 만 달러를 청구했습니다. 그가 말하길, 분필 표시에 1달러, 어디에 표시해야 하는지 아는 것에 9,999달러라고 했습니다.

인터뷰의 6단계를 이해하는 것은 효율적으로 인터뷰를 치르기 위한 절대적인 전제 조건입니다. 이 영상에서 제가 언급한 질문 중 하나를 골라 각 단계에 어떻게 답변할지 간략하게 살펴보세요.

오프라인 지표를 정말 잘 알고 있다면 목록에서 확인만 하세요.

이것이 바로 여러분의 9,999달러짜리 과제입니다. 노력을 집중할 곳을 파악하고, 약점으로 파악된 주제를 공부하세요.

필요할 때 설명란의 자료를 활용하세요. 이미 알고 있는 내용은 건너뛰세요. 이 시점에서 여러분은 책을 읽고 수영하는 법을 배웠습니다.

인터넷으로 수영하는 법을 배우려고 했던 때를 기억하시나요? 저는 바닥에서 수영하는 법을 배웠습니다.

기술은 이전될 수 있습니다. 저는 물에 들어가는 데 관심이 없을 뿐입니다. 훌륭합니다. 하지만 물이 가득 찬 실제 수영장은 몇 가지 다른 어려움을 제시할 수 있습니다.

다른 어떤 것을 하든, 모의 인터뷰를 두 번 전체로 계획하세요. 유료 모의 인터뷰를 할 수도 있지만, 리뷰를 꼼꼼히 살펴보거나 비슷한 수준의 친구와 함께 하세요.

앞으로 이 채널에서 모의 인터뷰를 진행하는 방법을 안내해 드리겠습니다.

이 영상에서 배운 내용을 적용하고, 이해가 부족한 부분을 채우기 위해 몇 시간 더 추가 연구를 하고, 모의 인터뷰를 두 번 한다면 ML 시스템 설계 인터뷰를 완벽하게 치를 수 있을 것입니다.

ML 설계 단계를 통과하는 것은 빅테크에서 뛰어난 경력을 쌓는 데 필요한 것의 일부일 뿐입니다.

MLE가 되기 위해 필요한 것이 무엇인지 더 자세히 알아보려면 구독 버튼을 눌러 앞으로 올라올 영상을 놓치지 마세요.

머신러닝 엔지니어링 면접에서 흔히 저지르는 실수

응시자의 70%가 쉽게 피할 수 있는 실수로 인해 불합격합니다.

성공은 6가지 핵심 영역을 마스터하는 데 달려 있습니다.

사소한 부분(예: 손실 함수)에 집중하는 것은 효과적이지 않습니다.

핵심은 기술적인 세부 사항뿐만 아니라 인터뷰의 '느낌'을 이해하는 것입니다.

중요한 문제는 질문을 이해하고, 혼란을 피하며, 시간을 효과적으로 관리하는 것입니다.

면접을 잘 치르기 위한 6단계 시스템

반나절 만에 메타 면접을 준비할 수 있는 시스템입니다.

ML 디자인 인터뷰는 모호하게 정의된 우주 미션에 비유할 수 있습니다.

질문을 이해하는 데 시간을 할애하고, 명확한 질문을 제한합니다.

처음에는 불필요한 세부 사항을 피하면서 개략적인 시스템 다이어그램을 작성하세요.

세부적인 내용을 살펴보기 전에 높은 수준의 시스템 설계에 집중하세요.

데이터 고려 사항(레이블, 기능, 정규화, 데이터 분할, 불균형)은 매우 중요합니다.

모델링, 메트릭 및 잠재적 문제 해결

과적합 및 기타 문제를 해결하면서 모델링 메트릭과 교육에 대해 논의하세요.

이 단계에서는 시나리오와 관련된 구체적인 ML 지식을 보여줍니다.

분류 또는 회귀를 사용하여 많은 문제를 해결할 수 있습니다.

프로덕션 시스템 고려 사항 및 장단점

프로덕션 환경에서 ML 시스템을 시작하고 운영하는 것에 대해 논의하세요.

교육 병렬화 또는 온라인 평가에 대한 전문성을 강조하세요.

서로 다른 솔루션 간의 절충점을 제시하세요.

회사에서 일하는 것에 대한 통찰력 있는 질문을 해보세요.

대부분의 질문은 머신 러닝의 몇 가지 핵심 영역에 속합니다.

빅테크 기업은 일반적인 질문(예: 추천 시스템)에 집중합니다.

유해 콘텐츠 감지는 또 다른 일반적인 질문 유형입니다.

소규모 기업의 전문 직무에는 더 구체적인 질문이 있습니다.

6가지 면접 단계에 대한 이해를 우선시하세요.

취약한 영역을 파악하고 그에 따라 학습 노력을 집중하세요.

두 번의 전체 모의 면접을 실시합니다.

This ML Design Interview strategy got me into Meta

스크립트