Vertex AI: Managing Data Sets for Machine Learning

Vertex AI는 기업이 다양한 데이터 세트를 활용하여 효과적인 머신러닝 모델 학습 및 예측을 수행할 수 있도록 지원합니다.

### 효과적인 머신 러닝 데이터 관리를 위한 Vertex AI 활용
* 👩 Priyanka는 머신러닝 워크플로우를 간소화하도록 설계된 플랫폼인 **Vertex AI**를 소개하며, 의미 있는 예측을 위한 데이터 활용에 대한 다양한 수준의 전문성을 갖춘 팀을 지원합니다.
* 📊 머신 러닝 수명 주기의 초기 단계에는 **사용자 지정 머신 러닝 모델을 학습하는 데 필수적인 데이터 세트**를 만드는 작업이 포함됩니다.
* 🗂 데이터 세트는 데이터 관리를 중앙 집중화하여 사용자가 **모델 메트릭을 효과적으로 비교**하면서 데이터 계보를 주석, 레이블, 추적할 수 있게 해줍니다.
* 🖼 이미지 데이터 세트는 이미지 분류, 물체 감지, 이미지 분할과 같은 작업을 지원할 수 있으며, **최적의 모델 성능을 위해 레이블당 최소 1,000개의 이미지**를 권장합니다.
* 📈 표 형식의 데이터 집합은 **회귀, 분류, 예측을 용이하게** 하며 **수백 개의 열과 수백만 개의 행**을 수용하여 포괄적인 데이터 분석을 지원합니다.
* 📝 텍스트 데이터 세트는 **분류, 개체 추출, 감정 분석**을 가능하게 하여 고객 피드백을 이해하고 문서를 분류하는 데 도움을 줍니다.
* 🎥 비디오 데이터 세트는 분류, 동작 인식 및 개체 추적을 지원하므로 **축구 경기의 섹션에 라벨을 지정하는 등 비디오 콘텐츠를 자세히 분석**할 수 있습니다.
* 🔍 이 튜토리얼은 Vertex AI 콘솔에서 데이터 세트를 만들고 관리하는 방법에 대한 개요로 마무리되며, **시청자가 머신러닝 모델을 구축하고 훈련하는 다음 단계를 준비**할 수 있도록 도와줍니다.

PRIYANKA: Hi, I'm
Priyanka [INAUDIBLE], and this is AI
Simplified, where we learn to make our data useful. In this video, we're going
to imagine a company that has a large amount of
data which they want

to use to make
meaningful predictions, and take their business
to the next level. And we also know that their
team has varying levels of machine learning expertise. To accelerate this
AI innovation, they are looking
at Vertex AI, which

provides tools for every step
of the machine learning workflow from managing data sets to
different ways of training the model,
evaluating, deploying, and making predictions. In this episode, let's
see the first step of the machine
learning lifecycle,

which is the data sets. You don't need to
worry about data sets. If your use case
is generic enough, you can just take advantage
of the pre-trained machine learning APIs. And to learn more about them,
I've included a link below.

In order to create custom
machine learning models, we must first have
a collection of data to train our models with. That is what data sets are for. Data sets make data discoverable
from a central place. They provide the ability to
annotate and label the data

right from within the UI. You can track the lineage
for data governance and can compare model
metrics between the models. Now, to create a data set,
we first select our data and upload it, import it,
into the managed data sets.

And then we can make
modifications and use it to start training the model. Currently, there are four
supported data types -- image, tabular,
text, and videos. Now, image data sets currently
support image classification, which is where models
predict one or many labels

from an image. Now, for example,
identifying the types of dog treats from images of treats. Object detection is where the
model draws bounding boxes around the items in the image. For example, you're
identifying the location

of different vegetables
within a picture of salad. Image segmentation
is where the model can assign a label to pixel
level regions in an image. To ensure your model
performs well in production and there's no
training serving skew, make sure the
training images are

close to the input
your users will send to your deployed model. For example, if your images
are going to be low resolution, be sure to have blurry
images, low resolution images, in there. Include multiple
angles, backgrounds,

and all sorts of resolutions. It's recommended that you
include at least 1,000 images per label. But, you can always get
started with 10 per label. The more examples you provide,
the better your model will be.

Now, tabular data sets
currently support regression, where you predict a numerical
value, and classification, where you predict a
category associated with a particular example. Forecasting is where the
model predicts the likelihood of sudden events or demands. For example, you want to predict
sales over a period of time.

Now, tabular data sets support hundreds of columns and millions of rows. Text data sets currently support classification, which is where you assign one or more labels to an entire document. In a customer support example, an email could include classifications as great service or a suggestion.

Now, entity extraction is where the model identifies custom text entities within a document. For example, maybe you want to identify all the phrases in a customer support email that reference pricing. Too expensive or great value. Sentiment analysis is to understand

the overall sentiment expressed in a block of text. For example, if a customer was happy or upset or frustrated. Now, will your data sets currently support classification, which provides labeled predictions for an entire video, shots, and frames?

For example, in a football game, you would be able to label the section with commercials and the section with the game. Now, action recognition is where the model identifies clips in the video where specific actions occur. For example, in a puppy football game, the action of a dog

making a touchdown. Now, object tracking is where you get labels, bounding boxes, and time stamps for objects you want to track in a video. For example, in the same game, you want to track the football's motion throughout the video.

Now, we just covered the basic functionality here. I have included the link below for more details and best practices on data preparation. At this point, I think we want to see how to create and manage the data sets in the console.

So let's dive in. In the console, we get to Vertex AI and click on the data set where we see image, tabular, text, and video data sets for the different objectives we talked about earlier. Let's try to create an image data set.

Say we want to do image classification. Before we begin, it's good to check the Data Guide that shows us the requirements and recommendations. You can import files directly from your computer, and they would be stored in Cloud Storage.

We can then add the corresponding labels for our images in the next step. If you already have labels, use the Import File option to import a CSV with your image URLs and their labels. The entries in the CSV would look something like this.

If your data is not labeled, and you would like human help to label it, then you could use the data labeling service. Let's upload a few files here. Once the files are uploaded, we can create labels and assign them to the images.

We can also analyze the images we have in the data set, number of images per label and a few other properties. Depending on the type of data, your options might vary slightly. For example, if you look at tabular data,

you could upload a CSV file from your computer, from Cloud Storage, or select a table from BigQuery directly. Once you select the table, the data is available for analysis. We can see the number of rows, columns, etc.

You would do the same
for a text data set. Once uploaded, we
can see the labels or add new labels to the data. And we can also
analyze a data set. The video data set
interface looks similar. I have some labeled sports
files here for golf, cartwheel,

horse riding, and others. That was a high
level overview of how you can manage different
data sets in Vertex AI. In the next video, we will look
at the next steps of the machine learning workflow to
build and train ML models.

In the meantime, let's
continue our discussion in the comments below. I am excited to hear all
about your ML use case and your data sets.

How to manage ML datasets with Vertex AI

Welcome to the official YouTube channel for Google Cloud’s technical community. Explore our how-to videos, see exciting demos, stay up to date with product news, and find new developer tools helping you build what’s next.


Google Cloud Tech

다양한 수준의 머신 러닝 전문성을 갖춘 기업의 AI 혁신 가속화를 위한 Vertex AI 소개 및 활용에 대해 알아봅니다.

프리얀카는 이 동영상에서 데이터 기반 예측을 위해 Vertex AI를 활용하는 기업에 초점을 맞춰 AI Simplified를 소개합니다.

이 회사의 목표는 팀의 다양한 ML 전문성을 고려하여 대규모 데이터 세트를 활용하여 비즈니스 성과를 개선하는 것입니다.

데이터 관리에서 모델 배포에 이르기까지 머신러닝 워크플로우를 간소화하는 데 있어 Vertex AI의 역할이 강조되고 있습니다.

사전 학습된 API는 일반적인 사용 사례를 가진 사용자를 위한 옵션으로 언급되며, 자세한 정보를 위한 링크가 제공됩니다.

Vertex AI 데이터 세트를 사용하여 맞춤형 머신 러닝 모델을 만들고 관리합니다.

학습 모델에서 데이터 세트의 중요성과 그 기능(데이터 검색 가능성, 주석, 계보 추적, 메트릭 비교)에 대해 설명합니다.

데이터 집합을 만드는 과정에는 데이터 업로드/가져오기 및 모델 학습을 위한 후속 수정이 포함됩니다.

이미지, 표 형식, 텍스트, 동영상 등 네 가지 지원 데이터 유형이 소개되며, 이미지 데이터 세트 기능에 대해 자세히 설명합니다.

이미지 분류, 물체 감지 및 이미지 분할의 예가 제공됩니다.

교육용 왜곡을 방지하기 위해 이미지 다양성(해상도, 각도, 배경)을 훈련하는 것의 중요성이 강조됩니다.

레이블당 이미지 수에 대한 권장 사항이 제공됩니다(최소 1000개 이상이지만 10개부터 시작해도 됩니다).

Vertex AI의 표 형식, 텍스트 및 비디오 데이터 세트 기능에 대한 자세한 내용입니다.

표 형식의 데이터 세트는 회귀, 분류 및 예측을 지원하며, 각각의 예가 제공됩니다.

텍스트 데이터 세트는 분류, 엔티티 추출, 관련 예시를 통한 감성 분석을 지원합니다.

비디오 데이터 세트는 축구 경기 시나리오의 예를 통해 분류, 동작 인식 및 객체 추적을 지원합니다.

Vertex AI 콘솔에서 데이터 세트를 생성하고 관리하는 실제 데모입니다.

Vertex AI 콘솔로 이동하고 데이터 세트 생성 옵션(이미지, 표, 텍스트, 동영상)이 표시됩니다.

컴퓨터 또는 클라우드 스토리지에서 데이터를 가져오고 라벨을 추가하는 등 이미지 데이터세트를 만드는 과정을 설명합니다.

사전 레이블이 지정된 데이터에 CSV를 사용하거나 레이블이 지정되지 않은 데이터에 데이터 레이블 지정 서비스를 사용하는 방법에 대해 설명합니다.

업로드 후 이미지 분석 기능이 강조 표시됩니다.

표 형식 및 텍스트 데이터 집합에 대한 유사한 프로세스가 간략하게 언급되어 있습니다.

비디오 데이터 세트 처리는 레이블이 지정된 스포츠 파일의 예와 함께 표시됩니다.

Vertex AI의 데이터 세트 관리에 대한 요약이 제공됩니다.

시청자는 댓글을 통해 자신의 ML 사용 사례와 데이터 세트 경험을 공유해 주시기 바랍니다.