[음악] 안녕하세요 인공지능 아카데미 아재입니다. 오늘은 엔비디아에서 혁신적인 기술을 내놓았습니다. 가토라는 건데요.

발음하기가 어떤지 모르겠는데 세계에서 가장 유연한 사운드 머신이라고 합니다. 그대로 소개를 해 드리면 AI

모델은 텍스트와 오디오를 입력으로 가지고 음악과 음성 사운드를 원하는 대로 조합해서 만들 수 있습니다. 그러니까 지금 오디오나 그리고

수호에서 음악을 생성하고 편집하고 또는 페인팅도 하고 할 수가 있죠. 근데 이 부분은 조금 더 보완적인 역할

그리고 음악과 음성 사운드 믹스를 생성하거나 변환을 해서 좀 더 자유롭게 풍성한 오디오를 생성할 수

있는 기술입니다. 그래서 엔비디아에서 약 3분짜리 소개 영상이 있는데요. 그걸 여러분들이 한번 같이 시청을 하면서 제가 설명을

드리도록 하겠습니다. 그리고 랩스가 있죠. 여러분들 음성 서비스의 최강자라 하는 랩스의 서비스와도 어떤 상호

보완적인 역할을 할 수 있는지에 대한 부분. 그리고 순호와 오디오 앱스, 그리고 엔비디아에서 개발한 가토는 서비스가 상용화되었을 경우에 어떤

시너지 효과를 가져올 수 있는지, 그것을 통해서 여러분들이 상상력과 창의력을 발휘해서 어떤 작품을, 어떤

결과물을 만들어 낼 수 있는지에 대해서도 한번 생각해 보는 시간을 가지도록 하겠습니다. 자, 그럼 한번 한글 자막으로 되어 있으니까 여러분들이

한번 시청해 보시겠습니다. spe exp [음악] 지금 여기 보시면은 깊고 럼블링한 베이스의 펄스, 박동, 박자 같은 이런

부분을 하이 스피치다, 고음의 디지털 퍼스 그리고 무겁고 기계음을 갖다가 깨우는, 잠을 깨우는 기계음을 효과를

만들어라는 거거든요 여기 보시면 텍스트 입력을 기반으로 음베이스와 고음에 삑삑거리는 소리를 모방하는

음향 효과를 텍스트로 여러분들이 원하는 대로 구현을 하면은 음향 효과를 만들 수 있으니까 예를 들어서

AI 동영상을 생성하거나 스토리텔링을 할 때 굉장히 효과적인 음향 효과를 여러분들이 구사할 수 있는

[음악] 거죠 andif sesil produ [음악] instructing fugato to extract audio elements From A sound CP such as isolating a vo track in a piece of music kids are talking By The door and you

want a delery fato Can Do That To kids are talking By The door kids are talking By The door fato also let musici new [음악] 그러니까 이제 이런 부분도 순호와

오디오에서 만들었던 부분을 상호 보완적으로 이 엔비디아의 후가토 2를 활용을 하실 수가 있는 겁니다 그래서요 정도로 하고 여러분들께 이

가토가 가지는 레븐 랩스와의 상호 보완적인 역할 그리고 푸가토가 초점을 맞추고 있는 부분에 대한 설명을

드리면 가토는 음악과 음성 효과음 등 다목적 오디오 생성 및 편집 기능인데요 레븐 랩스는 자연스러운

TTS 음성 클로닝 립싱크 등과 같은 음성 생성 전문 서비스죠 그래서 보완적인 역할은 이런 전문적인 서비스

레븐 앱스의 자연스러운 음성에 가토의 음악과 효과음을 생성해서 상호 보완적으로 해서 아주 풍성한 프로페셔널한 사운드 효과를 만들어 낼

수 있다는 겁니다 그리고 강점은 후가토는 음악과 음성 효과음을 다 융합해서 콘텐츠를 생성할 수 있기

때문에 창의적이고 실험적인 소리 생성이 가능하고 랩스는 고품질의 자연스러운 음성으로 오디오 생성을 하기

때문에 이 두 개가 합쳐질 경우에는 더 풍부한 콘텐츠 제작이 가능해지는 겁니다. 그리고 약점은 TTS 든가

음성 클로닝의 전문성은 부족하고, 그다음에 랩스는 음악 및 효과음 생성의 기능이 없기 때문에 그게

합쳐지면 랩스의 음성에 와토의 음성 효과, 사운드 효과 등을 추가함으로써 콘텐츠가 정말로

프로페셔널한 스튜디오에서 또는 전문가들이 작업한 효과를 일반 개인들이 연출할 수 있는 그런 강점을

가지게 되는 겁니다. 그리고 창의적인 활용에 있어서도 레븐 앱스는 캐릭터에 맞춘 감정적인 음성을 생성하고 특정

음성 스타일에 정밀한 클로닝이 가능하기 때문에 여기에 독창적인 소리와 음악을 제작해서 결합을 시키면 완성도가

굉장히 높은 오디오 서비스를 만들 수가 있고 그런 부분을 런웨이의 젠 3라 그가 미니맥스 클린과 같은

동영상 서비스와 같이 결합을 하면은 여러분들의 상상력을 완전하게 실현할 수 있는 그런 서비스가 되는 겁니다

그리고 사용자 조작성은 다양한 세부 조정이 가능합니다 억양이나 감정, 배경음 등 그래서 있지만은 지금까지는 아직까지는 상용화가 되어 있지 않고

이게 H100 서비스를 32대를 활용해서 트레이닝을 했는데 레븐 랩스와 같은 구독 서비스 또는 온라인

서비스로 나오게 되면은 이런 부분을 좀 더 쉽게 생각 생성, 사용할 수 있지 않겠느냐 그런 생각을 합니다

그리고 실시간 작업에서 상대적으로 느릴 수가 있는데 이런 부분도 클라우드 기반의 온라인 서비스로서 조금 보완하고 해결할 수 있는 문제가

아닌가 생각을 해봅니다. 자 그리고 지금 저도 쓰고 있습니다. 은호와 스튜디오 오디오 음악 생성 및 편집

보건 이런 부분이죠. 그런데 가토와 결합을 하면은 어떤 역할을 할 수 있느냐면 창의적인 오디오를 제작을 할

수 있기 때문에 순호 하고 오디오에서는 음악 생성과 편집 복원으로 콘텐츠 제작 전과정을 완전하게 보완이 가능한 거죠. 그러면은

3위 일체가 되는 겁니다. 소위 말해서 복과 그다음에 음악 그다음에 배경 음악과 이런 것까지 합쳐져서 그야말로

완성도 높은 프로페셔널한 어 음악을 여러분들이 개인들이 만들 수 있는 기반이 되는 거죠. 그리고 이 강점과

이런 부분들은 이미 앞에서 설명을 했기 때문에 생략을 하고 어 어떻게 강점을 이용할 수 있느냐 하면은

통합적인 오디오 작업이 가능해진다 이제 후가 2가 들어오면은 배경 음악 창의적인 소리와 그다음에 순호의 음악

제작 오디오의 음악 음향 보건 등 통합적인 오디오 작업이 가능해진다 결국 순호 하나 하나만으로도 다

완성이 되는게 아니고 오디오 하나만으로도 완성이 되는게 아닌데 이 푸가토 수노 오디오를 세 가지를 통합적으로

이용하면서 그야말로 완성도가 최고로 되는 그런 통합적 오디오 작업이 가능해진다는 겁니다 그러니까 여러분들께서 순호의 장점 오디오의

장점을 각각 결합하고 통합해서 사용하고 푸가토 서비스가 나오면은 푸가토 강점도 추가함으로써 여러분들이

원하는 그리고 여러분이 상상력으로 가지고 있던 것을 쉽게 구현할 수 있게 되는 거죠 그래서 이제 창의적인

활용에서 결국은 제가 말씀드리는 게 스토리텔링과 이 음악도 완성도 높은 음악을 만들 수 있는 서비스가

중요하죠. 그래서 이 후가 2가 나올 경우에는 창의적인 효과음 그리고 OSD 같은 뮤직 비디오에서도

이 창의적인 효과가 굉장히 중요하잖아요. 그러니까 그런 역할을 이 푸가토가 보완해 줌으로써 오디오와

수호로 결합을 시켜서 여기서 인공지능이 설명을 하듯이 수호로 만든 음악의 후가 창의적인 효과음을 추가하고 오디오로 복원해서 콘텐츠의

완성도를 높인다. 이런 게 GPT 포니가 분석한 내용입니다. 그리고 용자의 조약은 이런 각각의 단점을 보완을

하면은 충분히 사용자가 만족할 수 있는 서비스를 구현할 수 있다. 그리고 실시간 서비스에서는 아직까지는 조금

부족하지만 실시간 음악도 생성이 가능하니까 이런 부분들을 전부 다 보완을 하면은 온라인 서비스가 되면은

실시간 음악 생성도 가능해지겠죠. 개인이 서버를 마련하고 장비를 갖춰서 하는 건 힘들겠지만, 순호나 오디오처럼

엔비디아의 푸가토, 어떤 특정한 그런 실시간 서비스가 나오면은 이 세 가지를 결합을 해서 통합적인 워크플로를

만들어서 창의적인 작업을 할 수 있다. 이런, 소위 말해서 나중에는 가토와 순호, 오디오를 세 개를 API, 어떤

시스템으로 연결하는 통합 워크플로를 만들면 굉장한 시너지 효과가 날 수 있지 않느냐 하는 그런 상상력을

발휘해 보는 겁니다. 그래서 오늘 소개해 드린, 그다음에 이 허깅 페이스에서 요즘 굉장히 많은 새로운

기술들이 등장을 하고 있습니다 거기에서 몇 가지 만 오늘 이 엔비디아의 신기술과 합쳐서 소개를 해 드리도록

하겠습니다 여기에서 보시면은 로그인 컨텍스트에 이건 뭐냐면은 로그를 로그 파일을 샘플이 있는데요 허깅

페이스라는 이 로그를 올리면은 요거 여러분들이 사용하시는 방법만 제가 잠깐 설명을 드립니다 허깅페이스

이미지 로고 로고를 여기다 올려놓으시고 여러분 분 로를 그다음에 로이드 여기에 모자를 생성을 해 달라고 하는 겁니다 요거는 이제

프롬프트로 생성을 하는 거예요 이미지를 생성을 하는 건데 여러분들이 여기에 모자가 아니고 예를 들면은 화이트 셔츠라고 그냥 간단하게 하면은

실시간으로 보여 드리는 겁니다 여러분들이 허깅 페이스에 나와 있는 서비스는 무료로 여러분들이 이용하실 수가 있으니까

한두 개 자들은 많이 전문적으로 디자이너가 아니기 때문에 의뢰를 받아서 여러분들이 작업하시는 게 아니니까 여러분들이 원하시는 로고가

있으면은 미드저니나 아니면 이미지 다른 생성기에서 만드셔서 또는 기존 로고의 이미지를 배경 제거를 한 다음에 여러분들이 업로드를 하고

이렇게 여러분이 원하는 상품이나 또는 사인몰 같은 형태에 로고를 임베딩 하실 수가 있겠죠

이렇게 잘 나왔죠 그래서요 부분도 영상 설명란에 제가 붙여 놓겠습니다 이용해 보시고요 요거 로그 그리고 또

새로운 기술이 나온 거는 이 멜랜드 대학과 이 노스캐롤라이나 대학에서 만든 건데 번역을 하자면은

젊게 해주고 넓게도 만들어 주고 젊으신 분들은 내 나의 100세의 모습 또 70세의 모습을 유추해 볼

수 있는 그런 재미있는 서비스입니다 그래서요 기술은 아주 상세하게 여러분들한테 저걸 안 하고 링크를 가지고 여러분들이 한번 보시면

되겠습니다 예 유명한 배우들을 가지고 하는데 잠깐 보여 드리면 여기에서 내가 10세 모습으로 돌아간다 하면은 이 10세 모습이 되는 거예요 이

70세에서 현재 70세인 대부에 나왔던 분인가요 저는 영화를 잘 몰라서 그리고 예를 들어서 유덕화가

예 유덕화를 보면은 10세의 모습이 참조가 안 나오네요 참조할 수 있는 자료가 없답니다 예 20세의 유덕화의

모습입니다 근데 현재 다른 세그멘테이션 기술과 페이딩 기술을 가지고 하면은 이렇게 나오는데 지금

현재 발표한 이 학교의 기술을 적용하면 이렇게 나온다는 겁니다 재밌죠 이렇게 40세 50세 60세 70세 80세가

되면은 없네요 이렇게 여기에 이제 나옵니다 30세에서 70세까지 됩니다 이 기술은 여기에서도 마찬가지로 여러분 보셨지만 아직까지 코드가

공개가 되지는 않았습니다 코드를 공개한다고 하니까 공개가 되면 여러분들이 로컬에 설치해서 한번 활용해 보실 수 있겠죠 그다음에 AI

비디오 포즈인데 제가 뮤직 비디오를 어제 올린 걸 이걸로 만들었습니다 뭐냐면은 여러분들께서 AI 포즈라는

거는 뮤직 비디오나 아니면은 이렇게 동영상을 하나를 올립니다 동영상을 올리고 여기에 또 오디오를 올릴 수도

있어요 내가 만든 이 크리스마스 캐롤 이걸 올리면은 3.3m 되잖아요 근데 총 여러분들이 요걸 데모를 이용하실

때는 10m이어야 됩니다 10메가 총 합하는 양이 10메가 넘으면 만들 수가 없어요 그래서 크리스마스 캐롤에

이걸 가지고 올리면은 제가 딱 10메가 되죠 여기서 어떻게 느냐 하면은 I want, 나는 원한다 make 3 3분짜리 뮤직

비디오 말로 치는 겁니다 요새는 전부 다 인공지능이 어느 정도의 출연 효과가 있고 LM의 자연어를 이해하는

능력이 있기 때문에 이걸 가지고 여러분들이 런을 하면은 이제 작동이 되죠 시간이 많이 걸리지 않습니다 한 30초에서 40초 그 정도만 하면은

여기 보시면은 FF 엠팩의 기술을 가지고 중국의 크엔 2.5 코드 발생기를 가지고 합니다 그럼 여러분 보시듯이 3분짜리 뮤직 비디오가

만들어졌죠 그러면 캠퍼에 가서 여러분들이 복잡하게 이제는 이 기술이 완전히 집약이 돼서 10메가로

제한되는게 아니라 용량이 충분하게 올릴 수가 있으면은 여러분들이 뮤직 비디오를 이렇게 가볍게 [음악]

이 음악은 어제 올렸던 쇼츠 영상에서 사용했던 제가 수호에서 만든 순호 4 4 버전이 나와서 만든 뮤직

비디오 영상입니다. 뮤직 비디오입니다. 음악 음악입니다. 음악을 가지고 만든 거예요. 이거는 무료 뮤직 비디오는 이미지를 미드

저니에서 만든 이미지를 가지고 제가 어 루아에서 마에서 익스텐드 기능을 가지고 익스텐 기능을 가지고 만든 겁니다.

이렇게 여러분 보시면 굉장히 길죠. 이거를 다시 한번 더 익스텐드를 하면은 익스텐드를 하면은 조금 시간은

걸릴 거예요. 5초가 더 확장이 되는데 지금 보시면 이걸 다운로드 받아서 켜면 10.8m 지금 볼까요 정도가 14초

총 길이가 지금 보시면은 16초짜리 든요. 16초 짜리인데 5초가 더 늘어나니까 5초가 드러나니까 21초

이리 뮤직 비디오로 바뀌는 거죠 꽤 좋습니다 이렇게 동영상 효과가 30초짜리 만들 수가 있고 40초짜리

만들 수가 있어요 지금 현재 제가 제일 긴 게 만들어 본 게 약 한 30초 정도까지 만들어 봤는데요 이렇게 지금

대기 시간이 좀 걸리기는 하지만은 여러분들이 익스텐드 익스텐드 해서 긴 뮤직비디오 배경 영상을 만드실 수가

있고 이 수호에서 제가 어제 만들었던 음악입니다 순에서 만들었던 음악을 가지고 여기 보면 고양이의 크리스마스

앤비디아의 혁신적인 오디오 통합기술과 허깅 페이스 신기술 5가지 뮤직비디오 1분만에 만드는 방법 등

인공지능아재의 인공지능아카데미

소개: 엔비디아의 새로운 AI 모델 '가토'와 기능

엔비디아에서 혁신적인 AI 모델 '가토' 발표

텍스트와 오디오 입력으로 음악과 음성 사운드 조합 생성

오디오 생성, 편집, 페인팅 기능 포함

음악과 음성 사운드 믹스 생성 및 변환 기능

엔비디아의 3분 소개 영상 시청 및 설명 제공

'가토'와 다른 서비스의 상호 보완적 기능 및 시너지 효과

레븐 랩스와의 상호 보완적 역할 분석

순호, 오디오 앱스와의 시너지 효과 예측

상상력과 창의력 발휘를 통한 작품 제작 가능성 모색

'가토'의 레븐 랩스와의 상호 보완적 역할 설명

'가토'의 다목적 오디오 생성 및 편집 기능과 레븐 랩스의 음성 생성 전문 서비스 비교

'가토'와 순호, 오디오 앱스의 통합 및 활용 방안

'가토'와 순호, 오디오 앱스 결합을 통한 창의적 오디오 제작 가능성

콘텐츠 제작 전 과정 보완 및 3위 일체 효과 강조

통합적 오디오 작업 가능성 제시 (배경 음악, 창의적 소리, 음악 제작, 음향 보정)

각 서비스 장점 결합 및 통합 사용 방안 제시

허깅페이스 및 기타 AI 기술 소개

허깅페이스 로그를 활용한 이미지 생성 방법 설명

멜랜드 대학과 노스캐롤라이나 대학의 젊게 해주고 넓게도 만들어 주는 기술 소개

AI 비디오 포즈를 이용한 뮤직 비디오 제작 과정 설명

플럭스 IP 아댑터를 이용한 스타일 모방 기능 소개

스테이블 디퓨전과 유사한 스타일 참조 기술 설명

앤비디아의 혁신적인 오디오 통합기술과 허깅 페이스 신기술 5가지 뮤직비디오 1분만에 만드는 방법 등

앤비디아의 혁신적인 오디오 통합기술과 허깅 페이스 신기술 5가지 뮤직비디오 1분만에 만드는 방법 등

스크립트