나머지 부분을 채워 달라고 했을 때 이미지를 보면 경계선이 안 느껴질 정도로 경계선이 여기 언저리에 있대

그렇게 티가 안 나는 걸 볼 수가 있죠. 와 라이팅도 너무 자연스럽게 아웃 페인팅이 잘 됐네요. 그리고 역시

플럭스답게 오픈 소스입니다. 버전 와우! 이미지 생성을 뛰어넘어서 영상 생성 모델이 오픈 소스로 새로

공개되어서 또 갖고 와 봤습니다. 음악 생성 AI를 영상으로 처음 접하신 분들은 퀄리티가 안 좋다고 생각하실

수도 있을 것 같기는 해요. 네, 예전 거를 아시는 분들이라면 진짜 장에 발전했다는 거를 뼈저리게 느끼실

겁니다. 안녕하세요. 앤드 플랜의 마초 기입니다. 얼마 전 인공지능 관련 행사를 다녀왔습니다. 많은 분들을

만났는데 제가 AI 관련 유튜브인 걸 밝혔거든요. 어, 저 빼고 다녀오셨나요? [음악] 아, 저도 따라갔어야 됐는데 안타깝게

그날 일이 있었어 갖고 못 갔죠. 어떠셨나요? 아, 같이 가셨으면 좋았을 것 같은 게 기분 좋게 저희 채널

아시는 분들을 몇 분 만났습니다. 어, 그래서 좋게 어, 대화할 기회가 생겼는데 공통적으로 말씀해 주시는

부분이 있었어요. 오, 어떤 거죠? 그니까 인공지능 관련 뉴스가 너무 많아서 따라가기가 힘든데 저희 채널에서

뉴스를 소개해 드리고 저희가 사용법들을 케이스들을 보여 드리니까 그게 도움이 된다고 말씀하시더라고요.

아, 진짜 감사하네요. 그분들 말씀처럼 인공지능 관련 뉴스가 정말 너무 많이 나오지 않나요? 그죠? 논문도 많이

나오고 뉴스도 많이 나오고 뭐 서로 경쟁이 많다 보니까 서로서로 업데이트를 또 막 하잖아요 네 네 너무

기술의 발전도 빠르고 서비스들의 경쟁이 심하기 때문에 유튜브를 위해서 자료 조사를 해야 되는 저희들도 너무

따라갈 게 많아서 좀 힘들 지경입니다 맞습니다 이게 또 한 채널만 보기도 그렇고 되게 다양한 채널에서 다양한

정보들이 나오니까 진짜 따라가기 쉽지 않은 거 같아요 그리고 그중에서도 이제 저희는 이게 나올 거다라고

예고하는 이야기들 보다는 실제로 어떤 서비스들이 나왔을 때나 논문이 나왔을 때 소개해 드리기 때문에 나름에

검증하는 시간이 더 걸리는 거 같습니다 네 이번 주에는 뭐 어떤 소식이 있었는지 간략하게 설명해 주실

수 있나요? 뭐 많은 소식들이 있었는데 오늘은 그중에서도 특히 이제 인공지능을 활용한 콘텐츠 제작 그쪽

소식을 좀 들고 왔습니다. 재밌을 것 같은데요. 오늘도 재밌는 소식 많이 준비했으니 끝까지 보시면 좋을 것

같습니다. 아, 채널 고정 부탁드립니다. 그러면 바로 들어가 볼까요? 네, 좋습니다. 처음으로 이제 플럭스라는 게

생겼습니다. 이게 어떤 거냐면 간단하게 말해서 컨트롤넷이 이제 플럭스의 자체적 로 들어갔다고 보시면 될 거

같아요. 이제 모르시는 분들을 위해 잠깐 설명드리면 컨트롤넷에서 쓰는 어떤 자세를 내가 원하는 대로

고정시키기 위해 쓰는 기술이죠. 그렇죠? 네. 그전에는 이제 체크포인트, 그러니까 이미지를 생성을 하기 위한

체크포인트가 있고 그다음에 컨트롤넷이 이제 별도로 존재를 했었어야 됐는데 여기에서는 이제 제가 알기로는

그게 약간 통합된 걸로 알고 있거든요. 음 그래서 총 네 가지 모델이 나와 있습니다. 그래서 하나하나 좀 간단하게 설명드리면 플럭스 1필 같은

경우는 이제 이름 보면 아시다시피 페인팅입니다. 페인팅이 어떤 거냐면 이렇게 이미지에서 특정 부분을 지우고

이제 다시 채워 주는 기술, 흔히 이제 포토샵에서 제너레이터 필 많이 사용하시잖아요. 그게 성능도 좋기도

하고 정확하게 이제 그 역할을 한다라고 보시면 될 거 같고요. 그죠? 오 뭔가 퀄리티가 좋지 않은 거 같은데. 네 그렇죠. 애초에 베이스 모델이

플럭스가 보니까 인페인팅 하는 것도 플럭스 퀄리티로 나온다고 볼 수가 있죠. 네. 그리고 인페인팅뿐만 아니라

아웃 페인팅도 똑같이 필에서 지원을 해 줍니다. 오 이런 식으로 저희가 볼 땐 오른쪽 눈이죠. 오른쪽 눈에

이미지만 주고 나머지 부분을 채워 달라고 했을 때 이미지를 보면 경계선이 안 느껴질 정도로 경계선이

요기 언젠가 있대 이렇게 티가 안 나는 걸 볼 수가 있죠. 와 라이팅도 너무 자연스럽게 아웃 페인팅이 잘 됐네요. 네.

그래서 이런 식으로 플럭스 자체적으로 이렇게 인페인팅 아웃 페인팅을 지원해 주는 플럭스 1필 모델이 나왔고요. 네.

이거는 기존에 어떤 것들과 비교를 해봤을 때 성능이 좋았다. 아 우리가 짱이다. 네. 저희가 짱이다. 그리고 역시

플럭스 답게 오픈소스입니다. 버전 와 그다음에 다음으로 보여드릴 거는 이제 케이랑 이제 데스 부분인데요.

먼저 이게 예스라고 하면 일단 이미지를 입력으로 줬고 이 이미지에서 이제 데스 맵을 추출을 합니다 그다음에 이 추출된 데스 맵을 기반으로

이미지를 생성을 하는 건데요 굉장히 일관성 있게 잘 나오는 걸 볼 수가 있죠 너무 좋은데 네 그냥 컨트롤에 쓴

것처럼 잘 나오는 거를 볼 수가 있습니다 네 그고 캐니 같은 경우는 비슷한데 이제 컨디션을 데스가 아니라

윤곽선을 기준으로 왼쪽 이미지에서 어 이미지의 윤곽선을 딴 다음에 그걸 기반으로 이제 이미지를 생성하게

나오는 그래 좀 스에 비해서 입력한 이미지를 더 많이 따라갈 수밖에 없죠 아 네네네 그런 특성을 좀 갖고

있습니다 그리고 또 역시 자기네 모델이 짱이다 아 짱이다 우리가 짱이다 네 미드 저리 보아도 좋고 뭐

이런 식으로 얘기를 하고 있죠 어 미드 저보다 좋은 거 같은데 그다음에 이제 마지막 부분이 이제 리덕스

있습니다 이미지의 베리에이션이 이제 리스타일링이 이제 리덕스 하는데요 어 뭐 이미지를 이런 식으로 빵 우유

이건 뭘까요 지을까요 이런 이미지를 넣었을 때 예 다양한 베리에이션을 주는 이런 이미지를 만들 수도 있고

그 이런 식으로 리스타일링 또 줄 수가 있습니다 이렇게 약간 2D 그림체 플랫한 그림체를 넣었을 때

이렇게 글래스 스컬프처 모양으로도 나오고 간단한 3D 모양 아니면 이제 실사 오리처럼도 나오고 아니면 좀 더

이제 애니메이션 그림 새처럼 나오고 음 어때 그 오리가 애니메이션 체로 바뀌었는데도 그 오리가 그 오리 같이

느껴져요 맞아 이게 컨시스턴시 유지가 굉장히 잘됩니다 네네 그리고 이제 산에서 찍은 셀카 넣었는데 뭐 이렇게

그림처럼 바꿔주기도 하고 아니 뭐 다른 캐릭터가 됐네요 이거는 네 스케치처럼 바꿔 주기도 하고

애니메이션 스타일로 바꿔 주기도 하고 뭐 이런 식으로 리스타일링 기능 지원이 되고요 네 그래서 플럭스 리덕스

모델 같은 경우는 특별하게 이제 플럭스 1.1 프로 울트라랑 통합이 되어 있어서요 음 4메가 픽셀까지

출력을 뽑을 수 있다고 합니다 이건 이제 물론 API 사용을 했을 때 가능한 거고요 리덕스 모델도 네 물론

이제 대부분 버전은 허깅 페이스에 공개가 되어 있습니다 4메가픽셀 아웃풋을 원하면 프로의 API 사용한다는 말씀이죠 네네네 맞습니다

프로는 애초에 그 API 밖에 원래 공개가 안 되어 있었기 때문에 저희가 사용할 수 있는 오픈 소스는 이제

대부 모델까지 아아 네네 그래서 리덕스 이제 대부 모델로 통합이 되어서 공개는 되었지만 고해상도에

리스타일 된 이미지를 뽑기 위해서는 API 이용해서 프로 울트라 모델을 사용을 할 수 있다라고 설명이 되어 있네요 아 근데 대부 모델도 충분하지

않을까 생각이 들긴 한데 여기 있는 건 대부가 아니겠죠 그렇죠 그래도 굉장히 잘 나오고 플럭스에 나온

모델이다 보니까 어 굉장히 사용하기 좋은 것 같습니다 와 근데 플럭스는 놀라움의 연속인 거 같아요 우리가

예전에 플럭스 SD 3.5 라지 모델도 비교해 봤고 처음에 나왔을 때 다양하게 이미지를 뽑아 보기도 했지만

실망시킨 적이 없는 거 같거든요 맞아요 처음 나왔을 때부터 굉장히 퀄리티가 좋아 갖고 저도 굉장히 자주

사용을 하고 있는 모델입니다 이미지를 생성할 일이 있으면 보통 플럭스 생성을 하는 거 같아요 그죠 그래서 다음 소식 넘어가 볼까요

아네 어떤 소식이 준비되어 있죠 아 이번에는 이미지 생성을 뛰어넘어서 영상 생성 모델이 오픈 소스로 새로

공개되어서 또 갖고 와 봤습니다 아 오픈 소스 얼마 전에 치원이 나왔었는데 또 오픈 소스로 뭐가

공개가 되는 건가요 네 치원 이후에 이제 LT xv 아는 게 나왔고 나오자마자 바로 컨피 UI 지원이 된다 이렇게 돼 있더라고요 네 그래서

보면은 이게 큰 화면으로 확대되어 있어서 약간 픽셀이 다 보이는 것처럼 보이잖아요 네네 애초에 영상 생성을

할 때 768에 512 상도로 24 프레임까지 생성이 된다라고 합니다. 음, 그리고 이제 모델 크기도 비 2 빌리언 밖에 안 되는 거죠. 엄청

작은 편이라고 생각됩니다. 그리고 여기도 이제 디퓨전 트랜스포머 기반으로 영상 생성 모델이

구성되었다고 하는데요. 확실히 소라에서 디퓨전 트랜스포머 얘기가 완전 처음은 아니겠지만 좀 사람들에게 아 영상

생성 모델 할 때 디퓨전 트랜스포머를 쓰면은 성능이 좋다라는게 좀 각인된 거 같거든요. 그래서 아마 그 이후로

디퓨전 트랜스포머 관련된 연구가 진행된 거 같은데 LT xv 일환으로 디퓨전 트랜스포머를 사용해서 영상을

생성한 거 같습니다. 그 소라의 디퓨전 트랜스포머 모델이 궁금하신 분은 지금 오른쪽 버튼을 누르시면은 보실 수

있을 겁니다 그리고 이게 또 생각에 따라 다르겠지만 퀄리티라고 생각을 안 할 수도는 있거든요 이 해상도가 무슨

퀄리티라고 생각할 수 있는데 이 그래도 여기서 나름대로 설명하기로 고퀄리티 비디오를 거의 실시간으로 생성을 할

수 있다라고 하는데요 거기서 말한 근거를 찾아보니까 5초짜리 24프레임 영상을 생성하는데 4초 밖에 안

걸린대요 오 진짜 빠르다 예 보는 것보다 빠르게 생성할 수 있다는 거죠 음 그런 거 보면은 아 충분히

그렇겠구나 그래서 이제 리얼 타임이란 말을 붙일 수가 있겠구나라고 생각이 되네요 해상도가 높아지면 하면은 뭐

사실 다 해결 되겠네요 아 물론 그에 따라 GPU 용량도 성능도 좋아야겠지만 그렇죠 그래서 컨피 다가

네이티브로 지원이 된다고 하길래 바로 깔아 왔습니다. 아, 역시 바로 검증하는 의심의 아이콘 은기자, 검증해 봐야죠.

그죠, 그죠. 무조건 검증해야 돼요. 되고 이거 같은 경우는 다운로드 받는 건 굉장히 쉬운데요. 이 조금 내려 보시면은

모델을 다운로드 받아서 모델스 체크포인트 폴더 안에 넣고, 이 텍스트 인코더 다운로드 받아서 모델스 클립

안에 넣고, 여기 보시면 이제 워크플로우 페이지가 있거든요. 여기 들어가면 이제 텍스트 투 비디오 워크플로우랑 이미지 투 비디오

워크플로우 이렇게 두 개를 받을 수가 있습니다. 이 주소 같은 경우는 더보기 안에 올려 둘 테니까 사용해 보고

싶으신 분들은 받아서 사용해 보시면 좋을 것 같아요. 네, 네, 있습니다. 그럼 일단 텍스트 투 비디오를 한번 뽑아 볼 텐데요. 뭘로

뽑아 볼까요? 강아지랑 고양이랑 친구가 되었다, 오라는 프롬프트가네. 더 올바른 문법을 위해서 디벨로퍼가 쳤습니다.

어, 'A Dog and a Cat be Friends'라고 하네요. 어, 네, 네. 모델 로딩이 그래서 오래 걸리는 건가요? 네, 처음 로딩하는 거라서

오래 걸리는 거고요. 이거는 지금 3090 다가 세팅을 했기 때문에 페이지에서 말한 것처럼 그렇게 빠르지는 않을 수도 있어요. 페이지에서

4090을 썼다고 써 있었던 거 같기도 한데. 4090 최적화가 있다는 거 같기도 한데. 네, 네, 네. 아마 이 5초짜리를

4초 만에 생성하는 게 또 4090은 아닐 수도 있어요. 그러니까 뭐 A100 같은 데서 이렇게 할 수 있고, 그럼에도 불구하고 4090에서 할

수 있다라고 되어 있는 걸 수도 있고요. 이 부분이 조금 모호하긴 하네요. 어쨌든 빠르게 된다네. 어쨌든 4090에서

충분히 잘 돌아가고 저는 이제 3090 있데도 충분히 잘 돌아간다 어 뭐야 어 검증을 해야 돼 어 하이

퀄리티인가 어 아 아닌 거 같습니다 한번만 더 뽑아 보죠 허허 어허 자 또 이거를 클로드 테

스트 부탁해서 길게 한번 뽑아 봤거든요 네 아이씨 길다 확실히 영상 생성 AI 프롬프트 영향을 좀 많이

받는 거 같아요 이미지도 안 받는다고는 말 못 하겠지만 좀 더 민감하다고 해야 되나 약간 상상을 제안해 줘야 되는 거 같긴 해요 오

어 근데 꼬리가 뭐야 이거는 지금까지 나온 것들보다는 좀 괜찮은 거 같은데요 예 어 한번 더 뽑아

보죠 네네네 오 방송이 보였어 아 이렇게만 했으면 우리가 뭐 해할 뻔했네 아 그러니깐요 아 참 말을 했어야지

오 고양이가 얼굴이 없어요 그니까 여기는 어딜까요 강아지도 다리가 막 생겼다가 없어졌다 다리가 많네요 하이

퀄리티가 아니라 하이 스피드로 했어야 되지 않나 얘네는 그리고 이 정도 속도면 사실 젠 3도 할 수 있을 것

같거든요 아 그죠 근데 젠 3 이제 비싸니까 아 뭐 그렇긴 하지 이 친구들이 이제 예시 뽑아 보면은

이런 영상들이 뽑아볼까요 저 프롬프트로 꽃 모양 한번 뽑아보도록 하겠습니다 검증의 시간이다 또리 피킹

요즘 화제인 오픈소스들 + 음악 AI | Flux tools, LTXV, Suno v4

인공지능 관련 소식들을 만나보세요.

1. 인공지능 전공자가 전해주는 [인공지능 주간 트렌드]
2. 유명인사들이 말하는 인공지능 [AI Talks]

Contact : endplan0704@gmail.com

엔드플랜 Endplan AI

플럭스는 컨트롤넷을 통합한 이미지 생성 모델로, 인페인팅과 아웃페인팅 기능을 제공한다.

아웃페인팅 기능은 자연스러운 라이팅 효과를 보여준다.

플럭스는 오픈 소스이며, 총 네 가지 모델(Flux 1필, 케이, 캐니, 리덕스)이 있다.

Flux 1필 모델은 인페인팅 및 아웃페인팅 기능을 제공하며, 기존 모델보다 성능이 우수하다.

케이와 캐니 모델은 각각 데스 맵과 윤곽선을 기반으로 이미지를 생성한다.

리덕스 모델은 이미지의 스타일을 다양하게 변환하는 기능을 제공하며, 플럭스 1.1 프로 울트라와 통합되어 4메가 픽셀까지 출력 가능하다.

오픈 소스 영상 생성 모델 LT-XV 소개

LT-XV는 디퓨전 트랜스포머 기반의 오픈 소스 영상 생성 모델이다.

768x512 해상도, 24프레임으로 영상 생성이 가능하며, 모델 크기는 20억 파라미터로 작은 편이다.

5초짜리 영상 생성에 4초가 소요될 정도로 빠른 속도를 자랑한다.

컨피(ControlNet)를 네이티브로 지원하며, 다운로드 및 사용 방법이 간편하다.

텍스트 투 비디오 및 이미지 투 비디오 기능을 제공한다.

순호(Suno) 음악 생성 AI 버전 4 업데이트

보컬이 더 뚜렷해지고 가사도 개선되었다.

더 창의적인 곡 구성이 가능해졌다.

전체적인 모델 업데이트로 퀄리티가 향상되었다.

리마스터 기능을 통해 기계음이 감소하고 자연스러운 사운드를 제공한다.

예전 버전 대비 장족의 발전을 이루었지만, 아직 베타 버전이므로 추가적인 개선이 기대된다.

요즘 화제인 오픈소스들 + 음악 AI | Flux tools, LTXV, Suno v4

요즘 화제인 오픈소스들 + 음악 AI | Flux tools, LTXV, Suno v4

스크립트