===============================================
[Google Cloud AI] Devfest Cloud 2024 (1)
>> Google Cloud AI 인프라에서 Diffusion 모델로 이미지 생성하기
===============================================
주제.
1. GPU & TPU @ Google Cloud
2. Diffusion 모델
3. 시나리오 #1,#2
4. Google Cloud Imagen
5. 데모: Imagen으로 이미지 편집
>> 1장
- Google Cloud TPU (cloud.google.com/tpu)
>> Cloud 텐서 처리 장치(TPU)
- Cloud TPUs 혁신 과정
** 6세대는 아직 프리뷰 단계
- GPU & TPU one-pager
>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>
>> 2장 [확산 모델 - Diffusion Model]
- 확산 모델
>> 노이즈를 추가/제거 반복
- Google의 생성형 AI - Imagen
>> 업스케일링 과정이 있음.. (왼쪽 사진)
- 대중적으로 많이 알려진 이미지 생성 모델 (Stable Diffusion)
>> (With GPT: 주어진 텍스트 설명에 따라 고품질 이미지를 생성하는 데 사용)
- Stable Diffusion 활용 방법들 (GC에서 제공하는?)
>>
- 시나리오 #1
Step1.
Step2. 데이터셋으로 Stable Diffusion 학습
예) 데이터셋 => 학습(Training) 실행 => 모델 생성(Fine-Tuned Stable Diffusion Model)
* max_train_steps = 15000
* 5~7시간 소요
Step3. 추론 단계로 이미지 생성을 위한 코드 작성 (파이썬 이용)
결과 예시:
- 시나리오 #2 (Max Diffusion)
>> 인프라트랙에서 이미 소개한 바가 있다고 함.
>> MaxDiffusion 소개:
(With GPT: Stable Diffusion의 변형 모델로, 주로 이미지 생성 및 편집에 있어 더 나은 성능을 제공)
+) 학습과 추론 지원
>> MaxDiffusion - 성능 / 비용 예시
(1초 미만으로 이미지 생성)
Cloud TPU v5e-4 vs Cloud TPU v5e-8
>> MaxDiffusion 데모
* 강사님은 Gemini Pro 버전 사용하신다고 함.
(이미지 해상도: 1024 * 1024)
첫 번째 Call은 5.97초
두 번째 Call은 0.84초
세 번째 Call은 0.83초
- Google Cloud Imagen + 이미지 편집
>> Vertex AI로 .. API Call로 이용 가능
>> 이미지 편집 기능
1. Inpainting insert
2.
3.
4.
>> 이미지 편집 데모
1. 쇼핑몰 이미지 다운받아서 갖고 옴 (텍스트를 지울려고 한다.)
2. 글자 지운 이미지 예제 4개 생성
3. 인물 중심, 다른 건 변경
4. 파이썬 이미지 라이브러리를 이용하여 이미지에 텍스트 삽입.
질문!: text to image AI 모델은 !IMAGEN!
GCP