本記事では前回に引き続きAdobeが発表した画像生成AI『Firefly』について取り上げていきます。

前回の記事はこちら↓

【画像生成AI】どちらが優秀？！ Firefly と他の画像生成AIを比較

Web版Fireflyでできること

現在Web版Fireflyでは

  • テキストから画像を生成（Text to image）
  • テキストにエフェクトを追加（Text effects）
  • 選択した部分の置き換え、消去（Generative fill）
  • 画像全体の色味の変更（Generative recolor）

以上４つの生成AIの機能が体験できます。

今後は3Dデータから画像を生成したり、画像の範囲外の描画、パターンの作成、スケッチの着色等様々なことが体験可能になるようです。

今回はテキストから画像を生成する機能に焦点を当てています。

テキストから画像を生成（Text to image）

Web版Fireflyの画面から『Text to image』の項目をクリック

すると他のユーザーが作成した画像とプロンプト例が表示されます。

プロンプト例に自分の生成したいイメージに近いものがあるならば該当するプロンプト例を選択して生成するのも良いでしょう。

プロンプト例をクリック、もしくは画面下の欄にプロンプトを入力すると生成画面に移動します。

生成

今回はオリジナルのプロンプトを作成して生成してみます。
今回は『キャンディーでできたカラフルなお菓子の世界』を生成してみます。

まずは簡単なプロンプトからどの程度の画像を生成できるのか見てみましょう。

入力プロンプト『A fantasy world made of colorful gummies and candies』

大まかなイメージのみのプロンプトでも『カラフルなお菓子の世界』の画像が生成されるようです。

画面のベタ塗り感や質感のクオリティの低さ、全体のゴチャゴチャ感が気になるので プロンプトを改良し、画面内の要素を増やしてみましょう。

プロンプトの調整

Fireflyの特性として基本的に短すぎるプロンプトで品質の高い画像を生成することは難しいです。

安定したクオリティで生成するために

  • 単語であれば６〜１０単語
  • 文章であれば１〜２文程度

この2点の条件を満たしていると生成結果のクオリティが維持されやすい傾向にあります。

プロンプトに画面内に配置して欲しいものを追加し、右側のタブから画像の画風や色合いの指定、それに伴う生成結果を見てプロンプトの調整を繰り返しました。

生成結果の反映が５〜１０秒程度なので生成結果の調整と確認がしやすいです。

今回は『ソーダでできた小さな川』『キャンディーでできた木々』『ゼリーでできた山』『ピンク色の空』などお菓子の世界に合う自然環境を追加しました。

イメージやプロンプトを作成するにあたって映画『シュガーラッシュ』や『チャーリーとチョコレート工場』をイメージしました。

入力プロンプト『colorful gummies and candies fantasy world, the trees are made of lollipops, small river made of green soda, the sky is pinkish, the mountains in the distance are made of crystal clear light green jelly, overall pastel colors』

最初と比べて画面の単調さや均一な質感が改善されてより品質の高い画像が生成されました。

何度か生成を繰り返し生成結果を評価することでより精度の高い画像を生成してくれます。

プロンプトを作成する際には『どのようなものを生成したいか』『画面にあるオブジェクトはどんなものか』を明確にするとプロンプトを作成しやすいです。また、プロンプトの参考にする作品があると良いかもしれません。

バリエーションの出力

気に入った画像を選択し、左上の『Show similar』をクリックすると

選択した画像と似た要素とレイアウトの画像を生成してくれます。（選択した画像は左下の画像）

画風やライティングの変更

画風やライティングを変更するには生成画面の右側のタブからスタイルやエフェクト、ライティングの項目から任意のものを選択すると結果に反映してくれます。

風景だとライティングや画風の変化がわかりにくい為、画像を新しく生成してみます。

今回はフェルメールの代表作『真珠の耳飾りの少女』をもとにプロンプトを作成しました

入力プロンプト『young woman , look over one’s shoulder, body sideways, wearing pearl earrings and yellow dress and blue turban, looking at camera, black background』

まずは油彩風に変更してみましょう。

右側のタブから『oil panting』の項目を選択、もしくはプロンプトに直接入力することで油彩風に再生成してくれます。

再生成することで若干の変化はありますが、指定したスタイルで概ね同じ画像を生成してくれます。

ピクセルアート風にもできます。

次はライティングの変更をしてみましょう

夕焼けのライティングの『Golden hour』を選択しました。

変化が軽微なので分かりやすいように並べて比較してみましょう

光源の色が温かみのある色に変化したのが分かります。

ライティングやスタイル変更、エフェクトの機能は生成した画像と親和性が低いと全く反映されない場合や大きく形が変化してしまう場合があります。（今回であれば『Steampunk』や『Psychedelic』など）

生成対象にどんなエフェクトやライティングが相応しいかを考えて使う必要があるようです。

Fireflyの特徴と注意点

Fireflyは他の画像生成AI同様架空のものであってもプロンプトをしっかりと組めば柔軟に画像を生成してくれるようです。また、元の形を崩さずにスタイルやライティングの変更やカメラアングルの変更が簡単にできる点では他の画像生成AIよりも優れているのではないでしょうか。

しかし、まだ発表されて間も無い画像生成AIである為、人物を生成した際に不自然さや不気味さ（所謂『不気味の谷現象』）が生成結果に反映されている場合があります。

MidjourneyやStable Diffusionのように発表されてから半年程経過すればAIの性能が向上し不自然さがかなり軽減されたように、Fireflyも同様と考えられるので今後の発展に期待大です。

次回のFireFlyの記事では『テキストエフェクト（Text effects）』や『選択した部分の置き換え、消去（Generative fill）』に焦点を当てて実際に使用した感想や詳しい使い方をまとめる予定です。