Standard: 基本、これで良い。以下の画像解説はコレを基本で解説。
LoHa-FA: は高効率なLoRA
LoCon: は学習をU-NetのResブロックまで広げたもの。

LyCORIS: LoRAを発展させた手法の総称で、LoRAの進化形です​​。
LyCORIS/LoCon: LoRAは全結合層（線形層）に中間層を差し込みますが、LoConでは畳み込み層（非線形層）にも中間層を差し込んでファインチューニングするため、多層の学習が可能になります​​。
LyCORIS/LoHa: LoRAが行列積を使用するのに対し、LoHaは行列AとBのアダマール積（要素ごとの積）を計算します​​。
LyCORIS/iA3: 比較的新しいアルゴリズム。実験的。ベースモデル専用になるので、汎用的ではなくなるかも。
LyCORIS/LoKr: LoHaがアダマール積を用いるのに対して、LoKrはクロネッカー積（2つの行列のすべての要素の積をとる操作）を使用します​​。
LyCORIS/DyLoRA: LoRAで最適なランクを見つけるための学習手法で、1回の学習で複数ランクのモデルを得ることができます​​。

Presets
<Packages\kohya_ss\presets\lora> にあるプリセットを選択できる

LoRA type
「作成するLoRAやLyCORISの種類を選択できる」
最初はStandardで大丈夫。学習が上手くいかないときは他を試そう。
LoRA network weights
既存のLoRAに追加学習。上書きはしないので安心。
DIM from weights
追加学習時、作成するLoRAのランク数がLoRA net work weightsで指定したLoRAと同じランク数に設定される。
Train batch size
同時に学習する枚数
Epoch
学習を何セット回すか。
Max train epoch
上限エポック数
Max train steps
上限ステップ数
Save every N epochs
指定したエポック数ごとに、途中経過をLoRAファイルとして保存する。
Caption Extension
キャプションファイルの拡張子を指定する。
空欄だと拡張子は「.caption」となる。もしキャプションンが「.txt」なら、ここに「.txt」と記載する。
Mixed precision
RTX3000シリーズ以降ならbf16
それ以外ならfp16のままでＯＫ。
Save precision
ここも同じ。
Number of CPU threads per core
学習時のCPUコアごとのスレッド数
Seed
シード値。結果を毎回再現したいなら1234とで入れておけば？
Cache latents
VRAMのスペース節約。スピードＵＰ。
Cache latents to disk
圧縮画像データを一時ファイルとしてディスクに保存する。
これをオンにすると flip_aug 以外の augmentation と random crop が使えなくなる。
LR Scheduler
学習途中で学習率を変える。
Optimizer
最適化アルゴリズムを指定。学習中にニューラルネットのウェイトをどうアップデートするか。
LR scheduler extra arguments
スケジューラーに対してさらに細かく設定。
Optimizer extra arguments
オプティマイザーに対してさらに細かく設定。
Learning rate
U-Netに対する学習率。
LR warmup (% of steps)
constant_with_warmupを選択した場合、ウォームアップをどれくらいの回数行うか（デフォだと10％）
LR number of cycles
スケジューラーに「Cosine with restart」または「Polynomial」を選んだ場合、学習中にスケジューラー何サイクル実行するか。
LR power
スケジューラーにPolynomialを設定した場合、この数が大きければ大きいほど最初の学習率の下がり方が急激になる。
Max resolution
学習画像の最大解像度を「幅、高さ」の順で指定。
学習画像が指定を超える場合、この解像度まで縮小される。
Stop text encoder training
過学習を防ぐため、学習がこのパーセントに達したら、テキストエンコーダーは学習をストップする。0ならストップしない。
Enable buckets
画像をサイズに応じてバケツに振り分ける。基本、ＯＮで良い。
Minimum bucket resolution
バケツの最小解像度サイズ。
Maximum bucket resolution
バケツの最大解像度サイズ。
Text Encoder learning rate
テキストエンコーダーに対する学習率
Unet learning rate
Unetに対する学習率
Use CP decomposition
CPUの速度を大幅に向上させることができ、その一方で制度の低下はわずかで済むらしい。
Network Rank (Dimension)
ニューロンの数が多いほど学習情報を多く保持できるが、学習対象以外の余計な情報まで学習してしまう確率が高くなり、LoRAのファイルサイズも大きくなる。
Network Alpha
Network Rank値と同じか、その半分が妥当とされている。

Scale weight norms
最大ノルム正則化のスケールを設定。
値が高いほど正則化の効果が弱く、低いほど強くなります。

Network dropout
ニューロンレベルで確率的にドロップアウトを行う設定。
過学習を抑制し安定性を向上。
推奨範囲は0.1～0.5です。

Rank dropout
各ランクに値億艇の確立でドロップアウトを適用する設定。
推奨範囲は0.1〜0.3です。

Module dropout
各モジュールに特定の確率でドロップアウトを適用する設定。
推奨範囲は0.1〜0.3です。

Convolution Rank (Dimension)
畳み込み層の微調整の複雑さを決定するパラメーター

Convolution Alpha
微調整の強さを制御するパラメーター

Scale weight norms
LoRAの過学習を抑制し、他のLoRAと合わせた時の安定性を向上させるのに効果的かも？
推奨設定は1で、この値が高いほど効果は弱く、低いほど効果は強くなります。

Network dropout
モジュール内のダウンウェイトを一定の確率でドロップアウトする。
デフォルトは0です。推奨範囲は0.1～0.5とされています。

DyLoRA Unit / Block sizeLoRA
LoRAの各ブロックのランクとアルファを個別に調整し、畳み込みのサイズや強度をコントロールする。

iA3 train on input
比較的新しいアルゴリズム。実験的。ベースモデル専用になるので、汎用的ではなくなるかも。

Down LR weights
U-Netの「down」ブロックの学習率の重み。

Mid LR weights
U-Netの「mid」ブロックの学習率の重み。

Up LR weights
U-Netの「up」ブロックの学習率の重み。

Blocks LR zero threshold
学習率がこの値以下の場合、LoRAモジュールは学習されません。
デフォルトは0.1

Block dims
各ブロックのランク(次元)を指定します。
25個の数値を指定する必要があります。


Block alphas
各ブロックのアルファを指定します。
これは「block_dims」と同じ数の値を指定する必要があります。

Conv dims
LoRAのConv2d-3x3に拡張し、各ブロックのランク(次元)を指定します。

Conv alphas
LoRAのConv2d-3x3に拡張する際の、各ブロックのアルファを指定します。

No token padding
75トークンのパディングを行うかどうか。基本的にはオフのままで構いません。
Gradient accumulate steps
この数値を上げると学習回数が減るので処理が早くなりますが、メモリを多く消費します。
Weighted caption
チェックすると、キャプションでも (black:1.2) cat  のような協調表現を可能にする。
Prior loss weight
正則化画像をどれだけ重要視するか(0〜1)
VAE
学習に使用するVAEここで指定することができる。
Additional parameters
kohya_ss の GUI に表示されていない学習設定パラメータをいじりたい場合、ここにコマンドとして入力する。
Save every N steps
指定したステップ数の学習が終了する毎に、LoRAモデルが作成され、保存される。
Save last N steps
学習の後ろから指定したステップ数までのLoRAファイルが作成され、保存される。
Save last N steps state
学習の後ろから指定したステップ数までの状態データが作成されえ、保存される。
Keep n tokens
キャプションがある場合、指定した数の最初の単語は、いつも先頭に固定されます。ここでは「,」で区切ったものを１つの単語と判定する。
Clip skip
ベースモデルに Novel AIモデル が使われてるなら2が良い。それ以外なら1でＯＫ。
Max Token Length
キャプションに含まれる最大のトークンの長さ。
Full fp16 training (experimental)
全てのウェイトデータをfp16サイズにして学習を行う。
Full bf16 training (experimental)
全てのウェイトデータをbf16サイズにして学習を行う。
Gradient checkpointing
計算処理を減らしてメモリを節約する。
Shuffle caption
キャプションをシャッフルする。
Persistent data loader
速度アップする分、メモリ消費も増える。
Memory efficient attention
VRAMの使用を抑え、スピードDOWN。
CrossAttention
クロスアテンションの種類。
Color augmentation
色を変化させた水増しをする。色調に若干幅が出るかも。（Flip augmentationと同時には使えない）
Flip augmentation
左右反転の水増し。左右対称モノであれば良いかも。（Color augmentationと同時には使えない）
Min SNR gamma
ノイズ補助。使うなら5。
Don't upscale bucket resolution
バケツの範囲設定を無視する。
Bucket resolution steps
バケット解像度のステップ数。
Random crop instead of center crop
バケツで切り取りの際、画像の中央を保つ。
V Pred like loss
v_parameterizationぽい学習をする。
Min Timestep
ノイズ最小値。
Max Timestep
ノイズ最大値。
Noise offset type
追加ノイズの手法。Multiresはもぷ少し複雑な方法。
Noise offset
Noise offset typeに「Original」を選択した場合、数値を入れると追加ノイズが乗ります。
Adaptive noise scale
Noise offsetオプションとペアで使います。ここで数値を指定するとNoise offsetで指定した追加ノイズ量がさらに調整され増幅あるいは減衰します。
Dropout caption every n epochs
特定のエポックごとにキャプションを使わずに学習させる。
Rate of caption dropout
キャプションなし学習を割合で指定（0～1）。
VAE batch size
0で良い。
Save training state
学習の途中経過データを「last-state」というフォルダに保存。
Resume from saved training state
中断した学習を再開したい場合、「last-state」フォルダの場所を指定。
Max num workers for DataLoader
データの読み込みスピードが上がるが上げ過ぎると逆に非効率になる。
WANDB API Key
「WandB」という機械学習サービスを使用するなら。
WANDB Logging
学習過程のログをWandBサービスを使って記録するかどうか。
Scale v prediction loss
V2向けオプション。画像細部のクオリティが向上。オフの時よりも学習効率は下がる。

Sample every n steps
特定のステップ数ごとにサンプルを生成。

Sample every n epochs
特定のエポックぎおとにサンプルを生成。

Sample sampler
サンプラーをプルダウンから選択。

Sample prompts
ここで prompt & ネガティブ prompt や画像設定を入力する。

他の設定を入力する場合は「--n」のようにマイナス２つとアルファベットを組み合わせて指定します。
例えばネガティブプロンプトに「white, dog」と入れたい場合は「--n white, dog」と書きます。

--w : 画像の幅
--h : 画像の高さ
--d : Seed
--cfg : CFG Scale
--s : ステップ数

Dreambooth/LoRA データの準備
このユーティリティは、kohya_ss Dreambooth/LoRA メソッドにてが正しく機能するために必要なトレーニングイメージとオプションの正則化イメージに必要なフォルダー構成を作成します。

Instance prompt
インスタンスプロンプト
Class prompt
クラスプロンプト

Training images
トレーニング画像を含むディレクトリ
Repeats
トレーニング画像数を何回の繰り返して使用するか
Regularisation images
正則化画像を含むディレクトリ
Repeats
正則化画像を何回の繰り返して使用するか

Destination training directory
整理されたデータを保存する場所

Prepare training data
データセットの準備を開始

Copy info to Folders Tab
この情報を Folders タブにコピーする

Dreambooth/LoRA
データセットのバランスを取る

このユーティリティは、各フォルダー内の画像の数に関係なく、dreembooth機械学習モデルのトレーニングプロセス中にデータセットフォルダー内の各コンセプトフォルダーが均等に使用されるようにします。
これは、トレーニング中にク理解す回数を示すためにコンセプトフォルダーの名前を変更することによって行われます。

※ 間違ったフォルダに対してこのユーティリティを使用すると、予期しないフォルダ名が変更される可能性があります。


Dataset folder
バランスを取るためのコンセプトフォルダを含むデータセットフォルダ

Training steps per concept per epoch
エポックごとに各コンセプトに対して実行するトレーニングステップの数

Advanced options
危険！！！！ -- 安全ではないフォルダ名の変更 --  危険!!!

Balance dataset
データセットを整理する

このユーティリティは、WD14 を使用して、フォルダー内の描く画像のファイルにキャプションを付けます。

Image folder to caption
キャプションを付ける画像フォルダ
Caption file extension
キャプションファイルの拡張子
Undesired tags
望ましくないタグ

Prefix to add to WD14 caption
キャプション先頭につけるタグ
Postfix to add to WD14 caption
キャプション文尾につけるタグ

Use onnx
onnx を使用する
Append TAGs
既存のタグを置き換えるのではなく、タグを既存のタグに追加する。

Replace underscores in filenames with spaces
ファイル名のアンダースコアをスペースに置き換える
Recursive
サブフォルダの画像にもタグを付ける
Verbose logging
タグ付け中にデバッグすると、一般タグを文字タグを含む画像ファイルが印刷されます。
Show tags frequency
画像のタグの頻度を表示します

Model
モデル
Force model re-download
onnxに切り替えるときにモデルを強制的に再ダウンロードする。
General threshold
生成されるタグの量と質をコントロールする閾値。
Character threshold
キャラクター用の閾値。

Batch size
バッチサイズ
Max dataloader workers
最大のデータローダーワーカー数

Caption images
キャプションを画像に付ける