パラメータ削減

書いてみる

関連タグ

#GELU活性化 (1)
#GLU活性化 (1)
#MABViT (1)
#VisionTransformer (8)
#アーキテクチャ (451)
#ジャンクDNA (11)

MABViT -- Modified Attention Block Enhances Vision Transformers

Ikemen Mas Kot
3週間前

Junk DNA Hypothesis: A Task-Centric Angle of LLM Pre-trained Weights through Sparsity

Ikemen Mas Kot
5か月前