私は理系女子ですが、学生のときクラスの女子が文系男子とは付き合えないといっていたのを覚えています。
理系女子は気が強い人が多く、プライドが高いため文系男子を下にみている人が多い気がします。

私はあんまり気にしないかな～

合う合わないではなく、文系男子を下に見る理系女子が一定数いる、という話だとおもいます。