現在は64bitが主流ですが、32bitの場合、制約がついてOSが起動しなかったり、インストールできないことがあります。
今回は各場面での32bitによる影響を解説していきます。

Windowsの場合

Windowsには32bit版(x86と表記することがある)と64bitの2つが利用できます。
ビット数の違いによるOSのUIの違いこそありませんが、内部では結構な違いがみられます。
例えば32bit版では以下のような制約があります。

• 認識できる最大のメモリが3.5GB(うち0.5GBはビデオメモリとして使用)

• Win10以前はGPD方式のディスクは使用できない(MBRのみ使用可能)

メモリ制限に関しては、そこまで影響がないように見えますが、現時点でネット閲覧やオフィス用途などの軽い用途でも8GB以上は必須なくらいですし、ゲームやメディア製作をするとなると16GB~64GBくらい必要になります。
その中で4GBすらないとなると、いくらCPUが強いといってもブラウザのタブはあまり同時に開けないですし、同時に作業をすればすぐにメモリ不足のエラーがでると思います。
そのため、現在は64bitが主流である上、32bitOSを使うのはあまりお勧めしません。特に初心者の方にはお勧めしません。
ディスクの方式に関しては、ファイル保存として使うのならばそこまで影響がないですが、OSを入れるとするとかなり気にしなければならないことです。
MBR方式のディスクには32bitのOSしか入れられず、逆にGPD方式のディスクには64bitのOSしか入れられません。
ただ、ファイル保存に使用する場合は、古い32bitOSがGPD方式のディスクを読まないという点に気を付けなければなりません。
OSの導入のように、64bitがMBRのディスクを読まないということはありませんが、一応32bit版には制約があるということには気を付けてください。
ちなみに64bit版OSであれば、GPDもMBRも読みます。
しかし、現在大量のデータをMBRディスクに入れていたり、もしくは特段そうでないといけない理由がない限りはGPD方式を使った方がいいです。
実はMBR方式ではGPDより若干容量が増えるのですが、実際そんな何十GBと増えるわけでもないですし、主流は64bit対応のGPDなので、そちらを使った方がこれから先有利かと思います。

BIOSの場合

もし仮にBIOSが32bitだとすると、CPUが現役で使えるような性能であっても、今後長く使いづらくなります。
BIOSが32bitの場合、

• 64bitのOSが起動しない・エラーで動かない

• CPUが64bit対応していても64bitプログラムが動かない

• メモリが4GB以上認識しない

のような制約が発生します。
中身は大体Windowsと同じですが、これはWindowsだけでなく他OSにも影響します。
正直言ってBIOSのbit数が簡単に確認できるわけではないので、これが一番厄介な気がします。

CPUの場合

CPUであれば、交換すれば64bit対応しているPCにできますが、時期が余りにも古かったり、BGA(基盤に直付け、容易に交換できない)タイプであればそもそも技術面で難しかったりします。
例えばIntelのCPUであれば、後期のPentium4(2005年頃)や、Core2シリーズ(2006~2010年頃)などが、古いCPUでも64bit対応のものの一例です。
調べればメーカーサポートページが出てくると思うので、そこでbit数を調べてみるといいかもしれません。
また、省略しますが、BIOSやOSが32bitの時と同じような制約があります。