祭祀や祭器製作に始まり、神宝管理や石上神宮の神官など祭祀に関わる職掌を担ってきた物部氏が宮中警護を含む一般政務に関与するようになり、雄略天皇の５世紀後半以降は采女の管理、さらには行刑、軍事、外交と職掌を広げる一方で、本来の職掌であった祭祀関係、とくに古墳築造を含む葬送に関する祭祀は土師氏に取って代わられます。ただ、畿内では６世紀後半になると前方後円墳の築造が減り、天皇陵の築造としても571年に崩御した第29代欽明天皇陵が最後の前方後円墳となり、それとともに埴輪の配列も衰退、土師氏の活躍舞台も小さくなって、やがて8世紀になると土師氏は大江氏・菅原氏・秋篠氏といった氏族に分化していくことになります。なお、585年に崩御した第30代敏達天皇陵も前方後円墳ですが、母の石姫皇女の河内磯長中尾陵に合葬されたため、築造の最後は欽明陵ということになります。
 
さて、６世紀の継体朝以降、蘇我氏の台頭とともに中央での統治体制が整えられていく過程で「祭官制」と呼ばれる宮中祭祀制度が整備されていくことになります。中央における祭祀氏族として中臣氏や忌部氏が成立し、祭官として任用されます。また、各地に日置部や日祀部が設置されました。 

中臣氏は神事・祭祀をつかさどった中央氏族で『記紀』には祖先が天児屋命と記されます。『大中臣氏系図』にある『新撰氏族本系帳』によると、欽明朝のとき、黒田大連の子の常磐大連が初めて中臣連の姓を賜わったとあります。中臣氏の出自については『尊卑分脈』や『大中臣氏系図』にあるように、もともと鹿卜による卜占を職掌とする卜部に属し、欽明朝のときに半島経由で入ってきた亀卜を担う卜占集団が形成されるのを機に中臣氏が卜部から分離・独立、祝詞奉読を中心とする神祭りと大夫としての活動にシフトしていったとする主張があります。中臣常盤大連の孫である中臣御食子の子が鎌足、その子が不比等となり、その活躍は誰もが知るところです。

忌部氏は中臣氏同様に神事・祭祀を担った氏族で、『記紀』では祖先である天太玉命が中臣氏の祖先である天児屋命とともに祭祀に携わったことが記されます。盾を納める讃岐忌部、玉を納める出雲忌部、宮殿の木材を納める紀伊忌部、麻・木綿を納める阿波忌部、鍛冶に携わった筑紫と伊勢の忌部などの各地の忌部を統率しました。大和国高市郡金橋村忌部（現在の奈良県橿原市忌部町）辺りを本拠地として、域内には天太玉命神社が鎮座します。近くには5世紀後半から６世紀前半まで営まれた大規模な玉造りの集落である曽我遺跡があることから、忌部氏自身は玉の製作に関与していたと考えられます。『日本書紀』には大化元年（645年）に忌部首子麻呂が神幣を賦課するため美濃国に遣わされたことが記され、その後、壬申の乱での忌部首子人の活躍を経て持統天皇の即位儀において忌部首色弗が神璽の剣・鏡を奉じ、慶雲元年（704年）には子人が伊勢奉幣使に任じられたことが記されますが、その後は玉造りの需要が減少したことや中臣氏の勢力が拡大したことから忌部氏の地位は大きく低下しました。