甲賀五十三家の内、特に重きをなす家を甲賀二十一家という。
このうち判四党（判・大原・上野・多喜）と呼ばれた４家は陰陽道を得意としていた。甲賀を地域に分けると、柏木地域（西北部）・荘内地域（中央部）・南山地域（東南部）・北山地域（東北部）となり地域連合による枠組みがあった。それぞれ、柏木３家・荘内３家・南山６家・北山９家がありこれで甲賀二十一家を構成している。この地域ごとに21家以外の53家の氏族が従っていたのである。
 
天正10（1582）年６月本能寺の変で織田信長が亡くなった際、徳川家康は堺にいたが、配下30数名ではいかんともしがたく三河へ逃亡した。家康三大危機の一つ「伊賀越え」である。服部半蔵の差配といわれるが、伊賀者200人の他、甲賀衆の山岡影隆・影友（伴氏後裔）・多羅尾四郎兵衛（甲賀五十三家）・和田貞教（甲賀二十一家）・服部平太夫（甲賀二十一家）などが「伊賀越え」を助けたのである。
 
その後の甲賀組について、『甲賀の歳月（1987年柚月踏草著）』や古くは江戸時代前期の『近江輿地志略（おうみよちしりゃく）』『淡海温故録（おうみおんこうろく）』などによると…