平安時代の終わり頃、木曽義仲の家来であった落合五郎兼行が美濃口の押さえとして、落合に館を構えていたと言われています。
落合五郎兼行は、平家物語巻七寿永二年(一、一八三)、五月の『火打ち合戦』の項に名を連ねています。
木曽義仲の育ての親、中原兼遠には樋口兼光、今井兼平、落合五郎兼行と義仲の妻になる巴があり、平家物語の中で、義仲の有力な武将として取り上げられています。
館跡とされている所は、『おがらん』と呼ばれ、『伽藍』という言葉からきたと推定され、近くには『小姓洞』という地名も残っています。