栄西禅師が中国から持ち帰った茶の種を高山寺を再興した明恵上人に譲り、それを当地で栽培し増殖させて全国各地に広まったという伝説があります。

実際には平安初期に茶自体は輸入されていたようですが、鎌倉初期に栄西が輸入してここに栽培したのは抹茶なので、今の茶道に繋がる茶の発祥地はこの高山寺ということになります。茶園も山内にある。
　この高山寺には発祥地にもかかわらず長いこと茶室が無かったので、戦前の近代数寄者が集って茶室を寄進することになり、明恵上人700年遠忌に因んで1931年（昭和6年）に「遺香庵（いこうあん）」という茶室を建てられています。