五祖寺距离四祖寺的图上距离只有20公里，实际感觉要远许多。一路上穿乡过镇，在田亩间的公路上缓缓而行，时刻相随的风雨紧一阵慢一阵，缠绵得有些腻人。
大约半个小时左右，进入一座规模较大的集镇，临街的店铺都是新修的门脸，像是刚刚经过旧城改造，与一路上灰头土脸、脏乱不堪的乡村相比，感觉焕然一新。
正门是一座徽式风格的石头门楼，灰瓦飞檐，半拱型的的三道门洞。中间红漆大门，十分鲜艳，门拱上是浮雕石刻云龙图案，正中悬挂着“五祖寺”牌匾，金字金框，在灰色墙壁映衬下格外醒目。两边的小门洞开，供人出入，左边门拱上题写的是五祖门下高足神秀上座那首著名的偈颂：
身是菩提树 心如明镜台
时时勤拂拭 莫使惹尘埃
右侧门拱上镌刻的则是六祖慧能的偈颂:
菩提本无树 明镜亦非台
本来无一物 何处惹尘埃
当初，神秀和尚师从五祖，对佛法修持很有造诣，深受僧众推崇，都认为五祖会将衣钵传给他。为了选出承继禅宗衣钵的人，五祖就让大家将自己参修佛法的见地做一首偈子，以此证明自己证悟的道行。
于是，神秀便作了那首“身是菩提树”，题写在寺内墙壁上。
当时，六祖慧能在寺内舂米做杂役，甚至还没有剃度，偶尔听到其他人念诵神秀的偈子，便跟随众人前去观看。看到了神秀的偈子，六祖慧能认为作这首偈的人还没有究竟觉悟，便作了“菩提本无树”，请人写在旁边。
五祖看到之后，知道慧能堪承衣钵，便将禅宗心印衣钵传给了他。此后，六祖慧能回到岭南隐姓埋名若干年，直到机缘成熟之后，才开始在曹溪弘法传道，使南宗光大于天下，逐渐形成一花五叶，宗脉千古流传。可以说，天下禅宗，皆以六祖慧能为依归，而六祖慧能就是出自这座东山五祖寺，今天曹溪的山门有一联——东山不二法门，指得就是这里。
大门两边的梁柱上还有一副对联：上接达摩一脉 下传能秀两家。
五祖虽然将衣钵传给了慧能，对神秀和尚仍然给予相应的肯定。对于常人来说，神秀和尚所倡导的勤修护念也更加实用，能坚持不懈做下来，自然有瓜熟蒂落的时候。而就身前的成就来说，神秀和尚所代表的北宗法门曾经盛极于唐代中期，神秀和尚也被尊奉为国师，荣耀无比。
从五祖真身殿向后，穿过一道窄巷，右手有一座小庭院，梅花、茶花纷纷吐蕊，春意盎然，穿过花园，便是六祖殿，殿内除了供奉六祖像，还保留着六祖舂米的遗迹。一个二尺深的臼坑，约丈长的杵棰，后壁墙上用魏楷写着“慧能舂米处。”
六祖慧能从岭南来见五祖，五祖问他欲求何物，六祖回答惟求作佛。五祖察其举止言谈，知道堪为法器，便有意磨练他，派他到后院舂米劈柴，做了八个月杂役。
从六祖殿向前望，是一片苗圃，左前方一棵古树参天，还没有发芽，被雨水浸润的枝条呈现出苍劲的仪态，树的背景便是浓浓的雨雾，彷佛在揭示六祖所参悟到的本性。