雷祖祠建于唐贞观十六年（公元642年），迄今已有1300多年，为雷州首任刺史、雷祖陈文玉的纪念祠，现是全国重点文物保护单位。

雷祖祠系古雷阳八景之一.雷岗耸异，奉祀陈文玉。据传，陈文玉原为雷神，奉玉帝之旨投胎下凡，解决雷州大旱。“九耳呈祥”的传说在雷州脍炙人口。英灵村猎户陈珙养有一只九耳犬，每次出猎前，神犬耳朵抖动几次即可预测出猎后所获猎物数目，百测百中。有一天，神犬在野外发现一只大石卵，猎户抱回家后，当晚风雨雷电交加，石卵被雷电劈开，蹦出一个小男孩，这就是后来的雷祖陈文玉。

民间传说陈文玉是一位充满神奇色彩的英雄人物。南北朝太建二年（公元570年），陈文玉出生于雷州城南五公里之英灵村。他才华横溢，武艺超群，刚正不阿。唐太宗闻陈文玉“性至孝”且文武双全，于唐贞观五年（公元631）年起用陈文玉为东合州刺史。陈文玉上任伊始，即具疏改东合州为雷州。他恩威并举，安抚境民，发展生产，施政数年，雷州半岛便寇贼远遁且民皆富庶。陈文玉意识到雷州乃北控高凉、南通琼涯之天南重地，为兵家必争，遂大筑州城。城池竣工之日，陈文玉即生两翼，白日升天。唐太宗褒赞陈文玉“养晦数十年，恶事非君”，“受职父母邦，德政彰明”。在他仙逝后，唐太宗敕封其为雷祖并立庙祀之。

雷祖祠还是明代冯梦龙《警世通言》所载的天下四绝之首“雷州换鼓”的发源地，至今还留下许许多多的神奇传说。“雷州换鼓”已失传，时至今日众说纷纭：一说是自然景观，指的是雷州半岛夏季电闪雷鸣的景象；一说是人文景观，指雷州先民举行的规模宏大而神秘的祭雷仪式；还有一说是物件，指古代俚僚人祭雷用的青铜鼓……目前得到学术界普遍认可的说法是：“雷州换鼓”是一种人文景观与自然景观的完美结合，是古代雷州先民在举行祭雷仪式过程中，出现“天人互应”，迎来电闪雷鸣、雨聚风狂的奇特景观。