Dle pověsti se měl u bran hradu objevit pocestný, když se rodu Ludanickým, jenž zrovna na Helfštýně panoval, narodila dcera Kateřina. Prosil panstvo, aby ho nechalo u sebe přečkat bouřku. Odmítli ho a vyhnali ven. To poutníka rozčílilo natolik, že do skály zabořil hůl a rod proklel. Řekl, že z hole vyroste planá hrušeň a že jejich rod bude stejně neplodný. A vskutku, manželství Kateřiny a Petra Voka bylo bezdětné. Oba rody tak vymřely.
Zdroj: Se souhlasem J. Lauro