La storia narra che la "Pietra dell'Imperatore" , costruita da Federico II ai piedi del Monte Pellegrino a Palermo, nasca dal rapporto controverso e spesso violento dei braccianti siciliani della Conca d'Oro e i proprietari terrieri. Questa testimonianza è l'ennesima dimostrazione che Federico II fosse un uomo di un'intelligenza fuori dal comune e sempre pronta all'azione.
L'Imperatore volle costruire l'obelisco in quel punto ben un motivo ben preciso: in estate lavorare nei campi siciliani è una cosa davvero difficile perché il calore, soprattutto durante alcune ore del giorno, diventa insopportabile ed i proprietari terrieri erano sordi alle esigenze, più che giuste, dei braccianti. Il popolo decise di rivolgersi al saggio regnante affinché li affrancasse dalle loro fatiche.
Federico II trovò la soluzione immediatamente, che venne usata non solo sotto il suo regno ma anche successivamente, tanto da diventare il miglior modo per continuare a lavorare nella Conca d'oro, soffrendo l'afa ma per minor tempo. L'Imperatore fece posizionare un'enorme masso grezzo a forma di cono di quasi 4 metri che segnava l'orario di lavoro dei braccianti.
Quando l'ombra del Monte Pellegrino avesse raggiunto l'enorme pietra i braccianti avrebbero smesso di lavorare (l'ora in cui terminava il lavoro dovrebbe essere intorno alle 4 del pomeriggio). Per gratitudine verso Federico II, l'enorme masso venne chiamato "Pietra o Obelisco dell'imperatore". Come già accennato, il masso restò lì diversi secoli e lo testimoniano diversi documenti, tra cui un racconto di Giuseppe Pitrè (scrittore siciliano di metà '800).
L' Obelisco venne fatto saltare per ricavarne materiali di costruzione. Nonostante questa storia sembri solo una leggenda, dimostra ancora una volta quando la lucidità di pensiero del monarca, Federico II di Svevia, sia stata lungimirante e sempre attenta alle richieste legittime dei suoi sudditi. Non è un caso che tutt'oggi la figura dell'Imperatore sia così sentita dai popoli che hanno testimonianze della sua presenza.