Phae Muang Phi est surtout connu pour une toute petite partie du parc et ses formations rocheuses issues de l'érosion naturelle. Ce paysage de colonnes de pierre dont certaines culminent à près de 30 mètres de haut n'est pas sans rappeler la Cappadoce en Turquie même si ici les dimensions sont beaucoup plus modestes. Le nom du lieu vient d'une légende qui raconte qu'une femme âgée qui était partie dans la forêt pour chercher des pousses de bambou pour se nourrir s'est perdue et en cherchant son chemin a trouvé de l'argent et de l'or dans un puits. Elle voulait l'emporter avec elle mais ne parvenait toujours pas à sortir de la forêt car l'ange qui protège l'endroit l'en empêchait. Plus elle essayait d'avancer, plus il semblait que quelqu'un la repoussait. Elle a finalement abandonné son trésor et est sortie de la forêt pour demander aux autres habitants d'aller chercher l'or et l'argent là d’où elle l'avait laissé. Mais quand ils sont arrivés, ils avaient disparu. Ils ont donc nommé l'endroit Phae Mueang Phi, la forêt de la ville des fantômes.
Dans le reste du parc, vous pourrez faire quelques balades parmi divers types de plantes rares sur des sentiers d’apprentissage de la nature. Il y a notamment un petit sentier qui surplombe les colonnes de pierre et un autre qui offre une jolie vue sur la montagne du Phra That Cho Hae.