Szilaspogony Nógrád megye észak-keleti részén található, Salgótarján felől Cered irányában közelíthető meg (25 km), Heves megye (legközelebbi település: Istenmezeje-Szederkénypuszta), Borsod-Abaúj-Zemplén megye (legközelebbi település: Domaháza), valamint Szlovákia határán, (legközelebbi települések Tajti, Egyházasbást, Ajnácskő) is csak "egyugrásnyi" távolságban vannak. Mátraszelével, Zabarral és Somoskőújfaluval mellékút köti össze.

 

		Fontos látványossága a római katolikus templom, amely római klasszicista stílusban épült 1806 - 1823. között. Oromzatos homlokzatú, huszártoronnyal, szegmentes szentéllyel bír. A templomba orgona karzat található, hajója egyboltozatos.
		Nevezetes a kincsrejtő szilaspogonyi Kiskő. Bátran ajánlhatom egy izgalmas felfedező kirándulásként a Kiskő csúcsát, ami minden bizonnyal maradandó élményt fog jelenteni az oda látogatók számára, a szikla különleges formája, bazaltbarlangja, ásványi és környezeti szépségei miatt. A Kiskő vulkáni kúpja közigazgatásilag Szilaspogonyhoz tartozik, attól NY-DNY-ra 2 km-re található. Innen a legkönnyebb a csúcs megközelítése is. A községből a Mélylápa-völgyben ( Cikorád völgy ) haladó földúton egészen a kőformájú hegy lábáig mehetünk, onnan jelezett úton a torony iránt juthatunk fel a sziklába. A Kiskő csúcsa a barlanggal 1975 óta megye jelentőségű, természetvédelmi terület. A Kiskő leglátványosabb és legizgalmasabb része a bazaltban kialakult barlangja. A csúcsról nyílik egy "természetes" bejárata, amely méretét tekintve a barlangüreggel együtt egy 14 m-es akna. Továbbá van egy mesterségesen kialakított vízszintes tárója is. A barlang keletkezésére vonatkozóan több magyarázat is született. Korábban a bazaltban megrekedt gázhólyaggal, később a tektonikai mozgások hatására történő kialakulással magyarázták. A barlangról a legkorábbi írott emlék 1865-ből származik. A monda szerint ürege "kincsrejtő". A néphagyomány szerint törökök lakták. Ez a szóbeszéd nem hagyta nyugodni a Tarna-völgy birtokosát, Kemény Gejzát. 1909-1910 táján három pogonyi lakossal a kemény bazaltba egy közel 10 m hosszú, vízszintes tárót vágatott. Kincset azonban nem talált.
		A Kásaberki völgy belső részén található magántulajdonban levő Szilaspogony-tó, ahol horgászati lehetőség van.