A települést 1405-ben már említi oklevél Pogon néven. 1715-ben 5 és 1720-ban 4 magyar háztartást írtak benne össze. 1770-ben, az úrbéri rendezés alkalmával, Fáy Abrahám volt a földesura. A 19. század elején, a báró Kemény család birtoka volt. E családból báró Kemény Gábor 1891-ig volt itt birtokos. Az 1900-as évek elején Cziner Miksa dr.-nak volt itt nagyobb birtoka. A 20. század elején Nógrád vármegye Salgótarjáni járásához tartozott. 1910-ben 737 lakosából 708 magyar, 29 szlovák volt. Ebből 703 római katolikus, 24 evangélikus volt. 2001-ben a település lakosságának 78%-a magyar, 22%-a cigány nemzetiségűnek vallotta magát. A községhez tartozott: Hidalja-puszta és Kiskőalja-tanya is. A falu neve 1954-ig Pogony volt, ekkor kapta az előtagot a helység határában csörgedező és a Tarnába futó Szilas-patakról. A patak viszont a medret kísérő szilfákról kapta a nevét.