Původní synagoga ze 17. století byla zničena požárem a nově postavena v roce 1782. Za okupace byla synagoga i s vnitřním zařízením znovu zpustošena. Celkové rekonstrukce se dočkala až v roce 1995, kdy byl vybudován i pomník 58 rychnovským obětem holocaustu. Dnes synagoga slouží jako Židovské muzeum Podorlicka a památník Karla Poláčka. Tohoto slavného rychnovského rodáka ve městě připomíná např. sousoší Bylo nás pět, spisovatelova busta na Poláčkově náměstí či každoroční festival Poláčkovo léto.