Rýmařov wyrósł na złocie, srebrze i rudzie żelaza. Miasto u podnóża Jesioników jest domem rodzinnym Karla Schinzela, mężczyzny, który przyczynił się do powstania fotografii kolorowej. Najbardziej znanym, żyjącym rodakiem jest czeski reprezentant piłki nożnej Tomáš Ujfaluši.
Już Celtowie przed ponad dwoma tysiącami lat płukali tutaj złoto. Gorączka złota dotarła do Rýmařova w XIII wieku, kiedy miejscowi obywatele byli w stanie oczyścić złoto prawie w stu procentach. Za rządów Jana Lucemburskiego nastąpił największy rozwój Rýmařova, dzięki wydobyciu rudy żelaza i jej opracowaniu na żelazo.
Turyści zainteresowani historią miasta mają możliwość zwiedzenia
muzeum miejskiego, jednak większą liczbę zwiedzających przyciąga okolica zamku w Janovicach. Kolejnym interesującym zabytkiem jest Kościół Świętego Michaela, wybudowany na fundamentach gotyckich. Na rynku turyści nie powinni pominąć Kolumny Mariackiej (czes.
Mariánský sloup) z XVII wieku, rzeźby Świętego Jana Nepomucena z XVIII wieku i rzeźby Panny Marii. Swój czar posiada także chroniony zabytek Willa Juliusa Spitzera w stylu art deco.