Dům, který se stal nakrátko improvizovaným vězením, stojí dodnes v Rýžovišti u
Rýmařova. Poznáte jej podle pamětní desky, která tuto událost připomíná. Lafayetta v budově bývalé rychty zavřeli v roce 1794, když prchal z olomouckého vězení. U Rýžoviště jej zradil místní koželuh Josef Drechsler, kterému Lafayette nabídl svého koně a velký obnos peněz, když mu ukáže cestu.
Drechsler však místo toho přivedl rychtáře a ozbrojence. Ti zavřeli Lafayetta v budově místní rychty a ve dvě hodiny v noci jej odvezli zpátky do Olomouce, kde byl vězněn za to, že se v době revoluce podílel na popravách francouzské královské rodiny.
Lafayette, který byl osobním přítelem George Washingtona, důvěrným přítelem básníka Robespierra, byl nakonec z olomouckého vězení vysvobozen až poté, co se vlády ve Francii ujal Napoleon Bonaparte. Z vězení mohl odejít právě na osobní příkaz Napoleona.