Wraz z licznym gronem patriotów wziął dymisję z wojska rosyjskiego i całkowicie oddał się sprawie walki narodowej, podobnie jak Adam Chmielowski (1846–1916), przyszły bł. Brat Albert, który w latach 1857–1858 przebywał w Korpusie Kadetów w Petersburgu, czy sam przyszły dyktator powstania Romuald Traugutt (1826–1864), od 1845 roku w wojsku rosyjskim, gdzie w armii generała Paskiewicza tłumił w 1849 roku powstanie węgierskie, oraz uczestnik wojny krymskiej. W 1862 roku Traugutt podał się do dymisji i zajął się gospodarstwem na Polesiu.

Rząd Narodowy mianował Kalinowskiego naczelnym kierownikiem powstania na całą Litwę z siedzibą w Wilnie, dając mu nieograniczoną władzę. Na tym stanowisku pracował on niezmordowanie niemal przez dziesięć miesięcy, dopóki nie został aresztowany przez carską Ochranę w domu rodziców w nocy z 12 na 13 marca (starego stylu) 1864 roku.

Generalny Gubernator Litwy Michaił Murawjow (1796–1866), o pogardliwym przydomku Wieszatiel (Szubienicznik), skazał go na karę śmierci przez powieszenie.

Jednak przed samą egzekucją generał-audytor wyraził się w prywatnej rozmowie z Murawjowem, że śmierć Kalinowskiego będzie marną satysfakcją, ponieważ sami Rosjanie uważali go za „świętego Polaka”, gdy jeszcze służył w wojsku rosyjskim, a Polacy również za takiego go uważają. Jeśliby więc został powieszony, to wszyscy uznają go za świętego męczennika... Wtedy Wieszatiel zmienił w ostatniej chwili wyrok szybkiej śmierci na dziesięcioletnią katorgę przy budowie fortu w Omsku, a po odbyciu kary na dożywotnie zesłanie na Syberię z pozbawieniem wszelkich praw obywatelskich.

Kiedy Kalinowski przybył zwykłymi etapami na Syberię, przez jakiś czas przebywał w Tobolsku, a następnie został pognany do Omska i Usolja, gdzie dotarł w kwietniu 1865 roku. Do 1868 roku pracował jako katorżnik. Od początku dał się poznać jako człowiek wielkiego miłosierdzia, wspomagając towarzyszy niedoli. Bez szemrania znosił w duchu pokutnym wszystkie uciążliwości, a jego dobroć, pobożność i życie ascetyczne (tak!) tak wzruszyły towarzyszy wygnania, że do litanii wygnańczej dodali wezwanie: „Przez modły Kalinowskiego – wybaw nas Panie!” Po zwolnieniu z katorgi osiedlił się na cztery lata w Irkucku, gdzie pracował jako inżynier w instytucji rządowej. Brał też wtedy udział w niektórych wyprawach naukowych Benedykta Dybowskiego i współpracował z syberyjskim oddziałem Towarzystwa Geograficznego. Ze względu na słabe zdrowie przesiedlono go do Rosji europejskiej, gdzie spędził końcowy okres zesłania od 1873 roku w Permie, a następnie w Smoleńsku. Wreszcie w 1874 roku dzięki staraniom wpływowych osób udzielono mu w drodze łaski amnestii i pozwolono wyjechać poza granice cesarstwa rosyjskiego.

15 IX 1874 roku wyjechał do Krakowa, gdzie objął początkowo obowiązki wychowawcy młodego księcia Augusta Czartoryskiego. Jednak już w 1877 roku porzucił świat i wstąpił do nowicjatu karmelitów bosych. W 1882 roku przyjął święcenia kapłańskie z rąk bp. Albina Dunajewskiego i odtąd pracował na chwałę Bożą w swoim wybranym zakonie, początkowo w Czernej, a potem do końca życia w Wadowicach, gdzie w opinii świętości zakończył pielgrzymkę do domu Ojca 15 XI 1907 roku.

Żałować należy, że pamiętniki syberyjskie tego świętego męża nie zostały dotąd ogłoszone drukiem, gdyż stanowią one kolejny dowód mocy, jaką może dać Chrystus nawet na dnie ludzkiego upodlenia.

O. Rafał był mężem gorącego serca, zdolnego poświęcić się całkowicie idei, a przede wszystkim był wierny Ewangelii, którą szerzył całym swoim życiem. Jego ziomek, apostoł narodów i sługa Boży Jan Paweł II urodzony w Wadowicach, beatyfikował go w 1983 roku i dokonał kanonizacji jako pierwszego świętego karmelitańskiego od czasów św. Jana od Krzyża...