Saat ini, Rudi juga menjabat sebagai Jaksa Agung Muda Bidang Pengawasan (Jamwas). Dalam perjalanan kariernya, ia pernah menduduki sejumlah jabatan strategis, antara lain Asisten Tindak Pidana Khusus Kejati Jakarta, Wakil Kepala Kejaksaan Tinggi Nusa Tenggara Timur, Wakil Kepala Kejaksaan Tinggi Daerah Istimewa Yogyakarta, Direktur pada Jaksa Agung Muda Bidang Perdata dan Tata Usaha Negara, Kepala Kejaksaan Tinggi Kepulauan Riau, Kepala Kejaksaan Tinggi DKI Jakarta, serta Kepala Badan Pendidikan dan Pelatihan Kejaksaan Agung.
Selanjutnya, pada akhir 2024, Rudi dipercaya menjabat sebagai Jaksa Agung Muda Bidang Pengawasan hingga saat ini.
Selain berkarier di lingkungan Kejaksaan, Rudi juga pernah bertugas sebagai jaksa penuntut umum di Komisi Pemberantasan Korupsi (KPK). Saat itu, ia menangani sejumlah perkara, di antaranya kasus mantan Deputi Gubernur Bank Indonesia Aulia Pohan dan perkara yang menjerat mantan Gubernur Kepulauan Riau, Ismeth Abdullah.
Bahkan, pada 2008 Rudi dipercaya sebagai Ketua Tim Supervisi penelusuran kasus dugaan korupsi Bantuan Likuiditas Bank Indonesia (BLBI) yang dibentuk KPK. Pada 2023, ia juga mengikuti seleksi Deputi Penindakan KPK dan menjadi satu-satunya jaksa yang masuk enam besar peserta.