Rudolf Levy wird am 15. Juli 1875 als Sohn einer jüdischen Kaufmannsfamilie in Stettin geboren. Er besucht das Gymnasium in Danzig. 1895 beginnt Rudolf Levy seine künstlerische Ausbildung an der Großherzoglichen Badischen Kunstgewerbeschule in Karlsruhe. 1897 geht Rudolf Levy nach München und besucht verschiedene Privatschulen. Dort lernt er auch im Freilichtatelier Heinrich von Zügels und setzt sich mit der Kunst des deutschen, vor allem aber des französischen Impressionismus auseinander. 1903 geht Rudolf Levy nach Paris, er kommt in Kontakt mit dem Künstlerkreis des Café du Dôme. 1905 stellt er seine Werke im Pariser Herbstsalon aus, in dem auch erstmals die Fauves-Künstler ausstellten. In den folgenden Jahren nimmt Rudolf Levy an zahlreichen Ausstellungen teil, so 1912 an der Sonderbundausstellung in Köln und im Stedelijk Museum in Amsterdam.
Mit Ausbruch des Ersten Weltkriegs werden der Künstlerische Werdegang und die Teilnahme an Ausstellungen unterbrochen. Levy meldet sich freiwillig zum Kriegsdienst und kämpft als deutscher Soldat an der französischen Front. Nach dem Krieg lebt Levy für kurze Zeit in München, Anfang der 1920er Jahre zieht er nach Berlin. In der Galerie von Alfred Flechtheim wird die erste Einzelausstellung Rudolf Levys gezeigt. Rudolf Levy wird Vorstands- und Jurymitglied der Berliner Secession und beteiligt sich an den Secessions-Ausstellungen. 1933 muss Rudolf Levy emigrieren, nach einiger Zeit des rastlosen Umherwanderns lässt er sich in Italien nieder. Hier wird er jedoch Ende 1943 in Florenz von den Nationalsozialisten verhaftet, während des Transports zum Konzentrationslager Carpi-Fossoli bei Modena kommt Rudolf Levy im Januar 1944 ums Leben.