| Kein Abend wie jeder andere | 1976 | Roeder, Antiquitätenhändler | TV Movie |
| Heinz Rühmann erzählt Märchen | 1975 | Narrator | Movie |
| Oh Jonathan, oh Jonathan! | 1973 | Konsul Jonathan Reynold | Movie |
| Hausmeister, Der | 1973 | Davies | TV Movie |
| Der Kapitän | 1971 | Wilhelm Ebbs | Movie |
| Der Pfandleiher | 1971 | Hilary | TV Movie |
| Mein Freund Harvey | 1970 | Elwood Dowd | TV Movie |
| Endspurt | 1970 | Sam Kinsale 80 | TV Movie |
| Lerne Lachen ohne zu weinen | 1970 | | TV Movie |
| Sag's dem Weihnachtsmann | 1969 | Leslie Darwin | TV Movie |
| Die Ente klingelt um halb acht | 1968 | Dr. Alexander | Movie |
| Tod des Handlungsreisenden, Der | 1968 | Willy Loman | TV Movie |
| Heute zwischen gestern und morgen | 1968 | | TV Movie |
| Operazione San Pietro | 1967 | Cardinal Erik Braun (as Heinz Ruhman) | Movie |
| Grieche sucht Griechin | 1966 | Archilochos | Movie |
| Your Money or Your Life | 1966 | Henry Schmidt | Movie |
| Hokuspokus oder: Wie lasse ich meinen Mann verschwinden...? | 1966 | Peer Bille | Movie |
| Enter Inspector Maigret | 1966 | Kommissar Maigret | Movie |
| Ship of Fools | 1965 | Lowenthal (as Heinz Ruehmann) | Movie |
| Das Liebeskarussell | 1965 | Professor Hellberg | Movie |
| Dr. med. Hiob Prätorius | 1965 | Dr. Hiob Prätorius | Movie |
| Vorsicht Mister Dodd | 1964 | Dr. Lancelot Dodd / Dr. Ivor Marmion | Movie |
| Das Haus in Montevideo | 1963 | Prof. Dr. Traugott Hermann Nägler | Movie |
| Meine Tochter und ich | 1963 | Dr. Robert Stegemann | Movie |
| Er kanns nicht lassen | 1962 | Pater Brown | Movie |
| Max, der Taschendieb | 1962 | Max Schilling | Movie |
| The Liar | 1961 | Sebastian Schumann | Movie |
| Das schwarze Schaf | 1960 | Pater Brown | Movie |
| The Good Soldier Schweik | 1960 | Josef Schwejk | Movie |
| Mein Schulfreund | 1960 | Ludwig Fuchs | Movie |
| Judge and Juvenile | 1960 | Judge Dr. Ferdinand Bluhme | Movie |
| A Man Goes Through the Wall | 1959 | Herr Buchsbaum | Movie |
| Menschen im Hotel | 1959 | Carl Kringelein | Movie |
| It Happened in Broad Daylight | 1958 | Oberleutnant Matthäi | Movie |
| Der Pauker | 1958 | Dr. Hermann Seidel | Movie |
| Der eiserne Gustav | 1958 | Gustav Hartmann | Movie |
| Der Mann, der nicht nein sagen konnte | 1958 | Thomas Träumer | Movie |
| Vater sein dagegen sehr | 1957 | Lutz Ventura | Movie |
| The Captain from Köpenick | 1956 | Wilhelm Voigt | Movie |
| Charleys Tante | 1956 | Dr. Otto Dernburg | Movie |
| Das Sonntagskind | 1956 | Anton Wibbel | Movie |
| Danger Flight 931 | 1955 | Henri Petit | Movie |
| Wenn der Vater mit dem Sohne | 1955 | Teddy Lemke | Movie |
| Auf der Reeperbahn nachts um halb eins | 1954 | Pittes Breuer | Movie |
| Briefträger Müller | 1953 | Titus Müller | Movie |
| Keine Angst vor großen Tieren | 1953 | Emil Keller | Movie |
| Das kann jedem passieren | 1952 | Hugo Brinkmeyer | Movie |
| Schäm' dich, Brigitte! | 1952 | Dr. Felix Schneider | Movie |
| Das Geheimnis der roten Katze | 1949 | André | Movie |
| Ich mach dich glücklich | 1949 | Peter Krüger | Movie |
| Der Herr vom andern Stern | 1948 | Der Herr vom andern Stern | Movie |
| Quax in Afrika | 1947 | Fluglehrer Otto Groschenbügel, 'Quax' | Movie |
| Sag' die Wahrheit | 1945 | Peter Hellmer | Movie |
| Die Feuerzangenbowle | 1944 | Dr. Johannes Pfeiffer / Hans Pfeiffer | Movie |
| Ich vertraue Dir meine Frau an | 1943 | Peter Trost | Movie |
| Fronttheater | 1942 | Selbst / Self (unconfirmed, uncredited) | Movie |
| Quax, der Bruchpilot | 1941 | Otto Groschenbügel / Quax | Movie |
| Der Gasmann | 1941 | Hermann Knittel | Movie |
| Hauptsache glücklich! | 1941 | Axel Roth | Movie |
| Kleider machen Leute | 1940 | Schneidergeselle Wenzel | Movie |
| Request Concert | 1940 | Heinz Rühmann | Movie |
| The Leghorn Hat | 1939 | Theo Farina | Movie |
| Hurrah! I'm a Papa | 1939 | Student Peter Ohlsen | Movie |
| Bachelor's Paradise | 1939 | Hugo Bartels, Standesbeamter | Movie |
| 13 Stühle | 1938 | Friseur Felix Rabe | Movie |
| So You Don't Know Korff Yet? | 1938 | Niels Korff | Movie |
| Five Millions Seek an Heir | 1938 | Peter Pett / Patrick Pett | Movie |
| Die Umwege des schönen Karl | 1938 | Karl Kramer - Kellner | Movie |
| Two Merry Adventurers | 1937 | Macky McPherson | Movie |
| The Man Who is Talked About | 1937 | Toni Mathis | Movie |
| Model Husband | 1937 | Billy Bartlett | Movie |
| Allotria | 1936 | David | Movie |
| Lumpaci the Vagabond | 1936 | Schneidergeselle Zwirn | Movie |
| Wer zuletzt küßt... | 1936 | Franz Angerer | Movie |
| Wenn wir alle Engel wären | 1936 | Christian Kempenich | Movie |
| Eva, the Factory Girl | 1935 | Willibald Riegele | Movie |
| Heaven on Earth | 1935 | Peter Hilpert | Movie |
| Wer wagt - gewinnt | 1935 | Paul Normann, der kleine Angestellte | Movie |
| Der Außenseiter | 1935 | Peter Bang | Movie |
| A Waltz for You | 1934 | Benjamin Cortes, Komponist | Movie |
| Such a Boor | 1934 | Dr. Hans Pfeiffer / Erich Pfeiffer | Movie |
| The Grand Duke's Finances | 1934 | Pelotard | Movie |
| Heinz im Mond | 1934 | Aristides Nessel | Movie |
| Pipin, der Kurze | 1934 | August Pipin | Movie |
| Frasquita | 1934 | Hippolit, his best man | Movie |
| Es gibt nur eine Liebe | 1933 | Ballettmeister Eddy Blattner | Movie |
| Laughing Heirs | 1933 | Peter Frank | Movie |
| O' Schwarzwald, O' Heimat | 1933 | Amadori | Movie |
| Ich und die Kaiserin | 1933 | Didier | Movie |
| Alle machen mit | 1933 | | Short Film |
| Three Bluejackets and a Blonde | 1933 | Kadett Heini Jäger | Movie |
| Der Stolz der 3. Kompanie | 1932 | Gustav Diestelbeck | Movie |
| Things Are Getting Better Already | 1932 | Ingenieur Fred Holmer | Movie |
| Spoiling the Game | 1932 | Willy Streblow - Rennfahrer | Movie |
| Bombs Over Monte Carlo | 1931 | 1. Offizier Lt. Peter Schmidt | Movie |
| Man braucht kein Geld | 1931 | Heinz Schmidt | Movie |
| Der Mann, der seinen Mörder sucht | 1931 | Hans Herfort | Movie |
| Meine Frau, die Hochstaplerin | 1931 | Peter Bergmann, Bankbeamter | Movie |
| Der brave Sünder | 1931 | Wittek | Movie |
| Die Drei von der Tankstelle | 1930 | Hans | Movie |
| Murder for Sale | 1930 | Victor Sérigny | Movie |
| Das Mädchen mit den fünf Nullen | 1927 | | Movie |
| Das deutsche Mutterherz | 1926 | Oscar | Movie |
