Nachdem Hardy sein Jura-Studium abgebrochen hatte, versuchte er sich als Straßen- und Zirkussänger. Später arbeitete er in einem Lichtspieltheater und hatte somit ersten Kontakt zum Film.
1910 wurde Hardy Geschäftsführer des Palace Theaters. Es war das erste Kino in Milledgeville. Als Filmvorführer sah er dort die typischen Stummfilmkomödien und nahm sich vor, es in dieser Kategorie zu versuchen. Zwei Jahre später zog er nach Jacksonville, Florida, wo gerade die Kinoindustrie immer erfolgreicher wurde. Da Hardy aber nicht gleich als Schauspieler arbeiten konnte und nicht entdeckt wurde, musste er sein Geld als Sänger verdienen. 1913 zog er nach Atlanta, wo er ebenfalls als Sänger arbeitete.
Schließlich bekam Hardy die Chance in einer Kurzfilmkommödie aufzutreten, denn für diese Rolle haben sie einen dicken jungen Mann gesucht und Hardy entsprach diesem Bild perfekt. Danach stand er erstmals vor der Kamera, als er für "Outwitting Dad" spielte. Hardy bekam immer häufiger Anfragen für Rollen in Kurzfilmen. Immer wieder wurde das Bild gesucht, was Hardy ausfüllte. Mit seiner rundlichen Figur und seinem Talent spielte er überwiegend Bösewichte. 1926 wurde er schließlich vom "Hal Roach Studio" entdeckt und unter Vertrag gestellt.