Nato nel 1950 a Gainesville, in Florida, Petty ha avuto un'infanzia difficile, ma una stretta di mano di Elvis all'età di 17 anni ha suscitato interesse per la musica rock. David Rolland dei Broward Palm Beach New Times è andato in gita per visitare luoghi importanti per Petty nel 2014, inclusa la sua casa d'infanzia:
La prima band dei Petty, i Mudcrutch, viveva in una fattoria a Gainesville che era "sporca a buon mercato" e "lontana da tutti i vicini che potrebbero lamentarsi del rumore", il Gainesville Sun ha scritto nel 2008.
Red Slater, un amico della band che visse nella fattoria per alcuni anni, disse al Sole:
La band si trasferì in California nel 1974 per renderlo grande, ma la band si sciolse e alcuni ex membri si riunirono per formare Tom Petty and the Heartbreakers, e il resto, come si suol dire, è storia (anche se Mudcrutch si è riunito nel 2007 e ha pubblicato due album).
La casa di Petty a Encino, in California, ha una lunga storia. Nel 1987 — un anno prima dei Traveling Wilburys (il supergruppo Petty formato con George Harrison, Bob Dylan, Roy Orbison e Jeff Lynne) pubblicarono il loro debutto — un
incendiario ha dato fuoco alle scale di legno della proprietàe quasi tutto tranne lo studio di registrazione del seminterrato è andato perso. La piccola e la famiglia hanno ricostruito il posto e secondo Realtor.com:E veniamo al ritiro del Lago Sherwood a Petty. Era messo in vendita a maggio, ed è ancora sul mercato per $ 5,895 milioni. Chiamato Casa Della Madonna, il luogo fu costruito nel 1931 e sembra più il Lago di Como che la California. La proprietà di 5.300 piedi quadrati è su quasi un acro con un molo privato. Il soggiorno presenta pareti in pietra di campo locale e un'aggiunta del 2004 ha aggiunto una tranquilla suite padronale con una profonda vasca in pietra e un balcone con camino.