Çocuk yaşta keman ve piyano eğitimi alarak müzik eğitimine başlayan Piatigorsky, daha sonra viyolonseli görüp ve sesini duyunca bir çellist olmaya karar verdi. Daha sonra Moskova konservatuvarını kazanan Piatigorsky, bir süre kafelerde çalarak ailesine para kazandırdı. 13 yaşındayken Ekim Devrimi'nden kısa bir süre sonra Lenin Kuvartet'de çalmaya başladı. 15 yaşında baş çellist olarak Bolşoy Tiyatrosu'na girdi. Rus otoriteleri onun çalışmalarına destek vermediği ve yolculuğa çıkmasına izin vermedikleri için bir grup sanatçı ile trene binerek Polonya'ya kaçtı. Ama sınıra ulaştıklarında muhafızlar onlara ateş etmeye başladı. Piatigorsky bu çatışmadan yaralı olarak kurtuldu ama çellosu gasp edildi.
18 yaşında Berlin ve Leipzig'de kısa bir süre okudu. Bir trio grubuyla Rus kafelerinde çaldı. Onun yeteneğini farkeden cafe sahibi Wilhelm Furtwängler sayesinde Berlin Filarmoni Orkestrası'na baş çellist olarak girdi. 1929 yılında ilk kez Amerika Birleşik Devletleri'ne gitti ve orada şef Leopold Stokowski yönetimindeki Philadelphia Orchestra'nda ve şef Willem Mengelberg yönetimindeki New York Filarmoni Orkestrası'nda çaldı. Amerika'da çok mutlu olan Piatigorsky 1942 yılında ABD vatandaşı oldu. Arthur Rubinstein ve William Primrose'la birlikte birlikte oluşturdukları trio ile kayıtlar yaptılar. 1941'den 1949'a kadar Philadelphia'da Curtis Institute of Music çello bölümünü yönetti. Aynı zamanda ölümüne dek Tanglewood, Boston Üniversitesi ve Southern California Üniversitesi'nde hocalık yaptı. İki Stradivarius çello sahibi olan Piatigorsky, Los Angeles'deki Westwood Village Memorial Park mezarlığı'na gömüldü.