Piebalgs dzimis 1957.gadā, augstāko izglītību ieguvis Latvijas Valsts universitātes Fizikas un matemātikas fakultātē. Strādājis par fizikas skolotāju, bijis Valmieras 1.vidusskolas direktors, deputāts rajona pašvaldībā. 1988.gadā viņš sācis strādāt Tautas izglītības ministrijā par vecāko speciālistu, bijis tautas izglītības ministrs Ivara Godmaņa valdībā.
No savienības «Latvijas ceļš» Piebalgs tika ievēlēts 5.Saeimā, viņš bija Saeimas Budžeta un finanšu komisijas priekšsēdētājs, ieņēma finanšu ministra amatu Māra Gaiļa valdībā, bet demisionēja saistībā ar 1995.gada banku krīzi un nolika arī Saeimas deputāta mandātu.
Pēc tam Piebalgs bija Latvijas vēstnieks Igaunijā, bet kopš 1998.gada viņš strādāja par vēstnieku ES, bija Latvijas iestāšanās ES sarunu vadītāja vietnieks. 2003.gadā Piebalgs tika iecelts par Ārlietu ministrijas valsts sekretāra vietnieku ES jautājumos, vadīja pirmās Latvijas izvirzītās ES komisāres Sandras Kalnietes biroju, bet tad pats kļuva par komisāru.
Piebalgs ES komisāra amatu ieņēma no 2004.gada līdz 2014.gada rudenim. Vispirms viņš pildīja enerģētikas komisāra pienākumus, bet no 2010.gada līdz 2014.gada novembrim bija attīstības komisārs.
Piebalgs iestājās «Vienotībā» 2014.gada septembrī, bet 2014.gada decembrī viņu ievēlēja partijas valdē.
Piebalgs iepriekš paudis, ka pusgada laikā partijas reitingam jāsasniedz 10%, bet nākamā gada pašvaldību vēlēšanās jāiegūst 5% mandātu. Aprīlī intervijā aģentūrai LETA Piebalgs pauda, ka «Vienotība» ir krīzē, bet tā var būt laba iespēja pārdomāt virzienu, kādā partija vēlas iet un kādā veidā to darīt.
Pirms kongresa notikušajās partijas priekšsēdētāja amata kandidātu debatēs Piebalgs uzsvēra nepieciešamību novērst iekšējus strīdus partijā. Lai nepieļautu strīdus partijā, ir svarīgas iekšējās procedūras, kārtība un caurskatāmība - tikai tā var iztikt bez konfliktiem un uzklausīt dažādus viedokļus, pārliecināts Piebalgs. Viņš uzskata, ka situāciju var risināt, arī mainot partijas statūtus, un būtiski, lai partijas biedri justu, ka viņiem ir gan tiesības, gan pienākumi.
Iepriekš politiķis arī apliecināja gatavību kļūt par «Vienotības» premjera amata kandidātu, ja viņš kļūs par partijas līderi.
Līdz šim partijas līdere bija Solvita Āboltiņa, kura šoreiz uz «Vienotības» vadītājas amatu nekandidēja. «Vienotība» šodien ārkārtas kongresā pārvēlē partijas vadību.