Durante la giovinezza riceve un'educazione di impostazione classica, rimane affascinato dall'arte del medioevo e del rinascimento e si dedica alla pittura frequentando intorno al 1848 lo studio del Camuccini, quello del Coghetti e infine quello di Francesco Podestí e del Clerici. Ma la sua propensione per la natura e la pittura tratta dal vero lo spingono a non prendere esempio dallo stile di questi artisti, ancora legato all'esperienza neoclassica e romantica.

Convinto assertore di un'unità nazionale partecipa alla prima guerra di indipendenza, anche al seguito di Garibaldi. Dopo la restaurazione, tra il 1850 e il 1851, compie un viaggio a Napoli: qui probabilmente conosce i risultati della scuola di Posillipo affinando la sua naturale propensione per la rappresentazione verista del paesaggio. In questi anni inizia a soggiornare ad Ariccia dove frequenta alcuni artisti stranieri: i nazareni come Overbeck e Cornelius, con cui condivide la passione per l'arte antica, e anche Bócklin e Oswald Achenbach.

Risalgono a questo periodo le prime conoscenze inglesi: nel 1852 incontra George Mason, in compagnia del quale dipinge en plein air nella campagna romana, e nel 1853 conosce Frederick Leighton. Probabilmente sono loro a informare l'artista romano sulle idee di Ruskin, che dovevano apparire congeniali al Costa la cui ricerca pittorica si fondava sulla rielaborazione del vero attraverso il "sentimento del pensiero".

Conclude il periodo di formazione l'opera Donne che caricano legna a Porto d'Anzio del 1852, esposto nel 1856 alla Promotrice di Roma, nel 1861 alla 1 Esposizione nazionale di Firenze e nel 1862 al Salon parigino.

Tra il 1855 e il 1856 fa conoscenza dello svizzero Emile David, che lo informa sulle prove di Corot e dei barbizonniers, e dell'inglese Charles Coleman lo convince definitivamente ad abbandonare i soggetti storici.

Dal 1856 ha inizio la sua fortuna presso l'ambiente inglese: Leighton acquista il quadro Dormono di giorno per pescare di notte, replicato in grandi dimensioni qualche anno più tardi ed esposto nel 1890 alla New Gallery di Londra.

A partire da queste date il processo creativo porta Costa a iniziare molti lavori e a concluderli avanti nel tempo, alla ricerca idealistica della perfezione: l'esempio più significativo è La ninfa nel bosco che, iniziato nel 1863 verrà terminato solo negli anni Ottanta, preannunciando le novità della pittura simbolista.

Nel 1859 si arruola nel regio esercito piemontese per combattere la seconda guerra di indipendenza. Alla fine dello stesso anno torna Firenze dove svolge un ruolo significativo nel circolo del Caffè Michelangelo soprattutto per l'attività di Giovanni Fattori. A Costa spetta il merito di aver convinto i giovani macchiaioli ad abbandonare i soggetti storici e dedicarsi alla pittura dal vero, en plein air, e di aver introdotto l'insolito formato accentuatamente longitudinale.

Tra il 1861 e il 1862 compie un primo viaggio a Parigi dove riceve gli apprezzamenti di Troyon, Gleyre, Ricard Hébert e di Corot per le Donne che caricano legna a Porto d'Anzio esposto al Salon. Espone anche al Salon des Refusés un piccolo studio dal vero che viene immediatamente venduto e, in privato, mostra agli amici francesi i suoi studi dal vero apprezzati anche da Messonier. A Parigi frequenta critici come Théophile Gautier, Charles Baudelaire e Eduard Bertin, confermando quell'interesse per il dibattito teorico e la critica che lo vedranno in prima linea più tardi.

Nel 1862, durante un breve soggiorno a Londra conosce Burne-Jones, attraverso il quale ha probabilmente modo di approfondire la conoscenza delle idee di Ruskin sull'arte. Nel 1863 raggiunge Mason nello Staffordshire e con lui dipinge nella campagna inglese subendo il fascino delle tematiche bucoliche e sentimentali care all'amico. In sua compagnia si reca poi a Londra e Parigi e, una volta solo, prosegue per la zona di Fontainbleau dove nasce l'ispirazione per La ninfa nel bosco, il suo quadro più famoso.

Rientrato a Firenze si avvicina a Banti e Cabianca e frequenta la tenuta di Diego Martelli a Castiglioncello, avvicinandosi all'arte dell'Abbati.

Negli anni Sessanta alterna alla residenza fiorentina i soggiorni romani, durante i quali, tra il 1865 e il 1866, incontra George Howard. Questi, divenuto Lord Carlisle sosterrà la fortuna di Costa in Inghilterra e ne diverrà uno dei maggiori collezionisti.

Nel 1867 si stabilisce nuovamente a Firenze in seguito alla sconfitta di Mentana e lavora tra Livorno, Castiglioncello e Bocca d'Arno

Nel 1870 combatte per la liberazione di Roma e da quel momento partecipa attivamente alla vita politica cittadina come consigliere comunale di Trastevere.

La sua arte, pressoché sconosciuta al pubblico italiano, trova sempre maggiori consensi in ambiente anglosassone: espone fin dal 1869 alla Royal Accademy di Londra; a partire dal 1877 partecipa alle attività della Grosvenor Gallery e nel 1882 ottiene enorme successo di pubblico e critica con la mostra di sessantotto dipinti alla Fine Art Society

Fra il 1883 e il 1884 fonda la scuola etrusca con gli amici inglesi e abbandona la Grosvenor Gallery per esporre alla New Gallery.

Nel 1887 aderisce al gruppo "In Arte Libertas" e partecipa alle esposizioni organizzate regolarmente dalla società fino al 1902.

Nel 1897 viene acquisito dalla National Gallery of British Art Il risveglio della natura, quadro donato con una sottoscrizione promossa dagli amici inglesi e distrutto durante la seconda guerra mondiale.

Muore il 31 gennaio del 1903 a Marina di Pisa.