Nació en Padcaya, Departamento de Tarija el 17 de abril de 1824. Perteneciente a una modesta familia, fue hijo de Diego de Arce y Francisca Ruiz de Mendoza. Cursó sus estudios primarios y secundarios en el Colegio Junín de Sucre y derecho en la Universidad de San Francisco Xavier. A sus 26 años, fue elegido diputado y durante el gobierno de José María Linares en enero de 1857 fue nombrado rector del Colegio Pichincha de Potosí. Un año antes, en 1856 había iniciado sus trabajos en las minas de plata de Huanchaca que lo convertirían en el primer millonario del país.Durante el gobierno Presidente José María Achá fue ministro de Bolivia en Argentina y Paraguay (1863). Durante la Guerra del Pacífico, convencido del adverso resultado para el país, encabezó el partido pacifista. Tuvo un rol fundamental en la redacción de la nueva Constitución, aceptando ser vicepresidente de Narciso Campero en el crucial período de construcción de nación 1880–1884.
Sus divergencias en la resolución del conflicto bélico con Chile, lo conducen a su destierro de Bolivia en 1881, instalándose en París. En 1885 fue nombrado ministro en Chile, en 1886, ministro en España y Francia. Fue elegido Presidente de Bolivia para el periodo 1888 –1892. Terminado éste se retiró a la vida privada y a sus negocios. Sufrió una persecución política por parte del Partido Liberal hasta que vuelve a la política activa en 1904 para competir como candidato a la primera magistratura con su opositor Ismael Montes. Murió en Sucre, Bolivia el 14 de agosto de 1906 a los 82 años de edad. Ante la persecución del gobierno de Manuel Isidoro Belzú, se exilió en Copiapó (Chile), donde se interesó por la minería. Al regresar a su país tras la subida de Linares al poder, se dedicó a la minería y consiguió reunir una gran fortuna: la mina de plata de Huanchaca fue una de sus propiedades más importantes. Casado con Amalia Argandoña, heredera de los accionistas de Huanchaca, cimentó una fortuna personal vinculada a ese centro minero, del que acabó siendo el principal accionista.
Elegido vicepresidente en 1880, fue separado del cargo y obligado a exiliarse por decisión del presidente Narciso Campero. Se refugió en Francia, de donde regresó para intervenir en la política al frente del partido Conservador, resultado de la fusión de los partidos Constitucional y Democrático. Fue embajador en Argentina, Paraguay, España y Francia. Fue elegido Presidente de la República por el período 1888 -1892. Durante su gobierno destacó la construcción de vías de comunicación, especialmente la continuación de la vía férrea desde la frontera con Chile hasta Oruro, obra combatida por la oposición, argumentando que el ferrocarril sería utilizado por los chilenos para invadir Bolivia. El 15 de mayo de 1882, cuando la obra estuvo terminada, exclamó: «Ahora ya podéis matarme».