Ebbe Hertzberg var et bredt orientert menneske som arbeidet og engasjerte seg innenfor en rekke felter. Han arbeidet som historiker, var medlem av en rekke offentlige kommisjoner og komiteer og deltok aktivt i den offentlige politiske debatt, samtidig som han var en dyktig administrator og embetsmann.
Hertzberg vokste opp i Sande i Vestfold, Christiania og Trondheim. Han tok examen artium 1865 og ble cand.jur. 1870. Han viste tidlig interesse for historie, og 1868 ble han belønnet med Kronprinsens gullmedalje for en historisk avhandling om aristokratiet før kong Sverres tid. 1870 oppholdt han seg i Uppsala for å studere rettshistorie, som kom til å bli hans spesialfelt, med reisestipend fra universitetet i Christiania. 1872–73 fikk han igjen midler til å reise ut; han begav seg til München, hvor han studerte rettshistorie under Konrad Maurer, en tysk rettshistoriker med norrøne rettsforhold som spesialfelt.
Etter knapt to års opphold i Paris som attaché ved den svensk-norske legasjonen ble Hertzberg 1877 utnevnt til professor i statistikk og statsøkonomi ved universitetet i Kristiania. I denne tiden markerte han seg som en forsvarer for frihandelssystemet; han engasjerte seg i debatten om beskyttelsestoll og var medlem av den kongelige kommisjon for revisjon av tolltariffen fra 1879.
Hertzberg gav 1883 ut studien Professor Schweigaard i hans offentlige Virksomhed. Selv om boken bar tydelig preg av å være et politisk forsvarsskrift for Schweigaards politiske ettermæle, hadde den også rom for originale synspunkter på hans samfunnsrolle rundt midten av 1800-tallet. Som erklært høyremann var Hertzberg medlem av det kortvarige aprilministeriet 1884.
Etter krav fra det juridiske fakultet, som hans professorat lå under, trakk Hertzberg seg tilbake fra alle offentlige verv 14. oktober 1886. Årsaken var ryktene og historiene som svirret rundt i Kristiania om Hertzbergs seksuelle legning, med utgangspunkt i hans bekjentskaper med mannlig proletarungdom i 1870-årene. Hertzberg innrømmet at han var homofil, i en tid da dette var forbudt, og henviste til sakkyndige uttalelser om at det i hans tilfelle skyldtes arv og ikke moralsk brist. Det juridiske fakultet fant det imidlertid uholdbart at en mann med hans legning skulle undervise unge menn.
Hertzberg flyttet bort fra Kristiania for en lengre periode, offisielt for å vie seg til sin rettshistoriske forskning. I denne tiden bodde han i München, Berlin, Holmestrand og Stockholm. Årene brukte han til å fullføre glossariet til Norges gamle Love, et arbeid han hadde begynt på midt i 1870-årene. 1895 var glossariet ferdig. Det var et virkelig storverk, et fullstendig register til Norges lover før 1388 med tolkninger og forklaringer av ord og begreper, og ble Hertzbergs hovedverk.
Fra 1896 trådte Hertzberg igjen inn på den offentlige arena. Raskt ble han formann av kommisjonen for Norges gamle lover, og han var vekselvis visepreses og preses i Videnskabsselskabet i Kristiania (nå Det Norske Videnskaps-Akademi) fra 1906. I årene 1897–1904 stod han sentralt i utformingen av en ny norsk toll- og tariffpolitikk. Selv om han i det lengste forsvarte frihandelssystemet, gikk han fra 1897 inn for at Norge måtte sikre egne næringer med beskyttelsestoll. Argumentet var at et frihandelssystem var avhengig av gjensidighet mellom flere land for å kunne opprettholdes. Nettopp det endret seg på slutten av 1800-tallet, ved at verdens store industriland bygde opp tollmurer mot andre lands varer. 1903 var Hertzberg formann for den nye tolltariffkomiteen, hvis innstilling varslet et brudd med frihandelssystemet og overgang til et proteksjonistisk handelsregime. Samme år ble han direktør i Den norske Hypotekbank.
1906 ble Hertzberg utnevnt til riksarkivar etter nylig avdøde H. J. Huitfeldt-Kaas. I denne stillingen viste han seg som en dyktig administrator, og han ledet arbeidet med å skaffe Riksarkivet nye og mer egnede lokaler. Samtidig hadde han påtatt seg å skrive om perioden 1030–1319 i en ny norgeshistorie. Han kom aldri til å fullføre verket, men gjennomførte i den sammenheng flere studier i sagatidens historie, som ble publisert i Historisk Tidsskrift.
Et interessant trekk ved Hertzbergs historiske arbeider var at flere av studiene nærmest var å regne som grunnlagsmateriale for dagsaktuelle saker. Som eksempel kan nevnes hans historiske oversikt over Norges industri (1882), som ble til i forbindelse med hans arbeid i den første tollkommisjon, et verk som kan regnes som et tidlig bidrag til norsk økonomisk historie. Et annet eksempel er undersøkelsen Om Eiendomsretten til det norske Kirkegods (1898), gjort på oppdrag fra regjeringen, som videre benyttet den som bakgrunnsmateriale i en prosess i Høyesterett. I tillegg til den praktiske nytteverdien kastet undersøkelsen også et viktig lys over reformasjonen i Norge.
Hertzbergs historiske stil var analytisk og saklig, med stor interesse for den konkrete detalj. Han understreket hvor viktig det økonomiske fundament var for samfunnsutviklingen, ikke minst i avhandlingen om Schweigaard, hvor han rettet skyts mot venstresiden som ikke viste forståelse for hvor viktig en sunn økonomi var for et folks velvære. Dette var et grunnleggende synspunkt som Hertzberg delte med de andre konservative historikerne.
Hertzberg levde og virket i en tid hvor grensene mellom fagområdene gikk fra å være flytende til å bli mer faste, en utvikling hvor han selv ikke kom til å spille en ledende rolle, noe som kan forklares med hans typiske tverrfaglige forskerprofil. Innen statsøkonomi var han orientert mot kvalitative og historisk baserte undersøkelser, noe som stod i motsetning til retningen faget fikk i siste halvdel av 1800-tallet. Han var heller ikke blant historiefagets sentrale skikkelser i 1870-årene, i en tid da faget gjennomgikk en avgjørende institusjonalisering. Hertzberg hadde likevel mye til felles med den dominerende konservative skolen i historiefaget, selv om han aldri tilhørte kjernen i dette miljøet, som allerede i slutten av 1860-årene hadde dannet seg rundt riksarkivar Michael Birkeland og som kom til å stå sentralt i byggingen av norske historiefaglige institusjoner, som f.eks. Historisk Tidsskrift.
Ebbe Hertzberg ble utnevnt til ridder av 1. klasse av St. Olavs Orden 1901 og fikk kommandørkorset av 2. klasse 1907.