Firmaet blev grundlagt som Skibsproviantering den 7. September 1954 af Grosserer J.H.Olsen, på adressen Sankt Annæ Plads 10, i København. Der blev i de første år særligt lagt vægt på skibsproviantering af danske og udenlandske handelsskibe, krydstogt samt flådeskibe.
Derudover satsede firmaet fra starten på flere maritime agenturer. Alle de oprindelige specialer er stadig i dag fastholdt i firmaets sortiment. J.H.Olsen & Co. blev i 1977 omdannet til anpartsselskab og flyttede til den daværende adresse i Dronningens Tværgade 50. Ved Grosserer J.H.Olsens død i 1995, overtog sønnen Jens Olsen styrelsen som hovedaktionær.
Firmaet oprettede i 2005 den maritime web shop ”Ankerole” der lægger særlig vægt på maritime gaveartikler.Alt i alt er den specielle ånd, som Grosserer J.H.Olsen startede i firmaet for mere end 60 år siden, i dag videreført af 2. 3. og 4. generation. J.H.Olsen & Co. indgår i dag som datterselskab i JC Holding ApS.