Jednym z pierwszych nauczycieli Wieniawskiego w Lublinie był Franciszek Synek. W wieku dziesięciu lat przeniósł się do Paryża, gdzie pobierał czteroletnie studia w konserwatorium, kształcił się w klasach fortepianu Piotra Józefa Zimmermanna i Antoniego Franciszka Marmontela. Technikę gry na fortepianie doskonalił również u wuja Edwarda Wolffa. Lekcję kompozycji i kameralistyki pobierał u Karola Walentego Alkana. Uczelnię ukończył z najwyższym wyróżnieniem otrzymując Prémier Grand Prix (z gry na fortepianie oraz z harmonii). Karierę wirtuozowską i twórczość kompozytorską rozpoczął już w wieku 10 lat u boku starszego brata w Paryżu. Młodzieńcy występowali razem jako "cudowne dzieci", wywołując sensacje i wybuchy oklasków w salach koncertowych Cesarstwa Rosyjskiego (ok. 200 koncertów w ciągu dwóch lat), Niemiec, Austrii, Belgii i Francji. 

W 1859 roku przeniósł się do Warszawy, gdzie poświęcił się organizacji poranków i wieczorów muzycznych, na których oprócz niego występowali m.in. J. Hornziel, J. Goebelt,  A. Wieniawski (brat), M. Kalergis, M. Więckowska, F. Dulcken, później także Ignacy Jan Paderewski. Następnie zamieszkał w Paryżu, gdzie bawiącemu tam dwukrotnie Stanisławowi Moniuszce oddał cenne usługi w propagowaniu jego kompozycji we Francji. Dzięki staraniom Józefa Wieniawskiego ukazały się w 1862 roku w Paryżu 34. pieśni Moniuszki z tekstem francuskim w nakładzie G. Flaxlanda, a także III Litania ostrobramska (Echos de Pologne). Starał się również o wystawienie jednej z oper Moniuszki we Francji.

W 1864 roku przeniósł się do Moskwy, gdzie początkowo był nauczycielem tak zwanych klas muzycznych przy tamtejszym oddziale Rosyjskiego Towarzystwa Muzycznego, a od 1866 roku profesorem i sekretarzem rady artystycznej konserwatorium. Po roku otworzył jednak prywatne klasy muzyczne, w których miał około 700 uczniów (wg Jana Kleczyńskiego). W 1870 roku ponownie osiadł w Warszawie, dokąd wcześniej przyjeżdżał często z koncertami. W 1871 był jednym z członków-założycieli Warszawskiego Towarzystwa Muzycznego. W tym samym roku dał trzeci i ostatni koncert w Krakowie; w 1872 wystąpił w Dreźnie a w 1875 zagrał jedyny recital we Wrocławiu.

Józef Wieniawski rozwinął w Warszawie szeroką i intensywną działalność, zwłaszcza kiedy objął w 1875 roku po Aleksandrze Zarzyckim funkcję dyrektora Towarzystwa Muzycznego. Urządzał koncerty symfoniczne i zapraszał do współpracy najwybitniejszych solistów zagranicznych. Po trzech latach działalności zrezygnował z ubiegania się o reelekcję i wyjechał do stolicy Francji.

W 1878 roku objął stanowisko nauczyciela gry fortepianowej w Konserwatorium w Brukseli, gdzie z sukcesem organizował koncerty kameralne w Palais des Beaux Arts (wspólnie z Jenő Hubayem) oraz w Salle de la Grande Harmonie (we współpracy z Eugènem Ysaÿe'm). W 1889 roku ożenił się z Melanią Hilsheimer, córką drezdeńskiego bankiera, z którą miał syna i dwie córki, Elżbietę - skrzypaczkę i wiolonczelistkę, oraz Marcelę. Od 1900 roku dawał własne Séances de Piano. W 1896 roku za całokształt pracy otrzymał godność członka honorowego WTM. Jeden z ostatnich koncertów dał Wieniawski w Lipsku w 1910 roku. Dokonał kilku nagrań na wałkach pianolowych.