Już przed naszą erą ludzie zauważyli, że pewne minerały przyciągają kawałki żelaza.
Powstawały legendy o magnetycznych wyspach, które przyciągają i zatapiają okręty. Nazwa pochodzi od miasta Magnezja w Azji Mniejszej, gdzie znajdowały się złoża tej rudy.
Marynarze wykorzystywali magnesy do wyznaczania stron świata, kobiety - jako amulet zdolny przyciągnąć z powrotem niewiernego męża. Pierwszym znanym magnesem był magnetyt, którego zdolność do oddziaływania magnetycznego na inne ciała opisał Tales z Miletu na przełomie VII i VI wieku p.n.e.
Obserwacje i opis własności magnesu wiążą się przede wszystkim z wynalazkiem kompasu, który powstał w Chinach, a w Europie pojawił się w okresie późnego średniowiecza.
Początkowo kompas stanowił kawałek magnetytu, umieszczony na drewienku pływającym w naczyniu z wodą. Nie wiadomo, kto i kiedy odkrył, że za pomocą magnetytu można trwale namagnesować igłę stalową, choć samo zjawisko indukcji elektromagnetycznej (czyli magnesowania się ciał żelaznych pod działaniem pola magnetycznego magnetytu) opisał w V wieku Aurelius Augustinus (św. Augustyn) w swym dziele O państwie bożym.
Odkrycie to dało początek innemu typowi kompasu (namagnesowana igła wetknięta w słomkę pływającą w naczyniu z wodą), przede wszystkim zaś przyczyniło się do dokładniejszych obserwacji magnesu i prób opisu jego własności. W każdym razie już Petrus Peregrinus de Maricourt w 1269 roku opisał własności magnesu, operując pojęciem bieguna magnetycznego i zwracając uwagę, że bieguny magnesu przyciągają się lub odpychają.
Podał też sposób magnesowania ciał żelaznych za pomocą magnetytu.
Dalszy znaczny postęp w badaniach własności magnesu zawdzięczamy W. Gilbertowi. W roku 1600 wydał on książkę, w której opisał wyniki swych badań. Gilbert wykazał doświadczalnie, że magnes rozcięty na dwie części zachowuje własności magnesu, tzn. każdy kawałek w dalszym ciągu ma dwa bieguny magnetyczne. Wykorzystywał on też zjawisko indukcji magnetycznej w celu wzmacniania własności magnesu (nakładając na jego końce tzw. nabiegunniki żelazne).
Gilbert odkrył też, że magnes traci swe własności po silnym ogrzaniu go.
Wreszcie odkrył zjawisko magnesowania żelaza i stali przez pole magnetyczne Ziemi (przez niego zresztą odkryte) - co Chińczycy znali już w XI wieku - i zauważył przy tym, że żelazo traci swe własności magnetyczne, stal natomiast - zachowuje.
Ostatni efekt zbadał potem dokładnie J. A. Ewing, odkrywając zjawisko histerezy magnetycznej (zależność między stopniem trwałego magnesowania a "historią" magnesowania) w 1890 roku; on też wprowadził do dziś stosowany podział materiałów ferromagnetycznych (silnie magnesujących się pod wpływem pola magnetycznego) na:
miękkie (praktycznie nie zachowujące swych własności magnetycznych po wyjęciu ich z obszaru pola i w związku z tym nie nadające się na magnesy, ale stosowane jako rdzenie elektromagnesów),
twarde (zachowujące swe własności magnetyczne po usunięciu pola magnesującego).
Wkrótce po odkryciu efektu magnetycznego prądu elektrycznego (doświadczenie Oersteda), Dominique F. Arago zauważył w 1820 roku, że igłę stalową można trwale namagnesować za pomocą pola magnetycznego wytwarzanego przez prąd elektryczny.
Powiadomiony o tym André M. Ampère zasugerował mu, że efekt powinien być silniejszy, jeśli przewód z prądem owinie się kilkakrotnie wokół magnesowanego ciała. W ten sposób odkryto efektywniejszy i prostszy sposób magnesowania ciał, czyli wytwarzania magnesów.
Kilka lat później zjawisko to zostało wykorzystane przez Williama Sturgeona do budowy elektromagnesu.