能在水平面内自由转动的磁体，静止时总是一端指南一端指北，这称为磁体的指向性，指南针就是利用磁体的指向性制成的。
大约在公元前3世纪我国人民就发现了磁体的指向性，并制成了“司南”，
用天然磁石磨成勺子，将勺子放在水平铜盘上，用手拨动勺子，当勺子静止时，勺柄指南，勺头指北。用天然磁石磨制司南很麻烦，并且要十分小心，磁石受到强烈的震动就会失去磁性，成品率很低。到北宋时期，人们发现将钢靠近磁石就带了磁性，并且能长期保持磁性。于是，人们用天然磁石摩擦钢针，使钢针磁化，制成了人造的指南针。并且采刷了多种装置方法，宋代的百科全书《梦溪笔谈》就记载有：水浮法、
碗唇旋定法、
指甲旋定法
和缕旋法。
欧洲使用同样的磁化方法，比我们要晚400多年。
指南针之所以能指南北，是因为地球是一个巨大的磁体，地磁的北极在地理南极附近，地磁的南极在地理北极附近。因此，在地球周围的空间里存在着磁场，叫做地磁场。指南针静止时，总是一端指南，一端指北，就是因为受到地磁场的作用。
正是认识到地磁场的存在，北宋时期还发明一种人工制作指南鱼的方法：将薄铁片剪成鱼形，放在炉火中将贴片烧红，首尾对准地磁场的方向，然后用冷水将贴片迅速冷却即可。
不过，地磁两极与地理两极并不重合，水平放置的指南针的指向，跟地理子午线并不一致，其间有一交角，叫做磁偏角。
我国宋代的沈括是世界上第一个清楚地、准确地论述磁偏角的科学家，比哥伦布横渡大西洋时才观察到磁偏角现象早了400多年。
