关于这两块钟石，它与石钟山之名称来历还有一段历史公案。北魏郦道元，唐人李渤认为，这两石敲击有声，且声音清越，山之名由此而来。宋人苏东坡对其说深表怀疑。明代进士罗洪先则观钟石之形，认为它中空而外有穴，里外皆钟形，因而名钟石，清人方宗诚则认为钟石与山名无关，是因山形似覆钟而得名，清人曾国藩很同意他的看法。这些看法，各有道理，然并不矛盾，可能两者兼而有之。因为这里有奇特的地质现象所形成的溶洞，洞深广，水涨涌人，刮风吹人，都会有声。故而具有“钟之形”与“钟之声”的现象。

石钟山不仅因为有这种奇特的地质现象而引人注目，而且还以它独具的风采，吸引着历代游人。许多文人名士都曾在此留下足迹。晋田园诗人陶渊明任彭泽县令吋，就常和慧远和尚等人来游览。现在这儿还有归去亭纪念他。唐诗人白居易的“尝闻慧远辈，题诗此岩壁。云霞藓苔封，苍然无处觅”，就是指他们游山的轶事。南北朝吋的谢灵运，唐代的颜真卿、李白，宋人黄庭坚、陆游、文天祥，明人朱元璋、于谦等，都曾在此留诗遗文，现在山上的亭阁里、柱子上、石头上，到处都是前人留下的诗文字画。

石钟山北拒长江，南锁鄱阳，在乱世之时，是兵家必争之地。三国吋东昊名将周瑜曾在此训练水军;元末，朱元璋、陈友谅曾争雄于此。现存的“英雄石”大概就是当年连天烽火的见证。太平天国和曾国藩率领的清军的湖口大战,是在这里发生过的最重要的战役。曾国藩在石达开的诱敌深人的策略的打击下，大败而投水自杀,幸被人救起才免一死。今天，坡山楼旁的“太平军故垒”就是当年鏖战的纪念物。后来，人们还建筑了一座太平楼,以表示于对太平军的怀念。山腰间，有曾国藩为“湖口之战”湘军阵亡将士而建的“上渝亭”，并刻有曾写的碑文。一反一正，生动地记录了这次战争的始末。