小说以殖民地时期新英格兰生活为背景，以当时严酷的清教视为罪不可赦的一桩“通奸罪”为核心展开情节，细致入微地刻画了与这桩“罪行 ”有关的四个人物的精神世界。胸口上别着鲜红A字（Adultcry——“通奸”一词的首字母）的赫斯特·普林经过长期赎罪而在精神上获得自新，那个耻辱的字母竟逐渐成为一个受人尊敬的标志。迪梅斯戴尔牧师则长期遭受信仰和良心的折磨，终于从狂热的宗教活动家成为一个有血有肉、敢于担当的男子汉。赫斯特的丈夫奇林沃思本是个皓首穷经的学者，却在复仇心理的驱动下完全丧失了人性。而“通奸”生出来的小波儿则活像个野性未驯的异教精灵。小说以人道主义的悲悯情怀，层层深入地探究了有关罪恶和人性的各种道德、哲理问题，全书以监狱和蔷薇开场，以墓地结束，充满丰富的象征意义。
本书写的是一段婚外恋情中三个主要人物的命运。少妇海丝特·白兰犯通奸罪，但是她拒绝说出她的情人是谁，于是加尔文教政教合一机关惩罚她带着红色A字示众。在受罚的过程中，她对其他不幸的人表示出深切的同情，她的许多善行逐渐使她赢得人们的尊敬。海丝特的同犯，年轻的清教徒牧师丁梅斯代尔深受良心谴责，最后鼓起勇气承认了自己的罪责，并死在海丝特的怀里，获得了道德上的自新；海丝特的丈夫则因被复仇的烈火所围困，变得如魔鬼般疯狂，在道德上完全堕落，也毁掉了自己的生活。作者通过这个故事探讨法律上的罪恶和道义上的罪恶之间的关系，提出了“罪恶在哪里？”、“谁是真正的罪人？”这样的道德问题。
小说惯用象征手法，人物、情节和语言都颇具主观想象色彩，在描写中又常把人的心理活动和直觉放在首位。因此，它不仅是美利坚合众国浪漫主义小说的代表作，同时也被称作是美利坚合众国心理分析小说的开创篇。