家政的重担不能窒息对学业的追求，十六七岁的罗振玉，白天要应付债主，奔走衣食，只有在夜晚读书。每天准备好满满两盏灯的油，总要用尽才睡。由于每日睡眠太少，一年后，患了严重的失眠症。后来迎娶了比他大一岁的范氏入门，生活比较有规律了，失眠症才渐愈，但在贤淑妻子的支持下仍经常夜读。《集蓼编》中写：当时小仅方丈的书斋，别置小榻，每夕夜读，妻子总要先帮他整理书案，自己持衣在旁缝纫，"儿啼则往抚之，予丙夜就寝，淑人必为予整书卷、理衾枕，始伴儿眠，往往匝月不通一语，恐妨予读也"。

在淮安的那些年，读的书大多是借来的，而引他入门的一部书，却是父亲以三十千钱给他买的《皇清经解》。光绪八年(1882年)，他与兄长同赴乡试，归途绕道江宁省视父亲，于书肆见到《皇清经解》，引起很大兴趣。书中汇集清代学者经解，共一百八十八种，千余卷，是摹勒《石鼓文》的阮元辑刻的。当时自己无钱购买，父亲知道后，满足了他的愿望。书到手，他如获至宝，归后，按计划每天读三册，一年间一字一句地将书读了三遍。他在《集蓼编》中回忆说："闻先辈言，读书当一字不遗"，所以"虽观象授时、畴人诸书读之不能解，亦强解之。予今日得稍知读书门径，盖植于是时也"。

在读经史的同时，他深感古碑刻对经史考订的意义很大，因而很重视这些物质文化资料。十七岁乡试之行的另一项重要收获，就是在扬州买到仪征张氏榕园藏石拓本十余纸，这是他一生收藏墓志拓本的开始，对碑刻资料的收集、整理，并将其用于经史考订之学，就是从这里起步的。

首先校勘《金石萃编》，这是清代重要金石著作，王昶著，共一百六十卷，收录秦至宋、辽、金碑刻达千五百种，还有一些铜器和其他铭刻。内容包括：铭文、考释或前人题跋、按语。内容丰富，但有一些讹文、误字、漏字。当时家无碑刻拓本，又无力购买，就赁碑校读。当时山东碑帖商人刘金科常带山东、河南、陕西碑刻拓本到淮安贩卖，租赁每份二十钱。从光绪九年到十一年(1883—1885年)共赁碑八百余通，与长兄振鋆共同研读。罗氏后来回忆说：当时兄弟二人各居东西二舍，每夜在青油灯下疾读，煤染于手，十指尽黑，摩挲倦眼，面目亦黝然而墨，二人相顾不禁哑然失笑，就这样涤荡了平日的抑郁忧愁。在长兄去世的第五个周年，他曾请人画《赁碑图》，自己写了《赁碑图记》，编入《面城精舍杂文》甲集，追忆这一段生活经历，寄托对长兄的怀念，"且以志寒士为学之非易也"。

在这几年中，长兄完成了《碑别字》五卷。长兄去世后，随着所见碑志的增多，又一再进行了校补，罗振玉曾让三子福苌随时将所见新字补于书眉，后成《碑别字补》五卷。1928年将正续两编十卷合刊为《增订碑别字》五卷时，距离长兄著作《碑别字》已四十三年了。而他自己，通过赁碑校读完成了《金石萃编校字记》，对照碑文将《金石萃编》失录的字补上，讹文误字予以补正。还有《寰宇访碑录》是清代大经学家孙星衍和邢澍合撰的历代石刻目录，收录周秦到元代碑刻八千余种，注明书体、立石年月等，是很有用的目录书。后来赵之谦又作《补寰宇访碑录》。罗氏通过赁碑校读，作《寰宇访碑录刊谬》一卷，二十八岁再作《补寰宇访碑录刊谬》一卷和《再续寰宇访碑录》二卷，以后还有学者不断续补、校勘，使《寰宇访碑录》逐步得到丰富和完善。