余幼年常牧牛，祖母令佩铃，谓曰：“日夕未归，则吾倚门；闻铃声，则吾为炊，知已归矣。”
又，《白石诗草》有《山行见砍柴邻子感伤》诗，自注云：
余生长于星塘老屋，儿时架柴为叉，相离数伍，以柴爬掷击之，叉倒者为赢，可得薪。
白石的祖母姓马，父名传虎，湘潭人。王闿运撰墓志说：“生十岁，丧母，能自成立，孝事严父，慈育两弟。年十九，归同县齐君万秉。两姓寒族，……始昏三日，椎髻执爨，井臼躬职。……夫性刚烈，婉之以礼。（白石自撰《祖母墓志》云：“万秉公性刚直，负气不平，常与人争论，大母闻之，辄以言解之。”）敬顺舅姑，克和娣姒，尤精纺绩，衣布有余。……有一子二孙，慈勤顾复，每助秋获，带笠负雏。众笑其痴，己增其爱。……”是年十一月，白石的三弟纯藻生（字晓林）。
白石十二岁。
是年正月二十一日，娶妻陈氏，名春君，是年亦刚满十二岁。（同治元年壬戌十二月二十六日生）
五月五日，祖父万秉公病殁。《白石自记》云，是时“家财仅六十千文，尽其安葬。于是吾父一人耕，儿女多，无计为活，令吾学于木工。吾妻事祖翁姑之余，执炊爨，和小姑小叔，家虽贫苦，能得重堂生欢。”
《白石自状略》记祖父死在他十二岁时。他晚年祭陈夫人文说：“清同治十三年正月廿一日乃吾妻于归期也。是时吾妻年方十二。是年五月五日吾祖父……寿终。”年岁皆合。但祭文又云，“吾与贤妻相处六十八年。”陈夫人死在庚辰二月（民国二十九年，1940），距甲戌为整六十六年，因白石当七十五岁时自己加了两岁，所以多说了两年。
湘俗童养媳与其夫大都年岁相当，先正式举行婚礼，谓之“拜堂”，便在夫家操作。等到成年，择期“圆房”，然后同居。白石与陈夫人是到光绪七年十九岁时才圆房的。
万秉公很早就能认识白石的天才，他待白石也特别慈爱。《白石自状略》记祖父之死云：
璜感王父以指画膝，以炉钳画灰，教之识姓名字样；皮衣抱孙睡，孙暖自寒（自注：王父尝以乌羊皮裘抱孙于怀中暖睡为乐）。璜哭泣三日不食。
是年，璜父教之扶犁，后因年小力弱，转学木工。朝为工，暮归，以松油柴火为灯，习画，凡十余年。
白石学木工，初学粗工，后改学小器作，制造精微器物，并雕刻桌椅花纹。因选花样，得见《芥子园画谱》，甚爱之，遂一一摹绘。白石自幼即喜画，这个时期里他学了木匠的技巧，才得见画谱，故他的画不是专从临摹画本得来的。他学木工，雕刻花纹，也和他后来雕刻印章有关系。（参用王森然所记《白石事略》）
白石八十三岁时，有《忆先父》短文云：
予少时随父耕于星塘老屋前之田，向晚濯足星塘，足痛如小钳乱铗。视之，见血。先父曰：“此草虾欺我儿也。”忽忽七十余年矣，碧落黄泉，吾父何在！吾将不能归我星塘老屋也！癸未五月十一日。
《白石自状赂》于十二岁以后，二十七岁以前，无记事。他自记《周太君身世》中有云：
太君年三十后，翁弃世。……从此家境奇穷。恨不见纯芝兄弟一日长成，身长七尺，立能反哺。太君生六男三女，提携保抱，就湿移干，补破缝新，寸纱寸线未假人手，劳苦神伤，故中年已成残疾。
从此节可窥见此十余年中的生活情况，先抄在此。
白石十四岁。
十月，四弟纯培生（字云林）。
白石十六岁。
是年从周之美学雕花木工。（白石撰有《大匠墓志》，云：“周君之美，大匠也，以光绪丙午九月廿有一日死。……君于木工为最著，雕琢尤精。余师事时，君年三十有八。尝语人曰：‘此子他日必为班门之巧匠，吾将来垂光，有所依矣。’君无子，故视余犹子也。越十年，余改业于画。又越十四年，余身行万八千里，三出三返，又越五年，……君死矣。……忆自余从事以来，忽忽二十有九年，与余绝无间言。”）
白石后来常在齐伯常（名敦元，邑绅）家中做木工。后于“为家公甫（伯常子）画秋姜馆填词图”题诗中追记其事云：“稻粱仓外见君小（自注：余廿七岁前为木工，常弄斧于君之稻谷仓前），草莽声中并我衰。放下斧斤作知己，前身应作蠹鱼来。”
黎戬斋《记白石翁》云：“芝木匠（时乡人呼白石为芝木匠）每从其师肩斧提篮，向主家作业。……陈家垅胡姓，巨富也。凡有婚嫁具办奁床妆橱之属，必招翁为之。矜炫雕镂，无不刻画入神。”（熙按：陈家垅及竹一带，胡姓聚族而居，大都巨富，为宋胡安国后，与黎姓通婚姻。白石少时，于两家因缘最深。戬斋名泽泰，一字尔谷，我族兄薇荪的次子。白石家居时，戬斋每年正月必过他家拜年，自幼至壮，不曾间断，所以熟悉关于白石的文献。）
白石十七岁。
八月，五弟纯隽生（字佑五。民国十七年戊辰，死于匪乱，年五十）。
白石二十岁。
他晚年《祭陈夫人文》说：夫人“廿岁时，长女菊如在孕，一日无柴为炊，〔吾妻〕手把厨刀，于星斗塘老屋后山右自砍松枝。时孕将产生，身重，难于上山，兼以两手行。”又云：“以及提桶汲井，携锄种蔬，辛酸历尽，饥时饮水，不使娘家得闻。有邻妇劝其求去，吾妻笑曰：‘命只如斯，不必为我妄想。’”
白石廿一岁。
九月，长女菊如生。（适邓氏）
白石廿六岁。
正月，六弟纯楚生（字宝林。死于民国三年甲寅，年二十七。白石有哀满弟的诗与挽联。湘人呼幼为满）。
白石二十七岁。
七月十一日，长子良元生。（字伯邦，号子贞。）
自记云：
年廿有七，慕胡沁园陈少蕃二先生为一方风雅正人君子，事为师，学诗画。萧芗陔、文少可，不辞百里，往教于星斗塘。从此，画山水人物都能。更能写真于乡里，能得酬金以供仰事俯畜。
萧芗陔、文少可两人，是白石最早的画师。萧馆于杏子坞马迪轩家，马为胡沁园的连襟，马告胡：乡有芝木匠者，聪明好学。胡始留意。当时白石在赖家垅做雕花活，每夜打油点灯自由习画。乡人见之曰：“我们请胡三爷画帐檐，往往等到一年半载，何不把竹布取回，请芝木匠画画？”于是胡更留意。陈少蕃（名作埙，著有《朴石庵诗草》）时馆于胡家，沁园约白石来，对他说：“《三字经》云，‘苏老泉，二十七，始发愤，读书籍。’你正当此年龄，就跟着陈老师开始读书吧！”陈允不收学俸钱，日点《唐诗三百首》（湘语课读曰“点书”），白石仅于八岁时（二十年前）读过半年书，识字太少，只好用“白（音怕）眼（兀 ）字”暗中自注生字之音，写在书页下端的里面，温习时即偷视之。“白眼字”者，同音通假之极常用字也。先是陈偕齐铁珊读书于一道士观中，白石的三弟为煮茶饭，白石时过之，因识铁珊。铁珊语白石：“萧芗陔将到家兄伯常（见前光绪四年）家画像，何不拜为师？”白石遂以所作自由画李铁拐像为贽，旋至其家（萧家朱亭的花钿，相距约百里），尽传其法。文少可亦家传画像，闻白石师萧，因访白石，数宿，又尽传之。白石自记所谓“学诗画”者，是点唐诗、学画像。他做了十余年木匠，到二十七岁才正式从师，改业做画匠的（湘俗尚巫祝，神像功对每轴售钱一千。白石自由习画时即优为之。又士大夫家必为祖先绘衣冠像，生时则备写真，名“小照”，白石出师后常被邀请，故能得酬金以赡家用）。从此观摩名作，发展他的天才。
白石晚年有《往事示儿辈》诗云：
村书无角宿缘迟，廿七年华始有师。灯盏无油何害事？自烧松火读唐诗。
自注云：
余少苦贫，廿七岁始得胡沁园、陈少蕃二师。王仲言社弟，友兼师也。朝为木工，夜则以松火读书。（熙按：王仲言先生名训，号蜕园，是我的蒙师，著有《蜕园诗文集》；是年还在从陈师读，附学胡家。）
王训晚年有《白石诗草跋》，中有一段足补白石自记的缺漏。王训说：
山人生长草茅，少时泼墨以自娱。胡君沁园，风雅士也，见君所作，喜甚，招而致之，出所藏名人手迹，日与观摩。君之画遂由是孟晋，有一日千里之势。沁园好客，雅有孔北海风。同里如黎君松安、雨民，罗君真吾、醒吾，陈君茯根，及训辈，常乐从之游。花月佳辰必为诗会。山人天才颖悟，不学而能。一诗既成，同辈皆惊，以为不可及。当是时，海宇升平，士喜文宴，同志诸子遂结诗社于龙山，酣嬉淋漓，颠倒不厌。其一时意气之盛，可谓壮哉！……（熙按：此序中黎君松安即家父；雨民是我族侄，名丹，清黎文肃公培敬之长孙。罗真吾醒吾弟兄亦世族，其父军职家居，喜文墨，号蔬香老圃。陈茯根亦乡间有文名者。但这个“诗社”，甲午后才成立，不是这几年的事。）
胡沁园，名自伟，字汉槎，是最有造于白石的一个人。他死后，白石《哭沁园师》绝句十四首，其中有云：
廿七读书年已中，顾余流亚蠹鱼虫。先生去矣休欢喜，懒也无人管阿侬。
学书乖忌能精骂，作画新奇便誉词。惟有莫年恩并厚，半为知己半为师。
平生我最轻流俗，得谤由来公独知。成就聪明总孤负，授书不忘藕花池。
穷来犹悔执鞭迟，白发恒饥怨阿谁？自笑良家佳子弟，被公引诱学吟诗！
胡沁园对于白石真有“成就聪明”的大功。（熙按：沁园是韶塘胡家，胡家多良田，善经营，惟沁园家不富裕，专事提倡风雅，奖掖后进。藏名人书画至多。辟小园，名藕花吟馆。）
白石三十二岁。
《白石自状略》云：“借五龙山僧寺为诗社，社友王仲言辈，凡七人，谓为七子，推璜为龙山社长。黎松安、薇荪、雨民为诗友。识张仲飏，得见王湘绮，拜为弟子。”（熙按：黎薇荪族兄，名承礼，号鲸庵，文肃第三子，行六，清光绪甲午翰林，改官四川，庚子即辞职归田，白石印友，摹刻得力最多，事在后五年。张仲飏一号正阳，名登寿，少业铁工，湘绮弟子，传其经学，亦能诗，后与白石为儿女亲家。湘绮称为“两畸士”。惟白石拜湘绮为弟子事，亦在后五年。湘绮曾语吴劭之——名熙，湘潭人——云：“各人有各人的脾气。我们下有铁匠、铜匠；还有个木匠也好学，但他总不肯为我弟子。”因白石生有傲骨，不愿意人家说他趋附，前诗中所谓“平生我最轻流俗”是也，又其《挽沁园师联》亦有“衣钵信真传，三绝不愁知己少；功名应无分，一生长笑折腰卑”之句。）
龙山七子，白石年最长，余为王仲言，罗真吾，醒吾，陈茯根，谭子荃，胡立三。见白石题《龙山访旧图》小序。（熙按，谭子荃是罗真吾的内兄。胡立三是竹胡家的，时为乡绅。龙山诗社常以黎雨民家为集会地点。是年后又组织罗山诗社，则以我家为集会地点。两山相距约五十里。）
白石于宣统元年自广州归后，有《与黎大松安书》云：“一日独坐，回忆十年前与公频相晤时，蜕园（王仲言）云溪（黎裕昆）多同在坐。聚必为十日饮。或造花笺，或摹金石，兴之所至，则作画数十幅。日将夕，与二三子游于檆（杉）溪之上。仰观罗山苍翠，幽鸟归巢；俯瞰溪水澄清，见蟛蜞横行自若。少焉月出于竹屿（白竹坳）之外，归诵芬楼，促坐清谈。璜不工于诗，颇能道诗中之三昧。有时公或弄笛，璜亦姑妄和之。月已西斜，尚不欲眠。……璜本恨不读书，以友兼师事公，……迩年以来，奔走半天下，……买山僻地，去白石愈远，平生之知旧艰于来，璜亦艰于往，独坐杜门，颇似枯衲，……安得化身为蜗牛，负其庐置之于罗山之侧！……”（熙按：这信是己酉十二月初九写寄的。信中“十年前”的“回忆”，就是从甲午到壬寅约八九年间的故事。白石翁长于家父实年八岁，长于我二十八岁。是年甲午，他始到我家来画像——因先祖父上年癸巳九月去世，请他来画衣冠遗像的。其时我才四岁，延王仲言师“发蒙”，书桌旁的凳子太高，他常抱我坐上去。先曾祖工画，所藏恣其观摹。相与刻印则稍后。大约这八九年间，他每年必在我家小住几个月。罗山俗名罗网山，在我家对面里许，是一林阜，中有元末陈友谅近亲古墓；前绕小溪，水自白竹坳来，有杉木桥，故名以檆溪。罗山诗社既组成，有时龙山社友亦联合来会于我家之诵芬楼——丁酉年新盖的书楼。光绪二十一年乙未，湘潭大旱，有“吃排饭”的——饥民排队到有存谷的人家去吃饭，不必吃光——适社友数十人来聚会，乡人都以为是吃排饭的饥民到我家来了。这信中所叙“造花笺，摹金石，作画，吟诗，弄笛”等事，我记得十岁左右也都参加过，号小社友，受白石翁的领导。）
《白石诗草》卷六，题“画松”诗自注中，述及他和黎雨民相过从的一段旧事说：“余少时极贫，黎雨民过访，信宿不去，夜无油镫，常以松节烧火谈诗。”
白石的题画诗中，有两首述及他在杉溪的生活，一首是《曾为旧友黎德恂壁间画松，寄题》，题下自注云：“德恂因字松庵。”诗中有两句说：“安得安闲情似旧，卧君书屋听溪声。”自注云：“黎君书屋外有檆溪”。另一首是《丹枫黄菊画赠黎松庵》，诗云：“三十年前溪上路，丹枫乱落黄花瘦。与君颜色未曾凋，人影水光独木桥。”自注云：“松庵居杉溪，溪上有独木桥，惟有耕者能过去，非行人桥也。松庵云：‘有人能倒退过此桥者，吾愿以佳印石赠。’余竟能得。”
是年二月二十一日，次子良黼生（字子仁，娶王训女。民国二年癸丑十一月病死，年二十一。参后民国二年谱）。
白石三十四岁。
白石此年始讲求篆刻之学。时家父与族兄鲸庵正研究此道，白石翁见之，兴趣特浓厚，他刻的第一颗印为“金石癖”，家父认为“便佳”。此印及其早岁的工笔画“处女作”，多存我家，直到民国三十三年湘潭沦陷，被日兵摧烧殆尽。家父的《松翁自订年谱》载，自丙申至戊戌共刻印约百二十方，己亥又摹丁黄印二十余方，这几年白石与家父是常共晨夕的，也就是他专精摹刻图章的时候。他从此“锲而不舍”，并不看做文人的余事，所以后来独有成就。
白石三十六岁。
十月，次女阿梅生（适宾氏，夫死改适符氏）。
白石三十七岁。
见王闿运，拜门作弟子。
《湘绮楼日记》本年正月二十日记：“看齐木匠刻印字画，又一寄禅张先生也。”十月十八日又记：“齐璜拜门，以文诗为贽。文尚成章，诗则似薛蟠体。”十九日又记：“齐生告去，送之至大马头。”
“寄禅张先生”当指八指头陀，但《八指头陀诗集》末附有自述云：“余俗姓黄氏，名读山，出家后本师赐名曰敬安，字寄禅，近乃自号八指头陀。先世为山谷老人裔孙。”湘绮称为张先生，可能是他把寄禅的姓记错了。
王闿运说白石的诗“似薛蟠体”，这句话颇近于刻薄，但白石终身敬礼湘绮老人，到老不衰。白石虽然拜在湘绮门下，但他的性情与身世都使他学不会王湘绮那一套假古董，所以白石的诗与文都没有中他的毒。
近代湘潭有五怪：一和尚，即八指头陀，一铁匠，一木匠，一篾匠（制竹器的），一牧童。怪在家皆赤贫，绝对无力读书，而能以自力向学，挺出成名。前三人都与湘绮先后有缘；《湘绮楼日记》中的“张先生”，若不是记错了寄禅的姓，也可能就是指他的又一弟子张铁匠。
影摹丁黄印谱，篆刻大进。（黎戬斋记白石翁云：“家大人自蜀检寄西泠六家中之丁龙泓黄小松两派印影与翁摹之，翁刀法因素娴操运，特为矫健，非寻常人所能企及。……翁之刻印，自胎息黎氏，从丁黄正轨脱出。初主精密，后私淑赵 叔，犹有奇气。晚则轶乎规矩之外。”又白石于十年后——宣统庚戌——有“与谭三兄弟刊收藏印记”，略自道其经过：“庚子前，黎铁安（按：名承福，字寿承，文肃第四子，行九。）代无畏兄弟（谭组安延闿别号；弟组庚恩闿，瓶斋泽闿）索篆刻于余十有余印，丁拔贡（可钧）者以为刀法太，谭子遂磨去之。是时余正摹龙泓（丁）秋庵（黄） ，与丁同宗匠，未知孰是非也。黎鲸公亦师丁黄，刀法秀雅，余始师之，终未能到，然鲸公未尝相诽薄，盖深知余之纯任自然，不敢妄作高古。今人知鲸公者亦稀，正以不落汉人窠臼耳。庚戌冬余来长沙，谭子皆能刻印，想入赵 叔之室矣，复喜余篆刻。……湘绮近用印亦余旧刻。余旧句云：姓名人识鬓成丝。……”）