原来，这块巨石产自京郊房山群峰之中。当将此巨石运出山区到平原良乡时，朝中不少大臣、官员和文人去良乡观赏这尤以大、奇、灵、秀、“玲珑嵌空，窍穴千百”为特色的园林佳品，并认为它可以与宋代名石相媲美。现北京故宫博物院藏有一幅《墨石图》就堪称奇石图中的佳构。当时他家收藏大量的奇石、名石，名冠京都，成为人们经常谈论的话题。为此他不惜财力，雇用百余人，先开山铺路，分段引水，掘水井待严冬，淘水泼冰，用四十匹马拉石滑行运输。一日在房山群山中偶尔发现一块巨石，突兀凌空，昂首俯卧，当即米氏爬上石头顶礼膜拜、赞叹不止，拟将此石置于他的花园———勺园（现北京大学西侧），“以石取胜”装点勺园，并借此在觅石成风的亲朋中显赫一番。四百多年前，被明朝一位太仆（官名）米万钟发现。米万钟对奸臣当政者不屈不谀，当然难以摆脱魏忠贤的陷害，由该私党五虎之一倪文焕编造罪状，使米万钟遭受诬陷，因而获罪丢官。米万钟为寻求园林置石，不辞辛苦踏遍郊野群山。他多才多艺，诗、书、绘画都有很深的造诣，尤其喜欢奇山异石。米氏是宋代米芾后裔，爱石成癖，自称“石隐”，取号“友石”。米万钟亦善画石，有多种画石本传世。此石当时轰动京都，大大超过了皇家御苑的置石品位，为此也惊动了魏忠贤私党
轰动京都的灵秀巨石从此搁置良乡停止运送。此后该巨石就因米氏败家而出名。此后人们越传越出奇，遂将此石称为“败家石”。（现此石要载入北京石史中，笔者认为应予正名，可列入“事件石”为宜，再不能以“败家石”之名而污染“青芝岫”的形象。米万钟惟恐说出真情将会惹出更大祸害，就托言因运石而力竭财尽，表示无奈。人们疑惑不解，一些文人墨客向米氏探询。）
来源：北京青年报
他专为心爱的石头盖了一间草棚，怕它风吹雨淋日晒加快风化。米氏死后，石头被弃，一些文人闲客非常怀念这位爱石书画名家，常至良乡凭吊，并作诗抒发怀念之情。为防止丢失和人为破坏，专门雇了人昼夜看守，想有朝一日条件成熟，仍将此石运进勺园。虽然米万钟获罪丢官，但对石艺术追求仍很执著。百年之后，清乾隆皇帝去河北易县西陵为父亲雍正扫墓。路过良乡时，太监禀报米万钟觅石获罪等细节，乾隆大感兴趣，御驾亲往，见石姿不凡，
在颐和园乐寿堂院内，有一块横卧在汉白玉石座上的北太湖石名叫青芝岫，俗称“败家石”。每天都有不少人在此石前停步细观，兴致勃勃，侃侃而谈
大喜过望，即降旨将其移进清漪园内。乾隆下令拆墙破门，硬是把这块巨石安放在现在的地方。当时乐寿堂的正门“水木自亲”已经修好，门只有一米多宽，米氏遗石身大体重，难以进院。在它左右又分别竖起了两块形状别致的太湖石，以烘托气氛。据说皇太后因此大为不悦，认为此石“即败米家，又破我门，其名不祥”，母子之间闹了一场不小的别扭，由此可知此石身世确实不凡