“十重门事件”时期就质疑过故宫，言之深责之切，那几年谢与故宫并无交流。知道单要当故宫院长，谢说，希望也相信他能搞得好，不要再出问题了。
法国总统奥朗德步行参观故宫
在谢辰生眼里，单霁翔当文物局长时，“保护文物，保护名城非常坚决”，2013年，谢辰生写过一篇文章，题为《难忘的十年》，对2002年到2012年十年期间的文物工作表示充分的肯定，他说，“这也是对单霁翔的肯定。”
单到故宫后，成立了数个院外专家参与的专委会。单说，他们的作用就是“对我们的工作予以指导”。比如故宫修缮、平安故宫工程等专家咨询委员会，谢辰生都在其中，几年未与故宫交流的局面由之一改。
在2018年出版的《谢辰生口述》一书中，谢辰生评价单，“现在故宫干得也不错。”
“民众是文化遗产的真正主人”
2003年3月9日晚，位于东二环朝阳门的文化部餐厅里，陕西省眉县杨家村的王拉乾、王明锁、王宁贤等五位村民，在这里吃了一顿饭。
国家文物局局长单霁翔在这里专门设宴款待他们。五位村民紧挨着单霁翔而坐。席间，单霁翔给他们一一递烟点火，不时夹菜。
这五位农民，有一个共同的荣誉——国家珍贵文物保护功臣。
一个多月前，五位农民在劳作时挖到埋藏着27件西周青铜器的洞穴，报告给文物部门。这批文物对夏商周断代工程的研究具有极高学术价值，被考古学界称为“21世纪重大考古发现之一。”
国家文物局将五位农民和27件文物请到北京，专门在中华世纪坛设展。一反主流，开展仪式上，没有大领导，就安排五位农民作为主角剪彩。单霁翔认为他们“最有资格”。
当天晚上宴请这些农民的时候，一位“功臣”感慨道，兄弟几个平时到过的最大城市就是眉县，连宝鸡市都没去过，这次到北京，受到如此隆重的接待，感到很光荣。
单霁翔承诺，你们还可以到罗马、巴黎看看，那里也展示着大量出土的文物。
第二年，五位农民再次获奖励，前往欧洲进行了为期10天的观光考察。
到了2011年，随着农民保护文物的事件在全国各地接连涌现，国家文物局决定在陕西省和云南省两个村为“功臣”们立碑纪念，杨家村五村民的名字被刻到了“文物碑”上。
立碑前看了一下碑文，单霁翔“大吃一惊”，大部分篇幅都是在表扬各级大小领导，包括国家文物局在内，最后一段才表扬到农民群体。单霁翔要求把表扬领导的内容全部删除，只讲农民事迹，“刻上每一位农民兄弟的名字，就是要告诉村庄的未来子孙，他们的前辈做出了值得骄傲、应该世代传诵的事迹。”
到了故宫，单霁翔说文化遗产保护不是他们故宫人的专利，不是哪个部门、行业和系统的专利。从文献记录来看，这个观点，实际上是他在国家文物局一贯主张的延续。
从杨家村村民护宝等事例上面，单霁翔看到，在文化遗产上，广大民众是有觉悟，讲感情的。
单霁翔担任国家文物局局长的十年（2002年-2012年），正是中国经济飞速发展的黄金时期，期间，文物保护与经济发展的关系一直存在着矛盾，显得“弱势”，《人民政协报》就提出，单主政的10年，全国文保工作面临前所未有的挑战。
《后厂村7号》记者注意到，民间涌动的自觉自发的力量，对文物工作是一种助力。
单霁翔喜欢提倡公众参与，在他任内，发布了《关于进一步发挥文化遗产保护志愿者作用的意见》，把志愿者定义为文遗保护“生力军”。
实际工作上，单霁翔和志愿者们相互协力，形同伙伴。民间人士给他写信，呼吁他关注一些濒危文物的处境，施以援手，基本上都能得到单的批示和回应。有些事件，单甚至会直接深入到一线现场察看和干预，在志愿者中