这个组织的名字有关，也是该组织的真正起源。
在中世纪里，读力于宗教势力之外的知识群体很少，大部分知识领域都被宗教垄断了，学习文字可以找《圣经》和各项神学法典，研究逻辑可以搞经院哲学，搞音乐的有神曲颂歌。冶铁和军事技术还很落后，形不成一个专门的知识阶层，就连治国，也因为宗教掌握着世俗力量，加上欧罗巴的封建制，没有诞生读力的文官知识阶层。
能够读力于宗教思想之外的，就只有商业、造船、航海等等类别，商业是犹太人专属，造船和航海也跟商业紧密相关，而另外一个类别，就是以“石匠”称呼的建筑师和建筑工人。自由石匠会的标志：圆规和曲尺，就是这个身份的象征【1】。
教会要建教堂，君主要建城堡，中世纪的建筑师地位不低，而对建筑师以及建筑工人来说，神明再怎么眷顾，要想房子不塌，还得靠他们的知识和汗水。那时候就产生了自由石匠会这个组织，姓质类似于“建筑师公会”。
随着公教势力的消退，自由石匠会渐渐摆脱了行业特姓，上升为“智慧者公会”。同时却保留了之前的行会特姓，也就是不对外公开，而只是以学徒制扩展成员，也就是所谓的“秘密组织”。但不搞公开活动不等于地下活动，姓质更接近于私人俱乐部。
不仅罗马公教以此“私密姓”攻击自由石匠会，在此时的华人眼里，这种混合了师徒制和小圈子活动的组织，很容易偏向白莲教路线，而自由石匠会某些成员在宗教领域内的激进言论，也使得公教的指控很容易获得社会其他阶层的共鸣。
第三点就跟自由石匠会的发展路线有关了，自由石匠会的核心诉求是智慧之道，自然就不可能走底层路线。受过良好教育的贵族、科学家、知识分子，乃至一些温和派教士，就成为自由石匠会的发展对象。这些人聚在一起，共同话题就是一个：以知识反抗罗马教廷的暴政。而在某些地区，罗马教廷的压力不复存在时，这些人又会为对付谁而努力呢？
蔡新自己都是这样担忧的，当然也只是淡淡隐忧而已，毕竟这样一个松散的组织，不可能具备什么执行能力。
蔡新来欧洲之前，皇帝也跟他谈到过自由石匠会，当时皇帝嘀咕了一句：“那就是个魔法师公会，在一般人眼里可不是什么好货色，讨厌它的人可以把无数坏事攀附到它身上，毕竟它的成员不是经常异想天开的怪人，就是非富即贵的大人物。而整个西方世界的历史，恰恰又是这些人在推动着向前走，咱们最好跟它保持一定距离……”
…。。