安藤1980年买下了自己在1973年设计的住宅“富岛邸”，改成工作室，最早只有100平方米。而现在的安藤建筑事务所面积也不大，是一所小楼，地上五层、地下二层。从一楼到五楼都是挑高的开放空间，安藤解释说，这样设计的目的是让“身为老板的自己，把座位安置在这个挑空空间的最底层，面对着员工进出的一楼玄关之处，具备指挥中心的功能”。这样，员工进出事务所，必定会经过安藤的面前。从安藤自己的座位大喊一声，声音可以传到每个角落。只要爬上楼梯，每个员工在办公桌前工作的样子也一览无余……更夸张的是，安藤还规定，除了与海外客户与合作方联系，员工禁止使用电子邮件、传真、手机等工具，所以安藤事务所的日常对外联络工具，居然是五部固定电话。安藤颇为自得地说：“如此一来，以我为首的二十五名员工带着随时如临战场的紧张感……员工在跟谁谈什么、是不是出了问题等，我立刻能够掌握。”
为什么这样安排呢？安藤解释说，他认为，像自己这样小而精干的建筑设计团队，就应该像一支效率和凝聚力都高的“游击队”，每个人都能充分发挥自己的特长才干，承担各自的职责。但同时，组织本身，反而具有自我膨胀、臃肿的惯性，如果事务所规模持续扩张，每个人在其中就不可避免地会人浮于事，进而逐渐消磨掉自己对于建筑设计的热情，同时老板也无法和每个员工进行直接沟通；所以，必须用自己这套自创的极端模式来加以控制。当然，安藤如此苛刻，并非出于什么掌控欲，而是身为“匠人”对建筑本身品质的不懈追求。用他的原话说就是：这个团队的职责，是用客户的资金，来建筑一栋客户可能要使用一生的建筑物，所以事务所全体工作人员，都要有无与伦比的觉悟与责任感。
安藤这种独特的工作态度与理念，和他早年的经历，可以说密不可分。安藤忠雄，出生于1941年，也就是昭和十六年，父亲是大阪兵库县鸣尾滨的商人。据说，大阪商人的性格是喜爱自由，也要求他们的小孩自我思考判断，对自己的行为负责，并能独立自主。安藤从小被外婆抚养长大，而外婆也给了年幼的安藤以充分的自由。他在书中回忆说，自己从小就对学业不太上心，更喜欢和小朋友们一起游戏，从棒球、剑道，到钓鱼、猜拳，无所不通。这种幼年生活，让安藤形成了独立、倔强、好奇心重、爱探索的性格。
安藤家附近的街区，分布着各种手工业作坊，而在住宅对面的木工作坊，是安藤最爱去的地方，放学后安藤经常跑到作坊，有样学样地跟着里面的师傅画蓝图，加工木料，制造各类木质模型和玩具，同时，安藤还会去玻璃工厂和金属工厂玩耍，学过吹玻璃和金属铸造。安藤回忆说，自己对建筑的热情和探索，也许就是在这个阶段养成的，因为一位老木工师傅曾语重心长地对他说，打磨材料的外形与形状，也是在赋予材料生命，这是一件神奇而崇高的工作。国中一年级时，安藤家的居所加盖了二楼，年少的他也跟在工人旁边忙前忙后。尤其是开始施工后，眼前的风景不断地变化：屋顶开了洞，明亮的阳光照进了原本阴暗潮湿的屋内，他一抬头看到了蔚蓝的天空。安藤幼小的心中，建筑的魔力给他留下了深刻的感动。
出乎意料的是，安藤同时还爱上了拳击，这一段他的生活，简直如同电影《百元之恋》，17岁的安藤拿到了职业拳击执照，然而当安藤近距离见识了一位职业拳击明星的表现后，立刻感到，无论怎样努力，也不能拉平天赋上的差距，再加上18岁成人之后必须考虑的谋生，于是安藤又回到了自己从小痴迷的“手工制作”中，成为一名年轻的室内设计师，迈出了向未来建筑生涯迈进的第一步。然而，安藤并没有选择进入大学学习建筑相关专业，而是一边从事室内设计工作，一边自学。当然，安藤虽然有天赋，但也坦白地说，自学是一件非常艰苦的事情，建筑设计有很高的理论门槛，他只能一边阅读相关著作和资料，一边通过溜进校园旁听，来把这些艰涩的知识吸收消化。安藤甚至讲了一件有趣的往事，在一家旧书店里，他发现了一本法国建筑大师柯布西埃的建筑作品集，安藤匆匆翻了几页，顿时爱不释手，但即使是二手书，这本作品集的价格也是囊中羞涩的安藤难以负担的。于是安滕想了个主意，把这本书偷偷藏在了书店里一个不起眼的角落里，隔三差五来看一眼，生怕它被买走，同时拼命打工，足足过了一个月，才把这本经典小心翼翼地捧回家中。
20岁的时候，安藤特意给自己规划了一趟开眼之旅：首先是环游日本。从大阪渡船到四国，绕到九州岛、广岛，然后北上，前往东北和北海道，主要是沿途探访、瞻仰那些二战后新建的摩登建筑，以及日本传统民居，比如白川乡，以及飞驒（tuo）的传统民宅。从后者中，安藤领悟到了日本传统建筑独特的魅力，那就是，与周边的自然环境融为一体，而又根据人类居住的切身需要而各具形态，这也是日后对安藤的建筑设计影响比较大的启示。后来，安藤又毅然选择前往欧洲旅行，亲眼考察观摩那些在书本上看到的欧洲经典古建筑，体味这种与日本截然不同的建筑设计风格。最终，在20世纪60年代末，他在大阪梅田开设了自己的个人建筑事务所，正式踏上了自己的建筑寻梦之旅。
