林彪“第一个号令”发布后，当时向六位将军宣布是去广州军区，可是到长沙就让他们下了火车，接到湖南省委招待所住了三天。中间来人向他们介绍了西湖农场的情况，宣布他们将被安排在那里劳动。很快，他们就被送往汉寿县境内的西湖农场。六个人被分到六个连队，规定相互间不准来往。
西湖农场最早是湖南的一个劳改农场，是在洞庭湖西面围湖造田建起来的。房子是犯人们打坯盖的草房，非常简陋；地面坑坑洼洼，用脚一踩就会出水；屋顶上到处是洞，麻雀不断飞进来啄食。夏天炎热难当，冬天冷得要命，洗脸毛巾往铁丝上一搭，转眼间就结了冰。连队伙食极差，几乎整月见不到油荤。
生活条件的艰苦，作为老革命的他们都不在乎，因为他们都是从艰苦环境中走过来的。让他们憋气的是政治待遇，六个人生活上虽然与战士们同吃同住同劳动，但在政治上却享受不到一个普通战士的待遇。
他们在西湖农场期间，在连队归班、排、连长管，团里则由政治处的保卫股管。什么矛盾性质的人归保卫部门管理，部队历来都是有明确分工的，所以从管理渠道上不难看出，农场对他们是作为专政对象看待的。由此给他们带来了许多精神上的痛苦，他们向我诉说了很多这方面的具体情况。比如：
他们想自费订阅报纸，得不到农场的同意。他们写封家信，寄出前要经保卫股审查，家里来信也要先由保卫股拆阅，凡被认为是不该写的内容一律抹去。每个周末的组织生活，值班排长一吹哨，宣布党员站第一排，团员站第二排，不是党团员的战士站第三排。六位将军都是有几十年党龄的老党员，但不能站到第一排，第二排也不是他们这个年龄的人应该站的地方，只能站到第三排，跟非党非团的战士们站在一起，听值班班长训话。１９７０年的一天，以营为单位集合选举四届全国人大的军队代表，秦基伟与全连官兵列队去营部投票。快到营部时，营里一名干部把秦基伟拦住，让他回去看书，剥夺了他作为一个普通公民的选举权。其他五位同志亦然。秦基伟的女儿畹江住在营部，有位副营长的爱人和畹江比较要好，有一天她很神秘地约畹江到外面一个地方见面，沮丧地告诉畹江说：“今后我不能跟你来往了，组织上已经批评了我，说我跟你常在一起是立场有问题……”
