在工厂上班，老大把我调去4楼里面车间做事就是无尘车间做事？然后他里面不赶货了就把我们叫回出去外面做

我觉得你这样回答很可能得罪4楼的老大。你说话不够比较生硬，并且你还多说话了。
这种工作上你只要陈述事实就可以了，比如如果4楼老大问你，你可以说：不清楚，老大让我搬我就来搬了。你只能说这些，那句'你去问他吧'是多余的，并且你还越权了。4楼的老大要不要去问3楼的老大那是他的事，你没有资格指派他。这种职场政治应该学着点。
另外4楼老大是不是正帮助你我不知道，不过你不必在意这些，因为工作是要你独立完成的，不可能时时有人抱着你。4楼的老大有可能是怕效率低你一个人搬太慢了。

继续保持这个状态就好，这是那两个老大之间的明争暗斗，你就继续这样半奸不傻混着，很快就会有结果的了，呵呵！千万别动你那个小心眼什么的，容易被两人集火，继续埋头干活就是了。

这个问题的关键在于，你要弄明白你的工作岗位在哪里，谁是你的直接领导人，谁负责你的考勤，及绩效考核。搞明白这些非常重要。
谁是你的直接领导，你就听谁的。别人无权调动你，无权指挥你。如果需要你帮忙，你可以让他和你的直接领导协商，如果你直接领导同意并安排你去帮忙，你可以去。否则你就不能去。
一个人只能有一个直接领导，就听他一个人的指挥。否则你费力不落好，不仅得罪了你的直接领导，而且也是管理制度不能允许的。

有一种感觉就是，四楼的老大和三楼的老大是有芥蒂的，然后你恰好做了他们中间的炮灰。这样你的处境其实非常不妙。当然这是我的理解，你也可以参考其他人的

无所谓，简单点，别管那么多。