离职时需要向公司索要的关键物品和文件包括：

离职证明：

这是员工离职的重要文件，证明了员工与原单位已经解除了劳动关系。

建议：在离职时，确保向公司索要并妥善保存好离职证明，以备后续可能需要的用途，例如入职新公司时可能需要提供原单位的离职证明。