使用 Pandas 和 OpenPyXL 读取 Excel 文件时处理 ValueError

使用 Pandas 和 OpenPyXL 解决 Excel 文件中的 XML 解析错误

使用 Python 与 Selenium 和 Pandas 处理 Excel 文件中的 XML 结构问题

import os
import pandas as pd
import time
from glob import glob
from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
# Set up download options for Chrome
options = webdriver.ChromeOptions()
download_dir = os.path.abspath("./ETF/test")
options.add_experimental_option("prefs", {"download.default_directory": download_dir})
driver_path = "./webdriver/chromedriver.exe"
driver_service = Service(driver_path)
driver = webdriver.Chrome(service=driver_service, options=options)
# Automate download of Excel file with Selenium
driver.get('https://www.amundietf.de/de/professionell')
driver.maximize_window()
WebDriverWait(driver, 10).until(EC.element_to_be_clickable((By.XPATH, "//button[normalize-space()='Professioneller Anleger']"))).click()
WebDriverWait(driver, 10).until(EC.element_to_be_clickable((By.ID, "confirmDisclaimer"))).click()
WebDriverWait(driver, 10).until(EC.element_to_be_clickable((By.ID, "CookiesDisclaimerRibbonV1-AllOn"))).click()
time.sleep(2)
file_path = os.path.join(download_dir, "test.xlsx")
# Rename file
file_glob = glob(os.path.join(download_dir, "Fondszusammensetzung_Amundi*"))
if file_glob:
    os.rename(file_glob[0], file_path)
else:
    print("File not found for renaming")
driver.quit()
# Read and process the file
try:
    df = pd.read_excel(file_path, engine='openpyxl', skiprows=18, skipfooter=4, header=1, usecols="B:H")
    df.to_csv('./ETF/test/test.csv', sep=';', encoding='latin-1', decimal=',')
except ValueError as e:
    print(f"Error reading Excel file: {e}")
    # Alternative method with openpyxl direct read (backup approach)
    import openpyxl
    workbook = openpyxl.load_workbook(file_path)
    sheet = workbook.active
    data = sheet.values
    print("Data loaded using backup approach")

替代解决方案：使用兼容模式来避免 XML 错误

如果初始解析失败，此方法会保存辅助 Excel 格式，从而最大限度地减少对 XML 的依赖。

import pandas as pd
import openpyxl
def safe_load_excel(file_path):
    try:
        # First attempt using pandas' read_excel with openpyxl
        df = pd.read_excel(file_path, engine='openpyxl')
    except ValueError:
        print("Switching to secondary method due to XML issues")
        workbook = openpyxl.load_workbook(file_path)
        sheet = workbook.active
        data = sheet.values
        headers = next(data)
        df = pd.DataFrame(data, columns=headers)
    return df
# Usage example
file_path = './ETF/test/test.xlsx'
df = safe_load_excel(file_path)
df.to_csv('./ETF/test/test_fixed.csv', sep=';', encoding='latin-1', decimal=',')

环境兼容性测试脚本

单元测试，确保不同环境下的文件读取兼容性

import unittest
import os
from your_module import safe_load_excel
class TestExcelFileLoad(unittest.TestCase):
    def test_file_exists(self):
        self.assertTrue(os.path.exists('./ETF/test/test.xlsx'), "Excel file should exist")
    def test_load_excel(self):
        df = safe_load_excel('./ETF/test/test.xlsx')
        self.assertIsNotNone(df, "DataFrame should not be None after loading")
        self.assertGreater(len(df), 0, "DataFrame should contain data")
if __name__ == '__main__':
    unittest.main()

使用 Python 处理 Excel 文件的常见问题

1. 为什么在 Pandas 中读取 Excel 文件会导致 ValueError？
2. 当 Excel 文件包含无效的 XML 或非标准格式时，通常会出现此错误。尝试使用 engine="openpyxl" 参数输入 pd.read_excel 或 OpenPyXL 的 load_workbook 以获得更灵活的方法。
3. 如何在 Python 中自动下载 Excel 文件？
4. 你可以使用 Selenium 通过打开网站、导航到下载按钮并设置 Chrome 选项来控制文件处理来自动下载。
5. Python 中的 glob 模块有什么作用？
6. glob 帮助使用模式匹配在目录中定位文件。这对于查找名称不可预测的文件非常有用，尤其是在自动下载文件时。
7. 使用 Selenium 下载后如何重命名文件？
8. 下载文件后，使用 os.rename 更改其名称。这对于自动化至关重要，可确保文件在处理前具有一致的名称。
9. 如何使用 Selenium 处理 cookie 和弹出窗口？
10. 使用Selenium的 WebDriverWait 和 ExpectedConditions 等待弹出窗口或免责声明加载，然后使用元素定位器与它们交互，例如 By.ID 或者 By.XPATH。
11. 有什么区别 pd.read_excel 和 openpyxl.load_workbook？
12. pd.read_excel 是一个高级函数，它将数据读入 DataFrame，但可能会遇到 XML 问题。 openpyxl.load_workbook 提供较低级别的接口来直接控制工作表级别的数据提取。
13. 有没有办法验证我的文件是否正确加载？
14. 使用 unittest 检查文件是否存在并正确加载。设置简单的测试来验证数据是否按预期加载，尤其是在部署到多个系统时。
15. 如何仅处理 Excel 文件的一部分？
16. 使用参数 skiprows 和 17 号 在 pd.read_excel 专注于特定的行和列。这对于仅加载基本数据很有帮助。
17. 我可以将处理后的 DataFrame 导出到 CSV 文件吗？
18. 是的，加载并处理数据后，使用 19 号 将 DataFrame 保存为 CSV。您可以指定设置，例如 sep=";" 和 encoding 为了兼容性。
19. 处理 Excel 文件中的 XML 问题的最佳方法是什么？
20. 尝试使用以下命令读取文件 22 号 直接，这提供了一种更健壮的方法来处理 XML 错误。如果错误仍然存​​在，请考虑将文件的副本保存为 .csv 并从那里进行处理。
21. 如何处理 Selenium 网页上的动态元素加载？
22. 使用 WebDriverWait Selenium 允许您在与元素交互之前等待元素加载。这可以确保脚本不会由于页面上的计时问题而中断。

通过自动化和错误处理确保数据处理顺利

将自动化与 Selenium 相结合以及仔细的错误处理使您能够创建可靠且可重复的过程来下载和处理 Excel 文件。将 Pandas 与 OpenPyXL 一起使用和备份方法有助于绕过 XML 问题，即使存在潜在的格式不一致也可以导入、编辑和导出数据。 🖥️

通过遵循这些技术，您可以节省时间并减少人为错误的可能性。这些策略使您的数据处理更加顺畅，最大限度地减少中断，尤其是在处理来自第三方来源的文件时。这样，您就可以专注于分析而不是故障排除。 📊